向AI转型的程序员都关注公众号 机器学习AI算法工程
最近一直忙着开发一个信用评分卡建模工具，现在基础框架已经搭完，并且探索性的将大语言模型整合了进去。目前ai在工具中扮演智能助手，完成用户解答功能，帮助用户更好地理解和使用信用评分卡建模信息。
工具主要由8个部分组成： 数据探索、数据处理、特征分析、样本抽样、woe转换、模型训练、模型评估&验证、评分及报告生成。
下面一一讲解每个部分的操作过程。
1、数据探索
主要实现加载源数据和可视化的功能，开发采用的样本数据是开源的德国信用数据集：GermanCredit。
项目采用嵌入pygwalker的方式对源数据进行可视化，用户可以自行组合分析数据内容。
Pygwalker是一个专注于数据可视化的Python库，它旨在帮助用户轻松创建交互式和动态的数据图表。
pip install pygwalker
pygwalker示例如下：
2、数据预处理
这一步通过方差和空值处理，完成特征预处理，保证入模前，特征变量符合模型计算要求。
3、特征分析
对源数据的特征进行分析，主要采用以下算法来实现
箱线图：分析异常样本
卡方检验（Chi-Squared Test）：适用于分类任务和离散特征
t-检验（t-test）：适用于分类任务和连续特征
方差分析（ANOVA）：适用于多类别分类任务和连续特征
Pearson 相关系数：适用于连续特征和标签
... ...
AI智能评估
这里是重点： AI根据特征分析结果，总结样本的特征存在的问题和调整建议
4、抽样
对源数据进行抽样，目前采用的是分层抽样方式，根据目标变量（数据加载的时候确定目标变量名称），进行分层抽样。
5、WOE转换
金融信用评分卡要求比较稳健及可解释性强，所以woe转换是必不可少步骤。
WOE（Weight of Evidence）转换是一种将分类变量的每个类别映射到一个连续的数值的方法，这个数值反映了该类别相对于参考类别（通常是目标事件发生率最低的类别）对目标事件发生概率的影响强度。WOE转换的公式通常是对数变换，其值可以为正、负或零，代表了该特征值对“好客户”和“坏客户”的影响程度。
WOE转换在数据分析和建模中有多种用途和好处：
处理异常值：WOE转换可以处理数据中的异常值，通过将极端值分组到单独的类别中，避免对模型产生负面影响。
处理缺失值：缺失值可以单独分组，从而不影响模型的训练。
处理分类变量：WOE转换帮助处理分类变量，无需虚拟变量，可以直接用于逻辑回归等模型中。
提升模型效果：通过标准化特征值，WOE转换可以提高模型的预测效果和可解释性。
woe分箱主要包含，分箱信息展示、单特征分箱调试和ai评估。这里演示woe转换过程。
IV排序，可以看出那些特征IV比较高
每个特征分箱情况：可以分析分箱是否合理
当某个特征分箱不太理想，可以通过单特征分箱调试，手工分箱
AI根据分箱的结果，评估分箱效果，并提供调整建议
7、模型训练
目前采用的模型算只有两个：一个是逻辑回归，另一个是通过Gridsearch查找最有超参的xgboost
8、模型评估
模型评估板块前面是模型训练，目前该板块没有提前输出信息，所以没有展示。模型评估主要是常用的一些模型评估指标，目前想到的是：准确率(Accuracy)、精确率(Precision)、召回率(Recall)、ROC-AUC/Gini、F1 Score、KS、以及Lift图、AUC-ROC等。
模型性能关键指标：
训练及测试样本的ks、roc、lift、p-r图
9、评分卡生成
这是评分卡建模最后一步，生成评分卡，及评分的PSI值评估，目前看模型生成的评分卡PSI是接近正太分布，而且PSI=0.0097，这个数值非常好的。
评分分布的PSI图，下图的属于正太分布，PSI=0.0097，这个数值效果还是不错的。
还可以查看单个特征的PSI分布
10、大语言模型ai助手
这是此项目唯一的亮点和创新性，将llm融入评分卡建模的过程，目前市场上是不多见的。虽然作用和价值不知能能有多少，但是这是一个让我学习，不断进步的过程。
急着分享，很多功能还未实现。以下的与助手聊天的过程。
机器学习算法AI大数据技术
搜索公众号添加： datanlp
长按图片，识别二维码
阅读过本文的人还看了以下文章：
整理开源的中文大语言模型，以规模较小、可私有化部署、训练成本较低的模型为主
基于40万表格数据集TableBank，用MaskRCNN做表格检测
《深度学习入门：基于Python的理论与实现》高清中文PDF+源码
2019最新《PyTorch自然语言处理》英、中文版PDF+源码
《21个项目玩转深度学习：基于TensorFlow的实践详解》完整版PDF+附书代码
PyTorch深度学习快速实战入门《pytorch-handbook》
【下载】豆瓣评分8.1,《机器学习实战:基于Scikit-Learn和TensorFlow》
李沐大神开源《动手学深度学习》，加州伯克利深度学习（2019春）教材
【Keras】完整实现‘交通标志’分类、‘票据’分类两个项目，让你掌握深度学习图像分类
如何利用全新的决策树集成级联结构gcForest做特征工程并打分？
Machine Learning Yearning 中文翻译稿
斯坦福CS230官方指南：CNN、RNN及使用技巧速查（打印收藏）
中科院Kaggle全球文本匹配竞赛华人第1名团队-深度学习与特征工程
不断更新资源
深度学习、机器学习、数据分析、python
搜索公众号添加： datayx