向AI转型的程序员都关注了这个号 👇👇👇
人工智能大数据与深度学习 公众号：datayx
一般情况下，数据集的特征成百上千，因此有必要从中选取对结果影响较大的特征来进行进一步建模，相关的方法有：主成分分析、lasso等，这里我们介绍的是通过随机森林来进行筛选。
用随机森林进行特征重要性评估的思想比较简单，主要是看每个特征在随机森林中的每棵树上做了多大的贡献，然后取平均值，最后比较不同特征之间的贡献大小。
贡献度的衡量指标包括：基尼指数（gini）、袋外数据（OOB）错误率作为评价指标来衡量。
衍生知识点：权重随机森林的应用（用于增加小样本的识别概率，从而提高总体的分类准确率）
随机森林/CART树在使用时一般通过gini值作为切分节点的标准，而在加权随机森林（WRF）中，权重的本质是赋给小类较大的权重，给大类较小的权重。也就是给小类更大的惩罚。权重的作用有2个，第1点是用于切分点选择中加权计算gini值，表达式如下：
随机森林针对小样本数据类权重设置
https://wenku.baidu.com/view/07ba98cca0c7aa00b52acfc789eb172ded639998.html
通过sklearn中的随机森林返回特征的重要性：
举个样例：
sklearn.metrics中的评估方法介绍：
参考：http://blog.csdn.net/cherdw/article/details/54971771
网格搜索调参：
grid.fit()：运行网格搜索
grid_scores_：给出不同参数情况下的评价结果
best_params_：描述了已取得最佳结果的参数的组合
best_score_：成员提供优化过程期间观察到的最好的评分
http://www.cnblogs.com/xiaochouk/p/8583255.html
阅读过本文的人还看了以下：
分享《深度学习入门:基于Python的理论与实现》高清中文版PDF+源代码
《21个项目玩转深度学习：基于TensorFlow的实践详解》完整版PDF+附书代码
【Keras】完整实现‘交通标志’分类、‘票据’分类两个项目，让你掌握深度学习图像分类
如何利用全新的决策树集成级联结构gcForest做特征工程并打分？
Machine Learning Yearning 中文翻译稿
斯坦福CS230官方指南：CNN、RNN及使用技巧速查（打印收藏）
中科院Kaggle全球文本匹配竞赛华人第1名团队-深度学习与特征工程
不断更新资源
深度学习、机器学习、数据分析、python
搜索公众号添加： datayx
长按图片，识别二维码，点关注
AI项目体验