《人工智能》
本次更新内容为人工智能第八阶段:机器学习_决策树系列
通过本阶段学习,掌握非线性决策树系列算法,重点掌握Kaggle神奇XGBoost算法,理解GBDT和XGBoost涉及的公式推导,本阶段的掌握将大大提升学员数据挖掘的能力,对于后续理解Kaggle实战阶段内容会起到很大的帮助。
第一章节 01_决策树
01_决策树模型的特点
02_决策树的数学表达
03_如何构建一颗决策树
04_什么是更好的一次划分
05_Gini系数
06_信息增益
07_熵与Gini系数关系 信息增益率
08_预剪枝以及相关超参数
09_代码实战决等树对前尾花数据集分类
10_绘制决策树模型寻找最优树深度
11_代码训练回归树拟合SineWave
12_后剪枝的意义
13_CCP代价复杂度后剪枝
14_CCP代价复杂度剪枝 a超参数设定
第二章节 02_集成学习和随机森林
15_不同聚合方式生成不同弱学习器方式
16_BaggingBoosting_Stacking
17_随机森林
18_代码实战随机森林对鸟尾花数据集分买
19_OOB袋外数据
20_Adaboost算法思路
21_调整数据权重让权重正确率达到50%
22_Adaboost如何调整样本权重和求基模型权重
第三章节 03_GBDT
23_GBDT试图使用有监督最优化算法梯度下降求解F(x)
24_GBDT令每个弱学习器f(x)去拟合负梯度
25_GBDT每棵树都是回归树 准备数据才能训练下一颗小树
26_GBDT应用于回归问题
27_GBDT回归举例 总结
28_GBDT应用于二分类问题
29_GBDT二分类拟合的负梯度依然是残差
30_GBDT中shrinkage学习率和最优树权重ρ可以共存
31_GBDT应用于多分类任务
32_GBDT多分类如何每轮给K颗小树准备要去拟合的负梯度
33_GBDT多分类流程
34_对比GBDT回归、二分类、多分类相同点与不同点
35_GBDT二分类叶子节点分值计算推导
36_GBDT多分类叶子节点分值计算
37_GBDT二分类举例详解
38_GBDT多分类举例详解
39_计算特征重要度进行特征选择
40_GBDT用于特征组合降维
41_GBDT在sklearn中源码剖析_初始化F(x)
42_GBDT在sklearn中源码剖析_初始化F(x)
43_GBDT在sklearn中源码剖析_负梯度计算和叶子节点分值计算
44_GBDT+LR架构训练模型代码实现
45_GBDT+LR架构预测评估代码实现
第四章节 04_XGBoost
46_回顾有监督机器学习三要素
47_Bias_Variance_Trade-off
48_基于树集成学习4个优点
49_回顾基于树集成学习的模型和参数并举例说明
50_通过目标函数Obj来达到准确率和复杂度平衡
51_Objective_vs_Heuristic
52_得出XGBoost最开始的Obj目标函数
53_推导XGBoost对Loss二阶泰勒展开之后的Obj
54_Obj化简常数项_明确训练每颗回归树需要准备gi和hi
55_重新定义树ft和树的复杂度Ω
56_由每个叶子节点重组目标函数Obj
57_推导XGBoost出Wj计算公式_推导评价树好坏的Obj
58_根据Obj收益指导每一次分裂从而学习一棵树结构
59_举例说明从连续型和离散型变量中寻找好的分裂条件
60_XGBoost中防止过拟合的前剪枝_后剪枝_学习率
61_样本权重对于模型学习的影响
62_总结XGBoost的特性_包括缺失值的处理策略
另附各章节课程资料