本阶段讲解,K-means聚类算法,K-means聚类算法的变形,密度聚类,层次聚类、谱聚类、PCA降维算法、EM期望最大化、GMM高斯混合模型。
达成目标:通过本阶段学习,掌握无监督机器学习算法的作用和原理,透彻理解聚类和降维的本质区别,今后可以正确选择无监督学习算法,并实战开发。
章节 | 内容 |
---|---|
章节1 KMeans聚类 | 1:了解聚类任务是什么_整体思路_要达到的目标 2:KMeans算法具体流程 3:欧氏距离测度_余弦距离测度 4:余弦距离测度更适用于文本_向量归一化后欧氏距离与余弦距离等效 5:KMeans的损失函数_不保证收敛全局最优_K的选择 6:KMeans用EM算法进行最优化_KMeans算法的数学假设 7:KMeans聚类得到空簇的原因 8:KMeans算法的代码实现 9:实现的KMeans代码调用_sklearn中KMeans调用 |
章节2 KMeans聚类变形 | 10:KMedoids_二分KMeans 11:KMeans++ 12:elkan-KMeans 13:MiniBatch-KMeans_KMeans算法相关小结 16:生产者_异步发送数据 17:生产者_异步回调发送数据 18:生产者_拦截器一 19:生产者_拦截器二 14:讲解sklearn模块中关于KMeans变形算法的API |
章节3 密度聚类 | 15:DBSCAN密度聚类算法 16:分析DBSCAN的缺点_发明OPTICS算法的动机 17:理解OPTICS算法中两个重要概念_核心距离_可达距离 18:OPTICS密度聚类算法具体流程 19:MeanShift密度聚类算法 |
章节4 层次聚类 | 20:凝聚聚类算法 21:BIRCH算法_特征项和特征树以及相关超参数 22:BIRCH算法_特征树的构建过程 |
章节5 图聚类 | 23:AP聚类_通过相似度矩阵和超参数preference得到候选中心点 24:AP聚类_详解算法训练参数过程_算法特点总结 25:谱聚类_构建邻接矩阵W的三种方式 26:谱聚类_降维+KMeans聚类 27:谱聚类_将聚类任务转换为切图任务 28:谱聚类_RatioCut切图_引入指示向量 29:谱聚类_详解RatioCut切图做的就是降维 30:谱聚类_NCut切图_谱聚类算法流程总结 |
章节6 高斯混合模型 | 31:算法核心思想_目标函数对数总似然形式 32:参数求解之E-step 33:参数求解之M-step的μ和Σ 34:参数求解之M-step的Π_GMM算法流程总结 35:超参K的设置_模型的两种使用方式 |
章节7 降维之特征选择 | 36:区分特征抽取与特征选择 37:特征选择之过滤式 38:特征选择之嵌入式和包裹式 |
章节8 PCA主成分分析 | 39:找到尽可能保留更多信息量的方式进行投影 40:最大化投影方差_如何投影向量点到某个坐标轴 41:最大化投影方差_为什么对原始数据进行标准归一化 42:最大化投影方差_具体公式推导 43:最小化投影距离_如何在原始d维空间中表达降维之后的向量点 44:最小化投影距离_目标函数推导的中间过程 45:最小化投影距离_推导出最终目标函数和最大化方差一致 46:最小化投影距离_带核函数的非线性PCA |
章节9 SVD奇异值分解 | 47:奇异值分解与截断的奇异值分解 48:SVD可以是PCA算法的一种解法 49:应用SVD计算的矩阵对原始数据进行降维 |
章节10 LDA线性判别分析 | 50:算法的核心思想 51:从目标函数到参数求解 52:与PCA算法对比 |