📁 ML Fundamentals

经典机器学习的几块基石：从生成式到判别式，再到无监督

经典机器学习的核心方法，按一条逻辑链组织：从「概率完全已知」一路退到「只有裸数据」。

  • 概率全知时，怎样分类最优？→ 贝叶斯决策理论（错误率的理论下界）。
  • 概率未知、只有样本，怎么把分布估出来？→ 最大似然估计。
  • 不建模分布、直接学决策边界？→ 支持向量机。
  • 数据太高维，如何压缩又不丢信息？→ 主成分分析。
  • 连标签都没有，怎么自动分组？→ K 均值聚类。

这几篇彼此独立，又串成一条线，是理解后续神经网络、概率图模型、表示学习的地基。

📄

贝叶斯决策理论

从概率角度定义「最优分类」：最小错误率与最小风险两套准则，以及它们如何在 0-1 损失下统一

#机器学习 #贝叶斯
📄

K 均值聚类

无监督聚类的代表算法：从准则函数到交替优化，它为何收敛、与 GMM/EM 是什么关系、K 怎么定

#机器学习 #聚类
📄

最大似然估计

从「哪个参数最可能生成这批数据」出发，推导常见分布的 MLE，并讲清估计为何会有偏、N-1 修正从何而来

#机器学习 #参数估计
📄

主成分分析 PCA

「最大方差」与「最小重建误差」两个看似无关的目标，为何都归结到协方差矩阵的特征分解；以及 PCA 与 LDA 的分工

#机器学习 #降维
📄

支持向量机 SVM

从「最大间隔」的几何直觉出发，一步步推到对偶问题与 KKT，讲清「支持向量」为何是少数、软间隔如何容噪

#机器学习 #SVM

评论