模式识别系统与三大流派

这一节是全课的”总览地图”，不涉及计算，但系统流程和三大流派是后面所有方法的归类框架，简答题里常直接出现。

一、模式识别系统的流水线

一个典型的模式识别系统，从拿到原始信号到给出类别，要走五步：

信息获取 → 预处理 → 特征选择 / 提取 → 分类器设计（训练）→ 分类决策。

也可以概括成 “Perceive + Process + Prediction” 三段：感知环境、学习区分模式、对类别做出合理决策。

整个系统分两个阶段，务必分清：

• 训练阶段：用样本（带标签或不带标签）把分类器设计 / 学习出来；
• 决策阶段：用训练好的分类器，对新来的样本判类。

二、监督 vs 非监督

这是贯穿全课的第一个分类维度：

• 监督学习：训练样本带标签，既有输入特征 $\mathbf{x}$，又有输出标签 $y$（如贝叶斯分类、SVM）；
• 非监督学习：训练样本无标签，只有 $\mathbf{x}$，要自己发现数据结构（如 K 均值聚类）。

一句话区分：有没有标准答案 $y$。

三、三大方法流派

按”靠什么做判别”，模式识别方法分三大流派，这是高频简答点：

1. 基于类条件概率密度 $p(\mathbf{x} \mid \omega_i)$：先估计每类的密度，再套贝叶斯决策。又分两支——
   • 参数法：假设密度形式已知（如高斯密度、混合密度），只估参数；
   • 非参数法：不假设形式，直接估密度数值（直方图、$k$ 近邻、核 / Parzen 窗法）。
2. 基于判别函数：直接学一个把特征映射到类别的函数。线性判别（感知机、Fisher、Logistic）、非线性判别、支持向量机都属此类。
3. 基于与存储样本的相似度：靠”新样本和哪些已存样本最像”来判类（最近邻思想）。

主线预告：全课的逻辑链是”从概率完全已知，退到只有样本”。先讲概率全知时的最优决策（贝叶斯决策），再讲概率未知、只能从样本估计的情形（最大似然估计、聚类），最后讲不直接估概率的判别式方法（SVM）和降维（PCA）。

本节考点清单

• 模式识别系统五步流水线 + 训练 / 决策两阶段。
• 监督与非监督的判定标准（有无标签 $y$）。
• 三大流派：类条件密度（参数 / 非参数）、判别函数、相似度，能各举一两个代表方法。