#AI (37 posts)

串起统计学习、经典分类器、神经网络、CNN、RNN、优化与 Transformer，集中整理高频概念、公式和任务框架

从机器学习的定义、发展脉络与典型任务出发，梳理主要学习范式、研究方向、泛化问题与课程整体框架

从博弈树和极小极大算法讲到 Alpha-Beta 剪枝、蒙特卡洛树搜索、UCB、策略网络、价值网络与 AlphaGo Zero

以 Markov、Chebyshev、Hoeffding、Cauchy-Schwarz 和 Jensen 不等式为基础，建立 PAC 学习、样本复杂度、打散与 VC 维的完整逻辑

从平方误差、伪逆解和正则化推导线性回归，并串联梯度下降、感知机、反向传播及从传统模型到大模型的演进

梳理先验、似然、后验、MAP 与最大似然估计，并展开朴素贝叶斯、参数估计、EM 与混合模型

从马尔可夫性与状态转移出发，建立 HMM 的参数表示、概率计算、Viterbi 解码、参数学习与序列识别应用

从树形分类规则、信息熵和信息增益讲到 ID3 的完整构造过程、C4.5、过拟合与剪枝

从智能体与环境交互出发，理解状态、动作、奖励、Q 值更新及 Q-learning 在导航问题中的训练过程

建立线性判别函数与决策边界，梳理感知器准则、最小平方误差、梯度更新及多类线性分类

从 M-P 神经元和感知机出发，讲清多层前馈网络、激活函数、反向传播、训练过程与神经网络表达能力

从最大间隔分类器推导软间隔、对偶问题、KKT 条件、支持向量与核方法

从弱分类器组合和样本权重更新讲到 AdaBoost，并结合级联分类器理解经典目标检测流程

从 Bagging、Bootstrap 和随机特征选择出发，理解随机森林的训练、集成预测、泛化能力与特征评价

从数据中心化和协方差矩阵出发，以最大方差和最小重构误差两种视角推导 PCA 与子空间表示

梳理过完备字典、稀疏编码、L0 与 L1 优化、匹配追踪、字典学习及稀疏表示分类

从端到端和数据驱动学习出发，区分参数模型与非参数模型，并建立多层感知机的层、节点、权重和前向传播

从损失和经验风险出发，推导梯度下降、计算图、局部梯度、链式法则及前馈网络的完整反向传播训练算法

从连续与离散卷积、相关运算和固定滤波器出发，讲清步幅、填充、可学习卷积核、多通道卷积与深度卷积

通过完整池化算例理解下采样、多通道特征、感受野、不变性与等变性，并组装完整 CNN

从句子概率、链式法则、N-gram 和马尔可夫假设出发，建立 RNN 的时间展开、参数共享、BPTT 与多种输入输出结构

针对长距离依赖和梯度消失问题，推导 LSTM 的输入门、遗忘门、输出门与状态更新，并分析文本和代码生成案例

从计算图出发理解前向模式与反向模式自动微分、Jacobian-vector product、vector-Jacobian product 和反向传播的实现逻辑

从经验风险最小化出发，梳理回归与分类的输出设计、常见损失函数、概率解释及选择原则

从图像分类延伸到目标定位、目标检测、语义与实例分割、关键点和姿态估计，理解不同视觉任务的输入输出

理解损失曲面、梯度与 Hessian、局部极值和鞍点，以及随机梯度与 mini-batch 带来的计算与统计权衡

从普通 SGD 出发推导 Momentum、AdaGrad、RMSProp、Adam 与 AdamW，并梳理预热、衰减和余弦学习率策略

解释 Sigmoid、Tanh、ReLU 系列与 GELU 的梯度性质，并从方差传播理解 Xavier、Kaiming 和正交初始化

理解归一化为何稳定训练，比较 BatchNorm、LayerNorm、InstanceNorm 与 GroupNorm 的统计维度、训练推理差异和使用场景

沿 LeNet、AlexNet、VGG、GoogLeNet、ResNet 到现代卷积网络，理解深度、卷积核、残差连接和计算效率的设计演进

从注意力和位置编码出发拆解 Transformer 编码器与解码器，并理解 BERT 预训练和 Vision Transformer 的图像序列化

从互联网有向图和随机冲浪者模型出发，推导阻尼 PageRank、矩阵形式、幂迭代、收敛性及应用扩展

梳理 PPO 的提出背景、优势函数、概率比裁剪、策略损失、价值损失、熵正则及 Actor-Critic 训练流程

围绕 Subitizing 认知能力，分析 DCNN 对数量、形状和尺度的泛化局限，以及边缘归一化和形态学预处理实验

根据现有程序完整还原八状态导航实验，包括奖励矩阵、Q 值迭代、训练结果、最佳动作和各起点路径

从 Beale 函数及其梯度推导出发，记录梯度下降实现、参数设置、收敛曲线、最终结果与改进方向

完整整理自定义线性层与反向传播、深层 MLP、优化器与初始化实验、CIFAR-10 上的 MLP/CNN 对比，以及自建数据集分类与 GUI 演示