📁 机器学习
绪论 · 机器学习概览与研究进展
从机器学习的定义、发展脉络与典型任务出发，梳理主要学习范式、研究方向、泛化问题与课程整体框架
第一讲 · AlphaGo 与博弈搜索
从博弈树和极小极大算法讲到 Alpha-Beta 剪枝、蒙特卡洛树搜索、UCB、策略网络、价值网络与 AlphaGo Zero
第二讲 · 不等式、PAC 学习与 VC 维
以 Markov、Chebyshev、Hoeffding、Cauchy-Schwarz 和 Jensen 不等式为基础，建立 PAC 学习、样本复杂度、打散与 VC 维的完整逻辑
第三讲 · 线性回归、最小二乘与梯度下降
从平方误差、伪逆解和正则化推导线性回归，并串联梯度下降、感知机、反向传播及从传统模型到大模型的演进
第四讲 · 贝叶斯学习
梳理先验、似然、后验、MAP 与最大似然估计，并展开朴素贝叶斯、参数估计、EM 与混合模型
第五讲 · 隐马尔可夫模型
从马尔可夫性与状态转移出发，建立 HMM 的参数表示、概率计算、Viterbi 解码、参数学习与序列识别应用
第六讲 · 决策树
从树形分类规则、信息熵和信息增益讲到 ID3 的完整构造过程、C4.5、过拟合与剪枝
第七讲 · 强化学习与 Q-learning
从智能体与环境交互出发，理解状态、动作、奖励、Q 值更新及 Q-learning 在导航问题中的训练过程
第八讲 · 线性判别函数
建立线性判别函数与决策边界，梳理感知器准则、最小平方误差、梯度更新及多类线性分类
第九讲 · 人工神经网络基础
从 M-P 神经元和感知机出发，讲清多层前馈网络、激活函数、反向传播、训练过程与神经网络表达能力
第十讲 · 支持向量机
从最大间隔分类器推导软间隔、对偶问题、KKT 条件、支持向量与核方法
第十一讲 · AdaBoost 与目标检测
从弱分类器组合和样本权重更新讲到 AdaBoost，并结合级联分类器理解经典目标检测流程
第十二讲 · 随机森林
从 Bagging、Bootstrap 和随机特征选择出发，理解随机森林的训练、集成预测、泛化能力与特征评价
第十三讲 · PCA 与子空间学习
从数据中心化和协方差矩阵出发，以最大方差和最小重构误差两种视角推导 PCA 与子空间表示
第十四讲 · 稀疏表示
梳理过完备字典、稀疏编码、L0 与 L1 优化、匹配追踪、字典学习及稀疏表示分类
第十五讲 · 深度学习导论与多层感知机
从端到端和数据驱动学习出发，区分参数模型与非参数模型，并建立多层感知机的层、节点、权重和前向传播
第十六讲 · 梯度下降与反向传播
从损失和经验风险出发，推导梯度下降、计算图、局部梯度、链式法则及前馈网络的完整反向传播训练算法
第十七讲 · 卷积运算、滤波器与卷积层
从连续与离散卷积、相关运算和固定滤波器出发，讲清步幅、填充、可学习卷积核、多通道卷积与深度卷积
第十八讲 · 池化、感受野与 CNN 整体结构
通过完整池化算例理解下采样、多通道特征、感受野、不变性与等变性，并组装完整 CNN
第十九讲 · 语言模型与循环神经网络
从句子概率、链式法则、N-gram 和马尔可夫假设出发，建立 RNN 的时间展开、参数共享、BPTT 与多种输入输出结构
第二十讲 · LSTM 与序列生成
针对长距离依赖和梯度消失问题，推导 LSTM 的输入门、遗忘门、输出门与状态更新，并分析文本和代码生成案例
第二十一讲 · 自动微分
从计算图出发理解前向模式与反向模式自动微分、Jacobian-vector product、vector-Jacobian product 和反向传播的实现逻辑
第二十二讲 · 损失函数与分类、回归任务
从经验风险最小化出发，梳理回归与分类的输出设计、常见损失函数、概率解释及选择原则
第二十三讲 · 检测、分割与姿态估计
从图像分类延伸到目标定位、目标检测、语义与实例分割、关键点和姿态估计，理解不同视觉任务的输入输出
第二十四讲 · 优化地形、Hessian 与小批量训练
理解损失曲面、梯度与 Hessian、局部极值和鞍点，以及随机梯度与 mini-batch 带来的计算与统计权衡
第二十五讲 · SGD、Momentum、AdamW 与学习率调度
从普通 SGD 出发推导 Momentum、AdaGrad、RMSProp、Adam 与 AdamW，并梳理预热、衰减和余弦学习率策略
第二十六讲 · 激活函数与权重初始化
解释 Sigmoid、Tanh、ReLU 系列与 GELU 的梯度性质，并从方差传播理解 Xavier、Kaiming 和正交初始化
第二十七讲 · 从输入标准化到 BatchNorm、LayerNorm 与 GroupNorm
理解归一化为何稳定训练，比较 BatchNorm、LayerNorm、InstanceNorm 与 GroupNorm 的统计维度、训练推理差异和使用场景
第二十八讲 · CNN 架构演进
沿 LeNet、AlexNet、VGG、GoogLeNet、ResNet 到现代卷积网络，理解深度、卷积核、残差连接和计算效率的设计演进
第二十九讲 · Transformer、BERT 与 Vision Transformer
从注意力和位置编码出发拆解 Transformer 编码器与解码器，并理解 BERT 预训练和 Vision Transformer 的图像序列化
课程汇报 · PageRank 算法深度解析
从互联网有向图和随机冲浪者模型出发，推导阻尼 PageRank、矩阵形式、幂迭代、收敛性及应用扩展
课程汇报 · PPO 近端策略优化
梳理 PPO 的提出背景、优势函数、概率比裁剪、策略损失、价值损失、熵正则及 Actor-Critic 训练流程
作业 · 深度学习的数感能力
围绕 Subitizing 认知能力，分析 DCNN 对数量、形状和尺度的泛化局限，以及边缘归一化和形态学预处理实验
作业 · Q-learning 房间导航实验
根据现有程序完整还原八状态导航实验，包括奖励矩阵、Q 值迭代、训练结果、最佳动作和各起点路径
作业 · 梯度下降优化 Beale 函数
从 Beale 函数及其梯度推导出发，记录梯度下降实现、参数设置、收敛曲线、最终结果与改进方向
大作业 · 从手写线性层到图像分类应用
完整整理自定义线性层与反向传播、深层 MLP、优化器与初始化实验、CIFAR-10 上的 MLP/CNN 对比，以及自建数据集分类与 GUI 演示