第 14 讲：线性回归、预测与非线性关系

回归把一个变量的系统变化与另一个变量联系起来。简单线性回归不是“画一条看起来最顺的线”，而是带随机误差的概率模型。

合金含碳量与合金强度的散点关系

散点大体沿右上方向排列，说明两个变量之间可能存在正的线性关系；回归的任务，是把这种趋势写成模型，并量化点偏离趋势的随机程度。

模型与前提

Yi=β0+β1xi+εi,εi∼i.i.d.N(0,σ2).Y_i=\beta_0+\beta_1x_i+\varepsilon_i, \qquad \varepsilon_i\overset{\text{i.i.d.}}\sim N(0,\sigma^2).

xix_i 通常视为给定常数。模型要求误差独立、均值为零、方差相同；正态性主要用于精确的小样本检验和区间。

最小二乘估计

令残差平方和

Q(β0,β1)=∑i=1n(yi−β0−β1xi)2Q(\beta_0,\beta_1)= \sum_{i=1}^n(y_i-\beta_0-\beta_1x_i)^2

最小，解正规方程可得

β^1=SxySxx,β^0=yˉ−β^1xˉ,\hat\beta_1=\frac{S_{xy}}{S_{xx}}, \qquad \hat\beta_0=\bar y-\hat\beta_1\bar x,

其中

Sxx=∑(xi−xˉ)2,Sxy=∑(xi−xˉ)(yi−yˉ).S_{xx}=\sum(x_i-\bar x)^2,\qquad S_{xy}=\sum(x_i-\bar x)(y_i-\bar y).

拟合线必经过 (xˉ,yˉ)(\bar x,\bar y)。残差 ei=yi−y^ie_i=y_i-\hat y_i 之和为零，也与 xix_i 的中心化值正交。

平方和与决定系数

SST=∑(yi−yˉ)2,SSR=∑(y^i−yˉ)2,SSE=∑(yi−y^i)2,SS_T=\sum(y_i-\bar y)^2,\quad SS_R=\sum(\hat y_i-\bar y)^2,\quad SS_E=\sum(y_i-\hat y_i)^2,

并有

SST=SSR+SSE.SS_T=SS_R+SS_E.

决定系数

R2=SSRSST=1−SSESSTR^2=\frac{SS_R}{SS_T}=1-\frac{SS_E}{SS_T}

表示样本中响应总变异被线性关系解释的比例。R2R^2 高不证明因果，也不保证外推可靠。

斜率显著性

误差方差估计为

s2=SSEn−2.s^2=\frac{SS_E}{n-2}.

检验 H0:β1=0H_0:\beta_1=0 使用

T=β^1s/Sxx∼t(n−2).T=\frac{\hat\beta_1} {s/\sqrt{S_{xx}}}\sim t(n-2).

也可写成回归方差分析的 FF 检验；简单线性回归中二者满足 F=T2F=T^2。

均值响应与个体预测

在 x0x_0 处，平均响应估计

y^0=β^0+β^1x0.\hat y_0=\hat\beta_0+\hat\beta_1x_0.

均值响应的标准误含

s1n+(x0−xˉ)2Sxx,s\sqrt{\frac1n+\frac{(x_0-\bar x)^2}{S_{xx}}},

新个体预测还要加个体误差：

s1+1n+(x0−xˉ)2Sxx.s\sqrt{1+\frac1n+\frac{(x_0-\bar x)^2}{S_{xx}}}.

所以预测区间必然更宽。x0x_0 离样本中心越远，两个区间都越宽；超出观测范围的外推风险尤其大。

残差诊断

  • 残差随拟合值呈漏斗形：可能异方差；
  • 残差呈弯曲趋势：线性形式不够；
  • 单个点残差和杠杆都大：可能是强影响点；
  • 残差明显重尾：正态检验与区间可能失真。

先诊断，再解释系数。

非线性关系的线性化

课件给出通过变量变换处理常见关系的思路：

  • y=aebxy=ae^{bx}：取 log⁡y=log⁡a+bx\log y=\log a+bx；
  • y=axby=ax^b：取 log⁡y=log⁡a+blog⁡x\log y=\log a+b\log x；
  • y=a+b/xy=a+b/x：以 1/x1/x 为新自变量。

变换后最小化的是变换尺度上的误差，不能自动等同于原尺度最优。反变换预测值时还可能产生偏差，解释必须回到原变量语境。

评论