线性回归：手动调参 VS OLS
一切从「画一条线」开始。24 个带噪声的观测点、两个参数——先用手动滑块感受 w（斜率）和 b（截距）各管什么，残差平方怎么变成损失；再看 OLS（普通最小二乘）如何一步给出闭式最优解；最后让梯度下降自己爬下去，顺便用极端学习率制造一次「发散事故」。
拟合过程 · 三种方式一条线
粉点 = 观测数据；红色实线 = 当前模型 y = wx + b；蓝色虚线 = OLS 闭式最优解，永远在原地等你追。
损失 MSE 随迭代变化（仅梯度下降记录）
控制台
原理：最小二乘法与系数解释
线性回归假设 y 与 x 近似线性：ŷ = wx + b。「拟合得好不好」用均方误差（MSE）衡量——每个点的残差先平方再平均：
L(w, b) = (1/n) Σ (ŷᵢ − yᵢ)²
OLS（普通最小二乘）对这个凸问题直接解驻点（对 w、b 求偏导并置零），得到闭式解——不需要迭代、必然全局最优：
w* = Σ(xᵢ−x̄)(yᵢ−ȳ) / Σ(xᵢ−x̄)² ， b* = ȳ − w*x̄
系数怎么解释（期末必考）
- w 是「边际效应」。w ≈ 2 意味着 x 每增加 1 个单位，y 平均增加约 2 个单位。注意两点：它是「平均」意义（有噪声），且只在观测到的 x 范围内可信——外推越远越危险。
- b 是「起点」。x = 0 时的预测值。它常常没有业务含义（身高为 0 的人不存在），但负责把直线摆到正确的高度。
- 拟合优度用 R² 说话。R² = 1 − SSE/SST，含义是「目标 y 的变化里有百分之多少被模型解释了」；0.7 就是解释了七成，剩下的看残差里还藏着什么。
OLS 与梯度下降：同一条线的两条路
蓝色虚线（OLS）说明「最优长什么样」：一步到位、全局最优、稳定。但真实问题常常有上百万维特征——矩阵求逆是 O(d³) 的开销，这时闭式解算不动，就要靠梯度下降：每步沿负梯度方向挪一小步。两种方法在二维问题里会收敛到同一条线——自动训练几轮，红色实线会贴上蓝色虚线。
w ← w − η · ∂L/∂w ， ∂L/∂w = (2/n) Σ (ŷᵢ − yᵢ)xᵢ
学习率 η：唯一需要拧的旋钮
- η 太小：每步挪一点点，几十轮才动一寸——训练慢但不翻车。
- η 合适：损失曲线平滑下降，先快后慢。
- η 太大：每步冲过头，来回震荡甚至指数发散——把 η 拉到 0.06 以上自动训练，MSE 会直接爆表。这是「迭代法的稳定性由步长决定」最直观的证明。
动手实验：先只拧 w 到 3 左右、b 到 −2 附近，看残差竖线变短；点 OLS 记住最优位置；再重置后用 η=0.005 自动训练，观察损失曲线「先陡后平」的形状——这就是梯度下降的标准审美。
知识点拆解：把回归学扎实
为什么 MSE 要平方
平方让正负残差不会互相抵消、对大错误施加指数级惩罚、还保证了损失函数光滑可导（梯度处处存在）。代价是对离群点敏感——一两个异常点就能把线拉歪。
对应演示：看离群点如何拉偏红线闭式解 vs 迭代解
OLS 解方程一步到位，但求逆代价 O(d³)；梯度下降每步 O(n·d)，可扩展到百万维。小数据用闭式解，大数据用迭代——工程里没有更好的选择，只有更合适的选择。
对应演示：红线追蓝线残差是模型的体检报告
好的拟合残差应像「无规律的噪声」；如果残差呈现弯曲、喇叭形等规律，说明模型假设（线性）本身不合适——该加特征或换模型了。
对应演示：手动拧到非最优时看残差形态正则化预告
特征一多线性回归容易「记住噪声」。给损失加惩罚项 L(w)+λΣw²（Ridge）或 λΣ|w|（Lasso）能压住系数——这是过拟合与正则化的第一课，本页 24 个点还掀不起风浪，特征上千时它就是救命稻草。
关键词：Ridge / Lasso / λ- 残差 — 观测值 − 预测值 (yᵢ − ŷᵢ)
- MSE — 残差平方的均值
- OLS — 最小二乘闭式解
- R² — 模型解释掉的方差占比
- 梯度 — 损失上升最快的方向
- 学习率 η — 每步沿负梯度走多远
期末高频问答
- 梯度下降会不会卡在局部最优？线性回归的 MSE 是凸函数，只有一个「碗底」，所以不会。但神经网络等非凸问题会——那正是后面集成学习、初始化技巧登场的理由。
- 为什么 OLS 保证全局最优？因为 MSE 对 w、b 的偏导是线性方程组，驻点唯一且二阶导恒正——「凸」保证了驻点就是最小值。
- 相关系数高 = 回归模型好吗？不必然。相关系数只衡量线性共变，R² 还要考虑残差规模与外推风险；而且「相关 ≠ 因果」，解释 w 时永远要小心混淆变量。