机器学习甜品屋

Logistic 回归

Sigmoid 把线性分数压成概率，对数损失驱动训练，决策边界实时移动。

• Sigmoid 与对数几率 log(p/(1−p))
• 交叉熵损失 vs MSE
• 决策边界恒为直线的原因

决策树

每按一次「单步构建」，树就挑当前信息增益最大的问题问一次，分裂全程可见。

• 信息熵：混乱度的数学定义
• 信息增益 = 分裂前后的熵差
• 深度即复杂度：欠拟合与过拟合的分界

支持向量机

线性核亮出间隔带与支持向量，多项式核把弯弯曲曲的边界画出来。

• 最大间隔：离两类都远的直线才稳
• 软间隔与惩罚系数 C
• 核技巧：不升维也能画曲线

朴素贝叶斯

先验 × 似然 → 后验，每一步概率都在面板上算给你看。

• 贝叶斯定理与生成式视角
• 条件独立假设：朴素但不幼稚
• 高斯似然与光滑的决策区域

聚类分析

点击画布加数据点，逐轮看质心搬家，SSE 实时可读。

• Lloyd 迭代：分配 ↔ 更新两步交替
• SSE 与肘部法则
• 初值敏感：只保证局部最优

降维技术

四维鸢尾花压到二维平面，方差解释率条形图告诉你信息保留了多少。

• 主成分 = 方差最大的方向
• 协方差矩阵的特征分解
• 标准化：量纲决定谁的方差说了算

KNN 分类

150 条真实鸢尾花数据上的 K 近邻投票，留一法准确率现场计算。

• 惰性学习：没有训练环节
• K 的性格：小了敏感、大了平滑
• 标准化决定距离谁说了算

三大学派

判别式直接学边界（Logistic、SVM、神经网络）；生成式先建模数据分布（朴素贝叶斯）；惰性学习干脆不训练（KNN）。同一份数据，三种世界观。

偏差 vs 方差

模型太简单 → 欠拟合（偏差大）；模型太复杂 → 过拟合（方差大）。树的深度、网络的宽度、SVM 的 C、KNN 的 K，全是在这对矛盾上拧旋钮。

损失与梯度

所有「训练」都是同一件事：定义损失 → 算梯度 → 反方向一小步。MSE、交叉熵、铰链损失只是外衣，梯度下降才是引擎，学习率决定油门。

特征与标准化

特征决定模型上限。量纲不一致时距离被大数值特征垄断（KNN、PCA、SVM 都要先 z-score）；「垃圾进，垃圾出」说的就是这一步。

别骗自己

在训练数据上考模型等于泄题。留出集、K 折交叉验证、留一法——评估方法的严格程度，决定了指标的可信程度。

从哪入手

先玩「线性回归」找到手感（拧 w、b + 看损失），再按学习路线走完全部 7 站；卡壳时回「术语速查」查概念，或到测验页刷对应主题的题。