附录 · 实验报告与复习地图

十一个演示的设置、观察与结论

这份报告把演示中心的内容压缩成一页可复习的纸面版:每个主题的模型假设、数据、关键超参数与评价指标汇总成总表,五个跨主题观察把十一个演示串成一条逻辑线,最后是复现指南与手写实现清单——考前从这里开始,哪里生疏就跳回哪个演示。

实验设置总表

#主题任务范式数据核心超参数评价指标
01模型评估评估方法合成二分类数据(80 条,可调可分度)分类阈值、模型质量、折数 K=5Accuracy / Precision / Recall / F1 / AUC
02线性回归回归 · 监督24 个带噪声观测点w、b(手动)、η(0.001–0.1)MSE、与 OLS 闭式解的距离
03Logistic 回归分类 · 监督合成二维数据(90 条)学习率 η(0.01–2)对数损失、训练准确率
04决策树分类 · 监督双月二分类 / 鸢尾花花瓣两维(三类)最大深度(2–6)信息增益、训练准确率、节点数
05神经网络分类 · 监督环形 / 双月 / 异或(合成)隐藏单元数、激活函数、ηBCE 损失、训练准确率
06支持向量机分类 · 监督双月 / 高斯团块(合成)C、核函数与多项式次数 d训练准确率、支持向量数、间隔宽度
07朴素贝叶斯分类 · 监督UCI 鸢尾花 · 150 条 · 花瓣两特征(无超参数;高斯假设 + 1/3 先验)后验分布、训练准确率
08集成学习分类 · 监督环形 / 异或 / 双月(合成,掺 5% 噪声)方法(Bagging/Boosting)、基学习器数 N单桩 vs 集成准确率
09聚类分析聚类 · 无监督画布手加 / 三簇示例 90 点簇数 K(2–5)、质心初始化SSE、迭代轮数
10降维技术无监督 · 预处理UCI 鸢尾花 4 特征 / 随机相关高斯投影平面选择方差解释率(Jacobi 特征分解)
+附赠 · KNN 分类分类 · 监督UCI 鸢尾花 · 150 条 · 4 特征(z-score)近邻数 K(1–15 奇数)留一法准确率(浏览器现场计算)

关键观察

1 · 线性模型的世界是「直」的

线性回归的拟合与 Logistic 回归的决策边界都是直线——这是模型假设决定的形状,不是训练出来的。手动拧参数时能直观看到 w 控制倾斜、b 控制高度;OLS 一步给出闭式最优解,而梯度下降用几百次迭代逼近同一条蓝虚线,η 过大时还会发散——迭代法的稳定性完全取决于步长。

2 · 表达能力来自「会拐弯」的结构

决策树的轴平行切割、神经网络的非线性边界、SVM 核技巧映射后的弯曲分隔——三者都能画出 Logistic 回归画不出的形状,但代价各不相同:树要足够深(否则欠拟合,深了又过拟合),网络要足够宽且激活函数不能是线性的,SVM 核模式则要解 n×n 的核方程。

3 · 概率视角自成一派

朴素贝叶斯的「朴素」条件独立假设让似然可以连乘,先验 × 似然 → 后验的账本全程可见;它的决策区域是光滑的二次曲线,和判别式模型气质完全不同。

4 · 集成的本质是「平均掉坏事」

一个只切一刀的树桩在环形数据上不到七成准确率;Bagging 用自助采样 + 投票平均掉方差,Boosting 用加权重 focuse 在错误上逐步修偏差——N 拉大后,边界肉眼可见地变平滑。

5 · 无监督与评估是「镜子」

K-Means 完全不看标签就能把点分成簇(但对初值敏感,只保证局部最优);PCA 不看标签就能找到信息量最大的方向(标准化的鸢尾花前两个主成分累计约 96%)。而模型评估页提醒我们:任何指标都必须连同阈值、验证方式一起读,单次划分会骗人,交叉验证的均值才可信。

6 · 距离类模型共享同一条纪律

KNN、K-Means、SVM(RBF 核)、PCA 全都建立在距离或方差之上——因此它们共享同一个前置条件:先做 z-score 标准化,否则量纲大的特征会垄断一切。四页演示可以交叉验证这条纪律:把任一页的标准化关掉,结果都会被量纲最大的特征绑架。

期末冲刺路线

按「概念 → 亲手验证 → 自测」三步走,两天足够:

  1. 第一天上午:按首页学习路线走完 01–03 站(评估 → 线性回归 → Logistic),每页把「三个值得动手验证的现象」亲手做一遍。
  2. 第一天下午:04–05 站(树 / 网络 / SVM 三选二精读 + 贝叶斯),重点对比「边界形状」与「损失函数」两个维度。
  3. 第二天上午:06–07 站(集成 / 聚类 / PCA / KNN),用「方差病还是偏差病」「距离模型要标准化吗」两条主线串起来。
  4. 第二天下午:闯关答题刷 52 题(错题跳回演示页补课)→ 术语配对过一遍 35 词 → 回读本页总表查漏。

结论

  1. 模型形状由假设决定:线性假设出直线,高斯假设出光滑曲线,轴平行切分出格状边界——选模型就是选假设。
  2. 超参数不是玄学:η、K、深度、C、N 的每一个取值,都能在对应演示页里现场验证其后果。
  3. 预处理与评估和模型同等重要:标准化决定 KNN 的距离谁说了算,交叉验证决定指标可不可信。
  4. 「能动手验证」是理解算法的最短路径——这也是本站把每个算法都做成可拧旋钮演示的原因。

复现指南

  1. 双击 index.html 打开演示中心(全程离线可用),按卡片顺序从模型评估玩到 PCA。
  2. 每个演示页先按默认参数看一遍基准行为,再按页面底部「值得动手验证的现象」逐条实验。
  3. 鸢尾花相关演示(朴素贝叶斯 / 降维 / KNN)使用同一份 150 条真实 UCI 数据(assets/iris-data.js),可交叉对照。
  4. 改完参数想重来:每个控制台都有重置按钮;想换数据:线性回归、聚类、集成、PCA 都提供一键换数据。

参考与声明

  • R. A. Fisher (1936). The Use of Multiple Measurements in Taxonomic Problems. Annals of Eugenics, 7(2), 179–188.
  • UCI Machine Learning Repository: Iris Data Set(assets/iris-data.js 内嵌其 150 条完整记录)。
  • 主题说明:本站采用马卡龙风格主题(杏仁奶油底色、玫瑰粉/抹茶/香草/薰衣草辅助色),全部装饰图形为自绘 SVG,未使用任何品牌素材。

声明:本网站为机器学习课程期末作业。全部算法(OLS、梯度下降、Logistic 回归、ID3 决策树、反向传播、SVM/LSSVM、高斯朴素贝叶斯、决策树桩与 Bagging/Boosting、K-Means、Jacobi 特征分解、KNN)均为课程范围内手写实现,未使用任何机器学习库;页面为纯静态 HTML/CSS/JavaScript,无外部字体、脚本与网络请求,可完全离线运行。