实验 07 / 约 80 分钟
交付一个可复现的小模型
怎样证明一次模型改动真的有用？
未开始这和大模型有什么关系？
无论训练小模型，还是微调语言模型，都要记录数据、参数、指标并比较基线。这里把一次实验接完整，为后续大模型实验建立工作方法。
这个实验能解释到哪里：下方是人造数据上的线性回归，不会生成文字，也不代表真实大模型能力。RAG 通常改变提供给模型的资料；微调改变参数，两者需要不同的实验设计。
动手时带着这个问题：先定设置，再训练，用留出数据比较基线，保存报告。看过测试结果后继续调参，要承认测试集已参与选择。
还没建立全貌？先看一次回答的完整过程 ↗LAB / PROJECT跑通第一条训练流水线
试一试先用默认设置运行，揭晓测试结果，再下载报告。
- 01固定数据24 条 · 人造样本
- 02训练参数16 条 · 更新 w、b
- 03验证表现4 条 · 观察误差
- 04最终测试4 条 · 独立评估
条件就绪。点击运行，开始第一次完整实验。
你已经看过测试集成绩。继续调参会让它参与模型选择；正式项目需另留未使用的最终测试集。
同一个原理 · 两种讲法
先理解，再往深处走。
先把实验条件说清楚
我们生成 24 条人造数据，按固定样本编号分成 16 条训练、4 条验证、4 条测试。你决定噪声、学习率和训练步数；重复同样设置，结果相同。
训练后再看没有用过的数据
模型只用训练集更新参数。训练结束后展示验证误差；最后点击“揭晓测试结果”，才查看测试集成绩。再和“永远猜训练集平均数”的简单方法比较。
留下一份可以复现的报告
下载的 JSON 包含参数、划分规则、数据和误差。如果看过测试结果后继续调参，这一份测试集已经参与了你的选择；真正做项目时要换一份未使用的最终测试集。
在线实验的数学设定
在线数据为 xᵢ=i/6−2、yᵢ=2xᵢ+1+noise·sin(7.13i)，i=0…23。i mod 6=4 为验证，=5 为测试，其余为训练；固定 16/4/4。仅训练集参与梯度更新，验证与测试使用同一已训练参数。基线始终预测训练目标均值。正弦扰动是确定性人造噪声，单次合成实验的低误差不能证明现实任务有效。
前置知识
- 完成前六节实验
本节目标
- 组织训练、验证、测试流程
- 给出基线、结果、限制与复跑命令
确定一个足够小的问题
本单元用人造传感器数据预测数值，输入一维，目标关系与噪声公开。这样你能把精力放在流程。下一步换成真实数据时，需要重新讨论数据授权、样本定义和任务价值。
给实验留下可复现条件
记录 Python 版本、数据生成规则、划分索引、参数初值、学习率、训练步数和评价指标。仅上传一个模型文件不够，别人不知道它怎样训练，也难以检查数据泄漏。
先跟简单办法比较
本实验的基线永远预测训练标签均值。你实现的直线模型应在保留的测试点上比它更好。若没超过基线，先查单位、划分、梯度与训练过程，不急着换更大模型。
报告可以包含失败
写明你做了什么、验证集怎样选方案、测试集只用了几次，以及失败条件。这里的三题检验只证明你通过了本节知识检查，不代替代码审查，更不证明你可以独立处理任何机器学习问题。
把学习接到创作
可把可视化展示或实验说明做成本站作品，完成正常投稿后在本页关联自己的 sub- 编号。原始笔记和打卡仍是私密的；关联不会自动公开笔记，也不会让待审作品绕过审核。
问题 → 数据 → 基线 → 训练 → 验证 → 测试 → 复现与限制Python / 只用标准库 / 无需 GPU
在自己的电脑上复现
运行 project 实验，保存生成的 report.json。提交一份说明：数据与划分、基线、训练设置、验证/测试误差、一个失败实验及限制。本站关联是可选的，不强迫为了学习而投稿。
下载实验代码 ↓保存为 ai_lab.py，在 Python 3.10 或以上运行。本单元使用人造数据，不调用外部服务。Python 练习与在线实验采用各自的小数据例子，练习相同原理，不要求数值逐项相同。
python ai_lab.py --lesson project程序包含结果断言；如果不满足预期会报错。第 7 节会在运行目录生成 report.json。运行后，回到笔记写下你的观察与改动。
继续读原始资料
本站提供原创导读；以下链接前往资料原站。仅本成人学习栏目提供这些精选来源。
scikit-learn · 常见陷阱与数据泄漏 ↗英文 · 阅读数据泄漏与一致预处理核对日期 2026-09-21PyTorch · 基础学习路线 ↗英文 · 下一阶段预习，当前单元不要求安装核对日期 2026-09-21只对你可见
我的学习记录
登录后可保存笔记、打卡和学习进度。
删除本节的私密记录
删除本节进度、笔记、关联与打卡；其他课程和原作品保留。
验证方式 / 本节三题知识检验 v1
合上导读，检验一下
全部答对后记录“通过验证”。这表示通过本节知识小测，不等同于独立完成代码、人工评阅或能力认证。