你问一句话，
大模型里面发生了什么？

把刚才五步接起来

从文字进入，到文字出来

1. 拆开文字以“北京是中国的”为例。文字先经过分词器，变成一串编号。一个片段可能是一个字、词的一部分或标点，不一定等于一个词。
2. 变成数字可以先把向量理解成一长排数字。训练会调整这些数字，让模型能利用文本中的规律。它们不是人工规定的“地名分、情绪分”。
3. 结合上下文模型处理当前能看到的上下文。Attention 让不同位置的信息相互影响，网络中的其他计算继续变换这些信息。“结合上下文”并不等于已经查证事实。
4. 预测下一片段它计算接下来各个片段的概率，再按生成规则选出一个。这里可以用“首都”作为续写示意。高概率说明模型倾向这样续写，不能直接当作事实可信度。
5. 接着往下生成于是你看到一段回答逐步出现。实际聊天还可能带上系统指令、历史消息、检索资料或工具结果。此处讲的是常见文字生成主流程。

聊天模型还经过指令学习等适配，产品也可能调用搜索或其他工具。理解“预测下一个 Token”是理解生成机制的起点，不能用它替代对完整系统能力的分析。

最容易混在一起的两件事

你在聊天时，与模型在训练时

学完能解释哪些实际现象

把原理放回你每天遇到的问题

按你想弄懂的问题选实验

现在，数学实验才有了位置。

下面是真实可操作的小实验。它们解释基础机制，不具备聊天大模型的完整能力。