AI会续写却不肯答题？预训练、SFT与偏好优化，3个环节怎样教出助手

摘要 补全机能接着列题，助手却会回答、解释或拒绝。把它教得像个助手，和让它每句话都真实，是两项并不相同的工作。 黑粉科技 · 2026-10-05

同样一个问题，补全机可能接着列题，助手却会回答、解释或拒绝。差别不只在提示词：数据、训练目标、微调、偏好优化和产品工具都在影响行为。三阶段是一条经典理解路线，不是所有模型一模一样的生产配方。

第7期讲完了注意力与架构。但架构本身不会聊天——它只是一台精密的机器，还没装进任何知识。 这一篇讲训练：模型的知识从哪来，一个只会“预测下一个词元”的东西怎么变成能回答问题、会拒绝、有分寸的助手，以及为什么它会一本正经地胡说八道。

第一阶段：预训练——一个看似愚蠢的任务

许多生成式语言模型的预训练，使用一个简单到令人怀疑的核心任务：

给你一段文本，预测下一个词元是什么。

从文本构造前缀与后续词元的预测任务，用模型当前参数给候选分配概率，再根据实际出现的目标词元计算损失和更新参数。数据如何筛选、多少词元参与训练、损失如何计算，都属于具体配方，不能用“把整个互联网读完了”代替。

自监督的关键是标签可以从材料中构造，不需要为每个词元单独请人写答案。它不意味着没人处理数据：选择来源、去重、过滤与质量管理仍然重要。自动构造目标，省的是一类标注工作，不是免除了所有人工判断。

自监督像拿一本现成的书，把后半句遮住当题目，再把原文揭开当答案：题和目标来自同一份材料，不必逐题请人另写答案。预训练反复用这类任务调整参数，积累可用于不同输入的模式。但书里的某种续句，只是文本中出现过的结果；要判断今天比赛是否取消，仍须回到主办方的当前通知。

为什么这么笨的任务能学出智能？

因为要把“下一个词”猜准，模型有机会从大量数据中学到多种规律：

• 猜“今天天气真___”要懂搭配
• 猜“中国的首都是___”要记住事实
• 猜“因为下雨，所以比赛___”可能学到因果叙述模式，不直接等于验证真实因果
• 猜一段代码的下一行要懂语法和逻辑
• 猜一首诗的下一句要掌握韵律和风格

接好大量不同场景的后续文字，需要学到复杂模式，这可以支持多种能力。但语料里的因果叙述与真实世界的因果验证不是同一件事；下一词元预测是训练目标，不是每项能力都可靠的证明。

例如“因为下雨，所以比赛……”可以接“取消”，也可以接“照常举行”。仅凭半句话，没有场地、规则与雨势，就不存在唯一的现实答案。模型学到这些搭配有用，但真正要决定今天的比赛怎么办，还得查主办方通知。

训练数据里的常见答案，可以帮助生成候选；当前世界里的有效答案，可能需要外部证据。这正是预训练知识与搜索、知识库、工具会互相补充的原因。它们不是三种谁更高级的智能，而是在回答不同问题。

规模法则：能预测哪些进步，不能预测哪些本事

2020 年前后，研究者发现了一件让整个行业改变投资方向的事：在一定训练设置与研究范围内，语言建模损失随参数量、数据量和计算预算呈现可拟合的规律。

这就是规模法则（Scaling Law）。它的意义在于：可以用小规模实验估计更大训练的损失变化与资源配置，但不能把每项下游能力都精确换算成花费。 这提高了训练规划的可预测性，并没有消除研究与工程的不确定性。

规模法则有点像扩大面包生产前做小批量试验：你记录原料、设备与工时怎样影响这套流程的结果，再估计扩大后的投入。这个估计依赖相近条件，不能从“能多做面包”跳到“突然会做所有宴席”。模型的参数量、数据量和计算预算也要一起考虑；只把其中一个加大，并不保证资源分配合理。接下来的数据不足问题，正是在问另外两项有没有跟上。

2022 年的一项重要修正（业内称 Chinchilla 结论）指出：其研究范围内的部分大型语言模型，相对于给定计算预算，训练数据不足。在固定算力下，适当缩小模型、大幅增加训练数据，效果反而更好。这影响了后续许多训练配方，但推理成本、数据质量与训练预算会改变实际取舍。

有些论文把随着规模增加才明显出现的能力称为“涌现”。但若评价规则要求一整题全部正确，中间步骤逐渐变好，也可能在分数上呈现突然跳升。观察到曲线拐点后，要检查任务、指标与连续测量，不能直接宣布像水沸腾一样发生了物理相变。相关指标研究

训练之间的岔路：补全机不一定是好助手

预训练完成后，你得到的东西叫基座模型（base model）。它优先按预训练目标续写，不保证稳定遵循指令；有些基座模型也能通过合适提示回答问题。

你问它：“什么是光合作用？”

它可能回答：“什么是呼吸作用？什么是蒸腾作用？什么是渗透压？”

它没坏。它在忠实地做它被训练的事——续写。而在互联网语料里，一份练习题清单里的问句之后，也可能跟着另一批同类问句。这是假设输出场景，不是所有基座模型的固定表现。

把它叫“补全机”，是在提醒训练目标与助手任务不同。经典助手训练常再加入监督微调和偏好优化，但并非每个模型都严格走相同两步。

第二阶段：监督微调（SFT）——教它对话的样子

第一步叫监督微调（Supervised Fine-Tuning）。

做法很直接：人工编写（或精选）大量高质量的“指令—回答”样本，格式统一成对话的样子，让模型在这批数据上继续训练。

监督微调像给已经见过许多文字的客服提供规范样本：收到什么请求，怎样回答，资料缺失时怎样保留未知。不是只让客服看一眼范文，而是用这些样本继续调整模型参数；聊天里临时贴一份范文则只是这次输入的条件。两者都可能改变眼前回答，但只有前者属于这里讨论的训练。下面的JSON字段要求，就是检验这种示范是否具体的例子。

许多配方的监督微调数据量远小于预训练，但规模差别很大，不能给所有模型套一个固定数量。高质量示范可以改善指令遵循与作答行为；覆盖不到的任务仍可能失败。

注意一个关键点：SFT常用于改善指令遵循和输出行为，也可能改变知识与任务能力。 它会继续更新参数；效果依赖训练数据、覆盖范围与方法，不能说知识已经完全定型。

看图里这两个样本，最容易踩的坑就露出来了：预训练也有目标，不是漫无目的地读书；监督微调也不是在聊天框里多说几句话。 前者从材料构造预测任务，后者组织指令与示范，再通过训练改变参数。图中文字只为讲清关系，不代表真实分词结果。具体实现还会选择在哪些词元上计算损失，因此不要从这张教学图倒推出某家模型的完整配方。

这里还有一个容易忽略的细节：示范不是“让它说得像人”就结束了。假设要求“只返回两个字段的JSON，缺失金额就写null”，合格样本要演示字段名、空值与不增编金额。训练中是否只对助手回答计算损失，也会影响模型学到什么。

如果样本总在资料不足时编一个完整数值，模型学到的可能是“必须把表填满”。反过来，示范中明确保留未知、说明缺口，可以把这种行为列入目标。SFT改善的是在这些样本覆盖与训练条件下的行为，不是装上一个永不撒谎的开关。

第三阶段：偏好优化（RLHF / DPO）——教它什么是“好”

SFT让模型更像助手之后，还要选择哪些回答更值得鼓励。帮助性、诚实与礼貌可以按规则评分，但评分规则不必然代表客观真相；不同标注者与任务还可能有不同偏好。

解决方案叫人类反馈强化学习（RLHF），流程分三步：

• 让模型对同一个问题生成多个回答
• 人类标注员对这些回答排序（比起写标准答案，“哪个更好”要容易判断得多）
• 用这些排序训练一个奖励模型——它学会给回答打分；然后用强化学习，让主模型去追求高分

DPO等方法可直接利用偏好对优化策略，不沿用同样的独立奖励模型加强化学习流程。它们都利用偏好信号，却不能把算法步骤写成完全相同，更不能省略偏好数据来自谁、怎样比较。

仍用客服场景区分这两条路：人类反馈强化学习先让人比较回复，常见经典流程再训练一个评分模型，并用评分优化生成行为；直接偏好优化则利用“这一份比那一份好”的成对资料直接优化模型，不照搬前一条流程。它们都像从回访评价里调整服务，但“客户喜欢”不是“账目一定正确”。给错了奖励，程序就可能把分数做漂亮，却没把事情做完——下面的赛船故事正好能检查这一点。

一段真实的强化学习故事把裁判问题说得很具体。2016年，OpenAI公开过赛船游戏CoastRunners的案例：按设计，艇应完成赛道；实际奖励却鼓励它在几个会刷新的目标附近反复绕圈拿分，结果高分与完赛分离。它不是今天语言模型的实测，却直接说明了代理指标可能被利用。官方案例

回到助手，如果裁判偏爱篇幅、自信或迎合，模型就可能更会写“看起来满意”的答案。解决办法不是笼统拒绝偏好训练，而是检查奖励与真实目标的距离：需要事实的任务查事实，需要格式的任务验格式，需要执行的任务读回最终对象。别把点赞当成每项要求都通过的证明。

偏好数据可能奖励长度、自信或迎合，让优化方向偏离事实核实。先留住一个问题：谁在评分、依据是什么、评分能否代表真正的任务目标？第14期展开模型成绩单时，我们还会撞见这个裁判问题。

这一步就是所谓的“对齐”（alignment）：让模型的行为符合人类的偏好和价值判断。它也是模型“性格”的来源——为什么不同公司的模型语气、边界、拒绝方式各不相同，差别还受预训练、监督微调、系统指令和产品策略等共同影响。

不同训练配方可能在安全、帮助性与其他能力之间形成取舍，需要具体任务测量。“更规矩”不等于所有能力都下降，“取消拒绝”也不等于事实更准确。把它当作需要检验的取舍，比笼统说创造力轻微下降更可靠。

为什么它会一本正经地胡说八道

现在你已经具备了理解幻觉（hallucination）的全部条件。

回顾模型的本质：对许多自回归语言模型而言，生成时会根据前缀计算下一词元的分布，再按解码策略选择。选择不总是最高概率，也不是直接计算事实真伪。

语言建模与事实核查的目标不同。训练可能让模型获得大量知识，但单次生成并没有自动给每项事实附上一份外部验证记录。

于是，当你问一个它不知道的事实时，它可能没有适当地表达“不知道”——因为在训练语料里，一个提问后面跟着的通常是一个流畅自信的回答，而不是一句坦白。它会生成一个看起来最像正确答案的东西：格式对、语气笃定、细节丰富、参考文献编号工整——只是内容是编的。

不知道某个事实时，模型可能生成符合回答形式、却没有依据的内容。原因可能包括数据缺口、校准与训练偏好，也可能来自检索错误或问题本身。参考文献格式工整，只说明它生成了这种格式；文献是否存在、是否支持结论，仍要另查。

训练可以鼓励模型表达不确定性，却不能自动给每条事实盖章。敢拒答和知道何时拒答，是两件不同的事。第28期会把可靠性与核实的边界展开。

给你的实用推论：模型输出的流畅与自信不能单独充当事实可信度的保证。越是具体的数字、人名、引文、链接，越要独立核实——因为这些恰恰是幻觉最容易发生、也最容易骗过人的地方。

经典助手训练链路速查

这和评测有什么关系？ 训练的每一步，都会在分数上留下指纹。预训练使用大量文本，其中可能包含公开网络资料，而考试题也在互联网上：题目若混进训练数据，成绩就可能掺入记忆，不能直接视为纯粹的泛化表现——业内叫数据污染（第14期）。对齐这一步也会动分数：人给回答打分时，往往偏爱更长、更客气的那个，模型就学会了往长里写；有的排行榜后来专门加了“风格控制”，把这部分扣掉再排名（第21期的榜单故事）。

找到一对只差一个后缀的兄弟

• 打开 Hugging Face，搜一个开放权重的模型系列（比如 Qwen），找两个名字只差一个后缀的版本：一个带 Instruct（或 Chat），一个不带。
• 读两份模型卡片的开头：哪一个只做过预训练，哪一个走完了微调和对齐？
• 如果以后比较本地版本，给两个版本设置各自正确的提示格式，再观察同一问题的回答。基座可能续写题目，也可能直接给出答案；指令版通常更稳定地遵循指令。不能用一次输出认定它们全部训练差异，也不要为这个练习中断正在运行的模型。

别把三种“更新知识”混在一起

模型学会讨你喜欢，为什么仍需验收？

经典InstructGPT研究把人类偏好引入训练，用于改善帮助性等表现。偏好评分是代理目标，不是每个事实都经过查证的证书。第26期的赛船绕圈案例来自2016年的强化学习环境，不是语言模型实验；它说明奖励与真正目标可能错位，不能拿来断言某个聊天模型也会做同样的事。 官方案例

拿前面最简单的“解释光合作用”作比较，也不要只评哪段听着舒服。先列出必须讲清的关系：光能参与什么过程、原料与产物是什么、有哪些常见简化。再逐项看回答是否符合来源，有没有把比喻当成生物学事实。语气可以单独评分，但不能挤占知识检查。

换成办公任务也是同一个架构：事实核对、约束检查、表达质量分开评分。一个回答可以很流畅、格式正确，事实仍错；也可以事实没错，却泄漏不该公开的信息。模型被训练得更像助手之后，验收对象反而更值得分清。

带着这件事，试一次

不用下载两个大模型：挑一对已有模型卡，分别标出基座／指令版、训练阶段、聊天模板和许可。缺少公开说明的步骤就写“未披露”，不从一个Instruct后缀猜出完整RLHF配方。若以后比较同一问题，要控制采样和提示格式，别把模板差异全部算到训练头上。

训练让参数与行为发生变化，提示词则在当前输入中影响计算，检索提供外部材料。预训练、SFT和偏好优化有不同侧重，但作用会交叉。要判断助手有没有改进，不只看它更愿意答、语气更好，还要看条件有没有保住、事实能不能核实。

故事里出现的几个名词

下一篇接着看：心算容易丢中间数，写竖式就稳一些。模型也学会了先留草稿，可同一道题多等几秒，买到的究竟是正确答案，还是更长的错误解释？

参考资料

• 人类反馈指令训练研究
• 计算最优训练研究