AI寒冬有2次，为什么2012年才翻身？显卡、数据和一场比赛的故事

摘要 1958年，人们已经在期待会学习的机器。几十年后它才真正改变行业。中间不是一条直线上升的曲线，而是承诺、失望，以及老想法终于等到条件的故事。 黑粉科技 · 2026-10-05

今天一聊大模型，绕不开神经网络。它会写文章、改代码、看图片，仿佛是这几年突然冒出来的东西。

可把时间往回拨：1958年，罗森布拉特已经在研究让机器从例子中学习。

那时候没有手机，没有互联网，更没有你电脑里那块能跑模型的显卡。可“不要把规则全部写死，让机器自己调整内部参数”的想法，已经出现了。

既然想法这么早就有了，为什么还要等几十年？中间为什么不是稳步进步，而是两次跌入通常所说的“AI寒冬”？

我觉得，这段历史最有用的地方，不是让我们记住几个科学家的名字。它能帮我们分清三件经常被混在一起的事：一个想法有潜力，一次演示成功，一项技术能稳定交付，不是同一回事。

今天看到“模型又突破了”，或者准备把一个大模型装进自己的电脑，这个区别依然管用。

1958年，机器已经开始“看例子”了

1958年7月，美国海军研究办公室展示了一项感知机实验。康奈尔大学保存的历史回顾写到：一台IBM 704接收打孔卡，经过50次试验，学会区分标记在左边还是右边的卡片。实验背后的研究者，是康奈尔航空实验室的心理学家弗兰克·罗森布拉特。

注意这个任务：区分左和右。它离写小说、识别复杂场景、自主工作，还非常远。可当年的新闻已经把它放进了“机器能够学习、未来能够拥有更像人的能力”的叙事里。康奈尔大学历史资料

把机器教会这件事，有两条很不一样的路。

一条路是你把判断方法写清楚：看哪个位置有标记，符合条件就输出“左”，否则输出“右”。机器执行的是你已经想好的规则。

另一条路是给它一些例子和正确答案。机器先猜，猜错了就调整连接上的权重，下次再猜。它不需要你把每个判断条件逐条写完，而是通过反复调整，形成一套能区分输入的计算方式。

这里的“权重”，可以先理解成各条线索在判断中的分量。某条线索可靠，它的影响就应该更大；某条线索总把判断带偏，它的影响就应该被调整。真正的训练会把这个过程写成数学，而不是让机器凭感觉决定。

像判断要不要带伞：天气预报、窗外云色、出门要走多远，都是线索，但影响大小不同。给线索不同的分量，就是理解权重的入口；训练则根据例子里的答案，调整这些分量。机器调整的是数值，不会自己决定“淋湿也无所谓”。这也接上了前面的区别：把判断规则逐条写死，和从例子中调整数值，是两种做法。

从例子中调整参数，确实是一条通向今天神经网络的线索。但不能因此说，今天的大模型就是感知机放大一点。网络结构、训练目标、优化方法都发生了重要变化，不只是多买几块显卡。

当年的成果是真的，离它最近的正确结论也很清楚：某种机器能够在特定任务上学习。

一旦把结论升级成“通用智能很快就来”，就跳过了最难的部分：换一个任务，还能不能学？任务复杂以后，还能不能学得动？出了实验室，还能不能稳定工作？

罗森布拉特没能看到后来这条路线的变化。1971年，他在帆船事故中去世，年仅43岁；Mark I感知机后来被史密森学会收藏。同一项研究，从新闻里的未来想象，变成博物馆里的历史实物，后续研究才又把相关思想推向新的能力。人的一生，和一项技术成熟所需的时间，并不总能对得上。康奈尔大学历史资料

第一次热潮：把世界写成规则，结果世界开始出题

1955年的达特茅斯研究提案，已经使用了“人工智能”这个名称。1956年夏天的研讨会后来被视为这一领域的重要起点。提案涉及语言、抽象、神经网络等问题，早期AI并不只有一条路线。达特茅斯原始提案

其中一条影响很大的路线，是符号主义：把知识表达成符号和规则，再让机器进行推理。

这件事为什么有吸引力？因为它看起来很接近人类解释自己的方式。问你为什么判断某个东西是鸟，你可能会说：它有羽毛，有翅膀，会飞。把这些线索写进程序，似乎就能复制你的判断。

但你真的开始写，就会发现不对劲。

你写下“鸟会飞”。企鹅呢？鸵鸟呢？受伤的鸟呢？被关在笼子里的鸟呢？

我喜欢这个例子，不是因为它能证明规则一无是处，而是因为它把一个问题摆在你面前：一句看起来正确的常识，背后藏着多少没有明说的条件？

如果任务限定得很窄，规则可以很好用。例如一个只处理固定格式订单的程序，不必懂整个世界。问题在于，你把它从小环境搬到开放世界，规则没有写到的情况就会不断出现。

还有一种困难，和“规则写不完”不完全相同：即使规则有了，搜索所有可能性也可能太贵。

做一个纯粹的算例。假设每一步都有10种选择，你要往后看6步，就可能面对100万条长度为6的路径；看10步，就是100亿条。实际算法会剪枝，不一定真把所有路径都走完，但这个例子说明：在小题目里成功的办法，未必能直接扩到大题目。

搜索树像在岔路口找路线：你不仅要想眼前往哪走，还要看每条路后面又有哪些岔路。剪枝就是发现某条路明显不合要求时，先不继续往下查。它省下的是后续搜索；若排除规则不可靠，也可能错过好路线。这样再看上面的乘方，就知道困难不只是电脑跑得慢，而是候选路线会随着步数迅速增多。

于是，早期AI至少碰到了两堵不同的墙：知识怎么得到、怎么表达；以及问题变大以后，计算怎么承担。不能把它们都压缩成“当年的科学家不会写规则”。

1973年，莱特希尔与AI研究者之间甚至进行了一场公开电视辩论。爱丁堡大学保留了这段历史影像和报告入口。争论本身就提醒我们：当时并不存在一个所有人都接受的简单判决。1973年辩论与报告档案

20世纪70年代的一轮退潮，通常被归入第一次AI寒冬。它牵涉成果与预期的落差、研究资助环境和不同路线的技术局限；不是一次实验失败，就让整个领域在同一天“死亡”。

单层感知机输给了异或，但它不是神经网络的死刑判决

与此同时，神经网络这条路也遇到了自己的困难。1969年，闵斯基与帕普特出版《感知机》，研究了这类模型的局限。

其中最适合讲清楚的，是“异或”。名字有点唬人，规则其实很简单：两个输入不一样，输出1；两个输入一样，输出0。

你家楼道里有两只开关：扳动任何一只，灯的亮暗都会切换。把两只开关的状态记成0和1，就能借这个场景理解“相同不亮、不同亮”的一种接线关系。单看某一只开关，猜不出灯的状态，必须把两者组合起来看。下面那张表和图展示的，就是这种不能只靠单条直线分开的组合关系，不是在给“异或”换个神秘名字。

把四种情况画成四个点，你会发现：两个“1”在一条对角线上，两个“0”在另一条对角线上。

一个采用线性加权与阈值判断的单层感知机，做出的分类边界相当于一条直线。你怎么移动、旋转这条线，都不能把两个“1”放在一边、两个“0”放在另一边。

这不是它努力不够，也不是例子再多一点就会突然想通。在这个结构和输入表示下，它表达不出需要的边界。

但这个结论有严格的适用范围：单层、线性边界、这类输入表示。增加具有非线性变换的隐藏层，可以构造出解决异或的网络。问题接下来变成：我们怎么找到那些合适的参数？

“能表示某个答案”和“能用可行的训练方法学出这个答案”，又是两件事。

所以，“直到1986年，人们才知道多层网络能解决异或”是个容易记住、却会误导人的说法。它把多层网络的表达能力、训练方法的历史和研究环境，揉成了一个过于整齐的故事。

同样，不能说一本书凭空制造了整个AI寒冬。单层感知机的局限是真问题，但把有限模型的失败，扩大成所有神经网络都没前途，就是另一种判断了。

这个误区离我们并不远。今天你让一个模型做错一道数学题，可以证明它在这次输入和设置下答错了；要证明“这类模型永远不会推理”，还需要远多于一道题的证据。

第二次热潮：会训练了，也能做生意了，为什么仍然退潮？

到了20世纪80年代，一边是专家系统进入商业应用，一边是神经网络训练方法继续发展。

专家系统的想法比“复制整个世界”务实：别什么都懂，先把某个领域的专家经验编进程序。

以配置计算机订单为例，这是解释原理的场景，不是一次实际测试：客户选了某种部件，就要检查与之匹配的接口、电源和机箱。如果兼容关系清楚，规则系统可以减少漏配与错配。

可是产品会更新。新部件加入后，要补规则；老部件退出后，要改规则；两条规则冲突，还要判断谁优先。系统的价值不能只看“今天答对了多少”，还要算明年由谁更新，以及更新一次会影响什么。

这就是知识获取与维护问题：专家经验不总是现成的规则，写进去的规则也不是永远不用管。规则越多，维护越可能复杂，但不能未经测量就断言，每套系统的成本都必然“指数增长”。

神经网络这边，1986年鲁梅尔哈特、辛顿与威廉姆斯发表的论文，让反向传播获得了广泛关注。它通过输出误差，计算连接权重应该怎样调整，也让隐藏层能够学出有用的特征。这是重要进展，但不是多层网络和所有相关思想第一次出现。1986年反向传播论文

可以把它理解成一条多道工序的生产线。最后交出的东西不合格，不能只对最后一个工人说“你错了”，前面各道工序也可能影响结果。反向传播的作用，是按计算关系把最终误差的影响往前传，求出各个参数对误差的影响，再配合优化方法调整参数。

注意，算法是在计算影响，不是在给神经元分配道德责任。

可训练方法出现，不代表深层网络就能轻松训练。

层数加深，传回前面部分的信号可能变得很弱；数据不够，模型可能记住训练例子，却不能应对新例子；计算资源有限，你甚至没法以合理时间完成需要的实验。这几种困难，分别属于优化、泛化和计算成本，不能只用一句“算力不够”包办。

到20世纪80年代末及其后，专家系统与专用AI硬件市场的困难，和更广泛的预期调整相互叠加，形成通常所说的第二次寒冬。它也不意味着所有相关研究停止了。

这里最容易把故事写成：“少数天才坚持，世界终于给他们回报。”

但读者真正该带走的不是“越冷门越值得押注”。我们今天看见的是后来成功的路线，没有同样清楚地看见所有坚持多年仍未成功的尝试。坚持可以是重要条件，却不是成功的充分条件。还要看障碍有没有被解决，证据有没有变好。

2012年，AlexNet给出了一张很难忽略的成绩单

2012年，克里泽夫斯基、苏茨克韦与辛顿的工作，让深度卷积神经网络在ImageNet竞赛中受到广泛关注。

官方结果里，SuperVision参赛方案的前五错误率约为15.3%，另一支队伍ISI的最好结果约为26.2%。获胜条目使用了额外训练数据；只用竞赛提供训练数据的另一个条目约为16.4%。这不是一个可以省略设置差异的“裸模型对决”。ImageNet 2012官方结果

“前五错误率”不是“每看100张图就认错15张”的日常说法。它允许方案给出五个候选类别：正确标签没出现在这五个候选里，才算错。

如果用四舍五入后的15.3%和26.2%算，差距是10.9个百分点；相对错误率下降约42%。这两个数字都能说明进步，但不能混说成“准确率提升42个百分点”。算例改变不了评价规则，所以不能直接把它转换成看病、开车或识别任意照片的可靠程度。

到这里，一个问题就很自然了：为什么是2012年，而不是1986年？

答案不是“1986年的科学家不够聪明”。当时可用的数据、硬件和训练办法，与后来已经不一样。

AlexNet论文描述了约120万张训练图片、1000个类别的实验设置，并写到网络在两块GTX 580上训练约五到六天。论文还介绍了ReLU、数据增强、Dropout等设计。ImageNet整体资料库与某次竞赛训练子集不是同一个规模，不能把总库的图片数量直接当作这次训练使用量。AlexNet作者论文

把这些条件分开看，就容易理解它们怎样相互配合：更多且合适的数据，才有机会学到可泛化的模式；计算资源决定能否负担训练；结构、优化与正则化方法影响模型能否学得动，以及会不会只记住例子。

它们不是三个可以随意替换的筹码。数据更多，但训练跑不完，交不出结果；训练很快，但数据与任务不匹配，也不能靠快解决；模型把训练集背下来，到了新图片仍可能失败。

老想法等到了更合适的条件，但不能说“三个条件在人类历史上第一次同时齐备”。更准确的判断是：2012年的代表性突破，展示了这些条件结合起来的力量，并用公开竞赛给出了可比较的结果。

2017年，语言模型改变了排队方式

图像方向的成功，并不会自动解决语言问题。

一种传统的处理方式，是把句子从前往后读。循环神经网络会把前面的状态带到后面，好像一份不断被更新的笔记。问题是，同一条序列里，后一步计算依赖前一步结果，训练时就存在不容易绕开的顺序依赖。

2017年，《Attention Is All You Need》提出Transformer，把注意力机制放到核心位置，减少了这种逐步递归计算的依赖，提升了训练的并行性。Transformer原始论文

可以把这个转折概括成“必须排队”变成“可以并行”。只是必须补上一句：这里主要在说训练计算的组织方式，不是在说文字顺序不重要，也不是说生成回答时不再逐个产生词元。

你读“我给小王一本书”和“小王给我一本书”，用的是差不多的词，可意思不一样。不能丢掉位置关系。Transformer需要用适当的位置表示处理这类信息。

而一个自回归语言模型在生成时，通常仍要根据已经生成的内容，接着预测下一个词元。训练更容易并行，与回答一次性全部生成，是两个不同问题。

后来的预训练语言模型，把在大量文本上学到的模式用于不同任务。2020年的GPT-3论文研究了1750亿参数模型的少样本能力：把任务说明和几个例子放在输入中，不对每个任务重新更新参数，也能完成多种测试；论文同时报告了它的困难与局限。GPT-3原始论文

2022年11月30日，ChatGPT以对话产品的形式发布。发布介绍不仅展示了对话能力，也说明了它可能产生看似合理却不正确的回答。ChatGPT发布介绍

这段变化里，架构、训练、交互与产品化都有作用。只讲“参数变大以后，智能突然出现了”，既漏掉中间的工作，也会让人误以为更大就一定更适合自己的任务。

把三次热潮放在一起，重复的到底是什么？

曲线表示叙事中的热度起落，不是投资额、论文数或者人才数量的统计结果；各领域的兴衰也没有整齐到完全共用一条曲线。

把时间线放在一起，几次转折就更容易对照。年份是路标，不代表所有变化都在那一年突然发生。

顺着这条线看，反复出现的不是“AI隔几年就一定崩一次”。历史不会按一张示意图准时重演。

反复出现的是一种推理跳跃：在一个任务上成功，于是推到所有任务；在演示里成功，于是推到稳定使用；技术有进步，于是推到交付成本已经合理。

看起来只差“再做好一点”，实际却可能缺一整组条件。

两次寒冬的经验，也不能反过来证明今天一切担忧都是多余的。过去有些方向后来成功了，不意味着今天每个承诺最终都会兑现。我们需要追踪的，是某个具体障碍有没有被解决，而不是给技术贴“永远不行”或者“必然成功”的标签。

下次看到模型突破，我会先问哪几件事？

如果你现在看到“新模型开源了，普通电脑也能跑”，先别急着把它理解成“我这台电脑已经能稳定使用”。

沿着前面的历史线追问，就能把这个承诺拆清楚。

先问，它证明了什么能力？ 是一段挑选出来的演示，还是一组有明确设置的测试？做对了几个例子，和在代表性任务上稳定完成，是不同强度的证据。

再问，这个结果依赖什么条件？ 需要哪种硬件、什么精度、多少上下文，是否调用外部工具？就像2012年的竞赛成绩，要连同训练数据与指标一起读。

接着问，缺的那一步是哪一步？ 下载到权重，解决的是文件获取；运行时支持模型结构，解决的是兼容；内存与计算资源足够，解决的是能否运行；在你的任务里得到稳定结果，才涉及是否好用。它们不能相互替代。

最后问，怎样才算交付？ 偶尔答对，还是连续完成？生成代码，还是代码真的符合指定功能？省下了计算费用，是否增加了检查与维护时间？如果验收标准没说清，讨论很容易变成双方各自想象。

回头看1958年，区分左和右的实验并没有因为后来的失望而失去意义。需要纠正的，是从这个实验直接跳到通用智能即将实现的判断。

今天我们也不必在“全是泡沫”和“马上改变一切”之间选边站。

承认已经发生的进步，讲清进步成立的条件，再去验证它能否解决自己的问题。 这比跟着一轮热潮兴奋、再跟着一轮失望否定，更有用。

神经网络的想法那么早就出现了，却仍然经历起落，原因恰恰在这里：想法打开了可能性，但没有替后来的人完成数据、计算、训练与可靠交付的工作。今天的大模型继承了这条历史，也仍然需要接受同样具体的检验。

下一篇继续沿原知识库的顺序，看论文、代码、权重与许可怎样把AI带到普通用户的电脑上。下载按钮背后，还有几道容易被漏看的门。

参考资料

• AlexNet原论文
• 反向传播经典论文
• 达特茅斯研究提案