Francois Chollet: 弗朗索瓦·肖莱：为什么最大的 AI 模型也解不开简单谜题

肖莱将 ARC 描述为一项旨在抵抗记忆式作答的智能基准测试。与奖励积累事实或熟悉模式的测试不同，ARC 谜题只需要核心知识，也就是物体、计数和基础物理等基本概念，但每次出现的任务都是新颖的。解题者需要根据少量网格输入输出示例推断转换规则，再应用到新网格上。肖莱说，目前的大语言模型能解析这样的小网格，但由于必须合成新的解题程序而不是从记忆中检索程序，所以仍然很吃力。

人们对 ARC 的解释存在争议。德瓦尔凯什问，未来的大语言模型如果达到80%，是否说明它们正在走向通用人工智能。肖莱回答，关键在于它是怎么做到的：如果用数百万道 ARC 类谜题训练模型，训练任务与测试任务之间可能产生重叠，仍然依赖 ARC 要测试的记忆能力。他承认 ARC 不完美，也可能被钻空子。他认为更有说服力的证据，是模型能在大量真正新颖的任务中当场适应；这项标准适用于任何 AI 技术，而不仅是大语言模型。

双方的分歧在于如何界定‘分布内’。德瓦尔凯什认为，大模型可能见过足够多的世界知识，因此能够处理对某个具体人类来说新颖的任务。肖莱则回应，世界一直在变化，所以任何固定训练集都无法涵盖未来所有任务。他将人类智能与更多依赖基因硬编码行为的生物作比较：如果环境静止且可预测，进化也许会产生一套固定程序，而不是让人类在缺乏知识的情况下出生、再高效学习。他借此解释了适应新颖事物的重要性，并非只是声称当前模型没有有用知识。

肖莱认为，仅增加多模态能力未必能消除 ARC 难题。基准使用只有十种符号的小型二维网格，很容易展平成序列，Transformer 能处理这种序列。在熟悉任务上微调、再用小幅变化的任务测试，可以看出大语言模型能解析输入并编码解题程序。在他看来，问题是陌生性：每道新题都要求现场产生新程序。多模态模型能否提高表现，双方认为这是很快就能检验的经验问题。

主持人与嘉宾将人类表现作为对照。肖莱认为聪明成年人应能拿到90%至95%，而知识很少的五岁孩子也能超过50%；他报告说，普通成年人测试的平均分约为85%。德瓦尔凯什质疑 Mechanical Turk 工人能否代表全球人口中位数。他还指出，人类在智商测试上的表现也有差异，并询问杰克·科尔用2.4亿参数模型取得35%是否体现了类似的能力光谱。肖莱说，该方法依赖数百万个生成的 ARC 任务与测试时微调，不同于孩子首次接触 ARC；他还指出，这确实是主动推理的一个实例，让他很感兴趣。