← Dwarkesh Podcast

Demis Hassabis: 德米斯·哈萨比斯:规模扩展、超人类 AI、基于大语言模型的 AlphaZero 与 AlphaFold

Demis Hassabis — Scaling, superhuman AIs, AlphaZero atop LLMs, AlphaFold

Episode 2024-02-282024-02-28简体中文Members only

Guests: Demis Hassabis

Listen to this episode00:00 / 1:01:34
Reading settings
Reading preferences
Text size
Download in-depth read
Read offline

简体中文 · In-depth read · Current version

Downloads are not available yet.

Text language

In-depth read · Key ideas, reasoning, and examples, organized by topic.

§01智能、迁移与超越大语言模型的搜索

哈萨比斯认为,智能的适用范围很广,这说明专门化的大脑功能之下可能存在一些高层次的共享算法。他说,大语言模型在一个领域的能力提升,有时会迁移到其他领域,比如编程能力提高可能带动一般推理能力;但他也提醒,目前证据仍然有限。他将此与人类通过练习专精某项技能、同时依赖通用学习系统进行比较。神经科学背景启发了他对强化学习、经验回放和注意力等研究方向的思考,但他强调,这种启发并不意味着人工系统与大脑之间存在一对一对应。

谈到如何将大语言模型与规划结合起来,哈萨比斯认为,大模型可以提供先验或世界模型,之后再叠加类似 AlphaZero 的搜索,以探索行动并制定计划。他认为这种做法很有前景,但单靠它还不够:系统需要准确、可靠的世界模型,以及利用模型实现明确目标的机制。搜索可能计算成本很高,但他比较了 AlphaZero 搜索数万种候选棋局、传统象棋引擎可能搜索数百万步,以及人类冠军只考虑数百步的情况。更好的世界模型可以减少作出强决策所需的搜索。

哈萨比斯看好自我对弈与合成数据解决数据瓶颈,但他说,生成通用世界数据比在游戏中生成经验更困难。他以 AlphaGo 和 AlphaZero 为例,说明系统可通过彼此对弈、从自己的错误中学习并积累知识。他还指出,数据整理和分析仍不成熟:研究者需要找出训练分布中的缺口,再针对这些地方生成合成数据。讨论承认这些方法很有希望,但尚未证明它们能多好地迁移到开放式的现实任务。

Keep reading as a member.

You've read the free preview. Become a member to read the rest, with side-by-side reading and downloads where available.