← Dwarkesh Podcast

Gwern——年薪 1.2 万美元、预测了 AI 发展轨迹的匿名作者

Gwern — Anonymous writer who predicted AI trajectory on $12K/year salary

第2024-11-13期2024-11-13简体中文会员内容

嘉宾:Gwern

收听本集00:00 / 1:36:43
阅读设置
按你的习惯阅读
正文字号
下载播客精读
把这一篇,带走慢慢读

中文 · 精读 · 当前版本

下载功能还未开放

正文语言

精读 · 按主题梳理核心观点、论证与案例。

§01匿名让人有机会被听见

Gwern 说,匿名最大的好处是减少别人对身份的预设。没有名字或公众形象可供归类,读者至少得接触一部分作品,才能否定你。他也看重匿名带来的现实保护,但认为更重要的是有机会被听见。这次访谈也通过虚拟形象和改变呈现方式保护了他的身份。

§02自动化也许会保留人类判断

谈到企业如何自动化,Gwern 认为采用过程会自下而上:AI 先接手具体任务,再由人类高管监督 AI 企业。他猜测,人类可能仍然擅长长期愿景和品味判断,并以 Steve Jobs 式 CEO 为例:AI 执行并提出方案,人类从中做选择。他还设想,企业可能由可复制的团队组成,而不是单个模型。AI 副本能保留隐性知识、成组合作,因此可以把整个部门复制出来,作为选择和改进的单位。

§03关于规模扩展的历史脉络

被问到最早什么时候可以预见奇点,Gwern 将早期类似想法追溯到 Samuel Butler 1863 年关于自主机器生命的论述。他还讲了艾萨克·牛顿对技术进步的解释:文明也许会周期性崩溃,人们只是在重新发现旧知识。据 Gwern 所说,卢克莱修也用过类似说法解释罗马创新。这些例子说明,在累积进步的观念尚未普及时,人们会如何把快速变化解释掉。

§04智能是对已学解法的搜索

Gwern 的理论认为,智能涉及在大量可能程序中搜索;他用“图灵机”作为简称,而非依赖一个主算法或某种特殊的“智能液体”。按此观点,更聪明的人有更多算力,可以搜索更长时间、探索更多可能。大脑规模更大,最终能找到解决具体任务的小型专用方案,再把它们重新组合成看似通用的智能。这一理论也有助于解释通用智能为何在进化中少见:在稳定生态位里,直接编码专用方案可能比进化出通用学习机制更便宜可靠。

§05规模化如何改变了他的预测

Gwern 说,大约在 2005 到 2010 年间,他认为 AI 还很遥远,部分原因是他相信算法需要算力本身无法提供的复杂洞见。他关注 Moravec、Kurzweil 和 Shane Legg 的预测,但仍然怀疑。AlexNet、DanNet 和 GPT-1 等成果让他更加留意;GPT-2 给他的冲击更大,而 GPT-3 成了关键考验。他认为,GPT-3 的大规模扩展和少样本能力使他相信算力扩展确实有效,尽管许多评论者因为它不是最先进模型而认为它表现平平。

好对话,值得读完整。

免费试读到此结束。开通书架会员,继续阅读全文,解锁中英对照与电子书下载。