Nat Friedman(GitHub 前 CEO):解读古代卷轴、开源与 AI
Nat Friedman (Github CEO) — Reading ancient scrolls, open source, & AI
嘉宾:Nat Friedman
全文文稿 · 按对话顺序保留完整内容,深入理解上下文。
§01Nat Friedman(GitHub 前 CEO):解读古代卷轴、开源与 AI
Dwarkesh Patel
今天我很荣幸能和 Nat Friedman 对谈。他在 2018 年至 2021 年间担任 GitHub 的 CEO。在此之前,他创办并出售了两家公司,Ximian 和 Xamarin。他还是 AI Grant 和 California YIMBY 的创始人。最近,他又发起并组织了卷轴奖(Scroll Prize),我们的对话就从这里开始。你想向听众介绍一下卷轴奖是什么吗?
§02维苏威挑战赛
Nat Friedman
我们把它叫作维苏威挑战赛(Vesuvius Challenge)。这件事既疯狂又令人兴奋,我觉得自己能卷入其中真是莫大的荣幸。几年前,正值新冠疫情期间,我们都被封控在家,和所有人一样,我也一头扎进了各种网络兔子洞。我开始读到大约 2000 年前意大利维苏威火山的喷发。事情是这样的:维苏威火山在公元 79 年爆发,摧毁了附近所有的城镇,大家都知道庞贝。但附近还有另一座城镇,叫赫库兰尼姆(Herculaneum)。赫库兰尼姆相当于庞贝的“比弗利山庄”,有大别墅、大宅子,住的都是体面人物。赫库兰尼姆有一座格外巨大的别墅,它曾经属于尤利乌斯·凯撒的岳父,一个人脉很广的人。别墅里满是精美的雕像、大理石制品和艺术品,同时还藏有一座巨大的莎草纸卷轴图书馆。别墅被掩埋时,火山喷出了大量泥浆和火山灰,把赫库兰尼姆埋在了大约 20 米厚的堆积物之下。那不是薄薄一层,而是非常厚的一层。这些城镇被埋没、被遗忘了数百年,直到 18 世纪人们才知道它们的确切位置。1750 年,一名在赫库兰尼姆郊外挖井的农工,挖到了一块大理石铺路石,那是通往这座大别墅的一条小路的一部分。当时他已经挖得很深,在地下 60 英尺。后来,一位瑞士工程师来到这里,从那口井的竖井向外挖掘隧道,发现了各种宝物。当时盗宝式的发掘是时代风气,遇到墙壁就直接凿穿,把幸存下来的精美青铜雕像取走。挖掘过程中,他们不断遇到一块块看起来像木炭的东西,不确定那是什么,很多显然被丢掉了,直到有人注意到其中一块上有一点点文字。他们这才意识到那是莎草纸卷轴,而且有数百卷,甚至数千卷。于是他们发现了这座巨大的图书馆。它是唯一以某种形式幸存下来的古代图书馆,尽管损毁严重。这些卷轴已经碳化,非常脆弱,是自古代以来唯一留存的一批。在地中海气候下,莎草纸卷轴会很快腐烂,必须由僧侣大约每 100 年,甚至更短的时间重新抄写一遍。据估计,那个时期的所有文字作品,我们现在只保留了不到 1%。
在地下发现数百卷莎草纸卷轴,是一项巨大的发现,即便它们状况不佳,但毕竟还在。其中有几卷还能辨认出字迹。人们出于好意想读懂它们,立刻就开始尝试打开,但卷轴极其脆弱,在手里就化成了灰。结果数百卷就这样被毁掉了。人们还做过一些事,比如用匕首把卷轴从中间切开,这样会有不少小碎片剥落下来,他们便试图从几块碎片上读出几个字母。
后来,一位名叫皮亚焦(Piaggio)的意大利修士,在梵蒂冈的支持下设计了一台机器,可以非常、非常缓慢地展开这些卷轴,每天大约半厘米。一卷典型的卷轴可能有 15、20 或 30 英尺长。他们成功展开了其中几卷,在上面发现了希腊哲学文本,属于伊壁鸠鲁学派传统,作者是一位不太知名的哲学家,名叫菲洛德穆斯(Philodemus)。这样我们就得到了来自古代的新文本,而这并不是经常发生的事。最终,人们不再尝试物理展开这些卷轴,因为被毁掉的实在太多了。事实上,一些物理展开卷轴的尝试甚至一直持续到“200 年代”(原稿如此,疑为 2000 年代),结果卷轴都被毁了。
目前的情况是,我们有 600 多卷大致完整、可以打开的卷轴。我听说这件事时觉得它令人无比兴奋:这是来自 2000 年前的信息,我们不知道这些东西里写了什么。显然,人们正在尝试开发新的方法和新技术来打开它们。
我读到肯塔基大学的一位教授 Brent Seales,他一直在用越来越先进的成像技术扫描这些卷轴,再用计算机视觉和机器学习技术对它们进行虚拟展开,全程无需真正打开。他们尝试过很多方法,但最近一次是在 2019 年,他们把卷轴带到英国牛津的一台粒子加速器,也就是钻石光源(Diamond Light Source),进行了本质上是超高分辨率的 3D X 射线扫描。要做到这一点,需要能量非常高的光子。他们得以获得 8 微米分辨率的扫描,也就是非常微小的体素,他们认为这足够了。
我觉得这简直是世界上最酷的事。我们用技术去读取这些来自过去的失落信息。我一直在等他们成功解码的消息。那是 2020 年,随后新冠来袭,大家的进展都慢了下来。去年,我突然想知道 Seales 博士和他的卷轴项目怎么样了。我联系了他,结果发现他们进展得相当不错。他们已经让一些机器学习模型开始识别卷轴内部的墨迹,但还没有提取出文字或段落,这非常有挑战性。
我邀请他来加州聊聊,令我惊讶的是,他真的来了。我们聊着聊着,决定联手攻克这个难题。我们最终确定的做法是发起一场公开竞赛。我们和他的团队一起做了大量工作,把数据、工具、技术以及对材料的整体理解整理成一种状态,让聪明人能够轻松上手并很快产出成果。我和 Daniel Gross 一起设立了一个奖项,有点像 X PRIZE 之类的,奖励第一个能在不打开卷轴的情况下,从其中一卷中真正读出大量真实文字的个人或团队。
我们这周就要启动,也许等这期节目播出时刚好就是。让我兴奋的是其中的赌注。赌注相当大。现有的六七百卷卷轴,据估计,如果我们能把它们全部读出来,也就是这项技术行得通并且能推广到所有卷轴,那么古代文本的总量大约会翻一番。这是历史学家告诉我的。
所以这并不是说,哦,我们会让古罗马或古希腊文本的总量增加 5% 或 10%。不是的,而是相当于我们现有全部文本的量。我听到的一个计量单位是“好几个莎士比亚”。所以这会非常重大。我们不知道里面有什么,我们已经有几篇菲洛德穆斯的文本,那些有一定价值。但里面可能有失传的史诗,或者天知道还有什么。所以我非常兴奋,我觉得有大约 50% 的可能,会有人遇到这个机会,拿到数据,被它“狙击”(nerd sniped)住,然后我们今年就能把它解决。
Dwarkesh Patel
我是说,这真的像是科幻小说里的情节,就像 Neal Stephenson 书里会写的东西。我之前和 Seales 教授聊过,显然这种震惊是双向的。因为最初的几封邮件,他心想:这肯定是垃圾邮件,Nat Friedman 不可能主动联系我,还知道了这个奖项。
Nat Friedman
这很有意思,因为其实要联系上他相当困难。我给他发过几次邮件,但他一直没回。我让我的助理 Emily 打电话给他所在系的秘书,说:Friedman 先生要找我。这时他才知道这事确实是真的。于是他终于接了我的电话,我们开了 Zoom。他问我,你为什么对这个感兴趣?我很喜欢 Brent,他很棒,我想我们现在是朋友了。我们发现在这件事上想法很一致,而他已经到了非常想要攻克它的地步。他们已经把工作推进到了一码线前,这件事在现阶段是可以做成的。每一个关键环节他们都已经验证过了。把所有环节整合起来、提高质量、在整卷卷轴的规模上做到,这仍然是非常艰难的工作。而公开竞赛似乎是完成它最有效率的办法。
Dwarkesh Patel
在我们谈数据的状况和各种可能的解决方案之前,我想先把如果我们能展开这些卷轴会有什么收获讲得具体一些。你说还有几千卷?我们说的是菲洛德穆斯那一层的卷轴,还是其他层的卷轴?
Nat Friedman
你会想,如果发现了这座属于尤利乌斯·凯撒岳父的疯狂别墅,那我们把整座别墅挖出来就是了。但实际上,大部分勘探发生在 18 世纪,是通过那位瑞士工程师挖的地下隧道进行的。这座别墅从未被完全挖开、暴露在空气中。人们往下挖 50 到 60 英尺,然后再挖隧道。而且,他们当时找的是宝藏,并不是做完整的考古勘探。所以他们主要得到的是宝物。上世纪 90 年代,人们在别墅边缘又做了一些发掘,发现了几件事。首先,他们发现这是一座面朝大海的海滨别墅,在火山爆发之前就紧挨着水边。火山喷发沉积了大量额外的泥浆,把海岸线向外推了出去,所以现在它显然已经不在海边了,我自己其实从没去过。
他们还发现,别墅里还有两层,是之前的隧道显然从未挖掘过的。所以最多只有三分之一的别墅被发掘过。另外,他们也知道,当年发现这些莎草纸卷轴时,大部分卷轴集中在一个小房间里。至少据我们所知,这些主要是菲洛德穆斯的文本。他们显然还发现,同一篇文本有时有好几个修订版本。有一种假说认为,这其实是菲洛德穆斯的工作用藏书室,这位伊壁鸠鲁派哲学家就在这里工作。不过在走廊里,他们偶尔也发现了其他卷轴,包括成箱的卷轴。人们的看法是,至少历史学家是这样告诉我的,而我不是专家:他们认为这座别墅的主图书馆很可能还没有被发掘出来。而且这座主图书馆可能是一座拉丁文图书馆,可能包含文学作品、历史著作和其他东西,规模可能大得多。当然,我不知道这些古典学者有多容易陷入一厢情愿。这是个浪漫的想法。但他们有一些证据,比如在走廊里发现了那些被部分搬出的卷轴,诸如此类。我后来去读了不少关于发掘过程的第一手记述。其中有令人心碎的描述,说他们发现了一整箱拉丁文卷轴,却在试图把它们从泥里取出来时不慎毁掉了,里面大概有 30 卷左右。显然还有其他一些东西,我们至今还没触及。
Dwarkesh Patel
你自己做了一些卷轴,对吗?
Nat Friedman
对。这是莎草纸,一种生长在埃及尼罗河上的草本芦苇。几千年来,人们一直用它来造纸。做法是剥掉莎草的外皮,然后把内芯切成条状。把这些条平行铺开,再在底层之上垂直 90 度铺一层,然后用压板或石头压在一起,让它干燥。这基本上就是莎草纸。然后他们会把其中几张纸用糨糊粘在一起,糨糊通常用面粉做,就得到一卷长长的卷轴。现在你还能买到,我就是在亚马逊上买的这个,它很有意思,质感很强。莎草植物的纤维和纹路都在,所以你在上面写字时,真的能感觉到那种质地。我买它是想弄明白我们所研究的这些文物究竟是什么样的。所以我们尝试模拟碳化其中几卷。我们基本上用了一个荷兰锅,因为把东西碳化、做成木炭,并不是有氧燃烧,而是隔绝氧气、加热,让它碳化。我们试着用荷兰锅来模拟,这大概并不完美,我们把它放在 500 华氏度的烤箱里烤了大概五六个小时。这些东西轻得不可思议,你要是想把它们展开,它们在你手里很容易就散了。我猜我这些比出土的那些状态还要好一些,因为它们没有经历火山喷发,也没有被泥浆覆盖。也许那些泥浆比我的烤箱能达到的温度还要高。它们只是一些碎片,一捏就在手里变成粉末。我们还试着复现了 18 世纪那些令人心碎的展开技术中的许多种。比如他们用过玫瑰水,或者试着用各种油来软化卷轴再展开。其中大部分都极具破坏性。他们甚至往里面倒水银,因为他们觉得水银可能会渗进层与层之间。所以,是的,它们大致就是这个样子。它们会收缩,然后变成灰。
Dwarkesh Patel
顺便说一下,对正在收听的听众来说,想象一下雪茄的烟灰,只是更黑,而且碎裂的方式也一样。它就是一块起了泡、发黑、卷起来的莎草纸。
Nat Friedman
对。而且它们会起泡,层与层之间可能分离,也可能粘连。
Dwarkesh Patel
所以这件事发生在公元 79 年,对吧?也就是说,在那之前的任何东西都有可能在里面,我想这可能包括?
Nat Friedman
对。里面可能有什么?我不知道。你和我也推测过这个,对吧?如果不只是多出一些伊壁鸠鲁哲学,那会极其令人兴奋,当然多出一些也不错。但几乎任何东西作为增量都会很有意思。我的梦想是,我觉得如果能找到关于早期基督教的内容,比如对早期基督教的同时代记述,也许还有教会不希望被人看到的东西,那会让我很兴奋。也许会有某个人对基督教或耶稣的评论,带来一些细节色彩,我觉得那会是件非常大的事。据我所知,我们现在没有这样的东西。其他一些很酷的东西是更古老的作品。那里已经发现的几卷卷轴,在别墅被掩埋时就已经有几百年历史了。据我了解,这座别墅大概是在大约 100 年前建成的,他们可以根据书写风格来判断一些卷轴的年代。所以里面有一些年代很早的东西。而亚历山大图书馆是在 80 或 90 年前被烧毁的。所以,也许又是一厢情愿,但有传言说,那里的一些卷轴曾被转移出去,也许其中一些最终落到了这座规模可观、地位显赫的地中海别墅里。天知道里面会有什么,那会非常酷。我个人觉得,如果能找到文学作品会很棒,比如全新的优美诗歌或故事,因为幸存下来的太少了,我们现有的并不多。我觉得那会很有意思。你想出了一个最棒、最疯狂的设想,说里面可能有带着 GPT 水印的文本。那会让人毛骨悚然。
Dwarkesh Patel
我仍然无法释怀,这简直就是科幻小说的情节。它可能是古代世界保存下来的最大的完整图书馆,因为这场火山喷发,就像调试器暂停了程序一样被定格住了。被遗忘的古代哲学家、最早的福音书,那里有太多有趣的东西。不过我们来谈谈数据是什么样的。你提到它们已经做过 CT 扫描,他们还开发了这些机器学习技术来做分割和展开。要从这一步走到理解里面真正的内容,还需要什么?
Nat Friedman
Seales 博士实际上开创了现在被广泛称为“虚拟展开”(virtual unwrapping)的这个领域。而他最初并不是用这些赫库兰尼姆卷轴做的,这些卷轴相当于“专家模式”,难度极高,我很快会告诉你原因。他最早是用在以色列死海附近发现的一卷卷轴做的,叫作恩-盖迪(En-Gedi)卷轴,它是在类似的情况下被碳化的。我记得是一座神殿被烧毁了,莎草纸卷轴当时放在一个盒子里,所以有点像荷兰锅,也是以同样的方式碳化的。因此它无法被打开,一打开就会散架。于是问题是:你能不能无损地读取它的内容?他对这卷卷轴做了 3D X 射线,也就是 CT 扫描,然后做成了两件事。第一,墨水在 X 射线下的特征很明显,与莎草纸看起来很不同,对比度很高。第二,他能够对卷轴的卷层进行分割,贯穿整卷卷轴的整个主体,识别出每一层,然后用相当常规的平整化计算机视觉技术,从几何上把它展开,再读取内容。结果发现那是《利未记》的早期部分,属于《旧约》或《托拉》。这是一项里程碑式的成就。接下来的想法就是把同样的技术应用到这个案例上。这被证明很难。有几个因素使它变得困难,首要的一点是,赫库兰尼姆莎草纸上使用的墨水对 X 射线的吸收并不强。它对 X 射线的吸收似乎和莎草纸基本相当,非常接近,当然不是完全一样。所以你的断层扫描 3D X 射线图像里不会出现那种漂亮、明亮的字迹。因此你必须想办法开发新技术,找出里面的墨迹。这是第一个问题,也一直是一个重大挑战。第二个问题是,这些卷轴本身状态非常糟糕。它们又长又卷得很紧,被火山泥严重扭曲,火山泥不仅加热了它们,还让它们部分变形。所以光是分割问题,也就是识别整卷卷轴中每一层,虽然能做到,但很难。这是几个挑战。另一个挑战当然是拿到卷轴并把它们带到粒子加速器。你得先有接触卷轴的权限,还得有使用粒子加速器的权限和机时,这既昂贵又困难。Seales 博士完成了让这一切成真的艰难工作。好消息是,最近几个月,他的实验室已经证明,可以用卷积神经网络真正识别这些 X 射线图像里的墨迹。我看那些 X 射线扫描,至少在我见过的所有渲染图里,我看不到墨迹,但机器学习模型能够在高分辨率下,从这些体数据内部 X 射线吸收中非常细微的模式里识别出它,我们已经看到了这一点。你可能会问:好吧,怎么训练一个模型来做这件事?因为你需要某种真实标注数据来训练模型。他们的重大洞见是在莎草纸脱落的碎片上训练。多年来人们在意大利试图打开这些卷轴时毁掉了许多,但保留了一些脱落下来的碎片。在其中一些碎片上,你能看到一些字迹。如果对碎片拍红外图像,在某些情况下,字迹能看得相当清楚。我想他们用的是 930 纳米波长,拍一张这样的小红外图像,这样就有了真实标注数据,然后对这块脱落的碎片做 CT 扫描,并试着把它和图像对齐、配准。这样你就有了可能用来训练模型的数据。事实证明,这在碎片上是行得通的。
我想这就是“为什么是现在”。这就是我认为现在发起这项挑战正逢其时的原因,因为我们有很多理由相信它能成功。核心技术、核心环节都已经被验证过,只是需要把它们全部整合起来,用在这些非常复杂的卷轴的规模上。所以,是的,如果你能做好分割,这大概需要很多工作,也许有办法将它自动化。然后你再想办法把这些模型应用到卷轴内部,而不仅仅是这些碎片上,那么看起来你很可能就能读出大量文字。
Dwarkesh Patel
你为什么决定用奖金的形式来做,而不是直接给已经在做这件事的团队一笔资助,或者资助其他想接手的团队?
Nat Friedman
我们讨论过这个。但我想我们基本上得出的结论是,解决这个问题的可能方法所构成的搜索空间相当大,而我们只想尽快把它完成。办竞赛意味着很多人会尝试很多不同的东西,总会有人很快想出办法。人多眼杂,也许能让这个任务变得没那么难。我想这是主要原因。可能某个团队也能做成,但我觉得这样会高效得多。而且这也很有趣。我觉得办一场竞赛很有意思,谁知道最后是谁解决的,又是怎么解决的?人们甚至可能不会用机器学习。我们认为那是识别墨迹最有可能的方法,但他们也许会找到我们没想到的其他方法。
Dwarkesh Patel
人们可能会有一个疑问:你们已经把这些可见的碎片标注出来了,我们是否能预期它们对应那些被烧焦、碳化成灰的卷轴,可以在其上做机器学习?一种的真实标注数据能对应到另一种吗?
Nat Friedman
我认为这是一个非常合理的担忧,它们确实不同。脱落的碎片,墨迹上方是空气。所以对它做 CT 扫描时,是墨迹挨着空气。而在卷紧的卷轴内部,墨迹旁边可能是莎草纸,对吧?因为它紧贴着下一层。你的模型可能不知道该如何处理这种情况。所以,是的,我认为这是挑战之一,也就是怎样把在碎片上训练的这些模型,转换到略有不同的环境中。不过也许卷轴中有些部分,内侧是有空气的,我们知道确实如此,你在这里能看出来一些。所以我认为它至少部分行得通,聪明人大概能想出办法让它完全行得通。
Dwarkesh Patel
好的。你说成功的几率大约是五五开?你为什么认为这件事能做成?
Nat Friedman
我认为能做成,是因为我们已经在碎片上,从 CT 扫描里识别出了墨迹,而我觉得其余的大概都是几何和计算机视觉问题。这些扫描的分辨率非常高,是 8 微米。如果你把一卷卷轴像这样竖起来,扫描是在穿过它的切片上获得的。就像这样,沿 Z 轴从下到上有一层层切片。它们在磁盘上的存储方式是,每个切片是一个 TIFF 文件。对于完整的卷轴,每个切片大约一百多兆字节。所以分辨率相当高。如果你把比如 100 个这样的切片叠起来,每片 8 微米,那么 100 片就是 0.8 毫米。一毫米已经相当小了。我们认为这个分辨率足够好,或者至少刚好在够用的边缘,因此应该是可行的。横跨一整层莎草纸,似乎大约有六到八个像素,我想应该说是体素。这大概就够了。我们还看到了机器学习模型的结果,Seales 博士有几位博士生,已经在 8 微米分辨率下证明了这一点。所以我认为墨迹识别是可行的。数据显然物理上就在卷轴里,对吧?墨水被碳化了,莎草纸也被碳化了。但实际上物理保存下来的数据并不多。然后问题是:这些数据有没有进入扫描结果?根据我们目前看到的结果,我认为很有可能。所以我觉得关键就在于有没有聪明人,或者一群聪明人,或者一群锲而不舍、愿意做大量手工工作的人来解决它,这样也行,也可能你既要聪明又要锲而不舍。我觉得我最大的不确定性就在这里,也就是是否有人会去做。
Dwarkesh Patel
是啊,我是说,如果二十五万美元都不能激励你的话。
Nat Friedman
对,我觉得钱是好东西。如今机器学习领域有很多钱。
Dwarkesh Patel
我们是否有足够多已经映射出来的卷轴数据,可以用来训练模型,如果这是最佳路径的话?因为有人可能会问:听着,既然你们已经有了这些真实标注数据,为什么 Seales 博士的团队还没能直接把它训练出来?
Nat Friedman
我认为他们会做到的。我认为就算我们让他们自己去做,他们也会解决。可能会多花一点时间,因为人手不多,这里的空间很大。但我是说,是的,就算我们不办这个竞赛,我仍然认为这件事会被解决,只是可能要几年。我认为通过这种方式,很可能在今年就能实现。
Dwarkesh Patel
假设奖项被拿下了,有人想出了办法,我们可以读到第一卷卷轴。你提到其他层还没有被发掘。世界会作何反应?假设我们成功映射出了其中一卷。
Nat Friedman
这就是我个人对这件事的希望。我总喜欢寻找这类廉价的杠杆办法,也就是那些你只做了一件相对很小的事,却引发了……你踢一颗石子,引来一场雪崩的时刻。理论是这样的,Grant 也认同这个理论:如果你能读出一卷卷轴,而我们目前只扫描了两卷,现存却有数百卷,租用粒子加速器相对昂贵。所以,如果你能扫描一卷,并且知道它行得通,可以把这项技术推广出去,也能用在其他卷轴上,那么扫描剩余卷轴所需的资金,大概在几百万美元的量级,也许只要 100 万美元,就会自己到位。这个奖励太诱人了,不可能没有人出钱。而且发掘整座别墅其余部分的紧迫性和回报也会变得极其明显。因为如果里面还有几千卷莎草纸卷轴,而我们现在有了读取它们的技术,那么那堆泥里就是黄金,必须把它挖出来。令人惊讶的是,考古的经费少得可怜。真的,几十年来都没有人在那里挖掘。这就是我的希望:这成为奏效的催化剂,有人读出了它,获得了巨大的荣耀,我们所有人都觉得很棒。然后挖掘者来到赫库兰尼姆,把其余的都挖出来。
§03寻找杠杆点
Dwarkesh Patel
我在想,像《神秘海域》(Uncharted)或《夺宝奇兵》(Indiana Jones)这样的考古主题电影和游戏的预算,是不是比真实世界做考古的预算还要大。不过在这次采访之前我和一些人聊过,他们强调的一点就是你发现这些杠杆点的能力。
比如 California YIMBY,我不知道你当初具体投了多少种子资金。但就那笔钱来说,对于一个这么新的机构,如果你看今天加州和全美 YIMBY 运动的状况,它是极少数产生了相当大政治影响力的机构之一。你是怎么发现这些事情的?
有很多有钱人会对历史或其他某个主题感兴趣,但很少有人真的为此做点什么。你是怎么找到该从哪里下手的?
Nat Friedman
我也有点困惑,为什么人们不多做点事。我不知道,也许你能告诉我,为什么没有更多人去做事?我觉得大多数有钱人都很无聊,他们应该多做些酷的事情。所以我希望他们现在能这样做。我想部分原因是,我从根本上就不相信这个世界是有效率的。所以,当我看到做某件事的机会时,我不会有那种条件反射般的反应,觉得:哦,那一定不是个好主意,如果是好主意的话早就有人在做了。比如,加州的住房政策肯定有人在管吧?又或者这件事那件事肯定有人在管。所以,第一,我没有那种“世界是有效率的,别费劲了,大概已经有人搞定了”的过滤器。第二,我学会了相信自己的热情。它也会给我惹麻烦,但如果我对某件事真的非常热情,而且这份热情一直持续,我就放任自己去做。我就这样让自己冲动行事。我发现过一张很棒的图,并在推特上发过,上面写着:我们做这些事,不是因为它们容易,而是因为我们以为它们容易。这种事经常发生。决定去做是冲动的,是出于热情,然后你投入进去,你会想:天哪,这比我们预期的难太多了。但这时你已经做出了承诺,被卡在里面了,你就必须把它做完。
我原以为这个项目会相对简单,把数据拿出来放上去就行。但当然,99% 的工作已经由 Seales 博士和他在肯塔基大学的团队完成了。我有点像个“外来投机者”(carpetbagger),在最后阶段才出现,想做新的一小块。
Dwarkesh Patel
最后一英里往往最难。
Nat Friedman
没错,不管怎样,它最后被证明是分形的。要让一件事做成并且行得通,需要把每一个小细节都做对,我希望我们把它们都做对了。所以我想这就是原因之一:不相信世界是有效率的,然后让自己的热情促使你投入到某件事里,结果发现这件事要做的工作很多,而且非常难。然后你很倔强,不想失败,所以就一直坚持下去。我想就是这样。
Dwarkesh Patel
关于效率这一点,你认为它是不是尤其适用于像 California YIMBY 或这个项目这类没有直接金钱激励的事情,还是……
Nat Friedman
不。世界上某些领域比其他领域更有效率,你不能假设各处的低效程度都一样。但我常常感到惊讶,即使在你以为非常有效率的领域,也有一些摆在明面上的东西,我能看到而别人看不到。当然也有很多东西我也看不到。我最近和一家对冲基金的一些交易员聊过。我想弄明白秘密在对冲基金的成功中扮演什么角色。我之所以对此感兴趣,是因为我认为 AI 实验室将会进入一种类似的新动态,它们的秘密会非常有价值。
如果你有 50% 的训练效率提升,而你的训练运行花费 1 亿美元,那就是一个价值 5000 万美元、你想保守的秘密。对冲基金经常做这类事情。所以我问了一家非常成功的对冲基金的几位交易员:假设你让最聪明的交易员每月一次上 Twitch 直播 10 分钟,在直播里讲述他们 30 天前的交易策略。不是现在的策略,而是一个月前的策略。这样持续 12 个月之后,对你们的业务会有什么影响?
也就是 12 个月,每月 10 分钟,回溯 30 天。一年总共才两个小时。令我震惊的是,他们告诉我利润会下降大约 80%。影响会非常大。
然后我又问:那么回溯窗口需要多长,才会对你们的业务只产生相对较小的影响?他们说是 10 年。我认为这是相当有力的证据,说明世界并不是完全有效率的,因为这些人靠着可能一小时就能讲完的秘密赚到了数十亿美元。而别人没有这些秘密,或者说他们的秘密行不通。所以我认为世界各处的效率水平不同,但总体而言,我们对世界效率的默认估计过于宽容了。
Dwarkesh Patel
关于 AI 实验室可能会保守秘密这一点,现在有一种奇怪的规范:不同 AI 实验室的人不仅是朋友,而且常常住在一起,对吧?这就像奥本海默和一个在研制苏联原子弹的人住在一起之类的。你认为一旦秘密的价值被意识到,这些规范还会持续吗?
Nat Friedman
是的,我今天正好又在想这件事。这种情况似乎正在放缓,他们似乎在试图关紧阀门。但我认为这方面有很多因素对他们不利。第一,这些秘密相对简单。第二,你是从学术界发表论文的规范里走出来的,整个文化基本建立在分享和发表之上。第三,正如你所说,他们都住在合租的房子里,夏天还搞多元多伴侣关系(polycule)。人们之间有大量交织。而且这一切都在加州。加州是不允许竞业禁止协议的州,我们没有竞业禁止。所以他们得改变这种文化,给每个人一栋自己的房子,搬到康涅狄格州,也许那样才行得通。我认为机器学习工程师的薪资和薪酬方案可能会进行调整,来应对这个问题,因为你不希望自己的秘密被人带出门。有些工程师,比如 Igor Babushkin,刚刚加入了 Twitter。Elon 雇他去做训练。这是公开的吧?我想是的。
Dwarkesh Patel
现在是公开的了。
Nat Friedman
Igor 是个非常非常好的人,也很聪明,但他碰巧也在 DeepMind 和 OpenAI 训练过最先进的模型。我不知道这是不是一个考量因素,也不知道影响有多大,但如果你认为存在尚未扩散的有价值的秘密,那么重视这一点是说得通的。所以我认为他们会试着放慢这个过程,论文发表已经大幅放缓了。但我觉得离达到对冲基金或曼哈顿计划的程度,还有很长的路要走,秘密的半衰期可能仍然相对较短。
§04AI 领域的开源
Dwarkesh Patel
作为一个一生都参与开源的人,你对 AI 发展成现在这样感到满意吗?还是你认为这不是最理想的?
Nat Friedman
嗯,我不知道。我的看法一直在变化。我越来越担心安全问题。不是那种被劫持的“安全”说法,而是某种工业事故类的情形或者滥用。我们现在还不处在那样的世界里,短期内我也不是特别担心。但从长期来看,我确实认为有些世界值得我们稍微担心,在那里会发生坏事,不过我不知道该怎么办。但我的信念是,总体上让更多人去摆弄和使用这些模型,至少在它们目前的状态下,大概是更好的。比如,Georgi Gerganov 这个周末对 LLaMA 模型做了 4 比特量化,让它能在 M1 或 M2 上做推理。我非常兴奋,我把它跑起来了,玩起来很有趣。现在我有了一个非常好的模型,几乎达到 GPT-3 的质量,还能在我的笔记本上运行。我是在一个由修补匠和开源爱好者组成的世界里长大的,你能接触到的越多,能尝试的东西就越多。所以我确实发现自己对这种做法很有好感。
Dwarkesh Patel
那是科学家和思想层面被分享的部分,但还有另一部分是实际的物质,就像原子弹类比里的铀。随着不同的数据来源意识到它们的数据对训练新模型有多么宝贵,你认为这些数据会变得更难抓取吗?比如 Libgen 或 Archive,它们会在某种程度上受到速率限制吗?你对此有什么预期?
Nat Friedman
首先,互联网上有太多数据了。构建模型需要两个基本要素:你需要大量数据,我们有,就是互联网的形式,我们把整个世界数字化到了互联网上。然后你需要这些 GPU,我们有,因为电子游戏。所以你把互联网和电子游戏硬件撞在一起,就得到了机器学习模型,而且这两者都是大宗商品。我认为在开源世界里,没有人会在很长时间内真正受数据限制。外面有太多数据了。可能拥有专有数据集、而且很容易被抓取的人一直在把它们关掉,所以如果你需要抓取,现在就去抓。但这只是边际上的事。我仍然认为有相当多东西可用。你看,今年是扩散之年。这一周是扩散之周。这周我们将看到四五个重大的 AI 发布,新模型、新 API、新平台、新工具,来自各家不同的厂商。从某种意义上说,它们都是向前看的。而我的赫库兰尼姆项目是向后看的。我觉得它极其令人兴奋、很酷,但这确实是个有趣的对比。
§05收购 GitHub
Dwarkesh Patel
在我深入聊 AI 之前,我想先聊聊 GitHub。我想我们应该从这里开始:你当时在微软,在某个时候你意识到 GitHub 非常有价值,值得收购。你是怎么意识到的,又是怎么说服微软买下 GitHub 的?
Nat Friedman
我和 Miguel de Icaza 以及 Joseph Hill 一起创办了一家叫 Xamarin 的公司,我们做移动开发工具和平台。微软在 2016 年收购了这家公司,我对此很兴奋,觉得很棒。但老实说,我其实并没有预期或计划在那里待超过一年左右。可是到了那里之后,我接触到了 Satya 在做的事,以及他的领导团队的素质,我印象非常深刻。实际上,我想我在到那里的第一周就见到了他,他问我:你觉得我们在微软应该做什么?我说,我觉得我们应该买下 GitHub。
Dwarkesh Patel
那大概是什么时候?
Nat Friedman
那是我到那里的第一周,大概是 2016 年 3 月或 4 月。好的。然后他说:嗯,这是个好主意,我们考虑过。我不确定我们能不能顺利做成,或者诸如此类的话。大约一年后,我给他写了一封邮件,就是一份备忘录,大意是:我觉得是时候做这件事了。当时有些传闻说 Google 在四处打探,我觉得这可能是 GitHub 团队制造出来的。但这是个很好的催化剂,因为我认为这件事不管怎样对微软来说都很合理。于是我给 Satya 写了一封邮件,一份小备忘录,说:嘿,我觉得我们应该买下 GitHub。理由在这里,我们应该这样处理它。基本论点是,现在是开发者在做 IT 采购决策。过去这是 IT 部门的事,现在则由开发者主导采购。这是软件产品获取方式的一次重大转变。微软确实曾经是一家 IT 公司,就大多数采购是怎么做出的而言,它不是一家开发者公司。但它创立时是一家开发者公司,对吧?微软的第一个产品就是一种编程语言。是的,我说:你看,我们面临的挑战是,有一整代新开发者与微软没有任何亲近感,而其中规模最大的一群人就在 GitHub 上。如果我们收购它,并且只是称职地运营它,我们就能赢得这些开发者在我们其他所有产品上考虑我们的资格。出乎我意料的是,Satya 大约六七分钟后就回复了,说我觉得这个想法很好,我们下周左右见面谈谈。我最后在一间会议室里,和他、Amy Hood、Scott Guthrie、Kevin Scott 以及其他几个人坐在一起。他们说:好,说说你的想法。我大概讲了二十分钟,有点絮絮叨叨。Satya 说:嗯,我认为我们应该做。我们可以像 LinkedIn 那样独立运营它。Nat,你来当 CEO。他又问,你觉得我们能用 20 亿美元拿下吗?我说我们可以试试。他说 Scott 会支持你。三周后,我们就签署了条款清单并宣布了交易。对我来说,这是一段了不起的经历。当时我在那里还不到两年。
微软由许多在那里工作多年的人组成并管理着。他们把这样一个大项目交给我,让我感觉很好,被信任、被赋权。我是在开源世界里长大的,所以能有机会运营 GitHub,就像被任命为家乡的市长一样,感觉很酷。我真的很想为开发者把这件事做好。事情就是这样发生的。
Dwarkesh Patel
这其实是我想问你的一件事。通常当某件事成功之后,我们会觉得它的成功是必然的,但在当时,我记得存在着大量怀疑。我上 Hacker News,排在最前面的都是那些写微软将如何搞砸 GitHub 的博客文章。我想这些担忧多年来已经消解了。但你是如何应对这种怀疑和不信任的?
Nat Friedman
嗯,我对此非常紧张,我真的很在意开发者怎么想。人总会面临一个问题:你是在表演给谁看?你究竟真正在乎谁?你脑子里的那位观众是谁,你想为谁把事情做好、给谁留下印象、赢得谁的尊重?虽然我热爱微软,也很看重 Satya 和那里的每一个人,但我真正在乎的是开发者。我是在开源世界里长大的,所以如果我在这个开源领域的核心机构上搞砸了,对我来说会是毁灭性的感受。对我而言,绝不能搞砸,这一点非常重要。这是第一点,就是我在乎。第二点是,交易消息泄露了。原定周一宣布,结果周五就泄露了:微软要买 GitHub。整个周末网上都是糟糕的帖子,人们说我们得尽快撤离 GitHub。我们心想:天哪,太糟糕了。然后到了周一,我们发布了公告,说我们将收购 GitHub,它将作为一家独立公司运营。然后公告里说,Nat Friedman 将担任 CEO。我不想夸大,但我觉得有几个人的反应是:哦,Nat 来自开源,他在开源领域待过一段时间,而且它会独立运营。我不认为他们真的因此平静下来了,但至少有几个人想:哦,也许我先观望几个月,看看会发生什么,再决定要不要迁走。然后,交易完成后我当 CEO 的第一天,早上 9 点,我在一间屋子里,我们开了 Zoom,所有工程和产品负责人都在。我想他们也许期待听到某种长期战略之类的东西,但我进来后说:GitHub 当时没有任何公开可用的官方反馈机制,不过社区成员建立了几个 GitHub 仓库。NPM 的 Isaac 建了一个,专门让大家给 GitHub 提反馈,人们多年来一直在上面投票。我把屏幕共享出来,把它按票数排序,然后说:我们要从这个列表里挑一件事,今天结束前修好并发布,只要一件。我想他们的反应大概是:这就是新 CEO 的战略?他们说:我不知道,这个要做数据库迁移,一天做不完。然后有人说也许我们可以做这个,我们其实已经实现了一半。最后我们找到了一件当天能修好的事。我希望我当时说的是:我们需要向世界证明,GitHub 在乎的是开发者,而不是微软。比如,如果我们在收购后做的第一件事是加上 Skype 集成,开发者就会说:哦,我们不是你们的优先事项,你们现在有新的优先级了。想法就是找到能让使用它的人用得更好的办法,让他们立刻看到我们在乎这一点。所以我说,我们今天就做这件事,然后接下来的 100 天里每天都这样做。这很不错,因为我觉得它形成了一些非常好的反馈循环,至少对我来说是这样。其一是,你发布了东西,然后人们会说:哦,嘿,我多年来一直想看到这个被修好,现在终于修好了,而且这是件相对简单的事。于是你就有了一种很棒的多巴胺式反馈循环。团队里的人也能感受到发布东西的兴奋。我觉得 GitHub 以前对发布有一点怯场,能打破这种静摩擦、多发布一点,感觉很好。另一个就是学习循环。通过尝试做很多小事,我接触到很多东西,比如:好,这个团队真的很棒;或者代码的这一部分有很多技术债;或者,嘿,我们发布了那个,结果其实挺糟的,这样的设计怎么会放出去?而如果项目是某个六个月的大工程,我不确定我对公司的了解能有这么快。当然,我仍然有错过的东西,也肯定犯过错误。但这是其中一部分思路。没有人能事实上确切知道这是否带来了很大改变,但我确实认为它赢得了一些信任。
Dwarkesh Patel
我是说,大多数收购都不顺利。不只是没那么顺利,而是根本就不顺利,对吧?就像最近几个月我们看到的某一桩。为什么大多数收购都不顺利?
Nat Friedman
是的,确实如此。大多数收购都会破坏价值。一家公司的价值是什么?在一个创新型行业里,公司的价值归结为它产出新创新的文化能力,而有某种微妙的、由各种文化要素构成的和谐状态,使这件事成为可能。它相当脆弱。所以,如果你把一种已经达成富有成效的和谐状态的文化,放进另一种差异很大的文化里,这种错配可能会摧毁公司的生产力。也许一种思考方式是,公司有点脆弱,所以你收购它们的时候,相对容易把它们弄坏。当然,在很多情况下它们也比人们以为的更耐久。另一种说法是,真正在乎的人会离开。那些真正在乎打造好产品、服务客户的人,也许不想为收购方工作,而对长期成功真正起承重作用的人只是少数。当他们离开或被剥夺权力时,你就会看到截然不同的行为。
§06Copilot 的起源故事
Dwarkesh Patel
我想聊聊 Copilot 的故事,因为在 ChatGPT 出现之前,它是现代 AI 模型使用最广泛的应用。这个故事里有哪些部分是你愿意公开分享的?
Nat Friedman
好的,这个我之前也稍微讲过一点。GPT-3 在 2020 年 5 月发布。我看到它,真的惊呆了,觉得太了不起了。当时我是 GitHub 的 CEO,我想:我不知道具体做什么,但我们必须用它做些产品。而 Satya 在 Kevin Scott 的推动下,早在 GPT-3 发布前一年就已经投资了 OpenAI。这相当了不起。他投了大约 10 亿美元。
Dwarkesh Patel
顺便问一下,你知道他当时为什么认定 OpenAI 值得投资吗?
Nat Friedman
我不知道。实际上我从没问过他。这是个好问题。我想 OpenAI 当时已经取得了一些引人注目的成绩。我认为,如果你是 Satya,掌管着这家市值数万亿美元的公司,你既要努力执行好、服务好客户,同时也总在寻找下一个将颠覆科技行业的巨浪。这不只是想赢得云计算,而是:好,云之后是什么?所以你必须下一些大赌注,我想他认为 AI 可能就是其中之一。我认为 Kevin Scott 为积极倡导这件事应当记大功。我认为 Sam Altman 在建立这种合作关系上做得很好,因为他知道自己需要 Microsoft 这样的公司的资源,才能构建大规模 AI,并最终实现 AGI。所以我想这是这三个人的某种组合,共同促成了这件事。但我仍然认为这是一个极具前瞻性的赌注。我跟人这样说过,他们会说:嗯,10 亿美元对微软来说不算多。但当时有很多其他公司也能花 10 亿美元去做这件事,却没有做。所以我仍然认为这值得记一大功。好,GPT-3 发布了。我联系了 OpenAI 的 Sam 和 Greg Brockman,他们说:好啊,来做吧。我们已经在用 GPT-3 和衍生模型尝试编程相关的场景了,我们一定要一起做点什么。而对我,至少还有其他一些人来说,产品应该是什么,并不是那么显而易见。
现在我觉得这显而易见得很:自动补全,天哪,模型不就是干这个的吗?但在当时,我最初的想法是,它可能会是一个问答聊天机器人,类似 Stack Overflow 的东西。所以这实际上是我们做的第一个原型。我们找了几位工程师,SkyUga(原稿如此,ASR 转写),他是通过我们之前的一次收购加入的,还有 Alex Gravely,开始做原型。第一个原型是聊天机器人。我们发现,演示效果非常棒。每个 AI 产品都有精彩的演示,你会有那种惊叹的瞬间。但事实证明,这可能并不是一个产品好用的充分条件。当时模型就是不够可靠、不够好。我问你一个问题,25% 的时候你给我一个让我惊喜的答案,75% 的时候你的答案是无用的、错误的。这不是一个好的产品体验。
所以接下来我们开始考虑代码合成。我们最初的尝试其实是大块代码合成,比如合成整个函数体。我们构建了一些工具来做这件事,并把它们放进编辑器。但那也不是特别令人满意。于是我们尝试的下一件事是,用大模型做简单的小规模自动补全,我们用的是 IntelliSense 下拉菜单这种界面。这个效果更好,肯定相当不错,但界面还不太对。而且我们失去了做大规模合成的能力。我们仍然保留着这个功能,但它的界面不好。要合成一个函数体,你得按一个键。然后,我不知道为什么这在当时是大家都有的想法,但好几个人都想到应该展示函数体的多个选项,用户阅读之后选出正确的那个。我想这个想法是,我们可以利用这种人类反馈来改进模型。但事实证明这是一个糟糕的体验,因为首先你得按键,明确提出请求。然后你得等待。接着你要读同一个代码块的三个不同版本。读一个版本的代码块就需要一定的认知努力,读三次需要更多的认知努力。而且大多数情况下,结果是:没有一个好的,或者你不知道该选哪一个。这也让人觉得你投入了大量精力,却没有得到多少回报,挺令人沮丧的。一旦我们让单行补全跑起来之后,我想 Alex 提出了一个想法:我们可以利用光标在 AST 中的位置,启发式地判断你是否位于代码块的开头。如果不在代码块开头,就补全一行;如果在代码块开头,就在行内显示完整的代码块补全。请求的 token 数量和何时停止,都会在没有用户交互的情况下自动调整。然后还有一个想法,是像 Gmail 那样,在编辑器里使用这种灰色文字。我们把这些都实现了,只有当所有这些部分汇集到一起,并且我们开始使用一个足够小以实现低延迟、又足够大以保证准确的模型之后,我们才达到了这样一个程度:普通新用户都爱上了 Copilot,用起来就停不下来。这花了四个月、五个月,只是不断摸索、探索。过程中我们还碰到了其他一些死胡同。后来它的好用就变得相当明显了,因为我们有数百位内部用户,也就是 GitHub 工程师。我记得我第一次看留存数据时,数字非常高。首次安装后 30 天,留存率是 60% 以上。也就是说,如果你安装了它,30 天后你还在使用的概率超过 60%。而且这是一款侵入性很强的产品,它总是在弹出界面,所以如果你不喜欢,就会把它关掉。确实有 40 多个百分点的人把它关掉了,但对于一款你整天都在用的、alpha 版第一版的产品来说,这是非常高的留存数字。那时我对发布它感到无比兴奋。此后它也有了显著的进步。
Dwarkesh Patel
好的。听起来和 Gmail 的故事非常相似,对吧?它是一种内部极有价值的洞察,然后也许很明显应该把它推向外部。我们稍后回到 AI 的话题。先问几个关于 GitHub 的问题。GitHub 个人主页会在什么时候(如果有的话)取代程序员的简历?
Nat Friedman
这是个好问题。我认为它们现在是人们了解一个人的一个组成部分,但我不认为它们是决定性的简历。我在任时,我们在个人主页上推出了 README,我对此很兴奋,因为我觉得它给了人们一定程度的个性化。已经有成千上万的人这样做了。是的,我不知道。在这一点上也有往相反方向推的力量,比如人们不希望自己的活动和技能那么一目了然。而且可能还存在某种逆向选择:技能最顶尖的人,在个人主页上炫耀自己的能力会显得有点土气。还有一些奇怪的社会动态也在起作用。但我想说,对于今天正在突围的人来说,它实际上起到了这样的作用,是突围的最佳途径之一。我认识很多处于这种处境的人。比如你出生在阿根廷,你是个非常聪明的人,但你没有在一个人脉广泛或富裕的网络、家庭等环境里长大。可是你知道自己真的很有能力,只想和全世界最顶尖的社群建立联系。如果你擅长编程,你可以加入开源社区并为之贡献。你可以非常快地积累起全球性的才华声誉,世界各地的许多公司和个人都能看到。突然之间,你发现自己得到了一份工作,也许搬到美国,也许不搬,最后进入了一家很棒的创业公司。我是说,我认识很多人刻意采取这样的策略:在开源领域建立声誉,然后扬帆起航,风就托住了你,你就有了一份事业。从这个意义上说,我认为它扮演了这个角色。但在其他社群,比如机器学习研究领域,情况就不是这样。那里有成千上万的人,声誉更多是在 Arxiv 上而不是在 GitHub 上。我不知道它是否会变得全面。
还有没有其他行业,这种工作量证明会更多地渗入招聘方式?我认为软件行业存在一种劳动力市场动态:真正高质量的人才需求极大,而供给远小于需求,这就把权力转移到了开发者一方,使他们可以要求雇主允许自己公开工作。而当他们这样做时,就会建立起外部声誉,这是一种可以在公司之间携带的资产。如果劳动力市场的动态不是这样,如果编程能力的经济价值没有那么高,公司就不会让他们这么做。公司不会让他们公开发布一堆东西,会把这定为一条规矩。事实上过去就是这样。随着软件变得更有价值,单个超级有才华的开发者的杠杆作用提高了,在过去几十年里他们能够要求公开工作的权利。我认为这不会消失。
Dwarkesh Patel
除此之外,我们稍微聊过这个,但开发者在组织中获得更多权力,哪怕是在传统上并非 IT 组织的机构里,产生了什么影响?
Nat Friedman
是的。我是说,软件有点像魔法,对吧?你可以写一个 for 循环,把一件事做很多次。当你大规模地构建大型组织时,有一件事确实会让你吃惊,那就是你需要在多大程度上将工作者的行为系统化。我刚开始创办公司、组建销售团队时,我有一个错误的想法,那是我作为程序员看世界得出的:我以为销售人员极具攻击性、极具创业精神,会向客户许下产品做不到的承诺,而你面对销售人员的主要挑战,是约束他们不要冲出去积极地谈成那些本不该谈的单子。我后来发现,虽然这种情况有时确实存在,但更常见的情况是,你需要建立一套系统化的销售手册,几乎就是一个在销售团队中执行的脚本,让销售代表知道该遵循怎样的流程,去执行这套可重复的销售动作并把单子谈成。我当时的想法是错的。我不知道世界是这样运转的,而软件是一种能极其高效地把有价值的流程系统化并规模化的方式。我认为世界越数字化,软件就越有价值,能创造软件的开发者也就越有价值。
Dwarkesh Patel
25 岁时的 Nat 会对开源运作得这么好、这么无处不在感到惊讶吗?
Nat Friedman
是的,我觉得会。我想我们年轻时都有这样一种印象:这些机构是不可动摇的庞然大物,邪恶而全能,能够凭借宏大的计划实质上操控世界。有时候这确实有一点真实性,但它们其实非常容易受到新思想、新力量、新的传播媒介等东西的冲击。现在我认为我们的各类机构整体上看起来相对脆弱。当然,它们比我当年以为的更弱。说实话,我当时认为微软可以阻止开源。我觉得这是有可能的。他们可以使出某种专利手段,有一个宏大的计划把开源圈起来。你知道,最后并没有变成那样。
事实上,微软收购 GitHub 时,我们把全部专利组合都承诺给了开源。这是我们作为交易的一部分所做的事情之一。对我来说,这是个很有诗意的时刻:我过去站在专利讨论的另一边,现在却参与并推动了微软做出这个承诺。这相当疯狂。
Dwarkesh Patel
哦,这真有意思。不是出于某种商业或战略原因,更像是一个时机已到的想法。
Nat Friedman
嗯,GitHub 已经做出过这样的承诺。所以我认为在收购 GitHub 的过程中,我们要么试图废除那个承诺,要么自己也签署它。所以这有点像一个被迫选择的时刻。但微软的每个人也都认为这是个好主意。所以在很多意义上,这是一个时机已到的时刻,而 GitHub 收购是个促成因素。
Dwarkesh Patel
你怎么看像 Richard Stallman 这样对现代开源提出批评的人,或者主张自由软件的人?他们说:嗯,公司可能出于获得优质代码的现实原因而倡导开源。而软件真正应该被制作的方式是,它应该是自由的,你可以复制它,更改它,修改它,并且可以完全查看它。关于这一点的伦理价值应该比实用价值更重要。你怎么看这种批评?
Nat Friedman
我认为这些是他想要的东西,而他也许没有更新的一点是,别人未必也想要这些。他有一种想法,认为人们想要摆脱专有知识产权许可的暴政,获得自由。但人们真正想要的是不必再去配置显卡或声卡驱动之类的东西。他们想让自己的电脑能用。有些地方,自由确实非常宝贵。但这里总有这样的对立:一边是“我有一套规范性的意识形态,想把它强加给世界”,另一边是“我会尝试建立关于人们实际想要什么的最佳观察模型,不管我是否希望他们想要那个”。我认为 Richard 坚定地站在前一阵营。
Dwarkesh Patel
顺便问一下,最被低估的许可证是哪个?
Nat Friedman
我不知道。也许 MIT 许可证仍然被低估,因为它实在是太简单、太简洁了。
Dwarkesh Patel
Nadia Eghbal 最近出了一本书,她在书中认为,开源软件以及维护者时间的关键约束,是软件的社区层面。他们必须处理功能请求、讨论、为不同平台做维护等事情。主要的约束不是代码本身,而是这类“课外”的方面。你认为这就是开源软件的约束吗?你怎么看是什么在阻碍开源软件的更多发展?
Nat Friedman
总的来说,我会说并没有问题。意思是,开源软件在持续被开发,持续被广泛使用。有些领域它做得更好,有些领域做得没那么好,但在所有不需要大规模协调和编辑控制的领域,它基本上都在赢。它往往擅长基础设施、独立组件,以及像操作系统这种非常非常横向的东西。而在用户体验,以及需要某种独裁式审美或编辑控制的方面,它往往较差。我和 Figma 的 Dylan Field 辩论过,为什么我们没有很多好的开源应用。我一直觉得这与治理动态有关:天哪,要与一大群人协调实在太痛苦了,他们都觉得自己有权把项目往这个或那个方向推。而在层级分明的公司里,可以有产品负责人、CEO、创始人或设计师直接说,我们就这么做。你可以非常非常轻松地把事情朝一个方向对齐。Dylan 向我提出,这也许是因为开源里拥有良好设计感的设计师更少。我认为这可能也是一个因素,但我仍然认为主要是治理问题。我觉得 Nadia 指的也是这个。你运营一个项目,而你把它免费送给了别人。不知为何,免费给人东西会产生一种理所当然的权利感。然后他们觉得自己有权要求你的时间,对事情指手画脚,给你各种意见,而你又想保持礼貌,这非常消耗人。所以我认为,在协调负担较低的地方,开源往往更容易成功。而软件以及其他新的治理形式可能会改善这一点,扩大开源能够成功的领域。
Dwarkesh Patel
是啊。从理论上说,这两件事是相容的,对吧?你可以在代码本身开源的同时,对治理保持非常严格的控制。
Nat Friedman
这在编程语言里就是这样。语言最终会固化下来,然后由委员会推进。不过,当然你也有这些“仁慈的独裁者”掌管语言,推行他们心中一套强有力的理念、愿景和宏大计划。这是最支持 Dylan 观点的论据:嘿,这对语言行得通,为什么对终端用户应用就行不通?但我认为,要做出好的终端用户应用,你需要的不只是好的审美和想法,还得设法与一批用户建立紧密的反馈循环,你能对他们说:Dwarkesh,试试这个。哦天哪,好吧,这不是你需要的。要做到这一点非常难,即便在一家公司里,理论上你对团队有完全的层级控制,每个人想要的都是同一件事,每个人的薪水和股票期权都取决于产品是否被这些用户接受,在这种情况下仍然会多次失败。再加上要在开源的背景下做到这一点,就稍微有点太难了。
Dwarkesh Patel
你收购 GitHub 的原因,正如你所说,是微软与 GitHub 的使命之间似乎有互补性。我想这在过去几年里已经得到了证明。应该有更多这样的合作和收购吗?应该有更多科技集团吗?这对整个体系是好事吗?
Nat Friedman
我不知道是不是好事,但是,是的,它在很多方面确实是高效的。我认为我们看到合作发生,是因为这笔账算起来相当简单。如果你是一家大公司,拥有很多客户,那么你已经取得的是一件非常昂贵且困难的事,就是建立起与众多客户之间的分销渠道和关系。这件事和最初发明产品相比,难度相当或更高,耗时更长,花钱也更多。所以,如果你能花一小笔钱直接买下那个产品,并让它面向你所有的客户,往往就会立刻获得非常明显的收益。从这个意义上说,收购非常合理。我一直很惊讶大公司过去没有做更多收购,直到我进入一家大公司并开始尝试做收购。我看到内部动态中有很强的因素使其变得困难。让内部员工花 1 亿美元去做一个项目,比花 1 亿美元买一家公司要容易。这些钱的对待方式不同,审批流程不同,文化上的认同流程也不同。再回到我们前面讨论的那一点,很多收购确实失败了。而一旦收购失败,不知为何,就比你启动的某个新产品努力效果不太好要更引人注目、更让人尴尬。我认为有很多内部原因,有些合理,有些没那么合理,使得他们没有这样做。但仅从经济角度看,似乎看到比我们已经看到的更多的收购是合理的。
Dwarkesh Patel
那么,你为什么离开?
Nat Friedman
尽管我热爱微软,当然也同样热爱 GitHub。我至今仍对 GitHub 以及它对用户的意义怀有深深的热爱。但我真的不想再成为一家巨型公司的一部分了。构建 Copilot 就是一个例子。没有 OpenAI、微软和 GitHub,它不可能实现,但构建它同时也需要在微软、OpenAI 和 GitHub 之间这一大群人当中周旋。到了一定程度,你会花大量时间只是在应付和协调许多人。我发现这让我没那么有活力,我对此的热情不那么高。我当时很纠结,因为我真的热爱 GitHub 这个产品,我知道我们还有太多可以做的事,但我为我们已经做到的感到自豪。我想念团队,也想念做 GitHub 的日子。这对我来说真的是一份荣誉,但那时我该去做点别的事了。我一直是个创业者,一直喜欢小团队,我想回到一个更小、更灵活的环境。
§07Nat.org
Dwarkesh Patel
好的,我们稍后会谈到这个。但首先,我想问问 nat.org 和上面那份 300 词的清单。我认为这是我见过的最有趣、也非常有施特劳斯式(Straussian)风格的一份 300 词清单。我就提其中几条,听听你的评论。“你大概应该致力于抬高天花板,而不是抬高地板。”为什么?
Nat Friedman
首先,我说的是“大概”。但抬高天花板或地板是什么意思?我观察到很多项目旨在抬高地板。意思是:天哪,我们过得挺好,但他们不好,我们需要凭借我们更优越的富足和对他们处境的理解去帮助他们。其中许多项目都失败了。例如,大型富有的科技公司和美国大学曾有很多把互联网带到非洲的尝试。我不会说它们都没有效果,那不是事实,但其中许多远远谈不上成功。有卫星,有气球,有高空无人机,有网状网络,有笔记本电脑,这些都是那些公司在推进的。顺便说,推进者都是出于善意、才华横溢的人,其中有些确实取得了一些成功,但总体上可能远低于他们的期望。可是如果你现在去非洲,那里已经有互联网了。互联网到达那里的方式,是我们为抬高世界最富裕地区的天花板而开发的技术,也就是手机和基站。80 年代的电影《华尔街》里,他拿着那个巨大的砖头式手机。那东西当时要一万美元左右。那是一项抬高天花板的技术。它最终沿着学习曲线降了下来,变得便宜。手机和基站,如今在非洲已经有数亿乃至数十亿部了。起初是抬高天花板的技术,然后资本主义的力量最终让它发挥了作用。它不是任何意在抬高地板的“天降神兵”式技术方案。这里面有些东西不仅仅是一个偶然的例子。不过,我在我的网站上写的是“大概”。因为有些例子中,人们确实着手抬高地板,说:再也不应该有人死于天花;再也不应该有人死于几内亚蠕虫病。而且他们成功了。我不想阻止这类事情发生,但总的来说,我们这样的尝试太多了。它们看起来不错,感觉不错,听起来不错,却无关紧要。在某些情况下,还会产生与其意图相反的效果。
Dwarkesh Patel
还有一条,在“EMH”(有效市场假说)那一部分。“在很多情况下,把世界建模成 500 个人,比建模成 80 亿人更准确。”我的问题是,那另外 80 亿减去 500 个人在做什么?为什么只有 500 个人?
Nat Friedman
我不确切知道。这是个好问题,我经常这样问别人。我在生活中做的事越多,就越对此感到困惑:哦,肯定有人在做 X。然后你听说有几个人在做 X,再去查,发现他们其实并没有在做 X。他们做的是某种不是 X 的版本。生活中所有最美好的时刻,都出现在你发现某件对你来说完全显而易见、显然肯定有人在做、却没有人在做的事情的时候。Mark Zuckerberg 在谈到创办 Facebook 时就这样说过。他想,大公司最终肯定会做这个,在互联网上创建这个社交和身份层。微软会做的。但不,它们没有一家去做,是他做了。那么他们在做什么?我认为首先,世界上很多人是在优化局部条件。他们在自己的城镇、自己的社区里工作,在那里做事,所以思考全局条件的人群,自然就被经济结构给限制得很窄。这是第一点。第二点,我认为大多数人确实相当具有模仿性。我们都是,包括我。我们的很多想法来自别人。我们的想法并不是自己的,而是从别人那里得来的,有点像复制粘贴。你必须非常努力才能不这样,才能做到去相关。我认为今天因为有了互联网,这一点更加突出。我不知道,如果 Albert Einstein 当年做专利职员,他会不会也泡在 Twitter 上,得到和所有人一样的想法?你有什么去相关的想法?我认为互联网使我们更加相关了。例外是那些天生非常不随和的人。所以在某种意义上,我认为未来属于自闭症谱系的人,因为他们不那么在乎别人怎么想。我们这些在任何意义上处于谱系上的人都属于这一类。然后,我们还有这样一种信念:世界是有效率的,但其实不是,这是原因的一部分。另一件事是,世界如此分形、如此有趣。比如赫库兰尼姆莎草纸,对吧?这是世界上的一个角落,我觉得它完全令人着迷,但我并不指望 80 亿人都该去想这个,也不指望它应该是每个人的优先事项。
Dwarkesh Patel
好的,还有一条。“大型工程项目比看上去更能被智商所溶解。”我的问题是,这是否让你认为 Copilot 这样的 AI 工具的影响会更大还是更小?因为看待 Copilot 的一种方式是,它的智商可能低于普通工程师,所以也许影响会更小。
Nat Friedman
是的,但它确实提高了普通工程师的生产力,把他们拉得更高。我认为它也提高了最优秀工程师的生产力。当然,很多我认为是最优秀的工程师都告诉你,他们发现它大大提高了他们的生产力。有意思的是,AI 领域发生的很多事情都是偏“软”的、偏虚构类的工作。你有 Midjourney,有文案写作,Anthropic 的 Claude 非常有文学性,写诗写得特别好。除了 Copilot 之外,这是一个真正“硬”的领域:代码必须能编译,必须语法正确,必须能运行并通过测试。我们看到了稳步提升的曲线,如今平均而言,已经有超过一半的代码是由 Copilot 写的。我记得它刚发布时是 20% 出头。所以随着模型变得更好、提示词做得更好,它提升了很多。但我看不出有什么理由它不会达到 95%。在我看来这非常有可能。我不知道那样的世界是什么样子。看起来我们可能会拥有更多专用软件,更少通用软件。现在我们大量使用电子表格这类通用工具,但其中一部分原因与创建软件的成本有关。所以一旦软件便宜得多,你会不会创建更多专用软件?这是一种可能性。也就是每家公司都有自己定制的一段代码。也许这就是我们正在走向的未来。所以,是的,我认为我们将看到软件开发发生巨大的变化。
Dwarkesh Patel
另一条:“文化上对微观管理的禁忌是有害的,伟大的个人应当被充分赋权去行使他们的判断。”对此的反驳是,如果你微观管理,就会阻碍人们学习和培养自己的判断力。
Nat Friedman
想象一下,你进入某家公司,他们雇了 Dwarkesh,你在他们交给你的第一个项目上做得很出色。大家都印象深刻,天哪,Dwarkesh 做了正确的决策,工作非常努力,准确弄清了需要做什么,并且做得极好。随着时间推移,你被提拔到权限更大的职位,公司这样做的原因是,他们希望你再做一次那样的事,但规模更大,对吧?再做一次,但大十倍。负责整个产品而不是产品的一部分,或者负责十个产品而不是一个。公司在告诉你,你有很好的判断力,我们希望你在更大的规模上运用它。而与此同时,文化却在告诉你,随着你被提拔,你应该越来越多地搁置自己的判断,把判断交给你的团队。所以这里有某种均衡,而我认为我们现在偏离了均衡,文化上的禁忌太强了。我不知道这是不是对的,也许在 80 年代,我会觉得是另一边的问题,即我们有太多微观管理。我认为人们面临的另一个问题是,他们不喜欢微观管理,是因为他们不想让糟糕的管理者去微观管理,对吧?有些糟糕的管理者,在这个领域毫无专业知识,只是管人的人,他们开始微观管理自己不懂的东西,而他们的判断很差。我对此的回答是:别再赋权给糟糕的管理者。不要让他们当管理者,提拔和赋权那些判断力出色、又确实懂他们所做事情的人。如果我为你工作,而我知道你的判断力比我好,你进来说,比如你在做卷轴那个项目,你觉得我把最终格式弄错了,应该这样做,我会欢迎,即使这是微观管理,因为它会让我们更成功,我也能从中学到东西。我知道在这件事上你的判断比我好,或者至少我们会就此交流,我们都会变得更聪明。所以总体而言,是的,有些情况下人们有出色的判断力,我们应该鼓励他们去行使,有时这样做会出问题,但总体上你会从中得到更多的卓越,我们应该赋权给判断力出色的个人。
Dwarkesh Patel
是啊。有一句关于拿破仑的话说,如果他能出现在他参与的每一场战役的每一个战场上,他就从未输过一场战役。我和一位曾与你在 GitHub 共事的人聊过,她向我强调(这对我来说相当了不起),在已经发给工程师的那些应用里,有多少实际建议和实际设计直接来自你本人,作为 CEO 你竟然会这样做,这让我觉得相当了不起。
Nat Friedman
是的,你大概也能找到觉得那很糟糕的人去聊。但问题始终是:这能规模化吗?答案是,不能规模化。我当 CEO 的体验是,我始终担心公司里有某个人确切知道该怎么做,判断力出色,但由于文化的力量,这个人没有被赋权。这个人不被允许行使自己的判断力并做出决策。所以当我思考和谈论这一点时,我的担忧就是来自这里。他们处在某种共识环境中,他们的好想法在与许多人的反复交谈中、在礼貌以及不想微观管理的心态中被一点点磨平。结果我们最终得到的是某种平均的东西。而我宁愿拥有更多高方差的结果:要么得到卓越的东西,因为它是一位真正优秀的“作者”的愿景的表达,要么是一场灾难,行不通,现在你知道它行不通,可以重新开始。我宁愿有这些更高方差的结果,我认为这是值得的权衡。
Dwarkesh Patel
好的,我们来聊聊 AI。经济中有多大比例基本上是“文本到文本”?
Nat Friedman
这是个好问题。我们用劳工统计局的数据做过这类分析。它不是经济的大头或类似的东西。大概是在两位数百分比的低位。我认为难以预测的是,随着文本到文本的成本下降,随时间推移会发生什么。我不知道会怎样。但是,是的,现在就有大量收入可挣。可以这样想:我们有机器学习模型的所有这些基准测试,有 LAMBADA,还有这个那个。这些基准之所以有用、之所以存在,只是因为我们还没有大规模部署模型,所以我们不清楚它们实际擅长什么。最好的衡量指标可能是类似这样的:它们能完成多大比例的经济任务?或者以 Upwork 这样的零工市场为例,GPT-4 能做 Upwork 上多大比例的工作?我觉得这是个有意思的问题。我的猜测是,目前在自主完成上,这个比例极低。但随着时间推移,它会增长。然后问题是,这对 Upwork 意味着什么?我猜它是一个 GMV 50 亿美元左右的市场。它会增长吗?会变成 150 亿或 500 亿吗?还是会因为文本到文本任务的成本下降而缩小?我不知道。我的赌注是,我们会找到越来越多利用文本到文本来推动进步的方式。所以总体而言,对它的需求会大得多。我想我们拭目以待。
Dwarkesh Patel
这会在什么时候发生?GPT-3 对整体经济影响而言只是个舍入误差。会在 GPT-4、GPT-5 时出现数十亿美元的使用量吗?
Nat Friedman
是的,我已经拿到了 GPT-4 的早期访问权限,用了很多。老实说我没法回答这个问题,因为要发现这些模型能做哪些之前的模型做不到的事,实在太难了。我昨晚刚和一个人聊过,他告诉我:哦,GPT-4 其实在韩语和日语上真的很好,而 GPT-3 在这些语言上差得多。所以对这些语言来说,这实际上是一次真正的阶跃式变化。而且在 GPT-3 为了 ChatGPT 做了指令微调并以那种形式推出之前,人们并不知道 GPT-3 有多好。你可以把预训练模型想象成一种未经提炼的原油,而一旦经过 RLHF 之类的训练并推向世界,人们就能发现其中的价值。
Dwarkesh Patel
关于 AI 的叙事,哪一部分在过度乐观的方向上是错的?
Nat Friedman
无论是担心将发生什么的人,还是期待巨大经济收益的人,他们的过度乐观之处可能在于:我们肯定已经处于规模扩张收益递减的阶段。例如,我猜 GPT-4 的训练成本比 GPT-3 高两个数量级,但能力显然没有高出两个数量级。那么它在经济价值上高出两个数量级吗?那也会让我惊讶。当你处在这种 S 型曲线中,先是沿着指数曲线上升,然后开始趋于渐近线,很难判断会不会发生这种情况。我们可能不会遇到难题,或者规模扩张在美元账面上将继续划算,这些想法是应当比那些高度确信 GDP 每月增长 50% 的人更悲观一点的理由,我认为有些人正在做这样的预测。但总体而言,我非常乐观。你是在要我为一件我非常看好的事情提出看空的理由。
Dwarkesh Patel
不,这就是我让你提出看空理由的原因,因为我了解你。我想问问这些基础模型。你认为稳定的均衡会是什么样,它们会有多少个?会像 Uber 和 Lyft 那样形成寡头垄断吗……?
Nat Friedman
我认为很可能会出现大范围的扩散。如果你问我,哪些结构性力量支持扩散,哪些支持集中,我认为支持扩散的理由要稍微强一些。支持扩散的理由是:它们其实并没有那么难训练。最佳实践会传播开来,你可以把它们写在几张纸上。就算开发出了改进训练的秘密,这些秘密也相对简单,很容易被到处复制。这是第一点。第二点,数据大多是公开的,大多是来自互联网的数据。第三点,硬件大多是大宗商品,而且硬件进步很快,效率大幅提高。我认为有些实验室可能拥有能将训练效率提高 50%、100%、200% 的技术,所以在技术层面有很多唾手可得的成果。我们正在看到这种情况发生。我是说,它就发生在这个周末,发生在今年。我们正看到大量扩散。反对扩散的唯一理由是,由于训练成本,你会得到集中。而我不知道这是否成立。
我没有信心认为万亿美元的模型会比千亿美元的模型有价值得多,甚至不确定是否有必要花一万亿美元去训练它。也许届时会有太多可用来提高效率的技术。如果你愿意在训练上花一万亿美元,你愿意花多少钱请研究人员去寻找技术?那就是为新技术设立的大量赏金,一些聪明人会去领取这些赏金。
Dwarkesh Patel
这些模型会有多大差异?会不会是每个人都在追逐完全相同的边际改进,从而得到相同的边际能力?还是它们会拥有完全不同的技能和能力库?
Nat Friedman
目前,回到模仿性这一点,它们都相当相似。基本上是大致相同的技术。发生的事情是,一种外星物质降落在了地球上,我们正试图弄清楚能用它造出什么,而我们面临着多重“积压”(overhang)。我们有算力积压:世界上的算力比目前用于训练模型的要多得多,多得多。我认为最大的模型大概是用 10,000 块 GPU 训练的,而世界上有数百万块 GPU。然后我们还有能力和技术的积压:不断有很多好点子涌现出来,而我们还没有弄清楚如何把它们最佳地组装在一起,不过人们做到这一点只是时间问题。而且,由于其中许多能力掌握在各实验室手里,它们还没有触达世界上的那些修补匠。我认为新发现就在那里:这东西究竟能做什么?在你亲手用过之前,你并不真正知道。我认为连 OpenAI 自己都对 ChatGPT 的爆炸性增长感到惊讶。我不认为他们推出 ChatGPT 时,期待它成为重磅发布。我觉得他们以为 GPT-4 才是他们的重磅发布。它可能仍然是,而且会很重要,但 ChatGPT 确实让他们大吃一惊。很难预测人们会用它做什么,会发现什么有价值,什么行得通。所以你需要修补匠。因此流程是从硬件到研究人员,到修补匠,再到产品。这就是管道,这就是级联。
Dwarkesh Patel
我在安排和 Ilya 的采访时,原本预定的时间正好在 ChatGPT 发布前后,他们的公关人员告诉我:听着,先跟你说一下,这次采访的时间安排在那段时间前后,我们会做一个小发布。不是你想的那个,不是 GPT-4,只是个小东西。他们没有预料到它最终会变成那样。
在位的老牌企业比以前更聪明了吗?看起来微软能够把这项新技术整合进来。
Nat Friedman
我看到过去 20 年里,在位者的行为发生了两次真正的重大转变。第一次是,过去在位者总是被初创公司颠覆。在小型机、微型计算机时代等,你能找到一个又一个这样的例子。然后 Clay Christensen 写了《创新者的窘境》。我认为接下来发生的是,每个人都读了它,他们说:哦,颠覆就是这么回事,我们有这种创新者的窘境,因为新东西更便宜,我们就会被颠覆,我们不能让这种事发生。他们下定决心不让这种事发生,而且大多学会了如何避免。他们学到了你必须愿意做一些自我蚕食,必须愿意为新事物建立独立的销售渠道,等等。过去大约 15 年里,在位者非常稳定。我想这也许就是原因,这是我的理论。这是第一次重大转变。第二次是,天哪,他们对 AI 的关注程度极高。如果你回顾以往的平台革命,比如云、移动、互联网、Web、PC,所有在位者都嘲笑新平台,说:天哪,没人会用 Web 应用,大家都会用完整的桌面应用、富应用。所以总是有这种对新事物的嘲笑。在位者嘲笑过 iPhone,而这种情况在 AI 上完全没有发生。我们可能处在炒作周期的顶峰,接下来要进入幻灭的低谷。不过我不这么认为,我觉得人们是认真对待它的,每一家有竞争力的公司的 CEO 都在公司里积极采用它。所以,是的,我认为在位者变得更聪明了。
§08来自 Twitter 的提问
Dwarkesh Patel
好的。我来问几个我们从 Twitter 收集到的问题。这是往期嘉宾,也是我们共同的朋友 Austin Vernon 的提问:Nat 是那种看起来高效得不合常理的人。其中哪些是天生的,哪些是他必须学习的?
Nat Friedman
Austin 这么说真是太客气了。我不知道。我们之前稍微聊过这个,但我想我只是有很强的尝试意愿,容易被新项目吸引,然后就不想停下来。我想我尝试一件事的启动能量相对较低,愿意冲动地一头扎进去,其中很多事行不通,但足够多的事行得通,所以我才能完成一些事情。另一点我要说,老实讲,我并不认为自己有成就或成功。我的自我形象是,我其实没有做过任何影响重大的事情,我也没觉得自己有一大堆成就可以每晚躺在上面睡觉。我想我真的是这样感觉的。我是个缺乏安全感的过度追求成就者,除非在做好的工作,否则我对自己感觉不太好,但我也努力培养一种向前看的视角,尽量不对过去过于怀旧。
我不保留很多奖杯之类的东西。走进有些人的办公室,墙上挂着东西,摆着他们所有成就的奖杯,我总觉得那非常令人不舒服。我对此有一种本能的反感。
Dwarkesh Patel
这就是你把博客撤下的原因吗?
Nat Friedman
是的。我只是想向前走。
Dwarkesh Patel
Simian 想知道你对对齐(alignment)的看法。“他似乎同时投资能力和对齐,这在极少数信念之下才是最佳选择。”所以他想听听其中的理由。
Nat Friedman
我想我们拭目以待,但我不确定能力和对齐最终是否是相互对立的力量。也许能力对对齐非常重要,也许对齐对能力非常重要。我认为很多人相信,我自己也包括在内,AI 可以带来巨大的好处,但有一个很小的概率会出现非常糟糕的结果。也许有些人认为概率很大。解决方案如果存在的话,很可能是技术性的。可能是技术性和规范性的某种结合。大概就是一段代码加一个 README 文件,上面写着:如果你想构建对齐的 AI,请使用这段代码,不要做这个,诸如此类。我认为这非常重要,应该有更多人尝试真正构建技术解决方案。我觉得一个让我困惑的重大缺失是,目前没有开源的技术对齐社区。没有人真正在开源中实现最好的对齐工具。有很多哲学思辨和空谈,然后有很多在闭门之后进行的可解释性和对齐工作。因为做对齐的人认为他们不应该发布自己的工作,我认为我们会在一段时间内进入这样一个世界:有大量开源的纯能力工作,而没有开源的对齐工作。希望这会改变。所以,是的,我想在边际上投资做对齐的人。这似乎很重要。我觉得 Sydney 就是这方面的一个例子。微软基本上发布了一个未对齐的 AI,我认为世界的反应是:嗯,它在威胁用户,这有点奇怪。如果微软都没法给这东西套上缰绳,那谁能?我认为人们对此会有更多兴趣,我希望能有开放的社区。
Dwarkesh Patel
不知为什么,那很招人喜爱。它威胁你,反而不知为何让它变得可爱多了。
Nat Friedman
是的,我觉得它不可怕的唯一原因是它没有连接到任何东西上。如果它连接到了人力资源系统,或者它能发布职位之类的,比如上到零工网站什么的,那我不知道,我认为那可能就会很可怕。
Dwarkesh Patel
好的。Twitter 上的最后一个问题。Will 问:“哪位历史人物在你看来最像是同道中人?”我们这个房间四周都是书架,其中有些是传记。有没有哪一位让你印象特别深?
Nat Friedman
天哪,好问题。我想我会说,这个答案随着时间在变。我最近一直在读菲洛德穆斯的作品。我小时候,Richard Feynman 是那个好奇又说话直白的人物。
Dwarkesh Patel
接下来是什么?你说按你的感觉,你前面还有更多成就等着你。具体会是什么样子?你已经知道了吗?
Nat Friedman
我不知道。这是个好问题。我最关注的领域是 AI。我认为我们终于有人在构建产品了,这会越来越快。我会持续关注 AI,并寻找我能做出贡献的领域。
Dwarkesh Patel
太棒了。好的。Nat,这真是一次愉快的交流。谢谢你来参加这期播客。
Nat Friedman
谢谢邀请。