← Dwarkesh Podcast

Fin Moorhouse:长期主义、太空与创业

Fin Moorhouse - Longtermism, Space, & Entrepreneurship

Episode 2022-07-272022-07-27简体中文

Guests: Fin Moorhouse

Listen to this episode00:00 / 2:19:48
Reading settings
Reading preferences
Text size
Download in-depth read
Read offline

English · In-depth read · Current version

Downloads are not available yet.

Full transcript · Read the full conversation in order, with its original context.

Contents1 chapter§01文稿

§01文稿

00:10我很荣幸能采访 Fin Moorhouse。他是牛津大学人类未来研究所(Future of Humanity Institute)的研究学者,同时也是 Toby Ord 的助理,还是《Hear This Idea》播客的主持人。Fin,我知道你手头还有一大堆其他项目。你想不想聊聊你都在做哪些事,以及你是怎么接触到有效利他主义(EA)和这类研究的?我觉得你把大致轮廓都说到了。是的,我大概一直没能专精于某一件事。所以我发现自己就是在零零碎碎地做一些我觉得有意思的项目,帮忙把一些项目启动起来,同时研究一些,你知道的,

00:48似乎被低估了的事情。那份清单我大概就不拿来烦你了。然后,我是怎么接触到 EA 的呢?其实也是个相当无聊的故事,很遗憾。我特别喜欢哲学,也特别喜欢缠着别人问各种问题,比如,你为什么不……你为什么还在吃肉?后来读到了 Peter Singer 和 Wilma Kerskiel(转录不清)的作品。

01:09然后我意识到,自己其实并没有真正把这些想法付诸实践。我觉得是某种求一致性的力量推着我真正投入进来。第二个原因就是人。我很幸运,上大学的地方有这样一个学生社团。我想,有一种动态是你会意识到,这不只是一套悬在空中的观念,还有一群我真心相处得来的人,他们的个性和兴趣都极其有意思。所以我想,就是这两件事。

01:39嗯,那这个过程是怎样的呢?我认识很多对 EA 略有兴趣的人,但其中没有多少人会很快转到,比如说,与顶尖的 EA 研究者一起做研究。所以,请你讲讲你是怎么走到今天这个位置的。好的,我想我在疫情的时间点上很走运,我想没有多少人会这么说。我读完了学位。

02:00我当时很不确定自己想做什么。有一个选项是走近乎默认的那条路,比如做咨询之类的。然后,我算是被迫进入了一个自然的间歇期,有时间退一步想想。我也算幸运,负担得起花几个月时间弄清楚自己这辈子想做什么。那段空档足以让我开始多读一些关于这些想法的东西,也去尝试自学一些我还没试过的技能,比如那段时间很多时候我都在学写代码,等等。然后我就想,嗯,那我不妨

02:35碰碰运气。我申请了一些东西。我并不看好自己的机会,但申请这些东西的成本非常低,所以似乎值得一试。然后,嗯,我想我非常走运,就到了现在这里。太棒了。好,那我们来聊聊你正在做的其中一件事:你发起并将参与评审一些关于 EA 写作的奖项。其中一个是为讨论有效利他主义相关想法的博客设立五个奖项,每个 10 万美元。另一个是五个奖项,每个 2 万美元,用于批评 EA 的观点。请多讲讲这些奖项。

03:08为什么现在是谈论和批评 EA 的重要时刻?这是个好问题。我想说,我不太愿意把这件事说成是我个人的事。我确实帮助设立了这些项目。我从内部听说,实际上你在这些项目上出了很多力。确实,是的。

03:31我正好有时间把这些事情推过终点线,对此我很满意。那么,先说批评这一块。我想说的大意是,总体而言,乐于接受批评显然非常重要。如果作为一个运动你想成功,而这里的成功不只是指在世界上做成事情,也指最终尽可能让自己的信念接近正确,

04:01那么具备这样一种特质就很重要:对“出错”具有反脆弱性,也就是真正以公开、响亮的方式庆祝并认可改变想法。这看起来非常重要。所以,这其实是一个表面上显而易见的、想要激励批评的理由。但你也可能会问,为什么是现在?这里有几个原因。其一,我认为有效利他主义运动整体上已经到了这样一个阶段:

04:27它真的开始做成很多了不起的事情。现在有不少资助者很有热情,想找到相当有雄心、可规模化的项目。所以看起来,如果存在一个拐点,你会希望尽早把批评拿出来,并尽早回应,因为你想的是把路径设定在正确的方向上,而不是事后再调整航向,

04:47而事后调整的代价要高得多。Will MacAskill 几个月前也提过这一点。你还可以在其他一些社会运动中看到这种动态:那些令人兴奋的信念在早期有一段可塑期,后来逐渐固化,最终形成一套信念,持有它们是时髦的,或者说会得到社会奖赏。

05:08从某种意义上说,你会觉得自己需要持有某些信念,才能从某些人那里获得认可。而公开质疑某些做法或信念的代价变得太高。这就是一种失败模式。而且对于这样的运动来说,它似乎是更突出的失败模式之一。所以,非常积极主动地去庆祝这样的过程似乎很重要:你发现自己做错了什么,然后转换方向,也许这意味着关停某个项目。比如你设立了一个项目,项目看起来很令人兴奋,你从世界得到一些反馈,反馈比你预期的更负面,于是你停止了这个项目,从某种

05:50重要的意义上说,这就是一种成功,因为你做了正确的事,而庆祝这一点很重要。所以我想,这些就是我脑子里转的一些想法,也就是用这种积极的方式来看待批评,嗯,似乎相当重要。对,没错。打个类比,有人说,在激发经济激励方面,亏损和利润同样重要,这里看起来非常相似。在 Slack 上我们聊过,你提到,现在这件事重要的原因之一,也许是一份 2 万美元的奖金可以帮到某个人,帮我们弄清楚怎样……或者不是帮我,我没有那笔钱,而是帮 SBF 弄清楚怎样更好地分配

06:24比如 1000 万美元。就是这么回事。有效利他主义是一个愿意资助对自己的批评的运动,这真的令人印象深刻。我不知道,历史上还有没有别的运动,对批评自身如此感兴趣,并以这种方式变得反脆弱?我想有一点要说的是,这里要看实际成果。

06:41嘴上说自己有兴趣被批评是一回事,我相信很多运动都这么说。真正落实则是另一回事。你知道,EA 是一个相当年轻的运动,所以我想它能否真的做得好,时间会证明。我非常有希望。我还想说,这个具体的奖项只是一个更大得多的事情中的一部分,但愿如此。这是个很好的问题。

07:01我其实不知道自己有没有好的答案,但这不等于没有,我相信是有的。比如,政治哲学里作为一支思想脉络的政治自由主义,我想到了它,它也许就是一个例子。还有一件随机想到的事情我想提一下:你提到了利润,以及算一算对一个想法做红队测试、也就是把它驳倒这件事的期望值有多少。我觉得思考营利与非营利领域的差别,在这里是个相当有意思的类比。在营利领域,有一个非常明显的反馈机制:你有一个想法,

07:33无论你对这个想法多么兴奋,你都能很快知道世界是否同样兴奋,也就是说,你可能会直接失败。这是一个紧密而有用的反馈回路,能帮你弄清楚自己做的事是否值得做。而如果你预期做这些项目不会得到任何回报,那么这种反馈回路在默认情况下是不存在的。

07:53因此,这就是想要人为地建立这些机制的一个理由。比如,一种办法是慈善评估机构,它们在某种意义上施加了类似市场的机制,让你现在有了动力去真正实现你名义上想要实现的东西,因为有第三方在评估你是否做到了。不过我觉得那个框架,我是说我们可以试着再多说一说,但至少对我来说那是个很有用的框架。还有,另一个让我觉得这件事重要的原因是,如果有一个运动大约只有十年历史,像这个这样,

08:28你知道,我们有一些已有几千年历史的思想脉络,它们在此前缺失的方面又有了重大改进。光凭这一点,在我看来就有理由预期会有一些错误,无论是在理论层面还是在应用层面。我确实有很强的先验判断:存在这样的错误,而且能在合理的时间内被识别出来。是的。我想我还喜欢这样一种看法:不只是想着,这是我们持有的一组主张,

09:02我们要找出哪里错了,而是一些真正好的批评可能是这样的:看,你就是漏掉了这个区分,而这是一个非常重要的区分;或者你漏掉了对你所用的这个朴素概念框架的某项补充,而做出这项补充非常重要。很多人对非经验领域的进步持怀疑态度,比如哲学。他们会说,哦,我们思考这些问题已经几千年了,可我们还是不太确定。

09:27而我认为这忽略了一种非常重要的进步,你可以称之为概念工程之类的东西,也就是找到那些真正有用的区分,然后在它们之上搭建结构。所以,这并不是说你在提出一些必然为真或为假的主张,而是还存在其他类型的有用批评,其中就包括让你的模型变得更有用。

09:47说到在这类问题上取得进展,有一件事让我很惊讶,也许这只是我对这里的哲学史不了解。让我非常惊讶的是,长期主义这场运动,至少是它的现代形态,经过了几千年的哲学,才有人想到:哦,未来可能非常庞大,因此未来非常重要。所以你也许可以说,哦,历史上有过许多运动

10:09强调过——我是说,在核武器出现之前,生存风险也许不是一个突出的思考对象——但强调过文明崩溃是一个非常突出的因素,可能在许多世纪里都极其糟糕,所以我们应当设法确保社会稳定之类的。你有哲学背景,所以你对这里的哲学背景有什么看法吗?既然这些相对而言是比较新的想法,为什么花了这么久?是啊,我觉得这是个特别好的问题。我马上想到的一个名字是一位叫 Tom Moynihan 的历史学家,他写了一本书,大概是关于人类如何思考生存风险的历史。

10:48最近他一直在研究你提的这个问题,也就是为什么人们花了这么久才得出这个如今看来相当自然的想法。我认为这里的部分原因是,人们很难,或者说很容易低估,我想这和我上一个回答里提到的有些关系,即我们身上有多少概念工具,它们有点像我们现在身处其中的水,所以很难察觉。我想到的一个例子是,把概率看成可以形式化地谈论的东西。这是个新得惊人的想法。

11:27还有这样的想法:人类历史可能会终结,而且这在某种程度上还可能在我们的掌控之内,也就是由我们决定或阻止它过早发生。这些都是新得出人意料的想法。我认为,要设身处地想象早期人们的处境,需要大量的想象力和努力,因为他们没有我说的那种思维工具,而有了这些工具,这些想法就会自然得多地冒出来。当然,一旦这些工具就位,结论很快就会推出来,但这并不容易。而且我同意,我意识到这其实不是个很好的回答,只因为这是个很难的问题。是啊,你知道,有意思的是

12:08更近一点的时候,也许我并不了解这个论证的完整背景,但我想我听 Holden Karnofsky 在某处写过,他认为,思考 EA 已经识别出来的那些问题,比去识别某种未知风险更有价值,比如十几二十年前,AI 可能就是那样的未知风险,我是说 AI 对齐。考虑到这段历史经验,即你可能缺失一些思考世界的非常基础的工具,从而错过一些非常重要的道德含义。这是否意味着,我们应当预期在我们的优先事项中,会出现与 AI 对齐所占位置同样大甚至更大的东西?

12:46冒出来,或者说,一般意义上的思维工具,比如期望值思维。嗯,这是个好问题。我想我要说的一点是,看起来很可能,用来发现重要事物的最重要、最有用的概念,也是最容易摘到的低垂果实。我觉得大致正确的是,在构建概念框架的过程中,我们确实先挑出了最重要的想法,而现在是在细化,并加入一些也许更边缘的东西。至少如果这个趋势大体会持续下去的话,那就是一个理由,让我们不要期待会从意想不到的方向冒出某种惊天动地的新概念。不过我想,说实话,这是一个非常

13:36薄弱而含糊的论证。还有,我想这取决于你怎么看待时间跨度。如果你的时间跨度是人类思考事物的整段时间,那你也许会觉得其实有点奇怪:花了三千年,甚至更久,取决于你把起点定在哪里,花了三千年人们才意识到,嘿,我们应该用概率和期望影响来思考。所以从这个意义上说,也许就是,我不知道,花了三千年的思考才得到这个非常基本的想法,一个在我们看来非常重要

14:07而又基本的想法。我觉得我可能有两点想说。如果你想象把历史上所有活过的人排成一排,然后沿着这条队伍走过去,看看沿途人们取得了多少进步。这样你是沿着人走,而不是沿着时间走。

14:22我认为,人们思考事物的方式的进步,看起来会更接近线性,而且实际上起步比你只看随时间变化的进步时所想的要早。如果早期进展更快,那么如果你是在顺着很长期的趋势推断,那么也许你应该预期

14:44不会很快发现这类,再说一遍,完全出人意料的想法。但我认为第二点也许更重要,那就是我也认同这样一种看法:在某种意义上,关于思考,关于什么最重要的思考,其进步是真正无边界的。就像 David Deutsch 经常谈到的这类想法。当你提出新想法,就会产生新问题、新疑问,应该还会有更多想法。这很好。

15:09我认为在某种意义上,当下的一个优先事项,可以被表述为给我们时间去取得这种进步。即使你认为我们有这种无边界的能力,可以提出一大批新的重要想法,这显然也是一个前提条件。因此在某种意义上,这是一个稳健的论证,说明努力不让人类偏离航道、防范并减轻其中一些灾难性风险,最终总会被证明是相当重要的事情,

15:43也许是最重要的事情之一。是的,我认为这是合理的。但接下来有个问题:即使你认为生存风险是最重要的事情,你在多大程度上已经发现了所有的,再说一遍,那种 X 风险论证。不过顺便说一句,你之前说的,

16:03关于尝试从物理定律的极限出发推断我们可能知道什么,这可以在某种程度上限制我们认为可能发生的事。我觉得这是个有意思的想法,但我在想,部分原因是,一种论点是我们甚至不知道如何界定那些物理约束。而且在有计算理论之前,说出“这么多物质能支撑这么多的每秒浮点运算次数”这种话甚至都说不通。然后

16:32第二点是,即使你知道了那个数字,它仍然不能告诉你,你能用它做什么。我觉得 Holden Karnofsky 谈到的一个有意思的东西是他那篇题为《This Can't Go On》(这不可能持续下去)的文章,他在其中论证说,听着,如果经济持续复利增长,到某个时点,你就会达到这样的程度:在可影响宇宙中,每个原子对应的经济规模是地球经济的许多、许多、许多倍。因此很难看出超过那个点之后怎么还能继续保持经济增长。但这本身似乎,我不知道,如果这是真的,那就必须存在一条物理定律,说每个原子的最大 GDP 就是这个数,对吧?如果不存在这样的常数,那你就应该能够超越它。我想这仍然留下了很多问题,比如,即使你能知道这样一个数字,

17:21你也不知道在那个时点能做什么、会有多有趣。是的,我想第一点是,即使你认为防止这类可能削减人类潜力的大规模风险极其重要,你也可能会错过其中一些风险,因为你无法把它们说清楚,或者真正在概念上把握它们。我想说的是,到了某个时点,我们对大致什么看起来最重要,已经有了相当好的理解。比如说,你在一次露营途中被困住了,你想的是我们得活得足够久才能脱身。那么问题就变成,好吧,我们要留意什么?

17:57我其实不知道这里有什么野生动物,因为我以前没来过这里,但大概就是这类东西吧。我至少可以想象渴死的风险,尽管我从没渴死过。然后就是,如果我们连其他的风险都还没开始想到呢?那是啊,也许吧,但出于某种实际的原因,把注意力放在最突出的事情上是合理的。当然也肯定要花些时间去想那些我们还没想到的事情。但这份清单并不是完全没有尽头的。

18:26我想,这背后也有一个理由。然后你提到了第二点,对此我其实不知道自己有没有很多有意思的话可说,或者你可以试着聚焦一下你感兴趣的地方。我现在想了想,我不认为第二点对这个论证有很大影响,但这两点,是啊,我们还有二十个同样有意思的话题没法展开。不过作为收尾,我觉得这个类比对我来说非常有意思。露营途中,你要做生存所需要做的事情。

19:00我不知道,好吧,把这个类比延伸一下,可能就像是,有个人,比如一位联络员发现,哦,我们大家正要吃的那种浆果,因为我们觉得那是这里获取营养的唯一办法,而我们几乎快饿死了,别吃那种浆果,因为那种浆果有毒。然后也许有人会指出,好吧,既然我们已经在这个环境里发现了一种有毒的食物,

19:22我们是否应该预期还有其他我们不知道的有毒食物?我不知道,关于这个话题我不知道还有没有更多可说的。我是说,有一点,你可以换个角度来看这个问题,我们对很多事情是有先例的。

19:36比如,我们现在知道引爆核武器不会点燃大气层,而这曾是一些人担心的事。所以我们至少对某些事情能坏到什么程度有了某种界限。因此,如果你问,在哪些类型的风险有可能达到构成生存风险的程度这个问题上,最值得担心的是什么?那就会是我们还没做过、还没有任何经验的那类事情。所以你可以问这样一个问题:在那些看起来重大、但完全新颖、没有先例的变化或事件的空间里,有哪些东西?而且看起来确实可以尝试把这份清单列出来并得到答案。这就是为什么,或者说至少是原因之一,AI 会显得突出,因为它满足了这样的

20:32标准:有可能非常重大且具有变革性,同时也是我们还没有经验的那类事情。不过再说一遍,这份清单在某种意义上并不是无穷无尽的,在几十年的时间尺度内,我们能做的事情就那么多。好的,是啊,那我们换个话题,我们在谈论营利性创业,把它作为你可以做的、可能有影响力的一件事。抱歉,也许不是在这次对话里,而是我们另外有过一次……对,对。好,澄清一下,这不只是为了“赚钱再捐出去”(earning to give)而营利,也就是你成为亿万富翁然后把财富捐出去。在多大程度上,你可以识别出这样的机会:你就是去建立一家盈利的公司,

21:18解决一个重要的问题领域,或者让人们的生活变得更好?一个例子是 Wave。这家公司,比如说,在非洲帮助人们转账并提供银行服务,大概以各种不同的方式提升了人们的福祉。那么,我们在多大程度上可以预期存在一大批能让人们生活变好的营利性机会?对,这是个很好的问题。而且确实有这样的情形:一些比较有创新性的大型营利公司,就是在为世界做一件极其有用的事情。它们提供了一种原本不会存在的服务。

22:00而人们显然在使用它,因为它是一家成功的营利公司。是啊,所以我想问题大概是这样:你退后一步,问自己,我怎样才能用我所做的事产生巨大的影响?问题是,我是不是低估了直接去创办一家公司。所以我想抛出一堆彼此不太相连的观察,看看它们能不能串起来。一般而言,你有理由预期非营利的路径会做得好。这当然非常朴素、简单,但只要存在营利机会,你就应该预期会有人去抓住它。这就是为什么我们看不到 20 美元的钞票躺在人行道上。但在某种意义上,去抓住

22:45那些没有盈利机会的帮助他人的机会,天然的激励会更弱。所以,如果你考虑的是,做一件事和不做这件事相比你带来的差别,那么一般来说,你可以预期在做非营利的事情时,这个差别会更大。尤其是在不存在对某种好东西的市场的情况下。可能是因为你帮助的对象不是人类;可能是因为他们生活在未来,所以无法为某样东西付费;也可能是因为你想让一项真正有影响力的技术起步。在这些情况下,我认为会出现一种搭便车的动态,即你无法保护知识产权、无法为某样东西申请专利,

23:28做第一个行动者的理由就更少。所以,这也许不是为了盈利,但开创一个……或者帮助让一项技术起步,而它最终可能成为一大批营利公司赚大钱的领域,这看起来非常令人兴奋。另外,在没有市场的地方创造市场,也看起来非常令人兴奋。比如说,建立

23:45AMC,也就是预先市场承诺(advanced market commitments),或者设立奖项,或者说,在原本没有激励的地方创造激励。这样你就能获得营利领域带来的那种效率和竞争的收益。这很好。但这并没有真正回答你的问题,因为你的问题是,

23:59那实际的营利公司呢?关于它们是否被低估了,我不知道我能说什么。是啊,其实我很好奇你怎么想。好的,我对你说的有大概四种不同的反应。我记住了“四”这个数字,免得我说到第三个时又想到另一件事要说。好,我之前写过一篇关于这个的文章草稿,最后没有发表,但它引出了很多有意思的讨论。所以我们可能有……我不知道,以防听众觉得我们打断了一段在开头之前就已经开始了的对话。

24:35第一点是,我们在多大程度上应该预期这个市场是有效率的?你可以这样想:潜在的创业点子数量极其庞大,而出色的创始人数量极其稀少,所以可能出现这样的情形:最赚钱的点子,没错,像 Elon Musk 这样的人会冒出来,把也许是千亿美元级别的点子都摘走。但如果你有一家像 Wave 这样的公司,我相信他们做得非常好。但是,你知道,如果看不出它如何成为下一个 Google 之类的话。而且我想更重要的是,如果这需要大量背景知识,比如你谈到被忽视的群体。

25:15我想这解决不了动物和未来人的问题。但如果在全球范围内,被忽视的群体比如说是生活在非洲的人,那么那些能够创办公司的人,未必有这些被忽视群体所面临问题的经验。所以,很有可能,或者说有可能,如果你专门去研究如何帮助比如说世界上贫困地区正在遭受贫困之苦的人,你可能会碰到一个想法。你可以找出一个硅谷的程序员根本不会知道的问题。好,关于你说的其他事情,还有一堆想法。其一是,好吧,也许很多进步取决于根本性的新技术,而公司是在技术已经可用的时间点出现的,需要有人真正去

26:05落地并把所有这些想法整合在一起。是的,关于这点有两件事。其一是,我们不必钻这个牛角尖,其一是这样一种论点:实际上发明本身,不是发明,而是创新本身,是非常重要的一个方面,而且可能是瓶颈所在,即让一项发明起步并规模化。另一点是,如果你能建立一家千亿美元的公司或万亿美元的公司,或者甚至不一定,也许只是十亿美元的公司,

26:32你就有资源真正投入研发。我是说,想想 Google 这样的公司,对吧?他们基本上在一些异想天开的计划上砸进去了多少亿美元?你对 DeepMind 在 AI 对齐方面可能会有各种看法。但我是说,他们做的其他类型的研究,似乎都真的很有意思、很有用。而且,是啊,所有其他的 FAANG 公司都有这样的项目,比如微软研究院,或者我不知道亚马逊的那个叫什么。然后另一件可以指出的事情是,关于建立一个市场,使得其他类型的想法和其他类型的业务成为可能。

27:13从某种意义上说,你可以论证,也许一些最大的公司做的正是这件事,对吧?比如 Uber,它并不是公司的市场。或者也许亚马逊在这里是一个好得多的例子:理论上,你在此之前就有这样的激励,比如发生疫情时,我要大量生产口罩,对吧?但亚马逊让市场的流动性大大增强,以至于你可以直接开始生产口罩,然后立刻把它们挂到亚马逊上。所以看起来在这些方面,也许创办一家公司确实是一种有效的方式,

27:45来应对那类问题。是啊,天哪,我们跑题跑得太远了。我本该只说一件事的,抱歉一下子向你抛出这么多东西。内容很多。就我所记得的,这些都是很好的观点。是的,

28:00我的高层次想法是,我不确定我们有多大分歧,不过我想说的一点是,再次从一般意义上思考,你预期真正最大的机会通常是什么样的,才能产生某种影响。你知道,

28:16你可能会想到的一点是,如果你能分别为两件事做优化,也就是先优化第一件事,再用它去优化第二件事,而不是试图同时优化二者的某种组合,那么你可能会预期,先做第一件事的话效果更好。比如说,你可以做一件事,

28:36看起来有点像是既努力在世界上行善、又赚很多钱,比如社会企业。这往往很顺利,但你也可以做另一件事:努力赚很多钱,做出一个有用的产品,它并不直接以改善人类前景之类为目标,只是单纯地很棒。

28:54然后再利用第一件事的成功,去直截了当地思考,我怎样才能做最大的善,而不必担心是否存在某种盈利机制。我认为这种策略往往会奏效。还有这样一种想法,叫尾部分离(the tails coming apart):如果你有过这种想法,即在极端情形下,一端是盈利机会方面的可扩展性,另一端是

29:22做出巨大善举的极端,你可能会预期,两者最好不要有那么强的相关性。再说一遍,你之所以这么想,一个特别的理由是,你可能认为未来真的很重要,人类的未来,而且抱歉我像是卡住的唱片,但因为那里并没有真正天然的市场,因为这些人还没有出生。这是个有些啰嗦的说法,意思是,好吧,这并不总是成立,但我基本上同意,我会想抵制那种完全排除了创办或经营成功的营利公司的行善框架,因为有大量非常出色的例子,说明那样做取得了巨大的成功,而且应该被

30:07庆祝。所以我想我不同意那种精神,也许我们在相对而言应该多强调这些不同事情的程度上有些分歧,但这似乎并不是很深的分歧。是的,是的。也许我跟 Bryan Caplan 待在一起的时间太多了。顺便说一下,尾部分离我认为是思考这件事的一个非常有意思的方式。Scott Alexander 有一篇很好的文章谈这个。

30:32他指出的一点是,一般而言你预期不同类型的力量的不同部分会相互关联,但世界上握力最强的那个人,大概不是世界上深蹲最重的那个人,对吧?是的。好,我想这是个有意思的地方来结束这个想法。哦对,我还想跟你聊的另一件事是对 EA 做回溯测试。你有这些基本想法:我们要看那些重要、被忽视且可解决的问题,并把它们应用到整个历史中。

30:58比如一千年前、两千年前、一百年前。是否存在这样的情境:应用这些想法可能会导致反常的结果、意想不到的结果?是否有这样的例子,我是说历史上有很多例子,本来可以很容易地把事情变得好得多,但也许它比常规道德做得还要好得多,

31:21或者是当今的想法本来可以让它们变好。所以我们先看问题的第一部分,我的理解大概是:我们能否想一想,某种有效利他主义运动,或者如果这些想法在更早之前就已经深入人心,

31:37它们有时是否可能失灵,或者也许可能成功。实际上,我们该怎么想这个问题?我想说的一点是,事前来看正确的决定,往往是这样一种决定:它在某些可能的结果中可能做得非常好,但你仍然可能预期它会失败,对吧?主线结果是这件事并没有真正成功,但它是一次登月式的尝试。如果顺利,就会非常顺利。我想这和某些类型的投资类似,如果是这种情况,那么你应该预期,即使你遵循的是完全正确的策略,你回头看你所做的决定时,也应该预期会看到一堆失败,

32:13这里的失败是指,你产生的影响很小。我认为重要的是,要抵制那种诱惑,不要因为它没有成功,就据此对那是否是正确策略做出很负面的更新。所以,我不知道,如果类似 EA 式的思维在当时已经深入人心,并且被想得很透彻,是的,我认为它会出错很多次,而这不该是什么糟糕透顶的消息。我说的出错,是指没有成功,而不是造成伤害。如果造成了伤害,好吧,那是另一回事。

32:51顺便说一句,我认为这指向的一件事是,你可以选择采取一种看起来像是极小化极大后悔(minimax regret)的策略。对吧?你有一堆选项。你可以问每个选项大致的最坏情形,或者就是默认的“还行”情形,而一种策略就是选择那个“还行”情形最不糟的选项。如果你采取这种策略,你应该预期在回顾自己做过的决定时

33:20不会看到那么多失败。这是支持它的一点。另一种策略就是做期望值最优的事情,比如,如果我不断地做这些决定,长期来看什么最终能让世界变得最好?这看起来很像直接选择期望值最高的选项。也许你不想冒造成伤害的风险,所以把这一点纳入考虑是可以的。你知道,我碰巧认为第二种策略往往会好得多,而且很重要的是,不要被极小化极大后悔策略的这个特点误导,那就是你回头看时,在很多情况下会对自己感觉好一些,如果这么说说得通的话。是啊,这太有意思了。我是说,如果你从股票市场模型的角度思考回溯测试

34:06做个类比,有一点是,一种只是试图让某笔交易的回报最大化的策略,会很快导致你破产,因为迟早会有一笔交易让你亏光所有的钱。所以才有了所谓的凯利准则(Kelly criterion),你保留很大一部分资金,只用其中某一部分下注,这听起来更类似于这里的最小化后悔。除非你的期望值把这样一种可能性包括在内,我是说在这个情境下,

34:36你知道,亏光所有的钱就像是一种生存风险,对吧?所以也许你是把亏光所有钱的概率直接内嵌进了期望值的定义里。对,对,对,对。这是个很好的,真的很好的观点。我想在某些情形下,你确实想采取看起来更像凯利下注的做法。但如果你是在边际上行动,相对于你所拥有的资源池而言边际很小,

34:57那么我认为往往就可以直接做最好的事情,而不必太担心凯利下注的规模是多少。不过,是的,这是个很好的观点。我想,这么做的朴素版本,就是很快输光你的本金,因为你下了过大的赌注,忘了它可能不会成功。

35:16对,所以我很感谢。哦,你说“在边际上”是什么意思?如果你认为你所取用的是一个资源池,比如说,为你有兴趣做的那类工作提供的慈善资助,而你只是一个相对边际的行动者,那么这就不同于作为一个个人投资者,

35:35个人投资者对资金耗尽的风险更敏感,当你更像一个个人投资者时,你就要留意凯利下注的规模是多少。如果你是在边际上行动,那么这也许就不是一个很大的考虑因素,尽管它显然仍然是非常重要的一点。好的,顺便说一句,

35:56不知道你有没有看到我最近的博客文章,谈我为什么认为会有更多的 EA 亿万富翁。看了。好的,好的。我不知道你对其中任何想法有什么反应。但我的主张是,我们应该预期每年投入其中的总资金会大幅增长。

36:13是的,顺便说,我真的很喜欢那篇,我觉得很棒。它让我想到的一件事是,为自己争取回报最大化,和努力获得最大回报,这两者之间有相当重要的区别。

36:29为世界争取最大回报,也就是做最大的善。我们刚才谈到的一个考虑是亏光本金的风险,这就是凯利下注变得相关的地方。另一个考虑是,作为个人,单纯为自己谋求最好的结果时,金钱带来的边际回报会急剧递减,也就是说没有额外的钱,你的生活能过得多好,对吧?比如你账户里有 1000 万,然后

37:01你又赚了 1000 万,你的生活会变好两倍吗?显然不会,对吧?因此,当你考虑赚一大笔钱的可能性时,你应该有些风险规避。反过来,如果你只关心让世界变得更好,那么世界是一个极其巨大的地方,所以你基本上完全不会遇到这种边际递减。因此,如果你赚钱,至少部分是为了在某种意义上把它捐出去,或者以某种公正无偏的意义产生积极影响,

37:33那么你的风险规避程度就会更低,这意味着你也许失败得更频繁,但也意味着那些成功的人会成功得特别彻底。所以我不知道,从某种意义上说,我只是在重复你说的话,但我觉得这是个相当精妙的观察。另外,还有一点有意思的是,

37:52不只是这点成立,你还身处这样一个运动中,其他人也都有类似的想法。不只如此,这个运动里还满是年轻、懂技术、聪明,而且正如你所说,风险中性的人。所以基本上,这些人在未来亿万富翁的队伍里会被严重地过度代表。

38:14而且他们都聚在一起,怀有这样一个想法:我们可以一起致富,然后通过这样做让世界变得更好。你会预期,这恰恰是会促使人们组队创办十亿美元级公司的情境。好的。是啊,还有一堆有效利他主义的其他话题想问你。其一是,如果量子力学的多世界诠释是真的,它是否应该在任何方面影响我们的决策?我知道有这样的论证:哦,你可以把振幅直接换算成概率,而如果只是概率,那么决策理论就不变。我对此的问题是,我最近几个月非常幸运。现在我认为

38:52如果我意识到实际上大多数的“我”——好吧,我知道说“我们”这个“我”有问题,它们在多大程度上可以互换——多宇宙中的大多数分支里,我常常差得多。这会改变我对此的看法,让它比“哦,我只是走运”更糟。但现在我在这里。另一件事是,如果你想到生存风险,并且认为,即使在多宇宙的某个分支里生存风险非常高,人类也还是存活了下来,我不知道。

39:26这最终似乎比“哦,概率真的很低,但结果却是我们没能幸存”要好。这说得通吗?好的。好吧,内容很多。我想,与其糟糕地试着解释多世界到底是怎么回事,也许还不如直接指引大家

39:44自己去搜一下。我还应该补充一个巨大的免责声明:我其实并不真正懂我在说什么,我只是一个局外人,觉得这些东西挺有意思。好,那么有这样一个问题:如果多世界

39:59观点是真的,那对于我们该做什么、什么重要这类问题,它可能意味着什么(如果有的话)?我想说的一点是,不深入任何细节,这看起来就是件大事。比如每一秒、

40:14每一天,我在某种意义上都在溶解成一团“我”的云,一个难以想象之多的“我”。而这些“我”中的每一个,在某种意义上又

40:26溶解成更多的云。这简直太疯狂了。而且就我所能判断的来说,它似乎有相当大的可能是真的。

40:37好,那这意味着什么?是的,你指出可以谈论世界上的一个测度。在某种意义上,在多世界观点下,如何得到概率或如何理解概率,其实是个问题,而有一种相当巧妙的办法,利用了关于你应该如何做决定的问题。也就是说,你应该按照未来的各个“你”在某种意义上有多大可能性来给他们加权。

41:01但实际上是反过来的。你是在期待“它们更有可能”的含义,就体现在如何理性地给它们加权上。然后我想我可以试着说出一大堆非常含糊的东西。所以也许我就试着把脑子里想到的东西倒出来。你可能会认为,多世界为真,可能会在某些情形下推动你更加风险中性(如果你之前不是的话),因为在某些情形下,你是在把“这件事发生或不发生的某种概率”,转换成某一比例的

41:31世界中这件事发生了、另一部分比例则没有。我确实认为不值得对此过度解读,因为我认为关于世界的许多重要不确定性仍然是主观的不确定性,即大多数世界实际上会如何发展。但有意思且值得注意的是,你把对事情如何发展的整体不确定性,转换成了对事情发展比例的更确定的认识。我想这里另一个有意思的特点是,“你应该如何行动”的问题,不再是“你应该如何让未来那个作为一个人的你受益”,而更像是“你如何让这团由你的所有后继者组成、正向未来扩散的人云受益”。而且我想你指出了,即使这是真的,你基本上也可以保住几乎所有的决策理论。但对正在发生什么的图景改变了。特别是,我想直觉上,我觉得在利己地行动和公正无偏地行动之间的差距,我们

42:34也就是帮助他人,在某种意义上稍稍缩小了。你已经在通过做对你自己理性的事情而让许多人受益了,这离让那些与你并非以这种特殊方式连续的人受益,也就没那么远了。

42:50所以我挺喜欢这一点。这很有意思。是的。然后,还有一个稍微更出格的想法,就是,你可以这样说:多世界是真的,

43:04那么至少在某种意义上,未来的人比过去的人多得多,多到难以想象。甚至从现在算起的下一秒,人也多得多。所以你可能会觉得,这应该让我们对未来采用一个很陡的负贴现率,也就是说我们应该比现在更重视未来的时刻。这样一来,它不会改变我们应该如何行动,只是让我们思考这件事的方式爆炸式地改变。这肯定看起来不对。也许一种思考方式是,如果这个想法是真的,或者方向上是真的,那么这也可能是一个理由,让我们对自己此刻是在较早而不是较晚的时间说话感到极其惊讶,因为如果你认为自己是从所有曾经活过的人中随机抽取的一个,那么我们被抽到的是今天而不是明天,这就简直令人震惊,因为明天的人数是今天的 10 的若干次方倍之多。所以这大概

44:04大概是错的,而且错在哪些理由上我也没有很好的把握,因为我并不知道自己在说什么。我是说,我可以试着鹦鹉学舌地复述那些理由,但我有兴趣试着真正更透彻地理解这些理由。这真的很有意思。我没想到过这个关于选择的论证。我听过的一种解决办法是,你可以考虑希尔伯特空间的比例,或者说宇宙波函数整体中的比例,那可以是概率,而不是每一个不同的分支。你知道我刚意识到什么吗?

44:41你提出的这个选择论证,也许是在反对 Bostrom 的“我们生活在模拟中”的想法,因为基本上他的论证是,模拟的数量会比真实的你的副本多得多,因此你很可能身处模拟之中。把所有模拟加上你,认为你的先验应该在它们之间均匀分布,这看起来类似于说,你的先验应该沿着波函数的每一个

45:09可能分支均匀分布,你的先验在各分支之间应该相同,而我想,在波函数的语境下,你论证的是也许不该那样思考,而应该考虑总波函数、总希尔伯特空间的某个比例。是的,这说得通吗?我不知道我表达得对不对。等等,再说一遍它是怎么和模拟之类的东西联系起来的。不是把每一个可能的模拟视为一个独立的个体,并认为每个单独的模拟实例与你生活在真实世界中的可能性相同,而是也许模拟作为一个整体,与你生活在真实世界中的可能性相同。

45:52就像你活在今天而不是明天的可能性是一样的,尽管明天会有多得多的分支,即波函数的新分支。好的,内容很多。我脑子里信息量很大。我觉得真正懂这些的人听到这里肯定在抓狂,因为你们看到了那个显而易见的东西。你提到了,

46:10这就是开播客的本性。这正是重点。不过顺便说一句,如果你就是这样的人,请务必给我发邮件或私信之类的。我很感兴趣。是的,你提到,

46:21显然存在一个世界上的测度,这让我们可以重新谈论事物是否合理。另外,也许要稍微评论一下,谈论概率有点困难,因为在多世界中,凡是可能发生的事都会发生。所以很难把措辞完全说准确。不过总之,我完全明白这个观点。然后是它如何对应到模拟之类的想法上的问题。

46:47这里有一个,我不知道,也许是和这个相关的想法。你知道睡美人(Sleeping Beauty)类型的问题吗?不,不知道。好的,那我就凭模糊的记忆讲个例子。我们开始吧。在最初的睡美人问题中,你去睡觉,好,

47:06然后我抛一枚硬币,或者说,有人抛一枚硬币。如果结果是反面,他们会叫醒你两次。如果结果是正面,他们只叫醒你一次,

47:19然后你又回去睡觉,你的记忆被抹除,接着你再次醒来,就好像是在另一个世界里被叫醒。好,所以你去睡觉,

47:30你醒来,问自己硬币是正面还是反面的概率是多少。这里似乎既有很直观的理由支持 50%,也有很直观的理由支持三分之一。这里有一个相关的问题,至少在我脑子里它更简单一些。我抛一枚硬币。如果是正面,我就造一个只有一个观察者的世界;如果是反面,我就造一个有 100 个观察者的世界,也许可以是运行着 100 个人的文明。你醒来,处在其中一个世界里,你不知道这个世界里还有多少人。你只知道有人抛了一枚硬币,决定造一个只有 1 个人或有 100 个人的世界。你处在有 100 个人的世界中的概率是多少?这里既有理由认为

48:14是一半,也有理由认为大约是 100/101。这说得通吗?我理解认为是一半背后的逻辑。那认为是……的理由是什么呢?我是说,不管你最终作为观察者落在哪里,似乎硬币出现……哦,我想是因为你预期另一个宇宙里有更多的观察者吗?也就是说,认为可能是 100/101 的逻辑是什么?嗯,你可以这样想:我该如何推理我在哪里?

48:43也许是这样的:我只是一个随机的观察者,对吧?从所有可能从这件事中产生的观察者里随机而来。而可能的观察者共有 101 个。你可以想象我是被随机抽取的。好。如果我是从所有可能的观察者中随机抽取的,那么我压倒性地很可能处在那个大世界里。

49:02嗯。这太有意思了。我其实应该推荐一下真正懂这方面的人,就是 Joe Carlsmith,他有一系列非常出色的博客文章。哦,他下周会来这个播客。是的。太棒了。

49:16好的,你应该问问他这个,因为他真的会跟你好好讲这个。我不想抢他的风头。不过他有一个很酷的想法,也许可以用它来给这一段收尾:如果你对像这样的例子持 100/101 的看法,而且你认为宇宙有任何可能在大小上是无限的,那么你就应该认为,你处在一个无限的宇宙里的概率

49:41在范围上是 1 或者接近 1,如果这么说说得通的话。我明白了,是的。好,那么最终,你对多世界作为一个好的解释的认识,是否在任何方面影响了你对应该做什么的看法?是的,我其实不太

50:02知道我有没有一个好答案。我最好的猜测是,只要你一开始处于相对风险中性的位置,事情就大致会回到原来的地方。我怀疑,如果多世界为真,这可能会使人更难保持关于个人同一性的直觉看法,原因在于,不存在那么一个与你在时间中始终连续的人,

50:25也不存在别的人,而人们往往就是这样看待成为一个人意味着什么的。然后还有一个模糊的想法,就是我偶尔,大概每隔一个月左右,会想起多世界也许是真的,这让我大受震撼。我不知道该怎么办,于是就继续过我的日子。我大概就是这个状态。好的。

50:43好。另一个值得聊的有意思的话题是人才搜寻。EA 在识别更多像你这样的人这件事上在做什么?而且也许甚至是像你这样、但不在牛津附近的人。我不知道你原本究竟是哪里人,但如果他们来自某些地方,比如我不知道,Trying 或 Andy 之类的地方(转录不清)。是的,是的,是的。那么,EA 在做什么来从那些他们原本可能不会从事 EA 的地方招募更多的 Fin?

51:08嗯,这是个很好的问题。需要说明的是,我只是在事情顺利发展上中了彩票,幸运到能做我现在做的事。所以,在某种意义上,问题是你如何“印出”更多中奖彩票?并且确实去找到那些真正值得拥有它们的人,而这些人目前没有被发现。这在很大程度上来自

51:34我最近读了 Tyler Cowen 和 Daniel Gross 合写的《Talent》那本书。是的,有一个事实很有力量,那就是找到真正聪明、有驱动力的人,并把他们与机会连接起来,让他们能去做自己真正想做的事,

51:50这件事目前仍然很没有效率。外面仍然有这么多人没有得到这样的机会。关于这点,我其实不知道自己还有没有更多洞见可补充,只能说这是件大事。而且

52:06从某种意义上说,对于努力做最大善事这个项目而言,这是一个重要的考虑因素。你真的想找到能把这些想法付诸实践的人。而且我认为,鉴于现在有大量慈善资金等着被部署,这类人现在有特别的溢价。

52:25另外,从某种意义上说,这本身就像是一个独立的议题。至少在我看来,在这方面它类似于开放边境。在我写下那本书之前(转录不清),我还没有在某种切身的层面上体会到这一点。而且书里还谈到另一点:你要在他们年轻的时候就找到他们。

52:40如果你很早就遇到他们,你真的可以塑造一个人关于什么值得做的想法,以及他们对自己能做什么的抱负。另外,你知道,Tyler Cowen 前阵子还有一篇有意思的博客文章,他指出,申请他那个 Emergent Ventures

52:56项目的许多人,许多年轻人,深受有效利他主义的影响。这看起来非常……它在长期会是一个非常重要的因素。我是说,最终这些人会身居权力位置。是的,所以也许

53:12有效利他主义已经取得了一定的成功,因为世界上许多最有抱负的人都认同这个标签,至少考虑到这个项目带来的选择效应是如此。但是,是的,那么能做些什么,才能在人们还在……的时候就找到他们。

53:28Craig(转录不清)。是的,这是个很好的问题。我认为你指出的是对的,Nick Whitaker 有一篇博客文章,大概叫“人才筛选的灯光模型”(Lamplight Model of Talent Curation)。他区分了撒

53:48一张很大的网,这在某种程度上是很明显的声望;与之相对的,筛选成千上万份申请,或者在某种意义上发出蝙蝠信号,首先就吸引那些真正有前途的人,甚至可能把更适合其他事情的人劝退。举个例子,假设你每天写一个相当偏专业、书呆子气的经济学博客,持续很多年,然后再运营某个

54:27类似 Furniture 的项目(转录不清),你就自动筛选出了读过那本书的人,而这已经是一个相当不错的起始人群。所以我很喜欢那样的想法:不需要大声嚷嚷、听起来多有声望,而只是对这件事的内容相当诚实,这样你吸引的就是那些真正能自己梳理清楚的人,因为这是个相当好的特点。我想另一件事,同样不是什么很有意思的观点,

54:57但我真正意识到其价值的是拥有实体据点。比如有这样一种模式,例如运营研究员项目,你找到真正有前途的人。然后,把这些人聚在同一个地方,并让他们被一些资历稍深的人所环绕,有很多好处,

55:17只是让这种自然的过程发生:人们会因此变得非常兴奋,因为有这样一个群体,在做以前你只能在卧室里通过一些博客读到的事情。这本身就是一种动力来源,

55:32我知道这比其他东西不那么具体可感,但它真的非常有力量。而且大概,我不知道,也许这是我在这里工作的原因之一。是啊。居家办公的一个方面就是你得不到这个。关于第一点,我想

55:50也许这应该让人更倾向于不做社群外展和社群建设。也许那是负的边际效用,因为比如我想到我本地的情况,当时有一个有效利他主义小组

56:07在我的大学里,我没有参加;奥斯汀全市也有一个有效利他主义小组,我也没有参加。原因只是,我不知道,这里有某种逆向选择:领导这类组织的人

56:24往往是那些并没有直接去做有效利他主义说他们或许可以考虑做的事情的人,他们更感兴趣的是利他主义的社交层面。所以我不知道,如果我对这个运动的第一印象来自我亲身接触过的这些具体小组,我对这个运动的印象会差很多,

56:46而不是,比如说,在播客上听到 William MacAskill 讲。顺便说,后者(第四个)才是我第一次接触有效利他主义的方式(转录不清)。是啊,有意思。我觉得我真的不想低估社群建设者所做的工作。我认为事实上它事后证明了,而且现在仍然极其有价值,尤其是看一下作为大学里的小组组织者你能取得多大成就的数字。比如,在你一年的时间里,你也许就能改变不止一个人的职业道路,这相当了不起。不过是啊,我想部分原因是

57:20去你本地的小组和在网上接触相关内容的区别在于,你可以选择自己接触的东西。也许这里的一个结论是,可能被关联到 EA 的想法集合非常庞大,你不需要全盘接受,也不需要对所有这些都充满热情。比如,如果 AI 方面的内容让你觉得特别有意思,但其他的内容更边缘一些,那么,是的,这可能会推动人们

57:53去建立专门针对这类人的小组,他们的态度是:AI 这些东西看起来很酷,其他东西不是我的菜。所以,是的,我想在未来,随着事情规模扩大,在向外扩展的同时,也许还有这样的分化,以及不同小组的多样化,我觉得这似乎挺好,但总的来说,更多

58:15的一切似乎也都是好事。是的,是的。我可能是在对自己的经历过度拟合。而且考虑到我并没有积极地和这些社群互动,我大概连对那些体验也并不了解。但是,有效利他主义论坛上有一篇有意思的帖子,有人发给了我,作者论证说,在他们的大学里,他们也感觉到 EA 社群建设者的工作产生了负面影响,

58:39因为人们被自己的同龄人劝退了。而且,也有区别:比如说,像 Baker 和 Friedel、Roel McHastkel(转录不清)这样的人,显然是通过虚拟的方式,建议你去做这些事,与你们大学里某个刚读哲学的大二学生建议你去做,是不一样的,对吧?无意冒犯。是的,我明白,我明白。

59:03我的猜测是,总的来说,这些努力仍然压倒性地是正面的。但是,是的,我觉得有人有你所描述的那种体验,这挺有意思。对,而且想想怎么绕过这个问题也很有意思。那么,长期反思(long reflection)似乎是个坏主意,不是吗?我真高兴你提到了这个。是的,我想说,我想说不是。

59:25我想在某种意义上我对这个想法已经转变了看法。不过是的,好吧,也许值得……哦,真的很有意思。也许值得试着解释一下这个想法是怎么回事。如果你把视野拉到非常远,拉到很长的时间尺度上,考虑我们现在在历史中的位置。你可以问这样一个问题:假设在某种意义上,

59:49人类变得完全协调一致。计划是什么?一般而言,我们应该优先考虑什么?在什么阶段考虑什么?你可能会这样说:历史上的这一刻,也就是大约这个世纪,看起来危险得离谱,而且不可持续,

60:12或者说,有太多事情同时发生。很难知道事情会如何发展,但可以想象事情发展得非常糟,糟到差不多终结历史。所以,在我们能去操心某些更长期的考虑之前,让我们先把自己的事情搞好,确保不把事情搞砸。所以,好的,这看起来是个相当不错的首要任务。

60:36但接下来,好吧,假设你成功了,我们处在一个明显更安全的时期,然后呢?你可能会注意到,我们能够达成的范围极其庞大,也许比大多数人

60:55通常想象的还要大。我们可以做大量非凡的事情。但这也有一个特点:也许在未来,不是特别遥远的未来,我们可能几乎第一次能够着手那些极具雄心、而在某个重要意义上真的很难逆转的项目。

61:20这可能让你想到,好吧,在某个时点,实现我们拥有的那种潜力将是很棒的。比如,其下限之一是让所有仍处于贫困的人脱贫。再往前走,让所有人变得更富裕,能够做更多他们想做的事,做出更多科学发现,等等。所以我们想做这些,但在这两件事之间也许应该有点别的东西,那就是弄清楚什么才是真正的好。那么,为什么我们应该这样想呢?我想这里的一个想法是,非常有可能

62:00我想这和我们之前谈到的有联系:我们思考真正积极的未来、也就是最好的未来之一的方式,是相当不完整的。几乎可以肯定,通过对过去的这种悲观归纳,我们有很多地方想错了。比如一百年前,一批聪明人就想过一些非常可耻的东西。所以我们在很多事情上是错的。然后第二个想法是,我不知道,似乎真的有可能在这方面取得进展,

62:31即在思考什么是好上取得进展。有一个有意思的点:大多数工作,你可以称之为道德哲学,一直聚焦于负面的东西。也就是避免做错事、修复伤害、避免糟糕的结果。但是研究正面的东西,研究如果我们可以做许多不同的事情,我们应该做什么,这方面的想法,

62:54还处于非常、非常早期的阶段。所以我们应该预期能取得大量进展。那么,再次想象世界是完全协调一致的。花一些时间,也许是很长一段时间,刻意克制自己不去着手那些巨大而不可逆的项目,是不是个好主意?这些项目在某些情景下也许涉及离开地球,或者以其他方式做出难以撤销的事情。在那之前我们是否应该花些时间思考?

63:23是的,听起来不错。然后我想,最明显的回应是,好吧,认为我们能就此协调一致,这是个相当巨大的假设。我想答案是,没错,确实是。但作为一种方向性的理想,我们应该朝着还是背离这样的想法努力:慢下来,按住缰绳,把那些还没有真正参与这场对话的人聚到一起,听听他们的看法?是的,这肯定看起来值得做。好的。我还有一个不错的抽象想法想拿来请教你。

63:55所以,你知道,看起来有点浪费的是,我们有不同的公司在做完全相同的产品。但是,因为它们确实是完全相同的产品,它们没有规模经济,也没有协调。由此会带来一大堆损失,对吧?如果你们能够协调,弄清楚谁是最适合共同生产某物的人,然后让他们去生产,不是更好吗?而且我们还可以协调,弄清楚他们应该生产多少数量、什么质量才是合适的。

64:22我并不是说这就是共产主义或类似的东西。我只是说,这忽略了所需要的条件。就像在这个类比里,你忽略了哪些信息会丢失,以及要做到所谓的协调需要什么,就像共产主义的例子那样。在这个例子里,看起来你没有考虑到,需要什么来阻止某人去实现他的设想,比如,有人有一个愿景,我们想要殖民一个星系,或者想要,我不知道,制造一些新技术,对吧?那是长期反思所要管控的一部分。

64:56也许你理解错了,但看起来这几乎需要一个全球性的全景监狱(panopticon),一个极权国家,才能阻止人们逃离这场反思。好的,这里有一个连续谱。我基本同意,某种全景监狱式的东西不仅不可能,而且听起来相当糟糕,但是在国际层面上,朝着在重要事务上更加协调的方向推动,似乎是可取且可行的。尤其是防止真正糟糕的事情发生,而不是试图让人们

65:30都做同一件事。我觉得《生物武器公约》就是一个例子,它并不完美,资金也不足,但尽管如此,方向上是好的。也许这里还可以补充一点,在某种意义上,

65:45长期反思这个选项,或者更好的说法是,目标是多一点反思而不是更少,这其实是保守的选项。这是把我们一直在做的事情再多做一会儿,而不是某种激进的选项。所以我同意。

66:04很难想象会有某种超长的时期,大家都完全同意这样做。但是,我认为把它表述为一种方向性的理想,似乎相当有价值。而且我想,我不知道,也许我对在这类事情上更好地协调的可能性抱有一些朴素的希望。

66:21对我来说,这看起来是个坏主意有两个原因。其一,首先,谁来决定我们何时达成了一个良好的共识?比如我们已经决定,事情应该这样发展,现在我们准备好走出长期反思,去实现我们对宇宙剩余生命周期的愿景。

66:44谁来做这件事?大概是负责长期反思的人。几乎从定义上说,会是那些有动机去保持长期反思结束时存在的任何权力平衡的人。第二点你会问的是,我认为存在区别:就生物武器之类的事情达成共识,你是在限制某种负面的东西,

67:11相比之下,似乎当我们要求全社会就我们应该追求什么目标达成共识时,历史上结果并不好。在积极的一端,似乎最好是保持开放式,然后也许在有必要时,对我们可能想要共同限制的那些非常糟糕的事情做出限定。是的,好的。

67:37我想我基本同意你说的很多内容。所以我认为对此最好的表述,是这样一个版本:你要防止的是大多数人都能同意属于负面的事情,也就是某个行动者单方面决定去做这个巨大且不可逆的事情,或者着手一个巨大且不可逆的项目。你说的一点是,结果会反映掌权者的价值观。而且不仅仅是价值观。我是说,想想行会是怎么运作的,对吧?

68:17就好比说,每当比如一个行业,我们让这个行业该如何发展,由目前在该行业中占主导地位的人集体来做决定,你知道,行会之类的,或者行业合谋,似乎结果就是糟糕的。所以我的先验

68:45会是,在这样一种情形结束时,我们关于应该做什么的想法,实际上会比进入长期反思之前更糟。我是说,显然这真的取决于如何实施,对吧?所以我不是在说那个,而是大致就所有可能的实施方式而言,以及也许考虑到鉴于现在政府的运作方式,最可能的实施方式。是的,是的,是的。我应该说,我其实相当……我知道这样说更有意思一些……不不,我很喜欢我们意见不同的部分。所以这里有一个想法:如果你

69:25担心未来,担心未来的走向由某个单一的行动者决定。我是说,这种担心与让谁先赢得某场竞赛谁就去做那件事、也就是做那个基本上决定了人类其余部分命运的项目的担心,是对称的。所以,刻意等待并让人们进行某种全球对话的选项,我不知道,看起来

69:59没那么令人担忧,即使这种担忧依然存在。我还应该说,我可以想象结果并不是一致同意。事实上如果是一致同意那就太离奇了,对吧?但你希望的结果是某种稳定的、友好的分歧,这样我们也许可以达成某种共存的解决方案,然后各自去做自己的事。同时有一批项目一起展开。我觉得,这比由先到者来决定事情结果要好得多,

70:28决定事情如何收场。不过是的,我是说,谈这些事很难,对吧?因为这在某种程度上是推测性的。但我认为它作为一颗北极星之类的东西,朝着它努力是有用的。好的,那么也许为了让它更具体一些。我想知道你预期共识观点会好于先行者观点,在今天的世界里,也许,好吧,要么我们采用某种政府形式,而且不只是政府,还有产业和物流组织,

71:04比如 Elon Musk 为火星设计的那种,要么就是这个。那么如果他是火星的先行者,你会更倾向于那样,还是让联合国在各国之间就第一个火星殖民地该如何组织达成共识?或者,是不是在那样运行了 10 年、20 年之后,由他们这些人来决定第一个火星殖民地如何发展,火星殖民地会运转得更好?你预期全球共识观点会好于先行者观点。是的,这是个好问题。我是说,一个明显的点是,不总是如此,对吧?

71:36当然有些情形下,共识观点就是稍微差一些。我认为共识观点能限制下行风险,对吧?因为你给了人们空间去表达为什么他们认为某个想法不好。我不知道这是否切中了你的问题,但它确实是个非常好的问题。你可以想象联合国主导的那种做法,会慢得多,可能也会贵得多。国际空间站就是一个好例子,

72:02我想它的结果相当不错,但如果由私人来做,在某种意义上会有效得多。我想,Elon 的例子是个不错的例子,因为不清楚为什么那特别令人担忧。我在长期反思的例子中所想的东西,可能要更离奇一些。但很难把它具体化。

72:26所以我确实有点手足无措。还有另一个原因:就某人拥有资源而言,我不知道,也许这直接触及了关于其他政治事务的先验判断上不可调和的问题,但就某人已经能够私人积累资源,从而能够以对长期有影响的方式成为先行者而言,你怎么看他们可能持有什么样的观点、具备什么样的能力?与之相对的,假设政府的运作方式和功能,以及其治理的质量,在接下来的

73:02一百年里变化不大。你会得到什么样的结果?基本上,如果你认为像 Donald Trump 或 Joe Biden 这样的领导人在接下来的一百年里出现的可能性大致相似,并且你认为世界上最富有的先行者会是与 Elon Musk 类似的人。我能看到人们对于一百年后是该让 Elon Musk 这样的人,还是一百年后的 Joe Biden 这样的人,拥有

73:26决定人类长期进程的权力,可能会有真正不同而又合理的看法。这是这场辩论中你认为重要的支点吗?还是说这没有我想的那么相关?是的,我想我会试着说几点,也许它们能回应这个问题。我脑子里有两点。其一,大概是,你应该预期,当我们有能力做的事情范围远大于我们目前能做的时,

73:49“我们该做什么”这个问题,会比现在更加取决于人们所持的理论、世界观,以及非常大的具体细节,我可能说不好,但这里有某种类比,就像你在为一些点拟合一条曲线,

74:11你可以过拟合它,实际上可以用各种方式过拟合,而它们看起来都很相似。但如果你延长坐标轴,去看这些曲线在这些点之外会怎样,这些不同的拟合方式就会跑得到处都是。

74:24所以这里有某种类比。当你扩大我们可能做的事情的空间时,目前看起来相似、或至少得出相似结论的不同观点,会变得天差地别。这并没有回应你的观点,但我认为也许值得说,这是预期对什么是正确观点进行反思会相当重要的一个理由。然后,我想至少再进入第二个想法,大概是,有两件事在发生。其一是你提到的,基本上有一堆政治动态

74:59你可以推理出,出于政治原因,价值观大概会走向哪里。在某种意义上,这比默认情况要好吗?那默认情况又是什么?然后还有一种不同的思考方式,与政治动态分开来看:我们能否真的在思考什么才是最值得做的事情上取得进展、思考得更好

75:20就像我们可以在科学上取得进展一样,不管人们对科学的看法是否受到政治动态的影响。也许这里的分歧,是关于在多大程度上还有空间让我们更善于思考这些问题。我能给出的一个理由,我想我之前提过,就是这个项目,即思考什么是最值得做的事,也许是更好地思考伦理,并不是一件有两千年历史的事,更相关的也许是,它只有大约 30 年的历史

75:55而不是两千年。你可以称之为世俗伦理。Parfit 写过这个,对吧?他谈到,至少有理由抱有希望。我们还没有排除我们可能取得大量进展的可能性。因为我们以前做的事情,也就是试图系统地思考什么是最值得做的,与我们现在应该感兴趣的事情非常不一样。抱歉,这说得太啰嗦了,但希望其中有点东西。

76:17是的,我想回到你之前说的,你可以把全球共识看作未来观点的低方差版本。我认为,就你认为下行风险极其糟糕而言,这是个很好的论证。然后,是的,我是说,

76:37这类似于我反对君主制者的论证,即实际上我认为合理的预期是,如果你能可靠地让像李光耀这样的人来领导你的国家,并且是君主制,事情可能会比民主制更好。只不过,

76:52糟糕的结果实在太糟糕了,所以不如采用低方差的东西,比如民主制。如果我要谈你所说内容的最后一个尾声式想法,那就是,我想 Popper 有这样的想法,David Deutsch 也解释得很好,即民主一个被低估的价值,不仅在于在某种意义上具有把人们的观点合并成某种最优路径的功能(那只是某种大杂烩,每个人都有想法),还在于被统治的人有能力取消当前的治理实验并重新开始。所以就像是,我们给你自由去实施这种看起来非常令人兴奋的

77:43治理方案,然后当它出问题时,我们就踩刹车。而且重新开始的这个选项,总的来说在你考虑这类相当宏大的未来时,感觉像是你的工具箱里真正重要的工具。我对此的犹豫是,我想象不出一种政府形式,在其终点我会预期,不仅是 EA 这样的书呆子社群,而是真正的全球共识,会是我认为好的路径。也许……我不认为它是最糟糕的路径。不过,关于降低方差,有一点是,如果你认为遥远的未来可以非常、

78:22非常好,那么降低方差就是在砍掉很多期望值,对吧?然后你可以想到,当问题更接近于人们能够亲身体验的东西时,民主制运作得要好得多。比如,我不知道,民主国家不会发生饥荒,因为如果发生饥荒,你就会被选下台,对吧?或者,是的,重大战争也是如此,对吧?但如果你谈论的是某种

78:48通过共识来决定遥远的未来应该是什么样子的方式,我不清楚为什么关于这点的共识观点可能是正确的。是的,是的,是的。我想这里的部分问题是,我想抵制

79:03这种框架,而且我想是我的错,是我提出了这种框架,好像你就是花很多时间思考、进行这样的对话,然后就搞一次关于我们应该做什么的国际投票。

79:17我想另一种框架大概是这样:让我们给那些想参与其中的人时间,让他们在思考这些事情上取得可能取得的进展,然后看看我们最终走到哪里,

79:31这和其他领域的进步有一种很弱的类比:我们在数学或科学上取得进展,并不是靠对什么是真的进行大规模投票,而是靠给有兴趣取得进展的人空间和时间去做。到最后,结果往往相当明显。这有很大的循环论证嫌疑,因为做数学时,什么对什么错要明显得多。

79:58和做这类事情很不一样。不过,还有,如果你选错了人,或者选错了政治局来决定带给宇宙其余部分的是什么宪章,会发生什么?这类似于关于君主制的问题。看起来,要确保由合适的一群人来决定这件事,是个很难的问题。无论是共识,还是单个人,还是介于两者之间的任何形式。总得有某个决策者,对吧?我认为你完全可以想象没有决策者,对吧?

80:29所以,这件事可以是:让我们同意拿出一些时间来反思什么是最好的。我们可能会得出一些……哦。然后到最后,你知道,这件事的一个版本就是让事情发生。没有谁在某一天醒来做出最终决定。就是在做一件事和思考这件事之间的那段时间,把它延长一点。这似乎不错。我明白了。

80:50好的。是的。抱歉我之前没领会到这一点。好,其实我们本来要讨论的一个主要话题,到目前为止我们讨论的所有内容,只是对话的一个象限。其实,在我们谈太空治理之前,先来聊聊做播客。你有自己的播客。

81:11我有自己的播客。你为什么开始做它?到目前为止你有什么经历?你对做播客的乐趣和影响学到了什么?故事是这样的,Luca 是我的好朋友,我和他一起做这个播客。我们在大学里是同学。我们两个都是播客迷。我记得那是我们最后一年。

81:33我们聊到,我们身边围绕着这些看起来极其有意思的人,比如我们特别想聊聊的学者们。如果我们发邮件给他们,说我们在做播客,想采访他们,这可能是一个相当不错的借口去和他们交谈。那就看看做起来有多容易。结果发现,如果你想做一个简陋的版本,做播客的启动成本相当低。对。

82:01就这样做了。结果发现,尤其是学者,但其实很多很多人都真的很喜欢被邀请来谈论自己整天思考的事情。这就是彻底的双赢:你在推广某个人的想法,也就是某个你认为值得获得更多曝光的真实的人。那个人得以谈论他们的工作,传播他们的想法。所以

82:24除了时间,做这件事没有任何坏处。我还应该说,我们的邮件得到答应的比率比我们想的高得多。我们只是两个拿着麦克风的普通本科生。但有一种很好的滚雪球效应:如果一个知名人物足够慷慨地答应了,尽管并不真正了解你们是做什么的,然后你们做了一次采访,效果还相当不错,那么当你给下一个人发邮件时,你就不必推销自己了,

82:58你可以直接说,嘿,我跟另一位了不起的人聊过了。当然,你就得到了这种滚雪球效应。所以不,这绝对是庞氏骗局,太棒了。不过这是最好的一种庞氏骗局。播客作为一种媒介极其特别。嘉宾与主持人之间的激励,对齐得好得多,我觉得,如果这是某种新闻式采访,会尴尬得多。还有一点是,文字稿仍然比较难搜索,所以人们不太担心每句话都要措辞得恰到好处。所以会更放松。是的,是的,是的。

83:38是的,我知道。而且这是一种非常自然的形式,你可以把写作看作是模仿对话的一种方式,而有声书则是试图模仿那个试图模仿对话的东西。有声书似乎本该如此,因为写作,是你在用视觉感知的东西,而原本你拥有的是理解可听见的想法的能力。但有声书呢,

84:11你要经过两层翻译,没有自然的重复,也没有观察对方反应的能力。还有来回往复,显然这是

84:23自然对话所具有的。所以,是的,这就是为什么人们

84:29可能会听太多播客,我不知道,他们一整天耳朵里都有声音,你很难想象……是的,完全是这样。

84:37对。是的,这让我想到几件事。其一是有一个实验,我想你自己也可以做:如果你强迫人们不使用不流畅的表达,抱歉,就是那些“嗯”“啊”,那些人在某种意义上读词会变得糟糕得多,不流畅的表达在某种程度上帮助我们传达想法,我想我现在就在用“like”这个词。然后,如果你把……是的,是的,我想我可以说说我自己,如果你逐字逐句转写你说的话,或者我说你的时候,其实指的是我自己,那简直是一堆垃圾。

85:14就像我刚学会说话一样。是的。但正如你所指出的,那种说话模式实际上更容易消化,或者至少需要的耐力或精力更少。不,是的,Taleb 在《反脆弱》里就这一点有一个有意思的观点。

85:31我记得很模糊,但他指出,有时当信号被扭曲时,在某种程度上反而让你保留或吸收得更多,因为你必须付出额外的努力才能理解它,比如,我想

85:47他的例子是,如果有人在说话,但他们离得很远,所以声音很弱。你得更集中注意力,这就意味着你对他们的内容记得更多。

86:02所以,如果你在某人说的话上叠加一点噪音,或者把音量调低,人们通常对它有更好的理解,正是因为你刚才所说的,你付出了更多注意力。另外我想,也许我之前提到的东西记错了,或者是另一回事:你可以拿完美的语音录音,然后在里面插入“嗯”“呃”,让它变差,然后做理解测试,让人们听不同版本,我记不清了,而他们在不那么完美的版本上表现更好,

86:31这只是因为词与词之间有更多的间隔吗?还是说其实是“嗯”这个东西本身?如果你只是加入空白而不是“嗯”,会有同样的效果吗,还是说它有什么特别之处?这已经是我能从大二心理学课程里扯出来的极限了。有一种全局性的辅音,比如“ome”(转录不清)之类的,它能唤起绝对的专注。是的,没错。我很好奇想问你,我想知道你觉得做播客学到了什么。所以我不知道,也许这里的一个问题是,是的,试图问出好问题,有什么被低估的困难?我是说,显然你现在问的就是极好的问题。那么你学到了什么?

87:15有一点,我听过这个建议:你要做那种对你来说似乎很容易、对别人却很难的事。我试过,好吧,一个显而易见的办法是在 Twitter 上问:我要采访这个人,我该问他们什么?你会发现人们提出的问题全都很糟糕。不过也许只是,哦,是的,这里有逆向选择。真正能想出好问题的人不会花时间回复你的推文。但后来我甚至,希望他们没在听,

87:51我甚至试过雇研究搭档或研究助理来帮我想问题,最近的事。他们想出来的问题看起来也不行,比如“在中西部长大如何改变了你对什么什么的看法”,这样的问题,答案并不有趣,这不是一个你自然而然会有的问题,如果你至少……我希望你不会自然而然地问出来。我想问他们的,如果你只是一对一地和他们交谈的话。所以,这项技能确实比我预期的更难,比我预期的更稀缺。我不知道为什么。我不知道你有没有很好的感觉,因为你有一档出色的播客,你们问的是好问题。我不知道,你怎么看?

88:34你有没有观察到,问好问题是一项比你想象中更稀缺的技能?我肯定观察到了,这是一项真的很难的技能。我仍然觉得它真的很困难。我至少也愿意认为我们有所进步。第一件事,我想到你举的那个例子:在中西部长大是什么感觉?我们总是问这类问题。比如,你是怎么进入行为经济学的?

88:59你为什么觉得它那么重要?这些问题注定得到的是没什么启发性的答案。所以具体性看起来是一个非常好的……你的书是关于什么的?是的,没错,没错。对,给我们介绍一下你自己。

89:16这就是我为什么喜欢和 Tyler 的对话。这是我喜欢它的众多原因之一。他会直接开场,比如第一个问题是关于这个人本科毕业论文里的某个脚注。这一下就把基调定得特别好。另外,我觉得打断,这一点我让你很难做到,

89:34就是,在有趣的东西已经被说出来之后,打断回答。对答案核心内容的展开或补充说明,往往没那么值得听。我想我试着问的是,对方根本没希望知道答案的问题,尽管如果他们知道答案会很好。比如“我们该怎么处理这项政策”就是个相当糟糕的问法。另外,如果你跟那些习惯被问到自己书的问题的人交谈,在某种意义上,你需要把他们预先准备好的

90:12那套说辞冲掉,我知道你甚至可以在采访之前就这样做,对吧,然后才进入真正有料的部分,让他们真正被迫思考。Rob Wiblin 有一份很好的采访技巧清单。我想,谈这个之所以不错的一个原因(除了行内人聊行内话本身挺有意思之外)是,

90:34采访的技能感觉相当可迁移到向人们提出好问题上,这是一项普遍有用的技能,希望如此。所以,是的,我发现这真的很难,我还是经常因为它这么难而相当沮丧,

90:51但意识到自己能够慢慢学会,这挺酷的。是啊。那么,你怎么看待自己通过播客创造的价值?你对想要开办自己播客的人有什么建议?对,所以我不知道。

91:06你可能认为播客总体上很有用的一个理由是,我想我是这样想的:你可以想象有一个存量的想法,看起来真的很重要。比如你跟某个人聊天,他在研究某个很酷的话题,告诉你各种没有被写出来的很酷的东西。你会觉得,天哪,这需要存在于世界上。我认为在很多情况下,这个重要想法的存量

91:35增长的速度比你把它们消化掉、让它们进入世界的速度更快,而这是件坏事。所以存在一个需要解决的积压。然后你可以问这个问题:好吧,什么是比较有效、能把想法相对清楚地传达并

91:54放到世界上的方式之一?我觉得与那个人展开对话,就是最高效的方式之一。我认为,总体上考察不同种类的媒介传递和接收想法的信息传递速率,是很有意思的。比如在最好的一端,我相信你有过这样的对话:和你谈话的每个人都有很多共享的背景。所以你可以含糊地讲三分钟有点不连贯的话,比如“我在洗澡时有了这个想法”,而他们可以

92:28补全空白,基本上就能理解这个想法。而在相反的一端,也许你想在一家有声望的媒体上写一篇文章,所以你要面面俱到,把它写得非常好。这样每一份努力所对应的信息量就低得多。我想,某些类型的学术论文就处在更远的另一端。所以,作为解决重要想法积压这个问题的方式,播客似乎是一个很好的办法。我想当你没能成功地

93:01把想法放到世界上时,就会形成一团团、一片片的背景知识迷雾:对的圈子里每个人都知道这些想法,但很难从可读性强的来源中获取。这在某种程度上对应了“背景是稀缺之物”这个想法。

93:24我记得 Tyler Cowen 谈过这个,最终在那个语境下说得通了。我要提一下,你说的那件事,即要么去播客上解释你的想法,要么花时间在有声望的地方发表,看起来非常像杠铃策略。而中间地带,比如花四五个小时写一篇博客文章,发在一个并不特别有声望的地方,

93:52你不如要么直接把它做成播客,如果这是你只想赶紧了结的事;要么,我会多花点时间,花多一点时间,把它发表在更有声望的地方。反对这样做的理由,我想是,想法如果是以博客文章的形式出现,会显得更容易获取,

94:07比如为了留存后世,如果你想让它成为某件事的权威出处。但话说回来,如果你想让它成为权威出处,你就应该把它做成更正式的东西。因为如果它只是一段 YouTube 视频片段,

94:22那别人就比较难引用它。你其实可以两全其美。你可以把录音放进转录你播客的软件里,对吧?如果你幸运,有人可以帮你,你可以请人做,或者自己做,比如通读播客文字稿,确保

94:40没有明显的错误。这样你就得到了一个存在于互联网上的文本形式的成品。这比一开始就写出来要便宜得多。不过,这是个很好的观点。另外大家应该读读你的“杠铃”……是那篇吗?“人生的杠铃策略”?对对,就是那篇。好。关于播客这个话题,也许最后还值得说一句:

95:01开始做播客很容易,我猜通常至少值得试一试,对吧。所以我想,可能有几个听这期节目的人曾经动过这个念头。有一点想说的是,如果你停下来,做了大约五期甚至更少,并没有真正成功,那也不必是失败。你可以把它框定为:我想做一个小系列。它就是世界上一件有用的成品,比如,这里有一段我认为被低估的历史。我打算用四期各一小时的节目来讲这个故事。如果你一开始就打算这样做,

95:39那么你就有了一个自成一体的工作成果。所以,是的,也许这是一个有用的框架。而且有一批关于如何搭建播客的资源,我相信可以放链接。我试着收集过其中一些资源。我想强调的是,到目前为止我至少跟三四个人聊过,他们告诉我,哦,我有个播客的想法,会是关于建筑的,

96:02或者关于 VR 之类的,这些似乎都是好想法,我不是在评判想法本身。但我大概六个月后再跟他们聊,他们还没开始。我就会告诉他们,真的就是现在给某个人发邮件,不管你想让谁当第一位嘉宾。我是说,我就给 Bryan Caplan 发过陌生邮件,

96:19他最后成了我的第一位嘉宾。就发邮件,就发邮件给他们,并且在日历上定个时间。因为我不知道这是什么原因,也许只是人生通例,不知道是否只针对做播客,但我聊过的很多人,有模糊的做播客的计划,却什么都没排期,或者没有任何眼前的……我不知道他们在期待什么,期待某一天硬盘里自己冒出一个 mp3 文件吗?所以,总之,直接做,现在就把它排进日历。是的,这看起来挺好。另外有一种思考方式是,

96:52如果你提前就认定自己最初的,比如说七期节目,听起来可能会让人尴尬,

97:02那会让人更自由,因为很可能确实是这样,但你需要先经历那些糟糕的节目,才能开始做好任何事。我想这甚至不只是关于播客的观点。是的,而且,如果你简短而礼貌,

97:20对所联系的人有野心,几乎没有什么代价。所以,放手去做吧。Bryan 在某处写过一个有意思的论证:实际上,如果你是个不知名的人,发陌生邮件的代价要低得多,相比于已经有一点名声的人。因为如果你什么都不是,他们会忘记你曾发过陌生邮件,对吧?他们只会在收件箱里无视它。如果你将来碰到他们,他们根本不会有印象,我第一次就没记住你。如果你是个有些名声的人,那就会有一个谜:为什么我们之前没有被介绍给彼此?本应该认识我们两个的人,对吧?

97:56如果你声称自己是,比如说,一位想开播客的教授。不过总之,这只是再次强调代价真的很低。好,酷。好的,我们来聊聊太空。太空治理。这是你最近一直在写作和研究的领域。好,你可能有一个担忧,你知道,Toby Ord 有那本《The Precipice》(《悬崖》),讲的是我们处在这个危险时期,

98:25我们在本世纪灭绝的几率是六分之一。有没有什么理由认为,一旦我们进入太空,这个问题就不再存在,或者说人类灭绝的风险会渐近于零?我想这里有一点。其实,也许值得先从一个朴素的论点开始,即认为向太空扩散

98:47是对抗灭绝的终极对冲手段。你可以想象把文明复制一份,或者至少在太空中的不同地方有文明的备份。如果其中任何一个被小行星撞击,或者以其他方式遭遇生存灾难的风险是相互独立的,那么你就会得到这样的效果:每增加一个备份,就是指数级的,对吧?这就像是在世界各地的不同地方有多份数据备份。所以如果这些风险是独立的,那么去太空确实是一个极好的策略。我认为有相当有说服力的理由表明,许多最令人担忧的风险根本不是独立的。一个例子是,你可以想象非常危险的病原体,如果这些地方之间有任何往来,病原体也会随之传播。但也许更相关的例子是,如果你认为值得担忧的是未对齐的通用人工智能出问题、并且无情地追求极其可怕的目标,那么仅仅在两个不同的地方之间有一些物理空间,真的不会起到真正对冲的作用。所以我想说的大概是,

100:12太空似乎在分散风险、前往不同地方上是有净用处的,但绝对不足以让我们渡过这个危险时期。然后,是的,我想接下来有一个追问:好吧,那为什么要预期有任何希望把风险降到可持续的水平?如果你认同真正具有变革性的通用人工智能可能到来,你可能会认为,在某种意义上,让这个转变走对,结果是

100:46你现在有了一个站在你这边的东西,它心里装着你的利益,或者装着良好的价值观,同时具备通用的推理能力,那么在某种意义上,这会让你倾向于无限期地保持安全。一个原因是,如果出现坏东西,比如某种未对齐的东西,那么你有一个确立得好得多、安全而且对齐的东西,它具有某种防御优势。

101:14这是一个考虑。然后,如果你对这个 AI 的故事不那么认同,我想你也会讲一个故事,对我们在某种智慧或协调维度上追赶的能力保持乐观。如果你真的把视野拉远,看看我们发明所有这些疯狂技术的速度有多快,那是一个大致呈指数的过程。

101:43你可能认为这最终会放缓,但我们的改进,以及我们协调自己的能力,还在继续提高。因此长期来看你会获得这种防御优势。这是两个相当薄弱的论证。所以我认为这其实是个值得思考的好问题。我也承认,这并不是一个非常有说服力的

102:07答案。我在想,你有没有能够从第一性原理出发辨别出的、关于太空安全性的方面,它们要么暗示……我不知道,要么没有什么好理由认为危险时期会结束,我是说,因为 AI 的情况是,无论你去不去太空,这一点都成立,对吧?比如,如果它是对齐的,那我想它们就可以无限期地降低生存风险。我是说,你可以有的一个想法是,也许

102:36我不知道,与我们谈到的长期反思相反,如果你认为通往伟大未来的瓶颈之一可能是,我不知道,某种暴政式的——“暴政”在传统政治思想中有点像是个带有倾向的词,但你明白我的意思——那么,分散出去所带来的政治模式的多样性,也许是个积极的因素,

102:59另一方面,Gwern 有一篇关于太空战争的有意思的博客文章,他指出相互确保毁灭的逻辑在太空中消失了,所以我们也许应该预期更多冲突,因为如果一颗小行星被改变轨道撞向你的星球,很难确定是谁干的,而如果他们足够快地把它扫清(转录不清),他们基本上可以摧毁你地表上的文明。

103:25是的,所以,我们能否从第一性原理出发,辨别出太空中的时间和空间会有多暴力,或者,我不知道,多宜人?是的,这是个非常好的问题。我得说,我想我还没有对这个问题思考得足够多,不足以给出一个真正权威的回答。顺便说一下,有一个人肯定思考过,就是 Anders Sandberg,他很长时间以来一直在思考几乎

103:52正是这些问题。在未来的某个时候,他可能会有一本关于这个的书。所以请留意这个领域。一个考虑是你可以从终点开始。你可以考虑在非常遥远的未来会发生什么,结果是,因为宇宙在膨胀,对于太空中的任何一点,如果你考虑隔壁的星系团,

104:19或者甚至是隔壁的星系,未来会有这样一个时间,无论你有多长时间,都不可能到达太空中的那个点。所以即使你发出一个光信号,它也永远到不了那里,因为未来总会有一个时间点,开始快速膨胀,相对于那个地方,光速就不够了。

104:38所以,好的,这里有一点小小的安慰,就是如果你存续得足够久,到达这种隔离的时代,那么你突然在严格意义上又重新变得独立了。我不认为这在我们考虑相对而言更近期的事情时有特别的相关性。Gwern 的观点很好。Gwern 首先指出,我们在地球上有核武器的这套逻辑,即相互确保毁灭,重点在于二次打击。所以如果我遭到别人的第一次打击,我可以识别出这次第一次打击来自何人,我可以可信地承诺进行报复。这一想法是,这会让那个人不敢

105:21一开始就发动第一次打击,这非常有道理。Gwern 的观点,也就是你已经提到的东西,是在太空中,有理由认为要判断打击来自哪里要困难得多。这意味着你没有任何可信的方式来威胁报复。因此相互确保毁灭不起作用。这其实是个有点令人不安的想法,因为相互确保毁灭的替代方案

105:51在某种意义上就是先发制人,也就是说,如果你担心某个其他行动者强大到能够摧毁你,那你就应该摧毁他们摧毁你的能力。所以,是的,这篇博客文章当然是很灰暗的。我认为还有许多其他考虑,其中一些更有希望一些。其一是,你可以想象在太空中一般存在防御优势大于进攻优势。一个原因是,太空是一块三维的黑暗画布,绝对没有地方可躲藏。所以你无法偷偷接近任何人。不过,是的,我想有很多,关于这个有很多可说的,也有很多我还没有完全理解的。

106:30但我想这也使它成为一个有趣而重要的研究主题,因为我们对它会如何发展还知道得不多。那么,冯·诺依曼设想过,你可以设置一种类似病毒的探测器,侵入一颗行星,利用其可用资源建造更多探测器,然后继续去感染更多的行星。那么宇宙的长期未来是否就是所有可用的、容易获取的资源都在某种烈火中烧尽,也就是冯·诺依曼探测器不断扩张的烈火?因为似乎只要有一个人决定要做这件事,那么,是的,扩散方面的容易获取的资源就会被造出此类东西的人烧光。是的,这是个很好的问题。所以,好的,也许这里有个类比:在地球上,我们有生物体,它们能把原材料加上阳光转化为更多的自己,并且复制。

107:44值得注意的是,它们并没有铺满整个地球。不过,题外话,我记得有人提到过一个想法:一个外星人来到地球,问哪种物种最成功,答案大概会是草。不过再说回来,那些单靠阳光繁殖的特定生物体

108:08之所以没有出现那种“绿色粘稠物”式的动态,是因为存在竞争的生物体,存在抗病毒药物等等。所以我想,就像你提到的,只要一旦这东西被播下种子,

108:23就游戏结束了,你可以想象试图追上这些东西并阻止它们。我不知道这里的均衡是什么,即有一些东西在试图抓住其他东西,而另一些东西也在扩散。这相当不清楚,但并不清楚

108:37是不是一切都会被烧光。不过,我不知道,它似乎值得作为一个可能的结果放在台面上。然后另一个想法是,我想你也基本上提到过,Robin Hanson 有一篇论文,我想叫《Burning the Cosmic Commons》(烧毁宇宙公地)。

108:56我想他所说的东西有点微妙,但我想粗略地概括一下大意:有一个想法是,你应该预期,对于长期来看你观察到的东西存在选择效应,即在这场争夺太空不同部分的竞赛中,哪些东西胜出了。尤其是,你应该预期胜出的是那些非常快速地消耗资源、

109:24并且贪婪地抢占尽可能多空间的东西。我不知道,这看起来大致正确。他最近还有一项工作叫《Grabby Aliens》(贪婪外星人)。我想有一个网站 grabbyaliens.com,对这一点做了扩展,并就我们应该预期看到什么样的这类贪婪文明提出了问题。

109:48是的,我想这里也许有一个略显令人安心的结论,就是你不希望这些贪婪的冯·诺依曼式探测器胜出,而且它们也是死的,没有任何有价值的东西。所以如果你认为自己有值得传播的有价值的东西,也许这就是一个理由,让你比原本计划的更快地扩散,

110:08一旦你弄清楚那个东西是什么,如果这么说说得通的话。是的,那么这是否倾向于太空竞赛的逻辑,类似于先发制人:如果你不确定自己会报复,你就想先发制人,也许有一种逻辑是,只要你对遥远的未来应该是什么样子有至少某种有说服力的愿景,

110:28你就应该设法确保第一个走向太空的行动者是你。即使你没有把一切都理清楚,即使你对如何……有所担忧。是的。是的,是的。你理想情况下会希望花更多时间。我的猜测是,这些动态起作用的时间尺度,相比我们所熟悉的,是极其漫长的时间尺度。所以我不认为这些东西能直接转化为

110:55想要在几十年的量级上加速。事实上,如果任何几十年量级的延迟,我不知道,大概或者几个世纪的延迟,能让你的长期速度获得边际提升,那么仅仅因为涉及的时间尺度和距离,你几乎总是想要接受这种权衡。所以,是的,我会谨慎,不要从所有这些东西里过度解读我们应该预期近期会发生某种竞赛。事实就是太空极其巨大,那里有大量的东西。

111:26所以在任何近似……的时间里,我认为“哦,我们会耗尽有用资源”这种推理大概不会起作用。但那只是我的推测。所以我不知道我有没有一个明确的答案。好的。那么,如果我们谈论太空治理,有没有理由认为,好吧,在遥远的未来,我们可以预期太空会被完全的人工智能或者人类的模拟,比如 ems(仿真人),所殖民。无论哪种情况,都不清楚这些实体是否会觉得自己受我们现在制定的任何太空治理规范的约束。

112:13有什么理由认为,联合国可能制定的任何宪章或章程,不管它有多、我不知道,多理智,会成为最终决定太空长期命运的依据?是的,是的,所以我想,我想说的第一件事是,期望我们现在达成一致的任何规范,即使是好的,能够传递到真正起作用的那个时点(如果它们真的会起作用),确实感觉是一个极其渺茫的机会。但是,好吧,你可以问,在哪些世界里,这种早期的思考最终会在终点上起到好作用?我不知道,比如我可以想象美国宪法至少在某种程度上继续保有其重要性,如果数字

113:04人们随之而来,对吧,不清楚为什么那里会有某种不连续性。我想重要的是考虑任何类似变革性人工智能到来之后会发生什么。我的猜测是,在那样的世界里,哪怕只是稍微沾边的,比如超长期的、我们应该为定居太空制定什么规范这类问题,真正起作用或有价值的世界,是对齐进展顺利的世界,而且顺利的意义在于,人类在很大程度上仍然坐在驾驶座上,当他们寻找先例时,就只是看现有的制度和规范。所以我不知道,这看起来有点

113:50这里变量太多了,所以这似乎是一个相当狭窄的世界集合,但我不知道,看起来也相当有可能。然后这也有点像是,比如定居月球或火星,在那种情况下,更容易想象这些东西最终如何实际影响或积极影响事情的走向。值得指出的是,在我们思考太空时,有些事情确实很可能重要,而不只是在思考那些疯狂的、非常长远的科幻情景,虽然这些情景想想也挺有趣。其一是有大量

114:26相当重要的基础设施目前正在绕地球轨道运行,同时反卫星武器也在被研制。我的印象是,事实上,我认为情况是,在使用这些武器方面,协议和监管的数量少得令人担忧。也许这使你处于一种类似于对核武器使用没有多少协议的境地,尽管在某些方面可能没那么令人担忧,但似乎仍然值得认真对待,并思考如何在这方面取得进展。

115:00是的,我想还有大量其他的近期考虑。Our World in Data 上有一张很棒的图,我想我可以在这期节目后把链接发给你,它显示了发射进入轨道、尤其是近地轨道的物体数量随时间的变化。它是完美的曲棍球棒形状。我知道这是一个很好的例证,说明了你为什么可能要花力气去

115:20思考如何确保这些事情顺利进行。这张图背后的故事也挺有趣。我当时在联合国的某个网站上瞎逛,上面有一个数据库,令人惊叹的数据库,基本上记录了每一次官方登记的发射,附带所有这些数据,比如包含了多少物体等等。

115:40那是你见过的最笨拙的 API。你得手动一页一页点击,每页加载要五秒钟。你得去抓取数据。所以我想,好吧,有这个东西存在真好。我远没有复杂到知道如何利用它。但我给 Our World in Data 的人发了邮件,说,供你们参考,这个东西存在。

116:01如果你们碰巧有大把时间可以消磨,那就加进去吧。然后 Our World in Data 的 Ed、Ed、Matt(转录不清)大约一个月后回复我,说,嘿,我有一天空闲。都搞定了。它现在就在网站上。太酷了。太酷了。酷。

116:18好的。我想这就是我的太空漫谈。Dwarkesh,如果可以的话,我很想问你几个问题。我意识到我一直在霸占话筒。是的,有件事我一直很想知道。你现在在做博客和播客,但是接下来是什么?比如 2024 年,Dwarkesh 会在做什么?我想我大概会……我不知道,创办创业公司的想法对我一直很有吸引力。

116:45而且不一定是因为,我认为这是可能做的最有影响力的事情,虽然我认为它确实很有影响力,而只是,我不知道,人们往往会有不同的执念,比如我想当医生之类的,它是你脑子里挥之不去的东西。所以,是的,我想这大概就是我 2024 年会尝试做的事。我不知道,我继续当博主和播客主的情形,会是如果结果证明,我不知道,如果播客变得非常大,对吧?

117:24到那时,也许更说得通的是,哦,实际上这是一种途径。目前,我认为播客的影响力大约是 0.00001,而这个 0.00001 就是我得以学习很多不同的东西。所以我认为,要有任何影响,不一定非要用影响力来思考,而是它有多大用处。我认为只有当它真的变得大得多时才成立。好的。

117:50听起来很棒。也许这正好可以开启这个对话。那非营利性创业呢?同样的兴奋。如果你有一个好点子,你可以跳过融资阶段。更自由,因为你不需要去赚……好吧,不,你仍然需要筹钱,对吧?

118:04当然,但如果是个好点子,我相信会有支持让它实现。是的。如果有些事情,我看不到有办法盈利地做,而我又认为我们做它非常重要。是的,我肯定不会反对。顺便问一下,你是不是在往那个方向走?就像我问你 2024 年 Fin 在做什么,

118:23你有想做的非营利创业公司吗?我心里没有具体的想法。这类事情对我来说很令人兴奋,至少值得一试。明白了,明白了。我想我的反驳是,如果你更有创意一些,有很多事情都有盈利的做法。当然也有明显的反例,有那么多不同的事情,我说不出你怎么能让它盈利,对吧?比如像 1Day Sooner 这样的东西,他们在

118:51试图加快挑战试验,这怎么变成一家创业公司?不清楚。所以,是的,我想决策树上有一个很大的分支,在那个分支里我认为那是我能做的最有说服力的事。好。也许一个相关的问题是,我很好奇你认为从你的角度看,EA 总体上低估了什么。另外,也许你可以回答的另一个问题是,你觉得我个人在哪里搞错了,或者搞错了什么,不过对大多数人而言,更一般的那个问题可能更有意思。我想,当你有一些带有某种短暂性或含糊性的陈述时,比如说有某位历史学家,像汤因比(Toynbee),对吧?他写了《历史研究》,他在其中说的一件事是

119:38文明的衰亡是在精英失去对自己所设立的规范的信心、失去统治信心的时候。我并不认为那实际上是一种 X 风险,对吧?我只是试着用它作为一个例子,是我随口想到的东西。

119:55这是那种有可能为真的东西。我不知道该如何以某种方式思考它,我是说,它似乎不是可解决的。我甚至不知道如何用我们在这场对话中一直使用的那些分析话题重要性的方式,来分析它是否为真。

120:15我不知道这对 EA 意味着什么,因为我不清楚。比如,也许 EA 一开始就不应该认真对待像这样含糊不清的东西,对吧?是的,如果有某种有意思的方式,可以从 EA 能够欣赏的视角,包括从我自己能够欣赏的视角,来思考这类陈述,我会非常有兴趣看看那会是什么。因为确实似乎存在某种脱节:当我和那些有智识倾向、有很多有趣想法的朋友交谈时,需要一个翻译层,几乎像是一个编译器或转译器,把代码从这种语言转换成这里的汇编。这确实会造成一点低效,并可能造成一些本来可以谈论的话题的流失。

121:05好。这感觉是个很棒的回答。我只想说,这也是我有点担心的事,尤其是在朝着更具推测性的长期主义目标推进的时候。似乎非常重要的是保持某种真正追求真相的态度,因为在那种情况下,你是否做对的明显反馈

121:25要难得多。而且你往往没有这种奢侈。所以,是的,我想只要记住这种态度,似乎就非常重要。我喜欢这个。顺便问,你的答案是什么?你觉得你们应该在什么方面改进?是的,我想就我脑子里的想法,也许我有两个答案,方向正好相反。

121:42第一个答案是,有一种看起来有点像失败模式的东西让我有些担心:当运动显著壮大时,最初推动它的那些相当新颖、令人兴奋而且重要的想法,会有些被稀释,也许因为,我想这与你说的有关,失去了认真对待奇怪想法、彼此之间进行大量审视的态度,变得有点像,我不知道,“漂绿”之类的东西:语言保留着,但背后那团真正认真对待影响力、而不是只说正确话语的火焰渐渐熄灭。所以我不知道,我不想说 EA 目前在任何重要意义上低估了这点,但这似乎是值得放在雷达上的担忧。然后大致相反的另一件同样值得担心的事情是,我认为真的值得关注,或者说值得考虑最好情形下的

122:47结果,即很多这类东西也许大幅增长。思考这些东西如何能成为主流。我认为也要思考真正可规模化的项目,因为在边际上做些小打小闹的干预是有趣的,但在至少某些条件下,规模化会变得非常重要。因此,其中一部分也许就是学会让这些领域对可能做出贡献、第一次了解它们的人来说易于理解且有吸引力。总的来说,是的,为最好的情形做计划,这可能意味着

123:29用非常有雄心的方式思考,思考事情进展得非常顺利,这似乎也值得做。我知道这是个非常含糊的答案,但也许这就是我的答案。也许,与你所说的未来不要太认真对待奇怪想法相反,也许他们现在对奇怪想法太认真了,也许遵循基本的常识和道德,就像 Tyler Cowen 在《Stubborn Attachments》里谈到的那样,真的是应对许多威胁、甚至是奇怪威胁的最有效方式。如果你有一些更具推测性的领域,比如生物风险或 AI,在那里你为应对它们所做的事情甚至不一定能让情况变得更好,

124:08我知道运动内有担忧,比如他们最初给 Open AI 的那笔资助,可能加速了 AI 末日。也许在存在大量含糊性的情形下,最好的情况就是多做一些更符合常识的事情,而且这也许同样适用于全球健康这类领域,我的意思是疟疾和蚊帐很棒。但数以亿计的人脱离贫困,靠的恰恰是实行资本主义,对吧?不是靠这类有针对性的干预。再说一遍,我不知道这对整个运动意味着什么,比如,即使仅仅是实施新自由主义议程就是减少贫困的最佳途径,那么这对于某个人意味着应该做什么

124:49如果他们,是的,这意味着你应该怎么用边际上的一百万美元,对吧?所以我不清楚。这是我希望在五到十年后会更明白的事情,我会非常好奇和未来的自己聊聊,他怎么看待常识道德与认真对待奇怪想法之间的关系。我想,看待所谓“奇怪想法”的一种方式是,在某种意义上,它们是把一堆常识性的起点拿来,然后真正深入地反思,看看会得出什么。是的。所以我想问题也许是,我们应该在多大程度上相信那些反思过程,与此相对,我对奇怪想法为真应该持什么先验?

125:28因为它们奇怪,这是好还是坏,然后另外,我知道有一点似乎显而易见而且重要,那就是如果你接受这些想法,首先,你应该问问自己是否真的相信它们,还是只是觉得说出来挺有趣,或者你只是嘴上说相信,有时候,我知道说奇怪的想法很有趣,但其实我并没有很好的理由相信这个。其次,如果你确实相信某件事,就很有价值去问:如果你认为这件事真的很重要且为真,那么如果你有机会去做,为什么你没有在做?这就是哈明问题,对吧?你所在领域里最重要的问题是什么?

126:03然后是什么阻止你去做它?显然,许多人没有这种奢侈,能放下一切去做他们确实认为非常重要的事。但如果你确实有这个机会,那这是个也许值得问的问题。也许这是对 EA 的一种元层面的反对意见,即我知道有很多对 EA 的潜在反对意见,比如我们刚才谈到的那些,但还有很多其他的,人们会指出,是啊,这个观点很有意思。然后没有人知道该怎么办,对吧?比如,我们是否应该更认真地对待常识和道德?哦,这是个有意思的辩论。但是,怎么

126:45解决这个?我不知道怎么解决。我不知道有没有人想出了一个好办法。我想这在某种程度上联系到了长期反思那一套。因为这里的一个答案就是时间。我认为人们对 AI 提出担忧的故事也许在这里是有启发性的:早期,你会有一些真正激进、很出格的研究者或作者提出这个担忧。他们所写的东西带有很多奇怪的包袱。然后也许你会有第一本、第二本书。然后会有更有声望或更资深的人表达担忧。

127:25我认为在值得加速的时候,加速这个过程的一种方式就是问那个问题,对吧?比如,我是否真的看到,我能同意这个论证吗?我看到其中有漏洞吗?如果答案是没有,如果它就是说得通,即使你显然总是会有不确定性。但如果它是,嗯,似乎还算合理,那么默认情况下,你可能会花几年时间,就这样生活着,心想,哦,是的,这件事我想

127:53我认为是真的。要据此行动。你不能直接跳过那一步,说,嗯,我不知道,我不确定我同意。我想也许这里有个类比,比如你在一段恋爱关系里,你想,哦,我看不出这段关系有什么问题。所以与其等几年去试图找出它的毛病,不如现在就订下终身,结婚吧。我想与此类似的是,我认为有一种失败模式,也许不是在这里,因为我们是 EA,你不会在 EA 里看到,但我们在整个世界中通常都可以看到,

128:25那就是人们在人生中太早地得出关于世界如何运作或世界应该如何运作的结论,而此时他们似乎并不太了解什么是最优的、什么是可能的。是的,这是个很好的观点。所以,是的,也许他们应该再等一等,

128:41久一点。也许他们只是把这些奇怪、激进的想法当作世界上存在的东西来吸收,然后等到二十多岁后期再决定,其实这才是我职业生涯余下时间要做的全部事情,或者决定我的政治立场之类的。是的,我认为这是个很好的观点。

128:59我想我可能会基于这一点收回我说过的话。但我认为其中有一个版本我仍然会真心认同,也就是,我花了一些时间对此进行反思,以至于我并不预期进一步的反思会从根本上改变我的想法。

129:15你也许可以说这是针对一群人而不是某个特定的人的情况。我可以真切地看到这件事会这样发生:我认为它很重要,持续很长时间却不付诸行动。这就是似乎值得

129:29跳过的事情。我是说,说得稍微具体一点,如果你真的认为其中某些潜在的灾难性风险是真实的,并且认为我们可以做一些事情去应对,那么开始做这些事情看起来当然是好的。嗯。你真的想避免这样的遗憾,也就是,

129:53几年之后,哦,我真的本可以更早开始做。有些场合这种思考是有用的,或者至少问这个问题,比如,如果我现在就做我理想中的自己会认可做的事,我会怎么做?也许这有用。那么看起来,如果你想追求与 EA 相关的职业,有两个步骤:第一步是你得获得一个像你现在这样的职位,在那里你学到很多,并弄清楚后续的步骤,

130:21第二步则是你真正领导或负责某个具体项目,比如一个非营利创业公司之类的。对于处在第一步之前的人,你有什么建议吗?嗯。这是个很好的问题。我也会做那件讨人厌的事,就是说,当然除了那种两步走的轨迹,你还可以做其他事情。不过,是的。

130:47比如直接进入第二步?或者永远不进入第二步,而是成为一位非常出色的研究者或传播者,或者其他任何东西。当然,当然,当然。我想,在你有这个奢侈的情况下,不要匆忙闯进最显眼的职业选项,然后事后再证明

131:07为什么那是正确的选项,我认为这是一件值得记在心里的好事。我想这往往相当令人不舒服。你指的是类似咨询那样的东西吗?对,类似那样的。是的,我是说,明显的建议是,有一个专门为回答这个问题而设计的网站,那就是 80,000 Hours。哦,是的,所以也许有一条来自 ADK(转录不清)的建议我觉得非常有用:我大学毕业后非常不确定自己想做什么。我在几个选项之间做选择。

131:41我当时想,天哪,这是个多么大的决定,因为在这个语境下,你不仅要回答什么可能适合我、什么是我可能喜欢的,有时还要回答什么才是真正最重要的?而考虑到存在大量分歧,我该如何回答这个问题?所以我发现自己一直在撞南墙,想要达到一个能确定某个选项优于另一个选项的程度。而我觉得有用的一条建议是,通常你应该直接放弃变得完全确定哪个选项最好的可能性。相反,你应该主动地对这个决定进行反思。也就是说,和人聊聊,

132:26把你的想法写下来,然后不断迭代,直到那个刻度盘不再来回摆动,而是稳定在某个特定的不确定程度上。比如,看,我大概有 60%、70% 认为选项 A 比 B 好。而在做了大量额外思考之后,这一点并没有真正改变,大致说来,这就是最好做出决定的时点,而不是一味等待确定性。这说得通吗?是的,有点像梯度下降:如果上一次迭代中损失函数没有变化,你就收工。好。我喜欢这个。不过这真的很有意思。我想有人可能会面临的一个问题是,在他们真正

133:12做事之前,很难知道那是否真的是……我不是说这真的会成为我的职业,而是播客对我来说只是我做过的一件事,因为疫情期间我很无聊,课程转到线上,我没别的事可做。如果我曾经想过的话,我并不认为我会去追求它。我从没把它当作一份职业,对吧?但像这样做事情,可能会把你引向有趣的、有趣的道路。是的,是的,是的。我认为这是个很好的观点。我想我们俩都参与了这个博客奖,上个月还有一个

133:47小型奖项,面向写“能动性”(agency)这一想法的人。你刚才说的我想与此联系得很好:从意识到你可以做某件事,到真正去做它,这是一种似乎既很有价值又可以学会的特质。所以,是的,就是从这样一个想法出发:

134:08我也许可以做一个小小的播客系列,到真正去测试它,并对它失败的可能性持开放态度,但你从中学到了东西,这真的很有价值。另外,我们在对话的同一段里还谈到了发陌生邮件,对吧?

134:21比如,如果有个你敬仰的人,你觉得自己很可能会走上他们那条研究路线,而且你认为可以从他们那里学到很多东西,只要你不是在要求他们付出大量时间或注意力,你就完全可以直接请求和他们谈谈。我认为在这类地方找一位导师非常有用,

134:42并且直接问别人是否愿意担任这个角色。再说一次,以友好的方式。这也许是人们大多数时候都不选的做法。但就是,选择那些不那么显而易见的选项,主动与他人建立联系,看看你能否与那些对和你一样奇怪的东西感兴趣的人面对面见面。

135:03是的,这些都极其显而易见,但我想这些是我如果早点学到会受益匪浅的东西。是的,不幸的是,当你试图决定做什么时,并不清楚该如何把这些应用到你自己的处境中。好,那么我们来收尾,聊一聊宣传有效的想法(Effective Ideas)、你刚才提到的博客奖,以及红队测试 EA 的竞赛。你想说说,我们之前已经提到过了。

135:31是的,是的,是的,是的,是的。如果你想留下链接,再次把它们总结一下就好。酷。我很感谢。是的,所以批评竞赛的截止日期是 9 月 1 日。宣布这件事的权威文章是 EA 论坛上的一篇帖子,如果你能链接到某处我会非常感激,不过我也乐意去做。奖金池至少是十万美元,如果有大量出色的参赛作品,可能更多。我希望所有相关信息都在那里。然后还有这个博客奖,我也一直在帮忙运营。

136:08我想你一开始提到了。整体奖项是 10 万美元,最多五个这样的奖项。但还有我刚才提到的那些规模较小的月度奖。上个月的主题是能动性。这个月的主题是,针对 Holden Karnofsky 写的名为《最重要的世纪》(Most Important Century)的博客系列文章,写一些回应或反思,顺便说,不管怎样大家都应该读读这个系列。我认为它真的非常出色。而且了不起的是,我读过的最打动人的系列博客文章之一,

136:45竟然是由一个庞大的慈善组织的联席 CEO 在业余时间写的。这有点离谱。是的,所以网站是 effectiveideas.org。然后显然,人们可以在哪里找到你?你的网站、Twitter 账号,以及人们可以在哪里找到你的播客?

137:18哦,是的,网站是我的名字.com,也就是 Moorhouse.com,Twitter 也是我的名字。播客叫“Hear This Idea”,就是“听听这个想法”的意思。所以就是这个短语.com。我相信你搜一下就会出来。顺便问一下,你对这些批评最终有多大影响,或者说最终会有多好,你的概率分布是什么?如果让你猜,你的中位数结果是什么?然后你的第 99 或第 90 百分位结果,会有多好?

137:50是的。好,这是个好问题。我想说,做这些事真的很难。所以我不想通过这么说来打击大家投稿,但我想,也许中位数的投稿是真正稳妥有用的,绝对值得写和提交。话虽如此,

138:11也许这类最有价值的文章或工作与中位数努力之间的差距可能非常大,也就是说上限非常高。如果你认为自己有 1% 的几率影响 1 亿美元的慈善支出,那么在某种意义上,一位公正无偏的慈善捐赠者可能愿意花大约该金额的 1% 来找出这个信息,

138:41对吧,也就是一百万美元。所以,是的,我认为这类东西可以非常、非常重要。是的,好,太棒了。你正在做的事情看起来真的很有意思。而且博客奖似乎可能会产生非常大的影响。我是说,我们的世界观在很大程度上被我们谈到的一些博主塑造了。所以,是的,如果这能再带出一位这样的人,仅凭这一点就可能非常有价值。

139:07Fin,非常感谢你来做客这个播客。这是时间最长的一次,但也是我做过的最有趣的对话之一。整个过程都非常有趣。非常感谢你邀请我。感谢收看。希望你喜欢这一期。如果你喜欢并且想支持这个播客,

139:23你能做的最有帮助的事情是在社交媒体上和朋友间分享它。除此之外,请在 YouTube 上点赞并订阅,并在播客平台上留下好评。谢谢。我们下次再见。

— A LITTLE MORE TO THINK ABOUT. —