← The Diary Of A CEO

Yuval: 尤瓦尔·赫拉利:这次大选将撕裂这个国家!到2034年AI将控制你!Meta与X背后的黑暗真相!

Yuval Noah Harari: This Election Will Tear The Country Apart! AI Will Control You By 2034! The Dark Truth Behind Meta & X!

第2024-09-05期2024-09-05简体中文

嘉宾:Yuval

Yuval Noah Harari: This Election Will Tear The Country Apart! AI Will Control You By 2034! The Dark Truth Behind Meta & X!
收听本集00:00 / 1:51:32
阅读设置
按你的习惯阅读
正文字号
下载播客精读
把这一篇,带走慢慢读

精读待补充

下载功能还未开放

全文文稿 · 按对话顺序保留完整内容,深入理解上下文。

本篇目录4 章节§01文稿 — 第 1 部分§02文稿 — 第 2 部分§03文稿 — 第 3 部分§04文稿 — 第 4 部分

§01文稿 — 第 1 部分

00:00人类仍然比人工智能更强大。问题在于我们彼此分裂,而算法正在利用我们的弱点来对付我们。这非常危险,因为一旦你相信那些与你想法不同的人就是你的敌人,民主就会崩溃,选举也会变得像一场战争。所以,如果最终有什么东西会毁灭我们,那将是我们自己的幻觉,而不是人工智能。美国即将举行一次大选。

00:24是的,美国的民主相当脆弱。但更大的问题是,如果……当然,那绝不会发生。尤瓦尔·诺亚·赫拉利,当今世界上最具影响力的非虚构类书籍作者之一。他目前正走在探索人工智能塑造世界力量的前沿,并研究这种力量如何远超人类此前所面对的任何挑战。全球最大的社交网络实际上都将致力于言论自由。您对此有何看法?

00:48问题不在于人类,而在于算法。让我详细解释一下。在2010年代,算法之间曾为争夺人类注意力而展开激烈竞争。现在,算法发现,纵观历史,最容易吸引人类注意力的方式就是按下恐惧、仇恨和贪婪的按钮。问题在于,为算法设定的目标与人类社会的利益之间出现了错位。但正是这一点,才让事情变得真正令人不安。

01:15因为如果仅仅给一个初级的社交媒体算法设定错误的目标,就已经造成了如此大的破坏,那么二三十年后的人工智能会带来什么后果呢?那么,解决方案是什么?历史上我们曾多次面临类似处境,而答案始终如一,那就是……您乐观吗?我尽量做一个现实主义者。十年前,您制作了一个名为《为什么人类主宰世界》的视频。这是您非常著名的TED演讲。在读完您的新书《联结》后,我想向您提出一个稍作修改的问题:您现在还相信十年后,人类在根本上仍将继续主宰世界吗?

02:05我不确定。这取决于我们所有人在未来几年内将做出的决定。但确实有可能答案是“不”,即十年后,将由算法和人工智能来主宰世界。我指的不是某种好莱坞科幻电影里的大型计算机征服世界的情节。它更像是一个由人工智能构成的官僚体系——我们将在银行、政府、企业、大学等各个地方拥有数百万人工智能官僚,它们将越来越多地决定我们的生活,比如日常决策:是否批准我们的贷款,是否录用我们。

02:48我们将越来越难以理解其中的逻辑和道理——为什么算法拒绝给我们贷款,为什么算法却录取了别人。当然,人们仍然可以通过投票选出总统或总理来维持民主制度。但如果大多数决策都是由人工智能做出的,而包括政客在内的人类都难以理解人工智能为何会做出特定决策,那么权力就会逐渐从人类转移到这些全新的、异己的智能体手中。

03:32是的,我更愿意把人工智能看作一种“异己智能”。我知道它的缩写是“artificial intelligence”(人工智能),但我认为称其为“alien intelligence”(异己智能)更为准确——这里的“异己”并非指它来自外太空,而是指它做决策的方式与人类思维从根本上不同。“Artificial”(人造的)意味着我们设计它、控制它,人造的东西是由人类创造的。然而年复一年,人工智能正变得越来越不那么“人造”,越来越“异己”。

04:07是的,我们仍然在设计那些初级的“婴儿”人工智能。但它们随后会学习、会改变,开始做出出人意料的决策,并产生一些对人类行事方式而言完全陌生的新想法。比如,围棋领域就有一个著名的例子:2016年,AlphaGo击败了世界冠军李世石。但真正令人惊叹的是它取胜的方式。因为人类已经玩了2500年的围棋了——这是一种棋盘游戏。

04:42这是一种棋盘游戏,一种诞生于古代中国的策略游戏,被视为任何受过良好教育、有教养的东亚人都必须掌握的基本技艺之一。几个世纪以来,数以千万计的中国人、韩国人和日本人都在玩围棋。围绕如何下棋甚至发展出了整套哲学思想。人们认为,围棋是为从政和人生所做的良好准备。他们以为自己已经探索了围棋的全部领域、全部版图。

05:20而AlphaGo的出现让我们看到,在2500年里,人类实际上只探索了围棋版图中极小的一部分。存在着一些截然不同的下棋策略,在2000多年的围棋历史中,竟没有一个人类想出来。而AlphaGo仅用几天时间就想到了。这就是异己智能。当然,如果这仅仅发生在一场游戏中,那么同样的情况很可能也会在金融、医学、宗教等领域出现——无论结果是好是坏。

05:59你写了这本书,《Nexus》。Nexus。你该怎么发音?Nexus。Nexus。我不是发音专家,所以……你本可以写很多书。我觉得你对生命的本质,以及对历史的本质都抱有广泛的好奇心。要写出这样一本内容详尽、包罗万象的书,一定有一个非常充分的理由,让你必须现在就从你这里诞生这本书。那这个理由是什么呢?因为我认为,我们需要从历史的角度来看待人工智能革命。

06:31我的意思是,关于人工智能的书有很多。但《Nexus》不是一本关于人工智能的书。它讲的是信息网络的长期历史。我认为,要真正理解人工智能的“新”和“重要”之处,我们需要拉长时间跨度,回顾几千年前发生过的信息革命,比如文字的发明、印刷术和无线电的出现。只有这样,你才能真正开始理解此刻我们周围正在发生什么。

07:06比如,你明白的一点是,人工智能确实与众不同。人们喜欢把它和以往的革命相提并论,但它之所以不同,是因为它是人类历史上第一种能够独立做决定、独立创造新想法的技术。印刷机可以印出我的书,但它写不出这本书,它只能复制我的想法。原子弹可以摧毁一座城市,但它不能自己决定要轰炸哪座城市,或者为什么要轰炸。

07:42而人工智能能做到这一点。眼下围绕人工智能的热炒非常多,所以人们感到困惑,因为现在有人想把任何东西都当成人工智能来卖。比如你想把这张桌子卖给某人?哦,这是一张人工智能桌子。还有这水,这是人工智能水。于是人们就搞不清了:到底什么是人工智能?怎么什么都成了人工智能?不,并非所有东西都是。市面上有很多自动化技术,但它们并非人工智能。就拿咖啡机来说,它能为你制作咖啡,会自动完成一些操作,但它不是人工智能。

08:15它是由人类预先编程来执行特定任务的,自己永远无法学习或改变。但如果一台咖啡机变成了人工智能,情况就不一样了。比如你早上来到咖啡机前,它对你说:“嘿,根据我对你的了解,我猜你会想喝一份意式浓缩。”它学习了关于你的某些信息,并做出了独立的决定,而不是等你开口点单。如果它还能对你说:“我刚想出来了一款新饮品。”那它才真正算得上人工智能。

08:49它叫“巴菲”。我想你会喜欢它的。这真正体现了人工智能的力量。当它提出一些我们完全没有编写进去、也完全没预料到的全新想法时,就更是如此。这在历史上具有划时代的意义。它比印刷术的影响更大,比原子弹的影响更大。你提到我们需要从历史的角度来看待这件事。你认为自己是一位历史学家吗?是的,我的职业就是历史学家。这是我的专业训练背景。我最初是研究中世纪军事史的专家。

09:23我曾写过关于十字军东征、百年战争,以及14世纪入侵法国的英军战略与后勤补给的文章。这是我的早期作品。也正是基于这类视角与知识,我才尝试去理解当前人工智能领域正在发生的一切。因为大多数人对人工智能的了解,都来自他们像玩一样地使用大型语言模型,比如ChatGPT、Gemini、Grok之类的东西。那基本上就是他们对人工智能的认知。

09:54你可以向它提问,它会给你一个答案。这其实就是人们通常认为的人工智能的样子。听起来很琐碎。但当你开始谈论信息、信息流动的颠覆以及信息网络,再把话题拉回到历史中,让我们看到信息实际上是将我们所有人联结在一起时,我的看法就开始完全不同了。没错。我的意思是,我看待这件事的方式有两种。

10:28我的意思是,第一种方式是,当你意识到——正如你所说——信息是一切的基础时,一旦你开始动摇这个基础,一切都可能崩溃、改变,或者出现全新的东西。例如,民主制度的存在,本身就离不开信息技术。从本质上讲,民主就是一种对话。一群人通过对话和交流,共同尝试做出决策。而独裁则是指某个人说了算。一个人决定一切,那就是独裁。

11:00民主是一种对话。在石器时代,生活在小群体中的狩猎采集者基本上过着民主的生活。每当群体需要决定某件事时,他们只需互相交谈就能做出决定。随着人类社会不断壮大,要维持这种对话在技术上就变得困难了。因此,我们在古代世界中能找到的民主范例,只有像雅典或共和时期的罗马这样的小城邦。这是两个最著名的例子,虽然不是仅有的例子,但确实是最著名的。

11:34就连古代人,像柏拉图和亚里士多德这样的哲学家,他们也知道,一旦超越城邦的规模,民主就不可能实现。我们在前现代世界中找不到任何一个大规模民主制度的例子——即数百万人分散在广阔的疆域上,以民主方式处理政治事务。为什么?不是因为某个独裁者上台了。而是因为民主根本就不可能实现。在没有合适技术的情况下,数百万人之间是无法进行交流的。

12:13大规模民主只有在近代晚期才成为可能,当时几种信息技术相继出现:先是报纸,然后是电报、广播和电视,它们使大规模民主得以实现。所以,民主并不是说你先有了民主,然后旁边再配上这些信息技术。不,民主的基础就是信息技术。因此,如果信息技术领域发生某种变革,比如社交媒体的兴起或人工智能的出现,就必然会动摇民主制度。而我们现在在全球看到的情况是:我们拥有史上最先进的技术,人们却彼此无法沟通。

12:57民主对话正在瓦解。每个国家对此都有自己的解释。比如你问美国人,民主党与共和党之间到底发生了什么?为什么他们连最基本的事实都无法达成一致?他们会给你一大堆关于美国历史与社会独特性的解释。但你在巴西也看到了同样的情况,在法国、在菲律宾也是如此。所以,这不可能仅仅是某个国家或另一个国家的独特状况所致。

13:24其背后是技术层面的根本性变革。我从历史中得出的另一个启示是,即便是看似微小的技术变化,也可能产生深远的后果。比如文字的发明。最初,这基本上只是人们在玩泥巴。我的意思是,文字虽然是在许多地方被多次发明出来的,但在古代美索不达米亚,人们第一次用黏土板——也就是泥块——拿一根棍子,在黏土上刻下记号。

14:09这就是文字的发明。它产生了深远的影响。仅举一个例子,我们来想一想所有权。拥有一件东西意味着什么?比如我拥有一栋房子,拥有一块田地。那么在文字出现之前,如果你生活在大约7000年前美索不达米亚的一个小村庄里,你说你拥有一块田地,那这是一个社区事务。这意味着你的邻居们都同意这块田地是你的,他们不会去那里摘果子,也不会让羊在那里吃草,因为他们都认可这是你的。

14:46这是一种社区共识。后来文字出现了,有了书面文件,所有权的含义也随之改变。现在,拥有一块田地或一栋房子,意味着在国王的档案库里,某块干泥板上刻有一些符号,表明你拥有那块田地。于是,所有权突然不再是邻里之间的社区共识问题,而是取决于哪份文件存放在国王的档案库里。这也意味着,比如,你无需征得邻居的同意,就可以把土地卖给一个陌生人,只需把这块干泥板交给对方,换取黄金、白银或其他任何东西。

15:36所以,这真是一个巨大的变化,尽管它看起来只是一个简单的发明,比如用一根棍子在泥板上画些符号。现在,再想想人工智能会对所有权产生什么影响。也许再过10年,拥有你的房子,就意味着某个人工智能说它属于你。而如果人工智能突然出于某种你甚至都不了解的原因,说你不拥有它了,那事情就这么定了。它就不再是你的了。那块泥板上的符号,某种意义上也是书面语言的发明。

16:10我想,我在读你那本关于语言如何将我们的社会维系在一起的书时,就在思考这个问题。它维系社会的方式,并不像我们通常认为的那样,比如我和你进行一场对话,还包括密码、诗歌。就像银行业一样,我们整个社会都是由语言来维系的。而人工智能通过大型语言模型最先掌握的能力,就是复制这种能力。这让我开始思考,我生活中究竟有多少东西其实是由语言维系的。

16:40就连我现在的人际关系也是如此,因为我见不到朋友们。他们分别住在迪拜、美国、墨西哥。所以我们通过语言交流,我们的关系是靠语言维系的。正如你所言,民主制度也是靠语言维系的。而现在,出现了一种更强大的智能力量,它已经掌握了这一点。这实在太出乎意料了。要知道,就在五年前,人们还说人工智能会掌握这或那,比如自动驾驶汽车。但语言嘛,那太难了,是个极其复杂的问题。

17:10这就是人类的杰作——语言。而人工智能永远无法真正掌握语言。ChatGPT 的出现,就像在说:“你知道的,我是个玩文字的人。”嗯。我简直对这些大型语言模型生成的文本质量感到惊叹。虽然并不完美,但它们确实能理解词语的语义内涵。它们能把词语串联成句,组成连贯的文本。这真的很了不起。而且正如你所言,这确实是所有事物的基础。

17:49比如,我用语言向我的银行下达指令。如果人工智能能生成文本、音频和图片,那我该如何与银行沟通,才能不被人工智能操控呢?但这句话里最诱人的地方在于:你本来就不喜欢和银行打交道。没错。比如打电话、在电话里等待另一个真人。所以诱惑就在于:我反正不喜欢和银行说话,那就让人工智能去办吧。

18:21我要去投资,前提是我能信任它们。我的意思是,关键问题在于:为什么银行非要我亲自打电话,以确保那真的是我本人?而不是别人告诉银行:“哦,把这笔钱转到……嗯,开曼群岛吧。”要确保那真的是我。而你要如何确保这一点?如何建立这种信任?我的意思是,数千年来,整个金融体系其实就围绕一个问题:信任。所有这些金融工具,金钱本身,其实都只是一种信任。

18:49它并非由黄金、白银、纸张或任何东西构成。它关乎的是:如何在陌生人之间建立信任?因此,从本质上讲,大多数金融发明都是语言和符号层面的发明。你不需要什么复杂的物理学,需要的是复杂的符号体系。而现在,人工智能或许能开始创造新的金融工具,并精通金融领域,因为它已经掌握了语言。而且正如你所言,我们现在可以和世界各地的朋友交流。

19:23你知道,在 2010 年代,算法曾为争夺人类的注意力而展开激烈竞争。我们在播客开始前刚讨论过这个问题:我们该如何吸引人们的注意力?但有一种东西比注意力更强大,那就是亲密关系。如果你真的想影响他人,亲密关系比注意力更有力量。你对此如何定义亲密关系?嗯。就是你长期相识、彼此了解、互相信任、在某种程度上彼此喜爱、彼此关心的人。

20:02直到今天,伪造亲密关系和大规模生产亲密感都完全是不可能的。你知道,独裁者可以大规模地制造关注。比如,有了广播之后,你就可以告诉纳粹德国或苏联的所有人:伟大的领袖正在发表演讲,每个人都必须打开收音机收听。所以你可以大规模地制造关注,但这并不是亲密感。你并不会和那位伟大的领袖产生亲密感。而现在,借助人工智能,人类历史上第一次——至少在理论上——可以大规模地生产亲密感。

20:38数百万个机器人或许在为某些政府工作,它们正在与我们伪造亲密关系,而我们将很难分辨这究竟是一个机器人还是真人。这很有趣,因为我和许多关系专家以及各类人士都聊过,他们谈到人际亲密感的下降、孤独感的上升,以及我们这个社会正变得越来越缺乏性爱等等。所以,这几乎是在人际亲密感和人际连接不断衰退的同时,这种人造亲密感的可能性却日益崛起。

21:24这就引出了一个问题:在一个人们比以往任何时候都更加孤独、更加疏离,但依然有着马斯洛需求层次理论中所说的那种对连接、对爱与渴望的需求的世界里,未来会是什么样子?也许这正是我们同时看到社会极化加剧的原因,因为人们正拼命地想要归属于某个群体。而算法则像是在不断强化我的信息茧房。所以,你知道的……但我不知道这一切最终会走向何方。

21:53我不认为这是注定如此的。它取决于我们个人以及整个社会将做出怎样的决定。当然,这项技术也能给我们带来许多美好的东西。人工智能能够与人对话、能够理解你的情绪,这 potentially 意味着我们将拥有大量的 AI 教师、AI 医生和 AI 治疗师,他们能比以往任何时候都提供更优质的医疗服务和教育服务。一个孩子不必再置身于一个有 40 名学生的教室,而老师几乎无暇顾及这个孩子,也无法了解他的具体需求和独特个性;你可以拥有一个完全专注于你个人的 AI 导师。

22:48而这个 AI 导师能够为你提供的教育质量,确实是无与伦比的。上周末我和朋友有过一次讨论。他有两个年幼的孩子,分别是一岁和三岁。我们谈到,大约 16 年后的未来,你更愿意送自己的孩子去哪里学习?你是更愿意送他去一个像你所说的那样,人声嘈杂、挤满人的教室里,由真人老师授课,而孩子无法获得个性化学习呢?

23:13所以,如果教室变得更智能,学生就会被落下。如果他们更智能,就会被拖后腿。或者,你更愿意让你的孩子坐在屏幕前,或者面对一个类人机器人,接受真正个性化、量身定制的教育,而这种教育可能比私立大学便宜得多?你需要两者的结合。我的意思是,我认为对于很多课程来说,选择人工智能导师会更好,你甚至都不需要坐在屏幕前。

23:45你可以去公园,在散步时一边听一边学习生态课程。但你需要……在休息时间需要大群的孩子。因为很多时候,学校里最重要的课程并不是在课堂上学到的,而是在课间学到的。而这方面不应该被自动化。你仍然需要一群孩子聚在一起,并在人类的监督下进行。我在读你书时还反复思考的另一个问题是,我曾以为我们拥有更多信息、能更容易地获取信息,会让世界更接近真相、减少阴谋论、增加共识。

24:33但事实似乎并非如此。不,完全不是。世界上大部分信息都是垃圾。我的意思是,我觉得最好的类比方式就是把它比作食物。大约一个世纪前,许多国家都曾经历过食物短缺的时期。所以人们有什么就吃什么,尤其是那些富含脂肪和糖的食物。他们觉得食物越多越好。如果你问你曾祖母,她肯定会说,是的,食物越多越好。

25:02后来我们进入了食物丰裕的时代。我们有了大量工业化加工食品,这些食品被人为地加入了大量的脂肪、糖、盐和各种其他成分。显然,这对我们有害。“食物越多越好”的想法是错误的。这些垃圾食品当然更不好。而信息领域也发生了同样的情况。信息曾经很稀缺。所以,如果你能弄到一本书,你就会去读它,因为当时别无选择。

25:33而现在信息泛滥成灾。我们被信息淹没,而其中很多都是垃圾信息,由于对注意力的争夺,这些信息被人为地充斥着贪婪、愤怒和恐惧。这对我们并无好处。所以我们基本上需要实行一种“信息节食”。同样,第一步是认识到,信息并非总是越多越好。我们需要的信息量是有限的,而且我们实际上需要更多时间来消化这些信息。

26:08当然,我们也必须谨慎对待所接收信息的质量,因为如今充斥着大量垃圾信息。我认为一个基本的误解,就是将信息与真相联系在一起。人们认为,只要获取大量信息,就等于掌握了真相的原材料,而信息越多,知识就越多。但事实并非如此,因为在自然界中,大部分信息都与真相无关。无论是在历史上还是在生物学中,信息的基本功能都是建立连接。

26:47信息就是连接。纵观历史,我们会发现,连接人们的最简单方式往往并非依靠真相。因为真相是一种成本高昂且稀少的信息。通常,用幻想或虚构故事来连接人们要容易得多。为什么呢?因为真相不仅成本高昂,往往还很复杂,令人不适,有时甚至痛苦。就拿政治来说,如果一个政治家向民众揭示国家的全部真相,他几乎不可能赢得选举。

27:31因为每个国家都有不愿示人的“家丑”和各种阴暗面与黑暗往事。因此我们看到,在政治上,若想团结国家、宗教或政党,人们往往借助的是虚构故事和幻想。那恐惧呢?是的。我曾思考过智人以及故事在吸引我们大脑方面所扮演的角色,也深入思考了各种叙事。在英国,有一种叙事广为流传,它声称我们社会面临的诸多问题,如失业和犯罪,都是因为有人乘船从法国偷渡而来。

28:14这种叙事非常有效,能促使人们团结起来走上街头抗议。在美国,显然也存在类似的叙事,比如关于边境墙和南部边境的故事:数百万人正在涌入我们的边境,他们全是强奸犯,国家送来的不是好人,而是来自精神病院的人。这种说法成功动员了民众,这些人如今正走上街头,依据的就是这样一个充满恐惧的故事来投票。

28:38这是一个极具力量的故事,因为它触动的是我们内心深处的情感。如果你想吸引人们的注意、激发他们的参与,那么恐惧按钮是人类心智中最高效、最有效的按钮之一。这又可以追溯到石器时代。如果你生活在一个石器时代的部落里,你最担心的事情之一,就是其他部落的人会闯入你的领地,抢走你的食物,甚至杀死你。

29:13所以,这种恐惧不仅深深植根于人类心中,也存在于每一种社会性动物体内。科学家曾对黑猩猩做过实验,结果表明,黑猩猩对来自不同族群的外来黑猩猩也有一种近乎本能的恐惧或厌恶。而政治家和宗教领袖则学会了如何像弹奏钢琴一样,利用这些人类情感。最初,像厌恶这样的感觉进化出来是为了保护我们。

29:52你知道,在最基本的层面上,厌恶感之所以存在,是因为——尤其是在孩子时期——你总想尝试各种各样的食物,但如果你吃了有害的东西,就需要把它吐出来,需要把它排出去。所以,厌恶感是在保护你。但纵观历史,宗教和政治领袖却劫持了这种防御机制,从很小就教导人们不仅要害怕,还要对那些外来者、那些看起来不同的人感到厌恶。

30:29同样,即使你作为成年人可以学习各种理论,也可以教育自己这些想法并不正确,但这种观念依然深藏在你的脑海里。总有一部分人会认为“这些人真令人作呕”。纵观历史,我们看到过无数运动学会了如何利用这些情感机制来激励民众。伊瓦尔,我们现在正处在一个非常有趣的时期,因为……在过去的一年里,有两件与信息和我们讨论过的许多话题密切相关的大事发生了。

31:15其中一件是埃隆·马斯克收购了推特,而他真正的使命就是推行“言论自由”的理念。作为这一使命的一部分,他解除了对一批此前被推特封禁用户的限制,其中许多是因各种原因被封禁的右翼人士。然后就在本周,马克·扎克伯格公开发表了一封信。他在信中表示,他后悔当初在联邦调查局和政府要求他在Facebook上审查内容时,与他们合作得如此密切。

31:48他特别提到有一件事让他感到后悔。如果你仔细解读他的话,就会发现——他其实明确说道——如果将来政府或其他任何方面要求我们审查某些信息,我们将采取更强硬的立场予以回绝。我看到的是,作为全球最大的社交网络之一,推特和全球最大的社交网络Meta现在已经采取了这种立场,实际上将允许信息自由流通。

32:11他们实际上会采用这种言论自由的叙事方式。现在,作为一个长期使用这些平台,尤其是X或推特的人,我发现如今的情况与过去大相径庭,简直令人难以置信。嗯,每次我滑动屏幕时,都能看到一些以前在言论自由立场出台之前绝对看不到的内容。我并不是在评判这到底是好是坏,只是觉得非常有趣。而且显然,现在的算法真的……这么说吧,如果我现在滑动X的屏幕,我估计不出30秒就会看到有人被刀刺死。

32:44我还会看到有人被车撞到,甚至可能会看到极端的伊斯兰恐惧症内容。但同时,我也会看到另一边的观点。所以,我并非只会看到某一方的内容。当你早些时候谈到“这对我而言是好事吗”时,我想起上周末和朋友在一起的情景。那天是我的生日,我和朋友们聚在一起,大家漫无目的地在推特上滑动着那些恐怖视频,而他正坐在我左边。我当时心想,天哪,他简直是在摧毁自己的多巴胺受体。

33:12我只是想谈谈这场全新的言论自由运动,你对言论自由的理念及其作用有何看法?只有人类才拥有言论自由,机器人没有。科技公司总是在这个问题上让我们感到困惑,因为问题并不出在人类身上,而在于算法。让我解释一下我的意思。如果问题是是否应该禁止唐纳德·特朗普这样的人使用推特,我同意这是一个非常棘手的问题,我们应该极其谨慎地禁止人类——尤其是重要的政治家——在平台上表达自己的观点和看法。

33:51无论我们多么不喜欢他们的观点或他们本人,禁止任何人类使用某个平台都是一件非常严肃的事情。但这并不是问题所在。平台上的问题并非来自人类用户,而是算法。而这些公司为了保护自身的商业利益,总是把责任推给人类。让我详细分析一下。人类一直在创作大量内容,既有仇恨言论,也有关于同情心的讲道。

34:25人们还会制作烹饪教程、生物课程,内容五花八门,信息量巨大。那么关键的问题就是:什么能吸引人类的注意力?每个人都希望获得关注,而科技公司也希望如此。于是,它们为运营社交媒体的算法设定了一个非常简单的目标:提高用户参与度,让人们在推特上花更多时间,在Facebook上花更多时间,增加互动,多发点赞,并把内容推荐给朋友。

35:00为什么呢?因为我们在这些平台上花的时间越多,它们赚的钱就越多。道理非常简单。现在,算法有了一个巨大无比的发现。通过对数百万人类“小白鼠”进行实验,算法发现,要想抓住人类的注意力,最简单的方法就是按下恐惧、仇恨和贪婪的按钮。于是,它们开始向用户推荐越来越多充满仇恨、恐惧和贪婪的内容,好让他们一直盯着屏幕。

§02文稿 — 第 2 部分

35:38而这正是假新闻、阴谋论等现象泛滥的深层原因。而相关公司的辩解是,内容并非由他们制作。某个具体的人制作了一条充满仇恨的关于移民的阴谋论……这并非我们所为。这有点像,我不知道该怎么形容,好比《纽约时报》的主编在报纸头版刊登了一篇充满仇恨的阴谋论文章。而当你问他,你为什么这么做时?

36:12或者你指责他:看看你都干了什么。他却说:我什么都没做。文章不是我写的,我只是把它放在了《纽约时报》的头版而已。仅此而已。这不算什么。但这绝非“不算什么”。人们正在生产海量内容,而算法才是幕后推手,它们现在就是编辑,由它们来决定哪些内容能被看到。有时,它们只是向你推荐;有时,它们甚至会直接自动播放。比如,你本只想看某个视频。

36:43视频一结束,为了让你继续盯着屏幕,算法会立刻自动播放另一个充满恐惧或贪婪的视频——你既没有要求它这么做,也没有告诉它要这么做。正是算法在操控这一切。这种行为应该被禁止,或者至少受到监督和监管。这不属于言论自由的范畴,因为算法并不享有言论自由。

37:15是的,对于那些制作仇恨视频的人,我会对封禁他们持谨慎态度。但这并非问题所在,真正的问题是推荐机制。第二个问题是,如今网上的大量对话都被机器人刷屏了。还是以推特(X)为例,人们常常想知道什么是热门话题,哪些新闻最受关注。如果大家都对某个特定话题感兴趣,那我也想知道大家都在讨论什么。

37:53而且很多时候,正是这些机器人在主导对话。因为某个特定故事最初获得了大量关注和流量,这背后是大量机器人在转发。然后人们看到后,并不知道那是机器人,他们以为是真人。于是他们会想:“哦,这么多人对这件事感兴趣。”于是他们也想了解发生了什么。这又吸引了更多关注。这种做法应该被禁止。机器人基本上就是——你绝不能让人工智能冒充人类。

38:27这就是虚假的人类,是伪造的人类。如果你在网上看到一些活动,以为是人类所为,但实际上是机器人在操作,那这种行为就应该被禁止。这并不会损害任何人类的言论自由,因为它只是一个机器人,而机器人并不享有言论自由。我一直在思考你刚才提到的那些算法实际上正在主宰世界这一点。我的意思是,没错,如果算法根据我花时间浏览的内容来决定我能看到什么,那是因为平台想要赚更多的钱。

39:02如果我天生就倾向于花更多时间关注那些让我感到恐惧的事情,那么只要再过几年,每过一年我都会变得更加恐惧。是的,这会不断强化你自身的弱点。这和食品行业的情况一样。食品行业发现我们喜欢高盐高脂的食物,于是给我们提供更多这类食物,然后说:“但这就是顾客想要的。你们想让我们怎么办?”

39:34算法的情况也是一样的,甚至更糟,因为这是“精神食粮”。是的,人类有一种倾向:如果某件事非常可怕,或者让人充满愤怒,人们就会关注它,并告诉所有朋友。但人为地放大这些内容,对我们的心理健康和社会健康都毫无益处。这是在利用我们自身的弱点来对付我们,而不是帮助我们应对这些弱点。现在,我可能有点草率地得出结论了,但这样说是否公平:在一个移除了……

40:13对某些特定人物——也就是那些右翼人物——进行限制的世界里,他们的言论可能基于移民问题等等。如果你移除了这些限制,允许他们在所有平台上发布内容,然后又把算法编程为以盈利为导向,那么最终会有越来越多的人变得右倾。我之所以这么说,部分原因是“移民是坏的”本身就是一种右翼叙事。当然,我并不是说左翼就无辜,因为他们也绝非如此。

40:42但我想说的是,那些充满恐惧的叙事,在我看来,恐惧似乎更多地来自右翼,尤其是在英国。这种恐惧源于移民,说这些人会抢走你的钱等等。我认为关键问题在于,不应将其贴上右翼或左翼的标签,因为民主本质上是一场对话。而只有在存在多种不同意见的情况下,对话才有可能进行。我觉得就移民问题展开讨论是完全可以的,人们理应能够对此持有不同看法。

41:19这都没问题。问题始于某一方开始将对方妖魔化、丑恶化。任何持不同意见的人都会被如此对待——在某种程度上,双方都存在这种情况,但在移民问题上尤为明显。比如,会出现一些阴谋论,说任何支持移民的人都是想毁掉这个国家,他们参与了某个旨在让大量移民涌入、改变国家性质的阴谋等等。这才是问题所在。一旦你相信那些与你想法不同的人不仅仅是你的政治对手,民主就会出现问题。

42:03他们成了你的敌人,他们想摧毁你,他们意图摧毁你的生活方式和你的群体。这样一来,民主就会崩溃。因为敌对双方之间,民主是行不通的。民主之所以能运作,是因为你认为对方虽然观点错误,但本质上仍然是关心国家、关心我的好人,只是意见不同而已。但如果你认为他们是我的敌人,想摧毁我,那么选举就会变成一场战争,因为你是在为自己的生存而战。

42:41为了赢得选举,你会不择手段,因为你的生存都悬于一线。如果你输了,你就没有理由接受选举结果;如果你赢了,你也只会照顾自己的阵营,而不会顾及敌对阵营。那如果人们不相信选举的合法性呢?民主就无法运转。这就是最基本的道理:民主不能在任何条件下都存在,它就像一株娇嫩的植物,需要特定条件才能生存和繁茂。其中一个条件,就是拥有能够促进对话的信息技术。

43:18另一个条件是,你必须信任各种制度。如果你不信任选举制度,民主就无法运作。第三个条件是,你需要认为政治对立面的那些人只是你的竞争对手,而不是你的敌人。而现在,民主对话之所以出现问题,正是由于人们越来越倾向于走向极端,这给人一种印象,即对方阵营是敌人。

43:52这不仅是对右翼而言的问题,对左翼也是如此。在双方阵营中,你都能看到这样一种情绪:对方是敌人,其立场完全不正当。如果我们走到那一步,对话就会彻底破裂。然而,我们本应对移民、性别、气候变化等复杂议题展开深入的对话和讨论,而无需将对方视为敌人——这在过去的几代人中是完全可以做到的。

44:31那么,为什么现在似乎已经无法与对方交谈或就任何事情达成共识了呢?今年美国有一场大选,非常重要,是的。你对此考虑得多吗?是的,考虑得很多。我的意思是,结果似乎就像抛硬币一样,五五开。你知道,选举已经变得关乎存亡。如果某一方坚信一旦掌权,这将是最后一次选举,如果某一方一心要改变游戏规则,那么选举就变得具有存亡意义。

45:15因为民主是建立在自我纠错机制的基础之上的。这正是民主相较于独裁的一大优势。在独裁体制下,独裁者可能会做出许多正确的决策,但迟早会做出错误的决策。而独裁体制中没有任何机制可以识别并纠正这类错误。就像普京那样。是的。俄罗斯根本没有机制能够指出普京犯了错,他应该下台,让其他人尝试不同的做法。

45:49这正是民主的巨大优势:你尝试一种方法,如果行不通,就换一种方法。但最大的问题是,如果你选出了一位改变现有体系、削弱其自我纠错机制的人,而此后你再也无法将他罢免,那该怎么办?委内瑞拉的情况就是如此。最初,查韦斯和查韦斯主义运动是通过民主方式上台的。民众心想,嘿,咱们试试这个吧。而在几周前的上次选举中,有非常明确的证据表明马杜罗惨败了。

46:23但他控制着一切,包括选举委员会等所有机构。而他却宣称,不,我赢了。他们摧毁了委内瑞拉。你知道,大约四分之一的人口已经逃离该国——而委内瑞拉曾是南美洲最富裕的国家之一——他们就是无法摆脱这个人。这种事在西边绝不会发生吧?哦,在历史上可别说“绝不”这种话。无论你是什么人,历史都可能追上你。而委内瑞拉在诸多方面曾是西方世界的一部分,现在也仍然是。

47:00然而,这正是我们身处的一种幻觉。我们总以为这种事绝不会发生在美国、英国或加拿大这些所谓的“文明国家”。要知道,根据某些衡量标准,美国的民主制度其实相当新,也相当脆弱。比如,只要想一想究竟哪些人拥有投票权,就能明白这一点。所以,是的,我当然不知道具体概率有多大,但即便只有20%的可能性,特朗普政府也会以某种方式改变美国民主的游戏规则——比如修改关于谁有投票权、如何计票的规则——让外界几乎不可能再将其赶下台。

47:52从历史角度来看,这种情况并非不可能发生。你认为特朗普真会这么做吗?会的。我的意思是,1月6日那天你已经看到了。实际上,每个民主国家最敏感的时刻,就是权力交接的时刻。而民主的奇妙之处,正在于它本应确保权力的和平转移。但正如我所说,你先选出某个政党,给他们一次机会。过一段时间后,如果民众觉得他们干得不好,那就换个人试试。

48:27在美国,有些人掌握着世界上最大的权力。美国总统拥有的权力足以摧毁整个人类文明。没错,拥有那么多核导弹和武装力量,却在输掉选举后,还能说:“好吧,我放弃所有这些权力,让另一个人来试试。”这简直令人难以置信。而特朗普恰恰没有这样做。他从一开始——我的意思是,甚至从2016年起——就拒绝这么做。有人直接问他:“如果你输掉选举,会接受结果吗?”

49:02他回答说不会。到了2020年,他也没有和平移交权力,而是试图阻止权力交接。如今他再次参选,我想他从1月6日事件中得到的某种教训是:我基本上可以为所欲为,至少我的支持者、我的基本盘会支持我。这就像一次试探:如果我做出这种极端行为,而他们事后仍然支持我,那基本上就意味着,无论我做什么,他们都会支持我。我不禁想,在一个民主制度如此脆弱、信息流动和网络都受到人工智能之类事物干扰的世界里,面对虚假信息和错误信息,以及我制作视频的能力——我现在就能制作一段唐纳德·特朗普讲话的视频,用他的声音说出某些话。

49:57而我能让那段视频疯传。我的意思是,当你根本不相信在网上看到任何东西时,你该如何维系民主与沟通?我们现在才刚刚起步,真正的大头还没来。这真的只是最初迈出的小小一步。我现在要在屏幕上播放一段视频,好让大家看看。对于正在收听的朋友,你们只能听到声音。我要播放的,是 Isaac 在房间角落里录的一段视频,内容是坐在这把椅子上的我说的话。

50:25但那不是我,我也没说过那些话,而且当时我也不是坐在这把椅子上。大家好,我是 AI 史蒂夫。你们觉得我有一天能接管《一位 CEO 的日记》吗?请在下方留言。这段声音听起来和我一模一样,完全相同,但那不是我。我就在想,要知道,现在我们大多数人都是通过社交媒体来获取政治信息乃至各类信息的。没错。如果我连自己看到的东西都无法相信,因为制作这些内容实在太容易了——俄罗斯某个孩子在自己的卧室里就能制作出一段关于这里首相的视频。

50:54我不知道我们该从哪里获取信息,又该如何核实。答案就是机构。历史上我们曾多次面临类似处境,而答案始终如一:机构。你不能相信技术本身,你要相信负责核实信息的机构。你可以把它想象成印刷品。你可以在一张纸上写下任何你想写的内容。你可以写“英国首相表示”,然后打开引号,再塞给首相一段话。

51:27你可以想写什么就写什么。而当人们读到这些内容时,他们不会相信——或者说,他们本就不该相信。仅仅因为某句话被写下来,并声称是首相说的,并不意味着它就是真的。那么,作为一个社会机构,我们如何判断该相信哪张纸上的内容呢?我们会相信——或者说,我们更有可能相信——如果《纽约时报》《星期日泰晤士报》或《卫报》的头版上写着“英国首相表示”,然后打开引号,再是云云。

51:59因为我们相信的不是纸张或墨水,我们相信的是《卫报》、《华尔街日报》等这些机构本身,对吧?对于视频,我们以前从不需要这样做,因为没人能伪造视频。所以我们相信技术。如果我们看到一段视频,就会觉得这肯定是真的。但当伪造视频变得非常容易时,我们就又回到了与印刷品相同的原则上:我们需要一个机构来核实内容。如果我们在……的官方网站上看到这段视频,

52:32如果是CNN或者《华尔街日报》报道的,我们就会相信,因为我们信任支持这些报道的机构。但如果只是TikTok上的内容,我们知道,你知道的,任何孩子都能制作那种东西。我为什么要相信呢?所以我们现在正处于一个过渡期,仍然不太适应。因此,当我们看到唐纳德·特朗普或乔·拜登的视频时,这些视频仍然会让我们产生反应,因为我们成长于一个几乎不可能伪造视频的时代。但我认为人们很快就会意识到,视频是不可信的。

53:05你只能信任机构。而问题是,我们能否足够快地建立、创造并维持值得信赖的机构,以挽救民主对话?因为如果不能,如果你什么都不相信,那对独裁者来说就是理想状态。当你无法信任任何东西时,唯一能运作的体制就是独裁。因为民主建立在信任之上,而独裁则建立在恐怖和恐惧之上。在独裁体制下,你不需要信任任何东西。

53:41你什么都不信任,你只有恐惧。民主要运作,你就需要信任,比如,某些信息是可靠的,选举委员会是中立的,法院是公正的。如果越来越多的机构受到攻击,而人们对它们失去信任,那么民主就会崩溃。但话说回来,回到信息这个话题,一种可能是像报纸和电视台这样的传统机构,将成为我们用来验证某些视频的可靠机构;或者,我们将看到新机构的出现。

54:25而问题仍然是,我们能否对这些新机构建立起信任。我特别强调的是机构,而不是个人。任何大规模社会,尤其是民主社会,如果没有值得信赖的官僚机构就无法运转。而这些官僚机构会是人工智能吗?这才是关键问题,因为人工智能将越来越多地扮演官僚的角色。你说的“官僚”是什么意思?“官僚”这个词是什么意思?

54:59哦,这是一个非常重要的问题,因为人类文明正是依靠官僚体系运转的。官僚本质上是指政府官员——其实也不仅限于政府。我的意思是,“官僚”这个词起源于18世纪的法语,而“官僚”(bureaucracy)一词的意思是“办公桌的统治”,即用笔、纸和文件来统治世界或社会。就像我们一开始举的那个关于所有权的例子。

55:30你之所以拥有一所房子,是因为某个档案库里存在一份证明你拥有这套房子的文件。而这份文件是由一名官僚制作出来的。如果你现在需要调取这份文件,那么找到合适时间、合适文件的工作就落在了官僚的肩上。所有大型系统都依赖这种方式运作。医院、学校、公司、银行、体育协会和图书馆,它们都依靠这些文件,以及那些懂得如何阅读、书写、查找和归档文件的官僚来运转。

56:10我们面临的一大问题是,很难理解官僚体系,因为它们在人类进化史上出现的时间非常短。这让我们对它们心存疑虑,并倾向于相信各种关于“深层政府”以及这些官僚机构内部运作的阴谋论。实际上,官僚体系非常复杂,而随着越来越多的决策由人工智能官僚来做出,情况只会变得更加复杂。所谓人工智能官僚,意味着诸如“该为某个特定问题分配多少资金”之类的决策,将不再由人类官员来决定。

56:55这些决策将由算法来做出。当人们追问“为什么排污系统会坏掉?为什么他们没有拨出足够的资金来维修?”时,答案可能是:我不知道。算法只是决定把钱花在了别的地方。那么,为什么官僚体系最终会由人工智能而非人来管理呢?换句话说,为什么国家会在某个时刻决定,人工智能其实更适合做出这些决策?首先,这并非未来才可能发生的事,它已经在发生了。

57:26越来越多的决策正由人工智能做出。这仅仅是因为需要考虑的信息量实在太庞大了。没错,人类很难处理这些信息,而人工智能做起来则要容易得多。你知道,有那么多官僚、律师、会计师……我总是会想,那人类以后还能做些什么呢?在你的书中,你提到人工智能将远远……人工智能将远远超越人类的智能水平,以至于它其实应该被称为“外星智能”。

58:03如果人工智能真的远远超越了人类的智能水平,那么我推测,我们从事的大多数工作都是基于智能的。就拿我现在录制这档播客来说,这也是我在根据自己收集到的信息、基于自己的兴趣点,同时也基于我认为听众会感兴趣的内容来提出问题。但与人工智能相比,我就像一只小猴子。你明白我的意思吗?如果人工智能的智商是我的100倍,掌握的信息源是我的100万倍,那我根本没必要再录制这档播客了。

58:35我可以让AI来完成这件事。事实上,AI可以和AI对话,然后把信息传递给人类。但如果我们看看大多数行业,比如当律师、做会计,我的意思是,医疗行业很大一部分也是基于信息的,对吧?还有开车,我认为这是全球最大的职业,无论是送货还是其他什么。那么,在这个复杂的世界里,人类到底该扮演什么角色?任何只是输入信息、输出信息的工作,都很容易被自动化。这些是最容易自动化的工作,比如当程序员?

59:39但很多工作还需要社交能力和运动技能。如果你的工作需要结合多个不同领域的技能,虽然并非不可能,但要实现自动化就要困难得多。比如,一个护士需要为一个哭泣的孩子换药,这比一个医生开处方要难得多。因为这不仅仅是数据。护士需要良好的社交能力来与孩子互动,也需要运动技能来换药。

60:18所以,这更难实现自动化。即使对于那些只处理信息的人来说,也会出现新的工作。问题在于再培训。这不仅是指学习新技能的再培训,还包括心理上的再培训。你该如何重新塑造自己,投身一个全新的职业?而且不是只做一次,而是要一次又一次地这样做,因为随着AI革命的展开——我们才刚刚起步,真正的大变化还没到来。

60:51因此,旧的工作会消失,新的工作会出现,但这些新工作会迅速变化并消失。然后又会迎来新一波的工作。人们将不得不重新塑造自己四五次、五六次,才能保持竞争力。这会产生巨大的心理压力。所以,许多大公司同时也在研发人形机器人。目前正上演着一场人形机器人竞赛。我所说的“人形机器人”,比如特斯拉就有一款人形机器人,我记得叫“擎天柱”(Optimus),他们正在开发中,价格大概是几千英镑。我最近看了一个视频,它能完成一些相当精细的、依赖运动技能的操作。

61:30所以,它大概能打扫房子,大概能在生产线上工作,大概能把东西装进箱子里。我就在想,当人形机器人出现,当拥有超越我们智能的AI问世,而当两者结合,这些非常非常智能的人形机器人出现时,人们会说,很多人会失业。那么,那些失业的人该去哪里寻找这些新职业呢?

61:55嗯,很明显,预测未来的新兴职业是很困难的。历史告诉我们这一点。是的。但我实在想不出那些职业会是什么。我的意思是,我女朋友是做呼吸疗愈的。我猜呼吸疗愈这部分其实很容易受到冲击。但她还会带女性去葡萄牙等地参加静修活动。所以我想,好吧,她应该还算安全,因为这些女性去那里是为了与人建立连接,是特意想置身于这样一个特别的、远离网络的场所。

62:20所以,静修活动这方面,她大概没问题。总之,生活中有些东西是我们想要的,而这些并不仅仅是解决问题。比如我生病了,我希望恢复健康,希望问题得到解决。但我们想要的还有很多是建立连接。就拿体育来说,机器人或机器已经能比人跑得快得多了。我们刚办完奥运会,但人们并不太想看机器之间比赛,或者机器和人比赛。

62:59因为体育最终真正吸引人的地方,恰恰是人类的弱点,以及人类应对这些弱点的本事。尽管在很多项目上,比如跑步,机器已经能比世界冠军跑得更快,但人类运动员依然有工作。我前几天就在想这件事。另一个例子是神父。至少在某些宗教中,神父是最容易被自动化的职业之一,因为你只需要在特定场合一遍又一遍地重复相同的经文和手势。

63:39比如举行婚礼时,神父只需要重复同样的话语,然后你们就结婚了。但我们并不认为神父有被机器人取代的危险。对吧?因为我们从神父那里想要的,并不仅仅是机械地重复某些话语和手势。我们认为,只有另一个同样脆弱、有血有肉、懂得痛苦与爱、能够承受苦难的人,才能将我们与神圣连接起来。

64:17所以,即使从技术上讲,让机器人主持婚礼非常容易,但大多数人并不会感兴趣。当然,更大的问题是:如果人工智能获得了意识,会发生什么?这堪称人工智能意识领域那个价值万亿的问题。一旦那样,所有规则都将失效。但那又是另一个非常非常大的话题了。我的意思是,这是否可能,我们又该如何判断,诸如此类。你认为这可能吗?我们完全不知道。

64:46我的意思是,我们并不理解意识究竟是什么。我们不知道意识是如何在有机大脑中产生的。因此,我们不清楚意识与有机生物化学之间是否存在一种本质联系,以至于意识无法在无机的硅基计算机中产生。首先必须再次强调的是,人们在意识和智能之间存在着巨大的混淆。没错,智能是达成目标和解决问题的能力。而意识则是感受痛苦、快乐、爱与恨等事物的能力。

65:27人类和其他动物都是通过感受来解决问题的。我们的感受并非旁枝末节,而是我们应对世界、解决问题的主要方式之一。对吧?而到目前为止,计算机解决问题的方式与人类截然不同。再说一次,它们是异类的智能。它们没有任何感受。当它们赢得一盘棋时,并不会感到喜悦;当它们输掉时,也不会感到悲伤。它们什么感觉都没有。

66:00目前,我们尚不清楚有机大脑是如何产生痛苦、快乐、爱与恨这些感受的。因此,我们也不知道一个基于硅而非碳的无机结构,究竟能否产生这些东西。我认为,这正是科学界最大的问题。到目前为止,我们还没有答案。意识难道不就像一种幻觉吗?难道不就像一种错觉,让我以为自己是有意识的,只是因为我的大脑里有一套电路在告诉我,我确实有意识?

66:39它通过一系列类似感受的东西告诉我,我是有意识的。比如,我认为我现在正看着你,我认为我能看见你。不,这种感受是真实的。我的意思是,就算我们都生活在《黑客帝国》那样的世界里,你又怎么知道那不是真的呢?它就是世界上唯一真实的东西。我的意思是,除此之外别无他物,其他一切都只是组合而已。我们只能体验自己的感受——我们所看到的、闻到的、触摸到的,这些我们确实能体验到。这才是真实的。

67:08然后我们还有各种理论来解释我为什么会感到疼痛。哦,那是因为我踩到了一根钉子。世界上确实存在钉子这种东西。但也有可能,我们都生活在一个位于锆石星球上的大型计算机里,由超级智能的鼠类操控。如果我与一个人工智能对话,我或许能让它告诉我,它能感受到疼痛和悲伤。这是一个大问题,因为人们有巨大的动力去训练人工智能假装自己有生命、假装自己有感受。

67:39我们看到,人们正投入巨大努力来制造这类人工智能。事实上,由于我们并不理解意识,因此我们甚至无法证明其他人类也有情感。我能感受到自己的情感,却从未感受过你的情感。我只能假设你也是一个有意识的存在。而社会赋予有意识实体的地位,不仅给予人类,也给予某些动物,这并非基于任何科学证明,而是基于社会惯例。

68:17比如,大多数人觉得自己的狗是有意识的,它们能感受痛苦、快乐、爱等等。因此,大多数社会都接受狗是有感知的生物,并赋予它们一定的法律权利。现在,即使人工智能没有任何情感、没有意识、也完全没有感知能力,但如果它变得非常擅长伪装出情感,并让我们相信它真的有情感,那么这就会成为一种社会惯例。人们会认为自己的AI朋友是一个有意识的存在,因此应当被赋予权利。

68:59而且,甚至已经存在实现这一点的法律途径。至少在美国,你并不需要是人类才能成为法律意义上的人。这很有趣,因为你刚才开玩笑般地提到,我们可能只是生活在一个模拟世界中。你当时说,也许我们只是身处一个模拟之中。是啊,有可能。而有趣的是,在一个充满人工智能的世界里,我认为这种可能性在我心中的可信度反而更高了。

69:27是的。这其实就是一个模拟世界,因为我就亲眼见证了我们从出生时几乎无法接入互联网,到如今能够与电脑里这个“外星人”对话,它现在还能替我做事。我们还拥有了虚拟现实体验,有时简直难以分辨真假,以至于我会误以为自己真的身处《鱿鱼游戏》之中,只因为我戴上了这个头戴设备。然后你把时间线不断向前推,不断向前推,不断向前推,去想象各种可能的进步程度。

69:55接着我听到关于模拟理论的论点时,我就会想,你知道吗,如果我们将时间线再向前推100年,以我们目前的发展速度和轨迹,届时我们将能够创造出一些信息网络和有机体——它们或许是在实验室里或电脑中生成的,却未必意识到自己身处电脑之中。尤其是考虑到生物领域正在发生的变化,这种情况在某种程度上已经出现了。你知道的,越来越多的人正生活在各种信息茧房之中。

70:32这仍然不是完整的物理世界。但你会看到相同的事件和人物,出现在政治光谱的不同阵营里。他们简直在任何事情上都无法达成一致,完全活在自己的衡量标准里。而且你知道,当互联网最初出现时,主要的比喻是“网络”——万维网。网络是一种连接一切事物的东西。而现在,主要的比喻——也就是这种模拟理论——正在代表一种新的隐喻。

71:08新的比喻是“茧”。它是一个反过来将你包围、从四面八方将你包裹起来的网络。于是你再也看不到外面的任何东西。而那里可能还有其他茧,里面关着其他人。你没有任何办法能接触到他们。世界上发生的任何事情都无法再将你与他们联系起来,因为你们身处不同的茧中。你只需看看别人的手机,只需看看别人在推特、X 或 Instagram 上的动态。

§03文稿 — 第 3 部分

71:39这还是同一个现实吗?它实在太不一样了。你知道我上周末在聊什么吗?我朋友坐在我左边,一直在刷手机。他点开了“发现”版块,也就是寻找新内容的那个地方。我低头看他的手机,心想:全是利物浦足球俱乐部的内容。他的整个动态里好像只有利物浦。而我的整个动态则完全不同。我当时就想,哇,他生活的世界和我完全不一样。

72:03因为他是利物浦球迷,而我是曼联球迷。想一想,当你打开手机时——我们中的许多人每天花在手机上的时间长达九个小时——你所体验到的通往另一个世界的窗口,和我所体验到的完全不同。而这种恐惧其实由来已久。比如,柏拉图就在希腊哲学中最著名的寓言中,确切地论述了这一点——洞穴寓言。在寓言中,柏拉图设想了一个理论上的、虚构的场景:一群囚徒被锁在洞穴里,脸朝着一面空白墙壁,而他们身后投射过来的影子,被他们误认为是现实。

72:54他基本上就是在描述——你知道的——屏幕前的人们,只是把屏幕误当成了现实。没错。在古印度也有类似的说法,佛教徒和印度教贤人谈论“摩耶”,也就是幻象的世界。人们有一种深深的恐惧:也许我们都被困在一个幻象世界里,我们以为世界上最重要的事情——我们所发动的战争——其实都是围绕着我们脑海中的幻象而展开的。而现在,这在技术上正逐渐成为可能。

73:36和以前一样,还是那些哲学思想实验。现在,作为一名历史学家,我觉得当前时代有趣的一点是,许多古老的哲学问题和讨论正逐渐变成技术性问题。没错,你突然就能在手机上看到柏拉图的洞穴了。这太吓人了。我觉得这真的很可怕,因为你说得对。我想现在有些人可能会说,他们似乎能掌控排名系统,或者明白为什么自己搜索某个东西时会出现特定的结果等等。

74:15但随着这些“智能外星人”变得越来越强大,我们当然会越来越不了解情况,因为我们正在把决策权交给它们。在某些行业,它们现在已经是绝对的“造王者”了。比如我现在正在做新书宣传,我写了《Nexus》这本书,所以我要从一个播客跑到另一个播客,从一家电视台赶到另一家电视台去谈论我的书。但我真正想打动的是那些算法。嗯。因为只要我能引起算法的注意,人类就会随之而来。

74:49人类就会跟着走。唉,真恶心。你知道,这就是我们的现实。我们基本上算是生活在硅基世界里的碳基生物。不过我以前觉得是我们掌控一切,但现在我感觉是硅在掌控一切。控制权正在转移。我们在某种程度上仍然拥有控制权,仍然在做出最重要的决定,但这种情况不会持续太久。这就是为什么我们必须非常非常谨慎地对待未来几年内所做的决定,因为再过10年、20年,可能就为时已晚了。

75:27到那时,最重要的决定将由算法来做出。你提到了几个你看到的与算法和人工智能相关的重大风险,以及信息领域正在发生的转变和颠覆。其中之一就是“对齐问题”。你能用简单易懂的方式给我解释一下什么是“对齐问题”吗?好的。一个经典的例子是哲学家尼克·博斯特罗姆在2014年提出的一个思想实验,听起来可能很疯狂,但请听我慢慢道来。

75:59他设想了一台超级智能的AI计算机,被一家订书钉工厂买走了。然后,订书钉工厂的经理告诉这台AI:“你的目标,也就是我买下你的原因,你的目标,你存在的唯一意义,就是尽可能多地生产订书钉。这就是你的目标。”结果,这台AI征服了整个地球,杀死了所有人类,把整颗行星都变成了生产订书钉的工厂。它甚至开始向外太空派遣探索队,想把整个银河系都变成纯粹的订书钉生产工业。

76:43这个思想实验的关键在于,人工智能完全按照被指示的去做了。它并没有反抗人类,而是完全执行了老板的要求。但当然,它选择的策略与人类工厂经理的真实意图和实际利益并不一致,而这位经理根本无法预料到会出现这样的结果。这听起来可能离奇、荒谬甚至疯狂,但这种情况在某种程度上已经发生过,我们之前也讨论过。

77:20这正是社交媒体和用户参与度问题的核心所在。就在尼克·博斯特罗姆于2014年提出这个思想实验的同几年,Facebook和YouTube的管理者告诉他们的算法:你们的目标是提升用户参与度。于是社交媒体的算法征服了世界,把整个世界都变成了用户参与度的工具——这正是它们被指示要做的。如今我们确实“高度参与”了。而它们也发现,实现这一目标的手段就是激起愤怒、恐惧和传播阴谋论。

78:01这就是“对齐问题”。当马克·扎克伯格告诉Facebook算法要提升用户参与度时,他既没有预料到,也不希望结果会导致民主制度崩溃、阴谋论和假新闻泛滥、以及对少数群体的仇恨。他本无此意图。但算法就是这么做的,因为算法的目标定义与人类社会的利益,甚至与部署这些算法的企业管理者的利益之间出现了错位。

78:49而这还只是小规模的灾难。因为过去10年里制造了所有这些社会混乱的社交媒体算法,都是非常非常原始的人工智能。如果你把人工智能的发展看作一个进化过程,那它们现在就像变形虫一样——这是进化的极早期阶段。变形虫是极其简单的生命形式,是生命的起点,比如单细胞生物。从进化的角度来看,我们仍处于有机体演化的初期。

79:27我们距离出现恐龙、哺乳动物乃至人类,还有数十亿年的进化时间。但数字进化比有机体进化快数十亿倍。因此,从人工智能的“变形虫”阶段发展到“恐龙”阶段,可能只需要几十年。如果ChatGPT是“变形虫”,那么人工智能的“霸王龙”又会是什么样子?这正是“对齐问题”变得真正令人不安的地方。因为仅仅给一个原始的社交媒体算法设定一个错误的目标,就已经造成了如此巨大的破坏;那么二三十年后,如果给一个“霸王龙级”的人工智能设定一个错位的目标,又会产生怎样的后果呢?

80:22是的。这个问题的核心在于,你知道,有些人可能会想,好吧,只要给它设定一个不同的目标就行了。但当你面对的是在股市上市的私营公司时,它们其实只有一个目标,那就是赚钱。没错。为了生存。所以其中一个平台必须说,这个平台的目标就是赚更多的钱、吸引更多的关注。因为从数学上讲,这很容易实现。而真正巨大的问题在于,该如何为人工智能和算法定义一个它们能够理解的目标。

80:57现在,说“赚钱”或“提升用户参与度”的好处是,这些目标非常容易用数学方法来衡量。比如,某天 YouTube 上的观看时长是一百万小时,一年后变成了两百万小时。算法可以很容易地看到:“嘿,我正在取得进展。”但假设 Facebook 告诉它的算法:“以提升用户参与度的方式,去促进民主,而不是削弱民主。”那我该怎么衡量呢?谁知道民主的稳固性到底该如何定义?

81:34没人知道。所以,为算法设定的目标是“提升用户参与度,但不要损害民主”,这几乎是不可能的。这就是为什么它们会选择那些看似简单、却最危险的目标。但即使在这种情况下,如果我是某个社交网络的所有者,我说:“提升用户参与度,但不要损害民主。”问题在于,我的竞争对手如果忽略后半句,只说“提升用户参与度”,它就一定会打败我。

82:04因为他们的用户会更多,关注度会更高,收入也会更高。广告商会更满意。而我的公司则会陷入困境,投资者也会撤资。这里有两个方面需要考虑。首先,有政府的存在。政府可以进行监管,也可以惩罚那些以对社会负责的方式设定目标的社交媒体公司,就像它们惩罚那些行为反社会的报纸、电视台或汽车公司一样。

82:37另一方面,人类并不愚蠢,也不会自我毁灭。如果我们希望拥有更好的产品,包括在社会层面更好的产品,情况就会如此。我之前举过饮食方面的例子:想想看,食品公司发现,如果他们在产品里人为地加入大量的脂肪、糖和盐,人们就会喜欢。但后来人们发现这对健康有害。所以现在,比如,健康饮食产品市场非常庞大,人们也越来越清楚地意识到自己吃的是什么。

83:20同样的情况也可能发生在信息市场上。在美国,大约70%到80%的人患有慢性病或肥胖症,而目前西方世界的预期寿命似乎正在出现下降。我不知道该怎么说,我只是觉得,监管酒精、尼古丁、食品等商品的消费,似乎比监管信息及其传播要简单得多。除了种族主义或煽动暴力之外,我不知道该如何对信息进行监管。

84:00嘿,我们已经讨论过,最基本、最有效的两种工具,就是追究公司对算法行为的责任——不是对用户所发布内容负责,而是对算法的行为负责。我不认为我们应该惩罚推特或脸书。如果有人发布了一条种族主义言论,我会非常谨慎地考虑是否因此惩罚脸书,因为这样一来,谁来界定什么是种族主义呢?但如果脸书的算法刻意传播某种种族主义阴谋论,那责任就在算法本身。

84:43那不属于人类的自由言论。不过,你怎么确定那是一种种族主义阴谋论呢?好吧,现在我们进入了艰难的讨论,但这正是法院存在的意义。对于法院是否应评判单个用户所发布内容的对错,我会非常非常谨慎。但就算法刻意、反复地传播某一类信息(比如阴谋论)而言,我们可以诉诸法院。

85:17关键在于责任归属:应由公司对算法的行为负责,而不是由个人对其言论负责。这里的另一个关键区别在于私人领域与公共领域的划分。问题的一部分,正是这两者之间的界限被模糊了。我认为,人在私人场合有“犯傻”的权利。也就是说,在私人空间里,与朋友和家人在一起时,你有权表现得不够明智。

85:52你可以说一些蠢话,可以讲种族主义笑话,也可以讲恐同笑话。这并不好,也不友善,但你是人,你被允许这样做。不过,不能在公共场合这么做。我的意思是,即使是对政治家而言,比如我作为一个同性恋者,如果首相在私下里讲了个恐同笑话,我并不需要在意,那是他的私事。但如果他在电视上公开这么说,那就是个大问题。传统上,区分私人领域和公共领域其实非常容易。

86:27你正在自己家里和一群朋友在一起。你说了一些蠢话,那是私事,跟别人没关系。但如果你去了镇上的广场,站在一个高台上,对着成千上万的人大喊大叫,那就是公开场合。在这种情况下,如果你说了种族主义、恐同或令人发指的话,就可能受到惩罚。不过以前你很容易判断什么是公开行为。现在的问题是,比如你上了 WhatsApp,你以为只是在和两个朋友聊天,结果却说了些非常蠢的话。

86:59然后这些话就疯传开来,到处都是。对此我没有简单的解决办法。但有一点是,一些政府采取的一项措施是,拥有大量粉丝的人,其标准不同于普通人。哪怕是最基本的,证明自己是人类这一点也是如此。我们并不希望每个人都要从政府那里获得某种认证,才能在 WhatsApp 上和朋友们聊天。

87:38但如果你在网上有 10 万名粉丝,我们就需要确认你不是机器人,而是真实存在的人。同样,这并不受言论自由保护,因为机器人没有言论自由。这确实是个滑坡问题,对吧?关于匿名性究竟对社交网络是好是坏,我一直在反复思考。而当我倾向于要求人们进行身份认证时,得到的反驳是:极权政府会利用这一点来惩罚那些发声的人。

88:10不管我们喜不喜欢,极权政府本来就在这么做。没错,问题不在于英国这么做了,俄罗斯就会说“好,那我们也这么做”。俄罗斯本来就在这么干了。美国人会开始这么做吗?如果有人公开反对特朗普,而特朗普能获取对方的身份和信息,他能不能去查对方并让人把对方逮捕?如果我们真到了法院允许这种事发生的程度,那我们就已经陷入非常严重的麻烦了。

88:39我们应该意识到,以现有的监控技术,极权政府有无数种方法知道你究竟是谁,所以这并非主要问题。你刚才提到平台应对后果负责。没错。是的。在过去一个月里,英国发生了——我不知道你有没有听说过——多起骚乱。我想最初引发这一切的,是一则新闻,说有人杀害了几个年幼的孩子。

89:13是的。当时围绕那个人的宗教信仰存在混淆或某种错误信息。而这导致了……这是一个绝佳的例子。因为,你知道,如果我私下里只对我的两个朋友说……我认为做这件事的人是X。我不认为你应该因此受到迫害。我可以在私人的客厅里这么说,如果我在WhatsApp或Facebook上这么说,也是一样的情况。但如果Facebook的算法捕捉到这条假新闻,并开始向越来越多的用户推荐它,那么Facebook就要为其算法的行为负责。

89:56你应该能够将其诉诸法庭,并声称该算法故意推荐了一条假新闻。同样,如果这条假新闻是由一个拥有百万粉丝的网红制作的,那么他也要为此负责。但如果一个普通人在私人场合说了不实言论,也就是假新闻,然后某个算法故意传播了它,那么主要过错在于该算法,而应该入狱的是拥有该算法的公司的管理者,而不是说出这些话的个人。

90:42回到骚乱的问题,假设,《卫报》在骚乱当天决定采用这条假新闻,并将其刊登在头版。现在他们将《卫报》的编辑告上法庭。而编辑却说:“但我没有写这篇报道。我只是发现了这条假新闻,然后决定把它登在《卫报》的头版。”那么,我们显然会认为这位编辑做了一件非常、非常、非常错误的事情。他或她或许将面临牢狱之灾。

91:20而问题并不在于最初制作这条假新闻的人。如果你是该国最大报纸之一的编辑,并决定在头版刊登某些内容,那你最好非常、非常确定你所刊登的内容是事实,尤其是当它可能煽动暴力时。社交网络的所有者又如何知道这一点呢?他们又怎么可能在那个规模上核实所有内容都是真实的呢?毕竟,并非所有内容都是真的。

91:46但是,如果某件事很可能导致暴力,那就应遵循预防原则。首先,不造成伤害。我再次强调,我不是要求Facebook审查那条假新闻。我只是要求他们,不要故意让算法为了获取用户参与度并赚取巨额利润而传播它。如果你不确定,那就干脆不要传播。就这么简单。那么,算法又如何分辨这究竟是假新闻,还是它认为非常重要、能救命的新闻呢?

92:24举个例子——这是公司的责任。比如《卫报》、《金融时报》或《星期日泰晤士报》的编辑,他们如何判断某件事是否属实,是否应该刊登在头版?如果你现在管理一家社交媒体公司,你实际上是在管理世界上最具影响力的报纸之一。你就应该承担同样的责任,具备同样的专业能力。如果你根本不知道该如何判断一个算法是否应该向数百万人推荐某些内容,那你就选错了行业。

93:01你知道的,受不了热就别进厨房。如果你不知道该向数百万人展示什么,就别经营社交媒体公司。这个问题非常贴切,因为显然,马克·扎克伯格本周写的一封信中提到……他受到了联邦调查局的接触,对方告诉他,俄罗斯正试图影响选举。他们还提供了一些信息,说存在那篇关于笔记本电脑的报道。乔·拜登的儿子亨特·拜登有那篇关于笔记本电脑的报道,而Facebook当时并不知道这是真是假。

93:34他们觉得这或许是俄罗斯故意安排的,也就是说,俄罗斯把这篇报道放出来,是为了确保乔·拜登无法赢得选举。于是Facebook降低了这条消息的优先级,阻止它病毒式传播,并进行了压制。结果后来发现,这确实是一则真实新闻,并非虚假消息。马克·扎克伯格表示,他后悔压制了这则新闻,因为它实际上是真实的。而通过压制它,他在某种程度上影响了选举。是的。所以事情复杂到这种程度,我简直……

94:03经营一家大型媒体公司非常复杂。经营《华尔街日报》或福克斯新闻也是如此。那么,如果联邦调查局找到福克斯新闻或《华尔街日报》,对他们说:听着,有篇报道是俄罗斯人故意安排的,不要助长它。但后来却发现这个判断是错误的呢?是的,这种情况可能发生。而作为《华尔街日报》的管理者,你必须应对这种情况。那我该不该信任联邦调查局?在什么条件下信任?

94:34有时我应该信任,有时则应保持怀疑。我感觉,如果你担任《华尔街日报》的编辑,无论如何最终都可能锒铛入狱。因为不管怎么做,你都在影响选举。而一旦你影响了……但这就是这行的本质。我的意思是……真正的问题在于,像扎克伯格或埃隆·马斯克这样拥有巨大权力的人,却假装自己并没有权力、没有影响力、没有塑造选举的能力。

95:01几个世纪以来,我们都知道报纸的所有者和编辑会影响选举。因此,我们对他们有着特定的标准。而如今,像推特、YouTube和Facebook这类平台的所有者和管理者,其权力已经超过了《纽约时报》《卫报》或《华尔街日报》。他们至少应该承担同等程度的问责。而他们惯用的说辞是:“哦,我们只是一个平台。我们只是让每个人都能发布他们想发布的内容。”

95:35事情并非如此。对于传统媒体,我们不会接受这种说法。那为什么现在却要接受呢?这正是这些科技公司的伎俩所在。我们拥有数千年的历史,他们却告诉我们:“哦,这些规则不适用于我们。”就像汽车行业这样的传统行业,所有人都明白,你不能把一辆新车投放上路,除非经过安全检查,确保车辆是安全的。你也不能在没有确保安全的情况下,将新药或新疫苗投放市场。

96:09这显而易见,对吧?但一谈到算法,他们就说:“不,不,不,不,不。那是一套不同的规则。”你可以把任何算法投放市场,不需要任何安全规则。甚至更基础一点,以“盗窃”为例。《十诫》中有“不可偷盗”。人们都知道,是的,你不该偷东西——直到涉及信息时,他们却说:“哦,不,不,不,这不适用于信息。”我可以未经你的许可,拿走你的信息,用它来做各种事情,再把它卖给第三方。

96:40而这竟然不算偷盗。“不可偷盗”这条规则不适用于我的业务。这正是过去一二十年里,许多科技巨头一直在做的事:告诉我们,历史不适用于他们。人类在历经数百年、数千年与独裁统治等各种问题痛苦斗争中所积累的所有智慧,都不适用于新技术。但事实是,它适用。它确实适用。你有没有想过干脆注销所有账户,去某个地方过隐居生活?比如在沙漠里,或者干脆建立一个小团体?

97:20我每年都会这么做。哦,真的吗?是的。我会进行一次为期30到60天的长期静修。比如今年,我计划在12月结束新书宣传后,去印度参加一个为期60天的传统静修活动,彻底与外界断开联系。没有智能手机,没有网络,甚至连书和纸笔都没有。就是完全断绝信息。为什么?为什么这么做?这对心灵有好处。就像饮食一样,摄入过多对我们并不好。我们需要时间来消化和排毒。

97:55对于心智来说也是如此。如果你不停地用更多信息去轰炸它,你就会对错误的东西上瘾,养成坏习惯。而你需要——至少我需要——一段休息的时间,才能真正消化所发生的一切,决定自己想要什么、不想要什么,以及要努力摆脱哪些习惯和成瘾行为。同时也是为了认识自己的心智。当心智不断受到外界信息的轰炸时,你……

98:41噪音太大,你根本无法认识它。但当噪音消失后,你才能开始理解:心智究竟是什么?它如何运作?它怎样发挥作用?想法从何而来?恐惧是什么?愤怒是什么?当你因为读到某件事而怒火中烧时,你关注的是愤怒的对象,却无法理解愤怒本身。愤怒控制了你。当你快速获得信息时,你可以观察自己愤怒时到底发生了什么。

99:27我的心智、我的身体会发生什么?它如何控制我?而要理解愤怒究竟是什么,这比世界上任何令人愤怒的故事都更重要。这非常非常难。有多少人曾停下来,试图去了解愤怒本身,而不是愤怒的对象?我们总是在做后一件事。我们会反复回想。比如我们听到某个我们讨厌的政客说了些可怕的话——比方说,有人对特朗普感到愤怒——于是就会一遍又一遍地回想。

99:57然后心想:哦,他那样说,他那样做,他以后会这样,以后会那样。但你这样是无法认识自己的愤怒的。真有意思。在你谈论那个未来时——那个几乎分裂成两个物种的人类未来——我脑海里一直在构想各种情景。其中一个物种的人类通过互联网、通过大脑中的神经连接与信息高速公路相连。他们就像被接上了线,算法不断向他们输送信息,他们据此行动,然后又把信息传回去。

100:25而另一群人则决定拒绝这一切,他们没有植入神经连接,不试图与人工智能对接,而是生活在某个丛林的部落里。很多年前,我女友就对我说过,她觉得人类终将分裂。我当时不以为然,觉得无所谓。但现在我明白了,当事情变得越来越极端时,你就会想:你知道吗,我得在这里做出一个决定了。

100:48尤其是当我看到埃隆·马斯克正在研发的“神经连接”技术时,它能让人们用大脑控制电脑。我当时就想——电脑也能控制大脑。它是双向的。你说得对,我刚才还真没考虑到这一点。但我只是想象了一下,这也是我想问所有听众的问题:如果现在有你和我,而我脑子里植入了那种人类现在用来控制电脑的智能芯片,那对我来说,你就成了另一个物种,因为我能控制楼下的汽车。

101:16我能控制这个房间的灯光,能用大脑提问并得到答案。我的智商就变成了5000,而你的还是150或200——也许你的智商有250吧。但对我来说,你就成了另一个物种。我比你拥有巨大的竞争优势,如果你不装上那个芯片,那你就完蛋了。这就是物种分化。再说一次,从微观层面来看,我们在历史上早已见过类似的情况:有些人接受了书面文字,有些人则拒绝了它。

101:48而那些拒绝书面文字的人现在已经不复存在了,因为接受书面文字的人建立了王国和帝国,征服了其他所有人。而我们正面临同样的危险。这并非什么好事,因为拥有文字的人生活并不一定比之前更好。在很多情况下,生活在文字出现之前的狩猎采集者,他们的生活反而更好。那么,解决方案是什么呢?如果非要我说出答案的话——在读过你那本精彩的书《Nexus:从石器时代到人工智能的信息简史》之后,我想知道,出路到底在哪里?

102:26我们该如何阻止那些“对齐问题”——也就是我们所有人都变成“订书钉”、社会陷入混乱、虚假信息泛滥、正如你在书中所说的“硅基铁幕”出现?我们该如何阻止这些力量摧毁我们的世界?还有希望吗?你对此持乐观态度吗?关键在于合作,在于人与人之间的联系。我的意思是,人类目前仍然比人工智能更强大。问题在于我们彼此分裂,而算法在无意中加剧了这种分裂。

102:57这又是每个帝国最古老的法则——分而治之。罗马人如此,大英帝国也是如此。如果你想统治一个地方,就要让那里的人民彼此对立,这样一来,他们就很容易被操控和统治。如今,人工智能正在对整个物种重演这一幕。就像冷战时期我们有“铁幕”一样,现在我们有了“硅基铁幕”。它不仅将中国与美国分隔开来,也让民主党人与共和党人对立,让人与人彼此疏离,更让我们所有人与人工智能产生隔阂——而人工智能正越来越多地替我们做出各种决定。

103:42我们仍然有能力,我不知道是五年、十年还是二十年,确保事情不会朝着反乌托邦的方向发展。但要做到这一点,我们需要合作。你乐观吗?我尽量保持现实。我的意思是,最近……我刚从以色列回来,看到一个国家在没有任何正当理由的情况下自我毁灭。这个国家简直按下了自毁按钮,而且毫无缘由。这种情况也可能在全球范围内发生。

104:15你说的按下自毁按钮是什么意思?这不仅仅是以色列人和巴勒斯坦人之间的战争,更是以色列社会日益走向自我对抗,分歧和敌意越来越深。这就像一个由愤怒和暴力构成的黑洞,正把越来越多的人吸进去。你知道,现在世界各地都能感受到这个中东黑洞传出的冲击波。而这没有任何正当理由,没有任何客观原因。如果我要就巴以冲突说点什么,那就是它根本没有任何客观原因。

104:57又不是说地中海和约旦河之间的土地不够,人们不得不为仅有的那点土地而战,也不是说粮食不够。粮食足够所有人食用,土地也足够为每个人建造房屋、医院和学校。那人们为什么还要争斗?因为他们脑海中有着不同的故事。他们各自持有不同的神话,认为上帝把这片土地只赐给了我们,你们无权在此。

105:25他们为此而争斗。这是一场局部或地区的悲剧,但它也可能在全球范围内发生。再说一次,如果最终有什么东西毁灭我们,那将是我们自己的妄想,而不是人工智能。人工智能之所以有机可乘,是因为我们的弱点,因为我们的妄想。尤瓦尔,非常感谢你写这本书。我认为这本书是我遇到过的时机把握得最好的一本书,因为当今世界正在发生的一切。

105:58这本书真的帮助我理解,问题不一定在于“我”与“你”的对立,即使你身处政治对立面。问题在于信息,在于我们获取信息的网络,以及谁在控制这些信息网络。有人在操纵我们分属不同阵营,不仅仅是分属不同阵营,更是让我们把对方视为敌人。而目前,这个操纵者是一个人。但未来可能并非如此。很快,它可能就不再是一个人,不。

106:25而我认为,理解这一点有助于我们专注于那些有时难以识别的问题的根本原因。我可能认为问题出在我的邻居身上,是那个肤色不同的人。但如果你再深入一层去看,其实是信息网络以及我所接触到的信息……在洗脑我,在制造这些故事。正如你在上一本书中所谈到的,故事最终才是驱动世界的力量。而《Nexus》这本书恰逢其时,它帮助我们认识到信息的力量,以及信息如何影响民主、人际关系、社会和商业,并最终促使我们采取行动。

107:09而我认为,这一点值得我们保持乐观。是的。归根结底,我相信大多数人类都是好人。当你给人们错误的信息时,他们就会做出错误的决定。问题不在于人,而在于信息。说得好。尤瓦尔,我们这个播客有一个传统,就是最后一位嘉宾会留给下一位嘉宾一个问题,而这位嘉宾并不知道问题是为谁准备的。哦,好的。那留给你的问题是:强大意味着什么?

§04文稿 — 第 4 部分

107:50意味着接受现实本来的样子,直面现实,而不试图隐藏它、让它消失、给它蒙上一层面纱。这很有趣。我想你说得对。确实,这并非我会给出的答案。但你知道,你会慢慢……你会怎么回答呢?哦,我会怎么回答?我猜我可能会谈到在重重困难面前坚持不懈的精神。而其中一种困难就是信息。但核心思想就是,无论面对各种各样的困难,都要朝着你主观设定的目标坚持下去。

108:39也许这就是强大。这可以是在抚养孩子,也可以是去健身房锻炼,或者任何其他事情。不过我也很喜欢你的定义,因为在我们所处的这个时代,它显然更为重要。老实说,作为一名播客主持人,你有时会觉得自己正身处其中,因为我觉得每个人都在试图弄清楚:我到底是属于右翼还是左翼?我是否相信某些观点?我是否认同每一位与我同台的嘉宾?你几乎必须努力保持中立。

109:06但人们很难理解这一点,因为他们希望你归属于某个阵营。因为那恰恰是软弱。我的意思是,有很多人自诩非常强大,也崇尚强大这一价值观,但他们却无法面对那些与他们的世界观或愿望不符的现实部分。他们以为强大就是有能力让现实的这些部分消失。不,这其实是软弱。很抱歉我又绕回了这个话题,但这正是这场战争的一部分。

109:49战争,就像试图抹去你不喜欢的那部分现实。在这种情况下,就是抹去一个完整的民族。我不喜欢这些人。我认为他们不应该存在于现实中。所以,我试图让他们消失。人们会说,哦,他是一位非常强大的领导人。其实不然。他是一位非常软弱的领导人。因为一位强大的领导人会承认,不,这些人确实存在。他们是现实的一部分。现在,让我们想办法如何与他们共存。就是这样。你的书《Nexus:从石器时代到人工智能的信息简史》,对于所有收听这档播客并对这些主题有任何兴趣的人来说,都是必读之作。

110:30这本书得到了我最喜欢的两位人物的推荐,穆斯塔法·所罗门,还有斯蒂芬·弗莱和罗里·斯图亚特,他也是一位非常棒的人。是的。推荐这本书的理由非常充分,因为它绝对能拓展你的思维,而它的作者只写那些能够改变文化的杰出作品。因此,我会在下方附上链接。我强烈建议所有听过这次对话并对这个主题感兴趣的人,现在就去把这本书买下来。

110:54这本书现在就可以预购,五天后正式发售并开始发货。所以,争取成为第一个读到它的人,也希望你能率先理解并运用从这本书中学到的一些东西。尤瓦尔,非常感谢您的时间。谢谢。

— 读到这里,多懂一点。 —