Brad Gerstner: Anthropic 的 300 亿美元营收爬坡、Mythos 末日论、OpenClaw 遭“下绊”、伊朗战争停火、以色列的影响力
Anthropic's $30B Ramp, Mythos Doomsday, OpenClaw Ankled, Iran War Ceasefire, Israel's Influence
Guests: Brad Gerstner
In-depth read · Key ideas, reasoning, and examples, organized by topic.
§01冷开场、一位代班嘉宾,以及一套“别反复纠结”的玩笑哲学
本期节目以一段取自后面对话的片段开场。一位嘉宾问,一百天里究竟会有多少个拉取请求(pull request)被推送到“互联网的核心结构”上,并给出了一个大小盘(over/under)。给出的回答大约是 10,000 个,但“这会是件毫无意义的事”。另一个声音回应说,为了阻止某人的浏览记录被公之于众,也许值得等上一百天。随后这段对话转向了粗俗的玩笑。
主持人说本周 David Freeburg 缺席,由 Brian Gerstner(文字稿中如此呈现这个名字)作为“第五位好友”(fifth bestie)代班。上周缺席的 David Sacks 回归,Chamath Palihapitiya 也在嘉宾席上。进入新闻环节之前,有一段关于温和立场与政治的互相调侃。其中一句话提到,有人因为说另一方开始“做一些,比如说,合乎逻辑的事”,而被称为“Rokana 辩护者”(Rokana apologist)。
这番闲聊最后落在一位网络红人身上,嘉宾们称他为 Eli(也写作 Elisha Long)。一位参与者说,他们是通过 Marc Andreessen 的 YouTube 频道发现他的。被问到他的方法有何吸引力时,一位嘉宾认为它“在社会的每个层面都确实奏效”:你越想要某样东西,就越不太可能得到它,所以真正的信息是放下执念、好好生活。这位嘉宾称这种超脱“对人真的很健康”。这一段以一句朴素的总结收尾:去做点东西,别再反复纠结,“去做事就行”。
§02Anthropic 称 Mythos 发现了什么
主要新闻是,Anthropic 以其最新模型 Mythos 过于危险、不宜广泛开放为由,暂不发布该模型。根据主持人转述的公司说法,该模型自主发现了数千个漏洞,包括每一个主流操作系统和网页浏览器中的缺陷。列举的例子有:OpenBSD 中一个存在了 27 年的漏洞(OpenBSD 用于防火墙和关键基础设施),以及 FFmpeg 中一个存在了 16 年、自动化工具扫描 5,000,000 次都未能发现的缺陷。主持人还说,在 Linux 内核中也发现了漏洞。
节目播放了一段宣传视频的部分内容,主持人以“这是 Dario”引入。这些片段提出了三点主张。该模型的网络攻防能力是其编程能力的副产品。它“总体上在识别漏洞方面和专业人类一样出色”。它还能把缺陷串联起来:单个看来并不严重的漏洞可以组合成利用链,由“三个、四个,有时五个漏洞”构成,合在一起产生“某种非常复杂的最终结果”。
但作为擅长编程的副作用,它也擅长网络攻防。
主持人称 Brad 是该公司的投资人,问他暂不发布模型是在作道德姿态(virtue signaling),还是在回应某种真实的情况;以及在公开发布前先把模型交给一小群人去寻找漏洞,是不是一步好棋。
§03值得肯定的理由:Glasswing 项目与无需监管的自我克制
第一个回应认为 Anthropic“值得大大肯定”。按照这种观点,公司本可以本着“快速行动、打破常规”的精神发布 Mythos,以进一步拉开与竞争对手的距离。但它自己的漏洞测试表明,该模型会助长进攻性黑客行为,可能让浏览器、浏览记录和信用卡暴露在风险之中。发言者强调,Anthropic 在没有政府牵着手的情况下就采取了行动,因为这样做符合公司和整个行业的长期利益。
所描述的具体举措是 Glasswing 项目(Project Glasswing),这是一个由约 40 家大公司组成、由 AI 驱动的网络安全联盟,成员包括 Apple、Microsoft、Google、Amazon 和 JPMorgan。其公布的目标是用一百天时间,利用先进 AI 在黑客利用之前发现、修复并加固软件漏洞。
同一位发言者把这看作跨过了一道门槛。Mythos,以及被他们描述为 OpenAI 即将推出的模型、“OpenAI 第一个 black、训练良好的模型”(文字稿如此)的 Spud,标志着“我所说的 AGI 模型的开端”:智能出现阶跃式跃升,“聪明到不适合立即发布”。他们指出,并没有任何规定要求一个已完成的模型必须立即全面开放(general availability)。他们预测 OpenAI 和 Google 也会采用沙盒隔离和防御联盟的做法。他们认为,这件事表明,当行业和市场力量与政府协调时,是可以信赖的;而且 Anthropic 与政府进行了沟通,却没有依赖“自上而下的监管”。
稍后,一位被称为这两家公司投资人的嘉宾补充了背景。成立于 2023 年的前沿模型论坛(Frontier Model Forum)据称已经在协调 Google、OpenAI 和 Anthropic 开展反蒸馏工作。这位嘉宾说,他们以前曾因可能存在的监管俘获问题对 Anthropic 提出过反对,但认为这次情况不同。Dario 本可以宣布已跨过某道门槛并呼吁政府实施暂停令,就像 Elon 在 2023 年以文明风险为由呼吁暂停六个月那样。但他召集了 40 家领先企业,进行一百天的沙盒隔离与加固,同时继续向前推进。这位嘉宾说,当行业依靠市场“而不是跑去找保姆式国家”时,就应该得到赞扬。
§04怀疑但有条件的观点:恐惧是营销,但这次可能是真的
第二位参与者说,Anthropic 很擅长两件事:“产品发布”和“吓唬人”。他们描述了一种模式:Anthropic 在发布新模型或模型卡时,会同时配上一项研究,展示这项技术最坏的可能影响。他们的主要例子是大约一年前的勒索研究。
他们推出了这项勒索研究,据称新模型能够勒索用户。
他们对那项研究的反驳分两部分。第一,他们说为了得到想要的结果,模型被提示了“超过 200 次”,这显然是为了上头条而“反向设计”出来的。第二,一年过去了,许多开源模型已经达到了当时被研究的那款 Anthropic 模型的能力,但他们说自己没有见过任何“现实中”出现勒索的例子。他们认为,如果这种行为是一个可能发生的结果,到现在早就该出现了。发言者补充说,他们“并不是说这不真诚”。
不过在网络安全问题上,同一位发言者说这次“更偏向于合理的一边”。他们的理由是:编程模型越强,发现的缺陷就越多,也就意味着漏洞越多,进而把漏洞串成利用链的能力也越强。他们预计在接下来大约六个月里会出现一个“一次性的追赶期”,在此期间 AI 可能在许多系统中发现潜伏长达二十年的缺陷。他们说,这足以证明设立一个发布前阶段是合理的,让拥有既有代码库的软件公司用这款工具修补自己的系统。
Keep reading as a member.
You've read the free preview. Become a member to read the rest, with side-by-side reading and downloads where available.