← Lex Fridman

—Daphne Koller:生物医学与机器学习

#93 – Daphne Koller: Biomedicine and Machine Learning

第93期2020-05-05简体中文

嘉宾:Daphne Koller

收听本集00:00 / 1:12:31
阅读设置
按你的习惯阅读
正文字号
下载播客精读
把这一篇,带走慢慢读

中文 · 精读 · 当前版本

下载功能还未开放

全文文稿 · 按对话顺序保留完整内容,深入理解上下文。

本篇目录1 章节§01原文文稿 · 00:00–1:12:09

§01原文文稿 · 00:00–1:12:09

00:00下面是与 Daphne Kohler 的对话。她是斯坦福大学计算机科学教授、Coursera(与 Andrew Eng 共同创办)的联合创始人,也是 Ensitro 的创始人兼 CEO。Ensitro 致力于机器学习与生物医学的交叉领域。如今,我们正处在一个令人振奋的早期阶段:利用机器学习的数据驱动方法,大规模地帮助发现和开发新药及新疗法。Daphne 和 Ensitro 正在这一领域引领前沿,其突破可能波及医学的所有领域,包括那些对帮助应对当前新冠疫情最关键的领域。

00:37这段对话录制于新冠疫情暴发之前。对于所有正在承受这场危机带来的医疗、心理和经济负担的人,我向你们送上祝福。请坚强,我们团结在一起就能战胜这一切。这是《人工智能播客》。如果你喜欢节目,欢迎订阅我的 YouTube 频道,在 Apple Podcasts 上给五星评价,在 Patreon 上支持我,或者直接在 Twitter 上联系我,我的名字是 Lex Friedman,拼写为 F-R-I-D-M-A-N。和往常一样,我现在会播几分钟广告,中间不会插入任何打断谈话流畅性的广告。希望这不会影响你的收听体验。

01:16本节目由 Cash App 赞助,它是 App Store 上排名第一的金融应用。下载后请使用代码“CoLux Podcast”。Cash App 让你可以通过比特币向朋友转账,也可以用低至 1 美元投资股票。由于 Cash App 允许你以数字方式进行点对点收付款,而所有数字交易的安全性都非常重要,请允许我提一下 Cash App 所遵循的 PCI 数据安全标准。我非常支持安全标准。

01:46PCI DSS 就是一个很好的例子:一群竞争者聚在一起,达成共识,认为交易安全需要全球标准。现在,我们也需要为自动驾驶汽车和一般的人工智能系统做同样的事。所以,再次提醒,如果你从 App Store 或 Google Play 下载 Cash App,并使用代码“Lex Podcast”,

02:07你会得到 10 美元,Cash App 还会向 First 捐赠 10 美元;这是一个帮助推动世界各地年轻人机器人与 STEM 教育的组织。现在,开始我的 Daphne Koller 访谈。你与 Andrew Ng 共同创办了 Coursera,在五年内对全球 AI 教育产生了巨大影响。2016 年 8 月,你写了一篇博文,说自己要离开,并引用道:“是时候转向另一个关键挑战了:开发机器学习及其改善人类健康的应用。”

02:59所以我想问两个非常宏大的哲学问题。第一,你认为有一天我们会找到治愈今天已知所有重大疾病的方法吗?第二,你认为有一天我们会找到延长人类寿命的方法,甚至达到永生吗?所谓“一天”是非常漫长的时间,我不喜欢做“我们永远不可能做到某事”这类预测,因为我觉得那带有一种——你知道——傲慢。仿佛在人类存在的整个永恒中,我们都不可能解决某个问题。话虽如此,治愈疾病非常困难,因为很多时候,等你发现疾病时,已经造成了大量

03:46损伤。因此,假设我们能在那个阶段治愈疾病,就意味着我们要找到再生人体完整部位的方法,并且真正让它恢复到原本的状态,这是极具挑战的问题。我们治愈的疾病非常少。我们已经能够为越来越多的疾病提供治疗,但严格定义为“治愈”的情况其实并不多。

04:16所以我认为,在人们能够有理有据地说我们已经治愈了相当数量的疾病,更不用说所有疾病之前,还有大量工作要做。如果用 0 到 100 的尺度来衡量,我们对所有重大疾病基本机制的理解处在什么位置?你的感觉是什么?从你这位进入健康领域的计算机科学家的角度来看,我们

04:41走了多远?我认为要取决于具体是哪种疾病。有些疾病,我会说我们也许还没有接近 100,因为生物学非常复杂,而且我们总会发现一些人们此前甚至不知道存在的新事物。不过,我会说,有些疾病我们可能已经达到了 70 或 80。还有一些疾病,我会说其中大多数确实非常接近 0;那么阿尔茨海默病、精神分裂症和 2 型糖尿病,是更接近 0 还是更接近 80 呢?

05:23我认为阿尔茨海默病可能更接近 0,而不是 80。我们有一些假说,但我不认为这些假说目前已经得到充分验证,足以让我们相信它们是真的。越来越多的人认为,传统假说可能并不能真正解释正在发生的事情。我还想说,阿尔茨海默病、精神分裂症,甚至 2 型糖尿病,严格来说都不是一种疾病。它们几乎肯定是由一组不同机制构成的异质性集合,只是以临床上相似的方式表现出来。

06:00就像我们现在已经认识到,乳腺癌并不是一种疾病,而是许多细胞机制的集合;这些机制最终都会导致不受控制的增殖,但它并不是单一疾病。其他那些疾病几乎无疑也是如此。在理解那些疾病的具体机制之前,我们需要先理解这一点。至于精神分裂症,我会说,

06:28我们几乎肯定更接近 0,而不是其他任何数值。2 型糖尿病则有些复杂。有一些相关机制已经被确认,我认为也得到了验证,比如胰岛素抵抗及类似机制;但其中几乎肯定也存在许多我们尚未理解的机制。你还思考和研究过一些长寿方面的问题。

06:52你认为疾病与长寿的努力是完全重叠、部分重叠,还是完全无关?这些机制当然存在重叠。有一个广为人知的现象:除了儿童疾病之外,对于大多数疾病来说,从大约 40 岁开始,罹患该疾病的风险会逐年呈指数增长。所以很明显,这两件事之间存在联系。但这并不意味着它们完全相同。衰老本身显然会发生一些并不真正对应于某种具体疾病的变化;同样,也有一些疾病和疾病机制并不特别与衰老相关。所以我认为,

07:44我们目前处在重叠的部分。好吧,人会变老确实有些令人遗憾。而且,疾病的发生似乎与变老这件事存在某种关联,这两者都很令人难过。我是说,细胞衰老时会发生一些过程,我认为它们会促成疾病。其中一些与 DNA 损伤有关:细胞分裂时损伤会累积,而修复机制无法完全纠正这些损伤;

08:12还有错误折叠的蛋白质不断积累并可能聚集,这两者也会导致疾病和炎症。我们已经发现了许多机制,它们像是细胞层面的磨损,会促成疾病进程。我相信还有很多机制是我们尚未理解的。稍微岔开谈一点,也许是哲学层面的。我们还没有理解。稍微岔开谈一点,也许是哲学层面的。事物会变老、会死亡这一事实

08:52是新事物成长的一个非常强大的特征。这是一种学习机制。所以它既悲剧又美丽。那你在努力对抗疾病、努力对抗衰老时,会不会想到死亡的某种有用之处?或者,如果你可以永生,你会怎么想?

09:19你会只为了永生而永生吗?我还是认为,永生是一段极其漫长的时间,我不知道那是否一定是我想追求的目标。但我认为,我们所有人都希望拥有更长的健康寿命,也就是说,拥有更长的时间保持健康、积极活动,并且感觉像 20 岁时那样。我们离这个目标还很远。人的身体和精神会随时间衰退,这是一个非常悲哀的现象。所以我认为,如果我们都能活到——你知道——圣经所说的 120 岁,同时保持完美的健康和高质量的生活,这会是一个非常美好的愿望,也是社会值得实现的目标。至于究竟是 120 岁、100 岁,

10:19还是 150 岁,我认为还有待讨论,但我认为延长健康寿命是一个非常值得追求的目标。无论如何,从宇宙漫长的历史尺度来看,这一切都非常短暂。那么,从你的角度看,你显然在机器学习方面做了大量出色的工作。你认为数据和机器学习在理解疾病、努力消除疾病这一目标中扮演什么角色?到目前为止,我不认为它扮演了非常重要的角色,因为要让强大的机器学习方法发挥作用,真正需要的数据集在很大程度上还不存在。

11:06过去已经有一些零星的尝试,也有一些有趣的机器学习应用。我会说是机器学习或数据科学。但最近几年开始改变这种情况。我们现在看到一些大型数据集不断增加,同样重要的是,能够大规模生成数据的技术也在增加。通常情况下,人们并不会

11:35有意识地主动使用这些工具,专门为机器学习生成数据。即使这些技术被用于生产数据,也主要是为了推动科学发现。机器学习只是第二阶段的副产品:人们会说,哦,我们现在有了一个数据集,

11:54那就对它使用机器学习,而不是更简单的数据分析方法。但我们在 Ensitro 做的事情,实际上是把这个顺序反过来:我们会说,这里有一套生物工程师和细胞生物学家提出的令人难以置信的方法,让我们看看能否以全新的方式把它们组合起来,目标是创造出机器学习真正能够高效利用的数据集,从而建立强大的预测模型,帮助我们解决

12:24人类健康中的根本问题。所以,真正的重点是让数据成为首要关注点和首要目标,并利用生物学与化学的机制,创造出能够让机器学习获益最多的数据集。我不会用这种说法,因为这意味着数据是终点,而数据其实是手段。对我们来说,终点是帮助解决人类健康面临的挑战,而我们选择的方法

12:55是应用机器学习来建立预测模型。在我看来,机器学习,尤其是更强大的模型,只有在获得了规模足够大、质量足够高的数据后,才能真正成功应用。那么,如何创建这些数据集,从而推动预测模型的生成,并最终帮助改善人类健康呢?

13:23在我们深入讨论细节之前,让我先退一步,问问你对人类健康的兴趣是在何时何地产生的?是否有某些时刻、事件,甚至——如果我可以这样问——你个人经历中的悲剧,催化了这种热情?还是说,这一直是更广泛的帮助人类的愿望?我想说两方面都有。我的人类健康兴趣实际上可以追溯到 21 世纪初。当时,我和许多机器学习领域的同行使用的数据集,说实话,并不怎么令人振奋。有些老一辈研究者可能还记得所谓的 20 Newsgroups 数据集,那实际上是来自 20 个新闻组的一些文本,而这些新闻组的概念现在甚至已经不太

14:15存在了。问题是,你能否判断某个词袋来自哪一个新闻组?这并不怎么有趣。当时生物学方面的数据集,无论从技术角度还是从理想追求角度,都有趣得多。它们规模仍然很小,

14:36但比 20 Newsgroups 好。所以我最初可能只是想做一些在社会层面更有用、在技术层面也更有趣的事情。后来,我逐渐对生物学和人类健康本身越来越感兴趣,有时甚至开始研究一些并不包含重要机器学习成分、纯粹属于生物学的论文。我对药物发现产生兴趣,部分是因为我父亲经历过一件事:

15:16大约 12 年前,他很不幸地去世了;他患有一种累及肺部的自身免疫性疾病。医生基本上说,我们唯一能做的就是给他使用泼尼松。有一次,我记得医生甚至过来说,我们来做一次肺部活检,弄清楚他患的是哪一种自身免疫病。我问,这会有帮助吗?会改变治疗方案吗?医生说,不会,能给他的药只有泼尼松。

15:42那是唯一能给他的药。我有一些风湿病学家朋友,他们说,如果是今天,FDA 绝不会批准泼尼松,因为它的副作用与收益之比可能不够理想。如今的情况是,大概有四五种,甚至更多——具体要看是哪一种自身免疫性疾病——药物可以帮助自身免疫病患者,其中很多在 12 年前还不存在。我认为,我们在某种程度上正处于药物发现的黄金时代;我们已经有能力制造出比过去安全得多、有效得多的药物,远远超过我们以前

16:28所能做到的程度。现在缺少的是对生物学和机制足够深入的理解,以便知道这台引擎应该瞄准哪里。我认为这正是机器学习可以发挥作用的地方。你在 2018 年创办了 C-Tro 公司,如今担任负责人。正如你提到的,它的重点也许是药物发现,以及利用机器学习进行药物发现。你曾说过:“我们真正感兴趣的是创造一种可以称为‘培养皿中的疾病’的模型。”培养皿中的疾病模型。但对于复杂疾病来说,我们一直没有好的模型系统,

17:09或者说,多年来使用的典型动物模型,包括在小鼠身上进行测试,并不是很有效。你能否试着描述一下,什么是动物模型,什么是培养皿中的疾病模型?当然。疾病的动物模型,基本上就是字面意思:通常是一只小鼠,我们对它施加某种外部扰动,使它产生这种疾病,然后再治愈这种疾病。

17:43我们希望这样做可以治愈人类身上的类似疾病。问题在于,我们在动物身上制造疾病的方式,往往与这种疾病在人类身上实际发生的方式毫无关系。你可以把它看成表型的复制,也就是临床结果的复制,但背后的机制却完全不同。因此,在动物身上治愈疾病——而且在大多数情况下,这种疾病并不会自然发生——

18:12小鼠不会患阿尔茨海默病,不会患糖尿病,不会患动脉粥样硬化,也不会患自闭症或精神分裂症。那些治愈方法无法转化到人类身上发生的情况。这正是大多数药物失败的地方,因为我们在小鼠身上得到的发现无法转化到人类。培养皿中的疾病模型是一种相当新的方法,是过去五到十年才出现的技术促成的。例如,我们可以从你我任何一个人的身上取一个细胞,把比如皮肤细胞逆转到所谓的干细胞状态,也就是所谓的

19:00多能细胞状态,之后可以将其分化成不同类型的细胞。这样,我们就可以从多能细胞产生一个带有你的遗传信息、但属于正确细胞类型的神经元、心肌细胞或肝细胞。如果某种由遗传因素造成的疾病负担会在特定细胞类型中表现出来,我们也许可以观察这些细胞,说:这可能就是患病细胞与健康细胞的样子;然后理解并探索什么样的干预措施能够把看起来不健康的细胞逆转为健康细胞。当然,治愈细胞不等于治愈人类,所以仍然可能存在转化鸿沟。但至少对于由人类遗传因素驱动、并且人类遗传因素会决定细胞表型的疾病,我们有理由希望,如果把疾病开始发生的那些细胞、也就是遗传因素驱动疾病的细胞,逆转回来,

20:05使它们恢复健康状态,也许就能帮助更广泛的临床表型同样恢复。这正是我们真正希望做到的。这个步骤,也就是我读到的那个向后逆转的步骤,使用的是山中因子。是的。也就是把细胞逆转回干细胞。是的。

20:30这听起来像魔法。确实像。老实说,在这件事发生之前,我想很少有人会预测它是可能的。太神奇了。你能否进一步解释一下,这真的可行吗?它在哪里进行?稳定性如何?

20:44这个结果最早是在大约多少年前被展示的?也许是 10 年前之类的。这件事到底有多难?这种逆转过程有多嘈杂?它看起来确实令人难以置信,也很酷。确实,它令人难以置信,也很酷。我认为,在这项发现刚出现的早期阶段,它要棘手得多,也更依赖个性化操作;但到了现在,它几乎已经工业化了。有一些所谓的合同研究组织,也就是一些供应商,可以从人身上取得样本,把它逆转回干细胞,而且相当大比例都能成功。现在有人会提出一些我认为很好的问题:

21:26这真的是真正的干细胞吗?它是否还记得人类身上发生过的某些变化?也就是说,除了遗传因素之外,它是否还保留了某些经历?它过去是皮肤细胞,对吧?它作为皮肤细胞的经历,或者说它曾经暴露于各种环境因素等,这些经历是否仍然存在?所以我认为,目前的共识是:这些细胞并不总是完美的,有时确实会保留零星的记忆,但总的来说,它们其实相当不错。你刚才提到的一件关键事情——也许你可以纠正我——机器学习有用的关键因素之一是规模、数量和数据。

22:11把细胞逆转为干细胞有多容易?然后,以规模化方式使用培养皿中的疾病模型又有多容易?这是一个巨大的挑战吗?目前,这种逆转还不能达到数万乃至数十万的规模。我认为,全世界所谓的干细胞或 IPS

22:38细胞,也就是诱导多能干细胞,总数大约在 5,000 到 10,000 之间——至少在我上次了解时是这样。当然,这个数字可能没有统计某些学术中心里的细胞,加起来也许会更多,但大致就是这个范围。因此,目前还不可能从一百万人身上生成 IPS 细胞。不过也许并不需要,因为这样的背景数量可能已经足够,而且还可以通过不同方式对细胞进行扰动。例如,有些人做过非常有趣的实验:从健康人的身上取得细胞,然后

23:24利用过去十年出现的另一项奇迹般的技术——CRISPR 基因编辑——在其中引入一个已知具有致病性的突变。这样,你就可以观察健康细胞和不健康细胞,也就是带有突变的细胞,并进行一对一的比较,同时保持其他一切条件不变。这样就可以真正开始具体理解这个突变在细胞层面造成了什么。因此,IPS 细胞是一个很好的起点。

23:55显然,更多样性更好,因为你还希望纳入族群背景以及它对事物的影响。但也许你不需要为每一种疾病、每一位患者都获取一个样本,因为我们还有其他可用工具。那么人与人之间究竟有多大差异?我刚才提到的是 IPS 细胞的背景差异。我们似乎拥有这些神奇的细胞,可以在不同族群、不同个体之间创造出各种东西。细胞与细胞之间的差异大吗?

24:23首先,差异仅仅来自我们的基因不同这一事实。所以,来源于我基因型的干细胞,会不同于来源于你基因型的干细胞。此外,还有一些差异,更多与

24:40某些我们尚未理解的原因有关。有些人的干细胞比分化其他人的干细胞更好。我们并不完全明白为什么。所以,这方面确实也存在差异。但根本的、也是我们真正关心并认为有积极意义的差异,在于遗传信息不同,因而它们会重现我的疾病负担,而不是你的疾病负担。

24:59什么是疾病负担?疾病负担就是——如果你想一想——它并不是一个定义明确的数学术语,尽管也有人对它进行了数学表述。你可以这样理解:我们中的一些人比另一些人更容易患某种疾病,因为我们的基因组中有更多会导致这种疾病的变异,也许还有更少的保护性变异。人们用所谓的

25:33多基因风险评分对此进行了量化:它会查看一个人基因组中的所有变异,计算这些变异对某种疾病带来的风险总量,然后把人们放在疾病风险谱上。对于某些疾病,如果我们已经拥有足够的数据,真正理解了许多微小变异与疾病风险增加之间的联系,那么不同人的风险确实可能存在显著差异。比如,多基因风险最高十分位的人与最低十分位的人相比,有时风险会高出 10 倍或 12 倍。所以,尽管遗传因素绝不是完整解释,但它确实在很大程度上影响疾病风险,

26:24至少从机器学习的角度来看,其中存在信号。遗传信息中确实有信号。我们相信,观察由不同遗传信息产生的细胞,其中的信号甚至更多。原则上,你可以说所有信号都在遗传层面,因此不必观察细胞;但我们目前对生物学的理解非常有限,因此,观察细胞层面实际发生的事情,比直接观察遗传信息更接近人类的临床结果,我们也就能从中学到更多,

27:03而不仅仅是观察遗传信息。为了让人有个直观概念,我不知道这是否容易回答:在这种培养皿中的疾病模型里,什么样的数据有用?原始数据信息来自哪里?另外,从一个外行的角度看,生物学和细胞是软乎乎的东西。确实如此。我们如何把它们连接起来?

27:27它们确实就是软乎乎的东西。我们如何把计算机连接到它们身上?我猜,是通过某种传感机制?这是过去十年发生的另一场革命:我们定量测量细胞的能力也大幅提高了。我在 90 年代末、21 世纪初开始做生物学研究时,正是我们开始用非常定量的方式测量生物学的早期阶段,使用的工具包括基因芯片;借助这些工具,你可以在一次实验中测量一个样本中多个基因、甚至基因组中每个基因的活性水平,也就是所谓的表达水平。这种能力实际上让我们得以理解,癌症等疾病存在分子亚型;在此之前,人们只会说“你得了乳腺癌”。但当我们观察分子数据时,很明显,不同乳腺癌亚型在基因活性层面看起来完全不同,

27:57彼此之间差异很大。所以,这就是这一过程的起点。如今,我们可以使用所谓的基因芯片,在真正定量的层面开始测量生物学:在单个实验中测量一个样本中多个基因、乃至整个基因组中每个基因的活动,也就是所谓的表达水平。这种能力使我们能够认识到癌症等疾病存在分子亚型;在那之前,人们只会说:“你得了乳腺癌。”但当我们观察分子数据时,清楚看到,不同乳腺癌亚型在基因活性层面

28:35看起来彼此完全不同。现在,我们可以通过所谓的单细胞 RNA 测序,按照细胞的基因活性来测量单个细胞;这项技术基本上会对每个细胞中每个基因的 RNA(也就是不同基因的活性水平)进行测序。这是一种极其强大的细胞测量方式。我的意思是,你实际上是在逐个计算转录本的数量。

29:05所以,它确实把那个软乎乎的东西变成了数字化的东西。近几年出现的另一个巨大数据来源是显微镜技术,尤其是超分辨率显微镜。你可以通过数字重建观察亚细胞结构,有时甚至能观察到低于光学衍射极限的结构,只要进行

29:28复杂的重建。同样,这会在亚细胞层面提供海量信息。如今,越来越多优秀科学家正在开发各种方法,从单个细胞中获取新类型的信息。这就是把那些软乎乎的东西转化为数字数据的方法。转化为漂亮的数据集。但有了这些数据集和机器学习工具,你也许就能理解某种疾病的发育过程,或者其机制。

30:07如果可以从较高层次描述一下:这如何帮助发现能够预防或逆转这种机制的药物?我认为,这些数据可能有多种用途。有些人会将其用于科学发现,说:我们在细胞层面看到了这种表型,那就让我们反向推理,思考哪些基因可能参与了产生这种表型的通路。这是一种分析性方法,利用我们对生物学的理解,逐步反向推理。还有些人会采用更偏向

31:01正向的方法:如果刚才那种是反向的,那么这一种就是正向的。也就是说,如果我扰动这个基因,会不会产生一种与疾病患者身上所见相似的表型?这样一来,这个基因也许就是疾病的致病原因。还有我们所做的事情:基本上,我们会获取那一大批数据,利用机器学习找出其中显现的模式。例如,哪些亚型在人类临床结果上可能相似,但从分子数据来看却截然不同?如果我们识别出这样一个亚型,那么,是否存在某些干预措施,当我将它应用于细胞时,

31:46来自这种疾病亚型,并施加这种干预措施——它可以是一种药物,也可以是 CRISPR 基因干预——它是否会把疾病状态逆转到更接近正常、愉快、健康细胞的状态?如果看到这种结果,希望这能让你相信,这种干预也会给人带来有意义的临床获益。当然,之后还有很多事情需要做来验证这一点,但这是一种非常不同、也更少依赖假设的发现新干预措施的方法,

32:21它可能带来一些并不是所有其他人都已经在研究的东西。这是怎么回事?我不知道,我只是在心理分析自己对当前讨论的感受。谈论一种从根本上说被转化为机器学习问题的事物,而且它可能产生如此巨大的现实世界影响,实在令人兴奋。我也有同感。这确实令人兴奋,因为我大部分时间都在与数据集打交道,而这似乎比新闻组数据更

32:56所以,这是一种——谈论事实本身就让人感觉很好。我甚至几乎不想谈机器学习,我想谈的是数据集的基础,这是一个令人兴奋的领域。我同意。这正是每天早晨让我起床的动力。它也吸引了许多来 Citroe 工作的人,因为我认为,我们所有的机器学习人才都非常出色,他们完全可以去找一份工作,

33:23比如在线销售广告、做电子商务,甚至研究自动驾驶汽车。但我认为,他们来这里是因为想做一些具有更强理想主义性质、真正能够造福人类的事情。这些方法可以帮助哪些疾病?你希望它们能帮助什么?我们提到了阿尔茨海默病,还有所谓的“friantide”糖尿病。你能否描述一下,这种方法可以帮助的各种疾病?

33:53我们不知道。我会非常谨慎地对某些事情作出承诺。有人会说,我们将治愈某某疾病。但我更愿意先交付成果,再作承诺,而不是反过来。

34:11有一些疾病特征,会让这种方法更有可能发挥作用。例如,具有很强遗传基础的疾病,更可能在干细胞衍生模型中表现出来。我们希望细胞模型具有相对良好的可重复性和稳健性,这样才能以不至于高度变化和嘈杂的方式获得足够多的细胞;我们还希望疾病相对集中在一种或少数几种细胞类型中,而这些细胞类型可以在体外的培养皿环境里实际制造出来,

34:55而如果某种情况非常广泛、属于全身性疾病,涉及身体相距很远的多个部位中的细胞,那么把一切都放进培养皿会非常困难。所以,我们希望先关注那些今天最有可能成功的疾病,同时希望那些真正聪明的生物工程师一直在开发越来越好的系统。这样,今天还无法处理的疾病,也许三年后就可以处理了。比如,五年前,这些干细胞衍生模型根本还不存在。

35:33人们当时主要在癌细胞上开展工作,而癌细胞是大多数人类生物学非常糟糕的模型:第一,它们一开始就是癌细胞;第二,当你在培养皿中不断传代并让它们增殖时,由于基因组不稳定性,它们会变得与人类生物学更加不相似。如今我们有了这些干细胞衍生模型。我们已经能够相当稳健地——虽然还没有达到合适的规模,但已经接近——衍生出所谓的类器官。这些是很小的、多细胞的、类似器官系统的模型。有大脑类器官、肝类器官、肾类器官,还有那种类器官。那可能是我见过的最酷的东西。

36:22这难道不是最酷的东西吗?是的。我认为,未来我们还会看到把这些类器官彼此连接起来的技术,这样就可以开始研究多器官系统;已经有一些非常酷的论文开始这样做了。当然,这里面有很多挑战。

36:40这绝非易事,但我相信人们会找到办法。三年或五年后,我们将能够为今天无法建模的疾病制造出疾病模型。是啊,那时能够达到的规模可能会让这段对话几乎立刻显得过时。那会非常酷。你与 Andrew Eng 共同创办了 Coursera,也参与了整个 MOOC 革命。换个话题,你能否讲讲 MOOC 和 Coursera 的起源,也就是大规模在线开放课程的历史,以及你如何围绕 AI 这样具有巨大影响力的主题,向数量极其庞大的受众教学?

37:28我认为,MOOC 的起源来自斯坦福大学在 21 世纪第一个十年末开展的一系列尝试。当时,斯坦福内部包括我在内的不同人士,都对利用在线技术感到非常兴奋,因为它既有机会提升教学质量,也有机会扩大教学规模。例如,Andrew 领导了“Stanford Engineering Everywhere”项目,试图把斯坦福的 10 门课程放到网上,

38:10以视频讲座的形式呈现。我在斯坦福内部领导了另一项工作,尝试把一些课程拆分成更小的单元,打造一种完全不同的教学模式,并嵌入一些互动内容等。大学领导者非常支持这项工作,因为他们觉得,转向后来被称为“翻转课堂”的模式,可能是提升斯坦福教学质量的一种方式。这些努力最终开始相互作用,并在斯坦福社区内部

38:45产生了巨大的兴奋感和能量,人们开始看到在线教学的潜力,并在 2011 年秋季促成了第一批斯坦福 MOOC 的上线。顺便说一句,MOOC 这个词,人们大概不可能不知道,但我还是解释一下,它是“大规模开放在线课程”的缩写。开放在线课程。他们并没有发明这个缩写。我并不特别喜欢这个缩写,但它就是这样。就是这样。

39:16“大爆炸”也不是描述宇宙起源的好词,但它就是这样。可能吧。总之,这些课程在 2011 年秋季上线;短短几周内,没有真正的宣传活动,只有一篇走红的《纽约时报》文章,每门课程就有大约 10 万名甚至更多学生。我记得 Andrew 和我有过一次这样的对话:天哪,这里确实存在真实需求。我想,我们都觉得,当然,我们是有成就的学者,可以回到实验室,继续写论文。但如果我们这么做,这件事就不会发生。而它太重要了,不能不发生。所以我们花了相当多时间讨论:我们要不要把它作为斯坦福的项目,在已有工作的基础上继续建设?要不要把它做成一家营利性公司?要不要做成非营利组织?

39:53最终,我们决定按后来创办 Coursera 的方式来做。所以,我们在 2012 年初真正开始以公司的形式运营。之后的历史大家都知道了。之后的历史。但这对你来说真的很意外吗?你在当时,以及现在,如何理解这种全球教育需求?你提到,你觉得:天哪,这种受欢迎程度表明,人们渴望学习的全球化。我认为,人们渴望学习,全球化只是其中一部分。我认为,人们只是渴望学习。

40:18世界在过去 50 年里发生了变化。以前,人们大学毕业后找到一份工作,大体上,大学学到的技能基本够用,能支撑你整个职业生涯。你当然也会学到一些东西,

41:02但变化并不剧烈。如今,我们所处的世界里,许多工作所需要的技能,在你上大学时甚至还不存在;而且你上大学时存在的许多工作,如今也已经消失或正在消失。所以,其中一部分与 AI 有关,但不只是 AI。我们需要找到一种方法,让人们持续获得今天所需要的技能。我认为,这正是许多学习需求背后的动力。所以,如果我们再退一步看,你们所有人的起点,都是试图

41:21思考新的教学方式,或者组织和呈现材料的新方式,以帮助教育过程,也就是教学法。那么,在尝试各种不同想法的过程中,你对有效教育学到了什么?我们学到了很多东西,其中一些可以有效地应用回校园,帮助人们在校园里教学;其中一些我认为也已经有效地应用回校园教学;还有一些则更适合在线学习者,或者更适合把学习作为日常生活一部分的人。

41:57例如,我们很快就了解到,短一些更好。尤其是已经在工作的人,不可能完成一个 15 周、贯穿整个学期的课程。他们根本无法把它安排进生活。好。你能描述一下这里的“短”吗?是所有内容都短吗?每个小讲座短,讲座短,课程也短。两者都是。我们最初的在线教育尝试其实是 MIT 的

42:36开放课件项目,那是把课堂讲座录下来。通常是一小时半左右。对,但这种方式效果并不是很好。我的意思是,当然有人从中受益,但对于一个有工作、三个孩子、还要跑腿办事的人来说,这并不是很容易接受的体验。他们无法把 15 周塞进自己的生活里,而一个半小时的讲座也很难安排。所以我们很快就学到:一开始,我们制作的是短视频模块。后来我们把它们做得更短,因为我们意识到,15 分钟仍然太长。如果你想在等待孩子看医生的时间里学习,

43:06最好是 5 到 7 分钟。我们了解到,15 周的课程行不通;你真正想要的是把内容拆成更短的单元,让人们自然地完成一部分,因为他们离完成某个有意义的成果已经很近了。他们随时可以回来学习第二部分、第三部分。我们还了解到,压缩内容的效果非常好,因为这种节奏对一些人很合适,而对另一些人来说,他们总可以倒回去再看。因此,人们可以按照自己的节奏学习。我们发现,这种灵活性、简洁性和灵活性都非常重要。我们还了解到,学习过程中的参与度很重要;越快给人反馈,

43:53他们就越有可能保持投入。因此,我们引入了这些东西;其实一开始这只是我的直觉,后来数据验证了它:在讲座中加入一些小型微测验确实很有帮助。自我评分以及自动评分的测验也很有帮助,因为它能给人反馈。就是这样。所以这些都很有价值。我们还学到了很多其他东西。例如,我们做过一些非常有趣的性别偏见实验,研究让女性榜样担任教师,如何改变男性与女性的比例,尤其是在 STEM 课程中。

44:37他们就越有可能保持投入。因此,我们引入了这些东西;其实一开始这只是我的直觉,后来数据验证了它:在讲座中加入一些小型微测验确实很有帮助。自我评分以及自动评分的测验也很有帮助,因为它能给人反馈。就是这样。所以这些都很有价值。我们还学到了很多其他东西。例如,我们做过一些非常有趣的性别偏见实验,研究让女性榜样担任教师,如何改变男性与女性的比例,尤其是在 STEM 课程中。

45:19你可以在线上通过 A/B 测试来做这件事,而在校园里很难进行这样的实验。这很令人兴奋。不过,短小、压缩内容——这实际上可能适用于所有情况。我的意思是,好的编辑总是在压缩内容,让它变得更短。因此,这给教师和教育内容创作者带来了很大负担。MIT 或斯坦福的大多数讲座,如果准备工作足够充分,可能都可以缩短五倍。也许有人会不同意,但 Coursera 所提供的那种简洁、清晰,很多时候需要付出

46:02多少努力?首先,我想说,在面对面教学中,这种简洁是否同样有效,并不明确,因为人们需要时间吸收材料,所以你至少需要停下来,给他们反思和练习的机会。MOOC 的做法就是提供一小段一小段的内容,然后让你用这些内容进行练习。我认为,一些较新的教学法——人们正在把它们应用到面对面教学中,比如互动式学习——可能非常有帮助。但无论你是在在线教学中采用这种方法,还是在翻转课堂的互动式教学中采用这种方法,什么是“停下来”的一侧?什么是翻转课堂?

46:54翻转课堂是一种利用在线内容补充面对面教学的方式:学生可能先观看视频、完成一些练习,然后再来上课。到了课堂上,实际上会进行更深入的问题解决,通常是小组合作。但任何一种超越“站在教室前面讲 1 小时 15 分钟”的教学法,都需要大量准备工作。所以我认为,试图说服教师在 Coursera 上授课时,挑战之一就是,

47:34这也是校园里的教学法专家试图让教师采用不同教学方式时面临的挑战:这样教实际上比站在那里不停讲更难。你认为 MOOC 会取代面对面教育,或者成为未来人们学习方式中面对面教育的主要形式吗?未来可能还很遥远,但你认为趋势会走向哪里?我认为答案微妙而复杂。我不认为 MOOC 会取代面对面教学。我认为,学习在很多情况下是一种社会体验。即使在 Coursera,我们也发现,有些人会自发组成学习小组,即使他们并没有被要求这样做,只是为了彼此交流。

48:27我们发现,这实际上以非常重要的方式促进了他们的学习。有学习小组的学习者,比没有学习小组的学习者更成功。所以我不认为情况会变成:我们突然全都对着电脑在线学习,不再与其他人接触。就像录制音乐并没有取代现场音乐会一样。但我确实认为,尤其是在继续教育方面,

48:59也就是人们完成传统的高中或大学教育后,为了在快速变化的世界中保持专业水平和技能而继续学习的内容,我认为人们会越来越多地以这种在线形式消费教育内容,因为对大多数人来说,回到学校接受正规教育并不是一个可行选项。简单问一下,这可能是个难题,但有很多人对人工智能、机器学习和深度学习着迷。对于对这些领域感兴趣的人,你有什么下一年或者终身学习旅程方面的建议?他们应该如何开始?如何进入这段学习旅程?我认为,重要的是先开始;网上有大量内容,可以帮助人们学习数学、统计学和编程的核心基础,然后再学习机器学习。我建议不要过快跳过基础,因为我发现很多人

49:35无论在线上还是校园里学习机器学习,却没有打好这些基础;他们基本上只是照搬现有模型,而这既不允许他们针对手头问题进行大量创新和调整,有时还会导致错误。他们甚至没有意识到自己的应用是错误的,因为其中存在他们尚未充分理解的伪象。所以,我认为,基础知识是机器学习中的重要一步,然后要真正开始解决问题。找一个人和你一起解决问题,因为尤其在刚开始时,

50:08找个人交流想法、纠正你犯的错误,同时你也可以纠正对方的错误,是很有帮助的。但之后要去寻找实际问题,可以是工作场所中的问题;如果没有,也可以参加 Kaggle 竞赛之类的活动。这是寻找有趣问题的好地方,

50:46然后不断练习。练习。这个问题也许有点浪漫化,但在你的学习旅程中,你认为深度学习领域最美、最令人惊讶或最有趣的思想是什么?也许不只是深度学习,而是一般意义上的 AI 和统计学。我们可以回答两个方面。其中一个是端到端训练这一基础概念:从原始数据开始,训练一个并非单一

51:05部件的系统,而是一直训练到你真正想要的目标。从原始数据到结果,中间不需要——当然也不是完全不需要——其他细节。不是说中间不能有细节;你当然可以引入一些针对其他任务训练的构件。我其实正要谈到答案的第二部分,但它不必是中间一个单一的整体模块。实际上,我认为那并不理想;更重要的是,最终你确实可以训练出某种从头到尾贯通的东西。另一个让我非常着迷的概念是,学习一种表示,

51:51这种表示即使最初是针对另一个任务训练的,也有可能成为解决不同任务的更快速起点。我认为,这让人想起人类成为成功学习者的原因。这在机器学习领域相对较新;即使相对于今天的能力,我认为它仍未得到充分利用。但越来越多的问题变成:我们如何学习可复用的表示?所以就是端到端学习和迁移学习。是的。神经网络在很多情况下能够做到这些,这让你感到意外吗?

52:30这是否让你回想起最初深入研究神经网络的时候?或者总的来说,即使在今天,神经网络能够工作,而且能出色地完成这种从原始数据到学习、甚至迁移学习的工作,这是否让你感到意外?我对一件事感到惊讶:当你拥有足够多的数据时,确实有可能在一个极高维的空间中找到有意义的表示。对此我感到非常兴奋。人们仍然在研究其中的数学原理,每年都有更多相关论文。

53:14如果我们能弄清楚那件事,我会觉得非常酷。但这对我来说是个意外,因为在我开始学习机器学习的早期,数据集相当小;我认为当时我们相信,若想得到有意义的答案,就需要一个受到更多约束、包含更多知识的搜索空间。我认为当时确实如此。现在仍有一个问题:一种完全不依赖知识的方法——构建模型时不加入任何先验知识——会不会成为解决方案?

54:00今天它实际上还不是解决方案,因为,用于图像的卷积神经网络架构,与用于语言的网络类型非常不同,又与用于语音、生物学或其他应用的网络不同。为了获得正确的性能,网络结构中仍然需要加入一些洞见。我们能否创造出一台通用学习机器?我不知道。我想知道,是否总要在某个地方注入一些洞见,还是最终可以自行收敛。

54:48它今天实际上还不是解决方案,因为,用于图像的卷积神经网络架构,与用于语言的网络类型非常不同,又与用于语音、生物学或其他应用的网络不同。为了获得正确的性能,网络结构中仍然需要加入一些洞见。我们能否创造出一台通用学习机器?我不知道。我想知道,是否总要在某个地方注入一些洞见,还是最终可以自行收敛。

55:27所以,你做过很多有趣的工作,可能包括图模型,也涉及深度学习等。能否从较高层次谈谈,学习系统如何处理不确定性?我认为,许多机器学习模型的局限之一,是它们会给出一个答案,而你不知道自己应该多大程度相信这个答案。很多时候,相对于它自身的不确定性,这个答案的校准其实很差。即使观察神经网络最后输出的置信度,并问一个 0.8 的答案比 0.9 的答案可能性高多少,这种置信度也并没有

56:22真正以任何方式校准到该网络实际的可靠性以及可靠程度。而且,当你离训练数据越来越远时,网络往往不只是更错误,它还会对错误答案更有信心。这在很多应用领域都是严重问题。例如,医疗诊断可能是这种问题最典型的场景:假设你用某一组患者、某个患者群体的数据训练网络,

56:58而我有一个属于异常值的患者,没有任何人来查看这个病例,这名患者被交给神经网络;网络不仅给出完全错误的诊断,还对错误答案极其自信,那就可能致人死亡。

57:29所以,我认为,弄清楚如何构建能够校准自身不确定性的网络,并且能够说“你知道吗,对于这个具体数据实例,我不知道该说什么,因为我以前从未见过足够相似的东西”,对于任务关键型应用非常重要,尤其是涉及人类生命的应用,包括医疗应用,也包括自动驾驶

57:48因为你希望网络能够说:你知道吗,我完全不知道眼前这团东西是什么,它出现在其他景象的中间。我先停下来,因为我不想冒险撞到一个我无法识别的行人。有没有好的机制或思路,让学习系统在给出预测的同时,也提供这种不确定性?

58:11当然,人们已经提出了一些机制,包括贝叶斯深度学习,以及使用高斯过程的深度学习。人们提出了大量不同方法。还有一些方法会使用多个网络组成的集成,这些网络使用不同的数据子集、不同的随机起点进行训练。这些方法有时非常擅长形成一种对答案有多大把握的估计。这仍然是一个开放的研究领域。

58:46让我们谨慎地回到哲学领域。说到 AI 系统提供不确定性,像 Stuart Russell 这样的人认为,随着我们创造出越来越智能的系统,让它们充满自我怀疑非常重要。因为如果我们赋予它们越来越多的权力,要维持人类对 AI 系统的控制,或者维持人类监督——正如你刚才提到的自动驾驶汽车一样——在汽车不确定时获得人工监督非常重要,因为如果它

59:21在可能出问题的情况下仍然非常自信,那会非常麻烦。所以我想问问关于 AGI 和人类水平智能的问题。我们谈过治愈疾病,这是今天可以产生影响的某种基础性事情。但 AI 从业者也梦想着理解并创造智能。这是你会思考的事情吗?这是你会梦想的事情吗?作为计算机科学家,你认为我们已经能够开始思考这件事了吗?

59:57哎,让我把问题的不同部分拆开来。最糟糕的问题。是的,这是一个多部分的问题。我先从 AGI 的可行性谈起,然后稍微谈谈时间表,再谈谈在 AI 领域思考保护措施时需要什么控制手段。我认为,AGI 显然是一个长期存在的梦想,甚至我们这个领域早期的先驱也有这样的梦想,

60:38图灵测试等等,都是最早对这个问题的讨论。我们显然比大约 70 年前更接近它,但我认为它仍然非常遥远。如今的机器学习算法,在非常具体的问题领域中,如果看到了足够多的训练数据,确实是极其出色的模式识别器,能够做出很好的预测。

61:11你拿一个机器学习算法,把它放到一个完全不同版本的、甚至还是同一问题的场景中,更不用说不同的问题了,它就会完全失灵。所以,在使用单一知识库、单个大脑进行情境切换和解决不同问题的能力方面,我们距离一个人类幼儿的多功能性和灵活性还非常远。那我是否极度担心机器接管宇宙,想要获得更多权力而开始杀人?我不这么认为。好,先停一下。你的直觉似乎是,超级智能非常难以实现;甚至智能本身也很难。超级智能,我们还远远没有达到智能的程度。

62:07甚至仅仅是让当前系统拥有更强的泛化能力,我们都还没有解决。但我们还没有回答所有部分。我们先不谈了。我正要谈第二部分。好,那我们谈吧。不过也许还可以顺便谈另一个问题:我们会不会在“my jdoma”系统这样的系统上遇到麻烦?

62:25是的,这正是我要谈的。先总结一下 AGI 的威胁:在我看来,现在就去考虑如何防范人类水平或超人类水平的智能还为时过早,因为我们甚至还看不到那会是什么样子的轮廓。因此,如何防范它仍然非常推测性。但我们确实已经可能、也确实已经在更狭窄的系统上遇到麻烦了。这在很大程度上是因为我们构建的系统

63:08越来越复杂,也越来越难以理解;改变一些看似微小的东西,可能产生不可预测的连锁反应,从而对结果造成巨大影响。顺便说,这并非人工智能独有。我认为人工智能会加剧这个问题,把它提升到新的程度。但我们的电网也非常复杂,运行金融市场的软件同样非常复杂。

63:40我们已经看到,这些连锁反应会转化为巨大的负面后果,例如由我们未曾预料到的反馈回路导致的金融崩溃。所以,我认为,在许多地方我们都需要认真思考这个问题,人工智能就是其中之一。我认为,人们思考如何提高系统可解释性非常重要;还要设计更好的测试,例如衡量一个在某组条件下训练的机器学习系统,在完全不同的条件下实际表现如何,

64:19比如,你不可能在每一个城市、村庄、天气条件等环境下测试自动驾驶车辆。但如果你在这一组条件下训练它,然后在另外 50 或 100 个与训练条件差异很大的环境中测试它,而且它表现良好,那么我就会更有信心:你没有测试的下一个 50 个环境也可能表现良好。这实际上是在测试泛化能力。所以,我认为,我们应该不断思考如何验证系统的

65:01稳健性。我认为,这与“确保机器人不会接管世界”非常不同。另一个我认为存在威胁、同样需要我们思考的地方,是技术可能被滥用的程度。像任何真正强大的技术一样,机器学习既可以被用于善,也很容易被恶意使用。

65:31这让人想到许多其他技术:人们发明了抛射物,后来它变成了枪;人们发明了核能,后来它变成了核弹。老实说,我认为,如果被滥用,基因编辑和 CRISPR 至少和机器学习一样危险。利用基因编辑,你可以制造非常糟糕的病毒之类的东西,这些风险需要格外谨慎。所以,每当我们拥有一种真正强大的新技术时,都需要认真思考。

66:19是的,就机器学习而言,我想说,各种攻击都可能发生,比如安全攻击、几乎所有类型的威胁,以及利用机器学习算法进行社会工程。还有面部识别,以及“大哥在监视你”。还有可能飞往其他国家,对人进行定点处决的杀人无人机。

66:40我不想争辩说炸弹未必更好,但如果人们想杀某个人,总会找到办法。所以,总的来说,如果你观察数据趋势,会发现战争更少了,暴力更少了,人权更多了。因此,作为人类这个物种,我们总体上做得相当不错。

67:04你乐观吗?你乐观吗?换个问法:你认为大多数人是善良的,我们从根本上倾向于走向更好的世界吗?这其实是问题背后的基础——机器学习和基因编辑最终会不会把我们带到某个好的地方?你乐观吗?我认为,总体来说,我是乐观的。

67:36我认为大多数人本意是好的。这并不意味着大多数人都是利他的行善者;但我认为大多数人本意是好的。对社会来说,建立这样的社会规范也非常重要:做好事、并且被同伴认为是好人,两者应当正相关。创造失调的社会非常容易。心理学实验,以及令人遗憾的现实事件都表明,人们可能逐渐适应这样一个世界:被同伴认为表现良好,竟然与极其残暴、甚至灭绝种族的行为相关。因此,我们确实希望维护一套社会规范,让人们知道,要成为社会中成功的一员,就应该做好事。而我有时担心的是,

68:46有些社会在这方面似乎并没有向前发展:做好人未必是让同伴认可你的原因。我认为,这是社会必须牢记的一件非常重要的事。我们很容易退回到这样一个世界:做非常坏的事也没关系,同时同伴仍然觉得你很了不起。向世界级计算机科学家和工程师提出“生命的意义是什么”这样荒谬的哲学问题很有趣。让我问问:什么赋予你的生命意义?

69:34满足感、幸福、喜悦和目标感的来源是什么?2011 年秋季我们开始创办 Coursera 时,Steve Jobs 正好在那段时间去世。所以媒体充斥着他曾说过的各种名言。其中一句话深深留在我心里,因为它与我多年前就一直有的感受产生了共鸣:我们的人生目标应该是在宇宙中留下一个印记。所以,对我来说,赋予生命意义的事情是:我希望当自己躺在临终床上,回望一生所做的事时,能够指出我曾用哪些方式让这个世界变得比我来到时更好。

70:37这是我一直告诉孩子们的话,因为我也认为,对于那些出生在特权环境中的人来说,这份责任要大得多。在某些方面,我就是这样的人。我的家庭并非超级富裕,但我在一个受过教育的家庭中长大,父母爱我、照顾我,我有机会接受良好教育,也一直有足够的食物。因此,在很多方面,与绝大多数人类相比,我出生时拥有更多特权;而且,当我思考这一点时,或者说,我很幸运拥有更多特权。

71:15我认为,尤其是对于拥有这种机会的人来说,用自己的一生让世界变得更好非常重要。我想不到更好的结束方式了。Daphne,很荣幸与你交谈。非常感谢你接受我的访谈。谢谢。感谢你收听这段与 Daphne Kohler 的对话

71:34也感谢我们的主赞助商 CashApp。请考虑下载 CashApp 并使用代码 Lex Podcast,以支持本节目。如果你喜欢节目,欢迎在 YouTube 上订阅,在 Apple Podcasts 上给五星评价,在 Patreon 上支持,或者直接在 Twitter 上联系我,我的名字是 Lex Friedman。现在,让我以古希腊医生 Hippocrates 的话结束;他被认为是医学之父。“凡是热爱医学艺术的地方,也有对人类的热爱。”

72:09谢谢。

— 读到这里,多懂一点。 —