← Lex Fridman

Vijay Kumar: 维杰·库马尔:飞行机器人

Vijay Kumar: Flying Robots

Episode 2019-09-082019-09-08简体中文

Guests: Vijay Kumar

Listen to this episode00:00 / 56:57
Reading settings
Reading preferences
Text size
Download in-depth read
Read offline

English · In-depth read · Current version

Downloads are not available yet.

§01原文文稿 · 00:00–09:55

00:00以下是与维杰·库马尔(Vijay Kumar)的对话。

00:03他是世界顶尖的机器人学家之一,

00:05宾夕法尼亚大学的教授,

00:08宾大工程学院院长,曾任 GRASP 实验室主任,

00:12也就是宾大的通用机器人、自动化、传感

00:15与感知实验室,

00:17该实验室成立于 1979 年,距今已有 40 年。

00:22维杰最为人所知的工作

00:25是多机器人系统、机器人集群

00:28和微型飞行器,

00:30这些机器人在飞行中优雅地协作,

00:34面对现实世界条件所带来的

00:36一切不确定性和挑战。

00:38这里是《人工智能播客》。

00:41如果你喜欢,请在 YouTube 上订阅,

00:44在 iTunes 上打五星,在 Patreon 上支持,

00:47或者在推特上联系我,

00:49账号是 Lex Friedman,拼写为 F R I D M A N。

00:53现在,请听我与维杰·库马尔的对话。

00:58你造过或参与制造的

01:01第一个机器人是什么?

01:02很久以前我读研究生时,

01:04我参与了一个相当大的项目,

01:06要建造一个非常大的六足机器人。

01:12它重近 7000 磅,

01:17由液压驱动,

01:21也就是用液压驱动,有 18 个电机,

01:27液压马达,每个都由一块英特尔 8085 处理器

01:34和一块 8086 协处理器控制。

01:38想象一下这个庞然大物,有 18 个关节,

01:44每个都由一台独立的计算机控制,

01:46还有第 19 台计算机,负责

01:49协调这 18 个关节。

01:52我参与了这个项目,

01:53我的论文工作是如何协调这 18 条腿?

02:02尤其是液压缸中的压力,

02:06以实现高效的运动。

02:09听起来像一团巨大的乱麻。

02:11让所有电机相互通信有多难?

02:14想必你得每秒发送信号数百次,

02:17至少如此。

02:18这不是我的工作,

02:19但做这部分工作的人写出了我认为

02:23是第一个多处理器操作系统。

02:26那是在 80 年代,你必须确保

02:30消息显然能够

02:32从一个关节传到另一个关节。

02:34你得记得那些计算机的时钟速度

02:37大约只有半兆赫。

02:39对,80 年代。

02:42我不想把这个说法浪漫化,

02:45但看到那个机器人动起来,你是什么感觉?

02:51太神奇了。

02:52事后看来,我们造的这个东西

02:55其实应该小得多。

02:57当然,今天的机器人要小得多。

02:59看看波士顿动力或 Ghost Robotics,

03:03那是宾大的衍生公司。

03:06但当时,你受限于手头的基础条件、

03:10算力,所以东西不必要地大。

03:13但同时,这只是人类心理,

03:18不知为何,越大就越宏伟。

03:21人们对纳米技术或纳米器件

03:23从来没有像对航天飞机或波音 747 那样

03:26的欣赏。

03:30是啊,你在机器人领域其实做得相当出色,

03:32说明了小即是美,

03:36尤其是在机器人方面。

03:37那么就这个话题,你见过的最美、

03:42最优雅的运动中的机器人是什么?

03:46不是要挑最爱,

03:47而是某个让你受到启发、你记得的东西。

03:51嗯,我最自豪的

03:54是我的学生们做的这件事:思考

03:57能在受限空间中机动的小型无人机,

04:00尤其是它们彼此协调、

04:03形成三维图案的能力。

04:06一旦你能做到这一点,

04:08就可以在空中创造三维物体,

04:14并让这些物体即时变形。

04:17所以在某种意义上,你能创造的东西的工具箱

04:21一下子丰富了。

04:25在那之前,我们做过二维版本。

04:27地面机器人组成图案等等。

04:31那没那么令人印象深刻,没那么美。

04:34但如果你在三维中做,

04:36悬在半空,你得回到 2011 年

04:40我们做这件事的时候,现在已经相当普遍了,

04:43八年之后做这些事已很常见。

04:45但当时这是个了不起的成就。

04:47所以分布式协作

04:50是你眼中美的所在?

04:53嗯,我认为工程师眼中的美与

04:55从外部看机器人的人眼中的美

04:59非常不同。

05:01不过我的意思是,我们之前说“宏伟”

05:04与大小相关。

05:10另一种思考方式

05:13是物理形状,

05:15以及你可以在半空中得到物理形状

05:18并让它们变形,这很美。

05:21但单个部件,

05:23敏捷性也是美的,对吧?

05:24确实也是。

05:25那么你能多快地操控

05:28这些三维形状

05:29和单个部件?

05:31是的,你说得对。

05:32不过顺便说,你说了 UAV,无人飞行器。

05:36对 drones、UAV、四旋翼飞行器,有什么好的称呼?

05:41有正在标准化的术语吗?

05:44我不知道有没有。

05:45大家都想用 drone(无人机)这个词。

05:47我常说,对我来说 drone 是个贬义词。

05:51它意味着某种笨拙的东西,

05:53预先编好程序,只做一件小事,

05:56而机器人绝不是 drone。

05:58所以我其实不喜欢这个词,

06:00但大家都这么用。

06:02你可以叫它“无人驾驶的”。

06:04无人驾驶。

06:05但即使是无人驾驶的,也可能是无线电控制、

06:08以多种方式远程控制的。

06:11我认为正确的词是,

06:12把它看作空中机器人。

06:15你还说敏捷的、自主的、空中机器人,对吧?

06:19是的,敏捷是一种属性,但它们不一定非得敏捷。

06:23那么哪种生物系统,

06:24因为你也从中汲取了很多灵感。

06:27我看到你谈过蜜蜂和蚂蚁。

06:30你发现哪些生物最能给你启发,

06:35作为工程师,对你的机器人工作最有指导意义?

06:38对我来说,蚂蚁真是了不起的生物,对吧?

06:43个体可以说构造非常简单,

06:47然而它们极其有韧性,

06:52作为一个种群。

06:53作为个体,它们也极其稳健。

06:56比如一只蚂蚁有六条腿,

07:00去掉一条腿,它仍然运转得很好,

07:04继续前行。

07:05我不知道它是否意识到自己少了一条腿。

07:09这是单只蚂蚁层面的稳健性。

07:13但再看看那种

07:15为蚁群自我保存的本能,

07:17它们以许多惊人的方式适应。

07:20比如跨越缝隙时直接把自己串成链,

07:26遇到洪水时也是如此,

07:29能够招募其他同伴

07:32来搬运大块食物,

07:35然后向不同方向外出寻找食物,

07:38并且能够达成共识,

07:43尽管它们并不像我们彼此交流那样

07:47直接沟通。

07:49在某种意义上,它们也懂得民主,

07:51也许比我们做得更好。

07:53是啊,不知怎的连民主也是涌现出来的。

07:57我们看到的所有现象

07:59似乎都是涌现的。

08:00似乎没有集中的通信者。

08:03是的,我认为人们对“涌现”这个词看得很重,

08:06而它对不同的人有很多含义。

08:09但你说得完全对。

08:10我认为作为工程师,你会思考

08:13哪些基本行为、

08:17哪些基本单元可以综合起来,

08:21使整体看起来极其强大、

08:25极其协同,

08:26整体显然大于部分之和,

08:29蚂蚁就是活生生的证明。

08:32当你看到这些美丽的集群,

08:34无论是生物系统还是机器人,

08:38你有时是否会把它们

08:40看作一个单独的、有生命的智能有机体?

08:44就像把我们人类、

08:47把人类文明看作一个有机体一样,

08:51还是说你作为工程师,

08:52仍然会考虑单个部件

08:54以及投入到单个部件中的

08:55所有工程设计?

08:57嗯,这很有意思。

08:58所以从哲学上讲,作为工程师,

09:01我们想做的是超越

09:05单个部件、单个单元,

09:08把它当作一个整体、一个有凝聚力的单元来思考,

09:11而不必担心单个部件。

09:15如果你开始执着于

09:17单个基本构件及其所做的事,

09:23你必然会发现很难扩展。

09:27仅从数学上看,

09:29想想你要建模的单个事物,

09:31如果你要有 10 个这样的事物,

09:34那你本质上是在做

09:3610 个事物的笛卡尔积,这会变得非常复杂。

09:39那么要在这样的高维空间里

09:41做任何综合或设计都非常难。

09:44所以正确的做法

09:45是以巧妙的方式思考个体,

09:49使得在更高的层面上,

09:51当你看到大量个体时,

09:53抽象地,你可以把它们

§02原文文稿 · 09:55–19:48

09:55看作处于某个低维空间。

09:57那这需要什么?

09:58对于个体,你是否必须努力让

10:02它们看世界的方式尽可能局部?

10:05另一点,

10:06你是否必须让它们对碰撞保持稳健?

10:09就像你说蚂蚁那样,

10:10某个个体失效,整个集群不会失效。

10:15对,我认为作为工程师,我们会这样做。

10:17想想看,我们造飞机,

10:19造 iPhone,

10:22我们知道通过取用单个部件,

10:26也就是设计良好、接口规定清晰、

10:30行为可预测的部件,

10:31就可以构建复杂系统。

10:34所以我认为这已根植于

10:36大多数工程师的思维之中,

10:39计算机科学家也是如此。

10:41我认为这里不同的是,你希望

10:44个体在某种意义上是稳健的,

10:49就像我们在其他场景中那样,

10:52但你也希望种群具有

10:54一定程度的韧性。

10:56所以你真的希望它们能够重新与

11:02邻居建立通信。

11:03希望它们重新思考群体行为的策略。

11:08希望它们重新组织。

11:12我认为很多挑战就在这里。

11:15那么,大致来说,

11:18一群,

11:22我们该怎么称呼它们,飞行机器人,

11:24要组成编队需要什么?

11:26为了让不熟悉

11:28机器人学的人理解,需要多少信息?

11:32没有集中控制器的情况下,

11:35你怎样让它实现?

11:39有几种不同的方式

11:41来看这个问题。

11:43如果你是纯粹主义者,

11:45你会把它看作重现自然所做之事的方式。

11:53自然界形成群体有几个原因,

11:58但主要是因为生物体

12:02保存它们的群落、

12:05种群的本能,这意味着什么?

12:09需要住所、食物、繁衍,

12:12基本上就是这些。

12:14所以你看到的互动都是自然形成的,

12:18都是局部的。

12:20它们共享的唯一信息,

12:24而且多数是间接的,同样是为了

12:27保存兽群或鸟群,

12:30或集群,要么通过寻找新的食物来源,

12:37要么通过寻找新的住所,对吧?

12:39对。

12:41而作为工程师,我们构建集群时有任务。

12:46当你想到任务,而且涉及移动时,

12:52通常是用某种

12:55全局坐标系来描述的。

12:56作为人,作为操作员、指挥官,

12:59或作为协作者,我有我的坐标系,

13:03我希望机器人与之保持一致。

13:07所以我的思考方式可能略有不同。

13:11我可能希望机器人识别那个坐标系,

13:15这意味着它们不仅要局部地思考

13:17谁是它们的近邻,

13:19还必须了解

13:20全局环境是什么。

13:24它们必须了解全局环境

13:27是什么样子。

13:28所以如果我说,包围这栋建筑

13:31并保护它不受入侵者侵扰,

13:33那么它们立刻处于一个以建筑为中心的

13:35坐标系中,我必须告诉它们

13:37建筑在哪里。

13:38它们在全局范围内协作,

13:40共同构建那栋建筑的地图。

13:41它们维护着某种全局的,

13:44不只是在建筑的坐标框架内,

13:45而是有一些信息最终被明确地

13:49构建出来,而不是隐含地,

13:53像自然界那样。

13:54对,对。

13:55所以在某种意义上,自然非常非常精巧,

13:57但自然所解决或需要解决的任务

14:01与我们不得不处理的那种工程化、

14:05人为的任务非常不同。

14:09而且,没有什么能阻止我们

14:12去解决另外那些问题,

14:15但归根结底在于影响。

14:16你希望这些集群做一些有用的事。

14:19于是你被推向这种非常不自然的,

14:24可以这么说。

14:25不自然,意思是不像自然界那样的情境。

14:29而且这样做可能比自然的方式

14:31成本更高一点,

14:33因为自然对个体的损失

14:37不那么敏感。

14:39而在机器人领域,从成本上看,

14:42我认为你对失去个体更敏感。

14:45我认为确实如此,不过如果你看

14:49机器人部件的性价比,

14:51它正在大幅下降,对吧?

14:54并且仍在持续下降。

14:56所以我认为我们正渐近地接近这样一个点:

14:58在那里,是的,

14:59个体的成本真的会变得微不足道。

15:05那我们退一步,从高层来看,

15:07这个不可能回答的问题:总体而言,

15:12一般有哪些种类的

15:14自主飞行器?

15:16我认为最受关注的

15:19显然是军用飞行器。

15:22军用飞行器由基站控制,

15:26但有大量人工监督。

15:29它们的自主性有限,

15:31也就是从 A 点到 B 点的能力。

15:34即使是现在更精密的

15:37飞行器也能自主起飞

15:40和降落。

15:41它们通常有机翼,而且很重。

15:44通常是固定翼,

15:45但也没有什么能阻止我们

15:47对直升机这样做。

15:49许多军事组织

15:52也有类似的自主直升机。

15:56顺便说,看看飞机上的自动驾驶仪,

16:00其实非常相似。

16:02事实上,我们可以问一个有趣的问题:

16:07看看所有的航空安全违规,

16:12所有发生过的坠机事故,

16:14如果飞机是真正自主的,它们还会发生吗?

16:18我认为你会发现,在很多情况下,

16:21是因为飞行员的失误,我们做了愚蠢的决定。

16:24所以在某种意义上,即使在空中交通,

16:26商业航空中,也有很多应用,

16:29尽管我们只看到自主功能

16:33在飞机处于自动驾驶的很高高度时才启用。

16:38飞机处于自动驾驶状态。

16:41人类仍然有作用,

16:42而你在暗示,那种自主性,

16:47我不知道正确的词是什么,

16:48但比它本可以达到的程度要笨一点。

16:53对,所以在实验室里,当然,

16:55我们可以更大胆得多。

16:59我们试图问的问题是,

17:04我们能否制造出无需任何外部基础设施

17:10就能做决策的机器人?

17:13这意味着什么?

17:14目前飞机使用的最常见的基础设施

17:16是 GPS。

17:20GPS 也是最脆弱的一种信息形式。

17:26如果你在城市里开车,试着用 GPS 导航,

17:30在高楼之间,你会立刻丢失 GPS。

17:32所以这不是一种很高明的

17:36构建自主性的方式。

17:37我认为它们依赖的第二种基础设施

17:39是通信。

17:41同样,通信很容易被干扰。

17:47事实上,如果你用 wifi,就知道 wifi 信号

17:51会中断,蜂窝信号也会中断。

17:53所以依赖这类东西不好。

17:58我们使用的第三种基础设施,

18:01我不愿称之为基础设施,

18:02但对机器人而言确实如此,就是人。

18:06你可以依靠某个人来驾驶。

18:09所以你想问的问题是,

18:11如果没有飞行员,没有与任何基站的

18:14通信,没有位置信息,

18:18也没有先验地图,

18:21没有对环境样子的先验知识,

18:24没有对未来可能发生之事的先验模型,

18:28机器人还能导航吗?

18:29这才是真正的自主。

18:31这才是真正的自主,我们谈到的是,

18:34你提到了无人机的军事应用。

18:36好,那还有什么?

18:38你谈到敏捷的、自主的飞行机器人,

18:42空中机器人,那是另一种,

18:45它们没有机翼,不大,至少是小的。

18:48我主要用“敏捷”这个词,

18:50或者说我们之所以做敏捷机器人,

18:53主要是因为机器人可以并且应该

18:58在受限环境中工作。

19:02而如果你想像全球鹰那样运作,

19:06你运作的条件

19:09是非常非常受限的。

19:11如果你想进入建筑内部,

19:13例如搜救,

19:15或者定位持枪行凶者,

19:18或者你想在果园的树冠下导航,

19:22观察植物的健康状况,

19:23或者寻找、清点果实,

19:28测量树干。

19:31顺便说,这些都是我们在做的事。

19:33你过去展示过一些很酷的农业应用,

19:35真的很棒。

19:37所以在这类场景中,你确实需要那种敏捷。

19:40敏捷并不一定意味着

19:42你要打破百米短跑纪录。

19:45它真正的意思是,你遇到意外情况

§03原文文稿 · 19:48–29:36

19:48并能够以安全的方式机动,

19:51而且以一种能让你获得最多信息的方式,

19:55了解你想做的事情。

19:57顺便说,你可能是唯一一个

20:00在 TED 演讲中使用数学方程的人,

20:04这很了不起,人们应该去看看你的某场 TED 演讲。

20:07其实很有意思,

20:08因为 TED 策展人克里斯·安德森

20:12告诉我,你不能展示数学。

20:15我想了想,但这就是我。

20:18这就是我们的工作。

20:20所以我觉得有必要让观众体会

20:25至少一点数学。

20:27那么就这一点,简单来说,

20:32要让一个带四个电机的东西飞起来,四旋翼,

20:37这类小型飞行机器人,需要什么?

20:41让它飞起来有多难?

20:43如何协调四个电机?

20:46如何把这些电机转化为实际的运动?

20:52这是个有趣的问题。

20:54我们从 2000 年起就一直在尝试。

20:58这也说明了当时可用的传感器

21:00和当时可用的

21:02计算机的水平。

21:05在 2000 年到 2007 年之间发生了许多事。

21:11其一是计算技术的进步,

21:14我们都知道摩尔定律,

21:16但我认为 2007 年是一个转折点,

21:19那是 iPhone 之年,云之年。

21:222007 年发生了很多事。

21:25但再往前推,

21:27惯性测量单元作为传感器真正成熟了。

21:31原因同样有很多。

21:33当然有大量联邦资助,

21:35尤其是美国的 DARPA,

21:38但他们并没有预料到 IMU 的这一繁荣。

21:42但你看,随后发生的是,

21:46每个汽车制造商都必须装安全气囊,

21:50这意味着车上必须有加速度计。

21:52这就拉低了性价比。

21:55哇,我早该知道这个。

21:56这很有意思。

21:57这种联系很有意思。

21:59这就是为什么研究很难,

22:01很难预测结果。

22:04而且联邦政府花了大笔资金

22:07在他们认为对谐振器有用的东西上,

22:12结果却促成了这些小型无人机,这很棒,

22:16因为我永远不可能筹到那么多钱,

22:18去推销这个项目:

22:20嘿,我们想造这些小型无人机,

22:22你们能资助低成本 IMU 的开发吗?

22:25那你为什么需要 IMU 上的 IMU?

22:27我稍后再回到这个问题。

22:31所以在 2007、2008 年,我们能够造出这些。

22:33然后你问的问题很好:

22:35如何协调电机来实现这个?

22:40但在过去 10 年里,一切都商品化了。

22:43今天的高中生可以拿起

22:46一套树莓派套件就造出这个。

22:50所有底层功能都已自动化。

22:54但基本上在某个层面上,

22:56你必须以正确的转速驱动电机,

23:01正确的速度,

23:04以产生适当的推力,

23:07从而按你需要的方式定位并调整姿态,

23:10才能飞行。

23:13你得到的反馈来自机载传感器,

23:16IMU 是其中重要的一部分。

23:18IMU 告诉你加速度是多少,

23:23以及角速度是多少。

23:26这些都是重要的信息。

23:30除此之外,你还需要某种局部位置

23:34或速度信息。

23:37例如,当我们走路时,

23:39我们隐含地拥有这些信息,

23:41因为我们大致知道自己的步幅。

23:46我们还会看着图像从视网膜上掠过,

23:51可以这么说,从而估计速度。

23:54我们头部还有加速度计,

23:56能够整合所有这些信息,

23:59以确定走路时我们所在的位置。

24:02机器人也必须做非常类似的事。

24:04你需要 IMU,需要某种摄像头

24:08或其他测量速度的传感器,

24:12然后你需要某种全局参考系,

24:15如果你真想考虑做某件事,

24:19在世界坐标系中。

24:21那么如何估计你相对于

24:23那个全局参考系的位置?

24:25这同样重要。

24:26所以协调四个电机的转速,

24:29首先让你能够飞行和悬停,

24:32然后你可以改变姿态

24:35和速度等等。

24:37没错,没错。

24:38所以这涉及一些自由度,

24:40也就是你在抱怨的问题。

24:41有六个自由度,

24:42但你只有四个输入,也就是四个电机。

24:44结果这是一种极其多用途的构型。

24:50起初你会想,我只有四个电机,

24:53怎么横着走?

24:55但不难想到,如果我倾斜自己,

24:57就能横着走,而且你的四个电机

25:00都朝上,那我怎样绕竖直轴

25:03原地旋转?

25:05嗯,让它们以不同转速旋转,

25:07就会产生反作用力矩,

25:09从而让你转向。

25:11所以从工程师的角度看,

25:14这其实是一种最优的构型。

25:18它非常简单,设计得非常巧妙,而且用途广泛。

25:23如果你能回到当时,

25:27我一直了解的飞行机器人,

25:31在我看来,四旋翼能飞是理所当然的。

25:35但当你最初开始研究它时,

25:38你有多惊讶,用四个电机

25:42竟能做那么多事?

25:45让这个东西飞起来有多令人惊讶,

25:47首先,你能让它悬停,

25:49你能给它加上控制?

25:52首先,这四个电机的构型

25:55不是我们发明的。

25:56它至少有一百年的历史。

26:00各种各样的人尝试让四旋翼

26:04飞起来,但没有太大成功。

26:08正如我说的,我们从 2000 年就开始做这件事。

26:10我们最初的设计是,嗯,这太复杂了。

26:14何不尝试做一个全向飞行机器人?

26:18所以我们早期的设计有八个旋翼。

26:21这八个旋翼均匀地排布在

26:26一个球面上,可以这么说。

26:28你可以想象一个对称的构型。

26:30所以你应该能飞向任何方向。

26:33但我们遇到的真正挑战是强度重量比

26:36不够。

26:37当然,我们也没有传感器等等。

26:40所以大家都知道,至少那些

26:43研究旋翼飞行器的人知道,

26:44四个旋翼就能搞定。

26:47所以这并不是我们的主意。

26:49但过了一段时间,我们才真正能够做到

26:52所需的机载传感和计算,

26:56以实现我们想在小型空中机器人上

27:01完成的那种敏捷机动。

27:03这在我们实验室里只发生在 2007 到 2009 年之间。

27:07是的,而且你必须

27:09每秒发送大约一百次信号。

27:12所以算力、一切都得降价。

27:15那么从 A 点到 B 点的步骤是什么?

27:21我们刚才谈了局部控制。

27:25但对于我见你展示过的所有那些

27:30在空中炫酷的舞蹈,你是怎么实现的?

27:34如何生成轨迹?

27:37首先,好,得确定一条轨迹。

27:40也就是规划轨迹。

27:41然后如何让这条轨迹得以实现?

27:44是的,我认为规划是机器人学中

27:47一个非常基础的问题。

27:48我想十年前它还是个深奥的东西,

27:50但如今有了自动驾驶汽车,

27:53人人都能理解这个基本概念:

27:55汽车看到一大堆东西,

27:57它必须保持车道,或者右转,

28:00或者变道。

28:01它必须规划轨迹。

28:02必须安全,

28:03必须高效。

28:04所以大家都熟悉这一点。

28:06当你说到自主性时,这就是你首先要考虑的

28:10一步。

28:14所以对我们来说,就是找到平滑的运动,

28:19安全的运动。

28:21所以我们考虑这两件事:

28:22一是最优性,二是安全性。

28:24显然你不能在安全上让步。

28:28所以你在寻找安全、最优的运动。

28:31你还得考虑的另一点是,

28:34你能否在很短的时间内

28:38计算出合理的轨迹?

28:40因为你有时间预算。

28:42所以最优会变成次优,

28:45但我们实验室专注于合成平滑的轨迹,

28:51满足所有约束。

28:53换言之,不违反任何安全约束,

28:58并尽可能高效。

29:02我说的高效,

29:04可能是想尽快从 A 点

29:06到达 B 点,

29:08或者想尽可能优雅地到达,

29:12或者想消耗尽可能少的能量。

29:15但始终保持在安全约束之内。

29:18总之,始终要找到一条安全的轨迹。

29:22机器学习领域有很多令人兴奋的进展,

29:25在机器学习领域,

29:27包括强化学习

29:29以及它的神经网络变体,

29:32也就是深度强化学习。

29:33你认为机器学习有没有作用?

§04原文文稿 · 29:36–38:35

29:36飞行机器人的许多成功

29:40并不依赖机器学习,

29:42也许除了感知方面的一点,

29:45即计算机视觉方面。

29:46在控制和规划方面,

29:48你认为未来机器学习

29:50会有作用吗?

29:51让我稍微不同意你一下。

29:53我想在我的工作中也许从未点明过,

29:56点明“学习”,

29:57但即使是这个非常简单的想法:能够飞过

30:00受限空间。

30:02第一次尝试时,你总会,

30:05如果任务有挑战性,你可能会做错。

30:08原因是要把它做得完全正确,

30:12你必须对环境中的一切建模。

30:15而飞行是出了名难以建模的。

30:19我们不断发现各种空气动力学效应。

30:26就在我和你交谈之前,

30:29我还在和一个学生谈叶片

30:33在飞行时如何拍动。

30:35这最终会改变旋翼飞行器

30:40在角方向上的加速方式。

30:43是用了类似微型襟翼之类的吗?

30:46不是微型襟翼。

30:47我们假设每个叶片是刚性的,

30:49但实际上它会稍微拍动,

30:51会弯曲。

30:52有意思,是的。

30:53所以这些模型依赖于这个事实,

30:56依赖于它们不是刚性的假设。

30:58依赖于它们其实是刚性的假设,

31:00但这并不成立。

31:02如果你飞得非常快,

31:03这些效应就会变得显著。

31:06如果你贴近地面飞行,

31:09就会被地面推开,对吧?

31:12每位飞行员在尝试降落时都知道这一点,

31:14这叫作地面效应。

31:18很少有飞行员考虑到的是,

31:21当你靠近天花板,

31:23或被吸向天花板时会发生什么。

31:25很少有飞行器

31:26会贴近任何天花板飞行。

31:29同样,当你靠近墙壁时,

31:33会有这些墙面效应。

31:35如果你乘过火车,

31:37与另一列反方向行驶的火车

31:39擦身而过,你会感到气流的冲击。

31:42所以这类微气候

31:45会显著影响我们的无人机。

31:47所以如果你想……

31:48而它们基本上是不可能建模的。

31:50我不会说它们不可能建模,

31:52但你在模型和软件中所需的复杂程度

31:54将会是巨大的。

32:00而且,把一切都做对会极其繁琐。

32:02所以我们的做法是,随着时间推移,

32:05弄清楚如何适应这些条件。

32:10早期,我们使用的学习形式

32:13叫作迭代学习。

32:15这个想法是,如果你想执行一项任务,

32:18有一些东西需要改变,

32:22需要对几个参数进行迭代,

32:24随着时间推移你可以把它们弄清楚。

32:29我可以把它叫作策略梯度强化学习,

32:33但实际上它就是迭代学习。

32:34迭代学习。

32:36这在很早以前就有了。

32:37我认为有意思的是,

32:39看今天的自动驾驶车辆,

32:43学习可以发生在两个部分:

32:45一是感知,理解世界;

32:47二是行动,采取行动。

32:50我见过的所有成功的东西

32:52都在感知方面。

32:54在计算机视觉方面,

32:55过去 10 年我们取得了惊人的进步。

32:57比如识别物体、检测物体、

33:01对它们分类并在某种意义上加标签、

33:06标注。

33:07这些都是通过机器学习完成的。

33:09而在行动方面,

33:12我不知道有任何例子,

33:13在实际部署的系统中

33:15我们真正学习到

33:17正确的行为。

33:20除了单次演示成功之外。

33:22在实验室里,这是圣杯。

33:24你能做端到端的学习吗?

33:26能从像素直接到电机电流吗?

33:30这真的非常非常难。

33:32我认为往前看,

33:35思考这些事情的正确方式

33:37是数据驱动的方法、

33:40基于学习的方法,

33:42与基于模型的方法协同,

33:45后者是传统的做法。

33:47所以我认为每一种方法

33:48都有其作用。

33:51那么你怎么看,

33:52既然你提到了自动驾驶车辆,

33:53我跳出话题问一下,

33:56你认为感知方面的极限是什么?

33:58我和埃隆·马斯克谈过,

34:01在感知方面,

34:03他们主要使用计算机视觉

34:05来感知环境。

34:08在你的工作中,

34:09因为你大量接触现实世界

34:12和物理世界,

34:13计算机视觉的极限是什么?

34:15你认为我们能否只靠视觉和机器学习,

34:19在感知方面

34:20解决自动驾驶车辆的问题?

34:24我们也有一家衍生公司,

34:27Exyn Technologies(原文转写为 Exxon),在地下矿井中作业。

34:31矿井里又暗又脏。

34:36你在脏污的区域飞行,

34:38螺旋桨会扬起东西,

34:41下洗气流会扬起灰尘。

34:42我挑战你让计算机视觉算法

34:45在那里工作。

34:46所以在那种场景我们用激光雷达。

34:51在室内,甚至在室外飞越田野时,

34:55我认为只用计算机视觉

34:57来解决问题有很大潜力。

35:01但我认为更大的问题是,

35:02你能否真正解决,

35:06或者说你能否真正识别出所有极端情况,

35:09只使用单一传感模态并仅靠学习?

35:13你对此的直觉是什么?

35:15你看,如果你遇到一个极端情况,

35:17你的算法不起作用,

35:20你的本能是去获取这个极端情况的数据

35:23并修补,学会处理这个极端情况。

35:27但到了某个时候,这会达到饱和,

35:32这种方法就行不通了。

35:34所以今天,计算机视觉算法能检测到

35:3890% 的物体,或者说 90% 的时候能检测到物体,

35:4190% 的时候能正确分类。

35:43互联网上的猫图大概能做到 95%,我不知道。

35:47但要从 90% 提高到 99%,需要多得多的数据。

35:52然后我告诉你,这还不够,

35:54因为我有一个安全攸关的应用,

35:56我想从 99% 到 99.9%。

36:00那需要更多数据。

36:01所以我认为,如果你把想要的精度放在 X 轴上,

36:09把数据量放在 Y 轴上,

36:14我相信那条曲线是指数曲线。

36:16哇,好吧,就算是线性的也很难。

36:19线性也很难,完全如此,

36:20但我认为是指数的。

36:22你还得考虑的另一点是,

36:24这个过程是个非常非常耗电的过程,

36:29要运行数据中心或服务器。

36:32耗电,你是指字面意义上的电力吗?

36:34字面意义上的电力,就是电力。

36:362014 年,五年前,我没有更新的数据,

36:41美国 2% 的电力消耗来自数据中心。

36:48我们把这看作信息科学

36:52和信息处理的问题。

36:54实际上它是一个能量处理的问题。

36:57所以除非我们找到更好的方式,

37:00否则我认为这行不通。

37:02说到驾驶,这是安全攸关的应用,

37:06飞行的某些方面也是安全攸关的,

37:10也许是个哲学问题,也许是工程问题,

37:12你认为哪个问题更难解决,

37:15自动驾驶还是自主飞行?

37:18这真是个有趣的问题。

37:19我认为自主飞行有几个

37:25自动驾驶没有的优势。

37:29你看,如果我想从 A 点到 B 点,

37:32我有一条非常非常安全的轨迹:

37:34垂直上升到最大高度,

37:36水平飞行到几乎目的地上方,

37:39然后垂直下降。

37:42这是预先编好程序的。

37:45在自动驾驶汽车领域,很难找到与之对应的东西,

37:48因为你在地面上,

37:51在一个二维表面上,

37:53而二维表面上的轨迹

37:56更有可能遇到障碍物。

38:00我是从直觉上说的,但在数学上也成立。

38:03在数学上这也是对的。

38:06在二维空间中还有其他选择,比如车队编队,

38:10或者因为障碍物太多,

38:11你可以与那些障碍物相连,

38:13诸如此类的选项。

38:14当然,但这些在三维空间中同样存在。

38:16确实存在。

38:17所以这个问题也隐含着,在飞行的三维空间中

38:21障碍物有多难处理?

38:23这就是缺点。

38:25我认为在三维空间中,

38:26你要对三维世界建模,

38:29不只是因为你想避开它,

38:31还因为你想对它进行推理,

38:33并想在三维环境中工作,

§05原文文稿 · 38:35–48:13

38:35这要困难得多。

38:37这是一个劣势。

38:38第二个劣势当然是,

38:41每次飞行,你都得忍受

38:43空气动力学的种种特殊性

38:46及其复杂的环境。

38:48如何应对这些?

38:49这始终是个问题。

38:51你认为未来会有这样一个时候吗,

38:55你提到了农业应用。

38:58飞行机器人有很多应用,

39:01但你认为未来是否会出现

39:03成千上万、

39:05甚至数十万的送货无人机

39:08布满天空,也就是送货飞行机器人?

39:12我认为末端配送

39:14有很大的潜力。

39:15在拥挤的城市里,

39:19比如你去香港这样的地方,

39:21光是过河就可能要半小时,

39:24而无人机最多五分钟就能飞过去。

39:29我想你可以看看向偏远村庄运送物资。

39:35我与一家名为 Weave Robotics 的非营利组织合作。

39:38他们在秘鲁亚马逊地区工作,

39:40那里仅有的“公路”

39:44就是河流。

39:47从 A 点到 B 点可能要五个小时,

39:52而用无人机,30 分钟就能到。

39:56所以仅仅是运送药品、

39:59取回样本以检测疫苗,

40:05我认为这里有巨大的潜力。

40:07所以我认为挑战不在技术上,

40:09而在经济上。

40:12我要告诉你一件没人考虑的事,

40:15那就是我们在电池技术上

40:18并没有取得巨大的进步。

40:20是的,电池确实在变得便宜,

40:23因为有这些超级工厂陆续建成,

40:26但它们都基于锂电技术。

40:28如果你看能量密度

40:31和功率密度,

40:33这是两个根本性的限制数值。

40:38功率密度很重要,

40:39因为无人机要垂直起飞升空,

40:42大多数无人机都是这样,它们没有跑道,

40:46在小尺寸下每公斤大约要消耗 200 瓦。

40:51这很多,对吧?

40:53相比之下,整个人脑消耗不到 80 瓦,

40:57整个人脑。

40:59想象一下,仅仅是把自己托到空中

41:03就像两三个灯泡的功率,

41:06这对我来说说不通。

41:07是的,所以你必须在规模上

41:10解决能源问题,

41:12给电池充电,储存能量等等。

41:18然后储存是第二个问题,

41:20储存限制了航程。

41:22但你要记住,单位时间内

41:28你得消耗很多。

41:31所以消耗是另一个问题。

41:32那是一个功率问题。

41:34是的,凭你的直觉,你认为

41:38电池领域即将出现突破吗?

41:44这个问题有多难?

41:46你看,有很多公司

41:47承诺做自主的、

41:53清洁的飞行汽车。

41:59我认为它们过度承诺了。

42:01自主这一块可行。

42:04清洁这一块,我不这么认为。

42:08我还与另一家公司合作,叫 JetOptra。

42:11他们制造小型喷气发动机。

42:15可以轻松达到每小时 50 英里,

42:18并举起 50 公斤。

42:19它们是喷气发动机,效率很高,

42:23比电动车吵一点,

42:26但能造出飞行汽车。

42:28你的感觉是,有很多要素

42:32已经汇聚到了一起。

42:33那么关于这个疯狂的问题,

42:37看看 Kitty Hawk 这样的公司,

42:39做电动的,也就是清洁的,

42:43我和塞巴斯蒂安·特龙谈过,对吧?

42:45这是个疯狂的梦想,对吧?

42:48但你大量接触飞行。

42:52你之前提到载人飞行

42:55或者载运人体非常难。

43:01那么飞行汽车有多疯狂?

43:04你认为会有那么一天吗,

43:05我们有了足够便宜的

43:11垂直起降飞行器,

43:14以至于我们会看到大量这样的飞行器?

43:17它们看起来就像我们想到飞行汽车时

43:19所梦想的样子。

43:21是的,像《杰森一家》。

43:22《杰森一家》,是的。

43:23你看,有很多聪明人在做这件事,

43:25有塞巴斯蒂安·特龙这样的人在做,

43:29你就永远不能说什么事不可能。

43:32所以我完全认为这是可行的。

43:35我再次质疑的是电动这一块。

43:38电动这一块,是的。

43:39对短距离来说,你可以做到。

43:41也没有理由认为

43:43这些都必须是旋翼飞行器。

43:45你垂直起飞,

43:46然后转变为前飞。

43:49我认为有很多有趣的设计。

43:51对我来说,问题是这些在经济上可行吗?

43:56如果你同意用化石燃料来做,

43:59它立刻就变得可行了。

44:01这是一个真正的挑战。

44:03你认为机器人和人类

44:06能否成功地协作完成任务?

44:08我交谈、合作过的许多机器人学者,

44:13觉得人类只会给画面增添一大团乱麻。

44:18所以最好在解决具体任务时

44:20把他们排除在考虑之外。

44:22人很难建模,

44:23而且是一个不确定性的来源。

44:26在你研究这些敏捷飞行机器人的工作中,

44:32你认为与人类协作有作用吗?

44:35还是最好以不包含人类的方式

44:38对任务建模?

44:43嗯,我认为我们永远不应该

44:46在没有人类的情况下考虑机器人。

44:48归根结底,机器人存在,是因为我们希望它们

44:50为人类解决问题。

44:54但这个问题没有通用的解决方案。

44:58我认为,看人与机器人的交互

45:00以及人类如何与机器人互动,

45:02我们大致从三个不同的角度来考虑。

45:05一是人指挥机器人。

45:08二是人与机器人协作。

45:12例如,我们研究机器人如何

45:15与人一起拾取并搬运东西。

45:18这就像真正的协作。

45:20第三,我们把人类视为旁观者,

45:25比如自动驾驶汽车,人的角色是什么,

45:27自动驾驶汽车如何

45:30识别人类的存在?

45:32我认为所有这些都是不同的场景。

45:35这取决于什么样的人,什么样的任务。

45:39我认为很难说

45:41我们对此有一套通用理论。

45:45但与此同时,说我们应该脱离人类

45:48来考虑机器人,也是愚蠢的。

45:52所以对我来说,人机交互

45:55几乎是我们所做一切中必不可少的方面。

45:59是的,但到什么程度呢,你怎么想,

46:02比如我们转到自动驾驶车辆,

46:05有一场大辩论,是所谓的

46:08L2 和 L4 之争,

46:10也就是半自动驾驶与自动驾驶车辆。

46:13目前至少特斯拉的做法

46:16涉及大量人机协作。

46:18人类被要求主动监督

46:22机器人的运行。

46:23在这种情况下,机器人有多安全的安全定义的一部分

46:29是人类监控它的效率有多高。

46:32你认为这种让人类在其中的做法

46:37最终不是个好办法吗?

46:42人类不是作为旁观者或基础设施的一部分,

46:47而是真正作为确保系统安全

46:50所需要的一部分?

46:51这比听起来难。

46:53我想,你知道,如果你,

46:58我相信你在高速公路等地方开过车。

47:01要把控制权交给机器,

47:06又在需要时接管,真的非常难。

47:10所以我认为特斯拉的做法很有意思,

47:12因为它允许你周期性地

47:14与汽车建立某种接触。

47:18而丰田则在考虑

47:20共享自主或协作自主这一范式。

47:24我想说,这些都是非常非常简单的

47:27人机协作方式,

47:29因为任务相当无聊:

47:31你坐在车里,从 A 点到 B 点。

47:35我认为对我来说更有意思的是,

47:37例如搜救。

47:38有人类第一响应者,也有机器人第一响应者。

47:43我得做点什么。

47:45这很重要。

47:46我必须在两分钟内完成。

47:47建筑在燃烧,

47:49发生了爆炸,

47:50已经倒塌。

47:51我该怎么做?

47:52我认为对我来说,那才是有意思的事,

47:54非常非常非结构化。

47:57人的角色是什么?

47:58机器人的角色是什么?

48:00显然,有很多有趣的挑战,

48:02这是一个领域。

48:03我认为我们会在这个领域取得很大进展。

48:05是的,这是一种令人兴奋的协作形式。

48:07你说得对。

48:08在自动驾驶中,主要的敌人

48:11就是人类的无聊。

§06原文文稿 · 48:13–56:46

48:13是的。

48:13而在救援行动中,

48:15那是真正的生死攸关。

48:18而协作使任务

48:22得以有效完成。

48:23所以这很令人兴奋。

48:24在某种意义上,我们也在做这件事。

48:27想想人驾驶汽车,

48:30几乎总是,人在试图

48:33估计汽车的状态,

48:35估计环境的状态等等。

48:37但如果让汽车来估计人的状态呢?

48:40比如,我相信你有一部智能手机,

48:41手机会试图弄清你在做什么,

48:44并向你发送提醒,还常常告诉你

48:48开车去某个地方,

48:49尽管你根本无意去那里,

48:51因为它认为你应该在那里,

48:53依据的是某条 Gmail 日历条目

48:57之类的东西。

48:58它在不断地试图弄清你是谁、

49:01你在做什么。

49:02如果汽车也这样做,

49:04也许会让驾驶员更安全,

49:06因为汽车会试图弄清

49:08驾驶员是否在集中注意力,

49:09观察他或她的眼睛,

49:12观察昼夜节律相关的动作。

49:14所以我认为潜力是存在的,

49:16只是从反方向来看,

49:18不是机器人建模,而是人类建模。

49:21更多是针对人,对。

49:22我认为机器人可以很好地

49:25为人类建模,只要你真正考虑这样的框架:

49:29一个人坐在驾驶舱里,

49:32周围是传感器,全都盯着他,

49:35除了盯着外面,

49:37也盯着他。

49:39我认为这里确实存在协同。

49:40是的,我喜欢这个问题,

49:42因为它是 21 世纪心理学的新形式,

49:45其实是由 AI 赋能的心理学。

49:48许多人受科幻启发,对

49:51波士顿动力那样的行走机器人感到恐惧。

49:54如果你看看 Netflix 上的节目等等,

49:56或者你研究的那类飞行机器人,

49:59你如何看待这些恐惧?

50:03你会如何缓解这些恐惧?

50:05你自己是否也有类似的隐忧和回响?

50:09每当我们开发一项

50:11旨在给世界带来积极影响的技术时,

50:14总会有这样的担心:

50:17有人可能会颠覆这些技术,

50:21把它用于敌对场景。

50:23机器人学也不例外,对吧?

50:25我认为把机器人武器化非常容易。

50:29我们谈到了集群。

50:31我非常担心的一点是,

50:33要让集群工作,

50:35并可靠地完成某件事,真的很难。

50:38但假设我面临这样的挑战:

50:42要摧毁某样东西,

50:44我有一群机器人,

50:45而集群中只需要有一个

50:47到达目的地。

50:48那就突然变得容易得多。

50:52所以我担心

50:54这种用大量智能体

50:56搭配自主性的一般思路。

51:00话虽如此,你看,

51:01这些技术中有很多还不太成熟。

51:03我最喜欢的一句话是,

51:06如果必须有人来开发这项技术,

51:10你不是更愿意让好人来做吗?

51:12好人对这项技术有很好的理解,

51:13因此他们能弄清

51:15这项技术正被怎样恶意使用,

51:18或可能被怎样恶意使用,并试图加以防御。

51:21所以我们对此思考很多。

51:22我们在研究

51:25比如如何防御集群。

51:28这很有意思。

51:29事实上,国家科学院有一份关于

51:32反无人机系统技术的报告。

51:36这是一个真实的威胁,

51:38但我们也在思考如何防御,

51:40并了解集群如何运作。

51:42我认为了解自主性如何运作非常重要。

51:47所以这不只是政治家的事?

51:49你认为工程师在这个讨论中有作用吗?

51:51当然。

51:52我认为政治家可以对技术

51:55不闻不问的日子已经过去了。

51:59我认为每位政治家都需要

52:03懂技术。

52:05我常说,技术是新的博雅教育。

52:09理解技术将如何改变你的生活,

52:12我认为很重要。

52:14每个人都需要理解这一点。

52:18也许我们还可以选一些工程师

52:20到公职岗位上去。

52:22机器人学中最大的开放问题是什么?

52:24你说过某种意义上我们还处在早期。

52:27我们希望在机器人学中解决哪些问题?

52:31我认为有很多问题,对吧?

52:32但我会这样表述。

52:36看看我们正在制造的机器人,

52:39它们仍然非常依赖于

52:43执行特定任务和特定场景。

52:46我认为,如何让它们在

52:49广泛得多的场景中运作,

52:53在非结构化环境中事物会变化的情况下,

52:58这个问题还悬而未决。

52:59想想自动驾驶汽车。

53:02今天我们可以在停车场里造出自动驾驶汽车,

53:05可以在停车场里实现 L5 自主。

53:10但你能在意大利那不勒斯或印度孟买的街道上

53:13实现 L5 自主吗?

53:16不能。

53:17所以在某种意义上,当我们思考机器人学时,

53:22必须考虑它们在哪里运作、

53:25什么环境、什么任务。

53:27我们完全不明白

53:29如何把这两者结合起来。

53:32所以我们在把它应用于物理世界方面,

53:34还处在非常早期的阶段。

53:35我其实刚去过那不勒斯。

53:38而且视你把它应用到哪个地区,

53:42存在不同层次的难度和复杂性。

53:45我认为是这样。

53:46而我们没有系统性的方法来理解这一点。

53:51大家都说,仅仅因为计算机

53:53现在能在任何棋类游戏中击败人类,

53:56我们就肯定了解了一些关于智能的东西。

53:59这不对。

54:01计算机棋类游戏是非常非常结构化的。

54:04相当于在亨利·福特的工厂里工作,

54:08零件过来,你装配,然后继续。

54:11那是一个非常非常非常结构化的场景。

54:14那是最容易的事。

54:15而我们知道怎么做。

54:18你在宾夕法尼亚大学的 GRASP 实验室

54:20做了许多了不起的工作。

54:23你现在是宾大工程学院院长。

54:26你对一个满怀憧憬、对机器人、AI 或工程感兴趣的

54:31新本科生有什么建议?

54:34我认为主要有三点。

54:36第一,你必须习惯这样的想法:

54:40五年后,或者四年后你毕业时,

54:42世界将不再是现在的样子,对吧?

54:45这真的很难做到。

54:46所以关于预测未来,

54:48我们每个人都需要始终

54:50尝试预测未来。

54:53不是因为你会擅长,

54:54而是通过思考它,

54:56你会磨砺感知,变得更聪明。

55:00这是第一点。

55:02第二点,这是第一点的推论,

55:05就是你真的不知道什么将变得重要。

55:09所以我要专攻某个方向、

55:12从而让我朝特定方向发展的想法,

55:15也许有意思,

55:16但同样重要的是拥有这种广度,

55:18让你有一个起跳点。

55:22我认为第三点,

55:23这也是我认为宾大的强项。

55:25我们教工程,

55:27但总是在博雅教育的背景下。

55:29总是在社会的背景下。

55:32作为工程师,我们不能忽视这一点。

55:35所以我认为这很重要。

55:37但我认为人们在做机器人时

55:39低估的一点

55:40是数学基础的重要性,

55:43表示方式的重要性。

55:47并非一切都能靠

55:50在网上找 ROS 软件包

55:52或找到一个有效的深度神经网络来解决。

55:56我认为表示问题是关键,

55:59即使对机器学习也是如此,

56:00如果你希望实现或走向可解释 AI,

56:05就必须有某种

56:07你能理解的表示。

56:09所以如果你想做机器人,

56:11也应该学数学。

56:12你还提到博雅教育,一点文学。

56:16如果你想造机器人,

56:17就应该读陀思妥耶夫斯基。

56:19我同意。

56:20很好。

56:21维杰,非常感谢你今天的交谈。

56:23这是我的荣幸。

56:24谢谢。

56:25这是一场非常令人兴奋的对话。

56:26谢谢。

— A LITTLE MORE TO THINK ABOUT. —