Tuomas Sandholm：扑克与博弈论
Tuomas Sandholm: Poker and Game Theory
Guests: Tuomas Sandholm
Full transcript · Read the full conversation in order, with its original context.
Contents1 chapter
§01原文文稿 · 00:00–1:06:07§01原文文稿 · 00:00–1:06:07
下面是与 Thomas Sandholm 的对话。他是 Same You 的教授，也是 La Bradas 的共同创作者；La Bradas 是第一个在单挑无限注德州扑克中击败顶尖人类选手的 AI 系统。他发表了 450 多篇关于博弈论和机器学习的论文，其中包括 2017 年在 NIPS（现已更名为 NeurIPS）获得的最佳论文。我就是在那次会议期间与他进行这次对话的。他的研究和公司对现实世界产生了广泛影响，尤其是因为他和团队不仅提出新的想法，还构建系统来证明这些想法在现实世界中有效。
这次对话是麻省理工学院人工通用智能课程和人工智能播客的一部分。如果你喜欢这期节目，欢迎在 YouTube、iTunes 上订阅，或在 Twitter 上联系我；我的名字 Lex Friedman 拼写为 F-R-I-D。现在，开始听我与 Thomas Sandholm 的对话。请为不熟悉这项纸牌游戏的人大致介绍一下单挑德州扑克。好的。单挑无限注德州扑克已经成为 AI 社区中的主要基准，用来测试与应用无关的不完全信息博弈求解算法；这是一种不完全信息博弈，而且确实有人类在玩。
你在电视或赌场里不太常见到它，原因有很多，但在一些高水平赌场中可以看到，也能在最好的扑克电影中看到。它还是世界扑克系列赛中的一个项目，不过它主要在线上进行，通常涉及相当大额的资金。后面的芬兰语片段无法可靠辨识，未据此补写内容。
后续大段芬兰语 ASR 片段无法可靠辨识；我保留这一缺口，不根据上下文猜测或补写。
那是我不知道的地方。不是像棋盘上的棋子那样，双方都能清楚看到所有信息。在德州扑克中，有两张牌只有你自己能看到，它们发到你手中。对，然后还会逐步发出一些牌，最终总共五张牌是所有人都能看到的。开头的芬兰语片段无法可靠辨识，未据此补写。
对。不完全信息的性质就在于你一开始拿到的两张底牌。正如你所说，每个人先私下拿到两张牌，然后进行一轮下注；接着桌面上公开三张牌，再进行一轮下注；然后桌面上公开第四张牌，再进行一轮下注；最后把第五张牌放到桌面上，再进行一轮下注。所以总共有四轮下注，也可以说有四次信息揭示。只有第一批信息是私密的，之后的信息都是公开的。这大概是最——
——受欢迎的不完全信息游戏，无论在 AI 社区还是普通大众中都是如此。所以它可能也是最受欢迎的观赏游戏，这正是它非常令人兴奋的原因。它的受欢迎程度大致可以与国际象棋相比；在 AI 领域，人们常把它作为衡量智能的标准。2017 年，Libratus——这个名字该怎么发音？Libratus。Libratus。Libratus 击败了……这里有一点拉丁语的味道。确实，有一点拉丁语的味道。
Libratus 击败了几位顶尖人类牌手。你能介绍那次事件、从中学到的东西，以及整个过程吗？对于没有读过相关论文和研究的人来说，那次活动邀请了排名前十的四位牌手，他们尤其擅长单挑无限注德州扑克；这一点很重要，因为这种游戏与多人版本实际上很不一样。我们把他们请到匹兹堡，在河流赌场（Rivers Casino）进行了 20 天的比赛。我们希望打满 12 万手，因为需要统计显著性。即使这些平时打牌很快的顶尖职业牌手，也很难让一个人完成这么多手牌。因此，他们连续 20 天基本从早到晚进行比赛。
我筹集了 20 万美元作为他们参赛的小额激励，奖金并不是每人固定拿到 5 万美元，而是根据他们各自对阵 AI 的表现发放。因此，无论领先很多、落后很多，还是正好处于能否击败 AI 的临界点，他们都有动力尽可能认真地比赛。可惜你不能赢钱。对，我们不能让他们赢钱。实际上，几年前我曾研究过是否能进行真钱比赛，因为和顶尖选手进行金钱对局当然也很有意思，但——
——宾夕法尼亚州博彩委员会说不行，所以我们无法这样做。这更像是音乐家或拳击手参加的一场表演赛。不过你们仍然记录着金钱，而且我想 Libratus 赢了接近 200 万美元。如果是真钱、如果你们能赚到这些钱，那会是非常令人印象深刻、鼓舞人心的成就。再问几个细节：牌手们当时看到了什么？
他们是在电脑前吗？界面是什么样的？他们的操作方式和往常差不多。顶尖牌手通常在线上玩这项游戏，所以已经习惯了通过用户界面操作，这次也是如此。可以想象，屏幕上有一张牌桌，人坐在一边，AI 坐在另一边；屏幕会显示发生的一切、发出的牌以及进行的下注。我们还为人类牌手提供了下注历史。如果牌手忘了这一手牌到目前为止发生了什么，就可以回看，所以如果牌手忘了——
——他们可以查阅之前的下注记录。为什么要让他们看到下注历史？其实这并不重要。他们本来也不会忘记；这些都是顶尖牌手。我们只是把这个功能提供给他们，这样就不会出现人类因为忘记而处于劣势、而 AI 获得记忆优势的问题。
那次经历是什么样的？那是一个非凡的成就。在比赛开始之前，你有什么感受？有怀疑吗？有希望吗？你的信心处在什么程度？这是个很好的问题。
18 个月前，我组织过一次类似的人类对 AI 比赛，当时我们使用的是名为 Claudico 的早期 AI，但没能击败人类。这次只过了 18 个月，我知道新的 AI Libratus 强大得多，但在真正尝试之前，很难说它对顶尖人类的表现会怎样。所以我认为我们大约有五成胜算，而国际博彩网站把我们列为四比一或五比一的弱势方。
有趣的是，人们确实相信人类、而不是 AI。他们不只是对自己过度自信，也会相对于 AI 的表现而对其他人过度自信。我们当时是四比一或五比一的弱势方；即使连续三天击败人类之后，国际博彩网站仍然给出五五开的判断。你认为人们看待扑克的方式中，是否有某种特殊甚至神奇的东西？
我的意思是，即使在国际象棋中，也没有那么多好莱坞电影；扑克却是许多电影的主角。人们觉得某些面部表情、肢体语言、眼神以及所有这些“tell”（露怯或暗示）对扑克至关重要，好像你能看穿一个人的灵魂，理解他的下注策略。因此，人们可能会相信人类会胜过 AI，是因为在这种设置下，AI 无法感知这些线索；它只能观察下注模式，以及——
——下注模式和统计数据。从更宏观的角度看，在人类对人类的比赛中，你认为这些线索，以及我们浪漫化的这些想法，究竟有多重要？我分两部分回答。第一，为什么人类比 AI 更信任人类，并且对人类过度自信？我认为这与线索问题并没有真正关系。人们看过这些顶尖牌手，知道他们有多厉害、表现有多出色，因此很难相信 AI 能击败他们。我认为原因就在这里。
这也许是关于 AI 的一个更一般的教训：在你看到 AI 超越人类之前，很难相信它能够做到。但至于牌桌上的线索，很多顶尖牌手都非常擅长隐藏自己的线索；在顶尖牌手之间，他们其实不太值得投入大量精力去寻找彼此的线索，因为对方很擅长隐藏。所以，在周五晚上的普通牌局里，线索可能非常重要；如果你很会读人，就像读一本打开的书一样。但在顶尖水平上，随着水平提高，扑克中的这些线索会变成越来越小的因素。
策略的数量、可能采取的行动数量非常庞大，超过 10 的 100 次方。因此，必须对各种牌和行动进行抽象。我读过几篇相关论文；对于扑克来说，什么样的抽象是有效的？你说得完全对。当你面对一个规模为 10 的 161 次方的博弈树时，尤其是在不完全信息博弈中，即便使用最快的均衡求解算法，也大得无法直接求解，所以要先进行抽象。在博弈中做抽象比在 MDP 或其他单智能体环境中更棘手，因为存在“抽象病理”：更细粒度的抽象，得到的真实游戏策略可能反而不如粗粒度抽象得到的策略。必须非常谨慎。大体来说，这些抽象包括手牌抽象和下注策略抽象。
对，下注行动。对，下注行动。简单概括一下，我们讨论手牌抽象和下注策略。
在一般博弈中，有信息抽象，也就是对机会因素的抽象；在扑克中，这对应牌面。还有行动抽象，也就是对实际玩家行动的抽象；在扑克中，这对应下注。你和其他玩家的行动？对，你和其他玩家的行动。对于信息抽象，我们完全采用自动化方法。这些算法使用一种叫作潜力加权抽象的方式——
——我们不只看手牌当前的价值，也看它随着游戏推进可能变成好牌或坏牌的方式。这是一个带有整数规划、聚类等环节的自底向上过程。你如何构建这种抽象？后面的芬兰语片段以及重复的 ASR 内容无法可靠辨识，未据此补写。
我们使用了一种自动化的行动抽象技术，并且可以证明它会收敛，也就是说，它能找到行动的最优组合。但它并不具备足够的可扩展性，因此不能用于整个游戏；我们把它用于最开始的几次下注行动。那么，什么更重要？是手牌的强度，也就是信息限制，还是你如何打这些牌，也就是行动？
又回到那个浪漫化的看法：手里拿到什么牌并不重要，重要的是行动和下注方式，也许不论拿到什么牌都能赢。对，这就是为什么必须打很多手牌，让运气的作用变小。否则你可能只是运气好，拿到了一些好牌，最终赢下比赛。即使打几千手，也可能走运，因为无限注德州扑克的方差非常大。
因为如果我们两个人都全押，方差就会非常大。无限注德州扑克会出现巨大的波动。因此，不只是几千手，而是要超过十万手，才能获得统计显著性。换一种方式问：如果你连自己的牌都不看，而对手也不知道你没有看牌，你能打得多好？这是个好问题。我听说过一个故事：有一位名叫 Annette Obrestad 的挪威女牌手，曾经完全不看牌就赢得了一场锦标赛。
但那极其罕见。你不能用这种方式真正打好牌。不过，底牌确实还是有作用的。对。所以，据我所知，Libratus 并没有使用深度学习等学习方法。那么，是否有可能把它与 AlphaGo 式的方法结合起来，用学习到的价值函数估计器来评估牌局？我还不太熟悉另一个算法 DeepStack；据说它使用深度学习，虽然我不清楚效果如何，但确实使用了深度学习。你怎么看待用学习方法辅助 Libratus 打扑克？
没有理由不把 Libratus 与 AlphaGo 式的方法结合起来，用价值函数估计器评估牌局质量。你怎么看？也许可以和另一个算法 DeepStack 比较；我不太熟悉它，但它使用深度学习，至于效果究竟如何并不清楚。不过，用学习方法来帮助 Libratus 打扑克，你怎么看？对，正如你所说，Libratus 没有使用学习方法，但没有这些方法也表现得非常好。
从那以后，我们确实发表了几篇关于使用学习技术的论文，尤其是深度学习，也就是你所说的学习一个评估函数。但在不完全信息博弈中，这不同于围棋，或者现在的国际象棋和将棋：仅仅学习一个状态的评估并不够，因为一个信息集的价值不仅取决于确切状态，也取决于双方的信念。比如，如果我的牌很差，那么只要对手认为我的牌很好，我的处境就会好得多。
反过来，如果我的牌很好，而对手认为我的牌很差，我的处境也会好得多。因此，一个状态的价值不只是牌面的函数；它还取决于博弈进行的路径，但只取决于那些被信念分布捕捉到的部分。所以它不像完全信息博弈那样简单。当然，我也不想说完全信息博弈简单；从计算角度看，它同样非常复杂。但至少在概念上很直接：有一个状态，也有一个评估函数。
你可以尝试学习这个评估函数。在这里则必须做更多工作。在我们的一篇论文中，我们研究了一种做法：允许对手在搜索树的叶节点采取不同的策略，也就是允许对手在叶节点选择不同的延续策略。这是一种不同的方法。
这样就不必假定对手会采取某一种特定的打法，而是允许对手从一组不同的延续策略中选择。这会迫使我们在前瞻搜索中不要过度乐观。在不完全信息博弈中，这是一种进行可靠前瞻搜索的方法，而这非常困难。你刚才还问到 DeepStack 的做法——
——它与我们在 Libratus 中所做的，以及这项新工作中的做法，都很不一样。他们随机生成游戏中的各种局面，然后从这些局面向后进行前瞻，一直看到游戏结束，就好像那是另一场游戏的起点。接着，他们用深度学习去学习这些状态的价值。
而且这些状态不只是物理状态，还包括信念分布。你说 DeepStack 或 Libratus 的前瞻时，是不是意味着要考虑游戏可能发展的每一种情况？我们讨论的是这种呈指数增长的巨大树吗？对，正是如此。它很像 alpha-beta 搜索，或者你在搜索研究中所做的事情，只是采用了不同的技术。所以搜索算法不同，我们也必须用不同方式处理叶节点。
如果想想 Libratus 的做法，我们不必担心这个问题，因为我们只在游戏结束时进行处理；最终总会落到一个真实局面，我们知道应该支付什么。它没有做这种深度受限的前瞻。但在这篇新论文中——我想论文叫《不完全信息博弈的深度受限搜索》——我们可以进行可靠的深度受限前瞻，因此可以从游戏一开始就进行前瞻。
因为对这么长的整场游戏来说，从头到尾处理太复杂了。在 Libratus 中，我们只处理游戏结束阶段。至于另一方面的信念分布：对手可能持有什么信念，是被明确建模的吗？是明确建模的，但不是预先假定的。信念是输出，而不是输入。
当然，起始信念是输入，但它们直接来自游戏规则，因为我们知道发牌者会从牌堆中均匀发牌。因此，我知道你可能拿到的每一对牌都具有相同概率；这是事实，直接由牌堆的规则决定。原文随后重复了这一点。除了我手中的两张牌之外，我知道你不可能拿到它们；必须把这一点纳入牌面计算，这叫作 card removal（牌张移除），非常重要。单挑时是否总是使用一副牌？可以假定使用一副牌。
所以，如果我拿着黑桃 A，我就知道你不可能也拿着黑桃 A。很好。也就是说，开始时你的信念基本上是牌局公平发牌这一事实；但你如何开始调整这个信念？这正是博弈论的美妙之处。约翰·纳什在 1950 年提出的纳什均衡，描述了有多个玩家时什么是理性行动。
它是一对策略，其中每个玩家都有一份应对各种情况的计划；在另一方不偏离的情况下，任何一方都不想改用其他策略。但作为副作用，你会从贝叶斯规则得到信念。因此，在这些不完全信息博弈中，纳什均衡不只是定义策略，也为我们双方定义信念，并为每个状态定义信念。所谓信息集，就是在游戏中的某个位置，我们可能处在一组不同状态中的某一个，但我不知道究竟是哪一个。
纳什均衡究竟如何告诉我，在头脑中那些现实状态上应该采用怎样的概率分布？纳什均衡如何给出这个分布？我用一个简单例子说明。你知道石头、剪刀、布这个游戏。我们可以画成玩家一先行动，然后玩家二行动；但重要的是，玩家二不知道玩家一出了什么，否则玩家二每次都会赢。因此，我们可以把它画成一个信息集，其中玩家——
——一先做三个动作中的一个，然后玩家二处在一个信息集中。玩家二不知道世界处在哪个节点。但一旦知道玩家一的策略，纳什均衡会说：三分之一出石头，三分之一出布，三分之一出剪刀。由此我可以推导自己在这个信息集上的信念：三个可能性各占三分之一。贝叶斯规则会给出这个结果。不过，这是否针对某个特定玩家，还是会随着面对特定玩家而快速更新？
博弈论并不以玩家为中心。这也正是它不需要针对具体玩家的原因。我们不需要任何数据，也不需要这些特定人类过去如何比赛，或者任何 AI 或人类以前如何比赛的历史。它完全关乎理性：AI 只需思考，一个理性的对手会怎么做？如果我是理性的，我会怎么做？
这就是博弈论的思想。它确实是不依赖数据、也不依赖具体对手的。它来自游戏的设计，而不是玩家的设计。没错。严格来说，这里没有对手建模。我们确实做过把对手建模和博弈论结合起来的工作，这样可以更充分地利用弱玩家的弱点，但那是另一条研究路线。在 Libratus 中，我们可以开启这种功能，但我认为这些选手太强了；开始利用对手时，通常也会给对手留下利用你的机会，而这些人几乎没有可利用的漏洞，并且是世界上最擅长反利用的专家。所以我决定不启用那部分。我确实看过一些关于利用对手的论文。
听起来很值得研究。你认为利用对手有空间吗？一般来说，在 Libratus 之外，人的差异是否可以被利用？不只是扑克，也包括你正在考虑的互动、谈判以及其他领域？当然有。我们做过一些相关工作，我很喜欢把两者结合起来的研究。你先判断一个理性对手会怎么做。顺便说，在双人零和博弈中这是安全的，因为——
——如果对手做了不理性的事，确实可能使我的信念偏离。后面大段芬兰语重复片段无法可靠辨识，未据此补写。不过，如果某个玩家很弱，你可能希望采取不同打法来更充分地利用他。可以这样理解：博弈论策略是不可被击败的，但不一定能最大限度地击败每一种对手。因此，换一种策略，每手牌的收益可能更高。混合方法是先从博弈论策略出发；随着你获得关于对手的数据，在博弈树的某些部分，就逐步把策略向利用对手的方向调整。
这样，在仍然相当接近博弈论策略的同时，你可以越来越多地利用对手，又不会让自己过度暴露在被利用的风险中。你是怎么做的？会不会改变策略，让自己难以预测？这是不是类似囚徒困境中的以牙还牙策略？那是重复博弈；可以说是比较简单的重复囚徒困境。
但即使在那里，也没有证明说这一定是最佳做法；不过从实验上看，它的表现确实不错。有哪些类型的博弈？首先，我不知道你是否能简单概括：有完全信息博弈，所有信息都在桌面上；有不完全信息博弈；有反复进行的重复博弈；有零和博弈；也有非零和博弈。你还强调了一个很重要的区别：双人博弈和多人博弈。还有哪些博弈？例如，双人博弈和多人博弈有什么不同？
它们的关键区别是什么？好的，我从基础开始说。重复博弈是同一场游戏一遍遍进行。在这些扩展式博弈中，如果用树状形式来思考——也许可以用这类形式来表示这些——
——信息，用来表示不完全信息；你可以有某种重复互动，顺便说，重复博弈也是它的一个特殊情形。但游戏不必每次完全相同。比如采购选择：我们年复一年看到的是同一个供应商基础，但每次购买的东西略有不同，供应商基础也略有不同，等等。所以它并不是真正的重复博弈。在现实世界中，要找到纯粹的重复博弈其实非常罕见。因此，它们只是对现实运作方式的非常粗略的模型。再从重复矩阵博弈向上走，但还没有到扩展式博弈——
——中间还有随机博弈。你可以把它想成一系列小型矩阵博弈：当你采取行动，而对手也采取行动时，你们的行动决定的不是下一个确切状态、也不是下一场确切的游戏，而是下一场游戏可能处于哪些状态的概率分布。后面的芬兰语片段无法可靠辨识，未据此补写。
扑克就是最后一种情况的例子。因此，在最一般的设置中，这是扩展式博弈。AI 社区一直在研究这种最一般的博弈，并用单挑无限注德州扑克作为基准。你能描述一下扩展式博弈吗？这里的模型是什么？基本上，如果你用树状形式来表示，它就是树状形式，确实是树状形式。
比如国际象棋中有搜索树，而不是矩阵。这里也有矩阵；这种矩阵叫矩阵形式、π 矩阵形式或正规形式博弈。而在这里使用的是树状形式。因此，你可以在树状形式中进行某些推理；转换到正规形式后，这些信息会丢失。不过两者之间存在某种等价关系。比如，如果从树状形式出发，你说每一个——
如果每一个可能的应对计划都是一种策略，那么我可以回到正规形式，但会因为失去顺序性而丢失一些信息。多人和双人之间的区别很重要。双人零和博弈在概念上和计算上都更容易。像这种博弈的规模仍然巨大，但概念和计算上都更容易。因为在这种情况下，你不必担心多人博弈中对方会选择哪个均衡：任意均衡策略都是对另一个均衡策略的最佳回应。
所以我可以选择与你不同的均衡，仍然得到正确的博弈价值。但在一般和博弈中，即使只有两名玩家，这一点也会失效；即使双方不合作，也会失效。因此，从双人零和到双人一般和，甚至到三人零和，存在巨大的差距。至少理论上是这样。你能不从数学出发，而是直观解释一下为什么三人或更多玩家会让事情失效吗？
看起来你仍然应该能有一个纳什均衡……对，这个直觉在这里是成立的。所有有限博弈确实都有纳什均衡，这正是纳什证明的内容。所以它们确实有纳什均衡；问题不在这里，问题在于可能有很多个。
于是就出现了该选择哪个均衡的问题。如果你从一个均衡中选择策略，而我从另一个均衡中选择策略，那意味着什么？在这些非零和博弈中，我们可能只是因为做了愚蠢的事而失去共同收益；实际上，如果采取另一种做法，我们两个人都可能受益。在三人博弈中还会出现其他问题，例如合谋：也许你和我可以联合起来对付第三个玩家，通过合谋获得大得多的收益。这些问题很多。顺便说，你共同合作过的学生 Noam Brown 曾提到——我看过你们在 Reddit 上的 AMA。
他提到，扑克玩家相互合作的能力会让游戏变得……你们被问过这样一个问题：怎样才能让扑克超出当前 AI 方法可以求解的范围？他说，让扑克更难的方法不多，但玩家之间的合作会让它极其困难。
如果你同意这个想法，能否解释一下背后的直觉？我在合谋博弈方面做过很多工作；我和另一位学生 Cabrilla、Fathering 以及其他合作者在 NIPS 上发表过一篇相关论文，我刚刚还参加了介绍这篇论文的会后环节。但当存在合谋时，
这就是另一个问题，而且通常比一般的博弈表示还要困难。有些博弈表示甚至无法真正表示这种计算问题，因此我们为此引入了一种新的博弈表示。这样的合作是模型的一部分吗？你是否知道其他玩家在合作，还是这只是一个什么都不知道的混乱系统？能否举一个合谋型博弈的例子？比如桥牌？
可以想想桥牌。你和我是一队，我们的收益相同；问题是我们不能交谈，所以拿到牌后不能小声告诉你我手里有什么牌，那是不允许的。因此，我们必须提前协调策略，只能提前协调。我们还可以使用某些信号，但这些信号必须让另一队也能理解。这就是一个例子：协调已经内置在游戏规则中。
但在许多其他情境中，比如拍卖、谈判、外交关系和扑克，协调并不是规则内置的，却仍然可能对合谋者非常有帮助。我读到过，你也谈过谈判：人们会带着事先决定好的策略来到谈判桌，知道哪些事愿意做、哪些事不愿意做。现在离开扑克、转向谈判等其他应用领域，你如何开始把这些方法用于现实世界的其他领域？
我实际上有两家初创公司正是做这件事。一家叫 Strategic Machine，面向商业应用、游戏、体育以及各种类似场景，也包括金融、电力市场等领域的应用。另一家叫 Strategy Robot，我们把这些方法用于军事、网络安全和情报应用。
我记得你还做过一点广告相关的工作，比如推荐广告之类？对，那是另一家公司 Optimized Markets。Optimized Markets。不过那家公司更多关注组合市场和基于优化的技术，并不使用这些博弈论或博弈求解技术。明白了。总体来说，你如何看待使用博弈论作为一种概念模型来理解人类行为？
你认为人的行为适合这种建模吗？除扑克外，你在哪些工作中成功做到过？我不确定。目标其实并不是建模人类。比如，如果我在玩零和博弈，我并不在意对手是否真的遵循我的理性行为模型；如果他们不遵循，那对我反而更有利。对。所以，面对博弈中的对手，前提是要以某种方式把互动形式化，使其能够接受分析。你在机制设计方面做了出色的工作，设计能产生特定结果的游戏。不过我先告诉你一个来自我自己的——
——自动驾驶领域的例子。我们研究行人和汽车如何通过非语言沟通进行协商。这是一种奇怪的、充满张力的舞蹈：行人基本上是在说“我相信你不会撞死我”，于是作为一个乱穿马路的人，即使违反法律也会走上马路，而双方之间存在这种张力。真正的问题是，我们还不知道如何很好地建模这种意图。有时人们会提出博弈论等想法。
你认为这种人类行为是否可以用不完全信息方法建模？当你甚至不知道怎样设计一个博弈来描述这个情境、进而求解时，应该如何着手？我还没有真正思考过乱穿马路的问题，但我认为自动驾驶的一个好应用是这样的：假设有不同公司运营的自动驾驶车队。比如这里是 Waymo 车队，那里是 Uber 车队。道路规则规定了某些法律规则，但仍然留下了巨大的策略空间。比如汽车并线时，人类通常会减速、互相观察，然后尝试并线。
如果这些情形都能预先协商，会不会更好？这样我们就能以全速并线，并且知道应当如何处理，整体速度会更快。后面的大段芬兰语重复 ASR 内容无法可靠辨识，未据此补写。当然，也可能你不会总是让我先走。你可以说，在这些情形下我让你先走，但作为交换，你要在另一些情形下让我先走。这就是一个巨大的组合协商问题。你认为在汽车并线这个例子中，有没有空间把整个情境建模成完全信息博弈？
还是应该把它视为完全信息吗？这是个好问题。你是否要为假设自己并不知道一切而付出代价？我不知道。完全信息博弈当然更容易，所以如果能够这样处理，就应该这样做。但如果现实确实是不完全信息，那么你就必须处理不完全信息。很好。那么，年度计算机扑克竞赛给你带来了什么经验？这是 AI 的一项非凡成就。回顾 Deep Blue、AlphaGo 这些时刻，AI 通过工程努力与科学努力相结合，击败了顶尖人类牌手。你从整个经历中得到了什么？你学到怎样设计能够进行这类游戏的 AI 系统？这对 AI 总体发展和未来意味着什么？
这是个好问题，可以说的很多。我确实喜欢这种以性能为导向的研究。我的团队从想法、理论、实验，到大型系统构建和商业化，整个链条都做。因此，我们覆盖了这条光谱。但在 AI 的许多情境中，你确实必须构建大型系统并进行大规模评估，才能知道什么有效、什么无效。
我们在计算博弈论领域也看到过：很多技术在小规模上看起来很好，但放大后就不再好；也有很多技术在理论上看似优越。我的意思是，它们的收敛率更好，例如一阶方法的收敛率优于基于 CFR 的算法；然而在实践中，基于 CFR 的算法反而是最快的。这告诉我，必须在现实中测试这些方法。理论还不够严密，无法告诉你哪些算法比其他算法更好。
你必须观察它们在大规模上的表现，因为至少在这个领域，从小规模做出的各种外推可能非常误导。就科学和工程角度而言，这是我的一个结论；从个人角度而言，这是一段疯狂的经历。我们组织了第一场扑克竞赛，也就是第一场人类对 AI 的人机扑克比赛。其他扑克游戏以前举办过比赛，但对于单挑无限注德州扑克，这是第一场。顺便说，我可能因此成为扑克界最令人憎恨的人。
我并不是有意这样做的。我只是想攻破这项游戏……很多人觉得这对整个游戏构成了真正威胁，甚至威胁到它的存在。如果 AI 变得比人类更强，人们可能会害怕打扑克，因为会有这些超人类 AI 四处运行、拿走他们的钱。
所以他们的反应非常激烈，评论也极其攻击性。我收到的东西几乎只差死亡威胁。你认为国际象棋也是这样吗？现在国际象棋世界锦标赛刚刚结束，人类似乎已经不再在意 AI 系统如今——
——能够胜过人类，他们仍然享受这项游戏；这仍然是一项美丽的游戏。我认为扑克也会发生同样的事情。我从没把自己看成会毁掉这项游戏的人，也不认为自己真的毁掉了它。我原来不是扑克玩家，但后来从这些 AI 身上学到了很多关于扑克的细微之处，也逐渐爱上了这项游戏。顺便说，它们确实改变了扑克的玩法：这些 AI 采用了非常“火星式”的打法，顶尖人类牌手如今也在把这类策略融入自己的打法。所以在我看来，我们的工作如果有影响，也是在让扑克成为一项更丰富、更有趣的人类游戏。
这并不是要让他完全远离扑克。你刚才说的一点很值得评论：如果我可以这么说，在学术界这有时很少见。把自己的想法像你描述的那样放到现实中检验，需要相当大的勇气：承认有些好想法在真正大规模应用时并不奏效。你为什么会这样做？如果要给别人建议，是什么驱动着你？你一直都这样吗？我的意思是，测试自己的想法，看它是否真的能对顶尖人类选手奏效，需要一个勇敢的人。不过我不知道这算不算勇敢，但确实需要大量工作，需要大量时间来组织——
——把事情做大、组织活动以及处理类似事务。是什么驱动你投入这些努力？因为即使不做这件事，你仍然可能像 2017 年那样在 NIPS 获得最佳论文奖。没错。总体来说，我相信在现实世界中、以大规模方式做事非常重要。那才是所谓的“布丁好不好，吃了才知道”——真正的验证就在这里。在这个具体案例中，这是不同团队之间的一场竞争：多年来，大家都想成为第一个在单挑无限注德州扑克中击败顶尖人类的人。因此，这变成了一场看谁能先做到的竞赛。
是的，一点友好的竞争可能会极大促进进步。绝对如此。机制设计这个话题也很有趣，而且对我来说有点新；除了作为政治等领域的观察者——我不知道，我是机制的观察者——你写过一篇论文。
我快速读了你关于自动化机制设计的论文。机制设计就是设计游戏规则，从而得到某种理想结果。你的研究是以自动化方式完成这件事，而不是手动微调规则。如果观察复杂的政治系统，我们能否自动设计政治制度，让它产生我们想要的结果？能否设计出智能交通信号灯，得到我们希望的结果？从这些工作中，你得到了哪些经验？
我仍然非常相信自动化机制设计这条路线，但它不是万能药。机制设计中有一些不可能性结果：不存在任何机制能在某个类别 C 中实现目标 X。
你能再解释一下吗？你的意思是有些事情根本不可能实现？对，不可能。这些并不是关于人类创造力的判断，不是说谁也想不出聪明办法；而是证明：如果你希望在类别 C 中实现性质 X，那么任何机制都做不到。
自动化机制设计的好处是，我们并不是为一个类别整体设计，而是针对某个具体设置进行设计。因此，即使整个类别存在不可能性结果，也不意味着类别中的每个案例都不可能，只意味着其中一些案例不可能。我们可以在这些已知不可能的类别中划出一些可行的“可能性岛屿”，而且我们确实这样做过。机制设计中一个著名的结果，是 1983 年关于不完全信息下高效交易不可能性的 Myers-Satterthwaite 定理。
我们证明，在许多设置中，通过设计游戏，可以避开这个限制，仍然实现高效交易。也就是说，这取决于你如何设计游戏。当然，这丝毫不与不可能性结果矛盾；不可能性结果仍然成立。它只是告诉我们，在这个不可能的类别中，可以找到一些区域，而在这些区域里，不可能性并不发生。
抱歉，如果我说得有点哲学化。你从这些工作中得到什么经验？刚才我提到政治、人与人的互动，以及为交易或拍卖之外的情境——例如政治制度——设计机制。你认为设计能产生特定结果的规则，适用于政治、商业或谈判吗？你见过成功应用吗？
你问的是机制设计还是自动化机制设计？自动化机制设计。到目前为止，机制设计本身的成功相当有限。确实有一些案例，但从机制设计的角度看，大多数现实情境并不规范；即使规则由非常有经验的机制设计者设计，人们通常也只是从理论中吸取一些洞见，再把这些洞见应用于现实，而不是直接应用完整机制。
一个著名例子是 FCC 的频谱拍卖。我也在其中发挥过一点作用；一些非常优秀的经济学家参与了这项工作，但没有使用博弈论。然而，实际设计的规则使得诚实出价并不是最佳策略。通常，在机制设计中，我们努力让参与者容易参与。
也就是说，让说真话成为最佳策略。顺便说，甚至没有人知道这些拍卖中哪怕一个单独的最优出价策略。为什么提出最优出价这么困难？是因为玩家很多、而且存在私人信息吗？不完全是玩家多，而是待售物品很多；并且这些机制的设计使得即使只有一件或两件物品，诚实出价也不一定是最佳策略。回顾 AI 历史，AlphaGo 击败围棋世界冠军是里程碑事件，我会把 Libratus 赢下单挑无限注德州扑克也列为这类事件之一。
你认为下一个这样的事件是什么？无论是在你的人生中，还是更广泛的 AI 社区中，什么事情可能会让世界感到意外？这是个很好的问题，我确实不知道答案。就博弈求解而言，Libratus 所解决的是最后一个被广泛认可的基准问题，因此是一个重大里程碑。现在还有其他问题吗？当然有，但社区没有集中在某一个问题上。比如有团队研究星际争霸，也有团队研究 Dota 2 这类电子游戏；还可以研究 Diplomacy 或 Hanabi。
这些都是娱乐游戏，但没有哪个被公认为下一个主要挑战问题，像国际象棋、围棋或单挑无限注德州扑克曾经那样。因此，在博弈求解领域，我并不知道下一个基准会是什么。我倒是希望能有下一个基准，因为过去十年，不同团队研究同一个问题，确实迅速推动了与具体应用无关的技术。你是否有一个令你兴奋的开放问题，想从游戏转向现实世界中的博弈，比如股票市场交易？这大概就是我的方向。我可能不会再把同样多的精力投入这些娱乐性基准。我正在用博弈求解技术经营两家初创公司 Strategic Machine 和 Strategy Robot，我们真正关心的是把这些东西推向实践。
什么样的强大成果会让人感到意外？比如五年或十年后，如果某件事从统计上看不太可能，但一旦出现突破，它会实现什么？总体来说，博弈论和机器学习所处的情况非常不同。机器学习已经是相当成熟的技术，应用很广，也已经在现实世界中证明了成功。博弈求解几乎还没有实际应用。我们才刚刚做到超越人类；而在机器学习领域，你可以说这在 20 世纪 90 年代甚至更早就发生了。
至少在监督学习以及某些复杂的监督学习应用中是这样。我认为下一个挑战问题——我知道你问的不是这个，而是技术突破——但我认为真正巨大的突破是：也许大多数军事规划或大多数商业战略，最终都能通过计算博弈论来进行战略决策。这是我希望未来五到十年看到的目标。也许你能再解释一下：机器学习方法和神经网络往往不透明、不可解释。博弈论方法，比如纳什均衡或均衡求解，在看到不同解时通常是否更有意义、更可解释？
当你谈到军事行动时，一旦看到这些策略，它们是否讲得通、是否可解释，还是会遇到与神经网络同样的问题？这是个好问题。我会说既有一点是，也有一点不是。我的意思是，这些博弈论策略，比如纳什均衡，具有可证明的性质。它不同于深度学习：深度学习中你只能祈祷它会奏效；得到权重之后，仍然只能祈祷它会奏效。
在这里，你知道解的质量是有保证的，存在可证明的解质量保证。但这并不一定意味着策略是人类能够理解的，这是另一个问题。所以我认为，深度学习和计算博弈论在这一点上处境相同：两者都很难理解。
但至少博弈论技术拥有关于解的性质和质量的保证。你认为未来的商业运营、战略运营，甚至军事领域，是否会出现由自动化系统提出的强候选方案？是的，我认为会。
但这更多是一种信念，而不是已经证实的事实。无论你是乐观还是悲观，对我来说，这都是令人兴奋的未来，尤其是如果我们能在最优性方面得到可证明的结论。展望未来，有些人担心 AI，尤其是考虑到扑克可能是最后几个被求解的游戏基准之一，也担心 AI 的存在性威胁，以及 AI 以各种形式对社会造成的负面影响。这是否同样令你担忧，还是你更乐观地看待 AI 的积极影响？
我对积极影响乐观得多。就我自己的工作而言，我们运行了肾脏交换项目；今天有数百人因此活着，否则他们可能已经不在了。与此同时，就业增加了：现在有很多人在运行肾脏交换项目，移植中心也有人与项目互动，还有外科医生、护士、麻醉师、医院等。这些都带来了更多就业，也让世界变得更好。另一个例子是组合采购拍卖。
在一家以前的初创公司 CombinedNet，我们在 2001 年到 2010 年间进行了 800 场大规模组合采购拍卖。对于 600 亿美元的支出，我们将供应链效率提高了 12.6%，相当于为世界带来超过 60 亿美元的效率改善。这不是把价值从一个人转移给另一个人，而是真正的效率提升，例如卡车运输中的空驶减少了，浪费和碳足迹也随之减少。
这是近期非常巨大的积极影响。不过我想再多谈一会儿，因为我认为博弈论在这里发挥作用。让我回到刚才的话题：我认为 AI 也会让世界安全得多，这是另一个经常被忽视的方面。让我问这个关于安全的问题。我曾和 Max Tegmark 以及其他人交谈过，他们非常担心 AI 的存在性威胁。
他们经常担心价值错位：AI 系统实际上在追求与人类文明、人类本身不同的目标。因此，博弈论似乎可以发挥作用，确保价值与人类保持一致。我不知道你是否这样看；如果不是，你认为 AI 如何帮助解决这个问题？AI 如何让世界更安全？我认为这种价值错位更多是理论上的担忧。由于我做了很多现实应用，我还没有真正在现实中看到它。最接近的例子是一种思想实验：20 世纪 80 年代末，我们构建交通优化系统时，我曾遇到过这样的争论。
有人听说资产的高利用率是好事，于是对我说：为什么不把高利用率设为目标？我们甚至没有把它设为目标，因为我只要向他展示：如果把它设为目标，最优解就会是把卡车装满，然后让卡车一直绕圈行驶。
那样就什么也无法按时交付，资产利用率会达到 100%。我知道这个现象已经超过 30 年，但从未在现实中真正看到它成为问题。当然，如果目标设错了，AI 会把这个目标优化到极致，造成的伤害可能比一个试图用不成熟的人类直觉勉强做决定的人更大；但我还没看到这种情况在实践中发生。你刚才非常清楚地指出了理论与现实之间的差距。这很难用语言表达：理论上能够想象的最坏情况、甚至糟糕情况，与现实中通常发生的事情之间存在差异。
例如，考虑到你在苏联长大，也许你可以谈谈这一点：世界上目前有一万枚核武器。几十年来，在我看来，核战争没有爆发这一事实在理论上令人惊讶。你是否从博弈论角度思考过这件事？为什么会这样？理论上你可以想象事情会严重失控，但它们却不知为何没有失控。你怎么看？我确实经常思考这个问题。
我认为人类面临的两大威胁，一是气候变化，另一个是核战争。这是我最担心的两件事。我曾两次考虑为气候问题做些什么；实际上，我为自己的两家初创公司分别委托过研究，调查我们能在这些问题上做什么。我们没有找到最合适的切入点，但我仍在关注。如果能通过市场方案、优化方案或其他技术方案解决这些问题——
——例如当时我们研究过污染排放权市场——问题主要不是糟糕的市场设计，而是参与这些市场的政治意愿不足。因此，我可以设计更好的市场，但如果没有政治意愿，这并不会真正改变世界多少。在美国，至少芝加哥市场后来被关闭了，等等。
所以市场设计得多好并没有真正帮助。核武器方面则不同：全球变暖是一个逐步逼近的问题，而核武器一直都在；它是一个显而易见、却一直悬在那里没有解决的问题。那么，你认为是什么机制设计让一切看起来保持稳定？你现在仍然极其担心吗？我仍然极其担心。
你可能知道简单的“相互确保摧毁”（MAD）博弈论。它不需要复杂计算；用很小的矩阵就能让你相信，这个博弈的结构使任何一方都不想主动发起攻击。这是非常粗粒度的分析，在有两个超级大国，或少数几个超级大国的情况下确实有效。但现在情况很不同：拥有核武器的门槛更低，还可能有更小的国家和非国家行为者获得核武器。
因此，我认为现在的风险可能比以往任何时候都更高。你刚才谈到了一些 AI 应用；你现在最兴奋的是什么？你正在 NIPS（现称 NeurIPS）参加会议，也有几项优秀工作，还在思考未来和几家公司要做的事情。最令你兴奋，或者说最令你兴奋的事情之一是什么？对我来说，当前第一要务是提出可扩展的博弈求解技术，并把它们应用到现实世界。我仍然非常关注市场设计，也在 Optimized Markets 做这件事，但目前最感兴趣的是让 Strategic Machine 和 Strategy Robot 把这项技术——
——真正推向现实。既然你身处应用一线，哪些东西需要被填补、哪些技术空缺仍需解决？很难坐下来凭空想象需要做什么，但当你真正进行现实应用时，应用会告诉你需要做什么。我很享受这种互动。把你们正在研究的前沿技术应用到现实中，并让产业、军方或真正能从中受益的人使用它，是不是很有挑战？这个过程是什么样的？比如在自动驾驶领域，我们会与汽车公司合作，而它们在很多方面有点——
——守旧。这个过程很困难。他们显然希望使用这项技术，也显然会从中受益，但数据、计算能力等系统条件还没有完全准备好，难以轻松集成。所以这是不是你面对的主要挑战之一？你如何处理？是的，我认为这一直是挑战，本质上就是缓慢和惯性。
总有人会说：“我们一直就是这样做的。”你必须找到客户内部理解这一点的支持者：未来不能继续一成不变，否则会发生坏事。在自动驾驶领域，汽车制造商正在做这件事，而它们非常传统；与此同时，和汽车或交通毫无关系的科技公司，比如 Google 和百度，也在大力推动自动驾驶。我觉得这很有意思。显然，你非常期待这些想法真正对世界产生影响。
在技术、思想和研究方面，除了你刚才讨论的不完全信息博弈方法，以及把深度学习应用到这些问题上，还有哪些方向令你兴奋？博弈求解中有很多方向：求解更大的游戏，求解玩家行动也有更多隐藏信息的游戏。扑克中主要是机会行动隐藏，或者部分隐藏；但玩家行动是公开的，至少部分是公开的。
还包括多人博弈、各种合谋、对手利用，以及更长的游戏。也就是说，游戏基本上会永远持续，但又不是重复博弈。扩展式博弈如果永远持续，会是什么样？如何表示、如何求解？这种游戏的例子是什么？可以是你提到的某些随机博弈，比如商业战略：不是只建模某一次互动，而是思考企业从现在到永远的情况；或者军事战略：战争不会消失，那么如何思考会永远持续的军事战略？甚至该如何建模？如何判断某个人采取的某个行动是否正确？这是其中一个方向。
我还非常感兴趣的是更具可扩展性的整数规划技术。今年夏天，我们为此发表了一篇 ICML 论文。这是第一篇具有理论泛化保证的自动算法配置论文：如果我看到这些训练样本，并以这种方式调整算法，那么它在真实分布上就会有良好表现。这一点此前我从未见过。算法配置已经被认真研究至少 17 年，但此前一直没有泛化理论。这确实很有意思。能和你交谈非常令人兴奋，也是一种巨大的荣幸。谢谢你，Tuomas。
谢谢你把 Libratus 带到这个世界，也感谢你正在做的出色工作。谢谢你，非常高兴能参加，也谢谢你的好问题。哈哈，谢谢。