Yoshua Bengio: 约书亚·本吉奥：深度学习

被问到生物神经网络与人工神经网络之间哪一点差异最深刻时，约书亚·本吉奥（Yoshua Bengio）说，关于生物网络我们不知道的太多，它们可能掌握着改进人工网络的钥匙。他最近研究的一件事是跨越非常长时间跨度的信用分配：大脑似乎能做到，而人工网络只能以不方便、在生物学上不合理的方式做到。研究这种不匹配，既有助于解释大脑如何运作，也可能带来可以引入人工网络的想法。

他澄清说，他指的是存储情景记忆，之后调取这些记忆来推断当前观察的原因，并把信用分配给存储记忆时所做的决定或解释，然后改变自己本会作出的反应。当前的网络，如 LSTM，在几十或几百个时间步上表现相当好，但时长更长就越来越难；而人类能因为新证据修正自己去年的看法。

弗里德曼提出高效的遗忘是其中很大一部分，本吉奥同意我们记住什么是有选择的，并把它与更高层次的认知联系起来：决定什么进入意识、什么存入记忆，这些也都不简单。

被问到深度网络表示世界的方式最薄弱之处时，本吉奥说，在图像或文本上训练的最先进网络，对什么能解释其数据只有非常基础、低层次的理解，远不如我们的理解那样稳健、抽象。他建议训练要聚焦于因果解释，这是当前训练所没有做的；还要联合学习语言及其所指涉的世界，而不是分别从图像和文本中学习，让两方面互相帮助。