Read Montague: Dopamine & Serotonin 形状决定、动机和学习方法

将蒙塔格帧动机读作一个开放式的跟踪系统,而不是简单地提供满足的机制. 如果任何目标都足够,一个人就会停止追求进一步的国家。 这种观点认为,持续的生命和行为需要系统更新其位置,并确定另一个可能的目的地. 剧集引入了这个想法,作为不应将多巴胺降低为"快乐"的化学等效的理由.

蒙塔格将多巴胺的学习角色与更简单的宣称直接引起好感分开. 他将多巴胺波动描述为明确的学习信号,也指定了它们在动机中的作用,同时指出多巴胺的神经力学和主观感觉之间的关系仍然没有得到很好的理解. 一种愉快的感觉在没有证据证明多巴胺是其唯一原因的情况下可以发生,因此流行的快感模型是不完整的.

对话将动物学习实验与计算神经科学联系起来. 在啮齿动物中,研究者可以将多巴胺的释放与学习到的动作联系起来,比如转向光线,接近食物,或者导航迷宫. 信号是分布的而不是全球的,不同的大脑位置可以携带不同形式的信息. 蒙塔格认为,多巴胺是大脑用于学习的算法的一部分,将强化学习规则与在移动动物身上发现的生物信号联系起来.

中心区别在于对预期与最终结果进行单一的比较和一系列的预测. 蒙塔格以周六预测两英寸雨量为例,然后在任何降雨发生前,于次日将该预测修订为十英寸. 连续期望的区别本身可以编码为时间偏差错误. 同样的原则也可以在长篇游戏中适用:大脑随着棋盘位置的改变,更新对获胜的估计,而不是等待最终的奖励.

Huberman的雨和海滩例子说明了预期结果和沿途产生的预测错误之间的区别。 蒙塔格强调,与多巴胺相关的错误是在每个步骤上产生的,无论是否得到奖励. 它可以是正的,负的,也可以是零的. 因此,人们所熟悉的期待与回报描述只是一个更持续进程的特殊情况。

Montague将这一说法与Rescorla-Wagner规则作对比,该规则将学习描述为预期结果与发生情况之间的错误. 他争辩说,真实的环境往往包含长长的拉伸,没有反馈,所以动物必须在穿越世界的同时通过连续的预测来学习. Sutton 和 Barto 的框架抓住了这一持续序列:当前预期、下一个预期和当前结果。

讨论将时间偏差核算扩展到人类和实验室啮齿动物之外。 蒙塔格说,数据支持在蜜蜂大脑,海流大脑,以及人类大脑中的相关学习算法. 在蜜蜂中,章鱼胺可能携带相关的信号而不是多巴胺. 他还告诫不要将多巴胺作为唯一的行为者:多种神经调节器随学习和动机而波动,它们的结合活动可能会产生动机状态.

休伯曼将觅食框架应用于约会. 一个人形成对某人的初步期望,通过信息和会议更新,并经常发现热情不能决定最终结果. 这一过程类似于寻找有益的资源:信息分阶段到达,期望在任何最后承诺之前发生变化,缓慢移动可以保持收集更多数据的能力。

蒙塔格认为这是萨顿和巴托框架的见解。 企业可能将预期季度回报与实际结果进行比较,学生可能期望A但得到A-减去,但这些终端比较相对少见. 在普通生活中,期望本身遵循的是轨迹,多巴胺被提议用来编码沿着轨迹发生的惊人变化.

Montague认为,学习规则必须比记录结果是否高于或低于预期做更多的工作。 它还必须允许将事件连锁起来。 如果光能预测赏金和声能预测光能,人们可以得知声能也预测赏金. 简单的预期结果规则并不能充分解释这种通过关联事件进行的落后传播,而连续的预测提供了所需的中间结构。

讨论将这些计算规则与多巴胺之间的早期联系描述为理论. 蒙塔格和同事们问,执行该规则的生物信号需要什么样子和在哪里找到。 他们后来与公布的多巴胺数据进行比较,包括与舒尔茨相关的工作,显示出预测的学习信号和观测到的痕迹之间的紧密吻合. Montague将这种匹配作为证明关系不是偶然的,同时仍然承认多巴胺具有额外的功能.

蒙塔格说,最初对强化学习的批评在其历史背景下是合理的:1990年,该理论与生理数据相匹配,但很少有人工系统证明算法能够学到任何令人印象深刻的东西. 后来的系统改变了这种评估。 AlphaGo中使用了相同的算法家族,先是专家指导,后在AlphaGo Zero从零开始训练. Montague将AlphaGo Zero描述为算法功率的持久例子,同时将此作为中央学习账户的支持,而不是多巴胺解释每个神经过程的证据.

惊人的趋同之处是,从生物学习中推断出来的算法现在被应用在计算机中,这些算法在使用相关规则的任务上能够比人类表现强. 蒙塔格(Montague)形容类似机械在人脑和歌鸟中运作,在蜜蜂和果蝇中也有相关形式. 对话将此视为罕见的情况,在大脑中发现的过程被外部化为代码,然后用来产生超过普通人类性能的能力.

Huberman)和蒙塔格(Montague)对以多巴胺为中心的解释进行了定性. 多巴胺具有多种功能,其他脑化学物质也促进了正在讨论的行为和学习过程. Huberman)命名为血清素,乙酰胆碱,诺雷松素,以及尚未完全理解的肽类药物. 因此,算法类比在不将整个生物系统减少到一个发射机的情况下,确定了一个主要组成部分。

最终的交换同时增加了反馈循环和限制. 一旦生物学习规则被外部化为计算机代码,人工系统的突破可能会将新信息重新传回人类的理解. 发言者没有预测结果,但他们承认计算机超越人类使用同样的生物规则的能力令人印象深刻,有些不安。