计较机最高奖图灵奖揭晓！黑.丝.足.交
强化学习前驱 Andrew Barto 与 Richard Sutton 共同获奖，他们被评价为"引颈基础 AI 技巧开发的推敲东说念主员"。
值得一提的是，两位是师徒关系，Richard Sutton 是 Andrew Barto 他第一位博士生。
两东说念主 1998 年合著的《强化学习：导论》，时于当天亦然强化学习的方法课本，援用数接近 8 万，尤其在最近五年也仍在握续攀升。
最近几年来 AI 的关键发扬，从 AlphaGo 到 ChatGPT，都与他们创举的强化学习技巧密切运筹帷幄。
师徒拉开了强化学习大门
先来看 Andrew Barto，是马萨诸塞大学阿默斯特分校信息与计较机科学系荣誉教师，年事在 76 岁附近。
他是 IEEE Fellow，曾获马萨诸塞大学神经科学毕生树立奖、IJCAI 推敲超卓奖（Research Excellence Award）和 IEEE 神经收罗学会前驱奖。
Barto 本科毕业于密歇根大学数学专科，此前他主修的是船舶建筑与工程专科。在阅读了迈克尔 · 阿比布、麦卡洛克和皮茨的著述后，他运行对使用计较机和数学来模拟大脑产生了好奇景仰。
五年后，他以一篇对于细胞自动机的论文赢得了计较机的博士学位。
《细胞自动机算作天然系统的模子》
1977 年，他算作博士后推敲助理在马萨诸塞大学阿默斯特分校运行劳动糊口，而后担任过多个职位，包括副教师、教师和系主任。
任职时间，Barto 共同率领了自主学习实验室（最初为自相宜收罗实验室），该实验室建议了强化学习的几个枢纽想想。
直到 Richard Sutton 来到他的实验室，他们崇拜拉开了强化学习的大门。
2012 年他官宣退休，再也不再招收学生。
再来望望他的学生 Richard Sutton，时于当天仍然 AGI 探索积极分子。
当今，他是是阿尔伯塔大学计较机科学教师、Keen Technologies（一家总部位于德克萨斯州达拉斯的通用东说念主工智能公司）的推敲科学家，以及阿尔伯塔机器智能推敲所（Amii）的首席科学参谋人。
1978 年，他从斯坦福大学格式学专科毕业，随后在 Andrew Barto 的率领下，先后赢得了硕博学位。
他的博士论文《Temporal Credit Assignment in Reinforcement Learning》（强化学习中的时辰学分分拨），先容了行径批判架构和时辰学分分拨，足足有 210 页。
而要说好奇景仰转向强化学习的缘故，他是受到 Harry Klopf 在 20 世纪 70 年代的推敲落幕的影响，该落幕建议监督学习不及以用于东说念主工智能或诠释注解智能行径，而由"行径的享乐方面"驱动的试错学习才是必要的。
第四色Sutton 从 2017 年到 2023 年是 DeepMind 的隆起推敲科学家。在加入阿尔伯塔大学之前，他曾于 1998 年至 2002 年在新泽西州 Florham Park 的 AT&T 香农实验室东说念主工智能部门担任首席技巧东说念主员。
2019 年，他曾撰文《可怜的提醒》痛批面前 AI 的发展，默示"未能吸取惨痛提醒，即从永恒来看，开荒咱们的想维方式是行欠亨的"。
他以为" 70 年的东说念主工智能推敲标明，利用计较的通用方法最终是最灵验的，并且最初上风很大"，击败了在计较机视觉、语音识别、外洋象棋或围棋等特定界限基于东说念主类学问的苦恼。
2023 年，他官宣与 John Carmack 合营，共同开发 AGI，也便是 Keen Technologies。
图灵奖官方科普强化学习强化学习的发源
强化学习是何如来的？图灵奖官网在授奖公告中先容到：
东说念主工智能（AI）界限时常触及构建智能体——即感知和行动的实体。
更强的智能体聘用更好行动决策。因此，东说念主工智能的中枢是某些行动决策比其他决策更好的不雅念。奖励——一个从格式学和神经科学借用的术语——默示提供给智能体与其施行行径质料运筹帷幄的信号。强化学习（RL）是在此信号放学习若何更到手行径的进度。
奖励学习的理念对动物培训师来说还是存在了数千年。
自后，艾伦 · 图灵在 1950 年的论文《Computing Machinery and Intelligence》中建议了"机器能想考吗？"的问题，并建议了基于奖励和刑事职守的机器学习方法。
天然图灵陈诉称还是使用这种方法进行了一些初步实验， 且 Arthur Samuel 在 20 世纪 50 年代末开发了一个通过自我对弈学习的外洋象棋形式，但在接下来的几十年里，东说念主们在这条说念路上跳跃甚微。
直到 20 世纪 80 年代初，Barto 和他的博士推敲生 Sutton 受到格式学不雅察的启发，运行执意化学习构想为一个通用的问题框架。
他们鉴戒了马尔可夫决策经由（MDPs）提供的数学基础。在马尔可夫决策经由中，智能体在就地环境中作念出决策，每次气象编削后都会收到一个奖励信号，并旨在最大化其永远蕴蓄奖励。方法的马尔可夫决策经由表面假定智能体表现对于马尔可夫决策经由的一切信息，而强化学习框架则允许环境和奖励未知。强化学习所需的最少信息，再加上马尔可夫决策经由框架的通用性，使得强化学习算法能够应用于日常的问题，如下文将进一步诠释注解。
Barto 和 Sutton 共同以及与其他东说念主一齐，开发了好多强化学习的基本算法方法。其中包括他们最进攻的孝敬——时序差分学习（在科罚奖励瞻望问题上取得了关键发扬），还有计谋梯度方法以及将神经收罗用作默示学习函数的器具。
他们还建议了将学习与假想相皆集的智能体假想，展示了获取环境学问算作假想基础的价值。
大略通常具有影响力的是他们的教科书《Reinforcement Learning: An Introduction》（1998），这本书于今仍是该界限的方法参考文件，被援用次数卓绝 7.5 万次。它让数千名推敲东说念主员得以调处这一新兴界限并为之作念出孝敬，直于当天仍激发着计较机科学界限好多进攻的推敲行径。
深度强化学习的应用
尽管 Barto 和 Sutton 的算法是几十年前开发的，但强化学习在施行应用中的关键发扬却是在畴前十五年中通过执意化学习与深度学习算法（由 2018 年图灵奖得主 Bengio、Hinton 和 LeCun 创）相皆集而达成的，这催生了深度强化学习技巧。
强化学习最知名的例子是 AlphaGo 在 2016 年和 2017 年投降了最顶尖的东说念主类围棋选手。近期的另一项关键成便是 ChatGPT。
ChatGPT 是一个分两个阶段查验的大言语模子，其中第二阶段遴选了一种名为基于东说念主类响应的强化学习（RLHF）的技巧，以捕捉东说念主类的祈望。
强化学习在好多其他界限也取得了到手。一个备受瞩观念推敲实例是机器东说念主在手中操作手段学习以及科罚实体魔方问题，这标明在模拟环境中进行扫数强化学习，最终在互异显耀的现实全国中也能取收效利。
其他界限包括收罗拥塞适度、芯片假想、互联网告白、优化、大众供应链优化、进步聊天机器东说念主的行径和推理技艺，致使纠正计较机科学中最陈旧问题之一——矩阵乘法的算法。
终末，一项部分受神经科学启发的技巧也反过来带来了启发。近期的推敲（包括 Barto 的责任）标明，东说念主工智能界限的特定强化学习算法能够很好地诠释注解对于东说念主类大脑中多巴胺系统的一系列推敲发现。
好意思国计较机协会（ACM）主席 Yannis Ioannidis 称" Barto 和 Sutton 的责任展示了欺诈多学科方法粗俗咱们界限永远存在的挑战所蕴含的远大后劲"。
从判辨科学、格式学到神经科学等推敲界限都启发了强化学习的发展，强化学习为东说念主工智能界限一些最进攻的发扬奠定了基础，也让咱们对大脑的责任方式有了更久了的了解。
Barto 和 Sutton 的责任并非咱们不错抛在死后的叩门砖。强化学习仍在抑制发展，为计较机科学和好多其他学科的进一步发展提供了远大后劲。咱们用技艺域最负知名的奖项来赏赐他们是哀感顽艳的。"
谷歌高档副总裁 Jeff Dean（谷歌为图灵奖提供资金支握）指出，" Barto 和 Sutton 创举的强化学习径直复兴了图灵的挑战"。
在畴前几十年里，他们的责任一直是东说念主工智能发展的枢纽。他们开发的器具仍然是东说念主工智能高涨的中枢支握，带来了关键发扬，眩惑了宽敞年青推敲东说念主员，并推进了数十亿好意思元的投资。强化学习的影响在改日仍将握续。"
参考畅达：
[ 1 ] https://amturing.acm.org黑.丝.足.交