一个算法通吃三大棋类,国际象棋

北京时间12月7日早间消息,Alphabet旗下人工智能部门DeepMind一年前宣布开发了一套名为AlphaZero的系统,它可以教会自己如何掌握国际象棋、日本将棋和中国围棋,而且都能击败世界冠军。

12月7日,谷歌旗下的人工智能实验室DeepMind研究团队在《科学》杂志上发表封面论文,公布了通用算法AlphaZero和测试数据。《科学》杂志评价称,通过单一算法就能够解决多个复杂问题,是创建通用的机器学习系统、解决实际问题的重要一步。该论文的作者包括AlphaGo的核心研发人员戴维席尔瓦(David
Silver)和DeepMind创始人戴密斯哈萨比斯(Demis
Hassabis)等。2018年12月7日的《科学》杂志封面

金沙js8331,虽然DeepMind的说法令人印象深刻,但当时却未能通过同行评审。不过,DeepMind今天宣布,经过数月的反复修订,该公司在AlphaZero上的成果已经被《科学》杂志接受,并登上该杂志的首页。

AlphaGo首次为人们所熟知是2016年与围棋世界冠军李世石进行围棋人机大战,并最终以4比1的总比分获胜。实际上早在2016年1月谷歌就在国际学术期刊《自然》杂志上发表封面文章,介绍AlphaGo在没有任何让子的情况下以5:0
完胜欧洲冠军、职业围棋二段樊麾。

“几年前,我们的AlphaGo以4:1击败了18次获得围棋世界冠军的棋手李世石。但对于我们来说,这实际上是构建一个通用学习系统的开始,这个系统可以自己学习不同的游戏,最终达到超越人类的水平。“AlphaZero的首席研究员大卫·西尔沃对参加蒙特利尔NeurIPS
2018大会的记者说,“AlphaZero是这一段旅程的下一步。它从头开始学习击败围棋、国际象棋和日本将棋的世界冠军。除了游戏规则外,它什么知识都没有。“

2016年1月28日《自然》杂志封面

Silver解释说,选择这些游戏既考虑了它们的复杂性,也考虑了之前针对它们进行人工智能研究的丰富历史。

2017年10月18日,DeepMind团队公布了最强版阿尔法围棋,代号AlphaGo
Zero。彼时DeepMind表示,棋类AI的算法主要基于复杂的枚举,同时需要人工进行评估,人们在过去几十年内已经将这种方法做到极致了。而AlphaGo
Zero在围棋中的超人表现,则是通过与自己下棋练习出来的。

为此,本周发表的论文描述了DeepMind如何利用深度神经网络实现优于Stockfish、Elmo和IBM深蓝的游戏算法。

现在DeepMind研究团队将这种方法推广到AlphaZero的算法中,AlphaZero最长花了13天自学成才,随后与世界冠军级的棋类AI对决:在国际象棋中,AlphaZero在4个小时后首次击败了第九季TCEC世界冠军Stockfish。在日本将棋中,AlphaZero在2小时后击败了将棋联盟赛世界冠军Elmo。在围棋上,AlphaZero经过30个小时的鏖战,击败了李世石版AlphaGo。AlphaZero:一个算法通吃三大棋类AlphaGo的前几代版本,一开始都是与人类棋手的棋谱进行上千盘的训练,学习如何下围棋。到了AlphaGo
Zero则跳过了这个步骤,通过自我对弈学习下棋,从零学起。系统从一个对围棋一无所知的神经网络开始,将该神经网络和一个强力搜索算法结合,自我对弈。在对弈过程中,神经网络不断调整、升级,预测每一步落子和最终的胜利者。与AlphaGo
Zero一样,从随机小游戏开始,AlphaZero依靠深度神经网络、通用强化学习算法和蒙特卡洛树搜索,在除了游戏规则外没有任何知识背景的情况下,通过自我对弈进行强化学习。强化学习的方式是一种通过试错的机器学习方式。DeepMind在其博客中介绍,一开始AlphaZero完全是在瞎玩,但随着时间的推移,系统从胜、负和平局中学习,调整神经网络的参数,如此往复循环,每过一轮,系统的表现就提高了一点点,自我对弈的质量也提高了一点点,神经网络也就越来越准确。神经网络所需的训练量取决于游戏的风格和复杂程度。经过试验,AlphaZero花了9个小时掌握国际象棋,花了12个小时掌握日本将棋,花了13天掌握围棋。AlphaZero的训练步骤

“传统引擎非常强大并且几乎没有明显的错误,但当面对没有具体和可计算解决方案的位置时,可能会发生漂移。”国际象棋大师马修·萨德勒说,“正是在这样的位置,AlphaZero才能实现‘感觉’,‘洞察力’或‘直觉’。“

AlphaZero继承了AlphaGo
Zero的算法设置和网络架构等,但两者也有诸多不同之处。比如围棋中很少会出现平局的情况,因此AlphaGo
Zero是在假设结果为非赢即输的情况下,对获胜概率进行估计和优化。而AlphaZero会将平局或其他潜在结果也纳入考虑,对结果进行估计和优化。

为了测试经过全面训练的AlphaZero,除了其前身AlphaGo
Zero之外,DeepMind的研究人员还对上述的Stockfish和Elmo游戏引擎进行了测试。在具有44个处理器内核和4个谷歌第一代TPU的单台机器上运行时,AlphaZero都能轻松赢得大多数比赛。

其次围棋棋盘发生旋转和反转,结果都不会发生变化,因此AlphaGo
Zero会通过生成8个对称图像来增强训练数据。但国际象棋和日本将棋中,棋盘是不对称的。因此,AlphaZero不会增强训练数据,也不会在蒙特卡洛树搜索期间转换棋盘位置。在AlphaGo
Zero中,自我对弈是由以前所有迭代中最好的玩家生成的,而自我对弈也是与这个产生的新玩家对于。而AlphaZero只继承了AlphaGo
Zero的单一神经网络,这个神经网络不断更新,而不是等待迭代完成。自我对弈是通过使用这个神经网络的最新参数生成的,因此省略了评估步骤和选择最佳玩家的过程。此外,AlphaGo
Zero使用的是通过贝叶斯优化调整搜索的超参数;AlphaZero中,所有对弈都重复使用相同的超参数,因此无需进行针对特定某种游戏的调整。唯一的例外是为保证探索噪声和学习率。研究团队展示了在AlphaZero执白、Stockfish执黑的一局国际象棋里,经过1000次、10000次直到100万次模拟之后,AlphaZero蒙特卡洛树的内部搜索状态。每个树状图解都展示了10个最常搜索的状态。通过自我学习掌握国际象棋、日本将棋和围棋的强化学习算法
《科学》杂志 图

DeepMind研究团队介绍,每个AI的硬件都是定制的。例如,在TCES世界锦标赛上,Stockfish和Elmo使用的是44核CPU。而AlphaZero和AlphaGo
Zero则使用了一台配备了4个第一代TPU和44核CPU的机器。虽然架构没有可比性,但第一代TPU的处理速度与英伟达公司的Titan
V型商用GPU相当。研究团队在训练环节里,投入了5000个一代TPU来生成自我对弈游戏,16个二代TPU来训练神经网络。

卡斯帕罗夫:聪明地工作比拼命地工作更重要国际象棋是计算机科学家很早就开始研究的领域。1997年,深蓝击败了人类国际象棋冠军卡斯帕罗夫,这一事件成为了人工智能发展的里程碑。但彼时卡斯帕罗夫对深蓝的印象并不深刻,认为深蓝的智能水平和一个闹钟差不多。如今,他对棋类AI的看法也发生了转变。他认为AlphaZero像自己一样,下棋风格多变而开放。在同一期《科学》杂志上,卡斯帕罗夫撰文称,传统的机器是通过不断枚举来下棋,最终把棋局拖入无聊的平局。但在我的观察中,AlphaZero会优先考虑棋子的活动而非盘面上的点数优势,并且喜欢在相对风险更大的地方落子。尽管与传统的冠军级程序相比,研究人员用训练好的神经网络指导蒙特卡罗树搜索,来选择最有可能获得胜利的一步,因此AlphaZero每秒计算的位置要少得多。据DeepMind介绍,在国际象棋中,AlphaZero每秒仅计算6万个位置,相比之下,Stockfish则会计算6千万个位置。但从比赛的结果来看,AlphaZero的思考显然更有效率。在国际象棋比赛中,AlphaZero击败了2016年TCEC(第九季)世界冠军Stockfish,在1000场比赛中,赢得155场比赛,输了6场。为了验证AlphaZero的稳健性,研究团队还进行了一系列比赛,这些比赛都是从人类开局方式开始的,而AlphaZero都击败了Stockfish。在将棋比赛中,AlphaZero击败了2017年CSA世界冠军版Elmo,赢得了91.2%的比赛。在围棋比赛中,AlphaZero击败了AlphaGo
Zero,赢得了61%的比赛。对于AlphaZero取得的战绩,卡斯帕罗夫认为这正是印证了一句老话聪明地工作比拼命地工作更重要。在AlphaZero对阵各领域最强AI的战绩,绿色代表AlphaZero获胜,灰色代表平局,粉色代表输棋。
《科学》杂志图

此外,卡斯帕罗夫表示,一个程序的特点通常反映了程序员思考的优先级和思维上的偏见,但由于AlphaZero是通过跟自己下棋来完善自己的思路的,所以它的风格反映的就是它自己。

在进行马拉松式比赛的过程中,DeepMind研究团队发现,AlphaZero自己发现并掌握了一些人类下棋时摸索出来的套路,比如在国际象棋中,AlphaZero掌握了几种常见的开局模式、保王的思维以及各种兵阵的布局。但另一方面AlphaZero是自学成才的,不受到传统观念的影响,因此它还能为传统策略的发展注入新鲜的血液。这一点得到了日本将棋史上第一个达成七冠王的羽生善治的赞同。AlphaZero会将王移到棋盘中央,从人类的角度来看,这是有违将棋理论的,它的一些路数走得也很危险。但令人难以置信的是,它始终控制着局面。AlphaZero独特的风格打开了日本将棋新世界的大门。
羽生善治表示。

发表评论

电子邮件地址不会被公开。 必填项已用*标注