Универсальный алгоритм обучения с подкреплением, овладевший шахматами, сёги и го посредством самоигры

Шахматы являются наиболее длительно изучаемой областью в истории искусственного интеллекта. Самые сильные программы основаны на сочетании сложных методов поиска, специфических для домена адаптаций и ручных функций оценки, которые в течение нескольких десятилетий совершенствовались экспертами-человеками. В отличие от этого, программа AlphaGo Zero недавно достигла сверхчеловеческой производительности в игре го с помощью обучения с подкреплением на основе самоигры. В данной статье мы обобщаем этот подход в единый алгоритм AlphaZero, способный достигать сверхчеловеческой производительности во многих сложных играх. Начиная с случайной игры и не имея никакого доменного знания, кроме правил игры, AlphaZero убедительно победил мировую чемпионскую программу в шахматах и сёги (японских шахматах), а также в го.