23 декабря 2019 года члены Ubisoft La Forge описали алгоритм, способный грамотно выполнять различные действия в видеоиграх. Они испытали его в неназванном гоночном симуляторе, провели несколько эталонных тестов, и результаты превзошли их ожидания.
Техника обучения с подкреплением (reinforcement learning) уже давно с большим успехом используется в индустриальной и медицинской сферах, однако эксперименты с видеоиграми происходят редко. Хотя компании вроде OpenAI и DeepMind уже обучили искусственный интеллект Dota 2, Quake III Arena и StarCraft 2, использование таких «запрограммированных геймеров» в жестких условиях индустрии почти не изучается. Ubisoft La Forge решила внести свой вклад в это поле, проводя эксперименты с виртуальными автомобилями.
Кстати, об автомобилях: связанные с ними товары вроде сигнализаций, камер заднего вида и магнитол продаются в интернет-магазине «ЦентрСПб», вся информация о котором доступна на официальном сайте. Там же можно легко и быстро оформить заказ из любой точки Санкт-Петербурга. Компания славится широким ассортиментом, доступными ценами и короткими сроками доставки. Здесь вы найдете все необходимое. Затеяли ремонт своей тачки? Обращайтесь.
«Для обучения с подкреплением все чаще используются видеоигры: агенты уже освоили пиксельные игры для Atari. Они могут даже состязаться с заядлыми фанатами сложных игр с неполной информацией, — сказано в работе членов Ubisoft La Forge. — Подобные системы редко используются в рамках игровой индустрии, и мы считаем главной причиной тому их малую доступность. В конце концов, наиболее значительные результаты достигаются большими группами исследователей, ресурсы которых в разы превосходят стандартное оборудование студий-разработчиков».
Команда Ubisoft La Forge надеется использовать технику обучения с подкреплением, дабы решить частые проблемы разработки видеоигр. Исследователи заметили, что сбор образцов данных, как правило, проходит медленно, а агентам на их операции отводится строго определенное время.
Решение команды основано на алгоритме Soft-Actor-Critic (SAC), предложенном в начале 2018 года исследователями Калифорнийского университета в Беркли. В плане сбора образцов он гораздо эффективнее традиционных программ обучения с подкреплением. Более того, он легче адаптируется к незнакомым условиям. Ubisoft La Forge применила данный алгоритм именно к видеоиграм, поскольку в них необходимо совершать дискретные и продолжительные действия, а каждый шаг или прыжок имеет параметры вроде конечных координат и направления.
Команда Ubisoft испытала свой алгоритм в трех средах, идеальных для эталонных тестов. Речь об одной игре, похожей на платформер, и двух симуляторах футбола. По их словам, результаты их программы лишь немного уступают показателям лидеров индустрии. Но в случае с симулятором гонок исследователи смогли научить ИИ водить машину с помощью двух продолжительных (ускорение и повороты) и одного дискретного (торможение) действий. Целью было как можно быстрее преодолеть заданный маршрут в среде, с которой агент не сталкивался во время тренировок.
«Мы доказали, что гибридный SAC можно научить водить гоночную машину в коммерческой видеоигре, — пишут исследователи Ubisoft. — [Это отличная демонстрация] практической пользы подобного алгоритма для индустрии».
