Машины атакуют: ИИ от DeepMind превзошёл профессиональных игроков в StarCraft II

StarCraft II ещё с ноября 2016 года стала площадкой для экспериментов сотрудников DeepMind (подразделение Alphabet) в области искусственного интеллекта. В августе 2017 года DeepMind вместе с Blizzard позволили исследовать ИИ с помощью StarCraft II всем желающим в открытом окружении, выпустив ряд новых инструментов. В ноябре того же года в Сеуле, в Университете технологии и науки Южной Кореи был проведён турнир между профессионалами и ИИ в этой RTS. Тогда люди всё ещё оказались лучше машин, но прогресс не стоит на месте, так что теперь даже самым изощрённым корейским игрокам есть о чём переживать при игре против компьютера.

Люди склонны считать, что весьма искусны в играх, которые создают, но компьютеры снова и снова доказывают, что человеческий разум и его реакция попросту недостаточно быстры, чтобы совладать с вычислительной мощью компьютерных алгоритмов. Машины одержали победу над лучшими из людей в области шахмат, телевикторины Jeopardy! или даже го (одной из самых сложных настольных игр в мире). Принадлежащая Google команда DeepMind, по сути, взяла верх в ещё одной дисциплине — стратегии в реальном времени StarCraft II. Всего через 18 месяцев после начала тренировок и работы над созданием подходящего алгоритма DeepMind удалось представить искусственный интеллект, который убедительно превосходит лучших в мире игроков в StarCraft II.

DeepMind назвала своего цифрового чемпиона по го именем AlphaGo, так что бот, превосходно играющий в StarCraft II, получил аналогичное прозвище — AlphaStar. За плечами этого алгоритма — более 200 лет практики. Ещё на последней конференции Blizzcon в ноябре команда DeepMind сказала, что её платформа машинного обучения смогла примерно вдвое превзойти сложность «Безумно» у компьютерных соперников, доступных игрокам в StarCraft II. С тех пор она стала ещё опаснее.

AlphaStar — это свёрточная нейронная сеть. Команда начала с повторов профессиональных матчей, дав AlphaStar отправную точку для начала игры. Благодаря интенсивным тренировкам с конкурирующими моделями, DeepMind смогла научить AlphaStar играть в игру так же, как и лучшие игроки из числа людей. Со временем она сократила набор ИИ до пяти лучших «агентов», и именно в таком виде бросила его против самых опытных в мире игроков StarCraft II.

Матчи состоялись в декабре, а на недавней интернет-трансляции в основном демонстрировались записи. Вначале AlphaStar сражался с игроком, известным под псевдонимом TLO, который в основном играет за зергов в StarCraft II. Тем не менее, ему пришлось выбрать протоссов, поскольку AlphaStar пока натренирован только против этой расы. Это было больше похоже на избиение: несмотря на все усилия TLO, AlphaStar победил человека пять раз подряд. Затем другой агент AlphaStar выступил против опытного игрока-протосса под ником MaNa. В некоторых матчах человек был близок к победе, но AlphaStar всё же снова выиграл пять игр подряд. Также MaNa боролся с новым агентом AlphaStar в прямом эфире, и на этот раз ему удалось одержать победу над машиной.

AlphaStar продемонстрировал впечатляющий уровень микроуправления войсками на протяжении всех матчей. Он быстро отодвигал повреждённые отряды в тыл, выдвигая более сильных на передовую линию. AlphaStar также контролировал темп битвы, продвигая отряд вперёд и отступая в нужное время, чтобы нанести урон, получая при этом меньше повреждений. Причём речь шла не о превосходстве в количестве прямых действий в минуту (APM) — показатель APM у AlphaStar существенно ниже, чем у игроков-людей: алгоритм просто совершал более разумные действия.

ИИ также использовал некоторые любопытные стратегические приёмы. Алгоритм часто отправлял отряды на возвышенности — это опасно в StarCraft II, поскольку из-за «тумана войны» игрок не видит, что его там ждёт, пока не поднимется. Тем не менее, это как-то сработало. AlphaStar также отказался от проверенной тактики блокировки входа на базу стеной зданий. Это основная тактика в StarCraft II, но ИИ не беспокоился об этом и всё же сумел защитить свои базы.

Только в финальном матче в прямом эфире человек смог обнаружить изъян в одном из агентов. Эта версия AlphaStar решила перебросить почти всю свою армию как единое целое, чтобы смести базу MaNa. Тем не менее, последний смог несколько раз переместить нескольких своих бойцов в тыл базы AlphaStar. Каждый раз в таком случае AlphaStar поворачивал всю свою армию, чтобы справиться с угрозой. Это дало MaNa достаточно времени, чтобы усилиться и дать достойный отпор ИИ.

В итоге AlphaStar выиграл 10 матчей против профессиональных игроков и проиграл только один. Если алгоритм сможет обучиться на основе последнего матча, в следующий раз он может оказаться вовсе непобедимым.