Все об искусственном интеллекте Илона Маска, который готовится стать лучшим в Dota 2 – история создания, как работает, и как его победа изменит киберспорт
В прошлом году на турнире The International произошло знаковое для истории событие — искусственный интеллект OpenAI, разработку которого спонсирует Илон Маск, смог победить одного из топовых игроков в Dota 2. Не успев отпраздновать победу, создатели OpenAI поставили перед собой более амбициозную цель — победить профессиональную команду из пяти игроков. Многие специалисты раскритиковали эту идею: все-таки в дуэльном режиме бот побеждал во многом за счет быстрой «компьютерной» реакции. Полноценный матч «5 на 5» требует намного более умной игры, в которой каждому из ботов придется просчитывать игру всех соперников и своих товарищей по команде, а также координировать действия друг с другом.
Однако прошло менее года, а новые боты OpenAI Five, пусть и с некоторыми ограничениями, но уже сражаются в команде, побеждая опытных игроков Dota 2. Например, на днях искусственный интеллект одолел команду из бывших профессиональных киберспортсменов, которые сейчас работают комментаторами — это пусть и не топ-уровень, но демонстрация умелой игры. Сейчас OpenAI готовят свою команду к проходящему 20-25 августа The International 2018, где боты смогут испытать себя против лучших игроков в Dota 2. Мы разобрались, как устроен, возможно, самый крутой искусственный интеллект в истории игр, а также попытались спрогнозировать, как OpenAI изменит киберспорт в будущем.
Суперкомпьютер для нейросети
В основе Open AI лежит нейросеть — программный алгоритм, в общих чертах копирующий процесс, который человеческий мозг использует для обучения. За обработку данных в нем отвечает огромный массив нейронов, а когда мозг пытается чему-то научиться, между нейронами начинают устанавливаться связи. Если опыт признан успешным, то связи укрепляются, если наоборот — то ослабевают. Поначалу такое обучение выглядит хаотичным — вспомните, как неловко ведут себя младенцы в первые месяцы жизни. Но затем, когда нейросеть обрастает все большим количеством устойчивых связей, она начинает справляться даже с очень сложными задачами.
OpenAI занимается не только видеоиграми — большое внимание уделяется пониманию компьютером человеческого языка и повышению точности управления механическими конечностями
Конечно, это очень грубое объяснение работы человеческого мозга — ученые до сих пор плохо понимают, как он действует на самом деле. Тем не менее, даже такой подход работает, помогая компьютеру быстро обучаться множеству сложных процессов — от понимания того, что именно изображено на фотографиях, до написания музыки.
В случае с играми первые нейросети начинали свою «карьеру» с изучения опыта людей. Именно так училась нейросеть AlphaGo от Google, которая победила одного из сильнейших игроков в го Ли Седоля. Более совершенные нейросети учатся уже без использования человеческого опыта, просто играя сами против себя по заложенным правилам. Именно так была подготовлена одна из последних версий AlphaGo. Ее стиль игры поразил многих знатоков го — программа соблюдала все правила, продолжала побеждать, но делала это совсем не так, как обычно играют люди.
OpenAI тоже обучается на собственном опыте, но процесс этот оказался куда более сложным, чем изучение правил го или шахмат. Dota 2 на порядок сложнее этих игр, поэтому искусственному интеллекту приходится держать «в голове» куда больше параметров. Как мы уже писали, это действия всех персонажей противника, а также напарников по команде — причем надо понимать, что в отличие от той же фигуры в шахматах, у каждого героя в Dota 2 в любой момент матча может быть более тысячи комбинаций параметров и возможных действий. По этой причине возможности OpenAI пока ограничены лишь 18 героями из 115 представленных в игре — впрочем, внутри этого ассортимента искусственный интеллект уже способен делать драфт, подбирая оптимальный состав в ответ на выбор соперников.
Но это далеко не единственная сложность. Средний матч в Dota 2 длится 45 минут, при частоте в 30 кадров в секунду — суммарно 80 000 кадров. OpenAI анализирует каждый четвертый кадр, таким образом число сокращается до 20 000 — сравните с шахматами, в которых матч длится примерно 40 ходов, или с го, где эта цифра равна 150 ходам. Плюс «игровая доска» в Dota 2 на порядок сложнее: на ней около 20 тысяч значимых точек, которые могут меняться в ходе матча — сравните это с 70 переменными в шахматах и 400 в го. Кроме того, если в шахматах и го игроки видят всю доску, то в Dota 2 приходится учитывать туман войны. Наконец, баланс в Dota 2 немного меняется каждые две недели, с выходом очередного дополнения — и это тоже приходится учитывать боту.
А вот так OpenAI «видит» карту в Dota 2: разделяя ее на интересные зоны, а затем отдельно анализируя каждую
Для обсчета всех этих действий потребовался небольшой суперкомпьютер — конфигурация, на которой тренировался OpenAI Five, включает 128 тысяч виртуальных процессорных ядер Google, а также 256 профессиональных видеокарт Nvidia Tesla, которые, конечно, используются не для вывода графики, а для сложных математических расчетов. Вычислительной мощи хватило, чтобы каждый день пять ботов, тренируясь совместно, набирали по 180 лет игрового опыта.
Авторы рассказывают, что особенно забавно было наблюдать за первыми несколькими часами тренировки OpenAI, когда боты просто бродили по карте без какой-либо цели. Но затем нейросеть стала быстро осваивать знакомые всем тактики — фармить опыт и деньги, контролировать линию и пытаться отбить у врага «мид», воровать руны, а также объединяться всей командой для решающих атак. В некоторых случаях OpenAI и вовсе удивил разработчиков. Например, из-за несовершенства текущего интерфейса бот не видит показываемые на карте зоны вражеских атак по площади. Тем не менее, OpenAI научился угадывать такие атаки на основе других данных и быстро выходить из-под удара.
После того, как OpenAI стал справляться с заранее подготовленными сценариями игры (23 апреля), ушел еще почти месяц, прежде чем он смог победить первую «живую» команду — она состояла из разработчиков бота. Еще через пару недель боты уверенно играли даже против полупрофессиональных команд, а 5 августа — победили команду профи-ветеранов.
Запись матча OpenAI против команды бывших профессионалов
Специалисты по Dota 2, анализировавшие матчи, отметили, что с первого взгляда игру OpenAI сейчас не отличить от игры полноценной команды — боты отлично понимают ситуацию на карте, одинаково хорошо играют как в одиночку, так и совместно, пробуют разные трюки, хитрят, меняют тактики. При этом у OpenAI есть и свои особенности в стиле игры — например, боты уделяют больше внимания прокачке классов поддержки, в то время как в живых командах их «приоритет» чаще всего самый низкий. Ну и, конечно, стоит отметить, что OpenAI идеально работает с интерфейсом — он сразу видит все параметры, вроде показателей здоровья и маны (человеку для этого надо оглядеть экран), никогда не промахивается, точно рассчитывает время использования умений.
Как OpenAI изменит киберспорт
Последний шоу-матч и начало The International 2018 разделяют примерно две недели — так что на турнир наверняка привезут еще более опытного бота. Полноценно участвовать в состязании он не будет — нас ждет очередной шоу-матч, только теперь уже против топовой команды. Да и ограничения на численность героев никто отменять не планирует — разработчики OpenAI признают, что на данный момент еще нереально научить бота играть в версию со всеми персонажами.Тем не менее, победа в последнем шоу-матче уже породила немало дискуссий в интернете о том, что станет с киберспортом, когда искусственный интеллект научится уверенно побеждать киберспортсменов в любых условиях. Особенно громко звучат голоса тех, кто считает, что киберспорт погибнет — но, как нам кажется, подобные выводы преждевременны.
Для сравнения можно посмотреть, что случилось с шахматами — игрой, где еще в 1997 году компьютер Deep Blue победил тогдашнего чемпиона мира Гарри Каспарова. Примерно на эти же годы пришелся и спад популярности шахмат, но связывать его с победой компьютера не стоит. Во-первых, именно тогда Международная федерация шахмат попыталась реорганизовать систему турниров — решение, которое многие сейчас называют ошибкой. Во-вторых, в девяностые уже не было СССР, который многие десятилетия являлся главным популяризатором шахмат, а у России тех времен были совсем другие заботы. С уходом Гарри Каспарова в шахматах осталось совсем мало ярких звезд, а популярность турнирных матчей среди зрителей стабильно падала.
Один из матчей Гарри Каспарова против Deep Blue
Но в последнее десятилетие ситуация изменилась — только в промежутке с 2009 по 2014 год количество профессиональных игроков в шахматы удвоилось, плюс выросло и количество турниров. Матч 2016 года за чемпионское звание между Карлсеном и Карякиным транслировался как ведущими мировыми каналами, так и в интернете, а призовой фонд составил миллион долларов. На родине в Норвегии Карлсен и вовсе национальный герой — молодой вундеркинд, который уже в 13 лет играл практически на равных с Каспаровым, а чемпионом мира стал в 22 года.
Все в порядке и с любительскими шахматами. На момент написания статьи на сайте chess.com было 70 тысяч игроков онлайн — происходи дело в Steam, игра заняла бы седьмое место в рейтинге популярности, между Warframe и Football Manager 2018, и обошла бы такие проекты, как, например, Team Fortress 2, ARK, Rust и Rocket League. А ведь это, пусть и самый популярный, но не единственный сайт — многие играют в шахматы в других приложениях или по старинке, за настоящей доской.
А что же компьютер? После победы Deep Blue прошло еще несколько менее известных матчей, в которых AI обычно обыгрывал человека — но интересны они оказались в основном специалистам. Новые шахматные программы используют нейросети (Deep Blue просто перебирал огромное количество комбинаций, определяя самую успешную), а их мощность заметно выросла: если в 1997 году против Каспарова сражался занимавший целый зал суперкомпьютер, то сегодня даже программа для смартфона может устроить серьезную трепку шахматисту высочайшего уровня. Но шахматы от этого не погибли, а скорее даже наоборот — почти все эксперты связывают нынешний рост популярности с развитием компьютеров и интернета. Шахматы стали намного доступнее: теперь можно установить программу, имитирующую игру противника любого уровня, можно использовать софт для анализа матчей, можно, наконец, выйти в интернет и за секунды найти живого соперника для матча.
Пока что OpenAI для дуэлей доступен только для специально отобранных про-игроков
Не исключено, что похожей дорогой пойдет и Dota 2, а также другие киберспортивные игры, на которых рано или поздно тоже опробуют искусственный интеллект. После того, как дуэльная версия бота OpenAI была представлена на The International 2017, некоторые про-игроки стали использовать ее для тренировок — во многих случаях бот оказался удобнее живого соперника. В ближайшее время то же самое произойдет и с OpenAI Five, если после The International 2018 команды получат к нему доступ.
Киберспорт же останется тем же, чем он является сейчас — соревнованием живых людей, любимых публикой звезд, которые каждый день пытаются отодвинуть границы своих возможностей. И искусственный интеллект скорее всего будет помощником в этих состязаниях. Причем не только в качестве ассистента для тренировок: Гарри Каспаров почти сразу после поражения от Deep Blue рассказал, что хотел бы увидеть игру, в который человек и искусственный интеллект действуют вместе, дополняя сильные стороны друг друга. Конечно, переделать шахматы таким образом вряд ли получится, а вот вариант Dota 2 или другой дисциплины, где у каждого игрока есть умный AI-спутник — вполне реален.
Не забывайте подписываться на Игры Mail.Ru в Яндекс.Дзен.
