В Facebook создали нового покерного бота, превосходящего Libratus
Разработчики команды Facebook создали основу для нового искусственного интеллекта – он обещает быть лучшей на сегодняшний день программой, которая может обыграть человека в NLH. ИИ уже протестировали за столами – по результатам он превзошел своего предшественника Libratus, который справился с командой покер-про в 2017 году.
Новый бот получил имя ReBeL, что трактуется как рекурсивное обучение на основе убеждений. Его концепция позволяет получить максимум информации от игры с неполной информацией.
За последние несколько лет боты отлично показали себя в самых сложных играх. Несколько лет назад бот смог стать непобедимым в нескольких видах шахмат. Он использовал правила игры, самообучался и через пару часов достигал высокого уровня мастерства. Такой же принцип использует Libratus и ReBeL, но последний имеет ключевое отличие – при принятии решения он учитывает не только видимые данные, как диапазон, размер ставок и карты, но и мнение каждого оппонента.
Как работает ReBeL
Для самообучения ReBel использует два ИИ – сеть политики и сеть вэлью. Проанализировав раздачу по двум сетям, окончательное решение бот принимает на основе общественных убеждений (PBS).
Например, в шахматах боту достаточно видеть доску и фигуры, чтобы принимать правильное решение. В случае PBS ИИ будет составлять модель вероятностей и возможных действий, которые может совершить оппонент. А также — какие из этого будут последствия.
Именно благодаря использованию PBS новый бот преуспел в играх с неполной информацией. В первых испытаниях он отлично сыграл в Холдем, Holdem Endgame (упрощенная версия без возможности рейза на двух первых улицах) и кости лжеца.
ReBeL обошел Libratus
В тестировании обоих ботов принимал участие профессиональный игрок и специалист по хедз-апу Донг Ким. В случае с Libratus играла команда игроков, но конкретно у Кима бот выигрывал по 0.029 BB в каждой раздаче.
Ким согласился протестировать новый ИИ на дистанции 7,500 рук. На этом отрезке раздач ReBeL выиграл у покер-про по 0.165 BB в каждой раздаче.
Понимая всю серьезность ситуации, которую может создать бот за реальными онлайн-столами, команда Facebook не будет выпускать код для покера. ReBeL планируется использовать в благих целях – на аукционах, в кибербезопасности и автопилотировании.
