플루리버스란? 6인 홀덤에서 프로를 이긴 포커 AI의 원리

플루리버스는 2019년 6인 노리밋 홀덤에서 정상급 프로들을 이긴 포커 AI다. 프로 13명과 친 1만 핸드의 결과, 자기 자신과 쳐서 만든 전략과 몇 수 앞만 내다보는 계산, 그리고 내 판에 가져갈 수 있는 플레이를 정리했다.

「플루리버스」를 검색하면 애플TV 드라마가 먼저 보이지만, 포커에서 플루리버스(Pluribus)는 2019년 카네기멜런대학교와 페이스북 AI 연구팀이 만든 포커 AI를 가리킨다. 6인 노리밋 텍사스 홀덤에서 정상급 프로들을 상대로 우연이라고 보기 어려운 승리를 거둔 첫 AI다.

플루리버스가 이긴 방법은 세 가지로 정리된다. 사람이 친 핸드 기록 없이 자기 복제본끼리 쳐서 만든 기본 전략, 결정할 때마다 몇 수 앞만 내다보는 계산, 그리고 어떤 패를 들었든 같은 비율로 행동을 섞어 읽히지 않는 플레이다. 상대의 약점을 파고들어서가 아니라, 누구를 만나도 크게 밀리지 않는 방식으로 이겼다.

플루리버스는 누구와 몇 판을 쳐서 이겼을까?

결과는 2019년 7월 11일 과학 학술지 「사이언스」에 노암 브라운과 투오마스 샌드홈의 논문으로 실렸다. 실험은 사람과 AI의 비율을 뒤집어 두 번 했다.

실험	어떻게 쳤나	결과
프로 5명 + AI 1	프로 13명 가운데 매일 5명씩, 12일 동안 1만 핸드	AI가 100핸드당 약 5빅블라인드 이김
프로 1명 + AI 5	다렌 엘리어스, 크리스 퍼거슨, 리누스 로엘리거가 각 5천 핸드	프로 3명 합계 100핸드당 2.3빅블라인드 잃음

판은 매 핸드 칩 1만 개로 다시 시작했고 블라인드는 50/100이었다. 스택이 늘 100빅블라인드로 돌아가는 6인 캐시게임이다. 상대도 가벼운 이름이 아니었다. 크리스 퍼거슨은 2000년 WSOP 메인 이벤트 우승자이고, 다렌 엘리어스는 WPT에서 네 번 우승했다. 13명이 참여한 실험에는 2012년 메인 이벤트 우승자 그렉 머슨도 있었다. 프로들이 대충 치지 않도록 13명에게는 성적에 따라 나누는 상금 5만 달러가 걸렸다.

100핸드당 5빅블라인드를 칩 대신 달러로 바꾸면 핸드당 5달러, 시간당 약 1,000달러를 따는 셈이라고 페이스북(현 메타)은 설명했다. 1만 핸드는 운이 크게 섞일 수 있는 표본이라, 연구팀은 카드 운의 몫을 걸러 내는 통계 기법(AIVAT)으로 결과를 다시 계산했다. 그 결과 우연으로 나왔을 가능성은 낮다는 판정(p값 0.021)을 받았다. 참가자 제이슨 레스는 MIT 테크놀로지 리뷰에 자신이 꽤 잘 쳤다고 느꼈지만 돌아보면 운이 좋았던 것이라고 말했다.

6인 게임에서 이긴 것이 왜 따로 뉴스가 됐을까?

같은 연구팀은 2017년에 리브라투스(Libratus)라는 AI로 1대1 노리밋 홀덤에서 프로 4명을 12만 핸드 동안 이겼다. 1대1은 한쪽이 딴 만큼 다른 쪽이 잃는 두 사람 게임이다. 이런 게임에서는 내시 균형(어느 쪽도 전략을 바꿀 이유가 없는 상태)에 가까운 전략을 찾으면 적어도 지지는 않는다는 이론적 보장이 있다.

세 명 이상이 앉으면 그 보장이 사라진다. 균형 전략을 써도 다른 플레이어들의 선택에 따라 질 수 있기 때문이다. 연구팀도 이 방법에는 강한 이론적 보장이 없고 실험으로 통한 것이라고 밝혔다. 6인 홀덤 승리가 의미 있었던 이유는 이론이 보장하지 않는 판에서도 실전으로 통하는 방법을 보였다는 데 있다. 홀덤펍이든 온라인이든 사람들이 실제로 치는 판은 대부분 여러 명이 앉는 판이다.

이 AI는 전략을 어떻게 만들었을까?

자기 자신과 쳐서 기본 전략을 만들었다

출발점은 블루프린트라고 부르는 기본 전략이다. 아무렇게나 치는 상태에서 시작해 자기 복제본 여섯과 수없이 핸드를 치면서, 그때 다르게 했으면 더 벌었을 행동 쪽으로 전략을 조금씩 고쳐 나갔다(몬테카를로 CFR, 「후회」를 줄여 가는 학습). 사람이 친 핸드 기록은 쓰지 않았다. 계산량을 줄이려고 비슷한 상황은 하나로 묶고, 베팅 크기 가운데 일부는 아예 고려하지 않았다.

똑같이 생긴 AI 형상 여섯이 원형 테이블에 둘러앉아 서로 포커를 치고, 금색 화살표가 자리를 따라 원을 그리는 일러스트 — 블루프린트는 자기 복제본 여섯이 서로 치면서 만들어졌다

판이 진행되면 몇 수 앞만 내다봤다

기본 전략은 첫 베팅 라운드를 칠 만큼만 정밀했다. 그 뒤로는 결정할 차례가 올 때마다 지금 상황을 더 잘게 나눠 다시 계산했다. 핸드 끝까지 읽지 않고 몇 수 앞에서 멈추는데, 그 지점에서 상대들이 이후 어떻게 칠지를 네 가지로 가정했다. 기본 전략대로 치는 경우, 그리고 폴드 쪽, 콜 쪽, 레이즈 쪽으로 치우친 경우다. 상대가 어느 쪽으로 나와도 버티는 선택을 고르는 것이다. 한 번의 결정에 1~33초가 걸렸고, 자기 복제본끼리 칠 때 핸드당 평균 약 20초였다.

어떤 패를 들었든 같은 비율로 섞었다

계산할 때 이 AI는 실제로 들고 있는 패만 보지 않았다. 지금까지의 행동으로 보아 자신이 가질 수 있는 모든 패에 대해 전략을 함께 계산하고, 그 안에서 균형을 맞췄다. 그러면 같은 크기의 베팅이 강한 패일 때도 블러프일 때도 나온다. 상대는 베팅만 보고 패를 좁히기 어려워진다. 실험에 참가한 엘리어스가 가장 큰 강점으로 꼽은 것도 이렇게 행동을 섞는 능력이었다.

흔히 틀리게 알려진 것은 무엇일까?

첫째는 경기 중에 사람을 보며 배웠다는 설명이다. 실전에서 한 일은 학습이 아니라 그 자리에서의 계산이었다. 메타는 이 AI가 상대의 성향을 보고 전략을 바꾸지 않는다고 밝혔다. 12일 동안 같은 프로를 여러 번 만나도 그 사람의 버릇을 노려 전략을 고치지 않았다는 뜻이다. 사람의 약점을 찾아 이긴 AI가 아니라는 점에서, 앞에서 말한 「누구를 만나도 밀리지 않는 방식」과 이어진다.

둘째는 거대한 컴퓨터가 필요했다는 인상이다. 기본 전략은 64코어 서버 한 대에서 8일 동안 만들었고, 메모리는 512GB가 안 됐으며 GPU는 쓰지 않았다. 메타는 이 계산을 클라우드 요금으로 치면 150달러가 안 된다고 했다. 실전에서는 CPU 2개와 128GB가 안 되는 메모리로 돌아갔다. 1대1용이던 리브라투스가 전략을 만드는 데 약 1,500만 코어시간, 실전에 1,400코어를 쓴 것과 비교하면 크게 가벼워졌다.

프로들이 놀란 플레이는 내 게임에 쓸 수 있을까?

플레이 중 몇 가지는 프로들의 통념과 달랐다. 연구팀과 참가자들이 짚은 것을 내 판에 옮길 때의 기준과 함께 정리하면 아래와 같다.

플레이	AI가 한 것	내 판에 옮길 때
림프 (빅블라인드만 맞추고 들어가기)	자기와 치는 초반에 쓰다가 점점 버림. 스몰블라인드에서만 남김	먼저 들어갈 때는 레이즈 아니면 폴드
동크벳	프로들보다 훨씬 자주 씀	무조건 실수라는 통념은 내려놓아도 됨
베팅 크기	프리플랍 레이즈 크기를 여러 개 쓰고, 사람이 잘 안 쓰는 크기도 씀	한 가지 크기만 고집하지 않기
섞기	같은 상황에서 콜·레이즈·폴드를 일정 비율로 섞음	같은 자리에서 늘 같은 행동만 하지 않기

동크벳은 앞 라운드를 콜로 끝낸 플레이어가 다음 라운드에서 먼저 베팅하는 것이다. 보통은 주도권을 가진 레이즈한 쪽에 먼저 기회를 넘기는 것이 정석이라 실수로 여겨져 왔다. AI가 이걸 자주 썼다고 해서 아무 보드에서나 써도 된다는 뜻은 아니다. 다만 「동크벳은 초보나 하는 것」이라고 단정할 근거는 약해졌다. 림프도 마찬가지다. AI가 스스로 버린 선택이라는 점은 홀덤펍에서 림프로 판에 들어가는 습관이 있는 사람이라면 한 번 돌아볼 만하다.

그대로 가져올 수 없는 것도 분명하다. 결정할 때마다 몇 수 앞을 수십 초씩 계산하는 일은 사람이 테이블에서 할 수 없다. 또 이 결과는 스택이 매 핸드 100빅블라인드로 돌아가는 6인 캐시게임에서 나왔다. 스택 크기와 상금 구조가 판단을 바꾸는 토너먼트, 9명이 앉는 풀 테이블에 그대로 옮길 수는 없다. 이 AI는 약한 상대에게서 더 많이 따는 방법을 보여 준 AI가 아니다. 플레이가 느슨한 판에서 상대의 버릇을 노려 더 벌 수 있는지는 이 실험이 답하지 않는다.

연구팀은 왜 코드를 공개하지 않았을까?

연구팀은 코드를 공개하지 않았다. 노암 브라운은 MIT 테크놀로지 리뷰와의 인터뷰에서 공개하면 포커 커뮤니티에 매우 위험할 수 있다고 말했다. 온라인 판에서 사람인 척 다른 플레이어를 상대하는 데 쓰일 수 있다는 걱정이었다.

닫힌 노트북 위에 금색 자물쇠가 놓여 있고 옆에 온라인 포커 화면의 휴대폰과 칩이 있는 일러스트 — 연구팀은 온라인 판에서 악용될 수 있다며 코드를 공개하지 않았다

온라인 포커에서 문제가 되는 것은 봇만이 아니다. 게임 도중 프로그램의 조언을 받는 실시간 보조(RTA, Real-Time Assistance)도 큰 사이트들이 약관으로 막는 행위다. 예를 들어 GGPoker는 2020년 9월 RTA 사용으로 계정 40개를 정지하고, 그중 13개 계정에서 117만 5,305달러를 몰수했다고 PokerNews가 보도했다. 해외 사이트마다 이런 규칙을 어떻게 운영하는지는 해외 주요 포커 플랫폼을 비교한 글에서, GGPoker 자체에 대해서는 GG포커가 어떤 곳인지 정리한 글에서 이어서 볼 수 있다.