오픈AI 파이브

3. 아키텍처

오픈AI 파이브는 각 봇이 단일 계층의 LSTM 신경망을 사용하여 도타 2 게임 상태를 관찰하고 행동을 결정하는 아키텍처를 기반으로 한다.^[17][23] 시스템 학습은 "Rapid"라는 자체 개발 인프라 위에서 강화 학습 방식으로 진행되었으며, 근접 정책 최적화(PPO) 알고리즘이 사용되었다.^[18][23][19] 학습에는 대규모 컴퓨팅 자원이 투입되었다.

3. 1. 기술적 특징

• '''장기적 관점''': 도타 2 경기는 평균 45분 동안 진행되며, 이는 게임 내 시간 단위인 틱(tick)으로 환산하면 약 80,000틱에 해당한다. 봇은 초당 30 프레임으로 실행되며, 매 4번째 프레임마다 게임 상태를 관찰하여 약 20,000번의 행동을 수행한다. 이는 보통 40수 미만으로 끝나는 체스나 150수 미만으로 끝나는 바둑에 비해 훨씬 긴 시간 동안의 전략적 판단이 필요함을 의미한다.
• '''부분 관찰된 게임 상태''': 플레이어는 자신과 아군 주변의 제한된 시야만 확보할 수 있으며, 나머지 영역은 전장 안개에 가려져 적의 위치나 움직임을 직접 볼 수 없다. 따라서 도타 2는 불완전한 정보를 바탕으로 상대의 행동을 추론하고 예측해야 하는 게임이다. 반면, 체스나 바둑은 모든 정보가 양측 플레이어에게 공개되는 "완전 정보 게임"이다.^[27]
• '''연속적인 행동 공간''': 도타 2의 각 영웅은 수십 가지의 행동을 할 수 있으며, 특정 대상이나 위치를 지정하는 방식까지 고려하면 가능한 행동의 수는 매우 많다. 오픈AI는 영웅당 약 17만 개의 가능한 행동 공간을 고려하도록 설계했다. 매 순간(틱)마다 평균적으로 약 1,000개의 유효한 행동 선택지가 존재한다. 이는 평균 35개의 행동 수를 가지는 체스나 250개의 행동 수를 가지는 바둑과 비교했을 때 훨씬 복잡한 의사 결정 과정이 요구된다.
• '''연속적인 관찰 공간''': 도타 2는 넓은 맵에서 10명의 영웅, 수십 개의 건물, 그리고 다수의 비 플레이어 캐릭터(NPC) 유닛들이 상호작용하는 복잡한 환경을 가진다. 오픈AI 시스템은 개발자가 제공하는 API를 통해 게임 상태를 관찰하며, 이는 약 20,000개의 숫자로 구성된 방대한 데이터로 표현된다. 이는 약 70개의 목록으로 표현되는 체스판이나 약 400개의 열거형으로 표현되는 바둑판에 비해 훨씬 많은 정보를 처리해야 함을 의미한다.

4. 다른 게임 AI 시스템과의 비교

오픈AI 파이브 이전에도 인공지능이 인간과 대결하여 성공을 거둔 사례는 여럿 있었다. 예를 들어 IBM의 왓슨은 미국의 유명 퀴즈 쇼 ''Jeopardy!''에서 우승했고, 딥 블루는 세계 체스 챔피언을 이겼으며, 구글 딥마인드의 알파고는 세계 최고 수준의 바둑 기사를 상대로 승리했다.^[20][21][22]

하지만 오픈AI 파이브가 도전한 도타 2는 이들 게임과는 다른 차원의 복잡성을 지닌다.^[23]

• '''장기적인 계획 필요''': 도타 2 한 경기는 평균 45분 동안 진행되며, 초당 30프레임으로 계산하면 게임당 약 8만 번의 상태 변화(틱)가 발생한다. 오픈AI 파이브는 4프레임마다 한 번씩 상황을 판단하여 총 2만 번의 행동을 결정해야 한다. 이는 보통 40수 이내에 끝나는 체스나 150수 이내에 끝나는 바둑과 비교했을 때 훨씬 긴 시간 동안의 전략적 판단이 요구됨을 의미한다.

• '''불완전한 정보''': 도타 2에서는 플레이어가 자신과 아군 주변의 제한된 시야만 확보할 수 있다. 나머지 지역은 전장 안개(Fog of War^eng)에 가려져 상대방의 위치나 움직임을 직접 볼 수 없다. 따라서 플레이어는 제한된 정보를 바탕으로 상황을 추론하고 상대방의 행동을 예측해야 한다. 반면 체스나 바둑은 모든 정보가 양측 플레이어에게 공개되어 있는 '완전 정보 게임'이라는 점에서 근본적인 차이가 있다.^[27]

• '''방대한 행동 가짓수''': 도타 2에서 플레이어가 조종하는 영웅은 수십 가지의 행동을 할 수 있으며, 각 행동은 다양한 대상(다른 유닛, 특정 위치 등)을 목표로 할 수 있다. 오픈AI는 영웅 한 명당 가능한 행동의 가짓수를 약 17만 개로 설정했다. 게임의 매 순간마다 평균적으로 약 1,000개의 유효한 행동 중 하나를 선택해야 한다. 이는 평균 행동 수가 35개인 체스나 250개인 바둑과 비교할 수 없을 정도로 많은 경우의 수이다.

• '''복잡한 게임 상태''': 도타 2는 넓은 맵에서 각 팀 5명씩 총 10명의 영웅, 수십 개의 건물, 그리고 다수의 비 플레이어 캐릭터(NPC) 유닛들이 동시에 움직이며 상호작용한다. 오픈AI 시스템은 게임 API를 통해 게임 상태 정보를 받아들이는데, 이 정보는 약 2만 개의 숫자로 구성된다. 이는 약 70개의 정보로 표현되는 체스판이나 약 400개의 정보로 표현되는 바둑판 상태와 비교했을 때 훨씬 복잡하고 방대한 양의 정보를 처리해야 함을 보여준다.

4. 1. 비교표

5. 반응 및 평가

오픈AI 파이브는 인공지능(AI), 기술, 비디오 게임 커뮤니티로부터 광범위한 주목을 받았다. 마이크로소프트 창업자 빌 게이츠는 오픈AI 파이브의 승리가 "팀워크와 협업을 필요로 했다"는 점을 강조하며 이를 "중요한 일"이라고 평가했다.^[24][25] 1997년 딥 블루 AI에게 패배했던 체스 선수 가리 카스파로프는 2018년 더 인터내셔널 2018에서 봇들이 패배했음에도 불구하고, 결국 목표를 "예상보다 더 빨리" 달성할 것이라고 전망했다.^[26]

AI 전문가들은 ''MIT 테크놀로지 리뷰''와의 인터뷰에서 오픈AI 파이브 시스템을 주목할 만한 성과로 평가했다. 이는 ''도타 2''가 "극도로 복잡한 게임"이기 때문에, 비전문가 수준의 선수들을 이긴 것만으로도 인상적인 성과라는 이유에서였다.^[27] ''PC 게이머''는 프로 선수들을 상대로 거둔 승리가 머신러닝 분야에서 중요한 사건이라고 평가했다.^[28] ''The Verge''는 봇들의 성공이 오픈AI의 강화 학습 접근 방식과 AI에 대한 일반적인 철학이 "획기적인 성과를 내고 있다"는 증거라고 보도했다.^[15]

반면, ''마더보드''는 오픈AI 파이브의 승리에 대해 비판적인 시각을 제시했다. 양측이 선택할 수 있는 영웅의 폭이 제한되었고, 봇들이 인간처럼 화면의 픽셀을 해석하는 대신 게임의 API에 직접 접근했다는 점을 들어, 이러한 조건에서의 승리는 "기본적으로 부정행위"에 가깝다고 지적했다.^[29]

2019년, 딥마인드는 ''스타크래프트 II''를 위한 유사한 AI 봇인 알파스타를 공개했다. 오픈AI 파이브와 마찬가지로 알파스타 역시 강화 학습과 자기 대전(self-play) 방식을 사용했다. ''The Verge''는 이러한 AI 연구의 목표가 단순히 게임에서 인간을 이기는 것을 넘어, 충분한 시간과 자원이 투입된다면 정교한 AI 소프트웨어가 보드 게임이든 현대 비디오 게임이든 거의 모든 경쟁적 인지 과제에서 인간을 능가할 수 있음을 증명하는 것이라고 설명했다. 또한 딥마인드와 오픈AI의 성공은 강화 학습이라는 특정 방법론의 강력함을 보여주는 사례라고 덧붙였다.^[30]

오픈AI는 이 기술이 게임과 같은 디지털 영역을 넘어 현실 세계에서도 활용될 수 있기를 기대했다. 2018년에는 오픈AI 파이브에 사용된 것과 동일한 강화 학습 알고리즘과 훈련 코드를 재사용하여, 물리적 객체를 조작하도록 설계된 신경망 기반의 로봇 손 닥틸(Dactyl)을 개발했다.^[31] 2019년, 닥틸은 루빅스 큐브를 푸는 데 성공했다.^[32]

6. 딥마인드의 알파스타와의 비교

2019년, 딥마인드는 ''스타크래프트 II''를 위한 유사한 AI 봇인 알파스타를 공개했다. 오픈AI 파이브와 마찬가지로, 알파스타는 강화 학습과 자기 대전(self-play) 방식을 사용했다.^[30] ''The Verge''는 이러한 AI 연구의 목표가 단순히 게임에서 인간을 이기는 것을 넘어, 충분한 시간과 자원이 투입된다면 정교한 AI 소프트웨어가 보드 게임이든 현대 비디오 게임이든 거의 모든 경쟁적 인지 과제에서 인간을 능가할 수 있음을 증명하는 것이라고 보도했다. 또한, 딥마인드와 오픈AI의 성과는 강화 학습 방법론의 강력함을 보여주는 사례라고 덧붙였다.^[30]

7. 활용 및 미래

OpenAI는 오픈AI 파이브에 적용된 기술이 단순히 디지털 게임 영역을 넘어 실제 세계의 문제를 해결하는 데 활용될 수 있기를 기대했다.^[31] 이러한 가능성을 보여주는 사례로, 2018년 오픈AI는 오픈AI 파이브 개발에 사용된 것과 동일한 강화 학습 알고리즘과 훈련 코드를 이용하여 닥틸(Dactyl)이라는 로봇 손을 개발했다. 닥틸은 물리적인 물체를 정교하게 다룰 수 있도록 설계된 신경망 기반의 인간형 로봇 손이다.^[31] 이듬해인 2019년, 닥틸은 복잡한 조작 능력이 요구되는 루빅스 큐브를 푸는 데 성공하며 기술의 잠재력을 입증했다.^[32]

이러한 인공지능 연구는 단순히 특정 게임에서 인간 플레이어를 능가하는 것을 넘어, AI가 다양한 분야에서 인간의 능력을 뛰어넘을 수 있음을 보여주는 것을 목표로 한다. 2019년 딥마인드가 스타크래프트 II를 플레이하는 AI인 알파스타를 공개한 것도 이러한 맥락에서 이해될 수 있다.^[30] 미국 IT 매체 The Verge는 오픈AI 파이브와 알파스타와 같은 AI의 성공 사례들이 충분한 시간과 자원이 투입된다면, 정교한 AI 소프트웨어가 보드 게임이든 현대 비디오 게임이든 거의 모든 경쟁적인 인지 과제에서 인간을 능가할 수 있다는 점을 시사한다고 분석했다. 또한, 이러한 성과는 강화 학습이라는 특정 AI 개발 방법론의 강력함을 증명하는 것이라고 덧붙였다.^[30]

참조

_[1] 웹사이트 OpenAI Five https://openai.com/f[...] 2018-10-10
_[2] 웹사이트 My favorite game has been invaded by killer AI bots and Elon Musk hype https://www.theverge[...] 2018-06-25
_[3] 웹사이트 OpenAI's bot beats top Dota 2 player so badly that he quits https://web.archive.[...] 2017-08-12
_[4] 웹사이트 Dota 2 https://blog.openai.[...] 2017-08-12
_[5] 웹사이트 More on Dota 2 https://blog.openai.[...] 2017-08-16
_[6] 간행물 Can Bots Outwit Humans in One of the Biggest Esports Games? https://www.wired.co[...] 2018-06-25
_[7] 뉴스 A Bot Backed by Elon Musk Has Made an AI Breakthrough in Video Game World https://www.bloomber[...] 2018-06-27
_[8] 웹사이트 OpenAI Five Benchmark https://blog.openai.[...] 2018-08-25
_[9] 웹사이트 AI bots trained for 180 years a day to beat humans at Dota 2 https://www.theverge[...] 2018-06-25
_[10] 웹사이트 The OpenAI Dota 2 bots just defeated a team of former pros https://www.theverge[...] 2018-08-07
_[11] 간행물 Pro Gamers Fend off Elon Musk-Backed AI Bots—for Now https://www.wired.co[...] 2018-08-25
_[12] 웹사이트 Game over, machines: Humans defeat OpenAI bots once again at video games Olympics https://www.theregis[...] 2018-08-25
_[13] 웹사이트 The International 2018: Results https://blog.openai.[...] 2018-08-25
_[14] 웹사이트 OpenAI Five defeats professional Dota 2 team, twice https://venturebeat.[...] 2019-04-13
_[15] 뉴스 OpenAI's Dota 2 AI steamrolls world champion e-sports team with back-to-back victories https://www.theverge[...] Vox Media 2019-04-13
_[16] 웹사이트 OpenAI's Dota 2 bot defeated 99.4% of players in public matches https://venturebeat.[...] 2019-04-22
_[17] 웹사이트 Dota 2 with Large Scale Deep Reinforcement Learning https://cdn.openai.c[...] 2024-09-29
_[18] 웹사이트 Why are AI researchers so obsessed with games? https://qz.com/13481[...] 2018-08-04
_[19] arXiv Proximal Policy Optimization Algorithms
_[20] 뉴스 IBM computer Watson wins Jeopardy clash https://www.theguard[...] 2011-02-17
_[21] 웹사이트 Chess grandmaster Garry Kasparov on what happens when machines 'reach the level that is impossible for humans to compete' https://www.business[...] 2017-12-29
_[22] 웹사이트 DeepMind's Go-playing AI doesn't need human help to beat us anymore https://www.theverge[...] 2017-10-18
_[23] 웹사이트 OpenAI Five https://blog.openai.[...] 2018-06-25
_[24] 웹사이트 Bill Gates says gamer bots from Elon Musk-backed nonprofit are 'huge milestone' in A.I. https://www.cnbc.com[...] 2018-06-28
_[25] 웹사이트 Bill Gates hails 'huge milestone' for AI as bots work in a team to destroy humans at video game 'Dota 2' https://www.business[...] 2018-06-27
_[26] 웹사이트 Garry Kasparov's Twitter https://twitter.com/[...] 2018-08-24
_[27] 웹사이트 A team of AI algorithms just crushed humans in a complex computer game https://www.technolo[...] 2018-06-25
_[28] 뉴스 How the OpenAI Five tore apart a team of Dota 2 pros https://www.pcgamer.[...] 2018-08-11
_[29] 뉴스 OpenAI Is Beating Humans at 'Dota 2' Because It's Basically Cheating https://www.vice.com[...] 2018-08-17
_[30] 뉴스 DeepMind's StarCraft 2 AI is now better than 99.8 percent of all human players https://www.theverge[...] 2019-10-30
_[31] arXiv Learning Dexterous In-Hand Manipulation 2019
_[32] arXiv Solving Rubik's Cube with a Robot Hand 2019