Microsoft AI, 팩맨 게임 최고점 달성

■ 출처

- http://pc.watch.impress.co.jp/docs/news/yajiuma/1065496.html

- https://blogs.microsoft.com/next/2017/06/14/divide-conquer-microsoft-researchers-used-ai-master-ms-pac-man/#sm.00001vcqu0omie8grdv228eiq9z6g

---

MS의 AI 연구자들이 14일(현지 시간), 1098년대에 등장한 '팩맨'을 플레이하는 인공지능 AI를 개발하고, 시스템의 최고점(더 이상 점수가 올라가지 않음)인 999,990을 달성했다고 합니다. MS가 2017년 초 인수한 캐나다의 딥러닝 스타트업 'Maluuba'에 의해 달성된 것으로, Atari 2600 버전의 팩멘을 분할 정복 알고리즘을 통해 AI에 습득, 강화 학습을 거쳐 최고점에 도달한 것이라고 합니다.

이어 Maluuba 연구팀은 AI에 팩맨 게임을 학습시키는 데 있어 150 이상의 AI 에이전트를 활용하는 '하이브리드 리워드 아키텍처'라고하는 독자적인 수법을 사용했다고 합니다. 각각의 AI 에이전트가 병렬로 팩맨을 학습하는 데 있어 일부 에이전트는 펠렛(입자)를 먹어 점수를 획득하는 특정 방법을, 다른 에이전트는 고스트(적 캐릭)을 피하는 방법을 배워 가는 방법이라고. 이를 통해 모든 에이전트의 제안을 받아들이는 매니저와 같은 1개의 톱 에이전트가 탄생해, 각 에이전트에 작업 지시를 내리게 됩니다. 톱 에이전트는 몇 명의 에이전트가 특정 방향을 선택했는지 계산하면서, 왜 그 쪽 방향으로 움직이고자 하는지에 대한 강도 역시 측정해, 예를 들어 100명의 에이전트가 오른쪽으로 움직이면 점수를 얻지만, 3명의 에이전트가 오른쪽엔 고스트가 있으니 왼쪽으로 움직이고 싶어했다는 것 등을 분석한다고 합니다.

Maluuba는 톱 에이전트가 각 에이전트에서 얻은 정보를 사용해 최상의 지침을 제공하고, 에이전트들이 각각 매우 자율적인 행동을 할 때 최상의 결과를 가져왔다고 합니다.