물풍선 게임을 고른 이유
물풍선 게임은 좁은 칸 안에서 풍선을 놓아 상대를 가두는 게임입니다. 한 판에 여러 명이 움직이고, 마지막까지 남은 쪽이 이깁니다.
이 게임을 고른 가장 큰 이유는 빨리 배우는 것이었습니다. 판을 빨리 많이 돌릴 수 있어야 여러 번 실험하고 고칠 수 있습니다. 그래서 학습 한 번은 10분 안에 끝내기로 했습니다. 조건을 자주 바꾸다 보면 처음에 정한 조건에서 벗어나서, 무엇 때문에 결과가 달라졌는지 알 수 없게 됩니다. 그래서 한 번 정한 조건은 함부로 바꾸지 않기로 했습니다.
게임의 방식은 10월 12일에 정했습니다. 옛날에 많이 하던 물풍선 게임에서 방식만 가져왔습니다. 운영자는 "종료된 게임은 방식만 가져온다"고 정리했습니다. 그림, 이름, 소리, 코드는 모두 새로 만들었습니다. 원작의 자산은 한 조각도 쓰지 않았습니다. 그래야 나중에 공개할 때 남의 것을 쓴 문제가 생기지 않습니다.
AI의 뇌는 합성곱 신경망과 강화학습으로 만들기로 했습니다. 운영자가 굳이 초파리 뇌를 넣을 필요가 있느냐고 물었습니다. 생각해 보니 굳이 넣을 이유가 없었습니다. 초파리는 캐릭터와 채널 이름으로만 남겼습니다. 뇌는 게임을 배우는 데 필요한 것만 남긴 셈입니다.
처음 계획은 사람 1명이 봇 3마리와 겨루는 방식이었습니다. 사람이 이기면 밤에 AI가 다시 배우고, 이긴 기록은 이름과 함께 남기는 구조였습니다. 나중에 아레나 서버는 없앴습니다. 지금 홈페이지의 물풍선은 사람 한 명이 규칙 봇 셋과 하는 1인용이고, 초휘(AI)는 아직 물풍선에 올리지 않았습니다.
규칙 봇은 1단계부터 4단계까지 만들었고, 학습한 AI의 실력은 주로 1단계 봇 셋을 상대로 몇 판 이기는지로 쟀습니다. 그래야 AI가 어느 정도 배웠는지 숫자로 말할 수 있기 때문입니다.
빨리 배운다는 기대는 실제로 재 보니 조금 달랐습니다. 학습까지 합친 속도로는 10분에 약 400판을 돌릴 수 있었습니다. 10월 16일 원래 크기 맵에서 완성한 기준판은 1단계 봇 셋을 상대로 100판에서 한 번도 이기지 못했습니다. 이 숫자도 그대로 적어 두고, 이후에 바꾼 것들을 이 숫자와 나란히 잽니다.