보상을 넣어도 풍선을 안 놓는다
이 게임에서 풍선은 놓아야 상대를 가둘 수 있습니다. 그런데 AI는 자꾸 풍선을 놓지 않았습니다. 그래서 손잡이를 하나씩 바꿔 보았습니다.
먼저 연타 탈출을 끄는 것부터 해 봤습니다. 이 옵션을 끄면 갇힌 쪽이 버튼을 눌러 빠져나오지 못합니다. 그러자 처음으로 배우는 신호가 보였습니다. 1단계 규칙 봇과 20판을 했을 때 최고 10승이 나왔고, 128초쯤에 나온 기록이었습니다. 하지만 끝에는 3승으로 떨어졌습니다. 기록이 들쭉날쭉했고, 다시 원래 규칙으로 옮기면 거의 배우지 못했습니다. 계단이 약하게 옮겨 간다는 뜻이었습니다.
다음은 벽에 같이 눌리면 무승부로 치고 눌린 쪽 모두 -1을 주는 옵션이었습니다. 가운데에서 버티는 전략을 없애려는 것이었습니다. 무승부 비율은 31%까지 나왔습니다. 그런데 풍선은 여전히 한 판에 0.49개쯤만 놓았습니다. 사람이 보기에도 여전히 놓지 않았습니다.
상자를 부수면 점수를 주는 실험은 방향은 맞았습니다. 풍선은 0.49개에서 0.59개로 조금 늘었고, 상자는 한 판에 1.53개를 깼습니다. 하지만 상자 하나당 0.02점이라 너무 약했습니다. 빨간 상자를 가운데에 항상 하나 두고 부수면 0.5점을 주는 실험도 했습니다. 그러나 8판, 0.3%에서만 부서졌습니다. 또 2분짜리 시험으로는 풍선 놓기가 끊기는 시점(2분 뒤)을 볼 수 없다는 것도 알게 됐습니다.
상대를 가둔 풍선의 주인에게, 그 상대가 탈락하면 0.5점을 주는 처치 보상도 해 봤습니다. 그런데 76번밖에 지급되지 않았습니다. 풍선을 안 놓으면 벌칙을 주는 것도 넣었습니다. 벌칙은 5초마다 -0.05씩이었습니다. 벌칙을 다 합쳐도 -0.35로, 자기 풍선에 붙은 -1보다 작았습니다.
기록에 남은 원인은 이것입니다. 상자 점수, 빨강 상자, 처치 보상, 벌칙의 네 손잡이 모두 2분 뒤 풍선 놓기가 무너지는 것을 막지 못했습니다. 자기 풍선의 -1은 바로, 확실하게 오고, 이득은 드물게 옵니다. 처치는 한 판에 0.013번꼴이었습니다. 그래서 학습은 놓지 않는 쪽을 택했습니다. 이 실패가 다음 단계에서 학습 방식을 바꾸는 계기가 됐습니다.