기준판을 얼리고 하나씩 바꾼다
0단계는 1차 실험 방식을 지금 규칙에서 10분 동안 다시 재 본 시험이었습니다. 기준판은 따로 정했습니다. 합성곱 신경망에 규칙 봇 흉내 예열(209초)과 강화학습(365초)을 더한 결과이고, 10월 16일 원래 맵에서 완성해 얼렸습니다. 그 뒤의 모든 변경은 기준판과 나란히 재서 비교합니다. 기준판의 코드와 숫자는 고치지 않습니다.
규칙은 하나입니다. 한 번에 손잡이 하나만 바꿉니다. 하나만 고치고 나머지는 그대로 둡니다. 두 개를 같이 바꾸면 결과가 왜 나왔는지 알 수 없습니다.
0단계 시험은 10.1분 동안 돌렸습니다. 학습 중 갱신은 870번이었습니다. 그런데 1단계 규칙 봇과 20판을 했을 때 최고 1승이었습니다. 거의 배우지 못한 셈입니다. 이 결과도 실패 기록으로 그대로 남겨 두었습니다.
그다음 손잡이는 맵 크기였습니다. 맵 넓이를 51% 정도로 줄여 같은 10분을 돌렸습니다. 학습 속도는 1.7배, 끝난 게임 수는 1.8배로 늘었습니다. 그런데 한 판의 길이는 911틱 그대로였습니다. 판이 끝나는 것은 마무리 단계인 서든데스가 올 때였습니다. 맵을 줄여도 판을 끝내는 규칙이 그대로면 판은 그만큼 길었습니다. 이것은 답이 아니라는 기록을 남겼습니다.
좋은 숫자만 골라 올리면 나중에 무엇이 진짜 나아졌는지 알 수 없습니다. 그래서 실패한 실험도 같은 자리에 같은 형식으로 적는 것을 규칙으로 삼았습니다. 기준판은 얼려 두었기 때문에, 언제든 다시 열어서 나란히 비교할 수 있습니다.
두 번째 손잡이는 상자를 다 깨면 마무리 고리를 빠르게 조이는 규칙이었습니다. 그런데 상자를 전부 깬 판은 전체의 2.6%인 104판뿐이었습니다. 봇이 상자를 거의 깨지 않았기 때문입니다. 손잡이가 걸린 판이 2.6%뿐이라 규칙이 작동할 기회가 거의 없었다고 기록했습니다.
기준판의 숫자는 1단계 봇 셋을 상대로 100판 0승이었습니다. 좋은 숫자는 아니지만 고치지 않고 그대로 얼렸습니다. 앞으로 나오는 후보는 모두 이 0승과 나란히 잽니다. 이 기준판을 만드는 데 걸린 시간은 예열과 학습을 합쳐 약 9.6분으로, 10분 규칙 안이었습니다.