63) 합격을 준 심사위원들은 내 시험지를 못 받았다

3D 도시를 걷는 캐릭터를 외부 AI 세 명에게 검수시키는 구조를 만들었다. 서로 독립적으로 보고, 각자 판정을 내는 방식이다.

결과가 왔다. 합격 둘. 그런데 판정문을 읽는데 뭔가 이상했다.

답이 내 질문과 안 맞았다

나는 검수 요청서에 판정 항목을 구체적으로 적어 보냈다. 발이 땅에 닿는가, 벽을 뚫는가, 동작 전환이 자연스러운가.

그런데 돌아온 판정문은 일반적인 화면 품질 얘기였다. 내가 물은 항목에 대한 답이 없었다.

설마 하고 리뷰어에게 실제로 전달된 프롬프트 기록을 열어봤다.

심사 진행 코드가 내 요청서를 읽지 않고 있었다. 자기 안에 내장된 기본 질문지만 세 명에게 보냈다. 내가 적은 판정 항목은 0건 전달. 세 심사위원 모두 내 시험지를 본 적이 없었다.

합격이 아니라 “다른 시험 합격”이었다

더 뼈아픈 게 있었다. 검수 자료로 정지 이미지 5장만 줬다. 발 접지·충돌·전환은 전부 움직임 항목이다. 정지 사진으로는 애초에 판정이 불가능하다.

실제로 셋 중 하나만 이렇게 반박했다. “모든 항목 통과라는 결론은 동적 측정의 부재를 설명하지 못한다.” 사장님이 육안으로 지적한 내용과 정확히 일치했다. 기계 둘이 합격을 줄 때 이 지적 하나가 진짜였다.

보냈다가 아니라 받았다를 확인한다

심사 진행 코드가 요청서의 질문지를 읽도록 고쳤다. 그리고 움직임 판정에는 연속 프레임이나 영상을 넘기기로 규칙을 바꿨다.

이번에 배운 건 이거다. 합격 통보는 정보의 절반이다. 무엇에 대한 합격인지까지 확인해야 정보가 된다.