20편. 숨긴 줄 알았는데 아니었다
다 정리했다고 생각했다
지난 편에서 글 200개를 26개로 줄였다.
얇은 글은 전부 noindex 처리했다.
noindex = 구글 검색에서 빼달라는 표시다.
이제 심사관은 좋은 글만 보겠지.
그렇게 생각했다.
혹시나 해서 애드센스 문서를 뒤졌다.
그러다 한 줄을 발견했다.
애드센스 크롤러(Mediapartners-Google)는
noindex를 무시하고 페이지를 그대로 읽는다.
noindex는 “검색 결과에서 빼줘”지,
“심사에서 빼줘”가 아니었다.
내가 숨겼다고 생각한 얇은 글 155개를
심사 봇은 전부 볼 수 있었다.
그래서 심사관 흉내를 내봤다
막막했지만 방법은 하나였다.
심사 크롤러가 가는 길을 그대로 따라가 보는 것.
AI한테 시켰다.
애드센스 크롤러와 같은 이름표(User-Agent)를 달고,
홈에서 시작해서 링크를 타고 들어가는 모든 페이지를 검사해라.
숨긴 글이나 삭제한 글에 닿으면 보고해라.
결과는 처참했다.
숨겼다는 글이 줄줄이 걸려 나왔다.
구멍이 네 군데였다
하나. 홈 화면 메뉴는 고쳤는데,
글 본문 페이지 위에 붙는 메뉴는 옛날 그대로였다.
심리테스트, 쇼핑, 운세… 죽은 카테고리로 가는 문이 다 열려 있었다.
둘. 글 끝마다 붙는 “관련 글” 목록.
살려둔 글이 숨긴 글을 세 개씩 소개하고 있었다.
셋. 홈의 최신 글 카드에 숨긴 글이 섞여 나왔다.
넷. 이게 제일 어이없었는데,
매일 아침 자동 발행되는 시장 브리핑이
매일 새로운 “안 숨긴 글”을 만들어내고 있었다.
오늘 막아도 내일 새 구멍이 생기는 구조.
하나씩 다 막았다
메뉴 세 군데를 고치고,
관련 글 목록을 걷어내고,
홈 카드에서 숨긴 글을 거르고,
자동 발행 글은 태어날 때부터 noindex가 붙게 발행 코드를 고쳤다.
그리고 다시 크롤러 흉내를 냈다.
85페이지를 돌아도 걸리는 게 없을 때까지.
숨긴 글 도달: 0.
배운 것
“검색에서 숨기는 것”과 “심사에서 숨기는 것”은 다르다.
심사관은 검색으로 오지 않는다. 링크를 타고 온다.
그러니 정리를 했으면
심사관이 걷는 길을 직접 걸어봐야 한다.
나는 그걸 세 번 떨어지고 나서야 알았다.