구글 색인 요청은 「빨리 넣어 달라」는 버튼이 아니라 「이 주소를 봐 달라」는 알림입니다. 구글은 같은 URL에 크롤링을 여러 번 요청해도 더 빨리 크롤링되지 않는다고 밝히고 있고, 저희가 미크롤 글 6편을 구글 Indexing API로 요청했을 때도 한 달 뒤 5편이 그대로였습니다(이 API가 블로그 글용이 아니었다는 점은 아래에서 다룹니다). 이 글은 URL 검사로 색인을 요청하는 순서와, 요청이 통하지 않을 때 대신 손댈 곳을 정리합니다.
요청을 넣기 전에 지금 글이 어떤 상태인지부터 구분해야 합니다. 주소만 알고 아직 읽지 않은 상태라면 「발견됨 - 현재 색인이 생성되지 않음」 해결을, 이미 읽고도 뺀 상태라면 「크롤링됨 - 현재 색인이 생성되지 않음」 해결을 먼저 보세요.
URL 검사로 색인 요청하는 순서
- 서치콘솔에 사이트를 등록하고 소유 확인을 마칩니다. 등록 방법은 구글 서치콘솔 설정 가이드에 있고, 블로그스팟 블로그라면 구글 블로그 만드는 법에서 개설과 함께 정리했습니다.
- 상단 검색창에 글 주소를 넣어 URL 검사를 엽니다.
- 결과 화면의 항목을 먼저 읽습니다(아래 표).
- 필요하면 라이브 URL 테스트로 지금 페이지를 실시간으로 가져와 확인합니다.
- 문제가 없으면 색인 생성 요청을 누릅니다.
| URL 검사 항목 | 확인할 것 |
|---|---|
| 최근 크롤링 | 비어 있으면 아직 안 읽음 |
| 크롤링 허용 여부 | robots.txt가 막는지 |
| 페이지 가져오기 | 서버에서 받아지는지 |
| 색인 생성 허용 여부 | noindex가 걸렸는지 |
앞의 세 칸에서 문제가 보이면 요청보다 설정 수정이 먼저입니다. 막혀 있는 페이지는 요청해도 들어가지 않습니다.
구글이 밝힌 요청의 한계
| 구글 문서의 설명 | 의미 |
|---|---|
| 하루 요청 수에 제한이 있음 | 모든 글에 쓸 수는 없다 |
| 반복 요청해도 더 빨라지지 않음 | 한 번이면 충분하다 |
| 크롤링은 며칠~몇 주 걸릴 수 있음 | 바로 반영되지 않는다 |
| 요청해도 색인이 보장되지 않음 | 결정은 구글이 한다 |
구글은 URL이 많으면 사이트맵을 제출하라고 권합니다. 페이지 색인 생성 보고서 도움말도 중요한 변경이 있고 구글이 한동안(일주일 이상) 알아채지 못한 경우가 아니라면 재크롤링을 요청하지 말라고 안내합니다. 그래서 요청은 아래처럼 쓸 곳이 분명할 때만 쓰는 보조 수단으로 보는 편이 맞습니다.
- 글 내용을 크게 고쳤는데 일주일 넘게 예전 내용이 보일 때
- 실수로 걸어 둔 noindex나 robots.txt 차단을 푼 직후
- 꼭 먼저 알려야 하는 새 글 한두 편
저희가 해 본 것 — 요청 6편, 한 달 뒤 5편 그대로
9월 18일, 크롤링되지 않은 글 6편에 Indexing API로 색인을 요청했습니다. 한 달 뒤 다시 검사했더니 5편은 여전히 크롤링되지 않은 상태였습니다. 나중에 구글 문서를 다시 확인해 보니, Indexing API는 채용 공고(JobPosting)나 라이브 방송(BroadcastEvent)이 담긴 페이지에만 쓰도록 안내되어 있었습니다. 일반 블로그 글에는 애초에 맞지 않는 수단이었던 셈입니다.
새 글을 발행할 때마다 보내던 자동 알림(IndexNow)도 구글 색인에는 영향이 없었습니다. IndexNow 공식 사이트가 밝힌 참여 검색엔진 목록에는 Bing과 네이버 등이 있지만 구글은 없습니다. 네이버 쪽 수집 요청은 네이버 서치어드바이저 설정 가이드에서 따로 다룹니다.
요청 대신 손댈 곳
- 사이트맵 — 새 글이 빠짐없이 들어 있는지, 구글이 오류 없이 받아 가는지 확인합니다. 순서는 블로그 사이트맵 제출 가이드에 있습니다.
- 내부 링크 — 이미 색인된 글에서 새 글로 길을 냅니다. 구글은 링크를 따라 새 주소를 찾습니다.
- 글 자체 — 크롤링된 뒤에도 빠졌다면 요청이 아니라 내용 보강이 답입니다.
구글 크롤링을 왜 챙겨야 하나
7월 20일부터 10월 17일까지 저희 블로그 방문자를 경로별로 보면 구글 검색 1,652명, 다음 161명, Bing 107명, 네이버 검색 44명이었습니다. 저희 블로그는 네이버 블로그가 아닌 외부 사이트라서 네이버에서는 웹문서 영역에만 나오는데, 네이버 유입이 적은 것도 그 영향일 수 있습니다. 어느 쪽이든 이런 사이트에서는 구글 색인이 곧 방문자 수입니다. 그래서 요청 버튼보다 구글이 스스로 찾아오게 만드는 구조에 시간을 쓰는 편이 낫습니다.
자주 묻는 질문 (FAQ)
Q. 색인 요청은 하루에 몇 건까지 되나요?
구글은 하루 요청 수에 제한이 있다고만 안내하고, 이 글에서는 정확한 숫자를 확인하지 못했습니다. 글이 많다면 사이트맵으로 알리는 쪽이 맞습니다.
Q. 요청한 뒤 얼마나 기다려야 하나요?
구글 문서는 크롤링에 며칠에서 몇 주가 걸릴 수 있다고 합니다. 2주쯤 지나 같은 URL을 다시 검사해 상태를 비교하세요.
Q. 요청 버튼이 눌리지 않거나 오류가 나요.
하루 제한에 걸렸을 수 있습니다. 다음 날 다시 시도하되, 같은 주소를 반복해서 요청하지는 마세요. 급한 글 순서대로 하루에 몇 편씩 나눠 넣고, 나머지는 사이트맵과 내부 링크에 맡기는 편이 현실적입니다.
관련 글 더 보기:
요청 버튼보다 꾸준한 발행 흐름
구글이 자주 찾아오는 사이트는 새 글이 일정하게 올라오고, 글끼리 잘 이어진 곳입니다. PostDot은 키워드를 넣으면 구조가 잡힌 초안과 그 글에 맞는 대표 이미지를 만들고, 네이버·티스토리·워드프레스·블로거에 원하는 날짜로 예약 발행해 발행 간격을 고르게 맞춰 줍니다.