Google 색인에서 페이지 제거하기(디인덱싱)

요약 — 디인덱싱은 페이지를 Google 검색결과에서 제외하는 것입니다. 하나의 “Google에서 삭제” 버튼은 없으며 상황에 맞는 방법을 골라야 합니다. 가장 큰 함정은 robots.txt로 페이지를 차단해도 Google에서 제거되지 않는다는 점입니다. 보통은 Google이 페이지를 크롤할 수 있게 둔 채 noindex 태그를 추가해야 실제로 제거됩니다.

디인덱싱이란?

디인덱싱은 URL이 Google 검색결과에 더는 나타나지 않게 하는 일입니다. 오래된 페이지, 중복, 빈약하거나 공개하기 곤란한 페이지, 유출된 스테이징 URL, 민감한 정보 등 여러 이유로 필요합니다.

한 번에 해결하는 버튼은 없습니다. 적절한 도구는 세 질문에 달렸습니다.

1. 페이지를 소유하나요? 소유하지 않으면 전용 도구 하나를, 소유하면 여러 방법을 쓸 수 있습니다.
2. 일시적으로 숨길까요, 영구적으로 제거할까요?
3. 실제 방문자에게 콘텐츠를 계속 제공할까요, 삭제할까요?

거의 모두가 빠지는 함정

가장 흔한 실수는 robots.txt로 페이지를 차단하면 제거된다고 생각하는 것입니다. 그렇지 않습니다. robots.txt는 Google이 페이지를 읽을 수 있는지인 크롤링을 통제하지, URL이 결과에 나타나는지인 색인을 통제하지 않습니다. 둘은 다른 시스템입니다. Evidence for this claim Blocking crawling with robots.txt is not a reliable way to remove a URL from Google Search. Scope: Google Search; a blocked URL can still be indexed without content when Google discovers it elsewhere. Confidence: high · Verified: 2026-07-14 Google Search Central: Introduction to robots.txt

robots.txt로 차단해도 Google은 검색결과에 URL을 표시할 수 있습니다. 페이지를 읽지 못해 콘텐츠만 표시하지 못할 뿐입니다. 여기에 noindex까지 추가하면 Google이 애초에 페이지를 읽지 못하므로 태그도 볼 수 없습니다. 제 Ahrefs 글 “Indexed, though blocked by robots.txt” Can Be More Than A Robots.txt Block에서 설명했듯 크롤링과 색인은 서로 다릅니다.

방법을 한눈에 보기

• noindex — 검색엔진에 목록에 넣지 말라고 알립니다. 방문자에게는 페이지를 유지하면서 검색결과에서 제외합니다. Google이 태그를 보도록 크롤 가능해야 합니다.
• 삭제(404/410) — 콘텐츠를 완전히 제거하면 Google이 다시 크롤한 뒤 색인에서 빠집니다.
• 비밀번호 보호 — 로그인 뒤로 잠가 크롤러가 접근하지 못하게 합니다.
• Google Search Console의 삭제 도구 — 빠르지만 약 여섯 달 동안만 일시적입니다. 긴급 수단이지 수정 자체는 아닙니다. Evidence for this claim Search Console's Removals tool temporarily blocks a URL from Google Search and is not a permanent removal method. Scope: Google Search Console verified properties; permanent removal requires a separate lasting method. Confidence: high · Verified: 2026-07-14 Google Search Console Help: Removals tool and SafeSearch Reporting Tool
• 캐노니컬 태그 — 중복 페이지에서 유지할 버전을 지정합니다. 제거가 아니라 통합입니다.

빠른 판단 규칙

• 방문자에게는 유지하되 검색에서만 빼려면 크롤 허용 + noindex.
• 영구히 없애고 콘텐츠도 필요 없다면 삭제 후 404 또는 410 반환.
• 유출되어 오늘 숨겨야 한다면 삭제 도구를 쓰고 여섯 달 안에 영구 방법 적용.
• 페이지를 소유하지 않고 콘텐츠가 이미 오래됐거나 제거됐다면 Google의 오래된 콘텐츠 새로고침 도구를 사용합니다. 개인·민감 정보라면 별도 “Google에서 개인 정보 삭제” 문제 해결 도구를 사용합니다. 구분은 고급 탭을 참고하세요.
• 제거 목적으로 robots.txt 차단을 쓰지 말고 robots.txt와 noindex를 함께 쓰지도 마세요.

전체 의사결정 체계, Google의 정확한 인용문, robots.txt가 실제로 맞는 이미지 제거, 소요 시간은 고급 탭에서 확인하세요.

요약 — 디인덱싱 방법은 소유권, 일시·영구 여부, 콘텐츠 유지 여부에 따라 달라집니다. 핵심은 robots.txt의 Disallow가 페이지를 디인덱싱하지 않는다는 것입니다. 이는 색인이 아니라 크롤링을 차단하므로 링크를 통해 URL이 색인될 수 있고 Google은 크롤할 수 없는 페이지의 noindex를 볼 수 없습니다. noindex와 함께 쓰면 역효과입니다. GSC 삭제 도구는 약 6개월짜리 긴급 조치일 뿐이므로 noindex, 404/410, 비밀번호 보호 또는 중복 통합용 캐노니컬과 병행하세요. 예외적으로 이미지 제거에는 robots.txt가 공식 방법입니다. 비소유자는 이미 오래되거나 제거된 콘텐츠에는 오래된 콘텐츠 새로고침을, 개인·민감 정보에는 별도 개인정보 삭제 문제 해결 도구를 사용합니다. 삭제 도구 외의 영구 방법은 모두 재크롤을 기다립니다.

“디인덱싱”의 실제 의미와 아닌 것

“Google에서 삭제”하는 단일 버튼은 없습니다. 디인덱싱은 상황별 작업이며 페이지 소유 여부, 일시 또는 영구 제거 여부, 사용자에게 콘텐츠를 계속 제공할지라는 세 질문으로 상황을 정의합니다. 이를 정하면 알맞은 방법이 대부분 분명해집니다.

처음부터 두 경로를 구분하는 것도 중요합니다.

• 긴급 경로 — 유출 URL이나 노출된 개인정보를 빨리 숨겨야 합니다. 속성 소유자는 삭제 도구, 비소유자는 오래된 콘텐츠 새로고침 도구로 시간을 벌 수 있습니다.
• 영구 경로 — 실제 수정은 noindex, 삭제(404/410), 비밀번호 보호, 캐노니컬화입니다. 긴급 도구는 만료되므로 긴급 조치 중이나 직후에 적용해야 합니다.

핵심 오해: robots.txt는 Google에서 페이지를 제거하지 않습니다

이 주제의 핵심이므로 자세히 살펴봅니다.

크롤링과 색인은 다른 시스템입니다

robots.txt는 크롤링 지시어이고 noindex는 색인 지시어입니다. 둘은 분리되어 있습니다. Google은 링크에서 발견한 URL을 크롤하지 않고도 색인할 수 있고, 크롤이 차단된 URL의 noindex 규칙은 절대 볼 수 없습니다. Evidence for this claim Blocking crawling with robots.txt is not a reliable way to remove a URL from Google Search. Scope: Google Search; a blocked URL can still be indexed without content when Google discovers it elsewhere. Confidence: high · Verified: 2026-07-14 Google Search Central: Introduction to robots.txt

Google의 noindex 문서는 “If the page is blocked by a robots.txt file or the crawler can’t access the page, the crawler will never see the noindex rule, and the page can still appear in search results, for example if other pages link to it.” (번역) robots.txt로 차단되거나 크롤러가 접근하지 못하면 noindex를 볼 수 없어 다른 페이지의 링크 등을 통해 검색결과에 나타날 수 있다고 명시합니다. 이유는 “We have to crawl your page in order to see <meta> tags and HTTP headers.” (번역) meta 태그와 HTTP 헤더를 보려면 페이지를 크롤해야 하기 때문입니다.

제 글 *Indexed, though blocked by robots.txt*에서도 같은 점을 설명합니다. 페이지 크롤을 막아도 Google은 링크 때문에 URL을 색인할 수 있으며, 페이지를 크롤할 수 없으면 noindex 메타 태그를 볼 수 없습니다.

Google 삭제 문서의 원문

Google의 사이트에서 호스팅하는 페이지를 Google에서 삭제 문서는 영구 제거 방법으로 콘텐츠 삭제·업데이트, 비밀번호 보호, noindex 추가를 제시한 뒤 “Don’t use robots.txt as a way to block your page.” (번역) 페이지 차단 방법으로 robots.txt를 쓰지 말라고 명시합니다.

“Indexed, though blocked by robots.txt” — Search Console 증상

robots.txt 방식을 시도했다면 Search Console의 “Indexed, though blocked by robots.txt” 상태를 봤을 수 있습니다. Google이 링크로 URL을 발견해 색인했지만 크롤은 허용되지 않은 상황입니다. 제 글은 실제 robots.txt 차단, 간헐적·캐시 차단, 사용자 에이전트별 차단, IP 기반 차단이라는 네 원인을 구분합니다. 추정하지 말고 진단하세요. Google이 UI 문구를 바꿀 수 있으므로 인용 전 실제 Search Console 속성에서 현재 레이블을 확인하세요.

robots.txt Disallow와 noindex를 함께 쓰면 역효과인 이유

가장 흔한 자해성 실패입니다. noindex와 robots.txt Disallow를 함께 추가하면 noindex가 작동하지 않습니다. Google의 *robots 메타 태그 문서*는 “If a page is disallowed from crawling through the robots.txt file, then any information about indexing or serving rules will not be found and will therefore be ignored. If indexing or serving rules must be followed, the URLs containing those rules cannot be disallowed from crawling.” (번역) robots.txt로 크롤이 금지되면 색인·게재 규칙을 찾지 못해 무시하며, 해당 규칙을 적용하려면 URL 크롤을 금지할 수 없다고 명시합니다.

규칙은 간단합니다. 페이지를 제거하려면 크롤 가능하게 두고 noindex를 추가하세요. 색인에서 빠진 것을 확인한 뒤 robots.txt 차단을 고려할 수는 있지만 링크 기반 재색인을 막지는 못합니다.

짧은 역사: 2019년 robots.txt의 noindex 지원 중단

예전에는 비공식 noindex: 지시어를 robots.txt에 넣기도 했습니다. 공식 표준이 아니고 일관되게 지원되지 않았으며 Google은 비공식 처리까지 종료했습니다. Gary Illyes의 2019년 7월 *robots.txt의 지원되지 않는 규칙 안내*는 “we’re retiring all code that handles unsupported and unpublished rules (such as noindex) on September 1, 2019.” (번역) 2019년 9월 1일에 noindex 같은 비공개·비지원 규칙 처리 코드를 모두 종료한다고 밝혔습니다. 제 Ahrefs 글도 같은 점을 설명합니다. Gary는 이 지시어가 “sticks out like a nun in a mosh pit.” (번역) 모시 피트의 수녀처럼 튄다고 표현했습니다.

긴급 제거: Search Console 삭제 도구

지금 바로 숨겨야 할 때 삭제 도구가 가장 빠릅니다. Google은 “For quick removals, use the Removals tool to remove a page hosted on your site from Google’s search results within a day.” (번역) 빠른 제거에는 삭제 도구를 사용해 하루 안에 검색결과에서 페이지를 제거하라고 설명합니다. John Mueller도 확인된 소유자에게 “it works very quickly”. (번역) 매우 빠르게 작동한다고 확인했습니다.

하지만 이는 수정이 아니라 긴급 분류이며 두 가지 한계가 명확합니다.

• 일시적입니다. “Requests made in the Removals tool last for about 6 months.” (번역) 삭제 도구 요청은 약 6개월 지속됩니다. Search Console 도움말도 “A successful request lasts only about six months.” (번역) 성공한 요청은 약 6개월만 지속된다고 설명합니다. Evidence for this claim Search Console's Removals tool temporarily blocks a URL from Google Search and is not a permanent removal method. Scope: Google Search Console verified properties; permanent removal requires a separate lasting method. Confidence: high · Verified: 2026-07-14 Google Search Console Help: Removals tool and SafeSearch Reporting Tool
• 크롤을 막거나 실제로 삭제하지 않습니다. “Blocking a URL does not prevent Google from crawling your page, only from showing it in Search results.” (번역) URL 차단은 페이지 크롤을 막지 않고 검색결과 표시만 막습니다.

따라서 영구 방법을 함께 적용하지 않으면 기간 만료 후 페이지가 돌아올 수 있습니다. 삭제 도구로 시간을 번 뒤 그 기간에 noindex, 삭제 또는 비밀번호 보호를 적용하세요.

Bing의 대응 도구

Bing에는 Block URLs 도구가 있습니다. Bing Webmaster Tools 인터페이스는 “This feature allows you to block a URL from appearing in the Bing search results. This block will remain in place for maximum of 90 days. If the URL still returns a 200 OK code when visited by our crawler after 90 days, it will reappear in our search results.” (번역) Bing 검색결과에서 URL을 최대 90일 차단하며 이후 크롤러 방문 시 200 OK를 반환하면 다시 표시된다고 설명합니다. 만료 8일 전에 경고하고 같은 URL 재차단 횟수 제한은 없습니다. Google은 약 여섯 달, Bing은 약 석 달입니다. Bing의 영구 제거 도움말은 클라이언트 렌더링이라 정확한 본문을 추출하지 못했으므로 아래 IndexNow 권고는 의역입니다.

영구 방법 1 — noindex(메타 태그 / X-Robots-Tag)

크롤이 허용된 경우 noindex는 색인에서 URL을 제거하는 가장 효과적인 방법입니다. 사용자와 직접 방문자에게 페이지를 유지하면서 검색엔진에는 목록에 넣지 말라고 알립니다. noindex 메타 robots 태그나 X-Robots-Tag 응답 헤더가 페이지를 색인에서 제거하라는 신호입니다.

구현 방법은 두 가지입니다.

• HTML <head>의 메타 태그: <meta name="robots" content="noindex">.
• <head>가 없는 PDF 같은 비HTML 파일용 X-Robots-Tag HTTP 헤더. Google은 “Any rule that can be used in a robots meta tag can also be specified as an X-Robots-Tag.” (번역) robots 메타 태그에 쓸 수 있는 규칙은 X-Robots-Tag에도 지정할 수 있다고 설명합니다.

가장 자주 놓치는 요건은 페이지를 계속 크롤 가능하게 두는 것입니다. robots.txt로 차단되면 Google이 태그를 볼 수 없습니다. Search Engine Journal에 소개된 Mueller의 두 단계 모델은 먼저 Google이 페이지에 접근할 수 있는지 확인하고, 그다음 noindex를 추가하라는 것입니다.

사용 시점: 감사 페이지, 내부 검색결과, 필터·패싯 변형, 빈약한 보관 페이지처럼 사용자나 직접·로그인 접근에는 유지하지만 검색에는 표시하지 않을 페이지.

영구 방법 2 — 콘텐츠 삭제(404/410)

콘텐츠가 더는 존재할 필요가 없다면 삭제하고 404(Not Found) 또는 410(Gone)을 반환하세요. Google은 두 상태 코드 모두 “mean that the page does not exist, which will drop such URLs from Google’s index once they’re crawled and processed.” (번역) 페이지가 존재하지 않음을 뜻하며 크롤·처리 후 Google 색인에서 URL을 제거한다고 설명합니다. 다시 크롤된 직후 색인에서 빠집니다.

404와 410: 둘 다 작동합니다. 410은 영구 삭제를 조금 더 명시해 약간 빠를 수 있지만 실무 차이는 작습니다. 410을 반환하면서 사용자에게 페이지를 계속 제공할 수는 없습니다. 사용자가 필요로 한다면 삭제가 아니라 noindex를 쓰세요.

사용 시점: 콘텐츠를 실제로 폐기했고 아무도 더는 필요로 하지 않을 때.

영구 방법 3 — 비밀번호 보호 / 로그인 장벽

인증 뒤에 페이지를 잠그는 것이 가장 확실한 제거 방식입니다. Google은 “Password-protect your page. Limiting access to your page enables the right users to view your page, while preventing Googlebot and other web crawlers from accessing it.” (번역) 적절한 사용자만 보게 하면서 Googlebot과 다른 크롤러의 접근을 막으려면 비밀번호로 보호하라고 설명합니다. 2019년 글도 구독·페이월 마크업을 쓰지 않는 한 로그인 뒤로 숨기면 일반적으로 색인에서 제거된다고 합니다.

모든 검색엔진의 모든 크롤러를 차단하고 인바운드 링크로 우회되지 않는다는 두 장점이 있습니다. 대신 자격 증명이 없는 모든 사용자도 차단합니다. 공개하려는 페이지가 아니라 실제 비공개 콘텐츠에 사용하세요.

사용 시점: 민감하거나 비공개이며 인증한 사용자만 볼 수 있어야 할 때.

캐노니컬 통합 — 관련되지만 제거는 아닙니다

캐노니컬 태그는 제거 도구가 아닙니다. 캐노니컬화는 통합입니다. 실제 중복 또는 거의 중복인 URL이 있을 때 rel="canonical"은 대표 버전을 알리고 순위 신호를 그곳에 합칩니다. 두 URL 모두 라이브이며 크롤 가능합니다.

Google은 사이트 내 중복의 캐노니컬을 관리하려고 noindex를 쓰지 말라고 권합니다. “We don’t recommend using noindex to prevent selection of a canonical page within a single site, because it will completely block the page from Search.” (번역) 페이지를 검색에서 완전히 차단하기 때문입니다. 같은 콘텐츠의 두 URL 중 하나를 유지하려면 캐노니컬을, 페이지 자체를 검색에서 완전히 빼려면 noindex를 쓰세요.

사용 시점: 실제 중복 URL의 신호를 한 URL로 통합할 때. 단순히 색인에서 빼고 싶은 페이지의 noindex 대체물로 쓰지 마세요.

이미지 제거 — 핵심 오해의 예외

이미지에는 robots.txt가 Google의 공식 제거 방법입니다. Google의 *이미지 제거 문서*는 “To prevent images from your site appearing in Google’s search results, add a robots.txt file to the root of the site that hosts the image.” (번역) 이미지가 Google 검색결과에 나타나지 않게 하려면 이미지 호스트 사이트 루트에 robots.txt를 추가하라고 설명합니다. 예시는 다음과 같습니다.

User-agent: Googlebot-Image
Disallow: /images/dogs.jpg

페이지와 달리 작동하는 이유는 Google 이미지 색인이 주로 이미지 파일 자체의 크롤에 의존하고 robots.txt가 이를 직접 차단하기 때문입니다. 일반 웹페이지는 크롤 없이 링크 발견만으로 색인될 수 있습니다. 이 오해는 이미지가 아니라 페이지에 관한 것입니다. Googlebot-Image 사용자 에이전트로 Google 이미지에서만 제거하거나 일반 Googlebot으로 모든 Google 표면에서 제거하세요.

이미지에는 X-Robots-Tag 대안도 있습니다. “Alternatively, you can remove images hosted on your site from Google’s search results by adding the noindex X-Robots-Tag to the HTTP response headers of the images you want to remove” (번역) 제거할 이미지 HTTP 응답 헤더에 noindex X-Robots-Tag를 추가할 수 있습니다. 이 경우 Googlebot이 규칙을 읽도록 이미지 URL 크롤을 허용해야 합니다. 두 방법의 효과는 같으므로 하나만 선택하세요.

페이지 비소유자 — 문제별로 다른 두 도구

앞의 방법은 페이지를 통제한다고 가정합니다. 통제하지 못하면 문제 유형에 따라 두 경로로 나뉩니다. 잘못 고르면 귀중한 긴급 대응 시간을 잃습니다.

페이지 콘텐츠가 오래됐거나 이미 사라졌지만 Google 스냅샷이 갱신되지 않았습니다. 오래된 콘텐츠 새로고침 도구를 사용하세요. Google은 “Use the Refresh Outdated Content tool to have Google update search results for pages or images that no longer exist, or pages that have deleted important (sensitive or critical) content.” (번역) 더는 존재하지 않는 페이지·이미지 또는 중요한 콘텐츠를 삭제한 페이지의 검색결과를 갱신하는 도구라고 설명합니다. 라이브 페이지에서 콘텐츠가 이미 사라졌거나 크게 바뀐 경우에만 작동하며 소유자가 계속 공개하려는 콘텐츠를 강제로 제거하지 못합니다. 로그인은 필요하지만 Search Console 인증은 필요 없습니다.

개인·민감 정보 문제이고 페이지가 여전히 라이브입니다. Google의 현재 지침은 다른 경로를 안내합니다. “If you don’t own the page, see Remove your personal information from Google instead.” (번역) 페이지를 소유하지 않으면 Google에서 개인 정보 삭제를 참고하라고 합니다. “if you don’t own the page” (번역) 페이지 비소유자라는 조건이 핵심입니다. 신상 털기, 노출된 ID·금융 정보, 비동의 노골적 이미지 등 개인정보 삭제 요청용 별도 문제 해결 도구입니다. 단순히 오래된 정보가 아니라 본인 정보가 노출됐다면 오래된 콘텐츠 새로고침보다 이 경로가 우선입니다. 현재 페이지 자체 푸터 기준 2025-12-10 업데이트 버전의 안내이므로 향후 표지 방식이 바뀔 수 있어 다시 확인하세요.

개인정보 문제가 아니라 실제로 오래됐거나 제거된 콘텐츠라면 오래된 콘텐츠 새로고침이 올바른 비소유자 도구입니다.

상황별 의사결정 체계

대화형 안내는 의사결정 트리 탭을 참고하세요.

디인덱싱에 실제로 걸리는 시간

영구 방법은 즉시 적용되지 않습니다. Google이 URL을 다시 크롤해 noindex 태그나 404/410 상태를 확인해야 합니다. Google 문서상 하루 안에 숨기는 삭제 도구만 실제로 빠르며, 그래서 일시적이어도 긴급 선택지입니다. noindex 페이지가 계속 보이면 Google 설명대로 “probably because we haven’t crawled the page since you added the noindex rule.” (번역) 규칙을 추가한 뒤 아직 페이지를 크롤하지 않았을 가능성이 큽니다. URL 검사에서 색인·재크롤을 요청하면 앞당길 수 있습니다.

이 글의 위치

이 페이지는 색인 제어 클러스터의 실무 허브입니다. 각 지시어는 noindex, meta-robots, x-robots-tag, robots-txt, removals-tool, canonicalization, 404-vs-410, 410-gone 심층 글을 참고하세요. 발견부터 크롤링, 렌더링, 색인, 게재까지 전체 파이프라인은 검색 작동 방식 클러스터를 확인하세요. robots.txt 차단 뒤에도 색인된 경우 Indexed, though blocked by robots.txt가 직접적인 문제 해결 자료입니다.

AI 요약

고급 버전을 압축하면 다음과 같습니다.

• 단일 “Google에서 삭제” 버튼은 없으며 소유권, 일시·영구, 콘텐츠 유지 여부에 따라 방법이 달라집니다.
• robots.txt Disallow는 페이지를 제거하지 않습니다. 크롤링과 색인은 분리되어 있어 차단 URL이 링크로 색인될 수 있고 Google은 크롤할 수 없는 페이지의 noindex를 볼 수 없습니다.
• robots.txt Disallow와 noindex를 함께 쓰지 마세요. 크롤을 허용하고 noindex를 추가하세요.
• 삭제 도구는 약 6개월짜리 긴급 조치이며 크롤을 막지 않습니다. 영구 방법을 병행하세요. Bing Block URLs는 약 90일입니다.
• 영구 방법은 noindex(라이브 유지·크롤 필수), 404/410(완전 삭제), 비밀번호 보호(모든 크롤러와 비인증 사용자 차단), 캐노니컬(실제 중복 통합이며 제거 아님)입니다.
• 이미지에는 Googlebot-Image robots.txt 차단이 실제 제거 방법입니다.
• 비소유자는 오래됐거나 이미 제거된 콘텐츠에는 오래된 콘텐츠 새로고침, 개인·민감 정보에는 별도 “Google에서 개인 정보 삭제” 문제 해결 도구를 씁니다.
• 삭제 도구 외에는 모두 재크롤을 기다립니다.
• Google은 robots.txt의 비공식 noindex: 지시어 처리를 2019년 9월 1일 종료했습니다.

공식 문서

검색엔진의 1차 출처 문서입니다.

Google

• 사이트에서 호스팅하는 페이지를 Google에서 삭제 — 세 영구 방법, 약 6개월인 삭제 도구 제한, robots.txt로 페이지를 차단하지 말라는 지침.
• noindex로 검색 색인 차단 — noindex 작동에 크롤 가능 상태가 필요한 이유.
• Robots 메타 태그, data-nosnippet, X-Robots-Tag 사양 — robots.txt Disallow와 색인 규칙을 결합할 수 없는 이유.
• robots.txt의 지원되지 않는 규칙 안내 — 비공식 noindex: 지시어 지원 중단과 공식 대안.
• 삭제 및 SafeSearch 보고서 도구 — 약 6개월인 일시적 도구이며 크롤을 막지 않는다는 도움말.
• 오래된 콘텐츠 새로고침 — 라이브 콘텐츠가 이미 사라지거나 바뀐 경우 비소유자가 오래된 결과를 갱신하는 도구.
• Google에서 개인 정보 삭제 — 개인·민감 정보 문제의 비소유자용 문제 해결 도구.
• 자체 사이트 이미지를 Google 검색에서 삭제 — Googlebot-Image robots.txt와 이미지용 X-Robots-Tag 대안.
• 캐노니컬 URL 지정 — 사이트 내 캐노니컬 선택에 noindex를 쓰면 안 되는 이유.

Bing / Microsoft

• Bing 또는 Copilot에서 URL·페이지 영구 삭제 — 삭제+상태 코드 또는 NOINDEX 지침.
• Bing에서 URL 차단 — Google 삭제 도구에 대응하는 일시적 Block URLs.

출처 인용문

Google과 담당자의 공개 발언입니다. 각 링크는 출처 페이지의 해당 문장으로 이동합니다.

Google — 핵심 오해(크롤링과 색인)

• “If the page is blocked by a robots.txt file or the crawler can’t access the page, the crawler will never see the noindex rule, and the page can still appear in search results, for example if other pages link to it.” (번역) robots.txt로 차단되거나 크롤러가 접근할 수 없으면 noindex를 볼 수 없고 다른 페이지가 링크하는 경우 검색결과에 나타날 수 있습니다. — Google Search Central. 인용문
• “Don’t use robots.txt as a way to block your page.” (번역) 페이지를 차단하는 방법으로 robots.txt를 쓰지 마세요. — Google Search Central. 인용문
• “If a page is disallowed from crawling through the robots.txt file, then any information about indexing or serving rules will not be found and will therefore be ignored. If indexing or serving rules must be followed, the URLs containing those rules cannot be disallowed from crawling.” (번역) robots.txt로 크롤이 금지되면 색인·게재 규칙을 찾지 못해 무시하며, 해당 규칙을 따라야 한다면 그 URL의 크롤을 금지할 수 없습니다. 인용문

Google — 일시적 삭제 도구

• “For quick removals, use the Removals tool to remove a page hosted on your site from Google’s search results within a day.” (번역) 빠른 제거에는 삭제 도구를 사용해 하루 안에 검색결과에서 페이지를 제거하세요. 인용문
• “Requests made in the Removals tool last for about 6 months.” (번역) 삭제 도구 요청은 약 6개월 지속됩니다. 인용문
• “A successful request lasts only about six months.” (번역) 성공한 요청은 약 6개월만 지속됩니다. — Search Console 도움말. 인용문
• “Blocking a URL does not prevent Google from crawling your page, only from showing it in Search results.” (번역) URL 차단은 페이지 크롤을 막지 않고 검색결과 표시만 막습니다. 인용문

Google — 영구 방법

• “Password-protect your page. Limiting access to your page enables the right users to view your page, while preventing Googlebot and other web crawlers from accessing it.” (번역) 적절한 사용자만 보게 하고 Googlebot과 다른 크롤러의 접근을 막으려면 페이지를 비밀번호로 보호하세요. 인용문
• 404와 410: “Both status codes mean that the page does not exist, which will drop such URLs from Google’s index once they’re crawled and processed.” (번역) 두 상태 코드는 페이지가 존재하지 않음을 뜻하며 크롤·처리 후 Google 색인에서 URL을 제거합니다. 인용문
• 2019년 지원 중단: “we’re retiring all code that handles unsupported and unpublished rules (such as noindex) on September 1, 2019.” (번역) 2019년 9월 1일에 noindex 같은 비지원·비공개 규칙 처리 코드를 모두 종료합니다. — Gary Illyes, Google. 인용문

Google — 캐노니컬과 noindex, 이미지

• “We don’t recommend using noindex to prevent selection of a canonical page within a single site, because it will completely block the page from Search.” (번역) 검색에서 페이지를 완전히 차단하므로 사이트 내 캐노니컬 선택을 막는 데 noindex를 권하지 않습니다. 인용문
• “To prevent images from your site appearing in Google’s search results, add a robots.txt file to the root of the site that hosts the image.” (번역) 사이트 이미지를 Google 검색결과에 표시하지 않으려면 이미지 호스트 사이트 루트에 robots.txt를 추가하세요. 인용문

Google — 비소유자 도구

• “Use the Refresh Outdated Content tool to have Google update search results for pages or images that no longer exist, or pages that have deleted important (sensitive or critical) content.” (번역) 더는 존재하지 않는 페이지·이미지 또는 중요한 콘텐츠를 삭제한 페이지의 검색결과를 갱신하려면 오래된 콘텐츠 새로고침을 사용하세요. 인용문
• “If you don’t own the page, see Remove your personal information from Google instead.” (번역) 페이지를 소유하지 않으면 Google에서 개인 정보 삭제를 참고하세요. — Google Search Central, 2025-12-10 UTC 업데이트 확인. 문서

Bing — 일시적 Block URLs(약 90일)

• “This feature allows you to block a URL from appearing in the Bing search results. This block will remain in place for maximum of 90 days. If the URL still returns a 200 OK code when visited by our crawler after 90 days, it will reappear in our search results.” (번역) 이 기능은 Bing 결과에서 URL을 최대 90일 차단하며, 90일 뒤 크롤러 방문 시 200 OK면 다시 표시됩니다. — Bing Webmaster Tools 인터페이스. 도움말

Google 담당자

• “Why would you need to unindex them? … (Also, to unindex, don’t block with robots.txt, use noindex instead.)” (번역) 디인덱싱하려면 robots.txt로 차단하지 말고 noindex를 사용하세요. — John Mueller, 2021년 3월 8일. 관련 보도
• 비공식 robots.txt noindex: 지시어는 “sticks out like a nun in a mosh pit.” (번역) 모시 피트의 수녀처럼 튄다고 했습니다. — Gary Illyes, 2019년 4월. 인용문
• 확인된 소유자의 삭제 도구는 “It works very quickly.” (번역) 매우 빠르게 작동합니다. — John Mueller. 인용문

어떤 제거 방법을 써야 하나요?

몇 가지 질문에 답해 상황에 맞는 방법을 찾으세요.

피해야 할 디인덱싱 실수

반복되는 실패와 이유, 대안을 정리합니다.

제거하려고 robots.txt로 페이지 차단

• 문제: robots.txt는 색인이 아니라 크롤을 통제합니다. 차단 URL이 링크로 색인될 수 있고 Google은 크롤할 수 없는 페이지의 콘텐츠나 noindex를 읽지 못합니다. “Indexed, though blocked by robots.txt”가 될 수 있습니다.
• 대안: 크롤 가능하게 두고 noindex를 추가하거나 삭제해 404/410을 반환하세요.

robots.txt Disallow와 noindex를 이중 안전장치로 결합

• 문제: Disallow가 Google의 크롤을 막아 noindex를 보지 못하게 하므로 오히려 실패를 보장합니다. Google 문서 원문은 “will not be found and will therefore be ignored.” (번역) 규칙을 찾지 못해 무시된다고 설명합니다.
• 대안: 하나를 고르세요. 제거에는 크롤 허용 + noindex를 쓰고, 색인에서 빠진 뒤에만 robots.txt를 고려하되 링크 기반 색인을 막지 못한다는 점을 기억하세요.

robots.txt 내부에 noindex 시도

• 문제: 비공식 noindex: 지시어는 표준이 아니었고 Google은 2019년 9월 1일 비공식 처리도 종료했습니다.
• 대안: 페이지에 noindex 메타 태그나 X-Robots-Tag 헤더를 사용하세요.

삭제 도구를 영구적이라고 생각

• 문제: 성공한 요청도 약 여섯 달만 지속되고 크롤을 막지 않아 만료 뒤 페이지가 돌아올 수 있습니다.
• 대안: 긴급 조치로만 쓰고 기간 내 noindex, 404/410 또는 비밀번호 보호를 적용하세요.

사이트 내 중복·캐노니컬 선택에 noindex 사용

• 문제: Google은 권하지 않습니다. 신호를 유지할 버전으로 통합하는 대신 페이지를 검색에서 완전히 차단합니다.
• 대안: 실제 중복에는 rel="canonical", 검색에 전혀 표시하지 않을 페이지에만 noindex를 쓰고 다른 경우에는 noindex를 피하세요.

이미지를 포함해 robots.txt는 아무 데도 쓸 수 없다고 가정

• 문제: 이미지 색인은 파일 직접 크롤에 의존하므로 Googlebot-Image robots.txt가 공식 제거 방법입니다. 오해는 이미지가 아니라 페이지에 관한 것입니다.
• 대안: 이미지는 Googlebot-Image Disallow, 페이지는 크롤 가능한 noindex를 사용하세요.

즉시 제거를 기대

• 문제: 영구 방법은 Google이 URL을 다시 크롤해 변경을 봐야 합니다. 삭제 도구만 빠릅니다.
• 대안: 긴급하면 삭제 도구를 먼저 쓰고, 아니면 기다리며 필요하면 URL 검사에서 재크롤을 요청하세요.

SOP — 소유한 페이지를 Google에서 영구 제거

단일 URL을 색인에서 영구히 빼는 반복 가능한 절차입니다.

1. 결과를 정합니다. 사용자에게 유지하면 noindex, 비공개면 비밀번호 보호, 없어져야 하면 404/410, 유지할 페이지의 중복이면 rel="canonical"을 씁니다. 통합이 아니라 제거라면 noindex를 검토합니다. 확실하지 않으면 의사결정 트리를 사용하세요.
2. 크롤 가능 상태를 확인합니다. robots.txt에서 URL이 Disallow되지 않아야 태그를 볼 수 있습니다. 충돌하는 Disallow를 먼저 제거하세요.
3. 영구 방법을 적용합니다. noindex는 <head>에 <meta name="robots" content="noindex"> 또는 비HTML에 X-Robots-Tag: noindex; 삭제는 서버가 404 또는 410; 비공개는 인증 뒤로 이동합니다.
4. 긴급하면 Search Console의 색인 생성 → 삭제 → 새 요청에서 삭제 요청을 제출해 하루 안에 숨깁니다. 약 6개월로 일시적이며 3단계 영구 방법이 유지시킵니다.
5. 재크롤을 요청합니다. URL 검사에서 “라이브 URL 테스트” 후 “색인 생성 요청”을 실행합니다.
6. 검증합니다. 재크롤 뒤 URL 검사에서 noindex 제외 또는 404/410 찾을 수 없음 상태인지 확인합니다. 계속 보이면 대개 아직 재크롤되지 않은 것입니다.
7. 수정을 되돌리지 마세요. 더 안전하다고 같은 URL에 robots.txt Disallow를 나중에 추가하면 Google이 향후 noindex/404를 재확인하지 못합니다.

디인덱싱 체크리스트

페이지 제거 전후에 확인하세요.

• 상황에 맞는 방법(noindex / 404-410 / 비밀번호 / 캐노니컬 / 삭제 도구 / 오래된 콘텐츠 새로고침)을 정했습니다.
• 대상 URL이 robots.txt로 차단되지 않았습니다. noindex, 404/410, 캐노니컬을 보려면 robots.txt 차단이 없어야 합니다.
• robots.txt Disallow와 noindex를 결합하지 않았습니다.
• 라이브 유지 페이지는 크롤을 허용하고 메타 태그나 X-Robots-Tag로 noindex를 적용했습니다.
• 삭제 페이지는 소프트 404인 200이 아니라 404 또는 410을 반환합니다.
• 비공개 콘텐츠는 인증 뒤에 있으며 실제 구독 콘텐츠가 아니라면 페이월 마크업을 쓰지 않습니다.
• 중복에는 noindex 대신 rel="canonical"을 썼습니다.
• 이미지는 Googlebot-Image robots.txt 차단 또는 크롤 허용 + X-Robots-Tag를 사용했습니다.
• 긴급하면 삭제 요청과 영구 방법을 같은 기간에 적용했습니다.
• 비소유자라면 오래되거나 이미 제거된 콘텐츠에는 오래된 콘텐츠 새로고침, 개인·민감 정보에는 Google 개인정보 삭제 도구를 선택했고, 새로고침의 경우 라이브 콘텐츠가 이미 사라지거나 바뀌었음을 확인했습니다.
• URL 검사에서 재크롤을 요청하고 Google 재가져오기 뒤 제거를 검증했습니다.

디인덱싱 치트 시트

각 방법의 효과

빠른 사실

• robots.txt Disallow는 색인이 아닌 크롤을 막으므로 페이지를 디인덱싱하지 않습니다.
• robots.txt Disallow와 noindex를 결합하면 noindex를 볼 수 없습니다.
• 삭제 도구는 Google 약 6개월, Bing Block URLs 약 90일로 모두 일시적입니다.
• 404와 410 모두 작동하며 410이 약간 빠릅니다.
• robots.txt는 Googlebot-Image를 통한 이미지 제거의 공식 방법입니다.
• 사이트 내 캐노니컬 선택에 noindex를 쓰면 페이지를 완전히 차단합니다.
• 삭제 도구 외에는 모두 재크롤을 기다립니다.

두 줄 판단 모델

1. 사용자에게 유지하되 검색에서 빼려면 크롤 허용 + noindex.
2. 영구히 없애려면 삭제(404/410). 긴급하면 삭제 도구 후 영구 방법.

디인덱싱 작업용 스니펫

noindex 메타 태그 추가(HTML <head>)

<meta name="robots" content="noindex">

X-Robots-Tag로 noindex 설정(Apache .htaccess) — PDF / 비HTML용

<Files "private-report.pdf">
  Header set X-Robots-Tag "noindex"
</Files>

X-Robots-Tag로 noindex 설정(Nginx)

location = /private-report.pdf {
  add_header X-Robots-Tag "noindex";
}

폐기 URL에 410 Gone 반환(Apache)

Redirect 410 /old-retired-page/

Google에서 이미지 제거(robots.txt — 공식 이미지 방법)

User-agent: Googlebot-Image
Disallow: /images/private-photo.jpg

URL 상태 코드와 색인 헤더 확인(셸)

# Confirm the server returns 404/410, or shows the X-Robots-Tag noindex header
curl -sI https://example.com/old-page/ | grep -iE 'HTTP/|x-robots-tag'

noindex 전에 robots.txt 오차단 확인(셸)

# Print the robots.txt so you can confirm the URL is NOT under a Disallow
curl -s https://example.com/robots.txt

라이브 페이지의 noindex/차단 지시어 찾기 — Chrome DevTools Console

// Paste in the Console on the page you're auditing.
// Reports any robots meta tag and the value of the noindex directive.
const m = document.querySelector('meta[name="robots"], meta[name="googlebot"]');
console.log('robots meta:', m ? m.content : '(none)');
console.log('has noindex:', !!(m && /noindex/i.test(m.content)));

북마클릿 — 현재 페이지의 noindex 여부 표시

javascript:(function(){var m=document.querySelector('meta[name="robots"],meta[name="googlebot"]');var c=m?m.content:'';alert('robots meta: '+(c||'(none)')+'\nnoindex: '+(/noindex/i.test(c)?'YES':'no'));})();

제거 예정 URL을 가리키는 모든 <a href> 추출 — DevTools Console

// Find internal links to the page you're deindexing so you can update/remove them
// (a page with no inbound links is far less likely to linger via link-based indexing).
const target = '/old-page/';
[...document.querySelectorAll('a[href]')]
  .filter(a => a.getAttribute('href').includes(target))
  .forEach(a => console.log(a.getAttribute('href'), '←', a.textContent.trim()));

noindex와 404/410이 적용되려면 URL이 계속 크롤 가능해야 합니다. 같은 URL에 robots.txt Disallow를 결합하지 마세요.

일반적인 디인덱싱 문제

페이지 제거 중 실제로 마주치는 증상과 원인, 수정법입니다.

Search Console의 “Indexed, though blocked by robots.txt”

• 증상: 페이지 색인 보고서에 이 상태로 표시되고 콘텐츠가 흐리게 보이거나 미리 볼 수 없습니다.
• 원인: URL은 robots.txt로 차단됐지만 Google이 인바운드 링크로 발견해 URL 자체를 색인했습니다. 페이지를 읽지 못해 noindex도 볼 수 없습니다.
• 수정: 제거하려면 robots.txt Disallow를 없애고 크롤 가능하게 둔 뒤 noindex를 추가하거나 삭제하세요. robots-txt-tester(/tools/robots-txt-tester)로 확인하고 재크롤 뒤 Search Console 상태를 다시 봅니다.

noindex 추가 뒤에도 검색에 표시

• 증상: 며칠 전 noindex 메타 태그나 X-Robots-Tag를 추가했지만 site: 검색 또는 Search Console에서 계속 색인됨으로 나옵니다.
• 원인: Google이 아직 재크롤하지 않았거나 robots.txt 차단 때문에 noindex 태그를 볼 수 없는 경우가 대부분입니다.
• 수정: robots.txt가 URL을 차단하지 않는지 확인하고 URL 검사에서 “라이브 URL 테스트”로 렌더링 응답의 태그를 확인한 뒤 “색인 생성 요청”을 실행하세요. Google 설명대로 대개 규칙 추가 뒤 아직 크롤하지 않은 상태입니다.

삭제 도구 요청 만료 뒤 페이지 재등장

• 증상: GSC 삭제 도구로 숨긴 페이지가 몇 달 뒤 다시 검색에 나타납니다.
• 원인: 도구는 약 여섯 달로 일시적이며 그 기간에 영구 방법을 적용하지 않으면 만료 뒤 다시 표시될 수 있습니다.
• 수정: noindex, 404/410, 비밀번호 보호를 적용했는지 확인하고 없으면 지금 적용한 뒤 새 삭제 요청으로 효과 발생 전 공백을 메우세요.

삭제한 404/410 페이지가 결과에 계속 표시

• 증상: 직접 확인하면 진짜 404 또는 410인데 검색결과에는 남아 있습니다.
• 원인: Google이 아직 상태 코드를 재크롤·처리하지 않았습니다. 변경 즉시가 아니라 크롤·처리 후 제거됩니다.
• 수정: HTTP 상태 검사기(/tools/http-status-checker)로 코드를 확인하고 URL 검사에서 재크롤을 요청하세요. 긴급하면 그동안 삭제 도구를 사용합니다.

robots.txt 차단 뒤에도 Google 이미지에 표시

• 증상: Googlebot-Image Disallow를 추가했는데 이미지가 계속 표시됩니다.
• 원인: 규칙이 실제 이미지 경로와 일치하지 않거나 robots.txt의 다른 문법 오류가 방해하거나 아직 재크롤·제거되지 않았습니다.
• 수정: robots-txt-tester(/tools/robots-txt-tester)로 정확한 경로와 robots.txt 규칙 일치를 확인하고 정상 재크롤 주기를 기다리세요.

“중복” 페이지를 noindex한 뒤 순위 하락

• 증상: 중복 정리 목적으로 noindex했지만 신호 통합 대신 전체 가시성이 떨어졌습니다.
• 원인: noindex는 신호를 다른 URL에 통합하지 않고 페이지를 검색에서 완전히 제거합니다. 실제 중복이 아니거나 신호를 다른 버전으로 합쳐야 했다면 noindex는 잘못된 도구입니다.
• 수정: 실제 중복에는 유지할 버전을 가리키는 rel="canonical"을 사용하고 캐노니컬 검사기(/tools/canonical-checker)로 현재 관계를 확인하세요.

디인덱싱 작업용 도구

추측하지 말고 크롤·색인 신호를 직접 검증하세요.

• Robots.txt Tester — Google이 noindex, 404/410, 캐노니컬을 볼 수 있도록 URL이 차단되지 않았는지 확인합니다. 대부분의 방법에서 첫 검사입니다.
• HTTP Status Checker — 삭제 URL이 200 소프트 404가 아닌 404/410인지, noindex 페이지가 태그와 함께 200을 반환하는지 확인합니다.
• Canonical Checker — 중복 제거가 아니라 통합할 때 Google이 어떤 URL을 캐노니컬로 취급하는지 확인합니다.
• Google Search Console CSV Analyzer — UI를 일일이 보지 않고 “Indexed, though blocked by robots.txt” 같은 페이지 색인 상태를 검토합니다.

함께 쓸 제삼자 도구는 삭제 도구·URL 검사·페이지 색인 보고서용 Google Search Console, Block URLs용 Bing Webmaster Tools, 대량 제거 전 전체 사이트의 robots.txt·상태 코드·캐노니컬 태그 감사용 Screaming Frog입니다.

검증 테스트 — 제거가 실제 적용됐나요?

Google이 변경을 봤다고 추정하지 않도록 영구 방법별 기계 검증 항목을 정리합니다.

테스트: noindex가 있고 페이지가 크롤 가능

• 실행: Robots.txt Tester(/tools/robots-txt-tester)에서 URL이 허용됐는지 확인한 뒤 curl -sI https://example.com/page/ 또는 렌더링 <head>·응답 헤더에서 noindex 메타 태그나 X-Robots-Tag: noindex를 확인합니다.
• 예상: robots.txt에서 허용되고 메타 태그나 헤더가 noindex입니다.
• 실패 해석: robots.txt로 차단됐다면 noindex를 볼 수 없으므로 Disallow부터 수정합니다. 태그와 헤더가 모두 없으면 제거 신호가 없습니다.
• 관찰 기간: 태그·헤더는 즉시, Google 재크롤과 색인 제외는 1–2주.
• 롤백: 다시 표시하려면 noindex를 제거하고 색인을 요청합니다.

테스트: 삭제 페이지가 소프트 404가 아닌 404/410 반환

• 실행: HTTP Status Checker(/tools/http-status-checker) 또는 curl -I https://example.com/old-page/.
• 예상: 오류 문구를 담은 200이 아니라 실제 404 또는 410 HTTP 상태.
• 실패 해석: 오류 페이지 콘텐츠를 보여도 200이면 Google은 라이브 색인 가능 페이지로 봅니다. 보이는 내용이 아니라 상태 코드를 바꿔야 합니다.
• 관찰 기간: 상태 코드는 즉시, 재크롤·처리 뒤 색인 제외는 1–4주.
• 롤백: 복구하려면 콘텐츠와 200을 되돌리고 색인을 요청합니다.

테스트: noindex 또는 삭제 페이지를 robots.txt가 차단하지 않음

• 실행: 정확한 URL을 Robots.txt Tester(/tools/robots-txt-tester)로 검사하거나 curl -s https://example.com/robots.txt 로 robots.txt 규칙을 직접 대조합니다. noindex가 보이려면 허용돼야 합니다.
• 예상: 일치하는 Disallow 없이 URL 허용.
• 실패 해석: 차단되면 noindex나 상태 코드 변경을 Google이 볼 수 없습니다. 제거 실패의 가장 흔한 원인입니다.
• 관찰 기간: 즉시.
• 롤백: 변경이 아닌 전제 조건 검사이므로 해당 없음.

테스트: 캐노니컬 통합이 적용됨

• 실행: 중복·선호 URL 모두에서 Canonical Checker(/tools/canonical-checker)와 Search Console URL 검사의 “Google 선택 캐노니컬”을 확인합니다.
• 예상: Google 선택 캐노니컬이 선언 URL과 일치합니다.
• 실패 해석: 다르면 내부 링크나 사이트맵 등 다른 신호가 선언을 덮고 있으므로 noindex를 추가하지 말고 그 신호를 확인합니다.
• 관찰 기간: 2–4주. 선택은 즉시가 아니며 신호 재평가로 바뀔 수 있습니다.
• 롤백: 실제 중복이 아닌 콘텐츠 통합으로 가시성이 떨어지면 캐노니컬을 제거해 독립 색인을 허용합니다.

테스트: 삭제 요청이 활성이고 만료 전에 영구 방법 적용

• 실행: Search Console의 색인 생성 → 삭제에서 요청 상태를 확인하고 noindex, 404/410 또는 비밀번호 같은 영구 방법도 별도 테스트합니다.
• 예상: 삭제 항목은 “삭제됨”이고 noindex 같은 영구 방법 테스트도 통과합니다.
• 실패 해석: 삭제만 활성이고 영구 방법이 실패하면 약 6개월 뒤 다시 나타납니다.
• 관찰 기간: 만료 전에 수정할 수 있도록 약 4개월에 알림을 두고 6개월보다 훨씬 전에 다시 확인합니다.
• 롤백: 실수라면 Search Console에서 요청을 취소하고 noindex 제거, 콘텐츠 복원 또는 비밀번호 장벽 제거로 영구 방법을 되돌립니다.

실전 디인덱싱 선택

사용자에게 유지하고 검색에서 제거

이전: 내부 계정 페이지가 200을 반환하고 공개 접근 가능해 검색에 나타날 수 있습니다. 이후: 크롤 가능하게 유지하고 noindex를 반환합니다. 크롤러가 지시어를 보아야 하므로 robots.txt로 차단하지 않습니다.

대체 페이지 없이 콘텐츠 삭제

이전: 만료된 페이지가 콘텐츠 없이도 200을 반환합니다. 이후: 404 또는 410을 반환하고 내부 링크와 사이트맵에서 제거합니다. 404를 피하려고 관련 없는 홈페이지로 리디렉션하지 마세요.

실제 중복 통합

이전: 동등한 URL 두 개가 색인 가능하고 별도 후보로 경쟁합니다. 이후: 사용자에게 중복이 필요 없으면 리디렉션하고, 필요하면 크롤 가능하게 두며 선호 URL을 가리키는 캐노니컬을 둡니다. 통합이며 noindex 작업이 아닙니다.

민감 자료를 즉시·영구히 숨김

이전: 비공개 문서가 공개되어 색인됐습니다. 이후: 서버에서 접근을 제한하거나 제거하고 Search Console 삭제 도구로 일시적으로 검색 노출을 막으며 영구 접근·제거 통제를 계속 유지합니다.

스스로 풀어보기: 디인덱싱

Google에서 페이지를 실제로 제거하는 방법에 관한 다섯 문제입니다. 답을 고른 뒤 확인하세요.

읽을 가치가 있는 자료

제 관련 글

• Google 검색에서 URL을 제거하는 방법 5가지 — Google과 Bing 도구 기간 비교를 포함한 다섯 제거 방법.
• “Indexed, though blocked by robots.txt”의 네 원인 — 차단 페이지가 색인되는 이유와 Search Console 상태의 네 원인.
• Robots.txt와 SEO 전체 가이드 — robots.txt가 하는 크롤 제어와 하지 않는 색인 제어.
• 기술 SEO 초보자 가이드 — 전체 과정에서 색인 제어의 위치.

제 발표

• 검색 작동 방식 — 크롤링, 렌더링, 색인, 게재와 디인덱싱 제어의 위치를 설명합니다. “이는 시스템에 대한 제 이해이며 100% 완전하거나 정확하지 않을 수 있다”는 기존 주의문이 적용됩니다.

공식 자료

• Google — 사이트에서 호스팅하는 페이지 삭제와 noindex로 검색 색인 차단.
• Google — robots.txt의 지원되지 않는 규칙 안내 — Gary Illyes의 2019년 robots.txt noindex 지원 중단 안내.

업계 자료

• Google 디인덱싱에는 Robots.txt가 아닌 Noindex — 2021년 Mueller 트윗.
• John Mueller의 검색 페이지 제거 설명 — 크롤 허용 뒤 noindex라는 두 단계와 삭제 도구 속도.
• Google의 Robots.txt NoIndex 처리 변경 — 2019년 지원 중단과 Gary Illyes 발언.
• John Mueller 사이트의 Google 검색 제외 — 2024년 3월 robots.txt 파싱 경계 사례.
• Noindex 태그란? — noindex와 중복에 캐노니컬을 써야 하는 이유.
• r/TechSEO — 크롤·색인·디인덱싱 디버깅 커뮤니티.

변경 내역