robots.txt 검사기

1. robots.txt

2. Pages to test

Upload CSV/TXT

3. Bots

Diff mode: compare against a proposed robots.txt

전체 과정이 브라우저에서 실행되며, 붙여넣은 내용은 업로드되거나 저장되지 않습니다. The server is only used to fetch a site's robots.txt or sitemap (browsers can't — no CORS). 익명 실행별 결과 계수는 종합 연구에 사용될 수 있습니다. URL, 도메인, IP 및 식별자는 절대 포함되지 않으며 100회 미만의 실행에 대한 통계는 공개하지 않습니다.

피드백

이 도구 정보

여러 URL과 user-agent를 robots.txt 규칙에 대입해 허용 또는 차단 결과와 실제로 승리한 규칙을 확인합니다. 현재 파일을 린트하고 사이트맵 충돌을 찾으며, 제안 파일과의 차이도 비교할 수 있습니다.

붙여 넣은 내용은 브라우저에서 분석되고, 라이브 모드는 입력한 각 origin의 robots.txt를 제한된 엔드포인트로 별도로 가져옵니다.

기능

Google 오픈 소스 파서에서 포팅한 가장 구체적인 경로 우선 매칭과 Allow·Disallow 판정
여러 URL과 검색·AI 크롤러를 교차 확인하는 매트릭스 및 각 셀의 승리 규칙 근거
구문 린트, Sitemap 선언 충돌, 상태 코드 의미와 현재·제안 파일 diff
최대 10개 origin을 분리해 라이브 robots.txt를 가져오고 각 파일의 결과를 독립적으로 표시

작동 방식

도구는 user-agent 그룹을 해석하고 와일드카드와 하위 에이전트 상속을 반영한 뒤 가장 긴 일치 경로를 선택합니다. 각 URL에 상태 코드 의미와 파일 규칙을 적용해 승리한 줄을 근거로 반환하며, 제안 모드에서는 같은 입력에 두 파일을 적용해 판정 차이를 보여 줍니다.

제한사항

Disallow는 크롤링을 막을 뿐 색인을 제거하지 않습니다. 차단된 페이지의 noindex는 크롤러가 볼 수 없습니다.
robots.txt 준수는 자발적이며 접근 제어 수단이 아닙니다. Google과 다른 매칭 방식을 쓰는 크롤러도 있습니다.
라이브 가져오기는 공개 origin과 제한된 응답만 지원하며, 일시적인 오류나 오래된 캐시는 실제 크롤러 동작을 완전히 증명하지 못합니다.

자주 묻는 질문

robots.txt가 페이지의 색인을 막나요?

아니요. Disallow는 크롤링을 차단할 뿐 색인 생성을 막지는 않습니다. 다른 페이지가 허용되지 않은 URL로 연결되면 Google은 해당 URL을 여전히 색인할 수 있으며, 보통 검색 결과 설명은 표시되지 않습니다. 페이지를 색인에서 제외하려면 크롤링을 허용하고 noindex 메타 태그나 X-Robots-Tag 헤더를 추가하세요. 동시에 Disallow를 설정하면 Google이 noindex를 볼 수 없으므로 함께 사용해서는 안 됩니다.

robots.txt에서 규칙의 순서가 중요한가요?

Google에는 중요하지 않습니다. Google은 파일에서의 위치와 관계없이 가장 구체적인 규칙, 즉 일치하는 경로가 가장 긴 규칙을 적용하므로 Allow가 앞선 Disallow보다 우선할 수 있습니다. 이 도구도 같은 방식으로 일치 여부를 판단합니다. 일부 다른 크롤러는 처음 일치한 규칙을 따르므로 규칙을 명확하게 작성하세요.

Disallow와 noindex의 차이는 무엇인가요?

robots.txt의 Disallow는 크롤러에게 URL을 가져오지 말라고 지시합니다. 페이지의 메타 태그 또는 HTTP 헤더인 noindex는 해당 URL을 색인에 보관하지 말라고 지시합니다. 두 지시문은 서로 다른 문제를 해결하며 함께 사용하면 역효과가 납니다. 차단된 페이지는 가져오지 않으므로 noindex도 확인되지 않습니다.

robots.txt에서 CSS나 JavaScript를 차단하면 SEO에 악영향이 있나요?

그럴 수 있습니다. Google은 페이지를 이해하기 위해 렌더링하므로 페이지에 필요한 CSS와 JS를 가져올 수 없으면 레이아웃, 콘텐츠 또는 모바일 친화성을 잘못 판단할 수 있습니다. 페이지 렌더링에 필요한 리소스는 허용하고 실제로 불필요한 경로만 차단하세요.

robots.txt로 AI 크롤러를 차단하려면 어떻게 하나요?

차단하려는 각 AI 봇에 대해 사용자 에이전트 그룹을 만들고 루트 경로 전체의 크롤링을 허용하지 않는 규칙을 추가하세요. AI 크롤러 진단 버튼으로 목록을 불러와 규칙이 일치하는지 확인할 수 있습니다. robots.txt 준수는 자발적이라는 점에 유의하세요. 평판이 좋은 봇은 이를 따르지만 접근 제어 수단은 아닙니다.

다음 단계robots.txt 생성기 — generate a replacement robots.txt with the directives you meant to ship. 안내는 영어로 제공됩니다.

자주 발생하는 문제와 해결 방법

경고 지시어 철자가 잘못되었습니다 해결 방법: 크롤러가 무시하지 않도록 지시어 철자를 지원되는 이름으로 수정하세요.
경고 지원되지 않는 noindex 지시어가 사용되었습니다 해결 방법: robots.txt에서 noindex를 제거하고 대신 크롤링 가능한 URL에 meta robots 태그 또는 X-Robots-Tag를 사용하세요.
정보 Google은 Crawl-delay를 무시합니다 해결 방법: Google용 Crawl-delay를 제거하고 Search Console 또는 서버 용량 제어를 통해 Googlebot 크롤링 속도를 관리하세요.
오류 규칙이 user-agent 그룹보다 앞에 있습니다 해결 방법: 규칙을 적용할 크롤러 그룹의 User-agent 줄 아래로 옮기세요.
경고 줄에 콜론 구분자가 없습니다 해결 방법: 파서가 줄을 읽을 수 있도록 지시어 이름과 값 사이에 누락된 콜론을 추가하세요.
정보 알 수 없는 지시어는 무시됩니다 해결 방법: 비표준 지시어를 제거하거나 의도한 크롤링 규칙을 표현하는 지원 robots.txt 지시어로 교체하세요.
정보 크롤러 그룹에 규칙이 없습니다 해결 방법: 이 그룹에 의도한 Allow 또는 Disallow 규칙을 추가하거나, 크롤러가 와일드카드 그룹으로 넘어가도록 그룹을 제거하세요.
오류 규칙 패턴이 일치할 수 없습니다 해결 방법: URL 경로 시작 부분에서 일치가 시작되도록 경로 패턴을 / 또는 *로 시작하세요.
경고 달러 앵커가 패턴 안쪽에 있습니다 해결 방법: 경로 끝을 고정해야 하면 $를 패턴 끝으로 옮기고, 문자 그대로의 달러 기호를 의도하지 않았다면 제거하세요.
정보 User-agent가 여러 그룹으로 나뉘어 있습니다 해결 방법: 유효 정책을 명확하고 유지 관리하기 쉽게 만들도록 같은 user-agent의 규칙을 한 그룹으로 병합하세요.
오류 사이트맵 URL이 절대 주소가 아닙니다 해결 방법: 상대 사이트맵 위치를 https://와 호스트 이름을 포함한 완전한 URL로 교체하세요.
오류 robots 파일이 500 KiB를 초과합니다 해결 방법: 패턴을 통합하고 중복 규칙을 제거해 Google이 잘라내는 지점보다 앞에서 robots.txt를 500 KiB 미만으로 줄이세요.
정보 robots 파일이 비어 있습니다 해결 방법: 모든 크롤링을 의도적으로 허용한다면 파일을 비워 두고, 그렇지 않으면 명시적인 user-agent 그룹과 필요한 최소 규칙을 추가하세요.
오류 선택한 크롤러에서 테스트 URL이 차단됩니다 해결 방법: 테스트 URL을 크롤링할 수 있어야 한다면 적용되는 Disallow 규칙을 제거하거나 범위를 좁히고, 더 구체적인 Allow 규칙을 추가하세요.