robots.txt 생성기
Build your file
Select crawler groups to block. Search crawlers remain allowed unless you explicitly select them.
This non-standard directive is emitted only for Bingbot. Google does not process it; Bing documents 1–20 second values. It is omitted if you block Bingbot.
전체 과정이 브라우저에서 실행되며, 붙여넣은 내용은 업로드되거나 저장되지 않습니다. Everything here, including matching and copy output, runs in your browser. Nothing is uploaded. 익명 실행별 결과 계수는 종합 연구에 사용될 수 있습니다. URL, 도메인, IP 및 식별자는 절대 포함되지 않으며 100회 미만의 실행에 대한 통계는 공개하지 않습니다.
Generated robots.txt
Blocking ≠ deindexing. A Disallow asks compliant crawlers not to fetch a URL; it does not remove a URL already known to a search engine.
Live match preview
Need a full bot × URL matrix? Open robots.txt Tester →이 도구 정보
검색 crawler, AI training bot, assistant와 archive bot에 대한 명시적 allow·disallow 정책으로 robots.txt 초안을 만듭니다. 선택형 Sitemap 지시문과 문서화된 Bingbot crawl-delay를 추가하고 Google 계열 해석에 맞춘 longest match preview로 규칙을 확인할 수 있습니다.
robots.txt는 자발적 crawl 지침이지 보안 장치나 deindexing 명령이 아닙니다. 민감한 URL을 보호하려면 인증과 올바른 HTTP 접근 제어를 사용해야 합니다.
기능
- search crawler, AI training, assistant, archive 용도의 선택 가능한 bot preset
- User-agent별 Allow·Disallow 규칙과 Google 계열 longest match 결과 preview
- 선택형 Sitemap URL과 지원 범위가 명시된 Bingbot crawl-delay
- 복사 가능한 robots.txt 출력과 충돌·위험 규칙에 대한 설명형 경고
작동 방식
선택한 preset과 사용자 규칙을 User-agent group으로 정리하고 빈 값과 중복 path를 제거합니다. preview는 Google 계열의 구체성이 가장 높은 longest match 원칙으로 sample URL을 평가하며, Bingbot에만 선택형 crawl-delay를 출력합니다. 생성 파일을 staging에서 검사한 뒤 site root의 /robots.txt에 게시합니다.
제한사항
- 악성 bot이나 규칙을 무시하는 crawler를 차단하지 못하므로 private content 보호 수단으로 사용할 수 없습니다.
- Disallow는 URL을 검색 결과에서 제거한다는 보장이 없으며 필요하면 noindex 또는 제거 절차를 별도로 검토해야 합니다.
- crawler마다 지원하는 directive가 다르고 Googlebot은 crawl-delay를 지원하지 않으므로 배포 전 공식 문서를 확인해야 합니다.
자주 묻는 질문
봇을 차단하면 페이지가 색인에서 제거되나요?
아니요. robots.txt는 크롤링을 제어할 뿐 URL의 색인 유지 여부를 제어하지 않습니다. 색인 제외 신호가 필요하면 크롤링 가능한 페이지에 noindex를 사용하세요.
모든 크롤러가 이 파일을 따르나요?
아니요. robots.txt는 공개적이고 자발적인 크롤링 선호이며 접근 제어가 아닙니다. 비공개 콘텐츠는 인증, 웹 애플리케이션 방화벽 또는 요청 속도 제한으로 보호하세요.
Sitemap 행이 필요한 이유는 무엇인가요?
크롤러에 XML 사이트맵의 명시적인 절대 URL을 제공합니다. 선택 사항이지만 발견 가능성에 보통 유용합니다.
자주 발생하는 문제와 해결 방법
- 경고 생성된 정책이 선택한 AI 크롤러를 차단합니다 해결 방법: 선택한 크롤러의 Disallow 규칙을 제거하거나 해당 AI 크롤러에 계속 공개하지 않을 경로로만 범위를 좁히세요.
- 경고 생성된 정책이 검색 크롤러를 차단합니다 해결 방법: 자연 검색용 페이지를 크롤링할 수 있도록 Googlebot/Bingbot Disallow 규칙을 제거하거나 범위를 좁히세요.
- 경고 민감한 경로가 차단되지 않았습니다 해결 방법: 비공개 관리자, 스테이징, 장바구니 또는 내부 검색 경로에 명시적인 Disallow 규칙을 추가하고, 실제 민감 데이터는 robots.txt가 아니라 인증으로 보호하세요.
- 정보 생성된 파일에 사이트맵 선언이 없습니다 해결 방법: 정규 공개 사이트맵 또는 사이트맵 색인을 가리키는 절대 Sitemap: https://…/sitemap.xml 선언을 추가하세요.
- 경고 생성된 그룹에 충돌하는 규칙이 있습니다 해결 방법: 같은 용어-agent의 규칙을 한 그룹으로 합치고 겹치는 용어/Dis용어 경로를 해결해 의도한 정책 하나를 표현하세요. Disallow