Trình tạo robots.txt
Build your file
Select crawler groups to block. Search crawlers remain allowed unless you explicitly select them.
This non-standard directive is emitted only for Bingbot. Google does not process it; Bing documents 1–20 second values. It is omitted if you block Bingbot.
Chạy hoàn toàn trong trình duyệt của bạn — nội dung bạn dán không được tải lên hay lưu trữ. Everything here, including matching and copy output, runs in your browser. Nothing is uploaded. Số đếm kết quả ẩn danh theo từng lần chạy có thể được dùng cho nghiên cứu tổng hợp; URL, tên miền, IP và mã định danh không bao giờ được bao gồm, và không công bố số liệu thống kê khi có dưới 100 lần chạy.
Generated robots.txt
Blocking ≠ deindexing. A Disallow asks compliant crawlers not to fetch a URL; it does not remove a URL already known to a search engine.
Live match preview
Need a full bot × URL matrix? Open robots.txt Tester →Giới thiệu công cụ
Tạo robots.txt từ nhóm trình thu thập, đường dẫn Allow/Disallow, giới hạn tốc độ và URL sơ đồ trang.
Tính năng
- Chọn nhóm hoặc từng trình thu thập.
- Xem trước cách quy tắc khớp URL mẫu.
- Phát hiện nhóm trùng và chỉ thị không chuẩn.
- Sao chép tệp hoặc mở trong trình kiểm tra robots.txt.
Cách hoạt động
Công cụ hợp nhất lựa chọn thành nhóm tác nhân, chuẩn hóa đường dẫn và URL sơ đồ trang rồi chạy bộ kiểm tra cú pháp trước khi tạo tệp.
Giới hạn
- robots.txt không phải cơ chế kiểm soát truy cập.
- Disallow không xóa URL khỏi chỉ mục.
- Không phải mọi trình thu thập đều tự nguyện tuân thủ.
Câu hỏi thường gặp
Chặn trình thu thập có xóa các trang của tôi khỏi chỉ mục không?
Không. robots.txt kiểm soát việc thu thập dữ liệu, không kiểm soát URL có còn trong chỉ mục hay không. Hãy dùng chỉ thị noindex trên trang có thể thu thập khi bạn cần tín hiệu xóa khỏi chỉ mục.
Mọi trình thu thập có tuân thủ tệp này không?
Không. robots.txt là lựa chọn thu thập dữ liệu tự nguyện và công khai, không phải cơ chế kiểm soát truy cập. Hãy dùng xác thực, WAF hoặc giới hạn tốc độ để bảo vệ nội dung riêng tư.
Tại sao tôi cần một dòng Sitemap?
Dòng này cung cấp cho trình thu thập một URL tuyệt đối, rõ ràng đến sitemap XML của bạn. Đây là tùy chọn nhưng thường hữu ích cho khả năng khám phá.
Các vấn đề thường gặp và cách khắc phục
- Cảnh báo Chính sách được tạo chặn một trình thu thập AI đã chọn Cách khắc phục: Xóa quy tắc Disallow của trình thu thập đã chọn hoặc thu hẹp quy tắc chỉ còn các đường dẫn cần tiếp tục không khả dụng với trình thu thập AI đó.
- Cảnh báo Chính sách được tạo chặn một trình thu thập tìm kiếm Cách khắc phục: Xóa hoặc thu hẹp quy tắc Disallow của Googlebot/Bingbot để các trang dành cho tìm kiếm tự nhiên có thể được thu thập.
- Cảnh báo Đường dẫn nhạy cảm chưa bị chặn Cách khắc phục: Thêm quy tắc Disallow rõ ràng cho các đường dẫn quản trị, thử nghiệm, giỏ hàng hoặc tìm kiếm nội bộ không công khai, đồng thời bảo vệ dữ liệu thực sự nhạy cảm bằng xác thực thay vì robots.txt.
- Thông tin Tệp được tạo không có khai báo sơ đồ trang Cách khắc phục: Thêm khai báo tuyệt đối Sitemap: https://…/sitemap.xml trỏ đến sơ đồ trang hoặc chỉ mục sơ đồ trang chính tắc có thể truy cập công khai.
- Cảnh báo Các nhóm được tạo chứa quy tắc xung đột Cách khắc phục: Kết hợp quy tắc cho cùng tác nhân người dùng vào một nhóm và giải quyết đường dẫn cho phép/chặn chồng lặp để thể hiện một chính sách có chủ ý (`Allow`/`Disallow`).