Trình tạo robots.txt
Tạo tệp của bạn
Chọn các nhóm trình thu thập dữ liệu cần chặn. Các trình tìm kiếm vẫn được phép trừ khi bạn chọn chúng rõ ràng.
Chỉ thị không theo chuẩn này chỉ được tạo cho Bingbot. Google không xử lý chỉ thị này; Bing ghi nhận các giá trị 1–20 giây. Chỉ thị này bị bỏ qua nếu bạn chặn Bingbot.
Chạy hoàn toàn trong trình duyệt của bạn — nội dung bạn dán không được tải lên hay lưu trữ. Everything here, including matching and copy output, runs in your browser. Nothing is uploaded. Số đếm kết quả ẩn danh theo từng lần chạy có thể được dùng cho nghiên cứu tổng hợp; URL, tên miền, IP và mã định danh không bao giờ được bao gồm, và không công bố số liệu thống kê khi có dưới 100 lần chạy.
robots.txt đã tạo
Chặn ≠ xóa khỏi chỉ mục. Disallow yêu cầu trình thu thập dữ liệu tuân thủ không truy xuất URL; nó không xóa URL mà công cụ tìm kiếm đã biết.
Xem trước kết quả khớp trực tiếp
Cần ma trận đầy đủ bot × URL? Mở công cụ kiểm tra robots.txt →Giới thiệu công cụ
Tạo robots.txt từ nhóm trình thu thập, đường dẫn Allow/Disallow, giới hạn tốc độ và URL sơ đồ trang.
Tính năng
- Chọn nhóm hoặc từng trình thu thập.
- Xem trước cách quy tắc khớp URL mẫu.
- Phát hiện nhóm trùng và chỉ thị không chuẩn.
- Sao chép tệp hoặc mở trong trình kiểm tra robots.txt.
Cách hoạt động
Công cụ hợp nhất lựa chọn thành nhóm tác nhân, chuẩn hóa đường dẫn và URL sơ đồ trang rồi chạy bộ kiểm tra cú pháp trước khi tạo tệp.
Giới hạn
- robots.txt không phải cơ chế kiểm soát truy cập.
- Disallow không xóa URL khỏi chỉ mục.
- Không phải mọi trình thu thập đều tự nguyện tuân thủ.
Câu hỏi thường gặp
Chặn trình thu thập có xóa các trang của tôi khỏi chỉ mục không?
Không. robots.txt kiểm soát việc thu thập dữ liệu, không kiểm soát URL có còn trong chỉ mục hay không. Hãy dùng chỉ thị noindex trên trang có thể thu thập khi bạn cần tín hiệu xóa khỏi chỉ mục.
Mọi trình thu thập có tuân thủ tệp này không?
Không. robots.txt là lựa chọn thu thập dữ liệu tự nguyện và công khai, không phải cơ chế kiểm soát truy cập. Hãy dùng xác thực, WAF hoặc giới hạn tốc độ để bảo vệ nội dung riêng tư.
Tại sao tôi cần một dòng Sitemap?
Dòng này cung cấp cho trình thu thập một URL tuyệt đối, rõ ràng đến sitemap XML của bạn. Đây là tùy chọn nhưng thường hữu ích cho khả năng khám phá.
Các vấn đề thường gặp và cách khắc phục
- Cảnh báo Chính sách được tạo chặn một trình thu thập AI đã chọn Cách khắc phục: Xóa quy tắc Disallow của trình thu thập đã chọn hoặc thu hẹp quy tắc chỉ còn các đường dẫn cần tiếp tục không khả dụng với trình thu thập AI đó.
- Cảnh báo Chính sách được tạo chặn một trình thu thập tìm kiếm Cách khắc phục: Xóa hoặc thu hẹp quy tắc Disallow của Googlebot/Bingbot để các trang dành cho tìm kiếm tự nhiên có thể được thu thập.
- Cảnh báo Đường dẫn nhạy cảm chưa bị chặn Cách khắc phục: Thêm quy tắc Disallow rõ ràng cho các đường dẫn quản trị, thử nghiệm, giỏ hàng hoặc tìm kiếm nội bộ không công khai, đồng thời bảo vệ dữ liệu thực sự nhạy cảm bằng xác thực thay vì robots.txt.
- Thông tin Tệp được tạo không có khai báo sơ đồ trang Cách khắc phục: Thêm khai báo tuyệt đối Sitemap: https://…/sitemap.xml trỏ đến sơ đồ trang hoặc chỉ mục sơ đồ trang chính tắc có thể truy cập công khai.
- Cảnh báo Các nhóm được tạo chứa quy tắc xung đột Cách khắc phục: Kết hợp quy tắc cho cùng tác nhân người dùng vào một nhóm và giải quyết đường dẫn cho phép/chặn chồng lặp để thể hiện một chính sách có chủ ý (`Allow`/`Disallow`).