Tạo robots.txt
Sinh robots.txt theo mẫu WordPress, chặn bot AI và bot cào SEO chỉ bằng một công tắc.
Nhiều sitemap thì ngăn nhau bằng dấu phẩy.
giây
Để 0 là không ghi dòng này. Google bỏ qua Crawl-delay, chỉ Bing và Yandex nghe theo.
GPTBot, ClaudeBot, CCBot, Google-Extended, PerplexityBot, Bytespider…
AhrefsBot, SemrushBot, MJ12bot, DotBot — đỡ tốn băng thông VPS, nhưng bạn cũng mất luôn dữ liệu backlink trên các công cụ đó.
Chỉ bật khi bạn KHÔNG muốn ảnh lên Google Hình ảnh. Bật nhầm là mất sạch lượt truy cập từ tìm kiếm ảnh.
Nội dung robots.txt
Văn bản được xử lý ngay trên trình duyệt của bạn — không có gì được gửi lên máy chủ.
