File Robots.txt mặc định của WordPress:
User-agent: *Disallow: /wp-admin/Disallow: /wp-includes/
Hoặc Bạn có thể tham khảo code này
User-agent: * Disallow: /wp-admin/ User-agent: * Allow: / Disallow: /*?* Disallow: /*/?* Sitemap: https://web.sieutocviet.com/sitemap.xml
MỘT SỐ VÍ DỤ KHÁC VỀ ROBOTS.TXT
Chặn bot không cho chỉ mục toàn bộ web site Bạn sở hữu câu lệnh như sau: User-agent:* Disallow: / Lệnh này có ý nghĩa: “Không tặng phép các bot của phương tiện tìm đăng nhập và đánh chỉ mục trên mọi tài nguyên sở hữu trên trang web của bạn.” Chặn bot chỉ mục vào một thư mục nhất định User-agent:* Disallow: /wp-admin/ Disallow: /wp-includes/ Lệnh này có nghĩa: “Cho phép bot lập chỉ mục hầu hết dữ liệu trừ 2 thư mục /wp-admin/ và /wp-includes/ là không cho phép.” Chặn một trang hay đường dẫn đến nội dung bài viết nào đó User-agent:* Disallow: /gioi-thieu.html Lệnh này sở hữu nghĩa: “Cho phép bot đánh chỉ mục tất cả các data trừ đường dẫn /gioi-thieu.html” Chặn một hình ảnh nào đó User-agent:* Disallow: /images/tenhinhanhcanchan.jpg Lệnh này sở hữu nghĩa: “Chặn một hình ảnh nào đó từ website của bạn, ngăn không cho các bot tìm kiếm và lập chỉ mục đưa cho hình ảnh đó.” Chặn một loại bot nào đó User-agent:Spambot Disallow: / Lệnh này có nghĩa: “Chặn botspam truy cập đa số dữ liệu trên web site của bạn”. Trong khi đó các bot khác thì được quyền truy cập” Chặn đa số các data trong một thư mục trừ một file nào đó User-agent:* Disallow: /thumucbichan/ Allow: /thumucbichan/filekhongbichan.html Lệnh này nắm tới nghĩa: “Chặn bot search hầu hết data trong thư mục /thumucbichan/ nhưng tặng phép lập chỉ mục file /filekhongbichan.html”
