File robots txt chuẩn
Một số ví dụ khác về file robots txt chuẩn Chặn bot không tặng chỉ mục hầu hết vững mạnh website Bạn có câu lệnh như sau: User-agent:* Disallow: / Lệnh này nắm tới ý nghĩa: “Không cho phép các bot của công cụ tìm kiếm log in và đánh chỉ mục trên tất cả tài nguyên nắm tới trên web của bạn.” Chặn bot chỉ mục vào một thư mục nhất định User-agent:* Disallow: /wp-admin/ Disallow: /wp-includes/ Lệnh này sở hữu nghĩa: “Cho phép bot lập chỉ mục hầu hết data trừ 2 thư mục /wp-admin/ và /wp-includes/ là không đưa cho phép.” Chặn một trang hay đường dẫn đến bài viết nào đó User-agent:* Disallow: /gioi-thieu.html Lệnh này sở hữu nghĩa: “Cho phép bot đánh chỉ mục đa số các dữ liệu trừ đường dẫn /gioi-thieu.html” Chặn một hình ảnh nào đó User-agent:* Disallow: /images/tenhinhanhcanchan.jpg Lệnh này sở hữu nghĩa: “Chặn một hình ảnh nào đó từ web site của bạn, ngăn không đưa cho các bot search và lập chỉ mục đưa cho hình ảnh đó.” Chặn một loại bot nào đó User-agent:Spambot Disallow: / Lệnh này nắm tới nghĩa: “Chặn botspam log in đa số dữ liệu trên website của bạn”. Trong khi đó các bot khác thì được quyền truy cập” Chặn toàn bộ các data trong một thư mục trừ một file nào đó User-agent:* Disallow: /thumucbichan/ Allow: /thumucbichan/filekhongbichan.html Lệnh này sở hữu nghĩa: “Chặn bot search mọi data trong thư mục /thumucbichan/ nhưng tặng phép lập chỉ mục file/filekhongbichan.html”
