Sitemap robots txt

File sitemap robots txt chuẩn

Robots.txt là một loại tệp đặc trưng không phải là HTML hay bất kỳ trang bị gì tương tự. Mục đích của tệp robots.txt là để đưa cho các phương tiện search biết nội dung nào trên website của bạn có lẽ được các bot thu thập và lập chỉ mục.

File robots txt chuẩn

Một số ví dụ khác về file robots txt chuẩn Chặn bot không tặng chỉ mục toàn bộ phát triển website Bạn sở hữu câu lệnh giống như sau: User-agent:* Disallow: / Lệnh này có ý nghĩa: “Không tặng phép các bot của phương tiện search truy cập và đánh chỉ mục trên đa số tài nguyên có trên website của bạn.” Chặn bot chỉ mục vào một thư mục nhất định User-agent:* Disallow: /wp-admin/ Disallow: /wp-includes/ Lệnh này sở hữu nghĩa: “Cho phép bot lập chỉ mục mọi data trừ 2 thư mục /wp-admin/ và /wp-includes/ là không tặng phép.” Chặn một trang hay đường dẫn đến nội dung bài viết nào đó User-agent:* Disallow: /gioi-thieu.html Lệnh này nắm tới nghĩa: “Cho phép bot đánh chỉ mục hầu hết các data trừ đường dẫn /gioi-thieu.html” Chặn một hình ảnh nào đó User-agent:* Disallow: /images/tenhinhanhcanchan.jpg Lệnh này nắm tới nghĩa: “Chặn một hình ảnh nào đó từ website của bạn, ngăn không đưa cho các bot search và lập chỉ mục tặng hình ảnh đó.” Chặn một loại bot nào đó User-agent:Spambot Disallow: / Lệnh này có nghĩa: “Chặn botspam đăng nhập hầu hết dữ liệu trên trang web của bạn”. Trong khi đó các bot khác thì được quyền truy cập” Chặn tất cả các data trong một thư mục trừ một file nào đó User-agent:* Disallow: /thumucbichan/ Allow: /thumucbichan/filekhongbichan.html Lệnh này có nghĩa: “Chặn bot search mọi dữ liệu trong thư mục /thumucbichan/ nhưng tặng phép lập chỉ mục file/filekhongbichan.html”