Robots.txt là dạng tập tin đặc biệt không phải là HTML hay một loại nào khác. Mục đích của việc có file robots.txt là khai báo cho phương tiện search biết rằng những content nào trên web của bạn được cho phép các bot tìm và lập chỉ mục.

MỤC ĐÍCH CỦA FILE ROBOTS.TXT LÀ GÌ?

Khi có một phương tiện search thông báo web của bạn, điều đầu tiên mà nó tìm tất cả là file Robots.txt . File này sẽ nói với phương tiện tìm những gì nên và không cần lập chỉ mục. Nó cũng thường xuyên chỉ ra vị trí web của bạn trên XML Sitemap. Sau đó các dụng cụ tìm kiếm sẽ gửi “bot”, “robot” hoặc “spider” để thu thập thông báo web site của bạn theo như hướng dẫn của file Robots.txt (các dụng cụ tìm sẽ không gửi nếu file Robot.txt nói với họ là không thể chỉ mục).

FILE ROBOTS.TXT NẰM Ở ĐÂU?

File Robots.txt khả năng cao nằm ở thư mục gốc của bạn, bạn khả năng cao tiện dụng tạo một file trống và đặt tên là Robots.txt, điều này giúp cho bạn hạn chế được các lỗi đưa cho trang web đồng thời tặng phép tất cả các dụng cụ search thu thập thông báo về web của bạn. Ví dụ web site bạn là sieutocviet.com thì file robots sẽ là sieutocviet.com/robots.txt