Robots.txt là dạng tập tin đặc thù không phải là HTML hay một loại nào khác. Mục đích của việc nắm tới file robots.txt là khai báo đưa cho phương tiện search biết rằng những nội dung nào trên website của bạn được đưa cho phép các bot tìm và lập chỉ mục.

MỤC ĐÍCH CỦA FILE ROBOTS.TXT LÀ GÌ?

Khi nắm tới một phương tiện tìm kiếm thông báo web của bạn, điều đầu tiên mà nó tìm toàn bộ là file Robots.txt . File này sẽ nói với công cụ tìm những gì cần và không nên lập chỉ mục. Nó cũng thường xuyên chỉ ra vị trí website của bạn trên XML Sitemap. Sau đó các công cụ tìm sẽ gửi “bot”, “robot” hoặc “spider” để thu thập thông tin website của bạn theo như hướng dẫn của file Robots.txt (các dụng cụ tìm kiếm sẽ không gửi nếu file Robot.txt nói với họ là không thể chỉ mục).

FILE ROBOTS.TXT NẰM Ở ĐÂU?

File Robots.txt có thể nằm ở thư mục gốc của bạn, bạn thường lợi ích tạo một file trống và đặt tên là Robots.txt, điều này hỗ trợ bạn tránh được các lỗi đưa cho web song song tặng phép toàn bộ các công cụ tìm kiếm thu thập tin tức về trang web của bạn. Ví dụ trang web bạn là sieutocviet.com thì file robots sẽ là sieutocviet.com/robots.txt