Robots.txt là dạng tập tin đặc biệt không phải là HTML hay một loại nào khác. Mục đích của việc nắm tới file robots.txt là khai báo tặng dụng cụ tìm biết rằng những content nào trên web của bạn được đưa cho phép các bot search và lập chỉ mục.
MỤC ĐÍCH CỦA FILE ROBOTS.TXT LÀ GÌ?
Khi sở hữu một dụng cụ search thông báo website của bạn, điều đầu tiên mà nó search toàn bộ là file Robots.txt . File này sẽ nói với phương tiện tìm những gì nên và không tốt nhất nên lập chỉ mục. Nó cũng thường chỉ ra vị trí web của bạn trên XML Sitemap. Sau đó các phương tiện tìm kiếm sẽ gửi “bot”, “robot” hoặc “spider” để thu thập tin tức web site của bạn theo như hướng dẫn cụ thể của file Robots.txt (các phương tiện tìm kiếm sẽ không gửi nếu file Robot.txt nói với họ là không thể chỉ mục). 
FILE ROBOTS.TXT NẰM Ở ĐÂU?
File Robots.txt có thể nằm ở thư mục gốc của bạn, bạn khả năng cao tiện dụng tạo một file trống và đặt tên là Robots.txt, điều này giúp bạn tránh được các lỗi đưa cho web đồng thời cho phép toàn bộ các phương tiện search thu thập tin tức về trang web của bạn. Ví dụ website bạn là sieutocviet.com thì file robots sẽ là sieutocviet.com/robots.txt
Lê Trương Tấn Lộc (sieutocviet.net)
Trải qua 3 năm thực chiến Drupal 7 năm thực chiến trong quản lý web site tư vấn giải pháp SEO từ khóa, Kinh doanh online tối ưu nhất cho công ty.
Hiện đang là quản lý kinh doanh tại Siêu Tốc Việt.