Robots.txt là dạng tập tin đặc trưng không phải là HTML hay một loại nào khác. Mục đích của việc nắm tới file robots.txt là khai báo cho dụng cụ tìm biết rằng những content nào trên web của bạn được tặng phép các bot search và lập chỉ mục.
MỤC ĐÍCH CỦA FILE ROBOTS.TXT LÀ GÌ?
Khi sở hữu một dụng cụ tìm kiếm thông báo trang web của bạn, điều đầu tiên mà nó tìm kiếm tất cả là file Robots.txt . File này sẽ nói với dụng cụ search những gì cần phải và không nên lập chỉ mục. Nó cũng khả năng cao chỉ ra vị trí web site của bạn trên XML Sitemap. Sau đó các dụng cụ tìm kiếm sẽ gửi “bot”, “robot” hoặc “spider” để thu thập thông báo web của bạn theo như là hướng dẫn cụ thể của file Robots.txt (các phương tiện tìm sẽ không gửi nếu file Robot.txt nói với họ là không thể chỉ mục). 
FILE ROBOTS.TXT NẰM Ở ĐÂU?
File Robots.txt thường nằm ở thư mục gốc của bạn, bạn khả năng cao thuận tiện tạo một file trống và đặt tên là Robots.txt, điều này giúp cho bạn tránh được các lỗi tặng website cùng lúc tặng phép mọi các dụng cụ tìm thu thập thông báo về trang web của bạn. Ví dụ web bạn là sieutocviet.com thì file robots sẽ là sieutocviet.com/robots.txt
Lê Trương Tấn Lộc (sieutocviet.net)
Trải qua 6 năm thực chiến CSS, JS 7 năm kinh nghiệm trong quản lý web site tư vấn giải pháp đẩy top, Marketing tối ưu nhất cho công ty.
Hiện giữ chức vụ leader kinh doanh tại Siêu Tốc Việt.