Robots.txt là một file text đặt ở thư mục gốc: https://www.sapo.vn/robots.txt  cho biết những phần thuộc trang web bạn không muốn cấp quyền truy cập cho trình thu thập dữ liệu của công cụ tìm kiếm. Đây là file đầu tiên mà Google Bot sẽ đọc khi truy cập Website của bạn.

Cấu trúc file Robot.txt:

• User-agent: * : Cho phép tất các các loại bot truy cập vào website
• Disallow: /admin: Chặn không cho bot truy cập đọc các trang rong thư mục admin
• Allow:/: Cho phép đọc các phần còn lại trên website

Bạn có thể tự kiểm tra file Robot của mình bằng cách truy cập theo cấu trúc: Tên miền website/robots.txt

Ví dụ: https://www.sapo.vn/robots.txt 

File robots.txt trên Sapo Web đã được cấu hình mặc định tối ưu, trong quá trình sử dụng nếu bạn có phần nào chưa rõ hãy gửi yêu cầu đến Sapo để được hỗ trợ.

Trên đây là các thao tác hướng dẫn File Robot.txt .