Hướng dẫn chỉnh file robot.txt

Tệp robots.txt nằm trong thư mục gốc của tên miền chính của website (Ví dụ: https://www.sapo.vn/robots.txt). 

Tệp robots.txt mặc định phù hợp với hầu hết các website nhưng bạn có thể chỉnh sửa tệp qua template robots.txt.btw. Bạn có thể thực hiện các chỉnh sửa sau:

• Cho phép hoặc không cho phép quét dữ liệu một số URL
• Thêm quy tắc trì hoãn quét dữ liệu đối với một số trình thu thập dữ liệu
• Thêm URL sơ đồ trang web bổ sung
• Chặn một số trình thu thập dữ liệu

1. Chỉnh sửa robots.txt

Để chỉnh sửa file robots.txt bạn có thể sử dụng Liquid để thêm hoặc xóa lệnh khỏi mẫu robots.txt. Để chỉnh sửa file robots.txt cho website Sapo, tại trang quản trị bạn thao tác như sau:

• Bước 1: Chọn Website => Giao diện
  
• Bước 2: Ở mục Giao diện đang sử dụng bạn chọn Thao tác > chọn Chỉnh sửa HTML/CSS
  
• Bước 3: Tìm kiếm và chọn file robots.txt.bwt
• Bước 4: Thực hiện các thay đổi điều chỉnh theo nhu cầu > chọn Lưu để hoàn tất
  

Sau khi chỉnh sửa file robots.txt:

• Các thay đổi xảy ra tức thì nhưng trình thu thập dữ liệu không phải lúc nào cũng phản hồi ngay lập tức.
• Bạn có thể kiểm tra các thay đổi bằng Trình thử nghiệm robots.txt của Google.

2. Xóa file robots.txt.bwt  

Nếu bạn muốn sử dụng lại tệp robots.txt mặc định, hãy lưu bản sao của các nội dung tùy chỉnh mẫu robots.txt.liquid nếu cần xóa mẫu, thao tác này không thể hoàn tác.

• Bước 1: Chọn Website > Giao diện
• Bước 2: Ở mục giao diện hiện tại bạn chọn Thao tác > chọn Chỉnh sửa HTML/CSS
• Bước 3: Tìm kiếm và chọn file robots.txt.bwt
• Bước 4: Click chọn biểu tượng thùng rác để xóa > hệ thống sẽ hiển thị cảnh báo và yêu cầu xác nhận thao tác xóa > nếu bạn vẫn muốn xóa robots.txt.bwt chọn Xóa