Tệp robots chuẩn cho blogspot
Tệp robots.txt là một tệp bao gồm các lệnh điều hướng quá trình thu thập dữ liệu của các công cụ tìm kiếm. Nó giúp cho trình thu thập dữ liệu và lập chỉ mục (index) của các công cụ tìm kiếm biết được là có thể hay không thể yêu cầu thu thập dữ liệu từ những trang hoặc tệp nào trên trang web của bạn.
Tệp robots.txt có tác dụng chặn index các tài nguyên không cần thiết, chèn sitemap và tối ưu quá trình crawl.
Để tạo một tệp robots chuẩn cho blogspot, bạn cần làm những bước sau:
- Vào trang quản lí Blog > Cài đặt > Tùy chọn tìm kiếm.
- Kéo xuống dưới và tìm đến Trình thu thập thông tin và lập chỉ mục.
- Bật robots.txt tùy chỉnh và nhấp bên dưới để chỉnh sửa²³.
- Nhập thông tin code robots.txt như sau:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /
Allow: /search/label
Disallow: /search
Sitemap: https://www.tenmiencuaban.com/sitemap.xml
- Thay www.tenmiencuaban.com thành tên miền của blogspot của bạn.
- Lưu thay đổi.
Đây là cách tạo một tệp robots chuẩn cho blogspot. Bạn có thể xem thêm các chi tiết và hướng dẫn cụ thể trong các kết quả tìm kiếm của tôi.
Hướng dẫn bạn kiểm tra xem tệp robots của bạn đã hoạt động chưa. Bạn chỉ cần làm theo các bước sau:
- Truy cập vào địa chỉ https://www.tenmiencuaban.com/robots.txt, thay www.tenmiencuaban.com thành tên miền của blogspot của bạn.
- Nếu bạn thấy nội dung của tệp robots hiển thị trên trình duyệt, có nghĩa là tệp robots của bạn đã hoạt động.
- Nếu bạn không thấy nội dung của tệp robots hiển thị trên trình duyệt, có nghĩa là tệp robots của bạn chưa hoạt động. Bạn cần kiểm tra lại xem bạn đã nhập đúng code và lưu thay đổi chưa.
Đây là cách kiểm tra xem tệp robots của bạn đã hoạt động chưa. Bạn có thể xem thêm các chi tiết và hướng dẫn cụ thể trong các kết quả tìm kiếm của tôi.