Robots.txt là tệp tin vô cùng quan trọng trong SEO
( SEO la gi ) website. Robots.txt là gì? Nó có tác dụng gì? Sử dụng robots.txt như nào cho hiệu quả?
Khám phá cách tạo tệp robots.txt hiệu quả
Robots.txt là gì?
Tệp "robots.txt" là tệp tin thông báo cho các công cụ tìm kiếm biết liệu chúng có được truy cập, thu thập dữ liệu ở phần nào trong trang web. Tệp này sẽ được cho vào thư mục gốc trang web của bạn.
Trong bất kỳ một website nào cũng có 1 vài thư mục bạn không muốn cho google thu thập dữ liệu và robots.txt là giải pháp để bạn cấm nó truy cập vào đó bằng cách sử dụng lệnh disallow.
Tạo tệp robots.txt hiệu quả
Lưu ý: Nếu trang web của bạn sử dụng các tên miền phụ và bạn muốn một số trang nhất định không được thu thập dữ liệu trong tên miền phụ cụ thể bạn sẽ phải tạo ra
file robots.txt riêng cho tên miền phụ đó.
Có một số cách khác để ngăn không cho nội dung xuất hiện trong các kết quả tìm kiếm như thêm "Noindex" vào thẻ meta của các robot của bạn. Sử dụng ".htaccess" để bảo vệ bằng mật khẩu các thư mục và sử dụng Công cụ quản trị trang web của google để xóa nội dung đã được thu thập dữ liệu trước đó.
Các nguyên tắc hữu ích cho file robots.txt
Bạn sẽ không cảm thấy yên tâm khi sử dụng robots.txt để chặn tài liệu nhạy cảm, bí mật. Lý do là do các công cụ tìm kiếm vẫn có thể tham chiều các URL bạn chặn ( chỉ hiện thị URL không phải tiêu đề hay đoạn trích ) nếu ngẫu nhiên có được các liên kết đến URL đó trên internet ( như các bản tham chiếu bản ghi ). Người dùng có thể tò mò, kiểm tra các thư mục hoặc thu mục con trong tệp robots.txt và chẩn đoán ra URL của nội dung mà bạn không muốn cho xem. Việc mã hóa nội dung hoặc bảo vệ với .htaccess là lựa chọn an toàn.
Những điều nên tránh
Cho phép các trang giống kết quả tìm kiềm được thu thập dữ liệu ( người dùng không thích rời trang kết quả tìm kiếm khác không thêm giá trị quan trọng nào cho họ )
Cho phép số lượng lớn các trang tự tạo với cùng nội dung hoặc nội dung chỉ hơi khác nhau được thu thập dữ liệu 100.000 trang gần như trùng lặp này có thật sự nên nằm trong chỉ mục của công cụ tìm kiếm.
Cho phép các URL được tạo ra bởi các dịch vụ ủy quyền được thu thập dữ liệu
Tạo file robots.txt không mất quá nhiều thời gian nhưng nó là công việc vô cùng quan trọng trong 1 quy trình seo hoàn chỉnh. Hãy dành ra một chút thời gian để có thể tạo ra file robots.txt hiệu quả nhất cho website của bạn.
