Robots là gì? Hướng dẫn cài đặt file Robots

File robots.txt là tập tin văn bản chứa một nhóm các câu lệnh thông báo, cung cấp hướng dẫn cho con bót google biết để dễ dàng trong việc thu thập dữ liệu của trang web.

Bài viết này giúp bạn hiểu rõ file robots là gì, ích lợi trong SEO. Cách tạo file robots hoàn chỉnh cho website.

Robots là gì?

• Là file thông báo cho con bọ google các thông tin cần thiết khi thu thập dữ liệu trên website
• File robots là 1 tệp tin văn bản txt chứa các câu lệnh cho phép, không cho phép truy cập thư mục, đường link trên website

Tác dụng của file robots trong SEO

File robots.txt giúp admin kiểm soát việc truy cập của con bót google đến các thư mục, đường link trên trang web.

• Giúp điều hướng Bot công cụ tìm kiếm khi truy cập trang web
• Cho phép, hoặc chặn bot index thư mục, file cụ thể
• Giúp index nhanh bài viết, thông tin
• Giúp admin linh hoạt, chủ động trong việc điều phối truy cập index của bót google
• Chỉ định thông báo sitemap

File robots là gì, cách cài đặt, tác dụng trong seo

Cú pháp câu lệnh file robots.txt

File robots chuẩn trên website chuẩn SEO

Giải thích câu lệnh trong file robots:

• User-agent: * : Cho phép bót truy cập toàn bộ website, đây là cú pháp của bọ nên không cần can thiệp, để mặc định
• Disallow: Không cho phép bót truy cập vào thư mục cụ thể nào (sử dụng trong trường hợp chúng ta muốn chặn bót truy cập)
• Allow: cho phép truy cập vào thư mục được chỉ định (sử dụng trong trường hợp muốn bót truy cập)
• Sitemap: Cung cấp đường dẫn sitemap của trang web. Giúp bót google hiểu sơ đồ của trang web, tìm và đọc index các bài viết, nội dung được nhanh chóng

Hướng dẫn cài đặt file Robots

• Tạo file robots.txt, nhập các thông tin theo mẫu và upload lên hosting
• Cách kiểm tra website có file robots chưa bằng cách truy cập đường dẫn: tenmien.com/robots.txt
• Để chỉnh sửa file robots, truy cập vào file robots.txt trên hosting và tiến hành sửa đổi

LƯU Ý:

• Các liên kết bị chặn sẽ không được bót theo dõi, index
• Cần kiểm tra thường xuyên tránh tình trạng website bị đóng robots, không được index
  • View sourch để check <meta name=”robots” content=”noindex” />

Video hướng dẫn cài đặt file robots, cấu hình chuẩn

Chúc bạn thành công!

Tác giả: Mr.Dương – Học Viện MDCOP

Xem thêm các bài viết khác:

• Onpage website là gì? Các tiêu chí onpage website, cách tối ưu website chuẩn SEO
• Title là gì? cách viết title chuẩn SEO
• Description là gì? Cách viết mô tả chuẩn SEO
• Interlink là gì? Cách làm interlink
• Outlink là gì? Cách thêm External link vào bài viết
• Thẻ heading là gì? cách phân bổ thẻ Heading vào bài viết chuẩn SEO
• Sitemap là gì? Cách tạo file sitemap chuẩn SEO cho website