Robots.txt là gì? Cách tạo file Robots.txt cho Website

Robots.txt là gì ?

Robots.txt là một tập tin đặc biệt chứa văn bản (không phải HTML) được đặt trong thư mục root của website.

Robots.txt có tác dụng cho phép hay không cho phép các công cụ tìm kiếm truy cập đến những trang mà bạn quy định trong trong nó, giúp cho những trang này nhanh chóng được index hoặc không được index trên các kết quả tìm kiếm. Đây chính là một công cụ cực kì hữu ích giúp tăng tốc độ index trong quá trình làm SEO.

Tạo Robots.txt bằng cách nào?

Rất đơn giản, bạn chỉ cần tạo 1 file tên Robots với phần mở rộng txt mà bất cứ trình soạn thảo nào cũng có thể làm được. Vậy chúng ta sẽ có file đầy đủ là Robots.txt.

Robots.txt được đặt ở đâu?

Thư mục chứa Robots.txt là thư mục gốc chứa mã nguồn website của bạn.

File Robots.txt được đặt trong thư mục gốc đầu tiên của website và ngang hàng với các file index.php, sitemap.xml… Ví dụ như: http:// mdcop.com/robots.txt

Cách sử dụng Robots.txt

Hầu hết các website hiện nay đều sử dụng robots.txt với cấu trúc cho phép tất cả các Bot truy cập website, chặn những thư mục “nhạy cảm“, khai báo sitemap (sơ đồ trang web)

Tạo file Robots.txt như thế nào?

– Cách tạo 1 file robots.txt rất đơn giản, bạn chỉ cần mở notepad hoặc notepad ++ chèn các mã lệnh và lưu file dưới đạng đuôi .txt

– Ví dụ file robots.txt của tôi có dạng như sau:

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

Sitemap: https://dichvuthuemaychu.com/sitemap.xml

Trong đó:

– User-agent: User-agent của robot mà bạn cần chặn hoặc cấp quyền truy cập, sử dụng * cho tất cả robot.

– Disallow: Không cho phép crawler truy cập một nội dung.

– Allow: Cho phép crawler truy cập một nội dung.

– Sitemap: Thông báo cho máy tìm kiếm biết XML Sitemap của trang web.

Sau khi tạo xong file robots.txt các bạn có thể trực tiếp vào công cụ webmaster tool để gửi cập nhập và kiểm tra lại cho chính xác.