Hướng dẫn tạo file Robot.txt

Thông thường không 1 ai biết SEO hay làm website mà không biết đến file Robot.txt. File Robot.txt sẽ giúp chúng ta kiểm soát được việc cho con bọ của google đi đâu và không đi đâu. Nhưng không phải ai cũng biết cách tạo ra nó và cú pháp tạo ra nó, bài viết này mình sẽ hướng dẫn các bạn làm điều này.

Hướng dẫn tạo file Robot.txt

- Bước 1: mở notepad lên, gõ nội dung vào và lưu lại dưới cái tên robots, định dạng *.txt
- Bước 2: Sau khi có file robots, bạn up lên host, ngang cấp với file index

Những cú pháp thông dụng trong file robots.txt

User-agent: đối tượng bot được chấp nhận
Disallow/Allow: URL muốn chặn/cho phép

*: Đại diện cho tất cả

Ví dụ: User-agent: * (Có nghĩa là chấp nhận tất cả các loại bot.)

Khóa toàn bộ site
Disallow: /

Chặn 1 thư mục và mọi thứ nằm trong nó
Disallow: /wp-admin/

Chặn 1 trang
Disallow: /private_file.html

Loại bỏ 1 hình từ Google Images
User-agent: Googlebot-Image
Disallow: /images/123.jpg

Bỏ tất cả các hình từ Google Images:
User-agent: Googlebot-Image
Disallow: /

Chặn 1 file hình bất kỳ, ví dụ .gif
User-agent: Googlebot
Disallow: /*.gif$

Những điều cần tránh trong file robots.txt

- Phân biệt chữ hoa chữ thường.

- Không được viết dư, thiếu khoảng trắng.

- Không nên chèn thêm bất kỳ ký tự nào khác ngoài các cú pháp lệnh.

- Mỗi một câu lệnh nên viết trên 1 dòng.

Cách tạo và vị trí đặt file robots.txt

- Dùng notepad tạo file, sau đó đổi tên file là robots.txt.

- Đặt ở thư mục gốc của website. (http://sitename.com/robots.txt)