robots.txt file banner

Ai cũng có thể viết blog – thật là vui! Nhưng nếu bạn muốn tham gia vào việc viết blog chuyên nghiệp, bạn sẽ cần phải tìm hiểu một số chi tiết kỹ thuật liên quan đến tối ưu hóa công cụ tìm kiếm. Các blogger mới thường bắt đầu hành trình viết blog của họ bằng cách đăng nội dung lên Blogger / Blogspot. Việc kích hoạt tệp robots.txt tùy chỉnh trên các nền tảng này là rất quan trọng. Thông thường, mọi người hỏi về cài đặt robots.txt tùy chỉnh tốt nhất cho blog của họ là gì. Hôm nay chúng ta cùng tìm hiểu tất cả nhé!

Robots.txt là một tệp văn bản đơn giản thông báo cho trình thu thập thông tin web (còn được gọi là nhện hoặc là bot) về những phần nào của trang web hoặc blog cần được thu thập thông tin và những phần nào không nên được thu thập thông tin.

Tại sao Tệp Robots.txt lại quan trọng?

Chà, sự thành công của bất kỳ blog chuyên nghiệp nào thường phụ thuộc vào cách công cụ tìm kiếm của Google xếp hạng blog của bạn. Chúng tôi lưu trữ một số bài viết / trang / tệp / thư mục trong cấu trúc trang web của chúng tôi. Thường thì chúng tôi không muốn Google lập chỉ mục tất cả các thành phần này. Ví dụ, bạn có thể có một tệp để sử dụng nội bộ – và nó không có ích cho các công cụ tìm kiếm. Bạn không muốn tệp này xuất hiện trong kết quả tìm kiếm. Do đó, cần thận trọng khi ẩn các tệp như vậy khỏi các công cụ tìm kiếm.

Tệp Robots.txt chứa các lệnh mà tất cả các công cụ tìm kiếm hàng đầu đều tôn trọng. Sử dụng các lệnh này, bạn có thể đưa ra hướng dẫn cho trình thu thập dữ liệu web để bỏ qua một số phần nhất định của trang web / blog của bạn.

biểu ngữ tệp robots.txt

Robots.txt tùy chỉnh cho Blogger / Blogspot

Bởi vì Blogger / Blogspot là một dịch vụ viết blog miễn phí, robots.txt của blog của bạn không nằm trong tầm kiểm soát của bạn. Nhưng giờ đây Blogger đã có thể thực hiện các thay đổi và tạo Robots.txt tùy chỉnh cho mỗi blog. Robots.txt cho blog Blogger / Blogspot thường trông giống như sau:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

Thêm tệp Robots.txt tùy chỉnh trên Blogger / Blogspot

  • Đi tới trang tổng quan blogger của bạn
  • Mở Cài đặt > Tùy chọn tìm kiếm > Trình thu thập thông tin và lập chỉ mục > Robots.txt tùy chỉnh > Biên tập > Đúng
  • Tại đây, bạn có thể thực hiện các thay đổi trong tệp robots.txt
  • Sau khi thực hiện các thay đổi, hãy nhấp vào Lưu thay đổi cái nút

ảnh chụp màn hình về cách thêm robots.txt tùy chỉnh trong blogger / blogspot

Xem Tệp Robots.txt Tùy chỉnh Hiện tại

Để xem tệp robots.txt tùy chỉnh hiện có cho blog của bạn, hãy truy cập URL sau:

http: // www.blog của bạn.blogspot.com / robots.txt

Không cần phải nói, xin vui lòng thay thế blog của bạn với tên blog của bạn.

Giải thích về Tệp Robots.txt Tùy chỉnh

Có một số lệnh đơn giản trong tệp Robots.txt tùy chỉnh. Dưới đây là giải thích cơ bản về các chỉ thị này để bạn có thể thực hiện các thay đổi sáng suốt trong tệp của mình.

Ký tự đại diện

Các ký tự đại diện sau thường được sử dụng trong tệp robots.txt.

* có nghĩa là tất cả, mọi thứ

/ nghĩa là thư mục gốc

Đại lý người dùng

Chỉ thị này cho biết trình thu thập thông tin web sẽ áp dụng cài đặt trong robots.txt.

Không cho phép

Nó hướng dẫn các trình thu thập thông tin web không thu thập thông tin thư mục hoặc tệp được chỉ định. Ví dụ

Không cho phép: / sẽ yêu cầu trình thu thập thông tin web không thu thập thông tin bất kỳ thứ gì trong blog của bạn (vì bạn không cho phép thư mục gốc).

Không cho phép: / dir / * sẽ hướng dẫn trình thu thập thông tin web không thu thập thông tin bất kỳ tệp nào trong / dir / danh mục.

Không cho phép: /dir/myfile.htm sẽ hướng dẫn trình thu thập thông tin web không thu thập thông tin myfile.htm Dưới dir thư mục. Crawler sẽ thu thập thông tin tất cả các tệp khác trong dir danh mục.

Cho phép

Chỉ thị này đặc biệt yêu cầu trình thu thập thông tin web thu thập thông tin một thư mục hoặc tệp cụ thể. Ví dụ:

Không cho phép: /dir/myfile.htm

Cho phép: /dir/myfile.htm

Ý nghĩa tổng thể của hai dòng trên là trình thu thập thông tin nên thu thập thông tin /dir/myfile.htm

Dòng đầu tiên chặn trình thu thập thông tin nhưng dòng thứ hai lại cho phép trình thu thập thông tin thu thập thông tin.

Sơ đồ trang web

Sơ đồ trang web là một tệp rất quan trọng trong trang web / blog của bạn. Tệp này chứa cấu trúc trang web của bạn. Nó giúp các trình thu thập thông tin web tìm đường qua blog của bạn. Các Sơ đồ trang web: chỉ thị cho trình thu thập thông tin biết vị trí của tệp sơ đồ trang web của bạn. Trong trường hợp Blogger / Blogspot – bạn có thể để nguyên dòng này.

Đây chính là nó! Nếu bạn có bất kỳ câu hỏi nào về tệp robots.txt tùy chỉnh cho Blogger / Blogspot, hãy cho tôi biết trong phần nhận xét. Tôi sẽ cố gắng hết sức để hỗ trợ bạn. Cảm ơn bạn đã kết nối với TechWelkin!

Leave a Reply