anti ddos
  1. Thành viên Diễn đàn IDichvuSEO chung tay cùng cả nước đẩy lùi dịch Sars-CoV2. Hạn chế ra ngoài, đeo khẩu trang đúng cách, giữ khoảng cách với người khác, vệ sinh nhà cửa, rửa tay thường xuyên, khai báo y tế khi có biểu hiện bệnh.
    Việt Nam quyết thắng đại dịch!
    Dismiss Notice

Lượt xem: 4,367

  1. supportviettel

    supportviettel Thành viên

    Messages:
    291
    Thanks Received:
    29
    cho mình hỏi . file rotbots.txt cua mình cho site lapmangviettel chấm com chấm vn có cấu trúc như này

    User_agent: *
    Disallow: /wp-admin/
    Disallow: /wp-includes/

    , nhờ các bạn xem giúp xem thế này có chuẩn không hay phaỉ chỉnh gì không ?
     
  2. seorockman

    seorockman Dự bị

    Messages:
    17
    Thanks Received:
    4
    Cái này là file cơ bản của robots.txt. File này mục đích là báo cho google không index những nơi không cần thiết, do đó chuẩn hay không là do cấu trúc site của bạn quyết định. Ví dụ như có nhiều mục riêng tư hoặc quản trị,hoặc nháp... thì báo nó không index vì index thành ra nội dung không liên quan giảm điểm SEO do chất lượng bài viết thấp. Hoặc tình huống những category bị trùng nhau nội dung thì cũng báo google biết không index category đó bằng quy định disallow trong robots.txt. Hi vọng bạn hình dung vấn đề
     
  3. hanoioffice

    hanoioffice Dự bị

    Messages:
    8
    Thanks Received:
    1
    Bác cần chặn cái gì thì Dis, Còn lại cứ để Allow cho bot nó vô là được rồi @@ có cái nào là chuẩn đâu bác
     
  4. otofun

    otofun Thành viên tích cực

    Messages:
    496
    Thanks Received:
    9không vào được bet365_địa chỉ liên kết bet365_ làm thế nào để tạo một tài khoản bet365
    Bạn có thể thử file mẫu này rất nhiều blogger nổi tiếng dùng:

    Code:
    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php
    Allow: /wp-admin/images/*
    Sitemap: https://websitecuaban/sitemap_index.xml
     
  5. Mr_Pi

    Mr_Pi Thành viên nhiệt tình

    Messages:
    599
    Thanks Received:
    84
    Mình xin bổ sung một sung một số thông tin về file robot.txt và sự tồn tại của nó.

    Robots Exclusion Standard được phát triển từ năm 1994, nhằm giúp các webmaster có thể “tư vấn” cho các công cụ tìm kiếm cách thu thập thông tin từ blog/ website của họ. Nó hoạt động theo cách tương tự như các robot meta tag. Điểm khác biệt chính giữa chúng là các file robots.txt sẽ ngăn cản việc công cụ tìm kiếm truy cập vào một trang hoặc thư mục, trong khi các robot meta tag chỉ kiểm soát việc lúc nào thì trang hoặc thư mục đó được lập chỉ mục (index).

    Đặt một file robots.txt trong thư mục gốc của tên miền cho phép bạn ngăn chặn công cụ tìm kiếm lập chỉ mục các tập tin và thư mục nhạy cảm. Ví dụ, bạn có thể ngăn chặn một công cụ tìm kiếm thu thập dữ liệu từ thư mục hình ảnh của bạn hoặc lập chỉ mục một tập tin PDF nằm trong một thư mục bí mật.

    Các công cụ tìm kiếm “lớn” sẽ thực hiện theo các quy tắc mà bạn thiết lập. Tuy nhiên, không phải lúc nào các quy tắc mà bạn xác định trong tập tin robots.txt cũng được thi hành. Trình thu thập của các phần mềm độc hại và các công cụ tìm kiếm “nhỏ” có thể không tuân thủ các quy tắc và index bất cứ điều gì họ muốn. Rất may, các công cụ tìm kiếm hoạt động theo các tiêu chuẩn bao gồm cả Google, Bing, Yandex, Ask và Baidu.
     

Share This Page