Jump to content
4.4.6
Sign in to follow this  
Sipsb

Блокировка SEO ботов

Recommended Posts

Sipsb

Блокировка SEO ботов: SemrushBot, LinkpadBot, BLEXBot

Кроме поисковых роботов, которые относительно полезны, на сайт часто заходят очень нежелательные боты, собирающие сведения для конкурентов.

Пока они не создают нагрузки, можно их не замечать, но проще заблокировать, в логах меньше мусора и нагрузка на сервер.

Правила robots.txt они иногда соблюдают

User-agent: BLEXBot
Disallow: /

иногда нет, поэтому надежнее блокировать по заголовку браузера у бота, например через файл .htaccess

RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} MJ12bot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Detectify
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} dotbot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Riddler
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} SemrushBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} LinkpadBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} BLEXBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} FlipboardProxy
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} aiHitBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} trovitBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} BUbiNG
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} MauiBot
RewriteRule (.*) - [F,L]

После после внесения изменений нагрузка на сервер значительно снизилась.

2019-03-19_10-37-47.png

  • Спасибо 1

Share this post


Link to post
Share on other sites
DavidS

К сожалению, даже этот метод не всегда действителен и надежен. Мэтт Катс, инженер по программному обеспечению Google, подчеркивает, что поисковые системы будут по-прежнему классифицировать эти страницы как соответствующие запросам клиентов, независимо от файла robots.txt. 

 

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this  

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...