Jump to content
4.4.2
Sipsb

Блокировка SEO ботов

Recommended Posts

Sipsb

Блокировка SEO ботов: SemrushBot, LinkpadBot, BLEXBot

Кроме поисковых роботов, которые относительно полезны, на сайт часто заходят очень нежелательные боты, собирающие сведения для конкурентов.

Пока они не создают нагрузки, можно их не замечать, но проще заблокировать, в логах меньше мусора и нагрузка на сервер.

Правила robots.txt они иногда соблюдают

User-agent: BLEXBot
Disallow: /

иногда нет, поэтому надежнее блокировать по заголовку браузера у бота, например через файл .htaccess

RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} MJ12bot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Detectify
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} dotbot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Riddler
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} SemrushBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} LinkpadBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} BLEXBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} FlipboardProxy
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} aiHitBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} trovitBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} BUbiNG
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} MauiBot
RewriteRule (.*) - [F,L]

После после внесения изменений нагрузка на сервер значительно снизилась.

2019-03-19_10-37-47.png

  • Спасибо 1

Share this post


Link to post
Share on other sites
DavidS

К сожалению, даже этот метод не всегда действителен и надежен. Мэтт Катс, инженер по программному обеспечению Google, подчеркивает, что поисковые системы будут по-прежнему классифицировать эти страницы как соответствующие запросам клиентов, независимо от файла robots.txt. 

 

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.


  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...