Jump to content
4.4.4
Sign in to follow this  
Sipsb

Яндекс скорость обхода поисковых роботов

Recommended Posts

Sipsb

В Яндекс.Вебмастере появился новый инструмент — «Скорость обхода», который находится в разделе «Индексирование». Этот инструмент позволяет регулировать, как часто Яндекс может делать запросы к вашему сайту, то есть регулировать скорость обхода вашего сайта со стороны поисковых роботов. По умолчанию мы будем подбирать максимальную скорость для конкретного сайта, учитывая допустимые нагрузки для вашего сервера.

 

orig.png

 

Проанализировав письма за последние два года в нашу поддержку по вопросам индексирования, мы выяснили, что одной из основных причин медленного скачивания документов является неправильно настроенная директива Crawl-delayв robots.txt. Владельцы сайтов часто не задумываются о ней и её значении, и просто ставят такие же значения, как «у других», — как у старых сайтов, серверами которых служили еще «домашние» компьютеры, а не мощные стойки в дата-центрах. Так, порой встречались такие значения, как 20, 50, а порой и 100. И это при том, что если этот показатель был больше 2, скорость обхода сайта сильно снижалась — ведь именно эта директива отвечает за то, как часто робот может обращаться к сайту. В результате ошибочно установленной директивы страницы сайта длительное время не могли проиндексироваться роботом.

 

Для того чтобы владельцам сайтов не пришлось больше об этом беспокоиться и чтобы все действительно нужные страницы сайтов появлялись и обновлялись в поиске быстро, мы решили отказаться от учёта директивы Crawl-delay. Если же вы все-таки хотите по какой-то причине ограничить скорость обхода сайта, вы можете воспользоваться новым инструментом — «Скорость обхода». Он заменит собой рекомендации из директивы, его настройки можно выставить уже сейчас: они начнут учитываться через неделю, с 22 февраля.

 

Если вы не знаете, какое именно значение Crawl-delay нужно было устанавливать для вашего сайта или какое теперь значение необходимо установить в настройках инструмента, — просто оставьте значение «Доверять Яндексу». Робот сам выберет наиболее оптимальную частоту индексирования вашего сайта.

 

Теперь сайты смогут индексироваться еще быстрее!

  • Спасибо 2

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Sign in to follow this  

×
×
  • Create New...