У каждого сайта есть свой краулинговый бюджет - лимит на обход страниц на сайте поисковым роботом за определенный промежуток времени.
Чтобы робот не тратил свои ресурсы на обход ненужных технических и мусорных страниц, можно их закрыть тремя способами:
1. Закрыть url таких страниц в robots.txt
Страницы, закрытые таким путем, выпадают из обхода.
Минусы метода:
- Google может игнорировать директивы из этого файла и индексировать содержимое;
- Яндекс и Гугл используют страницы в обходе, если на них стоят внутренние или внешние ссылки.
2. Закрыть внутренние ссылки атрибутом rel="nofollow"
Атрибут nofollow позволяет поисковым системам указать, что переходить по ссылке не нужно.
Сами поисковые системы Яндекс и Google рекомендуют такой способ.
Минусы метода:
- Закрыть абсолютно все ссылки, ведущие на страницу невозможно, т.к. она может быть уже проиндексирована, либо на неё уже ссылаются внешние dofollow-ссылки.
3. Закрыть страницы мета-тегом "noindex"
Страницы, содержащие такой тег, перестанут индексироваться.
Минусы метода:
- Не всегда и не всё можно закрыть данным мета-тегом;
- Ссылки не закрытые в robots.txt, либо атрибутом rel=nofollow.
Комбинация robots.txt + rel="nofollow" + meta "noindex"
Такой подход позволяет убрать из обхода страницы ненужные сайта.
Пример
К примеру, страница интернет-магазина с параметрами сортировки.
- Если её не закрыть в robots.txt, страницы проиндексируются и создаются дубликаты с похожим содержимым (конкуренция с разделом, к которому относиться сортировка).
- Если не закрыть внутренние ссылки на такую сортировку с помощью атрибута rel=nofollow, то робот будет использовать их в обходе, невзирая даже на запреты в robots.txt.
- Если страница закрыта перечисленными двумя способами, но кто-то поставил внешнюю индексируемую ссылку с другого сайта, то страница может индексироваться поисковым ботом Google.
Что происходит после закрытия внутренних ссылок в rel=nofollow?
Если в отчете вебмастера Яндекс ("Индексирование" => "Страницы в поиске" => "Исключенные") присутствует ошибка: "Запрет в robots.txt (страница)", то после внедрения данной рекомендации их количество должно значительно уменьшиться.
Скриншот на примере одного нашего клиента, которому выполнялась данная работа:
Было заблокированных в robots.txt: 1 958 599 стр. После внедрения атрибута nofollow стало: 1 083 страницы.
Такая методика позволяет значительно увеличить скорость обхода и индексирования на любом сайте, особенно это чувствуется на сайтах с большим количеством страниц.
Мы занимаемся разработкой и доработкой действующий сайтов любой сложности.
Вы можете оставить заявку для получения дополнительной информации по вашему сайту.
