
Следует проверить такие технические параметры, как:
- все внешние ссылки на сайте закрываются атрибутом
rel=nofollow
; - все технические страницы, страницы поиска, корзины, фильтрации закрываются в
robots.txt
; - страницы пагинации НЕ закрываются атрибутом
rel=nofollow
, вrobots.txt
или с помощью мета-тегаnoindex
; - для страниц пагинации делаются канонические ссылки на корневой раздел (стартовый), что важно для Яндекса; для Google необходимо указать мета-теги
next/prev
; - все ссылки на внутренние страницы, закрытые в
robots.txt
, закрываются атрибутомrel=nofollow
; - делаются редиректы с
www
на сайт безwww
или наоборот; - делаются редиректы с
http
на сайт chttps
или наоборот; - делаются редиректы на слеш;
- делается редирект с вопроса (url вида:
/?
) на слеш; - страницы с параметрами канонически ссылаются на страницы без параметров с помощью тега
canonical
. Обычно так закрываются страницы фильтрации, сортировки, utm-меток, что позволяет защитить от добавления к URL спамерских параметров; robots.txt
составляется для всех роботов по стандарту:
User-agent: *
Disallow: /*
Allow: /*
Host: ***site.ru
Sitemap: http*://site.ru/sitemap.xml
Где задается правило для всех роботов, в котором закрываются страницы с помощью Disallow
и открываются к индексированию с помощью Allow
страницы с картинками, изображениями, скриптами и стилями, используемыми при оформлении сайта.
Нами замечено, что директива Host
также используется и поддерживается в Google, а не только Яндексом, Mail.ru и другими. Это позволяет указать приоритетное главное зеркало.
Sitemap – обязательно указываем карту сайта для более быстрого индексирования.