Важную роль в продвижении сайтов играет ускоренный обход и его правильная индексация поисковыми роботами.
За эти мероприятия отвечает файл robots.txt, который с помощью определенных правил (директив) задает установки поисковым ботам, что можно индексировать, а что нет.
Частые ошибки владельцев сайтов:
-
Отсутствие файла;
-
Установлен запрет индексации всего сайта;
-
Закрыт для индексации важный раздел;
-
Сайт, зарабатывающий на рекламе, закрыт от ботов рекламных сетей Директа, AdSense...
Как относятся поисковые системы к директиве Disallow?
-
Яндекс: означает полный запрет индексирования разделов сайта или отдельных страниц.
-
Google: не будет напрямую индексировать контент указанных страниц, однако может его проиндексировать по ссылкам с других сайтов.
В настройку входит:
-
Анализ структуры сайта SEO-инструментами;
-
Анализ ошибок индексации и обхода из вебмастеров Яндекс и Google (необходимо делегировать права);
-
Разрешение индексации блокируемых JS-скриптов и CSS-стилей отвечающих за внешний вид сайта. Это необходимо для корректного считывания, взаимодействия с сайтом и его поведенческих факторов (ПФ);
-
Корректная настройка директивы Host, отвечающей за установку главного зеркала (домена);
-
Прописывание всех индексируемых карт сайта (Sitemap);
-
Проверка файла robots.txt валидаторами Google и Яндекс.
Сколько стоит доработка robots.txt?
Стоимость услуги составляет (отдельная задача): 3500 рублей.
Сроки проведения: 2-4 рабочих дня.
Если вы заказываете комплексное решение по SEO, то настройка файла robots.txt может быть включена в его стоимость в зависимости от ТЗ (технического задания).
Вы можете оставить заявку для получения дополнительной информации по вашему сайту.
