SEO

Как проверить индексацию сайта

Как проверить индексацию сайта
Продвижение веб-сайтов – дело настолько тонкое и точное, что ошибка SEO-специалиста порой может привести к таким же критичным последствиям, как, скажем, неточное решение топ-менеджмента компании. К примеру, вы можете без труда ежемесячно инвестировать в содержимое шестизначные суммы, публиковать лучшие статьи от экспертов «с именем», но все усилия по продвижению перечеркнёт единственный символ в robots.txt. Данным символом вы запретите индексирование, из-за чего изумительного качества контент попросту никто не увидит.

Статья объяснит, почему индексация будет критически важным моментом в SEO, посоветует ряд сервисов и инструментов и уточнит, как проверить индексацию веб-сайта в «Яндексе» и Google.

Что мы имеем в виду, говоря об индексации

Индексация – процесс, когда робот поисковика заносит в базы данных информацию о веб-ресурсе. Посетителю в выдаче демонстрируются только проиндексированные роботом страницы. Пока страница не пройдёт индексирование, не начнёт ранжироваться.

Как происходит индексация? Рассмотрим по этапам:

  1. Робот узнаёт о существовании ресурса и заходит посмотреть, что там интересного.
  2. Следующим этапом будет планирование. Робот планирует время занесения содержимого с веб-сайта в индекс.
  3. Робот индексирует контент. Страницы попадают в базу данных.
  4. Проиндексированные страницы начинают ранжироваться и показываться посетителям в выдаче.

Весь алгоритм условно можно легко поделить на 2 части: сканирование(этапы 1-2) и непосредственно индексация(этапы 3-4). Важно понимать разницу между сканированием и индексированием. Робот сканирует веб-сайт целиком, а вот добавить в индекс может только часть страниц – к примеру, потому, что сочтёт остальные недостаточно качественными.

На животрепещущий вопрос SEO-специалистов о том, сколько времени занимает индексирование, к сожалению, чёткого ответа нет. Время индексации мало зависит от того, насколько крупный веб-сайт и сколько денег инвестировано в развитие. Больше – от того, как сильно ресурс приглянулся поисковой системе. Если будете публиковать качественные материалы и избегать проходных, со временем добьётесь, что странички будет «залетать» в индекс почти мгновенно. В отношениях с поисковиком важно доверие. Заслужите его – и робот начнёт пропускать содержимое в индекс, как охранник пропускает старого знакомого в ночной клуб.

Необходимо ли проверять индексирование в поисковых системах

Необходимо ли проверять индексирование в поисковых системах - картинкаПроверка индексации веб-сайта в Google и «Яндекс» может SEO-специалисту сделать отображение, используется ли потенциал ресурса «на полную», а также определить, почему трафик ресурса просел. Проверка индексации веб-сайта – важный этап SEO-аудита. Оптимизатор определяет:

  • все ли страницы в индексе;
  • если часть из них не зашла в индекс – почему так вышло.

Естественно, некоторые страницы SEO-шник закрывает от индексации собственноручно. Речь о страницах служебного пользования, пагинации, о дублях. В редких ситуациях скрепя сердце приходится закрывать от индексирования страницы с ценным содержимым – к примеру, по требованию Роскомнадзора. Однако, если вне индекса оказалось несколько статей с ценным содержимым, это очевидный признак того, что веб-сайт «недополучает» трафика. Проверка индексации страниц веб-сайта даёт функция «вытащить» эту проблему наружу и принять меры по её устранению.

Второй повод проверить веб-сайт на индексацию в поисковиках – проседание трафика. В пределах ресурса трафик по страницам распределяется неравномерно. Часто существует одна страница-«локомотив», которая приносит веб-сайту 30-40% трафика. Если такая выпадет из индекса и окажется недоступной для посетителей, это приведёт к существенному снижению трафика в целом.

Возможно ли продвижение без индексирования

Продвижение веб-сайта без индексирования в поисковых системах - картинкаВозможно – если делаете акцент на контекстную рекламу. Проверкой контекстных объявлений и индексацией сайтов занимаются два различных робота – и роботу, отвечающему за «контекст», всё равно, находится ли ресурс в индексе поисковика. Такой путь продвижения, как правило, выбирают владельцы «одностраничников», так как понимают, что не способны конкурировать за Топ выдачи с «гигантами», имеющими сотни тысяч оптимизированных страниц.

К слову, если потом надумаете продвигаться в органическом поиске, контекст вам сыграет добрую службу. С момента, когда люди начинают переходить на веб-сайт по объявлениям в контекстной рекламе, запускается поведенческий фактор ранжирования. Значит, в индекс ресурс попадёт не «нулевым», а с каким-никаким трастом.

Определяем число страниц в индексе

Как определить число страниц веб-сайта в индексе - картинкаЕсть много методов посмотреть индексацию веб-сайта. О каждом – расскажем подробно.

Через «вебмастерские»

Для проверки индексации веб-сайта в «Яндекс» прибегаем к услугам «Яндекс.Вебмастера». Необходимо проследовать по пути «Индексирование» – «Страницы в поиске».

Как проверить индексацию веб-сайта в Яндекс Вебмастере - скриншотВ этом разделе перейдите на вкладку «Все страницы». Вы увидите перечень страниц, присутствующих в индексе русского поисковика.

Проверка индексации страниц в Яндекс Вебмастере - скриншотПеречень можно без проблем выгрузить в файлах форматов. xls и. csv, чтобы потом открыть в Excel.

Другой сервис «Проверить статус URL» необходим для постраничной проверки индексирования. Пользоваться им просто – вбиваешь URL-адрес в поисковую строку и нажимаешь «Проверить». На экране появляется лаконичный отчёт, как на примере ниже:

Проверка статуса URL страницы в Яндекс Вебмастере - скриншотПроверка индексации веб-сайта в «Гугле» производится в панели Google Search Console. Полный перечень страниц в индексе здесь представлен в разделе «Покрытие»(1), а выполнить анализ единственной странички можно в разделе «Проверка URL»(2).

Проверка индексации страниц в Google Search Console - скриншотРазумеется, способ годится только для анализа собственного веб-ресурса. Чужие придётся проверять иначе.

С использованием оператора «site»

Операторами называют команды, которые могут уточнить результат выдачи. В частности, при помощи оператора «site:» можно ограничить выдачу страницами лишь одного веб-сайта. Так вы узнаете, какое число страничек веб-ресурса ПС успела проиндексировать.

Занесите в поисковую строку запрос в формате: site:web-dius.ru.

Проверка индексации веб-сайта в поиске Яндекса - скриншотПравее колонки выдачи мы видим надпись «Нашлось 552 результата». Это значит, что в индексе ПС 552 страницы веб-сайта.

Оператор «site» предназначен для массовой проверки индексации веб-сайта. Анализировать конкретную страничку необходимо с помощью оператора «url:».

Проверка индексации страниц веб-сайта в поиске Яндекса - скриншотЕсли страничку вы видите, значит, она успешно проиндексирована поисковиком.

Заметка. В Google оператор «url:» не работает. У забугорного поисковика схожую возможность выполняет оператор «inurl:». Он может оставить в выдаче только те веб-сайты, которые содержат определённое слово или набор символов в URL-адресе.

Благодаря возможности расширенного поиска в «Яндексе» мы, используя операторы, можем определить, какие страницы были добавлены в индекс недавно – к примеру, за последний месяц. Как это сделать? Кликаем на иконку расширенного поиска(1), выбираем в форме «За месяц»(2), выставляем регион, в котором продвигаемся(3). Потом жмём «Найти».

Расширенный поиск в Яндексе для проверки индексации страниц - скриншотВ результате узнаём, что за последний месяц на ресурсе опубликовали 14 статей, и получаем список данных материалов.

Задействуем плагины и дополнения браузеров

Плагины – это простенькие javascript-программы, которые устанавливаются в браузере в виде дополнений. С одной стороны, плагины удобны для быстрой проверки веб-сайта на индексацию онлайн – не необходимо всякий раз лезть в сервисы, достаточно нажать на иконку. С другой стороны, они «утяжеляют» браузер, и тот начинает потреблять больше ресурсов компьютера.

Для проверки индексации веб-сайта онлайн можно воспользоваться такими дополнениями:

  • RDS Bar. Даёт функция бесплатной проверки индексации веб-сайта онлайн в «Яндексе». По Google, увы, информации не предлагает – пишет «parse error».
  • SEO-анализ веб-сайта от Be1. «Убойное» расширение, которое не только определяет число страниц в индексе, но и проверяет ресурс по ряду иных критериев – к примеру, замеряет его скорость на PageSpeed.
  • SEO-Tools. Эта программа не проверяет индексацию веб-сайта в «Яндексе» и «Гугле» самостоятельно – она по сути лишь подставляет команду оператора и показывает юзеру уточнённую выдачу. Вариант для самых ленивых.

С помощью платных и бесплатных онлайн-сервисов

Говоря откровенно, информация об индексации – не та, за которую следует платить. Для её получения можно использовать один из множества бесплатных сервисов:

  • PR-CY . Даёт функция бесплатно проверить индексацию веб-сайтов онлайн в «Яндекс» и Google. В платной версии может посмотреть динамику индексирования.
  • Инструмент Серпхант . Лучший онлайн-сервис для проверки индексации конкретных страниц. Можно проанализировать одной «пачкой» до 50 URL-адресов, а результаты проверки – выгрузить в форматах, которые читаются Экселем.
  • Arsenkin.ru . Инструмент Александра Арсёнкина способен проверить индексирование 5000(!) адресов сразу же. Правда, воспользоваться данной программой удастся только после регистрации / авторизации.

Сервисы seogadget.ru, xseo.in и raskruty.ru теперь рекомендуют скорее «по инерции» – невзирая на то, что они «скатились». Seogadget большую часть времени недоступен, а у двух оставшихся – дизайн из разряда «вырви глаз».

Платные сервисы рекомендуем использовать для проверки веб-сайта на индексацию онлайн, если вы и так применяете их в работе. Программы-«мультитулы» могут соблюдать принцип «одного окна» и по минимуму переключаться между закладками – что удобно. К примеру, сервис SERanking проверяет позиции, обратные ссылки, качество используемой семантики – и индексирование между делом. Для « Линкбокс » проверка индексации веб-сайта – тоже побочная задача, так как эта программа нужна главным образом для работы с бэклинками.

Заметка. Если вам нужна проверка индексации веб-сайта по ключевым словам, а не по URL-адресам, используйте сервис Rush-Analytics. Иных программ, способных справиться с данной нетривиальной задачей, пока нет.

Утилиты для десктопа

Есть ряд десктопных программ, которые могут проверить индексацию веб-сайта в поисковых системах бесплатно и за деньги. В число бесплатных программ входят:

  • Site-Auditor. Небольшая утилита от Лаборатории Ашманова.
  • Xenu’s Links Sleuth. Инструмент, предназначенный прежде всего для поиска битых ссылок. Но и чтобы проверить индексацию веб-сайта, тоже сгодится.

У платных программ функцию проверки индексации будет второстепенной. Речь идёт о:

  • Screaming Frog SEO Spider. Культовая прога в сфере SEO, «паук», способный «спарсить» ресурс целиком и разложить его в виде таблицы EXCEL.
  • Netpeak Spider. Главный конкурент «лягушки», недорогой парсер, может выполнить глубокий SEO-анализ.
  • SEMonitor. Пакет программ, в который помимо утилиты, способной проверить индексацию веб-сайта в «Гугл» и «Яндекс», входит несколько иных – к примеру, для чека позиций и анализа бэклинков. Инструменты толковые, но по интерфейсу выглядят, будто их не меняли несколько десятилетий.

Индексация не происходит: причины

Индексация веб-сайта не происходит - причины - картинкаНеобходимо понимать, что быстрая индексация – это привилегия со стороны поисковиков. Увы, SEO-шники склонны «пожарить» по поводу индексации преждевременно – начинают искать ошибки, когда поисковый робот до веб-сайта ещё не успел добраться. Дольше всего ПС индексирует молодые ресурсы. Поисковику необходимо время, чтобы собрать информацию о том, какие материалы на ресурсе публикуются. Следует быть готовым к отсутствию нового веб-сайта в выдаче в течение минимум полугода.

А вот если страницы старого веб-сайта не заходят в индекс – это нерядовая ситуация. Дело может быть в SEO-ошибке или вообще в фильтре ПС. Рассмотрим возможные причины, почему ресурс не индексируется:

  • Страница или раздел закрыты в «роботсе». При корректировании robots необходимо действовать с хирургической точностью. Если неверно использовать директиву, можно, ошибившись, запретить индексацию целого раздела веб-сайта.
  • Отсутствует сайтмап. Карта веб-сайта(сайтмап) включает ссылки на все страницы ресурса. Благодаря sitemap вы облегчаете поисковому роботу работу.
  • Низкая скорость загрузки. Робот не может себе позволить ждать по пару секунд, когда страница загрузится – у него и так полно работы. Так что во избежание проблем с индексированием позаботьтесь о том, чтобы ускорить загрузку, и не публикуйте огромные изображения.
  • Контент редко обновляется. Робот зайдёт раз, зайдёт два, увидит, что ничего не меняется, и потом начнёт заходить всё реже. Чтобы этого избежать, заведите на веб-сайте новостной раздел и делайте там хотя бы по одной публикации ежедневно. Такой контент следует копейки.
  • CMS настроена на запрет индексации. К примеру, в «админке» WordPress достаточно поставить всего одну галочку, чтобы запретить поисковикам индексировать ресурс.
  • Веб-сайт «забанен» . Обычно в это не верят до последнего. Но если вы перебрали все варианты причин отсутствия индексаций, следует предположить самое худшее. Напишите письмо Платону Щукину, попросите уточнить, не попал ли веб-сайт под фильтр.

Страницы могут иметь слишком большой уровень вложенности –. Предельно допустимым уровнем вложенности считается 4-ый. Если странички запрятаны глубже, отсутствие их в индексе вполне ожидаемо. У робота может просто не хватить краулингового бюджета, чтобы до них добраться.

Что такое краулинговый бюджет и как он связан с индексацией веб-сайта

Индексация и краулинговый бюджет веб-сайта - картинкаПонять, что такое краулинговый бюджет, проще, если рассматривать его через призму бытовых примеров. Представим, вы записались к стоматологу в поликлинику. Он находит два больных зуба: один лечит, а второй за отведённые на пациента 45 минут не успевает. Будете ли вы возмущаться и требовать, чтобы всё вылечили за один визит? Вряд ли. Стоматолог – заложник обстоятельств, у него в коридоре собралась очередь.

«Краулинговый бюджет» стоматолога из примера – 45 минут. У поисковика краулинговый бюджет измеряется числом не минут, а страниц. По сути это максимальное число страниц, которое он может обойти за раз. Больше он себе позволить не может, так как веб-сайтов, которые стоят в очереди и нетерпеливо ждут переобхода – тьма тьмущая.

Робот обходит веб-сайт планомерно. Сначала проверяет главную, потом проходится по второму уровню вложенности – и так, пока не кончится краулинговый бюджет. Так как краулинговый бюджет поискового робота ограничен, он просто не доберётся до страниц, которые глубоко запрятаны. Так что в индексации 5-го и последующих уровней вложенности можно быть уверенным, только если веб-сайт небольшой.

Как ускорить процесс индексации веб-сайта

Как ускорить процесс индексации веб-сайта - картинка

  1. Первое правило, которое реально работает – сделать публикации в соцсетях со ссылками на веб-сайт. Социальные сети – это тоже веб-сайты, и по ссылкам с данных веб-сайтов роботы переходят.
  2. Второе – переработайте структуру веб-сайта, сделайте её более «плоской», без больших уровней вложенности. Вместе с тем, конечно же, настройте эффективную перелинковку.
  3. Третье – регулярно публикуйте содержимое. «Приручайте» поискового робота и приучайте его к тому, что статьи на веб-сайте – исключительного качества.

Выводы

Никакой «чудесной кнопки», которой пользуются «мастодонты» SEO для быстрой индексации, не существует. Рекомендации по увеличению скорости индексирования, изложенные выше, секретными никак не назовёшь. Неужели вы никогда не слышали, что если публиковать хорошие материалы, вас полюбят поисковики? Их любовь проявляется быстрой индексацией.

Проверять индексацию веб-сайта онлайн или через десктопные программы необходимо, но не следует тратить на это много времени и уж тем более подключать платные сервисы. Вся информация об индексации и её динамике доступна бесплатно в панелях вебмастеров Google и «Яндекс».

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *