Запускаем проверку индексации сайта на поток

Запускаем проверку индексации сайта на поток

Процесс индексации сайта все оптимизаторы анализируют по-разному: одни смотрят на количество страниц в индексе с помощью оператора “site:” и динамику этой цифры, другие наблюдают за графиками в панели вебмастеров, третьим же важно знать статус индексации каждой страницы или группы страниц на сайте.

Первые два способа позволяют понимать картину в целом, однако, в случае возникновения проблем, одна цифра мало о чем говорит, необходимо получить более детальную информацию. О настройке процесса проверки индексации мы и поговорим в данной статье.

Отслеживать в динамике индексацию отдельных страниц – технически более сложно, но помогает решать важные аналитические задачи, а именно:

— Помогает организовать процесс ускорения индексации.
Для новых сайтов (или быстро обновляемых) можно отслеживать, какие страницы еще не проиндексировались и с помощью решений типа ловца ботов организовывать блоки перелинковки таким образом, чтобы нужные страницы поисковик находил быстрее.

— Помогает быстро реагировать при выпадении страниц.
Для уже существующих и наполненных контентом сайтов можно мониторить индекс и если вылетает что-то важное, то быстро на это реагировать, находить причины исходя из свойств выпавших страниц.

— Помогает оптимизировать структуру сайта или найти слабый контент
Понимая, какие из важных поисковых кластеров на сайте индексируются хуже, можно реорганизовывать их, правильно расставляя акценты. Также проблема может крыться в слабом контенте. Где именно находится слабый контент можно узнать, лишь имея полные данные об индексации страниц. Всего этого мы лишаемся, если знаем только количество страниц в индексе. Необходимо запускать проверку индексации на поток.

Итак, мы разобрались, что индексация сайта важна не сама по себе, а в большей степени как источник данных для дальнейшего развития или оптимизации сайта. Но как настроить процесс проверки? Что для этого нужно? И можно ли максимально автоматизировать?

Продвигаемые страницы

Первое, что необходимо иметь — это список продвигаемых вами страниц на сайте. Это не так просто, как может показаться на первый взгляд, особенно, если вы никогда не сканировали свой сайт сторонними парсерами и не совсем понимаете, из чего он состоит. Разберитесь в текущей структуре, выделите продвигаемые страницы и добавьте их в отдельный список. Я рекомендую для этих страниц создавать отдельный sitemap.xml, либо в случае больших проектов создавать несколько сайтмапов, каждый для своей рубрики.

Анализ отчетов

Когда все данные собраны, нужно приступить к анализу. Здесь методы будут зависеть от решаемой задачи и объемов сайта. Для примера, самая простая задача — это ускорение индексации. Для этого из отчета берете те страницы, которые еще не проиндексировались, разбиваете на блоки и ссылаетесь поочередно на каждый блок страниц с главной, чередуя их после каждого прихода бота (если известно) или раз в несколько дней.

А проверяете ли вы индексацию сайта? Как именно и как часто?

Автор: Сергей Кокшаров, seo-аналитик, автор блога Devaka

Запускаем проверку индексации сайта на поток