Важнейшую роль в продвижении сайта играет индексация сайта. Очень важно, чтобы ваш сайт правильно индексировался поисковыми системами Яндекс и Гугл. Для начала вам нужно узнать сколько страниц вашего сайта находятся в поиске, то есть уже проиндексированы. Узнав число проиндексированных страниц, вы сможете сравнить количество проиндексированных страниц с количеством страниц имеющихся на вашем сайте. Бывает такое, что количество страниц в поиске намного превышает количество страниц на сайте. Это может быть связано с тем, что поисковая система индексирует не нужные страницы, админ-панели, дубли, RSS лента и т.д. Чтобы в поиск попадали только необходимые страницы вашего сайта, то есть основные, записи, страницы, вам нужно скрыть от индексации не нужные для поиска страницы.
Индексация сайта в Яндекс
Чтобы узнать сколько страниц вашего сайта были проиндексированы поисковым роботом Яндекс, зайдите в свой личный кабинет на сервисе Яндекс Вебмастер. Если у вас ещё нет своего кабинета в Яндекс Вебмастер, то вам нужно обязательно добавить свой сайт в поиск Яндекс. Зайдите на главную страницу сервиса Яндекс Вебмастер. Вверху страницы нажмите на вкладку – Мои сайты.
Далее, на следующей странице, напротив url адреса вашего сайта будет указано число страниц загруженных роботом и число страниц находящихся в поиске. Если число загруженных страниц не совпадает с числом страниц в поиске, то это нормально. Поисковый робот не добавляет страницы в поиск, которые закрыты от индексации в файле robots txt. Также роботы могут сами отсеивать некоторые не нужные для поиска страницы, например со знаком #.
Чтобы узнать структуру сайта и из каких разделов были загружены страницы с сайта, нажмите на число загруженных роботом страниц. Здесь вам покажут из каких разделов были загружены страницы с вашего сайта. Например значение category/ означает количество проиндексированных страниц категорий, то есть ссылок категорий, где отображаются все записи одной категории. Здесь также могут отображаться метки страниц, которые чаще всего индексируются. Например метка – wp-json отображается в большом количестве ссылок сайта, если эта метка дублирует основные страницы или записи, то вы можете закрыть её от индексации в файле robots txt, тогда робот будет загружать данные ссылки, но в поиск их добавлять не будет, как на скриншоте, загружено – 1689, добавлено в поиск – 0.
Индексация сайта в Google
Чтобы узнать сколько страниц вашего сайта находится в поиске Google, зайдите в свой кабинет Google Вебмастер. Если у вас ещё нет своего кабинета в гугл вебмастер, то обязательно добавьте сайт в поиск Google. На главной странице Search Console, кабинета вебмастера, нажмите по URL-адресу вашего сайта, рядом с картинкой вашего сайта.
Далее, на следующей странице, слева в боковой панели нажмите на вкладку – Индекс Google. В открывшемся списке нажмите на вкладку – Статус индексирования.
На следующей странице будет указано число проиндексированных страниц вашего сайта, которые находятся в поиске Google.
Если нажать на вкладку – Расширенные данные, то можно ещё узнать сколько страниц заблокировано в файле robots txt и сколько страниц удалено. Можно обновить данные, нажав на кнопку – Обновление.
За индексацией сайта необходимо следить постоянно, вы всегда должны знать сколько страниц вашего сайта находятся в поиске. Алгоритмы поисковых систем постоянно меняются и может произойти всё что угодно, вам нужно быть постоянно в курсе событий.