Почему гугл блокирует страницы сайта wordpress и как их разблокировать ?

Привет ! Сегодня я решил затронуть очень важную тему, которая касается продвижения сайта в поиске. Не устаю повторять одну очень мудрую пословицу — Век живи, век учись. Жизнь такая штука, что в ней нет какой-то определённой точки, где вы остановитесь, опустите руки, выдохните и скажите ну вот и всё, наконец-то дошёл. Будьте бдительны, всегда нужно быть на чеку, нужно учиться и действовать, продвигаться всё дальше и дальше. Видимо мои глобальные цели приводят меня к моим ошибкам, чтобы я исправлял их и слава богу что так происходит. Дело вот в чём, если вы пользуетесь сервисом Google Веб-Мастер, то наверняка вы встречали там такую вкладку: Индекс GoogleЗаблокированные ресурсы.

 

заблокированные ресурсы

 

До поры до времени я игнорировал данную страницу с заблокированными ресурсами. То есть я заходил на страницу, просто смотрел, но особо не вникал, думал что так и должно быть, потому что блокировка исходила из файла robots txt. Я тогда не знал и не понимал, что мой robots txt блокирует нужные поисковому роботу google файлы. А когда до меня дошло это, то я конечно начал разбираться. Начал более детально изучать страницу с заблокированными ресурсами. Оказалось что в файле robots txt блокируются необходимые для индексирования JS и CSS файлы. Из-за блокировки робот google не мог проиндексировать некоторые элементы страницы, которые необходимы для полноценного отображения страницы в поиске.

 

заблокированные ресурсы гугл

 

Чтобы понять какой именно файл необходимо разблокировать, вам нужно открыть список заблокированных ресурсов, для этого нажмите на адрес вашего сайта, под заголовком Хост, под графиком. У вас откроется список заблокированных ресурсов. Здесь вы сможете посмотреть какие именно файлы блокируются в файле robots txt. В моём случае блокировались файлы wp-content и wp-includes.

 

заблокированные ресурсы

 

Хорошо, мы выяснили какие файлы блокируются в robots txt. Ну и что скажете вы, ведь так и должно быть, эти файлы не нужны для индексации. Да, я так же думал, поэтому игнорировал данную страницу. А теперь просто нажмите по любому заблокированному ресурсу, у вас откроется список страниц для которых необходимо, чтобы был доступ к заблокированному ресурсу. То есть, на странице записи из данного списка используются файлы из раздела wp-includes, но так как в robots txt данный раздел заблокирован, то поисковый робот не может отобразить элементы на странице записи из данного раздела.

 

заблокированные ресурсы

 

Чтобы вы убедились, что на ваших страницах сайта, действительно используются заблокированные ресурсы, то перейдите на любую страницу, которая указана в списке страниц заблокированного ресурса. Откройте исходный код страницы с помощью правой кнопки мыши. Найдите url адреса, которые ведут на заблокированные ресурсы, поэтому робот гугл не может получить доступ к ним, так как раздел заблокирован в robots txt. Понимаете о чём речь идёт ? Данные ресурсы необходимы для отображения данной записи, но робот гугл не может получить к ним доступ.

 

исходный код записи

 

А теперь нажмите на любую страницу в списке страниц заблокированного ресурса. У вас откроется окно с уведомлением, что данная страница обрабатывается не корректно, поскольку в файле robots txt блокируются ресурсы необходимые для данной страницы. Вам необходимо выяснить что это за ресурс и открыть для него доступ в файле robots txt. Внизу окна будет указан адрес ресурса, который вам необходимо разблокировать для корректного отображения данной страницы.

 

гугл вебмастер

 

В принципе здесь нет ничего сложного, вам нужно просто открыть доступ для заблокированных ресурсов в файле robots txt. В общем в итоге я переделал свой файл robots txt, открыл доступ к заблокированным ресурсам. Сейчас постепенно число заблокированных ресурсов начинает уменьшаться, нужно время, чтобы гугл переиндексировал страницы. После всего этого я сделал вывод, что нужно почаще заглядывать в Google Вебмастер и Яндекс Вебмастер и следить за правильностью индексирования сайта. Век живи, век учись !

 

Остались вопросы ? Напиши комментарий !

 

Почему гугл блокирует страницы сайта wordpress и как их разблокировать ? обновлено: Март 29, 2016 автором: Илья Журавлёв
 
 

10 комментариев

  • Максим 29.03.2016 Ответить

    Оказывается и у меня 54 страницы заблокированы по этой же причине. Подскажи открыть доступ в файле Robots.txt лучше, указав по отдельности каждый заблокированный ресурс или можно разрешить доступ к папкам wp-content и wp-includes целиком?

    • Илья Журавлёв 29.03.2016 Ответить Автор

      Я открыл полностью доступ в wp-content и wp-includes. Можешь оставить всё как есть, просто нужно будет открыть доступ ко всем заблокированным ресурсам с помощью директивы Allow в файле robots txt, имеется ввиду по отдельности каждый ресурс или подраздел.

  • Роман 08.06.2016 Ответить

    Здравствуйте. Сегодня упали позиции сайта в Гугл. В гугл-вэбмастере никаких ошибок нет, кроме этих заблокированных ресурсов. Там все страницы сайта в них)))) Из-за этих заблокированных ресурсов могли позиции упасть?

    • Илья Журавлёв 08.06.2016 Ответить Автор

      Всё возможно, надо смотреть, понижение или повышение позиций дело обычное, оно может быть сезонным, то есть временным, смотря что у вас за тематика сайта. Чтобы гугл не блокировал страницы, откройте ему доступ ко всем файлам в файле robots txt, кроме файла wp-admin…

      • Роман 08.06.2016 Ответить

        Это уже сделал. Но сначала просели позиции, а теперь сайт вообще весь выпал из индекса))) Ничего понять не могу. Единственно, что нашел — вэбмастерс показывает огромное количество ссылок на мой сайт с сайта
        advodka.com — аж 5034 — десятки ссылок на каждую страницу)))

        • Илья Журавлёв 08.06.2016 Ответить Автор

          Надо разбираться, ничего конкретного сказать не могу, так как не знаю всей истории. У меня то же выпадали страницы из поиска, но я их быстро вернул. Посмотри параметры URL в гугл вебмастер. Если у тебя всё нормально там, то просто подожди не много, чтобы гугл переиндексировал твой сайт.

        • Илья Журавлёв 08.06.2016 Ответить Автор

          Я тебе на email скинул два письма с полезными ссылками, обязательно почитай, всё можно исправить.

          • Роман 09.06.2016

            Почитал, спасибо. Но проблема видимо в другом. Я тут уже пообщался на официальном форуме Гугл, так вот, скорее всего это бан за мобильный редирект, о котором я не подозревал даже. Я в мае добавил на сайт код баннера вот этого рекламодателя meelba com, вот еще они же mobisway info. Они сами вышли на меня, предложили вроде нормальные условия. Я подумал, что деньги не будут лишними)))) Других вариантов у меня просто нет, так как ничего больше на сайте крамольного нет, утилиты вирусов не находят, да и в Гугл-вэбмастерс никаких записях о санкциях к сайту нет и ручных мер к нему не применялось (во всяком случае пока так написано Search Console). Но сайта с утра нет в поиске))). Трафик упал на 60%, так как с Гугла его было больше, чем с Яндекса, потеря около 10000 пользователей в день))). В общем на форуме мне указали на проблему, и тогда в статистике ЛИ во вкладке «переходы на сайты» я увидел, куда от меня перенаправлялись пользователи))) там был редирект на сайты с п…но тизерами и других разных левых страниц созданных только для рекламы. Вот так сволочи воруют трафик, уничтожая наши сайты))) Ну и за это мне бан от Гугла. Теперь вот голову ломаю, как снять бан. Надо как-то запретить редиректы с моего сайта. Пока не знаю как. Вроде этот плагин рекомендуют Content Security Policy.

          • Илья Журавлёв 09.06.2016 Автор

            А понятно, код баннера надо убрать с твоего сайта, он и создавал редирект.

          • Алексей 06.09.2016

            У меня 2 сайта, тоже пострадали от mobisway info (они же meelba com). Точно так же, как и Роману, они сами написали и предложили разместить баннер (это было еще в январе 2016). Тогда редиректа не было, но я размещал их недели две всего. А вот в августе повесил код – сразу был редирект (но я заметил не сразу).

            В конце августа, спустя месяц, на моих двух сайтах упала посещаемость на 20–30%, при этом мобильный трафик с Яндекса просел на 50%.

            Слава богу, мои сайты не забанили, на самом деле, я чудом вовремя спохватился.

            Снял код, мобильного редиректа больше нет, но трафик пока не восстановился.

            Пишу этот комментарий в дополнение к комментарию Романа. Вдруг кого убережет и кому поможет.

            Единственный график, который показывал проблему в данном случае – переходы на сайты в счетчике Liveinternet.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *


5 + 8 =



super-infa-top
Стрелка вверх