Привет ! Сегодня я решил затронуть очень важную тему, которая касается продвижения сайта в поиске. Не устаю повторять одну очень мудрую пословицу – Век живи, век учись. Жизнь такая штука, что в ней нет какой-то определённой точки, где вы остановитесь, опустите руки, выдохните и скажите ну вот и всё, наконец-то дошёл. Будьте бдительны, всегда нужно быть на чеку, нужно учиться и действовать, продвигаться всё дальше и дальше. Видимо мои глобальные цели приводят меня к моим ошибкам, чтобы я исправлял их и слава богу что так происходит. Дело вот в чём, если вы пользуетесь сервисом Google Веб-Мастер, то наверняка вы встречали там такую вкладку: Индекс Google – Заблокированные ресурсы.
До поры до времени я игнорировал данную страницу с заблокированными ресурсами. То есть я заходил на страницу, просто смотрел, но особо не вникал, думал что так и должно быть, потому что блокировка исходила из файла robots txt. Я тогда не знал и не понимал, что мой robots txt блокирует нужные поисковому роботу google файлы. А когда до меня дошло это, то я конечно начал разбираться. Начал более детально изучать страницу с заблокированными ресурсами. Оказалось что в файле robots txt блокируются необходимые для индексирования JS и CSS файлы. Из-за блокировки робот google не мог проиндексировать некоторые элементы страницы, которые необходимы для полноценного отображения страницы в поиске.
Чтобы понять какой именно файл необходимо разблокировать, вам нужно открыть список заблокированных ресурсов, для этого нажмите на адрес вашего сайта, под заголовком Хост, под графиком. У вас откроется список заблокированных ресурсов. Здесь вы сможете посмотреть какие именно файлы блокируются в файле robots txt. В моём случае блокировались файлы wp-content и wp-includes.
Хорошо, мы выяснили какие файлы блокируются в robots txt. Ну и что скажете вы, ведь так и должно быть, эти файлы не нужны для индексации. Да, я так же думал, поэтому игнорировал данную страницу. А теперь просто нажмите по любому заблокированному ресурсу, у вас откроется список страниц для которых необходимо, чтобы был доступ к заблокированному ресурсу. То есть, на странице записи из данного списка используются файлы из раздела wp-includes, но так как в robots txt данный раздел заблокирован, то поисковый робот не может отобразить элементы на странице записи из данного раздела.
Чтобы вы убедились, что на ваших страницах сайта, действительно используются заблокированные ресурсы, то перейдите на любую страницу, которая указана в списке страниц заблокированного ресурса. Откройте исходный код страницы с помощью правой кнопки мыши. Найдите url адреса, которые ведут на заблокированные ресурсы, поэтому робот гугл не может получить доступ к ним, так как раздел заблокирован в robots txt. Понимаете о чём речь идёт ? Данные ресурсы необходимы для отображения данной записи, но робот гугл не может получить к ним доступ.
А теперь нажмите на любую страницу в списке страниц заблокированного ресурса. У вас откроется окно с уведомлением, что данная страница обрабатывается не корректно, поскольку в файле robots txt блокируются ресурсы необходимые для данной страницы. Вам необходимо выяснить что это за ресурс и открыть для него доступ в файле robots txt. Внизу окна будет указан адрес ресурса, который вам необходимо разблокировать для корректного отображения данной страницы.
В принципе здесь нет ничего сложного, вам нужно просто открыть доступ для заблокированных ресурсов в файле robots txt. В общем в итоге я переделал свой файл robots txt, открыл доступ к заблокированным ресурсам. Сейчас постепенно число заблокированных ресурсов начинает уменьшаться, нужно время, чтобы гугл переиндексировал страницы. После всего этого я сделал вывод, что нужно почаще заглядывать в Google Вебмастер и Яндекс Вебмастер и следить за правильностью индексирования сайта. Век живи, век учись !
Как сделать правильный файл robots-txt Смотри Здесь !
Остались вопросы ? Напиши комментарий ! Удачи !
Оказывается и у меня 54 страницы заблокированы по этой же причине. Подскажи открыть доступ в файле Robots.txt лучше, указав по отдельности каждый заблокированный ресурс или можно разрешить доступ к папкам wp-content и wp-includes целиком?
Я открыл полностью доступ в wp-content и wp-includes. Можешь оставить всё как есть, просто нужно будет открыть доступ ко всем заблокированным ресурсам с помощью директивы Allow в файле robots txt, имеется ввиду по отдельности каждый ресурс или подраздел.
Здравствуйте. Сегодня упали позиции сайта в Гугл. В гугл-вэбмастере никаких ошибок нет, кроме этих заблокированных ресурсов. Там все страницы сайта в них)))) Из-за этих заблокированных ресурсов могли позиции упасть?
Всё возможно, надо смотреть, понижение или повышение позиций дело обычное, оно может быть сезонным, то есть временным, смотря что у вас за тематика сайта. Чтобы гугл не блокировал страницы, откройте ему доступ ко всем файлам в файле robots txt, кроме файла wp-admin…
Это уже сделал. Но сначала просели позиции, а теперь сайт вообще весь выпал из индекса))) Ничего понять не могу. Единственно, что нашел — вэбмастерс показывает огромное количество ссылок на мой сайт с сайта
advodka.com — аж 5034 — десятки ссылок на каждую страницу)))
Надо разбираться, ничего конкретного сказать не могу, так как не знаю всей истории. У меня то же выпадали страницы из поиска, но я их быстро вернул. Посмотри параметры URL в гугл вебмастер. Если у тебя всё нормально там, то просто подожди не много, чтобы гугл переиндексировал твой сайт.
Я тебе на email скинул два письма с полезными ссылками, обязательно почитай, всё можно исправить.
Почитал, спасибо. Но проблема видимо в другом. Я тут уже пообщался на официальном форуме Гугл, так вот, скорее всего это бан за мобильный редирект, о котором я не подозревал даже. Я в мае добавил на сайт код баннера вот этого рекламодателя meelba com, вот еще они же mobisway info. Они сами вышли на меня, предложили вроде нормальные условия. Я подумал, что деньги не будут лишними)))) Других вариантов у меня просто нет, так как ничего больше на сайте крамольного нет, утилиты вирусов не находят, да и в Гугл-вэбмастерс никаких записях о санкциях к сайту нет и ручных мер к нему не применялось (во всяком случае пока так написано Search Console). Но сайта с утра нет в поиске))). Трафик упал на 60%, так как с Гугла его было больше, чем с Яндекса, потеря около 10000 пользователей в день))). В общем на форуме мне указали на проблему, и тогда в статистике ЛИ во вкладке “переходы на сайты” я увидел, куда от меня перенаправлялись пользователи))) там был редирект на сайты с п…но тизерами и других разных левых страниц созданных только для рекламы. Вот так сволочи воруют трафик, уничтожая наши сайты))) Ну и за это мне бан от Гугла. Теперь вот голову ломаю, как снять бан. Надо как-то запретить редиректы с моего сайта. Пока не знаю как. Вроде этот плагин рекомендуют Content Security Policy.
А понятно, код баннера надо убрать с твоего сайта, он и создавал редирект.
У меня 2 сайта, тоже пострадали от mobisway info (они же meelba com). Точно так же, как и Роману, они сами написали и предложили разместить баннер (это было еще в январе 2016). Тогда редиректа не было, но я размещал их недели две всего. А вот в августе повесил код – сразу был редирект (но я заметил не сразу).
В конце августа, спустя месяц, на моих двух сайтах упала посещаемость на 20–30%, при этом мобильный трафик с Яндекса просел на 50%.
Слава богу, мои сайты не забанили, на самом деле, я чудом вовремя спохватился.
Снял код, мобильного редиректа больше нет, но трафик пока не восстановился.
Пишу этот комментарий в дополнение к комментарию Романа. Вдруг кого убережет и кому поможет.
Единственный график, который показывал проблему в данном случае – переходы на сайты в счетчике Liveinternet.
Здравствуйте, Илья! Мой сайт тоже заблокировали. Что мне делать? Как разблокировать его. Может быть Вы сможете помочь?
Здравствуйте, в файле robots txt должны быть указаны отдельные правила для поиска Яндекс и Google. Для гугл нужно указать:
User-agent: *
Disallow: /wp-admin/
Через 2-4 недели все страницы разблокируются. Для гугл больше ничего указывать не надо. Заблокирован не сайт, а отдельные страницы.
Даже если за 4 недели блокировка не исчезнет не отчаивайся. На моём сайте она исчезла только через месяц с хвостиком после корректировки файла Robots.txt, и то ещё 3 страницы продолжают висеть. Хотя думаю и до них дойдёт очередь на разблокирование.
После разблокировки в роботс,в гугле заблокированные ресурсы уйдут в течение 2-3 месяцев,правильно я понмаю?
Да, для гугл в robots txt нужно оставить одно правило: Disallow: /wp-admin/, больше ничего не нужно. Постепенно вся блокировка снимется, точно не могу сказать, зависит от количества страниц. Для запрета индексации в гугл, лучше использовать специальный плагин, так как гугл не воспринимает файл robots txt всерьёз.
Так после того, как robots.txt почистили остается только ждать? сколько Вы в итоге ждали, что бы позиции вернулись? и вернулись ли они вообще?
Позиции быстро вернулись и даже выросли ! Но, это не только из-за исправления ошибок, сайт постоянно продвигается. Много качественного контента – думаю это основной показатель.
Добрый вечер! А не подскажешь почему в раздел “Заблокированные ресурсы” попало видео с Ютуба? Для него тоже в файле Robots нужно делать строку разрешающую индексирование? Ролик встраивал добавляя код на страницу.
Здравствуйте. Наоборот, в роботс для гугла ничего не надо добавлять. Как сделать правильный robots смотрите здесь.
Подскажите пожалуйста как удалить заблокированный ресурс со страницы сайта, если я его не добавлял и непонятно откуда он взялся.
Если ссылка внешняя, ничего не надо делать. Google просто их фильтрует и всё. Главное чтобы на вашем сайте не было.