robots txt

Супер файл robots txt для любого сайта индексация!


 Привет ! Сегодня вы узнаете как правильно составить файл robots txt для любого сайта ! Файл robots txt необходим для эффективной индексации сайта, чтобы нужные страницы попадали в поиск, а не нужные не попадали в поиск. Начать хочу с того, что я не рекомендую копировать файл robots txt с других сайтов. Почему ? Потому что данный файл нужно создавать непосредственно для каждого сайта, исходя из его настроек и параметров.

 Конечно можно тупо скопировать робота с другого сайта, но тогда вы не будете контролировать индексацию своего сайта на 100%. Вы что-то упустите, а это что-то может оказаться чем-то серьёзным, что может навредить продвижению вашего сайта. Поэтому, далее я расскажу и покажу как самостоятельно составить правильный файл robots txt именно для своего сайта.

 

Принцип работы составления файла robots.txt.

 Зайдите на свой сайт, откройте любую запись, с помощью правой кнопки мыши перейдите в исходный код страницы. Смотрите, вам нужно проверить каждую ссылку, которая отображается в исходном коде и решить, закрывать её от индексации или нет. Тут всё очень просто, для поиска нам нужна только основная ссылка записи. Все остальные ссылки можно закрывать в файле robots txt.

 Исходящие ссылки, то есть не ваши, например от рекламы, конечно закрывать в robots txt не надо, ничего это не даст и в этом нет смысла. Закрывать от индексации нужно только ссылки со своим доменным именем. Например — /wp-admin/, /wp-content/, /wp-includes/, /wp-json/, /page/ (ссылки админ-панели, ссылки пагинации и т.д.).

 

исходный код

 

 Таким образом вам нужно просмотреть исходный код страниц — записи, страницы, блога, категории. Все ссылки с вашим доменным именем, кроме основной ссылки страницы, нужно закрыть от индексации, потому что в поиске такие ссылки не нужны.

 

 Мой файл robots txt.

 

правильный robots txt

 

Сейчас поясню. Для Яндекса:

 wp — здесь думаю всё понятно, закрываем ссылки админ-панели.

 page — страницы пагинации, /page/1, /page/2, /page/3 и т.д. Такие страницы можно скрыть с помощью плагина.

 Всё остальное ссылки скриптов и прочий не нужный мусор.

 Host — показываем поиску наш основной домен. Обязательно указывать данную директиву для сайтов, у которых два адреса сайта с www и без.

 Sitemap — ссылка на карту сайта sitemap для поисковых систем. Если не используете Sitemap, то соответственно не нужно указывать.

 Директивы Host и Sitemap указываются только для Яндекс. Для Google нет смысла указывать, не читает он их в robots txt. В Google Вебмастер нужно указывать.

 

 Для Google ничего закрывать не надо, кроме wp-admin. Почему ? Потому что Google блокирует страницы и записи, в которых есть ссылки закрытые в robots txt. Google использует robots txt только в качестве запрета сканирования страниц. Для Google закрывать страницы и записи от индексации нужно другим образом, с помощью плагинов или мета тегов.

 

 Вот и всё, на самом деле всё очень просто здесь, просто разобраться надо !

 Остались вопросы ? Напиши комментарий ! Удачи !

 

 Внимание ! Создам с нуля файл robots txt для любого сайта ! Обращайтесь в Обратную связь !

 





Супер файл robots txt для любого сайта индексация! обновлено: Август 18, 2017 автором: Илья Журавлёв

9 комментариев

  • Антон 06.07.2017 Ответить

    Интересно. Спасибо большое. У многих спрашивал про эту проблему, однако адекватного ответа не получил. И теперь, как оно всегда и бывает, искал ответ на совершенно другой вопрос…
    Переделал robots.txt, поставил плагин, сделал резервные копии, буду тестировать.

  • Андрей 25.07.2017 Ответить

    Приветствую. Я уже этих роботосов переделал кучу и не могу понять какой из них правильно работает, а какой нет. Подскажите, гугл вебмастер и в яндекс вебмастер должен какие-нибудь предупреждения показывать? У меня показывает в гугле 1643 предупреждения, ошибок нет, а их показывает. Или должно все по 0 быть?

    И еще хотел спросить. Многие закрывают tag от дублей, а в Вашем роботсе нет такой строки. Почему?

    Подскажите, какой из этих роботсов наиболее правильный? Или как сделать самый простой какой-нибудь, а то я уже замучился с ним. Благодарю.

    1 способ
    User-agent: *
    Disallow: /redirect
    Disallow: /tag/
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/themes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/languages
    Disallow: /wp-content/cache
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */feed
    Disallow: /*feed
    Disallow: /feed
    Disallow: /?feed=
    Disallow: /?s=
    Disallow: */comments
    Disallow: /*comment-page-*
    Disallow: /?p
    Disallow: /*.js$
    Disallow: /*.inc$
    Disallow: /*.css$
    Disallow: /search
    Disallow: /xmlrpc.php

    Host: merlinclub .ru
    Sitemap: http:// merlinclub.ru/sitemap.xml

    2 способ

    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /*?*
    Disallow: /tag

    User-agent: Yandex
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /*?*
    Disallow: /tag
    Host: http:// merlinclub.ru
    Sitemap: http:// merlinclub.ru/sitemap.xml

    3 способ (это я у Вас брал)

    User-agent: *

    Allow: /wp-includes/images/

    Allow: /wp-includes/js/

    Disallow: /wp-includes/

    Disallow: /wp-feed/

    Disallow: /wp-admin/

    Disallow: /wp-content/cache/
    Disallow: /wp-content/themes/

    Disallow: /wp-content/plugins/

    Sitemap: http:// merlinclub.ru/sitemap.xml

    Host: merlinclub .ru

    User-agent: Googlebot-Image

    Allow: /wp-content/uploads/

    User-agent: YandexImages

    Allow: /wp-content/uploads/

    • Илья Журавлёв 25.07.2017 Ответить Автор

      Здравствуйте. Ни один из представленных способов не правильный. Правильный смотрите в данной статье, я показываю совершенно другой способ, проверенный мной лично, уже на протяжении 2 лет. У меня нет тегов, поэтому и в роботсе их нет. А с чего вы взяли, что теги создают дубли?

  • Андрей 25.07.2017 Ответить

    Disallow
    Здесь же Вы “засовываете” разделы, которые НЕ нужно индексировать поисковикам. К примеру, на странице у меня идет дубль статей (повторение) с обычными статьями, а дублирование страниц отрицательно сказывается на поисковом продвижении, поэтому, крайне желательно, данные секторы нужно закрыть от индексации, что мы и делаем с помощью этого правила:

    Disallow: /tag

    Так вот, в том robots.txt, который дан выше, от индексации закрыты почти все ненужные разделы сайта на WordPress, то есть просто оставьте все как есть.

    • Илья Журавлёв 25.07.2017 Ответить Автор

      «на странице у меня идет дубль статей (повторение) с обычными статьями» не понял, что вы имеете в виду? По конкретней можно.

  • Антон 07.08.2017 Ответить

    Доброго дня.
    В догонку комментарию от 06.07.
    Прошёл месяц. Из скрина видно, что ресурсы действительно разблокиируются. Однако же на позициях поиске в ГУГЛ это никак пока не отразилось. Возможно я что-то не правильно понимаю. Подскажите, изменит ли уменьшение количества заблокированных ресурсов позиции в поиске гугла? Если да, то как и когда? СПАСИБО.

    • Илья Журавлёв 08.08.2017 Ответить Автор

      Здравствуйте. Да, изменит. Просто вы должны понимать, что это не единственный показатель и надеется только на него просто глупо! Сайт в основном продвигается за счёт качественных статей. Но и SEO оптимизация также важна. Всё важно. Продвигайте сайт и результат будет. Не надо ждать чуда.

  • Антон 08.08.2017 Ответить

    Спасибо за ответ.
    Немного перефразирую вопрос. По трафику у меня идёт перекос в сторону Яндекс: с яндекса примерно 4/5 трафика, с гугла 1/5 (остальные системы не учитываем), и на скрине это было прекрасно видно. Поможет ли разблокирование ресурсов выравнить трафик не теряя позиций в яндексе?

    • Илья Журавлёв 08.08.2017 Ответить Автор

      Если ваш сайт нацелен на Русскую аудиторию, то априори трафик с Яндекса будет больше! Сами подумайте, Яндекс самый популярный Русский поисковик. Это большое заблуждение, то что некоторые вебмастера думают, что якобы трафик из гугла меньше из-за каких-то проблем с оптимизацией. Так думают лузеры, которые не могут продвинуть свой сайт и поэтому они ищут оправдания своей беспомощности! Позиции вы никак не потеряете, если постоянно продвигаете сайт. Наоборот, позиции будут только расти, если всё грамотно делать.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *



Яндекс.Метрика

Помощь - Карта - Связь - Мой хостинг

Политика конфиденциальности - Пользовательское соглашение

Стрелка вверх