Плагин wordpress robots.txt установка и настройка


Здравствуйте !

Сегодня я покажу вам и расскажу как пользоваться файлом robots.txt. Что это такое ? файл robots.txt позволит вам скрывать от индексации некоторые разделы или отдельные страницы вашего сайта, чтобы они не попадали в поиск Google и Yandex. Для чего это нужно ? поисковые системы индексируют всё содержимое вашего сайта без разбора, поэтому если вы хотите скрыть какую-либо конфиденциальную информацию,

например личные данные ваших пользователей, переписка, счета и т.д., то вам нужно будет самостоятельно добавить адреса страниц с данными в файл robots.txt. Что ещё можно сделать с помощью файла robots.txt ? если у вашего сайта есть зеркала, то в их файлах robots.txt можно указать на главный сайт, чтобы индексировался только он.

Видео о файле robots.txt

 

Настраивать файл robots.txt мы будем с помощью плагина – DL Robots.txt. Установить данный плагин вы сможете прямо из своей админ-панели wordpress. Перейдите по вкладке: ПлагиныДобавить новый, введите название плагина в форму поиска, нажмите Enter, установите и активируйте открывшийся плагин.

 

плагин txt

 

 

Чтобы попасть на страницу настроек плагина, перейдите по вкладке: DL Robots.txt. Данная вкладка появится у вас в меню админ-панели wordpress, после того как вы установите и активируете плагин.

 

вкладка

 

На странице настройки файла robots.txt, вы можете прочитать и посмотреть видео о том, что такое файл robots.txt. Так же здесь можно проверить файл, нажав на вкладку – Robots.txt, если файл откроется в браузере значит всё нормально.

 

robots.txt

 

Если на вашем сайте нет файла robots.txt, значит сейчас мы добавим его в специальное окно, которое находится на странице настроек плагина. Итак, конечно же создавать файл robots.txt необходимо исходя из предпочтений каждого отдельного сайта, но я вам предложу готовый вид файла, который подойдёт любому сайту на wordpress. В случае чего вы сможете с лёгкостью добавить в файл свои дополнения.

 

Вот как выглядит файл robots.txt для моего сайта.

 

робот

 

Сейчас я объясню вам, что всё это значит.

В общем, если не вдаваться в подробности, то я запретил поисковикам индексировать: темы и плагины wordpress, кэш сайта, то есть дубликаты страниц, feed – это rss лента с записями. Теперь объясню зачем это делать, этим самым мы облегчаем работу поискового робота, чтобы он не индексировал лишний груз сайта, темы, плагины, кэш, фид, всё это можно не индексировать, в поиске вся эта информация просто не нужна.

 

Так же в файле указано – разрешить поисковикам индексировать все загруженные медиафайлы на вашем сайте. Такой файл robots.txt подойдёт любому сайту на wordpress.

Смотрите, к примеру вы хотите не индексировать ещё какую-либо отдельную страницу или запись на вашем сайте, тогда файл будет выглядеть следующим образом:

 

файл

 

 

Поняли да, то есть добавляете только название страницы из её ссылки и впереди ставите флэш /, а для записи, название записи.html и впереди флэш /.

 

Итак, скачать готовый файл robots.txt можно – Здесь ! Только Внимание ! ! ! укажите свой адрес сайта вместо моего.

После того как вы скачаете файл, у вас будет два варианта:

  1. Загрузить файл в свою корневую директорию на хостинге. (в этом случае плагин можно не устанавливать)
  2. Скопировать содержание файла и вставить в специальное окно на странице настройки плагина DL Robots.txt

 

24-08-2015 15-53-57

 

На этом у меня всё, если у вас остались вопросы по данной статье, то обязательно напишите мне в Обратную связь, либо оставьте комментарий к данной записи. Я всем отвечу ! Кстати, а вы проверяли файл robots.txt в Яндекс вебмастер ?

Удачи вам и до новых встреч ! 

 






info-effect.ru
Плагин wordpress robots.txt установка и настройка обновлено: Апрель 21, 2018 автором: Илья Журавлёв

25 комментариев

  • Алексей 25.05.2016 Ответить

    Доброго времени суток. Илья , у меня такой вопрос: надо установить плагин robots. txt, а затем в него закачать файлы robots. txt. Или достаточно установить плагин robots.txt и настроить его.?

    • Илья Журавлёв 25.05.2016 Ответить Автор

      Привет, достаточно просто установить и настроить плагин.

  • Алексей 26.05.2016 Ответить

    А что еще нужно обезательно устанавливать кроме robots.txt. Я не так давно создал блог. Потому практически не знаком с этим делом.

  • Ольга 25.07.2016 Ответить

    Скачала плагин по вашему совету и настроила его, но вот удалить из корневой директории старый роботс не могу, т.к. потеряны доступы к фтп. Выходит, даже наличие плагина на WP не откроет сайт для индексации?

    • Илья Журавлёв 25.07.2016 Ответить Автор

      А как так ты не можешь попасть в свою корневую директорию ? Через FTP это не единственный путь, зайди через панель хостинга с помощью логина и пароля, которые должны были предоставить тебе при регистрации. Твой сайт в любом случае будет индексироваться, если в старом файле нет запрет локальных. Тогда тебе лучше установить вот этот плагин, он отображает имеющийся файл robots, то есть тебе нужно просто содержание поменять и всё ! И да же доступ к файлу не нужен !

  • Ольга 25.07.2016 Ответить

    Да, действительно, после установки плагина в разделе Чтение появилась обновленная запись роботс. Только вот в вебмастере упорно загружается старый запрещенный файл. Возможно ли, что обновление происходит не так быстро?

    • Илья Журавлёв 25.07.2016 Ответить Автор

      А в каком Вебмастере смотришь, Яндекс или Google ? В Google может старый файл отображаться, там нужно перезагрузить файл на странице проверки. В Яндекс насколько я знаю файл автоматически обновляется.

  • Ольга 25.07.2016 Ответить

    В Яндексе смотрю, периодически обновляю, все тоже самое(

    • Илья Журавлёв 25.07.2016 Ответить Автор

      Надо зайти в корневую директорию сайта ! Обратись в службу поддержки своего хостинга, тебе должны помочь !

  • Григорий 08.09.2016 Ответить

    Приветствую!
    Нужно разобраться по-моему функция Allow уже не работает (читал на специализированном сайте по robots txt)

    • Илья Журавлёв 08.09.2016 Ответить Автор

      Привет, что это за “специализированный сайт” !? Ничего подобного ! Всё работает, как и по прежнему !

  • Евгения 16.12.2016 Ответить

    Здравствуйте! Я добавила данный плагин, прописала свои данные, после сохранения данных файл выглядит не совсем так, как я хотела.

    Следующие строки я не прописывала, но они появляются автоматически. Как их удалить, подскажите, пожалуйста!
    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php

    # DL Robots.txt

    • Илья Журавлёв 16.12.2016 Ответить Автор

      Здравствуйте, вам лучше использовать плагин – Robots.txt File, он лучше.

  • павел 13.04.2018 Ответить

    Всем привет! Вопрос касательно создания данного файла для интернет магазина, есть ли разница?

    • Илья Журавлёв 14.04.2018 Ответить Автор

      Привет, нет разницы, принцип тот же самый.

  • seoonly.ru 19.07.2018 Ответить

    Спасибо! Помогло)) теперь на всех сайтах хоть нормальные файлы сделаю. УРА!

  • Мария 14.12.2018 Ответить

    Добрый день, после установки плагина файл robots.txt, при проверке, выдает ошибку 404, что это может быть?

    • Илья Журавлёв 14.12.2018 Ответить Автор

      Здравствуйте. При проверке чего и где и как? Скриншот покажите.

      • Мария 15.12.2018 Ответить

        При проверке robots.txt через яндекс, либо по ссылке в DL Robots.txt (просмотр вашего файла Robots.txt), все время выдает ошибка 404, это после установки и настройки плагина. Может мне надо попробовать непосредственно сам файл загрузить в корневую папку, без плагинов? поможет ли это. Спасибо за помощь

        • Илья Журавлёв 15.12.2018 Ответить Автор

          Возможно не правильно что-то настроили. Конечно лучше загрузить готовый файл в корень, не используя плагин. Просто для некоторых это не посильная задача. Покажите, что вы добавили в файл?

          • Мария 15.12.2018

            Да, насчет непосильной задачи это вы правы))) добавляла все по вашей инструкции. ну ладно, спасибо за помощь, попробую найти все-таки этот “корень” =)

          • Илья Журавлёв 15.12.2018 Автор

            На самом деле всё очень просто. Могу дать вам совет. Обратитесь в службу поддержки своего хостинга. Они обязаны вам подсказать, как попасть в корневую директорию сайта. Панели у хостеров разные, поэтому одной инструкции тут нет. Если у вас cPanel, как и у меня, вам нужно открыть данную панель. Затем, перейти: Диспетчер файлов – public_html – всё, вы попадёте в корень своего сайта. Здесь должен отображаться файл robots.txt. Вот ещё подсказка, в корне находятся файлы WordPress, типа wp-admin, wp-content, wp-includes.

  • Мария 15.12.2018 Ответить

    Илья, спасибо большое, ваш совет помог, все получилось наконец-то=))

    • Илья Журавлёв 15.12.2018 Ответить Автор

      Для меня это пустяки. Рад помочь)

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Нажимая на кнопку Отправить комментарий, вы соглашаетесь с Политикой конфиденциальности и Пользовательским соглашением сайта info-effect.ru


Обратная связь

Политика конфиденциальности - Пользовательское соглашение

Стрелка вверх