Плагин wordpress robots.txt установка и настройка.

Здравствуйте !

Сегодня я покажу вам и расскажу как пользоваться файлом robots.txt. Что это такое ? файл robots.txt позволит вам скрывать от индексации некоторые разделы или отдельные страницы вашего сайта, чтобы они не попадали в поиск Google и Yandex. Для чего это нужно ? поисковые системы индексируют всё содержимое вашего сайта без разбора, поэтому если вы хотите скрыть какую-либо конфиденциальную информацию,

например личные данные ваших пользователей, переписка, счета и т.д., то вам нужно будет самостоятельно добавить адреса страниц с данными в файл robots.txt. Что ещё можно сделать с помощью файла robots.txt ? если у вашего сайта есть зеркала, то в их файлах robots.txt можно указать на главный сайт, чтобы индексировался только он.

Видео о файле robots.txt

 

Настраивать файл robots.txt мы будем с помощью плагина — DL Robots.txt. Установить данный плагин вы сможете прямо из своей админ-панели wordpress. Перейдите по вкладке: ПлагиныДобавить новый, введите название плагина в форму поиска, нажмите Enter, установите и активируйте открывшийся плагин.

 

плагин txt

 

 

Чтобы попасть на страницу настроек плагина, перейдите по вкладке: DL Robots.txt. Данная вкладка появится у вас в меню админ-панели wordpress, после того как вы установите и активируете плагин.

 

вкладка

 

На странице настройки файла robots.txt, вы можете прочитать и посмотреть видео о том, что такое файл robots.txt. Так же здесь можно проверить файл, нажав на вкладку — Robots.txt, если файл откроется в браузере значит всё нормально.

 

robots.txt

 

Если на вашем сайте нет файла robots.txt, значит сейчас мы добавим его в специальное окно, которое находится на странице настроек плагина. Итак, конечно же создавать файл robots.txt необходимо исходя из предпочтений каждого отдельного сайта, но я вам предложу готовый вид файла, который подойдёт любому сайту на wordpress. В случае чего вы сможете с лёгкостью добавить в файл свои дополнения.

 

Вот как выглядит файл robots.txt для моего сайта.

 

робот

 

Сейчас я объясню вам, что всё это значит.

В общем, если не вдаваться в подробности, то я запретил поисковикам индексировать: темы и плагины wordpress, кэш сайта, то есть дубликаты страниц, feed — это rss лента с записями. Теперь объясню зачем это делать, этим самым мы облегчаем работу поискового робота, чтобы он не индексировал лишний груз сайта, темы, плагины, кэш, фид, всё это можно не индексировать, в поиске вся эта информация просто не нужна.

 

Так же в файле указано — разрешить поисковикам индексировать все загруженные медиафайлы на вашем сайте. Такой файл robots.txt подойдёт любому сайту на wordpress.

Смотрите, к примеру вы хотите не индексировать ещё какую-либо отдельную страницу или запись на вашем сайте, тогда файл будет выглядеть следующим образом:

 

файл

 

 

Поняли да, то есть добавляете только название страницы из её ссылки и впереди ставите флэш /, а для записи, название записи.html и впереди флэш /.

 

Итак, скачать готовый файл robots.txt можно — Здесь ! Только Внимание ! ! ! укажите свой адрес сайта вместо моего.

После того как вы скачаете файл, у вас будет два варианта:

  1. Загрузить файл в свою корневую директорию на хостинге. (в этом случае плагин можно не устанавливать)
  2. Скопировать содержание файла и вставить в специальное окно на странице настройки плагина DL Robots.txt

 

24-08-2015 15-53-57

 

На этом у меня всё, если у вас остались вопросы по данной статье, то обязательно напишите мне в Обратную связь, либо оставьте комментарий к данной записи. Я всем отвечу ! Кстати, а вы проверяли файл robots.txt в Яндекс вебмастер ?

Удачи вам и до новых встреч ! 

 

Плагин wordpress robots.txt установка и настройка. обновлено: Сентябрь 3, 2016 автором: Илья Журавлёв
 
 

11 комментариев

  • Алексей 25.05.2016 Ответить

    Доброго времени суток. Илья , у меня такой вопрос: надо установить плагин robots. txt, а затем в него закачать файлы robots. txt. Или достаточно установить плагин robots.txt и настроить его.?

    • Илья Журавлёв 25.05.2016 Ответить Автор

      Привет, достаточно просто установить и настроить плагин.

  • Алексей 26.05.2016 Ответить

    А что еще нужно обезательно устанавливать кроме robots.txt. Я не так давно создал блог. Потому практически не знаком с этим делом.

  • Ольга 25.07.2016 Ответить

    Скачала плагин по вашему совету и настроила его, но вот удалить из корневой директории старый роботс не могу, т.к. потеряны доступы к фтп. Выходит, даже наличие плагина на WP не откроет сайт для индексации?

    • Илья Журавлёв 25.07.2016 Ответить Автор

      А как так ты не можешь попасть в свою корневую директорию ? Через FTP это не единственный путь, зайди через панель хостинга с помощью логина и пароля, которые должны были предоставить тебе при регистрации. Твой сайт в любом случае будет индексироваться, если в старом файле нет запрет локальных. Тогда тебе лучше установить вот этот плагин, он отображает имеющийся файл robots, то есть тебе нужно просто содержание поменять и всё ! И да же доступ к файлу не нужен !

  • Ольга 25.07.2016 Ответить

    Да, действительно, после установки плагина в разделе Чтение появилась обновленная запись роботс. Только вот в вебмастере упорно загружается старый запрещенный файл. Возможно ли, что обновление происходит не так быстро?

    • Илья Журавлёв 25.07.2016 Ответить Автор

      А в каком Вебмастере смотришь, Яндекс или Google ? В Google может старый файл отображаться, там нужно перезагрузить файл на странице проверки. В Яндекс насколько я знаю файл автоматически обновляется.

  • Ольга 25.07.2016 Ответить

    В Яндексе смотрю, периодически обновляю, все тоже самое(

    • Илья Журавлёв 25.07.2016 Ответить Автор

      Надо зайти в корневую директорию сайта ! Обратись в службу поддержки своего хостинга, тебе должны помочь !

  • Григорий 08.09.2016 Ответить

    Приветствую!
    Нужно разобраться по-моему функция Allow уже не работает (читал на специализированном сайте по robots txt)

    • Илья Журавлёв 08.09.2016 Ответить Автор

      Привет, что это за «специализированный сайт» !? Ничего подобного ! Всё работает, как и по прежнему !

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *


8 + 3 =



super-infa-top
Стрелка вверх