Плагин wordpress robots.txt установка и настройка

robots.txt

Здравствуйте !

Сегодня я покажу вам и расскажу как пользоваться файлом robots.txt. Что это такое ? файл robots.txt позволит вам скрывать от индексации некоторые разделы или отдельные страницы вашего сайта, чтобы они не попадали в поиск Google и Yandex. Для чего это нужно ? поисковые системы индексируют всё содержимое вашего сайта без разбора, поэтому если вы хотите скрыть какую-либо конфиденциальную информацию,

например личные данные ваших пользователей, переписка, счета и т.д., то вам нужно будет самостоятельно добавить адреса страниц с данными в файл robots.txt. Что ещё можно сделать с помощью файла robots.txt ? если у вашего сайта есть зеркала, то в их файлах robots.txt можно указать на главный сайт, чтобы индексировался только он.

Видео о файле robots.txt

 

Настраивать файл robots.txt мы будем с помощью плагина – DL Robots.txt. Установить данный плагин вы сможете прямо из своей админ-панели wordpress. Перейдите по вкладке: ПлагиныДобавить новый, введите название плагина в форму поиска, нажмите Enter, установите и активируйте открывшийся плагин.

 

плагин txt

 

 

Чтобы попасть на страницу настроек плагина, перейдите по вкладке: DL Robots.txt. Данная вкладка появится у вас в меню админ-панели wordpress, после того как вы установите и активируете плагин.

 

вкладка

 

На странице настройки файла robots.txt, вы можете прочитать и посмотреть видео о том, что такое файл robots.txt. Так же здесь можно проверить файл, нажав на вкладку – Robots.txt, если файл откроется в браузере значит всё нормально.

 

robots.txt

 

Если на вашем сайте нет файла robots.txt, значит сейчас мы добавим его в специальное окно, которое находится на странице настроек плагина. Итак, конечно же создавать файл robots.txt необходимо исходя из предпочтений каждого отдельного сайта, но я вам предложу готовый вид файла, который подойдёт любому сайту на wordpress. В случае чего вы сможете с лёгкостью добавить в файл свои дополнения.

 

Вот как выглядит файл robots.txt для моего сайта.

 

робот

 

Сейчас я объясню вам, что всё это значит.

В общем, если не вдаваться в подробности, то я запретил поисковикам индексировать: темы и плагины wordpress, кэш сайта, то есть дубликаты страниц, feed – это rss лента с записями. Теперь объясню зачем это делать, этим самым мы облегчаем работу поискового робота, чтобы он не индексировал лишний груз сайта, темы, плагины, кэш, фид, всё это можно не индексировать, в поиске вся эта информация просто не нужна.

 

Так же в файле указано – разрешить поисковикам индексировать все загруженные медиафайлы на вашем сайте. Такой файл robots.txt подойдёт любому сайту на wordpress.

Смотрите, к примеру вы хотите не индексировать ещё какую-либо отдельную страницу или запись на вашем сайте, тогда файл будет выглядеть следующим образом:

 

файл

 

 

Поняли да, то есть добавляете только название страницы из её ссылки и впереди ставите флэш /, а для записи, название записи.html и впереди флэш /.

 

Итак, скачать готовый файл robots.txt можно – Здесь ! Только Внимание ! ! ! укажите свой адрес сайта вместо моего.

После того как вы скачаете файл, у вас будет два варианта:

  1. Загрузить файл в свою корневую директорию на хостинге. (в этом случае плагин можно не устанавливать)
  2. Скопировать содержание файла и вставить в специальное окно на странице настройки плагина DL Robots.txt

 

24-08-2015 15-53-57

 

На этом у меня всё, если у вас остались вопросы по данной статье, то обязательно напишите мне в Обратную связь, либо оставьте комментарий к данной записи. Я всем отвечу ! Кстати, а вы проверяли файл robots.txt в Яндекс вебмастер ?

Удачи вам и до новых встреч ! 

 

Добавить комментарий

Укажите свой Email, если хотите получить ответ на почту!

  1. Алексей

    Доброго времени суток. Илья , у меня такой вопрос: надо установить плагин robots. txt, а затем в него закачать файлы robots. txt. Или достаточно установить плагин robots.txt и настроить его.?

    Ответить
    1. Илья Журавлёв автор

      Привет, достаточно просто установить и настроить плагин.

      Ответить
  2. Алексей

    А что еще нужно обезательно устанавливать кроме robots.txt. Я не так давно создал блог. Потому практически не знаком с этим делом.

    Ответить
  3. Ольга

    Скачала плагин по вашему совету и настроила его, но вот удалить из корневой директории старый роботс не могу, т.к. потеряны доступы к фтп. Выходит, даже наличие плагина на WP не откроет сайт для индексации?

    Ответить
    1. Илья Журавлёв автор

      А как так ты не можешь попасть в свою корневую директорию ? Через FTP это не единственный путь, зайди через панель хостинга с помощью логина и пароля, которые должны были предоставить тебе при регистрации. Твой сайт в любом случае будет индексироваться, если в старом файле нет запрет локальных. Тогда тебе лучше установить вот этот плагин, он отображает имеющийся файл robots, то есть тебе нужно просто содержание поменять и всё ! И да же доступ к файлу не нужен !

      Ответить
  4. Ольга

    Да, действительно, после установки плагина в разделе Чтение появилась обновленная запись роботс. Только вот в вебмастере упорно загружается старый запрещенный файл. Возможно ли, что обновление происходит не так быстро?

    Ответить
    1. Илья Журавлёв автор

      А в каком Вебмастере смотришь, Яндекс или Google ? В Google может старый файл отображаться, там нужно перезагрузить файл на странице проверки. В Яндекс насколько я знаю файл автоматически обновляется.

      Ответить
  5. Ольга

    В Яндексе смотрю, периодически обновляю, все тоже самое(

    Ответить
    1. Илья Журавлёв автор

      Надо зайти в корневую директорию сайта ! Обратись в службу поддержки своего хостинга, тебе должны помочь !

      Ответить
  6. Григорий

    Приветствую!
    Нужно разобраться по-моему функция Allow уже не работает (читал на специализированном сайте по robots txt)

    Ответить
    1. Илья Журавлёв автор

      Привет, что это за “специализированный сайт” !? Ничего подобного ! Всё работает, как и по прежнему !

      Ответить
  7. Евгения

    Здравствуйте! Я добавила данный плагин, прописала свои данные, после сохранения данных файл выглядит не совсем так, как я хотела.

    Следующие строки я не прописывала, но они появляются автоматически. Как их удалить, подскажите, пожалуйста!
    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php

    # DL Robots.txt

    Ответить
    1. Илья Журавлёв автор

      Здравствуйте, вам лучше использовать плагин – Robots.txt File, он лучше.

      Ответить
  8. павел

    Всем привет! Вопрос касательно создания данного файла для интернет магазина, есть ли разница?

    Ответить
    1. Илья Журавлёв автор

      Привет, нет разницы, принцип тот же самый.

      Ответить
  9. seoonly.ru

    Спасибо! Помогло)) теперь на всех сайтах хоть нормальные файлы сделаю. УРА!

    Ответить
  10. Мария

    Добрый день, после установки плагина файл robots.txt, при проверке, выдает ошибку 404, что это может быть?

    Ответить
    1. Илья Журавлёв автор

      Здравствуйте. При проверке чего и где и как? Скриншот покажите.

      Ответить
      1. Мария

        При проверке robots.txt через яндекс, либо по ссылке в DL Robots.txt (просмотр вашего файла Robots.txt), все время выдает ошибка 404, это после установки и настройки плагина. Может мне надо попробовать непосредственно сам файл загрузить в корневую папку, без плагинов? поможет ли это. Спасибо за помощь

      2. Илья Журавлёв автор

        Возможно не правильно что-то настроили. Конечно лучше загрузить готовый файл в корень, не используя плагин. Просто для некоторых это не посильная задача. Покажите, что вы добавили в файл?

      3. Мария

        Да, насчет непосильной задачи это вы правы))) добавляла все по вашей инструкции. ну ладно, спасибо за помощь, попробую найти все-таки этот “корень” =)

      4. Илья Журавлёв автор

        На самом деле всё очень просто. Могу дать вам совет. Обратитесь в службу поддержки своего хостинга. Они обязаны вам подсказать, как попасть в корневую директорию сайта. Панели у хостеров разные, поэтому одной инструкции тут нет. Если у вас cPanel, как и у меня, вам нужно открыть данную панель. Затем, перейти: Диспетчер файлов – public_html – всё, вы попадёте в корень своего сайта. Здесь должен отображаться файл robots.txt. Вот ещё подсказка, в корне находятся файлы WordPress, типа wp-admin, wp-content, wp-includes.

  11. Мария

    Илья, спасибо большое, ваш совет помог, все получилось наконец-то=))

    Ответить
    1. Илья Журавлёв автор

      Для меня это пустяки. Рад помочь)

      Ответить