Здравствуйте !
Сегодня я покажу вам и расскажу как пользоваться файлом robots.txt. Что это такое ? файл robots.txt позволит вам скрывать от индексации некоторые разделы или отдельные страницы вашего сайта, чтобы они не попадали в поиск Google и Yandex. Для чего это нужно ? поисковые системы индексируют всё содержимое вашего сайта без разбора, поэтому если вы хотите скрыть какую-либо конфиденциальную информацию,
например личные данные ваших пользователей, переписка, счета и т.д., то вам нужно будет самостоятельно добавить адреса страниц с данными в файл robots.txt. Что ещё можно сделать с помощью файла robots.txt ? если у вашего сайта есть зеркала, то в их файлах robots.txt можно указать на главный сайт, чтобы индексировался только он.
Видео о файле robots.txt
Настраивать файл robots.txt мы будем с помощью плагина – DL Robots.txt. Установить данный плагин вы сможете прямо из своей админ-панели wordpress. Перейдите по вкладке: Плагины – Добавить новый, введите название плагина в форму поиска, нажмите Enter, установите и активируйте открывшийся плагин.
Чтобы попасть на страницу настроек плагина, перейдите по вкладке: DL Robots.txt. Данная вкладка появится у вас в меню админ-панели wordpress, после того как вы установите и активируете плагин.
На странице настройки файла robots.txt, вы можете прочитать и посмотреть видео о том, что такое файл robots.txt. Так же здесь можно проверить файл, нажав на вкладку – Robots.txt, если файл откроется в браузере значит всё нормально.
Если на вашем сайте нет файла robots.txt, значит сейчас мы добавим его в специальное окно, которое находится на странице настроек плагина. Итак, конечно же создавать файл robots.txt необходимо исходя из предпочтений каждого отдельного сайта, но я вам предложу готовый вид файла, который подойдёт любому сайту на wordpress. В случае чего вы сможете с лёгкостью добавить в файл свои дополнения.
Вот как выглядит файл robots.txt для моего сайта.
Сейчас я объясню вам, что всё это значит.
В общем, если не вдаваться в подробности, то я запретил поисковикам индексировать: темы и плагины wordpress, кэш сайта, то есть дубликаты страниц, feed – это rss лента с записями. Теперь объясню зачем это делать, этим самым мы облегчаем работу поискового робота, чтобы он не индексировал лишний груз сайта, темы, плагины, кэш, фид, всё это можно не индексировать, в поиске вся эта информация просто не нужна.
Так же в файле указано – разрешить поисковикам индексировать все загруженные медиафайлы на вашем сайте. Такой файл robots.txt подойдёт любому сайту на wordpress.
Смотрите, к примеру вы хотите не индексировать ещё какую-либо отдельную страницу или запись на вашем сайте, тогда файл будет выглядеть следующим образом:
Поняли да, то есть добавляете только название страницы из её ссылки и впереди ставите флэш /, а для записи, название записи.html и впереди флэш /.
Итак, скачать готовый файл robots.txt можно – Здесь ! Только Внимание ! ! ! укажите свой адрес сайта вместо моего.
После того как вы скачаете файл, у вас будет два варианта:
- Загрузить файл в свою корневую директорию на хостинге. (в этом случае плагин можно не устанавливать)
- Скопировать содержание файла и вставить в специальное окно на странице настройки плагина DL Robots.txt
На этом у меня всё, если у вас остались вопросы по данной статье, то обязательно напишите мне в Обратную связь, либо оставьте комментарий к данной записи. Я всем отвечу ! Кстати, а вы проверяли файл robots.txt в Яндекс вебмастер ?
Удачи вам и до новых встреч ! 
Доброго времени суток. Илья , у меня такой вопрос: надо установить плагин robots. txt, а затем в него закачать файлы robots. txt. Или достаточно установить плагин robots.txt и настроить его.?
Привет, достаточно просто установить и настроить плагин.
А что еще нужно обезательно устанавливать кроме robots.txt. Я не так давно создал блог. Потому практически не знаком с этим делом.
Скачала плагин по вашему совету и настроила его, но вот удалить из корневой директории старый роботс не могу, т.к. потеряны доступы к фтп. Выходит, даже наличие плагина на WP не откроет сайт для индексации?
А как так ты не можешь попасть в свою корневую директорию ? Через FTP это не единственный путь, зайди через панель хостинга с помощью логина и пароля, которые должны были предоставить тебе при регистрации. Твой сайт в любом случае будет индексироваться, если в старом файле нет запрет локальных. Тогда тебе лучше установить вот этот плагин, он отображает имеющийся файл robots, то есть тебе нужно просто содержание поменять и всё ! И да же доступ к файлу не нужен !
Да, действительно, после установки плагина в разделе Чтение появилась обновленная запись роботс. Только вот в вебмастере упорно загружается старый запрещенный файл. Возможно ли, что обновление происходит не так быстро?
А в каком Вебмастере смотришь, Яндекс или Google ? В Google может старый файл отображаться, там нужно перезагрузить файл на странице проверки. В Яндекс насколько я знаю файл автоматически обновляется.
В Яндексе смотрю, периодически обновляю, все тоже самое(
Надо зайти в корневую директорию сайта ! Обратись в службу поддержки своего хостинга, тебе должны помочь !
Приветствую!
Нужно разобраться по-моему функция Allow уже не работает (читал на специализированном сайте по robots txt)
Привет, что это за “специализированный сайт” !? Ничего подобного ! Всё работает, как и по прежнему !
Здравствуйте! Я добавила данный плагин, прописала свои данные, после сохранения данных файл выглядит не совсем так, как я хотела.
Следующие строки я не прописывала, но они появляются автоматически. Как их удалить, подскажите, пожалуйста!
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
# DL Robots.txt
Здравствуйте, вам лучше использовать плагин – Robots.txt File, он лучше.
Всем привет! Вопрос касательно создания данного файла для интернет магазина, есть ли разница?
Привет, нет разницы, принцип тот же самый.
Спасибо! Помогло)) теперь на всех сайтах хоть нормальные файлы сделаю. УРА!
Добрый день, после установки плагина файл robots.txt, при проверке, выдает ошибку 404, что это может быть?
Здравствуйте. При проверке чего и где и как? Скриншот покажите.
При проверке robots.txt через яндекс, либо по ссылке в DL Robots.txt (просмотр вашего файла Robots.txt), все время выдает ошибка 404, это после установки и настройки плагина. Может мне надо попробовать непосредственно сам файл загрузить в корневую папку, без плагинов? поможет ли это. Спасибо за помощь
Возможно не правильно что-то настроили. Конечно лучше загрузить готовый файл в корень, не используя плагин. Просто для некоторых это не посильная задача. Покажите, что вы добавили в файл?
Да, насчет непосильной задачи это вы правы))) добавляла все по вашей инструкции. ну ладно, спасибо за помощь, попробую найти все-таки этот “корень” =)
На самом деле всё очень просто. Могу дать вам совет. Обратитесь в службу поддержки своего хостинга. Они обязаны вам подсказать, как попасть в корневую директорию сайта. Панели у хостеров разные, поэтому одной инструкции тут нет. Если у вас cPanel, как и у меня, вам нужно открыть данную панель. Затем, перейти: Диспетчер файлов – public_html – всё, вы попадёте в корень своего сайта. Здесь должен отображаться файл robots.txt. Вот ещё подсказка, в корне находятся файлы WordPress, типа wp-admin, wp-content, wp-includes.
Кстати, ещё, вот здесь вы можете посмотреть самую актуальную и правильную версию файла robots.txt
Илья, спасибо большое, ваш совет помог, все получилось наконец-то=))
Для меня это пустяки. Рад помочь)