Скачать бесплатно готовый файл robots.txt для сайта на wordpress

robots.txt

Привет !

Я тут обновил свой файл robots.txt для wordpress, поэтому решил написать статью вдруг кому пригодится. Кстати старая версия моего robots.txt то же правильная, так что можете спокойно пользоваться. В нового робота я просто добавил ещё больше ограничений на индексацию некоторых файлов. Конечно файл robots.txt нужно создавать исключительно из предпочтений каждого сайта, но если у вас обычный блог на wordpress, то можно и не заморачиваться и загрузить такой же файл робота как у меня.

 

12-11-2015 17-31-32_mini

 

Поясню, что обозначается в файле, по строчкам, начиная с первой:

 

1 – Файл обращается ко всем поисковым роботам, без исключений.

2 – Разрешено индексировать папку image с изображениями.

3 – Разрешено индексировать jS Java скрипты.

4 – Запрет индексации раздела wp-includes

5 – Запрет индексации фида, чтобы не создавать дубли.

6 – Запрет индексации раздела wp-admin, роботам там нечего делать.

7 – Запрет индексации кэша, зачем индексировать копии файлов ?

8 – Запрет индексации загруженных тем, можно и не запрещать, если 1 тема.

9 – Запрет индексации загруженных плагинов, для тех у кого мноооога плагинов.

10 – Указываем ссылку на файл Sitemap.

11 – Указываем основной домен для сайта, чтобы робот не индексировал ваш сайт www.info-effect.ru, посмотрите как ваш сайт отображается в браузере, если без www, то ваш основной домен info-effect.ru его и нужно указать в файле робота.

12 – Разрешаем роботу Googelbot-Image индексировать папку uploads где находятся все изображения из ваших записей.

13 – Разрешаем роботу YandexImage индексировать папку uploads где находятся все изображения из ваших записей.

 

Кстати слэш / в конце названия раздела или файла означает, что запрет идёт на все файлы начинающиеся с /wp-admin/ то есть и /wp-admin/file1 и /wp-admin/file2. В общем конечно можно поэкспериментировать с файлом robots.txt для этого нужно проанализировать ваш корневой каталог. Например если у вас в файле image нет изображений, то и не зачем запрещать индексацию. В общем я думаю вы поняли, на самом деле здесь нет ничего сложного, просто разобраться надо и всё. Включайте мозги !

 

Скачать файл robots.txt

 

Друзья ! С вас нажатие на кнопку поделиться в одну из соцсетей ! :-)) Делитесь, чем больше вы отдаёте, тем больше получаете, делайте это с радостью, ведь вы делаете это для себя. Удачи вам и до новых встреч ! Вопросы оставляйте в комментариях.

 

(Внимание ! Не забудьте указать в файле свой адрес сайта)

 

info-effect.ru
Добавить комментарий

Имя и Email указывать не обязательно. Чтобы получить ответ на свою электронную почту, укажите свой Email.

  1. Сергей

    Спасибо

    Ответить
  2. Светлана

    автор утверждает о том, что если открыть uploads для всех ботов, то в индексе появляются загруженные PDF и прочие текстовые файлы. А в яндекс вебмастере, в отчете “Исключенные страницы” появляются сообщения об ошибке при индексировании картинок, мол содержимое не поддерживается. Вот и не знаю кому верить…

    Ответить
    1. Admin автор

      Каким образом картинки связаны с PDF? Ошибки могут быть связаны не с контентом, а с сервером.

      Ответить
  3. Аноним

    Спасибо !

    Ответить
  4. Роман

    спасибо

    Ответить