Скачать бесплатно готовый файл robots.txt для сайта на wordpress

Привет !

Я тут обновил свой файл robots.txt для wordpress, поэтому решил написать статью вдруг кому пригодится. Кстати старая версия моего robots.txt то же правильная, так что можете спокойно пользоваться. В нового робота я просто добавил ещё больше ограничений на индексацию некоторых файлов. Конечно файл robots.txt нужно создавать исключительно из предпочтений каждого сайта, но если у вас обычный блог на wordpress, то можно и не заморачиваться и загрузить такой же файл робота как у меня.

Поясню, что обозначается в файле, по строчкам, начиная с первой:

1 – Файл обращается ко всем поисковым роботам, без исключений.

2 – Разрешено индексировать папку image с изображениями.

3 – Разрешено индексировать jS Java скрипты.

4 – Запрет индексации раздела wp-includes

5 – Запрет индексации фида, чтобы не создавать дубли.

6 – Запрет индексации раздела wp-admin, роботам там нечего делать.

7 – Запрет индексации кэша, зачем индексировать копии файлов ?

8 – Запрет индексации загруженных тем, можно и не запрещать, если 1 тема.

9 – Запрет индексации загруженных плагинов, для тех у кого мноооога плагинов.

10 – Указываем ссылку на файл Sitemap.

11 – Указываем основной домен для сайта, чтобы робот не индексировал ваш сайт www.info-effect.ru, посмотрите как ваш сайт отображается в браузере, если без www, то ваш основной домен info-effect.ru его и нужно указать в файле робота.

12 – Разрешаем роботу Googelbot-Image индексировать папку uploads где находятся все изображения из ваших записей.

13 – Разрешаем роботу YandexImage индексировать папку uploads где находятся все изображения из ваших записей.

Кстати слэш / в конце названия раздела или файла означает, что запрет идёт на все файлы начинающиеся с /wp-admin/ то есть и /wp-admin/file1 и /wp-admin/file2. В общем конечно можно поэкспериментировать с файлом robots.txt для этого нужно проанализировать ваш корневой каталог. Например если у вас в файле image нет изображений, то и не зачем запрещать индексацию. В общем я думаю вы поняли, на самом деле здесь нет ничего сложного, просто разобраться надо и всё. Включайте мозги !

Скачать файл robots.txt

Друзья ! С вас нажатие на кнопку поделиться в одну из соцсетей ! :-)) Делитесь, чем больше вы отдаёте, тем больше получаете, делайте это с радостью, ведь вы делаете это для себя. Удачи вам и до новых встреч ! Вопросы оставляйте в комментариях.

(Внимание ! Не забудьте указать в файле свой адрес сайта)