Привет !
Я тут обновил свой файл robots.txt для wordpress, поэтому решил написать статью вдруг кому пригодится. Кстати старая версия моего robots.txt то же правильная, так что можете спокойно пользоваться. В нового робота я просто добавил ещё больше ограничений на индексацию некоторых файлов. Конечно файл robots.txt нужно создавать исключительно из предпочтений каждого сайта, но если у вас обычный блог на wordpress, то можно и не заморачиваться и загрузить такой же файл робота как у меня.
Поясню, что обозначается в файле, по строчкам, начиная с первой:
1 — Файл обращается ко всем поисковым роботам, без исключений.
2 — Разрешено индексировать папку image с изображениями.
3 — Разрешено индексировать jS Java скрипты.
4 — Запрет индексации раздела wp-includes
5 — Запрет индексации фида, чтобы не создавать дубли.
6 — Запрет индексации раздела wp-admin, роботам там нечего делать.
7 — Запрет индексации кэша, зачем индексировать копии файлов ?
8 — Запрет индексации загруженных тем, можно и не запрещать, если 1 тема.
9 — Запрет индексации загруженных плагинов, для тех у кого мноооога плагинов.
10 — Указываем ссылку на файл Sitemap.
11 — Указываем основной домен для сайта, чтобы робот не индексировал ваш сайт www.info-effect.ru, посмотрите как ваш сайт отображается в браузере, если без www, то ваш основной домен info-effect.ru его и нужно указать в файле робота.
12 — Разрешаем роботу Googelbot-Image индексировать папку uploads где находятся все изображения из ваших записей.
13 — Разрешаем роботу YandexImage индексировать папку uploads где находятся все изображения из ваших записей.
Кстати слэш / в конце названия раздела или файла означает, что запрет идёт на все файлы начинающиеся с /wp-admin/ то есть и /wp-admin/file1 и /wp-admin/file2. В общем конечно можно поэкспериментировать с файлом robots.txt для этого нужно проанализировать ваш корневой каталог. Например если у вас в файле image нет изображений, то и не зачем запрещать индексацию. В общем я думаю вы поняли, на самом деле здесь нет ничего сложного, просто разобраться надо и всё. Включайте мозги !
Скачать файл robots.txt
Друзья ! С вас нажатие на кнопку поделиться в одну из соцсетей ! :-)) Делитесь, чем больше вы отдаёте, тем больше получаете, делайте это с радостью, ведь вы делаете это для себя. Удачи вам и до новых встреч ! Вопросы оставляйте в комментариях.
(Внимание ! Не забудьте указать в файле свой адрес сайта)
