Robots.txt для сайта WordPress — рекомендации поисковым системам

robots-txt-wordpressВсем доброго дня, Друзья. Составление правильного robots.txt для сайта на WordPress — головная боль для любого новичка-сайтостроителя. Получив начальные знания о том, что это за файл, для чего служит и на что влияет, каждый начинающий вебмастер стремится создать или скачать готовый robots.txt.

По мере наполнения «правильными» вариантами страниц блокнота или текстовых документов на компьютере, зуд усиливается. Конечно, создать такой файл, чтоб был идеальный — это великое желание, но и сложнейшая задача. Создание правильного robots.txt для WordPress — по сути невыполнимое задание. Можно подогнать желаемый результат к оптимальному значению и не более. Все по тому, что в данном, безусловно важном файле, находятся только рекомендации для поисковых систем.

Зашедшие к вам на сайт поисковые роботы непременно посмотрят на параметры файла. Оценят. Но все же примут ли они рекомендации к исполнению — это уже зависит от них.

Могу заверить, что более «законопослушный гражданин» — это поисковая система Яндекс. Google же наоборот стремиться просунуть свой цифровой нос туда, куда ему дорога, казалось бы, прикрывается значениями в robots.txt. Это следует учитывать при нервотрепке самостоятельного создания файла.

Желание скачать правильный robots.txt (на что надеются всегда новички), то и здесь не все так гладко. Предлагаемые в интернете варианты готовых файлов, не спорю, работоспособны. Грамотно составлены. Но и они лишь усредненные и их использование обосновано лишь на части ресурсов. Почему? Потому что в них заложены функции только для стандартного состава сайта.

Плюс ко всему сказанному выше стоит добавить, что думы, будто закрывая в robots файлы сайта от индексации таким методом следует ожидать положительных результатов могут не стать таковыми.

Так какой же будет правильный robots.txt?

Мучаясь в свое время над поиском и составлением правильного robots.txt сейчас могу с уверенностью сказать, что стандартный и правильный вариант должен быть кратким. При этом не менее эффективным.

User-Agent: *
Allow: /wp-content/uploads
User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-feed
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes

Host: Ваш_сайт
Sitemap: http://Ваш_сайт/sitemap.xml

Загромождать файл лишними директориями смысла нет. Есть варианты, когда для индексации используют все открывающий файл.

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes

Host: https://ваш_сайт  
Sitemap: https://ваш_сайт/sitemap.xml

И, по словам авторов, годами сайты прекрасно себя чувствуют. И я им верю. На одном из своих ресурсов я уже имел возможность эксперимента заменить «сложный» robots на более простой. Результат был очевидный. Отрицательных показателей я не заметил. Сайт продолжал нормально индексироваться. От чего могу сказать, что улучшить сайт для поисковых систем путем составления премудрого robots.txt — это чушь. Для продвижения веб ресурса в поисковой выдаче файл не играет роли.

Цель составления файла robots.txt — попытка закрыть от индексации того, что не должно попасть в индекс поисковых систем. Усложнять и приписывать файлу роль чудодейственного эликсира смысла нет.

В своем роботс я сделал такую попытку, при этом открыл доступ к медийным файлам. Почему бы не получить дополнительный трафик от выложенных на сайте картинок?

Закрывая доступ поисковым роботам к административной части сайта строкой

Disallow: /wp-admin

Надеяться на точное выполнение заявки тоже не предвидится. Для того, чтоб злоумышленники не добрались до админки — ее стоит защищать другими методами. О чем убедительно рассказывает Devaka в своей статье «Советы по корректному использованию файла robots.txt».

Конечно, разумно сравнить наличие безупречного роботс и периодически обновляющейся базы резервных копий сайта. Но не слишком ли много сил и времени уделяем поиску лучшего варианта?

А что вы думаете по данному вопросу? Какой информацией пользовались при создании своего файла robots.txt?

До встреч, Друзья. С уважением, Олег

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *