Правильный Robots.txt для WordPress в 2022 году. Несколько версий для различных потребностей: простая базовая и продвинутая — с разработкой для каждой поисковой системы.
Robots.txt — один из самых важных моментов в создании и оптимизации сайта для поисковых систем. Небольшой файл, содержащий правила индексирования для роботов поисковых систем.
Если файл неправильно настроен, сайт может быть неправильно проиндексирован и потерять большие куски трафика. Правильная конфигурация, напротив, может улучшить SEO и вывести ресурс в топ.
Сегодня мы поговорим о настройке файла Robots.txt для WordPress. Я покажу вам правильный вариант, который я сам использую в своих проектах.
Что такое Robots.txt
Как я уже говорил, robots.txt — это текстовый файл, содержащий правила для поисковых систем. Стандартный файл robots.txt для WordPress выглядит следующим образом.
Пользователь-агент: * Disallow: /wp-admin/ Разрешить: /wp-admin/admin-ajax.php
Вот как его создает плагин Yoast SEO. Некоторые считают, что этого достаточно для правильной индексации. С другой стороны, я считаю, что необходима более детальная проработка. А если речь идет о заказных проектах, то детализация нужна еще больше. Давайте рассмотрим основные директивы:
| Директива | Значение | Пояснение |
| Пользователь-агент: | Яндекс, Googlebot и т.д. | В этой директиве вы можете указать, к какому конкретному роботу вы обращаетесь. Обычно используются указанные мною значения. |
| Запретить: | Относительная связь | Запрещающая директива. Ссылки в этой директиве будут игнорироваться поисковыми системами. |
| Разрешить: | Относительная связь | Разрешить директиву. Ссылки, указанные с этой директивой, будут проиндексированы. |
| Карта сайта: | Абсолютная связь. | Здесь вы указываете ссылку на XML sitemap. Если вы не укажете эту директиву в файле, вам придется добавлять карту сайта вручную (через Яндекс.Вебмастер или Search Console). |
| Ползучая задержка: | Время в секундах (пример: 2.0 — 2 секунды). | Позволяет указать время между посещениями роботами поисковых систем. Необходим, если одни и те же роботы вызывают дополнительную нагрузку на ваш хостинг. |
| Clean-param: | Динамический параметр. | Если страница имеет параметры в виде site.ru/statia?uid=32, где ?uid=32 — это параметр, вы можете скрыть их с помощью этой директивы. |
В принципе, здесь нет ничего сложного. Позже в статье я дам дополнительные пояснения к директивам clean-param (открыть вкладку).
Подробнее о Clean-param
Параметры обычно используются на динамических веб-страницах. Они могут передавать ненужную информацию поисковым системам — создавать дубликаты. Чтобы избежать этого, необходимо включить в Robots.txt директиву clean-param, указывающую параметр и ссылку, к которой этот параметр применяется.
В нашем примере site.ru/statia?uid=32 — site.ru/statia — это ссылка, а все, что после вопросительного знака — это параметр. Здесь это uid=32. Это динамический параметр, что означает, что параметр uid может принимать различные значения.
Например, uid=33, uid=34… uid=123434. Теоретически их может быть любое количество, поэтому нам нужно заблокировать все параметры uid от индексации. Для этого директива должна выглядеть следующим образом:
Clean-param: uid /statia # все параметры uid для statia будут заблокированы
Подробнее о Robots.txt вы можете узнать в Яндекс.Справке. Или в этом видео:
Добавление и редактирование файла robots.txt — YouTubeloftblog381K ѕubsrībsrībsd Добавление и редактирование файла robots.txtНажмите, чтобы отключить звукЕсли воспроизведение не начнется в ближайшее время, попробуйте перезагрузить устройство.Вы вышли из системыПросмотренные вами видеоролики могут быть добавлены в вашу историю телепросмотров и повлиять на ваши рекомендации. Чтобы избежать этого, отмените и войдите в YouTube на своем компьютере.ОтменитьПодтвердитьПереключить камеруПоделитьсяВключить плейлистВо время получения информации о совместном доступе произошла ошибка. Пожалуйста, повторите попытку позже.Смотреть позжеПоделитьсяКопировать ссылкуСмотреть дальше0:000:000:00 / 17:42Прямой эфирПопробуйте посмотреть это видео по адресу www.youtube.com или включите JavaScript, если он отключен в вашем браузере.
Базовый Robots.txt для WordPress
Совсем недавно я приобрел плагин Clearfy Pro для своих проектов. В нем так много различных функций, и одна из них — создание идеального файла Robots.txt. Я не знаю, насколько это идеально, вебмастера не согласны.
Некоторые предпочитают создавать более короткие версии Robots, указывая правила для всех поисковых систем одновременно. Другие переписывают отдельные правила для каждой поисковой системы (в основном для Yandex и Google).
Какой из них правильный — точно сказать не могу. Однако я предлагаю вам ознакомиться с базовой версией Robots.txt для WordPress от Clearfy Pro. Я немного отредактировал его — указал директиву Sitemap. Удалена директива Host.
Пользователь-агент: * Disallow: /wp-admin Запретить: /wp-includes Disallow: /wp-content/plugins Запретить: /wp-content/cache Disallow: /wp-json/ Запретить: /xmlrpc.php Запретить: /readme.html Запретить: /*? Запретить: /?s= Разрешить: /wp-includes/*.css Разрешить: /wp-includes/*.js Разрешить: /wp-content/plugins/*.css Разрешить: /wp-content/plugins/*.js Разрешить: /*.js Sitemap: https://site.ru/sitemap.xml
Я не могу сказать, что это лучший вариант для VP-блогов. Но, по крайней мере, это лучше, чем то, что Yoast SEO предлагает нам по умолчанию.
Расширенный Robots.txt для WordPress
Теперь давайте рассмотрим расширенный Robots.txt для WordPress. Вы, наверное, знаете, что все WP-сайты имеют одинаковую структуру. Одинаковые имена папок, файлов и т.д. позволяют экспертам определить наиболее приемлемых Роботов.
В этой статье я хочу познакомить вас со своим вариантом Robots.txt. Я использую его как для собственных сайтов, так и для сайтов клиентов. Возможно, вы также видели эту опцию на других сайтах, поскольку она пользуется определенной популярностью.
Таким образом, правильный Robots.txt для WordPress выглядит следующим образом:
Пользователь-агент: * # Для всех поисковых систем, кроме Yandex и Google Запретить: /cgi-bin Запретить: /? Запретить: /wp- Disallow: *?s= Запретить: *&s= Disallow: /search/ Disallow: /author/ Disallow: /users/ Disallow: */trackback Запретить: */feed Disallow: */rss Запретить: */embed Disallow: /xmlrpc.php Запретить: *utm= Запретить: *openstat= Запретить: /tag/ # Закрыть теги Запретить: /readme.html # Закрыть бесполезный учебник по установке WordPress (расположенный в корне сайта) Disallow: *?replytocom Запретить: */uploads User-agent: GoogleBot # Для Google Disallow: /cgi-bin Запретить: /? Запретить: /wp- Disallow: *?s= Запретить: *&s= Disallow: /search/ Disallow: /author/ Disallow: /users/ Disallow: */trackback Запретить: */feed Disallow: */rss Запретить: */embed Disallow: /xmlrpc.php Запретить: *utm= Запретить: *openstat= Запретить: /tag/ # Закрыть теги Запретить: /readme.html Запретить: # replytocom Разрешить: */uploads Разрешить: /*/*.js Разрешить: /*/*.css Разрешить: /wp-*.png Разрешить: /wp-*.jpg Разрешить: /wp-*.jpeg Разрешить: /wp-admin/admin-ajax.php User-agent: Yandex # Для Yandex Disallow: /cgi-bin Запретить: /? Запретить: /wp- Disallow: *?s= Запретить: *&s= Disallow: /search/ Disallow: /author/ Disallow: /users/ Disallow: */trackback Запретить: */feed Disallow: */rss Запретить: */embed Disallow: /xmlrpc.php Запретить: /tag/ # Закрыть теги Запретить: /readme.html Запретить # replytocom Разрешить: */uploads Разрешить: /*/*.js Разрешить: /*/*.css Разрешить: /wp-*.png Разрешить: /wp-*.jpg Разрешить: /wp-*.jpeg Разрешить: /wp-*.gif Разрешить: /wp-admin/admin-ajax. php Clean-Param: utm_source&utm_medium&utm_campaign Clean-Param: openstat Sitemap: https://site.com/sitemap_index.xml # Карта сайта, измените site.com на правильный адрес.
Ранее директива Host использовалась в файле Robots.txt. Используется для указания первичного зеркала сайта. В настоящее время это делается с помощью перенаправления. Подробнее об этом можно прочитать в блоге Яндекса.
Комментарии (текст после #) могут быть удалены. Я указываю Sitemap с протоколом https, поскольку большинство сайтов сейчас используют защищенное соединение. Если у вас нет SSL, измените протокол на http.
Обратите внимание, что я закрываю теги. Я делаю это потому, что они создают много дубликатов. Это плохо для SEO, но если вы хотите открыть теги, то удалите строку disallow: /tag/ из файла.
Заключение
В целом, вот как выглядит правильный Robots.txt для WordPress. Не стесняйтесь копировать данные в файл и использовать их. Следует отметить, что этот вариант подходит только для стандартных новостных сайтов.
В других ситуациях может потребоваться корректировка. На этом пока все. Спасибо за внимание. Буду признателен за подписку на мой Telegram-канал и группу VK.
Видеодесерт: Фермер хотел найти воду, но то, что произошло, удивило весь мир Фермер хотел найти воду, но то, что произошло, поразило мир — YouTubeУдивительные факты3.31M spbsbsbsbsbsbsbsbsbsbd Фермер хотел найти воду, но то, что произошло, поразило мирНажмите, чтобы отключить звукЕсли воспроизведение не начинается, попробуйте перезагрузить устройство.Вы вышли из системыПросмотренные вами видеоролики могут быть добавлены в вашу историю телепросмотров и повлиять на ваши рекомендации. Чтобы избежать этого, отмените и войдите в YouTube на своем компьютере.ОтменаПодтверждениеПереключить камеруВключить плейлистВо время загрузки информации об общем доступе произошла ошибка. Пожалуйста, повторите попытку позже.Смотреть позжеПоделитьсяКопировать ссылкуСмотреть дальше0:000:000:00 / 4:25Прямой эфирПопробуйте посмотреть это видео по адресу www.youtube.com или включите JavaScript, если он отключен в вашем браузере.
