Правильный robots txt
для сайта

Позвонить
Написать нам

# Где файл robots.txt сайта?

Правильный robots txt для сайта с чего начать? Первым делом расскажем Вам о том, robots txt где находится: где robots txt сайта на различных платформах, в том числе и где robots txt wordpress. Безусловно, Вы легко сможете его найти в корне Вашего сайта.
  • Во-первых, для того, чтобы в него зайти, вы должны зайти в личный кабинет своего хостинга.
  • Во-вторых, соответственно в управление хостингом.
  • В-третьих, в файловом менеджере найти свой сайт и открыть папку "docs" и, далее, в корне найти файл robots.txt сайта.
  • Если же его по каким-то причинам нет, то создать robots txt можно либо в текстовом редакторе на рабочем столе и добавить robots txt в корневую папку, либо создать robots txt файл сайта с названием robots и расширением txt прямо на хостинге.

Правильный robots txt для сайта:

создание robots txt - основная терминология:
  • User-agent — агент пользователя, для которого указаны правила доступа,
  • Disallow — запрещает доступ к URL,
  • Allow — разрешает доступ к URL,
  • Sitemap — указывает путь к карте сайта
# Для чего нужен robots.txt?
# Как использовать robots txt?
Документ необходим для скрытия от индексации определенных разделов и страниц сайта, которые нужно исключить из обхода и результатов выдачи. А также страниц административной панели, технических страниц, страниц пагинации и других ненужных для продвижения файлов.
Безусловно, всех интересует вопрос как прописать robots txt?

Индексация сайта robots txt

Индексация robots txt: необходимо запрещать доступ к:
· файлам админки;
· данным личных кабинетов, формам регистрации и авторизации;
· корзине, формам заказа, данным о доставке;
· файлам .ajax и .json;
· документам папки cgi;
· поисковому функционалу;
· служебным страницам;
· плагинам;
· UTM-меткам;
· дублирующим разделам и страницам.

Проверка Robots.txt для сайта реализуется в сервисе Яндекс.Вебмастер по ссылке: https://webmaster.yandex.ru/tools/robotstxt/ Это очень хороший сервис, потому что после размещения необходимо обязательно проверить robots txt. Безусловно, настроить файл robots txt правильно, если обнаруживаются ошибки их нужно исправить. Более того, Вебмастер очень удобно и подробно указывает: в какой строчке ошибка и подсказывает как нужно исправить данный недочет.
# Правильный robots txt для Wordpress
Содержание файла - популярный вариант, закрытие для индексации основных ненужных для индексации страниц. Robots txt disallow - означает команду закрыть от индексации в robots txt технические разделы и другой контент для внутреннего использования.

Как настроить Robots txt? Пример robot txt для Яндекса и Google:

User-agent: Yandex
Disallow: /?
Disallow: *utm=
Disallow: *openstat=
Disallow: /*amp
User-agent: Googlebot
Allow: /*amp
User-agent: *
Allow: /
Disallow: /?
Disallow: *utm=
Disallow: *openstat=
Allow: /wp-content/uploads/
Disallow: /login
Disallow: /admin
Disallow: /administrator
Disallow: /wp-login.php
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /readme.html
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /trackback/
Disallow: */trackback/
Disallow: */.js
Disallow: /feed/
Disallow: */feed/
Disallow: /?feed=
Disallow: /*page/
Disallow: /?s=
Disallow: *session_id=
Disallow: PHPSESSID= Disallow: /search Disallow: /print
Host: https://abc.ru/
Sitemap: https://abc.ru/sitemap.xml

Директивы robots txt:

Директива Что делает
User-agent * Указывает на робота, для которого действуют перечисленные в robots.txt правила.
Disallow Robots txt запретить индексацию разделов или закрыть страницу в robots txt.
Sitemap Указывает путь к файлу Sitemap, который размещен на сайте.
Clean-param Указывает роботу, что URL страницы содержит параметры (например, UTM-метки), которые не нужно учитывать при индексировании.
Allow Настройка файла robots txt: разрешает индексирование разделов или отдельных страниц сайта.
Crawl-delay

Задает роботу минимальный период времени (в секундах) между окончанием загрузки одной страницы и началом загрузки следующей.

Рекомендуем вместо директивы использовать настройку скорости обхода в Яндекс.Вебмастере.
Не получается сделать самостоятельно? Поможем!
Стоимость создания и размещения файла и настройка Robots.txt в Create-reklama.ru - 1 000 рублей.
Made on
Tilda