Правильный robots txt для сайта

Где файл robots.txt сайта? 

Правильный robots txt для сайта с чего начать? Первым делом расскажем Вам о том, robots txt где находится: где robots txt сайта на различных платформах, в том числе и где robots txt wordpress. Безусловно, Вы легко сможете его найти в корне Вашего сайта. Во-первых, для того, чтобы в него зайти, вы должны зайти в личный кабинет своего хостинга. Во-вторых, соответственно в управление хостингом. В-третьих, в файловом менеджере найти свой сайт и открыть папку “docs” и, далее, в корне найти файл robots.txt сайта. Если же его по каким-то причинам нет, то создать robots txt можно либо в текстовом редакторе на рабочем столе и добавить robots txt в корневую папку, либо создать robots txt файл сайта с названием robots и расширением txt прямо на хостинге.

Правильный robots txt для сайта
Правильный robots txt для сайта

Для чего нужен robots.txt? Как использовать robots txt?

Документ необходим для скрытия от индексации определенных разделов и страниц сайта, которые нужно исключить из обхода и результатов выдачи. А также страниц административной панели, технических страниц, страниц пагинации и других ненужных для продвижения файлов.
Безусловно, всех интересует вопрос как прописать robots txt? 

Правильный robots txt для сайта:

создание robots txt – основная терминология:

  • User-agent — агент пользователя, для которого указаны правила доступа,
  • Disallow — запрещает доступ к URL,
  • Allow — разрешает доступ к URL,
  • Sitemap — указывает путь к карте сайта

Индексация сайта robots txt

Индексация robots txt: необходимо запрещать доступ к:

· файлам админки;
· данным личных кабинетов, формам регистрации и авторизации;
· корзине, формам заказа, данным о доставке;
· файлам .ajax и .json;
· документам папки cgi;
· поисковому функционалу;
· служебным страницам;
· плагинам;
· UTM-меткам;
· дублирующим разделам и страницам.

Проверка Robots.txt для сайта реализуется в сервисе Яндекс.Вебмастер по ссылке: https://webmaster.yandex.ru/tools/robotstxt/

Это очень хороший сервис, потому что после размещения необходимо обязательно проверить robots txt. Безусловно, настроить файл robots txt правильно, если обнаруживаются ошибки их нужно исправить. Более того, Вебмастер очень удобно и подробно указывает: в какой строчке ошибка и подсказывает как нужно исправить данный недочет.

Правильный robots txt для WordPress

Содержание файла – популярный вариант, закрытие для индексации основных ненужных для индексации страниц. Robots txt disallow – означает команду закрыть от индексации в robots txt технические разделы и другой контент для внутреннего использования.

Как настроить Robots txt? Пример robot txt для Яндекса и Google:

User-agent: Yandex
Disallow: /?
Disallow: *utm=
Disallow: *openstat=
Disallow: /*amp

User-agent: Googlebot
Allow: /*amp

User-agent: *
Allow: /
Disallow: /?
Disallow: *utm=
Disallow: *openstat=
Allow: /wp-content/uploads/
Disallow: /login
Disallow: /admin
Disallow: /administrator
Disallow: /wp-login.php
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /readme.html
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /trackback/
Disallow: */trackback/
Disallow: */.js
Disallow: /feed/
Disallow: */feed/
Disallow: /?feed=
Disallow: /*page/
Disallow: /?s=
Disallow: *session_id=
Disallow: PHPSESSID= Disallow: /search Disallow: /print
Host: https://abc.ru/
Sitemap: https://abc.ru/sitemap.xml

Директивы robots txt:

Директива Что делает
User-agent * Указывает на робота, для которого действуют перечисленные в robots.txt правила.
Disallow Robots txt запретить индексацию разделов или закрыть страницу в robots txt.
Sitemap Указывает путь к файлу Sitemap, который размещен на сайте.
Clean-param Указывает роботу, что URL страницы содержит параметры (например, UTM-метки), которые не нужно учитывать при индексировании.
Allow Настройка файла robots txt: разрешает индексирование разделов или отдельных страниц сайта.
Crawl-delay

Задает роботу минимальный период времени (в секундах) между окончанием загрузки одной страницы и началом загрузки следующей.

Рекомендуем вместо директивы использовать настройку скорости обхода в Яндекс.Вебмастере.

Не получается сделать самостоятельно? Поможем!
Стоимость создания и размещения файла и настройка Robots.txt в Reklamnoe-agency.ru – 800 рублей.

SEO

s
Prev Next

Добавить комментарий