Можно ли обойтись без файла Robots.txt
Вам не нужен Файл Robots.txt. Обойтись без этого Файла можно, он не является критически важным для работы сайта. Если вам все равно будет ли доступен Ваш сайт в поисковой выдаче. Если Вам безразлично что любая информация с Вашего сайта может попасть в свободный поиск. Вам безразлично как будут видеть ваш сайт поисковые системы.Тогда Вам он совсем не пригодится. Мы с Вами не входим в это число. Современный сайт не может обойтись без размещения в корневой директории сайта текстового файла robots.txt. Его назначение в сообщении поисковым роботам специально предназначенных для них инструкций, именно этот файл ищут в первую очередь при заходе на сайт поисковые роботы…..
Для чего он нужен
- Запрета к индексации отдельных разделов, страниц сайта
- Указание пути к файлу SiteMap (карте сата)
- Указание на главное зеркало сайта
- Указать временные ограничения для обращения к сайту поисковыми роботами
Зачем может потребоваться скрывать содержимое сайта
Причин множество. Скрытие служебных разделов сайта, сайт продукт авторский, не зачем афишировать как, и на каком движке создан. Какие плагины используются. Кроме того, вы можете хранить множество служебной информации, данные регистраций, пароли. Совсем недавно в СМИ активно обсуждался скандал о индексации одним из поисковиков служебных данных Мегафона.
Структура и синтаксис файла роботс
Где же взять robots.txt и как его увидеть? Тут все зависит от того на чем создан Ваш сайт. Если у вас сайт создан на конструкторе сайтов например Nethouse, то вы находясь в облачной админке, просто в одном из пунктов меню можете редактировать и прописывать нужные инструкции. С сайтом расположенном на хостинге немного сложнее. Но лишь немного. Обычно файл не является предсозданным, т.е. развернув блог на вордпресс у вас не будет этого файла, и его нужно создать самостоятельно. Достаточно создать файл с названием robots в любом текстовом редакторе с расширением txt. Наполнить необходимыми инструкциями:Директива User-agent
- директива User-agent — вы можете выбрать робота конкретной поисковой системы или их всех.
- директивы Disallow и Allow — Запрещают или разрешают доступ робота к сайту, или только к нескольким его разделам.
- директива Sitemap — эта директива служит для обьявления ссылки на XML-файл или файлы карты сайта. Данная директива уведомляет поисковые роботы о наличии карты сайта в специальном формате XML Sitemaps.
- директива Host — задает основной домен Вашего сайта, и выделяет его для поискового робота среди нескольких Ваших зеркал сайта (если они есть).
- директива Crowl-delay — Задает минимальный период времени между началом загрузки одной страницы и переходом к загрузки следующей.
Более подробно о настройке этих параметров мы поговорим в статье по настройке файла robots.
Как проверить на ошибки
Разумно проверить созданный и загруженный на сайт файл на ошибки. Это можно осуществить в консоле Яндекс Вебмастерам и Google Search Console для Яндекса и Гугл соответственно. Предварительно будет необходимо подтвердить права на сайт, но это уже тема другой статьи.
Полезно знать
Яндекс безоговорочно исполняет инструкции размещенные вебмастером, а вот Гугл не всегда следует запретам указанным в файле, если на страницы запрещенные к индексации ведут ссылки со страниц сайта то данные страницы все равно могут быть проиндексированы. Следует регулярно работать с панелью для вебмастеров чтобы периодически проверять на попадание нежелательных страниц в индекс Google.
Если говорить о безопасности, старайтесь не прописывать в роботс лишней информации, если поисковые роботы могут получить доступ к ней, то и любой желающий может также проанализировать ваш файл. Нет смысла излишне афишировать структуру вашего сайта. Если на страницу не ведут ссылки, то найти их поисковые роботы не смогут и так.
Довольно не сложно разобраться в структуре файла robots, для начала вы можете воспользоваться базовым, например для движка Вордпресс, рекомендуется закрывать определенные служебные разделы.
Хорошая статья, никогда не задумывался что такое файл robots.txt и для чего вообще нужен. Теперь понял. Спасибо))
Проверь на своем сайте обязательно! Вроде на вид, конечно для проффесоналов это просто, но на начальном этапе важно не упустить этот момент