Правильный robots.txt

На каждом сайте должен присутствовать файл robots.txt. Это набор инструкций для поисковых роботов, которые сканируют интернет-площадки. Чем больше страниц просканировано таким ботом, тем сильнее увеличивается вероятность того, что сайт будет показываться в поисковой выдаче.

грамотный robots.txt

Файл robots.txt создается в текстовом редакторе, а затем загружается в корневую папку сайта. Она же называется файловым менеджером. В файле robots.txt прописываются определенные команды, понятные только поисковым роботам и тем, кто знаком с сайтостроительством и раскруткой веб-площадок.

Посмотреть, как выглядит этот файл на любом интернет-ресурсе можно, набрав в браузерной строке http://имясайта/robots.txt. Если в файле robots.txt размещены следующие две строки, значит, сайт запрещен к индексации роботами:
User-agent: *
Disallow: /

Такое часто встречается на сайтах uCoz, которым меньше месяца. Разработчики uCoz дают возможность создателю интернет-страницы наполнить ее контентом в течение месяца, чтобы потом поисковые роботы могли сканировать полноценные страницы.

QR-код Unisender
Современный сервис доставки Viber-сообщений, email и СМС, выделяющийся революционной капельной автоматизацией и гибкими тарифами.

Правильный файл robots.txt, открытый для сканирования, имеет длинный список команд:
User-agent: *
Allow: /wp-content/uploads
Disallow: /download
Disallow: /wp-admin
Disallow: /wp-content
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /wp-includes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /topic
Disallow: /tag
Disallow: /archive
Disallow: /page
Disallow: /attachment
Disallow: */comments
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: /feed
Disallow: /?feed=
Disallow: /?s=
Disallow: /*utm_
Disallow: */comment-page-*
Disallow: *?replytocom
Clean-param: utm_source
Host: названиесайта.ru
User-agent: MediaPartners-Google
Allow: /
Sitemap: http://названиесайта/sitemap.xml

Как должен выглядеть файл robots.txt для сайта, зависит от той CMS, на которой он работает. Приведенный на этой странице список команд — это лучший robots.txt для веб-ресурса на «Вордпресс».

Copyright © omirs.com

Написать сообщение

Если возникло желание выразить материальную благодарность за полученные на этом сайте информацию, ответы, советы, рекомендации, бесплатную консультацию, можно это сделать, проследовав по этой ссылке. Средства идут на развитие сайта.

Хотели бы вы дополнить список команд этого robots.txt?

Ваш email не будет опубликован
Обязательные поля помечены *
Комментарий публикуется после модерации
Добавьте эту страницу в закладки, чтобы позже прочитать ответы на свои комментарии

Мне знакомы правила поведения на сайте. Отправляя комментарий, я принимаю пользовательское соглашение и подтверждаю ознакомление и согласие с политикой конфиденциальности данного сайта. Проставляя галочку в чекбоксе, я подтверждаю, что понимаю содержание данных документов.