Файл robots.txt

Файл robots.txt-правильная настройка.

Здравствуйте дорогие друзья!

В этой статье мы поговорим с вами что это такое файл robots.txt .
Прошу извинения, что долго не писал. Но у меня возникли не большие проблемы. Мне нужно было менять права, вроде бы ни чего серьезного. Но это только, на первый взгляд. А дело в том, что я живу в одном городе, а прописка в другом. И вот я столкнулся с такой ситуацией. Что проходя комиссию, психиатра и невропатолога нужно проходить только по месту прописки.

Вот такие у нас законы. Но хотя минздрав и хвалится, что они теперь работают даже по интернету. А элементарный запрос сделать не могут. Зато если пойдешь в платную, то там ни какой прописки не требуют.
Поэтому мне пришлось поездить из одного города в другой за сотни километров.

Ну а теперь к нашей теме.

Файл robots.txt

Robots.txt, как мы все это знаем, является одним из важных, при оптимизации хоть какого сайта.
WordPress robots.txt это файл который ограничивает доступ к содержимому
на вашем блоге.

Его отсутствие, может привести к большой нагрузке на сайт, со стороны поисковиков и медленной индексации и переиндексации. Ну а если к тому же он будет настроен неправильно,  тогда сайт полностью может пропасть из поиска. Он просто-напросто не будет проиндексирован. Кстати как Создать бесплатно сайт на WordPress можете прочитать в моей статье.

Последующая и наверняка самая грубейшая ошибка, которую делает большая часть новичков.
Хотя не только лишь новички прокалываются на этом. Разговор пойдет о robots.txt.

Читайте также  Как создать сайт у себя на компьютере

Если мы сделаем запрос у Yandex либо Google, «как написать, либо как сделать robots.txt, то вы отыщите
несколько сот, а то и больше ответов на данный вопрос. Но если посмотреть на публикации, то вы увидите, что конкретного ответа нет. И в большинстве случаев, Вас обучат тому, что нельзя делать.

 Robots.txt, есть ли правильный ответ

Это не от того, что кто-то хочет Вам зла – просто на этот вопрос по сути никто не знает толком ответа . Не будем сейчас вдаваться в теорию – мой блог и материал главным образом предназначен новичкам, и я буду рассказывать понятным языком. Я иногда тоже когда-то приобретал курсы, и обучался без помощи других создавать robots.txt, и как большая часть, повторил ошибки многих вебмастеров.

И так, давайте для начала вспомним, для чего нам нужен данный файл на нашем блоге. Если карту блога мы создаем для наших читателей. Чтобы им удобно было находить подходящий материал. А потом уже для поискового бота. То файл robots.txt как мы знаем, предназначен только для роботов.

Он указывает боту куда входить, а куда не надо. То есть, мы с вами закрываем то, что желаем утаить от бота. Но он гад непременно пойдет туда, куда мы его не желаем пускать.

И сделает свое темное дело – вознаградит нас разными «неожиданностями». Так может лучше не мешать ему? Пусть прогуливается всюду, а необходимое от индексации можно будет закрыть другими методами. А сейчас давайте поближе к делу. И так, заходим при помощи FileZilla в корневую папку собственного блога и скачиваем  robots.txt.

Создаем правильный файл robots.txt

Если его у вас еще нет, тогда создайте его в текстовом блокноте.
Давайте правильно настроим данный robots.txt. Смотрим как он должен выглядеть.

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*? Disallow: /*?*
Disallow: /tag
Host: site.ru
Sitemap:https://ваш домен/sitemap.xml

где site.ru ваш сайт

[свернуть]

 

Ожидайте переиндексации и Вы получите сдвиги в наилучшую сторону. Многие со мной могут не согласиться.
Но это дело уже каждого конкретного человека. Да  кстати, проверить в этом случае файл robots,
можно пройдя по ссылке https://ваш сайт/robots.txt. На этом все. До скорой встречи.

Пока, пока.

 

Конкурс.

Условия конкурса читать в разделе Конкурсы.

 

⇒>> Начать разгадывать <<⇐

 

кроссворд 6

 

 

⇒>> Прислать ответ <<⇐

 

Ответы присылать с пометкой кроссворд.

ПОДЕЛИТЬСЯ С ДРУЗЬЯМИ:

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Top Rambler's Top100