Файл robots.txt

Файл robots.txt-правильная настройка.

файл robots.txt

Здравствуйте дорогие друзья!

В этой статье мы поговорим с вами что это такое файл robots.txt .
Прошу извинения, что долго не писал. У меня возникли проблемы. Нужно было менять права, вроде ни чего серьезного. Но это только на первый взгляд. Я живу в одном городе, а прописка в другом. И вот я столкнулся с такой ситуацией, что проходя комиссию, психиатра и невропатолога нужно проходить только по месту прописки.

Вот такие у нас законы. Хотя минздрав хвалится, что они теперь работают даже по интернету, а запрос сделать не могут. Зато если пойдешь в платную, то там ни какой прописки не требуют.
Поэтому мне пришлось поездить из одного города в другой за сотни километров.

Ну а теперь к нашей теме.

Файл robots.txt

Файл robots.txt, мы все это знаем, является одним из важных, при оптимизации хоть какого сайта.
WordPress robots.txt — файл который ограничивает доступ к содержимому
на вашем блоге.

Его отсутствие, может привести к большой нагрузке на сайт, со стороны поисковиков и медленной индексации и переиндексации. Ну а если к тому же он будет настроен неправильно,  сайт полностью может пропасть из поиска или он просто-напросто не будет проиндексирован.

Последующая и наверняка самая грубейшая ошибка, которую делает большая часть новичков.
Хотя не только лишь новички прокалываются на этом. Разговор пойдет о robots.txt.

Если мы сделаем запрос у Yandex либо Google, «как написать, либо как сделать robots.txt, то вы отыщите
несколько сот, а то и больше ответов на данный вопрос. Но если посмотреть на публикации, то вы увидите,что конкретного ответа нет и в большинстве случаев, Вас обучат тому, что нельзя делать.

Файл robots.txt, есть ли правильный ответ

Это не от того, что кто-то хочет Вам зла – просто на этот вопрос по сути никто не знает толком ответа . Не будем сейчас вдаваться в теорию –мой блог и материал главным образом предназначен новичкам, и я буду рассказывать понятным языком. Я тоже когда-то приобретал курсы, и обучался без помощи других создавать robots.txt, и как большая часть, повторил ошибки многих вебмастеров.

И так, давайте для начала вспомним, для чего нам нужен данный файл на нашем блоге. Если карту блога мы создаем для наших читателей, чтобы удобно было находить подходящий материал, а позже уже для поискового бота, то robots.txt как мы знаем предназначен только для роботов.

Он указывает боту куда входить, а куда не надо. То есть мы с вами закрываем то, что желаем утаить от бота. Но он гад непременно пойдет туда, куда мы его не желаем пускать.

И сделает свое темное дело – вознаградит нас разными «неожиданностями». Так может лучше не мешать ему? Пусть прогуливается всюду, а необходимое от индексации можно будет закрыть другими методами. А сейчас давайте поближе к делу. Зайдите при помощи FileZilla в корневую папку собственного блога и скачайте файл robots.txt.

Создаем правильный файл robots.txt

Если его у вас еще нет, то создайте его в блокноте.
Давайте правильно настроим файл robots.txt. Смотрим как он должен выглядеть.

файл robots.txt

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*? Disallow: /*?*
Disallow: /tag
Host: site.ru
Sitemap: https://site.ru/sitemap.xml

где site.ru ваш сайт

[свернуть]

 

Ожидайте переиндексации и Вы получите сдвиги в наилучшую сторону. Многие со мной могут не согласиться.
Но это дело уже каждого конкретного человека. И кстати,проверить в этом случае файл robots.txt
можно пройдя по ссылке https://ваш сайт/файл robots.txt.

 

Конкурс.

Условия конкурса читать в разделе Конкурсы.

 

⇒>> Начать разгадывать <<⇐

 

кроссворд 6

 

 

⇒>> Прислать ответ <<⇐

 

Ответы присылать с пометкой кроссворд.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Мой магазин
Это Ваш Хостинг!

Хостинг ХостиЯ

Мой канал

Хотите иметь свой магазин и партнерскую программу?

СКАЧАТЬ БЕСПЛАТНО