Файл robots.txt

файл robots.txt

Файл robots.txt-правильная настройка.

Здравствуйте дорогие друзья!

В этой статье мы поговорим с вами что это такое файл robots.txt .
Прошу извинения, что долго не писал. У меня возникли проблемы. Нужно было менять права, вроде ни чего серьезного. Но это только, на первый взгляд. Я живу в одном городе, а прописка в другом. И вот я столкнулся с такой ситуацией. Что проходя комиссию, психиатра и невропатолога нужно проходить только по месту прописки.

Вот такие у нас законы. Хотя минздрав хвалится, что они теперь работают даже по интернету. А элементарный запрос сделать не могут. Зато если пойдешь в платную, то там ни какой прописки не требуют.
Поэтому мне пришлось поездить из одного города в другой за сотни километров.

Ну а теперь к нашей теме.

Файл robots.txt

Robots.txt, мы все это знаем, является одним из важных, при оптимизации хоть какого сайта.
WordPress robots.txt — файл который ограничивает доступ к содержимому
на вашем блоге.

Его отсутствие, может привести к большой нагрузке на сайт, со стороны поисковиков и медленной индексации и переиндексации. Ну а если к тому же он будет настроен неправильно,  сайт полностью может пропасть из поиска. Он просто-напросто не будет проиндексирован. Кстати как Создать бесплатно сайт на WordPress можете прочитать в моей статье.

Последующая и наверняка самая грубейшая ошибка, которую делает большая часть новичков.
Хотя не только лишь новички прокалываются на этом. Разговор пойдет о robots.txt.

Если мы сделаем запрос у Yandex либо Google, «как написать, либо как сделать robots.txt, то вы отыщите
несколько сот, а то и больше ответов на данный вопрос. Но если посмотреть на публикации, то вы увидите, что конкретного ответа нет. И в большинстве случаев, Вас обучат тому, что нельзя делать.

 Robots.txt, есть ли правильный ответ

Это не от того, что кто-то хочет Вам зла – просто на этот вопрос по сути никто не знает толком ответа . Не будем сейчас вдаваться в теорию –мой блог и материал главным образом предназначен новичкам, и я буду рассказывать понятным языком. Я тоже когда-то приобретал курсы, и обучался без помощи других создавать robots.txt, и как большая часть, повторил ошибки многих вебмастеров.

И так, давайте для начала вспомним, для чего нам нужен данный файл на нашем блоге. Если карту блога мы создаем для наших читателей. Чтобы им удобно было находить подходящий материал. А потом уже для поискового бота. То файл robots.txt как мы знаем, предназначен только для роботов.

Он указывает боту куда входить, а куда не надо. То есть мы с вами закрываем то, что желаем утаить от бота. Но он гад непременно пойдет туда, куда мы его не желаем пускать.

И сделает свое темное дело – вознаградит нас разными «неожиданностями». Так может лучше не мешать ему? Пусть прогуливается всюду, а необходимое от индексации можно будет закрыть другими методами. А сейчас давайте поближе к делу. Зайдите при помощи FileZilla в корневую папку собственного блога и скачайте  robots.txt.

Создаем правильный файл robots.txt

Если его у вас еще нет, тогда создайте его в блокноте.
Давайте правильно настроим данный robots.txt. Смотрим как он должен выглядеть.

файл robots.txt

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*? Disallow: /*?*
Disallow: /tag
Host: site.ru
Sitemap:https://ваш домен/sitemap.xml

где site.ru ваш сайт

 

Ожидайте переиндексации и Вы получите сдвиги в наилучшую сторону. Многие со мной могут не согласиться.
Но это дело уже каждого конкретного человека. Да  кстати, проверить в этом случае файл robots,
можно пройдя по ссылке https://ваш сайт/robots.txt. На этом все. Пока, пока.

 

Конкурс.

Условия конкурса читать в разделе Конкурсы.

 

⇒>> Начать разгадывать <<⇐

 

кроссворд 6

 

 

⇒>> Прислать ответ <<⇐

 

Ответы присылать с пометкой кроссворд.

Рейтинг
( 2 оценки, среднее 3.5 из 5 )
Понравилась статья? Поделиться с друзьями:
Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!:
Нажимая на кнопку "Отправить комментарий", я даю согласие на обработку персональных данных и принимаю политику конфиденциальности.