Создание и настройка robots.txt для Word Press.

robotsПри создании сайта  на движке Word Press, первое, о чем стоит подумать, и реализовать в механизме данной платформы — создание и настройка файла robots.txt. Все это необходимо для удачного продвижения вашего сайта в поисковых системах. Ведь именно в первые дни появления он начинает сканироваться поисковыми  роботами. И не факт, что он будет интересен  поисковикам  без внедрения, и правильной настройки  robots.txt.

Чем интересен движок Word Press для успешной  работы в виртуальном пространстве? Своей простотой и надежностью. Стабильность работы – главная черта данной платформы. Robots.txt для Word Press дает стабильность индексирования созданного материала на сайте. А это необходимое условие для стабильного продвижения в поисковых системах. Причем, что самое интересное, есть вероятность скрыть от поисковиков информацию, которую не желательно выносить для последующей  поисковой  индексации.  Дублирование контента довольно часто происходит без внедрения robots.txt, за что служба  Яндекса  довольно строго наказывает оперившиеся сайты.

Создание robots.txt  абсолютно не обременительное занятие. Несколько усилий, и файл готов для его последующей  установки в корневую директорию сайта. Все, что от вас потребуется, обычный текстовый блокнот, который установлен на любом компьютере.  Мой файл robots.txt  для поисковых систем выглядит следующим образом:

 

User-agent: *

Crawl-delay: 4

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

 

User-agent: Yandex

Crawl-delay: 4

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

Host: seo-optimo.ru

Sitemap: http://seo-optimo.ru/sitemap.xml.gz

Sitemap: http://seo-optimo.ru/sitemap.xml

 

Хотелось бы сразу оговориться, что у многих вебмастеров  robots.txt  для сайта выглядит  порой  иным способом. Но это во многом зависит от различных особенностей созданного информационного контента  (допустим, наличия аудио- и видеозаписей на страницах сайте).  Все это вы в состоянии внедрить, при дальнейшем  функциональном расширении  своего  ресурса.

Читайте также:  Seo-оптимизация Wordpress. Продвижение неизбежно

Давайте  коротко остановиться на записях в директиве  созданного robotexs.txt. Наличие записи  User-agent  говорит о содержании поискового робота. Причем присутствие в обозначении символа звездочки «*», говорит  о  сканировании   необходимого материала всеми поисковыми роботами. То есть User-agent: *

Отдав предпочтение поисковому роботу Яндекса  (а ведь именно от данной индексации  будут зависеть ваш подъем в наиболее предпочтительной  российской  поисковой системе), запись будет  выглядеть следующим образом:  User-agent: Yandex

Созданная директива Crawl-delay дает возможность задать определенный промежуток времени поисковым роботам для просмотра страниц с вашего сервера. Однако, при особой загруженности сервера   данная запись необходима. Именно она  задает определенный промежуток времени в секундах, при переходе от одной просканированной странице к следующей.

Директива  Disallow  дает указания поисковому роботу, что сканировать в процессе индексации,  а что пропустить на созданных страницах. Количество данной записи Disallow  не имеет ограничений. И  уже вам решать, какая часть созданного контента подлежит индексации, а какая должна проскочить мимо поискового робота.  Размещенная скобочка в данной записи  «/»  говорит о необходимой индексации созданного файла: Disallow: /cgi-bin.  Запрет индексации задается при наличии файла в скобках с обеих сторон: Disallow: /cgi-bin/

Запись Host  дает систематизацию созданного зеркала сайта. Ваш сайт будет распознаваться российскими поисковыми системами, что необходимо для результативного продвижения. Обычно данная запись ставится в конце созданного robots.txt. после директивы Disallow

Директива  Sitemap  даст возможность найти ваш сайт, и просканировать имеющуюся информацию. Вы задаете необходимый путь для последующей индексации поисковиками вашего контента.

Как видите, создание  robots.txt – задача не обременительная, но необходимая, для удачной индексации вашего ресурса. Я буду рад выслушать ваши советы и пожелания.  В море различных информационных сайтов, согласно поисковым системам,  все взаимосвязано. И именно настройка robots.txt  задает начальный и последующий подъем, как  необходимой  индексации материала, так  и дальнейшей поисковой выдачи сайта.

Читайте также:  Почтовая рассылка в интернете

Необходимый  порядок и значение  англоязычных словосочетаний в  robots.txt вы можете встретить на сайте Яндекс-Вебмастер  http://help.yandex.ru/webmaster/?id=996567

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

*