Генератор правильного robots.txt
Для правильной индексации поисковыми машинами вашего сайта необходимо давать им точные указания по сканированию. Создав правильный файл robots.txt вы избавитесь от дубликатов страниц в выдаче и намного улучшите видимость сайта для поисковых роботов. С помощью файла директив вы можете значительно снизить нагрузку на сервер, задав задержку для роботов.
Как создать robots.txt
- В текстовом редакторе создайте файл с именем robots.txt
- Заполните его при помощи нашего сервиса по созданию robots.txt.
- Проверьте файл в сервисе Яндекс.Вебмастер (пункт меню Анализ robots.txt).
- Загрузите файл в корневую директорию вашего сайта.
При формировании файла robots.txt необходимо помнить, что у робота есть разумное ограничение на его размер. Если размер файла превышает 32 Кб, робот считает его полностью разрешающим, то есть рассматриваtтся аналогично robots.txt со следующим содержанием:
User-agent:
Disallow:Также разрешающим считается robots.txt, который не удалось загрузить (например, не правильно настроены HTTP-заголовки или возвращается HTTP-статус 404 Not found).
Опыт показывает, что принципиальной разницы в директивах robots.txt для Яндекс и Google нет (некоторые уверены, что Google вовсе его игнорирует). Поэтому смело следуйте рекомендациям Яндекса и создавайте правильный файл директив.
Форма для генерации правильного robots.txt
Выбрав пункт запретить, вы полностью закроете сайт свой от индексации.
Позволяет значительно снизить нагрузку на сервер за счет снижения числа обращений поисковых роботов. Чем выше время задержки, тем меньше нагрузка.
Укажите роботов, которые могут индексировать ваш сайт:
Пример папки: /catalog/
Пример пути: /catalog/item/123.html
Скопируйте полученный файл robots.txt
Скопированный в текст поместите в созданный текстовый файл с именем robots.txt. Поместите его в корневую директорию вашего сайта. Проверьте работоспособность файла с помощью нашего сервиса для SEO или при помощи сервиса Яндекс.Вебмастер.
Пример правильного robots.txt для WordPress (все версии)
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 | User-agent: *Disallow: /wp-adminDisallow: /wp-includesDisallow: /wp-content/pluginsDisallow: /wp-content/cacheDisallow: /wp-content/themesDisallow: /trackbackDisallow: */trackbackDisallow: */*/trackbackDisallow: */*/feed/*/Disallow: */feedDisallow: /*?*Disallow: /tag User-agent: YandexDisallow: /wp-adminDisallow: /wp-includesDisallow: /wp-content/pluginsDisallow: /wp-content/cacheDisallow: /wp-content/themesDisallow: /trackbackDisallow: */trackbackDisallow: */*/trackbackDisallow: */*/feed/*/Disallow: */feedDisallow: /*?*Disallow: /tagHost: ваш_сайт.ru Sitemap: http://ваш_сайт.ru /sitemap.xml.gzSitemap: http://ваш_сайт.ru /sitemap.xml |
Пример правильного robots.txt для Joomla 2.5 и выше
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 | User-agent: *Disallow: /administrator/Disallow: /bin/Disallow: /cache/Disallow: /cli/Disallow: /components/Disallow: /includes/Disallow: /installation/Disallow: /language/Disallow: /layouts/Disallow: /libraries/Disallow: /logs/Disallow: /media/Disallow: /modules/Disallow: /plugins/Disallow: /templates/Disallow: /tmp/Disallow: /index.php*Disallow: /index2.php*Disallow: /*com_mailto Disallow: /*pop= Disallow: /*lang=ru Disallow: /*format=Disallow: /*print= Disallow: /*task=vote Disallow: /*=watermark Disallow: /*=download Disallow: /*user/ Disallow: /404 Disallow: /index.php? Disallow: /*? Disallow: /*% Disallow: /*& Disallow: /index2.phpDisallow: /index.php Disallow: /*tag Disallow: /*.swf Disallow: /*=atom Disallow: /*=rss Allow: /images/ Allow: /index.php?option=com_xmap&sitemap=1&view=xml Host: ваш_сайт.ru Sitemap: http://ваш_сайт.ru /sitemap.xml.gzSitemap: http://ваш_сайт.ru /sitemap.xml |
Пример правильного robots.txt для DLE 9.8 и выше
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 | User-agent: *Allow: /uploads/posts/Disallow: /engine/go.phpDisallow: /favorites/Disallow: /cache/Disallow: /page/Disallow: /cgi-bin/Disallow: /engine/Disallow: /language/Disallow: /templates/Disallow: /backup/Disallow: /tags/Disallow: */engine/*Disallow: /engine/Disallow: /category/Disallow: /cheaptop_script.phpDisallow: /addnews.htmlDisallow: */page/*Disallow: */thumbs/*Disallow: /user/Disallow: /2014/Disallow: /*print Disallow: /*do=addnewsDisallow: /*do=feedbackDisallow: /*do=lastcommentsDisallow: /*do=lostpasswordDisallow: /*do=pmDisallow: /*do=rulesDisallow: /*do=registerDisallow: /*do=searchDisallow: /*do=statsDisallow: /*action=mobile$Disallow: /*html?http*Disallow: /*utm_medium*Disallow: /?do=*Disallow: /*?do=*Disallow: /?iframe*Disallow: /?p*Disallow: /?*Disallow: /yasearch.html$User-agent: YandexAllow: /uploads/posts/Disallow: /engine/go.phpDisallow: /category/Disallow: /cheaptop_script.phpDisallow: /favorites/Disallow: /cache/Disallow: /cgi-bin/Disallow: /page/Disallow: /addnews.htmlDisallow: */page/*Disallow: */engine/*Disallow: /engine/Disallow: */thumbs/*Disallow: /engine/Disallow: /language/Disallow: /templates/Disallow: /backup/Disallow: /tags/Disallow: /*do=rulesDisallow: /user/Disallow: /2014/Disallow: /printDisallow: /?p*Disallow: /*utm_mediumDisallow: /*action=mobileDisallow: /do=*Disallow: /?iframe*Disallow: /*html?http*Disallow: /*do=*Disallow: /yasearch.html$Host: ваш_сайт.ru Sitemap: http://ваш_сайт.ru /sitemap.xml.gzSitemap: http://ваш_сайт.ru /sitemap.xml |
Представленные здесь образцы robot.txt являются рекомендуемыми для большинства сайтов, однако каждый вебмастер должен править его под нужды конкретного проекта и с учетом настроек ЧПУ и других модулей и плагинов.