Данная статья объяснит, как контролировать поведение роботов и пауков на вашем сайте. Для краткости я буду называть роботов и пауков одним словом - роботы. Хотя они и выполняют разные функции о чём читайте далее. Итак - Исключение пауков и роботов или как грамотно использовать файл robots.txt

Допустим, у вас есть работающий веб-сайт, состоящий из большого количества статических html-страниц. Все идет хорошо, но вдруг в какой-то момент вы решаете усовершенствовать работу веб-сайта и добавляете динамические скрипты: в результате страничка новостей теперь доступна по ссылке http://www.site.com/cgi-bin/news.cgi вместо прежней http://www.site.com/news.html, а каталог, в котором хранились страницы с описанием российских регионов, теперь доступены по неэстетично выглядящей ссылке http://site.ru/cgi-bin/regions.pl?region=77&mode=brief вместо легко запоминаемой http://site.ru/regions/77.html.

Вы наверняка встречали в сети термин «mod_rewrite». Для наших читателей, которые не до конца знакомы с этим модулем веб сервера Apache, а также для тех, кто вообще первый раз об этом слышит — постараюсь рассказать в этой публикации (в нескольких частях) подробнее о данном модуле.