Warning: include(/home/cherny/chernyshov.kiev.ua/www/wp-content/plugins/wp-super-cache/wp-cache-base.php): failed to open stream: No such file or directory in /home/cherny/webartsolutions.com/notes/wp-content/plugins/wp-super-cache/wp-cache.php on line 95

Warning: include(): Failed opening '/home/cherny/chernyshov.kiev.ua/www/wp-content/plugins/wp-super-cache/wp-cache-base.php' for inclusion (include_path='.:/usr/local/pear/php56') in /home/cherny/webartsolutions.com/notes/wp-content/plugins/wp-super-cache/wp-cache.php on line 95

Warning: include_once(/home/cherny/chernyshov.kiev.ua/www/wp-content/plugins/wp-super-cache/ossdl-cdn.php): failed to open stream: No such file or directory in /home/cherny/webartsolutions.com/notes/wp-content/plugins/wp-super-cache/wp-cache.php on line 118

Warning: include_once(): Failed opening '/home/cherny/chernyshov.kiev.ua/www/wp-content/plugins/wp-super-cache/ossdl-cdn.php' for inclusion (include_path='.:/usr/local/pear/php56') in /home/cherny/webartsolutions.com/notes/wp-content/plugins/wp-super-cache/wp-cache.php on line 118
Директивы в robots.txt - (не)?путевые заметки

Директивы в robots.txt

Опубликовано в : 07-05-2010 | Автор : | В рубрике : Интернет

2

Минимум три года не отслеживал изменения в применении и директивах robots.txt. За это время и заметки в архиве блога о robots.txt и статья несколько устарели. Из справки Яндекса можно судить об изменениях: обрабатываются спецсимволы “*” и “?”, директива ограничения частоты запросов Crawl-Delay, впервые появившаяся у Yahoo в 2006-м году, как и Allow, а также незнакомая мне ранее Clean-param.

Насчет обработки спецсимволов для замены последовательностей и директивы Crawl-Delay — все вроде бы понятно, “звездочку” всегда использовали для замены последовательностей символов, ограничение частоты запросов, особенно для крупных сайтов тоже вещь полезная. А вот Allow и Clean-param вроде и понятны, но есть нюансы. В частности то, что в последовательности Allow/Disallow в рамках одной секции учитывается первая, если несколько директив могут применяться к определенному URL. Особенно пугает Allow: без ничего, запрещающая индексацию всего сайта (аналог Disallow: /). В случае Clean-Param хотелось бы понять, как обрабатываются ссылки на такие страницы и рассматриваются ли страницы как дубли?

А вообще интересно до чего дошел прогресс!

Главная > Интернет > Директивы в robots.txt