Пакет perl-WWW-RobotRules: Информация
Исходный пакет: perl-WWW-RobotRules
Версия: 6.01-alt1
Собран: 21 марта 2011 г. 21:37
Категория: Разработка/Perl
Сообщить об ошибке в пакетеДомашняя страница: http://search.cpan.org/dist/WWW-RobotRules/
Лицензия: GPL or Artistic
О пакете: Database of robots.txt-derived permissions
Описание:
This module parses /robots.txt files as specified in "A Standard for Robot Exclusion", at <http://www.robotstxt.org/wc/norobots.html> Webmasters can use the /robots.txt file to forbid conforming robots from accessing parts of their web site.
Сопровождающий: Alexey Tourbin