Robots.txt Validator

toolbox.tools.robots_validator.page_description

toolbox.tools.robots_validator.url_label

toolbox.tools.robots_validator.content_label

toolbox.tools.robots_validator.test_title

toolbox.tools.robots_validator.agent_label

toolbox.tools.robots_validator.path_label