Robots检测工具用于检查网站的robots.txt文件，分析搜索引擎爬虫规则，检测语法错误，确保网站正确配置爬虫访问权限。
主要功能：
- 检查robots.txt文件是否存在及可访问性
- 分析robots.txt文件的语法结构
- 检测User-agent规则覆盖范围
- 解析Disallow/Allow访问控制规则
- 提取Sitemap声明
- 分析抓取延迟设置
- 提供SEO优化建议
使用方法：
- 在输入框中输入网站域名（例如：www.example.com）
- 点击"检测Robots.txt"按钮
- 等待检测结果显示
- 查看详细的分析报告和优化建议
检测结果将显示robots.txt文件的完整分析，包括文件状态、HTTP状态码、文件大小、最后修改时间、语法错误数量、User-agent规则、禁止访问规则、允许访问规则、Sitemap声明、抓取延迟设置以及优化建议等信息。
