Robots文件生成器用于生成标准的Robots.txt文件，帮助您控制搜索引擎抓取网站内容：
- User-agent：指定规则适用于哪个搜索引擎，*表示所有搜索引擎
- Disallow：指定禁止搜索引擎抓取的路径，如 /admin/、/private/ 等
- Allow：指定允许搜索引擎抓取的路径，优先级高于Disallow
- Crawl-delay：设置搜索引擎抓取间隔，单位为秒，建议3-10秒
- Sitemap：指定网站的Sitemap文件URL，帮助搜索引擎更好地抓取网站内容
- Robots.txt文件应放置在网站根目录下，如 https://example.com/robots.txt
- Robots.txt文件对所有搜索引擎可见，不要在其中包含敏感信息
