Robots.txt 配置全解：核心语法与高频实操防错指南

📍 WDQWDWQD987AAAAA:216.73.217.100
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /50e9ced8d6a9.html
📄

Robots.txt 是放置于网站根目录的一个纯文本文件，其核心任务是向搜索引擎爬虫传递"哪些路径可访问、哪些内容应略过"的意向。它本质上依赖爬虫自律而生效，并非强制安全屏障，用得好能让抓取更高效，也能明显节省服务器带宽。

1. Robots.txt 在站点运营中扮演的角色

每次爬虫造访网站，都会优先查看根目录下是否有 robots.txt。如果该文件缺失，爬虫便依据默认逻辑，将站内所有可公开访问的页面视为允许抓取。

日常运维中，这个文件常用于处理三类需求：隐藏后台登录入口、过滤无索引价值的页面（如站内搜索结果页、自动聚合的标签组）、通过降低抓取频次来减轻服务器瞬时压力。需要特别警惕的是，遵守这套协议的只有主流搜索爬虫，恶意的采集程序根本不会理会这些规则，因此任何情况下都不能把它当作访问控制的防线。

2. 语法结构拆解与常用指令

配置内容由若干条记录组合而成，每条记录必须先用 User-agent 说明适用对象，再列出具体指令。理清下面几个关键指令是正确书写的前提：

• User-agent：指定规则生效的爬虫名称，用 * 表示适用于所有搜索引擎的爬虫。
• Disallow：设置禁止访问的路径前缀，例如 Disallow: /temp/ 表示该目录整体不可抓取。
• Allow：声明允许抓取的路径，在同一条记录中它的优先级高于 Disallow，常用于整体屏蔽时单独放行某个文件。
• Sitemap：告知爬虫 XML 站点地图的完整网址，便于其更快定位核心内容。
• Crawl-delay：建议两次请求之间的等待秒数，需注意此指令并非所有爬虫都认可，有些搜索引擎已经明确弃用。

2.1 个结构清晰的配置示例

下面给出简洁明了的参考写法：

User-agent: *
Disallow: /cache/
Disallow: /internal/
Allow: /internal/help.html
Sitemap: https://www.example.com/sitemap.xml

这条配置的意思是：全部爬虫无法访问 cache 目录和 internal 目录，但 internal 下的 help.html 被特别放行，同时提供了站点地图地址。这样的写法便于后续维护时快速理解。

3. 典型配置场景与容易踩坑的点

语法本身并不复杂，但实际配置中常因为一些细节没拎清而适得其反。以下几个场景需要格外留意：

• 全站放行：若没有需要限制的路径，直接省略 Disallow 指令即可，切勿写成 Disallow: /，那样会误伤整个站点。
• 暂停收录：短期不想被收录时，可使用 Disallow: /，但应明白这会让整站页面从搜索中移出，恢复后还需重新等待爬虫抓取。
• 同一路径冲突：若同时出现互相矛盾的规则，以具体爬虫名称优先于 *，且记录内 Allow 优先于 Disallow，若不仔细排查很容易埋下隐患。

另外，文件的编码格式应保持 UTF-8 无 BOM，避免使用中文字符或特殊符号。修改后建议立即用浏览器访问该文件确认内容已正确生效。

4. 完稿前的检查思路与验证方法

配置完毕不等于万事大吉，还需经过一轮严苛的自检。可以使用主流搜索引擎提供的抓取诊断工具，查看爬虫实际看到的文件内容及最近一次抓取状况。

1. 检查每条指令的路径写法是否与站点实际目录结构一致，注意开头斜杠的缺失会导致规则意外失效。
2. 确认文件必须位于根目录且命名完全正确，任何字母大小写或命名偏差都会被爬虫忽略。
3. 在浏览器直接访问 /robots.txt 查看全文，同时比对 Sitemap 地址是否能够正常打开。

排查时有一个实用技巧：临时借助抓取测试工具，分别模拟屏蔽前后的抓取结果，能直观发现规则是否按预期生效。

5. 常见问题

5.1 Robots.txt 能否阻止搜索引擎收录页面？

不能。它只控制爬虫的抓取行为，页面仍可能因外部链接而被搜索引擎收录。若确实需要全面移除索引，应配合使用 noindex 标签，两者结合才能达到预期。

5.2 Disallow 后加上斜杠与不加斜杠有何区别？

区别明显。Disallow: /temp 会匹配所有以 temp 开头的路径，比如 /temporary 也可能被影响；而 Disallow: /temp/ 只精准作用于 temp 目录本身及其内部内容，推荐使用后者以避免误伤。

5.3 多行 User-agent 能否共用一套规则？

不能合并写在同一行，每条规则的 User-agent 必须独占一行。如需针对不同爬虫设置相同指令，只能分别书写各自的记录，这是较常见的错误写法。

6. 总结

编写 robots.txt 并不难，难在细节把控。建议从最小化原则出发：只限制确有必要的路径，写完后借助诊断工具逐一验证，并定期查看抓取日志确认无异常。合理配置能提升抓取效率，而盲目屏蔽则可能让整站流量受损，谨慎为之。