robot txt 是什么？robots.txt 写法与 SEO 作用全解析

📍 WDQWDWQD987AAAAA:216.73.216.146
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /ab295e6bc0e9.html
📄

在网站 SEO 优化中，robots.txt 是一个经常被提及却容易被忽视的文件。它位于网站根目录下，用来告诉搜索引擎爬虫哪些页面可以抓取、哪些页面应当避免访问。合理配置 robots.txt，既能保护后台和隐私页面，也能引导蜘蛛更高效地收录重要内容。

robot txt 的基本格式

robots.txt 是纯文本文件，通常命名为 robots.txt，并放在域名根目录，例如 https://example.com/robots.txt。其核心指令包括：

• User-agent：指定规则适用的搜索引擎爬虫，如 * 表示所有爬虫。
• Disallow：禁止爬虫访问的路径。
• Allow：允许爬虫访问的路径，常用于覆盖更宽泛的禁止规则。
• Sitemap：声明网站地图地址，方便爬虫发现页面。

robot txt 的常见写法示例

一个基础示例是：User-agent: * 后接 Disallow: /admin/ 与 Disallow: /tmp/，表示禁止所有爬虫抓取后台和临时目录。如果希望整站禁止抓取，可使用 Disallow: /；若希望完全放开，则使用 Allow: / 或留空 Disallow。需要注意的是，robots.txt 只是爬虫协议，并不能阻止恶意程序访问，因此敏感数据仍应通过登录权限或加密方式保护。

robot txt 与 SEO 的关系

错误的 robots.txt 可能导致重要页面无法被收录。例如，误写 Disallow: / 会让整站从搜索结果中消失。同时，robots.txt 不能替代 noindex：被 Disallow 的页面即使含有 noindex 标签，爬虫也可能无法读取。因此，需要禁止收录的页面应优先使用 noindex，而 robots.txt 更适合控制抓取预算和屏蔽无价值路径。

总之，robots.txt 是网站与搜索引擎沟通的重要入口。定期检查其规则、结合 sitemap 提交，并避免阻塞 CSS、JS 等渲染资源，才能让 SEO 效果更稳定。