Robots 协议

大家好，欢迎来到IT知识分享网。

Robots 协议（也称为 robots.txt 协议）是网站用于告知搜索引擎爬虫哪些页面可以抓取、哪些页面禁止抓取的一个文本协议，它是搜索引擎与网站之间的一种约定，并非强制规范，但主流搜索引擎通常会遵守。

核心作用

• 规范爬虫行为：通过 robots.txt 文件，网站管理员可以限制爬虫对敏感内容（如后台管理页面、私密数据页）或不必要内容（如重复页面）的抓取，节省服务器资源。

• 引导爬虫高效抓取：帮助爬虫优先抓取重要页面，提升网站在搜索引擎中的收录质量。

基本格式

robots.txt 文件需放在网站根目录下（如
https://example.com/robots.txt），基本语法包括：

• User-agent: 指定针对的爬虫（如 * 代表所有爬虫，Baiduspider 代表百度爬虫）。

• Disallow: 指定禁止抓取的路径（如 Disallow: /admin/ 表示禁止抓取 admin 目录下的内容）。

• Allow: 用于在 Disallow 的范围内例外允许抓取某部分内容（优先级高于 Disallow）。

例如，一个简单的 robots.txt 内容可能是：

User-agent: *

Disallow: /private/

Allow: /private/public-page.html

表示所有爬虫禁止抓取 /private/ 目录，但可以抓取该目录下的 public-page.html 页面。

注意事项

• 不具备强制性：恶意爬虫可能无视 robots.txt，因此它不能替代网站的安全防护措施。

• 对搜索引擎的影响：合理设置可避免无用页面被收录，但若设置错误可能导致重要页面无法被抓取，影响网站排名。