robots.txt · 爬虫访问规则
Robots Exclusion Protocol · 常见写法：robots、爬虫协议、抓取规则
网站用来告诉爬虫哪些路径可以访问、哪些不应访问的规则文件。它主要约定自动访问行为。
什么时候会用到？
理解为什么公开页面可以手动打开，数据工具却暂停自动检查。
举个例子
一家店铺允许访问商品页，但不允许自动访问购物车路径。工具需要分别判断，不能因为首页可访问就读取所有路径。
常见误解
robots.txt 不是登录保护，也不是内容转载许可；允许抓取不代表允许复制发布，禁止抓取也不保证页面不会出现在搜索结果中。
实际使用时，留意这几点
- 规则针对哪个爬虫和路径？
- 网站的内容使用约定是什么？
- 暂停检查是否被正确显示为未完成？
把理解用到商品比较中
从现有资料开始，核对具体型号、包装、地区与报价，再保存你的判断。当前功能不代办物流、报关或 Amazon 店铺运营。
查看现有商品对照 →