数据与工具

网页抓取

Web Crawling / Web Scraping · 常见写法:爬虫、采集、Scraping、Crawling

让程序访问网页并读取内容。Crawling 更侧重发现和访问页面,Scraping 更侧重从页面里提取所需信息,日常沟通中常被统称为抓取。

什么时候会用到?

了解竞品工具如何获得公开页面资料,或排查为什么一次检查没有结果。

举个例子

程序访问商品页后,尝试提取价格。如果页面改版导致价格未被识别,应记为读取失败或未知,不能说商品降到了零元。

常见误解

能在浏览器中看到,不表示一定可以自动读取或再利用。抓取成功也不代表已获得销量、利润或完整店铺数据。

实际使用时,留意这几点

  • 页面是否允许相应读取和使用?
  • 抓取是否完整成功?
  • 具体型号、地区和币种是否一致?

把理解用到商品比较中

从现有资料开始,核对具体型号、包装、地区与报价,再保存你的判断。当前功能不代办物流、报关或 Amazon 店铺运营。

查看现有商品对照 →

相关术语