webscraper.io 评测：定价、限制及何时应更换服务

Web Scraper 是来自 webscraper.io 的一款点选式爬取工具，可作为免费的 Chrome 或 Firefox 扩展程序运行，同时提供付费版 Web Scraper Cloud 用于无人值守的任务。 您需要构建一个网站地图：包含起始 URL 以及一组选择器树，这些选择器负责点击、跟随链接、分页，并将文本、图片、表格或属性提取到行中。

不妨将网站地图视为一份食谱：起始 URL 是开始点，每个选择器则是一个步骤，用于移动爬虫或收集数据。

导航选择器负责移动。链接选择器打开详情页，分页选择器遍历编号页面或“下一页”按钮，而元素点击选择器则点击“加载更多”按钮或滚动以显示更多内容。

数据提取选择器（文本、图片、表格、HTML 和元素属性）负责收集数据。任何嵌套在链接选择器下的内容都会在该链接打开的页面上运行，这就是一个网站地图如何将类别列表转换为每个产品一行数据的原因。

您点击元素后，该扩展程序会为您生成 CSS 选择器，采用的是 CSS 和 jQuery 风格的语法，而非 XPath。当生成的选择器匹配范围过大或过小时，您可以手动进行编辑，因此在构建过程中请随时打开 CSS 选择器速查表。

典型的“列表转详情”站点地图如下所示：

flowchart TD
    A["Start URL<br/>/category/books"] --> B["Pagination selector<br/>next page / page 2, 3, ..."]
    B --> C["Link selector<br/>each product card"]
    B -.->|"repeats on every listing page"| C
    C --> D["Product detail page"]
    D --> E["Text selector<br/>title"]
    D --> F["Text selector<br/>price"]
    D --> G["Element attribute selector<br/>image URL"]
    D --> H["Table selector<br/>specifications"]
    E & F & G & H --> I["One row per product<br/>export to CSV, XLSX, or JSON"]

图 1. 列表到详情网站地图：分页功能遍历列表，链接选择器打开每个产品页面，四个数据选择器为每个产品生成一行。

结果可导出为 CSV、XLSX 或 JSON 格式。在 Cloud 版本中，正则表达式等解析器会在导出前执行文本匹配、替换、去除 HTML 标签以及虚拟列操作，以清理或推导出值。

扩展程序在您的浏览器内运行，免费使用，仅将最新任务的数据保存在本地存储中，且在您关闭浏览器时停止运行。 Web Scraper Cloud 则在远程服务器上运行相同的站点地图，并支持任务调度、API、Webhook、代理、数据质量检查以及结果存储等功能，这些正是周期性任务通常所需的。

两者使用相同的站点地图格式，因此您可以在扩展程序中构建和测试，当任务需要独立运行时，再将站点地图导入 Cloud。

表 1. 扩展程序是构建场所，Cloud 是周期性任务的运行环境。

以下两行说明了结果为何可能以不同顺序呈现。该扩展程序采用“后进先出”原则，即先完成网站的一个分支再处理下一个，而 Cloud 则以伪随机顺序访问发现的 URL。数据相同，行序不同。此外，Cloud 会跳过图片，因此请测试任何依赖图片的页面。

该扩展程序免费。根据 2026 年 10 月 webscraper.io 上的信息， Web Scraper Cloud 提供 7 天免费试用，随后“Project”套餐每月 50 美元，包含 5,000 个 URL 积分；“Professional”套餐每月 100 美元，包含 20,000 个 URL 积分；“Scale”套餐起价 200 美元，提供不限量的 URL 积分（按并发抓取器数量计费）；此外还有定制的“Enterprise”企业级方案。

表 2. 2026 年 10 月公布的 Web Scraper Cloud 套餐。各套餐的区别在于积分和并发数，而非功能。

价格和限制来自 webscraper.io 的定价页面（2026 年 10 月）。请访问供应商网站查看最新条款。

各套餐共享调度程序、API、解析器、数据质量监控及导出功能。主要差异在于每月页面访问量、并发数和数据保留期限。Scale套餐包含一个免费的美国数据中心代理。2026年10月，住宅流量定价为每GB 2.50美元，若您的目标网站屏蔽数据中心IP地址，这一点尤为重要。

如果价格是主要限制因素，请参阅我们对免费网页抓取工具的对比评测。

1 个 URL 积分相当于 1 次页面加载，无论页面包含什么内容。 一个会打开40个分类页面和1,200个产品页面的网站地图，每次运行约消耗1,240个积分，因此每周定时任务每月需要约5,000个积分。对空页面或失败页面的自动重试，以及最多500个链接的测试抓取均免费。

要估算任务所需配额，请统计站点地图打开的每个页面，乘以每月运行次数，并将结果与套餐配额进行对比。

表 3. 任务所需的 URL 积分成本。详情页是总成本的主要构成部分。

成本由页面数量决定，而非记录数量。如果商品列表已显示您所需的字段（如名称、价格和库存），则可跳过详情页面。对于周刊目录，这将使每次运行所需的积分从1,240降至40。

同时也要注意预算余量。表3中的周刊目录在“项目”中仅剩40个信用点，因此多几个分类页面，或者某个月安排了五次运行（6,200个信用点），就会超出预算。制定计划时应以最大月份为基准，而非平均月份。

Web Scraper 在结构清晰的普通公共网站上表现最佳，这些网站具有明确的列表到详情页的层级结构。它支持免费本地构建和测试，无需编写代码即可处理分页、点击和无限滚动，可导出为常见格式，并且当任务需要排程时，非开发人员也能将相同的站点地图迁移到云端。

其实践优势：

• 零配置。安装扩展程序即可开始构建。本地运行无需账户或服务器。
• 可视化选择并支持实时预览。在抓取前即可预览每个选择器匹配的内容。
• 多级网站地图。列表页、分页和详情页均位于同一选择器树中。
• 可移植的网站地图。通过 JSON 导入和导出功能，您可以共享网站地图、进行版本管理，并将其原样迁移至云端。
• 内置解析器。数据清理在工具内完成，无需事后在电子表格中处理。
• 免费测试抓取。在消耗积分前，Cloud 支持测试多达 500 个链接。
• 集成钩子。Cloud 的 API 和 Webhook 可将完成的任务传递给其他系统。

对于需要追踪几十个竞争对手产品页面的营销人员，或是每季度提取一次目录的分析师而言，以这样的价格，这种组合堪称无与伦比。

当任务规模较大、受保护或不稳定时，Web Scraper 会显得力不从心。本地运行会占用您的浏览器资源，云端服务对站点地图的限制为每个 URL 最多 100 个选择器且连续 JavaScript 操作时间不超过 10 分钟，不支持包括 LinkedIn 在内的社交平台，而且每次网站改版都意味着需要人工修复选择器。

• 本地运行需要使用浏览器。浏览器和计算机必须在整个任务期间保持开启状态，且仅会保留最新任务的数据。
• 云端执行限制。一个站点地图最多可包含 20,000 个起始 URL 和 100 个选择器，且每个 URL 的点击和滚动等 JavaScript 操作连续运行时间上限为 10 分钟。
• 数据保留。在“项目”和“专业”版中，云端会保留任务数据 30 天；在“规模”版中则保留 60 天。若需历史数据，请安排导出至您自己的存储空间。
• 并发性。Project 计划同时运行 2 个爬虫，Professional 计划同时运行 3 个，因此繁忙的任务计划会排在 Scale 计划之后。
• 受保护的网站。webscraper.io 自身表示，与采用高级反机器人保护措施的网站（包括位于 Cloudflare Turnstile 后方的网站）的兼容性因网站而异。Scale 版本仅包含一个免费的美国数据中心代理，且住宅流量按 GB 计费。
• 社交平台。Cloud 不支持从社交媒体平台（包括 LinkedIn）提取数据。
• 登录。该扩展程序使用您的浏览器会话，这会引发账户及服务条款方面的问题（参见法律部分）。
• 选择器维护。当网站更改其标记时，需要有人手动修复站点地图。这是定价页面中未体现的成本，且随着网站的增加而不断增长。
• 代码层面的控制受限。您无法编写自定义重试逻辑、设置任意请求头，也无法运行自己的解析代码。

当少数人需要从几个普通的公共网站获取结构化数据（每日或每周更新一次），且有人乐意维护选择器时，请继续使用 Web Scraper。当您需要处理大量网站、受保护或 JavaScript 内容繁多的目标网站、需要保证数据新鲜度、需要代码级控制，或者团队中无人愿意维护这些数据时，请另寻他法。

决定性问题通常不是“Web Scraper 能否抓取该网站？”，而是“谁来确保这项工作持续运行？”。请在表格中找到与您情况相符的行。

表 4. 根据任务选择工具。合适的工具取决于由谁来维护它。

如果第一行描述的情况符合您的情况，那么 Web Scraper 是一个不错的选择，本指南的其余内容仅供参考。已经决定迁移了吗？请跳转到下方的迁移部分。

网页抓取工具主要分为五类：像 Web Scraper 这样的浏览器扩展程序；像 Octoparse 和 ParseHub 这样的无代码桌面或云端应用； 通过提示词读取网页内容的 AI 提取工具、像 Scrapy 和 Playwright 这样的代码库和框架，以及负责数据获取、渲染和维护的爬取 API 或现成的数据服务。

浏览器扩展程序。Web Scraper 是最著名的例子。这类工具价格低廉且操作直观，但其性能上限取决于您的浏览器，除非背后有云服务作为支撑。

无代码桌面和云端应用。Octoparse 和 ParseHub 等工具提供可视化工作流构建器、网站模板和托管运行服务，但当网站发生变化时，同样面临维护问题。

AI 数据提取工具。这类工具通过自然语言提示而非选择器来返回字段。它们在处理杂乱的页面布局时很有帮助，但需要进行抽查验证。我们在 AI 网页抓取工具汇总中对此类别进行了深入探讨。

代码库和框架。Scrapy、Playwright 及类似库赋予开发者完全的控制权，并对每次修复拥有完全的所有权。

API 抓取与数据服务。这些服务接管代理、页面渲染、重试或解析器维护等工作，并按计划将页面数据提供给您的代码，或直接返回已处理好的数据记录。

若需最简便的方案，Google 表格的 IMPORTXML 函数无需安装即可从简单的静态页面中提取数据并导入电子表格。

若您希望对比各分类中的具体产品并查看排名，请参阅我们的网页抓取工具排行榜。

当抓取逻辑是产品的一部分时，当您需要测试、版本控制和自定义重试时，或者当网站变更频繁到您希望失败时能触发警报时，应编写代码。Scrapy 适用于静态页面的大规模爬取，而 Playwright 则适用于需要真实浏览器进行渲染或交互的网站。

编写代码可使网站地图的规则可测试：通过断言“每行都应包含价格”，可在错误数据传至仪表盘之前发出警报。

Scrapy 是一个用于快速爬取静态页面的 Python 框架。Playwright 则通过驱动真实浏览器来处理那些使用 JavaScript 生成内容的页面。web.dev 上的“网页渲染原理”说明文章解释了为何此类页面在普通 HTTP 请求中会显示为空白。

代码是让工作更高效，而非消除工作：选择器仍可能失效，但你能更快地发现问题。

当你的代码需要负责解析和存储，但无需处理代理、浏览器渲染、重试或阻塞操作时，应使用爬取 API。你只需发送一个 URL（可选地包含渲染、位置或页面操作），即可返回 HTML、JSON 或截图，从而使处理流程保持在你的代码库中，而无需运行浏览器集群。

对于那些花更多时间在确保请求正常运行而非解析数据上的团队来说，这是通常的下一步。你可以根据它们返回的内容（从单个页面到全站爬取）来比较网页抓取 API。

如果您的网站地图依赖于元素点击选择器、滚动或等待内容出现，那么支持点击、等待和截图功能的浏览器 API 便是最接近的替代方案：您只需描述操作，托管浏览器便会执行这些操作并返回 HTML、JSON、字段或截图。

当数据源广受欢迎且字段标准统一时（如产品、价格、评论、列表或职位信息），且无人希望拥有专属选择器，此时应购买或订阅数据。结构化数据 API 或定时数据源会返回干净的记录，且提供商会自动处理网站变更，这通常比人工维护网站地图更经济。

这是替代网页抓取最切实可行的方案。针对 116 个数据源的结构化数据 API 可返回字段一致的记录，而 WebScrapingAPI 负责处理数据源访问、数据提取、解析器维护和质量监控。

如果您使用云服务主要是为了其定时功能，那么定时数据源可以定期提供结构化数据，且无需维护网站地图。

将数据源的费用与您的云服务套餐费用以及修复选择器所花费的时间进行比较。对于一两个稳定的网站，Web Scraper 通常更具优势；但对于十几个不断变化的网站，情况往往并非如此。

首先将每个站点地图导出为 JSON 格式，因为其中记录了您的起始 URL、选择器和页面结构。然后记录字段、刷新计划以及已知有效的行样本。在新工具中重建该规范，让两者并行运行一个周期，并在关闭 Cloud 服务前对比输出结果。

样本行能帮助您判断差异是源于新工具还是网站本身。在数据保留期到期前，请务必下载 Cloud 的任务历史记录。有关详细流程，请参考我们关于将 Web Scraper 站点地图迁移至其他工具的分步指南。

在许多地区，抓取公开页面通常是合法的，但合法性取决于数据内容、网站条款以及您所在的司法管辖区。请遵守 robots.txt 规则，避免抓取无法证明正当理由的个人数据，不要抓取未经许可自动登录的页面，并在安装浏览器扩展程序前确认其可读取的内容。

我们关于网页抓取是否合法的指南对此进行了更深入的探讨。其中有三点特别适用于 Web Scraper。

首先是 robots.txt。机器人排除协议（RFC 9309）是网站告知爬虫应避开哪些路径的方式。它并非访问控制机制，但遵守该协议是基本原则。

其次，登录凭据。扩展程序可以访问您账户可见的任何内容，而许多网站的条款都禁止自动访问账户。请务必先获得许可。

第三，扩展程序本身。Chrome 关于扩展程序权限警告的指南解释了爬取扩展程序可以读取和修改的内容。请仔细审查这些权限，尤其是在工作浏览器上使用时。

本文不构成法律建议。请就您的具体使用场景咨询法律顾问。

是的，Chrome 和 Firefox 扩展程序在您自己的浏览器内进行数据抓取是免费的。您只需为 Web Scraper Cloud 付费，该服务增加了定时任务、API、代理和结果存储功能。 2026年10月，云端套餐提供7天免费试用，且最多500个链接的测试抓取不消耗积分。

在 Web Scraper Cloud 中，一个 URL 积分相当于一次页面加载，无论该页面包含多少条记录。一个包含 100 件商品的列表页消耗 1 个积分，而打开这 100 个商品详情页则消耗 100 个积分。对于空页面或加载失败的页面，自动重试不会额外消耗积分。

可以。分页和链接选择器会跟踪“下一页”按钮和带页码的页面，而元素点击选择器会点击“加载更多”按钮或通过滚动来加载更多项目。构建选择器树时，请将分页选择器置于数据选择器之上，然后在运行整个网站地图之前预览几页。

通常可以，因为它在真实浏览器中运行，会执行页面脚本。在 Web Scraper Cloud 中，每个 URL 的站点地图可连续运行长达 10 分钟的 JavaScript 操作（如点击和滚动）。但采用严格机器人防护措施的网站仍可能失败，因此正式执行前请先测试目标网站。

该扩展程序在您的浏览器会话中运行，因此可以访问您已登录的页面。但这并不意味着此行为被允许：许多网站在其服务条款中明确禁止通过自动化方式访问账户。此外，Web Scraper Cloud 不支持社交媒体平台（包括 LinkedIn），因此请先确认目标网站是否受限。

这并非其专有功能。云任务通过代理轮换、重试和故障转移来减少中断，而 webscraper.io 表示与受保护网站的兼容性因网站而异。如果验证码经常阻碍您访问目标网站，通常使用能为您处理访问问题的爬取 API 或托管数据服务会更可靠。

对于结构化的公开网站，它具备可扩展性，尤其是在“Scale”套餐下——该套餐按并发抓取器数量计费，提供无限的 URL 配额。但涉及众多动态或受保护网站的大型项目通常会超出其承载能力，因为选择器的维护、并发需求以及代理成本的增长速度，往往会超过套餐价格所暗示的水平。

这取决于具体任务。其他无代码应用适合可视化工作流；AI 提取工具可减少选择器维护工作；Scrapy 或 Playwright 适合需要编写代码的团队；爬取 API 可处理封锁和渲染问题；而数据 API 或数据源则完全免除了维护工作。请根据维护人员的情况选择合适的工具。

网站地图维护完成了吗？只需告知我们数据源、字段及时间表，Managed Data 将为您完成数据采集、质量检查和交付。

更倾向于在自己的代码中进行抓取？Scraper API 提供 5,000 次免费请求，JavaScript 渲染和地理定位无需额外消耗积分，且失败的请求不会产生费用。