网络抓取工具终极清单

Gabriel Cioci，2021 年 3 月 29 日

正如网络刮擦工具有大量的使用案例一样，也有大量的工具可供选择。其中有些是免费的，有些非常容易使用，有些可以快速处理大量数据。有些工具则具备以上几种优势，甚至更多。

面对种类繁多的解决方案，人们很容易被细节所迷惑，最终不知道到底该选择什么样的产品。

我们撰写这篇文章的目的是引导您完成选择过程，帮助您找到最适合的工具来满足您的网络搜索需求。

让我们开始吧！

有哪些数据提取工具？

在深入研究清单并试图找到最适合自己的工具之前，最好先了解一下现有的不同类型的刮刀。所有属于同一类别的工具都有几个共同特点。了解自己需要哪种类型的工具会加快寻找过程。

首当其冲的是 网络扫描应用程序接口。

应用程序编程接口（API）是连接多个程序的计算接口。程序员使用它们来定义一种精确的方法，通过这种方法，上述软件可以进行通信和发送数据。

从本质上讲，应用程序接口（API）连接着不同的程序，使它们能够协同工作，而不需要完全相同的架构和参数。有了它，你可以创建使用大量不同程序的日益复杂的系统。

我们将分析十个数据提取 API：

• WebScrapingAPI
• ScrapeHero
• 扫瞄器应用程序接口
• ScraperBox
• ZenScrape
• Scrapingdog
• Diffbot
• 扫描机器人
• ScrapingBee
• ScraperStack

下一个被淘汰的是可视化网络搜索工具。与 API 不同，这些产品注重易用性和用户体验，而不是与其他软件的集成。

这些工具既可以在电脑上运行，也可以直接在浏览器中运行，并为您提供一个界面（通常是点选式），您可以通过该界面选择要搜刮的内容。这就是 "可视化 "部分。

除了用户输入方面的差异，可视化工具与应用程序接口（API）也很相似。它们具有大致相同的功能，但应用程序接口往往价格较低。不过，你还是会看到不同产品之间的差异。

在本文中，我们将向你展示五种可视化网络搜刮工具：

• OutWit Hub
• Import.io
• Octoparse
• ParseHub
• Dexi.io

最后，我们将介绍用于构建网络刮擦程序的编程工具。制作自己的网络搜刮器确实需要一些工作和知识，但它仍然是可行的。无论你是想以尽可能少的花费提取数据，还是只是觉得制作自己的机器人很有吸引力，你都不必从头开始。

不同的库、框架和各种代码位都可以在网上免费找到，并用于创建您的搜索器。从某种意义上说，你实际上不需要编写搜索所需的大部分代码，只需找到它们并将它们集成到你的脚本中即可。

虽然有些功能（如 Javascript 渲染）可以很容易地安排，但代理仍然是个问题。毕竟，服务器维护需要花钱，而依赖公共代理既低效又有风险。因此，如果你想创建一个有效的工具，创建你的 scraper 仍然意味着要花费一些钱。

为了让您的工作更轻松，您应该了解一下：

• Scrappy - Python
• 美丽的汤 - Python
• Axios - Node.js
• Cheerio - Node.js
• 傀儡师 - 无头浏览器

您应该尝试的 10 个网络搜刮应用程序接口

1.WebScrapingAPI

WebScrapingAPI是一个 REST API，旨在让开发人员在提取数据时更轻松。该工具具备以下功能

• Javascript 渲染
• 对任何类型的网站或页面进行大规模刮擦操作
• 1 亿多个数据中心、住宅和移动代理
• 多达 195 个可用地点的地理定位功能
• 旋转代理
• 验证码、指纹识别和 IP 拦截防范
• 自定义标题、粘性会话和超时限制
• 可使用多种编程语言与其他软件产品进行简单集成
• 无限带宽

与本列表中的任何 API 一样，您需要有一定的编程经验才能立即开始刮削。文档内容通俗易懂，即使是非开发人员，只要稍有耐心也能掌握窍门。

您也可以自由选择如何使用应用程序接口。文档涵盖了以下编程语言：Curl、Python、Javascript、Ruby、PHP、Java、C# 和 Go：Curl、Python、Javascript、Ruby、PHP、Java、C# 和 Go。

对于快速和简单的工作，API playground 就足够了。您可以在界面上设置所需的参数，并立即获得 HTML 代码。

该应用程序接口（以及列表中的许多其他工具）的一个亮点是，它有一个免费付费系统。你可以选择免费计划，每月获得 1000 次免费 API 调用。

2.ScrapeHero

ScrapeHero的开发人员决定采取不同的方法，而不是专注于一个适用于所有情况的 API。他们构建了多个 API，每个 API 都有一个特定的目标。

其结果是，他们的应用程序接口可以很好地搜刮预定目标，但对其他网站却不起作用。因此，如果您有多个目标要提取数据，就需要多个不同的 API。这在理论上听起来很糟糕，但价格并不像其他产品那么高。

此外，ScrapeHero 还为客户构建定制的网络搜刮 API。从某种意义上说，这就像是在制作你自己的个人搜刮工具，专为你的需求而设计，但不需要所有的工作。当然，你得花更多的钱。

除定制解决方案外，他们还提供应用程序接口：

• 亚马逊产品详细信息和定价；
• 沃尔玛产品详情和价格；
• 亚马逊产品评论和评分；
• 亚马逊搜索结果；
• 亚马逊报价列表；
• 亚马逊畅销书；
• 新闻

正如你所看到的，他们的重点是亚马逊，这是有道理的。亚马逊是最著名的在线市场，而且它还通过使用不同的布局来阻止在其页面上进行网络搜刮。

3.刮板 API

Scraper API非常注重代理功能，它为开发人员提供了大型刮擦项目所需的所有功能，几乎不存在任何问题。具体来说，他们的优质代理池、反验证码功能和 Javascript 渲染功能意味着你几乎可以毫无障碍地获得所有需要的数据。

应用程序接口会自动重试失败的请求。再加上令人印象深刻的扫描速度，您在提取数据时不太可能遇到问题。

与其他 REST API 一样，该产品使用标准数据导出格式--JSON。对于开发人员来说，另一件很酷的事是他们提供了适用于 NodeJS、Phyton、Ruby 和 PHP 等编程语言的软件开发工具包。

Scraper API 没有免费层级，但他们提供一次性试用套餐，可免费调用 1000 次 API。因此，你可以在花钱之前先试用一下。

4.刮板盒子

ScraperBox是一款快速、简单易用的应用程序接口，具备所有基本功能，是一款极具吸引力的工具。

他们使用真正的 Chrome 浏览器，确保 Javascript 不会成为用户的障碍。他们使用住宅代理服务器，尽可能使搜刮器不被察觉，并在世界各地提供多个位置选项，以确保速度和可访问性。简而言之，这就是好东西。

与 ScrapeHero 一样，开发人员也决定开始开发在特定情况下运行良好的专用 API。除了主打的网络搜刮工具外，他们还开发了一个专门用于从谷歌搜索结果页面中提取数据的 API。现在，他们正在开发一个用于 Linkedin 的搜索器。由于社交媒体页面有登录界面和其他刮擦障碍，他们的新项目可能会很有帮助。

与其他 API 不同的是，它们的文档目前仅限于 Curl、Python、Javascript 和 PHP。虽然这还不错，但如果能支持更多编程语言就更好了。

另一个值得注意的事实是他们的定价--产品相对便宜。此外，他们还提供永久免费计划，每月可调用 1000 次 API，因此 ScraperBox 成为一个相当不错的选择。

5.ZenScrape

ZenScrape的一个亮点是其主页上的互动演示。几乎所有的网络抓取 API 都会有一个 API 游戏场地，你可以通过它直接在网站上获取数据。不同的是，ZenScrape 为任何访问者都提供了一个这样的版本。你没有任何自定义选项，但它仍然是一个很酷的演示。

同样，您还可以查看其 API 端点在过去 90 天内的状态。

好了，现在让我们来谈谈功能。

他们拥有数以百万计的代理服务器，包括轮换功能。虽然他们没有说明具体有哪些类型，但同一团队也提供住宅代理服务。因此，虽然还不清楚什么是普通代理或高级代理，但您很可能可以使用住宅 IP。

该应用程序接口使用无头 Chrome 浏览器来渲染 Javascript，以便从静态和动态网站获取数据。

总之，开发人员似乎对自己的产品和提供的客户支持都很有信心。

6.Scrapingdog

Scrapingdog拥有 700 万个住宅代理服务器和 4 万个数据中心 IP，是一个相当大的代理服务器池。与其他应用程序接口一样，它也会轮换所述 IP，以降低搜索器被拦截的可能性。

再加上一个无头浏览器，这就是一个真正的数据提取工具。

您也可以尝试一下，因为他们为每种套餐都提供了试用期，您可以随时选择退出。选择套餐时，请考虑您将获得和使用的信用点数。一次简单的 API 调用（不含 JS 渲染或高级代理）只需一个信用点数，但 "价格 "会根据具体调用所需的功能而上涨。

7.Diffbot

Diffbot团队致力于通过新功能和新技术推动网络搜索的发展。虽然他们有一些令人兴奋的数据分析相关产品，但我们将重点介绍他们的网络刮擦服务。

他们有七个网络搜刮应用程序接口，每个都侧重于人们可能想要收集的不同类型的信息：

• 分析应用程序接口--作为功能最全面的程序，它能识别接收到的页面类型，并返回该页面上遇到的不同类型内容的结构化数据
• 文章应用程序接口（Article API）--侧重于文本，可同时返回内容和相关标识符，如作者或出版日期
• 产品应用程序接口（Product API）--专为电子商务页面设计，该应用程序接口可返回各种产品详细信息，包括价格和制造商，但也会在适用时尝试识别独特规格。
• Discussion API - 专注于从论坛主题、文章评论或产品评论中获取信息的搜索器
• 图像 API - 用于从图像 URL 或图像较多的页面中获取信息
• 视频应用程序接口 - 与上一个相同，但重点是视频而不是图像

如您所见，与其他 API 相比，Diffbot 更专注于数据处理。它仍然提供网络刮擦工具所需的基本功能，如 JS 渲染和代理选项。选择这些选项会消耗更多的点数，因此只有在必要时才应激活。

有了这些附加技术，Diffbot 的价格普遍高于本列表中的许多其他产品也就不足为奇了。您可以根据自己的刮除需求来决定它是否是一个经济实惠的选择。

8.扫描机器人

说到这里，你可能会发现这些产品的名称都有一个共同的主题，"scrape "是一个非常常见的术语，而 "bot "也不遑多让。

首先，ScrapingBot 使用无头 Chrome 浏览器渲染 Javascript，确保你能获得任何页面背后的 HTML 代码。该选项必须打开，而且 API 调用会消耗额外的点数，所以不要养成一直打开的习惯。

其次，他们有标准代理和高级代理，在选择 IP 时还有很多不同的国家可供选择。我们找不到代理池的编号。

与本列表中的其他产品一样，ScrapingBog 也为特定用例提供了一些不同的应用程序接口：

• 原始 HTML API - 返回页面背后代码的标准产品
• 房地产应用程序接口 - 用于更快、更自动化地处理房地产数据，返回价格、位置和地表等详细信息
• 零售应用程序接口 - 与前一个相同，但侧重于电子商务网站上的产品

ScrapingBot 有一个免费计划。虽然允许调用的 API 数量有限，但它可以让你在花钱之前测试 API。

9.ScrapingBee

另一个竞争者ScrapingBee 可同时处理无头浏览器和代理旋转，确保用户在提取所需数据时不必担心被屏蔽。

由于他们在自己的机器上管理着数以千计的无头浏览器，因此你不必担心这些程序会拖慢你自己的电脑。

通过选择使用高级代理，API 还允许您从其拥有 IP 的国家列表中进行选择。这样，您就可以避开特定地区的内容屏蔽。

对于全球各地的非开发人员，ScrapingBee 还提供了创建自定义刮擦脚本的选项，特别是针对他们的需求量身定制。虽然这意味着额外的费用，但也简化了客户的流程。

虽然该产品没有免费计划，但你可以一次性获得 1000 个免费 API 调用包，随意使用。

10.ScraperStack

在我们的 API 列表中，最后但并非最不重要的是ScraperStack。他们的产品每月处理超过十亿个请求，因此可扩展性是必然的。

一开始，他们还在主页上提供了一个实时演示。您不能对请求进行自定义，而只能选择要搜刮的页面，但它仍然是 API 概念的明确证明。

ScraperStack 3500 多万个代理（包括标准代理和高级代理）虽然不是本列表中最大的代理池，但却能很好地确保用户获取数据而不必担心被屏蔽。此外，他们还可以访问一百多个国家的 IP。

不过在选择付款计划时要注意。基本计划只提供标准代理服务器的访问权限，如果你要搜索亚马逊或谷歌等复杂网站，这可能不适合你。

你应该试试的 5 款可视化网络搜刮软件

1.OutWit 中枢

我们决定以OutWit Hub 作为可视化搜索软件列表的开头，它是一个典型的例子，说明了这类产品的优点，也许还有一些缺点。

你在本文中看到的大多数产品都采用 SaaS 业务模式。OutWit Hub 的做法有些不同。你可以选择按年订购，这样可以确保你始终拥有最新版本的产品。或者，你也可以选择一次性付款，获得软件和未来 12 个月内出现的任何更新，但之后，你将只能使用当前版本。

总之，让我们看看刮板的作用吧。

它有一个内置浏览器，通过该浏览器，你可以抓取整个页面的 HTML 代码，或选择你想要的特定部分。除了代码，它还可以存储图片。导出数据也非常快捷，只需指定信息的保存位置和格式即可。

不足之处是，OutWit Hub 不提供任何形式的代理轮换或反验证功能，因此虽然该产品非常易于使用和访问，但它能搜刮的网页有限。

2.Import.io

OutWit Hub 非常适合小型项目，而Import.io则专注于为各类企业提供优质的企业解决方案。

使用 Import.io 收集数据的工作原理是这样的：

1. 你可以选择一个要抓取的页面，并将其 URL 添加到 Import.io；
2. 该程序利用机器学习来尝试理解页面内容；
3. 您可以决定软件是否识别出了正确的数据，也可以手动选择所需的数据；
4. Import.io 在界面中收集所有符合您的标准的数据实例。它还会通知您是否有其他具有类似数据的连接页面，并询问您是否也想自动搜刮这些页面。
5. 您可以下载首选格式的所有数据。

除了点击界面带来的易用性，您还可以为您的刮擦项目创建工作流程和时间表。

如果您想获得更高级的功能，编程经验肯定会派上用场。如果没有，公司还可以为您定制脚本，作为一项额外服务。

3.Octoparse

Octoparse是可视化网络搜刮软件易用性的光辉典范。

你只需粘贴你感兴趣的页面的 URL，然后开始点击你想抓取的页面部分。产品会生成一个包含上述数据的列表文件。您可以将信息保存到数据库，导出为 CSV 或 Excel 文件，或将其传递给 API。

如果需要从某些页面不断获取数据，也可以提前安排数据提取流程。

虽然 Octoparse 产品是一款下载到电脑上的软件，但其云服务可确保您的项目在关机状态下仍能继续进行。

简单的任务对知识要求不高，但使用复杂的功能却很困难。为了帮助您解决这个问题，Octoparse 提供了多个平台使用教程，还可以聘请专家为您提供服务。

从本质上讲，Octoparse 可为您提供不同级别的易用性，具体取决于您的项目有多难、您使用网络刮擦工具的经验有多少以及您愿意花多少钱。

4.ParseHub

ParseHub拥有友好的用户界面，适合任何专业人士使用，同时在引擎盖下运行大量高级功能。

该公司拥有一批代理服务器，您可以访问和使用它们，其中包括自动轮换功能。此外，它还可以扫描 Javascript、Ajax、无限滚动和其他可能阻止基本数据提取工具的元素。

除了点击界面外，开发人员还可以使用正则表达式自动收集和处理所需的数据。ParseHub 还有一个应用程序接口（API），对于希望将收集到的数据自动发送到其他软件或移动应用程序的客户来说非常有用。

总之，ParseHub 对开发人员和没有编码知识的人都很有吸引力。当然，ParseHub 的价格并不是本列表中最低的，但这也在意料之中，因为它提供了许多开箱即用的功能。

5.Dexi.io

Dexi.io是本文介绍的第五个，也是最后一个可视化网页抓取工具。与上述工具类似，它的基本用户体验是点击要从网页中提取的数据类型，然后让软件开始工作。

要使用 Dexi.io 搜刮页面，基本上需要借助其平台创建自己的搜刮机器人。在创建过程中，您可以添加自己编写的代码，但即使是非开发人员，也可以通过使用界面轻松无忧地完成创建过程。

一旦创建了机器人，它就可以立即在类似页面上工作。因此，根据您的需要，"设置 "阶段可能很短。不过，如果你需要从不同的网站收集大量数据，那就意味着你要付出一些努力。

Dexi.io 平台还允许您构建爬虫，因此如果您知道如何有效使用该软件，您的网络搜索项目的很大一部分都可以实现自动化。

或者，您也可以让他们的开发人员为您定制一个机器人。毫无疑问，这种方式的成本会更高，但如果您有非常特殊的使用情况，又没有时间或经验来构建自己的机器人，这种方式就非常有用。

您应该尝试的 5 种编程工具

1.废料

Scrapy是最著名的开源网络抓取框架之一，对于想用 Python 构建和扩展自己的网络抓取工具的人来说，它是一个很好的起点。

Scrapy 的主要功能是帮助开发人员更快地创建蜘蛛，并在大型项目中重复使用他们的代码。通过使用该框架，你可以制作类似下面这样的基本脚本：

• 蜘蛛从您指定的 URL 开始；
• 脚本会按照你想要的方式收集和解析你想要的数据；
• 蜘蛛会识别链接，并用新的 URL 重复这一过程，除非您指定不这样做。

Scrapy 的一大优点是，它发送的请求都是异步安排和处理的。刮板不会一次访问一个页面，如果遇到错误就会完全崩溃。相反，它会访问不同的页面，并尽可能快地完成工作。此外，如果它在一个页面上遇到问题，也不会影响它在其他页面上的成功。

速度和机器人普遍存在的一个问题是，它们会对所抓取网站的性能造成不良影响。毕竟，在短短几分钟内收到上千个请求会给服务器造成压力。Scrapy 有一个解决方案--你可以限制并发请求并设置下载延迟。

2.美汤

当你接触到网页背后的代码后，Beautiful Soup库就成了你的救星。毕竟，如果你想为收集到的数据找到任何用武之地，首先必须能够理解和分析这些数据。

说白了，从网页中抓取 HTML 代码只是完成了一半的工作。你需要的是信息，而一长串 HTML 并不完全有用。你可以自己对所有代码进行分类和处理，但这需要花费更多的时间和脑细胞。Beautiful Soup 可以帮你完成大部分工作。

一个页面的内容将被结构化为具有不同属性的不同类别。Beautiful Soup 可帮助开发人员通过上述属性识别这些内容。对于一个包含各种类和元素的大型页面来说，查找和提取自己想要的内容既费时又费力，但有了这个漂亮的库就不一样了。

另一种方法是使用 Beautiful Soup 检查特定关键词，并将这些段落添加到最终文档中。网络搜刮有许多不同的用例和需求，而 Beautiful Soup 可以帮助满足所有这些需求。

3.Axios

使用 Node.js 构建 Web scraper 的第一站应该是Axios。原因很简单：这是获取网页 HTML 代码的最简单方法。

Axios 是基于承诺的 HTTP 客户端，这是它的一大优势，因为它使代码更容易阅读，使错误识别更容易，并确保刮擦过程中的所有步骤都按正确的顺序进行。

要获得急需的 HTML 代码，只需安装 Axios 并添加一行代码即可：

axios.get('URL')

在 "URL "中，只需添加你想抓取的页面即可。你可以为你感兴趣的每一个 URL 添加一行，也可以添加一个搜索器，使整个过程不再依赖于开发人员。

4.加油

就使用 Node.js 进行网络刮擦而言，您有很多库可供选择。Cheerio是其中最好的一个，因为它大大简化了任何项目的解析部分。

另外，它使用的语法与jQuery 基本相同，因此许多开发人员会立即熟悉如何使用它。

还记得我们在看 "美丽的汤 "时说过的话吗？数据只有在你能理解的情况下才会有用，而格式化的 HTML 代码并不容易理解，这就是为什么你必须对代码进行解析。有了 Cheerio，一切都变得简单多了。

例如，如果要抓取页面中的所有 H2 元素，如果没有 Cheerio，就会像这样：

document.querySelector("h2")

但在图书馆，它只是：

$('h2')

乍看之下，这似乎没什么，但它更容易理解，更容易编写，而且可以累积起来，特别是对于更复杂的项目。

请记住，Cheerio 可以很好地进行解析，但您仍然需要一些东西来实际下载页面的 HTML 代码。

5.木偶师

Puppeteer由谷歌公司设计，是一个 NodeJS 库，通过提供高级 API 来控制 Chrome 或 Chromium。不同之处在于，用户可以使用它与网站进行交互，而无需任何常见的用户界面。当你需要浏览大量网页时，这可以节省时间，但更重要的是，它可以模拟在浏览器环境中的正常使用。

虽然 Puppeteer 在网络搜刮（如网站测试）之外也有很多用途，但如果你想从动态网站中提取数据（这些网站在显示 HTML 代码之前必须渲染 Javascript 或 Ajax），它也是一款不错的工具。

你还可以用 Puppeteer 做更多很酷的事情，比如给浏览的页面截图或将其转化为 PDF 文件。如果你想将数据保存为可视化组件，而不仅仅是文本字符串，这一点尤其有用。

如何从中选择合适的工具

寻找合适的软件通常并不是寻找功能最齐全的产品。事实上，一个工具拥有更多功能并不一定意味着它们会对你有额外的帮助。

首先，您应该考虑您的使用案例以及与之相关的具体需求。前面介绍的许多产品都适用于各种不同的情况，但这并不是最重要的。重要的是，它必须符合您的需求。

说到编程工具，你肯定应该使用清单中的几种，也许还应该加上一些我们没有涉及到的工具。

最后，我们想提醒大家，我们介绍的许多程序都有免费计划或至少是试用版。因此，如果你有时间，不妨试试看，看看它们的性能如何。我们将为您提供更多便利--请点击此处注册 WebScrapingAPI 账户，即可获得 1000 个免费 API 调用，供您随意使用！