安全有效地进行网络抓取的最佳反检测浏览器

米赫内亚-奥克塔维安-马诺拉什（Mihnea-Octavian Manolache），2023 年 2 月 23 日

检测是网络搜索行业的一个大问题。这就好比搜刮者和反僵尸系统之间持续不断的猫捉老鼠游戏。使用反侦测浏览器已成为任何希望搜刮数据的人的必备条件。但反侦测浏览器并不局限于网络搜刮。人们还将其用于管理多个社交媒体账户、电子商务等。即使是对隐私感兴趣的用户也能从反侦测浏览器中受益。

今天的文章正是要讨论这方面的问题。我们将讨论反检测浏览器、其使用案例、有效性以及 2023 年应选择哪家供应商。我还将向大家介绍浏览器指纹技术。请做好准备，今天有很多话题要谈。

什么是反侦测浏览器？

反侦测浏览器的定义部分是由名称本身决定的。每个普通浏览器（如 Chrome 或 Firefox）都有自己的在线身份。我们称之为 "指纹"。对浏览器进行指纹识别的方式非常复杂。它与以下方面有关

您的 IP 地址
与请求一起发送的用户代理
浏览器属性

现在，我认为最后一条是最重要的。因为在互联网上，任何人都可以编写一个相对简单的脚本来获取浏览器的某些属性。最重要的是，几乎每次将这些值组合起来，都会生成一个唯一的系统配置。实际上，我们可以将这些属性的字符串化组合值生成哈希值，然后创建一个指纹。例如FingerprintJS或CreepJS。

此外，检测并不局限于窗口。我甚至创建了一个工具，可以通过比较从窗口和 Worker 收集到的值来检测规避行为，例如使用`puppeteer-extra-plugin-stealth` 实现的规避行为。但这是一个更复杂的讨论。目前看来，要想在网上不被发现，最好的办法就是使用反检测浏览器。

我们回到正题。反侦测浏览器是基于已知浏览器的应用程序，经过修改后可接受我们之前讨论过的属性的自定义值。由于 Chromium 或 Mozilla 等项目是开源的，因此任何人都可以分叉它们，创建自己版本的浏览器。反侦测浏览器也是如此。

例如，你也可以克隆Chromium，并对其进行调整，为浏览器的各种属性提供随机值。但实际上，这需要大量的知识和资源。这就是为什么有一些已知的供应商，我们稍后会介绍他们。但首先

反检测浏览器有什么用？

防检测浏览器有很多用例。然而，有些行业对这些浏览器的依赖程度要高于其他行业。这就是为什么我要具体说明反检测浏览器的用例有哪些以及为什么要使用它们。反侦测浏览器的最大优势是匿名性，因此以下是反侦测浏览器最常见的使用情况：

营销机构：联属营销人员或社交媒体机构通常需要管理多个社交媒体账户。实际上，社交媒体平台禁止访问此类活动。在他们看来，理想情况下，一台设备只能管理一个账户。更多的账户可能会导致滥用。由于反检测浏览器可以创建多个身份，因此您可以轻松地使用它们来管理此类活动。
电子商务卖家：亚马逊卖家或代购有一个普遍（但不为人知）的做法，即使用多个账户销售产品。这可以扩大他们的覆盖面，从而增加销售额。同样，大型电子商务平台通常不允许这种做法。同样，反检测浏览器也会发挥作用。
网络搜索：在过去几年中，网络搜索已成为一项真正的挑战。如今，对网络驱动程序（自动浏览器）进行指纹识别比几年前更容易了。你可能已经猜到了，几乎所有网站都在努力避免机器人。由于网络刮擦属于这一类，因此网站通常会试图阻止它们的访问。

反检测浏览器的实际效率如何？

根据供应商的不同，反检测浏览器的效率也不尽相同。在开发 WebScraping API 的隐身模式时，我接触到了各种规避技术。其中之一就是测试反检测浏览器。这可能会让人大吃一惊，但我们能够识别打了补丁的 Puppeteer 和 Selenium 的自动浏览器，却无法识别反检测浏览器。

为了提高效率，我们通过测试发现，用于生成自定义指纹的值对于检测网络驱动程序也很重要。例如，随机值就是 "禁忌"。相反，在生成指纹时，应尽量做到以下几点

使用真实的用户代理
使用与用户代理相匹配的设备平台
添加真实导航插件数组

这只是其中的几个例子。最主要的是要使用真实、匹配的信息。此外，如果您选择了供应商，请尽量听从他们的建议。

2023 年最受欢迎的反侦测浏览器

我在一篇相关文章中说过，最好的反侦测浏览器就是自己制作的浏览器。但老实说，即使你有一个开源项目作为起点，构建一个浏览器也需要耗费大量精力。因此，如果你没有组建团队的资源，最好还是选择这些厂商中的一家：

#1: GoLogin

GoLogin是反侦测浏览器中的新成员。但这并不意味着它的效率就低。我首先注意到的是它的支持渠道。他们不仅可以通过电子邮件或聊天工具提供支持，还可以通过 WhatsApp、Telegram 和 Facebook Messenger 提供支持。GoLogin 的第二个亮点是代理支持。他们的浏览器默认安装了代理服务器。第三点与访问有关。GoLogin 有一个桌面应用程序、一个手机应用程序和一个网络应用程序可供使用。你可以从云端访问他们的工具，这一点令人印象深刻。

浏览器本身基于谷歌 Chrome 浏览器。它被修改为为每个配置文件生成新的指纹。这样做的一个缺点是，它们不是欺骗所有值，而是在某些值上添加噪音。测试表明，这可能会导致更多的验证码，表明反机器人系统仍能发现一些自动活动。

从价格上看，GoLogin 的起价为每月 49 美元，最高可达 199 美元。他们还提供可定制的层级。每月最高 1999 美元，可获得 10.000 个云配置文件和其他好处。如果按年付费，还可享受 50% 的折扣。更多信息，请查看定价页面。总结

#2：多重登录

据其网站介绍，Multilogin 提供 "完全指纹定制 "功能。这意味着你可以完全访问浏览器的属性，并以多种方式对其进行调整。此外，他们还是少数几家不禁用浏览器功能的供应商之一。禁用浏览器功能（如服务工作者）并不是自动浏览器的立竿见影之举。但是，普通用户很少禁用此类功能。这可能会给僵尸检测器亮起红灯。

现在回到 Multilogin。他们的做法是分叉 Chrome 浏览器和火狐浏览器，建立自己的定制版本。他们的图形用户界面允许你快速生成个人配置文件（与指纹相关），或者自己伪造某些值。Multilogin 唯一的缺点是价格。起价为每月 99 美元，最高可达每月 399 美元。这是我写这篇文章时的价格。如需了解最新价格，请查看他们的定价页面。总结一下，这里有一些压缩信息：

#3: AdsPower

与 Multilogin 一样，AdsPower 也提供两种反检测浏览器。一个基于 Chromium，名为 Sun Browser。第二款基于 Firefox，名为 Flower Browser。这两种浏览器都增加了管理浏览器指纹的功能。这款反检测浏览器的有趣之处在于它内置了自动化功能。使用AdsPower 的机器人流程自动化（Robotic Process Automation）自动执行任务几乎不需要编程。

该公司于 2019 年在香港成立，并迅速成长为 Multilogin 的主要竞争对手之一。他们的成功部分归功于浏览器令人惊叹的功能。我认为另一部分原因是价格低廉。AdsPower 甚至还有一个免费层级，可以访问两个配置文件，而他们的专业计划每月只需 50 美元。就个人而言，我认为这是最吸引人的解决方案。最后，我们来总结一下：

#4: X 浏览器

有了 X-Browser，反侦测浏览器本身就是免费的。这是一个非常吸引人的功能。该浏览器由smartproxy提供，可免费下载。这里的 "陷阱 "是，你必须为代理服务器付费。不过，这并没有什么坏处。因为无论使用哪种方式，您都需要代理服务器来隐藏自己的 IP 地址，避免被屏蔽。

将 X-Browser 与自己的代理服务器绑定，既是好事也是坏事。这一次，用户可以相信 smartproxy 会为他们的代理服务器提供优化的解决方案。另一方面，用户只能使用 smartproxy 代理。与单一提供商绑定意味着与他们的服务质量绑定。如果您想扩大活动规模，我认为您需要更大的灵活性。

由于您只需为代理服务器付费，因此 X-Browser 的定价非常合理。他们的数据中心代理服务器每月的价格在 10 美元到 45 美元之间。住宅代理服务器可能有点贵，但这完全取决于你使用的数量。点击这里查看价格。我们来总结一下 X-Browser：

#5: Kameleo

Kameleo 堪称变色龙。它支持所有主要的网络浏览器（Chrome、Safari、Firefox 和 Edge），并可与主要的自动化框架（Puppeteer、Selenium 和 Playwright）一起使用。不仅如此，他们还为移动设备提供指纹定制功能。根据其网站介绍，Kameleo Mobile可用于在任何安卓设备上伪造指纹。

与竞争对手相比，Kameleo 的服务不是以浏览器为中心，而是以浏览器配置文件为中心。也就是说，他们不一定要修改开源浏览器来创建自己的版本。

我们对他们的平台进行了一些尝试，发现其主要缺点是客户支持。它可能真的很慢。除此之外，价格也不错：每月支付 59 至 199 美元。最后，我们来总结一下：

#6: Incognito

Incognito是另一款具有免费层级的反检测浏览器。与 AdsPower 不同的是，它提供 10 个免费的浏览器配置文件。他们的浏览器基于 Chromium，提供的功能与其他反检测浏览器基本相同。该产品还提供一个 API，允许你与无头浏览器进行交互。除了慷慨的免费层，他们的价格从每月 29.99 美元到 149.99 美元不等。我觉得这个价格对他们提供的产品来说还算公道。现在结束：

#7: 林肯球体

Linken Sphere是一款基于 Chromium 的反检测浏览器，由俄罗斯 Tenebris 集团提供。它于 2017 年推出，是市场上历史最悠久的解决方案之一。它的主要缺点是看起来相当阴暗。他们目前只接受比特币支付，并以 Telegram 频道为中心提供支持。此外，它还被用于非法活动，如黑客攻击或欺诈。除此之外，它的工作还算不错。至此，我的文章就告一段落了：

结论

浏览器指纹识别会让网络搜索变得异常困难。如果你想不被发现，你需要覆盖很多方面。代理服务器、验证码求解器和隐蔽的无头浏览器只是可靠的网络搜刮工具的几个 "要素"。所有这些加起来会产生非常高昂的开发和维护成本。另一种方法是使用成熟的第三方网络搜刮服务。而Web Scraping API正是这样的服务。而且，我甚至可以说，这一切的成本只是一小部分。