用于网络抓取的七大免费代理列表

罗伯特-芒恰努(Robert Munceanu),2021 年 8 月 16 日

在网络搜刮中,你要么使用代理,要么就做不好数据提取工作。当然,你可能不需要拥有数千个数据中心和住宅 IP 的反向连接代理,但你至少需要一些基本的代理。

对于业余爱好者或初学者来说,最大的问题是 IP 通常需要花钱。幸运的是,有免费的代理服务器。事实上,有相当多的选项可供选择。我们对其中的一些进行了探索,并选择了最好的 7 个,这样你就能获得高质量的代理服务器,至少就免费代理服务器而言是这样。

其实,在进入列表之前,我们应该先了解一些细节。免费代理服务器非常好,因为您无需投入任何资金,但它们并不完美。

免费代理的利弊

首先,它们是免费的。这有点显而易见,但却是一个重大优势。想想看,你可以使用我们博客上的任何一个指南,编写你的刮擦器代码,然后与代理一起使用。

关于代理在网络搜刮中的好处有很多,本文将不再赘述。不过,如果你想了解更多,请查看这篇关于轮换代理的文章,我们将在其中介绍 IP 池能带来多大的不同。

遗憾的是,这几乎是免费代理与其他代理相比唯一的优势。现在说说缺点。

由于这些 IP 是免费提供的,每个人都知道它们。因此,网站很可能已经知道了这些地址 ,并已将其屏蔽。要么是已经有人试图访问您感兴趣的网站,结果被封禁了 IP;要么是网站管理员找到了免费代理提供商,复制了所有 IP,并将它们加入了黑名单。这种情况并不总是发生,但经常发生。

免费 IP 通常速度较慢,而且缺乏匿名性。维护代理服务器需要花钱,因此不能指望免费获得高质量的 IP。俗话说,一分钱一分货。

免费代理服务器可能会让您受到黑客攻击。正如我刚才所说,有人无偿提供免费地址有点不寻常。有人这样做的一个邪恶原因是为了监控和复制通过代理的信息。之后,他们可能会将这些信息用于恶意目的。同样,这也不是保证,但您应该保持警惕。

1.WebScrapingAPI

博客图片

WebScrapingAPI与本列表中其他提供商不同的一个重要因素是,该 API 只使用高级代理。这包括住宅和数据中心 IP,以及大量地理位置选项(数据中心 7 个,住宅 40 个,自定义计划 200 多个)。虽然有从 20 美元到 200 美元不等的付费计划,但任何新用户都会获得两周的免费试用期,在此期间他们可以使用 API 的任何功能。

代理轮换由应用程序接口自动处理,因此,除非您特别要求,否则所有请求都将通过不同的 IP 发送。此外,您最多可以同时发送 10 个请求,这意味着您可以充分利用代理池,以极快的速度提取数据。

当然,WebScrapingAPI 不仅提供代理服务器,还提供对搜索器的访问。因此,您无需编写任何代码就能获得高级数据提取工具的所有功能。

免费试用结束后,除非您愿意,否则您仍然不必花一分钱,因为您将降级为免费套餐,每月可使用 1000 次 API 调用,想用多久就用多久。

2.代理扫描

博客图片

ProxyScan是一个集多种实用工具于一体的网站。首先是代理列表。他们声称总共有超过 12000 个代理。虽然这是一个令人印象深刻的数字,但据我了解,这个数字可能会低一些,这可能是因为免费代理不断出现和消失,所以数字可能会有所不同。

在这些代理中,几乎所有都是 SOCKS 4 或 5,只有 100 多个是 HTTP/S。此外,几乎所有代理都是匿名或精英代理,而这两种代理在网络搜索中才是真正重要的。

关于地理位置,ProxyScan 提供 100 多个国家的 IP。虽然并非所有这些国家都有大量代理,但覆盖范围仍然很广。您还可以检查每个 IP 的正常运行时间和 ping,从而轻松选出最佳 IP。

3.代理列表

博客图片

Proxy-list的总体思路似乎是重数量轻质量。该网站总共有 17,000 多个代理,其中大部分是 SOCKS 4 代理。我之所以说它不注重质量,是因为你得不到任何有关 IP 正常运行时间或 ping 的信息。该网站每两小时更新一次名单,并删除无响应的 IP。

在查看他们的列表时,您会看到 IP、端口、匿名级别和国家。与本列表中的其他提供商相比,这些信息略显不足。

您可以按匿名性(透明、匿名或精英)和国家过滤结果。我注意到,您可以在过滤器中选择的一些国家实际上并没有在网站上提供任何代理。因此,不一定能找到来自任何地区的 IP。尽管如此,还是有很多选择的。

除了浏览众多页面外,您还可以下载纯文本或直接下载到剪贴板的列表。虽然这样做速度会快很多,但 txt 文件中只有 IP,因此如果您还想记录端口或来源国,就必须直接从网站上获取。正如你所期望的那样,我建议你刮取网页,而不是手动获取数据。

4.免费代理

博客图片

虽然Free Proxy可能不是最漂亮的网站,但它拥有大量 IP 及其详细信息,以及您需要的所有过滤功能。

IP 总数超过 23000 个,其中大部分是 SOCKS4/5。这些 IP 总共来自 160 个国家。大部分 IP 来自亚洲,但你也可以在世界任何角落找到代理。

如果你查看他们的列表,就会发现大量信息,包括速度、正常运行时间、响应以及距离上次检查的时间。最后一个细节实际上是该服务提供商的弱点之一--许多 IP 很少被检查,很有可能会遇到许多死 IP,尤其是如果距离上次 ping 已经过去了好几天。

要进行导航,您可以按国家、匿名性和协议进行过滤。然后,您还可以按照速度、正常运行时间、响应和 "上次检查 "对结果列表进行排序。因此,不需要花很长时间就能找到你要找的东西。此外,还有一个名为 "导出 IP:端口 "的按钮,可以让你快速复制整个地址,以便添加到你的搜刮工具中。

5.Spys.one

博客图片

与前一个提供商一样,Spys.one提供来自全球各地的各种 IP。他们似乎总共拥有 26.000 多个代理,因此超过了 Free Proxy。但许多 IP 已有数周甚至数月未被检查,因此可能已无法使用。

在导航方面,您可以选择任何标准来过滤列表。您甚至可以按城市进行选择,尽管很多代理实际上并没有指定城市。因此,只有当这一选项对您的使用情况至关重要时,才可以使用它。否则,您可能会忽略一些有价值的可能性。

虽然该提供商似乎拥有大量 IP,但我并不太喜欢它的用户界面,因此获取所有这些 IP 可能比你想象的要麻烦得多。

6.Genode

博客图片

与本列表中的大多数其他网站不同,Genode并不通过广告收入赚钱,而是通过出租高级住宅代理服务器赚钱。但除了这些,他们还维护着一个免费代理列表,任何游客都可以使用。

他们的列表包含近 5000 个代理,分布在众多国家。要浏览该列表,您可以选择国家、匿名级别、代理协议、组织、速度、正常运行时间和上次检查日期。因此,从本质上讲,您可以根据它们提供的所有差异因素进行筛选。

在检查速度时,你会看到一个实际的时间范围(以毫秒为单位)和一个将该 IP 的速度与列表中其他 IP 的速度进行比较的条形图。此外,如果响应时间异常长,数字会显示为红色,这表示可能太慢,无法正常使用。

这些小细节可能会影响你的整体结果,因此,即使与我介绍的其他网站相比,Genode 的代理池本身有点小,但它还是值得在名单上占据一席之地。

7.免费代理列表

博客图片

虽然我不能说 Free Proxy Lists是最漂亮的网站,但它绝对是直奔主题,为您提供了大量 IP 列表。

值得称赞的是,该平台拥有来自 78 个不同国家的代理,这是付费服务提供商可能无法提供的。遗憾的是,其中许多国家的 IP 数量不足 10 个。在许多情况下,该地区只有一个代理。

他们总共有 600 多个 IP,全部使用 HTTP 或 HTTPS 协议,所以如果你需要 SOCKS,就没戏了。

如果只是一页一页地寻找合适的代理服务器,很快就会变得枯燥乏味,但该网站可以让您按国家、端口、协议、匿名性和正常运行时间过滤结果。您还可以通过彩色加载条看到它们的响应和传输速度。虽然不能很好地说明问题,但它们可以帮助您选择速度更快的 IP。

明智选择代理

虽然我理解免费代理的吸引力,并建议您至少尝试一下,但请记住,您的时间也是一种资源。事实上,它可能比金钱更宝贵。

让我详细说明一下:循环使用成千上万个免费代理服务器可能会降低成本,因为你不需要玩高级代理服务器,但这需要你持续关注。IP 经常会停止工作或被屏蔽,这时你就必须找到新的列表并将其添加到脚本中。当出现新的免费 IP 时,您就需要添加它们,因为旧的 IP 迟早会宕机。

从本质上讲,免费代理可以省钱,但需要做一些重复性工作。我建议任何搜索爱好者至少建立一个搜索器,并将其与免费代理一起使用,因为这是一个很好的学习经验。不过,在此之后,您可能只需要及时提供准确的数据,几乎不需要人工干预。

这就是 WebScrapingAPI 背后的思考过程。我们开发的 REST API 可以为您完成大部分工作,这样您就可以集中精力充分利用数据。如果您还没有开始试用,请开始免费试用 WebScrapingAPI,您就可以使用带有密闭代理功能的一流搜索器了!

新闻和更新

订阅我们的时事通讯,了解最新的网络搜索指南和新闻。

We care about the protection of your data. Read our <l>Privacy Policy</l>.Privacy Policy.

相关文章

缩图
使用案例在金融领域利用网络抓取另类数据:投资者综合指南

探索网络搜索在金融领域的变革力量。从产品数据到情感分析,本指南深入介绍了可用于投资决策的各类网络数据。

米赫内亚-奥克塔维安-马诺拉什
作者头像
米赫内亚-奥克塔维安-马诺拉什
13 分钟阅读
缩图
指南如何使用 Node.js 对谷歌购物附近的卖家进行网络抓取

了解如何使用 Node.js 和我们的 API 从 Google Shopping 搜索附近的卖家。使用我们的专业网络搜刮工具快速、轻松地提取有价值的数据。

安德烈-奥吉奥兰
作者头像
安德烈-奥吉奥兰
7 分钟阅读
缩图
指南如何测试代理

使用本指南掌握代理测试。了解如何使用在线工具检查代理连接、位置和匿名性。优化代理使用并排除故障。

米哈伊-马克西姆
作者头像
米哈伊-马克西姆
5 分钟阅读