返回博客
指南
米海·马克西姆2023年2月20日阅读时间:5分钟

开始像专业人士一样使用 Web Stealth Proxy:快速入门指南

开始像专业人士一样使用 Web Stealth Proxy:快速入门指南

Web Stealth Proxy 有哪些功能?

无阻塞搜刮- 我们的智能 IP 轮换算法可确保您的 IP 地址不会被阻塞或限制速率

像真实用户一样进行刮擦--借助代理、动态指纹和自定义 cookie,让您的刮擦请求具有有机感

在世界任何地方提取本地化数据 - 使用 Web Stealth Proxy 的 195 个国家和 1 亿多个唯一 IP 收集本地化数据,而不会受到阻止

24/7 实时支持- 随时获得客户支持团队的专业协助

无缝集成- 通过类似代理的单项输入系统,轻松将 Web Stealth Proxy 集成到现有代码中

技术特点

ML 驱动的代理管理-目标网站选择最佳代理池。

动态指纹识别--自动选择正确的标头、cookie、浏览器属性和代理,以模仿真实用户的行为,掩盖机器人的身份。

自动重试功能--选择新参数,并在失败时重新发送请求。

JavaScript 渲染--我们的无头浏览器可加载网页的全部内容,使您能够轻松搜索动态网站。

会话控制--为每个请求切换不同的 IP,或在最多 5 分钟内保持同一 IP。

购买和订阅信息

Web Stealth Proxy 可让您轻松规划您的刮擦项目。我们根据通过代理成功请求的数量提供五种不同的计划。

免费试用 - 10,000 次请求

启动 - 250 000 次请求

增长 - 500 000 项申请

业务 - 1 000 000 项申请

专业版 - 2 000 000 个请求

有关每个计划的更多信息,请点击此处

使用网络隐身代理

使用 Web Stealth Proxy 提出请求非常简单,尤其是如果你以前使用过普通的代理服务器进行网络搜刮。请注意,你必须禁用 SSL 证书验证(cURL 中的 -k 开关,Python 中的 verify=false 等)。

Web Stealth Proxy 可通过以下方式获取:

HTTPS 地址:stealthproxy.webscrapingapi.com:8000
HTTP 地址:stealthproxy.webscrapingapi.com:80

你的 Web Stealth Proxy 凭据 保存在 Web Stealth Proxy 服务页面的Start Here部分。

仪表盘快速入门页面,显示 Web 隐身代理凭据以及一个带有文档按钮的集成步骤

下面是一个使用 cURL 进行简单请求的示例:

curl -k -x "http://stealthproxy.webscrapingapi.com:80" \

-U "<YOUR_PROXY_USERNAME>:<YOUR_PROXY_PASSWORD>" \

-X GET "https://httpbin.org/get" 

您无需指定任何参数。我们的系统会添加所有标准标头,选择最快的代理并向您发送响应。要使用更高级的功能,如选择特定的代理位置或在多个请求中使用相同的 IP,您可以在请求中加入额外的标头。

您可以在我们的文档中找到更多代码示例

地理位置设置

通过在请求中传递X-WSA-Geo-Location标头,Web Stealth Proxy 允许你从不同国家发送请求。

以下是如何从位于德国的 IP 地址发送请求的方法:

curl -k -x "http://stealthproxy.webscrapingapi.com:80" \

-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \

-X GET "https://httpbin.org/get" \

--header "X-WSA-Geo-Location: de"

在这里,您可以找到所有支持的地理位置的完整列表。

会话控制

您可以创建并使用新会话,以便对同一网站的多个页面进行抓取,并在每次请求中重复使用相同的代理(IP 地址)。要使用同一 IP,只需在X-WSA-Session-ID标头中添加任意整数值即可。该值将用于识别您创建的新会话:

curl -k -x "http://stealthproxy.webscrapingapi.com:80" \

-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \

-X GET  "https://httpbin.org/get" \

--header "X-WSA-Session: 1234" 

您的会话将在最后一次使用后 5 分钟过期。

更多其他语言的代码示例,请点击此处

自定义页眉

当你想为请求提供额外信息时,自定义 HTTP 头信息非常有用。如果您的请求需要通过自定义 HTTP 头信息,您只需在头信息名称后加上WSA-并将其添加到请求中即可:

curl -k -x "http://stealthproxy.webscrapingapi.com:80" \

-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \

-X GET  "https://httpbin.org/get" \

--header "WSA-random-header: random" \

--header "WSA-User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64)"

请点击此链接查找其他语言的代码示例。

定制饼干

您还可以为目标网站设置自定义 cookie。自定义 cookie 与自定义标头一样处理。要在请求中添加自己的 cookie,只需在发送请求时将名称和值传递给WSA-Cookie自定义标头即可:

curl -k -x "http://stealthproxy.webscrapingapi.com:80" \

-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \

-X GET "https://httpbin.org/get" \

--header "WSA-Cookie: SID=abcd"

在这里可以找到更多不同语言的代码示例。

JavaScript 渲染和屏幕截图

Web Stealth Proxy 使用无头浏览器渲染任何网页的完整内容,并返回生成的 HTML。添加X-WSA-Render:截图以接收网页截图。请求将返回一个包含 base64 加密图像的 JSON 对象:

curl -k -x "http://stealthproxy.webscrapingapi.com:80" \

-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \

-X GET "https://httpbin.org/get" \

--header "X-WSA-Render: screenshot"

单击此处查找其他编程语言的代码示例。

POST 请求

你需要向目标网站发送一些数据吗?Web Stealth Proxy 支持 POST 和 PUT 请求。

curl -k -x "http://stealthproxy.webscrapingapi.com:80"\

-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \

-X POST "https://httpbin.org/get" \

--data '{"foo":"bar"}'

您可以在这里找到更多不同编程语言的代码示例。

使用和统计

您可以随时访问 Web Stealth Proxy 服务页面的 "统计 "部分,查看您的信用额度使用情况:

仪表盘使用情况界面,显示代理调用量图表和一个圆形使用情况指示器

每次成功请求只收取 1 个积分。如果请求返回 200 状态代码,则视为请求成功。

结论

Web Stealth Proxy是网络搜索任务的理想选择。无需手动处理验证码、拦截和其他限制,Web Stealth Proxy 可为你处理解除拦截过程,成功率高(通常为 100%)。

如果您对 Web 隐身代理服务器有任何其他问题或需要使用帮助,我们的支持团队随时准备为您提供帮助。请随时通过即时聊天或电子邮件联系我们,我们很乐意为您提供所需的指导。

关于作者
米海·马克西姆,WebScrapingAPI 全栈开发工程师
米哈伊-马克西姆全栈开发工程师

米海·马克西姆(Mihai Maxim)是 WebScrapingAPI 的全栈开发工程师,他在产品各领域均有贡献,并协助为该平台构建可靠的工具和功能。

开始构建

准备好扩展您的数据收集规模了吗?

加入2,000多家企业,使用WebScrapingAPI在无需任何基础设施开销的情况下,以企业级规模提取网页数据。