开始像专业人士一样使用 Web Stealth Proxy：快速入门指南

米哈伊-马克西姆（Mihai Maxim），2023 年 2 月 20 日

Web Stealth Proxy 是一个由 ML 驱动的代理解决方案，它可以绕过复杂的反僵尸系统，让你搜刮任何网站。使用 Web Stealth Proxy，你只需发送一个请求。我们的系统会处理剩下的事情。得益于其先进的技术和工艺，Web Stealth Proxy 能够领先一步阻止并适应不断变化的网站限制。这意味着您可以相信，您的刮擦过程将保持平稳和不间断，使您能够提取成功所需的数据。

你准备好让你的网页搜索游戏更上一层楼了吗？本快速入门指南提供了开始使用 Web Stealth Proxy 所需的一切。

Web Stealth Proxy 有哪些功能？

无阻塞搜刮- 我们的智能 IP 轮换算法可确保您的 IP 地址不会被阻塞或限制速率

像真实用户一样进行刮擦--借助代理、动态指纹和自定义 cookie，让您的刮擦请求具有有机感

在世界任何地方提取本地化数据 - 使用 Web Stealth Proxy 的 195 个国家和 1 亿多个唯一 IP 收集本地化数据，而不会受到阻止

24/7 实时支持- 随时获得客户支持团队的专业协助

无缝集成- 通过类似代理的单项输入系统，轻松将 Web Stealth Proxy 集成到现有代码中

技术特点

ML 驱动的代理管理-为目标网站选择最佳代理池。

动态指纹识别--自动选择正确的标头、cookie、浏览器属性和代理，以模仿真实用户的行为，掩盖机器人的身份。

自动重试功能--选择新参数，并在失败时重新发送请求。

JavaScript 渲染--我们的无头浏览器可加载网页的全部内容，使您能够轻松搜索动态网站。

会话控制--为每个请求切换不同的 IP，或在最多 5 分钟内保持同一 IP。

购买和订阅信息

Web Stealth Proxy 可让您轻松规划您的刮擦项目。我们根据通过代理成功请求的数量提供五种不同的计划。

免费试用 - 10,000 次请求

启动 - 250 000 次请求

增长 - 500 000 项申请

业务 - 1 000 000 项申请

专业版 - 2 000 000 个请求

有关每个计划的更多信息，请点击此处。

使用网络隐身代理

使用 Web Stealth Proxy 提出请求非常简单，尤其是如果你以前使用过普通的代理服务器进行网络搜刮。请注意，你必须禁用 SSL 证书验证（cURL 中的 -k 开关，Python 中的 verify=false 等）。

Web Stealth Proxy 可通过以下方式获取：

HTTPS at stealthproxy.webscrapingapi.com:8000
HTTP at stealthproxy.webscrapingapi.com:80

你的 Web Stealth Proxy 凭据保存在 Web Stealth Proxy 服务页面的Start Here部分。

下面是一个使用 cURL 进行简单请求的示例：

curl -k -x "http://stealthproxy.webscrapingapi.com:80" \

-U "<YOUR_PROXY_USERNAME>:<YOUR_PROXY_PASSWORD>" \

-X GET "https://httpbin.org/get"

您无需指定任何参数。我们的系统会添加所有标准标头，选择最快的代理并向您发送响应。要使用更高级的功能，如选择特定的代理位置或在多个请求中使用相同的 IP，您可以在请求中加入额外的标头。

您可以在我们的文档中找到更多代码示例。

地理位置设置

通过在请求中传递X-WSA-Geo-Location标头，Web Stealth Proxy 允许你从不同国家发送请求。

以下是如何从位于德国的 IP 地址发送请求的方法：

curl -k -x "http://stealthproxy.webscrapingapi.com:80" \

-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \

-X GET "https://httpbin.org/get" \

--header "X-WSA-Geo-Location: de"

在这里，您可以找到所有支持的地理位置的完整列表。

会话控制

您可以创建并使用新会话，以便对同一网站的多个页面进行抓取，并在每次请求中重复使用相同的代理（IP 地址）。要使用同一 IP，只需在X-WSA-Session-ID标头中添加任意整数值即可。该值将用于识别您创建的新会话：

curl -k -x "http://stealthproxy.webscrapingapi.com:80" \

-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \

-X GET  "https://httpbin.org/get" \

--header "X-WSA-Session: 1234"

您的会话将在最后一次使用后 5 分钟过期。

更多其他语言的代码示例，请点击此处。

自定义页眉

当你想为请求提供额外信息时，自定义 HTTP 头信息非常有用。如果您的请求需要通过自定义 HTTP 头信息，您只需在头信息名称后加上WSA-并将其添加到请求中即可：

curl -k -x "http://stealthproxy.webscrapingapi.com:80" \

-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \

-X GET  "https://httpbin.org/get" \

--header "WSA-random-header: random" \

--header "WSA-User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64)"

请点击此链接查找其他语言的代码示例。

定制饼干

您还可以为目标网站设置自定义 cookie。自定义 cookie 与自定义标头一样处理。要在请求中添加自己的 cookie，只需在发送请求时将名称和值传递给WSA-Cookie自定义标头即可：

curl -k -x "http://stealthproxy.webscrapingapi.com:80" \

-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \

-X GET "https://httpbin.org/get" \

--header "WSA-Cookie: SID=abcd"

在这里可以找到更多不同语言的代码示例。

JavaScript 渲染和屏幕截图

Web Stealth Proxy 使用无头浏览器渲染任何网页的完整内容，并返回生成的 HTML。添加X-WSA-Render:截图以接收网页截图。请求将返回一个包含 base64 加密图像的 JSON 对象：

curl -k -x "http://stealthproxy.webscrapingapi.com:80" \

-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \

-X GET "https://httpbin.org/get" \

--header "X-WSA-Render: screenshot"

单击此处查找其他编程语言的代码示例。

POST 请求

你需要向目标网站发送一些数据吗？Web Stealth Proxy 支持 POST 和 PUT 请求。

curl -k -x "http://stealthproxy.webscrapingapi.com:80"\

-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \

-X POST "https://httpbin.org/get" \

--data '{"foo":"bar"}'

您可以在这里找到更多不同编程语言的代码示例。