数据中心代理

数据中心代理,实现高吞吐量

在目标网站接受数据中心流量时，通过数据中心代理进行大规模采集。客户端、解析和存储仍由您掌控。

查看数据中心代理的价格审查买家适应性

数据中心产品网络身份类别
经过测试的 Target在规模之前检查接受
根据产能范围预定前确认的分配
客户运营收集器,重试,分析和存储

数据中心代理将客户端请求转发到公开网页。

适合买家

在接受数据中心流量的网站扩大采集规模

强大的评价候选人

你的收藏器已经是你的操作.

在评估数据中心原始路线时,保持HTTP客户端,浏览器或爬虫器,以实现稳定可重复的工作负载.

代表 targets接受数据中心流量.
需求已被充分理解,以满足产能范围.
你的团队拥有重试,分析,存储和质量.

在规模之前验证

Target接受是一个工作负载属性,而不是一个类别的承诺.

在承诺分配之前,测试代表性合格的公开页面,成功标准,响应处理和保守的请求行为.

审查来源条款和预期使用.
测量收藏员收到的target的回复.
现在的报价和工作量相匹配.

如果需要,选择另一条路径

操作模型或target需要不同的身份.

如果身份类别重要,请评估住宅或ISP 代理或网络访问API,

住宅代理 ISP 代理

提供控制

连接和位置选项

为采集程序设置国家、会话和身份验证选项。确认套餐支持的位置及连接信息。

服务器侧的定位器not an endpoint

WSA_DATACENTER_PROXY_URL=<PROVISIONED_PROXY_URL>

Target接受: 测试
连接详情: 确认
商业范围: 确认

检查可用性

分配模式

分享基线,峰值窗口和连续性要求,以便拟议的容量和分配模型与您的工作负载相匹配.

终点和身份验证

仅使用在配置过程中提供的帐户特定端点和身份验证方法.

协议和客户端适应性

通过支持的协议来查看您的帐户,然后检查配置配置是否清洁地映射到您的代理客户端.

地理和身份

处理数据中心原产身份作为已知类别. 使用可供预定路线的地理选项和选择行为.

没有公布的通用终点.下面的例子使用环境占用地,因此工程仅从提供连接细节开始.

产能和连续性

规划会话和容量

您的收藏器定义了同时,时间过期和重新尝试行为. 调整预定分配和任何转换,持久性或会议行为与这些要求.

Collector brief

Bring the demand shape.

基线: 预期稳定要求模式
峰值: 已知窗户和工作负载变化
连续性: 流量可能需要持续路线
失败政策: 时间限制,重新设定天花板,停止规则

Provisioned route

Match route behavior to the workload.

Capacity: 01Match the tested workload
Allocation: 02Use the proposed model
Sessions: 03Use rotation or persistence rules
Geography: 04Apply available selection controls

01
基线测试
执行对符合条件的公众 target的代表性请求.
02
顶峰窗口测试
练习需求形状,而不绕过收藏器的限制.
03
失败路径测试
检查时间,再试,退休,停止行为.

开发人员集成

从服务器接入

存储帐户特定连接细节在受保护的服务器端环境变量中.这些通用模式故意不会发布或暗示一个WebScrapingAPI终端点.

01 连接前的配备

供应第一,集成第二.

在部署客户端配置之前,评估代表性targets和提供终端点,身份验证,协议,地理位置,分配和定价.

要求连接审查

代理URL: 提供价值
证书: 仅服务器端
时间休息和重试: 您的申请
分析和存储: 您的申请

test -n "$WSA_DATACENTER_PROXY_URL" || exit 1

curl --fail --show-error \
  --proxy "$WSA_DATACENTER_PROXY_URL" \
  "https://example.com/public-page"

test -n "$WSA_DATACENTER_PROXY_URL" || exit 1

curl --fail --show-error \
  --proxy "$WSA_DATACENTER_PROXY_URL" \
  "https://example.com/public-page"

import java.net.*;
import java.net.http.*;

public class DatacenterProxyExample {
    public static void main(String[] args) throws Exception {
        var host = System.getenv("WSA_DATACENTER_PROXY_HOST");
        var port = System.getenv("WSA_DATACENTER_PROXY_PORT");
        var username = System.getenv("WSA_DATACENTER_PROXY_USERNAME");
        var password = System.getenv("WSA_DATACENTER_PROXY_PASSWORD");
        if (host == null || port == null || username == null || password == null) {
            throw new IllegalStateException("Missing provisioned Datacenter Proxy values");
        }
        var address = new InetSocketAddress(host, Integer.parseInt(port));
        var client = HttpClient.newBuilder()
            .proxy(ProxySelector.of(address))
            .authenticator(new Authenticator() {
                protected PasswordAuthentication getPasswordAuthentication() {
                    return new PasswordAuthentication(
                        username,
                        password.toCharArray()
                    );
                }
            })
            .build();
        var request = HttpRequest.newBuilder()
            .uri(URI.create("https://example.com/public-page"))
            .GET()
            .build();
        System.out.println(client.send(
            request, HttpResponse.BodyHandlers.ofString()
        ).body());
    }
}

import java.net.*;
import java.net.http.*;

public class DatacenterProxyExample {
    public static void main(String[] args) throws Exception {
        var host = System.getenv("WSA_DATACENTER_PROXY_HOST");
        var port = System.getenv("WSA_DATACENTER_PROXY_PORT");
        var username = System.getenv("WSA_DATACENTER_PROXY_USERNAME");
        var password = System.getenv("WSA_DATACENTER_PROXY_PASSWORD");
        if (host == null || port == null || username == null || password == null) {
            throw new IllegalStateException("Missing provisioned Datacenter Proxy values");
        }
        var address = new InetSocketAddress(host, Integer.parseInt(port));
        var client = HttpClient.newBuilder()
            .proxy(ProxySelector.of(address))
            .authenticator(new Authenticator() {
                protected PasswordAuthentication getPasswordAuthentication() {
                    return new PasswordAuthentication(
                        username,
                        password.toCharArray()
                    );
                }
            })
            .build();
        var request = HttpRequest.newBuilder()
            .uri(URI.create("https://example.com/public-page"))
            .GET()
            .build();
        System.out.println(client.send(
            request, HttpResponse.BodyHandlers.ofString()
        ).body());
    }
}

using System.Net;

var proxyHost = Environment.GetEnvironmentVariable("WSA_DATACENTER_PROXY_HOST")
    ?? throw new InvalidOperationException("Missing WSA_DATACENTER_PROXY_HOST");
var proxyPort = Environment.GetEnvironmentVariable("WSA_DATACENTER_PROXY_PORT")
    ?? throw new InvalidOperationException("Missing WSA_DATACENTER_PROXY_PORT");
var proxyUser = Environment.GetEnvironmentVariable("WSA_DATACENTER_PROXY_USERNAME")
    ?? throw new InvalidOperationException("Missing WSA_DATACENTER_PROXY_USERNAME");
var proxyPassword = Environment.GetEnvironmentVariable("WSA_DATACENTER_PROXY_PASSWORD")
    ?? throw new InvalidOperationException("Missing WSA_DATACENTER_PROXY_PASSWORD");
var proxyUri = new Uri("http://" + proxyHost + ":" + proxyPort);
var proxy = new WebProxy(proxyUri) {
    Credentials = new NetworkCredential(proxyUser, proxyPassword)
};
using var client = new HttpClient(new HttpClientHandler { Proxy = proxy }) {
    Timeout = TimeSpan.FromSeconds(30)
};
Console.WriteLine(await client.GetStringAsync(
    "https://example.com/public-page"
));

using System.Net;

var proxyHost = Environment.GetEnvironmentVariable("WSA_DATACENTER_PROXY_HOST")
    ?? throw new InvalidOperationException("Missing WSA_DATACENTER_PROXY_HOST");
var proxyPort = Environment.GetEnvironmentVariable("WSA_DATACENTER_PROXY_PORT")
    ?? throw new InvalidOperationException("Missing WSA_DATACENTER_PROXY_PORT");
var proxyUser = Environment.GetEnvironmentVariable("WSA_DATACENTER_PROXY_USERNAME")
    ?? throw new InvalidOperationException("Missing WSA_DATACENTER_PROXY_USERNAME");
var proxyPassword = Environment.GetEnvironmentVariable("WSA_DATACENTER_PROXY_PASSWORD")
    ?? throw new InvalidOperationException("Missing WSA_DATACENTER_PROXY_PASSWORD");
var proxyUri = new Uri("http://" + proxyHost + ":" + proxyPort);
var proxy = new WebProxy(proxyUri) {
    Credentials = new NetworkCredential(proxyUser, proxyPassword)
};
using var client = new HttpClient(new HttpClientHandler { Proxy = proxy }) {
    Timeout = TimeSpan.FromSeconds(30)
};
Console.WriteLine(await client.GetStringAsync(
    "https://example.com/public-page"
));

保持连接界限在服务器上.

勿在浏览器提供的代码,公共存储库,截图,分析或客户端日志中暴露终端点或凭证.

运营所有权

我们负责的部分与您控制的部分

客户端负责请求、重试、解析和存储。我们提供代理连接及为账户约定的配置。

WebScrapingAPI

提供代理路线

WebScrapingAPI运行提供数据中心原始路线和特定账户连接控制.

您的团队

收集器和数据工作流程

你的团队拥有target的选择,请求政策,客户端逻辑,同步性,时间,重试,分析,存储和下游质量.

01
合格
选择符合条件的公共target号,并验证数据中心接受.
02
提供
设置连接,分配,地理位置和定价范围.
03
收藏
您的客户通过预定路线发送请求.
04
运行
您的团队处理重复试验,分析,存储和质量控制.

仅用于符合条件的公共网页. 审查源条款,适用的要求和服务协议后者将采取保守的请求和保留政策.

使用情况

根据批准的源组接受的情况,应应用可预测的容量.

代理选择

比较可选方案

对于数据中心,住宅和ISP代理路线的买家适合性比较
决定	数据中心	住宅	提供商
网络身份	数据中心原产 IP	实际住宅IP	与ISP相关的IP
买家镜头	经济,可预测的高吞吐量适合接受数据中心流量的符合条件的target	评估工作流需要居住身份	评估工作流需要与ISP相关的身份
Target接受	验证代表 targets 之前的规模	验证代表 targets 之前的规模	验证代表 targets 之前的规模
控制	提供供应	审查专用产品详细信息	提供供应
客户所有权	收集器,重试,分析和存储	收集器,重试,分析和存储	收集器,重试,分析和存储

向水平,将三个代理类别进行比较.

选择数据中心代理当

您的团队运营了全集堆,可预测的容量问题,代表性符合条件的公众 target 接受数据中心起源路线.

进行所有代理产品的比较查找代理位置讨论类别适合性

价格和储备

获取符合需求的报价

适合检查

开始从targets,然后要求形状.

股票代表性符合条件的公众 targets,基线需求,峰值窗口,连续性需求和预期响应处理.

Target 接受和预期使用
收藏者同步和失败政策
地理和连续性要求

检查可用性

提供范围

在生产前了解完整的报价.

建议的报价应该明确技术和定价界限.

终点,身份验证和协议
地理,分配和会议行为
产能,定价,发票基础和条款

与数据专家交流

FAQ

产品常见问题

问问你的工作量

什么是数据中心代理?

数据中心代理通过数据中心原产 IP 地址向您的代理客户端传输请求.target您的团队控制收集器和响应工作流程.

所有公共target都接受数据中心流量吗?

数据中心原始流量不被每一个 target 接受. 评估代表性合格的公共 target 信息,尊重源条款和请求政策,选择另一个访问路径,当类别不适合.

我应该使用哪个终端和协议?

在配置过程中使用帐户特定的终端点,身份验证方法和支持的协议 WebScrapingAPI,并将每个连接值放在服务器侧.

地区的选择是什么?

根据预定配置,可用的地理位置和选择控制权取决于预定配置.

分配和会议行为是如何工作的?

配置模式和任何旋转,持久性或会议行为都取决于预定路线.将路线行为与收藏器的同时和连续性要求进行协调.

如何确定价格?

价格取决于工作负载的形状,集 target,容量,地理位置和分配需求. 分享一个代表性的工作负载,以便 WebScrapingAPI可以达到正确的路线.

带来一个代表性的工作量

为目标网站找到合适的代理

提供目标网站、国家、流量和会话需求。我们将帮助您的采集程序选择代理类型和容量。

检查可用性审查确认点