处理客户端转换页面
Use browser-backed retrieval when required content appears only after page JavaScript has executed.
Review request controls浏览器界限更清晰
获取渲染后的页面，无需自行运行浏览器
捕获一个故意的页面状态
Wait for a lifecycle event, delay, selector, or documented instruction step instead of parsing whatever happens to arrive first.
See the request workflow选择有用的答案
Return rendered HTML, a JSON response, a JSON DOM, selected fields, or a screenshot for the downstream task.
Compare output options您的申请定义了URL · context · readiness · actions · output
WebScrapingAPI运营Hosted browser execution and response delivery
你的管道收到了One documented response or explicit error
要求解剖学
配置请求
开始使用target的URL,然后只添加需要复制页面状态的文件控制. 参数指南 浏览器 API.
请求的背景
定义托管浏览器如何访问和框架页面.
api_key- 服务器侧认证
url- 标记号:公开 target
method- 要求方法 Target
body- 任选的机体 target
country- 支持国家背景
timeout- 请求时间上限
device- 桌面,手机或平板电脑
window_width- 视频端宽度
window_height- 视角高度
block_resources- 选择性资源封锁
准备和行动
告诉请求页面准备好时以及接下来要做什么.
wait_until- 生命周期状态
wait_for- 显而易见的延迟
wait_for_css- 要求选择器
js_instructions- 顺序交互序列
auto_solve- 文件化访问控制
clickscrollTotyped_valueselectsubmitclick_and_navigate捕获和响应
选择浏览器支持的请求应该返回什么.
screenshot- 要求捕获图像
screenshot_options- 捕获范围和尺寸
extract_rules- 客户提供的CSS或XPath规则
json_response- JSON 响应包
json_dom- JSON 格式的 DOM 表示
使用最小的稳定食谱.
偏好可观察的选择器或生命周期状态,而不是任意的延迟,保持行动序列短暂,并根据您自己的业务要求验证返回的内容.
请求工作流程
从请求到结果
- 01request
定义target的字号
Provide the URL, method, country, device, viewport, and timeout required for the test case.
- 02state
准备到达
Choose
domcontentloaded,load,networkidle0,networkidle2, a delay, or a selector. - 03interaction
执行行动
Apply an ordered
js_instructionssequence when the page needs clicks, scrolling, values, selections, or navigation. - 04output
返回和验证
Receive the requested format or explicit error, then validate content before it enters the downstream system.
- 我更喜欢
- 观察到的准备性
选择器或页面生命周期条件与您需要的内容相关.
- 保持
- 指示最小
只有需要采取的行动才能达到稳定的,可重复的状态.
- 期待
- 显而易见的结果
浏览器执行仍然可能失败,暂停或返回需要商业验证的内容.
产出合同
选择输出格式
捕获一次的页面,然后选择一个符合现有解析器,验证步骤,证据记录或媒体工作流的记录输出.
简单的HTML
返回染页面体,为您的团队运行的解析或档案过程.
text/html编程文件
包装机体以文件要求和target-回应文本进行检查.
json_response电子电子
接收页面文档作为下游通行的JSON DOM表示.
json_dom提取的田地
执行客户定义的CSS或XPath规则,然后返回所选的内容.
extract_rules截图
捕获完整页面或选定的元素,并作为Base64接收图像.
screenshot- 你需要这个页面吗?
- Plain HTML or JSON DOM
- 需要一个回应的背景?
- JSON envelope
- 需要命名的场地?
- Extraction rules
- 需要视觉证据?
- Screenshot
开发人员集成
从服务器接入
通过服务器调用REST端点,将API密钥排除在客户端代码,URL编码请求参数之外,设置有限的时间限期,并故意处理未成功的响应.
- 终点
https://api.webscrapingapi.com/v1- 秘密
WSA_API_KEY在服务器环境中- 准备
wait_for_css=main- 行动
- 编码的 JSON
js_instructions - 反应
- 在解析之前检查状态
: "${WSA_API_KEY:?Set WSA_API_KEY}"
ACTIONS='[{"action":"scrollTo","selector":"main","timeout":1000,"block":"start"}]'
curl --get --fail-with-body --max-time 120 \
"https://api.webscrapingapi.com/v1" \
--data-urlencode "api_key=$WSA_API_KEY" \
--data-urlencode "url=https://example.com/app" \
--data-urlencode "wait_for_css=main" \
--data-urlencode "js_instructions=$ACTIONS" \
--data-urlencode "json_response=1"import json
import os
import requests
api_key = os.getenv("WSA_API_KEY")
if not api_key:
raise RuntimeError("Set WSA_API_KEY")
response = requests.get(
"https://api.webscrapingapi.com/v1",
params={
"api_key": api_key,
"url": "https://example.com/app",
"wait_for_css": "main",
"js_instructions": json.dumps([{
"action": "scrollTo", "selector": "main",
"timeout": 1000, "block": "start"
}]),
"json_response": 1,
},
timeout=120,
)
response.raise_for_status()
print(response.json())const apiKey = process.env.WSA_API_KEY;
if (!apiKey) throw new Error("Set WSA_API_KEY");
const params = new URLSearchParams({
api_key: apiKey,
url: "https://example.com/app",
wait_for_css: "main",
js_instructions: JSON.stringify([{
action: "scrollTo", selector: "main",
timeout: 1000, block: "start"
}]),
json_response: "1",
});
const response = await fetch(
"https://api.webscrapingapi.com/v1?" + params,
{ signal: AbortSignal.timeout(120_000) }
);
if (!response.ok) throw new Error("API status " + response.status);
console.log(await response.json());<?php
$apiKey = getenv("WSA_API_KEY");
if (!$apiKey) throw new RuntimeException("Set WSA_API_KEY");
$actions = json_encode([[
"action" => "scrollTo", "selector" => "main",
"timeout" => 1000, "block" => "start",
]], JSON_THROW_ON_ERROR);
$query = http_build_query([
"api_key" => $apiKey,
"url" => "https://example.com/app",
"wait_for_css" => "main",
"js_instructions" => $actions,
"json_response" => 1,
]);
$client = curl_init("https://api.webscrapingapi.com/v1?" . $query);
curl_setopt_array($client, [
CURLOPT_RETURNTRANSFER => true,
CURLOPT_TIMEOUT => 120,
]);
$body = curl_exec($client);
$status = curl_getinfo($client, CURLINFO_RESPONSE_CODE);
$error = curl_error($client);
curl_close($client);
if ($body === false) throw new RuntimeException($error);
if ($status >= 400) throw new RuntimeException("API status " . $status);
echo $body;package main
import (
"fmt"
"io"
"net/http"
"net/url"
"os"
"time"
)
func main() {
apiKey := os.Getenv("WSA_API_KEY")
if apiKey == "" { panic("Set WSA_API_KEY") }
params := url.Values{}
params.Add("api_key", apiKey)
params.Add("url", "https://example.com/app")
params.Add("wait_for_css", "main")
params.Add("js_instructions", "[{\"action\":\"scrollTo\",\"selector\":\"main\",\"timeout\":1000,\"block\":\"start\"}]")
params.Add("json_response", "1")
client := &http.Client{Timeout: 120 * time.Second}
response, err := client.Get(
"https://api.webscrapingapi.com/v1?" + params.Encode(),
)
if err != nil { panic(err) }
defer response.Body.Close()
if response.StatusCode >= 400 {
panic(fmt.Sprintf("API status %d", response.StatusCode))
}
body, err := io.ReadAll(response.Body)
if err != nil { panic(err) }
fmt.Println(string(body))
}import java.net.URI;
import java.net.URLEncoder;
import java.net.http.*;
import java.nio.charset.StandardCharsets;
import java.time.Duration;
public final class BrowserApiExample {
public static void main(String[] args) throws Exception {
var apiKey = System.getenv("WSA_API_KEY");
if (apiKey == null || apiKey.isBlank()) {
throw new IllegalStateException("Set WSA_API_KEY");
}
var actions = "[{\"action\":\"scrollTo\",\"selector\":\"main\"," +
"\"timeout\":1000,\"block\":\"start\"}]";
var query = "api_key=" + URLEncoder.encode(apiKey, StandardCharsets.UTF_8)
+ "&url=" + URLEncoder.encode("https://example.com/app", StandardCharsets.UTF_8)
+ "&wait_for_css=main"
+ "&js_instructions=" + URLEncoder.encode(actions, StandardCharsets.UTF_8)
+ "&json_response=1";
var request = HttpRequest.newBuilder()
.uri(URI.create("https://api.webscrapingapi.com/v1?" + query))
.timeout(Duration.ofSeconds(120)).GET().build();
var response = HttpClient.newHttpClient()
.send(request, HttpResponse.BodyHandlers.ofString());
if (response.statusCode() >= 400) {
throw new RuntimeException("API status " + response.statusCode());
}
System.out.println(response.body());
}
}
using System.Net.Http;
var apiKey = Environment.GetEnvironmentVariable("WSA_API_KEY");
if (string.IsNullOrWhiteSpace(apiKey))
throw new InvalidOperationException("Set WSA_API_KEY");
var actions = "[{\"action\":\"scrollTo\",\"selector\":\"main\"," +
"\"timeout\":1000,\"block\":\"start\"}]";
var requestUrl = "https://api.webscrapingapi.com/v1?api_key="
+ Uri.EscapeDataString(apiKey)
+ "&url=" + Uri.EscapeDataString("https://example.com/app")
+ "&wait_for_css=main"
+ "&js_instructions=" + Uri.EscapeDataString(actions)
+ "&json_response=1";
using var client = new HttpClient {
Timeout = TimeSpan.FromSeconds(120)
};
var response = await client.GetAsync(requestUrl);
response.EnsureSuccessStatusCode();
Console.WriteLine(await response.Content.ReadAsStringAsync());require "json"
require "net/http"
require "uri"
api_key = ENV["WSA_API_KEY"]
raise "Set WSA_API_KEY" if api_key.nil? || api_key.empty?
uri = URI("https://api.webscrapingapi.com/v1")
uri.query = URI.encode_www_form(
api_key: api_key,
url: "https://example.com/app",
wait_for_css: "main",
js_instructions: [{
action: "scrollTo", selector: "main",
timeout: 1000, block: "start"
}].to_json,
json_response: 1
)
http = Net::HTTP.new(uri.host, uri.port)
http.use_ssl = true
http.open_timeout = 10
http.read_timeout = 120
response = http.get(uri.request_uri)
raise "API status #{response.code}" unless response.is_a?(Net::HTTPSuccess)
puts response.body运营所有权
我们负责的部分与您控制的部分
WebScrapingAPI
托管浏览器请求执行
- 审核和执行REST请求
- 托管的浏览器运行时间,使用JavaScript染
- 代理地址,IP转换和IP区块处理
- 记录的等待和执行指令
- 要求输出生成和响应交付
- 文件文件 API 错误响应
您的团队
来源和数据产品决策
- Target资格,目的和请求政策
- 要求配置,交互和准备条件
- 选项,提取方案和响应验证
- 源变换维护和回归测试
- 时间表,存储,保留和下游使用
页面状态客户指定状态; WebScrapingAPI执行记录的等待和行动.
浏览器运行时间WebScrapingAPI运行托管的浏览器执行以及其背后的请求基础设施.
反应WebScrapingAPI返回选择的输出或错误;客户验证业务完整性.
提取WebScrapingAPI执行提供的规则;客户维护选项,方案和质量检查.
Use Browser API only for eligible public pages. Review source terms, applicable requirements, and the 服务协议, then apply appropriate access, retention, and data-use policies.
使用情况
转换状态改变答案时使用浏览器 API
产品选择
比较可选方案
网络路线
代理
Infrastructure building block管理检索您的团队运行HTTP客户端,浏览器或解析器,重新尝试政策,验证和存储.
抓取 API
One page retrieval导航浏览器请求发送一个管理页面请求的URL,可选的染和记录响应格式.
浏览器 API
Rendered state and interaction经过指导的评估在一个服务器端 REST 请求中定义准备,支持的操作,背景和输出.
爬取 API
Scoped multi-page collection运营的交付计划一个有限的集合,当工作单位覆盖相关的符合条件的页面而不是一个浏览器请求.
托管数据
Data delivered to specification定义源,方案,随机,质量和目的地,而WebScrapingAPI运行复发程序.
价格指导
获取符合需求的报价
证明一个稳定的请求配方.
开始一个代表性动态页面,然后验证最小的文本,准备,行动和输出组合,
- 符合条件的代表者 target组
- 观察到的准备状态
- 最短的需要的交互序列
- 产出和业务验证合同
FAQ
产品常见问题
什么是浏览器 API?
浏览器 API是一个服务器端 REST请求,在托管的浏览器中加载一个符合条件的公开网页,应用记录的等待和操作,并返回选择的响应到您的应用程序.
什么可以浏览器 API返回?
文件输出选项包括原始HTML,JSON包裹,JSON DOM表示,客户定义的提取字段,以及回应内部作为base64返回的截图.
支持哪些页面操作?
文件编写的JavaScript指令包括点击,点击和导航,滚动,输入值,值分配,选择,提交,关注和等待.构建和测试达到您需要的状态的最短序列.
如何等待一个请求得到正确的页面状态?
使用文档中列出的页面生命周期值、延迟时间或 CSS 选择器。您可以根据目标页面的行为，组合 wait_until、wait_for、wait_for_css 和指令级等待。
我可以控制设备,视频端口和位置背景吗?
是的. 文件控制包括桌面,移动或平板电脑设备的背景;窗口宽度和高度;以及支持国家级请求背景.
浏览器控制连接是否会暴露在浏览器 API上?
号码 浏览器 API 使用请求响应 REST 接口. 应用程序通过请求参数声明支持的等待,操作,文本和输出,然后收到选择的响应或API错误.
谁拥有互动指令和提取规则?
WebScrapingAPI运行托管的浏览器执行并返回所需的输出.您的团队拥有 target的资格,交互说明,选择器,提取方案,内容验证和源更改维护.