抓取 API
通过操作访问路径直接检索页面.
Use when
你有URL,并且希望API处理路由,访问处理,可选染和响应交付.
Typical outputPage responseView product
- 5 访问路径页面,搜索,浏览器任务,覽和记录
- 管理检索WebScrapingAPI 操作每个API背后的访问路径
- 清晰的输出选择HTML,转载输出,SERP,页面集或结构记录
- 复合式堆使用一个API或按工作流程阶段组合它们
进行比较
按所需输出选择 API
SERP API
搜索结果按引擎和市场背景收集.
Use when
需要支持的搜索引擎的搜索结果,包括查询,位置,语言,设备和结果背景.
Typical outputStructured SERP dataView product
浏览器 API
通过服务器侧 REST 请求访问浏览器支持的页面.
Use when
页面需要染,等待,记录互动,导航步骤,截图或输出控制.
Typical outputRendered page outputView product
爬取 API
对于定义源范围的有限多页集合.
Use when
需要协调相关的可接受公开页面,而不是一次性地进行一个页面.
Typical outputCollected page setView product
数据 API
对于支持的target的源特定结构记录.
Use when
你想要的产品,搜索,人工智能,商业,旅行,社交,商业或市场记录,
Typical outputStructured recordsView product
面对面的视图
进行操作边界的比较,而不是重叠的功能清单.
首先要从你已经有的输入中开始,然后选择下一个系统可以使用的最小输出.
API | 开始输入 | 首要产量 | WebScrapingAPI运营 | 您的申请拥有 |
|---|---|---|---|---|
已知URL + 文件请求选项 | 页面体,JSON封面或选定的字段 | 路由,访问处理,可选染,以及内部重试 target | Target选择,请求政策,下游验证,分析和存储 | |
引擎,查询和支持的搜索环境 | 引擎特定的分析集合或源SERP有效载荷 | 支持搜索检索和记录的引擎响应路径 | 查询计划,观察时间表,结果解释和存储 | |
支持的操作,输出 | HTML,JSON,选定的字段或截图 | 托管的浏览器执行和请求基础设施 | 互动配方,提取方案,验证和下游使用 | |
批准的入口点,源边界和收藏标准 | 相关页面结果的限量集合 | 范围的多页收集工作流程 | 范围要求,结果标准,质量审查和目的地 | |
支持源,记录类型和可用参数 | 保持结构化源记录 | 资源获取,提取,解析器维护和质量监测 | 记录选择,业务验证,存储和决策 |
根据工作选择
在评估量之前将请求映射到API中.
最强的评估始于最小的实际工作负载,证明了接口,输出和所有权模型.
工作流程设计
从请求到结果
01
发现
找到targets 在 SERP API,源列表或您自己的应用逻辑.
02
检索
根据染和交互需求,请将已知页面带到抓取 API或浏览器 API号.
03
扩展
使用 爬取 API 进行有限的相关页面收集,当源范围超过一个URL时.
04
结构
使用数据 API为支持的源记录,或分析页面输出在自己的管道.
举个例子:SERP API可以返回结果URL;您的应用程序选择相关URL,然后为所选页面拨打抓取 API或浏览器 API
运行边界
了解平台运行什么以及您的申请中留下的内容.
具体的边界根据产品变化,但组织,业务验证和下游决策仍然可见.
WebScrapingAPI运营
特定产品的访问路径
- 选择的API背后的路由和访问基础设施
- 支持搜索检索,托管浏览器执行或适用时进行范围查操作
- 支持的数据 API记录的源特定采集,解析器维护和质量监测
- 已记录的选择产品的响应,结果和错误界限
您的申请拥有
工作负载,配套和决策
- 资格来源,收集目的和请求输入
- 调用哪个API以及如何将结果移动到产品之间
- 经营方案检查,下游存储和保留
- 基于返回数据的报警,分析,模型和决策
整合
从服务器接入
通过任何可以发出HTTPS请求和处理其记录响应的服务器侧堆,调用已选中的API. 使用单个产品指南查看当前参数,响应形状和错误处理.
01 · 您的技术栈HTTP 客户端请求输入+文本
02 · 选择的产品网络访问 API特定产品的操作
03 ·您的管道响应消费者验证+存储+使用
cURLJavaScriptPythonPHPJavaC#GoRuby
这些是标准的HTTPS集成路径,而不是说每个产品都为每个语言提供了专门的SDK.
FAQ
产品常见问题
我应该从哪个网页访问 API开始?
开始从工作单元: 抓取 API用于一个已知页面, SERP API用于搜索结果集, 浏览器 API用于染或互动页面状态, 爬取 API用于相关页面的有限集合,以及 数据 API用于支持的结构化源记录.
什么是区别抓取 API其他浏览器 API?
抓取 API是简单的开始点,可以选择地将JavaScript转化. 浏览器 API是为需要明确准备条件,支持浏览器操作或在应用程序收到结果之前转化状态捕获的页面设计的.
什么是区别抓取 API其他爬取 API?
抓取 API一次处理一页请求. 爬取 API以一个经批准的源范围和收集标准为基础,对一个限量集合进行评估,该集合的工作单位涵盖相关可接受页面.
我什么时候选择数据 API?
当支持源和记录类型时,选择数据 API,并且您的应用需要维护结构化字段. WebScrapingAPI为支持的记录路径运行源访问,提取,解析器维护和质量监测.
是SERP API仅仅是为了搜索结果?
是的. SERP API是为记录搜索引擎请求和特定引擎输出的专业产品. 使用其他网络访问API来为一般的网页,浏览器交互,限度覽或支持的源特定记录.
一个工作流可以使用多个网页访问API吗?
您的应用程序可以调用多个API,当工作流跨越产品界限时,例如发现结果URL的SERP API和检索选定的页面的抓取 API或浏览器 API.您的应用程序拥有该编排.
我什么时候应该使用Web 访问 API而不是代理?
使用Web 访问 API当你想要WebScrapingAPI操作请求或收集工作背后的产品特定访问路径.使用代理当你的自己的HTTP客户端,爬虫或浏览器应该直接控制请求,重试,解析和收集逻辑.
谁拥有采集和数据质量?
拥有权取决于产品. 数据 API, WebScrapingAPI运营采集,解析器维护和支持记录的质量监测. 页面访问产品,您的团队通常拥有下游分析,商业计划验证,存储和决策.
如何评估API?
使用代表性源,定义所需的文本,可使用的输出,体积,新鲜度和下游目的地.比较您的应用程序可以验证和操作的最小API界限.