01 · Requested context记录
查询指纹
需要复制请求的完整支持输入.
- Engine and query
- Location and language
- Device, vertical, depth
搜索结果和搜索结果
搜索结果和SERP数据抓取
采集搜索结果、排名、广告和 SERP 功能，并保留关键词、位置、语言、设备和日期。使用搜索 API 或定期接收记录。
搜索记录模型
关联查询、结果、搜索功能和排名。
分开请求与返回布局,然后模型结果,功能块和位置作为单个响应中的观察.
02 · Response object记录
搜索结果快照
一个回复的搜索布局,与其请求和观察时间有关.
- Snapshot ID
- Page and result count shown
- Collection state
03 · Returned object记录
结果项或特征区块
结果,广告,本地区块,答案功能,图像组或其他端点暴露类型.
- Type and position
- Title, link, snippet
- Type-specific fields
04 · Normalized layer飞行员先
跨引擎观测
控制的比较,保留每个引擎的原始类型,URL,排名和文本.
- Normalized feature type
- URL or domain identity
- Match state
Interpretation boundaryNot assumed
排名属于一个要求.
每个结果都与查询,位置,语言,设备和观察时间有关.
发动机和垂直覆盖
检查数据源和字段覆盖范围。
选择 API 或定制采集前，确认所需的数据源、页面类型、市场和字段。
Engine or family输入环境国家
记录方案
查看示例记录中的字段。
保持引擎本土字段,同时添加一个小的版本正常化层进行分析.原始项目和响应文本仍然可检查.
查询指纹
- engine / vertical
- 选择供应商和搜索面
- query
- 提交的查询内容.
- requested_context
- 位置,语言,设备和深度.
响应包
- snapshot_id
- 关键是一个返回的搜索.
- page_number
- 要求或返回结果页面.
- response_state
- 观察,空白,部分,失败或审查.
项目和位置
- result_type
- 引擎原生和正常化特征类型.
- rank_observed
- 在此快照中位置和输入.
- title / url / snippet
- 公共价值观,最终的目标将它们暴露在外.
追溯性和时间
- source_url
- 公共搜索URL或终点文本.
- observed_at
- 结果快照的时间标签.
- schema_version
- 标准化唱片合同的版本.
{
"snapshot_id": "serp_001",
"request": {
"engine": "google", "vertical": "web",
"query": "best trail shoes",
"location": "London", "language": "en-GB",
"device": "mobile"
},
"result": {
"type": "organic", "rank_observed": 1,
"title": "Trail shoe guide",
"url": "https://publisher.example/trail"
},
"observed_at": "YYYY-MM-DDThh:mm:ssZ",
"collection_state": "observed",
"schema_version": "serp.v1"
}Read position as context.
The rank is valid for this snapshot only; it does not describe every user, engine, device, or place.
身份和等级语义
没有过度写引擎证据的URL正常化.
保持引擎提供的URL,标题,结果类型和位置.只通过已达成的版本规则添加域名或可信 URL 关系.
- 01
来源项目
引擎URL和结果类型
保存完正如返回. - 02
规范化线索
主机 · 路径 · 参数
根据批准的规则. - 03
关系状态
准确的 · 候选人 · 模糊的
仍有不确定的联系. - 04
分析键
标准化URL或域名
选择性合约层.
清新性语义
搜索位置的时间和背景都会过期.
单独分开请求,观察,交付和比较时间表,以便当前的响应和历史监测永远不会混在一起.
- 要求requested_at
查询指纹进入收集.
- 观察到observed_at
发动机回复了这个快照.
- 交付delivered_at
记录达到了达成的交付.
- 相比之下previous_observed_at
后来,一个过程比较了类似的背景.
质量和缺失
区分未显示的与未收集的
搜索监测变得误导性,当空结果,缺失功能,改变布局和失败的请求崩到相同状态时.
通过检查的快照
要求指纹和合同结果结构都存在.
缺失物件或特征
返回的快照没有暴露追踪物体.
布局或类型模糊
改变模块或地图需要检查.
没有可用的快照
收藏失败不被解释为失业.
结构检查
查询指纹,快照ID,结果类型,源URL,排名文本和时间.
现场检查
允许类型,URL形状,位置范围,重复,可选模块存在,空状态.
接受的边界
您的团队拥有指标定义和决策;管理交付运营合同数据和例外检查.
交付的选择
选择数据获取方式。
在应用中使用 API，定期接收记录，或交由我们负责采集。
代理
保留现有采集程序，使用我们的代理网络。
将住宅、数据中心或 ISP 代理接入团队现有的采集程序。
功能详情
您获得的内容用于自有请求的代理访问
我们负责代理网络和访问
您负责的部分采集、提取、存储和分析
适合 · 适合已有采集程序的团队。
比较代理服务应用程序
将这些记录用于实际工作。
利用以下字段和示例规划分析、产品或监测工作流。
SEO和SERP监测
追踪经文组织结果,并通过查询组进行观察.
Query · snapshot · item · position · time地方搜索研究
仅在调整位置,语言,设备和引擎后进行可见结果的比较.
Locale · result type · source · context品牌可见性
观察公众品牌,市场,出版商或竞争对手的域名出现的地方.
Domain identity · item · feature · snapshot广告放置观察
记录广告的终端点位置,而没有将缺席视为没有竞选的证据.
Ad item · position · query · context搜索特征分析
测量返回的有机,本地,答案,媒体和其他记录的块的混合物.
Feature type · layout · engine · history市场和内容研究
研究公共结果景观,出版商,主题和源发现模式.
Query group · domain · title · snippet代表性飞行员
在自己的工作流中测试样本。
使用代表引擎,垂直,局部,设备,页面化,功能重的布局,空结果和改变的模块来验证录音合同.
- 01
定义
引擎,查询,背景,深度,场地,率和下游使用.
- 02
样本
常见,本地,特征重,空,变化,失败的状态.
- 03
检查
快照,引擎原生字段,正常类型,排名和例外.
- 04
接受
方案,身份规则,序列,门,交付和响应过程.
常见问题
开始前的常见问题
WebScrapingAPI可以提供哪些搜索和SERP数据?
采集搜索结果、排名、广告和 SERP 功能，并保留关键词、位置、语言、设备和日期。使用搜索 API 或定期接收记录。
今天有哪些搜索引擎被记录?
目前的WebScrapingAPI文件包括谷歌搜索APIplusBing,DuckDuckGo和Yandex搜索终点,以及记录的谷歌垂直.每个终点都定义了自己的参数和响应形状,因此文档和代表请求决定了生产合同.
什么使搜索结果复制性?
每个结果都与查询,位置,语言,设备和观察时间,以及选定的引擎,搜索垂直,页面化或深度输入以及任何支持的请求选项相关.改变这些输入可以改变布局和顺序.
排名观察与普遍搜索排名相同吗?
没有.记录的位置属于一个引擎响应和请求背景;它不是一个普遍的排名.它不应该在用户,地点,设备,语言,时间,引擎或搜索垂直中一般化,没有明确的分析方法.
结果URL和域名可以在引擎中正常化吗?
数据流或托管项目可包含匹配处理。通过样本确认标识符、比较规则，以及不确定或冲突匹配的呈现方式。
能WebScrapingAPI监控关键字的时间表?
计划关键字监测是试点先.试点在重复交付之前确认引擎,查询列表,位置,语言,设备,垂直,深度,序列,所需的功能块,记录方案以及可接受的缺失或故障状态.
搜索引擎搜索引擎观察有多新鲜?
API 在调用时采集数据。数据流和 Managed Data 遵循约定计划，并在可用时分别保留来源时间与采集时间。
如何表达空白的搜索引擎,缺失功能和失败的请求?
样本区分缺失字段、不可用页面、失败请求和待审核数值。定期交付前，商定每种状态的处理方式。
搜索布局变时,谁会进行收集和分析?
使用代理时，您的团队维护采集程序；使用页面访问 API 时，维护自定义解析器。我们维护 Data API 支持的数据提取，以及数据流或 Managed Data 包含的采集工作。
搜索数据的限制是什么?
标准范围仅限于可接受的公共搜索面和支持的终端点所暴露的字段.私人帐户,仅登录历史,私人个性化数据以及完全索引或SERP覆盖的索引不是标准.客户仍然负责合法使用和从观察中做出的决定.