01 · 发现记录
新闻结果
在Google新闻垂直中显示的查询结果.
- Headline and destination
- Source and snippet
- Query and request context
故事记录模型
关联新闻结果、文章和修订版本。
模型发现,出版,内容,人,修改和主题分别,因此结果摘录从来没有伪装成完整的文章.
02 · Source记录
出版物
公共出版商身份和源页面与观察相关.
- Source name and URL
- Section or channel
- Language and locale
03 · Content飞行员先
条例
相关标题,字幕,体格,元数据和可接受页面暴露的媒体引用.
- Canonical URL
- Visible article fields
- Author or byline
04 · Change飞行员先
编辑或修订
连续观察选定的文章领域,从来没有推断的编辑意图.
- Content hash
- First and last seen
- Changed field set
05 · Meaning飞行员先
专题或实体
根据已达成的模型或规则生产的丰富层,并与源事实保持分开.
- Named entity cue
- Topic label
- Rule or model version
Object boundaryNot assumed
一个发现的结果不是一个完整的文章.
发现与摘取完整文章不同. 一个摘录,一页文章,作者字节,出版商,修订和主题都具有不同的证据界限.
覆盖合同
检查数据源和字段覆盖范围。
选择 API 或定制采集前，确认所需的数据源、页面类型、市场和字段。
Engine or family输入环境国家
记录方案
查看示例记录中的字段。
保持来源所暴露的信息与收集所观察到的信息以及下游丰富的结论分开.
结果背景
- query
- 提交的发现查询.
- rank
- 在本结果页面中的位置和请求文本.
- result_url
- 结果所暴露的目的地.
源可见的场地
- headline
- 符合条件的页面上标题.
- byline
- 公共作者字符串,而不是自动解决的人.
- body_state
- 现场,缺席,排除,失败,改变或审查.
出版和观察
- published_at
- 源所指的时间,当暴露时.
- observed_at
- 时间收集产生了这种观察.
- first_seen_at
- 在合同监控窗口内第一次出现.
追溯性和状态
- source_url
- 公共页面与记录相关.
- content_hash
- 选项指纹可用于连续观察.
- schema_version
- 已达成的输出形状的版本.
{
"record_id": "story_0042",
"object_type": "article_observation",
"discovery": {
"query": "energy outlook",
"surface": "google_news",
"rank": 3
},
"article": {
"headline": "Grid investment accelerates",
"publication": "Example Daily",
"body_state": "observed"
},
"published_at": "YYYY-MM-DDT06:10:00Z",
"observed_at": "YYYY-MM-DDT08:42:00Z",
"source_url": "https://news.example/story/42",
"schema_version": "news.v1"
}Two clocks, two meanings.
published_at is source-attributed publication time; observed_at is collection time. Neither should overwrite the other.
身份和血统
组相关记录,不删除每一个来源.
在添加可信 URL,集群,实体或主题标签之前保存出版商,URL,发现文本和文章观察.
- 01
发现键
查询 + 结果URL
要求文本保留 - 02
源线索
标准URL+出版商
暴露和验证时使用. - 03
内容状态
标题+哈希+时间
根据一个命名的规则版本进行了比较. - 04
关系
同样的文章,修订或候选集群
模糊性仍然是明确的.
清新性语义
刚刚发表的一篇故事和最近观察的一页是不同的事实.
根据工作流设置收集序列,然后保留源所赋予的时间,以及请求,观察,交付和更改时间.
- 源时间published_at
显示的发布时间,正如合同解释的那样.
- 收集observed_at
文章或结果在所需的环境中被观察到.
- 交付delivered_at
记录已经成为客户的手机.
- 改变了first_seen / last_seen
观察进入或离开监测历史.
质量和缺失
不要把一个不到的文章变成一个空白的故事.
运载解释为什么一个字段缺失的状态,因此发现,分析,源可用性和政策排斥仍然可以区分.
现有要求结构
记录通过了已达成的发现或文章领域检查.
未暴露的场地
源页面没有显示所需的字节,时间或体积字段.
模板或血统不明确
根据合同规则,页面或关系需要检查.
没有支持的观察
排除,限制,失败或不可使用的东西与空的东西是不同的.
结构检查
需要的键,类型,结果数量,体态原因,时间标签形状和方案版本.
现场检查
URL格式,源属性,发布时间解析状态,语言和可选内容哈希.
接受的边界
您的团队批准代表记录,源码,允许使用,决策门;
交付的选择
选择数据获取方式。
在应用中使用 API，定期接收记录，或交由我们负责采集。
代理
保留现有采集程序，使用我们的代理网络。
将住宅、数据中心或 ISP 代理接入团队现有的采集程序。
功能详情
您获得的内容用于自有请求的代理访问
我们负责代理网络和访问
您负责的部分采集、提取、存储和分析
适合 · 适合已有采集程序的团队。
比较代理服务应用程序
将这些记录用于实际工作。
利用以下字段和示例规划分析、产品或监测工作流。
媒体监测
随着时间的推移,追踪命名的查询,来源和公共故事领域.
Results · articles · revisions市场和主题研究
建立可审查的体体,用于趋势,叙述和来源分析.
Articles · topics · provenance人工智能检索和地面接地
准备为批准的检索工作流程的时间知情,源链接的输入.
Text state · source URL · timestamps声誉和风险信号
没有把它作为结论.
Discovery · entities · review state出版商的情报
进行公开出版模式,部分和修订行为的比较.
Publication · article · first seen研究档案
保存已达成的元数据和可允许的内容,具有可追溯的收集历史.
Schema version · provenance · change history代表性飞行员
在自己的工作流中测试样本。
使用真实查询背景和代表性公共文章页面,包括普通故事,修改,缺席字段,更改的模板和限制状态.
- 01
定义
查询,来源,文章领域,文本,序列和允许使用.
- 02
样本
结果和页面代表源模板,缺失的字段和变化.
- 03
检查
来源证据,时间,身体状态,血统候选人,
- 04
接受
批准方案,源集,操作模型和技术门.
常见问题
开始前的常见问题
今天有哪些新闻记录?
使用 Google Search API 的新闻结果发现文章。通过 Scraper API 或 Browser API 获取公开文章页面，或申请定期数据流。
一个新闻结果与一个完整的文章一样吗?
发现不等于完整文章提取.结果可以暴露标题,目的地URL,源,摘录和显示的出版标志,而不暴露完整的文章体.文章字段需要一个独立的符合条件的公开页面和来源特定的提取合同.
您可以提供哪些文章?
目标文章记录可以包括源URL,暴露时的可信URL,标题,立场第一,字幕,显示的发布时间,节目,可见体,媒体引用,标签,语言和来源. 字段存在因出版商和模板而异,因此源-无知规范化的方案是试点.
出版时间和收集时间是如何表示的?
published_at 记录来源为报道标注的时间（如有显示）。observed_at 记录采集产生该次观测的时间。两者保持独立，因为报道可能在发布很久之后才被发现、修订或采集。
两次报道同一事件可以组合吗?
数据流或托管项目可包含匹配处理。通过样本确认标识符、比较规则，以及不确定或冲突匹配的呈现方式。
文章更新和修订可以监测吗?
历史记录从开始监测时建立。更早的覆盖范围取决于可用的来源记录或存档快照。通过样本审核日期和缺口。
如何处理遗体和收集失败?
样本区分缺失字段、不可用页面、失败请求和待审核数值。定期交付前，商定每种状态的处理方式。
包含付费或仅登录的文章吗?
付费墙,仅登录,仅会员和其他限制的文章体不是标准范围.公开发现结果或公开元数据页面不允许收集其背后的限制内容.
文章文本可以否重新分配?
没有包含的全方位版权转发权.客户仍然负责源码条款,版权,许可,保留,访问控制和允许下游使用. 交付可能会在适当情况下仅限于元数据,链接,摘录或其他已达成的领域.
谁会保持源头的变化?
使用代理时，您的团队维护采集程序；使用页面访问 API 时，维护自定义解析器。我们维护 Data API 支持的数据提取，以及数据流或 Managed Data 包含的采集工作。