跳至内容
免费开始

公开记录和目录

公共记录和目录数据采集

采集政府机构公开记录、申报文件和目录条目,保留发布机构、管辖区域、日期和文档链接。审核目标数据源的样本。

公共机构、登记册、申报和目录页面将转化为与来源关联的记录,并包含主管机构、司法辖区、文档、观察和修订上下文

如何评估这些数据

  1. 01
    名称权威

    司法管辖,机构,注册表,目录和记录类型.

  2. 02
    追踪证据

    源文件,出版状态,观察和修订.

  3. 03
    定义负责任使用

    目的,许可,保留,排除,和人类审查.

公开记录模型

关联发布机构、文档和记录修订版本。

保持权威,文件,实体参考,事件和修订分别,以便下游用户可以看到已发布的内容和仍然不确定的内容.

01 · Authority context飞行员先

司法管辖权和机构

来源定义的地理或行政当局和公布证据的组织.

  • Jurisdiction label
  • Agency or publisher
  • Registry or directory
02 · Source object飞行员先

公开记录

登记,通知,许可证,文件索引,目录列表或其他已达成的公共物体.

  • Record type
  • Source record ID
  • Status text as published
03 · Reference object飞行员先

实体参考

记录中出现的个人,组织,地点或资产标签,但没有证实身份.

  • Displayed name
  • Source identifiers
  • Match state and cues
04 · Change object飞行员先

提交或事件

源公布的注册,修改,通知,续签,撤销或其他命名事件.

  • Event label
  • Effective or filed time
  • Related record IDs
05 · Evidence object飞行员先

公开文件

文件,文件或已发表的页面,与其内容中提取的事实分开保存.

  • Document title and type
  • Publication metadata
  • Source link or checksum
06 · Evidence stateRetained

修订

已纠正,修改,取代或新发现的源状态与先前证据相关;它不被默默地视为身份或法律地位确定.

包含的内容

检查数据源和字段覆盖范围。

选择 API 或定制采集前,确认所需的数据源、页面类型、市场和字段。

Source or family输入Record国家
谷歌地图API地点或发现输入Business directory-like place records记录
符合条件的公共机构和注册表页面URL、记录 ID 或查询Agreed public records and documents飞行员先
符合条件的公共目录类别、地点、实体或 URLSource-defined directory entries飞行员先
敏感,认证或监管使用记录私有访问或高影响用途Restricted personal or decisioning data没有标准

文件方案

查看示例记录中的字段。

有关的记录说明了谁发表了它,在哪个管辖区下,

01 · 机构

管辖权和出版商

jurisdiction
源定义的地理或行政背景.
agency_name
公开机构或目录出版商.
record_family
登记,文件,通知,许可证或目录类型.
02 ·记录

源对象

source_record_id
标识符,在存在时,由来源显示.
record_status_text
保存已公布的状态,没有法律解释.
entity_reference
在记录中出现的名称或标签.
03 · 文件

出版物和活动

document_type
源描述的文件或页面类型.
published_or_filed_at
来源所示时间,可用时.
event_type
源标签或已达成的衍生变化状态
04 · 来源

观察和后裔

source_url
公共页面与证据相关.
observed_at
当收集产生记录时.
revision_of
已知的记录或文件状态.
说明性公共记录,而不是客户数据其他类型
{
  "record_id": "pub_001",
  "authority": {
    "jurisdiction": "Example region",
    "agency_name": "Example agency",
    "record_family": "registration_notice"
  },
  "source_record": {
    "source_id": "DEMO-42",
    "entity_reference": "Example organization",
    "status_text": "Published"
  },
  "document": {
    "document_type": "notice",
    "revision_of": "pub_000"
  },
  "source_url": "https://agency.example/records/42",
  "observed_at": "YYYY-MM-DDThh:mm:ssZ",
  "collection_state": "observed",
  "schema_version": "public-record.v1"
}

身份和关系

保存来源引用,但不声明其身份.

名称,地址和标识符可能是不完整的,重复使用,改变或特定司法管辖区.相匹配的证据必须保持可检查,不确定性可见.

  1. 01

    权威密钥

    司法管辖权+机构

    定义了出版环境.
  2. 02

    来源参考

    记录ID +显示名称

    保持正如观察到的.
  3. 03

    匹配状态

    无与伦比的 / 候选人 / 审查

    冲突永远不会隐藏.
  4. 04

    标准键

    只有合同时

    根据一个版本规则分配.

清新和修订

保持出版时间与观察时间分开.

现在观察到的旧记录,最近修改的文件,以及不再使用的页面是不同的状态.

  1. 发表或提交published_at

    来源所显示的日期或时间.

  2. 观察到observed_at

    当收集产生源观测.

  3. 交付delivered_at

    当记录进入客户频道时.

  4. 改变了first_seen · last_seen · revision_at

    在追踪历史中,证据进入,离开或改变时.

质量和缺失

质量检查合同,而不是记录的法律真实性.

我们可以测试结构,现场存在,来源系,以及改变状态. 我们不证实身份,司法管辖的完整性,或者公布的证据的法律意义.

观察到

现有合同证据

权威,记录字段,源URL,observed_at和方案版本通过检查.

修订

新源状态链接

修改或修改页面仍然与以前的证据有关.

审查

参考或血统模糊

候选人等待接受审查的路径,

无法使用

没有支持的观察

移除,限制,失败和缺源仍然是不同的状态.

结构检查

需要的密钥,管辖权,源URL,类型,时间印,状态和方案版本.

现场检查

源标识格式,文档链接,事件标签,重复候选人和修订链.

客户接受

法律意义,身份,完整性,合法重复使用,保留,合规性审查以及任何后果决定.

交付的选择

选择数据获取方式。

在应用中使用 API,定期接收记录,或交由我们负责采集。

代理

保留现有采集程序,使用我们的代理网络。

将住宅、数据中心或 ISP 代理接入团队现有的采集程序。
功能详情
您获得的内容用于自有请求的代理访问
我们负责代理网络和访问
您负责的部分采集、提取、存储和分析

适合 · 适合已有采集程序的团队。

比较代理服务

应用程序

将这些记录用于实际工作。

利用以下字段和示例规划分析、产品或监测工作流。

01

监测登记库变更

追踪已选定的公开记录记录,以及修改路线,删除或例外进行审查.

Authority · record · revision
02

公务部门研究

组织分析师的公布的机构和司法证据,并保留源文本.

Jurisdiction · agency · document
03

目录维护

更新符合条件的公共企业或专业目录的意见,而不要求法律地位.

Entry · source ID · observed_at
04

提交和通知发现

表面选择了公共文件,元数据和修改,以便下游人类审查.

Document · filing · event
05

政策和市场研究

从公开来源构建可复制的数据集,并在已达成的司法管辖区记录家庭.

Source · record family · provenance
06

政府数据运营

保持内部分析的公众网上反复输入,同时保持权威和质量状态的可见性.

Record · revision · delivery state

代表性飞行员

在自己的工作流中测试样本。

检测代表性管辖权,普通记录,文件,模糊的实体引用,修改,删除以及在重复收集之前预期的交付路径.

Scope a public-record pilot
  1. 01

    定义

    分享管辖权,来源,记录家族,领域,目的,序列,保留和排斥.

  2. 02

    样本

    包含普通页面,文件,修改,缺失身份证,限制路径和删除.

  3. 03

    检查

    审查权威,来源证据,实体引用,时间语义学,修订和缺失状态.

  4. 04

    接受

    达成源界限,记录方案,运营所有权,审查路径和交付合同.

常见问题

开始前的常见问题

公共记录和目录数据可以WebScrapingAPI提供?

通过 Scraper API 或 Browser API 访问政府机构、登记册、申报文件和目录的公开页面。我们可根据示例网址评估特定数据源的提取和定期交付。

哪些来源可以使用?

潜在范围包括符合条件的公共政府页面,机构注册表,公开文件,专业或商业目录和发表的文件.每个来源都根据获取,页面家庭,管辖区,现场可用性,修订行为,允许使用,量和交付要求进行评估.

公开可用性意味着数据可以无限制地重复使用吗?

公共并不意味着无限制的重复使用.来源条款,适用的法律,知识产权,隐私规则,目的限制,保留和重新分配要求仍然可以适用.客户仍然负责确认他们的预期使用是合法的和合适的.

交付的记录是否证实一个人或组织的身份?

没有.源记录链接了观察到的公共证据到源定义的实体参考.数据不确定身份,也不是法律或合规结论.冲突,类似名称,缺失的标识符和不确定匹配仍然明确.

司法管辖区和机构是如何代表的?

记录可以保留司法管辖区、机构或发布方、登记系统或目录名称、记录类型、来源 URL、来源标识符、显示的发布时间或提交时间、observed_at 和架构版本。不同司法管辖区的标签不会在未说明的情况下被标准化为法律意义上的等同项。

文件和文件记录可以包含吗?

试点可以测试公开文件的发现,元数据,链接,选定的内容提取,文件事件,修改和修改谱系.合同区分了文件与从中衍生的记录,并定义了如何保留取代,纠正或删除公开证据.

如何处理记录的更改和删除?

定期交付可以保留连续观测记录、first_seen、last_seen 和来源修订链接。页面移除、文档修订、来源不可用,以及实体不再出现在目录中,会保留为不同状态,不会合并为一个删除标记。

这些数据可用于背景调查或资格决定吗?

客户不应将收集的公开记录视为经过验证的身份,完整的历史,风险分数或法律确定性.

谁保持来源特定的提取和质量?

使用代理时,您的团队维护采集程序;使用页面访问 API 时,维护自定义解析器。我们维护 Data API 支持的数据提取,以及数据流或 Managed Data 包含的采集工作。

哪些来源和记录被排除在外?

敏感私人记录,凭证系统,非公共个人数据,密封或限制记录,避开访问控制,申请人或消费者报告数据,FCRA背景选和用于监管决策的数据不是标准范围.

公开记录和目录

首先要一个司法管辖区,然后你的团队可以检查的记录.

带来源,记录家庭,目的,场地和交付简报. 我们将确定是否适合代表公共数据试点.