跳至内容
免费开始

社交媒体

社交媒体数据采集和数据集

采集公开资料、帖子、回复和互动计数，用于品牌及内容研究。比较各数据源 API、数据集和定期数据流。

检查社会记录计划公共社会数据试点
公共个人资料,帖子和媒体观测成为背景社会记录,带有线程,时间和参与的快照

如何评估这些数据

  1. 01
    命名表面

    平台,公开页面家族,查询和访问状态.

  2. 02
    分开物体

    个人资料,帖子,媒体,线程,主题和参与的快照.

  3. 03
    保持时间

    任何可变的指标都与其观察保持联系.

公众社会记录模式

关联资料、帖子和互动历史。

保持稳定源物体与变化的观测和衍生标签分开,以便下游团队可以解释什么是公开的,在哪里,什么时候.

01 · Account surface记录

公开的个人资料或页面

源特定的公开账户表面,而不是一个验证的真实世界的人.

  • Source profile ID
  • Handle and public name
  • Profile URL and visible metadata
02 · Content记录

邮件

公共来源的帖子,有源身份,可见的文本,发布标志和URL.

  • Post ID and URL
  • Public text and time
  • Author profile relationship
03 · Time-bound value记录

参与观察

附加到特定收集时间和背景的可见指标.

  • Like or reaction count
  • Reply and share count
  • observed_at and availability state
04 · Relationship飞行员先

线程或回复

源暴露的父母,答案,引用或对话关系,在批准的表面支持它.

  • Parent post ID
  • Relationship type
  • Pagination and depth state
05 · Attachment飞行员先

媒体和主题

公共媒体引用,标签和来源或衍生的主题标签保持与帖子分开.

  • Attachment URL or ID
  • Hashtag and mention
  • Topic rule or model version
Object boundaryNot assumed

公共资料不是一个被验证的人.

源 ID,手柄,帖子和可见的参与仍然是平台观测.私人访问,敏感特征推断和跨平台身份结论并非含义.

覆盖合同

检查数据源和字段覆盖范围。

选择 API 或定制采集前，确认所需的数据源、页面类型、市场和字段。

Engine or family输入环境国家
推特搜索 API记录个人资料和推特请求Source-specific public result fields记录
符合条件的公共页面提交给抓取 API或浏览器 API的URLHTML or rendered page for your extraction workflow记录
标准化多源源源已批准的个人资料,查询,hashtag或URLInstagram, TikTok, YouTube, Reddit, LinkedIn, and other source schemas飞行员先
限制和丰富的身份数据个人资料,私人消息,仅供会员使用的内容,个人丰富Outside standard public-web scope没有标准

记录方案

查看示例记录中的字段。

每个观察都应该包含足够的来源和收集背景来解释数量,关系或可用性状态意味着什么.

01 · 个人资料

公开来源身份

source_profile_id
源所暴露的平台标识符.
handle
观察时的公开账户处理.
profile_url
公共来源页面与个人资料相关.
02 · 邮政

公共内容对象

source_post_id
站点的平台标识.
text
在批准表面上暴露的公共文本.
published_at
源属性后时间,当暴露.
03 ·观察

时间限制的参与

metrics
可见的命名数量保留了源语义.
observed_at
时间收集产生了快照.
availability_state
观察,缺席,不可用,失败,排除或审查.
04 · 文本

关系和起源

parent_post_id
源暴露的答案或线程关系.
source_url
关于观察的公开页面.
schema_version
已达成的输出形状的版本.
插图性社交记录,而不是客户数据其他类型
{
  "record_id": "social_obs_0832",
  "object_type": "post_observation",
  "profile": {
    "source": "twitter",
    "source_profile_id": "demo_204",
    "handle": "example_studio"
  },
  "post": {
    "source_post_id": "post_demo_17",
    "published_at": "YYYY-MM-DDT07:55:00Z"
  },
  "metrics": { "likes": 148, "reposts": 21 },
  "observed_at": "YYYY-MM-DDT08:32:00Z",
  "collection_state": "observed",
  "schema_version": "social.v1"
}
Read the snapshot literally.

Engagement metrics are observations, not audited totals. The visible count can change, be rounded, or differ by source surface.

身份和关系

在添加任何跨源解释之前,保持平台身份.

个人资料,帖子,回复和媒体引用保持其源 ID 和 URL.衍生关系仍然是单独版本的,可进行审查.

  1. 01

    表面键

    平台+个人资料身份

    保持正如观察到的.
  2. 02

    内容键

    源后代身份

    仅在源语义中结合.
  3. 03

    关系

    作者,家长,媒体,主题

    源链接和衍生链接保持分开.
  4. 04

    观察

    object + observed_at

    变化的字段会产生新的快照.

清新性语义

作为一个时间标记的观察.

出版时间,收藏时间,交货时间,以及第一次或最后一次见面,都回答不同的问题,并且应该保持分别.

  1. 源时间published_at

    暴露时,来源所指出的时间.

  2. 观察到observed_at

    个人资料,帖子或指标在请求的公共文本中可见.

  3. 交付delivered_at

    快照可供客户使用.

  4. 改变了first_seen / last_seen

    源对象或指标状态进入或离开监测历史.

质量和缺失

缺少的柱,零的度,和不可访问的表面不等于.

保存理由声明,以便下游分析不会在来源或收集没有提供任何意义的地方发明意义.

观察到

现有要求结构

个人资料,帖子或指标快照通过了已达成的检查.

缺失源

没有显示的字段

批准的公用面积没有显示要求的价值.

审查

关系或布局模糊

需要检查一个线程,源物体或解析器状态.

无法使用

没有支持的观察

限制,删除,失败或排除的状态与可见的零区别.

结构检查

需要的ID,URL,类型,计量名称,时间印,收集状态和方案版本.

现场检查

源特定的数量类型,关系密钥,页面状态和公共表面证据.

接受的边界

你的团队批准允许的来源,代表记录,保留和分析门;

交付的选择

选择数据获取方式。

在应用中使用 API，定期接收记录，或交由我们负责采集。

代理

保留现有采集程序，使用我们的代理网络。

将住宅、数据中心或 ISP 代理接入团队现有的采集程序。
功能详情
您获得的内容用于自有请求的代理访问
我们负责代理网络和访问
您负责的部分采集、提取、存储和分析

适合 · 适合已有采集程序的团队。

比较代理服务

应用程序

将这些记录用于实际工作。

利用以下字段和示例规划分析、产品或监测工作流。

01

社交倾听

随着源头背景,追踪已批准的主题,帖子和公开对话.

Posts · threads · hashtags
02

品牌监测

面上新的公众提及和参与的快照进行审查.

Queries · posts · observed_at
03

创造者景观研究

比较公共账户和内容信号,而不是把它们视为身份证明.

Profiles · posts · public metrics
04

竞选活动的可见性

随着时间的推移,观察选择的公共内容和来源显示的参与.

Posts · media · metric snapshots
05

市场研究

建立源链接的公共机构,用于批准的主题和叙事分析.

Content · topics · provenance
06

人工智能数据的准备

准备由时间,来源和收藏状态附加的公共示例.

Text · relationships · schema version
工业营销和广告业务目标品牌保护业务目标市场研究

代表性飞行员

在自己的工作流中测试样本。

使用已批准的公共个人资料,帖子,线程和查询,代表普通内容,缺失的字段,页面化,不可访问状态和重复参与的快照.

Scope a social data pilot
  1. 01

    定义

    公共来源,物体,场地,随机,保留和允许使用.

  2. 02

    样本

    代表性资料,帖子,线程,媒体,以及失踪状态.

  3. 03

    检查

    源代码,计量时间,关系,收集状态和例外.

  4. 04

    接受

    批准方案,公共资源集,操作模型和门.

常见问题

开始前的常见问题

我可以使用哪些社交媒体 API？

了解 Instagram、TikTok、YouTube、Reddit、LinkedIn 和 X 的 Data API 选项。查看各数据源页面和样本，确认所需的公开对象与字段。

特定的源可以包含哪些社会物体?

范围记录模型可以包括一个公共的个人资料或页面,帖子,参与观察,媒体附件引用,线程或回复关系,以及hashtag或主题文本.源标识符和URL仍然附加,因此这些对象可以被解释而不假装每个平台都暴露相同的领域.

订婚数量是准确的总数吗?

参与指标是观测,而不是审计的总数.可见的喜欢,回复,分享,重贴或查看数量可以在收集后改变,可能会圆,并不能代表所有平台活动.每个指标应该保留源,观察时间和可用状态.

公共个人资料可以在平台上与同一个人匹配吗?

跨平台的人类匹配不被假定.源头配置文件ID,手柄,公众名称和URL仍然是源特异性的.任何实体解决方案试点都需要达成商业目的,允许的字段,可解释的线索,明确的不确定性和独立的负责任使用审查.

能否提供评论,答案和线程?

公共答案或线程关系可以在被选定的文档端点或符合条件的公共表面暴露时进行评估. 覆盖深度,排序,页面化,删除状态和嵌套关系因来源而异,因此代表试点定义可用对象和现场合约.

社交观察有多新鲜?

API 在调用时采集数据。数据流和 Managed Data 遵循约定计划，并在可用时分别保留来源时间与采集时间。

删除,不可用或缺失的帖子是如何表示的?

样本区分缺失字段、不可用页面、失败请求和待审核数值。定期交付前，商定每种状态的处理方式。

包含私人个人资料或信息吗?

公共社交场所.私人个人资料,私人消息,仅供用户使用的内容,身份验证的邮箱和其他受限制区域不属于标准范围.公开访问性也不消除了合法目的和适当的保留和访问控制的必要性.

WebScrapingAPI可以提供个人数据丰富吗?

标准范围不承诺个人数据的丰富,敏感特征的推断,私人联系人发现或身份验证.客户仍然负责法律基础,最小化,保留,访问控制和与任何允许的公共领域相关的决定.

谁维持社会源代变?

使用代理时，您的团队维护采集程序；使用页面访问 API 时，维护自定义解析器。我们维护 Data API 支持的数据提取，以及数据流或 Managed Data 包含的采集工作。

社交媒体

开始通过记录访问或管理公共源.

带来批准的来源,物体,字段,序列和使用案例.

免费开始与数据专家交流