跳至内容
免费开始
返回博客

如何抓取Twitter(X)数据用于情感分析

Raluca Penciuc最后更新于 4 min read
如何抓取Twitter(X)数据用于情感分析

某市场营销团队希望了解X(Twitter)上的用户对其品牌、新产品发布或竞争对手的看法,因此需要有人收集相关帖子并对其进行评分。 Twitter(X)数据抓取是指通过程序化方式从X平台收集公开帖子、个人资料及互动数据,以便进行批量分析。在开始抓取Twitter数据之前,请注意X在其服务条款中对抓取行为设定了限制。 本指南首先介绍可收集的数据内容及X平台的规则要求,对比了官方API、托管数据和渲染后的公共页面,随后重点讲解了大多数指南都会忽略的部分:如何清理帖子、使用Python对情感进行评分,以及将评分转化为营销团队可用的指标。

关键要点

  • X 的服务条款禁止在未获得其事先书面同意的情况下进行爬取或抓取,因此请在编写代码前确定访问途径。
  • 官方 X API 是进行关键词搜索和持续监控的文档化途径。
  • 未登录页面显示的数据有限。搜索、完整时间线和关注者列表需登录后才能访问。
  • 存储每条帖子时,应包含其ID以及两个时间戳:发布时间与采集时间。
  • 首先使用 VADER 基准模型,随后切换至针对 Twitter 优化过的变换器,最后汇总为净情绪和声量份额。

您可以收集哪些 X(Twitter)数据?

Twitter 于 2023 年更名为 X,twitter.com 现已重定向至 x.com。 该平台、数据以及大部分开发工具均保持不变,因此 API 路径和库中仍使用“tweet”一词。本指南以帖子(tweet)作为数据单位,下文将统一使用“帖子”一词。

您可以获取的数据范围取决于您是访问未登录状态下的网站,还是使用官方 API:

数据

未登录网页

官方 X API

备注

单条公开帖子(文本、时间、点赞数、媒体)

通常可见

是

计数数据是会不断变化的快照。

公开个人资料(简介、位置、网址、注册日期、关注者数量)

通常可见

是

个人资料字段属于个人数据。

个人资料上的最新帖子

有限数量

是(用户时间线)

未登录时的显示仅限于其中一小部分。

回复和对话

部分

是(按 conversation_id)

通常只有第一条回复会在未登录时显示。

关键词或话题标签搜索

否(登录墙)

最近搜索(过去 7 天),按次付费和企业版用户可访问完整存档

搜索是情绪分析工作的核心。

关注者和关注列表

否

是(按资源计费)

在情绪分析中很少需要。

私密账号和私信

否

不适用于此用例

超出本指南范围。

X 会未经通知就更改未登录访客可见的内容,因此请将中间一栏的内容视为一种趋势,而非保证。实际上,情感分析需要搜索功能,而网站上的搜索则需要账户。这使得大多数实际项目都转向使用 API 或托管数据源。

团队收集 X 数据的原因:从情感分析到营销

X是少数几个客户、评论家、记者和竞争对手能够公开且实时交流的平台之一,这使其成为营销和研究团队获取公开社交媒体数据的常见来源。下表将每个目标与相应指标及其所需字段进行了对应。

目标

指标

所需字段

品牌与营销活动情感分析

按日统计的净情绪

text, created_at, lang

竞争对手与市场调研

声量份额、话题构成

文本、作者ID、查询词

支持与危机信号

负面量激增与基线对比

文本、创建时间、回复数

创作者与合作伙伴发现

按账号划分的互动率

作者指标、发帖数量

用于自然语言处理(NLP)和人工智能(AI)的数据集

标注语料库规模、类别平衡性

文本、语言、来源URL

从指标入手可保持数据集规模较小。若仅需按日统计净情感,则无需收集粉丝列表或个人简介,减少数据采集既能降低成本,也更容易进行数据合规论证。

品牌与营销活动情感分析

最常见的任务:追踪有关你品牌的帖子语气如何随日变化,以及营销活动、价格变动或产品发布是否会引发这种变化。你需要帖子文本、发布时间以及语言信息,这样才能对每条帖子进行评分,并按日期对结果进行分类。

竞争对手与市场调研

针对您的品牌及两到三家竞争对手运行相同的查询,即可并排比较帖子数量和语气。声量份额(您在所有被追踪品牌帖子中的占比)以及人们针对各品牌提出的议题,可直接用于市场调研和品牌定位工作。

客户支持与危机预警

负面帖子的突然激增往往会在X平台上显现,甚至早于客户支持队列收到相关反馈。将当天的负面帖子数量与滚动基准线进行对比,一旦超出阈值即触发警报。同样的监控机制还能揭露冒充客服的虚假账号及冒名者——这正是X数据与品牌保护工作相交汇的领域。

创作者发掘与自然语言处理数据集

营销团队利用各账号的互动率,筛选出已关注其所属领域的创作者和合作伙伴。数据团队则将公开帖子用作分类器的训练和评估文本。无论哪种情况,都应为每条记录保留来源URL和语言信息,以便追溯数据来源。

抓取 X(Twitter)数据是否合法?

本节内容仅为一般信息,不构成法律建议。X的服务条款规定:“未经我们事先书面同意,以任何形式、出于任何目的对服务进行爬取或抓取均被明确禁止”,因此最安全的途径是使用官方API、获得许可或受管理的数据源,或是经您的律师审核过的使用方式。

X的服务条款。X《服务条款》(截至本文撰写时,将于2026年10月9日生效)将访问权限限制在“当前可用且已发布的接口”范围内,上述条款出现在禁止用途的列表中。 条款顶部的摘要补充道:“除非适用法律另有要求”,否则未经X的明确书面许可,您不得抓取服务内容,也不得“试图规避我们施加的任何技术限制”。

robots.txt。X的robots.txt文件禁止通用爬虫访问所有路径(User-agent: * 后跟 Disallow: /),并包含一条单独的AI训练偏好行,明确拒绝用于训练目的。robots.txt是一种告知爬虫可抓取哪些路径的约定,在RFC 9309中有所描述。它虽非法律,但明确表达了网站所有者的意愿。

法院。美国法院在反黑客法律框架下,对访问公共数据与数据抓取者违反网站合同条款的指控采取了不同的处理方式。hiQ诉LinkedIn案的判决便是最著名的例子。判决结果取决于具体事实、诉讼主张及管辖权,因此上述内容均不意味着抓取X平台的数据是被允许的。

个人数据。帖子和个人资料描述了可识别身份的个人,因此在欧盟和英国,根据《通用数据保护条例》(GDPR),它们属于个人数据。您需要依据《通用数据保护条例》第 6 条确立合法依据(例如合法利益),且应仅收集指标所需的字段,并设定数据保留期限。公开可见性并不能免除这些义务。

实践要点。尽可能使用官方 API 或获得授权/受管理的数据源。对于其他情况,在开始之前请对数据收集的目的、来源和规模进行法律审查,并围绕明确的目的和所需的最低记录量,规划负责任的网络数据收集。

获取 X(Twitter)数据的四种途径

目前有四种切实可行的途径,它们在定位和维护方面的差异远大于代码层面的差异:

途径

可获取的内容

工作量

技术定位

最适合

官方 X API

JSON 帖子、用户和搜索结果

低代码,按使用量付费

X的文档化接口

搜索和持续监控

托管型 X 数据(WebScrapingAPI 数据 API)

范围限定、结构化记录:ID、文本、计数、讨论串、个人资料

无需运行

范围按项目约定

需要记录而非采集器的团队

已渲染的公共页面(Scraper API 或 Browser API)

HTML 或来自公共 URL 的选定字段

中等

须遵守X的条款。需获得同意或进行法律审查

对特定公开URL进行抽查

自建浏览器或开源库

无论您构建和维护什么

高,经常出现故障

通常需要登录账户,且与X的条款存在冲突

如今很少是正确的选择

对于关键词搜索和监控,建议从官方 API 入手,下一节将通过代码示例进行说明。 如果您的团队希望直接获取成品数据记录,而非维护数据采集器,X(Twitter)数据 API 可提供结构化的公开帖子、个人资料、讨论串、回复及搜索结果,而 WebScrapingAPI 则负责处理源数据访问、数据提取、解析器更新及质量监控。 您可在审阅样本后,就页面、字段、数据量及刷新频率达成一致。对于经法律审核通过的少量特定公开URL,Scraper API可接收URL并返回HTML、JSON或选定字段,并可针对需要渲染的页面提供可选的JavaScript渲染功能。

关于免费库的简要说明:snscrape 的 X 模块已于 2023 年停止工作,而 twint 已被归档。目前仍可正常使用的工具依赖于登录账户和会话 Cookie,这在服务条款问题之外还增加了账户风险。 Puppeteer 和 Playwright 也能打开 x.com,但这属于 DIY 方案,本指南不予涵盖。

如果您不确定哪种方案更适合,请回答以下三个问题:您需要在整个 X 平台上进行关键词搜索,还是仅针对特定账号和帖子?您的团队希望自主管理数据采集器,还是仅接收数据记录?数据需要多频繁地刷新? 如果需要进行搜索且拥有小型工程团队,通常应选择 API。如果是需要定期处理多来源数据,但又没有团队来维护数据收集器,则应选择托管数据服务。只有在仅有少数已知的公共 URL 时,渲染页面才具有实际意义。

使用官方 X API 搜索近期帖子

官方 X API 是 X 服务条款中提及的、经过文档记录的接口,其搜索端点正是为此任务而设计的:X 自身的文档中列出了品牌监测、趋势分析和研究等用例。

设置访问权限并了解按使用量付费的定价机制

在 X 开发者控制台中创建一个项目和一个应用,并复制该应用的 Bearer 令牌。请将其存储在环境变量中,而非代码中:

export X_BEARER_TOKEN="your-bearer-token"

X API 采用按使用量付费的计费模式:您需在开发者控制台中预先购买积分,当请求返回资源时,积分将按各端点的不同费率进行扣除。 在同一 UTC 日内再次请求同一条帖子不会产生额外费用,因为 X 会在 24 小时 UTC 窗口内对资源进行去重处理(X 称之为“软保证”)。此处有两个搜索端点需要关注:

  • 近期搜索(GET /2/tweets/search/recent) 覆盖最近 7 天,所有开发者均可使用,每次请求最多可包含 100 条帖子。
  • 完整存档搜索(GET /2/tweets/search/all) 追溯至2006年,面向按量付费和企业版客户开放。

费率会发生变化,因此在估算项目成本前,请先在开发者控制台中查看最新数据,并设置支出限额。

在编写任何数据采集代码之前,请先确定什么是有效的查询,因为查询既会影响您的成本,也会影响情感分析数据的质量。以下几点建议可供参考:

  • 涵盖用户实际提及您品牌的所有表述方式: (AcmeCo OR "Acme Co" OR #acmeco).
  • 使用 -from:AcmeCo ,以免营销文案虚增积极情感。
  • 添加 -is:retweet 来跳过转发内容,并考虑使用 -is:reply 是否仅需原始帖子。
  • 使用 lang:en 当您的模型仅支持英语时。

最近的搜索查询最长可达 512 个字符,因此请将长长的产品名称列表拆分为多个查询。

使用 Tweepy 搜索帖子

Tweepy 将 v2 端点封装在 Client 类中封装。下面的脚本用于搜索提及某个品牌的近期英文推文,跳过转发内容,并按页显示结果直至达到硬性上限,从而避免宽泛的查询耗尽您的积分:

import os
from datetime import datetime, timezone

import tweepy

client = tweepy.Client(
    bearer_token=os.environ["X_BEARER_TOKEN"],
    wait_on_rate_limit=True,  # sleep until the window resets on a 429
)

QUERY = '"AcmeCo" lang:en -is:retweet'
MAX_POSTS = 500  # hard cap: every returned post costs credits

records = []
collected_at = datetime.now(timezone.utc).isoformat()

for page in tweepy.Paginator(
    client.search_recent_tweets,
    query=QUERY,
    tweet_fields=["created_at", "lang", "public_metrics", "conversation_id", "author_id"],
    expansions=["author_id"],
    user_fields=["username", "public_metrics"],
    max_results=100,
):
    users = {user.id: user for user in (page.includes or {}).get("users", [])}
    for post in page.data or []:
        metrics = post.public_metrics or {}
        author = users.get(post.author_id)
        username = author.username if author else "i"
        records.append({
            "post_id": str(post.id),
            "author_id": str(post.author_id),
            "text": post.text,
            "lang": post.lang,
            "created_at": post.created_at.isoformat(),
            "collected_at": collected_at,
            "like_count": metrics.get("like_count", 0),
            "reply_count": metrics.get("reply_count", 0),
            "repost_count": metrics.get("retweet_count", 0),
            "quote_count": metrics.get("quote_count", 0),
            "conversation_id": str(post.conversation_id),
            "source": "x_api",
            "source_url": f"https://x.com/{username}/status/{post.id}",
            "query": QUERY,
        })
    if len(records) >= MAX_POSTS:
        break

records = records[:MAX_POSTS]
print(f"Collected {len(records)} posts")

有三个细节需要注意。查询运算符(lang:en, -is:retweet、加引号的精确短语)在 X 端执行,因此在此处进行过滤比下载后过滤消耗的信用更少。诸如 created_at 和 public_metrics 等字段仅在您通过 tweet_fields中明确请求时,诸如和等字段才会返回。而 author_id 展开操作会通过 page.includes中返回匹配的用户对象,这样您无需为每条帖子发起第二次请求即可获取用户名。

处理速率限制

速率限制是按端点和时间窗口设置的,通常为15分钟或24小时。每个响应都包含三个标头: x-rate-limit-limit, x-rate-limit-remaining,以及 x-rate-limit-reset (表示时间窗口重置时间的 Unix 时间戳)。若超出限制,将返回 HTTP 429 状态码,直至时间窗口重置。

Tweepy的 wait_on_rate_limit=True 会自动为您处理此事。如果您直接调用该端点,请自行解析这些标头:

import os
import time

import requests

URL = "https://api.x.com/2/tweets/search/recent"
HEADERS = {"Authorization": f"Bearer {os.environ['X_BEARER_TOKEN']}"}


def get_page(params, max_retries=3):
    for _ in range(max_retries):
        resp = requests.get(URL, headers=HEADERS, params=params, timeout=30)
        if resp.status_code != 429:
            resp.raise_for_status()
            print("Requests left in this window:", resp.headers.get("x-rate-limit-remaining"))
            return resp.json()
        reset_at = int(resp.headers.get("x-rate-limit-reset", time.time() + 60))
        time.sleep(max(reset_at - time.time(), 1) + 1)
    raise RuntimeError("Still rate limited after retries")


page = get_page({"query": '"AcmeCo" lang:en -is:retweet', "max_results": 100})

等待重置是文档中规定的行为。请勿将一个任务分散到多个应用或令牌上以规避限制。这正是 X 服务条款所禁止的变通做法。

为何在 X 上发送普通 HTTP 请求会返回空白页面

若使用普通 HTTP 客户端向 x.com 请求一个帖子 URL,你会得到一个几乎不含帖子内容的页面。x.com 是一款客户端渲染的应用:初始的 HTML 响应仅是一个空壳,帖子内容随后通过页面 JavaScript 发起的后台 JSON 请求加载进来。 要查看内容,需要一个能运行脚本的真实浏览器引擎——这正是无头浏览器的作用——并等待帖子元素出现。

许多 X 数据抓取教程会跳过浏览器,直接调用这些后台 JSON 接口,并使用从网站网络流量中复制的访客令牌和内部查询 ID。本指南不会这样做。这些接口并非公开接口,对其进行反向工程正是 X 服务条款所禁止的“技术限制”规避手段。 若需大规模获取数据,官方 API 和托管数据才是行之有效的途径。

其他途径:托管数据和已渲染的公共页面

如果官方 API 不适用,还有另外两种途径,且均无需您编写代码。需要完整记录的团队可以通过上文提到的 X(Twitter)数据 API 请求受范围限制的托管 X 数据。 对于已获得 X 授权或经您法律审查通过的特定公开 URL,Browser API 会渲染该页面并将选定的字段以 JSON 格式返回。该功能采用请求/响应调用方式,而非需要您持续保持打开状态的实时浏览器会话。您需发送 URL 以及一个 wait_for_css 选择器(该选择器必须出现在页面中,页面才被视为就绪),以及 extract_rules 将字段名称映射到 CSS 选择器的映射。您将收到渲染后的 HTML、JSON、选定字段或屏幕截图。WebScrapingAPI 负责运行浏览器。

Browser API 仅适用于符合条件的公开页面,而 WebScrapingAPI 要求您在使用前仔细阅读来源方的条款、适用要求及其服务协议。 X 的条款禁止未经事先书面同意进行抓取,因此请先获得该同意或进行法律审查,保持抓取量较低,并且切勿登录或传递 Cookie。如需进行搜索和监控,请返回 API。

X 的 data-testid 属性(仅供参考)

除了频繁变化的生成类名外,X 的标记中还包含 data-testid 属性,这些是更稳定的钩子。若您发现这些属性,以下是常见属性的含义:

字段

属性

帖子容器

article[data-testid="tweet"]

文章正文

[data-testid="tweetText"]

作者姓名和昵称

[data-testid="User-Name"]

发布时间

time[datetime]

回复、转发和点赞按钮(计数显示在 aria-label)

[data-testid="reply"], [data-testid="retweet"], [data-testid="like"]

图片

[data-testid="tweetPhoto"] img

个人简介

[data-testid="UserDescription"]

个人资料位置、URL 和注册日期

[data-testid="UserLocation"], [data-testid="UserUrl"], [data-testid="UserJoinDate"]

这些是 X 的内部测试钩子,并非公开契约,且可能会随时更改,恕不另行通知。发布时间位于 datetime 属性中,因为可见标签是相对的(“2h”)且经过本地化处理。有关属性匹配背后的选择器语法,请参阅我们的 CSS 选择器速查表。

将帖子存储在规范化的记录中

无论您使用哪种路由,在进行任何分析之前,请将每条帖子规范化为同一条记录。大多数出错的情感分析仪表盘问题都出在这里——由于帖子被重复计数或时间戳混淆,而非模型本身的问题。

字段

含义

post_id

X 的帖子 ID 及您的去重键

author_id

稳定的账号ID(用户名可能会变更)

text, lang

帖子正文及 X 的语言标签

created_at

帖子发布时间(UTC)

collected_at

您收集该帖子的时间(UTC)

like_count, reply_count, repost_count, quote_count

快照时间: collected_at。这些信息会不断变化

conversation_id

将帖子与其回复分组

source, source_url, query

记录的来源以及通过哪个查询找到的

保留 created_at 并 collected_at 区分开来。每日情绪分析应按帖子发布时间分桶,而互动量则仅在与阅读时间相关时才有意义。将记录存储为 JSON Lines 格式,每行一条帖子,并仅保留每条帖子的最新快照:

import json
from pathlib import Path


def upsert_jsonl(path, new_records):
    path = Path(path)
    latest = {}
    if path.exists():
        with path.open(encoding="utf-8") as f:
            for line in f:
                rec = json.loads(line)
                latest[rec["post_id"]] = rec
    for rec in new_records:
        old = latest.get(rec["post_id"])
        if old is None or rec["collected_at"] >= old["collected_at"]:
            latest[rec["post_id"]] = rec
    with path.open("w", encoding="utf-8") as f:
        for rec in latest.values():
            f.write(json.dumps(rec, ensure_ascii=False) + "\n")
    return len(latest)


total = upsert_jsonl("posts.jsonl", records)
print(f"{total} unique posts stored")

ISO 8601 格式的 UTC 时间戳作为字符串进行比较时结果准确,这使得快照校验变得简单。如果您不熟悉该格式,这里介绍了如何在 Python 中解析 JSON。最后,删除指标未使用的字段并设置保留期限,以免数据集悄然变成个人资料存档。

对 X 条帖子运行情感分析

情感分析会为每条帖子分配一个标签(积极、消极或中性)或一个评分。下面的示例使用的是关于虚构品牌 AcmeCo 的虚构帖子,因此您可以在不收集任何数据的情况下离线运行这些示例。

先对文本进行预处理

帖子内容简短且存在大量噪声。稍作清理可使评分结果更一致:

  • 将 URL 替换为 http ,并将 @用户名替换为 @user。这与下面针对 Twitter 调优的模型在训练时采用的前处理方式一致,并能确保用户名不被纳入分析文本。
  • 保留表情符号。VADER 和 Transformer 模型都会将其作为信号使用。
  • 剔除完全重复的内容和纯粹的转发,这些内容会多次重复同一观点。
import re

URL_RE = re.compile(r"https?://\S+")
HANDLE_RE = re.compile(r"@\w+")


def clean_text(text):
    text = URL_RE.sub("http", text)
    text = HANDLE_RE.sub("@user", text)
    return " ".join(text.split())


samples = [
    "Just tried the new AcmeCo cold brew and wow, I'm hooked 😍",
    "@acmeco_help my refund request has been ignored for 9 days. Not great.",
    "AcmeCo is opening a store near the station next month https://example.com/news",
    "Oh great, another AcmeCo app update that logs me out. Love that for me.",
]
cleaned = [clean_text(s) for s in samples]

从 VADER 基线模型开始

VADER 是一款专为社交媒体文本设计的基于规则的情感分析工具。它运行速度快、可在任何环境运行,且无需训练数据,因此是一个很好的基线模型。其 compound 评分范围为-1到1,根据VADER文档中的惯例:0.05及以上为积极,-0.05及以下为消极,介于两者之间的则为中性。

from vaderSentiment.vaderSentiment import SentimentIntensityAnalyzer

analyzer = SentimentIntensityAnalyzer()


def vader_label(text):
    compound = analyzer.polarity_scores(text)["compound"]
    if compound >= 0.05:
        return "positive", compound
    if compound <= -0.05:
        return "negative", compound
    return "neutral", compound


for text in cleaned:
    label, score = vader_label(text)
    print(f"{label:8} {score:+.3f}  {text}")

运行该工具并仔细观察第四个样本。尽管该帖子内容是投诉,但“哦,太好了”和“太喜欢了”这类短语会使基于词汇表的评分偏向积极。 请将该样本保留在测试集中:讽刺对所有模型来说都很棘手,包括下一步将介绍的Transformer模型,这也提醒我们,没有任何评分能替代亲自阅读帖子样本。

切换到针对 Twitter 调优的 Transformer 模型

cardiffnlp/twitter-roberta-base-sentiment-latest 是一个基于 RoBERTa 的模型,它使用 2018 年至 2021 年的约 1.24 亿条推文进行训练,并使用 TweetEval 基准进行情感分析微调。它返回 negative, neutral,或 positive 并附带置信度评分,其模型卡片说明该模型适用于英语。

from transformers import pipeline

sentiment = pipeline(
    "sentiment-analysis",
    model="cardiffnlp/twitter-roberta-base-sentiment-latest",
    truncation=True,
)

for text, result in zip(cleaned, sentiment(cleaned, batch_size=32)):
    print(f"{result['label']:8} {result['score']:.3f}  {text}")

Transformer 模型会结合上下文分析单词,因此通常比基于词表的模型更能处理非正式措辞、俚语和表情符号。其代价是速度:在 CPU 上运行时,它比 VADER 慢得多,处理大批量数据时需要借助 GPU。 一种常见的做法是保留 VADER 作为快速初步验证,而将 Transformer 用于最终报告的数据。 如果这两者在您的数据上存在较大分歧,这也是有用的信息:请查看分歧样本,因为它们通常指向讽刺、词典误读的产品名称,或是与您的品牌完全无关的帖子。

情感分析模型在哪些方面会出现误判

在将数据展示到仪表盘之前,请注意以下这些失效模式:

  • 讽刺与反讽。在投诉后出现的“我超爱这个”这类表述,会被许多模型解读为积极情绪。
  • 引用帖子。引用帖子可能会颠覆被引帖子的原意,而仅对文本进行评分会忽略这一点。
  • 机器人和垃圾信息爆发。抽奖活动、协同营销以及复制粘贴的回复可能会淹没当天的分析结果。请过滤近似重复内容,并关注每个账号的发布量。
  • 非英语帖子。上述两种模型均针对英语进行过调优。请按 lang 字段进行过滤,或使用多语言模型。
  • 样本量较小。仅含12条帖子的一天,情绪评分可能从极度积极骤变为极度消极。请在情绪评分旁显示帖子数量,且当样本量较低时应采用更宽泛的分类区间。

在信任任一模型处理您的主题之前,请手动标注约 200 条来自您自身数据的帖子并进行对比。品牌名称、产品俚语和行业术语会改变文本的解读方式,快速检查可帮助您确定哪种模型和阈值更合适。

将情感分析转化为营销指标

单条帖子的评分对营销团队没有帮助,而每日汇总数据则大有裨益。假设现在每条记录都包含模型生成的 label 模型生成的列,此 pandas 脚本将针对每个受追踪的查询计算四项指标:净情绪、声量份额、互动加权情绪,以及负面情绪激增的预警标志。

import numpy as np
import pandas as pd

df = pd.read_json("posts_scored.jsonl", lines=True)
df["day"] = pd.to_datetime(df["created_at"], utc=True).dt.floor("D")
df["polarity"] = df["label"].map({"positive": 1, "neutral": 0, "negative": -1})
df["engagement"] = df[["like_count", "reply_count", "repost_count", "quote_count"]].sum(axis=1)
df["weight"] = 1 + np.log1p(df["engagement"])
df["weighted_polarity"] = df["polarity"] * df["weight"]

daily = df.groupby(["query", "day"]).agg(
    posts=("post_id", "count"),
    pos=("polarity", lambda s: (s == 1).sum()),
    neg=("polarity", lambda s: (s == -1).sum()),
    weighted_polarity=("weighted_polarity", "sum"),
    weight=("weight", "sum"),
)
daily["net_sentiment"] = (daily["pos"] - daily["neg"]) / daily["posts"]
daily["share_of_voice"] = daily["posts"] / daily.groupby(level="day")["posts"].transform("sum")
daily["weighted_sentiment"] = daily["weighted_polarity"] / daily["weight"]

daily["neg_share"] = daily["neg"] / daily["posts"]
by_query = daily.groupby(level="query")["neg_share"]
baseline = by_query.transform(lambda s: s.rolling(14, min_periods=7).mean().shift(1))
spread = by_query.transform(lambda s: s.rolling(14, min_periods=7).std().shift(1))
daily["alert"] = daily["neg_share"] > baseline + 2 * spread

print(daily[["posts", "net_sentiment", "share_of_voice", "weighted_sentiment", "alert"]].tail(10))

净情绪值等于正面帖子减去负面帖子,再除以所有帖子,因此取值范围在 -1 到 1 之间。声量份额仅在比较中的每个查询均采用相同方式(即相同的过滤条件)收集数据时才有意义。 对数据进行对数加权可防止一条病毒式传播的帖子淹没其他所有内容,而警报机制是将每天的数据与该查询过去 14 天的数据进行比较,而非与固定数值比较。 请记住,互动数据只是某个时刻的快照:发布一小时后采集的帖子看起来会比一天后采集的帖子互动量更低,因此请按固定时间表采集数据,或在比较不同日期之前,对近期帖子重新采集互动数据。

在展示这些数据时,请在每项情绪指标旁标注帖子数量,并将每个峰值与相关帖子的样本关联起来,以便人们了解其背后的驱动因素。如果仪表盘仅显示“净情绪下降了0.3”,却未提供支撑该数据的帖子样本,则容易导致错误的结论。 对已知事件(如产品发布、系统故障、价格变动和营销活动)进行标注,以便团队能够区分真实反应与随机噪音。并且每隔几个月重新核对您手动标注的样本,因为人们谈论品牌的方式会发生变化,上季度适配的模型可能会出现偏差。

FAQ

抓取 Twitter(X)的数据是否合法?

X的条款禁止未经其事先书面同意进行爬取或抓取,其robots.txt文件也不允许通用爬虫访问。法院对公共数据访问和合同索赔的处理方式不同,结果取决于具体事实。请尽可能使用官方API或获得许可的数据源,并在尝试其他方法之前寻求法律建议。

不使用API能否抓取X?

渲染后的公共页面会显示部分帖子和个人资料,但搜索、完整时间线以及关注者列表均需登录才能访问,且X的服务条款限制未经许可的抓取行为。对于关键词搜索和监控,官方X API或托管数据源是可靠的选择,它能提供结构化字段,而非需要解析的HTML代码。

不登录能否查看 X 上的帖子?

未登录的访客通常可以查看单条公开帖子以及包含有限数量近期帖子的公开个人资料。搜索功能和大多数列表都需要账户,且 X 会随时更改可见内容而不另行通知。在构建任何依赖未登录访问的功能之前,请先确认实际可访问的内容,并做好应对变化的准备。

snscrape 还能用于 Twitter 吗?

不行。snscrape 的 Twitter 模块已于 2023 年停止工作,而 twint 已被存档。目前仍在维护的替代方案依赖于登录账户和会话 Cookie,这在服务条款问题之外还增加了账户安全风险。官方 X API 及其“近期内容”和“完整存档”搜索接口,是文档中明确指定的关键词搜索替代方案。

从数据抓取的角度看,X 和 Twitter 是一样的吗?

是的。Twitter 于 2023 年更名为 X,twitter.com 现已重定向至 x.com。平台、数据和 API 均保持不变,许多端点路径、库方法和模型名称仍使用“tweet”。查阅文档时请同时搜索这两个名称,因为旧版指南中仍普遍使用 Twitter 一词。

哪种情感分析模型最适合处理推文?

建议先从 VADER 开始,这是一个可在任何环境下运行的、基于规则的快速基线模型。若需对非正式推文获得更佳效果,请使用基于推文训练的模型,例如 cardiffnlp 的 Twitter RoBERTa。无论选择哪种模型,在报告其结果之前,请先用您所在主题的几百条人工标注推文进行验证。

X API 的费用是多少?

X API 采用按使用量付费的计费模式。您需要在开发者控制台中购买积分,每次请求会根据返回的资源消耗相应积分,不同端点的费率各不相同。费率会发生变化,因此在估算项目成本之前,请查看 X 的开发者定价页面并设置支出限额。

结论

将 X 帖子转化为营销洞察是一个链式过程:选择符合 X 条款的访问途径,将每条帖子作为包含 ID 和两个时间戳的干净记录进行存储,先使用基线模型进行评分,再使用针对 Twitter 调优的模型进行评分,最后将评分汇总为每日净情绪、声量份额和警报。 官方 API 涵盖搜索功能,托管数据服务面向需要成品记录的团队,而页面渲染则仅限于经您法律审查覆盖的特定公开页面。无论选择哪种途径,分析步骤均保持一致,因此您日后可切换途径而无需重建仪表盘。

渲染公开页面并获取干净的字段数据

将公共 URL 发送至 Scraper API,即可获取 HTML 或选定字段的 JSON 格式数据,并在页面需要时通过 JavaScript 进行渲染。初始提供 5,000 次免费请求。失败的请求不计费,且 JavaScript 渲染或地理定位不会消耗额外配额。

查看 Scraper API 定价

关于作者

Raluca Penciuc, 全栈开发工程师 @ WebScrapingAPI

Raluca Penciuc

全栈开发工程师

Raluca Penciuc 是 WebScrapingAPI 的全栈开发工程师,主要负责开发爬虫、优化规避机制,并探索可靠的方法以降低在目标网站上的被检测概率。

开始构建

准备好扩展您的数据收集规模了吗?

加入2,000多家企业,使用WebScrapingAPI在无需任何基础设施开销的情况下,以企业级规模提取网络数据。