某市场营销团队希望了解X(Twitter)上的用户对其品牌、新产品发布或竞争对手的看法,因此需要有人收集相关帖子并对其进行评分。 Twitter(X)数据抓取是指通过程序化方式从X平台收集公开帖子、个人资料及互动数据,以便进行批量分析。在开始抓取Twitter数据之前,请注意X在其服务条款中对抓取行为设定了限制。 本指南首先介绍可收集的数据内容及X平台的规则要求,对比了官方API、托管数据和渲染后的公共页面,随后重点讲解了大多数指南都会忽略的部分:如何清理帖子、使用Python对情感进行评分,以及将评分转化为营销团队可用的指标。
关键要点
- X 的服务条款禁止在未获得其事先书面同意的情况下进行爬取或抓取,因此请在编写代码前确定访问途径。
- 官方 X API 是进行关键词搜索和持续监控的文档化途径。
- 未登录页面显示的数据有限。搜索、完整时间线和关注者列表需登录后才能访问。
- 存储每条帖子时,应包含其ID以及两个时间戳:发布时间与采集时间。
- 首先使用 VADER 基准模型,随后切换至针对 Twitter 优化过的变换器,最后汇总为净情绪和声量份额。




