指南
使用 AWS Lambda 进行网页抓取：Python、Java 指南 2026
TL;DR: 简而言之：使用 AWS Lambda 进行网页抓取时，最佳实践是确保每次调用都简短、可控且可独立重试。建议从直接 HTTP 请求、AWS SAM 和 S3 开始，仅当工作负载确实需要时，再添加 SQS、容器、浏览器渲染、代理或托管抓取层。
Suciu Dan6 min read
阅读文章Blog
洞察与工程
深入探讨网络数据基础设施、数据提取技术以及大规模结构化数据的未来。
指南
Node.js 中的 Cheerio 网页抓取：使用 load() 加载经过测试的抓取器
Raluca Penciuc5 min read
阅读文章最新文章
156 文章
指南
如何使用 GoSpider：爬取、清理 URL 并提取数据
TL;DR: 简而言之：GoSpider 是一款用于发现 URL 的命令行爬虫工具，并非功能完整的结构化数据抓取工具。本《GoSpider 使用指南》介绍了有限范围爬取、干净的输出处理、Colly 到 CSV 的数据转换，以及针对 403 响应或需要 JavaScript 渲染的页面的故障排查路径。
Suciu Dan4 min read
阅读文章
指南
如何抓取 Redfin：房产数据 Python 指南
TL;DR: 简要说明：Redfin 公开了隐藏的 API 端点，这些端点可返回结构化的 JSON 房源列表，从而使完全跳过脆弱的 HTML 解析成为可能。本指南将指导您构建一个 Python 搜刮器，它可以提取租售数据、按位置搜索、通过 XML 网站地图监控新房源，并将干净的结果导出为 CSV 或 JSON。
Suciu Dan2 min read
阅读文章
指南
如何在 Python 中解析 JSON：从 API 响应到网页中隐藏的 JSON
TL;DR: 使用 Python 中的 json.loads 和 json.load 解析 JSON，修复解码错误，验证嵌套数据，流式处理大文件，并提取隐藏在网页中的 JSON-LD 或 __NEXT_DATA__——此外还包括 WebScrapingAPI 封装。
Suciu Dan4 min read
阅读文章
网络爬虫技术
Nodriver Python 教程：隐身浏览器爬取——从第一个脚本到投入生产
TL;DR: 简而言之：Nodriver 是一个异步 Python 库，通过 Chrome DevTools Protocol 驱动 Chromium，无需 Selenium 或 chromedriver 二进制文件。当一个更接近真实 Chrome 会话的自托管隐身浏览器比 WebDriver 技术栈更合适时，请使用它；但要知道，它本身并不能消除 IP、TLS 或行为层面的风险。本教程从第一个脚本讲到容器化生产部署以及托管的 Browser API。
Suciu Dan5 min read
阅读文章
网络爬虫技术
如何在搜索结果页面（SERP）抓取工具中处理 Google /goto 重定向 URL 和 CAES 令牌
TL;DR: Google 搜索会在搜索结果页面（SERP）中的结果与目标页面之间插入一个不透明的重定向。href 属性中可能不会直接显示 URL，而是显示包含 CAES 令牌的 google.com/goto——或者较旧的 /url 包装形式。了解如何在生产环境的 SERP 抓取工具中，无需解密 CAES 即可对这些重定向进行分类、去重和解析。
Suciu Dan4 min read
阅读文章