网络爬虫技术
HTTP 标头网络抓取：停止受阻
TL;DR: 简而言之：HTTP 头信息通常是你的刮擦程序收到 403 而你的浏览器却能正常加载相同 URL 的原因。本指南介绍了反僵尸系统实际上会检查哪些标头，如何从 DevTools 中捕获真实浏览器的标头集，如何在 Python 和 Node.js 中正确发送和旋转标头，以及何时手动调整将不再奏效，而使用受管刮擦 API 才是更好的选择。
Raluca Penciuc3 min read
阅读文章Blog
洞察与工程
深入探讨网络数据基础设施、数据提取技术以及大规模结构化数据的未来。
最新文章
156 文章
指南
Ruby HTML 和 XML 解析器：基于工作负载的比较
TL;DR: 简而言之：应根据具体工作负载选择 Ruby HTML 和 XML 解析器，而非依据通用排名。对于广泛的 HTML 和 XML 树解析，建议首先使用 Nokogiri；针对特定的 XML 任务，可考虑使用 Ox 或 LibXML Ruby；仅当必须由真实浏览器渲染页面或与页面交互时，才添加 Selenium。
Raluca Penciuc3 min read
阅读文章
指南
代理状态错误：诊断请求跳转失败
TL;DR: 在重试代理请求之前，请先定位出现故障的跳点。利用状态码、CONNECT 结果以及安全诊断记录，将代理故障与目标响应区分开来。
Mihai Maxim2 min read
阅读文章
指南
如何使用 JavaScript 抓取 HTML 表格并导出干净的 CSV 文件
TL;DR: 简而言之：首先确定表格行是否存在于 HTTP 响应中、是否通过数据请求获取，还是需要浏览器渲染。然后使用下文提到的静态 Axios 和 Cheerio 脚本，或针对性更强的 Puppeteer 方案，在 JavaScript 中抓取 HTML 表格，验证基于表头的记录，去除页面重复项，并安全地写入 CSV 文件。 HTML 表格将信息组织为行和列，通常包含 <table>、<tr>、<th> 和 <td> 元素。在 JavaScript 中抓取 HTML 表格，是指检索或渲染该标记，将每行数据转换为 JavaScript 对象，验证结果，并将其序列化为 CSV 等格式。
Mihai Maxim2 min read
阅读文章
指南
用 Jsoup 在 Java 中解析 HTML
TL;DR: 简要说明：Jsoup 是 Java 中用于 HTML 解析的默认库。本指南介绍了整个生命周期（Maven 设置、加载文档、CSS 选择器、DOM 遍历、提取、修改和序列化），以及可运行的刮擦项目、错误处理、分页和将您推向无头浏览器或刮擦 API 的限制。
Mihai Maxim3 min read
阅读文章
指南
Python 从 HTML 中提取文本
TL;DR: 简而言之：要以 Python 方式从 HTML 中提取文本，请使用真正的解析器（BeautifulSoup、lxml.html 或 html-text）解析标记，去除脚本、样式和网站 Chrome 浏览器，然后在保存前对空白和 Unicode 进行规范化处理。本指南对主要库进行了比较，修正了常见的清理陷阱，最后提供了一个可运行的爬虫，可写入 JSONL 和每页的 .txt 文件。
Mihai Maxim5 min read
阅读文章