用例
XPath 与 CSS 选择器：选择正确的选择器
TL;DR: 简要说明：XPath 和 CSS 选择器都能定位 DOM 元素，但它们解决的问题不同。CSS 选择器更快、更易读，适合直接选择。当你需要从任意方向遍历 DOM、匹配文本内容或处理复杂的条件逻辑时，XPath 就会胜出。大多数生产项目都能从这两种策略中获益。
Mihai Maxim4 min read
阅读文章Blog
洞察与工程
深入探讨网络数据基础设施、数据提取技术以及大规模结构化数据的未来。
最新文章
156 文章
指南
如何在 Node.js 中设置 Axios 代理：验证、轮换、SOCKS5
TL;DR: 简要说明：Axios 通过代理路由请求，接受包含主机、端口和可选 auth 字段的代理对象。本指南介绍如何从头开始设置 Axios 代理配置：基本布线、认证代理、HTTPS 隧道、使用拦截器的轮换系统、通过 socks-proxy-agent 实现 SOCKS5 以及诊断常见错误。每个片段都是可复制粘贴的 Node.js 代码。
Suciu Dan3 min read
阅读文章
指南
Puppeteer 下载文件：适用于 Node.js 的 4 种方法
TL;DR: 简而言之：Puppeteer 下载文件工作流程有四种形式：点击按钮，让 Chrome 浏览器写入你控制的文件夹；在页面内运行 fetch() 并将 base64 管道传回 Node；利用下载进度事件驱动 Chrome DevTools 协议；或者跳过浏览器，利用从 Puppeteer 会话中获取的 Cookie 通过 Axios 获取 URL。根据文件大小、身份验证和网站公开链接的方式进行选择。
Mihnea-Octavian Manolache7 min read
阅读文章
指南
如何在 Node-Fetch 中使用代理：实用指南
TL;DR: 简要说明：Node-Fetch 没有内置代理开关，因此您需要通过代理选项将 HTTP、HTTPS 或 SOCKS5 代理接入请求。本指南从头到尾介绍了如何在 Node-Fetch 中使用代理：经过验证的 HTTP 和 HTTPS 代理、SOCKS5、轮换、重试、TLS 边缘情况、故障排除以及 Node 18+ 原生获取的现代 undici 路由。
Mihnea-Octavian Manolache3 min read
阅读文章
指南
用 Python 对 JavaScript 表进行网络抓取：从隐藏的 API 到 Playwright
TL;DR: 简而言之：用 Python 对 JavaScript 表格进行网络刮擦很少需要无头浏览器。打开 DevTools，找到与网格融为一体的 JSON 端点，用请求重放它，对它进行分页，只有当网络调用被签名、加密或以其他方式密封时，才返回 Playwright。
Andrei Ogiolan2 min read
阅读文章
指南
如何使用 Colly 在 Golang 中抓取 HTML 表格：端到端指南
TL;DR: 简要说明：本指南展示了如何在 Golang 中从头到尾地刮擦 HTML 表格：在 Colly、goquery 和 golang.org/x/net/html 之间进行选择，以正确的 <tbody> 为目标，将行建模为类型化结构，并导出干净的 JSON 和 CSV。你还能获得分页、反阻塞和 JavaScript 渲染的表格模式。
Andrei Ogiolan3 min read
阅读文章