洞察与工程

简要说明：没有官方的 Google SERP API，因此由第三方提供商来填补这一空白。价格从每千次搜索大约 0.30 美元到 15 美元不等，正确的选择取决于您的搜索量、预算以及需要提取的 SERP 功能。本指南对顶级提供商进行了并列比较，分解了规模化的真实成本，并为您提供了一个决策框架，以筛选出最适合您项目的 SERP API。

简要说明：XPath 和 CSS 选择器都能定位 DOM 元素，但它们解决的问题不同。CSS 选择器更快、更易读，适合直接选择。当你需要从任意方向遍历 DOM、匹配文本内容或处理复杂的条件逻辑时，XPath 就会胜出。大多数生产项目都能从这两种策略中获益。

简要说明：Axios 通过代理路由请求，接受包含主机、端口和可选 auth 字段的代理对象。本指南介绍如何从头开始设置 Axios 代理配置：基本布线、认证代理、HTTPS 隧道、使用拦截器的轮换系统、通过 socks-proxy-agent 实现 SOCKS5 以及诊断常见错误。每个片段都是可复制粘贴的 Node.js 代码。

简而言之：Puppeteer 下载文件工作流程有四种形式：点击按钮，让 Chrome 浏览器写入你控制的文件夹；在页面内运行 fetch() 并将 base64 管道传回 Node；利用下载进度事件驱动 Chrome DevTools 协议；或者跳过浏览器，利用从 Puppeteer 会话中获取的 Cookie 通过 Axios 获取 URL。根据文件大小、身份验证和网站公开链接的方式进行选择。

简要说明：Node-Fetch 没有内置代理开关，因此您需要通过代理选项将 HTTP、HTTPS 或 SOCKS5 代理接入请求。本指南从头到尾介绍了如何在 Node-Fetch 中使用代理：经过验证的 HTTP 和 HTTPS 代理、SOCKS5、轮换、重试、TLS 边缘情况、故障排除以及 Node 18+ 原生获取的现代 undici 路由。

简而言之：用 Python 对 JavaScript 表格进行网络刮擦很少需要无头浏览器。打开 DevTools，找到与网格融为一体的 JSON 端点，用请求重放它，对它进行分页，只有当网络调用被签名、加密或以其他方式密封时，才返回 Playwright。