简而言之:使用 JavaScript 和 Node.js 进行网页抓取,需要 Node.js 22.12 或更高版本、用于发送请求的内置 fetch,以及用于解析 HTML 的 Cheerio。当数据就在请求返回的 HTML 中时使用 Cheerio;当页面由 JavaScript 构建,或需要点击和等待时使用 Playwright。本指南从分页、隐藏 JSON 到离线测试和抓取 API 备用方案,完整构建一个爬虫。
使用 JavaScript 进行网页抓取通常从一个简单任务开始:数据位于网页上,你编写 JavaScript 代码,并希望将这些数据转换为干净的 JSON 格式,避免遇到块或空数组等问题。如果你对这个概念还比较陌生,请先阅读“什么是网页抓取”的相关内容。
本指南将以 books.toscrape.com(一个专为爬虫开发者打造的练习书店)作为示例。你将使用原生 fetch 和 Cheerio 提取并解析网页,礼貌地爬取分页目录,检查页面是否由 JavaScript 生成,使用 Playwright 渲染页面并点击跳转,离线测试解析器,并将受限页面转移到爬虫 API 上,而无需修改解析器。
快速入门
- 请使用 Node.js 22.12 或更高版本(推荐 24 或 26 LTS)
npm install cheerio适用于数据位于 HTML 中的页面npm install playwright适用于数据位于 HTML 中的页面适用于需要真实浏览器的页面- 在爬取前请检查 robots.txt 文件和网站的使用条款




