洞察与工程

简要说明：这篇 BeautifulSoup 教程将引导您完成一个完整的 Python scraper，从 pip 安装到一个加固的脚本，该脚本可以分页浏览 Hacker News、导出为 CSV 和 JSON，并保持足够的礼貌以免被屏蔽。每个片段都可运行，我们还指出了 BeautifulSoup 是错误工具的确切时刻。

数据采集就在当下。通过这篇简明易懂的Java网络爬虫指南，跟上时代步伐。

简要说明：Selenium 可让您通过 Python 代码驱动真实浏览器，从而刮擦 JavaScript 繁重的网站。本教程将指导您完成每个阶段的工作：安装 Selenium、配置 Chrome 浏览器、定位元素并与之交互、处理等待和分页、导出干净的数据，以及使用代理、Selenium Grid 和基于 API 的替代方法扩展您的 scraper。

C++ 的应用场景非常广泛，但你见过用 C++ 实现的网页爬虫吗？这里就有一款，还附带了一个教程，教你如何自己动手制作。

如果说网络爬虫是引擎，那么代理就是燃料。若想获得最佳效果，请选用反向连接住宅代理。以下是7种选择：

数据采集领域正经历着持续的变化。请继续阅读，了解什么是网页抓取和网页爬取，以及它们之间的区别。