
Scrapy Splash 教程:渲染 JavaScript 页面
TL;DR: 简要说明:Scrapy Splash 将 Scrapy 的快速抓取引擎与 Splash 无头浏览器配对使用,以渲染 JavaScript 较多的页面。本 Scrapy Splash 教程将指导你完成 Docker 设置、Scrapy 项目配置、SplashRequest 基础知识、用于滚动和点击的 Lua 脚本、代理集成,以及修复你将遇到的最常见错误。
作者简介
Stefan Racila 是 WebScrapingAPI 的 DevOps 及全栈工程师,负责开发产品功能并维护确保平台稳定运行的基础设施。

已发表的文章
8 文章

TL;DR: 简要说明:Scrapy Splash 将 Scrapy 的快速抓取引擎与 Splash 无头浏览器配对使用,以渲染 JavaScript 较多的页面。本 Scrapy Splash 教程将指导你完成 Docker 设置、Scrapy 项目配置、SplashRequest 基础知识、用于滚动和点击的 Lua 脚本、代理集成,以及修复你将遇到的最常见错误。

TL;DR: 简要说明:本指南从头到尾介绍了如何在 Python Requests 中使用代理:一个有效的代理字典、经过验证的 URL、环境变量、会话重用、不泄漏 DNS 的 SOCKS5 以及带有重试和断路器的轮换池。到最后,你就会知道什么时候托管 API 比 DIY 池更有价值。

TL;DR: 简要说明:浏览器自动化是指通过代码驱动真实或无头 Web 浏览器,使其代表您点击、键入、导航和读取页面。本指南将解释什么是浏览器自动化,比较 Selenium、Playwright、Puppeteer 和 Cypress,并说明何时不需要使用完整浏览器。

TL;DR: 简要说明:网络搜刮从公共网页中收集原始数据。数据挖掘分析结构化数据,以显示模式、预测和细分。它们是同一生命周期中的不同阶段,大多数生产系统都将它们结合在一个 "先搜刮,后规范化,再挖掘 "的流程中。

TL;DR: 简要说明:最好的网络刮擦课程取决于你的语言、水平和目标用例。本指南比较了 Udemy、Coursera、DataCamp 和 Packt 的五种付费课程,指出了官方文档等免费补充内容,并介绍了如何从完成课程过渡到运行生产型刮擦程序。

TL;DR: 想要像专业人士一样进行网页抓取时,请使用这份 CSS 选择器速查表

TL;DR: 根据数据提取的所有权和交付需求,对比 Octoparse、Browse AI、Apify 和 Scrapy。构建一个试点项目,用于验证数据的完整性、时效性以及迁移准备情况。

TL;DR: 根据会话行为、数据来源以及每条接受记录的成本,对比代理网络和托管数据获取方案。采用受控测试和可逆迁移计划。