要点速览: 本指南介绍如何用 Python 下载文件,从一行代码起步,一直到带身份验证、可断点续传、并行和异步的下载流水线。你将了解何时该用urllib、requests、ThreadPoolExecutor或aiohttp,如何流式处理大文件、添加真正可用的tqdm进度条、带退避地重试,以及如何用校验和与Content-Length验证文件完整性。
如果你写过备份脚本、抓取过数据集,或者搭建过数据流水线,就会知道用 Python 下载文件这件事看似简单,一到生产环境就会暴露问题。两行代码的 urlretrieve 调用,在笔记本上下载一个 100 KB 的 CSV 毫无问题。可一旦你需要通过不稳定的 VPN 下载 5 GB 的压缩包、续传一个只完成一半的传输,或者在登录之后批量拉取上千张商品图片,它就撑不住了。
这篇文章是我第一次写需要连续运行一周的下载脚本时,最希望手边能有的那本手册。我们会从最简单的代码片段开始,然后逐步加入流式下载、进度条、断点续传、多线程、异步 I/O、身份验证、完整性校验和重试。每一节都是可以直接运行的示例,你可以把它粘贴到 Python 3.9 或更高版本的 virtualenv 中运行。
读完之后,你应该能够看到一个 URL 就预判它可能出现的故障,选出合适的工具,并复制一段能应对这些故障的代码。




