洞察与工程

简要说明：Redfin 公开了隐藏的 API 端点，这些端点可返回结构化的 JSON 房源列表，从而使完全跳过脆弱的 HTML 解析成为可能。本指南将指导您构建一个 Python 搜刮器，它可以提取租售数据、按位置搜索、通过 XML 网站地图监控新房源，并将干净的结果导出为 CSV 或 JSON。

简要说明：XPath 是一种查询语言，用于通过路径、属性或文本内容导航 HTML/XML 树。本指南涵盖 XPath 语法、轴和函数，然后展示了使用 lxml 和 Selenium 运行 Python scraers 的情况。您还将获得一份综合小抄和针对最常见 XPath 错误的故障排除部分。

简要说明：cURL 默认隐藏响应头信息。使用 -i 可以看到响应头和正文，使用 -I 可以看到 HEAD 请求只返回响应头，使用 -v 可以看到完整的请求/响应调试，使用 -D 可以将响应头保存到文件中。对于现代脚本，cURL 7.83+ 允许提取单个头信息，或使用 -w write-out 选项将所有头信息转存为 JSON 格式。

简要说明：无头浏览器是一种网络浏览器，运行时没有可见的图形界面，完全由代码或命令行指令控制。开发人员将无头浏览器用于自动测试、网络扫描、性能监控，并越来越多地用于支持人工智能代理。本指南将介绍无头浏览器的内部工作原理、何时选择无头浏览器而非普通浏览器，以及哪些框架值得你花时间研究。

简要说明：Scrapy-Playwright 可让你通过 Playwright 控制真实的 Chromium、Firefox 或 WebKit 浏览器，直接在 Scrapy spiders 中渲染 JavaScript 繁重的页面。本教程将指导你完成安装、配置、页面交互、AJAX 截取、反检测和生产就绪的项目结构，这样你就可以在不离开 Scrapy 生态系统的情况下抓取动态网站了。

使用 Python 结合 JavaScript 渲染、代理服务器、CSS 选择器和分页功能，抓取 Expedia 的酒店列表，然后对数据进行清理并导出为 CSV 格式。