Selenium+Playwright双引擎破解动态网页爬取难题

markdown复制## 1. 项目背景与核心挑战

最近在做一个本地生活服务的数据分析项目，需要获取某点评网站的商户数据。本以为是个简单的爬虫任务，实际动手才发现这个网站的页面全是动态渲染的，传统requests+BeautifulSoup组合完全失效。页面数据通过XHR异步加载，关键内容都被加密在JavaScript bundles里，连最简单的店铺名称都拿不到。

经过两周的实战摸索，最终用Selenium+Playwright双引擎方案攻克了这个动态页面爬取难题。这个方案最大的优势在于：
- 能100%模拟人类操作触发数据加载
- 支持自动等待AJAX请求完成
- 可处理各种反爬机制（滑块验证、点击验证等）
- 双引擎互为备份确保稳定性

> 重要提示：实际爬取请遵守网站robots.txt规则，控制请求频率，本文仅讨论技术实现方案

## 2. 技术选型与方案设计

### 2.1 为什么需要双引擎？

单纯使用Selenium会遇到几个致命问题：
1. 页面加载速度慢（特别是Headless模式）
2. 内存泄漏导致长时间运行崩溃
3. 某些动态元素无法定位

Playwright的加入完美解决了这些问题：
- 原生支持无头模式且速度更快
- 自动管理浏览器上下文
- 更强大的选择器引擎

### 2.2 技术栈组成

```python
核心组件：
- Selenium 4.0+（WebDriver管理）
- Playwright 1.30+（备用渲染引擎）
- undetected-chromedriver（绕过Cloudflare检测）
- BrowserMob Proxy（流量监控）
- Redis（任务队列去重）

3. 核心实现细节

3.1 动态加载触发机制

目标网站的列表页采用无限滚动加载，需要模拟滚动到底部的行为。这里有个关键技巧：不能用简单的window.scrollTo()，必须加入随机停顿和曲线移动。

python复制def smooth_scroll(driver, scroll_times=3):
    for _ in range(scroll_times):
        # 生成抛物线滚动轨迹
        scroll_script = """
        let hei