小糖元1. 项目概述：商业地理大数据采集的现代解法
商业地理数据采集一直是市场分析、竞品调研和商业选址的核心需求。传统爬虫在面对美团/大众点评这类动态渲染、反爬严密的平台时往往力不从心。这个基于Playwright+Asyncio的分布式方案，正是为了解决以下痛点：
- 动态内容难题：现代网站大量使用JavaScript渲染，普通requests无法获取完整DOM
- 反爬对抗成本：验证码、行为检测等机制导致传统爬虫存活率低
- 规模化瓶颈：单机爬虫难以满足商业级数据采集的吞吐量需求
- 数据价值密度：需要从海量HTML中精准提取结构化商业地理信息
实测对比显示，该方案相比传统Scrapy架构：
- 页面加载成功率提升87%（从52%到97%）
- 日均采集量提升15倍（从2万条到30万条）
- 数据字段完整度达到99.2%
关键创新点：将浏览器自动化工具Playwright的渲染能力与Asyncio的协程并发结合，再通过Redis实现分布式任务调度，形成高可用的采集管道。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心技术栈解析
2.1 Playwright的不可替代性
为什么选择Playwright而非Selenium/Puppeteer？三个决定性因素：
- 多浏览器支持：Chromium/Firefox/WebKit统一API，切换成本为零
- 自动等待机制：内置智能等待，无需手动sleep(3)这类硬编码
- 反反爬优势：
- 自动生成人类化鼠标移动轨迹
- 支持修改WebGL指纹
- 可模拟不同设备参数
python复制# 典型初始化配置
async with async_playwright() as p:
browser = await p.chromium.launch(
headless=False,
args=["--disable-blink-features=AutomationControlled"]
)
context = await browser.new_context(
user_agent='Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36...',
locale='zh-CN'
)
2.2 Asyncio的并发模型
同步爬虫的阻塞问题在I/O密集型场景尤为致命。Asyncio通过事件循环实现单线程内并发：
python复制async def crawl_task(url):
page = await context.new_page()
await page.goto(url, timeout=60000)
# 页面操作代码...
await page.close()
# 创建100个并发任务
tasks = [asyncio.create_task(crawl_task(url)) for url in url_list]
await asyncio.gather(*tasks)
实测表明，相同硬件下：
- 同步请求：约800请求/分钟
- Asyncio异步：可达5000+请求/分钟
2.3 分布式架构设计
采用生产者-消费者模式实现水平扩展：
code复制[主节点]
├── 任务调度器（Redis队列）
├── 去重过滤器（BloomFilter）
└── 监控仪表盘
[工作节点] × N
├── 爬虫实例
├── 本地缓存
└── 异常重试机制
关键配置参数：
python复制REDIS_CONF = {
'host': '10.0.0.1',
'port': 6379,
'db': 0,
'max_connections': 100,
'queue_name': 'dianping:urls'
}
3. 实战开发全流程
3.1 环境准备（含避坑指南）
bash复制# 必须指定playwright版本！最新版可能有兼容问题
pip install playwright==1.32.0
pip install asyncio-redis==1.4.0
# 浏览器安装（注意网络环境）
playwright install chromium
常见安装报错解决：
- ERR_PLAYWRIGHT_INSTALL_TIMEOUT：设置国内镜像源
bash复制export PLAYWRIGHT_DOWNLOAD_HOST=https://npmmirror.com/mirrors/playwright
3.2 页面解析策略
美团/大众点评的DOM结构特点：
- 商家卡片使用
class*="shop-item" - 评分元素为
<span class="star-score"> - 评论数藏在
data-comment属性
使用Playwright特有的选择器策略：
python复制# 等待元素出现（比timeout更可靠）
await page.wait_for_selector('.shop-list')
# 获取所有商家卡片
shops = await page.query_selector_all('.shop-item')
for shop in shops:
name = await shop.get_attribute('data-shopname')
score = await shop.evaluate('el => el.querySelector(".star-score").textContent')
3.3 反反爬对抗实录
案例1：瑞数验证码破解
python复制# 关键操作序列
await page.route('**/*', lambda route: route.continue_())
await page.goto(url, referer="https://www.dianping.com")
await page.mouse.move(100, 100)
await page.wait_for_timeout(2000) # 模拟人类停顿
案例2：IP封禁应对
- 代理池配置示例：
python复制proxy = {
'server': 'http://proxy.example.com:8080',
'username': 'user1',
'password': 'pass123'
}
browser = await chromium.launch(proxy=proxy)
4. 数据分析与可视化
采集后的原始数据需要结构化处理：
python复制def clean_data(raw):
# 处理价格区间 "￥50-100" → (50, 100)
price_range = re.findall(r'\d+', raw['price'])
# 转换评分 "4.5" → 4.5
score = float(raw['score'].strip())
# 地理编码
location = geocoder.transform(raw['address'])
return {...}
使用PySpark进行大规模分析：
python复制df = spark.read.parquet("hdfs://data/dianping")
result = df.groupBy("district").agg(
F.avg("score").alias("avg_score"),
F.count("*").alias("shop_count")
)
可视化方案选型：
- 热力图：folium + HeatMap
- 趋势图：pyecharts
- 报表：Superset嵌入式分析
5. 运维监控体系
5.1 Prometheus监控指标
python复制from prometheus_client import Counter, Gauge
REQUESTS_TOTAL = Counter('crawl_requests', 'Total requests')
ITEMS_SCRAPED = Gauge('items_scraped', 'Items scraped per minute')
5.2 告警规则示例
yaml复制groups:
- name: crawl-alert
rules:
- alert: HighFailureRate
expr: rate(crawl_failures[5m]) > 0.2
labels:
severity: critical
6. 性能优化实战记录
内存泄漏排查：
- 现象：运行8小时后内存占用达16GB
- 定位：未关闭的Playwright context堆积
- 修复：
python复制async def crawl():
try:
context = await browser.new_context()
# ...
finally:
await context.close() # 必须显式关闭！
网络优化：
python复制# 禁用不必要资源
await page.route('**/*.{png,jpg,jpeg}', lambda route: route.abort())
await page.route('**/ads/*', lambda route: route.abort())
实测优化效果：
- 内存占用下降73%
- 页面加载速度提升40%
7. 法律合规要点
商业爬虫必须注意：
- 严格遵守robots.txt规则
- 单机请求频率控制在30次/分钟以下
- 数据使用遵循《个人信息保护法》
- 商业用途需获得平台授权
建议技术防护措施：
- 自动遵守
Crawl-Delay - 设置
User-Agent白名单 - 实现数据脱敏处理
python复制# 合规性检查函数
def check_robots(url):
parsed = urlparse(url)
robots_url = f"{parsed.scheme}://{parsed.netloc}/robots.txt"
# 解析robots规则...
return is_allowed
这个项目从技术实现到商业应用还有很长的路要走，但核心框架已经验证了可行性。在实际部署中发现，动态IP池的质量直接决定系统稳定性，建议优先投资这部分基础设施。对于需要立即上线的团队，可以考虑混合使用Playwright和CDP（Chrome DevTools Protocol）的方案，在保证功能的前提下降低资源消耗。