电商数据采集：Python+Playwright自动化获取商品图片与视频

1. 项目背景与需求解析

在电商运营和数据分析工作中，经常需要批量获取商品图片和视频素材。无论是竞品分析、素材归档还是内容二次创作，高效采集阿里巴巴、淘宝等平台的商品媒体资源都是刚需。但平台本身并不提供批量下载功能，手动保存又效率低下。

我从事电商数据工作8年，处理过数百个类似需求。从运营团队需要建立竞品图库，到设计部门要收集行业流行视觉元素，再到数据分析师要构建商品识别样本库，这些场景都指向同一个核心痛点——如何快速、完整地获取目标商品的所有图片和视频。

2. 技术方案选型

2.1 网页解析方案对比

主流技术路线有三种：

1. 浏览器开发者工具手动抓取
2. 使用Python+Requests/BeautifulSoup
3. 基于Puppeteer/Playwright的自动化方案

经过实测，方案1适合临时少量下载，方案2容易被反爬机制拦截，方案3的完整度最高。以淘宝商品页为例，其图片资源采用懒加载和动态渲染，必须模拟真实浏览器环境才能获取完整资源。

2.2 核心工具链配置

推荐使用以下工具组合：

• Playwright（比Selenium更轻量的浏览器自动化工具）
• Python 3.8+（数据处理生态完善）
• asyncio（提升并发效率）
• 代理IP池（应对访问频率限制）

python复制# 基础环境安装
pip install playwright
playwright install

3. 完整实现流程

3.1 页面结构分析

以淘宝商品页为例，关键资源分布在：

• 主图：class为"tb-pic tb-s60"的img标签
• 详情图：通常托管在alicdn.com域名下
• 视频：嵌套在iframe中的.mp4资源

3.2 自动化采集脚本

python复制import asyncio
from playwright.async_api import async_playwright
import os

async def download_media(url, save_dir):
    async with async_playwright() as p:
        browser = await p.chromium.launch(headless=False)
        page = await browser.new_page()
        
        # 拦截请求获取资源
        async def handle_response(response):
            if response.url.endswith(('.jpg', '.png', '.mp4')):
                path = os.path.join(save_dir, response.url.split('/')[-1])
                with open(path, 'wb') as f:
                    f.write(await response.body())
        
        page.on('response', handle_response)
        await page.goto(url)
        await page.wait_for_timeout(5000)  # 等待懒加载完成
        
        await browser.close()

# 示例使用
asyncio.run(download_media('https://detail.1688.com/xxx.html', './images'))

3.3 批量处理优化

对于商品列表页采集，需要：

1. 先解析列表页获取所有商品链接
2. 使用asyncio.Semaphore控制并发数（建议5-10个并行）
3. 添加随机延迟避免触发反爬

python复制async def batch_download(url_list):
    semaphore = asyncio.Semaphore(5)
    async with semaphore:
        tasks = [download_media(url) for url in url_list]
        await asyncio.gather(*tasks)

4. 关键问题解决方案

4.1 反爬机制突破

平台常见防护手段包括：

• 滑块验证码：通过playwright模拟人工滑动
• IP限制：使用住宅代理轮换（推荐luminati）
• 行为检测：添加随机鼠标移动和停留时间

4.2 资源去重策略

建议采用MD5校验：

python复制import hashlib

def get_file_md5(file_path):
    with open(file_path, 'rb') as f:
        return hashlib.md5(f.read()).hexdigest()

4.3 断点续传实现

记录已下载URL到SQLite数据库：

python复制import sqlite3

def init_db():
    conn = sqlite3.connect('download.db')
    c = conn.cursor()
    c.execute('''CREATE TABLE IF NOT EXISTS records
                 (url TEXT PRIMARY KEY, path TEXT)''')
    conn.commit()
    return conn

5. 实战经验分享

5.1 性能优化技巧

• 启用浏览器缓存：减少重复资源下载

python复制context = await browser.new_context(
    ignore_https_errors=True,
    bypass_csp=True,
    java_script_enabled=True
)

• 资源预过滤：通过URL特征缩小拦截范围

python复制if 'alicdn.com' not in response.url:
    return

5.2 常见问题排查

1. 图片显示不完整：

   • 调整wait_for_timeout时长
   • 检查是否触发懒加载阈值

2. 视频无法下载：

   • 可能需要处理m3u8格式视频流
   • 使用ffmpeg合并ts片段

3. 账号被封禁：

   • 降低采集频率
   • 更换UA和设备指纹

5.3 法律风险提示

• 仅将素材用于个人学习研究
• 商业用途需获得授权
• 避免高频访问影响平台服务

6. 扩展应用场景

这套方法稍作修改可适用于：

• 京东/拼多多商品图采集
• Instagram/Pinterest图片抓取
• 短视频平台内容归档

对于需要登录的场景，可通过cookie注入实现：

python复制await page.context.add_cookies([{
    'name': 'cookie名',
    'value': 'cookie值',
    'domain': '.taobao.com',
    'path': '/'
}])

在实际项目中，我建议将这套系统部署到云服务器，配合定时任务实现自动化采集。对于超大规模需求（10万+商品），可以考虑使用分布式爬虫框架（如Scrapy+Playwright组合）。