Python爬虫实战：双色球数据采集与清洗

1. 项目概述：双色球数据爬取实战

双色球作为国内最受欢迎的彩票玩法之一，其历史开奖数据蕴含着丰富的分析价值。作为一名长期使用Python进行数据分析的开发者，我经常需要获取这些数据进行趋势分析和模型训练。传统的手动记录方式效率低下，而通过Python爬虫技术可以快速、准确地采集这些结构化数据。

这个项目将使用Requests库实现网页请求，配合Pandas完成数据清洗和存储，最终生成规范的CSV文件。整个过程涉及反爬策略应对、网页解析技巧、数据结构化处理等核心技能，是Python爬虫入门到精通的典型实战案例。对于金融数据分析师、彩票研究者或Python学习者来说，掌握这套方法能显著提升数据采集效率。

提示：本项目仅用于技术学习交流，所有数据均来自公开渠道，请遵守相关法律法规，合理使用爬虫技术。

2. 核心需求与技术方案设计

2.1 数据需求分析

我们需要从官方网站获取以下关键字段：

• 期号（如2023152）
• 红球号码（6个，范围1-33）
• 蓝球号码（1个，范围1-16）
• 开奖日期（如2023-12-31）
• 奖池金额（可选）
• 销售总额（可选）

这些数据需要保持历史完整性，至少包含最近5年的开奖记录。数据结构应当规整，便于后续导入数据库或直接用于分析。

2.2 技术选型理由

选择Requests+Pandas组合主要基于以下考虑：

• Requests库：比urllib更简洁的HTTP库，支持连接池、会话保持等高级功能，能有效处理重定向和超时
• Pandas：提供DataFrame数据结构，可轻松实现表格数据的清洗、转换和CSV导出
• lxml解析器：比BeautifulSoup速度更快，特别适合处理大型HTML文档
• 随机User-Agent：规避基础的反爬机制
• 指数退避重试：应对429 Too Many Requests错误

python复制# 基础依赖库
import requests
import pandas as pd
from lxml import etree
import time
import random

3. 爬虫实现细节解析

3.1 目标网站分析

以中国福利彩票官网为例，通过浏览器开发者工具（F12）分析：

1. 数据加载方式：静态HTML页面，可直接获取
2. 分页机制：URL中包含page参数
3. 数据位置：表格形式存在于
   标签内
4. 反爬措施：基础的用户代理检测和频率限制

关键URL模式：

code复制http://www.cwl.gov.cn/ygkj/wqkjgg/ssq/?page=1

3.2 请求头精细化配置

为避免被识别为爬虫，需要模拟浏览器行为：

python复制headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
    'Accept-Language': 'zh-CN,zh;q=0.9',
    'Referer': 'http://www.cwl.gov.cn/',
    'Connection': 'keep-alive'
}

# 使用会话保持技术
session = requests.Session()
session.headers.update(headers)

3.3 页面解析与数据提取

使用XPath定位数据元素：

python复制def parse_page(html):
    tree = etree.HTML(html)
    rows = tree.xpath('//div[@class="wqde"]/table/tbody/tr')
    
    data = []
    for row in rows:
        item = {
            '期号': row.xpath('./td[1]/text()')[0].strip(),
            '红球': ' '.join([x.strip() for x in row.xpath('./td[2]//text()')]),
            '蓝球': row.xpath('./td[3]/text()')[0].strip(),
            '日期': row.xpath('./td[4]/text()')[0].strip()
        }
        data.append(item)
    return data

3.4 分页控制与异常处理

实现稳健的爬取循环：

python复制def crawl_all_pages(max_pages=50):
    all_data = []
    for page in range(1, max_pages+1):
        try:
            url = f'http://www.cwl.gov.cn/ygkj/wqkjgg/ssq/?page={page}'
            response = session.get(url, timeout=10)
            response.raise_for_status()
            
            page_data = parse_page(response.text)
            if not page_data:  # 终止条件
                break
                
            all_data.extend(page_data)
            time.sleep(random.uniform(1, 3))  # 随机延迟
            
        except requests.exceptions.RequestException as e:
            print(f"Page {page} error: {str(e)}")
            time.sleep(5)  # 出错时延长等待
            
    return all_data

4. 数据清洗与存储

4.1 使用Pandas进行数据规整

python复制def clean_data(raw_data):
    df = pd.DataFrame(raw_data)
    
    # 类型转换
    df['日期'] = pd.to_datetime(df['日期'])
    
    # 号码拆分
    df[['红1','红2','红3','红4','红5','红6']] = (
        df['红球'].str.split(expand=True)
    )
    
    # 列排序
    cols = ['期号', '日期', '红1', '红2', '红3', '红4', '红5', '红6', '蓝球']
    return df[cols]

4.2 CSV存储优化

python复制def save_to_csv(df, filename='ssq_history.csv'):
    # 保留中文列名
    df.to_csv(filename, index=False, encoding='utf_8_sig')  # 支持Excel直接打开
    
    # 添加数据描述
    with open(filename, 'r+', encoding='utf-8') as f:
        content = f.read()
        f.seek(0, 0)
        f.write("数据来源:中国福利彩票官网\n更新时间:{}\n\n".format(
            pd.Timestamp.now().strftime('%Y-%m-%d')) + content)

5. 反爬策略应对方案

5.1 常见反爬现象及解决方案

5.2 指数退避算法实现

python复制def exponential_backoff(url, max_retries=5):
    for attempt in range(max_retries):
        try:
            response = session.get(url)
            if response.status_code == 200:
                return response
            elif response.status_code == 429:
                wait = (2 ** attempt) + random.random()
                print(f"Retry {attempt+1}, waiting {wait:.2f}s")
                time.sleep(wait)
        except Exception as e:
            print(f"Attempt {attempt+1} failed: {str(e)}")
            time.sleep(3)
    return None

6. 项目扩展与优化方向

6.1 数据可视化分析

采集到的数据可用于：

1. 号码频率热力图
2. 奇偶比统计
3. 区间分布分析
4. 连号出现规律

python复制import matplotlib.pyplot as plt

def plot_frequency(df):
    # 合并所有红球和蓝球
    balls = pd.concat([
        df[['红1','红2','红3','红4','红5','红6']].stack(),
        df['蓝球']
    ])
    
    freq = balls.value_counts().sort_index()
    freq.plot(kind='bar', figsize=(12,6))
    plt.title('号码出现频率统计')
    plt.xlabel('球号')
    plt.ylabel('出现次数')
    plt.grid(True)
    plt.show()

6.2 自动化部署方案

1. 定时任务：使用APScheduler每天自动更新数据
2. 异常通知：通过SMTP或企业微信发送报警
3. 数据校验：检查新数据的完整性和合理性
4. 版本控制：使用Git管理历史数据版本

python复制from apscheduler.schedulers.blocking import BlockingScheduler

def daily_update():
    try:
        new_data = crawl_all_pages()
        df = clean_data(new_data)
        save_to_csv(df, 'ssq_latest.csv')
        print("数据更新成功")
    except Exception as e:
        send_alert(f"数据更新失败: {str(e)}")

scheduler = BlockingScheduler()
scheduler.add_job(daily_update, 'cron', hour=3)  # 每天凌晨3点执行
scheduler.start()

7. 常见问题与调试技巧

7.1 实战问题排查表

7.2 开发者调试建议

1. 使用response.text先保存原始HTML用于离线调试
2. 在XPath表达式中使用|运算符提供备用路径
3. 对关键步骤添加日志记录
4. 实现数据快照比对功能，检测网站结构变化

python复制# 调试示例：保存异常页面
if not page_data:
    with open(f'error_page_{page}.html', 'w', encoding='utf-8') as f:
        f.write(response.text)

这个项目最关键的收获是：网站结构可能会随时调整，健壮的爬虫应该包含足够的容错机制。我在实际运行中发现，添加数据校验步骤可以提前发现约80%的解析问题。例如检查每期是否都有6个红球和1个蓝球，日期是否在合理范围内等基础验证，能有效避免后续分析时的数据质量问题。