Python爬虫实战：天气预报数据抓取与可视化-代码聚汇网

Python爬虫实战：天气预报数据抓取与可视化

王杰岸

1. 项目概述：天气预报数据爬取与可视化实战

天气预报数据作为典型的公开结构化信息，是Python爬虫入门的最佳练手项目之一。这个实战案例将完整演示从数据抓取到可视化呈现的全流程，特别适合刚掌握Python基础语法、想接触网络爬虫的开发者。我选择中国天气网作为数据源（www.weather.com.cn），因其数据规范稳定且对教育用途的爬取相对友好。

重要提示：实际爬取时请严格遵守robots.txt协议，控制请求频率（建议间隔3秒以上），避免对目标服务器造成压力。本文示例代码已添加自动延迟和异常处理机制。

2. 核心工具链选型

2.1 爬虫组件搭配

Requests + BeautifulSoup：轻量级组合适合静态页面抓取
Selenium：备用方案应对动态渲染页面（本例未使用）
User-Agent轮询：模拟主流浏览器标识降低被封风险

python复制headers_pool = [
    {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'},
    {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)'}
]

2.2 数据存储方案

CSV文件：适合中小规模结构化数据存储
MySQL：当需要历史数据对比时推荐使用
Pandas DataFrame：内存中的临时处理容器

2.3 可视化方案

Matplotlib：基础图表绘制
Pyecharts：交互式可视化（最终选用方案）
Plotly：在线部署时可考虑

3. 爬虫实现详解

3.1 页面结构分析

通过浏览器开发者工具（F12）检查中国天气网城市页面，发现温度数据存在于class为"tem"的div中，湿度数据在"zs"类下。关键定位代码如下：

python复制def parse_html(html):
    soup = BeautifulSoup(html, 'html.parser')
    temp = soup.find('div', class_='tem').text.strip()
    humidity = soup.find('div', class_='zs').find('span').text
    return {
        'temperature': float(temp.replace('℃', '')),
        'humidity': int(humidity.replace('%', ''))
    }

3.2 反爬应对策略

请求头伪装：每次请求随机选择User-Agent
IP代理池：付费服务推荐Luminati，免费方案可用Tor（需自行配置）
请求间隔：使用time.sleep()控制访问频率

python复制import random
import time

def safe_request(url):
    headers = random.choice(headers_pool)
    try:
        response = requests.get(url, headers=headers, timeout=10)
        time.sleep(random.uniform(3, 5))  # 随机延迟
        return response
    except Exception as e:
        print(f"请求失败: {str(e)}")
        return None

4. 数据可视化呈现

4.1 温度趋势图实现

使用Pyecharts绘制最近7天气温变化曲线：

python复制from pyecharts.charts import Line

def draw_temperature(data):
    line = Line()
    line.add_xaxis(data['dates'])
    line.add_yaxis("最高气温", data['max_temps'])
    line.add_yaxis("最低气温", data['min_temps'])
    line.set_global_opts(title_opts={"text": "七日气温趋势"})
    return line

4.2 气象要素雷达图

展示温度、湿度、风速等多维度数据对比：

python复制from pyecharts.charts import Radar

def draw_radar(data):
    radar = Radar()
    radar.add_schema(schema=[
        {"name": "温度", "max": 40},
        {"name": "湿度", "max": 100},
        {"name": "风速", "max": 20}
    ])
    radar.add("今日天气", [data])
    return radar

5. 实战经验与避坑指南

5.1 常见问题排查

数据抓取为空
- 检查元素定位是否随网站改版变化
- 确认是否触发反爬机制（返回403状态码）
可视化图表显示异常
- Pyecharts版本兼容性问题（推荐使用1.9.0+）
- 数据格式不匹配（确保数值型数据已转换）

5.2 性能优化技巧

增量爬取：记录最后抓取时间，只获取新数据
异步请求：aiohttp库提升IO密集型任务效率
缓存机制：对静态数据使用本地缓存

python复制import hashlib
import os

def get_cache(url):
    hash_key = hashlib.md5(url.encode()).hexdigest()
    cache_file = f"cache/{hash_key}.html"
    if os.path.exists(cache_file):
        with open(cache_file, 'r') as f:
            return f.read()
    return None

6. 项目扩展方向

多城市数据对比：建立城市ID映射表，批量抓取不同地区数据
气象预警监控：解析预警信号并设置邮件通知
历史数据分析：使用ARIMA模型预测未来天气趋势

特别提醒：本案例仅用于技术学习，实际部署前请确保：

遵守《网络安全法》相关规定

获得目标网站的合法授权

控制爬取频率不影响目标服务器正常运行

完整项目代码已托管在GitHub（示例仓库地址），包含详细的注释和测试数据。对于想深入学习的开发者，建议进一步研究：

Scrapy框架的分布式爬虫实现
使用Kafka构建实时数据管道
基于Flask/Django的可视化Dashboard开发