Python数据分析实战：Pandas与Oracle数据库协同处理天气数据-代码聚汇网

Python数据分析实战：Pandas与Oracle数据库协同处理天气数据

迟子real·2026-08-13·阅读 23 GEO检测（免费）

Python数据分析PandasOracle数据库

|难度：普通|阅读约 15 分钟

1. 数据分析全流程实战：从数据获取到可视化呈现

作为一名长期奋战在数据工程一线的开发者，我深知数据分析项目的完整流程远比教科书上的示例复杂得多。这次我将分享一个真实可用的数据分析全流程案例，涵盖Python生态的Pandas、Matplotlib、Numpy三大核心库与Oracle数据库的协同使用。不同于网上那些只展示片段的教程，本文将完整呈现从数据准备到最终可视化的每个环节，并提供可直接下载的测试数据集。

这个项目特别适合已经掌握Python基础语法，但缺乏完整项目经验的开发者。我们将使用苏州市2023年的天气数据作为分析对象（数据集已脱敏处理），通过实际业务场景演示如何：

使用Pandas进行高效的数据清洗与转换
利用Numpy实现复杂的数值计算
通过Matplotlib生成多种专业图表
与Oracle数据库进行双向数据交互

提示：文末提供了完整代码包下载链接，包含预处理好的数据集和Jupyter Notebook文件，建议边阅读边实践。

需要模型API调用？免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。

2. 环境准备与数据获取

2.1 开发环境配置

我强烈建议使用Anaconda创建独立环境，避免依赖冲突。以下是经过验证的稳定版本组合：

bash复制conda create -n weather_analysis python=3.9
conda activate weather_analysis
pip install pandas==1.5.3 numpy==1.24.4 matplotlib==3.7.2 cx_Oracle==8.3.0

对于Oracle连接，需要额外配置instant client。这里有个容易踩的坑：必须确保客户端版本与数据库服务器版本匹配。我遇到过因为版本差异导致的ORA-12545错误，解决方法是在环境变量中添加：

bash复制export LD_LIBRARY_PATH=/path/to/instantclient_21_10

2.2 数据源准备

我准备了两种数据获取方式供选择：

直接下载预处理数据（推荐新手）：CSV格式的苏州市2023年每日天气数据，已去除敏感信息
从Oracle数据库提取（适合企业环境）：包含建表语句和示例数据的SQL脚本

数据字段说明：

字段名	类型	说明	异常值处理
record_date	DATE	记录日期	自动填充缺失日期
max_temp	NUMBER(3,1)	最高气温(℃)	>40℃视为异常
min_temp	NUMBER(3,1)	最低气温(℃)	<-10℃视为异常
precipitation	NUMBER(5,1)	降水量(mm)	负值设为0

3. 数据清洗与特征工程

3.1 Pandas数据加载与初步处理

加载CSV数据时的实用技巧：指定parse_dates参数自动转换日期格式，可以避免后续很多麻烦：

python复制df = pd.read_csv('suzhou_weather.csv', 
                 parse_dates=['record_date'],
                 na_values=['--', 'NA'])

处理缺失值的经验法则：

气温数据使用前后7天均值插补
降水量为0的用0填充，缺失的视为无降水
风向等类别变量用众数填充

python复制# 温度插值示例
df['max_temp'] = df['max_temp'].interpolate(method='time', limit=7)
df['min_temp'] = df.groupby(df['record_date'].dt.month)['min_temp']
                  .transform(lambda x: x.fillna(x.mean()))

3.2 使用Numpy增强分析能力

计算温度波动指数时，纯Pandas操作效率较低，这时可以结合Numpy：

python复制# 计算三日温度波动标准差
temp_matrix = df[['max_temp', 'min_temp']].values
window_size = 3
stds = np.lib.stride_tricks.sliding_window_view(temp_matrix, (window_size, 2))
df['temp_std'] = np.apply_along_axis(lambda x: np.std(x), 2, stds)[:, 0]

注意：Numpy 2.0+版本与部分机器学习库存在兼容性问题，这就是为什么我们指定安装1.24.4版本。如果遇到"RuntimeError: NumPy was built with baseline optimizations"错误，需要降级Numpy。

4. Oracle数据库集成实战

4.1 数据库连接最佳实践

使用连接池可以显著提高性能，特别是在频繁查询的场景下：

python复制import cx_Oracle
from concurrent.futures import ThreadPoolExecutor

pool = cx_Oracle.SessionPool(
    user="weather_user",
    password="your_password",
    dsn="your_host:1521/ORCLPDB1",
    min=2,
    max=5,
    increment=1,
    threaded=True
)

def run_query(sql):
    with pool.acquire() as conn:
        return pd.read_sql(sql, conn)

4.2 大数据量批处理技巧

当需要处理超过内存大小的数据集时，可以使用分块查询：

python复制chunk_size = 10000
offset = 0
while True:
    sql = f"""SELECT * FROM weather_data 
              ORDER BY record_date 
              OFFSET {offset} ROWS FETCH NEXT {chunk_size} ROWS ONLY"""
    chunk = run_query(sql)
    if chunk.empty:
        break
    process_chunk(chunk)  # 你的处理函数
    offset += chunk_size

5. 高级可视化技巧

5.1 复合图表绘制

制作包含气温曲线和降水柱状图的组合图表：

python复制fig, ax1 = plt.subplots(figsize=(12, 6))

# 气温曲线
ax1.plot(df['record_date'], df['max_temp'], 'r-', label='最高气温')
ax1.plot(df['record_date'], df['min_temp'], 'b-', label='最低气温')
ax1.set_ylabel('温度(℃)')

# 降水柱状图
ax2 = ax1.twinx()
ax2.bar(df['record_date'], df['precipitation'], 
        alpha=0.3, color='g', label='降水量')
ax2.set_ylabel('降水量(mm)')

# 添加图例的技巧
lines1, labels1 = ax1.get_legend_handles_labels()
lines2, labels2 = ax2.get_legend_handles_labels()
ax1.legend(lines1 + lines2, labels1 + labels2, loc='upper left')

5.2 热力图绘制与问题排查

在Linux服务器上绘制热力图时，可能会遇到"Process finished with exit code -1066598273"错误。这是Matplotlib的常见问题，解决方法是指定Agg后端：

python复制import matplotlib
matplotlib.use('Agg')  # 必须在其他matplotlib导入前执行
import matplotlib.pyplot as plt

# 按月气温热力图
pivot_table = df.pivot_table(values='max_temp',
                            index=df['record_date'].dt.day,
                            columns=df['record_date'].dt.month)
plt.figure(figsize=(12, 8))
plt.imshow(pivot_table, cmap='hot', interpolation='nearest')
plt.colorbar(label='温度(℃)')
plt.savefig('heatmap.png')  # 在服务器上使用savefig而非show

6. 完整案例：苏州天气分析

6.1 季节性分析实现

计算各月气候指标时，要特别注意groupby的正确用法：

python复制monthly_stats = df.groupby(df['record_date'].dt.month).agg({
    'max_temp': ['mean', 'max'],
    'min_temp': ['mean', 'min'],
    'precipitation': 'sum'
})
monthly_stats.columns = ['_'.join(col).strip() 
                        for col in monthly_stats.columns.values]

6.2 异常天气识别

使用Z-score方法检测气温异常日：

python复制from scipy import stats
z_scores = stats.zscore(df['max_temp'])
df['is_anomaly'] = np.abs(z_scores) > 3

# 可视化标记异常点
plt.scatter(df['record_date'], df['max_temp'],
            c=df['is_anomaly'], cmap='bwr')

7. 性能优化与常见问题

7.1 Pandas操作加速技巧

对于大型数据集，这些方法可以提升5-10倍性能：

使用df.eval()进行链式运算
将分类变量转换为category类型
避免逐行操作，尽量使用向量化方法

python复制# 优化前后的温度差计算对比
# 慢速版本
df['temp_range'] = df.apply(lambda row: row['max_temp'] - row['min_temp'], axis=1)

# 优化版本
df['temp_range'] = df['max_temp'] - df['min_temp']

7.2 内存管理经验

处理GB级数据时，可以采用这些策略：

指定数据类型减少内存占用

python复制dtypes = {
    'max_temp': 'float32',
    'min_temp': 'float32',
    'precipitation': 'float32'
}
df = pd.read_csv('large_file.csv', dtype=dtypes)

使用Dask替代Pandas进行分布式处理
及时释放不再使用的DataFrame

python复制del df
gc.collect()

我在实际项目中遇到过因为内存泄漏导致的服务器崩溃，后来发现是未正确关闭Oracle连接导致的。现在都会用context manager确保资源释放：

python复制with pool.acquire() as conn:
    # 你的操作
    pass  # 自动释放连接

8. 项目扩展与进阶方向

这个基础框架可以扩展为更复杂的分析系统：

实时天气监控看板：使用Plotly Dash构建交互式可视化
气象预测模型：集成Prophet或LSTM进行温度预测
GIS空间分析：结合GeoPandas分析区域气候差异

对于想深入学习的开发者，我推荐重点掌握：

Pandas的groupby和pivot_table高级用法
Matplotlib的面向对象API
Numpy的广播机制和向量化运算
Oracle的分区表和物化视图特性

完整项目代码和数据集已打包，包含：

可运行的Jupyter Notebook
预处理好的CSV数据
Oracle建表SQL脚本
10种不同的可视化示例

下载链接：示例数据包（解压密码：suzhou2023）

这个项目最让我有成就感的部分是解决了Matplotlib在Linux服务器上的渲染问题。经过反复测试发现，除了设置Agg后端外，还需要确保服务器安装了必要的字体库。现在这套方案已经在生产环境稳定运行了一年多，每天自动生成气象报告。