Pandas数据清洗实战手册:中位数填充、离散化与归一化的深度避坑指南
数据清洗是数据分析过程中最耗时却也最关键的环节。根据业界统计,数据科学家80%的时间都花在数据清洗和预处理上。而Pandas作为Python生态中最强大的数据处理工具,其丰富的函数库能够高效解决各类"脏数据"问题。但现实情况是,许多初级分析师在使用Pandas进行数据清洗时,常常陷入各种"看似简单实则暗藏玄机"的陷阱。
1. 中位数填充缺失值的正确姿势
面对数据集中的缺失值,中位数填充是最常用的方法之一。它比均值填充对异常值更鲁棒,但实际操作中却存在多个需要警惕的"坑点"。
1.1 基础实现与潜在风险
标准的中位数填充代码看似简单:
python复制df.fillna(df.median(), inplace=True)
但这段代码在以下三种情况下会出问题:
- 整列为空时的灾难:当某列全部为NaN时,
median()会返回NaN,导致填充无效 - 仅非数值列的陷阱:对字符串或分类列调用
median()会抛出TypeError - 内存消耗问题:大数据集上直接计算全表median可能导致内存溢出
1.2 工业级解决方案
针对上述问题,改进后的健壮性代码应该这样写:
python复制def safe_median_fill(df):
for col in df.select_dtypes(include=['number']).columns:
if not df[col].isna().all(): # 排除全空列
median_val = df[col].median()
df[col].fillna(median_val, inplace=True)
return df
这个版本具有以下优化特性:
- 自动跳过非数值列
- 检查全空列避免NaN传播
- 按列处理降低内存峰值
提示:对于超大数据集,可考虑使用
df.median(numeric_only=True)仅计算数值列,或分块处理
1.3 性能优化技巧
当处理百万行以上的数据时,中位数计算可能成为瓶颈。以下是几种加速方案:
