二手车价格预测的数据清洗与EDA实战

1. 项目背景与核心挑战

二手车价格预测一直是汽车流通领域的核心难题。不同于新车有明确的厂商指导价，二手车的定价受到车龄、里程、保养记录、事故情况、地域差异等多达数十种因素的影响。天池平台举办的这个竞赛项目，正是为了探索如何通过数据科学方法建立更精准的二手车估价模型。

我去年完整参与了这场比赛，在3000多支队伍中最终排名前5%。这个成绩很大程度上得益于前期扎实的数据清洗和EDA工作。今天我就把当时的方法论和实操经验完整分享出来，特别是那些在常规教程里不会提到的"脏活累活"。

2. 数据清洗实战全流程

2.1 原始数据质量诊断

拿到比赛提供的30万条二手车交易记录后，我首先用Python做了全面的数据质量检查：

python复制import pandas as pd
import missingno as msno

df = pd.read_csv('used_car.csv')
print(df.info())
msno.matrix(df)

检查发现几个关键问题：

1. 价格字段存在0值和极端异常值（有标价1元的保时捷）
2. 注册日期格式混乱（有"2015年"、"15/03/2018"等多种格式）
3. 发动机功率字段单位不统一（部分记录是kW，部分是马力）
4. 车身颜色字段包含"香槟金"、"珍珠白"等非标准描述

2.2 异常值处理技巧

对于价格异常值，我采用了分位数过滤法：

python复制Q1 = df['price'].quantile(0.01)
Q3 = df['price'].quantile(0.99)
df = df[(df['price'] > Q1) & (df['price'] < Q3)]

这里选择1%和99%分位数而不是常见的25%/75%，是因为二手车价格本身分布就较为分散。这个阈值是通过多次试验确定的 - 太宽会保留过多噪声，太窄会损失有效数据。

2.3 特征工程中的清洗要点

日期字段统一处理为车龄（年）：

python复制df['car_age'] = (pd.to_datetime('2020-01-01') - 
                 pd.to_datetime(df['reg_date'])).dt.days / 3