Python二手房数据分析：爬虫、清洗与房价预测实战-代码聚汇网

Python二手房数据分析：爬虫、清洗与房价预测实战

周晓农·2026-08-06·阅读 23 GEO检测（免费）

Python数据分析二手房爬虫房价预测模型

|难度：普通|阅读约 8 分钟

1. 项目概述：用Python解锁二手房数据价值

去年帮朋友买房时，我花了三周时间手工整理某平台的二手房挂牌数据。当发现同小区相似户型价差竟达40万时，突然意识到：普通人面对海量房源信息时，根本抓不住真正的市场规律。这个经历直接促使我开发了这套二手房分析系统。

这个项目完整实现了从数据采集到商业洞察的全流程：

爬虫自动获取主流平台房源信息（面积/单价/朝向等20+维度）
Pandas进行数据清洗与特征工程
机器学习构建房价预测模型（准确率92%）
Pyecharts生成交互式可视化报告

不同于学院派的Demo项目，这套代码经过了我经手6个城市真实数据的验证。特别在特征处理环节，针对国内二手房特有的"虚假单价"（通过高装修报价拉低单价）、"学区房标注模糊"等问题设计了专用处理方法。

需要模型API调用？免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。

2. 数据获取与清洗实战

2.1 爬虫设计要点

国内主流房产平台都做了反爬措施，需要特别注意：

python复制# 伪装成正常浏览的请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
    'Accept-Language': 'zh-CN,zh;q=0.9',
    'Referer': 'https://www.xxx.com/'
}

# 使用IP代理池（实测单IP存活时间<30分钟）
proxies = {
    'http': 'http://user:pass@ip:port',
    'https': 'https://user:pass@ip:port' 
}

# 关键字段抽取逻辑（以链家为例）
def parse_detail(html):
    try:
        price = html.xpath('//span[@class="total"]/text()')[0]
        unit_price = html.xpath('//span[@class="unitPriceValue"]/text()')[0]
        # 处理"价格面议"等特殊情况
        return float(price) if price.isdigit() else None
    except:
        return None

重要提示：爬取频率建议控制在5秒/次以下，夜间22:00-次日8:00停止采集，避免触发平台防御机制。

2.2 数据清洗的七个关键步骤

单价异常值处理：删除单价<1万或>20万/平的记录（北上广深需调整阈值）
```
python复制df = df[(df['unit_price'] > 10000) & (df['unit_price'] < 200000)]
```
面积修正：合并"建筑面积"和"套内面积"字段，优先使用套内数据
```
python复制df['area'] = df['inner_area'].fillna(df['build_area'])
```

楼层标准化：将"高/中/低楼层"转换为数值（总层高需爬取或估算）

python复制floor_mapping = {'低楼层':1, '中楼层':2, '高楼层':3}
df['floor_num'] = df['floor'].map(floor_mapping)

学区房识别：从房源描述中提取关键词（重点校名称+距离信息）

python复制school_keywords = ['人大附', '实验二小', '500米内']
df['is_school'] = df['desc'].str.contains('|'.join(school_keywords))

装修等级量化：将"精装/简装"等转换为装修成本估值

python复制decoration_map = {'毛坯':0, '简装':2000, '精装':5000, '豪装':8000}
df['decoration_cost'] = df['decoration'].map(decoration_map)

朝向评分：南向10分，东南/西南8分，东/西向5分，北向3分

python复制orientation_score = {'南':10, '东南':8, '西南':8, '东':5, '西':5, '北':3}
df['orientation_score'] = df['orientation'].map(orientation_score)

缺失值处理：对装修、朝向等非关键字段采用众数填充

python复制df['decoration'].fillna(df['decoration'].mode()[0], inplace=True)

3. 特征工程与模型构建

3.1 特征构造的黄金法则

二手房市场有独特的特征构造逻辑：

区位特征：到地铁站/商圈的直线距离（需调用地图API）
时间特征：挂牌时长（当前日期-挂牌日期）
性价比指标：(单价*面积)/(装修成本+学区溢价)
户型特征：卧室数/卫生间数的比值

python复制# 计算地铁距离（需提前获取地铁站坐标）
def get_subway_dist(lat, lng):
    subway_stations = [(39.9, 116.3), (39.91, 116.31)]  # 示例坐标
    distances = [geodesic((lat,lng), station).km for station in subway_stations]
    return min(distances)

df['subway_dist'] = df.apply(lambda x: get_subway_dist(x['lat'], x['lng']), axis=1)

3.2 模型选型对比测试

测试了五种主流算法在二手房数据集的表现：

模型	RMSE	R²	训练时间	适用场景
线性回归	3821	0.76	0.3s	快速基线
随机森林	2987	0.86	4.2s	平衡精度与速度
XGBoost	2743	0.89	6.8s	高精度需求
LightGBM	2811	0.88	3.1s	大数据量
神经网络	3102	0.84	32s	复杂特征交互

最终选择XGBoost作为主力模型，关键参数配置：

python复制model = xgb.XGBRegressor(
    n_estimators=500,
    learning_rate=0.05,
    max_depth=6,
    subsample=0.8,
    colsample_bytree=0.8,
    objective='reg:squarederror',
    early_stopping_rounds=20,
    random_state=42
)

3.3 模型解释技巧

使用SHAP值分析特征重要性时，发现三个有趣现象：

地铁距离在3km内每近100米溢价约2.5%，超过3km后影响骤降
学区房效应呈现阶梯状：顶级学区溢价35%，普通重点溢价15-20%
南北通透户型的实际价值被市场低估约8-12%

python复制import shap
explainer = shap.TreeExplainer(model)
shap_values = explainer.shap_values(X_test)

# 生成特征重要性瀑布图
shap.plots.waterfall(shap_values[0], max_display=10)

4. 可视化系统搭建

4.1 Pyecharts动态看板

设计了三层可视化体系：

宏观层面：城市房价热力图+行政区划对比
中观层面：小区价格分布箱线图+历史趋势
微观层面：单房源价值评估雷达图

python复制from pyecharts.charts import Grid, HeatMap, Bar

heatmap = (
    HeatMap()
    .add_xaxis(df['district'].unique().tolist())
    .add_yaxis(
        "单价分布",
        df['community'].unique().tolist(),
        [[i, j, df[(df.district==i)&(df.community==j)]['unit_price'].mean()] 
         for i in df['district'].unique() 
         for j in df[df.district==i]['community'].unique()],
        label_opts=opts.LabelOpts(is_show=False)
    )
)

4.2 Streamlit交互应用

开发了带筛选功能的Web应用：

python复制import streamlit as st

district = st.sidebar.multiselect(
    '选择行政区',
    df['district'].unique()
)

price_range = st.sidebar.slider(
    '单价范围(万/平)',
    float(df['unit_price'].min()),
    float(df['unit_price'].max()),
    (3.0, 8.0)
)

filtered_df = df[
    (df['district'].isin(district)) & 
    (df['unit_price'].between(price_range[0], price_range[1]))
]

st.pydeck_chart(pdk.Deck(
    layers=[pdk.Layer(
        'ScatterplotLayer',
        data=filtered_df,
        get_position='[lng, lat]',
        get_color='[200, 30, 0, 160]',
        get_radius='unit_price*100',
    )]
))

5. 商业价值挖掘案例

5.1 投资回报率分析

通过对历史交易数据回测，发现两类高收益房源：

"老破小"改造机会：90年代建成+非学区+地铁1km内，装修后平均溢价23%
学区政策变动窗口期：新划入学区的小区在政策公布后6个月内平均上涨18%

python复制# 计算投资回报指标
df['roi'] = (df['predicted_price'] - df['current_price']) / df['current_price']
high_roi = df[
    (df['build_year']<2000) & 
    (df['subway_dist']<1.0) & 
    (~df['is_school']) &
    (df['roi']>0.2)
]

5.2 价格谈判策略

建立买方议价空间评估模型：

python复制# 计算合理砍价幅度
df['bargain_space'] = np.where(
    df['on_market_days']>60,
    0.15,
    np.where(
        df['on_market_days']>30,
        0.08,
        0.05
    )
)

# 生成谈判话术模板
def generate_talk(row):
    reasons = []
    if row['on_market_days']>60:
        reasons.append("挂牌时间较长")
    if row['orientation_score']<5:
        reasons.append("朝向欠佳")
    return f"考虑到{''.join(reasons)}，建议报价{row['current_price']*(1-row['bargain_space']):.1f}万"

df['talk_template'] = df.apply(generate_talk, axis=1)

6. 项目交付物详解

6.1 完整代码结构

code复制/project
├── /data
│   ├── raw_data.csv    # 原始爬取数据
│   └── cleaned.csv     # 清洗后数据
├── /notebooks
│   ├── 1_data_cleaning.ipynb
│   ├── 2_feature_engineering.ipynb
│   └── 3_model_training.ipynb
├── /webapp
│   ├── app.py          # Streamlit主程序
│   └── assets/         # 可视化素材
├── requirements.txt    # 依赖库列表
└── report.pdf          # 分析报告

6.2 万字报告核心章节

城市二手房市场总体特征
价格影响因子量化分析
典型小区案例深度解析
购房策略与风险提示
数据采集与处理方法论

7. 避坑指南与性能优化

7.1 六个常见错误

忽略平台反爬策略：某次连续请求导致IP被封禁24小时
学区房识别不全：初期漏掉了"直升校"等关键表述
装修标准误判：将开发商"精装交付"等同于真实装修质量
特征共线性：同时使用"总价"和"单价*面积"导致模型失真
时间特征泄漏：错误使用"成交日期"作为特征
评估指标单一：仅看RMSE导致忽视了极端值影响

7.2 性能优化技巧

数据读取加速：将CSV转为Parquet格式，读取速度提升5倍

python复制df.to_parquet('data.parquet')
pd.read_parquet('data.parquet')

特征计算向量化：避免使用apply，改用NumPy运算

python复制# 慢速写法
df['price_per_sq'] = df.apply(lambda x: x['price']/x['area'], axis=1)

# 快速写法
df['price_per_sq'] = df['price'].values / df['area'].values

模型训练加速：启用GPU支持（需安装CUDA版XGBoost）

python复制param['tree_method'] = 'gpu_hist'
param['gpu_id'] = 0

这套系统在实际帮朋友购房时，成功识别出某挂牌价650万的房源实际合理价值应在580-600万区间，最终以592万成交。后来得知该房源最初挂牌价其实是620万，中介为制造降价假象先调高再逐步下调。数据不会说谎，这就是分析的价值所在。