1. 项目背景与核心价值
二手车市场作为典型的非标品交易领域，一直面临着信息不对称、价格波动大、车况评估难等行业痛点。传统的数据分析方法往往只能处理结构化数据，对于车辆描述文本、历史维修记录等非结构化信息处理能力有限。这正是大模型技术可以大显身手的场景——通过构建基于Python的二手车数据分析可视化系统，我们能够实现：
- 多模态数据处理：同时处理数值型数据（里程、年份）和文本型数据（车辆描述、用户评论）
- 智能特征提取：利用大模型的Embedding能力自动提取关键特征，如"发动机异响"等描述性特征
- 动态定价模型：结合线性回归等传统算法与大模型的推理能力，建立更精准的估价体系
这个毕业设计项目的独特之处在于，它既包含了传统数据分析的全流程（数据采集→清洗→建模→可视化），又引入了当下最前沿的大模型技术，是典型的"传统技术+AI"的复合型实践案例。
提示：选择二手车领域作为分析对象具有天然优势——数据维度丰富（年份、里程、品牌、地区等）、价格敏感度高、市场波动明显，非常适合用来演示数据分析与预测建模的全过程。
2. 系统架构设计
2.1 整体技术栈
本系统采用分层架构设计，各层技术选型如下：
| 架构层级 | 技术方案 | 选型理由 |
|---|---|---|
| 数据采集层 | Scrapy + Requests | 支持静态页面与动态渲染数据抓取 |
| 数据存储层 | MongoDB + MySQL | 非结构化数据与结构化数据分离存储 |
| 数据处理层 | Pandas + NumPy | 提供高效的数据清洗转换能力 |
| 模型构建层 | Scikit-learn + LangChain | 传统算法与LLM能力结合 |
| 可视化层 | Pyecharts + Streamlit | 支持静态报表与交互式看板 |
2.2 核心模块交互流程
python复制# 伪代码展示核心流程
def main():
# 数据采集
raw_data = crawl_used_car_data() # 使用Scrapy爬取各平台数据
# 数据预处理
cleaned_data = preprocess_data(raw_data) # 包含缺失值处理、异常值检测等
# 特征工程
features = build_features(cleaned_data) # 包含大模型特征提取
# 模型训练
price_model = train_linear_regression(features)
desc_model = load_llm_model() # 加载预训练大模型
# 可视化展示
launch_dashboard(price_model, desc_model) # 启动交互式看板
2.3 关键技术决策点
-
大模型选型方案：
- 轻量级方案：使用Sentence-Transformer生成文本Embedding
- 完整方案：部署ChatGLM3-6B等开源模型进行文本理解
- 折中方案：调用OpenAI API（需考虑毕业设计成本）
-
回归模型优化策略：
- 基础版：普通最小二乘线性回归
- 进阶版：Lasso回归处理特征共线性
- 增强版：集成XGBoost提升非线性关系捕捉能力
3. 数据获取与预处理实战
3.1 多源数据采集
典型数据来源包括：
- 主流二手车平台：瓜子、人人车等（需处理反爬机制）
- 汽车论坛用户评价：汽车之家论坛等（需文本清洗）
- 第三方数据API：聚合数据等商业接口（可能产生费用）
爬虫实现示例：
python复制import scrapy
class UsedCarSpider(scrapy.Spider):
name = 'used_car'
def start_requests(self):
urls = ['https://www.guazi.com/bj/usedcar']
for url in urls:
yield scrapy.Request(url=url, callback=self.parse)
def parse(self, response):
for car in response.css('div.car-card'):
yield {
'title': car.css('h2.title::text').get(),
'price': car.css('span.price::text').get()[1:],
# 其他字段提取...
}
3.2 数据清洗关键步骤
-
价格数据规范化：
- 去除"面议"等非数值记录
- 统一货币单位（万元→元转换）
- 识别并处理明显异常值（如10年车龄售价高于新车）
-
文本字段处理：
- 提取关键属性："2.0T发动机"→排量2.0，涡轮增压
- 情感分析：用户评论中的正向/负向评价提取
- 实体识别：从描述中提取品牌、车型等结构化信息
-
缺失值处理策略：
- 数值字段：采用同品牌同年份车辆的中位数填充
- 分类字段：单独设置"未知"类别
- 文本字段：保留原始空值，大模型可处理缺失文本
4. 特征工程与模型构建
4.1 传统特征构建
基础特征矩阵应包含：
- 数值特征：车龄、里程、排量等
- 分类特征：品牌、车型、颜色等（需One-Hot编码）
- 时空特征：注册地区、季度波动因素等
4.2 大模型特征增强
使用Sentence-Transformer生成文本Embedding的示例：
python复制from sentence_transformers import SentenceTransformer
model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')
def get_text_embedding(description):
# 生成384维的文本向量
return model.encode(description)
# 应用到车辆描述字段
df['desc_vector'] = df['description'].apply(get_text_embedding)
4.3 线性回归模型优化
考虑二手车定价的特殊性，需要对传统线性回归进行改进：
-
价格对数变换：解决长尾分布问题
python复制df['log_price'] = np.log1p(df['price']) -
交互特征构建：
python复制df['mileage_per_year'] = df['mileage'] / (df['age'] + 1) -
模型评估指标：
- 常用MAE会受异常值影响
- 建议使用Huber Loss或分位数损失函数
完整训练示例：
python复制from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
# 合并传统特征与Embedding特征
X = pd.concat([
df[['age', 'mileage']],
pd.DataFrame(df['desc_vector'].tolist())
], axis=1)
y = df['log_price']
# 数据集划分
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)
# 模型训练
model = LinearRegression()
model.fit(X_train, y_train)
# 评估
test_pred = np.expm1(model.predict(X_test)) # 转换回原始价格尺度
5. 可视化系统实现
5.1 价格分析看板
使用Pyecharts构建的核心可视化组件：
python复制from pyecharts.charts import Scatter
from pyecharts import options as opts
def price_scatter(df):
scatter = (
Scatter()
.add_xaxis(df['age'].tolist())
.add_yaxis("价格分布", df['price'].tolist())
.set_global_opts(
title_opts=opts.TitleOpts(title="车龄-价格关系"),
visualmap_opts=opts.VisualMapOpts(
dimension=1, max_=200000, min_=50000)
)
)
return scatter
5.2 大模型增强功能
-
智能问答模块：
python复制def car_qna(question, car_data): prompt = f""" 根据以下车辆信息回答问题： {car_data} 问题：{question} """ return llm.invoke(prompt) -
异常检测看板：
- 结合回归残差分析识别定价异常车辆
- 使用t-SNE降维展示高维特征空间分布
5.3 Streamlit集成方案
将各模块整合为交互式应用：
python复制import streamlit as st
st.title("二手车智能分析系统")
# 侧边栏控制面板
brand = st.sidebar.selectbox("选择品牌", df['brand'].unique())
# 主显示区
tab1, tab2 = st.tabs(["价格分析", "车况评估"])
with tab1:
st.pyplot(plot_price_trend(brand))
with tab2:
question = st.text_input("关于这辆车你有什么疑问?")
if question:
st.write(get_car_answer(question))
6. 项目进阶方向
6.1 模型性能提升
-
集成学习方法：
- 将线性回归作为基模型，与随机森林构建Stacking模型
- 使用大模型生成的特征作为辅助输入
-
动态定价策略：
python复制def dynamic_pricing(base_price, market_factor): # 结合市场热度调整价格 return base_price * (1 + 0.1 * market_factor)
6.2 系统扩展建议
-
实时数据管道：
- 使用Apache Kafka构建实时数据流
- 开发价格波动预警功能
-
移动端适配：
- 将Streamlit应用打包为PWA渐进式Web应用
- 开发微信小程序版本
-
增强分析功能：
- 添加竞品对比分析模块
- 开发个性化推荐子系统
注意事项：在实际部署大模型时，6B参数量级的模型需要至少12GB显存，建议使用量化技术或API方案降低硬件要求。对于毕业设计演示，可预先生成好特征向量减少实时计算压力。