上个月我帮一家本地电商搭数据挖掘流程,老板前后抛了四类问题:预测一下明天的订单量大概是多少——这是回归;判断这个用户下一步会不会流失——这是分类;把几万活跃用户分成几个有特征的群体——这是聚类;购物车里的哪些商品经常一起出现——这是关联分析。同一个数据集,四类问题对应四种完全不同的模型,而 Python 生态几乎一口吃下了所有。
这也是我写这篇教程的初衷:很多人一上来就抱着 sklearn 文档啃,学了一堆算法名字,真拿到业务数据却不知道从哪一步开始。所以我打算按“回归 / 分类 / 聚类 / 关联分析”四条主线,把从环境准备到特征工程、从模型训练到结果评估的完整链路走一遍。文章里的代码我都实际跑过,用的都是常见库,你可以直接把里面的套路搬到自己项目里改一改就上。
1. 回归、分类、聚类、关联分析:先理清四个任务要回答什么问题
1.1 监督与无监督:数据挖掘任务的两大阵营
我在带新人时发现,很多人不是不会调包,而是根本分不清什么时候该用回归、什么时候该用聚类。其实判断标准很简单:看你的数据里有没有“标准答案”。
回归和分类属于监督学习,特征矩阵 X 旁边还站着一个标签列 y。就像老师批改作业,你手里有正确答案(标签),让模型照着学。区别只在于 y 的类型:y 是连续数值,比如房价、销量、温度,那就是回归;y 是离散类别,比如“流失 / 不流失”“垃圾邮件 / 正常邮件”,那就是分类。
聚类和关联分析属于无监督学习,数据里只有 X,没有 y,需要模型自己从数据中找规律。聚类是把相似样本自动归到一组,类似于你拿到一堆照片,没人告诉你谁是谁,但你可以按人脸相似度自然分成几堆;关联分析则是从大量事务记录里找“一起出现”的组合,典型的场景就是购物篮分析。
注意:无监督不是没有答案,而是答案需要事后由业务方来定义和验证。
1.2 四类任务对应的业务场景
面对一个实际问题,先要对号入座,选错方向后面全白做。我习惯用一张表来给需求归类:
| 任务类型 | 典型业务问题 | 示例算法 | 输出结果 |
|---|---|---|---|
| 回归 | 下个月销售额是多少? | 线性回归、随机森林回归、XGBoost 回归 | 连续数值 |
| 分类 | 客户会不会流失? | 逻辑回归、随机森林、XGBoost 分类 | 类别标签 + 概率 |
| 聚类 | 用户可以分为几类? | KMeans、层次聚类、DBSCAN | 每行样本的簇编号 |
| 关联分析 | 哪些商品会被一起买? | Apriori、FP-Growth | 规则 + 支持度/置信度/提升度 |
这张表看起来简单,但实际项目中任务混在一起的情况很常见。比如“预测用户未来一个月购买金额”是回归,可如果业务方只需要知道“高价值用户有哪些”,把金额按阈值切成“高 / 中 / 低”三档,就变成了分类。同一个数据源,问题定义方式不一样,模型选型和评估方式全都不一样。
1.3 一个典型的任务选错反例
有个朋友做过一个“用户流失预警”项目,刚开始他用 KMeans 把用户分了几类,然后看分类结果里有没有“流失”那一类。这其实是走错了方向:流失预警是监督学习,应该有历史标签,比如“过去 3 个月未下单的用户标记为流失”,再用这个标签训练分类模型。KMeans 聚类结果里确实可能聚出一个“低频用户簇”,但那个簇不等于流失用户,两者可能重叠但永远不能互相替代。
所以接到任何问题,先自问一句:我手里有没有一个现成的标签 y?有就做监督学习,没有才考虑聚类和关联。这个判断花不了 10 秒,却能避开后面大量无用功。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 跑通数据挖掘之前的准备:环境、数据清洗与特征工程
2.1 Python 环境与必备库
Python 数据挖掘的主流库,其实用一只手就能数过来:pandas 处理表格数据,numpy 做数值计算,scikit-learn 提供大部分经典算法,matplotlib + seaborn 做可视化,xgboost 用来上强度,mlxtend 专门做关联规则挖掘。
安装命令我直接给出来:
bash复制pip install pandas numpy scikit-learn matplotlib seaborn xgboost mlxtend
不建议一上来就装 Anaconda 全家桶。它确实方便,但体积大、环境冲突也麻烦。我是用 venv 或 conda 单独建一个项目环境,把依赖用 requirements.txt 固定住,这样换机器、换项目都不会互相干扰。装完之后顺手验证一下版本:
python复制import pandas as pd
import sklearn
import xgboost
print(pd.__version__)
print(sklearn.__version__)
print(xgboost.__version__)
版本差异是真实存在的坑。xgboost 的老接口 xgb.DMatrix 和新接口 XGBRegressor 混用时会出很多怪问题,我建议统一走 sklearn 风格的接口,参数名也跟 sklearn 对齐,学习成本最低。
2.2 数据加载与缺失值处理
拿到一份数据,第一步永远不是建模,而是 df.info() 和 df.describe()。这两行能告诉你数据量、列类型、缺失情况、数值分布范围。我常用的处理流程是这样:
python复制import pandas as pd
df = pd.read_csv('your_data.csv')
# 快速体检
print(df.shape)
print(df.info())
print(df.describe())
print(df.isnull().sum())
缺失值处理不是无脑填均值。如果某个字段缺失了 80% 以上,我倾向于直接删掉这一列,因为补出来的值大概率是噪音;缺失比例低于 5% 的,可以直接删除对应行;中等缺失比例、且字段本身有价值的,用中位数或众数填充。为什么用中位数而不是均值?因为均值对异常值敏感,比如“用户收入”字段,几个年入千万的样本会把均值拉高,中位数更稳健。
python复制# 数值列用中位数填充
df['income'] = df['income'].fillna(df['income'].median())
# 类别列用众数填充
df['channel'] = df['channel'].fillna(df['channel'].mode()[0])
get_dummies 做类别编码时有个小坑,我踩过好几次。pandas 默认会把一个 K 类别的列展开成 K 列 0/1 特征,但这会引入多重共线性,线性回归里会出问题。标准做法是 drop_first=True,只保留 K-1 列。
2.3 标准化与数据划分:顺序错了等于白干
标准化不是所有模型都需要。线性回归、逻辑回归、KMeans 这类基于距离或梯度的模型,对特征尺度敏感,必须做标准化;而决策树、随机森林、XGBoost 这类树模型,对特征尺度不敏感,不做标准化也可以。
真正容易翻车的是标准化和划分数据集的前后顺序。数据泄露这个词在后面专门细讲,这里先给结论:必须先切训练集 / 测试集,再在训练集上用 fit 计算均值和方差,然后用同一组参数去 transform 测试集。
python复制from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
X = df.drop('target', axis=1)
y = df['target']
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.2, random_state=42, stratify=y
)
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)
stratify=y 是分类任务里的重要参数,它会让训练集和测试集的类别比例保持一致。如果不用,某一次划分可能把某个稀有类别全分到测试集,模型训练
