Python实现KNN分类器：鸢尾花数据集实战-代码聚汇网

Python实现KNN分类器：鸢尾花数据集实战

KNN算法机器学习分类算法

|难度：普通|阅读约 11 分钟

1. 项目概述

K最近邻算法（K-Nearest Neighbors，简称KNN）是机器学习领域最基础且实用的分类算法之一。这个项目我们将使用经典的鸢尾花数据集，通过Python的scikit-learn库完整实现一个KNN分类器。鸢尾花数据集包含150个样本，每个样本有4个特征（萼片长度、萼片宽度、花瓣长度、花瓣宽度）和对应的品种标签（山鸢尾、变色鸢尾、维吉尼亚鸢尾）。

在实际操作中，我发现很多初学者容易陷入两个误区：一是认为KNN简单就轻视参数调优，二是忽略特征标准化的重要性。通过这个项目，你不仅能掌握KNN的核心原理，还能学到数据预处理、模型评估等实用技巧。这个案例特别适合机器学习入门者，也适合需要快速验证想法的数据分析师。

需要模型API调用？免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。

2. KNN算法核心原理

2.1 算法工作流程

KNN的核心思想可以用一句话概括："物以类聚"。算法通过计算待分类样本与训练集中所有样本的距离，找出距离最近的K个邻居，然后根据这些邻居的类别投票决定待分类样本的类别。具体步骤包括：

计算距离：常用欧式距离公式 √(Σ(xi-yi)²)
选择K值：确定参与投票的邻居数量
投票决策：统计K个邻居中各类别的数量，取最多者

注意：距离计算有多种选择，如曼哈顿距离、余弦相似度等，但欧式距离在大多数情况下表现良好且计算简单。

2.2 关键参数解析

K值的选择直接影响模型表现：

K太小（如K=1）：模型对噪声敏感，容易过拟合
K太大：模型过于平滑，可能忽略局部特征
经验法则：从K=√n（n为样本数）开始尝试，鸢尾花数据集通常K=3~11效果较好

在实际项目中，我习惯用交叉验证来寻找最佳K值。对于鸢尾花这种小数据集，可以尝试K=1到K=20的所有奇数（避免平票），然后选择验证集准确率最高的。

3. 完整实现步骤

3.1 环境准备与数据加载

首先确保安装必要的库：

bash复制pip install scikit-learn numpy matplotlib

加载数据集并进行初步探索：

python复制from sklearn.datasets import load_iris
import pandas as pd

iris = load_iris()
df = pd.DataFrame(iris.data, columns=iris.feature_names)
df['target'] = iris.target
print(df.describe())  # 查看数据统计特征

3.2 数据预处理

关键预处理步骤：

特征标准化：KNN对特征尺度敏感，必须进行标准化
训练测试分割：保持数据分布一致性

python复制from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split

X = iris.data
y = iris.target

# 标准化处理
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# 分割数据集
X_train, X_test, y_train, y_test = train_test_split(
    X_scaled, y, test_size=0.3, random_state=42, stratify=y)

3.3 模型训练与评估

实现完整的KNN分类流程：

python复制from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import classification_report, confusion_matrix

# 创建模型（初始K=5）
knn = KNeighborsClassifier(n_neighbors=5)

# 训练模型
knn.fit(X_train, y_train)

# 预测测试集
y_pred = knn.predict(X_test)

# 评估模型
print(classification_report(y_test, y_pred))
print("混淆矩阵:\n", confusion_matrix(y_test, y_pred))

4. 进阶优化技巧

4.1 K值选择策略

通过交叉验证寻找最优K值：

python复制from sklearn.model_selection import cross_val_score
import matplotlib.pyplot as plt

k_range = range(1, 31)
k_scores = []

for k in k_range:
    knn = KNeighborsClassifier(n_neighbors=k)
    scores = cross_val_score(knn, X_scaled, y, cv=10, scoring='accuracy')
    k_scores.append(scores.mean())

plt.plot(k_range, k_scores)
plt.xlabel('K值')
plt.ylabel('交叉验证准确率')
plt.show()

4.2 特征工程实践

尝试不同的特征组合对模型的影响：

单特征分析：观察各个特征的区分能力
特征组合：比如花瓣长度与宽度的比值可能更有区分度
降维技术：PCA可视化观察数据分布

python复制# 创建新特征示例
df['petal_ratio'] = df['petal length (cm)'] / df['petal width (cm)']

5. 常见问题与解决方案

5.1 类别不平衡处理

当不同类别样本数差异较大时，可以：

使用加权投票：给少数类样本更高权重
调整距离度量：如使用马氏距离
采用SMOTE等过采样技术

实现加权KNN：

python复制knn = KNeighborsClassifier(
    n_neighbors=5,
    weights='distance'  # 或自定义权重函数
)

5.2 高维数据挑战

当特征维度很高时：

维度灾难：距离计算变得无意义
解决方案：
- 特征选择：选择最有区分度的特征
- 降维：PCA、t-SNE等方法
- 调整距离度量：如余弦相似度

6. 项目扩展思路

多分类问题可视化：绘制决策边界观察分类效果
实现KNN回归：预测连续值而非类别
自定义距离度量：针对特定业务设计距离函数
并行化优化：使用KD树或Ball Tree加速近邻搜索

决策边界可视化示例：

python复制from mlxtend.plotting import plot_decision_regions
import matplotlib.pyplot as plt

# 只取两个特征进行可视化
X = X_scaled[:, :2]  
knn = KNeighborsClassifier(n_neighbors=5)
knn.fit(X, y)

plt.figure(figsize=(10, 6))
plot_decision_regions(X, y, clf=knn, legend=2)
plt.xlabel('标准化后的萼片长度')
plt.ylabel('标准化后的萼片宽度')
plt.title('KNN决策边界')
plt.show()

在实际应用中，我发现KNN虽然简单，但在特征工程到位的情况下，往往能取得出人意料的好效果。特别是在快速验证阶段，它是我工具箱中的首选算法之一。一个实用的建议是：当数据量不大（<10万样本）且特征维度适中时，不妨先试试KNN作为baseline，它的训练速度几乎可以忽略不计，却能给你一个直观的性能参考。