OpenCV均值漂移图像分割：原理、调参与工程落地

在我维护的视觉项目里，最容易被验收方质疑的就是分割边界：明明隔着同一种光源，昨天用的颜色阈值，今天换一块反光地面就全线崩溃。直到我开始把OpenCV里的meanshift图像分割当成“预处理神器”，很多抠图问题才算真正落了地。它的思路很朴素：把每个像素看成颜色空间里的一个点，让点向局部密度高的地方反复偏移，相近颜色的区域自然聚成块。OpenCV里面对应的函数叫pyrMeanShiftFiltering，配合一些后处理，就能输出带编号的分割区域。这篇文章对刚接触分割的人友好，也会把参数选择和工程调优一次讲透。

1. 为什么我先把阈值分割和K-Means排除在“分割首选”之外

1.1 固定阈值在真实场景里并不稳定

很多人接触OpenCV分割时，第一反应都是用cv2.inRange做颜色阈值。这个方法本身没有错，但它最大的问题在于“阈值是钉死的”。光照一变化、传感器白平衡一偏，同一块物体的像素值可能整体漂移几十个灰度值。比如传送带上的零件分拣，上午阴影少，HSV的H范围还管用；下午侧面多了反光，同一个零件在图像里被切成高光区、过渡区、暗区三块，颜色阈值根本没法用一个范围同时框住。

更麻烦的是噪声。固定阈值会产生硬边界，但真实边缘往往是渐变的，结果就是边缘处出现大量空洞和锯齿。我见过不少项目用形态学校了一年边缘，都是在给阈值的不稳定“擦屁股”。根子上的问题不是阈值取值不对，而是阈值方法假设了“目标颜色是一个固定区间”，这个假设在户外、传送带、自然光环境下几乎都不成立。

1.2 K-Means也不是首选，它逼你提前回答“世界有几类颜色”

K-Means在OpenCV里可以做颜色聚类，但它有一个绕不开的输入：K，也就是“你觉得图像里有几块颜色”。问题在于，一张真实图像里的“颜色模式数量”往往不是肉眼一眼能数的。天空和背景看起来像两类，但加上云层渐变、阴影过渡，到底算三类还是五类？拍脑袋定K，就意味着每次换一张图都要重调。

而且K-Means默认每个聚类是“球形分布”，它不知道颜色在空间上的连续性。它可以把两个颜色相近但离得很远的物体强行归成一类，也可以把一个渐变区域从中间切断。最后得到的标签图常常是雪花状的碎片，边缘锯齿非常严重，还得靠大量形态学后处理去修。拿K-Means做粗分割不是不行，但它更像是“有监督的量化”，而非“无监督的密度分割”。

所以现在我做预分割，首选思路是均值漂移。它不需要K，自己根据像素在颜色空间的分布密度找到峰；它同时参考空间位置和颜色距离，因此能保持边缘；而且OpenCV里的pyrMeanShiftFiltering还带了金字塔加速，性能和效果在工程上都能接受。

2. 均值漂移分割的本质：让像素在联合特征空间里“爬山”

2.1 密度山峰与爬山者：均值漂移到底在迭代什么

可以把图像的所有像素想象成一张地图，每个像素点同时带着“坐标”和“颜色”两类信息，分布在某个多维特征空间里。相近颜色的像素聚集在一起，就会在这个空间里形成密度比较高的“山峰”，而颜色变化剧烈的地方就是“山谷”。

均值漂移做的事情，是从任意一个像素出发，不断把一个窗口往“周围像素的质心”方向移动。窗口当前所在位置周围有一堆点，算一下这些点的质心，然后用质心位置替换窗口位置，继续重复。因为质心总是偏向密度更高的方向，所以窗口最终会爬到一座局部“山峰”附近。这个迭代过程很像一个人只凭脚下泥土的松软程度，一步一步往最结实的方向走，最后停在某个山头。所有爬向同一座山的像素，颜色重心收敛到同一处，自然就被划成同一个区域。

2.2 为什么加入空间坐标以后，分割结果是一块块连通的区域

如果只在颜色空间里做均值漂移，两个颜色一样但隔着十万八千米的像素会被归为一类，这往往不是我们想要的。OpenCV实现里把每个像素当成“空间坐标 + 颜色坐标”的组合向量，比如一张BGR图像就是五维特征：x、y、B、G、R。距离是同时由空间距离和颜色距离决定的。

这样做的效果非常直观：远处有一模一样的颜色，但因为空间距离太远，它们不会被拉到同一座山；相邻的两个像素如果颜色差异大，窗口质心不会往颜色跳变的方向偏，边缘就被保住了。用一个类比来说：班里按座位和衣服颜色一起分组，只有“坐得近”且“穿得相近”的人最后坐成一桌，隔着一个走廊穿同款衣服的人不会硬拉过来。

2.3 OpenCV的金字塔：先看缩略图，再回来精修

标准均值漂移算法如果对每一个像素都反复迭代，速度很慢。OpenCV的pyrMeanShiftFiltering引入了图像金字塔，这也是函数名里带pyr的原因。先对图像做多级缩小，在小尺寸图像上完成均值漂移，得到一个相对稳定的区域估计；然后把结果上采样放大，作为下一层处理的初始结果，继续在当前分辨率上精修。这样等于先看缩略图把握整体颜色分布，再逐层回到原始尺寸补细节，速度能快不少。

maxLevel参数控制的正是金字塔层数。层数越高，提前看全局的次数越多，计算量下降越明显，但代价是细小的物体或细线可能在被缩小过程中丢失。所以maxLevel不是越大越好，一般1或2就够用。

3. cv::pyrMeanShiftFiltering参数拆解与最小可运行示例

3.1 函数签名与参数的真正含义

先看Python形式：

python复制dst = cv2.pyrMeanShiftFiltering(
    src,           # 输入图像，必须是8位三通道
    sp,            # 空间窗口半径
    sr,            # 颜色窗口半径
    maxLevel=1,    # 金字塔最大层数
    termcrit=None  # 迭代终止条件
)

C++的形式也类似：

cpp复制cv::pyrMeanShiftFiltering(src, dst, sp, sr, maxLevel=1,
    cv::TermCriteria(cv::TermCriteria::MAX_ITER + cv::TermCriteria::EPS, 5, 1));

这五个参数里，sp和sr是最关键的。sp是空间半径，决定当前像素周围多大范围的邻域参与密度估计。sp=10，就相当于在以当前像素为中心、半径10个像素的窗口里统计。sr是颜色半径，决定“颜色差多少以内”才算同类。对于8位BGR图像，BGR三个通道两两之间的最大欧氏距离大约是441，所以sr=30在实际中是一个比较温和的值。maxLevel刚才说过，是金字塔层数。termcrit是迭代终止条件，OpenCV默认的是最大迭代5次并且阈值误差小于1，这个默认值大多数场景都不用动。

需要特别注意：这个函数不能直接处理单通道灰度图。如果手里只有灰度图，要先转成BGR或者Lab三通道，否则会直接报错。因此实际项目里遇到灰度工业相机图，我一般先堆成三通道再进这个函数。

3.2 sp和sr选择的一些第一手经验

在调参这件事上，网上很多教程只告诉你“sp是空间半径，sr是颜色半径”，但具体给多少值等于没说。我的经验是：

如果只是做一个通用分割，我通常从sp=10，sr=30开始试。看结果：如果边缘一圈像狗啃的，说明颜色半径太大，把边界两边颜色也拉近了；如果区域里有大量斑点，说明空间半径太小，没能压制局部噪声。记住一个原则：先固定sp=10，单独调sr，找到“目标开始粘连”的临界值；再固定sr，单独调sp，找到“纹理不再碎”的临界值。两个临界值中间就是比较稳的区域。

3.3 跑通一个最小流程

python复制import cv2

src = cv2.imread("demo.jpg")
if src is None:
    print("图片读取失败，请检查路径")
    exit()

dst = cv2.pyrMeanShiftFiltering(src, 10, 30, maxLevel=1)

cv2.imwrite("smooth_result.jpg", dst)
cv2.imshow("original", src)
cv2.imshow("meanshift_smooth", dst)
cv2.waitKey(0)
cv2.destroyAllWindows()

跑完以后你会在窗口里看到一张颜色被“区域化”的图像：原本细腻的纹理被抹平，相近颜色被合并成大色块，但物体边缘仍然清晰。这一步的输出通常叫“预分割结果”，因为它还不是带编号的分割标签。

4. 从色块到带编号的分割区域：两种后处理路线

4.1 路线一：边缘闭合后findContours提取区域轮廓

pyrMeanShiftFiltering输出的是平滑色块图，不是标签图。要得到一块一块的分割结果，最简单的做法是先把色块的边缘找出来，再做轮廓分析。

python复制import cv2
import numpy as np

dst = cv2.pyrMeanShiftFiltering(src, 10, 30, maxLevel=1)

gray = cv2.cvtColor(dst, cv2.COLOR_BGR2GRAY)
edges = cv2.Canny(gray, 30, 90)

kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (5, 5))
closed = cv2.morphologyEx(edges, cv2.MORPH_CLOSE, kernel)

contours, _ = cv2.findContours(closed, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)

result = np.zeros_like(src)
for idx, cnt in enumerate(contours, start=1):
    color = (
        (idx * 37) % 255,
        (idx * 71) % 255,
        (idx * 19) % 255,
    )
    cv2.drawContours(result, [cnt], -1, color, -1)

这段代码的关键在于Canny提取到的边缘不一定闭合，必须用闭运算把断点接上。如果目标内部还有明显的纹理边缘，闭运算之后可能形成很多小洞，再用RETR_EXTERNAL只能拿到外轮廓，内部的小块会变成独立区域。想要过滤掉过小的噪声区，可以在轮廓循环里加一个面积判断：

python复制area = cv2.contourArea(cnt)
if area < 500:
    continue

这条路线的优点是结果直接是轮廓，方便做尺度和位置特征提取；缺点也很明显，Canny阈值对平滑图像仍然敏感，不同图像可能要微调。

4.2 路线二：用floodFill做无监督区域生长标注

我的实际项目里更多用的是floodFill。因为它不依赖边缘是否闭合，直接从像素出发按颜色相似性扩展区域，更适合处理大色块。

python复制import cv2
import numpy as np

dst = cv2.pyrMeanShiftFiltering(src, 10, 30, maxLevel=1)

h, w = dst.shape[:2]
labels = np.zeros((h, w), dtype=np.int32)
cur_label = 1

for y in range(h):
    for x in range(w):
        if labels[y, x] != 0:
            continue

        mask = np.zeros((h + 2, w + 2), dtype=np.uint8)
        cv2.floodFill(
            dst,
            mask,
            (x, y),
            0,
            loDiff=(10, 10, 10),
            upDiff=(10, 10, 10),
            flags=4 | cv2.FLOODFILL_MASK_ONLY | (255 << 8),
        )

        labels[mask[1:-1, 1:-1] == 255] = cur_label
        cur_label += 1

vis = np.zeros_like(dst)
for label_id in range(1, cur_label):
    mask = labels == label_id
    vis[mask] = (
        (label_id * 37) % 255,
        (label_id * 71) % 255,
        (label_id * 19) % 255,
    )

这段代码做的事情是：先对平滑后的图像逐像素扫描，遇到一个还没编号的像素，就以它为种子，用floodFill把周围颜色差不多的区域全部填进掩码，再从掩码中把对应像素赋予一个标签编号。由于用了FLOODFILL_MASK_ONLY，原图不会真的被填颜色，只是在掩码上做标记。最后labels里就是连通区域的编号，每个编号对应一个独立区域。

缺点也明确：双重循环慢，尤其在高分辨率大图上。一般建议先把图像长边缩到1000像素以内再跑，或者配合路线一先用边缘法确定候选位置，再用floodFill细化。实际工程中，我不会把floodFill直接跑在4K图上，那是给自己找麻烦。

5. 实战调参经验：色彩空间、金字塔和大图提速

5.1 别直接拿BGR硬调，转Lab的效果经常好出一截

pyrMeanShiftFiltering内部是在联合空间-颜色域上计算距离，默认直接接受BGR输入。但BGR通道之间存在很强的相关性，亮度变化会被放大为颜色距离变化。同一个物体在阴影里和高光下的BGR距离，可能比它和背景颜色的距离还大，结果就是一个目标被拆成几块。

更好的做法是把图像转成Lab颜色空间再处理。Lab把亮度L和色度a、b分开，颜色距离更接近人的感知。实际操作很简单：

python复制lab = cv2.cvtColor(src, cv2.COLOR_BGR2LAB)
lab_smooth = cv2.pyrMeanShiftFiltering(lab, 10, 20, maxLevel=1)
dst = cv2.cvtColor(lab_smooth, cv2.COLOR_LAB2BGR)

注意，转Lab之后sr的取值范围和BGR不完全一样。a、b通道在OpenCV的8位表示里也是0到255，但色度变化范围通常比亮度小，所以同样的sr值在Lab下往往要调小一些。我一般从sr=15开始试，BGR下同样的语义可能要用sr=30。

5.2 大图提速不是靠盲目降低sp，而是先缩放再上金字塔

均值漂移的计算量和窗口大小、迭代次数直接相关。在1920x1080图像上直接sp=20、sr=50，叠加maxLevel=1，普通笔记本可能要几百毫秒到一两秒，放在实时项目里基本没法接受。

我的建议顺序是：先把图像长边缩放到1024或更小，然后设maxLevel=2，最后再考虑减小sp。缩放的好处是像素数量直接下降，金字塔层数能提供全局颜色模式的稳定性，而减小sp容易损失细节。实测下来，把1280x720图缩到长边800再跑sp=10、sr=30、maxLevel=2，速度大概能比原图直接跑快一半以上，视觉差异在不放大查看时完全可以接受。

如果还是要原图分辨率，还有一个办法：把termcrit里的最大迭代次数从默认5降到3。均值漂移到后期迭代收益很小，减少两次迭代对结果影响有限，但速度会有可感知提升。

5.3 过分割和欠分割的排查模板

调试时最容易出现的两个问题：区域过碎和区域粘连。我常用的排查模板是：

• 过分割严重：先增大sr，通常效果最明显。因为过碎基本说明颜色容差太小，很多本应合并的像素被当成不同模式。再不行就加大sp，让空间窗口覆盖更多像素，空间上更“抱团”。
• 欠分割明显：两个不同物体被合并成一个区域，说明sr太大，把边界上的颜色差异也吞掉了。先减小sr，再看边界是否恢复。如果边界对比度本身很低，比如白色物体在浅灰背景上，先做一次边缘增强或对比度拉伸再进均值漂移。
• 边界又细又碎，颜色块却还算完整：说明sp太小，局部噪声干扰了窗口质心方向。把sp从10提到15，往往能立竿见影。

这一套排查下来，30分钟以内基本能锁定参数区间，比盲试各种组合高效得多。

5.4 最后说一个我到现在都保留的习惯

拿到一张新图，我不会急着写完整后处理，而是先跑一遍差分测试：把pyrMeanShiftFiltering的中间结果直接保存成图片，用画图工具数一数“肉眼可见的色块数量”。这比调K值直观，也比看直方图容易。色块数量接近预期，再上floodFill或轮廓提取；如果色块数量和预期差很远，说明sr和sp方向错了，换参数继续试。

等分割标签出来了，后续的统计就很简单：对labels做连通域分析可以统计数量，用mask对原图做cv2.bitwise_and可以提取目标，再叠上轮廓面积筛选，就能接目标计数或缺陷定位。手段都不复杂，复杂的是先让颜色区域“听话”，这一步，meanshift是最顺手的工具之一。