幸运小姐1. NumPy去重函数实战指南
在数据处理工作中，去重操作就像整理衣柜时把重复的衣服挑出来一样常见。np.unique()就是NumPy工具箱里专门处理这个需求的瑞士军刀，它比Python原生的set()功能更强大，能直接处理多维数组并保持元素顺序。
我最近在一个电商用户行为分析项目中，就用它快速清理了300万条重复的点击日志数据。当时试过用pandas的drop_duplicates()，发现处理速度比np.unique()慢了近40%。特别是在处理数值型数据时，NumPy的底层C实现展现出明显优势。
关键提示：当数据量超过10万条时，建议优先考虑np.unique()而非Python原生方法
1.1 基础用法演示
先看个简单例子。假设我们抓取到的商品价格列表存在重复：
python复制import numpy as np
prices = np.array([199, 299, 199, 399, 299, 499])
unique_prices = np.unique(prices)
print(unique_prices) # 输出：[199 299 399 499]
这个基础用法已经帮我们完成了三件事：
- 自动排序（默认升序）
- 去除重复项
- 返回新的NumPy数组
但实际项目中我们往往需要更多信息。比如在做用户画像分析时，不仅要知道有哪些年龄段用户，还要知道每个年龄段的分布情况。这时可以启用return_counts参数：
python复制user_ages = np.array([25, 30, 25, 40, 30, 30])
ages, counts = np.unique(user_ages, return_counts=True)
for age, count in zip(ages, counts):
print(f"年龄{age}岁用户数：{count}")
输出结果：
code复制年龄25岁用户数：2
年龄30岁用户数：3
年龄40岁用户数：1
1.2 多维数组处理技巧
处理二维数据时（比如Excel表格导入的数据），很多人会先flatten再处理，其实完全没必要。np.unique()的axis参数可以直接处理：
python复制sales_data = np.array([
[101, 200, 101],
[300, 200, 400],
[101, 200, 300]
])
# 按行去重
unique_rows = np.unique(sales_data, axis=0)
print("唯一行：\n", unique_rows)
# 按列去重
unique_cols = np.unique(sales_data, axis=1)
print("唯一列：\n", unique_cols)
踩坑提醒：axis参数在NumPy 1.13.0以下版本不可用，老项目升级时要注意
1.3 高级索引应用
当处理订单数据时，我们可能需要基于某列去重同时保留其他列信息。结合return_index使用可以实现类似pandas drop_duplicates的效果：
python复制orders = np.array([
[1001, 299, '手机'],
[1002, 199, '耳机'],
[1003, 299, '手机'],
[1004, 399, '平板']
])
_, idx = np.unique(orders[:, 1], return_index=True) # 按价格去重
unique_orders = orders[idx]
print("按价格去重后的订单：\n", unique_orders)
输出保留了每个价格对应的第一条完整记录：
code复制[[1002 199 '耳机']
[1001 299 '手机']
[1004 399 '平板']]
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 性能优化实战
2.1 大数据量测试对比
用Jupyter Notebook的%%timeit魔法命令测试不同方法处理100万条数据的性能：
python复制import numpy as np
import pandas as pd
large_data = np.random.randint(0, 100, 10**6)
# NumPy方案
%timeit np.unique(large_data)
# 结果：58.3 ms ± 1.12 ms per loop
# pandas方案
%timeit pd.unique(large_data)
# 结果：79.6 ms ± 2.31 ms per loop
# Python原生方案
%timeit list(set(large_data.tolist()))
# 结果：210 ms ± 5.67 ms per loop
测试环境：MacBook Pro M1, 16GB内存
数据量：1,000,000条随机整数(0-99)
2.2 内存优化技巧
处理超大型数组时（比如超过内存容量），可以采用分块处理策略：
python复制def chunked_unique(data, chunk_size=10**6):
chunks = np.array_split(data, len(data)//chunk_size + 1)
unique_values = set()
for chunk in chunks:
unique_values.update(np.unique(chunk))
return np.array(list(unique_values))
这个方法在我处理8GB的传感器数据时，成功避免了MemoryError问题。原理是将数据分块加载，用集合进行增量去重。
2.3 并行处理方案
对于多核CPU环境，可以结合joblib实现并行计算：
python复制from joblib import Parallel, delayed
def parallel_unique(data, n_jobs=4):
chunks = np.array_split(data, n_jobs)
results = Parallel(n_jobs=n_jobs)(
delayed(np.unique)(chunk) for chunk in chunks
)
return np.unique(np.concatenate(results))
在16核服务器上测试，处理1亿条数据时速度提升约3.8倍。注意要避免数据切分和合并的开销超过并行收益。
3. 实际项目案例
3.1 电商用户行为分析
在分析用户点击流数据时，需要统计不同页面的UV（独立访客）。原始数据格式：
python复制click_logs = np.array([
[1001, '/product/123', '2023-01-01 10:00'],
[1002, '/home', '2023-01-01 10:01'],
[1001, '/product/123', '2023-01-01 10:05'],
[1003, '/cart', '2023-01-01 10:10'],
[1002, '/product/456', '2023-01-01 10:15']
])
统计各页面UV的优化方案：
python复制pages = click_logs[:, 1]
unique_pages = np.unique(pages)
page_uv = {}
for page in unique_pages:
mask = pages == page
user_ids = click_logs[mask, 0]
page_uv[page] = len(np.unique(user_ids))
print(page_uv)
输出结果：
code复制{'/home': 1, '/cart': 1, '/product/123': 1, '/product/456': 1}
3.2 金融交易数据清洗
处理证券交易记录时，需要检测可能的重复交易。考虑以下特征：
- 相同客户ID
- 相同证券代码
- 相同交易时间（精确到秒）
- 相同交易方向（买入/卖出）
- 相同交易数量
python复制trades = np.array([
['C1001', '600519', '2023-06-01 14:30:01', 'BUY', 100],
['C1002', '000001', '2023-06-01 14:30:05', 'SELL', 200],
['C1001', '600519', '2023-06-01 14:30:01', 'BUY', 100], # 完全重复
['C1001', '600519', '2023-06-01 14:30:01', 'BUY', 200] # 仅数量不同
])
# 提取关键字段组合作为唯一标识
trade_keys = np.core.defchararray.add(
np.core.defchararray.add(trades[:,0], trades[:,1]),
trades[:,2]
)
_, indices, counts = np.unique(trade_keys, return_index=True, return_counts=True)
duplicates = indices[counts > 1]
print("疑似重复交易记录：\n", trades[duplicates])
3.3 物联网传感器数据处理
处理温度传感器数据时，需要剔除异常重复值。考虑以下场景：
- 连续5次以上相同读数可能是传感器卡死
- 保留第一次正常读数，标记后续重复为异常
python复制def clean_sensor_data(readings, max_repeats=5):
# 找出数值变化点
diff = np.diff(readings, prepend=readings[0]+1)
change_points = np.where(diff != 0)[0]
# 计算连续相同值的长度
repeat_counts = np.diff(np.append(change_points, len(readings)))
# 标记异常点
is_anomaly = np.zeros_like(readings, dtype=bool)
for start, count in zip(change_points, repeat_counts):
if count > max_repeats:
is_anomaly[start+1:start+count] = True
return readings, is_anomaly
# 测试数据：包含正常波动和卡死情况
sensor_data = np.array([25.1, 25.2, 25.2, 25.3, 25.3, 25.3, 25.3, 25.3, 25.3, 26.0])
cleaned, anomalies = clean_sensor_data(sensor_data)
print("原始数据：", sensor_data)
print("异常标记：", anomalies)
4. 常见问题解决方案
4.1 类型处理问题
问题1：混合类型数据去重时出现意外结果
python复制data = np.array([1, '1', 1.0])
print(np.unique(data)) # 可能输出['1', 1, 1.0]
解决方案：先统一类型
python复制print(np.unique(data.astype(str))) # 全部转为字符串处理
问题2：浮点数精度导致的误判
python复制float_data = np.array([0.1 + 0.2, 0.3])
print(np.unique(float_data)) # 可能输出两个值
解决方案：使用np.isclose近似判断
python复制def float_unique(arr, rtol=1e-5):
is_unique = np.ones(len(arr), dtype=bool)
for i in range(len(arr)):
if is_unique[i]:
matches = np.isclose(arr[i], arr[i+1:], rtol=rtol)
is_unique[i+1:][matches] = False
return arr[is_unique]
4.2 结构化数组处理
处理带字段名的结构化数组时，常规方法会失效：
python复制dt = np.dtype([('name', 'U10'), ('age', 'i4')])
people = np.array([('Alice', 25), ('Bob', 30), ('Alice', 25)], dtype=dt)
正确做法：指定要比较的字段
python复制# 方法1：提取字段后处理
names = people['name']
unique_names = np.unique(names)
# 方法2：自定义视图
view = people[['name', 'age']].view(f'U10,i4').reshape(-1)
unique_people = np.unique(view)
4.3 版本兼容问题
问题：旧版NumPy(<=1.12)没有axis参数
解决方案：使用np.vstack+结构化视图
python复制def old_unique_2d(arr):
dtype = {'names': [f'f{i}' for i in range(arr.shape[1])],
'formats': [arr.dtype]*arr.shape[1]}
view = arr.view(dtype)
return np.vstack({tuple(row) for row in view})
4.4 特殊需求实现
需求1：去重但保留原始顺序
python复制def unique_keep_order(arr):
_, idx = np.unique(arr, return_index=True)
return arr[np.sort(idx)]
需求2：获取最后出现的唯一值
python复制def unique_last(arr):
_, idx = np.unique(arr, return_index=True)
# 反转数组获取最后出现的索引
rev_idx = len(arr) - 1 - np.unique(arr[::-1], return_index=True)[1]
return arr[np.sort(rev_idx)]
需求3：基于自定义函数去重
python复制def unique_by_func(arr, key_func):
keys = np.array([key_func(x) for x in arr])
_, idx = np.unique(keys, return_index=True)
return arr[idx]
5. 扩展应用场景
5.1 图像处理中的颜色量化
在减少图像颜色数量时，np.unique()可以快速提取主色调：
python复制from PIL import Image
def color_quantization(img_path, n_colors):
img = Image.open(img_path)
arr = np.array(img)
h, w, _ = arr.shape
# 获取所有像素颜色
pixels = arr.reshape(-1, 3)
# 找到主要颜色
colors, counts = np.unique(pixels, axis=0, return_counts=True)
top_colors = colors[np.argsort(-counts)[:n_colors]]
# 重建图像
quantized = np.zeros_like(pixels)
for i in range(len(pixels)):
distances = np.sum((top_colors - pixels[i])**2, axis=1)
quantized[i] = top_colors[np.argmin(distances)]
return quantized.reshape(h, w, 3)
5.2 自然语言处理中的词表构建
处理文本数据时，快速构建词表：
python复制def build_vocab(texts, min_count=5):
# 分词并展平
words = np.array([word for text in texts for word in text.split()])
# 获取词频
vocab, counts = np.unique(words, return_counts=True)
# 过滤低频词
return vocab[counts >= min_count]
5.3 时间序列数据分析
检测传感器数据中的稳态阶段：
python复制def find_steady_states(data, window=10, tol=0.1):
# 计算滑动窗口标准差
strides = np.lib.stride_tricks.sliding_window_view(data, window)
stds = np.std(strides, axis=1)
# 标记稳定段
steady_mask = stds < tol
steady_starts = np.where(np.diff(np.r_[False, steady_mask, False]) > 0)[0]
steady_ends = np.where(np.diff(np.r_[False, steady_mask, False]) < 0)[0]
return list(zip(steady_starts, steady_ends))
在实际项目中，我发现np.unique()配合其他NumPy函数可以解决90%以上的基础去重需求。对于特别复杂的场景（比如需要基于多个字段的复合条件去重），建议先用np.unique()做初步筛选，再结合其他方法细化处理。