电商推荐系统数据清洗与特征工程实战

1. 电商推荐系统的基础架构与数据流程

电商推荐系统本质上是一个数据驱动的决策引擎，它通过分析用户历史行为、商品属性以及上下文环境，预测用户可能感兴趣的商品。典型的推荐系统架构包含数据层、特征层、模型层和展示层四个核心模块，而数据清洗和特征工程正是支撑整个系统的基础环节。

在实际电商环境中，原始数据往往存在各种问题：用户行为日志可能包含爬虫流量，商品类目体系可能不一致，用户画像字段可能存在缺失。我曾参与过一个日活百万级的跨境电商平台推荐系统重构，最初直接使用原始数据训练模型，CTR（点击通过率）只有1.2%。经过系统的数据清洗和特征优化后，效果提升到3.7%，这充分说明了数据质量的重要性。

关键经验：数据清洗不是一次性工作，需要建立持续监控机制。我们团队每周会分析特征分布变化，当数值型特征的KS检验p值<0.05时，就会触发数据质量告警。

2. 电商数据清洗实战：从原始日志到可用数据

2.1 用户行为日志清洗

电商平台的用户行为数据通常包括点击、加购、下单、支付等事件，这些数据以JSON格式存储在日志服务器。使用Python处理时，我推荐采用pandas的json_normalize方法进行扁平化处理：

python复制import pandas as pd
from pandas import json_normalize

raw_logs = [...]  # 从日志服务器获取的原始数据
df = json_normalize(raw_logs, 
                   meta=['user_id', 'timestamp'],
                   record_path=['behavior_list'])

常见的数据问题及处理方法：

1. 无效会话识别：会话时长<3秒的点击很可能是误触或爬虫行为。我们通过计算session内事件时间差来过滤：

   python复制df['time_diff'] = df.groupby('session_id')['timestamp'].diff()
   valid_sessions = df.groupby('session_id').filter(lambda x: x['time_diff'].sum()