很多人一提到“用机器学习提升商业表现”,第一反应就是去翻算法、调参、上深度模型。我干了十来年数据相关的工作,踩过的坑不算少,一个特别反直觉的经验是:大量失败的项目不是死在模型精度上,而是死在业务提问本身就问错了。你以为你在解决“预测客户流失”,实际上你真正要解决的是“运营该对哪一批人采取什么样的行动”;你以为你在做“销量预测”,本质却是“备多少货才能让资金占用和断货损失之间的总成本最低”。这俩之间的差距,就是技术Demo和商业价值之间的距离。
这篇东西不是算法科普,也不打算给你从头推导损失函数。我尽量按一个商业项目从立项到落地再到迭代的真实顺序,把怎么把业务问题翻译成机器学习问题、怎么选模型、怎么看效果、怎么把模型结果变成业务动作这些环节讲透。适合手里拿着业务指标、想用机器学习但又不太确定从哪下手的读者,也适合刚转行做数据科学、想搞明白“商业落地”和“Kaggle竞赛”到底差在哪的朋友。
1. 先别急着建模:把业务问题翻译成机器学习问题
很多团队启动机器学习项目的姿态,是手里抓着一堆数据,然后很兴奋地说“咱们上机器学习”。但机器学习从来不是一个可以凭空立项的需求,它必须先回答一个问题:你要优化什么业务指标,并且这个指标能不能被结构化成一个可计算的目标函数。
1.1 从业务目标反推技术目标,而不是反过来
我见过最普遍的错误,是把技术目标直接当成业务目标。比如,业务方说“我们要做客户流失预警”,技术团队就开始训练分类模型,目标定为“提高AUC”。但你把模型做出来了,然后呢?算法告诉你一万个客户里有三百个高危流失客户,业务侧要怎么使用这个名单?是给所有人都发优惠券,还是挑最有可能被优惠券挽回的那批人?
正确的做法是反着推。业务方真正关心的通常是这几个方向:提高复购率、降低流失率、提升客单价、优化库存周转、减少欺诈损失。拿“降低流失率”来说,技术侧需要进一步追问:
- 你定义的“流失”是什么?是连续九十天没有下单,还是取消了订阅?
- 你希望模型在哪个时间窗口上做预测?提前一周预警,还是提前一个月?
- 对于预测出来的流失客户,你能采取什么干预动作?这个动作的边际成本是多少?
只有这些问题定下来了,你才能定义出清晰的监督信号(label),才知道该用分类模型还是排序模型,也才能把“模型准确率”翻译成“给业务带来多少挽回收入”。我在实际项目中,光是帮业务方把“流失”的定义从“连续三个月没复购”改成“原本复购周期是三十天、但超过了两个周期还没动静”,模型给业务带来的有效线索量就翻了将近一倍——不是模型变聪明了,是问题定义从模糊变精准了。
1.2 判断一个问题适不适合用机器学习来解决
不是所有问题都适合上机器学习。判断标准很简单:如果这件事能靠几条写死的规则说清楚,就不需要用模型。比如“用户单笔金额大于两千元且一周内退货两次就标记为异常”,这种规则清晰、边界明确,用SQL就能做。
适合机器学习的问题通常有三个特征。第一是模式复杂到人无法手动编码规则,比如判断一张图片里的商品是什么、判断一段客服文本里的用户情绪。第二是数据量足够大且存在历史规律,比如销量预测、流量预测,否则模型学不到稳定的模式。第三是错误成本可控,模型一定会出错,你要判断这个错误是“推荐了用户不感兴趣的商品”这种低成本的错,还是“把癌症病人漏诊成健康”这种不可接受的错。如果是后者,纯机器学习方案就需要非常谨慎,通常要加人工兜底。
用这个筛子过一遍,你会发现很多“我们要用AI赋能业务”的口号,筛完之后剩下的真实需求可能只有原来的三成。但剩下的这三成,每一个都是真正能产生业务增量的点。
1.3 项目立项需要明确的四个要素
我自己的习惯是,在动手写第一行代码之前,必须和业务方把下面的表格填完。这张表不填完,绝不开工。它逼着双方把预期对齐,避免干了两三个月发现做出来的东西根本不是对方想要的。
| 要素 | 要回答的问题 | 字段示例 |
|---|---|---|
| 业务目标 | 项目要提升哪个指标? | 季度复购率、月度流失率、库存周转天数 |
| 决策动作 | 模型输出后谁会做什么? | 客服外呼、推送优惠券、调整补货计划 |
| 成功标准 | 做到什么程度算成了? | 流失召回率提升5%、预测误差降低10% |
| 资源约束 | 有什么限制条件? | 数据只有一年、需要实时预测、预算有限 |
这里面的第二项“决策动作”最容易被忽略,但它恰恰是很多项目失败的根源。模型输出一份流失客户名单,如果业务方没有一个标准的干预流程来承接这份名单,那再准确的模型也只是一份躺在邮箱里的Excel。你不能指望业务方收到一份名单就知道怎么做,而是要和他们提前设计好策略:名单上的客户分几档,每一档匹配什么力度的优惠或话术,发送渠道是什么,多久触达一次。模型输出加上策略承接,才能形成完整的业务闭环。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 盘点商业高频场景与模型任务的对应关系
把业务问题翻译成技术问题之后,下一个关键动作是搞清楚它属于机器学习里的哪一类任务。商业场景看着五花八门,但落到任务层面,其实就那么几类:回归预测、分类分群、异常检测、排序推荐。我在下面把常见场景和任务的对应关系铺开来,你可以拿着自己的业务场景去对号入座。
2.1 预测类场景:销量预测与机器寿命预测
预测类问题在商业里最普遍。它对应的技术任务是回归(regression),模型输出的是一个连续数值。
举两个被问烂但我还是要说的例子。第一个是销量预测。零售、电商、餐饮都在用,核心问题就是“未来一段时间会卖多少”。但很多人做不好,不是因为模型不行,而是他们把这个问题简化成了“只拿历史销量来预测未来销量”。真实业务里,销量背后有太多外部变量:促销活动、节假日、天气、竞品动作、甚至是社交媒体上的舆情。我见过一个做饮料的客户,某款产品销量出现异常波动,怎么建模都解释不了,后来发现是竞品在同一时间做了一场联名营销。这就是单变量模型的天花板。
第二个例子是机器寿命预测,这块在制造业和工业物联网里特别热。设备上装了传感器,采集到震动、温度、电流、压力这些时序数据,要做的事情是预测设备还能正常运行多久,什么时候该做维护。它的商业价值很直接:现在很多工厂还是“坏了再修”或者“定时保养”。坏了再修面临的是非计划停机,一条产线停一天损失可能几十万;定时保养又造成浪费,很多零件在健康状态下就被换掉了。预测性维护就是要在这两者之间取一个最优平衡点。
寿命预测的建模有一个需要注意的点:它的label构造比销量预测要复杂.你不会有一张现成的表告诉你每台设备在每一时刻的剩余寿命是多少,通常的做法是用“设备最后故障/停机的时间点”去反推历史样本的剩余寿命——某个样本如果距离故障时间还有三十天,那么这个样本的label就是30。
2.2 分类预测场景:客户流失与支付风控
分类问题的商业场景同样大量。客户流失预测,就是把客户划分成“会流失”和“不会流失”两类;反欺诈模型,就是把交易划分成“正常”和“可疑”。
拿客户流失来说,这类项目的关键是处理样本不平衡(imbalanced data)。在大多数业务里,真正流失的客户占比很低,可能只有5%,甚至不到1%。如果你直接拿原始数据训练模型,模型会学到一个很偷懒的策略:把所有客户都预测成“不会流失”,因为它只要这么做,准确率就已经有95%以上了。这是分类问题里的经典陷阱。
处理不平衡的手段有很多:对多数类样本做下采样、对少数类做上采样、调整损失函数里的类别权重。但我想给的建议是,这些都是在技术层面做文章,更重要的是你要知道你为“少数类”付出了多少代价。如果流失客户占比是3%,那么你的模型即使在一个月里只找到了100个真正会流失的客户,也已经是纯增量;关键还在于这些被找到的客户的召回率和准确率有没有商业意义。
二分类问题的模型输出其实是每个样本属于正类的概率(比如流失概率是0.8),而不是一个生硬的0或1。很多业务方不理解这一点,觉得模型必须给出一个明确的结论。实际上,概率或评分才是连接业务策略的接口:流失概率0.9的客户发大额券,0.6的发小额券,0.3的只做内容触达,这个策略比简单地把所有概率大于0.5的客户一刀切要高效得多。
2.3 推荐与搜索:从货架逻辑到个性化逻辑
推荐系统在商业里并不只是用来给用户推商品,它本质上做的是信息匹配效率的优化。一个用户的浏览、点击、下单行为,背后都反映着不同的偏好和意图。推荐系统做的,是学习这种偏好,然后把最合适的商品推到对应的用户面前。对应的技术任务是排序(ranking),模型不是简单判断“买还是不买”,而是要在一堆候选商品里排出用户最可能买的前N个。
对于大部分非互联网公司来说,自研一套推荐系统成本太高。我更推荐的落地方案是,用规则或轻量级模型先做第一版:比如按品类偏好过滤加上热销加权、协同过滤召回、再配合简单的逻辑回归排序。这一版别追求什么SOTA效果,它能让你跑通整个数据流和业务闭环,找到推荐位曝光、点击、加购的埋点逻辑,为后续升级打底。
这里有一个比较隐蔽的问题:模型上线一段时间后,推荐结果会变得非常集中。少数头部商品被反复推荐,长尾商品永远没有曝光机会,用户的兴趣边界会越来越窄。商业上这种问题叫“信息茧房”,技术上说叫探索-利用困境——是应该继续推荐用户喜欢的东西来保转化,还是拿一部分流量尝试新鲜内容来保留可能性?处理上一般会给排序分数加一个探索因子,拿一小部分流量做随机推荐,然后观察用户行为来更新偏好。
2.4 分群聚类场景:用户分层与精细化运营
很多人以为用户分群必须用无监督聚类(K-Means、DBSCAN这些),但拉到业务场景里你会发现,纯粹的聚类结果经常没法直接用。聚类是数据驱动的,它分出来的群可能没有任何商业含义,比如“周一到周三晚上登录的用户”,你很难为这个群设计什么单独的运营策略。
我在实际项目里更常用的做法,是"业务定义加机器学习辅助"两步走。业务方先根据他们的理解和经验定出几个大方向,比如按用户生命周期分:新客、成长期、成熟期、衰退期、流失期;或者按贡献价值分:高价值、中价值、低价值。然后技术人员再在每一类下面用聚类或分类模型找细分特征,比如同样是高价值用户,其中有一些是价格敏感型,有一些是新品偏好型,有一些是社交驱动型。先有人懂的分层框架,再用模型去丰富每一层的细节,模型结果才能真正落到运营动作上。
3. 一套可复制的机器学习落地工作流
聊完场景和任务,接下来是最核心的内容:从拿到数据到模型能稳定上线,这中间要经历哪些环节。我见过的很多项目就是在这条链路上某个环节出问题,导致整个工程前功尽弃。所以这部分我会讲得细一些,几乎可以当Checklist用。
3.1 数据采集与清洗:再好的模型也救不了垃圾数据
数据是机器学习的起点,但大多数公司手里的数据远没到可以喂给模型的程度。你需要花大量时间做的第一件事是搞清楚哪些数据能用、哪些不能用。
数据清洗实际做起来,重复的工作量远超想象。我的基本动作包括:处理缺失值(是用均值填充、中位数填充还是直接删除样本,取决于缺失机制)、处理异常值(比如用户年龄250岁肯定是数据错误,但用户单笔消费五万不一定是异常)、统一数据格式(日期字段格式不一致是最常见的坑)、去重(尤其是用户ID有多个来源时,到底用哪个ID作为唯一标识必须提前定好)。按我的经验,这部分在数据科学家的日常工作中占用一半以上时间都是正常的。这不是浪费,你的模型精度上限在数据清洗阶段就已经大致决定了。
对于时间序列数据,还有一个只属于它的严格约束:不能用未来信息预测过去。这句话听起来是废话,但实际踩坑的人很多。比如你要预测明天的销量,如果模型里的一个特征恰好是“明天是否有促销活动”,这就不算未来信息,因为促销计划是提前定好的;但如果是“明天实际成交金额”,那就是泄漏了,因为你在做预测的时候根本拿不到这个值。更隐蔽的泄漏是你不小心把客户当天的总消费金额包含进了特征,而这个总消费金额本身就包含了模型要预测的那个目标。这类时间穿越问题如果不仔细排查,训练集上的精度会好看得吓人,一上生产就原形毕露。
3.2 特征工程的业务洞察和陷阱
特征工程决定了模型学习的上限。这活儿没什么玄乎的,核心就一条:把业务经验翻译成模型能读懂的数值表达。
拿销量预测举例,如果只有历史销量一个字段,你该怎么做特征?我会考虑这些维度:
- 时间维度:星期几、是否月初/月末、是否节假日前一天
- 历史窗口统计:过去7天/14天/30天的销量均值、标准差、最大值
- 趋势与周期:用移动平均这种简单技术就可以做到的短期趋势指标,不需要一步就上复杂的时序分解
- 外部事件:是否参与促销(提前知道的)、活动力度等级
- 交叉特征:某品类最近30天销量和当前库存水平的交互
做特征时要格外警惕的是特征穿越,尤其是业务方导出的宽表,经常会有字段来自未来。判断方法就一条:你模拟"今天"这个时间点做预测时,每一个特征取值是不是在那个时间点已经真实可见了。
另一个坑是不要迷信特征越多越好。特征多了不但训练变慢,还容易让模型过拟合,更重要的是给特征解释造成困难。在实际项目里,我会刻意控制特征数量,用模型的特征重要性排序去做减法,把一堆无效特征过滤掉,让模型变轻快、更可控、也更容易排查问题。
3.3 模型选择与训练流程:从线性回归讲起
模型选择要分场景来看。
线性回归(Linear Regression)适合预测连续数值型变量,比如销量、客单价、产量。它是理解起来最简单又最有解释力的模型,可以给你输出每个特征对结果的影响方向和大小。对于很多商业场景,解释性和预测精度一样重要。你在向业务方解释“为什么模型会给出这个预测结果”时,线性回归天然有优势,alpha值和beta值往那儿一放一目了然。
逻辑回归(Logistic Regression)虽然名字里带回归,但它解决的是分类问题(比如客户是否会流失),通过Sigmoid函数把线性加权和映射到0和1之间的概率范围。逻辑回归的另一个重要优势是它能自然地输出概率值,这个是做业务策略分层的核心接口,也是很多高级算法不直接具备的特点。
树模型(决策树、随机森林、XGBoost、LightGBM)则是另一种主流选择。它的巨大优势在于能自动处理特征之间的非线性关系,并且对缺失值、异常值相对不太敏感,还可以给出特征重要性排序。XGBoost和LightGBM这类梯度提升树模型,在表格数据上至今还是很好的基线方案。它的缺点是解释性不如线性模型直观,同时在特征数量很多但样本量不足时容易过拟合。
具体项目怎么选,我给个不那么严谨但还算好用的经验法则:
| 任务 | 首选 | 备选 | 场景例子 |
|---|---|---|---|
| 数值预测 | 线性回归/树模型 | 时序模型 | 销量、库存、产量预测 |
| 二分类 | 逻辑回归 | XGBoost/LightGBM | 流失、欺诈、坏账预测 |
| 多分类 | 逻辑回归/Softmax | 树模型 | 用户意向分类、工单自动归类 |
| 排序推荐 | 逻辑回归/树模型 | 深度排序模型 | 商品推荐、内容推送 |
| 异常检测 | 孤立森林/规则 | 统计阈值 | 设备异常、流量作弊 |
训练流程上,不要一上来就上交叉验证,先用固定时间切分。把数据按时间顺序分成训练集和测试集,训练集用前70%-80%的时间段,测试集用最后20%-30%,这是单模型评测时的稳妥做法。等到需要调优模型参数时再引入时间序列交叉验证(TimeSeriesSplit)。如果你把时间顺序打乱来做随机切分,等于直接把未来信息泄漏给了模型,测试集上的指标不会反映真实水平。
3.4 模型评估:不只盯准确率
评估一个模型,最早就容易踩的坑是拿准确率衡量一切,在分类问题上特别明显。前面已经举过例子——在客户流失场景下,因为负样本(不流失的人)占比极高,模型全猜“不流失”也能有很高的准确率,但这个模型的商业价值是零。
分类问题的常用指标有这些:**AUC(ROC曲线下面积)**衡量模型把所有正样本排在负样本前面的能力,它不受分类阈值影响,适合评估模型的排序能力,但业务方很难直观理解。召回率回答“真正流失的人里,模型找到了多少”,精确率回答“模型标记为流失的人里,真的流失了多少”——两者是一对矛盾体,看业务更在意哪边就调哪边。客户召回场景里,如果外呼成本低而客户价值高,可以做适当倾向高召回;反过来如果运营资源有限,骚扰太多反而影响体验,就要保精确率。F1分值就是两者的调和平均,适合需要平衡的时候看,但它是没有业务含义的技术指标。
回归预测则看MAE(平均绝对误差)、RMSE(均方根误差)和MAPE(平均绝对百分比误差)。MAPE因为是相对误差,业务方最容易理解,但要注意当真实值接近零时它会爆表;RMSE放大了大误差的惩罚,如果你的业务不允许出现离谱的大偏差,用RMSE更有意义。我自己会把MAE和RMSE放一起看,如果两者差距明显,说明有一批样本的预测误差非常大,要排查是不是某些特殊事件没有被模型学到。
评估时还需要划定业务基准线。什么叫好模型?不是看一个脱离业务的绝对数字,而是要跟“现状怎么做”去比。如果你现在的库存计划是靠店长拍脑袋,那店长的平均误差就是一个重要的对比锚点——你的模型只要在这个问题上比店长或比一个简单规则靠谱,它就是有价值的。同样,流失模型可以和一个“把消费金额下降最多的5%客户标为流失风险”的简单规则比。一个朴素的模型如果跑不过这种规则,说明你还没有把真正有价值的信息喂给模型。
4. 从模型到商业动作:部署、度量与迭代闭环
模型在测试集上表现优异,这绝不等于商业价值已经到手。后面还隔着好长一段路:怎么把模型变成业务流程里的常规工具、怎么持续证明它有效、怎么应对业务变化带来的模型失效。这一节我会把它当成一个独立的项目阶段来拆。
4.1 离线上线前:先做的两件事是回测和影子模式
很多团队把模型从Jupyter Notebook挪到生产环境就直接上了,这在预测性业务上是大忌。上线之前,至少要做两轮验证。
第一轮是历史回测。用过去某个时间点之前的数据训练,然后用这个模型去预测那之后一段时间的业务结果,对比模型给出的预测和真实发生的结果。回测的时候要注意,一定要模拟真实的“决策延时”——比如你的模型在每月一号输出一份客户名单,那么你就把每个月的执行效果串起来看,做多个月份的联测,而不是把所有月份数据混在一起算一个总体准确率。只有这种一个一个完整月度下来,才知道业务在不同季节、不同促销压力下的期望表现大致是什么范围。
第二轮是影子模式,也叫旁路测试。在生产环境旁挂一个模型通道,把真实业务请求同时喂给线上老逻辑和新模型,但新模型的结果只记录不执行,攒一段时间的数据后对比两者的差异。举例来说,现在的库存补货计划还在用旧的阈值规则,你就在旁边同时跑一个机器学习模型,每天记录“模型建议补货量”和“规则补货量”以及之后的真实销量,对比一段时间后看模型是否稳定地更接近真实需求。这一段跑完,业务方和老板对模型心里就不慌了,上线后的阻力也会小很多。
4.2 技术方案差异不是成败关键,指标闭环才是
上线之后,你要持续地回答一个问题:这个模型到底给业务带来了什么?为了回答这个问题,在项目启动时就定好的业务成功指标就派上用场了。
一个比较扎实的做法是拉一组用户或一批商品做对照实验。比如流失召回模型,把预测出的目标客户随机分成两组:一组走原有运营策略,另一组走模型+新策略。跑一个月后对比两组的复购率差异、挽回收入差异。做这种对照实验要注意,业务方常常会出于“不让用户吃亏”的立场,把策略外溢到对照组。比如客服给模型组用户发券时,用户来咨询,顺手也给了对照组用户一张券,这就污染了整个对照组。所以在实验设计阶段就要和业务方说清楚:对照组不是“什么都不做”,而是“维持原有流程的状态”;你要评估的是“新流程相对旧流程的增量”,不是“做了和没做的差异”。
度量环节更大的坑,是把技术指标直接当业务结果汇报。模型AUC从0.78提高到0.82,这不能叫商业价值;能叫商业价值的是“在同样触达成本下,挽回的客户数量上升了18%,挽回收入增加了大概XX万元”。因此,从立项第一天起,就要把“模型精确率、召回率、AUC”和“复购率提升、库存周转天数下降、客服人工成本节省”这两类指标之间的传导关系钉死,让任何一个环节的人都能看出模型存在与不存在的差异。
4.3 模型监控:没有一劳永逸的模型
模型一旦上线,真正的维护工作才刚开始。很多模型的保质期短得出人意料,核心原因是数据分布(data drift)会漂移。用户行为会变,市场环境会变,你模型学到的规律是历史规律的凝固,一旦规律变了,模型精度就会下滑。
我自己至少会盯下面几张监控图,按月刷新:
- 核心特征分布图:比如用户月均消费额分布,如果形状在近几个月明显偏移,说明用户结构在变,模型可能需要重新训练
- 模型预测值的分布:预测结果如果整体向高分或低分迁移,也可能是业务环境变化
- 分群效果稳定性:各分数段或各客群样本占比是否有大幅波动
- 线上和线下的效果差异:如果线上效果比训练时的离线评估差很多,可能提示特征接入有问题或者数据漂移
再补一个工程上的细节:训练pipeline要和预测pipeline保持同一个逻辑。很多团队的训练代码和线上预测代码是各写一套,特征处理的差异会让模型上线效果打折扣。要用的做法是一个特征处理函数两处共用,二次校验线上线下特征取值范围和缺失率没有出入,这能省下后面排查数据不一致的大量精力。
另外一个高频决策是“多久重新训练一次”。最粗糙也最常见的做法是定时重训,比如每月一号把全部历史数据翻出来重新训练一次。更好的做法是加一个轻量的监控触发器:如果实时评估指标连续几天滑出可接受的阈值,就自动报警提示重新训练。还有一种折中叫增量训练,用新数据小幅更新现有模型的权重,不要每次都从零训练,特别是树模型在样本量比较大、重训耗时长的情况下并不需要频繁全量重来。各团队的机器资源不同,我的建议是,只要数据的分布和业务逻辑没有剧烈变化,月度重训频率大多数时候都是足够的;如果产品是强季节性或强事件驱动的,那你可以换用“滚动窗口训练”的方式,只保留最近几周的数据训练,靠旧规律还能用的权重方案一开始就别押宝。
5. 商业落地中的几个常见误区和我的建议
前面把完整链路捋了一遍。最后再挑几个影响面广、又容易反复栽跟头的误区集中说透——每一条都是我或者身边同行在不同公司用真金白银换来的经验。
5.1 迷信复杂模型,忽略简单模型在商业里的价值
在Kaggle比赛和论文里,模型越复杂、精度越高,越有价值。但在商业环境里,决定模型能否长期存活的因素,其实很复杂:除了业务方能否理解,还包括工程维护成本高不高,以及能否快速迭代。深度模型动辄需要GPU集群训练、监控活体数据、处理数据版本,这些对一个小型数据团队来说是负担,不是亮点。
我见过一个做传统零售的朋友,用线性回归做了一套单店销量预测,逻辑简单到业务方甚至能手工验算,但因为模型输出的每个预测值都能追溯到是哪个特征在起作用,业务方用起来心里踏实,所以这套系统在他们公司活了三年多,产生的实际价值超过了同期其他团队好几个复杂模型。
商业项目的语境和竞赛论文不同,精度领先一点点往往感知不到,业务自己能理解、用得住才是真的长期价值。当然,我不是说别用复杂模型,而是说先从简单模型开始,建立基线,等它证明价值后再考虑逐步迭代到复杂方案。这个顺序能让你每一步都走得稳。
5.2 特征泄漏与未经检验的排序偏差
特征泄漏是模型上线前后遇到的最隐蔽的问题。泄漏和预测性能高如同孪生兄弟,你越怀疑模型是不是“作弊”了,越要往这个方向查。常见泄漏有这么几种:
一是剔除了不该有的业务线。典型是用了未来时间点才产生的字段。比如你在预测客户月度流失时,把一个记录了“本月是否投诉”的字段放进去了——如果这个字段只有到月底结算时才会更新,那你在月初做预测时根本拿不到它的完整取值。
二是不小心用到了目标本身参与过的汇总特征。你想预测的值,在数据表里也许同时被别的维度加总过——比如你想预测每个店铺未来某个月的店均销量,但你不小心把整个公司总的月销量按店铺数平均成了一个特征,这个特征和你的预测目标有一半血缘关系,训练时会形成巨大的虚假相关。
排查泄漏没有捷径,靠的是特征溯源和数据血缘治理。每造一个特征都要能回答一个问题:这个特征在模拟预测的那个时间点,数据是否已经真实存在?如果回答不上来,就先去数据仓库把字段的血缘关系捋清楚再建模。上线后的前几周,还要拿模型预测值和真实结果做一次相对细致的对比,验证效果没有突然滑坡,因为有的泄漏只在测试集上被掩盖。
5.3 组织能力比模型更稀缺
最后说一个很多人不愿意面对的事实:在机器学习商业落地这件事上,技术往往是整个链条里最成熟、最不缺的一环。缺的是能把业务问题翻译成模型问题的人,是能把模型结果翻译成运营动作的人,是能维护特征和监控的人,也是能让业务方和技术团队在一个频道上对话的人。这些能力不是模型库里能调出来的包,而是在实际的脏活累活中攒出来的经验。如果一个团队能把新项目的“数据基础”和“流程规范”打扎实,哪怕算法暂时简单,创造商业价值的能力也已经赢过了大多数同类团队。
