慕北颖每年2月美赛开赛前，总会有同学来问我同一个问题：“D题到底怎么准备？感觉它既不像A题那样有明确的物理模型，又不像C题那样有现成的套路。”这个问题我特别能理解——美赛六道题里，D题是最容易让人“看着都会，下手全懵”的一道。作为ICM的数据挖掘题，D题通常数据量大、背景开放、问题切近现实，评奖时又最看重“用数据讲清楚一个完整故事”的能力。这篇文章我就把带队伍打D题的完整思路拆开讲：从赛前工具准备、拿到题后的破题流程，到数据清洗和特征工程的具体做法、模型选型的逻辑、代码和论文如何配合，全部基于我多年带队实践和个人参赛复盘的经验。不管你是第一次参加、还是想冲O奖的老手，这篇都能帮你把D题的备战路径理顺。
1. 先搞清楚D题到底在考什么——数据挖掘题的定位与破题逻辑
网上一直有个说法：“D题是六道题里最好拿奖的，因为代码要求不高，关键是讲故事。”这句话前半句对，后半句错得离谱。D题作为ICM赛题，全称是“Data Mining（数据挖掘）”方向，它的核心不是让你把数据集丢进某个现成模型里跑一个分数出来，而是考察三个层次的能力：从真实数据中发现规律的洞察力、把规律转化为模型的抽象能力、把模型结果翻译成决策建议的表达能力。
回顾近几年的D题，题目背景基本都集中在网络分析、资源分配、系统优化这几个方向上。比如以交通网络、物流网络、生态网络为背景的题目屡见不鲜，题目通常会给你一个包含多个节点和边的数据集，再附带一些属性数据，然后让你回答一串递进式的问题：数据的核心特征什么？影响结果的关键因素是什么？如果改变某些条件会怎样？应该采取什么策略？
这就是D题和其他题最不一样的地方：它不要求单一的“标准答案”，而是要求一套自洽的逻辑链。你的每一种算法选择、每一个参数设定，最终都要回答“这对我最后的决策建议有什么意义”。很多队伍在D题上翻车，不是不会跑模型，而是跑完一堆模型之后，不知道该怎么把结果串成一个有说服力的叙事。所以，备战D题的第一步，不是多学几个模型，而是先建立“从数据到决策”的完整思维框架。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 赛前72小时准备清单——工具链、团队分工与模板预装
很多人以为美赛拼的是比赛那几天，其实真正决定成绩的，往往是赛前那几天谁能把环境准备好、把流程理顺。别的题可以临时抱佛脚，D题一旦开赛，你光是处理完题目给的数据集就要花掉大半天，再回头装环境、调字体、配置库，心态直接崩。这里给出一份我验证过多次的赛前准备清单，建议至少在正式开赛前一周全部准备到位。
2.1 工具链：开发环境与核心Python库
D题主战场是Python，这一点没什么争议。我的建议是直接用Anaconda管理环境，Python版本选择3.9或3.10，太新的版本偶尔会有个别库兼容性问题，没必要在比赛时跟自己过不去。核心库清单如下，逐个说下用途和坑：
- pandas + numpy：数据处理的基本盘，谁都会用，但D题的数据量经常会到几十万行甚至百万行级别，所以读取数据时建议带上
dtype参数指定列类型，能节省大量内存。 - scikit-learn：常规模型都在这里，但要注意它对类别特征的支持一般，做特征工程时最好先把类别变量处理好再喂进模型。
- xgboost / lightgbm：D题的表格类数据，树模型往往是最稳的选择。LightGBM做大型数据集的速度优势很明显，但参数调起来比sklearn麻烦一点，建议赛前就固定好一套自己的常用参数模板。
- networkx：D题高频出现网络结构数据，计算度、介数中心性、最短路径这些指标，networkx是绕不开的。
- geopandas + folium：如果题目包含地理空间数据，这两个库能让你快速出地图可视化，视觉效果比matplotlib好太多，对论文的图表质量帮助极大。
- statsmodels：做时间序列、回归分析时用，输出结果比sklearn更完整，适合写进论文。
还有一个容易被忽视的环境问题：中文字体。matplotlib默认不支持中文，论文里一旦出现中文，图里的文字就全是方块。我的解决方案是在赛前一次性配置好全局中文字体，同时统一设置图片的dpi到300以上，这样后面论文排版时不需要二次截图。
2.2 团队分工：三人六手怎么打数据挖掘
D题的特殊性在于，它既有分析工作量，也有写作工作量，还有无休止的调优和调试工作。最好的分工不是“一个写作、一个建模、一个编程”这种各管一段，而是“角色交叉、一人多能”。我比较推荐的分工方式是这样的：队员A负责数据清洗和特征工程，同时承担前期所有探索性分析的代码任务；队员B负责模型选型、训练和对比，输出模型的参数、结果和可视化；队员C负责论文框架搭建、图表整理和文字撰写，但必须从第一天晚上就参与讨论，而不是等到第二天才开始动笔。
这个分工的关键是，论文主笔人必须从一开始就在场。很多队伍的后半段崩溃，都是因为写论文的人不知道中间的分析过程是什么、模型为什么选这个，结果只能对着代码和图表硬编故事，写出来的东西和实际内容对不上。让写论文的人从读题、讨论问题、看EDA结果的第一时间就参与进来，后面写论文时的效率和质量会高一个量级。
2.3 预装模板：论文框架和可视化样式一键复用
这里说的模板不是让你抄袭，而是把“所有队伍都要做的通用工作”提前做好。第一，论文排版模板，无论是LaTeX还是Word，提前把目录、页眉、页脚、公式编号、三线表格式全部设置好，开赛直接往里填内容。第二，数据处理模板，包括数据读取函数、缺失值报告函数、通用可视化函数（直方图、相关性热力图、折线图），统一设置字体、配色、图片尺寸。第三，就是上一节说的中文字体配置。这三样赛前花两个小时准备，比赛时能帮整个团队省下超过半天的时间。
3. 拿到题目后的“黄金4小时”——把开放问题翻译成可执行的建模任务
D题拿到手，你最需要克制的一件事是“立刻打开数据开始跑代码”。哪怕数据集已经躺在旁边，也应该先花一段时间跟题目对话。我认为开赛后的前4个小时是决定整场比赛走势的“黄金窗口”，这4个小时的任务不是写代码，而是把抽象问题彻底拆透。
3.1 独立读题与三人口径对齐
我的标准做法是：三个人先各自独立花30到40分钟，把题目从头到尾读一遍，不看队友的，然后各自用200字以内写出这道题“要我干什么”。这一步听起来简单，但不同人读题后的理解往往差异巨大——有人盯着数据表里的几十个字段不知所措，有人只盯着最后的“Policy”部分想直接编故事。
写完以后再对照，重点找出三个人的理解分歧：题目到底要预测一个数值，还是要给出一套方案？是让我们描述现状，还是让我们做策略优化？题目给的每个子问题之间是什么关系？把这些问题讨论清楚，比提前跑任何一个模型都重要。这一个小时对后续三天的方向能起到决定性作用。
3.2 问题拆解：从“题面”到“模型需求”
统一口径后，我的习惯是把大问题拆成三层：数据层、模型层、决策层。数据层问的是“题目给了哪些数据、数据之间是什么关系、还有哪些关键信息没有给”；模型层问的是“对这个问题，主模型应该是什么类型——是分类、回归、聚类还是网络分析，有没有辅助模型需要跑”；决策层问的是“最后一个子问题需要我输出什么——是一套政策建议、一个资源分配方案还是一份排名”。
以一个典型的“网络优化”类D题为例，拆完以后大概是这样的：数据层是城市或节点属性表加上节点间的连接关系；模型层是用社区发现算法或中心性分析找到关键节点，再结合分类或回归模型预测某些指标；决策层是输出一份“哪些节点最值得优先投入资源”的报告。这个框架一旦清晰，后面所有工作就都有了挂靠点。
3.3 数据集的第一印象：快速EDA必须做完
第4个小时，我的建议是三个人一起做一次快速的探索性数据分析。这个EDA不是为了出最终图表，而是为了回答几个关键问题：数据规模有多大、有没有明显的缺失值和异常值、各个字段的类型和分布是什么样的、时间跨度有多长。用df.info()和df.describe()先跑一遍，再画几个快速的可视化图，比如目标变量的直方图、关键特征和目标的散点图。
这一步的意义是让你对数据建立“体感”。很多时候你看完题面觉得它想让你做一个复杂的图神经网络，结果打开数据发现就是一张几千行的表格，甚至还有大量缺失值，这时候及时调整建模思路比硬着头皮上高级算法重要得多。
4. 数据处理实操：从清洗到特征工程的完整链路
数据挖掘题，数据本身占了一半的分。评委看论文时一定会在意你对数据的处理是否规范、是否严谨。这部分我按“清洗—探索—特征工程”三步走，每一步都说说实际执行时容易踩的坑。
4.1 数据清洗：缺失值、异常值和字段类型
D题的原始数据集通常不会非常干净，常见的坑有：用“-999”或“NA”表示缺失值、时间字段是字符串格式、分类字段里同一含义有不同写法。第一步先把这些“脏东西”找出来并统一处理。对于缺失值，我的经验是不要一上来就填均值，先看一下缺失率，如果单个字段的缺失率超过30%，这个字段基本可以考虑放弃或用“是否缺失”作为新特征；如果缺失率不高，再根据业务含义决定用均值、中位数还是前后值填充。
异常值的处理要更谨慎。很多同学拿到数据会用Z-score或者IQR直接砍掉那些离群点，但在数据挖掘题里，离群点本身可能就是重要的业务信号。判断异常值前先问自己：这个值是数据录入错误，还是业务上的少数情况？比如分析网络中的节点流量，那些流量特别高的节点往往是关键节点，属于重要发现而不是噪声。处理异常值的正确姿势是：先标记、再观察、最后决定去留，不要一键删除。
4.2 探索性分析：先搞清楚数据长什么样
EDA阶段，我建议至少产出这样几类分析结果：单变量的分布情况（偏度、长尾、是否存在多峰）、目标变量和每个特征的相关性矩阵、类别特征的频数分布、时间特征的趋势线和季节性分解。这些结果既是你后续特征工程和模型选型的依据，也是论文“数据探索”部分的素材来源。
值得强调的是，EDA部分的图表质量往往决定了评委对这篇论文的第一印象。宁可少跑一个模型，也要把这几张图画到最好：统一用一套配色，坐标轴标签清晰，标题里直接写清楚这张图要表达什么结论。比如一张“2020-2024年日均流量与事件发生次数的双轴折线图”，直接把趋势写在图注里，比评委自己体会要有效得多。
4.3 特征工程：数据挖掘题的决定性环节
在D题中，特征工程往往比模型选择更能拉开差距。很多队伍直接拿原始字段跑模型，结果只能得到平庸的基线水平；好的队伍能从同一个数据集中构造出大量有业务含义的新特征，把模型的表现拉上去一大截。
举几个常见的特征构造方向：
- 网络特征：如果题目给了节点和边，不要只用一个邻接矩阵喂模型。考虑计算每个节点的度、加权度、介数中心性、接近中心性、聚类系数、PageRank值，这些指标能把网络结构的信息压缩成特征，配合后续模型使用。
- 时间特征：如果数据带时间戳，可以提取年、月、日、星期几、是否为节假日等特征；还可以构造滞后特征（lag）、滑动窗口均值/标准差，捕捉趋势和周期性。
- 聚合特征：如果数据有自然的分组字段（比如地区、机构、类别），可以计算组内均值、组内最大值、组内数量等聚合特征，这类特征在预测类问题中非常有效。
- 交互特征：把两个相关性较高的特征相乘或相除，有时能捕捉到单独特征表达不了的关系，但需要注意别构造出太多冗余特征导致模型过拟合。
特征工程做完以后，最容易被忽略的一步是标准化和编码。树模型对量纲不敏感，但如果你要用线性模型、KNN、SVM或者神经网络，就必须对数值型特征做标准化或归一化；类别特征则要做标签编码或独热编码。这部分处理不好，后续模型跑出来的结果会完全失真。
5. 模型选型与算法实现——别一上来就上“高级货”
关于模型，我见过太多队伍犯同一个错误：一看是数据挖掘题，上来就整深度学习、图神经网络，结果数据量根本不够喂饱模型，训练时间长到比赛结束还没跑完，最后只能硬编一个结果交上去。D题首先要求的是“稳”——在有限时间内拿到一个可靠、可解释、可复现的结果，再在这个基础上做优化。
5.1 先定基线，再定主模型
拿到处理好的数据后，我的建议是先跑一个简单的基线模型，通常用线性回归、逻辑回归或决策树。这个基线的目的不是拿高分，而是确立一个“锚点”：后续所有复杂模型的效果都要跟它对比，如果复杂模型提升不大，那就不如保留简单可靠的结果。
基线跑通之后，再结合问题的类型确定主模型。D题里最常出现的几类问题及对应模型选择，可以参考这个经验表：
| 问题类型 | 常见场景 | 推荐模型 | 备注 |
|---|---|---|---|
| 数值预测 | 流量预测、数量估计 | 随机森林、XGBoost、LightGBM | 树模型可解释性好，优先推荐 |
| 分类判别 | 节点分类、风险判断 | LightGBM、逻辑回归 | 逻辑回归可解释性最强，适合论文解释 |
| 网络分析 | 社区发现、关键节点识别 | Label Propagation、Louvain、PageRank | networkx一行调用，适合快速出图 |
| 排序问题 | 优先投入顺序 | Ranker、分数加权 | 可用多指标加权打分代替复杂排序模型 |
| 优化问题 | 资源配置、路径规划 | 贪心 + 模拟退火或遗传算法 | 重点是目标函数设计，代码反而是次要的 |
我的核心建议是：多数情况下，XGBoost或LightGBM的树模型是你的安全牌。它们不需要做特别复杂的特征缩放，对噪声和缺失值有很强的容忍度，训练速度快，而且能输出特征重要性——这个特性对论文“解释驱动因素”那部分帮助极大。
5.2 模型训练：小步快跑，避开调参黑洞
调参是D题最容易透支时间的地方。我的原则是：网格搜索最多做一遍，而且只在最有希望的模型上做。常用的参数空间其实很小，比如LightGBM就关注num_leaves、learning_rate、max_depth这几个参数；XGBoost再看n_estimators、subsample。用GridSearchCV或Optuna跑一遍，选效果最好的参数组合，然后立刻锁定，不要再反复试探。
模型评估指标也要提前确定。回归问题用RMSE或MAE，分类问题用F1-score或AUC，网络问题看模块度或覆盖度。这些指标的选择要和题目目标对应，然后在论文里明确写出来。比如题目关心“预测精度”，你就不能只报告一个R²了事，要看RMSE和MAE；题目关心“对少数类别的识别能力”，那就得看F1而不是准确率。
5.3 模型解释：论文里的“为什么”比“是什么”更重要
D题论文的评委不是来验收模型的，他们是来阅读一个“数据分析故事”的。所以，你选的模型必须能让你的故事讲得通。一个黑盒深度学习模型跑出一个很高的精度，但你在论文里解释不了“为什么这个因素重要”，这对最终成绩的贡献非常有限；而一个XGBoost模型输出的特征重要性排序，配合SHAP值，可以让你清楚地描述“哪个变量对结果影响最大、影响方向是什么、为什么合理”。
具体做法上，训练完模型后，至少做两件事：第一，输出特征重要性图，排序后结合实际业务含义逐一说明；第二，选择SHAP值解释关键特征的边际影响，绘制SHAP summary plot。这两张图放进论文里，既有技术含量又非常好讲，是数据挖掘题目拿分的利器。
5.4 一个可复用的训练流程示例
下面给出一段轻量级的代码骨架，可以直接参考着写。它完成的是“读数据→数据划分→模型训练→指标输出→特征重要性保存”的完整流程，你可以根据实际情况调整模型和参数。
python复制import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.ensemble import RandomForestRegressor
from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score
import matplotlib.pyplot as plt
# 1. 读取数据
df = pd.read_csv("data.csv", encoding="utf-8", dtype={"target": np.float64})
# 2. 基础清洗：填充缺失值（用中位数，简单稳妥）
for col in df.columns:
if df[col].dtype in ["int64", "float64"]:
df[col] = df[col].fillna(df[col].median())
# 3. 划分特征和目标
X = df.drop(columns=["target"])
y = df["target"]
# 4. 训练集/测试集划分
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.2, random_state=42
)
# 5. 模型训练
model = RandomForestRegressor(n_estimators=300, max_depth=10, random_state=42)
model.fit(X_train, y_train)
# 6. 预测与评估
y_pred = model.predict(X_test)
mse = mean_squared_error(y_test, y_pred)
rmse = np.sqrt(mse)
mae = mean_absolute_error(y_test, y_pred)
r2 = r2_score(y_test, y_pred)
print(f"RMSE: {rmse:.4f}, MAE: {mae:.4f}, R2: {r2:.4f}")
# 7. 特征重要性输出
importance = pd.Series(model.feature_importances_, index=X.columns).sort_values(ascending=False)
importance.plot(kind="barh", figsize=(10, 8))
plt.tight_layout()
plt.savefig("feature_importance.png", dpi=300)
这段代码思路简单，但已经是比赛中最省事、最可靠的一条链路了。真上了自己队伍的数据，你要做的无非就是把第三步到第七步的细节扩展开，把EDA的图补上，把调参的过程记录清楚，然后就能支撑起论文的“方法”和“结果”两个核心章节。
6. 代码组织与论文配合——避免“代码一套、论文另一套”
最后这个部分是很多队伍容易忽略的，我会说直白一点：代码和论文脱节，是数据挖掘题的大忌。写论文的人如果看不懂代码里的每个处理过程，那写出来的论文很可能通篇都是“我们使用了先进的模型，取得了良好的效果”之类的空话。评委一眼就能看出来你到底是真的做了分析，还是在套模板。
6.1 代码模块化的最低标准
比赛三天，代码会越写越多，如果不从一开始就做好规划，到第二天晚上连自己都会看不懂自己写的代码。我建议按功能划分成几个文件或Notebook：
01_data_cleaning.py：负责原始数据读取、清洗、合并、导出清洗后的数据。02_eda.py：负责探索性分析，输出所有可视化图表并保存到images文件夹。03_feature_engineering.py：负责特征构造，输出新的特征矩阵。04_model_training.py：负责模型训练、评估、特征重要性输出。05_visualization.py：负责最终论文要使用的核心图表。
每一个文件的输出都统一命名、统一格式，比如处理后的数据都存成processed_data.csv，所有图表统一存成png格式、300dpi。这样做的好处是，论文主笔人不需要读全部代码，只需要把每个文件输出的结果按顺序组装起来，就能非常高效地完成论文主体。
6.2 图表和表格：论文的门面，至少要花三成时间打磨
论文最终要交付的是一篇报告，而不是一份代码。评委看的是图、表和有限的文字。我给的建议是，论文里的所有可视化图表，尽量不做二次截图。绘图时直接把你认为可以放进论文的图设好尺寸、字重、配色，一次性导出高清版。
这里说几个具体的图表规范：折线图和散点图的坐标轴需标注有效数字到两位以上；热力图的色条和数值标签保证清晰可读；柱状图的每个柱子尽量标注具体数值。表用三线表格式，列名简短明确，表头加粗，行数为少而精，不要大段贴原始数据。摘要页、分析页、收尾页里的图不要重复使用，同一个图表反复出现会让评委觉得内容水分很大。
6.3 论文写作从第一天晚上开始，不要拖到最后一天
我的团队习惯是：开赛第一天晚上，哪怕数据分析还没做完，论文的框架就必须先搭出来。第一天晚上写好引言和数据描述；第二天白天出方法部分初稿，晚上根据当天跑出的结果更新结果部分；第三天上午集中做讨论与决策建议，下午做摘要和最终校对。这样安排，最后一天还有缓冲时间去修图、调格式、补测试，而不是手忙脚乱地边跑模型边写论文。
还有一个小技巧：论文里的每张图表，都由画这张图的人负责配上5句以内的图注和解读，不要等写论文的人自己去发挥。让最了解数据的人写图的说明，能最大程度保证图表信息和论文文字的一致性，减少后期返工。
我在带队和参赛过程中最大的体会就是，D题是一个典型的“三分建模、七分工程”的题目。所谓的工程，就是从数据处理、特征构造、模型对比到论文图表这一整套流程的熟练度和规范性。熟练度靠赛前模拟，规范性靠团队纪律。只要在正式开赛前把工具环境、团队分工、模板框架都准备好，拿到题后按照“先读题拆题、再处理数据、然后建模解释、最后论文配合”的顺序一步步推进，D题拿一个不错的奖级是完全可复现的结果。最后再分享一个我在赛前模拟中反复验证过的经验：无论准备得再充分，比赛过程中一定会遇到意想不到的状况。前一天晚上备份好环境、把当天进度同步到共享文档，第二天早上先花15分钟把所有人的改动对齐，能帮你避开绝大多数不必要的混乱。带着这套准备去参赛，你就能把精力真正放在“解决问题”本身，而不是被流程拖着走。