接到新节点验收任务的第一天,我登上去第一件事就是查MPI环境,结果干干净净,连个mpirun都没有。这批机器要在一周内跑出基准数据,用户点名要HPCG的成绩。HPCG不是普通跑分工具,它测的是真实应用里最常见的稀疏迭代求解模式,比HPL那种密集矩阵更能反映实际负载特征。但前提是得先把MPICH配好,再把HPCG编译通过、跨节点跑起来。这一套流程看着简单,实际每一步都有坑:版本选不对、configure选项填错、ssh免密没配齐、Makefile模板选错,甚至hpcg.dat里一行数字写错都能让整个测试白等一小时。
这篇文章就是完整的实操记录。我会把从MPICH源码编译到HPCG最终跑出分数的全过程走一遍,说明每个关键选择的理由,并把容易翻车的地方单独列出来。不管你是临时接手集群的运维,还是刚学MPI想给自己搭环境的学生,照着这份记录走一遍,基本能绕开我踩过的那几个大坑。
1. 为什么选 MPICH + HPCG 这个组合
1.1 MPICH 在 MPI 实现里的定位
MPI 的主流实现就这么几个:MPICH、OpenMPI、Intel MPI、MVAPICH。我这次选 MPICH,不是因为 OpenMPI 不好,而是因为 MPICH 的兼容性和部署形态更适合裸机验收场景。
MPICH 是整个 MPI 生态里最传统的实现,Fortran 和 C 绑定支持非常稳,很多科学计算软件在configure阶段会优先探测mpich,尤其是那些老牌的分子动力学、气象模式代码。OpenMPI 同样优秀,但它默认的进程管理器和运行参数更多,出了问题排查链路反而长。Intel MPI 性能确实好,但绑定 Intel 编译器生态,对 GCC 用户不够友好。MVAPICH 则是 MPICH 的 InfiniBand 优化分支,适合专用高性能网络,普通千兆环境用不上。
MPICH 还有一个好处是构建过程透明。你自己指定 prefix,自己选编译选项,装完之后的库路径、头文件路径全在掌握之中。这对后续排查 MPI 程序"链接了错误的库"这类问题非常有帮助。
1.2 HPCG 测的不是理论峰值,是真实手感
HPL 测的是稠密矩阵 LU 分解,这种操作计算密度极高,内存访问很规整,所以能把 CPU 的浮点单元压得很满,跑出来的分数能够接近理论峰值。HPCG 完全不同。它求解的稀疏线性方程组来自 27 点差分模板,每一步迭代都要做稀疏矩阵乘、预条件子操作和多次全局归约。这些操作的访存模式极其散乱,而且频繁的全局通信让 MPI 环境的好坏直接暴露出来。
打个比方:HPL 像是测一辆跑车在笔直赛道上的极速,HPCG 则是测它在闹市区走走停停的真实通勤速度。绝大多数科学计算应用恰恰是后一种模式,所以 HPCG 的分数非常贴近实际应用体感。
现在 Top500 排名也要求同时提供 HPL 和 HPCG 两套成绩,就是因为 HPL 太容易"刷"到理论峰值,而 HPCG 想刷上去难得多。
1.3 用 HPCG 做环境验收的几个理由
这次验收的任务不只是跑个分,还要验证整个 MPI 环境是否健康。HPCG 是个天然的测试集:
- 编译快,一个 xhpcg 可执行文件几分钟就出来,不依赖庞大的第三方库。
- 对 MPI 部署的完整性极其敏感。任何一个节点 ssh 不通、任何一台机器的 MPICH 库路径不对、任何一条网络链路异常,跑分要么直接失败,要么断崖式下跌。
- 规模弹性大。单节点可以跑 64^3 的小规模验证,多节点可以跑 512^3 以上的大规模测试,能覆盖从功能验证到性能压测的全过程。
后面几章就按这个思路展开。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. MPICH 源码编译:别在版本和配置选项上翻车
2.1 装之前先把家底盘清楚
编译 MPICH 之前,我习惯先把机器的软硬件情况摸一遍。原因很简单:CPU 核数决定后续 hostfile 里 slots 怎么写,内存大小决定 HPCG 能跑多大的题,编译器版本决定 MPICH 能启用哪些优化。
bash复制cat /etc/os-release
uname -r
lscpu | grep -E "Socket|Core|Thread|CPU\(s\)"
gcc --version
free -h
这套命令在每台参与计算的节点上都要执行一遍。别偷懒只查管理节点,我曾遇到过登录节点是 16 核,计算节点是 64 核的情况,按登录节点核数写 hostfile,跑起来直接有一半计算核心闲置。还有一次发现某节点 GCC 版本还是 4.8,编译 MPICH 时会因为 C++ 标准支持不足而失败。
编译器版本如果太老
