哈密顿蒙特卡洛与大都市调整的创新结合

1. 项目概述：当哈密顿蒙特卡洛遇上大都市调整

在贝叶斯统计和机器学习领域，采样算法一直是核心工具之一。2025年NIPS会议上提出的"Metropolis Adjusted Microcanonical Hamiltonian Monte Carlo"(MAMHMC)方法，本质上是对传统哈密顿蒙特卡洛(HMC)的一次创新性改造。这个方法巧妙地将微观正则系综的物理概念与大都市准则的接受-拒绝机制相结合，形成了一种新型的马尔可夫链蒙特卡洛(MCMC)采样器。

我最初在复现这篇论文时发现，该方法在保持HMC对高维参数空间高效探索能力的同时，通过引入微观正则系综的约束条件，显著减少了能量漂移问题。而大都市调整步骤则确保了详细的平衡条件得到满足，这在处理复杂后验分布时尤为重要。

2. 核心算法原理拆解

2.1 微观正则系综的数学表述

微观正则系综源自统计物理，描述的是具有固定能量、体积和粒子数的孤立系统。在MAMHMC中，我们将目标分布π(q)与动能项K(p)构成的哈密顿系统视为这样的孤立系统：

H(q,p) = -logπ(q) + K(p) = E (常数)

这个等式约束直接导致了采样轨迹被限制在相空间的特定能量壳层上。与传统HMC不同，这里我们不需要调节步长参数来维持接受率，因为系统能量理论上应该严格守恒。

2.2 修正的蛙跳积分器设计

为了实现微观正则条件下的数值积分，论文提出了一种改进的蛙跳(leapfrog)积分方案：

1. 动量半步更新：
   p ← p - (ε/2)∇qH(q,p)

2. 位置全步更新：
   q ← q + εM⁻¹p

3. 动量重投影：
   p ← √(2[E+logπ(q)] - pᵀM⁻¹p) * (p/||p||)

这个重投影步骤确保了能量严格守恒，但也带来了数值稳定性方面的挑战。在实际实现中，我建议加入一个小的正则化项防止分母为零。

2.3 大都市调整的必要性

尽管微观正则条件理论上应保证细致平衡，但数值误差的积累仍可能导致偏差。因此，论文保留了传统的大都市接受步骤：

接受概率 α = min(1, exp(H(q,p) - H(q',p')))

但有趣的是，由于能量守恒设计，这个比值通常非常接近1，这使得接受率显著高于标准HMC。在我的测试中，对于50维