不用求导也能找最优解？手把手教你用Python实现Nelder-Mead单纯形法

在机器学习和优化问题中，我们常常需要寻找函数的最小值或最大值。传统方法如梯度下降法需要计算导数，但当目标函数不可导、导数计算成本高或是黑盒函数时，这些方法就束手无策了。这时，Nelder-Mead单纯形法这种无需导数的优化算法就显示出其独特价值。

1. Nelder-Mead算法核心原理

Nelder-Mead算法是一种启发式搜索方法，通过不断调整"单纯形"（在n维空间中的n+1个点构成的几何形状）来逼近最优解。它的核心优势在于：

• 无需计算梯度：仅依赖函数值比较
• 适应性强：适用于不可导、不连续甚至噪声函数
• 计算高效：特别适合计算成本高的目标函数

算法通过四种基本操作不断更新单纯形：

1. 反射(Reflection)：将最差点通过形心反射到另一侧
2. 扩展(Expansion)：如果反射方向表现良好，则进一步延伸
3. 收缩(Contraction)：当反射效果不佳时，向形心收缩
4. 缩减(Shrink)：当其他操作都失败时，整体向最佳点收缩

注意：Nelder-Mead不能保证找到全局最优解，但在许多实际问题中能提供足够好的近似解。

2. Python实现基础版本

让我们从零开始实现一个基础版的Nelder-Mead算法。首先定义算法参数：

python复制DEFAULT_PARAMS = {
    'alpha': 1.0,   # 反射系数
    'beta': 0.5,    # 收缩系数
    'gamma': 2.0,   # 扩展系数
    'delta': 0.5,   # 缩减系数
    'max_iter': 1000,  # 最大迭代次数
    'tol': 1e-6     # 收敛容差
}

核心算法实现如下：

python复制import numpy as np

def nelder_mead(func, x0, params=None):
    params = params or DEFAULT_PARAMS
    alpha, beta, gamma, delta = params['alpha'], params['beta'], params['gamma'], params['delta']
    max_iter, tol = params['max_iter'], params['tol']
    
    n = len(x0)
    simplex = _initialize_simplex(x0, n)
    f_values = np.array([func(x) for x in simplex])
    
    for iteration in range(max_iter):
        # 排序单纯形顶点（从最佳到最差）
        order = np.argsort(f_values)
        simplex = simplex[order]
        f_values = f_values[order]
        
        # 计算形心（排除最差点）
        centroid = np.mean(simplex[:-1], axis=0)
        
        # 反射操作