从持续同调图到特征向量：Python实战五大矢量化方法

打开你的项目文件夹，是不是躺着几十个.json或.csv文件，里面保存着用GUDHI或Ripser生成的持续同调图（PD）？这些包含拓扑特征的"点云"就像未切割的钻石原石——价值连城却无法直接镶嵌。本文将带你用Python将这些抽象拓扑特征转化为机器学习模型能"消化"的特征向量，解决从理论到实践的最后一公里问题。

1. 环境准备与数据加载

1.1 工具链配置

在开始前，我们需要搭建一个高效的Python工作环境。推荐使用conda创建独立环境以避免依赖冲突：

bash复制conda create -n tda python=3.9
conda activate tda
pip install giotto-tda persim scikit-learn matplotlib numpy

对于需要处理大型数据集的用户，建议额外安装dask进行并行计算：

python复制import dask.array as da
from dask.distributed import Client
client = Client(n_workers=4)  # 根据CPU核心数调整

1.2 加载PD数据

持续同调图通常以(birth, death)坐标对的形式存储。以下是加载和预处理PD数据的通用方法：

python复制import numpy as np

def load_pd(file_path, dim=0):
    """加载指定维度的持续同调图"""
    data = np.loadtxt(file_path)
    return data[data[:, 2] == dim][:, :2]  # 筛选指定维度，取(birth, death)列

# 示例：加载0维PD图
pd_0 = load_pd('persistence_diagram.csv', dim=0)
print(f"加载到{pd_0.shape[0]}个拓扑特征点")

常见问题处理：

• 无限持久性特征（death=∞）：建议用数据集中最大death值的1.5倍替代
• 空PD图：添加虚拟点(0,0)避免后续计算报错
• 非对角线点过滤：移除birth ≥ death的无效点

2. 五大矢量化方法实战

2.1 持续性图像（PI）——卷积神经网络友好型

持续性图像将PD转化为二维密度图，非常适合作为CNN的输入。使用giotto-tda实现：

python复制from gtda.images import PersistenceImage
from gtda.plotting import plot_heatmap

# 参数配置
pi_transformer = PersistenceImage(
    bandwidth=0.1,          # 高斯核带宽
    resolution=[20, 20],    # 图像分辨率
    im_range=[0, 1, 0, 1]   # 坐标范围[xmin, xmax, ymin, ymax]
)

# 转换并可视化
pi = pi_transformer.fit_transform([pd_0])
plot_heatmap(pi[0], colorscale='viridis')

参数调优指南：

2.2 持续性景观（PL）——保留拓扑结构

PL将每个特征点转化为分段线性函数，通过persim库可高效计算：

python复制from persim import PersistenceImager
import matplotlib.pyplot as plt

pimgr = PersistenceImager(
    pixel_size=0.1,
    birth_range=(0, 1),
    pers_range=(0, 1),
    kernel_params={'sigma': 0.1}
)

# 计算前5个景观函数
landscapes = pimgr.fit_transform(pd_0, n_layers=5)

# 可视化
plt.figure(figsize=(10, 6))
for i, landscape in enumerate(landscapes[:5]):
    plt.plot(pimgr.grid_, landscape, label=f'λ{i}')
plt.title('持续性景观函数')
plt.legend()
plt.show()

性能对比：

• 计算复杂度：O(n*k)，n为PD点数，k为景观层数
• 内存占用：每层景观约占用4MB（默认分辨率）
• 推荐场景：需要保留拓扑结构信息的分类任务

2.3 持续同调熵（PE）——轻量级特征

当需要快速获取紧凑特征时，PE是理想选择：

python复制def persistent_entropy(pd):
    lifetimes = pd[:, 1] - pd[:, 0]
    L = np.sum(lifetimes)
    p = lifetimes / L
    return -np.sum(p * np.log(p))

pe = persistent_entropy(pd_0)
print(f"持续同调熵: {pe:.4f}")

应用技巧：

• 多尺度PE：在不同时间尺度切片计算PE
• 维度组合：将各维度的PE拼接成特征向量
• 异常检测：PE值的突变常指示数据拓扑结构变化

2.4 贝蒂曲线（Betti）——时间序列友好型

对于随时间演化的数据，贝蒂曲线能捕捉拓扑特征的动态变化：

python复制def betti_curve(pd, time_points=100):
    birth = pd[:, 0]
    death = pd[:, 1]
    t_range = np.linspace(min(birth), max(death), time_points)
    curve = np.zeros_like(t_range)
    
    for i, t in enumerate(t_range):
        curve[i] = np.sum((birth <= t) & (t < death))
    
    return t_range, curve

time, betti = betti_curve(pd_0)
plt.plot(time, betti)
plt.xlabel('时间参数')
plt.ylabel('贝蒂数')
plt.show()

优化建议：

• 动态时间规整（DTW）：用于比较不同长度的贝蒂曲线
• 微分特征：计算贝蒂曲线的一阶/二阶导数
• 多分辨率分析：使用不同粒度的时间点

2.5 加权轮廓（Weighted Silhouette）——可解释性与性能平衡

结合了PL的拓扑保留能力和PE的简洁性：

python复制from gtda.images import BettiCurve

# 计算不同权重的轮廓
for p in [1, 2, 5]:
    betti_transformer = BettiCurve(
        n_bins=50,
        n_jobs=-1,
        weights=lambda x: x**p  # 权重函数
    )
    betti = betti_transformer.fit_transform([pd_0])
    
    plt.plot(betti[0], label=f'p={p}')
plt.legend()
plt.title('不同权重参数的轮廓曲线')
plt.show()

参数选择策略：

• p=1：平等对待所有特征
• p=2：适度强调长寿命特征
• p≥5：仅关注最显著拓扑特征

3. 方法对比与选型指南

3.1 量化评估指标

我们在标准数据集上测试了各方法的性能表现：

测试环境：Intel i7-11800H, 32GB RAM, MNIST数据集

3.2 场景化选型建议

根据项目需求选择最适合的方法：

1. 实时系统：

   • 首选：PE + 贝蒂曲线
   • 原因：计算复杂度低，满足实时性要求
   • 代码优化：

     python复制@numba.jit(nopython=True)
     def fast_pe(pd):
         # 使用numba加速的PE计算
         lifetimes = pd[:, 1] - pd[:, 0]
         L = lifetimes.sum()
         return -(lifetimes/L * np.log(lifetimes/L)).sum()
     

2. 深度学习：

   • 首选：PI + PL
   • 原因：高维特征适合神经网络处理
   • 数据增强技巧：

     python复制# PI数据增强
     class PIAugmentation:
         def __call__(self, pi):
             if np.random.rand() > 0.5:
                 pi = np.fliplr(pi)
             pi += np.random.normal(0, 0.01, pi.shape)
             return pi
     

3. 可解释性要求高：

   • 首选：加权轮廓 + 贝蒂曲线
   • 原因：结果可直接对应原始拓扑特征
   • 可视化示例：

     python复制def plot_feature_contribution(pd, weights):
         plt.scatter(pd[:,0], pd[:,1], c=weights, cmap='viridis')
         plt.colorbar(label='特征权重')
         plt.plot([0,1],[0,1], 'r--')  # 对角线
         plt.xlabel('Birth')
         plt.ylabel('Death')
     

4. 高级技巧与性能优化

4.1 并行计算策略

对于大规模PD数据集，可采用分块并行处理：

python复制from joblib import Parallel, delayed

def parallel_transform(pds, transformer, n_jobs=4):
    return Parallel(n_jobs=n_jobs)(
        delayed(transformer.fit_transform)([pd]) 
        for pd in pds
    )

# 示例：并行计算100个PD的PI
all_pds = [load_pd(f'data/pd_{i}.csv') for i in range(100)]
all_pis = parallel_transform(all_pds, pi_transformer)

4.2 内存优化技巧

处理超大型PD图时，内存可能成为瓶颈：

1. 稀疏矩阵表示：

   python复制from scipy.sparse import csr_matrix
   
   def sparse_pi(pd, resolution=100):
       # 将PI转换为稀疏矩阵
       img = pi_transformer.transform([pd])
       return csr_matrix(img.reshape(resolution, resolution))
   

2. 流式处理：

   python复制def process_large_file(file_path, chunk_size=1000):
       features = []
       with open(file_path) as f:
           while True:
               chunk = [next(f) for _ in range(chunk_size)]
               if not chunk: break
               pd = parse_chunk(chunk)
               features.append(transformer(pd))
       return np.vstack(features)
   

4.3 特征选择与融合

组合多种矢量化方法可提升模型性能：

python复制from sklearn.pipeline import FeatureUnion
from gtda.pipeline import make_pipeline

# 构建多特征融合管道
feature_union = FeatureUnion([
    ('pi', PersistenceImage()),
    ('pl', PersistenceLandscape()),
    ('pe', FunctionTransformer(persistent_entropy))
])

# 在机器学习管道中使用
from sklearn.ensemble import RandomForestClassifier
pipeline = make_pipeline(
    feature_union,
    RandomForestClassifier()
)

融合策略对比：

5. 实战案例：分子活性预测

让我们通过一个真实案例展示完整流程——预测分子的生物活性：

5.1 数据准备

python复制from rdkit import Chem
from rdkit.Chem import AllChem

def molecule_to_pd(smiles, dim=0):
    """从SMILES生成分子拓扑特征"""
    mol = Chem.MolFromSmiles(smiles)
    if not mol:
        return None
    distance_matrix = AllChem.Get3DDistanceMatrix(mol)
    # 使用Ripser.py计算持续同调
    import ripser
    return ripser.ripser(distance_matrix)['dgms'][dim]

5.2 特征工程管道

python复制from sklearn.preprocessing import StandardScaler

pipeline = make_pipeline(
    FunctionTransformer(molecule_to_pd),
    PersistenceImage(resolution=[32,32]),
    StandardScaler(),
    RandomForestClassifier(n_estimators=200)
)

# 交叉验证评估
from sklearn.model_selection import cross_val_score
scores = cross_val_score(pipeline, smiles_list, y, cv=5)
print(f"平均准确率: {scores.mean():.2f}")

5.3 结果可视化

python复制import seaborn as sns

# 绘制特征重要性
pi_importances = pipeline.steps[2][1].feature_importances_
sns.heatmap(pi_importances.reshape(32,32), cmap='viridis')
plt.title('PI特征重要性热图')
plt.show()

在这个案例中，我们实现了从分子结构到拓扑特征再到活性预测的端到端流程，验证了持续同调矢量化在化学信息学中的实用价值。