BPNet自研CNN实战：转录因子结合预测与可解释性优化

1. 整体设计思路：为什么在BPNet上自研CNN，而不是从零另起炉灶

先把话说在前面：如果你刚接触深度学习在基因组学上的应用，直接看BPNet的论文和代码，第一反应多半是“这玩意儿也没多复杂啊，不就一个CNN套了两个输出头吗”。但等到你真拿自己的数据去跑，才会发现BPNet真正值钱的地方不在网络结构，而在它的训练策略、损失函数设计和可解释性方案。这也是我选择“在BPNet基础上自研CNN”而不是“自己从零写一个更花哨的模型”的根本原因。

BPNet是干啥的，简单说一句：它用DNA序列预测转录因子结合的信号分布。输入是2000bp左右的序列，输出是两个东西——一个是profile，也就是每个碱基位置的预测信号强度（这等价于把每个碱基都当成一个输出节点）；另一个是count，也就是区间内总的信号量。2019年发表在Nature Genetics上那篇论文，用这套方法把转录因子结合的序列motif和motif之间的协同关系解释得明明白白。

那我自己做这个项目的时候，为什么还要在它基础上自研？三个直接原因：

第一，BPNet官方实现是TensorFlow 1.x时代的东西，放到今天的PyTorch生态里，迁移和改造的成本不低。第二，BPNet的贡献度归因（contribution scores）虽然效果很好，但它只做了一阶的梯度解释，没有充分利用模型内部中间层的表示。我在实际应用中想同时预测多种细胞类型或者多种修饰的profile，BPNet这种“一模型一任务”的设定就有点不够用了。第三，也是最重要的一点——BPNet论文里对数据预处理、损失函数权重、训练轮次等细节处理得非常“工程化”，这些经验没写在公式里，只有自己动手复现一遍才能摸到坑在哪里。

所以我的方案很明确：保留BPNet的核心范式——序列输入、卷积特征提取、双头输出、基于梯度贡献度的解释分析——但在模型结构、训练流程、数据增强和归因计算四个方向做自研改造。整套代码用PyTorch 2.x重写，训练速度比原版快不少，而且可以无缝接到现在的深度学习生态里。

这个项目适合谁参考？主要是这几类人：

• 已经在做转录因子结合位点预测、染色质开放性预测、或者任何“DNA序列 -> 功能信号”这类任务的人，想从BPNet起步但不知道在哪里改进；
• 做CV或NLP的工程师，想进入基因组学领域，但需要一个不太复杂又不失代表性的落点；
• 以及所有被“深度学习 + 可解释性”这两个词吸引，想看看CNN除了图像分类还能在别的地方怎么玩的人。

我一直觉得，BPNet最被低估的一点不是它的预测精度，而是它把“我为什么这么预测”这件事做成了模型架构的一部分。我们自研的时候，这一块不仅不能丢掉，还要做得更彻底。

2. 核心细节解析：BPNet的设计逻辑与自研改造方向

2.1 BPNet的三大支柱：序列表示、双头架构、贡献度归因

BPNet的结构其实很克制。输入是一条长度为L的DNA序列，one-hot编码成4×L的矩阵，A、C、G、T各占一行。然后经过几层卷积，提取不同尺度的序列特征——第一层卷积核长度通常在25bp左右，捕捉单motif；后面再接更长的卷积核或池化，捕捉motif之间的组合关系。这个设计理念和图像CNN是一样的：底层学边缘和纹理，高层学部件和整体结构。

不一样的地方在输出端。BPNet有两个头：

• profile头：对每个碱基位置输出一个预测值。它是一个语义分割式的输出，把序列上的功能信号分布还原出来。原文里用的是空间softmax，把profile变成一个概率分布，然后用余弦相似度计算损失。
• count头：输出一个标量，表示这个区间内的总信号强度。这个头用来约束整体“量”的预测，避免模型只学对了分布但总量完全跑偏。

这两个头的组合逻辑很聪明。如果只用profile头，模型会倾向于把信号弥散到整个序列上，因为位置损失已经归一化了，总量信息丢失；如果只用count头，模型就变成“这个区间有没有信号”的二分类器，序列内的精细结构全丢。两个头共用底层的卷积特征，在训练时共享梯度，形成一种“一鱼两吃”的效果。

第三个支柱是DeepLIFT/SHAP式的贡献度归因。图个说法，就是模型预测完成后，反向计算每个输入碱基对预测结果的贡献值。BPNet原论文用的是DeepLIFT的变体，把贡献值以“motif”为单位进行汇总，从而得到“这个转录因子结合的motif是啥、在哪个位置、方向是正是反”这些解释性结论。

注意：BPNet的“可解释性”不是事后跑到别处算出来的，它是在模型架构和训练过程中刻意设计出来的。自研CNN的时候，如果把这部分砍掉，那基本就丢掉BPNet一半的价值了。

2.2 自研改造点：从“能用”到“好用”的四个方向

我实际改造的时候，没有做大刀阔斧的推倒重来，而是在四个方向上做“精确打击”。

第一个改造点：用残差连接加深网络。

BPNet原版网络很浅，卷积层数不多。这在数据量不大、任务单一的设定下够用，但放到我自己的场景里——我同时预测多个细胞类型——浅层网络共享特征的能力明显不够。我在每个卷积块里加入了残差连接，模型深度从4层加到10层左右，训练稳定性反而更好。残差连接在这个场景下的作用有点类似ResNet在图像分类里的作用：梯度流动顺畅了，模型对学习率的敏感度下降了，我甚至不需要那么精细地调参。

第二个改造点：profile损失函数用交叉熵替代余弦相似度。

BPNet原文的profile头用的是空间softmax + 余弦相似度。余弦相似度的问题在于它对两个分布的整体形状比较敏感，但对局部峰值的位置偏差不敏感。我一开始用余弦相似度跑自己的数据，发现模型预测的profile总是“看起来差不多，但峰值偏了一两个碱基”。换成交叉熵之后，模型对每个位置的正负样本区分更直接，峰值位置更准了。代价是训练前期loss下降变慢，需要配合更长的warmup才能稳住。

第三个改造点：自定义多任务输出头。

BPNet原版只做单一任务。我的项目需要同时预测H3K27ac、H3K4me3和转录因子结合三个信号。三个profile头共享底层特征，但各自接独立的卷积层和输出层。这种硬参数共享的架构，让模型在不同任务之间隐式传递信息，比如H3K4me3的峰值位置可以帮助模型判断H3K27ac的扩展范围。实测定下来，多任务版比三个模型单独训练，在数据量较少的H3K27ac任务上AP提升了约6%。

第四个改造点：贡献度归因从单一模型解释升级为集成解释。

BPNet对单个模型做归因，结果会受模型初始化随机性的影响。我这边训练了5个不同种子的模型做集成，然后将5个模型的贡献度取平均。这么做比单模型的贡献度稳定得多，尤其是在motif边界的位置，单模型经常出现贡献度抖动，集成之后干净很多。代价就是训练时间翻了5倍，但如果你的任务对解释性要求高，这个代价值得掏。

2.3 数据预处理：比模型结构更影响结果的一步

说句得罪人的话：在BPNet这类任务里，数据预处理对结果的影响可能比模型结构还大，但很多人就是把工夫全花在模型上，数据侧随便对付。

BPNet的输入是区间序列，输出是bigWig信号值。第一步是把bigWig转成每个碱基的信号数组，通常是取区间内每个位置的reads覆盖度，再做一下平滑。这里有个细节：BPNet原文用的是一个固定bin大小（比如25bp）然后取bin内均值，不是直接用单碱基值。因为单碱基信号噪声太大，模型学到的不是motif信号而是测序噪声。

我自己处理的时候是先用pyBigWig读取原始信号，然后做一个sigma=1的高斯平滑，再把区间缩放到一个固定长度。平滑这个步骤看起来不起眼，但如果你跳过它，cross-entropy loss的前几个epoch基本不会动，因为单碱基级别的噪声让梯度方向非常混乱。

这里还要注意正负样本的配比。我一开始用全部候选区间做训练，效果差到怀疑模型写错了。后来才发现数据里约98%的区间信号都是零或接近零，模型只要输出全零profile就能把loss压得很低，根本不需要学任何序列特征。后来我做了两件事：一是过滤掉完全没有信号的区间；二是在每个batch里控制正负样本比例为1:3。之后模型才开始真正学到东西。

3. 实操过程与核心环节实现

3.1 数据侧完整流程：从bigWig到PyTorch Dataset

我先说说我这边用到的数据。任务是对人类K562细胞系的转录因子结合位点进行预测，训练数据来自ENCODE的ChIP-seq实验。输入是参考基因组上长度为2000bp的区间，正样本区间是某个转录因子的peaks（用MACS2 call出来的），负样本从基因组的随机区域采样。每个区间对应一个profile数组和一个count标量。

核心代码大致是这样：

python复制import pyBigWig
import numpy as np
import torch
from torch.utils.data import Dataset

class SequenceSignalDataset(Dataset):
    def __init__(self, intervals, fasta_path, bigwig_path, bin_size=25):
        self.intervals = intervals  # list of (chrom, start, end)
        self.bw = pyBigWig.open(bigwig_path)
        # 这里用最简单的one-hot编码，实际中可以用kmer编码增强
        self.base_map = {'A': 0, 'C': 1, 'G': 2, 'T': 3}
        self.bin_size = bin_size

    def __len__(self):
        return len(self.intervals)

    def __getitem__(self, idx):
        chrom, start, end = self.intervals[idx]
        seq = self.fetch_sequence(chrom, start, end)
        seq_onehot = self.one_hot_encode(seq)  # (4, 2000)

        signal = np.array(self.bw.values(chrom, start, end))
        signal = np.nan_to_num(signal)
        signal = self.smooth_and_bin(signal)  # (2000 // bin_size,)

        profile = signal / (signal.sum() + 1e-6)
        count = float(signal.sum())
        return seq_onehot, profile, count

这里有两个坑要提醒：

第一，pyBigWig.values() 返回的是区间内的浮点值数组，但区间长度超过bigWig的存储粒度时，有可能返回的长度和end-start不一致。一定要在代码里断言长度，不然后面reshape就乱掉了。

第二，chrom的命名在不同数据源里不一样，有的叫chr1，有的叫1。最好在加载区间文件时就统一，别在循环里做字符串替换，那会慢到让你怀疑人生。

3.2 模型结构实现：一个可落地的自研CNN定义

下面是我最终用到的模型结构。设计逻辑是：浅层卷积捕捉单碱基和短motif特征，中层卷积捕捉motif组合，最后一层全连接映射到profile和count输出。所有卷积层都带残差连接，激活函数用ReLU，batch normalization放在卷积之后激活之前。

python复制import torch.nn as nn
import torch

class ResidualConvBlock(nn.Module):
    def __init__(self, in_channels, out_channels, kernel_size=5, dilation=1):
        super().__init__()
        self.conv1 = nn.Conv1d(in_channels, out_channels, kernel_size, padding='same', dilation=dilation)
        self.bn1 = nn.BatchNorm1d(out_channels)
        self.conv2 = nn.Conv1d(out_channels, out_channels, kernel_size, padding='same', dilation=dilation)
        self.bn2 = nn.BatchNorm1d(out_channels)
        self.shortcut = nn.Identity() if in_channels == out_channels else nn.Conv1d(in_channels, out_channels, 1)

    def forward(self, x):
        out = torch.relu(self.bn1(self.conv1(x)))
        out = self.bn2(self.conv2(out))
        return torch.relu(out + self.shortcut(x))


class BPNetStyleCNN(nn.Module):
    def __init__(self, seq_len=2000, n_tasks=1):
        super().__init__()
        self.n_tasks = n_tasks
        self.input_bn = nn.BatchNorm1d(4)

        self.block1 = ResidualConvBlock(4, 64, kernel_size=25)
        self.block2 = ResidualConvBlock(64, 128, kernel_size=11)
        self.block3 = ResidualConvBlock(128, 256, kernel_size=7)
        self.block4 = ResidualConvBlock(256, 256, kernel_size=3, dilation=2)

        self.profile_head = nn.Sequential(
            nn.Conv1d(256, 128, 1, padding='same'),
            nn.ReLU(),
            nn.Conv1d(128, self.n_tasks, 1, padding='same')
        )
        self.count_head = nn.Sequential(
            nn.AdaptiveAvgPool1d(1),
            nn.Flatten(),
            nn.Linear(256, 128),
            nn.ReLU(),
            nn.Linear(128, self.n_tasks)
        )

    def forward(self, x):
        x = self.input_bn(x)
        x = self.block1(x)
        x = self.block2(x)
        x = self.block3(x)
        x = self.block4(x)
        profile_logits = self.profile_head(x)  # (B, n_tasks, L)
        count_logits = self.count_head(x)      # (B, n_tasks)
        return profile_logits, count_logits

有一点要说明：padding='same'在PyTorch里是Conv1d自带的选项，用起来方便，但如果你需要精确控制输出的位置对应关系，还是建议手算padding大小。我的任务里面profile的每个位置和输入序列的每个碱基位置严格对齐，所以用padding='same'最省事。如果你把序列做了下采样或者加了pooling层，输出位置和输入位置的对应关系就需要额外维护一个偏移表。

3.3 损失函数设计：profile和count怎么组合

两个输出头要用两个损失函数组合来训练。count头相对简单，我直接用了MSE（均方误差），因为count值是连续非负的标量，MSE表现最好。profile头的问题比较讲究。

BPNet原文用的是余弦相似度损失，公式是1 - cos(profile_pred, profile_true)。这个损失对零向量比较敏感——如果某个样本的真实profile全是零（也就是该区间没有信号），而模型预测的profile是softmax输出（所有位置加起来等于1），那这两个向量的余弦相似度就直接是未定义的。BPNet的做法是在计算loss之前给两个向量都加一个很小的epsilon，防止除零。

我后来换成交叉熵，是因为它天然不需要处理这种边缘情况。直接把profile_true里的全零向量改成均匀分布（每个位置都是1/L），模型就会把这种样本当作“无信号”来处理，反而学得更稳。

组合权重上，我的经验是loss = count_loss + 0.1 * profile_loss。这个比例不是拍脑袋定的，我试过从0.01到1.0的网格范围，过小的profile权重（0.01）会导致模型完全不学profile位置信息，profile预测几乎变成均匀分布；过大的profile权重（1.0）会让模型为了把峰值位置压准而牺牲总量预测。0.1这个量级下两个任务都表现不错。

3.4 训练细节：优化器、学习率调度和早停策略

训练策略这块，我直接说结论。

优化器用AdamW，lr=1e-3，weight_decay=1e-4。比原版BPNet用的Adam多了一个weight decay，显著减少了过拟合。关键的是学习率调度，我用了一个两阶段的策略：

• 前5个epoch用线性warmup，从1e-5稳步升到1e-3，让模型先在一个比较温和的步长下把数据分布“摸”一遍；
• 之后切换到CosineAnnealingLR，把学习率从1e-3平滑降到1e-6。

为什么这么设计？因为我发现BPNet这种输入输出都高度结构化的任务，损失面很崎岖，一上来就用大学习率很容易把模型甩到某个“全是零输出”的局部最优里出不来。warmup阶段step数不多，只占训练总预算的5%左右，但能显著提升后面收敛的稳定性。

早停策略上也有一点经验。我用的验证指标不是total loss，而是count的Spearman相关系数。因为profile输出经过softmax之后，两个分布即使相差很大，loss数值的变化可能只有小数点后第三位的差异，肉眼根本分不清。而count输出是标量，相关性变化非常直观。如果count的Spearman在连续5个epoch里没有提升，我直接停掉。这样一轮训练差不多8个小时能收敛到最佳模型，比盯着loss硬训要省一半时间。

4. 常见问题与排查技巧实录

4.1 模型不学习：loss卡在初始值纹丝不动

我刚开始跑这个模型的时候，loss那叫一个漂亮——前20个epoch一点不动，稳稳当当的一条直线。当时我以为是在跑长训练，后来看tensorboard才发现是真的没学进去。

排查过程：

1. 先检查loss曲线和梯度范数。在训练循环里加了个钩子，每100步打印一次梯度均值。发现梯度范数从第一个batch开始就是接近0的数值——说明反向传播根本没流到浅层。
2. 检查一下是不是残差连接写错了导致梯度消失。我反复看了两次代码，shortcut的维度匹配是没问题的。
3. 最后定位到问题出在BatchNorm1d上——数据集的batch size太小（我当时用的是8），每个batch的均值和方差极度不稳定，导致BN层在训练初期把特征全部压扁了。

解决方案也很简单：把batch size提到64，或者干脆在模型第一层之前不做BN，改用LayerNorm。我把block1的BN删掉之后，loss在第一个epoch就开始下降了。这个坑之后我再也没踩过，但从那以后我对“batch size是不是太小”这个问题会格外敏感。

4.2 训练集和验证集提升不同步：严重过拟合的三大信号

第二个高频问题是过拟合来得太快。我用的是自己的ChIP-seq数据，量不大，一个转录因子的peaks也就一两万个区间，模型很快就学会了“背答案”。

判断过拟合我有三个信号：

• 训练集的count loss降到0.01以下，而验证集还在0.3附近震荡；
• 训练集上profile峰值非常锐利，几乎是对真实信号的精准复制，但验证集上预测出来的peak宽度偏大，位置也有偏移；
• 看SHAP/贡献度归因图，模型对序列的特征关注点集中在少数几个位置上——这是典型的“用少量强特征硬拟合样本”的征兆。

对策就是三板斧：

1. 加大数据增强。我引入了随机翻转（对DNA序列反向互补），这个操作对基因组学任务来说是天然的增强方式——因为转录因子结合motif本身就有正反两个方向。
2. 把count head里的线性层改成Dropout，p=0.3。这个在后期实验中让验证集Spearman涨了大约2%。
3. 降低模型容量。把block4的channel从256降到128，过拟合明显缓解了。说实话，对这种几万条样本级别的任务，256个channel用不上。

4.3 贡献度归因结果不可信：motif的位置总是飘

这是解释性任务里最让人头大的问题。模型预测得分很高，count的Spearman也有0.8以上，但把DeepLIFT算出来的贡献度可视化到基因组浏览器里，看起来就是一片噪声，根本找不到一个清晰锐利的motif峰。

排查下来发现原因有两个：

第一，贡献度归因对模型的输出头敏感。如果你对count头算归因，和profile头算归因，结果是完全不一样的。前者关注的是“整个区间的信号从哪里来”，后者关注的是“每个位置的信号从哪里来”。如果你用profile头的某几个高信号位置去做折叠motif分析，效果千差万别。我最后是固定对一个特定碱基做归因——也就是profile概率最大的那个位置，然后在所有正样本上对该位置的归因取平均。这样得到的结果稳定得多。

第二，DeepLIFT对CNN的感受野有累积偏移。每经过一层卷积，梯度就会被“抹开”一次，所以你想定位motif的中心位置，单靠梯度归因是不够的。我的方案是把模型倒数第二层的特征图（就是block4的输出）按CHANNEL维度和输入序列做相关性分析，找出每个channel对应的序列pattern。这个做法不是标准论文里的方法，更像是一个工程技巧，但实测下来比纯DeepLIFT准不少。

4.4 数据尺度不匹配：不同实验的bigWig信号量纲不一致

这个问题超级隐蔽，花费了我大量时间。我的训练数据来自两批不同的ChIP-seq实验，本来想着“反正都是同一个转录因子，信号应该差不多”。没想到模型训练出来之后，在第一批数据上valid效果很好，拿到第二批数据上直接崩了——count预测值系统性偏低。

原因很直接：两批数据的测序深度不同，bigWig里存的信号值不是归一化的reads数，而是raw coverage。我的训练跑在第一批数据上是没问题的，但这批数据的信号量级平均是第二批的3倍。模型是在“量级回归”上学偏了，而不是没有学到生物学特征。

解决方案是在预处理阶段做标准化。我采用的是“每个区间内信号先除以全数据集的均值”，即把所有训练区间的count均值算出来，然后每个区间的信号除以这个均值。这样不同实验的数据量级就被拉到了同一个水平线上。这个操作做完之后，跨实验验证的Spearman提升了将近10个点。

5. 自研CNN的局限性：不是所有任务都适合套这个方案

自己动手改进BPNet的过程中，我反复验证过一个观点：这套方案的核心假设是“序列到信号”的映射关系是相对稳定的。如果你的任务不满足这个假设那模型改得再花哨也没用。

举几个不适合的例子：

• 如果输入序列长度非常长（比如想用全基因组级别的序列做预测），这种2000bp的固定窗口CNN会非常吃力，应该考虑Transformer或者BigBird这类长序列模型；
• 如果输出不是连续信号而是一个明确的分类标签（比如“结合/不结合”），那就没必要套profile + count双头结构，直接上个分类头更简单直接；
• 如果目标物种和人类基因组差异很大（比如基因组含有大量重复序列），那么数据预处理和motif解释的方式都需要调整，模型结构反而次要。

还有一个大家容易忽略的点：BPNet系列的模型对于输入的基因组区间有很强的位置偏好。模型学到的不仅包含motif本身，还包含motif上下游序列的某种统计特征。这也意味着，如果你的训练数据来自特定的基因组版本或者区域分布有偏，模型在别的基因组区域上做预测时可能产生系统性的偏差。我实际验证过，从外显子区域采样的数据训练出来的模型，拿到基因间区做预测，count整体偏高。这个坑如果不意识到，你连错在哪里都不知道。

6. 关于训练资源与复现成本的一些经验

很多朋友看到Nature Genetics上的方法，会觉得这东西一定要上大集群。实际跑下来不是这样。

我整个项目的训练是在一张RTX 3090上完成的，batch size为64，输入2000bp，模型定义和上面给的差不多。单任务训练跑600个epoch，总耗时8到10个小时。多任务版本（3个任务一起训练）翻了一倍不到，大概15到18个小时。推理阶段，单条序列的前向传播在GPU上不到10毫秒，CPU上也不是不能用，但全基因组扫描建议还是GPU。

数据预处理和bigWig读取才是真正吃内存的地方。如果你要用全基因组的bigWig做训练集合的采样，建议一次性把目标染色体的信号数组加载到内存里，不要在__getitem__里反复调用pyBigWig.values()。前者一秒钟能跑几百个样本，后者一秒钟能跑十几个——量级差距非常明显。

另外强烈建议把训练和验证的区间划分放在不同染色体上。比如用chr1-7做训练，chr8做验证，chr9和chr10做测试。这样可以测试模型跨区域的泛化能力，而不是仅仅测试记忆能力。BPNet原文也是这样做的，这个细节千万不要省。

提示：如果你用的是自定义数据，建索引的时候一定把区间按染色体分开划分。标准库里的train_test_split默认是随机打乱，用在这里就是一场灾难——同一段DNA序列在验证集里以另一种截断方式重新出现的情况非常普遍。

7. 实测效果与后续改进的思考

自研的BPNet风格CNN跑下来，在K562细胞系的转录因子结合预测任务上，count头的Spearman相关系数稳定在0.82到0.85之间（跨染色体测试）。这个数字和BPNet原文在类似设定下的结果基本持平，但我的模型同时预测了3个任务，所以单位参数下的效率是更高的。

profile头的峰值定位准确率也做了个简单的量化评估：把预测峰值和真实峰值的坐标做对比，允许25bp的偏移容差，精确率约为76%，召回率约为71%。这个数字看起来不算惊艳，但如果对比一下原始BPNet在这种跨染色体测试下的表现，并没有明显劣势。而且通过集成解释之后，motif的定位效果比单个模型干净很多。

后续还想做两件事：

第一，把模型进一步轻量化，尝试用深度可分离卷积替代普通卷积层，看看能不能在保持精度的前提下把参数压到原来的1/3。这样全基因组级别的推理成本就能降到普通服务器也能接受的范围。

第二，引入一个简单的注意力模块，在block4之后对特征图的通道维度和位置维度做一个加权。目的不是提升精度——目前提升已经不明显了——而是让模型的解释性更好，注意力权重可以直接可视化为“模型认为哪些位置重要”。如果能做到这一步，这个模型就不只是“高性能的预测器”，而是“高通量的科学发现工具”了。

最后再说一个训练上的小技巧：无论你用什么损失函数，都建议在训练期间不断把模型预测的profile图片保存下来。模型在学到什么、空间分布对不对、峰值位置是否合理，这些从loss数值上看不出来，看一眼预测图片就全明白了。我经常训练完一天回去翻那几十张预览图，比tensorboard上的曲线有用十倍。