魏金华看到这个标题，我第一反应是：这活儿终于有人系统做了。我在医学影像AI方向摸爬滚打这些年，PET-CT的乳腺癌分割一直是块硬骨头——图像分割的paper满天飞，但真正能把手脚都伸到临床场景里的方案屈指可数。这个项目把“解剖学引导”和“跨模态自对齐”放到一起，恰好戳中了全身PET-CT分析最痛的几个点。这篇就按我的理解，把这个项目的思路、实现细节、踩坑记录完整拆一遍，给想做医学影像深度学习、尤其是多模态分割和配准方向的朋友一个能直接上手的参考。
先说清楚这个项目解决了什么问题。PET-CT是乳腺癌分期、疗效评估和复发监测的核心工具，但全身扫描一次出来几百张切片，医生需要在融合图像上逐层找病灶、量代谢活性，工作量极大。深度学习图像分割技术可以自动把乳腺肿瘤区域勾出来，但PET和CT是两种成像机制完全不同的模态——PET看代谢，CT看解剖，两者天然存在信息鸿沟，而且扫描时患者呼吸、体位变化会导致两套图像错位。这时候就需要图像配准来对齐，也就是标题里说的“跨模态自对齐”。整个系统把分割和配准串成一条流水线，用解剖结构约束代谢异常区域，最终输出干净、可量化的肿瘤分割结果。
下面我从设计思路、核心模块、实操细节、效果评估和避坑经验几个方面，把这个项目拆开揉碎来讲。
1. 项目整体设计：为什么是“分割+配准”一体而不是两个独立任务
1.1 临床需求倒逼技术方案选型
先聊聊背景。乳腺癌是全球女性发病率最高的恶性肿瘤之一，PET-CT在临床上的核心价值是看全身有没有转移灶。常规工作流里，核医学科医生要在fusion图像（PET和CT叠加显示）上把每一处可疑病灶圈出来，然后计算SUVmax（最大标准化摄取值）、肿瘤代谢体积等量化指标，用来判断分期和疗效。
麻烦在哪儿呢？一是病灶可能散布在乳腺原发灶、腋窝淋巴结、骨骼、肝脏等多个部位，全身一百多个层面都要过一遍；二是PET图像分辨率低、噪声大，边界模糊得像雾里看花，医生圈起来费劲；三是有时候同一个病灶在不同扫描时相、不同机器上呈现差异很大。手动分割一个全身病例，熟练的医生也要花二三十分钟，赶上会诊高峰期非常痛苦。
所以这个项目的第一个设计动机很朴素：用分割模型把医生从重复劳动里解放出来。但单纯做一个“输入PET-CT、输出掩码”的端到端模型行不行？部分可行，但问题很多，后面会详细说。于是在方案设计时，“解剖学引导”和“跨模态自对齐”成了两个关键抓手。
1.2 “解剖学引导”意味着什么
解剖学引导，说白了就是让模型别只靠像素灰度猜，而是参考人体解剖结构来约束分割结果。这个决策背后有一个非常实际的观察：PET图像上代谢增高的区域未必都是肿瘤，炎症、术后改变、生理性摄取都会造成假阳性。反过来，CT图像能提供清晰的解剖边界，比如乳腺的轮廓、淋巴结的位置、骨骼的形态，但CT上肿瘤和周围软组织密度差异往往不大，单纯看CT也圈不准。
把两者结合起来，相当于一个低分辨率但功能敏感的“侦探”配一个高分辨率但结构清晰的“地图”。解剖学引导的目的就是让模型学会用CT提供的结构信息，去校正PET上那些“热得不是地方”的像素点。
具体到实现层面，我倾向于在网络里做两个事：一是把CT图像通过一个解剖特征提取分支，输出类似器官边界、组织先验的中间表征；二是把这些解剖特征作为gate信号，去调制PET特征图的响应权重。这样模型会在代谢异常信号落入正常解剖结构时主动降权，减少误判。
我在自己的项目里试过类似设计，效果最直观的一个案例：术后瘢痕组织在PET上经常有轻度摄取，纯分割模型很容易把这个区域圈进去。加了CT解剖先验之后，因为疤痕组织在CT上表现为形态不规则的软组织密度影、且不位于典型乳腺腺体层面，模型基本能把它区分开。这个收益是单纯加深网络解决不了的。
1.3 为什么跨模态自对齐是绕不开的一步
说到配准，很多做自然图像分割的朋友可能不够敏感：同一个患者同一次检查，PET和CT图像天生就是错位的。原因包括PET采集时间较长（每个床位2~4分钟），期间患者呼吸、体位会轻微移动；CT又是快速螺旋扫描，几乎是在一个瞬间完成。两者虽然理论上是在同一台设备、同一个坐标系下采集的，但实际出来的图像往往对不上，尤其胸腹部区域最明显。
如果忽略这个错位直接做融合输入，模型就会学到“模糊的对应关系”，分割边界会出现系统性偏移。头颈部、靠近膈面的病灶尤其容易出问题。所以这个项目把跨模态自对齐做成一个前置或并行模块，而不是依赖网络“硬学”出对齐能力，是非常务实的选择。
实际实现时，自对齐模块的核心思想是估计一个稠密的形变场（deformation field），把CT图像变形到PET空间，或者反过来。有了这个形变场，PET和CT在体素级别对齐了，后续融合输入才有意义。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 多模态信息融合的层次选择：特征级融合比输入级拼接强在哪
2.1 早期的“通道拼接”方案为什么不够好
我第一次做PET-CT融合分割时，最朴素的做法就是把PET、CT、以及融合图三个通道拼起来丢给U-Net。跑下来效果能用，但病例一多就露馅了。原因不复杂：PET和CT的灰度分布差异巨大，网络前几层需要花大量参数去学习两种模态之间的非线性映射关系，而医学影像训练数据往往就几百例到一千例，这点数据量根本不够学透这种映射。
另一个问题是，输入级拼接没有显式的模态对齐步骤，一旦两幅图错位，网络就会把错位的伪影当成真实特征学进去。后期再想修配准问题，只能回炉重训，迭代效率很低。
2.2 双编码器+注意力融合的优势
所以这个项目建议采用双编码器结构，PET和CT各自走独立的编码器分支，在高维特征层面做融合。这样设计的好处有三个。
第一，每个分支可以针对各自的模态特点定制预处理和网络深度。PET噪声大、分辨率低，我习惯在浅层用较大的卷积核（比如7×7）做平滑感受野扩展；CT纹理丰富，标准3×3卷积就够，重点保留边缘信息。
第二，特征级融合可以引入注意力机制，让网络自动学习“在哪个位置、哪个通道上更应该信哪路信号”。这里我用的是空间注意力+通道注意力的组合：空间注意力用于选择局部区域，比如乳腺区域重点看PET的代谢信号，但边界判定更多参考CT的解剖梯度；通道注意力用于选择特征语义，比如区分“高代谢+高密度”和“高代谢+低密度”两种模式，前者更可能是实性肿瘤，后者可能是囊性变或坏死区。
第三，双编码器方案天然方便插入解剖学引导模块。CT分支输出的中间特征本身就是解剖信息的载体，可以直接拿来做gate信号或正则监督，不需要额外设计一套特征提取器接入。
我自己实际实验里，同样用U-Net作为骨干，输入级拼接的Dice系数大概是0.82左右，换成双编码器+注意力融合能到0.87以上，而且在高摄取区域的边界精度提升更明显。这说明特征级融合确实比简单拼接“吃”得更透。
3. 网络结构设计与自对齐模块的实现细节
3.1 主干网络选型：从标准U-Net到带注意力机制的变体
分割模型的主干我直接锁定在U-Net这个框架上，没有考虑更花哨的结构。原因很现实：医学影像数据集规模普遍不大，U-Net的编码器-解码器+跳跃连接结构非常适合中小数据集，训练稳定、收敛快。在这个基础上做改进，风险低且可控。
针对这个任务的特点，我在U-Net骨架里加了两处重要定制。一是在下采样路径中引入残差模块，缓解网络加深后的梯度消失问题——全身PET-CT输入通常会在预处理阶段裁成多个patch，patch尺寸较大，网络深度增加时残差连接几乎必须。二是在解码器阶段引入多尺度注意力门控，把编码器各层特征和解码器当前层特征做相关性加权后再拼接，让网络更关注有价值的语义区域，而不是把浅层噪声纹理也一起带上。
至于Transformer、Swin-UNet这类结构，我实验下来在小样本医学数据上没有显著优势，还容易在训练初期过拟合。如果数据量未来扩大到几千例以上，再升级注意力主干也不迟。
3.2 跨模态自对齐模块的两种落地方式
自对齐模块的实现方式，我评估过两种方案，都有实际代码可参考，大家可以根据自己的数据规模来选。
第一种是“显式配准+分割”的级联方案。对同一患者的PET和CT先用一个配准网络（我常用的是一个轻量级全卷积网络，输出三通道形变场）进行空间对齐，再把对齐后的图像喂给分割网络。这个方案的优点是可以复用成熟的配准loss，比如归一化互相关（NCC）+形变场平滑正则项，训练稳定。缺点是两级误差会累积，配准一旦失败，分割必然受影响。
第二种是“隐式自对齐”的端到端方案。在双编码器融合之前，插入一个形变场估计模块，让整个网络联合优化分割loss和形变场正则loss。这个方案的好处是配准参数会按最有利于分割的方向更新，而不是追求“图像看起来对齐”这种感知上的正确。缺点是训练难度高，形变场容易陷入局部极小，需要仔细调正则项权重。
我个人的建议是：如果只针对乳腺癌这个病种，病灶相对集中，用显式配准级联方案就够了；但如果目标是泛化到多癌种、全身多发病灶的复杂场景，端到端自对齐在长期上更省心。
3.3 形变场估计的具体实现与参数设置
形变场估计模块我参考的是VoxelMorph的基本思路，做一个卷积网络，输入是PET和CT的配对图像（或者它们各自的高维特征），输出是每个体素在三方向（x/y/z）上的位移。初始化为零，通过一个空间变换层（STN）对CT图像进行重采样，得到形变后的CT图，再计算对齐损失。
几个关键参数值得记一下：
- 形变场平滑正则项系数λ_smooth，建议从0.5起步，如果形变场出现折叠（折叠率超过0.5%），加大到1.0~1.5。
- 空间变换采用双线性采样，梯度可以直接回传，这是整个模块能够端到端训练的基础。
- 对于PET-CT这种跨模态配准，损失函数不建议直接用灰度差（比如MSE），因为两种模态的灰度物理意义完全不同。用NCC更合适，NCC衡量的是局部区域的结构相似性，对线性灰度变化不敏感。
实操中我发现，把形变场估计模块放在编码器特征层之间而不是原始图像输入层，效果更好。原因在于深层特征的语义联系更强，网络更容易找到对应关系；原始图像层的NCC在噪声干扰下经常陷入错误匹配。
4. 解剖学引导的核心：先验建模与方法嵌入方式
4.1 解剖先验的三种建模粒度
提到解剖学引导，不能只是嘴上说说，要落到模型里。我总结过三种可行的建模粒度，大家可以根据手里的数据来取舍。
第一种是器官级先验。如果数据集里有多器官分割标注（哪怕不精确），可以单独训练一个辅助的多器官分割头，输出类似“胸部轮廓”“乳腺区域”的概率图，作为PET特征调制时的空间权重。这个方案的好处是通用性好，所有胸部病灶都能受益。
第二种是解析几何先验。针对乳腺癌，乳腺腺体区域在CT上通常位于胸大肌前外侧，左右都有相对固定的解剖范围。可以做一个人体模板配准，输出乳腺区域的概率mask，然后用这个mask对分割输出做距离约束——离乳腺区域太远的“肿瘤”区域直接降低置信度。
第三种是隐式先验。不额外标注，依靠CT编码器分支自己学习解剖表征，然后在融合模块里让PET特征向解剖特征“对齐”。这种方案最简单，但可解释性差，调试起来费劲。
这个项目标题明确写“解剖学引导”，我更推荐第一种或第二种。额外标注的成本可控（器官轮廓标注比肿瘤病灶标注快很多），但对精度的提升很显著。我自己的实验里，加了乳腺区域先验之后，假阳性率降低了约30%，而且模型在异质性病灶（比如伴有钙化、坏死、囊变的肿瘤区域）上的表现更稳。
4.2 解剖先验怎么“嵌入”网络中
嵌入方式也是一门学问。常见的做法是在解码器阶段把解剖概率图作为额外的输入通道拼接进去，但我试了之后效果一般——网络很容易忽略这个通道，或者在浅层就把信息稀释掉了。
更好的做法是在注意力融合模块里用解剖先验做门控。具体来说，CT编码器输出的解剖特征图经过一个小卷积头，得到每个体素/区域属于“正常解剖结构”的置信度图。这个置信度图会和PET特征逐元素相乘，起到“抑制非解剖位置代谢热点”的作用。这就像给模型装了一个常识过滤器：不管PET上亮得多厉害，如果它不在正常解剖范围内，就降低它是肿瘤的可能性。
从数学上看，这个操作等价于在PET特征图f_PET上乘一个空间权重图w = sigmoid(Conv(f_CT))，再与CT特征融合。实现成本很低，就是多了一个卷积头和一次乘法操作，但对模型行为的影响是巨大的。
4.3 为什么这个设计能同时减少假阳性和假阴性
有人可能会问：解剖先验会不会把异位病灶（比如淋巴结转移）漏掉？这是个非常关键的质疑。
我的答案是：解剖先验的意义不是“把不在先验区域的信号全部清零”，而是“降低其先验概率”。在实现时，解剖门控的权重上限不是0而是0.3~0.5，也就是说，极少数代谢信号特别强、轮廓特别清晰的异位病灶，仍然可以通过高特征响应“压过”抑制信号，被模型识别出来。这相当于保留了一定的容错空间。
同时，对于乳腺区的原发灶和乳腺区域淋巴结，解剖门控会让模型更敏感——因为先验范围内的高代谢区域几乎不可能是正常生理摄取，模型可以更大胆地把它判定为肿瘤。这个“非对称性”设计，恰到好处地兼顾了敏感性和特异性。
5. 数据准备、预处理与标注规范：全身PET-CT项目的隐形战场
5.1 数据来源、清洗与隐私脱敏
聊了这么多模型设计，如果我们回归真实场景，会发现在医学影像项目里，数据处理才是最耗时、最容易出问题的环节。PET-CT原始数据通常以DICOM格式存储，每个患者包含两个序列（PET和CT），加在一起少说两三百个切片。数据清洗要做的事包括：
- 排除扫描床板、体外金属伪影、对比剂浓聚等干扰大的病例。
- 确认PET和CT的物理空间范围是否一致，不一致时需要裁剪到公共区域。
- 检查两个模态的体素间距和层厚是否匹配，不匹配时统一重采样。
- 对患者信息完全脱敏，去掉所有DICOM头文件里的姓名、ID、日期字段。
这个阶段我踩过最大的坑是分辨率不匹配。PET图像体素间距通常是3~4mm，CT则是0.5~1mm。如果直接上采样或者下采样处理不当，就会引入新的形变。我的做法是把PET和CT都重采样到同一个固定间距（1.5mm），采用三次样条插值保留更多结构信息。注意不能用最近邻，否则PET图像会出现明显的块状伪影。
5.2 预处理流程的黄金组合
总结来说，预处理流程我固定为五步：
- DICOM解析：提取PET的SUV体数据和CT的HU体数据。
- 重采样：统一到1.5mm各向同性体素间距。
- 裁剪：找到包含乳腺区域和胸廓的范围，裁剪到合理尺寸，减少背景干扰。
- 体素归一化：PET的SUV建议裁剪到0~15范围（乳腺病灶SUVmax一般不会超过这个范围），然后除以15映射到0~1；CT的HU值裁剪到-150~250（覆盖软组织窗口），再做min-max归一化。
- 数据增强：训练时随机做±15°旋转、±10mm平移、轻微弹性形变、随机强度扰动。弹性形变的形变幅度要控制得小，因为医学图像对空间关系的敏感性比自然图像高得多。
第五步里，我特别强调弹性形变的幅度要保守。曾经有一次，我为了增强多样性把弹性形变调得过大，结果模型在真实数据上出现了一连串破碎分割碎片。后来把形变空间平滑度提高了，问题才缓解。
5.3 标注规范：怎么定义“肿瘤边界”才公平
最后是标注。这是医学分割项目里最微妙的部分，因为不同医生对病灶边界的理解差异很大。有的按PET代谢活性边界圈，有的按CT解剖边界圈，还有的以融合图像为准。这个项目为此专门建立了标注规范：
- 首要标准：以PET代谢增高的边界为基础，参考CT解剖结构进行修正。
- 对多发病灶，只标注明确存在异常代谢活性的区域，不标注坏死区内部（坏死区在CT上表现为低密度但无代谢活性）。
- 对淋巴结，需要结合短径和代谢活性综合判断，有明显坏死或钙化时单独标记属性。
- 所有病例由两名医生独立标注，采用STAPLE算法合并，产生一条参考金标准。
STAPLE算法在这类任务里很好用，它能根据每个标注者的历史一致性自动分配权重，减少个体的主观偏差。标注时间成本不算低，一个全身病例大概30~40分钟，我建议至少标注200例以上再动手训练，否则验证结果会很虚。
6. 训练策略、评估指标与实验结果解读
6.1 损失函数的组合拳
分割模型的损失函数我推荐一个组合：Dice Loss + Focal Loss + 边缘距离Loss。
Dice Loss负责整体区域重叠度，能在类别不均衡（肿瘤区域占全图比例通常不到2%）时保持训练稳定。Focal Loss用来解决边界像素的难分样本问题——肿瘤边界常与周围组织灰度接近，让网络多关注这些“难啃”的像素。边缘距离Loss是我自己实验加进去的，做法是计算预测边界和标注边界之间的距离map，作为额外监督信号，能显著提升边界精度，在乳腺癌这种边界不规则的病灶上体验尤其明显。
三个损失我按Dice:Focal:边缘=1:1:0.5的权重组合。权重比例可以先固定，等基础Dice起来之后再微调。
6.2 训练参数与数值格式选型
训练参数方面，我直接给一套经过验证的默认值：
- 优化器：AdamW，初始学习率3e-4，采用Poly学习率衰减，衰减指数0.9。
- Batch size：8~12（取决于patch尺寸和显存），patch尺寸建议96×96×64。
- 总轮数：200~300轮。医学图像分割数据量小，我一般不追求超大轮数，而是配合早停策略，看验证Dice在20轮内不升就保存最佳模型。
这里必须提一下浮点数格式选型，这也是很多做深度学习工程落地的同学关心的事。训练阶段，我推荐混合精度（AMP）训练，前向用FP16，反向传播更新参数时用FP32。训练初期的一个小技巧是：前10轮先用FP32跑，等loss稳定下降到合理区间后再切AMP。因为FP16的梯度动态范围窄，如果一开始就用，loss可能出现剧烈震荡。
如果显卡支持BF16（比如Ampere架构之后的数据中心卡），我建议用BF16替代FP16做训练。BF16的指数范围和FP32一样，不容易出现溢出问题，对医学影像这种对数值精度有一定要求的场景更友好，稳定性肉眼可见地提升。
推理阶段我通常走TensorRT FP16加速，在保持精度的同时能把推理速度提升2~3倍，对临床实时性要求高的情况很有用。如果追求极致精度且推理环境卡资源充足，TF32格式也可以考虑——TF32牺牲了一点尾数精度但指数范围和FP32一致，在Ampere架构上的表现对医学任务来说几乎无损。
6.3 评估指标的选法与陷阱
评估分割模型，不能只看一个Dice系数。我推荐一套完整的指标组合：
- Dice相似系数：衡量区域重叠度，≤0.9为优秀，0.8~0.9为良好。
- HD95（95%豪斯多夫距离）：衡量边界最大偏差，乳腺癌病灶我一般要求HD95小于5mm。
- 病灶级别召回率：主要统计小病灶（最大径小于10mm）的检出率，这个指标对临床价值巨大。
- 每例假阳性数：医生最直观的感受，平均每例不超过3个才算可用。
这里有个常见的坑：全身PET-CT数据里大量切片是不含病灶的，如果只按整体Dice评估，会被大量“真阴性”切片的正确合入拉高分数。所以我强调在病灶阳性切片上单独计算Dice，同时补充病灶级指标。如果阳性切片的Dice只有0.7，而整体Dice是0.9，说明模型过分保守，严重偏向于“不预测”，这种情况在临床上反而会漏掉很多病灶。
我的实验数据是：双编码器+注意力融合+解剖门控，在内部验证集上整体Dice约0.88，阳性切片Dice约0.85，HD95约4.2mm，病灶级召回率约91%。这个水平已经具备辅助阅片的价值。从消融实验看，去掉解剖门控后假阳性率翻了一倍，去掉自对齐模块后HD95从4.2mm恶化到6.1mm，证实了这两个模块各自的重要性。
7. 常见问题与排查技巧实录
7.1 PET-CT错位导致的假阳性分割
现象：模型在肝脏、肠管区域频繁产生小团块状的分割结果，医生一眼就说是错的。
排查：先检查PET和CT的对齐情况。我用的是可视化工具把两张图的棋盘格叠加显示，结果发现错位在膈面区域达到15~20mm。原因是指定PET扫描时患者呼吸幅度较大，CT瞬间捕获的膈面位置和PET平均位置差异明显。
解决：一是加强自对齐模块的NCC损失权重，并适当提高形变场平滑正则；二是在预处理阶段加入基于刚性配准的粗对齐先验，把PET和CT调整到同一坐标系。加了之后假阳性数量下降非常明显。
7.2 小尺寸转移灶漏检
现象：算法对直径小于8mm的微小病灶基本无感，尤其骨骼转移灶。
分析：三维U-Net的下采样倍数较大，小病灶在下采样过程中被逐渐平滑掉。加上骨骼区域的PET摄取本来就受部分容积效应影响，信号强度偏低，漏检几乎不可避免。
解决：在解码器阶段引入更细的浅层feature监督，并在损失函数里加重小病灶的权重。另一个实用技巧是做一个由粗到细的两阶段级联：第一级在全分辨率上找候选区域，第二级在裁剪后的候选区域上做精细分割。两阶段方案对小微病灶的敏感性提升非常明显，但工程复杂度也上去了，需要权衡。
7.3 跨中心泛化下降
现象：在A医院采集的数据上训练，拿去B医院测试时Dice掉了15个百分点。
原因分析：PET和CT的采集协议、重建算法、显像剂给药剂量在不同中心有差异，导致灰度分布和噪声特性不同。这是医学影像模型落地最头疼的问题之一。
经验建议：训练时做强度畸变增强，模拟不同中心的灰度分布差异；在推理时针对新中心的平均SUV值做一次轻量级归一化校准；如果条件允许，收集新中心少量数据微调BN层参数。通过这些手段基本能把跨中心掉点控制在5个百分点以内。
7.4 显存溢出与训练不稳定
现象：96×96×64的patch、batch size 8，双编码器模型在12GB显存上直接Out of Memory。
处理：先用梯度累积，把batch size降到2，累积4步等效于batch size 8的更新效果。再不行就减patch尺寸到64×64×64，配合混合精度训练。要是还想压显存，可以把PET和CT分支的浅层通道数从32减到24，精度影响通常在0.2个Dice点以内。
不稳定的情况还要看loss曲线。如果loss在前期就出现尖刺，建议先把学习率降到1e-4，并把AMP关闭跑50轮确认基准，再逐步放开。
8. 落地部署与一些个人体会
说完模型本身，还有一块不能不提的是部署落地。分割模型训练出来只是开始，要真正进入临床辅助诊断流程，工程层面的工作一点不少。
我的部署方案是：训练好的PyTorch模型导出为ONNX格式，再转换到TensorRT的FP16引擎，在医疗工作站上的推理时间从原始PyTorch的5~8秒/例降到2秒以内。输入输出层面做了前后处理封装成Docker容器，通过标准HTTP接口对外提供服务，这样能嵌入到已有的PACS/RIS系统或者阅片工作流里。
部署中一个很容易被忽视的问题是输出的后处理。模型直接输出的概率图会有一些散落的孤岛区域，我加了三个后处理规则：小于0.2cc的连通域直接丢弃；距乳腺区域超过50mm且SUVmax低于5的候选区域降级为低置信度；相邻层间分割区域面积突变超过3倍时检查连续性。这些规则虽然简单，但对最终交付效果的影响不亚于模型本身。
最后分享一点个人经验吧。做医学影像分割这几年，我最大的体会是：不要迷信网络结构，要把60%的精力花在数据和问题定义上。同样的U-Net骨架，配合合理的预处理、精准的标注规范、针对性的解剖先验和配准模块，效果能甩开某些花哨新模型好几条街。这个项目里“解剖学引导”和“跨模态自对齐”之所以有效，核心不是技巧多炫，而是它们分别对应了PET-CT分析中最本质的两个先验——解剖结构不会突变、同源模态应当对齐。
跨模态自对齐这个方向，我后面还计划往多任务对抗训练方向试，让对齐和分割互相促进得更狠一点。如果你也在做相似的方向，欢迎交流踩坑细节，尤其配准形变场正则和跨中心泛化这两块，值得大家花时间深挖。