SHAP与EBM对比：AI眼底诊断的可解释性实战解析

1. 项目概述：当AI遇见眼底，我们如何看清它的“诊断思路”？

在神经内科和眼科，多发性硬化（MS）的诊断与病程监测一直是个复杂且充满挑战的课题。传统的磁共振成像（MRI）是金标准，但它昂贵、耗时，且对部分病灶不敏感。近年来，光学相干断层扫描（OCT）作为一种快速、无创、高分辨率的成像技术，在检测MS相关的视网膜神经纤维层（RNFL）和神经节细胞层（GCL）变薄方面展现出巨大潜力，被视为监测神经退行性变的“窗口”。与此同时，人工智能（AI），尤其是深度学习模型，在分析海量OCT图像、量化细微变化并预测疾病状态方面，其准确度甚至开始超越人类专家。然而，一个核心的信任壁垒也随之而来：当AI模型给出一个“高概率MS”或“疾病进展”的判断时，临床医生和研究者难免会问——“它到底是根据图像的哪个部分做出的决策？这个判断可靠吗？”

这正是“可解释人工智能”（XAI）登场的舞台。我们做的这个项目，标题为“基于XAI与OCT的MS诊断：SHAP与EBM模型可解释性对比研究”，其核心目标并非单纯追求最高的诊断准确率，而是深入AI模型的“黑箱”内部，去比较和评估两种主流可解释性方法——SHAP与EBM——在OCT-MS诊断场景下的表现。简单来说，我们训练了一个AI模型来根据OCT图像诊断MS，然后用了两把不同的“手电筒”（SHAP和EBM）去照亮这个模型的决策过程，看看它们照亮的“证据区域”是否合理、是否一致、哪种更符合临床直觉。这对于推动AI从实验室走向真实的临床决策支持至关重要，它关乎医生的信任、模型的可靠性以及最终的患者安全。

2. 核心思路与技术选型：为什么是SHAP和EBM？

在开始堆砌代码和跑实验之前，理清整个项目的技术脉络和选型逻辑是关键。这决定了后续所有工作的方向和深度。

2.1 问题定义与数据基础

我们的任务是一个典型的二分类问题：输入是一张或多张经过预处理的标准OCT图像（通常是黄斑区或视盘周围的环形扫描），输出是该受试者被诊断为MS的概率。数据通常来源于临床研究队列，包含MS患者和健康对照者的OCT数据，并配有经过临床确认的标签。

这里有几个关键细节需要注意：

1. 图像预处理是基石：OCT原始图像往往存在亮度不均、血管阴影、图像噪点等问题。标准的预处理流程包括：图像裁剪（聚焦视网膜层）、对比度增强（如CLAHE）、标准化（将像素值缩放到固定范围，如0-1），以及可能的数据增强（旋转、翻转）以应对小样本问题。预处理的质量直接影响到模型学习的效率和最终性能的上限。
2. 标签的严谨性：MS的诊断本身是复杂的，可能包含临床孤立综合征（CIS）、复发缓解型MS（RRMS）、继发进展型MS（SPMS）等不同阶段。在项目初期，为了简化问题，我们通常先做“MS vs. 健康对照”的二分类。更精细的分期或预后预测是后续的进阶课题。
3. 从2D到3D的考量：大多数公开OCT数据集是二维的B-scan。但视网膜是立体的结构。如果条件允许，使用3D-OCT体积数据能提供更丰富的空间上下文信息，但这对模型复杂度和计算资源提出了更高要求。我们本次研究基于广泛使用的2D OCT数据集进行，以确保方法的可复现性和对比的公平性。

2.2 预测模型的选择：效率与性能的平衡

虽然项目重点是解释性，但底层预测模型的性能必须过硬，否则解释一个糟糕的模型没有意义。我们选择了经典的ResNet-50作为特征提取主干网络。原因如下：

• 成熟与高效：ResNet-50在ImageNet上经过了充分的预训练，其提取通用图像特征的能力非常强大。通过迁移学习，我们可以在相对较小的医学图像数据集上快速收敛，获得优异性能。
• 结构清晰：其残差块结构明确，便于我们后续挂钩可解释性方法，分析不同深度特征图的重要性。
• 替代方案：当然，你也可以选择更轻量的EfficientNet（兼顾精度与速度），或专为医学图像设计的模型（如Med3D等）。但对于OCT这类与自然图像在纹理、边缘上有一定相似性的图像，ResNet系列通常是稳妥且高效的起点。我们在全连接分类头之前使用了全局平均池化层，这本身也是一种轻量化的正则化手段，并且有利于后续某些可解释性方法的生成。

2.3 可解释性方法的对决：SHAP vs. EBM

这是本项目的灵魂。我们为何同时选择SHAP和EBM？因为它们代表了两种主流的、但哲学不同的可解释性范式。

SHAP（SHapley Additive exPlanations）：

• 核心思想：源于博弈论，将模型的预测值分摊到每一个输入特征（对于图像，就是每一个像素或超像素）上，计算该特征的“Shapley值”。这个值公平地衡量了该特征对最终预测结果的贡献度。
• 在图像上的应用：通常不会对每个像素计算（计算量过大），而是结合像KernelSHAP或DeepSHAP（针对深度学习模型）这样的近似方法。例如，DeepSHAP会利用模型的梯度信息，高效地回溯计算每一层特征对输入的贡献，最终生成一张与输入图像同尺寸的热力图（Saliency Map）。红色区域表示对“MS”预测有正向贡献（支持诊断），蓝色区域表示负向贡献（反对诊断）。
• 优点：具有坚实的数学理论基础（效率、对称性、可加性等公理）；能提供局部解释（针对单张图像）；可视化直观。
• 挑战：计算成本相对较高；生成的解释图有时可能显得“稀疏”或“噪声较多”；对于深度模型，其回溯过程是基于近似，可能存在误差积累。

EBM（Explainable Boosting Machine， 可解释提升机）：

• 核心思想：它本身就是一个天生可解释的模型，而非事后解释工具。EBM是广义可加模型（GAM）的一种高效实现，它将预测表示为每个特征独立函数的和。公式可简化为：g(E[y]) = β0 + f1(x1) + f2(x2) + ... + fk(xk)。对于图像，我们需要先将图像转换为一组特征（例如，通过CNN编码器提取的特征向量），然后EBM学习每个特征对预测的独立贡献函数f(x)。
• 在图像上的应用：我们无法直接将EBM作用于原始像素。标准流程是：使用一个CNN（如ResNet-50）作为编码器，提取图像的高维特征向量（例如，2048维）。然后，将这个特征向量作为输入，训练一个EBM模型。EBM会为这2048个特征中的每一个都学习一个贡献函数图。我们可以通过分析哪些特征的贡献函数斜率最陡、值最大，来反推哪些特征（进而对应原图的哪些语义区域）最重要。
• 优点：模型本身具备高精度和可解释性；能自动检测特征间的交互作用（可选）；提供的解释是全局的（基于整个数据集）且精确的，没有近似误差。
• 挑战：对图像数据的解释是“间接的”，需要通过CNN特征进行映射，可解释性的“分辨率”取决于特征向量的语义粒度。特征工程（或者说CNN编码器的选择）变得非常关键。

选型总结：SHAP是“事后诸葛亮”，擅长对任何黑箱模型进行精细的局部解释；EBM是“透明设计”，本身就是一个高性能且可解释的模型，提供全局特征重要性。将它们对比，我们能回答：一个事后解释方法（SHAP）指出的关键区域，与一个天生可解释模型（EBM）所依赖的关键特征，是否指向视网膜的同一解剖结构（如黄斑中心凹、RNFL层）？这能相互验证解释的可靠性。

3. 实验设计与核心实现细节

有了清晰的思路，接下来就是搭建整个实验管道。这个过程充满了工程细节和调优技巧。

3.1 数据流水线构建

我们使用PyTorch框架。数据加载和预处理是第一步，也是最容易出错的环节。

import torch from torchvision import transforms, models from torch.utils.data import Dataset, DataLoader from PIL import Image import pandas as pd class OCTDataset(Dataset): def __init__(self, csv_file, img_dir, transform=None): self.annotations = pd.read_csv(csv_file) # 包含‘image_path’, ‘label’列 self.img_dir = img_dir self.transform = transform def __len__(self): return len(self.annotations) def __getitem__(self, idx): img_path = os.path.join(self.img_dir, self.annotations.iloc[idx, 0]) image = Image.open(img_path).convert('L') # OCT常为灰度图 label = self.annotations.iloc[idx, 1] if self.transform: image = self.transform(image) return image, label # 定义训练和验证的数据增强/预处理 train_transform = transforms.Compose([ transforms.RandomHorizontalFlip(p=0.5), transforms.RandomRotation(degrees=10), transforms.Resize((256, 256)), transforms.ToTensor(), transforms.Normalize(mean=[0.5], std=[0.5]) # 灰度图单通道归一化 ]) val_transform = transforms.Compose([ transforms.Resize((256, 256)), transforms.ToTensor(), transforms.Normalize(mean=[0.5], std=[0.5]) ])

注意：OCT图像对比度通常较低。除了标准化，我们强烈建议在预处理中加入对比度受限的自适应直方图均衡化（CLAHE）。这可以通过OpenCV在加载图像后、转换为Tensor前完成。它能显著增强视网膜各层的边界，让模型更容易学习到结构性特征。

3.2 预测模型训练与调优

加载预训练的ResNet-50，并修改其最后一层以适应我们的二分类任务。

import torch.nn as nn model = models.resnet50(pretrained=True) # 修改第一层卷积，适应单通道灰度图输入（如果原始预训练模型是3通道） model.conv1 = nn.Conv2d(1, 64, kernel_size=7, stride=2, padding=3, bias=False) # 注意：修改了输入通道，对应层的权重需要重新初始化或部分初始化 # 修改全连接层，输出二分类概率 num_ftrs = model.fc.in_features model.fc = nn.Sequential( nn.Dropout(p=0.5), # 加入Dropout防止过拟合，医学图像数据量通常有限 nn.Linear(num_ftrs, 1), nn.Sigmoid() ) # 损失函数与优化器 criterion = nn.BCELoss() # 二分类交叉熵 optimizer = torch.optim.Adam(model.parameters(), lr=1e-4, weight_decay=1e-5) # 小学习率，加权重衰减 scheduler = torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, mode='min', patience=5, factor=0.5)

训练心得：

• 学习率是关键：从预训练模型微调，学习率必须设置得很小（如1e-4到1e-5），否则会破坏预训练好的特征提取能力。
• 早停法（Early Stopping）是必备：在验证集损失连续多个epoch不下降时停止训练，这是防止在小数据集上过拟合的最有效手段之一。
• 类别不平衡处理：MS患者与健康对照者的数量可能不等。如果差距较大，需要在损失函数中使用pos_weight参数，或对少数类进行过采样。

3.3 SHAP解释图的生成

我们使用captum库（PyTorch官方的可解释性工具包）来生成基于DeepLIFT（SHAP的一种近似）的归因图。

import captum from captum.attr import DeepLiftShap import numpy as np # 假设我们有一个训练好的模型 `trained_model` 和一张验证集图像 `input_img` (1, 1, H, W) # 需要定义基线（baseline），通常使用全零张量或随机噪声 baseline = torch.zeros_like(input_img) # 初始化DeepLIFT SHAP解释器 dl = DeepLiftShap(trained_model) # 计算归因。因为我们的模型输出是单个标量（MS概率），所以`target=0`。 # 如果想看对“健康”类的贡献，可以设置`target`为其他方式，但通常我们关注对正类（MS）的贡献。 attributions, delta = dl.attribute(input_img, baselines=baseline, target=0, # 对应模型输出的第一个（也是唯一一个）元素 return_convergence_delta=True) # 将归因图转换为numpy数组并可视化 attr_np = attributions.squeeze().cpu().detach().numpy() # 形状 (H, W)

可视化技巧：原始的归因图值域可能很广且包含正负值。为了生成清晰的热力图，我们通常进行以下后处理：

1. 取绝对值或仅保留正值（如果我们只关心对MS预测有贡献的区域）。
2. 使用matplotlib的imshow函数，叠加在原图上，并选择合适的色彩映射（如‘jet’或‘hot’）。
3. 调整透明度，使解剖结构依然可见。

import matplotlib.pyplot as plt def visualize_attribution(img, attribution, alpha=0.7): img = img.squeeze().cpu().numpy() attr = np.abs(attribution) # 取绝对值 attr = (attr - attr.min()) / (attr.max() - attr.min() + 1e-8) # 归一化到[0,1] fig, axes = plt.subplots(1, 2, figsize=(10, 5)) axes[0].imshow(img, cmap='gray') axes[0].set_title('Original OCT') axes[0].axis('off') im = axes[1].imshow(img, cmap='gray') # 叠加热力图 axes[1].imshow(attr, cmap='hot', alpha=alpha) axes[1].set_title('SHAP Attribution (Hot Regions = Important for MS)') axes[1].axis('off') plt.colorbar(im, ax=axes[1], fraction=0.046, pad=0.04) plt.show()

3.4 EBM模型的构建与解释

这里我们使用interpret库（微软开源的EBM实现）。步骤分为两步：先用CNN提取特征，再用EBM训练。

# 第一步：使用训练好的ResNet-50（去掉最后的全连接层）作为特征提取器 feature_extractor = nn.Sequential(*list(trained_model.children())[:-1]) # 获取到全局平均池化层之前的部分 feature_extractor.eval() # 为整个数据集提取特征 def extract_features(dataloader, model, device): features = [] labels = [] with torch.no_grad(): for imgs, lbls in dataloader: imgs = imgs.to(device) feats = model(imgs) # 输出形状: (batch_size, 2048, 1, 1) feats = feats.squeeze(-1).squeeze(-1) # 变为 (batch_size, 2048) features.append(feats.cpu().numpy()) labels.append(lbls.numpy()) return np.vstack(features), np.concatenate(labels) train_features, train_labels = extract_features(train_loader, feature_extractor, device) val_features, val_labels = extract_features(val_loader, feature_extractor, device) # 第二步：训练EBM from interpret.glassbox import ExplainableBoostingClassifier ebm = ExplainableBoostingClassifier(feature_names=[f'feat_{i}' for i in range(train_features.shape[1])], interactions=0) # 先不包含特征交互，简化分析 ebm.fit(train_features, train_labels) # 评估EBM性能 from sklearn.metrics import accuracy_score, roc_auc_score val_pred = ebm.predict(val_features) val_proba = ebm.predict_proba(val_features)[:, 1] print(f"EBM Accuracy: {accuracy_score(val_labels, val_pred):.4f}") print(f"EBM ROC-AUC: {roc_auc_score(val_labels, val_proba):.4f}") # 解释EBM：获取全局特征重要性 global_exp = ebm.explain_global() # `global_exp`对象包含了每个特征的贡献函数和重要性得分

关键点解析：

• 特征维度：ResNet-50提取的特征是2048维，这意味着EBM要学习2048个独立的函数f_i(x_i)。这要求训练数据量不能太少，否则EBM容易过拟合。
• 特征重要性：EBM可以提供每个特征的全局重要性排序。我们可以找出最重要的前K个特征（例如，top 20）。
• 从特征到图像区域的映射（难点与核心）：这是EBM解释图像的关键。我们需要理解CNN的哪个特征图（channel）对应了EBM的哪个重要特征。一种常见的方法是使用梯度加权类激活映射（Grad-CAM）或其变体。具体来说，对于EBM认为最重要的那个特征索引i，我们可以找到CNN中对应生成该特征值的那个通道（在全局平均池化之前），然后计算该通道特征图对原始图像的梯度，生成一个热力图，显示原图中哪些区域激活了这个“重要特征”。这个过程需要仔细的工程实现，是将EBM的“特征重要性”转化为“视觉可解释性”的桥梁。

4. 对比分析与结果解读：SHAP与EBM告诉我们什么？

模型训练好，解释图也生成了，真正的分析工作才刚刚开始。我们需要系统地对比SHAP和EBM给出的解释。

4.1 定性对比：视觉一致性评估

我们选取若干张模型预测正确（包括真阳性和真阴性）的典型OCT图像，将SHAP生成的热力图与通过EBM重要特征反推的Grad-CAM热力图并排展示。

预期中的理想情况：两种方法高亮区域都集中在视网膜的神经纤维层（RNFL）和神经节细胞层（GCL），尤其是黄斑区。这些区域的变薄是MS在眼底的典型生物标志物。如果热力图集中在这里，说明模型确实学到了与病理相关的医学知识，而不是一些无关的成像伪影或背景噪声。

实际可能遇到的情况与解读：

1. 高度一致：两者都清晰指向RNFL/GCL区域。这是最强有力的证据，表明黑箱模型（ResNet+SHAP）和透明模型（EBM）的决策依据相同，解释可信度高。
2. 部分一致：SHAP图可能更“分散”或带有一些噪声点，而EBM反推的图可能更集中、更平滑。这可能是因为SHAP对输入像素的微小变化更敏感，而EBM经过特征提取后，关注的是更高阶的语义特征。此时，需要结合临床知识判断EBM关注的区域是否更符合解剖学意义。
3. 不一致：两者高亮区域完全不同。这是最需要警惕的情况。可能的原因有：
   • SHAP计算不稳定：尝试使用不同的基线（如用多张图像的平均值作为基线）或换用Integrated Gradients方法重新计算，看结果是否稳定。
   • EBM特征映射错误：从重要特征索引到CNN特征通道的映射可能不准确，需要检查Grad-CAM的实现代码。
   • 模型学到了捷径特征：模型可能依赖于一些与疾病无关但数据集中偶然相关的特征（例如，某个特定设备的成像伪影、患者ID信息在图像边缘的残留）。这需要通过数据审计和更严格的交叉验证来排查。

4.2 定量对比：引入客观评估指标

仅仅“看图说话”不够客观。我们需要设计一些定量指标来评估解释的质量。

1. 定位准确性（如果具有像素级标注）：如果我们有幸拥有部分图像的视网膜层分割标注（例如，RNFL层的掩膜），我们可以计算SHAP热力图或EBM-Grad-CAM热力图与这些解剖结构掩膜的重叠度（如Dice系数、IoU）。重叠度越高，说明解释方法越能精准定位到病理相关区域。
2. 保真度（Faithfulness）：
   • 增加/删除测试：将SHAP或EBM指出最重要的像素区域（如前10%的像素）置零（删除）或随机化（增加噪声），然后观察模型预测概率的变化。一个忠实的解释，删除重要区域应导致预测概率大幅下降（对MS的信心降低），而删除不重要区域影响应很小。我们可以绘制“预测概率下降曲线”来对比两种方法。
   • 相关性：计算热力图中每个像素的重要性分数与该像素被扰动后预测变化的相关性。相关性越高，保真度越好。
3. 稳定性（Stability）：对同一张图像加入微小的、人眼不可见的随机噪声，然后重新计算解释图。计算两次解释图之间的相似性（如结构相似性指数SSIM）。稳定性高的方法，其解释结果应对微小扰动不敏感。

实操心得：定量评估需要大量的计算，尤其是保真度测试。建议在验证集的一个子集（如50-100张图）上进行。结果可以整理成表格，清晰地展示SHAP和EBM在各个指标上的均值与标准差。

4.3 临床意义挖掘与模型洞察

超越方法对比，我们最终要回答临床问题：AI看到了什么我们可能忽略的？

• 发现新的影像学生物标志物：通过观察大量解释图，我们可能会发现，除了已知的RNFL/GCL变薄，模型还频繁关注内丛状层（IPL）或光感受器层的某些特定形态改变。这可以形成新的科研假设，引导进一步的临床研究。
• 区分MS亚型：我们可以分别对RRMS和SPMS患者的OCT图像进行解释。对比两者SHAP/EBM模式的差异，或许能发现与疾病进展速度相关的影像学模式。
• 解释模型误判：分析那些被模型错误分类的病例（假阳性、假阴性）的解释图。例如，一个健康人被误判为MS（假阳性），其热力图是否错误地高亮了血管阴影？一个MS患者被漏诊（假阴性），其热力图是否因为图像质量太差而没有聚焦到病变层？这些分析对于改进模型和数据质量至关重要。

5. 项目复现的挑战、技巧与避坑指南

走完整个流程，我踩过不少坑，也积累了一些让实验更顺畅的经验。

5.1 数据准备与处理的坑

• 坑1：数据集标签噪声。临床数据标注难免有误。如果模型性能始终上不去或解释图乱七八糟，回头检查标签一致性是第一步。可以考虑让多位专家对存疑图像进行重新标注。
• 坑2：OCT设备间差异。不同品牌、型号的OCT机器成像风格、分辨率、信噪比不同。如果数据集混合了多种设备，模型可能学到的是“设备特征”而非“疾病特征”。解决办法：在数据预处理中尝试更强烈的标准化（如Z-score），或使用领域自适应技术，或在可能的情况下按设备来源对数据集进行分层划分（训练、验证、测试集都包含各设备的数据）。
• 技巧：在图像预处理环节，除了CLAHE，尝试视网膜层平坦化（如果有多层分割信息）。这能减少因扫描角度不同带来的层状结构弯曲，让模型更专注于层的厚度和纹理，而非几何形变。

5.2 模型训练与解释的坑

• 坑3：过拟合导致解释荒谬。在小数据集上，即使验证集准确率很高，模型也可能过拟合。过拟合的模型其解释图往往是混乱的、没有解剖学意义的。务必使用早停法、Dropout、权重衰减等强正则化手段，并监控训练/验证损失曲线。
• 坑4：SHAP基线选择不当。使用全零基线对于医学图像可能不是最优的，因为全黑图像本身不具生物学意义。可以尝试使用数据集的平均图像、随机图像或模糊图像作为基线，观察解释图的稳定性。DeepLIFT推荐使用“期望梯度”，即用多张参考图像的均值作为基线。
• 坑5：EBM特征维度灾难。2048维特征对于EBM来说可能过高，尤其当样本数只有几百时。可以尝试在CNN特征提取器后加入一个自编码器或PCA进行降维，将特征压缩到几十或几百维，再送入EBM，既能保留主要信息，又能提升EBM的训练稳定性和可解释性。
• 技巧：对于SHAP，使用captum.attr中的NoiseTunnel（噪声隧道）技术，通过多次添加噪声并计算归因的平均值，可以得到更平滑、更稳定的解释图。

5.3 结果分析与报告

• 保持批判性思维：可解释性方法本身也有局限性。SHAP和EBM给出的都是一种“解释”，而非“真理”。它们只能告诉我们模型可能依赖了哪些特征，但不能证明因果关系。所有的发现都必须与临床知识相结合进行解读。
• 可视化的一致性：在论文或报告中展示解释图时，确保所有热力图使用相同的色彩映射和强度标尺，方便读者对比。最好能将原图、分割标注（如有）、SHAP热力图、EBM-Grad-CAM热力图四宫格并列展示。
• 代码与数据的可复现性：使用固定的随机种子，并详细记录所有超参数（学习率、批量大小、数据增强参数、SHAP的基线、EBM的交互项设置等）。将预处理、训练、解释的代码完整开源，是这类研究获得认可的基础。

这个项目就像给AI诊断系统装上了“行车记录仪”和“透明引擎盖”。SHAP让我们能回放每一次诊断的“决策轨迹”，而EBM则直接让我们看到了引擎的内部构造。通过对比这两套系统，我们不仅能更信任AI的判断，更能从它的“视角”中发现人类可能忽略的疾病线索，最终实现人工智能与人类专家在精准医疗中的深度融合与相互启迪。在实际操作中，耐心和细致的分析往往比追求更高的准确率百分点更有价值，因为每一个可靠的解释，都是通往临床落地的一块坚实垫脚石。