8.4 智能诊断报告：从影像到文本的跨模态生成
在前面的章节中，我们学习了医学影像的处理、病灶检测与分割等关键技术。本章将探讨如何利用这些技术成果，结合自然语言处理技术，自动生成智能诊断报告。这是医学人工智能领域的一个重要应用方向，能够显著提高医生的工作效率，减少重复性劳动。
跨模态生成概述
跨模态生成是指在不同模态数据之间进行转换的技术，例如从图像生成文本、从文本生成图像等。在医疗领域，最常见的跨模态生成任务就是从医学影像生成诊断报告文本。
跨模态生成的挑战
- 模态差异：图像和文本属于完全不同的数据类型
- 语义鸿沟：需要在视觉特征和语言表达之间建立联系
- 医学专业性：生成的文本需要符合医学规范和术语
- 个性化需求：不同医院和医生可能有不同的报告格式要求
基于编码器-解码器的跨模态生成
1. 基础架构
importtorchimporttorch.nnasnnimporttorch.nn.functionalasFfromtransformersimportBertTokenizer,BertModelimportnumpyasnpclassMedicalImageEncoder(nn.Module):"""医学影像编码器"""def__init__(self,backbone='resnet50',feature_dim=512):super(MedicalImageEncoder,self).__init__()# 选择骨干网络ifbackbone=='resnet50':fromtorchvision.modelsimportresnet50 self.backbone=resnet50(pretrained=True)# 修改最后的全连接层self.backbone.fc=nn.Linear(self.backbone.fc.in_features,feature_dim)elifbackbone=='densenet121':fromtorchvision.modelsimportdensenet121 self.backbone=densenet121(pretrained=True)self.backbone.classifier=nn.Linear(self.backbone.classifier.in_features,feature_dim)self.feature_dim=feature_dimdefforward(self,x):""" 前向传播 Args: x: 输入图像张量 [B, C, H, W] Returns: 图像特征 [B, feature_dim] """features=self.backbone(x)returnfeaturesclassReportDecoder(nn.Module):"""诊断报告解码器"""def__init__(self,feature_dim=512,hidden_dim=512,vocab_size=10000,max_length=512):super(ReportDecoder,self).__init__()self.feature_dim=feature_dim self.hidden_dim=hidden_dim self.vocab_size=vocab_size self.max_length=max_length# 特征到隐藏状态的映射self.feature_to_hidden=nn.Linear(feature_dim,hidden_dim)# LSTM解码器self.lstm=nn.LSTM(input_size=hidden_dim,hidden_size=hidden_dim,num_layers=2,batch_first=True,dropout=0.3)# 输出层self.output_projection=nn.Linear(hidden_dim,vocab_size)# 嵌入层self.embedding=nn.Embedding(vocab_size,hidden_dim)defforward(self,image_features,target_tokens=None):""" 前向传播 Args: image_features: 图像特征 [B, feature_dim] target_tokens: 目标token序列 [B, seq_len] (训练时使用) Returns: 生成的token概率分布 """batch_size=image_features.size(0)# 将图像特征映射到隐藏状态hidden_state=self.feature_to_hidden(image_features)hidden_state=hidden_state.unsqueeze(0).repeat(2,1,1)# 重复用于多层LSTMcell_state=torch.zeros_like(hidden_state)iftarget_tokensisnotNone:# 训练模式# 嵌入目标tokenembedded=self.embedding(target_tokens)# LSTM解码lstm_output,_=self.lstm(embedded,(hidden_state,cell_state))# 输出投影output=self.output_projection(lstm_output)returnoutputelse:# 推理模式 - 自回归生成returnself._generate_sequence(hidden_state,cell_state)def_generate_sequence(self,hidden_state,cell_state):""" 自回归生成序列 Args: hidden_state: 初始隐藏状态 cell_state: 初始细胞状态 Returns: 生成的token序列 """batch_size=hidden_state.size(1)# 初始输入token (假设0为起始符)input_token=torch.zeros(batch_size,1,dtype=torch.long,device=hidden_state.device)generated_tokens=[]lstm_hidden=(hidden_state,cell_state)for_inrange(self.max_length):# 嵌入当前tokenembedded=self.embedding(input_token)# LSTM一步解码lstm_output,lstm_hidden=self.lstm(embedded,lstm_hidden)# 输出投影output=self.output_projection(lstm_output)# 获取概率最高的tokennext_token=torch.argmax(output,dim=-1)generated_tokens.append(next_token)# 更新输入tokeninput_token=next_tokenreturntorch.cat(generated_tokens,dim=1)classMedicalReportGenerator(nn.Module):"""医学诊断报告生成器"""def__init__(self,image_encoder,text_decoder):super(MedicalReportGenerator,self).__init__()self.image_encoder=image_encoder self.text_decoder=text_decoderdefforward(self,images,target_tokens=None):""" 前向传播 Args: images: 输入图像 [B, C, H,
