1. 项目概述
在脑机接口和情感计算领域，脑电图（EEG）信号的情感识别一直是个技术难点。传统方法依赖手工提取特征和浅层机器学习模型，效果有限。我们开发的RBTransformer模型创新性地将Transformer架构引入EEG信号处理，通过改进的自注意力机制和残差连接，在多个公开数据集上取得了SOTA性能。
这个项目源于我在医疗AI创业时的实际需求——如何从脑电波中准确识别用户情绪状态。经过半年多的迭代，最终形成的这个方案不仅识别准确率高，而且对个体差异和噪声具有很好的鲁棒性。下面我就详细拆解这个模型的架构设计和实现细节。
2. 核心架构设计
2.1 输入表示层
EEG信号的特殊性决定了不能直接套用NLP中的Transformer。我们的输入表示层包含三个关键设计：
- 多电极时空编码：
- 将128通道的EEG信号转换为时空矩阵（时间×通道）
- 使用1D卷积核（kernel_size=5）沿时间轴提取局部特征
- 电极位置编码采用球面坐标系投影：
# 电极位置编码示例 def get_position_encoding(channel_positions): r = np.linalg.norm(channel_positions, axis=1) theta = np.arccos(channel_positions[:,2]/r) phi = np.arctan2(channel_positions[:,1], channel_positions[:,0]) return np.stack([r, theta, phi], axis=1)频段分解嵌入：
- 并行5个带通滤波器（δ/θ/α/β/γ）
- 每个频段信号单独进行傅里叶变换
- 通过可学习的频段权重矩阵融合
时间分段策略：
- 将4秒时长的信号划分为16个250ms的segment
- 每个segment内部做局部注意力计算
- segment之间建立全局注意力关联
注意：电极阻抗差异会导致信号幅度变化，建议在输入前做z-score归一化（每个通道单独处理）
2.2 改进的Transformer模块
2.2.1 带状注意力机制
传统全局注意力在EEG上效果不佳，我们提出带状注意力（Band Attention）：
class BandAttention(nn.Module): def __init__(self, band_width=3): super().__init__() self.band_width = band_width def forward(self, Q, K, V): B, L, D = Q.shape attn = torch.matmul(Q, K.transpose(-2,-1)) # 创建带状掩码 mask = torch.ones(L, L) for i in range(L): low = max(0, i-self.band_width) high = min(L, i+self.band_width+1) mask[i, low:high] = 0 attn = attn.masked_fill(mask.bool(), float('-inf')) return torch.softmax(attn, dim=-1) @ V这种设计基于EEG信号的局部连续性原理，相邻时间点的神经活动具有更强相关性。
2.2.2 残差双通路结构
主通路：标准Transformer编码器 辅助通路：并行的时间卷积分支（TCN）
class ResidualDualPath(nn.Module): def __init__(self, d_model): super().__init__() self.attn_path = nn.TransformerEncoderLayer(d_model, nhead=8) self.conv_path = nn.Sequential( nn.Conv1d(d_model, d_model, kernel_size=3, padding=1), nn.BatchNorm1d(d_model), nn.GELU() ) def forward(self, x): attn_out = self.attn_path(x) conv_out = self.conv_path(x.transpose(1,2)).transpose(1,2) return attn_out + 0.3 * conv_out # 经验系数2.3 分类器设计
不同于常规的直接全连接分类，我们采用三级决策机制：
时间维度聚合：使用注意力池化代替简单平均
class AttentionPooling(nn.Module): def __init__(self, d_model): super().__init__() self.query = nn.Parameter(torch.randn(d_model)) def forward(self, x): # x: [B, L, D] attn = torch.softmax(x @ self.query, dim=1) # [B, L] return (x * attn.unsqueeze(-1)).sum(dim=1) # [B, D]频段特征融合：通过门控机制动态加权各频段贡献
标签分布学习：输出每个情感维度的概率分布（valence/arousal）
3. 训练策略与调优
3.1 数据增强方案
EEG数据增强需要符合神经信号特性：
- 时间扭曲：随机拉伸/压缩片段（幅度<10%）
- 通道丢弃：随机mask掉15%的电极通道
- 频段噪声：在特定频段添加高斯噪声（SNR=20dB）
- 跨被试混合：使用MixUp策略混合不同受试者的样本
class EEGMixUp(nn.Module): def __init__(self, alpha=0.4): self.alpha = alpha def __call__(self, batch1, batch2): lam = np.random.beta(self.alpha, self.alpha) mixed_x = lam * batch1['eeg'] + (1-lam) * batch2['eeg'] mixed_y = lam * batch1['label'] + (1-lam) * batch2['label'] return {'eeg': mixed_x, 'label': mixed_y}3.2 损失函数设计
采用多任务学习框架：
- 主损失：标签分布损失（KL散度）
- 辅助损失：
- 频段一致性损失（最大均值差异）
- 时间连续性损失（相邻segment特征相似性）
- 对抗损失（区分不同受试者）
loss = kl_loss(pred, target) \ + 0.1 * mmd_loss(alpha_feats, beta_feats) \ + 0.05 * cont_loss(segment_embeddings) \ + 0.2 * adv_loss(subject_discriminator(features))3.3 训练技巧
渐进式训练：
- 阶段1：仅训练输入表示层（冻结Transformer）
- 阶段2：解冻底层Transformer，固定上层
- 阶段3：全模型微调
动态学习率：
scheduler = torch.optim.lr_scheduler.OneCycleLR( optimizer, max_lr=3e-4, steps_per_epoch=len(train_loader), epochs=100, pct_start=0.3 )梯度裁剪：设置global_norm=1.0防止梯度爆炸
4. 实验结果与分析
4.1 性能对比（DEAP数据集）
| 模型 | Valence Acc | Arousal Acc | 参数量 |
|---|---|---|---|
| SVM-RBF | 62.3% | 58.7% | - |
| EEGNet | 68.2% | 65.4% | 3.2M |
| ST-Transformer | 72.1% | 70.5% | 8.7M |
| RBTransformer (Ours) | 76.8% | 74.3% | 6.5M |
4.2 消融实验
| 变体 | Valence Acc | 关键修改 |
|---|---|---|
| Base | 71.2% | 标准Transformer |
| +BA | 73.5% | 添加带状注意力 |
| +RDP | 75.1% | 增加残差双通路 |
| Full | 76.8% | 完整模型 |
4.3 可视化分析
注意力模式：
- 前额叶电极在valence识别中权重较高
- γ波段对arousal识别贡献最大
- 时间注意力呈现"中间高两头低"的分布
错误案例分析：
- 混淆主要发生在high arousal的positive/negative之间
- 个体生理差异导致的基线漂移是主要误差源
5. 部署优化方案
5.1 轻量化改进
知识蒸馏：
- 教师模型：完整RBTransformer
- 学生模型：浅层Transformer+CNN混合
- 蒸馏损失：KL散度+注意力矩阵MSE
量化感知训练：
model = quantize_model(model, quant_config={ 'activation': 'per_tensor_symmetric', 'weight': 'per_channel_symmetric' })
5.2 实时处理流水线
graph TD A[原始EEG] --> B(50Hz陷波滤波) B --> C[分段缓存250ms] C --> D{模型推理} D --> E[情感状态输出] D --> F[异常检测] F -->|异常| G[触发重校准]实际部署时建议使用TensorRT加速，在Jetson AGX上可达35ms延迟
6. 典型问题排查
6.1 性能下降问题
现象：跨数据集测试时准确率骤降
解决方案：
- 检查电极位置映射是否匹配
- 添加领域适应层：
class DomainAdapter(nn.Module): def __init__(self, feat_dim): super().__init__() self.proj = nn.Linear(feat_dim, feat_dim, bias=False) self.proj.weight.data = torch.eye(feat_dim) def forward(self, x): return x + 0.1 * self.proj(x) # 小幅度特征空间变换 - 使用测试集前10%数据做少量微调
6.2 训练不收敛问题
可能原因：
- EEG信号未做合适的归一化（建议分受试者归一化）
- 学习率设置不当（初始建议3e-5）
- 批次内样本差异过大（保持batch_size≥32）
诊断步骤：
- 检查输入数据的均值/方差
- 可视化第一层注意力权重
- 监控梯度范数（理想值0.5-2.0）
7. 应用场景扩展
7.1 精神健康监测
- 抑郁症患者的情绪波动模式分析
- 每日情绪状态变化趋势可视化
- 结合语音/表情的多模态校验
7.2 智能交互系统
- VR场景中的实时情绪反馈
- 根据注意力状态调整内容难度
- 驾驶员疲劳状态检测（需增加特定频段分析）
7.3 脑机接口优化
- 运动想象任务中的情绪干扰消除
- 基于情绪状态的解码策略调整
- 提供更自然的反馈机制
这个项目在实际落地时发现，模型对干电极的兼容性比预期要好，但在高运动伪迹环境下仍需结合前置滤波。最近我们正在探索将这种架构扩展到更多生理信号处理任务，比如心电图的情绪识别，初步结果也很有前景。
