目录
1、题目
2、文献信息
3、动机
4、主要工作
5、核心创新点
6、网络结构
1）总体架构
2)SSDFusion 的整体框架
3）提出的两阶段训练策略，设计了相应的多级损失函数
1、题目
SSDFusion: A scene-semantic decomposition approach for visible and infrared image fusion
SSDFusion：一种用于可见光与红外图像融合的场景语义分解方法
2、文献信息
作者：雷明亚、肖一贤、刘新宇、郑国龙、肖国宝*
出处：PATTERN RECOGNITION，2025(163)111457
IF：7.6，JCR分区：Q1，新锐分区：计算机科学1区
链接：SSDFusion: A scene-semantic decomposition approach for visible and infrared image fusion - ScienceDirect
3、动机
现有方法难以充分处理不同模态间的特征关系，导致跨模态特征提取不足；像素级融合策略主要关注图像质量提升，通常忽略场景信息与语义上下文的互补作用，导致在下游任务中表征性能不佳；下游任务中表征性能不佳
4、主要工作
1）提出了名为SSDFusion的新型可见光与红外图像场景-语义分解与融合框架
2）构建了多级编码器-融合网络，分别提取并融合场景相关与语义相关特征，并将融合后的语义特征注入场景特征中以丰富上下文信息
3）引入元特征嵌入（Meta-feature embedding）机制，在训练阶段将融合网络与下游应用（如语义分割）的骨干网络相连接，以优化融合效果并提升下游任务性能 。在MSRS、FMB等数据集上进行了广泛实验验证
5、核心创新点
1）场景-语义特征分解与融合策略：采用Transformer提取全局场景特征，CNN提取局部语义特征 ，并通过SPADE机制将语义特征动态注入场景特征
2)多级编码器-融合架构：构建与下游应用骨干网络层级对齐的多级网络 ，实现多尺度的特征提取与特征指导
3)元特征嵌入模块（MFEM）：模拟元学习机制 ，利用下游任务特征直接微调和监督融合网络中的语义分支
6、网络结构
1）总体架构
2)SSDFusion的整体框架
SSDFusion的整体由多级编码器-融合网络、图像重建解码器以及用于连接下游骨干网络的元特征嵌入模块（MFEM）组成
多级编码器-融合网络(Multi-Level Encoder-Fusion Network)
元特征嵌入模块(MFEM)
图像重建解码器(Image Reconstruction Decoder)
3）提出的两阶段训练策略，设计了相应的多级损失函数
图像重建与融合学习阶段
元特征嵌入阶段
