一、本文介绍
🔥本文给大家介绍使用 CMFM 跨模态特征融合Mamba模块改进 YOLOv12 多模态融合目标检测框架，可在保持实时性的前提下实现高效稳定的跨模态特征融合，充分利用可见光与红外信息的互补优势，显著提升复杂环境下的检测鲁棒性。该模块基于 Mamba 状态空间模型进行全局建模，以线性复杂度替代传统注意力机制，在增强长程依赖建模能力的同时有效降低计算和显存开销，使 YOLOv12 多模态目标检测在精度、速度和工程可部署性之间取得更优平衡。
🔥欢迎订阅我的专栏、带你学习使用最新-最前沿-独家YOLO多模态创新改进！🔥
🔥YOLO多模态改进专栏目录：《YOLO多模态全网独家创新》多模态融合改进教程，包含早期融合、中期融合、后期融合、损失函数改进、二次创新模块、独家创新等几百种创新点改进，答疑群提供完整项目，永久更新中
🔥YOLO多模态创新订阅地址：YOLO多模态创新改进专栏—轻松跑实验、多模态项目较容易冲顶会顶刊，永久更新中
本文目录
一、本文介绍
二、CMFM 跨模态特征融合Mamba模块介绍
2.1 CMFM 跨模态特征融合Mamba模块结构图
2.2 CMFM 跨模态特征融合Mamba模块的作用
2.3 CMFM 跨模态特征融合Mamba模块的原理
2.4 CMFM 跨模态特征融合Mamba模块的优势
三、完整核心代码
四、手把手教你配置模块和修改tasks.py文件
1.首先在ultralytics/nn/newsAddmodules创建一个.py文件
2.在ultralytics/nn/newsAddmodules/__init__.py中引用
3.修改tasks.py文件
五、创建涨点yaml配置文件
🚀 中期融合创新改进🔥: yolov12-midfusion-CMFM.yaml
🚀 中后期融合创新改进🔥: yolov12-mid-to-late-CMFM.yaml
🚀 后期融合创新改进🔥: yolov12-latefusion-CMFM.yaml
六、正常运行
二、CMFM 跨模态特征融合Mamba模块介绍
摘要：可见光-红外图像对能提供互补信息，显著提升现实场景中物体检测应用的可靠性和鲁棒性。然而，现有方法大多难以在复杂天气条件下保持鲁棒性，这限制了其实际应用范围。同时，模态融合中对注意力机制的依赖会带来显著的计算复杂度和存储开销，尤其在处理高分辨率图像时更为明显。为解决这些问题，我们提出基于天气消除的跨模态融合Mamba（CFMW），以增强恶劣天气条件下的系统稳定性与成本效益。通过结合提出的扰动自适应扩散模型（PADM）和跨模态融合Mamba（CFM）模块， CFMW 能够重建受恶劣天气影响的视觉特征，丰富图像细节的表征。得益于高效的架构设计， CFMW 的运算速度是Transformer风格融合方法（如 CFT）的3倍。为填补相关数据集的空白，我们构建了包含雨、雾、雪等多样化恶劣天气场景的新型严重天气可见光-红外（SWVI）数据集。该数据集包含64
