YOLOFuse 中的 F1-score 输出机制与多模态融合实践
在智能监控系统日益普及的今天，一个现实问题始终困扰着开发者：如何让摄像头在夜间、雾霾或强光阴影下依然“看得清”？传统基于可见光图像的目标检测模型，在低光照环境中常常失效——目标模糊、对比度下降，误检和漏检频发。这正是多模态融合技术兴起的背景。
以 RGB-IR（可见光-红外）双模态融合为例，它巧妙地利用了两种成像方式的互补性：RGB 图像提供丰富的纹理与色彩信息，而红外图像则能捕捉物体热辐射特征，不受光照影响。YOLO 系列作为实时检测的标杆框架，自然成为这一方向的理想载体。YOLOFuse应运而生——一个基于 Ultralytics YOLO 构建的双流多模态融合系统，不仅实现了复杂环境下的高精度检测，更通过清晰的性能指标输出（如 F1-score），为模型优化提供了可靠依据。
从评估痛点谈起：为什么需要 F1-score？
在目标检测任务中，mAP@50（平均精度均值）长期被视为“黄金标准”。然而，当面对安防巡检这类对漏警零容忍的应用场景时，仅看 mAP 可能会掩盖一些关键问题。比如某个模型 mAP 很高，但召回率偏低，意味着大量真实目标未被检出；或者精确率过低，导致报警泛滥，运维人员疲于应对。
这时候，F1-score 的价值就凸显出来了。它是 Precision（精确率）与 Recall（召回率）的调和平均数，能够更均衡地反映模型的整体表现：
$$
P = \frac{TP}{TP + FP},\quad R = \frac{TP}{TP + FN},\quad F1 = 2 \cdot \frac{P \cdot R}{P + R}
$$
其中 TP 是真正例，FP 是假正例，FN 是假反例。F1 对两个指标都敏感，尤其适合小样本类别（如行人、动物等稀疏目标）的评估。在 YOLOFuse 中，F1-score 不是附加功能，而是贯穿训练与验证的核心反馈信号。
实际运行中，该指标由val.py脚本在验证集上自动计算，并生成F1-Confidence 曲线，保存于runs/fuse/exp/目录下。这条曲线展示了不同置信度阈值下的 F1 表现，帮助我们找到最优推理阈值。例如，某次实验显示最大 F1 值出现在 confidence=0.43 处，此时模型兼顾了查全与判准的能力。
更重要的是，F1-score 成为了比较不同融合策略的有效工具。尽管官方文档常以 mAP 展示性能，但在真实部署中，我们会发现某些高 mAP 模型可能因 FP 过多而不实用。以下是几种典型融合方式的实际表现参考：
| 融合策略 | mAP@50 | 模型大小 | F1-max（观察值） | 特点 |
|---|---|---|---|---|
| 中期特征融合 | 94.7% | 2.61 MB | ~0.91 | ✅ 推荐：轻量高效，性价比突出 |
| 早期特征融合 | 95.5% | 5.20 MB | ~0.89 | 小目标敏感，但易受噪声干扰 |
| 决策级融合 | 95.5% | 8.80 MB | ~0.90 | 鲁棒性强，计算开销较大 |
可以看到，“中期融合”虽然 mAP 略低，但其更高的 F1 分数和极小的模型体积，使其更适合边缘设备部署。这种权衡思维，正是 F1-score 带来的工程洞察。
YOLOFuse 是如何工作的？
YOLOFuse 并非简单拼接两个输入通道，而是一套完整的双流处理架构。其核心流程可分为三步：
1. 双流编码：并行提取特征
系统分别将 RGB 与 IR 图像送入共享或独立的主干网络（Backbone，通常为 CSPDarknet）。由于红外图像是单通道灰度图，需先复制三通道以匹配 RGB 输入维度，再进行归一化处理。
def preprocess(rgb_img: np.ndarray, ir_img: np.ndarray): # 扩展红外图为三通道 if len(ir_img.shape) == 2: ir_img = np.stack([ir_img]*3, axis=-1) # 统一尺寸与归一化 img_size = 640 rgb_resized = cv2.resize(rgb_img, (img_size, img_size)) / 255.0 ir_resized = cv2.resize(ir_img, (img_size, img_size)) / 255.0 # 堆叠为 [B, C*2, H, W] 格式（假设模型支持双通道输入） input_tensor = np.concatenate([rgb_resized, ir_resized], axis=-1).transpose(2, 0, 1)[None] return torch.from_numpy(input_tensor).float().cuda()注意：上述代码仅为示意，实际实现需定制模型前处理层以支持双模态输入结构。
2. 融合策略选择：灵活适配应用场景
根据信息融合时机的不同，YOLOFuse 支持三种主流模式：
- 早期融合：在输入后立即拼接通道，在浅层网络中联合学习。优点是参数共享充分，缺点是对模态差异敏感，训练难度较高。
- 中期融合：在 Neck 层（如 PANet）引入注意力机制，动态加权两路特征图。这是目前推荐方案，兼顾效率与性能。
- 决策级融合：两分支各自完成检测头输出，最后合并预测框并重新评分。鲁棒性最强，但延迟增加明显。
这些策略可通过配置文件切换，便于开展 A/B 测试。例如，在 LLVIP 数据集上，中期融合凭借 2.61MB 的超小体积和接近最优的 F1 表现，成为多数项目的首选。
3. 统一输出与后处理
融合后的特征送入检测头，输出边界框、类别概率与置信度。随后执行 NMS（非极大值抑制）去重，生成最终结果。整个过程封装在infer_dual.py中，用户只需调用即可完成端到端推理。
model = YOLO('weights/yolofuse_mid.pt') results = model(input_tensor, fuse=True) # 启用融合路径 for result in results: boxes = result.boxes.xyxy.cpu().numpy() scores = result.boxes.conf.cpu().numpy() classes = result.boxes.cls.cpu().numpy() # 可视化绘制（略）输出图像默认保存至runs/predict/exp/，方便快速验证效果。
工程落地中的关键考量
尽管 YOLOFuse 提供了“开箱即用”的预配置镜像（含 PyTorch、CUDA、Ultralytics 等依赖），但在实际部署中仍有一些细节值得注意：
数据配对必须严格一致
系统依赖文件名匹配 RGB 与 IR 图像。例如images/001.jpg必须对应imagesIR/001.jpg，否则会引发加载错误。建议使用脚本批量校验：
diff <(ls datasets/images/) <(ls datasets/imagesIR/) | grep "<"任何不匹配项都应手动修复，避免静默失败。
显存与性能的平衡艺术
若目标平台为 Jetson Nano 或类似边缘设备，显存资源紧张，强烈建议采用“中期融合”策略。其模型仅 2.61MB，推理速度可达 30+ FPS（Tesla T4 上测试），远优于其他方案。
此外，可进一步启用 TensorRT 加速，或将模型导出为 ONNX 格式用于跨平台部署。
单模态数据的正确处理方式
常见误区是：只有 RGB 数据时，直接复制一份充当 IR 输入。这种“伪融合”不会带来任何增益，反而可能因引入冗余梯度干扰训练。正确做法是改用原生 YOLOv8 模型进行单模态训练。
同样，标注成本也是重要考量。YOLOFuse 的一大优势在于复用 RGB 标签——由于双模态图像空间对齐良好，同一组.txt标注可同时指导 RGB 与 IR 分支学习，节省至少 50% 的人工标注工作量。
环境初始化问题排查
首次运行容器时，可能出现python: command not found错误。这是由于部分镜像中/usr/bin/python符号链接缺失所致。只需执行以下命令修复：
ln -sf /usr/bin/python3 /usr/bin/python此后所有 Python 脚本均可正常调用。
更进一步：不只是检测，更是系统思维
YOLOFuse 的真正价值，不仅在于技术实现本身，更体现在它所倡导的一种面向复杂环境的系统设计哲学：
- 它不再追求单一指标的极致，而是通过 F1-score 等综合指标引导模型向“稳定可用”演进；
- 它强调模块化与可配置性，允许开发者根据硬件条件灵活选择融合策略；
- 它关注全链路体验，从数据组织、训练脚本到结果可视化，形成闭环流程。
未来，我们可以在此基础上探索更多可能性：例如结合 F1-curve 自动搜索最佳置信度阈值，或引入自动化超参优化（如 Optuna）提升调参效率；甚至将融合机制扩展至更多模态（如深度图、雷达点云），构建真正的多传感器感知系统。
这种高度集成的设计思路，正引领着智能视觉系统向更可靠、更高效的方向演进。
