YOLOv8 深度增强：融入 CoTAttention (Contextual Transformer Attention) 模块
文章目录
- YOLOv8 深度增强：融入 CoTAttention (Contextual Transformer Attention) 模块
- 1. 深度学习中注意力机制的演进：从局部到全局
- 1.1 传统卷积的局限性
- 1.2 注意力机制的崛起
- 1.3 自注意力与视觉任务的结合：机遇与挑战
- 2. CoTAttention (Contextual Transformer Attention) 原理与结构
- 2.1 CoTAttention 整体结构概览
- 2.2 Step 1: Contextual Encoding of Key and Value (上下文键/值编码)
- 2.3 Step 2: Dynamic Attention Encoding (动态注意力编码)
- 2.4 Step 3: Feature Recalibration (特征重标定)
- 3. CoTAttention 模块的 PyTorch 实现 (`ultralytics/nn/CoT.py`)
- 4. 将 CoTAttention 集成到 Ultralytics YOLOv8
- 4.1 实现 CoTAttention 模块代码 (`ultralytics/nn/CoT.py`)
- 4.2 修改 YOLOv8 模型构建逻辑 (`ultralytics/nn/tasks.py`)
- 4.3 创建 YOLOv8 CoTAttention 模型配置文件 (`ultralytics/cfg/models/v8/yolov8-cot.yaml`)
- 5. 训练与评估：验证 CoTAttention 的效果
- 5.1 如何使用新的 `yolov8-cot.yaml` 进行训练
- 5.2 潜在的性能提升与考量
- 5.2.1 精度提升
- 5.2.2 计算成本与推理速度
- 5.2.3 泛化能力
- 6. CoTAttention 与其他注意力机制的比较
- 7. 总结与展望
- 源码与复现
- 创建ultralytics\cfg\models\v8\yolov8-CoTAttention.yaml
- 修改ultralytics\nn\tasks.py
- 创建ultralytics\nn\CoTAttention.py
在计算机视觉领域，深度学习模型，特别是卷积神经网络（CNNs），已经取得了革命性的进展。从图像分类到目标检测，CNNs 凭借其强大的特征提取能力，不断刷新着各项任务的性能记录。然而，传统的卷积操作本质上是局部的，其感受野的扩大依赖于网络的深度堆叠和池化操作。这使得模型在捕获长距离依赖和全局上下文信息时可能效率不高，或需要非常深的网络结构才能勉强实现。
与此同时，以 Transformer 为代表的自注意力机制在自然语言处理领域取得了巨大成功，并迅速被引入计算机视觉，催生了 Vision Transformer (ViT) 等开创性工作。自注意力机制能够直接建模输入序列中任意位置之间的依赖关系，从而捕获全局上下文信息。然而，纯粹的 Transformer 模型在处理高分辨率图像时面临着巨大的计算和内存开销，因为自注意力的计算复杂度通常与输入序列长度的平方成正比。
为了在卷积网络的局部性优势和 Transformer 的全局建模能力之间取得平衡，并同时控制计算成本，研究者们提出了各种混合架构和高效注意力机制。CoTAttention (Contextual Transformer Attention)便是其中一种创新性的尝试，由 Li 等人在 2021 年的论文《Contextual Transformer Networks for Visual Recognition》中提出。CoTAttention 旨在通过一种新颖的方式来聚合上下文信息，使得自注意力机制在保留强大表达能力
