1. 从NLP到CV：Transformer的跨界之旅
2017年Transformer架构在自然语言处理(NLP)领域横空出世时，可能没人想到它会在计算机视觉(CV)领域掀起一场革命。传统的卷积神经网络(CNN)统治CV领域多年，直到2020年Vision Transformer(ViT)的提出，才真正打开了Transformer在视觉领域的大门。这个跨界过程充满挑战，也孕育着无限可能。
我最初接触ViT时最惊讶的是它处理图像的方式——直接把图片切成16×16的小块，就像处理文本中的单词一样。这种"简单粗暴"的方法在当时看来简直不可思议，毕竟图像数据具有天然的二维结构，而NLP处理的是一维序列。但正是这种打破常规的思路，让Transformer在CV领域找到了突破口。实测下来，ViT在ImageNet这样的大规模数据集上表现惊人，甚至超越了当时最先进的CNN模型。
不过ViT并非完美无缺。我在实际项目中就遇到过它的痛点：处理高分辨率图像时显存占用飙升，512×512的医学影像就能让显存爆掉。这是因为ViT采用全局注意力机制，计算复杂度随图像分辨率呈平方级增长。这个坑让我意识到，直接把NLP那套搬来CV是行不通的，必须针对视觉任务特点进行优化。
2. ViT：开创性的视觉Transformer
2.1 核心原理与创新
ViT的核心思想可以用"分而治之"来概括。它将输入图像分割成固定大小的patch（通常是16×16像素），然后通过线性投影将这些patch展平为向量，就像NLP中把单词转化为词向量一样。这些patch embedding加上位置编码后，就成为了Transformer的标准输入。
这种设计有几个精妙之处：
- 位置编码弥补了Transformer本身不具备空间感知能力的缺陷
- class token的设计借鉴了BERT，通过这个特殊token的最终状态实现分类
- 多头注意力机制让模型可以关注图像不同区域的关系
我在复现ViT时发现，位置编码对性能影响很大。有趣的是，使用可学习的位置编码和固定正弦编码效果差异不大，这说明模型对具体编码形式并不敏感，重要的是保留位置信息。
2.2 实际应用与局限
ViT在ImageNet上的成功证明了其潜力，但在实际落地时会遇到几个典型问题：
- 数据饥渴：ViT需要海量数据预训练，在小数据集上直接训练效果往往不如CNN
- 计算成本：处理高分辨率图像时显存占用呈平方增长
- 固定patch大小：无法像CNN那样自适应不同尺度的特征
我在医疗影像项目中就深有体会：当病灶区域小于patch大小时，ViT的表现会明显下降。后来我们采用重叠patch的方法缓解了这个问题，但计算量又进一步增加。
3. DETR：目标检测的新范式
3.1 端到端目标检测革命
DETR的出现彻底改变了目标检测的范式。传统方法如Faster R-CNN需要复杂的pipeline（RPN生成候选框+NMS后处理），而DETR直接用Transformer实现了端到端检测，这种简洁之美令人赞叹。
它的核心创新在于：
- 集合预测：将检测视为集合预测问题，直接输出固定数量的预测框
- 二分匹配：使用匈牙利算法将预测框与真实框进行最优匹配
- 可学习query：这些query就像"检测探头"，每个负责查找特定目标
我在自动驾驶项目中对比过DETR和YOLOv5，发现DETR对小目标和遮挡目标的检测更鲁棒，因为它没有预设anchor的限制，能更好地处理不规则目标。
3.2 训练技巧与优化
DETR的训练有几个关键点：
- 学习率策略：需要较长的warmup阶段（约500个epoch）
- 辅助损失：中间层的预测结果也要参与损失计算
- query设计：通常设置为略大于图像中最大可能目标数
实际使用时，我建议先在小分辨率图像上预训练，再逐步提高分辨率。这样可以节省大量训练时间，同时保持模型性能。
4. Swin Transformer：CV任务的通用骨干
4.1 滑动窗口的智慧
Swin Transformer最巧妙的设计在于shifted window机制。它将图像划分为不重叠的窗口，只在窗口内计算注意力，大幅降低了计算复杂度。更精妙的是，随着网络加深，窗口会逐步扩大，形成层次化特征表示。
这种设计带来了几个优势：
- 线性复杂度：计算量从O(N²)降到O(N)
- 局部性保留：更符合视觉任务的特性
- 多尺度特征：类似CNN的层次化结构
我在语义分割任务中对比过ViT和Swin Transformer，后者在保持精度的同时，推理速度提升了3倍以上，显存占用更是减少了70%。
4.2 实际部署建议
根据我的项目经验，部署Swin Transformer时要注意：
- 窗口大小：通常7×7或14×14比较平衡
- 分层设计：不同stage的特征图分辨率要合理设置
- 预训练权重：官方提供的ImageNet-22K预训练模型迁移效果极佳
对于计算资源有限的场景，可以考虑Swin-T这样的小型变体，它们在保持性能的同时大幅减少了参数量。
5. 技术对比与选型指南
5.1 三大模型横向评测
| 特性 | ViT | DETR | Swin Transformer |
|---|---|---|---|
| 核心任务 | 图像分类 | 目标检测 | 通用视觉骨干 |
| 注意力类型 | 全局 | 全局 | 滑动窗口 |
| 计算复杂度 | O(N²) | O(N²) | O(N) |
| 数据需求 | 极大 | 大 | 中等 |
| 适合场景 | 大规模分类 | 端到端检测 | 多任务通用模型 |
5.2 项目选型建议
选择哪种模型取决于具体需求：
- 追求极致精度且有充足算力：ViT仍是分类任务的首选
- 需要端到端检测：DETR能简化pipeline，但要注意训练成本
- 多任务需求或资源受限：Swin Transformer是最平衡的选择
我在智慧城市项目中就采用了Swin Transformer作为骨干网络，同时支持车辆检测、行人计数和场景分类三个任务，大大简化了系统架构。
6. 未来发展方向
Transformer在CV领域的演进远未结束。从近期研究趋势看，以下几个方向值得关注：
- 混合架构：结合CNN的局部性和Transformer的全局建模能力
- 动态计算：根据输入内容自适应调整计算量
- 3D视觉：将Transformer扩展到视频理解和点云处理
我在实验中发现，将Swin Transformer与轻量级CNN结合，能在保持精度的同时进一步提升推理速度。这种混合路线可能是边缘设备上的最优解。
