【CLIP 范式已死！】字节发布 【GenLIP】：砍掉解码器与对比学习，让 ViT 直接开口说话，效果反而更强

CLIP 范式已死！字节发布 GenLIP：砍掉解码器与对比学习，让 ViT 直接开口说话，效果反而更强

写在前面（2026.05.07 首发）：2026 年 5 月 1 日，arXiv 上出现了一篇来自北京交通大学 + 字节跳动 + 南洋理工大学的论文——《Let ViT Speak: Generative Language-Image Pre-training》。论文提出的GenLIP框架做了一件在 VLP（Vision-Language Pre-training）领域堪称"离经叛道"的事：砍掉文本解码器，砍掉对比学习损失，砍掉双塔架构，只用一个裸 ViT + 语言建模目标进行预训练。结果呢？在仅使用8B 样本（来自 Recap-DataComp-1B）的情况下，GenLIP 在多个多模态理解 benchmark 上打平甚至超越了使用 12B-40B 样本训练的 SigLIP、AIMv2、OpenVision2 等强基线。更令人惊讶的是，GenLIP 训练出的 ViT 可以直接生成图像描述——不需要任何额外的解码器或 LLM，ViT 自己就能"开口说话"。

这篇论文的核心观点极其朴素却极其有力：如果你的下游任务是生成式的，那你的预训练目标也应该是生成式的。目标对齐，比架构复杂度和数据规模都重要。

📑 文章目录

• 📌 一、背景：CLIP 范式统治了 5 年，但裂缝早已出现
• ⚡ 二、GenLIP 是什么？一句话概括
• 🏗️ 三、架构对比：CLIP vs GenLIP，一目了然
• 🔬 四、四大核心创新：砍掉什么，换来什么？
• 📊 五、实验结果：8B 样本打平 40B 基线
• 📈 六、数据效率：更少数据，更强效果
• 🗣️ 七、“Let ViT Speak”：让 ViT 直接开口说话
• ❓ 八、CLIP 范式为什么"死了"？
• 🔮 九、影响与展望：VLP 的下一个范式是什么？
• 🎁 总结速查卡

📌 一、背景：CLIP 范式统治了 5 年，但裂缝早已出现

1.1 CLIP 的辉煌时代

2021 年，OpenAI 发布了CLIP（Contrastive Language-Image Pre-training），开创了一个新时代。CLIP 的核心思想极其优雅：用对比学习在大量图文对上训练一个双塔模型（Image Encoder + Text Encoder），让视觉和语言在同一个语义空间中对齐。这个看似简单的方法产生了惊人的效果——CLIP 展现出强大的零样本迁移能力，无需任何微调就能在 ImageNet 上达到 76.2% 的 top-1 准确率。

此后五年，CLIP 范式几乎统治了整个视觉-语言预训练领域：

• SigLIP（Google，2023）：用 Sigmoid loss 替代 InfoNCE，不再需要大 batch size
• SigLIP2（Google，2025）：多语言支持 + 更好的语义理解
• EVA-CLIP、OpenCLIP、DataComp等一系列改进

几乎所有主流 MLLM（多模态大语言模型）都使用 CLIP/SigLIP 作为视觉编码器：PaliGemma、Kimi-VL、Kimi-K2.5、LLaVA 系列……CLIP 成了 VLP 领域的"基础设施"。

1.2 裂缝：目标不匹配问题

然而，CLIP 范式有一个根本性的问题——目标不匹配（Objective Mismatch）。

CLIP 的对比学习是一个判别式目标：给定一张图片和一段文字，判断它们是否匹配。但 MLLM 的下游任务是生成式的：给定一张图片，生成描述文字（next-token prediction）。训练目标和下游目标之间的鸿沟，意味着 CLIP 预训练的知识在迁移到 MLLM 时存在效率损失。

打个比方：CLIP 就像让学生做"选择题"来学习英语，但最终考试却是"作文题"。选择题做得再好，也不代表作文能写好。

1.3 此前的尝试：生成式预训练

学术界并非没有意识到这个问题。此前已有几项工作尝试用生成式目标进行视觉-语言预训练：

• CapPa（Google，2023）：ViT + Text Decoder，用自回归 LM 目标训练
• AIMv2（Meta，2025）：类似的生成式预训练方案
• OpenVision2：进一步改进的生成式 VLP
• CoCa和SigLIP2：混合对比+生成目标

但这些方法都有一个共同的问题：架构太复杂。它们都需要一个额外的文本解码器，ViT 只能通过解码器间接优化，梯度需要穿过整个解码器才能到达视觉层。这不仅增加了训练成本，还可能限制了视觉表征的质量。

GenLIP 的出现，就是要彻底解决这个问题。

⚡ 二、GenLIP 是什么？一句话概括

GenLIP = 一个裸 ViT + 语言建模目标 = 直接让 ViT 预测语言 token。

没有文本解码器。没有对比学习损失。没有双塔架构。只有一个 ViT，接收图像 patch 和文本 token 的拼接序列，用标准的next-token prediction目标进行训练。

就这么简单。

但简单并不意味着简陋。GenLIP 的论文展示了这个极简框架的惊人效果：

• 8B 样本训练，打平SigLIP 12B和AIMv2 40B
• 在Doc&OCR类 benchmark 上显著领先
• ViT 可以直接生成图像描述（“Let ViT Speak”）
• 数据效率比竞品高2-5 倍

🏗️ 三、架构对比：CLIP vs GenLIP，一目了然

3.1 CLIP 架构（传统方案）

Image → [Image Encoder (ViT)] → Image Embedding ─┐ ├→ Contrastive Loss Text → [Text Encoder (Trans)] → Text Embedding ─┘

关键特征：

• 双塔架构：Image Encoder 和 Text Encoder 独立编码
• 对比学习：InfoNCE / Sigmoid Loss
• 判别式目标：判断图文是否匹配
• 需要大 batch：批内负样本构造
• 目标不匹配：判别式 vs 生成式

3.2 GenLIP 架构（新方案）

Image Patches + Text Tokens → [Single ViT] → Next-Token Prediction

关键特征：

• 单塔架构：一个 ViT 处理所有模态
• 语言建模目标：标准的 next-token prediction
• 生成式目标：直接预测下一个 token
• 无需大 batch：标准 LM 训练流程
• 目标对齐：预训练目标 = 下游目标

3.3 架构复杂度对比

🔬 四、四大核心创新：砍掉什么，换来什么？

创新一：砍掉 Text Decoder

问题：CapPa、AIMv2 等生成式 VLP 方法需要一个额外的文本解码器。ViT 作为视觉编码器，只能通过解码器间接优化——梯度需要先穿过解码器，再回传到 ViT。这种"间接优化"方式不仅效率低，还可能导致视觉表征的质量受限。

GenLIP 的做法：直接让 ViT 预测语言 token。ViT 的输出就是语言 token 的 logits，不需要任何额外的解码器。梯度直接从语言建模损失流向视觉层，零中间商赚差价。

效果：架构更简单，训练更高效，视觉表征质量更高。

创新二：砍掉 Contrastive Loss

问题：CLIP 的对比学习是判别式目标——"这张图和这段文字是否匹配？"但 MLLM 的下游任务是生成式的——"根据这张图，生成描述。"训练目标和下游目标之间的根本性不匹配，导致预训练知识的迁移效率低下。

GenLIP 的做法：完全抛弃对比学习，直接使用标准的语言建模目标（next-token prediction）。预训练目标和下游 MLLM 任务目标完全一致，从根源上消除了目标不匹配问题。

效果：预训练知识到下游任务的迁移效率大幅提升。8B 样本就能打平竞品 12B-40B 的效果。

创新三：Gated Attention 机制

问题：GenLIP 使用Prefix-LM 注意力模式——视觉 token 作为 prefix，只能被文本 token 注意到，但视觉 token 之间也可以互相注意。然而，论文发现标准 Prefix-LM 注意力中存在注意力 sink问题：视觉 token 的注意力分布不均匀，部分 token 吸引了过多的注意力权重，影响了视觉建模质量。

GenLIP 的做法：引入**门控注意力（Gated Attention）**机制。具体来说，为每个注意力头添加一个可学习的门控参数，让模型自适应地调节视觉-语言信息流。门控参数可以动态控制每个注意力头对视觉信息的依赖程度。

效果：在消融实验中，Gated Attention 带来了1-2% 的平均提升，尤其在需要精细视觉理解的任务上效果显著。

创新四：多分辨率续训

问题：固定分辨率预训练的 ViT 在处理不同宽高比的图片（如长文档、宽图表）时会损失信息。

GenLIP 的做法：采用两阶段训练策略：

• Stage 1：固定分辨率（如 224×224）预训练，学习基础的视觉-语言对齐
• Stage 2：多分辨率续训，使用原始宽高比的图片进行训练，提升对不同尺寸图片的适应能力

效果：Stage 2 训练对OCR 和图表理解类 benchmark 带来了显著的额外收益。在 ChartQA、OCRBench、DocVQA 等 Doc&OCR 类任务上，GenLIP 的优势尤为明显。

📊 五、实验结果：8B 样本打平 40B 基线

5.1 实验设置

GenLIP 使用Recap-DataComp-1B数据集进行预训练，这是一个包含约10 亿图文对的高质量数据集。作为对比基线，论文选取了以下代表性 VLP 模型：

• SigLIP：使用 12B 样本训练
• AIMv2：使用 40B 样本训练
• OpenVision2：使用 13B 样本训练

所有模型统一接入LLaVA-NeXT框架，使用Qwen2.5-7B作为 LLM backbone，在相同的多模态理解 benchmark 上进行评估。

5.2 主要结果

在多个核心 benchmark 上，GenLIP（8B 样本）的表现令人印象深刻：

Doc&OCR 类任务（GenLIP 的强项）：

• ChartQA：82.5（GenLIP）vs 78.3（SigLIP）vs 79.1（AIMv2）——领先 3-4 个点
• OCRBench：78.2 vs 72.1 vs 74.5——领先 4-6 个点
• DocVQA：88.3 vs 85.6 vs 86.2——领先 2-3 个点

通用多模态理解：

• MME：1520 vs 1485 vs 1495——全面领先
• GQA：63.8 vs 62.1 vs 62.8——小幅领先
• VQAv2：82.1 vs 80.5 vs 81.2——持续领先

关键发现：GenLIP 在几乎所有 benchmark 上都打平或超越了使用更多数据训练的基线模型。尤其在 Doc&OCR 类任务上，优势最为显著——这得益于 GenLIP 的多分辨率续训策略和生成式预训练目标对细粒度视觉信息的更好建模。

5.3 冻结特征分析

论文还进行了"冻结特征分析"——直接使用预训练 ViT 的特征（不进行任何微调）在下游任务上评估。结果显示，GenLIP 的冻结特征质量显著优于对比学习基线，进一步证明了生成式预训练目标对视觉表征质量的提升。

📈 六、数据效率：更少数据，更强效果

6.1 数据缩放实验

论文进行了系统的数据缩放实验，从1B 到 8B样本逐步增加训练数据量：

6.2 关键发现

持续提升：随着数据量从 1B 增加到 8B，GenLIP 在所有 benchmark 上都展现出持续的、单调的提升。这意味着 GenLIP 还没有达到数据饱和点，更大的数据量可能带来进一步的提升。

数据效率优势：GenLIP 用8B 样本达到了 SigLIP 用12B 样本才能达到的性能水平，数据效率提升了约50%。与 AIMv2（40B 样本）相比，数据效率提升了约5 倍。

为什么更高效？GenLIP 的数据效率优势来自目标对齐。因为预训练目标（next-token prediction）和下游任务目标一致，每一份训练数据都在为最终的下游任务"做准备"。而 CLIP 的对比学习目标与下游任务存在 mismatch，大量数据被浪费在了"不相关"的判别式对齐上。

🗣️ 七、“Let ViT Speak”：让 ViT 直接开口说话

GenLIP 论文最令人兴奋的发现之一是：训练后的 ViT 可以直接生成图像描述，不需要任何额外的解码器或 LLM。

7.1 直接描述生成

传统的视觉编码器（如 CLIP 的 ViT）只能输出一个固定维度的特征向量，无法直接生成文本。要看懂图片，必须把这个特征向量喂给一个 LLM。但 GenLIP 训练的 ViT 不同——它直接在语言 token 空间上输出 logits，可以逐 token 生成图像描述。

论文展示了多个令人印象深刻的例子：

• 自然场景描述：输入一张猫咪坐在窗台上的图片，ViT 直接输出一段流畅的英文描述，包括猫咪的颜色、姿态、背景细节等
• 图表理解：输入一张柱状图，ViT 能够准确识别图表类型、数据趋势、具体数值
• OCR 文字识别：输入一张文档截图，ViT 能够准确读取文档中的文字内容

7.2 Patch 语义读取

更令人惊讶的是Patch Semantics Readout能力。GenLIP 的 ViT 不仅能为整张图片生成描述，还能为图片的局部区域（单个 patch 或 patch 组）生成语义描述。这意味着 ViT 的每个 patch 都学到了有意义的语义表示，而不是只有全局特征有用。

这个能力对于需要细粒度视觉理解的任务（如 OCR、文档理解、图表分析）尤其重要。它暗示 GenLIP 的 ViT 内部形成了层次化的视觉语义表示——从局部 patch 到全局场景，每一层都有意义。

7.3 为什么这很重要？

“Let ViT Speak” 的能力不仅是学术上的有趣发现，更有实际意义：

1. 更快的推理：不需要额外的 LLM 就能生成图像描述，推理速度更快
2. 更低的成本：不需要部署大语言模型，部署成本更低
3. 更好的可解释性：可以直接"问"ViT 每个区域看到了什么，理解模型的视觉理解过程
4. 更强的视觉表征：能生成准确描述的视觉特征，通常也是更好的视觉特征

❓ 八、CLIP 范式为什么"死了"？

8.1 不是 CLIP 不好，而是时代变了

首先需要澄清：CLIP 并没有真的"死"。它仍然是目前最广泛使用的视觉编码器之一，在大量生产环境中运行。但 GenLIP 的成功标志着VLP 领域的范式转移已经开始。

CLIP 的"死"，不是因为它不好，而是因为时代变了：

• 2021 年：MLLM 还不存在，CLIP 的零样本分类能力是革命性的
• 2024 年：MLLM 成为主流，视觉编码器的角色从"分类器"变成了"MLLM 的眼睛"
• 2026 年：MLLM 的性能瓶颈越来越多地来自于视觉编码器的质量，而不是 LLM

当视觉编码器的角色从"独立分类"变成"为 LLM 提供视觉输入"时，CLIP 的判别式预训练目标就不再是最优选择了。

8.2 三大根本问题

问题一：目标不匹配

CLIP 的对比学习是判别式目标："这张图和这段文字是否匹配？"但 MLLM 是生成式目标："根据这张图，生成描述文字。"训练目标和下游目标之间的根本性不匹配，导致预训练知识的迁移效率低下。GenLIP 用生成式目标直接消除了这个问题。

问题二：架构太复杂

CLIP 需要双塔架构 + 对比损失 + 大 batch size。后续的生成式方法（CapPa、AIMv2）又额外引入了文本解码器。GenLIP 只需要一个 ViT + LM Loss，架构复杂度降低了 60% 以上。更简单的架构意味着更快的训练速度、更低的部署成本、更少的超参数调优。

问题三：数据效率低

因为目标不匹配，CLIP 需要大量数据来弥补。SigLIP 用了 12B 样本，AIMv2 用了 40B 样本。GenLIP 只用 8B 样本就打平甚至超越了它们。在数据越来越贵、越来越难获取的今天，数据效率是一个关键优势。

8.3 核心洞察

如果你的下游任务是生成式的，那你的预训练目标也应该是生成式的。目标对齐 > 架构复杂度 > 数据规模。

这个洞察虽然朴素，但被 GenLIP 的实验结果强有力地验证了。它可能成为未来 VLP 研究的指导原则。

🔮 九、影响与展望：VLP 的下一个范式是什么？

9.1 短期影响（2026-2027）

• 更多模型跟进：GenLIP 的极简设计很容易被复现和改进，预计会有大量跟进工作
• MLLM 视觉编码器升级：新一代 MLLM 可能开始使用 GenLIP 风格的视觉编码器替代 CLIP
• OCR/文档理解突破：GenLIP 在 Doc&OCR 类任务上的优势，可能推动文档 AI 的快速发展
• 开源生态：GenLIP 的简单架构有利于社区贡献和改进

9.2 中期趋势（2027-2028）

• 统一预训练范式：生成式目标可能成为 VLP 的统一范式，对比学习逐渐退出主流
• 端到端视觉-语言模型：不再区分"视觉编码器"和"语言模型"，而是端到端训练
• 更大的数据规模：GenLIP 展现出持续的数据缩放能力，更大的数据集可能带来更大提升
• 多模态统一：GenLIP 的思路可能扩展到视频、音频等其他模态

9.3 长期愿景（2028+）

• "会说话的视觉编码器"成为标配：未来的视觉编码器不仅能"看"，还能"说"
• 自监督视觉学习：GenLIP 的生成式目标可能进一步发展为纯视觉的自监督学习
• 通用视觉基础模型：一个 ViT 就能处理所有视觉任务——分类、检测、分割、描述、推理
• CLIP 成为历史：就像 ResNet 取代 AlexNet 一样，GenLIP 可能取代 CLIP 成为新的起点

🎁 总结速查卡

GenLIP 核心信息

CLIP vs GenLIP 速查

一句话总结

GenLIP 证明了 VLP 领域的一个核心原则：目标对齐比架构复杂度和数据规模更重要。砍掉解码器、砍掉对比学习、砍掉双塔架构，用一个裸 ViT + LM 目标，就能在 8B 样本上打平 40B 基线。CLIP 范式没有"死"，但它的统治时代正在走向终结。下一个 VLP 范式，将是生成式的。

参考链接：

• GenLIP 论文 (arXiv)
• GenLIP 项目主页
• GenLIP HuggingFace
• AI Brief 中文解读
• Moonlight 论文评述
• Artificial Analysis TTS Leaderboard