颠覆传统：JiT架构如何通过直接预测原图重塑图像生成范式
在图像生成领域，扩散模型近年来展现出惊人的潜力，但其核心机制却隐藏着一个被长期忽视的悖论——我们训练模型去预测噪声，却期望它最终能生成清晰的图像。这种矛盾在ImageNet 256×256等高分辨率场景下尤为明显，传统方法往往需要复杂的潜空间设计和预训练流程。而JiT（Just-image Transformer）的出现，正在彻底改变这一局面。
1. 扩散模型的根本性挑战：为什么预测噪声是个错误？
想象你被蒙上眼睛带进一个堆满杂物的房间，任务是找到一张平整的纸。传统扩散模型的做法相当于让你先描述房间里所有杂物的位置（预测噪声），再反向推导纸张的位置。而JiT的思路则是直接让你触摸并描述那张纸（预测原图）——显然后者更符合直觉。
流形假设的启示：
- 自然图像并非随机分布在高维像素空间中，而是聚集在维度低得多的"流形"上
- 噪声则均匀分布在整个高维空间，没有任何规律可循
- 预测噪声需要模型掌握所有高维细节，而预测原图只需关注流形上的关键特征
# 传统噪声预测与JiT原图预测的对比 def traditional_diffusion(noisy_img): predicted_noise = model(noisy_img) # 需要建模整个高维空间 return noisy_img - predicted_noise def JiT_approach(noisy_img): predicted_clean = model(noisy_img) # 只需关注低维流形 return predicted_clean维度灾难的实证： 当我们在512×512分辨率下（每个图像块达3072维）进行测试时：
- 传统噪声预测模型的FID值超过100（完全失效）
- JiT架构却能保持FID在15以下
- 即使将网络维度压缩到32维（原始块的1/96），JiT仍能生成合理图像
2. JiT架构设计：极简主义的胜利
JiT的核心哲学是"少即是多"——摒弃所有非必要的组件，回归Transformer最本质的形式。这种设计在ImageNet 256×256任务中实现了1.82的惊人FID值，超越了需要复杂预训练的潜扩散模型。
架构关键要素：
- 纯Transformer骨干：不使用U-Net的跳跃连接，仅依靠自注意力机制
- 大块处理策略：
- 256×256图像采用16×16块（每块768维）
- 512×512图像采用32×32块（每块3072维）
- 自适应归一化：通过adaLN-Zero注入时间步和类别信息
- 瓶颈设计：将768维块压缩至128维反而提升效果
提示：JiT的成功证明，在高维生成任务中，网络宽度不必与输入维度匹配，关键在于正确利用数据的低维本质。
3. 训练策略：为什么x-预测+v-损失是最优组合？
JiT在训练目标的选择上也颠覆了传统认知。通过系统比较所有可能的预测目标和损失组合，我们发现：
| 预测目标 | 损失空间 | 256×256 FID | 训练稳定性 |
|---|---|---|---|
| 噪声(ε) | 噪声损失 | >100 | 差 |
| 速度(v) | 速度损失 | >100 | 中等 |
| 原图(x) | 速度损失 | 1.82 | 优秀 |
速度损失的独特优势：
- 自动调整不同时间步的权重，强调中间去噪阶段
- 与ODE求解器天然兼容，采样质量更高
- 通过简单变换即可推导出其他预测目标
# JiT的训练损失计算 def compute_loss(clean_img, noisy_img, t): predicted_clean = model(noisy_img, t) target_v = clean_img - (noisy_img - t * clean_img)/(1 - t) predicted_v = (predicted_clean - noisy_img)/(1 - t) return F.mse_loss(predicted_v, target_v)4. 跨分辨率生成：单一模型的通用能力
JiT最令人惊喜的特性是其出色的可扩展性。通过简单的块大小调整，同一架构可以无缝适应不同分辨率：
512×512生成流程：
- 保持序列长度不变（16×16块）
- 将块大小从16增至32
- 噪声幅度线性缩放2倍
- 其他所有超参数保持不变
测试结果表明：
- 在512→256下采样模式下，FID仅比原生256模型高0.02
- 即使处理1024×1024分辨率（每块12288维），JiT仍能保持良好性能
- 计算成本仅随图像面积线性增长，而非传统模型的二次增长
实际应用建议：
- 资源有限时：训练512模型，通过下采样获得256结果
- 追求最高质量：为每个分辨率训练专用模型
- 内存优化：使用瓶颈设计将块维度压缩4-8倍
5. 未来展望：超越图像生成的通用范式
JiT展现的设计理念远不止于计算机视觉领域。其核心思想——直接建模原始数据而非派生量——为各类生成任务提供了新思路：
- 3D内容生成：避免复杂的体素或点云编码，直接处理原始网格数据
- 科学计算：应用于分子结构、气候模拟等缺乏预训练模型的新领域
- 跨模态生成：统一的Transformer架构可同时处理图像、文本、音频
在医疗影像分析中，JiT的直接预测特性尤其珍贵。医生需要的是清晰的诊断图像，而非对噪声分布的猜测——这与JiT的设计哲学完美契合。一位使用过该技术的放射科医师反馈："相比传统方法，JiT生成的MRI图像更少出现伪影，解剖结构保持更完整。"
随着模型规模的扩大，我们发现JiT的性能提升曲线尚未见顶。在3B参数的JiT-G版本中，512分辨率下的生成质量甚至超过了256分辨率——这表明更大模型可能解锁更高维数据的底层规律。
这场"回归基础"的运动正在重塑我们对生成模型的理解。当整个行业沉迷于越来越复杂的架构时，JiT提醒我们：有时候，最直接的路径就是最优解。正如一位资深研究员在测试JiT后感叹："我们绕了一大圈，最终发现答案就在起点。"
