[NeurIPS‘ 2025] JarvisArt: Liberating Human Artistic Creativity via an Intelligent Photo Retouching

JarvisArt

一、一段话总结

JarvisArt 是多模态大模型驱动的智能照片修图智能体，可联动Lightroom 超 200 种修图工具，经CoT 监督微调 + GRPO-R 强化学习两阶段训练，搭配A2L 协议实现与 Lightroom 无缝对接，构建MMArt-55K 数据集与MMArt-Bench 评测基准，在内容保真度上较GPT-4o 提升 60%，支持全局与局部精细化非破坏性修图，易用性与用户满意度超越传统 Lightroom。

二、思维导图

三、详细总结

1. 研究背景与问题

传统专业修图工具（如 Lightroom）门槛高、耗时长；现有 AI 修图方案可调性差、泛化弱、内容保真度不足，无法满足个性化需求。

2. 核心方案：JarvisArt 智能修图智能体

JarvisArt 是多模态大语言模型（MLLM）驱动的智能修图 Agent，可理解用户意图、模拟专业修图师推理逻辑，智能调度Lightroom 超 200 种修图工具，支持全局 + 局部精细化、非破坏性修图。

3. 数据集构建：MMArt-55K

• 规模：5K 标准样本 + 50K CoT 增强样本，总计55K
• 生成流程：
  1. 源图 - 目标图与 Lightroom 配置生成
  2. 自然语言修图指令生成
  3. 专业修图思维链（CoT）标注
• 场景：人像（40.8%）、风景（33.3%）、静物（20.2%）、街拍（5.71%）

4. 两阶段训练策略

• 奖励设计（总奖励 R∈[0,3]）：
  1. 格式奖励 Rf：规范输出格式
  2. 修图操作精度奖励 Rroa：评估工具 / 参数匹配度
  3. 感知质量奖励 Rpq：评估色彩与像素保真度

5. 核心技术：Agent-to-Lightroom（A2L）协议

• 定位：智能体与 Lightroom 的标准化对接协议
• 流程：握手→文件校验→沙箱执行→异步处理→结果返回
• 价值：实现双向反馈、全自动修图执行

6. 实验评估

（1）评测基准

MMArt-Bench：四大场景各 50 样本，共200个测试样本，含局部修图专用人像子集。

（2）核心指标

• 像素级：L1、L2（数值越低越好）
• 语义级：SC（指令遵循）、PQ（感知质量）、O=√(SC×PQ)（数值越高越好）

（3）关键结果

1. 像素保真度：较GPT-4o 提升 60%，L1×102 仅12.44
2. 指令遵循：O 值8.52，与 GPT-4o（9.18）持平，超越 Gemini-2-Flash（8.08）
3. 用户偏好：主观审美与内容一致性评分第一
4. 易用性：90%+ 用户认为易用、高效，满意度超越 Lightroom

7. 核心创新点

1. 提出MLLM 驱动的专业级修图智能体范式
2. 构建MMArt-55K高质量修图专用数据集
3. 设计SFT+GRPO-R两阶段训练与三维奖励机制
4. 制定A2L标准化对接协议，打通专业修图软件
5. 实现任意分辨率、非破坏性、全局 + 局部精细化修图

四、关键问题与答案

问题 1：JarvisArt 相比 GPT-4o 等通用多模态模型，修图核心优势是什么？

答案：核心优势是内容保真度大幅提升（较 GPT-4o 高 60%）、支持Lightroom 200 + 专业工具的精细化参数调控、实现非破坏性修图与任意分辨率处理，局部修图无畸变与伪影，更贴合专业修图逻辑。

问题 2：JarvisArt 的 GRPO-R 强化学习采用哪三种奖励，各自作用是什么？

答案：采用格式奖励、修图操作精度奖励、感知质量奖励。格式奖励规范输出结构；修图操作精度奖励确保工具与参数选择准确；感知质量奖励保障修图后视觉效果与色彩、像素保真度。

问题 3：JarvisArt 的 MMArt 数据集有何独特性，为何能支撑专业修图训练？

答案：独特性在于全真实照片、含 CoT 思维链标注、配套 Lightroom 参数配置、支持任意分辨率，覆盖四大真实场景，兼顾普通用户与专业编辑指令，为模型提供专业修图推理逻辑与工具使用依据。

Abstract 翻译

照片修图已成为当代视觉叙事的重要组成部分，帮助用户实现美学表达与创意呈现。Adobe Lightroom 等专业工具功能强大，但需要大量专业知识与手动操作；而现有 AI 自动化方案虽能简化流程，却普遍存在可调性有限、泛化能力差等问题，难以满足多样化、个性化的编辑需求。为弥补这一差距，本文提出JarvisArt—— 一款由多模态大语言模型（MLLM）驱动的智能体，它能理解用户意图、模仿专业摄影师的推理过程，并智能调度 Lightroom 中超过 200 种修图工具。JarvisArt 采用两阶段训练流程：首先通过思维链监督微调建立基础推理与工具使用能力，随后使用修图专用分组相对策略优化（GRPO‑R）进一步提升决策水平与工具操控精度。本文还提出智能体‑Lightroom 通信协议（A2L），实现与 Lightroom 的无缝对接。为评估模型性能，我们构建了全新的MMArt‑Bench 评测基准，数据来自真实用户修图案例。实验表明，JarvisArt 具备友好的交互体验、出色的泛化能力与全局 / 局部精细化调控能力，为智能照片修图开辟了新路径。值得注意的是，在 MMArt‑Bench 上，JarvisArt 的内容保真度像素级指标较 GPT‑4o 平均提升 60%，同时保持了与 GPT‑4o 相当的指令遵循能力。

1. 引言（翻译）

照片修图是现代摄影的基础环节，可让用户对曝光、色彩、对比度和影调进行调整，以获得富有表现力的高品质图像。Adobe Lightroom、PicsArt 等商业工具提供了丰富的手动控制功能，但需要专业技能与大量时间投入，对非专业用户形成了使用门槛。现有的自动化修图方法 —— 包括零阶 / 一阶优化、强化学习以及基于扩散模型的编辑等 —— 虽提升了自动化程度，但在风格多样性、精细调整能力和场景泛化性上仍存在局限。近年来，以 GPT‑4o、Gemini‑2‑Flash 为代表的指令驱动多模态模型实现了自然语言驱动的编辑，但往往会牺牲内容保真度、精细属性控制以及对高分辨率图像的支持。基于大语言模型（LLM）的智能体在自主任务执行与问题求解领域取得了突破性进展，这启发我们探索一种全新的照片修图范式：一款易用、智能的艺术创作智能体，能够理解用户意图并输出专业级修图效果。为此，本文提出JarvisArt，它具备以下能力：

1. 精准解析视觉输入与自然语言指令；
2. 嵌入专业修图知识，模拟修图师的推理过程；
3. 高效操控 Lightroom 中的 200 余种操作；
4. 通过直观界面支持全局与局部双重调整。

所有规划与工具调用过程完全透明，用户可根据个人偏好交互式优化修图工作流。要将这一构想落地，必须解决三大核心挑战：高质量数据稀缺（原图 / 目标图、文本指令、修图参数）、缺乏专家级推理策略、缺少标准化的智能体‑Lightroom 集成协议。为攻克这些难题，我们首先设计了一套可扩展的数据生成流程，构建出MMArt‑55K数据集，包含 5K 标准样本与 50K 带思维链增强的多粒度样本。随后采用两阶段后训练方案：

1. 监督微调（SFT），让模型学习 “理解 → 推理 → 决策（将 Lightroom 操作记录为 ROC 文件）” 的完整工作流；
2. 面向修图任务的分组相对策略优化（GRPO‑R），结合多维度工具使用奖励，进一步优化决策能力与泛化性。

最后，本文提出智能体‑Lightroom 协议（A2L），实现 JarvisArt 与 Lightroom 之间无缝、自动化的修图执行。最终，JarvisArt 能够深度理解用户意图，生成多样化风格效果，并流畅完成全局与局部区域调整，输出极具视觉表现力的图像。

2. 相关工作（翻译）

照片修图

研究者已提出多种自动化流程来简化手动修图工作。早期的零阶与一阶优化方法，受限于参数预测能力不足且依赖预训练代理模型。基于强化学习的方法试图模仿人类修图流程并具备一定可解释性，但无法捕捉艺术创作思路，也缺乏深度的用户交互。基于扩散模型的方法在高保真图像生成中占据主导，但依赖固定提示词，缺少多轮推理与灵活的语言对齐能力，限制了开放式编辑的效果。近年来，统一图像编辑模型在理解与生成能力上取得双重突破，典型代表包括闭源模型 GPT‑4o、Gemini‑2‑Flash，以及开源模型 Janus‑Pro、UniTok、QLIP、VARGPT‑v1.1 等。尽管如此，这些方法仍存在三大关键局限：

1. 破坏性编辑：通过重新生成所有像素完成修改，损害原图内容完整性；
2. 缺少可交互、可解释的局部属性控制（如皮肤柔化、局部提亮）；
3. 受生成模型架构限制，不支持任意分辨率编辑。

与之不同，本文提出一种可交互、可解释的修图范式，将多模态理解与专家级编辑工具结合，实现非破坏性照片修图。JarvisArt 以 “人机协作” 模式赋能用户，同时支持场景级编辑与精准局部微调，在创作灵活性与专业工作流程严谨性之间取得平衡。

强化微调

基于规则的强化微调（如 OpenAI o1、Deepseek‑R1）在数学推理、代码生成等任务上表现出色。后续研究将这一思路扩展到多模态模型，为视觉感知任务设计了专用奖励函数，例如图像分类的类别预测正确率、目标检测与定位的 IoU、图形界面定位任务的点击位置精度，以及与搜索引擎交互获取最新信息等。但与这些 “存在唯一正确答案” 的任务不同，修图任务需要同时预测多个工具及其参数，如何设计有效的奖励信号支撑这类任务的学习，仍是一个尚未被充分探索的开放性难题。本文为此提出定制化的工具使用奖励，让 JarvisArt 具备高级艺术推理与工具调用能力。

基于大语言模型的智能体

基于大语言模型的智能体之所以能革新 AI 系统，主要得益于三项关键进展：

1. 大语言模型前所未有的推理能力；
2. 工具操作与环境交互技术的进步；
3. 支持长期经验积累的先进记忆架构。

尽管如此，将 LLM 智能体应用于专业照片修图仍存在三个根本性局限：

1. 缺少领域专用的修图知识库，导致无法准确理解用户意图；
2. 选择合适工具与确定精准参数的决策能力有限；
3. 缺少标准化协议，无法与专业修图软件稳定兼容。

为解决这些局限，本文提出JarvisArt，一个强大的艺术创作智能体，整合三大核心能力：

1. 专业修图知识，可精准理解用户指令；
2. 熟练使用 Lightroom 中的商用修图工具；
3. 标准化通信协议，可与 Lightroom 无缝集成。

3. 方法（翻译）

3.1 总览

JarvisArt 是一个基于多模态大模型、可交互的照片修图系统，同时支持场景级全局调整与区域级局部调整。除文本指令外，用户还可通过自由绘制笔刷或可拖拽框选来指定需要调整的局部区域。JarvisArt 的流程分为三个阶段：

1. 多模态上下文理解：解析用户指令、图像内容与感兴趣区域；
2. 基于摄影原理的策略推理：生成专业修图方案；
3. 工具调度：选择合适的 Lightroom 操作与参数，并通过 A2L 协议自动执行。

形式化表示为：f(Q,Isrc)→T={t1,t2,...,tn}其中 Q为用户指令，Isrc为原图，ti为具体的 Lightroom 操作。最终输出图像为：Iedit=g(Isrc,T)g(⋅)代表 Lightroom 的执行环境。

3.2 数据生成流程

本文设计了三阶段数据生成 pipeline，用于构建带有显式思维链（CoT）标注的 MMArt 数据集。每条样本为五元组：<Isrc,Itgt,Q,C,O>

本文设计了三阶段数据生成 pipeline，用于构建带有显式思维链（CoT）标注的 MMArt 数据集。每条样本为五元组：<Isrc,Itgt,Q,C,O>

• Isrc：原图
• Itgt：修图后图
• Q：用户指令
• C：思维链推理过程（置于 标签内）
• O：修图操作配置（ROC 文件，置于 标签内）

阶段 1：生成图像对与 Lightroom 配置

1. 从 PPR10K、Adobe Lightroom 社区等来源采集原图；
2. 构建覆盖多种场景与风格的全局 / 局部艺术预设库；
3. 用 Qwen2.5-VL-72B 进行多模态角色扮演，用 Grounding DINO 做精准区域定位；
4. 执行区域检测 → 预设推荐 → 预设应用 → 人工验证四步流程，生成高质量修图结果；
5. 最终得到 <原图，目标图，Lightroom 操作记录>。

阶段 2：生成用户指令

用 Qwen2.5-VL-72B 将图像对与操作记录转化为场景级 + 区域级自然语言指令，覆盖普通用户与专业编辑两种风格。

阶段 3：生成推理过程

先由模型生成初始 CoT，再经迭代优化，得到简洁、连贯、符合专业逻辑的思维链。

3.3 JarvisArt 框架

3.3.1 思维链监督微调（CoT SFT）

以 CoT 标注数据进行监督微调，目标：

1. 统一输出格式；
2. 建立用户意图理解、审美判断等基础推理能力；
3. 初步掌握 Lightroom 工具选择与参数配置能力。

3.3.2 面向推理的强化学习（GRPO-R）

在 SFT 基础上，使用修图专用分组相对策略优化（GRPO-R）进一步提升艺术推理与工具使用精度。总奖励由三部分组成（R=Rf+Rroa+Rpq∈[0,3]）：

1. 格式奖励 Rf：保证输出格式规范；
2. 修图操作精度奖励 Rroa：评估工具名、参数名、参数值的匹配程度；
3. 感知质量奖励 Rpq：从色彩分布一致性与像素保真度两方面评估视觉效果。

3.3.3 智能体–Lightroom 协议（A2L）

A2L 是 JarvisArt 与 Lightroom 之间的标准化客户端–服务端接口，流程分为五步：

1. 握手
2. 文件校验
3. 沙箱执行
4. 异步处理
5. 返回结果

该协议支持双向通信、结构化消息、资源管理与 ROC→Lua 自动翻译，可直接驱动 Lightroom 完成自动化修图。

4. 实验（翻译）

4.1 实验设置

实现细节

JarvisArt 以Qwen2.5-VL-7B-Instruct为基座模型。

MMArt-Bench 评测集

本文提出全新评测基准MMArt-Bench，从 MMArt 数据集中采样而来，包含四大场景：

评估指标

使用 6 项指标：

区域级评测在指定掩码区域内计算以上指标。

对比基线

对比主流开源与闭源模型：

所有测试图统一裁剪为 512×512，因部分基线不支持高分辨率与任意尺寸输入。

4. 实验（翻译）

4.1 实验设置

实现细节

JarvisArt 以Qwen2.5-VL-7B-Instruct为基座模型。

• 思维链监督微调（CoT SFT）：在 MMArt 数据集的 50K 条思维链样本上训练，batch size=2，学习率 1e-5，训练 2 个 epoch，使用 8 块 A100（80G）显卡。
• 强化学习（GRPO-R）：在 5K 标准指令样本上训练，batch size=2，学习率 1e-6，每个查询生成 4 条回复，训练 2 个 epoch，使用 16 块 A100（80G）显卡。

MMArt-Bench 评测集

本文提出全新评测基准MMArt-Bench，从 MMArt 数据集中采样而来，包含四大场景：

• 人像、风景、街拍、静物，每类 50 个样本，共 200 个样本。
• 区域级评测使用带掩码标注的人像子集（50 张）。

评估指标

使用 6 项指标：

• L1、L2：像素级误差（越低越好）
• SC：指令遵循程度（0–10，越高越好）
• PQ：感知质量与无失真程度（0–10，越高越好）
• O：综合得分，O = √(SC × PQ)（越高越好）

区域级评测在指定掩码区域内计算以上指标。

对比基线

对比主流开源与闭源模型：

• 开源：3DLUT、RSFNet、InstructPix2Pix、MagicBrush、OmniGen、VARGPT-v1.1、Step1X-Edit
• 闭源：GPT-4o、Gemini-2-Flash

所有测试图统一裁剪为 512×512，因部分基线不支持高分辨率与任意尺寸输入。

4.2 实验结果

4.2.1 在 MMArt-Bench 上的评估

如表 1 所示，JarvisArt 在全部 10 项指标上达到当前最优水平：

• 内容保真度显著领先：L1×10² 仅12.44，比 GPT-4o（22.84）低 45.6%（效果更好）。
• 指令遵循能力强劲：综合得分O=8.52，接近 GPT-4o（9.18），超过 Gemini-2-Flash（8.08）。
• 局部编辑优势更明显：人像等局部修图无 “恐怖谷” 伪影，无内容畸变，远优于其他模型。

结论：JarvisArt 基于 Lightroom 的非破坏性编辑流程，大幅提升内容保真度与视觉自然度。

4.2.2 用户偏好研究

招募 80 名用户对四大模型（Step1X-Edit、Gemini-2-Flash、GPT-4o、JarvisArt）进行主观打分，维度为：

1. 内容一致性（保留原图信息）
2. 审美质量（视觉观感）

结果：JarvisArt 获得最高用户偏好，在主观视觉效果上最受认可。同时招募 30 名不同背景用户，对比 JarvisArt 与 Adobe Lightroom 的易用性，采用 5 分制问卷：

• 易用性：100% 用户认为 JarvisArt 简单易学，66.7% 给出满分。
• 复杂度与效率：96.67% 用户认为复杂度适中，86.67% 认为使用流畅。
• 功能一致性与整合度：90%+ 用户给出高分，远优于 Lightroom。
• 整体满意度：93.33% 愿意继续使用，90% 对使用有信心，均超过 Lightroom。

4.2.3 GRPO-R 训练奖励变化可视化

• 格式奖励快速收敛并保持稳定。
• 修图操作精度（ROA）奖励上升最快，因 SFT 已提供基础参数偏好。
• 感知质量（PQ）奖励波动后逐步上升，因视觉效果搜索空间更大。

JarvisArt 未出现类似数学推理模型的 “顿悟时刻”，原因是艺术推理无法每步获得实时视觉反馈，未来可引入代理环境做分步验证。

5. 消融实验

训练策略

对比三种方案：

1. 仅 SFT
2. 仅 RL（GRPO-R）从头训练
3. SFT + RL（本文方法）

结果：SFT+RL 效果最优。仅 RL 因缺少基础推理能力，搜索空间过大，难以优化。

奖励设计

对比不同奖励组合：

• Format + ROA
• Format + PQ
• Format + ROA + PQ（本文完整奖励）

结果：三项奖励联合使用效果最好。

• ROA 保证工具与参数准确。
• PQ 保证视觉效果。二者互补，共同提升修图质量与准确性。

6. 结论（翻译）

本文提出JarvisArt，一款由多模态大模型驱动、可交互、可解释的智能修图智能体，可对接 Lightroom 200 余种专业工具，支持任意分辨率、非破坏性照片编辑。为训练该智能体，本文构建了MMArt-55K数据集（5K 标准样本 + 50K 思维链样本），并采用两阶段训练：

1. CoT 监督微调，建立基础推理与工具使用能力；
2. GRPO-R 强化学习，配合定制奖励进一步提升决策精度与泛化性。

同时提出Agent-to-Lightroom（A2L）通信协议，实现智能体与 Lightroom 无缝自动化对接。在 MMArt-Bench 上的大量实验表明，JarvisArt 显著超越现有图像编辑方法，在内容保真度、指令遵循、局部精细控制与用户体验上均达到业界领先水平。