字节跳动UI-TARS：重新定义AI与GUI交互的终极模型

字节跳动UI-TARS：重新定义AI与GUI交互的终极模型

【免费下载链接】UI-TARS-72B-SFT项目地址: https://ai.gitcode.com/hf_mirrors/ByteDance-Seed/UI-TARS-72B-SFT

导语

字节跳动正式推出新一代原生GUI智能体模型UI-TARS，通过将感知、推理、定位和记忆等核心能力集成到单一视觉语言模型中，实现了端到端的图形用户界面自动化交互，彻底改变了传统AI与GUI交互的范式。

行业现状

随着大语言模型技术的快速发展，AI与人类交互的方式正经历深刻变革。当前主流的GUI交互模型多采用模块化框架，需要预定义工作流程或人工规则，在面对复杂多变的图形界面时往往显得笨拙。据行业研究显示，现有多模态模型在GUI元素识别准确率上平均仅为65%，而在跨平台界面交互任务中的成功率不足40%。与此同时，企业级自动化需求持续增长，仅2024年全球RPA市场规模就达到120亿美元，用户迫切需要更智能、更灵活的GUI交互解决方案。

产品/模型亮点

UI-TARS系列模型（包括2B、7B和72B参数版本）最显著的突破在于其"原生智能体"设计理念——摒弃了传统的模块化架构，将所有关键能力集成到单一视觉语言模型(VLM)中。这种设计使模型能够像人类一样感知界面、理解意图、定位元素并执行操作，无需依赖预设规则。

在性能表现上，UI-TARS展现出卓越的GUI交互能力。在感知能力评估中，UI-TARS-72B在VisualWebBench数据集上达到82.8分，超越GPT-4o(78.5)和Claude-3.5-Sonnet(78.2)；在SQAshort文本理解任务中以88.6分位居榜首。定位能力方面，该模型在ScreenSpot Pro评测中平均得分为38.1，显著领先于其他对比模型，特别是在桌面端图标定位和网页文本识别任务上表现突出。

最值得关注的是其端到端任务执行能力。在Multimodal Mind2Web评测中，UI-TARS-72B的跨任务元素准确率达到74.7%，操作F1值92.5%，步骤成功率68.6%，全面领先于现有方案。在Android设备控制测试中，该模型实现了91.3%的成功率，远超GPT-4o(20.8%)和Claude(12.5%)。

行业影响

UI-TARS的出现可能重塑多个行业的自动化格局。对于软件开发领域，该模型有望大幅降低UI测试的复杂度，通过AI自动完成跨平台、跨分辨率的界面兼容性测试。企业服务领域，基于UI-TARS的自动化方案可以替代传统RPA工具，处理更复杂的办公自动化任务，如自动生成报表、数据分析和文档处理等。

在智能设备领域，UI-TARS为无障碍技术提供了新可能，帮助视障用户更自然地与数字设备交互。对于普通用户而言，未来的智能助手可能不再需要特定的API接口，而是直接通过视觉界面与各类应用交互，实现真正的"所见即所得"式AI辅助。

值得注意的是，UI-TARS提供了不同参数规模的模型选择，从2B到72B，兼顾了性能与部署成本。其中7B版本在多数任务上已超越行业标杆，而72B版本则面向高端企业级应用，这种分层策略使模型能适应不同场景需求。

结论/前瞻

UI-TARS系列模型的推出标志着AI与GUI交互进入了"原生智能体"时代。通过将感知、推理和执行能力深度融合，字节跳动为解决长期存在的界面自动化难题提供了全新思路。从技术演进角度看，UI-TARS展现的端到端学习能力可能成为未来多模态模型发展的重要方向——不再局限于被动理解，而是主动感知和行动。

随着模型的进一步优化和应用场景的拓展，我们有理由期待一个更加智能的人机交互未来：AI不仅能理解我们的语言，更能"看见"我们的界面，像人类同事一样协助我们完成各种数字任务。UI-TARS不仅是一次技术突破，更可能成为人机协作新范式的起点。

【免费下载链接】UI-TARS-72B-SFT项目地址: https://ai.gitcode.com/hf_mirrors/ByteDance-Seed/UI-TARS-72B-SFT