news 2026/6/12 0:39:57

IBM推出开源智能体CUGA 任务完成率超五成

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
IBM推出开源智能体CUGA 任务完成率超五成

IBM研究人员发布了一款名为CUGA的开源智能体,旨在实现复杂企业工作流程的自动化,根据不同任务类型,其准确完成率约为50%。

CUGA是"可配置通用智能体"的缩写。根据其在AI平台HuggingFace上的介绍,该软件通过"多智能体编排、API集成以及在企业演示应用中的代码生成,实现智能任务自动化"。

IBM研究团队在今年7月发布的论文中写道:"我们对IBM CUGA的愿景是开发一个通用智能体,知识工作者可以对其进行调整和配置,以安全可靠的方式执行工作中的日常或复杂任务。"

然而,并非所有人都认为智能体是安全可靠的。IT咨询公司Gartner最近建议屏蔽所有智能体浏览器,此前几个月该公司还警告称,约40%的企业智能体项目将因缺乏商业价值而在2027年前被取消。

尽管如此,自动化的诱惑力依然强劲,IBM也热衷于提供帮助。蓝色巨人的研究人员引用了CUGA在WebArena和AppWorld基准测试中的表现——分别实现了61.7%的网页任务完成成功率和48.2%的API任务场景完成率——并指出该智能体的得分虽然对于人类员工来说可能导致被解雇,但目前代表了智能体领域的顶级水平。

值得注意的是,IBM似乎没有使用自家面向企业的WebAgentBench基准来评估CUGA。公司研究人员关于这一自主开发测试套件的论文描述了三个智能体——AgentWorkflowMemory(AWM)、WorkArena-Legacy和WebVoyager——在完成指定任务方面的评估结果。

这些智能体的平均原始完成率仅为24.4%,符合政策要求的完成率仅为15%。当存在五个或更多政策时,符合政策的平均完成率仅为7.1%。而企业通常有超过五个适用于业务工作流程的政策。

基准测试论文指出:"企业工作流程通常包含数十个并发政策,这表明现实世界的不足将更加明显,政策稳健优化,而不仅仅是原始完成率,必须成为关注的核心目标。"

在CUGA获得61.7%成功率的WebArena基准测试中,AWM仅获得35.5%的成功率。

IBM科学家今年早些时候指出了各种AI基准测试的不足之处,但至少CUGA的得分表明智能体正在改进。

CUGA采用Apache 2.0许可证发布,从聊天层开始,该层设计用于从提示中辨别用户意图。这可能是"从数字销售中获取收入最高的账户,然后将其添加到当前页面",或者是HuggingFace演示中包含的任何其他示例提示,该演示模拟了一个小型CRM系统,配备了20个预配置工具用于进行销售相关查询和API调用。

作者解释说,任务规划和控制组件分析输入到CUGA中的提示,并将目标分解为在任务账簿中跟踪的结构化子任务集。该账簿是动态的,当第一次尝试不成功时可以重新规划。

研究人员在博客文章中解释说:"子任务被委派给专门的智能体,如API智能体,它使用内部推理循环在安全沙箱中调用代码之前生成伪代码指令。系统利用超越MCP协议的工具注册表来解析和理解工具能力,实现精确编排。"

最后,系统向用户返回希望符合政策要求的响应。

IBM开发团队设计CUGA与Langflow协作,Langflow是一个用于智能体设计的低代码平台,并支持各种开放模型,如gpt-oss-120b和Llama-4-Maverick-17B-128E-Instruct-fp8。巧合的是,据报道,Llama的制造商Meta正在开发一个名为Avocado的后续模型,该模型可能不会开源。

CUGA似乎仍有一些粗糙的地方。例如,最近报告的一个错误表明,该智能体偶尔可能在退出运行循环时遇到问题。但如果您正在部署AI智能体软件并期望毫不费力地自动化多步骤业务任务,您可能需要降低期望值。

Q&A

Q1:CUGA智能体的任务完成率如何?

A:CUGA在不同基准测试中表现不同:在WebArena基准测试中实现61.7%的网页任务成功率,在AppWorld基准测试中达到48.2%的API任务场景完成率。虽然这些数字对人类员工来说可能不够理想,但在当前智能体领域已属顶级水平。

Q2:企业智能体在实际应用中面临什么挑战?

A:企业智能体面临的主要挑战是政策合规问题。研究显示,当企业存在五个或更多政策时,智能体符合政策要求的平均完成率仅为7.1%。而实际企业工作流程通常包含数十个并发政策,这使得现实应用中的挑战更加严峻。

Q3:CUGA智能体如何工作?

A:CUGA采用多层架构:首先通过聊天层识别用户意图,然后任务规划组件将目标分解为结构化子任务并记录在动态任务账簿中。子任务被委派给专门智能体处理,如API智能体会在安全沙箱中生成和执行代码,最终返回符合政策要求的响应。


版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/10 9:13:51

ComfyUI-Manager界面按钮消失问题全解析:从困惑到掌控

ComfyUI-Manager界面按钮消失问题全解析:从困惑到掌控 【免费下载链接】ComfyUI-Manager 项目地址: https://gitcode.com/gh_mirrors/co/ComfyUI-Manager 当你满怀期待地打开ComfyUI,准备继续昨日的创作时,突然发现界面顶部那个熟悉的…

作者头像 李华
网站建设 2026/6/10 7:20:06

数据结构:链表,栈,队列的知识总结与代码实现

链表数据结构详解链表是一种动态数据结构,由一系列节点组成,每个节点包含数据域和指针域。与数组不同,链表不需要连续的内存空间,这使得它在内存管理方面更加灵活。链表的主要类型包括单向链表、双向链表和循环链表,每…

作者头像 李华
网站建设 2026/6/10 13:23:11

大型语言模型的推理能力边界探索

大型语言模型的推理能力边界探索关键词:大型语言模型、推理能力边界、自然语言处理、认知推理、模型评估摘要:本文聚焦于大型语言模型的推理能力边界探索。首先介绍了研究此主题的背景和目的,明确预期读者和文档结构。接着阐述了大型语言模型…

作者头像 李华
网站建设 2026/6/11 4:11:37

3步彻底清除显卡驱动残留:让游戏帧率翻倍

3步彻底清除显卡驱动残留:让游戏帧率翻倍 【免费下载链接】display-drivers-uninstaller Display Driver Uninstaller (DDU) a driver removal utility / cleaner utility 项目地址: https://gitcode.com/gh_mirrors/di/display-drivers-uninstaller 显卡驱动…

作者头像 李华
网站建设 2026/6/10 20:56:52

筑牢数据库安全与稳定的防线:资深DBA认可的7款监控工具

在IT圈里,我们常说:“数据是企业的血液。”但作为一名在数据库领域摸爬滚打多年的DBA(数据库管理员),我想补充后半句:“如果数据是血液,那监控系统就是心电监护仪。”在一个复杂的企业级环境中&…

作者头像 李华