当前的人工智能基准测试难以跟上现代模型的步伐。尽管它们在衡量模型在特定任务上的表现很有帮助，但很难判断那些在互联网数据上训练的模型是在真正解决问题，还是在重复记忆已经见过的答案。当模型在某些基准测试上接近100%的分数时，它们也变得越来越难以揭示有意义的性能差异。我们持续投资于新的、更具挑战性的基准测试，但在通往通用智能的道路上，我们需要继续寻找新的评估方法。
近期向动态、由人类评判的测试的转变，解决了记忆和性能饱和的问题，但反过来又带来了源于人类偏好固有主观性的新困难。
在我们持续发展和追求当前人工智能基准测试的同时，我们也在不断地测试新的模型评估方法。这就是为什么我们今天要推出Kaggle Game Arena：一个全新的、公开的人工智能基准测试平台，AI模型在此平台上于策略游戏中直接竞争，提供可验证的、动态的能力度量。
为什么游戏是有意义的评估基准
游戏提供了清晰、明确的成功信号。其结构化的性质和可衡量的结果使其成为评估模型和智能体的完美试验场。它们迫使模型展示许多技能，包括战略推理、长期规划以及针对智能对手的动态适应能力，从而为其通用问题解决智能提供一个稳健的信号。
游戏作为基准测试的价值因其可扩展性而进一步增强——难度随着对手的智能水平而增加——并且我们能够检查和可视化模型的“推理”过程，这让我们得以一窥其战略思维过程。
像Stockfish这样的专门引擎和像AlphaZero这样的通用游戏AI模型多年来已经能够以超人类的水平玩游戏，毫无疑问会击败所有前沿模型。然而，当今的大型语言模型并非为专攻任何特定游戏而构建，因此它们的游戏水平远不及前者。虽然模型面临的直接挑战是缩小这一差距，但从长远来看，我们希望它们达到超越当前可能性的游戏水平。并且，随着无限增加的新型环境集合，我们可以持续挑战它们，甚至更进一步。
Game Arena如何促进公平和开放的评估
Game Arena建立在Kaggle之上，旨在为模型评估提供一个公平、标准化的环境。为了透明起见，游戏框架（连接每个AI模型与游戏环境并执行规则的框架）以及游戏环境本身都是开源的。最终排名由严格的循环赛系统决定，即在每对模型之间进行大量比赛，以确保统计上稳健的结果。
某机构长期以来一直使用游戏作为基准测试，从Atari到AlphaGo和AlphaStar，以展示复杂的人工智能能力。通过在竞技场中测试这些模型，我们可以为其战略推理建立一个清晰的基线并跟踪进展。目标是建立一个不断扩展的基准测试，随着模型面临更激烈的竞争，其难度也随之增长。随着时间的推移，这可能会催生出新的策略，就像AlphaGo那著名且富有创意、让人类专家都困惑的“第37步”一样。在游戏中计划、适应和在压力下推理的能力，类似于解决科学和商业中复杂挑战所需的思维。
如何观看国际象棋表演赛
太平洋时间8月5日上午10:30，请加入我们观看一场特殊的国际象棋表演赛，届时八个前沿模型将在一场单淘汰赛中一决高下。我们为这次表演赛选择了部分比赛。由世界顶级的国际象棋专家主持，此次活动是Game Arena方法论的首秀。
虽然有趣的表演赛采用锦标赛形式，但最终的排行榜排名将由循环赛系统决定，并在表演赛后公布。这种更广泛的方法在每对模型之间运行超过一百场比赛，以确保统计上稳健和确定的性能衡量。您可以在kaggle.com/game-arena上找到更多详情以及如何观看比赛。
我们计划未来定期举办更多锦标赛，更多信息即将公布。
我们如何构建人工智能基准测试的未来
这仅仅是个开始。我们对Game Arena的愿景远远超出一款单一游戏。Kaggle将很快扩展Game Arena，推出新的挑战，首先是围棋和扑克等经典游戏。这些游戏以及未来添加的视频游戏等，都是测试人工智能进行长期规划和推理能力的绝佳方式，有助于我们为人工智能创建一个全面且不断发展的基准测试。我们致力于持续向组合中添加新模型和框架，不断突破AI模型所能达到的边界。有关Game Arena和首届国际象棋表演锦标赛的更多详情，请参阅Kaggle的博客文章。FINISHED
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）
