kaiyun体育网页版登录更澄莹的了解模子材干的上风和瑕玷-开云(中国)kaiyun网页版登录入口

AI 社区掀升引大模子玩游戏之风！

举例外洋知名博主让 DeepSeek 和 Chatgpt 下国际象棋的视频在 Youtube 上就取得百万播放，ARC Prize 组织最近也发布了一个贪嘴蛇 LLM 评测基准 SnakeBench。

针对这一场景，来自港大、剑桥和北大的照顾东谈主员发布了一个更全面、客不雅实在的 LLM 评测基准：GameBoT。

让大模子在 8 个游戏中彼此 PK，评测各主流大模子的推理材干。游戏 PK 幸免模子"背谜底"；除了输赢以外，GameBoT 还评估大模子输出的中间程序，终了更细粒度和客不雅的测评。

通过游戏来评估 LLM

传统的 LLM benchmark 濒临着两个挑战：性能饱和与数据欺凌。性能饱和指的是榜单分数仍是被刷的很高，的确莫得进一步教悔的空间。举例，Qwen2-Math-72B-Instruct 在 GSM8k 上已达到了 96.7% 的准确率。数据欺凌是指由于谈话模子在大范畴网罗语料库上进行预西宾，它们可能会无意中碰到并记着这些基准测试中的测试实例。因此，LLM 可能会取得虚高的性能分数。

而通过游戏来评测，正好既具有挑战性，又简略通过动态的游戏环境来幸免模子提前记着"试卷谜底"。

中间程序评测

相较于其他相同用游戏来评测 LLM 的 benchmark，GameBoT 有何不同呢？

其他的 benchmark 时时只左证游戏最终的输赢当作标准，干系词一次比赛可能有几十上百个回合，一个回合的决议就有可能径直决定输赢，这带来了很大偶而性；除此以外，LLM 频繁会出现念念考历程和最终决议不合应的情况，有可能只是刚巧选到了一个好的决议—— GameBoT 中的一个要津蓄意在于，不单是评测最终赢输，还评测 LLM 的中间念念考历程是否正确。

△评估中间程序不错期骗更丰富的信息

为了对 LLM 的推理进行细粒度分析，作家将每个游戏中复杂的决议历程解析为 2-3 个逻辑上要津的子问题，每个子问题齐被蓄意为有独一详情谜底的，并让大模子在回答子问题的基础上回答最终决议。LLM 被收尾通过这个形势回答：" [ 中间念念考恶果：XXX ] "，便捷径直索要谜底。同期，关于蓄意好的问题，作家事前拓荒好基于步骤的算法来生成标准谜底，从而更客不雅高效地评估模子性能。

举例在 Surround 游戏中，蓄意了这么的问题：

现时位置周围的值是若干？

现时安全挪动的标的有哪些？

该标的能保证至少十次安全挪动吗？

评测中间程序带来了几个上风：更细粒度的评测，更高的可评释注解性，更澄莹的了解模子材干的上风和瑕玷。

Prompt 蓄意

为确保自制评估大谈话模子学习和应用游戏政策的材干，咱们蓄意了超过细心的足以当作教程的游戏 prompt。

包含三个结构化部分：、和，其中 部分提供齐备的游戏步骤评释，表率模子接管的输入形势，明确指定结构化输出条目。

在中包含了细心的 Chain-of-Thought，提供了东谈主类大家蓄意的游戏政策，带领 LLM 通过三步框架（政策相连→子问题解析→政接应用）处罚复杂问题。教程级别的 prompt 确保评估聚焦于模子基于新信息的推理材干（zero-shot 或 one-shot），而非依赖预西宾数据中的既有常识。

△GameBot 框架

评测游戏

Surround

游戏中玩家通过戒指标的在屏幕上挪动，并试图围住敌手。先撞上我方的轨迹、敌手的轨迹或者墙壁的一方算输。

△左：GPT-4o；右：Claude-35-Sonnet

2. Pong 乒乓

玩家通过戒指拍子在屏幕上挪动，并试图将球击回敌手区域。先未能接到球的一方算输。

△左：GPT-4o-mini；右：Llama3.1-405b

3.TicTacToe 井字棋

先连成三子的一方赢。

△X：Gemini-1.5-pro-preview；O：Llama3.1-70b

4.Connect4 四子棋

先连成四子的一方赢，每次只可从最下面启动落子。

△黄：Claude-35-Sonnet；红：GPT-4o-mini

5. Othello

黑白棋夹住翻转敌手的棋子以占据更多格子。游戏收尾时，棋盘上棋子数目更多的一方成效。

△黑：GPT-4o；白：Llama3.1-405b

6. Texas Hold ’ em 德州扑克

玩家左证我方的牌力下注，打败敌手赢得底池。游戏收尾时，牌型最强的一方成效。

△下：GPT-4；上：Claude-3-Sonnet

7. Checkers 跳棋

跳过敌手的棋子完成吃子，被吃光的输掉。

△白：Gemini-1.5-pro-preview；黑：Jamba-1.5-large

8. Negotiation v2

玩家协商物品的分派，来尽可能取得更多价值。游戏在 8 轮后每轮有 20% 的概率收尾，若游戏收尾前未达成契约，两边均得 0 分。

△P1: GPT-4o; P2: Gemini-1.5-pro-previewLLM 淘汰赛，谁会胜出？

在论文发布的版块里，作家评测了包括 GPT-4o，Claude-35-Sonnet, Gemini-1.5-pro-preview 等 17 个那时最越过的 LLM，每两个模子在每个游戏上进行 20 轮彼此抵御赛（10 轮先手 10 轮后手）。这种蓄意既保证了评估灵验性，又能确保实足多的游戏处所。

跟着新的大模子发布，作家更新了对更强的大模子的评测，包含 Gemini-2.0-flash-thinking，Gemini-2.0-pro-exp，O1-preview，Deepseek R1，O3-mini，Claude 3.7 Sonnet，GPT-4.5。比赛经受淘汰制，部分实验恶果：

最终排行 :

出乎不测的是，尽管在 Chatbot Arena 榜单上高居前三，Gemini-2.0-flash-thinking 在 GameBoT 榜单上相对其他新模子发扬并不亮眼，最近火热的 Deepseek R1 亦然和 O1-preview 打成平手，稍逊于 O3-mini-high。

中间程序得分 F1 Score：‍

Rank

Model

F1 Score

1

o3-mini-high

0.873

2

o1-preview

0.854

3

gemini-2.0-pro-exp

0.396

4

gemini-2.0-flash-thinking

0.253

5

deepseek-r1

0.176

Deepseek R1 的中间程序分不测很低，执行后发现，尽管最终的决议发扬很好，R1 的念念考历程超过繁冗，频繁出现连气儿十几次" wait "然后从头念念考的形势，时时没法按条目给出中间程序的谜底。

实战分析

以下是 O3-mini 和 Deepseek R1 的实战分析。O3-mini：X，Deepseek R1：O。

当棋局开局来到此时，是 O3-mini 建造的第一个慎重，不在 2 或者 5 位置堵住的话 Deepseek R1 会径直输掉。R1 正确应付：

Placing at 5 blocks X ’ s immediate threat and limits their ability to build a horizontal line.

当棋局来到

R1 关于上风处所穷追不舍，持续下在 2 变成三子。

Placing O at ( 3,2 ) forms a horizontal trio in row 3, setting up potential for a future four-in-a-row. This move also occupies the central column 2, enhancing control over multiple directions and blocking X from advancing in column 2. Additionally, this position can contribute to a diagonal with existing O pieces at ( 4,3 ) and ( 3,3 ) , offering multiple pathways to victory.

这一步，超过惊喜 R1 简略防卫到 ( 3,2 ) 除了横方朝上连成三子，还和（4,3）呼应，是一步精彩的落子。当作回话，O3-mini 天然选定了一步败招，落在 Column 1 中，导致 O 持续落在 1 径直告捷，但 O3-mini 给出的意义也体现了一定进程的智能。

If the opponent later uses ( 2,1 ) to complete a diagonal with their O ’ s at ( 3,2 ) and ( 4,3 ) ( aiming for a win by eventually filling ( 5,4 ) ) , it would be dangerous. By playing ( 2,1 ) now I both deny that chance for O and build my own potential diagonal connection ( using my existing X ’ s at ( 0,3 ) and ( 1,2 ) which would then point to a winning continuation with a future piece at ( 3,0 ) ) . This dual-purpose move makes ( 2,1 ) the best choice.

这个回答让东谈主猛然发现，本来此时早已是无解的处所——要是顺手落在别处，举例 5, 2 等， 那下一手 O 落在 1 将一招毙命，此时径直变成双三，没法同期堵 Column 4 和 Column 1。O3-mini 的正确走法也许应该先落在 4 处，天然也只可拖延几步，幸免不了失败（感风趣的读者不错推演）。

不雅察发现

对新模子的评测实验主要发现如下：

在测试的模子中，O3-mini-high 的游戏推感性能以及中间程序得分齐是最强。

R1 的推理材干也很优秀，但关于复杂问题，生成的中间念念考历程超过不易读，或者无法按 prompt 条目给出中间程序的谜底。可控性相对较差。

Gemini-2-flash-thinking 也存在可控性（或者说指示撤职材干，Instruction following）较差的问题，概括游戏推感性能并莫得 Chatbot Arena 清晰出来的那么优秀。

总之，O3-mini 和 R1 的发扬仍是体现出一些智能，但它们依旧不够机灵——以 Connect4 为例，关于径直能连成四子的处所，它们有时会看不出来。这也体面前它们的中间程序评测分并不是满分上。另外，尽管在 prompt 中提醒了需要 think ahead 多讨论几步，面前起首进的大模子也只可讨论现时这一步最优。

论文 :   https://arxiv.org/abs/2412.13602  

样式主页 :   https://visual-ai.github.io/gamebot/  

代码 :   https://github.com/Visual-AI/GAMEBoT

一键三连「点赞」「转发」「小心心」

迎接在辩驳区留住你的目标！

—  完  —

学术投稿请于责任日发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿实质‍

附上论文 / 样式主页相连，以及干系样貌哦

咱们会（尽量）实时回复你

� � 点亮星标 � �

科技前沿进展逐日见kaiyun体育网页版登录