ALLE RESEARCH / CODE · SCIENCE · AGENTS
← 返回 Benchmark 目录
GRAPH / REASONING

GraphArena

ICLR 2025

Evaluating LLMs on Graph Computation

10 项图计算任务,覆盖多项式时间与 NP-complete 挑战。

10图计算任务
4多项式时间任务
6NP-complete 挑战
01 / RESEARCH OVERVIEW

评测问题

通过可验证的图计算问题,检查模型能否理解结构、执行算法并找到有效解。任务包含 4 类多项式时间问题与 6 类 NP-complete 挑战。

GraphArena 论文研究配图
GraphArena · 论文研究配图 · 点击查看大图
02 / RESEARCH OVERVIEW

评测设计

将答案区分为正确、可行但非最优、格式正确但不可行以及缺失,进一步区分求解质量与幻觉。覆盖最短距离、旅行商等不同计算难度。

03 / RESEARCH OVERVIEW

研究发现

论文评估十余个模型,发现更大、更复杂的图仍具有挑战。研究进一步比较思维链、指令微调、代码求解及测试时计算扩展的优势与局限。

研究介绍与结果据论文原文 ↗整理;实验结论对应原文中的模型、数据与协议。

浏览全部 17 项 Benchmark ↗
START A CONVERSATION

与 ALLE 研究团队交流

数据、环境、评测与合作。

czi447@alleai.cloud ↗