GRAPH / REASONING
GraphArena
ICLR 2025
Evaluating LLMs on Graph Computation
10 项图计算任务,覆盖多项式时间与 NP-complete 挑战。
10图计算任务
4多项式时间任务
6NP-complete 挑战
01 / RESEARCH OVERVIEW
评测问题
通过可验证的图计算问题,检查模型能否理解结构、执行算法并找到有效解。任务包含 4 类多项式时间问题与 6 类 NP-complete 挑战。

02 / RESEARCH OVERVIEW
评测设计
将答案区分为正确、可行但非最优、格式正确但不可行以及缺失,进一步区分求解质量与幻觉。覆盖最短距离、旅行商等不同计算难度。
03 / RESEARCH OVERVIEW
研究发现
论文评估十余个模型,发现更大、更复杂的图仍具有挑战。研究进一步比较思维链、指令微调、代码求解及测试时计算扩展的优势与局限。
研究介绍与结果据论文原文 ↗整理;实验结论对应原文中的模型、数据与协议。
浏览全部 17 项 Benchmark ↗