ALLE RESEARCH / CODE · SCIENCE · AGENTS
← 返回 Benchmark 目录
CODING AGENTS / MAINTAINABILITY

CarryBench

A Multi-Role, Multi-Maintainer Benchmark for the Maintainability of Agent-Generated Code

代码通过测试之后,下一位维护者还要付出多少工作?通过固定代码产物与维护者,分别评测可分析性、可复用性与可测试性。

13仓库级案例
9代码生成模型
3维护者配置
01 / RESEARCH OVERVIEW

评测问题

功能正确并不等于易于维护。CarryBench 将生成代码的模型与后续维护者分开,考察同一份冻结代码在不同维护任务中带来的工作难度。

CarryBench 论文 Figure 1 评测框架
Figure 1 · 论文评测框架 · 点击查看大图
02 / RESEARCH OVERVIEW

两阶段、多角色评测

第一阶段由 9 个模型在 13 个案例上生成 117 份实现,覆盖 Python、Go、Rust 和 C++。第二阶段在固定预算下,使用 3 种维护者配置:观察者只读源码预测行为,复用者基于既有代码构建新用途,测试者编写黑盒测试套件。静态模块性作为独立的结构代理指标。

03 / RESEARCH OVERVIEW

研究发现

不同维护需求会产生不同的模型排序。可复用性的排序在维护者之间相对更一致,可分析性与可测试性的一致性较弱。更高的状态内聚性也不一定意味着更容易完成下游工作,因此论文按任务和维护者分别报告结果,不合并为一个通用分数。

内容与实验结果据论文原文整理;结果为作者在文中数据、模型与评测协议下的报告。

浏览全部 17 项 Benchmark ↗
START A CONVERSATION

与 ALLE 研究团队交流

数据、环境、评测与合作。

czi447@alleai.cloud ↗