防污染的代码模型评测基准

产品总结

LiveCodeBench 是一个代码大模型评测基准，名字里点明了两个主张：整体评测与防数据污染。它由三所高校的研究者发起，题目不是自己出的，而是持续从编程竞赛平台的周期性比赛收录新题，官方列出的题源是三个知名竞赛站；论文口径的题量是三百多道高质量题，覆盖 2023 年 5 月到 2024 年 2 月发布的题目。 防污染是它的核心机制：每道题都标注发布时间，因此可以只在某个模型训练截止日之后发布的题目上评测它，用没见过的题衡量泛化。官网给出了一组按月对比的图：某个开源模型家族在 2023 年 9 月之后发布的题目上出现明显断崖式下滑，提示更早的题目可能已被污染进训练集，而若干闭源接口模型各月表现相对稳定。整体性体现在场景上：除代码生成外还测自我修复、代码执行与测试输出预测，且官方发现同一模型在不同场景里的相对排名会变。 两组实证发现值得记。一是开放权重与闭源接口的对比：总体上闭源接口更强，开放权重要跨过某条线主要靠 30B 以上大模型的微调版本。二是对老牌代码基准的过拟合怀疑：官方把模型分成两簇，一簇在老基准与自家简单档上表现相当，另一簇老基准很高但简单档明显落后、且多为开源模型的微调版本，由此认为开源社区的微调数据多样性不足。 数据与榜单的分发很直接：各场景数据集分头发布在 Hugging Face 上，代码生成、测试生成、执行、执行第二版与轻量版齐全；轻量版下载量十一万以上、2025 年 6 月最近更新，榜单空间 2024 年 4 月上线。代码榜单按 Pass@1 汇总并分易中难三档、数据动态加载；提交不用联系作者，官方公开提交仓库，把模型输出拷进提交目录发合并请求、审核后即上榜。代码仓库为 MIT 许可，核验时约 950 星标。 新扩展的 GSO 榜单把评测从「写对代码」推到「把代码跑快」：面向编程智能体的软件优化基准，用 10 个代码库的 102 个优化任务，要求在通过正确性测试的同时相对专家优化达到至少 95% 的加速，按单次尝试与多次取最好两种口径给分并列出脚手架，官方另有专门站点放论文与数据下载。使用时留意两点：分数依赖提交与审核、页面动态加载，以访问当时为准；题源随时间加新题，不同期模型的总分要用发布时间切片对齐再比。

产品类型

代码能力评测基准

支持平台

评测榜单网页（动态加载分数） / GSO 软件优化榜单 / Hugging Face 公开数据集与榜单空间 / GitHub 代码与提交仓库（MIT 许可） / 论文与 BibTeX 引用

资费模式

基准、数据与榜单免费公开；代码仓库为 MIT 许可，自建评测零成本。