OpenDataLab团队 投稿

量子位 | 公众号 QbitAI

数据在AI时代的重要性已经不言而喻，但悬而未决的是——

如何精确量化这些数据的价值、辨别其优劣？

为此，上海人工智能实验室OpenDataLab团队在数据领域持续深耕，正式推出了开放数据竞技场OpenDataArena。

展开来说，在海量的SFT（监督式微调）后训练数据面前，研究者们常常陷入“黑盒式”的困境： 不清楚哪些数据真正有用，也难以系统性地评估和比较不同的数据集。

而OpenDataArena，正是一个为数据价值而生的“竞技场”，致力于将数据质量的评估从“玄学”变为“科学”。

团队希望通过一个公平、公开、透明的平台，首次正式尝试回答“如何验证数据价值”这一核心问题。

它不仅提供了一个直观的数据评测榜单，更构建了一套完整可复现的数据价值验证体系——

通过一套 训评一体化的开源工具，让不同数据集在同等条件下公平“竞技”，用模型效果作为衡量数据价值的最终标准。

同时，通过开发 多维度评分工具，对数据进行精细化“体检”，让数据价值不再是模糊的“黑盒”。

下面详细来看。

OpenDataArena：数据价值的首次全面验证

OpenDataArena首次系统性地探究“如何评价数据质量”这个难题。

为此，该项目构建了“开放数据竞技场”，并配套开发了一整套数据价值验证工具。

该平台的核心成果包括：

• OpenDataArena平台：一个公平、公开、透明的SFT后训练数据价值评测平台，涵盖一个多领域、可视化的数据竞技榜单。

• 多维度数据打分：平台从几十种维度对已有数据进行精细化打分，并已开源了部分评分数据，便于研究员们后续直接下载使用，避免重复API调用。

• 训评一体化工具：团队开源了整套数据训练、评估以及数据打分工具，让价值验证过程可复现、可扩展。

OpenDataArena为以下几类核心需求提供了实际的解决方案：

2、对数据生成的指导与优化：为数据合成的研究者提供多维度的评分数据和工具，助力他们寻找高价值的“种子数据”，为生成更优质的合成数据提供指导。

3、对数据价值的深入洞察：赋能学术研究人员探索数据特征与模型效果的内在关联，为数据选择、数据生成等前沿研究提供坚实的数据支持和客观的评估依据。

平台目前已覆盖4+领域、20+基准测试、20+数据评分维度，处理了100+数据集，超过20M+数据样本，并完成了600+次模型训练、10K+次模型评估，这些指标都在不断增长。

数据竞技场：让数据在实战中一较高下

OpenDataArena的核心理念，就是让数据价值在实战中得到验证。

该平台通过一套公平、公开、可复现的大模型训练与评测机制，来比较不同训练数据集的优劣。

那么，OpenDataArena具体是如何运作的呢？

1、数据集选择

平台覆盖了来自通用、数学、代码、科学等多个领域的后训练数据集。这些数据来自于HuggingFace并且有一定的下载和关注度，不仅具有代表性，而且具备时效性，确保了评测的现实意义。

2、模型选择

平台采用了社区中最常用、最具代表性的Llama3.1和Qwen 2.5的7B版本作为基准模型，它们代表了真实的学术和工业应用场景，同时尽可能反映了最多场景中实际使用的模型大小的数据性能。

3、训练与评估

平台采用标准化训练配置，训练环节采用广受认可的LLaMA-Factory框架，并且严格采用最常见的训练参数。

测试环节使用OpenCompass进行全面评估，在测试环节的参数设置上，团队进行了大量预实验，确保推理模板和评估器等细节都经过了精心的优化，排除外部干扰，让测试结果能更公平、公正地反映训练数据集的真实质量。

4、评测集全面覆盖

平台选择了通用、数学、代码、长链推理等多维度基准测试集，力求全面、客观地反映单领域数据质量，以及混合领域的数据综合质量。

最终，OpenDataArena数据竞技场诞生，通过数据评测榜单直观的给出数据“优秀”程度。

数据多维度评价：打开数据质量的“黑匣子”

除了通过训练模型得到下游任务的表现来直接反应数据的质量之外，OpenDataArena还通过多维度的客观评分工具，来对数据本身进行细致的“体检”，这些客观评分指标得到了学界和业界的广泛认可。

1、20+维度，精准画像

平台对代表性的数据集整体，以及数据集中的每一条数据，都进行了细致的多维度打分。

不论是直接选用整个数据集，还是用于挑选优质子数据，都方便操作。同时，无论是指令数据，还是指令-响应对数据，平台都从不同方面提供了相应的评分。

2、多源评分，深度剖析

平台的评分工具整合了多种维度评估方法，包括基于模型的评估（Model-based Evaluation，如IFD）、大模型作为评委（LLM-as-a-Judge，如准确性、复杂度）和启发式方法（Heuristic，如回复响应长度）。

这些维度涵盖了数据的常见评价指标，为数据的价值提供了丰富的量化视角。

3、开源评分数据

团队已完成对超过15M+数据的多维度评分，并已开源这些数据评分结果。

对于需要依赖常见评价指标开展数据筛选、种子数据生成等任务的科研用户而言，这不仅极大降低了打分成本，还有效避免了重复的API调用，从而节省了实际开销，可谓一项极其宝贵的资源。

通过上述努力，平台为数据合成、数据筛选的研究者提供了多维度的评分数据和工具，助力他们寻找高价值的“种子数据”，最终为生成更优质、更高价值的数据提供了直接的帮助。

开源工具：让数据价值验证触手可及

为了“公平、公正、公开”的OpenDataArena平台的设计原则，同时也为了让更多人能参与到数据价值验证中来，真实地评价数据的质量，OpenDataArena团队将整个平台的核心工具都进行了开源。

包括基于模型的训练评测工具，以及客观的多维度数据评价打分工具，所有的细节能在完整的OpenDataArena-Tool中找到说明。

• 训评一体化工具

平台基于主流的LLaMA-Factory训练框架，以及评测端知名的OpenCompass框架，打造了一套端到端的训练与评测工具，给出了所有的配置和流程复现脚本，确保了评估实验的结果可复现性与公平性。

相关的设置都尽可能与当前的主流研究工作、以及其余开源工具进行了对齐，保证了结果的公平公正可比。

具体的说明可以在配置详情和工具说明中，找到所有细节。

• 多维度数据打分工具

平台对于数据评价的打分工具也在持续完善中。

目前已实现的大部分评估维度打分工具均已开源，并提供了详细的使用教程。不管是单个维度的数据评估，还是所有已支持的数据评估维度，用户都可以在 官方wiki文档中了解到如何使用这些工具，并为自己的数据进行“体检”。