训练中加入一条真实数据就可能阻止AI“胡言乱语”_社区互动

训练中加入一条真实数据就可能阻止AI“胡言乱语”

创始人

2026-05-16 16:28:04

0次

科技日报北京5月15日电（记者张佳欣）当AI不断用自己生成的数据“喂养”自己，它就可能逐渐失去准确性，最终输出越来越多错误信息，甚至“胡言乱语”。英国伦敦国王学院领导的研究团队发现，只需在训练过程中加入哪怕一条来自真实世界的数据，就可能有效阻止这种被称为“模型崩塌”的现象。相关成果发表于新一期《物理评论快报》。

“模型崩塌”这一概念于2024年提出，指的是AI模型如果长期依赖自身生成的数据进行训练，模型性能会不断退化，最终输出失真内容。随着高质量人类文本数据逐渐接近枯竭，越来越多AI系统开始使用合成数据训练，这让模型崩塌风险进一步上升。

此次，团队通过分析一类被称为“指数族”的统计模型发现，在封闭循环训练（模型完全依赖自身生成数据学习）中，模型崩塌几乎不可避免。

研究显示，解决方法异常简单：只需在训练过程中加入一条来自外部世界的真实数据，哪怕其数量远远少于AI生成数据，也足以阻止模型性能持续退化，这种作用即使在机器生成数据数量无限增加时依然有效。

过去关于模型崩塌的研究多集中在大语言模型等复杂系统，由于其内部机制难以解释，错误来源也难以追踪，这也成为AI产生“幻觉”的原因之一。通过研究更简单的统计模型，科学家能够从数学上解释为何少量真实数据就能打破模型崩塌，从而为未来更复杂AI系统提供设计原则。

类似现象也存在于另一类名为“受限玻尔兹曼机”的机器学习模型中，表明这一规律可能具有更广泛适用性。下一步，他们计划将这一理论扩展到神经网络等更复杂的系统，以验证其在大语言模型中的实际效果。

念于数据团队输出模型训练系统研究张佳欣现象物理评论快报指数族玻尔兹曼机

上一篇：粤港湾控股更名为“粤港湾智算” 聚焦AI算力新基建

下一篇：深读丨大湾区青商共聚佛山，热议AI浪潮新机遇

训练中加入一条真实数据就可能阻止AI“胡言乱语”

相关内容

热门资讯