这项由香港理工大学、新加坡管理大学、山东大学、中国科学技术大学以及哈尔滨工业大学(深圳)联合开展的研究，于2026年1月14日发表在arXiv预印本平台上，论文编号为arXiv:2601.09536v1。这项研究首次提出了统一生成式多模态推理范式，让人工智能能够在推理过程中"看图说话"并"画图思考"。

当我们人类解决复杂问题时，经常需要画图、标记、放大细节来帮助思考。比如做几何题时会画辅助线，看地图时会圈出关键位置，分析图表时会标注重要数据点。然而，目前的AI系统在处理涉及图像的复杂问题时，往往只能用文字进行推理，就像闭着眼睛做题一样，效率和准确性都大打折扣。

研究团队敏锐地发现了这个问题的核心所在。他们认为，真正智能的多模态推理应该像人类一样，能够在思考过程中生成和操作视觉信息。举个例子，当AI遇到"图中左侧的人是否在车辆旁边"这样的问题时，它应该能够自动放大图片的相关区域，仔细观察细节，然后给出准确答案，而不是仅凭对整张图片的模糊印象进行猜测。

为了解决这个挑战，研究团队开发了名为"Omni-R1"的创新框架。这个系统的核心创新在于将多种视觉推理技能统一到一个生成式范式中。具体来说，Omni-R1能够在推理过程中执行五种关键的视觉操作技能。

第一种技能是"定位放大"，就像使用放大镜一样。当AI需要仔细观察图像中的某个特定区域时，它能够自动裁剪并放大该区域，获得更清晰的视觉信息。这就好比你在看一张风景照时，发现远处有个有趣的建筑，于是用放大镜仔细观察那个区域的细节。

第二种技能是"框选标记"，类似于我们在文档上用荧光笔划重点。AI可以在图像上绘制边界框来突出显示重要的物体或区域，帮助自己更好地追踪和分析这些关键元素。

第三种技能是"辅助线绘制"，这在解决几何问题时特别有用。就像我们在做几何题时会画辅助线来揭示隐藏的关系，AI也能在图形中添加线条来明确表达几何关系或对齐约束。

第四种技能是"编号标记"，AI可以在图像中的相关实例上添加数字或标识符，这样在后续的文字推理中就能明确地引用这些对象，避免混淆。

第五种技能是"视觉预测"，AI能够预测下一个视觉状态。比如在分析一个机器人执行任务的场景时，AI可以生成显示任务完成后场景会是什么样子的图像。

更令人惊讶的是，研究团队还开发了一个名为"Omni-R1-Zero"的变体系统。这个系统的特殊之处在于，它完全不需要人工标注的多模态推理示例进行训练。相反，它采用了一种巧妙的"自举式可视化"方法，从纯文字的推理数据中自动生成对应的视觉推理过程。

这种自举方法的工作原理颇为精巧。系统首先分析文字推理的每个步骤，然后自动为每个推理步骤生成相应的视觉表示。比如，当文字推理提到"第一步：识别图中的圆形物体"时，系统会自动生成一张标注了圆形物体的图像来配合这个推理步骤。通过这种方式，系统能够从大量的纯文字推理数据中学会视觉推理的模式。

为了验证这些方法的有效性，研究团队构建了一个名为"Omni-Bench"的综合评测基准。这个基准涵盖了四大类多模态推理任务，每类任务都需要不同的视觉推理技能。

第一类是"自然场景感知"任务，主要处理现实世界的图像。这类任务通常需要AI准确定位和识别图像中的关键证据。比如判断照片中某个人是否在车辆旁边，就需要AI能够放大相关区域，仔细观察人物与车辆的位置关系。

第二类是"图解数学"任务，涉及基于图形的数学推理。在这类任务中，AI需要理解几何关系并进行相应的计算。辅助线绘制技能在这里发挥了关键作用，帮助AI明确复杂几何图形中的各种关系。

第三类是"结构化图像"任务，主要处理包含文字和图形元素的结构化输入，如图表、公式等。这类任务需要AI能够精确定位和解析图像中的特定信息元素。

第四类是"视觉操作场景"任务，包括视觉游戏和机器人规划等复杂的视觉操作任务。这类任务特别需要视觉预测技能，AI需要能够预测执行某个操作后场景会发生什么变化。

在技术实现层面，Omni-R1采用了一个两阶段的训练策略。第一阶段是"感知对齐监督微调"，这个阶段的目标是让系统学会生成功能性的图像。所谓功能性图像，是指那些在推理过程中起到特定作用的图像，比如带有标记的图像或放大后的局部图像。这些图像通常看起来不太自然，但对推理过程至关重要。

为了确保生成的图像确实具有正确的视觉语义，研究团队引入了一个"感知损失"机制。这个机制利用预训练的视觉编码器来约束图像生成过程，确保生成的图像在视觉语义上与目标保持一致。

第二阶段是"感知校准相对策略优化"，这是一个基于强化学习的优化阶段。在这个阶段，系统会针对没有多模态标注的推理任务进行进一步优化。系统的表现通过一个复合奖励函数来评估，这个函数包含三个组成部分。

首先是准确性奖励，通过比较最终答案与标准答案来计算。这确保了系统的推理能够得出正确结果。

其次是格式奖励，检查生成的推理轨迹是否遵循了正确的格式要求。这保证了系统输出的推理过程具有良好的结构。

最后是感知奖励，这个创新性的奖励机制专门评估中间视觉生成的质量。它通过分析生成图像的视觉连贯性来判断这些图像是否真正有助于推理过程。

实验结果令人印象深刻。在Omni-Bench基准测试中，Omni-R1相比基线方法平均提升了87.7%的性能。更令人惊讶的是，完全不需要多模态标注的Omni-R1-Zero系统，平均性能提升达到了96.3%，甚至在某些任务上超过了使用监督数据的Omni-R1系统。

这个结果特别有意义，因为它表明自举式的视觉推理学习方法不仅可行，而且在某些情况下甚至比传统的监督学习方法更有效。这为未来大规模部署视觉推理系统提供了一条更加实用的路径。

研究团队还进行了深入的分析，探讨了不同组件对系统性能的贡献。他们发现，强化学习优化阶段对于开发多步骤和复杂的多模态推理能力至关重要。移除这个阶段会导致性能显著下降，特别是在视觉操作和图解数学任务上。

感知校准奖励机制也被证明是重要的。它不仅提高了视觉证据的利用效果，还稳定了策略优化过程。没有这个机制，系统很容易生成视觉上无意义的图像，即使这些图像在某些指标上看起来是合理的。

此外，研究团队还发现了一个有趣的现象。通过对生成的中间视觉模式进行分析，他们观察到Omni-R1倾向于生成少数几种紧密的视觉模式，而Omni-R1-Zero则表现出更加分散和多样化的视觉结构。在两种情况下，正确推理的实例都比错误推理的实例聚集得更紧密，这表明有监督的训练轨迹促进了规范化和稳定的视觉生成，而奖励引导则鼓励了更广泛的探索。

这项研究的意义远不止于技术层面的突破。它为人工智能的多模态推理开辟了一个全新的研究方向，展示了如何让AI系统具备更接近人类的推理能力。更重要的是，Omni-R1-Zero的成功表明，我们可能不需要大量昂贵的多模态标注数据就能训练出强大的视觉推理系统。

当然，这项研究也面临一些挑战和限制。生成功能性图像仍然是一个技术难题，特别是那些包含特殊标记或注释的图像。此外，如何确保生成的视觉内容确实有助于推理，而不是误导系统，也是一个需要持续关注的问题。

展望未来，这项研究为开发更智能、更通用的多模态AI系统奠定了重要基础。随着技术的进一步发展，我们可能很快就能看到能够像人类一样进行复杂视觉推理的AI系统在各个领域得到广泛应用，从教育辅导到科学研究，从医疗诊断到工程设计，都将受益于这种"会看图思考"的AI能力。

说到底，这项研究最重要的贡献在于证明了AI可以学会像人类一样在推理过程中主动生成和利用视觉信息。这不仅是技术上的进步，更是我们向真正智能的AI系统迈出的重要一步。未来，当我们与AI系统讨论复杂问题时，它们不再需要"盲目"地猜测，而是能够像我们一样，画图、标记、放大细节，然后基于这些视觉证据给出更准确、更可靠的答案。

Q&A

Q1：Omni-R1的五种视觉推理技能具体是什么？

A：Omni-R1具备五种核心视觉推理技能：定位放大（像放大镜一样裁剪放大特定区域）、框选标记（用边界框突出重要物体）、辅助线绘制（在几何图形中添加辅助线）、编号标记（给相关对象添加数字标识）、以及视觉预测（预测下一个视觉状态）。这些技能让AI能够在推理过程中主动操作和生成视觉信息。

Q2：Omni-R1-Zero为什么不需要多模态标注数据就能工作？

A：Omni-R1-Zero采用了创新的"自举式可视化"方法，它能从纯文字推理数据中自动生成对应的视觉推理步骤。系统分析文字推理的每个步骤，然后自动为每步生成相应的视觉表示。比如文字提到"识别圆形物体"，系统就会生成标注了圆形物体的图像。通过这种方式避免了对昂贵多模态标注的依赖。

Q3：这项研究在实际应用中有什么价值？

A：这项研究让AI具备了类人的视觉推理能力，在多个领域都有重要应用价值。在教育领域，AI可以像老师一样在图上画辅助线讲解几何题；在医疗诊断中，AI可以放大关键区域并标记异常位置；在工程设计中，AI可以分析复杂图纸并预测设计变更的效果。实验显示性能提升高达96.3%，表明这种"会看图思考"的AI能力具有广阔的应用前景。