IT之家 7 月 13 日消息,商汤科技今日发布并全面开源日日新 SenseNova-Vision理解生成统一视觉大模型,这是商汤日日新大模型体系的重要视觉能力升级。
商汤科技表示,行业以往的 " 统一视觉 " 多是把检测、分割、深度预测等多个专家模型打包封装,本质还是割裂的。SenseNova-Vision 的核心变革是:让视觉成为通用基础模型的原生能力,彻底融入大模型体系。所有经典视觉任务如目标检测、图像分割、深度预测、3D 重建等,由此都实现了原生统一。
在多项评测中,SenseNova-Vision 以“单模型”在四大核心视觉领域大范围领跑,比肩甚至超越了各领域的专用“专家模型”:
横向对比如下:
a. 核心指标超越:在各项权威评测的硬核对决中,SenseNova-Vision 在绝大多数指标上均实现了对 Vision Banana 的超越与领跑。
b.任务能力倍增,且全面开源:展现出更强的多任务泛化实力。如 Vision Banana 仅能应对四大核心板块中的“两类”问题,而 SenseNova-Vision 却能同时将结构化理解、稠密几何、全景分割、多视角 3D 等全任务一网打尽。在此基础上 SenseNova-Vision 还做到模型、数据全面开源。
商汤也同步开源了包含 5000 万条样本的视觉指令语料库 SenseNova-Vision Corpus-50M。
未来,商汤将把 SenseNova-Vision 的核心技术全面融入日日新 U 系列大模型中。
IT之家附开源地址: