蚂蚁灵波开源 LingBot
7 月 9 日,蚂蚁蚂蚁灵波开源 LingBot-Video,灵波这是开源全球首个基于 Mixture-of-Experts(MoE)架构、面向具身智能的蚂蚁开源视频生成基础模型。该模型围绕机器人和具身智能的灵波核心需求重新设计视频预训练范式,在推理效率、开源物理合理性、蚂蚁动作理解和任务完成度等方面取得系统性提升,灵波为视频基础模型从数字内容创作走向具身智能提供了新的开源开源底座。
在北京大学联合字节跳动发布的蚂蚁基准 RBench 上,LingBot-Video 的灵波总分是 0.620,超越了 Wan2.6(0.607)、开源Seedance 1.5 Pro(0.584)、蚂蚁Cosmos3 Super(0.581)。灵波RBench 作为面向机器人操作视频的开源综合评测基准,重点考察模型能否生成符合真实物理规律的机器人行为。这一结果表明,LingBot-Video 在生成机器人相关视频时,更能保持动作过程的合理性和任务执行的完整性。

(图说:LingBot-Video 在 RBench 上性能最优)
为进一步验证 LingBot-Video 对物理世界变化的建模能力,蚂蚁灵波在内部 benchmark 中从通用质量和具身领域两个维度进行评估。结果显示,对比 NVIDIA Cosmos 3、Wan 2.2 A14B、LongCat-Video、Hunyuan Video 1.5、LTX-2.3 等五个开源模型,LingBot-Video 在具身领域表现优于主要基线模型。

(图说:综合评测显示,LingBot-Video在具身相关场景中展现出更强的物理理解和动作一致性)
过去几年,视频生成模型在画质、流畅度和创意表达上快速进步,但对于具身智能来说,一个看起来逼真、动作流畅的视频,却无法反映真实的物理规律,难以支撑机器人连续预测、规划和执行任务。与此同时,具身智能还要求模型具备更高推理效率,以适应实时交互和控制闭环。
这也让视频生成开始出现两种不同的演进方向:一条通向影院,服务于内容创作;另一条通向机器人,服务于物理世界的理解、预测与交互。LingBot-Video 正是蚂蚁灵波面向具身智能开辟视频生成新路线的重要探索。
LingBot-Video 从架构、数据和训练三方面进行了系统创新。
在架构上,LingBot-Video 采用 DiT + MoE 设计,以 MoE 替代传统 Dense 架构,在扩大模型容量的同时控制单次推理成本。其 30B 总参数模型在生成时仅激活约 3B 参数,相比同等参数规模 Dense 架构拥有约 3 倍推理效率。这一设计使模型既能获得大规模参数带来的视觉表达能力,又更适合具身智能对高效推理的要求。
在数据上,LingBot-Video 构建了数据画像引擎,在海量互联网视频的基础上进一步引入 VLA、VLN、Ego 等机器人相关数据,覆盖灵巧操作、机器人移动和第一视角交互等场景,总规模达 7 万小时的具身数据。这些数据帮助模型学习动作与环境变化之间的关系,而不只是学习视频的表面纹理和视觉风格。



在训练上,LingBot-Video 引入多维强化学习奖励系统。除美学、prompt 跟随和运动一致性等常规指标外,模型进一步围绕物理合理性和任务完成度进行对齐,使生成结果更符合真实世界规律,也更贴近机器人在真实世界完成任务的需求。
据介绍,LingBot-Video 可用于机器人动作预测、仿真数据生成、动作条件建模、世界模型研究等方向。目前,LingBot-Video 已正式开源。
(责任编辑:热点)
-
导读: 对于保险代理人来说,被咨询的最多的保险之一应该就是重疾险了,因为重疾险提供重疾保障,理赔一大笔钱,不用担心医疗费用问题,那么只买重
...[详细]
-
暴钦瑞曾在新乐宾馆被执行指定居所监视居住。南方周末记者 韩谦/图)到2023年9月19日,暴钦瑞已离世426天,但妻子暴琳琳和家人至今还没有收到死因调查结论。暴钦瑞是河北省石家庄市人,曾因涉寻衅滋事被
...[详细]
-
1月17日,黄埔区、广州开发区与株式会社LG化学签订投入资金合作协议,后者拟投入资金约3亿美元,在广州科学城建设大型制造工厂,生产大尺寸偏光片及封装材料等产品。预计2019年建成投产,达产产值约20亿
...[详细]
-
初三学生不吃早餐 郑州一班主任自掏腰包给加餐发布时间:2017-09-08 18:10 来源:豫都网 我要投稿[摘要]教室的一张空桌上放着常老师给大家准备的加餐 常老师和王校长一起分装给学生买的水果
...[详细]
-
召集所有勇敢的冒险者,踏上惊险旅程——《终极幸运之塔》正式结束抢先体验,准备逃离伊维利乌斯之塔!由 Studio Seufz 开发、AMC Games 发行的《终极幸运之塔》(Lucky Tower
...[详细]
-
近日,豆包APP上线实时视频通话功能,用户在电话界面开启视频画面后,豆包能基于真实场景与用户进行实时问答互动。豆包打电话界面点击视频按钮,即可实时视频通话)旅行过程中,用户可打开视频通话,询问所处景点
...[详细]
-
据监测显示,本周玻璃价格总体稳定,华中部分企业小幅调涨但落实情况不佳,华北地区大厂报价坚挺,部分渠道有小幅下调,监测地区均价维持在19.33元/平方米。行情分析产品:本周玻璃报价总体持稳,华中地区近期
...[详细]
-
18日早报:韦德谈赛季报销 书豪被赞球队发动机发布时间:2020-01-11 09:41 来源:豫都网 我要投稿[摘要]北京时间3月18日,NBA常规赛继续进行,以下是今日联盟消息汇总: 拉塞尔不介意
...[详细]
-
每年有不少在线游戏停运,其中既包括上线不久的新作,也有承载大量玩家回忆的长期运营作品。随着服务器关闭,游戏世界也随之终止,这也让许多人大呼“能否推出离线版以保留游戏”。最近一款由粉丝自制的《尼尔:转生
...[详细]
-
网易体育11月16日报道:在今天凌晨的比利时主场对战冰岛一战踢得波澜不惊,2队阵中都有不少在英超踢球的球员,英超球迷也欣喜的发现了曼联主帅穆里尼奥来到现场看球。很明显,穆里尼奥此次看球就是为了现场观察
...[详细]

劳模工匠进机关 榜样力量催奋进_
白魔术师齐名新4大中锋 库里弟弟不做萌神第二
後金磚時代 VIP經濟圈崛起 — 越南、印尼、菲律賓|天下雜誌
中山建设收到河南平顶山宝丰县住建局表扬信
可以只买重疾险吗?哪些情况不可以买重疾险
