金磊 发自 凹非寺量子位 | 公众号 QbitAI
整整三天，一波接一波连续开源。
在机器人的眼睛（LingBot-Depth）和机器人的大脑（LingBot-VLA）之后，刚刚，蚂蚁灵波又开源了一个大的：
通用的世界模型——LingBot-World。
是可以支持�分钟时长里，一直生成、一直交互的那种，来感受一下这个feel：
视频地址：https://mp.weixin.qq.com/s/RmN9XbZRif0fdfoejBn6zA
不难看出，视觉效果已经做到了与DeepMind推出的Genie 3不相上下，但时间维度上明显是更长。
而且LingBot-World生成的视频不只是能看，你也可以深度参与其中。
你可以通过键盘（WASD）和鼠标，实时控制视角的推进、旋转，就像在玩一A大作一样：
视频地址：https://mp.weixin.qq.com/s/RmN9XbZRif0fdfoejBn6zA
当然，Agent也能够在生成的世界中自主规划并执行动作。
与此同时，你也可以用自然语言的方式去实时改变生成世界里的一切。
例如我们“喂”给LingBot-World这样一张初始图：
只需输入“前面放个烟花”（0-10s）、“变成冰雪世界”（10-20s），LingBot-World就会从这张图开始按照你的要求生成下去：
视频地址：https://mp.weixin.qq.com/s/RmN9XbZRif0fdfoejBn6zA
言出法随，真·言出法随。
不仅如此，LingBot-World一致性这块也是拿捏的非常到位，例如下面的科幻场景，不论是远景还是近景，那个光圈始终保持高度的一致性：
视频地址：https://mp.weixin.qq.com/s/RmN9XbZRif0fdfoejBn6zA
除了一致性之外，记忆力这块也是值得说道说道。
即便画面已经离开了视频中的猫咪一段时间，但当镜头转回来，LingBot-World还能保持持续的记忆，并推断猫咪在屏外的行为。
就仿佛一切都在自然演进、发生一样：
视频地址：https://mp.weixin.qq.com/s/RmN9XbZRif0fdfoejBn6zA
并且LingBot-World还严格遵循现实世界的物理规律，同样是这只猫咪，当它撞到沙发的时候就不会出现穿模的情况，会显得更加真实：
视频地址：https://mp.weixin.qq.com/s/RmN9XbZRif0fdfoejBn6zA
如此效果，也难怪刚刚发布，就已经在国内外的网上掀起了不小的热议：
真正的突破不在于视觉。而是它将记忆力、交互和持续性整合到了一起。
但最最最关键的是，不同于Genie 3的闭源，LingBot-World选择的是完全开源！
这也成了网友们直呼“Amazing”的重点：
对开源社区来说是个巨大的胜利。如此开源对具身智能来说是个巨大进步。
那么LingBot-World到底是如何做到的呢？
相关论文也已新鲜出炉，我们这就来一探究竟。
LingBot-World是如何炼成的？
从刚才的效果展示和网友讨论中，我们不难发现世界模型的三大核心难点：
一致性交互性实时性
因为它不像AI视频生成那样，视觉上或许能达标，但最重要的是要按照严格物理规律持续地生成下去；从这个层面上来看，更像是一个世界模拟器
为了做到这一点，蚂蚁灵波团队先是在数据层面下了一番功夫。
LingBot-World先是构建了一个混合数据引擎。
一方面，他们收集了海量的真实世界视频（包括第一人称和第三人称视角）；另一方面，利用虚幻引擎（Unreal Engine）合成数据，通过游戏引擎生成的画面，自带完美的相机位姿和物理碰撞信息，这是让模型学会因果关系的关键。
其次是分层标注策略，不同于传统笼统的视频描述，LingBot-World将描述拆解为三个层级：
叙事描述（Narrative Caption）：讲故事，描述视频的整体情节和环境变化。静态场景描述（Scene-Static Caption）：只描述环境，刻意忽略动作。这让模型学会将背景与运动解耦。密集时序描述（Dense Temporal Caption）：精确到秒的动作描述，比如“秒向左转，看到了一根柱子”。
数据层面之后，就是在模型层面上的创新。
LingBot-World并没有从零开始“硬Train”，而是采取了三阶段进化策略
阶段一是预训练，目标是先生成一个世界。
团队基于视频生成模型进行初始化。这一步不追求交互，只为了让模型拥有强大的通用视频生成能力，能够画出高保真的纹理和光影。
阶段二是中训练，目的是让模型掌握物理规律。
为此，团队引入了混合专家模型架构，这些专家会负责大到构建全局结构和粗略布局（比如山在哪里，路通向哪）的工作，小到填充纹理细节（比如水面的波纹，叶子的脉络）等。
在这个阶段，模型被注入了大量的交互数据和游戏逻辑，学会了“如果我按下W键，画面应该怎么变”。同时，通过渐进式课程学习，模型开始涌现出空间记忆能力，解决了长视频生成的灾难性遗忘问题。
阶段三是后训练，剑指实时性。
由于传统的双向扩散模型太慢，团队引入了因果注意力机制和少步蒸馏技术。
将推理过程从双向推演变成了自回归生成，在保证画质的前提下，将延迟压缩到𱄽秒以内（16fps生成速度），真正实现了Real-time Playable。
如此操作下来，在与Genie 3、Mirage 2等顶尖模型的对比过程中，性能上便取得了较为明显的优势。
尤其是在长时序一致性和记忆力方面，LingBot-World是做到了生成即记住
蚂蚁灵波的布局一下子清晰了
若是单点看LingBot-World这项技术的开源，或许你会觉得它可能只是一个好玩、好用的世界模拟器。
但如果结合前两天发布的LingBot-Depth和LingBot-VLA，你会发现，蚂蚁灵波正在下一盘很大的棋。
因为它不仅仅是三次开源动作这么简单，背后更是一套完整的具身智能基础设施
首先是机器人的眼睛（感知），即LingBot-Depth。
蚂蚁灵波的LingBot-Depth通过掩码深度建模，把传感器缺失的信号视为掩码，利用视觉上下文把深度图补全。
结果就是让机器人即使是面对反光、透明的物体，也能看清楚真实的世界。
其次是机器人的大脑（决策），即LingBot-VLA。
�小时真实世界数据加持下，机器人能够更精准地进行操作，并且更具备极强的泛化能力。
不仅在三个不同机器人平台上完成�项任务，成功率碾压同类模型，训练吞吐量更是现有框架.5.8倍。
最后就是机器人的环境（模拟），也就是今天新鲜开源的LingBot-World。
因为真实世界训练机器人太贵、太慢，也存在一定的安全隐患；但在这里，它能生成无穷无尽的虚拟环境，并且符合物理规律。
不过有一说一，这三个动作并非是简单做加法，实际上是产生𱄽+1+1 > 3的化学反应：
LingBot-VLA可以在LingBot-World生成的虚拟环境中进行千万次推演（Sim-to-Real），以极低的成本学习物理规律。
LingBot-World生成的视频具有极强的一致性，可以直接转化为高质量D点云，反过来作为训练数据，让LingBot-Depth看得更准。
VLA在真实世界的反馈，又能优化World模型的物理准度，让模拟更逼真。
很明显，是围绕具身智能的一个完整闭环
由此，蚂蚁灵波下的这盘大棋也就非常清晰了——
把感知（LingBot-Depth）、决策（LingBot-VLA）、模拟（LingBot-World）这三大核心件全部开源，试图为整个行业提供一套可复用、标准化的产业基础设施。
但从更长远角度来看，或许蚂蚁灵波目前聚焦在具身智能还只是一个主线，因为如此复用性，同样也可以用于游戏、AIGC和自动驾驶等。
蚂蚁灵波的这盘棋，很有可能还将扩局。
One More Thing：
纵观蚂蚁灵波这三天的开源，一个很直接的体感就是真实。
这不，为了证明LingBot-World不只是个demo，团队还把实施部署的视频给放出来了：
视频地址：https://mp.weixin.qq.com/s/RmN9XbZRif0fdfoejBn6zA
项目主页：https://technology.robbyant.com/lingbot-world
GitHub：https://github.com/Robbyant/lingbot-world-Tech
论文地址：https://github.com/Robbyant/lingbot-world/blob/main/LingBot_World_paper.pdf
项目权重：https://huggingface.co/collections/robbyant/lingbot-worldhttps://www.modelscope.cn/collections/Robbyant/LingBot-World