让生成式AI进入实时世界——Decart AI产品体系与核心技术解析

Decart AI 是一家专注于实时生成式AI、交互式世界模型(World Model)和AI计算优化的技术公司。

与 OpenAI、Google、Runway 等主要面向视频生成的产品不同,Decart 特别强调让AI生成的视觉内容能够实时响应外部输入,而不只是提前生成一段视频。

Decart AI——让生成式AI进入实时世界

例如,用户可以在视频通话中实时改变服装、形象甚至背景;自动驾驶系统可以进入AI生成的道路环境,根据自己的驾驶动作不断获得新的视觉反馈;机器人也可以在AI生成的虚拟环境中反复训练。

这背后涉及两项关键技术:实时世界建模,以及极低延迟的AI推理。

这三部分并非独立产品,而是相互支撑的技术体系:Lucy 和 Oasis 负责AI生成与交互,DOS负责让这些模型以足够低的延迟和成本运行。

一、Decart公司的定位与发展

Decart 成立于2023年,由具有AI计算优化背景的团队创办。公司联合创始人包括 Dean Leitersdorf、Orian Leitersdorf 和 Moshe Shalev。

公司早期以高效AI推理技术及生成式游戏环境 Oasis 引起关注,随后逐步发展为同时覆盖底层计算基础设施、实时视频模型和物理AI世界模型的技术公司。

2026年5月18日,Decart 宣布完成3亿美元融资,投资方包括 Radical Ventures、NVIDIA、Adobe Ventures、Toyota Ventures、eBay Ventures 等,累计融资超过4.5亿美元。

值得注意的是,Amazon AWS 既是其重要技术合作伙伴,也是其计算平台商业化的重要渠道。双方围绕 AWS Trainium 芯片开展联合优化,并尝试将实时世界模型推向更广泛的企业客户。

Decart 的商业定位可以归纳为三个层次:

层次产品商业目标
应用模型Lucy实时视频、直播、电商、数字内容
世界仿真Oasis自动驾驶、机器人、物理AI训练
基础设施DOS为云厂商和AI企业提升计算效率

与单纯销售生成式AI应用的公司相比,Decart 的特点是将模型研发与计算系统优化进行垂直整合,形成从芯片到应用的技术链条。

二、Lucy:让AI直接编辑正在发生的视频

Lucy 是 Decart 最接近商业化成熟应用的产品线。

其核心能力不是从零生成完整视频,而是将现有视频流作为输入,根据文字、参考图片等信息,对画面进行实时修改。

1. Lucy 能够做什么?

以2026年7月发布的 Lucy 2.5 为例,主要支持:

  • 人物替换:将视频中的人物转换为另一种形象。
  • 虚拟试衣:实时更换人物服装,尽量保留动作和穿着细节。
  • 物体编辑:添加、删除或者替换画面中的物体。
  • 场景变换:例如把白天街景变成夜晚赛博朋克风格。
  • 实时视觉特效:生成火焰、流水、沙粒等动态效果。
  • 局部编辑:改变特定对象,同时尽量保持其他区域不变。

其官方发布展示了1080p、30 FPS的实时生成能力。不过,当前公开API文档列出的 Lucy 2.5 标准输出分辨率为720p。因此,官方演示规格不能直接等同于所有开发者可获得的服务规格。

2. 技术难点:如何让视频连续、稳定?

普通AI图像编辑处理的是静态图片,而实时视频编辑必须解决跨帧一致性问题。

例如,AI将一个人变成穿红色西服的角色。这个人转身、走动、离开镜头再返回时,西服的颜色、纹理和人物身份都应该保持一致。

Lucy 2.5 引入了几项重要技术。

第一,Self-Anchoring(自锚定)。

模型在生成过程中,会把自己已经完成编辑的输出画面作为新的参考信息。

这样就不必始终依赖最初的一张参考图片,有助于减轻长时间生成过程中人物形象、物体属性逐渐偏移的问题。

第二,Smart History Augmentation(智能历史增强)。

通过改进对历史画面的利用,增强模型在连续运动和长时视频中的稳定性。

第三,大规模合成训练数据。

Decart 将高质量的图像编辑结果,通过专门训练的模型扩展为连续视频编辑样本。

这使系统能够学习,同一种编辑效果应该如何随着人物运动、镜头变化和环境光照变化而持续存在。

3. AdaOr:让AI编辑强度可以连续调节

Decart 还提出了 Adaptive-Origin Guidance(AdaOr,自适应原点引导)。

传统文字编辑通常只能告诉AI修改什么,却难以精确规定修改程度。

AdaOr 通过引入代表“不修改”的特殊条件,让编辑强度能够在保留原图和完全执行修改之间连续变化。

例如,同样输入“让地面覆盖积雪”,可以控制生成少量积雪还是厚厚的积雪,而不是反复修改提示词。

其技术关键是改变扩散模型的引导参考点,而非简单调整提示词权重。

这项研究反映出 Decart 的一个重要方向:生成式AI不仅要会生成,还要可控、可重复、可连续调节。

三、Oasis 3:为物理AI生成可交互的世界

如果说 Lucy 是修改已经存在的视觉世界,那么 Oasis 则试图创造一个能够持续运行的虚拟世界。

2024年发布的初代 Oasis,已经可以让用户通过键盘在模型生成的游戏环境中移动、跳跃和操作物体。

2026年6月发布的 Oasis 3,则将重点转向自动驾驶和机器人训练。

1. Oasis 3 的基本工作方式

这里最重要的特征是闭环(Closed-loop)。

传统视频生成往往由模型预先产生完整视频。Oasis 3 则依据用户或智能体不断变化的动作来生成后续画面。

官方披露的 Oasis 3 技术指标包括:

指标官方披露
生成速度22 FPS
输出尺寸512 × 768 × 3视角
交互延迟低于200 ms
模型方式自回归实时扩散生成
交互输入机器人动作;当前公开接口重点支持油门和转向
部署硬件NVIDIA HGX B200 等

2. 核心技术:Live Stream Diffusion

Oasis 采用实时流式扩散生成技术(Live Stream Diffusion)。

其早期技术路线使用基于 Transformer 的扩散模型,并在空间注意力之外引入时间注意力,让模型能够利用过去生成的画面。

同时,视频首先经过视觉编码器压缩为潜在表示,再由模型在压缩空间完成生成计算,最后恢复为图像。

可以将其理解为:

过去看到的画面 + 当前执行的动作 → 下一时刻应该看到的画面。

Oasis 3 在此基础上进一步强化了动作条件生成、多摄像头几何一致性和长时交互能力。

3. Oasis 的价值不只是生成视频

例如,自动驾驶开发者可以构造现实中很难重复采集的危险场景:

  • 雨雪天气中行人突然进入道路。
  • 夜间驶过施工区域。
  • 前车意外变道。
  • 摄像头被泥水部分遮挡。

智能体在这些场景中执行动作,获得新的观测,再调整驾驶策略。

从技术逻辑看,这使 Oasis 有机会成为强化学习、长尾场景测试和合成数据生成的工具。

但是需要特别强调:能够生成视觉上真实的世界,不等于已经掌握准确的物理规律。

TechCrunch 对 Oasis 3 的独立体验发现,长时间交互后可能出现道路场景漂移、先前建筑位置无法保持、控制响应不稳定,甚至汽车穿过其他车辆等问题。

因此,现阶段更适合将它作为真实测试和传统物理仿真的补充,而不能直接代替安全关键系统所需的物理验证。

四、DOS 2.0:Decart 最值得关注的底层技术

从商业和工程角度看,Decart 的长期竞争力可能更多来自 DOS,而不只是 Lucy 或 Oasis。

DOS 的技术目标是让大模型在 GPU、TPU、AWS Trainium 等不同AI加速器上运行得更快、更高效。

1. DOS 的技术组成

技术解决的问题主要作用
低精度量化模型计算和访存成本高降低计算负担
动态稀疏注意力Attention 计算存在冗余减少不必要的计算
Kernel Fusion多算子执行开销大降低访存和启动开销
编译器优化不同芯片架构差异大针对硬件生成高效计算流程
硬件协同设计通用模型难以充分利用芯片提高芯片实际利用率

其中,Lucy 2.5 的推理优化披露了三个值得注意的细节。

MXFP8 与 NVFP4 低精度计算

使用适配硬件的低精度格式进行推理。Decart 称,在计算受限操作中,相关量化方案最高可带来4倍加速;这不是整套系统的统一加速倍数。

Dynamic Sparse Attention

自定义动态稀疏注意力算法,识别并跳过部分冗余的注意力计算,从而减少计算成本。

Megakernel 与算子融合

将多个操作整合执行,以减少 Kernel 启动开销和高带宽显存(HBM)数据传输。

这些措施共同服务于一个目标:让单帧模型推理足够快,能够连续处理实时视频。

2. DOS 2.0 的性能数据

Decart 在2026年5月公布了如下性能能力:

这些数据不能被简单理解为:任何大模型安装 DOS 之后都会快8倍、100倍。

具体性能高度依赖模型结构、硬件、量化方式、批处理规模及延迟约束。目前公开资料尚不足以支持跨模型、跨平台的统一性能结论。

3. 与传统推理框架有什么区别?

PyTorch、TensorRT-LLM、vLLM 等已经提供成熟的模型执行或推理优化能力。

DOS 的区别更多体现在其商业与工程集成方式:它强调模型架构、编译优化、定制算子、硬件利用率以及最终服务成本的整体协同。

尤其值得关注的是 Decart 与 AWS Trainium 的合作。

Decart 不只是把一个现成模型移植到 Trainium 芯片,而是根据芯片架构修改和优化模型,尝试从模型设计阶段就考虑硬件的计算特点。

这种软硬件协同设计(Hardware-Software Co-design),也是 DOS 的核心竞争路径之一。

五、产品使用方式与商业化

Decart 已经提供开发者API,不仅有研究演示。

公开平台包含实时视频API、异步视频处理API、图像编辑API,以及 Oasis 3 专用的 Python gRPC SDK。

主要的开发语言支持 JavaScript、Python、Swift、Android 等。

截至2026年10月12日,其公开标准API价格如下:

产品公开计价典型用途
Lucy 2.5$0.02/秒实时视频编辑
Lucy VTON 3.6$0.02/秒虚拟试衣
Lucy Restyle 2$0.01/秒视频风格转换
Oasis 3 Preview$0.02/秒实时驾驶世界模拟

这意味着 Lucy 2.5 的标准实时服务价格约为每分钟1.20美元。较低延迟的 Fast Mode 则为标准费率的两倍。

上述属于公开API计价,不代表企业规模化采购的合同价格。

可以通过 Decart 开发者文档 了解SDK与接入方法。

六、与其他世界模型技术路线的比较

技术/平台主要技术方向相对特点
Decart Oasis 3实时动作条件世界生成强调低延迟、多视角、开发者API
Google Genie 3通用交互式世界模型强调开放场景探索及世界一致性
NVIDIA Cosmos 3物理AI基础模型覆盖生成、推理、动作学习与开放开发工具
NVIDIA Isaac Sim / CARLA基于显式场景的物理仿真几何、传感器和物理状态更加可控,便于确定性测试

Decart 的优势方向是实时生成速度、开发者接入和底层计算效率。

但对于精确碰撞检测、机械接触力、传感器物理特性、严格的可重复测试等需求,传统物理仿真仍具有不可替代的价值。

比较合理的发展方向,可能是生成式世界模型与显式物理仿真相结合,而不是前者完全替代后者。

七、综合评价与发展前景

Decart 的技术体系具有三个明显优点。

一是打通模型与硬件优化。 很多公司分别研究生成模型或者计算加速,而 Decart 同时开发这两部分,能够针对实时任务整体优化。

二是应用面广。 Lucy 已经面向电商、广告、直播等较为直接的市场;Oasis 面向周期更长但潜在价值更高的物理AI行业;DOS 则可以独立服务于大模型与计算基础设施市场。

三是已经具备开发者商业接口。 其产品并非仅限论文或演示,开发者可以直接调用API进行集成测试。

同时,也存在三方面限制:长时间世界一致性尚未完全解决;生成画面的物理真实性仍需独立验证;DOS 的突出性能宣称还需要更多公开、可复现的第三方基准测试。

还有一项值得关注的最新资本动态:2026年10月12日,《华尔街日报》报道称,Amazon 正在洽谈以约70亿美元收购 Decart。截至该报道时,这仍属于谈判阶段,并非已经完成的收购。

这也体现出 Decart 在跨芯片AI优化、实时生成与世界模型基础设施上的潜在战略价值。

结论

Decart 不应简单地被理解为一家实时AI视频编辑公司。

它实际上在探索一套新的AI运行模式:

让AI从离线生成内容的工具,发展为能够持续感知外部变化、响应动作、实时生成视觉反馈的交互式系统。

其中,Lucy 验证实时生成技术的消费及企业应用,Oasis 探索物理AI训练与仿真,而 DOS 则为这一切提供计算效率基础。

从技术成熟度看,Lucy 更接近规模化商业部署,DOS 具备独立基础设施价值,Oasis 则具有更强的长期研究潜力,但也面临更大的技术挑战。


参考资料

  1. Decart 官网:https://decart.ai/
  2. Lucy 2.5: Raising the Bar for Live AI https://decart.ai/publications/lucy-2-5-raising-the-bar-for-live-ai
  3. Introducing Oasis 3: First Interactive World Model for Physical AI https://decart.ai/publications/introducing-oasis-3-first-interactive-world-model-for-physical-ai
  4. Oasis: A Universe in a Transformer https://decart.ai/publications/oasis-interactive-ai-video-game-model
  5. Decart Raises $300M: Tech Leaders Back the Company as Both Customers and Investors https://decart.ai/publications/decart-raises-300m-tech-leaders-back-the-company-as-both-customers-and-investors
  6. What if video editing had a volume knob? https://research.decart.ai/adaptive-origin-guidance/
  7. Decart API Platform https://docs.platform.decart.ai/
  8. Decart’s New World Model Can Simulate Hours of Photorealistic Driving — With Some Caveats https://techcrunch.com/2026/06/10/decarts-new-world-model-can-simulate-hours-of-photorealistic-driving-with-some-caveats/

发表评论

您的邮箱地址不会被公开。 必填项已用 * 标注

Are you human? Please solve:Captcha