boxmoe_header_banner_img

Hello! 欢迎来到阿虪的开发世界~

加载中

文章导读

英伟达 BirdDreams 驾驶世界模型:单张图同时生成行车视频与俯瞰图


avatar
阿虪 14 11 月, 2026 166

英伟达研究团队 11 月 13 日公开驾驶世界模型 BirdDreams:仅凭一张摄像头图像,就能同时生成第一人称行车视频与固定比例的鸟瞰示意图,无需高精地图或车辆状态输入。

模型约 40 亿参数,采用双分支混合 Transformer 结构,两个视频扩散分支通过联合注意力耦合,分别负责视角视频与俯瞰布局。论文称,在 PhysicalAI-AV 与 nuScenes 数据集上,BirdDreams 的最小轨迹误差比英伟达自家的 OmniDreams 基线分别降低 21% 与 37%;375 次人工对比评判中,57% 的评委更认可其周围车辆行为的真实感。

论文也坦承局限:轨迹指标依赖另一套深度估计算法从生成视频中重建,并非直接监督;人工评测规模有限,且在逐帧画质上 BirdDreams 在 nuScenes 上仅排第二,提升主要集中在轨迹真实感而非像素保真度。

消息来源

AI Weekly



评论(0)

查看评论列表

暂无评论


发表评论

表情 颜文字

插入代码