英伟达研究团队 11 月 13 日公开驾驶世界模型 BirdDreams:仅凭一张摄像头图像,就能同时生成第一人称行车视频与固定比例的鸟瞰示意图,无需高精地图或车辆状态输入。
模型约 40 亿参数,采用双分支混合 Transformer 结构,两个视频扩散分支通过联合注意力耦合,分别负责视角视频与俯瞰布局。论文称,在 PhysicalAI-AV 与 nuScenes 数据集上,BirdDreams 的最小轨迹误差比英伟达自家的 OmniDreams 基线分别降低 21% 与 37%;375 次人工对比评判中,57% 的评委更认可其周围车辆行为的真实感。
论文也坦承局限:轨迹指标依赖另一套深度估计算法从生成视频中重建,并非直接监督;人工评测规模有限,且在逐帧画质上 BirdDreams 在 nuScenes 上仅排第二,提升主要集中在轨迹真实感而非像素保真度。

评论(0)
暂无评论