Ctrl-World团队 投稿欧洲杯体育

量子位 | 公众号 QbitAI

这两天，Physical Intelligence（PI）调和创举东说念主Chelsea Finn在上，对斯坦福课题组一项最新宇宙模子职责kuakua连气儿点赞。

生成看起来可以的视频很容易，难的是构建一个简直对机器东说念主有用的通用模子——它需首要密侍从行为，还要挥霍准确以幸免常常幻觉。

这项盘考，恰是她在斯坦福指示的课题组与清华大学陈建宇团队调和提议的可控生成宇宙模子Ctrl-World。

这是一个能让机器东说念主在“思象空间”中完成任务预演、战术评估与自我迭代的阻拦性决议。

中枢数据骄傲，该模子使用零真机数据，大幅进步战术在某些不才游任务的指示侍从才略，奏效劳从38.7%进步至83.4%，平均修订幅度达44.7%。

其关联论文《CTRL-WORLD：A CONTROLLABLE GENERATIVE WORLD MODEL FOR ROBOT MANIPULATION》已发布于arXiv平台。

注：Ctrl-World专为通用机器东说念主战术的战术在环轨迹推演而设想。它生成调和多视角瞻望（包括腕部视角），通过帧级条目适度已毕细粒度行为适度，并通过姿态条目缅思检索督察连贯的万古程动态。这些组件已毕了：（1）在思象中进行精确的战术评估，并与的确宇宙轨迹推演对王人（2）通过合成轨迹已毕针对性的战术修订

盘考布景：机器东说念主试验的“的确宇宙逆境”与宇宙模子的破局价值

现时，视觉-讲话-行为（VLA）模子虽在多种操作任务与场景中展现出超卓性能，但在灵通宇宙场景中仍面对两大中枢难受，这亦然团队研发CTRL-WORLD的中枢动因：

难受一，战术评估老本高，的确测试烧钱又低效。

考据机器东说念主战术性能需在不同场景、任务中反复试错。

以“抓取物体”任务为例，盘考者需准备大小、材质、体式互异的物体，搭配不同光照、桌面纹理的环境，让机器东说念主叠加成百上千次操作。

不仅如斯，测试中还可能出现机械臂碰撞（故障率约5%-8%）、物体损坏（损耗老本单轮测试超千元）等问题，单战术评估周期常达数天。更枢纽的是，抽样测试无法隐匿通盘潜在场景，难以全面长远战术盘曲。

难受二，战术迭代一样难，的确场景数据耐久不够用。

即便在含95k轨迹、564个场景的DROID数据集上试验的主流模子π₀.₅，面对“抓取左上角物体”“折叠带斑纹毛巾”等生疏指示或“手套、订书机”等未见过的物体时，奏效劳仅38.7%。

传统修订姿色依赖东说念主类巨匠标注新数据，但标注速率远赶不上场景更新速率——标注100条高质地折叠毛巾轨迹需资深工程师20小时，老本超万元，且无法隐匿通盘异形物体与指示变体。

灵通宇宙尚存在毒手问题，另一边，传统宇宙模子当今也还面对三大痛点——

为贬责的确宇宙依赖，学界曾尝试用宇宙模子（即虚构模拟器）让机器东说念主在思象中试验。

但盘考团队在论文《CTRL-WORLD：A CONTROLLABLE GENERATIVE WORLD MODEL FOR ROBOT MANIPULATION》中指出，现存宇宙模子精深按序聚焦于被迫视频瞻望场景，无法与先进通用战术进行主动交互。

具体来说，存在三大枢纽局限，阻拦其撑持战术在环（policy-in-the-loop）推演：

单视角导致幻觉精深模子仅模拟单一第三东说念主称视角，导致“部分可不雅测性问题”——举例机械臂抓取物体时，模子看不到腕部与物体的构兵情景，可能出现“物体无物理构兵却瞬移到夹爪中”的幻觉；行为适度不精致传统模子多依赖文本或运转图像条目，无法绑定高频、隐微的行为信号，举例机械臂“Z轴迁移6厘米”与“Z轴迁移4厘米”的差异无法被准确响应，导致虚构预演与的确行为脱节；万古一致性差跟着瞻望期间蔓延，狭窄时弊会束缚蓄积，导致“时序漂移”——论文实验骄傲，传统模子在10秒预演后，物体位置与的确物理规矩的偏差，失去参考价值。

为此，清华大学陈建宇与斯坦福大学Chelsea Finn两大团队调和提议CTRL-WORLD，旨在构建一个“能精确模拟、可耐久踏实、与的确对王人”的机器东说念主虚构试验空间，让机器东说念主通过“思象”试验。

三大立异时刻，让CTRL-WORLD阻拦传统宇宙模子局限

Ctrl-World通过三项针对性设想，贬责了传统宇宙模子的痛点，已毕“高保真、可适度、长连贯”的虚构预演。

论文强调，这三大立异共同将“被迫视频生成模子”滚动为“可与VLA战术闭环交互的模拟器”。

Ctrl-World基于预试验视频扩散模子运滚动，并通过以下姿色适配为一个可控且期间一致的宇宙模子：

多视角输入与调和瞻望帧级行为条目适度姿态条目缅思检索第一，多视角调和瞻望：贬责“视线盲区”，诽谤幻觉率

一般来说，以往模子靠单视图瞻望，存在部分不雅测问题与幻觉。

而Ctrl-World勾搭第三东说念主称与腕部视图调和瞻望，生成的改日轨迹精确且贴合的确情况。

传统宇宙模子仅模拟单一第三方视角，本体是“信息不全”。

而CTRL-WORLD立异性地调和生成第三方全局视角+腕部第一视角：

第三方视角提供环境全局信息（如物体在桌面的举座布局），腕部视角捕捉构兵细节（如机械爪与毛巾的摩擦、与抽屉的碰撞位置）；模子通过空间Transformer将多视角图像token拼接（单帧含3个192×320图像，编码为24×40latent特征），已毕跨视角空间联系对王人。

论文实验考据了这一设想的价值：

在波及机械臂与物体构兵的精致操作任务中（如抓取微型物体），腕部视角可精确捕捉夹爪与物体的构兵情景（如握协力度、构兵位置），权贵减少“无物理构兵却完成抓取的幻觉”。

定量数据骄傲，该设想使物体交互幻觉率诽谤；在多视角评估中，Ctrl-World的峰值信噪比（PSNR）达23.56，远超传统单视角模子WPE（20.33）和IRASim（21.36），结构相似性（SSIM）0.828也权贵高于基线（WPE0.772、IRASim0.774），评释虚构画面与的确场景的高度契合。

第二，帧级行为适度：绑定行为与视觉因果，已毕厘米级精确操控

要让虚构预演“可控”，必须竖立“行为-视觉”的强因果联系。

Ctrl-World的贬责决议是“帧级行为绑定”：

将机器东说念主输出的行为序列（如枢纽速率）滚动为笛卡尔空间中的机械臂姿态参数；通过帧级交叉耐心力模块，让每一帧的视觉瞻望都与对应的姿态参数严格对王人——就像“分镜剧本”对应每一幕剧情，确保“行为A势必导致视觉完毕B”。

注：上图展示的是Ctrl-World的可控性过甚消融实验。不同的行为序列可以在Ctrl-World中以厘米级的精度产生不同的张开完毕。移除缅思会导致瞻望敷衍（蓝色），而移除帧级姿势条目会诽谤适度精度（紫色）。耐心力可视化（左侧）在瞻望(t=4)秒帧时，对具有相通姿势的(t=0)秒帧骄傲出浓烈的耐心力，阐发了缅思检索的灵验性。为了明晰起见，每个行为块都用当然讲话抒发（举例，“Z轴-6厘米”）。由于空间适度，仅可视化了中间帧的腕部视角。

论文中给出了直不雅案例：

当机械臂现实不同的空间位移或姿态诊疗行为时（如沿特定轴的厘米级迁移、夹爪开合），Ctrl-World能生成与行为严格对应的预演轨迹，即使是隐微的行为差异（如几厘米的位移变化），也能被准确折柳和模拟。

定量ablation实验骄傲，若移除“帧级行为条目”，模子的PSNR会从23.56降至21.20，LPIPS（感知相似度，数值越低越好）从0.091升至0.109，评释该设想是精确适度的中枢。

第三，姿态条目缅思检索：给万古模拟“装踏实器”，20秒万古预演不漂移

万古预演的“时序漂移”，本体是模子“健忘历史情景”。

Ctrl-World引入“姿态条目缅思检索机制”，通过两个枢纽门径贬责：

寥落缅思采样：从历史轨迹中以固定步长（如1-2秒）采样k帧（论文中k=7），幸免高下死不改过长导致的酌量职守；姿态锚定检索：将采样帧的机械臂姿态信息镶嵌视觉token，在瞻望新帧时，模子会自动检索“与现时姿态相似的历史帧”，以历史情景校准现时瞻望，幸免漂移。

注：上图展示的是Ctrl-World的一致性。由于腕部录像头的视线在单一轨迹中会发生权贵变化，讹诈多视角信息和缅思检索关于生成一致的腕部视角瞻望至关迫切。绿色框中隆起骄傲的瞻望是从其他录像头视角算计出来的，而红色框中的瞻望则是从缅思中检索得回的。

论文实验骄傲，该机制能让Ctrl-World踏实生成20秒以上的连贯轨迹，时序一致性酌量FVD（视频帧距离，数值越低越好）仅97.4，远低于WPE（156.4）和IRASim（138.1）。

ablation实考据明，若移除缅思模块，模子的FVD会从97.4升至105.5，PSNR从23.56降至23.06，考据了缅思机制对万古一致性的枢纽作用。

实验考据：从“虚构评估”到“战术进步”的全经由实效

团队在DROID机器东说念主平台（含Panda机械臂、1个腕部相机+2个第三方相机）上开展三轮实验测试，从生成质地、评估准确性、战术优化三个维度全面考据CTRL-WORLD的性能：

生成质地：多酌量碾压传统模子

在10秒长轨迹生成测试中（256个就地编订，15步/秒行为输入），CTRL-WORLD在中枢境划上全面越过基线模子（WPE、IRASim）：

PSNR：23.56（WPE为20.33，IRASim为21.36），虚构画面与的确场景的像素相似度进步15%-16%；SSIM：0.828（WPE为0.772，IRASim为0.774），物体体式、位置联系的结构一致性权贵增强；LPIPS：0.091（WPE为0.131，IRASim为0.117），从东说念主类视觉感知看，虚构与的确画面险些难以折柳；FVD：97.4（WPE为156.4，IRASim为138.1），时序连贯性进步29%-38%。

更枢纽的是，面对试验中未见过的相机布局（如新增顶部视角），CTRL-WORLD能零样本适配，生成连贯多视角轨迹，评释其场景泛化才略。

战术评估：虚构打分与的确推崇高度对王人

论文完毕骄傲：

虚构预演的“指示侍从率”与的确宇宙的关谋划数达0.87（拟合公式y=0.87x-0.04）。

虚构“任务奏效劳”与的确宇宙的关谋划数达0.81（y=0.81x-0.11）。

这意味着，盘考者无需启动的确机器东说念主，仅通过Ctrl-World的虚构预演，就能准确判断战术的的确性能，将战术评估周期从“周级”镌汰至“小时级”。

战术优化：400条虚构轨迹已毕44.7%性能飞跃

Ctrl-World的终极价值在于用虚构数据修订的确战术。

团队以π₀.₅为基础战术，按以下门径进行优化（对应论文Algorithm1）：

虚构探索：在Ctrl-World中，通过“指示重述”（如将“放浪套进盒子”改为“提起布料放入盒子”）和“运转情景就地重置”，生成400条生疏任务的预演轨迹；筛选高质地数据：由东说念主类标注员筛选出25-50条“奏效轨迹”（如准确折叠指定地方的毛巾、抓取异形物体）；监督微调：用这些虚构奏效轨迹微调π₀.₅战术。

论文给出的细分任务修订数据极具劝服力：

空间理罢黜务：识别“左上角物体”、“右下角物体”等指示的奏效劳，从平均28.75%升至87.5%；体式理罢黜务：折柳“大/小红块”、“大/小绿块”的奏效劳，从43.74%升至91.25%；毛巾折叠（指定地方）：按“足下折叠”、“右左折叠”等指示现实的奏效劳，从57.5%升至80%；新物体任务：抓取“手套”、“订书机”等未见过物体的奏效劳，从25%升至75%。

详细通盘生疏场景，π₀.₅的任务奏效劳从38.7%飙升至83.4%，平均进步44.7%——更枢纽的是，通盘这个词过程未破费任何的确物理资源，老本仅为传统巨匠数据按序的1/20。

盘考与改日：让“思象”更靠近的确物理规矩

尽管后果权贵，团队也坦言CTRL-WORLD仍有修订空间：

率先，复杂物理场景适配不及。

在“液体倾倒”“高速碰撞”等任务中，虚构模拟与的确物理规矩的偏差，主要因模子对重力、摩擦力的建模精度不及。

其次，运转不雅测敏锐性高。

若第一帧画面敷衍（如光照过暗），后续推演时弊会快速蓄积。

改日，团队盘算从两方面阻拦——

一方面将视频生成与强化学习勾搭，让机器东说念主在虚构宇宙自主探索最优战术；

另一方面扩大试验数据集（现时基于DROID），加入“厨房油污环境”、“户外光照变化”等复杂场景数据，进步模子对极点环境的适配才略。

总的来说，此前机器东说念主学习依赖“的确交互-数据集聚-模子试验”的轮回，本体是用物理资源换性能；而CTRL-WORLD构建了“虚构预演-评估-优化-的确部署”的新闭环，让机器东说念主能通过“思象”高效迭代。

该后果的价值不仅限于实验室。

对工业场景而言，它可诽谤机械臂调试老本（单条出产线调试周期从1周缩至1天）。

对家庭事业机器东说念主而言，它能快速适配“操作异形水杯”“整理不规矩衣物”等个性化任务。

跟着视频扩散模子对物理规矩建模的进一步精确，改日的CTRL-WORLD有望成为机器东说念主“通用试验平台”，鞭策东说念主形机器东说念主更快走向灵通宇宙。

论文地址：

https://arxiv.org/pdf/2510.10125

GitHub调和：

https://github.com/Robert-gyj/Ctrl-World

— 完 —

量子位 QbitAI · 头条

留神咱们欧洲杯体育，第一期间获知前沿科技动态号