这项研究由Kyutai研究机构、Epic Games公司，以及来自多所高校（包括Ecole nationale des ponts et chaussées等）的研究团队联合完成，发表于2026年7月，论文编号为arXiv:2607.05352v1，研究领域属于计算机视觉方向。
**一场思想实验：如果你闭上眼睛，也能"看见"对手在哪里**
先从一个有趣的情境出发。你坐在沙发上打电子游戏，操控自己的角色在球场上奔跑，同时对面还有三个对手也在运动。你的屏幕只能显示你这个角色的视角，但你心里清楚：对手在哪里，球飞到了哪儿，接下来会发生什么。这种"心理模型"——在脑海中构建一个对整个游戏世界动态变化的预测——正是这项研究的核心课题。
MIRA（Multiplayer Interactive World Models with Representation Autoencoders，带表示自编码器的多人交互世界模型）做的事情，简单说来就是：训练一个人工智能，让它能够同时"想象"四个玩家各自眼中的游戏画面，并且在任何玩家按下任意按键的时候，都能准确预测接下来游戏画面会变成什么样子。这个AI不是在录制游戏视频，也不是在运行游戏引擎——它完全是靠自己"脑补"出来的，用的是一个拥有50亿个参数的巨型神经网络模型。
研究团队选择的测试场景是《火箭联盟》（Rocket League），一款让玩家驾驶火箭驱动的赛车在球场上踢足球的电子竞技游戏。这个游戏极为适合研究多人世界模型：四个玩家同时在场，汽车和足球之间碰撞不断，物理规律复杂，而且游戏中每一帧画面都能与每个玩家的操作指令完全对应记录下来，为训练AI提供了完美的数据条件。研究团队收集了整整10000小时的游戏录像，用来训练这个庞大的模型，最终让MIRA能够以每秒20帧的速度实时生成四个玩家视角的画面，运行在单块英伟达B200显卡上。
这项研究的核心贡献在于：它是全球第一个真正意义上的多人世界模型，专为高度动态、物理交互复杂的游戏环境而设计。在它之前，几乎所有的"世界模型"都只考虑单个玩家的视角，把其他玩家当成背景环境的一部分。MIRA则同时接受四个玩家的操作输入，并同步生成四个视角下连贯一致的游戏画面。
**一、什么是"世界模型"，为什么它重要**
要理解MIRA在做什么，需要先搞清楚"世界模型"这个概念。
把大脑想象成一个电影导演。当你开车上班时，你并不是在每秒钟都重新观察整个道路环境——你的大脑会预测：前面那辆车大概还会继续往前开，路边的行人不太可能突然冲进车道，红绿灯再过几秒钟会变绿。这种对世界未来状态的预测能力，就是"世界模型"的本质。
对于AI来说，世界模型同样重要。一个好的世界模型意味着AI不需要真实地去执行每一个动作才能知道结果——它可以在"脑海中"先模拟一遍，选出最好的方案再行动。这就像下围棋的高手不需要真的把每种可能的落子都走一遍，而是在脑海中演算千百种棋局走向。
对于游戏AI研究来说，世界模型还有一个特别实用的价值：当真实游戏引擎太昂贵、太复杂，或者在某些情况下根本无法使用时，一个足够好的世界模型可以充当"虚拟引擎"，让AI在其中反复练习。但要做到这一点，世界模型必须足够忠实地还原游戏的物理规律和画面——否则在虚假环境中训练出来的AI，放到真实环境中就会"水土不服"。
多人游戏场景让这个挑战更上一层楼。单人世界模型可以假装其他玩家是"背景"，但真正的多人游戏中，其他玩家的每一个操作都可能改变你所在的游戏世界。你需要一个世界模型，能同时接受多个玩家的操作指令，并且正确判断哪些操作会影响哪些画面变化。正是这个需求，催生了MIRA。
**二、数据从哪里来：一万小时的机器人对战录像**
训练MIRA用的数据，全部来自机器人之间的自动对战。
研究团队没有用真实玩家的录像，而是用了一个叫做Nexto的公开AI机器人程序。Nexto是目前公开可用的最强《火箭联盟》机器人，它通过强化学习训练，掌握了人类顶级玩家的大部分技巧。让四个Nexto实例在私人对战服务器上互相厮杀，同时记录下每个玩家视角的游戏画面、每个玩家每一刻按下的按键，以及游戏引擎内部的精确物理状态（包括球和每辆车的位置、速度、角度等），这就是训练数据的来源。
录制工作在三张不同的游戏地图上进行，分别是Champions Field、Forbidden Temple和Deadeye Canyon，三张地图各有不同的视觉风格和布局。总计录制了约99408场比赛，其中82983场是"干净"的数据（四个视角都是未修改的机器人操作），另有16425场包含了一些随机噪声操作，用于增加数据多样性，但最终训练模型时只使用了干净数据部分，合计约10000小时的比赛时长。
每一帧录像都与三套数据严格对齐：720p分辨率、30帧每秒的游戏视频；每个玩家每一刻按下的九个按键状态（对应方向键和功能键）；以及每秒120次采样的游戏物理状态（球和四辆车的精确位置、速度、旋转角度等）。物理状态数据在训练时不会输入给模型——模型只能看到视频画面和按键输入——但会在后续评估环节用来检验模型的预测是否符合物理规律。
这套数据收集系统有一个值得一提的细节：因为四个玩家分别运行在四台不同的虚拟机上，各台机器的时钟并不完全同步。研究团队因此设计了一个基于"开球倒计时结束"这一网络同步事件的校准机制，将四个玩家的录像精确对齐到同一时间轴上，确保每一帧画面都能与对应的操作指令和物理状态完全匹配。
**三、MIRA的核心结构：压缩、预测、解码**
MIRA的工作方式可以用烘焙来理解。原始的游戏视频就像一堆未经处理的面粉和鸡蛋——信息量巨大但直接使用效率低下。MIRA首先用一个"压缩器"把视频画面提炼成一种更紧凑、更有意义的"面团"形式（叫做潜在编码），然后在这个"面团"层面预测接下来会发生什么，最后再用"解码器"把预测结果还原成看得见的游戏画面。
这个压缩器在技术上叫做"表示编解码器"（Representation Codec），它的独特之处在于利用了一个叫DINOv3的预训练视觉特征提取器。DINOv3是一种在海量图像上预训练的视觉理解模型，它能够从一张图片中提取出语义上有意义的特征——比如"这里有一个球"、"那里有一辆车"，而不仅仅是记录像素颜色。
编解码器的编码部分完全冻结DINOv3的参数不做训练，只在其输出基础上加一个小型的线性压缩层，将每32×32像素的区域压缩为一个32维的向量，同时在时间维度上每两帧合并为一帧，最终把20帧每秒的视频压缩为10Hz的"潜在帧"序列。这种压缩相当于把原始视频的数据量缩小了约192倍，大幅降低了后续预测模型的计算压力。
编解码器的解码部分则是一个可训练的视觉Transformer解码器，负责把"潜在帧"还原回实际的视频画面。解码器在时间维度上采用因果注意力（即每帧只能参考之前帧的信息，不能"看未来"），保证了推理时的实时性。解码器的训练损失由三部分组成：像素级别的L1重建误差、感知相似度损失LPIPS（基于AlexNet特征的感知距离），以及一种专门对比DINOv3特征的感知一致性损失P-DINO。三种损失的权重不是固定的，而是通过一种自适应的梯度归一化机制动态调整，确保任何一种损失都不会主导整个训练过程。
真正负责"预测未来"的部分，是在潜在空间中运作的"潜在世界模型"。这是一个扩散变换器（Diffusion Transformer），采用流匹配（Flow Matching）技术作为生成目标。流匹配可以理解为：模型学会了如何把一团随机噪声逐步"雕塑"成一帧具体的潜在画面，而整个雕塑过程的方向由过去的游戏状态和当前的玩家操作共同决定。
**四、让AI同时驾驶四辆车：多人条件化的技术细节**
MIRA最关键的创新点在于如何让模型同时处理四个玩家的视角和操作。
研究团队采用的策略叫做"视图拼贴"：将四个玩家的潜在帧在空间维度上拼成一个大的二维网格，然后让世界模型的空间注意力机制在这个大网格上自由运作。这样，当模型处理Player 1的视角时，它的注意力也能同时扫描到Player 2、3、4的视角，理解同一个游戏事件在不同摄像机位置下的样子。这种设计让四个视角之间自然建立了共享的物理世界认知，不需要任何额外的跨视角对齐机制。
操作指令的输入方式也经过精心设计。每个玩家的九个按键状态（前进W、后退S、左转A、右转D、跳跃SPACE、加速LSHIFT、漂移LCTRL，以及空中翻滚左Q和空中翻滚右E）分别经过独立的嵌入网络转化为向量，四个玩家的向量按照固定顺序拼接后，通过自适应层归一化（AdaLN）机制注入到模型的每一个变换器块中。这种注入方式会影响模型对每一个潜在token的处理方式，相当于在"雕塑"每一帧画面时，始终把玩家的操作意图作为参考。
还有一个有趣的训练技巧：操作丢弃（Action Dropout）。训练时会随机把某个玩家的操作指令替换成一个学到的"缺席标记"，让模型必须在没有操作信息的情况下预测这个玩家的行为。这种训练策略有两个好处：一是让模型学会了从画面本身推断缺失玩家的行为，相当于掌握了一种简单的"读心术"；二是在实际使用时，如果某个玩家位置由AI自动控制而不是真实玩家，模型可以自动填补这个角色的行为，不需要单独训练一个AI策略。
训练分两阶段进行。第一阶段在单人视角数据上预训练，让模型先学会最基本的游戏物理规律和视频生成能力。第二阶段在四人视角数据上继续训练，模型从第一阶段的权重初始化，逐渐适应多视角的联合预测任务。这种"先单人后多人"的训练策略，比直接从头训练多人模型效果更好。
**五、让预测不"跑偏"：扩散强制与少步蒸馏**
世界模型有一个经典的难题：训练时总是看到真实的游戏画面作为参考，但推理时只能看到自己之前预测的画面。随着时间推移，预测误差会不断积累，最终导致生成的画面越来越"跑偏"，和真实游戏越来越不像。
MIRA使用了一种叫"扩散强制"（Diffusion Forcing）的训练技巧来解决这个问题。具体做法是：在训练时，不仅对"要预测的那一帧"加噪声，而且对"用于参考的历史帧"也随机加不同程度的噪声。这样，模型在训练时就已经见识过各种质量不完美的历史帧作为参考，学会了如何在这种情况下仍然做出合理的预测。推理时，当模型不得不参考自己之前的预测画面（而非完美的真实画面）时，它已经有了处理这种情况的经验，误差积累的速度大幅降低。
实验数据清楚地展示了这种方法的价值：在相同的基础编解码器上，使用传统"教师强制"训练的模型，在超过4秒训练窗口后生成质量急剧下滑，而使用扩散强制的模型则在长达5分钟（研究中测试的最长时间）的连续推理中保持稳定，生成质量几乎没有明显衰减。在实际的实时演示中，研究人员观察到模型可以连续运行数小时而不崩溃。
另一个工程挑战是推理速度。流匹配本质上需要多步迭代才能从噪声生成一帧画面，步数越多质量越好，但速度越慢。为了满足实时生成（每秒10个潜在帧，解码为20帧视频）的需求，研究团队使用了一种叫做"渐进式自蒸馏"（Progressive Self-Distillation，简称PSD）的技术：训练一个改进版模型，使得它用一大步能直接跳跃到原来需要两小步才能到达的位置。经过这种蒸馏，模型只需要1到2步就能达到原来10步的生成质量，推理速度大幅提升，为实时运行奠定了基础。
**六、让四个摄像头讲同一个故事：跨视角一致性**
MIRA最令人印象深刻的能力之一，是它能够保证四个玩家视角之间的逻辑一致性。
当一辆蓝色赛车高速撞上对手并将其"摧毁"（游戏中称为Demolition）时，发动撞击的Player 1的屏幕上会出现"DEMOLITION"的提示文字，而被摧毁的Player 3的屏幕上则会出现填满视野的"BOOM！"爆炸特效，同时Player 2的屏幕从远处看到同一次爆炸显示为一团烟雾。三个玩家，三个角度，同一个事件——MIRA能够同时生成这三个画面，且彼此之间逻辑完全吻合。类似地，当一个进球发生时，"SCORED！"的字样和进球爆炸特效会同时出现在所有四个玩家的屏幕上，记分牌也会同步更新。
研究团队通过可视化模型内部的注意力权重，证明了这种跨视角一致性的来源。当他们查询某个玩家视角中"球"这个位置的注意力时，发现模型的注意力确实同时指向了其他三个玩家视角中"球"所在的位置——模型自发地学会了理解"这四个画面描述的是同一个物理世界中的同一个球"。同样，一个计时器（HUD界面元素）在Player 1视角中的注意力，会指向其他三个视角中同样显示计时器的位置。
**七、评估一个"想象的游戏"有多真：五个衡量维度**
判断一个世界模型好不好，不能只看画面漂不漂亮。研究团队设计了一套五个维度的评估体系。
第一个维度是分布距离，包括FID（Fréchet Inception Distance）、FVD（Fréchet Video Distance）和FDD（Fréchet DINO Distance）三种指标。这些指标不要求生成的视频和真实视频逐帧相同，而是比较"这批生成视频的整体统计特性"和"真实游戏视频的整体统计特性"有多接近。可以把它理解为：不是比两张照片像不像，而是比两本相册的风格像不像。FDD使用DINOv3的特征空间，比传统的FID更适合《火箭联盟》这样的合成图像场景。
第二个维度是像素和感知距离，包括PSNR、SSIM、LPIPS和P-DINO。这些指标主要用于评估编解码器的重建质量，不用于评估世界模型（因为世界模型生成的是未来可能发生的任何合理情况，没有唯一正确答案）。
第三个维度是物理状态探测。研究团队训练了一个小型探测器，从世界模型的内部激活状态中直接读取球和四辆车的位置、速度、朝向等物理量，然后与真实游戏引擎记录的物理状态对比。这个探测器在真实游戏数据上训练，然后用于测试模型"幻想"出来的游戏画面——如果探测结果与真实物理状态吻合，说明模型不只是在制造视觉幻觉，而是真正理解了游戏的物理规律。
第四个维度是动作可恢复性比（Action Recoverability Ratio，ARR）。研究团队训练了另一个探测器，任务是从视频画面中推断玩家按下了哪些按键。然后对比"从世界模型生成的视频中恢复操作的精度"和"从真实视频重建中恢复操作的精度"，两者的比值就是ARR。ARR为1意味着从生成视频中恢复操作的效果和从真实视频中一样好；低于1则意味着模型对操作的响应不够忠实。这个指标直接衡量了"AI是否真的在按照你的按键预测"，而不仅仅是生成了看起来像游戏的视频。
第五个维度是人工评估。研究团队还组织了人类评测人员进行配对比较实验，一组评估画面质量，另一组评估操作追随性（给评测人员看两个从同一起点出发、使用同一套操作指令的视频，让他们判断哪个更忠实地执行了那些操作）。人工评估结果显示，ARR自动指标的排名与人类判断的排名高度相关（Pearson相关系数0.84，Spearman相关系数0.93），验证了ARR作为自动指标的可靠性。
**八、潜在空间的设计：哪些选择真正重要**
研究团队对编解码器的设计做了大量系统性的消融实验，也就是"一次只改变一个部件，看看影响有多大"。
最重要的发现是：在潜在空间中预测，远比在像素空间中直接预测效果好得多。研究团队对比了两种像素空间世界模型（一种直接在像素上做流匹配，另一种参考了一种叫JiT的改进方法），结果显示在相同的总训练计算量下，像素空间模型的生成质量指标比潜在空间模型差了约一个数量级，且操作追随性（ARR）也大幅落后。像素空间的生成视频在几秒内就开始出现扭曲和纹理错乱，而潜在空间的模型则能持续稳定地生成高质量画面。
同样重要的是：编解码器中使用的视觉特征提取器必须是预训练好的，而不是从随机初始化开始训练。当研究团队尝试用随机初始化、从头训练的特征提取器（架构完全相同，只是没有预训练权重）时，重建质量反而更好（PSNR更高），但世界模型在其潜在空间中的生成质量和长期稳定性却明显更差。这个结论揭示了一个反直觉的事实：更好看的重建画面并不等于更适合世界模型的潜在空间。预训练的DINOv3特征之所以有利于世界模型，是因为它的潜在空间更"平滑"——相邻的游戏状态会被映射到相邻的潜在向量，预测误差不容易在这个平滑空间中失控放大。
时间维度的2倍压缩（20fps视频→10Hz潜在帧）几乎是免费的：保持与不压缩相比，生成质量几乎没有差异，但世界模型需要处理的序列长度减半，这正是实时运行成为可能的关键之一。
感知损失函数（LPIPS和P-DINO）对编解码器的质量至关重要，且两者互补而非可替代：同时使用两种感知损失的效果最好，去掉任何一个都会导致生成质量下降，两个都去掉则导致生成质量崩溃。不过，添加传统的对抗性训练（GAN判别器）则没有必要，两种感知损失已经足够。
**九、越大越好？模型规模和数据规模的影响**
研究团队对模型规模和数据规模进行了系统性的缩放实验。
在模型规模方面，团队训练了从1亿参数到50亿参数共五个规模的多人世界模型，保持数据和训练方案完全相同。结果显示，随着参数量增大，模型的生成质量（FVD指标）单调提升，且较大的模型收敛更快。从1亿到1亿参数的提升最为显著，此后收益递减，25亿和50亿参数的模型最终收敛到相近的质量水平。从物理理解的角度看，用线性探测器从模型激活中读取球的位置误差，从1亿参数时的2130个单位，到50亿参数时下降至1448个单位——更大的模型不只是看起来更好，而且真正更好地理解了游戏世界的物理规律。
在数据规模方面，研究团队固定训练步数（10万步），在不同规模的数据子集上训练。结果呈现出有趣的分层现象：当数据极度匮乏时（50小时以下），生成质量和操作追随性都会崩溃；当数据超过某个基础量之后，增加数据对画面质量（gFID）的改善趋于饱和，但操作追随性（ARR）则随着数据量持续提升。这意味着，数据量不足时什么都学不好，数据量足够后，更多的数据主要用来提升模型对操作指令的精确响应，而不是改善画面外观。
**十、MIRA会自己"脑补"：涌现出的能力与遗留的局限**
在MIRA展现的能力中，有几项特别值得一提，因为它们从来没有被明确训练过，而是自然涌现出来的。
模型学会了对未输入操作的玩家进行"行为预测"。当某个玩家的操作指令被丢弃时，这辆车并不会原地停止，而是继续做出合理的游戏行为——争抢球权、配合队友、闪避对手。模型在像素和有限的历史画面中，推断出了缺席玩家的决策逻辑，而这套决策原本来自拥有完整游戏信息的强化学习机器人。
模型对训练数据分布之外的操作方式表现出了意外的鲁棒性。训练数据中的机器人操作风格高度一致，每分钟约390次操作，且节奏稳定。但真实人类玩家的操作风格完全不同——动作更慢，更不规律，每分钟操作次数可以从接近零到350不等。在实时演示中，即便由人类玩家操控，MIRA依然能够保持连贯的游戏画面生成，说明它学到的不只是对特定机器人行为的模式匹配，而是更深层的游戏物理逻辑。
当某个视角被强行推到极端离群值（比如让某辆车静止在球门内部，这在机器人对战中几乎不会发生）时，模型的这个视角会逐渐产生噪声和错乱，但随后模型会依赖其他三个视角的信息，在几秒内将这个视角"拉回"到与其他三个视角一致的状态。研究团队从未针对这种恢复行为做过专门训练，这种能力完全是自发涌现的。
当然，模型也有明确的失败案例。当球在没有任何车接触的情况下静止时，模型往往会让球自己"溜走"滚向球门，因为训练数据中几乎没有球静止在场地中央的情况，模型的"直觉"认为球应该是运动的。游戏内置的计时器在大部分时间里走得很准，但在某些时刻会出现走慢甚至短暂倒退的情况，因为训练数据中关于时间推进的样本量有限。进球后的精彩回放镜头因为剧情内容与实际进球不符，而且回放时间超过了模型的上下文窗口长度，往往会出现内容错误甚至画面崩溃。单人模型（不接受其他三辆车操作输入的版本）有时会把一辆车和球"合并"成同一个物体，多人模型则基本不会出现这个问题。
**十一、为什么"压缩"不等于"变差"：一个关键的反直觉**
这里有一个值得单独讲清楚的反直觉发现，它贯穿了整个研究的核心设计选择。
通常我们会认为：重建质量越高，表示模型对画面理解越好，世界模型的预测也应该越准确。但实验结果一再推翻这个假设。
从头训练的特征提取器能产生更高的PSNR（重建更接近原图），但在这个编解码器上训练的世界模型生成质量更差，长期稳定性更差。20Hz潜在帧（不压缩时间维度）的重建质量更高，但世界模型的生成质量与10Hz版本几乎没有差别。更大的解码器重建质量更高，但世界模型的生成质量在Large尺寸之后就不再提升。
为什么会这样？研究团队的解释是：好的重建质量和好的世界模型预测空间，对"潜在表示"的要求其实是不同的，甚至有时候是相互矛盾的。好的重建需要潜在表示中保留大量高频细节（比如纹理、光影）；但好的预测空间需要潜在表示具有良好的"平滑性"——语义相似的游戏状态应该映射到潜在空间中相邻的位置，这样预测误差才不会迅速积累和发散。预训练的DINOv3特征具有这种平滑性，因为它是在大量图像上通过自监督学习获得的语义表示；而从头训练的特征提取器虽然重建精度更高，但其潜在空间的"语义结构"更混乱，预测误差在其中更容易放大。
这个发现对未来的世界模型设计有明确的指导意义：在选择或设计编解码器时，不应该只优化重建质量，而应该专门考虑潜在空间对下游世界模型的适合程度。
**尾声：这扇门通向哪里**
说到底，MIRA是一个概念验证：用纯视频和操作记录训练的神经网络，真的能够掌握一个复杂多人游戏的物理规律，并且以实时速度生成四个玩家视角下连贯一致的未来画面。这件事本身就已经超出了很多人的预期。
更重要的是，MIRA揭示了世界模型研究中一些此前不太清晰的规律：预训练的视觉特征对于世界模型的长期稳定性至关重要；扩散强制训练策略比传统的教师强制在长视频生成中有决定性优势；多人视角的共同建模比单视角建模更准确，因为多个视角之间的相互约束大幅减少了预测的不确定性。
当然，MIRA目前还局限在一个游戏、三张地图、机器人风格的行为数据上。未来要做的事情还有很多：如何让世界模型适应更多变的真实环境，如何给模型更长的"记忆"来跟踪整场比赛的状态，如何在真实环境而非游戏中应用这类技术。
对于普通人来说，世界模型距离日常生活的直接影响也许还有一段距离，但它是通向更好的AI决策系统的必要一步。当AI能够在内心建立对世界的精确预测模型时，它就不再需要反复试错来学习——就像一个棋手不需要在真实棋盘上走遍所有可能的落子，就能推算出最优策略。这项技术成熟之后，从游戏AI、自动驾驶到机器人操控，都会从中受益。
对这个话题感兴趣的读者，可以通过arXiv编号2607.05352查找MIRA的完整论文，研究团队还公开发布了训练代码和10000小时的游戏数据集，地址分别在GitHub（mira-wm/mira仓库）和HuggingFace（kyutai/rocket-science数据集）上，有兴趣的读者可以自行探索。
Q&A
Q1：MIRA世界模型和传统游戏引擎有什么区别？
A：传统游戏引擎是用代码写死物理规律，按规则计算每一帧的画面。MIRA世界模型则是通过观看大量游戏录像，让神经网络自己"猜"出物理规律，然后直接生成视频帧，不需要运行任何游戏代码。MIRA的画面是"想象"出来的，而不是"计算"出来的，所以它在没有游戏引擎的情况下也能预测游戏走向。
Q2：MIRA训练时用的机器人数据，为什么能被真实玩家正常使用？
A：训练数据全部来自Nexto机器人的对战，机器人操作风格非常固定，每分钟约390次动作，节奏均匀。真实人类操作更慢、更不规律。但实验发现，MIRA在真实玩家操控下依然稳定，因为它学到的不只是对机器人行为的模仿，而是游戏本身更底层的物理逻辑——车只有在被操作时才会移动，这种规律人类和机器人都遵守。
Q3：ARR（动作可恢复性比）这个评估指标具体是怎么测出来的？
A：研究团队先训练了一个用视频画面来猜按键操作的探测模型，在真实游戏视频上，这个探测模型的识别准确率约为84%。然后把同样的探测模型分别用在"真实视频重建"和"MIRA生成视频"上，看两种情况下猜对按键的精度之比。比值越接近1，说明MIRA生成的画面对操作的响应越忠实；低于1则说明模型生成的画面不够准确地反映了玩家的实际操作。