复旦大学、上海创智学院与新加坡国立大学联出个全模态畴昔预测评测基准 FutureOmni，条目模子从音频 - 视觉痕迹中预测畴昔事件，终了跨模态因果和时候理。包含 919 个和 1,034 个多选题问答对，在 13 个全模态模子和 7 个纯模子上的评估露出，现时系统在预测畴昔事件面存在显贵贫乏，佳准确率仅为 64.8。

在闲居生计中，东说念主类不仅能贯通「发生了什么」，首要的是随机预测「将会发生什么」。看到乌云密布、听到雷声渐近，咱们会主动关窗收衣；看到淳厚眉头紧皱，反复强调某个学问点（听），咱们知说念接下来可能会有发问；看到球员起跳的动作和听到不雅众的惊呼，咱们随机预判这是个精彩的扣篮。

然则，现存的多模态大语言模子（MLLMs）固然在全位感知面展现出执意的智力，但它们从音频 - 视觉痕迹中预测畴昔事件的智力仍然很猛进程上未被探索。现存的音模态基准主要热诚总结贯通 ⸺ 「中发生了什么」，而非前瞻预测 ⸺ 「接下来会发生什么」。

当今，这空缺终于被填补了！复旦大学、上海创智学院与新加坡国立大学联发布 FutureOmni，不仅再行界说了多模态模子的「畴昔预测」评测范式，通过悉心绪算的全模态因果理任务，次系统评估模子通过「融视觉不雅察与听觉痕迹」来「预测畴昔」的智力。

论文标题：FutureOmni: Evaluating Future Forecasting from Omni-Modal Context for Multimodal LLMs

评测范式立异：从总结贯通到畴昔预测

图 1：FutureOmni 数据示例。模子需要基于给定的前提事件（premise event），从多个选项中接收可能的畴昔事件（future event）。

现时主流的 MLLMs 评测基准存在两大局限：（1）现存基准大多热诚「发生了什么」，条目模子描摹、贯通或分析照旧发生的事件，法评估模子预测畴昔事件的智力。（2）现存法严重依赖于视觉信息，即便使用音频，也时时当作援助信息，未能充分挖掘音频 - 视觉之间的因果预计对预测畴昔事件的关节作用。

这意味着，畴前的多模态模子是个擅长「过后分析」的不雅察者，而非个能明鉴万里的智能伙伴。

FutureOmni 提议的全模态畴昔预测（omni-modal future forecasting）新范式，旨在改变这近况。它条目模子能像东说念主类样，主动融音频对话、环境声息和视觉不雅察，从多模态凹凸文中断出畴昔可能发生的事件。

从总结到预测： 不再是文书「中发生了什么」，而是预测「接下来可能发生什么」。

从单模态到全模态： 同期贯通音频中的语义信息（如语音内容、话语东说念主身份、心绪倾向）、环境声息（如门铃、警报、音乐）以及视觉不雅察（画面中的物体状况和东说念主物预计）的因果预计。

这不再是通俗的贯通，而是让模子具备了委果的畴昔预测智力。它就像个贴心的智能助手，随机从段对话、个动作和周围的环境中读懂「潜台词」，预测畴昔可能的发展。

FutureOmni 数据集：为「畴昔预测领悟」量身造的大界限评测基准

图 2：FutureOmni 评测成果。评估了 13 个全模态模子和 7 个模子琼中锚索厂家。

预计团队构建了 FutureOmni ⸺ 个大界限全模态畴昔预测评测基准，包含基于音频 - 视觉因果预计、闲居序列、主题蒙太奇的畴昔事件预测任务。

海量界限与丰富各类

图 3：FutureOmni 数据统计散播。

919 个，1,034 个多选题问答对

8 个主要域：讲授、紧迫情况、监控、闲居生计、记录片、电影、游戏、卡通

原创率，确保混浊，预应力钢绞线扫数均为次汇集

3 种音频类型：语音（Speech）、声息（Sound）、音乐（Music）

八大域：悉心绪算的「预测考题」

图 4：FutureOmni 数据构建经过。

为确保数据的果真与质料，预计团队遴选三阶段经过：

阶段：汇集与筛选。从多个开始汇集原始，确保 原创，避数据混浊。

阶段二：因果对构建。使用 LLM 援助识别具有明确因果预计的片断，生成质料的前提 - 论断对。

阶段三：问题生成与审核。东说念主工和大模子审核质料，确保每个问题皆测试模子的畴昔预测智力。

履行成果：现时模子在「预测畴昔」上仍靠近宽广挑战

预计团队在 13 个全模态模子和 7 个模子上进行了无为评估，揭示了现时系统在畴昔预测任务上的显贵不足。

全体能：SOTA 模子依然不格琼中锚索厂家

图 5：FutureOmni 评测成果。

论断：即即是强的 Gemini 3 Flash，准确率也仅为 64.8。开源强模子 Qwen3-Omni 推崇不足格，仅为 53.05。视觉大模子 GPT-4o 也只达到 49.70。这标明，现存的多模态大模子在面对复杂的全模态畴昔预测任务时，距离东说念主类水平仍有不小差距。

细粒度分析：语音场景具挑战

图 6：不同音频类型（语音、声息、音乐）对模子能的影响。

成果露出： - 语音场景具挑战，模子推崇多量较低（佳模子 Gemini 3 Flash 仅 60.52） - 音乐场景相对容易，模子推崇较好（Gemini 3 Flash 达到 68.31） - 声息场景处于中等难度（Gemini 3 Flash 达到 67.13）

图 7：不同期长对模子能的影响。

模态消融预计：音频信息至关首要

图 8：模态消融履行成果。评估不同模态组对能的影响。

关节发现：

音频 + 的组显贵于单使用。

音频信息关于畴昔预测至关首要，缺失音频会致能大幅下跌。

跨模态融智力是奏凯预测畴昔的关节。

这阐发了 FutureOmni 揣摸打算的理：畴昔预测需要同期贯通音频和视觉信息之间的因果预计。

OFF 锻练政策：让模子委果「学会预测畴昔」

为了缓解现时模子的局限，预计团队提议了全模态畴昔预测（OFF）政策，并悉心筹划了个 7K 样本的请示微调数据集。

中枢想想

OFF 政策的中枢在于：通过门的畴昔预测锻练，让模子不仅提高畴昔预测智力，还增强通用感知智力。这与传统的贯通锻练不同，它条目模子学习音频 - 视觉之间的因果预计，并附近这些预计预测畴昔事件。

锻练果：显贵提高畴昔预测和通用智力

图 9：使用 OFF 政策锻练后，模子在不同音频类型上的能提高。

图 10：使用 OFF 政策锻练后，模子在不同类别上的能提高。

图 11： OFF 政策在通用智力基准上的泛化果。阐发畴昔预测锻练不仅提高了预测智力，还增强了模子的通用感知智力。

关节发现：在 FutureOmni 和流行的音频 - 视觉（如 WorldSense、DailyOmni）以及纯（如 Video-MME）基准上的评估标明，OFF 政策显贵提高了畴昔预测和通用感知智力。

关节帧各异分析

图 12： 关节帧接收对畴昔预测的影响分析。

预计团队附近提防力可视化工夫稀奇分析 OFF 泛化的原因，发现该政策显贵增强了模子在层汇聚中对关节关节帧的聚焦智力。 如图所示，与基线比较，OFF 模子（蓝线）在汇聚的层推崇出大幅提高的提防力分数差值。这意味着模子学会锁定包含畴昔事件痕迹的关节时刻，即使在终输出层之前仍能保捏对关节信息的度热诚。

畴昔瞻望：让 AI 委果「明鉴万里」

FutureOmni 为多模态大语言模子的畴昔预测智力提供了个系统评估基准。咱们期待：

多模子参与，但愿多预计团队在 FutureOmni 上评估他们的模子，共同动多模态场景下畴昔预测智力的发展。

法蜕变，基于预计团队的发现，培育执意的畴昔预测法，至极是针对语音场景和跨模态因果理的蜕变。

应用拓展，将畴昔预测智力应用到本体场景中，如智能助手、自动驾驶、机器东说念主等琼中锚索厂家，让 AI 委果具备「明鉴万里」的智力。