多模态大模型科学可视化能力评测：Gemini超越人类均值，开源模型仍存差距
论文链接： arXiv:2607.15176
作者： Patrick Phuoc Do, Chau M. Ta, Chaoli Wang
提交日期： 2026年7月16日
引言
随着多模态大语言模型（MLLMs）被越来越多地用于解读可视化图表，学术界和工业界对这类模型的视觉理解能力产生了浓厚兴趣。然而，现有的评估大多局限于图表中心视角，缺乏对科学可视化（SciVis）素养的系统性验证。
2026年7月16日，一篇题为《Benchmarking Multimodal Large Language Models for Scientific Visualization Literacy》的论文在arXiv上发表，首次对6个MLLMs进行了全面的科学可视化素养基准测试。该研究不仅揭示了当前模型在这一关键领域的性能差异，还为人机协作的科学数据分析提供了重要参考。
研究设计与方法
评估基准
研究团队构建了一个标准化的科学可视化素养评估测试，具体参数如下：
- 测试项目数： 49项
- 可视化素材： 18个科学可视化和插图
- 涵盖技术： 8种可视化技术
- 任务类型： 11种任务类型
评估模型
研究评估了6个多模态大语言模型，包括：
- 3个闭源模型
- 3个开源模型
所有模型均在封闭世界协议下进行评估，以确保测试的公平性和一致性。
人类对照组
为了提供有意义的性能对比，研究团队招募了485名人类参与者作为基准对照。
核心发现
1. Gemini表现最强，超越人类均值
评测结果显示，Gemini是目前表现最强的模型，在多个子集测试中超越了人类参与者的平均成绩。这一发现表明，闭源模型在科学可视化理解方面已经具备了超越普通人类水平的能力。
2. 开源模型仍落后于人类基线
相比之下，三个开源模型的整体表现均低于人类基线。这揭示了当前开源多模态大模型在科学可视化素养方面与领先闭源模型之间存在明显差距。
3. 性能分布高度不均
模型在不同可视化技术和任务类型上的表现呈现高度不均匀的特征：
表现较好的领域：
- 科学插图（Scientific illustration）
- 搜索任务（Search）
- 空间理解（Spatial understanding）
表现较弱的领域：
- 基于纹理的可视化（Texture-based visualizations）
- 基于整合的可视化（Integration-based visualizations）
- 定量估算任务（Quantitative estimation）
4. 典型错误模式
通过错误分析，研究团队发现了以下反复出现的失败模式：
- 细粒度定量估算失败：模型难以进行精确的数值读取和估算
- 流向解释错误：在涉及流动方向的可视化中容易出错
- 编码解释偏差：对视觉编码的含义理解存在系统性偏差
技术意义
科学可视化素养作为必要基准维度
该研究提出了一个重要观点：科学可视化素养应被视为评估多模态AI系统的一个必要基准维度。现有的图表中心评估方法无法全面反映模型在复杂科学场景下的理解能力。
对模型开发的启示
-
闭源模型的领先地位：Gemini等闭源模型在科学可视化方面的优势，可能源于其更大的训练数据规模和更先进的架构设计
-
开源模型的改进方向：开源模型需要在纹理识别、整合理解和定量估算等方面加强训练
-
任务类型的差异化处理：模型在处理不同类型的可视化任务时需要不同的策略
行业影响
对AI从业者的建议
- 谨慎使用MLLMs进行科学数据分析：尽管Gemini表现优异，但其他模型仍存在明显缺陷
- 关注模型的局限性：特别是在定量估算和复杂可视化解读方面
- 考虑混合方法：结合人类专家判断和AI辅助分析
对开发者的启示
- 优化可视化理解能力：在训练多模态模型时，应纳入更多科学可视化样本
- 改进定量推理模块：针对细粒度数值读取进行专项优化
- 增强流场和纹理理解：这些是当前模型的薄弱环节
对创业者的参考
- 科学可视化AI工具的市场机会：针对当前模型的弱点开发专业化工具
- 人机协作平台：结合人类专家和AI模型的优势
- 垂直领域解决方案：专注于特定类型的科学可视化任务
资源与复现
研究团队公开了代码和模型输出，方便社区进行复现和进一步研究：
- 代码仓库： https://github.com/patdmp/mllm-scivis-lit-benchmark
- 论文PDF： View PDF
- 实验性HTML版本： HTML (experimental)
结论
这篇论文首次系统性地评估了多模态大语言模型在科学可视化素养方面的能力。主要结论包括：
- 当前MLLMs并不具备统一的科学可视化素养
- Gemini是目前最强的模型，超越了人类均值
- 开源模型仍落后于人类基线
- 模型性能在不同技术和任务间差异显著
- 科学可视化素养应成为多模态AI评估的必要维度
这些发现为多模态大模型在科学领域的应用提供了重要的参考依据，也指明了未来模型改进的方向。随着科学数据量的不断增长，具备可靠可视化理解能力的AI系统将在科研工作中发挥越来越重要的作用。
本文基于arXiv论文2607.15176编写，所有事实和数据均来自材料原文。