LogicVista: Multimodal LLM Logical Reasoning Benchmark in Visual Contexts
LogicVista: Multimodal LLM Logical Reasoning Benchmark in Visual Contexts
Section titled “LogicVista: Multimodal LLM Logical Reasoning Benchmark in Visual Contexts”⚠️ AI 生成 · 建议对照原文 本页为自动整理的学习笔记；关键数据与引用如需引用，请回查 PDF / 官方版本。
学习档位 中文笔记
类型 文献 · 更新 2026-07-19
所属 VLM 与视觉语言理解
中文学习笔记（自动生成，需核验）
Section titled “中文学习笔记（自动生成，需核验）”Topic: vlm-understanding · Tier: foundational · Year: 2024 · Venue: —
Evidence level: partial · 本地全文: 是 · 建议阅读: ~35 分钟
Paper: https://arxiv.org/abs/2407.04973
Code: —
Generator: grok
为什么值得读
Section titled “为什么值得读”现有MLLM基准多聚焦感知、识别或有限数学任务，缺乏对视觉上下文中综合逻辑推理（导航、解谜等核心能力）的系统评估；LogicVista填补该空白，覆盖5类推理技能与9种能力，并支持MCQ与开放式评估。
LogicVista是一个面向视觉上下文的多模态大语言模型逻辑推理评估基准，涵盖5类推理任务与9种能力，共448道带人类推理标注的多选题。
MLLMs在图像写诗、数学推理等方面表现出色，但缺乏对逻辑推理（感知+推理结合）的系统评估；现有基准（如VQAv2、MathVista）主要测识别/OCR/有限数学，无法充分衡量归纳、演绎、空间、机械等通用逻辑认知能力。
多模态大语言模型（MLLM/VLM）基础、视觉-语言基准（VQAv2、MathVista等）、逻辑推理类型（归纳/演绎/数值/空间/机械）、LLM-based评估方法。
- 提出LogicVista基准：覆盖归纳（107）、演绎（93）、数值（95）、空间（79）、机械（74）共5类逻辑推理任务，以及图示、OCR、图案、图、表、3D形状、谜题、序列、物理等9种能力，共448道MCQ。
- 所有图像、指令、答案与人类撰写推理过程均人工标注与交叉验证，支持MCQ快速评估与开放式细粒度评估。
- 设计LLM-based多选答案提取器，从开放式输出中提取选项并支持推理过程分析。
- 对8个代表性开源/闭源MLLM进行全面评估，并按技能与能力细粒度分解结果。
1）从需许可/注册/付费的闭源智能测试源收集数据以防泄漏；2）5名标注员历时3个月提取图像、正确答案与解释，交叉验证后存为JSON；3）按5类推理技能与9种能力组织；4）MLLM生成开放式回答后，用LLM提取器（结合问题、选项上下文）解析MCQ选项并与GT比较，计算准确率S=∑si/N×100%；同时支持基于人类推理标注的开放式评估。
关键模块和设计取舍
Section titled “关键模块和设计取舍”推理技能模块（归纳：从观察泛化；演绎：从一般到具体；数值：图像中算术求解；空间：空间关系与折叠/视角；机械：物理系统如齿轮/力）；能力模块（图示/OCR/图案/图/表/3D形状/谜题/序列/物理，可混合）；LLM-based MCQ提取器（处理非确定性开放输出，反复验证失败则反馈重提取）；设计取舍：抽象无真实场景上下文以避免线索依赖，优先闭源数据防泄漏，人工详细推理标注支持细粒度分析。
数据集、实验设置与指标
Section titled “数据集、实验设置与指标”LogicVista：448道MCQ（归纳107、演绎93、数值95、空间79、机械74；能力样本：图示330、OCR234、图案105、图67、表70、3D形状45、谜题256、序列76、物理69）；全部人工标注答案与推理；评估指标为准确率S=（正确数/N）×100%，支持按技能/能力分解；评估模型包括LLaVA系列、MiniGPT-4、Otter、GPT-4V、BLIP-2、InstructBLIP、Pix2Struct等（见表2）。
主要结果（需原文证据）
Section titled “主要结果（需原文证据）”待来源核验
局限、失败场景与适用边界
Section titled “局限、失败场景与适用边界”数据集规模448相对较小；聚焦抽象智能测试图（无真实生活场景上下文）；人类评估标记为✗（表1）；主要依赖MCQ+LLM提取，开放式评估依赖人类推理标注；数据来源闭源可能限制扩展性。
与前序 / 同期 / 后续方法的关系
Section titled “与前序 / 同期 / 后续方法的关系”与VQAv2/COCO/TextCaps等传统基准对比（表1）：后者推理技能数0-2、能力数少，多无答案解释；与MathVista（数学相关推理）最接近但LogicVista更广（5技能 vs 2）；与MM-Vet/MMBench/VisIT-Bench等对齐，强调综合视觉-语言能力与LLM-based评估，而非单纯排名；补充了归纳/演绎/空间/机械等缺失技能。
官方代码与复现建议
Section titled “官方代码与复现建议”官方代码与数据：https://github.com/Yijia-Xiao/LogicVista；复现建议：按JSON加载数据，使用相同提示“please select from A, B, C, D, and E.”生成输出，再以LLM提取器解析选项计算准确率；注意闭源数据许可。
推荐阅读顺序
Section titled “推荐阅读顺序”先读Abstract与Introduction（动机与对比图1），再Table1 Related Works，接着Section3数据标注与技能/能力定义（图3），然后Evaluation Setup与管道（图4、表2），最后结果（若有）与附录示例。
- Q: LogicVista覆盖哪5类逻辑推理技能及其大致样本量？ A: 归纳（107）、演绎（93）、数值（95）、空间（79）、机械（74）。
- Q: 为什么选择闭源数据收集？ A: 防止数据泄漏，确保基准数据未被其他多模态模型训练时见过。
- Q: 如何从MLLM开放式输出中评估MCQ？ A: 使用LLM-based提取器，结合问题、选项上下文从完整句子中解析字母选项，并与GT比较。
- Q: LogicVista与MathVista的主要区别是什么？ A: MathVista限于数学相关推理，LogicVista覆盖更广的通用逻辑推理（5技能 vs 主要数学）。
- Q: 9种能力中哪些样本最多？ A: 图示（Diagrams，330）与谜题（Puzzles，256）。
- Abstract (page 1): We propose LogicVista, an evaluation benchmark that assesses the integrated logical reasoning capabilities of multimodal large language models (MLLMs) in Visual contexts. … using a sample of 448 multiple-choice questions. … A total of 8 MLLMs are comprehensively evaluated … Code and Data Available at https://github.com/Yijia-Xiao/LogicVista.
- Introduction (page 2): LogicVista covers 5 representative categories of logical reasoning tasks: inductive (sample = 107), deductive (sample = 93), numerical (sample = 95), spatial (sample = 79), and mechanical (sample = 74). … ranging from diagrams (sample = 330), OCR, (sample = 234), patterns (sample = 105), graphs (sample = 67), tables (sample = 70), 3D shapes (samples = 45), puzzles (samples = 256), sequences (samples = 76), and physics (samples = 69).
- Table 1 (page 3): Number of Logical Reasoning Skills Tested … LogicVista 5 … Number of Multimodal Capabilities Tested … 9 … Dataset Size … 448 … Answer Choice Explanations ✓ … Open-ended Evaluation ✓
- Section 3.2.2 (page 6): Inductive Reasoning: The ability to infer the next entry in a pattern … Deductive Reasoning: The ability to conclude a specific case from a general principle … Numerical Reasoning … Spatial Reasoning … Mechanical Reasoning …
- Section 4 / Eq. (1) (page 8): The overall logical reasoning score is calculated as follows: S = (∑_{n=1}^N s_i)/N ∗ 100%
Discovery evidence
Section titled “Discovery evidence”- topic:
vlm-understanding - sources:
arxiv - retrieved_at: 2026-07-20
- query: vision language model autonomous driving scene understanding
- arxiv:
2407.04973 - score_total: 56
- suggested_tier:
recent
Relevance
Section titled “Relevance”(no prose relevance explanation — numeric score only or HTTP source)
Snippets
Section titled “Snippets”(no snippet evidence in candidate pool)
延伸解读与背景补充
Section titled “延伸解读与背景补充”生成：2026-07-21 · 来源条数 2 · 模型
heuristic· 需人工核验数字
围绕「LogicVista: Multimodal LLM Logical Reasoning Benchmark in Visual Contexts」的核心问题与动机（待结合全文核验）。
方法要点补强
Section titled “方法要点补强”- 见原文方法章节；以下为基于摘要/摘录的要点提示。
- LogicVista: Multimodal LLM Logical Reasoning Benchmark in Visual Contexts …
与相近工作的关系
Section titled “与相近工作的关系”与相近工作的关系待核验；请对照 related work。
- 勿仅凭摘要推断未给出的数值指标。
- 这篇工作的输入/输出表示是什么？（LogicVista: Multimodal LLM Logical Reasoning Benchmark in Visual Contexts）
- 训练目标与评测协议各是什么？
- 主要失败模式或局限是什么？
外部解读索引
Section titled “外部解读索引”- [2407.04973] LogicVista: Multimodal LLM Logical Reasoning Benchmark in Visual Contexts — 2026-07-21 — 官方摘要/二次页面（自动抓取）
- [2407.04973] LogicVista: Multimodal LLM Logical Reasoning Benchmark in Visual Contexts — 2026-07-21 — 官方摘要/二次页面（自动抓取）
方法结构（重绘）
Section titled “方法结构（重绘）”flowchart LR A["输入 / 观测"] --> B["表示 / 编码"] B --> C["推理 / 解码"] C --> D["输出 / 动作或检测"] %% method sketch for: LogicVista: Multimodal LLM Logical Reasoning Benchmark in Visual Contexts方法结构示意（重绘；细节以原论文为准，待 PDF 核验）。
论文摘录图/表
Section titled “论文摘录图/表”
来源：原论文约 p.2（arch）；学习用途摘录。
来源：原论文约 p.8（table）；学习用途摘录。
英文自动分析（可折叠）
Section titled “英文自动分析（可折叠）”展开英文 Paper Card / AI deep analysis
Paper Card
Section titled “Paper Card”| Field | Content |
|---|---|
| Year | 2024 |
| Authors | Yijia Xiao, Edward Sun, Tianyu Liu, Wei Wang |
| arXiv | 2407.04973 |
| DOI | — |
| Topics | vlm-understanding |
| Paper | https://arxiv.org/abs/2407.04973 |
原文摘录与素材（可折叠）
Section titled “原文摘录与素材（可折叠）”展开 Extract / Selections / Local assets
Selections
Section titled “Selections”vlm-understanding: tier=foundational rank=1 score=56 — auto refresh 2026-07-19 sources=arxiv | promoted recent->foundational for coverage fill
Extract excerpt
Section titled “Extract excerpt”LogicVista: Multimodal LLM Logical Reasoning Benchmark in Visual Contexts Yijia Xiao1∗ , Edward Sun1∗ , Tianyu Liu2 , Wei Wang1 1 University of California, Los Angeles, 2 Yale University 1 {yijia.xiao, weiwang}@cs.ucla.edu, 1 edwardsun12895@g.ucla.edu 2 tianyu.liu@yale.edu
arXiv:2407.04973v1 [cs.AI] 6 Jul 2024 Abstract We propose LogicVista, an evaluation benchmark that assesses the integrated logical reasoning capabilities of multimodal large language models (MLLMs) in Visual contexts. Recent advancements in MLLMs have demonstrated various fascinating abilities, from crafting poetry based on an image to performing mathematical reasoning. However, there is still a lack of systematic evaluation of MLLMs’ proficiency in logical reasoning tasks, which are essential for activities like navigation and puzzle-solving. Thus we evaluate general logical cognition abilities across 5 logical reasoning tasks encompassing 9 different capabilities, using a sample of 448 multiple-choice questions. Each question