LLaVA-Mini: Efficient Image and Video Large Multimodal Models with One Vision Token

⚠️ AI 生成 · 建议对照原文 本页为自动整理的学习笔记；关键数据与引用如需引用，请回查 PDF / 官方版本。

学习档位 中文笔记

类型文献 · 更新 2026-07-19

所属 VLM 与视觉语言理解 · 模型部署与推理优化

中文学习笔记（自动生成，需核验）

Topic: vlm-understanding · Tier: foundational · Year: 2025 · Venue: —
Evidence level: partial · 本地全文: 是 · 建议阅读: ~25 分钟
Paper: https://arxiv.org/abs/2501.03895
Code: —
Generator: grok

为什么值得读

提出将视觉token极端压缩至1个的高效统一LMM（支持图像、高分辨率图像与视频），通过层间注意力分析揭示视觉token主要在LLM早期层起作用并设计模态预融合，在保持与LLaVA-v1.5可比/更优性能的同时显著降低计算、延迟与显存，适合实时多模态交互场景。

一句话结论

LLaVA-Mini通过模态预融合将输入LLM的视觉token压缩至1个，在图像与视频理解上高效且性能媲美或超越LLaVA-v1.5。

问题定义

LMM（以LLaVA系列为代表）将视觉输入编码为大量视觉token（如CLIP ViT-L/336px单图576个）并与文本指令一同送入LLM上下文，导致参数量大与上下文token数（以视觉token为主）带来的巨大计算开销与高延迟；高分辨率图像与视频场景更严重。现有效率工作多聚焦替换更小LLM或量化，忽视token数量；直接规则式token减少常造成视觉信息损失与性能下降。

前置知识

LLaVA架构（CLIP ViT视觉编码器+投影层+LLM）、视觉token与文本token在LLM中的交互、注意力机制与层间分析、多模态基准评估基础；了解token merging/Q-former等压缩方法有助于对比。

核心贡献

通过层间注意力分析揭示LLaVA类LMM中视觉token主要在早期层关键（文本token从中融合视觉信息），后期注意力急剧下降且可部分移除仍保留能力。
提出模态预融合（modality pre-fusion）模块，预先将视觉信息融合进文本指令token，从而允许将送入LLM的视觉token极端压缩至1个。
构建统一高效LMM LLaVA-Mini，支持图像、高分辨率图像与视频理解。
在11个图像与7个视频基准上验证：以1个视觉token（压缩率约0.17%）达到/超越LLaVA-v1.5性能，并显著提升效率（FLOPs、延迟、显存）。

方法流程

1）基于LLaVA架构进行层间注意力分析，确认视觉token早期层重要性；2）引入模态预融合模块，在LLM之前将视觉信息融合进指令文本token；3）使用压缩模块将视觉token高度压缩（极端情况下至每图1个）；4）将压缩后的视觉token与已融合的文本token送入LLM生成响应。支持图像/高分辨率/视频统一处理。

关键模块和设计取舍

核心是模态预融合模块（在LLM前完成视觉-文本信息融合）+视觉token压缩模块。设计取舍：将融合过程从LLM早期层前移，使得可安全极端压缩送入LLM的视觉token数量（至1个）而不显著牺牲性能；避免直接在视觉编码器输出端大幅减少token导致的信息损失。分析基于多款LLaVA变体（Vicuna-7B/13B、Mistral-7B、NeXT等）的注意力权重与熵变化。

数据集、实验设置与指标

11个图像理解基准 + 7个视频理解基准（具体名称与设置细节在摘录中未完整列出）。效率指标包括FLOPs、推理延迟、每图VRAM占用、视频帧处理能力（如NVIDIA RTX 3090 24GB）。性能对比主要对标LLaVA-v1.5（576视觉token）及若干token压缩方法；图1示意含MMBench accuracy等。完整数据集列表与评估协议待来源核验。

主要结果（需原文证据）

在11图像+7视频基准上，LLaVA-Mini仅用1个视觉token（vs LLaVA-v1.5的576，压缩率0.17%）达到可比或更优性能。效率：FLOPs降低77%，图像理解延迟从约100/113ms降至40ms，每图VRAM从360MB降至0.6MB；可在24GB显存GPU上处理超过10,000帧视频（>3小时）。图1示意相对多种Image/Video LMM在#Vision Tokens与MMBench等上的优势。

局限、失败场景与适用边界

摘录中未明确详细讨论失败场景或边界；直接token减少方法已知会损失信息，但LLaVA-Mini的预融合在极端1-token下的具体失效案例、对特定视觉细节/时序任务的敏感性、以及与更强骨干/更大数据的扩展性等待来源核验。

与前序 / 同期 / 后续方法的关系

对比模型尺寸缩减/量化方法（如替换更小LLM）及视觉编码器端token减少方法（token merging、PruMerge、TokenPacker、Q-former类如Qwen-VL/MQT-LLaVA）；视频侧有固定帧选择（Video-ChatGPT、Video-LLaVA等）或记忆压缩（MovieChat）。LLaVA-Mini进一步分析LLM内部视觉-文本交互并引入预融合，实现更极端压缩（1 token进LLM）同时保持性能。

官方代码与复现建议

官方代码：https://github.com/ictnlp/LLaVA-Mini；模型：https://huggingface.co/ICTNLP/llava-mini-llama-3.1-8b。复现建议：按仓库说明使用提供的权重进行图像/视频推理与基准评估；关注1-token设置下的效率与性能对比实验。完整训练细节与超参待来源核验。

自测问题

Q: LLaVA-Mini的核心发现是什么？视觉token在LLM中主要起什么作用？ A: 视觉token在早期层更重要，接收大量来自后续文本token的注意力并融合视觉信息；后期注意力急剧下降，多数注意力转向已融合的指令token。即使后期移除部分视觉token，模型仍保留一定视觉理解能力。
Q: LLaVA-Mini如何实现仅用1个视觉token却保持性能？ A: 引入模态预融合模块，在LLM之前预先将视觉信息融合进文本指令token，从而允许将送入LLM的视觉token极端压缩至1个。
Q: 与LLaVA-v1.5相比，LLaVA-Mini在token数量与效率上有何提升？ A: 用1个视觉token替代576个（压缩率约0.17%）；FLOPs降低77%，延迟约40ms（vs 约100-113ms），每图VRAM从360MB降至0.6MB，可处理>10,000帧视频。
Q: LLaVA-Mini支持哪些输入类型？ A: 统一支持图像、高分辨率图像和视频的高效理解。
Q: 为什么直接减少视觉编码器输出的token往往导致性能下降？ A: 会损失视觉信息；LLaVA-Mini通过预先融合规避了这一问题，使极端压缩成为可能。

原文证据

Abstract (page 1): LLaVA-Mini introduces modality pre-fusion to fuse visual information into text tokens in advance, thereby facilitating the extreme compression of vision tokens fed to LLM backbone into one token. … Experiments across 11 image-based and 7 video-based benchmarks demonstrate that LLaVA-Mini outperforms LLaVA-v1.5 with just 1 vision token instead of 576. Efficiency analyses reveal that LLaVA-Mini can reduce FLOPs by 77%, deliver low-latency responses within 40 milliseconds, and process over 10,000 frames of video on the GPU hardware with 24GB of memory.
Introduction (page 1-2): Through layer-wise analysis (refer to Sec.3), we observe that the importance of vision tokens changes across different layers of LLM. In the early layers, vision tokens play a crucial role… However, as the layers deepen, the attention devoted to vision tokens decreases sharply… Based on this finding, if the fusion process can be shifted from the early layers of LLM to perform before LLM, we can significantly reduce the number of vision tokens fed into the LLM without sacrificing performance.
Figure 1 caption (page 2): LLaVA-Mini achieves comparable performance to LLaVA-v1.5 using only 1 vision token instead of 576, yielding efficient computation, lower latency, and reduced VRAM usage.
Related Work / end of page 2-3: LLaVA-Mini takes this a step further by exploring how vision tokens and text tokens interact within the LLM backbone, and accordingly introduces a modality pre-fusion module, enabling an extreme compression of vision tokens (1 vision token fed into LLM) while achieving comparable performance.
Section 3.2 / Figure 2-3 description (page 4): Visual tokens receive more attention in the earlier layers, but this attention sharply decreases in the deeper layers, with over 80% of the attention being directed towards instruction tokens. … the entropy of attention toward visual tokens is much higher in the earlier layers, indicating that most visual tokens are evenly attended to in the early layers.
page 1 footer: Code: https://github.com/ictnlp/LLaVA-Mini; Model: https://huggingface.co/ICTNLP/llava-mini-llama-3.1-8b

Discovery evidence

topic: vlm-understanding
sources: arxiv
retrieved_at: 2026-07-20
query: vision language model autonomous driving scene understanding
arxiv: 2501.03895
score_total: 55
suggested_tier: recent

Relevance

(no prose relevance explanation — numeric score only or HTTP source)

Snippets

(no snippet evidence in candidate pool)

延伸解读与背景补充

生成：2026-07-21 · 来源条数 2 · 模型 heuristic · 需人工核验数字

问题再表述

围绕「LLaVA-Mini: Efficient Image and Video Large Multimodal Models with One Vision Token」的核心问题与动机（待结合全文核验）。

方法要点补强

见原文方法章节；以下为基于摘要/摘录的要点提示。
Published as a conference paper at ICLR 2025 LL AVA-M INI : E FFICIENT I MAGE AND V IDEO L ARGE …

与相近工作的关系

与相近工作的关系待核验；请对照 related work。

常见误读

勿仅凭摘要推断未给出的数值指标。

自测问题

这篇工作的输入/输出表示是什么？（LLaVA-Mini: Efficient Image and Video Large Multimodal Models with One Vision Token）
训练目标与评测协议各是什么？
主要失败模式或局限是什么？

外部解读索引

[2501.03895] LLaVA-Mini: Efficient Image and Video Large Multimodal Models with One Vision Token — 2026-07-21 — 官方摘要/二次页面（自动抓取）
[2501.03895] LLaVA-Mini: Efficient Image and Video Large Multimodal Models with One Vision Token — 2026-07-21 — 官方摘要/二次页面（自动抓取）

关键图表

方法结构（重绘）

flowchart LR
  A["输入 / 观测"] --> B["表示 / 编码"]
  B --> C["推理 / 解码"]
  C --> D["输出 / 动作或检测"]
  %% method sketch for: LLaVA-Mini: Efficient Image and Video Large Multimodal Models with One Vision To

方法结构示意（重绘；细节以原论文为准，待 PDF 核验）。

论文摘录图/表

LLaVA-Mini: Efficient Image and Video Large Multimodal Models with One Vision Token arch p.1

来源：原论文约 p.1（arch）；学习用途摘录。

LLaVA-Mini: Efficient Image and Video Large Multimodal Models with One Vision Token table p.7

来源：原论文约 p.7（table）；学习用途摘录。

英文自动分析（可折叠）

展开英文 Paper Card / AI deep analysis

Paper Card

Field	Content
Year	2025
Authors	Shaolei Zhang, Qingkai Fang, Zhe Yang, Yang Feng
arXiv	2501.03895
DOI	—
Topics	vlm-understanding, deployment-inference
Paper	https://arxiv.org/abs/2501.03895

原文摘录与素材（可折叠）

展开 Extract / Selections / Local assets

Selections

vlm-understanding: tier=foundational rank=2 score=55 — auto refresh 2026-07-19 sources=arxiv | promoted recent->foundational for coverage fill
deployment-inference: tier=watch rank=4 score=51 — cross-topic assign from registry title match=1 keywords; 2026-07-19

Extract excerpt

Published as a conference paper at ICLR 2025




                                        LL AVA-M INI : E FFICIENT I MAGE AND V IDEO L ARGE
                                        M ULTIMODAL M ODELS WITH O NE V ISION T OKEN
                                          Shaolei Zhang1,3 , Qingkai Fang1,3 , Zhe Yang1,3 , Yang Feng1,2,3∗
                                         1
                                           Key Laboratory of Intelligent Information Processing,
                                           Institute of Computing Technology, Chinese Academy of Sciences (ICT/CAS)
                                         2
                                           Key Laboratory of AI Safety, Chinese Academy of Sciences
                                         3
                                           University of Chinese Academy of Sciences, Beijing, China
                                           zhangshaolei20z@ict.ac.cn, fengyang@ict.ac.cn




arXiv:2501.03895v2 [cs.CV] 2 Mar 2025
                                                                                    A BSTRACT

                                                   The advent of real-time large multimodal models (LMMs) like GPT-4o has
                                                   sparked considerable interest in efficient LMMs. LMM frameworks typically en-
                                                   code visual inputs into vision tokens (continuous representations) and integrate
                                                   them and textual instructions into the context of large language models (LLMs),
                                                   where large-scale parameters and numerous context tokens (predominantly vision
                                                   tokens) result in substantial computational overhead. Previous efforts towards ef-
                                                   ficient LMMs always focus on replacing the LLM backbone with smaller models,
                                                   while neglecting the crucial issue of token quantity. In this paper, we introduce
                                                   LLaVA-Mini, an efficient LMM with minimal vision tokens. To achieve a high
                                                   compression ratio of vision tokens while preserving visual information, we first
                                                   analyze h

Local assets

反向链接

学习导航

标记为已读

所属 Topic: vlm-understanding
学习路径: 学习路线 · 论文库
上一篇: LLaVA-LE: Large Language-and-Vision Assistant for Lunar Exploration
下一篇: Large VLM-based Vision-Language-Action Models for Robotic Manipulation: A Survey
返回 Topic

LLaVA-Mini: Efficient Image and Video Large Multimodal Models with One Vision Token

LLaVA-Mini: Efficient Image and Video Large Multimodal Models with One Vision Token

中文学习笔记（自动生成，需核验）

为什么值得读

一句话结论

问题定义

前置知识

核心贡献

方法流程

关键模块和设计取舍

数据集、实验设置与指标

主要结果（需原文证据）

局限、失败场景与适用边界

与前序 / 同期 / 后续方法的关系

官方代码与复现建议

推荐阅读顺序

自测问题

原文证据

Discovery evidence

Relevance

Snippets

延伸解读与背景补充

问题再表述

方法要点补强

与相近工作的关系

常见误读

自测问题

外部解读索引

关键图表

方法结构（重绘）

论文摘录图/表

英文自动分析（可折叠）

Paper Card

原文摘录与素材（可折叠）

Selections

Extract excerpt

Local assets

反向链接

学习导航