Lite DETR : An Interleaved Multi-Scale Encoder for Efficient DETR
Lite DETR : An Interleaved Multi-Scale Encoder for Efficient DETR
Section titled “Lite DETR : An Interleaved Multi-Scale Encoder for Efficient DETR”⚠️ AI 生成 · 建议对照原文 本页为自动整理的学习笔记；关键数据与引用如需引用，请回查 PDF / 官方版本。
学习档位 中文笔记
类型 文献 · 更新 2026-07-19
中文学习笔记（自动生成，需核验）
Section titled “中文学习笔记（自动生成，需核验）”Topic: foundations · Tier: watch · Year: 2023 · Venue: —
Evidence level: partial · 本地全文: 是 · 建议阅读: ~45 分钟
Paper: https://arxiv.org/abs/2303.07335
Code: —
Generator: grok
为什么值得读
Section titled “为什么值得读”提供可插拔的高效编码器设计，通过交错更新高低层多尺度特征显著降低DETR检测头计算量（约60% GFLOPs）同时保持近原始性能，对实际部署和多尺度DETR效率优化有直接参考价值。
Lite DETR通过交错多尺度编码器（高低层特征不同频率更新）+键感知可变形注意力，将检测头GFLOPs降低约60%并保持99%性能。
多尺度特征（尤其低层高分辨率约占75% tokens）导致DETR编码器计算代价过高，阻碍实际应用；简单丢弃低层特征会显著损害小物体检测性能。
DETR/Deformable DETR基础（可变形注意力、编码器-解码器结构）、多尺度特征金字塔（如FPN思想）、Transformer自注意力复杂度、COCO目标检测指标（AP/APs/APL）。
- 提出高效编码器块，以交错方式更新高层（低分辨率）与低层（高分辨率）特征，显著减少查询tokens，可即插即用到现有多尺度DETR模型。
- 提出键感知可变形注意力（KDA），通过从相同采样位置采样key和value，计算更可靠注意力权重，补偿低层特征滞后更新。
- 实验验证可降低检测头GFLOPs约60%并保持99%性能；编码器策略可泛化到现有DETR-based模型；Lite-DINO-SwinT达53.9 AP（159 GFLOPs）。
骨干提取多尺度特征S（如S1~S4对应C5下采样至C3等）→拆分为高层FH（如S1-S3）与低层FL（如S4）→堆叠B个高效编码器块：每块先对高层特征做A次交叉尺度更新（FH作query，全尺度作K/V，用KDA），块末再对低层做一次交叉尺度更新→输出完整多尺度特征给解码器与预测头。
关键模块和设计取舍
Section titled “关键模块和设计取舍”- 交错更新（Interleaved Update）：优先高频更新少量高层特征（含丰富语义），低频更新大量低层特征（含局部细节），token数可降到原5%~25%。2) 高层迭代交叉尺度融合：FH作Q，Concat(FH,FL)作K/V，经KDA更新后与FL拼接。3) 低层交叉尺度融合：块末更新FL。4) KDA：对每个query在特征图相同位置采样keys和values，用query与sampled keys计算更可靠权重（可视为扩展可变形注意力或稀疏稠密注意力）。设计取舍：牺牲低层更新频率换计算效率，用KDA弥补性能。
数据集、实验设置与指标
Section titled “数据集、实验设置与指标”主要基于COCO val2017；示例用ResNet-50骨干、12 epochs训练；指标包括Total GFLOPs（分backbone/encoder/decoder）、AP/APs/APL、训练显存等。图1对比不同模型AP vs GFLOPs（ResNet-50/Swin-Tiny等）。
主要结果（需原文证据）
Section titled “主要结果（需原文证据）”检测头GFLOPs降低约60%同时保持99%原始性能；Lite-DINO-SwinT达53.9 AP（159 GFLOPs）。DINO-4scale（100% tokens）235 GFLOPs、AP50.7（APs33.5/APL64.7）；DINO-3scale（25% tokens，丢低层）122 GFLOPs、AP48.2（APs30.1/APL63.9）。编码器可降GFLOPs 62%~78%并保持竞争力。
局限、失败场景与适用边界
Section titled “局限、失败场景与适用边界”低层特征更新滞后，依赖KDA补偿；简单减尺度主要伤小物体（APs显著降）；具体失败场景、极端尺度分布或更广backbone泛化细节在摘录中有限，待来源核验完整消融与边界分析。
与前序 / 同期 / 后续方法的关系
Section titled “与前序 / 同期 / 后续方法的关系”前序：vanilla DETR（单尺度）、Deformable DETR（可变形注意力+多尺度，被广泛采用）、DINO等改进解码器与查询。同期/相关：Sparse DETR（稀疏更新）、Efficient DETR（少编码器层）、DETR++（BiFPN替代编码器）、VIDT（强解码器去编码器）、IMFA（稀疏尺度自适应采样）等；本文聚焦可插拔高效编码器，性能接近强Deformable-based检测器。
官方代码与复现建议
Section titled “官方代码与复现建议”官方代码将发布于https://github.com/IDEA-Research/Lite-DETR。复现建议：以Deformable DETR/DINO等为基线，替换编码器为交错块（配置A/B与FH/FL划分），使用KDA，COCO标准设置评估GFLOPs与AP；注意多尺度token比例与backbone输出对齐。
推荐阅读顺序
Section titled “推荐阅读顺序”先读Abstract与Introduction（动机与分析Table1/2）→Method 3.1-3.3（动机+整体+交错更新）→3.4-3.6（高层/低层更新与KDA）→Contributions与Fig2→Related Work→实验结果部分（摘录有限，可后续补全）→代码repo。
- Q: 为什么多尺度DETR编码器计算昂贵？低层特征占比约多少？ A: 低层高分辨率特征token数二次增长，约占总tokens 75%以上（Table2 S4约75.3%），导致自注意力（即使可变形）代价高。
- Q: 交错更新如何降低计算？高层与低层更新频率差异是什么？ A: 每高效编码器块对高层特征更新A次（作query提取全尺度信息），块末对低层更新一次；高层token少（约5%-25%），线性复杂度下显著省算。
- Q: KDA相对标准可变形注意力的关键改动是什么？ A: 对每个query在相同采样位置同时采样keys和values，用query与sampled keys计算更可靠注意力权重，增强滞后低层更新。
- Q: 简单丢弃低层特征（如DINO-3scale）的主要性能影响是什么？ A: 整体AP下降约4.9%，小物体APs下降约10.2%，大物体APL几乎不受影响（Table1）。
- Q: Lite DETR的主要效率-性能声明是什么？ A: 检测头GFLOPs降低约60%同时保持99%原始性能；可泛化到现有DETR-based模型。
- Abstract (page 1): we present Lite DETR, a simple yet efficient end-to-end object detection framework that can effectively reduce the GFLOPs of the detection head by 60% while keeping 99% of the original performance. Specifically, we design an efficient encoder block to update high-level features … and low-level features … in an interleaved way. In addition, … we develop a key-aware deformable attention
- Introduction / Contributions (page 2): • We propose an efficient encoder block to update high-level and low-level features in an interleaved way, which can significantly reduce the feature tokens for efficient detection. This encoder can be easily plugged into existing DETR-based models. • To enhance the lagged feature update, we introduce a key-aware deformable attention for more reliable attention weights prediction. • Comprehensive experiments show that Lite DETR can reduce the detection head GFLOPs by 60% and maintain 99% detection performance. Specifically, our Lite-DINO-SwinT achieves 53.9 AP with 159 GFLOPs.
- Table 1 (page 3): DINO-4scale (100%) Total GFLOPs 235 … AP 50.7 APs 33.5 APL 64.7; DINO-3scale (25%) Total GFLOPs 122 … AP 48.2 APs 30.1 APL 63.9
- Table 2 (page 3): Token Ratio S1 (1/64) 1.17% S2 (1/32) 4.71% S3 (1/16) 18.8% S4 (1/8) 75.3%
- Sec 3.3 Interleaved Update / Fig 2 (page 4): we stack the efficient encoder block for B times, where each block updates high-level features for A times but only updates low-level features once at the end of the block. … FH can contain the first three or two scales … NH ≈ 6% ∼ 33% NL
- Sec 3.6 暗示 / Intro (page 2): to enhance the lagged low-level feature update, we propose a key-aware deformable attention (KDA) approach … for each query, it samples both keys and values from the same sampling locations … compute more reliable attention weights by comparing the query with the sampled keys.
- Abstract / Code (page 1): The code will be available in https://github.com/IDEA-Research/Lite-DETR.
Discovery evidence
Section titled “Discovery evidence”- topic:
foundations - sources:
openalex - retrieved_at: 2026-07-20
- query: End-to-End Object Detection with Transformers DETR
- doi:
10.1109/cvpr52729.2023.01780 - score_total: 58
- suggested_tier:
recent
Relevance
Section titled “Relevance”(no prose relevance explanation — numeric score only or HTTP source)
Snippets
Section titled “Snippets”(no snippet evidence in candidate pool)
延伸解读与背景补充
Section titled “延伸解读与背景补充”生成：2026-07-21 · 来源条数 2 · 模型
heuristic· 需人工核验数字
围绕「Lite DETR : An Interleaved Multi-Scale Encoder for Efficient DETR」的核心问题与动机（待结合全文核验）。
方法要点补强
Section titled “方法要点补强”- 见原文方法章节；以下为基于摘要/摘录的要点提示。
- Lite DETR : An Interleaved Multi-Scale Encoder for Efficient DETR Feng Li1,2 ,* Ailing Zeng…
与相近工作的关系
Section titled “与相近工作的关系”与相近工作的关系待核验；请对照 related work。
- 勿仅凭摘要推断未给出的数值指标。
- 这篇工作的输入/输出表示是什么？（Lite DETR : An Interleaved Multi-Scale Encoder for Efficient DETR）
- 训练目标与评测协议各是什么？
- 主要失败模式或局限是什么？
外部解读索引
Section titled “外部解读索引”- [2303.07335] Lite DETR : An Interleaved Multi-Scale Encoder for Efficient DETR — 2026-07-21 — 官方摘要/二次页面（自动抓取）
- [2303.07335] —Supplementary Materials— Lite DETR : An Interleaved Multi-Scale Encoder for Efficient DETR — 2026-07-21 — 官方摘要/二次页面（自动抓取）
方法结构（重绘）
Section titled “方法结构（重绘）”flowchart LR A["输入 / 观测"] --> B["表示 / 编码"] B --> C["推理 / 解码"] C --> D["输出 / 动作或检测"] %% method sketch for: Lite DETR : An Interleaved Multi-Scale Encoder for Efficient DETR方法结构示意（重绘；细节以原论文为准，待 PDF 核验）。
论文摘录图/表
Section titled “论文摘录图/表”
来源：原论文约 p.1（arch）；学习用途摘录。
来源：原论文约 p.3（table）；学习用途摘录。
英文自动分析（可折叠）
Section titled “英文自动分析（可折叠）”展开英文 Paper Card / AI deep analysis
Paper Card
Section titled “Paper Card”| Field | Content |
|---|---|
| Year | 2023 |
| Authors | Feng Li, Ailing Zeng, Shilong Liu, Hao Zhang, Hongyang Li, Lei Zhang, Lionel M. Ni |
| arXiv | 2303.07335 |
| DOI | 10.1109/cvpr52729.2023.01780 |
| Topics | foundations |
| Paper | https://arxiv.org/abs/2303.07335 |
原文摘录与素材（可折叠）
Section titled “原文摘录与素材（可折叠）”展开 Extract / Selections / Local assets
Selections
Section titled “Selections”foundations: tier=watch rank=5 score=58 — auto refresh 2026-07-19 sources=openalex
Extract excerpt
Section titled “Extract excerpt”(no PDF text available; metadata-only card)Local assets
Section titled “Local assets”- 所属 Topic: foundations
- 学习路径: 学习路线 · 论文库
- 上一篇: DEYO: DETR with YOLO for End-to-End Object Detection
- 下一篇: MDS-DETR: DETR with Masked Duplicate Suppressor
- 返回 Topic