MSI-Agent: Incorporating Multi-Scale Insight into Embodied Agents for Superior Planning and Decision-Making
MSI-Agent: Incorporating Multi-Scale Insight into Embodied Agents for Superior Planning and Decision-Making
Section titled “MSI-Agent: Incorporating Multi-Scale Insight into Embodied Agents for Superior Planning and Decision-Making”⚠️ AI 生成 · 建议对照原文 本页为自动整理的学习笔记；关键数据与引用如需引用，请回查 PDF / 官方版本。
学习档位 中文笔记
类型 文献 · 更新 2026-07-19
中文学习笔记（自动生成，需核验）
Section titled “中文学习笔记（自动生成，需核验）”Topic: decision-task-planning · Tier: recent · Year: 2024 · Venue: —
Evidence level: partial · 本地全文: 是 · 建议阅读: ~40 分钟
Paper: https://arxiv.org/abs/2409.16686
Code: —
Generator: grok
为什么值得读
Section titled “为什么值得读”该论文针对具身智能体中长期记忆洞察（insight）的无关噪声与高层通用洞察缺失问题，提出多尺度洞察生成与选择机制，显著提升LLM规划与决策的对齐性与鲁棒性，尤其在领域偏移场景下表现更好，对TEACh等基准有SOTA结果，适合学习embodied agent记忆增强与多尺度抽象方法。
MSI-Agent通过经验选择、多尺度洞察生成与任务相关洞察选择，有效总结并利用不同尺度洞察，提升具身智能体的规划与决策能力。
长期记忆中的洞察对智能体规划决策至关重要，但无关洞察的涌现与通用高层洞察的缺乏会严重削弱其有效性：过多无关洞察干扰决策，而缺乏高层先验则无法充分辅助规划。
大型语言模型（LLM）作为决策器的具身AI基础、长期记忆机制（示例记忆 vs 洞察记忆）、ReAct/规划-执行-反馈循环、TEACh与Alfworld等具身基准、Expel等洞察总结方法、以及嵌入检索与提示工程。
- 提出MSI（Multi-Scale Insight Agent）具身智能体，能够创建并利用多尺度洞察，显著提升洞察与任务的对齐性。
- 设计三个有效模块：经验选择、多尺度洞察生成与任务相关洞察选择，屏蔽无关洞察噪声。
- 在TEACh TfD基准上用GPT-3.5取得SOTA，并在Alfworld上优于另一洞察机制；全面研究种子经验与洞察选择策略，证明MSI在领域偏移时具有更强鲁棒性。
（1）经验生成：在训练任务上用执行器（HELPER/AgentBench）收集任务背景、用户查询、计划、环境反馈与执行结果作为经验。（2）经验选择：成功模式直接选成功经验；配对模式用用户查询嵌入余弦相似度从失败库中匹配对应失败经验形成对。（3）多尺度洞察生成：按通用、环境（若有）、子任务顺序，用LLM对候选洞察执行add/remove/edit/agree/move等原子操作更新数据库，并为子任务洞察生成名称，同时用评分机制维护洞察。（4）洞察利用：新任务时用hashmap索引（LLM返回相关子任务名）或向量索引选择相关多尺度洞察，与背景/查询一起提示执行器完成规划与执行。洞察库在训练后冻结。
关键模块和设计取舍
Section titled “关键模块和设计取舍”经验选择器（成功模式 vs 配对模式，配对用嵌入相似度）；多尺度洞察生成器（通用/环境/子任务尺度，LLM原子操作更新+评分机制，子任务额外生成名称）；洞察选择器（hashmap索引优先，向量索引作消融；通用+子任务为主）。设计取舍：多尺度兼顾高层通用与细粒度；选择机制过滤噪声；评分防止低质洞察积累；仅部分任务生成环境洞察；向量索引因噪声大仅用于消融。
数据集、实验设置与指标
Section titled “数据集、实验设置与指标”基准：TEACh TfD（Padmakumar et al., 2022）与AgentBench Alfworld（Shridhar et al., 2020; Liu et al., 2023b）。TEACh指标：Task Success Rate (SR)与Goal Condition Success Rate (GC) 下的accuracy (ACC) 与 path length weighted (PLW)；公式涉及SCN/GCN、Lpred/Lref等。Alfworld：SRACC。设置：GPT-3.5-turbo-1106作主要决策与子任务选择LLM，GPT-4-1106-preview作洞察生成；text-embedding-ada-002用于失败经验检索；TEACh执行器用HELPER（含PreCheck/Correction/locator等），Alfworld用AgentBench ReAct格式。
主要结果（需原文证据）
Section titled “主要结果（需原文证据）”TEACh TfD验证集（GPT-3.5）：MSI在Seen (IND) SR 12.70 (2.60)、GC 13.66 (8.72)；Unseen (OOD) SR 14.54 (3.70)、GC 10.08 (6.35)，优于HELPER与Expel（均用pair模式生成洞察），并优于多个微调基线。论文声称在TEACh TfD用GPT3.5取得SOTA，在Alfworld上优于另一洞察机制，且领域偏移时鲁棒性更好。Alfworld具体数值待来源核验。
局限、失败场景与适用边界
Section titled “局限、失败场景与适用边界”提取仅至实验设置与部分TEACh结果，完整Alfworld结果、消融、失败案例分析及领域偏移具体数据待来源核验。预算/时间限制未用GPT-4作规划决策器。向量索引噪声大。洞察生成依赖训练经验质量与LLM原子操作可靠性。适用边界：依赖可收集的成功/失败经验与可提示的LLM执行器；环境类别信息有助于环境尺度洞察。
与前序 / 同期 / 后续方法的关系
Section titled “与前序 / 同期 / 后续方法的关系”前序：Embodied AI中用LLM作决策器（Song et al., Singh et al.等）、长期记忆（示例记忆检索 vs 洞察记忆总结，如Expel Zhao et al. 2023、Majumder et al.、Wen et al.）。同期/对比：HELPER（Sarch et al. 2023）作为TEACh执行器、AgentBench、ReAct、Reflexion等。MSI受Expel启发但扩展为多尺度+选择机制以解决无关/高层洞察问题，并系统研究种子经验与选择策略。
官方代码与复现建议
Section titled “官方代码与复现建议”提取中未提及官方代码仓库或开源链接，待来源核验。复现建议：对齐HELPER/AgentBench执行器与Expel洞察提示模板；使用指定GPT-3.5/GPT-4与embedding模型；按成功/配对模式收集经验并更新多尺度库；注意训练后冻结数据库；TEACh需处理VLM失败原因等经验字段。
推荐阅读顺序
Section titled “推荐阅读顺序”先读Abstract与Introduction（问题与动机+Figure 1/2）→ Related Work（定位）→ Method（3.1-3.4全流程+Figure 3）→ Experiment设置与Table 1主结果→ 贡献总结与RQ讨论。重点关注多尺度生成与选择取舍。
- Q: MSI解决的两个核心洞察问题是什么？ A: 无关洞察的涌现干扰决策，以及缺乏通用高层洞察导致先验不足。
- Q: 多尺度洞察包括哪些尺度？如何生成？ A: 通用（所有任务高层知识）、环境（特定环境如厨房，若有类别）、子任务（执行特定子任务知识）。用LLM对候选洞察执行add/remove/edit/agree/move等原子操作，按通用→环境→子任务顺序更新，并带评分机制。
- Q: 经验选择有哪两种模式？配对模式如何匹配？ A: 成功模式：直接选成功经验。配对模式：对每个成功经验ss，用用户查询嵌入余弦相似度从失败库Sf中找最相似sf形成对。
- Q: 洞察选择主要用什么方式？为什么向量索引受限？ A: Hashmap索引：LLM根据用户查询返回相关子任务名再取对应洞察。向量索引：余弦相似度选top token限制洞察，因噪声过大仅用于消融。
- Q: TEACh主结果中MSI相对HELPER/Expel的表现如何？ A: Seen SR 12.70 (2.60)、GC 13.66 (8.72)；Unseen SR 14.54 (3.70)、GC 10.08 (6.35)，均优于HELPER与Expel。
- page 1 Abstract: we introduce Multi-Scale Insight Agent (MSI-Agent), an embodied agent designed to improve LLMs’ planning and decision-making ability by summarizing and utilizing insight effectively across different scales. MSI achieves this through the experience selector, insight generator, and insight selector.
- page 2 Contributions: (1) We proposed MSI, an embodied agent that can create and utilize multiple scales of insights, greatly improving the alignment between insights and tasks. (2) We designed 3 useful modules among experience selection, multi-scale insight generation, and task-related insight selection… (3) We got the SOTA results in the TEACh TfD benchmark with GPT3.5 and beat another insight mechanism in the Alfworld.
- page 3-4 Method 3.3 Multi-Scale Insight Generation: We categorize the insights into several scales. For all tasks, we will generate general scale and subtask scale insights. If the task provides a specific environment category (for example, kitchen), we will also generate environment scale insights.
- page 6 Table 1: MSI 12.70 (2.60) 13.66 (8.72) 14.54 (3.70) 10.08(6.35) … Both Expel and MSI use pair mode to generate insight.
- page 1 Introduction: the emergence of irrelevant insight and the lack of general insight can greatly undermine the effectiveness of insight.
Discovery evidence
Section titled “Discovery evidence”- topic:
decision-task-planning - sources:
crossref,arxiv - retrieved_at: 2026-07-20
- query: embodied agent task planning decision making
- arxiv:
2409.16686 - doi:
10.18653/v1/2024.emnlp-main.38 - score_total: 46
- suggested_tier:
watch
Relevance
Section titled “Relevance”(no prose relevance explanation — numeric score only or HTTP source)
Snippets
Section titled “Snippets”(no snippet evidence in candidate pool)
延伸解读与背景补充
Section titled “延伸解读与背景补充”生成：2026-07-21 · 来源条数 2 · 模型
heuristic· 需人工核验数字
围绕「MSI-Agent: Incorporating Multi-Scale Insight into Embodied Agents for Superior Planning and Decision-Making」的核心问题与动机（待结合全文核验）。
方法要点补强
Section titled “方法要点补强”- 见原文方法章节；以下为基于摘要/摘录的要点提示。
- MSI-Agent: Incorporating Multi-Scale Insight into Embodied Agents for Superior Planning and Decision-Mak…
与相近工作的关系
Section titled “与相近工作的关系”与相近工作的关系待核验；请对照 related work。
- 勿仅凭摘要推断未给出的数值指标。
- 这篇工作的输入/输出表示是什么？（MSI-Agent: Incorporating Multi-Scale Insight into Embodied Agents for Superior Planning and Decision-Making）
- 训练目标与评测协议各是什么？
- 主要失败模式或局限是什么？
外部解读索引
Section titled “外部解读索引”- [2409.16686] MSI-Agent: Incorporating Multi-Scale Insight into Embodied Agents for Superior Planning and Decision-Making — 2026-07-21 — 官方摘要/二次页面（自动抓取）
- [2409.16686] MSI-Agent: Incorporating Multi-Scale Insight into Embodied Agents for Superior Planning and Decision-Making — 2026-07-21 — 官方摘要/二次页面（自动抓取）
方法结构（重绘）
Section titled “方法结构（重绘）”flowchart LR A["输入 / 观测"] --> B["表示 / 编码"] B --> C["推理 / 解码"] C --> D["输出 / 动作或检测"] %% method sketch for: MSI-Agent: Incorporating Multi-Scale Insight into Embodied Agents for Superior P方法结构示意（重绘；细节以原论文为准，待 PDF 核验）。
论文摘录图/表
Section titled “论文摘录图/表”
来源：原论文约 p.1（arch）；学习用途摘录。
来源：原论文约 p.7（table）；学习用途摘录。
英文自动分析（可折叠）
Section titled “英文自动分析（可折叠）”展开英文 Paper Card / AI deep analysis
Paper Card
Section titled “Paper Card”| Field | Content |
|---|---|
| Year | 2024 |
| Authors | Dayuan Fu, Biqing Qi, Yihuai Gao, Che Jiang, Guanting Dong, Bowen Zhou |
| arXiv | 2409.16686 |
| DOI | 10.18653/v1/2024.emnlp-main.38 |
| Topics | decision-task-planning, embodied-agents, sequential-decision, training-systems |
| Paper | https://arxiv.org/abs/2409.16686 |
原文摘录与素材（可折叠）
Section titled “原文摘录与素材（可折叠）”展开 Extract / Selections / Local assets
Selections
Section titled “Selections”decision-task-planning: tier=recent rank=4 score=46 — auto refresh 2026-07-19 sources=arxiv,crossrefembodied-agents: tier=watch rank=5 score=57 — cross-topic assign from registry title match=2 keywords; 2026-07-19sequential-decision: tier=watch rank=2 score=57 — cross-topic assign from registry title match=2 keywords; 2026-07-19training-systems: tier=watch rank=2 score=51 — cross-topic assign from registry title match=1 keywords; 2026-07-19
Extract excerpt
Section titled “Extract excerpt”MSI-Agent: Incorporating Multi-Scale Insight into Embodied Agents for Superior Planning and Decision-Making Dayuan Fu1,2 , Biqing Qi1,3 * , Yihuai Gao4† , Che Jiang1 , Guanting Dong2 , Bowen Zhou1,3 * 1 Department of Electronic Engineering, Tsinghua University 2 Beijing University of Posts and Telecommunications, Beijing, China 3 Shanghai AI Laboratory 4 Stanford University fdy@bupt.edu.cn zhoubowen@tsinghua.edu.cn
Abstract Long-term memory is significant for agents, in which insights play a crucial role. How-
arXiv:2409.16686v2 [cs.AI] 9 Nov 2024 ever, the emergence of irrelevant insight and the lack of general insight can greatly under- mine the effectiveness of insight. To solve this problem, in this paper, we introduce Multi- Scale Insight Agent (MSI-Agent), an embod- ied agent designed to improve LLMs’ plan- ning and decision-making ability by summa- rizing and utilizing insight effectively across different scales. MSI achieves this through the experience selector, insight generator, and in-