From Goals, Waypoints & Paths To Long Term Human Trajectory Forecasting
From Goals, Waypoints & Paths To Long Term Human Trajectory Forecasting
Section titled “From Goals, Waypoints & Paths To Long Term Human Trajectory Forecasting”⚠️ AI 生成 · 建议对照原文 本页为自动整理的学习笔记；关键数据与引用如需引用，请回查 PDF / 官方版本。
学习档位 中文笔记
类型 文献 · 更新 2026-07-19
中文学习笔记（自动生成，需核验）
Section titled “中文学习笔记（自动生成，需核验）”Topic: motion-prediction · Tier: recent · Year: 2021 · Venue: —
Evidence level: partial · 本地全文: 是 · 建议阅读: ~50 分钟
Paper: https://arxiv.org/abs/2012.01526
Code: —
Generator: grok
为什么值得读
Section titled “为什么值得读”该论文针对长时程（长达约1分钟）人类轨迹预测这一更具挑战的设定，将多模态不确定性因子化为认知（长期目标）与偶然（航点/路径）两类，并提出场景合规的Y-net网络，在短时与长时基准上均显著提升SOTA，对自动驾驶/具身智能中的行人意图与轨迹建模有直接参考价值。
通过显式因子化目标（认知不确定性）与航点/路径（偶然不确定性）并采用热图表示的Y-net，实现场景合规的长时多模态人类轨迹预测并刷新短时与长时SOTA。
给定场景RGB图像I与行人过去tp秒轨迹（以帧率采样的位置序列），预测未来tf秒的多模态轨迹；特别提出预测时域长达一分钟的长时设定（比先前工作约长一个数量级），需处理更高的不确定性，并将其分解为agent已知但模型未知的长期目标（认知）与双方未知的随机因素（偶然）。
人类轨迹预测基础、多模态建模（生成式如CVAE/GAN或概率图）、U-Net架构与语义分割、认知/偶然不确定性概念、场景语义与热图/概率图表示、软argmax与采样技巧。
- 提出长达一分钟的长时轨迹预测设定，并对先前短时SOTA模型与简单基线进行基准。
- 提出Y-net：基于U-Net风格三子网的场景合规长时预测网络，显式建模目标与路径多模态性并有效利用场景语义。
- 因子化多模态使Y-net在短时设定（Stanford Drone与ETH/UCY）与提出的长时设定（重用Stanford Drone与Intersection Drone）上均显著优于先前方法。
- 语义分割网络处理RGB得语义图S（按表面可通行性分Nc类）；过去轨迹转为与I同空间尺寸的热图H（np通道），拼接为HS。2. 编码器Ue（U-Net式）处理HS得紧凑特征HUe及中间多分辨率特征。3. 目标/航点解码器Ug（U-Net扩展臂）估计最终目标与Nw个中间航点的非参数概率热图。4. 用softargmax + Test-Time Sampling Trick（TTST）采样Ke个目标及对应航点。5. 轨迹解码器Ut条件于采样目标/航点与Ue特征，输出未来各时间步的轨迹概率热图；整体按多目标并行生成场景合规多模态轨迹。
关键模块和设计取舍
Section titled “关键模块和设计取舍”轨迹在场景热图表示（解决RGB与坐标对齐问题，避免一维向量压扁空间信息）；Ue/Ug/Ut均基于U-Net（编码/扩展臂+跳跃连接以保留精细空间细节）；因子化：Ug建模认知不确定性（目标分布，Ke采样），Ut建模偶然不确定性（给定目标下路径，Ka采样；短时Ka=1）；非参数热图+softargmax稳健采样；TTST（测试时先采大量点如1万、阈值过滤、温度T缩放logits后K-means聚为Ke个簇中心+softargmax点，T短时=1.0长时=1.8以控多样性）。设计取舍：显式概率图便于空间约束与对采样数K的直接控制，优于隐式生成模型的覆盖与可控性。
数据集、实验设置与指标
Section titled “数据集、实验设置与指标”短时设定：Stanford Drone (SDD) 与 ETH/UCY；长时设定：重用SDD与Intersection Drone (InD)。主要指标：ADE与FDE。设置概要：过去约5秒预测未来最长约1分钟；短时总体K=Ke（Ka=1），长时Ka>1以覆盖同目标多路径。更细超参/划分/帧率等待来源核验。
主要结果（需原文证据）
Section titled “主要结果（需原文证据）”短时设定：Y-net在SDD上相对先前方法ADE提升26.9%、FDE提升34.0%；在ETH/UCY上ADE提升5.6%、FDE提升51.9%。长时设定：在SDD上相对SOTA短时方法ADE提升超50.6%、FDE提升77.1%；在InD上ADE提升35.0%、FDE提升55.9%。
局限、失败场景与适用边界
Section titled “局限、失败场景与适用边界”摘录未系统讨论失败场景与局限；从方法可推断可能依赖语义分割质量、长时场景动态变化与复杂多agent交互建模细节未充分展开、多采样/TTST计算开销、对未见场景的泛化边界等。适用边界：有场景语义与过去轨迹可用的2D行人长/短时多模态预测。具体局限与消融待来源核验。
与前序 / 同期 / 后续方法的关系
Section titled “与前序 / 同期 / 后续方法的关系”前序单模态：Social Forces、Social LSTM等。生成式多模态：DESIRE（IRL+潜变量）、Social GAN/SoPhie（对抗）、Trajectron++、CVAE类（如用于最终位置）、CGNS等。空间概率/目标条件：Activity Forecasting（HMM/MDP）、网格概率方法、PECNet等目标条件预测。本文强调因子化认知（目标）与偶然（路径）及显式热图表示；与隐式生成模型对比在可控性与覆盖上有优势。同期/后续具体关系待来源核验。
官方代码与复现建议
Section titled “官方代码与复现建议”摘录未提供官方代码链接；建议检索arXiv:2012.01526作者主页或GitHub关键词Y-net/trajectory。复现建议：实现U-Net式Ue/Ug/Ut、轨迹-场景热图拼接、语义分割前置、softargmax+TTST（1万采样、相对阈值thrrel=max*0.01、K-means、T=1.0/1.8）、损失（3.3节细节待核验）。需注意空间分辨率与通道设计。
推荐阅读顺序
Section titled “推荐阅读顺序”先读摘要+Fig.1理解因子化与长时设定；再读引言动机与贡献；相关工作定位；方法3.1（表示与三子网）→3.2（采样与TTST）→损失与训练（待完整）；结果部分验证短/长时提升；最后补充实验细节与可视化。
- Q: 论文如何将未来轨迹的多模态不确定性因子化？ A: 认知不确定性（epistemic）通过长期目标分布的多模态建模；偶然不确定性（aleatoric）通过给定目标下的中间航点与完整路径分布建模。
- Q: Y-net的三个核心子网络分别是什么？各自作用？ A: Ue（轨迹在场景热图编码器）、Ug（目标与航点热图解码器）、Ut（条件于目标/航点采样的轨迹热图解码器）；均基于U-Net风格。
- Q: 提出的长时预测设定与先前工作主要区别是什么？ A: 预测时域长达一分钟，约为先前短时工作的一个数量级更长；并在重用SDD与InD上对短时SOTA做基准。
- Q: Test-Time Sampling Trick（TTST）的核心步骤与作用？ A: 测试时先从目标分布大量采样（如1万点）、阈值阈值过滤、温度T缩放后用K-means聚为Ke-1簇中心，再加softargmax点；提供对K的直接控制、稳健性并避免K特定调参。
- Q: Y-net在短时SDD与ETH/UCY上相对先前方法的ADE/FDE提升幅度是多少？ A: SDD：ADE 26.9%、FDE 34.0%；ETH/UCY：ADE 5.6%、FDE 51.9%。
- page 1 Abstract / Fig.1 caption: We propose to factorize this uncertainty into its epistemic & aleatoric sources. We model the epistemic uncertainty through multimodality in long term goals and the aleatoric uncertainty through multimodality in waypoints & paths. … Each color indicates predicted trajectories for different sampled goals.
- page 1 Abstract: Y-net significantly improves previous state-of-the-art performance on both (a) The well studied short prediction horizon settings on the Stanford Drone & ETH/UCY datasets and (b) The proposed long prediction horizon setting on the re-purposed Stanford Drone & Intersection Drone datasets.
- page 2: we also propose a novel long term trajectory forecasting setting, with prediction horizons upto a minute, an order of magnitude longer than prior works. … outperforms previous approaches by significant margins of 26.9% & 5.6% respectively, on ADE and by 34.0% and 51.9% respectively, on FDE metric. … improves the performance of state-of-the-art short term methods by over 50.6% and 35.0% respectively, on ADE and 77.1% and 55.9% respectively, on FDE metric.
- page 3-4 Section 3.1 / Fig.2: Y-net comprises of three sub-networks Ue , Ug & Ut modeled after the Unet architecture [33] … trajectory on scene heatmap representation … Goal & Waypoint Heatmap Decoder … Trajectory Heatmap Decoder
- page 5 Section 3.2.1: We propose a ‘Test-Time Sampling Trick’ (TTST) … sample a large number of points (10,000 in our experiments) from the estimated distribution P … K-means … temperature T. For the short term setting, we use T = 1.0, while for our proposed long term setting, we increase the diversity by setting T = 1.8.
Discovery evidence
Section titled “Discovery evidence”- topic:
motion-prediction - sources:
asta,openalex - retrieved_at: 2026-07-20
- query: Find foundational and recent research papers for the topic «运动预测» (motion-prediction). Prefer peer-reviewed or widely cited work with clear method contributions. Include open-source code when available. Exclude pure survey spam unless highly cited. Core concepts: motion prediction, trajectory forecast, multimodal prediction. Search facets: motion prediction transformer autonomous driving; multimodal trajectory forecasting agents; intention localization motion prediction. Relevant venues include:
- corpus_id:
227254503 - doi:
10.1109/iccv48922.2021.01495 - relevance_score:
0.6327952494943127 - score_total: 59
- suggested_tier:
foundational
Relevance
Section titled “Relevance”(no prose relevance explanation — numeric score only or HTTP source)
Snippets
Section titled “Snippets”(no snippet evidence in candidate pool)
延伸解读与背景补充
Section titled “延伸解读与背景补充”生成：2026-07-21 · 来源条数 2 · 模型
heuristic· 需人工核验数字
围绕「From Goals, Waypoints & Paths To Long Term Human Trajectory Forecasting」的核心问题与动机（待结合全文核验）。
方法要点补强
Section titled “方法要点补强”- 见原文方法章节；以下为基于摘要/摘录的要点提示。
- From Goals, Waypoints & Paths To Long Term Human Trajectory Forecasting Karttikeya Mangalam†∗ …
与相近工作的关系
Section titled “与相近工作的关系”与相近工作的关系待核验；请对照 related work。
- 勿仅凭摘要推断未给出的数值指标。
- 这篇工作的输入/输出表示是什么？（From Goals, Waypoints & Paths To Long Term Human Trajectory Forecasting）
- 训练目标与评测协议各是什么？
- 主要失败模式或局限是什么？
外部解读索引
Section titled “外部解读索引”- [2012.01526] From Goals, Waypoints & Paths To Long Term Human Trajectory Forecasting — 2026-07-21 — 官方摘要/二次页面（自动抓取）
- [2012.01526] From Goals, Waypoints & Paths To Long Term Human Trajectory Forecasting — 2026-07-21 — 官方摘要/二次页面（自动抓取）
方法结构（重绘）
Section titled “方法结构（重绘）”flowchart LR A["输入 / 观测"] --> B["表示 / 编码"] B --> C["推理 / 解码"] C --> D["输出 / 动作或检测"] %% method sketch for: From Goals, Waypoints & Paths To Long Term Human Trajectory Forecasting方法结构示意（重绘；细节以原论文为准，待 PDF 核验）。
论文摘录图/表
Section titled “论文摘录图/表”
来源：原论文约 p.1（arch）；学习用途摘录。
来源：原论文约 p.8（table）；学习用途摘录。
英文自动分析（可折叠）
Section titled “英文自动分析（可折叠）”展开英文 Paper Card / AI deep analysis
Paper Card
Section titled “Paper Card”| Field | Content |
|---|---|
| Year | 2021 |
| Authors | Karttikeya Mangalam, Yang An, Harshayu Girase, Jitendra Malik |
| arXiv | 2012.01526 |
| DOI | 10.1109/iccv48922.2021.01495 |
| Topics | motion-prediction, world-modeling, world-models |
| Paper | https://arxiv.org/abs/2012.01526 |
原文摘录与素材（可折叠）
Section titled “原文摘录与素材（可折叠）”展开 Extract / Selections / Local assets
Selections
Section titled “Selections”motion-prediction: tier=recent rank=2 score=56 — auto refresh 2026-07-19 sources=openalex | promoted watch->recent for coverage fillworld-modeling: tier=watch rank=3 score=51 — cross-topic assign from registry title match=1 keywords; 2026-07-19world-models: tier=watch rank=4 score=51 — cross-topic assign from registry title match=1 keywords; 2026-07-19
Extract excerpt
Section titled “Extract excerpt”(no PDF text available; metadata-only card)