DRL-Based Trajectory Tracking for Motion-Related Modules in Autonomous Driving

DRL-Based Trajectory Tracking for Motion-Related Modules in Autonomous Driving

学习档位 精读

类型 文献 · 更新 2026-07-20

所属 强化学习 · 时序感知、跟踪与记忆

中文学习笔记（自动生成，需核验）

Topic: reinforcement-learning · Tier: watch · Year: 2023 · Venue: —
Evidence level: partial · 本地全文: 是 · 建议阅读: ~40 分钟
Paper: https://arxiv.org/abs/2308.15991
Code: —
Generator: grok

为什么值得读

针对自动驾驶中规划器与控制器等运动相关模块的轨迹跟踪问题，提出模型无关的DRL方法，通过表示学习与探索提升鲁棒性与精度，并减少对精确动力学模型的依赖；附带开源实现，便于研究与部署。

一句话结论

用DRL（结合域随机化与后优化）实现更鲁棒、精确的轨迹跟踪，在高初始速度下显著优于启发式方法。

问题定义

轨迹跟踪是自动驾驶运动模块（规划器、控制器）的基础原语。现有启发式模型或轨迹优化方法强依赖精确且平稳的动力学/上下文模型，难以应对真实世界中的测量误差、参数变化、速度分布多样性及复杂参考线形状，导致鲁棒性、精度与通用性不足。

前置知识

马尔可夫决策过程（MDP）、深度强化学习基础（如TD3）、自行车/单车模型动力学、自动驾驶轨迹跟踪与优化基本概念、神经网络观察编码与域随机化。

核心贡献

• 将轨迹跟踪建模为离散时间MDP，提出模型无关、数据驱动的DRL跟踪器，减少对精确平稳模型的依赖。
• 设计完整观察编码（局部参考线、位姿不变状态信息、动力学超参）与训练期域随机化（随机参考线生成+动力学参数采样），提升鲁棒性与泛化。
• 采用两阶段流程（DRL跟踪+后优化），在首阶段提供更好初始轨迹以加速收敛。
• 在vinit=25 m/s等设置下展示效率与有效性，并开源Python训练与C++ SDK及文档。

方法流程

1. 将跟踪任务形式化为MDP：状态S、动作A、转移T（自行车或单车模型）、奖励R，观察函数O:S→O。2. 观察编码：局部参考轨迹段（体坐标系）、速度等状态信息、动力学超参。3. 训练期域随机化：随机游走生成参考线；每回合采样动力学超参集。4. 用TD3等DRL算法训练策略网络（动作：转向/角速度与加速度）。5. 推理时DRL输出轨迹作为初始，再进行后优化。6. 奖励结合跟踪精度（负欧氏距离）与动作平滑性。

关键模块和设计取舍

动力学选择：自行车模型（车辆）与单车模型（行人），含明确状态/动作范围与超参。观察编码：To=13（自行车，32维）或10（单车，21维），包含局部参考点、速度、超参以保持位姿不变与提供转移先验。域随机化：随机游走生成参考线提高覆盖；离散均匀采样车辆类型超参（短/中/长车）以泛化。奖励：R=wt·Rt + wa·Ra（精度+动作）。网络：drl与更大drl-L架构，配合TD3超参（学习率、软更新、折扣等）。取舍：模型无关换取鲁棒性，随机参考线模拟真实数据子集，后优化弥补纯DRL可能的精度/约束问题。

数据集、实验设置与指标

训练参考线由随机游走在状态-动作空间生成（非真实数据集）；评估使用仿真（Nmc=500次等）；动力学含自行车/单车及多种车辆超参集。指标侧重跟踪误差（如欧氏距离范数）与相对误差降低；轨迹长度5.5s、步长0.1s；提及vinit=25 m/s场景。其他具体数据集名称或完整指标待来源核验（摘录截断）。

主要结果（需原文证据）

在vinit=25 [m/s]下，drl-L跟踪器实现误差77%相对降低，已优于启发式方法两阶段结果（额外两步后优化）。图1示意DRL在优化前后相对启发式与参考线的优势。其他定量对比与消融待来源核验（摘录在实验部分截断）。

局限、失败场景与适用边界

摘录显示依赖完整观察（非POMDP信念维护）；奖励主要强调精度与平滑，其他目标（能耗、碰撞、舒适）提及但细节有限；随机游走可能产生不现实数据；真实世界动力学/参数变化的泛化边界及失败场景（如极端初始条件）待来源核验；后优化仍可能需要。

与前序 / 同期 / 后续方法的关系

对比启发式模型与轨迹优化方法：前者高效但难覆盖速度多样性与复杂路径，后者精度高但对初始轨迹敏感且非线动力学下易失败；二者均依赖准确平稳模型。DRL借助NN表示能力与RL探索，减少模型依赖并应对OOD。背景提及学习搜索、价值重建、在线策略优化等DRL进展，及监督/模仿学习的数据限制。

官方代码与复现建议

官方代码：Python RL训练与C++ SDK https://github.com/MARMOTatZJU/drl-based-trajectory-tracking；文档 https://drl-based-trajectory-tracking.readthedocs.io。复现建议：按表III TD3与环境超参（网络结构、学习率4e-5、batch 4096、总步数3e6、折扣0.99等）及表I/II动力学与随机化设置训练；使用给定观察编码与奖励；评估时注意随机参考线与Nmc仿真。

推荐阅读顺序

先读摘要与引言（问题与动机+图1），再II节背景与MDP/跟踪形式化及动力学表，然后III节方法（观察、域随机化、奖励、网络），最后IV节实验设置与可见结果；附录或完整实验与代码文档补充。

自测问题

1. Q: 论文将轨迹跟踪形式化为哪种决策过程？主要元素是什么？ A: 离散时间MDP ⟨S,A,T,R⟩，另有观察O:S→O与折扣γ；策略Π:O→A，转移st+1=T(st,at)。
2. Q: 观察编码包含哪三部分？为何使用局部体坐标系？ A: 局部参考轨迹段oτ、位姿不变状态信息os（如速度）、动力学超参od。体坐标系变换使描述简洁、有效且位姿不变。
3. Q: 训练期使用了哪些域随机化技术？目的是什么？ A: 1) 随机游走生成参考线；2) 每回合从离散均匀分布采样动力学超参（如不同车辆类型）。目的是全面探索环境、提升策略鲁棒性与对不同超参的泛化。
4. Q: 奖励如何设计？主要考虑哪些因素？ A: R(s)=wt·Rt + wa·Ra，Rt为参考点与智能体位置的负欧氏距离（精度），Ra为动作相关（平滑性）。
5. Q: 摘录中提到的主要定量结果是什么？ A: 在vinit=25 m/s时，drl-L实现误差77%相对降低，已优于启发式两阶段（额外两步后优化）结果。

原文证据

• page 1 Abstract: we propose a Deep Reinforcement Learning (DRL)-based trajectory tracking method for the motion-related modules in autonomous driving systems. The representation learning ability of DL and the exploration nature of RL bring strong robustness and improve accuracy.
• page 1 Abstract/Intro: For trajectory tracking under vinit = 25 [m/s], the drl-L tracker achieves 77% relative reduction in error, which has already outperformed the two-stage result of the heuristics-based method with additional two post-optimization steps.
• page 1 Intro: We argue that the main problem of both approaches comes from the dependency on an accurate and stationary model. … We tackle the problem of dependency on the model by making the least assumptions and thus introduce accuracy and versatility.
• page 2 II-A: we formulate the trajectory tracking as a discrete-time Markov Decision Process (MDP) [9]. … An MDP can be represented by ⟨S, A, T, R⟩
• page 3 III-C: We mainly employ two domain randomization techniques [20] … The first … random generation of reference lines … The second … random sampling of the hyper-parameters of the dynamics model.
• page 3-4 III-D / Table III: The joint reward can be indicated as R(s) = wt · Rt + wa · Ra … For the bicycle model, We choose an observation horizon To of 13 steps … build a total 32-D observation vector
• page 1: Code 3 and documentation 4 are released … 3 Python RL Training and C++ SDK: https://github.com/MARMOTatZJU/drl-based-trajectory-tracking

Discovery evidence

• topic: motion-planning-control
• sources: arxiv
• retrieved_at: 2026-07-20
• query: motion planning control autonomous vehicles
• arxiv: 2308.15991
• score_total: 50
• suggested_tier: recent

Relevance

(no prose relevance explanation — numeric score only or HTTP source)

Snippets

(no snippet evidence in candidate pool)

关键图表

方法结构（重绘）

flowchart LR
  A["输入 / 观测"] --> B["表示 / 编码"]
  B --> C["推理 / 解码"]
  C --> D["输出 / 动作或检测"]
  %% method sketch for: DRL-Based Trajectory Tracking for Motion-Related Modules in Autonomous Driving

方法结构示意（重绘；细节以原论文为准，待 PDF 核验）。

论文摘录图/表

来源：原论文约 p.2（arch）；学习用途摘录。

来源：原论文约 p.1（qualitative）；学习用途摘录。

精读判断（人工）

这篇文献回答什么问题

DRL 如何做自动驾驶中与运动相关的轨迹跟踪控制。

我方立场

代表「控制层 RL」而非端到端策略：用来区分 RL-for-tracking 与 RL-for-planning。主路径上帮助建立动作空间粒度意识。

局限

任务定义偏跟踪，开放交互与长视界决策覆盖有限。

读完应能回答

1. 状态/动作/奖励如何定义？
2. 与 MPC 跟踪的对照？
3. 何时不该用 RL 做跟踪？

英文自动分析（可折叠）

展开英文 Paper Card / AI deep analysis

Paper Card

Field	Content
Year	2023
Authors	Yinda Xu, Lidong Yu
arXiv	2308.15991
DOI	—
Topics	reinforcement-learning, temporal-perception-tracking
Paper	https://arxiv.org/abs/2308.15991

原文摘录与素材（可折叠）

展开 Extract / Selections / Local assets

Selections

• reinforcement-learning: tier=watch rank=4 score=50 — auto refresh 2026-07-19 sources=arxiv
• temporal-perception-tracking: tier=watch rank=4 score=57 — cross-topic assign from registry title match=2 keywords; 2026-07-19

Extract excerpt

DRL-Based Trajectory Tracking for Motion-Related Modules
                                                                    in Autonomous Driving
                                                                                                Yinda Xu1 and Lidong Yu2


                                            Abstract—
                                            Autonomous driving systems are always built on motion-
                                         related modules such as the planner and the controller. An
                                         accurate and robust trajectory tracking method is indispensable
                                         for these motion-related modules as a primitive routine. Current




arXiv:2308.15991v3 [cs.RO] 24 Mar 2024
                                         methods often make strong assumptions about the model such
                                         as the context and the dynamics, which are not robust enough to
                                         deal with the changing scenarios in a real-world system. In this
                                         paper, we propose a Deep Reinforcement Learning (DRL)-based
                                         trajectory tracking method for the motion-related modules
                                         in autonomous driving systems. The representation learning
                                         ability of DL and the exploration nature of RL bring strong
                                         robustness and improve accuracy. Meanwhile, it enhances                          Heuristics-based result                  Heuristics-based result
                                         versatility by running the trajectory tracking in a model-free                   DRL-based result                         DRL-based result
                                         and data-driven manner. Through extensive experiments, we                        Reference line (ground-truth)            Reference line (ground-truth)
                                         demonstrate both the efficiency and effectiveness of our method
                                         compared to current methods. Code 3 and documentation 4                   (a) Results      before          post-   (b) Results        after         post-
                                         are released to facilitate both further research and indust

Local assets

反向链接

• 强化学习
• 时序感知、跟踪与记忆

---

学习导航

标记为已读

• 所属 Topic: reinforcement-learning
• 学习路径: 学习路线 · 论文库
• 下一篇: Reinforced Imitative Trajectory Planning for Urban Automated Driving
• 返回 Topic