无人驾驶-07-学习计划排期
下面给你一份完整「表格化」学习计划表,已按 实战优先 + 对标特斯拉 FSD 14.2 重新编排,可以直接照表执行。
一、总体学习路线总览(对标 FSD)
| 阶段 | 时间 | 学习主线 | 核心目标 | FSD 对标代际 |
|---|---|---|---|---|
| 阶段0 | 1–2周 | 端到端认知建立 | 看清完整 E2E 系统 | FSD 11–12 |
| 阶段1 | 1–3月 | BEV 世界模型 | 构建统一空间表征 | FSD 11–12 |
| 阶段2 | 4–5月 | 端到端感知 | 弱化中间任务 | FSD 13 |
| 阶段3 | 6–7月 | 预测 + 学习型规划 | 行为与决策智能 | FSD 14 |
| 阶段4 | 8–9月 | 多传感器工程 | 工业完整性 | 非 Tesla / L4 |
| 阶段5 | 10–11月 | 仿真 + 部署 | 闭环系统能力 | Tesla 工程 |
| 阶段6 | 12月 | 系统整合 | FSD 风格 Demo | FSD 14(思想) |
二、详细课程学习计划表(核心表)
阶段 0:端到端整体认知(先站在山顶)
| 顺序 | 课程 | 学习范围 | 学习方式 | 实战要求 | FSD 对标 |
|---|---|---|---|---|---|
| 0-1 | 工业级端到端实战教程 | 第1章全 + 3.1 / 3.2 / 3.10(只看结构) | 看结构,不抠代码 | 画完整 pipeline 图 | FSD 12 |
| 0-2 | 自动驾驶1000问 | 按需查阅 | 字典式使用 | 无 | 认知补全 |
阶段 1:BEV 与世界模型(最关键地基)
| 顺序 | 课程 | 学习重点 | 实战建议 | 输出成果 | FSD 对标 |
|---|---|---|---|---|---|
| 1-1 | 国内首个 BEV 感知全栈 | Camera → BEV、坐标系、时序 | 跑通 BEV 感知 Demo | BEV 可视化 | FSD 11–12 |
| 1-2 | BEVFormer 注释版 | Temporal BEV、Attention | 读源码+改代码 | 时序 BEV | FSD 12 |
| 1-3 | 单目3D & 单目BEV | Camera-only 空间感知 | 单目 BEV 实验 | 单目 BEV | FSD 12 |
| 1-4 | 工业级端到端实战教程 | 3.4 VAD / 3.6 SparseDrive / 3.7 ReasonNet | 理解世界模型演进 | 世界模型对比笔记 | FSD 12 |
阶段 2:端到端感知(感知范式升级)
| 顺序 | 课程 | 学习重点 | 实战建议 | 输出成果 | FSD 对标 |
|---|---|---|---|---|---|
| 2-1 | Transformer 分割检测+视觉大模型 | Detection + Segmentation + Video | 视频感知实验 | 视频感知结果 | FSD 13 |
| 2-2 | 工业级端到端实战教程 | 3.3 UniAD(深入) | 关注输入/输出 | E2E 感知理解 | FSD 13 |
阶段 3:预测与学习型规划(FSD 14 核心)
| 顺序 | 课程 | 学习重点 | 实战建议 | 输出成果 | FSD 对标 |
|---|---|---|---|---|---|
| 3-1 | 轨迹预测理论&实战 | 多模态预测、交互建模 | BEV 轨迹预测 | 多轨迹输出 | FSD 13–14 |
| 3-2 | 规划控制理论&实战 | MPC、Cost Planning | 简化规划器 | 规划轨迹 | FSD 13 |
| 3-3 | 工业级端到端实战教程 | 第4章 PlanT / DIPP / PLUTO | PlanT 实战必做 | 学习型规划 | FSD 14 |
阶段 4:多传感器工程体系(工业补全)
| 顺序 | 课程 | 学习目标 | 实战建议 | 输出成果 | 对标 |
|---|---|---|---|---|---|
| 4-1 | 多模态融合3D检测 | LiDAR+Camera | 融合检测 Demo | 融合检测 | L4 |
| 4-2 | 多传感器融合跟踪 | 稳定跟踪 | Tracking Pipeline | 稳定跟踪 | L4 |
| 4-3 | 毫米波雷达+视觉 | 雷达补盲 | 雷达融合实验 | 雷达融合 | L4 |
| 4-4 | 多传感器标定全栈 | 标定工程 | 标定流程复现 | 标定工具链 | 工业级 |
阶段 5:闭环仿真与部署(工程分水岭)
| 顺序 | 课程 | 学习重点 | 实战建议 | 输出成果 | FSD 对标 |
|---|---|---|---|---|---|
| 5-1 | CARLA + Autoware | 闭环仿真、系统联调 | 完整闭环 | 可跑仿真 | Tesla 工程 |
| 5-2 | CUDA + TensorRT | 推理加速 | BEV/规划模型部署 | 延迟优化 | Tesla 工程 |
阶段 6:系统整合与大作业(最终验收)
| 顺序 | 课程 | 核心任务 | 最终成果 | FSD 对标 |
|---|---|---|---|---|
| 6-1 | 工业级端到端实战教程 | 第5章大作业 | E2E 驾驶 Demo | FSD 14(思想) |
三、最终能力对标总结表
| 能力维度 | 达成程度 |
|---|---|
| BEV 世界模型 | ⭐⭐⭐⭐ |
| Camera-only 感知 | ⭐⭐⭐ |
| 端到端感知 | ⭐⭐⭐⭐ |
| 学习型规划 | ⭐⭐⭐ |
| 工程闭环能力 | ⭐⭐⭐⭐ |
| FSD 思想理解 | ⭐⭐⭐⭐ |
一句话总结
按这张表学,你不是在“上课”,而是在“复现一条 Tesla FSD 的工程演进路径”。
如果你愿意,下一步我可以直接帮你把这张表 细化到「每周任务清单 + 项目交付物」版本,或者给你做一个 「FSD 风格个人项目仓库结构模板」。
工业级端到端实战教程大纲
以下为图片中课程大纲的原文逐字识别结果,不做任何改写、不做整理、不做补充,仅按原有层级与内容输出:
一、端到端算法介绍
1.1 端到端算法概念
1.2 端到端算法有哪些优势?
1.3 端到端算法有哪些分类?
1.4 端到端算法数据集介绍
1.5 端到端的数据格式详解
1.6 端到端数据集制作实战
1.7 端到端可视化实战
1.8 端到端算法评估指标详解
1.8.1 实车测试评测指标
1.8.2 仿真测试评测指标
1.8.3 开环评测指标
1.9 课程框架介绍和配置说明
二、端到端任务基础模块
2.1 感知模块详解
2.1.1 障碍物检测
2.1.2 红绿灯检测
2.1.3 车道线检测
2.2 预测模块详解
2.2.1 动态障碍物轨迹预测
2.2.2 占用网格预测
2.3 规划模块详解
2.3.1 自车规划介绍
2.3.2 规划结果如何与感知预测交互?
2.3.3 规划结果如何给下游使用?
三、完全端到端方法
3.1 从原始传感器数据到控制策略
3.2 完全端到端是怎么做的?
3.3 UniAD 算法详解:端到端里程碑
3.3.1 算法动机&开创性思路
3.3.2 主体结构
3.3.3 损失函数
3.3.4 性能对比
3.4 VAD 算法详解:纯视觉方案
3.4.1 算法动机&开创性思路
3.4.2 主体结构
3.4.3 损失函数
3.4.4 性能对比
3.4.5 VADv2 优化了什么?
3.5 UAD 算法详解:纯视觉方案
3.5.1 算法动机&开创性思路
3.5.2 主体结构
3.5.3 损失函数
3.5.4 性能对比
3.6 SparseDrive 算法详解:纯视觉方案
3.6.1 算法动机&开创性思路
3.6.2 主体结构
3.6.3 损失函数
3.6.4 性能对比
3.7 ReasonNet 算法详解:时序+多模态方案
3.7.1 算法动机&开创性思路
3.7.2 主体结构
3.7.3 损失函数
3.7.4 性能对比
3.8 FusionAD 算法详解:多模态方案
3.8.1 算法动机&开创性思路
3.8.2 主体结构
3.8.3 损失函数
3.8.4 性能对比
3.9 Hydra-MDP 算法详解:挑战赛冠军+多模态方案
3.9.1 算法动机&开创性思路
3.9.2 主体结构
3.9.3 损失函数
3.9.4 性能对比
3.10 完全 E2E 方法:UniAD 实战
3.10.1 环境配置
3.10.2 数据集准备与 Dataloader
3.10.3 完整的 pipeline 梳理
3.10.4 核心代码详解
3.10.5 指标评测说明
3.10.6 实战效果与可视化
四、专注于学习 PnC 的端到端方法
4.1 为什么采用这种方法?
4.2 领域一般是怎么做的?
4.3 PlanT 算法详解
4.3.1 算法动机&开创性思路
4.3.2 主体结构
4.3.3 损失函数
4.3.4 性能对比
4.4 DIPP 算法详解
4.4.1 算法动机&开创性思路
4.4.2 主体结构
4.4.3 损失函数
4.4.4 性能对比
4.5 PLUTO 算法详解:首次超越基于规则的方案
4.5.1 算法动机&开创性思路
4.5.2 主体结构
4.5.3 损失函数
4.5.4 性能对比
4.6 专注于 PnC 的方法:PlanT 算法实战
4.6.1 环境配置
4.6.2 数据集准备与 Dataloader
4.6.3 完整的 pipeline 梳理
4.6.4 核心代码详解
4.6.5 指标评测说明
4.6.6 实战效果与可视化
五、端到端课程大作业
5.1 大作业说明:简易完全 E2E 算法设计
5.2 环境配置说明
5.3 单图像特征提取模块设计
5.4 Lidar 点云特征提取模块设计
5.5 多模态融合模块设计
5.6 轨迹输出模块设计
5.7 大作业答案
如果你下一步需要:
- 将该大纲映射到 FSD 14.x 技术栈
- 或按该大纲生成对应的学习/实战计划表(周级/阶段级)
- 或直接拆解哪些内容最接近 Tesla FSD 核心
我可以在保持原文不变的前提下,单独给你做「对标分析文档」。
相关链接:
自动驾驶之心 | 首个面向工业级的端到端算法与实战教程
为者常成,行者常至
自由转载-非商用-非衍生-保持署名(创意共享3.0许可证)