端到端自动驾驶实战:从仿真到手搓小车-大纲
《端到端自动驾驶实战:从仿真到手搓小车》
═══════════════════════════════════════════
第一篇:基础与环境(第1-2章,第1周)
═══════════════════════════════════════════
第1章 自动驾驶技术全景 ✅ 已完成
1.1 核心问题:看清、想清、做对
1.2 三条技术路线:特斯拉/小鹏/华为
1.3 核心技术栈总览
1.4 20篇必读论文地图
1.5 ROSMASTER-X3介绍(仅介绍,不动手)
第2章 GPU工作站搭建 + CARLA仿真器(需要重写)
2.1 硬件组装指南
2.2 Ubuntu 22.04 + NVIDIA驱动 + CUDA + cuDNN
2.3 PyTorch + Miniconda
2.4 CARLA 0.9.15安装与首次连接
2.5 nuScenes Mini数据集下载与验证
2.6 环境验证检查清单
(不涉及X3小车,纯软件环境)
═══════════════════════════════════════════
第二篇:从零到端到端(第3-5章,第2-5周)
═══════════════════════════════════════════
第3章 CARLA仿真与模仿学习
3.1 CARLA架构:Client-Server + Blueprint + Actor
3.2 绑定摄像头 + 数据采集脚本
3.3 第一个模仿学习模型:ResNet → steer/throttle
3.4 训练 + 闭环测试 + 为什么车开得烂
3.5 优化:数据增强、DAgger、Waypoints升级
第4章 BEV感知——让车看懂整个世界
4.1 从单摄像头到6摄像头:为什么需要BEV
4.2 BEVFormer深度解析:空间交叉注意力 + 时序融合
4.3 nuScenes数据集深度实操
4.4 跑通BEVFormer推理 + 可视化
4.5 代码阅读指南:三个核心函数
第5章 端到端自动驾驶——VAD与SparseDrive
5.1 向量化 vs 栅格化:VAD的核心创新
5.2 VAD复现:环境搭建 + 评估 + 代码阅读
5.3 一段式 vs 两段式:SparseDrive的稀疏表示
5.4 SparseDrive复现 + 并行运动规划器
5.5 消融实验:理解每个模块的贡献
═══════════════════════════════════════════
第三篇:前沿技术(第6-8章,第5-8周)
═══════════════════════════════════════════
第6章 扩散模型规划 + NAVSIM评测
6.1 为什么需要扩散模型:Mode Collapse问题
6.2 DDPM核心原理:加噪 + 去噪
6.3 DiffusionDrive:截断扩散策略
6.4 手写扩散轨迹生成器(200行代码)
6.5 NAVSIM评测基准:跑通Baseline + 创建Agent
6.6 Flow Matching vs DDPM
第7章 VLA——用大模型的思考能力开车
7.1 从V到VL到VLA:三代技术演进
7.2 用Qwen2.5-VL分析驾驶场景
7.3 CoT SFT:多层次链式思维
7.4 ORION深度解析:QT-Former + 生成式规划器
7.5 跑通ORION推理 + 构建MiniVLA
第8章 强化学习微调——超越模仿学习
8.1 模仿学习的天花板在哪
8.2 GRPO原理:组内相对策略优化
8.3 驾驶奖励函数设计
8.4 GRPO训练流程实操
8.5 SFT → GRPO的完整pipeline
═══════════════════════════════════════════
第四篇:工程化与部署(第9章,第9-10周)
═══════════════════════════════════════════
第9章 模型部署——从实验室到车端
9.1 ONNX导出:PyTorch → 通用格式
9.2 TensorRT加速:FP32 → FP16 → INT8
9.3 量化校准:PTQ实操
9.4 Benchmark对比:三种方式的速度测试
9.5 Jetson Nano上的TensorRT部署
═══════════════════════════════════════════
第五篇:手搓小车(第10-11章,第11-12周)
═══════════════════════════════════════════
第10章 ROSMASTER-X3基础——让小车跑起来
10.1 X3硬件全解析:大脑+小脑+传感器
10.2 首次开机 + SSH连接 + 传感器验证
10.3 ROS核心概念:节点、话题、发布-订阅
10.4 Python控制X3:画正方形、全向移动
10.5 激光雷达建图(SLAM)实操
10.6 自主导航:从A点到B点
第11章 模型上车——端到端算法在X3上跑
11.1 在X3上安装PyTorch + TensorRT
11.2 摄像头视觉巡线(基础版)
11.3 深度相机避障(进阶版)
11.4 部署你训练的端到端模型到X3
11.5 完整闭环:摄像头→模型推理→电机控制
11.6 录制Demo视频
═══════════════════════════════════════════
第六篇:求职与进阶(第12-13章,第13-14周)
═══════════════════════════════════════════
第12章 面试准备——50题 + 简历 + 模拟面试
12.1 基础概念题(10题)
12.2 技术深度题(15题)
12.3 工程化题(10题)
12.4 系统设计题(10题)
12.5 项目介绍题(5题)
12.6 简历撰写模板
12.7 目标公司和岗位分析
第13章 持续学习——入职后如何成长
13.1 技术路线图:2026-2028展望
13.2 必须关注的信息源
13.3 从算法工程师到Tech Lead的进阶路径
═══════════════════════════════════════════
附录
═══════════════════════════════════════════
附录A 核心论文精读笔记(20篇摘要)
附录B 常见坑点与解决方案(按章节整理)
附录C 术语表(中英文对照)
附录D ROSMASTER-X3淘宝配件清单
为者常成,行者常至
自由转载-非商用-非衍生-保持署名(创意共享3.0许可证)