端到端智驾实战课程差距分析与补课路线-Claude Fable5.2
智驾实战课程差距分析与补课路线
Nov 12, 2026 · @Corwin Roosevelt
结论
课程现在把“模型怎么训、怎么压进车端引擎”讲透了,但实验都停在 CARLA 和小模型上,模型输出到不了真实的车轮。要做到“能上岗、能改车”,缺五块:
- 规控和车辆接口:PID、MPC、CAN 总线、线控,全课只各出现两三次。这是把车开起来的最后一米。
- 真实传感器:没碰过真相机、真雷达,没做过真实标定和时间同步。
- 真实数据和规模训练:BEVFormer、VLA 都是 Mini 版,单卡、仿真数据,没有多卡训练和真实数据集全量流程。
- 重建式闭环仿真和规模化强化学习:三家头部现在都把强化学习和云端世界模型当主线,课程的 RL 还在二维车道玩具环境上。
- 安全、法规和问题定位:没有功能安全、没有 GB 47955-2026、没有“一次接管怎么查到根因”的方法。
建议新增四个模块(M8 小车实车、M9 真实数据与规模训练、M10 闭环仿真与 RL、M11 整车集成与安全),先做 M8。一台 1/10 小车约一万元,合法、安全,能把缺口 1、2 和一半的 5 一次补上。
一句实话:课程补齐后能给你三件拿得出手的作品(会自己开的小车、真实数据集上复现的指标、一次完整的问题定位报告),这是算法和部署岗面试最看重的。能否入职还取决于学历、岗位名额这些课程管不了的事。
行业对标:三家现在在做什么
三家的共同方向是:云端用大模型加仿真做强化学习,再蒸馏成车端小模型,车端拼编译器和调度的毫秒。下表只写厂商公开说过的内容,最后一列是课程对应的位置。
| 维度 | 特斯拉 FSD 14.3.x | 小鹏 VLA 2.0 | 华为乾崑 ADS 5 | 课程现状 |
|---|---|---|---|---|
| 发布节奏 | 14.3 于 2026-04-07 推送;14.3.13 于 2026-10-24 起推送 | 2026-03-19 起推送,首批 P7 Ultra | 2026-04-23 发布 | — |
| 模型形态 | 一个模型同时用于 FSD、智能召唤和 Robotaxi | 视觉到隐式 Token 到动作,去掉语言转译这一层 | WEWA 2.0:云端世界模型加车端世界行为模型 | M3 讲 VAD 和 MiniVLA,骨干是轻量替身 |
| 强化学习 | 升级了训练中的 RL 阶段;小动物、黄灯等用车队里的困难样本做 RL | 文章未提 RL,提到对抗训练和自我进化 | 云端在线强化学习,“边生成、边学习、边验证” | M4 的 PPO 跑在二维车道环境和 CARLA 上 |
| 世界模型与仿真 | 发布说明未提 | 物理世界模型,用真实交互数据自我进化 | 云端世界模型引入多智能体博弈 | 5.4 用低维实验讲了生成数据的边界,没有多智能体和重建式仿真 |
| 云到端蒸馏 | 14.3 Lite:把 HW4 的 V14 蒸馏到 HW3 | 云端约 720 亿参数,蒸馏成数十亿参数的车端模型 | 未披露 | 6.4 讲了 QAT 和容量蒸馏,对象是 TinyDrive |
| 车端编译与运行时 | 用 MLIR 重写 AI 编译器和运行时,反应快 20% | 自研图灵芯片单颗 750 TOPS,端到端延迟 80 ms,视觉 Token 剪枝 | 乾崑 OS 确定性调度,车端信号时延降 30% | M6 是课程最强的一段:TensorRT、插件、调度都有,但没上过真板 |
| 底盘与执行 | — | — | XMC 把底盘状态和智驾感知融合,控制精度升 30% | 没有 |
| 规模 | 14.3.13 已到 64% 的 AI4 车辆 | 云端约 3 万卡集群 | 搭载超 170 万辆,累计辅助驾驶里程超 100 亿公里 | 单卡 L20,仿真数据 |
来源:特斯拉两列来自 Tesla Oracle 转载的官方发布说明(14.3、14.3.13);小鹏来自第一电动网的报道,是媒体转述,不是官方技术文档;华为来自新出行对乾崑技术大会的报道。“—”表示我读到的来源没有说。
这张表对课程的启示有三条:
- 强化学习要从“讲原理”升级成“在像真的场景里用困难样本微调”,这是特斯拉和华为都在发布说明里写明的做法。
- 蒸馏要用真的大模型做一次。小鹏和特斯拉都把“大模型教小模型”当成上车的标准步骤。
- 华为把底盘和调度单独拿出来讲,说明模型之外的执行链路同样是竞争点,课程这块是空的。
覆盖图:量产链路上课程站在哪

九个环节里只有第 6 步是完整的;第 1 到 5 步和第 7 步方法都讲了,但没有离开仿真和小模型;第 8、9 步是空的,而这两步正是“把车改成能自己开”必须有的。
缺口清单
P0 是不补就无法让任何车动起来的,P1 是算法岗面试会追问的,P2 是入职后才用得上、但能拉开差距的。
| 优先级 | 缺口 | 课程现状 | 车企里对应的工作 | 补法 |
|---|---|---|---|---|
| P0 | 规控与车辆接口:纵向 PID、横向纯跟踪和 MPC、CAN 收发、线控执行器 | 全课 PID、MPC 各出现两三次,CAN 未讲 | 规控工程师、底盘联调:轨迹跟不准、画龙、刹车点头 | M8.1、M8.4、M11.1 |
| P0 | 真实传感器:相机内参、相机与雷达外参、时间同步、曝光与畸变 | 1.4 在 CARLA 里做解析标定,时间同步只提过一次 | 标定工程师、感知联调:框飘、投影错位、时延补偿 | M8.2 |
| P0 | 定位与里程计:轮速加 IMU 融合、激光或视觉建图 | 没有独立章节 | 定位组;端到端模型也要自车运动作输入 | M8.3 |
| P0 | 真实数据与规模训练:全量数据集、多卡、数据加载瓶颈 | nuScenes 只用 mini,模型是 Mini 版,单卡 | 算法工程师日常:训练慢、指标复现不出、显存爆 | M9.1 到 M9.3 |
| P1 | 重建式闭环仿真:用真实数据重建场景再闭环评测 | 闭环只有 CARLA | 仿真组、评测组:版本能不能发、回归有没有退步 | M10.1、M10.2 |
| P1 | 规模化强化学习:在重建场景里用困难样本微调 | PPO 跑在二维车道环境;4.4 自己写明玩具环境显示不出优势 | 后训练组:三家头部的主线 | M10.3 |
| P1 | 真权重 VLA 与云到端蒸馏 | MiniVLA 用轻量替身骨干 | 大模型组、部署组 | M9.4、M9.5 |
| P1 | 问题定位方法:从一次接管查到根因并做成回归用例 | 各节有报错排查表,没有完整流程 | 所有岗位的日常,也是“能解决问题”的证据 | M11.5 |
| P2 | 功能安全与法规:ISO 26262、预期功能安全、GB 47955-2026 | 功能安全出现 3 次,国标未讲 | 系统工程、测试认证;2027-01-01 起新申报车型必须满足 | M11.3、M11.4 |
| P2 | 真板移植:在 Jetson 上构建引擎、测功耗和散热 | 6.7 讲了工具链对照,没有真板实测 | 部署工程师 | M8.5 |
| P2 | 泊车、AEB 这类必考功能 | 泊车出现 2 次 | 功能开发组;FSD 14.3 发布说明里泊车占了三条 | M8.6 用小车做自动泊入 |
| P2 | 车队数据回传、影子模式、OTA | 5.5 讲了触发策略 | 数据平台组 | 个人做不了车队,保持原理讲解,用小车的接管切片练一遍 |
新增课程建议
新增 4 个模块、22 节,每节都以一个能录视频或能贴数字的产出验收,延续现有课程“实测、踩坑、验收清单”的写法。
M8 小车实车(最优先)
| 节 | 内容 | 验收产出 |
|---|---|---|
| 8.1 装车与线控 | 底盘、电调、舵机、遥控接管和急停;ROS2 驱动 | 遥控跑一圈并录下全部传感器数据包 |
| 8.2 标定与时间同步 | 棋盘格内参、相机与雷达外参、时间戳对齐和时延测量 | 雷达点投到图像上对得齐的视频,重投影误差数字 |
| 8.3 定位与里程计 | 轮速加 IMU 的扩展卡尔曼滤波,激光建图 | 跑一圈回到起点的闭合误差 |
| 8.4 控制 | 纵向 PID,横向纯跟踪、Stanley、MPC 三种对比 | 同一条线上三种控制器的横向误差曲线 |
| 8.5 端到端上车 | 采示范、训练、在 Jetson 上构建 TensorRT 引擎、闭环跑 | 连续多圈不接管的视频,板端延迟和功耗实测 |
| 8.6 泊入与数据回流 | 自动泊入一个车位;接管点自动切片、回灌训练 | 回灌前后接管次数对比 |
M9 真实数据与规模训练
| 节 | 内容 | 验收产出 |
|---|---|---|
| 9.1 真实数据管线 | nuScenes 全量或 NAVSIM;存储、解码、缓存 | 数据加载吞吐和 GPU 利用率数字 |
| 9.2 多卡训练 | DDP、混合精度、断点续训、瓶颈定位 | 单卡对多卡的加速比表 |
| 9.3 复现一个开源基线 | 选一个开源端到端规划模型,训到论文指标附近 | 指标对照表和差距分析 |
| 9.4 真权重 VLA 微调 | 用开源驾驶 VLA 做 LoRA,接 3.5 节 | 微调前后轨迹误差和推理文本对比 |
| 9.5 云到端蒸馏 | 大模型的轨迹教小模型,接 6.4 节 | 小模型保留了多少能力、快了多少 |
9.4 可以用 NVIDIA 开源的 Alpamayo 1(10B 参数,输出轨迹和推理过程),9.1 也可以用它配套的数据集(1,727 小时、25 个国家),见 NVIDIA 的介绍。
M10 闭环仿真与规模化强化学习
| 节 | 内容 | 验收产出 |
|---|---|---|
| 10.1 场景重建 | 用 3D 高斯把一段真实数据重建成可换视角的场景 | 新视角渲染视频和画质指标 |
| 10.2 重建场景闭环评测 | 把 M9 的模型放进开源闭环仿真器跑分 | 开环分和闭环分的对照,接 5.1 节 |
| 10.3 闭环 RL 微调 | 在重建场景里用失败样本做强化学习,接 4.4 节 | 碰撞率前后对比 |
| 10.4 多智能体对抗 | 让其他车也由策略控制,生成加塞和抢行 | 对抗场景下的失败案例集 |
| 10.5 世界模型实用 | 用开源视频世界模型换天气、换光照,按 5.4 的方法验收 | 生成数据到底有没有收益的实测结论 |
10.2 可以用 NVIDIA 开源的 AlpaSim,自带 900 多个重建场景(同一来源)。
M11 整车集成与安全
| 节 | 内容 | 验收产出 |
|---|---|---|
| 11.1 CAN 与 DBC | 读车、解码车速和转角、写 DBC | 从一辆真车的诊断口读出并解出车速曲线(只读不写) |
| 11.2 openpilot 架构精读 | 模型、规划、控制、安全固件四层怎么分工 | 一张自己画的架构图和一次回放调试记录 |
| 11.3 安全设计 | 危害分析、安全监控、降级策略,接 6.8 节 | 给小车写一份危害分析并实现两条监控 |
| 11.4 法规与测试 | GB 47955-2026 的要求和对应的测试用例 | 一份对照国标条目的测试清单 |
| 11.5 问题定位实战 | 从一次接管出发:取日志、回放、最小复现、修复、进回归集 | 一份完整的问题报告 |
| 11.6 二手车接入(选修) | 见下文“二手车落地” | 封闭场地内的车道保持视频 |
传感器与硬件
车企里传感器问题十有八九出在标定、同步和安装,不在算法。下表每一行都能在小车上练到。
| 传感器 | 量产车用来做什么 | 小车上的替代 | 要练会的事 |
|---|---|---|---|
| 摄像头 | 主传感器。特斯拉、小鹏走纯视觉 | 一到三个全局快门 USB 或 CSI 相机 | 内参标定、去畸变、曝光锁定、卷帘快门的影响 |
| 激光雷达 | 华为等国内方案保留,用于测距和安全冗余 | 单线激光雷达 | 外参标定、运动畸变补偿、和图像对齐 |
| 毫米波雷达 | 直接测速,雨雾下可用 | 可不装;2.6 节已在仿真里讲过 | 静止目标过滤、自车运动补偿 |
| IMU 与轮速 | 自车运动、定位、控制反馈 | 板载 IMU、电调回传的转速 | 零偏标定、融合滤波、打滑时怎么办 |
| 计算平台 | Orin、Thor、征程 6、图灵、璇玑 | Jetson Orin Nano Super | 在板子上构建引擎、测延迟分布、功耗和温度 |
| 时间同步 | 全车统一时钟,相机硬触发 | 统一用板子时钟打戳,测出每路固定时延 | 用一个闪灯或急转动作测时延,再在软件里补偿 |
小车采购清单(除 Jetson 外的价格是我按常见价位给的约数,下单前自己核一遍):
| 部件 | 选型 | 参考价 |
|---|---|---|
| 底盘 | 1/10 阿克曼转向底盘。RoboRacer(原 F1TENTH)官方方案用 Traxxas Slash 4x4 | 国产底盘约 1,000–3,000 元 |
| 计算 | Jetson Orin Nano Super 开发套件 | 399 美元(2026 年 7 月从 249 美元涨到这个价) |
| 电调 | 带转速回传的 VESC 类电调 | 约 800–1,500 元 |
| 相机 | 全局快门广角相机,或带 IMU 的深度相机 | 约 300–2,500 元 |
| 激光雷达 | 单线 360 度雷达 | 约 700–2,500 元 |
| 其他 | 电池、降压模块、遥控器、固态硬盘、打印支架 | 约 1,000 元 |
合计大约 7,000–13,000 元。想省钱可以先不买激光雷达,纯视觉也能走完 8.1、8.4、8.5。来源:Jetson 调价、RoboRacer 物料清单。
算力服务器:部署与调优
课程现在只教了“在共享的单张 L20 上礼貌地跑”,车企里要的是把一台多卡机器用满。M9.1 和 M9.2 按下表逐项做,每项都有可测的数字。
| 场景 | 要会的事 | 怎么验收 |
|---|---|---|
| 数据加载 | 解码放到 GPU 或提前缓存;调 worker 数和预取;数据放本地固态盘 | GPU 利用率从波动到稳定在高位,每秒样本数前后对比 |
| 多卡训练 | DDP、同步 BN、梯度累积、学习率随卡数缩放 | 1、2、4 卡的加速比表,说清为什么不是线性 |
| 显存与精度 | 混合精度、梯度检查点、冻结骨干 | 同一模型的显存占用和指标变化 |
| 长任务 | 断点续训、实验记录、随机种子和版本固定 | 杀掉进程后能原样接着训 |
| 云端大模型推理 | 用于自动标注和蒸馏的 VLM:批处理、量化、推理服务 | 每小时能标多少帧、每帧成本 |
| 仿真并行 | 一台机器起多个仿真实例,接 4.3 和 5.1 节 | 每小时能跑完多少条评测路线 |
| 性能分析 | PyTorch Profiler、nvidia-smi dmon、py-spy | 一张“一步训练的时间花在哪”的分解图 |
多卡部分不用买机器,按小时租一台 4 卡云主机做完实验就退。车端这一侧的调优(延迟预算、量化、插件、调度)M6 已经覆盖,只缺在 Jetson 真板上复测一遍,放在 M8.5。
玩具车落地:最推荐的第一步
一台 1/10 小车能在客厅或车库里把“感知到车轮”的整条链路跑通,花费约一万元,不涉及上路和改装法规。

数据从左往右流;下面一排是离线回路,每次接管都录下来、拿回服务器训练,再把新引擎装回小车。遥控接管直接作用在执行器上,不经过 Jetson,所以程序死机也能停车。
落地顺序(对应 M8 的六节):
- 装车,先只用遥控器开,确认急停有效。这一步没过,后面都不做。
- 接上相机和雷达,做标定和时延测量,录第一个数据包。
- 写定位和控制,让车沿一条事先录好的路线自己跑。这时还没有神经网络。
- 遥控开 20 到 30 圈当示范,用 M3 的方法训一个图像到轨迹的小模型。
- 用 M6 的流程在 Jetson 上构建引擎,闭环跑,记录每圈接管次数。
- 把接管片段回灌训练,重复第 5 步,画出接管次数随轮次下降的曲线。
第 6 步的那条曲线就是特斯拉数据引擎的最小版本,也是面试时最有说服力的一张图。
二手车落地:能做,但边界要清楚
二手车能改,前提是买一台原厂就带车道保持和自适应巡航的车,并且只在封闭场地跑。没有这两项配置的老车,改起来等于重做线控底盘,不建议。

关键在中间的安全固件:模型算错了,它也只能发出被限幅的请求,驾驶员一动方向盘或刹车就退出。这层设计和 6.8 节讲的安全兜底是同一个思路。
| 路线 | 做法 | 难度 | 建议 |
|---|---|---|---|
| A 买已支持的车型 | 开源的 openpilot 支持 350 多款车,配套设备 comma four 售 999 美元,含对应车型的线束。品牌以丰田、本田、现代、起亚、大众、福特、特斯拉等为主 | 低:装上就能跑 | 想改真车就走这条。买车前先在支持列表里核对年款和配置包 |
| B 自己适配未支持的车 | 抓 CAN 报文、解出车速和转角、写 DBC 和车辆接口、调横向控制 | 高:按月计,可能卡在车厂的报文校验上 | 适合当 M11 的毕业设计,不适合当起点 |
| C 给老车加装转向和制动执行器 | 机械改装 | 很高,且改变了车辆结构 | 不建议 |
比亚迪的情况:我读到的 openpilot 支持列表里没有比亚迪(页面只读到前半部分)。社区里能找到的 opendbc-byd 只有一份唐 PHEV 的 DBC,作者自己说是初步研究,车速和转角都没解出来。所以比亚迪只能走路线 B。
安全和法规边界:
- 《道路交通安全法》第十六条禁止擅自改变机动车已登记的结构、构造或者特征。加装这类设备算不算,我没有查到明确口径,动手前问当地车管所和保险公司。这不是法律意见。
- 只在封闭场地、低速、有人随时接管的条件下试,不上公共道路。
- GB 47955-2026 从 2027-01-01 起对车企新申报车型生效,要求持续监测驾驶员的手和视线、导航辅助至少 72 小时道路测试、强制数据记录。个人改装达不到这个门槛,这也是只建议封闭场地学习的原因。
对求职最有用的是路线 B 的前半段:只读不写地从自己车的诊断口抓报文、解出车速和转角。这一步不向车发任何指令,风险很低,设备只要一个几十元的 USB 转 CAN 适配器,正好是车企底盘联调岗每天在做的事。
学习顺序
先做 M8,因为它最便宜、反馈最快,而且补的是课程完全空白的那一段。

每个阶段只有一条过关标准,没过就不往下走。按每周 10 小时估,M8 约 6 到 8 周,M9 和 M10 各约 6 周,M11 约 4 周;这是我的估计,不是实测。
你目前在 M2。不必等 M6 全学完再买小车:学完 M3 就可以开始 M8.1 到 M8.4,这四节不依赖模型。M8 做完就可以按 M7 改简历投递,M9 到 M11 边投边补。
来源
以下页面都已打开核对。课程现状来自仓库 main 分支 M1 到 M7 的 40 节正文和关键词统计。行业传感器路线、开源项目名称和《道路交通安全法》条文是我已有的知识,没有逐项联网核对。
- Tesla Oracle:FSD v14.3 发布说明
- Tesla Oracle:FSD v14.3.13 与 v14.3 Lite
- 第一电动网:小鹏第二代 VLA 有哪些变化
- 新出行:2026 华为乾崑技术大会,ADS 5 发布
- comma.ai:openpilot 支持车型(只读到页面前半部分)
- BYDcar/opendbc-byd
- 腾讯新闻:GB 47955-2026 发布
- CNX Software:Jetson 调价
- RoboRacer:物料清单
- NVIDIA:Alpamayo 开放生态介绍
为者常成,行者常至
自由转载-非商用-非衍生-保持署名(创意共享3.0许可证)