端到端智驾实战课程差距分析与补课路线-Claude Fable5.2

智驾实战课程差距分析与补课路线

Nov 12, 2026 · @Corwin Roosevelt

结论

课程现在把“模型怎么训、怎么压进车端引擎”讲透了,但实验都停在 CARLA 和小模型上,模型输出到不了真实的车轮。要做到“能上岗、能改车”,缺五块:

  1. 规控和车辆接口:PID、MPC、CAN 总线、线控,全课只各出现两三次。这是把车开起来的最后一米。
  2. 真实传感器:没碰过真相机、真雷达,没做过真实标定和时间同步。
  3. 真实数据和规模训练:BEVFormer、VLA 都是 Mini 版,单卡、仿真数据,没有多卡训练和真实数据集全量流程。
  4. 重建式闭环仿真和规模化强化学习:三家头部现在都把强化学习和云端世界模型当主线,课程的 RL 还在二维车道玩具环境上。
  5. 安全、法规和问题定位:没有功能安全、没有 GB 47955-2026、没有“一次接管怎么查到根因”的方法。

建议新增四个模块(M8 小车实车、M9 真实数据与规模训练、M10 闭环仿真与 RL、M11 整车集成与安全),先做 M8。一台 1/10 小车约一万元,合法、安全,能把缺口 1、2 和一半的 5 一次补上。

一句实话:课程补齐后能给你三件拿得出手的作品(会自己开的小车、真实数据集上复现的指标、一次完整的问题定位报告),这是算法和部署岗面试最看重的。能否入职还取决于学历、岗位名额这些课程管不了的事。

行业对标:三家现在在做什么

三家的共同方向是:云端用大模型加仿真做强化学习,再蒸馏成车端小模型,车端拼编译器和调度的毫秒。下表只写厂商公开说过的内容,最后一列是课程对应的位置。

维度 特斯拉 FSD 14.3.x 小鹏 VLA 2.0 华为乾崑 ADS 5 课程现状
发布节奏 14.3 于 2026-04-07 推送;14.3.13 于 2026-10-24 起推送 2026-03-19 起推送,首批 P7 Ultra 2026-04-23 发布 —
模型形态 一个模型同时用于 FSD、智能召唤和 Robotaxi 视觉到隐式 Token 到动作,去掉语言转译这一层 WEWA 2.0:云端世界模型加车端世界行为模型 M3 讲 VAD 和 MiniVLA,骨干是轻量替身
强化学习 升级了训练中的 RL 阶段;小动物、黄灯等用车队里的困难样本做 RL 文章未提 RL,提到对抗训练和自我进化 云端在线强化学习,“边生成、边学习、边验证” M4 的 PPO 跑在二维车道环境和 CARLA 上
世界模型与仿真 发布说明未提 物理世界模型,用真实交互数据自我进化 云端世界模型引入多智能体博弈 5.4 用低维实验讲了生成数据的边界,没有多智能体和重建式仿真
云到端蒸馏 14.3 Lite:把 HW4 的 V14 蒸馏到 HW3 云端约 720 亿参数,蒸馏成数十亿参数的车端模型 未披露 6.4 讲了 QAT 和容量蒸馏,对象是 TinyDrive
车端编译与运行时 用 MLIR 重写 AI 编译器和运行时,反应快 20% 自研图灵芯片单颗 750 TOPS,端到端延迟 80 ms,视觉 Token 剪枝 乾崑 OS 确定性调度,车端信号时延降 30% M6 是课程最强的一段:TensorRT、插件、调度都有,但没上过真板
底盘与执行 — — XMC 把底盘状态和智驾感知融合,控制精度升 30% 没有
规模 14.3.13 已到 64% 的 AI4 车辆 云端约 3 万卡集群 搭载超 170 万辆,累计辅助驾驶里程超 100 亿公里 单卡 L20,仿真数据

来源:特斯拉两列来自 Tesla Oracle 转载的官方发布说明(14.3、14.3.13);小鹏来自第一电动网的报道,是媒体转述,不是官方技术文档;华为来自新出行对乾崑技术大会的报道。“—”表示我读到的来源没有说。

这张表对课程的启示有三条:

  • 强化学习要从“讲原理”升级成“在像真的场景里用困难样本微调”,这是特斯拉和华为都在发布说明里写明的做法。
  • 蒸馏要用真的大模型做一次。小鹏和特斯拉都把“大模型教小模型”当成上车的标准步骤。
  • 华为把底盘和调度单独拿出来讲,说明模型之外的执行链路同样是竞争点,课程这块是空的。

覆盖图:量产链路上课程站在哪

file

九个环节里只有第 6 步是完整的;第 1 到 5 步和第 7 步方法都讲了,但没有离开仿真和小模型;第 8、9 步是空的,而这两步正是“把车改成能自己开”必须有的。

缺口清单

P0 是不补就无法让任何车动起来的,P1 是算法岗面试会追问的,P2 是入职后才用得上、但能拉开差距的。

优先级 缺口 课程现状 车企里对应的工作 补法
P0 规控与车辆接口:纵向 PID、横向纯跟踪和 MPC、CAN 收发、线控执行器 全课 PID、MPC 各出现两三次,CAN 未讲 规控工程师、底盘联调:轨迹跟不准、画龙、刹车点头 M8.1、M8.4、M11.1
P0 真实传感器:相机内参、相机与雷达外参、时间同步、曝光与畸变 1.4 在 CARLA 里做解析标定,时间同步只提过一次 标定工程师、感知联调:框飘、投影错位、时延补偿 M8.2
P0 定位与里程计:轮速加 IMU 融合、激光或视觉建图 没有独立章节 定位组;端到端模型也要自车运动作输入 M8.3
P0 真实数据与规模训练:全量数据集、多卡、数据加载瓶颈 nuScenes 只用 mini,模型是 Mini 版,单卡 算法工程师日常:训练慢、指标复现不出、显存爆 M9.1 到 M9.3
P1 重建式闭环仿真:用真实数据重建场景再闭环评测 闭环只有 CARLA 仿真组、评测组:版本能不能发、回归有没有退步 M10.1、M10.2
P1 规模化强化学习:在重建场景里用困难样本微调 PPO 跑在二维车道环境;4.4 自己写明玩具环境显示不出优势 后训练组:三家头部的主线 M10.3
P1 真权重 VLA 与云到端蒸馏 MiniVLA 用轻量替身骨干 大模型组、部署组 M9.4、M9.5
P1 问题定位方法:从一次接管查到根因并做成回归用例 各节有报错排查表,没有完整流程 所有岗位的日常,也是“能解决问题”的证据 M11.5
P2 功能安全与法规:ISO 26262、预期功能安全、GB 47955-2026 功能安全出现 3 次,国标未讲 系统工程、测试认证;2027-01-01 起新申报车型必须满足 M11.3、M11.4
P2 真板移植:在 Jetson 上构建引擎、测功耗和散热 6.7 讲了工具链对照,没有真板实测 部署工程师 M8.5
P2 泊车、AEB 这类必考功能 泊车出现 2 次 功能开发组;FSD 14.3 发布说明里泊车占了三条 M8.6 用小车做自动泊入
P2 车队数据回传、影子模式、OTA 5.5 讲了触发策略 数据平台组 个人做不了车队,保持原理讲解,用小车的接管切片练一遍

新增课程建议

新增 4 个模块、22 节,每节都以一个能录视频或能贴数字的产出验收,延续现有课程“实测、踩坑、验收清单”的写法。

M8 小车实车(最优先)

节 内容 验收产出
8.1 装车与线控 底盘、电调、舵机、遥控接管和急停;ROS2 驱动 遥控跑一圈并录下全部传感器数据包
8.2 标定与时间同步 棋盘格内参、相机与雷达外参、时间戳对齐和时延测量 雷达点投到图像上对得齐的视频,重投影误差数字
8.3 定位与里程计 轮速加 IMU 的扩展卡尔曼滤波,激光建图 跑一圈回到起点的闭合误差
8.4 控制 纵向 PID,横向纯跟踪、Stanley、MPC 三种对比 同一条线上三种控制器的横向误差曲线
8.5 端到端上车 采示范、训练、在 Jetson 上构建 TensorRT 引擎、闭环跑 连续多圈不接管的视频,板端延迟和功耗实测
8.6 泊入与数据回流 自动泊入一个车位;接管点自动切片、回灌训练 回灌前后接管次数对比

M9 真实数据与规模训练

节 内容 验收产出
9.1 真实数据管线 nuScenes 全量或 NAVSIM;存储、解码、缓存 数据加载吞吐和 GPU 利用率数字
9.2 多卡训练 DDP、混合精度、断点续训、瓶颈定位 单卡对多卡的加速比表
9.3 复现一个开源基线 选一个开源端到端规划模型,训到论文指标附近 指标对照表和差距分析
9.4 真权重 VLA 微调 用开源驾驶 VLA 做 LoRA,接 3.5 节 微调前后轨迹误差和推理文本对比
9.5 云到端蒸馏 大模型的轨迹教小模型,接 6.4 节 小模型保留了多少能力、快了多少

9.4 可以用 NVIDIA 开源的 Alpamayo 1(10B 参数,输出轨迹和推理过程),9.1 也可以用它配套的数据集(1,727 小时、25 个国家),见 NVIDIA 的介绍。

M10 闭环仿真与规模化强化学习

节 内容 验收产出
10.1 场景重建 用 3D 高斯把一段真实数据重建成可换视角的场景 新视角渲染视频和画质指标
10.2 重建场景闭环评测 把 M9 的模型放进开源闭环仿真器跑分 开环分和闭环分的对照,接 5.1 节
10.3 闭环 RL 微调 在重建场景里用失败样本做强化学习,接 4.4 节 碰撞率前后对比
10.4 多智能体对抗 让其他车也由策略控制,生成加塞和抢行 对抗场景下的失败案例集
10.5 世界模型实用 用开源视频世界模型换天气、换光照,按 5.4 的方法验收 生成数据到底有没有收益的实测结论

10.2 可以用 NVIDIA 开源的 AlpaSim,自带 900 多个重建场景(同一来源)。

M11 整车集成与安全

节 内容 验收产出
11.1 CAN 与 DBC 读车、解码车速和转角、写 DBC 从一辆真车的诊断口读出并解出车速曲线(只读不写)
11.2 openpilot 架构精读 模型、规划、控制、安全固件四层怎么分工 一张自己画的架构图和一次回放调试记录
11.3 安全设计 危害分析、安全监控、降级策略,接 6.8 节 给小车写一份危害分析并实现两条监控
11.4 法规与测试 GB 47955-2026 的要求和对应的测试用例 一份对照国标条目的测试清单
11.5 问题定位实战 从一次接管出发:取日志、回放、最小复现、修复、进回归集 一份完整的问题报告
11.6 二手车接入(选修) 见下文“二手车落地” 封闭场地内的车道保持视频

传感器与硬件

车企里传感器问题十有八九出在标定、同步和安装,不在算法。下表每一行都能在小车上练到。

传感器 量产车用来做什么 小车上的替代 要练会的事
摄像头 主传感器。特斯拉、小鹏走纯视觉 一到三个全局快门 USB 或 CSI 相机 内参标定、去畸变、曝光锁定、卷帘快门的影响
激光雷达 华为等国内方案保留,用于测距和安全冗余 单线激光雷达 外参标定、运动畸变补偿、和图像对齐
毫米波雷达 直接测速,雨雾下可用 可不装;2.6 节已在仿真里讲过 静止目标过滤、自车运动补偿
IMU 与轮速 自车运动、定位、控制反馈 板载 IMU、电调回传的转速 零偏标定、融合滤波、打滑时怎么办
计算平台 Orin、Thor、征程 6、图灵、璇玑 Jetson Orin Nano Super 在板子上构建引擎、测延迟分布、功耗和温度
时间同步 全车统一时钟,相机硬触发 统一用板子时钟打戳,测出每路固定时延 用一个闪灯或急转动作测时延,再在软件里补偿

小车采购清单(除 Jetson 外的价格是我按常见价位给的约数,下单前自己核一遍):

部件 选型 参考价
底盘 1/10 阿克曼转向底盘。RoboRacer(原 F1TENTH)官方方案用 Traxxas Slash 4x4 国产底盘约 1,000–3,000 元
计算 Jetson Orin Nano Super 开发套件 399 美元(2026 年 7 月从 249 美元涨到这个价)
电调 带转速回传的 VESC 类电调 约 800–1,500 元
相机 全局快门广角相机,或带 IMU 的深度相机 约 300–2,500 元
激光雷达 单线 360 度雷达 约 700–2,500 元
其他 电池、降压模块、遥控器、固态硬盘、打印支架 约 1,000 元

合计大约 7,000–13,000 元。想省钱可以先不买激光雷达,纯视觉也能走完 8.1、8.4、8.5。来源:Jetson 调价、RoboRacer 物料清单。

算力服务器:部署与调优

课程现在只教了“在共享的单张 L20 上礼貌地跑”,车企里要的是把一台多卡机器用满。M9.1 和 M9.2 按下表逐项做,每项都有可测的数字。

场景 要会的事 怎么验收
数据加载 解码放到 GPU 或提前缓存;调 worker 数和预取;数据放本地固态盘 GPU 利用率从波动到稳定在高位,每秒样本数前后对比
多卡训练 DDP、同步 BN、梯度累积、学习率随卡数缩放 1、2、4 卡的加速比表,说清为什么不是线性
显存与精度 混合精度、梯度检查点、冻结骨干 同一模型的显存占用和指标变化
长任务 断点续训、实验记录、随机种子和版本固定 杀掉进程后能原样接着训
云端大模型推理 用于自动标注和蒸馏的 VLM:批处理、量化、推理服务 每小时能标多少帧、每帧成本
仿真并行 一台机器起多个仿真实例,接 4.3 和 5.1 节 每小时能跑完多少条评测路线
性能分析 PyTorch Profiler、nvidia-smi dmon、py-spy 一张“一步训练的时间花在哪”的分解图

多卡部分不用买机器,按小时租一台 4 卡云主机做完实验就退。车端这一侧的调优(延迟预算、量化、插件、调度)M6 已经覆盖,只缺在 Jetson 真板上复测一遍,放在 M8.5。

玩具车落地:最推荐的第一步

一台 1/10 小车能在客厅或车库里把“感知到车轮”的整条链路跑通,花费约一万元,不涉及上路和改装法规。

file

数据从左往右流;下面一排是离线回路,每次接管都录下来、拿回服务器训练,再把新引擎装回小车。遥控接管直接作用在执行器上,不经过 Jetson,所以程序死机也能停车。

落地顺序(对应 M8 的六节):

  1. 装车,先只用遥控器开,确认急停有效。这一步没过,后面都不做。
  2. 接上相机和雷达,做标定和时延测量,录第一个数据包。
  3. 写定位和控制,让车沿一条事先录好的路线自己跑。这时还没有神经网络。
  4. 遥控开 20 到 30 圈当示范,用 M3 的方法训一个图像到轨迹的小模型。
  5. 用 M6 的流程在 Jetson 上构建引擎,闭环跑,记录每圈接管次数。
  6. 把接管片段回灌训练,重复第 5 步,画出接管次数随轮次下降的曲线。

第 6 步的那条曲线就是特斯拉数据引擎的最小版本,也是面试时最有说服力的一张图。

二手车落地:能做,但边界要清楚

二手车能改,前提是买一台原厂就带车道保持和自适应巡航的车,并且只在封闭场地跑。没有这两项配置的老车,改起来等于重做线控底盘,不建议。

file

关键在中间的安全固件:模型算错了,它也只能发出被限幅的请求,驾驶员一动方向盘或刹车就退出。这层设计和 6.8 节讲的安全兜底是同一个思路。

路线 做法 难度 建议
A 买已支持的车型 开源的 openpilot 支持 350 多款车,配套设备 comma four 售 999 美元,含对应车型的线束。品牌以丰田、本田、现代、起亚、大众、福特、特斯拉等为主 低:装上就能跑 想改真车就走这条。买车前先在支持列表里核对年款和配置包
B 自己适配未支持的车 抓 CAN 报文、解出车速和转角、写 DBC 和车辆接口、调横向控制 高:按月计,可能卡在车厂的报文校验上 适合当 M11 的毕业设计,不适合当起点
C 给老车加装转向和制动执行器 机械改装 很高,且改变了车辆结构 不建议

比亚迪的情况:我读到的 openpilot 支持列表里没有比亚迪(页面只读到前半部分)。社区里能找到的 opendbc-byd 只有一份唐 PHEV 的 DBC,作者自己说是初步研究,车速和转角都没解出来。所以比亚迪只能走路线 B。

安全和法规边界:

  • 《道路交通安全法》第十六条禁止擅自改变机动车已登记的结构、构造或者特征。加装这类设备算不算,我没有查到明确口径,动手前问当地车管所和保险公司。这不是法律意见。
  • 只在封闭场地、低速、有人随时接管的条件下试,不上公共道路。
  • GB 47955-2026 从 2027-01-01 起对车企新申报车型生效,要求持续监测驾驶员的手和视线、导航辅助至少 72 小时道路测试、强制数据记录。个人改装达不到这个门槛,这也是只建议封闭场地学习的原因。

对求职最有用的是路线 B 的前半段:只读不写地从自己车的诊断口抓报文、解出车速和转角。这一步不向车发任何指令,风险很低,设备只要一个几十元的 USB 转 CAN 适配器,正好是车企底盘联调岗每天在做的事。

学习顺序

先做 M8,因为它最便宜、反馈最快,而且补的是课程完全空白的那一段。

file

每个阶段只有一条过关标准,没过就不往下走。按每周 10 小时估,M8 约 6 到 8 周,M9 和 M10 各约 6 周,M11 约 4 周;这是我的估计,不是实测。

你目前在 M2。不必等 M6 全学完再买小车:学完 M3 就可以开始 M8.1 到 M8.4,这四节不依赖模型。M8 做完就可以按 M7 改简历投递,M9 到 M11 边投边补。

来源

以下页面都已打开核对。课程现状来自仓库 main 分支 M1 到 M7 的 40 节正文和关键词统计。行业传感器路线、开源项目名称和《道路交通安全法》条文是我已有的知识,没有逐项联网核对。

为者常成,行者常至