可选实验 · SimLingo 开环评估与实车部署方案
可选实验要求
实验课把实车部署分成三步,均为可选任务:
- 搭桥接:在基站电脑搭建 Docker ROS1 环境,接入小车
roscore;交付rostopic list截图和上下行连通验证; - 采集微调:采集小车场景数据,对模型做领域适配;交付数据集说明、训练日志和指令跟随评估;
- 部署上车:让语言指令驱动小车前进、转向和停止;交付演示视频与安全机制说明。
课件明确要求实车测试时“先架空、再落地、留足空间、随时可停”。源目录没有上述三项交付物,我不能把它写成我们已经完成了实车部署。
查看现有开环结果与部署方案
已有材料实际证明了什么
本地目录保留了一份 SimLingo 离线开环评估结果:模型逐帧预测未来轨迹,再与数据集中的真实轨迹比较;车辆没有根据预测结果在 CARLA 或真实道路中继续行驶。这份结果和可选的“实车部署”不是同一件事。
105 帧汇总结果为:
| 指标 | 均值 | 中位数 | 标准差 | P90 |
|---|---|---|---|---|
| ADE | 0.0428 m | 0.0166 m | 0.1009 m | 0.0985 m |
| FDE | 0.1322 m | 0.0339 m | 0.4634 m | 0.2883 m |
目录还保留了汇总图、最好或最差帧和典型场景分析图。这些产物能证明完成过这批离线数据的开环轨迹误差统计,但不能证明 CARLA 闭环或真实小车运行。
课件给出的实车链路
小车 D435i 图像
→ ROS1 上行到基站电脑
→ GPU 上的 VLA 模型推理
→ 映射为线速度和角速度
→ 通过 /cmd_vel 下发
→ Scout Mini 执行
→ 采集新图像,形成闭环
基站电脑使用 Ubuntu 22.04 和 GPU,在 Docker 中运行 ROS1 Noetic;小车端是 Ubuntu 18.04 与 ROS1 Melodic。两端通过同一 ROS Master 通信,小车只负责图像采集和底盘执行。
SimLingo 原本面向城市自动驾驶,输入画面、视角和动作空间都与室内低速小车不同。上车前需要采集小车域数据,重新标注语言—动作对,并至少微调动作头或 LoRA 层;否则城市域的路点输出不能直接等价为小车的 /cmd_vel。
安全侧还要加入线速度和角速度限幅、无新决策时自动停车的 watchdog、网络断开停车、人工急停,以及先架空轮子再落地测试的流程。
更完整的系统链路见第十讲 · 实验课:NaVILA 复现与 VLA 小车部署。