编辑|汽车人
原文链接：/question/583534193
点击下方卡片，关注“自动驾驶之心”公众号
ADAS巨卷干货，即可获取
点击进入→自动驾驶之心【全栈算法】技术交流群
回答一
作者：Naiyan Wang
链接：/question/583534193/answer/2899261567
对于这个狭义的问题，首先先来贴一个chatgpt自己的回答，已经非常精准和中肯了：
其实下面想聊的是一个更general的问题：foundation model或者叫大模型，更具体一点到视觉大模型或者多模态大模型是否可以帮助到自动驾驶？
这个问题其实昨天在和 @曹越 的饭局上探讨了一番，也借机整理了一下自己的思路，可能仍然不成体系，但可以抛砖引玉一些零散的观点供大家讨论：
如果有一个视觉大模型，那是不是就可以去做端到端的自动驾驶了？有可能，但是取决于这个大模型的监督从何而来。如果大模型只是为了驾驶的任务而训练，大概率这样的思路是不可行的。有可能的思路应该是，先有一个通用的模型，再去往驾驶的任务去adapt。
单独的视觉大模型还是多模态大模型？很可能这个问题答案是需要多模态，因为多模态尤其是语言模型面临的domain gap远比视觉要小，通过多模态可以很好去align视觉不同的gap。
退而求其次，那大模型有可能帮助的东西是什么？如上所述，通过通用任务多模态训练而来的优秀泛化能力可能让世间再无corner case。
大模型是否可以单独帮助认知模型？这个问题可能本身就不成立，如果强行要问的话，答案可能是否。因为，通过上述训练的视觉大模型很可能就已经有了非常优异的物理世界推理能力，从而使得单独训练认知模型这个问题变得没必要。而且单独训练认知模型又不可避免地面临只能使用驾驶数据，无法全面获悉信息的窘境。
补充一下，并不是说纯视觉大模型不能搞，只是觉得在目前的情况下，多模态是有可能最快实现这个目标的。
回答二
作者：纳米酱
链接：/question/583534193/answer/2947481692
我找人帮忙测试chatgpt对图片几何物体大小，语义，和远近等做了一些评估，目前看来chatgpt在判断图片上有啥物体是非常厉害的
但是评估物体大小，和远近，甚至问他路牌上写的都是啥字等，都错的不能接受
我个人断定这会是chatgpt的短板，因为你不可能在实时感知领域提前准备能够引导他回答正确的prompt
我怀疑不同的corner case，你要撰写引导它的prompt都完全不一样，十分难以提前知道，比如需要等gpt输出结果以后，你根据他的回答迭代才行对于无人驾驶，距离感知这个中间任务短时间看，是无法省略的，chatgpt在无人驾驶能发挥的作用，甚至连标注都帮不上忙
不过联合chatgpt和diffusion去生成模拟城市，用于无人驾驶模拟，还是很具备想象力，只是目前测试来看，市面上的图片生成卡通质感太强，更加适合网红脸，不太适合城市道路生成
不过也不是做不出来，道路的生成，把现在地图数据全都拉下来，问gpt没帧都有啥，然后把gpt的输出和地图做样本训练
回答三
作者：我是路头new
链接：/question/583534193/answer/2901383408
目前版本验证，对场景生成可能会有部分帮助。
在研究如何用OpenScenario 2.0中定义的智能驾驶场景描述语言来进行试车场景提取，语义级别仿真场景生成，仿真场景泛化。
今天看到这个问题，让ChatGPT帮忙生成一个Cut-in场景，结果如下：看起来有模有样, 继续命题作文生成一段2车道弯路，结果如下：尝试细化一下曲率和长度。如上图。具体参数如下图：他/她/它甚至提醒我还要设计其他参数，如下图：好的 接下来试一下道路泛化：还好 这次变成填空题了，道路的random number看起来要自己来，继续让ChatGPT自己来：好，看来地图马马虎虎，咱们接下来提升难度，让ChatGPT生成一段智能驾驶场景，但是需要从我定义的速度范围(本车20-120kph， 前车 40 -150kph)内进行选取：如上，先不说是否合理，看起来命题作文的目标是达到了。最大速度150 的Object, 但是完成的还是范围。看来GPT还不懂运动学和动力学和法规的限制，但是我们继续问问他是否能生产覆盖所有上述范围内的场景：好的 让我们问问GPT能生产多少场景：显然，他按照step给了合理公式，不回避的说，现阶段的场景岁进验证步进穷举也是这么算的。但是这不是我们想要的，接下来看他会不会增加限制。看来ChatGPT非常明白我们会产生很多现实不存在的场景，那我们的constrained从哪里来呢？是的 ChatGPT知道我们要做动力学和运动学限制。那我们让他/她/它基于我们刚才通过自然语言描述的cut- in场景来尝试constaints吧：这里GPT根据一些推测，举例了position作为一个限制，接下来ChatGPT开始按照自己的constrains 进行泛化了，这里不粘图了。
明天将这些仿真场景带入carla验证一下，如果顺利的话，这说明在场景生成上的思考，GPT已经在储备了，如果技术成熟（其实还有很多复杂度，今天的问题都没有涉及过深，和过多的复杂corner case），但从场景开发上GPT就可以帮助智能驾驶前进一大步。另一方面，不知道我啥时候会失业。
视频课程来了！
自动驾驶之心为大家汇集了毫米波雷达视觉融合、高精地图、BEV感知、传感器标定、自动驾驶协同感知、语义分割、自动驾驶仿真、L4感知等多个方向学习视频，欢迎大家自取（扫码进入学习）
（扫码学习最新视频）
国内首个自动驾驶学习社区
近1000人的交流社区，和20+自动驾驶技术栈学习路线，想要了解更多自动驾驶感知（分类、检测、分割、关键点、车道线、3D目标检测、多传感器融合、目标跟踪、光流估计、轨迹预测）、自动驾驶定位建图（SLAM、高精地图）、自动驾驶规划控制、领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频，期待交流！
【自动驾驶之心】全栈技术交流群
自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多传感器融合、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向；
添加汽车人助理微信邀请入群
备注：学校/公司+方向+昵称
如果觉得《ChatGPT的出现 会帮助汽车行业实现L4级别的自动驾驶吗？》对你有帮助，请点赞、收藏，并留下你的观点哦！
