付费内容解禁 特斯拉FSD V12 端到端自动驾驶解析 

12:50这里老司机的举例感觉不太恰当，再有经验的司机也有少数没遇见的情况，比如上个月的夜间高速坍塌，死亡几十人。你就是开了一百年的车，该看不见还是看不见，而激光雷达就是为了应对这种极端场景。 后续拿雷达比喻成新司机，更是不妥。 在现阶段自动驾驶还不成熟阶段，鼓吹纯视觉方案，有种特斯拉精神股东即视感。

兄弟，你真的很适合当trainer. 之前无意间看到你一期节目就开始关注你，到现在这期感觉你水平又提高了好多。我看过很多讲解端到端技术的博主，但你讲的真的深入浅出，一听就是内行，让人对端到端技术充满信心，说实话，我听得有点小激动.我就是单纯喜欢特斯拉的技术和愿景，作为一个投资美股多年，去年最高盈利100%，结果被特斯拉一只股票拉低到只剩不到30%，但还是没卖一股的小散来说，你应该能明白我为啥看到你的视频会有点激动吧，哈哈. 能把复杂的东西讲得这么简单，真是难得的能力。加油，继续发布好的视频！

视觉＞雷达，但是视觉＜视觉+雷达

很惊讶这个视频会有 100+评论 座位一个 有2000+ 订阅的博主 我给这条视频几点 负反馈 1. 视频提到 摄像头可以做到所有信息， 信息不浪费 喂给AI 学习 。 这简直是在胡扯， 特斯拉的8个摄像头 捕捉的视频内容 本身就需要缝合拼接，摄像头镜头本身就是鱼眼 图像是畸形的。 所以 抓取回来的视频肯定是有信息丢失的。 其次你说AI 通过学习视频 看什么车窗反光镜 提前预判鬼探头刹车， 这更是胡扯， 当前摄像头的画质清晰程度根本就达不到， 就算达到了， 图像在做本地端上AI 推理计算的时候必然会压缩，而且更具这个就觉得 会是一个关键的像素标记点 真的对图标标注很业余。 2. 视频提到自动驾驶的终极路线是视觉。 这个目前只能说目前视觉方案稍微领先， 相比对于激光雷达而言，雷达带来的数据 不但有精准的大小数据 还有距离 和 时间， 而且是三维一体的。 如果全部通过摄像头来做 也不是不可以， 那就回到1，你有没有能力 通过纯摄像头 同时拿到 物体大小， 距离， 时间， 特斯拉 通过 BEV 娘看模式+transfer似乎准确率在不断提高， 但还是那个观点， 姚明能灌篮，不等你你能灌篮。 汽车的安全只有 0 和 100% ， 无限接近的99.99999999%没有意义 3. 把1亿个司机的开车视频给他看，他就会了？？？？？如果选出这1亿个司机室标准的好 且 守法的司机。 先让AI 看10一亿个好司机 标注了 然后回来喂？ 4. 人确实是靠眼睛来开车，但是不能成为 纯视觉就是自动驾驶解决方案的充要条件。 按你这个逻辑， 早期的飞机 都靠人眼，那战斗机为啥后面还要上雷达？ 不要一味迷信马斯克， 作为一个大V 博主， 可以有自己的观点， 但劝你 善良。

其實模塊化有個淺顯易懂的例子，要是你開車的時候是閉上眼睛聽副駕告訴你前方有什麼東西來進行決策的話，我看你還能多好的開這趟車，不車禍也難。

up，建议对比一下极端天气条件下，视觉与雷达的区别。

這個視頻很適合丟給還不太懂AI有強大的人看，感謝分享

真是這樣嗎？🤪😜😂😂😂😂 模仿人類視覺，難道不知道人類視覺盲點嗎？ 比如：起霧、下大雨……造成視線模糊，這FSD能行嗎？🤪😜🤣🤣🤣

神经网络和雷达不矛盾。雷达可以补充视觉方案看不到的信息，神经网络的一切优势都可以在雷达信息上应用。特斯拉不用雷达我认为就是为了省钱，马斯克在这个点上有些偏执了。但考虑到做出这个决策时激光雷达确实又大又贵，也可以理解。

纯属瞎扯 我觉得要能够真正实现自动驾驶 要让机器能够理解我们真实的物理世界 物理规律 那个时候 也到了AGI 时代。所有现在离自动驾驶还很远的路

他这个视频只要不能证明视觉>视觉+雷达就是白扯，如果要考虑成本，不用自动驾驶成本更低。不出事故的老司机可能一年没开几次车，或者路况一直很好等等，仅此而已。其实说再多都是扯，美国现在开启自动驾驶的人有多少，比例多大？事故率怎么样？扯技术有啥用？

对激光雷达的优势错得厉害. 他不只是精准测量距离 还可以测量很远的距离 “很远”是重点 比普通摄像头强三倍距离. 在高速行驶时，这个优势是非常有用的.加上激光雷达可以在天气恶劣的情况下看得比摄像头清楚很多 例如大雾，下大雨下雪等等 我觉得未来应该是用激光维达加上摄像头加上机器深度学习 完成Level Five的主动驾驶

端到端指的是输入是原始数据，输出是最后的结果。在整个学习过程中，不进行人为的子问题划分，完全交给深度学习模型直接学习从原始输入到期望输出的映射。 而非端到端呢，就是输入不是直接的原始数据，而是在原始数据中提取的特征(如feature)，这一点在图像问题上尤为突出。因为图像像素数太多，数据维度高，会产生维度灾难，所以原来一个思路是手工提取图像的一些关键特征。

特斯拉连续两个季度销量大幅下降，现在都看不到比亚迪的尾灯了，因此最近大量视频在吹捧特斯拉，但是特斯拉没啥可吹了，只能吹特斯拉的没有经过大量验证的FSD了，想借此强行提拉特斯拉的销量，这简直是痴心妄想。

纯视觉方案，不靠谱。我觉得不要争谁比数好。作为成年人，两个都要。

不管是v11还是v12，我从来不觉得特斯拉在技术层面和实际效果上做到比人类司机开得好会有问题，但是问题在于端到端模型的不可解释性如何说服法律和监管机构😂

鬼扯视觉大于雷达 说的好像雷达不会建模似的 雷达只是更清晰 视觉是平面的雷达是立体的 视觉挡住了就无法解析 雷达挡住了也可以解析 所以雷达更安全

某鹏据说也放弃了雷达，该用神经网络，那他又没有超级计算机，他要如何实现这个学习的过程？谢谢

这个视频的雷达这块就是瞎扯淡

兄弟说得都没错, 理论上更正确，但我今天在过一个有故障的路口时，有警察在指挥，车很多，我也不是第一辆车，在让我这个方向的车流开始移动时，并且我前面的车和我都是要直行通过路口，但我的车却停下了，应该是把警察当成行人了😅

路政的那个例子讲的非常好

雷达不能穿墙？。。。。。 摄像头不能吧 雷达反而能 我觉得 雷达+摄像头 看谁能运用到极致 才是解决方案 两种方法 单一的 都有壁垒 我最后的那个对比 讲的太牵强了 我相信你自己准备素材的时候 这个对比 也是你最费神的地方吧？你可能自己都不想有想明白 你只想要尽可能的让你的结论成文 就是端对端更好 你是为了结果而论证而已 已经没有说服力了

如果你可以證明出白菜一定比青菜好，我就相信視覺比雷達好。

纯视觉目前就是不如sensor，因为现在的摄像头用的也才几百万像素。想要实现人眼这么清晰，需要达到5.76亿像素才行。不然现阶段就还是先用sensor配合摄像头比较好

如博主这么说，这个AI司机就永远毕业不了，会永远在学习过程中，且永远没有毕业的那一天，也就是只能试用，却不能得到应用😂

你视频里说毫米波雷达没法穿墙是不客观的，信噪比会下降但的确是可以穿的。毫米波雷达经常能看到前方排着队的很多辆车。即使是在完全遮挡的情况下，在鬼探头的情况，行人作为一个运动物体，雷达其实是能够更早的捕捉到这个运动。毫米波雷达其实是一个很好的信息补充，特别是在极端天气下。

你是说蝙蝠的雷达不行？

讲得太好了，自动驾驶是神经网络ai的一个应用，因此也明白了为什么英伟达股票大涨

我觉得目前的人工智能还没有真的达到智能，而还是捕捉输入信息，分析信息特征，寻找这个特征对应的操作，其实本质上还是模块。引入AI不过是在最后一个模块中不再人工产生对于动作，而是用机器学习。

很多关键的地方说的就过于理想化了。你说的这些庞杂的路况情况，神经网络也不一定能搞定，马斯克又不懂自动驾驶。而且工程师还没有办法进行具体优化，只能继续大力看看有没有奇迹。

包进一个黑盒就万事大吉了吗😂

两种模式的区别就好像国内应试教育学的哑巴英语和有语言环境学的沉浸式英语的区别，机械性记忆和整体感知的差距

我已经跟我闺女说好了，等她过几年学了驾照，开始开车上学的时候，我就给她买个FSD的车，再怎么样也肯定比她开车靠谱的多😂

就喜欢这种用最通俗的讲解让普通人一下子明白了最新科技的技术含金量，这种视频更大的意义我认为是让大陆的普通人再也不会被国产新能源企业虚假宣传忽悠了。

作者其实并没有具体了解过最新的激光雷达路线的实现。现在主流车企的激光雷达主要是对纯视觉识别困难的情况的一个补充，而不是单纯靠激光雷达进行测距。

全自动驾驶是个无解的难题，目前传感器弥补不了人类视觉的不足，尤其恶劣天气情况下

上述明顯告訴所有人你是測試自動駕駛的白老鼠，但沒有盡頭。

自動駕駛需要的是預判不是精準，預判的安全是遠超精準的，預判提前減速就可以避免事故發生，而不是去考驗激光雷達的精準配合硬體的煞車性能來避免事故。

你如果可以用英文更好 很多專業的用詞英文會更妥當 看了 你還是在美國

簡單一句話就解釋了，V12才是真AI，V11不是AI而是狀態機。

看完以后我觉得训练猴子做司机可能更靠谱一些。

多从生意的角度考虑，少从技术的角度考虑，你就想通了

非常清晰易懂！持续关注。

看完了，完全不懂，根本提不出问题，只能持续学习。 可能是我想的太简单，也可能是我想的太复杂

現在的華為ADS 2.0其實是什麼架構? 將來的ADS 3.0又是什麼架構呢?

纯视觉方案只是车企的最优方案，而不是消费者端的最优方案。车企在成本和辅助驾驶方面做出妥协后最优方案是纯视觉。不论AI训练多发达，纯视觉方案的天花板远远低于激光雷达方案，这是先天决定。

还没lv3大家自行斟酌😊😊😊😊lv2驾驶员负责lv3商家负责。。

感谢您的分享，我在大学学到神经网路的就是这个原理，但是您可以从工程师的角度分享这背后实现的细则，我会推给任何想要了解fsd的人

人驾车都会有一些违规行为，那AI能判断出来吗？还是会把这种行为也学起来

自動駕駛肯定要使用A I發展的途徑很多，不要自以為是。

你要分析问题就先抛开立场，纯视觉到底能不能模拟真人驾驶，可以模仿百分之99但是最重要的百分之一模仿不出来，因为真人司机还会根据声音，当地驾驶环境，行人交通素质，等各种不能被视觉模仿的因素做出判断，这种判断是人类大脑综合这些信息做出来裁决，你视觉根本模仿不了，这个所谓的AI根本无法达到。还有你对老司机对距离的感知来类比ai也不需要距离，我就觉得搞笑了，你还真把“ai”当人吗？人作为一个个体身体上的传感器到底有多少有多精密人类有研究清楚吗？更何况现在对人脑的研究还不如对在太空的研究透彻呢，就感大言不惭

有一个点不同意，不管是激光雷达还是毫米波雷达甚至以后的麦克风捕捉的声音都可以送到端到端系统训练，阻塞因素在于成本和可靠性，而不是架构上不需要。

如果遇到大雾的天气，纯视觉方案都看不清了，怎么保证自动驾驶呢？雷达方案能够精准测距，反而能够提前识别到风险，所以是不是 纯视觉

transfomer 神经网络有一个最大的问题，基于注意力的方式那就不会追寻最正确的答案。不信你会发现现有的大模型参加的考试，都不会有考满分的情况。人类开车时或许有一些问题时，可以通过常识或者本能来处理，但是大模型一旦出现问题，可能会很可怕。

simple and powerful explanation :)

有点二极管😂

精彩！唯一一个看了2遍的视频。

AI对信息的感知和解释能力非常低，需要大量数据训练才能勉强接近人类，端到端将v11的输入和输出进行了系统的连续化，在相同训练资源下v12的输出并不更准确而是更全面，v12相对v11没有本质提升，而且需要更多数据

不从技术层面，从常识层面说，你的逻辑都是之前的1有问题，之前的2有问题，现在的没有问题。要是出来一个新的，就说之前的有问题，现在的没有问题。技术进步本来就是一步一步的，人类至今的科技本来就是搭积木，很多我们还没有办法解释，只是发现了这个状态。可以多做介绍，少做科普

如果路面上的桩桶或者指示牌和市政设定的比例不一致的话，FSD会出现距离误判的对吗，比如市政桩桶高度是1米，有个熊孩子离老远放了一个2米高的充气桩桶，视觉信息上是相当的，其他环境元素也都按比例缩放，那FSD就傻了对吗

谢谢分享，听完了觉得v12好危险，你必须相信那个端到端的大脑。不了解它的学习过程，我是不敢开，也不敢做的。不想做机器学习的小白鼠，用自己的生命去给机器训练corner case。

其實真正開車還有開車經驗以外的經驗和技術，就是AI學所有老司機以外的一些開車的各種情況，舉個例子：有時候，開車的時候，再某些情況為了要解決一些問題不得不做出常理以外的操作，就像AI會因為路上有人搶劫或為了要幫忙什麼事情把車在安全範圍內擋住某個路面的地方？AI會因為路上有些騎電動車的不文明行為突然對他警示甚至不讓？有些地區路面路況差甚至有尖銳的不易察覺的邊緣，正常行駛會對車不好,令可繞路，有的地方地下污水橫流，那，，，“味道”簡直無法形容，快速經過怎麼洗車洗的乾淨？人類就可以聞到，而下雨時，AI能判斷是路面雨水橫流？還有，有時候路上一些不文明司機，怎麼去應付？怎麼判斷對方不是故意還是看手機或者真的不是故意的？能通過時，從側窗看一下裡面司機表情和乘客知道大致原因嗎？突然刮風是否不必要經過一些地方 還有太多太多了，不便敘述，這些都和開車技術和經驗無關

等等，請問已經確認特斯拉的FSD是感知到決策一進一出的完全端到端了嗎？ 聽大劉科普是說只有決策是端到端🤔

首先应该承认机器学习从影像中提取知识的能力已经超过了人类，所以端到端训练会强于人工编程出来的系统。但是，神经网络模型的可解释性也很重要，它能够大幅增强人类对AI自学模型的信心。而且我不认为让FSD学会解释自己理解的世界是很难的事情，毕竟LLM在这方面很成功了。所以xAI对FSD很重要，而FSD也有助于xAI理解世界。

讲得太好了！！

還有一個,神經網絡Ai系統會注意到車內部什麼的情況，並非車身故障系統可以檢查出來的問題而停車查看？比如說貌似車後備箱或底盤有什麼東西卡住發出聲音，車再不小心沾了什麼在晃動等等，細鐵絲,,, 積水雖然不深但是有一攤，但是前面有個高點的減速帶，旁邊公交站有人，趕時間開快了就直接把水濺到人 看到某些特殊車輛是否要繞過：能識別豪車？能識別前面園區保安臨時指揮？還有路過一些農村鄉下，即使兩邊有人站著因為某種風俗，最好也不完經過，要倒車先從別的地方走等等

说得非常

通俗易懂

这解说一堆错误

很好奇 優良駕駛要怎麼篩選出來呢 或是糟糕駕駛要怎麼去除呢

我觉得也要搞个雷达或者红外线热成像吧或者夜视仪，万一那天黄沙漫天，乌漆麻黑异象丛生直接眼瞎了

路政这个例子真的很好，就像现在国内疯狂推的萝卜快跑，交警在旁边指挥都完全没用只会傻傻的停在原地等待后台远程操控，要是AI的强大学习能力就没有这种问题了

盐湖城中国城

雷达存在的意义不仅仅是为了测距精确，更重要的是在摄像头无法正常工作的时候起到双保险的作用。比如强逆光，进出隧道，能见度低等情况。实际场景中硬件是不会始终处于完美工况下的。

感谢 Jackson 的分享，受益匪浅！我有一个问题，是关于验证的。假设当前版本在某一个特定的路况下会产生接管，我理解 Tesla 应该会拿这些接管的视频去做训练，对于端到端来说，该怎么在训练后去验证，确保 FSD 下一次遇到这种情况能做出正确的决策呢？

那有个好奇的地方，关于路政挥手的问题。看了一亿英里或者十亿或者一百亿英里的保质保量视频后，如果有人恶意在路口穿黄衣哪怕不是写着“路政”二字，他只在衣服上写个“跑致”，V12能学会识别？如果这种恶意行为发生后，不该左转它左转了，而且左转会产生巨大的决策灾难，那V12看了那么多视频能解决这个问题？如果不能怎么靠冗余设计去避免？

可以补充一点端到端相比模块化的不足吧，我理解模块化的过度也是需要的吧，而且端到端深度学习是黑盒训练，也会存在一些自动驾驶层面的其他风险吗？

为什么不是视觉+雷达 >视觉呢？

讲的太好太明白了。牛

It's like LLM, pixels are like tokens...

只能说理想很丰满啊。这个学车的小朋友还真不一定学成好学生。

那要如何避免端到端的神经网络在海量的视频中自动学习到不好的驾驶习惯呢？

博主应该提高一下字幕的美感，像是剪映做出来的。😂

神经网络也不能准确考虑所有情况，也会有过拟合，而且神经网络到底是怎么运作更难被人类所理解。

特斯拉的训练结果会成为自动驾驶的ChatGPT, 其他厂商买其服务即可！

你好，请问是不是可以理解为传统自动驾驶用的是if else（把所有情况遍历过），但是特斯拉的是使用无监督学习但是遇到情况足够多了自动增加label

原来看你的视频觉得特斯拉的fsd12.3版没问题，结果自己试玩发现没有红绿灯的路口，或者有红绿灯但车多，明显发现驾驶有问题，而且突然减速问题我都碰见好几次了

没听说过人眼能比雷达看的多。。。

專業

明显是错误的。一切都是因为美国没有雷达的产业链。 就问一个最简单的问题：纯视觉方案好还是多模态方案好？

能不能出一期晚上开车光线不好的视频，全是白天的

这类视频要直播才有说服力，因为视频可以选择对自己有利的发出来，就算一镜到底的视频也可能只是发挥好的视频，那种剪辑过的视频更加不能信。

跟人类学开车不太一样，人类是学交规的

讲的很好，就像我以前学车一样，跟公司的老司机出去，我就学那些老司机怎么开车，有什么特点，自己学，后来学车时候都是一把过

講得太棒了，清楚易懂👍

有没有可能分两个神经网络 第一个神经网络可以把没有意义的干扰信息去掉 第二个神经网络只去学习有特征的信息 这样既准确又节省了算力？

问题来了，失控了

大神讲讲神经网络的架构和训练吧！谢谢

感謝Jackson, 長知識了 我看到這些Model X影片，就知道是Jackson的頻道了

道路上的异常障碍物怎么检测