|
|
2017年6月，Google发表了一篇名为Attention Is All You Need（留意力是你必要的全部）的论文。
这篇论文由8名发量茂密的AI科学家团结撰写，他们在论文里创造性地提出了一种“留意力机制”，并基于此开辟一个名叫Transformer（变形金刚）的深度学习模子——一位作者以为叫“留意力模子”过于无聊，就用玩梗的心态起了这个名字。
8名作者多数脱离Google，选择创业
从Transformer模子被提出的那一刻起，人工智能的汗青历程被蓦地加快了。研究者发现Transformer在天然语言处置惩罚（NLP）范畴的服从奇高，相比传统RNN（循环神经网络）上风显着，于是很快便成为NLP研究者们推许的首选模子。
Google的庞大希望，却让OpenAI的工程师们彻夜难眠。OpenAI当年建立的初志，就是冲破Google在人工智能范畴的把持，而面临这只横空出世的“变形金刚”，他们做了一个庞大决定：干脆就用Transformer这件仇人的武器，来跟Google正面硬刚。
2018年6月，在“变形金刚”诞生一周年之际，OpenAI推出了基于Transformer模子的GPT-1，此中GPT内里的“T”，就是Transformer的首字母。今后，OpenAI沿着这条门路把GPT-1连续迭代到本周刚发布的GPT-4，并让ChatGPT火遍了环球。
Transformer家属谱系，量子学派[7]
标杆旌旗一出，环球科技巨头就蜂拥而至，纷纷推出了自家基于Transformer的大模子，如Google的BERT，微软的Turing-NLG，英伟达的Megatron、国内华为的鹏程盘古、阿里的M6、百度的文心一言等大模子都是基于Transformer来构建。
更进一步，研究者发现Transformer不但可以或许处置惩罚语言，处置惩罚图像本领也很猛，远胜于传统CNN（卷积神经网络）模子。2020年，Google科学家提出了Vision Transformer ( ViT )概念[1]，给盘算机视觉范畴的人工智能也装上了火箭助推器。
到本文开始撰写时，Attention Is All You Need这篇论文已经被引用了68,147次，成为人工智能汗青上被引数目第三高的论文。应该说，Transformer的出现扣动了此轮人工智能高潮的板机，你在朋侪圈刷到的全部AI热门，险些都跟这个“变形金刚”有关。
站在Transformer模子上，OpenAI成为环球最刺眼的明星，而发明人Google也让天下在AlphaGo之后再次敬畏起了它的气力，两家公司一度打起了大模子的军备比赛，而环球其他科技巨头也不想只做围观者，要么已经躬身入局，要么正在摩拳擦掌。
实在，受Transformer开导，把它运用到出神入化并点燃另一场AI革命的公司另有一家，就是特斯拉。
01 借船：马斯克的“人工智能恐惊症”
在梳理特斯拉的AI轨迹之前，让我们先来相识一下伊隆·马斯克的“人工智能恐惊症”。
这个星球上唯一能让马斯克做噩梦的，不是贝索斯的光头，也不是薛定谔的刹车片，而是人工智能。2014年他就在推特上写道：“我们要对人工智能格外警惕，它大概比核武器更伤害。”在之后的一次访谈中，他又骇人听闻道：“当人工智能成为不死的独裁者时，天下将永久无法摆脱（它的控制）。”
大概是以为原子弹的类比还不敷震撼，马斯克在2017年把人工智能的威胁进一步比做北朝鲜[2]——他在twitter表现人工智能“Vastly more risk than North Korea”。随后又猛烈宣称“人类应该像羁系食品、药物、飞机和汽车一样来羁系人工智能。”
为何云云畏惧？马斯克2018年在“西南偏南”大会上对话《西部天下》编剧乔纳森·诺兰时表明道[3]：我通常不提倡羁系，而且倾向于淘汰这种枷锁，但是“人工智能把我吓坏了，它的本领比险些任何人知道的都要强，而且进化速率是指数级的。”
在《西部天下》里，马斯克的前妻Riley饰演一个高级AI
不外，马斯克一方面维持着“最恐人工智能的碳基生物”这一人设，一方面却在大干快上地投资AI。
2013年，马斯克个人投资了DeepMind；2015年他到场了OpenAI的众筹发起和Vicarious的B轮融资；2016年，马斯克又开办了脑机接口公司NeuraLink；而特斯拉也通过收购把DeepScale、GrokStyle、Perceptive Automata等人工智能公司纳入囊中。
特斯拉更是很早就开始结构人工智能。2013年特斯拉依附Model S的热售市值突破100亿美元，立刻开始操持进军主动驾驶。在5月份马斯克跟Google首创人的一次对谈中如许讲：“飞机的主动驾驶仪（Autopilot）是一件很棒的东西，汽车也应该拥有它。”
在其时，“主动驾驶”对传统汽车厂商来说更像是一个科幻概念。1970年代环球汽车巨头们界说了DAS（驾驶员辅助体系），然后沿着这条门路审慎推进，“主动驾驶”一方面大厂们不想干（会带来无穷的法律噩梦），另一方面也简直是干不了。
2014年，国际汽车工程师学会（SAE）把广义上的“主动驾驶”分成了6类。可以看到，传统车企在已往几十年根本上都在L0～L1级之间原地踏步，假如要到达L2级乃至更高，汽车就必须借助人工智能，而想要做到这一点，就要把汽车变得更像一台盘算机，而非一个单纯的机器电子部件组合体。
主动驾驶6个级别，将来智库[4]
而特斯拉在Model S上，就已经实现的电子电气架构革新，让汽车更像一台“四个轮子的盘算机”。这种理念厥后被前华为苏菁用明白话总结了出来：传统车厂以为车的基座是车，然后把盘算机嵌进去；我们则以为汽车的基座是盘算机，然后把车挂上去。
Modle S改电子电气架构初志是为了降本钱，好比淘汰又贵又沉的汽车线束，但新架构至少能让汽车的各部门服从“大脑”的同一指挥（详细怎么做的详见我们之前的文章[12][13]），即是为人工智能的落地搭了一套毛胚房（但还算不上精装修）。
毛胚房预备了，但要让AI真正“拎包入住”——实现L2级以上的“主动驾驶”，还必要什么东西？
我们通常熟悉的“主动驾驶”，就是汽车使用各种传感器，网络四周情况数据，然后汽车的大脑（焦点是芯片）根据算法来剖析这些数据，进而控制车辆举动。好比摄像头看到火线忽然窜出一条狗，大脑剖析后发出告急刹车的指令，让汽车停下来。
在这个过程中，辨认出火线窜出来的到底是一条德国牧羊犬，照旧一只玄色垃圾袋，就必要一套“算法”了。这些算法，必要提前载入到汽车的“大脑”里，输入汽车各类传感器收罗到的数据，然后作出及时的判定，进而控制汽车的举动。
汽车要在行驶过程中收罗数据、加载算法、敏捷作出判定，自己的盘算性能也不能掉链子，尤其是高速行进时，决议晚1ms都大概会变成大祸，假如“卡机”更是劫难。因此，汽车上搭载的芯片性能也不能乱来，要有充足的算力。
而那些事先载入汽车大脑的算法从何而来？在早期，碳基步伐员们用if-else语句来撰写算法，但在呆板学习问世之后，科技公司们开始构建盘算平台，汇聚了从终端提取和模仿天生的海量数据，在更高算力的芯片驱动下，不停练习，形成算法。
图片泉源：aionlinecourse
到这里，主动驾驶“四要素”就很明白了：1. 感知数据 2. 焦点算法 3. 终端芯片 4. 盘算平台。
但2013年的特斯拉照旧一个名副实在的“小厂”，在四座大山眼前根本上毫无积聚，尤其是芯片和算法必要投入大量研发经费。马斯克此时的计谋也很务实：造不如买。其时能进入特斯拉视野的供应商有且只有一家——以色列公司Mobileye。
Mobileye的名字包罗“移动”和“眼睛”两个词，这家公司由号称“中东哈佛”的以色列希伯来大学传授Amnon Shashua于创建。自1999年建立之后，专注于开辟主动/辅助驾驶技能，2014年在纽交所上市，2017年被英特尔以153亿美金的天价并购。
在上文提到的主动驾驶“四要素”中，Mobileye最善于什么？焦点算法。
跟近些年“算力论好汉”的情况差别，初期的主动/辅助驾驶对算力的要求并不高。与现在L4级主动驾驶动辄400 TOPS、L5级更是到达4000 TOPS的算力要求差别，L1级的主动驾驶所需算力乃至不到1 TOPS，L2级也仅仅是在2 TOPS附近倘佯。
L1级主动驾驶跟“主动驾驶”相隔十万八千里，根本上就是“驾驶员辅助”，好比自顺应巡航、主动刹车、车道保持等功能，实现起来简直不消很强的盘算本领，只必要便宜的摄像头雷达共同先辈的图像辨认算法，而这也正是Mobileye的刚强。
在建立的前10年，Mobileye仅仅靠纯软件方案的视觉算法就实现了盈亏均衡。不停到2008年，Mobileye才推出了第一代主动驾驶芯片EyeQ1，由台积电代工，接纳ARM内核和180nm工艺，而同期初代iPhone搭载的三星S5L8900芯片已经用上了90nm工艺。
到了2014年，Eye系列已经迭代至Q3，停止2013年年底，产物累计销量突破100万台。固然Q3算力仍旧是可怜的0.25 TOPS，但其捆绑贩卖的算法够香，对于急于上车智能驾驶、又苦于没有软件和算法开辟本领的厂商来说，属于打盹碰到枕头。
Mobileye EyeQ3芯片
马斯克不喜好Mobileye，尤其是后者将算法直接封装进芯片里，交付客户的是一个“黑盒”，内里的算法无法更改。但不喜好也没办法，Mobileye市场份额靠近把持，你爱买不买，宝马疾驰福特都得低头，特斯拉也只好乖乖地担当这种“店大欺客”。
2014年10月，特斯拉发布了第一个主动驾驶方案——Autopilot1.0版本，此中的硬件模块称之为Hardware 1.0（简称HW1.0）。这个方案把Mobileye EyeQ3作为硬件模块的大脑，别的还配备一个前置摄像头、12个超声波雷达和1个毫米波雷达。
自此，2014年10月之后生产的新车都会默认搭载HW1.0硬件，但用户此时还不能直接用——特斯拉接纳的是“硬件先行，软件更新”的方式，先装硬件，再OTA升级，因此不停到2015年10月特斯拉v7.0版更新后，Autopilot1.0才正式被“点亮”。
早期的Autopilot1.0界面
在Mobileye“上车”的那一刻，马斯克就暗中预备自研主动驾驶的算法、芯片和盘算平台。
2015年马斯克试图拉拢硅谷闻名黑客George Hotz来特斯拉搞无人驾驶，答应假如乐成替换Mobileye，特斯拉会一次性给他“数百万美元奖金”，但被对方拒绝，随后Bloomberg的一篇报道将两人的邮件披暴露来[5]，立马引来了Mobileye的诘责。
被Mobileye“卡脖子”的特斯拉只幸亏官方网站上发了一份声明，表现Mobileye提供的芯片和算法仍旧是“全天下最好”，特斯拉还会继承利用。然后马斯克亲身在twitter上转发了这份声明，才取消了Mobileye的肝火，制止了特斯拉被“断供”。
变乱平息后，马斯克加快推进“自主可控”筹划。2016年1月，传奇的AMD首席架构师Jim Keller被挖到了特斯拉，他的恒久战友Peter Bannon也在1个月之厥后到马斯克的阵营——特斯拉跟Mobileye“脱钩”已经只是一个时间题目。
分手的刻意云云猛烈，马斯克就差一个冠冕堂皇的来由和一个临时替换Mobileye的备胎。很快，它们都来了。
02 过渡：一段跟黄仁勋的塑料交情
2016年5月，一辆开启主动驾驶模式的Model S在佛罗里达州撞车，40岁的司机Joshua Brown就地殒命。
这辆Model S撞上的是一辆货车的白色车厢。当后者横穿马路时，特斯拉的Autopilot体系固然通过毫米波雷达检测到了车厢，但误把蓝天映衬下的白色车厢当成一块路牌，AEB(主动告急制动体系)于是没有做任何的反应，车就径直撞上去了。
惨烈的Model S车祸现场
这是人类汗青上已知的第一起主动驾驶变乱，天然引起环球舆论关注，美国国家运输安全委员会(NTSB)发布了足足500页的陈诉。观察职员发现司机Joshua Brown在驾驶过程中也不诚实，90%的时间双手脱离方向盘，并忽视了七次体系告诫。
司机虽有错，但企业也得背锅。特斯拉发现假如要跟横穿马路的车辆相撞，Mobileye的EyeQ3芯片无法提供充足的算力，要比及两年后发布的EyeQ4才行，而Mobileye在变乱的声明里又暗搓搓地甩锅特斯拉，这让马斯克更加刚强了踢开Mobileye的刻意。
5个月后，特斯拉发布了Autopilot 2.0和硬件模块HW 2.0，彻底跟Mobileye分道扬镳。接替它的是黄仁勋的英伟达。
这里插一下：特斯拉主动驾驶方案的名字眼花缭乱，最开始就叫做Autopilot，厥后引入一个高级选配方案FSD（Full Self-Driving），两者就是同一套体系的两档产物，用户多费钱，就可以激活更多功能，背后的硬件叫做Hardware（1.0→4.0）。
英伟达在主动驾驶方面实在也是一枚新兵蛋子。在2015年1月，黄仁勋向天下发布第一代了NVIDIA Drive平台，这个平台由两部门构成：数字座舱（CX）和主动驾驶（PX），两者都利用英伟达Tegra X1——任天国switch的同款芯片。
Tegra是英伟达移动芯片家属的名字，当年坑了不少厂商，好比HTC和小米，不停被高通摁着摩擦。厥后老黄干脆放飞自我，把在显卡范畴练就的“砌算力”大法发挥到极致，功耗发热猛增，根本退脱手机市场，但在主动驾驶范畴却重获新生。
以Tegra X1为例，其接纳尺度的CPU+GPU架构，CPU部门接纳4颗Arm A57内核和4颗A53 内核，焦点数总计8颗；而GPU部门则接纳Maxwell架构，焦点数高达256颗。这种“暴力堆砌”下，单颗Tegra X1的算力居然攀到了1 TFlops。
Tegra X1 图片泉源：英伟达
1 TFlops是什么概念呢？TFlops指的是“每秒万亿次浮点运算本领”，1996年英特尔帮美国能源部Sandia国家实行室制造了一台名叫“ASCI Red”的超等盘算机，占地1600平方英尺耗电500千瓦，用来模仿核弹头，它的算力就是1.06 TFlops。
英伟达的“算力大法”，恰好是主动驾驶由L1向L2、L3演进时急需的东西。
好比L1级的“单车道定速巡航”功能下，车载芯片只必要处置惩罚有限的数据量，但一旦进化到L2级别的“主动变道”，车辆不但要辨认车道和四周车辆，还要及时算出最优变道决议，算力需求提拔了一个数目级。相比单纯地用CPU来提供算力，英伟达“CPU+GPU”模式能更好地匹配主动驾驶的需求。
为什么？简朴说，CPU（中心处置惩罚器）和GPU（图形处置惩罚器）均由控制单位(Control)、运算单位（ALU）、存储单位（DRAM）、缓存（Cache）等几个部门构成，两者区别重要在于各个单位的数目配比，尤其是运算单位的数目配比。
运算单位是芯片数据盘算的中央，由算术逻辑部件（ALU）构成，ALU即各人口中的“核”，所谓8核CPU指的便是有8个盘算单位。为图像处置惩罚和矩阵盘算而生的GPU，与CPU的最大差异在于可以暴力叠加成千上万个ALU举行并行运算。
简朴类比，CPU像一位数学系传授，本领全面，GPU则像他部下的一年级本科生，偏科严峻，只会算数。传授平常善于统筹全局，发号施令，他本身固然也会算数，乃至抵得上两三个本科生，但显然比不外100个本科生叠加在一起的“算力”。
当GPU碰到人工智能后，开始大放异彩。2006年，英伟达推出基于GPU的CUDA开辟平台，开辟者可以通过这一平台，利用C语言编写步伐以办理复杂的盘算题目，换言之，本来只用做3D渲染的GPU变得更加通用，可实行的使命更加多样。
2009年，斯坦福大学的Raina、Madhavan及吴恩达在一篇论文中叙述了GPU在深度学习方面相对CPU的大幅上风[6]，将AI练习时间从几周收缩至几小时。这篇论文为人工智能的硬件实现指明白方向。GPU大大加快了AI从论文走向实际的过程。
因此，特斯拉从Mobileye切换到英伟达不但是换供应商这么简朴，而是把人工智能硬件实现的利器——GPU装上了车，即是把“毛胚房”换成了“精装房”，实现了AI算法的拎包入住，同时也把“电动车”和“人工智能”两大期间主题毗连在了一起。
特斯拉在2016年10月发布的HW 2.0硬件平台，包罗8个摄像头、1个毫米波雷达、12个超声波雷达，以及英伟达DRIVE PX2定制主板，主板上面搭载了Tegra X2 CPU和升级为Pascal架构的GPU，算力是10 TOPS，大概是Mobileye EyeQ3的整整40倍。
“新女友”看起来貌美如花，但特斯拉为了这次分手实在付出了不小的代价。
HW 2.0的硬件性能固然良好，但软件上却是短板，特斯拉内部团队和英伟达在算法上都还达不到Mobileye的水准。好比不停道HW 2.0发布的3个月后，特斯拉才把自顺应巡航控制、火线碰撞预警和方向盘主动转向等根本功能给匆忙地做出来。
因此，固然特斯拉自2016年10月后出厂的车都标配了HW 2.0，但不停到2017年上半年才把Autopilot 1.0的功能都实现出来。因此有效户讥讽道：“搭载了更强劲硬件的新车车主们等了足足半年，总算可以享受跟老车主一样的辅助驾驶功能了。”
但顶着客户流失的风险，特斯拉也要把Mobileye换成英伟达。除了感情因素之外，更紧张的是NVIDIA Drive是一个开放平台，自由度很高，特斯拉可以一边在英伟达的平台上练手，一边积聚本身的软件和算法本领，为末了的自研铺平门路。
对“渣男”来说，全部的「现任」都将是「前任」。在拥抱英伟达的同时，特斯拉的自研究也在紧锣密鼓地举行着。
03 自研：吃着碗里的，看着锅里的
当马斯克开始搞AI时肯定会有感触：相比于制造业，美国的AI和芯片人才着实是太多了。
跟从1980年代开始就渐渐外迁的制造业差别，美国在盘算机科学的三大应用范畴——互联网、软件、芯片计划上不停保有雄厚的人才储备。以ACM图灵奖得到者为代表的顶尖科学家在高校、财产和研究机构里突破前沿，而数不清的高级工程师则在Google、苹果、微软、Intel等Top公司之间频仍流转。
特斯拉2015年筹办自研无人驾驶时，已是科技圈的当红炸子鸡，马斯克有资源从硅谷大厂里撬走各路牛人和大神。从2015年至今，特斯拉无人驾驶团队的架构历经多次调解，职员也熙来攘往，但无论是硬件照旧软件，马斯克挑选的各个团队负责人，根本上都是天下最顶级的科学家或工程师。
我们可以从几个大牛的简历中窥伺到特斯拉Autopilot团队极高的人才密度：AMD K7/K8/Zen架构的开辟者Jim Keller、苹果芯片团队的焦点成员Pete Bannon、Swift编程语言的发明人Chris Lattner、OpenAI首席科学家Andrej Karpathy……
特斯拉团队（左起）：硬件总监及Dojo负责人Ganesh Venkataramanan；工程总监Milan Kovac；人工智能总监Andrej Karpathy；软件总监Ashok Elluswamy；总忽悠师Elon Musk ，2021 Tesla AI Day
这里重点提一下Andrej Karpathy。这位出生于1986年的小哥是斯洛伐克人，15岁随父母移民加拿大，2015年得到斯坦福大学博士，导师是盘算机大神李飞飞，在读博期间他已经是人工智能届的超等明星，结业后直接到场开办了OpenAI。
2017年，他被马斯克厚着脸皮挖到了特斯拉，而从2017年到2022年，Andrej Karpathy不停担当特斯拉人工智能总监，并直接向马斯克报告，直到2022年去职重返OpenAI。客观地说，他是特斯拉人工智能团队的最紧张的创造者之一。
发量相对稠密时期的Andrej Karpathy
而在顶峰时，特斯拉Autopilot团队拥有300多名顶级工程师（不包罗1000多名数据标注员），此中200人专攻软件，100人专攻硬件和芯片，马斯克在一次采访中说[8]：这些精英“人家任意去哪儿都能找到工作，没有谁是他们真正的老板。”
在硅谷人才和自身光环的加持下，特斯拉禁绝备去抄英伟达和Mobileye的作业，那他们想怎么干？
主动驾驶的详细实现非常复杂，而且作为一门极新的科学，新技能、新门路、新突破层出不穷，但沿着我们前文提到主动驾驶的“四要素”（1. 感知数据 2. 焦点算法 3. 终端芯片 4. 盘算平台）来出发，根本上就能理清马斯克规划的巨大蓝图。
起首，在「感知数据」方面，特斯拉选择了“纯视觉感知”方案，放弃了渐渐成熟的激光雷达、毫米波雷达等非视觉传感器。这一做法在业内独树一帜，难度相比其他主流方案直接拉高了一个数目级，在业界也引起热烈的讨论乃至争议。
特斯拉8个摄像头覆盖范围
主动驾驶范畴大多数专家都以为“纯视觉”方案不可取，不少用户也颇有微词，以为在技能不成熟的环境下就放弃雷达是对用户安全的不负责任。马斯克对这些品评视而不见，并公开讽刺业界对高精度舆图和激光雷达等方案的依靠。
其次，在「焦点算法」方面，简朴来说就是特斯拉通过8个摄像头收罗的2D图像，利用复杂的感知神经网络架构举行加工，构建出一个可以或许表征真实天下的3D向量空间，这个空间里拥有主动驾驶决议场景里所必要的险些全部信息，好比车道、行人、修建物等。
从8个摄像头到3D向量空间，2021 Tesla AI Day
基于这个3D向量空间，特斯拉计划了一个HydraNet架构——Hydra是希腊神话中“九头蛇”的名字，意思是这套架构共享一个数据“躯干”（BackBone），为1000多个使命的“头”（Head）提供支持，好比物体检测、交通灯辨认、车道线猜测等。
这些使命的算法多数由云端的盘算平台在吞噬了巨大数据量后练习而来。因此，特斯拉的主动驾驶实在不存在“焦点算法”的概念，搭载在汽车终端上的是一个复杂的基于神经网络的体系，由无数个模块组合而成，宛如一座巨大的迷宫。
第三，在「终端芯片」方面，由于必要及时构建巨大的3D向量空间，每一辆开启FSD的特斯拉汽车都必要极强的算力来消化海量数据。马斯克的应对思绪非常清楚：招募团队，本身重新开始研发主动驾驶的终端芯片，替换掉英伟达的方案。
这里必要区分的是：我们通常说的车载焦点芯片通常有两类，一类是给智能座舱提供算力的芯片，这一类特斯拉根本都外购成熟的消耗级CPU，历代车型用过英伟达Tegra3（2012-2018）、Intel A3950（2018-2021）和AMD 的Ryzen（2021-至今）。
另一类则是给主动驾驶提供算力的芯片，算力要求更高，Mobileye和英伟达Drive PX2提供的是这类，特斯拉要自研的也是这类。思绪大抵是：在“CPU+GPU”的底子架构上再增加专门的AISC（专用集成电路），来办理潜伏的算力瓶颈。
末了，在「盘算平台」方面，特斯拉之前是购买英伟达的板卡来搭建数据中央，但既然决定要自研车载终端芯片，干脆把练习算法的盘算平台也一并自研。2019年4月，马斯克在特斯拉Autonomy Day上初次公布了超等盘算机Dojo的研发筹划。
综合来看，马斯克试图吃透无人驾驶的每一个环节，这是一个布满野心和疯狂的筹划。
特斯拉跟英伟达“分手”实属一定。一方面马斯克笃信“纯视觉”方案，试图跟其他厂商拉开差距，英伟达的通用硬件方案就无法满意需求了；另一方面，Drive PX2的售价高达10000美元+，这对本钱敏感体质的马斯克来说是一个难以安眠的数字。
英伟达对特斯拉实在相称有诚意，除了在订价方面给予了很大扣头之外，黄仁勋还在交际媒体上晒出本身的特斯拉座驾以及和马斯克的合照，让人仿佛梦回2005年苹果与Intel的世纪牵手。但特斯拉根本上也在重复苹果扬弃Intel的故事。
黄仁勋在交际媒体上分享本身的Model X
黄仁勋大概低估了特斯拉的刻意和气力，在2018年8月的一次业绩电话集会中，一位分析师问及特斯拉自研芯片的影响时，黄仁勋先是谈了一下自研芯片的难度，然后说：“假如他们没搞出效果，给我打电话，我会很乐意帮助的。”
电话集会竣事后，马斯克立刻在twitter上回应，说话的塑料交情感十足：“Nvidia制造了很棒的硬件，高度恭敬黄总的公司。”同时又很司马昭地表现：“我们的硬件需求是很独特的，必要跟我们的软件精密匹配。”
2018年是特斯拉Autopilot自研的冲刺节点：人工智能总监Andrej Karpathy向导团队通过大型神经网络来练习算法；硬件大神Jim Keller和交班人Pete Bannon主持终端FSD芯片的研发；元老级高管David Lau则领导近百人的团队改善数据收罗和车机交互……
特斯拉能不能交出一张满足答卷？不但英伟达想知道，全天下想抄作业的人也都在等候着。
04 答案：特斯拉是汽车公司，照旧AI公司？
2021年8月19日，当Andrej Karpathy在特斯拉AI Day上展示Transformer时，全天下的友商都瞪大了眼睛。
如前文所述，特斯拉“纯视觉”方案的第一步，就是把8个摄像头收罗的图像提取特性，融合成一个同一的三维向量空间。这个idea很符合“第一性原理”，是底子中的底子，但实现起来极难，传统的基于2D图像的CNN卷积根本办理不了题目。
极其复杂的3D向量空间
特斯拉的做法是用上了奇怪出炉的Transformer。在开头我们讲过，Transformer不但处置惩罚天然语言在行，处置惩罚盘算机视觉同样是神器，在Google和OpenAI都工作过的Andrej Karpathy天然不会放过，在第一时间就领导团队将其用在3D向量空间的创建上了。
这是一个巨大的突破。客观说只有办理了这个题目，特斯拉才有扬弃激光雷达的底气。
详细实现的方法，感爱好的读者可以详读参考文献[15]。特斯拉率先利用Transformer之后，环球偕行们纷纷跟随。应该说，Transformer除了把GPT大模子送到环球聚光灯之下外，它还在每一台具备主动/辅助驾驶功能的汽车里冷静发挥着作用。
固然，Transformer模子也只是特斯拉主动驾驶算法体系的一个“零部件”，跟它一起发挥作用的另有无数新老技能。而且要留意：人工智能是一门日行千里、乃至在不停加快的科学，本日的“神器”到了来日诰日，大概就会被更好的算法和模子替换掉。
Karpathy的展示只是特斯拉“全栈自研”的一小部门，由于差别团队进度的差别，面纱是渐渐被揭开的。
起首表态的实在是硬件。2019年4月，特斯拉终于发布了“自主可控”的主动驾驶硬件平台HW 3.0。环球科技圈对此期盼已久：老车主们重点关注可否免费升级，友商们纷纷掏出放大镜预备认真“学习”，而对冲基金和雷同System Plus如许的咨询公司则敏捷举措，在第一时间对HW 3.0举行了拆解。
HW3.0和HW2.5（HW2.0的简朴升级）板卡对比图
HW3.0一共包罗4746个零件，此中两颗刻有Tesla标志的银色FSD芯片最引人瞩目。这款芯片是特斯拉硬件自研的最大结果，由三星在得克萨斯州奥斯汀的工厂代工，接纳14nm FinFET工艺，面积约莫为260平方毫米，集成了60亿晶体管。
随后，在2019年8月的IEEE的Hot Chips集会（高性能处置惩罚器顶会）上，特斯拉芯片负责人Pete Bannon（Jim Keller已去职）展示了FSD的内部布局，可以看到特斯拉没有接纳英伟达通常的CPU+GPU架构，而是接纳高度定制的CPU+GPU+ASIC架构。
特斯拉第一代FSD芯片架构
这里的ASIC指的便是占据整块芯片最大面积的两颗神经网络处置惩罚单位（NNA），即NPU。每颗NPU核的峰值性能可以到达每秒36.86万亿次运算（TOPS），功耗却只有7.5W。与之相比，GPU内核只提供0.6TOPS的算力，成为副角。
我们之前把CPU比做数学系传授，把GPU比做一年级本科生，那NPU就是CPU部下的在读博士，无需手把手引导，就能快速的举行卷积运算和矩阵乘法运算。简朴来说就是：NPU成为提供算力输出的主力，CPU和GPU退居辅助位置。
HW3.0平台上配备了两颗FSD芯片，相互校对，相互冗余，整个体系的算力就是144TOPS，是前一代HW 2.5的7倍多（20TOPS）。而依附颠覆性的架构计划，整个体系的功耗低落到了220W，功耗比则从0.067TOPS/W跃升至0.65TOPS/W。
FSD芯片让特斯拉实现了芯片的“独立自主”，此时离他们第一次购买Mobileye的产物只已往了短短5年。
而围绕主动驾驶“四要素”，特斯拉的突破还在继承。在2021年8月19日举行的特斯拉AI Day上，除了人工智能总监Andrej Karpathy具体论述了基于视觉的神经网络方案外，「盘算平台」的突破结果也被展示出来，即特斯拉Dojo ExaPOD超等盘算机。
Dojo ExaPOD由120个练习模块构成，每一个练习模块包罗25块特斯拉自研的D1芯片，总芯片数目到达了3000块。D1芯片由台积电代工，接纳7nm工艺，3000块D1芯片叠加起来，直接让Dojo以1.1 EFLOP的算力成为环球第五大算力规模的盘算机。
Dojo负责人Ganesh展示D1芯片，2021 AI Day
客观评价，特斯拉究竟是芯片范畴的“新兵”，自研的芯片未必真的能媲美半导体巨头，尤其是研发Dojo的本钱比从英伟达直接买还要高。但思量到特斯拉在险些时零底子的环境下挤进了AI芯片第一梯队，这份结果单照旧充足良好的。
自此“本身动手，丰衣足食”，马斯克对“四要素”的全链条掌控已经根本成型：
接纳“纯视觉方案”，焦点算法基于深度神经网络，在云端由本身研发的Dojo超等盘算机举行练习，终端上自研的FSD芯片及时处置惩罚四周情况数据，辨认对象，猜测举动，作出判定，末了控制车辆动作，实现主动或半主动的“智能驾驶”。
为了加速主动驾驶的成熟速率，特斯拉在2020年10月启动了FSD Beta的内测，面向的人群是一小部门乐意把实际天下的行驶数据上传给特斯拉来举行算法练习和干山的车主，而收罗到的大量数据则会被喂给“云端”的超等盘算机来练习模子和算法。
大量花了15000美元选配FSD服务的车主乐意“自带干粮”给特斯拉充当“无人驾驶测试员”。2021年有2000多位车主到场了FSD Beta的内测；到2022年10月，这一数字飙升到了16万；之后FSD Beta向北美地域全部开放，到场车主数目到达36万。
一名北美用户正在利用FSD Beta，2022年
海量的数据投喂给日夜不绝的超等盘算机，带来了主动驾驶的快速迭代。在2022年的AI Day上，特斯拉给出了一组数据：收罗了480万段数据，练习了75778个神经网络模子，此中有281个模子被现实用到特斯拉车上，推动FSD迭代了35个版本。
在披露这些数据前，马斯克在开场白中讲了一句话：根本上我以为，我们是人工智能在实际天下应用的无可争议的向导者。
在ChatGPT火爆环球之后，这句话的可信度显然打了不小的扣头。不外从2013年开始，特斯拉用了9年就吃透了人工智能的玩法，把AI搬上了数百万台汽车，从算法、芯片再到盘算平台全部实现自研，根本上领先全部的竞争对手，包罗卖铲子的英伟达。
马斯克曾在微博称特斯拉的AI气力被“低估”
固然，争议始终陪同着特斯拉。一方面，L4级的主动驾驶难度过高，大量厂商被卡在L2级～L3级这一地带，纵然特斯拉的FSD更新到v11版本，也仍旧没有摆脱“Beta”的后缀。在本年2月初，特斯拉更是公布召回了36万辆配备有FSD的汽车。
另一方面，特斯拉在营销「主动驾驶」时的激进也少不了被口诛笔伐，马斯克在倾销自家的主动驾驶技能方面不但接地气，而且接地府，吹牛、撕逼、PUA偕行、期货当现货卖……无所不消其极。这种「演出」，有时间反而会让人忽略了特斯拉的真正气力。
但众所周知，特斯拉汽车在环球的热卖，现在跟主动驾驶关系不是很大，尤其在中国，FSD开通率只有可怜的2%不到，环球范围也只有10%～20%的程度。用户选择特斯拉汽车，更多的是由于品牌光环以及其在计划、制造、代价方面的上风。
而特斯拉之以是连续投资人工智能，除了自己主动驾驶是一大营销卖点外，另有一个缘故原由：人工智能将是将来20年人类最紧张的科技主线。
电动车财产固然坐拥风口，但本质上仍旧是制造业，服从曲线的改善会渐渐趋缓。好比，动力电池的容量不会每年翻一番，一体化压铸的本钱也不会每年降落50%，特斯拉在制造环节的上风在渡过红利期之后，早晚会被更卷的厂商追上。
但人工智能却像火箭一样在加快，并极有大概引爆一场像工业革命一样的海潮。假如特斯拉可以或许从一家单纯的汽车公司，酿成一家拥有两大落地场景（汽车和呆板人）的人工智能公司，那么本日投入的每一分钱，将来都将是跟竞争者的巨大上风。
不外特斯拉在AI范畴的狂飙，经常被一些戏谑性的场景所冲淡。2022年10月，被业界等待已久的Tesla Bot发布，但三名吃力抬着呆板人上台的壮汉让局面一度尴尬。两个月后ChatGPT引爆环球，Tesla Bot彻底成为环球AI狂欢的配景板。
被工作职员“抬”上来的Tesla Bot
OpenAI用ChatGPT告诉我们：人工智能的发展总是出现非线性的，一旦“奇点”邻近，发作就会以不可思议的速率到临。谁都不敢妄言特斯拉测试两年多的FSD Beta不会在不远的将来取得突破，这台装了FSD芯片的呆板人，也是一样。
从这角度出发，特斯拉这台电线裸露的Bot，是不是越看越像《复联2》的奥创大概施瓦辛格？
05 尾声：向老乡预警，给硅基带路
在2003年上映的影戏《闭幕者3》里，扑灭人类的超等盘算机——天网的算力是60 TFlops。
二十年已往了，游戏玩家手上的一张RTX 4090显卡，就能到达100 TFlops，相称于1.67个天网；一张英伟达A100的算力（FP16）可以或许到达156TFlops，相称于2.6个天网，而ChatGPT背后的数据中内心，至少有2万张英伟达A100和性能更强的H100。
《闭幕者3》里启动的SkyNet，2000年
人类在科技树的某一个枝桠上「狂飙」时，想象力大概都无法跟不上步调。如今是2023年，Google发表那篇论述“留意力机制”的论文，距今只有5年；AlphaGo击败李世石，距今只有7年；而OpenAI这家公司建立，距今也才不到8年时间。
特斯拉研发无人驾驶的时间线，跟人工智能这门科学在近10年的突飞猛进密不可分的，而人工智能的演进速率会越来越快。OpenAI首创人Sam Altman刚提了一个新的理论：新的摩尔定律将会开启，宇宙中的智能生命每隔18个月将会翻一倍。
在特斯拉投资者日公布的Master Plan 3（大志3）中，马斯克预期特斯拉将来每年可以或许生产2000万辆车——这也意味着，每年把2000万个拥有极强算力的硅基生命送到碳基人类的千家万户，同时这些终端的“智力”正在昼夜不绝地进化。
影戏《教父》里柯里昂说过说：离本身的朋侪要近，离本身的仇人要更近。马斯克显然明确无法拦截洪流，索性为硅基的崛起助力。至于这种“助力”，毕竟是碳基通往自由之路上的砖石，照旧绞刑架上的绳索，马斯克大概管不了那么多了。
一边向碳基老乡预警，一边给硅基皇军带路，马老师已经做出了本身的选择。我们呢？
全文完，总长1.2万字，感谢您的耐烦阅读。
本文撰写得到了ChatGPT的鼎力大举帮忙，特此鞠躬。
参考资料
[1]. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale, 2020
[2]. Elon Musk @twittter,2014-2018
[3]. South by Southwest Tech Conference, 2018
[4]. 汽车主动驾驶发展路径和财产链全景图, 将来智库
[5]. George Hotz Is Taking on Tesla by Himself, Bloomberg
[6]. Large-scale Deep Unsupervised Learning using Graphics Processors
[7]. Tesla AI Day, 2021-2022
[8]. 一个期间有一个期间的盘算架构，量子位
[9]. 与时间竞走，特斯拉Autopilot进化史，汽车之心
[10]. AI Chips: Challenges and Opportunities
[11]. ChatGPT幕后的真正大佬，量子学派
[12]. Meet The 'Jedi Engineers' Responsible For Tesla Autopilot
[13].新能源汽车的联发科时候，远川研究所
[14]. 鸿蒙座舱是怎样炼成的，饭统戴老板
[15]. Deep Understanding Tesla FSD: Vector Space，Jason Zhang
作者：戴老板/何律衡
编辑：罗松松
视觉计划：疏睿
责任编辑：戴老板 |
|
