英伟达 GPU 一战成神

　　AI的火爆使得英伟达的市值水涨船高，成功跻身万亿美元俱乐部，作为公司的灵魂人物，黄仁勋一路走来经历了哪些故事？这位皮衣客又是如何一步步建立了他的显卡帝国？从神经网络AlexNet、到ChatGPT，再到生成式AI的大爆发，英伟达的GPU功不可没。在这场AI淘金热中，英伟达的市值水涨船高，成功进入万亿美元俱乐部，成为全球第6大市值最高的公司。若说英伟达的成功背后，一定离不开这位灵魂人物——黄仁勋。人人皆知乔布斯、盖茨等科技巨人的故事，而一直不愿意抛头露面的老黄，除了一身皮衣，更多的经历鲜有人知。这次，纽约客的最新深挖了老黄创业历程、管理方式、以及如何带领英伟达走向成功的过程。老黄早年那些事黄仁勋出生于1963年的台湾，九岁时，他和哥哥被送往美国，在肯塔基州的奥奈达浸信会学院（OneidaBaptistInstitute,inKentucky）学习。黄仁勋和一个17岁的室友住在一起，他教室友识字，作为交换，室友教他卧推。每天晚上睡觉前，黄仁勋都要做一百个俯卧撑。由于年龄太小，黄仁勋不能在这所学校上课，于是他去了附近的一所公立学校。当时，校长向大家介绍了这位身材矮小、留着长发、操着浓重口音的亚洲移民。然而，也正因为这些特质，让黄仁勋饱受同学的霸凌。几年后，黄仁勋的父母获准进入美国，定居在俄勒冈州，兄弟俩与父母团聚。黄仁勋高中时成绩优异，是全国排名靠前的乒乓球运动员。他参加了学校的数学、计算机和科学俱乐部，跳了两级，16岁就毕业了。——但是他也表示「我没有女朋友。」后来，黄仁勋进入俄勒冈州立大学，主修电子工程。在入门课上，他的实验搭档是LoriMills，认真、呆萌、有着一头棕色卷发。据黄仁勋回忆，当时电子工程专业有250个学生，大概只有三个女生。男生们争相吸引Mills的注意，黄仁勋觉得自己处于劣势。「我是班里最年轻的孩子，看上去只有12岁左右」。——然而，每个周末，黄仁勋都会给Mills打电话，缠着她一起做作业。「我想给她留下深刻印象，不是因为我的长相，而是因为我完成作业的能力很强。」做了六个月的功课后，黄仁勋鼓起勇气约她出去。她接受了邀请。毕业后，黄仁勋和Mills在硅谷找到了一份微芯片设计师的工作——「她实际上比我挣的多」。后来两人结婚了，几年后，Mills离开了工作岗位，去抚养他们的孩子。那时，黄仁勋已经开始经营自己的部门，晚上则在斯坦福大学读研究生。3人创业，缘起一家餐厅1993年，他与ChrisMalachowsky和CurtisPriem两位资深微芯片设计师共同创立了英伟达公司。Malachowsky和Priem希望设计出一种图形芯片。最初他们给公司起名叫NVision，但后来得知这个名字已经被一家卫生纸制造商使用。黄仁勋建议使用英伟达，取自拉丁文i英伟达，意为「嫉妒」。他选择丹尼餐厅（Dennys）作为组织业务的场所，是因为这里比家里安静，而且有便宜的咖啡。他曾于1980年代在俄勒冈州的连锁餐厅工作过。「我发现，在逆境中我的思维最活跃。」黄仁勋喜欢电子游戏，他认为市场需要更好的图形芯片。那时，艺术家们开始用被称为「基元」的形状来组装三维多边形，而不是手工绘制像素，这样做省时省力，但需要新的芯片。英伟达的竞争对手使用三角形作为基元，但黄仁勋和同伴决定改用四边形。——不过后来证明这是一个错误，差点毁了公司。因为在英伟达发布第一款产品后不久，微软宣布其图形软件将只支持三角形。由于资金短缺，黄仁勋决定回到传统的三角形方法。1996年，他裁掉了英伟达一百多名员工中的一半，然后把公司剩余的资金押在了未经测试的微芯片生产上，他不确定这些微芯片是否能成功。——「成功和失败的概率五五开，但无论如何我们都要倒闭了」。当这款名为RIVA128的产品上市时，英伟达的资金仅够支付一个月的工资。但这场**得到了回报，英伟达在四个月内卖出了一百万台RIVA。黄仁勋鼓励他的员工带着绝望的情绪继续出货，在以后的日子里，每逢面对员工演讲，他的开场白就是「我们公司还有三十天就要倒闭了」。这句话至今仍是公司的非正式座右铭。位于圣克拉拉（SantaClara）的英伟达总部中心有两座巨大的建筑，每座建筑都呈三角形。从沙发、地毯到小便池的防溅罩，整个大楼内部都是这种形状的缩影。每栋大楼的顶层都有一个酒吧，公司鼓励员工把办公室当作灵活的空间，在这里用餐、编码和社交。如果员工在会议桌上用餐，AI可以在一小时内派遣清洁工进行清理。在股价上涨之前，英伟达就被评为美国最佳工作场所之一。在标准计算机体系结构中，大部分工作由被称为中央处理器（CPU）的微型芯片完成。几十年来，CPU的主要制造商一直是英特尔，英特尔曾多次试图迫使英伟达退出市场。黄仁勋描述英伟达与英特尔之间的关系是「TomandJerryrelationship」——每当他们靠近，我们就拿起芯片跑路。对此，英伟达采用了另一种方法。1999年，公司在上市后不久就推出了名为GeForce的图形卡。与通用CPU不同的是，GPU把复杂的数学任务分解成小的计算，然后用并行计算的方法一次处理完。CPU的功能就像一辆送货卡车，一次送一个包裹；而GPU则更像一支摩托车队，在城市中穿梭。GeForce系列取得了成功。《Quake》（《雷神之锤》）系列游戏推动了它的流行，该游戏使用并行计算来渲染玩家可以用榴弹发射器射击的怪物。《Quake》系列还推出了多人对战的模式，PC游戏玩家为了获得优势，每次升级都会购买新的GeForce显卡。2000年，斯坦福大学计算机图形学的研究生IanBuck将32块GeForce显卡连接在一起，使用8台投影仪玩Quake。——这是第一台8K分辨率的游戏机，它占据了整面墙。「Itwasbeautiful.」GeForce显卡附带了一种叫做「着色器」的原始编程工具。在美国研究机构darpa的资助下，IanBuck黑进了着色器，访问了下面的并行计算电路，将GeForce变成了一台低成本的超级计算机。随后不久，IanBuck就开始在英伟达上班了。自2004年以来，Buck一直负责英伟达超级计算软件包（CUDA）的开发工作。黄仁勋的愿景是让CUDA能够在每一块GeForce显卡上运行。在Buck开发软件的同时，英伟达的硬件团队开始在微芯片上为超算分配空间。英伟达的首席芯片工程师ArjunPrabhu将微芯片设计比作城市规划，芯片的不同区域专门用于执行不同的任务。2006年底，当CUDA发布时，华尔街的反应是惊愕。黄仁勋将超级计算带给了大众，但大众并没有表现出他们需要这样的东西。硅谷流行播客《Acquired》的主持人BenGilbert表示，英伟达花了数十亿美元瞄准学术和科学计算的一个不起眼的角落，而这在当时并不是一个大市场。到2008年底，英伟达的股价下跌了70%。黄仁勋认为，CUDA的存在将扩大超级计算领域。但这一观点并未得到广泛认同。2张英伟达显卡，1个CUDA架构，引爆神经网络20世纪初，提起AI，完全是一个冷门的学科。人工智能在图像识别、语音识别等领域的进展一直止步不前。在这个不受欢迎的学术领域中，使用「神经网络」（受人脑启发的计算结构）来解决问题，更是没有得到许多计算机科学家的青睐。当时，深度学习研究员BryanCatanzaro劝阻老黄，「不要研究神经网络。因为当时人们认为，这已经过时了，而且不起作用」。Catanzaro还将继续研究神经网络的研究人员，统一称为「荒野中的先知」。这其中的一位先知，便指的是从多伦多大学教授退休、有AI教父之称的GeoffreyHinton。2009年，Hinton的研究小组使用英伟达的CUDA，训练了一个神经网络来识别语音。没想到，这项研究结果的质量，让Hinton本人感到非常惊讶，并在当年的一次会议上汇报了结果。然后，他主动联系了英伟达。「我发了一封电子邮件说：『听着，我刚刚告诉上千名机器学习研究人员，他们应该去购买英伟达显卡。你能免费送我一块吗？』」。然而，英伟达最后的回复只有一个字「No」。尽管受到了冷落，Hinton还是鼓励自己的学生使用CUDA，包括自己引以为傲的高徒AlexKrizhevsky。2012年，Krizhevsky和研究伙伴IlyaSutskever在预算紧张的情况下，购买了2张GeForce显卡——GTX580GPU。然后，Krizhevsky开始在英伟达的并行计算上，训练视觉识别神经网络——AlexNet，一周内就向其输入了数千万张图像。Hinton回忆道，「他的卧室里那两块GPU一直嗡嗡运转不停，可想而知，他父母一定支付了相当可观的电费」。随后，Krizhevsky和小伙伴一起带着AlexNet参加了一年一度的ImageNet大赛，一举夺得冠军，第一个深度卷积网络模型就此诞生了。GeForce显卡的能力，让Ilya和Krizhevsky双双感到惊讶。其实，2012年早些时候，谷歌研究人员吴恩达、JeffDean曾训练了一个可以「识别猫」的神经网络。谷歌这项工作使用了大约1.6万个CPU，而Sutskever和Krizhevsky仅用2块英伟达电路板就产生了「世界级」的效果。AlexNet正确识别了滑板车、豹子和集装箱船等物品的然而，AlexNet在比赛中得分如此之高，以至于组织者最初怀疑Krizhevsky是否以某种方式作弊。因为神经网络在当时并不受欢迎，Ilya和Krizhevsky是唯一一个使用这种技术的参赛团队。Hinton称，「那是一种大爆炸的时刻。这就是范式的转变」。这篇「ImageNetClassificationwithDeepConvolutionalNeuralNetworks」9页神作自2021年诞生以来，至今已被引用了了14万+次，成为计算机史上重要的里程碑。Krizhevsky开创了许多重要的编程技术，但他的主要发现是，「专用的GPU可以训练神经网络，速度比通用CPU快100倍」。Hinton补充道，「如果没有CUDA，做机器学习就会非常麻烦」。随后几年内，ImageNet竞赛的每个参赛者都在用上了「神经网络」。到20世纪20年代中期，在GPU上训练的神经网络识别图像的准确率达到了96%，远远超过了人类。过去十年来，黄仁勋在推动超级计算和GPU的普及上取得了巨大的成功。他表示，「事实上，它们现在可以解决完全非结构化的计算机视觉问题，那么接下来，你还能教它做什么？」老黄再下注：英伟达从图形公司，升级「AI公司」答案似乎是：什么都可以！黄仁勋总结说，神经网络将彻底改变社会，他可以利用CUDA占领必要的硬件市场。当时，他宣布再次押注公司。他在周五晚上发出一封邮件，「一切都将转向深度学习，我们不再是一家图形公司。从下周一早上开始，我们是一家人工智能公司」。英伟达的蜕变，从字面上看，就是这么快。就在黄仁勋发送那封电子邮件之时，他找到了英伟达首席人工智能研究员Catanzaro，进行了一次思想实验。Catanzaro表示，「他让我想象，把英伟达的8000名员工都带进停车场，然后我可以自由地从停车场选择任何人加入自己的团队」。H100，成大模型掘金铲在AlexNet成功之后，风险投资人开始向AI投入大笔资金。AndreessenHorowitz公司的MarcAndreessen在2016年表示，「我们一直在投资许多将深度学习应用于许多领域的初创公司，每一家公司都有效地建立在英伟达的之上」。大约在那个时候，英伟达向OpenAI的研究小组，交付了第一台专用的人工智能超级计算机DGX-1。黄仁勋亲自把DGX-1带到了OpenAI的办公室，是由时任董事长的马斯克开箱。2017年，谷歌的研究人员提出了Transforme的神经网络架构。次年，OpenAI的研究人员便使用谷歌的框架构建了第一个「生成式预训练Transformer」。GPT模型在英伟达超级计算机上进行训练，使用了大量的文本语料库，并学习如何建立类似人类的联系。2022年底，经过多年迭代，当红炸子鸡ChatGPT终于面向公众发布。也就是从那时起，英伟达显卡需求爆单。其中，最强悍的DGXH100，一个重达160多公斤的金属盒子，价格高达50万美元，已经缺货了数月。DGXH100的运行速度是训练ChatGPT的硬件的5倍，并且可以在不到1分钟的时间内训练AlexNet。英伟达预计，将在23年年底前售出50万台DGXH100。应用于神经网络的处理能力越强，其输出就越复杂。对于最先进的AI系统，或许需要数十个英伟达DGXH100。如果这还不够，英伟达将把这些计算机像图书馆堆栈一样排列，用价值数千万美元的超级计算设备填满数据中心。显然，人工智能的能力没有明显的限制。在接下来的几年里，英伟达的硬件将加速进化到计算机时钟周期的速度，从而训练出各种类似的人工智能模型。据介绍，英伟达卖出的设备毛利率接近70%。巨大的利润让所有开发AI训练硬件的谷歌、特斯拉，以及初创公司都垂涎欲滴。说起来，英伟达最激烈的竞争对手是AMD。自2014年以来，AMD一直由另一位才华横溢的工程师苏姿丰（LisaSu）经营。自她成为公司负责人以来的几年里，AMD的股价上涨了30倍，使她成为这个时代最成功的半导体CEO，仅次于黄仁勋。值得一提的是，老黄和苏姿丰还是亲戚关系。黄氏管理法老黄本人很少接受。他表示，「我并没有做什么特别的事，主要是我的团队的努力，我也不确定为什么我被选为首席执行官，我并没有任何特别的驱动力」。当老黄下定决心在30岁经营一家企业的时候，他的联创ChrisMalachowsky说，「你真的不是一个好演讲者，因为你比较内向」。老黄表示，「我只有一个超能力——做作业」。英伟达软件主管DwightDiercks称老黄可以在一个周末掌握任何课题。黄仁勋更喜欢敏捷的公司结构，没有固定的部门或等级制度。取而代之的是，员工每周提交一份清单，列出他们正在做的5件最重要的事情。而他自己，每天也要写几百封回复的邮件，与员工聊天，通常仅有几句话。一位高管将这些邮件比作俳句，另一位还比作赎金票据。老黄自己还制定了一套自己经常引用的管理格言。在安排任务时，老黄会要求员工考虑「光速」。这不仅意味着快速行动；相反，员工应该考虑一项任务可以完成的绝对速度，然后朝着可实现的目标逆向努力。也许老黄最激进的信念是「失败必须分享」。2000年初，英伟达曾出货了一款有故障的显卡，风扇声音过大、过度活跃。然而，黄仁勋没有解雇该显卡的产品经理，而是安排了一次会议，让经理们向几百人介绍了，他们做出的每一个导致惨败的决定。英伟达的员工们有时也会抱怨，老黄的性格反复无常。黄仁勋表示，「这其实是我脑子里想的和嘴里说的不一致。当错位很严重时，就会表现为愤怒」。即便在他很冷静的时候，黄仁勋的强势也可能是压倒性的。一名员工形容，「与他交流就像把手指插进电插座里」。尽管如此，英伟达员工流失率很低。GPU的销量暴涨，也让英伟达成为了世界算力霸主，成功进入万亿美元俱乐部。这背后离不开领导人黄仁勋的「疯狂式」的管理策略。老黄曾表示，当你创立一家公司时，很自然地从第一性原理开始。参考资料：广告文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，所有均包含本。