据九位熟悉英伟达计划的消息人士向《路透社》透露,英伟达正设立一个新的业务部门,致力于为云计算公司及其他公司设计定制芯片,包括先进的 AI 处理器。
英伟达的目标是在井喷式增长的定制 AI 芯片市场中分得一杯羹,越来越多的公司有意寻找替代英伟达产品的解决方案。
英伟达目前控制着高端 AI 芯片市场约 80%的份额,这个地位使其市值今年迄今已暴涨了 40%,达到 1.73 万亿美元,此前英伟达市值在 2023 年已增长两倍多。
英伟达的客户包括 ChatGPT 的开发者 OpenAI、微软、Alphabet 和 Meta Platforms,竞相抢购供应日益减少的英伟达芯片,以便在迅速崛起的生成式 AI 领域展开竞争。
英伟达的 H100 和 A100 芯片为许多这些大客户充当普遍性的通用 AI 处理器。但这些科技公司已经开始针对具体的需求自行研发内部芯片。这么做有助于降低能耗,并可能降低设计成本、缩短设计时间。
据知情人士透露,英伟达目前正试图在帮助这些公司开发定制AI芯片方面发挥作用,这些芯片的市场被博通和 Marvell Technology 等竞争对手所主导。
为什么英伟达选择ASIC?
英伟达选择ASIC的原因,其实从其新部门面向客户中可以窥见一二。新部门面向的主要是云计算公司,这和英伟达目前在主要的北美CSP(云计算供应商)企业重叠,包括Google Cloud、AWS、Microsoft Azure和Meta等企业。
这些企业都已经开始进行自家芯片的开发,例如Google的TPU和微软的AI加速器Maia及专为Azure设计的CPU “Cobalt”。
因此英伟达进军ASIC的原因有二:第一,占领新的市场。第二,保护自己免受替代。
先来看占领新的市场。数据中心定制芯片的蛋糕并不小,据研究公司650 Group估计,数据中心定制芯片市场今年将增长至100亿美元,到2025年将翻一番。
Needham分析师Charles Shi表示,2023年更广泛的定制芯片市场价值约为300亿美元,约占全球芯片年销售额的5%。
数据中心的定制芯片的市场中有两大巨头:博通和Marvell。在高端ASIC市场,博通以35%的市占率,稳坐龙头宝座,Marvel以12%的市占率居次。博通和Marvell其实都认为随着数据中心处理器变的多样,会让定制芯片的模式重新焕发生机。
原因在于,AI时代中,ASIC芯片也能撑起一片天。
这就谈回了一个老问题:ASIC、GPU,谁是最合适的AI芯片?其实这两类芯片有各自的特点,但在满足算力需求上是相互竞争的。简单来说,GPU有先发优势,技术发展时间长,使用成本较低,但是功耗高。ASIC面向特定用户需求设计的定制芯片,在吞吐量、功耗、算力水平等方面都有优势。
在20世纪90年代时,很多大型企业都渴望设计和提供针对特定应用的定制ASIC设备,同时提供更好的性能。Sony、Toshiba和IBM最初设计的用于Sony Playstation 3的Cell Processor就是一个例子。不过,由于ASIC的成本高,随着为特定产品设计ASIC变得越来越难以合理规模,ASIC的岁月似乎过去。
ASIC和GPU的分歧就在这:成本。
因为从性能来看,针对特定场景或应用所设计的ASIC芯片,会比英伟达所卖的通用GPU更有优势。以前一直使用GPU,也带火了英伟达等厂商的业绩和股价,但后来大家发现,随着机器学习、边缘计算发展,算法更加成熟和稳定,自己完全有足够的计算需求去分摊ASIC的成本。
尤其ChatGPT爆火以后,英伟达GPU产品掉队,很多企业都是靠着服务器CPU+ASIC的形式,来满足用户对于AI训练和推理的算力需求。
这就展示出ASIC在AI时代的作用。Marvell的计算与定制集团技术副总裁Mark Kuemerle观察到:“关于这些数据中心客户的有趣事实是,如果他们的系统中出现轻微的瓶颈点,问题会被放大1000倍甚至更多(因为它们部署在超大规模中)。”这样的瓶颈点可能导致NIC卡住。现成的机器学习设备可能无法匹配工作负载或满足灵活性或可编程性的需求。
Kuemerle说:“这些超大规模数据中心真的必须将一切精确调整到他们的工作负载。那么,他们投资建设定制芯片绝对是值得的。”
ASIC早已成为GPU面临的强大竞争者。
虽说各大厂商购买英伟达GPU,花钱如流水,既然都是流水,为什么不定制更适合自家应用场景的芯片呢?要定制就要花钱,英伟达同样想把大厂定制芯片的钱,纳入自己的钱包。
再来看“免受替代”是怎么回事。目前,谷歌、亚马逊、特斯拉和Meta都推出了ASIC芯片。
300 亿美元的市场
据研究公司 650 Group 的 Alan Weckel 估计,数据中心定制芯片市场今年将增长到100 亿美元,到 2025 年将翻一番。
Needham 的分析师 Charles Shi 表示,2023 年,更广泛的定制芯片市场价值约为 300亿美元,约占全球芯片年销售额的 5%。
目前,博通和 Marvell 称霸数据中心的定制芯片设计。
在典型的安排中,英伟达等设计合作伙伴将提供知识产权和技术,但将芯片制造、封装及其他步骤留给台积电或另一家合同芯片制造商处理。
英伟达进入这一领域可能会抢占博通和 Marvell 的市场份额。
芯片研究集团 SemiAnalysis 的创始人 Dylan Patel 说:“博通的定制芯片业务规模接近100亿美元,而 Marvell 的业务规模约 20 亿美元,新来者英伟达是不容忽视的威胁。这对这两家厂商来说确实是重大利空:更多的竞争对手加入了混战。”
软硬件一体化技术爆发
根据,研究机构JIWEI咨询报告,在芯片设计领域,软硬件一体化技术在2023年度表现突出,全球专利公开量较去年增长超过1/4,而我国的专利公开量的涨幅更是超过60%。
从专利公开趋势来看,过去20年里软硬件一体化技术的创新一直不温不火,专利年公开量维持在500件上下,而从2022年开始,软硬件一体化技术迎来了高速发展,2023年度专利公开量已达近千件。
从全球的创新地区分布来看,2023年度我国在软硬件一体化领域的专利公开量占全球近60%,除中美以外,其他国家在该领域的投入均较小。整体来看我国虽然是全球软硬件一体化技术创新成果最多的国家,但多数企业竞争实力有限。
这也就是说,不仅具备强大实力的大厂们在技术达到了芯片定制化的水平,在全球芯片设计及半导体领域已经达成一种共识,那就是芯片定制是一种趋势,虽然不是每个厂商都可以实现,但技术的积累不容错过!