说起“存储”和“AI”,很多人会说存储对AI很重要,因为AI的发展是由海量数据支撑起来的,这就使得人们对数据处理提出了极高的要求,需要更大的内存去存储更多的数据,不得不承认,高性能的存储能让AI技术发挥出最大威力。但其实AI对存储也很重要,AI 时刻推动着存储的发展,究其原因绕不开存内计算(PIM :Processing in-memory)。
存内计算是一项打破传统冯诺依曼架构的新型运算架构,通过将存储和计算有机结合,直接利用存储单元进行计算,极大地消除了数据搬移带来的开销,解决了传统芯片在运行人工智能算法上的“存储墙”与“功耗墙”问题,可以数十倍甚至百倍地提高人工智能运算效率,降低成本。
虽然存内计算的基本概念早在上个世纪七十年代就已经被提出,但直到近些年才逐渐成为人们关注的焦点,原因在于,算力和运算数据量的激增导致存储墙问题愈发凸显,想要进一步提高算力,只有解决存储墙问题,而在各种解决方案中存内计算是最直接的一种方式,可以实现高能效、低功耗、低成本。
早在2019年,美光首席执行官 Sanjay Mehrotra 就指出,曾经的计算架构并不适合未来的发展趋势,从长远来看认为计算最好在内存中完成。当时美光另一位技术高管也坚信计算和内存的融合对于提高性能效率和降低延迟是必要的,并愿意为此付出努力。不少业内人士认为,未来存储器可能不仅仅是存储设备,还可能是加速器,或者还会具备其他的功能,例如更好的ECC等。
那么,面对数据量激增的未来,如何应对内存带宽挑战,实现更优质的 PIM来减轻各种 AI 驱动所面对的诸如HPC、培训和推理等工作负载?AI就是一个很好的选择,随着技术的演进,越来越多的存储厂商开始加入AI战…
卡位AI,投资先行
如何最快获得一项新技术,投资/收购就是极为常见的一种方式,存储厂商开启AI投资热潮大约是在2018年前后,这一年也是人工智能的狂欢年,Google Duplex代替人类自动接打电话、欧盟正式发布的人工智能道德准则草案、OpenAI的5v5 DOTA AI“Open AI Five”再次完胜人类、全球第一个“AI合成主播”正式上岗…种种一切似乎让人们意识到,只在小说中存在的AI时代真的要来了。
2018年6月,存储龙头三星公布了一项专注于 AI 科技和初创公司的新基金“Samsung NEXT Q Fund ”,将为那些解决AI问题以及使用AI解决计算机科学问题的初创公司提供种子轮和 A 轮融资支持,公告中特别提到,包括的领域涉及模拟学习、场景理解,问题学习方案和人机交互。
到了2018年8月,三星集团宣布,未来三年将在AI、汽车零部件等领域投资逾220亿美元,其中大部分投资由三星电子承担;2021年8月,三星再次公布未来三年会投资240万亿韩元(约合2055亿美元)到生物制药、人工智能、半导体、机器人等领域。从2018年的220亿美元,到2021年的2055亿美元,十倍的增长,虽然AI并不是三星电子加大投资的惟一领域,但显然已经是被锁定的新成长领域。
在2018年三星宣布成立新基金后不久,美光也宣布通过美光创投投入一亿美元在人工智能及机器学习新创公司,当时消息显示,投资新创不仅有助于加速人工智能的发展,还能间接带动对于DRAM与NAND内存与3D Xpoint等次世代内存的需求。
或许是投资已经没办法满足需求,又或许是美光进一步认识到了存内计算的重要性,到了2019年,美光科技直接收购了人工智能硬件和软件初创公司Fwdnxt,这在当时的行业内掀起了不小的波澜。美光认为,Fwdnxt的技术与美光的存储芯片结合使用时,能够使美光具备探索数据分析所需的深度学习AI解决方案的能力,尤其是物联网和边缘计算。
美光方面还表示,收购Fwdnxt不仅不会与英特尔、英伟达等有更多的竞争,相反反而会有更多的合作。在美光看来,没有人可以在数据中心领域与他们竞争,存储厂商想要分得一杯羹,为英特尔等提供更多帮助,那么在边缘计算方面进行研究,将会是美光获得最大效率和规模经济的地方。
数据中心是互联网、云计算和人工智能等领域的通用支撑技术,中国信通院《数据中心白皮书2022》报告显示,2021年全球数据中心市场规模超过679亿美元,预计2022年市场收入将达到746亿美元。而存储和AI都是数据中心不可缺少的重要部分,一方面任何数据中心的数据最终都要放置到存储设备上。另一方面,AI能够帮助数据中心提高能源效率,进而节省成本,还能帮助优化运维,使用预测分析来帮助数据中心分配工作负载。那么,当数据中心的“左膀右臂”结合在一起,势必会带来奇效,这或许也是美光收购Fwdnxt的一部分考量。
而在2019年,SK海力士也加入了这场AI投资战,甚至攻势十分凶猛。2019年年初,SK海力士投资了地平线;2020年9月,宣布投资Gauss Labs公司,旨在通过工业人工智能(AI)解决方案引领半导体制造业创新;2022年1月,SK 海力士又同SK Telecom 以及 SK Square一起宣布,成立联合发展协会,首先将砸 800 亿韩元,在美国设立 AI 半导体公司 SAPEON,SK 海力士持有25%的股份,这对于SK 海力士来说,在 NAND 闪存以及AI领域的事业也会更进一步扩张。
AI对存储提出了新的要求
在谈及AI时代下的新型存储产品,首先要了解AI的到来,对存储技术提出了哪些新的需求。
华邦电子是中国台湾最大的DRAM厂商,同时他们也是全球SPI NOR Flash的主要供应商之一,专注于利基型 DRAM 和 NOR Flash 等存储业务的他们,对于AI时代的到来有着更为深刻的理解。
华邦电子DRAM产品营销部经理曾一峻在接受半导体行业观察的采访时提到:“最初行业认为AI将发生在云端,但是在接下来两年中,边缘计算则更加盛行。究其原因,物联网设备数据量的增多,使得云端数据处理的负荷过大,因而,数据处理开始向边缘计算转移。在这个过程当中,就需要RAM来提供支持,但边缘端无法像云端那样可以把存储器无限制地扩张,所以需要对AI网络模型进行压缩。”
“目前市场上有很多工具可以对AI模型进行压缩,甚至可以控制在10MB以下,在这样的情况下Micro Controller就可以利用这样的很小型神经网络做AI运算。”曾一峻指出:“当然,Micro Controller里面不会配置拥有高容量的SRAM,因为成本太高。所以它就会采用外挂内存的处理方式。
AI时代同样对于闪存产品有着新的要求,而对于闪存产品来说,终端用户永远都会期待闪存产品拥有以下三个优点,即PCB占地小,成本低,组合多样化。
多种技术架构待产学研共同探索
面向智能化时代的算力需求和计算服务业态变革,英特尔、三星等IDM厂商和新锐的算力芯片厂商都在探索存算一体芯片,并衍生出不同的架构和技术路线。
刘洪杰表示,目前全球存算一体仍处于蓬勃发展阶段,没有一种技术架构占据绝对主导地位。2017年,第一批存内计算公司兴起,目前存内计算中有一些技术已经可以落地,需要产业界加大投入,研发质量过关的产品。
“存内计算本身也有一个类似摩尔定律的发展过程,包括代工厂针对存内计算专用的工艺提升。其次是先进的材料,目前能够量产的存内计算存储器中,Flash和SRAM新型存储器更适合做存内计算,需要更多在新型存储器件上的研究。另外,存内计算从算法到供应链生态上也需要产学研结合,相互融合促进发展。” 刘洪杰说。
作为多年来DRAM市场份额的冠军,三星于2021年推出了结合DRAM的高带宽内存-内存内处理 (HBM-PIM),将AI计算能力引入内存。通过将经过DRAM优化的 AI 引擎置于每个存储子单元内,将处理能力直接引入到数据的存储位置,从而实现并行处理并尽可能减少数据移动。相较三星此前的高带宽内存方案,新架构能够提供超过两倍的系统性能,并降低 70% 以上的能耗。
英特尔的神经拟态计算芯片Loihi也采用了存算一体的架构,使之更加容易扩展。Loihi芯片的裸片包含128个小核,每个核里面模拟1024个神经元的计算结构,每个神经元又有1000个突触连接,这意味着768个芯片连接起来可以构建接近1亿神经元的系统。
国内聚焦存算一体芯片的企业则大多采用SRAM(静态随机存取存储器)和Flash路线。
九天睿芯基于“模拟特征提取+模数混合电荷域SRAM”架构实现存内计算,第一颗感存算一体芯片ADA100于2021年回片。后摩智能第一代芯片基于SRAM、第二代芯片基于PRAM。苹芯科技的两款产品也基于28nm SRAM。
知存科技主要采用嵌入式Flash工艺,于2020年发布第一代存算一体芯片产品WTM1001,2022年实现存算一体SoC芯片WTM2101量产并落地应用。
“近年来,随着新兴非易失存储器的发展,国内开始出现做存算一体大算力的公司,同时不断有新玩家涌入。但距离大规模应用,还有约10年的时间,从工艺、材料、算法、工具链到生态,都需要产业界和学术界的不断投入与共同推进。”王绍迪说。
写在最后
AI从概念被提出来开始就似乎是一个“万金油”般的存在,5G需要AI、元宇宙需要AI、自动驾驶需要AI,甚至于连EDA都需要AI。如今,AI又已经“渗入”存储芯片领域,各大存储厂商为此展现出“十八般武艺”,但未来谁能成为拔得头筹者,我们拭目以待。