5月7日，以“数据觉醒，构建AI-Ready的领先数据基础设施”为主题的2024创新数据基础设施论坛在柏林举行。华为公司副总裁、数据存储产品线总裁周跃峰博士发表题为“数据觉醒时代，华为重新定义数据存储”主题演讲，他表示，具备极致性能、数据韧性、全新数据范式、高扩展性、绿色节能、数据编织能力的数据存储是AI时代存储演进的必由之路。


数据存储的新要求

AI大模型集群规模已迈入万卡、十万卡时代，集群规模增加带来更加频繁的故障和训练中断，重复的CheckPoint数据写入、断点续训导致算力资源闲置，集群可用度不足50%。此外，到2026年，全球数据中心的耗电量预计将达到2022年的2.3倍，相当于日本一个国家全年的耗电量，其中数据中心一半以上的电力消耗都将被AI占据。

AI时代呼唤新一代数据存储。过去的数据存储主要关注性能、可靠、数据范式三个方面；面向未来，AI存储还应增加三个维度：高扩展性、绿色节能与数据编织。数据觉醒时代，华为将重新定义数据存储，聚焦于六个方面的创新，持续引领：

极致性能：超越传统存储10倍的性能，支持PB级带宽以及亿级IOPS，极大提升生成式AI全流程效率；

数据韧性：通过架构和技术创新，实现99.9999%高可靠性，通过内置防勒索引擎，实现侦测准确率提升至99.99%，并将AI训练过程中CheckPoint恢复时间缩至1分钟以内；

全新数据范式：使能多维“张量”格式的数据，通过智能检索引擎，具备快速的张量数据检索能力；通过内嵌知识库，利用RAG技术消除AI大模型幻觉；

高扩展性：存储集群支持EB级容量横向扩展；每个引擎可支持多GPU、DPU或NPU纵向扩展，以支持近存计算；

绿色节能：通过存储介质应用创新和整机硬件创新，实现小于1Watt/TB的存储能效和1PB/U的存储密度；

数据编织：基于存储元数据管理及检索能力，实现全局数据可视、可管，并支持10倍的数据流动效率提升。

基于以上创新，华为推出全新A系列高性能存储OceanStor A800，专为AI而生，可有效提升AI集群可用度30%。性能方面，OceanStor A800带宽是友商同类产品的4倍，IOPS达友商的8倍；支持EB级容量扩展，最大支持扩容至4096张算力卡，512个存储控制器；从空间能耗来看，密度高达1PB/U，能耗低至0.7Watt/TB；结合向量化索引、张量格式数据、RAG知识库，使能全新数据范式；数据韧性方面，勒索攻击侦测准确率从99.9%提升至99.99%；通过数据编织能力，实现数据资产管理。


数据爆炸来临

国产替代加速

在新兴技术驱动下，存储主要面对的是云计算、大数据和人工智能等大规模数据应用场景。相较于传统存储，源于大型互联网数据中心的“软件定义存储”技术，天生具有的可扩展性以及灵活性，数据存储行业为新基建时代带来了革命性的数据储存手段。

伴随着信息产业的迅猛发展和普及，数据存储技术已成为现代信息产业架构中不可或缺的底层基座。然而，日益增长的数据存储需求，要求数据存储技术在介质、架构、协议、应用与运维模式等数据存储行业方面不断发展演进。

当前数据资源已成为关键生产要素，更多的产业通过利用物联网、工业互联网、电商等结构或非结构化数据资源来提取有价值信息;而海量数据的处理与分析均要求构建大数据中心。

近年来，伴随着互联网的快速发展以及在各行业的渗透，互联网行业的IDC需求仍是推动中国数据中心(IDC)业务市场规模绝对值增长的主要驱动力，数据存储行业市场始终保持市场规模量级的增长。


1、大数据时代来临，数据量和数据价值陡升，催生存储需求

随着半导体和云计算的发展解决计算成本和计算能力问题，神经网络和深度学习在算法效率上实现突破，以人工智能、物联网等为代表的万物智能应用将使各行各业的数据量以远超摩尔定律的速率爆发增长。

目前近六成的企业已成立数据分析相关部门，超过 1/3 的企业已实际应用大数据。随着数据集中、数据挖掘、商业智能、协同作业等大数据处理技术的日趋成熟，数据价值呈指数上升趋势，数据逐渐成为企业越来越重要的无形资产，因此使得存储行业快速升温。

预计未来大数据引出的存储增量需求主要有三方面，一是数据量扩大引起的扩容需求，二是数据分析和处理产生的倍增数据存储需求，三是数据价值被发掘后，企业会对数据的安全保障投入更大的精力，进而产生更多的容灾需求和备份需求。


2、国家实行信息化安全战略，极大促进国内数据存储厂商的发展

近年来随着互联网+、移动互联网、物联网、大数据、云计算的快速发展，数据逐渐成为用户的核心信息资产。2013 年“美国棱镜门”事件和“RSA 后门”事件的影响持续发酵，个人隐私意识和企业数据安全意识不断提升，国家已将核心 IT 产品自主可控提升到战略高度，近年来相继出台了一系列鼓励信息产业自主可控的法律法规和产业政策，随着国家对信息基础设施的重视程度日益提高，相关市场的空间日益扩大，信息产业核心基础设施的国产化替代趋势正在加快。


3、中高端市场增速明显，国产化替代空间较大

近年中国外部存储市场为例，进入高端市场排名的厂商中，国外厂商占据 56.5%的市场份额，国内厂商以华为、曙光、DCN、宏杉为代表，占据 39.4%的市场份额；进入中端市场排名的厂商中，国外厂商占据 38.0%的市场份额，国内厂商以华为、浪潮、宏杉、同有、宇视、曙光、联想、DCN 为代表，占据 53.0%的市场份额。因此，中国存储市场的国产化程度仍有较大的提升空间。

近年来国内中高端存储市场发展较快，市场规模在不断扩大，且国产化替代仍有较大空间，在政策面的大力支持下，国内厂商正在逐步扩大自身的市场份额。公司在中高端存储产品方面拥有完全的自主知识产权且已形成成熟丰富的产品组合，因此有望在未来中高端存储市场领域进一步扩大自身销售规模。

分布式存储“渐当大任”

面向非结构化数据量爆炸式增长和存储需求的持续升级，各厂商纷纷推出分布式存储新品，其高性能、大容量、绿色低碳等特质，将加速海量非结构化数据进入各行各业的生产决策系统，提升生产决策效率和业务体验。

与传统的集中式存储技术不同，分布式存储没有将数据存储在某个特定节点上，而是通过网络将各个节点分散的存储资源汇聚成一个虚拟的存储设备，将数据分散在各处。相较于集中存储，分布式存储成本低，扩展性好，弱化了关系数据模型，可以得到高并发和高性能。

众所周知，传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。随着各行业数字化转型的加速，越来越多的数据被生产出来，分布式存储成为企业应对海量数据挑战的重要助力。

而且，不同类型的数据需要用不同的分布式存储系统去处理。图片、视频等非结构化数据，由于个体相互之间没有关联，体积大，采用二级制，通常使用分布式文件系统进行存储；自描述的数据结构和内容混在一起的半结构化数据，比较简单的可以用分布式键值系统存储，较为复杂的一般采用分布式表格系统来存储区；结构化数据由分布式数据库存储。

分布式云存储技术在数据存储领域得到了广泛应用，并为云计算技术的迅速发展提供了坚实的基础。在云环境下，分布式存储系统能够实现计算资源和存储资源的单独横向扩展，计算资源不足时直接扩容计算节点，存储空间不足时只需扩容存储节点，极大地节省硬件资源降低成本。


市场需求强烈，厂商纷纷推出分布式存储方案

面对着市场上对于分布式存储产品的需求，不少厂商已经在布局该赛道，其中不乏腾讯云、字节跳动和天翼云等国内云计算大厂，纷纷推出相应产品赋能企业加速数字化进程。

作为腾讯云的分布式存储服务，腾讯云COS具有高扩展性、低成本、高可靠性和安全性等特点，在架构上，腾讯云COS推出新一代同城多活存储系统，利用EC编码技术，将数据分块、分机房存储，将存储的可靠性提升了10倍，并通过新一代高可用机制，保障机房故障时，能够让读写请求正常执行，使得业务访问可用性提升了10倍。

在智能分层存储领域，腾讯云COS此次也推出了新的探索，其在标准层与低频层的基础上，将归档层、深度归档层也加入智能分层存储的纳管范围内，实现了更大范围、更完善的数据自动分层，从而帮助用户选择更合理、与业务更匹配的存储类型，进一步降本增效。

另外一家互联网厂商字节跳动也“不甘人后”，推出了自研分布式存储系统ByteGraph。针对非结构化数据，ByteGraph支持数据模型，支持Gremlin查询语言，支持灵活丰富的写入和查询接口，读写吞吐可扩展到千万QPS，延迟毫秒级。另外，ByteGraph主要用于在线OLTP场景，而在离线场景下，非结构式数据的分析和计算需求也逐渐显现。

目前，ByteGraph支持了头条、抖音、 TikTok、西瓜、火山等几乎字节跳动全部产品线，遍布全球机房。