AI大模型带动存储变革业界呼吁重视存力建设

首页 > 资讯 > 资讯 >

AI大模型带动存储变革业界呼吁重视存力建设

2023-08-04 01:34:37 来源：21世纪经济报道小 中

眼下，AI大模型正重塑着千行百业，也包括与之息息相关的算力产业链。

在AI芯片屹立风口之时，业内对存储芯片、存储设备的关注度也直线上升，HBM（高带宽存储）、近存计算等概念大热。

大模型建立在数据和算力之上，而海量数据需要更强悍的存储性能，从而更好地释放算力，因此在大模型的推动下，存储产业正在新需求下升级变革。

(资料图片仅供参考)

近日，华为数据存储产品线总裁周跃峰就谈到了存力的重要性：“大模型时代，数据决定AI智能的高度。作为数据的载体，数据存储成为AI大模型的关键基础设施。”

一直以来，计算、存储和网络被视为数据中心三大件，它们是关系紧密的有机体系，分别对应着算力、存力和运力。如今在算力蓬勃发展的同时，存力正越来越受到重视。近年来国内建设了诸多算力中心，现在的新趋势是开始建设大量的存力中心。

打造AI大模型是一个复杂的系统过程，其间面临着不少挑战。在华为看来，企业在开发及实施大模型应用过程中存在四大挑战。

首先，数据准备时间长，数据来源分散，归集慢，预处理百TB数据需10天左右，这不利于系统的高效利用。

其次，如今大模型的规模越来越大，达到千亿甚至万亿的参数级，训练需要海量的计算资源和存储空间。比如多模态大模型以海量文本、图片为训练集，但是当前海量小文件的加载速度不足100MB/s，训练集加载效率低。

其三，大模型参数频繁调优，训练平台不稳定，平均约2天出现一次训练中断，需要Checkpoint机制恢复训练，故障恢复耗时超过一天。

最后，大模型实施门槛高，系统搭建繁杂，资源调度难，GPU资源利用率通常不到40%。比如，它需要非常专业的软件、硬件甚至是维护工程师来进行实施并进行后续的维护。

可以看到，大模型的到来，给数据和存储提出了新的要求。华为分布式存储领域副总裁韩振兴表示：“在AI刚兴起的时候，针对小模型，很多客户会找一些服务器的本地盘来解决。但是随着大模型的兴起，需要一个外置的非常灵活扩展的存储。如果数据量载入过慢，会造成建设的算力都在闲置，所以需要一个不仅是外置的存储，而是一个极高性能的新品类和解决方案。”

为了解决这些瓶颈，头部的企业们已经开始牵头进行产业界合作。近期，华为针对不同行业、不同场景大模型应用，推出OceanStor A310深度学习数据湖存储与FusionCube A3000训/推超融合一体机。

其中，前者是面向基础/行业大模型场景，支持96闪存盘，带宽可达400GB/s，IOPS达到1200万；后者面向行业大模型的训练、推理一体化的场景，集成了存储、网络、多样性的计算，降低企业使用AI大模型的门槛。目前，华为的存储产品已在国内的十大模型厂商得到部署，包括科大讯飞、中国科学院等。

据悉，目前全球高端的存储设备厂商主要有三家，分别是华为、戴尔EMC和日立。随着AI大模型日新月异，企业对于高端存储的需求也将更进一步，华为、戴尔、日立等也将在存储的顶级战场上展开新一轮竞争。

周跃峰算了一笔成本账单：在AI的大模型训练过程里，包括数据准备、接入实施等整体成本中，算力的成本占25%左右，即买服务器和GPU；数据准备、清洗与处理这些工作（包括人工）的成本大概占22%。

同时，周跃峰还举了一个例子来说明存储的重要性，由于英文的数字化记录资料远远多于中文，ChatGPT训练英文的效率比中文高很多。他表示，中国如果不重视存力，对未来AI的产业发展以及人工智能的潜力的发挥会有巨大制约作用。

数据显示，预计2025年中国数据量将从7.6ZB增至48.6ZB，超过美国成为全球第一。当前，全球各国都在加快制定国家数据战略，其中，存储技术和产业成为共同关注的战略重点。

虽然AI算力中心不断兴起，但是中国工程院院士、中国科学院计算技术研究所研究员倪光南指出，目前普遍对算力的理解有片面性，广义算力不仅包括算力，还包括存力、运力。当前中国算力中心的存力相对不足，存在重算力轻存力的倾向。

韩振兴也表达了类似观点，他谈道，在算力和存力的建设有一个最佳的算存比，并不是靠推算力就能把AI做好。算力建设过多、存力建设过少，这会导致算力闲置，造成资源的浪费。所以一定要去重视存力，达到一个最佳的整体算存比。

当前国内的存储发展还跟不上数据量的增长。根据倪光南提及的一组数据，中国单位GDP的数据存储量只有美国70%左右，而人均数据存储量，美国是中国的9倍。美国为212GB/人，中国约为25GB/人，说明中国数据存储产业大有可为、前景广阔。

在业界呼吁关注存力建设的同时，国内在政策面也有了更多支持计划。为进一步加快推动我国算力高质量发展，日前工信部新闻发言人赵志国表示，将出台指导算力基础设施高质量发展的政策文件，加大高性能智算供给，加强先进存储产品部署，开展算力网络优化行动，加快构建云边端协同、算存运融合的一体化、多层次的算力基础设施体系。

关键词：