图源:腾讯云官方
过去一年，大模型搅动全球科技圈。2024年初，Sora、Kimi等应用产品爆火，大模型迎来新一轮狂欢。
时代财经从腾讯云获悉，数据存储约占大模型训练整体工程量的20%-30%。AIGC相关应用持续爆发，数据存储的重要性正在逐渐凸显。
“训练数据是大模型云存储的重要步骤，云存储系统需要能够快速响应数据读写请求，提供低延迟、高吞吐量的存储服务。还要具备可扩容性和暂存能力，比如训练出现突发情况后，能在原有基础上重启继续训练。”某云厂商行业人员向时代财经表示。
4月8日，腾讯云宣布云存储解决方案面向AIGC场景全面升级，能够针对AI大模型数据采集清洗、训练、推理、数据治理全流程提供全面、高效的云存储支持。数据显示，采用腾讯云AIGC云存储解决方案，可将大模型的数据清洗和训练效率均提升一倍，需要的时间缩短一半。
腾讯云对象存储COS支持单集群管理百 EB 级别存储规模，提供便捷、高效的数据公网接入能力，并支持多种协议，充分支持大模型PB级别的海量数据采集。
在数据清洗环节，大数据引擎需要快速地读取并过滤出有效数据，COS通过自研数据加速器GooseFS提升数据访问性能，可实现高达数TBps的读取带宽，支撑计算高速运行，大大提升数据清洗效率。
在模型训练环节，通常需要每2-4小时保存一次训练成果，以便能在GPU故障时时能回滚，因此快速地读写checkpoint文件也成了能否高效利用算力资源、提高训练效率的关键。
腾讯云自主研发并行文件存储CFS Turbo ，面向AIGC训练场景的进行了专门优化，每秒总读写吞吐达到TiB/s级别，每秒元数据性能高达百万OPS，均为业界第一。3TB checkpoint 写入时间从10分钟，缩短至10秒内，使大模型训练效率大幅提升。
同时，随着训练数据和推理数据的增长，需要提供低成本的存储能力，减少存储开销。对象存储服务提供了高达 12 个 9 的数据持久性和 99.995% 的数据可用性，能够为业务提供持续可用的存储服务。
在此之前，腾讯云已经面向AIGC场景推出了基于星脉网络的大模型训练集群HCC、向量数据库、以及行业大模型服务MaaS等大模型全链路云服务。
“稳定性、性能、性价比是大模型时代云存储的核心。”腾讯云智能存储总监叶嘉梁说道，他认为，腾讯云存储未来要做的是把数据的价值开放给客户，让客户能有效地利用好数据。
据今年1月国际调研机构沙利文联合头豹研究院发布的《2023年中国云存储解决方案》报告，腾讯云存储位居国内厂商第一位，获增长指数和创新指数双第一，入选中国云存储解决方案市场“领导者”阵营。
时代财经从腾讯方面获悉，目前已有80%的头部大模型企业选择腾讯云AIGC云存储解决方案，包括百川智能、智谱、元象等明星大模型企业。
