这两天DeepSeek开源3FS并行文件系统的消息，犹如向AI基础设施领域投下一枚深水炸弹。3FS每秒能搬运6.6TB数据，相当于1秒钟传输完700部4K高清电影。还能自动调资源，国产芯片用了它，跟国际大牌的差距直接缩小到15%。
这并非简单的技术迭代——当Llama3 70B模型单次训练需吞掉15PB数据（相当于连续播放250万小时4K视频）时，全球AI实验室突然意识到：决定大模型训练效率的不仅是GPU算力，存储系统正成为影响进度的一大瓶颈。
当AI算力狂飙时，存储正在成为隐形战场
2024年，某头部AI公司曾因存储带宽不足，导致2000张A100显卡的算力利用率长期低于40%，单日经济损失超百万美元。这暴露了AI时代的“木桶效应”——当GPU计算速度进入微秒级时，一次突发的存储抖动就可能导致整个训练任务崩溃，让数周的计算成果瞬间蒸发。这或许也是DeepSeek自研存储的原因。
数据显示，存储优化可直接将175B参数模型的训练周期压缩30%，对应百万美元级的成本被填平。而在推理端，当10%的异常请求遭遇存储延迟波动时，P99响应时间会瞬间突破SLA红线，这正是某自动驾驶公司在线服务突发降级的根本诱因。
DeepSeek之所以选择自研3FS的本质，正是发现了存储架构在AI应用中的重要性。《金融行业先进AI存力报告》中提到，在同样的GPU算力规模下，存储性能的高低可能造成模型训练周期数倍的差异。在算力竞赛的背后，一场关于存储性能密度的暗战悄然升级，自研存储显得尤为重要。
5家头部厂商角逐AI存储，国产能否拔得头筹
相比于传统AI的需求，大模型对存力需求场景具有数据量大、参数规模大、训练周期长等特点。
为了提升大模型训练速度，需要对大规模数据集进行快速加载，且一般采用数百甚至上万张GPU构成计算集群进行高效的并行计算，需要高并发输入/输出（I/O）处理，而训练数据集呈现海量小文件的特点，文件量在几亿到几十亿量级，对应的带宽需求可能每秒要达到上TB，这就要求存储系统具备强大的数据管理能力，业界能达到该能力的仅寥寥几家。
从国内外优秀的并行存储产品具体能力对比来看，IBM作为老牌存储品牌，其产品从HPC场景成功向AI场景演进。在全球AI场景得到广泛应用的DDN，多个读、写带宽等关键性能指标上表现突出，但DDN由于技术封闭性、专有化硬件等原因，导致用户建设成本过高。
国产厂商DeepSeek 3FS虽然是开源的新产品，但相对老牌存储也有不错的表现，在读带宽能力上表现优异，单集群6.6TB/s，平均单节点36.7GB/s的读带宽。
另一家国产厂商京东云云海，在这个专业领域同样表现出色，以单节点95GB/s的读带宽、60GB/s的写带宽，进一步拉低了国产存储与国际老牌厂商的差距。相较于DeepSeek的3FS，京东云云海在提供高性能的同时适用性更广，可以同时满足DeepSeek、ChatGPT、LLaMA等20余种主流大模型的存力需求。
综上来看，随着大模型快速向纵深场景演进，对存储的要求也越来越高，DeepSeek 3FS、京东云云海等国产存储，显示出在处理大规模数据集时的优越性能。未来国产存储能否拔得头筹，让我们拭目以待。
这两天DeepSeek开源3FS并行文件系统的消息，犹如向AI基础设施领域投下一枚深水炸弹。3FS每秒能搬运6.6TB数据，相当于1秒钟传输完700部4K高清电影。还能自动调资源，国产芯片用了它，跟国际大牌的差距直接缩小到15%。
这并非简单的技术迭代——当Llama3 70B模型单次训练需吞掉15PB数据（相当于连续播放250万小时4K视频）时，全球AI实验室突然意识到：决定大模型训练效率的不仅是GPU算力，存储系统正成为影响进度的一大瓶颈。
当AI算力狂飙时，存储正在成为隐形战场
2024年，某头部AI公司曾因存储带宽不足，导致2000张A100显卡的算力利用率长期低于40%，单日经济损失超百万美元。这暴露了AI时代的“木桶效应”——当GPU计算速度进入微秒级时，一次突发的存储抖动就可能导致整个训练任务崩溃，让数周的计算成果瞬间蒸发。这或许也是DeepSeek自研存储的原因。
数据显示，存储优化可直接将175B参数模型的训练周期压缩30%，对应百万美元级的成本被填平。而在推理端，当10%的异常请求遭遇存储延迟波动时，P99响应时间会瞬间突破SLA红线，这正是某自动驾驶公司在线服务突发降级的根本诱因。
DeepSeek之所以选择自研3FS的本质，正是发现了存储架构在AI应用中的重要性。《金融行业先进AI存力报告》中提到，在同样的GPU算力规模下，存储性能的高低可能造成模型训练周期数倍的差异。在算力竞赛的背后，一场关于存储性能密度的暗战悄然升级，自研存储显得尤为重要。
5家头部厂商角逐AI存储，国产能否拔得头筹
相比于传统AI的需求，大模型对存力需求场景具有数据量大、参数规模大、训练周期长等特点。
为了提升大模型训练速度，需要对大规模数据集进行快速加载，且一般采用数百甚至上万张GPU构成计算集群进行高效的并行计算，需要高并发输入/输出（I/O）处理，而训练数据集呈现海量小文件的特点，文件量在几亿到几十亿量级，对应的带宽需求可能每秒要达到上TB，这就要求存储系统具备强大的数据管理能力，业界能达到该能力的仅寥寥几家。
从国内外优秀的并行存储产品具体能力对比来看，IBM作为老牌存储品牌，其产品从HPC场景成功向AI场景演进。在全球AI场景得到广泛应用的DDN，多个读、写带宽等关键性能指标上表现突出，但DDN由于技术封闭性、专有化硬件等原因，导致用户建设成本过高。
国产厂商DeepSeek 3FS虽然是开源的新产品，但相对老牌存储也有不错的表现，在读带宽能力上表现优异，单集群6.6TB/s，平均单节点36.7GB/s的读带宽。
另一家国产厂商京东云云海，在这个专业领域同样表现出色，以单节点95GB/s的读带宽、60GB/s的写带宽，进一步拉低了国产存储与国际老牌厂商的差距。相较于DeepSeek的3FS，京东云云海在提供高性能的同时适用性更广，可以同时满足DeepSeek、ChatGPT、LLaMA等20余种主流大模型的存力需求。
综上来看，随着大模型快速向纵深场景演进，对存储的要求也越来越高，DeepSeek 3FS、京东云云海等国产存储，显示出在处理大规模数据集时的优越性能。未来国产存储能否拔得头筹，让我们拭目以待。
本文链接：当红炸子鸡DeepSeek，为何花心思自研存储？http://www.sushuapos.com/show-2-11154-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： “七星连珠”为何并非“罕见奇观”