IT之家2月28日音讯,DeepSeek在开源周第五天发布了3FS(Fire-FlyerFileSystem),这是一个专为充分运用当代SSD和RDMA汇集带宽而考虑的并行文献系统。该系统展现了惊东谈主的数据探询性能,为深度学习等数据密集型应用提供了浩繁的复旧。
IT之家附上开源地址:https://github.com/deepseek-ai/3FS
3FS性能亮点
集群高空洞:在180节点集群中,3FS达成了高达6.6TiB/s的团员读取空洞量。
基准测试优异:在25节点集群的GraySort基准测试中,ag百家乐网址入口3FS达到了3.66TiB/min的空洞量。
单节点高性能:每个客户端节点的KVCache查找峰值空洞量跳动40GiB/s。
架构先进:3FS罗致去中心化架构,并具备强一致性语义。
3FS应用场景
3FS在DeepSeek的V3/R1版块中获取等闲应用亚博ag百家乐,涵盖了检会数据预惩办、数据集加载、查验点保存/重新加载、镶嵌向量搜索以及推理经由中的KVCache查找等要道模范。此外,DeepSeek还开源了基于3FS的数据惩办框架Smallpond。