清华大学智能产业研究院里:研究员正在标注用于AI训练的图像数据集,处理着成千上万张图片;
某高校超精密光电仪器工程研究所里:研究员正忙碌于解析刚刚收集的海量数据。
......
科研探索的步伐加快,研究数据量也在激增。随之而来的是,存储的扩容、性能、安全等问题。
从用户的真需求中提炼大创新,我们希望用一套存储方案,帮助高校实现科研效率的飞跃,助力提升中国科研创新实力!
科研烦恼1
实验数据多,扩容难:科研工作处理的数据不断积累,从TB级增长到PB级、甚至也在从PB级不断跃升,甚至像大型基因测序科研每日会产生10TB到100TB的下机数据。
对于存储系统来说,这不仅是容量的挑战,更是性能提升的考验。
科研烦恼2
I/O瓶颈,进度慢:科研人员运行Llama2、ChatGLM、Baichuan等AI模型训练软件时,经常遇到这些崩溃瞬间:
AI训练任务频繁中断、需要频繁保存checkpoint文件,训练集小文件数据读取慢...
运行基因测序仪和软件,FastQ大文件,聚合带宽GB级到几十GB,测序时间从1天到几周越来越久,经历漫长等待...
这些烦恼源自于存储的大、小文件性能跟不上,导致大幅了降低工作效率。
科研烦恼3
数据有丢失风险,不可靠:高价值的科研成果,如果被误删或遭到勒索软件的加密将不得不重返工,浪费大量时间,耽误科研进度。
一套存储,扩展灵活 让科研更高效
最快60秒完成扩展,性能不受影响
基于分布式架构,EDS存储支持单存储多硬盘池以及多存储池的灵活扩展,轻松应对数据量的激增。同时,通过数据分层技术,智能分配数据至不同性能的存储介质,确保了存储性能的线性提升。
无论是自动驾驶的卫星图像数据,还是AI模型训练的大规模数据集,EDS都能提供充足的存储空间和高效的数据处理能力。
效率提升30%,加速科研成果输出
基于EDS存储创新自研凤凰分布式文件系统,为科研打造了全NVMe级高性能大“Tier”层,同时支持科研场景专用客户端、NVME over RDMA、NFS+、GDS、IB等关键能力,数倍提升海量小文件的性能和大文件吞吐率。让众多的科研任务并发访问存储群集节点,明显缩短科研工作周期,加速科研结果输出。
全面保护!科研不中断,数据0丢失
EDS存储为科研用户提供了多层次的可靠性保障,确保科研任务的连续性和数据的安全性。
- 安全防护:包括内置防勒索模块,支持硬盘故障隔离和端到端数据校验,防止数据安全问题中断科研进程;
- 数据恢复:利用元数据矩阵式算法,实现分钟级的性能无损快照,同时通过远程复制、增量备份等能力,确保科研数据的完整性;
- 管理优化:还提供文件回收站、WORM和用户行为日志审计等能力,减少人为误操作的风险,降低纠错成本,提升科研工作效率。
在实际应用中,清华大学智能产业研究院、某高校超精密光电仪器工程研究所等顶尖高校和科研机构都在使用EDS存储。
凭借深信服EDS存储高性能、高可靠性的优势,高校科研将不再受限于物理空间的束缚,也不再受限于数据存储的边界,可以自由地探索在科技的最前沿!