近年來(lái),隨著各行業(yè)數(shù)智轉(zhuǎn)型逐步深入以及人工智能大模型的蓬勃發(fā)展,氣象分析、大模型訓(xùn)練、自動(dòng)駕駛、石油勘探、EDA仿真、基因分析等高性能計(jì)算(HPC)場(chǎng)景和智算場(chǎng)景(AI)不僅對(duì)算力需求激增,也產(chǎn)生了圖片、視頻等大規(guī)模非結(jié)構(gòu)性數(shù)據(jù),企業(yè)在實(shí)踐中面臨著數(shù)據(jù)量大、存儲(chǔ)性能不足等問(wèn)題,導(dǎo)致訓(xùn)練阻塞、算力利用率低甚至訓(xùn)練中斷現(xiàn)象頻繁發(fā)生。在此背景下,企業(yè)需要不斷創(chuàng)新和優(yōu)化存儲(chǔ)系統(tǒng)技術(shù)架構(gòu),以便實(shí)現(xiàn)更加高效、可靠和靈活的存儲(chǔ)解決方案。
作為云服務(wù)國(guó)家隊(duì),天翼云堅(jiān)持科技創(chuàng)新,不斷加快推進(jìn)數(shù)據(jù)存儲(chǔ)基礎(chǔ)設(shè)施建設(shè),創(chuàng)新推出并行文件服務(wù)HPFS(CT-HPFS,High Performance File Storage),助力企業(yè)構(gòu)建高性能存儲(chǔ)底座。天翼云HPFS支持全NVMe閃存和InfiniBand高速網(wǎng)絡(luò),并融入RDMA技術(shù),可提供最高千萬(wàn)IOPS和TBps吞吐,同時(shí)保證亞毫秒時(shí)延。該產(chǎn)品具有高性能、高可靠性、高可擴(kuò)展性的特點(diǎn),可充分滿足企業(yè)在HPC和AI等場(chǎng)景下的存儲(chǔ)需求。
天翼云HPFS具備共享訪問(wèn)、彈性擴(kuò)展、安全可信、性能優(yōu)越四大產(chǎn)品優(yōu)勢(shì)。
在共享訪問(wèn)方面
HPFS支持?jǐn)?shù)千臺(tái)客戶端掛載同一文件系統(tǒng),從而實(shí)現(xiàn)共享訪問(wèn);無(wú)縫適配主流應(yīng)用程序進(jìn)行數(shù)據(jù)讀寫(xiě),滿足多客戶端并行計(jì)算場(chǎng)景需求。
在彈性擴(kuò)展方面
HPFS元數(shù)據(jù)采用集群架構(gòu),單文件系統(tǒng)文件數(shù)量可達(dá)百億級(jí)別,文件系統(tǒng)支持在線擴(kuò)展。
在安全方面
HPFS采用多種EC糾刪碼方式、熱備盤(pán)備份來(lái)保證數(shù)據(jù)的可靠性。同時(shí),支持HA,故障時(shí)自動(dòng)切換,服務(wù)可用性在99.90%以上,有效保障數(shù)據(jù)安全。
在性能方面
HPFS使用100G以太網(wǎng)或IB、RoCE網(wǎng)絡(luò),性能隨文件系統(tǒng)容量增長(zhǎng)呈線性提升,同時(shí)可保證亞毫秒時(shí)延。
天翼云HPFS在高性能并行文件存儲(chǔ)方向持續(xù)突破,面向HPC/AI場(chǎng)景大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)及性能深度優(yōu)化,保障用戶數(shù)據(jù)安全、實(shí)現(xiàn)高效存儲(chǔ)。
在HPC場(chǎng)景,天翼云HPFS支持并行計(jì)算MPI-I/O(Message Passing Interface)接口,在多客戶端同一時(shí)間并發(fā)讀寫(xiě)同一個(gè)文件時(shí),通過(guò)字節(jié)粒度鎖機(jī)制,保證文件一致性,大幅提高多客戶端讀寫(xiě)同一文件的性能。
在AI應(yīng)用領(lǐng)域,天翼云HPFS支持萬(wàn)億參數(shù)大模型,助力客戶構(gòu)建高速大模型訓(xùn)練平臺(tái),根據(jù)不同AI業(yè)務(wù)流程特點(diǎn),靈活調(diào)用存儲(chǔ)服務(wù)能力,滿足數(shù)據(jù)預(yù)處理、訓(xùn)練、仿真等數(shù)據(jù)存儲(chǔ)能力的要求,并大幅提升訓(xùn)練數(shù)據(jù)讀取和checkpoint回寫(xiě)速度,降低企業(yè)AI訓(xùn)練成本投入,加速模型迭代。
未來(lái),天翼云將繼續(xù)加大數(shù)據(jù)存儲(chǔ)產(chǎn)品技術(shù)創(chuàng)新,以扎實(shí)的數(shù)據(jù)存儲(chǔ)能力,為客戶打造高性能存儲(chǔ)底座,持續(xù)推動(dòng)技術(shù)創(chuàng)新與產(chǎn)業(yè)協(xié)同發(fā)展,為構(gòu)建安全、高效的數(shù)據(jù)基礎(chǔ)設(shè)施貢獻(xiàn)力量。