繼榮獲2021戈登·貝爾獎(jiǎng)之后，中國超算再傳捷報(bào)：根據(jù)近日發(fā)布的全球高性能計(jì)算存儲(chǔ)系統(tǒng)排名IO500榜單，Top 3均為中國自研系統(tǒng)，其中華為獨(dú)占兩席。算力、存儲(chǔ)和應(yīng)用開始協(xié)同發(fā)展，中國超算「造強(qiáng)用弱」的局面正在發(fā)生實(shí)質(zhì)性的轉(zhuǎn)變。

?

數(shù)據(jù)被視為新時(shí)代的石油，不同的是，人類有多焦慮有限的石油何時(shí)被耗盡，就有多煩惱無限的數(shù)據(jù)該如何被保存。

?

作為數(shù)據(jù)處理、分析和應(yīng)用的基礎(chǔ)共性支撐，存儲(chǔ)始終是計(jì)算機(jī)系統(tǒng)的性能瓶頸所在，高性能計(jì)算（HPC）領(lǐng)域尤其。

?

中國超算一直因「造強(qiáng)用弱」而飽受非議，這也是為什么近年來國內(nèi)超算業(yè)界對(duì)Top 500榜單排名表現(xiàn)得云淡風(fēng)輕，而對(duì)再獲戈登·貝爾獎(jiǎng)的消息卻倍感振奮——盡管困難重重，計(jì)算正向著百億億次級(jí)（E級(jí)）穩(wěn)步邁進(jìn)，應(yīng)用也開始跟了上來。

?

但是，關(guān)鍵的存儲(chǔ)卻少見蹤影——直到上個(gè)月為止。

?

2021年11月，最新的全球HPC存儲(chǔ)系統(tǒng)性能排名IO500榜單在SC21上公布，Top 3都是中國自研系統(tǒng)，而且其中兩臺(tái)都是華為已經(jīng)大規(guī)模商用的系統(tǒng)。

根據(jù)最新發(fā)布的全球HPC存儲(chǔ)系統(tǒng)性能排名IO500榜單，Top 3均為中國自研系統(tǒng)，其中華為獨(dú)占兩席。

?

其中，華為OceanStor Pacific系列存儲(chǔ)（Huawei HPDA Lab），以2395.03的總分名列第二。該系統(tǒng)采用NVMe SSD全閃存固態(tài)硬盤，基于自研的OceanFS高性能并行文件系統(tǒng)，在10節(jié)點(diǎn)上實(shí)現(xiàn)了337.75 GB/s（314.56 GiB/s）的帶寬和超過1800萬 IOPS 的元數(shù)據(jù)性能。

?

這是什么概念？

?

還記得45TB的GPT-3原始訓(xùn)練數(shù)據(jù)集嗎？

?

不等你泡好一包方便面就已經(jīng)傳完。

?

不鳴則已，一鳴驚人

?

大數(shù)據(jù)、云存儲(chǔ)和人工智能的快速發(fā)展，不僅增強(qiáng)了對(duì)高性能存儲(chǔ)系統(tǒng)的需求，也對(duì)I/O支持應(yīng)用的性能、數(shù)據(jù)可用性等方面提出了很多新的挑戰(zhàn)。

?

為促進(jìn)領(lǐng)域更好發(fā)展，HPC存儲(chǔ)專業(yè)社區(qū)The Virtual Institute of I/O，2017年11月制定并提出了一套全面衡量HPC存儲(chǔ)系統(tǒng)的基準(zhǔn)測試，也即IO-500，旨在反映HPC存儲(chǔ)系統(tǒng)的真實(shí)性能，并要求所有測試過程細(xì)節(jié)包括參數(shù)配置全部公開，以便用戶了解每個(gè)存儲(chǔ)系統(tǒng)的優(yōu)勢(shì)及缺點(diǎn)。

?

很快，IO-500便得到了全球HPC存儲(chǔ)業(yè)界的積極響應(yīng)，成為領(lǐng)域事實(shí)上的權(quán)威標(biāo)準(zhǔn)。國內(nèi)超算界的多位專家也向機(jī)器之心表達(dá)了他們對(duì)IO500榜單的重視。

?

IO-500基準(zhǔn)測試主要考察兩大關(guān)鍵指標(biāo)——帶寬（GiB/s）和元數(shù)據(jù)性能（k-IOPS）。前者是大型文件持續(xù)高速傳輸?shù)谋ＷC，后者對(duì)不同類型數(shù)據(jù)的高效讀寫十分關(guān)鍵。

?

計(jì)算總分采用幾何平均數(shù)的方式，消除個(gè)別極高或極低指標(biāo)的影響，因此更加均衡的系統(tǒng)能夠獲得更高的分?jǐn)?shù)。換句話說，IO500榜單總分越高，HPC存儲(chǔ)系統(tǒng)的綜合性能就越好。

?

為了展現(xiàn)實(shí)際應(yīng)用場景中的性能，IO-500中還有一個(gè)「10節(jié)點(diǎn)基準(zhǔn)測試」，考察在客戶端數(shù)量不超過10的情況下，被測系統(tǒng)的帶寬和元數(shù)據(jù)性能。值得一提的是，華為OceanStor Pacific系列存儲(chǔ)在10節(jié)點(diǎn)榜單上也名列第二（Huawei HPDA Lab）。

?

排名第二的華為OceanStor Pacific存儲(chǔ)系統(tǒng)IO-500測評(píng)具體指標(biāo)，可以看出各項(xiàng)性能均衡。

?

性能提升的技術(shù)根源：

軟硬件協(xié)同優(yōu)化，面向下一代高性能數(shù)據(jù)分析

?

IO500榜單中值得關(guān)注的一點(diǎn)是，并沒有多少Top 500超級(jí)計(jì)算機(jī)的身影。

?

例如現(xiàn)今世界最快的超級(jí)計(jì)算機(jī)日本的富岳，前幾次IO-500測評(píng)結(jié)果不甚理想，這次干脆沒有參加測評(píng)。

?

這里面當(dāng)然有包括超算戰(zhàn)略在內(nèi)的考慮，比如中國這次就沒有將新一代神威超算系統(tǒng)提交參與Top 500排名。但I(xiàn)O500與Top 500之間差異，體現(xiàn)出了當(dāng)前算力與存儲(chǔ)的不均衡。

?

原因也不難理解，隨著超算與大數(shù)據(jù)、人工智能的融合，HPC正加速向高性能數(shù)據(jù)分析（HPDA）轉(zhuǎn)型。HPDA應(yīng)用的特點(diǎn)是數(shù)據(jù)量大且經(jīng)常出現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)、時(shí)效性強(qiáng)、算法復(fù)雜，因此其I/O模型與傳統(tǒng)HPC負(fù)載有很大差異。

?

國防科技大學(xué)計(jì)算機(jī)學(xué)院院長、銀河系列高性能計(jì)算機(jī)、天河一號(hào)和天河二號(hào)的副總設(shè)計(jì)師盧凱曾在CCF HPC CHINA 2020指出，傳統(tǒng)的并行文件系統(tǒng)并不適合最新的存儲(chǔ)硬件技術(shù)，POSIX提供的強(qiáng)一致性在很多情況下實(shí)際上嚴(yán)重影響了存儲(chǔ)系統(tǒng)的性能，屬于「大材小用」。

OceanStor Pacific系列存儲(chǔ)是華為2020年5月發(fā)布的產(chǎn)品，專門面向HPDA應(yīng)用場景，針對(duì)HPDA負(fù)載「數(shù)據(jù)密集型」的特點(diǎn)，在硬件和軟件方面做了一系列優(yōu)化。

?

其中配置最高的一款「OceanStor Pacific 9950高密性能型」，官方稱「5U 8節(jié)點(diǎn)，80盤位NVMe SSD，提供160 BG/s帶寬和200萬IOPS」，對(duì)比這次IO-500基準(zhǔn)測試結(jié)果，可以說是保守宣傳了。

?

就在今年6月，權(quán)威測評(píng)機(jī)構(gòu)ESG實(shí)驗(yàn)室對(duì)華為OceanStor Pacific系列存儲(chǔ)做了全面的技術(shù)測評(píng)，實(shí)測驗(yàn)證了穩(wěn)定高性能、多協(xié)議融合訪問、混合負(fù)載訪問、超高密設(shè)計(jì)等指標(biāo)，并對(duì)其性能、成本和可靠性給予了充分的肯定。

?

不要忽視「可靠性」，根據(jù)HPC市場分析機(jī)構(gòu)Hyperion Research的調(diào)研，企業(yè)在采購或選擇HPC系統(tǒng)時(shí)，通常算力第一、成本第二，近年來存儲(chǔ)雖然得到更多關(guān)注，但企業(yè)往往忽視后期運(yùn)維，而由于停機(jī)造成的損失——哪怕只有幾小時(shí)——?jiǎng)虞m上萬美元。

?

保存數(shù)據(jù)就是保存價(jià)值，E級(jí)計(jì)算需要與之匹配的存儲(chǔ)設(shè)施

?

目前，華為OceanStor Pacific系列存儲(chǔ)已用于科研、油氣勘探、自動(dòng)駕駛、衛(wèi)星測繪、生命科學(xué)、工業(yè)CAE、超算等多個(gè)場景，滿足不同HPDA應(yīng)用對(duì)數(shù)據(jù)傳輸和讀寫的不同需求。

?

華為數(shù)據(jù)存儲(chǔ)與機(jī)器視覺產(chǎn)品線總裁周躍峰曾指出，目前世界上只有不到2%的數(shù)據(jù)得到保存，而在這些被保存下來的數(shù)據(jù)中僅有10%得到應(yīng)用，海量的數(shù)據(jù)未被存儲(chǔ)和應(yīng)用是數(shù)字化經(jīng)濟(jì)當(dāng)中最大的問題之一。

?

由于存儲(chǔ)受限，科研人員不得不經(jīng)?？紤]該保留哪些數(shù)據(jù)，刪掉哪些數(shù)據(jù)。例如CERN每次運(yùn)行實(shí)驗(yàn)都會(huì)產(chǎn)生PB級(jí)的數(shù)據(jù)，而他們只存儲(chǔ)寫論文或?qū)嶒?yàn)報(bào)告所必需的內(nèi)容，余下的全部刪掉，因?yàn)楣馐潜４媲罢呔鸵呀?jīng)十分艱巨。

?

被刪掉的數(shù)據(jù)就像滅絕的物種，失去了就永遠(yuǎn)回不來了。一同消失的還有蘊(yùn)含在其中的價(jià)值。

?

建設(shè)超級(jí)計(jì)算機(jī)從來都不是為了追求極致算力——這是手段而非目的——而是為了計(jì)算那些現(xiàn)在還無法計(jì)算的問題。

?

但如果數(shù)據(jù)沒被存儲(chǔ)下來，計(jì)算從何談起？

?

E級(jí)計(jì)算時(shí)代，新的HPC系統(tǒng)將承載更多類型的業(yè)務(wù)，面對(duì)更復(fù)雜的I/O模型，只有計(jì)算與存儲(chǔ)協(xié)同發(fā)展，才能形成良好的高性能計(jì)算服務(wù)產(chǎn)業(yè)生態(tài)。

?

存儲(chǔ)是確保數(shù)據(jù)在全生命周期內(nèi)發(fā)揮價(jià)值的保障，HPC存儲(chǔ)系統(tǒng)更是關(guān)乎國計(jì)民生與國家戰(zhàn)略安全的關(guān)鍵信息基礎(chǔ)設(shè)施。

?

根據(jù)IO-500基準(zhǔn)測試指標(biāo)，可以看出HPC存儲(chǔ)性能還有很大提升空間。

?

華為在2001年進(jìn)入存儲(chǔ)領(lǐng)域，從三五人的小團(tuán)隊(duì)和一臺(tái)預(yù)研機(jī)產(chǎn)品，到如今在全球擁有12個(gè)研發(fā)中心、4000+研發(fā)人員、3000+專利，全面布局存儲(chǔ)產(chǎn)品線。

?

最新的IO500排名沒有辜負(fù)這20年的付出，但HPC存儲(chǔ)的競爭才剛剛開始。