日韩一区二区三区在线免费观看-开心久久婷婷综合中文字幕-欧美激情91-久久国产福利-欧美日韩日本国产亚洲在线-国产精品极品国产中出

首頁 > 新聞 > 智能 > 正文

世界觀察:輕騎逐單于,大雪滿弓刀:華為分布式存儲的一騎絕塵

2023-06-10 19:09:40來源:ZAKER科技  

唐代詩人盧綸,有一首膾炙人口的《和張仆射塞下曲》," 月黑雁飛高,單于夜遁逃。欲將輕騎逐,大雪滿弓刀。" 詩中的慷慨激昂,熱血炙烈,千年來讓無數國人心魂激蕩。

時代變遷,歲月遷移,今天我們所期望聽到的熱血故事或許不在現實世界,而是在數字山野的輕騎追逐中,在核心科技的發展競賽里。


【資料圖】

《數字中國建設整體布局規劃》中,明確提出了構筑自立自強的數字技術創新體系,為關鍵核心技術突破發展指明了方向。在核心科技自立自強中,越來越多的 " 欲將輕騎逐,大雪滿弓刀 " 的故事正上演著。

5 月 24 日,在德國漢堡舉辦的 ISC 2023(國際超算大會)期間,更新了最新一期的 IO500 榜單,這是國際最權威的存儲性能排行榜。在 IO500 極為重要的 10 節點榜單中,華為 OceanStor Pacific 分布式存儲全面刷新了世界紀錄。尤其驚人的是,華為 OceanStor Pacific 的總得分超過了 13 萬分,是上屆冠軍得分的 15 倍之多。

在世界紀錄背后,在華為 OceanStor Pacific 分布式存儲霸榜背后,蘊藏著存儲鎮守數字經濟大國重器的支柱意義,也蘊藏著中國存儲從跟隨走向領先的全球化趨勢。

一紙榜單背后,是一份對數字山河的守候,是一場輕騎絕塵的突圍。

數字時代,半壁江山

想要講清這個故事,首先需要了解一個背景:HPDA 為什么重要?以及面向 HPDA 場景的分布式存儲為什么價值非凡?

首先 HPDA 是由 HPC(High Performance Computing 高性能計算)發展而來。HPC 是一種數據分析的應用場景。其通過聚合大量的計算和存儲單元對數據進行分析,從而解決復雜問題。從基因測序到芯片制造,從油氣勘探到航空航天,再到我們生活中的天氣預報、影視特效渲染,都離不開 HPC 作為計算底座。

總之一句話,HPC 是現代社會發展的計算基石。所以有人笑稱,《三體》里的外星人要想遏制人類科技,其實不用那么麻煩,不讓人類用 HPC 就行了。

隨著 HPC 性能與技術的不斷進步,人類能夠在固定時間內分析更多數據 , 與之相伴的,我們也會保存更多數據給 HPC 場景,用來挖掘數據背后的價值。

隨著相關數據量的指數級增長,HPC 領域逐漸認識到提升數據分析能力、革新數據分析機制的重要性。將 AI、大數據等技術分析手段與 HPC 結合,是更高效實現數據價值的新形式,即 HPC、AI、大數據融合而成的 HPDA(High Performance Data Analytics)。

根據相關數據,2017 到 2023 年間,HPDA 類應用的年增長速度達到了 15.4%,HPC-based AI 類應用的年化增速更將達到 29.5%,遠高于傳統 HPC 的 7.8%。由于 HPDA 事關國計民生,與國家的科技創新能力、科技自立自強水平緊密相關,HPDA 已在全球范圍內被認為是未來科技發展的戰略高地,被稱為占據數字時代的半壁江山。

一項技術的快速增長,往往會給配套設施帶來挑戰。HPDA 的快速發展,就給存儲產業帶來了巨大的升級需求。隨著數據量從 PB 級向 EB 級演進,存儲成本日益增高。高性能計算量的持續增加,以及大數據、AI 能力的加入,又對海量數據的多次提取、流轉、讀寫、存儲能力提出了更高的要求。

因此面向 HPDA 的分布式存儲,正在承載越來越多的目光和聲量。有人認為,誰掌握了 HPDA 存儲,誰就能掌握尖端科研的未來。

但現實情況是,中國在發展適配 HPDA 場景的分布式存儲過程中,正遇到一系列問題。

比如說,中國目前仍然有 75% 的數據存納于機械硬盤之中。相對于閃存盤,機械硬盤容量密度低,數據讀取慢,能耗高,可靠性差。相對來說,閃存介質幾乎沒有缺陷,尤其更適合 HPDA 場景這種對性能與時延異常敏感的工作負載。

在目前階段," 磁退硅進 " 已經成為存儲產業發展的核心趨勢。比如全國人大代表、華中科技大學計算機科學與技術學院院長馮丹教授就提出,需要加快發展中國技術創新的,以半導體全閃存技術為核心的下一代存儲技術標準體系。為此,要抓住全球存儲介質升級、存儲架構跨代演進窗口期,盡快完善中國自身的數據存儲、數據保護、安全評測等關鍵標準體系建設。

在各個企業級存儲相關領域中,以 HPC、HPDA 場景為代表的分布式存儲全閃存替換任務更加急迫。好在,華為分布式存儲已經開始行動,推進面向全閃存的一系列改造。比如說,本次 IO500 霸榜的華為 OceanStor Pacific 分布式存儲,就是采用了全閃存機型。未來分布式存儲的全閃化已經是確定性的產業走向,面向這個趨勢,從產業側到應用側都應該加速分布式全閃的替換進程。

一件毋庸置疑的事就是,即便前路漫長,中國分布式存儲全閃存替換是大勢所趨,發展全閃分布式存儲已經刻不容緩。

再者,適配高性能計算的 Lustre 分布式文件系統已經明顯落后。Lustre 1.0 早在 2003 年發布,隨后得到了一系列歐美 IT 企業與美國能源部的認可,逐漸形成了談起 HPC,就無法繞開 Lustre 的局面。但事實上,Lustre 在適配 HPDA 的過程中已經展現出了架構落后、磁盤碎片化問題嚴重、性能瓶頸明顯、安全能力不足等短板。

在受目前外部環境未知的干擾下,對于存儲這樣承載著科技明珠 HPDA 的關鍵基礎設施,逐漸實現自主可控也是當務之急。

綜合來看,占據數字時代半壁江山的 HPDA,亟需自主創新、實力絕群的存儲力量來加持。

十分幸運的是,它來了,伴著 " 地表最強 " 的稱號走來了。

定海神針,霸榜之路

IO500 是 HPC 領域最具影響力的世界級存儲排行榜,被稱為 " 存儲界的諾貝爾 "。其主要針對存儲系統的性能進行評測與排名,綜合考察了帶寬性能 ( GiB/s ) 和元數據性能 ( kIOP/ s ) 兩大部分。其中 10 節點榜單統一了計算規模,把基準性能測試的計算節點限制至 10 個,能夠更全面、更準確地反映出存儲在日常應用中的實際表現,備受全球 HPDA 領域用戶關注。

綜合來看,IO500 在目前階段就是最具公允性與說服力的存儲性能榜單。一方面,經過多年發展,其頒布結果和行業價值已經得到了全球數字化產業的承認。另一方面,IO500 榜單的測試非常客觀、科學,其提供了嚴苛的標準化性能測試套件,確保結果可信。值得一提的是,IO500 榜單有著公允的測試人員配置與學術監督機制,避免了不少榜單受地緣因素影響,惡意打壓他國產品技術等現象。

在這樣的存儲領域最高舞臺上,華為 OceanStor Pacific 分布式存儲以一騎絕塵的姿態,完美刷新了紀錄。其通過模擬不同的 I/O 應用模型,歷經 12 項苛刻的場景測試,整體達到了 2400 GiB/s 的帶寬與 770 萬 kIOP/ s 的元數據性能。打破 IO500 紀錄十數倍的霸榜行為背后,可以仰望到華為 OceanStor Pacific 的技術成果在業界鑄就了又一座豐碑。這座豐碑像一枚定海神針,在數字山河蕩氣回腸。

十年磨一劍,一朝試鋒芒。成功霸榜之前,華為分布式存儲已經用了十年時間深耕細作,累積深厚技術,不斷創新。從這次 IO500 總覽星圖中就可以看到,從總體得分、帶寬性能、元數據性能等五個維度來看,華為 OceanStor Pacific 全面實現了 " 五邊形戰士 " 的成就,沒有一處短板,沒留下任何空缺。難怪有人說,這次 IO500 出爐,讓全球看到了華為存儲藏不住的王者實力,看到了中國存儲崛起的必然性。

快馬加鞭,實力斐然

那么我們自然有必要刨根問底,看看華為 OceanStor Pacific 究竟是如何實現這些成績的?

俗話說,天下武功,唯快不破,對于存儲來說也是如此,快就意味著性能優勢,意味著提升了 HPDA 的工作效率與數據分析能力。為了追求這個快,華為采取了不斷精進的四層加速架構,這也被稱為華為存儲獨有的 " 多維度加速 " 體系:

1. 應用加速:面向 HPDA 為代表的數據密集型應用,華為分布式存儲業界唯一的應用感知 DataTurbo 加速引擎,通過融合數據格式、近數據處理和特征處理算子卸載加速等技術,實現了 HPDA 生態應用性能的倍增,提升了應用處理效率。

尤其針對 HPDA 愈發密集、愈發不可或缺的大數據環節,華為統一了數據湖和數倉內的文件格式,并優化了元數據結構,創新性地在存儲側為計算引擎開啟緩存能力,實現了效率 60 倍的提升,讓數百 PB 數據的查詢時間縮減至 10 秒。

2. 算法加速:通過獨創的 SmartBalance 全均衡設計,華為可以實現對數據類型和 I/O 流的智能感知,從而能夠提升 HPDA 業務混合負載的處理效率。這不僅兼顧了 CPU 算力不足或調用堆棧深度等軟件問題引起的 IOPS 瓶頸,更解決了 HPC 多流程跨系統的數據遷移、數據膨脹問題。

3. 網存加速:華為 OceanStor Pacific 通過自主創新的網絡芯片支持 RoCE,同時支持 RDMA 和 IP 的訪問能力。在同時支持帶寬、IOPS 等不同類型的業務時,可以智能調整網絡的相關參數,大幅降低不同存儲節點間的數據交換時延。

4. 架構加速:與陳舊的 Lustre 開源分布式文件系統架構相比,華為分布式存儲帶來了全對稱式分布式架構。據測評,Lustre 的非對稱設計會導致在 7 對 MDS 時出現性能瓶頸,并且網元部件眾多而導致 IO 路徑漫長。與此不同的是,華為 OceanStor Pacific 的全對稱架構打破了元數據瓶頸,性能可以隨容量實現絕對的線性增長。

此外,與 Lustre 對負載的單一路徑讀寫、覆蓋寫模式不同,華為 OceanStor Pacific 采用智能 IO 路徑選擇與 Append-Only 模式,避免長時間運行導致的磁盤碎片化問題,實現動態混合 IOPS 性能提升 20%。

不僅如此,相比 Lustre 自身無冗余保護,純粹依賴底層 SAN 陣列的 RAID 保護的安全模式,華為 OceanStor Pacific 憑借軟硬一體的穩定深度可信協同,滿足跨節點冗余保護,支持最大 4 節點故障業務不中斷。

通過四大維度的全面技術創新,華為實現了分布式存儲的 " 快馬還需一鞭 ",比想象中更快一步。這些技術創新點的疊加產生了一種化學反應,讓華為 OceanStor Pacific 的性能遠超業界競品,做到了這樣一句武俠小說里的形容——真正的強大,是沒有對手的。

龍城飛將,家國守候

與大家想象的不同,華為分布式存儲并非遠在天邊,其所帶來的價值就在我們的城市中,就在我們的生活里,就在科技自立自強的披星戴月中。

比如說,山東的朋友應該都對濟南超算非常了解。國家超級計算濟南中心,是科技部批準成立的千萬億次國際超級計算中心之一,目的是為打造超級計算的高性能數據分析 HPDA 平臺,從而支撐學術攻堅,賦能透明海洋、類腦計劃、基因組學、人工智能、新藥創新等領域的大科學計劃、大科學工程的實施。

這樣一個重要的平臺,在存儲資源搭建過程中卻也遇到了一系列問題。比如說以文件存儲為主的 HPC 平臺、AI 平臺,與以對象存儲為主的云平臺,存在嚴重的數據孤島,最大的難題是不同平臺間的數據流動。并且,存儲資源的相互搶占,會導致原本充沛的算力無法發揮,整體系統效率不高。

峰回路轉,華為 OceanStor Pacific 分布式存儲有效地解決了這些問題。通過結合數據流動軟件,華為分布式存儲幫助濟南超算打造了超算領域首個最大規模的數據流動平臺,其可支持打通數據流動,促進數據跨域創新,助力濟南超算中心打造數據密集型超算。在我們為濟南超算、中國超算自豪時,似乎也應該記得軍功章有華為 OceanStor Pacific 的一份。

華西醫院,是四川朋友非常了解的一家醫療機構。除了強大的醫療能力,華西還肩負著科研探索、引領西南地區生物醫藥事業發展的重任。其中,華西生物醫學大數據中心是華西醫院的健康醫療大數據研究與應用開放共享平臺,其推進的大規模全基因組分析,以及臨床成果轉化,是華西生物醫學大數據中心的重要探索方向。

想要滿足華西在基因領域的數據存用,也有著一系列挑戰。基因測序產生的數據容量普遍達到了 TB 級別,對數據存儲提出了挑戰。華為 OceanStor Pacific 分布式存儲,為華西醫院提供了更高性能的存儲底座,實現了 200 倍存儲性能提升,全基因組分析流程時間從傳統的 24 小時縮短到了 7 分鐘。

都說 21 世紀是基因的世紀,在認識我們自己前,首先需要妥善的存儲作為探秘基因工程的起點,華為 OceanStor Pacific 分布式存儲再次守護成功。

由此不難看出,華為 OceanStor Pacific 既是數字中國的守護者,也是數字中國的加速器。它默默守護著科技創新、前沿探索,幫助每一座城市在超算的時代里熠熠生輝。

目前階段,華為分布式存儲在歐洲、中東、拉美和亞太的關鍵業務場景均實現了大規模突破,達到了 2022 年全球二級存儲收入排名第二的成績,在總份額中占比 25%,并保持著 18% 的增速。從國內來看,華為分布式存儲連續六年市場第一,占比高達 48.2%,同時在海外,華為分布式存儲也受到廣泛認可,份額達到 25%,在文件與對象存儲上的收入增速高達 50.8%。

未來,我們應該會看到華為存儲出現在更多的榜單上,欲將輕騎逐,大雪滿弓刀,越來越多的數據中心、實驗室、工廠、農田里,將上演以存儲定未來的故事。

尤其在這個時代,華為 OceanStor Pacific 折桂 IO500 還有一重獨特的意味。這重意味,可以用一句邊塞詩來表達:但使龍城飛將在,不教胡馬度陰山。

關鍵詞:

責任編輯:hnmd003

相關閱讀

相關閱讀

推薦閱讀

一区二区三区精品视频在线观看| 喷白浆一区二区| 国产美女亚洲精品7777| 免费看久久久| 国产亚洲一级| 国产乱子精品一区二区在线观看| 亚洲资源在线| 久久久久久久久久久9不雅视频| 午夜综合激情| 欧美在线精品一区| av不卡一区| 日韩专区一卡二卡| 日韩高清国产一区在线| 日韩精品一级| 日韩精品一二三四| 欧美精品播放| 婷婷精品进入| 久久精品免费观看| 国产精品午夜av| 欧美bbbbb| 久久av超碰| 国产精品普通话对白| 日韩精品免费视频人成| 欧洲亚洲一区二区三区| 国产拍在线视频| 日本一区福利在线| 久热精品视频| 精品一区二区三区免费看| 欧美日韩精品| 六月婷婷色综合| 国产字幕视频一区二区| 日本一区二区中文字幕| 白嫩白嫩国产精品| 欧美日韩视频免费观看| 97人人澡人人爽91综合色| 最近在线中文字幕| 中文一区二区三区四区| 91一区二区三区四区| 亚洲精品**不卡在线播he| 丝袜美腿亚洲一区二区图片| 欧美猛男同性videos| 蜜桃av一区二区| 日韩第一区第二区| 欧亚一区二区| 欧美成人基地| 在线国产精品一区| 国产精品毛片一区二区三区| 国产精品亚洲一区二区在线观看| 丝袜脚交一区二区| 日韩精品一区二区三区中文 | 99国产精品99久久久久久粉嫩| 麻豆一区二区三| 黑人一区二区| 欧美激情在线精品一区二区三区| 97精品国产| 欧美精品中文| 麻豆精品久久久| 老司机一区二区三区| 午夜日韩影院| 久久精品99国产精品| 伊人成综合网| 日韩成人一级| 成人在线视频免费| 好看的日韩av电影| 日本在线视频一区二区三区| yy6080久久伦理一区二区| 中国av一区| 国产一区二区欧美| 成人黄色在线| 麻豆九一精品爱看视频在线观看免费| 日韩激情av在线| 日韩成人一区| 欧美freesextv| 99精品电影| 午夜精品影视国产一区在线麻豆| 日韩欧美一区免费| 欧美日韩四区| 国产96在线亚洲| 国产精品igao视频网网址不卡日韩| 另类专区亚洲| 中国女人久久久| 欧美自拍一区| 日韩电影网1区2区| 亚洲久久一区| 日本久久久久| 另类图片综合电影| 亚洲综合日韩| 亚洲性人人天天夜夜摸| 日日狠狠久久偷偷综合色| 亚洲日本免费| 日韩av首页| 欧美1级片网站| 欧美日韩免费观看一区=区三区 | 天天综合av| 99国产精品私拍| 日韩精品水蜜桃| 日韩成人精品视频| 粉嫩一区二区三区在线观看| 久久福利在线| 亚洲a∨精品一区二区三区导航| 欧美在线综合| 欧美成人中文| 美女午夜精品| julia中文字幕一区二区99在线| 国产成人ay| 一区二区在线影院| 国产精品久久久久毛片大屁完整版 | 亚洲国产精品第一区二区三区| 亚洲欧洲美洲av| 先锋亚洲精品| 日韩一级欧洲| 最新亚洲视频| 一区在线免费| 亚洲免费高清| 亚洲精品a级片| 欧美综合久久| 久久精品国产68国产精品亚洲| 亚洲精品在线a| av不卡一区| 精品国产亚洲一区二区三区| 亚洲国产合集| 日韩激情视频在线观看| 日日狠狠久久偷偷综合色| 欧美一级大片在线视频| 国产精品地址| 亚洲乱码久久| 久久男人av| 综合激情婷婷| 国产欧美日韩在线观看视频| 国产一区二区三区四区五区| 欧美日本三级| 美女久久精品| 国产精品调教| 99免费精品| 黄色av一区| 蜜臀久久久99精品久久久久久| 久久一二三区| 欧美成人精品一区二区男人小说| 日本黄色免费在线| 日韩三区免费| 久久精品二区亚洲w码| 日本不卡视频一二三区| 亚洲香蕉久久| 久久久国产精品入口麻豆| 国产成人tv| 欧美二区不卡| 蜜臀久久99精品久久久画质超高清 | 97在线精品| 男人av在线播放| 国产福利一区二区三区在线播放| 国产精品久久久一区二区| 99国内精品久久久久| 日韩av影院| 青青操综合网| 亚洲一区欧美激情| 中文字幕一区久| 国产欧美一区二区色老头| 国产美女精品视频免费播放软件| 日韩av不卡一区二区| 久久婷婷蜜乳一本欲蜜臀| 午夜日韩视频| 黄视频免费在线看| 99精品视频免费观看视频| 欧美激情在线免费| 天堂资源在线亚洲| 国产精品国产三级国产在线观看| 欧美一级做a| 91精品福利观看| 红杏aⅴ成人免费视频| 天堂美国久久| 日韩电影免费网址| 欧美日本久久| 精品久久97| 蜜臀久久99精品久久久久宅男| av成人在线播放| 国产一区二区三区四区五区传媒 | 青草综合视频| 97久久精品一区二区三区的观看方式| 日韩不卡在线观看日韩不卡视频| 成人久久久久| 免费在线观看日韩欧美| 一区二区91| 国产成人一二片| 久久先锋影音| 日本怡春院一区二区| 韩国女主播一区二区三区| 国产精品日本| 国产精品一区亚洲| 欧美视频久久| 久久高清免费观看| 日日摸夜夜添夜夜添亚洲女人| 精品国产一级| 狠狠色狠狠色综合日日tαg| 精品三区视频| 精品午夜av| 亚洲一区观看| 亚洲精品影院在线观看| 高清日韩中文字幕| 91亚洲成人| 日本亚洲不卡|