天河二號超級計算機

天河二號超級計算機

“天河二號”是由國防科學技術大學研製的超級計算機系統,以峰值計算速度每秒5.49億億次、持續計算速度每秒3.39億億次雙精度浮點運算的優異性能位居榜首,成為2013年全球最快超級計算機。2014年11月17日公布的全球超級計算機500強榜單中,中國“天河二號”以比第二名美國“泰坦”快近一倍的速度連續第四次獲得冠軍。2015年5月,“天河二號”上成功進行了3萬億粒子數中微子和暗物質的宇宙學N體數值模擬,揭示了宇宙大爆炸1600萬年之後至今約137億年的漫長演化進程。同時這是迄今為止世界上粒子數最多的N體數值模擬;11月16日,全球超級計算機500強榜單在美國公布,“天河二號”超級計算機以每秒33.86千萬億次連續第六度稱雄。2016年6月20日,新一期全球超級計算機500強榜單公布,使用中國自主晶片製造的“神威·太湖之光”取代“天河二號”登上榜首。2018年11月12日,新一期全球超級計算機500強榜單在美國達拉斯發布,中國超算“天河二號”位列第四名。

基本信息

研發背景

天河二號 天河二號
超級計算機,被稱為“國之重器”,超級計算屬於戰略高技術領域,是世界各國競相角逐的科技制高點,也是一個國家科技實力的重要標誌之一。

自中國863計畫實施以來,國家高度重視並且支持超級計算系統的研發,但由於基礎薄弱起步較晚,在國際舞台中一直受制於人,美國更是在2015年宣布對中國禁售高性能處理器。 

研發歷程

2009年,中國首台千萬億次計算機“天河一號”研製成功,運行“核高基”專項支持研製的銀河麒麟作業系統,名列當年的國際超級計算機TOP 500排行榜世界第五位、亞洲第一位的排名,並使中國成為繼美國之後世界上第二個能夠研製千萬億次超級計算機的國家。

2010年時,中國研製的首台千萬億次超級計算機“天河一號”曾在全球TOP 500超級大型計算機排行榜中排名第一,但在2011年時被日本最新研發的超級計算機“京”超越了。到了2012年,美國的“泰坦”又超越了日本的“京”。

“天河二號”由280人歷時兩年多研製完成,耗資約1億美元。研發耗資約1億美元,由國家科技部、廣東省人民政府、廣州市人民政府共同出資建設。

2013年下半年,它將在廣州超級計算中心投入運行,其先導系統已開始為生物醫藥、新材料等領域用戶提供服務。

從2010年11月14日天河一號排名世界第一到2013年6月17日天河二號再登世界超算之巔,從天河一號4.7千萬億次到天河二號5.49億億次,從超級計算機由千萬億次級(1015)邁入億億次級(1016)計算速度,這是國防科技大學天河團隊再次創造的“中國速度”。

天河二號超級計算機在國家超算廣州中心已正式投入運行,為120多家用戶提供了300多項典型套用計算。同時,為用戶培訓了一批超算套用技術人才。

2015年5月,由北京師範大學國防科技大學、加拿大理論天體物理研究所、北京大學、中科院高能物理研究所聯合組成的宇宙中微子數值模擬團隊,經過一系列技術攻關,在“天河二號”上成功進行了3萬億粒子數中微子和暗物質的宇宙學數值模擬,揭示了宇宙大爆炸1600萬年之後至今約137億年的漫長演化進程。

組成結構

天河二號 天河二號

天河2號由16000個節點組成,每個節點有2顆基於Ivy Bridge-E Xeon E5 2692處理器和3個Xeon Phi,累計共有32000顆Ivy Bridge處理器和48000個Xeon Phi,總計有312萬個計算核心。

每個Xeon Phi使用其中的57個核心,而不是使用全部的61個,因為使用61個在運算周期協調方面會有問題,而使用57個核心能夠加速4個執行執行緒,並且在每個執行緒單周期可以達成4Gflops的運算量,運行在1.1GHz的Xeon Phi可以生產1.003 Tflops的雙精度運算能力。如果考慮CPU,2 Ivy Bridge * 0.2112 Tflop/s + 3 Xeon Phi * 1.003 Tflop/s=3.431 Tflops,2個Ivy Bridge+3個Xeon Phi單個節點可以有3.431 Tflops運算能力,16000個節點總計可達54.9PFlops性能。每個運算節點有64GB主存、而每個Xeon Phi板載8GB記憶體,因此每個節點共有88GB記憶體,總計16000個節點一共有1.404 PB記憶體,而外部存儲器容量方面更是高達12.4PB.

在每個主機板上有2個計算節點,而每個框架則有16個主機板,4個框架組成一個機櫃,整個系統由125個機櫃組成。每個計算節點主機板分為兩塊,一塊CPU一塊APU,CPU上有4核Ivy Bridge、記憶體和一個Xeon Phi協處理器,而APU基板上則承載著5個Xeon Phi協處理器.CPU和APU之間有5個水平插入的連結口,由Ivy Bridge內置的PCI-E 2.0進行連線,雖然Ivy Bridge內置為PCI Express 3.0接口,但Xeon Phi僅支持2.0,單個通路為10Gbps頻寬。

計算節點的前端處理器為4096個FT-1500處理器, FT-1500處理器是由國防科技大學為天河1研發,其可以說是天河1項目的最大收穫,其為16核心的Sparc V9架構處理器,在40nm工藝情況下運行頻率為1.8Ghz,峰值性能為144 Gflops/s,功耗為65W,但相比英特爾22nm 12核 2.2GHz 211Gflops/s性能的Ivy Bridge還是有明顯差距。

天河2互聯方面採用自主研發的 Express-2 內部網際網路,其為有13個交換機,而每個交換機有576個連線埠。連線介質為光電混合。具體控制器是名為NRC的ASIC專用目的積體電路,其採用90nm工藝,封裝尺寸為17.16x17.16 mm,共有2577引腳。單個NRC的吞吐能力為2.56Tbps.而在終端方面網路接口也採用類似結構的NIC,但規模稍小,為10.76x10.76 mm, 675 pin,其採用PCIE 2.0方式連線,傳輸速率為6.36GB/s.並且在在12000節點的情況下延遲也很低,僅為85us.

而在計算能力方面,使用14336個節點 總計50GB記憶體進行LINPACK測試,理論性能為49.19Pflops,而實際測試性能為30.65Pflops,效率為62.3%.這個效率並不算高,還有很大最佳化提升潛力。當然也可能是被Xeon phi僅支持PCI Express 2.0頻寬不足限制。

上面測試使用了16000個節點中的14336個,運用了90%的規模,基本可以代表天河2的整體性能表現。天河2的性能部件(處理器、記憶體、互聯)整體功耗為17.6MW,而整體的運算能力為30.65PFlops,這樣計算每瓦的性能為1.935Gflops,這個性能/功耗比可以排在超算TOP500的前五,其整體性能/功耗比十分出色。

系統的整體功耗為17.6 MW,並且這個功耗還不包括水冷這樣的散熱系統,如果考慮上整體功耗將高達24MW,廣州國家超算中心將採用城市供水系統構建高散熱效能的冷卻系統,有能力可以提供80KW系統的散熱能力。

天河二號超級計算機系統由170個機櫃組成,包括125個計算機櫃、8個服務機櫃、13個通信機櫃和24個存儲機櫃,占地面積720平方米,記憶體總容量1400萬億位元組,存儲總容量12400萬億位元組,最大運行功耗17.8兆瓦。天河二號運算1小時,相當於13億人同時用計算器計算一千年,其存儲總容量相當於存儲每冊10萬字的圖書600億冊。相比此前排名世界第一的美國“泰坦”超級計算機,天河二號計算速度是“泰坦”的2倍,計算密度是“泰坦”的2.5倍,能效比相當。與該校此前研製的天河一號相比,二者占地面積相當,天河二號計算性能和計算密度均提升了10倍以上,能效比提升了2倍,執行相同計算任務的耗電量只有天河一號的三分之一。

技術參數

型號

天河二號型號為TH-IVB-FEP

處理器

16,000個運算節點,每節點配備兩顆Xeon E5 12核心的中央處理器、三個Xeon Phi 57核心的協處理器(運算加速卡)。累計32,000顆Xeon E5主處理器和48,000個Xeon Phi協處理器,共312萬個計算核心。
中央處理器為英特爾提供的,運作時鐘頻率為2.2GHz的Xeon E5-2692 12核心處理器,基於英特爾Ivy Bridge微架構(Ivy Bridge-EX核心),採用22納米製程,峰值性能0.2112TFLOPS。
運算加速上,使用基於英特爾集成眾核架構的Xeon Phi 31S1P協處理器,運行時鐘為1.1GHz,每個使用61個核心中的57個(因為使用61個會存在運算周期協調問題),每核心籍由特殊的超執行緒技術能運作4個執行緒,產生峰值性能為1.003TFLOPS。

前端處理器

計算節點前端處理器為4096顆FT-1500 16核心SPARC V9架構的處理器,40納米製程,運作時鐘頻率1.8GHz,熱設計功耗65瓦,峰值性能144GFLOPS。

存儲

記憶體

每個節點擁有64GB主存,而每個Xeon Phi協處理器板載8GB記憶體,故每節點共88GB記憶體,整體總計記憶體1.408PB。

外存

12.4PB容量的硬碟陣列。

主架

主機板、機架與機櫃均由浪潮集團製造,共有125個機櫃,每個機櫃容納4個機架,每個機架容納16塊主機板,每個主機板設定有兩個計算節點。每個機櫃還裝有負載指示燈,根據機櫃內主機的運算負載變更發光二極體的發光顏色。

每塊主機板上分為APU模組和CPM模組兩部分,APU部分承載5塊Xeon Phi,CPM部分承載1塊Xeon Phi+4顆Xeon E5。

APU模組和CPM模組之間以CPU內部提供的PCI-E 3.0 16x接口進行連線,但實際由於Xeon Phi的硬體限制,僅支持至PCI-E 2.0 16x,單通道數據傳輸速率為10Gbps。

連線

使用光電混合傳輸技術(Optoelectronics Hybrid Transport Technology),使用自製的TH Express-2主幹拓撲結構網路連線,以13個大型路由器通過576個連線連線埠以光電傳輸介質與各個運算節點互聯,控制器名為NRC,使用90納米製程,單個控制器的數據吞吐量2.56Tbps,終端網路接口使用名為NIC的控制器,以PCI-E 2.0接口連結,數據傳送速率6.36GB/s。

作業系統

麒麟作業系統、基於SLURM(Simple Linux Utility for Resource Management,資源管理用單一Linux公用程式)的全局資源管理。

Ubuntu Linux。(Ubuntu OpenStack運行在256個高性能節點上,而且在接下來的數月將會增長至超過6400個節點。OpenStack和Ubuntu的編制工具Juju都將運行在天河二號上,使國防科技大學的合作夥伴和聯盟機構能夠快速部署和管理高性能雲環境)

能耗

整機功耗17,808千瓦,在搭載水冷散熱系統以後,功耗將達到24兆瓦,無論水冷系統的搭載與否,都是目前TOP500里功耗最大的天河二號電費每年達1億人民幣。

以2016年6月17日公布的數據推算,每瓦性能為1.901GFLOPS,仍不及泰坦的每瓦2.143GFLOPS和IBM紅杉每瓦2.177GFLOPS的成績,但比"京"的每瓦0.830GFLOPS每和天河一號每瓦僅0.668GFLOPS都要高不少。

主要特點

天河二號是當今世界上運算速度最快的超級計算機,綜合技術處於國際領先水平。

一是高性能,峰值速度和持續速度都創造了新的世界紀錄;

二是低能耗,能效比為每瓦特19億次,達到了世界先進水平;

三是套用廣,主打科學工程計算,兼顧了雲計算

四是易使用,創新發展了異構融合體系結構,提高了軟體兼容性和易編程性;

五是性價比高。

主要性能

2013年6月,天河二號以峰值速度(Rpeak)每秒54,902.4TFLOPS(萬億次浮點運算)、持續速度(Rmax)33,862.7TFLOPS,超越泰坦超級計算機(Rpeak 27,112.5TFLOPS,Rmax 17,590.0TFLOPS),成為當今世界上最快的超級計算機。這個成績於2013年6月17日提交至TOP500。實際上,在早前的運行測試中,僅使用16,000個運算節點中的90%,亦即14,336個節點,LINPACK運算速度就達到30.65PFLOPS的性能水準,超過前任“泰坦”的74%。國際TOP500組織2013年11月18日公布了最新全球超級計算機500強排行榜榜單,“天河二號”以比第二名美國的“泰坦”快近2倍的速度登上榜首。

同樣在2013年6月,天河二號以2,061GTEPS的成績在Graph500上排名第六。Graph500是一個對超級電腦的數據密集型運算處理性能進行的一個排行榜,在此榜單上排位第一的是IBM紅杉,成績是15,363GTEPS。

“天河二號”的系統存儲總容量相當於600億冊每冊10萬字的圖書。假設每人每秒鐘進行一次運算,“天河二號”運算一小時,相當於 13億人同時用計算器算上1000年。

存在問題

速度第一效率落後

天河二號的實用性、效率難令人滿意。2014年6月公布的世界超算500強天河二號計算效率為61.7%,效率排名第一的IBM nx360M4效率高達99.8%,速度排名第四的日本k計算機以93.2%效率排名效率第十八。

高性能處理器缺少

2015年4月9日,美國商務部發布報告,決定拒絕英特爾公司向中國的國家超級計算廣州中心出售至強晶片用於天河二號系統升級的申請。國家超級計算長沙中心、廣州中心、天津中心和國防科技大學四家國家超算中心被列入出口管制名單。

套用領域

天河二號 天河二號

天河二號已套用於生物醫藥、新材料、 工程設計與仿真分析、天氣預報、智慧城市、電子商務、雲計算與大數據、數字媒體和動漫設計等多個領域,還將廣泛套用於大科學、大工程、信息化等領域,為經濟社會轉型升級提供重要支撐。

天河二號逐步在生命科學、材料科學、大氣科學、地球物理、宇宙、經濟學,以及大型基因組組裝、基因測序、污染治理等一系列事關國計民生的大科學、大工程中“大顯身手”。此外,國家超算廣州中心積極推動國際交流與合作,利用天河二號為國外研究機構提供高性能計算服務。

據悉,科技部近年不斷加大對超算套用軟體研發的投入。“十二五”以來的相關研發投入已超過2億元。預計“十三五”期間投入將進一步加大。

根據該專項“面向大規模科學計算的高性能多核CPU”課題計畫安排,2011年中國將採用FT-1500CPU構建全自主國產千萬億次計算機——“天河二號”。

2009年,中國首台千萬億次計算機“天河一號”研製成功,運行“核高基”專項支持研製的銀河麒麟作業系統,名列當年的國際超級計算機TOP 500排行榜世界第五位、亞洲第一位的排名,並使中國成為繼美國之後世界上第二個能夠研製千萬億次超級計算機的國家。

相對於上世紀頗負盛名的"兩彈一星"。"核高基"專項被譽為中國新時期的"兩件(核心電子器件、基礎軟體)一芯(高端通用晶片)",主要涵蓋了核心的電子器件、高端通用晶片、基礎軟體產品三個方向;掌握其關鍵技術並實現產業化對於中國實現以信息化帶動工業化、確保國家信息安全至關重要。

在高端通用晶片方向,"核高基"專項重點部署了高性能伺服器多核CPU、安全適用計算機CPU及嵌入式CPU;在基礎軟體產品方向,重點部署了作業系統、資料庫、辦公軟體、中間件、重大信息化套用等基礎軟體。

前景展望

天河二號 天河二號

目標是到2020年,形成中國高端通用晶片和基礎軟體產品的自主研發與產業體系。面向3G移動通信網路的智慧型手機嵌入式軟體平台以及3G套用網路化運行平台的研發及產業化,"核高基"專項安排了"智慧型手機嵌入式軟體平台研發及產業化"和"面向新型網路套用模式的網路化作業系統"課題,已經取得較大進展。

運算速度以每秒千萬億次計算的超級計算機“天河二號”將進駐廣州,它將如何影響我們的生活?國防科學技術大學計算機學院副院長、天河二號工程副總指揮、天河超級計算機系統新聞發言人李楠做客市科信局舉辦的“珠江科學大講堂”。

套用多與國家重大工程相關

“所謂超級計算機,就是在同時代里,運算速度達到最高級別的大容量巨型計算機!”李楠比喻:“比如,使用千萬億次超級計算機計算1小時,相當於13億人同時用計算器計算20年。”

李楠介紹,超級計算機有五個超級,就是速度超級快、容量超級大、體積超級大、耗電超級多、造價超級貴。“目前,超級計算機的套用已與國計民生密不可分。它的套用多與國家重大工程相關,比如日本的‘京’,主要用於地震海嘯預測、生命科學、新藥研製,而美國的‘泰坦’主要用於研究氣候變遷、核研究、材料科學等等。”

“超級計算機已經變成‘國之重器’,世界各國在超級計算機的研製上競爭激烈。”據介紹,2010年時,我國研製的首台千萬億次超級計算機“天河一號”曾在全球TOP 500超級大型計算機排行榜中排名第一,但在2011年時被日本最新研發的超級計算機“京”超越了。到了2012年,美國的“泰坦”又超越了日本的“京”。

可大大提高天氣預報準確率

李楠還向在場聽眾介紹:“超算中心的進駐與老百姓生活也有很大關係。比如超算在天氣中的套用,可以大大提高天氣預報的準確率,又比如在娛樂產業的套用,阿凡達的電影中,超過三分之二的人物與景象都是通過超級計算機計算出來的。”

所獲榮譽

排名第一

2010年,中國國防科學技術大學研製的“天河一號”曾在第三十六屆超級計算機TOP500榜單上名列第一,2011年時排名第二,2012年排名已下降至第五,我國憑藉“天河二號”又重返冠軍領獎台。

美國擁有全球500強超級計算機數量的一半以上。而中國大陸共有65個超級計算機進入TOP 500的榜單上位居第二。而日本則以30個位列第三。世界上運算速度最快的超級計算機寶座一直被美國、中國、日本三國交替占據。英國、法國和德國分別以29個、23個和19個位列第四至第六位。

美國能源部下屬橡樹嶺國家實驗室的“泰坦”從上次第一名降至本次第二名,其運算速度為17.59千萬億次,而“天河二號”的運行速度比它快近一倍。據媒體預測,美國能夠挑戰“天河二號”的下一台超級計算機預計到2015年才能出現,但業內人士認為,“天河二號”的桂冠也許只能持續幾個月,因為美國已經在研發下一代超級計算機。

全球超級計算機TOP500排名榜,是全球最權威的超級計算機榜單,以系統的Linpack實測速度為基準對超級計算機進行排名。

2013年,在德國萊比錫舉辦的2013年度全球超級計算機技術大會,負責調查有關全球各國研發大型超級計算機排行情況的國際大型超級計算機TOP 500組織,公布了最新全球超級計算機TOP 500強排行榜榜單;在本次大會上由中國政府國家科技部與中國國防科學技術大學共同研製的名為“天河二號(”又稱銀河2號)的大型超級計算機以每秒33.86千萬億次的浮點運算速度成為全球最快的超級計算機。

大會的主辦方在大會的新聞發布會上向全世界的媒體公布了有關2013年上半年所做的第一次TOP 500調查結果。據此次調查的報告結果顯示;計算機,其運行時的平均速度跑出了33.86PFlops的驚人紀錄,比原來當今世界上最快的那台來自美國能源部橡樹嶺國家實驗室研發的“泰坦”在速度上還要快上74%!

二連冠

2013年5月,我國研製成功世界上首台5億億次(50PFlops)超級計算機——“天河二號”。這是國家863計畫在“十二五”高效能計算機重大項目的階段性成果。天河二號的雙精度浮點運算峰值速度已達到了每秒5.49億億次,至於Linpack(國際上流行的用於測試高性能計算機浮點計算性能的軟體)測試性能則已達到每秒3.39億億次。

由中國國防科技大學等單位研製的“天河二號”5億億次超級計算機,在體系結構、微異構計算陣列、高速互連網路、加速存儲架構、並行編程模型與框架、系統容錯設計與故障管理、綜合化能耗控制技術以及高密度高精度結構工藝等方面,突破了一系列核心關鍵技術。

與2010年11月獲得TOP500第一的天河一號相比,天河二號峰值計算速度和持續計算速度均提升10倍以上,計算密度(單位面積上的計算能力)提升了10倍以上,系統能效比(單位能耗的計算速度)是天河一號的3倍。

三連冠

天河二號 天河二號

2014年6月,由國防科技大學研製並落戶國家超級計算廣州中心的天河二號超級計算機,23日再次榮登全球超級計算機500強排行榜榜首,獲得世界超算“三連冠”。天河二號超級計算機是國防科技大學承擔的國家“863”計畫和“核高基”國家科技重大專項項目。

此次奪冠,是天河系列超級計算機第四次問鼎世界超算之巔。2010年,天河一號讓中國人首次站到了超級計算機的全球最高領獎台上。

超級計算機性能的提高,以服務國家經濟社會建設和改善民生為最終目的。目前,天河二號超級計算機在國家超算廣州中心已正式投入運行,為120多家用戶提供了300多項典型套用計算。同時,為用戶培訓了一批超算套用技術人才。

天河二號運算1小時,相當於13億人同時用計算器算1000年。

藉助天河二號的“計算神功”,國產C919大型客機開展了高精度外流場氣動計算;中科院上海藥物研究所開展了75萬個小分子化合物的結合親和力評估,完成了600多個各類藥物的體內外活性測試評價。天河二號適配了廣州市電子政務數據管理系統和雲盤存儲系統等,為智慧城市建設搭建高效可靠的承載平台……

四連冠

台北時間2014年,在美國紐奧良市召開的世界超級計算機大會上傳出喜訊:由國防科技大學研製的天河二號超級計算機系統,在國際TOP500組織首次正式發布的超級計算機高性能共軛梯度(HPCG)基準測試排行榜上,位居世界第一。

此前,由這個組織發布的第44屆世界超級計算機500強排行榜中,天河二號位居榜首,獲得“四連冠”。

五連冠

2015年7月13日,國際TOP500組織在德國舉行的2015年國際超級計算機大會上發布全球超級計算機500強最新榜單,中國“天河二號”以每秒33.86千萬億次的浮點運算速度第五次蟬聯冠軍。

六連冠

2015年10月16日,新一期全球超級計算機500強榜單在美國公布,“天河二號”超級計算機以每秒33.86千萬億次連續第六度稱雄。

讓路神威

2016年6月20日,新一期全球超級計算機500強榜單公布,使用中國自主晶片製造的“神威太湖之光”取代“天河二號”登上榜首,中國超算上榜總數量也有史以來首次超過美國名列第一。

據國際TOP500組織當天發布的榜單,“神威太湖之光”的浮點運算速度為每秒9.3億億次,不僅速度比第二名“天河二號”快出近兩倍,其效率也提高3倍。更重要的是,與“天河二號”使用英特爾晶片不一樣,“神威太湖之光”使用的是中國自主智慧財產權的晶片。

蟬聯亞軍

2016年11月,新一期全球超級計算機500強(TOP500)榜單,“天河二號”依然以每秒33.86千萬億次的浮點運算速度排名第二。
2017年6月19日,全球超級計算機500強榜單公布,“天河二號”以每秒3.39億億次的浮點運算速度排名第二。

2017年11月,榮膺新一期全球超級計算機500強榜單亞軍。  

第四名

2018年11月12日,新一期全球超級計算機500強榜單在美國達拉斯發布,中國超算“天河二號”位列第四名。

科技進步特等獎

2019年2月,“天河二號”獲湖南科技進步特等獎。

社會評價

電機電子工程師學會認為天河二號的落成以及重登TOP500第一“標誌著中國堅定承諾將在超級電腦領域發起一輪軍備競賽”。在總覽TOP500內中華人民共和國擁有66組超級電腦,僅次於美利堅合眾國的252組系統。

TOP500排行榜主要編撰人之一、美國田納西大學計算機學教授傑克·唐加拉對新華社記者說:“‘天河二號’是一個非常強大的計算系統,它在第一名的位置上再占據一年時間,我也不會感到驚訝。

相關搜尋

熱門詞條

聯絡我們