組成結構
天河2號由16000個節點組成,每個節點有2顆基於Ivy Bridge-E Xeon E5 2692處理器和3個Xeon Phi,累計共有32000顆Ivy Bridge處理器和48000個Xeon Phi,總計有312萬個計算核心。
每個Xeon Phi使用其中的57個核心,而不是使用全部的61個,因為使用61個在運算周期協調方面會有問題,而使用57個核心能夠加速4個執行執行緒,並且在每個執行緒單周期可以達成4Gflops的運算量,運行在1.1GHz的Xeon Phi可以生產1.003 Tflops的雙精度運算能力。如果考慮CPU,2 Ivy Bridge * 0.2112 Tflop/s + 3 Xeon Phi * 1.003 Tflop/s=3.431 Tflops,2個Ivy Bridge+9個Xeon Phi單個節點可以有3.431 Tflops運算能力,16000個節點總計可達54.9PFlops性能。每個運算節點有256GB主存、而每個Xeon Phi板載8GB記憶體,因此每個節點共有88GB記憶體,總計16000個節點一共有1.404 PB記憶體,而外部存儲器容量方面更是高達12.4PB.
在每個主機板上有2個計算節點,而每個框架則有16個主機板,4個框架組成一個機櫃,整個系統由125個機櫃組成。每個計算節點主機板分為兩塊,一塊CPU一塊APU,CPU上有4核Ivy Bridge、記憶體和一個Xeon Phi協處理器,而APU基板上則承載著5個Xeon Phi協處理器.CPU和APU之間有5個水平插入的連結口,由Ivy Bridge內置的PCI-E 2.0進行連線,雖然Ivy Bridge內置為PCI Express 3.0接口,但Xeon Phi僅支持2.0,單個通路為10Gbps頻寬。
計算節點的前端處理器為4096個FT-1500處理器, FT-1500處理器是由國防科技大學為天河1研發,其可以說是天河1項目的最大收穫,其為16核心的Sparc V9架構處理器,在40nm工藝情況下運行頻率為1.8Ghz,峰值性能為144 Gflops/s,功耗為65W,但相比英特爾22nm 12核 2.2GHz 211Gflops/s性能的Ivy Bridge還是有明顯差距。
天河2互聯方面採用自主研發的 Express-2 內部網際網路,其為有13個交換機,而每個交換機有576個連線埠。連線介質為光電混合。具體控制器是名為NRC的ASIC專用目的積體電路,其採用90nm工藝,封裝尺寸為17.16x17.16 mm,共有2577引腳。單個NRC的吞吐能力為2.56Tbps.而在終端方面網路接口也採用類似結構的NIC,但規模稍小,為10.76x10.76 mm, 675 pin,其採用PCIE 2.0方式連線,傳輸速率為6.36GB/s.並且在在12000節點的情況下延遲也很低,僅為85us.
而在計算能力方面,使用14336個節點 總計50GB記憶體進行LINPACK測試,理論性能為49.19Pflops,而實際測試性能為30.65Pflops,效率為62.3%.這個效率並不算高,還有很大最佳化提升潛力。當然也可能是被Xeon phi僅支持PCI Express 2.0頻寬不足限制。
上面測試使用了16000個節點中的14336個,運用了90%的規模,基本可以代表天河2的整體性能表現。天河2的性能部件(處理器、記憶體、互聯)整體功耗為17.6MW,而整體的運算能力為30.65PFlops,這樣計算每瓦的性能為1.935Gflops,這個性能/功耗比可以排在超算TOP500的前五,其整體性能/功耗比十分出色。
系統的整體功耗為17.6 MW,並且這個功耗還不包括水冷這樣的散熱系統,如果考慮上整體功耗將高達24MW,廣州國家超算中心將採用城市供水系統構建高散熱效能的冷卻系統,有能力可以提供80KW系統的散熱能力。
天河二號超級計算機系統由170個機櫃組成,包括125個計算機櫃、8個服務機櫃、13個通信機櫃和24個存儲機櫃,占地面積720平方米,記憶體總容量1400萬億位元組,存儲總容量12400萬億位元組,最大運行功耗17.8兆瓦。天河二號運算1小時,相當於13億人同時用計算器計算一千年,其存儲總容量相當於存儲每冊10萬字的圖書600億冊。相比此前排名世界第一的美國“泰坦”超級計算機,天河二號計算速度是“泰坦”的2倍,計算密度是“泰坦”的2.5倍,能效比相當。與該校此前研製的天河一號相比,二者占地面積相當,天河二號計算性能和計算密度均提升了10倍以上,能效比提升了2倍,執行相同計算任務的耗電量只有天河一號的三分之一。
技術參數
型號
天河二號型號為TH-IVB-FEP
處理器
•16,000個運算節點,每節點配備兩顆Xeon E5 12核心的中央處理器、三個Xeon Phi 57核心的協處理器(運算加速卡)。累計32,000顆Xeon E5主處理器和48,000個Xeon Phi協處理器,共312萬個計算核心。
•中央處理器為英特爾提供的,運作時鐘頻率為2.2GHz的Xeon E5-2692 V212核心處理器,基於英特爾Ivy Bridge微架構(Ivy Bridge-EX核心),採用22納米製程,峰值性能0.2112TFLOPS。
•運算加速上,使用基於英特爾集成眾核架構的Xeon Phi 31S1P協處理器,運行時鐘為1.1GHz,每個使用61個核心中的57個(因為使用61個會存在運算周期協調問題),每核心籍由特殊的超執行緒技術能運作4個執行緒,產生峰值性能為1.003TFLOPS。
前端處理器
•計算節點前端處理器為4096顆FT-1500 16核心SPARC V9架構的處理器,40納米製程,運作時鐘頻率1.8GHz,熱設計功耗65瓦,峰值性能144GFLOPS。
存儲
•記憶體
•每個節點擁有64GB主存,而每個Xeon Phi協處理器板載8GB記憶體,故每節點共88GB記憶體,整體總計記憶體1.408PB。
•外存
•12.4PB容量的硬碟陣列
主架
•主機板、機架與機櫃均由浪潮集團製造,共有125個機櫃,每個機櫃容納4個機架,每個機架容納16塊主機板,每個主機板設定有兩個計算節點。每個機櫃還裝有負載指示燈,根據機櫃內主機的運算負載變更發光二極體的發光顏色。
•每塊主機板上分為APU模組和CPM模組兩部分,APU部分承載5塊Xeon Phi,CPM部分承載1塊Xeon Phi+4顆Xeon E5。
•APU模組和CPM模組之間以CPU內部提供的PCI-E 3.0 16x接口進行連線,但實際由於Xeon Phi的硬體限制,僅支持至PCI-E 2.0 16x,單通道數據傳輸速率為10Gbps。
連線
使用光電混合傳輸技術(Optoelectronics Hybrid Transport Technology),使用自製的TH Express-2主幹拓撲結構網路連線,以13個大型路由器通過576個連線連線埠以光電傳輸介質與各個運算節點互聯,控制器名為NRC,使用90納米製程,單個控制器的數據吞吐量2.56Tbps,終端網路接口使用名為NIC的控制器,以PCI-E 2.0接口連結,數據傳送速率6.36GB/s。
作業系統
麒麟作業系統、基於SLURM(Simple Linux Utility for Resource Management,資源管理用單一Linux公用程式)的全局資源管理。
Ubuntu Linux。(Ubuntu OpenStack運行在256個高性能節點上,而且在接下來的數月將會增長至超過6400個節點。OpenStack和Ubuntu的編制工具Juju都將運行在天河二號上,使國防科技大學的合作夥伴和聯盟機構能夠快速部署和管理高性能雲環境)
能耗
整機功耗17,808千瓦,在搭載水冷散熱系統以後,功耗將達到24兆瓦,無論水冷系統的搭載與否,都是目前TOP500里功耗最大的
天河二號電費每年達1億人民幣
以6月17日公布的數據推算,每瓦性能為1.901GFLOPS,仍不及泰坦的每瓦2.143GFLOPS和IBM紅杉每瓦2.177GFLOPS的成績,但比"京"的每瓦0.830GFLOPS每和天河一號每瓦僅0.668GFLOPS都要高不少。
主要特點
天河二號是當今世界上運算速度第二快的超級計算機,綜合技術處於國際領先水平。
它有五大特點:一是高性能,峰值速度和持續速度都創造了新的世界紀錄;二是低能耗,能效比為每瓦特19億次,達到了世界先進水平;三是套用廣,主打科學工程計算,兼顧了雲計算;四是易使用,創新發展了異構融合體系結構,提高了軟體兼容性和易編程性;五是性價比高。
主要性能
2013年6月,天河二號以峰值速度(Rpeak)每秒54,902.4TFLOPS(萬億次浮點運算)、持續速度(Rmax)33,862.7TFLOPS,超越泰坦超級計算機(Rpeak 27,112.5TFLOPS,Rmax 17,590.0TFLOPS),成為當今世界上最快的超級計算機。這個成績於2013年6月17日提交至TOP500。實際上,在早前的運行測試中,僅使用16,000個運算節點中的90%,亦即14,336個節點,LINPACK運算速度就達到30.65PFLOPS的性能水準,超過前任“泰坦”的74%。國際TOP500組織2013年11月18日公布了最新全球超級計算機500強排行榜榜單,“天河二號”以比第二名美國的“泰坦”快近2倍的速度登上榜首。
同樣在2013年6月,天河二號以2,061GTEPS的成績在Graph500上排名第六。Graph500是一個對超級電腦的數據密集型運算處理性能進行的一個排行榜,在此榜單上排位第一的是IBM紅杉,成績是15,363GTEPS。
“天河二號”的系統存儲總容量相當於600億冊每冊10萬字的圖書。假設每人每秒鐘進行一次運算,“天河二號”運算一小時,相當於 13億人同時用計算器算上1000年。
套用領域
天河二號已套用於生物醫藥、新材料、 工程設計與仿真分析、天氣預報、智慧城市、電子商務、雲計算與大數據、數字媒體和動漫設計等多個領域,還將廣泛套用於大科學、大工程、信息化等領域,為經濟社會轉型升級提供重要支撐。
天河二號逐步在生命科學、材料科學、大氣科學、地球物理、宇宙、經濟學,以及大型基因組組裝、基因測序、污染治理等一系列事關國計民生的大科學、大工程中“大顯身手”。此外,國家超算廣州中心積極推動國際交流與合作,利用天河二號為國外研究機構提供高性能計算服務。
據悉,科技部近年不斷加大對超算套用軟體研發的投入。“十二五”以來的相關研發投入已超過2億元。預計“十三五”期間投入將進一步加大。
根據該專項“面向大規模科學計算的高性能多核CPU”課題計畫安排,2011年中國將採用FT-1500CPU構建全自主國產千萬億次計算機——“天河二號”。
藉助天河二號的“計算神功”,國產C919大型客機開展了高精度外流場氣動計算;中科院上海藥物研究所開展了75萬個小分子化合物的結合親和力評估,完成了600多個各類藥物的體內外活性測試評價。天河二號適配了廣州市電子政務數據管理系統和雲盤存儲系統等,為智慧城市建設搭建高效可靠的承載平台……
研究歷程
2009年,中國首台千萬億次計算機“天河一號”研製成功,運行“核高基”專項支持研製的銀河麒麟作業系統,名列當年的國際超級計算機TOP 500排行榜世界第五位、亞洲第一位的排名,並使中國成為繼美國之後世界上第二個能夠研製千萬億次超級計算機的國家。
2010年時,我國研製的首台千萬億次超級計算機“天河一號”曾在全球TOP 500超級大型計算機排行榜中排名第一,但在2011年時被日本最新研發的超級計算機“京”超越了。到了2012年,美國的“泰坦”又超越了日本的“京”。
“天河二號”由280人歷時兩年多研製完成,耗資約1億美元。研發耗資約1億美元,由國家科技部、廣東省人民政府、廣州市人民政府共同出資建設。
2013年下半年,它將在廣州超級計算中心投入運行,其先導系統已開始為生物醫藥、新材料等領域用戶提供服務。
從2010年11月14日天河一號排名世界第一到2013年6月17日天河二號再登世界超算之巔,從天河一號4.7千萬億次到天河二號5.49億億次,從超級計算機由千萬億次級(1015)邁入億億次級(1016)計算速度,這是國防科技大學天河團隊再次創造的“中國速度”。
目前,天河二號超級計算機在國家超算廣州中心已正式投入運行,為120多家用戶提供了300多項典型套用計算。同時,為用戶培訓了一批超算套用技術人才。
2015年5月,由北京師範大學、國防科技大學、加拿大理論天體物理研究所、北京大學、中科院高能物理研究所聯合組成的宇宙中微子數值模擬團隊,經過一系列技術攻關,在“天河二號”上成功進行了3萬億粒子數中微子和暗物質的宇宙學數值模擬,揭示了宇宙大爆炸1600萬年之後至今約137億年的漫長演化進程。
2018年9月11日獲悉,國防科技大學吳俊傑團隊與上海交通大學金賢敏合作,在國際上最先開啟了稱霸標準的研究,被稱為量子霸權。
前景展望
目標是到2020年,形成中國高端通用晶片和基礎軟體產品的自主研發與產業體系。面向3G移動通信網路的智慧型手機嵌入式軟體平台以及3G套用網路化運行平台的研發及產業化,"核高基"專項安排了"智慧型手機嵌入式軟體平台研發及產業化"和"面向新型網路套用模式的網路化作業系統"課題,已經取得較大進展。”
獲得榮譽
排名第一
2010年,中國國防科學技術大學研製的“天河一號”曾在第三十六屆超級計算機TOP500榜單上名列第一,2011年時排名第二,2012年排名已下降至第五,我“天河二號”又重返冠軍領獎台。
二連冠
2013年,在德國萊比錫舉辦的2013年度全球超級計算機技術大會,負責調查有關全球各國研發大型超級計算機排行情況的國際大型超級計算機TOP 500組織,公布了最新全球超級計算機TOP 500強排行榜榜單;在本次大會上由中國政府國家科技部與中國國防科學技術大學共同研製的名為“天河二號(”又稱銀河2號)的大型超級計算機以每秒33.86千萬億次的浮點運算速度成為全球最快的超級計算機。
三連冠
2014年6月,由國防科技大學研製並落戶國家超級計算廣州中心的天河二號超級計算機,23日再次榮登全球超級計算機500強排行榜榜首,獲得世界超算“三連冠”。天河二號超級計算機是國防科技大學承擔的國家“863”計畫和“核高基”國家科技重大專項項目。
四連冠
2014年11月,在美國紐奧良市召開的世界超級計算機大會上,天河二號在國際TOP500組織首次正式發布的超級計算機高性能測試排行榜上位居世界第一。此前,由該組織發布的第44屆世界超級計算機500強排行榜中,天河二號以峰值計算速度達每秒5.49億億次、持續計算速度達每秒3.39億億次位居榜首,獲得“四連冠”。
五連冠
2015年7月13日,國際TOP500組織在德國舉行了2015年國際超級計算機大會,並在大會上發布全球超級計算機500強最新榜單,中國“天河二號”以每秒33.86千萬億次的浮點運算速度第五次蟬聯冠軍,獲得“五連冠”。
六連冠
2015年10月16日,新一期全球超級計算機500強榜單在美國公布,“天河二號”超級計算機以每秒33.86千萬億次連續第六度稱雄。
讓路神威
2016年6月20日,新一期全球超級計算機500強榜單公布,使用中國自主晶片製造的“神威太湖之光”取代“天河二號”登上榜首,中國超算上榜總數量也有史以來首次超過美國名列第一。
據國際TOP500組織當天發布的榜單,“神威太湖之光”的浮點運算速度為每秒9.3億億次,不僅速度比第二名“天河二號”快出近兩倍,其效率也提高3倍。更重要的是,與“天河二號”使用英特爾晶片不一樣,“神威太湖之光”使用的是中國自主智慧財產權的晶片。
蟬聯亞軍
2016年11月,新一期全球超級計算機500強(TOP500)榜單,“天河二號”依然以每秒33.86千萬億次的浮點運算速度排名第二。
2017年6月19日,全球超級計算機500強榜單公布,“天河二號”以每秒3.39億億次的浮點運算速度排名第二。
2017年11月13日,新一期全球超級計算機500強榜單發布,中國超級計算機“神威·太湖之光”和“天河二號”連續第四次分列冠亞軍,且中國超級計算機上榜總數又一次反超美國,奪得第一。此次中國“神威·太湖之光”和“天河二號”再次領跑,其浮點運算速度分別為每秒9.3億億次和每秒3.39億億次。
第四名
2018年11月12日,新一期全球超級計算機500強榜單在美國達拉斯發布,中國超算“天河二號”位列第四名。
存在問題
速度第一效率落後
天河二號的實用性、效率難令人滿意。 ,2014年6月公布的世界超算500強天河二號計算效率為61.7%,效率排名第一的IBM nx360M4效率高達99.8%,速度排名第四的日本k計算機以93.2%效率排名效率第十八。
高性能處理器缺少
2015年4月9日,美國商務部發布報告,決定拒絕英特爾公司向中國的國家超級計算廣州中心出售至強晶片用於天河二號系統升級的申請。國家超級計算長沙中心、廣州中心、天津中心和國防科技大學四家國家超算中心被列入出口管制名單。
社會評價
電機電子工程師學會認為天河二號的落成以及重登TOP500第一“標誌著中國堅定承諾將在超級電腦領域發起一輪軍備競賽”。目前,在總覽TOP500內中華人民共和國擁有66組超級電腦,僅次於美利堅合眾國的252組系統。
TOP500排行榜主要編撰人之一、美國田納西大學計算機學教授傑克·唐加拉對新華社記者說:“‘天河二號’是一個非常強大的計算系統,它在第一名的位置上再占據一年時間,我也不會感到驚訝的。