時(shí)間：2023-05-30 10:16:11
開篇：寫作不僅是一種記錄，更是一種創(chuàng)造，它讓我們能夠捕捉那些稍縱即逝的靈感，將它們永久地定格在紙上。下面是小編精心整理的12篇高性能計(jì)算，希望這些內(nèi)容能成為您創(chuàng)作過(guò)程中的良師益友，陪伴您不斷探索和進(jìn)步。
現(xiàn)代高性能計(jì)算機(jī)的研制需要投入巨大的人力、物力和時(shí)間，對(duì)于千萬(wàn)億次級(jí)別的系統(tǒng)，處理器個(gè)數(shù)將超過(guò)10萬(wàn)個(gè)，研發(fā)費(fèi)用將達(dá)到數(shù)億元人民幣，正確的系統(tǒng)設(shè)計(jì)決策顯得尤為重要。由于高性能計(jì)算系統(tǒng)研制的主要?jiǎng)恿?lái)自用戶需求，因此高性能計(jì)算機(jī)的研制決策必須以是否滿足用戶需求為最重要的標(biāo)準(zhǔn)，在系統(tǒng)設(shè)計(jì)時(shí)就需要深入分析目標(biāo)應(yīng)用特點(diǎn)，以用戶需求驅(qū)動(dòng)高性能計(jì)算機(jī)系統(tǒng)的研制。
用戶需求驅(qū)動(dòng)計(jì)算機(jī)的研制
以目前在TOP500上排名第一的IBM BlueGene/L系統(tǒng)為例。該系統(tǒng)在設(shè)計(jì)之初就定位于解決大規(guī)模分子動(dòng)力學(xué)問題，系統(tǒng)在設(shè)計(jì)時(shí)采用了高并行度、低主頻策略。目前的BlueGene/L系統(tǒng)的處理器個(gè)數(shù)達(dá)到13萬(wàn)多個(gè)，處理器主頻僅為700Mhz。由于分子動(dòng)力學(xué)應(yīng)用具有良好的并行性，使得系統(tǒng)可以通過(guò)多個(gè)處理器的聚合計(jì)算能力達(dá)到較高的整體性能，而低主頻策略對(duì)系統(tǒng)能耗的降低起到了很好的作用。但是，BlueGene/L顯然并不適應(yīng)所有的并行應(yīng)用，對(duì)于通信頻繁或負(fù)載不平衡的應(yīng)用來(lái)說(shuō)，并行度在提高到一定程度之后系統(tǒng)的整體性能反而可能下降，因此可能無(wú)法在BlueGene/L這樣的系統(tǒng)上高效率地執(zhí)行。
日本的地球模擬器在2002年～2004年TOP 500上排名第一。該系統(tǒng)在運(yùn)行實(shí)際應(yīng)用中達(dá)到了很好的性能。地球模擬器獲得成功的一個(gè)主要原因是系統(tǒng)設(shè)計(jì)者與用戶進(jìn)行了長(zhǎng)期合作，深入分析了用戶應(yīng)用。處理器是特制的向量處理器，針對(duì)應(yīng)用提供了極高的單處理器性能，高性能的網(wǎng)絡(luò)使得系統(tǒng)能夠有效處理用戶應(yīng)用的通信需求，使得整個(gè)地球模擬器系統(tǒng)對(duì)用戶應(yīng)用來(lái)說(shuō)是一個(gè)均衡的系統(tǒng)，因此能夠得到滿意的性能。
高性能計(jì)算機(jī)的性能評(píng)測(cè)技術(shù)提供了分析用戶需求的系統(tǒng)化方法，可以幫助高性能計(jì)算機(jī)研制單位根據(jù)用戶應(yīng)用的需求特點(diǎn)，進(jìn)行系統(tǒng)的設(shè)計(jì)和選擇，其主要內(nèi)容包括:
1. 用戶需求收集技術(shù)，用于分析需求的應(yīng)用領(lǐng)域，選取有代表性的應(yīng)用程序。
2. 應(yīng)用程序特征分析，如該應(yīng)用的訪問特性、通信特性以及并行度特性等。
3. 測(cè)試程序構(gòu)造技術(shù)，即根據(jù)需求，采用有代表性的程序，并根據(jù)需求中各個(gè)程序的重要性構(gòu)建Benchmark程序集。
4. 系統(tǒng)建模和應(yīng)用程序性能預(yù)測(cè)技術(shù)，可用來(lái)比較不同的系統(tǒng)設(shè)計(jì)方案，分析系統(tǒng)性能瓶頸以及為優(yōu)化應(yīng)用程序和系統(tǒng)提供依據(jù)。
本文將簡(jiǎn)要介紹上述技術(shù)在國(guó)內(nèi)外的發(fā)展現(xiàn)狀。
用戶需求的收集
用戶需求的收集是高性能計(jì)算機(jī)性能評(píng)測(cè)技術(shù)的基礎(chǔ)。用戶需求的收集就是通過(guò)征集并選取當(dāng)前有代表性的應(yīng)用程序來(lái)評(píng)測(cè)高性能計(jì)算機(jī)系統(tǒng)，典型應(yīng)用的征集主要集中在對(duì)高性能計(jì)算需求較大的一些領(lǐng)域。
核武器研制: 國(guó)際上的超級(jí)計(jì)算機(jī)很多是用來(lái)做核武器研究的，比如美國(guó)能源部的ASC(Advanced Simulation and Computing)計(jì)劃支持的大部分系統(tǒng)、法國(guó)的CEA(Atomic Energy Commission)工程。在核武器研究方面有很多大規(guī)模并行模擬程序需要運(yùn)行在超級(jí)計(jì)算機(jī)上。因此，一些公開的核武器模擬并行程序可以作為高性能計(jì)算機(jī)評(píng)測(cè)的代碼。比如，公開的程序SAGE、Sweep3D等。
國(guó)防安全: 這類應(yīng)用主要是國(guó)防上用于密碼破譯、間諜偵探等方面。這類應(yīng)用程序主要是信息處理和信息分析，對(duì)浮點(diǎn)計(jì)算需求比較小，一般對(duì)單次計(jì)算的響應(yīng)時(shí)間要求比較高。
氣象預(yù)報(bào): 天氣預(yù)報(bào)是高性能應(yīng)用的一個(gè)傳統(tǒng)領(lǐng)域，復(fù)雜的氣候三維模型對(duì)超級(jí)計(jì)算機(jī)有著巨大需求。日本的地球模擬器就是用來(lái)做氣象預(yù)報(bào)的超級(jí)計(jì)算機(jī)，我國(guó)新一代的數(shù)值天氣預(yù)報(bào)系統(tǒng)Grapes就是這類典型應(yīng)用。這類應(yīng)用程序?qū)ο到y(tǒng)的通信性能要求較高。
生物信息學(xué): 通過(guò)超級(jí)計(jì)算機(jī)強(qiáng)大的計(jì)算能力來(lái)解決生物領(lǐng)域的難題是近些年研究的熱點(diǎn)。生物領(lǐng)域有很多海量數(shù)據(jù)處理應(yīng)用程序，比如基因拼接、多序列比對(duì)、蛋白質(zhì)三維結(jié)構(gòu)預(yù)測(cè)等，它們都需要使用具有強(qiáng)大的計(jì)算能力的服務(wù)器來(lái)解決。
此外，石油勘探、地震預(yù)測(cè)、計(jì)算流體力學(xué)等領(lǐng)域都有著對(duì)超級(jí)計(jì)算機(jī)的巨大需求。通過(guò)對(duì)這些領(lǐng)域的典型應(yīng)用程序進(jìn)行征集和初步的分析，我們就可以為下一步的應(yīng)用程序特征分析做好基礎(chǔ)。通過(guò)采取廣泛征集，在各個(gè)領(lǐng)域選擇幾個(gè)候選的應(yīng)用程序，作為下一步程序特征分析的基礎(chǔ)。
應(yīng)用程序的分析
對(duì)選取的典型應(yīng)用程序進(jìn)行特征分析是進(jìn)行高性能計(jì)算機(jī)性能評(píng)測(cè)技術(shù)的一個(gè)關(guān)鍵步驟。只有清晰地了解每個(gè)典型應(yīng)用的程序特征，才可以為下一步的測(cè)試程序集構(gòu)建提供科學(xué)的依據(jù)。
不同應(yīng)用領(lǐng)域的科學(xué)程序使用的算法不同，對(duì)系統(tǒng)的要求也有所不同。比如，通信密集型的算法對(duì)機(jī)器的網(wǎng)絡(luò)性能要求較高，計(jì)算密集型的算法對(duì)處理器性能要求較高。對(duì)應(yīng)用程序進(jìn)行分析能夠讓我們了解該應(yīng)用領(lǐng)域的程序特點(diǎn)，了解程序?qū)ο到y(tǒng)各部件的不同需求，為用戶評(píng)測(cè)和購(gòu)買高性能計(jì)算機(jī)系統(tǒng)提供依據(jù)，也能給系統(tǒng)設(shè)計(jì)者設(shè)計(jì)相關(guān)領(lǐng)域的計(jì)算機(jī)系統(tǒng)提供參考。對(duì)應(yīng)用程序的分析，主要分析程序的訪存特性、通信特性、I/O特性等。
表1是典型的科學(xué)應(yīng)用程序中使用的主要算法描述，其中列舉了納米計(jì)算、氣象應(yīng)用、化學(xué)應(yīng)用、聚變、燃燒應(yīng)用等八個(gè)典型科學(xué)應(yīng)用所使用的算法。
對(duì)具有多物理、多尺度的科學(xué)應(yīng)用最好在一個(gè)通用的、各方面性能都較好的系統(tǒng)上運(yùn)行; 對(duì)于稠密線性代數(shù)計(jì)算需要高性能的處理器，尤其是具有較高浮點(diǎn)計(jì)算能力的機(jī)器; 對(duì)于稀疏線性代數(shù)計(jì)算，需要內(nèi)存的性能較高; 對(duì)于多維FFT算法，由于通信較多，需要較高的網(wǎng)絡(luò)性能; 對(duì)于AMR（Adaptive mesh refinement）的應(yīng)用，需要系統(tǒng)對(duì)不規(guī)則數(shù)據(jù)和控制流的性能較高; 對(duì)于數(shù)據(jù)或者I/O密集型的應(yīng)用，應(yīng)該需要較好的存儲(chǔ)和數(shù)據(jù)管理能力的機(jī)器。
對(duì)應(yīng)用程序的分析，主要包括對(duì)程序中訪存模式、通信模式、I/O特征以及程序的可擴(kuò)展性分析。程序的訪存模式和通信模式是影響高性能應(yīng)用程序的兩個(gè)主要特征，本文下面將重點(diǎn)介紹。
訪存特性分析 由于處理器速度和內(nèi)存速度差異越來(lái)越大，應(yīng)用程序的訪存特征嚴(yán)重地制約著并行程序性能提高。通過(guò)對(duì)應(yīng)用程序中訪存特征的分析，可以幫助優(yōu)化程序性能。應(yīng)用程序訪存模式主要包括順序訪問和隨機(jī)訪問，可以通過(guò)數(shù)據(jù)局部性來(lái)描述程序的訪存特征。程序的數(shù)據(jù)局部性包括時(shí)間局部性和空間局部性。
時(shí)間局部性: 反映程序中對(duì)相同內(nèi)存地址數(shù)據(jù)重新引用的趨勢(shì);
空間局部性: 反映程序中被引用數(shù)據(jù)周圍地址單元數(shù)據(jù)被使用的趨勢(shì)。
例如，程序順序讀取內(nèi)存地址單元，那么該程序的空間局部性就比較好; 如果程序中頻繁地引用相同的數(shù)據(jù)，那么它的時(shí)間局部性就比較好。程序訪存的局部性特征是程序的固有的特征，它并不隨運(yùn)行的系統(tǒng)結(jié)構(gòu)改變而改變。因此，可以使用時(shí)間局部性和空間局部性作為衡量程序訪存特征的兩個(gè)關(guān)鍵指標(biāo)。實(shí)際上，計(jì)算機(jī)系統(tǒng)中的Cache也是應(yīng)用了程序的訪存具有時(shí)間局部性和空間局部性來(lái)設(shè)計(jì)的。
通過(guò)對(duì)程序的時(shí)間局部性和空間局部性進(jìn)行量化，我們就可以把不同的應(yīng)用程序畫在一個(gè)以時(shí)間局部性和空間局部性為坐標(biāo)的二維坐標(biāo)圖中。圖1是一些常見基準(zhǔn)測(cè)試程序中程序訪存局部性示意圖，其中橫軸表示程序的空間局部性，縱軸表示程序的時(shí)間局部性。
其中，HPL、FFT、Random Access和Streams是HPCC（High Performance Computing Challenge Benchmark）基準(zhǔn)測(cè)試程序集中的測(cè)試程序; CG是NPB（NAS Parallel Benchmark）測(cè)試程序中的程序; AVUS是一個(gè)計(jì)算流體力學(xué)代碼。通過(guò)對(duì)這張圖觀察，可以發(fā)現(xiàn)HPL和FFT程序具有幾乎相同的空間局部性，AVUS和NPB中CG程序具有相同的時(shí)間局部性; Streams測(cè)試程序順序的讀取內(nèi)存地址單位，因此程序的空間局部性非常好，但基本沒有時(shí)間局部性。
通信特性分析 并行程序通過(guò)進(jìn)程間通信、同步完成大規(guī)模并行計(jì)算，因此程序的通信模式是影響并行程序性能和可擴(kuò)展性的主要因素。程序的通信模式包括點(diǎn)對(duì)點(diǎn)通信和組通信兩類。正確理解并行應(yīng)用程序中的通信行為，對(duì)于設(shè)計(jì)真實(shí)的測(cè)試程序，優(yōu)化并行應(yīng)用程序的性能以及設(shè)計(jì)更好的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)都具有較好的參考價(jià)值。
點(diǎn)對(duì)點(diǎn)的通信操作是基于消息傳遞的并行應(yīng)用中比較常見的操作，它是在進(jìn)程間進(jìn)行點(diǎn)對(duì)點(diǎn)的通信。在MPI的應(yīng)用中，有阻塞式和非阻塞式的兩種通信方式。傳統(tǒng)的對(duì)于并行應(yīng)用程序的通信可以通過(guò)以下幾個(gè)特征來(lái)進(jìn)行分類: 時(shí)間、空間和容量。通信模式的時(shí)間特性用來(lái)說(shuō)明消息產(chǎn)生的速率; 空間特性用來(lái)說(shuō)明消息目的地址的分布情況; 消息的容量用來(lái)衡量消息大小的分布特征。組通信是由通信庫(kù)提供的可以實(shí)現(xiàn)一對(duì)多或者多對(duì)多等方式的通信模式，一般在具體實(shí)現(xiàn)過(guò)程中也是通過(guò)點(diǎn)對(duì)點(diǎn)通信完成。
對(duì)應(yīng)用的通信模式分析，一般的方法是通過(guò)對(duì)程序的通信函數(shù)部分進(jìn)行插裝（Instrumentation），得到程序的通信事件記錄（Communication Event Trace），通過(guò)對(duì)通信事件分析得到程序的通信模式特征。圖2是對(duì)國(guó)家氣象局的新一代數(shù)值氣象預(yù)報(bào)系統(tǒng)Grapes程序的點(diǎn)對(duì)點(diǎn)通信分析的部分結(jié)果，分別描述了消息大小分布和消息目的進(jìn)程分布的情況。
我們可以發(fā)現(xiàn)，Grapes程序中點(diǎn)對(duì)點(diǎn)通信的消息大小集中在100KB到1MB之間，0號(hào)進(jìn)程與所有的進(jìn)程進(jìn)行通信。Grapes的通信操作較頻繁，程序?qū)ο到y(tǒng)的通信性能要求較高。
通過(guò)對(duì)程序的通信模式研究，可以把應(yīng)用程序按照訪存特征分別歸為不同的類別。此外，程序的特征分析還包括程序的計(jì)算特征，如程序以浮點(diǎn)計(jì)算為主或以整數(shù)計(jì)算為主，以及程序的I/O特征、程序中I/O訪問的順序性和I/O訪問文件的大小等。
程序集的構(gòu)建
測(cè)試程序構(gòu)造技術(shù)，即根據(jù)需求采取有代表性的程序，并根據(jù)需求中各個(gè)程序的重要性構(gòu)建benchmark程序集。它需要使用應(yīng)用程序分析的結(jié)果，通過(guò)把程序特征相似的程序聚類，并根據(jù)應(yīng)用程序的權(quán)重選取代表性的程序，構(gòu)建最后的基準(zhǔn)測(cè)試程序。在構(gòu)建程序集的時(shí)候主要從以下幾個(gè)方面考慮:
1. 程序的重要性。選擇典型的應(yīng)用程序是構(gòu)建程序集的根本，由于購(gòu)買的高性能計(jì)算機(jī)主要用于這些典型的應(yīng)用領(lǐng)域，所以選擇有代表性的應(yīng)用程序可以和實(shí)際的需求更加一致。因此，這類應(yīng)用在選取的時(shí)候具有較高優(yōu)先級(jí)。
2.程序性能特征。通過(guò)對(duì)程序性能特征的分析，對(duì)程序的訪存模式、通信模式、I/O特征都有一定的了解。可以通過(guò)聚類的方式，使選擇的程序集能夠覆蓋整個(gè)性能空間，同時(shí)，具有相同或者相似性能的程序，我們可以選取其中的一個(gè)作為代表。
3.程序的移植性。由于構(gòu)建的程序集要在不同的體系結(jié)構(gòu)上運(yùn)行，所以程序的移植性非常重要。一般針對(duì)某個(gè)特定領(lǐng)域開發(fā)的應(yīng)用只可在某個(gè)體系結(jié)構(gòu)下運(yùn)行，所以為使基準(zhǔn)測(cè)試具有通用性，需要把程序移植到各種平臺(tái)。
此外，基準(zhǔn)測(cè)試程序還需要考慮數(shù)據(jù)集以及運(yùn)行規(guī)模等各方面的問題。它是用戶理解系統(tǒng)性能最直接的方式，因此在性能評(píng)測(cè)中是一個(gè)極其重要的研究?jī)?nèi)容。
性能建模和性能預(yù)測(cè)
通過(guò)需求的征集、并行程序的性能分析和最后程序集的構(gòu)建，我們就構(gòu)造好了一套用于測(cè)試高性能計(jì)算機(jī)的基準(zhǔn)測(cè)試程序集。這些測(cè)試程序集在用戶購(gòu)買超級(jí)計(jì)算機(jī)以及廠商進(jìn)行系統(tǒng)比較等方面都具有重要的作用。但這種測(cè)試技術(shù)不能預(yù)測(cè)當(dāng)系統(tǒng)某個(gè)設(shè)備有輕微改變時(shí)系統(tǒng)整體性能的變化，因此無(wú)法在系統(tǒng)尚未搭建好的時(shí)候，為系統(tǒng)設(shè)計(jì)人員提供參考建議，也不能對(duì)未來(lái)的科學(xué)應(yīng)用程序進(jìn)行預(yù)測(cè)分析，為面向未來(lái)應(yīng)用需求的系統(tǒng)設(shè)計(jì)提供幫助。
為了解決這些問題，需要采用系統(tǒng)建模和性能預(yù)測(cè)技術(shù)。性能建模就是對(duì)應(yīng)用程序和高性能計(jì)算機(jī)系統(tǒng)建立合適的模型; 性能預(yù)測(cè)就是使用程序和系統(tǒng)的模型，預(yù)測(cè)應(yīng)用程序在系統(tǒng)中性能。性能建模和性能預(yù)測(cè)在高性能計(jì)算機(jī)系統(tǒng)的性能評(píng)測(cè)過(guò)程中扮演著重要的角色。性能建模和預(yù)測(cè)的好處在于: 不需要實(shí)際運(yùn)行應(yīng)用代碼就可以分析系統(tǒng)性能，這可以減少運(yùn)行應(yīng)用的時(shí)間開銷，而且在高性能系統(tǒng)還處于設(shè)計(jì)階段就可以預(yù)測(cè)系統(tǒng)性能，及時(shí)發(fā)現(xiàn)系統(tǒng)設(shè)計(jì)的瓶頸，分析未來(lái)應(yīng)用模式對(duì)系統(tǒng)的需求。
對(duì)并行程序的性能預(yù)測(cè)主要有基于模擬的方法和基于分析的方法。基于模擬的方法主要通過(guò)模擬器來(lái)模擬系統(tǒng)的Cache、內(nèi)存、網(wǎng)絡(luò)、I/O等行為，從而實(shí)現(xiàn)系統(tǒng)性能的預(yù)測(cè)。基于分析的方法主要是對(duì)系統(tǒng)和程序建立數(shù)學(xué)的模型，通過(guò)測(cè)試等手段獲得模型的參數(shù)，從而實(shí)現(xiàn)性能的預(yù)測(cè)。
基于模擬的方法又包括執(zhí)行驅(qū)動(dòng)的模擬器和事件記錄驅(qū)動(dòng)的模擬器。執(zhí)行驅(qū)動(dòng)的模擬器就是僅模擬需要分析的部分，其余的部分通過(guò)實(shí)際運(yùn)行。比如，我們需要分析系統(tǒng)的網(wǎng)絡(luò)性能，只需要模擬通信部分，其他的計(jì)算和訪存部分可以通過(guò)實(shí)際運(yùn)行代碼來(lái)實(shí)現(xiàn)。典型的執(zhí)行驅(qū)動(dòng)的模擬器現(xiàn)在有UIUC大學(xué)的Bigsim模擬器和UCLA大學(xué)開發(fā)的MPI-SIM模擬器。這種模擬器一般精度很高，缺點(diǎn)是對(duì)于訪存密集型的應(yīng)用程序，很難實(shí)現(xiàn)在小規(guī)模的機(jī)器上模擬。
事件記錄驅(qū)動(dòng)的模擬器通過(guò)事件驅(qū)動(dòng)模擬器執(zhí)行。比如事件記錄驅(qū)動(dòng)的網(wǎng)絡(luò)模擬器，它的工作原理是對(duì)應(yīng)用程序的通信模塊進(jìn)行插裝，得到程序的通信事件記錄，然后把這些通信事件記錄輸入模擬器。模擬器根據(jù)輸入的事件以及待模擬機(jī)器的通信參數(shù)指標(biāo)就可以預(yù)測(cè)出程序的通信時(shí)間，這類模擬器典型的有歐洲UPC大學(xué)的DIMEMAS模擬器。
美國(guó)的圣地亞哥超級(jí)計(jì)算中心（San Diego Super-computer Center，SDSC）提出一套基于模擬的性能預(yù)測(cè)框架。它們認(rèn)為，影響并行程序性能的主要因素包括單處理器性能和互連網(wǎng)絡(luò)性能，因此，需要對(duì)單處理器性能和互連網(wǎng)絡(luò)分別建立模型。單處理器上的性能主要由程序的訪存和浮點(diǎn)計(jì)算需求決定。互連網(wǎng)絡(luò)的性能主要由程序的通信模式?jīng)Q定。程序的特征和機(jī)器的性能分別進(jìn)行描述，通過(guò)兩者之間的映射分別實(shí)現(xiàn)程序在單處理器和互連網(wǎng)絡(luò)上的性能預(yù)測(cè)，最后實(shí)現(xiàn)整個(gè)并行程序在超級(jí)計(jì)算機(jī)上的性能預(yù)測(cè)。
基于分析的方法通過(guò)對(duì)需要預(yù)測(cè)的并行程序進(jìn)行分析，對(duì)并行程序的訪存、通信建立一個(gè)數(shù)學(xué)模型，通過(guò)數(shù)學(xué)模型進(jìn)行求解，得到程序的性能預(yù)測(cè)。美國(guó)的勞斯阿拉莫斯國(guó)家實(shí)驗(yàn)室（Los Alamos National Laboratory LANL）使用分析的方法分析了一些并行應(yīng)用程序。
比較兩種方法可以看出，模擬的方法由于可以精確地模擬系統(tǒng)的行為，因此預(yù)測(cè)的精度比較高，但缺點(diǎn)是模擬的運(yùn)行時(shí)間一般都比較長(zhǎng)。分析的方法優(yōu)點(diǎn)是可以非常靈活地分析各個(gè)參數(shù)之間的相互影響，預(yù)測(cè)時(shí)間比較短，成本比較低，缺點(diǎn)是預(yù)測(cè)精度比較低，同時(shí)，對(duì)于復(fù)雜的應(yīng)用，分析方法很難構(gòu)建數(shù)學(xué)的模型。因此，需要把模擬的方法和分析方法結(jié)合起來(lái)，才可以實(shí)現(xiàn)快速、精確的性能預(yù)測(cè)。總之，系統(tǒng)建模和應(yīng)用程序性能預(yù)測(cè)技術(shù)，可用來(lái)比較不同的系統(tǒng)設(shè)計(jì)方案，分析系統(tǒng)性能瓶頸以及為優(yōu)化應(yīng)用程序和系統(tǒng)提供依據(jù)。
作者簡(jiǎn)介
鄭緯民
清華大學(xué)計(jì)算機(jī)系教授、博士生導(dǎo)師，863高性能計(jì)算機(jī)評(píng)測(cè)中心主任。同時(shí)還擔(dān)任中國(guó)計(jì)算機(jī)學(xué)會(huì)副理事長(zhǎng)、中國(guó)計(jì)算機(jī)學(xué)會(huì)學(xué)術(shù)工會(huì)主任、北京市科技進(jìn)步獎(jiǎng)第八屆評(píng)審委員會(huì)委員等。
10月28日,我國(guó)IT產(chǎn)業(yè)一個(gè)歷史性時(shí)刻到來(lái)了:在2010年全國(guó)高性能計(jì)算學(xué)術(shù)年會(huì)上的“2010中國(guó)高性能計(jì)算機(jī)性能百?gòu)?qiáng)排行榜”中,國(guó)防科學(xué)技術(shù)大學(xué)研制的“天河一號(hào)”高性能計(jì)算機(jī)以每秒2507萬(wàn)億次浮點(diǎn)運(yùn)算的實(shí)測(cè)性能和每秒4700萬(wàn)億次浮點(diǎn)運(yùn)算的峰值性能位居榜首。
這是一次自我超越。國(guó)防科大對(duì)安裝在國(guó)家超級(jí)計(jì)算天津中心的“天河一號(hào)”一期工程進(jìn)行優(yōu)化升級(jí),以實(shí)測(cè)性能提高了4.45倍和峰值性能提高3.89倍的成績(jī),蟬聯(lián)了我國(guó)高性能計(jì)算機(jī)百?gòu)?qiáng)第一名。
這也是群體性跨越。國(guó)產(chǎn)高性能計(jì)算機(jī)在全國(guó)高性能計(jì)算機(jī)百?gòu)?qiáng)前10名的數(shù)量從5年前的兩個(gè),增加到去年的4個(gè),再到今年的7個(gè);最好成績(jī)從5年前的第2名,提高到去年包攬前3名,再到今年包攬了前7名。從性能統(tǒng)計(jì)上看,國(guó)產(chǎn)系統(tǒng)在百?gòu)?qiáng)中所占的份額從去年的59.31%大幅提高到了81.08%。
這還是一次歷史性跨越。Cray公司為美國(guó)橡樹嶺國(guó)家實(shí)驗(yàn)室研制的“美洲虎”系統(tǒng),以每秒1759萬(wàn)億次的實(shí)測(cè)性能和每秒2331萬(wàn)億次的峰值性能,位居今年6月公布的最新的“全球高性能計(jì)算500強(qiáng)”排名榜榜首。而“天河一號(hào)”的實(shí)測(cè)與峰值性能分別是“美洲虎”系統(tǒng)的1.43倍和2.02倍。參加全國(guó)高性能計(jì)算年會(huì)的國(guó)際權(quán)威人士表示,“天河一號(hào)”的性能在今年年底的“全球高性能計(jì)算500強(qiáng)”中位居榜首已經(jīng)沒有問題。
在對(duì)“天河一號(hào)”一期系統(tǒng)的升級(jí)優(yōu)化中,國(guó)防科大將計(jì)算節(jié)點(diǎn)之間擔(dān)負(fù)高速通信任務(wù)的互聯(lián)芯片全部替換為國(guó)防科大自主研發(fā)的芯片,其性能是目前國(guó)際市場(chǎng)上商用芯片的兩倍,從而為“天河一號(hào)”數(shù)倍性能的提升奠定了基礎(chǔ)。在優(yōu)化中,國(guó)防科大還在芯片、節(jié)點(diǎn)機(jī)、網(wǎng)絡(luò)、編譯系統(tǒng)、操作系統(tǒng)等多項(xiàng)關(guān)鍵技術(shù)上進(jìn)行了升級(jí),并且正瞄準(zhǔn)國(guó)際前沿研制下一代處理器。這是做乘法的思路。
沒有鮮花和美酒,甚至連國(guó)防科大相關(guān)領(lǐng)導(dǎo)或科研人員也沒有在主席臺(tái)上露面。筆者上周在本報(bào)撰寫的《“兩彈一星”精神更具現(xiàn)實(shí)意義》評(píng)論中談到,國(guó)防科研領(lǐng)域強(qiáng)調(diào)結(jié)果導(dǎo)向和實(shí)力導(dǎo)向,有著埋頭苦干、淡泊名利的光榮傳統(tǒng)。“天河一號(hào)”最終榮登中國(guó)乃至全球高性能計(jì)算榜首,憑借的唯有實(shí)力。
如今,我們不缺高性能計(jì)算機(jī),也不缺應(yīng)用需求,事實(shí)上高性能計(jì)算的應(yīng)用早已經(jīng)從傳統(tǒng)的科學(xué)計(jì)算、工程仿真、石油勘探、氣象預(yù)報(bào)等領(lǐng)域擴(kuò)展到了生物醫(yī)藥、工程設(shè)計(jì)、高端裝備研發(fā)、新能源、新材料、動(dòng)漫設(shè)計(jì),以及金融風(fēng)險(xiǎn)分析甚至公共安全與城市管理等諸多領(lǐng)域。如何為這些需求開發(fā)應(yīng)用,或者將已有的應(yīng)用移植到國(guó)產(chǎn)系統(tǒng)上,對(duì)軟件廠商來(lái)說(shuō),機(jī)會(huì)和挑戰(zhàn)都很大。這項(xiàng)工作做不好,就會(huì)成為我國(guó)高性能計(jì)算應(yīng)用的瓶頸。
高性能計(jì)算排行榜為我們展示的是一幅超越自己、超越同行的動(dòng)態(tài)畫面,正是在這場(chǎng)你追我趕的競(jìng)賽中,中國(guó)的高性能計(jì)算技術(shù)迅速發(fā)展。我們期待著未來(lái)國(guó)產(chǎn)高性能計(jì)算機(jī)從性能到應(yīng)用不斷邁出堅(jiān)實(shí)的步伐。
新成立的科學(xué)計(jì)算中心是一個(gè)交流、合作的平臺(tái)，將會(huì)大大提升我國(guó)高性能計(jì)算的應(yīng)用水平。
“超級(jí)計(jì)算機(jī)并不像想像的那樣神秘，人造心臟的研發(fā)、北京奧運(yùn)場(chǎng)館鳥巢的設(shè)計(jì)，還有國(guó)家大劇院的建設(shè)，這些都有高性能計(jì)算的參與。推進(jìn)高性能計(jì)算的應(yīng)用才能增強(qiáng)它的生命力。中國(guó)和美國(guó)相比，高性能計(jì)算在應(yīng)用領(lǐng)域里還有一定距離，應(yīng)加強(qiáng)國(guó)際合作和人才培養(yǎng)，縮短這一差距。” 這是在“中美聯(lián)合科學(xué)計(jì)算中心”成立儀式上，紐約州立大學(xué)鄧越凡教授講的一番話。
5月31日下午，在國(guó)家科技部、中國(guó)科學(xué)院的支持下，由中科院計(jì)算機(jī)網(wǎng)絡(luò)信息中心超級(jí)計(jì)算中心、美國(guó)紐約科學(xué)計(jì)算中心和北京泰瑞世紀(jì)科技有限公司共同發(fā)起的“中美聯(lián)合科學(xué)計(jì)算中心”成立簽約儀式在中科院網(wǎng)絡(luò)中心舉行，這是中美科研機(jī)構(gòu)聯(lián)手打造超級(jí)計(jì)算機(jī)應(yīng)用研究基地的開端。科技部高技術(shù)司李向濤、中國(guó)科學(xué)院國(guó)際合作局副局長(zhǎng)曹京華、中科院網(wǎng)絡(luò)中心黨委副書記肖作敏出席了簽約儀式。
會(huì)上，中國(guó)科學(xué)院國(guó)際合作局副局長(zhǎng)曹京華認(rèn)為，中美間要加強(qiáng)交流與合作，促進(jìn)高性能計(jì)算事業(yè)的發(fā)展。中美聯(lián)合科學(xué)計(jì)算中心的使命就是面向科學(xué)院系統(tǒng)開展的科研應(yīng)用領(lǐng)域和重點(diǎn)行業(yè)，聯(lián)合開展高性能計(jì)算應(yīng)用方面的技術(shù)研發(fā)、咨詢和服務(wù)，培養(yǎng)國(guó)際型應(yīng)用人才，促進(jìn)科學(xué)研究，為我國(guó)科技事業(yè)的發(fā)展起到示范作用。
新成立的科學(xué)計(jì)算中心提供一個(gè)中美科研人員合作和交流的平臺(tái)，選拔優(yōu)秀人才到國(guó)外深造，提升科學(xué)院內(nèi)外高性能計(jì)算應(yīng)用水平。除此之外，中心還將開展高性能計(jì)算應(yīng)用方面的深入研究，聯(lián)合申請(qǐng)/承擔(dān)國(guó)家、部委、省市在高性能計(jì)算應(yīng)用方面的科研項(xiàng)目，并且引進(jìn)國(guó)外在高性能計(jì)算應(yīng)用方面的優(yōu)秀技術(shù)或技術(shù)成果。
高性能計(jì)算在國(guó)民經(jīng)濟(jì)、國(guó)防建設(shè)、科學(xué)研究等領(lǐng)域的作用日益顯著，已經(jīng)成為繼理論科學(xué)、實(shí)驗(yàn)科學(xué)后的第三種科學(xué)方法。高性能計(jì)算是一個(gè)國(guó)家綜合國(guó)力和競(jìng)爭(zhēng)力的重要標(biāo)志，此次中美聯(lián)合科學(xué)計(jì)算中心的成立，是開展國(guó)際交流與合作、提高國(guó)內(nèi)高性能計(jì)算應(yīng)用水平的一次新嘗試。（許泳）
近日， VMware公司與曙光公司達(dá)成一項(xiàng)OEM協(xié)議，曙光公司將銷售、分銷及支持基于曙光服務(wù)器系統(tǒng)的VMware Infrastructure 3。這是VMware公司繼聯(lián)想、浪潮之后，與中國(guó)服務(wù)器企業(yè)再次合作推廣虛擬化技術(shù)與方案。在會(huì)上，曙光公司副總裁聶華和VMware 公司大中華區(qū)總裁宋家瑜豪不掩飾雙方合作的真正意圖，那就是在高性能計(jì)算機(jī)虛擬化方面能有所作為。“這也是VMware 公司選擇與曙光合作的一個(gè)重要原因，也是與聯(lián)想合作最大的不同。”宋家瑜對(duì)記者說(shuō)。
高性能計(jì)算機(jī)應(yīng)用的目標(biāo)已經(jīng)越來(lái)越清晰，那就是用戶應(yīng)用簡(jiǎn)單、方便，性能得到充分利用，居高不下的能耗能得到降低等等。而虛擬化技術(shù)目前所能解決的問題是，通過(guò)整合服務(wù)器，企業(yè)的計(jì)算能力可迅速匯集并按需提供服務(wù)，整個(gè)數(shù)據(jù)中心的靈活性會(huì)隨之得到增強(qiáng)，簡(jiǎn)化了管理，降低了功耗，改進(jìn)了災(zāi)難恢復(fù)，降低了成本。兩者的目標(biāo)極其相似，因而具有巨大的應(yīng)用前景。聶華認(rèn)為，目前高性能計(jì)算機(jī)用戶除了特別單一的應(yīng)用以外，對(duì)性能利用和降低能耗等優(yōu)化的需求很強(qiáng)烈，曙光在這方的探索很早就已經(jīng)開始。而借助VMware 公司的力量，會(huì)加快高性能計(jì)算機(jī)應(yīng)用虛擬化技術(shù)的進(jìn)度。
不過(guò)雙方目前合作的重點(diǎn)仍然是工業(yè)標(biāo)準(zhǔn)服務(wù)器和數(shù)據(jù)中心方面虛擬化技術(shù)的應(yīng)用。雙方合作的第一步是在曙光的服務(wù)器上部署VMware的虛擬化產(chǎn)品，包括目前應(yīng)用最為廣泛的平臺(tái)，也會(huì)包括即將的最新產(chǎn)品。聶華認(rèn)為，部署VMware Infrastructure，曙光產(chǎn)品的可用性、安全性和擴(kuò)展性得以提高。客戶現(xiàn)在就能購(gòu)買捆綁了嵌入式VMware Infrastructure的曙光產(chǎn)品。第二步是提高用戶應(yīng)用虛擬化技術(shù)的水平，為用戶提供增值服務(wù)。第三步就是在高性能計(jì)算機(jī)虛擬化上有所突破。在發(fā)展高性能計(jì)算機(jī)方面，一個(gè)非常重要的問題是降低用戶的應(yīng)用成本，提高應(yīng)用的效率。“在通用高性能計(jì)算機(jī)上，引入虛擬化技術(shù)迫在眉睫！” 聶華認(rèn)為，“這也是我們選擇與虛擬化技術(shù)領(lǐng)頭羊VMware合作的主要原因。”如果你認(rèn)為曙光與VMware僅僅簽署了一項(xiàng)OEM合作協(xié)議，那么你只看到冰山的一角。雙方簽署的是戰(zhàn)略合作協(xié)議，其中的內(nèi)容耐人尋味。
用數(shù)值計(jì)算的方法來(lái)制作預(yù)報(bào)是今后氣象預(yù)報(bào)業(yè)務(wù)發(fā)展的主流方向，也是現(xiàn)代化氣象預(yù)報(bào)業(yè)務(wù)的基礎(chǔ)。數(shù)值預(yù)報(bào)的發(fā)展與計(jì)算機(jī)性能的提高有著密切聯(lián)系，為了提高預(yù)報(bào)的準(zhǔn)確性，要求數(shù)值預(yù)報(bào)模式具有較高的分辨率、較細(xì)的物理過(guò)程以及預(yù)報(bào)時(shí)效等，而這些都依賴于計(jì)算機(jī)技術(shù)的發(fā)展。
計(jì)算機(jī)是現(xiàn)代氣象預(yù)報(bào)業(yè)務(wù)的主要工具，高性能計(jì)算機(jī)則是數(shù)值預(yù)報(bào)業(yè)務(wù)最重要的基礎(chǔ)支撐平臺(tái)。
數(shù)值預(yù)報(bào)發(fā)展迅猛
1982年2月16日，我國(guó)第一個(gè)數(shù)值預(yù)報(bào)業(yè)務(wù)系統(tǒng)―短期數(shù)值天氣預(yù)報(bào)業(yè)務(wù)系統(tǒng)(簡(jiǎn)稱B模式)在中型計(jì)算機(jī)上建立并正式投入業(yè)務(wù)應(yīng)用，結(jié)束了我國(guó)只使用國(guó)外數(shù)值預(yù)報(bào)產(chǎn)品的歷史。1991年6月15日，我國(guó)第一個(gè)中期數(shù)值預(yù)報(bào)業(yè)務(wù)系統(tǒng)(簡(jiǎn)稱T42)在CYBER大型計(jì)算機(jī)上建立并正式投入業(yè)務(wù)運(yùn)行。這一系統(tǒng)的建成使我國(guó)步入了世界少數(shù)幾個(gè)開展中期數(shù)值天氣預(yù)報(bào)的先進(jìn)國(guó)家行列。
近些年數(shù)值預(yù)報(bào)又有了大幅進(jìn)展，2005年12月14日，首次建立起我國(guó)自主研發(fā)的、具有國(guó)際先進(jìn)技術(shù)水平的GRAPES全球同化與中期數(shù)值預(yù)報(bào)系統(tǒng)，它將成為我國(guó)新一代的中期數(shù)值預(yù)報(bào)業(yè)務(wù)系統(tǒng)升級(jí)的基礎(chǔ)，為改進(jìn)我國(guó)國(guó)家級(jí)的指導(dǎo)預(yù)報(bào)水平和增強(qiáng)對(duì)國(guó)家安全需要的全球預(yù)報(bào)服務(wù)能力提供技術(shù)支持。
在氣候模式系統(tǒng)方面，我國(guó)也建立起了由大氣環(huán)流模式、海洋環(huán)流模式及其耦合的海氣耦合模式、區(qū)域氣候模式組成的氣候動(dòng)力模式系統(tǒng)，已經(jīng)成為制作季節(jié)和年度氣候預(yù)測(cè)的重要工具。中國(guó)氣象局?jǐn)?shù)值預(yù)報(bào)業(yè)務(wù)離不開高性能計(jì)算機(jī)系統(tǒng)的支持。
1991年6月，在CYBER大型計(jì)算機(jī)上建立了我國(guó)第一個(gè)中期數(shù)值預(yù)報(bào)業(yè)務(wù)系統(tǒng)(簡(jiǎn)稱T42)；
1996年5月，在Cray-C92系統(tǒng)上建立了區(qū)域臺(tái)風(fēng)路徑預(yù)報(bào)系統(tǒng)；
1998年，在Cray-C92系統(tǒng)上建立了核污染擴(kuò)散傳輸模式系統(tǒng)；
1998年6月，在IBM SP2系統(tǒng)上建立了北京地區(qū)中尺度模式系統(tǒng)；
2007年8月和2004年9月，在神威I系統(tǒng)上分別建立了華北地區(qū)中尺度模式系統(tǒng)(HB-MM5)和NMC中尺度模式系統(tǒng)；
1999年，在Cray-C92系統(tǒng)上建立了森林火險(xiǎn)氣象條件預(yù)報(bào)(模型)；2004年9月，在IBM SP系統(tǒng)上建立了森林火險(xiǎn)氣象等級(jí)預(yù)報(bào)系統(tǒng)；
2000年3月，在神威I系統(tǒng)上建立中期集合預(yù)報(bào)系統(tǒng)T106L19/32成員；
2001年6月，在神威I系統(tǒng)上分別建立了城市空氣質(zhì)量預(yù)報(bào)系統(tǒng)；
2002年9月1日，在IBM SP系統(tǒng)上建立了全球T213L31全球中期分析預(yù)報(bào)系統(tǒng)(簡(jiǎn)稱T213)；
2004年6月，在IBM SP系統(tǒng)上建立了紫外線等級(jí)預(yù)報(bào)系統(tǒng)及全球臺(tái)風(fēng)路徑預(yù)報(bào)系統(tǒng)；
2005年，在IBM高性能計(jì)算機(jī)系統(tǒng)上建立了海浪數(shù)值預(yù)報(bào)系統(tǒng)；
2005年12月，在IBM高性能計(jì)算機(jī)系統(tǒng)上建立了短期氣候預(yù)測(cè)業(yè)務(wù)系統(tǒng)；
2006年4月，在IBM高性能計(jì)算機(jī)系統(tǒng)上建立了Grapes_Meso模式系統(tǒng)。
氣象服務(wù)走向深入
目前，中國(guó)氣象局高性能計(jì)算機(jī)有以神威Ⅰ系統(tǒng)、神威新世紀(jì)集群系統(tǒng)、IBM SP系統(tǒng)、IBM高性能計(jì)算機(jī)等為代表的一批國(guó)內(nèi)一流的高性能計(jì)算資源，總峰值能力達(dá)23TFLOPS以上。神威I系統(tǒng)在建設(shè)后，主要承擔(dān)MM5、集合預(yù)報(bào)、空氣污染、臺(tái)風(fēng)路徑等氣象業(yè)務(wù)模式，目前只承擔(dān)北京高性能計(jì)算機(jī)應(yīng)用中心的任務(wù)，擁有中科院軟件所、中科院計(jì)算所、中科院金屬所、總裝29基地、上海藥物所、醫(yī)科院藥物所、北方計(jì)算中心、中國(guó)石化集團(tuán)等60多個(gè)用戶。
IBM大SP系統(tǒng)是上一代數(shù)值預(yù)報(bào)系統(tǒng)的業(yè)務(wù)用機(jī)，主要承擔(dān)T213、HLAFS等數(shù)值天氣預(yù)報(bào)業(yè)務(wù)模式，目前承擔(dān)的是天氣、氣候的科研任務(wù)。IBM小SP系統(tǒng)則運(yùn)行氣候資料數(shù)據(jù)庫(kù)和科研等業(yè)務(wù)工作，隨著業(yè)務(wù)模式移植到新的計(jì)算機(jī)系統(tǒng)上，整個(gè)系統(tǒng)的利用率逐漸下降。
神威新世紀(jì)32P、32I系統(tǒng)分別承擔(dān)的是青海、武漢MM5的業(yè)務(wù)模式，以及IPCC任務(wù)、CAM、REGCM等科研模式。其系統(tǒng)利用率整體情況比較平穩(wěn)，由于承擔(dān)了IPCC氣候變化預(yù)估任務(wù)的作業(yè)，對(duì)磁盤的需求很大，磁盤空間比較緊張，使用率超過(guò)80%。
IBM高性能計(jì)算機(jī)系統(tǒng)是目前主要的天氣氣候業(yè)務(wù)科研模式的重要基礎(chǔ)平臺(tái)。系統(tǒng)共有446個(gè)用戶，系統(tǒng)磁盤和CPU使用率都比較高，CPU利用率今年平均為48.68%，磁盤利用率超過(guò)70%，承擔(dān)的應(yīng)用有：
業(yè)務(wù)模式系統(tǒng)，包括數(shù)值天氣預(yù)報(bào)業(yè)務(wù)系統(tǒng)和短期氣候預(yù)測(cè)業(yè)務(wù)系統(tǒng)。數(shù)值天氣預(yù)報(bào)業(yè)務(wù)系統(tǒng)主要包括：常規(guī)觀測(cè)資料處理、全球數(shù)值預(yù)報(bào)T213模式、中尺度天氣數(shù)值預(yù)報(bào)系統(tǒng)MM5、臺(tái)風(fēng)路徑預(yù)報(bào)系統(tǒng)、區(qū)域數(shù)值預(yù)報(bào)GRAPES模式、亞洲沙塵暴業(yè)務(wù)系統(tǒng)、環(huán)境拓展模式預(yù)報(bào)。短期氣候預(yù)測(cè)業(yè)務(wù)系統(tǒng)包括：海洋資料同化、月動(dòng)力延伸集合預(yù)報(bào)、海氣耦合模式季節(jié)預(yù)測(cè)。
準(zhǔn)業(yè)務(wù)及重點(diǎn)科研項(xiàng)目，包括T639和T213全球集合預(yù)報(bào)、WRF區(qū)域集合預(yù)報(bào)、T213臺(tái)風(fēng)集合預(yù)報(bào)、人影指導(dǎo)預(yù)報(bào)、海浪預(yù)報(bào)系統(tǒng)、精細(xì)指導(dǎo)數(shù)值模式和專業(yè)服務(wù)模式，IPCC未來(lái)氣候變化評(píng)估，沙塵暴、紫外線等大氣成分?jǐn)?shù)值準(zhǔn)業(yè)務(wù)模式。
科研模式，包括風(fēng)能資源評(píng)估方法試驗(yàn)、CCM3、Regcm3、GRAPES等科研模式。
在現(xiàn)有使用的高性能計(jì)算機(jī)系統(tǒng)中，IBM高性能計(jì)算機(jī)系統(tǒng)的用戶數(shù)和資源使用率最高，而神威I系統(tǒng)由于所有的業(yè)務(wù)已經(jīng)移植到新系統(tǒng)，CPU利用率下降最快，維持在3%以下。
從中國(guó)氣象局?jǐn)?shù)值預(yù)報(bào)的發(fā)展進(jìn)程來(lái)看，高性能計(jì)算機(jī)系統(tǒng)是數(shù)值預(yù)報(bào)系統(tǒng)基礎(chǔ)平臺(tái)，每一次數(shù)值預(yù)報(bào)水平和能力的提升都有與之匹配的高性能計(jì)算機(jī)系統(tǒng)的支撐。
運(yùn)行速度將大幅提升
氣象應(yīng)用一直是高性能計(jì)算機(jī)使用的一個(gè)重要領(lǐng)域。在2007年6月的全球TOP500高性能計(jì)算機(jī)排行榜中有19臺(tái)是主要應(yīng)用于大氣科學(xué)和氣象預(yù)報(bào)。而國(guó)內(nèi)的銀河、曙光、神威等高性能計(jì)算機(jī)系統(tǒng)對(duì)于氣象應(yīng)用也有很好的支持。
云計(jì)算降低HPC應(yīng)用門檻
在2011全國(guó)高性能計(jì)算學(xué)術(shù)年會(huì)上，微軟亞太研發(fā)集團(tuán)服務(wù)器與開發(fā)工具事業(yè)部高性能計(jì)算部門經(jīng)理徐明強(qiáng)博士告訴記者，云計(jì)算不僅讓魚與熊掌兼得，而且正在改變著HPC生態(tài)環(huán)境。
徐明強(qiáng)表示，回顧歷史，機(jī)群體系和x86 CPU無(wú)疑是HPC發(fā)展歷程的轉(zhuǎn)折點(diǎn)，它們不僅降低了HPC系統(tǒng)的建設(shè)成本，更重要的是打破了技術(shù)封鎖，讓更多的國(guó)家有能力擁有HPC。而機(jī)群架構(gòu)也為云計(jì)算進(jìn)入HPC領(lǐng)域奠定了硬件基礎(chǔ)，進(jìn)而顯著地降低了HPC的應(yīng)用門檻。
而HPC與云計(jì)算的結(jié)合，不僅讓更多的用戶有能力用上HPC，而且像上汽集團(tuán)這樣實(shí)力雄厚的企業(yè)也能獲益其中。上汽技術(shù)中心安全工程與虛擬技術(shù)部張?chǎng)H鵬介紹，該部門擁有一套具有320個(gè)內(nèi)核40個(gè)刀片服務(wù)器和2TB存儲(chǔ)的基于Windows的汽車虛擬設(shè)計(jì)HPC平臺(tái)，為乘用車技術(shù)中心和商用車技術(shù)中心200多位CAE（計(jì)算機(jī)輔助工程）工程師提供服務(wù)，每天運(yùn)行約有100個(gè)計(jì)算作業(yè)。但該平臺(tái)仍然無(wú)法滿足一些高強(qiáng)度作業(yè)對(duì)計(jì)算峰值性能的需求。
通過(guò)與微軟和上海超算中心的合作，上汽技術(shù)中心實(shí)現(xiàn)了私有云和公有云的無(wú)縫對(duì)接，在峰值計(jì)算時(shí)把作業(yè)放到上海超算中心的HPC上，而CAE工程師們并不需要知道作業(yè)是在哪里執(zhí)行的，他們的使用習(xí)慣也沒有任何改變，唯一的變化是運(yùn)行時(shí)間大幅下降。
五刀砍向HPC價(jià)值鏈
“云計(jì)算將會(huì)在HPC現(xiàn)有的價(jià)值鏈上砍上五刀，讓HPC市場(chǎng)瘦身；而且會(huì)有力地推動(dòng)市場(chǎng)參與者的轉(zhuǎn)型。”徐明強(qiáng)表示。
首當(dāng)其沖的是硬件，云計(jì)算運(yùn)營(yíng)商規(guī)模化采購(gòu)將會(huì)節(jié)省大量的硬件開支；二是運(yùn)營(yíng)商采用通用硬件后，將顯著降低硬件維護(hù)費(fèi)用；第三刀砍在了操作系統(tǒng)和管理工具上，因?yàn)檫@些軟件的價(jià)值部分地轉(zhuǎn)移到運(yùn)營(yíng)商一側(cè)，用戶不再需要獨(dú)立購(gòu)買；第四刀砍在了服務(wù)上，即便采用了機(jī)群，HPC的實(shí)施非常復(fù)雜，而且對(duì)運(yùn)營(yíng)維護(hù)部門要求很高，因此，很多企業(yè)需要系統(tǒng)集成商來(lái)幫助實(shí)施和提供服務(wù)，而在云計(jì)算中，這些服務(wù)將會(huì)由云運(yùn)營(yíng)商完成；最后一刀瞄向了應(yīng)用的市場(chǎng)拓展費(fèi)用，以前軟件需要規(guī)模化的軟硬件環(huán)境才能安裝試用，費(fèi)時(shí)費(fèi)力，如今一切已在云端就緒。
云計(jì)算在現(xiàn)有HPC價(jià)值鏈上切下的價(jià)值，最終受益的是云運(yùn)營(yíng)商和最終用戶，與此同時(shí)，也將顛覆HPC市場(chǎng)的格局。徐明強(qiáng)認(rèn)為，這種顛覆體現(xiàn)在，系統(tǒng)集成商將轉(zhuǎn)型成為云運(yùn)營(yíng)商；應(yīng)用商將變?yōu)楦吒郊又礢aaS供應(yīng)商，應(yīng)用軟件的直銷將變?yōu)橛筛煜ば袠I(yè)的應(yīng)用商代銷；管理工具等中間件市場(chǎng)品牌將會(huì)集中化；而在硬件層面，ODM廠商將加入OEM廠商的行列，成為云運(yùn)營(yíng)商的硬件供應(yīng)商。
隨著云計(jì)算應(yīng)用的廣泛普及，HPC與云計(jì)算、大數(shù)據(jù)之間的交叉融合趨勢(shì)越發(fā)明顯，從而成為推動(dòng)全球信息產(chǎn)業(yè)發(fā)展的三大動(dòng)力之一。經(jīng)過(guò)近20年在高性能計(jì)算領(lǐng)域的精耕細(xì)作，寶德已經(jīng)發(fā)展成國(guó)內(nèi)HPC產(chǎn)品技術(shù)成熟度最高的廠商之一。
HPC IN CLOUD 應(yīng)運(yùn)而生
隨著云概念的深入，高性能計(jì)算也開始面臨一些新的選擇：是與云計(jì)算背道而馳還是相互融合？寶德對(duì)于二者的融合有著獨(dú)到的見解，即高性能計(jì)算可采取一種不同的、使用密集多核服務(wù)器的方式進(jìn)入云計(jì)算，用戶可以在桌面上將作業(yè)加到作業(yè)調(diào)度系統(tǒng)中去。這種資源調(diào)度方式可以借助運(yùn)行虛擬機(jī)的本地資源或者云中資源，可讓HPC實(shí)現(xiàn)寶貴的桌面化，至此，HPC in Cloud方案應(yīng)運(yùn)而生！
該方案是基于對(duì)HPC及云計(jì)算深刻理解的基礎(chǔ)上深入分析而設(shè)計(jì)，提供了靈活高效的彈性計(jì)算平臺(tái)、一體化的存儲(chǔ)系統(tǒng)、全面的系統(tǒng)安全性設(shè)計(jì)，適應(yīng)多樣化的應(yīng)用場(chǎng)景。同時(shí)，該方案具有高性能、穩(wěn)定性和可用性，提供統(tǒng)一的數(shù)據(jù)存儲(chǔ)及用戶數(shù)據(jù)安全保障，全面兼容市面上的主流應(yīng)用，并提供不少于三年的技術(shù)支持和服務(wù)。
持續(xù)發(fā)力高教事業(yè)
教育行業(yè)是寶德HPC應(yīng)用范圍較廣的一個(gè)領(lǐng)域，近年來(lái)，寶德相繼為國(guó)內(nèi)眾多高校打造了相應(yīng)的解決方案，為推動(dòng)我國(guó)高校科研的發(fā)展發(fā)揮了強(qiáng)大的支撐作用。例如，寶德與廈門大學(xué)在物理、化學(xué)等科研領(lǐng)域開展過(guò)多次合作。寶德為廈門大學(xué)物理系提供的集高性能、先進(jìn)性、完整性、兼容性與穩(wěn)定性等特點(diǎn)于一身的HPC解決方案，堅(jiān)持了整體規(guī)劃、科學(xué)設(shè)計(jì)的指導(dǎo)思想，以硬件是基礎(chǔ)、資源是核心、應(yīng)用是目的為宗旨，通過(guò)采用最先進(jìn)的軟件技術(shù)和高質(zhì)量的網(wǎng)絡(luò)硬件平臺(tái)，保證了應(yīng)用系 統(tǒng)在網(wǎng)絡(luò)平臺(tái)上安全可靠、高效率的運(yùn)行。
隨著云計(jì)算、大數(shù)據(jù)應(yīng)用的廣泛普及，高校對(duì)于信息化和云化的需求進(jìn)一步增強(qiáng)，高性能計(jì)算已經(jīng)與理論研究、實(shí)驗(yàn)科學(xué)相并列，成為現(xiàn)代科學(xué)的三大支柱之一，廣泛應(yīng)用于科研創(chuàng)新領(lǐng)域，高校作為科研創(chuàng)新前沿陣地，對(duì)高性能計(jì)算有著非常強(qiáng)烈的需求。隨著云計(jì)算時(shí)代的到來(lái)，HPC與云計(jì)算融合之路已經(jīng)啟航，HPC in Cloud概念的引入將為我國(guó)教育行業(yè)注入最新的HPC價(jià)值理念。
該方案目前已經(jīng)率先在海南大學(xué)等得到實(shí)際應(yīng)用。寶德與Intel、品高云助其建立的高性能云計(jì)算中心構(gòu)建了由學(xué)校統(tǒng)一規(guī)劃和管理、并面向全校服務(wù)的高性能計(jì)算及云計(jì)算平臺(tái)，完美解決了學(xué)校計(jì)算資源不足與科研任務(wù)需求之間的尖銳矛盾，開創(chuàng)了HPC的項(xiàng)目，也將HP in Cloud這一技術(shù)方案從理論應(yīng)用到實(shí)踐。
作為權(quán)威教育部門直屬、國(guó)家“211工程”和“985工程”部省重點(diǎn)共建的高水平大學(xué),中南大學(xué)所擁有的材料、礦業(yè)、機(jī)械、交通運(yùn)輸與土木工程等國(guó)家重點(diǎn)學(xué)科及學(xué)校的大部分理學(xué)、工學(xué)、醫(yī)學(xué)學(xué)科對(duì)高性能計(jì)算都具有迫切的需求。為滿足上述需求,中南大學(xué)將“高性能網(wǎng)格計(jì)算平臺(tái)”正式列入學(xué)校“985工程”建設(shè)項(xiàng)目。
通過(guò)湖南省招標(biāo)有限責(zé)任公司嚴(yán)格的招投標(biāo)程序,評(píng)標(biāo)專家就投標(biāo)方解決方案的性能、價(jià)格和服務(wù)等方面進(jìn)行綜合評(píng)估,最終,以AMD四核皓龍?zhí)幚砥鳛橛?jì)算核心的曙光5000高性能網(wǎng)格計(jì)算平臺(tái)系統(tǒng)解決方案勝出。該方案的服務(wù)器硬件平臺(tái)為曙光5000,體系結(jié)構(gòu)為混合式的集群(Cluster)架構(gòu)。平臺(tái)由78個(gè)4路4核刀片計(jì)算節(jié)點(diǎn)、3個(gè)8路4核SMP(Symmetrical Multi-Processing)胖節(jié)點(diǎn)、2個(gè)管理節(jié)點(diǎn)、2個(gè)I/O節(jié)點(diǎn)、1個(gè)Web 節(jié)點(diǎn)、存儲(chǔ)容量為20TB的存儲(chǔ)陣列組成,計(jì)算網(wǎng)絡(luò)采用Infiniband高速交換機(jī),管理網(wǎng)絡(luò)采用千兆以太網(wǎng)交換機(jī)。
目前,中南大學(xué)高性能網(wǎng)格計(jì)算平臺(tái)已經(jīng)建設(shè)完成,并投入試運(yùn)行。在2009年10月29日HPC China2009會(huì)議上公布的“2009年中國(guó)高性能計(jì)算機(jī)性能TOP100”中,中南大學(xué)這套高性能網(wǎng)格計(jì)算平臺(tái)憑借10214.40 Gflops的雙精度浮點(diǎn)運(yùn)算理論峰值,8273.68 Gflops的Linpack測(cè)試值和0.81的效率,國(guó)內(nèi)高校排名名列前茅。
中南大學(xué)10萬(wàn)億次高性能網(wǎng)格計(jì)算平臺(tái)自面向全校提供試運(yùn)行服務(wù)以來(lái),已有注冊(cè)用戶170余人,涉及國(guó)家重點(diǎn)基礎(chǔ)研究發(fā)展計(jì)劃(973)、國(guó)家高技術(shù)研究發(fā)展計(jì)劃(863)和國(guó)家自然科學(xué)基金等項(xiàng)目數(shù)十個(gè),計(jì)算平臺(tái)日常平均CPU使用率達(dá)到60%~90%,內(nèi)存利用率40%以上,刀片服務(wù)器節(jié)點(diǎn)使用率高,運(yùn)行狀況良好,完全達(dá)到了預(yù)期的建設(shè)目標(biāo)。
一方面,中南大學(xué)新建的高性能網(wǎng)格計(jì)算平臺(tái)系統(tǒng)與以往各個(gè)學(xué)院自建的計(jì)算平臺(tái)相比,計(jì)算能力成倍提高,使學(xué)校科研計(jì)算能力實(shí)現(xiàn)了大幅度的提升;另一方面,中南大學(xué)通過(guò)高性能網(wǎng)格計(jì)算平臺(tái)的建設(shè),使學(xué)校順利加入到中國(guó)教育科研網(wǎng)格(ChinaGrid)之中,實(shí)現(xiàn)了計(jì)算能力“無(wú)限”擴(kuò)展的計(jì)算模式的突破。
談到AMD皓龍?zhí)幚砥?中南大學(xué)相關(guān)技術(shù)負(fù)責(zé)人介紹說(shuō):“在運(yùn)算能力與功耗、超傳輸總線、集成內(nèi)存控制器設(shè)計(jì)等幾個(gè)方面,AMD處理器都具有明顯的優(yōu)勢(shì)。首先,AMD提供業(yè)內(nèi)公認(rèn)的性能很強(qiáng)的計(jì)算平臺(tái),尤其是此次選用的AMD皓龍?zhí)幚砥髦С?4位計(jì)算,很好地滿足了我們對(duì)計(jì)算能力的要求;其次,由AMD創(chuàng)新研發(fā)的超傳輸(HyperTransport)總線技術(shù),很好地消除了數(shù)據(jù)傳輸?shù)钠款i;第三,AMD將內(nèi)存控制器集成到CPU內(nèi),將內(nèi)存的效率提高了50%。總之,我們認(rèn)為AMD皓龍?zhí)幚砥魇侵档眯刨嚨挠?jì)算平臺(tái)。”
[關(guān)鍵詞]協(xié)同研究 遠(yuǎn)程訪問 PLATFORM 一體化應(yīng)用平臺(tái) 自助式智能集群部署
中圖分陳類號(hào)：TP393.4 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-914X（2015）34-0217-01
1 問題的提出
大港油田信息中心當(dāng)前對(duì)于計(jì)算資源的使用與管理，采用傳統(tǒng)的集群式管理方案，這種資源固定分配的方式雖然能夠?yàn)橄鄳?yīng)部門分配適用的資源，但是對(duì)于部門間需求的改變以及資源的按需調(diào)整無(wú)法提供一個(gè)靈活的、便捷的方法。無(wú)形中增加了資源管理部門的工作量以及工作難度，同時(shí)也無(wú)法將現(xiàn)有計(jì)算資源的利用充分的發(fā)揮出來(lái)。其次，信息中心所管理的數(shù)模、建模等應(yīng)用軟件，希望能夠以桌面云的方式為用戶提供遠(yuǎn)程訪問接口，并且按需來(lái)自動(dòng)分配登陸，改變傳統(tǒng)的手動(dòng)建立VNC登陸服務(wù)。
針對(duì)于此類問題，為大港油田信息中心建立一套完整的云管理平臺(tái)，在此基礎(chǔ)之上再根據(jù)信息中心針對(duì)于業(yè)務(wù)系統(tǒng)的使用動(dòng)態(tài)建立高性能計(jì)算集群、數(shù)模、建模機(jī)群，將能在很大程度上解決上述問題，建立起適用于大港油田的、技術(shù)領(lǐng)先的高性能綜合管理平臺(tái)。
2 研究云平臺(tái)建設(shè)內(nèi)容
大港油田經(jīng)過(guò)十多年的信息化建設(shè)，在勘探開發(fā)信息系統(tǒng)建設(shè)方面取得了一定的成績(jī)，緊緊圍繞“為油田主營(yíng)業(yè)務(wù)發(fā)展提供強(qiáng)有力信息技術(shù)支撐”這一核心主題，大力推進(jìn)信息化基礎(chǔ)建設(shè)。現(xiàn)已擁有了大中型計(jì)算機(jī)服務(wù)器，如針對(duì)勘探開發(fā)業(yè)務(wù)研究，配置了64臺(tái)高性能刀片服務(wù)器，其中48臺(tái)支持常規(guī)解釋和數(shù)值模擬應(yīng)用，16臺(tái)圖形刀片服務(wù)器支Geoprobe、Petrel等三維解釋類軟件應(yīng)用，存儲(chǔ)容量達(dá)到了130TB，整個(gè)高性能計(jì)算環(huán)境達(dá)到了128個(gè)CPU，1024核心數(shù)，內(nèi)存總量達(dá)到8TB，同時(shí)支持200個(gè)以上的用戶開展勘探開發(fā)研究工作。在此基礎(chǔ)上，部署了如OpenWorks、Geoframe地震解釋系統(tǒng)、Petrel/SKUA/RMS/Direct地質(zhì)建模系統(tǒng)、Eclips數(shù)字模擬系統(tǒng)、ComPass以及Assetview鉆井工程設(shè)計(jì)系統(tǒng)等應(yīng)用軟件，并通過(guò)高性能PCM-AE云管理平臺(tái)和獨(dú)立仿真等技術(shù)，實(shí)現(xiàn)了基礎(chǔ)設(shè)施及專業(yè)應(yīng)用的集中部署、應(yīng)用和管理，初步形成了當(dāng)前大港油田的勘探開發(fā)研究環(huán)境格局。
3 研究云平臺(tái)構(gòu)架方案
針對(duì)于大港油田的云管理平臺(tái)建設(shè)，以全面整合信息中心現(xiàn)有基礎(chǔ)設(shè)施，并為日后新硬件環(huán)境的方便擴(kuò)容為前提，IBM Platform Computing 所推出的云平臺(tái)管理軟件 PCMAE 將為大港油田信息中心提供整體的云平臺(tái)基礎(chǔ)框架。PCMAE 是一個(gè)面向高性能計(jì)算的云管理平臺(tái)，可以整合數(shù)據(jù)中心的計(jì)算資源、存儲(chǔ)資源和網(wǎng)絡(luò)資源，為IT資源的統(tǒng)一整合、管理與分配提供有力的技術(shù)支持；同時(shí)，提供了最終用戶直接請(qǐng)求資源的自助服務(wù)平臺(tái)，通過(guò)豐富的策略為用戶匹配和供給資源，帶給最終客戶靈活便捷的云資源申請(qǐng)和使用模式。另外，在虛擬化軟件之上提供它們所不具備的虛擬機(jī)靈活定制與整體管理功能，對(duì)虛擬機(jī)集群及上層 HPC 集群進(jìn)行統(tǒng)一的自動(dòng)部署、監(jiān)控和資源調(diào)度，實(shí)現(xiàn)資源的最大化利用與服務(wù)的最快交付。
4 平臺(tái)展示
4.1 協(xié)同研究云環(huán)境全面建成，并投入應(yīng)用
云計(jì)算的核心是多用戶、自動(dòng)化管控、彈性計(jì)算，信息中心通過(guò)部署Platform云計(jì)算管理平臺(tái)，極大簡(jiǎn)化研究云環(huán)境管理，實(shí)現(xiàn)集群快速部署與調(diào)整、資源統(tǒng)一管理和自動(dòng)調(diào)度，是中石油第一個(gè)全面云化的研究環(huán)境。在云平臺(tái)基礎(chǔ)上，建立兩套高性能計(jì)算集群、遠(yuǎn)程可視化、自助式服務(wù)。與現(xiàn)有數(shù)模建模等應(yīng)用軟件進(jìn)行集成。
通過(guò)云管理平臺(tái)的應(yīng)用，信息中心可以做到將整個(gè)計(jì)算資源放置到云端，快捷的部署物理機(jī)操作系統(tǒng)，以及快速創(chuàng)建虛擬機(jī)并且加入到高性能計(jì)算平臺(tái)，使得原來(lái)需要數(shù)周的工作量簡(jiǎn)化到一個(gè)小時(shí)以內(nèi)。
4.2 主流勘探開發(fā)研究軟件的集中管理使用
取代了以往分散式的管理方法，將主流研究軟件全部集中在了云管理平臺(tái)之中，用戶通過(guò)登錄統(tǒng)一門戶頁(yè)面，選擇需要使用的專業(yè)應(yīng)用軟件。高性能調(diào)度平臺(tái)會(huì)在云端資源中分配出最適合的計(jì)算節(jié)點(diǎn)供用戶使用。
在原有軟件的基礎(chǔ)之上，新部署了OpenWorks 5000.8，Geofrme 4.5兩套地震解釋環(huán)境以及Petrel 2013建模系統(tǒng)、Eclipse2013數(shù)值模擬系統(tǒng)、隨鉆分析、鉆井設(shè)計(jì)，軟件種類超過(guò)10種，并在不斷擴(kuò)展之中。
4.3統(tǒng)一的作業(yè)管理
當(dāng)用戶提交計(jì)算作業(yè)后，用戶隨時(shí)可以在門戶頁(yè)面上看到作業(yè)的運(yùn)行狀態(tài)，并且隨時(shí)查看作業(yè)計(jì)算過(guò)程中所產(chǎn)生的數(shù)據(jù)文件、輸出信息。無(wú)論作業(yè)的量級(jí)多大，都能快速定位，即便數(shù)月之前提交的作業(yè)數(shù)據(jù)也能很方便的查看。
作為云平臺(tái)管理員則可以查看所有用戶的作業(yè)信息，對(duì)用戶的使用情況做到清晰了解，當(dāng)發(fā)現(xiàn)任何作業(yè)出現(xiàn)異常時(shí)，在門戶界面之中就能處理，不必再尋找該作業(yè)所運(yùn)行的節(jié)點(diǎn)，登錄該節(jié)點(diǎn)后才能處理。
6 應(yīng)用平臺(tái)實(shí)現(xiàn)的功能
6.1 自助式智能集群部署
提供了簡(jiǎn)單友好的自服務(wù)門戶界面，用戶只需通過(guò)門戶提供的統(tǒng)一認(rèn)證功能，只需要一次登錄認(rèn)證，就能直接調(diào)用運(yùn)行集成在大港油田勘探開發(fā)協(xié)同研究云一體化應(yīng)用平臺(tái)上的20余種應(yīng)用軟件，在調(diào)用軟件的同時(shí)， 系統(tǒng)在后臺(tái)自動(dòng)為用戶完成應(yīng)用環(huán)境、硬盤資源的配置， 解決了用戶應(yīng)用流程繁瑣， 較大地提高了用戶生產(chǎn)研究工作效率。
6.2 跨平臺(tái)軟件資源的共享
在勘探開發(fā)專業(yè)軟件一體化應(yīng)用平臺(tái)上，整合了新老軟件資源，集成了基于windows、Linux等不同平臺(tái)上運(yùn)行的軟件， 在同一臺(tái)客戶端工作站，用戶既能調(diào)用windows系統(tǒng)下的專業(yè)軟件，也能運(yùn)行Linux系統(tǒng)下的軟件，實(shí)現(xiàn)了軟件資源的跨平臺(tái)共享， 大大提高了勘探開發(fā)軟件的利用率。
6.3 顯著減少了硬件投資和運(yùn)行維護(hù)費(fèi)用
使用集中部署和應(yīng)用虛擬化技術(shù)后，客戶端不再需要配備高性能專業(yè)圖卡，不再需要不斷升級(jí)客戶機(jī)硬件，不再擔(dān)心用戶數(shù)據(jù)丟失，不再經(jīng)常到用戶端安裝部署專業(yè)軟件，顯著減少了日后硬件投資和運(yùn)行維護(hù)費(fèi)用。
7 結(jié)論
通過(guò)專業(yè)研究軟硬件集中部署和自助式智能集群部署技術(shù)在大港油田實(shí)踐，搭建了支撐油田勘探開發(fā)協(xié)同研究工作的軟硬件集中部署、數(shù)據(jù)統(tǒng)一存儲(chǔ)、備份統(tǒng)一管理、應(yīng)用統(tǒng)一、用戶單點(diǎn)使用的集成應(yīng)用環(huán)境，實(shí)現(xiàn)了基于Linux環(huán)境下不同平臺(tái)應(yīng)用系統(tǒng)界面集成和軟件資源跨平臺(tái)共享，把20多種異構(gòu)專業(yè)軟件統(tǒng)一在一個(gè)平臺(tái)中集中管理起來(lái)，徹底解決了以往單機(jī)作戰(zhàn)應(yīng)用模式帶來(lái)各種弊端，保證了油田各項(xiàng)研究工作的高效進(jìn)行，具有良好的應(yīng)用前景。
參考文獻(xiàn)
[1]張軍華， 臧勝濤，單聯(lián)瑜，等. 高性能計(jì)算的發(fā)展現(xiàn)狀及趨勢(shì)[J]. 石油地球物理勘探，
[2]趙改善， 包紅林. 集群計(jì)算技術(shù)及其在石油工業(yè)中的應(yīng)用[J]. 石油物探，
現(xiàn)階段C919使用美國(guó)GE發(fā)動(dòng)機(jī)，預(yù)計(jì)到2020年后換裝由中航商用航空發(fā)動(dòng)機(jī)有限責(zé)任公司（簡(jiǎn)稱“中航工業(yè)商發(fā)”）研制的國(guó)產(chǎn)長(zhǎng)江CJ-1000A發(fā)動(dòng)機(jī)。其強(qiáng)有力的研發(fā)設(shè)計(jì)能力及先進(jìn)的CAE仿真設(shè)計(jì)平臺(tái)，推動(dòng)了研制進(jìn)程。CAE仿真設(shè)計(jì)平臺(tái)的運(yùn)用涉及到復(fù)雜的數(shù)據(jù)處理和計(jì)算，需要定制級(jí)高性能計(jì)算機(jī)的支持。
曙光HPC方案與交付部經(jīng)理杜夏威在接受《中國(guó)信息化周報(bào)》記者采訪時(shí)介紹，曙光致力于為以中航工業(yè)商發(fā)為代表的C919相關(guān)研制單位提供高性能解決方案，支持研制工作中所需要的設(shè)計(jì)、仿真任務(wù)的運(yùn)行。
他介紹，曙光在2013年協(xié)助中航工業(yè)商發(fā)組建了一套高性能計(jì)算系統(tǒng)，滿足發(fā)動(dòng)機(jī)研制過(guò)程中涉及的CAD/CAE軟件許可資源的共享和管理、虛擬樣機(jī)設(shè)計(jì)與仿真、結(jié)構(gòu)分析、氣動(dòng)力計(jì)算等需求，并最終建立一個(gè)高安全、高可擴(kuò)展、易管理的軟件管理及高性能計(jì)算機(jī)群系統(tǒng)。
曙光根據(jù)中航工業(yè)商發(fā)差異化的應(yīng)用需求，在該套系統(tǒng)建設(shè)中采用“胖瘦結(jié)合的方式”，配置了曙光TC4600刀片系統(tǒng)，以滿足用戶分布式并行且擴(kuò)展性好的CFD應(yīng)用需求。同時(shí)，系統(tǒng)配置多臺(tái)胖節(jié)點(diǎn)，以滿足隱式結(jié)構(gòu)求解等擴(kuò)展性一般的單機(jī)并行應(yīng)用需求。此外，通過(guò)結(jié)合適量GPU結(jié)算節(jié)點(diǎn)，對(duì)部分應(yīng)用實(shí)現(xiàn)GPU加速。在中航工業(yè)商發(fā)的仿真高性能計(jì)算平臺(tái)中，曙光較早地建立了遠(yuǎn)程CAD環(huán)境，將顯示資源整合進(jìn)后端資源池，統(tǒng)一了CAD與CAE數(shù)據(jù)，消除用戶端顯卡資源消耗，較早地實(shí)現(xiàn)了統(tǒng)一綜合仿真計(jì)算平臺(tái)，有效推動(dòng)了中航工業(yè)商發(fā)發(fā)動(dòng)機(jī)的設(shè)計(jì)、仿真，優(yōu)化工作流的運(yùn)轉(zhuǎn)效率。最終，依托一貫堅(jiān)持的“應(yīng)用適配”理念，曙光協(xié)助中航工業(yè)商發(fā)建設(shè)起了一套完整的設(shè)計(jì)-仿真一體化高性能計(jì)算平臺(tái)，助力中國(guó)國(guó)產(chǎn)商用發(fā)動(dòng)機(jī)的研制。
在杜夏威看來(lái)， C9型客機(jī)成功首飛是中國(guó)航空領(lǐng)域的“爭(zhēng)氣機(jī)”，打破外對(duì)大飛機(jī)技術(shù)的壟斷，奠定了中國(guó)在大型飛機(jī)設(shè)計(jì)制造中的地位。他坦言，目前的核心部件――發(fā)動(dòng)機(jī)依然采用國(guó)外產(chǎn)品，希望有曙光高性能計(jì)算平臺(tái)支撐的、由中航工業(yè)商發(fā)研制的中國(guó)自主產(chǎn)權(quán)的發(fā)動(dòng)機(jī)早日在C919上實(shí)現(xiàn)換裝。
對(duì)于曙光接下來(lái)如何繼續(xù)貢獻(xiàn)C919，未來(lái)的工作安排和攻堅(jiān)難點(diǎn)，杜夏威介紹說(shuō)，目前在航空領(lǐng)域，越來(lái)越多的設(shè)計(jì)、測(cè)試、實(shí)驗(yàn)工作由計(jì)算機(jī)數(shù)值模擬與仿真來(lái)完成，其中高性能計(jì)算系統(tǒng)發(fā)揮著重要的作用。
曙光作為國(guó)內(nèi)領(lǐng)先的高性能計(jì)算系統(tǒng)供應(yīng)商，希望未來(lái)能夠在高性能計(jì)算系統(tǒng)與整體解決方案的研制方面，與航空領(lǐng)域在業(yè)務(wù)層面深度融合，不僅僅實(shí)現(xiàn)對(duì)仿真計(jì)算的高效支撐，而是能夠協(xié)助用戶，打通設(shè)計(jì)、仿真、數(shù)據(jù)管理等多個(gè)層面，實(shí)現(xiàn)符合航空領(lǐng)域業(yè)務(wù)特性、符合中國(guó)航空設(shè)計(jì)人員使用習(xí)慣的設(shè)計(jì)仿真一體化高性能計(jì)算平臺(tái)。
關(guān)鍵詞 高性能計(jì)算機(jī) 管理軟件 接口
中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A
1基本原理
1.1主要管理功能
高性能的計(jì)算機(jī)的管理軟件，主要是使用IPMI協(xié)議，通過(guò)對(duì)網(wǎng)絡(luò)的啟動(dòng)以及結(jié)合BMC卡來(lái)達(dá)到對(duì)計(jì)算機(jī)的管理的目的。同時(shí)還可以通過(guò)Internet網(wǎng)來(lái)進(jìn)行遠(yuǎn)程的關(guān)機(jī)，遠(yuǎn)程的對(duì)計(jì)算機(jī)進(jìn)行安裝系統(tǒng)、檢測(cè)等操作，這些都是通過(guò)Java程序執(zhí)行存放在指定位置的；linux腳本來(lái)實(shí)現(xiàn)的。
1.2工作原理
PXE是基于TCP/IP、DHCP、TFTP等Internet協(xié)議之上的一種擴(kuò)展的網(wǎng)絡(luò)協(xié)議，它能夠提供網(wǎng)絡(luò)啟動(dòng)的功能、協(xié)議又分為客戶端（client）和服務(wù)端（server）兩端，PXE client存儲(chǔ)于網(wǎng)卡的ROM之中，在計(jì)算機(jī)引導(dǎo)的時(shí)候，BIOS能夠把PXE client調(diào)入到內(nèi)存中，然后對(duì)其進(jìn)行執(zhí)行，并且能夠顯示出命令菜單的操作，經(jīng)過(guò)用戶的選擇之后，PXE client將在遠(yuǎn)端的操作系統(tǒng)能夠通過(guò)網(wǎng)絡(luò)下載到本地上，并且在本地上運(yùn)行。
PXE能夠通過(guò)網(wǎng)絡(luò)傳輸來(lái)保證其最后橙紅的運(yùn)行，在計(jì)算機(jī)啟動(dòng)的時(shí)候，DHCP server能夠給PXE client動(dòng)態(tài)的分配一個(gè)IP地址，為了實(shí)現(xiàn)這個(gè)目的，在對(duì)DHCP server進(jìn)行配置的時(shí)候應(yīng)該增加對(duì)應(yīng)的PXE特有的配置。由于在PXE client所在的那個(gè)ROM內(nèi)部，已經(jīng)存在和TFTP client，因此PXE client可以使用TFTP client，通過(guò)使用TFTP協(xié)議來(lái)在TFTP server上對(duì)其需要的文件進(jìn)行下載。
在上述的條件下，PXE協(xié)議就能夠正常的運(yùn)行了。在這個(gè)過(guò)程中，把PXE client是需要安裝Linux的計(jì)算機(jī)，TFTP server以及DHCP server是運(yùn)行在不同的另一個(gè)Linux server之上的。并且，配置文件、，Bootstrap 文件、Linux內(nèi)核以及Linux根目錄等都是放置在Linux server 上面的TFTP服務(wù)器的根目錄之下的。
需要值得注意的是，在PXE Client 正常的工作的過(guò)程中，還需要 3 個(gè)二進(jìn)制文件：即
Bootstrap、Linux 內(nèi)核以及 Linux 根文件系統(tǒng)這三種文件。其中，Bootstrap 文件是可執(zhí)行的程序，它能夠向用戶提供一個(gè)比較簡(jiǎn)單的控制界面，并且可以通過(guò)用戶自主的選擇，來(lái)進(jìn)行相匹配的 Linux 內(nèi)核以及 Linux 根文件系統(tǒng)的下載。
2實(shí)現(xiàn)方案
2.1涉及基本內(nèi)容
目前來(lái)看，對(duì)于高性能計(jì)算機(jī)的管理軟件使用的是基于Java語(yǔ)言的管理軟件，它能夠在集機(jī)群中使用上面介紹的各種技術(shù)來(lái)完成需要完成的各項(xiàng)功能，并且與此同時(shí)，各個(gè)功能都是封裝在shell腳本之中的，并且還可以通過(guò)使用跨平臺(tái)的編程的 Java 語(yǔ)言中的進(jìn)程管理來(lái)對(duì)shell腳本文件進(jìn)行調(diào)用。在計(jì)算機(jī)的管理軟件的前臺(tái)，會(huì)使用JSP來(lái)對(duì)Java進(jìn)行調(diào)用。
其中，shell腳本文件的調(diào)用過(guò)程中，會(huì)涉及到網(wǎng)絡(luò)啟動(dòng)、本地啟動(dòng)和網(wǎng)絡(luò)安裝服務(wù)這三種十分重要的技術(shù)，它們都可以在Linux的操作系統(tǒng)的環(huán)境下把調(diào)用的服務(wù)寫成腳本文件的形式來(lái)進(jìn)行執(zhí)行，在這樣的條件下能夠使得對(duì)前臺(tái)命令的調(diào)用變得更加的方便。
Java是一種跨平臺(tái)的語(yǔ)言，因此可以使用這種語(yǔ)言作為編程的基本語(yǔ)言來(lái)解決這個(gè)系統(tǒng)中對(duì)于未來(lái)的跨平臺(tái)的一種管理的設(shè)想。然而，如果采用這種方式則會(huì)涉及到一個(gè)Java 與 Shell 腳本的調(diào)用接口問題，但是Java 中的進(jìn)程管理已經(jīng)提供了能夠?qū)?Shell 腳本進(jìn)行調(diào)用的能力，因此則不存在相關(guān)的問題。其中，還會(huì)涉及到Java 提供的兩個(gè)類：即 Runtime 和Process。
3 結(jié)論
目前，隨著高性能的計(jì)算機(jī)的逐漸增多，對(duì)于高性能計(jì)算機(jī)的管理軟件的研究也逐漸的引起了人們的重視。對(duì)于高性能的計(jì)算機(jī)的管理軟件的研究方案，大多數(shù)都是在Java程序的基礎(chǔ)上進(jìn)行設(shè)計(jì)的一種管理軟件，本文主要對(duì)其基本的原理進(jìn)行了研究，主要包括涉及到的基本知識(shí)、以及其內(nèi)部的軟件構(gòu)成、軟件的結(jié)構(gòu)等進(jìn)行了介紹。該管理軟件的工作原理比較簡(jiǎn)單，并且解決了對(duì)高性能計(jì)算機(jī)進(jìn)行遠(yuǎn)程的管理存在的難點(diǎn)。希望通過(guò)本文的介紹，能夠起到一定的參考作用。
參考文獻(xiàn)
[1] 賴萬(wàn)東，鐘理.淺析應(yīng)用計(jì)算機(jī)軟件輔助化工原理課程設(shè)計(jì)教學(xué)[J].化工高等教育，2012（01）：63-65+70.
[2] 陳奇，朱家誠(chéng)，公彥軍.將計(jì)算機(jī)軟件引入機(jī)械原理教學(xué)的探索與研究[J].合肥工業(yè)大學(xué)學(xué)報(bào)（社會(huì)科學(xué)版），2011（01）：145-148.
[3] 向健極.計(jì)算機(jī)軟件開發(fā)的基礎(chǔ)架構(gòu)原理分析[J].武漢冶金管理干部學(xué)院學(xué)報(bào)，2014（02）：70-72.
全球領(lǐng)先的存儲(chǔ)解決方案提供商希捷科技公司（NASDAQ：STX）日前了配備Nytro？智能輸入/輸出管理器的ClusterStor 300N存儲(chǔ)系統(tǒng)，該系統(tǒng)再次壯大了專為高性能計(jì)算打造的可擴(kuò)展存儲(chǔ)系統(tǒng)家族，同時(shí)也是首個(gè)采用閃存緩存加速器的系統(tǒng)。
有了基于軟件的Nytro智能輸入/輸出管理器支持，ClusterStor 300N可在同一存儲(chǔ)平臺(tái)中同時(shí)無(wú)縫運(yùn)行多個(gè)混合的工作負(fù)載，消除因數(shù)據(jù)需求超出現(xiàn)有存儲(chǔ)架構(gòu)能力而帶來(lái)的性能瓶頸。因此，機(jī)構(gòu)可將其應(yīng)用于同一存儲(chǔ)平臺(tái)中，自動(dòng)支持生成不同輸入/輸出工作量的多個(gè)應(yīng)用，無(wú)需擔(dān)心性能受到影響。ClusterStor 300N存儲(chǔ)系統(tǒng)非常適合目前要求嚴(yán)苛的、數(shù)據(jù)密集型高性能計(jì)算應(yīng)用比如地震預(yù)測(cè)、金融轉(zhuǎn)型建模、機(jī)械學(xué)習(xí)、地理空間分析及流體力學(xué)等，這些應(yīng)用的工作負(fù)載多重而且無(wú)法預(yù)知。
對(duì)于工作量未知、需要管理海量數(shù)據(jù)且尋求高性能及成本效益的機(jī)構(gòu)來(lái)說(shuō)，ClusterStor 300N是理想的選擇，該系統(tǒng)集希捷領(lǐng)先的企業(yè)級(jí)硬盤、創(chuàng)新的固態(tài)硬盤設(shè)計(jì)以及最尖端的系統(tǒng)軟件于一體，專為機(jī)構(gòu)管理和移動(dòng)海量關(guān)鍵數(shù)據(jù)而打造，同時(shí)保證工作效率及降低每TB成本。同傳統(tǒng)高性能計(jì)算存儲(chǔ)系統(tǒng)相比，Nytro智能輸入/輸出管理軟件的吞吐能力提升10倍且能夠隨時(shí)進(jìn)行快速擴(kuò)展以適應(yīng)不同工作負(fù)載。
希捷高性能計(jì)算系統(tǒng)業(yè)務(wù)副總裁兼總經(jīng)理Ken Claffey稱，“以超級(jí)計(jì)算為代表的特殊運(yùn)行環(huán)境中，最大化數(shù)據(jù)的價(jià)值就是能夠處理極端的、不可預(yù)知的存儲(chǔ)量以及靈活地進(jìn)行擴(kuò)容。運(yùn)用于我們可靠的工程系統(tǒng)中，希捷ClusterStor 300N采用混合技術(shù)架構(gòu)、成本遠(yuǎn)低于全閃存就可以處理巨大工作負(fù)載，為不同規(guī)模的高性能計(jì)算環(huán)境交付最佳性能及價(jià)值。”
ClusterStor 300N架構(gòu)為通用平臺(tái)，同時(shí)適用于ClusterStor、Lustre和IBM Spectrum Scale存儲(chǔ)系統(tǒng)，而L300N 和G300N分別適用于這幾個(gè)系統(tǒng)。
Atos極限計(jì)算產(chǎn)品與解決方案負(fù)責(zé)人Eric Eppe表示：“在關(guān)鍵高性能計(jì)算的開發(fā)與支持方面，Atos極限計(jì)算有著很長(zhǎng)的歷史，也很高興能夠支持希捷全新系列的Nytro智能輸入/輸出管理器為基礎(chǔ)的ClusterStor設(shè)備。我們相信，希捷的300N設(shè)備將幫助我們的高性能計(jì)算客戶以全面、高效的方式解決他們幾乎所有數(shù)據(jù)密集型的工作負(fù)載和數(shù)據(jù)分層問題。”
惠普公司高性能計(jì)算存儲(chǔ)副總裁Mike Vildibill表示：“希捷300N能夠滿足我們客戶對(duì)當(dāng)前高性能計(jì)算存儲(chǔ)環(huán)境的需求，提供超大密度、最大帶寬和低延遲，并且易于管理。希捷ClusterStor 300N等全新存儲(chǔ)創(chuàng)新產(chǎn)品對(duì)于滿足上述需求和面對(duì)各種不同工作負(fù)載保持高水平性能而言至關(guān)重要。”
希捷300N將于2017年1月全面發(fā)售。11月14日-11月17日期間，在美國(guó)猶他州鹽湖城的2016超級(jí)計(jì)算大會(huì)（Supercomputing 2016）#1209希捷展臺(tái)可以了解更多300N相關(guān)信息。大會(huì)期間，希捷其他技術(shù)展示包括密度最大的720TB雙機(jī)架單元（RU）Lustre存儲(chǔ)系統(tǒng)技術(shù)配置，可以據(jù)此打造全球首款15PB 42RU系統(tǒng)，以及NVMe over a Fabric 24盤全閃存陣列共享存儲(chǔ)系統(tǒng)，可提供高達(dá)每秒480萬(wàn)的讀寫操作（IOPS），僅有單位數(shù)微秒級(jí)延遲。
ClusterStor系列架構(gòu)是以希捷歷經(jīng)檢驗(yàn)的企業(yè)級(jí)硬盤和Lustre與IBM Spectrum Scale等高性能并行文件系統(tǒng)為基礎(chǔ)打造而成。ClusterStor系列將優(yōu)越性能與超高效的可擴(kuò)展性相結(jié)合，產(chǎn)品包括全新ClusterStor L300N和G300N，以及ClusterStor A200 Active Archive、ClusterStor L300、ClusterStor G200、ClusterStor 9000、ClusterStor 1500、ClusterStor安全數(shù)據(jù)設(shè)備和ClusterStorHadoop工作流加速設(shè)備。
