時(shí)間：2023-05-29 17:44:26
開篇：寫作不僅是一種記錄，更是一種創(chuàng)造，它讓我們能夠捕捉那些稍縱即逝的靈感，將它們永久地定格在紙上。下面是小編精心整理的12篇數(shù)據(jù)管理，希望這些內(nèi)容能成為您創(chuàng)作過程中的良師益友，陪伴您不斷探索和進(jìn)步。
一次與交通行業(yè)某大客戶CIO的技術(shù)交流中，客戶的回答讓惠普的產(chǎn)品經(jīng)理很驚訝。
那位CIO表示，廠商所說的系統(tǒng)性能、存儲(chǔ)備份恢復(fù)等內(nèi)容盡管非常重要，但是還不是他日常最為關(guān)心的問題。讓他感到擔(dān)心的是不知道系統(tǒng)什么時(shí)候會(huì)出問題。因此，坐在CIO位置上，就仿佛是坐到了火藥桶上。
今年年初，惠普對(duì)中國(guó)160多家大型企業(yè)的關(guān)鍵業(yè)務(wù)數(shù)據(jù)管理進(jìn)行了一次調(diào)研，他們發(fā)現(xiàn)，類似那位CIO的憂慮還是比較普遍的。
根據(jù)調(diào)研的結(jié)果，惠普高層決定引入一套“方法論”幫助用戶解決實(shí)際問題。今年6月，惠普正式推出了“適應(yīng)性數(shù)據(jù)高可用管理”解決方案(Adaptive Data Availability Management, ADAM)。方案立足于客戶現(xiàn)有的數(shù)據(jù)環(huán)境，通過對(duì)企業(yè)數(shù)據(jù)管理環(huán)境的監(jiān)控，惠普咨詢專家們可以對(duì)現(xiàn)狀進(jìn)行調(diào)查評(píng)估，定位問題所在，量化問題嚴(yán)重程度，并分析問題背后的成因，進(jìn)而提供對(duì)癥下藥的解決方案。
據(jù)記者了解，與企業(yè)定期的員工體檢相類似，ADAM將企業(yè)關(guān)鍵業(yè)務(wù)數(shù)據(jù)管理分為了IT治理、流程自動(dòng)化、架構(gòu)優(yōu)化和平臺(tái)標(biāo)準(zhǔn)化等四個(gè)維度，總共有44個(gè)KPI(Key Performance Indicator，關(guān)鍵績(jī)效指標(biāo))，350個(gè)衡量點(diǎn)，其中包括數(shù)據(jù)和業(yè)務(wù)連續(xù)性規(guī)范和標(biāo)準(zhǔn)、責(zé)任人員的專業(yè)性和掌握的技能、運(yùn)維管理流程、客戶數(shù)據(jù)恢復(fù)目標(biāo)、客戶數(shù)據(jù)丟失程度等多項(xiàng)內(nèi)容。
通過對(duì)這些指標(biāo)的全面考量，有經(jīng)驗(yàn)的技術(shù)熱源就可以及時(shí)發(fā)現(xiàn)問題，并建立IT發(fā)展的參照計(jì)劃。
據(jù)了解，該解決方案建立在惠普IT成熟度模型(IT Maturity Model，ITMM)之上，它是一套全面衡量企業(yè)IT建設(shè)現(xiàn)狀與業(yè)務(wù)協(xié)同狀況的方法論。
惠普公司中國(guó)區(qū)副總裁兼企業(yè)計(jì)算及專業(yè)服務(wù)集團(tuán)(TSG)全球IT科技服務(wù)部總經(jīng)理潘家馳在接受記者采訪時(shí)表示，針對(duì)ADAM服務(wù)，惠普已經(jīng)組建了一支涵蓋服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)、安全、數(shù)據(jù)中心基礎(chǔ)設(shè)施、系統(tǒng)管理等多個(gè)領(lǐng)域的專家咨詢團(tuán)隊(duì)。
咨詢團(tuán)隊(duì)將采用“請(qǐng)進(jìn)來”和“走出去”想結(jié)合的策略，既要“坐堂聽診”，也要“巡回問診”，幫助中國(guó)行業(yè)企業(yè)用戶了解ADAM，及時(shí)發(fā)現(xiàn)關(guān)鍵業(yè)務(wù)系統(tǒng)所存在的各種隱患，全面評(píng)估數(shù)據(jù)管理IT環(huán)境中的各種因素，提升應(yīng)用系統(tǒng)整體的高可用水平。
潘家馳表示，方案改變了以往頭疼醫(yī)頭，腳疼醫(yī)腳的思路。通過一次全面深入的“體檢”，提供對(duì)癥下藥的解決方案，改變企業(yè)信息系統(tǒng)的“亞健康”狀態(tài)。
他表示，如果數(shù)據(jù)管理長(zhǎng)期處于“亞健康”狀態(tài)，問題被忽略或處理不當(dāng)，必將成為影響運(yùn)營(yíng)的“定時(shí)炸彈”，對(duì)此，企業(yè)應(yīng)該引起足夠的重視。惠普ADAM解決方案可以幫助客戶通過主動(dòng)化的手段，發(fā)現(xiàn)和識(shí)別數(shù)據(jù)管理中存在的潛在風(fēng)險(xiǎn)和隱患，提高關(guān)鍵數(shù)據(jù)的可用性水平和應(yīng)用系統(tǒng)的連續(xù)運(yùn)行能力，改善應(yīng)用系統(tǒng)性能，適應(yīng)不斷變換的業(yè)務(wù)環(huán)境，遵從國(guó)際標(biāo)準(zhǔn)和行業(yè)法規(guī)，滿足IT對(duì)業(yè)務(wù)部門的服務(wù)級(jí)別承諾。
鏈 接
美國(guó)“次貸危機(jī)”給全球金融帶來的影響正愈演愈烈，也影響著中國(guó)各行業(yè)的經(jīng)濟(jì)秩序。面對(duì)此次的國(guó)際金融危機(jī)，中國(guó)IT產(chǎn)業(yè)的發(fā)展也面臨著巨大挑戰(zhàn)。從企業(yè)IT市場(chǎng)來看，受經(jīng)濟(jì)危機(jī)的影響，中國(guó)經(jīng)濟(jì)發(fā)展放緩使得市場(chǎng)需求開始減速，這在IT企業(yè)表現(xiàn)尤其明顯。IT企業(yè)除了面臨經(jīng)濟(jì)寒冬的窘境外，還有―個(gè)迫在眉睫的問題需要解決，就是如何跟上數(shù)據(jù)增長(zhǎng)的速度。
而從數(shù)據(jù)本身而言，企業(yè)需要考慮兩個(gè)問題，一是數(shù)據(jù)量的管理，還有就是數(shù)據(jù)資源的利用。數(shù)據(jù)量的規(guī)模不僅考量著企業(yè)自身的IT環(huán)境，跟企業(yè)的業(yè)務(wù)運(yùn)營(yíng)也是息息相關(guān)；而數(shù)據(jù)資源的利用更多的則反映出企業(yè)如何切實(shí)實(shí)踐“花小錢辦大事”的原則。尤其是在目前全球經(jīng)濟(jì)普遍不景氣的態(tài)勢(shì)下，如何以有限的資金來實(shí)現(xiàn)數(shù)據(jù)量的管理和數(shù)據(jù)資源的充分利用，是決定企業(yè)能夠度過經(jīng)濟(jì)寒冬的重要因素。
數(shù)據(jù)管理的病根
實(shí)際上，從數(shù)據(jù)量的管理來看，往往企業(yè)面臨的很多問題都是由數(shù)據(jù)快速增長(zhǎng)而衍生的。未知數(shù)據(jù)的持續(xù)增長(zhǎng)，意味著你的一切都會(huì)受其影響，包括你的文件系統(tǒng)、磁盤系統(tǒng)、網(wǎng)絡(luò)、保護(hù)計(jì)劃、進(jìn)程甚至是你的生活都不例外。對(duì)此，我們只有四處購(gòu)買更多容量以盡量滿足這個(gè)永無止境的增長(zhǎng)，但往往徒勞無功。
數(shù)據(jù)增長(zhǎng)是自然產(chǎn)生的(世界上新數(shù)據(jù)一直在不斷生成)，但大部分?jǐn)?shù)據(jù)是由科學(xué)研究產(chǎn)生的。如數(shù)據(jù)擴(kuò)展、副本、副本的副本、備份副本的副本、備份副本的副本的副本等等，這些不只是容量問題，而是和科學(xué)一樣復(fù)雜的問題。
正如ESG的創(chuàng)始人兼首席分析師所說，數(shù)據(jù)在處理的過程中，就好像細(xì)胞的有機(jī)分裂一樣，在不停地裂變。如，科學(xué)家利用細(xì)胞副本進(jìn)行多種實(shí)驗(yàn)來觀察會(huì)發(fā)生什么，而IT人員需要利用副本進(jìn)行測(cè)試、填充數(shù)據(jù)庫、創(chuàng)建備份副本和災(zāi)難恢復(fù)副本、發(fā)送副本給其他用戶等等。區(qū)別在于，科學(xué)家們預(yù)先就知道他們需要多少副本。因此，他們是有規(guī)劃的。他們無需將其遷移到一個(gè)新的皮氏培養(yǎng)皿中。而且實(shí)驗(yàn)完成后，他們可扔掉副本，不用任其一直復(fù)制下去。而在IT行業(yè)中，企業(yè)很少清空皮氏培養(yǎng)皿。相反，在不斷創(chuàng)建新的副本的副本。IT進(jìn)程很少有科學(xué)實(shí)驗(yàn)室里的那種預(yù)先規(guī)劃，這種由于副本保留導(dǎo)致的數(shù)據(jù)增長(zhǎng)，很大程度上，很多數(shù)據(jù)是毫無用處的。而且，企業(yè)絕大部分的問題都是由此而造成。而解決此問題的唯一辦法，就只是從供應(yīng)商手中購(gòu)買新一代更大的皮氏培養(yǎng)皿來應(yīng)對(duì)。
如何掐斷數(shù)據(jù)增長(zhǎng)的源頭
在這種情況下，采取什么樣的方式來進(jìn)行數(shù)據(jù)管理，則是企業(yè)迫切需要的。如果能夠?qū)?shù)據(jù)的裂變?cè)跀?shù)據(jù)生成初期就使其得到遏制，將大量的重復(fù)數(shù)據(jù)刪除，從而達(dá)到高效管理數(shù)據(jù)的目的，則不失為明智之舉。
最初，重復(fù)數(shù)據(jù)刪除在次級(jí)存儲(chǔ)與備份存儲(chǔ)中得到了廣泛的應(yīng)用，專門用于在減少需要備份的數(shù)據(jù)量、最大化存儲(chǔ)利用率的同時(shí)，使更多的備份數(shù)據(jù)在線保留更長(zhǎng)時(shí)間。通常來講，重復(fù)數(shù)據(jù)刪除技術(shù)會(huì)將最新的備份數(shù)據(jù)與已有的之前的備份數(shù)據(jù)進(jìn)行比對(duì)，從而消除冗余數(shù)據(jù)。這項(xiàng)技術(shù)的優(yōu)勢(shì)在于數(shù)據(jù)的減少不僅使存儲(chǔ)的效率更高、成本更節(jié)約，帶寬的利用也降到最低，使更經(jīng)濟(jì)、更快速的實(shí)現(xiàn)備份數(shù)據(jù)的遠(yuǎn)程復(fù)制成為可能。
但是隨著技術(shù)的發(fā)展，以二級(jí)備份數(shù)據(jù)刪除為主已經(jīng)開始向主存儲(chǔ)數(shù)據(jù)重復(fù)刪除演變，而這種發(fā)展趨勢(shì)將從根本上改變存儲(chǔ)的經(jīng)濟(jì)狀況。在這種分級(jí)存儲(chǔ)的模式下應(yīng)用重復(fù)數(shù)據(jù)刪除，可在數(shù)據(jù)整個(gè)生命周期內(nèi)創(chuàng)造經(jīng)濟(jì)和運(yùn)營(yíng)效益。
在主存儲(chǔ)下，不僅能夠大幅提高系統(tǒng)的容量利用率，還能夠降低大多數(shù)昂貴存儲(chǔ)層的資本支出，更進(jìn)一步地提升存儲(chǔ)性能。而在二級(jí)存儲(chǔ)中，不僅大大減少數(shù)據(jù)備份的總量，還能夠在線保存更多的活動(dòng)歸檔數(shù)據(jù)，降低通信成本。同時(shí)這種數(shù)據(jù)的分級(jí)存儲(chǔ)模式，實(shí)現(xiàn)了對(duì)數(shù)據(jù)的精簡(jiǎn)配置，更是大幅提高了主存儲(chǔ)空間的利用率，也降低了管理成本的開支，確保了中小企業(yè)的良性運(yùn)營(yíng)。
數(shù)據(jù)管理的良方
而從數(shù)據(jù)資源的利用角度而言，隨著數(shù)據(jù)的飛速增長(zhǎng)，企業(yè)的存儲(chǔ)越來越無法滿足需求，采用哪些手段能夠提高數(shù)據(jù)資源的利用率，來滿足企業(yè)日益增長(zhǎng)的業(yè)務(wù)需求，是企業(yè)目前亟待考慮的問題。當(dāng)前整個(gè)IT領(lǐng)域充斥著各種所謂的先進(jìn)技術(shù)，無一例外的都宣稱，可給企業(yè)用戶帶來諸多好處等等。這些讓人眼花繚亂的各種術(shù)語、詮釋等，只會(huì)讓用戶感到無所適從。
但是企業(yè)面臨的存儲(chǔ)壓力，如降低成本、更高效、少花錢多辦事等，卻與日俱增，迫使企業(yè)必須采取某些措施來捍衛(wèi)自己的存儲(chǔ)，進(jìn)而保證企業(yè)運(yùn)營(yíng)的正常有序，并有所增長(zhǎng)。而虛擬化恰好能夠幫助企業(yè)做到這一點(diǎn)。近幾年來，虛擬化技術(shù)在市場(chǎng)已經(jīng)得到熱捧，客戶也都迫切地想了解其到底能夠帶來哪些好處，包括提高資源利用率、整合、提高業(yè)務(wù)連續(xù)性以及降低運(yùn)營(yíng)開支等。而且已經(jīng)有很多廠商紛紛上馬，爭(zhēng)先恐后的推出各種虛擬化產(chǎn)品。而目前思科高調(diào)推出其虛擬數(shù)據(jù)中心，更是進(jìn)一步驗(yàn)證了虛擬化市場(chǎng)的競(jìng)爭(zhēng)激烈，同時(shí)也說明了虛擬化確實(shí)是未來數(shù)據(jù)資源管理的方向所在。
內(nèi)外兼修方為本
目前存儲(chǔ)虛擬化的各種版本如，主機(jī)實(shí)現(xiàn)虛擬，控制器實(shí)現(xiàn)虛擬，服務(wù)器實(shí)現(xiàn)虛擬，網(wǎng)關(guān)實(shí)現(xiàn)虛擬，歸結(jié)為一點(diǎn)，都是為了簡(jiǎn)化用戶的管理，提高存儲(chǔ)的利用率。ESG的調(diào)查顯示，隨著數(shù)據(jù)的無休止增長(zhǎng)，如何削減成本成為企業(yè)考慮的重點(diǎn)。幾乎40％的IT經(jīng)理稱，削減業(yè)務(wù)總成本的內(nèi)部壓力是影響其IT運(yùn)營(yíng)的首要問題，而虛擬化常被視為解決這個(gè)問題的靈丹妙藥。
在2009年這個(gè)困難的經(jīng)濟(jì)時(shí)期，很顯然，精簡(jiǎn)存儲(chǔ)讓人眼前一亮。精簡(jiǎn)技術(shù)如精簡(jiǎn)配置不僅能降低50％的數(shù)據(jù)總成本，還可以減少預(yù)期存儲(chǔ)成本，幫助企業(yè)削減電能和冷卻開支，并能提高其10倍的管理效率。
而另外一個(gè)IT發(fā)展趨勢(shì)，則是數(shù)據(jù)資源管理的外包。隨著技術(shù)的發(fā)展，在未來幾年中，用戶對(duì)數(shù)據(jù)保護(hù)技術(shù)的需求越來越大，要求也會(huì)越來越苛刻，對(duì)單一性能的產(chǎn)品將不甚感興趣。而對(duì)于中小企業(yè)，當(dāng)業(yè)務(wù)發(fā)展速度不可預(yù)測(cè)時(shí)，在IT管理資源有限的情況下，可考慮外包存儲(chǔ)服務(wù)，或者一部分二級(jí)存儲(chǔ)使用外包存儲(chǔ)服務(wù)。如將最基本而成熟的業(yè)務(wù)，如硬件維護(hù)、呼叫中心等外包給專業(yè)IT服務(wù)公司，將做完需求分析后的軟件開發(fā)外包給專業(yè)的軟件公司，IT部門仍保留對(duì)內(nèi)部應(yīng)用系統(tǒng)的管理與控制、IT規(guī)劃、IT產(chǎn)品采購(gòu)等業(yè)務(wù)。
而IT外包服務(wù)也是未來信息化發(fā)展的大勢(shì)所趨，總的說來，IT外包應(yīng)堅(jiān)持三條基本原則：一，需求抽象而又總體需求量不大的IT業(yè)務(wù)，本身也處于企業(yè)可控范圍內(nèi)，還是企業(yè)自己把握較好，凡是通用技術(shù)、產(chǎn)品，如OA系統(tǒng)、財(cái)務(wù)軟件開發(fā)、服務(wù)器維修等，可考慮外包。二、需求量比較大且穩(wěn)定的業(yè)務(wù)，可考慮外包。三、要求響應(yīng)時(shí)間在可允許范圍內(nèi)的業(yè)務(wù)，盡量外包，而對(duì)那些雖然技術(shù)含量不高，但要求響應(yīng)時(shí)間極快的業(yè)務(wù)，盡量不外包。
隨著科技的發(fā)展，社會(huì)的進(jìn)步，尤其是計(jì)算機(jī)通信技術(shù)的發(fā)展，人們對(duì)數(shù)據(jù)庫的共享性要求日益明顯，當(dāng)前數(shù)據(jù)庫的管理和訪問充滿了復(fù)雜性，如何解決這一問題成為了管理者和用戶最為關(guān)心，最為頭疼的問題。例如，非數(shù)據(jù)庫的建設(shè)者和維護(hù)者，都需要知道數(shù)據(jù)庫當(dāng)中的全部?jī)?nèi)容，以此來避免數(shù)據(jù)的重復(fù)錄入，從而更好的使用數(shù)據(jù)。根據(jù)用戶的需求用戶需要知道數(shù)據(jù)信息的質(zhì)量，用戶也需要知道數(shù)據(jù)庫的數(shù)據(jù)結(jié)構(gòu)和句存儲(chǔ)格式，來滿足用戶的信息數(shù)據(jù)交換和利用。在這種情況下數(shù)據(jù)的內(nèi)容、品質(zhì)等元數(shù)據(jù)的信息就變得十分重要了，它是信息數(shù)據(jù)有效管理和利用的重要方式，元數(shù)據(jù)的重要性正在得到用戶和數(shù)據(jù)庫的建設(shè)者的證明。由于現(xiàn)在數(shù)據(jù)庫的使用對(duì)象越來越專業(yè)化、復(fù)雜化，他們對(duì)數(shù)據(jù)集的元數(shù)據(jù)內(nèi)容以及各式會(huì)存在相當(dāng)大的差別，對(duì)數(shù)據(jù)的共享性影響很大，為了制定一套元數(shù)據(jù)的標(biāo)準(zhǔn)，需要采用同樣的各式對(duì)數(shù)據(jù)集進(jìn)行描述。
2元數(shù)據(jù)的定義和形成
元數(shù)據(jù)又叫做描述數(shù)據(jù)，是臺(tái)灣學(xué)者通過英文翻譯過來的（英文為Metadata），現(xiàn)在我國(guó)對(duì)該術(shù)語還沒有形成統(tǒng)一的認(rèn)識(shí)。國(guó)際標(biāo)準(zhǔn)化組織地理信息、地球空間信息技術(shù)委員會(huì)的地理信息元數(shù)據(jù)標(biāo)準(zhǔn)草案將元數(shù)據(jù)簡(jiǎn)單的定義為“數(shù)據(jù)的數(shù)據(jù)”。美國(guó)聯(lián)邦地理數(shù)據(jù)委員會(huì)在數(shù)字地理空間元數(shù)據(jù)內(nèi)容標(biāo)準(zhǔn)中將元數(shù)據(jù)定義為“關(guān)于數(shù)據(jù)的內(nèi)容、質(zhì)量、條件和其他性質(zhì)的數(shù)據(jù)”。國(guó)際地球科學(xué)信息網(wǎng)絡(luò)學(xué)會(huì)對(duì)元數(shù)據(jù)定義為“關(guān)于數(shù)據(jù)和信息資源的描述信息，他們描述、指向或者補(bǔ)充與之相關(guān)的信息內(nèi)容”。元數(shù)據(jù)的定義和專業(yè)術(shù)語出現(xiàn)的時(shí)間雖然不長(zhǎng)，但是元數(shù)據(jù)的本質(zhì)內(nèi)涵確實(shí)流傳了很久。舉一個(gè)簡(jiǎn)單的例子，在很早以前的圖書管理當(dāng)中，管理人員對(duì)書籍目錄的編寫，記載了書籍的各種相信內(nèi)容，包括作者、寫作時(shí)間、頁數(shù)和字?jǐn)?shù)等，這種對(duì)書籍信息的記錄就可以理解為元數(shù)據(jù)。只不過在以前涉及到的數(shù)據(jù)不是特別復(fù)雜，只是到了現(xiàn)代隨著網(wǎng)絡(luò)技術(shù)的普及，數(shù)字資源呈現(xiàn)出爆炸性增長(zhǎng)的速度，人們?yōu)榱吮阌诮y(tǒng)計(jì)這些數(shù)字信息不得不將以前的文本化數(shù)據(jù)向網(wǎng)絡(luò)表格化數(shù)據(jù)方面進(jìn)行轉(zhuǎn)變。從上世紀(jì)八十年代開始出現(xiàn)元數(shù)據(jù)的記錄方式，到現(xiàn)在元數(shù)據(jù)的應(yīng)用已經(jīng)擴(kuò)展到了各個(gè)行業(yè)。
3元數(shù)據(jù)標(biāo)準(zhǔn)內(nèi)容分析
根據(jù)元數(shù)據(jù)的使用目的不同可以將元數(shù)據(jù)大體分為兩類，即：管理和組織數(shù)據(jù)的元數(shù)據(jù)；瀏覽和導(dǎo)航數(shù)據(jù)的元數(shù)據(jù)。第一種類型的元數(shù)據(jù)的代表就是美國(guó)nasa描述遙感數(shù)據(jù)的目錄交換格式標(biāo)準(zhǔn)（DIF），這一標(biāo)準(zhǔn)有一個(gè)典型的特征就是必備六個(gè)字段：登錄目錄標(biāo)識(shí)、登錄目錄的名稱、參數(shù)、原數(shù)據(jù)中心（包含名字、數(shù)據(jù)集標(biāo)識(shí)、聯(lián)系人等）和數(shù)據(jù)概要描述。另外，為了讓信息表達(dá)的更加明確，這一標(biāo)準(zhǔn)當(dāng)中還要增加字段，如傳感器的名字、位置、數(shù)據(jù)分析、計(jì)劃口令、品質(zhì)等，增加這些字段可以提高用戶的使用效率，盡可能的完善元數(shù)據(jù)。第二種元數(shù)據(jù)的代表就是澳大利亞新西蘭土地信息委員會(huì)制定的元數(shù)據(jù)標(biāo)準(zhǔn)。這一標(biāo)準(zhǔn)確立的核心元素較少，能夠讓用戶在最短的時(shí)間內(nèi)查詢到所需要的數(shù)據(jù)信息。核心元素能夠說明現(xiàn)有數(shù)據(jù)的種類、數(shù)據(jù)信息、數(shù)據(jù)范圍、與其他應(yīng)用的作用，以及獲取更多信息的位置等。核心元數(shù)據(jù)共分為九類三十二個(gè)元素：數(shù)據(jù)集中、展示、數(shù)據(jù)時(shí)間、數(shù)據(jù)狀況、訪問和瀏覽情況、數(shù)據(jù)品質(zhì)、聯(lián)系信息、元數(shù)據(jù)時(shí)間、元數(shù)據(jù)附加內(nèi)容。除此之外，核心元數(shù)據(jù)還要制定了數(shù)據(jù)格式，使用指南，以方便用戶查找信息。
4元數(shù)據(jù)表達(dá)方式的分析
美國(guó)聯(lián)邦地理數(shù)據(jù)委員會(huì)的數(shù)字化地理空間元數(shù)據(jù)內(nèi)容標(biāo)準(zhǔn)元數(shù)據(jù)信息單元是元素、實(shí)體（包括復(fù)合實(shí)體）和字集。元素是元數(shù)據(jù)的基本信息單位，元數(shù)據(jù)實(shí)體由元數(shù)據(jù)元素組成，元數(shù)據(jù)實(shí)體、元素則構(gòu)成復(fù)合實(shí)體，最終部分元素、簡(jiǎn)單或者復(fù)合元數(shù)據(jù)實(shí)體組成元數(shù)據(jù)子集，元數(shù)據(jù)的組成結(jié)構(gòu)從小到大排列為，元素、實(shí)體（復(fù)合實(shí)體）、子集。元數(shù)據(jù)是利用巴克斯諾爾范式進(jìn)行表達(dá)的，巴克諾斯?fàn)柗妒娇梢远x常規(guī)語言元素和屬性標(biāo)準(zhǔn)語法，在確定復(fù)合實(shí)體和其他元素、實(shí)體間的聯(lián)系的時(shí)候，采用類似于數(shù)學(xué)等式的關(guān)系將標(biāo)識(shí)符和表達(dá)式用等號(hào)連接起來，以此來表表達(dá)式產(chǎn)生標(biāo)識(shí)符這一進(jìn)化關(guān)系。這一規(guī)則公式代表了各種符合的意義，從數(shù)學(xué)角度可以解釋為，A=B+(C)表示A由B和可選項(xiàng)C構(gòu)成，A=3{B}5表示A由B重復(fù)3到5次而成，子集、實(shí)體、元素之間的關(guān)系可以用元素比實(shí)體進(jìn)一格的辦法來表達(dá)，美國(guó)的數(shù)字化地理空間元數(shù)據(jù)內(nèi)容標(biāo)準(zhǔn)利用這種方式可以清晰的表達(dá)數(shù)據(jù)實(shí)體和元素之間的各種關(guān)系，但是它也只是包含了標(biāo)準(zhǔn)化當(dāng)中元數(shù)據(jù)和元素的定義，并沒有規(guī)定數(shù)據(jù)的格式，有時(shí)候用元數(shù)據(jù)元素分層縮排來表示，有時(shí)候用編號(hào)系統(tǒng)表示，這就使得元數(shù)據(jù)使用起來并不簡(jiǎn)潔。為了解決這一問題，建立了空間數(shù)據(jù)信息交換網(wǎng)絡(luò)，利用比較統(tǒng)一的SGML、Z39.50和其他協(xié)議來表示，可以更加靈活的執(zhí)行元數(shù)據(jù)。ISO/TC211的元數(shù)據(jù)標(biāo)準(zhǔn)利用了圖表和數(shù)據(jù)字典相融合的表達(dá)方式，清晰的表示了元數(shù)據(jù)內(nèi)容之間的各種關(guān)系。數(shù)據(jù)字典可以詳細(xì)的解釋元數(shù)據(jù)的內(nèi)涵，圖表則是面向?qū)ο蟮慕y(tǒng)一建模語言UML靜態(tài)結(jié)構(gòu)圖、ISO借口定義語言，在圖表當(dāng)中信息單位是包、類和屬性。數(shù)據(jù)字典當(dāng)中元數(shù)據(jù)的信息單元是子集、實(shí)體以及元素，這一標(biāo)準(zhǔn)說明了圖表和字典當(dāng)中的對(duì)應(yīng)關(guān)系。因?yàn)殪o態(tài)結(jié)構(gòu)圖準(zhǔn)確的解釋了元數(shù)據(jù)的語義和句法結(jié)構(gòu)規(guī)則，制定了標(biāo)準(zhǔn)的描述數(shù)據(jù)信息的方法和格式，通過輔助設(shè)計(jì)軟件可以精確的表達(dá)數(shù)據(jù)元素關(guān)系，檢查元數(shù)據(jù)設(shè)計(jì)的整體性和統(tǒng)一性，所以ISO/TC211的元數(shù)據(jù)表達(dá)方式對(duì)全世界各個(gè)行業(yè)的數(shù)據(jù)管理和服務(wù)產(chǎn)生了重要的影響。
5元數(shù)據(jù)網(wǎng)絡(luò)管理模型分析
當(dāng)下比較流行的元數(shù)據(jù)管理系統(tǒng)模式可以分為：集中式數(shù)據(jù)管理體系和分散式數(shù)據(jù)管理體系。集中式數(shù)據(jù)管理體系就是所有的元數(shù)據(jù)都聚集在一個(gè)元數(shù)據(jù)管理站點(diǎn)上，數(shù)據(jù)集元數(shù)據(jù)是通過數(shù)據(jù)制造者免費(fèi)上傳的，數(shù)據(jù)的使用者可以通過當(dāng)下的數(shù)據(jù)管理站來進(jìn)行訪問好查詢?cè)獢?shù)據(jù)。這一模式比較有代表性的就是英國(guó)地理數(shù)描述目錄，這一機(jī)構(gòu)的數(shù)據(jù)來源于國(guó)家制圖機(jī)構(gòu)。這種模式的優(yōu)點(diǎn)就是使用者可以迅速的查找元數(shù)據(jù)，工作效率很高，當(dāng)然缺點(diǎn)也很明顯，就是這一模式分裂了這一管理系統(tǒng)和其他網(wǎng)絡(luò)元數(shù)據(jù)體系的鏈接，導(dǎo)致這一體系的元數(shù)據(jù)數(shù)目較少，在數(shù)據(jù)信息的更新和維護(hù)方面就取決于元數(shù)據(jù)的上傳者，元數(shù)據(jù)信息不能及時(shí)的更新，提供的數(shù)據(jù)有可能出現(xiàn)錯(cuò)誤。分布式元數(shù)據(jù)管理體系就是要設(shè)立一個(gè)元數(shù)據(jù)網(wǎng)絡(luò)交換的核心連接點(diǎn)，使用者可以在這一連接點(diǎn)進(jìn)行元數(shù)據(jù)的查詢，而對(duì)于元數(shù)據(jù)的供給者和元數(shù)據(jù)的數(shù)據(jù)制造者，則需要設(shè)立分節(jié)點(diǎn)，保存各種元數(shù)據(jù)的信息，然后將核心連接點(diǎn)和分節(jié)點(diǎn)聯(lián)系起來。元數(shù)據(jù)的使用者不能直接訪問數(shù)據(jù)的制造者，只能通過核心連接點(diǎn)來訪問數(shù)據(jù)信息，進(jìn)行元數(shù)據(jù)的查詢。這一模式的代表性機(jī)構(gòu)就是美國(guó)空間數(shù)據(jù)交換網(wǎng)絡(luò)，它將用戶、服務(wù)器內(nèi)容、數(shù)據(jù)庫服務(wù)器進(jìn)行了分離。通過網(wǎng)關(guān)根據(jù)數(shù)據(jù)信息的類型、數(shù)據(jù)信息覆蓋位置等條件構(gòu)成元數(shù)據(jù)的查詢界面，用戶通過網(wǎng)絡(luò)進(jìn)行查詢，核心連接點(diǎn)通過用戶信息向分節(jié)點(diǎn)進(jìn)行傳輸，然后在將內(nèi)容反饋到用戶瀏覽的頁面當(dāng)中。這種模式的優(yōu)點(diǎn)在于能夠增加元數(shù)據(jù)的數(shù)量，減少核心連接點(diǎn)對(duì)元數(shù)據(jù)的更新負(fù)擔(dān)，缺點(diǎn)在于元數(shù)據(jù)的查詢速度較慢，影響使用者的查詢效率。
6元數(shù)據(jù)傳輸各式的統(tǒng)一
雖然當(dāng)前已經(jīng)制定了一些元數(shù)據(jù)的標(biāo)準(zhǔn)，但也只是確定了元數(shù)據(jù)的內(nèi)容、含義、類別、組成結(jié)構(gòu)等特征，但是這還不能滿足元數(shù)據(jù)的使用要求，制訂元數(shù)據(jù)標(biāo)準(zhǔn)的目的是為了元數(shù)據(jù)的查找和檢索，了解數(shù)據(jù)信息和內(nèi)容，因此必須要注重元數(shù)據(jù)的傳輸標(biāo)準(zhǔn)，以此為基礎(chǔ)來設(shè)計(jì)元數(shù)據(jù)的管理體系，從而達(dá)到對(duì)元數(shù)據(jù)的搜尋、修改、更新維護(hù)和查詢檢索。在DOS環(huán)境下和ARC/INFO環(huán)境下，美國(guó)誕生了很多元數(shù)據(jù)錄入和編輯的軟件，澳大利亞也開發(fā)類似的軟件，這些元數(shù)據(jù)軟件都是為了便于自身的查詢需求，符合各自制定的元數(shù)據(jù)標(biāo)準(zhǔn)的。但是各個(gè)元數(shù)據(jù)錄入軟件的數(shù)據(jù)格式卻不相同，有的是文本格式，有的是HTML格式，還有的是關(guān)系型數(shù)據(jù)庫格式，雖然方便了用戶，但是在元數(shù)據(jù)的修改和維護(hù)方面成本很高，所以要制定統(tǒng)一的元數(shù)據(jù)轉(zhuǎn)化標(biāo)準(zhǔn)，方便網(wǎng)絡(luò)上的元數(shù)據(jù)交換。美國(guó)和澳大利亞建議更改統(tǒng)一的后綴格式，例如，將SGML/HTML的統(tǒng)一轉(zhuǎn)換成XMLDTD或者是XMLSchema，將表格改編成ASCII的格式。這種方式優(yōu)點(diǎn)在于有利于建設(shè)元數(shù)據(jù)索引和能夠在不同地區(qū)的互聯(lián)網(wǎng)當(dāng)中進(jìn)行元數(shù)據(jù)的查詢。
7元數(shù)據(jù)管理平臺(tái)設(shè)計(jì)和實(shí)現(xiàn)
7.1功能流程設(shè)計(jì)
功能流程設(shè)計(jì)需要滿足元數(shù)據(jù)生命周期的要求，當(dāng)前大多數(shù)公司單位都是分散式的數(shù)據(jù)管理體系，數(shù)據(jù)比較分散，需要采集多元數(shù)據(jù)并且簡(jiǎn)化數(shù)據(jù)的存儲(chǔ)體系。可以將TSV（三層階梯式圖）引用到元數(shù)據(jù)管理體系當(dāng)中，在元數(shù)據(jù)導(dǎo)入配置方面，可以利用懸掛點(diǎn)配置的方式，在任務(wù)采集的起始階段可以配置相應(yīng)的懸掛點(diǎn)（類似分支點(diǎn)），建設(shè)元數(shù)據(jù)的查詢樹，在數(shù)據(jù)源配置方面要表明數(shù)據(jù)源的類型、銜接數(shù)據(jù)、賬戶情況等，還要進(jìn)行測(cè)試觀察后續(xù)問題。為了更好的完善元數(shù)據(jù)的管理體系，保持元數(shù)據(jù)地圖的完整性，需要對(duì)元數(shù)據(jù)進(jìn)行完備的采集，采集方式又分為手動(dòng)采集和自動(dòng)采集。手動(dòng)采集是對(duì)用戶要求的數(shù)據(jù)庫進(jìn)行單次采集，自動(dòng)采集則額外的配置采集時(shí)間和采集周期。
7.2元數(shù)據(jù)的瀏覽
將配置好的懸掛點(diǎn)體現(xiàn)在元數(shù)據(jù)的樹狀結(jié)構(gòu)當(dāng)中，以形象的結(jié)果提供給用戶，基于TSV的思想元數(shù)據(jù)樹需要具有三層以上的結(jié)構(gòu)，首先是系統(tǒng)，其次是各系統(tǒng)數(shù)據(jù)庫，再者是各數(shù)據(jù)庫的下屬表。在庫級(jí)元數(shù)據(jù)方面需要展示各個(gè)表名和創(chuàng)立的時(shí)間，在表級(jí)元數(shù)據(jù)方面需要雙擊查看該表的詳細(xì)信息，包括字段、約束、索引、鍵、視圖等，在下拉菜單當(dāng)中可以檢索相應(yīng)的元數(shù)據(jù)信息。在字段級(jí)元數(shù)據(jù)方面包括字段名、字段類型、字段解釋、所屬的表和庫，前三項(xiàng)屬于特點(diǎn)描述，后兩項(xiàng)是定義描述，這樣能夠方便對(duì)字段進(jìn)行分析和定位。
7.3元數(shù)據(jù)的構(gòu)架設(shè)計(jì)
元數(shù)據(jù)管理體系的技術(shù)構(gòu)架主要是對(duì)所有信息數(shù)據(jù)的篩選，來確定那些信息可以納入元數(shù)據(jù)管理體系，以此來構(gòu)建三級(jí)視圖。技術(shù)構(gòu)架的信息主要包括五個(gè)方面，即：數(shù)據(jù)源層、數(shù)據(jù)收集層、數(shù)據(jù)保存和管理層、應(yīng)用幫助層、登錄管理和用戶信息等。數(shù)據(jù)源層主要就是提供數(shù)據(jù)信息，數(shù)據(jù)收集層主要是理清各類數(shù)據(jù)關(guān)系方便元數(shù)據(jù)的管理。
關(guān)鍵詞: 交通管理數(shù)據(jù)挖掘平臺(tái)
中圖分類號(hào)： N37文獻(xiàn)標(biāo)識(shí)碼：A
一、引言
目前公安交通機(jī)關(guān)為方便交通管理業(yè)務(wù)的開展，創(chuàng)建了四個(gè)基本數(shù)據(jù)庫：道路交通事故信息數(shù)據(jù)庫、駕駛員(即駕駛證)管理信息數(shù)據(jù)庫、交通違法行為信息數(shù)據(jù)庫、車輛登記管理信息數(shù)據(jù)庫，當(dāng)前交通管理部門的應(yīng)用系統(tǒng)、平臺(tái)均以此四個(gè)基本數(shù)據(jù)庫為基礎(chǔ)獲取各類信息。數(shù)據(jù)庫自創(chuàng)建以來經(jīng)過幾十年數(shù)據(jù)的存儲(chǔ)，已積累了海量的交通相關(guān)數(shù)據(jù)，隨著車輛和駕駛?cè)嗽龆嘁约跋嚓P(guān)業(yè)務(wù)的復(fù)雜化，數(shù)據(jù)更是成爆發(fā)式增長(zhǎng)。這些數(shù)據(jù)已成為交通部門的重要的數(shù)據(jù)財(cái)富。
然而面對(duì)大量數(shù)據(jù)，顯然已不能再滿足于只是簡(jiǎn)單地查詢和修改數(shù)據(jù)，而是進(jìn)一步希望能夠發(fā)現(xiàn)數(shù)據(jù)之間的潛在關(guān)系，并隨著現(xiàn)實(shí)中交通管理中“人、車、路、環(huán)境”和諧發(fā)展的迫切期望以及緩解交通堵塞、預(yù)防交通事故的職責(zé)所在，交通管理部門急切地希望通過快速處理這些數(shù)據(jù)獲得進(jìn)一步有利于科學(xué)管理的決策依據(jù)。特別是以往的交通管理規(guī)律常常不是基于數(shù)據(jù)庫中信息豐富的數(shù)據(jù)，而是基于決策者的直覺，因?yàn)闆Q策者缺乏從海量數(shù)據(jù)中提取有價(jià)值知識(shí)的工具，即使當(dāng)前的專家系統(tǒng)技術(shù)，通常這種系統(tǒng)依賴于用戶或交通管理領(lǐng)域?qū)＜胰斯さ貙⒅R(shí)輸入知識(shí)庫，因此這一過程可能會(huì)產(chǎn)生偏差和錯(cuò)誤，并且耗時(shí)、費(fèi)用也高。如何才能對(duì)大量數(shù)據(jù)進(jìn)行分析，發(fā)現(xiàn)數(shù)據(jù)之間的潛在聯(lián)系，為交通管理提供自動(dòng)決策支持呢，運(yùn)用數(shù)據(jù)挖掘技術(shù)從交通管理數(shù)據(jù)庫中尋找知識(shí)發(fā)現(xiàn)給交通管理部門帶來了希望。
在這些海量交通數(shù)據(jù)中存在著大量的有著潛在關(guān)聯(lián)和規(guī)則的數(shù)據(jù)，因此將數(shù)據(jù)挖掘技術(shù)中的關(guān)聯(lián)規(guī)則算法應(yīng)用在交通領(lǐng)域，通過關(guān)聯(lián)規(guī)則挖掘發(fā)現(xiàn)交通數(shù)據(jù)之間的潛在關(guān)系，為交通管理提供自動(dòng)決策支持有著重要的意義。本文設(shè)計(jì)了一個(gè)交通管理數(shù)據(jù)挖掘平臺(tái)方案，并對(duì)平臺(tái)架構(gòu)和挖掘流程進(jìn)行了詳細(xì)分析和討論。
二、交通管理數(shù)據(jù)挖掘平臺(tái)架構(gòu)
在交通數(shù)據(jù)庫中，所涉及的違章信息、駕駛員信息、機(jī)動(dòng)車信息比較繁瑣。交通數(shù)據(jù)的特點(diǎn)是：交通數(shù)據(jù)庫的核心業(yè)務(wù)表較多、表的定義復(fù)雜、表中的數(shù)據(jù)量大、表數(shù)據(jù)的實(shí)時(shí)更新速度快。數(shù)據(jù)間的潛在關(guān)系和規(guī)則未被發(fā)現(xiàn)和利用，目前的處理還是停留在見到的統(tǒng)計(jì)報(bào)表，沒有智能性的分析處理。這些交通的原始數(shù)據(jù)對(duì)于交通管理決策支持有限，需要設(shè)計(jì)一個(gè)基于數(shù)據(jù)挖掘的交通管理數(shù)據(jù)挖掘平臺(tái)對(duì)交通數(shù)據(jù)進(jìn)行有效的挖掘和分析，對(duì)交通決策提供有力的支持。圖1給出了我們所設(shè)計(jì)的交通管理數(shù)據(jù)挖掘平臺(tái)框架，該平臺(tái)主要由三部分組成：數(shù)據(jù)倉庫模塊、數(shù)據(jù)分析處理模塊和接口與會(huì)話管理模塊。
1、數(shù)據(jù)倉庫。在輔助決策方面，數(shù)據(jù)倉庫能為其提供高質(zhì)量、純凈、集成的數(shù)據(jù)，從而極大地提高決策支持系統(tǒng)的性能與信息分析能力，因此，數(shù)據(jù)倉庫業(yè)已成為進(jìn)行數(shù)據(jù)分析與挖掘的基礎(chǔ)平臺(tái)。構(gòu)建交通信息數(shù)據(jù)倉庫是本系統(tǒng)結(jié)構(gòu)的核心，其實(shí)現(xiàn)形式包括：數(shù)據(jù)采集與ECTL（數(shù)據(jù)抽取、轉(zhuǎn)換和裝載）、數(shù)據(jù)倉庫管理系統(tǒng)、元數(shù)據(jù)管理系統(tǒng)三部分。本系統(tǒng)采取星型模型建模，其中，主題是其基本組成單位，每個(gè)主題由多個(gè)事實(shí)表和維表組成，而一個(gè)事實(shí)表可以關(guān)聯(lián)多個(gè)維表，構(gòu)成一個(gè)以事實(shí)表為中心的星型結(jié)構(gòu)，多個(gè)星型結(jié)構(gòu)共同組成一個(gè)主題。在建模過程中，考慮到智能交通領(lǐng)域涵蓋范圍廣泛，要求數(shù)據(jù)倉庫具有很強(qiáng)的可伸縮性：既可以集成智能交通領(lǐng)域交通流采集系統(tǒng)、信號(hào)控制系統(tǒng)、電視監(jiān)控系統(tǒng)、違章取證系統(tǒng)、公路車輛監(jiān)測(cè)系統(tǒng)、122接處警系統(tǒng)、GPS車輛定位系統(tǒng)、可變情報(bào)板顯示系統(tǒng)等各個(gè)應(yīng)用系統(tǒng)提供的交通信息，又可以針對(duì)特定應(yīng)用系統(tǒng)。
圖1 交通管理數(shù)據(jù)挖掘平臺(tái)框架
2、數(shù)據(jù)分析處理模塊。在數(shù)據(jù)倉庫基礎(chǔ)上直接采用的智能化分析技術(shù)主要有：聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)技術(shù)。聯(lián)機(jī)分析技術(shù)的主要功能是進(jìn)行多維數(shù)據(jù)分析和生成報(bào)表，專門用于支持復(fù)雜的分析操作，側(cè)重對(duì)高層管理人員和決策人員的決策支持，可以應(yīng)分析人員要求快速、靈活地進(jìn)行大數(shù)據(jù)量的復(fù)雜查詢處理，并且以一種直觀易懂的形式將查詢結(jié)果提供給決策人員。本模型將數(shù)據(jù)倉庫中建立的多維邏輯視圖直接映射到數(shù)據(jù)立方體結(jié)構(gòu)上，以方便對(duì)預(yù)計(jì)算產(chǎn)生的數(shù)據(jù)進(jìn)行快速索引，當(dāng)數(shù)據(jù)集稀疏時(shí)，采用稀疏矩陣壓縮技術(shù)提高存儲(chǔ)效率。通過對(duì)數(shù)據(jù)立方體(DataCube)進(jìn)行下鉆(Drill-down)、上卷(Roll-up)、切分(SliceandDice)以及旋轉(zhuǎn)(Pivot)等操作，實(shí)現(xiàn)不同角度、不同層次的數(shù)據(jù)分析，例如：對(duì)交通負(fù)荷時(shí)空分布信息運(yùn)用聯(lián)機(jī)分析技術(shù)處理，通過切片、切塊、旋轉(zhuǎn)細(xì)剖低級(jí)別的詳細(xì)數(shù)據(jù)和統(tǒng)攬較高級(jí)別的概括性數(shù)據(jù)，快速地響應(yīng)查詢。數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)技術(shù)是從海量數(shù)據(jù)中抽取隱含的、潛在的有用知識(shí)的過程。許多專家學(xué)者傾向于把數(shù)據(jù)挖掘視為知識(shí)發(fā)現(xiàn)過程中的一個(gè)步驟，在本系統(tǒng)模型中，為強(qiáng)調(diào)這兩種技術(shù)各自特點(diǎn)和側(cè)重點(diǎn)的差異，將它們分別列出。知識(shí)發(fā)現(xiàn)的基本步驟為：第一步，數(shù)據(jù)的準(zhǔn)備；第二步，數(shù)據(jù)挖掘；第三步模式評(píng)估；如果評(píng)價(jià)人員不滿意，重復(fù)執(zhí)行上述步驟，否則，轉(zhuǎn)下一步；第四步，知識(shí)表示。
3、接口與會(huì)話管理模塊。該模塊通過可視化技術(shù)，提供易于被用戶理解和使用的，具有智能糾錯(cuò)、自我學(xué)習(xí)的界面系統(tǒng)，并提供自然語言和人類思維方式與計(jì)算機(jī)之間進(jìn)行轉(zhuǎn)換的功能。當(dāng)系統(tǒng)在產(chǎn)生相應(yīng)的決策后，該模塊可以按照有關(guān)智能交通應(yīng)用子系統(tǒng)的指令格式生成相應(yīng)的指令供決策者直接調(diào)用。
三、交通管理數(shù)據(jù)的挖掘流程
交通數(shù)據(jù)挖掘的過程大致上可分為五層：底層為交通管理數(shù)據(jù)庫，包括違章信息庫、駕駛員信息庫、機(jī)動(dòng)車信息庫等等，在這些庫里存在許多交通信息，直接對(duì)這些數(shù)據(jù)進(jìn)行挖掘是不現(xiàn)實(shí)和不可取的，因此，構(gòu)建了上一層主要是數(shù)據(jù)預(yù)處理層，這一層是對(duì)交通數(shù)據(jù)庫進(jìn)行適當(dāng)?shù)挠羞x擇的篩選和處理，將少量主題相關(guān)和用戶感興趣的數(shù)據(jù)提取出來組成二維表，然后在此基礎(chǔ)上得到第三層概化后的數(shù)據(jù)，在這一層上我們可以利用這些概化的數(shù)據(jù)構(gòu)建我們的數(shù)據(jù)倉庫。對(duì)交通數(shù)據(jù)的具體挖掘就是在這一層上進(jìn)行的，最上面兩層是知識(shí)發(fā)現(xiàn)的過程，通過具體挖掘之后的得出的模式和分析后找到對(duì)于交通決策有效的模式。圖2給出了交通管理數(shù)據(jù)的挖掘過程。
圖2 交通數(shù)據(jù)挖掘流程圖
參考文獻(xiàn)
[1] 朱建秋,數(shù)據(jù)挖掘平臺(tái)及其關(guān)鍵技術(shù)研究[D],上海:復(fù)旦大學(xué)博士學(xué)位論文,2002.5.
關(guān)鍵詞信息技術(shù)；主數(shù)據(jù)；管理系統(tǒng)；應(yīng)用實(shí)踐
隨著企業(yè)信息技術(shù)的飛速發(fā)展，迎來了互聯(lián)網(wǎng)+和大數(shù)據(jù)時(shí)代。在享受信息技術(shù)為企業(yè)帶來好處的同時(shí)，企業(yè)的數(shù)據(jù)量也在急劇膨脹，數(shù)據(jù)是企業(yè)管理的基礎(chǔ)信息，而實(shí)施企業(yè)資源計(jì)劃（EnterpriseResourcePlanning，簡(jiǎn)稱ERP）、產(chǎn)品數(shù)據(jù)管理（ProductDataManagement，簡(jiǎn)稱PDM）、制造執(zhí)行系統(tǒng)（ManufacturingExecutionSystem，簡(jiǎn)稱MES）等信息系統(tǒng)，主要的問題就是數(shù)據(jù)管理。主數(shù)據(jù)管理的核心是數(shù)據(jù)的標(biāo)準(zhǔn)化，而其主體則是主數(shù)據(jù)［1］。數(shù)據(jù)可分為基礎(chǔ)數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)，基礎(chǔ)數(shù)據(jù)包括物料、客戶、供應(yīng)商、價(jià)格、采購(gòu)信息記錄、物料清單（BillofMaterials，簡(jiǎn)稱BOM）、貨源清單、工藝路線、配額、檢驗(yàn)計(jì)劃等主數(shù)據(jù)。而業(yè)務(wù)數(shù)據(jù)是企業(yè)運(yùn)行當(dāng)中所發(fā)生的動(dòng)態(tài)數(shù)據(jù)，如采購(gòu)訂單、生產(chǎn)訂單、銷售訂單、派工單等，是由業(yè)務(wù)人員根據(jù)業(yè)務(wù)的需要建立的數(shù)據(jù)，是實(shí)時(shí)的數(shù)據(jù)。基礎(chǔ)數(shù)據(jù)是靜態(tài)數(shù)據(jù)，它為業(yè)務(wù)數(shù)據(jù)的建立提供基礎(chǔ)信息，是各種信息系統(tǒng)運(yùn)行的保障。在基礎(chǔ)數(shù)據(jù)中，物料主數(shù)據(jù)是采購(gòu)、生產(chǎn)、銷售、財(cái)務(wù)等多個(gè)部門的數(shù)據(jù)基礎(chǔ)，它與價(jià)格、采購(gòu)信息記錄、BOM、貨源清單、工藝路線、檢驗(yàn)計(jì)劃等主數(shù)據(jù)相關(guān)聯(lián)（見圖1），是各種主數(shù)據(jù)的檢索依據(jù)，物料主數(shù)據(jù)數(shù)據(jù)量大，單獨(dú)管理起來困難。因此，建立統(tǒng)一主數(shù)據(jù)管理體系對(duì)企業(yè)基礎(chǔ)數(shù)據(jù)的管理具有非常重要的意義。主數(shù)據(jù)管理系統(tǒng)的開發(fā)可以有效地對(duì)主數(shù)據(jù)編碼進(jìn)行統(tǒng)一管理，迅速提高產(chǎn)品數(shù)據(jù)的維護(hù)效率，保障并推動(dòng)主數(shù)據(jù)管理的順利實(shí)施。以中國(guó)石油集團(tuán)濟(jì)柴動(dòng)力總廠（簡(jiǎn)稱濟(jì)柴）主數(shù)據(jù)管理系統(tǒng)為例，詳細(xì)介紹編碼原則、功能范圍、功能實(shí)現(xiàn)等方面內(nèi)容，討論主數(shù)據(jù)管理系統(tǒng)在企業(yè)中實(shí)施與應(yīng)用。
1制定主數(shù)據(jù)編碼管理的原則
主數(shù)據(jù)編碼是唯一標(biāo)識(shí)主數(shù)據(jù)的代碼，通常用字符串（定長(zhǎng)或不定長(zhǎng)）或數(shù)字表示。主數(shù)據(jù)編碼也是計(jì)算機(jī)系統(tǒng)對(duì)物料的唯一識(shí)別代碼，類似每個(gè)公民的身份證號(hào)［2］。它用一組代碼來代表一種主數(shù)據(jù)。主數(shù)據(jù)編碼必須是唯一的，以物料編碼為例，一種物料不能有多個(gè)物料編碼，一個(gè)物料編碼不能有多種物料，如不能保證物料的一致性，隨著數(shù)據(jù)的不斷增加，“一物多碼”現(xiàn)象日趨嚴(yán)重，造成PDM、ERP、MES等系統(tǒng)信息的重復(fù)和堆積，將影響各信息系統(tǒng)之間作用的發(fā)揮，甚至導(dǎo)致信息系統(tǒng)實(shí)施的失敗。企業(yè)不斷地在發(fā)展，隨著規(guī)模的擴(kuò)大，產(chǎn)品的增加，其物料也會(huì)隨之迅猛的增加，物料編碼規(guī)則一旦制定就必須具有相對(duì)的穩(wěn)定性，一般需要保證系統(tǒng)運(yùn)行十年以上，所以主數(shù)據(jù)編碼系統(tǒng)管理要堅(jiān)持的原則為：1）唯一性：物料編碼的唯一性，就是一物一碼。同一物料在系統(tǒng)中只有一個(gè)名稱，不能不同部門對(duì)同一物料有不同的名稱。在主數(shù)據(jù)編碼系統(tǒng)中，針對(duì)產(chǎn)品的圖號(hào)、物料描述等進(jìn)行排重（排除重復(fù)），如同一產(chǎn)品分不同的采購(gòu)類型，又可以分成采購(gòu)件、自制件，分別給碼，確保了物料編碼在系統(tǒng)中的唯一性。2）穩(wěn)定性：企業(yè)不斷發(fā)展，規(guī)模擴(kuò)大，產(chǎn)品的增加，其物料也會(huì)隨之迅猛的增加，物料編碼規(guī)則一旦制定就必須具有相對(duì)的穩(wěn)定性，一般需要保證系統(tǒng)運(yùn)行十年以上，因?yàn)樵诟餍畔⑾到y(tǒng)運(yùn)行過程中，重新進(jìn)行編碼規(guī)則的調(diào)整存在極大的系統(tǒng)風(fēng)險(xiǎn)。3）實(shí)用性：主數(shù)據(jù)編碼的制定以實(shí)用為宗旨，采用計(jì)算機(jī)自動(dòng)生成的流水碼，以“7”開頭的9位編碼，如“700000001”，簡(jiǎn)單、易用可擴(kuò)展性強(qiáng)。4）準(zhǔn)確性：提高物料數(shù)據(jù)的準(zhǔn)確性，物料的領(lǐng)用、發(fā)放、請(qǐng)購(gòu)、跟催、盤點(diǎn)、儲(chǔ)存、保管、記賬等一切物料管理事務(wù)性的工作均通過物料代碼查核，物料管理較容易，準(zhǔn)確率高，不會(huì)發(fā)生物料名稱混亂的情況。
2主數(shù)據(jù)管理的功能范圍
主數(shù)據(jù)編碼管理涉及企業(yè)的技術(shù)、采購(gòu)、生產(chǎn)、銷售、財(cái)務(wù)等多個(gè)部門。主要功能為：1）任務(wù)提醒和共享數(shù)據(jù)管理：使運(yùn)維人員及時(shí)了解最新的應(yīng)該完成的任務(wù)，并實(shí)現(xiàn)共享信息的及時(shí)等管理。2）任務(wù)流程管理：運(yùn)維人員的各種任務(wù)查詢及執(zhí)行，包括任務(wù)流程的建立、待辦任務(wù)、經(jīng)辦任務(wù)、急需完成任務(wù)的查詢及執(zhí)行、未執(zhí)行任務(wù)的關(guān)閉等。3）主數(shù)據(jù)運(yùn)維管理：主數(shù)據(jù)運(yùn)維系統(tǒng)主要管理五大類主數(shù)據(jù)，即物資編碼（簡(jiǎn)稱Z050）、主產(chǎn)品編碼（簡(jiǎn)稱Z051）、企業(yè)零配件級(jí)自有物料（簡(jiǎn)稱5703）、客戶、供應(yīng)商。這五大類主數(shù)據(jù)要實(shí)現(xiàn)編碼申請(qǐng)、編碼反饋、視圖收集、視圖反饋等各任務(wù)流程的創(chuàng)建、查詢。4）系統(tǒng)設(shè)置：實(shí)現(xiàn)任務(wù)流程的維護(hù)及對(duì)各運(yùn)維人員的權(quán)限的設(shè)置。
3主數(shù)據(jù)管理的實(shí)現(xiàn)
主數(shù)據(jù)管理系統(tǒng)的各類主數(shù)據(jù)維護(hù)包括編碼申請(qǐng)、反饋及各種視圖的收集、接收、導(dǎo)入系統(tǒng)等業(yè)務(wù)流程的管理，見圖2。
3.1編碼申請(qǐng)管理
編碼申請(qǐng)管理主要是處理Z050、Z051、5703、客戶、供應(yīng)商這五大類主數(shù)據(jù)的編碼申請(qǐng)業(yè)務(wù)，主要包括編碼申請(qǐng)編輯、編碼申請(qǐng)管理等功能。編碼申請(qǐng)人員在系統(tǒng)中的編碼申請(qǐng)編輯里按照申請(qǐng)模版填寫申請(qǐng)文件，并發(fā)送到主數(shù)據(jù)管理系統(tǒng)負(fù)責(zé)人，負(fù)責(zé)人在中國(guó)石油天然氣集團(tuán)公司（簡(jiǎn)稱集團(tuán)公司）MDM平臺(tái)（MasterDataManagement主數(shù)據(jù)管理平臺(tái)）申請(qǐng)到編碼，反饋后發(fā)送給申請(qǐng)人，其中Z050、Z051、客戶、供應(yīng)商主數(shù)據(jù)編碼由運(yùn)維人員通過主數(shù)據(jù)管理平臺(tái)提交到集團(tuán)公司MDM平臺(tái)，由集團(tuán)公司下發(fā)編碼，5703由主數(shù)據(jù)管理系統(tǒng)自動(dòng)生成編碼。在編碼申請(qǐng)管理功能中，通過指定時(shí)間段、年度、季度、月度內(nèi)查詢編碼申請(qǐng)文件，查看編碼申請(qǐng)的狀態(tài)。編碼申請(qǐng)管理還提供編輯修改，指定的單據(jù)發(fā)起、審批、退回任務(wù)，并逐級(jí)進(jìn)行審批等功能。
3.2視圖收集管理
視圖收集主要是為了各業(yè)務(wù)部門能夠使用各種主數(shù)據(jù)，把主數(shù)據(jù)維護(hù)到相應(yīng)的視圖下，主要包括采購(gòu)視圖、會(huì)計(jì)視圖、物料需求計(jì)劃（MaterialRequirementPlanning，簡(jiǎn)稱MRP）視圖、銷售視圖、質(zhì)量視圖，客戶和供應(yīng)商主數(shù)據(jù)視圖還需要收集濟(jì)柴下屬個(gè)公司視圖等，視圖收集管理分兩種情況，一種是通過編碼申請(qǐng)文件自動(dòng)下達(dá)形成視圖收集文件，另一種是通過編輯手工增加的視圖收集文件。視圖收集管理也提供了發(fā)起、審批、打回視圖收集文件，查看視圖收集流程審批任務(wù)等功能。
編碼器管理主要是針對(duì)5703類型的編碼處理，在5703編碼器內(nèi)按照指定的編碼規(guī)則形成5703類型的編碼，形成編碼后在5703編碼器處看不到5703申請(qǐng)文件的記錄，而在5703編碼器管理功能可以看到并進(jìn)行管理。可以查看、編輯5703編碼器內(nèi)形成的編碼，同步5703申請(qǐng)文件內(nèi)的編碼，形成5703的編碼反饋文件。形成編碼反饋文件后可以在編碼反饋管理進(jìn)行管理5703編碼器形成的反饋文件。5703是針對(duì)企業(yè)產(chǎn)品零部件的主數(shù)據(jù)，它指企業(yè)主產(chǎn)品上的零部件，如曲軸、連桿等。5703編碼的申請(qǐng)流程是由各相關(guān)單位5703物料編碼申請(qǐng)人按申請(qǐng)模版填寫申請(qǐng)文件，發(fā)送到主數(shù)據(jù)管理系統(tǒng)5703負(fù)責(zé)人，主數(shù)據(jù)管理系統(tǒng)5703負(fù)責(zé)人接到申請(qǐng)，在系統(tǒng)中產(chǎn)生編碼，反饋后發(fā)送給申請(qǐng)人，同時(shí)要將該反饋文件整理成視圖收集文件。其中，外購(gòu)件發(fā)送給采購(gòu)、會(huì)計(jì)、生產(chǎn)、銷售、質(zhì)量部門視圖負(fù)責(zé)人，收集采購(gòu)視圖、會(huì)計(jì)視圖、物料需求計(jì)劃視圖、銷售視圖、質(zhì)量視圖。自制件發(fā)送給會(huì)計(jì)、生產(chǎn)、銷售、質(zhì)量部門視圖負(fù)責(zé)人，收集會(huì)計(jì)視圖、MRP視圖、銷售視圖、質(zhì)量視圖。視圖信息到位后，運(yùn)維人員整理成導(dǎo)入文件，導(dǎo)入到信息系統(tǒng)中，該物料的使用部門就可以開始這些物料的各業(yè)務(wù)操作。
4主數(shù)據(jù)編碼與各信息系統(tǒng)的集成
主數(shù)據(jù)管理系統(tǒng)可以為PDM、ERP、MES等各種信息系統(tǒng)數(shù)據(jù)集成提供前提條件。一般它們的數(shù)據(jù)的傳遞方式分為兩種，一種是從PDM系統(tǒng)到ERP系統(tǒng)再到MES系統(tǒng)，即在數(shù)據(jù)由上而下的流轉(zhuǎn)過程中，上游為下游提供數(shù)據(jù)，逐級(jí)傳遞，保證數(shù)據(jù)的統(tǒng)一性；另一種方式是以ERP系統(tǒng)為主要數(shù)據(jù)源，其他信息系統(tǒng)從ERP中讀取物料編碼，通過主數(shù)據(jù)管理系統(tǒng)，生成各種主數(shù)據(jù)視圖，再把各種視圖導(dǎo)入到ERP系統(tǒng)中去，使其他系統(tǒng)獲取編碼。濟(jì)柴采取的是第二種方式，在主數(shù)據(jù)管理系統(tǒng)中生成新的物料編碼，然后把編碼通過系統(tǒng)自動(dòng)分發(fā)到各個(gè)業(yè)務(wù)部門收集基礎(chǔ)數(shù)據(jù)的視圖，如會(huì)計(jì)、生產(chǎn)、銷售、采購(gòu)等視圖，視圖收集上來通過系統(tǒng)形成視圖導(dǎo)入模板再導(dǎo)入到ERP系統(tǒng)中，形成各種可用數(shù)據(jù)，PDM、MES等信息系統(tǒng)通過與ERP系統(tǒng)集成的接口獲取所需數(shù)據(jù)。通過系統(tǒng)集成實(shí)現(xiàn)了主數(shù)據(jù)的統(tǒng)一管理。
5濟(jì)柴主數(shù)據(jù)管理系統(tǒng)的應(yīng)用效果
濟(jì)柴主數(shù)據(jù)管理系統(tǒng)是自行開發(fā)輔的編碼系統(tǒng)，采用PowerBuilder9.0（快速可視化面向?qū)ο蟮拈_發(fā)工具）作為開發(fā)平臺(tái)，Oracle10（關(guān)系數(shù)據(jù)庫管理系統(tǒng)）作為數(shù)據(jù)庫管理系統(tǒng)，它具有良好的兼容性、真正的可編譯性和較強(qiáng)的安全性，開發(fā)靈活，效率高，界面友好。主數(shù)據(jù)管理系統(tǒng)具有易用性的特點(diǎn)，它定位為輔工具軟件，界面精簡(jiǎn)、方便操作，可以減少手工重復(fù)操作，提高工作效率。經(jīng)過一段時(shí)間的運(yùn)行，產(chǎn)生的效果為：1）縮短編碼申請(qǐng)周期：原來的編碼申請(qǐng)是由MDM負(fù)責(zé)人統(tǒng)一分配編碼，申請(qǐng)周期長(zhǎng)，不能滿足企業(yè)的生產(chǎn)要求；濟(jì)柴自行開發(fā)的主數(shù)據(jù)編碼申請(qǐng)平臺(tái)可由核心運(yùn)維組自行控制，申請(qǐng)周期大大縮短。2）降低編碼重復(fù)率：原來負(fù)責(zé)分配編碼的MDM負(fù)責(zé)人對(duì)企業(yè)產(chǎn)品不十分了解，編碼的排重工作做得不夠到位；濟(jì)柴自行開發(fā)的主數(shù)據(jù)編碼申請(qǐng)平臺(tái)特別增加編碼的排重程序，該程序從濟(jì)柴的實(shí)際出發(fā)，使編碼的重復(fù)率大大降低。3）提高新編碼數(shù)據(jù)維護(hù)效率：原來新編碼反饋后，完全由人工通過復(fù)制、粘貼對(duì)各相關(guān)視圖數(shù)據(jù)進(jìn)行收集、轉(zhuǎn)換和導(dǎo)入；濟(jì)柴自行開發(fā)的主數(shù)據(jù)編碼申請(qǐng)平臺(tái)特別增加各視圖數(shù)據(jù)的自動(dòng)生成程序，對(duì)當(dāng)天的新編碼自動(dòng)處理，大大提高了數(shù)據(jù)維護(hù)的效率。
6結(jié)束語
通過對(duì)主數(shù)據(jù)進(jìn)行系統(tǒng)化的規(guī)范和管理，濟(jì)柴建立起了一套完整的企業(yè)數(shù)據(jù)管理體系，為業(yè)務(wù)的運(yùn)作提供強(qiáng)有力的支撐。主數(shù)據(jù)管理系統(tǒng)的正式運(yùn)行克服了以前編碼管理的各項(xiàng)弊端，大大提高了產(chǎn)品數(shù)據(jù)管理的效率，降低物料編碼的重復(fù)，縮短物料編碼申請(qǐng)的周期，提高新編碼的相關(guān)數(shù)據(jù)維護(hù)的效率，將企業(yè)內(nèi)各種數(shù)據(jù)資源進(jìn)行整合，實(shí)現(xiàn)了數(shù)據(jù)的集中化管理，提高了企業(yè)數(shù)據(jù)維護(hù)的效率，保障了企業(yè)生產(chǎn)的正常運(yùn)行，為企業(yè)節(jié)省了大量的人力及物力去管理物料，使企業(yè)的管理水平邁上新的臺(tái)階。
參考文獻(xiàn)：
[1]和軼東,張怡,曹乃剛.SAPMDM主數(shù)據(jù)管理[M].北京:清華大學(xué)出版社,2013:1-3.
1云計(jì)算簡(jiǎn)介
1.1概念
云計(jì)算是通過將大量計(jì)算分布到分布式計(jì)算機(jī)上，實(shí)現(xiàn)虛擬化的計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)，使得數(shù)據(jù)的計(jì)算運(yùn)行與互聯(lián)網(wǎng)類似，能夠按照需求訪問資源和系統(tǒng)。但是云計(jì)算并非通過本地計(jì)算機(jī)或遠(yuǎn)程服務(wù)器進(jìn)行計(jì)算，而是像計(jì)算機(jī)網(wǎng)絡(luò)內(nèi)部一樣實(shí)現(xiàn)分布式處理計(jì)算，這種方式就好像電廠集中供電模式，將低成本的運(yùn)算單元組織在一起，能夠大幅度提升計(jì)算能力和數(shù)據(jù)處理能力。云計(jì)算的這種計(jì)算模式對(duì)用戶完全透明，用戶只需要向系統(tǒng)提交自己的要求，云計(jì)算軟件和平臺(tái)會(huì)自動(dòng)進(jìn)行處理，用戶不需要了解云計(jì)算的具體方法就能夠?qū)崿F(xiàn)快速、高效的大數(shù)據(jù)處理。
1.2結(jié)構(gòu)
云計(jì)算是借助虛擬技術(shù)，將大量分布服務(wù)器上的資源整合起來，然后根據(jù)用戶需求進(jìn)行分配和處理，是一個(gè)虛擬的、龐大的計(jì)算機(jī)網(wǎng)絡(luò)輔助系統(tǒng)。因此其體系結(jié)構(gòu)也十分復(fù)雜，可以大體上分為用戶、服務(wù)要求、管理系統(tǒng)和服務(wù)器集合等四個(gè)部分。用戶提出服務(wù)要求，然后由管理系統(tǒng)向服務(wù)器集群發(fā)出請(qǐng)求并整合和接收反饋，然后以一個(gè)完整的形式將結(jié)果反饋給用戶，形成一個(gè)完整的虛擬計(jì)算機(jī)網(wǎng)絡(luò)處理結(jié)構(gòu)。
1.3特點(diǎn)
云計(jì)算具有虛擬、高效、資源共享度高等基本特點(diǎn)，同時(shí)，目前由于云計(jì)算技術(shù)還沒有完全成熟，大部分企業(yè)和個(gè)人使用云計(jì)算技術(shù)需要付費(fèi)。云計(jì)算是一種虛擬概念的計(jì)算，也就是說其計(jì)算過程并不是通過實(shí)際的物理方式實(shí)現(xiàn)的，因此不僅能夠?qū)崿F(xiàn)大量數(shù)據(jù)的運(yùn)算，也能夠提高資源之間的共享度，同時(shí)這種分布式處理方式也更大地保證了數(shù)據(jù)的保密性和安全性。重要數(shù)據(jù)大量分布在所有分布式終端中，不能簡(jiǎn)單地從一臺(tái)終端中提取，提高了數(shù)據(jù)的保密性，并且如果某臺(tái)終端處理機(jī)出現(xiàn)問題，也不會(huì)影響其他終端，極大地提高了數(shù)據(jù)的安全性，使得大量數(shù)據(jù)的保存管理成為可能。
2云數(shù)據(jù)管理技術(shù)類型簡(jiǎn)介
云計(jì)算是對(duì)海量的、分布性的數(shù)據(jù)進(jìn)行計(jì)算處理，因此對(duì)于數(shù)據(jù)的管理要求很高，采用的數(shù)據(jù)管理技術(shù)必須能夠高效地管理海量數(shù)據(jù)，于是云數(shù)據(jù)管理技術(shù)也隨著云計(jì)算的廣泛應(yīng)用而出現(xiàn)，并且目前已經(jīng)成為眾多企業(yè)和研究機(jī)構(gòu)研究的重要課題。目前已經(jīng)存在了許多不同的云數(shù)據(jù)管理技術(shù)，這些云數(shù)據(jù)管理技術(shù)各有特點(diǎn)，但是都以不同的方式實(shí)現(xiàn)了對(duì)海量數(shù)據(jù)的有效管理。
2.1GFS技術(shù)
GFS技術(shù)即谷歌文件系統(tǒng)，是一種為谷歌云計(jì)算技術(shù)提供數(shù)據(jù)管理的系統(tǒng)。在這種技術(shù)中，所有資源文件以一種庫文件的形式存在，并且有系統(tǒng)提供給用戶一個(gè)專用的程序訪問接口，用戶提出請(qǐng)求后，由一個(gè)邏輯上唯一的管理者對(duì)整個(gè)庫文件進(jìn)行調(diào)度和統(tǒng)籌管理。這種文件系統(tǒng)管理技術(shù)不僅能夠?yàn)楣雀柙朴?jì)算提供海量數(shù)據(jù)的存儲(chǔ)管理，同時(shí)也可以進(jìn)行云計(jì)算，滿足各種用戶要求，目前GFS技術(shù)已經(jīng)成為云數(shù)據(jù)管理技術(shù)的主要技術(shù)之一，并且得到了非常廣泛的應(yīng)用。2.2BigTable技術(shù)BigTable技術(shù)也是谷歌開發(fā)的一種數(shù)據(jù)管理技術(shù)，這種技術(shù)是建立在谷歌文件系統(tǒng)的基礎(chǔ)之上，通過將大量數(shù)據(jù)組織在一張?zhí)摂M的表格中進(jìn)行管理。這種技術(shù)將云數(shù)據(jù)組織在一張巨大的表格中，從而實(shí)現(xiàn)數(shù)據(jù)的結(jié)構(gòu)化管理。在使用時(shí)能夠根據(jù)要求更加快速地進(jìn)行數(shù)據(jù)查找和處理，合理進(jìn)行資源的分配。這種方式比起文件系統(tǒng)更能夠?qū)崿F(xiàn)數(shù)據(jù)的架構(gòu)化，對(duì)于結(jié)構(gòu)化云數(shù)據(jù)的管理會(huì)產(chǎn)生更好的效果，取得更高的管理效率。
2.3Dynamo技術(shù)
Dynamo技術(shù)是一種分布式存儲(chǔ)系統(tǒng)，具有數(shù)據(jù)庫和分布式Hash表的特征，以分布式Hash表作為基本存儲(chǔ)結(jié)構(gòu)和理念，實(shí)現(xiàn)數(shù)據(jù)在環(huán)中的均勻存儲(chǔ)形式。這種技術(shù)的主要特點(diǎn)是提供了三個(gè)參數(shù)：N、R、W，技術(shù)規(guī)定，有N個(gè)副本，如果有R個(gè)讀取一致就可以認(rèn)為是讀取成功，如果有W個(gè)寫入成功就認(rèn)為是寫入成功，即系統(tǒng)不要求N個(gè)全部讀取或?qū)懭氤晒Γ灰軌虮ＷCR+W大于N，就能夠確保數(shù)據(jù)的一致性，這種技術(shù)增加了數(shù)據(jù)讀取的復(fù)雜性，但是降低了數(shù)據(jù)寫入的復(fù)雜程度，實(shí)現(xiàn)了更加高速的存儲(chǔ)管理。
3云數(shù)據(jù)管理技術(shù)特點(diǎn)分析
3.1提供可靠的數(shù)據(jù)存儲(chǔ)管理
云數(shù)據(jù)管理技術(shù)盡管各有特點(diǎn)，但總體都采用了分布式存儲(chǔ)管理的思想。這種數(shù)據(jù)存儲(chǔ)管理方式能夠?yàn)槠髽I(yè)提供海量數(shù)據(jù)的存儲(chǔ)管理，同時(shí)能夠極大地提高數(shù)據(jù)的保密性和安全性。同時(shí)，云數(shù)據(jù)管理技術(shù)一般都具有較高的容錯(cuò)性，大量分布式服務(wù)器的支持也可以實(shí)現(xiàn)對(duì)數(shù)據(jù)的錯(cuò)誤分析和報(bào)告，避免因失誤產(chǎn)生的數(shù)據(jù)錯(cuò)誤。云數(shù)據(jù)管理技術(shù)最大限度地降低了人為管理因素對(duì)數(shù)據(jù)管理的影響，從而更好地提升了數(shù)據(jù)管理的可靠性。
3.2實(shí)現(xiàn)數(shù)據(jù)的并行處理和分析
云數(shù)據(jù)管理技術(shù)是將數(shù)據(jù)進(jìn)行分布式處理，盡管在邏輯上看來許多云數(shù)據(jù)管理技術(shù)是將數(shù)據(jù)整合到了一個(gè)統(tǒng)一的機(jī)構(gòu)中，但事實(shí)上數(shù)據(jù)是分布存儲(chǔ)在大量分布式服務(wù)器上，在對(duì)數(shù)據(jù)進(jìn)行處理時(shí)，就可以按照用戶的要求從各個(gè)服務(wù)器中調(diào)取數(shù)據(jù)。在這種技術(shù)支持下，就能夠有效實(shí)現(xiàn)數(shù)據(jù)的并行處理，系統(tǒng)根據(jù)用戶要求自動(dòng)檢索分析用戶需求，迅速縮小范圍，鎖定用戶關(guān)鍵詞，迅速對(duì)用戶命令做出處理和反饋。同時(shí)，多個(gè)用戶如果提出同一要求，也能夠迅速通過這種管理技術(shù)實(shí)現(xiàn)信息共享，將同樣的信息返回不同的用戶終端。云數(shù)據(jù)管理技術(shù)還能夠根據(jù)用戶提供的關(guān)鍵字對(duì)數(shù)據(jù)進(jìn)行初步篩選和分析，節(jié)省用戶的分析時(shí)間，對(duì)于需要進(jìn)行大量數(shù)據(jù)分析的企業(yè)來說可以極大地提高工作效率。這種強(qiáng)大的數(shù)據(jù)提供和分析處理能力正是云數(shù)據(jù)管理技術(shù)得到廣泛研究和應(yīng)用的主要原因之一。
4云計(jì)算和云數(shù)據(jù)管理前景展望
4.1云計(jì)算技術(shù)發(fā)展前景
云計(jì)算技術(shù)目前正處于快速發(fā)展階段，不論是個(gè)人、企業(yè)還是國(guó)家都十分重視云計(jì)算技術(shù)的研究和創(chuàng)新。同時(shí)，隨著更多的“云”概念的提出，云計(jì)算也被賦予了更多的功能和含義，大數(shù)據(jù)等概念的提出也為云計(jì)算帶來了新的發(fā)展方向。國(guó)際社會(huì)已經(jīng)有越來越多的專家學(xué)者研究出了更多創(chuàng)新的云計(jì)算技術(shù)，并且提出了概念含義更加廣泛的云計(jì)算概念。國(guó)內(nèi)對(duì)于云計(jì)算的研究也正日益火熱，科研機(jī)構(gòu)也在進(jìn)行新技術(shù)的研究，國(guó)內(nèi)個(gè)人和企業(yè)也逐漸了解了云計(jì)算的概念和特點(diǎn)，并且有更多的企業(yè)單位開始運(yùn)用和研究云計(jì)算技術(shù)。可以說，云計(jì)算技術(shù)發(fā)展前景大好，并且很可能會(huì)成為未來一段時(shí)間內(nèi)計(jì)算機(jī)研究和應(yīng)用的重點(diǎn)方向。
4.2云數(shù)據(jù)管理技術(shù)的發(fā)展
伴隨著云計(jì)算概念和技術(shù)的更新，云數(shù)據(jù)管理技術(shù)也必然要隨之更新，云數(shù)據(jù)管理技術(shù)是為了給云計(jì)算提供強(qiáng)大可靠的數(shù)據(jù)存儲(chǔ)管理支持，為云計(jì)算技術(shù)提供數(shù)據(jù)基礎(chǔ)，因此其發(fā)展也會(huì)隨著云計(jì)算技術(shù)的需求而不斷改善。在目前的發(fā)展趨勢(shì)看來，正有著許多新技術(shù)和新思想不斷涌現(xiàn)，不同概念和云數(shù)據(jù)管理概念的結(jié)合創(chuàng)造出來更多的云數(shù)據(jù)管理技術(shù)。目前云數(shù)據(jù)管理技術(shù)發(fā)展趨勢(shì)正傾向于將不同學(xué)科、不同領(lǐng)域的概念與之相結(jié)合形成新的管理技術(shù)，這種發(fā)展不僅能夠促進(jìn)云數(shù)據(jù)管理技術(shù)的創(chuàng)新，也加強(qiáng)了云技術(shù)與其他學(xué)科技術(shù)的結(jié)合發(fā)展，促進(jìn)了不同技術(shù)的融合與共同發(fā)展。
5結(jié)束語
關(guān)鍵詞：汽輪機(jī) 數(shù)據(jù)管理 開發(fā)
詵⒌緋е？汽輪機(jī)是最為重要的基礎(chǔ)設(shè)備之一。并且，汽輪機(jī)是在非常長(zhǎng)的周期中，一直不停地高速運(yùn)轉(zhuǎn)。在一些外界和自身因素的影響下，會(huì)出現(xiàn)一定的故障，給企業(yè)帶來極大經(jīng)濟(jì)損失。目前，我國(guó)對(duì)于汽輪機(jī)的數(shù)據(jù)管理與監(jiān)測(cè)中，也引進(jìn)了相對(duì)先進(jìn)的數(shù)字化系統(tǒng)。這些數(shù)據(jù)管理與監(jiān)測(cè)系統(tǒng)，多是通過下位機(jī)的模式進(jìn)行運(yùn)轉(zhuǎn)。所采用的下位機(jī)可以進(jìn)行相關(guān)的數(shù)據(jù)收集工作，通常將下位機(jī)設(shè)置在汽輪機(jī)的監(jiān)測(cè)現(xiàn)場(chǎng)。而上位機(jī)則對(duì)所收集的數(shù)據(jù)加以分析與管理，同時(shí)對(duì)汽輪機(jī)運(yùn)行中的故障進(jìn)行判斷，通常將上位機(jī)設(shè)置在監(jiān)控中心。這種采用上位機(jī)與下位機(jī)的運(yùn)行方式，數(shù)據(jù)管理與監(jiān)測(cè)系統(tǒng)與被監(jiān)測(cè)的汽輪機(jī)依舊采取一對(duì)一的方式進(jìn)行配置，也不便于對(duì)系統(tǒng)進(jìn)行集中式的管理，無法真正發(fā)揮出數(shù)據(jù)管理與監(jiān)測(cè)系統(tǒng)的功能。另外，采用傳統(tǒng)方式進(jìn)行數(shù)據(jù)管理與系統(tǒng)的監(jiān)測(cè)，幾乎均是基于文件系統(tǒng)的數(shù)據(jù)管理方式，在數(shù)據(jù)管理過程中，無法實(shí)現(xiàn)實(shí)時(shí)的共享數(shù)據(jù)。對(duì)于數(shù)據(jù)的查詢時(shí)，也相對(duì)復(fù)雜與繁瑣。而對(duì)汽輪機(jī)進(jìn)行故障的判斷與分析，是要依據(jù)非常多的現(xiàn)場(chǎng)實(shí)測(cè)數(shù)據(jù)來完成的，只有收集到了實(shí)時(shí)、真實(shí)的數(shù)據(jù)，才可以對(duì)信號(hào)加以處理與分析，最后準(zhǔn)確地對(duì)故障進(jìn)行判斷。所以，基于此，研發(fā)了基于Windows操作系統(tǒng)以及數(shù)據(jù)庫技術(shù)的數(shù)據(jù)管理及實(shí)時(shí)監(jiān)測(cè)系統(tǒng)，以實(shí)現(xiàn)對(duì)汽輪機(jī)運(yùn)行時(shí)的數(shù)據(jù)進(jìn)行實(shí)時(shí)收集、分析、監(jiān)測(cè)與處理。
1 系統(tǒng)的構(gòu)成
在此系統(tǒng)之中，能夠同時(shí)對(duì)不同的汽輪機(jī)組進(jìn)行數(shù)據(jù)的收集、管理與監(jiān)測(cè)，其整體的結(jié)構(gòu)圖如圖1所示。
其中A/D板和相應(yīng)的監(jiān)測(cè)用主機(jī)通過ISA槽相連接，每一個(gè)A/D板收集對(duì)應(yīng)汽輪機(jī)運(yùn)行時(shí)的數(shù)據(jù)，同時(shí)完成對(duì)收集數(shù)據(jù)的轉(zhuǎn)換工作。其能夠同時(shí)管理與監(jiān)測(cè)汽輪機(jī)的數(shù)量，可以依據(jù)主機(jī)之中ISA槽數(shù)量來進(jìn)行調(diào)整。不同的汽輪機(jī)，能夠依照所需進(jìn)行監(jiān)測(cè)的內(nèi)容，例如：汽輪機(jī)的轉(zhuǎn)數(shù)、軸徑、向振動(dòng)、瓦振、熱工參數(shù)以及脹差等，而隨時(shí)進(jìn)行調(diào)整。
2 系統(tǒng)所具有的功能
2.1 智能化的數(shù)據(jù)信息采集功能
在此系統(tǒng)之中，能夠依照不同的汽輪機(jī)所擁有的運(yùn)行狀況，而使用各異的數(shù)據(jù)信息采集方法，以完成對(duì)不同汽輪機(jī)的數(shù)據(jù)采集工作。能夠達(dá)到16通道信號(hào)同步的進(jìn)行整同期、等速間隔等不同的數(shù)據(jù)信息采集方式，并且系統(tǒng)之中還安裝有能夠調(diào)節(jié)拐點(diǎn)的抗混跟蹤濾波裝置，可以完成對(duì)相關(guān)振動(dòng)信號(hào)的32倍頻采集工作。每一次單個(gè)通道能夠采集512、1024或者2048點(diǎn)。
2.2 狀態(tài)監(jiān)測(cè)功能
通過棒狀圖形以及數(shù)字的形式，來直觀呈現(xiàn)出不同通道所收集的實(shí)時(shí)在線數(shù)據(jù)信息，能夠?qū)崟r(shí)地在線反映出不同汽輪機(jī)設(shè)置的測(cè)點(diǎn)、不同測(cè)點(diǎn)的運(yùn)行狀態(tài)、軸芯軌跡等相關(guān)內(nèi)容。并且，當(dāng)汽輪機(jī)發(fā)生異常波動(dòng)時(shí)，還可以及時(shí)發(fā)出聲、光等報(bào)警信號(hào)。
2.3 實(shí)時(shí)數(shù)據(jù)的分析以及診斷功能
對(duì)不同的汽輪機(jī)啟動(dòng)與停止以及正常運(yùn)行過程中的相關(guān)數(shù)據(jù)，通過頻譜方法加以分析，并得出相應(yīng)的頻譜圖像、瀑布圖像等，對(duì)不同汽輪機(jī)實(shí)時(shí)的運(yùn)行情況加以全面診斷。同時(shí)，將發(fā)生故障時(shí)的相關(guān)數(shù)據(jù)傳輸至“黑匣子”之中，便于以后更加全面、細(xì)致地進(jìn)行分析，可以更加精確判斷出轉(zhuǎn)子質(zhì)量出現(xiàn)的失平衡、不對(duì)中以及裂紋等各種易出故障。同時(shí)，可以分析得出不同故障所發(fā)生的原因，給出相應(yīng)解決方案。
2.4 數(shù)據(jù)管理功能
在該系統(tǒng)之中，所包含的數(shù)據(jù)庫有實(shí)時(shí)數(shù)據(jù)庫、啟動(dòng)數(shù)據(jù)庫、停機(jī)數(shù)據(jù)庫以及歷史數(shù)據(jù)庫等4個(gè)數(shù)據(jù)庫，擁有一樣的關(guān)系結(jié)構(gòu)組成，即時(shí)間，1-m號(hào)振動(dòng)測(cè)量點(diǎn)數(shù)據(jù)值，1-n號(hào)熱工測(cè)量點(diǎn)數(shù)據(jù)值。并將時(shí)間信息當(dāng)成是數(shù)據(jù)庫關(guān)系結(jié)構(gòu)之中的主鍵，可以通過時(shí)間數(shù)據(jù)來對(duì)不同的記錄進(jìn)行識(shí)別。若是汽輪機(jī)處于正常的工作狀態(tài)，系統(tǒng)則會(huì)按設(shè)定的時(shí)間，對(duì)波形數(shù)據(jù)信息進(jìn)行儲(chǔ)存。而若是汽輪機(jī)處于異常工作狀態(tài)，系統(tǒng)則會(huì)對(duì)每一組的波形數(shù)據(jù)信息進(jìn)行儲(chǔ)存。時(shí)域波形數(shù)據(jù)庫之中，關(guān)系結(jié)構(gòu)是時(shí)間，1-m號(hào)振動(dòng)波形數(shù)據(jù)信息。在上述關(guān)系結(jié)構(gòu)之中，同樣將時(shí)間數(shù)據(jù)信號(hào)當(dāng)成是主鍵，可以通過時(shí)間數(shù)據(jù)來對(duì)不同的記錄進(jìn)行識(shí)別。在汽輪機(jī)的運(yùn)行過程中，會(huì)對(duì)出現(xiàn)的異常情況進(jìn)行實(shí)時(shí)的數(shù)據(jù)信息記錄。在汽輪機(jī)運(yùn)行異常記錄數(shù)據(jù)庫中，關(guān)系結(jié)構(gòu)為時(shí)間，測(cè)量位置名稱，異常數(shù)據(jù)值。數(shù)據(jù)管理系統(tǒng)在設(shè)定的時(shí)間間隔會(huì)對(duì)開量及關(guān)量，進(jìn)行數(shù)據(jù)信息的記錄，其數(shù)據(jù)庫關(guān)系結(jié)構(gòu)為時(shí)間，測(cè)量位置名稱，動(dòng)作之前所具有的狀態(tài)，動(dòng)作之后所具有的狀態(tài)。
2.5 趨勢(shì)以及報(bào)表分析和輸出功能
對(duì)汽輪機(jī)的運(yùn)行實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)分級(jí)劃分與管理，并分析每1小時(shí)、每1天以及每1月的趨勢(shì)。同時(shí)，做出日?qǐng)?bào)表以及月報(bào)表。能夠通過圖形以及報(bào)表等各種形式，對(duì)信息進(jìn)行輸出。另外，用戶還能夠?qū)ο到y(tǒng)再次進(jìn)行開發(fā)，從而更好適應(yīng)現(xiàn)場(chǎng)各種的需求。
3 系統(tǒng)的硬件
3.1 傳感裝置
應(yīng)當(dāng)依照不同測(cè)量數(shù)據(jù)信號(hào)所具有的特征，而選擇適宜的位移、加速度、壓力、電流等不同種類與型號(hào)的傳感裝置。
3.2 A/D轉(zhuǎn)換板
所采用的A/D轉(zhuǎn)換板，應(yīng)當(dāng)能夠?qū)崿F(xiàn)16通道慢變信號(hào)以及16通道快變信號(hào)的相關(guān)數(shù)據(jù)信息的收集工作。在慢變信號(hào)的每一通道之中，都設(shè)置上光電隔離裝置。所采用的A/D轉(zhuǎn)換裝置具有的精度是12bit±（1/2）LSB，所具有的轉(zhuǎn)換時(shí)長(zhǎng)是2μs。
3.3 監(jiān)測(cè)主機(jī)
此系統(tǒng)之中，所采用的監(jiān)測(cè)主機(jī)是標(biāo)準(zhǔn)的工業(yè)控制計(jì)算機(jī)，設(shè)備可以實(shí)現(xiàn)無故障使用高達(dá)4萬個(gè)小時(shí)以上。
4 系統(tǒng)的軟件
在此系統(tǒng)之中，完成了相應(yīng)的組態(tài)化參數(shù)設(shè)定，不僅對(duì)工廠的運(yùn)行參數(shù)、汽輪機(jī)運(yùn)行參數(shù)以及不同通道的相關(guān)設(shè)置，而且系統(tǒng)中的監(jiān)測(cè)模塊以及數(shù)據(jù)庫模塊等均能夠進(jìn)行動(dòng)態(tài)的組態(tài)設(shè)定。所以，此系統(tǒng)可以更容易再次的擴(kuò)容，同時(shí)具有較強(qiáng)的適應(yīng)能力。
5 結(jié)語
該汽輪機(jī)數(shù)據(jù)管理以及監(jiān)測(cè)系統(tǒng)，不僅涉及的結(jié)構(gòu)相對(duì)簡(jiǎn)潔，同時(shí)擁有較高的技術(shù)水平，可以更好適用于汽輪機(jī)的數(shù)管理與實(shí)時(shí)監(jiān)測(cè)工作之中。現(xiàn)在此系統(tǒng)已被應(yīng)用于汽輪機(jī)的實(shí)際數(shù)據(jù)管理工作之中，其所具有的可靠性及準(zhǔn)確性都能夠達(dá)到相應(yīng)的要求，為企業(yè)的安全生產(chǎn)提供了有力保障。
參考文獻(xiàn)
【關(guān)鍵詞】試驗(yàn)數(shù)據(jù)管理；TDM；動(dòng)態(tài)建庫；Web頁面自動(dòng)生成；海量數(shù)據(jù)導(dǎo)入
一、背景
試驗(yàn)是產(chǎn)品研發(fā)、生產(chǎn)制造、直至維修保障過程中必不可少的重要技術(shù)手段，對(duì)于產(chǎn)品的性能、壽命、質(zhì)量以及成本方面都起著至關(guān)重要的作用。試驗(yàn)技術(shù)和試驗(yàn)管理水平的高低，是一個(gè)企業(yè)或科研單位核心競(jìng)爭(zhēng)力的重要體現(xiàn)。經(jīng)過多年的投資建設(shè)，我國(guó)在高科技產(chǎn)品的試驗(yàn)及測(cè)試設(shè)備條件上取得了明顯的改進(jìn)，隨著近年來高科技產(chǎn)品在性能上的要求不斷提高，科研生產(chǎn)任務(wù)日益繁重，與之對(duì)應(yīng)的試驗(yàn)任務(wù)的種類、數(shù)量和復(fù)雜程度也在不斷增加。現(xiàn)有的試驗(yàn)管理手段和技術(shù)手段，已經(jīng)明顯不能滿足需求。突出表現(xiàn)為試驗(yàn)測(cè)試數(shù)據(jù)與數(shù)據(jù)管理之間的不匹配。由于缺少先進(jìn)適用的試驗(yàn)數(shù)據(jù)管理手段，導(dǎo)致科研單位對(duì)試驗(yàn)數(shù)據(jù)的維護(hù)和使用都非常困難，數(shù)據(jù)的完整性、一致性、安全性和可用性也難以保障，更無法進(jìn)一步挖掘出埋藏在試驗(yàn)數(shù)據(jù)當(dāng)中的知識(shí)。試驗(yàn)數(shù)據(jù)管理問題正在成為影響科研效率的新的瓶頸，嚴(yán)重制約了高科技產(chǎn)品的科研生產(chǎn)和創(chuàng)新發(fā)展。
在試驗(yàn)數(shù)據(jù)管理方面的問題主要表現(xiàn)在以下幾個(gè)方面：（1）試驗(yàn)數(shù)據(jù)分散獨(dú)立；（2）試驗(yàn)信息缺乏完整性；（3）試驗(yàn)缺乏標(biāo)準(zhǔn)化管理；（4）試驗(yàn)信息缺乏完整的管理體系；（5）試驗(yàn)過程及試驗(yàn)數(shù)據(jù)之間缺乏集成；（6）試驗(yàn)數(shù)據(jù)的安全性缺乏整體部署；（7）數(shù)據(jù)利用率低；（8）試驗(yàn)數(shù)據(jù)很難在設(shè)計(jì)、仿真部門利用。在這種背景下，TDM系統(tǒng)應(yīng)運(yùn)而生。TDM是Test Data Management的縮寫，其中文含義是試驗(yàn)數(shù)據(jù)管理。作為產(chǎn)品生命周期管理（PLM）的重要組成部分，TDM系統(tǒng)通過建立企業(yè)內(nèi)部權(quán)威的試驗(yàn)數(shù)據(jù)資源庫，把企業(yè)所有的試驗(yàn)數(shù)據(jù)和所有與試驗(yàn)相關(guān)的信息和業(yè)務(wù)流程進(jìn)行統(tǒng)一管理，成為企業(yè)提高科研水平、縮短科研周期、降低科研經(jīng)費(fèi)的源動(dòng)力。
二、試驗(yàn)數(shù)據(jù)管理面臨的挑戰(zhàn)
我們已經(jīng)認(rèn)識(shí)到了試驗(yàn)數(shù)據(jù)管理工作的重要性，但是真正開展試驗(yàn)數(shù)據(jù)管理工作卻不是一件容易的事情，我們面臨著許多困難和挑戰(zhàn)。
1．試驗(yàn)易變性。試驗(yàn)具有易變性特點(diǎn)。在試驗(yàn)數(shù)據(jù)采集過程中，每次試驗(yàn)的采集通道數(shù)目是變化的，每個(gè)通道采集的數(shù)據(jù)量也是變化的。另外，設(shè)備改造、試驗(yàn)室擴(kuò)展、試驗(yàn)環(huán)境變化等因素會(huì)帶來試驗(yàn)設(shè)備、試驗(yàn)臺(tái)架、試驗(yàn)儀器、數(shù)據(jù)種類等的變化。因此，傳統(tǒng)的靜態(tài)數(shù)據(jù)庫結(jié)構(gòu)是無法滿足這種數(shù)據(jù)的存儲(chǔ)需求的。
2．試驗(yàn)數(shù)據(jù)量大。隨著科技的發(fā)展和試驗(yàn)重要性的提升，試驗(yàn)的時(shí)間越來越長(zhǎng)，比如：飛機(jī)發(fā)動(dòng)機(jī)連接件的疲勞試驗(yàn)超過1年；試驗(yàn)采集的通道數(shù)越來越多，有的模態(tài)試驗(yàn)通道數(shù)高達(dá)10000個(gè)；試驗(yàn)設(shè)備采集速度越來越快，對(duì)于微波試驗(yàn)而言更有高達(dá)1Mbps的儀器設(shè)備；試驗(yàn)過程也越來越復(fù)雜。因此，試驗(yàn)產(chǎn)生的數(shù)據(jù)量呈幾何數(shù)量級(jí)增長(zhǎng)，這給試驗(yàn)數(shù)據(jù)管理帶來了很大的難度。
3．試驗(yàn)數(shù)據(jù)種類繁多。目前，在國(guó)際和國(guó)內(nèi)市場(chǎng)上試驗(yàn)設(shè)備種類多樣，并且沒有國(guó)際統(tǒng)一的數(shù)據(jù)格式標(biāo)準(zhǔn)。在試驗(yàn)單位存在大量不同的試驗(yàn)設(shè)備的情況下，試驗(yàn)采集的原始數(shù)據(jù)種類也是多種多樣的，試驗(yàn)數(shù)據(jù)之間的格式差異很大，試驗(yàn)數(shù)據(jù)管理并非易事。
三、試驗(yàn)數(shù)據(jù)管理系統(tǒng)關(guān)鍵功能
1．動(dòng)態(tài)建庫。允許用戶任意定制自己所需的數(shù)據(jù)庫模型，包括數(shù)據(jù)表、數(shù)據(jù)視圖、數(shù)據(jù)校驗(yàn)規(guī)則和約束條件等內(nèi)容，滿足用戶多種需要，如：調(diào)整數(shù)據(jù)庫結(jié)構(gòu)、組織和查找試驗(yàn)數(shù)據(jù)、增加數(shù)據(jù)校驗(yàn)的條件和規(guī)則等，適應(yīng)用戶不斷變化的試驗(yàn)業(yè)務(wù)需求。
2．海量數(shù)據(jù)導(dǎo)入。提供數(shù)據(jù)導(dǎo)入功能，從各種格式的海量試驗(yàn)數(shù)據(jù)文件中快速提取目標(biāo)數(shù)據(jù)并且導(dǎo)入數(shù)據(jù)庫中。由于試驗(yàn)數(shù)據(jù)量很大，導(dǎo)入性能是一個(gè)關(guān)鍵指標(biāo)，一般應(yīng)該達(dá)到在3G/小時(shí)以上。
3．Web頁面自動(dòng)生成。在數(shù)據(jù)庫模型設(shè)計(jì)完成后，TDM系統(tǒng)會(huì)自動(dòng)生成完整的Web門戶來供試驗(yàn)人員訪問，提供數(shù)據(jù)錄入、修改、刪除、查看、上傳、下載等常用操作。而且，在用戶根據(jù)業(yè)務(wù)變化而修改數(shù)據(jù)庫模型時(shí)，TDM系統(tǒng)可以自動(dòng)調(diào)整Web門戶中的頁面內(nèi)容。這樣就免除了二次開發(fā)帶來的煩惱。無論試驗(yàn)數(shù)據(jù)發(fā)生何種變化或者用戶產(chǎn)生何種應(yīng)用需求，都不會(huì)妨礙試驗(yàn)數(shù)據(jù)管理工作的平穩(wěn)有序的進(jìn)行。
4．試驗(yàn)數(shù)據(jù)管理業(yè)務(wù)應(yīng)用。TDM系統(tǒng)可以幫助企業(yè)客戶搭建統(tǒng)一的試驗(yàn)數(shù)據(jù)管理平臺(tái)，構(gòu)造完整規(guī)范的試驗(yàn)業(yè)務(wù)系統(tǒng)。TDM系統(tǒng)可以實(shí)現(xiàn)的核心業(yè)務(wù)應(yīng)用包括以下幾個(gè)方面。（1）試驗(yàn)項(xiàng)目管理。提供完備的試驗(yàn)項(xiàng)目規(guī)劃管理，包括試驗(yàn)設(shè)計(jì)、試驗(yàn)文件簽轉(zhuǎn)、試驗(yàn)任務(wù)管理、試驗(yàn)相關(guān)數(shù)據(jù)查詢、試驗(yàn)任務(wù)統(tǒng)計(jì)和試驗(yàn)資源配置等管理功能。（2）試驗(yàn)流程管理。提供試驗(yàn)流程定制、試驗(yàn)流程執(zhí)行、試驗(yàn)流程監(jiān)控、歷史試驗(yàn)流程查詢和試驗(yàn)相關(guān)數(shù)據(jù)查詢等功能，可以隨時(shí)定制所需的工作流程，如試驗(yàn)準(zhǔn)備工作流程、試驗(yàn)文檔審批流程、數(shù)據(jù)質(zhì)量控制流程等。（3）試驗(yàn)標(biāo)準(zhǔn)管理。具有相關(guān)試驗(yàn)標(biāo)準(zhǔn)（國(guó)標(biāo)、國(guó)軍標(biāo)、行業(yè)標(biāo)準(zhǔn)及單位標(biāo)準(zhǔn)）的目錄清單及文件管理功能，在試驗(yàn)過程中可以很方便地提取并查看相關(guān)標(biāo)準(zhǔn)文件，并可結(jié)合單位管理程序文件中確定的各種流程來進(jìn)行流程設(shè)計(jì)。（4）試驗(yàn)資源管理。管理與試驗(yàn)相關(guān)的所有資源信息，主要包括試驗(yàn)設(shè)備、試驗(yàn)原料、試驗(yàn)環(huán)境數(shù)據(jù)、試驗(yàn)件信息、試驗(yàn)設(shè)備及測(cè)試設(shè)備量值溯源信息、試驗(yàn)人員信息、計(jì)量數(shù)據(jù)等。（5）試驗(yàn)數(shù)據(jù)管理.管理試驗(yàn)過程中采集到的所有數(shù)據(jù)以及手工錄入的所有數(shù)據(jù)，包括原始測(cè)量試驗(yàn)數(shù)據(jù)、過程測(cè)量數(shù)據(jù)、試驗(yàn)結(jié)果數(shù)據(jù)、試驗(yàn)分析數(shù)據(jù)、異常數(shù)據(jù)、多媒體試驗(yàn)數(shù)據(jù)等。另外，試驗(yàn)任務(wù)書、試驗(yàn)大綱、試驗(yàn)報(bào)告等文檔也是系統(tǒng)的管理目標(biāo)。（6）數(shù)據(jù)模型管理。實(shí)現(xiàn)動(dòng)態(tài)建庫，允許用戶動(dòng)態(tài)建立及維護(hù)數(shù)據(jù)庫模型，并能夠靈活地定義數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，定義多級(jí)數(shù)據(jù)校驗(yàn)條件和規(guī)則，并進(jìn)行自動(dòng)數(shù)據(jù)校驗(yàn)。（7）數(shù)據(jù)處理分析。提供數(shù)據(jù)分析繪圖功能，能夠?qū)崿F(xiàn)各種常用的曲線圖、柱狀圖、餅圖、云圖、等高線圖等繪圖方法；提供原始數(shù)據(jù)回放、曲線裁剪、圖形縮放、數(shù)據(jù)截取、曲線求和等各種專業(yè)數(shù)據(jù)處理方法；提供算法集成功能，可以集成各種第三方算法和自己編制的算法；通過擴(kuò)展機(jī)制，可以不斷把所需的算法豐富到系統(tǒng)平臺(tái)中，滿足實(shí)際工作的需要。數(shù)據(jù)處理分析功能可以便捷定位數(shù)據(jù)并快速完成數(shù)據(jù)分析處理操作，提高工作效率。（8）數(shù)據(jù)挖掘和決策支持。提供數(shù)據(jù)挖掘功能，從大量的試驗(yàn)數(shù)據(jù)中抽取出潛在的有用信息、模式和趨勢(shì)，在歷史試驗(yàn)數(shù)據(jù)的經(jīng)驗(yàn)基礎(chǔ)上探索出新試驗(yàn)數(shù)據(jù)管理的前景。
TDM系統(tǒng)的應(yīng)用可以帶來試驗(yàn)管理的變革，保障試驗(yàn)數(shù)據(jù)的安全，實(shí)現(xiàn)多部門之間的數(shù)據(jù)共享和工作協(xié)同，提高試驗(yàn)數(shù)據(jù)管理水平和利用效率，保存和積累經(jīng)驗(yàn)知識(shí)，充分挖掘試驗(yàn)數(shù)據(jù)的價(jià)值，改進(jìn)和優(yōu)化產(chǎn)品設(shè)計(jì)，提高設(shè)計(jì)質(zhì)量。目前國(guó)際和國(guó)內(nèi)的TDM市場(chǎng)尚處于起步階段，部分行業(yè)的一些單位已經(jīng)開始嘗試建立TDM系統(tǒng)。盡管TDM市場(chǎng)的成熟尚需時(shí)日，但是TDM系統(tǒng)已經(jīng)被各種行業(yè)的試驗(yàn)和設(shè)計(jì)單位所關(guān)注，TDM市場(chǎng)已經(jīng)呈現(xiàn)出了蓬勃的朝氣。
參考文獻(xiàn)
關(guān)鍵詞：云計(jì)算 云數(shù)據(jù) 管理技術(shù)
中圖分類號(hào)：TP315 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2016）04-0000-00
云計(jì)算和云數(shù)據(jù)是提升信息傳遞和使用質(zhì)量的重要技術(shù)，因此，在經(jīng)濟(jì)發(fā)展對(duì)信息資源依賴度較高的背景下，對(duì)云計(jì)算和云數(shù)據(jù)的相關(guān)技術(shù)進(jìn)行研究，能夠很大程度上提升我國(guó)經(jīng)濟(jì)建設(shè)水平。
1云數(shù)據(jù)管理技術(shù)的特點(diǎn)
1.1云數(shù)據(jù)可以提升信息存儲(chǔ)的質(zhì)量
云數(shù)據(jù)在進(jìn)行管理的過程中，信息存儲(chǔ)的程序較為完善，因此，大量的信息數(shù)據(jù)會(huì)通過分布式管理的方式完成儲(chǔ)存，如果信息數(shù)據(jù)在利用的過程中需要進(jìn)行快速的提取，則可以使用存儲(chǔ)管理變革的方式對(duì)信息的管理方式進(jìn)行完善。要根據(jù)信息數(shù)據(jù)的保密性特點(diǎn)，對(duì)信息的具體存儲(chǔ)位置進(jìn)行設(shè)置，因此，操作人員可以很好的利用云數(shù)據(jù)管理完成對(duì)信息具體收集情況的判定[1]。相比于傳統(tǒng)的信息收集模式，云數(shù)據(jù)的信息收集能夠?qū)π畔?shí)施多重保護(hù)措施的添加，因此，云數(shù)據(jù)的包容性較強(qiáng)。另外，云數(shù)據(jù)還具備很強(qiáng)的信息容錯(cuò)功能，能夠在較短的時(shí)間內(nèi)，對(duì)大量錯(cuò)誤的信息數(shù)據(jù)實(shí)施區(qū)分，并將信息數(shù)據(jù)進(jìn)行錯(cuò)誤報(bào)告，以便信息能夠提升處理的可靠性。
1.2提升信息資源處理的效率
分布式處理是云數(shù)據(jù)處理的主要形式，因此，信息資源在處理的過程中，需要根據(jù)信息收集邏輯的狀態(tài)進(jìn)行質(zhì)量的判定，因此，信息數(shù)據(jù)的處理活動(dòng)需要通過數(shù)據(jù)收集的方式進(jìn)行。在信息數(shù)據(jù)的處理過程中，各項(xiàng)信息資源可以使用統(tǒng)一的方式進(jìn)行處置，因此，信息資源可以使用數(shù)據(jù)存儲(chǔ)的方式對(duì)眾多的信息資源進(jìn)行控制[2]。在信息提取的過程中，信息資源可以按照存儲(chǔ)狀態(tài)的特點(diǎn)對(duì)提取流程進(jìn)行規(guī)劃，因此，信息資源的處理是提升信息提取效率的重要因素。
2云計(jì)算和云數(shù)據(jù)的相關(guān)技術(shù)
2.1云計(jì)算和云數(shù)據(jù)的GFS技術(shù)
GFS技術(shù)目前在云計(jì)算和云數(shù)據(jù)領(lǐng)域的應(yīng)用較為廣泛，此一技術(shù)依賴谷歌云計(jì)算的相關(guān)技術(shù)，對(duì)已經(jīng)掌握的信息資源實(shí)施規(guī)范化管理，使相關(guān)信息可以實(shí)現(xiàn)管理技術(shù)的完善。在應(yīng)用技術(shù)的選擇過程中，資源文件可以作為云計(jì)算技術(shù)的應(yīng)用基礎(chǔ)，而相關(guān)信息資源的存儲(chǔ)可以使用存儲(chǔ)庫的方式進(jìn)行完善，因此，可以針對(duì)目前具備的信息系統(tǒng)的專有接口，對(duì)用戶信息進(jìn)行研究，使系統(tǒng)能夠保證用戶信息使用的準(zhǔn)確。當(dāng)云數(shù)據(jù)的使用一方對(duì)獲取數(shù)據(jù)的需求進(jìn)行輸出時(shí)，可以針對(duì)已經(jīng)具備的傳輸邏輯對(duì)管理團(tuán)隊(duì)的具體管理程序進(jìn)行研究，使管理人員能夠保證對(duì)信息庫具備較高水平的控制[3]。要有針對(duì)性的對(duì)已經(jīng)完成調(diào)查的數(shù)據(jù)庫進(jìn)行研究，以便不同種類的數(shù)據(jù)庫可以通過用戶的具體請(qǐng)求可以得到滿足。在對(duì)云數(shù)據(jù)實(shí)施管理的過程中，可以利用谷歌系統(tǒng)的相關(guān)程序進(jìn)行幫助，以便管理工作可以對(duì)大量的基礎(chǔ)性信息數(shù)據(jù)實(shí)施完整的存儲(chǔ)，如果信息系統(tǒng)可以更好的使用數(shù)據(jù)管理的模式進(jìn)行大量數(shù)據(jù)的集中處理，則需要使用GFS技術(shù)進(jìn)行管理程序的研究，使云數(shù)據(jù)的管理工作可以更好的實(shí)現(xiàn)應(yīng)用技術(shù)的突破。因此，要根據(jù)云計(jì)算的相關(guān)技術(shù)，對(duì)需要進(jìn)行使用的技術(shù)進(jìn)行應(yīng)用方案的規(guī)劃設(shè)計(jì)，使技術(shù)的應(yīng)用更加完整。
2.2云計(jì)算和云數(shù)據(jù)的big table技術(shù)
Big table技術(shù)同GFS技術(shù)具備一定的相似性，可以利用谷歌團(tuán)隊(duì)開發(fā)的其他技術(shù)，對(duì)數(shù)據(jù)管理的有關(guān)技術(shù)進(jìn)行研究，因此，數(shù)據(jù)管理技術(shù)需要按照谷歌團(tuán)隊(duì)的文件資源進(jìn)行管理系統(tǒng)的研發(fā)，如果能夠?qū)?shù)量眾多的信息實(shí)施集中處理，則可以利用表格制定的方式，對(duì)相關(guān)的谷歌文件進(jìn)行調(diào)取，使技術(shù)的應(yīng)用獲得更多信息資源的支持。要使用制定虛擬表格的方式，對(duì)大量的信息數(shù)據(jù)實(shí)施處理，以便信息數(shù)據(jù)可以更好的在相同的范圍內(nèi)進(jìn)行使用[4]。在云數(shù)據(jù)在調(diào)節(jié)過程中，可以通過數(shù)據(jù)查詢的方式對(duì)數(shù)據(jù)進(jìn)行處置，使信息數(shù)據(jù)的處置具備更高的合理性特點(diǎn)，要正確的選取文件處理方式，使具備相似性特點(diǎn)的云數(shù)據(jù)在處理的過程中能夠更加完備。要提升資源分配的合理性，通過云計(jì)算的方式對(duì)多種多樣的信息數(shù)據(jù)實(shí)施數(shù)據(jù)處理，提升云數(shù)據(jù)的處理效率。在進(jìn)行云數(shù)據(jù)管理的過程中，可以利用數(shù)據(jù)管理的方法對(duì)管理活動(dòng)的具體特點(diǎn)進(jìn)行明確，以便數(shù)據(jù)的管理能夠提升運(yùn)行質(zhì)量。
2.3云計(jì)算和云數(shù)據(jù)的dynamo技術(shù)
Dynamo技術(shù)是云數(shù)據(jù)管理領(lǐng)域使用較為頻繁的數(shù)據(jù)，可以按照云數(shù)據(jù)的分布式特點(diǎn)，對(duì)已經(jīng)存在的數(shù)據(jù)信息實(shí)施研究，使信息數(shù)據(jù)可以具備足夠的分布式特征。可以通過表格制定的方式，對(duì)數(shù)據(jù)庫實(shí)施存儲(chǔ)結(jié)構(gòu)的設(shè)計(jì)，使大量的信息數(shù)據(jù)能夠通過數(shù)據(jù)庫結(jié)構(gòu)的調(diào)節(jié)實(shí)現(xiàn)數(shù)據(jù)完整性的提高。要利用大量信息數(shù)據(jù)的完整性特點(diǎn)，對(duì)數(shù)據(jù)存儲(chǔ)的形式進(jìn)行明確，以便信息數(shù)據(jù)的使用可以通過存儲(chǔ)形式的改變完成對(duì)信息的控制。可以利用多種參數(shù)共用的方式進(jìn)行數(shù)據(jù)存儲(chǔ)方案的設(shè)定，使數(shù)據(jù)的存儲(chǔ)技術(shù)可以得到更高水平的提升。要提前對(duì)需要使用的信息副本進(jìn)行設(shè)計(jì)，以便信息資源可以在讀取的過程中具備更強(qiáng)的針對(duì)性。要在信息資源讀取完成之后，對(duì)已經(jīng)解除儲(chǔ)存的信息實(shí)施集中管理，以便信息能夠在完成收集之后實(shí)現(xiàn)存儲(chǔ)質(zhì)量的提高。要在全部的信息資源讀取完成之后，利用寫入技術(shù)對(duì)系統(tǒng)的運(yùn)行方案進(jìn)行研究，使系統(tǒng)可以在讀寫程序完成之后進(jìn)行云數(shù)據(jù)的整合，以便信息數(shù)據(jù)可以具備高度相似的特點(diǎn)。
3結(jié)語
云計(jì)算和云數(shù)據(jù)是信息處理的重要技術(shù)，深入的研究云計(jì)算和云數(shù)據(jù)的管理技術(shù)，能夠使很多領(lǐng)域的信息處理水平得到大幅度的提高，因此，很多領(lǐng)域都已經(jīng)加強(qiáng)了對(duì)數(shù)據(jù)管理工作的重視，并將云數(shù)據(jù)管理作為重要的科研內(nèi)容。
參考文獻(xiàn)
[1] 鄭曉霞.淺談云計(jì)算和云數(shù)據(jù)管理技術(shù)[J].電子制作，2014.
[2] 劉正偉，文中領(lǐng)，張海濤 等.云計(jì)算和云數(shù)據(jù)管理技術(shù)[J].計(jì)算機(jī)研究與發(fā)展，
2012.
[3] 劉德永.云計(jì)算和云數(shù)據(jù)管理技術(shù)[J].計(jì)算機(jī)光盤軟件與應(yīng)用，2013.
[4] 周傲英，金澈清，王國(guó)仁 等.不確定性數(shù)據(jù)管理技術(shù)研究綜述.計(jì)算機(jī)學(xué)報(bào)，2009.
【關(guān)鍵詞】自動(dòng)監(jiān)測(cè)；數(shù)據(jù)管理；浮標(biāo)
1需求分析
海洋水質(zhì)監(jiān)測(cè)浮標(biāo)數(shù)據(jù)管理系統(tǒng)功能需求包括對(duì)投放在海上的水質(zhì)監(jiān)測(cè)浮標(biāo)的綜合管理，制訂實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)質(zhì)量控制程序，數(shù)據(jù)有效性評(píng)估和監(jiān)測(cè)數(shù)據(jù)集的統(tǒng)計(jì)分析等。數(shù)據(jù)管理模塊是整個(gè)系統(tǒng)的關(guān)鍵所在，是其他功能模塊實(shí)現(xiàn)數(shù)據(jù)的存儲(chǔ)、交換等工作的基礎(chǔ)。而數(shù)據(jù)管理模塊的設(shè)計(jì)與實(shí)現(xiàn)必須嚴(yán)格按照海洋監(jiān)測(cè)相關(guān)規(guī)范、標(biāo)準(zhǔn)，最終構(gòu)建一個(gè)集成、穩(wěn)定、開放、可共享和可擴(kuò)展的海洋環(huán)境資料數(shù)據(jù)倉庫[1]。數(shù)據(jù)管理模塊從數(shù)據(jù)集中實(shí)時(shí)獲取海洋水質(zhì)監(jiān)測(cè)數(shù)據(jù)、集成數(shù)據(jù)安全控制、數(shù)據(jù)質(zhì)量控制、數(shù)據(jù)統(tǒng)計(jì)分析、數(shù)據(jù)建模等功能，分別形成相互關(guān)聯(lián)的數(shù)據(jù)集，在此基礎(chǔ)上構(gòu)建海洋環(huán)境資料數(shù)據(jù)倉庫，為模型分析和數(shù)據(jù)產(chǎn)品提供強(qiáng)大的數(shù)據(jù)支撐。性能需求主要通過功能需求實(shí)現(xiàn)來體現(xiàn)，要求系統(tǒng)運(yùn)行穩(wěn)定，容錯(cuò)性強(qiáng)，界面友好，能夠滿足海洋水質(zhì)數(shù)據(jù)監(jiān)測(cè)、傳輸、接收、管理、查詢、分析、預(yù)警、、存檔等各方面的要求。系統(tǒng)各性能指標(biāo)包括系統(tǒng)響應(yīng)速度，平均無故障運(yùn)行時(shí)間間隔等要求均需按照國(guó)家相關(guān)標(biāo)準(zhǔn)。
2設(shè)計(jì)與實(shí)現(xiàn)
海洋水質(zhì)監(jiān)測(cè)浮標(biāo)數(shù)據(jù)管理系統(tǒng)采用瀏覽器/服務(wù)器（Brower/Server，簡(jiǎn)稱B/S）和客戶機(jī)/服務(wù)器（Client/Server,簡(jiǎn)稱C/S）混合模式開發(fā)，基于C#、.NET開發(fā)環(huán)境，以MicrosoftSQLServer為數(shù)據(jù)庫管理系統(tǒng)。本系統(tǒng)遵循以數(shù)據(jù)為重點(diǎn)、以提高數(shù)據(jù)管理、分析為目標(biāo)的指導(dǎo)思想，對(duì)基礎(chǔ)數(shù)據(jù)進(jìn)行有秩序、科學(xué)的管理、展示和分析，講究系統(tǒng)的先進(jìn)性、實(shí)用性原則，標(biāo)準(zhǔn)化、規(guī)范化原則，高性能和穩(wěn)定性原則，開放性、可擴(kuò)展性原則，安全性、可靠性原則，經(jīng)濟(jì)和時(shí)效性等設(shè)計(jì)原則。海洋水質(zhì)監(jiān)測(cè)浮標(biāo)數(shù)據(jù)管理系統(tǒng)的體系構(gòu)架以“‘一體化’數(shù)據(jù)管理應(yīng)用開發(fā)與集成框架”為核心來設(shè)計(jì)，實(shí)現(xiàn)海洋水質(zhì)數(shù)據(jù)監(jiān)測(cè)、傳輸、接收、管理、查詢、分析、預(yù)警、、存檔全過程管理。利用地理信息系統(tǒng)技術(shù)對(duì)浮標(biāo)數(shù)據(jù)的統(tǒng)計(jì)和分析，以統(tǒng)一的方式對(duì)浮標(biāo)和基礎(chǔ)數(shù)據(jù)進(jìn)行管理，在此基礎(chǔ)上設(shè)計(jì)并實(shí)現(xiàn)海洋水質(zhì)監(jiān)測(cè)浮標(biāo)數(shù)據(jù)管理系統(tǒng)。該系統(tǒng)可以實(shí)現(xiàn)了對(duì)浮標(biāo)的多點(diǎn)、多傳感器、長(zhǎng)時(shí)間序列的關(guān)聯(lián)存儲(chǔ)、條件檢索和動(dòng)態(tài)展現(xiàn)，通過將浮標(biāo)總表與浮標(biāo)分表相結(jié)合，實(shí)現(xiàn)多層次、全方位的海洋水質(zhì)數(shù)據(jù)管理功能，系統(tǒng)功能圖[2]如圖1所示。海洋水質(zhì)監(jiān)測(cè)浮標(biāo)數(shù)據(jù)管理系統(tǒng)實(shí)現(xiàn)了登錄、個(gè)人首頁、地理信息、統(tǒng)計(jì)分析、數(shù)據(jù)表格、浮標(biāo)管理、GPS信息、模型管理、系統(tǒng)運(yùn)維九大模塊，集成了數(shù)據(jù)安全控制、數(shù)據(jù)質(zhì)量控制、數(shù)據(jù)統(tǒng)計(jì)分析、數(shù)據(jù)模型等功能，并為后續(xù)開發(fā)與完善提供了數(shù)據(jù)接口。
2.1數(shù)據(jù)安全控制
基于海洋水質(zhì)監(jiān)測(cè)浮標(biāo)的數(shù)據(jù)的重要性與保密性，數(shù)據(jù)安全控制尤為重要。（1）加密傳輸數(shù)據(jù)在浮標(biāo)端發(fā)出之前就需要對(duì)受保護(hù)的數(shù)據(jù)進(jìn)行加密[3]，即對(duì)客戶端需要讀取的數(shù)據(jù)在服務(wù)端先加密再發(fā)往客戶端，客戶端則對(duì)授權(quán)用戶采用相應(yīng)的解密措施，在客戶端軟件中實(shí)施解密。（2）存取控制實(shí)為授權(quán)機(jī)制，它規(guī)定某個(gè)范圍的數(shù)據(jù)，在何種條件下，準(zhǔn)許何種操作。對(duì)于數(shù)據(jù)庫表的存取控制，一種方法是定義用戶權(quán)限表，只有指定的用戶才能進(jìn)行相應(yīng)的操作，如對(duì)數(shù)據(jù)庫進(jìn)行擁有、只讀、只寫、讀寫、刪除等操作；另一種方法是對(duì)表定義訪問權(quán)限。對(duì)于文件系統(tǒng)的存取控制，一種方法是控制文件的存取，另一種方法是置于與文件樹關(guān)聯(lián)的各級(jí)目錄中。（3）口令保護(hù)即對(duì)已授權(quán)用戶分配特定的口令。系統(tǒng)登錄模塊中有用戶口令識(shí)別模塊，通過對(duì)分配給用戶的特定口令來識(shí)別并確認(rèn)用戶的訪問權(quán)限，口令識(shí)別認(rèn)證通過后用戶才允許進(jìn)入系統(tǒng)，且進(jìn)入系統(tǒng)后根據(jù)不同權(quán)限的用戶分配不同的操作權(quán)限。口令法的優(yōu)點(diǎn)在于軟件比較簡(jiǎn)單，缺點(diǎn)是口令本身保密性不強(qiáng)，而通過加密后再傳送口令這一方法能有效的解決這一保密性問題。（4）日志管理系統(tǒng)全面采取日志管理監(jiān)控機(jī)制。用戶對(duì)數(shù)據(jù)的創(chuàng)建、瀏覽、修改、刪除等都將被系統(tǒng)監(jiān)控并記錄，記錄的詳細(xì)信息包括時(shí)間、用戶、用戶IP地址、所進(jìn)行的操作等。對(duì)數(shù)據(jù)備份也會(huì)生成相應(yīng)的備份日志文件，以方便在數(shù)據(jù)恢復(fù)時(shí)準(zhǔn)確掌握備份數(shù)據(jù)情況。（5）數(shù)據(jù)備份數(shù)據(jù)是系統(tǒng)的基礎(chǔ)，任何情況下，保障數(shù)據(jù)的完整與安全都至關(guān)重要。完善的數(shù)據(jù)備份機(jī)制，是保障數(shù)據(jù)完整與安全的重要手段之一。考慮到管理業(yè)務(wù)的特點(diǎn)，本系統(tǒng)采用完全備份和增量備份組合的機(jī)制。每周一個(gè)備份循環(huán)，周日進(jìn)行完全備份，其它工作日采用增量備份。另一方面，為防止一些不可抗拒的外來因素對(duì)數(shù)據(jù)備份存儲(chǔ)介質(zhì)帶來永久性損壞而造成數(shù)據(jù)的損失，必須周期性的將數(shù)據(jù)備份文件復(fù)制到異地存儲(chǔ)設(shè)備，以最大限度地保障數(shù)據(jù)安全。
2.2數(shù)據(jù)質(zhì)量控制
海洋水質(zhì)監(jiān)測(cè)浮標(biāo)的每一條數(shù)據(jù)入數(shù)據(jù)庫之前，會(huì)通過數(shù)據(jù)校驗(yàn)?zāi)Ｐ汀?shù)據(jù)校正、異常值檢測(cè)等一系列的質(zhì)量控制程序，將數(shù)據(jù)結(jié)構(gòu)不完整、數(shù)據(jù)異常、儀器故障等情況在數(shù)據(jù)狀態(tài)一欄標(biāo)注出來，以供進(jìn)一步審核判斷，保障數(shù)據(jù)準(zhǔn)確可靠。（1）解析模型解析模型是接收模型的核心內(nèi)容，接收模型主要為接收服務(wù)提供數(shù)據(jù)接收算法依據(jù)，包括接收字段的長(zhǎng)度、接收頻率、接收地址、有效性、接收次數(shù)及接收對(duì)應(yīng)浮標(biāo)等。接收模型可針對(duì)單個(gè)浮標(biāo)多種協(xié)議單獨(dú)設(shè)立接收規(guī)則。解析模型主要輔助數(shù)據(jù)接收模型中解析服務(wù)對(duì)接收的數(shù)據(jù)進(jìn)行解析，能驗(yàn)證通訊包結(jié)構(gòu)，驗(yàn)證數(shù)據(jù)解析配置，驗(yàn)證周期配置，修正公式校正等，并根據(jù)結(jié)果存入數(shù)據(jù)倉庫的對(duì)應(yīng)表中。解析模型可針對(duì)單個(gè)浮標(biāo)多種傳感器數(shù)據(jù)單獨(dú)設(shè)立解析規(guī)則，如時(shí)間周期、編碼對(duì)應(yīng)等。解析模型的流程圖[2]如圖2所示。（2）異常值檢測(cè)由于海洋環(huán)境明顯的動(dòng)態(tài)效應(yīng)[4]，海洋水質(zhì)監(jiān)測(cè)浮標(biāo)所得到的數(shù)據(jù)存在著一定的異常率。核心問題是如何在數(shù)據(jù)入庫的過程中實(shí)現(xiàn)異常值的自動(dòng)檢測(cè)，并正確地標(biāo)記出異常值的位置，這就是所謂的異常值定位問題。本系統(tǒng)中異常值檢測(cè)包括閾值檢測(cè)和異常數(shù)據(jù)判斷。閾值檢測(cè)根據(jù)系統(tǒng)內(nèi)已設(shè)置的監(jiān)測(cè)參數(shù)數(shù)值上下限初步判斷異常值。異常數(shù)據(jù)判斷依據(jù)已制定的異常數(shù)據(jù)判斷算法執(zhí)行。譬如pH的異常數(shù)據(jù)判斷，若某個(gè)pH數(shù)據(jù)與時(shí)間序列前10個(gè)數(shù)據(jù)和后面10個(gè)數(shù)據(jù)相比分別有8個(gè)以上的差值大于0.5，即標(biāo)記為異常值。經(jīng)過異常值檢測(cè)后進(jìn)入數(shù)據(jù)庫的數(shù)據(jù)都已做標(biāo)記，同時(shí)系統(tǒng)還具備了人工審核功能。對(duì)于標(biāo)記出異常的數(shù)據(jù)在人工審核階段可以對(duì)其進(jìn)行再次的判定，若確認(rèn)是異常值，在之后的一系列數(shù)據(jù)應(yīng)用中此異常數(shù)據(jù)將被排除。
2.3數(shù)據(jù)統(tǒng)計(jì)分析
數(shù)據(jù)表格主要將各浮標(biāo)數(shù)據(jù)及傳感器的實(shí)時(shí)信息進(jìn)行展現(xiàn)、導(dǎo)出、部署等，具體包含數(shù)據(jù)列表、數(shù)據(jù)報(bào)表、數(shù)據(jù)導(dǎo)出、數(shù)據(jù)補(bǔ)數(shù)、傳感器狀態(tài)和數(shù)據(jù)量統(tǒng)計(jì)功能。數(shù)據(jù)列表將各浮標(biāo)及傳感器的實(shí)時(shí)信息進(jìn)行展現(xiàn)如圖3所示。數(shù)據(jù)導(dǎo)出對(duì)數(shù)據(jù)列表中個(gè)數(shù)據(jù)執(zhí)行導(dǎo)出動(dòng)作，可按條件、范圍導(dǎo)出。數(shù)據(jù)補(bǔ)數(shù)實(shí)現(xiàn)對(duì)漏發(fā)或異常數(shù)據(jù)的補(bǔ)發(fā)功能，補(bǔ)數(shù)功能支持時(shí)間段選擇。補(bǔ)數(shù)功能主要由浮標(biāo)管理員發(fā)起，通過系統(tǒng)將可視化命令轉(zhuǎn)化為浮標(biāo)指令下達(dá)至浮標(biāo)。傳感器狀態(tài)模塊記錄傳感器周期性狀態(tài)，并實(shí)時(shí)展現(xiàn)。同時(shí)給出各狀態(tài)的統(tǒng)計(jì)圖、標(biāo)準(zhǔn)值并預(yù)警。數(shù)據(jù)量統(tǒng)計(jì)對(duì)數(shù)據(jù)倉庫中的浮標(biāo)數(shù)據(jù)量進(jìn)行總體統(tǒng)計(jì)，包括對(duì)傳感器的各項(xiàng)具體指標(biāo)。數(shù)據(jù)統(tǒng)計(jì)分析是以實(shí)時(shí)數(shù)據(jù)接收、解析和處理后的海洋水質(zhì)監(jiān)測(cè)要素?cái)?shù)據(jù)為基礎(chǔ)，為用戶提供數(shù)據(jù)查詢、分析、顯示、轉(zhuǎn)換、導(dǎo)出等功能，實(shí)現(xiàn)信息數(shù)據(jù)從采集、傳輸?shù)綌?shù)據(jù)共享、利用和分析的過程。其中曲線圖模塊對(duì)浮標(biāo)各傳感器的監(jiān)測(cè)參數(shù)有效值進(jìn)行曲線圖展現(xiàn)，如圖4所示。數(shù)據(jù)統(tǒng)計(jì)模塊對(duì)多個(gè)浮標(biāo)的各監(jiān)測(cè)參數(shù)有效值分別進(jìn)行統(tǒng)計(jì)并展示，便于用戶直觀的查看并做出正確的判斷。對(duì)報(bào)表統(tǒng)計(jì)結(jié)果可以進(jìn)行導(dǎo)出。
2.4數(shù)據(jù)模型
數(shù)據(jù)模型是使用數(shù)據(jù)管理模塊提供的海洋水質(zhì)監(jiān)測(cè)數(shù)據(jù)資料進(jìn)行建模分析并對(duì)其發(fā)生狀況進(jìn)行評(píng)價(jià)及預(yù)警。該模塊是利用先進(jìn)的數(shù)據(jù)挖掘算法，如模糊聚類分析、支持向量機(jī)等，建立海洋水質(zhì)評(píng)價(jià)模型、海洋水質(zhì)要素預(yù)警模型等，分析海洋災(zāi)害發(fā)生時(shí)的特征、發(fā)生的原因并預(yù)測(cè)出海洋災(zāi)害即將發(fā)生的時(shí)間，實(shí)現(xiàn)海洋災(zāi)害特征要素的自動(dòng)預(yù)警預(yù)報(bào)，為海洋相關(guān)部門提供可靠的、科學(xué)的依據(jù)。數(shù)據(jù)模型從建模開始就是在不斷的更新過程中的，通過不斷的驗(yàn)證以及反饋?zhàn)詣?dòng)修正，確保數(shù)據(jù)模型的精確性和可用性。數(shù)據(jù)模型中提供了多種基礎(chǔ)類的評(píng)價(jià)預(yù)警模型，也提供了相應(yīng)的接口供用戶修正數(shù)據(jù)模型。
2.5數(shù)據(jù)接口
對(duì)系統(tǒng)中已有的數(shù)據(jù)接口進(jìn)行了顯示和說明，可進(jìn)行是否打開操作。數(shù)據(jù)接口除了在實(shí)施系統(tǒng)時(shí)現(xiàn)場(chǎng)開發(fā)的新接口外，系統(tǒng)還提供部分常用接口和說明供其他系統(tǒng)和用戶調(diào)用。數(shù)據(jù)接口一般有數(shù)據(jù)底層交互接口，XML等通用文件交互接口，WebService網(wǎng)絡(luò)交互接口和類庫調(diào)用交互接口等多種方式，具體根據(jù)系統(tǒng)間可提供的交互度為基礎(chǔ)選擇最優(yōu)方式進(jìn)行數(shù)據(jù)對(duì)接。
3結(jié)束語
海洋水質(zhì)監(jiān)測(cè)浮標(biāo)數(shù)據(jù)管理系統(tǒng)是海洋環(huán)境監(jiān)測(cè)的核心信息系統(tǒng)之一，在系統(tǒng)設(shè)計(jì)實(shí)現(xiàn)過程中，綜合考慮了系統(tǒng)架構(gòu)、技術(shù)方案、軟硬件設(shè)施、運(yùn)維服務(wù)能力等方面，確保系統(tǒng)的高性能和低故障率。系統(tǒng)實(shí)現(xiàn)了登錄、個(gè)人首頁、地理信息、統(tǒng)計(jì)分析、數(shù)據(jù)表格、浮標(biāo)管理、GPS信息、模型管理、系統(tǒng)運(yùn)維九大模塊，集成了數(shù)據(jù)安全控制、數(shù)據(jù)質(zhì)量控制、數(shù)據(jù)統(tǒng)計(jì)分析、數(shù)據(jù)模型等功能，并為后續(xù)開發(fā)與完善提供了數(shù)據(jù)接口。基于國(guó)家對(duì)海洋水質(zhì)監(jiān)測(cè)高度的重視，監(jiān)測(cè)浮標(biāo)不斷的規(guī)模化發(fā)展，數(shù)據(jù)管理系統(tǒng)也逐步發(fā)展成為能實(shí)時(shí)地、連續(xù)地、長(zhǎng)期地、準(zhǔn)確地提供監(jiān)測(cè)區(qū)域內(nèi)水質(zhì)監(jiān)測(cè)數(shù)據(jù)的海上在線監(jiān)測(cè)網(wǎng)，實(shí)現(xiàn)了海洋水質(zhì)監(jiān)測(cè)由瞬時(shí)監(jiān)測(cè)向連續(xù)監(jiān)測(cè)，由定期監(jiān)測(cè)到實(shí)時(shí)監(jiān)測(cè)的跨越。在此基礎(chǔ)上，今后將著力于構(gòu)建海洋水質(zhì)實(shí)時(shí)監(jiān)測(cè)與動(dòng)態(tài)評(píng)價(jià)體系，實(shí)現(xiàn)海洋水質(zhì)評(píng)價(jià)由定性評(píng)價(jià)到定量評(píng)價(jià)，由單一學(xué)科評(píng)價(jià)到生態(tài)系統(tǒng)評(píng)價(jià)，由現(xiàn)狀評(píng)價(jià)到趨勢(shì)評(píng)價(jià)與預(yù)測(cè)的轉(zhuǎn)變，開發(fā)建立符合監(jiān)測(cè)海域環(huán)保、海洋開發(fā)利用、減災(zāi)、防災(zāi)需要的實(shí)測(cè)、預(yù)報(bào)及預(yù)警等評(píng)價(jià)信息產(chǎn)品，為海洋相關(guān)部門提供詳實(shí)可靠的數(shù)據(jù)信息、科學(xué)的預(yù)報(bào)、預(yù)警信息，為海洋環(huán)境綜合管理、海洋環(huán)境保護(hù)、海洋資源合理開發(fā)提供服務(wù)。
參考文獻(xiàn)
[1]李俊.海洋環(huán)境在線監(jiān)測(cè)及赤潮災(zāi)害預(yù)報(bào)系統(tǒng)研究[D].山東大學(xué),2007:9-12.
[2]王瑞金.統(tǒng)一建模語言UML及其建模實(shí)例[J].計(jì)算機(jī)應(yīng)用研究,2002,(8).
[3]何志強(qiáng).近岸海域浮標(biāo)實(shí)時(shí)監(jiān)測(cè)系統(tǒng)設(shè)計(jì)概要[J].聲學(xué)與電子工程,2014,(3):47-49.
科學(xué)數(shù)據(jù)管理辦法第一章 總則
第一條 為進(jìn)一步加強(qiáng)和規(guī)范科學(xué)數(shù)據(jù)管理，保障科學(xué)數(shù)據(jù)安全，提高開放共享水平，更好支撐國(guó)家科技創(chuàng)新、經(jīng)濟(jì)社會(huì)發(fā)展和國(guó)家安全，根據(jù)《中華人民共和國(guó)科學(xué)技術(shù)進(jìn)步法》、《中華人民共和國(guó)促進(jìn)科技成果轉(zhuǎn)化法》和《政務(wù)信息資源共享管理暫行辦法》等規(guī)定，制定本辦法。
第二條 本辦法所稱科學(xué)數(shù)據(jù)主要包括在自然科學(xué)、工程技術(shù)科學(xué)等領(lǐng)域，通過基礎(chǔ)研究、應(yīng)用研究、試驗(yàn)開發(fā)等產(chǎn)生的數(shù)據(jù)，以及通過觀測(cè)監(jiān)測(cè)、考察調(diào)查、檢驗(yàn)檢測(cè)等方式取得并用于科學(xué)研究活動(dòng)的原始數(shù)據(jù)及其衍生數(shù)據(jù)。
第三條 政府預(yù)算資金支持開展的科學(xué)數(shù)據(jù)采集生產(chǎn)、加工整理、開放共享和管理使用等活動(dòng)適用本辦法。
任何單位和個(gè)人在中華人民共和國(guó)境內(nèi)從事科學(xué)數(shù)據(jù)相關(guān)活動(dòng)，符合本辦法規(guī)定情形的，按照本辦法執(zhí)行。
第四條 科學(xué)數(shù)據(jù)管理遵循分級(jí)管理、安全可控、充分利用的原則，明確責(zé)任主體，加強(qiáng)能力建設(shè)，促進(jìn)開放共享。
第五條 任何單位和個(gè)人從事科學(xué)數(shù)據(jù)采集生產(chǎn)、使用、管理活動(dòng)應(yīng)當(dāng)遵守國(guó)家有關(guān)法律法規(guī)及部門規(guī)章，不得利用科學(xué)數(shù)據(jù)從事危害國(guó)家安全、社會(huì)公共利益和他人合法權(quán)益的活動(dòng)。
第二章 職責(zé)
第六條 科學(xué)數(shù)據(jù)管理工作實(shí)行國(guó)家統(tǒng)籌、各部門與各地區(qū)分工負(fù)責(zé)的體制。
第七條 國(guó)務(wù)院科學(xué)技術(shù)行政部門牽頭負(fù)責(zé)全國(guó)科學(xué)數(shù)據(jù)的宏觀管理與綜合協(xié)調(diào)，主要職責(zé)是：
(一)組織研究制定國(guó)家科學(xué)數(shù)據(jù)管理政策和標(biāo)準(zhǔn)規(guī)范;
(二)協(xié)調(diào)推動(dòng)科學(xué)數(shù)據(jù)規(guī)范管理、開放共享及評(píng)價(jià)考核工作;
(三)統(tǒng)籌推進(jìn)國(guó)家科學(xué)數(shù)據(jù)中心建設(shè)和發(fā)展;
(四)負(fù)責(zé)國(guó)家科學(xué)數(shù)據(jù)網(wǎng)絡(luò)管理平臺(tái)建設(shè)和數(shù)據(jù)維護(hù)。
第八條 國(guó)務(wù)院相關(guān)部門、省級(jí)人民政府相關(guān)部門(以下統(tǒng)稱主管部門)在科學(xué)數(shù)據(jù)管理方面的主要職責(zé)是：
(一)負(fù)責(zé)建立健全本部門(本地區(qū))科學(xué)數(shù)據(jù)管理政策和規(guī)章制度，宣傳貫徹落實(shí)國(guó)家科學(xué)數(shù)據(jù)管理政策;
(二)指導(dǎo)所屬法人單位加強(qiáng)和規(guī)范科學(xué)數(shù)據(jù)管理;
(三)按照國(guó)家有關(guān)規(guī)定做好或者授權(quán)有關(guān)單位做好科學(xué)數(shù)據(jù)定密工作;
(四)統(tǒng)籌規(guī)劃和建設(shè)本部門(本地區(qū))科學(xué)數(shù)據(jù)中心，推動(dòng)科學(xué)數(shù)據(jù)開放共享;
(五)建立完善有效的激勵(lì)機(jī)制，組織開展本部門(本地區(qū))所屬法人單位科學(xué)數(shù)據(jù)工作的評(píng)價(jià)考核。
第九條 有關(guān)科研院所、高等院校和企業(yè)等法人單位(以下統(tǒng)稱法人單位)是科學(xué)數(shù)據(jù)管理的責(zé)任主體，主要職責(zé)是：
(一)貫徹落實(shí)國(guó)家和部門(地方)科學(xué)數(shù)據(jù)管理政策，建立健全本單位科學(xué)數(shù)據(jù)相關(guān)管理制度;
(二)按照有關(guān)標(biāo)準(zhǔn)規(guī)范進(jìn)行科學(xué)數(shù)據(jù)采集生產(chǎn)、加工整理和長(zhǎng)期保存，確保數(shù)據(jù)質(zhì)量;
(三)按照有關(guān)規(guī)定做好科學(xué)數(shù)據(jù)保密和安全管理工作;
(四)建立科學(xué)數(shù)據(jù)管理系統(tǒng)，公布科學(xué)數(shù)據(jù)開放目錄并及時(shí)更新，積極開展科學(xué)數(shù)據(jù)共享服務(wù);
(五)負(fù)責(zé)科學(xué)數(shù)據(jù)管理運(yùn)行所需軟硬件設(shè)施等條件、資金和人員保障。
第十條 科學(xué)數(shù)據(jù)中心是促進(jìn)科學(xué)數(shù)據(jù)開放共享的重要載體，由主管部門委托有條件的法人單位建立，主要職責(zé)是：
(一)承擔(dān)相關(guān)領(lǐng)域科學(xué)數(shù)據(jù)的整合匯交工作;
(二)負(fù)責(zé)科學(xué)數(shù)據(jù)的分級(jí)分類、加工整理和分析挖掘;
(三)保障科學(xué)數(shù)據(jù)安全，依法依規(guī)推動(dòng)科學(xué)數(shù)據(jù)開放共享;
(四)加強(qiáng)國(guó)內(nèi)外科學(xué)數(shù)據(jù)方面交流與合作。
第三章 采集、匯交與保存
第十一條 法人單位及科學(xué)數(shù)據(jù)生產(chǎn)者要按照相關(guān)標(biāo)準(zhǔn)規(guī)范組織開展科學(xué)數(shù)據(jù)采集生產(chǎn)和加工整理，形成便于使用的數(shù)據(jù)庫或數(shù)據(jù)集。
法人單位應(yīng)建立科學(xué)數(shù)據(jù)質(zhì)量控制體系，保證數(shù)據(jù)的準(zhǔn)確性和可用性。
第十二條 主管部門應(yīng)建立科學(xué)數(shù)據(jù)匯交制度，在國(guó)家統(tǒng)一政務(wù)網(wǎng)絡(luò)和數(shù)據(jù)共享交換平臺(tái)的基礎(chǔ)上開展本部門(本地區(qū))的科學(xué)數(shù)據(jù)匯交工作。
第十三條 政府預(yù)算資金資助的各級(jí)科技計(jì)劃(專項(xiàng)、基金等)項(xiàng)目所形成的科學(xué)數(shù)據(jù)，應(yīng)由項(xiàng)目牽頭單位匯交到相關(guān)科學(xué)數(shù)據(jù)中心。接收數(shù)據(jù)的科學(xué)數(shù)據(jù)中心應(yīng)出具匯交憑證。
各級(jí)科技計(jì)劃(專項(xiàng)、基金等)管理部門應(yīng)建立先匯交科學(xué)數(shù)據(jù)、再驗(yàn)收科技計(jì)劃(專項(xiàng)、基金等)項(xiàng)目的機(jī)制;項(xiàng)目/課題驗(yàn)收后產(chǎn)生的科學(xué)數(shù)據(jù)也應(yīng)進(jìn)行匯交。
第十四條 主管部門和法人單位應(yīng)建立健全國(guó)內(nèi)外學(xué)術(shù)論文數(shù)據(jù)匯交的管理制度。
利用政府預(yù)算資金資助形成的科學(xué)數(shù)據(jù)撰寫并在國(guó)外學(xué)術(shù)期刊時(shí)需對(duì)外提交相應(yīng)科學(xué)數(shù)據(jù)的，論文作者應(yīng)在前將科學(xué)數(shù)據(jù)上交至所在單位統(tǒng)一管理。
第十五條 社會(huì)資金資助形成的涉及國(guó)家秘密、國(guó)家安全和社會(huì)公共利益的科學(xué)數(shù)據(jù)必須按照有關(guān)規(guī)定予以匯交。
鼓勵(lì)社會(huì)資金資助形成的其他科學(xué)數(shù)據(jù)向相關(guān)科學(xué)數(shù)據(jù)中心匯交。
第十六條 法人單位應(yīng)建立科學(xué)數(shù)據(jù)保存制度，配備數(shù)據(jù)存儲(chǔ)、管理、服務(wù)和安全等必要設(shè)施，保障科學(xué)數(shù)據(jù)完整性和安全性。
第十七條 法人單位應(yīng)加強(qiáng)科學(xué)數(shù)據(jù)人才隊(duì)伍建設(shè)，在崗位設(shè)置、績(jī)效收入、職稱評(píng)定等方面建立激勵(lì)機(jī)制。
第十八條 國(guó)務(wù)院科學(xué)技術(shù)行政部門應(yīng)加強(qiáng)統(tǒng)籌布局，在條件好、資源優(yōu)勢(shì)明顯的科學(xué)數(shù)據(jù)中心基礎(chǔ)上，優(yōu)化整合形成國(guó)家科學(xué)數(shù)據(jù)中心。
第四章 共享與利用
第十九條 政府預(yù)算資金資助形成的科學(xué)數(shù)據(jù)應(yīng)當(dāng)按照開放為常態(tài)、不開放為例外的原則，由主管部門組織編制科學(xué)數(shù)據(jù)資源目錄，有關(guān)目錄和數(shù)據(jù)應(yīng)及時(shí)接入國(guó)家數(shù)據(jù)共享交換平臺(tái)，面向社會(huì)和相關(guān)部門開放共享，暢通科學(xué)數(shù)據(jù)軍民共享渠道。國(guó)家法律法規(guī)有特殊規(guī)定的除外。
第二十條 法人單位要對(duì)科學(xué)數(shù)據(jù)進(jìn)行分級(jí)分類，明確科學(xué)數(shù)據(jù)的密級(jí)和保密期限、開放條件、開放對(duì)象和審核程序等，按要求公布科學(xué)數(shù)據(jù)開放目錄，通過在線下載、離線共享或定制服務(wù)等方式向社會(huì)開放共享。
第二十一條 法人單位應(yīng)根據(jù)需求，對(duì)科學(xué)數(shù)據(jù)進(jìn)行分析挖掘，形成有價(jià)值的科學(xué)數(shù)據(jù)產(chǎn)品，開展增值服務(wù)。鼓勵(lì)社會(huì)組織和企業(yè)開展市場(chǎng)化增值服務(wù)。
第二十二條 主管部門和法人單位應(yīng)積極推動(dòng)科學(xué)數(shù)據(jù)出版和傳播工作，支持科研人員整理發(fā)表產(chǎn)權(quán)清晰、準(zhǔn)確完整、共享價(jià)值高的科學(xué)數(shù)據(jù)。
第二十三條 科學(xué)數(shù)據(jù)使用者應(yīng)遵守知識(shí)產(chǎn)權(quán)相關(guān)規(guī)定，在、專利申請(qǐng)、專著出版等工作中注明所使用和參考引用的科學(xué)數(shù)據(jù)。
第二十四條 對(duì)于政府決策、公共安全、國(guó)防建設(shè)、環(huán)境保護(hù)、防災(zāi)減災(zāi)、公益性科學(xué)研究等需要使用科學(xué)數(shù)據(jù)的，法人單位應(yīng)當(dāng)無償提供;確需收費(fèi)的，應(yīng)按照規(guī)定程序和非營(yíng)利原則制定合理的收費(fèi)標(biāo)準(zhǔn)，向社會(huì)公布并接受監(jiān)督。
對(duì)于因經(jīng)營(yíng)性活動(dòng)需要使用科學(xué)數(shù)據(jù)的，當(dāng)事人雙方應(yīng)當(dāng)簽訂有償服務(wù)合同，明確雙方的權(quán)利和義務(wù)。
國(guó)家法律法規(guī)有特殊規(guī)定的，遵從其規(guī)定。
第五章 保密與安全
第二十五條 涉及國(guó)家秘密、國(guó)家安全、社會(huì)公共利益、商業(yè)秘密和個(gè)人隱私的科學(xué)數(shù)據(jù)，不得對(duì)外開放共享;確需對(duì)外開放的，要對(duì)利用目的、用戶資質(zhì)、保密條件等進(jìn)行審查，并嚴(yán)格控制知悉范圍。
第二十六條 涉及國(guó)家秘密的科學(xué)數(shù)據(jù)的采集生產(chǎn)、加工整理、管理和使用，按照國(guó)家有關(guān)保密規(guī)定執(zhí)行。主管部門和法人單位應(yīng)建立健全涉及國(guó)家秘密的科學(xué)數(shù)據(jù)管理與使用制度，對(duì)制作、審核、登記、拷貝、傳輸、銷毀等環(huán)節(jié)進(jìn)行嚴(yán)格管理。
對(duì)外交往與合作中需要提供涉及國(guó)家秘密的科學(xué)數(shù)據(jù)的，法人單位應(yīng)明確提出利用數(shù)據(jù)的類別、范圍及用途，按照保密管理規(guī)定程序報(bào)主管部門批準(zhǔn)。經(jīng)主管部門批準(zhǔn)后，法人單位按規(guī)定辦理相關(guān)手續(xù)并與用戶簽訂保密協(xié)議。
第二十七條 主管部門和法人單位應(yīng)加強(qiáng)科學(xué)數(shù)據(jù)全生命周期安全管理，制定科學(xué)數(shù)據(jù)安全保護(hù)措施;加強(qiáng)數(shù)據(jù)下載的認(rèn)證、授權(quán)等防護(hù)管理，防止數(shù)據(jù)被惡意使用。
對(duì)于需對(duì)外公布的科學(xué)數(shù)據(jù)開放目錄或需對(duì)外提供的科學(xué)數(shù)據(jù)，主管部門和法人單位應(yīng)建立相應(yīng)的安全保密審查制度。
第二十八條 法人單位和科學(xué)數(shù)據(jù)中心應(yīng)按照國(guó)家網(wǎng)絡(luò)安全管理規(guī)定，建立網(wǎng)絡(luò)安全保障體系，采用安全可靠的產(chǎn)品和服務(wù)，完善數(shù)據(jù)管控、屬性管理、身份識(shí)別、行為追溯、黑名單等管理措施，健全防篡改、防泄露、防攻擊、防病毒等安全防護(hù)體系。
第二十九條 科學(xué)數(shù)據(jù)中心應(yīng)建立應(yīng)急管理和容災(zāi)備份機(jī)制，按照要求建立應(yīng)急管理系統(tǒng)，對(duì)重要的科學(xué)數(shù)據(jù)進(jìn)行異地備份。
第六章 附則
第三十條 主管部門和法人單位應(yīng)建立完善科學(xué)數(shù)據(jù)管理和開放共享工作評(píng)價(jià)考核制度。
第三十一條 對(duì)于偽造數(shù)據(jù)、侵犯知識(shí)產(chǎn)權(quán)、不按規(guī)定匯交數(shù)據(jù)等行為，主管部門可視情節(jié)輕重對(duì)相關(guān)單位和責(zé)任人給予責(zé)令整改、通報(bào)批評(píng)、處分等處理或依法給予行政處罰。
對(duì)違反國(guó)家有關(guān)法律法規(guī)的單位和個(gè)人，依法追究相應(yīng)責(zé)任。
數(shù)據(jù)激增帶來的挑戰(zhàn)
近年來，各種事務(wù)和交互所產(chǎn)生的數(shù)據(jù)呈現(xiàn)出大幅增長(zhǎng)的態(tài)勢(shì)，服務(wù)器、網(wǎng)絡(luò)、機(jī)器、傳感器、攝像頭以及其他無數(shù)設(shè)備正在連續(xù)不斷地捕獲和生成數(shù)據(jù)，這是推升存儲(chǔ)開支的主要因素。據(jù)IDC預(yù)測(cè)，2012至2017年期間，亞太地區(qū)（不含日本）在大數(shù)據(jù)存儲(chǔ)上的開支將以42%的復(fù)合年增長(zhǎng)率快速提升。這一增長(zhǎng)的主要?jiǎng)恿碜詽M足法規(guī)遵從以及不可預(yù)見的要求和未來分析的需要。
一般來說，企業(yè)的數(shù)據(jù)會(huì)分布在多個(gè)地點(diǎn)，除了本地外，還可能存儲(chǔ)在不同的數(shù)據(jù)孤島和第三方數(shù)據(jù)中心以及高度虛擬化的環(huán)境中，從而增加了數(shù)據(jù)管理的復(fù)雜性。因此，IDC建議企業(yè)，首先要制訂一項(xiàng)有效的數(shù)據(jù)管理戰(zhàn)略，并優(yōu)化存儲(chǔ)層，確保數(shù)據(jù)安全。企業(yè)應(yīng)當(dāng)考慮使用一個(gè)靈活、可擴(kuò)展的數(shù)據(jù)管理解決方案，用以自動(dòng)保護(hù)、恢復(fù)和歸檔數(shù)據(jù)，并對(duì)內(nèi)外部IT資產(chǎn)實(shí)施基于策略的管理。
此次由CommVault委托IDC所做的報(bào)告是基于對(duì)500多名來自中國(guó)、韓國(guó)、澳大利亞、泰國(guó)、馬來西亞、新西蘭和新加坡等亞太國(guó)家的IT高管的調(diào)研，受訪者涉及金融服務(wù)、電信、零售與批發(fā)、能源與公用事業(yè)等行業(yè)。值得注意的是，在500多名受訪者中有100位來自中國(guó)，正如CommVault亞太區(qū)資深市場(chǎng)總監(jiān)Daniel CF Ng所說，這一調(diào)查與中國(guó)市場(chǎng)息息相關(guān)。通過調(diào)查，IDC發(fā)現(xiàn)，中國(guó)的IT管理者們?cè)趯?duì)數(shù)據(jù)和商業(yè)分析重要性的認(rèn)識(shí)以及所采取的行動(dòng)上已落后于亞太區(qū)同行；同時(shí)，中國(guó)企業(yè)在保護(hù)數(shù)據(jù)、災(zāi)備恢復(fù)的具體行動(dòng)上也明顯滯后于亞太區(qū)。因此，IDC提出了數(shù)據(jù)中心的十大高效戰(zhàn)略，包括虛擬化、現(xiàn)場(chǎng)合理化及整合、運(yùn)營(yíng)最佳實(shí)踐、自動(dòng)化工具和軟件、數(shù)據(jù)中心重新設(shè)計(jì)、應(yīng)用合理化、模塊化數(shù)據(jù)中心建設(shè)、全生命周期管理和規(guī)劃、基于Rack的電源和冷卻系統(tǒng)改造、架構(gòu)和技術(shù)革新。
推進(jìn)智能數(shù)據(jù)管理
IDC調(diào)研發(fā)現(xiàn)，數(shù)據(jù)管理目前依然是企業(yè)面臨的一大困擾，尤其是在大數(shù)據(jù)和云計(jì)算的背景下。大數(shù)據(jù)加劇了因數(shù)據(jù)量增加而導(dǎo)致的備份窗口不斷縮小、備份周期越來越長(zhǎng)的挑戰(zhàn)，同時(shí)提出了有關(guān)數(shù)據(jù)的價(jià)值以及所有數(shù)據(jù)是否應(yīng)被平等對(duì)待（即確定應(yīng)該保留/放棄哪些數(shù)據(jù)、在何處存儲(chǔ)數(shù)據(jù)）的問題。與此同時(shí)，隨著亞太地區(qū)的企業(yè)將數(shù)據(jù)遷移至云端，因此，將更多地使用虛擬化和云端存儲(chǔ)解決方案。IDC認(rèn)為，這些解決方案應(yīng)具有以下特征：端到端保護(hù)，數(shù)據(jù)應(yīng)該得到保護(hù)，而且備份/恢復(fù)服務(wù)應(yīng)同時(shí)支持虛擬化和云端的數(shù)據(jù)以及物理服務(wù)器上的數(shù)據(jù)；訪問，應(yīng)確保對(duì)重要數(shù)據(jù)資產(chǎn)的訪問，無論它們的位置、規(guī)模和類型，數(shù)據(jù)訪問應(yīng)能服務(wù)于不斷增多的用戶，并滿足日益提升的移動(dòng)性要求；性能，應(yīng)用性能和備份時(shí)間可能受到影響；對(duì)數(shù)據(jù)資產(chǎn)的控制，數(shù)據(jù)存放位置是企業(yè)最關(guān)注的一個(gè)問題，對(duì)活躍度較高和較低的數(shù)據(jù)提供保護(hù)至關(guān)重要。
CIO對(duì)數(shù)據(jù)管理的重要性非常清楚，在IDC的調(diào)查中，對(duì)于“數(shù)據(jù)備份與恢復(fù)解決方案最重要的特性是什么”問題，“能夠管理和保護(hù)任何類型的數(shù)據(jù)”（41%）以及“一個(gè)允許用戶通過一體化平臺(tái)保護(hù)、管理和訪問所有數(shù)據(jù)的端到端解決方案”（38%）成為被選擇最多的項(xiàng)。CommVault中國(guó)區(qū)技術(shù)總監(jiān)蔡報(bào)永對(duì)此表示，采用統(tǒng)一平臺(tái)是CIO們普遍的需求，“大家希望打破原來傳統(tǒng)的分離獨(dú)立式的管理模式，采用單一的平臺(tái)，并對(duì)所有的數(shù)據(jù)類型用單一的平臺(tái)來管理，這樣企業(yè)才能很好地預(yù)測(cè)未來數(shù)據(jù)管理的發(fā)展趨勢(shì)，以及可以方便訪問到想要訪問的數(shù)據(jù)。”
那么采用統(tǒng)一平臺(tái)的優(yōu)勢(shì)是什么？CIO們的答案依次是能夠提升存儲(chǔ)與網(wǎng)絡(luò)優(yōu)化水平，并節(jié)省成本；能夠更好地防止數(shù)據(jù)丟失和泄漏；能夠提高災(zāi)難恢復(fù)的效率和可靠性。對(duì)此，蔡報(bào)永介紹了一個(gè)中國(guó)用戶的案例。一汽大眾的信息系統(tǒng)中數(shù)據(jù)類型非常復(fù)雜，有結(jié)構(gòu)化、非結(jié)構(gòu)化、文件類型甚至設(shè)計(jì)文件等各種各樣數(shù)據(jù)，傳統(tǒng)的辦法是采用不同的解決方案解決不同的數(shù)據(jù)和問題，使系統(tǒng)非常復(fù)雜。后來，他們采用了CommVault的Simpana平臺(tái)后，整個(gè)數(shù)據(jù)管理效率大大提高，并使成本下降。“這不難理解，原來需要投資多套軟件硬件，而現(xiàn)在只需要一套，并且對(duì)于數(shù)據(jù)的維護(hù)管理是全自動(dòng)化的，不需要額外的人工參與。”蔡報(bào)永說。
調(diào)研結(jié)果（中國(guó)）
?26%的企業(yè)管理著50TB以上的數(shù)據(jù)；39%的企業(yè)預(yù)測(cè)，其數(shù)據(jù)將在2014年增長(zhǎng)20%～50%。
?數(shù)據(jù)分布在不同的地點(diǎn)，58%的數(shù)據(jù)存儲(chǔ)在本地?cái)?shù)據(jù)庫（比亞太區(qū)平均值高26%），28%的數(shù)據(jù)存儲(chǔ)在本地?cái)?shù)據(jù)中心，11%的數(shù)據(jù)存儲(chǔ)在本地的多個(gè)站點(diǎn)（比亞太地區(qū)的平均值低）。
?中國(guó)企業(yè)存儲(chǔ)在PC和其他終端設(shè)備中的數(shù)據(jù)比亞太區(qū)任何國(guó)家的企業(yè)都要多。
調(diào)研結(jié)果（亞太區(qū)）
?72%的受訪者將數(shù)據(jù)的指數(shù)增長(zhǎng)和復(fù)雜性視為最大的數(shù)據(jù)管理挑戰(zhàn)。
?70%的高管表示，如果數(shù)據(jù)丟失，他們的財(cái)務(wù)或運(yùn)營(yíng)業(yè)務(wù)將受損最大。
