大數(shù)據(jù)時代到來，帶來海量數(shù)據(jù)的爆發(fā)式增長，同時催生了多種數(shù)據(jù)類型結(jié)構(gòu)，對傳統(tǒng)大數(shù)據(jù)技術(shù)提出了挑戰(zhàn)。在我國，行業(yè)客戶是大數(shù)據(jù)應(yīng)用的主體，區(qū)別于互聯(lián)網(wǎng)應(yīng)用，行業(yè)大數(shù)據(jù)的關(guān)聯(lián)性強(qiáng)，大數(shù)據(jù)應(yīng)用復(fù)雜，跨度更大，跨部門，甚至跨行業(yè)需求更多，并且行業(yè)用戶需求處理準(zhǔn)確性，相應(yīng)及時性也遠(yuǎn)高于互聯(lián)網(wǎng)技術(shù)，互聯(lián)網(wǎng)模糊數(shù)據(jù)難以滿足精確數(shù)據(jù)的要求，用戶迫切需要企業(yè)能夠提供適應(yīng)行業(yè)大數(shù)據(jù)應(yīng)用特點的全新的處理技術(shù)，提供軟硬件一體化整合性產(chǎn)品和服務(wù)。
11月27日，浪潮集團(tuán)大數(shù)據(jù)戰(zhàn)略發(fā)布暨云海大數(shù)據(jù)一體機(jī)產(chǎn)品發(fā)布會在京召開。在當(dāng)天的發(fā)布會上，浪潮集團(tuán)系統(tǒng)軟件總監(jiān)、云計算產(chǎn)品研發(fā)部總經(jīng)理張東全面解讀浪潮基于推動中國行業(yè)大數(shù)據(jù)應(yīng)用的大數(shù)據(jù)整體戰(zhàn)略，并面向產(chǎn)業(yè)界細(xì)致解讀了浪潮自主研發(fā)的采用全新技術(shù)架構(gòu)的大數(shù)據(jù)處理平臺產(chǎn)品——云海大數(shù)據(jù)一體機(jī)。張東指出：針對當(dāng)前數(shù)據(jù)處理特點，必須依靠定制化、專業(yè)化的設(shè)備，幫助行業(yè)用戶邁過應(yīng)用門檻。
全分布式新型體系結(jié)構(gòu)
云海大數(shù)據(jù)一體機(jī)采用全分布式大數(shù)據(jù)處理架構(gòu)，將硬件、軟件整合在一個體系中，采用不同的數(shù)據(jù)處理的架構(gòu)來提供對不同行業(yè)應(yīng)用的支撐。通過新型的數(shù)據(jù)處理架構(gòu)，實現(xiàn)了計算隨數(shù)據(jù)分布的數(shù)據(jù)本地化，保證了業(yè)務(wù)的連續(xù)性，即使三到四千個計算單元重載節(jié)點情況下，還能夠?qū)崿F(xiàn)相對比較好的擴(kuò)展性。
在硬件方面，針對視頻數(shù)據(jù)挖掘、在線交易這樣的應(yīng)用，由于這類應(yīng)用對于計算量要求高，因此采用CPU多、內(nèi)存多的重載節(jié)點，并增加專用的加速芯片，針對對計算、存儲和IO均衡的應(yīng)用，采用通用數(shù)據(jù)單元，第三類則是針對對數(shù)據(jù)處理快速響應(yīng)的應(yīng)用場景，提供輕量計算單元，而存儲則采用整體一體解決方案，充分發(fā)揮新型存儲節(jié)制的作用，比如閃存盤的技術(shù)，將閃存盤放在整個計算緩存里面做高速緩存，針對不同應(yīng)用類型，實現(xiàn)全局的算法，降低冗余率，同時采用基于浪潮設(shè)計的全新大數(shù)據(jù)高速互聯(lián)芯片以及高速互聯(lián)TOP網(wǎng)絡(luò)構(gòu)成全新的網(wǎng)絡(luò)互聯(lián)，使整個平臺的計算節(jié)點、存儲節(jié)點大大提高運行效率。
在算法方面，云海大數(shù)據(jù)一體機(jī)采針對分布式計算的算法進(jìn)行整體優(yōu)化。眾所周知，分布式計算是一個普遍應(yīng)用的技術(shù)，在互聯(lián)網(wǎng)行業(yè)里面，它可能對于任務(wù)這種一致性，對任務(wù)要求快慢并不是很高，比如搜索發(fā)出去一萬個結(jié)果，可能回來是九千個，丟掉一千是無所謂的，但是行業(yè)應(yīng)用是不一樣的，所有的結(jié)果都需要全部返回來，因此優(yōu)化系統(tǒng)任務(wù)調(diào)度策略極為關(guān)鍵，要對任務(wù)實現(xiàn)針對監(jiān)控，并動態(tài)調(diào)整任務(wù)執(zhí)行資源，減少慢任務(wù)數(shù)量，提高整體性能。
