十年前，預言家提出信息超載的概念。如今，數(shù)據(jù)正超出預料地呈指數(shù)型增長。在今天的廣電大數(shù)據(jù)系統(tǒng)建設領域，采集所有用戶的屬性、收視、工單、訂購、賬單、支付、設備運行等數(shù)據(jù)可以說是一個浩瀚的工程。
廣電數(shù)據(jù)由數(shù)據(jù)源經(jīng)過統(tǒng)一的數(shù)據(jù)抽取和轉換平臺進行抽取、格式轉換、脫敏等操作，由于匯聚了多個源的數(shù)據(jù)，通常數(shù)據(jù)量非常大。
面對龐大的數(shù)據(jù)體量，以及數(shù)據(jù)挖掘與分析的個性化需求，一套完整的數(shù)據(jù)治理機制以及具有良好可擴展性的大數(shù)據(jù)平臺成為廣電大數(shù)據(jù)系統(tǒng)建設、構建以數(shù)據(jù)為關鍵要素的智慧廣電新模式的核心。
曙光廣電大數(shù)據(jù)應用
最近，曙光中標廣州珠江數(shù)碼集團廣電大數(shù)據(jù)運用項目并且實施。依托多年的大數(shù)據(jù)項目經(jīng)驗，在智慧廣電應用上，助力珠江數(shù)碼實現(xiàn)全方位數(shù)據(jù)挖掘與分析需求。
珠江數(shù)碼為華南地區(qū)最大規(guī)模的廣播電視網(wǎng)絡運營商之一，用戶規(guī)模約400萬戶。面對移動互聯(lián)網(wǎng)對傳統(tǒng)業(yè)務帶來的挑戰(zhàn)和機遇，珠江數(shù)碼先后完成了4K智能電視業(yè)務平臺、綜合云平臺和廣電大數(shù)據(jù)系統(tǒng)的建設。
在此次項目中，曙光以一站式大數(shù)據(jù)平臺、全程可追溯的數(shù)據(jù)采控模式、靈活的大屏展示、以及與業(yè)務貼合的智能算法，實現(xiàn)珠江數(shù)碼廣電數(shù)據(jù)面向業(yè)務應用的全方位分析和挖掘。
廣州珠江數(shù)碼集團股份有限公司在給曙光的感謝信中特別提到：“曙光研發(fā)的XData大數(shù)據(jù)智能引擎發(fā)揮其在數(shù)據(jù)采集、治理、融合、分析、可視化等方面的能力，實現(xiàn)公司數(shù)據(jù)整個生命周期的全程可追溯，實現(xiàn)收視數(shù)據(jù)指標的大屏展示，全面提升數(shù)據(jù)質量，提升數(shù)據(jù)的可用性，提供科學決策依據(jù)，得到了領導高度認可與贊揚?！?
曙光XData大數(shù)據(jù)智能引擎，目前已入選國家《大數(shù)據(jù)優(yōu)秀產品和應用解決方案案例集（2019）》。已實現(xiàn)對數(shù)據(jù)源進行統(tǒng)一存儲和檢索，為前端應用系統(tǒng)提供豐富的ETL類服務，并支持跨系統(tǒng)數(shù)據(jù)的分析應用。另一方面，除了支持支持傳統(tǒng)關系庫、文件、FTP等數(shù)據(jù)源的可視接入，還可實現(xiàn)數(shù)據(jù)采集插件的可拓展。
本次建設智慧廣電，曙光大數(shù)據(jù)服務工程團隊還有兩個方案技術架構值得一提。
第一個是數(shù)據(jù)共享平臺
曙光XData大數(shù)據(jù)智能引擎是基于微服務架構的多線程、集群化的數(shù)據(jù)存儲、數(shù)據(jù)計算的平臺工具。
為了實現(xiàn)多種存儲系統(tǒng)的統(tǒng)一管理，曙光融合分布式文件系統(tǒng)HDFS、數(shù)據(jù)倉庫Hive、分布式數(shù)據(jù)庫Hbase、并行數(shù)據(jù)庫MppDB等，打造了統(tǒng)一接入、統(tǒng)一管理、統(tǒng)一權限的融合存儲層；針對不同的計算內容和計算方式，提供內存計算、流式計算、離線計算、圖計算等常規(guī)大數(shù)據(jù)計算方式，支持基于Hadoop生態(tài)的主流組件，包括MapReduce/Storm/Spark/Spark Streaming/SparkSQL，搜索支持Solr和ElasticSearch、數(shù)據(jù)可視化平臺等，并且可以在此基礎上進行擴展升級。
第二個是數(shù)據(jù)智能應用
數(shù)據(jù)智能應用包括收視行為分析、精準營銷推薦、數(shù)據(jù)可視化展示等。
收視行為分析和互聯(lián)網(wǎng)行業(yè)用戶畫像的結合，依據(jù)當前用戶的收視習慣和用戶評論、用戶屬性、廣告點擊等信息，完成基于排行榜與用戶瀏覽歷史的節(jié)目、廣告推薦。
精準營銷主要是建立用戶檔案，為業(yè)務部門提供精準化營銷、用戶挽留、產品推介等市場服務。開發(fā)針對每個用戶的數(shù)據(jù)化視圖，建立用戶的各項數(shù)據(jù)檔案，將其標簽化、積分化。
數(shù)據(jù)可視化展示主要包括大屏交互展示、數(shù)據(jù)采集過程追蹤、報表展示及數(shù)據(jù)目錄。準確的定位數(shù)據(jù)問題，使數(shù)據(jù)發(fā)揮更大的價值。
依托多年大數(shù)據(jù)項目經(jīng)驗
以關鍵技術打通創(chuàng)新節(jié)點
曙光大數(shù)據(jù)工程服務團隊依靠多年的大數(shù)據(jù)項目經(jīng)驗積累、雄厚的技術實力，在數(shù)據(jù)采集、綜合治理、智能分析、可視化服務等領域已經(jīng)積累了一整套成體系的項目流程規(guī)范和技術服務體系。
依托強勁算力，結合與業(yè)務貼合的智能算法，依托多年大數(shù)據(jù)項目經(jīng)驗，曙光在實現(xiàn)廣電數(shù)據(jù)面向業(yè)務應用的全方位分析和挖掘的道路上繼續(xù)探索，通過軟硬一體化發(fā)展路徑，用關鍵技術打通創(chuàng)新節(jié)點，為企業(yè)決策提供依據(jù)，加速企業(yè)戰(zhàn)略轉型，促進數(shù)字經(jīng)濟的飛速發(fā)展。
