根據(ju)(ju)(ju)集團(tuan)(tuan)信息化規劃(hua)，遵循“互聯網+”的理念，建設集團(tuan)(tuan)大數(shu)據(ju)(ju)(ju)平臺，實現(xian)集團(tuan)(tuan)數(shu)據(ju)(ju)(ju)資源(yuan)的集中及(ji)(ji)整合，構建集團(tuan)(tuan)統(tong)一的數(shu)據(ju)(ju)(ju)模(mo)型，提(ti)高企業數(shu)據(ju)(ju)(ju)的處理效率與共享程度。實現(xian)對(dui)集團(tuan)(tuan)企業內部數(shu)據(ju)(ju)(ju)和外部數(shu)據(ju)(ju)(ju)的分析挖(wa)掘(jue)，對(dui)內對(dui)外提(ti)供數(shu)據(ju)(ju)(ju)服務(wu)(wu)。為(wei)全網提(ti)供決策支持、產品創新、交叉營銷、服務(wu)(wu)支撐、風險管控(kong)以及(ji)(ji)流程優化等支撐服務(wu)(wu)。
集(ji)團(tuan)大(da)數(shu)(shu)據(ju)(ju)平(ping)臺(tai)將(jiang)在Hadoop和云(yun)計算等(deng)技(ji)術(shu)的(de)(de)基礎上(shang)，對(dui)金融(rong)大(da)數(shu)(shu)據(ju)(ju)平(ping)臺(tai)、量收系(xi)統(tong)(tong)、生產系(xi)統(tong)(tong)、CRM系(xi)統(tong)(tong)、電(dian)商平(ping)臺(tai)、數(shu)(shu)據(ju)(ju)分析(xi)綜合服務平(ping)臺(tai)的(de)(de)歷(li)史(shi)數(shu)(shu)據(ju)(ju)、數(shu)(shu)據(ju)(ju)模型、報(bao)表應用等(deng)進(jin)(jin)(jin)行(xing)移植，全(quan)面(mian)(mian)整合集(ji)團(tuan)業(ye)務數(shu)(shu)據(ju)(ju)。數(shu)(shu)據(ju)(ju)來源涵蓋集(ji)團(tuan)所有(you)的(de)(de)生產和管理(li)系(xi)統(tong)(tong)，并可接入同業(ye)及相關市(shi)場甚至互聯(lian)網信息，建立從業(ye)務層(ceng)到管理(li)層(ceng)到決策層(ceng)的(de)(de)智(zhi)能分析(xi)體系(xi)，模擬量化風險和收益(yi)，實現對(dui)集(ji)團(tuan)各種業(ye)務數(shu)(shu)據(ju)(ju)進(jin)(jin)(jin)行(xing)分類、管理(li)、統(tong)(tong)計和分析(xi)等(deng)功能，給各級管理(li)人(ren)員(yuan)提(ti)(ti)供(gong)各類準確的(de)(de)統(tong)(tong)計分析(xi)預測數(shu)(shu)據(ju)(ju)，使(shi)其能夠(gou)及時掌握全(quan)面(mian)(mian)的(de)(de)經營狀(zhuang)況，為宏觀決策提(ti)(ti)供(gong)支持；為基層(ceng)業(ye)務人(ren)員(yuan)提(ti)(ti)供(gong)詳盡的(de)(de)數(shu)(shu)據(ju)(ju)，供(gong)其對(dui)各自(zi)的(de)(de)工作目標、當前和歷(li)史(shi)狀(zhuang)況進(jin)(jin)(jin)行(xing)準確的(de)(de)把(ba)握，對(dui)業(ye)務活動進(jin)(jin)(jin)行(xing)有(you)效支撐；滿(man)足(zu)集(ji)團(tuan)經營管理(li)及決策支持，建設國內(nei)一(yi)流(liu)，世界領(ling)先的(de)(de)大(da)數(shu)(shu)據(ju)(ju)平(ping)臺(tai)。
本方案提(ti)供統(tong)一的(de)運維監控服(fu)務。本方案涉及到的(de)所(suo)有軟(ruan)件的(de)部署都通(tong)過Docker打包成(cheng)鏡像文件，以便非(fei)常快捷的(de)部署實(shi)施。內部系(xi)統(tong)通(tong)過鏡像數(shu)據(ju)接口(kou)交互層進(jin)行(xing)交互。通(tong)過外部接口(kou)層納入(ru)集團運維平臺進(jin)行(xing)統(tong)一監控
一站式大數據平臺提供集群自動化部署服務。用戶只需(xu)(xu)要安裝管理平臺軟件(jian)，就(jiu)可以(yi)在友好的圖(tu)形化界面上安裝、部署、配置(zhi)所需(xu)(xu)要的服務。整(zheng)個安裝過(guo)程不需(xu)(xu)要用戶使用任何終(zhong)端(duan)命令或者代碼(ma)。
平臺提供了強大(da)的(de)(de)(de)(de)在線擴(kuo)容(rong)功能，不需要宕機(ji)停庫，不需要停止業務，就可以(yi)(yi)添加(jia)(jia)新(xin)的(de)(de)(de)(de)節點，實現擴(kuo)容(rong)。節點添加(jia)(jia)完成(cheng)之后可以(yi)(yi)立(li)即對新(xin)添加(jia)(jia)的(de)(de)(de)(de)節點進行角色(se)的(de)(de)(de)(de)分配(pei)(pei)，一旦(dan)配(pei)(pei)置成(cheng)功，則新(xin)加(jia)(jia)的(de)(de)(de)(de)節點就會馬上投入運算。擴(kuo)容(rong)之后的(de)(de)(de)(de)數(shu)據節點也不需要停機(ji)進行數(shu)據重分布，系統自動選(xuan)擇空閑(xian)的(de)(de)(de)(de)時間進行數(shu)據的(de)(de)(de)(de)重新(xin)分布。同時，擴(kuo)容(rong)的(de)(de)(de)(de)操作(zuo)可以(yi)(yi)方便的(de)(de)(de)(de)在界(jie)面進行操作(zuo)。
平臺(tai)通(tong)(tong)過專門的(de)監控(kong)服(fu)務(wu)對(dui)(dui)集群(qun)的(de)狀態進行監控(kong)，包括服(fu)務(wu)器(qi)CPU、內存、網(wang)絡和磁盤的(de)利(li)用(yong)(yong)率和健康狀態，以及(ji)分(fen)布式應用(yong)(yong)系(xi)統的(de)狀態，并在故障發生或者某項(xiang)指標超過預設閥(fa)值時時提(ti)供(gong)告警功(gong)能。管(guan)理(li)(li)員可(ke)通(tong)(tong)過瀏覽器(qi)訪問集群(qun)的(de)監控(kong)和管(guan)理(li)(li)界面進行日常的(de)監控(kong)和維(wei)護，系(xi)統提(ti)供(gong)圖(tu)標信(xin)息展示。管(guan)理(li)(li)員可(ke)以便(bian)捷了解到集群(qun)的(de)計算資源是否處于空閑狀態、哪些服(fu)務(wu)器(qi)的(de)負載過高(gao)，甚(shen)至(zhi)判斷集群(qun)的(de)組(zu)網(wang)及(ji)機架安排是否合理(li)(li)等(deng)。管(guan)理(li)(li)員也可(ke)通(tong)(tong)過對(dui)(dui)各個(ge)節點的(de)各個(ge)角色的(de)日志信(xin)息進行檢索，獲得更加精確的(de)信(xin)息。
平(ping)臺提供計算任務管理和(he)作(zuo)業管理，包括作(zuo)業的上(shang)傳(chuan)、配置、啟動(dong)、停止、刪除和(he)狀態查看等功能。
在平臺中，資(zi)源可(ke)以從多個方面(mian)進行(xing)管理。從資(zi)源管理模塊的(de)層面(mian)，用戶通過配置不同的(de)Scheduler來定(ding)義不一樣的(de)資(zi)源使(shi)用策略，目前支持FIFO Scheduler、Fair Scheduler以及Capacity Scheduler，實現作業(ye)(ye)動態(tai)調整(zheng)，支持對任(ren)務系統資(zi)源占用進行(xing)實時調配，改變(bian)作業(ye)(ye)調度優(you)先級等(deng)操作。
通(tong)過集群監(jian)(jian)控(kong)系統(tong)向(xiang)集團(tuan)運維監(jian)(jian)控(kong)平(ping)臺(tai)發(fa)送監(jian)(jian)控(kong)消息，提供對接接口，實現(xian)(xian)大數據平(ping)臺(tai)與集團(tuan)運維監(jian)(jian)控(kong)平(ping)臺(tai)的互通(tong)，實現(xian)(xian)統(tong)一(yi)監(jian)(jian)控(kong)。
平臺通(tong)過專門的(de)(de)(de)(de)監(jian)(jian)(jian)控服務(wu)對集(ji)群(qun)的(de)(de)(de)(de)狀(zhuang)(zhuang)(zhuang)態進行監(jian)(jian)(jian)控，包括服務(wu)器CPU、內存、網絡和磁盤(pan)的(de)(de)(de)(de)利(li)用率和健康狀(zhuang)(zhuang)(zhuang)態，以及分布式應用系統(tong)的(de)(de)(de)(de)狀(zhuang)(zhuang)(zhuang)態，并在(zai)故障發生或者某項指標超過預(yu)設閥(fa)值時提(ti)供(gong)告警功能。管理(li)員(yuan)(yuan)(yuan)可(ke)(ke)(ke)通(tong)過瀏覽器訪問(wen)集(ji)群(qun)的(de)(de)(de)(de)監(jian)(jian)(jian)控和管理(li)界面進行日常的(de)(de)(de)(de)監(jian)(jian)(jian)控和維護，系統(tong)提(ti)供(gong)圖表(biao)信(xin)(xin)息(xi)展(zhan)示。管理(li)員(yuan)(yuan)(yuan)可(ke)(ke)(ke)以便捷的(de)(de)(de)(de)了解(jie)到集(ji)群(qun)的(de)(de)(de)(de)計算資源是否(fou)處于空閑狀(zhuang)(zhuang)(zhuang)態、哪些服務(wu)器的(de)(de)(de)(de)負(fu)載過高，甚(shen)至(zhi)判斷(duan)集(ji)群(qun)的(de)(de)(de)(de)組網及機架安排是否(fou)合理(li)等(deng)。管理(li)員(yuan)(yuan)(yuan)也可(ke)(ke)(ke)通(tong)過對各個(ge)節(jie)點的(de)(de)(de)(de)各個(ge)角色的(de)(de)(de)(de)日志(zhi)信(xin)(xin)息(xi)進行檢索，獲得更加精確的(de)(de)(de)(de)信(xin)(xin)息(xi)。
平(ping)臺(tai)提供(gong)功(gong)能完(wan)整，性(xing)能優(you)異(yi)的ETL框架(jia)支(zhi)持(chi)平(ping)臺(tai)建設，針對數據的預處理(li)，中間(jian)的轉換清洗，包(bao)括寫入目標時針對異(yi)常數據的捕獲。整個(ge)過程由平(ping)臺(tai)提供(gong)的調度平(ping)臺(tai)，元(yuan)數據管理(li)平(ping)臺(tai)提供(gong)支(zhi)撐，讓各(ge)部(bu)分之(zhi)間(jian)緊(jin)密合作，又各(ge)司(si)其(qi)職。
針(zhen)對(dui)此項目復雜的(de)業(ye)務(wu)系統和管理(li)(li)，平臺提(ti)供完善的(de)調(diao)度功能，以更(geng)好的(de)對(dui)各個模塊進行良好調(diao)度管理(li)(li)。
調度平臺是平臺的(de)數據流(liu)核(he)心，調度平臺讓相關的(de)業務(wu)系(xi)統、處理系(xi)統按(an)(an)照一定的(de)業務(wu)邏輯(ji)，在(zai)客戶的(de)安排下(xia)，像(xiang)流(liu)水線一樣，或串行，或并行，按(an)(an)照一定的(de)依(yi)賴關系(xi)，在(zai)每日，每周定時觸發，依(yi)次執行。平臺提供完善的(de)接口和管(guan)理模(mo)塊，讓眾多的(de)作業管(guan)理簡易高效。
本方案(an)提供(gong)(gong)的大數(shu)(shu)(shu)(shu)據(ju)平臺支持多種環境，以(yi)便(bian)(bian)(bian)于后續進(jin)(jin)(jin)行(xing)多種數(shu)(shu)(shu)(shu)據(ju)分(fen)析(xi)與(yu)挖掘，并提供(gong)(gong)多個(ge)接(jie)口(kou)對(dui)數(shu)(shu)(shu)(shu)據(ju)進(jin)(jin)(jin)行(xing)導出(chu)，以(yi)便(bian)(bian)(bian)于客戶在體外進(jin)(jin)(jin)行(xing)數(shu)(shu)(shu)(shu)據(ju)分(fen)析(xi)；也提供(gong)(gong)數(shu)(shu)(shu)(shu)據(ju)沙盤給(gei)特定的數(shu)(shu)(shu)(shu)據(ju)分(fen)析(xi)師進(jin)(jin)(jin)行(xing)數(shu)(shu)(shu)(shu)據(ju)分(fen)析(xi)，數(shu)(shu)(shu)(shu)據(ju)沙盤也提供(gong)(gong)多個(ge)數(shu)(shu)(shu)(shu)據(ju)以(yi)及(ji)產品接(jie)口(kou)，以(yi)便(bian)(bian)(bian)于進(jin)(jin)(jin)行(xing)數(shu)(shu)(shu)(shu)據(ju)探索。
本方案的(de)(de)(de)(de)平(ping)臺采(cai)用(yong)(yong)Hadoop平(ping)臺，它本身是(shi)一個并(bing)發(fa)存儲(chu)、并(bing)發(fa)計算(suan)的(de)(de)(de)(de)高效平(ping)臺，選用(yong)(yong)了(le)(le) Discover的(de)(de)(de)(de)挖(wa)掘模塊，它是(shi)在(zai)對(dui)開源的(de)(de)(de)(de)R全面支持的(de)(de)(de)(de)基(ji)(ji)礎上(shang)，結合SparkR進(jin)(jin)行(xing)了(le)(le)代碼(ma)的(de)(de)(de)(de)重大(da)(da)(da)改(gai)造(zao)。并(bing)對(dui)常用(yong)(yong)的(de)(de)(de)(de)R算(suan)法進(jin)(jin)行(xing)了(le)(le)并(bing)行(xing)化(hua)改(gai)造(zao)，這些改(gai)造(zao)正是(shi)基(ji)(ji)于(yu)(yu)大(da)(da)(da)數(shu)(shu)(shu)據(ju)中(zhong)關鍵的(de)(de)(de)(de)體量巨大(da)(da)(da)這個維度進(jin)(jin)行(xing)的(de)(de)(de)(de)優化(hua)。之(zhi)前的(de)(de)(de)(de)數(shu)(shu)(shu)據(ju)挖(wa)掘由于(yu)(yu)在(zai)單機上(shang)進(jin)(jin)行(xing)，而由于(yu)(yu)數(shu)(shu)(shu)據(ju)挖(wa)掘需(xu)要對(dui)數(shu)(shu)(shu)據(ju)進(jin)(jin)行(xing)大(da)(da)(da)量的(de)(de)(de)(de)衍生和關聯運算(suan)，會讓待分析的(de)(de)(de)(de)數(shu)(shu)(shu)據(ju)集(ji)積(ji)聚擴大(da)(da)(da)，因而很(hen)多(duo)數(shu)(shu)(shu)據(ju)挖(wa)掘針對(dui)海量數(shu)(shu)(shu)據(ju)只(zhi)(zhi)能采(cai)用(yong)(yong)抽(chou)樣(yang)的(de)(de)(de)(de)策略進(jin)(jin)行(xing)模型(xing)訓練(lian)，讓挖(wa)掘效果受(shou)到很(hen)大(da)(da)(da)影響。在(zai)并(bing)發(fa)R算(suan)法的(de)(de)(de)(de)支撐(cheng)下，只(zhi)(zhi)要節點數(shu)(shu)(shu)足夠，原則上(shang)可以處理(li)任意體量的(de)(de)(de)(de)數(shu)(shu)(shu)據(ju)。
平(ping)臺支(zhi)持(chi)(chi)R、ANSI SQL、Python、Java、C/C++等(deng)語(yu)言，采用B/S架構，提供圖(tu)(tu)形化界(jie)面(mian)操(cao)作支(zhi)持(chi)(chi)，操(cao)作界(jie)面(mian)支(zhi)持(chi)(chi)簡體中(zhong)文。支(zhi)持(chi)(chi)多數據來源(yuan)輸(shu)入輸(shu)出提供表格(ge)、圖(tu)(tu)形、地圖(tu)(tu)等(deng)可視化元素展示功能(neng)(neng)，將提供以下相關功能(neng)(neng)和特性：
標準企業報(bao)表，固定報(bao)表等(deng)。
參數(shu)驅動報表(biao)，各種基于參數(shu)的報表(biao)。
周期性報表，例如周報，月報，季報等，系(xi)(xi)統支持管理員定義(yi)周期性運行，亦支持業務(wu)用(yong)戶自定義(yi)重(zhong)復運行方式，用(yong)戶或管理員可(ke)以定義(yi)輸(shu)出格(ge)式，包括PDF，Excel，Word，PPT等各(ge)種格(ge)式；系(xi)(xi)統同(tong)時(shi)提(ti)供基于(yu)事件的觸發方式。
支持鉆(zhan)取功能，提供基于事(shi)件的(de)腳本控制(zhi)能力，以滿足(zu)各種復雜報(bao)表需求。
復(fu)雜(za)中國式(shi)報(bao)表，包括中國式(shi)表頭、復(fu)雜(za)布局、特(te)殊功(gong)能(neng)等各種能(neng)力。
提供豐富的圖(tu)形展現(xian)功(gong)能，支持(chi)包括餅圖(tu)、條(tiao)形、線形、儀表盤、趨勢圖(tu)及(ji)各種圖(tu)形；支持(chi)Flash圖(tu)形。
支(zhi)持報(bao)表(biao)導(dao)(dao)出(chu)到Excel、Word、PPT、HTML和PDF等格(ge)式，導(dao)(dao)出(chu)時可以選擇導(dao)(dao)出(chu)整(zheng)個報(bao)表(biao)還是部分內容；系統(tong)支(zhi)持導(dao)(dao)出(chu)數據快照，以便日后審計等。
支持(chi)將報表(biao)導出成原(yuan)生(sheng)Excel，報表(biao)中的圖(tu)形(xing)（非Flash)能(neng)導出為原(yuan)生(sheng)Excel圖(tu)形(xing)，能(neng)夠在導出后的Excel中進一(yi)步編輯(ji)，支持(chi)導出Excel公式，透視表(biao)等(deng)。
提供數(shu)據導(dao)出功能(neng)，用戶能(neng)將所查(cha)看的報表(biao)中數(shu)據進行有(you)選擇(ze)的導(dao)出。
提(ti)供報表版(ban)本(ben)管理能(neng)力，為不(bu)同的執行結(jie)果保留不(bu)同的版(ban)本(ben)。
提供(gong)基于角色和用戶(hu)的權限(xian)控制(zhi)，管理員可以為不同的角色和用戶(hu)設置相應的功(gong)能(neng)選項及權限(xian)。
多語(yu)(yu)(yu)言(yan)多時區支持，系統為不(bu)用(yong)語(yu)(yu)(yu)言(yan)環境用(yong)戶提供多語(yu)(yu)(yu)言(yan)支持，用(yong)戶在登錄時可以選(xuan)擇時區及(ji)語(yu)(yu)(yu)言(yan)，系統將自動切(qie)換至相應的UI（僅限UI）。
