福州水務(wù)大數(shù)據(jù)中心 注重數(shù)據(jù)服務(wù)與應(yīng)用能力的平臺
引言：福州水務(wù)集團有限公司（以下簡稱“福州水務(wù)”）成立于2008年，注冊資本21.2億元。現(xiàn)有各級參控股子公司60多家，包括1家A股上市企業(yè)及2家國家級高新技術(shù)企業(yè)。福州水務(wù)是一家集供水、排水、環(huán)保、溫泉、綜合服務(wù)五大板塊為一體的綜合環(huán)境服務(wù)商，市場拓展至省內(nèi)外，輻射江西、廣東、江蘇、浙江等16個省、市、自治區(qū)。運營17座水廠，總規(guī)模195萬噸/日，其中福州主城區(qū)供水服務(wù)范圍覆蓋福州市四城區(qū)約250平方公里，服務(wù)人口超280萬人；運營污水廠24座，污水處理規(guī)模176萬噸/日，原水供應(yīng)規(guī)模336萬噸/日（含在建），總規(guī)模707萬噸/日（含在建）。
福州水務(wù)于2018年成立信息化指揮部并組建數(shù)字水務(wù)研究中心，正式啟動數(shù)字水務(wù)建設(shè)。在數(shù)字水務(wù)建設(shè)的初級階段，福州水務(wù)規(guī)劃了“一個大數(shù)據(jù)中心、三大板塊、六大體系、八大重點項目”的“1368”數(shù)字水務(wù)戰(zhàn)略。在該戰(zhàn)略指引下，福州水務(wù)通過大數(shù)據(jù)中心建設(shè)，向上支撐集團生產(chǎn)運營、營銷客服、管理管控三大板塊的不同應(yīng)用，以推進集團的數(shù)字化、智慧化轉(zhuǎn)型。
項目概況
福州水務(wù)大數(shù)據(jù)中心項目結(jié)合公司發(fā)展戰(zhàn)略的需要，建立適應(yīng)智慧水務(wù)的，具備行業(yè)影響力的大數(shù)據(jù)中心，統(tǒng)一數(shù)據(jù)標準，提升數(shù)據(jù)質(zhì)量，為各類智慧應(yīng)用提供堅實的數(shù)據(jù)基礎(chǔ)，最終為管理運營提供有效的決策支持，提升數(shù)據(jù)的價值。
項目背景
福州水務(wù)高度重視營商環(huán)境以及客戶服務(wù)工作，持續(xù)不斷推出便民舉措，并引入先進的服務(wù)理念以及工具和手段輔助客戶服務(wù)工作效率和質(zhì)量的提升，公司相繼建設(shè)了營銷系統(tǒng)、報裝系統(tǒng)、呼叫中心等多個系統(tǒng)，這些系統(tǒng)對于客戶服務(wù)工作開展起到了良好的支撐作用。
在福州水務(wù)集團有限公司“FS1368”數(shù)字水務(wù)戰(zhàn)略指引下，為進一步升級和優(yōu)化客戶服務(wù)水平，對客戶服務(wù)相關(guān)的數(shù)據(jù)資源進一步集成和整合，充分發(fā)掘利用數(shù)據(jù)資產(chǎn)價值，為福州水務(wù)的客戶服務(wù)工作人員提供更便捷的工具用于支撐服務(wù)工作，在進一步提升服務(wù)于響應(yīng)速度和質(zhì)量的同時，實現(xiàn)更進一步的精準服務(wù)和主動服務(wù)，為福州市民提供更好的用水服務(wù)體驗。
2. 項目簡介
福州水務(wù)數(shù)據(jù)資源規(guī)劃建立了數(shù)據(jù)資源的統(tǒng)一標準體系，描繪了數(shù)字化企業(yè)的數(shù)據(jù)流的基礎(chǔ)來源，保證數(shù)據(jù)的來源唯一性；對所涉及的數(shù)據(jù)進行準確的定義，包括該數(shù)據(jù)的各種屬性的描述。通過對業(yè)務(wù)管理層、決策分析層和基礎(chǔ)工作層等信息數(shù)據(jù)需求的分析，確定出數(shù)據(jù)在各層次的具體表現(xiàn)、交換方式、數(shù)據(jù)部署狀況，從而在此基礎(chǔ)上制定出企業(yè)數(shù)據(jù)規(guī)劃框架設(shè)計和實施策略。福州水務(wù)大數(shù)據(jù)中心即以此為標準進行建設(shè)。
大數(shù)據(jù)中心平臺覆蓋全鏈路的數(shù)據(jù)集成、數(shù)據(jù)模型、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)開發(fā)、數(shù)據(jù)運維、數(shù)據(jù)共享服務(wù)等不同階段的數(shù)據(jù)開發(fā)場景。并將原來通過人工經(jīng)驗+人工約定的數(shù)據(jù)模型搭建改為系統(tǒng)化的規(guī)范方式，實現(xiàn)從模型的基礎(chǔ)配置到在線設(shè)計的規(guī)范化過程，使得無論從數(shù)據(jù)庫、表和字段層面上，形成系統(tǒng)化的命名規(guī)范。定時監(jiān)控規(guī)則運行、即時生成校驗報告，輔助定位數(shù)據(jù)質(zhì)量的問題根源，實現(xiàn)數(shù)據(jù)高可信、高可用的目標。
項目目標
通過的統(tǒng)一數(shù)據(jù)匯聚和標準管理的能力、統(tǒng)一維護并對外提供服務(wù)的模式，盤活融通數(shù)據(jù)資產(chǎn)、激活數(shù)據(jù)服務(wù)能力，促進“產(chǎn)業(yè)數(shù)據(jù)化、數(shù)據(jù)產(chǎn)業(yè)化”的正循環(huán)效應(yīng)，從而實現(xiàn)“統(tǒng)一標準規(guī)范、統(tǒng)一數(shù)據(jù)存儲、統(tǒng)一數(shù)據(jù)資產(chǎn)、統(tǒng)一技術(shù)平臺、統(tǒng)一數(shù)據(jù)服務(wù)、百花齊放應(yīng)用”的效果。
（1）實現(xiàn)公司海量數(shù)據(jù)的集約化管理
建立基于Hadoop大數(shù)據(jù)中心，實現(xiàn)為各個應(yīng)用提供包括離線計算、實時計算、多維分析、統(tǒng)一資源管理及分布式文件系統(tǒng)服務(wù)。實現(xiàn)對“原、制、供、排、污”全業(yè)務(wù)鏈的生產(chǎn)數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)，進行集成和整合，構(gòu)建“人”,“水”,“廠”全方位的水務(wù)行業(yè)數(shù)據(jù)資產(chǎn)，并提供多維度數(shù)據(jù)資產(chǎn)的感知、分析、監(jiān)控的能力；可構(gòu)建面向水務(wù)基礎(chǔ)設(shè)施數(shù)字化管理、管養(yǎng)精細化、調(diào)度智能化、服務(wù)扁平化等應(yīng)用場景的水務(wù)數(shù)據(jù)服務(wù)總線，實現(xiàn)企業(yè)級的數(shù)據(jù)服務(wù)發(fā)布和共享，支撐技術(shù)中心管理人員，長期高效的運營數(shù)據(jù)服務(wù)能力，提高企業(yè)整體數(shù)據(jù)運營能力和工作效率。
（2）實現(xiàn)公司運營管理的全面降本增效
實現(xiàn)企業(yè)全面大數(shù)據(jù)治理，實現(xiàn)跨系統(tǒng)、跨部門自動化數(shù)據(jù)流轉(zhuǎn)，實現(xiàn)生產(chǎn)、管網(wǎng)輸配、營銷客服等業(yè)務(wù)統(tǒng)一全面數(shù)據(jù)共享和業(yè)務(wù)整合，全面提升系統(tǒng)自動化協(xié)同和閉環(huán)能力，建立公司統(tǒng)一數(shù)據(jù)標準體系，依托數(shù)據(jù)全面整合，整體分析公司運營管理各個節(jié)點和問題環(huán)節(jié)，實現(xiàn)制度、流程的優(yōu)化和簡化，全面提升公司工作效率，降低人耗、物耗和流程內(nèi)耗；實現(xiàn)應(yīng)用系統(tǒng)數(shù)據(jù)和其他業(yè)務(wù)領(lǐng)域數(shù)據(jù)全面打通和共享，全面提升數(shù)據(jù)實時性、精準性、共享能力。例如：1、營收客服數(shù)據(jù)能夠為水廠生產(chǎn)、精細化調(diào)度提供精準水量預(yù)測；2、為全面漏損分析、水質(zhì)分析提供數(shù)據(jù)支撐；3、為產(chǎn)銷差分析提供優(yōu)化分析模型的數(shù)據(jù)服務(wù)；4、可以通過熱線電話分布區(qū)域信息和管網(wǎng)GIS信息，實現(xiàn)水質(zhì)等問題精準定位等業(yè)務(wù)。從而實現(xiàn)生產(chǎn)體系、管網(wǎng)輸配、二次供水與營銷客服系統(tǒng)全面的數(shù)據(jù)打通、業(yè)務(wù)協(xié)同，提升整體運營效率，提升整體運營管理水平。
（3）提升公司大數(shù)據(jù)管理和大數(shù)據(jù)應(yīng)用能力
建設(shè)全面覆蓋公司生產(chǎn)、管網(wǎng)輸配、二次供水、營銷客服體系的大數(shù)據(jù)中心和大數(shù)據(jù)應(yīng)用平臺，實現(xiàn)大數(shù)據(jù)標準體系建設(shè)，實現(xiàn)水務(wù)多領(lǐng)域數(shù)據(jù)融合，單一來源數(shù)據(jù)價值挖掘空間狹窄，更多數(shù)據(jù)價值創(chuàng)造將依賴多源數(shù)據(jù)融合，建設(shè)大數(shù)據(jù)中心為基礎(chǔ)的統(tǒng)一的數(shù)據(jù)標準體系，從而實現(xiàn)數(shù)據(jù)全面共享，標準化交換和價值挖掘，提升公司綜合運營管理能力。通過大數(shù)據(jù)標準化數(shù)據(jù)模型，實現(xiàn)各個業(yè)務(wù)系統(tǒng)數(shù)據(jù)全面共享，沉淀數(shù)據(jù)資產(chǎn)和共性能力，以平臺+應(yīng)用的建設(shè)模式，最終實現(xiàn)數(shù)據(jù)資源集約化利用，提升公司數(shù)據(jù)管理能力。
（4）提升公司全面對外數(shù)據(jù)服務(wù)能力
隨著智慧城市、數(shù)字化城市的發(fā)展，政府機構(gòu)、社會公眾、工商企業(yè)對水務(wù)公共事業(yè)基礎(chǔ)設(shè)施、生產(chǎn)運營、營銷客服的數(shù)據(jù)共享、服務(wù)能力共享的訴求日益增強，公司需要建立基于數(shù)據(jù)中臺的標準大數(shù)據(jù)服務(wù)，對外提供規(guī)范統(tǒng)一、安全穩(wěn)定、高效靈活的數(shù)據(jù)服務(wù)；構(gòu)建數(shù)據(jù)服務(wù)能力平臺，為政府、社會機構(gòu)提供高效率、智能化大數(shù)據(jù)應(yīng)用服務(wù)；通過平臺數(shù)據(jù)集成和計算查詢優(yōu)勢、對外提供高效和標準化的數(shù)據(jù)服務(wù)，而不是通過傳統(tǒng)的應(yīng)用系統(tǒng)開發(fā)提供定制化接口，從而全面降低對業(yè)務(wù)系統(tǒng)的依賴和局限性，全面降低公司對外服務(wù)運維成本。通過標準化、高效率、易維護的數(shù)據(jù)服務(wù)平臺的統(tǒng)一服務(wù)接口，為智慧市政、智慧社區(qū)等領(lǐng)域的應(yīng)用建設(shè)提供全面的大數(shù)據(jù)技術(shù)支撐。
二、項目實施概況
1. 項目總體架構(gòu)和主要內(nèi)容
本項目提出了一種基于Hadoop分布式并行計算技術(shù)的總體架構(gòu)。該架構(gòu)涵蓋了離線數(shù)倉和實時數(shù)倉，提供了數(shù)據(jù)批處理與流處理的計算能力，為不同業(yè)務(wù)場景提供了一個數(shù)據(jù)計算支撐平臺。圖1給出了大數(shù)據(jù)中心的總體技術(shù)架構(gòu)圖。
圖1 大數(shù)據(jù)中心總體技術(shù)架構(gòu)
Hadoop作為大數(shù)據(jù)管理平臺一個核心應(yīng)用，大數(shù)據(jù)管理平臺建設(shè)為了更好的滿足應(yīng)用需求和結(jié)合Hadoop的性能、功能，采用Hadoop的HDFS作為分布式大數(shù)據(jù)量存儲的核心。大數(shù)據(jù)中心平臺通過對Hadoop的定制來滿足實際應(yīng)用的需求，通過開發(fā)分布式計算程序來提供和支持云計算和大數(shù)據(jù)的分析挖掘。
在該系統(tǒng)中，整體分為數(shù)據(jù)采集層、模型計算層、數(shù)據(jù)服務(wù)層和管理運維層等四個層次。覆蓋了水務(wù)行業(yè)水廠、管網(wǎng)、二供、營收、客服等全業(yè)務(wù)數(shù)據(jù)采集、計算與共享等方面。
3. 具體應(yīng)用場景和應(yīng)用模式
應(yīng)用場景
（1）建立統(tǒng)一數(shù)據(jù)匯聚中心。將主題數(shù)據(jù)進行梳理，通過采集、清洗、轉(zhuǎn)換工作，匯聚至大數(shù)據(jù)中心進行存儲，打破了數(shù)據(jù)孤島現(xiàn)狀，并建立數(shù)據(jù)存儲標準，為后續(xù)數(shù)據(jù)開發(fā)、數(shù)據(jù)共享、數(shù)據(jù)應(yīng)用提供數(shù)據(jù)支撐。
（2）建立服務(wù)總線。大數(shù)據(jù)中心建立數(shù)據(jù)服務(wù)總線，打通并建立統(tǒng)一的業(yè)務(wù)系統(tǒng)與異構(gòu)系統(tǒng)數(shù)據(jù)共享通道，將大數(shù)據(jù)中心自身數(shù)據(jù)以服務(wù)形式進行封裝輸出外，也將業(yè)務(wù)系統(tǒng)自有接口進行注冊轉(zhuǎn)發(fā)，以此建立數(shù)據(jù)服務(wù)市場，將企業(yè)內(nèi)所有數(shù)據(jù)服務(wù)統(tǒng)一發(fā)布，各類異構(gòu)系統(tǒng)可瀏覽市場，并按需申請服務(wù)。解決對接通道太多、數(shù)據(jù)服務(wù)無法監(jiān)控、重復(fù)接出、對業(yè)務(wù)系統(tǒng)造成壓力、無法管理等多種問題。
（3）綜合業(yè)務(wù)平臺。該平臺主要面向坐席客服人員，將營收、報裝、表務(wù)、工單、熱線、短信等日常坐席人員所使用的系統(tǒng)進行數(shù)據(jù)整合，提供匯聚上述系統(tǒng)關(guān)鍵用戶信息的綜合查詢頁面。通過綜合業(yè)務(wù)平臺，可直觀的展示用戶畫像，通過簡易搜索條件，如用戶手機號、客戶編號等快捷查詢相關(guān)用戶的基礎(chǔ)信息、繳費記錄、欠繳信息、抄表信息、短信發(fā)送記錄、報裝記錄、熱線服務(wù)工單、熱線錄音等所有關(guān)聯(lián)數(shù)據(jù)。同時該平臺也可作為企業(yè)客戶信息關(guān)系查詢渠道，為營管、客服等相關(guān)部門提供業(yè)務(wù)輔助。
（4）提供報表工具。大數(shù)據(jù)中心提供了自定義報表工具，該工具不受限于報表的格式、統(tǒng)計維度，且能隨時變更報表樣式，快速制作報表。業(yè)務(wù)部門只需要提供報表內(nèi)容的統(tǒng)計邏輯，由信息管理部門利用大數(shù)據(jù)中心開發(fā)平臺制作出相關(guān)數(shù)據(jù)指標，業(yè)務(wù)部門即可自己將數(shù)據(jù)指標拖拽至表格區(qū)，自由定義所需要的報表樣式，極大的縮短了報表制作時長，降低報表制作門檻。
應(yīng)用情況
外部業(yè)務(wù)應(yīng)用概況
目前大數(shù)據(jù)中心支撐了網(wǎng)上營業(yè)廳、微信公眾號、產(chǎn)銷差系統(tǒng)、財務(wù)系統(tǒng)的數(shù)據(jù)服務(wù)。這種模式，相比傳統(tǒng)數(shù)據(jù)服務(wù)開發(fā)效率提高50%以上，徹底解放即時開發(fā)所帶來的人力消耗，數(shù)據(jù)靈活復(fù)用有助于提高數(shù)據(jù)開放共享能力，推動數(shù)據(jù)資產(chǎn)服務(wù)化，讓開發(fā)者集中精力關(guān)注創(chuàng)新應(yīng)用的業(yè)務(wù)需求。
以網(wǎng)上營業(yè)廳為例，在對接大數(shù)據(jù)中心之前，是需要分別與原營業(yè)收費系統(tǒng)對接賬單查詢接口，與工單系統(tǒng)對接工單申報接口，與微信公眾號對接公共信息發(fā)布接口等等，這些接口只能單獨服務(wù)于網(wǎng)上營業(yè)廳，其它第三方平臺無法直接復(fù)用。
而大數(shù)據(jù)中心作為網(wǎng)上營業(yè)廳與營收、報裝、工單、表務(wù)、短信平臺等業(yè)務(wù)系統(tǒng)數(shù)據(jù)交換的唯一通道，幾乎支撐了網(wǎng)上營業(yè)廳所有功能的運行，極大的提升了接口復(fù)用性，能夠通過接口訪問權(quán)限，為任意第三方平臺提供必要的接口服務(wù)。同時，也極大的簡化了數(shù)據(jù)流結(jié)構(gòu)，通過大數(shù)據(jù)中心的監(jiān)控能迅速定位出故障發(fā)生位置，便于后期數(shù)據(jù)管理與監(jiān)控。
內(nèi)部可視化應(yīng)用情況
包括1個綜合業(yè)務(wù)平臺、2個駕駛艙、2個大屏、3個數(shù)據(jù)挖掘主題（改善每月抄表情況、優(yōu)化水表管理、改善工單處理狀況），共計88項指標和19張報表，覆蓋了水表、用戶檔案、抄表、計費、工單、報裝、話務(wù)和收費等業(yè)務(wù)，極大提升了營銷數(shù)據(jù)的使用價值，為基層業(yè)務(wù)人員日常工作提供了切切實實的便利。
例如：營管部每月要統(tǒng)計連續(xù)0噸用戶清單，以便篩選出異常用戶，安排人員現(xiàn)場核實處理，減少企業(yè)水量、水費損失。此項工作，據(jù)工作人員反饋，每次需要花費將近1周的時間，從原營收系統(tǒng)中各個位置統(tǒng)計、導(dǎo)出，然后再作篩選，工作量大，并且容易出錯。而大數(shù)據(jù)中心提供的“連續(xù)0噸用戶清單”報表，可以自定義查詢固定時間段內(nèi)連續(xù)XX月0噸用戶清單，經(jīng)業(yè)務(wù)人員核對，數(shù)據(jù)準確、使用便利，從根本上協(xié)助業(yè)務(wù)人員釋放了工作壓力，極大的提高了工作效率。
圖例1：業(yè)務(wù)報表工具
綜合業(yè)務(wù)查詢平臺匯聚了營收系統(tǒng)、報裝系統(tǒng)、工單系統(tǒng)、表務(wù)系統(tǒng)、熱線系統(tǒng)和短信平臺的相關(guān)數(shù)據(jù)，平臺會根據(jù)每個用水戶的用水行為，自動建立用戶畫像，同時也支持通過一個平臺，一次操作，查詢出6個系統(tǒng)的業(yè)務(wù)數(shù)據(jù)。綜合業(yè)務(wù)查詢平臺為客戶服務(wù)中心業(yè)務(wù)人員提供了統(tǒng)一、便捷、快速的服務(wù)平臺，當(dāng)坐席接到用戶來電時，即可通過來電號碼定位用戶，為坐席人員提供用戶基本信息、用水信息、繳費信息、工單信息、歷史短信、歷史來電情況、停水情況等等全方位的數(shù)據(jù)，極大的縮短了服務(wù)時長，提高了便民服務(wù)體驗。目前該平臺已在“客服熱線中心”進行試運行，該平臺的數(shù)據(jù)呈現(xiàn)方式得到了業(yè)務(wù)人員和相關(guān)領(lǐng)導(dǎo)的認可。
系統(tǒng)相關(guān)截圖如下：
圖例2：綜合業(yè)務(wù)查詢平臺
圖例3：營銷駕駛艙
圖例4：客服駕駛艙
圖例5：營銷報表
圖例6：客服報表
5. 其他亮點
1.全鏈路基礎(chǔ)營銷體系數(shù)據(jù)工廠，支撐大數(shù)據(jù)中心多樣性需求。數(shù)據(jù)平臺覆蓋全鏈路數(shù)據(jù)集成、數(shù)據(jù)模型、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)開發(fā)、數(shù)據(jù)運維、數(shù)據(jù)共享服務(wù)等不同階段的數(shù)據(jù)開發(fā)場景，全面支持大數(shù)據(jù)中心建設(shè)過程中的多樣性需求，開發(fā)過程無需切換多個工具
2.規(guī)范化數(shù)據(jù)模型開發(fā)，實現(xiàn)數(shù)據(jù)資產(chǎn)可視化。將原來通過人工經(jīng)驗+人工約定的數(shù)據(jù)模型搭建改為系統(tǒng)化的規(guī)范方式，實現(xiàn)從模型的基礎(chǔ)配置、到在線設(shè)計的規(guī)范化過程，使得無論從數(shù)據(jù)庫、表和字段層面上，形成系統(tǒng)化的命名規(guī)范。可實現(xiàn)數(shù)據(jù)資產(chǎn)元數(shù)據(jù)可更新、可維護，支持多級類目管理，確保數(shù)據(jù)資產(chǎn)分門別類，便于后續(xù)的查找和維護。
3.通過全流程監(jiān)控打造數(shù)據(jù)治理閉環(huán)機制。基于各行業(yè)實戰(zhàn)經(jīng)驗，平臺內(nèi)置多種校驗規(guī)則，滿足大多數(shù)場景下的數(shù)據(jù)質(zhì)量檢驗需求，定時監(jiān)控規(guī)則運行、即時查看校驗報告，輔助定位數(shù)據(jù)質(zhì)量的問題根源，為數(shù)據(jù)高可用性保駕護航。最終實現(xiàn)對數(shù)據(jù)質(zhì)量問題實時監(jiān)測，事前準備、事中監(jiān)測、事后報告，讓數(shù)據(jù)達到高可信、高可用的目標。
4.零代碼生成API，數(shù)據(jù)服務(wù)調(diào)用全流程監(jiān)控。數(shù)據(jù)獲取無需編碼，通過在線配置簡易、快速創(chuàng)建API，并通過在API市場上架，實現(xiàn)對于數(shù)據(jù)服務(wù)的統(tǒng)一化管理，提高數(shù)據(jù)應(yīng)用效率，挖掘數(shù)據(jù)共享價值。根據(jù)數(shù)據(jù)服務(wù)調(diào)用情況進行實時監(jiān)管，后臺安全可控。
三、下一步實施計劃
雖然大數(shù)據(jù)中心（一期）重點是營銷客服專題，但這并不意味著大數(shù)據(jù)中心只支持營銷客服板塊數(shù)據(jù)的匯聚、開發(fā)與服務(wù)，根據(jù)數(shù)字水務(wù)規(guī)劃，在大數(shù)據(jù)中心的目標就要做成一個支持多元接入的能力平臺。所以，后續(xù)水務(wù)集團中排水、溫泉、污水、工程等等不同業(yè)務(wù)類型，不同數(shù)據(jù)存儲方式，均能通過大數(shù)據(jù)中心進行數(shù)據(jù)的二次開發(fā)和共享。
四、項目創(chuàng)新點和實施效果
1. 項目先進性及創(chuàng)新點
（1）先進性
1）異構(gòu)數(shù)據(jù)存儲、冗余存儲和PB級別的計算能力
支持多數(shù)據(jù)，包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化（JSON/BSON，XML形式存儲）、非結(jié)構(gòu)化數(shù)據(jù)，例如純文本、圖片或者圖層數(shù)據(jù)的高效存儲以及讀取。
數(shù)據(jù)分片冗余存儲多份以上。
通過使用MPP技術(shù)，在高負載下可保持高性能，每機架每小時可處理高達10T的數(shù)據(jù)。
2）基于SQL的快速批處理
支持通過SQL語言對數(shù)據(jù)進行高效批量統(tǒng)計的能力。同時利用全局/輔助索引進行SQL執(zhí)行加速，可以滿足高速的OLAP數(shù)據(jù)分析應(yīng)用需求和高速的SQL離線批處理。
3）低延時高并發(fā)查詢
支持多種索引，包括全局索引（GlobalIndex）、局部索引（LocalIndex）、高維索引（High-DimensionalIndex）以及全文索引（Full-TextIndex）等；
支持通過SQL進行復(fù)雜條件毫秒級高并發(fā)查詢，滿足在線存儲和在線業(yè)務(wù)分析系統(tǒng)(OLAP)的低延時需求。
4）高級機器學(xué)習(xí)功能
內(nèi)嵌Apache MADLib 機器學(xué)習(xí)庫，提供大量機器學(xué)習(xí)算法，支持R、線性代數(shù)和機器學(xué)習(xí)功能。
5）數(shù)據(jù)高度壓縮
采用了業(yè)內(nèi)領(lǐng)先的壓縮技術(shù)，提高性能的同時，顯著地減少存儲數(shù)據(jù)所需的空間。客戶可以將所用空間減少3-10倍，并提高有效的I/O性能。
6）動態(tài)擴容
便捷的小規(guī)模或大規(guī)模擴展，同時避免高成本的設(shè)備或SMP服務(wù)器升級。
7）本次技術(shù)選型相對Hadoop、Hive、Spark等常規(guī)大數(shù)據(jù)平臺技術(shù)的優(yōu)勢
性能：在6臺8核16G的服務(wù)器上對30億條記錄做統(tǒng)計分析查詢，Hadoop+Spark花費的時間接近120秒，GP用時1秒；
索引支持：GP支持持二叉搜索樹、哈希、位圖、GiST和GIN，從而能夠?qū)崿F(xiàn)多種索引功能，提供給數(shù)據(jù)架構(gòu)師實施優(yōu)化設(shè)計所必需的工具。
事務(wù)支持：同時支持OLAP和OLTP，Hadoop等不支持數(shù)據(jù)庫事務(wù)；
數(shù)據(jù)加載速度：高性能的并行數(shù)據(jù)裝載器可以在所有節(jié)點上同步執(zhí)行操作，裝載速度超過4.5TB/小時；
易用性：完全支持ANSI SQL 2008標準和SQL OLAP 2003 擴展；從應(yīng)用編程接口上講，它支持ODBC和JDBC。完善的標準支持使得系統(tǒng)開發(fā)、維護和管理都大為方便。而現(xiàn)在的 NoSQL，NewSQL和Hadoop 對 SQL 的支持都不完善，不同的系統(tǒng)需要單獨開發(fā)和管理，且移植性不好；
數(shù)據(jù)壓縮：GP可以對冷數(shù)據(jù)進行壓縮，壓縮后減少的磁盤空間10倍以上，并提高有效的I/O性能。
8）報表引擎優(yōu)勢
提供報表設(shè)計器，支持多維度報表結(jié)構(gòu)設(shè)計，支持多層嵌套的表頭信息，支持多數(shù)據(jù)源
（2）創(chuàng)新點
1）集成kettle到大數(shù)據(jù)中心
集成kettle到大數(shù)據(jù)中心，統(tǒng)一由大數(shù)據(jù)中心進行etl邏輯編撰和作業(yè)調(diào)度，使用kettle剝離數(shù)據(jù)存儲到ODS層，降低近半數(shù)據(jù)量存儲。
2）實現(xiàn)了API統(tǒng)一管理
研發(fā)了水務(wù)數(shù)據(jù)底座技術(shù)，建立了API（數(shù)據(jù)服務(wù)接口）庫，很方便的實現(xiàn)了與第三方軟件產(chǎn)品及數(shù)據(jù)對接。
3）整合空間數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)
通過分析、抽取、整合GIS系統(tǒng)與其它業(yè)務(wù)系統(tǒng)的基礎(chǔ)數(shù)據(jù)，從而提升了業(yè)務(wù)數(shù)據(jù)可視化的能力。
4）提供了數(shù)據(jù)倉庫建設(shè)標準
借助多年的水行業(yè)業(yè)務(wù)經(jīng)驗，課題建設(shè)了標準的DW層和DM數(shù)據(jù)數(shù)據(jù)結(jié)構(gòu)，便于以“USB口”的形式，直接接入任何同類型產(chǎn)品的ODS層數(shù)據(jù)，減少了對接難度和時間。
5）提供了常用指標的標準算法邏輯
基于“營銷”和“生產(chǎn)”體系，形成了標準的指標算法邏輯，由于該算法從標準的DW層和DM層獲取數(shù)據(jù)，所以可提升各類指標算法的復(fù)用性。
6）大數(shù)據(jù)中心建設(shè)及挖掘數(shù)據(jù)價值
基于數(shù)據(jù)分析挖掘，實現(xiàn)水務(wù)業(yè)務(wù)從被動服務(wù)到主動服務(wù)的轉(zhuǎn)變。
2. 實施效果
（1）大數(shù)據(jù)中心在網(wǎng)上營業(yè)廳的應(yīng)用
大數(shù)據(jù)中心共為網(wǎng)上營業(yè)廳提供98個接口，其中13個接口直接從大數(shù)據(jù)中心的數(shù)據(jù)倉庫中獲取用戶、賬單等數(shù)據(jù)， 85個接口為各關(guān)聯(lián)業(yè)務(wù)系統(tǒng)接口，在大數(shù)據(jù)中心注冊、轉(zhuǎn)發(fā)和管理。接口日均訪問量超萬次，接口調(diào)用成功率99.98%，接口平均調(diào)用時長約0.6秒，其中賬單類的接口調(diào)用時長在1.2秒左右，其它接口大多數(shù)在1秒以內(nèi)。
通過接口服務(wù)支撐模式，極大的減少了網(wǎng)上營業(yè)廳在系統(tǒng)后端的開發(fā)投入，大數(shù)據(jù)中心直接承載了多個業(yè)務(wù)后端邏輯的調(diào)研、梳理、開發(fā)及服務(wù)，包括：應(yīng)收列表、營收明細、繳費信息、水表信息、用戶代扣信息、系統(tǒng)收費方式、年度賬單用水總量、年度賬單用戶信用等級、年度賬單年繳費類型、年度賬單加價費用、查詢客戶編號、查詢用戶畫像等。
（2）大數(shù)據(jù)中心在水務(wù)智慧大腦的應(yīng)用
大數(shù)據(jù)中心為福州水務(wù)智慧大腦提供5個接口，其中4個接口直接從大數(shù)據(jù)中心的數(shù)據(jù)倉庫中獲取用戶、工單、停水等數(shù)據(jù)，為集團總覽板塊、供水總覽板塊和營銷客服板塊提供數(shù)據(jù)支撐。1個接口在大數(shù)據(jù)中心注冊、轉(zhuǎn)發(fā)和管理。接口每日訪問量合計20次以上，接口調(diào)用成功率100%，接口平均調(diào)用時長約0.5秒。
福州智慧大腦綜合大屏的數(shù)據(jù)不僅僅來源于大數(shù)據(jù)中心，如果將其接入數(shù)據(jù)來源分為大數(shù)據(jù)中心與非大數(shù)據(jù)中心，非大數(shù)據(jù)中心的數(shù)據(jù)接入比較繁瑣，信息工程師需要開展數(shù)據(jù)情況調(diào)研與業(yè)務(wù)計算邏輯、指標數(shù)據(jù)開發(fā)、結(jié)果校驗、服務(wù)封裝等整個過程，信息工程師往往對接一個指標數(shù)據(jù)需要花費兩周，甚至更久，而來源大數(shù)據(jù)中心的數(shù)據(jù)則可直接進行服務(wù)調(diào)用，前期的所有工作由大數(shù)據(jù)中心直接接管，甚至后期數(shù)據(jù)維護、監(jiān)控管理都不需要參與，水務(wù)智慧大腦平臺只管使用即可，大大縮短了水務(wù)智慧大腦的建設(shè)周期，減輕了后端管理的壓力。
（3）大數(shù)據(jù)中心在產(chǎn)銷差分析系統(tǒng)的應(yīng)用
大數(shù)據(jù)中心為產(chǎn)銷差分析系統(tǒng)提供了8個接口，系統(tǒng)每日從大數(shù)據(jù)中心接口中獲取抄表數(shù)據(jù)與用戶表信息數(shù)據(jù)，主要用于計算三級分區(qū)的供水量、一二三級分區(qū)的售水量、監(jiān)控表與戶表對應(yīng)關(guān)系，得到產(chǎn)銷差的計算結(jié)果。接口每日調(diào)用頻率700次以上，接口調(diào)用成功率100%，接口平均調(diào)用時長約0.7秒。
在大數(shù)據(jù)中心提供支撐之前，產(chǎn)銷差系統(tǒng)為獲取用戶信息與水量開賬信息則需要每日多次請求營業(yè)收費數(shù)據(jù)庫，這將增加營業(yè)收費數(shù)據(jù)庫的負擔(dān)，影響營業(yè)收費系統(tǒng)的日常運行效率。此外獲取到的水量信息還需要進行合并同一戶水表的每月多次開賬記錄等特殊化處理，才能接入產(chǎn)銷差系統(tǒng)正常使用，不僅繁瑣，且時效性極低，通過大數(shù)據(jù)中心接口即可避免這一操作，實現(xiàn)數(shù)據(jù)標準化規(guī)范化輸出至其他應(yīng)用系統(tǒng)。
（4）大數(shù)據(jù)中心在水力模型業(yè)務(wù)的應(yīng)用
大數(shù)據(jù)中心為供水水力模型系統(tǒng)提供了7個服務(wù)接口，涉及用戶信息更新、抄表、用戶狀態(tài)、區(qū)域水量等方面，以往水力模型需要直接對接營收系統(tǒng)匯總的“表卡信息表”、“客戶信息表”與“營業(yè)賬子表”，但由于該表按月份分表、分庫存儲的，如果涉及跨月查詢統(tǒng)計時，非常繁瑣，需要對歷史表進行組合、篩選和計算，將會降低查詢效率、增加接口維護難度，水力模型很難做到精準的在線計算。
在與大數(shù)據(jù)中心對接后，通過大數(shù)據(jù)中心對分歷史數(shù)據(jù)的處理計算機制，提供API服務(wù)為水力模型高頻輸出和更新用戶、抄表和分區(qū)等營收數(shù)據(jù)，支撐模型的爆管處置和方案模擬的計算結(jié)果，提高水力模型系統(tǒng)在在線計算時的精準度。接口累計訪問量已近萬次，接口調(diào)用成功率100%，接口平均調(diào)用時長約0.4秒。
（5）大數(shù)據(jù)中心在停水區(qū)域劃定及消息推送業(yè)務(wù)的應(yīng)用
傳統(tǒng)的停水發(fā)布在操作上較為繁瑣，需要大量線下協(xié)調(diào)對接，容易出錯和遺漏，特別在營管部做好停水計劃時，需要通過郵件發(fā)送給客服部，客服部再打開短信發(fā)送平臺，將郵件內(nèi)容復(fù)制進去修改發(fā)送。在信息精準度上也沒有辦法把控，如發(fā)送微信停水信息，不論是否受計劃停水影響的用戶全員普發(fā)，導(dǎo)致關(guān)注“福州水務(wù)”公眾號的群眾每天收到無關(guān)停水信息，久而久之造成用戶對停水消息麻木對待，真當(dāng)自己小區(qū)停水時可能也不會關(guān)注到，偏離了微信停水推送的初衷。
針對上述情況，大數(shù)據(jù)中心團隊聯(lián)合營管與客服部，將大數(shù)據(jù)中心能力與GIS平臺能力相結(jié)合，通過GIS圈定停水區(qū)域，將停水信息精準的推送到受影響用戶的手機和微信上，整個過程流暢、便捷、精準。如：營管部打開“停水區(qū)域劃定”應(yīng)用，在GIS上圈定停水區(qū)域，系統(tǒng)將自動分析出受影響的小區(qū)名稱、受影響小區(qū)數(shù)量、受影響用戶數(shù)量等關(guān)鍵信息，并與大數(shù)據(jù)中心建立數(shù)據(jù)通訊，得到受影響的重點用戶、小區(qū)用戶、散戶等詳細信息。客服部可即時收到營管部提交的計劃停水方案，并可進行二次修正，并結(jié)合從大數(shù)據(jù)中心自動獲取到的用戶手機號、微信ID，一鍵將停水信息精準發(fā)送到用戶的手機和微信上，真正做到誰受影響就發(fā)送給誰。除計劃性停水外，大數(shù)據(jù)中心還提供了爆管影響分析等搶修性停水主題的發(fā)布。
（6）大數(shù)據(jù)中心在數(shù)據(jù)挖掘與分析中的應(yīng)用
傳統(tǒng)大數(shù)據(jù)中心建設(shè)的目標較多的都只放在出大屏與報表上，關(guān)注點不夠深入，沒有充分發(fā)揮大數(shù)據(jù)中心應(yīng)有的價值。本次項目建設(shè)就突破了大數(shù)據(jù)中心傳統(tǒng)定位，探索性的開展數(shù)據(jù)挖掘分析工作。通過分析原始的業(yè)務(wù)數(shù)據(jù)，關(guān)聯(lián)各個業(yè)務(wù)系統(tǒng)的數(shù)據(jù)邏輯，從中提煉出有價值的數(shù)據(jù)，直觀暴露出已存在的各類管理問題、數(shù)據(jù)問題、業(yè)務(wù)操作規(guī)范問題及系統(tǒng)功能設(shè)計問題，將有助于管理層針對性制定相應(yīng)的管理措施，對癥下藥，及時堵漏、補缺，從而提高工作效率、改善工作環(huán)境、提升工作質(zhì)量和客戶滿意度。本次嘗試性的對工單、水表、抄表情況開展了探索分析，樣例時間為2020年12月數(shù)據(jù)。
如在水表分析方面：25*****339，該用戶為施工用水，2020年7月水表就已上線，但是當(dāng)年均無水量記錄，原因是沒去抄表，直到2021年2月才第一次抄表，第一次抄表水量就達3091噸（據(jù)觀察，實際后續(xù)每月用水為400噸左右）；21*****223，該用戶已于2012年12月就已拆遷，但是水表狀態(tài)一直為正常，經(jīng)核查，有大量此類未更新水表狀態(tài)的記錄存在；10*****776，該用戶為某物業(yè)公司，水表狀態(tài)正常，但是已連續(xù)12個月以上抄表水量為0噸；10*****055，該用戶為DN40大口徑用戶，2014年水表就已失蹤了，但是水表狀態(tài)正常，2019年還有繳費記錄（轉(zhuǎn)賬繳費），應(yīng)核核查該用戶具體用水情況。
（7）大數(shù)據(jù)中心在服務(wù)能力支撐的應(yīng)用
大數(shù)據(jù)中心目前已不斷的發(fā)揮著自己的作用，在提供大數(shù)據(jù)業(yè)務(wù)支撐能力之外，也間接的對與大數(shù)據(jù)中心無關(guān)的業(yè)務(wù)提供了支撐。如水司建立的庫管系統(tǒng)，根據(jù)開發(fā)要求，需要與水務(wù)財務(wù)系統(tǒng)進行對接，達到資產(chǎn)數(shù)量與金額賬務(wù)同步的目的。但在對接過程中心，庫管系統(tǒng)的開發(fā)模式不支持財務(wù)系統(tǒng)提供的服務(wù)接口類型，導(dǎo)致對接工作無法進行。大數(shù)據(jù)中心了解情況后主動充當(dāng)“中介”角色，將財務(wù)系統(tǒng)服務(wù)接口注冊至大數(shù)據(jù)中心，并將其轉(zhuǎn)換成庫管系統(tǒng)所能支持的接口類型，使得對賬功能得以順利進行。截至目前，做為通道功能已支撐了上述系統(tǒng)38403次的交互工作。
AII微信公眾號
AII頭條號