導語
可信工業(yè)數(shù)據(jù)空間是在現(xiàn)有信息網(wǎng)絡上搭建數(shù)據(jù)集聚、共享、流通和應用的分布式關鍵數(shù)據(jù)基礎設施,通過體系化的技術安排確保數(shù)據(jù)流通協(xié)議的確認、履行和維護,解決數(shù)據(jù)要素提供方、使用方、服務方等主體間的安全與信任問題,進而實現(xiàn)數(shù)據(jù)驅動的數(shù)字化轉型。
★可信數(shù)據(jù)空間★
系列科普
Q1
元數(shù)據(jù)是什么?
元數(shù)據(jù)是對信息資源進行描述、解釋、定位或使信息資源更易于被檢索、利用及管理的結構化信息。元數(shù)據(jù)也被稱作數(shù)據(jù)的數(shù)據(jù)(dataaboutdata)或信息的信息(informationaboutinformation)。元數(shù)據(jù)管理是對數(shù)據(jù)的組織、數(shù)據(jù)域以及其關系信息的管理,貫穿整個數(shù)據(jù)價值流,覆蓋從數(shù)據(jù)產(chǎn)生、匯聚、加工到消費的全生命周期。通過元數(shù)據(jù)管理,可以提升共享、重新獲取數(shù)據(jù)和理解企業(yè)信息資產(chǎn)的水平。
Q2
元數(shù)據(jù)的作用機理是什么?
元數(shù)據(jù)管理實現(xiàn)了業(yè)務數(shù)據(jù)中實體和數(shù)據(jù)字段元素的定義、語義、業(yè)務規(guī)則和算法以及數(shù)據(jù)特征,便于完成業(yè)務數(shù)據(jù)的收集、組織和管理。元數(shù)據(jù)管理技術包括對元數(shù)據(jù)的采集、元數(shù)據(jù)的存儲以及元數(shù)據(jù)的管理,如圖1所示。
圖1 元數(shù)據(jù)管理技術
元數(shù)據(jù)采集
在采集數(shù)據(jù)的時候,面對的大問題就是多種類數(shù)據(jù)源解析適配,以及數(shù)據(jù)調度任務的抽象,必須開發(fā)對應的工具來實現(xiàn)各種場景的元數(shù)據(jù)解析,對元數(shù)據(jù)采集的能力有兩方面要求:
數(shù)據(jù)解析:適配解析各種數(shù)據(jù)源特點,文件格式,SQL腳本,抽象任務等,完成標準元數(shù)據(jù)的轉換沉淀;
類型識別:十分復雜的一個節(jié)點,類型在描述數(shù)據(jù)的時候至關重要,結構化存儲可以直接讀取,文件類結構通常需要類型轉換標識,任務流程會直接統(tǒng)一管理,依次保證數(shù)據(jù)在不同環(huán)境中的合理存儲;
元數(shù)據(jù)的常見來源如下表:
表1 元數(shù)據(jù)來源
元數(shù)據(jù)存儲
包括存儲元數(shù)據(jù)以及元模型。元數(shù)據(jù)包含數(shù)據(jù)庫信息、數(shù)據(jù)表信息、表的字段信息等元信息,元模型是描述元數(shù)據(jù)的元數(shù)據(jù)。這些信息梳理存儲在關系型數(shù)據(jù)庫中。
元數(shù)據(jù)通常分為業(yè)務、技術和操作三類:
業(yè)務元數(shù)據(jù):描述業(yè)務領域的相關概念、關系和規(guī)則的數(shù)據(jù),包括業(yè)務術語、信息分類、業(yè)務指標、業(yè)務規(guī)則、資產(chǎn)目錄、Owner、數(shù)據(jù)密集等。
技術元數(shù)據(jù):實施人員開發(fā)系統(tǒng)時使用的數(shù)據(jù),包括模型的表與字段、ETL規(guī)則、集成關系等信息。
管理元數(shù)據(jù):描述運營管理領域的相關概念,包括人員角色、崗位職責和管理流程、調度評率、訪問日志等。
元數(shù)據(jù)管理
對收集到的元數(shù)據(jù)進行管理包含如下3個方面:
元模型管理:即基于元數(shù)據(jù)平臺構建符合CWM規(guī)范的元數(shù)據(jù)倉庫,實現(xiàn)元模型統(tǒng)一、集中化管理,提供元模型的查詢、增加、修改、刪除、元數(shù)據(jù)關系管理、權限設置等功能,支持概念模型、邏輯模型、物理模型的采集和管理,讓用戶直觀地了解已有元模型的分類、統(tǒng)計、使用情況、變更追溯,以及每個元模型的生命周期管理。同時,支持應用開發(fā)的模型管理。
元數(shù)據(jù)審核:主要是審核采集到元數(shù)據(jù)倉庫但還未正式發(fā)布到數(shù)據(jù)資源目錄中的元數(shù)據(jù)。審核過程中支持對數(shù)據(jù)進行有效性驗證并修復一些問題,例如缺乏語義描述、缺少字段、類型錯誤、編碼缺失或不可識別的字符編碼等。
元數(shù)據(jù)維護:對信息對象的基本信息、屬性、被依賴關系、依賴關系、組合關系等元數(shù)據(jù)的新增、修改、刪除、查詢、發(fā)布等操作,支持根據(jù)元數(shù)據(jù)字典創(chuàng)建數(shù)據(jù)目錄,打印目錄結構,根據(jù)目錄發(fā)現(xiàn)、查找元數(shù)據(jù),查看元數(shù)據(jù)的內容。元數(shù)據(jù)維護是最基本的元數(shù)據(jù)管理功能之一,技術人員和業(yè)務人員都會使用這個功能查看元數(shù)據(jù)的基本信息。
Q3
元數(shù)據(jù)能解決什么問題
元數(shù)據(jù)管理作用于數(shù)據(jù)管理的全生命周期,能夠有效促進數(shù)據(jù)資產(chǎn)的管理、交換、共享和開發(fā)利用,其在工業(yè)數(shù)據(jù)空間中可解決如下問題:
促進工業(yè)數(shù)據(jù)共享,元數(shù)據(jù)管理通過搭建標準統(tǒng)一的工業(yè)領域元數(shù)據(jù)體系,從業(yè)務、技術、操作3個方面,進行分類和定義,賦予數(shù)據(jù)意義,可幫助使業(yè)務人員快速獲取可信數(shù)據(jù)。
提高工業(yè)數(shù)據(jù)的整合和溯源能力,元數(shù)據(jù)管理通過對所有的關鍵數(shù)據(jù)進行系統(tǒng)整合和處理,用戶可以對數(shù)據(jù)處理流程追本溯源,了解業(yè)務處理規(guī)則,數(shù)據(jù)流通情況等。
激活工業(yè)數(shù)據(jù)活性:通過元數(shù)據(jù)管理,可以實現(xiàn)暗數(shù)據(jù)的透明化,增強數(shù)據(jù)活性,幫助解決工業(yè)數(shù)據(jù)資產(chǎn)盤點的問題。
支持工業(yè)數(shù)據(jù)增值變現(xiàn):元數(shù)據(jù)管理通過分析表模型可敏捷響應海量增長的數(shù)據(jù)分析需求,支持工業(yè)數(shù)據(jù)增值和數(shù)據(jù)變現(xiàn)。
建立工業(yè)數(shù)據(jù)質量稽核體系,元數(shù)據(jù)管理通過建立篩選、核實、管理、報警、監(jiān)控的機制,支撐業(yè)務管理規(guī)則有效落地,保障數(shù)據(jù)內容的合格、合規(guī)。
聯(lián)系人:
趙老師 13825233551