小盟科普丨元數(shù)據(jù)的作用機(jī)理是什么？它能解決什么問題？
導(dǎo)語
可信工業(yè)數(shù)據(jù)空間是在現(xiàn)有信息網(wǎng)絡(luò)上搭建數(shù)據(jù)集聚、共享、流通和應(yīng)用的分布式關(guān)鍵數(shù)據(jù)基礎(chǔ)設(shè)施，通過體系化的技術(shù)安排確保數(shù)據(jù)流通協(xié)議的確認(rèn)、履行和維護(hù)，解決數(shù)據(jù)要素提供方、使用方、服務(wù)方等主體間的安全與信任問題，進(jìn)而實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)的數(shù)字化轉(zhuǎn)型。
★可信數(shù)據(jù)空間★
系列科普
Q1
元數(shù)據(jù)是什么？
元數(shù)據(jù)是對信息資源進(jìn)行描述、解釋、定位或使信息資源更易于被檢索、利用及管理的結(jié)構(gòu)化信息。元數(shù)據(jù)也被稱作數(shù)據(jù)的數(shù)據(jù)(dataaboutdata)或信息的信息(informationaboutinformation)。元數(shù)據(jù)管理是對數(shù)據(jù)的組織、數(shù)據(jù)域以及其關(guān)系信息的管理，貫穿整個(gè)數(shù)據(jù)價(jià)值流，覆蓋從數(shù)據(jù)產(chǎn)生、匯聚、加工到消費(fèi)的全生命周期。通過元數(shù)據(jù)管理，可以提升共享、重新獲取數(shù)據(jù)和理解企業(yè)信息資產(chǎn)的水平。
Q2
元數(shù)據(jù)的作用機(jī)理是什么？
元數(shù)據(jù)管理實(shí)現(xiàn)了業(yè)務(wù)數(shù)據(jù)中實(shí)體和數(shù)據(jù)字段元素的定義、語義、業(yè)務(wù)規(guī)則和算法以及數(shù)據(jù)特征，便于完成業(yè)務(wù)數(shù)據(jù)的收集、組織和管理。元數(shù)據(jù)管理技術(shù)包括對元數(shù)據(jù)的采集、元數(shù)據(jù)的存儲以及元數(shù)據(jù)的管理，如圖1所示。
圖1 元數(shù)據(jù)管理技術(shù)
元數(shù)據(jù)采集
在采集數(shù)據(jù)的時(shí)候，面對的大問題就是多種類數(shù)據(jù)源解析適配，以及數(shù)據(jù)調(diào)度任務(wù)的抽象，必須開發(fā)對應(yīng)的工具來實(shí)現(xiàn)各種場景的元數(shù)據(jù)解析，對元數(shù)據(jù)采集的能力有兩方面要求：
數(shù)據(jù)解析：適配解析各種數(shù)據(jù)源特點(diǎn)，文件格式，SQL腳本，抽象任務(wù)等，完成標(biāo)準(zhǔn)元數(shù)據(jù)的轉(zhuǎn)換沉淀;
類型識別：十分復(fù)雜的一個(gè)節(jié)點(diǎn)，類型在描述數(shù)據(jù)的時(shí)候至關(guān)重要，結(jié)構(gòu)化存儲可以直接讀取，文件類結(jié)構(gòu)通常需要類型轉(zhuǎn)換標(biāo)識，任務(wù)流程會直接統(tǒng)一管理，依次保證數(shù)據(jù)在不同環(huán)境中的合理存儲;
元數(shù)據(jù)的常見來源如下表：
表1 元數(shù)據(jù)來源
元數(shù)據(jù)存儲
包括存儲元數(shù)據(jù)以及元模型。元數(shù)據(jù)包含數(shù)據(jù)庫信息、數(shù)據(jù)表信息、表的字段信息等元信息，元模型是描述元數(shù)據(jù)的元數(shù)據(jù)。這些信息梳理存儲在關(guān)系型數(shù)據(jù)庫中。
元數(shù)據(jù)通常分為業(yè)務(wù)、技術(shù)和操作三類：
業(yè)務(wù)元數(shù)據(jù)：描述業(yè)務(wù)領(lǐng)域的相關(guān)概念、關(guān)系和規(guī)則的數(shù)據(jù)，包括業(yè)務(wù)術(shù)語、信息分類、業(yè)務(wù)指標(biāo)、業(yè)務(wù)規(guī)則、資產(chǎn)目錄、Owner、數(shù)據(jù)密集等。
技術(shù)元數(shù)據(jù)：實(shí)施人員開發(fā)系統(tǒng)時(shí)使用的數(shù)據(jù)，包括模型的表與字段、ETL規(guī)則、集成關(guān)系等信息。
管理元數(shù)據(jù)：描述運(yùn)營管理領(lǐng)域的相關(guān)概念，包括人員角色、崗位職責(zé)和管理流程、調(diào)度評率、訪問日志等。
元數(shù)據(jù)管理
對收集到的元數(shù)據(jù)進(jìn)行管理包含如下3個(gè)方面：
元模型管理：即基于元數(shù)據(jù)平臺構(gòu)建符合CWM規(guī)范的元數(shù)據(jù)倉庫，實(shí)現(xiàn)元模型統(tǒng)一、集中化管理，提供元模型的查詢、增加、修改、刪除、元數(shù)據(jù)關(guān)系管理、權(quán)限設(shè)置等功能，支持概念模型、邏輯模型、物理模型的采集和管理，讓用戶直觀地了解已有元模型的分類、統(tǒng)計(jì)、使用情況、變更追溯，以及每個(gè)元模型的生命周期管理。同時(shí)，支持應(yīng)用開發(fā)的模型管理。
元數(shù)據(jù)審核：主要是審核采集到元數(shù)據(jù)倉庫但還未正式發(fā)布到數(shù)據(jù)資源目錄中的元數(shù)據(jù)。審核過程中支持對數(shù)據(jù)進(jìn)行有效性驗(yàn)證并修復(fù)一些問題，例如缺乏語義描述、缺少字段、類型錯(cuò)誤、編碼缺失或不可識別的字符編碼等。
元數(shù)據(jù)維護(hù)：對信息對象的基本信息、屬性、被依賴關(guān)系、依賴關(guān)系、組合關(guān)系等元數(shù)據(jù)的新增、修改、刪除、查詢、發(fā)布等操作,支持根據(jù)元數(shù)據(jù)字典創(chuàng)建數(shù)據(jù)目錄，打印目錄結(jié)構(gòu)，根據(jù)目錄發(fā)現(xiàn)、查找元數(shù)據(jù)，查看元數(shù)據(jù)的內(nèi)容。元數(shù)據(jù)維護(hù)是最基本的元數(shù)據(jù)管理功能之一，技術(shù)人員和業(yè)務(wù)人員都會使用這個(gè)功能查看元數(shù)據(jù)的基本信息。
Q3
元數(shù)據(jù)能解決什么問題
元數(shù)據(jù)管理作用于數(shù)據(jù)管理的全生命周期，能夠有效促進(jìn)數(shù)據(jù)資產(chǎn)的管理、交換、共享和開發(fā)利用，其在工業(yè)數(shù)據(jù)空間中可解決如下問題：
促進(jìn)工業(yè)數(shù)據(jù)共享，元數(shù)據(jù)管理通過搭建標(biāo)準(zhǔn)統(tǒng)一的工業(yè)領(lǐng)域元數(shù)據(jù)體系，從業(yè)務(wù)、技術(shù)、操作3個(gè)方面，進(jìn)行分類和定義，賦予數(shù)據(jù)意義，可幫助使業(yè)務(wù)人員快速獲取可信數(shù)據(jù)。
提高工業(yè)數(shù)據(jù)的整合和溯源能力，元數(shù)據(jù)管理通過對所有的關(guān)鍵數(shù)據(jù)進(jìn)行系統(tǒng)整合和處理，用戶可以對數(shù)據(jù)處理流程追本溯源，了解業(yè)務(wù)處理規(guī)則，數(shù)據(jù)流通情況等。
激活工業(yè)數(shù)據(jù)活性：通過元數(shù)據(jù)管理，可以實(shí)現(xiàn)暗數(shù)據(jù)的透明化，增強(qiáng)數(shù)據(jù)活性，幫助解決工業(yè)數(shù)據(jù)資產(chǎn)盤點(diǎn)的問題。
支持工業(yè)數(shù)據(jù)增值變現(xiàn)：元數(shù)據(jù)管理通過分析表模型可敏捷響應(yīng)海量增長的數(shù)據(jù)分析需求，支持工業(yè)數(shù)據(jù)增值和數(shù)據(jù)變現(xiàn)。
建立工業(yè)數(shù)據(jù)質(zhì)量稽核體系，元數(shù)據(jù)管理通過建立篩選、核實(shí)、管理、報(bào)警、監(jiān)控的機(jī)制，支撐業(yè)務(wù)管理規(guī)則有效落地，保障數(shù)據(jù)內(nèi)容的合格、合規(guī)。
聯(lián)系人：
趙老師 13825233551
AII微信公眾號
AII頭條號