小盟科普丨元數(shù)據(jù)的作用機理是什么？它能解決什么問題？
導語
可信工業(yè)數(shù)據(jù)空間是在現(xiàn)有信息網(wǎng)絡上搭建數(shù)據(jù)集聚、共享、流通和應用的分布式關鍵數(shù)據(jù)基礎設施，通過體系化的技術(shù)安排確保數(shù)據(jù)流通協(xié)議的確認、履行和維護，解決數(shù)據(jù)要素提供方、使用方、服務方等主體間的安全與信任問題，進而實現(xiàn)數(shù)據(jù)驅(qū)動的數(shù)字化轉(zhuǎn)型。
★可信數(shù)據(jù)空間★
系列科普
Q1
元數(shù)據(jù)是什么？
元數(shù)據(jù)是對信息資源進行描述、解釋、定位或使信息資源更易于被檢索、利用及管理的結(jié)構(gòu)化信息。元數(shù)據(jù)也被稱作數(shù)據(jù)的數(shù)據(jù)(dataaboutdata)或信息的信息(informationaboutinformation)。元數(shù)據(jù)管理是對數(shù)據(jù)的組織、數(shù)據(jù)域以及其關系信息的管理，貫穿整個數(shù)據(jù)價值流，覆蓋從數(shù)據(jù)產(chǎn)生、匯聚、加工到消費的全生命周期。通過元數(shù)據(jù)管理，可以提升共享、重新獲取數(shù)據(jù)和理解企業(yè)信息資產(chǎn)的水平。
Q2
元數(shù)據(jù)的作用機理是什么？
元數(shù)據(jù)管理實現(xiàn)了業(yè)務數(shù)據(jù)中實體和數(shù)據(jù)字段元素的定義、語義、業(yè)務規(guī)則和算法以及數(shù)據(jù)特征，便于完成業(yè)務數(shù)據(jù)的收集、組織和管理。元數(shù)據(jù)管理技術(shù)包括對元數(shù)據(jù)的采集、元數(shù)據(jù)的存儲以及元數(shù)據(jù)的管理，如圖1所示。
圖1 元數(shù)據(jù)管理技術(shù)
元數(shù)據(jù)采集
在采集數(shù)據(jù)的時候，面對的大問題就是多種類數(shù)據(jù)源解析適配，以及數(shù)據(jù)調(diào)度任務的抽象，必須開發(fā)對應的工具來實現(xiàn)各種場景的元數(shù)據(jù)解析，對元數(shù)據(jù)采集的能力有兩方面要求：
數(shù)據(jù)解析：適配解析各種數(shù)據(jù)源特點，文件格式，SQL腳本，抽象任務等，完成標準元數(shù)據(jù)的轉(zhuǎn)換沉淀;
類型識別：十分復雜的一個節(jié)點，類型在描述數(shù)據(jù)的時候至關重要，結(jié)構(gòu)化存儲可以直接讀取，文件類結(jié)構(gòu)通常需要類型轉(zhuǎn)換標識，任務流程會直接統(tǒng)一管理，依次保證數(shù)據(jù)在不同環(huán)境中的合理存儲;
元數(shù)據(jù)的常見來源如下表：
表1 元數(shù)據(jù)來源
元數(shù)據(jù)存儲
包括存儲元數(shù)據(jù)以及元模型。元數(shù)據(jù)包含數(shù)據(jù)庫信息、數(shù)據(jù)表信息、表的字段信息等元信息，元模型是描述元數(shù)據(jù)的元數(shù)據(jù)。這些信息梳理存儲在關系型數(shù)據(jù)庫中。
元數(shù)據(jù)通常分為業(yè)務、技術(shù)和操作三類：
業(yè)務元數(shù)據(jù)：描述業(yè)務領域的相關概念、關系和規(guī)則的數(shù)據(jù)，包括業(yè)務術(shù)語、信息分類、業(yè)務指標、業(yè)務規(guī)則、資產(chǎn)目錄、Owner、數(shù)據(jù)密集等。
技術(shù)元數(shù)據(jù)：實施人員開發(fā)系統(tǒng)時使用的數(shù)據(jù)，包括模型的表與字段、ETL規(guī)則、集成關系等信息。
管理元數(shù)據(jù)：描述運營管理領域的相關概念，包括人員角色、崗位職責和管理流程、調(diào)度評率、訪問日志等。
元數(shù)據(jù)管理
對收集到的元數(shù)據(jù)進行管理包含如下3個方面：
元模型管理：即基于元數(shù)據(jù)平臺構(gòu)建符合CWM規(guī)范的元數(shù)據(jù)倉庫，實現(xiàn)元模型統(tǒng)一、集中化管理，提供元模型的查詢、增加、修改、刪除、元數(shù)據(jù)關系管理、權(quán)限設置等功能，支持概念模型、邏輯模型、物理模型的采集和管理，讓用戶直觀地了解已有元模型的分類、統(tǒng)計、使用情況、變更追溯，以及每個元模型的生命周期管理。同時，支持應用開發(fā)的模型管理。
元數(shù)據(jù)審核：主要是審核采集到元數(shù)據(jù)倉庫但還未正式發(fā)布到數(shù)據(jù)資源目錄中的元數(shù)據(jù)。審核過程中支持對數(shù)據(jù)進行有效性驗證并修復一些問題，例如缺乏語義描述、缺少字段、類型錯誤、編碼缺失或不可識別的字符編碼等。
元數(shù)據(jù)維護：對信息對象的基本信息、屬性、被依賴關系、依賴關系、組合關系等元數(shù)據(jù)的新增、修改、刪除、查詢、發(fā)布等操作,支持根據(jù)元數(shù)據(jù)字典創(chuàng)建數(shù)據(jù)目錄，打印目錄結(jié)構(gòu)，根據(jù)目錄發(fā)現(xiàn)、查找元數(shù)據(jù)，查看元數(shù)據(jù)的內(nèi)容。元數(shù)據(jù)維護是最基本的元數(shù)據(jù)管理功能之一，技術(shù)人員和業(yè)務人員都會使用這個功能查看元數(shù)據(jù)的基本信息。
Q3
元數(shù)據(jù)能解決什么問題
元數(shù)據(jù)管理作用于數(shù)據(jù)管理的全生命周期，能夠有效促進數(shù)據(jù)資產(chǎn)的管理、交換、共享和開發(fā)利用，其在工業(yè)數(shù)據(jù)空間中可解決如下問題：
促進工業(yè)數(shù)據(jù)共享，元數(shù)據(jù)管理通過搭建標準統(tǒng)一的工業(yè)領域元數(shù)據(jù)體系，從業(yè)務、技術(shù)、操作3個方面，進行分類和定義，賦予數(shù)據(jù)意義，可幫助使業(yè)務人員快速獲取可信數(shù)據(jù)。
提高工業(yè)數(shù)據(jù)的整合和溯源能力，元數(shù)據(jù)管理通過對所有的關鍵數(shù)據(jù)進行系統(tǒng)整合和處理，用戶可以對數(shù)據(jù)處理流程追本溯源，了解業(yè)務處理規(guī)則，數(shù)據(jù)流通情況等。
激活工業(yè)數(shù)據(jù)活性：通過元數(shù)據(jù)管理，可以實現(xiàn)暗數(shù)據(jù)的透明化，增強數(shù)據(jù)活性，幫助解決工業(yè)數(shù)據(jù)資產(chǎn)盤點的問題。
支持工業(yè)數(shù)據(jù)增值變現(xiàn)：元數(shù)據(jù)管理通過分析表模型可敏捷響應海量增長的數(shù)據(jù)分析需求，支持工業(yè)數(shù)據(jù)增值和數(shù)據(jù)變現(xiàn)。
建立工業(yè)數(shù)據(jù)質(zhì)量稽核體系，元數(shù)據(jù)管理通過建立篩選、核實、管理、報警、監(jiān)控的機制，支撐業(yè)務管理規(guī)則有效落地，保障數(shù)據(jù)內(nèi)容的合格、合規(guī)。
聯(lián)系人：
趙老師 13825233551
AII微信公眾號
AII頭條號