数据治理之元数据管理

大家好，欢迎来到IT知识分享网。

一、元数据管理概述

什么是元数据

元数据的3种类型

业务元数据

• 业务定义、 业务术语解释等；业务指标名称、 计算口径、 衍生指标等；
• 业务引擎的规则、 数据质量检测规则、 数据挖掘算法等；
• 数据的安全或敏感级别等

技术元数据

• 物理数据库表名称、 列名称、 字段长度、 字段类型、 约束信息、 数据依赖关系等；
• 数据存储类型、 位置、 数据存储文件格式或数据压缩类型等；
• 字段级血缘关系、 SQL脚本信息、 ETL信息、 接口程序等；调度依赖关系、 进度和数据更新频率等。

操作元数据

• 数据所有者、 使用者等；
• 数据的访问方式、 访问时间、 访问限制等；数据访问权限、 组和角色等；
• 数据处理作业的结果、 系统执行日志等；
• 数据备份、 归档人、 归档时间等。

元数据的作用

描述： 对数据对象的内容、 属性的描述， 这是元数据的基本功能， 是各组织、 各部门之间达成共识的基础。
定位： 有关数据资源位置方面的信息描述， 如数据存储位置、 URL等记录， 可以帮助用户快速找到数据资源， 有利于信息的发现和检索。
检索： 在描述数据的过程中， 将信息对象中的重要信息抽出标引并加以组织， 建立它们之间的关系， 为用户提供多层次、 多途径的检索体系， 帮助用户找到想要的信息。
管理： 对数据对象的版本、 管理和使用权限的描述， 方面信息对象管理和使用。
评估： 由于有元数据描述， 用户在不浏览具体数据对象的情况下也能对数据对象有个直观的认识， 方便用户的使用。
交互： 元数据对数据结构、 数据关系的描述方便了数据对象在不同部门、不同系统之间进行流通和流转， 并确保流转过程中数据标准的一致性。

什么是元数据管理

元数据管理的目标

建立指标解释体系

提高数据溯源能力

让用户能够清晰地了解数据仓库中数据流的来龙去脉、 业务处理规则、 转换情况等， 提高数据的溯源能力， 支持数据仓库的成长需求， 降低因员工换岗造成的影响。 元数据有助于回答以下问题：这张表是从哪个业务系统中抽取过来的？ETL过程是否对数据进行过加工处理？ 进行了哪些处理？指标数据是从哪些表汇总计算出来的？
典型应用有血缘分析、 影响分析、 全链路分析。

数据质量稽核体系

元数据管理的阶段

二、元数据管理方法

业务目标理解

建立企业数据资产目录

数据即资产的理念已经得到企业的广泛认可。 面对不断增长、 不断变化、日益复杂的数据环境， 企业需要数据资产的简单发现和跟踪能力。 通过管理元数据， 企业能够快速发现数据资产的分布和关系， 形成企业数据资产目录。

消除冗余加强数据复用

通过元数据管理， 建立基于CWM的元数据仓库， 实现企业元数据的统一管理， 并将元数据仓库作为“单一数据源”， 为企业的应用开发提供可复用的数据模型和元数据标准， 以实现元数据的重复利用， 减少冗余或未使用数据， 从而提高工作效率， 降低软件开发成本， 缩短项目交付时间。

降低因人员流动而导致知识流失的风险

企业重要的数据资产常常因关键员工的调离或离职而“消失”， 这里所谓的“消失”通常并不是因为员工将数据恶意删除或拿走， 而是企业数据资产的存放方式、 存储位置等关键数据都只留在关键员工的大脑中， 一旦该员工离开公司， 数据资产也就隐没在“茫茫数海”中了！ 而统一的元数据管理能够降低企业这种数据“消失”的风险。

提供数据血缘探查能力， 提高数据分析的质量

数据来自什么地方以及如何产生、 处理和交付数据， 这为用户提供了重要的背景知识。 探查源系统中的数据可以暴露和解决数据的不准确、 不一致问题， 从而提升数据的质量。此外， 元数据的统一管理， 提供变更管理、 版本控制等能力为不断变更的业务需求所带来的影响提供了支撑， 并加快了新应用开发项目和数据集成项目的开发速度。 开发人员可以依赖统一、 标准的元数据来轻松、 准确地确定他们的项目所需的数据， 从而节约项目开发成本， 提升项目交付效率。

三、元数据管理技术

元数据采集

元数据管理

从技术的角度看， 元数据管理一般包括元模型管理、 元数据审核、 元数据维护、 元数据版本管理、 元数据变更管理等功能。

元数据应用

数据资产地图

元数据血缘分析

元数据接口

建立元数据查询、 访问的统一接口规范， 以将企业核心元数据完整、 准确地提取到元数据仓库中进行集中管理和统一共享。元数据接口规范主要包括接口编码方式、 接口响应格式、 接口协议、 接口安全、 连接方式、 接口地址等方面的内容。