📜  什么是元数据

📅  最后修改于: 2020-12-30 00:40:25             🧑  作者: Mango

什么是元数据?

元数据是有关数据的数据或有关用户所需信息的文档。在数据仓库中,元数据是必不可少的方面之一。

元数据包括以下内容:

  • 仓库系统和组件的位置和说明。
  • 数据仓库和最终用户视图的名称,定义,结构和内容。
  • 识别权威数据源。
  • 用于填充数据的集成和转换规则。
  • 用于将信息传递给最终用户分析工具的集成和转换规则。
  • 用于将信息传递给分析订户的订阅信息。
  • 用于分析仓库使用情况和性能的指标。
  • 安全授权,访问控制列表等

元数据用于构建,维护,管理和使用数据仓库。元数据允许用户访问以帮助理解内容和查找数据。

元数据的几个示例是:

  • 库目录可被视为元数据。目录元数据由代表资源特定属性的几个预定义组件组成,并且每个项目可以具有一个或多个值。这些组成部分可以是作者的姓名,文档的名称,发行者的名称,出版日期及其所属的方法。
  • 内容表和书籍中的索引可以视为书籍的元数据。
  • 假设我们说关于一个人的数据项是80。必须通过指出该数据项是该人的体重并且单位是千克来定义它。因此,(重量,千克)是有关该数据的元数据为80。
  • 元数据的另一个示例是像本书这样的报告中有关表格和图形的数据。一个表(是一个记录)具有一个名称(例如,表标题),并且存在可以被视为元数据的表的列名。这些图还具有标题或名称。

为什么在数据仓库中需要元数据?

  • 首先,它充当链接数据仓库所有部分的粘合剂。
  • 接下来,它向开发人员提供有关内容和结构的信息。
  • 最终,它为最终用户打开了大门,并使内容在其术语范围内可识别。

元数据就像一个神经中心。在数据仓库的构建和管理过程中的各种过程会生成部分数据仓库元数据。另一个使用由一个进程生成的元数据的一部分。在数据仓库中,元数据占据关键位置,并支持各种方法之间的通信。它充当数据仓库的神经中枢。

该图显示了元数据在数据仓库中的位置。

元数据的类型

数据仓库中的元数据分为三个主要部分:

  • 操作元数据
  • 提取和转换元数据
  • 最终用户元数据

操作元数据

众所周知,数据仓库的数据来自企业的各种操作系统。这些源系统包括不同的数据结构。为数据仓库选择的数据元素具有各种字段长度和数据类型。

在从数据仓库的源系统中选择信息时,我们划分记录,合并来自不同源文件的文档因素,并处理多种编码方案和字段长度。当我们向最终用户交付信息时,我们必须能够将其绑定到源数据集。操作元数据包含有关操作数据源的所有这些信息。

提取和转换元数据

提取和转换元数据包括有关从源系统中删除数据的数据,即提取频率,提取方法和用于数据提取的业务规则。同样,此元数据类别包含有关在数据登台区域中发生的所有数据转换的信息。

最终用户元数据

最终用户元数据是数据仓库的导航图。它使最终用户可以从数据仓库中查找数据。最终用户元数据允许最终用户使用其业务术语并以他们通常认为业务的那些方式来查找信息。

元数据交换计划

提出了元数据交换倡议,以将行业供应商和用户召集在一起,以解决与交换,共享和管理元数据有关的各种严重问题。元数据交换标准的目标是定义一种可扩展的机制,该机制将允许供应商交换标准元数据以及携带“专有”元数据。创始成员同意以下初步目标:

  • 为元数据创建独立于供应商,行业定义和维护的标准访问机制以及应用程序编程接口(API)。
  • 通过使用兼容交换标准的工具,使用户能够在其独特的环境中控制和管理元数据的访问和操纵。
  • 允许用户构建满足其需求的工具,并使他们能够根据这些工具配置进行相应调整。
  • 允许单个工具在交换模型的内容内自由有效地满足其元数据要求。
  • 描述一种简单,干净的实施基础结构,该基础结构将通过最小化修改量来促进合规性并加快采用速度。
  • 创建一个过程和过程,不仅用于维护和建立交换标准规范,还用于随着时间的推移更新和扩展它。

元数据交换标准框架

交换标准元数据模型的实现假设元数据本身可以以任何类型的存储格式存储:ASCII文件,关系表,固定或自定义格式等。

它是一个基于框架的框架,该框架会将访问请求转换为标准交换索引。

在元数据交换联盟中已经提出了几种方法:

  • 程序方法
  • ASCII批处理方法
  • 混合方式

在一种过程方法中,与API的通信内置于该工具中。它实现了最高程度的灵活性。

ASCII批处理方法中,而不是依赖ASCII文件格式,该文件格式包含构成交换标准元数据模型的各种元数据项和标准化访问要求的信息。

混合方法中,它遵循数据驱动模型。

元数据交换标准框架的组件

1)标准元数据模型:它是指ASCII文件格式,用于表示正在交换的元数据。

2)描述最少API函数数量的标准访问框架。

3)工具配置文件,由每个工具供应商提供。

4)用户配置是一个文件,解释用户环境中元数据的合法交换路径。

元数据存储库

元数据本身位于元数据存储库中,并由元数据存储库控制。元数据存储库管理软件可用于将源数据映射到目标数据库,集成和转换数据,生成用于数据转换的代码以及将数据移至仓库。

元数据存储库的好处

  • 它提供了一套用于企业范围内元数据管理的工具。
  • 它消除并减少了不一致,冗余和未充分利用的情况。
  • 它改善了组织控制,简化了信息资产的管理和会计。
  • 它增加了信息资产的协调,理解,标识和利用。
  • 它通过共享和重用元数据的能力来实施CASE开发标准。
  • 它利用对遗留系统的投资并利用现有的应用程序。
  • 它为异构RDBMS提供了共享信息的关系模型。
  • 它提供了有用的数据管理工具,可通过数据字典管理公司信息资产。
  • 它提高了应用程序开发过程的可靠性,控制力和灵活性。