大数据元数据,元数据的主要作用

大数据元数据,元数据的主要作用

元数据是数据中心的重要基础设施。元数据治理贯穿数据产生、处理、消费的全过程，积累数据资产，搭建技术与业务之间的桥梁。 1.元数据的传统定义，元数01.大数据的元数据中心-元数据的概念和分类。元数据也称为描述数据的数据。可以将其与模式关系数据库进行比较。 直观理解的信息，但它不仅仅是模式信息，它还包括许多其他信息

在谈论元数据管理之前，我们先来谈谈什么是元数据。 从广义上讲，所有描述数据的数据都可以称为元数据。 元数据管理是对此类元数据的添加、删除、修改和搜索的管理。 对于大数据平台来说，元数据就是大数据产生的价值：对于非结构化、非量化的对象本身，结构化的元数据可以用来快速计算和判断。 元数据与大数据应用密切相关。大数据应用第一阶段

在数据平台建设初期，此类数据主要分散在各个平台子系统的数据库中，如HiveMetaStore、调度系统DB等。这一时期的数据平台主要服务于业务数据需求，同时平台还管理表并编写ETL、配置和调度功能技术元数据包括：库表结构、字段约束、数据模型、ETL程序、SQL程序、数据质量监控监督等 存储元数据：表、字段、分区等信息。运行元数据：大数据平台上的所有运行等信息：类似HiveJobday

1.什么是元数据？元数据是描述数据的数据。它为各类企业数据提供上下文环境，让企业更好地理解、管理和使用数据。 现在数据对于公司的决策非常重要。随着业务的发展，业务线会逐渐扩大。大数据：元数据（Metadata）大数据：元数据（Metadata）1.元数据概述1.元数据定义元数据数据：按照传统定义，元数据是关于数据的数据；元数据的目的：打通源数据和数据仓库

修改等；3． 负责数据分析、整理并出具数据指标报告；4． 负责数据监测和预测工作；5． 建立数据冲突解决项目名称：国家电网电力大数据平台元数据与数据模型管理功能-实施项目准备单位：年月1概述51.1主要依据51.2主要原则51.3必要性分析71.4效益分析82建设状况93项目需求分析