基于数据探针和元数据管理的数据质量管理平台

基于数据探针和元数据管理的数据质量管理平台内容摘要：

同步不全，导致缺数 ， 无法进行准确的数据补采，只能进行某时段的全量数据补采，补采时负荷较大。 而且 数据补采复杂，人工参与度高。 数据质量管理 平台 采用基于数据探针的数据同步机制，与传统方式不同，较以往同步方式有很大改进。 同步过程分三步： 第 1 步： 探测数据情况 通过编写“数据探针” sql探测数据源的数据情况，主要记录 源数据库编号、源表名、数据开始时间、网元、本次记录条数、上次记录条数、时间戳。 (1)探测数据变化的时间范围要合理，不可过长，避免因数据探测占用大量时间。 (2)探测时的统计粒度（如网元粒度、时间粒度）要 控制好 ，粒度既不能太粗也不能太细，太粗则有可能会导致大面积的重复采集，太细则会导致数据探测结果过多。 例如 GSM小区小时性能原始数据，可以考虑使用 bsc+时间做为统计粒度。 5 第 2步：进行 数据同步 根据数据探针探测到的记过构造数据源查询 的条件，限定数据同步的范围。 (1)基于探针结果表中当前数据条数和历史数据条数的比对。 (2)要注意构造查询条件时 sql运行的效率，保证数据同步的效率。 第 3步： 更新探测结果 (1)采集正常结束后使用“当前数据条数”更新“历史数据条数”，保证两者一致，下次探测时如果数据源无变化则不会重复采集数据。 元数据管理 元数据管理 范畴 及 目标 元数据 (Meta Data)泛指描述领域概念 (Domain Concepts)、领域关系 (Domain Roles)、领域规则(Domain Rules)的数据。 通过元数据管理，可以 加强系统数据的管控力度，增强系统自身管理能力 ，实现元数据的全程统一管理 ， 为数据质量管理提供支持。 元数据管理为用户提供统一的元数据管理手段。 通过建立元数据管理模块，可以对 无线网优平台中的元数据进行收集、存储、输出、查询和分析等操作。 用户通过元数据管理模块浏览元数据，并可以理解各种元数据的定义和整个运作过程，以及相关元数据在其中发挥的作用，从而更有效地理解和控制系统的运行。 无线网优平台中数据质量管理的元数据 包括维度、指标、数据库、数据表、字段、 ETL（数据汇总过程 等 ），可对指标、数据表进行各种分析。 元数据管理技术架构 和数据处理过程 业务元数据 技术元数据 管理元数据 基本维护管理 分析功能 指标管理 其他应用 应 用 层 存储 层 功能层 6 元数据管理技术架构  对于能提供专用的或者标准的元数据获取接口的实体，元数据管理模块可以利用这些接口自动抽取元数据。 对于无法通过获取接口或者编译技术进行自动获取的元数 据， 需要通过手工整理的方式进行处理。  获取的元数据 存储在存储层的元数据库中。  通过 功能层为前端元数据应用提供了基本的功能支撑， 主要包括 元数据基本功能、元数据分析功能、元数据服务接口等。  元数据应用层通过调用功能层的功能， 对元数据管理的实际问题提供应用解决方案。 数据质量管理 项目总结了北京公司网优中心在日常数据支撑工作中的各项人工维护和干预工作经验，通过采用数据探针和元数据管理的新技术 ， 依托网优平台， IT化全网数据的数据质量管理，有效 提升 了 数据的完整性、准确性、及时性和稳定性 ，推进数据质量管理自动化、流程化。 目前，该平台已实现无线侧 全网数据 的有效监控，监控率达 100%，已接入 2G、 TD的资源类、性能类、参数类、 MR数 据，涉及诺西、 MOTO、华为、中兴、诺西、普天共计 6个厂商，实现了多种类、。