...ark的实时大数据质量监控平台
潘媛 王菁 李玲璠 刘跃龙
摘 要 文章结合实际案例，对于采用规律库技术进行的数据质量监控平台的功能设计进行分析。通过数据质量监控平台的构建，实现对问题数据的预警、对增量业务的数据监控，实现预处理功能，提升数据质量监控质量。
关键词 数据质量监控；平台设计；投资规划
中图分类号 TP3 文献标识码 A 文章编号 1674-6708（2018）217-0108-02
云南电网公司信息化项目建立投资计划、项目管理子系统数据质量监控平台，为信息管理部门及系统应用部门人员提供系统实用化评价与考核、系统内应用数据、协同数据项目数据的考核指标监控管理功能，通过数据分析功能为用户提供项目数据提供持续性分析完善功能，为业务部门提供有效的数据整改依据。同时利用信息化技术手段实现数据异常信息的推送提醒及异常数据的监控分析，为公司加强数据清理，开展数据质量治理专项行动提供有效的信息化平台功能支撑。
1 数据质量监控平台体系概述
1.1 定义
所谓数据，指的是信息系统通过采集、分类、调取、统计分析等流程，对于数据进行统计检验，产生定量和定性的分析结果。为了满足对数据进行质量监控的要求，一般要从数据规范性、数据准确性、完整性和数据及时性、一致性方面进行数据质量的监控[ 1 ]。
1.2 数据质量监控平台管理
数据质量的监控，采用循环的常态管理模式，借助系统工程的管理思维，对数据质量进行统筹和规划，形成规范、分析、度量和改进等闭环的过程，通过阶段性的分析整治提升，形成整体的数据质量。
1.3 数据质量监控体系构建
投资计划及其他项目数据质量及实用化监控平台，主要包括投资计划子系统、项目管理子系统关键业务的数据质量监控，以及实用化情况监控。投资计划系统监控及考核信息化项目数据，项目管理系统需要监控和考核信息化项目的数据质量及实用化。
2 数据质量监控平台设计原则
1）通过详细的需求调研，平台的设计初期，明确了该项目需要建设的内容，与可研阶段进行对比，要求投资计划数据质量监控内容包括：根据“2017年投资计划和项目管理系统实用化提升和数据质量治理工作方案”：取消投资计划数据准确率监控中“采购结果准确率”的考核内容；新增“投资计划数据质量考核”的内容；新增“投资计划数据质量考核面板（省公司）”的内容，从省公司层面，展示云南省數据质量考核得分情况。根据云南电网公司需求，新增“投资趋势分析”的统计内容[2]。
2）项目管理数据质量。根据“2017年投资计划和项目管理系统实用化提升和数据质量治理工作方案”，取消项目管理完整率监控中的“验收结论录入完整率”的考核；取消项目管理完整率监控中的“采购结果完整率”的考核；新增“项目管理数据质量考核-项目组织规范性得分”的考核；新增“项目管理数据质量考核-服务发票登记准确性得分”的考核；新增“项目管理数据质量考核-概算编制准确性得分”的考核；新增“项目管理数据质量考核-服务合同准确性得分”的考核；新增“项目管理数据质量考核-服务发票登记规范性得分”的考核；新增“项目管理协同数据考核-概算同步”的考核；新增“项目管理协同数据考核-服务合同”的考核；新增“项目管理协同数据考核-发票登记”的考核；新增“项目管理数据质量考核面板（省公司）”的内容，展示云南电网公司数据质量及协同数据质量考核得分。
3 平台技术实施
监控主页分为两部分，包括数据质量监控、实用化监控，按单位对数据质量和实用化情况进行汇总展示；投资计划数据质量监控分别从投资域的数据完整性、准确性、协同数据的一致性进行展示数据质量情况；项目管理数据质量监控分别从项目过程业务数据的完整性、准确性、规范性以及业务数据质量考核、协同数据质量考核等方面，进行展示数据质量情况；投资计划实用化监控从投资域业务功能实用化和协同实用化两方面进行展示系统实用化情况；项目管理实用化监控从项目系统主要功能的使用、流程使用、系统登录情况、业务功能实用化考核、协同业务实用化考核展示系统实用化情况。主要技术实施包括基础网络、端到端监控、用户体验监控、告警、个例检查等[3]。
平台的技术要点包括：与数据中心无缝对接；支持校验规则的自定义配置，基于专家库实现问题数据自整改。数据质量预警监控平台在技术架构上从上到下主要分为数据层、业务逻辑层和应用界面层3个层次。数据库的校验技术，采用历史数据问题的记录和解决方案的设定，将问题数据进行模块的校验，对于数据抽取模块进行提取，对于数据质量进行问题的发现[4]。采用数据模块的集成，借助数据中心进行通道的传输，将等待上报的业务数据，进行存放，经过对于模块进行规则库的数据质量的校验，最终，将业务数据进行分析，采用后续处理的方式，将问题数据进行校正。数据专家库中的历史问题记录，可以与问题数据进行对比，帮助找到问题的快速解决方法。并且将最终校正好的问题数据进行同步更新和数据源的记录，如果没有发现问题的历史记录或者提不出适合的解决方案，则同步到数据源中，采用无解决方案或者无历史记录的解决方法，对数据质量管理员发出预警信息，用数据质量管理员线下处理的方式，校正问题数据。
4 结论
企业进行战略衡量、执行过程中，要对数据质量实行精益化的管理。通过建立在规律库基础上的数据质量监控平台，将数据中心的数据进行采集，通过数据采集通道，搭建数据质量预警监控平台，结合可配置的校验规则库和问题处理专家库，对系统产生的增量业务数据进行预警、监控、整改，确保系统能够对数据中心数据完整、准确的上报。
参考文献
[1]陈啸，麦笃彪，聂勇.状态数据分析与教学条件监控——国家数据库平台在HJ学院内部质量保障建设中的应用[J].教育教学论坛，2018（14）：33-37.
[2]徐毅，曾文兵.Openstack虚拟化流量平台监控系统[J].计算机系统应用，2018（2）：51-57.
[3]陈冰怡，王汉峥，高松，等.上海市工业区大气污染预警监测信息平台研究与设计[J].环境监测管理与技术，2017（6）：5-8.
[4]李娟娟，王希娟.基于物联网技术的电梯监控系统设计[J].微型电脑应用，2018（2）：33-35，39.
