在治理大数据时有哪些流程？
作者：张老师 浏览次数： 2019-09-23 10:37
大数据作为一种资源，在政府、大型企业和机构中发挥着越来越重要的作用。随着大数据应用的不断推进，与数据资源的价值提炼、保值和增值密切相关的大数据治理越来越引起人们的重视。大数据治理是一项复杂的工程，它需要在国家、行业、企业等多个层面上开展体系化的建设，技术上包含数据资产确权、数据管理、数据开放共享、数据隐私保护等诸多方面。
这些技术面临的挑战多、难度大，很多方面还没有形成被广泛认可的系统化的解决方案。大数据治理应该贯穿整个大数据开发流程，它有扮演着重要的角色，浅略的介绍几点：
一、数据血缘
从数据血缘说起，数据血缘应该是大数据治理的入口，通过一张表，能够清晰看见它的来龙去脉，字段的拆分，清洗过程，表的流转，数据的量的变化，都应该从数据血缘出发，我个人认为，大数据治理整个的目标就是这个数据血缘，从数据血缘能够有监控全局的能力。
数据血缘是依托于大数据开发过程的，它包围着整个大数据开发过程，每一步开发的历史，数据导入的历史，都应该有相应的记录，数据血缘在数据资产有一定规模时，基本必不可少。
二、数据质量审查
数据开发中，每一个模型（表）创建的结束，都应该有一个数据质量审查的过程，在体系大的环境中，还应该在关键步骤添加审批，例如在数据转换和映射这一步，涉及到客户的数据提供，应该建立一个完善的数据质量审查制度，帮助企业第一时间发现数据存在的问题，在数据发生问题时也能第一时间看到问题的所在，并从根源解决问题，而不是盲目的通过连接数据库一遍一遍的查询sql。
三、全平台监控
监控呢，其实包含了很多的点，例如应用监控，数据监控，预警系统，工单系统等，对我们接管的每个数据源、数据表都需要做到实时监控，一旦发生殆机，或者发生停电，能够第一时间电话或者短信通知到具体负责人，这里可以借鉴一些自动化运维平台的经验的，监控约等于运维，好的监控提供的数据资产的保护也是很重要的。
这些技术面临的挑战多、难度大，很多方面还没有形成被广泛认可的系统化的解决方案。大数据治理应该贯穿整个大数据开发流程，它有扮演着重要的角色，浅略的介绍几点：
一、数据血缘
从数据血缘说起，数据血缘应该是大数据治理的入口，通过一张表，能够清晰看见它的来龙去脉，字段的拆分，清洗过程，表的流转，数据的量的变化，都应该从数据血缘出发，我个人认为，大数据治理整个的目标就是这个数据血缘，从数据血缘能够有监控全局的能力。
数据血缘是依托于大数据开发过程的，它包围着整个大数据开发过程，每一步开发的历史，数据导入的历史，都应该有相应的记录，数据血缘在数据资产有一定规模时，基本必不可少。
二、数据质量审查
数据开发中，每一个模型（表）创建的结束，都应该有一个数据质量审查的过程，在体系大的环境中，还应该在关键步骤添加审批，例如在数据转换和映射这一步，涉及到客户的数据提供，应该建立一个完善的数据质量审查制度，帮助企业第一时间发现数据存在的问题，在数据发生问题时也能第一时间看到问题的所在，并从根源解决问题，而不是盲目的通过连接数据库一遍一遍的查询sql。
三、全平台监控
监控呢，其实包含了很多的点，例如应用监控，数据监控，预警系统，工单系统等，对我们接管的每个数据源、数据表都需要做到实时监控，一旦发生殆机，或者发生停电，能够第一时间电话或者短信通知到具体负责人，这里可以借鉴一些自动化运维平台的经验的，监控约等于运维，好的监控提供的数据资产的保护也是很重要的。
- 上一篇：大数据开发技术存在哪些难点呢？
- 下一篇：关于大数据可视化你知多少？
