主页 > 新闻资讯 > 大数据培训中心:大数据处理需求分类

大数据培训中心:大数据处理需求分类

作者:张老师 浏览次数: 2020-02-27 18:07
面对规模越来越大的“大数据”,企业基于大数据平台进行价值挖掘,也进入了新的阶段,不同类型的数据,有着不同的数据处理需求,需要经过不同的数据处理操作。今天,我们就从大数据培训中心的角度,来谈谈大数据处理需求的不同类型。

大数据的典型特征,其中之一就是数据多样化,来自各个平台、各种来源的数据,要实现数据处理,这其中涉及到多个流程环节,但是针对不同类型的数据,其数据处理需求也是不一样的。

大数据培训中心

数据分析处理需求分类

①事务型处理

在我们实际生活中,事务型数据处理需求非常常见,例如:淘宝网站交易系统、12306网站火车票交易系统、超市POS系统等都属于事务型数据处理系统。

涉及到事务型处理的数据,在数据量和并发交易量不大情况下,一般依托单机版关系型数据库,例如ORACLE、MYSQL、SQLSERVER,再加数据复制(DataGurad、RMAN、MySQL数据复制等)等高可用措施即可满足业务需求。

在数据量和并发交易量增加情况下,一般可以采用ORALCE RAC集群方式或者是通过硬件升级(采用小型机、大型机等,如银行系统、运营商计费系统、证卷系统)来支撑。

②数据统计分析

数据统计主要是被各类企业通过分析自己的销售记录等企业日常的运营数据,以辅助企业管理层来进行运营决策。典型的使用场景有:周报表、月报表等固定时间提供给领导的各类统计报表;市场营销部门,通过各种维度组合进行统计分析,以制定相应的营销策略等。

传统的数据统计分析主要采用基于MPP并行数据库的数据仓库技术。主要采用维度模型,通过预计算等方法,把数据整理成适合统计分析的结构来实现高性能的数据统计分析,以支持可以通过下钻和上卷操作,实现各种维度组合以及各种粒度的统计分析。

目前在数据统计分析领域,为了满足交互式统计分析需求,基于内存计算的数据库仓库系统也成为一个发展趋势。

③数据挖掘

数据挖掘主要是根据商业目标,采用数据挖掘算法自动从海量数据中发现隐含在海量数据中的规律和知识。

数据挖掘的计算复杂度和灵活度远远超过前两类需求。一是由于数据挖掘问题开放性,导致数据挖掘会涉及大量衍生变量计算,衍生变量多变导致数据预处理计算复杂性;二是很多数据挖掘算法本身就比较复杂,计算量就很大,特别是大量机器学习算法,都是迭代计算,需要通过多次迭代来求最优解,例如K-means聚类算法、PageRank算法等。

以上就是关于大数据培训中心,大数据处理需求分类的知识分享了。大数据处理是大数据实现价值挖掘的重要支撑,不同类型的数据,具有不同的特征表现,针对性地进行处理也能更高效地完成数据处理任务。成都加米谷大数据,专业大数据培训机构,数据分析与挖掘2月班即将开班,余位不多,详情可联系客服了解!
热点排行
推荐文章
立即申请>>