主页 > 新闻资讯 > 大数据业余培训班:大数据发展历史简介

大数据业余培训班:大数据发展历史简介

作者:张老师 浏览次数: 2020-05-13 15:39
大数据飞速发展的大背景下,各行各业都开始融入大数据的趋势之中,越来越多的岗位要求数据相关的能力,尤其是数据分析能力,成为更多行业岗位所需要的基本技能之一。今天的大数据业余培训班分享,我们就从入门的角度,来分享一下大数据发展历史。

大数据从首次提出概念,到今天,可以说已经有了近30年的历史了,但是真正落地发展,也就在最近的这几年当中,进入了一个爆发期,国内国外,大大小小的企业,都在被大数据影响着,也都主动被动地被卷入大数据浪潮当中。

大数据业余培训班

大数据发展历史,可以大致分为以下几个阶段——

启蒙阶段:数据仓库的出现

20世纪90年代,商业智能(也就是我们熟悉的BI系统)诞生,它将企业已有的业务数据转化成为知识,帮助老板们进行经营决策。比如零售场景中:需要分析商品的销售数据和库存信息,以便制定合理的采购计划。

显然,商业智能离不开数据分析,它需要聚合多个业务系统的数据(比如交易系统、仓储系统),再进行大数据量的范围查询。而传统数据库都是面向单一业务的增删改查,无法满足此需求,这样就促使了数据仓库概念的出现。

传统的数据仓库,第一次明确了数据分析的应用场景,并采用单独的解决方案去实现,不依赖业务数据库。

技术变革:Hadoop诞生

2000年左右,PC互联网时代来临,同时带来了海量信息,很典型的两个特征:数据规模变大、数据类型多样化。

很显然,传统数据仓库无法支撑起互联网时代的商业智能。2003年,Google公布了3篇鼻祖型论文,包括:分布式处理技术MapReduce,列式存储BigTable,分布式文件系统GFS。这3篇论文奠定了现代大数据技术的理论基础。

苦于Google并没有开源这3个产品的源代码,而只是发布了详细设计论文。2005年,Yahoo资助Hadoop按照这3篇论文进行了开源实现,这一技术变革正式拉开了大数据时代的序幕。

数据工厂时代:大数据平台兴起

商用Hadoop包含上十种技术,整个数据研发流程非常复杂。为了完成一个数据需求开发,涉及到数据抽取、数据存储、数据处理、构建数据仓库、多维分析、数据可视化等一整套流程。这种高技术门槛显然会制约大数据技术的普及。

此时,大数据平台(平台即服务的思想,PaaS)应运而生,它是面向研发场景的全链路解决方案,能够大大提高数据的研发效率,让数据像在流水线上一样快速完成加工,原始数据变成指标,出现在各个报表或者数据产品中。

数据价值时代:阿里提出数据中台

2016年左右,已经属于移动互联网时代了,随着大数据平台的普及,也催生了很多大数据的应用场景。

此时开始暴露出一些新问题:为了快速实现业务需求,烟囱式开发模式导致了不同业务线的数据是完全割裂的,这样造成了大量数据指标的重复开发,不仅研发效率低、同时还浪费了存储和计算资源,使得大数据的应用成本越来越高。

极富远见的马云爸爸此时喊出了「数据中台」的概念,「One Data,One Service」的口号开始响彻大数据界。数据中台的核心思想是:避免数据的重复计算,通过数据服务化,提高数据的共享能力,赋能业务。

关于大数据业余培训班,大数据发展历史,以上为大家做了一个简单的介绍。大数据有今天的繁荣发展,非一日之功,而是一直在不断更新迭代,想做大数据,跟上最新技术趋势很重要。成都加米谷大数据,专业大数据培训机构,大数据业余培训班,课程大纲及试学视频可联系客服领取!
热点排行
推荐文章
立即申请>>