如今大数据分析在发展中会遇到什么瓶颈？
作者：张老师 浏览次数： 2019-09-04 16:25
以前，各行业的企业都拥有大量的数据，但是不确定他们可以通过这种方式获得竞争优势。但是随着机器学习、深度学习、自然语言处理等方法的进步，计算能力的提高，看似无用的数据突然开始有了意义。
例如，企业可以使用客户数据分析人口统计资料，购物习惯和其他行为，这有助于改善营销活动和整体的用户体验。尽管人工智能带来了很多好处，但它的发展给大数据带来了无数的挑战，特别是考虑数据需求大的AI系统时。这些挑战是我们在充分认识人工智能和大数据潜力之前必须解决的最大障碍。
基于大数据架构的数据分析平台侧重于从以下几个维度去解决传统数据仓库做数据分析面临的瓶颈：
分布式计算：分布式计算的思路是让多个节点并行计算，并且强调数据本地性，尽可能的减少数据的传输，例如Spark通过RDD的形式来表现数据的计算逻辑，可以在RDD上做一系列的优化，来减少数据的传输。
分布式存储：所谓的分布式存储，指的是将一个大文件拆成N份，每一份独立的放到一台机器上，这里就涉及到文件的副本，分片，以及管理等操作，分布式存储主要优化的动作都在这一块。
检索和存储的结合：在早期的大数据组件中，存储和计算相对比较单一，但是目前更多的方向是在存储上做更多的手脚，让查询和计算更加高效，对于计算来说高效不外乎就是查找数据快，读取数据快，所以目前的存储不单单的存储数据内容，同时会添加很多元信息，例如索引信息。像类似于parquet和carbondata都是这样的思想。
例如，企业可以使用客户数据分析人口统计资料，购物习惯和其他行为，这有助于改善营销活动和整体的用户体验。尽管人工智能带来了很多好处，但它的发展给大数据带来了无数的挑战，特别是考虑数据需求大的AI系统时。这些挑战是我们在充分认识人工智能和大数据潜力之前必须解决的最大障碍。
基于大数据架构的数据分析平台侧重于从以下几个维度去解决传统数据仓库做数据分析面临的瓶颈：
分布式计算：分布式计算的思路是让多个节点并行计算，并且强调数据本地性，尽可能的减少数据的传输，例如Spark通过RDD的形式来表现数据的计算逻辑，可以在RDD上做一系列的优化，来减少数据的传输。
分布式存储：所谓的分布式存储，指的是将一个大文件拆成N份，每一份独立的放到一台机器上，这里就涉及到文件的副本，分片，以及管理等操作，分布式存储主要优化的动作都在这一块。
检索和存储的结合：在早期的大数据组件中，存储和计算相对比较单一，但是目前更多的方向是在存储上做更多的手脚，让查询和计算更加高效，对于计算来说高效不外乎就是查找数据快，读取数据快，所以目前的存储不单单的存储数据内容，同时会添加很多元信息，例如索引信息。像类似于parquet和carbondata都是这样的思想。
大数据分析是一个复杂的领域，当考虑到机器学习，深度学习和常用于分析数据的AI的其他组件时，事实会变得更加复杂。
因此，对于在各个领域有才能的数据科学家有着巨大的需求，纯粹是因为这项工作是多学科的。麦肯锡的一项研究预测，到2018年，仅美国就有大约20万个跨行业的大数据科学家和专业人员就业岗位。随着数据收集和先进的基于人工智能的分析方法的不断增加的途径，这种需求将会增长，如何找到合适的专业人员来处理这些数据，这会给企业增加压力。
除了机器学习和数据挖掘外，数据科学家需要的一些技能还包括统计学，软件工程，线性代数，Python和Java等编程语言，以及用于高级分析的Hadoop等平台。想成为一位大数据人才么？可以来成都加米谷学院学习大数据，加入我们，六个月后你就是一个专业的大数据人才。
- 上一篇：大数据的Hadoop和数据库
- 下一篇：传统大数据架构和流式架构的差别
