关于Hadoop技术的优点与缺点。
作者：张老师 浏览次数： 2019-09-11 15:01
企业要提高数据质量必须考虑进行数据管理，并需要为此设立数据管家职位，这一职位的人员需要能够利用各种技术工具汇集企业周围的大量数据，并将数据清洗和规范化，将数据导入数据仓库中，成为一个可用的版本。然后，通过报表和分析技术，数据被切片、切块，并交付给成千上万的人。担当数据管家的人，需要保证市场数据的完整性，准确性，唯一性，真实性和不冗余。
数据安全这一职位，主要负责企业内部大型服务器、存储、数据安全管理工作，并对网络、信息安全项目进行规划、设计和实施。数据安全研究员还需要具有较强的管理经验，具备运维管理方面的知识和能力，对企业传统业务有较深刻的理解，才能确保企业数据安全做到一丝不漏。
Hadoop的优点是数据的容量和计算能力以及数据的备份安全性有了很大程度的提升，1.0最大可以支持到大约4000台服务器的并行存储和运算，而2.0大约可以支持6000台服务器。不过2.0现在还不是很完善，所以生产环境还是建议用1.0。
我认为4000台集群的容量和计算能力足以匹敌IBM的大型机，从去年12月15号的中国银行大型机宕机事件来看。大型机就算安全性再有保障，也毕竟是单点。真出了故障，谁也不敢拍板切换到备份大型机上。Hadoop 1.0已经有了很多方案去解决单点问题，2.0自己就支持单点故障切换。或许未来继续发展，将全面超越大型机。事实上，IBM已经开始出自己的Hadoop发行版了。
我认为4000台集群的容量和计算能力足以匹敌IBM的大型机，从去年12月15号的中国银行大型机宕机事件来看。大型机就算安全性再有保障，也毕竟是单点。真出了故障，谁也不敢拍板切换到备份大型机上。Hadoop 1.0已经有了很多方案去解决单点问题，2.0自己就支持单点故障切换。或许未来继续发展，将全面超越大型机。事实上，IBM已经开始出自己的Hadoop发行版了。
至于缺点，就是Hadoop1.0还是存在单点问题，但是可以通过其他技术手段弥补做到热切换，只是要求维护人员的技术水平较高。另外一个缺点是计算的时间会比较长，还无法做到实时查询和快速决策响应。但是有很多其他的方案在弥补Hadoop的这个问题，像Apache出的跟Google Dremel竞争的Drill，Cloudera推出的Impala，和其他一些产品。而实时计算则有Twitter开源的Storm集群，设计理念跟Hadoop是一样的，但是可以对实时数据流进行计算，并即刻生成计算结果。做到随查随出。
- 上一篇：学习完大数据有哪些工作岗位？
- 下一篇：大数据行业人才如此稀缺,快来加入我们吧.
