在大数据开源框架的应用上,Zookeeper无疑是不能忽视的一环,作为为分布式应用提供协调服务的组件,在大数据系统平台搭建上,具备不可替代的作用,学习大数据,Zookeeper也是必学的。今天的短期大数据开发培训分享,我们来详细了解一下Zookeeper项目组件。
ZooKeeper翻译中文名称是动物园管理员,而这个动物园管理员管理的其实不是真正的动物,而是很多以动物命名的框架运行会用到ZooKeeper,大数据中很多框架都与动物有关,比如pig,hive等。
ZooKeeper工作机制
Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应,从而实现集群中类似Master/Slave管理模式。
ZooKeeper应用场景
1、统一命名服务
分布式环境下,需要对应用/服务进行统一命名,便于识别。
2、统一配置管理
分布式环境下,要求集群中,所有节点的配置信息是一致的,对配置文件修改后也需要快速同步到各个节点上。配置管理就可交由ZK实现,过程如下:
①可将配置信息写入ZK的一个节点
②每个客户端服务器监听这个节点
③一旦节点数据被修改,ZK将通知每个客户端服务器
3、统一集群管理
分布式环境中需要实时掌握每个节点的状态,并且根据实时状态做一些调整。ZK就可以实时监控节点状态的变化。实现过程如下:
①可将节点信息,写入ZK的一个节点
②监听节点,实时获取节点状态信息
4、软负载均衡
可以根据每台服务器的访问数,选择访问数最少的服务器进行访问。
关于短期大数据开发培训,Zookeeper项目组件,以上就是今天的内容分享了。在大数据系统平台的运行当中,Zookeeper确实是起到关键性的作用的,因此在培训学习当中,对Zookeeper的相关知识,要仔细学习掌握。加米谷大数据,
成都大数据培训机构,大数据开发短期提升班,本月正在招生中,课程详情及试学视频可私聊客服获取!