集群入门：Hadoop伪分布式集群环境搭建
作者：张老师 浏览次数： 2020-03-19 19:13
在大数据的学习过程中，对于集群的掌握，从理论到实操都是要熟练的。然而很多小伙伴在学习之初，往往遇到这样那样的问题。今天我们就从集群入门的角度，来分享一份Hadoop伪分布式集群环境搭建教程。
我们以三台虚拟机为例来做练习，在电脑性能有限的情况下，搭建三台虚拟机还是可行的。
三台虚拟机中有一台用作master，即主节点，用于Hadoop的NameNode节点（NameNode的主要功能是记录数据的元信息，如表字段、表名称、数据块id等）；
三台虚拟机中有两台用作slave，即从节点，用于Hadoop的DataNode节点（DataNode的主要功能是存储数据内容和读写数据，通常一个数据块是128M）；
三台虚拟机之间能够互相通信，同时虚拟机与PC机也能够通信；
接下来，我们就开始一步步地完成Hadoop集群的搭建——
第一步：配置网络
为了能够使PC机与虚拟机之间通信，必须将PC机和虚拟机的IP设置到相同的网段。如果希望虚拟机也能够联网，还需要将PC机和虚拟机的网关保持相同。所以，需要配置PC机和虚拟机的网络。
第二步：固定Linux系统的IP地址
设置好网卡后，最后还需要配置Master节点（即虚拟机中一台Linux系统的电脑）的IP、网关和子网掩码，具体操作如下：
输入：
vim/etc/sysconfig/network-scripts/ifcfg-eth0
删除etho网卡中的UUID值（唯一识别码）、HWADDR（MAC地址）值和LAST_CONNECT（最近一次连接时间）值，如果不删除的话，会影响后面虚拟机的克隆。
把eth0网卡中的BOOTPROTO设置为static（即表示静态IP），此外再增加静态的IP地址（网段必须与PC机一致）、网关、子网掩码和DNS服务器。
第三步：测试PC机与虚拟机之间的通信
虚拟机（192.168.8.100）可以ping通PC机（192.168.8.88），同时虚拟机也可以ping通baidu（说明可以连接网络）。
第四步：关闭防火墙和selinux
为了防止不必要的麻烦，使后续hadoop集群搭建更加地顺利，最好把虚拟机的防火墙关闭，命令如下：
chkconfig iptables off
为确保万无一失，还需要配置/etc/sysconfig目录下的selinux文件。
重启虚拟机，并验证防火墙是否成功关闭。
第五步：修改主机名
虚拟机需要将其重新修改为master，目的是区别分布式集群中的主节点（master）和从节点（slaves）。修改主机名需要配置/etc/hosts文件和/etc/sysconfig/network这两个文件，修改好这两个文件后，只需要重启虚拟机，便可以发现计算机的名称已经被修改了。
第六步：克隆虚拟机
如上操作仅仅是在配置一台master的计算机，在前文我们已经提到，hadoop集群将架构在一台master和两台slaves之上，故还需要创建两台虚拟机。创建过程只需要克隆即可。
克隆过程是非常简单的，在VMware的主页，右击一台虚拟机，选择管理中的克隆（选择完整克隆哦），然后下一步，设置虚拟机的名称和安装地址，最后点击完成静静地等待它完成克隆。
但是问题来了，克隆的slave1机器无法联网，这是因为在克隆的时候，新的网卡eth1覆盖了eth0。
解决问题的方法很简单，只需要配置/etc/udev/rules.d/目录下的70-persistent-net.rules文件即可，先看一下该文件的内容：
配置时，将第一行的内容注释掉（即在第一行SUBSYSTEM前面加上#号），然后再将第二行的eth1值改为eth0值。
配置克隆虚拟机的eth0网卡
输入：vim/etc/sysconfig/network-scripts/ifcfg-eth0，将IP地址修改为192.168.8.101。
第七步：修改克隆虚拟机的名称
配置/etc/hosts文件和/etc/sysconfig/network文件，将虚拟机的名称修改为slave1。同理，安装克隆slave1的方式再克隆一台虚拟机，并将计算机的名称修改为slave2。
最后，在Shell5中同时连接三台虚拟机，测试三台虚拟机之间的通信状况，互相之间可以实现网络通信，同时也都可以连接互联网，就算是成功了。
今天的集群入门分享，Hadoop伪分布式集群环境搭建，以上就是一个比较简要的过程了。在大数据学习当中，学会搭建集群环境是非常关键的一步，下一步则是进入大数据技术框架的学习了。成都加米谷大数据，专业大数据培训机构，大数据开发培训班，本月正在招生中，课程详情可联系客服了解！
我们以三台虚拟机为例来做练习，在电脑性能有限的情况下，搭建三台虚拟机还是可行的。
三台虚拟机中有一台用作master，即主节点，用于Hadoop的NameNode节点（NameNode的主要功能是记录数据的元信息，如表字段、表名称、数据块id等）；
三台虚拟机中有两台用作slave，即从节点，用于Hadoop的DataNode节点（DataNode的主要功能是存储数据内容和读写数据，通常一个数据块是128M）；
三台虚拟机之间能够互相通信，同时虚拟机与PC机也能够通信；
接下来，我们就开始一步步地完成Hadoop集群的搭建——
第一步：配置网络
为了能够使PC机与虚拟机之间通信，必须将PC机和虚拟机的IP设置到相同的网段。如果希望虚拟机也能够联网，还需要将PC机和虚拟机的网关保持相同。所以，需要配置PC机和虚拟机的网络。
第二步：固定Linux系统的IP地址
设置好网卡后，最后还需要配置Master节点（即虚拟机中一台Linux系统的电脑）的IP、网关和子网掩码，具体操作如下：
输入：
vim/etc/sysconfig/network-scripts/ifcfg-eth0
删除etho网卡中的UUID值（唯一识别码）、HWADDR（MAC地址）值和LAST_CONNECT（最近一次连接时间）值，如果不删除的话，会影响后面虚拟机的克隆。
把eth0网卡中的BOOTPROTO设置为static（即表示静态IP），此外再增加静态的IP地址（网段必须与PC机一致）、网关、子网掩码和DNS服务器。
第三步：测试PC机与虚拟机之间的通信
虚拟机（192.168.8.100）可以ping通PC机（192.168.8.88），同时虚拟机也可以ping通baidu（说明可以连接网络）。
第四步：关闭防火墙和selinux
为了防止不必要的麻烦，使后续hadoop集群搭建更加地顺利，最好把虚拟机的防火墙关闭，命令如下：
chkconfig iptables off
为确保万无一失，还需要配置/etc/sysconfig目录下的selinux文件。
重启虚拟机，并验证防火墙是否成功关闭。
第五步：修改主机名
虚拟机需要将其重新修改为master，目的是区别分布式集群中的主节点（master）和从节点（slaves）。修改主机名需要配置/etc/hosts文件和/etc/sysconfig/network这两个文件，修改好这两个文件后，只需要重启虚拟机，便可以发现计算机的名称已经被修改了。
第六步：克隆虚拟机
如上操作仅仅是在配置一台master的计算机，在前文我们已经提到，hadoop集群将架构在一台master和两台slaves之上，故还需要创建两台虚拟机。创建过程只需要克隆即可。
克隆过程是非常简单的，在VMware的主页，右击一台虚拟机，选择管理中的克隆（选择完整克隆哦），然后下一步，设置虚拟机的名称和安装地址，最后点击完成静静地等待它完成克隆。
但是问题来了，克隆的slave1机器无法联网，这是因为在克隆的时候，新的网卡eth1覆盖了eth0。
解决问题的方法很简单，只需要配置/etc/udev/rules.d/目录下的70-persistent-net.rules文件即可，先看一下该文件的内容：
配置时，将第一行的内容注释掉（即在第一行SUBSYSTEM前面加上#号），然后再将第二行的eth1值改为eth0值。
配置克隆虚拟机的eth0网卡
输入：vim/etc/sysconfig/network-scripts/ifcfg-eth0，将IP地址修改为192.168.8.101。
第七步：修改克隆虚拟机的名称
配置/etc/hosts文件和/etc/sysconfig/network文件，将虚拟机的名称修改为slave1。同理，安装克隆slave1的方式再克隆一台虚拟机，并将计算机的名称修改为slave2。
最后，在Shell5中同时连接三台虚拟机，测试三台虚拟机之间的通信状况，互相之间可以实现网络通信，同时也都可以连接互联网，就算是成功了。
今天的集群入门分享，Hadoop伪分布式集群环境搭建，以上就是一个比较简要的过程了。在大数据学习当中，学会搭建集群环境是非常关键的一步，下一步则是进入大数据技术框架的学习了。成都加米谷大数据，专业大数据培训机构，大数据开发培训班，本月正在招生中，课程详情可联系客服了解！
