Flink环境搭建：Flink环境搭建步骤详解

在Flink学习的入门阶段，非常重要的一个过程就是Flink环境搭建，这是认识FLInk框架的第一步，也是为后续的理论学习和代码练习打下基础。今天我们就为大家带来Flink环境搭建的步骤解析，帮助大家一步步来部署好Flink环境。

Flink官方有三种部署模式，即Local、Cluster、Cloud三种环境。其中Local模式是最简单也是最基础的，在入门阶段可以作为尝试练习。而Cluster和Cloud两种环境，可以根据实际需求来决定。


为了能够与其他成熟的框架系统进行集成，Cluster和Cloud两种环境分别与其他环境可以进行很好的集成。Cluster模式下可以利用YARN/Mesos集成进行资源管理，Cloud部署模式下可以与GCE(Google Compute Engine)，EC2(Elastic Compute Cloud)进行集成。

Local模式

该模式下Apache Flink整体运行在Single JVM中，在开发学习中使用，同时也可以安装到很多端类设备上。

Cluster模式

该模式是典型的投产的集群模式，Apache Flink既可以Standalone的方式进行部署，也可以与其他资源管理系统进行集成部署，比如与YARN进行集成。

Cloud模式

该模式主要是与成熟的云产品进行集成，Apache Flink官网介绍了Google的GCE，Amazon的EC2。

下面为大家分享一下Flink 本地模式的环境搭建——

安装Flink集群之前需要准备：1.每台节点需要配置jdk8环境变量。2.需要每台节点有ssh服务，且有免密通信。

1.进入https://flink.apache.org/downloads.html下载flink.

下载Flink版本，这里选择了基于Scala2.11和Hadoop2.6的1.7.1版本.

2.下载好Flink之后上传到Master(node1)节点上解压：

3.进入../conf/flink-conf.yaml中配置：

a)jobmanager.rpc.address:node1设置Master节点地址

b)jobmanager.heap.size:1024m设置Master使用的最大内存，单位是MB

c)taskmanager.heap.size:1024m设置Worker使用的最大内存，单位是MB

4.配置../conf/slaves，配置Worker节点列表

5.将配置好的Flink发送到其他worker节点（node2,node3）上。

6.启动Flink集群，访问webui

在Master节点上，../bin/start-cluster.sh启动集群。访问webui：http:node1:8081

7.停止集群：在Master节点中../bin/stop-cluster.sh

然后将以上Flink Socket WordCount案例打包提交到集群中运行，无论在Master节点还是在Worker节点提交都可以。

首先需要在node5节点中启动socket 9999端口：

nc–lk 9999

提交命令如下：

./flink run/root/test/MyFlink-1.0-SNAPSHOT-jar-with-dependencies.jar--port 9999

在node5节点上输入数据后在webUI中查看日志。

以上就是关于Flink环境搭建的步骤详解了，在初入门的学习阶段，Local模式基本上就可以了，随着后续学习的深入，可以再尝试搭建更复杂的Cluster和Cloud模式，当然，这对于硬件设备的要求也会更高一些。成都加米谷大数据，大数据知识分享，专业大数据培训班课程，更多详情可联系客服了解！