ETL工程师需不需要编程基础？大数据ETL工程师难不难

ETL工程师，可以说是因为大数据再次被带火，相比于传统的ETL工程师，大数据背景下的ETL工程师面临更大的数据量和更多的数据源，因此在工作当中也要求更高的能力。很多人想尝试做ETL，又担心自己的能力Hold不住。常常听到有学生问，ETL工程师需不需要编程基础，大数据ETL工程师难不难，今天我们就主要来聊聊这些问题。


ETL是来自于Extract-Transform-Load首字母缩写，描述的其实是原始数据从提取到转换到加载的全过程，而实现这个过程，就需要ETL工程师来完成了。

ETL工程师需不需要编程基础？

首先，ETL工程师在工作当中肯定会涉及到编程，但是在ETL的学习过程中，有没有编程基础并没有那么重要，大数据行业的岗位，多多少少都需要编程，但是相比于传统的IT开发人员，ETL工程师所涉及到的编程技术是相对固定的那些，主要都跟数据库相关。

ETL不是一个一劳永逸的过程，因为数据会源源不断地来，因此ETL需要定时或实时地对新来的数据进行数据。

第一步，需要客户端SDK和数据收集服务的配合，不断地抽取客户端上发生的用户行为，并以文件的形式写入磁盘；

第二步，会有一个定时调度程序，负责将收集到的大量行为日志文件，切割并上传至HDFS上，并在指定位置写入上传完成的标记文件；

第三步，另一个定时调度程序会启动一个数据处理作业，去读取上传完成标记，待上传完成后，读入原始数据，开始进行数据转换处理，并将处理好的结果写入HDFS特定的位置。

第四步，通过特定脚本或者SDK将第三步产生的文件加载到对应的数据的特定分区上，至此一次完整的过程就完成了。

关于ETL工程师需不需要编程基础，大数据ETL工程师难不难，相信看完以上的内容，大家就能够明白很多了。ETL工程师，也是大数据工程师，在工作当中需要到的编程技术其实相对来说比较固定，只要学习掌握了，就没有多大的问题。成都加米谷大数据学院，大数据开发提升班，年后即将开班，更多课程信息可咨询客服！