Hadoop大数据测试：Hadoop大数据平台测试流程

相对于传统的软件测试，大数据平台的测试有新的特征体现，也需要测试人员做好相关的准备。以大部分企业都选择的Hadoop大数据平台为例，今天我们来聊聊Hadoop大数据测试的一些流程和注意事项。

虽然说针对于大数据平台的测试有自己的新的特征，但是总体来说，测试这份工作，万变不离其宗，Hadoop大数据测试与传统的软件测试，主要的流程还是基本一致的——

需求分析→测试计划→线上验收测试→测试总结。


在需求分析阶段，需要了解清楚开发想要实现的预期需求，在下一步的测试计划中才能针对性去测试。测试阶段，对频繁迭代更新的，以手工测试为主；对较为稳定的，可采取UI、接口、SQL等方法进行验证。

具体到Hadoop大数据测试，其中的关键步骤，就是在于对HDFS和MapReduce的测试。

首先是pre-Hadoop阶段验证，对输入的数据进行处理并存储到HDFS上，测试需要做到输入文件与源文件对比，保证正确性；根据需求确认获得数据的正确性；验证正确的文件被存入HDFS且被分割、复制到不同的节点。

其次，是MapReduce阶段验证，存入HDFS的数据，要通过MapReduce进行处理。测试需要验证MapReduce进程是否正常工作；数据处理完成，输出文件是否正确；验证map时生成的key-value是否正确；验证reduce结束后聚合是否正确；输出格式是否符合要求等。

最后是数据阶段验证，主要对生成处理过的最终数据文件以及存放到数据仓库的动作进行测试。测试需要验证检查转换规则是否被正确应用；检查数据是否加载到目标系统中且完整；通过将目标数据与HDFS文件系统数据进行比较来检查没有数据损坏。

完成这三个阶段的测试，Hadoop大数据测试就算是基本完成了，对于存在的bug提交给相关技术人员就行了。

关于Hadoop大数据测试，以上就是为大家分享的一些测试流程以及测试过程中的注意事项，在大数据测试当中，基于Hadoop平台去做测试是比较常见的，作为测试人员，也需要根据大数据平台特征进行相应的调整。成都加米谷大数据，大数据技术知识分享，专业大数据培训，课程详情可联系客服咨询！