主页 > 新闻资讯 > 你知道大数据分析师是做什么的?

你知道大数据分析师是做什么的?

作者:张老师 浏览次数: 2019-09-10 15:52
2015年,“大数据” 成为国内年度热词,并首次出现在国家的《政府工作报告中》。同年,数据分析也开始如雨后春笋般成为朝阳行业,大数据分析和大数据相关职位一度霸屏各大招聘网站。依托于大数据和人工智能的发展,大数据分析师成为这几年新兴的职业之一。其实大数据分析师听起来高大上,但日常工作并没有什么神秘的,工作套路非常固定化。
 
首先,让我们看到进入大数据分析需要哪些能力。
 
一、明确需求——确定业务目标
 
在进行项目之前,首先需要明确期望效果,应用场景等。效果方面,如果需求提出者期望一个模型要达到远超过现有技术水平的效果,那么做之前可能要三思。在应用场景方面,不同的场景下对模型指标的要求是不同的,在后期取舍过程中要根据场景抉择。比如说,如果是一个安防类的项目,在设计模型和调整参数的过程中就要保证最低程度的漏判,宁可错杀,不可放过。

 
加米谷大数据学院在哪

二、数据预处理
 
这个世界本来就是复杂的,要想将所有现实现象整理出条理的数据是非常难的。就拿用户婚姻数据来说,你可能觉得只有已婚、未婚两种情况而已。但是,如果是离婚呢?离婚多久定义为未婚呢?如果是离婚之后再结婚呢?这在数据采集端就产生了非常多的歧义。当然会出现很多错误数据。有些数据还有可能是空值。
 
另外,大数据的热潮从16年才开始逐渐达到顶峰,各大公司也就是近几年开始才慢慢有了“数据就是财富”的意识,开始注重对运营数据的搜集和整理。诚如这样,目前搜集数据的难度依旧很大,更别说几年前随意录入的老旧数据了。所以,若是参加Kaggle等大数据比赛还好,若是真正在公司从事具体的大数据分析业务,大多数情况下,数据的质量是不会太高的。
 
数据主要存在错误、异常值和噪声三种问题。数据预处理的目的,第一就是对特征不全的数据进行处理(补0、删除该条数据等);第二就是尽量找出不符合现实规律的数据并且进行数据变换;第三就是将每个特征的数据范围缩到一定的范围之内(标准化、归一化等),防止某些数据范围过大得到更多的权重。
 
插句题外话,数据分析入门时期,除了Kaggle等这些比赛平台,也很难有优质直观的数据来练手。

 
热点排行
推荐文章
立即申请>>