主页 > 新闻资讯 > 数据分析的常用工具:入行数据分析怎么学

数据分析的常用工具:入行数据分析怎么学

作者:张老师 浏览次数: 2020-08-28 18:00
数据分析作为一项备受企业重视的能力,已经不再局限于专业的数据分析岗位,越来越多的运营、产品等岗位,也开始要求数据分析能力。不管是入行想做数据分析,还是想提升数据分析能力,掌握数据分析的常用工具,都是有必要的。

数据分析的常用工具

在数据分析的实际工作当中,一套数据分析的工作,通常是需要多个工具结合完成的。比如说——

数据搜集/抓取:Python爬虫

数据库的使用:SQL

数据分析:Python数据分析、Excel等

数据可视化的能力:Tableau;Python里matplotlib/seaborn扩展包

其实稍加总结,数据分析的常用工具,主要就是集中在Excel、SQL以及Python这三者。

1、Excel

常用操作有函数、可视化、数据透视表、VBA。对刚入行的小白来说,熟练掌握Excel分析和报表制作是最基础的一步,对于简单逻辑的报表和小规模数据集,数据处理起来还是很快的。

而随着数据规模的加大,Excel的效率就不够看了。再加上数据无法实时更新,需要耗费很多重复人力在更换数据源上,并且可视化效果也有限,这时候就不适合Excel了。

2、SQL

数据分析“直接”使用的数据大多数都为结构化数据,这些数据通常都存在数据库里(SQLServer,Mysql,Oracle,Hive等),而要提取这些数据,SQL必不可少。

常见的SQL操作分为:

读,即select语句,可以分为select,from,where,group by 4个模块;

写,即create(新建),insert(插数),drop(删除)。

常见的数据类型有:

数值,e.g.int,bigint,bool,float,decimal等;

字符串,e.g.char,varchar,string等;

日期,e.g.date,datetime,timestamp等;

对应这3类数据类型的函数需要熟练掌握。

此外,还有两类必须掌握的函数:

1.聚合函数,也称为“聚集函数”,常用的有:count,sum,avg,max,min,group by;

2.窗口函数,即对一组值进行操作(不需要使用到group by),常见的函数有(此处以Hive举例):

计算:count|sum|avg|max|min over;

分区:partition by;

位置:lag,lead,first_value,last_value等;

排序:row_number,rank,dense_rank,ntile;

3、Python

Python处理大规模的数据集及复杂的数据需求,是行业主流认可的工具。尤其是Python的几个数据处理包,性能极其强大。

NumPy

提供真正的数组,NumPy也是Scipy、Matplotlib、Pandas等库的依赖库,内置函数处理数据速度是C语言级别的。

Scipy

Scipy依赖于NumPy,NumPy提供了多维数组功能,Scipy提供了真正的矩阵,以及大量基于矩阵运算的对象与函数。

Pandas

Pandas是Python下非常强大的数据分析工具。它建立在NumPy之上,功能很强大,支持类似SQL的增删改查,并具有丰富的数据处理函数,支持时间序列分析功能,支持灵活处理缺失数据等。

Matplotlib

Python中著名的绘图库,主要用于二维绘图,也可以进行简单的三维绘图。

Scikit-Learn

Scikit-Learn依赖NumPy、Scipy和Matplotlib,是Python中强大的机器学习库,提供了诸如数据预处理、分类、回归、聚类、预测和模型分析等功能。

关于数据分析的常用工具,入行数据分析怎么学,以上就是给到大家的一些建议了。数据分析任务的处理,越是数据规模大、数据需求复杂,对于专业工具的要求也就越高,尤其以Python为代表。成都加米谷大数据,专业大数据培训机构,Python数据分析班,本月正在招生中,课程大纲及试听课程,可联系客服了解!
热点排行
推荐文章
立即申请>>