大数据与传统数据有什么不同?
作者：张老师 浏览次数： 2019-09-11 10:27
数据获取方式的质变是大数据能够产生的核心要素。传统的数据获取方式多是以人工的方式获取数据，最大的特点是手动输入数据，曾有一段时间，超市是通过要求收银员键入用户特征来采集用户数据的。
超市通过这样的方式来收集用户的数据，对收集的大数据进行分析，来对用户画像与人群定位。试想在超市每天如此大的接待量情况下，收银员能否保证数据录入的准确性呢？与此同时，通过人工输入的方式每天能够采集多少数据呢？
类似的这种键盘记录的方式还有许多人工录入数据的方式不再一一举例，传统记录数据的方式必定只能是小范围的，少量的和准确度欠佳的。而现在的数据获取方式大多是通过URL传输和API接口，大体上数据获取的方式有这样几类：爬虫抓取、用户留存、用户上传、数据交易和数据共享。
自有数据与外部数据是数据获取的两个主要渠道。在自有数据中，我们可以通过一些爬虫软件有目的的定向爬取，比如爬取一批用户的微博关注数据，某汽车论坛的各型号汽车的报价等。用户留存多是用户使用了公司的产品或是业务，用户在使用产品或是业务中会留下一系列行为数据，这个构成了我们的数据库主体，通常的数据分析多基于用户留存的数据。
用户上传数据诸如持证自拍照、通讯录、历史通话详单等需要用户主动授权提供的数据，这类数据往往是业务运作中的关键数据。相较于自有数据获取，外部数据的获取方式简单许多，绝大多数都是基于API接口的传输，也有少量的数据采用线下交易以表格或文件的形式线下传输。此类数据要么采用明码标价一条数据多少钱，或是进行数据共享，交易双方承诺数据共享，谋求共同发展。
至此，我们看到新时代的数据获取形式相较于传统数据获取的方式更加多元、更加高效。
同样的大数据与传统数据的传输方式也截然不同。传统数据要么以线下传统文件的方式，要么以邮件或是第三方软件进行传输，而随着API接口的成熟和普及就好像以前的手机充电接口，从千奇百怪、五花八门到今天的两大主要类别：iPhone系统与Android系统。API接口也随着时代的发展逐渐标准化、统一化，一个程序员只用两天的时间就能完成一个API接口开发，而API接口传输数据的效率更是能够达到毫秒级。
在数据存储方面，大数据的存储环境相较于传统数据的存储已经跃升了好几个数量级。犹记得十多年前软盘还非常高级，存储量达到20MB的软盘已然很贵，更别说U盘和移动硬盘了。
超市通过这样的方式来收集用户的数据，对收集的大数据进行分析，来对用户画像与人群定位。试想在超市每天如此大的接待量情况下，收银员能否保证数据录入的准确性呢？与此同时，通过人工输入的方式每天能够采集多少数据呢？
类似的这种键盘记录的方式还有许多人工录入数据的方式不再一一举例，传统记录数据的方式必定只能是小范围的，少量的和准确度欠佳的。而现在的数据获取方式大多是通过URL传输和API接口，大体上数据获取的方式有这样几类：爬虫抓取、用户留存、用户上传、数据交易和数据共享。
自有数据与外部数据是数据获取的两个主要渠道。在自有数据中，我们可以通过一些爬虫软件有目的的定向爬取，比如爬取一批用户的微博关注数据，某汽车论坛的各型号汽车的报价等。用户留存多是用户使用了公司的产品或是业务，用户在使用产品或是业务中会留下一系列行为数据，这个构成了我们的数据库主体，通常的数据分析多基于用户留存的数据。
用户上传数据诸如持证自拍照、通讯录、历史通话详单等需要用户主动授权提供的数据，这类数据往往是业务运作中的关键数据。相较于自有数据获取，外部数据的获取方式简单许多，绝大多数都是基于API接口的传输，也有少量的数据采用线下交易以表格或文件的形式线下传输。此类数据要么采用明码标价一条数据多少钱，或是进行数据共享，交易双方承诺数据共享，谋求共同发展。
至此，我们看到新时代的数据获取形式相较于传统数据获取的方式更加多元、更加高效。
同样的大数据与传统数据的传输方式也截然不同。传统数据要么以线下传统文件的方式，要么以邮件或是第三方软件进行传输，而随着API接口的成熟和普及就好像以前的手机充电接口，从千奇百怪、五花八门到今天的两大主要类别：iPhone系统与Android系统。API接口也随着时代的发展逐渐标准化、统一化，一个程序员只用两天的时间就能完成一个API接口开发，而API接口传输数据的效率更是能够达到毫秒级。
在数据存储方面，大数据的存储环境相较于传统数据的存储已经跃升了好几个数量级。犹记得十多年前软盘还非常高级，存储量达到20MB的软盘已然很贵，更别说U盘和移动硬盘了。
- 上一篇：传统数据和大数据的对比。
- 下一篇：大数据的价值在于哪些地方？
