关于大数据的收集技术你知道吗？
作者：张老师 浏览次数： 2019-09-25 11:11
数据的收集有两个方式，第一个方式是拿，专业点的说法叫抓取或者爬取，例如搜索引擎就是这么做的，它把网上的所有的信息都下载到它的数据中心，然后你一搜才能搜出来。
比如你去搜索的时候，结果会是一个列表，这个列表为什么会在搜索引擎的公司里面呢，就是因为他把这个数据啊都拿下来了，但是你一点链接，点出来这个网站就不在搜索引擎它们公司了。比如说新浪有个新闻，你拿百度搜出来，你不点的时候，那一页在百度数据中心，一点出来的网页就是在新浪的数据中心了。另外一个方式就是推送，有很多终端可以帮我收集数据，比如说小米手环，可以将你每天跑步的数据，心跳的数据，睡眠的数据都上传到数据中心里面。
伴随信息通信技术飞速发展的脚步，现在各种数据的存储数量、传输速度以及处理能力均已达到较高水平。尤其是传感器网络（Sensor network）、SNS社交网络(Social Network)的日渐流行，使得数据采集量日益增大，人们因此期望可以利用大数据技术获得更多有用的信息。传统的数据处理技术类似最优化、统计学、机器学习、文本挖掘等，在处理大数据时也会经常用到。
互联网技术的发展。其实电脑也是一种传感器，只不过其记录的数据格式更加不规范和多样化。随着互联网技术的大发展，能够接入互联网的终端越来越便宜、在人群中覆盖率不断提高，以致于我们拥有了一个可以覆盖大部分人口的传感器网络。比如我所在的淘宝网，每天有亿级别的用户访问、购物。在传统的工业时代，我们永远无法知道一个人在超市做了什么、也很难分析每个人在超市买了什么东西(尽管你有收银数据)。
而在互联网这个每个人都带着传感器的时代、一切行为都可能被记录、分析、用于优化你未来的体验(当然也可能被坏人用于作恶，就好比火药可以用于开山修坝也可用于杀人作恶，技术本身是与道德无关的)。
比如你去搜索的时候，结果会是一个列表，这个列表为什么会在搜索引擎的公司里面呢，就是因为他把这个数据啊都拿下来了，但是你一点链接，点出来这个网站就不在搜索引擎它们公司了。比如说新浪有个新闻，你拿百度搜出来，你不点的时候，那一页在百度数据中心，一点出来的网页就是在新浪的数据中心了。另外一个方式就是推送，有很多终端可以帮我收集数据，比如说小米手环，可以将你每天跑步的数据，心跳的数据，睡眠的数据都上传到数据中心里面。
伴随信息通信技术飞速发展的脚步，现在各种数据的存储数量、传输速度以及处理能力均已达到较高水平。尤其是传感器网络（Sensor network）、SNS社交网络(Social Network)的日渐流行，使得数据采集量日益增大，人们因此期望可以利用大数据技术获得更多有用的信息。传统的数据处理技术类似最优化、统计学、机器学习、文本挖掘等，在处理大数据时也会经常用到。
互联网技术的发展。其实电脑也是一种传感器，只不过其记录的数据格式更加不规范和多样化。随着互联网技术的大发展，能够接入互联网的终端越来越便宜、在人群中覆盖率不断提高，以致于我们拥有了一个可以覆盖大部分人口的传感器网络。比如我所在的淘宝网，每天有亿级别的用户访问、购物。在传统的工业时代，我们永远无法知道一个人在超市做了什么、也很难分析每个人在超市买了什么东西(尽管你有收银数据)。
而在互联网这个每个人都带着传感器的时代、一切行为都可能被记录、分析、用于优化你未来的体验(当然也可能被坏人用于作恶，就好比火药可以用于开山修坝也可用于杀人作恶，技术本身是与道德无关的)。
- 上一篇：不管你承认不，大数据时代真来了。
- 下一篇：大数据在采集运输时会遇到的问题。
