大数据基础是什么？分布式系统原理介绍

众所周知，大数据处理的核心支持技术，就是分布式。可以说，分布式系统是大数据的基础，大数据是分布式系统的最佳实践。而学习大数据，对于分布式理论是必须要有足够清晰的认识和理解的。大数据基础是什么，就是分布式。今天我们就主要来讲讲分布式系统原理。


分布式系统定义：

分布式系统是若干独立计算机的集合，但这些计算机系统集合从用户的使用角度来说，则是一个单一的应用系统。分布式系统，由分布在不同位置或者服务器上的节点和进程组成，节点/进程间通过命名服务和同步来相互协作。

分布式系统具有典型的几大特征——

1.资源的可访问性：用户能够方便的访问远程资源，并且可以以一种受控的方式与其他用户共享资源；

2.透明性：资源在网络上的分布对用户不可见，用户的使用体验就是在一个入口做操作；

3.开放性：系统通过一整套标准化的接口来提供服务，任何第三方系统都可以通过该标准接口接入该系统，并使用其提供的服务；

4.可扩展性：系统在规模上可以扩展，可以方便的增加资源来为更多的用户提供服务。

5.容错性：系统可以从部分失效中自动恢复，而且不会严重的影响整体性能。

分布式系统架构：

基于分层的体系架构：组件组成不同的层，各层的请求自顶向下依次调用，而请求结果则从下往上。

基于对象的体系架构：这是一种很松散的组织结构，每个对象是一个组件，组件间通过远程过程调用机制来交互。

基于数据的体系架构：组件间的通信通过一个公用的数据仓库。

基于事件的体系架构：组件间的通信是通过事件来传播的，进程间是松耦合的。

Hadoop可以说是分布式系统的最佳开源实现，围绕Hadoop，形成了完善的技术生态。其核心是利用多台计算机组成的分布式系统来协同解决单台计算机所不能解决的大数据的计算、存储等问题。

关于大数据基础是什么，分布式系统原理，以上就为大家做了一个简单的入门介绍了。大数据学习，对于分布式系统理论一定要有足够的理解，才能真正谈得上更好地入门和学习。成都加米谷大数据，专业大数据培训机构，Hadoop大数据开发零基础班，本月正在招生中，课程大纲及试听课程可联系客服领取！