主页 > 新闻资讯 >
大数据培训:Spark Shuffle的几种情况

大数据培训:Spark Shuffle的几种情况

Spark框架当中,基于RDD的基本数据模型,内部的运行会带来各种Shuffle的问题。从RDD到Dataframe、DataSet,不同的Stage转换,Shuffle不可避免,但是在转换当中,会造成性能消耗。今天的大数据...

查看详情 >>
大数据学习:Spark Streaming Checkpoint机制

大数据学习:Spark Streaming Checkpoint机制

在实时数据流处理的场景下,可能会遇到各种与程序逻辑无关的故障,而导致运行程序中断或数据损失的可能性,因此在实际场景当中,很重要的一个点就是Checkpoint机制,这在很多流计...

查看详情 >>
大数据学习:怎么部署Spark Streaming应用程序

大数据学习:怎么部署Spark Streaming应用程序

学习使用一个技术框架,仅仅是理论学习,那是完全不够的,而要进入到实操层面,一个很重要的问题,就是部署应用程序的问题。今天的大数据学习分享,我们就来讲讲Spark框架当中,...

查看详情 >>
大数据培训:Spark核心数据抽象之DataFrame

大数据培训:Spark核心数据抽象之DataFrame

之前对于Spark的核心数据模型,我们早就讲过了RDD,事实上,除了RDD之外,DataFrame、DataSet也是重要的数据抽象概念。今天的大数据培训分享,我们就主要来讲讲Spark核心数据抽象之DataF...

查看详情 >>
大数据学习:Spark SQL常见数据源操作

大数据学习:Spark SQL常见数据源操作

Spark SQL作为Spark处理结构化数据的重要模块,而结构化数据的引入,就涉及到数据源的操作。针对于不同的数据源,Spark提供了多种数据导入方式。今天的大数据学习分享,我们就来讲讲...

查看详情 >>
大数据学习:Spark SQL和DataFrame基础入门

大数据学习:Spark SQL和DataFrame基础入门

Spark框架的学习当中,Spark SQL部分算是比较重点的一个部分,作为Spark处理结构化数据的一个重要模块,提供查询和计算的接口,而其中的交互,有涉及到DataSet、DataFrame相关的概念。今天...

查看详情 >>
大数据培训:Spark RDD的管理与操作

大数据培训:Spark RDD的管理与操作

前面我们已经对Spark RDD的概念及特征做了基本的介绍,了解了基本的概念之后,RDD的管理和操作,在Spark框架当中又是如何去运行和操作的呢?今天的大数据培训分享,我们就来对Spark...

查看详情 >>
大数据学习:Spark RDD概念及特征

大数据学习:Spark RDD概念及特征

基本上提到Spark,常常被提及的就是其性能优势,相比同是批处理的MapReduce,Spark在实验环境下可做到计算性能提高10-100倍,而Spark计算性能的提升,与其引入的RDD有很大关系。今天的大...

查看详情 >>
大数据学习:Spark RDD的Checkpoint机制

大数据学习:Spark RDD的Checkpoint机制

Spark作为大数据技术生态当中的代表性框架,其性能优势在于,相比前代的Hadoop MapReduce,把计算过程转移到内存当中进行,大大提升了计算效率。而基于内存计算,确保数据的稳定和安...

查看详情 >>
作为5G大国,大数据与5G的相辅相成表现在哪些地方?

作为5G大国,大数据与5G的相辅相成表现在哪些地方?

作为5G大国,大数据与5G的相辅相成表现在哪些地方? 众所周知,我国-中国是5G大国,工信部副部长刘烈宏19日在国新办举行的国务院政策例行吹风会上说,我国建成全球规模最大的信息...

查看详情 >>
大数据培训:Spark Streaming数据源导入

大数据培训:Spark Streaming数据源导入

Spark Streaming作为Spark的流处理引擎,主要是负责数据流的处理,而这就需要集中各种各样的数据源,而基于不同来源的数据,其性质和格式不一,而Spark Streaming也提供了不同的导入方式。...

查看详情 >>
  • 首页
  • 上一页
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 下一页
  • 末页
  • 3013304
  • 热点排行
    推荐文章
    立即申请>>