主页 > 新闻资讯 > Flink和人工智能:Flink框架与人工智能的应用

Flink和人工智能:Flink框架与人工智能的应用

作者:张老师 浏览次数: 2020-02-20 16:23
大数据计算发展至今,流式计算已经成为显著的趋势,并且随着机器学习、深度学习、人工智能等的进一步发展,流式计算也将迎来更广阔的发展空间。Flink作为当前流式计算的典型代表之一,Flink和人工智能的发展会如何,下面我们就来谈论一下。

发展到今天,Flink已经成为业界公认的最好用的流计算引擎之一,国内尤其是阿里巴巴为代表,对于Flink框架的应用走在前列,甚至直接收购了Flink的母公司,在Flink社区贡献当中,阿里也表现突出。

Flink和人工智能

Flink的定位是一套兼具流、批、机器学习等多种计算功能的大数据引擎。

目前,大数据计算的种类非常多,比较典型的,且被大规模使用的主要是3种类型,批计算,流计算,和交互式分析计算。

批计算的特点是计算的数据量比较大,但是往往对延迟不是特别敏感;

流计算,对延迟的要求非常高,这些作业的查询query往往是固定的。因此流计算作业往往需要提前调度起来,一旦数据到来就可以做快速的处理,节省了调度的开销;

交互式分析,用户的查询query是不固定的,随机发出的,因此用户对查询的返回时间是有一定的要求的,这个时间介于批处理和流处理之间,要求越快越好,最好能做到秒级。

人工智能计算的种类很多,通常涉及一系列的数据预处理、特征提取和转换、模型训练以及验证。整个计算过程可以是对一个确定大小的数据按照批计算模式计算,也可以接入实时数据按照流计算模式进行计算。

而做好人工智能计算,不可或缺的一部分就是交互式分析。有了交互式分析,算法工程师可以对数据做各种ad-hoc query,从而帮助他们更好的理解数据。

可以这样说,人工智能计算和大数据计算是密不可分的。人工智能计算的基础是大数据计算,没有大数据计算提供算力和功能,人工智能计算只能停留在纸上谈兵的阶段。

Flink和人工智能,是有着很好的相互成就的可能性的。Flink的低延迟、高吞吐、保障Exactly-once的计算模式,以及基于流式的flow来处理批数据的逻辑,对于人工智能和交互式分析而言,有着潜在的优势和扩展性。成都加米谷大数据,大数据前沿知识分享,大数据培训班课程,更多详情可联系客服了解!
热点排行
推荐文章
立即申请>>