大数据学习：Kafka延迟队列
作者：张老师 浏览次数： 2020-12-14 16:46
Kafka作为实时消息队列的一个重要框架，在大数据技术架构搭建层面，越来越得到重用。相应的，Kafka在大数据技术生态当中的地位，也越来越重要。今天的大数据学习分享，我们就来讲讲Kafka延迟队列的部分。
kafka基于时间轮（TimingWheel）自定义了一个用于实现延迟功能的定时器。
时间轮是一个存储定时任务的环形队列，底层采用数组实现，数组中的每个元素可以存放一个定时任务列表（TimerTaskList）。TimerTaskList是一个环形的双向链表，链表中的每一项表示的都是定时任务项（TimerTaskEntry），其中封装了真正的定时任务TimerTask。
时间轮由多个时间格组成，可以想象成时钟。
tickMs：每个时间格代表当前时间轮的基本时间跨度
wheelSize：时间轮的时间格个数是固定的，可用wheelSize来表示
所以整体时间轮的时间跨度interval=tickMs*wheelSize
currentTime：时间轮还有一个表盘指针，用来表示时间轮当前所处的时间，currentTime是tickMs的整数倍。
举个栗子：
tickMs=1ms，wheelSize=20，那么interval=1*20=20ms
初始情况下currentTime指向0时间格。此时一个定时为2ms的任务插入进来会存放到时间格为2的TimerTaskList中。
随着currentTime指针随着时间不断推进，当currentTime指向2时间格时，就需要将时间格2所对应的TimeTaskList中的任务做相应的到期操作。
此时若又有一个定时为8ms的任务插入进来，则会存放到时间格10中，currentTime再过8ms后会指向时间格10。
同时一个19ms的任务插入进来，会存放到时间格1中。
如果有一个定时任务的时间大于interval怎么办？
直接扩充wheelSize的大小？这个是没底线的，定时任务时间不知道会有多大。而且如果wheelSize很大，不仅占用很大的内存空间，而且效率也会拉低。
Kafka为此引入了层级时间轮的概念，当任务的到期时间超过了当前时间轮所表示的时间范围时，就会尝试添加到上层时间轮中。
第一层的时间轮interval=20ms，那么第二层的时间轮的tickMs=20ms。每一层的wheelSize是相同的额，所以第二层的时间跨度interval=20*20=400ms。同理，第三层时间轮的interval=400*20=8000ms。
如果有一个350ms的定时任务，第一层时间轮无法满足，就升级到第二层时间轮中，最终被插入到第二层时间轮中时间格17所对应的TimerTaskList中。其他层级同理，如一个450ms的定时任务会放在第三层的第一格中。
以450ms的定时任务为例，当第三层的currentTime指向时间格1时，此时450ms的定时任务还剩下50ms，会有一个时间轮降级操作。此时第一层时间轮的总体时间跨度不够，而第二层足够，所以该任务被放到第二层时间轮到期时间为[40ms,60ms)的时间格中。再经历40ms后，任务还剩下10ms，会再次降级放到到第一层时间轮[10ms,11ms)的时间格中。之后再经历10ms，此任务真正到期，最终执行相应的到期操作。
关于大数据学习，Kafka延迟队列，以上就为大家做了基本的介绍了。延迟队列是Kafka当中的一个重要功能点，对于大数据背景下的实时消息队列的处理，有重要的作用。成都加米谷大数据，专业大数据培训机构，大数据开发、数据分析与挖掘，零基础班本月正在招生中，课程大纲及试学视频，可联系客服获取！
kafka基于时间轮（TimingWheel）自定义了一个用于实现延迟功能的定时器。
时间轮是一个存储定时任务的环形队列，底层采用数组实现，数组中的每个元素可以存放一个定时任务列表（TimerTaskList）。TimerTaskList是一个环形的双向链表，链表中的每一项表示的都是定时任务项（TimerTaskEntry），其中封装了真正的定时任务TimerTask。
时间轮由多个时间格组成，可以想象成时钟。
tickMs：每个时间格代表当前时间轮的基本时间跨度
wheelSize：时间轮的时间格个数是固定的，可用wheelSize来表示
所以整体时间轮的时间跨度interval=tickMs*wheelSize
currentTime：时间轮还有一个表盘指针，用来表示时间轮当前所处的时间，currentTime是tickMs的整数倍。
举个栗子：
tickMs=1ms，wheelSize=20，那么interval=1*20=20ms
初始情况下currentTime指向0时间格。此时一个定时为2ms的任务插入进来会存放到时间格为2的TimerTaskList中。
随着currentTime指针随着时间不断推进，当currentTime指向2时间格时，就需要将时间格2所对应的TimeTaskList中的任务做相应的到期操作。
此时若又有一个定时为8ms的任务插入进来，则会存放到时间格10中，currentTime再过8ms后会指向时间格10。
同时一个19ms的任务插入进来，会存放到时间格1中。
如果有一个定时任务的时间大于interval怎么办？
直接扩充wheelSize的大小？这个是没底线的，定时任务时间不知道会有多大。而且如果wheelSize很大，不仅占用很大的内存空间，而且效率也会拉低。
Kafka为此引入了层级时间轮的概念，当任务的到期时间超过了当前时间轮所表示的时间范围时，就会尝试添加到上层时间轮中。
第一层的时间轮interval=20ms，那么第二层的时间轮的tickMs=20ms。每一层的wheelSize是相同的额，所以第二层的时间跨度interval=20*20=400ms。同理，第三层时间轮的interval=400*20=8000ms。
如果有一个350ms的定时任务，第一层时间轮无法满足，就升级到第二层时间轮中，最终被插入到第二层时间轮中时间格17所对应的TimerTaskList中。其他层级同理，如一个450ms的定时任务会放在第三层的第一格中。
以450ms的定时任务为例，当第三层的currentTime指向时间格1时，此时450ms的定时任务还剩下50ms，会有一个时间轮降级操作。此时第一层时间轮的总体时间跨度不够，而第二层足够，所以该任务被放到第二层时间轮到期时间为[40ms,60ms)的时间格中。再经历40ms后，任务还剩下10ms，会再次降级放到到第一层时间轮[10ms,11ms)的时间格中。之后再经历10ms，此任务真正到期，最终执行相应的到期操作。
关于大数据学习，Kafka延迟队列，以上就为大家做了基本的介绍了。延迟队列是Kafka当中的一个重要功能点，对于大数据背景下的实时消息队列的处理，有重要的作用。成都加米谷大数据，专业大数据培训机构，大数据开发、数据分析与挖掘，零基础班本月正在招生中，课程大纲及试学视频，可联系客服获取！
