处理视频大数据所遇到的几大难题
作者：张老师 浏览次数： 2019-09-06 11:11
如今每天都会有巨大的大数据量产生，其中大概百分之四十为视频数据，视频数据不同于文字数据，处理分析起来是有一定难度的，面对如此大的视频数据，我们正在面对几大难题。
当前，已迎来视频大数据爆炸时代，相关部门报告显示，互联网总数据到2025年将达到175ZB，其中视觉数据为80ZB。大数据技术与AI是孪生兄弟，大数据赋能AI，让AI能力更进一步，但也提出了一些新挑战。
视频数据分析识别长期以来的模式，是通过压缩形成码流，解码后进行特征提取，再进行分析识别。而最近几年深度学习应用后，大量深度神经网络通过训练把特征提取和分析识别以端到端方式提取出来。典型的图像/视频分析处理系统就是云模式，视频存储、分析与识别均在云上完成，分析识别的视频路数与云服务器的算力成正比。这样的模式下，有很多潜在问题。
问题一，“数据大不等于大数据”的挑战。数据量大一定是分散存储，而大数据分析需要视频数据汇聚在一起，涉及到带宽支持、视频压缩编码等技术，目前条件很难将视频大量汇聚。
问题二，“高通量&低延时”的挑战。视频本身是实时媒体，具有高通量的特征。其中，网络直播视频和广电节目对实时性要求很高。对视频传输技术是一个很大挑战。
问题三，“低价值密度”的挑战。大量正常视频是低价值密度，而少量敏感视频是高价值密度。分布非均衡分布对传统机器学习算法提出了很大挑战。
面对挑战，在国家和省部项目支持下，田永鸿教授及其团队推出了视频大数据处理分析平台及示范应用，支持高效编码、特征表达、对象识别和行为分析，应用在电视节目、网络视频、城市监管等应用中。
对于未来发展，加米谷学院表示，将立足于对行业的前瞻判断以及技术的演进，从而不断更新自己的角色，与各地政府从传统的服务与被服务关系转变为利益共享、风险共担的新型合作伙伴关系。与此同时，积极带动其他上下游参与者共同发展，互惠互利，融入更多的新鲜血液和创新智慧，共谱数据星河产业蓝图。
对于未来发展，加米谷学院表示，将立足于对行业的前瞻判断以及技术的演进，从而不断更新自己的角色，与各地政府从传统的服务与被服务关系转变为利益共享、风险共担的新型合作伙伴关系。与此同时，积极带动其他上下游参与者共同发展，互惠互利，融入更多的新鲜血液和创新智慧，共谱数据星河产业蓝图。
- 上一篇：大数据与与人工智能正造福着人们
- 下一篇：线上大数据和线下大数据的差距
