CN109922315A - 一种基于Spark与OpenCV的实时视频行为分析方法 - Google Patents

Abstract

一种基于Spark与OpenCV的实时视频行为分析方法，包括视频采集模块、视频缓存模块、视频分析模块、视频存储模块、智能报警模块五大模块，所述的实时视频行为分析方法包括以下步骤：1）开启网络摄像头，采集视频数据；2）OpenCV将视频流转化为帧，并将每帧图像存储为Mat对象；3）从Mat对象中提取视频帧的完整信息，包括rows、cols、type等，使用JSON数据格式保存；4）将视频帧的完整信息发送至Kafka服务器缓存；5）视频流处理器消费缓存中的视频帧数据，使用OpenCV库中的算法分析视频采集模块提供的实时视频帧数据，识别视频中发生的动作；6）如果感应到动作异常，将会触发智能报警模块发出警报；7）将处理过的视频存储到分布式文件***HDFS中。本***可应用在视频安防监控、老年人监护、交通管理、智慧城市等领域，前景广阔。

Description

一种基于Spark与OpenCV的实时视频行为分析方法

技术领域

本发明涉及大数据流式视频数据传输和OpenCV计算机视觉，具体涉及一种基于Spark与OpenCV的实时视频行为分析方法。

背景技术

当前视频监控设备采集到的图像数据正呈现出指数级增长趋势，面对庞大的视频数据，单纯依靠工作人员在后台对视频数据进行人工分析，费时费力，往往不能有效利用，如何能够高效的处理每天产生的视频数据变得十分迫切。

计算机视觉与大数据分析计算近年来发展迅猛，为海量视频数据的实时分析提供了技术保障。

传统的计算机视觉处理***，带有计算机视觉处理库的服务器会同时收集和处理数据，所以服务器如果发生故障将会丢失视频流数据。探测节点故障并将处理进程转移到其他节点上可能会导致碎片化的数据。基于大数据分析技术的视频分析***会把视频数据的收集、处理和保存分布在不同的模块上，极大提高***的可靠性。

最后，视频行为分析在治安监控、调查取证、老年人居家监护、交通管理、智慧城市中扮演着越来越重要的作用，当视频中出现异常行为时，***如果能及时做出警报提醒，无疑是给我们的生活增添一道安全屏障。伴随着大数据时代的到来，将大数据技术与视频分析技术进行结合，具有广阔的前景。

发明内容

为了克服上述现有技术的不足，本发明的目的是提供一种基于Spark与OpenCV的实时视频行为分析方法，以实现对网络摄像头采集的海量视频数据进行快速分析及行为识别，当视频中出现异常行为时，***发出警报。

为实现上述目的，本发明采用的技术方案是：

一种基于Spark与OpenCV的实时视频行为分析方法，包括视频采集模块、视频缓存模块、视频分析模块、视频存储模块、智能报警模块五大模块，所述的实时视频行为分析方法包括以下步骤：

1）开启网络摄像头，采集视频数据；

2）OpenCV将视频流转化为帧，并将每帧图像存储为Mat对象；

3）从Mat对象中提取视频帧的完整信息，包括rows、cols、type等，使用JSON数据格式保存；

4）将视频帧的完整信息发送至Kafka服务器缓存；

5）视频流处理器消费缓存中的视频帧数据，使用OpenCV库中的算法分析视频采集模块提供的实时视频帧数据，识别视频中发生的动作；

6）如果感应到动作异常，将会触发智能报警模块发出警报；

7）将处理过的视频存储到分布式文件***HDFS中。

所述的***的视频缓存模块使用开源技术Apache Kafka实现。

所述的***的视频分析模块基于Apache Spark构建。

所述的***的视频存储模块采用分布式文件***HDFS。

所述的***使用Maven做项目管理。

当进的行分布式部署时，***使用Zookeeper作为其分布式应用程序协调服务中心。

所述的***在将视频数据发送到视频缓存模块之前，先使用OpenCV将每帧或者每幅图片存储为Mat对象，并保留帧的完整信息，rows、cols和type，使用JSON信息格式来存储这些细节。

所述的***为了区分每个网络摄像机，视频采集模块要通过camera.url和camera.id属性维护摄像机ID与URL之间的映射。

所述的***可设置缓存时长阈值，当视频缓存时长超过阈值仍未处理，则删除缓存的视频数据。

本发明的有益效果是：

本发明通过使用Kafka缓存视频流数据，并使用大数据处理框架Spark及计算机视觉库OpenCV对视频进行处理与分析，对视频中出现的行为动作进行预测与估计，解决了传统网络摄像头功能单一的不足，使用大数据技术，可以极大提高视频流的传输速率和处理速度。***使用OpenCV、Kafka和Spark这样的开源技术来构建可容错的分布式***，可以极大降低***生产成本，安全问题也相对较少，使用开源技术比使用专有技术具有更大的灵活性和可用性。***使用OpenCV和Kafka构建视频流收集模块，它会从不同的源接收视频流，并将其发送至视频流缓冲模块。Kafka作为视频数据的缓冲器，它为流数据提供了可持久化的存储。视频流分析模块使用OpenCV以及Spark的Spark Streaming进行构建，这个模块会从流数据缓冲中获取流式数据，并对视频中的行为进行分析。处理后的文件可以放到预先配置好的HDFS中。此外，本发明还具有可扩展性强、容错性高、松耦合的优点。

附图说明

图1是本发明的模块图。

图2是本发明的架构图。

图3是本发明的流程图。

具体实施方式

以下结合附图及实施例对本发明进一步叙述。但本发明不局限于以下实施例。

图1、2、3所示，一种基于Spark与OpenCV的实时视频行为分析方法，包括视频采集模块、视频缓存模块、视频分析模块、视频存储模块、智能报警模块五大模块，所述的实时视频行为分析方法包括以下步骤：

1）开启网络摄像头，采集视频数据；

2）OpenCV将视频流转化为帧，并将每帧图像存储为Mat对象；

3）从Mat对象中提取视频帧的完整信息，包括rows、cols、type等，使用JSON数据格式保存；

4）将视频帧的完整信息发送至Kafka服务器缓存；

5）视频流处理器消费缓存中的视频帧数据，使用OpenCV库中的算法分析视频采集模块提供的实时视频帧数据，识别视频中发生的动作；

6）如果感应到动作异常，将会触发智能报警模块发出警报；

7）将处理过的视频存储到分布式文件***HDFS中。

关于***的详细工作流程下面将以分布式部署进行具体说明。

***在运行前需要首先确保JDK、Maven、Zookeeper、Kafka、Hadoop、Spark和OpenCV已经正确安装，确保ZooKeeper、HDFS和Kafka服务器已处于启动运行的状态，并使用kafka-topic命令来创建topic和分区。

指定***处理后视频数据的保存路径和日志文件的保存路径。

视频采集模块与网络摄像头集群协同工作，摄像头为***提供实时视频，网络摄像头在使用之前需先进行网络设置，以便网络摄像机能顺利接入互联网。

***为了区分每一个网络摄像机，视频采集模块必须为每一个网络摄像机的ID和URL之间建立映射关系，在定义这些属性时，可以按照逗号分隔的格式定义摄像机URL和ID的列表。

不同的摄像机可能会以不同的规格来提供数据，比如编解码器（codec）、分辨率或者每秒的帧数，在通过视频流创建帧的时候，视频采集器必须要保留这些细节数据。

视频采集器使用OpenCV计算机视觉库将视频流转换为帧。视频信号是视觉信息的一个主要源头，它由按序列排放的图像组成，即帧(Frame)。OpenCV提供了一个简便易用的框架以提取视频文件或摄像头中的图像帧，如果只是单单想读取某个视频，只需要创建一个cv::VideoCapture实例，然后在循环中提取每一帧。

OpenCV视频库将每帧图像调整为所需的分辨率（比如640x480）。OpenCV将每帧或每幅图片存储为Mat对象。Mat是一个C++的类对象，它有两个部分组成：一个矩阵头部分（包含矩阵大小、存储方法等）另外一部分是一个指针指向矩阵像素的，其中矩阵头部分是固定常量大小。但是整个矩阵的大小跟图像实际大小有关系。Mat需要转换为可连续的（字节数组）形式，在这个过程要保留帧的完整信息，比如rows、cols和type。视频流采集器使用如下的JSON信息格式来存储这些细节。

{"cameraId":"camera-01","timestamp":1488627991133,"rows":12,"cols":15,"type":16,"data":"jeremaish"}

cameraId是摄像机的唯一ID；timestamp是帧生成的时间；rows、cols和type是OpenCVMat特定的细节信息；data是基于base-64编码的字符串，代表了帧的字节数组。

视频流采集器使用Jackson 库将数据转换为JSON消息。Jackson库是基于java语言的开源json格式解析工具，功能丰富，灵活性强。

视频流采集器调用Kafka的Producer客户端，将JSON数据发送至Kafka broker中对应的topic上进行缓存，Kafka broker即Kafka服务器，每一台安装了Kafka服务的计算机都可以称为Kafka broker。Kafka Producer是一个用于向kafka集群发送数据的Java客户端。该Java客户端是线程安全的，多个线程可以共享同一个producer实例，而且这通常比在多个线程中每个线程创建一个实例速度要快些。

Kafka Producer会将每个key发送至相同的分区并保证消息的顺序。为了实现扩展性，一个非常大的topic可以分布到多个broker（即服务器）上，一个topic可以分为多个partition，每个partition是一个有序的队列。partition中的每条消息都会被分配一个有序的id（offset）。kafka只保证按一个partition中的顺序将消息发给consumer，不保证一个topic的整体（多个partition间）的顺序。严格说，kafka是无法保证全局消息有序的，只能局部有序。

为提高资源利用率及***运行效率，Kafka默认为单个消息的大小限制为1M左右，一般10K大小的消息吞吐性能最好，如果Producer发送的消息比较大，Kafka会默认丢弃掉，producer可以从callback函数中获得错误码为10。为解决这个问题，***需要在生产端的配置参数中使用compression.codec和commpressed.topics开启压缩功能，压缩算法可以使用GZip或Snappy。

为了尽可能无丢失的处理海量的视频流数据，并且保证***的实时性及可用性，还需要为***数据设置缓存时间，Kafka使用文件***来存储信息，所以对这些信息的保存时间是可以配置的。可根据实际需要在Kafka配置文件中配置log.retention.bytes、log.retention.minutes和log.cleanup.policy参数。数据存储的最大时间超过这个时间会根据log.cleanup.policy设置的策略处理数据，也就是消费端能够多久去消费数据。log.retention.bytes和log.retention.minutes任意一个达到要求，都会执行删除。log.retention.bytes是指定topic每个分区的最大文件大小，一个topic的大小限制 = 分区数*log.retention.bytes。-1表示没有大小限制。log.retention.bytes和log.retention.minutes任意一个达到要求，都会执行删除。

视频分析模块调用Spark Streaming流式处理Kafka集群中的数据，第一步首先需要把视频帧数据从Kafka集群中接收过来，并且转换为Spark Streaming中的数据结构Dstream。Spark Streaming能够按照batch size（如1秒）将输入数据分成一段段的离散数据流（Discretized Stream，即DStream）。Spark Streaming 是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理，支持从多种数据源获取数据。

Spark的各个子框架，都是基于Spark核心的，Spark Streaming在内部的处理机制是，接收实时流的数据，并根据一定的时间间隔拆分成一批批的数据，然后通过SparkEngine处理这些批数据，最终得到处理后的一批批结果数据。

Spark框架的核心是RDD，Resilient Distributed Datasets即弹性分布式数据集。RDD是Spark中的抽象数据结构类型，任何数据在Spark中都被表示为RDD。RDD可以简单看成是一个数组。和普通数组的区别是，RDD中的数据是分区存储的，这样不同分区的数据就可以分布在不同的机器上，同时可以被并行处理。因此，Spark应用程序所做的无非是把需要处理的数据转换为RDD，然后对RDD进行一系列的变换和操作从而得到结果。RDD可以从普通数组创建出来，也可以从文件***或者HDFS中的文件创建出来。

对应的批数据，在Spark内核对应一个RDD实例，因此，对应流数据的DStream可以看成是一组RDDs，即RDD的一个序列。通俗点理解的话，在流数据分成一批一批后，通过一个先进先出的队列，然后 Spark Engine从该队列中依次取出一个个批数据，把批数据封装成一个RDD，然后进行处理，这是一个典型的生产者消费者模型。

Spark集群读取Kafka中的数据采取直连方式读取，数据分析模块周期性的查询Kafka，来获得每个topic+partition的最新的offset，从而定义每个batch的offset的范围。Kafka消费者在会保存其消费的进度，也就是offset，存储的位置根据选用的Kafka api不同而不同。

当处理数据的job启动时，就会使用Kafka的简单consumer api来获取Kafka指定offset范围的数据。基于直连的方式，使用Kafka的简单api。Spark Streaming可以自己负责追踪消费的offset，并保存在checkpoint中。Spark自己一定是同步的，因此可以保证数据是消费一次且仅消费一次。

视频分析模块获取到Kafka缓存中的视频帧数据后，立即调用OpenCV库中提供的算法分析所接收到的实时视频帧数据，并查找所发生的动作，如果感应到异常动作，将会触发智能报警模块发出警告，或者发送消息给用户。OpenCV中有众多的级联分类器，这些分类器可以进行简单的人脸，眼，鼻子，嘴，上体，全身，腿的分类，这些分类器可以通过训练或者组合进一步实现人体行为的分类与识别。

视频行为分析算法可简单描述为如下步骤：

1、在原始图像多尺度上进行密集特征点采样，采样间隔为W；

2、进行有效的特征点筛选（只保留有用的），这里选用的方式是基于自相关矩阵的特征值（该步骤形成空域信息）；

3、跟踪特征点，在时间轴形成特征点的轨迹序列（该步骤形成时域信息）；

4、对应每个时间片上的每个特征点，在该点影响范围内分别进行特征采样，对序列进行编码（Fisher Vector），得到 Total 特征；

5、采用分类器（SVM）对视频行为进行分类。

该模块会使用OpenCV原生库（.dll或.so），所以使用System.loadLibrary()加载它们。在***环境变量中设置这些原生库的目录路径或者将路径作为命令行参数传递进来。例如，对于64位的Windows机器，原生库文件（opencv_java320.dll和opencv_ffmpeg320_64.dll）的路径将会是{OpenCV Installation Directory} \build\java\x64。

最后Spark会将处理过后的视频帧数据保存到分布式文件***HDFS中，可供日后使用。HDFS即Hadoop分布式文件***（Hadoop Distributed Filesystem），以流式数据访问模式来存储超大文件，运行于商用硬件集群上，是管理网络中跨多台计算机存储的文件***。HDFS上的文件被划分为块大小的多个分块，作为独立的存储单元，称为数据块，默认大小是64MB。

综上所述，本发明通过使用Kafka缓存视频流数据，并使用大数据处理框架Spark及计算机视觉库OpenCV对视频进行处理与分析，对视频中出现的行为动作进行预测与估计，解决了传统网络摄像头功能单一的不足，使用大数据技术，可以极大提高视频流的传输速率和处理速度。***使用OpenCV、Kafka和Spark这样的开源技术来构建可容错的分布式***，可以极大降低***生产成本，安全问题也相对较少，使用开源技术比使用专有技术具有更大的灵活性和可用性。***使用OpenCV和Kafka构建视频流收集模块，它会从不同的源接收视频流，并将其发送至视频流缓冲模块。Kafka作为视频数据的缓冲器，它为流数据提供了可持久化的存储。视频流分析模块使用OpenCV以及Spark的Spark Streaming进行构建，这个模块会从流数据缓冲中获取流式数据，并对视频中的行为进行分析。处理后的文件可以放到预先配置好的HDFS中。此外，本发明还具有可扩展性强、容错性高、松耦合的优点。

Claims (10)

1.一种基于Spark与OpenCV的实时视频行为分析方法，包括视频采集模块、视频缓存模块、视频分析模块、视频存储模块、智能报警模块五大模块，其特征在于，所述的实时视频行为分析方法包括以下步骤：

1）开启网络摄像头，采集视频数据；

2）OpenCV将视频流转化为帧，并将每帧图像存储为Mat对象；

3）从Mat对象中提取视频帧的完整信息，包括rows、cols、type等，使用JSON数据格式保存；

4）将视频帧的完整信息发送至Kafka服务器缓存；

5）视频流处理器消费缓存中的视频帧数据，使用OpenCV库中的算法分析视频采集模块提供的实时视频帧数据，识别视频中发生的动作；

6）如果感应到动作异常，将会触发智能报警模块发出警报；

7）将处理过的视频存储到分布式文件***HDFS中。

2.根据权利要求1所述的一种基于Spark与OpenCV的实时视频行为分析方法，其特征在于，所述***的视频采集模块使用网络摄像头采集视频数据，并使用计算机图像处理库OpenCV把视频流转换为帧，然后将帧数据的完整信息封装为JSON格式传递给视频缓存模块。

3.根据权利要求1所述的一种基于Spark与OpenCV的实时视频行为分析方法，其特征在于，所述的***的视频缓存模块使用开源技术Apache Kafka实现。

4.根据权利要求1所述的一种基于Spark与OpenCV的实时视频行为分析方法，其特征在于，所述的***的视频分析模块基于Apache Spark构建。

5.根据权利要求1所述的一种基于Spark与OpenCV的实时视频行为分析方法，其特征在于，所述的***的视频存储模块采用分布式文件***HDFS。

6.根据权利要求1所述的一种基于Spark与OpenCV的实时视频行为分析方法，其特征在于，所述的***使用Maven做项目管理。

7.根据权利要求1所述的一种基于Spark与OpenCV的实时视频行为分析方法，其特征在于，当进的行分布式部署时，***使用Zookeeper作为其分布式应用程序协调服务中心。

8.根据权利要求1所述的一种基于Spark与OpenCV的实时视频行为分析方法，其特征在于，所述的***在将视频数据发送到视频缓存模块之前，先使用OpenCV将每帧或者每幅图片存储为Mat对象，并保留帧的完整信息，rows、cols和type，使用JSON信息格式来存储这些细节。

9.根据权利要求1所述的一种基于Spark与OpenCV的实时视频行为分析方法，其特征在于，所述的***为了区分每个网络摄像机，视频采集模块要通过camera.url和camera.id属性维护摄像机ID与URL之间的映射。

10.根据权利要求1所述的一种基于Spark与OpenCV的实时视频行为分析方法，其特征在于，所述的***可设置缓存时长阈值，当视频缓存时长超过阈值仍未处理，则删除缓存的视频数据。