CN103347170A - 用于智能监控的图像处理方法及其应用的高分辨率摄像头 - Google Patents

Abstract

本发明公开了一种用于智能监控的图像处理方法及其应用的高分辨率摄像头，属一种智能监控***中的高清图像采集设备，图像传感模块，接入图像采集及前景背景分离模块，用于将作用范围内的环境情况转换为原始图像数据传输至图像采集及前景背景分离模块；图像采集及前景背景分离模块，接入图像处理编码模块，用于执行上述的步骤A与步骤B；图像处理编码模块，接入通讯接口，用于执行上述的步骤C至步骤F，并通过通讯接口将分离后的图像数据分别传输至图像接收端。同时本发明所提供的一种用于智能监控的图像处理方法步骤简单，适用于安全监控及下一代的基于面部识别、防伪识别和其他先进的以图像识别为基础的智能监控***，应用范围广阔。

Description

用于智能监控的图像处理方法及其应用的高分辨率摄像头

 

技术领域

本发明涉及一种智能监控***中的高清图像采集设备，更具体的说，本发明主要涉及一种用于智能监控的图像处理方法及其应用的高分辨率摄像头。

 

背景技术

现有的高清晰度监控摄像机采用标准的视频压缩算法，如MPEG和H.264等主要是为娱乐业的高清视频研发的，其目的是删除尽可能多的图像细节，以降低数据量，使得高清晰度电视能够通过互联网传输或存储在存储设备，如U盘或磁盘内。这些技术是把幅图像作为单个像素的集合来处理的。其基本原理是把每帧的画面分割成很多8 x 8像素的小方块，然后对每个小方块进行离散COS变换，把像素从几何空间变换到频域空间，然后再经过低通滤波器把高频成分滤掉，也就是把图像的细节擦除。然后把剩下的低频成分编码后传输和存储。不论图像变化与否，每次都要做这样的处理，传输和存储。其结果是，为了把高分辨率图像的数据量降低到能够传输和存储的地步，压缩后的图像失去了绝大部分的细节。对于电视，演播厅，娱乐行业，流媒体，和消费电子设备，如便携式数码相机，摄像机和手机等来说，这些图像处理方法是可以接受的，而且是非常好的。但是，对于监控***，尤其是下一代的基于面部识别，防伪识别和其他先进的图像处理应用的智能监控***，图像的细节是非常重要的。

如果图像压缩是以损失图像清晰度或运动速度为代价的，那么经过压缩的图像与目前从低分辨率的摄像头得到的，不经压缩的图像的清新度没有多少区别，甚至还不如老式的模拟监控***的图像质量。这就是目前高分辨率监控***难以推广的主要原因。针对现有图像处理技术在监控系中遇到的问题，有必要做出进一步的改进和研究。

 

发明内容

本发明的目的之一在于针对上述不足，提供一种用于智能监控的图像处理方法及其应用的高分辨率摄像头，以期望解决现有技术中高清图像的数据量较大，基于现有的网络直接传输难以实现，以及目前图像传输需删除图像中的尽可能多的细节，以达到降低数据量的目的等技术问题。

为解决上述的技术问题，本发明采用以下技术方案：

本发明一方面提供了一种用于智能监控的图像处理方法，所述方法包括如下步骤：

步骤A、图像采集及前景背景分离模块将图像传感模块采集到的原始图像数据从RGB颜色空间到YUV颜色空间变换，然后再分别对变换后的原始图片中的Y、U、V图像分量数据与历史参考图像中相应的分量数据进行差分处理，并分别存入图像缓冲器中的不同分区内；

步骤B、从RGB到YUV变换后的分量数据分别与参考图像的相应分量数据进行加权平均，将结果存入参考图像缓冲区中作为下一幅图像的参考图像；

作为优选，进一步的技术方案是：所述的方法还包括步骤C、图像处理编码模块在图像缓冲器的不同缓冲分区中，将每个缓冲分区进一步划分为既定像素的正方形图像分量像素块，并分别在不同位置上进行标记。

更进一步的技术方案是：所述的方法还包括步骤D、图像处理编码模块将图像缓冲器中不同缓冲分区中的图像分量像素块分别分为N个既定的像素块后，对每个所有像素单元和不为零的像素块进行二维离散COS变换，将像素块从二维几何空间变换到二维频率空间，使之成为N个DCT矩阵，DCT矩阵再与一个根据应用要求及应用环境确定的传输函数矩阵TFM相乘，用于选择感兴趣的图像特征。

更进一步的技术方案是：所述的传输函数矩阵TFM可根据应用的要求调整，形成全通，低通，高通的带通滤波器。

更进一步的技术方案是：所述的方法还包括步骤E、图像处理编码模块将由传输函数矩阵DCT与TFM矩阵相乘所得到的码流矩阵BSM，再采用无损压缩的Huffman算法将码流进一步压缩，然后按ARC4加密算法与预设的密匙处理而得到最终的图像码流TBS。

更进一步的技术方案是：所述的方法还包括步骤F、传输控制模块将每个像素块产生的图像码流TBS编码成一个与IEEE802.3以太网的链路层帧格式兼容的数据包。

本发明另一方面还提供了一种用于智能监控的高分辨率摄像头，所述的摄像头包括：

图像传感模块，接入图像采集及前景背景分离模块，用于将作用范围内的环境情况转换为原始图像数据传输至图像采集及前景背景分离模块；

图像采集及前景背景分离模块，接入图像处理编码模块，用于执行上述的步骤A与步骤B；

图像处理编码模块，接入通讯接口，用于执行上述的步骤C至步骤F，并通过通讯接口将分离后的图像数据分别传输至图像接收端。

作为优选，进一步与的技术方案：所述摄像头中包括传输控制模块，所述传输控制模块分别接入图像处理编码模块与通信接口，用于上述的步骤F。

更进一步与的技术方案：所述图像采集及前景背景分离模块与图像处理编码模块还分别接入第一图像缓冲存储器，用于由图像采集及分离模块将分离后的背景图像数据与前景图像数据传输至该第一图像缓冲存储器中，图像处理编码模块从第一图像缓冲存储器中读取背景图像数据与前景图像数据分别进行压缩编码处理。

更进一步与的技术方案：所述图像处理编码模块与传输控制模块还分别接入第二图像缓冲存储器，用于由图像处理编码模块将最终得到的图像码流TBS传输至第二图像缓冲存储器中，传输控制模块从第二图像缓冲存储器中读取图像码流TBS进行数据包编译并控制通信接口传输。

与现有技术相比，本发明的有益效果之一是：针对监控图像中固定场景或缓慢变化场景占很大比例的特征，通过在摄像头内将高清图像中的背景与前景分离后分别进行压缩处理，其中前景数据实时传输，对于长久不变的背景层则较长时间才传输一次，并在图像接收端将背景图像数据与前景图像数据进行合成还原图像。进而将背景图像数据从实时图像中省略后，仅仅实时传输前景图像数据，使得监控***的传输及存储图像数据量极大下降，使得传输的图像数据中能保留图像中更多的细节，解决了图像清晰度与数据量的矛盾。同时本发明所提供的一种用于智能监控的图像处理方法步骤简单，适用于安全监控及下一代的基于面部识别、防伪识别和其他先进的以图像识别为基础的智能监控***，应用范围广阔。

 

附图说明

图1为用于说明本发明一个实施例的结构示意框图；

图2为用于说明本发明一个实施例中图像由RGB到YUV色彩空间变换图；

图3为用于说明本发明一个实施例中图像的前景背景分离示意图；

图4为用于说明本发明一个实施例中分离后前景图像Y分量的像素块示意图；

图5为用于说明本发明一个实施例中Y分量像素块的像素分布态示意图；

图6为用于说明本发明一个实施例中Y分量中一个像素块的离散COS变换示意图；

图7为用于说明本发明一个实施例中无压缩的传输函数示意图；

图8为用于说明本发明一个实施例中视觉优化的传输函数示意图；

图9为用于说明本发明一个实施例中轮廓抽取的传输函数示意图；

图10为用于说明本发明一个实施例中数据流矩阵序列化顺序示意图。

 

具体实施方式

下面结合附图对本发明作进一步阐述。

参考图1所示，本发明的一个实施例是一种用于智能监控的高分辨率摄像头，所述的摄像头包括：

图像传感模块，接入图像采集及前景背景分离模块，用于将作用范围内的环境情况转换为原始图像数据传输至图像采集及前景背景分离模块；

图像采集及前景背景分离模块，接入图像处理编码模块，用于将图像传感模块采集到的原始图像数据从RGB颜色空间到YUV颜色空间变换，然后再分别对变换后的原始图片中的Y、U、V图像分量数据与历史参考图像中相应的分量数据进行差分处理，并分别存入图像缓冲器中的不同分区内；从RGB到YUV变换后的分量数据分别与参考图像的相应分量数据进行加权平均，将结果存入参考图像缓冲区中作为下一幅图像的参考图像；

图像处理编码模块，接入通讯接口，用于在图像缓冲器的不同缓冲分区中，将每个缓冲分区进一步划分为既定像素的正方形图像分量像素块，并分别在不同位置上进行标记；将图像缓冲器中不同缓冲分区中的图像分量像素块分别分为N个既定的像素块后，对每个所有像素单元和不为零的像素块进行二维离散COS变换，将像素块从二维几何空间变换到二维频率空间，使之成为N个DCT矩阵，DCT矩阵再与一个根据应用要求及应用环境确定的传输函数矩阵TFM相乘，用于选择感兴趣的图像特征；在将由传输函数矩阵DCT与TFM矩阵相乘所得到的码流矩阵BSM，再采用无损压缩的Huffman算法将码流进一步压缩，然后按ARC4加密算法与预设的密匙处理而得到最终的图像码流TBS。

再参考图1所示，在本发明用于解决技术问题更加优选的一个实施例中，还可在上述摄像头中增设传输控制模块，用于将每个像素块产生的图像码流TBS编码成一个与IEEE802.3以太网的链路层帧格式兼容的数据包，并通过通讯接口将分离后的图像数据分别传输至图像接收端。

根据本发明的另一实施例，所述图像采集及前景背景分离模块与图像处理编码模块还分别接入第一图像缓冲存储器，用于由图像采集及分离模块将分离后的背景图像数据与前景图像数据传输至该第一图像缓冲存储器中，图像处理编码模块从第一图像缓冲存储器中读取背景图像数据与前景图像数据分别进行压缩编码处理。

再根据本发明的另一实施例，所述图像处理编码模块与传输控制模块还分别接入第二图像缓冲存储器，用于由图像处理编码模块将最终得到的图像码流TBS传输至第二图像缓冲存储器中，传输控制模块从第二图像缓冲存储器中读取图像码流TBS进行数据包编译并控制通信接口传输。

与上述实施例相类似，本发明的另一个类型的实施例是一种用于智能监控的图像处理方法，所述方法包括如下步骤：

步骤A、图像采集及前景背景分离模块将图像传感模块采集到的原始图像数据从RGB颜色空间到YUV颜色空间变换，然后再分别对变换后的原始图片中的Y、U、V图像分量数据与历史参考图像中相应的分量数据进行差分处理，并分别存入图像缓冲器中的不同分区内；

步骤B、从RGB到YUV变换后的分量数据分别与参考图像的相应分量数据进行加权平均，将结果存入参考图像缓冲区中作为下一幅图像的参考图像；

步骤C、图像处理编码模块在图像缓冲器的不同缓冲分区中，将每个缓冲分区进一步划分为既定像素的正方形图像分量像素块，并分别在不同位置上进行标记。

步骤D、图像处理编码模块将图像缓冲器中不同缓冲分区中的图像分量像素块分别分为N个既定的像素块后，对每个所有像素单元和不为零的像素块进行二维离散COS变换，将像素块从二维几何空间变换到二维频率空间，使之成为N个DCT矩阵，DCT矩阵再与一个根据应用要求及应用环境确定的传输函数矩阵TFM相乘，用于选择感兴趣的图像特征。而传输函数矩阵TFM可根据应用的要求调整，形成全通，低通，高通的带通滤波器。

步骤E、图像处理编码模块将由传输函数矩阵DCT与TFM矩阵相乘所得到的码流矩阵BSM，再采用无损压缩的Huffman算法将码流进一步压缩，然后按ARC4加密算法与预设的密匙处理而得到最终的图像码流TBS。

步骤F、传输控制模块将每个像素块产生的图像码流TBS编码成一个与IEEE802.3以太网的链路层帧格式兼容的数据包。

在上述的基础上，本发明技术方案更为详细的说明如下：

参考图2所示，前景背景分离模块将当前采集到的原始RGB三色图像数据与色差变换矩阵相乘后变成YUV 色差图像数据。其中Y分量含有图像的量度成分，对图像的分辨率起决定性作用，尤其是夜间或光照度很低的情况下，图像的色彩信息不存在，只有亮度信息。

参考图3所示，前景背景分离模块把当前图像数据Y，U，V与参考图像数据R-Y，R-U，R-V进行差分运算，得到相应的前景数据D-Y，D-U，D-V，并将其存入图像缓冲器的相应分区，同时将参考图像数据R-Y，R-U，R-V与当前图像数据Y，U，V与进行0.25：0.75的加权平均，得到新的参考图像数据R-Y'，R-U'，R-V’，并用其替换当前的参考图像，成为下一帧图像的参考图像。

参考图4所示，图像处理编码模块在图像缓冲区内将的D-Y，D-U，D-V每个分区再进一步分为16 x 16的像素块。图5为D-Y的像素块示意图。其他的分区也按类似的划分。每个像素块的内部结构如图9所示，由256个像素构成，按照16 x 16的2维矩阵排列。

参考图6所示，图像处理编码模块对图像缓冲区内的D-Y，D-U，D-V中的每个像素单元DY_m_n，DU_m_n和DV_m_n取算数和，对算数和不为零的单元进行离散COS变换，产生相应的DCT矩阵单元DCTY_m_n，DCTU_m_n，和DCTV_m_n，并把这些算数和不为零的像素单元产生的DCT矩阵单元存入图像缓冲存储器的另外一个分区内，成为当前图像前景的频域空间数据。具体图下式：

其中N=16，x从左到右，y从上到下

对于监控***的图像来说，变化的前景图像占的比例很小，因而绝大部分像素单元的算数和都为零。也就是说需要进一步处理及传输的数据很少。

在上述基础上，图像处理编码模块对图像缓冲区内，图像前景的频域空间的每个DCT矩阵单元与滤波器的传输函数矩阵相乘得到码流矩阵BSM，让图像前景中感兴趣的部分通过，达到图像压缩的目的。通过的部分越多，数据量就越大，保留的信息也就越多。传输函数矩阵由具体应用决定，可以按要求配置成为不同通带的滤波器。如图7所示的是一个基本无损的滤波器传输函数，适合于对图像细节要求较高的，具有图像识别要求的监控***。如图8所示的是一个低通滤波器传输函数，适合于以人眼视觉为主的，对细节要求不高的监控***。如图9所示的是一个高通滤波器的传输函数，适合于需要对图像进行轮廓抽取的监控***

得到如上所述的码流矩阵BSM后，图像处理编码模块把每个码流矩阵中的元素按顺序读出，成为一系列串行数据：BSM（0，0），BSM（1，0），BSM（0，1）,BSM（0，2），BSM（1，1），BSM（2，0），BSM（3，0），BSM（2，1），BSM（1，2），BSM（0，3）， 。。。 ，BSM（16，16）。如图10所示。图像处理编码模块再把这些串行数据用标准的Huffman编码进行无损压缩，产生一组新的串行数据BS{0：H}。最后这一新的串行数据BS{0：H}根据应用的要求，再进一步通过ARC4加密算法，产生最终的前景图像码流F{0：S}，并存入图一所示的数据流缓冲存储器中的前景码流分区。

由图像采集及前景背景分离模块得到的背景数据根据具体应用环境配置的刷新速度，经过与以上过程相类似的步骤，经过不通的传输函数矩阵，产生背景图像码流B{0：T}，并存入图1所示的第二缓冲存储器中的背景码流分区。与前景码流分区不同的是，背景码流分区内的数据有时间寿命，当背景图像码流在背景码流分区内停留时间超过时间寿命后，该码流将被图1所示的传输控制模块淘汰，不再在传送。

传输控制模块根据应用的设置，按照一定的数据流量从第二缓冲存储器中按顺序把前景图像码流F{0：S}读出后，按照与IEEE802.3协议兼用的格式把一个F{0：S}编码成为一个相应的数据包。对于一般的应用，监控***使用独立的通信网，数据包的CRC校验码由标准的CRC-32-IEEE：X32 + X26 + X23 + X22 + X16 + X12 + X11 + X10 + X8 + X7 + X5 + X4 + X2 + X + 1产生。这样的数据包可以由通用的电脑软件处理。但有些应用场合，监控网络可能与其他的局域网络混合，或者为了进一步提高监控数据的保密性，以便专用的监控设备能够区分监控***的图像数据包，可以使用CRC-32K：X32 + X30 + X29 + X28 + X26 + X20 + X19 + X17 + X16 + X15 + X11 + X10 + X7 + X6 + X4 + X2 + X + 1产生数据包的CRC校验字。

传输控制模块一般情况下以前景码流优先，当全部前景码流发送完后，再从背景码流区内读取背景码流B{0：T}，使用不同的数据包类型标示，经行同样编码后，经过网络发送。一旦前景码流区中有数据，背景码流的传输将停止。对于特殊应用，前景与背景的发送优先级可以按照不通算法调整，以兼顾数据流量及图像同步的需要。如果背景码流在缓冲区内的时间超过背景码流允许的时间寿命，该背景码流将被淘汰。

参考图1-9所示，对本发明的综合说明如下：图像采集及分离模块把光学***在图像传感器上的成像采集后得到原始图像，将其变换到色彩空间，然后进行前景与背景分离处理，将当前图像数据与参考图像数据经行差分，得到前景图像数据，同时把当前的图像与参考图像综合存为历史参考图像，为下一幅图像的前景背景分离做好准备。同时该模块根据环境光强等因数等，调整图像传感器的光圈及快门等曝光参数，同时调整图像采集的算法，优化图像质量。图像采集的速率可以根据应用要求及使用环境调整，如每秒5幅到每秒60幅等。

图像处理编码模块把分离出来的前景与背景分别用不同的图像压缩算法进行处理后，并把处理过的前景和背景数据分别存储到第一缓冲存储器内的不同区域内，然后进行离散COS变换，经过与应用配置有关的滤波器，把前景和背景图像中不中要的成分滤除后，再用无损压缩算法编码，并加密。

传输控制模块把处理过的前景数据根据通信协议打包后优先传输，之后，再缓慢传输背景数据。这里的通信协议是与以太网兼容的格式，物理层是超五类或六类网线，数据链路及网络层是IEEE802.3及TCP/IP协议。打包时，前景和背景具有不同的数据包类型或标识号。前景数据的传输速度主要由通信线路的带宽决定，可以是随到随传，或按时标传。背景数据的传输速率可以根据传输带宽及存储量的要求调整，如每5秒或10秒传输一幅完整的背景图像，主要用于防止接收端的背景图像因通信故障丢失而失去同步。在有的应用中可以长达几个钟头传输一幅背景图像。同时该模块可以在接收端的控制下通过机械传动模块进行聚焦及云台操作等。

 

在本说明书中所谈到的“一个实施例”、“另一个实施例”、 “实施例”、等，指的是结合该实施例描述的具体特征、结构或者特点包括在本申请概括性描述的至少一个实施例中。在说明书中多个地方出现同种表述不是一定指的是同一个实施例。进一步来说，结合任一实施例描述一个具体特征、结构或者特点时，所要主张的是结合其他实施例来实现这种特征、结构或者特点也落在本发明的范围内。

尽管这里参照本发明的多个解释性实施例对本发明进行了描述，但是，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。更具体地说，在本申请公开、附图和权利要求的范围内，可以对主题组合布局的组成部件和/或布局进行多种变型和改进。除了对组成部件和/或布局进行的变型和改进外，对于本领域技术人员来说，其他的用途也将是明显的。

Claims (10)

1.一种用于智能监控的图像处理方法，其特征在于所述方法包括如下步骤：

步骤A、图像采集及前景背景分离模块将图像传感模块采集到的原始图像数据从RGB颜色空间到YUV颜色空间变换，然后再分别对变换后的原始图片中的Y、U、V图像分量数据与历史参考图像中相应的分量数据进行差分处理，并分别存入图像缓冲器中的不同分区内；

步骤B、从RGB到YUV变换后的分量数据分别与参考图像的相应分量数据进行加权平均，将结果存入参考图像缓冲区中作为下一幅图像的参考图像。

2.根据权利要求1所述的用于智能监控的图像处理方法，其特征在于：所述的方法还包括步骤C、图像处理编码模块在图像缓冲器的不同缓冲分区中，将每个缓冲分区进一步划分为既定像素的正方形图像分量像素块，并分别在不同位置上进行标记。

3.根据权利要求2所述的用于智能监控的图像处理方法，其特征在于：所述的方法还包括步骤D、图像处理编码模块将图像缓冲器中不同缓冲分区中的图像分量像素块分别分为N个既定的像素块后，对每个所有像素单元和不为零的像素块进行二维离散COS变换，将像素块从二维几何空间变换到二维频率空间，使之成为N个DCT矩阵，DCT矩阵再与一个根据应用要求及应用环境确定的传输函数矩阵TFM相乘，用于选择感兴趣的图像特征。

4.根据权利要求3所述的用于智能监控的图像处理方法，其特征在于：所述的传输函数矩阵TFM可根据应用的要求调整，形成全通，低通，高通的带通滤波器。

5.根据权利要求3所述的用于智能监控的图像处理方法，其特征在于：所述的方法还包括步骤E、图像处理编码模块将由传输函数矩阵DCT与TFM矩阵相乘所得到的码流矩阵BSM，再采用无损压缩的Huffman算法将码流进一步压缩，然后按ARC4加密算法与预设的密匙处理而得到最终的图像码流TBS。

6.根据权利要求5所述的用于智能监控的图像处理方法，其特征在于：所述的方法还包括步骤F、传输控制模块将每个像素块产生的图像码流TBS编码成一个与IEEE802.3以太网的链路层帧格式兼容的数据包。

7.一种用于智能监控的高分辨率摄像头，其特征在于所述的摄像头包括：

图像传感模块，接入图像采集及前景背景分离模块，用于将作用范围内的环境情况转换为原始图像数据传输至图像采集及前景背景分离模块；

图像采集及前景背景分离模块，接入图像处理编码模块，用于执行权利要求1至5任意一项中所述的步骤A与步骤B；

图像处理编码模块，接入通讯接口，用于执行权利要求6所述的步骤C至步骤F，并通过通讯接口将分离后的图像数据分别传输至图像接收端。

8.根据权利要求7所述的用于智能监控的高分辨率摄像头，其特征在于：所述摄像头中包括传输控制模块，所述传输控制模块分别接入图像处理编码模块与通信接口，用于执行权利要求6所述的步骤F。

9.根据权利要求7或8所述的用于智能监控的高分辨率摄像头，其特征在于：所述图像采集及前景背景分离模块与图像处理编码模块还分别接入第一图像缓冲存储器，用于由图像采集及分离模块将分离后的背景图像数据与前景图像数据传输至该第一图像缓冲存储器中，图像处理编码模块从第一图像缓冲存储器中读取背景图像数据与前景图像数据分别进行压缩编码处理。

10.根据权利要求9所述的用于智能监控的高分辨率摄像头，其特征在于：所述图像处理编码模块与传输控制模块还分别接入第二图像缓冲存储器，用于由图像处理编码模块将最终得到的图像码流TBS传输至第二图像缓冲存储器中，传输控制模块从第二图像缓冲存储器中读取图像码流TBS进行数据包编译并控制通信接口传输。

Images