CN105678730A - 一种基于图像识别的相机移动自检测方法 - Google Patents

Abstract

本发明公开了一种基于图像识别的相机移动自检测方法，通过图像匹配识别技术可以有效地提高相机自检测的可靠性和准确性。本发明通过局部特征与全局模型相结合的方式准确估计相机状态，从而判断相机是否移动，包括图像获取模块、特征提取模块、图像检索模块、精确匹配、滤波模块、移动判断模块。其实现步骤为：（1）采集不同时刻、不同光照下的静态场景图作为参考图像集合；（2）对参考图像集合和实时图像进行特征提取；（3）在参考集图像中检索与实时图像相似度最高的图像。（4）对实时图像与被检索图像进行精确匹配。（5）对匹配点对有效的识别，去除噪声干扰，挑选适合的特征点。（6）利用匹配的关键点算出相应变换矩阵，并判断相机是否移动。

Description

一种基于图像识别的相机移动自检测方法

技术领域

本发明属于视频监控技术领域，涉及一种监控***，更具体地讲，涉及一种监控***中相机移动检测***；同时，本发明还涉及一种监控***中相机移动检测方法。通过实时图像的采集，采用图像识别的方法检测监控***中相机的缓慢移动。

背景技术

监控相机被广泛地用于公共安全，为社会治安起到保驾护航的作用，随着监控***网络的不断增大，网络中部署的相机不断增多，监控***中的相机越来越多，无法安排足够的安防人员进行对每个相机的工作状态进行检查。很多相机由于长时间无人维护而无法正常工作，如干扰、虚焦、遮挡等，从而导致监控无法进行。实时检查相机的工作状态，需要相机本身的智能化，这种智能检测的内容包括：相机镜头的丢焦，镜头的缓慢移动造成场景渐变，镜头上积累了大量的灰尘，安装不稳，大风或震动造成的图像抖动，接触不良造成的信号不稳或信号干扰等。

相机缓慢移动是其中一项最重要也最常见的检测。在智慧城市智能监控***中，由于风、雨、车辆经过震动、安装等因素，监控摄像机经过一段时间使用后，其位置和姿态会发生的缓慢漂移，使得相机监控区域发生改变。特别是对于多摄像机协同监视***而言，相机移动会造成整个监控***失效。在这种情况下，需要相机移动检测。

在监控相机的实际应用中，一些外界因素会影响自动***的性能。这些因素包括：天气（风、雪和雨）、相机设置以及其他环境条件。通常，典型的背景相减法（backgroundsubtractionmethod)（例如，“AdaptiveBackgroundMixtureModelsforReal-timeTracking.CVPR,1999,2:246-252,StaufferC,GrimsonWEL.，中公开的背景相减法）需要相机绝对稳定。然而，由于风、暴风雨、卡车经过、甚至是人为操作的原因，不能保证相机静止。在这种情况下，也需要相机移动检测。

由于户外相机固定在云台上，长期风吹雨淋日晒，螺丝锈蚀造成相机固定不稳，稍有风吹或地面震动导致画面移动，影响了视频录像的效果，更影响后期的智能视频分析。有的相机固定在一些比较高的架子上，受到支架附着物震动影响，比如安装在桥梁或高架、铁路边的相机，很容易受到经过的汽车、火车带来的地面震动而出现抖动。另外，有些罪犯为了能避开相机录像，有意将相机缓慢移动到监控画面外，使得监控画面无法监视犯罪事实。本发明主要针对相机的缓慢移动，采用图像处理技术，不易受光线变化的干扰，能对相机的移动进行快速检测，并及时做出报警。

现有的用来检测画面是否出现运动的方法包括：中国专利CN200580032022（检测照相机移动的***和包括检测照相机移动的***的照相机），采用光学分光原理检测民用相机在拍摄中的晃动；中国专利CN01124045（数字相机检测移动的方法）用于检测场景中是否有运动物体，从而触发一些事件；中国专利CN200410101568（运动矢量检测装置以及移动图像照相机）是为了降低参考帧图像传输而进行运动区域检测。

然而，检测画面是否出现运动的经典算法是采用相邻图像差分法，这种算法速度快，但是容易受到光线变化的影响，因此人们提出了很多的改进算法。其中，专利号200710165357，名称为：监控***中检测并抑制相机移动产生的影响的设备和方法，属三星电子株式会社北京三星通信技术研究有限公司。该发明专利针对运动检测中的误报警问题，当由于相机的移动被检测成场景中的物体运动而产生误报警时，判断这种报警的类型是否为由于相机移动造成的，从而达到抑制这种误报警。虽然该发明使用的方法是跟踪图像中像素值的变化范围来判断是否发生移动，但其检测方法的基础仍然是基于两幅图像间的相同位置像素强度值是否变化来判断，只是该发明利用了高斯统计模型，为每一个像素建立一个统计权限范围，在一定范围内变化的仍然当作背景，因此该发明虽然能部分抑制噪声、光照等影响，但是对光线变化比较敏感，特别当环境光变化过快时，比如雷电、太阳光变化、车灯照射、路灯等都会影响其算法性能，造成误判。

传统的相机移动自检测方法大部分是根据像素值的变化来判断相机是否移动，这种方法对光照、噪声、运动目标的移入移出都很敏感，容易出现误判。为了解决这个问题，本发明提出采用局部特征与全局模型相结合的方式来估计相机状态，从而判断是否移动，在鲁棒性和适应性上相较于传统方式有优势。

发明内容

本发明针对已有技术的不足，本发明提供一种基于图像识别的监控***中相机移动检测***，通过局部特征和全局模型相结合的方式来准确的估计相机状态，检测出监控***中相机的缓慢移动，对环境光强变化不敏感。与传统方法相比，本发明具有鲁棒性和适应性的特点，不需要从像素级别的变化上来判断相机是否出现移动，也避免在像素级变化检测中背景更新到来的问题。

为解决上述技术问题，本发明采用如下技术方案，所述***包括：

（1）图像捕获模块，用以捕获当前实时图像;

（2）特征提取模块，用以对捕获的图像和参考图像进行特征提取;

（3）图像检索模块，用以在参考集图像中检索出与实时图像相似度最高的图像;

（4）精确匹配模块，用以对实时图像与被检索图像进行精确匹配,给出相应的匹配点对;

（5）滤波模块，用以滤除掉错误匹配的特征点，去除噪声干扰。

（6）移动判断模块，利用匹配的关键点找出相应的变换矩阵，通过全局模型判断相机器是否移动。

本方法综合考虑了长时间的光照变化，建立不同时间点不同光照条件下该场景的多幅参考图像，然后通过检索识别，获得相机的全局状态。这种方法是通过局部特征与全局模型相结合的方式来准确的估计相机状态，而不需要从像素级别的变化上来判断相机是否发生缓慢移动，其优点表现在以下几个方面：

（1）这种方法对光照变化、噪声的影响不容易出现误判，实现鲁棒地相机移动检测，并且适应性很好；

（2）相较于传统方法，避免了在像素级变化检测中背景更新带来的问题；

（3）基于特征的匹配算法受几何变形和灰度变化影响小，可匹配的特征类型多且匹配准确率高。

附图说明

图1是本发明检测相机的缓慢移动方法的整个发明流程图。

图2是本发明的词汇树建立框图。

图3是本发明的实时图像检索框图。

具体实施方法

参阅图1，本发明揭示了一种监控***中相机移动检测***，所述***包括依次连接的图像捕获模块，特征提取模块，图像检索模块，精确匹配模块，滤波模块，移动判断模块。下面对本发明技术方法进行进一步详细描述，包括如下步骤：

步骤一：图像捕获模块

（1.1）每隔给定时间间隔采集不同光照下的静态场景图，获得该场景的多幅参考图像作为参考图像集合建，立静态场景监控***下的数据库；

（1.2）每隔固定时间段（如一小时）采集一张该相机采集的实时图像；

步骤二：特征提取模块。

（2.1）对实时图像和参考集图像分别提取特征向量，如可以采用SIFT特征向量，SURF特征向量等，并保存为特征文件。

步骤三：图像检索模块

（3.1）参阅图2，读入参考集中所有图像的特征文件，对特征向量进行分层k-means聚类，设置分支因子K和树的高度L的大小，每一个聚类中心为一个视觉词汇，生成不加权的词汇树。

（3.2）利用词频-逆文档频率（TF-IDF）给每一个视觉词汇添加倒排索引，得到词汇树视觉词汇的倒排索引文件，包括词汇表和倒排列表，生成加权的词汇树。

（3.3）参阅图3，对实时图像的每一个特征向量量化到词汇树的视觉词汇，根据视觉词汇的倒排列表，计算参考集中相应图像的相似度。

（3.4）选择得分最高的参考图像，即与实时图像相似度最高的图像。

步骤四：精确匹配模块。

（4.1）对实时图像以及检索出来的参考图像进行精确匹配。

步骤五：滤波模块。

（5.1）随机选取4个匹配点对，根据这4个匹配点对计算变换矩阵M。

（5.2）根据变换矩阵M，和误差度量函数计算满足当前变换矩阵的一致集，并返回一致集中元素个数。

（5.3）根据当前一致集中元素个数判断是否最优（最大）一致集，若是则更新当前最优一致集。

（5.4）更新当前错误概率p，若p大于允许的最小错误概率则重复（5.1）至（5.4）继续迭代，直到当前错误概率p小于最小错误概率。

（5.5）删除错误匹配点，输出正确匹配点集合。

步骤六：移动判断模块。

（6.1）利用以上匹配的关键点找出相应的变换矩阵。

（6.2）将输入图像按照变换矩阵投影到参考图象所在平面，计算投影图象和参考图象的重叠面积，如果重叠面积小于给定小于设定阈值，则判定相机没有移动，否则判定相机移动，输出移动的方向和角度。

Claims (3)

1.一种基于图像识别的相机移动自检测***，其特征在于：通过局部特征和全局模型相结合的方式来准确的估计相机状态，检测出监控***中相机的缓慢移动，对环境光强变化不敏感。

2.不需要从像素级别的变化上来判断相机是否出现移动，也避免在像素级变化检测中背景更新到来的问题。

3.包括如下步骤：

图像捕获模块，用以捕获当前实时图像；

特征提取模块，用以对捕获的图像和参考图像进行特征提取；

图像检索模块，用以在参考集图像中检索出与实时图像相似度最高的图像；

精确匹配模块，用以对实时图像与被检索图像进行精确匹配,给出相应的匹配点；

滤波模块，用以滤除掉错误匹配的特征点，去除噪声干扰；

移动判断模块，利用匹配的关键点找出相应的变换矩阵，通过全局模型判断相机器是否移动。