CN108174054A - 一种全景移动侦测方法与装置 - Google Patents

Abstract

本发明涉及移动侦测领域领域，公开了一种全景移动侦测方法，依次包括下述步骤，一、获取鱼眼图像视频或全景2:1图像；二、对采集到的图像进行比较和计算，具体为利用通用移动侦测计算获得各个区域是否移动的猜测值；三、计算不同区域的权重补偿值，获得不同区域的权重；四、将猜测值和权重进行加权计算，判断是否超阈值，若否，则结束流程，若是，当输入为双鱼眼图像时，则将移动区域投影至拼接好的全景图像上，当输入为全景图像时，则将移动侦测结果显示。本发明可实现全景镜头的移动侦测，并根据不同输出结果的全景相机适配不同的权重补偿，克服全景相机生成的全景图像与普通成像差异引入的移动侦测不准确问题，有效实现精准移动侦测。

Description

一种全景移动侦测方法与装置

技术领域

本发明涉及移动侦测领域，涉及到其中的照明补偿方案与不同成像位置权重补偿方案，具体是指一种全景移动侦测方法与装置。

背景技术

目前，对于普通监控镜头的移动侦测主要通过对矩形分区后的采集图像的各个区域进行背景检测计算，之后给出移动区域标识实现移动物体的侦测。

对于由双鱼眼组成的全景镜头，所采集图像在以下方面上有异于普通镜头：

一是所采集到的图像为圆形，图像中存在部分无效画面，不用对该部分进行移动侦测；

二是鱼眼镜头存在很大的畸变，导致同一物体在图像中心的运动与在边缘处的运动产生不同的变化；

三是通过鱼眼镜头生成的是2比1全景图像，全景图像是按照经纬度来排列，与常规图案的平面坐标空间不同，导致2比1全景图案不同部分的权重不同。

针对上述问题，目前对矩形分区的处理办法已经无法很好的适应全景镜头的移动侦测需求。

发明内容

基于全景镜头所成图像有别于普通相机所成图像引入的移动侦测不准确问题，本发明提供了一种全景移动侦测方法与装置。本发明可实现全景镜头的移动侦测，并根据不同输出结果的全景相机适配不同的权重补偿，克服全景相机生成的全景图像与普通成像差异引入的移动侦测不准确问题，有效实现全景镜头精准的移动侦测。

为解决以上技术问题，本发明采用的技术方案如下：

一种全景移动侦测方法，依次包括下述步骤，

一、获取鱼眼图像视频或全景2:1图像；

二、对采集到的图像进行比较和计算，具体为利用通用移动侦测计算获得各个区域是否移动的猜测值；

三、计算不同区域的权重补偿值，获得不同区域的权重；

四、将猜测值和权重进行加权计算，判断是否超阈值，若否，则结束流程，若是，当输入为双鱼眼图像时，则将移动区域投影至拼接好的全景图像上，当输入为全景图像时，则将移动侦测结果显示。

作为一种优选的方式，在步骤二中，通用移动侦测的算法为帧差法或高斯背景建模。

作为一种优选的方式，在步骤三中，

(1)对于鱼眼图像进行的区域权重补偿按照以下方式来进行，圆周鱼眼定义其圆心坐标O(x_o,y_o)，半径为R(单位为像素)，其对应等效焦距为f，视角为fov，对应关系为投影关系为F(θ)＝tan(θ)，对于有效成像圆对应同样大小的模板图像W，其中模板图像中每个像素取值W(x,y)为对应图像中坐标位置的权重补偿值，设定在圆心坐标O对应权重值为S，其他位置P(x,y)的对应的权重补偿值计算如下：

(2)对于全景2:1图像进行的区域权重补偿值按照以下方式来进行，权重补偿值计算方式如下：

row＝πR，col＝2πR

△S_eqt＝dxdy

故而，其权重补偿值计算为：

作为一种优选的方式，在步骤三中，圆心坐标对应权重值S直接设定为1。

作为一种优选的方式，在步骤四中，将猜测值和权重进行加权计算，判断是否超阈值，若否，则结束流程，若是，当输入为双鱼眼图像时，则将移动区域投影至拼接好的全景图像上，同时进行拍照、录像、提示用户等操作，当输入为全景图像时，则将移动侦测结果显示，同时进行拍照、录像、提示用户等操作。

一种全景移动侦测装置，采用上述全景移动侦测方法进行移动侦测。

在全景镜头应用进行移动判断时，根据现有方法，对场景中背景进行建模并给出动态移动物体的检测，结合相机内的权值，加权计算是否发生移动的猜测值，当该猜测值大于设定的阈值时，即认为有移动发生，进而在全景图像上进行移动部分的识别录像高清图像拍摄，通知上层等操作。

其中输入为双鱼眼图像时，权重的计算方式为，根据镜头设计畸变参数，获取不同区域每个像素对应到全景图像中成像球的面积，对应的面积越大，其权重也越大。输入图像为2：1全景图像时，由于2：1图像的长和宽分别表示经度与纬度，其每个像素对应到全景像球上的面积计算方式也需要相应更新，最终权重与每个像素所对应全景球上面积大小相关，对应面积越大，权重越高。

与现有技术相比，本发明的有益效果是：本发明可实现全景镜头的移动侦测，并根据不同输出结果的全景相机适配不同的权重补偿，克服全景相机生成的全景图像与普通成像差异引入的移动侦测不准确问题，通过对鱼眼图像或者全景2:1格式图像的不同区域权重补偿，实现全景鱼眼镜头的准确移动侦测。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本方案在输入视频为双鱼眼图像时的工作流程图。

图2是本方案采用的双鱼眼权重的示意图。

图3是本方案在输入视频为2：1全景视频时的工作流程图。

图4是本方案所采用的2：1全景视频图各区域示意图。

具体实施方式

下面结合附图对本发明作进一步的说明。本发明的实施方式包括但不限于下列实施例。

本发明中提出了通过对鱼眼图像或者全景2:1格式图像的不同区域权重补偿，实现全景鱼眼镜头的准确移动侦测。

在现有的移动侦测中首先对输入的图像进行动态侦测，该侦测方法可以使用不同的算法实现，比如：帧差法、高斯背景建模等。

帧差法使用连续的视频帧之间的差异，得到视频帧的图像内容变化，通过后续的形态学区域筛选得到最终动态侦测结果。高斯背景建模则是通过对静态场景背景进行建模，一般会用多帧的图像作为初始化输入，建模初始化完成后进行动态侦测是通过对后续帧内容不同区域进行前/后景判断，得到初步移动侦测结果，并且同步更新场景模型；后续亦是通过形态学区域筛选得到最终动态侦测结果。普通的镜头画面得到的移动侦测即为此步得到的结果。

而针对鱼眼镜头或者全景2:1格式图像等各种包含画面畸变的图像，直接使用此结果会得到不准确结果，对此我们引入了不同区域权重补偿。

1.对于鱼眼镜头进行的区域权重补偿按照以下方式来进行：

对于鱼眼镜头其画面成像P一般为圆周鱼眼(不同尺寸sensor从圆周鱼眼中截取部分图像)，对于圆周鱼眼定义其圆心坐标O(x_o,y_o)，半径为R(单位为像素)，并且其对应等效焦距为f，视角为fov，且有对应关系以下使用投影关系为 F(θ)＝tan(θ)。对于有效成像圆对应同样大小的模板图像W，其中模板图像中每个像素取值W(x,y)为对应图像中坐标位置的权重补偿值。设定在圆心坐标O对应权重值为S(或者为简化计算直接设定为1)，对于其他位置P(x,y)的对应的权重补偿值为：

2.对应的全景2:1图像进行的区域权重补偿按照以下方式来进行：

row＝πR，col＝2πR

△S_eqt＝dxdy

故而，对于权重补偿值计算为：

3.移动侦测结果判定：

在对原始画面进行动态侦测之后，得到“疑似”移动区域并得到对应用二值图表示的移动区域掩模图像，并对掩模图像进行连通域判断得到“候选”移动物体及个数，用模板图像和权值图进行“与”操作或者计算掩模图像连通域内各个坐标对应的权值，把各个连通域内权值进行累加即得到各个移动物体运动程度的表示，通过设定阈值即可判定改移动是否是实际场景中真实的移动。

实施例一：

如图1、图2所示，输入为双鱼眼时移动侦测方法包括步骤：

1、在双鱼眼全景相机所拍摄的图像中获取两幅鱼眼像的圆心以及半径；

2、对全景相机所采集到的图像进行比较和计算，得到对应区域是否移动的猜测值；

3、结合预先定义的权重对上一步采集到的猜测值进行加权计算；

4、当计算结果超出阈值时，提示全景相机存在移动，并传递移动区域；

5、将移动区域投射至拼接好的2:1全景图像中，对该区域进行畸变矫正；

6、进行识别，录像，拍照，提示用户等操作；

7、流程结束。

实施例二：

对应于监控相机中，操作流程包括：

1、移动侦测算法先从相机中读取预先识别好的鱼眼圆心与半径；

2、对采集到的图像进行比较计算，获取对应区域是否移动的猜测值；

3、根据相机对采集到鱼眼图像的补偿，获得是否移动判断的加权值；

4、当加权值大于阈值时，认为存在移动，通知相机；

5、相机接收到传来的移动信号，将发生移动部分映射到鱼眼图像所拼接成2:1全景图像上，对移动部分进行框选突出与识别；

6、相机进行拍照，录像，提示用户等操作；

7、结束。

实施例三：

如图3、图4所示，对于输入视频为2：1全景图像的全景相机流程包括：

1、对输入的全景视频进行比较计算，获取各个区域是否移动的猜测值；

2、结合各个区域的权重，获取整体全景视频是否移动的判断结果。若发生移动，则通知相机，进行相关操作；

3、相机接收到传来的移动信号，对移动部分进行框选突出与识别等操作，进行拍照，录像，提示用户；

4、结束。

实施例四：

在商场或景区人流监控应用中，操作流程包括：

1、移动侦测算法从相机中读取预先识别好的鱼眼圆心与半径；

2、对采集到的图像进行比较计算，获取各个区域对应的运动情况；、

3、将运动区域投影至拼接好的2:1全景视频中；

4、对其中人流进行识别跟踪；

5、统计各个区域的单位时间人流量；

6、以热力图的形式显示出各个区域的人流量；

7、结束。

如上所述即为本发明的实施例。上述实施例以及实施例中的具体参数仅是为了清楚表述发明人的发明验证过程，并非用以限制本发明的专利保护范围，本发明的专利保护范围仍然以其权利要求书为准，凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明的保护范围内。

Claims (6)

1.一种全景移动侦测方法，其特征在于：依次包括下述步骤，

一、获取鱼眼图像视频或全景2:1图像；

二、对采集到的图像进行比较和计算，具体为利用通用移动侦测计算获得各个区域是否移动的猜测值；

三、计算不同区域的权重补偿值，获得不同区域的权重；

四、将猜测值和权重进行加权计算，判断是否超阈值，若否，则结束流程，若是，当输入为双鱼眼图像时，则将移动区域投影至拼接好的全景图像上，当输入为全景图像时，则将移动侦测结果显示。

2.根据权利要求1所述的一种全景移动侦测方法，其特征在于：在步骤二中，通用移动侦测的算法为帧差法或高斯背景建模。

3.根据权利要求1所述的一种全景移动侦测方法，其特征在于：在步骤三中，

(1)对于鱼眼图像进行的区域权重补偿按照以下方式来进行，圆周鱼眼定义其圆心坐标O(x_o,y_o)，半径为R(单位为像素)，其对应等效焦距为f，视角为fov，对应关系为投影关系为F(θ)＝tan(θ)，对于有效成像圆对应同样大小的模板图像W，其中模板图像中每个像素取值W(x,y)为对应图像中坐标位置的权重补偿值，设定在圆心坐标O对应权重值为S，其他位置P(x,y)的对应的权重补偿值计算如下：

(2)对于全景2:1图像进行的区域权重补偿值按照以下方式来进行，权重补偿值计算方式如下：

row＝πR，col＝2πR

△S_eqt＝dxdy

故而，其权重补偿值计算为：

4.根据权利要求3所述的一种全景移动侦测方法，其特征在于：在步骤三中，圆心坐标对应权重值S直接设定为1。

5.根据权利要求1所述的一种全景移动侦测方法，其特征在于：在步骤四中，将猜测值和权重进行加权计算，判断是否超阈值，若否，则结束流程，若是，当输入为双鱼眼图像时，则将移动区域投影至拼接好的全景图像上，同时进行拍照、录像、提示用户等操作，当输入为全景图像时，则将移动侦测结果显示，同时进行拍照、录像、提示用户等操作。

6.一种全景移动侦测装置，其特征在于：采用权利要求1～5任一项所述一种全景移动侦测方法进行移动侦测。