发明内容
本发明实施例提供一种确定拍摄背景发生改变的检测方法及图像处理设备,以解决在现有技术中存在的难以有效降低拍摄背景是否被变更的误判几率的技术问题。
为解决上述技术问题,本发明的实施例提供一种确定拍摄背景发生改变的检测方法,包括:
确定背景参考图像中的背景标识区域;所述背景标识区域标识源背景中特征物在所述背景参考图像中的成像区域;
利用当前帧图像,获取所述背景参考图像的对比图像;
将所述背景参考图像中背景标识区域内的图像,与所述对比图像中相应区域内的图像做比对,得到比对结果;
根据所述比对结果,检测当前帧图像中的拍摄背景与所述源背景是否相符,若相符,则确定拍摄背景未变;否则,确定拍摄背景发生改变。
优选地,所述确定背景参考图像中的背景标识区域包括:
利用边缘检测技术,求出所述背景参考图像中边缘强度值满足预设要求的多个像素点;
算出所述多个像素点能够形成的所有连通区域;
从所有连通区域中选出所述背景标识区域。
优选地,所述利用边缘检测技术,从所述背景参考图像中提取边缘强度值满足预设条件的多个像素点包括:
计算所述背景参考图像上每个像素点的边缘强度值;
对所述每个像素点的边缘强度值作滤波处理,得到每个像素点的更新边缘强度值;
选出更新边缘强度值大于预设第一阈值的像素点,用作所述多个像素点。
优选地,所述对所述每个像素点的边缘强度值作滤波处理,得到每个像素点的更新边缘强度值包括:
根据预设规则,选取预设滤波窗内指定像素点的边缘强度值更新所述像素点的边缘强度值,得到所述更新边缘强度值;
所述滤波窗以所述像素点为中心且具有预设大小。
优选地,所述从所有连通区域中选出所述背景标识区域包括:
选出面积大于预设第二阈值的连通区域,用作所述背景标识区域。
优选地,所述利用当前帧图像,获取所述背景参考图像的对比图像包括:
对所述当前帧图像与该当前帧图像的相邻帧图像做差分运算,得到差分图像;所述差分图像包含由所述当前帧图像与所述相邻帧图像上像素值不同的所有像素点所形成的像素变化区域;
将所述差分图像用作所述对比图像。
优选地,所述将所述背景参考图像中背景标识区域内的图像,与在所述对比图像中相应区域内的图像做比对包括:
计算所述背景标识区域在所述背景参考图像中所占区域,与所述像素变化区域在所述对比图像中所占区域的交集区域;
检测所述交集区域所占面积是否满足预设要求,所述预设要求包括:所述交集区域所占面积与所述背景标识区域所占面积之间的比值不超过预设第三阈值。
优选地,所述得出比对结果包括:所述比值不超过所述第三阈值;
所述根据所述比对结果,检测当前帧图像中的拍摄背景与所述源背景是否相符包括:检测出所述拍摄背景与所述源背景相符;或,
所述得出比对结果包括:所述比值超过所述第三阈值;
所述根据所述比对结果,检测当前帧图像中的拍摄背景与所述源背景是否相符包括:检测出所述拍摄背景与所述源背景不相符。
优选地,所述根据所述比对结果,检测当前帧图像中的拍摄背景与所述源背景是否相符包括:
若所述比对结果为:所述比值超过所述第三阈值,则利用块匹配技术,比对所述背景参考图像与所述当前帧图像,从所述当前帧图像上找出与所述背景标识区域内的图像相匹配的匹配图像,其中所述背景标识区域内的图像包括多个待匹配块,所述匹配图像包括多个匹配块;
求出所述背景标识区域内的图像中各待匹配块所在位置与所述匹配图像中对应的匹配块所在位置之间的位移标示信息;
根据所述位移标示信息,统计所述匹配图像中,相比较对应的待匹配块所在位置,位移偏差超过预设第四阈值的所有匹配块的个数,若所述所有匹配块的个数超过预设第五阈值,则确定当前帧图像中的拍摄背景与所述源背景不相符。
为解决上述技术问题,本发明的实施例还提供一种图像处理设备,包括:
处理单元,用于确定背景参考图像中的背景标识区域;所述背景标识区域标识源背景中特征物在所述背景参考图像中的成像区域;
获取单元,用于利用当前帧图像,获取所述背景参考图像的对比图像;
比对分析单元,用于将所述背景参考图像中背景标识区域内的图像,与所述对比图像中相应区域内的图像做比对,得到比对结果;根据所述比对结果,检测当前帧图像中的拍摄背景与所述源背景是否相符,若相符,则确定拍摄背景未变;否则,确定拍摄背景发生改变。
优选地,所述处理单元包括:
计算单元,用于利用边缘检测技术,求出所述背景参考图像中边缘强度值满足预设要求的多个像素点;算出所述多个像素点能够形成的所有连通区域;
选择单元,用于从所有连通区域中选出所述背景标识区域。
优选地,所述获取单元包括:
选取单元,用于从拍摄出的图像中选择当前帧图像和该当前帧图像的相邻帧图像;
差分运算单元,用于对所述当前帧图像与所述相邻帧图像做差分运算,算出被用作所述对比图像的差分图像,所述差分图像包含由所述当前帧图像与所述相邻帧图像上像素值不同的所有像素点所形成的像素变化区域。
优选地,所述比对分析单元包括:
交集计算单元,用于计算所述背景标识区域在所述背景参考图像中所占区域,与所述像素变化区域在所述对比图像中所占区域的交集区域;
检测单元,用于检测所述交集区域所占面积是否满足预设要求,所述预设要求包括:所述交集区域所占面积与所述背景标识区域所占面积之间的比值不超过预设第三阈值,
分析处理单元,用于根据检测单元得到的比对结果,分析所述拍摄背景是否发生改变。
优选地,所述分析处理单元包括:
匹配单元,用于根据所述比对结果为:所述比值超过所述第三阈值,利用块匹配技术,比对所述背景参考图像与所述当前帧图像,从所述当前帧图像上找出与所述背景标识区域内的图像相匹配的匹配图像,其中所述背景标识区域内的图像包括多个待匹配块,所述匹配图像包括多个匹配块;
位移计算单元,用于求出所述背景标识区域内的图像中各待匹配块所在位置与所述匹配图像中对应的匹配块所在位置之间的位移标示信息;
统计分析单元,用于根据所述位移标示信息,统计所述匹配图像中,相比较对应的待匹配块所在位置,位移偏差超过预设第四阈值的所有匹配块的个数,若所述所有匹配块的个数超过预设第五阈值,则确定当前帧图像中的拍摄背景与所述源背景不相符。
本发明的实施例所提供的技术方案,通过确定出标识源背景中特征物成像区域的背景标识区域,利用背景标识区域内的图像,与基于当前帧图像获得的对比图像中相应区域内的图像做比对处理,来检测拍摄出的图像上所体现的拍摄背景与背景参考图像所体现的源背景是否相符,由于本发明的实施例中,采用有针对性的比对处理,比对不同图像上特定区域内的图像,如上述将背景参考图像中背景标识区域内的图像与对比图像中相应区域内的图像做对比,相比较现有技术,提高图像比对处理中比对范围的精度,因此可有效降低误判几率,提高检测的准确性。
进一步,终端处理器可基于正确的检测结果,来确定是否重新建立背景图像模型,有效降低终端处理器的执行重复操作的次数,稳定终端处理器的性能,且有效降低能耗。
具体实施方式
现有技术采用直接将背景参考帧与当前帧作对比的技术手段,来检测图像采集设备拍摄的背景是否发生变更,由于该技术手段简单,因此,检测结果出错的几率较大。
本发明的实施例中,为检测所拍摄的背景是否被变更,并不仅仅将背景参考帧与当前帧相比较,而是确定出背景参考图像中的背景标识区域,基于该背景标识区域以及背景参考图像,来确定背景是否发生变更。
下面结合具体的实施例与附图,对本发明的实施例的技术方案作详细说明。
参见图1,图1是本发明的实施例中确定拍摄背景发生改变的检测方法流程图,该流程可包括以下步骤:
步骤101、确定背景参考图像中的背景标识区域;该背景标识区域标识源背景中特征物在背景参考图像中的成像区域。
具体来讲,本发明的实施例中,成像区域图像表现背景参考图像中相比较邻近像素点,像素值变化较大的像素点所围成区域的图像信息,举例如,所拍摄的源背景是一定空间范围内的墙面以及墙前摆放的一盆花,背景参考图像上,盆花以及盆花的阴影所成像区域边缘像素点的像素值相比较其他区域像素点的像素值一般会存在突变,则盆花及阴影可看作源背景上的特征物,盆花及阴影的成像区域可用作背景标识区域。
可参见图2,图2是本发明的实施例中背景标识区域的示意图。图2中,背景标识区域包括三个子区域,分别用A、B、C标示。
步骤102、利用当前帧图像,获取背景参考图像的对比图像。
步骤103、将背景参考图像中背景标识区域内的图像,与对比图像中相应区域内的图像做比对,得到比对结果。
步骤104、根据比对结果,检测当前帧图像中的拍摄背景与源背景是否相符,若相符,则确定拍摄背景未变;否则,确定拍摄背景发生改变。
实际应用中,若检测结果为拍摄背景发生改变,则可根据需要给出需要更新背景模型的提示。
参见图3,图3是本发明的实施例中确定背景标识区域的流程图,该流程可包括以下步骤:
步骤301、利用边缘检测技术,确定背景参考图像中边缘强度值满足预设要求的多个像素点,称该多个像素点为边缘点。
本发明的实施例中,借助于边缘检测技术,确定出背景标识区域,以便后续分析不同帧图像上位于背景标识区域内的图像。而边缘检测技术在现有技术中通常用于提取图像边缘如数码照片上的人像的边缘,以便后续针对提取出的人像作进一步处理。
本发明的实施例中,为确定出边缘点,可采用边缘检测技术计算背景参考图像上每个像素点的边缘强度值,包括:采用边缘算子,提取背景参考图像上每个像素点的水平边缘和垂直边缘,计算水平边缘与垂直边缘的平方和,该平方和可用作该像素点的边缘强度值;其中,边缘算子有很多定义方式,可以采用prewitt算子、索贝尔(sobel)或坎尼(canny)算子等,通常,prewitt算子的运算量相对较少,sobel及canny算子的运算量相对较大。
进而,可基于算出的每个像素点的边缘强度值,选出边缘强度值满足预设要求的边缘点。
步骤302、求出边缘点能够形成的所有连通区域。
由于边缘点是离散的,因此,为最终确定出背景标识区域,需要连接离散的边缘点,以勾勒出一个个连通区域。具体地,本发明的实施例中,可采用连通域分析技术,基于离散的边缘点,求出连通区域。
参见图4,图4是本发明的实施例中连通区域的示意图。图4中,边缘点所能够形成的连通区域包括四个,分别由A、B、C和D标示。
步骤303、从所有连通区域中选出背景标识区域。
本发明的实施例中,考虑到基于边缘点算出的连通区域未必均是特征物的成像区域,而可能因计算误差产生。因此,本发明的实施例中,为尽量减小误差,并不直接将所有连通区域均用作背景标识区域,而是从多个连通区域中选出符合预设要求的用作背景标识区域,具体如,选出区域面积大于预设阈值T1的连通区域,用作背景标识区域。
如图4所示,本发明的实施例中,选出面积符合要求的A、B、C三个连通区域,即图2中的A、B、C三个子区域,用作有效的背景标识区域,而并不将面积较小的D区域用作背景标识区域。
实际应用中,也可根据实际情况选取合适的连通区域用作背景标识区域。
下面列举上述步骤301中确定边缘点的实施例。参见图5,图5是本发明的实施例中确定边缘点的流程图,该流程可包括以下步骤:
步骤501、计算背景参考图像上每个像素点的边缘强度值,称包含每个像素点的边缘强度值的数据信息为边缘强度图像。
步骤502、利用预设的滤波窗,对边缘强度图像做滤波处理,更新每个像素点的边缘强度值,得到每个像素点的更新边缘强度值。
实际应用中,可选择边缘强度值在预设范围的像素点用作边缘点,如边缘强度值超过预设阈值T2,则选出对应的像素点用作边缘点。但这样选出的边缘点未必具有较好的代表性。
为使选出的边缘点更加合适,本发明的实施例中,对边缘强度图像作进一步滤波处理,以更新每个像素点的边缘强度值。本发明的实施例中,具体采用排序滤波器(rank-filter)进行滤波处理,具体包括:
预设滤波窗,该滤波窗的大小可设为RW*RH;
设每个滤波窗的中心为各像素点,且可参见图6,图6是本发明的实施例中滤波窗的示意图;则可根据预设规则,选用每个滤波窗内指定像素点的边缘强度值,更新该滤波窗中心像素点的边缘强度值。具体的rank-filter滤波可包括:
对一个滤波窗内所包含像素点的边缘强度值作排序处理;
根据预选的滤波参数r的取值,选出指定像素点;其中,参数r的设置体现预设规则,其取值可设在0到1之间,如取r=0.8,则表示所选取的边缘强度值大于滤波窗内80%的边缘强度值。举例如,滤波窗内有五个像素点的边缘强度值,按从大到小排序为:1、1.1、2、4、4.3,如果设定r=0.8,则选择边缘强度值为4,用作中心像素点的更新边缘强度值。
则采用上述rank-filter滤波,更新每个像素点的边缘强度值。
基于上述rank-filter滤波处理,可使特征物的成像区域边缘处像素值发生突变的像素点的分散程度相对较收敛,以便后续选出位置相对集中的边缘点。实际应用中,也可采用其他滤波技术更新各像素点的边缘强度值。
步骤503、基于每个像素点的更新边缘强度值,选出更新边缘强度值在预设范围内的边缘点。
该步骤503中,预设范围包括:大于预设阈值T3的范围。
上述图5所示流程结束,图5流程列举了选取边缘点的具体实施例,实际应用中,也可采用其他方式选出用于界定特征物成像区域与其他区域的边缘点。
基于所确定的背景标识区域,本发明的实施例中,进一步分析其他帧图像所体现的目标背景与背景参考图像所体现的源背景是否相符。
参见图7,图7是本发明的实施例中确定拍摄背景是否被变更的流程图,该流程可包括以下步骤:
步骤701、利用拍摄出的图像,获取用于与背景标识区域内的源图像作对比的对比图像,其中,取拍摄出的图像为当前图像与其相邻帧图像。
该步骤701中,具体地,可对当前图像与相邻帧图像做差分运算,算出两帧图像的差分图像,将该差分图像用作对比图像。对比图像即可体现两帧图像上像素值不同的所有像素点所形成的像素变化区域。
具体差分运算的做法可包括:计算相邻两帧图像中对应像素点的亮度分量差值的绝对值,保留绝对值超过预设值的像素点;或计算相邻两帧图像中对应像素点的红绿蓝(RGB)三色分量的差值的绝对值,保留绝对值超过预设值的像素点。实际应用中,也可采用其他方式计算对比图像。
参见图8,图8是本发明的实施例中像素变化区域在对比图像上所占区域的示意图。图8中,像素变化区域由E标示。
步骤702、求出对比图像上像素变化区域与背景参考图像上背景标识区域的交集区域。
实际应用中,求交集区域的具体做法可包括:
预先对背景参考图像做二值化处理,设背景标识区域内像素点的二值化值为“1”,非背景标识区域内的像素点的二值化值为“0”,得到二值化背景参考图像;
在求出对比图像后,对对比图像做二值化处理,设像素变化区域内像素点的二值化值为“1”,非像素变化区域内像素点的二值化值为“0”,得到二值化对比图像;
对二值化对比图像与二值化背景参考图像做逻辑运算;本发明的实施例中,根据以上二值化值的设置,逻辑运算的算法具体为“与”运算;
则算出二值化值为“1”的区域即为上述交集。
实际应用中,也可根据需要设置各像素点的二值化值,并设置对应的逻辑运算算法,以计算上述交集。
另需说明的是,本发明的实施例中,通过求像素变化区域与背景标识区域的交集的方式,来实现背景标识区域与对比图像上相应区域内的图像的对比处理,计算较为方便。实际应用中,也可直接将背景标识区域与对比图像上相应区域内的图像作对比。
参见图9,图9是本发明的实施例中交集区域示意图。图9中,二值化对比图像与二值化背景参考图像的交集包括两个区域,分别由ae、ce标示。
步骤703、检测交集区域所占面积是否满足预设要求,若满足,则确定拍摄背景并未发生变化,执行步骤704;否则,执行步骤705。
本发明的实施例中,所设置的预设要求包括:交集区域面积与背景标识区域所占面积之比不超过预设阈值T4。
则用算出的ae与ce所占面积之和除以背景标识区域所占面积,将算出的比值与T4相比较,若未超过,则可确定拍摄背景并未发生变化。
实际应用中,也可设置预设要求为:直接将交集区域面积与预设阈值T5比较,若未超过T5,则确定拍摄背景并未发生变化。
步骤704、继续监测下一帧图像,返回执行步骤701。
步骤705、利用块匹配技术,比对背景参考图像与当前图像,从当前图像上找出与背景参考图像上的源图像相匹配的匹配图像,其中源图像包括多个待匹配块,匹配图像包括多个匹配块。
实际应用中,可在上述步骤703判断出交集的区域面积不满足预设要求后,直接确定拍摄的背景发生变化。但实际应用中,可能出现ae与ce面积之和较大,但实际背景并未变化的情况,如前景物离摄像头比较近,使得前景图所覆盖的背景图区域面积较大,该情况下,若直接基于交集的区域面积来判断背景是否发生变化,则可能会导致背景未变但确定为发生变化的误判。
本发明的实施例中,为尽量降低误判几率,提出进一步的改进措施,即进一步利用光流分析技术,分析交集区域面积较大是因为拍摄背景发生变化还是因为前景图的干扰造成。
源图像是背景参考图像中背景标识区域的成像。该步骤705中,具体地,可基于预设块匹配策略,将待匹配的背景参考图像与当前图像,分为多个大小为RW·RH的块,基于现有块匹配技术,找出当前图像中,与背景参考图像中各个待匹配块相匹配的匹配块。所需说明的是,本发明的实施例中,所谓匹配并非表示匹配块中各像素点的像素值与对应的待匹配块中各像素点的像素值相同,而表示相比较匹配窗内的其他像素点的像素值,匹配块内各像素点的像素值与待匹配块内像素点的像素值相差较小。
步骤706、求出源图像中各待匹配块所在位置与匹配图像中对应的匹配块所在位置之间的位移标示信息。
该步骤706中,具体地,对于源图像中的每个待匹配块,可以该待匹配块所在位置为起点,匹配图像中该待匹配块对应的匹配块所在位置为终点,引出位移矢量,该位移矢量可用于表示上述位移标示信息。
求出源图像中,每个待匹配块的位移矢量。
步骤707、根据求出的位移标示信息,来确定拍摄背景是否变化,若未变,返回执行步骤704;若变化,执行步骤708。
该步骤707中,具体确定拍摄背景是否变化的操作可包括:
对于背景标识区域中的一个子区域而言,找出该子区域内位移大小超过预设阈值T6的待匹配块,且为方便表述,用G代表一个子区域内位移大小超过T6的待匹配块;若G的个数较多,符合预设要求,预设要求如G的个数超过预设阈值T7,或者G的个数与该子区域内待匹配块的总数SM之比超过预设阈值T8;则可确定该子区域内的图像变化较大;反之,若G的个数较少,未超过T7,或与SM的比值未超过T8,则可确定该子区域内的图像变化较小;
进一步,统计图像变化较大的子区域的个数SN,若SN较大,符合预设条件,如SN超过预设阈值T9,或SN与背景标识区域内子区域的总数SUM之比超过预设阈值T10,且区域内部的位移矢量的水平分量的方差小于阈值,且垂直分量的方差小于阈值,则可确定背景标识区域内的图像发生变化,或者说背景发生变化;反之,若SN较小,未超过T9,或与SUM之比未超过T10,则可确定背景并未发生变化。
步骤708、提出警示信息,以警示拍摄背景发生变化。
实际应用中,可设置在得出警示信息后,由背景模型更新功能执行更新背景模型的操作,具体背景模型更新操作可基于核密度估计技术实现,本申请中不作赘述。
另外,实际应用中,也可直接将拍摄出的一帧图像用于对比图像,与背景参考图像做比对处理,着重比对背景标识区域的源图像与对比图像上与源图像所占位置相应区域内的图像,并根据比对结果来确定拍摄背景是否有变。
参见图10、图10是本发明的实施例中图像处理设备的结构示意图。图10中,设备1000包括:
处理单元1001,用于确定背景参考图像中的背景标识区域;所述背景标识区域标识源背景中特征物在所述背景参考图像中的成像区域;
获取单元1002,用于利用当前帧图像,获取背景参考图像的对比图像;
比对分析单元1003,用于将背景参考图像中背景标识区域内的图像,与对比图像中相应区域内的图像做比对,得到比对结果;根据所述比对结果,检测当前帧图像中的拍摄背景与所述源背景是否相符,若相符,则确定拍摄背景未变;否则,确定拍摄背景发生改变。
参见图11,图11是本发明的实施例中图像处理设备的另一结构示意图。图11中,处理单元1001包括:
计算单元1101,用于利用边缘检测技术,求出所述背景参考图像中边缘强度值满足预设要求的多个像素点;算出所述多个像素点能够形成的所有连通区域;
选择单元1102,用于从所有连通区域中选出所述背景标识区域。
获取单元1002包括:
选取单元1103,用于从拍摄出的图像中选择当前帧图像和该当前帧图像的相邻帧图像;
差分运算单元1104,用于对所述当前帧图像与所述相邻帧图像做差分运算,算出被用作所述对比图像的差分图像,所述差分图像包含由所述当前帧图像与所述相邻帧图像上像素值不同的所有像素点所形成的像素变化区域。
比对分析单元1003包括:
交集计算单元1105,用于计算所述背景标识区域在所述背景参考图像中所占区域,与所述像素变化区域在所述对比图像中所占区域的交集区域;
检测单元1106,用于检测所述交集区域所占面积是否满足预设要求,所述预设要求包括:所述交集区域所占面积与所述背景标识区域所占面积之间的比值不超过预设第三阈值,
分析处理单元1107,用于根据检测单元得到的比对结果,分析所述拍摄背景是否发生改变。
分析处理单元1107可包括(图11中未示出):
匹配单元,用于根据所述比对结果为:所述比值超过所述第三阈值,利用块匹配技术,比对所述背景参考图像与所述当前帧图像,从所述当前帧图像上找出与所述背景标识区域内的图像相匹配的匹配图像,其中所述背景标识区域内的图像包括多个待匹配块,所述匹配图像包括多个匹配块;
位移计算单元,用于求出所述背景标识区域内的图像中各待匹配块所在位置与所述匹配图像中对应的匹配块所在位置之间的位移标示信息;
统计分析单元,用于根据所述位移标示信息,统计所述匹配图像中,相比较对应的待匹配块所在位置,位移偏差超过预设第四阈值的所有匹配块的个数,若所述所有匹配块的个数超过预设第五阈值,则确定当前帧图像中的拍摄背景与所述源背景不相符。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。