CN102348128B - 具有摄像机异常检测装置的监视用摄像机*** - Google Patents

Abstract

具有摄像机异常检测装置的监视用摄像机***具有：从获取图像和基准图像分别提取整体特征量的整体特征提取单元；从通过图像块分割单元对获取图像和基准图像进行图像块分割后的图像中提取各图像块的特征量即图像块特征量的图像块特征提取单元；异常判断单元，其计算基准图像的整体特征量与获取图像的整体特征量之间的变化量以及基准图像的图像块特征量与获取图像的图像块特征量之间的变化量并进行阈值判断来判断摄像机异常，同时输出以各图像块为单位表示摄像机异常种类的信息。可检测针对摄像机的妨碍行为即遮蔽和摄像角度偏离，并作为摄像机异常而输出，通过对该摄像机异常的异常恢复方法和维修检查方法以及原因等进行通知，能够提高业务的效率。

Description

具有摄像机异常检测装置的监视用摄像机***

技术领域

本发明涉及一种具有摄像机异常检测功能的图像监视***，其是具有从摄像机等的摄像装置获取图像，并通过图像识别来检测入侵者等功能的图像监视***(监视用摄像机***)，在该监视用摄像机***中检测针对摄像机的妨碍行为和因设备异常而产生的图像获取故障。

背景技术

图像监视***具有通过图像识别从通过摄像机获取的图像检测出现在监视区域内的人和车辆等移动物体的功能，上述图像监视***具有根据检测结果仅对出现了移动物体的图像进行记录的功能，并且能够通过在显示装置上显示警告图标以及使蜂鸣器等鸣动来引起监视人员注意，所以与以前的需要常时进行确认作业的监视***相比，能够减轻监视业务的负担。此外，在发生了盗窃等不法行为的情况下，由上述图像监视***记录的图像还能够在事后用于对犯罪行为进行取证。

针对上述图像监视***，为了不让上述图像监视***获得可用作证据的图像，作案人会作出改变摄像机的摄像角度，或者在摄像机前放置遮蔽物，或者毁坏摄像机的镜头等行为，而这些行为已经引起了人们的关注。在摄像机遭遇了上述行为时，会导致摄像机发生虽然能够获取图像信号，但除非通过目视检测等进行确认，否则无法获得有益图像的问题。

此外，在摄像机自身发生了故障时，当然也无法获得图像，所以可能导致图像监视***无法工作，需要将设备异常通知监视人员等，使得能够对摄像机的异常进行修理，以使图像监视***恢复功能。

为了解决上述问题，已知例如在专利文献1至专利文献3中公开了通过图像识别来检测图像的变化，以此来检测摄像机异常的方法。在专利文献1所公开的技术中，作为辅助照明，设置有红外线LED，并且具有检测监视环境的亮度的光电传感器，此外还具有通过该等检测装置来检测摄像机的妨碍行为的装置。在专利文献2所公开的技术中，首先通过对基准图像和输入图像进行比较来计算各个像素的变化，并根据其结果，利用亮度的差分或者分散来检测妨碍行为是通过遮住摄像机等来使得图像单色化为黑色和白色等颜色的单色化妨碍行为还是通过改变摄像机的朝向等来使得整个图像出现变化的混合变化妨碍行为。在专利文献3所公开的技术中，将图像数据分割成多个数据块，针对各个数据块计算亮度值的标准偏差和变化量，由此来检测针对摄像机的遮蔽行为。

专利文献

专利文献1：日本国专利特开2001-6056号公报

专利文献2：日本国专利特开2008-77517号公报

专利文献3：日本国专利特开2009-193464号公报

发明内容

具有摄像机异常检测功能的监视用摄像机***的主要目的是使得能够在检测到针对摄像机的妨碍行为时，立即向有关人员发出警告，使得能够根据实际情况进行维修和检查等。也就是说，需要根据摄像机异常的种类采取不同的处理方法，例如在镜头遭到破坏时进行镜头的更换，在摄像机的角度被改变了时对摄像机重新进行调整等。因此，在进行摄像机异常检测时，重要的是不仅要能够检测出异常，而且还要能够检测出摄像机异常的种类。

在上述专利文献1至专利文献3的现有技术中，采用根据来自红外线传感器等的信息或者亮度值的变化进行检测的检测方法来检测针对摄像机的妨碍行为。因此，在各种摄像机异常中，上述现有技术只能够检测出针对镜头的遮蔽行为。

可是，作为具有摄像机异常检测功能的监视用摄像机***，要求能够解决各种摄像机异常，作为摄像机异常的种类，例如有镜头的局部遮蔽、镜头的整体遮蔽、摄像角度偏离(摄像机方向偏离)、图像模糊(blurring)、杂波(noise)、晕光(halation)等。

此外，在上述现有技术中还存在容易对正常的图像，例如人物的动作等产生误报警的问题。由于人物的动作也可能导致亮度发生变化，所以在上述现有技术中在人物频繁出入的场所等发生将人物的动作检测为摄像机异常的可能性高。

本发明的目的在于提供一种监视用摄像机***，其能够对上述问题作出改进，通过检测出监视用摄像机的异常并告知该异常的种类，能够提高异常恢复和维修保养等业务的效率。

上述课题以外的课题将在整个说明书和附图中加以说明。

为了解决上述课题，在本发明中例如能够采用以下结构。

本发明的第一方面提供一种具有摄像机异常检测装置的监视用摄像机***，其是具有根据获取图像和基准图像来检测摄像机异常的摄像机异常检测装置的监视用摄像机***，所述具有摄像机异常检测装置的监视用摄像机***具有：

生成或者选择作为比较对象的基准图像的基准图像更新单元；

将所述获取图像和所述基准图像分别分割成图像块的图像块分割单元；

从所述获取图像和所述基准图像分别提取各个图像的整体特征量的整体特征提取单元；

从通过所述图像块分割单元进行了图像块分割的所述获取图像和所述基准图像的分割成图像块后的图像中提取各个图像的图像块的特征量即图像块特征量的图像块特征提取单元；

异常判断单元，其计算所述基准图像的所述整体特征量与所述获取图像的所述整体特征量之间的变化量以及所述基准图像的所述图像块特征量与所述获取图像的所述图像块特征量之间的变化量，并进行阈值判断，由此来判断所述摄像机异常，同时输出以各图像块为单位表示所述摄像机异常的种类的信息；

摄像机异常分类单元，其根据以所述各图像块为单位表示所述摄像机异常的种类的信息，并参照预先设定的所述摄像机异常的异常分类基准，由此对所述摄像机异常进行分类；以及

输出部分，其输出由所述摄像机异常分类单元进行了分类的摄像机异常。

根据本发明的第一方面的具有摄像机异常检测装置的监视用摄像机***，本发明的第二方面的具有摄像机异常检测装置的监视用摄像机***可以构成为：

作为所述特征量，使用图像特征量和统计特征量中的至少一种特征量，作为所述变化量，使用差分以及/或者相关值，

所述异常判断单元将在所述阈值判断中被判断为发生了所述摄像机异常的区域作为所述摄像机异常的异常候补区域进行输出。

根据本发明的第二方面的具有摄像机异常检测装置的监视用摄像机***，本发明的第三方面的具有摄像机异常检测装置的监视用摄像机***可以构成为：

还具有动作区域检测单元，该动作区域检测单元根据所述获取图像和所述基准图像，在所述获取图像内检测与所述基准图像相比出现了动作的动作区域，

在所述异常候补区域不是所述动作区域，并且异常的持续时间持续了规定时间以上时，所述异常判断单元将所述异常候补区域作为异常区域来计算，当所述异常区域的面积在阈值以上时，判断为发生了所述摄像机异常。

根据本发明的第一方面至第三方面的任一方面的具有摄像机异常检测装置的监视用摄像机***，本发明的第四方面的具有摄像机异常检测装置的监视用摄像机***可以构成为：

所述异常分类基准针对每一种所述摄像机异常具有表示是使用所述图像块特征量还是使用所述整体特征量的信息、用于判断所述摄像机异常的所述特征量以及用于判断所述摄像机异常的优先度的信息。

根据本发明的第四方面的具有摄像机异常检测装置的监视用摄像机***，本发明的第五方面的具有摄像机异常检测装置的监视用摄像机***的特征在于可以构成为：

所述异常判断单元以通过所述图像块分割单元分割而形成的图像块为单位，检测由所述异常分类基准定义的所述摄像机异常，

在检测到多种所述摄像机异常时，所述摄像机异常分类单元根据所述优先度对所述摄像机异常进行分类。

根据本发明的第一方面至第五方面的任一方面的具有摄像机异常检测装置的监视用摄像机***，本发明的第六方面的具有摄像机异常检测装置的监视用摄像机***的特征在于可以构成为：

所述异常分类基准针对每一种所述摄像机异常具有用于使摄像机从所述摄像机异常恢复的维修作业的信息或者表示所述摄像机异常原因的信息。

根据本发明的第六方面的具有摄像机异常检测装置的监视用摄像机***，本发明的第七方面的具有摄像机异常检测装置的监视用摄像机***可以构成为：

所述输出部分在参照所述摄像机异常以外还参照所述异常分类基准，以输出与所述摄像机异常相对应的所述维修作业的信息或者所述原因的信息。

根据本发明的第一方面至第七方面的任一方面的具有摄像机异常检测装置的监视用摄像机***，本发明的第八方面的具有摄像机异常检测装置的监视用摄像机***可以构成为：

所述输出部分将所述摄像机异常和所述获取图像保存在记录介质中。

上述结构只是一个结构例，本发明在不脱离其技术思想的范围内可以进行适当的变更。本发明的上述结构以外的结构例在本申请文件的说明书或者附图中加以说明。

发明效果

根据本发明，能够提供一种有效的监视用摄像机***，其通过利用基准图像和输入图像的整体特征量、通过分割而得到的多个图像块的特征量以及动作区域，能够检测出镜头的局部遮蔽、镜头的整体遮蔽、摄像角度偏离(摄像机方向偏离)、图像模糊、杂波、晕光(halation)等各种摄像机异常，并对上述各种异常进行分类，由此能够提高异常恢复和维修保养等业务的效率。

本发明的其它效果将在说明书中加以说明。

附图说明

图1是表示本发明的一实施方式的整体结构的结构图。

图2是表示本发明的识别部分的图。

图3是表示本发明的动作区域检测单元的处理顺序的图。

图4是表示本发明的基准图像更新单元的处理顺序的图。

图5是表示本发明的特征提取单元的图。

图6是表示本发明的图像块分割的图。

图7是表示在本发明中识别的摄像机异常示例的图。

图8是表示本发明的使用整体特征量判断异常时的处理顺序的图。

图9是表示本发明的使用各个图像块的特征量判断异常时的处理顺序的图。

图10是本发明的动作区域图像块、异常候补图像块和异常区域图像块的模式图。

图11是表示本发明的异常判断单元的处理顺序的图。

图12是本发明的异常分类单元的说明图。

图13是本发明的异常分类基准的示例图。

图14是表示本发明的输出例的图。

图15是表示本发明的摄像机内置时的实施方式的图。

图16表示本发明的通过网络实施的实施方式的图。

符号说明

10摄像机

11镜头单元

12摄像机控制部分

20图像获取部分

30识别部分

40输出部分

50输出装置

60记录介质

70，71监视现场

80，81，82网络

90监视服务器

91维修现场

300动作区域检测单元

301基准图像更新单元

302特征提取单元

303异常判断单元

304异常分类单元

3020整体特征提取单元

3021图像块特征提取单元

D100基准图像

D101差分图像

D102动作区域图像

D103输入图像

D104输入特征图像

D105基准特征图像

D106异常候补图像

D107输入图像块特征图像

D108基准图像块特征图像

D109异常区域图像

具体实施方式

以下参照附图对本发明的实施例进行说明。在各个附图中，相同或者类似的结构要素采用相同的符号表示，并省略其重复的说明。

图1是表示本发明的一实施方式的整体结构的结构图。图1表示将本发明应用于由摄像机、记录介质和输出装置构成的监视用摄像机***(图像监视***)时的结构。在图像监视***中，作为硬件具有用于执行各种功能的电子计算机***。该电子计算机***具有CPU、存储器和LSI等。图1的方块图不是表示硬件的构成单位，而是表示由硬件和软件构成的各种功能。

图1的监视用摄像机***具有摄像机10、图像获取部分20、识别部分30、输出部分40、输出装置50以及记录介质60，在记录介质60中对从摄像机10获取的图像信号附加由识别部分30获取的识别结果信息并进行保存。

摄像机10将由摄像机镜头、CMOS和CCD等摄像介质构成的摄像装置所获取的图像信号输出到图像获取部分20中。其中，图像信号能够作为一维排列或者二维排列的图像数据获取，为了降低杂波和闪烁等的影响，作为前处理，可以对该图像数据实施平滑化滤波器处理、轮廓强调用滤波器处理和浓度变换等的处理。此外，还可以根据用途选择RGB彩色和黑白色等数据形式。并且还可以为了降低处理成本而以规定的大小对图像数据进行缩小处理。

输出部分40将识别部分30的识别结果以及由摄像机10获取的图像信号输出到输出装置50或者记录介质60中。输出装置50是输出警报等的输出装置，例如在根据识别部分30的识别结果而识别到摄像机出现异常时输出警报等。作为输出装置50，可以选择警报器、扬声器、指示灯和监视器等输出装置。

作为记录介质60，能够使用硬件驱动器和闪存存储器等的电子记录介质和磁带等。输出部分40可以包括RGB监视器输出和经由网络的数据输出等，参数设定通过用户接口进行。通过用户接口进行输入时可以使用鼠标和键盘等的输入器件等的接口功能。通过用户接口进行输出时可以使用作为输出装置50之一的监视器进行。

识别部分30是本发明的重要部分。以下以识别部分30为中心进行详细说明。

以下，参照图2对识别部分30进行说明。识别部分30由动作区域检测单元300、基准图像变更单元301、特征提取单元302、异常判断单元303以及异常分类单元304构成。识别部分30具有通过异常分类单元304对监视用摄像机的异常进行分类并将其输出的功能。以下按序对识别部分30中的各个单元进行详细说明。

动作区域检测单元300对由图像获取部分20获取的输入图像和在基准图像变更单元301中预先生成的基准图像进行比较，并生成动作区域图像。以下参照图3对动作区域检测单元300的处理顺序进行说明。动作区域检测单元300将输入图像作为输入，以像素为单位或者以任意的图像块为单位进行运算。首先，实施前处理s10。实施前处理s10的目的在于提高对动作区域的检测性能，例如可以实施用于除去杂波的平滑化滤波器处理、用于提高稳健性的边缘提取滤波器处理以及为了提高处理速度而进行的将图像缩小到任意尺寸的图像缩小处理。此外，预先将差分图像D100的所有的像素初始化为0。

选择输入图像内的像素位置(s11)，执行用于提取动作区域的处理，然后移动到下一个像素，对整个图像反复进行上述处理(s14)。以下，为了方便起见，对任意像素的运算进行说明。

在任意的像素位置p(x，y)提取输入图像与预先获取的基准图像D100之间的差分(s12)。例如在使用亮度值进行差分处理的场合下，在假设输入图像的亮度值为I(P)，并且假设基准图像D100之亮度值为B(P)时，其差分D(P)为D(P)＝|I(P)-B(P)|。在进行差分处理时，如果是边缘和颜色信息等作为图像信息获得的差分，则可以根据实施环境使用任意的信息来实施差分处理。

此后，针对在差分处理s12中得到的差分D(P)执行阈值处理(s13)。当差分D(P)在阈值以上时，在差分图像D101的对应位置采用该差分值(s13的判断结果为“是”时)，并进入到下一个像素(s14)。当差分D(P)小于阈值时，则视为图像的变化小，差分是因亮度的变化和杂波而引起的差分，此时，维持D(P)＝0不变(s13的判断结果为“否”时)，并进入到下一个像素(s14)。通过根据上述结果来构成图像，能够得到差分图像D101。此后，对差分图像D101进行后处理，生成动作区域图像D102(s15)。

在本实施例的后处理s15中执行二值图像处理，通过膨胀收缩处理和能够根据二值图像区域的合并和面积等进行滤波的标记处理(labeling)对动作区域进行整形。此时，动作区域图像D102是由动作区域为255的值，非动作区域为0的值构成的二值图像。在后处理s15中，例如也可以执行高斯滤波处理和杂波除去处理等处理。

以下参照图4对基准图像更新单元301进行说明。基准图像是作为基准使用的图像，相当于背景图像。选择图像内的像素位置(s20)，以像素为单位对基准图像进行更新，然后进入移动到下一个图像，针对整个图像反复进行上述处理(s25)。在图像内没有发生动作和摄像机异常等时对基准图像进行更新。这样做的目的在于，如果在图像内发生了动作和摄像机异常等时对基准图像进行更新，可能将混入有人物动作和摄像机异常等的图像获取为基准图像，从而可能会导致性能降低。以下，为了方便起见，对任意像素的运算进行说明。

在任意的像素位置p(x，y)，参照由动作区域检测单元300检测到的动作区域图像D102，判断在像素位置p是否有动作发生(s21)。在本实施例中，动作区域图像D102的值为0或者255。在处理步骤s21中，判断动作区域图像D102的像素位置p的值是否为255。在判断为发生了动作时(s21的判断结果为“是”时)，不对基准图像D100进行更新而移动到下一个图像位置(s25)。

在判断为没有发生动作时(s21的判断结果为“否”时)，接下来使用异常区域图像D109来判断有无发生摄像机异常(s22)。异常区域图像D109的生成方法在后述部分中加以说明。此时，在判断为发生了摄像机异常时(s22的判断结果为“是”时)，与步骤s21一样，不对基准图像D100进行更新而移动到下一个图像位置(s25)。

在判断为没有发生摄像机异常时(s22的判断结果为“否”时)，在用于更新基准图像的前处理s23中，在被所述步骤判断为既没有动作区域也没有摄像机异常的图像位置上，从图像获取部分20获取输入图像D103，并进行用于更新基准图像的前处理。即使在所述的动作区域图像D102和异常区域图像D109被判断为没有问题的情况下，也可能有杂波等外部干扰混入输入图像的情形，所以在用于更新基准图像的前处理s23中对输入图像实施杂波除去等处理。在本实施例中，通过以像素位置为单位将输入图像D103实施任意帧平均化来生成图像，由此除去在短时间内产生的杂波。此外，在本实施例中，也可以对各个像素实施统计处理、平滑化滤波器等的滤波处理以及图像修正。

此后，在更新处理s24中，使用进行了用于更新基准图像的前处理s23的数据更新当前所选择的像素位置处的基准图像D100。也就是说，该像素位置处的基准图像D100是没有混入人物等的动作和摄像机异常等的图像。对整个图像反复进行上述处理。

基准图像D100可以不使用基准图像变更单元301等自动更新的装置，而可以由用户自由进行设定。由此，例如可以在指定的时间内通过对输入图像和所设定的基准图像进行比较来检测出摄像机的异常。

以下参照图5对图2所示的特征提取单元302进行说明。特征提取单元302将从图像获取部分20获取的输入图像和由基准图像变更单元301获取的基准图像作为输入，提取各个图像的特征量并将其输入到异常判断单元303中。以下对特征提取单元302进行说明。在特征提取单元302中，以不对输入图像和基准图像进行区分的方式对任意图像进行特征提取处理。

在特征提取单元302中，通过整体特征提取单元3020计算图像整体的特征量，并且由图像块特征提取单元3022提取通过图像块分割单元3021被分割成任意个图像块后的各个图像块的特征量。以下首先对图像块分割单元3021进行说明，然后对各个特征提取处理进行说明。

以下参照图6对图像块分割单元3021进行说明。图6(a)表示输入图像(或者基准图像)，其是宽度W×高度H的图像数据。通过图像块分割单元3021将输入图像(或者基准图像)分割成任意数量的图像块。图6(b)是表示分割后的图像块的图。在水平方向上按照Nw进行分割，在垂直方向上按照Nh进行分割时，1个图像块的尺寸为w(＝W/Nw)×h(＝H/Nh)，图像块的总数为N＝Nw×Nh。其中，将各个图像块设定为bn(N＝0，1，…，N)。

图像块的分割数与识别处理的灵敏度成比例，希望更为详细地检测出摄像机异常时，可以将图像块的块数分割得多一点，相反，如果因为外部干扰多而希望将灵敏度设定得低一点时，可以将图像块的块数分割得少一点，由此能够获得与使用环境相对应的检测结果。

以下对整体特征提取单元3020和图像块特征提取单元3022中的图像特征量进行说明。为了方便起见，不对图像整体的处理和各个图像块的处理进行区分。

在本实施例的说明中，将图像的特征大致分为图像特征量和统计特征量进行说明。所谓的图像特征量指亮度图像、微分图像、RGB表色***和HSV表色***等的彩色图像等能够作为图像数据来获得的信息。亮度图像是只具有输入图像的亮度分量的图像。微分图像是图像的轮廓信息由Sobel(索贝尔)滤波器等边缘强调滤波器进行了强调的图像，通过该图像能够获得边缘强度和边缘方向等的信息。此外，增量编码图像(incrementally encoded image)等通过将相邻图像的亮度梯度编码为0或1而得到的图像也是微分图像中的一种。RGB图像和HSV图像是彩色图像中的一种表示形式，也可以像YCbCr图像和HLS图像等那样根据环境来选择颜色空间。

所谓的统计特征量是指，图像内的任意空间的统计量，可以例举出平均值、中间值(median)、分散值、最大值和最小值等。在所述整体特征提取单元3020中，该统计特征量为图像整体的统计量，在所述的图像块特征提取单元3022中，该统计特征量为各个图像块的统计量。

根据该等特征量的相似性而计算得到的相关特征量也是特征量中的一种，在本发明中，作为不在特征提取单元302中计算，而在异常判断单元303中算出的变化量的一种，使用该相关特征量。例如，正规化相关、差分平方和、差分绝对和、直方图交叉值、直方图距离等图像特征量和统计特征量的相似性或者非相似性属于相关特征量。此外，也可以使用差分作为在异常判断单元303中算出的变化量。

在使用该等特征量时，也可以根据实施环境将各种特征量组合起来使用。例如可以任意地选择边缘图像中的边缘强度的分散值、RGB图像的R平均值、基于颜色距离的类似度等进行组合。

在整体特征提取单元3020和图像块特征提取单元3022中计算所述特征量。在整体特征提取单元3020中计算图像整体的特征量，在图像块特征提取单元3022中计算各个图像块的特征量。在选择特征量时，可以由用户根据希望检测的摄像机异常来选择不同的特征量。这一部分在后述部分中加以说明。

以下对图2所示的异常判断单元303和异常分类单元304进行说明。异常判断单元303使用在上述动作区域检测单元300中得到的图像内的动作信息和在特征提取单元302中得到的特征量来判断摄像机的异常。

以下，首先参照图7对摄像机异常进行说明。图7是表示摄像机异常种类的示例图。图7(a)表示正常的图像，图7(b)表示摄像机镜头的一部分被胶带或布帛块等物体遮住时的示例图像。图7(c)表示整个摄像机镜头被遮住时的示例图像。在摄像机的镜头被遮住时，所得到的图像因遮住镜头的物体与摄像机镜头之间的间隙等的不同而不同。在遮住镜头的物体与摄像机镜头相接触时，所得到的图像灰暗，随着遮住镜头的物体与摄像机镜头之间的间隙增大，所得到的图像的亮度增加。此外，在遮蔽物上印有图案等时，有时在图像上会显示出该图案。并且，在遮蔽物具有透光性时，透过该遮蔽物可以拍摄到背景部分。在本实施例中，将上述情况也定义为镜头被遮蔽的情况。图7(d)表示摄像机的方向相对于图7(a)的位置发生了变化时的摄像角度偏离示例的图像。在本发明中，将摄像角度偏离的范围定义为还包括因摄像机光轴的移动以及因摄像机的旋转和焦距等引起的视场范围的偏离。图7(e)表示因摄像机的焦点没有对准而导致图像模糊时的示例图像。在该图像中，因图像模糊而使得物体的轮廓变得模糊。此外，有时轮廓还会因为镜头表面上的湿气和灰尘等而变得模糊。在本实施例中，这种情况也被定义为图像模糊。图7(f)表示在图像上出现了杂波时的示例图像。除此之外，在摄像机镜头和摄像传感器等出现了缺陷时，或者受到线缆断线和周围设备的影响等时也会有杂波产生。另外，图像还会因线缆等的故障而产生模糊。在本发明中，上述情况也被定义为杂波。图7(g)表示有照明光和反射光入射到图像上而发生了晕光时的示例图像。当有光线入射到镜头内时，图像的一部分或者整体会出现晕光现象。图7(h)表示摄像机镜头的一部分沾上了污垢时的示例图像。当镜头上被喷射了涂料等时，会出现与图7(b)和图7(c)所示的整个镜头或者部分镜头被遮蔽时的状态相类似的状态。上述的摄像机异常只是一例，所得到的图像因对摄像机的妨碍行为的方法不同而不同。另外，上述定义还可以由用户进行变更。定义的变更可以通过改变后述的异常判断的基准来实现。

以下对异常判断单元303进行说明。异常判断单元303中的处理步骤大致可以分为计算图像特征变化的步骤和将异常候补区域与以上所述的动作区域的信息进行合并而算出异常区域的步骤。以下按序对上述步骤进行说明。

以下参照图8以摄像角度偏离的检测顺序为例对特征变化的计算步骤进行说明。在检测摄像角度偏离时使用整体图像的特征量。计算预先通过特征提取单元302获取的输入特征图像D104与基准特征图像D105之间的变化量(s31)。输入特征图像D104是由整体特征提取单元3020从来自图像获取部分20的输入图像D103中提取出的整体特征量。此外，基准特征图像D105是由整体特征提取单元3020从来自基准图像更新单元301的基准图像D100中提取出的整体特征量。摄像角度偏离的变化指图像整体的特征量中的输入图像的整体特征量(输入特征图像D104)与基准图像的特征量(基准特征图像D105)之间的相关值的下降。在本实施例中，作为特征量，选择亮度图像，将输入特征图像D104与基准特征图像D105形成为增量编码图像。所谓的增量编码图像是通过将亮度图像与相邻像素之间的梯度编码为0或者1而得到的图像。在步骤s31中，求出输入特征图像D104与基准特征图像D105之间的相关值作为变化量。增量编码图像之间的相关值以0至1的实数表示各个像素位置的编码之间的一致率。

此后，在步骤s32中判断在步骤s31中求出的变化量是否在阈值以下。已知在步骤s31中求出的变化量(此时为相关值)在输入特征图像D104与基准特征图像D105完全一致时为1，在无相关性时为0.5。因此，将此时的阈值设定为0.5～1的值。在判断为变化量在阈值以下，也就是摄像角度发生了变化时(s32的判断结果为“是”时)，在异常候补图像D106的全部像素或者全部图像块的信息区域中存储“0”以外的值。异常候补图像D106根据检测出的异常来变更预先设定的代入值。例如，在每个像素和图像块具有8比特的存储区域时，针对各个比特分配异常分类，例如将摄像角度偏离分配给“00000001”，将遮蔽分配给“00000010”，并对比特的ON/OFF进行切换。在此，由于所检测的是摄像角度偏离，所以异常候补图像D106的最下位的比特为1。此外，也可以设置成在步骤s31中使用从1减去相关值而得到的值作为变化量，并且在步骤s32中，在变化量在阈值以上时判断为摄像角度发生了变化。在本实施例中，根据增量码的变化(相关值)来求出摄像角度偏离的变化，但也可以根据上述各种特征量和多种特征的组合来选择各种异常的特征量。此外，也可以设置成根据希望检测的异常的种类和所使用的特征量，作为变化量算出相关值，并且也可以设置成根据希望检测的异常的种类和所使用的特征量，作为变化量算出差分。

以下参照图9以遮蔽的检测顺序为例对各个图像块的特征量的使用方法进行说明。在遮蔽中存在镜头被局部遮盖的情况，所以有必要判断局部的变化。由此，首先选择图像块的位置(s40)，以图像块为单位计算输入图像块特征图像D107与基准图像块特征图像D108之间的变化(s41)。其中，输入图像块特征图像D107是由图像块特征提取单元3022从利用图像块分割单元3021对来自图像获取部分20的输入图像D103进行分割而得到的各个图像中提取出的图像块特征量。基准图像块特征图像D108是由图像块特征提取单元3022从利用图像块分割单元3021对来自基准图像更新单元301的基准图像D100进行分割而得到的各个图像中提取出的图像块特征量。此后，对在步骤s41中求出的变化量进行阈值判断(s42)，并算出异常候补图像D106。针对所有的图像块反复进行上述步骤(s43)。

所谓的遮蔽是指因遮蔽而导致背景图像的亮度与输入图像的亮度之间发生变化，被遮蔽部分的图像的微分分量出现了下降的情况。在本实施例中，针对各个图像块检测上述变化。在图像块特征提取单元3022中，计算各个图像块bn的平均亮度A(bn)。此外，计算各个图像块bn的边缘强度的分散值V(bn)。也就是说，输入图像块特征图像D107和基准图像块特征图像D108使用平均亮度和边缘强度的分散值作为特征量。以下为了方便起见，以任意图像块的运算为例进行说明。

假设输入图像的平均亮度为A，背景图像的平均亮度为A’，并且假设边缘强度的分散值为V，V’。通过计算式D_A＝|A-A’|，D_V＝|V-V’|来算出上述变化(此时为差分)(s41)，分别判断D_A和D_V是否在阈值以上(s42)，在阈值以上时，在异常候补图像D106的该图像块中代入“0”以外的值后进行输出。针对所有的图像块实施上述处理(s43)。

在进行上述异常候补的计算时，可以设置成针对每一种希望作为异常输出的现象，选择图像整体的特征量或者各个图像块的特征量，并且选择变化计算方法，由此来算出异常候补图像D106。在异常候补图像D106的各个图像块的信息区域的各个比特中分别存储预先设定的值。在使用各个图像块的特征量的方法中，也可以设置成根据希望检测的异常的种类和所使用的特征量，作为变化量算出相关值，并且也可以设置成根据希望检测的异常的种类和所使用的特征量，作为变化量来算出差分。

在以上的说明中，在计算图像整体的特征和各个图像块的特征时，输出动作区域图像D102和异常候补图像D106。其中，异常候补图像D106是以各个图像块为单位表示摄像机异常种类的信息的一例。以下对使用该等图像来判断异常的异常判断单元303的处理方法进行说明。该处理相当于在异常判断单元303中通过对异常候补的区域和动作区域的信息进行合并来计算异常区域的步骤。图10表示本实施例的概念图。从图10的左侧起分别为动作区域图像块、异常候补图像块和异常区域图像块，使用动作区域图像块和异常候补图像块来计算异常区域图像块。

以下参照图11说明从异常判断到输出为止的流程。在此，选择图像块位置(s50)，针对各个图像块进行判断。对整个图像反复进行上述处理(s53)。首先，根据动作区域图像D102判断图像块内是否发生了动作(s51)。在此，例如在图像块内在规定的阈值以上的像素内发生了动作时，判断为图像块内发生了动作。在判断为发生了动作时(s51的判断结果为“是”时)，移动到下一个图像块(s53)。在判断为没有发生动作时(s51的判断结果为“否”时)，下一步使用异常候补图像D106来判断异常的持续性。这一步骤的目的在于降低误报警，由于摄像机的异常在很多情况下在瞬间发生，并且不会恢复到正常，所以通过判断异常的持续性能够降低误报警率。当异常的持续时间在阈值以下时(或者小于阈值时)(s52的判断结果为“是”时)，移动到下一个图像块(s53)。此时，在没有动作但持续时间大于阈值的情况时(或者在阈值以上时)(s52的判断结果为“否”时)，视为该图像块发生了异常，将异常候补图像D106的存储值代入异常区域图像D109的该图像块中。在以上的处理中，在异常候补图像D106的被判断为发生了异常的图像块中存储“0”以外的值，在被判断为正常的图像块中存储“0”的值。也就是说，检测出了如图10所示的异常区域图像块那样的异常区域。

此后，计算异常区域图像D109中的存储有“0”以外的值的图像块的数量，在图像块的数量在阈值以上时，判断为发生了摄像机异常(s54)。在判断为发生了摄像机异常时输出检测到的异常(s55)。步骤s54中的判断是与摄像机异常的灵敏度相关联的判断，通过提高该阈值，能够使得只在整个画面发生了异常时才输出检测到的异常。该阈值可以根据使用环境任意进行设定。

以下对图2所示的异常分类单元304进行说明。图12是异常分类单元的说明图，表示在异常判断单元303中检测出的各种异常的异常区域图像D109的输出例。该异常区域图像D109也是以各个图像块为单位表示摄像机异常种类的信息的一例。由于摄像角度偏离是在整个图像发生的现象，所以摄像角度偏离是针对所有图像块的异常。图像模糊和遮蔽有时在局部发生，在图12中，被判断为发生了局部异常的部位以斜线表示。在异常分类单元304中将该等信息合并来计算最终的异常种类。图13表示异常分类基准的一例，该判断基准根据图13所示的优先度来设定。例如，在局部遮蔽的判断中使用的特征量为图像块特征量，特征量包括平均亮度和边缘强度分散，优先度为1。在摄像角度偏离的判断中使用的特征量是整体特征量，特征量是增量码相关值，优先度为3。在图像模糊的判断中使用的特征量是图像块特征量，特征量是边缘强度、边缘角度和平均亮度，优先度为2。此外，也可以设置成针对在进行图8和图9的处理时使用的各个特征量，预先确定阈值、阈值判断方法(阈值以上还是阈值以下)等的信息。另外，也可以设置成在进行图8和图9的处理时，预先确定表示在进行变化量的计算时是计算差分还是计算相关值的信息。在图13中，针对标有“增量码相关值”和“RGB相关值”等“相关值”的部分，作为特征量，使用增量码和RGB图像，作为变化量，算出其相关值，针对没有标有“相关值”的部分，求出其差分。但本发明并不仅限于此，也可以设置成作为特征量预先标明增量码和RGB，并另行设置针对各个特征量确定作为变化量是算出差分还是算出相关值的信息。根据该等信息，在针对每个图像块输出有多个异常的场合，按照优先顺序，优先输出优先度高的特征量。其结果，输出图12的第二排所示的异常分类图像。将该异常分类图像中的图像块数量最多的异常种类作为摄像机异常，通过图2所示的输出部分40输出到输出装置50和记录介质60等中。通过与图像数据一起储存在记录介质60中，能够确认和检索摄像机异常发生的日期和时间以及该异常的种类。此外，在本实施例中，还设置有未图示的能够进行上述检索的检索装置。

在图13中，还针对各种异常设定维修作业。例如，在被判断为属于局部遮蔽和整体遮蔽时，作为维修作业设定“除去遮蔽物”，如果是摄像角度偏离，则作为维修作业设定“摄像机调整”。该等设定能够根据用户的环境任意进行设定。

此外，也可以对本实施例进行置换，使得还能够针对各种异常来设定异常的原因，并且使得在检测到异常时对该异常的原因进行通知。

图14表示通过图1所示的输出部分40和输出装置50输出摄像机异常和维修作业的信息时的示例。通过确认监视用摄像机和记录图像的用户接口，在显示窗口输出表示哪台摄像机发生了异常的信息(c10)，并输出摄像机异常的种类(c11)。根据图13的设定，能够同时进行维修作业的信息的输出(c12)。

在本实施例中，如图15所示，也可以像由镜头单元11和摄像机控制部分12构成的摄像机那样设置成内置在设备内的形式。

并且，如图16所示，也可以设置成从设置有多个照相机的环境即监视现场70，71，经由网络80，81，82向监视服务器90和维修现场91输出图像等的信息的形式，并且也可以设置成以任意的通知方法将摄像机异常的输出(通知)发送到远程的维修现场91的形式。

根据本发明，能够提供一种高效率的监视用摄像机***，其通过利用基准图像和输入图像的整体特征量、通过分割而得到的多个图像块的特征量以及动作区域，能够检测出镜头的局部遮蔽、镜头的整体遮蔽、摄像角度偏离(摄像机方向偏离)、图像模糊、杂波、晕光等各种摄像机异常，并能够对上述各种异常进行分类，此外还能够通知异常的种类、维修作业的信息以及导致摄像机异常的原因，由此能够提高异常恢复和维修保养等业务的效率。

以上通过实施例对本发明进行了说明，但在上述实施例中说明的结构只不过是一个示例，本发明在不脱离其技术思想的范围内可以进行适当的变更。另外，在实施例中说明的各种结构，只要相互之间不存在矛盾，也可以组合使用。

Claims (8)

1.一种具有摄像机异常检测装置的监视用摄像机***，其是具有根据获取图像和基准图像来检测摄像机异常的摄像机异常检测装置的监视用摄像机***，所述具有摄像机异常检测装置的监视用摄像机***的特征在于具有：

基准图像更新单元，其生成或者选择作为比较对象的基准图像；

图像块分割单元，其将所述获取图像和所述基准图像分别分割成图像块；

整体特征提取单元，其从所述获取图像和所述基准图像分别提取各个图像的整体特征量；

图像块特征提取单元，其从通过所述图像块分割单元进行了图像块分割的所述获取图像和所述基准图像的分割成图像块后的图像中提取各个图像的图像块的特征量即图像块特征量，作为所述图像块特征量而计算亮度平均值和边缘强度的分散值；

异常判断单元，其计算所述基准图像的所述整体特征量与所述获取图像的所述整体特征量之间的变化量、以及所述基准图像的所述图像块特征量与所述基准图像的图像块所对应的所述获取图像的所述图像块特征量之间的变化量，并进行阈值判断，由此来判断所述摄像机异常，同时输出以被判断为所述摄像机异常的所述获取图像的图像整体或者被判断为所述摄像机异常的各图像块的至少一者为单位表示所述摄像机异常的种类的信息；

摄像机异常分类单元，其根据表示所述摄像机异常的种类的信息，并参照预先设定的所述摄像机异常的异常分类基准，来对所述摄像机异常进行分类；以及

输出部分，其输出由所述摄像机异常分类单元进行了分类的摄像机异常。

2.如权利要求1所述的具有摄像机异常检测装置的监视用摄像机***，其特征在于，

作为所述特征量，使用图像特征量和统计特征量中的至少一种特征量；作为所述变化量，使用差分以及/或者相关值，

所述异常判断单元将在所述阈值判断中被判断为发生了所述摄像机异常的区域作为所述摄像机异常的异常候补区域进行输出。

3.如权利要求2所述的具有摄像机异常检测装置的监视用摄像机***，其特征在于，

还具有动作区域检测单元，该动作区域检测单元根据所述获取图像和所述基准图像，在所述获取图像内检测与所述基准图像相比出现了动作的动作区域，

在所述异常候补区域不是所述动作区域，并且异常的持续时间持续了规定时间以上时，所述异常判断单元将所述异常候补区域作为异常区域来计算，当所述异常区域的面积在阈值以上时，判断为发生了所述摄像机异常。

4.如权利要求1所述的具有摄像机异常检测装置的监视用摄像机***，其特征在于，

所述异常分类基准针对每一种所述摄像机异常具有表示是使用所述图像块特征量还是使用所述整体特征量的信息、用于判断所述摄像机异常的所述特征量以及用于判断所述摄像机异常的优先度的信息。

5.如权利要求4所述的具有摄像机异常检测装置的监视用摄像机***，其特征在于，

所述异常判断单元以通过所述图像块分割单元分割而形成的图像块为单位，检测由所述异常分类基准定义的所述摄像机异常，

在检测到多种所述摄像机异常时，所述摄像机异常分类单元根据所述优先度对所述摄像机异常进行分类。

6.如权利要求1所述的具有摄像机异常检测装置的监视用摄像机***，其特征在于，

所述异常分类基准针对每一种所述摄像机异常具有用于使摄像机从所述摄像机异常恢复的维修作业的信息或者表示所述摄像机异常的原因的信息。

7.如权利要求6所述的具有摄像机异常检测装置的监视用摄像机***，其特征在于，

所述输出部分在参照所述摄像机异常以外还参照所述异常分类基准，以输出与所述摄像机异常相对应的所述维修作业的信息或者所述原因的信息。

8.如权利要求1所述的具有摄像机异常检测装置的监视用摄像机***，其特征在于，

所述输出部分将所述摄像机异常和所述获取图像保存在记录介质中。