CN116188937A - 一种摄像头异常检测方法、***、装置与存储介质 - Google Patents

Abstract

本申请公开了一种摄像头异常检测方法、***、装置和存储介质，其中方法包括以下步骤：获取摄像头的第一截取图像以及摄像头实时拍摄的第一拍摄图片；所述第一截区图像用于表征摄像头安装完成时拍摄的视频截图；根据所述第一截区图像以及训练好的神经网络模型，得到第二特征向量；根据所述第一拍摄图片以及训练好的神经网络模型，得到第一特征向量；根据所述第一特征向量以及所述第二特征向量，确定摄像头异常。本方法可以根据可以提高检测的准确性。本申请可广泛应用于摄像头技术领域内。

Description

一种摄像头异常检测方法、***、装置与存储介质

技术领域

本申请涉及摄像头技术领域，尤其是一种摄像头异常检测方法、***、装置与存储介质。

背景技术

目前视频监控覆盖了我们社会的各个角落，对建设安全社会起到了很好的作用。但是现在大部分人也清楚这个情况了，所以有些人出于某种目的，会在做某些事之前，将摄像头遮挡或者转动一个角度，防止自己被拍到。而目前大规模推广的摄像头不需要人工巡检，也人工巡检不过来，都是到了出事的时候，再调取事发前后的录像、抓拍、智能识别信息。如果到了这时才发现事发前摄像头被遮挡，无法调取关键信息，就会导致无法还原事发过程，也很容易会出现舆情。同样适用于由于网络不稳定、设备故障、大风等其他因素导致摄像头松动较大角度等其他问题。因此，亟需一种新的摄像头异常检测方法。

发明内容

本申请的目的在于至少一定程度上解决现有技术中存在的技术问题之一。

为此，本申请实施例的一个目的在于提供一种摄像头异常检测方法、***、装置与存储介质，该方法可以提高检测的准确性。

为了达到上述技术目的，本申请实施例所采取的技术方案包括：一种摄像头异常检测方法，包括以下步骤：获取摄像头的第一截取图像以及摄像头实时拍摄的第一拍摄图片；所述第一截区图像用于表征摄像头安装完成时拍摄的视频截图；根据所述第一截区图像以及训练好的神经网络模型，得到第二特征向量；根据所述第一拍摄图片以及训练好的神经网络模型，得到第一特征向量；根据所述第一特征向量以及所述第二特征向量，确定摄像头异常。

另外，根据本发明中上述实施例的一种摄像头异常检测的方法，还可以有以下附加的技术特征：

进一步地，本申请实施例中，所述根据所述第一特征向量以及所述第二特征向量，确定摄像头异常这一步骤，具体包括：将所述第一特征向量与所述第二特征向量作点积运算，得到图片相似度；确定所述相似度小于第一相似度阈值，则所述摄像头存在异常。

进一步地，本申请实施例中，还包括：通过若干个不同场景的摄像头拍摄的图片对神经网络进行训练。

进一步地，本申请实施例中，所述通过若干个不同场景的摄像头拍摄的图片对神经网络进行训练这一步骤，具体包括：获取若干个摄像头拍摄的图片集合；将所述图片集合输入至神经网络模型，得到训练好的神经网络，其中神经网络的损失函数采用TripletLoss函数。

进一步地，本申请实施例中，还包括：对干个摄像头拍摄的图片集合进行图片预处理。

进一步地，本申请实施例中，所述对干个摄像头拍摄的图片集合进行图片预处理这一步骤，具体包括：采用二次立方缩放算法对所述图片集合进行缩放，得到512*512的彩色图像。

进一步地，本申请实施例中，所述神经网络包括VGG神经网络以及Resnet神经网络。

另一方面，本申请实施例还提供一种摄像头异常检测***，包括：

获取单元，用于获取摄像头的第一截取图像以及摄像头实时拍摄的第一拍摄图片；所述第一截区图像用于表征摄像头安装完成时拍摄的视频截图；

第一处理单元，用于根据所述第一截区图像以及训练好的神经网络模型，得到第二特征向量；

第二处理单元，用于根据所述第一拍摄图片以及训练好的神经网络模型，得到第一特征向量；

第三处理单元，用于根据所述第一特征向量以及所述第二特征向量，确定摄像头异常。

另一方面，本申请还提供一种摄像头异常检测装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如发明内容中任一项所述一种摄像头异常检测方法。

此外，本申请还提供一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上述任一项所述一种摄像头异常检测方法。

本申请的优点和有益效果将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到：

本申请可以通过摄像头安装使的的第一截取图像以及摄像头实时拍摄的第一拍摄图片可以判断出摄像头是否存在异常，相比于常用的摄像头异常检测，具有稳定性强，准确率高的特点。

附图说明

图1为本发明中一种具体实施例中一种摄像头异常检测方法的步骤示意图；

图2为本发明中一种具体实施例中一种摄像头异常检测***的结构示意图；

图3为本发明中一种具体实施例中一种摄像头异常检测装置的结构示意图。

具体实施方式

下面结合附图详细描述本发明的实施例对本发明实施例中的摄像头异常检测方法、***、装置和存储介质的原理和过程作以下说明。

参照图1，本发明一种摄像头异常检测方法，包括以下步骤：

S1、获取摄像头的第一截取图像以及摄像头实时拍摄的第一拍摄图片；所述第一截区图像用于表征摄像头安装完成时拍摄的视频截图；

S2、根据所述第一截区图像以及训练好的神经网络模型，得到第二特征向量；

S3、根据所述第一拍摄图片以及训练好的神经网络模型，得到第一特征向量；

S4、根据所述第一特征向量以及所述第二特征向量，确定摄像头异常。

进一步地，在本申请的一些实施例中，所述根据所述第一特征向量以及所述第二特征向量，确定摄像头异常这一步骤，具体可以包括：将所述第一特征向量与所述第二特征向量作点积运算，得到图片相似度；确定所述相似度小于第一相似度阈值，则所述摄像头存在异常。

进一步地，在本申请的一些实施例中，摄像头异常检测方法还可以包括通过若干个不同场景的摄像头拍摄的图片对神经网络进行训练。

进一步地，在本申请的一些实施例中，所述通过若干个不同场景的摄像头拍摄的图片对神经网络进行训练这一步骤，具体可以包括：获取若干个摄像头拍摄的图片集合；将所述图片集合输入至神经网络模型，得到训练好的神经网络，其中神经网络的损失函数采用Triplet Loss函数。

进一步地，在本申请的一些实施例中，摄像头异常检测方法还可以包括：对干个摄像头拍摄的图片集合进行图片预处理。

进一步地，在本申请的一些实施例中，所述对干个摄像头拍摄的图片集合进行图片预处理这一步骤，具体包括：采用二次立方缩放算法对所述图片集合进行缩放，得到512*512的彩色图像。

进一步地，在本申请的一些实施例中，所述神经网络包括VGG神经网络以及Resnet神经网络。

此外、参照图2，与图1的方法相对应，本申请的实施例中还提供一种摄像头异常检测***，包括：

获取单元101，用于获取摄像头的第一截取图像以及摄像头实时拍摄的第一拍摄图片；所述第一截区图像用于表征摄像头安装完成时拍摄的视频截图；

第一处理单元102，用于根据所述第一截区图像以及训练好的神经网络模型，得到第二特征向量；

第二处理单元103，用于根据所述第一拍摄图片以及训练好的神经网络模型，得到第一特征向量；

第三处理单元104，用于根据所述第一特征向量以及所述第二特征向量，确定摄像头异常。

上述的摄像头异常检测方法实施例中的内容均适用于本摄像头异常检测***实施例中，本摄像头异常检测***实施例所具体实现的功能与上述的摄像头异常检测方法实施例相同，并且达到的有益效果与上述的摄像头异常检测方法实施例所达到的有益效果也相同。

与图1的方法相对应，本申请实施例还提供了一种摄像头异常检测装置，其具体结构可参照图3，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现所述的摄像头异常检测方法。

上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

与图1的方法相对应，本申请实施例还提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行所述的摄像头异常检测方法。

上述的摄像头异常检测方法实施例中的内容均适用于本存储介质实施例中，本存储介质实施例所具体实现的功能与上述的摄像头异常检测方法实施例相同，并且达到的有益效果与上述的摄像头异常检测方法实施例所达到的有益效果也相同。

具体地，该方法主要包括：

首先采集上千个场景的照片，场景包括各种日常摄像头会覆盖的场所。每个场景采集方法如下：

a)用一个摄像头(如手机)对准一个角度进行拍照若干张，这个拍摄的过程中可以稍微转动摄像机角度，但是角度不大于阈值T1，T1一般为5°。这若干张照片构成一组照片。拍摄图片应当包括一些前景移动物体，如人、动物、落叶或者车等在动。

b)用一定的物品遮挡摄像头，遮挡物跟摄像头的距离在0到0.5米，对图像的遮挡范围从5％到100％，然后拍照另一组照片，标记该组为遮挡组。

c)转动摄像头角度超过阈值T2，T2一般为10°，拍摄另一组正常照片和另一组遮挡照片。重复转动并拍摄若干组照片。

d)最终形成上千个场景，每个场景包括若干组照片，每组照片包括若干张图像。

其次，对场景进行分组，一般取70％的场景作为训练数据，另外15％的场景作为检验数据，最后15％的场景作为测试数据。

对照片进行预处理变成可作为神经网络输入的图像，照片采用二次立方等高保真缩放算法，等比缩放，缩放后长和宽较大的一方为512，较短的一边向下或者向右用空白补齐，构成512*512的彩色图像。

使用基于VGG或Resnet等神经网络对训练数据进行训练，神经网络的输入为一批数据，这一批数据每一条数据为三张图A、B和C，从训练数据中选取，A跟B来自同一组照片，而且不是标记为遮挡的组，而C来自另外一组照片，损失函数使用Triplet Loss，即训练的目标是使得|Vc-Va|-|Vb-Va|2最大。其中Va、Vb、Vc分别是A、B、C三张图的使用该神经网络提取的特征向量，欧式长度为1，|Vc-Va|2是C的特征向量与A的特征向量的欧式距离的平方，|Vb-Va|2是B的特征向量与A的特征向量的欧式距离的平方，损失函数要使得两个距离平方的差达到最大。

神经网络输入为N*512*512*3，N为一批次的图片个数可变。512是长和宽，3为色彩通道RGB。

如基于VGG神经网络，使用倒数第二个fc层的输出再长度归一化作为特征向量；

如基于Resnet神经网络，使用最后fc层的输出再长度归一化作为特征向量；

训练过程中A、B和C的选取可以优化以提升训练效率，使用参考文献Schroff F,Kalenichenko D,Philbin J.FaceNet:A Unified Embedding for Face Recognition andClustering[J].IEEE,2015。

训练过程中为取得更好的泛化效果，可随机在A、B和C图上添加前景图案，如人、车。

训练过程中，每隔一定时间就从验证数据中也是选取若干组A、B、C图片计算以下指标：

a)|Vc-Va|-|Vb-Va|2的平均值L

b)统计Vb*^Va>Y的正确数TP、错误数FN，其中*^号表示求两个矢量的点积，用于标识矢量距离，即特征向量的相似度，Y为相似度阈值，下同

c)统计Vc*^Va<Y的正确数FP、错误数TN

d)其中Y为区分照片是否同一组的阈值，介于0.5-0.8之间。

e)通过TP/FN/FP/TN计算准确率S、召回率R和F1，当L、S、R、F1到达一定阈值时停止训练，F1的阈值Ff介于0.8-1。

训练完毕后，从测试数据中选取若干组A、B、C图片，同样计算准确率、召回率和F1，确认模型是否可用。如果可用，保存训练出来的神经网络模型用于摄像头设备或者边缘计算节点。

一般新型中高端的摄像头，或者预装该神经网络模型，或者支持在线更新软件的由平台统一下发神经网络模型。而低端摄像头等其他不支持写入神经网络模型的统一将神经网络模型写入到连接该设备的边缘网络计算节点。

网络摄像头安装完毕之后，进行对其实时视频截取图像，对图像用神经网络模型提取特征向量V0，保存在摄像头存储装置或者边缘计算节点中。

摄像头每隔一段时间，如10秒钟，由自身或者边缘计算节点重新获取一次图像，提取特征向量V1，如果两张图像的相似度V1*^V0<Y，向监控平台告警，告警信息包括时间、设备信息、V0及其图像、V1及其图像、V1*^V0、Y等。

平台可通过网络向边缘计算节点或者网络摄像头发送命令，要求网络摄像头重新获取当前镜头图像计算更新V0。

管理员可通过登录边缘计算节点或者网络摄像头后台发送命令，要求网络摄像头重新获取当前镜头图像计算更新V0。

平台可通过网络向边缘计算节点或者网络摄像头发送命令，更新阈值Y。

管理员可通过登录边缘计算节点或者网络摄像头后台发送命令，更新阈值Y。

如果摄像头夜视能力不足，或者场景昼夜差异较大，例如某路段有夜市，可以分时段记录两三个V0，V1需要与对应时段的V0进行计算。如有时段完全没有没法识别，例如完全没有光线，可以设置该时段停止计算V1。

神经网络模型放在网络边缘计算节点的情况，上述所有摄像头的运算都放在网络边缘计算节点，摄像头只负责抓拍图像提交给网络边缘计算节点。

网络边缘计算节点可以进行批量计算，提高效率。

实测证实，对网络不稳定、设备失焦等各种会引起视频监控图像变化的异常情况，最终计算出来V1*^V0<Y，所以对各种异常情况都能很好的检测。

如果摄像头自带转动功能，可以尝试自动调整回原有角度，调整方法为，在X/Y/Z三个方向上分别尝试异常一个角度，如果计算出来的V1*^V0比原来更大，则尝试朝这个角度继续异常，如果变小，可尝试反方向异常，反复调整直至V1*^V0取得一个极大值。

平台可通过网络向边缘计算节点或者网络摄像头发送命令，屏蔽告警和自动异常一段时间，用于平台或者人工重新调整摄像头角度。

管理员可通过登录边缘计算节点或者网络摄像头后台发送命令，屏蔽告警和自动异常一段时间，用于平台或者人工重新调整摄像头角度。

在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本申请的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。

此外，虽然在功能性模块的背景下描述了本申请，但应当理解的是，除非另有相反说明，功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本申请是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本申请。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本申请的范围，本申请的范围由所附权利要求书及其等同方案的全部范围来决定。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干程序用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行程序的定序列表，可以具体实现在任何计算机可读介质中，以供程序执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从程序执行***、装置或设备取程序并执行程序的***)使用，或结合这些程序执行***、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供程序执行***、装置或设备或结合这些程序执行***、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的程序执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

尽管已经示出和描述了本申请的实施方式，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。

以上是对本申请的较佳实施进行了具体说明，但本申请并不限于所述实施例，熟悉本领域的技术人员在不违背本申请精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种摄像头异常检测方法，其特征在于，包括以下步骤：

获取摄像头的第一截取图像以及摄像头实时拍摄的第一拍摄图片；所述第一截区图像用于表征摄像头安装完成时拍摄的视频截图；

根据所述第一截区图像以及训练好的神经网络模型，得到第二特征向量；

根据所述第一拍摄图片以及训练好的神经网络模型，得到第一特征向量；

根据所述第一特征向量以及所述第二特征向量，确定摄像头异常。

2.根据权利要求1所述一种摄像头异常检测方法，其特征在于，所述根据所述第一特征向量以及所述第二特征向量，确定摄像头异常这一步骤，具体包括：

将所述第一特征向量与所述第二特征向量作点积运算，得到图片相似度；

确定所述相似度小于第一相似度阈值，则所述摄像头存在异常。

3.根据权利要求1所述一种摄像头异常检测方法，其特征在于，还包括：通过若干个不同场景的摄像头拍摄的图片对神经网络进行训练。

4.根据权利要求1所述一种摄像头异常检测方法，其特征在于，所述通过若干个不同场景的摄像头拍摄的图片对神经网络进行训练这一步骤，具体包括：

获取若干个摄像头拍摄的图片集合；

将所述图片集合输入至神经网络模型，得到训练好的神经网络，其中神经网络的损失函数采用Triplet Loss函数。

5.根据权利要求4所述一种摄像头异常检测方法，其特征在于，还包括：对干个摄像头拍摄的图片集合进行图片预处理。

6.根据权利要求1所述一种摄像头异常检测方法，其特征在于，所述对干个摄像头拍摄的图片集合进行图片预处理这一步骤，具体包括：

采用二次立方缩放算法对所述图片集合进行缩放，得到512*512的彩色图像。

7.根据权利要求4所述一种摄像头异常检测方法，其特征在于，所述神经网络包括VGG神经网络以及Resnet神经网络。

8.一种摄像头异常检测***，其特征在于，包括：

获取单元，用于获取摄像头的第一截取图像以及摄像头实时拍摄的第一拍摄图片；所述第一截区图像用于表征摄像头安装完成时拍摄的视频截图；

第一处理单元，用于根据所述第一截区图像以及训练好的神经网络模型，得到第二特征向量；

第二处理单元，用于根据所述第一拍摄图片以及训练好的神经网络模型，得到第一特征向量；

第三处理单元，用于根据所述第一特征向量以及所述第二特征向量，确定摄像头异常。

9.一种摄像头异常检测装置，其特征在于包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-7任一项所述一种摄像头异常检测方法。

10.一种存储介质，其中存储有处理器可执行的指令，其特征在于，所述处理器可执行的指令在由处理器执行时用于执行如权利要求1-7任一项所述一种摄像头异常检测方法。

Images