CN112070083A

CN112070083A - 图像内容检测方法、装置、电子设备和存储介质

Info

Publication number: CN112070083A
Application number: CN202010922688.4A
Authority: CN
Inventors: 马欣
Original assignee: Beijing Lynxi Technology Co Ltd
Current assignee: Beijing Lynxi Technology Co Ltd
Priority date: 2020-09-04
Filing date: 2020-09-04
Publication date: 2020-12-11
Also published as: WO2022048578A1

Abstract

本发明实施例提供一种图像内容检测方法、装置、电子设备和存储介质，该方法包括：对获取的图像帧进行区域划分，以得到S个图像子区域，其中，S为大于1的整数；分别对所述S个图像子区域进行疑似目标检测，得到疑似目标检测结果；在依据所述疑似目标检测结果确定存在满足预设条件的图像位置的情况下，截取当前获取的图像帧中包括所述图像位置的图像部分区域；对所述图像部分区域执行目标检测。本发明实施例可以降低目标检测的功耗。

Description

图像内容检测方法、装置、电子设备和存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像内容检测方法、装置、电子设备和存储介质。

背景技术

随着图像处理技术的发展，图像处理技术应用也越来越广泛，其中，目标检测是目前一种常见的图像处理技术。目前图像的目标检测是针对每一帧图像，以及每帧图像的全部区域执行目标检测，这样导致目标检测的功耗比较大。

发明内容

本发明实施例提供一种图像内容检测方法、装置、电子设备和存储介质，以解决目标检测的功耗比较大的问题。

第一方面，本发明实施例提供一种图像内容检测方法，包括：

对获取的图像帧进行区域划分，以得到S个图像子区域，其中，S为大于1的整数；

分别对所述S个图像子区域进行疑似目标检测，得到疑似目标检测结果；

在依据所述疑似目标检测结果确定存在满足预设条件的图像位置的情况下，截取当前获取的图像帧中包括所述图像位置的图像部分区域；

对所述图像部分区域执行目标检测。

第二方面，本发明实施例提供一种图像内容检测装置，包括：

划分模块，用于对获取的图像帧进行区域划分，以得到S个图像子区域，其中，S为大于1的整数；

第一检测模块，用于分别对所述S个图像子区域进行疑似目标检测，得到疑似目标检测结果；

截取模块，用于在依据所述疑似目标检测结果确定存在满足预设条件的图像位置的情况下，截取当前获取的图像帧中包括所述图像位置的图像部分区域；

第二检测模块，用于对所述图像部分区域执行目标检测。

第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序或者指令，所述程序或者指令被所述处理器执行时实现本发明实施例提供的图像内容检测方法中的步骤。

第四方面，本发明实施例提供一种可读存储介质，其特征在于，所述可读存储介质上存储有程序或指令，所述程序或指令被处理器执行时实现本发明实施例提供的图像内容检测方法中的步骤。

本发明实施例中，对获取的图像帧进行区域划分，以得到S个图像子区域，其中，S为大于1的整数；分别对所述S个图像子区域进行疑似目标检测，得到疑似目标检测结果；在依据所述疑似目标检测结果确定存在满足预设条件的图像位置的情况下，截取当前获取的图像帧中包括所述图像位置的图像部分区域；对所述图像部分区域执行目标检测。这样由于对各区别执行疑似目标检测，之后在满足预设条件的情况下在图像部分区域执行目标检测，从而可以降低目标检测的功耗。

附图说明

图1是本发明实施例提供的一种图像内容检测方法的流程图；

图2是本发明实施例提供的一种图像划分的示意图；

图3是本发明实施例提供的一种图像内容检测装置的结构图；

图4是本发明实施例提供的一种电子设备的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”所区别的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。

请参见图1，图1是本发明实施例提供的一种图像内容检测方法的流程图，如图1所示，包括以下步骤：

步骤101、对获取的图像帧进行区域划分，以得到S个图像子区域，其中，S为大于1的整数。

上述获取的图像帧可以是摄像头采集的图像帧，例如：可以是电子设备的内置或者外置摄像头采集的图像。当然，对此不作限定，例如：还可以是通过网络接收到图像，如接收的某一视频的图像帧。另外，这个获取可以是接收，或者可以读取本地的视频的图像帧。

上述进行区域划分可以是按照预先设置的划分位置进行划分，以得到S个区域，其中，S可以为预先设置的大于1的整数，例如：2、4或者6具体可以根据应用场景进行设定。

步骤102、分别对所述S个图像子区域进行疑似目标检测，得到疑似目标检测结果。

上述疑似目标检测可以是检测图像子区别是否存在疑似的目标，并不对目标进行具体检测，例如：不对目标执行种类、姿态、行为动作、属性等判别。

进一步，上述疑似目标检测也可以定义为精度、准确性和/或计算量等比步骤104中执行的目标检测低的目标检测。

上述疑似目标检测结果可以表示一个或者多个图像子区域存在疑似目标，或者也可以可能针对一些图像帧表示所有图像子区域均不存在疑似目标。

另外，上述图像帧可以是超高分辨率图像帧或者高分辨率图像帧，当然，对此不作限定，一些低分辨率图像帧也是可以的。

需要说明的是，步骤102可以持续执行的，例如：针对摄像头采集的每个图像帧或者一段视频中的连续图像帧都执行步骤102。

步骤103、在依据所述疑似目标检测结果确定存在满足预设条件的图像位置的情况下，截取当前获取的图像帧中包括所述图像位置的图像部分区域。

其中，上述预设条件可以是图像像素的得分超过预设门限，从而将该像素的位置作为上述图像位置；或者上述预设条件可以是多个连续图像帧在同一图像子区域检测到疑似目标，从而将该疑似目标对应的图像位置作为上述图像位置。具体本发明实施例中，对上述预设条件不作限定，具体可以是根据应用场景或者目标检测需求进行预先配置。

上述截取当前获取的图像帧中包括所述图像位置的图像部分区域可以是，以上述图像位置为中心以预设的宽度和高度对图像帧进行截取。

上述当前获取的图像帧可以是摄像头当前采集的图像，或者可以是，当前接收的或者当前读取的图像帧。

步骤104、对所述图像部分区域执行目标检测。

上述目标检测可以是对目标进行种类判别，或者可以是检测目标的相关属性，或者可以是检测目标姿态，或者可以是检测目标的行为动作等，本发明实施例中，对目标检测不作限定。或者，上述目标检测可以对上述步骤102检测到疑似目标进行确认，即确认疑似目标是否为需要检测的目标。

本发明实施例中，通过上述步骤可以实现对各区别执行疑似目标检测，之后在满足预设条件的情况下在图像部分区域执行目标检测，从而可以降低目标检测的功耗。

需要说明的是，本发明实施例可以应用于电子设备，如嵌入式设备、手机、平板电脑、穿戴设备、车辆等，对此不作限定。

作为一种可选的实施方式，上述S个图像子区域中相邻图像子区域存在重叠区域。

上述相邻图像子区域存在重叠区域可以是，相邻图像子区域的相邻区域为重叠区域。

例如：以上述S为4举例，假设来自视频解码后的第一图像为I，对I进行m行n列的子区域分割。分割后共有s＝m×n个图像子区域，各图像子区域之间有t个像素宽宽度的重叠。参数m、n和t均为根据实际业务需要预设的值，其中，分割后的子区域重叠情况如图2所示。

该实施方式中，由于相邻图像子区域存在重叠区域，这样对各子区域进行检测时，可以保证各图像子区域的评估图像内容的连续性，以提高目标检测的准确性。

作为一种可选的实施方式，所述在依据所述疑似目标检测结果确定存在满足预设条件的图像位置的情况下，截取当前获取的图像帧中包括所述图像位置的图像部分区域，包括：

在所述疑似目标检测结果表示存在疑似目标的目标子区域的情况下，依据所述疑似目标的所在位置，计算所述目标子区域中像素的得分；

在至少一个像素的得分满足预设条件的情况下，截取当前获取的图像帧中包括所述至少一个像素的图像部分区域。

其中，上述疑似目标可以是具备目标的相关属性的对象，或者可以是为目标的可能性比较高(如高于预设门限值)的对象等。而目标可以预先定义为需要检测的对象，如特定人物、特定车辆、特定物体等。

上述至少一个像素的得分满足预设条件可以是，至少一个像素的得分超过预设门限。

上述当前获取的图像帧可以是，确定矩阵中至少一个元素的累积得分超过预设门限时执行截取操作，执行该截取操作时获取的图像帧，如矩阵中至少一个元素的累积得分超过预设门限时摄像头当前采集的图像帧或者当前读取的图像帧，或者可以是矩阵中至少一个元素的累积得分超过预设门限后，摄像头采集的图像帧或者读取的图像帧。

该实施方式中，依据像素的得分截取图像部分区域进行目标检测，这样可以提高目标检测的准确性。

可选的，所述在所述疑似目标检测结果表示存在疑似目标的目标子区域的情况下，依据所述疑似目标的所在位置，计算所述目标子区域中像素的得分，包括：

在所述疑似目标检测结果表示存在疑似目标的目标子区域的情况下，确定所述疑似目标的中心位置，依据所述中心位置计算所述目标子区中各像素的得分，像素的得分与像素与所述中心位置之间的距离呈负相关。

该实施方式中，可以是使用二维高斯分布函数确定各像素的得分。例如：以上述疑似目标所在区域为感兴趣区域(region of interest，ROI)，ROI区域中心像素位置(x_c,y_c)，即上述中心位置，其他像素表示为像素(i,j)，则像素(i,j)的得分通过如下公式得到：

其中，G(i,j)表示像素(i,j)的得分。

需要说明的是，上述公式仅是一个举例说明，例如：上述公式中的0.5可以配置为其他常数，或者还可以在上述公式中增加常数等，对此不作限定。

进一步的，上述中心位置的得分可以预先配置，或者通过上述公式得到，如像素(i,j)等于像素(x_c,y_c)。

表示二维高斯分布函数可以确定图像子区域的像素得分从中心位置向四周的减弱。

需要说明的是，本发明实施例中并不限定采用二维高斯分布函数确定各像素的得分，例如：还可以直接根据像素与上述中心位置的距离确定得分，例如：将图像子区域中各像素与中心位置之间的距离划分多个区间，每个区间对应一个得分。

该实施方式中，像素的得分与像素与所述中心位置之间的距离呈负相关，这样可以表示距离疑似目标越远的像素得分越低，从而减少上述预设条件的触发，以进一步节约功耗。

还需要说明的是，本发明实施例中，并不限定以上述中心位置计算所述目标子区中各像素的得分，例如：还可以是直接以疑似目标的区域计算所述目标子区中各像素的得分。

另外，未检测到疑似目标的图像子区域的像素的得分可以为零，或者在矩阵的实施方式中，针对未检测到疑似目标的图像子区域不执行得分累加的操作。

可选的，所述在至少一个像素的得分满足预设条件的情况下，截取当前获取的图像帧中包括所述至少一个像素的图像部分区域，包括：

将各像素的得分累加至矩阵对应的元素中，其中，所述矩阵包括的元素数量与获取的图像帧包括像素数量相同，且元素与像素一一对应；

在所述矩阵中至少一个元素的累积得分超过预设门限的情况下，截取当前获取的图像帧中包括至少一个像素的图像部分区域，其中，所述至少一个像素分别与所述至少一个元素一一对应。

举例来说，矩阵中参考元素的累积得分超过预设门限，可以截取当前获取的图像帧中包括与该参考元素一一对应的像素的图像部分区域。

其中，上述矩阵为预设定义的，该矩阵中各像素的初始值可以为零。

需要说明的是，由于摄像头采集的像素帧或者获取的视频是连续的，因此，上述矩阵中的元素的得分可以累积，当然，本发明实施例中，元素的得分并不一定就是越来越高，可以是存在一定衰减。

该实施方式中，可以实现在矩阵中至少一个元素的累积得分超过预设门限的情况下，截取当前获取的图像帧中包括至少一个像素的图像部分区域，从而降低目标检测的次数，以进一步节约功耗。

可选的，目标元素在第一时刻的累积得分等于如下两项之和：

所述目标元素对应像素在所述第一时刻得分；

所述目标元素在所述第一时刻的上一时刻的累积得分的衰减值；

其中，所述目标元素为所述矩阵中的任一元素。

其中，每个时刻对应一个图像帧。

该实施方式中，可以将像素当前的得分与上一个时刻的得分的衰减值进行相加，以得到当前时刻的得分，从而可以减少预设条件的触发，以进一步节约功耗。

进一步的，由于上述目标元素在所述第一时刻的上一时刻的累积得分的衰减值，这样可以实现某一些元素在没有增加得分的情况下，该元素得到衰减为0，例如：某一图像子区域连续m帧未检测到疑似目标，从而这m帧均没有得分，进而对应元素的得分衰减为0。

另外，上述累积得分的衰减值可以使用指数衰减方法对上述矩阵(可以表示为M)元素进行得分衰减。假设若没有新的得分增加的情况下，矩阵M中各元素经过m帧后的得分衰减为0，即每连续的m帧作为一个时间统计周期，则用指数衰减的方法对本时间统计周期内矩阵M进行衰减，记当前时刻累积矩阵M中对应图像帧(可以表示为原图像I)中各元素的得分为k_x,y，则下一时刻(下一帧)的元素衰减为与预设系数α(t)相乘：

k_x,y(t+1)＝α(t)×k(t)

α(t)＝exp[-θ×t]

其中，上述m和ε为常数，上述θ公式可以使得系数从1衰减到接近0。

当然，本发明实施例中，并不限定指数衰减方法对元素的得分进行衰减，例如：还可以是每隔一图像帧衰减一定比例，如每隔一图像帧衰减20％。

作为一种可选的实施方式，所述分别对所述S个图像子区域进行疑似目标检测，得到疑似目标检测结果，包括：

使用第一网络模型分别对所述S个图像子区域进行疑似目标检测，得到疑似目标检测结果；

所述对所述图像部分区域执行目标检测，包括：

使用第二网络模型对所述图像部分区域执行目标检测；

其中，所述第一网络模型的计算量少于所述第二网络模型的计算量。

上述第一网络模型和第二网络模型可以是预先训练的，另外，由于第一网络模型的计算量少于所述第二网络模型的计算量，从而可以第一网络模型也可以称作浅层目标识别网络模型，而第二网络模型称作深层目标识别网络模型。

该实施方式中，通过第一网络模型用较少计算开销筛查出疑似目标，且不对目标的具体种类进行详细判别，只要求速度，不要求有很高的识别准确率。之后使用第二网络模型图像部分区域执行目标检测。

另外，上述第二网络模型可以是根据实际业务需要满足特定识别精度的网络，如深层FasterRcnn网络，而上述第一网络模型可以是浅层SSD网络，当然，对此不作限定，例如：还可以是其他网络模型。

该实施方式中，由于只有第二网络模型在满足上述预设条件后对截取图像区域进行检测，从而提升节约功耗，且还可以提升计算效率。

请参见图3，图3是本发明实施例提供的一种图像内容检测装置的结构图，如图3所示，图像内容检测装置300包括：

划分模块301，用于对获取的图像帧进行区域划分，以得到S个图像子区域，其中，S为大于1的整数；

第一检测模块302，用于分别对所述S个图像子区域进行疑似目标检测，得到疑似目标检测结果；

截取模块303，用于在依据所述疑似目标检测结果确定存在满足预设条件的图像位置的情况下，截取当前获取的图像帧中包括所述图像位置的图像部分区域；

第二检测模块304，用于对所述图像部分区域执行目标检测。

可选的，所述截取模块，包括：

计算单元，用于在所述疑似目标检测结果表示存在疑似目标的目标子区域的情况下，依据所述疑似目标的所在位置，计算所述目标子区域中像素的得分；

截取单元，用于在至少一个像素的得分满足预设条件的情况下，截取当前获取的图像帧中包括所述至少一个像素的图像部分区域。

可选的，所述计算单元用于在所述疑似目标检测结果表示存在疑似目标的目标子区域的情况下，确定所述疑似目标的中心位置，依据所述中心位置计算所述目标子区中各像素的得分，像素的得分与像素与所述中心位置之间的距离呈负相关。

可选的，所述截取单元用于将各像素的得分累加至矩阵对应的元素中，其中，所述矩阵包括的元素数量与获取的图像帧包括像素数量相同，且元素与像素一一对应；以及在所述矩阵中至少一个元素的累积得分超过预设门限的情况下，截取当前获取的图像帧中包括至少一个像素的图像部分区域，其中，所述至少一个像素分别与所述至少一个元素一一对应。

所述目标元素对应像素在所述第一时刻得分；

其中，所述目标元素为所述矩阵中的任一元素。

可选的，所述第一检测模块用于使用第一网络模型分别对所述S个图像子区域进行疑似目标检测，得到疑似目标检测结果；

所述第二检测模块用于使用第二网络模型对所述图像部分区域执行目标检测；

本发明实施例提供的图像内容检测装置能够实现图1的方法实施例中的各个过程，为避免重复，这里不再赘述。

需要说明的是，本发明实施例中的图像内容检测装置可以是装置，也可以是电子设备中的部件、集成电路、或芯片。

请参见图4，图4是本发明实施例提供的一种电子设备的结构图，如图4所示，电子设备400包括：存储器401、处理器402及存储在所述存储器401上并可在所述处理器402上运行的程序或者指令，所述程序或者指令被所述处理器402执行时实现上述图像内容检测方法中的步骤。

本发明实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像内容检测方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims

1.一种图像内容检测方法，其特征在于，包括：

对所述图像部分区域执行目标检测。

2.如权利要求1所述的方法，其特征在于，所述在依据所述疑似目标检测结果确定存在满足预设条件的图像位置的情况下，截取当前获取的图像帧中包括所述图像位置的图像部分区域，包括：

3.如权利要求2所述的方法，其特征在于，所述在所述疑似目标检测结果表示存在疑似目标的目标子区域的情况下，依据所述疑似目标的所在位置，计算所述目标子区域中像素的得分，包括：

4.如权利要求2所述的方法，其特征在于，所述在至少一个像素的得分满足预设条件的情况下，截取当前获取的图像帧中包括所述至少一个像素的图像部分区域，包括：

5.如权利要求4所述的方法，其特征在于，目标元素在第一时刻的累积得分等于如下两项之和：

所述目标元素对应像素在所述第一时刻得分；

其中，所述目标元素为所述矩阵中的任一元素。

6.如权利要求1至5中任一项所述的方法，其特征在于，所述分别对所述S个图像子区域进行疑似目标检测，得到疑似目标检测结果，包括：

所述对所述图像部分区域执行目标检测，包括：

使用第二网络模型对所述图像部分区域执行目标检测；

7.一种图像内容检测装置，其特征在于，包括：

第二检测模块，用于对所述图像部分区域执行目标检测。

8.如权利要求7所述的装置，其特征在于，所述截取模块，包括：

9.如权利要求8所述的装置，其特征在于，所述计算单元用于在所述疑似目标检测结果表示存在疑似目标的目标子区域的情况下，确定所述疑似目标的中心位置，依据所述中心位置计算所述目标子区中各像素的得分，像素的得分与像素与所述中心位置之间的距离呈负相关。

10.如权利要求8所述的装置，其特征在于，所述截取单元用于将各像素的得分累加至矩阵对应的元素中，其中，所述矩阵包括的元素数量与获取的图像帧包括像素数量相同，且元素与像素一一对应；以及在所述矩阵中至少一个元素的累积得分超过预设门限的情况下，截取当前获取的图像帧中包括至少一个像素的图像部分区域，其中，所述至少一个像素分别与所述至少一个元素一一对应。

11.如权利要求10所述的装置，其特征在于，目标元素在第一时刻的累积得分等于如下两项之和：

所述目标元素对应像素在所述第一时刻得分；

其中，所述目标元素为所述矩阵中的任一元素。

12.如权利要求7至11中任一项所述的装置，其特征在于，所述第一检测模块用于使用第一网络模型分别对所述S个图像子区域进行疑似目标检测，得到疑似目标检测结果；

13.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序或者指令，所述程序或者指令被所述处理器执行时实现如权利要求1至6中任一项所述的图像内容检测方法中的步骤。

14.一种可读存储介质，其特征在于，所述可读存储介质上存储有程序或指令，所述程序或指令被处理器执行时实现如权利要求1至6中任一项所述的图像内容检测方法中的步骤。