CN113938671A

CN113938671A - 图像内容分析方法、装置、电子设备和存储介质

Info

Publication number: CN113938671A
Application number: CN202010675459.7A
Authority: CN
Inventors: 马欣
Original assignee: Beijing Lynxi Technology Co Ltd
Current assignee: Beijing Lynxi Technology Co Ltd
Priority date: 2020-07-14
Filing date: 2020-07-14
Publication date: 2022-01-14
Anticipated expiration: 2040-07-14
Also published as: CN113938671B; WO2022012573A1

Abstract

本发明提供一种图像内容分析方法、装置、电子设备和存储介质，该方法包括：将经过解码的第一图像进行区域划分，以得到S个图像子区域；计算每个图像子区域的质量评分；依据每个图像子区域的质量评分获取所述第一图像的总评分；在所述总评分大于或者等于预设阈值的情况下，对所述第一图像执行内容分析操作；在所述总评分小于所述预设阈值的情况下，丢弃所述第一图像。本发明可以降低图像内容分析的功耗。

Description

图像内容分析方法、装置、电子设备和存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像内容分析方法、装置、电子设备和存储介质。

背景技术

随着图像处理技术的发展，图像处理技术应用也越来越广泛，其中，图像内容分析是目前一种常见的图像处理技术。目前图像内容分析主要过程是从摄像头获取视频图像，对视频图像进行解码，之后对解码每幅图像进行内容分析。由于需要对解码后的每幅图像均进行内容分析，从而导致图像内容分析的功耗比较大。

发明内容

本发明实施例提供一种图像内容分析方法、装置、电子设备和存储介质，以解决导致图像内容分析的功耗比较大的问题。

第一方面，本发明实施例提供一种图像内容分析方法，包括：

将经过解码的第一图像进行区域划分，以得到S个图像子区域，其中，S为大于1的整数；

计算每个图像子区域的质量评分；

依据每个图像子区域的质量评分获取所述第一图像的总评分；

在所述总评分大于或者等于预设阈值的情况下，对所述第一图像执行内容分析操作；

在所述总评分小于所述预设阈值的情况下，丢弃所述第一图像。

第二方面，本发明实施例提供一种图像内容分析装置，包括：

划分模块，用于将经过解码的第一图像进行区域划分，以得到S个图像子区域，其中，S为大于1的整数；

计算模块，用于计算每个图像子区域的质量评分；

获取模块，用于依据每个图像子区域的质量评分获取所述第一图像的总评分；

分析模块，用于在所述总评分大于或者等于预设阈值的情况下，对所述第一图像执行内容分析操作；

丢弃模块，用于在所述总评分小于所述预设阈值的情况下，丢弃所述第一图像。

第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序或者指令，所述程序或者指令被所述处理器执行时实现本发明实施例提供的图像内容分析方法中的步骤。

第四方面，本发明实施例提供一种可读存储介质，其特征在于，所述可读存储介质上存储有程序或指令，所述程序或指令被处理器执行时实现本发明实施例提供的图像内容分析方法中的步骤。

本发明实施例中，将经过解码的第一图像进行区域划分，以得到S个图像子区域；计算每个图像子区域的质量评分；依据每个图像子区域的质量评分获取所述第一图像的总评分；在所述总评分大于或者等于预设阈值的情况下，对所述第一图像执行内容分析操作；在所述总评分小于所述预设阈值的情况下，丢弃所述第一图像。这样由于只对总评分大于或者等于预设阈值的图像进行内容分析，从而可以降低图像内容分析的功耗。

附图说明

图1是本发明实施例提供的一种图像内容分析方法的流程图；

图2是本发明实施例提供的一种实现图像内容分析的框图；

图3是本发明实施例提供的一种图像划分的示意图；

图4是本发明实施例提供的另一种图像内容分析方法的流程图；

图5是本发明实施例提供的一种图像内容分析装置的结构图；

图6是本发明实施例提供的一种电子设备的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”所区别的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。

请参见图1，图1是本发明实施例提供的一种图像内容分析方法的流程图，如图1所示，包括以下步骤：

步骤101、将经过解码的第一图像进行区域划分，以得到S个图像子区域，其中，S为大于1的整数。

其中，上述第一图像可以是摄像头采集的图像经过解码获取的任一帧图像，进一步的，上述第一图像可以是当前图像，例如：执行步骤101时解码输出的图像帧。另外，上述第一图像可以是电子设备的内置或者外置摄像头采集的图像。当然，对此不作限定，例如：还可以是通过网络接收到图像，且上述解码可以是本地或者远端执行的解码。

上述进行区域划分可以是按照预先设置的划分位置进行划分，以得到S个区域，其中，S可以为预先设置的大于1的整数，例如：2、4或者6具体可以根据应用场景进行设定。

步骤102、计算每个图像子区域的质量评分。

该步骤可以是针对每个图像子区域单独计算质量评分，具体可以是基于每个图像子区域中的图像内容进行计算。

步骤103、依据每个图像子区域的质量评分获取所述第一图像的总评分。

该步骤可以是将各图像子区域的质量评分进行求和，以得到第一图像的总评分，或者可以是将各图像子区域的质量评分乘上对应的权重，再求和，以得到第一图像的总评分。

由于依据每个图像子区域的质量评分获取所述第一图像的总评分，从而使得第一图像的质量评分更加准确。

步骤104、在所述总评分大于或者等于预设阈值的情况下，对所述第一图像执行内容分析操作。

其中，上述预设阈值可以是用户根据经验设置的经验值，或者可以是根据历史图像内容分析结果学习到的阈值等，对此不作限定。

上述总评分大于或者等于预设阈值可以理解为，第一图像的质量满足预设条件，或者第一图像的质量合格。

需要说明的是，本发明实施例中，对内容分析操作不作限定，例如：该内容分析操作可以是当前已有内容分析操作或者该内容分析操作可以是后续演进的内容分析操作。

步骤105、在所述总评分小于所述预设阈值的情况下，丢弃所述第一图像。

上述总评分小于预设阈值可以理解为，第一图像的质量不满足预设条件，或者第一图像的质量不合格。上述丢弃所述第一图像可以理解为不对上述第一图像执行内容分析操作，例如：删除或者跳过第一图像。通过步骤105可以避免质量不合格的图像送入内容分析模块进行无效计算。

本发明实施例中，通过上述步骤可以实现依据各图像子区域计算图像的总评分，若总评分大于或者等于预设阈值，则对第一图像执行内容分析操作，反之则丢弃，从而可以降低图像内容分析的功耗。

需要说明的是，本发明实施例可以应用于电子设备，如嵌入式设备、手机、平板电脑、穿戴设备、车辆等，对此不作限定。

作为一种可选的实施方式，所述依据每个图像子区域的质量评分获得所述第一图像的总评分，包括：

依据每个图像子区域的权重和质量评分，获取所述第一图像的总评分，其中，每个图像子区域的权重与图像子区域在所述第一图像中的位置对应。

每个图像子区域的权重可以是依据图像子区域在第一图像中的位置预先设置的，例如：在实际监控或者拍摄场景，图像的上部往往是对应天空或者房间顶部，而图像的下部往往是对应人物或者车辆等有效物体，从而可以将图像的上部的权重设置为小于图像的下部的权重。当然，这些仅是一个简单的举例。各图像子区域的权重具体可以是根据应用场景的需求进行设定。

上述依据每个图像子区域的权重和质量评分，获取所述第一图像的总评分可以是，依据各图像子区域的权重对质量评分进行加权，并求和，以得到第一图像的总评分。另外，本发明实施例中，权重越大，表示图像子区域越重要。

该实施方式中，由于依据每个图像子区域的权重和质量评分，获取所述第一图像的总评分，从而可以对图像的总评分实现更加精细化控制。

可选的，第一目标图像子区域的权重是依据第一权重和第二权重确定的，所述第一权重是依据所述目标图像子区域在所述图像中的位置预先设定的，所述第二权重是依据第二图像的内容分析结果确定的；

其中，所述第一目标图像子区域为所述第一图像中的任一图像子区域，所述第二图像为在所述第一图像之前摄像的图像。

上述第一目标图像子区域为所述第一图像中的任一图像子区域可以理解为，上述第一图像中的任一图像子区域的权重均可以采用上述第一目标图像子区域的方式确定权重。

上述第二图像可以是与第一图像为同一视频中的图像，且第二图像在第一图像之前采集到。例如：第二图像是第一图像的前一或者多帧图像。

第一目标图像子区域的权重是依据第一权重和第二权重确定的可以是，第一目标图像子区域的权重等于第一权重和第二权重之和，或者第一目标图像子区域的权重是对第一权重和第二权重之和进行归一化处理得到的取值。

上述第二权重是依据第二图像的内容分析结果确定的可以是，在对第二图像执行完内容分析操作之后，根据第二图像的内容分析结果设置第一图像的第二权重，因此，第二权重也可以称作反馈权重。

该实施方式中，由于第二权重是依据第二图像的内容分析结果确定的，这样可以使得上述第一目标图像子区域的权重更加准确。

可选的，所述内容分析结果表示所述第二图像的第二目标图像子区域包括目标对象，所述第二目标图像子区域在所述第二图像中的位置与所述第一目标图像子区域在所述第一图像中的位置相同，且所述第二权重与所述第一图像与所述第二图像之间的时间间隔成负相关。

上述目标对象可以是预先设定的被监控对象，或者符合预设特征的图像对象，如人物、车辆等等。

上述第二目标图像子区域在所述第二图像中的位置与所述第一目标图像子区域在所述第一图像中的位置相同可以是，第二目标图像子区域和第二目标图像子区域为不同图像中的相同位置区域。

上述第二权重与所述第一图像与所述第二图像之间的时间间隔成负相关可以是，当第一图像离上述第二图像越近(第一图像与第二图像之间的间隔图像越少或者没有)时，上述第二权重越大，反之越小。当然，这里的时间间隔可以是通过第一图像与第二图像之间的间隔图像帧数表示。这样可以实现，当第一图像离上述第二图像越近就表示上述第二权重越大，即越重要，反之越小。

该实施方式中，由于第二目标图像子区域在所述第二图像中的位置与所述第一目标图像子区域在所述第一图像中的位置相同，且所述第二权重与所述第一图像与所述第二图像之间的时间间隔成负相关，这样可以进一步提高第一目标图像子区域的权重的准确性。

一种实施方式，如下：

根据实际业务场景，对于各图像子区域I_s在第一图像上的位置的重要性预设权重α_s。其中，α_s＝α_space+α_feedback。α_space表示上述第一权重(或者称作空间权重)，表示各子区域在图像空间上的权重，取值范围可以是0≤α_space≤1；α_feedback表示上述第二权重(或者称作反馈权重)，表示实际目标位置对后续图像的质量评估的影响，取值范围可以是0.001≤α_feedback≤0.5。其中，α_feedback参数的获取方法可以如下：

假设每连续的m帧作为一个时间统计周期，从内容分析结果获取当前帧已发现的目标的位置，记为重点位置，如上述第二目标图像子区域的位置；

对目标位置所在的子区域，按照指数衰减方法计算本时间统计周期内重点位置(如上述第一目标图像子区域的位置)的反馈权重：

α_feedback(t)＝exp[-θ(t+l)]

上面的α_feedback(t)表示随着时间t的改变，图像子区域中α_feedback权重随时间衰减，新出现的目标所在区域的α_feedback取值从0.5经过m帧后衰减为0.001。

进一步的，获得各图像子区域I_s对应的α_s＝α_space+α_feedback后，可以进行归一化处理，以实现

其中，α_i表示第i个图像子区域的权重。

需要说明的是，本发明实施例中，并不限定通过上述公式设定上述第二权重，例如：将第二权重可取的最小值和最大值设置为多个等级，第一图像与第二图像之间每间隔一个图像，第二权值的取值就降低一个等级，以最大值为0.5，最小值为0.1为例，当第一图像与第二图像之间不存在间隔图像，则将第二权值设置为0.5，当第一图像与第二图像之间间隔1帧图像，则将第二权值设置为0.4，以此递减。

进一步，确定第二权重时，并不限定上述内容分析结果表示所述第二图像的第二目标图像子区域包括目标对象，例如：当第二图像中包括目标对象时，则可以将第一图像的各图像子区域的第二权重均进行增加，反之，可以均进行减少，以通过第二图像的内容分析结果增加或者降低第一图像的整体权重。

进一步，上述第二图像可以是发现存在目标对象的图像。

以图2为例，本发明实施例中可以包括摄像头模块、视频解码模块、质量筛查模块和内容分析模块，其中：

摄像头模块可以为电子设备内置或外置的可实时采集图像的硬件；

视频解码模块，可以用于对来自摄像头模块的视频流进行解码，转换为各帧独立的图像；

质量筛查模块，用于获取图像的质量评分，且所使用的质量评价算法包可按照业务需求进行增加和修改，可使用一种或多种不同的质量评价算法对图像进行分区域独立统计，综合汇总；

内容分析模块，用于质量筛查模块已判别为符合画面质量的图像进行分析，输出分析结果。同时，内容分析模块向质量筛查模块反馈发现的目标对象的内容分析结果，如表示目标对象所在的区域，由质量筛查模块在后续一定的连续帧间隔内对该区域的图像质量进行指数衰减加权。

这样通过上述内容分析模块的反馈可以使得图像的权重更加准确。

当然，在一些场景或者针对一些图像，可以不设置第二权重，即可以只设置上述第一权重，例如：第一图像前面的多帧图像均不存在目标对象，而可以不设置第二权重。

作为一种可选的实施方式，上述S个图像子区域中相邻图像子区域存在重叠区域。

上述相邻图像子区域存在重叠区域可以是，相邻图像子区域的相邻区域为重叠区域。

例如：以上述S为4举例，假设来自视频解码后的第一图像为I，对I进行m行n列的子区域分割。分割后共有s＝m×n个图像子区域，各图像子区域之间有t个像素宽宽度的重叠。参数m、n和t均为根据实际业务需要预设的值，其中，分割后的子区域重叠情况如图3所示。

该实施方式中，由于相邻图像子区域存在重叠区域，这样对各子区域进行质量评分时，可以保证各图像子区域的评估图像内容的连续性，以提高图像整体评分的准确性。

作为一种可选的实施方式，上述计算每个图像子区域的质量评分，包括：

针对每个图像子区域，使用一个或者多种图像质量判别算法，计算图像子区域的质量评分。

且使用多种算法时每种算法可以设置相应的权重。

例如：可以通过

共j＝1,2,…,k种图像质量判别算法，Q_s表示某一图像子区域的质量评分，f_j(·)表示具体的算法实现，ω_j表示算法对应的权重，

需要说明的是，本发明实施例中，图像质量判别算法包括但不限于用Laplacian算法、Sobel算法。

该实施方式中，由于可以通过多种算法计算图像子区域的质量评分，从而进一步提高图像子图像质量评分的准确性。

进一步的，本发明实施例中，还可以根据实际业务需求或者图像的类型对计算图像子区域的质量评分的质量判别算法进行修改或者替换，便于实现后期在不改动电子设备硬件的前提下通过算法包升级，增加对更多的画面判别指标，如对亮度、颜色等的判别。

请参见图4，图4是本发明实施提供的另一种图像内容分析方法的流程图，如图4所示，包括以下步骤：

步骤401、对来自电子设备的摄像头硬件的视频进行解码、图像预处理，循环获得图像I；

步骤402、对I图像进行子区域划分，获得共s个图像子区域，每个图像子区域的分辨率为u×v。按照不同子区域在图像中的位置预设权重值

例如，图像靠画面上部分为天空，重要性较低，图像靠近画面下部为所需监控的人员移动区域，重要程度较高，因此可根据业务需要确定空间权重α_space。如图2所示的质量筛查模块接收后续内容分析模块反馈的目标位置，如后续Yolo算法得到的目标ROI位置，再使用指数衰减方法获取α_feedback。对各子区域α_s＝α_space+α_feedback进行归一化处理，以得到各图像子区域的权重。

步骤403、使用Laplacian和Sobel两种算法获取图像的总评分。

具体可以是综合使用Laplacian和Sobel两种算法做模糊度判断，两种算法之间的权值分别为ω₁和ω₂，且ω₁+ω₂＝1。

其中，对于每一个子区域I_s：

使用Laplacian算法f₁(·)获得图像二阶导数矩阵的方差值作为评价指标；

使用Sobel算法f₂(·)获得图像差分矩阵的均值作为评价指标；

汇总子区域的局部评价指标Q_s＝ω₁×f₁(·)+ω₂×f₂(·)

之后，对全部图像子区域按照权重进行汇总，以得到总评分Q_Total，具体可以是将图像子区域的质量评分与对应的权重相乘，再求和。

步骤404、对总评分进行门限判别与决策。

该步骤可以是根据最终的总评分Q_Total判断该帧图像是否进入后续内容分析环节，具体可以如下：

其中，T_Threshold表示上述预设阈值。

这样可以实现合格的图像送给内容分析模块进行后续计算，不合格图像丢弃，以降低图像内容分析的功耗。

请参见图5，图5是本发明实施例提供的一种图像内容分析装置的结构图，如图5所示，图像内容分析装置500包括：

划分模块501，用于将经过解码的第一图像进行区域划分，以得到S个图像子区域，其中，S为大于1的整数；

计算模块502，用于计算每个图像子区域的质量评分；

获取模块503，用于依据每个图像子区域的质量评分获取所述第一图像的总评分；

分析模块504，用于在所述总评分大于或者等于预设阈值的情况下，对所述第一图像执行内容分析操作；

丢弃模块505，用于在所述总评分小于所述预设阈值的情况下，丢弃所述第一图像。

可选的，所述获取模块503用于依据每个图像子区域的权重和质量评分，获取所述第一图像的总评分，其中，每个图像子区域的权重与图像子区域在所述第一图像中的位置对应。

可选的，所述S个图像子区域中相邻图像子区域存在重叠区域。

本发明实施例提供的图像内容分析装置能够实现图1的方法实施例中的各个过程，为避免重复，这里不再赘述。

需要说明的是，本发明实施例中的图像内容分析装置可以是装置，也可以是电子设备中的部件、集成电路、或芯片。

请参见图6，图6是本发明实施例提供的一种电子设备的结构图，如图6所示，电子设备600包括：存储器601、处理器602及存储在所述存储器601上并可在所述处理器602上运行的程序或者指令，所述程序或者指令被所述处理器602执行时实现上述图像内容分析方法中的步骤。

本发明实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像内容分析方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims

1.一种图像内容分析方法，其特征在于，包括：

计算每个图像子区域的质量评分；

2.如权利要求1所述的方法，其特征在于，所述依据每个图像子区域的质量评分获得所述第一图像的总评分，包括：

3.如权利要求2所述的方法，其特征在于，第一目标图像子区域的权重是依据第一权重和第二权重确定的，所述第一权重是依据所述目标图像子区域在所述图像中的位置预先设定的，所述第二权重是依据第二图像的内容分析结果确定的；

4.如权利要求3所述的方法，其特征在于，所述内容分析结果表示所述第二图像的第二目标图像子区域包括目标对象，所述第二目标图像子区域在所述第二图像中的位置与所述第一目标图像子区域在所述第一图像中的位置相同，且所述第二权重与所述第一图像与所述第二图像之间的时间间隔成负相关。

5.如权利要求1至4中任一项所述的方法，其特征在于，所述S个图像子区域中相邻图像子区域存在重叠区域。

6.一种图像内容分析装置，其特征在于，包括：

计算模块，用于计算每个图像子区域的质量评分；

7.如权利要求6所述的装置，其特征在于，所述获取模块用于依据每个图像子区域的权重和质量评分，获取所述第一图像的总评分，其中，每个图像子区域的权重与图像子区域在所述第一图像中的位置对应。

8.如权利要求7所述的装置，其特征在于，第一目标图像子区域的权重是依据第一权重和第二权重确定的，所述第一权重是依据所述目标图像子区域在所述图像中的位置预先设定的，所述第二权重是依据第二图像的内容分析结果确定的；

9.如权利要求8所述的装置，其特征在于，所述内容分析结果表示所述第二图像的第二目标图像子区域包括目标对象，所述第二目标图像子区域在所述第二图像中的位置与所述第一目标图像子区域在所述第一图像中的位置相同，且所述第二权重与所述第一图像与所述第二图像之间的时间间隔成负相关。

10.如权利要求6至9中任一项所述的装置，其特征在于，所述S个图像子区域中相邻图像子区域存在重叠区域。

11.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序或者指令，所述程序或者指令被所述处理器执行时实现如权利要求1至5中任一项所述的图像内容分析方法中的步骤。

12.一种可读存储介质，其特征在于，所述可读存储介质上存储有程序或指令，所述程序或指令被处理器执行时实现如权利要求1至5中任一项所述的图像内容分析方法中的步骤。