CN110378934B - 主体检测方法、装置、电子设备和计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种主体检测方法、装置、电子设备和计算机可读存储介质。上述方法包括：对目标图像进行运动检测，确定目标图像中的运动物体和运动物体对应的运动速度；当运动速度超过速度阈值时，对目标图像进行主体检测，得到目标图像包含的候选主体；根据候选主体与运动物体确定目标图像的目标主体。由于可以基于运动物体的运动速度，对目标图像进行主体检测，从而根据检测得到的候选主体和运动物体确定目标图像的目标主体，可以提高主体检测的准确性。

Description

主体检测方法、装置、电子设备和计算机可读存储介质

技术领域

本申请涉及影像技术领域，特别是涉及一种主体检测方法、装置、电子设备和计算机可读存储介质。

背景技术

随着影像技术的发展，主体检测技术的应用越来越广泛。通过主体检测技术识别图像中的主体，可以对主体进行对焦、追踪、美颜美化、局部处理等操作。目前，主体检测技术主要基于深度学习算法来实现。然而，传统的主体检测技术存在准确性低的问题。

发明内容

本申请实施例提供一种主体检测方法、装置、电子设备和计算机可读存储介质，可以提高主体检测的准确性。

一种主体检测方法，包括：

对目标图像进行运动检测，确定所述目标图像中的运动物体和所述运动物体对应的运动速度；

当所述运动速度超过速度阈值时，对所述目标图像进行主体检测，得到所述目标图像包含的候选主体；

根据所述候选主体与所述运动物体确定所述目标图像的目标主体。

一种主体检测装置，包括：

运动检测模块，用于对目标图像进行运动检测，确定所述目标图像中的运动物体和所述运动物体对应的运动速度；

主体检测模块，用于当所述运动速度超过速度阈值时，对所述目标图像进行主体检测，得到所述目标图像包含的候选主体；

主体确定模块，用于根据所述候选主体与所述运动物体确定所述目标图像的目标主体。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

对目标图像进行运动检测，确定所述目标图像中的运动物体和所述运动物体对应的运动速度；

当所述运动速度超过速度阈值时，对所述目标图像进行主体检测，得到所述目标图像包含的候选主体；

根据所述候选主体与所述运动物体确定所述目标图像的目标主体。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

对目标图像进行运动检测，确定所述目标图像中的运动物体和所述运动物体对应的运动速度；

当所述运动速度超过速度阈值时，对所述目标图像进行主体检测，得到所述目标图像包含的候选主体；

根据所述候选主体与所述运动物体确定所述目标图像的目标主体。

上述主体检测方法、装置、电子设备和计算机可读存储介质，可以获得目标图像中的运动物体和运动物体对应的运动速度，当运动速度超过运动阈值时，检测目标图像包含的候选主体，从而根据运动物体和候选主体确定目标图像的目标主体，可以提高主体检测的准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中电子设备的结构框图；

图2为一个实施例中主体检测方法的流程图；

图3为一个实施例中提供的主体检测方法的流程图；

图4为一个实施例中从候选主体中剔除运动物体的流程图；

图5为一个实施例中对目标图像进行运动检测的流程图；

图6为一个实施例中对目标图像进行主体检测的流程图；

图7为一个实施例中图像处理效果示意图；

图8为一个实施例中主体检测装置的结构框图；

图9为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件和参数，但这些元件和参数不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分，或者将第一参数与另一个参数。举例来说，在不脱离本申请的范围的情况下，可以将第一分割图称为第二分割图，且类似地，可将第二分割图称为第一分割图。第一分割图和第二分割图两者都是分割图，但其不是同一分割图。

图1为一个实施例中电子设备的内部结构示意图。如图1所示，该电子设备包括通过***总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作***和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种主体检测方法。内存储器为非易失性存储介质中的操作***计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。在一些实施例中，该电子设备也可以是服务器。其中，服务器可以是独立的服务器，也可以是由多个服务器组成的服务器集群来实现。

图2为一个实施例中主体检测方法的流程图。如图2所示，主体检测方法包括步骤202至步骤206，其中：

步骤202，对目标图像进行运动检测，确定目标图像中的运动物体和运动物体对应的运动速度。

目标图像可以是电子设备通过摄像头采集的图像，也可以是存储在电子设备本地的图像或从网络下载的图像。目标图像还可以是视频、图像序列中的一帧图像。运动检测是指识别图像中包含的运动物体的操作。运动物体是指在图像采集过程中存在位置变化的物体。例如，常见的运动物体包括行人、动物、汽车等。运动速度用于表示运动物体的位置变化的快慢。通常，运动速度可以根据运动物体在成像的图像中的位置变化大小来计算。

电子设备对目标图像进行运动检测，可以确定目标图像中的运动物体和运动物体对应的运动速度。具体地，电子设备可以获取包含目标图像的至少两帧图像，从而采用背景减除法、帧间差分法、或者光流法如Lucas-Kanade Method(卢卡斯-卡纳德方法)等对获取的至少两帧图像进行检测，则可以确定目标图像中的运动物体和运动物体对应的运动速度。可选地，目标图像包含的运动物体可以是一个或多个，每一个运动物体对应的一个运动速度。

步骤204，当运动速度超过速度阈值时，对目标图像进行主体检测，得到目标图像包含的候选主体。

电子设备可以在运动物体的运动速度超过速度阈值时，对目标图像进行主体检测，得到目标图像包含的候选主体。其中，速度阈值可以根据实际应用需求来设定。具体地，通过收集大量的包含运动物体的图像，分析图像中运动物体的运动速度和图像的拍摄主体，可以确定该速度阈值。

具体地，当目标图像包含一个运动物体时，则可以在该运动物体的运动速度超过速度阈值时，则对目标图像进行主体检测。当目标图像包含多个运动物体时，可选地，电子设备可以从多个运动物体分别对应的多个运动速度中，获取最大的运动速度，当最大的运动速度超过速度阈值时，则对目标图像进行主体检测；电子设备也可以在面积最大的运动物体的运动速度超过速度阈值时，则对目标图像进行主体检测；还可以综合运动物体与图像中心的距离，在与图像中心的距离最小、面积最大的运动物体的运动速度超过速度阈值时，则对目标图像进行主体检测等，在此不做限定。

电子设备对目标图像进行主体检测，得到目标图像包含的候选主体。具体地，电子设备可以通过深度学习的主体检测模型对目标图像进行主体检测。电子设备可以将目标图像输入至主体检测模型，通过主体检测模型对该目标图像进行主体检测得到目标图像包含的多个候选主体。候选主体是由候选主体在图像中对应的像素点组成的。具体地，当主体检测模型采用主体轮廓的方式输出主体对应的区域时，则候选主体的边缘像素点即为候选主体的轮廓的边缘像素点。其中，目标图像包含的候选主体也可以是一个或多个。

其中，主体检测模型可通过深度学习算法如CNN(Convolutional NeuralNetwork，卷积神经网络)、DNN(Deep Neural Network，深度神经网络)、或RNN(RecurrentNeural Network，循环神经网络)等来实现。可选地，在一些实施例中，电子设备可预存有多种主体对应的图像特征信息，将目标图像的图像特征信息与预存的图像特征信息进行匹配，则匹配成功的图像特征信息对应的主体即为该目标图像包含的候选主体。

步骤206，根据候选主体与运动物体确定目标图像的目标主体。

目标主体是指最终确定的目标图像的主体。电子设备根据确定的目标主体可以对目标图像进行优化处理，例如，电子设备可以对目标主体进行美颜处理、色彩增强处理，也可以根据目标主体对目标图像进行虚化处理，还可以在实时拍摄的场景下，控制摄像头对焦到目标主体后进行图像采集操作等。

电子设备根据候选主体和运动物体确定目标图像的目标主体。具体地，电子设备可以综合候选主体和运动物体的面积、与图像中心的距离、运动物体的运动速度、候选主体的置信度等中的至少一种来确定目标图像的目标主体。其中，候选主体的置信度是指目标图像中包含该候选主体的可信程度。可选地，电子设备可以获取运动速度不超过速度阈值的运动物体、及面积超过面积阈值的候选主体作为目标图像的目标主体；也可以获取运动速度不超过速度阈值、且同时被检测为候选主体的运动物体作为目标图像的目标主体；还可以从候选主体中剔除运动物体，将剔除后的候选主体作为目标主体，或者剔除运动速度超过速度阈值的运动物体，将剔除后的候选主体作为目标主体等，在此不做限定。

本申请提供的实施例中，可以对目标图像进行运动检测，确定目标图像中的运动物体和运动物体对应的运动速度，当运动速度超过速度阈值时，则对目标图像进行主体检测，得到目标图像包含的候选主体，根据候选主体与运动物体确定目标图像的目标主体。由于可以在图像包含的运动物体的运动速度超过速度阈值时，根据主体检测的候选主体和运动物体来确定目标图像的目标主体，可以提高主体检测的准确性。

在一个实施例中，电子设备可以预设不同的拍摄模式对应的目标主体确定方式，从而根据摄像头当前所采用的拍摄模式获取对应的目标主体确定方式，基于该目标主体确定方式，根据候选主体和运动物体确定目标图像的目标主体。例如，慢动作拍摄模式对应的目标主体确定方式可以是将获取运动速度不超过速度阈值、且同时被检测为候选主体的运动物体作为目标图像的目标主体；人像拍摄模式对应的目标主体确定方式可以是从候选主体中剔除运动物体，将剔除后的候选主体作为目标主体；跳跃拍摄模式对应的目标主体确定方式可以是将运动速度超过速度阈值，且同时被检测为候选主体的运动物体作为目标图像的目标主体等。当拍摄模式为慢动作拍摄时，若运动检测得到目标图像包含运动速度小于速度阈值的人像A和人像B，运动速度大于速度阈值的人像C，主体检测得到目标图像包含候选主体为人像A、人像C和花朵时，则电子设备可以将人像A作为目标图像的目标主体。

通过根据摄像头采用的拍摄模式获取对应的目标主体确定方式，从而基于该目标主体确定方式、目标图像的运动物体和候选主体确定目标主体，即区分不同的拍摄模式采用不同的主体检测方式，可以提高主体检测的准确性。

在一个实施例中，提供的主体检测方法还包括：当运动速度不超过速度阈值时，将运动物体作为目标图像的目标主体。

可选地，速度阈值是运动物体可被认为是拍摄主体的最大运动速度。也就是说，当运动物体的运动速度超过该速度阈值时，则可以确定该运动物体不为该目标图像的主体；而当运动物体的运动速度不超过该速度阈值时，则可以将该运动物体确定为是该目标图像中的主体。

电子设备可以对目标图像进行运动检测，得到目标图像包含的运动物体及运动物体对应的运动速度，当运动物体的运动速度不超过该速度阈值时，则将该运动物体作为目标图像的目标主体。可选地，当目标图像包含的一个或多个运动物体的运动速度均不超过速度阈值时，则将该一个或多个运动物体确定为目标图像的目标主体；当目标图像同时包含运动速度超过速度阈值的运动物体和不超过速度阈值的运动物体时，电子设备可以综合运动物体与图像中心的距离、运动物体的面积大小等确定用于与速度阈值比对的目标运动物体，当目标运动物体不超过速度阈值时，则将运动速度不超过速度阈值的运动物体确定为目标图像的目标主体。

通常，在进行图像拍摄时，拍摄主体的运动速度通常较小，运动速度较大的运动往往是拍摄的背景，例如，在进行人像拍摄时，背景可能存在运动速度较大的动物、行驶的车辆等；本申请实施例通过对目标图像进行运动检测，在目标图像包含的运动物体的运动速度超过速度阈值时，综合目标图像包含的候选和运动物体确定目标图像的目标主体，在运动物体的运动速度不超过速度阈值时，则将运动物体确定为目标图像的目标主体，即可以基于运动物体的运动速度对目标图像包含的目标主体进行检测，可以提高主体检测的准确性。

在一个实施例中，提供的主体检测方法还可以包括：当确定目标图像不包含运动物体时，对目标图像进行主体检测，得到目标图像包含的候选主体；将候选主体作为目标图像的目标主体。

目标图像存在不包含运动物体的情况。电子设备可以在对目标图像进行运动检测时，没有输出目标图像包含的运动物体及运动物体对应的运动速度时则确定目标图像不包含运动物体。具体地，电子设备可以分析包含目标图像的多帧图像，当多帧图像分别对应的图像信息是相同的或差异较小时，则确定目标图像中不包含运动物体。

当目标图像不包含运动物体时，电子设备可以对目标图像进行主体检测，得到目标图像包含的候选主体，将候选主体作为该目标图像的目标主体。主体检测得到的候选主体可以是一个或多个。可选地，电子设备可以将检测得到的一个或多个候选主体均作为目标图像的目标主体，也可以从多个候选主体选取作为目标主体的候选主体。具体地，电子设备获取多个候选主体分别对应的类别，基于类别与优先级的对应关系，将优先级最高的类别对应的候选主体作为目标主体。例如，类别的优先级可以是人物、动物、植物依次降低等，在此不做限定。可选地，电子设备还可以结合候选主体在图像中的位置、候选主体的面积大小、候选主体对应的类别的置信度等中一种或多种以确定目标主体。

在一个实施例中，电子设备可以采poolnet(基于池化技术的检测方法)主体检测模式对目标图像进行主体检测，得到目标图像包含的候选主体。Poolnet主体检测模型引入了GGM(Global Guidance Module，全局引导模块)和FAM(Feature Aggregation Module，特征整合模块)，可以锐化检测的候选主体的细节，并提高主体检测的效率。

图3为一个实施例中提供的主体检测方法的流程图。如图3所示，该主体检测方法的流程如下：

步骤302，对目标图像进行运动检测。

步骤304，判断目标图像是否包含运动物体，若是，则进入步骤306，若否，则进入步骤316。

步骤306，获取目标图像包含的运动物体和运动物体对应的运动速度。

步骤308，判断运动速度是否超过速度阈值，若是，则进入步骤310，若否，则进入步骤314。

步骤310，对目标图像进行主体检测，得到目标主体包含的候选主体。

步骤312，根据候选主体和运动物体确定目标图像的目标主体。

步骤314，将运动物体作为目标图像的目标主体。

步骤316，对目标图像进行主体检测，得到目标主体包含的候选主体。

步骤318，将候选主体作为目标图像的目标主体。

通过对目标图像进行运动检测，根据运动检测的结果采用不同的主体确定方式以确定目标图像的目标主体，主体检测结果更加准确，符合图像拍摄需求。

在一个实施例中，提供的主体检测方法中根据候选主体与运动物体确定目标图像的目标主体，包括：从候选主体中剔除目标图像包含的运动物体，将剔除后的候选主体作为目标主体。

从候选主体剔除运动物体，是指将候选主体中的运动物体的主体去除。电子设备从候选主体中剔除目标图像包含的运动物体，具体地，电子设备可以从候选主体中剔除同时被识别为运动物体的候选主体，从而将剔除后的候选主体作为目标主体。例如，当拍摄人像时，电子设备可以对目标图像进行运动检测得到目标图像包含的运动物体为人像D、汽车E和汽车F；而主体检测得到的候选主体包括人像D、人像E和汽车E，则电子设备可以将候选主体的人像D和汽车E剔除，将剔除后的候选主体即人像E作为目标图像的目标主体。

在进行图像拍摄时，往往会存在一些背景，例如行人、行驶的车辆等等，在对图像进行主体检测时，这些背景也会被识别为主体。通过在目标图像存在运动速度大于速度阈值的运动物体，对目标图像进行主体检测，得到目标图像中包含的候选主体，从候选主体中剔除运动物体，以得到目标图像的目标主体，主体检测的准确性更高。

图4为一个实施例中从候选主体中剔除运动物体的流程图。如图4所示，在一个实施例中，提供的主体检测方法中从候选主体中剔除目标图像包含的运动物体，将剔除后的候选主体作为目标主体的过程，包括：

步骤402，获取候选主体对应的第一分割图，及获取运动物体对应的第二分割图。

第一分割图是对目标图像进行主体检测时输出。第一分割图标识了候选主体在目标图像中的位置。第一分割图可以是二值化分割图，采用0和1分别表示目标图像中的候选主体及候选主体之外的其他区域。例如，第一分割图可以是目标图像的候选主体对应的像素点的像素值为1，除候选主体对应的像素点之外的像素点的像素值为0。类似的，第二分割图是对目标图像进行运动检测时输出的。第二分割图标识了运动物体在目标图像中的位置。第二分割图也可以是二值化分割图。值得注意的是，在该实施例中，第一分割图中候选主体的像素点和第二分割图中运动物体的像素点采用相同的二值化值，即可以都为1或者都为0。在其他一些实施中，第一分割图中候选主体的像素点和第二分割图中运动物体的像素点采用相同的二值化值可以不同。

步骤404，基于第一分割图和第二分割图生成中间分割图；中间分割图包含第一分割图和第二分割图的重叠区域。

中间分割图包含第一分割图和第二分割图的重叠区域。具体地，在该实施例中，第一分割图中候选主体的像素点和第二分割图中运动物体的像素点采用相同的二值化值，则电子设备可以获取第一分割图和第二分割图中位置相同、且像素值相同的像素点，由这些像素点构成中间分割图。可选地，电子设备取第一分割图与第二分割图像的交集，以得到中间分割图。以M表示第一分割图，N表示第二分割图，则中间分割图I＝M∩N。

步骤406，根据第一分割图与中间分割图，确定目标主体分割图。

目标主体分割图标识了目标主体在目标图像中的位置。电子设备根据目标主体分割图可以确定目标图像中的目标主体。第一分割图为候选主体对应的分割图。电子设备根据第一分割图和中间分割图确定目标主体分割图，具体地，电子设备将第一分割图与中间分割图减运算，即从候选主体中剔除运动物体。依照上述例子，以M表示第一分割图，N表示第二分割图，中间分割图I＝M∩N，则目标主体分割J＝M-J＝M-M∩N。以第一分割图和第二分割图中采用1作为候选主体和运动物体对应像素点的像素值为例进行说明，得到的目标主体分割图中目标主体对应的像素点的像素值为1，而除目标主体对应的像素点之外的其他像素点的像素值为0，电子设备根据该目标主体分割图可以确定目标图像中的目标主体。

通过获取候选主体对应的第一分割图和运动物体对应的第二分割图，从而基于第一分割图和第二分割图得到目标主体分割图，可以提高目标主体的精确性。

在一个实施例中，提供的主体检测方法中从候选主体中剔除目标图像包含的运动物体，将剔除后的候选主体作为目标主体的过程，包括：从候选主体中剔除目标图像包含的运动物体；将剔除后的各个候选主体中，面积超过面积阈值的候选主体作为目标主体。

面积阈值可以通过对大量图像中，主体对应的面积大小进行统计分析后得到，在此不做限定。例如，面积阈值可以是图像面积的30％、40％、50％等。可选地，面积阈值也可以根据所需要的目标主体的数量和剔除后的各个候选主体的面积来确定。例如，当剔除后的4个候选主体的面积大小分别为300*300、320*320、400*400、450*450，若需要的目标主体的数量为3，则面积阈值可以是350*350、或360*360等。可选地，候选主体的面积也可以采用候选主体的面积与目标图像的面积的比值来表示。

在一个实施例中，电子设备也可以将剔除后的各个候选主体中，面积最大的候选主体作为目标主体。

通过从候选主体中剔除目标图像包含的运动物体，将剔除后的各个候选主体中，面积超过面积阈值的候选主体作为目标主体，即可以对目标主体进行二次筛选，将面积较大的候选主体作为目标主体，可以进一步提高目标主体的精准性。

图5为一个实施例中对目标图像进行运动检测的流程图。如图5所示，提供的主体检测方法中对目标图像进行运动检测，确定目标图像中的运动物体和运动物体对应的运动速度的过程，包括：

步骤502，获取包含目标图像的图像序列。

目标图像可以是图像序列中的任意一帧图像。可选地，目标图像可以位于视频或者图像序列中的中间位置或者偏后位置，即可以通过前置帧图像和前后帧图像检测目标图像包含的运动物体。图像序列可以是视频，也可以是摄像头实时捕捉的多帧预览图像形成的图像序列。电子设备可以根据包含目标图像的图像序列对目标图像进行运动检测。可选地，图像序列包含的多帧图像对应的曝光参数相同。

步骤504，分析像素点在图像序列包含的每一帧图像中的位置。

运动物体运动前后分别成像的两帧图像中，运动物体对应的像素值应当保持不变。也可以是说，可以通过检测前后帧图像中像素值相同的像素点来分析目标图像中的运动物体。

电子设备分析像素点在图像序列包含的每一帧图像中的位置。具体地，电子设备可以分析像素值相同的像素点在每一帧图像中的位置。

步骤506，将存在位置变化的像素点确定为运动像素点，并获取目标图像中由运动像素点组成的运动物体。

若像素值相同的像素点在不同图像中的位置存在变化，则认为该像素点属于运动物体的像素点，电子设备将该像素点确定为运动像素点。电子设备获取目标图像中由运动像素点组成的运动物体。具体地，电子设备可以由运动像素点组成的连通区域，则每一个连通区域对应一个运动物体。可选地，电子设备可以过滤像素点数量小于数量阈值的连通区域，将过滤后的连通区域确定为运动物体对应的区域。

在一个实施例中，可以根据像素点在每一帧图像中的位置确定像素点的位置变化幅度；当位置变化幅度超过变化阈值时，则确定像素点为运动像素点。

位置变化幅度是指像素值相同的同一像素点在不同的图像中的位置变化的幅度。电子设备可以根据像素点在每一帧图像中的位置确定像素点的位置变化幅度。例如，以图像的中心为原点建立XY坐标轴，若像素点在每一帧图像中的位置分别为(2000,3122)、(2000,3124)、(1998,3122)、(2001，3126)，则该像素点在X方向的位置变化幅度为2个像素，在Y方向的位置变化幅度为6个像素。

变化阈值可以根据实际应用需求设定，在此不做限定。具体地，变化阈值可以通过分析在摄像头抖动或拍摄物体抖动时拍摄的多帧图像中，像素值相同的像素点的位置变化幅度来确定。例如，以像素为计量单位，变化阈值可以是4个像素、5个像素、6个像素、7个像素等，在此不做限定。可选地，电子设备可以设定对应于X方向的变化阈值和对应于Y方向的变化阈值。电子设备可以获取像素点对应的位置变化幅度，将位置变化幅度超过变化阈值的像素点确定为运动像素点，从而得到目标图像中由运动像素点组成的运动物体。

图像拍摄过程中，容易出现摄像头抖动或者拍摄主体存在轻微抖动而导致拍摄的多帧图像存在像素值相同的像素点在图像中的位置不一致的问题。通过获取像素点的位置变化幅度，将位置变化幅度超过变化阈值的像素点确定为运动像素点，从而得到目标图像中由运动像素点组成的运动物体，可以避免由于摄像头抖动和拍摄主体抖动而导致的像素点在图像中的位置不一致的问题，可以提高于运动检测的准确性。

步骤508，按照运动物体包含的运动像素点在每一帧图像中的位置计算运动物体的运动速度。

基于运动物体运动前后分别成像的两帧图像中，运动物体对应的像素值保持不变的原则，可以确定I1(x,y,t-1)＝I2(x+u,y+v,t),I1和I2表示像素点分别在图像1和图像2中的位置，t表示单位时间，在该实施例中，t是采集图像1和图像2的时间间隔，u为x方向上像素点的移动速度，v为y方向上像素点的移动速度。电子设备可以按照上述公式，将运动物体包含的运动像素点在每一帧图像中的位置代入公式中，既得到每一个运动像素点的移动速度，通过求取各个运动像素点的移动速度的平均值、中位值、或者众数等可以确定运动物体的运动速度。

通过分析像素点在图像序列包含的每一帧图像中的位置，获取由存在位置变化的运动像素点组成的运动物体，按照运动物体包含的运动像素点在每一帧图像中的位置计算运动物体的运动速度，则可以得到目标图像包含的运动物体和运动物体对应的运动速度。

在一个实施例中，电子设备可以通过帧间差分法对目标图像进行运动检测，具体地，电子设备可以将图像序列中相邻两帧图像对应位置的像素点的像素值相减，得到的图像中，若像素值为0，则确定该像素点属于静止物体或者背景的像素点，若像素值不为0，则说明该像素点为运动物体对应的像素点。通过帧间差分法对目标图像进行运动检测，计算简单，可以提高运动检测的效率。

图6为一个实施例中对目标图像进行主体检测的流程图。如图6所示，提供的主体检测方法中对目标图像进行主体检测，得到目标图像包含的候选主体的过程，包括：

步骤602，生成与目标图像对应的中心权重图，其中，中心权重图所表示的权重值从中心到边缘逐渐减小。

其中，中心权重图是指用于记录目标图像中各个像素点的权重值的图。中心权重图中记录的权重值从中心向四边逐渐减小，即中心权重最大，向四边权重逐渐减小。通过中心权重图表征目标图像的图像中心像素点到图像边缘像素点的权重值逐渐减小。

电子设备可以根据目标图像的大小生成对应的中心权重图。该中心权重图所表示的权重值从中心向四边逐渐减小。中心权重图可采用高斯函数、或采用一阶方程、或二阶方程生成。该高斯函数可为二维高斯函数。

步骤604，将目标图像和中心权重图输入到主体检测模型中，得到主体区域置信度图。

主体检测模型是预先根据同一场景的可见光图、深度图、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型。具体地，主体检测模型是预先采集大量的训练数据，将训练数据输入到包含有初始网络权重的主体检测模型进行训练得到的。每组训练数据包括同一场景对应的可见光图、中心权重图及已标注的主体掩膜图。其中，可见光图和中心权重图作为训练的主体检测模型的输入，已标注的主体掩膜(mask)图作为训练的主体检测模型期望输出得到的真实值(ground truth)。主体掩膜图是用于识别图像中主体的图像滤镜模板，可以遮挡图像的其他部分，筛选出图像中的主体。主体检测模型可训练能够识别检测各种主体，如人、花、猫、狗、背景等。

具体地，电子设备可将目标图像和中心权重图输入到主体检测模型中，进行检测可以得到主体区域置信度图。主体区域置信度图是用于记录主体属于哪种能识别的主体的概率，例如某个像素点属于人的概率是0.8，花的概率是0.1，背景的概率是0.1。

步骤606，根据主体区域置信度图确定目标图像中的候选主体。

其中，主体是指各种对象，如人、花、猫、狗、牛、蓝天、白云、车辆等。

具体地，电子设备可根据主体区域置信度图选取置信度大于置信度阈值的一个或多个主体作为候选主体。置信度阈值可以根据实际应用需求设定，在此不做限定。

在一个实施例中，电子设备可以对该主体区域置信度图进行处理，得到主体掩膜图，检测该目标图像中的高光区域，根据该目标图像中的高光区域与该主体掩膜图，确定该目标图像中消除高光的候选主体。其中，主体区域置信度图中存在一些置信度较低、零散的点，电子设备通过对主体区域置信度图进行过滤处理可以得到主体掩膜图。该过滤处理可采用配置置信度阈值，将主体区域置信度图中置信度值低于置信度阈值的像素点过滤。该置信度阈值可采用自适应置信度阈值，也可以采用固定阈值，也可以采用分区域配置对应的阈值。高光区域是指亮度值大于亮度阈值的区域。电子设备可以对目标图像进行高光检测，筛选得到亮度值大于亮度阈值的目标像素点，对目标像素点采用连通域处理得到高光区域，从而，将目标图像中的高光区域与该主体掩膜图做差分计算或逻辑与计算得到目标图像中消除高光的候选主体。

可选地，电子设备还可以对该主体区域置信度图进行自适应置信度阈值过滤处理，得到二值化掩膜图；对该二值化掩膜图进行形态学处理和引导滤波处理，得到主体掩膜图。具体地，电子设备将主体区域置信度图按照自适应置信度阈值过滤处理后，将保留的像素点的置信度值采用1表示，去掉的像素点的置信度值采用0表示，得到二值化掩膜图。形态学处理可包括腐蚀和膨胀。可先对二值化掩膜图进行腐蚀操作，再进行膨胀操作，去除噪声；再对形态学处理后的二值化掩膜图进行引导滤波处理，实现边缘滤波操作，得到边缘提取的主体掩膜图。通过形态学处理和引导滤波处理可以保证得到的主体掩膜图的噪点少或没有噪点，边缘更加柔和。

在一个实施例中，电子设备还可以根据主体区域置信度图得到目标图像包含的多个主体及对应的类别，基于每一个主体对应的类别的优先等级及主体对应区域的大小确定候选主体。可选地，电子设备可以预设不同类别对应的优先等级。例如，类别的优先等级可以是人、花、猫、狗、牛、白云依次降低。电子设备基于每一个主体对应的类别的优先等级及区域的大小确定作为候选主体，具体地，当目标图像中存在属于相同类别的多个主体时，电子设备可以根据多个主体对应的区域大小将区域最大的预设数量个主体确定为候选主体；当目标图像中存在属于不同类别的多个主体时，电子设备可以将优先等级最高的类别对应的主体作为候选主体，若目标图像中存在优先等级最高的多个主体，则可以进一步根据多个主体所在区域的大小确定候选主体。可选地，电子设备还可以结合每一个主体在图像中的位置确定候选主体。例如，电子设备还可以预设不同类别的优先等级、不同区域大小、以及主体在图像中的不同位置的得分值，以根据每一个主体对应的类别的优先等级、区域的大小、在图像中的位置计算每一个主体的分数值，将分数值最高的预设数量个主体作为候选主体。

通过中心权重图可以让图像中心的对象更容易被检测，利用训练好的利用可见光图、中心权重图和主体掩膜图等训练得到的主体检测模型，可以更加准确的识别出目标图像中的候选主体。

图7为一个实施例中图像处理效果示意图。如图7所示，目标图像702中存在一只蝴蝶，将目标图像702输入到主体检测模型的网络704后得到主体区域置信度图706，然后对主体区域置信度图706进行滤波和二值化得到二值化掩膜图708，再对二值化掩膜图708进行形态学处理和引导滤波实现边缘增强，得到主体掩膜图710。该主体掩模图710标识了候选主体即蝴蝶在目标图像中位置。

应该理解的是，虽然图2-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图8为一个实施例中主体检测装置的结构框图。如图8所示，在一个实施例中，主体检测装置包括：

运动检测模块802，用于对目标图像进行运动检测，确定目标图像中的运动物体和运动物体对应的运动速度。

主体检测模块804，用于当运动速度超过速度阈值时，对目标图像进行主体检测，得到目标图像包含的候选主体。

主体确定模块806，用于根据候选主体与运动物体确定目标图像的目标主体。

本申请提供的实施例，可以对目标图像进行运动检测，确定目标图像中的运动物体和运动物体对应的运动速度，当运动速度超过速度阈值时，则对目标图像进行主体检测，得到目标图像包含的候选主体，根据候选主体与运动物体确定目标图像的目标主体。由于可以在图像包含的运动物体的运动速度超过速度阈值时，根据主体检测的候选主体和运动物体来确定目标图像的目标主体，可以提高主体检测的准确性。

在一个实施例中，主体确定模块806还可以用于当运动速度不超过速度阈值时，将运动物体作为目标图像的目标主体。

在一个实施例中，主体检测模块804还可以用于当确定目标图像不包含运动物体时，对目标图像进行主体检测，得到目标图像包含的候选主体；主体确定模块806用于将候选主体作为目标图像的目标主体。

在一个实施例中，主体确定模块806还可以用于从候选主体中剔除目标图像包含的运动物体，将剔除后的候选主体作为目标主体。

在一个实施例中，主体确定模块806还可以用于装置实施例的有益效果获取候选主体对应的第一分割图，及获取运动物体对应的第二分割图；基于第一分割图和第二分割图生成中间分割图；中间分割图包含第一分割图和第二分割图的重叠区域；根据第一分割图与中间分割图，确定目标主体分割图。

在一个实施例中，主体确定模块806还可以用于从候选主体中剔除目标图像包含的运动物体；将剔除后的各个候选主体中，面积超过面积阈值的候选主体作为目标主体。

在一个实施例中，运动检测模块802还可以用于获取包含目标图像的图像序列；分析像素点在图像序列包含的每一帧图像中的位置；将存在位置变化的像素点确定为运动像素点，并获取目标图像中由运动像素点组成的运动物体；按照运动物体包含的运动像素点在每一帧图像中的位置计算运动物体的运动速度。

在一个实施例中，运动检测模块802还可以用于根据像素点在每一帧图像中的位置确定像素点的位置变化幅度；当位置变化幅度超过变化阈值时，则确定像素点为运动像素点。

在一个实施例中，主体检测模块804还可以用于生成与目标图像对应的中心权重图，其中，中心权重图所表示的权重值从中心到边缘逐渐减小；将目标图像和中心权重图输入到主体检测模型中，得到主体区域置信度图；根据主体区域置信度图确定目标图像中的候选主体。

上述主体检测装置中各个模块的划分仅用于举例说明，在其他实施例中，可将主体检测装置按照需要划分为不同的模块，以完成上述主体检测装置的全部或部分功能。

本申请实施例中提供的主体检测装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在电子设备上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图9为一个实施例中图像处理电路的示意图。如图9所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图9所示，图像处理电路包括ISP处理器940和控制逻辑器950。成像设备910捕捉的图像数据首先由ISP处理器940处理，ISP处理器940对图像数据进行分析以捕捉可用于确定和/或成像设备910的一个或多个控制参数的图像统计信息。成像设备910可包括具有一个或多个透镜912和图像传感器914的照相机。图像传感器914可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器914可获取用图像传感器914的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器940处理的一组原始图像数据。传感器920(如陀螺仪)可基于传感器920接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器940。传感器920接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器914也可将原始图像数据发送给传感器920，传感器920可基于传感器920接口类型把原始图像数据提供给ISP处理器940，或者传感器920将原始图像数据存储到图像存储器930中。

ISP处理器940按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器940可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器940还可从图像存储器930接收图像数据。例如，传感器920接口将原始图像数据发送给图像存储器930，图像存储器930中的原始图像数据再提供给ISP处理器940以供处理。图像存储器930可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器914接口或来自传感器920接口或来自图像存储器930的原始图像数据时，ISP处理器940可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器930，以便在被显示之前进行另外的处理。ISP处理器940从图像存储器930接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器940处理后的图像数据可输出给显示器970，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器940的输出还可发送给图像存储器930，且显示器970可从图像存储器930读取图像数据。在一个实施例中，图像存储器930可被配置为实现一个或多个帧缓冲器。此外，ISP处理器940的输出可发送给编码器/解码器960，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器970设备上之前解压缩。编码器/解码器960可由CPU或GPU或协处理器实现。

ISP处理器940确定的统计数据可发送给控制逻辑器950单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜912阴影校正等图像传感器914统计信息。控制逻辑器950可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备910的控制参数及ISP处理器940的控制参数。例如，成像设备910的控制参数可包括传感器920控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜912控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜912阴影校正参数。

在本申请提供的实施例中，成像设备910可以用于采集目标图像，图像存储器930可用于存储成像设备910采集的目标图像和包含目标图像的图像序列。ISP处理器940可以对目标图像进行运动检测，确定目标图像中的运动物体对应的运动速度，当运动速度超过速度阈值时，对目标图像进行主体检测，得到目标图像包含的候选主体，根据候选主体和运动物体确定目标图像的目标主体。从而，控制逻辑器950可以对该目标主体进行对焦、美颜、美化等处理。电子设备通过上述图像处理电路可以实现上述实施例所提供的主体检测方法，在此不再赘述。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行主体检测方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行主体检测方法。

本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种主体检测方法，其特征在于，包括：

对目标图像进行运动检测，确定所述目标图像中的运动物体和所述运动物体对应的运动速度；所述目标图像为视频或图像序列中的一帧图像；

当所述运动速度超过速度阈值时，生成与所述目标图像对应的中心权重图，其中，所述中心权重图所表示的权重值从中心到边缘逐渐减小；

将所述目标图像和所述中心权重图输入到主体检测模型中，得到主体区域置信度图；

根据所述主体区域置信度图确定所述目标图像中的候选主体；

根据所述候选主体与所述运动物体确定所述目标图像的目标主体。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述运动速度不超过所述速度阈值时，将所述运动物体作为所述目标图像的目标主体。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当确定所述目标图像不包含运动物体时，对所述目标图像进行主体检测，得到所述目标图像包含的候选主体；

将所述候选主体作为所述目标图像的目标主体。

4.根据权利要求1所述的方法，其特征在于，所述根据所述候选主体与所述运动物体确定所述目标图像的目标主体，包括：

从所述候选主体中剔除所述目标图像包含的运动物体，将剔除后的候选主体作为所述目标主体。

5.根据权利要求4所述的方法，其特征在于，所述从所述候选主体中剔除所述目标图像包含的运动物体，将剔除后的候选主体作为所述目标主体，包括：

获取所述候选主体对应的第一分割图，及获取所述运动物体对应的第二分割图；

基于所述第一分割图和第二分割图生成中间分割图；所述中间分割图包含所述第一分割图和第二分割图的重叠区域；

根据所述第一分割图与所述中间分割图，确定目标主体分割图。

6.根据权利要求4所述的方法，其特征在于，所述从所述候选主体中剔除所述目标图像包含的运动物体，将剔除后的候选主体作为所述目标主体，包括：

从所述候选主体中剔除所述目标图像包含的运动物体；

将剔除后的各个候选主体中，面积超过面积阈值的候选主体作为所述目标主体。

7.根据权利要求1所述的方法，其特征在于，所述对目标图像进行运动检测，确定所述目标图像中的运动物体和所述运动物体对应的运动速度，包括：

获取包含所述目标图像的图像序列；

分析像素点在所述图像序列包含的每一帧图像中的位置；

将存在位置变化的像素点确定为运动像素点，并获取所述目标图像中由运动像素点组成的运动物体；

按照所述运动物体包含的运动像素点在每一帧图像中的位置计算所述运动物体的运动速度。

8.根据权利要求7所述的方法，其特征在于，所述将存在位置变化的像素点确定为运动像素点，包括：

根据像素点在每一帧图像中的位置确定所述像素点的位置变化幅度；

当所述位置变化幅度超过变化阈值时，则确定所述像素点为运动像素点。

9.一种主体检测装置，其特征在于，包括：

运动检测模块，用于对目标图像进行运动检测，确定所述目标图像中的运动物体和所述运动物体对应的运动速度；所述目标图像为视频或图像序列中的一帧图像；

主体检测模块，用于当所述运动速度超过速度阈值时，生成与所述目标图像对应的中心权重图，其中，所述中心权重图所表示的权重值从中心到边缘逐渐减小；将所述目标图像和所述中心权重图输入到主体检测模型中，得到主体区域置信度图；根据所述主体区域置信度图确定所述目标图像中的候选主体；

主体确定模块，用于根据所述候选主体与所述运动物体确定所述目标图像的目标主体。

10.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述的主体检测方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的方法的步骤。

Images