CN110689007B - 主体识别方法和装置、电子设备、计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种主体识别方法和装置、电子设备、计算机可读存储介质。所述方法包括获取原始图像；将所述原始图像作为待识别图像，对所述待识别图像进行主体识别，得到主体区域；当所述主体区域不满足预设要求时，基于所述主体区域，从所述原始图像中获取迭代图像；所述迭代图像包含所述主体区域；将所述迭代图像作为待识别图像，迭代执行所述对所述待识别图像进行主体识别，得到主体区域步骤；当所述主体区域满足预设要求，将满足预设要求的所述主体区域作为目标主体区域。上述方法和装置、电子设备、计算机可读存储介质，可以提高主体识别的准确性。

Description

主体识别方法和装置、电子设备、计算机可读存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种主体识别方法、装置、电子设备、计算机可读存储介质。

背景技术

随着影像技术的发展，人们越来越习惯通过电子设备上的摄像头等图像采集设备拍摄图像或视频，记录各种信息。摄像头在采集图像过程中有时需要识别到主体，传统的主体识别方式无法准确的检测出图像中的主体。

发明内容

本申请实施例提供一种主体识别方法、装置、电子设备、计算机可读存储介质，可以提高主体识别的准确性。

一种主体识别方法，包括：

获取原始图像；

将所述原始图像作为待识别图像，对所述待识别图像进行主体识别，得到主体区域；

当所述主体区域不满足预设要求时，基于所述主体区域，从所述原始图像中获取迭代图像；所述迭代图像包含所述主体区域；

将所述迭代图像作为待识别图像，迭代执行所述对所述待识别图像进行主体识别，得到主体区域步骤；

当所述主体区域满足预设要求，将满足预设要求的所述主体区域作为目标主体区域。

一种主体识别装置，包括：

原始图像获取模块，用于获取原始图像；

主体识别模块，用于将所述原始图像作为待识别图像，对所述待识别图像进行主体识别，得到主体区域；

迭代图像获取模块，用于当所述主体区域不满足预设要求时，基于所述主体区域，从所述原始图像中获取迭代图像；所述迭代图像包含所述主体区域；

迭代模块，用于将所述迭代图像作为待识别图像，迭代执行所述对所述待识别图像进行主体识别，得到主体区域步骤；

目标主体区域获取模块，用于当所述主体区域满足预设要求，将满足预设要求的所述主体区域作为目标主体区域。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述的主体识别方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的方法的步骤。

上述主体识别方法和装置、电子设备、计算机可读存储介质，获取原始图像；将原始图像作为待识别图像，对待识别图像进行主体识别，得到主体区域；当主体区域不满足预设要求时，基于主体区域，从原始图像中获取迭代图像；迭代图像包含主体区域；将迭代图像作为待识别图像，迭代执行对待识别图像进行主体识别，得到主体区域步骤；也就是说，当主体区域不满足预设要求时，获取包含主体区域的更大的迭代图像进行主体识别，得到另一个主体区域，直到当主体区域满足预设要求，将满足预设要求的主体区域作为目标主体区域。迭代进行主体识别，可以获取到满足预设要求的主体区域，提高了主体识别的准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像处理电路的示意图；

图2为一个实施例中主体识别方法的流程图；

图3为一个实施例中步骤获取第一扩张范围的流程图；

图4为一个实施例中步骤确定主体区域的流程图；

图5为另一个实施例中主体识别的示意图；

图6为一个实施例中步骤主体识别的流程图；

图7为一个实施例中主体识别装置的结构框图；

图8为一个实施例中电子设备的内部结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一扩张范围称为第二扩张范围，且类似地，可将第二扩张范围称为第一扩张范围。第一扩张范围和第二扩张范围两者都是扩张范围，但其不是同一扩张范围。

本申请实施例提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图1为一个实施例中图像处理电路的示意图。如图1所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图1所示，图像处理电路包括ISP处理器140和控制逻辑器150。成像设备110捕捉的图像数据首先由ISP处理器140处理，ISP处理器140对图像数据进行分析以捕捉可用于确定和/或成像设备110的一个或多个控制参数的图像统计信息。成像设备110可包括具有一个或多个透镜112和图像传感器114的照相机。图像传感器114可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器114可获取用图像传感器114的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器140处理的一组原始图像数据。姿态传感器120(如三轴陀螺仪、霍尔传感器、加速度计)可基于姿态传感器120接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器140。姿态传感器120接口可以利用SMIA(Standard Mobile ImagingArchitecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器114也可将原始图像数据发送给姿态传感器120，传感器120可基于姿态传感器120接口类型把原始图像数据提供给ISP处理器140，或者姿态传感器120将原始图像数据存储到图像存储器130中。

ISP处理器140按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器140可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器140还可从图像存储器130接收图像数据。例如，姿态传感器120接口将原始图像数据发送给图像存储器130，图像存储器130中的原始图像数据再提供给ISP处理器140以供处理。图像存储器130可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器114接口或来自姿态传感器120接口或来自图像存储器130的原始图像数据时，ISP处理器140可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器130，以便在被显示之前进行另外的处理。ISP处理器140从图像存储器130接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器140处理后的图像数据可输出给显示器160，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器140的输出还可发送给图像存储器130，且显示器160可从图像存储器130读取图像数据。在一个实施例中，图像存储器130可被配置为实现一个或多个帧缓冲器。

ISP处理器140确定的统计数据可发送给控制逻辑器150单元。例如，统计数据可包括陀螺仪的振动频率、自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜112阴影校正等图像传感器114统计信息。控制逻辑器150可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备110的控制参数及ISP处理器140的控制参数。例如，成像设备110的控制参数可包括姿态传感器120控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、照相机防抖位移参数、透镜112控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜112阴影校正参数。

在一个实施例中，通过成像设备(照相机)110中的透镜112和图像传感器114获取原始图像，并将原始图像发送至ISP处理器140。ISP处理器140接收到原始图像后，将原始图像作为待识别图像，对待识别图像进行主体识别，得到主体区域。ISP处理器140检测主体区域是否满足预设要求，当主体区域不满足预设要求时，基于主体区域，从原始图像中获取迭代图像；迭代图像包含主体区域。ISP处理器140再将迭代图像作为待识别图像，迭代执行对待识别图像进行主体识别，得到主体区域步骤。当ISP处理器140检测到主体识别得到的主体区域满足预设要求时，将满足预设要求的主体区域作为目标主体区域，并将目标主体区域发送至控制逻辑器150。迭代进行主体识别，可以获取到满足预设要求的主体区域，提高了主体识别的准确性。

在另一个实施例中，ISP处理器140统计主体识别的迭代次数，当迭代次数达到数量阈值时，将最后一次迭代得到的主体区域作为目标主体区域，并将目标主体区域发送至控制逻辑器150。

控制逻辑器150接收到目标主体区域后，可以控制成像设备110中的透镜112进行移动，使得透镜112对焦至目标主体区域对应的位置上，获取目标主体区域对应的对象更清晰的图像。

图2为一个实施例中主体识别方法的流程图。如图2所示，主体识别方法包括步骤202至步骤210。

步骤202，获取原始图像。

原始图像可以是RGB(Red，Green，Blue)图像、灰度图像、深度图像等其中的任意一种。

在本申请提供的实施例中，原始图像可以通过电子设备拍摄得到。电子设备可以设置摄像头，设置的摄像头的数量可以是一个或者多个。例如，设置1个、2个、3个、5个等，在此不做限定。摄像头设置于电子设备的形式不限，例如，可以是内置于电子设备的摄像头，也可以外置于电子设备的摄像头；可以是前置摄像头，也可以是后置摄像头。

电子设备上的摄像头可以为任意类型的摄像头。例如，摄像头可以是彩色摄像头、黑白摄像头、深度摄像头、长焦摄像头、广角摄像头等，不限于此。

相对应地，通过彩色摄像头获取彩色图像，即RGB图像，通过黑白摄像头获取灰度图像，通过深度摄像头获取深度图像，通过长焦摄像头获取长焦图像，通过广角摄像头获取广角图像，不限于此。电子设备中的摄像头可以是相同类型的摄像头，也可以是不同类型的摄像头。例如，可以均是彩色摄像头，也可以均是黑白摄像头；可以其中的一个摄像头为长焦摄像头，其他的摄像头为广角摄像头，不限于此。

步骤204，将原始图像作为待识别图像，对待识别图像进行主体识别，得到主体区域。

待识别图像指的是将用于主体识别的图像。主体区域指的是通过主体识别得到的包含主体的区域。

其中，主体识别(salient object detection)是指面对一个场景时，自动地对感兴趣区域进行处理而选择性的忽略不感兴趣区域。感兴趣区域称为主体区域。在一个实施例中，可以结合神经网络对待识别图像进行主体识别。

其中，主体是指各种对象，如人、花、猫、狗、牛、蓝天、白云、背景等。

在一个实施例中，对待识别图像进行主体识别，得到主体区域，包括：当对待识别图像进行主体识别，得到至少两个候选主体区域时，获取各个候选主体区域的面积；将面积最大的候选主体区域作为主体区域。

一般地，面积最大的主体区域为用户进行拍摄的对象。因此，将面积最大的候选主体区域作为主体区域，可以提高主体检测的准确性。

步骤206，当主体区域不满足预设要求时，基于主体区域，从原始图像中获取迭代图像；迭代图像包含主体区域。

在本申请中并不限定具体的预设要求，预设要求可以根据用户需要进行设定。例如，预设要求可以是连续的预设数量的主体区域的差异度小于差异度阈值，也可以是主体区域的面积大于面积阈值，还可以是主体区域的位置处于原始图像中的预设范围内，不限于此。

迭代图像指的是基于主体区域获取的包含主体区域，并且用于迭代主体识别的图像。一般地，迭代图像的面积大于主体区域。

具体地，当主体区域不满足预设要求时，可以将主体区域映射至原始图像中，从原始图像获取包含主体区域的迭代图像。迭代图像可以基于主体区域的轮廓向外扩张一定的距离，例如，在主体区域的轮廓的基础上再向外扩张10mm的距离，得到迭代图像。迭代图像也可以基于主体区域的轮廓框选得到。例如，主体区域为不规则图形，基于主体区域的轮廓框选得到矩形区域，该矩形区域即迭代图像。

步骤208，将迭代图像作为待识别图像，迭代执行对待识别图像进行主体识别，得到主体区域步骤。

将迭代图像作为待识别图像，迭代执行对待识别图像进行主体识别，得到主体区域步骤，即再将迭代图像进行主体识别，得到下一个主体区域；判断得到的下一个主体区域是否满足预设要求。当得到的下一个主体区域仍然不满足预设要求时，再基于该下一个主体区域，从原始图像中获取下一个迭代图像，依次循环。

步骤210，当主体区域满足预设要求，将满足预设要求的主体区域作为目标主体区域。

目标主体区域指的是满足预设要求的主体区域。

在一个实施例中，上述方法还包括：对焦至目标主体区域，获取目标图像。

获取目标主体区域之后，可以对焦至目标主体区域，获取目标主体区域对应的对象更清晰的目标图像。

上述主体识别方法，获取原始图像；将原始图像作为待识别图像，对待识别图像进行主体识别，得到主体区域；当主体区域不满足预设要求时，基于主体区域，从原始图像中获取迭代图像；迭代图像包含主体区域；将迭代图像作为待识别图像，迭代执行对待识别图像进行主体识别，得到主体区域步骤；也就是说，当主体区域不满足预设要求时，获取包含主体区域的更大的迭代图像进行主体识别，得到另一个主体区域，直到当主体区域满足预设要求，将满足预设要求的主体区域作为目标主体区域。迭代进行主体识别，可以获取到满足预设要求的主体区域，提高了主体识别的准确性。

在一个实施例中，当主体区域不满足预设要求时，基于主体区域，从原始图像中获取迭代图像，包括：当主体区域不满足预设要求时，基于主体区域，获取扩张范围；根据扩张范围从原始图像中获取迭代图像。

扩张范围指的是主体区域向外扩张的范围。例如，当主体区域不满足预设要求时，则扩张范围可以是包含主体区域的矩形框，也可以是包含主体区域的圆形框，还可以是包含主体区域的不规则框，不限于此。

具体地，获取到扩张范围之后，可以从原始图像中获取扩张范围所对应的区域作为迭代图像。

在本实施例中，当主体区域不满足预设要求时，基于主体区域，获取扩张范围；根据扩张范围可以从原始图像中获取更加准确的迭代图像。

在一个实施例中，如图3所示，当主体区域不满足预设要求时，基于主体区域，获取扩张范围，包括：

步骤302，当主体区域不满足预设要求时，确定主体区域的面积占原始图像的面积的比例。

具体地，获取主体区域的面积和原始图像的面积，将主体区域的面积除以原始图像的面积，可以得到主体区域的面积占原始图像的面积的比例。例如，主体区域的面积为50，原始图像的面积为500，则主体区域的面积占原始图像的面积的比例为50/500＝1/10。

在另一个实施例中，当主体区域不满足预设要求时，可以获取主体区域所包含像素点的数量，以及原始图像所包含像素点的数量，确定主体区域所包含像素点的数量占原始图像所包含像素点的数量的比例，将该比例作为主体区域的面积占原始图像的面积的比例。

可以理解的是，在同一个图像中所获取的区域的分辨率是一样的，因此获取的区域越大，则该区域所包含的像素点的数量越多，可以用该区域所包含的像素点的数量表示该区域的面积大小。

具体地，获取主体区域所包含像素点的数量，以及原始图像所包含像素点的数量，将主体区域所包含像素点的数量除以原始图像所包含像素点的数量，得到的比例作为主体区域的面积占原始图像的面积的比例。

例如，主体区域所包含像素点的数量为100个，以及原始图像所包含像素点的数量为500个，则体区域所包含像素点的数量占原始图像所包含像素点的数量的比例为100/500＝1/5，即主体区域的面积占原始图像的面积的比例为1/5。

步骤304，当比例大于比例阈值时，获取第一扩张范围。

比例阈值可以根据用户需要进行设定，并不限定。第一扩张范围指的是当比例大于比例阈值时获取的主体区域向外扩张的范围。

可以理解的是，当比例大于比例阈值时，表示主体区域的面积占原始图像的面积的比例较大，则第一扩张范围可以是包含主体区域的较小的范围。

根据扩张范围从原始图像中获取迭代图像，包括；

步骤306，根据第一扩张范围从原始图像中获取迭代图像。

具体地，获取到第一扩张范围之后，可以从原始图像中获取第一扩张范围所对应的区域作为迭代图像。

在本实施例中，当主体区域不满足预设要求时，确定主体区域的面积占原始图像的面积的比例，当比例大于比例阈值时，即当主体区域的面积较大时，获取第一扩张范围，根据第一扩张范围从原始图像中获取迭代图像。

在一个实施例中，当比例小于或等于比例阈值时，获取第二扩张范围；第二扩张范围大于第一扩张范围。根据扩张范围从原始图像中获取迭代图像，包括；根据第二扩张范围从原始图像中获取迭代图像。

第二扩张范围指的是当比例小于或等于比例阈值时获取的主体区域向外扩张的范围。

可以理解的是，当比例小于或等于比例阈值时，表示主体区域的面积占原始图像的面积的比例较小，则第二扩张范围可以是包含主体区域的较大的范围。

具体地，获取到第二扩张范围之后，可以从原始图像中获取第二扩张范围所对应的区域作为迭代图像。

在本实施例中，当比例小于或等于比例阈值时，即当主体区域的面积较小时，获取较大的第二扩张范围，根据第二扩张范围从原始图像中获取迭代图像。

在一个实施例中，如图4所示，对待识别图像进行主体识别，得到主体区域，包括：

步骤402，对待识别图像进行主体识别，得到至少两个候选区域。

候选区域指的是主体识别得到的候选的主体区域。候选区域可以通过框选得到，即候选区域为矩形区域。候选区域还可以是圆形区域、正方形区域、三角形区域等，不限于此。

步骤404，确定至少两个候选区域的位置信息。

位置信息指的是候选区域在原始图像中的位置的信息。

具体地，获取候选区域所包含的各个像素点的位置；根据各个像素点的位置确定候选区域的质心；候选区域的质心用于表示候选区域的位置信息。

可以理解的是，候选区域中包含了若干个像素点。获取候选区域所包含的各个像素点的位置。

质心指的是质量的中心。各个像素点的位置可以用坐标进行表示。获取各个像素点的位置坐标后，根据各个像素点的位置坐标可以确定候选区域的质心的位置坐标。候选区域的质心的位置坐标可以根据以下公式计算得到：质心的位置坐标为(X，Y)，其中：X＝sum_x/N，Y＝sum_y/N。sum_x指的是候选区域所包含的各个像素点的横坐标之和，sum_y指的是候选区域所包含的各个像素点的纵坐标之和，N指的是候选区域所包含的像素点的数量。

在一个实施例中，获取候选区域所包含的各个像素点的位置，包括：获取候选区域所包含的各个候选像素点；对各个候选像素点进行滤波处理，得到目标像素点；获取各个目标像素点的位置。

候选像素点指的是候选区域所包含的像素点。目标像素点指的是经过滤波处理后得到的像素点。滤波处理可以是高斯滤波、平滑滤波、双边滤波等，不限于此。

可以理解的是，通过主体识别得到的候选区域中可能还包括了一些噪点。因此，对候选区域所包含的各个候选像素点进行滤波处理，滤除噪点，可以提高候选区域的准确性。

在另外一个实施例中，还可以获取候选区域的中心表示候选区域的位置信息，或者获取候选区域的特征点的位置信息作为候选区域的位置信息，不限于此。

步骤406，根据各个候选区域的位置信息从至少两个候选区域中确定主体区域。

获取各个候选区域的位置信息之后，可以将距离原始图像的中心最近的候选区域确定为主体区域。一般地，被拍摄对象通常处于图像的中心区域内，将距离原始图像的中心最近的候选区域确定为主体区域，可以提高确定的主体区域的准确性。

具体地，可以预先获取原始图像的中心的位置信息，将至少两个候选区域的位置信息分别与原始图像的中心的位置信息进行比较，根据比较结果可以获取距离原始图像的中心最近的候选区域。

例如，原始图像的中心的位置信息为(50,50)，候选区域A的位置信息用(40,30)进行表示，候选区域B的位置信息用(20,50)进行表示，候选区域C的位置信息用(40,40)进行表示，因此，可以采用以下计算公式计算各个候选区域与原始图像的中心的距离：

其中，S为候选区域与原始图像的中心的距离，a₁和b₁分别为一个点的横坐标和纵坐标，a₂和b₂分别为另一个点的横坐标和纵坐标。

因此，候选区域A与原始图像的中心的距离为

候选区域B与原始图像的中心的距离为

候选区域C与原始图像的中心的距离为

则

候选区域C距离原始图像的中心最近，将候选区域C确定为主体区域。

在另一个实施例中，也可以将距离原始图像的中心次近的候选区域确定为主体区域，不限于此。

上述主体识别方法，对待识别图像进行主体识别，得到至少两个候选区域，根据至少两个候选区域的位置信息，从至少两个候选区域中确定主体区域，提高了确定的主体区域的准确性。

在一个实施例中，预设要求包括：连续的预设数量的主体区域的差异度小于差异度阈值。

差异度指的是差异程度。预设数量可以根据用户需要进行设定，例如预设数量为2，表示连续获取的2个主体区域；预设数量为4，表示连续获取的4个主体区域。当连续的预设数量的主体区域的差异度小于差异度阈值时，表示每次识别到的主体区域较稳定，满足预设要求，可以将该主体区域作为目标主体区域。

具体地，将每一次得到的主体区域与上一次得到的主体区域进行比较，得到各个子差异度；当各个子差异度均小于差异度阈值时，即满足预设要求。

例如，预设数量为2，则将本次主体识别得到的主体区域与上一次主体识别得到的主体进行比较，得到子差异度。当该子差异度小于差异度阈值时，表示本次主体识别得到的主体区域满足预设要求。

又如，预设数量为4，本次主体识别为迭代的第4次主体识别，将第4次主体识别得到的主体区域与第3次主体识别得到的主体区域进行比较，得到子差异度；将第3次主体识别得到的主体区域与第2次主体识别得到的主体区域进行比较，得到子差异度；将第2次主体识别得到的主体区域与第1次主体识别得到的主体区域进行比较，得到子差异度；当得到的3个子差异度均小于差异度阈值时，则第4次主体识别得到的主体区域满足预设要求。

在本实施例中，当连续的预设数量的主体区域的差异度小于差异度阈值时，最后一次主体识别得到的主体区域满足预设要求，可以提高主体识别得到的主体区域的稳定性。

在另一个实施例中，当连续的预设数量的主体区域的差异度大于或等于差异度阈值时，即最后一次主体识别得到的主体区域不满足预设要求，执行基于主体区域，从原始图像中获取迭代图像步骤。

在一个实施例中，上述方法还包括：当迭代次数达到数量阈值时，将最后一次迭代得到的主体区域作为目标主体区域。

可以理解的是，主体识别需要花费一定的时间以及一定的计算机资源。当迭代次数达到数量阈值时，最后一次主体识别得到的主体区域仍不满足预设要求，则将最后一次迭代得到的主体区域作为目标主体区域，从而节约计算机资源。

在一个实施例中，如图5所示，获取原始图像502；将原始图像502作为待识别图像，对待识别图像执行步骤504，即对待识别图像进行主体识别，得到主体区域506。判断该主体区域506是否满足预设要求，或者主体识别的迭代次数是否达到数量阈值。当否时，基于主体区域506，从原始图像中获取迭代图像；将迭代图像作为待识别图像，迭代执行对待识别图像进行主体识别，得到主体区域步骤；当是时，即主体区域506满足预设要求或者主体识别的迭代次数达到数量阈值，则将主体区域506作为目标主体区域510。基于目标主体区域510进行对焦，可以获取目标主体区域对应的对象更加清晰的目标图像512。

在一个实施例中，如图6所示，对待识别图像进行主体识别，得到主体区域，包括：

步骤602，生成与待识别图像对应的中心权重图，其中，中心权重图所表示的权重值从中心到边缘逐渐减小。

其中，中心权重图是指用于记录待识别图像中各个像素点的权重值的图。中心权重图中记录的权重值从中心向四边逐渐减小，即中心权重最大，向四边权重逐渐减小。通过中心权重图表征待识别图像的图像中心像素点到图像边缘像素点的权重值逐渐减小。

ISP处理器或中央处理器可以根据待识别图像的大小生成对应的中心权重图。该中心权重图所表示的权重值从中心向四边逐渐减小。中心权重图可采用高斯函数、或采用一阶方程、或二阶方程生成。该高斯函数可为二维高斯函数。

步骤604，将待识别图像和中心权重图输入到主体识别模型中，得到主体区域置信度图，其中，主体识别模型是预先根据同一场景的待识别图像、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型。

其中，主体识别模型是预先采集大量的训练数据，将训练数据输入到包含有初始网络权重的主体识别模型进行训练得到的。每组训练数据包括同一场景对应的待识别图像、中心权重图及已标注的主体掩膜图。其中，待识别图像和中心权重图作为训练的主体识别模型的输入，已标注的主体掩膜(mask)图作为训练的主体识别模型期望输出得到的真实值(ground truth)。主体掩膜图是用于识别图像中主体的图像滤镜模板，可以遮挡图像的其他部分，筛选出图像中的主体。主体识别模型可训练能够识别检测各种主体，如人、花、猫、狗、背景等。

具体地，ISP处理器或中央处理器可将该待识别图像和中心权重图输入到主体识别模型中，进行检测可以得到主体区域置信度图。主体区域置信度图是用于记录主体属于哪种能识别的主体的概率，例如某个像素点属于人的概率是0.8，花的概率是0.1，背景的概率是0.1。

步骤606，根据主体区域置信度图确定待识别图像中的主体区域。

其中，主体是指各种对象，如人、花、猫、狗、牛、蓝天、白云、背景等。

具体地，ISP处理器或中央处理器可根据主体区域置信度图选取置信度最高或次高等作为待识别图像中的主体，若存在一个主体，则将该主体作为主体区域；若存在多个主体，可根据需要选择其中一个或多个主体作为主体区域。

本实施例中的图像处理方法，生成与待识别图像对应的中心权重图后，将待识别图像和中心权重图输入到对应的主体识别模型中检测，可以得到主体区域置信度图，根据主体区域置信度图可以确定得到待识别图像中的主体区域，利用中心权重图可以让图像中心的对象更容易被检测，利用训练好的利用待识别图像、中心权重图和主体掩膜图等训练得到的主体识别模型，可以更加准确的识别出待识别图像中的主体区域。

应该理解的是，虽然图2至图4、以及图6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2至图4、以及图6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图7为一个实施例的主体识别装置的结构框图。如图7所示，提供了一种主体识别装置700，包括：原始图像获取模块702、主体识别模块704、迭代图像获取模块706、迭代模块708和目标主体区域获取模块710，其中：

原始图像获取模块702，用于获取原始图像。

主体识别模块704，用于将原始图像作为待识别图像，对待识别图像进行主体识别，得到主体区域。

迭代图像获取模块706，用于当主体区域不满足预设要求时，基于主体区域，从原始图像中获取迭代图像；迭代图像包含主体区域。

迭代模块708，用于将迭代图像作为待识别图像，迭代执行对待识别图像进行主体识别，得到主体区域步骤。

目标主体区域获取模块710，用于当主体区域满足预设要求，将满足预设要求的主体区域作为目标主体区域。

上述主体识别装置，获取原始图像；将原始图像作为待识别图像，对待识别图像进行主体识别，得到主体区域；当主体区域不满足预设要求时，基于主体区域，从原始图像中获取迭代图像；迭代图像包含主体区域；将迭代图像作为待识别图像，迭代执行对待识别图像进行主体识别，得到主体区域步骤；也就是说，当主体区域不满足预设要求时，获取包含主体区域的更大的迭代图像进行主体识别，得到另一个主体区域，直到当主体区域满足预设要求，将满足预设要求的主体区域作为目标主体区域。迭代进行主体识别，可以获取到满足预设要求的主体区域，提高了主体识别的准确性。

在一个实施例中，上述迭代图像获取模块706还用于当主体区域不满足预设要求时，基于主体区域，获取扩张范围；根据扩张范围从原始图像中获取迭代图像。

在一个实施例中，上述迭代图像获取模块706还用于当主体区域不满足预设要求时，确定主体区域的面积占原始图像的面积的比例；当比例大于比例阈值时，获取第一扩张范围。根据扩张范围从原始图像中获取迭代图像，包括；根据第一扩张范围从原始图像中获取迭代图像。

在一个实施例中，上述迭代图像获取模块706还用于当比例小于或等于比例阈值时，获取第二扩张范围；第二扩张范围大于第一扩张范围。根据扩张范围从原始图像中获取迭代图像，包括；根据第二扩张范围从原始图像中获取迭代图像。

在一个实施例中，上述主体识别模块704还用于对待识别图像进行主体识别，得到至少两个候选区域；确定至少两个候选区域的位置信息；根据各个候选区域的位置信息从至少两个候选区域中确定主体区域。

在一个实施例中，上述预设要求包括：连续的预设数量的主体区域的差异度小于差异度阈值。

在一个实施例中，上述主体识别装置700还包括统计模块，用于统计迭代次数；当迭代次数达到数量阈值时，将最后一次迭代得到的主体区域作为目标主体区域。

在一个实施例中，上述主体识别模块704还用于生成与待识别图像对应的中心权重图，其中，中心权重图所表示的权重值从中心到边缘逐渐减小；将待识别图像和中心权重图输入到主体识别模型中，得到主体区域置信度图，其中，主体识别模型是预先根据同一场景的待识别图像、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型；根据主体区域置信度图确定待识别图像中的主体区域。

上述主体识别装置中各个模块的划分仅用于举例说明，在其他实施例中，可将主体识别装置按照需要划分为不同的模块，以完成上述主体识别装置的全部或部分功能。

图8为一个实施例中电子设备的内部结构示意图。如图8所示，该电子设备包括通过***总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作***和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种主体识别方法。内存储器为非易失性存储介质中的操作***计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

本申请实施例中提供的主体识别装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行主体识别方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行主体识别方法。

本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种主体识别方法，其特征在于，包括：

获取原始图像；

将所述原始图像作为待识别图像，对所述待识别图像进行主体识别，得到主体区域；

当所述主体区域不满足预设要求时，基于所述主体区域，从所述原始图像中获取迭代图像；所述迭代图像包含所述主体区域；

将所述迭代图像作为待识别图像，迭代执行所述对所述待识别图像进行主体识别，得到主体区域步骤；

当所述主体区域满足预设要求，将满足预设要求的所述主体区域作为目标主体区域；

所述对所述待识别图像进行主体识别，得到主体区域，包括：

生成与所述待识别图像对应的中心权重图，其中，所述中心权重图所表示的权重值从中心到边缘逐渐减小；

将所述待识别图像和所述中心权重图输入到主体识别模型中，得到主体区域置信度图，其中，所述主体识别模型是预先根据同一场景的待识别图像、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型；

根据所述主体区域置信度图确定所述待识别图像中的主体区域。

2.根据权利要求1所述的方法，其特征在于，所述当所述主体区域不满足预设要求时，基于所述主体区域，从所述原始图像中获取迭代图像，包括：

当所述主体区域不满足预设要求时，基于所述主体区域，获取扩张范围；

根据所述扩张范围从所述原始图像中获取迭代图像。

3.根据权利要求2所述的方法，其特征在于，所述当所述主体区域不满足预设要求时，基于所述主体区域，获取扩张范围，包括：

当所述主体区域不满足预设要求时，确定所述主体区域的面积占所述原始图像的面积的比例；

当所述比例大于比例阈值时，获取第一扩张范围；

所述根据所述扩张范围从所述原始图像中获取迭代图像，包括；

根据所述第一扩张范围从所述原始图像中获取迭代图像。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

当所述比例小于或等于比例阈值时，获取第二扩张范围；所述第二扩张范围大于所述第一扩张范围；

所述根据所述扩张范围从所述原始图像中获取迭代图像，包括；

根据所述第二扩张范围从所述原始图像中获取迭代图像。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述待识别图像进行主体识别，得到至少两个候选区域；

确定至少两个所述候选区域的位置信息；

根据各个所述候选区域的位置信息从所述至少两个候选区域中确定主体区域。

6.根据权利要求1所述的方法，其特征在于，所述预设要求包括：

连续的预设数量的主体区域的差异度小于差异度阈值。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述迭代次数达到数量阈值时，将最后一次迭代得到的主体区域作为目标主体区域。

8.一种主体识别装置，其特征在于，包括：

原始图像获取模块，用于获取原始图像；

主体识别模块，用于将所述原始图像作为待识别图像，对所述待识别图像进行主体识别，得到主体区域；

迭代图像获取模块，用于当所述主体区域不满足预设要求时，基于所述主体区域，从所述原始图像中获取迭代图像；所述迭代图像包含所述主体区域；

迭代模块，用于将所述迭代图像作为待识别图像，迭代执行所述对所述待识别图像进行主体识别，得到主体区域步骤；

目标主体区域获取模块，用于当所述主体区域满足预设要求，将满足预设要求的所述主体区域作为目标主体区域；

所述主体识别模块还用于生成与所述待识别图像对应的中心权重图，其中，所述中心权重图所表示的权重值从中心到边缘逐渐减小；将所述待识别图像和所述中心权重图输入到主体识别模型中，得到主体区域置信度图，其中，所述主体识别模型是预先根据同一场景的待识别图像、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型；根据所述主体区域置信度图确定所述待识别图像中的主体区域。

9.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的主体识别方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。

Images