CN108875932A - 图像识别方法、装置和***及存储介质 - Google Patents

图像识别方法、装置和***及存储介质 Download PDF

Info

Publication number
CN108875932A
CN108875932A CN201810161994.3A CN201810161994A CN108875932A CN 108875932 A CN108875932 A CN 108875932A CN 201810161994 A CN201810161994 A CN 201810161994A CN 108875932 A CN108875932 A CN 108875932A
Authority
CN
China
Prior art keywords
network
attribute
image
branches
object properties
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810161994.3A
Other languages
English (en)
Inventor
周舒畅
何蔚然
谢广增
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201810161994.3A priority Critical patent/CN108875932A/zh
Publication of CN108875932A publication Critical patent/CN108875932A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种图像识别方法、装置和***以及存储介质。图像识别方法包括:获取目标对象的待识别图像;将待识别图像输入属性识别网络中的共享特征提取网络,以提取待识别图像的共享图像特征;以及将共享图像特征输入属性识别网络中的属性信息预测网络,以获得属性信息预测网络输出的与目标对象的n个对象属性一一对应的目标属性信息,其中,n为大于或等于2的整数。根据本发明实施例的图像识别方法、装置和***以及存储介质,采用共享特征提取网络提取待识别图像的共享图像特征,多种不同的对象属性的预测流程可以共享该共享特征提取网络的网络参数,这样做可以大大减少神经网络的参数量,减小数据的计算量。

Description

图像识别方法、装置和***及存储介质
技术领域
本发明涉及图像识别领域,更具体地涉及一种图像识别方法、装置和***以及存储介质。
背景技术
神经网络在图像识别、语音识别等领域中已经有了广泛且成功的应用。目前利用神经网络对一张对象图像(例如人脸图像)进行多属性识别的一般方法是:将图像输入多个已经训练好的神经网络,每个神经网络对应于一个特定的对象属性,每个神经网络用于预测对应对象属性的属性信息。有时需要识别的对象属性可能有很多种,每个对象属性都需要训练一个神经网络,此时所需要的计算资源是非常多的,将这样的属性识别方案部署在一些硬件上可能会变得非常困难。
发明内容
考虑到上述问题而提出了本发明。本发明提供了一种图像识别方法、装置和***以及存储介质。
根据本发明一方面,提供了一种图像识别方法。图像识别方法包括:获取目标对象的待识别图像;将待识别图像输入属性识别网络中的共享特征提取网络,以提取待识别图像的共享图像特征;以及将共享图像特征输入属性识别网络中的属性信息预测网络,以获得属性信息预测网络输出的与目标对象的n个对象属性一一对应的目标属性信息,其中,n为大于或等于2的整数。
示例性地,属性信息预测网络包括与n个对象属性一一对应的n个网络分支,n个网络分支中的每一个包括专用特征提取网络和属性预测器,将共享图像特征输入属性识别网络中的属性信息预测网络,以获得属性信息预测网络输出的与目标对象的n个对象属性一一对应的目标属性信息包括:将共享图像特征分别输入n个网络分支中的专用特征提取网络,以获得与n个网络分支分别对应的专用图像特征;对于n个网络分支中的k个网络分支中的每一个,将来自至少一个其他网络分支的分支特征与该网络分支所对应的专用图像特征进行合并,以获得与该网络分支相对应的合并特征,其中,k为小于或等于n的整数,至少一个其他网络分支中的每个网络分支所对应的分支特征为该网络分支所对应的专用图像特征或该网络分支所对应的合并特征;将k个网络分支所对应的合并特征分别输入k个网络分支中的k个属性预测器,并将n个网络分支中的剩余网络分支所对应的专用图像特征分别输入剩余网络分支中的属性预测器,以获得由n个属性预测器分别输出的目标属性信息。
示例性地,对于n个网络分支中的k个网络分支中的每一个,将来自至少一个其他网络分支的分支特征与该网络分支所对应的专用图像特征进行合并,以获得与该网络分支相对应的合并特征包括:对于k个网络分支中的每一个,通过信道拼接的方式,将来自至少一个其他网络分支的分支特征与该网络分支所对应的专用图像特征进行合并,以获得与该网络分支相对应的合并特征。
示例性地,属性信息预测网络包括m个专用特征提取网络和n个属性预测器,m为大于或等于2的整数,n个属性预测器与n个对象属性一一对应,每个属性预测器用于预测对应对象属性的目标属性信息,将共享图像特征输入属性识别网络中的属性信息预测网络,以获得属性信息预测网络输出的与目标对象的n个对象属性一一对应的目标属性信息包括:将共享图像特征分别输入m个专用特征提取网络,以获得由m个专用特征提取网络分别输出的专用图像特征;将m个专用特征提取网络中的每一个输出的专用图像特征输入与该专用特征提取网络连接的属性预测器,以获得由n个属性预测器分别输出的目标属性信息。
示例性地,n个对象属性根据预设规则划分为m个属性组,m个属性组与m个专用特征提取网络一一对应,m个专用特征提取网络中的每一个与对应属性组中的对象属性所对应的属性预测器连接。
示例性地,m等于n,m个专用特征提取网络和n个属性预测器一一对应连接。
示例性地,属性信息预测网络包括n个属性预测器,n个属性预测器与n个对象属性一一对应,每个属性预测器用于预测对应对象属性的目标属性信息,将共享图像特征输入属性识别网络中的属性信息预测网络,以获得属性信息预测网络输出的与目标对象的n个对象属性一一对应的目标属性信息包括:将共享图像特征分别输入n个属性预测器,以获得由n个属性预测器分别输出的目标属性信息。
示例性地,对象属性包括以下项中的一项或多项:对象性别、对象年龄、对象身高、对象衣服颜色、对象五官相对位置、对象所在的对象框、对象是否戴有眼镜、对象是否戴有口罩、对象是否戴有帽子。
示例性地,方法还包括:获取样本图像和对应的标注数据,标注数据包括与样本图像中的样本对象的n个对象属性一一对应的样本属性信息;将样本图像输入属性识别网络,以获得属性识别网络输出的、与样本对象的n个对象属性一一对应的训练属性信息;以及根据样本对象的n个对象属性的样本属性信息和训练属性信息以及预先构建的属性识别网络的网络损失函数,对属性识别网络进行训练。
示例性地,网络损失函数包括与n个对象属性一一对应的n个子损失函数,根据样本对象的n个对象属性的样本属性信息和训练属性信息以及预先构建的属性识别网络的网络损失函数,对属性识别网络进行训练包括:对于样本对象的n个对象属性中的每一个,根据该对象属性的样本属性信息和训练属性信息计算该对象属性对应的子损失函数的损失值;计算n个子损失函数的损失值的平均值作为网络损失函数的损失值;以及更新属性识别网络以最小化网络损失函数的损失值。
根据本发明另一方面,提供了一种图像识别装置,包括:目标获取模块,用于获取目标对象的待识别图像;特征提取模块,用于将待识别图像输入属性识别网络中的共享特征提取网络,以提取待识别图像的共享图像特征;以及属性预测模块,用于将共享图像特征输入属性识别网络中的属性信息预测网络,以获得属性信息预测网络输出的与目标对象的n个对象属性一一对应的目标属性信息,其中,n为大于或等于2的整数。
根据本发明另一方面,提供了一种图像识别***,包括处理器和存储器,其中,所述存储器中存储有计算机程序指令,所述计算机程序指令被所述处理器运行时用于执行上述图像识别方法。
根据本发明另一方面,提供了一种存储介质,在所述存储介质上存储了程序指令,所述程序指令在运行时用于执行上述图像识别方法。
根据本发明实施例的图像识别方法、装置和***以及存储介质,采用共享特征提取网络提取待识别图像的共享图像特征,多种不同的对象属性的预测流程可以共享该共享特征提取网络的网络参数,无需针对每个对象属性训练单独的神经网络,这样做可以大大减少神经网络的参数量,减小数据的计算量,提高图像处理速度。
附图说明
通过结合附图对本发明实施例进行更详细的描述,本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解,并且构成说明书的一部分,与本发明实施例一起用于解释本发明,并不构成对本发明的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1示出用于实现根据本发明实施例的图像识别方法和装置的示例电子设备的示意性框图;
图2示出根据本发明一个实施例的图像识别方法的示意性流程图;
图3示出根据本发明一个实施例的图像识别流程的示意图;
图4示出根据本发明一个另实施例的图像识别流程的示意图;
图5示出根据本发明一个实施例的图像识别装置的示意性框图;以及
图6示出根据本发明一个实施例的图像识别***的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本发明的示例实施例。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
为了解决上述问题,本发明实施例提供了一种图像识别方法、装置和***以及存储介质。根据本发明实施例,采用同一共享特征提取网络提取输入图像的共享图像特征,每个对象属性的预测都基于该共享图像特征而不是原始图像。因此,对于多属性识别任务来说,不同对象属性的预测流程可以共享大部分网络结构,即共享大量网络参数,而不用针对每个对象属性训练单独的神经网络,这样做可以大大减小数据的计算量。相对于现有的用于多属性识别的神经网络来说,属性识别网络的训练速度以及图像处理速度都可以大大提高。根据本发明实施例的图像识别方法和装置可以应用于任何需要对对象属性进行识别的领域,例如人脸识别、文字识别、行人检测、车辆检测等等。
首先,参照图1来描述用于实现根据本发明实施例的图像识别方法和装置的示例电子设备100。
如图1所示,电子设备100包括一个或多个处理器102、一个或多个存储装置104。可选地,电子设备100还可以包括输入装置106、输出装置108、以及图像采集装置110,这些组件通过总线***112和/或其它形式的连接机构(未示出)互连。应当注意,图1所示的电子设备100的组件和结构只是示例性的,而非限制性的,根据需要,所述电子设备也可以具有其他组件和结构。
所述处理器102可以采用数字信号处理(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)中的至少一种硬件形式来实现,所述处理器102可以是中央处理单元(CPU)、图像处理器(GPU)、专用的集成电路(ASIC)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元中的一种或几种的组合,并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器102可以运行所述程序指令,以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如用户)输出各种信息(例如图像和/或声音),并且可以包括显示器、扬声器等中的一个或多个。可选地,所述输入装置106和所述输出装置108可以集成在一起,采用同一交互装置(例如触摸屏)实现。
所述图像采集装置110可以采集待识别图像(可以是静态图像或视频帧),并且将所采集的图像存储在所述存储装置104中以供其它组件使用。图像采集装置110可以是单独的相机或移动终端中的摄像头。应当理解,图像采集装置110仅是示例,电子设备100可以不包括图像采集装置110。在这种情况下,可以利用其他具有图像采集能力的器件采集待识别图像,并将采集的图像发送给电子设备100。
示例性地,用于实现根据本发明实施例的图像识别方法和装置的示例电子设备可以在诸如个人计算机或远程服务器等的设备上实现。
下面,将参考图2描述根据本发明实施例的图像识别方法。图2示出根据本发明一个实施例的图像识别方法200的示意性流程图。如图2所示,图像识别方法200包括以下步骤S210、S220和S230。
在步骤S210,获取目标对象的待识别图像。
本实施例所述的目标对象可以是任何物体,包括但不限于:文字、特定图案、人或人体的一部分(诸如人脸)、动物、车辆、建筑物等。待识别图像可以是任何需要识别目标对象的对象属性的图像。
待识别图像可以是静态图像,也可以是视频中的视频帧。待识别图像可以是图像采集装置采集到的原始图像,也可以是对原始图像进行预处理(诸如数字化、归一化、平滑等)之后获得的图像。
在步骤S220,将待识别图像输入属性识别网络中的共享特征提取网络,以提取待识别图像的共享图像特征。
示例性地,可以将待识别图像提取为张量的形式,获得图像张量,该图像张量可以代表待识别图像。将待识别图像输入属性识别网络,可以是将上述图像张量输入属性识别网络。
属性识别网络包括依次连接的共享特征提取网络和属性信息预测网络。待识别图像输入共享特征提取网络,属性信息预测网络输出所需的属性信息。
共享特征提取网络可以包括特定数目的卷积层和池化层,共享特征提取网络可以输出若干特征图(feature map)作为共享图像特征。共享特征提取网络的参数由n个对象属性的预测流程共享。共享特征提取网络的网络结构可以预先设定,并且可以随着属性识别网络的训练进行调整。例如,共享特征提取网络的卷积层的数目、池化层的数目、卷积层和池化层的连接顺序、每个卷积层的卷积核的长和宽、每个池化层的步长等数据均可以调整。
在步骤S230,将共享图像特征输入属性识别网络中的属性信息预测网络,以获得属性信息预测网络输出的与目标对象的n个对象属性一一对应的目标属性信息,其中,n为大于或等于2的整数。
示例性地,对象属性可以包括以下项中的一项或多项:对象性别、对象年龄、对象身高、对象衣服颜色、对象五官相对位置、对象所在的对象框、对象是否戴有眼镜、对象是否戴有口罩、对象是否戴有帽子。每个对象属性具有对应的属性信息。为与下文所述的训练过程中的样本对象的属性信息进行区分,将待识别图像中的目标对象的属性信息称为目标属性信息。
例如,在对象属性为对象性别的情况下,对应的属性信息为对象性别是男或女的结果。在对象属性为对象是否戴有眼镜的情况下,对应的属性信息为对象戴有眼镜或未戴有眼镜的结果。其余对象属性及属性信息不再一一赘述。
示例性地,属性信息预测网络包括n个属性预测器,n个属性预测器与n个对象属性一一对应,每个属性预测器用于预测对应对象属性的目标属性信息,将共享图像特征输入属性识别网络中的属性信息预测网络,以获得属性信息预测网络输出的与目标对象的n个对象属性一一对应的目标属性信息包括:将共享图像特征分别输入n个属性预测器,以获得由n个属性预测器分别输出的目标属性信息。
在一个示例中,属性信息预测网络可以包括与n个对象属性一一对应的n个属性预测器,每个属性预测器用于预测对应对象属性的目标属性信息。可选地,共享特征提取网络可以直接与n个属性预测器连接。可以将共享图像特征分别输入n个属性预测器中进行各对象属性的预测。示例性而非限制性地,属性预测器可以是分类器或回归器。例如,属性预测器可以包括一个或多个全连接层。示例性地,属性预测器还可以包括一个或多个卷积层和/或一个或多个池化层。根据对象属性的类别,属性预测器可以选择对应的网络结构实现。例如,在对象属性为对象性别的情况下,对应的属性识别任务为分类任务,在这种情况下,可以用分类器作为属性预测器。又例如,在对象属性为对象五官相对位置的情况下,对应的属性识别任务为关键点定位任务,在这种情况下,可以用回归器作为属性预测器。
在另一个示例中,属性信息预测网络可以包括m个专用特征提取网络和n个属性预测器,m为大于或等于2的整数,n个属性预测器与n个对象属性一一对应,每个属性预测器用于预测对应对象属性的目标属性信息。在这种情况下,步骤S230可以包括:将共享图像特征分别输入m个专用特征提取网络,以获得由m个专用特征提取网络分别输出的专用图像特征;将m个专用特征提取网络中的每一个输出的专用图像特征输入与该专用特征提取网络连接的属性预测器,以获得由n个属性预测器分别输出的目标属性信息。
m个专用特征提取网络中的每一个可以与一个或多个属性预测器连接。也就是说,在共享特征提取网络和n个属性预测器之间,还可以具有一定数量的专用特征提取网络。专用特征提取网络可以是浅层网络,浅层网络同样可以包括卷积层、池化层和全连接层等层中的一种或多种,只是层数比较少,例如不超过10层。相应地,浅层网络的参数也比较少。利用专用特征提取网络可以进一步提取与一个对象属性或多个相似对象属性比较相关的专用图像特征。与共享图像特征相比,专用图像特征更具有针对性,更有利于从中识别对应对象属性的属性信息。因此,提取专用图像特征的方式可以增加属性预测的准确性,同时由于专用图像特征可以用浅层网络提取,因此并不会增加太大的计算量。
图3示出根据本发明一个实施例的图像识别流程的示意图。如图3所示,首先将输入图像(例如上述待识别图像以及下文将描述的样本图像)输入属性识别网络。属性识别网络中的共享特征提取网络包括图3中所示的用于提取共享图像特征的卷积和池化层,属性信息预测网络包括图3所示的浅层网络(即专用特征提取网络)以及属性预测器。
假设在现有技术中,每个用于识别对象属性的神经网络的参数数目为M个。另外,假设每个神经网络共包括N_1、N_2、N_3三层,其中第N_1层有M_1个参数,第N_2层有M_2个参数,第N_3层共有M_3个参数。由此可知,M_1+M_2+M_3=M,其中,M_1远大于M_2,M_2远大于M_3。假设根据本发明实施例的属性识别网络采用类似现有技术中的神经网络的结构,即共享特征提取网络的结构与现有技术中的神经网络的第N_1层一致,每个专用特征提取网络的结构与现有技术中的神经网络的第N_2层一致,每个属性预测器的结构与现有技术中的神经网络的第N_3层一致。此外,假设共有n种对象属性,n种对象属性分为m组,采用m个专用特征提取网络。可以理解,根据本发明实施例的属性识别网络只需要M_1+m×M_2+n×M_3个参数,其远少于n×M个参数,因此,根据本发明实施例的属性识别网络可以有效地减少参数量,节约计算资源。
根据本发明实施例的图像识别方法,采用共享特征提取网络提取待识别图像的共享图像特征,多种不同的对象属性的预测流程可以共享该共享特征提取网络的网络参数,无需针对每个对象属性训练单独的神经网络,这样做可以大大减少神经网络的参数量,减小数据的计算量,提高图像处理速度。
示例性地,根据本发明实施例的图像识别方法可以在具有存储器和处理器的设备、装置或者***中实现。
根据本发明实施例的图像识别方法可以部署在个人终端处,诸如智能电话、平板电脑、个人计算机等。
替代地,根据本发明实施例的图像识别方法还可以分布地部署在服务器端和客户端处。例如,可以在客户端获取待识别图像(例如在图像采集端采集人脸图像),客户端将获取的图像传送给服务器端(或云端),由服务器端(或云端)进行图像识别。
根据本发明一个实施例,m等于n,m个专用特征提取网络和n个属性预测器一一对应连接。在本实施例中,可以为每个对象属性分配一个单独的专用特征提取网络,专门提取与该对象属性相关的特征(即专用图像特征)。相应地,每个属性预测器可以接收来自其对应的专用特征提取网络输出的专用图像特征,并基于该专用图像特征预测对应的对象属性的属性信息。
根据本发明另一实施例,n个对象属性根据预设规则划分为m个属性组,m个属性组与m个专用特征提取网络一一对应,m个专用特征提取网络中的每一个与对应属性组中的对象属性所对应的属性预测器连接。在本实施例中,对n个对象属性进行分组。示例性地,预设规则可以是由用户基于经验或理论设定好的。例如,如果用于识别两个对象属性的图像特征比较相近,则可以选择将该两个对象属性划分为一组。参见图3,是否戴有眼镜和是否戴有口罩这两个对象属性被划分为一组,由于二者都是判断人脸上是否有遮挡物,这两个对象属性的识别任务比较接近,因此其所需的图像特征可能也比较相近。在这种情况下,可以提取同样的专用图像特征,并用提取的专用图像特征来分别预测是否戴有眼镜和是否戴有口罩。
哪些对象属性所需的图像特征比较接近,哪些对象属性适合被分配到同一组,这可以由用户根据经验或理论设定,本发明不对此进行限制。
一般情况下,将为每个对象属性分配单独的专用特征提取网络的方式与分组后再分配专用特征提取网络的方式相比,前者的准确率更高一些,后者的计算量更小一些,本领域技术人员可以酌情选择合适的方式来提取专用图像特征。
根据本发明实施例,图像识别方法200还可以包括:获取样本图像和对应的标注数据,标注数据可以包括与样本图像中的样本对象的n个对象属性一一对应的样本属性信息;将样本图像输入属性识别网络,以获得属性识别网络输出的、与样本对象的n个对象属性一一对应的训练属性信息;以及根据样本对象的n个对象属性的样本属性信息和训练属性信息以及预先构建的属性识别网络的网络损失函数,对属性识别网络进行训练。
图像识别方法200还可以包括属性识别网络的训练步骤。样本图像可以是任何属性信息已知的图像。样本图像的数目可以根据需要任意设定。本领域技术人员可以理解,样本属性信息是训练属性信息的目标值,网络损失函数可以用于衡量样本属性信息与训练属性信息之间的不一致程度。可以通过优化属性识别网络的参数来最小化网络损失函数直至其收敛,最终可以获得训练好的属性识别网络。
根据本发明实施例,网络损失函数可以包括与n个对象属性一一对应的n个子损失函数,根据样本对象的n个对象属性的样本属性信息和训练属性信息以及预先构建的属性识别网络的网络损失函数,对属性识别网络进行训练可以包括:对于样本对象的n个对象属性中的每一个,根据该对象属性的样本属性信息和训练属性信息计算该对象属性对应的子损失函数的损失值;计算n个子损失函数的损失值的平均值作为网络损失函数的损失值;以及更新属性识别网络以最小化网络损失函数的损失值。
在训练属性识别网络时,可以在与每个对象属性对应的属性预测器后面连接一个损失函数(即子损失函数)。示例性地,可以将每个对象属性对应的样本属性信息和训练属性信息代入该对象属性对应的子损失函数,获得该子损失函数的损失值。随后,可以对所有子损失函数的损失值进行加权平均,获得整个网络损失函数的损失值。随后,可以基于整个网络损失函数的损失值来优化整个属性识别网络,最终获得训练好的属性识别网络。本领域技术人员可以理解子损失函数以及网络损失函数的计算方式,本文不对此进行赘述。
根据本发明实施例,将每个神经网络的一部分参数进行共享,或者说只训练一个神经网络(即属性识别网络),将前面的一定数量的层看作是共享特征提取层,将这些层的输出看作是输入图像的共享图像特征,每个对象属性的预测都基于该共享图像特征而不是原始图像。随后,在基于提取好的共享图像特征进行属性预测时,对于每个对象属性来说,只需要相对较浅的甚至只有一个全连接层的神经网络。与每个对象属性对应一个神经网络的方案相比,根据本发明实施例的属性识别网络的参数量大大减小,可以有效地减小计算量。
根据本发明一个实施例,属性信息预测网络可以包括与n个对象属性一一对应的n个专用特征提取网络和n个属性预测器,步骤S230可以包括:将共享图像特征分别输入n个专用特征提取网络,以获得由n个专用特征提取网络分别输出的专用图像特征;对于n个专用特征提取网络中的k个专用特征提取网络中的每一个,将n个专用特征提取网络中的除该专用特征提取网络以外的至少一个专用特征提取网络输出的专用图像特征与该专用特征提取网络输出的专用图像特征进行合并,以获得与该专用特征提取网络相对应的合并特征,其中,k为小于或等于n的整数;将k个专用特征提取网络所对应的合并特征分别输入k个专用特征提取网络所对应的k个属性预测器,并将剩余专用特征提取网络输出的专用图像特征分别输入剩余专用特征提取网络所对应的属性预测器,以获得由n个属性预测器分别输出的目标属性信息。
本实施例中的专用特征提取网络和属性预测器与上文描述的专用特征提取网络和属性预测器类似,本领域技术人员可以参考上文描述理解本实施例中的专用特征提取网络和属性预测器的网络结构,此处不再赘述。
图4示出根据本发明另一个实施例的图像识别流程的示意图。如图4所示,首先将输入图像(例如上述待识别图像以及下文将描述的样本图像)输入属性识别网络。属性识别网络中的共享特征提取网络包括图4所示的最上方的两组卷积+池化层(共四层)。第二个池化层输出的就是共享图像特征。属性信息预测网络包括4个分支,分别用于预测4种对象属性,即对象是否戴有口罩(下文简称为“口罩”)、对象是否戴有眼镜(下文简称为“眼镜”)、对象性别(下文简称为“性别”)以及对象是否被遮挡(下文简称为“遮挡”)。属性信息预测网络的每个分支包括两个全连接层,其中上面的全连接层(离属性识别网络的输出端较远的全连接层)为专用特征提取网络,下面的全连接层(离属性识别网络的输出端较近的全连接层)为属性预测器。
如图4所示,与“口罩”以及“眼镜”这两个对象属性对应的第一个全连接层的输出端均连接到“遮挡”这个对象属性所对应的第一个全连接层的输出端,三个全连接层的输出在此处进行了合并,随后,才输入遮挡这一对象属性对应的第二全连接层。
可以理解,由于戴有口罩以及戴有眼镜也属于遮挡的两种情况,因此与这些对象属性相关的特征是可以联系起来的。示例性地,可以事先分析对象属性之间的关联关系,构建一种多层次的网络结构。例如,由于戴有口罩以及戴有眼镜属于遮挡的两种情况,因此“口罩”、“眼镜”可以被归为第一层,“遮挡”可以被归为第二层,“性别”与另外三种对象属性没有关联关系,因此可以归为第一层。在识别“遮挡”时,除了原本与遮挡有关的特征,还可以通过合并信道的方式加入“口罩”、“眼镜”的相关特征,再识别“遮挡”。这样做可以在减小计算量的同时,考虑对象属性之间的联系,从而可以进一步提高属性识别精度。
可以理解,对于与其他对象属性存在关联关系的对象属性来说,可以将自身对应的专用图像特征与任意数目的其余对象属性对应的专用图像特征合并起来,用于识别该对象属性。对象属性对应的专用图像特征之间的合并关系可以是预设好的,并且不局限于本文描述的合并关系。例如,遮挡这一对象属性对应的第一个全连接层的输出端也可以连接到眼镜这一对象属性对应的第一个全连接层的输出端,两者对应的专用图像特征合并之后输入到眼镜这一对象属性对应的第二个全连接层中以判断对象是否戴有眼镜。
根据本发明实施例,属性信息预测网络可以包括与n个对象属性一一对应的n个网络分支,n个网络分支中的每一个包括专用特征提取网络和属性预测器,步骤S230可以包括:将共享图像特征分别输入n个网络分支中的专用特征提取网络,以获得与n个网络分支分别对应的专用图像特征;对于n个网络分支中的k个网络分支中的每一个,将来自至少一个其他网络分支的分支特征与该网络分支所对应的专用图像特征进行合并,以获得与该网络分支相对应的合并特征,其中,k为小于或等于n的整数,至少一个其他网络分支中的每个网络分支所对应的分支特征为该网络分支所对应的专用图像特征或该网络分支所对应的合并特征;将k个网络分支所对应的合并特征分别输入k个网络分支中的k个属性预测器,并将n个网络分支中的剩余网络分支所对应的专用图像特征分别输入剩余网络分支中的属性预测器,以获得由n个属性预测器分别输出的目标属性信息。
每个网络分支可以包括一个专用特征提取网络和一个属性预测器,用于预测一种对象属性。
上文结合图4描述了将多个专用图像特征合并在一起获得合并特征,并利用合并特征预测对应的对象属性的属性信息。在另一个示例中,还可以将合并特征进一步用于另一对象属性的预测。
例如,对象属性A和B对应的专用图像特征可以与对象属性C对应的专用图像特征合并在一起,获得对象属性C对应的合并特征,将其输入到对象属性C对应的属性预测器中用于预测对象属性C的属性信息。此外,还可以将对象属性C对应的合并特征、对象属性D对应的专用图像特征(或合并特征)以及对象属性E对应的专用图像特征合并在一起,获得对象属性E对应的合并特征。随后,可以将对象属性E对应的合并特征输入对象属性E对应的属性预测器中用于预测对象属性E的属性信息。因此,用于预测某个对象属性的合并特征可以来自其他网络分支中的分支特征以及自身的专用图像特征。
在一个示例中,可以将“口罩”以及“眼镜”对应的专用图像特征与“遮挡”对应的专用图像特征合并在一起,获得“遮挡”对应的合并特征。还可以将“遮挡”对应的合并特征、“模糊(例如人脸模糊程度)”这一对象属性对应的专用图像特征以及“人脸质量”这一对象属性对应的专用图像特征合并在一起,获得“人脸质量”对应的合并特征。随后,可以将“人脸质量”对应的合并特征输入“人脸质量”对应的属性预测器,获得该属性预测器输出的人脸质量数据。
可以理解,1≤k≤n。k个网络分支中的每一个可以包括合并模块,用于执行上述将来自其他网络分支的分支特征与自身的专用图像特征进行合并的操作。示例性地,合并模块可以采用网络层实现,例如合并层。对于除k个网络分支以外的剩余网络分支,由于不执行合并操作,因此除k个网络分支以外的每个剩余网络分支所对应的分支特征可以是该网络分支所对应的专用图像特征。对于k个网络分支中的每个网络分支,其所对应的分支特征可以是该网络分支所对应的专用图像特征或者该网络分支所对应的合并特征。对于特定对象属性来说,将哪些对象属性所对应的合并特征或专用图像特征与该对象属性所对应的专用图像特征进行合并,可以根据需要设定,本发明不对此进行限制。
根据本发明实施例,对于n个网络分支中的k个网络分支中的每一个,将来自至少一个其他网络分支的分支特征与该网络分支所对应的专用图像特征进行合并,以获得与该网络分支相对应的合并特征包括:对于k个网络分支中的每一个,通过信道拼接的方式,将来自至少一个其他网络分支的分支特征与该网络分支所对应的专用图像特征进行合并,以获得与该网络分支相对应的合并特征。
如图4所示,多个不同特征(包括专用图像特征和分支特征)可以通过合并信道的方式进行合并,合并信道也就是信道拼接。待合并的多个特征具有相同的长和宽,信道数可以一致,也可以不一致。直接将多个不同特征的信道拼接在一起即可获得所需的合并特征。信道拼接的方式实现比较简单、快速。示例性地,信道拼接在神经网络中可以采用网络层实现。应理解,信道拼接仅是示例而非对本发明的限制,可以采用其他合适的方式来合并多个专用图像特征,例如位操作、加法操作等。
根据本发明另一方面,提供一种图像识别装置。图5示出了根据本发明一个实施例的图像识别装置500的示意性框图。
如图5所示,根据本发明实施例的图像识别装置500包括目标获取模块510、特征提取模块520和属性预测模块530。所述各个模块可分别执行上文中结合图2-4描述的图像识别方法的各个步骤/功能。以下仅对该图像识别装置500的各部件的主要功能进行描述,而省略以上已经描述过的细节内容。
目标获取模块510用于获取目标对象的待识别图像。目标获取模块510可以由图1所示的电子设备中的处理器102运行存储装置105中存储的程序指令来实现。
特征提取模块520用于将所述待识别图像输入属性识别网络中的共享特征提取网络,以提取所述待识别图像的共享图像特征。特征提取模块520可以由图1所示的电子设备中的处理器102运行存储装置105中存储的程序指令来实现。
属性预测模块530用于所述共享图像特征输入所述属性识别网络中的属性信息预测网络,以获得所述属性信息预测网络输出的与所述目标对象的n个对象属性一一对应的目标属性信息,其中,n为大于或等于2的整数。属性预测模块530可以由图1所示的电子设备中的处理器102运行存储装置105中存储的程序指令来实现。
示例性地,属性信息预测网络包括与n个对象属性一一对应的n个网络分支,n个网络分支中的每一个包括专用特征提取网络和属性预测器,属性预测模块530具体用于:将共享图像特征分别输入n个网络分支中的专用特征提取网络,以获得与n个网络分支分别对应的专用图像特征;对于n个网络分支中的k个网络分支中的每一个,将来自至少一个其他网络分支的分支特征与该网络分支所对应的专用图像特征进行合并,以获得与该网络分支相对应的合并特征,其中,k为小于或等于n的整数,至少一个其他网络分支中的每个网络分支所对应的分支特征为该网络分支所对应的专用图像特征或该网络分支所对应的合并特征;将k个网络分支所对应的合并特征分别输入k个网络分支中的k个属性预测器,并将n个网络分支中的剩余网络分支所对应的专用图像特征分别输入剩余网络分支中的属性预测器,以获得由n个属性预测器分别输出的目标属性信息。
示例性地,属性预测模块530具体用于:对于k个网络分支中的每一个,通过信道拼接的方式,将来自至少一个其他网络分支的分支特征与该网络分支所对应的专用图像特征进行合并,以获得与该网络分支相对应的合并特征。
示例性地,属性信息预测网络包括m个专用特征提取网络和n个属性预测器,m为大于或等于2的整数,n个属性预测器与n个对象属性一一对应,每个属性预测器用于预测对应对象属性的目标属性信息,属性预测模块530具体用于:将共享图像特征分别输入m个专用特征提取网络,以获得由m个专用特征提取网络分别输出的专用图像特征;将m个专用特征提取网络中的每一个输出的专用图像特征输入与该专用特征提取网络连接的属性预测器,以获得由n个属性预测器分别输出的目标属性信息。
示例性地,n个对象属性根据预设规则划分为m个属性组,m个属性组与m个专用特征提取网络一一对应,m个专用特征提取网络中的每一个与对应属性组中的对象属性所对应的属性预测器连接。
示例性地,m等于n,m个专用特征提取网络和n个属性预测器一一对应连接。
示例性地,属性信息预测网络包括n个属性预测器,n个属性预测器与n个对象属性一一对应,每个属性预测器用于预测对应对象属性的目标属性信息,属性预测模块530具体用于:将共享图像特征分别输入n个属性预测器,以获得由n个属性预测器分别输出的目标属性信息。
示例性地,对象属性包括以下项中的一项或多项:对象性别、对象年龄、对象身高、对象衣服颜色、对象五官相对位置、对象所在的对象框、对象是否戴有眼镜、对象是否戴有口罩、对象是否戴有帽子。
示例性地,图像识别装置500还包括:样本获取模块(未示出),用于获取样本图像和对应的标注数据,标注数据包括与样本图像中的样本对象的n个对象属性一一对应的样本属性信息;样本属性获得模块(未示出),用于将样本图像输入属性识别网络,以获得属性识别网络输出的、与样本对象的n个对象属性一一对应的训练属性信息;以及训练模块(未示出),用于根据样本对象的n个对象属性的样本属性信息和训练属性信息以及预先构建的属性识别网络的网络损失函数,对属性识别网络进行训练。
示例性地,网络损失函数包括与n个对象属性一一对应的n个子损失函数,训练模块具体用于:对于样本对象的n个对象属性中的每一个,根据该对象属性的样本属性信息和训练属性信息计算该对象属性对应的子损失函数的损失值;计算n个子损失函数的损失值的平均值作为网络损失函数的损失值;以及更新属性识别网络以最小化网络损失函数的损失值。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
图6示出了根据本发明一个实施例的图像识别***600的示意性框图。图像识别***600包括图像采集装置610、存储装置620、以及处理器630。
所述图像采集装置610用于采集图像(包括待识别图像和/或样本图像)。图像采集装置610是可选的,图像识别***600可以不包括图像采集装置610。在这种情况下,可以利用其他图像采集装置采集图像(包括待识别图像和/或样本图像),并将采集的图像发送给图像识别***600。
所述存储装置620存储用于实现根据本发明实施例的图像识别方法中的相应步骤的计算机程序指令。
所述处理器630用于运行所述存储装置620中存储的计算机程序指令,以执行根据本发明实施例的图像识别方法的相应步骤。
在一个实施例中,所述计算机程序指令被所述处理器630运行时用于执行以下步骤:获取目标对象的待识别图像;将待识别图像输入属性识别网络中的共享特征提取网络,以提取待识别图像的共享图像特征;以及将共享图像特征输入属性识别网络中的属性信息预测网络,以获得属性信息预测网络输出的与目标对象的n个对象属性一一对应的目标属性信息,其中,n为大于或等于2的整数。
示例性地,属性信息预测网络包括与n个对象属性一一对应的n个网络分支,n个网络分支中的每一个包括专用特征提取网络和属性预测器,所述计算机程序指令被所述处理器630运行时所用于执行的将共享图像特征输入属性识别网络中的属性信息预测网络,以获得属性信息预测网络输出的与目标对象的n个对象属性一一对应的目标属性信息的步骤包括:将共享图像特征分别输入n个网络分支中的专用特征提取网络,以获得与n个网络分支分别对应的专用图像特征;对于n个网络分支中的k个网络分支中的每一个,将来自至少一个其他网络分支的分支特征与该网络分支所对应的专用图像特征进行合并,以获得与该网络分支相对应的合并特征,其中,k为小于或等于n的整数,至少一个其他网络分支中的每个网络分支所对应的分支特征为该网络分支所对应的专用图像特征或该网络分支所对应的合并特征;将k个网络分支所对应的合并特征分别输入k个网络分支中的k个属性预测器,并将n个网络分支中的剩余网络分支所对应的专用图像特征分别输入剩余网络分支中的属性预测器,以获得由n个属性预测器分别输出的目标属性信息。
示例性地,所述计算机程序指令被所述处理器630运行时所用于执行的对于n个网络分支中的k个网络分支中的每一个,将来自至少一个其他网络分支的分支特征与该网络分支所对应的专用图像特征进行合并,以获得与该网络分支相对应的合并特征的步骤包括:对于k个网络分支中的每一个,通过信道拼接的方式,将来自至少一个其他网络分支的分支特征与该网络分支所对应的专用图像特征进行合并,以获得与该网络分支相对应的合并特征。
示例性地,属性信息预测网络包括m个专用特征提取网络和n个属性预测器,m为大于或等于2的整数,n个属性预测器与n个对象属性一一对应,每个属性预测器用于预测对应对象属性的目标属性信息,所述计算机程序指令被所述处理器630运行时所用于执行的将共享图像特征输入属性识别网络中的属性信息预测网络,以获得属性信息预测网络输出的与目标对象的n个对象属性一一对应的目标属性信息的步骤包括:将共享图像特征分别输入m个专用特征提取网络,以获得由m个专用特征提取网络分别输出的专用图像特征;将m个专用特征提取网络中的每一个输出的专用图像特征输入与该专用特征提取网络连接的属性预测器,以获得由n个属性预测器分别输出的目标属性信息。
示例性地,n个对象属性根据预设规则划分为m个属性组,m个属性组与m个专用特征提取网络一一对应,m个专用特征提取网络中的每一个与对应属性组中的对象属性所对应的属性预测器连接。
示例性地,m等于n,m个专用特征提取网络和n个属性预测器一一对应连接。
示例性地,属性信息预测网络包括n个属性预测器,n个属性预测器与n个对象属性一一对应,每个属性预测器用于预测对应对象属性的目标属性信息,所述计算机程序指令被所述处理器630运行时所用于执行的将共享图像特征输入属性识别网络中的属性信息预测网络,以获得属性信息预测网络输出的与目标对象的n个对象属性一一对应的目标属性信息的步骤包括:将共享图像特征分别输入n个属性预测器,以获得由n个属性预测器分别输出的目标属性信息。
示例性地,对象属性包括以下项中的一项或多项:对象性别、对象年龄、对象身高、对象衣服颜色、对象五官相对位置、对象所在的对象框、对象是否戴有眼镜、对象是否戴有口罩、对象是否戴有帽子。
示例性地,所述计算机程序指令被所述处理器630运行时还用于执行以下步骤:获取样本图像和对应的标注数据,标注数据包括与样本图像中的样本对象的n个对象属性一一对应的样本属性信息;将样本图像输入属性识别网络,以获得属性识别网络输出的、与样本对象的n个对象属性一一对应的训练属性信息;以及根据样本对象的n个对象属性的样本属性信息和训练属性信息以及预先构建的属性识别网络的网络损失函数,对属性识别网络进行训练。
示例性地,网络损失函数包括与n个对象属性一一对应的n个子损失函数,所述计算机程序指令被所述处理器630运行时所用于执行的根据样本对象的n个对象属性的样本属性信息和训练属性信息以及预先构建的属性识别网络的网络损失函数,对属性识别网络进行训练的步骤包括:对于样本对象的n个对象属性中的每一个,根据该对象属性的样本属性信息和训练属性信息计算该对象属性对应的子损失函数的损失值;计算n个子损失函数的损失值的平均值作为网络损失函数的损失值;以及更新属性识别网络以最小化网络损失函数的损失值。
此外,根据本发明实施例,还提供了一种存储介质,在所述存储介质上存储了程序指令,在所述程序指令被计算机或处理器运行时用于执行本发明实施例的图像识别方法的相应步骤,并且用于实现根据本发明实施例的图像识别装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。
在一个实施例中,所述程序指令在被计算机或处理器运行时可以使得计算机或处理器实现根据本发明实施例的图像识别装置的各个功能模块,并和/或者可以执行根据本发明实施例的图像识别方法。
在一个实施例中,所述程序指令在运行时用于执行以下步骤:获取目标对象的待识别图像;将待识别图像输入属性识别网络中的共享特征提取网络,以提取待识别图像的共享图像特征;以及将共享图像特征输入属性识别网络中的属性信息预测网络,以获得属性信息预测网络输出的与目标对象的n个对象属性一一对应的目标属性信息,其中,n为大于或等于2的整数。
示例性地,属性信息预测网络包括与n个对象属性一一对应的n个网络分支,n个网络分支中的每一个包括专用特征提取网络和属性预测器,所述程序指令在运行时所用于执行的将共享图像特征输入属性识别网络中的属性信息预测网络,以获得属性信息预测网络输出的与目标对象的n个对象属性一一对应的目标属性信息的步骤包括:将共享图像特征分别输入n个网络分支中的专用特征提取网络,以获得与n个网络分支分别对应的专用图像特征;对于n个网络分支中的k个网络分支中的每一个,将来自至少一个其他网络分支的分支特征与该网络分支所对应的专用图像特征进行合并,以获得与该网络分支相对应的合并特征,其中,k为小于或等于n的整数,至少一个其他网络分支中的每个网络分支所对应的分支特征为该网络分支所对应的专用图像特征或该网络分支所对应的合并特征;将k个网络分支所对应的合并特征分别输入k个网络分支中的k个属性预测器,并将n个网络分支中的剩余网络分支所对应的专用图像特征分别输入剩余网络分支中的属性预测器,以获得由n个属性预测器分别输出的目标属性信息。
示例性地,所述程序指令在运行时所用于执行的对于n个网络分支中的k个网络分支中的每一个,将来自至少一个其他网络分支的分支特征与该网络分支所对应的专用图像特征进行合并,以获得与该网络分支相对应的合并特征的步骤包括:对于k个网络分支中的每一个,通过信道拼接的方式,将来自至少一个其他网络分支的分支特征与该网络分支所对应的专用图像特征进行合并,以获得与该网络分支相对应的合并特征。
示例性地,属性信息预测网络包括m个专用特征提取网络和n个属性预测器,m为大于或等于2的整数,n个属性预测器与n个对象属性一一对应,每个属性预测器用于预测对应对象属性的目标属性信息,所述程序指令在运行时所用于执行的将共享图像特征输入属性识别网络中的属性信息预测网络,以获得属性信息预测网络输出的与目标对象的n个对象属性一一对应的目标属性信息的步骤包括:将共享图像特征分别输入m个专用特征提取网络,以获得由m个专用特征提取网络分别输出的专用图像特征;将m个专用特征提取网络中的每一个输出的专用图像特征输入与该专用特征提取网络连接的属性预测器,以获得由n个属性预测器分别输出的目标属性信息。
示例性地,n个对象属性根据预设规则划分为m个属性组,m个属性组与m个专用特征提取网络一一对应,m个专用特征提取网络中的每一个与对应属性组中的对象属性所对应的属性预测器连接。
示例性地,m等于n,m个专用特征提取网络和n个属性预测器一一对应连接。
示例性地,属性信息预测网络包括n个属性预测器,n个属性预测器与n个对象属性一一对应,每个属性预测器用于预测对应对象属性的目标属性信息,所述程序指令在运行时所用于执行的将共享图像特征输入属性识别网络中的属性信息预测网络,以获得属性信息预测网络输出的与目标对象的n个对象属性一一对应的目标属性信息的步骤包括:将共享图像特征分别输入n个属性预测器,以获得由n个属性预测器分别输出的目标属性信息。
示例性地,对象属性包括以下项中的一项或多项:对象性别、对象年龄、对象身高、对象衣服颜色、对象五官相对位置、对象所在的对象框、对象是否戴有眼镜、对象是否戴有口罩、对象是否戴有帽子。
示例性地,所述程序指令在运行时还用于执行以下步骤:获取样本图像和对应的标注数据,标注数据包括与样本图像中的样本对象的n个对象属性一一对应的样本属性信息;将样本图像输入属性识别网络,以获得属性识别网络输出的、与样本对象的n个对象属性一一对应的训练属性信息;以及根据样本对象的n个对象属性的样本属性信息和训练属性信息以及预先构建的属性识别网络的网络损失函数,对属性识别网络进行训练。
示例性地,网络损失函数包括与n个对象属性一一对应的n个子损失函数,所述程序指令在运行时所用于执行的根据样本对象的n个对象属性的样本属性信息和训练属性信息以及预先构建的属性识别网络的网络损失函数,对属性识别网络进行训练的步骤包括:对于样本对象的n个对象属性中的每一个,根据该对象属性的样本属性信息和训练属性信息计算该对象属性对应的子损失函数的损失值;计算n个子损失函数的损失值的平均值作为网络损失函数的损失值;以及更新属性识别网络以最小化网络损失函数的损失值。
根据本发明实施例的图像识别***中的各模块可以通过根据本发明实施例的实施图像识别的电子设备的处理器运行在存储器中存储的计算机程序指令来实现,或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。
尽管这里已经参考附图描述了示例实施例,应理解上述示例实施例仅仅是示例性的,并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改,而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个设备,或一些特征可以忽略,或不执行。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该本发明的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如相应的权利要求书所反映的那样,其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解,除了特征之间相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的图像识别装置中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述,仅为本发明的具体实施方式或对具体实施方式的说明,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (13)

1.一种图像识别方法,包括:
获取目标对象的待识别图像;
将所述待识别图像输入属性识别网络中的共享特征提取网络,以提取所述待识别图像的共享图像特征;以及
将所述共享图像特征输入所述属性识别网络中的属性信息预测网络,以获得所述属性信息预测网络输出的与所述目标对象的n个对象属性一一对应的目标属性信息,其中,n为大于或等于2的整数。
2.如权利要求1所述的方法,其中,所述属性信息预测网络包括与所述n个对象属性一一对应的n个网络分支,所述n个网络分支中的每一个包括专用特征提取网络和属性预测器,
所述将所述共享图像特征输入所述属性识别网络中的属性信息预测网络,以获得所述属性信息预测网络输出的与所述目标对象的n个对象属性一一对应的目标属性信息包括:
将所述共享图像特征分别输入所述n个网络分支中的专用特征提取网络,以获得与所述n个网络分支分别对应的专用图像特征;
对于所述n个网络分支中的k个网络分支中的每一个,将来自至少一个其他网络分支的分支特征与该网络分支所对应的专用图像特征进行合并,以获得与该网络分支相对应的合并特征,其中,k为小于或等于n的整数,所述至少一个其他网络分支中的每个网络分支所对应的分支特征为该网络分支所对应的专用图像特征或该网络分支所对应的合并特征;
将所述k个网络分支所对应的合并特征分别输入所述k个网络分支中的k个属性预测器,并将所述n个网络分支中的剩余网络分支所对应的专用图像特征分别输入所述剩余网络分支中的属性预测器,以获得由所述n个属性预测器分别输出的目标属性信息。
3.如权利要求2所述的方法,其中,所述对于所述n个网络分支中的k个网络分支中的每一个,将来自至少一个其他网络分支的分支特征与该网络分支所对应的专用图像特征进行合并,以获得与该网络分支相对应的合并特征包括:
对于所述k个网络分支中的每一个,通过信道拼接的方式,将来自所述至少一个其他网络分支的分支特征与该网络分支所对应的专用图像特征进行合并,以获得与该网络分支相对应的合并特征。
4.如权利要求1所述的方法,其中,所述属性信息预测网络包括m个专用特征提取网络和n个属性预测器,m为大于或等于2的整数,所述n个属性预测器与所述n个对象属性一一对应,每个属性预测器用于预测对应对象属性的目标属性信息,
所述将所述共享图像特征输入所述属性识别网络中的属性信息预测网络,以获得所述属性信息预测网络输出的与所述目标对象的n个对象属性一一对应的目标属性信息包括:
将所述共享图像特征分别输入所述m个专用特征提取网络,以获得由所述m个专用特征提取网络分别输出的专用图像特征;
将所述m个专用特征提取网络中的每一个输出的专用图像特征输入与该专用特征提取网络连接的属性预测器,以获得由所述n个属性预测器分别输出的目标属性信息。
5.如权利要求4所述的方法,其中,所述n个对象属性根据预设规则划分为m个属性组,所述m个属性组与所述m个专用特征提取网络一一对应,所述m个专用特征提取网络中的每一个与对应属性组中的对象属性所对应的属性预测器连接。
6.如权利要求4所述的方法,其中,m等于n,所述m个专用特征提取网络和所述n个属性预测器一一对应连接。
7.如权利要求1所述的方法,其中,所述属性信息预测网络包括n个属性预测器,所述n个属性预测器与所述n个对象属性一一对应,每个属性预测器用于预测对应对象属性的目标属性信息,
所述将所述共享图像特征输入所述属性识别网络中的属性信息预测网络,以获得所述属性信息预测网络输出的与所述目标对象的n个对象属性一一对应的目标属性信息包括:
将所述共享图像特征分别输入所述n个属性预测器,以获得由所述n个属性预测器分别输出的目标属性信息。
8.如权利要求1所述的方法,其中,所述对象属性包括以下项中的一项或多项:对象性别、对象年龄、对象身高、对象衣服颜色、对象五官相对位置、对象所在的对象框、对象是否戴有眼镜、对象是否戴有口罩、对象是否戴有帽子。
9.如权利要求1所述的方法,其中,所述方法还包括:
获取样本图像和对应的标注数据,所述标注数据包括与所述样本图像中的样本对象的n个对象属性一一对应的样本属性信息;
将所述样本图像输入所述属性识别网络,以获得所述属性识别网络输出的、与所述样本对象的n个对象属性一一对应的训练属性信息;以及
根据所述样本对象的n个对象属性的样本属性信息和训练属性信息以及预先构建的所述属性识别网络的网络损失函数,对所述属性识别网络进行训练。
10.如权利要求9所述的方法,其中,所述网络损失函数包括与所述n个对象属性一一对应的n个子损失函数,所述根据所述样本对象的n个对象属性的样本属性信息和训练属性信息以及预先构建的所述属性识别网络的网络损失函数,对所述属性识别网络进行训练包括:
对于所述样本对象的n个对象属性中的每一个,根据该对象属性的样本属性信息和训练属性信息计算该对象属性对应的子损失函数的损失值;
计算所述n个子损失函数的损失值的平均值作为所述网络损失函数的损失值;以及
更新所述属性识别网络以最小化所述网络损失函数的损失值。
11.一种图像识别装置,包括:
目标获取模块,用于获取目标对象的待识别图像;
特征提取模块,用于将所述待识别图像输入属性识别网络中的共享特征提取网络,以提取所述待识别图像的共享图像特征;以及
属性预测模块,用于将所述共享图像特征输入所述属性识别网络中的属性信息预测网络,以获得所述属性信息预测网络输出的与所述目标对象的n个对象属性一一对应的目标属性信息,其中,n为大于或等于2的整数。
12.一种图像识别***,包括处理器和存储器,其中,所述存储器中存储有计算机程序指令,所述计算机程序指令被所述处理器运行时用于执行如权利要求1至10任一项所述的图像识别方法。
13.一种存储介质,在所述存储介质上存储了程序指令,所述程序指令在运行时用于执行如权利要求1至10任一项所述的图像识别方法。
CN201810161994.3A 2018-02-27 2018-02-27 图像识别方法、装置和***及存储介质 Pending CN108875932A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810161994.3A CN108875932A (zh) 2018-02-27 2018-02-27 图像识别方法、装置和***及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810161994.3A CN108875932A (zh) 2018-02-27 2018-02-27 图像识别方法、装置和***及存储介质

Publications (1)

Publication Number Publication Date
CN108875932A true CN108875932A (zh) 2018-11-23

Family

ID=64326044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810161994.3A Pending CN108875932A (zh) 2018-02-27 2018-02-27 图像识别方法、装置和***及存储介质

Country Status (1)

Country Link
CN (1) CN108875932A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097108A (zh) * 2019-04-24 2019-08-06 佳都新太科技股份有限公司 非机动车的识别方法、装置、设备及存储介质
CN110378278A (zh) * 2019-07-16 2019-10-25 北京地平线机器人技术研发有限公司 神经网络的训练方法、对象搜索方法、装置以及电子设备
CN111401302A (zh) * 2020-04-07 2020-07-10 中国人民解放军海军航空大学 遥感图像舰船目标一体化检测与细粒度识别方法
CN111435431A (zh) * 2019-01-15 2020-07-21 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111507263A (zh) * 2020-04-17 2020-08-07 电子科技大学 一种基于多源数据的人脸多属性识别方法
CN111640103A (zh) * 2020-05-29 2020-09-08 北京百度网讯科技有限公司 图像检测方法、装置、设备以及存储介质
CN112580794A (zh) * 2019-09-29 2021-03-30 佳能株式会社 属性识别装置、方法和***及识别对象属性的神经网络
CN112614263A (zh) * 2020-12-30 2021-04-06 浙江大华技术股份有限公司 一种控制闸机的方法、装置、计算机设备及存储介质
CN112733581A (zh) * 2019-10-28 2021-04-30 普天信息技术有限公司 车辆属性识别方法及***
CN113283368A (zh) * 2021-06-08 2021-08-20 电子科技大学中山学院 一种模型训练方法、人脸属性分析方法、装置及介质
CN113515991A (zh) * 2020-10-30 2021-10-19 阿里巴巴集团控股有限公司 属性识别、监控数据分析方法、设备及存储介质
CN113822199A (zh) * 2021-09-23 2021-12-21 浙江大华技术股份有限公司 对象属性识别方法、装置、存储介质和电子装置
CN114387633A (zh) * 2020-10-19 2022-04-22 北京澎思科技有限公司 面部属性识别方法、装置和计算机可读存储介质
CN114511917A (zh) * 2022-04-20 2022-05-17 北京美摄网络科技有限公司 一种图像数据的处理方法及装置、电子设备、存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150310300A1 (en) * 2014-04-28 2015-10-29 Distiller, Llc System and method for multiple object recognition and personalized recommendations
CN105825191A (zh) * 2016-03-23 2016-08-03 厦门美图之家科技有限公司 基于人脸多属性信息的性别识别方法、***及拍摄终端
CN106529402A (zh) * 2016-09-27 2017-03-22 中国科学院自动化研究所 基于多任务学习的卷积神经网络的人脸属性分析方法
CN107247947A (zh) * 2017-07-07 2017-10-13 北京智慧眼科技股份有限公司 人脸属性识别方法及装置
CN107704838A (zh) * 2017-10-19 2018-02-16 北京旷视科技有限公司 目标对象的属性识别方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150310300A1 (en) * 2014-04-28 2015-10-29 Distiller, Llc System and method for multiple object recognition and personalized recommendations
CN105825191A (zh) * 2016-03-23 2016-08-03 厦门美图之家科技有限公司 基于人脸多属性信息的性别识别方法、***及拍摄终端
CN106529402A (zh) * 2016-09-27 2017-03-22 中国科学院自动化研究所 基于多任务学习的卷积神经网络的人脸属性分析方法
CN107247947A (zh) * 2017-07-07 2017-10-13 北京智慧眼科技股份有限公司 人脸属性识别方法及装置
CN107704838A (zh) * 2017-10-19 2018-02-16 北京旷视科技有限公司 目标对象的属性识别方法及装置

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111435431A (zh) * 2019-01-15 2020-07-21 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110097108A (zh) * 2019-04-24 2019-08-06 佳都新太科技股份有限公司 非机动车的识别方法、装置、设备及存储介质
CN110097108B (zh) * 2019-04-24 2021-03-02 佳都新太科技股份有限公司 非机动车的识别方法、装置、设备及存储介质
CN110378278A (zh) * 2019-07-16 2019-10-25 北京地平线机器人技术研发有限公司 神经网络的训练方法、对象搜索方法、装置以及电子设备
CN110378278B (zh) * 2019-07-16 2021-11-02 北京地平线机器人技术研发有限公司 神经网络的训练方法、对象搜索方法、装置以及电子设备
CN112580794A (zh) * 2019-09-29 2021-03-30 佳能株式会社 属性识别装置、方法和***及识别对象属性的神经网络
CN112733581B (zh) * 2019-10-28 2024-05-21 普天信息技术有限公司 车辆属性识别方法及***
CN112733581A (zh) * 2019-10-28 2021-04-30 普天信息技术有限公司 车辆属性识别方法及***
CN111401302A (zh) * 2020-04-07 2020-07-10 中国人民解放军海军航空大学 遥感图像舰船目标一体化检测与细粒度识别方法
CN111401302B (zh) * 2020-04-07 2022-08-02 中国人民解放军海军航空大学 遥感图像舰船目标一体化检测与细粒度识别方法
CN111507263A (zh) * 2020-04-17 2020-08-07 电子科技大学 一种基于多源数据的人脸多属性识别方法
CN111507263B (zh) * 2020-04-17 2022-08-05 电子科技大学 一种基于多源数据的人脸多属性识别方法
CN111640103A (zh) * 2020-05-29 2020-09-08 北京百度网讯科技有限公司 图像检测方法、装置、设备以及存储介质
CN114387633A (zh) * 2020-10-19 2022-04-22 北京澎思科技有限公司 面部属性识别方法、装置和计算机可读存储介质
CN113515991A (zh) * 2020-10-30 2021-10-19 阿里巴巴集团控股有限公司 属性识别、监控数据分析方法、设备及存储介质
CN112614263A (zh) * 2020-12-30 2021-04-06 浙江大华技术股份有限公司 一种控制闸机的方法、装置、计算机设备及存储介质
CN113283368A (zh) * 2021-06-08 2021-08-20 电子科技大学中山学院 一种模型训练方法、人脸属性分析方法、装置及介质
CN113283368B (zh) * 2021-06-08 2023-10-20 电子科技大学中山学院 一种模型训练方法、人脸属性分析方法、装置及介质
CN113822199A (zh) * 2021-09-23 2021-12-21 浙江大华技术股份有限公司 对象属性识别方法、装置、存储介质和电子装置
CN114511917A (zh) * 2022-04-20 2022-05-17 北京美摄网络科技有限公司 一种图像数据的处理方法及装置、电子设备、存储介质

Similar Documents

Publication Publication Date Title
CN108875932A (zh) 图像识别方法、装置和***及存储介质
CN108875522A (zh) 人脸聚类方法、装置和***及存储介质
CN105976400B (zh) 基于神经网络模型的目标跟踪方法及装置
CN108985929B (zh) 训练方法、业务数据分类处理方法及装置、电子设备
CN110008808A (zh) 全景分割方法、装置和***及存储介质
CN108875676A (zh) 活体检测方法、装置及***
CN108876792A (zh) 语义分割方法、装置和***及存储介质
CN108921159A (zh) 用于检测安全帽的佩戴情况的方法和装置
CN106203376A (zh) 人脸关键点定位方法及装置
CN107273784A (zh) 图像模式识别装置和方法
CN108875452A (zh) 人脸识别方法、装置、***和计算机可读介质
CN106203305A (zh) 人脸活体检测方法和装置
CN108876793A (zh) 语义分割方法、装置和***及存储介质
CN108875540A (zh) 图像处理方法、装置和***及存储介质
CN109146830A (zh) 用于生成训练数据的方法、装置、***和存储介质
CN109919211A (zh) 商品识别方法、装置、***和计算机可读介质
CN108875537A (zh) 对象检测方法、装置和***及存储介质
CN108876804A (zh) 抠像模型训练和图像抠像方法、装置和***及存储介质
CN108875487A (zh) 行人重识别网络的训练及基于其的行人重识别
CN108932456A (zh) 人脸识别方法、装置和***及存储介质
CN109344920A (zh) 顾客属性预测方法、存储介质、***及设备
CN108875539A (zh) 表情匹配方法、装置和***及存储介质
CN108875519A (zh) 对象检测方法、装置和***及存储介质
CN108875931A (zh) 神经网络训练及图像处理方法、装置、***
CN108875778A (zh) 人脸聚类方法、装置、***和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181123