CN109284694A - 图像处理方法和装置、电子设备、计算机可读存储介质 - Google Patents

图像处理方法和装置、电子设备、计算机可读存储介质 Download PDF

Info

Publication number
CN109284694A
CN109284694A CN201811014149.XA CN201811014149A CN109284694A CN 109284694 A CN109284694 A CN 109284694A CN 201811014149 A CN201811014149 A CN 201811014149A CN 109284694 A CN109284694 A CN 109284694A
Authority
CN
China
Prior art keywords
image
target
portrait
feature information
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811014149.XA
Other languages
English (en)
Inventor
刘耀勇
陈岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201811014149.XA priority Critical patent/CN109284694A/zh
Publication of CN109284694A publication Critical patent/CN109284694A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种图像处理方法和装置、电子设备、计算机可读存储介质。所述方法包括:获取包含目标人像的第一图像及对应的第二图像,其中,第二图像包含第一图像对应的深度信息,检测目标人像在第一图像中对应的第一特征信息,及检测目标人像在第二图像中对应的第二特征信息,根据第一特征信息和第二特征信息确定目标人像的目标性别,根据目标性别对第一图像进行处理。由于可以根据第一图像及包含深度信息的第二图像进行性别检测,根据性别对图像进行处理,可以提高图像处理的准确性。

Description

图像处理方法和装置、电子设备、计算机可读存储介质
技术领域
本申请涉及计算机技术领域,特别是涉及一种图像处理方法、装置、电子设备、计算机可读存储介质。
背景技术
随着计算机技术的发展,图像处理方式越来越丰富。电子设备可以为图像提供多种贴纸素材,使得贴纸素材叠加到图像中,使图像内容更加丰富;电子设备还可以在检测到图像中存在人像,对人像进行美颜处理等。然而,传统技术中电子设备对图像的处理往往都是相同的,存在图像处理准确性低的问题。
发明内容
本申请实施例提供一种图像处理方法、装置、电子设备、计算机可读存储介质,可以提高图像处理的准确性。
一种图像处理方法,包括:
获取包含目标人像的第一图像及对应的第二图像,其中,所述第二图像包含所述第一图像对应的深度信息;
检测所述目标人像在所述第一图像中对应的第一特征信息,及检测所述目标人像在所述第二图像中对应的第二特征信息;
根据所述第一特征信息和所述第二特征信息确定所述目标人像的目标性别;
根据所述目标性别对所述第一图像进行处理。
一种图像处理装置,包括:
获取模块,用于获取包含目标人像的第一图像及对应的第二图像,其中,所述第二图像包含所述第一图像对应的深度信息;
检测模块,用于检测所述目标人像在所述第一图像中对应的第一特征信息,及检测所述目标人像在所述第二图像中对应的第二特征信息;
确定模块,用于根据所述第一特征信息和所述第二特征信息确定所述目标人像的目标性别;
处理模块,用于根据所述目标性别对所述第一图像进行处理。
一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:
获取包含目标人像的第一图像及对应的第二图像,其中,所述第二图像包含所述第一图像对应的深度信息;
检测所述目标人像在所述第一图像中对应的第一特征信息,及检测所述目标人像在所述第二图像中对应的第二特征信息;
根据所述第一特征信息和所述第二特征信息确定所述目标人像的目标性别;
根据所述目标性别对所述第一图像进行处理。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
获取包含目标人像的第一图像及对应的第二图像,其中,所述第二图像包含所述第一图像对应的深度信息;
检测所述目标人像在所述第一图像中对应的第一特征信息,及检测所述目标人像在所述第二图像中对应的第二特征信息;
根据所述第一特征信息和所述第二特征信息确定所述目标人像的目标性别;
根据所述目标性别对所述第一图像进行处理。
上述图像处理方法,通过获取包含目标人像的第一图像及包含第一图像对应的深度信息的第二图像,检测目标人像在第一图像中对应的第一特征信息及在第二图像中对应的第二特征信息,根据第一特征信息和第二特征信息确定目标人像的目标性别,根据目标性别对第一图像进行处理。由于可以根据第一图像及包含深度信息的第二图像进行性别检测,根据性别对图像进行处理,可以提高图像处理的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中图像处理方法的应用环境图;
图2为一个实施例中图像处理方法的流程图;
图3为另一个实施例中图像处理方法的流程图;
图4为一个实施例中对图像进行调整的流程图;
图5为一个实施例中检测图像特征信息的流程图;
图6为一个实施例中图像处理装置的结构框图;
图7为一个实施例中电子设备的结构示意图;
图8为一个实施例中图像处理电路的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一图像称为第二图像,且类似地,可将第二图像称为第一图像。第一图像和第二图像两者都是图像,但其不是同一图像。
图1为一个实施例中图像处理方法的应用环境图。如图1所示,电子设备上安装有摄像头102。具体的,电子设备可以通过摄像头102进行拍摄,获取摄像头102拍摄的包含目标人像的第一图像及第二图像,其中,第二图像包含第一图像对应的深度信息,检测目标人像在第一图像中对应的第一特征信息及检测目标人像在第二图像中对应的第二特征信息,根据第一特征信息和第二特征信息确定目标人像的目标性别,根据目标性别对第一图像进行处理。可以理解的是,上述电子设备可以是手机、电脑、可穿戴设备等,在此不做限定。
图2为一个实施例中图像处理方法的流程图。本实施例中的图像处理方法,以运行于图1中的电子设备上为例进行描述。如图2所示,图像处理方法包括步骤202至步骤208。其中:
步骤202,获取包含目标人像的第一图像及对应的第二图像,其中,第二图像包含第一图像对应的深度信息。
第一图像和第二图像是指电子设备通过摄像头采集的包含目标人像的图像。具体地,第一图像和第二图像可以是电子设备通过摄像头实时捕捉当前场景的画面生成的;也可以是存储在电子设备本地的图像。第一图像与第二图像具有相同的拍摄场景。深度信息是指摄像头与拍摄场景中被拍摄物体之间的距离信息。深度信息的采集方法有多种,例如双目测距法、结构光法、飞行时间法等。可以理解的是,第一图像是指二维图像,即不包含深度信息的平面图像;第二图像是指与第一图像对应的三维图像,第二图像包含第一图像中被拍摄物体在拍摄场景中的分布情况即深度信息。目标人像可以是一个或多个。具体地,目标人像可以是图像中人像面积与图像面积的比值超过面积阈值的人像,也可以是图像中人像距离摄像头在预设距离内的人像,还可以是当图像中存在多个人像时,面积最大的预设数量个人像等不限于此,在此提到的面积阈值、预设距离和预设数据都可以根据实际应用需求设定,在此不做限定。
电子设备可以对第一图像进行人像检测,当检测到所述第一图像中包含目标人像时,电子设备可以获取包含目标人像的第一图像及包含第一图像对应的深度信息的第二图像。
步骤204,检测目标人像在第一图像中对应的第一特征信息,及检测目标人像在第二图像中对应的第二特征信息。
图像的特征信是指图像的颜色特征、纹理特征、形状特征、空间关系特征等。电子设备检测图像特征对应的特征信息,可以通过HOG(Histogram of Oriented Gradient,方向梯度直方图)特征算法、LBP(Local Binary Pattern,局部二值模式)特征算法、Haar-like特征算法等进行检测,也可以通过可输出图像特征信息的神经网络进行检测等。第一特征信息是指二维的特征信息如颜色、纹理、形状等;第二特征信息是指三维的特征信息如空间关系、物体深度等。具体地,电子设备可以检测第一图像中目标人像的皮肤纹理、皮肤肤色、眼睛、眉毛、脸型、耳朵、衣服颜色、动作形状等特征对应的特征信息即为第一特征信息。电子设备检测目标人像在第二图像中对应的第二特征信息,具体地,电子设备根据第二图像包含的深度信息进行检测,从而得到目标人像的眼睛与脸部的深度关系、喉结与脖子的深度关系、鼻子长度等特征对应的特征信息作为第二特征信息。
步骤206,根据第一特征信息和第二特征信息确定目标人像的目标性别。
电子设备可以对第一特征信息和第二特征信息进行分析,根据分析结果确定目标人像对应的目标性别。具体地,电子设备可以建立二分类模型,在二分类模型的训练过程中,检测第一训练图像和包含第一训练图像的深度信息的第二训练图像分别对应的第一训练特征信息和第二训练特征信息,并对训练图像的性别进行标记后,将第一训练特征信息和第二训练特征信息输入至模型中,得到输出的预测性别,根据预测性别与真实性别对模型的参数进行调整,使得调整后的二分类模型可以根据第一特征信息和第二特征信息输出对应的目标性别。电子设备还可以预存不同性别对应的第一预存特征信息和第二预存特征信息,从而将第一特征信息与第一预存特征信息进行匹配,第二特征信息与第二预存特征信息进行匹配,根据匹配度最高的第一预存特征信息和第二预存特征信息对应的性别作为目标人像的目标性别。
步骤208,根据目标性别对第一图像进行处理。
电子设备得到目标人像的目标性别后,可以根据目标性别对第一图像进行处理,具体的处理方式不做限定。具体地,电子设备可以根据目标性别对第一图像进行美颜美化、色彩增强、AR(Augmented Reality,现实增强)处理、添加贴纸素材等不限于此。例如,当目标性别为女时,对应的处理可以是添加较为可爱、浪漫的贴纸素材如颜文字、卡通图像等,当目标性别为男时,对应的处理可以是添加运动类如篮球、足球,器械类如刀剑等符合男性的贴纸素材。具体地,电子设备预存不同性别对应的处理方式,当确定目标人像的目标性别后,根据目标性别获取对应的目标处理方式,根据目标处理方式对第一图像进行处理。
本申请提供的实施例,通过获取包含目标人像的第一图像及包含第一图像对应的深度信息的第二图像,检测目标人像在第一图像中对应的第一特征信息及在第二图像中对应的第二特征信息,根据第一特征信息和第二特征信息确定目标人像的目标性别,根据目标性别对第一图像进行处理,可以提高图像处理的准确性。
如图3所示,在一个实施例中,提供的图像处理方法包括步骤302至步骤310。其中:
步骤302,将第一图像和及第二图像输入至性别检测模型,其中,性别检测模型包含第一检测模型和第二检测模型。
步骤304,根据第一检测模型检测目标人像在第一图像中对应的第一特征信息。
步骤306,根据第二检测模型检测目标人像在第二图像中对应的第二特征信息。
电子设备可以训练可输出目标性别的性别检测模型。具体地,可以采用Caffe(Convolutional Architecture for Fast Feature Embedding,卷积神经网络框架)框架训练神经网络模型。在模型训练过程中,可以将大量标记了人像性别的二维图像及对应的三维图像输入至神经网络模型中,通过神经网络模型对三维图像和二维图像进行检测,获得输出的预测性别,根据预测性别与真实性别得到损失函数,根据损失函数对神经网络模型的参数进行调整,使得训练后的性别检测模型可以准确地输出目标人像的目标性别。性别检测模型可以包括第一检测模型和第二检测模型,其中,第一检测模型用于对二维图像进行检测,第二检测模型用于根据深度信息对三维图像进行检测。
电子设备可以分别训练第一检测模型和第二检测模型后,再将第一检测模型与第二检测模型并联,使得形成的性别检测模型可以对二维图像和三维图像进行处理。具体地,电子设备可以获取第二图像和包含第二图像对应的深度信息的第一图像,并将第一图像和第二图像输入至性别检测模型中,从而第一检测模型可以对第一图像中的目标人像进行检测,得到目标人像对应的第一特征信息,第二检测模型根据第二图像的深度信息对第二图像中的目标人像进行检测,得到目标人像对应的第二特征信息。
步骤308,根据第一特征信息和第二特征信息确定目标人像的目标性别。
电子设备可以通过性别检测模型对第一特征信息和第二特征信息进行处理,得到目标人像的目标性别。具体地,性别检测模型中包含全连接层和分类器,电子设备可以通过性别检测模型的全连接层对第一特征信息和第二特征信息进行处理,输出目标人像对应不同性别的置信度,分类器可以根据不同性别的置信度确定目标人像的目标性别。置信度是指目标人像为该性别的可信程度。
在一个实施例中,电子设备还可以对第一图像进行目标检测,根据目标检测结果对性别检测结果进行调整。具体地,电子设备可以预存多种物体图像,将第一图像中与预存的物体图像进行匹配,获得匹配的物体图像对应的目标物体作为目标检测结果。电子设备还可以训练可输出目标物体的模型,并将第一图像输入至该模型中,获得输出的目标物体作为目标检测结果。电子设备根据目标检测结果对性别检测结果进行调整,具体地,电子设备可以根据目标检测结果调整目标人像对应的不同性别的置信度,从而根据调整后的不同性别的置信度确定目标性别。具体的调整规则可根据实际需要进行设定,在此不做限定。例如,电子设备可以在目标检测结果中包含玩偶、裙子、发带等中的至少一个时提高性别为女的置信度;还可以目标检测结果包含篮球等体验用品、球鞋、皮带等中的至少一个时提高性别为男的置信度等。
步骤310,根据目标性别对第一图像进行处理。
通过将第一图像和第二图像输入至性别检测模型,根据第一检测模型检测目标人像在第一图像中对应的第一特征信息,根据第二检测模型检测目标人像在第二图像中对应的第二特征信息,从而根据第一特征信息和第二特性信息确定目标人像的目标性别,根据目标性别对第一图像进行处理,可以提高性别检测的准确性,从而提高图像处理的准确性。
如图4所示,在一个实施例中,提供的图像处理方法中将第一图像和第二图像输入至性别检测模型的过程包括步骤402至步骤406。其中:
步骤402,获取性别检测模型对应的第一目标分辨率和第二目标分辨率。
分辨率是指图像所包含的像素点数。分辨率越高、图像越清晰。电子设备在训练性别检测模型时,可以设定输入的训练图像对应的分辨率,则电子设备将二维图像对应的分辨率作为第一目标分辨率,三维图像对应的分辨率作为第二目标分辨率。第一目标分辨率和第二目标分辨率可以根据实际需求设定。可以理解的是,第一目标分辨率与第二目标分辨率可以是相同的,也可以是不同的。例如,第一目标分辨率和第二目标分辨率可以均为224*224,也可以是第一目标分辨率为224*224、第二目标分辨率为250*250等不限于此。
步骤404,根据第一目标分辨率对第一图像进行调整,及根据第二目标分辨率对第二图像进行调整。
电子设备可以根据第一目标分辨率及第二目标分辨率分别对第一图像和第二图像进行调整。具体地,电子设备调整第一图像和第二图像的分辨率,可以是将第一图像和第二图像的分辨率增大或减少、从而可以提高检测的第一图像和第二图像对应的第一特征信息和第二特征信息的准确性和检测效率。
步骤406,将调整后的第一图像和调整后的第二图像输入至性别检测模型。
电子设备可以根据第一目标分辨率及第二目标分辨率分别对第一图像和第二图像进行调整后,可以将调整后的第一图像及第二图像输入至性别检测模型,从而可以检测第一图像中目标人像对应的目标性别,根据目标性别对第一图像进行处理,可以提高图像处理的准确性。
在一个实施例中,提供的图像处理方法中检测目标人像在第一图像中对应的第一特征信息,包括:将第一图像转化为对应的灰度图像,检测目标人像在灰度图像对应的第一特征信息。
图像是由多个像素点组成的。灰度图像是指由一个通道构成的单色图像。电子设备可以将具有多个色彩通道的图像转化为单个色彩通道的图像。具体地,电子设备可以获取第一图像中各个像素点的对应的各个通道的色彩值,将各个通道的色彩值转化为灰度值,具体地,可以采用平均值法、整数方法等进行转化,根据转化后各个像素点的灰度值得到第一图像对应的灰度图像。例如,当第一图像为RGB(Red、Green、Blue,红绿蓝)图像时,电子设备可以获取第一图像中的每一个像素点对应的RGB三个通道值,再将像素点的RGB值转化为灰度值,得到由各个像素点及其灰度值组成的灰度图像,从而电子设备可以对灰度图像进行检测,获得目标人像在灰度图像中对应的第一特征信息。
在一个实施例中,提供的图像处理方法中检测目标人像在第一图像中对应的第一特征信息,及检测目标人像在第二图像中对应的第二特征信息的过程,包括:
步骤502,获取目标人像在第一图像中对应的第一人像区域及在第二图像中对应的第二人像区域。
第一人像区域是指第一图像中目标人像所在的区域。具体地,第一人像区域可以有一个或多个。电子设备可以对第一图像进行人像检测,得到第一图像中存在的目标人像以及目标人像对应的第一人像区域,并根据第一人像区域匹配到第二图像中对应的第二人像区域。具体地,电子设备可以获取第一图像中第一人像区域边界对应的像素点位置,根据边界的像素点位置获取第二图像中对应的第二人像区域;电子设备也可以将第一图像中第一人像区域映射到第二图像中,获取第二图像中对应的第二人像区域。
步骤504,检测第一人像区域对应的第一特征信息,及检测第二人像区域对应的第二特征信息。
第一人像区域对应的第一特征信息即目标人像对应的二维特征信息。第二人像区域对应的第二特征信息即目标人像对应的三维特征信息。电子设备可以在获取目标人像对应的第一人像区域和第二人像区域后,检测第一人像区域对应的第一特征信息及检测第二人像区域对应的第二特征信息,从而根据第一特征信息和第二特征信息确定目标人像的目标性别,根据目标性别对第一图像进行处理,可以提高图像处理的准确性。
在一个实施例中,提供的图像处理方法中根据目标性别对第一图像进行处理的过程,包括:获取目标性别对应的目标处理模式;根据目标处理模式对第一人像区域进行处理。
目标处理模式是根据目标性别确定的,对图像的处理方式。目标处理模式可以有多种,在此不限定。当存在多个目标人像时,电子设备可以根据不同目标人像对应的不同目标性别获取对应的目标处理模式,从而对目标人像对应的第一人像区域进行处理。例如,电子设备可以预存性别为女时,对应的目标处理模式为添加较为粉嫩的滤镜,背景虚化、添加腮红、添加口红等,性别为男时,对应的目标处理模式为对皮肤进行磨皮、调整肤色均匀、锐化脸部轮廓、添加深色系的滤镜等。电子设备可以预存不同性别对应的目标处理模式,当确定目标人像的目标性别后,根据目标性别获取对应的目标处理模式,对第一人像区域进行处理。电子设备还可以根据不同性别预存不同处理方式及对应的目标处理模式,其中,处理方式可以包括美颜处理方式、美体处理方式、色彩处理方式等不限于此。电子设备可以根据目标性别获取对应的处理方式,根据处理方式获取对应的目标处理模式,也可以接收由用户触发的处理方式,再根据处理方式和目标性别获取对应的目标处理模式。例如,电子设备可以在目标性别为女时,获取对应的处理方式为美颜处理方式,根据美颜处理对应的目标处理模式如添加腮红、增长睫毛长度、对皮肤进行美白、添加口红对第一人像区域进行处理;电子设备也可以获取用户输入的处理方式如美体处理方式,根据目标性别获取对应的目标处理模式如目标性别为男时,对应的美体处理方式可以是均匀肤色、增加亮度、拉长腿部等。电子设备根据目标性别获取对应的目标处理模式,对第一人像区域进行处理,可以提高图像处理的准确性。
在一个实施例中,提供的图像处理方法中根据目标处理模式对第一人像区域进行处理的过程,还可以包括:获取第二人像区域对应的深度信息,根据第二人像区域对应的深度信息和目标处理模式对第一人像区域进行处理。
具体地,电子设备可以获取第二图像中第二人像区域对应的深度信息,根据目标处理模式结合第二人像区域对应的深度信息确定具体的处理位置,对第一人像区域进行处理。例如,当目标处理模式为拉长腿部时,电子设备可以根据第二人像区域对应的深度信息确定具体的腿部位置,从而可以对腿部位置进行拉长处理;当目标处理模式为添加口红时,电子设备可以根据第二人像区域对应的深度信息确定嘴唇位置,从而可以对嘴唇位置进行添加口红处理等,可以提高图像处理的准确性。
在一个实施例中,提供的图像处理方法还包括:对第一图像进行人像检测,得到至少一个候选人像;根据第二图像获取候选人像对应的深度信息,将深度信息小于深度阈值的候选人像作为目标人像。
深度阈值可以根据实际需求设定,在此不做限定。例如,深度阈值可以是1米、2米、3米等不限于此。电子设备可以对第一图像进行人像检测,获取检测得到的至少一个候选人像,并根据第二图像获取各个候选人像对应的深度信息。具体地,电子设备可以获取各个候选人像在第一图像中对应的候选区域,将该候选区域匹配到第二图像中获取该候选区域对应的深度信息,从而将深度信息小于深度阈值的候选区域对应的候选人像作为目标人像。其中,候选区域对应的深度信息可以是候选区域中各个像素点的深度信息的平均值、也可以是各个像素点的深度信息中位值、还可以是各个像素点的深度信息众值等不限于此。例如,当根据第二图像检测到深度信息分别为0.5米、0.8米、1.2米、1.5米的候选区域时,若深度阈值为1米,则电子设备可以将0.5米与0.8米的候选区域对应的候选人像确定为目标人像。在一个实施例中,电子设备还可以直接根据第二图像的深度信息进行人像检测,获取深度信息小于深度阈值的人像作为目标人像。
应该理解的是,虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-5中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图6为一个实施例的图像处理装置的结构框图。如图6所示,图像处理装置600包括获取模块602、检测模块604、确定模块606和处理模块608。其中:
获取模块602,用于获取包含目标人像的第一图像及对应的第二图像,其中,第二图像包含第一图像对应的深度信息。
检测模块604,用于检测目标人像在第一图像中对应的第一特征信息,及检测目标人像在第二图像中对应的第二特征信息。
确定模块606,用于根据第一特征信息和第二特征信息确定目标人像的目标性别。
处理模块608,用于根据目标性别对第一图像进行处理。
在一个实施例中,检测模块604还可以用于将第一图像和第二图像输入至性别检测模型,其中,性别检测模型包含第一检测模型和第二检测模型,根据第一检测模型检测目标人像在第一图像中对应的第一特征信息;根据第二检测模型检测目标人像在第二图像中对应的第二特征信息。
在一个实施例中,获取模块602还可以用于获取性别检测模型对应的第一目标分辨率和第二目标分辨率;根据第一目标分辨率对第一图像进行调整,及根据第二目标分辨率对第二图像进行调整;将调整后的第一图像和调整后的第二图像输入至性别检测模型。
在一个实施例中,检测模块604还可以用于将第一图像转化为对应的灰度图像,检测目标人像在灰度图像对应的第一特征信息。
在一个实施例中,检测模块604还可以用于获取目标人像在第一图像中对应的第一人像区域及在第二图像中对应的第二人像区域;
检测第一人像区域对应的第一特征信息,及检测第二人像区域对应的第二特征信息。
在一个实施例中,处理模块608还可以用于获取目标性别对应的目标处理模式;根据目标处理模式对第一人像区域进行处理。
在一个实施例中,获取模块608还可以用于获取对第一图像进行人像检测后得到的至少一个第一人像区域;获取至少一个第一人像区域在第二图像中对应的至少一个第二人像区域,将第二图像中深度信息小于深度阈值的第二人像区域对应的人像作为目标人像。
上述图像处理装置中各个模块的划分仅用于举例说明,在其他实施例中,可将图像处理装置按照需要划分为不同的模块,以完成上述图像处理装置的全部或部分功能。
图7为一个实施例中电子设备的内部结构示意图。如图7所示,该电子设备包括通过***总线连接的处理器和存储器。其中,该处理器用于提供计算和控制能力,支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作***和计算机程序。该计算机程序可被处理器所执行,以用于实现以下各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作***计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。
本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描述方法的步骤。
本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图8为一个实施例中图像处理电路的示意图。如图8所示,为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。
如图8所示,图像处理电路包括ISP处理器840和控制逻辑器850。成像设备810捕捉的图像数据首先由ISP处理器840处理,ISP处理器840对图像数据进行分析以捕捉可用于确定和/或成像设备810的一个或多个控制参数的图像统计信息。成像设备810可包括具有一个或多个透镜812和图像传感器814的照相机。图像传感器814可包括色彩滤镜阵列(如Bayer滤镜),图像传感器814可获取用图像传感器814的每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器840处理的一组原始图像数据。传感器820(如陀螺仪)可基于传感器820接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器840。传感器820接口可以利用SMIA(Standard Mobile Imaging Architecture,标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外,图像传感器814也可将原始图像数据发送给传感器820,传感器820可基于传感器820接口类型把原始图像数据提供给ISP处理器840,或者传感器820将原始图像数据存储到图像存储器830中。
ISP处理器840按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器840可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
ISP处理器840还可从图像存储器830接收图像数据。例如,传感器820接口将原始图像数据发送给图像存储器830,图像存储器830中的原始图像数据再提供给ISP处理器840以供处理。图像存储器830可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像传感器814接口或来自传感器820接口或来自图像存储器830的原始图像数据时,ISP处理器840可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器830,以便在被显示之前进行另外的处理。ISP处理器840从图像存储器830接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器840处理后的图像数据可输出给显示器880,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,ISP处理器840的输出还可发送给图像存储器830,且显示器880可从图像存储器830读取图像数据。在一个实施例中,图像存储器830可被配置为实现一个或多个帧缓冲器。此外,ISP处理器840的输出可发送给编码器/解码器860,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器880设备上之前解压缩。编码器/解码器860可由CPU或GPU或协处理器实现。
ISP处理器840确定的统计数据可发送给控制逻辑器850单元。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜812阴影校正等图像传感器814统计信息。控制逻辑器850可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定成像设备810的控制参数及ISP处理器840的控制参数。例如,成像设备810的控制参数可包括传感器820控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜812控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及透镜812阴影校正参数。
电子设备根据上述图像处理技术可以实现本申请实施例中所描述的图像处理方法。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行图像处理方法的步骤。
一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行图像处理方法。
本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像处理方法,其特征在于,包括:
获取包含目标人像的第一图像及对应的第二图像,其中,所述第二图像包含所述第一图像对应的深度信息;
检测所述目标人像在所述第一图像中对应的第一特征信息,及检测所述目标人像在所述第二图像中对应的第二特征信息;
根据所述第一特征信息和所述第二特征信息确定所述目标人像的目标性别;
根据所述目标性别对所述第一图像进行处理。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述第一图像和第二图像输入至性别检测模型,其中,所述性别检测模型包含第一检测模型和第二检测模型;
所述检测所述目标人像在所述第一图像中对应的第一特征信息,及检测所述目标人像在所述第二图像中对应的第二特征信息,包括:
根据所述第一检测模型检测所述目标人像在所述第一图像中对应的第一特征信息;
根据所述第二检测模型检测所述目标人像在所述第二图像中对应的第二特征信息。
3.根据权利要求2所述的方法,其特征在于,所述将所述第一图像和第二图像输入至性别检测模型,包括:
获取所述性别检测模型对应的第一目标分辨率和第二目标分辨率;
根据所述第一目标分辨率对所述第一图像进行调整,及根据所述第二目标分辨率对所述第二图像进行调整;
将调整后的第一图像和调整后的第二图像输入至所述性别检测模型。
4.根据权利要求1所述的方法,其特征在于,所述检测所述目标人像在所述第一图像中对应的第一特征信息,包括:
将所述第一图像转化为对应的灰度图像,检测所述目标人像在所述灰度图像对应的所述第一特征信息。
5.根据权利要求1所述的方法,其特征在于,所述检测所述目标人像在所述第一图像中对应的第一特征信息,及检测所述目标人像在所述第二图像中对应的第二特征信息,包括:
获取所述目标人像在所述第一图像中对应的第一人像区域及在所述第二图像中对应的第二人像区域;
检测所述第一人像区域对应的所述第一特征信息,及检测所述第二人像区域对应的所述第二特征信息。
6.根据权利要求5所述的方法,其特征在于,所述根据所述目标性别对所述第一图像进行处理,包括:
获取所述目标性别对应的目标处理模式;
根据所述目标处理模式对所述第一人像区域进行处理。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对所述第一图像进行人像检测,得到至少一个候选人像;
根据所述第二图像获取所述候选人像对应的深度信息,将所述深度信息小于深度阈值的候选人像作为目标人像。
8.一种图像处理装置,其特征在于,包括:
获取模块,用于获取包含目标人像的第一图像及对应的第二图像,其中,所述第二图像包含所述第一图像对应的深度信息;
检测模块,用于检测所述目标人像在所述第一图像中对应的第一特征信息,及检测所述目标人像在所述第二图像中对应的第二特征信息;
确定模块,用于根据所述第一特征信息和所述第二特征信息确定所述目标人像的目标性别;
处理模块,用于根据所述目标性别对所述第一图像进行处理。
9.一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述的图像处理方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。
CN201811014149.XA 2018-08-31 2018-08-31 图像处理方法和装置、电子设备、计算机可读存储介质 Pending CN109284694A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811014149.XA CN109284694A (zh) 2018-08-31 2018-08-31 图像处理方法和装置、电子设备、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811014149.XA CN109284694A (zh) 2018-08-31 2018-08-31 图像处理方法和装置、电子设备、计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN109284694A true CN109284694A (zh) 2019-01-29

Family

ID=65183934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811014149.XA Pending CN109284694A (zh) 2018-08-31 2018-08-31 图像处理方法和装置、电子设备、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109284694A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368763A (zh) * 2020-03-09 2020-07-03 北京奇艺世纪科技有限公司 基于头像的图像处理方法、装置及计算机可读存储介质
CN116012949A (zh) * 2023-02-06 2023-04-25 南京智蓝芯联信息科技有限公司 一种复杂场景下的人流量统计识别方法及***

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101226591A (zh) * 2008-01-31 2008-07-23 上海交通大学 基于手机摄像头结合人脸识别技术的身份识别方法
US8041082B1 (en) * 2007-11-02 2011-10-18 Google Inc. Inferring the gender of a face in an image
CN102262440A (zh) * 2010-06-11 2011-11-30 微软公司 多模态性别识别
CN102542252A (zh) * 2011-11-18 2012-07-04 江西财经大学 智能广告投放***
CN102682294A (zh) * 2012-05-17 2012-09-19 南京理工大学常熟研究院有限公司 一种基于人脸形状及广义自组织映射的性别识别方法
CN103413270A (zh) * 2013-08-15 2013-11-27 北京小米科技有限责任公司 一种图像的处理方法、装置和终端设备
CN105069400A (zh) * 2015-07-16 2015-11-18 北京工业大学 基于栈式稀疏自编码的人脸图像性别识别***
CN106339719A (zh) * 2016-08-22 2017-01-18 微梦创科网络科技(中国)有限公司 一种图像识别方法及装置
CN106446821A (zh) * 2016-09-20 2017-02-22 北京金山安全软件有限公司 一种识别用户性别的方法、装置及电子设备
CN106529502A (zh) * 2016-08-01 2017-03-22 深圳奥比中光科技有限公司 唇语识别方法以及装置
CN106991654A (zh) * 2017-03-09 2017-07-28 广东欧珀移动通信有限公司 基于深度的人体美化方法和装置及电子装置
CN106997457A (zh) * 2017-03-09 2017-08-01 广东欧珀移动通信有限公司 人物肢体识别方法、人物肢体识别装置及电子装置
CN107742274A (zh) * 2017-10-31 2018-02-27 广东欧珀移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN107818305A (zh) * 2017-10-31 2018-03-20 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN107945107A (zh) * 2017-11-30 2018-04-20 广东欧珀移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN107995428A (zh) * 2017-12-21 2018-05-04 广东欧珀移动通信有限公司 图像处理方法、装置及存储介质和移动终端

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8041082B1 (en) * 2007-11-02 2011-10-18 Google Inc. Inferring the gender of a face in an image
CN101226591A (zh) * 2008-01-31 2008-07-23 上海交通大学 基于手机摄像头结合人脸识别技术的身份识别方法
CN102262440A (zh) * 2010-06-11 2011-11-30 微软公司 多模态性别识别
CN102542252A (zh) * 2011-11-18 2012-07-04 江西财经大学 智能广告投放***
CN102682294A (zh) * 2012-05-17 2012-09-19 南京理工大学常熟研究院有限公司 一种基于人脸形状及广义自组织映射的性别识别方法
CN103413270A (zh) * 2013-08-15 2013-11-27 北京小米科技有限责任公司 一种图像的处理方法、装置和终端设备
CN105069400A (zh) * 2015-07-16 2015-11-18 北京工业大学 基于栈式稀疏自编码的人脸图像性别识别***
CN106529502A (zh) * 2016-08-01 2017-03-22 深圳奥比中光科技有限公司 唇语识别方法以及装置
CN106339719A (zh) * 2016-08-22 2017-01-18 微梦创科网络科技(中国)有限公司 一种图像识别方法及装置
CN106446821A (zh) * 2016-09-20 2017-02-22 北京金山安全软件有限公司 一种识别用户性别的方法、装置及电子设备
CN106991654A (zh) * 2017-03-09 2017-07-28 广东欧珀移动通信有限公司 基于深度的人体美化方法和装置及电子装置
CN106997457A (zh) * 2017-03-09 2017-08-01 广东欧珀移动通信有限公司 人物肢体识别方法、人物肢体识别装置及电子装置
CN107742274A (zh) * 2017-10-31 2018-02-27 广东欧珀移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN107818305A (zh) * 2017-10-31 2018-03-20 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN107945107A (zh) * 2017-11-30 2018-04-20 广东欧珀移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN107995428A (zh) * 2017-12-21 2018-05-04 广东欧珀移动通信有限公司 图像处理方法、装置及存储介质和移动终端

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
XIAOLONG WANG 等: "Gender classification of depth images based on shape and texture analysis", 《 2013 IEEE GLOBAL CONFERENCE ON SIGNAL AND INFORMATION PROCESSING》 *
孙宁 等: "基于局部二元模式算子的人脸性别分类方法", 《华中科技大学学报(自然科学版)》 *
武勃 等: "人脸的性别分类", 《计算机研究与发展》 *
苗雪兰: "图像模式识别***及技术", 《面向对象的计算机图形理论与应用技术》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368763A (zh) * 2020-03-09 2020-07-03 北京奇艺世纪科技有限公司 基于头像的图像处理方法、装置及计算机可读存储介质
CN116012949A (zh) * 2023-02-06 2023-04-25 南京智蓝芯联信息科技有限公司 一种复杂场景下的人流量统计识别方法及***
CN116012949B (zh) * 2023-02-06 2023-11-17 南京智蓝芯联信息科技有限公司 一种复杂场景下的人流量统计识别方法及***

Similar Documents

Publication Publication Date Title
CN107730445B (zh) 图像处理方法、装置、存储介质和电子设备
CN108537749B (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN108537155B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN107730446B (zh) 图像处理方法、装置、计算机设备及计算机可读存储介质
CN109767467A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN108900769A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN108055452A (zh) 图像处理方法、装置及设备
CN107808137A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN108830208A (zh) 视频处理方法和装置、电子设备、计算机可读存储介质
CN111028137B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN107509031A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN109191403A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108805103A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108734676A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN107993209B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN109360254B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108875619A (zh) 视频处理方法和装置、电子设备、计算机可读存储介质
CN108024054A (zh) 图像处理方法、装置及设备
CN107493432A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN109246354A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN107911625A (zh) 测光方法、装置、可读存储介质和计算机设备
CN107945106B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN108846807A (zh) 光效处理方法、装置、终端及计算机可读存储介质
CN108616700A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN109327626A (zh) 图像采集方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190129

RJ01 Rejection of invention patent application after publication