CN107633237A - 图像背景分割方法、装置、设备及介质 - Google Patents

图像背景分割方法、装置、设备及介质 Download PDF

Info

Publication number
CN107633237A
CN107633237A CN201710944351.1A CN201710944351A CN107633237A CN 107633237 A CN107633237 A CN 107633237A CN 201710944351 A CN201710944351 A CN 201710944351A CN 107633237 A CN107633237 A CN 107633237A
Authority
CN
China
Prior art keywords
image
distance
face
pixel
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710944351.1A
Other languages
English (en)
Other versions
CN107633237B (zh
Inventor
张瀚文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jupiter Technology Co ltd
Original Assignee
Beijing Kingsoft Internet Security Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Internet Security Software Co Ltd filed Critical Beijing Kingsoft Internet Security Software Co Ltd
Priority to CN201710944351.1A priority Critical patent/CN107633237B/zh
Publication of CN107633237A publication Critical patent/CN107633237A/zh
Priority to US16/108,198 priority patent/US10713470B2/en
Application granted granted Critical
Publication of CN107633237B publication Critical patent/CN107633237B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种图像背景分割方法、装置、设备及介质，其中，方法包括：识别图像中的人脸区域，根据人脸区域获取人脸距离；根据人脸距离获取图像中每个像素的脸部距离参数；应用预先训练的图像区域分割模型对图像中每个像素的脸部距离参数和对应的颜色参数进行处理，确定与每个像素对应的图像区域类型；根据与每个像素对应的图像区域类型确定图像的背景区域，并对背景区域进行预设的背景图像处理。由此，基于每个像素的脸部距离参数和颜色参数识别背景区域，提高了背景区域识别的准确率。

Description

图像背景分割方法、装置、设备及介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像背景分割方法、装置、设备及介质。
背景技术
随着智能手机等终端设备的普及，用户习惯于通过终端设备进行拍照以记录生活的点滴，同时，用户对拍摄的图像的处理功能需求也越来越丰富，比如，用户希望对拍摄的图像进行背景虚化等背景处理。
相关技术中，在对图像进行背景处理时的，基于图像轮廓识别技术识别拍照主体轮廓，进而，将主体轮廓之外的区域作为背景区域，然而，这种识别方式，基于图像中亮度变化明显的点进行识别，当主体轮廓边缘和背景像素的亮度相近时，容易导致识别不准确，或者，基于图像中的像素的RGB颜色进行背景区域的确定，然而，这种识别方式，当拍照主体颜色和背景区域颜色较为接近时，无法准确区分出背景区域，因此，亟需一种能有效识别图像中背景区域的方式。
发明内容
本发明旨在至少在一定程度上解决上述的技术问题之一。
为此，本发明的第一个目的在于提出一种图像背景分割方法，以解决现有技术中，背景区域识别不准确的技术问题。本发明的第二个目的在于提出一种图像背景分割装置。本发明的第三个目的在于提出一种终端设备。
本发明的第四个目的在于提出一种计算机程序产品。
本发明的第五个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的，本发明第一方面实施例提出了一种图像背景分割方法，包括以下步骤：识别图像中的人脸区域，根据所述人脸区域获取人脸距离；根据所述人脸距离获取所述图像中每个像素的脸部距离参数；应用预先训练的图像区域分割模型对所述图像中每个像素的脸部距离参数和对应的颜色参数进行处理，确定与每个像素对应的图像区域类型；根据与每个像素对应的图像区域类型确定所述图像的背景区域，并对所述背景区域进行预设的背景图像处理。
本发明实施例的图像背景分割方法，识别图像中的人脸区域，根据人脸区域获取人脸距离，根据人脸距离获取图像中每个像素的脸部距离参数，进而，应用预先训练的图像区域分割模型对图像中每个像素的脸部距离参数和对应的颜色参数进行处理，确定与每个像素对应的图像区域类型，根据与每个像素对应的图像区域类型确定图像的背景区域，并对背景区域进行预设的背景图像处理。由此，基于每个像素的脸部距离参数和颜色参数识别背景区域，提高了背景区域识别的准确率。
另外，本发明实施例的图像背景分割方法，还具有如下附加的技术特征：
可选地，根据所述人脸区域获取人脸距离，包括：
检测所述人脸区域的中心横轴宽度获取脸部横轴距离；
和/或，
检测所述人脸区域的中心纵轴长度获取脸部纵轴距离。
可选地，所述根据所述人脸距离获取所述图像中每个像素的脸部距离参数，包括：
检测所述图像中每个像素到所述人脸区域的中心横轴之间的第一距离，计算所述第一距离与所述脸部横轴距离的第一比值；
和/或，
检测所述图像中每个像素到所述人脸区域的中心纵轴之间的第二距离，计算所述第二距离与所述脸部纵轴距离的第二比值。
可选地，还包括：
识别图像样本集中每个样本图像的样本人脸区域，根据所述样本人脸区域获取样本人脸距离；
根据所述样本人脸距离获取每个样本图像中背景区域中各像素的脸部距离参数，以及用户区域中各像素的脸部距离参数；
应用预设的神经网络通过反向传播算法训练所述各像素的脸部距离参数和对应的颜色参数，确定所述神经网络上的神经元参数获取所述图像区域分割模型。
可选地，在所述根据与每个像素对应的图像区域类型确定所述图像的背景区域之后，还包括：
根据与每个像素对应的图像区域类型确定所述图像的用户区域，并对所述用户区域进行预设的用户图像处理。
为达上述目的，本发明第二方面实施例提出了一种图像背景分割装置，包括：第一获取模块，用于识别图像中的人脸区域，根据所述人脸区域获取人脸距离；第二获取模块，用于根据所述人脸距离获取所述图像中每个像素的脸部距离参数；确定模块，用于应用预先训练的图像区域分割模型对所述图像中每个像素的脸部距离参数和对应的颜色参数进行处理，确定与每个像素对应的图像区域类型；处理模块，用于根据与每个像素对应的图像区域类型确定所述图像的背景区域，并对所述背景区域进行预设的背景图像处理。
本发明实施例的图像背景分割装置，识别图像中的人脸区域，根据人脸区域获取人脸距离，根据人脸距离获取图像中每个像素的脸部距离参数，进而，应用预先训练的图像区域分割模型对图像中每个像素的脸部距离参数和对应的颜色参数进行处理，确定与每个像素对应的图像区域类型，根据与每个像素对应的图像区域类型确定图像的背景区域，并对背景区域进行预设的背景图像处理。由此，基于每个像素的脸部距离参数和颜色参数识别背景区域，提高了背景区域识别的准确率。
另外，本发明实施例的图像背景分割装置，还具有如下附加的技术特征：
可选地，所述第一获取模块，具体用于：
检测所述人脸区域的中心横轴宽度获取脸部横轴距离；
和/或，
检测所述人脸区域的中心纵轴长度获取脸部纵轴距离。
可选地，所述第二获取模块具体用于：
检测所述图像中每个像素到所述人脸区域的中心横轴之间的第一距离，计算所述第一距离与所述脸部横轴距离的第一比值；
和/或，
检测所述图像中每个像素到所述人脸区域的中心纵轴之间的第二距离，计算所述第二距离与所述脸部纵轴距离的第二比值。
可选地，还包括：
第三获取模块，用于识别图像样本集中每个样本图像的样本人脸区域，根据所述样本人脸区域获取样本人脸距离；
第四获取模块，用于根据所述样本人脸距离获取每个样本图像中背景区域中各像素的脸部距离参数，以及用户区域中各像素的脸部距离参数；
模型训练模块，用于应用预设的神经网络通过反向传播算法训练所述各像素的脸部距离参数和对应的颜色参数，确定所述神经网络上的神经元参数获取所述图像区域分割模型。
可选地，所述处理模块还用于：
根据与每个像素对应的图像区域类型确定所述图像的用户区域，并对所述用户区域进行预设的用户图像处理。
为达上述目的，本发明第三方面实施例提出了一种终端设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如上述实施例所述的图像背景分割方法。
为了实现上述目的，本发明第四方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行一种如上述实施例所述的图像背景分割方法。
为了实现上述目的，本发明第五方面实施例提出了一种非临时性计算机可读存储介质，当所述存储介质中的指令由处理器被执行时，使得能够执行如上述实施例所述的图像背景分割方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本发明一个实施例的图像背景分割方法的流程图；
图2(a)是根据本发明第一个实施例的图像背景分割方法的应用场景示意图；
图2(b)是根据本发明第二个实施例的图像背景分割方法的应用场景示意图；
图2(c)是根据本发明第三个实施例的图像背景分割方法的应用场景示意图；
图3(a)是根据本发明第四个实施例的图像背景分割方法的应用场景示意图；
图3(b)是根据本发明第五个实施例的图像背景分割方法的应用场景示意图；
图3(c)是根据本发明第六个实施例的图像背景分割方法的应用场景示意图；
图4(a)是根据本发明第七个实施例的图像背景分割方法的应用场景示意图；
图4(b)是根据本发明第八个实施例的图像背景分割方法的应用场景示意图；
图5是根据本发明另一个实施例的图像背景分割方法的流程图；
图6是根据本发明一个实施例的图像背景分割装置的结构示意图；
图7是根据本发明另一个实施例的图像背景分割装置的结构示意图；
以及
图8是根据本发明一个实施例的终端设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的图像背景分割方法、装置、设备及介质。
其中，本发明实施的图像背景分割方法应用于具有拍照功能的终端设备中，其中，该终端设备可以是手机、平板电脑、个人数字助理、穿戴式设备等具有拍照摄像头的硬件设备，该穿戴式设备可以是智能手环、智能手表、智能眼镜等。
图1是根据本发明一个实施例的图像背景分割方法的流程图，如图1所示，该方法包括：
步骤101，识别图像中的人脸区域，根据人脸区域获取人脸距离。
步骤102，根据人脸距离获取图像中每个像素的脸部距离参数。
可以理解的是，由于人脸的特征相较于其他区域比较明显，因而，根据现有技术，可以较容易的获取到图像中的人脸区域，比如，通过识别图像中与肤色相近的区域的覆盖范围，确定人脸区域，又比如，通过识别图像中的五官和脸部轮廓的方式，确定人脸区域等。
需要说明的是，正如以上分析的，相关技术中，仅仅基于图像像素的RGB色彩特征，或者基于图像的亮度特征等进行背景区域的确定，容易导致背景区域识别不准确，为了解决该技术问题，本发明实施例中，引入其他的考量参数-距离参数，以便于结合其他考量参数进行背景区域的确定，由此，经过大量实验证明，结合距离参数确定的背景区域准确度更高。
具体地，根据人脸区域获取人脸距离，以便于进一步根据人脸距离获取图像中每个像素的脸部距离参数，由此，获取到图像中，每个像素点基于距离维度的参数值。
需要说明的是，根据应用场景的不同，上述人脸距离和脸部距离参数的内容不同，为了描述的清楚，下面结合示例进行说明：
第一种示例：人脸距离包括脸部横轴距离。
在本示例中，检测人脸区域的中心横轴宽度，获取脸部横轴距离，该脸部横轴距离作为人脸距离参数。
需要说明的是，在不同的应用场景下，可采用不同的检测人脸区域的中心横轴宽度，作为一种可能的实现方式，如图2(a)所示，获取人脸区域轮廓上每个像素的横坐标，将横坐标值最小的像素点和坐标值最大的像素点之间的距离，确定为人脸的横轴宽度。
作为另一种可能的实现方式，如图2(b)所示，预先建立人脸区域分割框架，在确定图像中的人脸区域后，引入该人脸区域分割框架，根据人脸区域的轮廓调整人脸区域分割框架，获取调整后的人脸区域分割框架，以根据该调整后的人脸区域分割框架的中心横轴宽度，确定出人脸区域的中心横轴宽度进而获取脸部横轴距离。
进一步的，在本实施例中，检测图像中每个像素到人脸区域的中心横轴之间的第一距离，计算第一距离与脸部横轴距离的第一比值，该第一比值为对应像素的脸部距离参数，其中，如图2(c)所示，以像素点为A1进行说明，每个像素到人脸区域的中心横轴之间的第一距离可以为到脸部横轴的垂直距离，也可以为到横轴的某一个固定点的直线距离等，在此不限制。
第二种示例：人脸距离包括脸部纵轴距离。
在本示例中，检测人脸区域的中心纵轴宽度，获取脸部纵轴距离，该脸部纵轴距离作为人脸距离参数。
需要说明的是，在不同的应用场景下，可采用不同的检测人脸区域的中心纵轴宽度，作为一种可能的实现方式，如图3(a)所示，获取人脸区域轮廓上每个像素的纵坐标，将纵坐标值最小的像素点和坐标值最大的像素点之间的距离，确定为人脸的纵轴宽度。
作为另一种可能的实现方式，如图3(b)所示，预先建立人脸区域分割框架，在确定图像中的人脸区域后，引入该人脸区域分割框架，根据人脸区域的轮廓调整人脸区域分割框架，获取调整后的人脸区域分割框架，以根据该调整后的人脸区域分割框架的中心纵轴宽度，确定出人脸区域的中心纵轴宽度进而获取脸部纵轴距离。
进一步的，在本实施例中，检测图像中每个像素到人脸区域的中心纵轴之间的第二距离，计算第二距离与脸部纵轴距离的第二比值，该第二比值为对应像素的脸部距离参数，其中，如图3(c)所示，以像素点为A2进行说明，每个像素到人脸区域的中心纵轴之间的第二距离可以为到脸部纵轴的垂直距离，也可以为到纵轴的某一个固定点的直线距离等，在此不限制。
第三种示例：人脸距离包括脸部横轴距离和脸部纵轴距离。
在本示例中，检测人脸区域的中心横轴宽度和脸部纵轴宽度，获取脸部横轴距离和脸部纵轴距离，该脸部横轴距离和脸部纵轴距离作为人脸距离参数。
需要说明的是，在不同的应用场景下，可采用不同的检测人脸区域的中心横轴和纵轴宽度，作为一种可能的实现方式，如图4(a)所示，获取人脸区域轮廓上每个像素的横坐标和纵坐标，将横坐标值最小的像素点和坐标值最大的像素点之间的距离，确定为人脸的横轴宽度，将纵坐标值最小的像素点和坐标值最大的像素点之间的距离，确定为人脸的纵轴宽度。
作为另一种可能的实现方式，如图4(b)所示，预先建立人脸区域分割框架，在确定图像中的人脸区域后，引入该人脸区域分割框架，根据人脸区域的轮廓调整人脸区域分割框架，获取调整后的人脸区域分割框架，以根据该调整后的人脸区域分割框架的中心横轴和纵轴宽度，确定出人脸区域的中心横轴和纵轴宽度进而获取脸部横轴和纵轴距离。
进一步的，在本实施例中，检测图像中每个像素到人脸区域的中心横轴之间的第一距离和中心纵轴之间的第二距离，计算第一距离和第二距离与脸部横轴距离的第一比值和纵轴距离的第二比值，该第一比值和第二比值为对应像素的脸部距离参数，同样的，每个像素到人脸区域的中心横轴之间的第二距离可以为到脸部横轴的垂直距离，也可以为到横轴的某一个固定点的直线距离等，每个像素到人脸区域的中心纵轴之间的第二距离可以为到脸部纵轴的垂直距离，也可以为到纵轴的某一个固定点的直线距离等，在此不限制。
步骤103，应用预先训练的图像区域分割模型对图像中每个像素的脸部距离参数和对应的颜色参数进行处理，确定与每个像素对应的图像区域类型。
具体地，预先根据大量实验数据训练图像区域分割模型，该模型的可以根据输入的每个像素的脸部距离参数和对应的颜色参数，计算出该每个像素点所属于的图像区域类型，其中，图像区域类型包括人脸区域、身体区域、背景区域等。
其中，在实际执行过程中，图像区域分割模型可以包括不同的模型，作为一种可能的实现方式，该图像区域分割模型可以包括神经网络，从而，如图5所示的根据本发明图像背景分割方法还包括：
步骤201，识别图像样本集中每个样本图像的样本人脸区域，根据样本人脸区域获取样本人脸距离。
其中，为了保证模型训练的可靠性，本发明实施例中的识别图像样本集尽可能丰富。
步骤202，根据样本人脸距离获取每个样本图像中背景区域中各像素的脸部距离参数，以及用户区域中各像素的脸部距离参数。
步骤203，应用预设的神经网络通过反向传播算法训练各像素的脸部距离参数和对应的颜色参数，确定神经网络上的神经元参数获取图像区域分割模型。
可以理解，神经网络具有多层结构，有多个神经元参数构成，神经网络基于深度学习技术进行运作，在本发明的实施例中，利用神经网络对图像进行区域分割，也就是说，利用神经网络对输入的各像素的脸部距离参数和对应的颜色参数进行分类，将其作为分类器使用，输出为对应的图像区域，比如，人像区域、背景区域等。
在实际执行中，神经网络的训练依靠反向传播算法：最开始输入层输入特征向量，网络层层计算获得输出，输出层发现输出和正确的类号不一样，这时它就让最后一层神经元进行参数调整，最后一层神经元参数不仅自己调整参数，还会勒令连接它的倒数第二层神经元调整，层层往回倒序调整。经过调整的神经网络会在样本上继续测试，如果输出还是分错，继续回退调整，直到网络输出满意为止。
具体地，可以理解在本发明的实施例中，预先针对每个图像样本集中每个样本图像，获知对应的样本人脸区域、背景区域和身体区域等正确的图像区域，在将各像素的脸部距离参数和对应的颜色参数输入神经网络后，将神经网络输出的图像区域分割结果，与正确的图像区域比对，根据比对结果调整各神经元参数，直至最终神经网络的输出结果满足要求，比如误差小于一定值等。
步骤104，根据与每个像素对应的图像区域类型确定图像的背景区域，并对背景区域进行预设的背景图像处理。
其中，预设的背景图像处理包括背景虚化操作、背景替换操作等。
具体地，根据与每个像素对应的图像区域类型，确定出图像区域类型为背景区域的多个像素点，根据多个像素点组成的区域确定出图像的背景区域，进而，根据用户需求，可以对背景区域进行预设的背景图像处理，由此，基于图像的更多维度的特征提取背景区域，识别准确率更高。
当然，在一些场景下，用户也可能具有对其他图像区域的处理需求，比如，对用户区域(包括人脸区域和身体区域)进行亮度提升处理、抠图处理等，因此，在本发明的一个实施例中，还可根据与每个像素对应的图像区域类型确定图像的用户区域，并对用户区域进行预设的用户图像处理。
综上所述，本发明实施例的图像背景分割方法，识别图像中的人脸区域，根据人脸区域获取人脸距离，根据人脸距离获取图像中每个像素的脸部距离参数，进而，应用预先训练的图像区域分割模型对图像中每个像素的脸部距离参数和对应的颜色参数进行处理，确定与每个像素对应的图像区域类型，根据与每个像素对应的图像区域类型确定图像的背景区域，并对背景区域进行预设的背景图像处理。由此，基于每个像素的脸部距离参数和颜色参数识别背景区域，提高了背景区域识别的准确率。
为了实现上述实施例，本发明还提出了一种图像背景分割装置，图6是根据本发明一个实施例的图像背景分割装置的结构示意图，如图6所示，该图像背景分割装置包括第一获取模块100、第二获取模块200、确定模块300和处理模块400。
其中，第一获取模块100，用于识别图像中的人脸区域，根据人脸区域获取人脸距离。
在本发明的一个实施例中，第一获取模块100具体用于检测人脸区域的中心横轴宽度获取脸部横轴距离。
在本发明的一个实施例中，第一获取模块100具体用于检测人脸区域的中心纵轴长度获取脸部纵轴距离。
在本发明的一个实施例中，第一获取模块100具体用于检测人脸区域的中心横轴宽度获取脸部横轴距离和检测人脸区域的中心纵轴长度获取脸部纵轴距离。
第二获取模块200，用于根据人脸距离获取图像中每个像素的脸部距离参数。
在本发明的一个实施例中，第二获取模块200，具体用于检测图像中每个像素到人脸区域的中心横轴之间的第一距离，计算第一距离与脸部横轴距离的第一比值。
在本发明的一个实施例中，第二获取模块200，具体用于检测图像中每个像素到人脸区域的中心纵轴之间的第二距离，计算第二距离与脸部纵轴距离的第二比值。
在本发明的一个实施例中，第二获取模块200，具体用于检测图像中每个像素到人脸区域的中心横轴之间的第一距离，计算第一距离与脸部横轴距离的第一比值，和，检测图像中每个像素到人脸区域的中心纵轴之间的第二距离，计算第二距离与脸部纵轴距离的第二比值。
确定模块300，用于应用预先训练的图像区域分割模型对图像中每个像素的脸部距离参数和对应的颜色参数进行处理，确定与每个像素对应的图像区域类型。
处理模块400，用于根据与每个像素对应的图像区域类型确定图像的背景区域，并对背景区域进行预设的背景图像处理。
其中，在本发明的一个实施例中，处理模块400还用于根据与每个像素对应的图像区域类型确定图像的用户区域，并对用户区域进行预设的用户图像处理。
发明的一个实施例中，如图7所示，该图像背景分割装置还包括第三获取模块500、第四获取模块600和模型训练模块700。
其中，第三获取模块500，用于识别图像样本集中每个样本图像的样本人脸区域，根据样本人脸区域获取样本人脸距离。
第四获取模块600，用于根据样本人脸距离获取每个样本图像中背景区域中各像素的脸部距离参数，以及用户区域中各像素的脸部距离参数。
模型训练模块700，用于应用预设的神经网络通过反向传播算法训练各像素的脸部距离参数和对应的颜色参数，确定神经网络上的神经元参数获取图像区域分割模型。
需要说明的是，前述对方法实施例的描述，也适用于本发明实施例的装置，其实现原理类似，在此不再赘述。
上述图像背景分割装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像背景分割装置按照需要划分为不同的模块，以完成上述图像背景分割装置的全部或部分功能。
综上所述，本发明实施例的图像背景分割装置，识别图像中的人脸区域，根据人脸区域获取人脸距离，根据人脸距离获取图像中每个像素的脸部距离参数，进而，应用预先训练的图像区域分割模型对图像中每个像素的脸部距离参数和对应的颜色参数进行处理，确定与每个像素对应的图像区域类型，根据与每个像素对应的图像区域类型确定图像的背景区域，并对背景区域进行预设的背景图像处理。由此，基于每个像素的脸部距离参数和颜色参数识别背景区域，提高了背景区域识别的准确率。
为了实现上述实施例，本发明还提出了一种终端设备，图8是根据本发明一个实施例的终端设备的结构示意图。如图8所示，存储器21、处理器22及存储在存储器21上并可在处理器22上运行的计算机程序。
处理器22执行所述程序时实现上述实施例中提供的图像背景分割方法，该图像背景分割方法包括：
步骤101’，识别图像中的人脸区域，根据人脸区域获取人脸距离。
步骤102’，根据人脸距离获取图像中每个像素的脸部距离参数。
步骤103’，应用预先训练的图像区域分割模型对图像中每个像素的脸部距离参数和对应的颜色参数进行处理，确定与每个像素对应的图像区域类型。
步骤104’，根据与每个像素对应的图像区域类型确定图像的背景区域，并对背景区域进行预设的背景图像处理。
进一步地，计算机设备还包括：
通信接口23，用于存储器21和处理器22之间的通信。
存储器21，用于存放可在处理器22上运行的计算机程序。
存储器21可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。
处理器22，用于执行所述程序时实现上述实施例所述的图像背景分割方法。
如果存储器21、处理器22和通信接口23独立实现，则通信接口21、存储器21和处理器22可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器21、处理器22及通信接口23，集成在一块芯片上实现，则存储器21、处理器22及通信接口23可以通过内部接口完成相互间的通信。
处理器22可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本发明实施例的一个或多个集成电路。
为了实现上述实施例，本发明还提出一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，执行如上述所述的图像背景分割方法，其中，该图像背景分割方法包括以下步骤：
识别图像中的人脸区域，根据人脸区域获取人脸距离。
根据人脸距离获取图像中每个像素的脸部距离参数。
应用预先训练的图像区域分割模型对图像中每个像素的脸部距离参数和对应的颜色参数进行处理，确定与每个像素对应的图像区域类型。
根据与每个像素对应的图像区域类型确定图像的背景区域，并对背景区域进行预设的背景图像处理。
为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，当所述存储介质中的指令由处理器被执行时，使得能够执行如上述实施例所述的图像背景分割方法，其中，该图像背景分割方法包括以下步骤：
识别图像中的人脸区域，根据人脸区域获取人脸距离。
根据人脸距离获取图像中每个像素的脸部距离参数。
应用预先训练的图像区域分割模型对图像中每个像素的脸部距离参数和对应的颜色参数进行处理，确定与每个像素对应的图像区域类型。
根据与每个像素对应的图像区域类型确定图像的背景区域，并对背景区域进行预设的背景图像处理。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的
纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种图像背景分割方法，其特征在于，包括以下步骤：
识别图像中的人脸区域，根据所述人脸区域获取人脸距离；
根据所述人脸距离获取所述图像中每个像素的脸部距离参数；
应用预先训练的图像区域分割模型对所述图像中每个像素的脸部距离参数和对应的颜色参数进行处理，确定与每个像素对应的图像区域类型；
根据与每个像素对应的图像区域类型确定所述图像的背景区域，并对所述背景区域进行预设的背景图像处理。
2.如权利要求1所述的方法，其特征在于，根据所述人脸区域获取人脸距离，包括：
检测所述人脸区域的中心横轴宽度获取脸部横轴距离；
和/或，
检测所述人脸区域的中心纵轴长度获取脸部纵轴距离。
3.如权利要求2所述的方法，其特征在于，所述根据所述人脸距离获取所述图像中每个像素的脸部距离参数，包括：
检测所述图像中每个像素到所述人脸区域的中心横轴之间的第一距离，计算所述第一距离与所述脸部横轴距离的第一比值；
和/或，
检测所述图像中每个像素到所述人脸区域的中心纵轴之间的第二距离，计算所述第二距离与所述脸部纵轴距离的第二比值。
4.如权利要求1所述的方法，其特征在于，还包括：
识别图像样本集中每个样本图像的样本人脸区域，根据所述样本人脸区域获取样本人脸距离；
根据所述样本人脸距离获取每个样本图像中背景区域中各像素的脸部距离参数，以及用户区域中各像素的脸部距离参数；
应用预设的神经网络通过反向传播算法训练所述各像素的脸部距离参数和对应的颜色参数，确定所述神经网络上的神经元参数获取所述图像区域分割模型。
5.如权利要求1-4任一所述的方法，其特征在于，在所述根据与每个像素对应的图像区域类型确定所述图像的背景区域之后，还包括：
根据与每个像素对应的图像区域类型确定所述图像的用户区域，并对所述用户区域进行预设的用户图像处理。
6.一种图像背景分割装置，其特征在于，包括：
第一获取模块，用于识别图像中的人脸区域，根据所述人脸区域获取人脸距离；
第二获取模块，用于根据所述人脸距离获取所述图像中每个像素的脸部距离参数；
确定模块，用于应用预先训练的图像区域分割模型对所述图像中每个像素的脸部距离参数和对应的颜色参数进行处理，确定与每个像素对应的图像区域类型；
处理模块，用于根据与每个像素对应的图像区域类型确定所述图像的背景区域，并对所述背景区域进行预设的背景图像处理。
7.如权利要求6所述的装置，其特征在于，所述第一获取模块，具体用于：
检测所述人脸区域的中心横轴宽度获取脸部横轴距离；
和/或，
检测所述人脸区域的中心纵轴长度获取脸部纵轴距离。
8.如权利要求7所述的装置，其特征在于，所述第二获取模块具体用于：
检测所述图像中每个像素到所述人脸区域的中心横轴之间的第一距离，计算所述第一距离与所述脸部横轴距离的第一比值；
和/或，
检测所述图像中每个像素到所述人脸区域的中心纵轴之间的第二距离，计算所述第二距离与所述脸部纵轴距离的第二比值。
9.一种终端设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-5任一项所述的图像背景分割方法。
10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-5中任一项所述的图像背景分割方法。
CN201710944351.1A 2017-09-30 2017-09-30 图像背景分割方法、装置、设备及介质 Active CN107633237B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710944351.1A CN107633237B (zh) 2017-09-30 2017-09-30 图像背景分割方法、装置、设备及介质
US16/108,198 US10713470B2 (en) 2017-09-30 2018-08-22 Method of determining image background, device for determining image background, and a non-transitory medium for same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710944351.1A CN107633237B (zh) 2017-09-30 2017-09-30 图像背景分割方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN107633237A true CN107633237A (zh) 2018-01-26
CN107633237B CN107633237B (zh) 2020-05-29

Family

ID=61104246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710944351.1A Active CN107633237B (zh) 2017-09-30 2017-09-30 图像背景分割方法、装置、设备及介质

Country Status (2)

Country Link
US (1) US10713470B2 (zh)
CN (1) CN107633237B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629319A (zh) * 2018-05-09 2018-10-09 北京嘀嘀无限科技发展有限公司 图像检测方法及***
CN110751659A (zh) * 2019-09-27 2020-02-04 北京小米移动软件有限公司 图像分割方法及装置、终端、存储介质
CN110956576A (zh) * 2018-09-27 2020-04-03 北京小米移动软件有限公司 图像处理方法、装置、设备及存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11057576B2 (en) * 2019-02-15 2021-07-06 Shutterfly, Llc System and method for automated detection and replacement of photographic scenes
CN110532188B (zh) * 2019-08-30 2021-06-29 北京三快在线科技有限公司 页面展示测试的方法和装置
CN111290930A (zh) * 2020-02-17 2020-06-16 京东数字科技控股有限公司 一种进程处理方法、装置、***及存储介质
CN111339907A (zh) * 2020-02-24 2020-06-26 江河瑞通（北京）技术有限公司 一种基于图像识别技术的排污识别方法及装置
CN112465814A (zh) * 2020-12-17 2021-03-09 无锡日联科技股份有限公司 基于深度学习的电池overhang的计算方法和装置
CN112766171B (zh) * 2021-01-21 2023-01-31 京东科技信息技术有限公司 一种喷淋方法、装置、***及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923637A (zh) * 2010-07-21 2010-12-22 康佳集团股份有限公司 一种移动终端及其人脸检测方法和装置
US20120327172A1 (en) * 2011-06-22 2012-12-27 Microsoft Corporation Modifying video regions using mobile device input
CN103871051A (zh) * 2014-02-19 2014-06-18 小米科技有限责任公司 图像处理方法、装置和电子设备
CN105654420A (zh) * 2015-12-21 2016-06-08 小米科技有限责任公司 人脸图像处理方法及装置
CN105869159A (zh) * 2016-03-28 2016-08-17 联想(北京)有限公司 一种图像分割方法及装置
US20170213112A1 (en) * 2016-01-25 2017-07-27 Adobe Systems Incorporated Utilizing deep learning for automatic digital image segmentation and stylization

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923637A (zh) * 2010-07-21 2010-12-22 康佳集团股份有限公司 一种移动终端及其人脸检测方法和装置
US20120327172A1 (en) * 2011-06-22 2012-12-27 Microsoft Corporation Modifying video regions using mobile device input
CN103871051A (zh) * 2014-02-19 2014-06-18 小米科技有限责任公司 图像处理方法、装置和电子设备
CN105654420A (zh) * 2015-12-21 2016-06-08 小米科技有限责任公司 人脸图像处理方法及装置
US20170213112A1 (en) * 2016-01-25 2017-07-27 Adobe Systems Incorporated Utilizing deep learning for automatic digital image segmentation and stylization
CN105869159A (zh) * 2016-03-28 2016-08-17 联想(北京)有限公司 一种图像分割方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629319A (zh) * 2018-05-09 2018-10-09 北京嘀嘀无限科技发展有限公司 图像检测方法及***
CN108629319B (zh) * 2018-05-09 2020-01-07 北京嘀嘀无限科技发展有限公司 图像检测方法及***
CN110956576A (zh) * 2018-09-27 2020-04-03 北京小米移动软件有限公司 图像处理方法、装置、设备及存储介质
CN110956576B (zh) * 2018-09-27 2024-03-22 北京小米移动软件有限公司 图像处理方法、装置、设备及存储介质
CN110751659A (zh) * 2019-09-27 2020-02-04 北京小米移动软件有限公司 图像分割方法及装置、终端、存储介质
CN110751659B (zh) * 2019-09-27 2022-06-10 北京小米移动软件有限公司 图像分割方法及装置、终端、存储介质

Also Published As

Publication number Publication date
US10713470B2 (en) 2020-07-14
CN107633237B (zh) 2020-05-29
US20190102604A1 (en) 2019-04-04

Similar Documents

Publication Publication Date Title
CN107633237A (zh) 图像背景分割方法、装置、设备及介质
CN108765278B (zh) 一种图像处理方法、移动终端及计算机可读存储介质
CN109325954B (zh) 图像分割方法、装置及电子设备
CN107657249A (zh) 多尺度特征行人重识别的方法、装置、存储介质及处理器
CN109389135B (zh) 一种图像筛选方法及装置
KR20210139450A (ko) 이미지 디스플레이 방법 및 디바이스
CN107016413B (zh) 一种基于深度学习算法的烟叶在线分级方法
CN108776819A (zh) 一种目标识别方法、移动终端及计算机可读存储介质
CN107277356A (zh) 逆光场景的人脸区域处理方法和装置
CN110263681A (zh) 面部表情的识别方法和装置、存储介质、电子装置
CN106991654A (zh) 基于深度的人体美化方法和装置及电子装置
CN105608447A (zh) 对人体面部微笑表情深度卷积神经网络的检测方法
CN106851238A (zh) 白平衡控制方法、白平衡控制装置及电子装置
CN104754211B (zh) 图像处理装置以及图像处理方法
CN106446862A (zh) 一种人脸检测方法及***
CN106991688A (zh) 人体跟踪方法、人体跟踪装置和电子装置
CN107018323A (zh) 控制方法、控制装置和电子装置
Várkonyi-Kóczy et al. Gradient-based synthesized multiple exposure time color HDR image
CN107016348A (zh) 结合深度信息的人脸检测方法、检测装置和电子装置
CN108875471A (zh) 人脸图像底库注册的方法、装置及计算机存储介质
WO2021180131A1 (zh) 一种图像处理方法及电子设备
CN111666800A (zh) 一种行人重识别模型训练方法及行人重识别方法
CN107820018A (zh) 用户拍照方法、装置及设备
CN116681636B (zh) 基于卷积神经网络的轻量化红外与可见光图像融合方法
CN107295252A (zh) 对焦区域显示方法、装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20201118

Address after: Room 115, area C, 1 / F, building 8, yard 1, yaojiayuan South Road, Chaoyang District, Beijing 100025

Patentee after: Beijing LEMI Technology Co.,Ltd.

Address before: 100085 Beijing City, Haidian District Road 33, two floor East Xiaoying

Patentee before: BEIJING KINGSOFT INTERNET SECURITY SOFTWARE Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231020

Address after: 3870A, 3rd Floor, Building 4, Courtyard 49, Badachu Road, Shijingshan District, Beijing, 100144

Patentee after: Beijing Jupiter Technology Co.,Ltd.

Address before: Room 115, area C, 1 / F, building 8, yard 1, yaojiayuan South Road, Chaoyang District, Beijing 100025

Patentee before: Beijing LEMI Technology Co.,Ltd.

TR01 Transfer of patent right