CN112036311A - 基于眼部状态检测的图像处理方法、装置及存储介质 - Google Patents

基于眼部状态检测的图像处理方法、装置及存储介质 Download PDF

Info

Publication number
CN112036311A
CN112036311A CN202010899317.9A CN202010899317A CN112036311A CN 112036311 A CN112036311 A CN 112036311A CN 202010899317 A CN202010899317 A CN 202010899317A CN 112036311 A CN112036311 A CN 112036311A
Authority
CN
China
Prior art keywords
image
face
eye
human
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010899317.9A
Other languages
English (en)
Inventor
徐旺
陈光辉
许译天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202010899317.9A priority Critical patent/CN112036311A/zh
Publication of CN112036311A publication Critical patent/CN112036311A/zh
Priority to JP2023513999A priority patent/JP2023540273A/ja
Priority to PCT/CN2021/114881 priority patent/WO2022042670A1/zh
Priority to EP21860504.6A priority patent/EP4206975A4/en
Priority to US18/087,660 priority patent/US11842569B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本公开提供了一种基于眼部状态检测的图像处理方法、装置、设备及存储介质，所述方法包括：对待处理图像集中同一张人脸的眼部状态进行检测，得到所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像，然后从中确定出该人脸对应的目标效果图像，最终，将该目标效果图像合成到待处理图像集中的基准图像上，在将该人脸对应的目标效果图像合成到基准图像之后，得到待处理图像集对应的目标图像。本公开基于眼部状态检测确定每张人脸的目标效果图像，然后将各个目标效果图像合成至预设基准图像中，能够提高目标图像中每个人的眼部状态效果，保证目标图像的质量，提高用户对目标图像的满意度。

Description

基于眼部状态检测的图像处理方法、装置及存储介质
技术领域
本公开涉及图片数据处理领域，尤其涉及一种基于眼部状态检测的图像处理方法、装置、设备及存储介质。
背景技术
在拍摄照片时，经常会因为照片中有人的眼部状态不理想等问题，导致需要重拍，甚至反复重拍的情况发生。尤其是在多人拍摄合影时，更容易出现由于“有人闭眼”、“有人未注视镜头”等情况导致的反复拍摄问题，影响人们的拍摄体验。
另外，目前通常是基于反复拍摄得到的多张照片，人工选择出大多数人的眼部状态较理想的照片作为最终的合影照片。由于选择出的合影照片中一定程度上还会存在有人眼部状态不理想的情况，无法在合影照片中展现出本次拍摄过程中每个人的眼部最佳状态，因此一定程度上降低了用户对最终的合影照片的满意度。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种基于眼部状态检测的图像处理方法、装置、设备及存储介质，能够改善合影照片中每个人的眼部状态效果，保证了合影照片的质量，提高了用户对最终的合影照片的满意度。
第一方面，本公开提供了一种基于眼部状态检测的图像处理方法，所述方法包括：
对待处理图像集中同一张人脸的眼部状态进行检测，得到所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像；其中，所述待处理图像集包括连拍的多帧图像；
基于所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像，确定所述人脸对应的目标效果图像；
将所述人脸对应的目标效果图像合成到所述待处理图像集中的基准图像上，得到所述待处理图像集对应的目标图像。
一种可选的实施方式中，所述对待处理图像集中同一张人脸的眼部状态进行检测，得到所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像，包括：
从待处理图像集中确定同一张人脸的人脸图像；
对所述人脸的人脸图像进行眼部状态检测，得到所述人脸的人脸图像中眼部状态符合预设眼睛开合程度条件的人脸图像，作为目标区域图像。
一种可选的实施方式中，所述对所述人脸的人脸图像进行眼部状态检测，包括：
从所述人脸的人脸图像中提取所述人脸的人眼图像；
对所述人脸的人眼图像进行眼部状态检测。
一种可选的实施方式中，所述对待处理图像集中同一张人脸的眼部状态进行检测，得到所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像，包括：
从待处理图像集中确定同一张人脸的人眼图像；
对所述人脸的人眼图像进行眼部状态检测，得到所述人脸的人眼图像中眼部状态符合预设眼睛开合程度条件的人眼图像，作为目标区域图像。
一种可选的实施方式中，所述对所述人脸的人眼图像进行眼部状态检测，包括：
确定所述人脸的人眼图像中的人眼关键点的位置信息；
基于所述人眼关键点的位置信息，确定所述人眼图像对应的眼睛状态。
一种可选的实施方式中，所述确定所述人脸的人眼图像中的人眼关键点的位置信息，包括：
将所述人脸的人眼图像输入到第一模型中，经过所述第一模型的处理后，输出所述人眼图像中的人眼关键点的位置信息；其中，所述第一模型是基于标记有人眼关键点的人眼图像样本训练得到。
一种可选的实施方式中，所述对所述人脸的人眼图像进行眼部状态检测，包括：
确定所述人脸的人眼图像中的人眼状态值；其中，所述人眼状态值包括睁眼状态值和闭眼状态值；
基于所述人眼状态值，确定所述人眼图像对应的眼睛状态。
一种可选的实施方式中，所述确定所述人脸的人眼图像中的人眼状态值，包括：
将所述人脸的人眼图像输入至第二模型中，经过所述第二模型的处理后，输出所述人眼图像中的人眼状态值；其中，所述第二模型是基于标记有人眼状态值的人眼图像样本训练得到。
一种可选的实施方式中，所述人眼图像对应的眼睛状态是结合人眼竖直方向睁开宽度与水平方向两个眼角距离的比例值以及所述人眼状态值确定；所述比例值是基于所述人眼关键点的位置信息确定。
一种可选的实施方式中，所述对待处理图像集中同一张人脸的眼部状态进行检测之前，还包括：
响应于按下快门键的触发操作，获取包含当前图像帧和以所述当前图像帧为结束帧的连续至少两帧预览图像，作为待处理图像集。
一种可选的实施方式中，所述将所述人脸对应的目标效果图像合成到所述待处理图像集中的基准图像上，得到所述待处理图像集对应的目标图像之前，还包括：
将所述待处理图像集中按下快门键对应的当前图像帧，确定为基准图像。
一种可选的实施方式中，所述基于所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像，确定所述人脸对应的目标效果图像，包括：
将所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像中，眼睛开合程度值最大的目标区域图像，确定为所述人脸对应的目标效果图像。
一种可选的实施方式中，所述从待处理图像集中确定同一张人脸的人脸图像，包括：
对待处理图像集中的基准图像进行人脸检测，确定所述基准图像上各个人脸的位置信息；
根据所述人脸的位置信息，确定所述待处理图像集中的图像上与所述位置信息对应的人脸图像，作为所述人脸的人脸图像。
一种可选的实施方式中，所述从待处理图像集中确定同一张人脸的人脸图像，包括：
分别对待处理图像集中的每张图像进行人脸检测，得到人脸图像；
将相似度大于预设相似阈值的人脸图像，确定为同一张人脸的人脸图像。
第二方面，本公开提供了一种基于眼部状态检测的图像处理装置，所述装置包括：
第一检测模块，用于对待处理图像集中同一张人脸的眼部状态进行检测，得到所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像；其中，所述待处理图像集包括连拍的多帧图像；
第一确定模块，用于基于所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像，确定所述人脸对应的目标效果图像；
合成模块，用于将所述人脸对应的目标效果图像合成到所述待处理图像集中的基准图像上，得到所述待处理图像集对应的目标图像。
第三方面，本公开提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备实现上述的方法。
第四方面，本公开提供了一种设备，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述的方法。
本公开实施例提供的技术方案与现有技术相比具有如下优点：
本公开实施例提供了一种基于眼部状态检测的图像处理方法，首先对待处理图像集中同一张人脸的眼部状态进行检测，得到所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像，然后从中确定出该人脸对应的目标效果图像，最终，将该目标效果图像合成到待处理图像集中的基准图像上，在将该人脸对应的目标效果图像合成到基准图像之后，得到待处理图像集对应的目标图像。本公开基于眼部状态检测确定每张人脸的目标效果图像，然后将各个目标效果图像合成至预设基准图像中，能够提高最终得到的目标图像中每个人的眼部状态效果，保证了目标图像的质量，一定程度上提高了用户对目标图像的满意度。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种基于眼部状态检测的图像处理方法的流程图；
图2为本公开实施例提供的一种人眼图像提取的示意图；
图3为本公开实施例提供的一种人眼图像中的人眼关键点的示意图；
图4为本公开实施例提供的另一种基于眼部状态检测的图像处理方法的流程图；
图5为本公开实施例提供的一种基于眼部状态检测的图像处理装置结构框图；
图6为本公开实施例提供的一种基于眼部状态检测的图像处理设备结构框图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
眼部状态是评价一张照片好坏的重要因素，实际拍摄场景中，为了在照片中展示出本次拍摄过程中每个人眼部最佳状态，目前是通过反复多次拍摄的方式拍摄多张照片，然后从多张照片中人工选择出理想的照片。
上述反复多次拍摄的方式，不仅会降低人们的拍照体验，而且也并不能保证最终拍摄的照片中每个人眼部状态理想，影响用户对照片的满意度。
为此，本公开提供了一种基于眼部状态检测的图像处理方法，首先对待处理图像集中同一张人脸的眼部状态进行检测，得到所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像，然后从中确定出该人脸对应的目标效果图像，最终，将该目标效果图像合成到待处理图像集中的基准图像上，在将该人脸对应的目标效果图像合成到基准图像之后，得到待处理图像集对应的目标图像。
基于上述拍照场景，本公开能够在拍摄照片之后，基于眼部状态的检测对照片进行图像处理，得到照片上人脸的目标效果图像，然后将该人脸的目标效果图像合成到原照片中，使得最终的照片上每个人的眼部状态效果较好，保证了照片的质量，提高了用户对照片的整体满意度。
基于此，本公开实施例提供了一种基于眼部状态检测的图像处理方法，参考图1，为本公开实施例提供的一种基于眼部状态检测的图像处理方法的流程图，该方法包括：
S101：对待处理图像集中同一张人脸的眼部状态进行检测，得到所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像；其中，所述待处理图像集包括连拍的多帧图像。
一种可选的实施方式中，在拍摄照片的场景下，当检测到按下快门键的触发操作时，获取包含当前图像帧和以当前图像帧为结束帧的连续至少两帧预览图像，作为连拍的多帧图像，构成本公开实施例中的待处理图像集。
实际应用中，相机预览模式下，在相机预览界面中的预览图像是以preview预览流的形式进行存储的。本公开实施例在检测到按下快门键拍摄照片时，不仅获取当前图像帧，即拍摄的照片，还需要从已存储的preview流形式的预览图片中，获取最新的N帧预览图像，与当前图像帧共同构成待处理图像集，通常待处理图像集中包括8帧图像或者16帧图像，本公开实施例不限制待处理图像集中的图像帧数。
另一种可选的实施方式中，在拍摄照片的场景下，如果当前模式为连拍模式，则在检测到按下快门键的触发操作时，获取连拍得到的图像，作为连拍的多帧图像，构成本公开实施例中的待处理图像集。
本公开实施例中，在获取到待处理图像集之后，对待处理图像集中同一张人脸的眼部状态进行检测。
一种可选的实施方式中，对待处理图像集中同一张人脸的眼部状态进行检测，可以包括：首先，从待处理图像集中确定同一张人脸的人脸图像，然后，对该人脸的人脸图像进行眼部状态检测，得到该人脸的人脸图像中眼部状态符合预设眼睛开合程度条件的人脸图像，作为目标区域图像。
本公开实施例至少提供以下两种从待处理图像集中确定同一张人脸的人脸图像的方法，以下分别介绍：
一种可选的实施方式中，首先，对待处理图像集中的基准图像进行人脸检测，确定基准图像上各个人脸的位置信息。然后，根据人脸的位置信息，确定待处理图像集中的图像上与该位置信息对应的人脸图像，作为该人脸的人脸图像。
实际应用中，由于在一次拍摄过程中，按下快门键对应的图像帧通常为本次拍摄中大多数人状态较理想的图像，因此，本公开实施例可以将待处理图像集中的按下快门键对应的当前图像帧，确定为基准图像，能够在基于确定的人脸的位置信息进一步的确定该人脸对应的人脸图像时提高准确性。
本公开实施例中，在确定待处理图像集中的基准图像之后，可以基于机器学习模型对基准图像进行人脸检测，以确定基准图像上每张人脸的位置信息。由于在一次拍摄过程中连拍的多帧图像上各个人脸的位置信息基本相同，因此，可以基于基准图像上确定的每张人脸的位置信息，进一步的确定待处理图像集中其他图像上的人脸对应的人脸图像。可以理解的是，在待处理图像集中每张图像上的同一个位置的人脸图像属于同一张人脸。
其中，人脸图像可以为基于人脸的位置信息，确定的包含该人脸的最小矩形区域。
另一种可选的实施方式中，还可以结合人脸检测和相似度计算的方式，从待处理图像集中确定同一张人脸的人脸图像。具体的，首先，分别对待处理图像集中的各个图像进行人脸检测，得到人脸图像。然后，将相似度大于预设相似阈值的人脸图像，确定为同一张人脸的人脸图像。
实际应用中，由于同一张人脸的人脸图像的相似度较高，因此本公开实施例在确定待处理图像集中各个图像上的人脸图像之后，可以基于相似度确定同一张人脸的人脸图像，具体的，将相似度大于预设相似阈值的人脸图像，确定为同一张人脸的人脸图像。
本公开实施例中，在对人脸图像进行眼部状态检测的过程中，首先从人脸图像中提取人眼图像，然后通过对人眼图像进行眼部状态检测，完成对应的人脸图像的眼部状态检测。具体的对人眼图像进行眼部状态检测的方法在后续进行介绍。
本公开实施例中，对待处理图像集中同一张人脸的眼部状态进行检测的另一种可选实施方式中，可以从待处理图像集中确定同一张人脸的人眼图像，然后，对人眼图像进行眼部状态检测，得到同一张人脸的人眼图像中眼部状态符合预设眼睛开合程度条件的人眼图像，作为目标区域图像。
实际应用中，可以利用机器学习模型对待处理图集中的基准图像进行人眼检测，以确定基准图像上的人眼的位置信息。然后可以基于基准图像上确定的人眼的位置信息，进一步的确定待处理图像集中各个图像上的人眼对应的人眼图像。可以理解的是，在待处理图像集中每张图像上的同一个位置的人眼图像属于同一张人脸。
其中，人眼图像可以为包含人眼的最小矩形区域，具体的，可以为包含左眼的最小矩形区域，也可以为包含右眼的最小矩形区域，还可以为同时包含左眼和右眼的最小矩形区域。
另一种可选的实施方式中，还可以结合人眼检测和相似度计算的方式，从待处理图像集中确定同一张人脸的人眼图像。具体的，首先，分别对待处理图像集中的各个图像进行人眼检测，得到人眼图像。然后，将相似度大于预设相似阈值的人眼图像，确定为同一张人脸的人眼图像。
本公开实施例中，在对待处理图像集中同一张人脸的眼部状态进行检测之后，得到每张人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像。其中，目标区域图像可以是人脸图像，也可以是人眼图像。
本公开实施例中，可以基于人眼图像中的人眼关键点的位置信息或者人眼状态值，或者二者的结合，确定该人眼图像对应的眼睛状态。具体的确定方式在后续进行介绍。
S102：基于所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像，确定所述人脸对应的目标效果图像。
实际应用中，理想照片中每个人的眼部状态通常是睁眼状态，同时眼睛睁开的程度应该符合一定标准，因此，本公开实施例首先确定同一张人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像，然后基于确定的目标区域图像，进一步确定每张人脸对应的目标效果图像。其中，眼部状态符合预设眼睛开合程度条件可以指，眼睛开合程度值大于预设开合阈值。
一种可选的实施方式中，可以将同一张人脸的目标区域图像中眼睛开合程度值最大的目标区域图像，确定为该人脸对应的目标效果图像，以保证目标图像中每张脸的人眼睁开程度最大。
另一种可选的实施方式中，可以将同一张人脸的目标区域图像中的任意一张目标区域图像，确定为该人脸对应的目标效果图像，以满足用户对眼部状态效果的基本要求。
一种可选的实施方式中，如果确定基准图像上的某张人脸上的眼部状态符合预设眼睛开合程度条件，则可以不针对该人脸进行合成，以提高图像处理的效率。
S103：将所述人脸对应的目标效果图像合成到所述待处理图像集中的基准图像上，得到所述待处理图像集对应的目标图像。
本公开实施例中，在确定任意一张人脸对应的目标效果图像之后，将该目标效果图像合成到待处理图像集中设基准图像上，当基准图像上的每张人脸对应的目标效果图像均合成到该基准图像上时，可以将该基准图像确定为待处理图像集对应的目标图像。
由于目标图像上合成有每张人脸对应的眼部状态符合预设眼睛开合程度条件的目标效果图像，因此，目标图像能够最大程度上保证图像上每个人的眼部状态效果，从而保证了目标图像的质量，一定程度上提高了用户对目标图像的满意度。
一种可选的实施方式中，每张人脸对应的目标效果图像具有位置信息，基于该位置信息将目标效果图像合成到基准图像上的对应位置。
本公开实施例可以将待处理图像集中的任一张图像确定为基准图像，也可以将按下快门键对应的当前图像帧，确定为基准图像。
本公开实施例提供的基于眼部状态检测的图像处理方法中，首先对待处理图像集中同一张人脸的眼部状态进行检测，得到所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像，然后从中确定出该人脸对应的目标效果图像，最终，将该目标效果图像合成到待处理图像集中的基准图像上，在将该人脸对应的目标效果图像合成到基准图像之后，得到待处理图像集对应的目标图像。本公开实施例基于眼部状态检测确定每张人脸的目标效果图像，然后将眼部状态符合预设眼睛开合程度条件的目标效果图像合成至基准图像中，能够提高目标图像中每个人的眼部状态效果，保证了目标图像的整体质量，一定程度上提高了用户对目标图像的满意度。
本公开实施例提供的基于眼部状态检测的图像处理方法中，可以基于人眼关键点的位置信息，确定人眼图像对应的眼睛状态。
一种可选的实施方式中，如图2所示，分别从8帧的人脸图像中提取到对应的人眼图像。然后，针对每一张人眼图像，确定该人眼图像中的人眼关键点的位置信息，然后基于人眼关键点的位置信息，确定该人眼图像对应的眼睛状态，进而确定对应的人脸图像的眼睛状态，其中，眼睛状态可以利用眼睛开合程度值表示。
如图3所示，人眼关键点可以分别为眼部的左眼角关键点1、上眼睑上的关键点2和3、右眼角关键点4、下眼睑上的关键点5和6。在确定上述6个人眼关键点之后，基于各个人眼关键点的位置信息确定眼睛开合程度值。
一种可选的实施方式中，可以将图3中的关键点1到关键点4之间的距离作为水平方向两个眼角距离，以及将关键点2到关键3的距离与关键点6到关键5的距离的平均值，确定为人眼竖直方向睁开宽度，最终将人眼竖直方向睁开宽度与水平方向两个眼角距离的比例值，确定为眼睛开合程度值。
一种可选的实施方式中，可以利用机器学习模型确定人眼关键点的位置信息，具体的，利用标记有人眼关键点的人眼图像样本对第一模型进行训练后，将人眼图像输入至第一模型中，经过第一模型的处理后，输出该人眼图像中的人眼关键点的位置信息。
另外，本公开实施例提供的基于眼部状态检测的图像处理方法中，还可以基于人眼状态值，确定人眼图像对应的眼睛状态。其中，人眼状态值包括睁眼状态值和闭眼状态值。具体的，人眼状态值可以为[0,1]范围内的数值，人眼状态值的数值越大，说明眼部开合程度值越大；相反的，人眼状态值越小，说明眼部开合程度值越小。具体的，闭眼状态值可以为[0,0.5]范围内的数值，而睁眼状态值可以为[0.5，1]范围内的数值。
一种可选的实施方式中，可以利用机器学习模型确定人眼状态值，具体的，利用基于标记有人眼状态值的人眼图像样本对第二模型进行训练后，将人眼图像输入至第二模型中，经过第二模型的处理后，输出该人眼图像的人眼状态值。
本公开实施例中，可以通过人眼状态值确定人眼图像对应的眼睛状态，并将同一张人脸的人眼状态值最大的目标区域图像确定为目标效果图像。
为了提高眼部状态检测的准确率，本公开实施例可以结合人眼关键点的位置信息和人眼状态值，确定人脸图像对应的眼睛开合程度值，从而提高基于眼睛开合程度值确定的目标效果图像的准确率，最终提高目标头像的整体质量。
为此，本公开实施例提供了一种基于眼部状态检测的图像处理方法，参考图4，为本公开实施例提供的另一种基于眼部状态检测的图像处理方法的流程图，该方法包括：
S401：基于待处理图像集确定属于同一张人脸的人脸图像；其中，所述待处理图像集中包括以按下快门键对应的当前图像帧为结束帧的连续至少两帧预览图像。
本公开实施例中的S401可以参照上述实施例的描述进行理解，在此不再赘述。
S402：从所述人脸图像中提取人眼图像。
参考图2，在确定属于同一张人脸的人脸图像之后，基于确定的人脸图像进一步的提取属于同一张人脸的人眼图像。
一种可选的实施方式中，对人脸图像进行眼部检测，确定人脸图像中眼部的位置信息，然后基于眼部的位置信息，确定包含眼部的矩形框区域，并将该矩形框区域从人脸图像中提取出来，作为人眼图像。其中，眼部检测的方式不做过多说明。
实际应用中，人脸图像上的两只眼睛的状态基本相同，因此，本公开实施例提取到的人眼图像可以仅包含人脸图像中的其中一只眼睛，从而提高图片处理的效率。
S403：确定所述人眼图像中的人眼关键点的位置信息和人眼状态值；其中，所述人眼状态值包括睁眼状态值和闭眼状态值。
本公开实施例中，在提取到人眼图像之后，确定人眼图像中的人眼关键点的位置信息和人眼状态值。
一种可选的实施方式中，可以利用机器学习模型确定人眼关键点的位置信息和人眼状态值，具体的，利用基于标记有人眼关键点的位置信息和人眼状态值的人眼图像样本对第三模型进行训练后，将人眼图像输入至第三模型中，经过第三模型的处理后，输出该人眼图像的人眼关键点的位置信息和人眼状态值。
S404：基于所述人眼关键点的位置信息和所述人眼状态值，确定所述人脸图像对应的眼睛开合程度值。
本公开实施例中，在确定所述人眼图像中的人眼关键点的位置信息和人眼状态值之后，可以基于所述人眼关键点的位置信息，确定所述人脸图像上的人眼竖直方向睁开宽度与水平方向两个眼角距离的比例值。然后，结合所述比例值和所述人眼状态值，确定所述人脸图像对应的眼睛开合程度值。
一种可选的实施方式中，参考图3，可以利用公式(1)计算人脸图像对应的眼睛开合程度值，其中，公式(1)如下：
Figure BDA0002659294220000141
其中，Open-Degree(OD)用于表示人脸图像对应的眼睛开合程度值；H-d用于表示图3中的关键点1和关键点4之间的欧式距离，V-d-1用于表示图3中的关键点2和关键点6之间的欧式距离，V-d-2用于表示图3中的关键点3和关键点5之间的欧式距离；round()用于表示对参数进行四舍五入取整，Eye-State用于表示人眼状态值，在[0,1]之间。
S405：从属于同一张人脸的人脸图像中，确定眼睛开合程度值大于预设开合阈值的人脸图像。
本公开实施例中，在确定属于同一张人脸的人脸图像之后，针对任意一张人脸的人脸图像，首先基于眼睛开合程度值，剔除闭眼状态的人脸图像，然后基于眼睛开合程度值对剩余的人脸图像进行排序，确定开合程度值大于预设开合阈值的人脸图像。
一种可选的实施方式中，如果在某张人脸的人脸图像中不存在眼睛开合程度值大于预设开合阈值的人脸图像，则可以针对该张人脸不对基准图像进行合成处理，保留基准图像中该张人脸的效果。
S406：从所述眼睛开合程度值大于预设开合阈值的人脸图像中，确定所述人脸对应的目标效果图像。
本公开实施例中，在确定出每张人脸的眼睛开合程度值大于预设开合阈值的人脸图像之后，从眼睛开合程度值大于预设开合阈值的人脸图像中，随机选择一张人脸图像作为该人脸对应的目标效果图像，以保证目标图像中该张人脸上眼部状态效果。
一种可选的实施方式中，由于眼睛开合程度值越大，说明眼睛睁开的程度越大，越能够体现眼部最佳状态，因此，本公开实施例从眼睛开合程度值大于预设开合阈值的人脸图像中，选择眼睛开合程度值最大的人脸图像作为该人脸对应的目标效果图像，以最大化保证目标图像中该张人脸上眼部状态效果。
S407：将所述人脸对应的目标效果图像合成到所述待处理图像集中的基准图像上，得到所述待处理图像集对应的目标图像。
本公开实施例中，在确定每张人脸对应的目标效果图像之后，将各个目标效果图像均合成至基准图像中，最终得到待处理图像集对应的目标图像。
在多人拍摄场景中，基于本公开提供的基于眼部状态检测的图像处理方法，能够仅拍摄一次合影照片，即得到合影照片中尽可能多的人的眼部状态较佳的效果，无需反复多次拍摄，提高了用户的合照拍摄体验，同时也能够为用户提供满意度较高的合影照片。
与上述方法实施例基于同一个发明构思，本公开还提供了一种基于眼部状态检测的图像处理装置，参考图5，为本公开实施例提供的一种基于眼部状态检测的图像处理装置，所述装置包括：
第一检测模块501，用于对待处理图像集中同一张人脸的眼部状态进行检测，得到所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像；其中，所述待处理图像集包括连拍的多帧图像；
第一确定模块502，用于基于所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像，确定所述人脸对应的目标效果图像；
合成模块503，用于将所述人脸对应的目标效果图像合成到所述待处理图像集中的预设基准图像上，得到所述待处理图像集对应的目标图像。
一种可选的实施方式中，所述第一检测模块，包括：
第一确定子模块，用于从待处理图像集中确定同一张人脸的人脸图像；
第一检测子模块，用于对所述人脸的人脸图像进行眼部状态检测，得到所述人脸的人脸图像中眼部状态符合预设眼睛开合程度条件的人脸图像，作为目标区域图像。
一种可选的实施方式中，所述第一检测子模块，包括：
提取子模块，用于从所述人脸的人脸图像中提取所述人脸的人眼图像；
第二检测子模块，用于对所述人脸的人眼图像进行眼部状态检测。
一种可选的实施方式中，所述第一检测模块，包括：
第二确定子模块，用于从待处理图像集中确定同一张人脸的人眼图像；
第三检测子模块，用于对所述人脸的人眼图像进行眼部状态检测，得到所述人脸的人眼图像中眼部状态符合预设眼睛开合程度条件的人眼图像，作为目标区域图像。
一种可选的实施方式中，所述第二检测模块或所述第三检测子模块，包括：
第三确定子模块，用于确定所述人脸的人眼图像中的人眼关键点的位置信息；
第四确定子模块，用于基于所述人眼关键点的位置信息，确定所述人眼图像对应的眼睛状态。
一种可选的实施方式中，所述第三确定子模块，具体用于：
将所述人脸的人眼图像输入到第一模型中，经过所述第一模型的处理后，输出所述人眼图像中的人眼关键点的位置信息；其中，所述第一模型是基于标记有人眼关键点的人眼图像样本训练得到。
一种可选的实施方式中，所述第二检测模块或所述第三检测子模块，包括：
第五确定子模块，用于确定所述人脸的人眼图像中的人眼状态值；其中，所述人眼状态值包括睁眼状态值和闭眼状态值；
第六确定子模块，用于基于所述人眼状态值，确定所述人眼图像对应的眼睛状态。
一种可选的实施方式中，所述第五确定子模块，具体用于：
将所述人脸的人眼图像输入至第二模型中，经过所述第二模型的处理后，输出所述人眼图像中的人眼状态值；其中，所述第二模型是基于标记有人眼状态值的人眼图像样本训练得到。
一种可选的实施方式中，所述人眼图像对应的眼睛状态是结合人眼竖直方向睁开宽度与水平方向两个眼角距离的比例值以及所述人眼状态值确定；所述比例值是基于所述人眼关键点的位置信息确定。
一种可选的实施方式中，所述装置还包括：
获取模块，用于响应于按下快门键的触发操作，获取包含当前图像帧和以所述当前图像帧为结束帧的连续至少两帧预览图像，作为待处理图像集。
一种可选的实施方式中，所述装置还包括：
第二确定模块，用于将所述待处理图像集中按下快门键对应的当前图像帧，确定为基准图像。
一种可选的实施方式中，所述第一确定模块，具体用于：
将所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像中，眼睛开合程度值最大的目标区域图像，确定为所述人脸对应的目标效果图像。
一种可选的实施方式中，所述第一确定子模块，包括：
第七确定子模块，用于对待处理图像集中的基准图像进行人脸检测，确定所述基准图像上各个人脸的位置信息；
第八确定子模块，用于根据所述人脸的位置信息，确定所述待处理图像集中的图像上与所述位置信息对应的人脸图像，作为所述人脸的人脸图像。
一种可选的实施方式中，所述第一确定子模块，包括：
第四检测子模块，用于分别对待处理图像集中的每张图像进行人脸检测，得到人脸图像；
第九确定子模块，用于将相似度大于预设相似阈值的人脸图像，确定为同一张人脸的人脸图像。
本公开实施例提供的基于眼部状态检测的图像处理装置中，对待处理图像集中同一张人脸的眼部状态进行检测，得到所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像，然后从中确定出该人脸对应的目标效果图像，最终，将该目标效果图像合成到待处理图像集中的基准图像上，在将该人脸对应的目标效果图像合成到基准图像之后，得到待处理图像集对应的目标图像。本公开实施例基于眼部状态检测确定每张人脸的目标效果图像，然后将眼部状态符合预设眼睛开合程度条件的目标效果图像合成至预设基准图像中，能够提高目标图像中每个人的眼部状态效果，保证了目标图像的整体质量，一定程度上提高了用户对目标图像的满意度。
另外，本公开实施例还提供了一种基于眼部状态检测的图像处理设备，参见图6所示，可以包括：
处理器601、存储器602、输入装置603和输出装置604。基于眼部状态检测的图像处理设备中的处理器601的数量可以一个或多个，图6中以一个处理器为例。在本公开的一些实施例中，处理器601、存储器602、输入装置603和输出装置604可通过总线或其它方式连接，其中，图6中以通过总线连接为例。
存储器602可用于存储软件程序以及模块，处理器601通过运行存储在存储器602的软件程序以及模块，从而执行基于眼部状态检测的图像处理设备的各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。输入装置603可用于接收输入的数字或字符信息，以及产生与基于眼部状态检测的图像处理设备的用户设置以及功能控制有关的信号输入。
具体在本实施例中，处理器601会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中，并由处理器601来运行存储在存储器602中的应用程序，从而实现上述基于眼部状态检测的图像处理设备的各种功能。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (17)

1.一种基于眼部状态检测的图像处理方法，其特征在于，所述方法包括：
对待处理图像集中同一张人脸的眼部状态进行检测，得到所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像；其中，所述待处理图像集包括连拍的多帧图像；
基于所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像，确定所述人脸对应的目标效果图像；
将所述人脸对应的目标效果图像合成到所述待处理图像集中的基准图像上，得到所述待处理图像集对应的目标图像。
2.根据权利要求1所述的方法，其特征在于，所述对待处理图像集中同一张人脸的眼部状态进行检测，得到所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像，包括：
从待处理图像集中确定同一张人脸的人脸图像；
对所述人脸的人脸图像进行眼部状态检测，得到所述人脸的人脸图像中眼部状态符合预设眼睛开合程度条件的人脸图像，作为目标区域图像。
3.根据权利要求2所述的方法，其特征在于，所述对所述人脸的人脸图像进行眼部状态检测，包括：
从所述人脸的人脸图像中提取所述人脸的人眼图像；
对所述人脸的人眼图像进行眼部状态检测。
4.根据权利要求1所述的方法，其特征在于，所述对待处理图像集中同一张人脸的眼部状态进行检测，得到所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像，包括：
从待处理图像集中确定同一张人脸的人眼图像；
对所述人脸的人眼图像进行眼部状态检测，得到所述人脸的人眼图像中眼部状态符合预设眼睛开合程度条件的人眼图像，作为目标区域图像。
5.根据权利要求3或4所述的方法，其特征在于，所述对所述人脸的人眼图像进行眼部状态检测，包括：
确定所述人脸的人眼图像中的人眼关键点的位置信息；
基于所述人眼关键点的位置信息，确定所述人眼图像对应的眼睛状态。
6.根据权利要求5所述的方法，其特征在于，所述确定所述人脸的人眼图像中的人眼关键点的位置信息，包括：
将所述人脸的人眼图像输入到第一模型中，经过所述第一模型的处理后，输出所述人眼图像中的人眼关键点的位置信息；其中，所述第一模型是基于标记有人眼关键点的人眼图像样本训练得到。
7.根据权利要求3或4所述的方法，其特征在于，所述对所述人脸的人眼图像进行眼部状态检测，包括：
确定所述人脸的人眼图像中的人眼状态值；其中，所述人眼状态值包括睁眼状态值和闭眼状态值；
基于所述人眼状态值，确定所述人眼图像对应的眼睛状态。
8.根据权利要求7所述的方法，其特征在于，所述确定所述人脸的人眼图像中的人眼状态值，包括：
将所述人脸的人眼图像输入至第二模型中，经过所述第二模型的处理后，输出所述人眼图像中的人眼状态值；其中，所述第二模型是基于标记有人眼状态值的人眼图像样本训练得到。
9.根据权利要求6或8所述的方法，其特征在于，所述人眼图像对应的眼睛状态是结合人眼竖直方向睁开宽度与水平方向两个眼角距离的比例值以及所述人眼状态值确定；所述比例值是基于所述人眼关键点的位置信息确定。
10.根据权利要求1所述的方法，其特征在于，所述对待处理图像集中同一张人脸的眼部状态进行检测之前，还包括：
响应于按下快门键的触发操作，获取包含当前图像帧和以所述当前图像帧为结束帧的连续至少两帧预览图像，作为待处理图像集。
11.根据权利要求1所述的方法，其特征在于，所述将所述人脸对应的目标效果图像合成到所述待处理图像集中的基准图像上，得到所述待处理图像集对应的目标图像之前，还包括：
将所述待处理图像集中按下快门键对应的当前图像帧，确定为基准图像。
12.根据权利要求1所述的方法，其特征在于，所述基于所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像，确定所述人脸对应的目标效果图像，包括：
将所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像中，眼睛开合程度值最大的目标区域图像，确定为所述人脸对应的目标效果图像。
13.根据权利要求2所述的方法，其特征在于，所述从待处理图像集中确定同一张人脸的人脸图像，包括：
对待处理图像集中的基准图像进行人脸检测，确定所述基准图像上各个人脸的位置信息；
根据所述人脸的位置信息，确定所述待处理图像集中的图像上与所述位置信息对应的人脸图像，作为所述人脸的人脸图像。
14.根据权利要求2所述的方法，其特征在于，所述从待处理图像集中确定同一张人脸的人脸图像，包括：
分别对待处理图像集中的每张图像进行人脸检测，得到人脸图像；
将相似度大于预设相似阈值的人脸图像，确定为同一张人脸的人脸图像。
15.一种基于眼部状态检测的图像处理装置，其特征在于，所述装置包括：
第一检测模块，用于对待处理图像集中同一张人脸的眼部状态进行检测，得到所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像；其中，所述待处理图像集包括连拍的多帧图像；
第一确定模块，用于基于所述人脸的眼部状态符合预设眼睛开合程度条件的目标区域图像，确定所述人脸对应的目标效果图像；
合成模块，用于将所述人脸对应的目标效果图像合成到所述待处理图像集中的基准图像上，得到所述待处理图像集对应的目标图像。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备实现如权利要求1-14任一项所述的方法。
17.一种设备，其特征在于，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-14任一项所述的方法。
CN202010899317.9A 2020-08-31 2020-08-31 基于眼部状态检测的图像处理方法、装置及存储介质 Pending CN112036311A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010899317.9A CN112036311A (zh) 2020-08-31 2020-08-31 基于眼部状态检测的图像处理方法、装置及存储介质
JP2023513999A JP2023540273A (ja) 2020-08-31 2021-08-27 眼部状態検出による画像処理方法、装置及び記憶媒体
PCT/CN2021/114881 WO2022042670A1 (zh) 2020-08-31 2021-08-27 基于眼部状态检测的图像处理方法、装置及存储介质
EP21860504.6A EP4206975A4 (en) 2020-08-31 2021-08-27 IMAGE PROCESSING METHOD AND APPARATUS BASED ON EYE STATE DETECTION, AND STORAGE MEDIUM
US18/087,660 US11842569B2 (en) 2020-08-31 2022-12-22 Eye state detection-based image processing method and apparatus, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010899317.9A CN112036311A (zh) 2020-08-31 2020-08-31 基于眼部状态检测的图像处理方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN112036311A true CN112036311A (zh) 2020-12-04

Family

ID=73587021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010899317.9A Pending CN112036311A (zh) 2020-08-31 2020-08-31 基于眼部状态检测的图像处理方法、装置及存储介质

Country Status (5)

Country Link
US (1) US11842569B2 (zh)
EP (1) EP4206975A4 (zh)
JP (1) JP2023540273A (zh)
CN (1) CN112036311A (zh)
WO (1) WO2022042670A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113542598A (zh) * 2021-07-02 2021-10-22 维沃移动通信（杭州）有限公司 图像处理方法、装置、电子设备及可读存储介质
CN113747057A (zh) * 2021-07-26 2021-12-03 荣耀终端有限公司 一种图像处理方法及电子设备
WO2022042670A1 (zh) * 2020-08-31 2022-03-03 北京字节跳动网络技术有限公司 基于眼部状态检测的图像处理方法、装置及存储介质
CN115953389A (zh) * 2023-02-24 2023-04-11 广州视景医疗软件有限公司 一种基于人脸关键点检测的斜视判别方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107622483A (zh) * 2017-09-15 2018-01-23 深圳市金立通信设备有限公司 一种图像合成方法及终端
CN107734253A (zh) * 2017-10-13 2018-02-23 广东欧珀移动通信有限公司 图像处理方法、装置、移动终端和计算机可读存储介质
CN108574803A (zh) * 2018-03-30 2018-09-25 广东欧珀移动通信有限公司 图像的选取方法、装置、存储介质及电子设备
CN109376624A (zh) * 2018-10-09 2019-02-22 三星电子（中国）研发中心 一种闭眼照片的修正方法和装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3350296B2 (ja) * 1995-07-28 2002-11-25 三菱電機株式会社 顔画像処理装置
US7659923B1 (en) * 2005-06-24 2010-02-09 David Alan Johnson Elimination of blink-related closed eyes in portrait photography
JP4853320B2 (ja) * 2007-02-15 2012-01-11 ソニー株式会社 画像処理装置、画像処理方法
JP4898532B2 (ja) * 2007-04-13 2012-03-14 富士フイルム株式会社 画像処理装置および撮影システム並びに瞬き状態検出方法、瞬き状態検出プログラムおよびそのプログラムが記録された記録媒体
US20100302394A1 (en) * 2009-05-28 2010-12-02 Phanish Hanagal Srinivasa Rao Blinked eye artifact removal for a digital imaging device
KR101665130B1 (ko) * 2009-07-15 2016-10-25 삼성전자주식회사 복수의 인물에 대한 이미지 생성 장치 및 방법
KR101728042B1 (ko) * 2010-10-01 2017-04-18 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
US9336583B2 (en) * 2013-06-17 2016-05-10 Cyberlink Corp. Systems and methods for image editing
US9549118B2 (en) * 2014-03-10 2017-01-17 Qualcomm Incorporated Blink and averted gaze avoidance in photographic images
US20170032172A1 (en) * 2015-07-29 2017-02-02 Hon Hai Precision Industry Co., Ltd. Electronic device and method for splicing images of electronic device
US10475222B2 (en) * 2017-09-05 2019-11-12 Adobe Inc. Automatic creation of a group shot image from a short video clip using intelligent select and merge
CN108520036B (zh) * 2018-03-30 2020-08-14 Oppo广东移动通信有限公司 图像的选取方法、装置、存储介质及电子设备
CN110163806B (zh) * 2018-08-06 2023-09-15 腾讯科技（深圳）有限公司 一种图像处理方法、装置以及存储介质
CN112036311A (zh) * 2020-08-31 2020-12-04 北京字节跳动网络技术有限公司 基于眼部状态检测的图像处理方法、装置及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107622483A (zh) * 2017-09-15 2018-01-23 深圳市金立通信设备有限公司 一种图像合成方法及终端
CN107734253A (zh) * 2017-10-13 2018-02-23 广东欧珀移动通信有限公司 图像处理方法、装置、移动终端和计算机可读存储介质
CN108574803A (zh) * 2018-03-30 2018-09-25 广东欧珀移动通信有限公司 图像的选取方法、装置、存储介质及电子设备
CN109376624A (zh) * 2018-10-09 2019-02-22 三星电子（中国）研发中心 一种闭眼照片的修正方法和装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022042670A1 (zh) * 2020-08-31 2022-03-03 北京字节跳动网络技术有限公司 基于眼部状态检测的图像处理方法、装置及存储介质
US11842569B2 (en) 2020-08-31 2023-12-12 Beijing Bytedance Network Technology Co., Ltd. Eye state detection-based image processing method and apparatus, and storage medium
CN113542598A (zh) * 2021-07-02 2021-10-22 维沃移动通信（杭州）有限公司 图像处理方法、装置、电子设备及可读存储介质
CN113542598B (zh) * 2021-07-02 2023-11-21 维沃移动通信（杭州）有限公司 图像处理方法、装置、电子设备及可读存储介质
CN113747057A (zh) * 2021-07-26 2021-12-03 荣耀终端有限公司 一种图像处理方法及电子设备
CN113747057B (zh) * 2021-07-26 2022-09-30 荣耀终端有限公司 一种图像处理方法、电子设备、芯片***和存储介质
CN115953389A (zh) * 2023-02-24 2023-04-11 广州视景医疗软件有限公司 一种基于人脸关键点检测的斜视判别方法和装置
CN115953389B (zh) * 2023-02-24 2023-11-24 广州视景医疗软件有限公司 一种基于人脸关键点检测的斜视判别方法和装置

Also Published As

Publication number Publication date
WO2022042670A1 (zh) 2022-03-03
US20230140313A1 (en) 2023-05-04
EP4206975A4 (en) 2024-02-14
JP2023540273A (ja) 2023-09-22
EP4206975A1 (en) 2023-07-05
US11842569B2 (en) 2023-12-12

Similar Documents

Publication Publication Date Title
JP4274233B2 (ja) 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム
CN112036311A (zh) 基于眼部状态检测的图像处理方法、装置及存储介质
CN107886484B (zh) 美颜方法、装置、计算机可读存储介质和电子设备
CN107730444B (zh) 图像处理方法、装置、可读存储介质和计算机设备
JP4974788B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記憶媒体
CN107945135B (zh) 图像处理方法、装置、存储介质和电子设备
JP5704905B2 (ja) 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
CN107368806B (zh) 图像矫正方法、装置、计算机可读存储介质和计算机设备
JP5662670B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN108810406B (zh) 人像光效处理方法、装置、终端及计算机可读存储介质
CN107993209B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN107820017B (zh) 图像拍摄方法、装置、计算机可读存储介质和电子设备
IES20080161A2 (en) Face detection in mid-shot digital images
JP2005303991A (ja) 撮像装置、撮像方法、及び撮像プログラム
CN109035147B (zh) 图像处理方法及装置、电子装置、存储介质和计算机设备
CN108574803B (zh) 图像的选取方法、装置、存储介质及电子设备
CN108093170B (zh) 用户拍照方法、装置及设备
CN107977437B (zh) 图像处理方法、装置、存储介质和电子设备
CN110365897B (zh) 图像修正方法和装置、电子设备、计算机可读存储介质
CN108259769B (zh) 图像处理方法、装置、存储介质及电子设备
CN107153806B (zh) 一种人脸检测方法及装置
CN108764040B (zh) 一种图像检测方法、终端及计算机存储介质
JP2012068948A (ja) 顔属性推定装置およびその方法
JP6098133B2 (ja) 顔構成部抽出装置、顔構成部抽出方法及びプログラム
CN112036319B (zh) 一种图片处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination