CN108513074A - 自拍控制方法及装置、电子设备 - Google Patents

自拍控制方法及装置、电子设备 Download PDF

Info

Publication number
CN108513074A
CN108513074A CN201810331954.9A CN201810331954A CN108513074A CN 108513074 A CN108513074 A CN 108513074A CN 201810331954 A CN201810331954 A CN 201810331954A CN 108513074 A CN108513074 A CN 108513074A
Authority
CN
China
Prior art keywords
eye
image
dominant
dominant eye
human eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810331954.9A
Other languages
English (en)
Other versions
CN108513074B (zh
Inventor
于越
杨向东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201810331954.9A priority Critical patent/CN108513074B/zh
Publication of CN108513074A publication Critical patent/CN108513074A/zh
Priority to US16/240,959 priority patent/US10666859B2/en
Application granted granted Critical
Publication of CN108513074B publication Critical patent/CN108513074B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及自拍控制方法及装置、电子设备。一种自拍控制方法包括：获取第一原始图像；从所述第一原始图像中选择一个人眼作为控制拍照的主眼；获取所述主眼的动作；若所述主眼的动作满足设定条件，则触发拍照操作。本实施例中，通过一个人眼作为主眼来控制自拍，可以避免相关技术中多用户自拍过程中某个用户眨眼造成的误拍照，从而可以提高自拍的准确率，提升自拍照片的效果。

Description

自拍控制方法及装置、电子设备
技术领域
本发明涉及图像处理技术领域，尤其涉及一种自拍控制方法及装置、电子设备。
背景技术
目前，在自拍过程中，用户会利用眨眼动作实现自拍。然而，在多人自拍的情况下，只要一个人眨眼就会误拍照，导致自拍体验比较差。
发明内容
本发明提供一种自拍控制方法及装置、电子设备，以解决相关技术中的不足。
根据本发明实施例的第一方面，提供一种自拍控制方法，所述方法包括：
获取第一原始图像；
从所述第一原始图像中选择一个人眼作为控制拍照的主眼；
获取所述主眼的动作；
若所述主眼的动作满足设定条件，则触发拍照操作。
可选地，从所述第一原始图像中选择一个人眼作为控制拍照的主眼包括：
对所述第一原始图像进行处理，得到至少一个人脸图像；
对所述至少一个人脸图像进行处理，得到至少一个人眼图像；
从所述至少一个人眼图像中选择一个人眼作为主眼。
可选地，对所述至少一个人脸图像进行处理，得到至少一个人眼图像包括：
针对所述至少一个人脸图像中每个人脸图像进行第一预处理，所述第一预处理包括灰度化处理和归一化处理；
对第一预处理后的每个人脸图像采用积分投影方法和差分投影方法确定每个人眼的中心位置；
基于所述每个人眼的中心位置生成一个设定尺寸的矩形框，所述矩形框内的图像为人眼图像。
可选地，对第一预处理后的每个人脸图像采用积分投影方法和差分投影方法确定每个人眼的中心位置包括：
利用垂直积分投影方法确定所述人眼图像中人眼的中心位置的横坐标；
利用水平差分投影方法确定所述人眼图像中人眼的虹膜区域；
利用水平积分投影方法确定所述虹膜区域中灰度值之和最小一行的纵坐标，得到所述人眼的中心位置的纵坐标。
可选地，从所述至少一个人眼图像中选择一个人眼作为主眼包括：
确定所述至少一个人眼图像的数量；
若所述至少一个人眼图像数量为多个，则对所述矩形框内的图像进行第二预处理；所述第二预处理至少包括二值化处理、腐蚀处理和膨胀处理；
获取每个矩形框内连通域的面积；
确定面积最大的连通域对应矩形框内的人眼作为主眼；
若所述至少一个人眼图像数量为一个，则确定所述矩形框内的人眼作为主眼。
可选地，获取所述主眼的动作包括：
获取多张第二原始图像；所述多张第二原始图像是所述第一原始图像之后依次拍摄的图像；
针对所述多张第二原始图像中每张第二原始图像，获取所述每张第二原始图像中所述主眼对应矩形框内连通域的面积；
若所述面积小于或等于面积阈值，则确定所述主眼处于闭合状态；
基于所述多张第二原始图像中所述主眼的闭合状态，确定所述主眼的闭合时间或者设定时间段内所述主眼的闭合次数，得到所述主眼的动作。
可选地，获取所述每张第二原始图像中所述主眼对应矩形框内连通域的面积之前，所述方法还包括：
获取所述每张第二原始图像中所述矩形框内人眼的中心位置；
若所述每张第二原始图像中人眼的中心位置与所述主眼的中心位置之间的距离小于或者等于距离阈值，则确定所述每张第二原始图像中人眼为所述主眼。
可选地，所述设定条件为设定时间段内所述主眼的闭合次数超过设定次数，或者所述主眼的闭合时间超过闭合时间阈值。
根据本发明实施例的第二方面，提供一种自拍控制装置，所述装置包括：
第一图像获取模块，用于获取第一原始图像；
主眼选择模块，用于从所述第一原始图像中选择一个人眼作为控制拍照的主眼；
动作获取模块，用于获取所述主眼的动作；
拍照触发模块，用于在所述主眼的动作满足设定条件时，触发拍照操作。
可选地，所述主眼选择模块包括：
人脸图像获取子模块，用于对所述第一原始图像进行处理，得到至少一个人脸图像；
人眼图像获取子模块，用于对所述至少一个人脸图像进行处理，得到至少一个人眼图像；
主眼选择子模块，用于从所述至少一个人眼图像中选择一个人眼作为主眼。
可选地，所述人眼图像获取子模块包括：
第一预处理单元，用于针对所述至少一个人脸图像中每个人脸图像进行第一预处理，所述第一预处理包括灰度化处理和归一化处理；
人眼中心确定单元，用于对第一预处理后的每个人脸图像采用积分投影方法和差分投影方法确定每个人眼的中心位置；
人眼图像获取单元，用于基于所述每个人眼的中心位置生成一个设定尺寸的矩形框，所述矩形框内的图像为人眼图像。
可选地，所述人眼中心确定单元包括：
横坐标确定子单元，用于利用垂直积分投影方法确定所述人眼图像中人眼的中心位置的横坐标；
虹膜区域确定子单元，用于利用水平差分投影方法确定所述人眼图像中人眼的虹膜区域；
纵坐标确定子单元，用于利用水平积分投影方法确定所述虹膜区域中灰度值之和最小一行的纵坐标，得到所述人眼的中心位置的纵坐标。
可选地，所述主眼选择子模块包括：
人眼数量确定单元，用于确定所述至少一个人眼图像的数量；
第二预处理单元，用于在所述至少一个人眼图像数量为多个时，对所述矩形框内的图像进行第二预处理；所述第二预处理至少包括二值化处理、腐蚀处理和膨胀处理；
连通域面积获取单元，用于获取每个矩形框内连通域的面积；
主眼确定单元，用于确定面积最大的连通域对应矩形框内的人眼作为主眼；
还用于在所述至少一个人眼图像数量为一个时，确定所述矩形框内的人眼作为主眼。
可选地，所述动作获取模块包括：
图像获取子模块，用于获取多张第二原始图像；所述多张第二原始图像是所述第一原始图像之后依次拍摄的图像；
连通域面积获取子模块，用于针对所述多张第二原始图像中每张第二原始图像，获取所述每张第二原始图像中所述主眼对应矩形框内连通域的面积；
主眼状态确定子模块，用于在所述面积小于或等于面积阈值时，确定所述主眼处于闭合状态；
主眼动作获取子模块，用于基于所述多张第二原始图像中所述主眼的闭合状态，确定所述主眼的闭合时间或者设定时间段内所述主眼的闭合次数，得到所述主眼的动作。
可选地，所述装置还包括：
人眼中心确定模块，用于获取所述每张第二原始图像中所述矩形框内人眼的中心位置；
主眼确定模块，用于在所述每张第二原始图像中人眼的中心位置与所述主眼的中心位置之间的距离小于或者等于距离阈值时，确定所述每张第二原始图像中人眼为所述主眼。
可选地，所述设定条件为设定时间段内所述主眼的闭合次数超过设定次数，或者所述主眼的闭合时间超过闭合时间阈值。
根据本发明实施例的第三方面，提供一种电子设备，所述设备包括：
摄像头模组；
处理器；
用于存储所述处理器可执行指令和文件的存储器；
其中，所述处理器被配置为执行所述存储器中可执行指令以实现第一方面所述方法的步骤。
根据上述实施例可知，通过选择一个人眼作为主眼来控制自拍，可以避免相关技术中多用户自拍过程中某个用户眨眼造成的误拍照，从而可以提高自拍的准确率，提升自拍照片的效果。
本实施例中通过垂直积分投影方法获取人眼中心位置的横坐标，利用水平差分投影方法和水平积分投影方法确定人眼中心位置的纵坐标。其中本实施例中先利用水平差分投影方法确定虹膜区域，之后再确定中心位置的纵坐标，这样可以避免眉毛对人眼的影响，从而提高所获取的主眼的准确度，有利于提高拍照控制的精度。并且，本实施例中在确定主眼动作的过程中，处理器可以只处理主眼对应矩形框内的图像，这样可以减少计算量，提高主眼检测的实时性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据本发明实施例示出的一种自拍控制方法的流程示意图；
图2是根据本发明实施例示出的另一种自拍控制方法的流程示意图；
图3是根据本发明实施例示出的第一原始图像、人脸图像、人脸图像的示意图；
图4是根据本发明实施例示出的又一种自拍控制方法的流程示意图；
图5是根据本发明实施例示出的又一种自拍控制方法的流程示意图；
图6根据本发明实施例示出的获取人眼的横坐标的示意图；
图7根据本发明实施例示出的获取人眼的水平区域的示意图；
图8根据本发明实施例示出的获取人眼的纵坐标的示意图；
图9是根据本发明实施例示出的又一种自拍控制方法的流程示意图；
图10是根据本发明实施例示出的人眼图像中连通域的示意图；
图11～图17是根据本发明实施例示出的一种自拍控制装置的框图；
图18是根据本发明实施例示出的一种电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
目前，在自拍过程中，用户会利用眨眼动作实现自拍。然而，在多人自拍的情况下，只要一个人眨眼就会误拍照，导致自拍体验比较差。为解决上述问题，本发明实施例提供了一种自拍控制方法，图1是根据本发明实施例示出的一种自拍控制方法的流程示意图。需要说明的是，为保证自拍控制方法的可靠执行，需要保证图像中多个用户中的一个眼睛较大，例如，用户可以调整电子设备的位置、调整用户的位置、设定好用户的队形等，在此不作限定。为方便说明，该自拍控制方法的执行主体可以为相机或者手机等电子设备的处理器，参见图1，一种自拍控制方法包括：
101，获取第一原始图像。
在聚焦的过程中，摄像头或者图像传感器会采集图像，这部分图像可以预先缓存在存储器中。在存储器设定部分达到满载时，后续采集的图像会替代最早的图像。在一实施例中，在摄像头或图像传感器可以将缓存在存储中的图像依次发送给处理器。
后续步骤中，处理器会以上述图像为处理对象，从图像中多个用户的人眼中选取一个人眼作为主眼。确定主眼后，处理器还会根据所确定的主眼对之后采集的图像进行处理，具体处理过程在后续实施例有详细说明，在此先不作说明。为区别说明，本实施例中，将确定主眼对应的图像称为第一原始图像，将确定主眼之后采集的图像称为第二原始图像。可理解的是，第二原始图像是在第一原始图像之后依次拍摄的图像。
102，从所述第一原始图像中选择一个人眼作为控制拍照的主眼。
本实施例中，处理器对第一原始图像进行处理，得到每个用户的人脸图像，这样可以得到至少一个人脸图像。然后，处理器处理每个人脸图像，可以得到至少一个人眼图像。最后，处理器从至少一个人眼图像中选择一个人眼作为主眼。
在一实施例中，处理器延时一段时间(例如0.5～2秒)后开始处理图像，检测到图像中连续移动的用户A，获取用户A的人脸图像，然后在用户A的人脸图像的基础上获取用户A的人眼图像，并从人眼图像中选择一个人眼作为主眼。本实施例适用于多个用户自拍的场景，该场景中一个用户A安放相机，然后A回到多个用户之间，基于A的眼部动作控制自拍，避免其他用户控制自拍时拍摄到移动中的用户A，这样可以提高自拍的效率和自拍图像的成功率。
在一实施例中，处理器还可以提示用户A预先存储自己的图像，然后处理器利用面部识别算法在图像中识别出用户A后，再确定用户A的一个眼睛作为主眼。然后处理器根据主眼控制自拍，同样可以实现本申请的方案。
在一实施例中，在用户与电子设备的距离较近时，处理器在外接框面积最大的人脸图像中选择一个人眼作为主眼。本实施例可以应用于多个用户与电子设备距离较远的场景，例如距离10米，此时各用户的人眼的面积相差不大，利用外接框可以减少计算量，提高响应的实时性。
在一实施例中，在人眼图像仅有一个时，选择主眼的方式可以是，直接将人眼图像中的人眼确定为主眼。
在另一实施例中，在人眼图像包括多个时，处理器获取人眼图像中人眼的面积，将面积最大的人眼作为主眼。该方式适用于多个用户与电子设备距离较近的场景，例如3-5米，此时各人眼图像中人眼外接框的面积相差不大，利用人眼的面积则可以提高控制精度。后续实施例会作详细说明，在此先不作说明。
103，获取所述主眼的动作。
本实施例中，处理器根据主眼的闭合时间或者闭合次数确定主眼的动作。可理解的是，主眼的动作可以根据具体场景进行设置，在此不作限定。
104，若所述主眼的动作满足设定条件，则触发拍照操作。
本实施例中，预先存储主眼动作的设定条件。在一实施例中，设定条件为主眼闭合时间为大于或者等于2s。在另一实施例中，设定条件为在设定时间段内主眼处于闭合状态的次数大于或等于设定次数，如4s内闭合状态的次数多于3次。设定条件可以根据具体场景进行设置，在此不作限定。
其中，闭合时间是指主眼从开启状态(睁眼)到闭合状态(闭眼)再到开启状态之间，主眼处于闭合状态的时长。可理解的是，主眼从睁眼到闭眼再到睁眼为一次眨眼，主眼处于闭合状态的次数即主眼眨眼的次数。
在主眼的动作满足设定条件时，处理器触发摄像头拍照操作。例如，设定条件为主眼闭合时间为大于2s时，处理器触发摄像头拍照一次。又如，设定条件为主眼在设定时间段时眨眼多次(N，大于1)时，处理器触发摄像头连拍N次。其中，触发方式可以是向摄像头或者图像传感器发送控制指令，也可以向控制按钮发送控制指令，技术人员可以根据具体场景进行设置，在此不作限定。
在主眼的动作不满足设定条件时，处理器可以继续检测主眼的动作，例如返回步骤103。或者，在主眼消失或者长时间无动作时，处理器还可以继续确定新的主眼，例如返回步骤101。处理器的处理动作，可以根据具体场景进行设定，在此不作限定。
本实施例中，处理器通过选择第一原始图像中的一个人眼作为主眼来控制拍照过程，实现多个用户的自拍操作，这样可以避免相关技术中多用户自拍过程中某个用户眨眼造成的误拍照，从而可以提高自拍的准确率，提升自拍照片的效果。
图2是根据本发明实施例示出的一种自拍控制方法的流程示意图，参见图2，一种自拍控制方法包括包括步骤201～步骤204，其中：
201，获取第一原始图像。
步骤201和步骤101的具体方法和原理一致，详细描述请参考图1及步骤101的相关内容，此处不再赘述。
202，从所述第一原始图像中选择一个人眼作为控制拍照的主眼。
参见图2，本实施例中，处理器对第一原始图像进行处理，得到每个用户的人脸图像，这样可以得到至少一个人脸图像(对应步骤2021)。然后，处理器处理每个人脸图像，可以得到至少一个人眼图像(对应步骤2022)。最后，处理器从至少一个人眼图像中选择一个人眼作为主眼(对应步骤2023)。
在一实施例中，参见图3，处理器根据以下步骤获取至少一个人脸图像，包括：
处理器将第一原始图像11从RGB颜色空间转换到YCbC彩色空间，然后，处理器采用椭圆肤色模型将第一原始图像中各区域与肤色样本对比，以达到在YCbC彩色空间中区分出肤色区域和非肤色区域的目的。
可理解的是，此过程中区分出的肤色区域包括一些类肤色区域。
其中，肤色样本可以包括不同性别、年龄、种族的正面人脸照片，并手工去除各肤色样本中的非肤色区域。
之后，处理器对第一原始图像11中的肤色区域进行二值化处理得到二值图像，并对二值图像进行腐蚀运算和膨胀运算，以过滤二值图像中面积较小的类肤色区域和较小的孔洞。
最后，处理器计算出过滤后的二值图像中的人脸区域的外接框12。以该外接框12为边界分割第一原始图像11，将外接框12内的图像作为第一原始图像的人脸图像13。
经过上述过程，处理器可以得到至少一个人脸图像13。
在一实施例中，基于上述至少一个人脸图像13，参见图4，处理器根据以下步骤401和步骤402获取至少一个人眼图像14，其中：
在步骤401中，针对至少一个人脸图像中每个人脸图像，处理器对每个人眼图像进行第一预处理，得到预处理后的人脸图像。其中，第一预处理可以包括灰度化处理和归一化处理。可理解的是，经过第一预处理后，可以减小自拍过程中外界环境的变化，图像平移、缩放、旋转等情况对人脸检测的影响。
在步骤402中，针对第一预处理后的每个人脸图像，处理器采用积分投影方法和差分投影方法确定人眼的中心位置。需要说明的是，本实施例中获取人眼的中心位置是把握了人眼区域的以下两个特征：(1)人眼区域的灰度值比大部分人脸区域的灰度值低。(2)与其他区域相比，人眼区域的灰度值变化率较大。
在一实施例中，参见图5，处理器获取每个人脸图像中人眼的中心位置的步骤可以包括：
首先，处理器利用垂直积分投影方法确定人眼图像中人眼的中心位置的横坐标(对应步骤501)。其中垂直积分投影方法的公式如下：
其中，x表示像素点的横坐标，y表示像素点的纵坐标，G(x,y)表示人脸图像在像素点(x，y)处的灰度值，Mv(x)表示垂直方向(即列方向)上各像素点的灰度值之和。其中，人脸图像中各列像素点的横坐标取值范围为[x1,x2]。
处理器获取每一列像素点的灰度值之和Mv(x)，从而可以得到图6所示的灰度值之和与横坐标的关系。然后处理器将每一列的灰度值之和与设定阈值(图6中水平虚线)作比较，这样可以得到至少一列像素点，每列像素点的灰度值之和不超过(小于或者等于)设定阈值，图6中得到的横坐标分别为x10、x11和x12。设定阈值可以为[x1,x2]范围内各列像素点灰度值之和的最大值和阈值因子α(α＜1)的乘积。这至少一列像素点对应的横坐标即为人脸图像中至少一个人眼的中心位置的横坐标。
其中，设置阈值因子α(α＜1)的目的在于，可以根据具体场景调整α(α＜1)的取值即调整设定阈值的取值，例如，在计算结果的多列像素点的数量较大时，可以调低阈值因子α的取值，以减少计算结果中像素点的列数。又如，在计算结果的像素点的列数较少甚至没有时，可以调高阈值因子α的取值，以增加计算结果中像素点的列数，这样可以保证得到像素点列数满足要求且能提高计算准确度。
其次，处理器利用水平差分投影方法确定所述人眼图像中人眼的虹膜区域(对应步骤502)。由于眉毛有两处边缘，各边缘处相邻像素点灰度值差距较大，即灰度值的变化率较大(从周围区域到眉毛和从眉毛到周围区域)，人眼至少有四处边缘对应的变化率较大(没有虹膜的区域，从周围区域到眼框、从眼框到眼白、从眼白到眼框、从眼框到周围区域；有虹膜的区域，从周围区域到眼框、从眼框到眼白、从眼白到虹膜、从虹膜到眼白、从眼白到眼框、从眼框到周围区域)，因此本实施例中通过水平差分投影方法可以得到变化率较大且较多的水平区域，即方差越大，变化率越大，从而可以将眉毛区域从人眼图像中分离出来，仅获取虹膜区域。这样可以避免眉毛对人眼的影响。
在已知人脸图像中各像素点的坐标和灰度值的情况下，基于水平差分投影方法的公式可以计算出每一行像素点对应的方差。水平差分投影方法的公式如下：
其中，x2，x1表示像素点的横坐标的最大值和最小值，xi表示第i个像素点的横坐标，Mh(y)表示水平方向上各行像素点的灰度值之和，表示各行像素点对应的方差。
本步骤中，基于人眼区域的第(2)个特征，处理器计算每一行像素点灰度值对应的方差从而得到如图7所示的方差和纵坐标的关系。之后，处理器获取每一行像素点对应的方差不小于(大于或者等于)方差阈值的至少一个水平区域，每个水平区域的最上边对应虹膜的最上侧，最下边对应虹膜的最下侧，即可以确定出人眼的虹膜区域。图7示出了有两个水平区域的场景，位于下方的水平区域(图7中虚线框内的区域)的最上侧对应左侧虹膜的最上侧，纵坐标为y12，水平区域的最下侧对应左侧虹膜的最下侧，纵坐标为y11。位于上方的水平区域(图7中实线框内的区域)的最上侧对应右侧虹膜的最上侧，纵坐标为y14，水平区域的最下侧对应右侧虹膜的最下侧，纵坐标为y13。
继续参见图7，图7中还示出人脸图像中鼻尖区域Pa对应的方差，以及眉毛区域Pb对应的方法。由于鼻尖区域Pa和眉毛区域Pb内像素值的变化率小于虹膜区域内像素值的变化率，因此通过调整方差阈值，可以将眉毛区域和虹膜区域分离，降低眉毛对人眼识别的影响。
其中，方差阈值可以为每行像素点的灰度值的最小方差值和阈值因子β(β＞1)的乘积。设置阈值因子β(β＞1)的目的在于，可以根据具体场景调整β的取值即调整方差阈值的取值，保证得到水平区域的数量满足要求，详细内容可以参考阈值因子α的说明，在此不再赘述。
最后，处理器利用水平积分投影方法确定所述虹膜区域中灰度值之和最小一行的纵坐标，得到所述人眼的中心位置的纵坐标(对应步骤503)。其中水平积分投影方法的公式如下：
本步骤中，处理器可以获取虹膜区域内灰度值之和最小的一行，该行对应的纵坐标即是人眼中心位置的纵坐标，图8示出了每个水平区域对应的灰度值最小的一行，纵坐标分别为y15和y16，即左侧虹膜的纵坐标为y15，右侧虹膜的纵坐标为y16。参见图6和图8，可以得到图6中人脸图像中左眼的坐标(x10，y15)，右眼的坐标(x12，y16)。并且，结合图6和图8对应的内容，还可以排除步骤501中所得到横坐标中的干扰信息。
可见，处理器通过步骤501～503可以得到每个人眼的中心位置的横坐标和纵坐标。可理解的是，步骤501可以后于步骤502和步骤503执行，还可以与步骤502和步骤503同时执行，同样可以得到各人眼的中心位置。
在步骤403中，处理器基于所述每个人眼的中心位置生成一个设定尺寸的矩形框，保证矩形框内只有一个眼睛，则矩形框内的图像为人眼图像。其中矩形框的高度为a，矩形框的宽度为b。其中高度a和宽度b的取值可以根据场景进行设置。
可见，处理器通过步骤401～步骤403可以得到至少一个人眼图像。
基于至少一个人眼图像，处理器从中选择一个人眼为作控制拍照的主眼，参见图9，处理器先获取至少一个人眼图像的数量(对应步骤901)，并判断是否只有一个人眼图像(对应步骤902)。在一实施例中，在人眼图像的数量为1时，处理器将该人眼图像中的人眼作为主眼(对应步骤903)。在另一实施例中，人眼图像的数量为多个，此时处理器对多个人眼图像继续处理(对应步骤904～步骤906)。
针对每个人眼图像14，处理器对矩形框内的图像进行第二预处理(对应步骤904)。其中第二预处理可以包括二值化处理、腐蚀处理和膨胀处理，可以根据具体场景进行设置，在此不作限定。可理解的是，本实施例中处理器仅对人眼图像进行处理，即对矩形框内的图像进行处理，可以减少计算量，有利于提高实时性。
针对每个人眼图像14，处理器获取每个矩形框内连通域的面积(对应步骤905)，每个人眼图像的连通域15如图10所示。然后，处理器根据大小关系对连通域的面积进行排序，将连通域面积最大对应的矩形框内的人眼作为主眼(对应步骤906)。
203，获取所述主眼的动作。
本实施例中，处理器获取到主眼后，主眼外的矩形框会保留在后续的图像(即第二原始图像)中，从而保证主眼位置的连续性。为保证矩形框内的人眼为主眼，处理器还对第二原始图像中矩形框内的图像进行处理，例如第二预处理，然后获取人眼的中心位置的坐标，若矩形框内人眼的中心位置与主眼的中心位置的距离小于或者等于距离阈值，则矩形框内的人眼就是主眼。其中距离阈值可以根据具体场景进行设置，在一实施例中，距离阈值为L，取值可以根据具体场景进行设置。
若矩形框内人眼的中心位置与主眼的中心位置的距离大于距离阈值，处理器忽略之前所得到的主眼，重新获取第一原始图像并重新确定主眼的中心位置，请参考上述各实施例的内容。
在一实施例中，处理器对矩形框内的图像进行第二预处理，获取主眼连通域的面积，若连通域的面积小于或者等于面积阈值，则处理器确定主眼处于闭合状态，对应的第二原始图像编号为P1。按照上述方案，处理器连续处理多张第二原始图像，确定每张第二原始图像中主眼状态。某一张第二原始图像P2中主眼开启(连通域面积大于面积阈值)时，则根据第二原始图像P1和第二原始图像P2的采集时间，可以计算出主眼的闭合时间。
在一实施例中，处理器还可以检测在设定时间段内主眼的闭合次数。其中设定时间段可以为10s，5s或者3s等，可以根据具体场景进行设置。例如，处理器在检测到主眼第一次处于闭合状态时开始计时直到到达设定时间段(即计时时长等于设定时间段的时长)，统计本设定时间段内主眼闭合的次数。当然，处理器还可以在检测到第一次主眼在闭合状态完成时开始计时，若在计时时间不超过间隔时间的计时过程中处理器又检测到主眼处于闭合状态，则在主眼闭合状态完成时重新计时，直到计时时间超过时间间隔，然后统计主眼处于闭合状态的次数，同样可以实现本申请的方案。
204，若所述主眼的动作满足设定条件，则触发拍照操作。
步骤204和步骤104的具体方法和原理一致，详细描述请参考图1及步骤104的相关内容，此处不再赘述。
本实施例中通过垂直积分投影方法获取人眼中心位置的横坐标，利用水平差分投影方法和水平积分投影方法确定人眼中心位置的纵坐标。其中本实施例中先利用水平差分投影方法确定虹膜区域，之后再确定中心位置的纵坐标，这样可以避免眉毛对人眼的影响，从而提高所获取的主眼的准确度，有利于提高拍照控制的精度。并且，本实施例中在确定主眼动作的过程中，处理器可以只处理主眼对应矩形框内的图像，这样可以减少计算量，提高主眼检测的实时性。
本发明实施例还提供了一种自拍控制装置，图11是根据本发明实施例示出的一种自拍控制装置的框图。参见图11，一种自拍控制装置1100包括：
第一图像获取模块1101，用于获取第一原始图像；
主眼选择模块1102，用于从所述第一原始图像中选择一个人眼作为控制拍照的主眼；
动作获取模块1103，用于获取所述主眼的动作；
拍照触发模块1104，用于在所述主眼的动作满足设定条件时，触发拍照操作。
图12是根据本发明实施例示出的一种自拍控制装置的框图。参见图12，在图11所示自拍控制装置的基础上，主眼选择模块1102包括：
人脸图像获取子模块1201，用于对所述第一原始图像进行处理，得到至少一个人脸图像；
人眼图像获取子模块1202，用于对所述至少一个人脸图像进行处理，得到至少一个人眼图像；
主眼选择子模块1203，用于从所述至少一个人眼图像中选择一个人眼作为主眼。
图13是根据本发明实施例示出的一种自拍控制装置的框图。参见图13，在图12所示自拍控制装置的基础上，所述人眼图像获取子模块1202包括：
第一预处理单元1301，用于针对所述至少一个人脸图像中每个人脸图像进行第一预处理，所述第一预处理包括灰度化处理和归一化处理；
人眼中心确定单元1302，用于对第一预处理后的每个人脸图像采用积分投影方法和差分投影方法确定每个人眼的中心位置；
人眼图像获取单元1303，用于基于所述每个人眼的中心位置生成一个设定尺寸的矩形框，所述矩形框内的图像为人眼图像。
图14是根据本发明实施例示出的一种自拍控制装置的框图。参见图14，在图13所示自拍控制装置的基础上，所述人眼中心确定单元1302包括：
横坐标确定子单元1401，用于利用垂直积分投影方法确定所述人眼图像中人眼的中心位置的横坐标；
虹膜区域确定子单元1402，用于利用水平差分投影方法确定所述人眼图像中人眼的虹膜区域；
纵坐标确定子单元1403，用于利用水平积分投影方法确定所述虹膜区域中灰度值之和最小一行的纵坐标，得到所述人眼的中心位置的纵坐标。
图15是根据本发明实施例示出的一种自拍控制装置的框图。参见图15，在图12所示自拍控制装置的基础上，所述主眼选择子模块1203包括：
人眼数量确定单元1501，用于确定所述至少一个人眼图像的数量；
第二预处理单元1502，用于在所述至少一个人眼图像数量为多个时，对所述矩形框内的图像进行第二预处理；所述第二预处理至少包括二值化处理、腐蚀处理和膨胀处理；
连通域面积获取单元1503，用于获取每个矩形框内连通域的面积；
主眼确定单元1504，用于确定面积最大的连通域对应矩形框内的人眼作为主眼；
还用于在所述至少一个人眼图像数量为一个时，确定所述矩形框内的人眼作为主眼。
图16是根据本发明实施例示出的一种自拍控制装置的框图。参见图16，在图11所示自拍控制装置的基础上，所述动作获取模块1103包括：
图像获取子模块1601，用于获取多张第二原始图像；所述多张第二原始图像是所述第一原始图像之后依次拍摄的图像；
连通域面积获取子模块1602，用于针对所述多张第二原始图像中每张第二原始图像，获取所述每张第二原始图像中所述主眼对应矩形框内连通域的面积；
主眼状态确定子模块1603，用于在所述面积小于或等于面积阈值时，确定所述主眼处于闭合状态；
主眼动作获取子模块1604，用于基于所述多张第二原始图像中所述主眼的闭合状态，确定所述主眼的闭合时间或者设定时间段内所述主眼的闭合次数，得到所述主眼的动作。
图17是根据本发明实施例示出的一种自拍控制装置的框图。参见图17，在图11所示自拍控制装置的基础上，所述装置1100还包括：
人眼中心确定模块1701，用于获取所述每张第二原始图像中所述矩形框内人眼的中心位置；
主眼确定模块1702，用于在所述每张第二原始图像中人眼的中心位置与所述主眼的中心位置之间的距离小于或者等于距离阈值时，确定所述每张第二原始图像中人眼为所述主眼。
可选地，所述设定条件为设定时间段内所述主眼的闭合次数超过设定次数，或者所述主眼的闭合时间超过闭合时间阈值。
本发明的实施例还提出了一种电子设备，参见图18，该电子设备1800包括：
摄像头模组1801；
处理器1802；
用于存储所述处理器1802可执行指令的存储器1803；
其中，处理器1802被配置为执行存储器1803中可执行指令以实现上述自拍控制方法的步骤。
在一实施例中，继续参见图18，上述电子设备还可以包括显示器模组1804，该显示器模组1804可以包括LCD显示屏。在自拍过程中，用户可以通过显示器模组1304显示的图像，调整位置和拍射角度，从而提高拍照效果。
需要说明的是，本实施例中的电子设备1800可以为电视机、手机、平板电脑、笔记本电脑、数码相框、导航仪等任何具有拍照功能的产品或部件。用户利用电子设备可以进行自拍。
在本发明中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (17)

1.一种自拍控制方法，其特征在于，所述方法包括：
获取第一原始图像；
从所述第一原始图像中选择一个人眼作为控制拍照的主眼；
获取所述主眼的动作；
若所述主眼的动作满足设定条件，则触发拍照操作。
2.根据权利要求1所述的自拍控制方法，其特征在于，从所述第一原始图像中选择一个人眼作为控制拍照的主眼包括：
对所述第一原始图像进行处理，得到至少一个人脸图像；
对所述至少一个人脸图像进行处理，得到至少一个人眼图像；
从所述至少一个人眼图像中选择一个人眼作为主眼。
3.根据权利要求2所述的自拍控制方法，其特征在于，对所述至少一个人脸图像进行处理，得到至少一个人眼图像包括：
针对所述至少一个人脸图像中每个人脸图像进行第一预处理，所述第一预处理包括灰度化处理和归一化处理；
对第一预处理后的每个人脸图像采用积分投影方法和差分投影方法确定每个人眼的中心位置；
基于所述每个人眼的中心位置生成一个设定尺寸的矩形框，所述矩形框内的图像为人眼图像。
4.根据权利要求3所述的自拍控制方法，其特征在于，对第一预处理后的每个人脸图像采用积分投影方法和差分投影方法确定每个人眼的中心位置包括：
利用垂直积分投影方法确定所述人眼图像中人眼的中心位置的横坐标；
利用水平差分投影方法确定所述人眼图像中人眼的虹膜区域；
利用水平积分投影方法确定所述虹膜区域中灰度值之和最小一行的纵坐标，得到所述人眼的中心位置的纵坐标。
5.根据权利要求3所述的自拍控制方法，其特征在于，从所述至少一个人眼图像中选择一个人眼作为主眼包括：
确定所述至少一个人眼图像的数量；
若所述至少一个人眼图像数量为多个，则对所述矩形框内的图像进行第二预处理；所述第二预处理至少包括二值化处理、腐蚀处理和膨胀处理；
获取每个矩形框内连通域的面积；
确定面积最大的连通域对应矩形框内的人眼作为主眼；
若所述至少一个人眼图像数量为一个，则确定所述矩形框内的人眼作为主眼。
6.根据权利要求5所述的自拍控制方法，其特征在于，获取所述主眼的动作包括：
获取多张第二原始图像；所述多张第二原始图像是所述第一原始图像之后依次拍摄的图像；
针对所述多张第二原始图像中每张第二原始图像，获取所述每张第二原始图像中所述主眼对应矩形框内连通域的面积；
若所述面积小于或等于面积阈值，则确定所述主眼处于闭合状态；
基于所述多张第二原始图像中所述主眼的闭合状态，确定所述主眼的闭合时间或者设定时间段内所述主眼的闭合次数，得到所述主眼的动作。
7.根据权利要求6所述的自拍控制方法，其特征在于，获取所述每张第二原始图像中所述主眼对应矩形框内连通域的面积之前，所述方法还包括：
获取所述每张第二原始图像中所述矩形框内人眼的中心位置；
若所述每张第二原始图像中人眼的中心位置与所述主眼的中心位置之间的距离小于或者等于距离阈值，则确定所述每张第二原始图像中人眼为所述主眼。
8.根据权利要求6所述的自拍控制方法，其特征在于，所述设定条件为设定时间段内所述主眼的闭合次数超过设定次数，或者所述主眼的闭合时间超过闭合时间阈值。
9.一种自拍控制装置，其特征在于，所述装置包括：
第一图像获取模块，用于获取第一原始图像；
主眼选择模块，用于从所述第一原始图像中选择一个人眼作为控制拍照的主眼；
动作获取模块，用于获取所述主眼的动作；
拍照触发模块，用于在所述主眼的动作满足设定条件时，触发拍照操作。
10.根据权利要求9所述的自拍控制装置，其特征在于，所述主眼选择模块包括：
人脸图像获取子模块，用于对所述第一原始图像进行处理，得到至少一个人脸图像；
人眼图像获取子模块，用于对所述至少一个人脸图像进行处理，得到至少一个人眼图像；
主眼选择子模块，用于从所述至少一个人眼图像中选择一个人眼作为主眼。
11.根据权利要求10所述的自拍控制装置，其特征在于，所述人眼图像获取子模块包括：
第一预处理单元，用于针对所述至少一个人脸图像中每个人脸图像进行第一预处理，所述第一预处理包括灰度化处理和归一化处理；
人眼中心确定单元，用于对第一预处理后的每个人脸图像采用积分投影方法和差分投影方法确定每个人眼的中心位置；
人眼图像获取单元，用于基于所述每个人眼的中心位置生成一个设定尺寸的矩形框，所述矩形框内的图像为人眼图像。
12.根据权利要求11所述的自拍控制装置，其特征在于，所述人眼中心确定单元包括：
横坐标确定子单元，用于利用垂直积分投影方法确定所述人眼图像中人眼的中心位置的横坐标；
虹膜区域确定子单元，用于利用水平差分投影方法确定所述人眼图像中人眼的虹膜区域；
纵坐标确定子单元，用于利用水平积分投影方法确定所述虹膜区域中灰度值之和最小一行的纵坐标，得到所述人眼的中心位置的纵坐标。
13.根据权利要求11所述的自拍控制装置，其特征在于，所述主眼选择子模块包括：
人眼数量确定单元，用于确定所述至少一个人眼图像的数量；
第二预处理单元，用于在所述至少一个人眼图像数量为多个时，对所述矩形框内的图像进行第二预处理；所述第二预处理至少包括二值化处理、腐蚀处理和膨胀处理；
连通域面积获取单元，用于获取每个矩形框内连通域的面积；
主眼确定单元，用于确定面积最大的连通域对应矩形框内的人眼作为主眼；
还用于在所述至少一个人眼图像数量为一个时，确定所述矩形框内的人眼作为主眼。
14.根据权利要求13所述的自拍控制装置，其特征在于，所述动作获取模块包括：
图像获取子模块，用于获取多张第二原始图像；所述多张第二原始图像是所述第一原始图像之后依次拍摄的图像；
连通域面积获取子模块，用于针对所述多张第二原始图像中每张第二原始图像，获取所述每张第二原始图像中所述主眼对应矩形框内连通域的面积；
主眼状态确定子模块，用于在所述面积小于或等于面积阈值时，确定所述主眼处于闭合状态；
主眼动作获取子模块，用于基于所述多张第二原始图像中所述主眼的闭合状态，确定所述主眼的闭合时间或者设定时间段内所述主眼的闭合次数，得到所述主眼的动作。
15.根据权利要求14所述的自拍控制装置，其特征在于，所述装置还包括：
人眼中心确定模块，用于获取所述每张第二原始图像中所述矩形框内人眼的中心位置；
主眼确定模块，用于在所述每张第二原始图像中人眼的中心位置与所述主眼的中心位置之间的距离小于或者等于距离阈值时，确定所述每张第二原始图像中人眼为所述主眼。
16.根据权利要求14所述的自拍控制装置，其特征在于，所述设定条件为设定时间段内所述主眼的闭合次数超过设定次数，或者所述主眼的闭合时间超过闭合时间阈值。
17.一种电子设备，其特征在于，所述设备包括：
摄像头模组；
处理器；
用于存储所述处理器可执行指令和文件的存储器；
其中，所述处理器被配置为执行所述存储器中可执行指令以实现权利要求1～8中任一项所述方法的步骤。
CN201810331954.9A 2018-04-13 2018-04-13 自拍控制方法及装置、电子设备 Active CN108513074B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810331954.9A CN108513074B (zh) 2018-04-13 2018-04-13 自拍控制方法及装置、电子设备
US16/240,959 US10666859B2 (en) 2018-04-13 2019-01-07 Self-photographing control method and device, and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810331954.9A CN108513074B (zh) 2018-04-13 2018-04-13 自拍控制方法及装置、电子设备

Publications (2)

Publication Number Publication Date
CN108513074A true CN108513074A (zh) 2018-09-07
CN108513074B CN108513074B (zh) 2020-08-04

Family

ID=63381844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810331954.9A Active CN108513074B (zh) 2018-04-13 2018-04-13 自拍控制方法及装置、电子设备

Country Status (2)

Country Link
US (1) US10666859B2 (zh)
CN (1) CN108513074B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800743A (zh) * 2019-03-15 2019-05-24 深圳市奥迪信科技有限公司 智慧酒店客房迎宾方法及***
CN112118380A (zh) * 2019-06-19 2020-12-22 北京小米移动软件有限公司 相机操控方法、装置、设备及存储介质
CN114385014A (zh) * 2022-01-24 2022-04-22 北京智象信息技术有限公司 一种基于Android TV儿童模式眼动追踪的用户交互方法及***

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229376B (zh) * 2017-12-29 2022-06-03 百度在线网络技术（北京）有限公司 用于检测眨眼的方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140240483A1 (en) * 2013-02-26 2014-08-28 National Quemoy University Smart photographing apparatus
CN104468995A (zh) * 2014-11-28 2015-03-25 广东欧珀移动通信有限公司 一种控制摄像头的方法及移动终端
CN104836889A (zh) * 2014-02-12 2015-08-12 Lg电子株式会社 移动终端及其控制方法
CN107396170A (zh) * 2017-07-17 2017-11-24 上海斐讯数据通信技术有限公司 一种基于虹膜控制视频播放的方法及***
CN107479695A (zh) * 2017-07-19 2017-12-15 苏州三星电子电脑有限公司 显示装置及其控制方法
CN107844780A (zh) * 2017-11-24 2018-03-27 中南大学 一种融合zed视觉的人体健康特征大数据智慧计算方法与装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3452685B2 (ja) * 1995-05-10 2003-09-29 三菱電機株式会社 顔画像の処理装置
US7680357B2 (en) * 2003-09-09 2010-03-16 Fujifilm Corporation Method and apparatus for detecting positions of center points of circular patterns
KR101448536B1 (ko) * 2008-03-21 2014-10-08 삼성전자주식회사 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체
CN101739548B (zh) 2009-02-11 2012-07-25 北京智安邦科技有限公司 人眼检测方法及***
TWI407388B (zh) * 2010-04-21 2013-09-01 Hon Hai Prec Ind Co Ltd 嬰兒睡眠偵測系統及方法
CN101908140A (zh) 2010-07-29 2010-12-08 中山大学 一种在人脸识别中应用的活体检测方法
CN102799277B (zh) 2012-07-26 2015-06-10 深圳先进技术研究院 一种基于眨眼动作的人机交互方法及***
KR102068049B1 (ko) * 2013-05-13 2020-01-20 삼성전자주식회사 영상 처리 장치 및 영상 처리 방법
US20170163866A1 (en) * 2013-07-24 2017-06-08 Google Inc. Input System
CN104516489A (zh) 2013-09-28 2015-04-15 南京专创知识产权服务有限公司 基于matlab的眼控鼠标
CN104751114B (zh) * 2013-12-27 2018-09-18 由田新技股份有限公司 通过眼部开闭状态控制的验证***及其手持式控制装置
US9549118B2 (en) * 2014-03-10 2017-01-17 Qualcomm Incorporated Blink and averted gaze avoidance in photographic images
CN104954661B (zh) * 2014-03-31 2018-10-12 诺基亚技术有限公司 用于控制图像捕获的方法和装置
US20170094159A1 (en) * 2015-09-24 2017-03-30 The Eye Tribe Method for initiating photographic image capture using eyegaze technology
CN105930762A (zh) * 2015-12-02 2016-09-07 ***股份有限公司 一种眼球跟踪的方法及装置
CN105827972A (zh) 2016-03-31 2016-08-03 乐视控股（北京）有限公司 一种基于智能终端的拍照控制方法及***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140240483A1 (en) * 2013-02-26 2014-08-28 National Quemoy University Smart photographing apparatus
CN104836889A (zh) * 2014-02-12 2015-08-12 Lg电子株式会社 移动终端及其控制方法
CN104468995A (zh) * 2014-11-28 2015-03-25 广东欧珀移动通信有限公司 一种控制摄像头的方法及移动终端
CN107396170A (zh) * 2017-07-17 2017-11-24 上海斐讯数据通信技术有限公司 一种基于虹膜控制视频播放的方法及***
CN107479695A (zh) * 2017-07-19 2017-12-15 苏州三星电子电脑有限公司 显示装置及其控制方法
CN107844780A (zh) * 2017-11-24 2018-03-27 中南大学 一种融合zed视觉的人体健康特征大数据智慧计算方法与装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800743A (zh) * 2019-03-15 2019-05-24 深圳市奥迪信科技有限公司 智慧酒店客房迎宾方法及***
CN112118380A (zh) * 2019-06-19 2020-12-22 北京小米移动软件有限公司 相机操控方法、装置、设备及存储介质
US11336818B2 (en) 2019-06-19 2022-05-17 Beijing Xiaomi Mobile Software Co., Ltd. Method and apparatus for controlling camera, device and storage medium
CN114385014A (zh) * 2022-01-24 2022-04-22 北京智象信息技术有限公司 一种基于Android TV儿童模式眼动追踪的用户交互方法及***
CN114385014B (zh) * 2022-01-24 2023-10-13 北京智象信息技术有限公司 一种基于Android TV儿童模式眼动追踪的用户交互方法及***

Also Published As

Publication number Publication date
CN108513074B (zh) 2020-08-04
US10666859B2 (en) 2020-05-26
US20190320112A1 (en) 2019-10-17

Similar Documents

Publication Publication Date Title
CN108513074A (zh) 自拍控制方法及装置、电子设备
US8233789B2 (en) Dynamic exposure metering based on face detection
US9560266B2 (en) Information processing apparatus and method for extracting and categorizing postures of human figures
US7259785B2 (en) Digital imaging method and apparatus using eye-tracking control
US6278491B1 (en) Apparatus and a method for automatically detecting and reducing red-eye in a digital image
JP4254873B2 (ja) 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
JP6101397B2 (ja) 写真出力方法および装置
JP5159515B2 (ja) 画像処理装置およびその制御方法
US8983202B2 (en) Smile detection systems and methods
KR101594298B1 (ko) 디지털 영상 처리기에서 포커스 조정 장치 및 방법
KR20080081859A (ko) 촬상 장치 및 그 제어 방법
KR101537948B1 (ko) 얼굴 포즈 추정을 이용한 촬영 방법 및 장치
KR20100055946A (ko) 동영상 썸네일 생성 방법 및 장치
US20100220208A1 (en) Image processing method and apparatus and digital photographing apparatus using the same
CN103491307A (zh) 一种后置摄像头的智能自拍方法
JP2008219449A (ja) 撮像装置およびその制御方法
JP2009206628A (ja) 撮像装置及び撮像プログラム
US8442349B2 (en) Removal of artifacts in flash images
US20070002463A1 (en) Image capturing apparatus
US20040212695A1 (en) Method and apparatus for automatic post-processing of a digital image
KR101094648B1 (ko) 구도결정을 하는 사진사 로봇 및 그 제어방법
CN108156387A (zh) 通过检测眼睛视线自动结束摄像的装置及方法
JP2008219450A (ja) 撮像装置およびその制御方法
TWI792137B (zh) 視線方向校正方法
JP2008219451A (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant