CN110268703A - 成像方法和成像控制装置 - Google Patents

成像方法和成像控制装置 Download PDF

Info

Publication number
CN110268703A
CN110268703A CN201780086146.4A CN201780086146A CN110268703A CN 110268703 A CN110268703 A CN 110268703A CN 201780086146 A CN201780086146 A CN 201780086146A CN 110268703 A CN110268703 A CN 110268703A
Authority
CN
China
Prior art keywords
face
target position
positioning mechanism
control apparatus
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780086146.4A
Other languages
English (en)
Inventor
封旭阳
赵丛
余俊峰
钱杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN110268703A publication Critical patent/CN110268703A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

一种成像方法，包括：在与定位机构连接的图像捕获机构的成像框中确定目标位置；在确定目标位置之后，输出捕获指令控制图像捕获机构捕获包括人脸的场景；从所捕获的场景中检测人脸；以及，输出控制指令，以通过移动定位机构从而移动图像捕获机构，来将所检测的人脸定位到目标位置处。

Description

成像方法和成像控制装置
技术领域
本公开涉及一种用于成像的方法和装置，并且更具体地，涉及一种基于脸检测的成像方法和成像控制装置。
背景技术
诸如相机和摄像机之类的图像捕获设备已经广泛用于日常生活中。在常规的图像捕获设备上，可以通过取景器或预览屏幕来观看要捕获的场景。然而，取景器或预览屏幕通常布置在图像捕获设备中的与图像捕获设备的镜头的指向方向相反的一侧上。这使得拍摄自拍(例如，自拍照片或自拍视频)成为一项困难的任务。一些图像捕获设备具有可旋转的预览屏幕，这允许用户预览图像中有用户他/她自己的图像。然而，用户仍然需要手动调整图像捕获设备。
许多智能电话还包括一个或多个镜头，并且能够拍摄静止图像和运动图像，因此也可以用作图像捕获设备。智能电话通常具有布置在与智能电话的屏幕相同侧上的前置相机和布置在智能电话的相对侧上的后置相机。通常，前置相机的分辨率低于后置相机。使用后置相机来拍摄自拍很困难，因为用户无法在捕获图像前预览图像。使用前置相机来拍摄自拍是相对更方便的，但仍然需要用户手动调整以获得适当的构图，这通常是麻烦且不容易做到的，尤其是在移动时拍摄自拍视频时。此外，由于前置相机相对低的分辨率，前置相机通常仅可以产生可接受的图像。
发明内容
根据本公开，提供了一种成像方法，包括：在与定位机构连接的图像捕获机构的成像框中确定目标位置；在确定目标位置之后，输出捕获指令控制图像捕获机构捕获包括人脸的场景；从所捕获的场景中检测人脸；以及，输出控制指令，以通过移动定位机构从而移动图像捕获机构，来将所检测的人脸定位到目标位置处。
此外，根据本公开，提供了一种成像控制装置，包括：处理器和存储有计算机程序代码的存储器，计算机程序代码在被处理器执行时，使处理器进行以下操作：在与定位机构连接的图像捕获机构的成像框中确定目标位置；在确定目标位置之后，输出捕获指令，以控制图像捕获机构捕获包括人脸的场景；从所捕获的场景中检测人脸；以及输出控制指令，以移动定位机构，以便将所检测的人脸定位在目标位置处。
此外，根据本公开，提供了一种存储计算机程序代码的非暂时性计算机可读存储介质，计算机程序代码在被处理器执行时使处理器进行以下操作：在与定位机构连接的图像捕获机构的成像框中确定目标位置；在确定目标位置之后，输出捕获指令，以控制图像捕获机构捕获包括人脸的场景；从所捕获的场景中检测人脸；以及输出控制指令，以移动定位机构，以便将所检测的人脸定位在目标位置处。
附图说明
图1是示出了根据本公开的示例性实施例的成像***的示意图。
图2是示出了根据本公开的示例性实施例的成像方法的流程图。
图3示意性地示出了根据本公开的示例性实施例的成像框中的默认目标位置。
图4是示出了根据本公开的示例性实施例的用于移动定位机构以将检测到的人脸定位在目标位置的方法的流程图。
图5A和图5B示意性地示出了根据本公开的示例性实施例的当前位置和目标位置之间的位置关系。
图6示意性地示出了根据本公开的示例性实施例的具有不同程度的笑容强度的人脸。
图7是示出了根据本公开的示例性实施例的提示方法的流程图。
具体实施方式
在下文中，将参考附图描述根据本公开的实施例，实施例仅是出于说明目的而示例，并且不旨在限制本公开的范围。如可能，将在整个附图中使用相同的附图标记来指代相同或类似的部件。
图1是示出了根据本公开的示例性成像***100的示意图。成像***100包括图像捕获机构102、与图像捕获机构102连接的定位机构104、以及与图像捕获机构102和定位机构104耦接的成像控制装置106。
图像捕获机构102包括镜头或镜头组102-2，并且被配置为使用图像传感器(未示出)来捕获静止图像(即，照片)和/或运动图像(即，视频)。在下文中，术语“图像”用于指代静止图像或运动图像。图像传感器可以是例如光电传感器，例如电荷耦合器件(CCD)传感器、互补金属氧化物半导体(CMOS)传感器、或薄膜晶体管(TFT)传感器。图像捕获机构102还被配置为向图像控制装置106发送所捕获的图像以用于处理。在一些实施例中，图像捕获机构102可以包括存储器(未示出)，用于临时或永久地存储所捕获的图像。
定位机构104被配置为移动图像捕获机构102，例如，以适当的角度和/或适当的距离指向用于成像的目标场景(例如，将要拍摄图像的场景或景色)。在一些实施例中，定位机构104可以包括一个或多个旋转驱动器，其被配置为围绕一个或多个旋转轴(例如，偏航轴、俯仰轴和/或横滚轴)旋转。在一些实施例中，附加地或备选地，定位机构104可以包括一个或多个平移驱动器，其被配置为沿着一个或多个方向(例如，定位机构104上定义的坐标系中的x方向、y方向和/或z方向)平移移动。
成像控制装置106被配置为控制图像捕获机构102和/或定位机构104的操作。例如，成像控制装置106可以被配置为接收由图像捕获机构102捕获的图像，处理所捕获的图像以产生用于定位机构104的控制指令，并且向定位机构104发送控制指令。在一些实施例中，如图1所示，成像控制装置106包括处理器106-2和存储器106-4。处理器106-2可以包括任何合适的硬件处理器，例如微处理器、微控制器、中央处理单元(CPU)、网络处理器(NP)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、或者其它可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件。存储器106-4存储计算机程序代码，当处理器106-2执行计算机程序代码时，控制处理器106-2执行根据本公开的方法(例如，下面描述的示例性方法之一)。存储器106-4可以包括非暂时性计算机可读存储介质，例如随机存取存储器(RAM)、只读存储器、闪存、易失性存储器、硬盘存储设备、或光学介质。
在一些实施例中，成像***100还可以包括人机接口(未示出)，其被配置为向成像***100的用户传送信息和/或从用户接收输入。在一些实施例中，人机接口可以包括用于显示图像捕获机构102捕获的图像和/或其它信息的屏幕、以及用于从用户接收输入的输入设备。在一些实施例中，屏幕可以包括用于接收用户输入的触摸板。人机接口可以布置在图像捕获机构102、定位机构104和成像控制装置106中的任何一个上或与它们中的任何一个相关联。
根据本公开，图像捕获机构102、定位机构104和成像控制装置106可以是单独的设备，或者它们中的任何两个或更多个可以集成在一个设备中。在一些实施例中，图像捕获机构102、定位机构104和成像控制装置106是可以彼此连接或耦接的单独设备。例如，图像捕获机构102可以是相机、摄像机、或具有相机功能的智能电话。例如，定位机构104可以是相机固持器(例如，三脚架)、手持云台、或被配置为安装在移动载运工具(例如，无人机(UAV))上的机载云台。例如，成像控制装置106可以是通过有线或无线方式与图像捕获机构102和定位机构104耦接的电子控制设备。当定位机构104是被配置为安装在移动载运工具上的机载云台时，成像控制装置106可以布置在移动载运工具的遥控器中。
在一些实施例中，图像捕获机构102、定位机构104和成像控制装置106中的任何两个可以集成在同一设备中。例如，图像捕获机构102和定位机构104可以是具有镜头或镜头组且被配置为移动镜头的驱动部件的同一成像设备(例如，相机、摄像机或智能电话)的部件。图像捕获机构102可以包括镜头或镜头组，并且定位机构104可以包括驱动部件。在该示例中，成像设备可以包括用于与成像控制装置106耦接的电接口。作为另一示例，图像捕获机构102和成像控制装置106可以是同一成像设备(例如，相机、摄像机或智能电话)的部件。在该示例中，图像捕获机构102可以包括成像设备的镜头或镜头组，并且成像控制装置106可以包括成像设备中的用于控制镜头或镜头组的操作的控制电路和/或成像设备的任何其它部件。成像设备还可以包括用于与定位机构104耦接的电接口(有线或无线)和/或用于物理连接到定位机构104的机械接口。作为另一示例，定位机构104和成像控制装置106可以是同一固持设备(例如，相机固持器、手持云台或机载云台)的部件。在该示例中，固持设备可以包括用于与图像捕获机构102耦接的电接口(有线或无线)和/或用于物理连接到图像捕获机构102的机械接口。
在一些实施例中，图像捕获机构102、定位机构104和成像控制装置106集成在同一电子设备中。图像捕获机构102可以包括电子设备的镜头或镜头组。定位机构104可以包括电子设备中被配置为移动镜头或镜头组的驱动部件。成像控制装置106可以包括电子没备的控制电路，控制电路被配置为控制镜头或镜头组、驱动部件和/或电子设备的任何其它部件的操作。例如，电子设备可以是具有连接到驱动部件的可旋转/可移动镜头或镜头组的智能电话，并且电子设备的控制电路可以控制镜头或镜头组捕获图像，并且可以控制驱动部件旋转/移动镜头或镜头组。
下面将更详细地描述根据本公开的用于控制成像的示例性方法。根据本公开的方法可以在根据本公开的成像***(例如，上述成像***100)中实现。
图2是示出了根据本公开的示例性成像方法200的流程图。根据成像方法200，可以控制定位机构(例如，上述定位机构104)将图像捕获机构(例如，上述图像捕获机构102)移动到某个姿态、角度和/或位置，使得可以根据需要将人脸定位在图像捕获机构所捕获的图像中。成像控制装置(例如，上述成像控制装置106)可以从图像捕获机构接收数据并且处理数据，并且根据处理结果控制定位机构104。更具体地，成像控制装置可以：在图像捕获机构的成像框中确定目标位置；在确定目标位置之后控制图像捕获机构捕获包括人脸的场景；从所捕获的场景中检测人脸；以及，控制定位机构移动图像捕获机构，以便将所检测的人脸定位在目标位置。如在本公开中使用的术语“人脸”可以指代单个人脸或一组人脸。以下详细描述示例性处理。
如图2所示，在202处，在图像捕获机构的成像框中确定目标位置。图像捕获机构可以与定位机构物理连接，使得定位机构可以驱动图像捕获机构移动。图像捕获机构的成像框可以指代例如与要由图像捕获机构捕获的图像相对应的虚拟框，并且可以与例如图像捕获机构的光电传感器上的区域相对应，该区域具有与要由图像捕获机构捕获的图像相同的形状。例如，成像框可以与图像捕获机构捕获的图像的整个区域相对应。因此，图像捕获机构的成像框可以定义图像捕获机构捕获的图像的尺寸。例如，成像框可以是矩形框，其中框长边与框短边之比是例如5∶4、3∶2或16∶9。作为另一示例，成像框可以是正方形框。成像框还可以具有与普通框不同的形状和/或尺寸，例如圆形框、三角形框或具有不规则形状的框。图像捕获机构捕获的图像可以具有与成像框的形状和尺寸相同的形状和尺寸。
目标位置指代成像框中的、目标人脸在要由图像捕获机构捕获的图像中所处的预定位置，并且可以在图像捕获机构开始捕获图像之前确定。在一些实施例中，目标位置可以是成像框中的预设默认位置。例如，可以在图像捕获机构或成像控制装置中预设和存储默认位置。图3示意性地示出了根据本公开的示例性成像框300中的一些示例性默认位置。默认位置可以例如是成像框的中心位置302或靠近中心位置302的位置、成像框的黄金比例点304之一或靠近黄金比例点304之一的位置、或者成像框的三分法网格点306之一或者靠近三分法网格点306之一的位置。
在一些实施例中，可以在捕获任何图像之前由用户确定目标位置。在这些实施例中，可以为用户提供人机接口，以选择成像框中的位置作为目标位置。如上所述，人机接口可以布置在图像捕获机构、定位机构和成像控制装置中的任何一个上或与它们中的任何一个相关联。具体地，人机接口可以包括屏幕，并且成像框可以显示在屏幕上。成像框可以占据屏幕的一部分或占据整个屏幕。
在一些实施例中，人机接口还可以包括单独的输入设备，用于用户输入对成像框中的目标位置进行指示的选择。例如，输入设备可以包括用于控制光标在屏幕上移动的一个或多个方向键或指点设备(例如，操纵杆、轨迹点、轨迹球、或触摸板)、和用于选择光标位置作为目标位置的确认按键。
在一些实施例中，屏幕是触摸屏，并且用户可以通过触摸屏幕直接选择目标位置。用户可以用外部对象(例如，用户的手指或触写笔)来触摸屏幕。当在屏幕上检测到外部对象的触摸时，成像控制装置可以确定触摸的位置(即，触摸位置)，并且可以根据触摸位置确定目标位置。例如，成像控制装置可以选择触摸位置作为目标位置。
在一些实施例中，触摸可以包括在屏幕上的快速点击，并且触摸位置包括外部对象在屏幕上点击的位置。在一些实施例中，为了避免不慎选择了不期望的位置用于目标位置，可以要求用户在成像控制装置识别出位置选择输入之前触摸屏幕长达一段时间。在这些实施例中，触摸可以包括按压屏幕并保持一段时间(例如，2秒)。在一些实施例中，当经过了一段时间时，成像控制装置可以输出提示，向用户通知已经选择了目标位置。提示可以是图形提示(例如，触摸位置周围的小圆圈)或声音提示(例如，蜂鸣声)。
在一些实施例中，当检测到外部对象触摸屏幕时，成像控制装置不确定目标位置，但是当检测到外部对象离开屏幕时成像控制装置确定目标位置。外部对象离开屏幕(即，取消触摸)的位置也称为“释放位置”。释放位置可以与触摸位置相同，例如，在外部对象在触摸屏幕之后和离开屏幕之前没有在屏幕上移动的情况下。释放位置也可以与触摸位置不同，例如，在外部对象在触摸屏幕之后移动离开触摸位置的情况下。在这些实施例中，成像控制装置可以根据释放位置来确定目标位置。例如，成像控制装置可以选择释放位置作为目标位置。
类似于上述根据触摸位置确定目标位置的实施例，在根据释放位置确定目标位置的实施例中，为了避免不慎选择不期望的位置用于目标位置，也可以要求用户在他/她可以释放或移动外部对象之前触摸屏幕长达一段时间。例如，用户可能需要按压屏幕并保持一段时间(例如，2秒)，然后可以取消触摸屏幕或在屏幕上移动外部对象。在一些实施例中，当经过了一段时间时，成像控制装置可以输出提示，向用户通知该用户可以取消触摸屏幕或者可以开始移动外部对象。提示可以是图形提示(例如，触摸位置周围的小圆圈)或声音提示(例如，蜂鸣声)。
对目标位置的选择不一定要求用户直接将成像框中的位置指示为目标位置，而是可以基于用户或其他人的过去经验。在一些实施例中，一个或多个样本图像可以用于确定目标位置，其中每一个样本图像包含至少一个样本脸图像。一个或多个样本图像可以例如是用户过去拍摄的一张或多张照片和/或其他人(例如，专业摄影师)拍摄的一张或多张照片。一个或多个样本图像可以存储在成像***的存储器中，存储器可以布置在图像捕获机构、定位机构和成像控制装置之一中，或者耦接到它们之一。在一些实施例中，一个或多个样本图像可以存储在远程服务器中。成像***可以具有网络功能，并且可以在其需要选择目标位置时或在此之前从远程服务器取回一个或多个样本图像。
在一些实施例中，成像控制装置可以基于包含一个样本脸的一个样本图像来确定目标位置。在这些实施例中，成像控制装置可以从存储器或远程服务器接收样本图像，并且检测样本图像中的样本脸的位置。根据样本脸的位置，成像控制装置可以确定目标位置。例如，成像控制装置可以将样本脸的位置确定为目标位置。作为另一示例，成像控制装置可以将覆盖样本脸的某一区域内的位置确定为目标位置。
在一些实施例中，成像控制装置可以基于分别包含样本脸的多个样本图像来确定目标位置。在这些实施例中，成像控制装置可以从存储器或远程服务器接收样本图像，并且检测每个样本图像中的样本脸的位置。根据样本脸的位置，成像控制装置可以计算目标位置。例如，成像控制装置可以基于样本脸的位置计算平均位置，并且根据平均位置确定目标位置，例如，将平均位置确定为目标位置或者将覆盖平均位置的某一区域内的位置确定为目标位置。平均位置可以是样本脸的位置的直接算术平均值、或样本脸的位置的加权平均值。在计算加权平均值时，可以为不同的样本脸赋予不同的权重。例如，可以为更靠近样本图像中心的样本脸赋予更大的权重。
在一些实施例中，成像控制装置可以基于包含多个样本脸的一个样本图像来确定目标位置。在这些实施例中，成像控制装置可以从存储器或远程服务器接收样本图像，并且检测样本脸的位置。根据所检测到的样本脸的位置确定目标位置与上述示例性方法中使用分别包含样本脸的多个样本图像来确定目标位置相似，因此在此省略对其的详细描述。
一个或多个样本图像可以是默认预设的，或者是由用户选择的。在一些实施例中，可以在屏幕上显示多个图像，并且可以接收用户输入以选择一个或多个样本图像。然后，可以使用所选择的一个或多个样本图像来根据上述示例性方法之一确定目标位置。
在一些实施例中，替代分别包含至少一个样本脸的一个或多个样本图像，可以使用分别包含至少一个脸位置的一个或多个构图模板来确定目标位置。类似于一个或多个样本图像，一个或多个构图模板可以存储在成像***的存储器中或远程服务器中，并且可以在确定目标位置时或之前由成像控制装置接收。此外，使用一个或多个构图模板确定目标位置可以类似于使用一个或多个样本图像确定目标位置，除了可以在构图模板中定义脸位置，并且可以不需要用于确定脸的位置的附加步骤。
例如，成像控制装置可以接收包含脸位置的构图模板，并且将脸位置确定为目标位置。作为另一示例，成像控制装置可以接收多个构图模板，其中每个构图模板包含脸位置，接收选择构图模板之一的输入，并且将所选择的构图模板的脸位置确定为目标位置。
再次参考图2，在204处，使用图像捕获机构捕获包括人脸的场景。可以在确定目标位置之后捕获场景。在一些实施例中，在确定目标位置之后，成像控制装置可以输出捕获指令，以控制图像捕获机构捕获包括人脸的场景。人脸可以是例如用户的脸或另一个人的脸。在一些实施例中，捕获场景可以在后台执行，即，不向用户显示捕获的场景(例如，通过在屏幕上显示)。也就是说，图像捕获机构的镜头或镜头组可以将场景投影到图像捕获机构的图像传感器上。图像传感器可以将所接收的光转换为表示场景的电子信号，并且直接向成像控制装置发送电子信号以用于进一步处理。在一些实施例中，所捕获的场景可以显示在屏幕上，并且用户可以看到场景中的人脸位于成像框中何处。
在206处，从所捕获的场景中检测人脸。在一些实施例中，场景仅包含一个人脸，并且检测该一个人脸以用于进一步处理。在一些实施例中，从所捕获的场景中检测多个候选脸，并且可以将候选脸中的一个或多个候选脸确定为所检测的人脸。可以使用任何合适的方法来执行从多个候选脸中确定所检测的人脸。例如，可以将候选脸与存储的用户脸进行比较，并且可以将候选脸中与存储的用户脸匹配的一个候选脸确定为所检测的人脸。可以通过例如对用户(例如，成像***的所有者)拍摄照片并将包含用户的脸在内的照片存储在成像***的存储器中，来预先登记存储的用户脸。例如，当用户第一次开始使用成像***时，可以对用户脸进行登记。作为另一示例，可以在成像***的屏幕上显示包含多个候选脸的场景，并且用户可以通过例如在屏幕上点击与期望候选脸相对应的位置，来将候选脸中的期望候选脸选择为所检测的人脸。在一些实施例中，成像控制装置可能不能检测期望的人脸，并且用户可以从屏幕上显示的场景中选择期望的人脸来作为所检测的人脸。
在一些实施例中，为了改善成像控制装置检测人脸的能力，可以使用多个样本人脸“训练”在成像控制装置中实现的算法。在一些实施例中，算法可以被训练成以特别适合于使用多个样本侧脸来检测侧脸。这样，即使当用户转动他/她的脸时，仍然可以高精度地检测和跟踪脸。
在208处，移动定位机构以移动图像捕获机构，以便将所检测的人脸定位在目标位置。在一些实施例中，成像控制装置可以输出控制指令以移动定位机构，以便将所检测的人脸定位在目标位置。在一些实施例中，可以将所检测的人脸的脸部特征(例如，眼睛、鼻子、耳朵或嘴巴)定位在目标位置处。下面描述用于确定如何移动定位机构和用于移动定位机构的详细处理。
图4是示出了根据本公开的用于移动定位机构以将所检测的人脸定位在目标位置的示例性方法400的流程图。方法400可以例如在成像控制装置中实现。如图4所示，在402处，确定所检测的人脸在成像框中的当前位置。在404处，计算当前位置和目标位置之间的位置关系。在406处，根据位置关系计算定位机构的一个或多个运动参数。在408处，根据运动参数移动定位机构。
在一些实施例中，在404处计算的当前位置和目标位置之间的位置关系可以包括成像框中的当前位置和目标位置之间的相对位移。例如，相对位移可以由当前位置和目标位置之间的沿着成像框中的第一方向的第一距离以及当前位置和目标位置之间的沿着成像框中的不同于第一方向的第二方向的第二距离表示。图5A示意性地示出了根据本公开的成像框，其示出了当前位置和目标位置之间的示例性位置关系。如图5A所示，当前位置502和目标位置504沿着第一方向彼此间隔开第一距离506，并且沿着第二方向彼此间隔开第二距离508。在图5A中所示的示例中，第一距离和第二距离都不为零。在一些其它实施例中，第一距离和第二距离中的任一个或两者可以是零。
成像框中的第一方向可以与定位机构的第一旋转方向和/或第一平移方向相对应，并且成像框中的第二方向可以与定位机构的第二旋转方向和/或第二平移方向相对应。因此，在这些实施例中，在406处计算的定位机构的一个或多个运动参数可以包括，例如，根据成像框中的第一距离计算的定位机构的至少一个第一运动参数和根据成像框中的第二距离计算的定位机构的至少一个第二运动参数。至少一个第一运动参数和至少一个第二运动参数都可以具有非零值，但是，当第一距离和第二距离中的一个或两个为零时，至少一个第一运动参数和至少一个第二运动参数中所对应的一个或两个可以具有零值。在一些实施例中，在406处计算一个或多个运动参数可以包括：计算与具有非零值的第一距离和第二距离中的一个或两个相对应的运动参数。
在一些实施例中，至少一个第一运动参数可以包括定位机构在第一旋转方向上的第一旋转角度或定位机构在第一平移方向上的第一平移移动距离中的至少一个。至少一个第二运动参数可以包括定位机构在第二旋转方向上的第二旋转角度或定位机构在第二平移方向上的第二平移移动距离中的至少一个。
在一些实施例中，第一方向和第二方向分别是在成像框上定义的坐标系(也称为“成像框坐标系”)中的u方向和v方向。相应地，第一旋转方向和第二旋转方向可以分别与定位机构围绕偏航轴的旋转和围绕俯仰轴的旋转相对应。偏航轴和俯仰轴可以分别是与成像框坐标系中的u方向相对应的轴和与成像坐标系中的v方向相对应的轴，并且可以分别平行于在定位机构上定义的坐标系(也称为“定位机构坐标系”)中的x方向和y方向。此外，第一平移方向和第二平移方向可以分别平行于定位机构坐标系中的x方向和y方向。在这些实施例中，至少一个第一运动参数可以包括定位机构围绕偏航轴的第一旋转角度或定位机构在定位机构坐标系中的x方向上的第一平移移动距离中的至少一个。类似地，至少一个第二运动参数可以包括定位机构围绕俯仰轴的第二旋转角度或定位机构在定位机构坐标系中的y方向上的第二平移移动距离中的至少一个。
也就是说，在这些实施例中，计算定位机构的一个或多个运动参数(图4中的406)可以包括：根据第一距离计算第一旋转角度或第一平移移动距离中的至少一个，并且根据第二距离计算第二旋转角度或第二平移移动中的至少一个。在一些实施例中，定位机构可以被配置为仅通过旋转而没有平移移动来移动图像捕获机构。因此，计算定位机构的运动参数可以包括：根据第一距离计算第一旋转角度，并且根据第二距离计算第二旋转角度。在一些其它实施例中，定位机构可以被配置为仅通过平移移动而没有旋转来移动图像捕获机构。因此，计算定位机构的运动参数可以包括：根据第一距离计算第一平移移动距离，并且根据第二距离计算第二平移移动距离。
在一些实施例中，可以基于当前位置和目标位置之间在第一方向上的像素数量来测量第一距离。类似地，可以基于当前位置和目标位置之间在第二方向上的像素数量来测量第二距离。第一旋转角度和/或第一平移移动距离可以例如与第一距离成比例。第二旋转角度和/或第二平移移动距离可以例如与第二距离成比例。
在上述实施例中，描述了定位机构的一些示例性移动，即，在第一旋转方向上的旋转(例如，围绕偏航轴的旋转)、在第二旋转方向上的旋转(例如，围绕俯仰轴的旋转)、沿着第一平移方向(例如，定位机构坐标系中的x方向)的平移移动、以及沿着第二平移方向(例如，定位机构中的y方向)的平移移动。在一些实施例中，为了将所检测的人脸定位在目标位置，附加地或备选地，定位机构可以在第三旋转方向上旋转，例如，围绕定位机构的与偏航轴和俯仰轴垂直的横滚轴旋转。相应地，附加地或备选地，定位机构的一个或多个运动参数可以包括定位机构围绕横滚轴的第三旋转角度。
在一些实施例中，在成像框中，所检测的人脸的取向可能不在正确或期望的方向上。图5B示意性地示出了根据本公开的成像框，其示出了当前位置和目标位置之间的另一示例性位置关系。如图5B所示，所检测的人脸510的取向沿着所检测的取向512，所检测的取向512与目标或期望取向514不同。因此，除了移动到目标位置504之外，可能还需要旋转所检测的人脸510以与目标取向514对准。目标取向可以或可以不平行于成像框坐标系中的u方向或v方向。
在这种情况下，当前位置502和目标位置504之间的位置关系可以包括所检测的取向512(即，所检测的人脸的取向)与目标取向514之间的相对角度(图5B中所示的角度φ)。位置关系还可以包括成像框坐标系中的当前位置502的第一坐标参数和成像框坐标系中的目标位置504的第二坐标参数。在一些实施例中，如图5B所示，可以使用彼此垂直的x坐标轴和y坐标轴来定义成像框坐标系。在图5B中所示的示例中，成像框坐标系的原点布置在成像框的角点处，但是原点也可以布置在另一位置处。第一坐标参数可以包括当前位置502的第一x坐标和第一y坐标。第二坐标参数可以包括目标位置504的第二x坐标和第二y坐标。
如上所述，成像控制装置可以控制定位机构围绕偏航轴旋转和/或沿着定位机构坐标系中的x方向移动，以使所检测的人脸沿着成像框坐标系中的u方向移动，并且控制定位机构围绕俯仰轴旋转和/或沿着定位机构坐标系中的y方向移动，以使所检测的人脸沿着成像框坐标系中的v方向移动。由于所检测的取向512与目标取向514不对准，除了上述移动之外，成像控制装置还可以控制定位机构围绕定位机构的横滚轴旋转，从而改变所检测的人脸的取向。
在这些实施例中，定位机构的运动参数可以包括定位机构围绕偏航轴的第一旋转角度或定位机构在定位机构坐标系中的x方向上的第一平移移动距离中的至少一个、定位机构围绕俯仰轴的第二旋转角度或定位机构在定位机构坐标系中的y方向上的第二平移移动距离中的至少一个、以及定位机构围绕横滚轴的第三旋转角度。可以基于相对角度φ、当前位置502的第一坐标参数和目标位置504的第二坐标参数来计算这些运动参数。
也就是说，在这些实施例中，计算定位机构的运动参数(图4中的406)可以包括：基于相对角度、第一坐标参数和第二坐标参数，计算第一旋转角度或第一平移移动距离中的至少一个、第二旋转角度或者第二平移移动中的至少一个、以及第三旋转角度。此外，在一些实施例中，定位机构被配置为仅通过旋转而没有平移移动来移动图像捕获机构。因此，计算定位机构的运动参数可以包括：基于相对角度、第一坐标参数和第二坐标参数来计算第一旋转角度、第二旋转角度和第三旋转角度。
例如，定位机构可以首先需要围绕横滚轴旋转第三旋转角度以使所检测的人脸沿着目标取向对准，然后分别围绕偏航轴旋转第一旋转角度和围绕俯仰轴旋转第二旋转角度，以将所检测的人脸移动到成像框中的目标位置。在该示例中，第三旋转角度可以等于相对角度。在围绕横滚轴旋转之后，成像框坐标系中的目标位置的坐标参数不改变，但是所检测的人脸可以移动到成像框坐标系中具有第三坐标参数的中间位置。可以基于第二坐标参数、成像框坐标系中的横滚轴的坐标参数、和第三旋转角度(即，该示例中的相对角度)来计算第三坐标参数。可以基于第三坐标参数和第一坐标参数来计算第一旋转角度和第二旋转角度。
在确定一个或多个运动参数之后，根据运动参数移动定位机构。也就是说，成像控制装置可以基于一个或多个运动参数来产生运动控制指令，并且向定位结构输出运动控制指令以使得定位机构相应地移动。例如，运动控制指令可以使定位机构围绕偏航轴旋转第一旋转角度、围绕俯仰轴旋转第二旋转角度、和/或围绕横滚轴旋转第三旋转角度。在一些实施例中，定位机构可以需要执行一个或多个旋转移动和/或一个或多个平移移动，以将所检测的人脸定位在目标位置和/或与目标取向对准。定位机构可以以任何合适的顺序执行所需的移动。例如，定位机构可以首先沿第一平移方向移动第一平移移动距离和/或沿第二平移方向移动第二平移移动距离，然后围绕偏航轴旋转第一旋转角度和/或围绕俯仰轴旋转第二旋转角度。
再次参考图2，在210处，在所检测的人脸位于目标位置之后记录包含所检测的人脸的图像。如上所述，图像可以例如是静止图像(即，照片)或运动图像(即，视频)。当记录运动图像时，还可以使用例如图像捕获机构或定位机构上的麦克风来记录与运动图像相关联的音频数据。如本文所使用的，“记录”图像可以指代触发图像捕获机构的快门，并且使图像捕获机构的传感器将所接收的光转换为电子数据并且发送电子数据以存储在存储介质(例如，成像***的存储器)中。在一些实施例中，成像控制装置可以输出记录指令以触发图像捕获机构的快门记录图像。
在一些实施例中，用户可以直接触发图像捕获机构的快门。在一些实施例中，图像捕获机构的快门可以耦接到定位机构上的控制按钮，并且用户可以通过按压定位机构上的控制按钮来触发快门。在一些实施例中，图像捕获机构和定位机构可以安装在移动载运工具上，并且图像捕获机构的快门可以耦接到移动载运工具的遥控器上的控制按钮。用户可以通过按压遥控器上的控制按钮来触发快门。
在一些实施例中，可以根据语音指令记录图像。语音指令可以是来自用户的包含关键词的语音。例如，可以使用图像捕获机构或定位机构上安装的麦克风来检测语音。成像控制装置可以接收所检测的语音，并且识别语音以确定语音是否包含关键词。如果语音包含关键词，则成像控制装置可以输出用于触发图像捕获机构的快门的指令以记录图像。
在一些实施例中，可以根据运动指令记录图像。运动指令可以是包含用户执行的手势的运动。例如，可以使用图像捕获机构或单独的设备来检测运动。成像控制装置可以接收所检测的运动，并且确定运动是否包含手势。如果运动包含手势，则成像控制装置可以输出用于触发图像捕获机构的快门的指令以记录图像。
在一些实施例中，当满足某一条件时，可以自动记录图像。例如，当在所检测的人脸上检测到目标脸部表情时，可以记录图像。例如，目标脸部表情可以是笑容、目光与图像捕获机构接触、或与某个短语(例如，单词“cheese”)相关联的嘴形。
在一些实施例中，不是任何笑容都可以触发记录图像，但是某种笑容可以触发记录图像。可以例如通过机器学习来确定这种笑容。例如，笑容模型(例如，基于成像***的所有者的笑容的模型)可以用于训练成像控制装置。在使用时，当成像控制装置检测到这种笑容时，成像控制装置可以触发记录图像。
在一些实施例中，具有某一程度笑容强度的笑容可以触发记录图像。例如，可以基于嘴角上提的高度和/或嘴张开的宽度来确定笑容强度。图6示意性地示出了具有不同程度的笑容强度的三个示例性人脸。如图6所示，人脸602和人脸604上的嘴张开大约相同的程度，但是在人脸604上嘴角上提得更高。因此，可以确定人脸604具有比人脸602更高程度的笑容强度。此外，人脸604上的嘴角和人脸606上的嘴角上提到大约相同的高度，但是人脸606上的嘴张开得更宽。因此，可以确定人脸606具有比人脸604更高程度的笑容强度。可以基于其它特征来确定笑容强度，例如，用户的眼睛张开的宽度。
在这些实施例中，成像控制装置可以基于所检测的人脸来检测笑容强度的程度，并且确定笑容强度的程度是否高于阈值。例如，图6中所示的人脸604可以表示笑容强度的阈值。也就是说，人脸602的笑容强度的程度低于阈值，并且人脸606的笑容强度的程度高于阈值。此外，如果所检测的人脸上的笑容强度的程度高于阈值，则成像控制装置可以输出用于触发图像捕获机构的快门的指令以记录图像。
在一些实施例中，成像***可以包括当用户拍摄自拍时可以面向或旋转以面向用户的屏幕。用户可以在屏幕上“预览”将要捕获的图像，并且决定何时触发快门来记录图像。在一些实施例中，成像***不包括这样的屏幕或者屏幕太小而不能使用户在远处清楚地看到预览，因此可能需要不同的装置来向用户提示记录图像的适当时间。图7是示出了根据本公开的示例性提示方法700的流程图。图7中所示的每个处理可以在图2中所示的用于成像的处理之前、之间或之后执行。
如图7所示，在702处，接收目标脸大小。目标脸大小可以是默认脸大小，或者是在使用成像***捕获图像之前由用户预先设置的脸大小。在一些实施例中，可以使用脸缩略图，并且脸缩略图的大小可以表示目标脸大小。脸缩略图可以是默认脸缩略图，或者可以由用户从多个候选脸缩略图中选择。在一些实施例中，脸缩略图可以置于成像***的屏幕上所示的目标位置处。
在704处，确定所检测的人脸的大小是否与目标脸大小匹配。在使用脸缩略图的实施例中，所述确定包括确定所检测的人脸的大小与脸缩略图的大小是否匹配。
在706处，如果所检测的人脸的大小与目标脸大小(例如，脸缩略图的大小)不匹配，则输出指示信号以向用户通知可能需要调整。例如，可能需要调整图像捕获机构和用户之间的距离。用户可以移动他/她自己，或移动图像捕获机构(例如，通过移动定位机构)，以调整到图像捕获机构的距离。在一些实施例中，可以连续输出指示信号，直到所检测的人脸的大小与目标大小(例如，脸缩略图的大小)匹配为止。
指示信号可以包括各种手段中的一种或多种(例如，声音指示和灯光指示)。例如，成像控制装置可以控制图像捕获机构或定位机构上的声音产生设备(例如，扬声器)输出声音作为指示信号。声音可以持续，直到所检测的人脸的大小与目标大小匹配为止。作为另一示例，成像控制装置可以控制图像捕获机构或定位机构上的指示灯打开或闪烁，作为指示信号。指示灯可以持续打开或闪烁，直到所检测的人脸的大小与目标大小匹配为止。
在一些实施例中，调整图像捕获机构和用户之间的距离可以由定位机构自动执行而无需用户参与，因此可以不需要指示信号。例如，定位机构可以包括平移驱动器，平移驱动器被配置为沿着与定位机构坐标系中的x方向和y方向定义的平面垂直的法线方向移动图像捕获机构。成像控制装置可以控制定位机构将图像捕获机构沿着法线方向向着或远离用户移动，直到所检测的人脸的大小与目标尺寸匹配为止。在图像捕获机构沿法线方向的移动范围受到限制的情况下，该方法可以与指示信号方法组合。作为另一示例，定位机构可以是安装在移动载运工具上的云台。成像控制装置还可以控制移动载运工具向着或远离用户移动，直到所检测的人脸的大小与目标大小匹配为止。
在一些实施例中，在记录运动图像期间，用户可以在记录开始时移动而远离他/她的初始位置。成像控制装置可以连续地执行根据本公开的成像方法(例如，上述示例性成像方法之一)，以移动定位机构来“跟踪”用户，并且将所检测的人脸维持在成像框中的目标位置处。
在一些实施例中，成像控制装置还可以处理所记录的图像。例如，当拍摄包括若干人的合影时，同一照片中可能不是每个人都拥有最好的笑容。因此，可以在一段时间内拍摄一系列的合照。成像控制装置可以分析这一系列合照，从这一系列合照中提取每个人具有最好笑容的部分，并且组合所提取的部分以形成新照片。这样，可以获得包含每个人最好笑容的组合照片。
此外，通过考虑本文公开的说明书和实施例的实践，本发明的其它实施例对于本领域技术人员是显而易见的。旨在仅将说明书和示例视为示例，而非限制本公开的范围，本公开的真实范围和精神由所附权利要求指示。

Claims (59)

1.一种成像方法，包括：
在与定位机构连接的图像捕获机构的成像框中确定目标位置；
在确定所述目标位置之后，输出捕获指令，以控制所述图像捕获机构捕获包括人脸的场景；
从所捕获的场景中检测所述人脸；以及
输出控制指令，以移动所述定位机构从而移动所述图像捕获机构，以便将所检测的人脸定位在所述目标位置处。
2.根据权利要求1所述的成像方法，其中，确定所述目标位置包括将所述成像框中的预设默认位置确定为所述目标位置。
3.根据权利要求2所述的成像方法，其中，将所述成像框中的默认位置确定为所述目标位置包括将所述成像框的中心位置确定为所述目标位置。
4.根据权利要求1所述的成像方法，其中，确定所述目标位置包括：
在屏幕上显示所述成像框；以及
接收在所述成像框中指示所述目标位置的输入。
5.根据权利要求4所述的成像方法，其中，接收所述输入包括：
检测外部对象在所述屏幕上的触摸位置处进行的触摸；以及
根据所述触摸位置确定所述目标位置。
6.根据权利要求4所述的成像方法，其中，接收所述输入包括：
检测外部对象在所述屏幕上进行的触摸；
检测所述屏幕上的所述外部对象离开所述屏幕的释放位置；以及
根据所述释放位置确定所述目标位置。
7.根据权利要求1所述的成像方法，其中，确定所述目标位置包括：
接收包含样本脸的样本图像；
检测所述样本脸在所述样本图像中的位置；以及
根据所述样本脸的位置确定所述目标位置。
8.根据权利要求7所述的成像方法，其中，根据所述样本脸的位置确定所述目标位置包括：将所述样本脸的位置确定为所述目标位置。
9.根据权利要求1所述的成像方法，其中，确定所述目标位置包括：
接收多个样本图像，每个样本图像包含样本脸；
检测每个样本图像中所述样本脸的位置；以及
根据所述样本脸的位置计算所述目标位置。
10.根据权利要求9所述的成像方法，其中，根据所述样本脸的位置计算所述目标位置包括：
基于所述样本脸的位置来计算平均位置；以及
根据所述平均位置确定所述目标位置。
11.根据权利要求1所述的成像方法，其中，确定所述目标位置包括：
接收包含脸位置的构图模板；以及
将所述脸位置确定为所述目标位置。
12.根据权利要求1所述的成像方法，其中，确定所述目标位置包括：
接收多个构图模板，每个构图模板包含脸位置；
接收选择所述构图模板之一的输入；以及
将所选择的构图模板的所述脸位置确定为所述目标位置。
13.根据权利要求1所述的成像方法，其中，输出所述控制指令以移动所述定位机构包括：输出所述控制指令以移动所述定位机构，从而将所检测的人脸的脸部特征定位在所述目标位置处。
14.根据权利要求13所述的成像方法，其中，输出所述控制指令以移动所述定位机构从而将脸部特征定位在所述目标位置处包括：输出所述控制指令以移动所述定位机构，从而将所检测的人脸的眼睛定位在所述目标位置处。
15.根据权利要求1所述的成像方法，其中，输出所述控制指令以移动所述定位机构包括：
确定所检测的人脸在所述成像框中的当前位置；
计算所述当前位置和所述目标位置之间的位置关系；
根据所述位置关系计算所述定位机构的运动参数；以及
输出所述控制指令，以根据所述运动参数移动所述定位机构。
16.根据权利要求15所述的成像方法，其中：
计算所述位置关系包括：
计算所述当前位置和所述目标位置之间沿着所述成像框的第一方向的第一距离；以及
计算所述当前位置和所述目标位置之间沿着所述成像框的第二方向的第二距离，所述第二方向垂直于所述第一方向，以及
计算所述定位机构的运动参数包括：
根据所述第一距离计算所述定位机构围绕偏航轴的第一旋转角度；以及
根据所述第二距离计算所述定位机构围绕俯仰轴的第二旋转角度。
17.根据权利要求15所述的成像方法，其中：
计算所述位置关系包括：
确定所检测的人脸的取向与目标取向之间的相对角度；
确定所述当前位置在所述成像框的坐标系下的第一坐标参数；以及
确定所述目标位置在所述坐标系下的第二坐标参数，以及
计算所述定位机构的运动参数包括：基于所述相对角度、所述第一坐标参数和所述第二坐标参数，计算所述定位机构围绕偏航轴的第一旋转角度、所述定位机构围绕俯仰轴的第二旋转角度、以及所述定位机构围绕横滚轴的第三旋转角度。
18.根据权利要求1所述的成像方法，其中，检测所述人脸包括：
检测多个候选脸；以及
从所述候选脸中确定所检测的人脸。
19.根据权利要求18所述的成像方法，其中，从所述候选脸中确定所检测的人脸包括：
将所述候选脸与存储的用户脸进行比较；以及
将所述候选脸中与存储的用户脸匹配的候选脸确定为所检测的人脸。
20.根据权利要求1所述的成像方法，还包括：
在所述目标位置处放置脸缩略图；
确定所检测的人脸的大小与所述脸缩略图的大小是否匹配；以及
如果所检测的人脸的大小与所述脸缩略图的大小不匹配，则命令输出指示信号。
21.根据权利要求20所述的成像方法，还包括：
连续地命令输出所述指示信号，直到所检测的人脸的大小与所述脸缩略图的大小匹配为止。
22.根据权利要求20所述的成像方法，其中，命令输出所述指示信号包括命令输出声音。
23.权利要求20所述的成像方法，其中，命令输出所述指示信号包括命令控制指示灯打开或闪烁。
24.根据权利要求1所述的成像方法，还包括：
在所检测的人脸位于所述目标位置处之后，记录包含所检测的人脸在内的照片或视频。
25.根据权利要求24所述的成像方法，其中，记录所述照片或所述视频包括根据语音指令记录所述照片或所述视频。
26.根据权利要求25所述的成像方法，其中，根据所述语音指令记录所述照片或所述视频包括：
接收语音；
识别所述语音以确定所述语音是否包含关键词；以及
如果所述语音包含所述关键词，则触发所述图像捕获机构的快门以记录所述照片或所述视频。
27.根据权利要求24所述的成像方法，其中，记录所述照片或所述视频包括：当在所检测的人脸上检测到目标脸部表情时，记录所述照片或所述视频。
28.根据权利要求27所述的成像方法，其中，当检测到所述目标脸部表情时记录所述照片或所述视频包括：当在所检测的人脸上检测到笑容时记录所述照片或所述视频。
29.根据权利要求24所述的成像方法，其中，记录所述照片或所述视频包括：
基于所检测的人脸检测笑容强度的程度；
确定所述笑容强度的程度是否高于阈值；以及
如果所述笑容强度的所述程度高于所述阈值，则触发所述图像捕获机构的快门以记录所述照片或所述视频。
30.一种成像控制装置，包括：
处理器；以及
存储计算机程序代码的存储器，所述计算机程序代码在被所述处理器执行时，控制所述处理器进行以下操作：
在与定位机构连接的图像捕获机构的成像框中确定目标位置；
在确定所述目标位置之后，输出捕获指令，以控制所述图像捕获机构捕获包括人脸的场景；
从所捕获的场景中检测所述人脸；以及
输出控制指令，以移动所述定位机构，以便将所检测的人脸定位在所述目标位置处。
31.根据权利要求30所述的成像控制装置，其中，所述计算机程序代码还控制所述处理器将所述成像框中的预设默认位置确定为所述目标位置。
32.根据权利要求31所述的成像控制装置，其中，所述计算机程序代码还控制所述处理器将所述成像框的中心位置确定为所述目标位置。
33.根据权利要求30所述的成像控制装置，其中，所述计算机程序代码还控制所述处理器进行以下操作：
在屏幕上显示所述成像框；以及
接收在所述成像框中指示所述目标位置的输入。
34.根据权利要求33所述的成像控制装置，其中，所述计算机程序代码还控制所述处理器进行以下操作：
检测外部对象在所述屏幕上的触摸位置处进行的触摸；以及
根据所述触摸位置确定所述目标位置。
35.根据权利要求33所述的成像控制装置，其中，所述计算机程序代码还控制所述处理器进行以下操作：
检测外部对象在所述屏幕上进行的触摸；
检测所述屏幕上的所述外部对象离开所述屏幕的释放位置；以及
根据所述释放位置确定所述目标位置。
36.根据权利要求30所述的成像控制装置，其中，所述计算机程序代码还控制所述处理器进行以下操作：
接收包含样本脸的样本图像；
检测所述样本脸在所述样本图像中的位置；以及
根据所述样本脸的位置确定所述目标位置。
37.根据权利要求36所述的成像控制装置，其中，所述计算机程序代码还控制所述处理器将所述样本脸的位置确定为所述目标位置。
38.根据权利要求30所述的成像控制装置，其中，所述计算机程序代码还控制所述处理器进行以下操作：
接收多个样本图像，每个样本图像包含样本脸；
检测每个样本图像中所述样本脸的位置；以及
根据所述样本脸的位置计算所述目标位置。
39.根据权利要求38所述的成像控制装置，其中，所述计算机程序代码还控制所述处理器进行以下操作：
基于所述样本脸的位置来计算平均位置；以及
根据所述平均位置确定所述目标位置。
40.根据权利要求30所述的成像控制装置，其中，所述计算机程序代码还控制所述处理器进行以下操作：
接收包含脸位置的构图模板；以及
将所述脸位置确定为所述目标位置。
41.根据权利要求30所述的成像控制装置，其中，所述计算机程序代码还控制所述处理器进行以下操作：
接收多个构图模板，每个构图模板包含脸位置；
接收选择所述构图模板之一的输入；以及
将所选择的构图模板的所述脸位置确定为所述目标位置。
42.根据权利要求30所述的成像控制装置，其中，所述计算机程序代码还控制所述处理器输出所述控制指令，以移动所述定位机构，从而将所检测的人脸的脸部特征定位在所述目标位置处。
43.根据权利要求42所述的成像控制装置，其中，所述计算机程序代码还控制所述处理器输出所述控制指令，以移动所述定位机构，从而将所检测的人脸的眼睛定位在所述目标位置处。
44.根据权利要求30所述的成像控制装置，其中，所述计算机程序代码还控制所述处理器进行以下操作：
确定所检测的人脸在所述成像框中的当前位置；
计算所述当前位置和所述目标位置之间的位置关系；
根据所述位置关系计算所述定位机构的运动参数；以及
输出所述控制指令，以根据所述运动参数移动所述定位机构。
45.根据权利要求44所述的成像控制装置，其中，所述计算机程序代码还控制所述处理器进行以下操作：
计算所述当前位置和所述目标位置之间沿着所述成像框的第一方向的第一距离；
计算所述当前位置和所述目标位置之间沿着所述成像框的第二方向的第二距离，所述第二方向垂直于所述第一方向，以及
根据所述第一距离计算所述定位机构围绕偏航轴的第一旋转角度；以及
根据所述第二距离计算所述定位机构围绕俯仰轴的第二旋转角度。
46.根据权利要求44所述的成像控制装置，其中，所述计算机程序代码还控制所述处理器进行以下操作：
确定所检测的人脸的取向与目标取向之间的相对角度；
确定所述当前位置在所述成像框的坐标系下的第一坐标参数；以及
确定所述目标位置在所述坐标系下的第二坐标参数，以及
基于所述相对角度、所述第一坐标参数和所述第二坐标参数，计算所述定位机构围绕偏航轴的第一旋转角度、所述定位机构围绕俯仰轴的第二旋转角度、以及所述定位机构围绕横滚轴的第三旋转角度。
47.根据权利要求30所述的成像控制装置，其中，所述计算机程序代码还控制所述处理器进行以下操作：
检测多个候选脸；以及
从所述候选脸中确定所检测的人脸。
48.根据权利要求47所述的成像控制装置，其中，所述计算机程序代码还控制所述处理器进行以下操作：
将所述候选脸与存储的用户脸进行比较；以及
将所述候选脸中与存储的用户脸匹配的候选脸确定为所检测的人脸。
49.根据权利要求30所述的成像控制装置，其中，所述计算机程序代码还控制所述处理器进行以下操作：
在所述目标位置处放置脸缩略图；
确定所检测的人脸的大小与所述脸缩略图的大小是否匹配；以及
如果所检测的人脸的大小与所述脸缩略图的大小不匹配，则命令输出指示信号。
50.根据权利要求49所述的成像控制装置，其中，所述计算机程序代码还控制所述处理器进行以下操作：
连续地命令输出所述指示信号，直到所检测的人脸的大小与所述脸缩略图的大小匹配为止。
51.根据权利要求49所述的成像控制装置，其中，所述计算机程序代码还控制所述处理器命令输出声音。
52.根据权利要求49所述的成像控制装置，其中，所述计算机程序代码还控制所述处理器命令控制指示灯打开或闪烁。
53.根据权利要求30所述的成像控制装置，其中，所述计算机程序代码还控制所述处理器进行以下操作：
在所检测的人脸位于所述目标位置处之后，记录包含所检测的人脸在内的照片或视频。
54.根据权利要求53所述的成像控制装置，其中，所述计算机程序代码还控制所述处理器根据语音指令记录所述照片或所述视频。
55.根据权利要求54所述的成像控制装置，其中，所述计算机程序代码还控制所述处理器进行以下操作：
接收语音；
识别所述语音以确定所述语音是否包含关键词；以及
如果所述语音包含所述关键词，则触发所述图像捕获机构的快门以记录所述照片或所述视频。
56.根据权利要求53所述的成像控制装置，其中，所述计算机程序代码还控制所述处理器进行以下操作：当在所检测的人脸上检测到目标脸部表情时，记录照片或视频。
57.根据权利要求56所述的成像控制装置，其中，所述计算机程序代码还控制所述处理器进行以下操作：当在所检测的人脸上检测到笑容时，记录所述照片或所述视频。
58.根据权利要求53所述的成像控制装置，其中，所述计算机程序代码还控制所述处理器进行以下操作：
基于所检测的人脸来检测笑容强度的程度；
确定所述笑容强度的程度是否高于阈值；以及
如果所述笑容强度的所述程度高于所述阈值，则触发所述图像捕获机构的快门以记录所述照片或所述视频。
59.一种存储计算机程序代码的非暂时性计算机可读存储介质，所述计算机程序代码在被所述处理器执行时使所述处理器进行以下操作：
在与定位机构连接的图像捕获机构的成像框中确定目标位置；
在确定所述目标位置之后，输出捕获指令，以控制所述图像捕获机构捕获包括人脸的场景；
从所捕获的场景中检测所述人脸；以及
输出控制指令，以移动所述定位机构，以便将所检测的人脸定位在所述目标位置处。
CN201780086146.4A 2017-03-15 2017-03-15 成像方法和成像控制装置 Pending CN110268703A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/076794 WO2018165912A1 (en) 2017-03-15 2017-03-15 Imaging method and imaging control apparatus

Publications (1)

Publication Number Publication Date
CN110268703A true CN110268703A (zh) 2019-09-20

Family

ID=63522681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780086146.4A Pending CN110268703A (zh) 2017-03-15 2017-03-15 成像方法和成像控制装置

Country Status (3)

Country Link
US (2) US11210796B2 (zh)
CN (1) CN110268703A (zh)
WO (1) WO2018165912A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114244989A (zh) * 2021-12-22 2022-03-25 深圳市福日中诺电子科技有限公司 一种带有升降式旋转摄像头的智能手表的控制方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112714237B (zh) * 2019-10-24 2023-03-24 北京小米移动软件有限公司 一种终端设备、镜头调整方法及可读存储介质
US11869213B2 (en) 2020-01-17 2024-01-09 Samsung Electronics Co., Ltd. Electronic device for analyzing skin image and method for controlling the same
CN112035038B (zh) * 2020-08-31 2022-03-04 北京字节跳动网络技术有限公司 一种图片处理方法、装置、设备及存储介质
CN112699784A (zh) * 2020-12-29 2021-04-23 深圳市普渡科技有限公司 一种人脸朝向估计方法、装置、电子设备及存储介质
US11397472B1 (en) * 2021-03-17 2022-07-26 Ford Global Technologies, Llc Anti-motion sickness systems and methods
CN113378734A (zh) * 2021-06-18 2021-09-10 杭州海亮优教教育科技有限公司 一种基于ai技术的疲劳驾驶检测与预警***及终端
CN115861473B (zh) * 2022-07-19 2023-10-24 北京中关村科金技术有限公司 实时绘制分贝检测走势图的模型训练方法、装置及介质
KR20240096011A (ko) * 2022-12-19 2024-06-26 씨제이올리브네트웍스 주식회사 인공지능 기반 랜드마크를 이용한 이미지 발화 영상 생성 방법 및 장치

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090115855A1 (en) * 2007-11-05 2009-05-07 Tomohiko Gotoh Photography apparatus, control method, program, and information processing device
CN101639610A (zh) * 2008-08-01 2010-02-03 鸿富锦精密工业（深圳）有限公司 数码摄影装置及其自拍引导方法
US20100277614A1 (en) * 2009-04-29 2010-11-04 Hon Hai Precision Industry Co., Ltd. Image capture device and control method thereof
CN103179353A (zh) * 2011-12-20 2013-06-26 弗卢克公司 用于红外重摄的热成像相机
CN103220466A (zh) * 2013-03-27 2013-07-24 华为终端有限公司 图片的输出方法及装置
CN103384301A (zh) * 2013-07-12 2013-11-06 广东欧珀移动通信有限公司 一种用后置摄像头进行自拍的方法、装置及移动终端
US20140139667A1 (en) * 2012-11-22 2014-05-22 Samsung Electronics Co., Ltd. Image capturing control apparatus and method
CN104866806A (zh) * 2014-02-21 2015-08-26 深圳富泰宏精密工业有限公司 具有人脸定位辅助功能的自拍***及方法
CN105592267A (zh) * 2015-12-24 2016-05-18 广东欧珀移动通信有限公司 拍照控制方法、拍照控制装置及拍照***

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4769653B2 (ja) * 2006-05-26 2011-09-07 富士フイルム株式会社 対象画像検出システム，対象画像部分の一致判定装置および対象画像部分のソーティング装置ならびにそれらの制御方法
JP4197019B2 (ja) * 2006-08-02 2008-12-17 ソニー株式会社 撮像装置および表情評価装置
US8285006B2 (en) * 2007-04-13 2012-10-09 Mira Electronics Co., Ltd. Human face recognition and user interface system for digital camera and video camera
JP5385032B2 (ja) * 2009-07-08 2014-01-08 ソニーモバイルコミュニケーションズ株式会社 撮影装置および撮影制御方法
US9031847B2 (en) * 2011-11-15 2015-05-12 Microsoft Technology Licensing, Llc Voice-controlled camera operations
US9762791B2 (en) * 2014-11-07 2017-09-12 Intel Corporation Production of face images having preferred perspective angles

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090115855A1 (en) * 2007-11-05 2009-05-07 Tomohiko Gotoh Photography apparatus, control method, program, and information processing device
CN101639610A (zh) * 2008-08-01 2010-02-03 鸿富锦精密工业（深圳）有限公司 数码摄影装置及其自拍引导方法
US20100277614A1 (en) * 2009-04-29 2010-11-04 Hon Hai Precision Industry Co., Ltd. Image capture device and control method thereof
CN103179353A (zh) * 2011-12-20 2013-06-26 弗卢克公司 用于红外重摄的热成像相机
US20140139667A1 (en) * 2012-11-22 2014-05-22 Samsung Electronics Co., Ltd. Image capturing control apparatus and method
CN103220466A (zh) * 2013-03-27 2013-07-24 华为终端有限公司 图片的输出方法及装置
CN103384301A (zh) * 2013-07-12 2013-11-06 广东欧珀移动通信有限公司 一种用后置摄像头进行自拍的方法、装置及移动终端
CN104866806A (zh) * 2014-02-21 2015-08-26 深圳富泰宏精密工业有限公司 具有人脸定位辅助功能的自拍***及方法
CN105592267A (zh) * 2015-12-24 2016-05-18 广东欧珀移动通信有限公司 拍照控制方法、拍照控制装置及拍照***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114244989A (zh) * 2021-12-22 2022-03-25 深圳市福日中诺电子科技有限公司 一种带有升降式旋转摄像头的智能手表的控制方法
CN114244989B (zh) * 2021-12-22 2024-04-16 深圳市福日中诺电子科技有限公司 一种带有升降式旋转摄像头的智能手表的控制方法

Also Published As

Publication number Publication date
US20220122279A1 (en) 2022-04-21
US20190392597A1 (en) 2019-12-26
WO2018165912A1 (en) 2018-09-20
US11210796B2 (en) 2021-12-28

Similar Documents

Publication Publication Date Title
CN110268703A (zh) 成像方法和成像控制装置
EP2993894B1 (en) Image capturing method and electronic apparatus
CN105705993B (zh) 利用面部检测来控制摄像机
CN106131413B (zh) 一种拍摄设备的控制方法及拍摄设备
JP5276111B2 (ja) セルフ撮影の際に顔の構図を決定できるようにサポートする方法及びシステム
US8593534B2 (en) Auto-triggered camera self-timer based on recognition of subject's presence in scene
CN107770452B (zh) 一种拍照方法及终端和相关介质产品
US20130155255A1 (en) Electronic device and method for controlling camera of the electronic device according to gestures
CN108200334B (zh) 图像拍摄方法、装置、存储介质及电子设备
JP6077655B2 (ja) 撮影システム
JP2009542059A (ja) 画像姿勢を調整するデバイス及び方法
CN103685940A (zh) 一种通过表情识别拍摄照片的方法
CN107395957B (zh) 拍照方法、装置、存储介质及电子设备
WO2019104681A1 (zh) 拍摄方法和装置
CN102196176A (zh) 信息处理设备、信息处理方法和程序
CN109478227A (zh) 计算设备上的虹膜或其他身体部位识别
CN104104870B (zh) 拍摄控制方法、拍摄控制装置及拍摄设备
JP5880135B2 (ja) 検出装置、検出方法及びプログラム
WO2015123888A1 (zh) 图片缩放方法及设备
CN105812655A (zh) 用于捕获图像的方法和装置
US8194147B2 (en) Image presentation angle adjustment method and camera device using the same
WO2022052189A1 (zh) 动物外部特征获取方法、装置及计算机设备
KR20100091844A (ko) 촬상 장치 및 촬상 방법
TWI485505B (zh) 數位相機及數位相機之影像擷取方法
JP2008072183A (ja) 撮像装置および撮像方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190920