CN113301259B - 引导用户捕获数字图像的计算机可读介质、***和方法 - Google Patents

引导用户捕获数字图像的计算机可读介质、***和方法 Download PDF

Info

Publication number
CN113301259B
CN113301259B CN202110634521.2A CN202110634521A CN113301259B CN 113301259 B CN113301259 B CN 113301259B CN 202110634521 A CN202110634521 A CN 202110634521A CN 113301259 B CN113301259 B CN 113301259B
Authority
CN
China
Prior art keywords
camera feed
target image
camera
photography system
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110634521.2A
Other languages
English (en)
Other versions
CN113301259A (zh
Inventor
A·奥勒森
R·米克
J·埃彻瓦利亚
吕婧琬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Adobe Inc
Original Assignee
Adobe Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Adobe Systems Inc filed Critical Adobe Systems Inc
Priority to CN202110634521.2A priority Critical patent/CN113301259B/zh
Publication of CN113301259A publication Critical patent/CN113301259A/zh
Application granted granted Critical
Publication of CN113301259B publication Critical patent/CN113301259B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请的各实施例涉及用来捕获与目标图像模型对准的数字图像的智能指导。本公开内容包括能够引导用户将由用户客户端设备捕获的相机馈送与目标数字图像对准的***、方法和非暂态计算机可读介质。特别地，本文描述的***可以分析相机馈送以确定用于相机馈送的图像属性。***可以将相机馈送的图像属性与目标数字图像的对应目标图像属性比较。附加地，***可以生成并提供用来引导用户将相机馈送的图像属性与目标数字图像的目标图像属性对准的指令。

Description

引导用户捕获数字图像的计算机可读介质、***和方法
本申请是申请日为2018年10月10日、优先权日为2018年2月15日、申请号为201811180332.7、发明名称为“用来捕获与目标图像模型对准的数字图像的智能指导”的专利申请的分案申请。
技术领域
本申请的各实施例涉及用来捕获与目标图像模型对准的数字图像的智能指导。
背景技术
随着相机技术的进步和支持相机的移动设备的兴起，用户正在捕获比以往更多的数字图像。绝大多数用户几乎没有或根本没有专业摄影培训，因此许多数字图像的质量不佳。例如，许多数字图像具有不良照明或不适当的相机角度，这导致不清楚或者在美学上没有吸引力的图像。因此，许多支持相机的移动设备提供在捕获后对数字图像进行分析和修改以改善图像的视觉美感的应用。例如，传统***利用图像滤波器或其他成像工具以事后方式改变亮度、对比度、颜色或其他图像属性。虽然这些传统***可以修改数字图像以改善图像的整体质量，但是这些***仍然存在许多缺点。
例如，虽然传统的处理和***可以在一定程度上修改数字图像，但是这些***仍然产生质量低于专业照片的数字图像。的确，因为这些传统***只能基于基础的最初捕获的图像来改善数字图像，所以所得到的修改后的图像经常仍然是低质量的。
此外，传统***通常需要相对大量的处理能力。特别地，传统***通常需要在捕获数字图像之后的处理时间来分析和修改数字图像。例如，传统***可能需要相对大量的计算资源，并且因此，在具有相对有限的计算资源的各种类型的移动设备上不可用。此外，原始图像和修改后的图像的存储可以使用大量的存储空间，特别是当用户拍摄许多照片以努力捕获更高质量的图像时。
因此，关于传统的数字图像修改***存在缺点。
发明内容
本公开内容描述了解决了上述问题并且提供其他益处的方法、非暂态计算机可读介质和***的一个或多个实施例。尽管本发明内容为简单起见而提及***，但是本发明内容也适用于某些公开的方法和非暂态计算机可读介质。为了解决上述和其他问题，所公开的***分析与用户客户端设备(例如，智能电话)的相机相关联的相机馈送。***还确定与相机馈送相关联的图像属性，并将那些图像属性与目标或模板图像的对应图像属性比较。基于比较，***提供用来指示用户客户端设备的用户操纵相机或他们自己以改善要被捕获的图像的指导。例如，本文描述的***提供实时(或接近实时)的推荐，以调整要被捕获的对象等的照明条件、相机角度、定位中的一个或多个。因此，一个或多个实施例帮助用户捕获模仿目标图像或模板图像的高质量图像。通过引导用户捕获与目标或模板图像的一个或多个特性匹配的数字图像，本文描述的***降低了捕获劣质数字图像的可能性(和劣质数字图像的总体数量)并且在未来如何捕获的高品质数字图像方面教育用户。
本申请的其他特征和优点将在下面的描述中被阐述，并且部分地将从描述中显而易见，或者可以通过对这样的示例实施例的实践而被学习。
附图说明
本公开内容将通过参考附图来描述具有附加特异性和细节的本发明的一个或多个实施例。以下段落简要描述了那些附图，其中：
图1示出了根据一个或多个实施例的智能摄影***可以操作于的示例环境的示意图；
图2A至图2F示出了根据一个或多个实施例的显示引导用户将相机馈送的图像属性与目标图像属性对准的过程的示例用户界面的示例用户客户端设备；
图3示出了根据一个或多个实施例的生成三维面部网格的示例过程的概述；
图4示出了根据一个或多个实施例的对数字图像或相机馈送的照明的示例分析；
图5示出了根据一个或多个实施例的用于提供用来指示用户将相机馈送的图像属性与目标图像模型的图像属性对准的指导的步骤的示例流程；
图6示出了根据一个或多个实施例的智能摄影***的示例框图；
图7示出了根据一个或多个实施例的用于引导用户将相机馈送与目标图像模型对准的一系列动作的流程图；以及
图8示出了根据一个或多个实施例的示例计算设备的框图。
具体实施方式
本文描述的一个或多个实施例利用智能摄影***提供益处并解决本领域中的前述或其他问题中的一个或多个问题，智能摄影***引导用户将相机馈送的一个或多个图像属性与目标图像或目标图像模型的一个或多个图像属性对准。特别地，本文描述的智能摄影***分析用户客户端设备的相机馈送，并将相机馈送的图像属性与目标图像或目标图像模型的图像属性比较。基于该比较，智能摄影***生成如下指令：用户可以进行调整以帮助将相机馈送与目标图像或目标图像模型对准。
为了引导用户捕获与目标图像或目标图像模型匹配的数字图像，智能摄影***通过用户客户端设备显示包括实时(例如，同期)相机馈送的用户界面。智能摄影***实时地分析相机馈送以确定与相机馈送相关联的图像属性。基于那些图像属性，智能摄影***将相机馈送的图像属性与目标图像或目标图像模型的预定义(例如，预先确定)的图像属性比较。基于该比较，智能摄影***实时地确定如下改变：用户可以做出这些改变以将相机馈送调整为具有在与目标图像或目标图像模型相关联的图像属性的容差内的图像属性。随着相机馈送响应于由用户做出的调整而改变，智能摄影***可以更新图像属性的分析和建议的调整。因此，智能摄影***生成并提供用来在将相机馈送的图像属性与目标图像或目标图像模型的图像属性对准的步骤方面指示用户的指导。
如上所述，智能摄影***提供用来帮助用户捕获类似于目标图像或目标图像模型的图像的指导。例如，智能摄影***显示用户可能希望在照片中模仿的多个目标图像模型。目标图像模型可以包括对一个或多个目标图像属性的分析或指示。在一个或多个实施例中，智能摄影可以接收对用户希望模仿的目标图像(例如，另一照片)的选择。智能摄影***然后可以根据该目标图像生成目标图像模型。
响应于目标图像模型的用户选择，智能摄影***在相机界面上显示目标属性覆盖，其指示包括来自目标图像模型的(多个)目标图像属性的区域，其因此是用户还希望在相机馈送中包括(多个)目标图像属性的区域。当用户移动相机(例如，用户设备)时，智能摄影***不断地更新目标属性覆盖以实时或接近实时地显示相机馈送内的目标图像属性(例如，照明，阴影，对象的定位)的变化。
附加地，智能摄影***确定与相机馈送相关联的图像属性。更具体地，基于生成三维网格，智能摄影***确定图像属性，诸如对象定位、对象朝向(例如，方向和倾斜)以及照射相机馈送的(多个)光源的方向。智能摄影***还在相机界面上显示图像属性覆盖，其指示包括(多个)图像属性的相机馈送的区域。因此，智能摄影***可以一起绘出(render)兼示出目标图像属性和当前图像属性的属性覆盖。
智能摄影***然后将相机馈送与所选择的目标图像模型比较。特别地，智能摄影***将相机馈送的图像属性与所选择的目标图像模型的已知的预定义目标图像属性比较。基于相机馈送和目标图像模型之间的比较，智能摄影***生成用于将相机馈送与目标图像模型对准的指导。特别地，智能摄影***确定如何校正相机馈送的图像属性与目标图像模型的目标图像属性之间的差异。
在确定如何校正相机馈送与目标图像模型之间的差异之后，智能摄影***通过用户客户端设备向用户提供指导。特别地，智能摄影***显示箭头或其他指示符以指示用户移动与用户设备相关联的相机、相机馈送中的对象和/或光源。智能摄影***还可以提供更详细的基于文本的指令。
响应于检测到相机馈送的图像属性在目标图像模型的目标图像属性的容差(例如，相似性阈值)内，智能摄影***向用户指示这一点。例如，智能摄影***可以改变属性覆盖的颜色，或者可以在显示屏上显示文本(例如，“成功！”)以向用户指示相机馈送与目标图像模型对准。除了向用户通知相机馈送与目标图像模型匹配之外，智能摄影***还可以响应于检测到相机馈送与目标图像模型对准而进一步自动地捕获一个或多个数字图像。换句话说，基于检测到相机馈送的图像属性在目标图像属性的容差内，智能摄影***可以在没有用来捕获图像的用户输入(例如，没有用户选择捕获按钮)的情况下激活相机以捕获一个或多个图像或捕获用户界面的屏幕截图。
本文描述的智能摄影***提供了优于传统数字图像修改***的许多优点。例如，智能摄影***产生比传统***更高质量的图像。特别地，因为智能摄影***引导用户将相机馈送与目标图像模型对准，所以智能摄影***防止用户捕获劣质数字图像。另一方面，许多传统***在它们可以产生的图像质量方面受到限制，因为编辑能力只能克服原始捕获的低质量图像中的这么多缺陷。
此外，智能摄影***在计算上比传统***更高效。传统***需要大量时间、处理能力和其他计算机资源来编辑捕获后的数字图像，而智能摄影***引导用户将相机馈送与目标图像模型对准，由此消除(或大大减少)对任何捕获后修改的需要。结果，智能摄影***使用比传统***更少的计算机资源和更少的时间来产生高质量的图像。
作为另一个优点，智能摄影***也比传统***更加身临其境。特别地，智能摄影***基于对相机馈送的分析来提供具有视觉叠加的实时(或接近实时)的指导。另一方面，许多传统***仅在数字图像被捕获时才提供编辑数字图像的能力，因此不提供身临其境的体验。因此，智能摄影***提供了超过传统捕获后修改***的更大灵活性。
以下提供关于智能摄影***的其他细节。在整个智能摄影***的描述中，本公开内容将使用各种术语来描述与智能摄影***相关联的***、方法和计算机可读介质。因此，在下文中提供了与智能摄影***和本文提供的公开内容相关的术语的多个定义。
如本文所使用的，术语“数字图像”指代由相机设备捕获的对象的数字表示。例如，数字图像可以指代使用具有集成数字相机的移动设备捕获的数字照片。数字图像还可以指代存储在可由用户客户端设备和/或服务器访问的数字数据库中的图像。另外，数字图像可以描绘包括一个或多个面部的场景(例如，自拍)。
如本文所使用的，“目标图像模型”指代具有预定义或预先确定的图像属性的数字图像的模型。的确，目标图像模型通常指代用户可能试图模仿的数字图像的模型或表示，或是具有用户可能试图在另一数字图像中再现的属性的数字图像的模型或表示。目标图像模型可以指代具有理想照明条件(例如，光源位置)、面部定位、面部朝向和其他图像属性的专业数字图像。的确，目标图像模型可以包括已知属性，诸如目标照明方向矢量、目标面部或头部定位以及目标面部或头部方向(例如，方向和/或倾斜)。
如上所述，用户可以通过用户客户端设备来捕获数字图像。如本文所使用的，术语“用户客户端设备”指代可由用户操作的计算设备。特别地，用户客户端设备可以指代能够捕获和/或存储数字图像的计算设备。用户设备可以包括相机，并且还可以包括能够显示或呈现诸如数字图像之类的数字内容的显示屏。例如，用户客户端设备可以包括诸如智能电话、平板或可穿戴设备之类的移动设备。
如上所述，用户客户端设备可以通过显示屏来呈现相机馈送。如本文所使用的，术语“相机馈送”指代通过与用户客户端设备相关联的相机捕获的场景的视频表示。相机馈送可以指代通过相机同时捕获并显示在用户设备的显示屏上的视频表示。此外，相机馈送可以指实时或接近实时地捕获和显示的场景。
如上面进一步提到的，智能摄影***分析相机馈送以确定与相机馈送相关联的一个或多个图像属性。如本文所使用的，术语“图像属性”指代数字图像的特征或特性。例如，图像定位属性指代数字图像或相机馈送内的对象的定位(例如，头部或面部定位、头部或面部朝向(例如，方向和倾斜)，或者相机馈送中的其他对象的定位)。图像照明属性指代一个或多个光源的位置或效果，和/或由不同光源位置产生的阴影。光源位置可以包括具有幅度以及指示光源位置的方向的矢量。
如将在下面更详细描述的，图像属性可以指代相机馈送属性和/或目标图像属性(有时被称为目标属性)。相机馈送属性可以指代与相机馈送相关联的数字图像属性，而目标图像属性可以指代与目标图像模型相关联的图像属性。
在一个或多个实施例中，智能摄影***生成在相机馈送内被描绘的面部的三维网格。如将在下面参考附图更详细描述的，“三维面部网格”指代面部标志和轮廓的三维映射。特别地，三维面部网格可以映射诸如鼻子、嘴巴、眼睛、发际线等的面部标志的位置。
还如上所述，智能摄影***确定相机馈送的图像属性是否在目标图像模型的图像照明属性的容差内。如本文所使用的，术语“容差”指代一个值与另一个值之间的可接受差异的范围。容差可以指代阈值分数或阈值。例如，容差可以包括头部或面部倾斜的多个度数，一个方向或另一个方向上的头部移动的像素数量，相机馈送中的阴影区域相对于目标阴影区域的百分比(例如，相机馈送可以具有目标图像模型中阴影的80％覆盖率)，或者某一其他值。
现在将参考附图提供关于智能摄影***的更多细节。例如，图1示出了根据一个或多个实施例的用于实现智能摄影***110的示例环境100的示意图。关于图1描述了环境100的概述。此后，关于随后的附图提供了对智能摄影***110的组件和过程的更详细描述。
如上所述，图1示出了示例性环境100，其包括网络102、(多个)服务器104以及与用户112相关联的用户客户端设备106。环境100的每个组件可以经由网络102通信。因此，网络102可以经由适当的网络协议来促进(多个)服务器104与用户客户端设备106之间的通信。例如，网络102可以指代本地网络(例如，局域网或者说“LAN”)、广域网(“WAN”)、因特网通信网络、蜂窝网络、3G或4G网络，或者可以指代两个计算设备可以用来通信的不同通信协议。下面参考图8更详细地讨论示例网络。
如图1中所示，环境100包括(多个)服务器104。(多个)服务器104可以指代可以与用户客户端设备106对接并且可以分析数字图像的一个或多个计算设备。此外，尽管图1示出了位于用户客户端设备106上的智能摄影***110，但是在一些实施例中(多个)服务器104包括(例如，实现)整个智能摄影***110的一部分。智能摄影***110可以作为硬件、软件或两者由(多个)服务器104实现，和/或作为硬件、软件或两者而被安装在(多个)服务器104上。另外，如由虚线所示，在一些实施例中，环境100不包括(多个)服务器104。
如刚刚提到的，环境100包括用户客户端设备106。用户客户端设备106能够跨网络102通信以与环境100的其他组件对接以接收和发送包括数字图像、相机馈送(例如，通过流传输)和图像照明属性在内的数据。此外，用户客户端设备106能够经由显示器呈现包括相机馈送的描绘的图形用户界面(“GUI”)。用户客户端设备106还能够呈现除了目标图像模型、相机馈送阴影指示符和/或目标阴影指示符之外还包括相机馈送的GUI。
如图1中所示，用户客户端设备106包括图像捕获***108。如本文所使用的，术语“图像捕获***”指代使得用户客户端设备(例如，用户客户端设备106)能够捕获、编辑、存储，共享或以其他方式管理数字图像的硬件和/或软件。图像捕获***可以指代网页、移动应用、软件程序、可执行硬件指令或其组合。在一些实施例中，图像捕获***108与(多个)服务器104通信以便上传数字图像、下载数字图像、分析数字图像和/或使数字图像与由(多个)服务器104维护的用户帐户同步。备选地或者附加地，智能摄影***110可以从(多个)服务器104访问(多个)目标图像模型或目标图像。
如所示，用户客户端设备106还包括智能摄影***110。特别地，智能摄影***110可以是作为硬件、软件或两者而安装的图像捕获***108的一部分。如将在下面更详细描述的，智能摄影***110执行各种功能、方法和过程以引导用户捕获与目标图像模型对准(例如，具有容差)的数字图像。
尽管图1示出了包括(多个)服务器104、网络102、智能摄影***110和用户客户端设备106的环境100的特定布置，但是各种附加或备选布置是可能的。例如，尽管图1示出了包括智能摄影***110的用户客户端设备106，但是在一些实施例中智能摄影***110可以位于(多个)服务器104上并且可以经由网络102与用户客户端设备106通信。
如上所述，在一个或多个实施例中，智能摄影***110分析由用户客户端设备(例如，用户客户端设备106)捕获的相机馈送，以检测与相机馈送相关联的图像属性。在一个或多个实施例中，智能摄影***110分析与一个或多个对象有关的数字图像和相机馈送的图像属性。例如，智能摄影***110可以分析与面部、头部或其他对象有关的图像属性。以下对智能摄影***110的大部分描述与分析与面部有关的图像属性并提供用来帮助用户捕获带有具有目标图像属性的面部的图像的指导的智能摄影***110有关。根据本文的公开内容，将会认识到，智能摄影***110可以操作并提供与其他对象(例如，无生命的物体，风景，动物，多个面部)有关的指导。
图2A至图2F示出了显示包括相机馈送202的用户界面200的用户客户端设备106在智能摄影***110分析相机馈送202并引导用户112将相机馈送202与目标图像模型对准的整个过程中的表示。图2A至图2F的描述将提供智能摄影***110的概述。此后，将在随后的附图中提供对相机馈送202的分析的更详细描述。
如图2A中所示，智能摄影***110分析相机馈送202以标识在相机馈送202内被描绘的面部。特别地，智能摄影***110执行面部分析技术以标识面部轮廓和标志，并且基于分析将面部网格204拟合到面部。下面参考图3提供关于生成在相机馈送202内被描绘的面部的三维网格的附加细节。另外，尽管图2A示出了包括面部网格204的视觉表示的相机馈送202，但是在一些实施例中智能摄影***110在没有面部网格204的视觉表示的情况下显示相机馈送202。
智能摄影***110还确定或估计一个或多个图像属性。例如，智能摄影***110执行光估计技术以检测照射相机馈送202(或其中的对象)的一个或多个光源。在一个或多个实施例中，智能摄影***110可以生成面部的三维地图。智能摄影***110可以确定相机馈送202内的面部像素的颜色值(例如，RGB、HSV等)。智能摄影***110还可以进一步比较像素以确定哪些更亮而哪些更暗。另外，作为分析相机馈送202的一部分，智能摄影***110可以基于比较像素来确定(多个)光源的位置。例如，智能摄影***110可以生成照明矢量以表示光源相对于相机馈送202内的面部的位置。沿着类似的线，智能摄影***110可以生成(或访问先前生成的)目标照明矢量，其表示来自目标图像模型的目标光源的位置。的确，基于对相机馈送202的分析，智能摄影***110可以生成矢量以指定照射相机馈送202的光源(或多个光源)的位置，并且可以确定如何操纵相机馈送202和/或相机馈送202内的面部以补偿照明矢量与目标照明矢量之间的任何差异。下面参考图4提供关于确定(多个)光源的位置的附加细节。
智能摄影***110还确定生成并在用户界面202中提供图像属性覆盖208，其表示用户界面200a中的相机馈送202的所确定的图像属性。例如，利用面部网格204和(多个)光源的位置，智能摄影***110生成相机馈送阴影覆盖208，其指示相机馈送202内被遮蔽的区域(例如，相机馈送202内被描绘的面部上的被遮蔽的区域)。特别地，智能摄影***110基于三维面部网格来确定在相机馈送202内被描绘的面部的面部定位和面部朝向。考虑到面部定位和朝向，结合指示(多个)光源的位置的照明矢量，智能摄影***110确定相机馈送202内的遮蔽区域。的确，如图2A中所示，相机馈送阴影覆盖208指示相机馈送202内的面部的右下部分被遮蔽。
尽管图2A示出了具有特定线条化阴影图案的相机馈送阴影覆盖208，但是智能摄影***110可以提供附加或备选的表示。例如，智能摄影***110可以提供如下相机馈送阴影覆盖208，该相机馈送阴影覆盖208可以具有不同的线条图案、不同的颜色或某一其他外观以指示相机馈送202的哪些部分被遮蔽。
另外，尽管图2A示出了单个属性覆盖(例如，阴影覆盖208)，但是在备选实施例中，智能摄影***110可以针对不同的图像属性(定位、朝向、照明、遮挡等)生成多个属性覆盖。备选地，智能摄影***110可以提供不同的属性覆盖来代替阴影覆盖208。
如图2A中进一步所示，用户界面200a包括选择器库206。特别地，选择器库206包括用户112可以选择的多个目标图像模型。基于对来自选择器库206的目标图像模型的选择，智能摄影***110引导用户112将相机馈送202与目标图像模型对准。更具体地，智能摄影***110生成用来指示用户112操纵相机馈送202(例如，通过移动用户设备106、光源的位置和/或相机馈送202中描绘的面部)的指导，以使得相机馈送202的图像照明属性在所选择的目标图像模型的目标图像照明属性的容差内。在下面关于随后的附图提供关于生成指导和将相机馈送202与目标图像模型对准的附加细节。
尽管图2A示出了选择器库206内的特定数量的可选目标图像模型，但是在其他实施例中，选择器库206可包括更多或更少的目标图像模型。此外，目标图像模型可以是如图2A中所示的三维绘出，或者目标图像模型可以是具有理想图像属性的数字图像(例如，照片)。例如，目标图像模型可以是描绘具有理想的阴影、面部朝向、面部定位等的面部的专业照片。如所示，选择器库206包括九个目标图像模型，每个目标图像模型具有由每个目标图像模型上的不同阴影线示出的不同的图像照明属性。
用户可以从选择器库206选择目标图像模型。特别地，用户112可以从图2A的选择器库206中的多个目标图像模型之中选择目标图像模型210(图2B中所示)。例如，用户112可以通过触摸屏或与用户客户端设备106相关联的其他输入界面来轻击、触摸、点击或以其他方式提供用户输入以选择目标图像模型210。
如上所述，智能摄影***110还生成并提供目标属性覆盖。例如，如图2B中所示，智能摄影***110提供目标阴影覆盖212。目标阴影覆盖212示出目标图像属性将如何或在何处出现在相机馈送202中的对象上或相对于对象馈送202中的对象出现。的确，如所示，目标阴影覆盖212指示在相机馈送202内的面部的与目标图像模型210的遮蔽部分相对应的部分上的阴影。
尽管图2B示出了目标阴影覆盖212的特定外观，但是智能摄影***110可以为目标阴影覆盖212提供附加或备选的外观。例如，智能摄影***110可以为目标阴影覆盖212提供不同的线条图案、不同的颜色或某一其他外观以指示相机馈送202的哪些部分将被遮蔽以匹配目标图像模型210。
此外，智能摄影***110可以将目标属性覆盖配置为具有与图像属性覆盖不同的外观。例如，智能摄影***110可以配置目标和图像属性叠加，以提供关于如下的视觉区别：属性当前如何影响相机馈送或当前如何在相机馈送中被描绘(例如，相机馈送202的当前遮蔽部分)与在如在目标图像模型210中一样定位或配置属性的情况下属性将在哪里影响相机馈送或将如何影响相机馈送。例如，图2B示出了一种实施例，其中智能摄影***110用一种外观来配置阴影覆盖208并用另一外观来配置目标阴影覆盖212。
如上所述，为了显示阴影覆盖208，智能摄影***110分析相机馈送202以确定相机馈送照明矢量，相机馈送照明矢量指示照射相机馈送202的光源的方向。因此，当用户112移动用户客户端设备106(相机馈送202内的面部和/或照射相机馈送202的光源)时，智能摄影***110实时或接近实时地不断更新阴影覆盖208。因此，当图像属性响应于用户客户端设备106、相机馈送202内的面部和/或光源的移动而改变时，智能摄影***110可以改变相机馈送202内的阴影覆盖208的位置。
类似地，当用户112移动用户客户端设备106(相机馈送202内的面部和/或照射相机馈送202的光源)时，智能摄影***110实时或接近实时地不断更新目标阴影覆盖212。因此，智能摄影***110可以响应于用户客户端设备106、相机馈送202内的面部和/或光源的移动而改变相机馈送202内的目标阴影覆盖212的位置。
如先前所述，智能摄影***110可以提供关于用来使图像属性与目标图像属性对准的调整的指导。例如，图2C示出了智能摄影***110提供用户动作按钮213。响应于检测到与用户动作按钮213的用户交互(例如，对其的选择)，智能摄影***110显示对用户112为了将相机馈送202的图像属性与目标图像模型210的目标图像属性对准而可以执行的动作的一个或多个指示符。例如，响应于检测到与用户动作按钮213的用户交互，智能摄影***110显示照明方向指示符214和面部方向指示符216。特别地，照明方向指示符214指示如下方向：用户112可以在该方向上移动光源以使相机馈送202的图像照明特征与目标图像模型210的目标图像照明特征对准。在其他实施例中，智能摄影***110显示照明方向指示符214和面部方向指示符216，而不首先需要与用户动作按钮213的用户交互。
此外，照明方向指示符214是交互式的(例如，可选择的)。如下面参考图2E更详细描述的，用户112可以选择照明方向指示符214。响应于接收到选择照明方向指示符214的用户输入，智能摄影***110显示更详细的指令(例如，基于文本的指令)以引导用户112完成将相机馈送202的光源位置与目标图像模型210的光源位置对准的一个或多个动作。通过使光源位置对准，智能摄影***110还使相机馈送阴影覆盖208和目标阴影覆盖212对准。
此外，类似于照明方向指示符214，面部方向指示符216也是交互式的。如下面参考图2D更详细描述的，智能摄影***110检测与面部方向指示符216的用户交互。响应于检测到与面部方向指示符216的用户交互，智能摄影***110提供更详细的指令(例如，基于文本的指令)以引导用户112完成将相机馈送202中描绘的面部的面部定位和/或面部朝向与目标图像模型210的面部定位和朝向对准的一个或多个动作。通过除了光源位置之外还使面部定位和朝向对准，智能摄影***110还使相机馈送阴影覆盖208和目标阴影覆盖212对准。
用户界面200可以进一步(或备选地)包括相机方向指示符。特别地，相机方向指示符可以指示如下方向：用户112需要在该方向上移动相机和/或用户客户端设备106以使相机馈送202与目标图像模型210对准。例如，智能摄影***110可以显示可选择的相机方向指示符，并且响应于检测到与相机方向指示符的用户交互，智能摄影***110可以显示更详细的指令，其引导用户完成将相机馈送202的相机角度和/或相机定位与目标图像模型210对准的一个或多个动作。
如上所述，智能摄影***110显示用来指示用户112将相机馈送照明属性与目标图像照明属性对准的指导。指导可以包括照明方向指示符214、面部方向指示符216、相机方向指示符和/或详细(例如，基于文本的)指令。例如，图2D示出了显示用户界面200d的用户客户端设备106，用户界面200d包括相机馈送202、面部方向指示符216和详细指令218。
如图2D中所示，智能摄影***110检测与面部方向指示符216的用户交互，于是智能摄影***110显示详细指令218，“Turn to the right(向右转)”。的确，智能摄影***110提供更详细的基于文本的指令以帮助用户112将相机馈送202与目标图像模型210对准，使得相机馈送照明属性与目标图像照明属性匹配(例如，在公差内)。特别地，详细指令218对应于面部方向指示符216。更具体地，详细指令218用文字说明面部方向指示符216所提供的指令。如所示，详细指令218指示用户112“向右转”。因此，详细指令218帮助用户112更清楚地理解如何将相机馈送202与目标图像模型210对准。
如上所述，在一些实施例中，智能摄影***110在提供详细指令218之前不需要与面部方向指示符216的用户交互。特别地，智能摄影***110可以改为与面部方向指示符216一起提供详细指令218，而不用首先检测与面部方向指示符216的用户交互。
此外，智能摄影***110可以包括附加或备选的文本指令或指导。例如，智能摄影***110可以提供用来在不同方向上转动、在不同方向上移动、在不同方向上倾斜等的指令。另外，智能摄影***110可以指示用户112以不同程度的强度或距离移动。为了说明，智能摄影***110可以提供指示用户112“略微向右转”或“向右急转”或“下巴略微向上倾斜”或“头向下倾斜一点”等的详细指令。
除了提供不同程度的详细指令之外，智能摄影***110还可以实时地更新详细指令218。例如，当用户112移动用户客户端设备106、光源和/或相机馈送202内的面部时，智能摄影***110可以每隔一定时间定期地更新详细指令218(例如，如智能摄影***110更新图2C的相机馈送阴影覆盖208一样)。因此，当用户112向右转时，智能摄影***110可以沿着“保持转动”或“快到了”的路线提供更新的指令。类似地，如果用户112转向错误的方向(例如，向左)，智能摄影***110可以更新详细指令218以提供诸如“转向另一侧”或“这也有效！继续转向”之类的文本。
图2E示出了智能摄影***110响应于用户调整而提供附加的详细指令220。类似于上面关于面部方向指示符216的讨论，智能摄影***110检测与照明方向指示符214的用户交互。响应于用户交互，智能摄影***110以相机馈送202的呈现上的文本覆盖的形式显示详细指令220。如所示，智能摄影***110提供详细说明220，其说“Move light up(向上移动灯)”。的确，智能摄影***110指示用户112向上移动光源的位置以使相机馈送阴影覆盖208与目标阴影覆盖212对准。
如图2E中所示，相机馈送阴影覆盖208与目标阴影覆盖212在面部的同一侧。更具体地，作为用户112遵循图2中所示的指令的结果，与图2D中相比，智能摄影***110与目标阴影覆盖212更类似地(即，在面部的同一侧)显示图2E中的相机馈送阴影覆盖208。作为完成由面部方向指示符216指示的指令的结果，智能摄影***110从用户界面200e移除面部方向指示符216。特别地，智能摄影***110确定相机馈送202内的面部被定位和/或定向在目标图像模型210内的面部的某一容差(例如，阈值)内。基于确定，智能摄影***110移除面部方向指示符216。然而，在一些实施例中，智能摄影***110不移除面部方向指示符216。
然而，图2E的相机馈送阴影覆盖208仍未与目标阴影覆盖212对准。的确，如图2E中所示，相机馈送阴影覆盖208仅覆盖相机馈送202内的面部的底部部分，而目标阴影覆盖212覆盖个人面部的大部分左侧。因此，智能摄影***110提供用来指示用户112向上移动照射相机馈送202的光源的照明方向指示符214。此外，如上所述，智能摄影***110提供详细指令220，其向用户112阐明或提供更明确的指导。类似于上面关于面部方向指示符216的讨论，智能摄影***110在显示详细指令220之前可能不首先检测与照明方向指示符214的用户交互。
尽管图2D和2E示出了智能摄影***110引导用户112将相机馈送202与目标图像模型210对准的特定事件顺序，但是附加或备选的操作是可能的。例如，图2E的描述所涉及的过程可以在关于图2D描述的过程之前发生。为了说明，智能摄影***110可以检测与照明方向指示符214的用户交互，并且随后在检测到与面部方向指示符216的用户交互之前提供对应的指令。
附加地或者备选地，智能摄影***110可以交替提供与照明方向指示符214和面部方向指示符216(和/或相机方向指示符)有关的指令，而不用首先要求用户112在移动到下一个指令之前完成一个指令。的确，智能摄影***110可以在引导用户将相机馈送202与目标图像模型210对准的整个过程中检测照明定位和面部定位的轻微调整，并且可以相应地更新详细指令和/或方向指示符。另外，智能摄影***110可以在用户112已经完成与面部方向指示符216相关联的指令之前检测与照明方向指示符214的用户交互。在这些情况下，智能摄影***110可以在仍然显示面部方向指示符216的同时呈现与照明方向指示符214相对应的详细指令220，以向用户112指示对于面部定位和/或朝向需要附加动作。
如上所述，智能摄影***110引导用户112将相机馈送202的图像属性与目标图像模型210的目标图像属性对准。例如，图2F示出了显示用户界面200f的用户客户端设备106。用户界面200f包括相机馈送202和目标图像模型210。此外，用户界面200f还包括相机馈送阴影覆盖208和目标阴影覆盖212。如图2F中所示，相机馈送阴影覆盖208与目标阴影覆盖212几乎匹配。的确，图2F示出了用户界面200f，其描绘了用户112已经通过移动用户客户端设备106、相机馈送202内的面部和/或光源来调整相机馈送202以使相机馈送202的照明属性与目标图像模型210的照明属性对准的情况。
如所示，智能摄影***110响应于确定相机馈送照明属性在目标图像照明属性的容差内而移除照明方向指示符214和面部方向指示符216。因此，响应于检测到相机馈送202内的面部定位和/或朝向在目标图像模型210的面部定位和/或朝向的容差内，智能摄影***110移除面部方向指示符216。类似地，响应于检测到相机馈送202内的阴影在目标图像模型210内的阴影的容差内，智能摄影***110同样移除照明方向指示符214。
如上所述，智能摄影***110将相机馈送照明属性与目标图像照明属性比较，以确定相机馈送照明属性是否在目标图像照明属性的容差内。为了以这种方式比较照明属性，智能摄影***110可以确定被遮蔽的目标图像模型210的位置和总面积。智能摄影***110还可以确定被遮蔽的相机馈送202内的面部的位置和总面积。智能摄影***110还可以确定相机馈送202的遮蔽区域是否在目标图像模型210的遮蔽区域的阈值区域(例如，多个方形像素)内。智能摄影***110还可以基于例如每个相应遮蔽区域的中点来确定相机馈送202内的遮蔽区域是否在目标图像模型210的遮蔽部分的阈值距离内。
在确定相机馈送202的图像属性在目标图像模型210的目标图像属性的容差内时，智能摄影***110提供匹配指示符222。特别地，匹配指示符222向用户112指示相机馈送202至少在可接受的误差范围内与目标图像模型210匹配。如所示，智能摄影***110提供基于文本的匹配指示符“Success(成功)！”。然而，在一些实施例中，智能摄影***110提供具有不同文本的基于文本的对准指示符。在相同或其他实施例中，智能摄影***110通过改变相机馈送阴影覆盖208和/或目标阴影覆盖212的颜色(例如，将它们都变为绿色)来提供匹配指示符。附加地或者备选地，智能摄影***110改变目标图像模型210的颜色(例如，通过突出显示目标图像模型210，改变目标图像模型210的边界的颜色，或通过某种其他方式)向用户112指示相机馈送202与目标图像模型210匹配。智能摄影***110也可以附加地或备选地提供音频指示符和/或触觉(例如，振动)指示符。
如上所述，智能摄影***110在处理自拍时可以生成在相机馈送202内被描绘的面部的三维网格。特别地，智能摄影***110分析相机馈送202以标识并跟踪各种面部标志和轮廓。例如，智能摄影***110利用机器学习模型技术来分析相机馈送202并生成三维网格。如本文所使用的，术语“机器学习模型”指代可以基于输入调谐(例如，训练)以近似未知功能的计算模型。特别地，术语机器学习模型可以包括使用机器学习算法来学习近似复杂函数并基于多个输入(例如，包括分类为场景类别的多个数字图像的训练数据集)来生成输出的模型。如本文所使用的，机器学习模型可以包括但不限于神经网络(例如，卷积神经网络或深度学习)、决策树、关联规则学习、归纳逻辑编程、支持矢量学习、贝叶斯网络、基于回归的模型、主成分分析或其组合。
尽管图2A至图2F示出了与自拍相关的智能摄影***110的各种功能，但是在一些实施例中，智能摄影***110可以类似地使用前置摄像头操作以捕获除肖像之外的对象(例如，全身图像、风景)。为了说明，智能摄影***110可以分析包括个体的不只是面部的部分的相机馈送，以比较与例如相机馈送内所示的全身镜头有关的图像属性。的确，智能摄影***110可以根据本文的公开内容将相机馈送与身体的目标图像比较。例如，智能摄影***110可以将相机馈送的属性与目标图像的目标属性比较，以提供关于如何将相机馈送的照明、定位(例如，手或肢体的定位)或其他方面与目标图像对准的指导。
除了前述内容之外，智能摄影***110可以以双人模式操作，其中第一用户操作计算设备并且将计算设备的相机瞄准第二用户。特别地，计算设备可以包括一个以上的相机(例如，前置摄像头和后置摄像头)，并且智能摄影***110可以能够与计算设备的任一个或两个相机通信以执行本文所述的方法。的确，智能摄影***110在处理自拍时可以与前置摄像头对接，并且当以双人模式处理传统照片时可以与后置摄像头对接。
另外，在一些实施例中，智能摄影***110可以关于相机馈送内的单个以上面部执行本文描述的过程和功能。例如，基于本文描述的技术，智能摄影***110可以分析组肖像中的多个面部，以提供关于如何将相机馈送内的每个面部与目标图像模型对准的指导。备选地，智能摄影***110可以提供关于如何将该组面部作为整体与如下目标图像模型对准的指导，目标图像模型也包括一组图像的图像。
此外，尽管图2A至图2F涉及提供关于如何将相机馈送202的属性与目标图像模型210对准的指导，但是在一些实施例中，智能摄影***110可以自动地执行这些功能。特别地，智能摄影***110可以与执行操作或操纵以调整相机馈送202的无人机或其他自治***对接。因此，当智能摄影***110分析相机馈送202以确定如何将相机馈送202与目标图像210对准时，智能摄影***110可以指示持有(或包括)捕获相机馈送202的相机的无人机移动以实现与目标图像模型210的对准。例如，智能摄影***110可以指示无人机水平地、垂直地移动，倾斜，旋转或执行其组合，以将相机馈送202与目标图像模型210对准。
如图3中所示，智能摄影***110基于形变模型304生成三维面部网格306。形变模型304是面部的通用三维模型，其包括定义面部上的各个点的多个顶点(例如，由形变模型304的网格线的交叉点示出)。因此，尽管图3示出了包括特定数量的顶点的形变模型304，但是在一些实施例中，形变模型可以包括更多或更少的顶点。下面提供关于生成形变模型304的附加细节。
此外，智能摄影***110分析面部302以标识突出点308，并且还将形变模型304与突出点308对准。因此，智能摄影***110基于标识出的突出点308生成面部网格306以看起来像上述在相机馈送202内被描绘的面部。尽管图3示出了包括比形变模型304更少的顶点的简化面部网格306，但是在一些实施例中，面部网格306可以包括更多或更少的顶点(例如，与形变模型304相同数量的顶点)。
为了基于形变模型304以及突出点308来生成面部网格306，智能摄影***110实现多线性主成分分析(“PCA”)模型。特别地，PCA模型的前两个维度表示面部身份(例如，几何形状和皮肤反射)，并且第三维度表示面部表情。因此，智能摄影***110可以将相机馈送202内的给定面部参数化为：
Figure GDA0004063423200000201
和
Figure GDA0004063423200000202
这一参数化假定围绕平均形状
Figure GDA0004063423200000203
和反射率/>
Figure GDA0004063423200000204
的形状和反射率的多元正态概率分布。给出了形状/>
Figure GDA0004063423200000205
反射率/>
Figure GDA0004063423200000206
和表达式
Figure GDA0004063423200000207
基础以及对应的标准偏差/>
Figure GDA0004063423200000208
Figure GDA0004063423200000209
和/>
Figure GDA00040634232000002010
PCA模型有53,000个顶点和106,000个面。然而，在一些实施例中，PCA模型可以包括更多或更少的顶点和/或面。智能摄影***110通过在刚性模型变换Φ(v)和全透视变换II(v)下光栅化PCA模型来生成合成的图像/>
Figure GDA00040634232000002011
给定单眼输入序列，智能摄影***110可以与稳健的变分优化共同重建所有未知参数
Figure GDA0004063423200000211
所提出的对象对于未知参数是高度非线性的，并且具有以下组件：
Figure GDA0004063423200000212
其中
Figure GDA0004063423200000213
是数据项，并且/>
Figure GDA0004063423200000214
是先前项。
数据项在照片一致性Ecol和面部特征对准Elan方面测量合成的图像与输入数据之间的相似性。智能摄影***110通过利用统计正则化项Ereg来考虑给定参数矢量
Figure GDA0004063423200000215
的可能性。权重ωcol、ωlan和ωreg使三个不同的子目标平衡。在一些实施例中，智能摄影***110预定义权重并将每个相应的权重设置为例如ωcol＝1、ωlan＝10和ωreg＝2.5*10-5。
为了量化合成的图像对输入数据的解释程度，智能摄影***110测量像素级上的照片度量对准误差：
Figure GDA0004063423200000216
其中
Figure GDA0004063423200000217
是合成的图像，/>
Figure GDA0004063423200000218
是输入RGB图像，并且/>
Figure GDA00040634232000002112
表示/>
Figure GDA0004063423200000219
中的所有可见像素定位。
智能摄影***11O使用l2，1范数来抵抗异常值。特别地，颜色空间中的距离基于l2，而智能摄影***110在所有像素的总和中使用l1范数。然而，在其他实施例中，智能摄影***110可以使用最小二乘法公式。
此外，智能摄影***110在RGB流中检测到的一组突出点对(例如，从突出点308获取)之间强制执行特征相似性：
Figure GDA00040634232000002110
为此，智能摄影***110采用面部标志跟踪算法。特别地，智能摄影***110可以实施下文所阐述的面部标志跟踪算法：Jason M.Saragih，Simon Lucey和Jeffrey F.Cohn，Deformable model fitting by regularized landmark mean-shift，InternationalJournal of Computer Vision 91.2200-215(2011)，其全部内容通过引用并入本文。基于这一面部标志跟踪技术，每个特征点
Figure GDA00040634232000002111
具有检测置信度ωconf，j并且对应于面部先前的唯一顶点/>
Figure GDA0004063423200000221
因此，智能摄影***110避免了在/>
Figure GDA0004063423200000222
的高度复杂的能量图景中的局部最小值的问题。
智能摄影***110还基于正态分布式群体的假设来强制合成面部的合理性。特别地，智能摄影***110强制参数在统计上保持接***均值：
Figure GDA0004063423200000223
通过使用这一正则化策略，智能摄影***110防止面部几何形状和反射率的退化，并且还引导优化策略免于局部最小值。
如所描述的，并且如图3中所示，智能摄影***110基于形变模型304并且还基于分析面部302来生成面部网格306，以标识突出点308。尽管以上参考图3的描述包括各种方程和公式，但是在一些实施例中，智能摄影***110可以实现在下文中被描述的技术和过程中的一个或多个：Justus Thies，Michael Zollhofer，Marc Stamminger，ChristianTheobalt和MatthiasNieβner，Face2face:Real-time face capture and reenactment ofrgb videos，Proceedings of the IEEE Conference on Computer Vision and PatternRecognition，2387-2395(2016)，其全部内容通过引用并入本文。
如上所述，智能摄影***110还可以确定照射相机馈送202的光源的数量和位置。为了说明确定光源位置的过程，图4示出了对象400、造成阴影412的光源402，以及造成阴影414的目标光源404。出于说明的目的，图4的讨论涉及对象400、光源402和目标光源404。然而，图4的描述涉及关于相机馈送202和目标图像模型210的上述讨论。
特别地，光源402类似于上述的检测到的照射相机馈送202的光源。因此，阴影412类似于上述相机馈送阴影覆盖208。同样地，目标光源404类似于与目标图像模型210相关联的光源，并且目标阴影414类似于亦在上面描述的目标阴影覆盖212。因此，图4示出了如下示例环境，其中智能摄影***110可以分析对象400的照明以确定照明矢量并且由此确定使光源402与目标光源404对准所需的任何调整。
的确，如图4中所示，智能摄影***110检测照射对象400从而造成阴影412的光源402。更具体地，智能摄影***110可以确定指示光源402的方向的光源矢量406。智能摄影***110访问包括造成目标阴影414的目标光源404的位置在内的已知(例如，预先确定)参数。的确，智能摄影***110可以利用目标光源404分析目标图像以生成已知参数。因此，智能摄影***110访问目标光源矢量408，其指示目标光源404的方向和/或距离。
因此，基于光源矢量406和目标光源矢量408，智能摄影***110确定光源402和目标光源404的位置之间的差异。为了确定这一差异，智能摄影***110可以计算校正矢量410，校正矢量410指示为了与目标光源404的位置匹配而需要使光源402移动的方向和距离。
特别地，智能摄影***110针对光源402以及目标光源404实施适合于自然场景照明的照明检测模型。智能摄影***110结合相机馈送202的深度和强度线索(例如，如由用户客户端设备106的相机捕获为RGB-D数据)。照明模型考虑光源、多个反照率和局部照明效果，诸如镜面反射、阴影和相互反射。
为了说明，智能摄影***110实施将表面几何形状与其强度图像相关联的阴影功能。智能摄影***110分析在没有单点光源的自然照明下的图像。特别地，智能摄影***110采用扩展的本征图像分解模型来恢复本征图像。智能摄影***110可以有效地结合这一模型以生成表面重建：
Figure GDA0004063423200000231
其中
Figure GDA0004063423200000232
是每个像素处的图像照明，/>
Figure GDA0004063423200000233
是阴影，ρ(i，j)通过调整阴影强度来解释多个场景反照率和阴影区域。此外，β(i，j)是独立的、空间变化的近光源，其解释局部照明变化，诸如相互反射和镜面反射。如下文所使用的，为了方便和易于解释，有时省略给命名法编索引的(i，j)。
最初，智能摄影***110假设朗伯(Lambertian)场景以恢复与对给定图像(例如，相机馈送202和/或目标图像模型210)具有均匀效果的光源相关联的阴影S。一旦智能摄影***110计算阴影，智能摄影***110就寻找ρ和β以更好地解释基于对象几何形状的强度图像。在一些实施例中，智能摄影***110在阴影恢复过程期间设置ρ＝1和β＝0。
通常，自然照明场景中的漫射对象的辐照度可以通过低阶球谐函数分量很好地描述。因此，智能摄影***110实施平滑函数以恢复阴影图像。为了效率和简单，智能摄影***110使用零阶和一阶球谐函数，其是表面法线的线性多项式并且独立于给定像素的位置。因此，它们可以由下式表示：
Figure GDA0004063423200000241
其中
Figure GDA0004063423200000242
是表面法线，/>
Figure GDA0004063423200000243
是阴影函数，/>
Figure GDA0004063423200000244
是四个一阶球谐函数系数的矢量，并且
Figure GDA0004063423200000245
对准的强度图像中的每个有效像素都可以用来恢复阴影。因此，智能摄影***110生成超定最小二乘参数估计问题：
Figure GDA0004063423200000246
智能摄影***110从初始深度图获得的粗略法线消除了对形状的假设和约束的需要以及使用若干图像的需要。因此，尽管仅具有平滑后的表面的法线，智能摄影***110仍然可以获得精确的阴影模型。此外，估计的表面法线消除了对***照明预校准的需要，由此使智能摄影***110能够在动态照明环境中起作用。
单独的阴影仅提供粗略评估整体照明。为了考虑镜面反射、阴影和附近的光源，智能摄影***110还计算ρ和β。的确，基于(上述)S的确定，智能摄影***110然后可以恢复ρ。
为了恢复ρ，智能摄影***110将S冻结到阴影图像并且优化ρ以区分场景反照率并且考虑阴影(ρ仍然被设置为0，因为其恢复在下面描述)。智能摄影***110设置保真度项以使所提出的模型(例如，目标图像模型210)与输入图像(例如，相机馈送202)之间的l2误差最小化。然而，为了避免过度拟合，智能摄影***110利用先前项，其防止ρ变化太快。因此，智能摄影***110实现仅解释照明变化而不解释几何形状变化的模型。
遵循视网膜理论和其他类似的本征图像恢复算法，智能摄影***110假设反照率图是分段平滑的并且图像中存在少量的反照率。另外，智能摄影***110利用加权拉普拉斯算子来区分场景上的材料和反照率，同时还保持光的平滑变化性质。这样做的惩罚项可被表示为：
Figure GDA0004063423200000251
其中
Figure GDA0004063423200000255
是像素的邻域，/>
Figure GDA0004063423200000256
是强度加权项：
Figure GDA0004063423200000252
并且
Figure GDA0004063423200000257
是以下深度加权项：
Figure GDA0004063423200000253
其中σd是负责允许的深度不连续性的参数，并且z(i，j)表示相应像素的深度值。
使用这一正则化项，智能摄影***110执行对场景(例如，由相机馈送202描绘的场景)的三维分割，从而划分为分段平滑部分。因此，智能摄影***110考虑了材料和反照率的变化，但智能摄影***110使表面的细微变化平滑。总之，智能摄影***110针对ρ向以下正则化线性最小二乘问题生成：
Figure GDA0004063423200000254
如上所述，在智能摄影***110计算ρ之后，智能摄影***110然后计算β。智能摄影***110可以针对β实现与智能摄影***110针对ρ使用的恢复过程类似的恢复过程。然而，由于一阶球谐函数占场景照明的约87.5％，因此智能摄影***110还限制β的能量以便与阴影模型一致。因此，智能摄影***110通过下式确定β：
Figure GDA0004063423200000261
/>
因此，智能摄影***110生成用于相机馈送202和/或目标图像模型210的照明估计模型。基于生成用于相机馈送202和目标图像模型210的照明模型，智能摄影***110可以确定相机馈送202和目标图像模型210的照明位置之间的差异。因此，智能摄影***110可以生成用来校正这些差异并将相机馈送202的照明属性与目标图像模型210的照明属性对准的指导。
尽管以上参考图4的描述包括用于估计光源位置的各种方程和公式，但是在一些实施例中，智能摄影***110可以实现在下文中被描述的技术和过程中的一个或多个：RoyOr-El，Guy Rosman，Aaron Wetzler，Ron Kimmel和Alfred M.Bruckstein，RGBD-fusion：Real-time high precision depth recovery，Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition，5407-5416(2015)，其全部内容通过引用并入本文。
如上所述，智能摄影***110提供用来指示用户(例如，用户112)将相机馈送(例如，相机馈送202)与目标图像模型(例如，目标图像模型210)对准的指导。的确，图5示出了用于提供用来指示与用户客户端设备相关联的用户将相机馈送的图像属性与目标图像模型的目标图像属性对准的指导的步骤。用于提供用来指示与用户客户端设备相关联的用户将相机馈送的图像属性与目标图像模型的目标图像属性对准的指导的步骤除了本公开内容中其他地方描述的相关方法和技术之外还可以包括以下对图5的描述，包括但不限于关于图3和图4描述的方程和公式。
图5示出了流程500，其包括用于提供用来指示与用户客户端设备相关联的用户将相机馈送的图像属性与目标图像模型的目标图像属性对准的指导的上述步骤中所包括的多个动作502-512。特别地，流程500包括动作502，由此智能摄影***110分析相机馈送。例如，智能摄影***110通过实施上述算法和过程来分析相机馈送，以确定相机馈送照明属性和目标图像照明属性。以上提供了关于相机馈送照明属性和目标图像照明属性的附加细节。
基于对相机馈送的分析，智能摄影***110还执行动作504以将相机馈送照明属性与目标图像照明属性比较。的确，智能摄影***110通过确定相机馈送和目标图像模型之间的照明定位的差异来比较图像照明属性。智能摄影***110还确定相机馈送和目标图像模型之间的面部定位和朝向的差异。以上关于先前附图提供了关于这些确定的附加细节。
如所示，智能摄影***110还执行动作506以确定用来使相机馈送与目标图像模型对准的调整。特别地，智能摄影***110计算使相机馈送的(多个)光源位置与目标图像模型的(多个)光源位置对准所需的校正矢量。此外，智能摄影***110确定用户为了与目标图像模型内所示的面部的定位和朝向匹配而需要使相机馈送内所示的面部移动的像素和/或度数的数量。
如图5中进一步所示，智能摄影***110执行动作508以向用户提供用来调整相机馈送的指令。特别地，智能摄影***110显示照明方向指示符以引导用户调整光源位置以使相机馈送的光源位置与目标图像模型的光源位置对准。另外，智能摄影***110提供面部方向指示符以引导用户移动相机馈送内所示的面部的定位和/或朝向。如上所述，智能摄影***110可以进一步(或备选地)提供相机方向指示符以引导用户移动用户客户端设备的相机以使相机馈送的图像照明特征与目标图像模型的图像照明特征对准。以上提供了关于照明方向指示符、面部方向指示符和相机方向指示符的附加细节。
图5还示出了动作510，由此智能摄影***110确定相机馈送照明属性是否在目标图像照明属性的容差内。如上所述，智能摄影***110确定相机馈送内所示的面部是否在目标图像模型内的面部的垂直方向和水平方向上被定向在阈值数量的度数内。智能摄影***110还确定相机馈送的光位置(以及因此的相机馈送的阴影)是否与目标图像模型的光位置相差阈值数量的度数内。智能摄影***110还可以确定相机馈送中的面部上的阴影是否与目标图像模型内的面部上的阴影相差阈值像素面积或阈值百分比内。
响应于确定相机馈送照明属性在目标图像照明属性的容差内，智能摄影***110执行动作512以提供匹配指示符。特别地，智能摄影***110向用户提供如下指示，即相机馈送与目标图像模型充分对准。如上所述，指示可以包括基于文本的指示、覆盖颜色的变化、音频指示符和/或触觉指示符。
另一方面，响应于确定相机馈送照明属性不在目标图像照明属性的容差内，智能摄影***110重复动作502到510。的确，智能摄影***110可以在相机馈送刷新(例如，每帧一次，每三帧一次，每五帧一次，等等)时连续重复动作502-510多次以不断分析相机馈送以检测相机馈送何时与目标图像模型对准以满足动作510。
现在看图6，将提供关于智能摄影***602的组件和能力的附加细节。图6的智能摄影***602可以与图1的智能摄影***110相同。具体而言，图6示出了示例计算设备600(例如，(多个)服务器104和/或用户客户端设备106，无人机，相机，智能电话)上的智能摄影***110的示例示意图。如图6中所示，智能摄影***110可包括GUI管理器604、用户输入检测器606、面部分析器608、光估计器610、图像照明属性比较管理器612和存储管理器614。尽管图6描绘了特定数量的组件，但是在一些实施例中，智能摄影***110可包括更多或更少的组件。此外，组件可以执行除了下文描述的那些任务之外的附加或备选任务。
如上所述，智能摄影***602包括GUI管理器604。GUI管理器604可以呈现、显示、提供或以其他方式管理与智能摄影***602相关联的GUI。例如，GUI管理器604可以呈现如下GUI，该GUI包括相机馈送、目标图像模型、照明方向指示符、面部方向指示符、相机方向指示符、用户动作按钮213和/或其他元素。为了说明，GUI管理器604可以与计算设备600所关联于的图像捕获设备(例如，相机)通信以显示捕获的相机馈送。GUI管理器604还可以呈现详细指令(例如，文本)以及上述任何可见指示符(例如，匹配指示符)。
还如上所述，智能摄影***602包括用户输入检测器606。特别地，用户输入检测器606可以接收或检测与计算设备600的任何输入或用户交互。例如，用户输入检测器606可以通过触摸屏或某一其他输入界面来检测用户输入，通过输入界面，用户可以提供用户输入以与智能摄影***602的GUI交互。响应于检测到与GUI的特定元素相关的用户输入，用户输入检测器606还可以与面部分析器608、图像照明属性比较管理器612、GUI管理器604和/或智能摄影***602的某一其他组件通信，以使得执行上述过程中的一个或多个。
如所示，智能摄影***602包括面部分析器608。特别地，面部分析器608可以分析相机馈送和/或目标图像模型内的面部以标识或检测面部轮廓和标志。例如，面部分析器608可以实现上述的过程和算法，并且可以与图像照明属性比较管理器612通信以确定相机馈送内的面部与目标图像模型内的面部之间的差异(例如，定位和/或朝向的差异)。基于任何确定的差异，面部分析器608可以与GUI管理器604通信以呈现用来引导用户将相机馈送与目标图像模型对准的GUI元素。
如图6中所示，智能摄影***602还包括光估计器610。特别地，光估计器610可以分析相机馈送和/或目标图像模型以确定与相机馈送和/或目标图像模型相关联的照明属性。例如，光估计器610可以实现上述照明属性算法。此外，光估计器610可以与图像照明属性比较管理器612通信，以将与相机馈送相关联的照明属性和与目标图像模型相关联的照明属性比较。
的确，图像照明属性比较管理器612可以将与相机馈送相关联的照明属性和与目标图像模型相关联的照明属性比较。的确，图像照明属性比较管理器612可以比较面部定位、面部朝向、光源定位等。基于比较，图像照明属性比较管理器612可以与GUI管理器604通信以提供用来引导用户将相机馈送的照明属性与目标图像模型的照明属性对准的指令。
还如图6中所示，智能摄影***602包括存储管理器614。特别地，存储管理器614可以包括目标图像数据库616，并且可以存储、维护或以其他方式管理目标图像模型。例如，目标图像数据库616可以包括多个目标图像模型以包括在选择器库内，如上所述。目标图像数据库616还可以存储与每个存储的目标图像模型相关联的图像照明属性。因此，存储管理器614可以与图像照明属性比较管理器612通信，以将所选择的目标图像模型的存储的图像照明属性与相机馈送的确定的图像照明属性比较。
图1-6、对应的文本以及示例提供了许多不同的***和方法，其分析相机馈送以确定图像照明属性并将所确定的图像照明属性与目标图像模型所关联于的对应图像照明属性比较以生成并提供用来引导用户将相机馈送与目标图像模型对准的指令。除了前述内容之外，还可以根据包括用于实现特定结果的动作的流程图来描述实施例。例如，图7示出了根据一个或多个实施例的示例性一系列动作的流程图。
尽管图7示出了根据一个实施例的动作，但是备选实施例可以对图7中所示的任何动作进行省略、添加、重新排序和/或修改。可以作为方法的一部分来执行图7的动作。备选地，非暂态计算机可读介质可以包括指令，其当被一个或多个处理器执行时使得计算设备执行图7的动作。在更进一步的实施例中，***可以执行图7的动作。此外，本文描述的步骤/动作可被重复或彼此并行地执行，或者与相同或其他类似步骤/动作的不同实例并行地执行。
图7示出了用于引导用户将相机馈送与目标图像模型对准的示例性一系列动作700。特别地，这一系列动作700包括捕获实况相机馈送的动作702。例如，动作702可以涉及经由计算设备捕获实况相机馈送。
如所示，这一系列动作700包括确定图像属性的动作704。特别地，动作704可以涉及确定相机馈送的图像属性。尽管未在图7中示出，但是这一系列动作700还可以包括基于相机馈送来生成在相机馈送内被描绘的面部的三维网格的动作，其中三维网格包括在相机馈送内被描绘的面部的映射。因此，动作704还可以涉及基于相机馈送来确定照射相机馈送的光源的位置，以及基于三维网格来确定在相机馈送内被描绘的面部的面部定位。
确定照射相机馈送的光源的位置可以包括计算照射相机馈送的光源的归一化的照明矢量。此外，将相机馈送的图像属性与目标图像模型的目标图像属性比较可以包括确定归一化的照明矢量和与目标图像模型相关联的预定义归一化的目标照明矢量之间的差异。
如图7中进一步所示，这一系列动作700包括将图像属性与目标图像属性比较的动作706。特别地，动作可以涉及将相机馈送的图像属性与目标图像模型的目标图像属性比较。目标图像模型的目标图像属性可以包括目标头部定位、目标光源位置或目标相机定位中的一个或多个。
此外，这一系列动作700包括向用户界面提供用来将图像属性与目标图像属性对准的指令的动作708。特别地，动作708可以涉及基于比较通过计算设备上的用户界面提供具有关于如何将相机馈送的图像属性与目标图像模型的目标图像属性对准的交互式实时指令的指导。动作708还可以涉及显示指示目标图像模型内的阴影的目标阴影指示符以及指示相机馈送内的阴影的相机馈送阴影指示符。显示目标阴影指示符可以包括在相机馈送上显示目标阴影覆盖以指示与目标图像模型相关联的目标阴影。附加地或者备选地，显示目标阴影指示符可以包括提供目标图像模型的绘出，其包括指示与目标图像模型相关联的目标阴影的目标阴影纹理。
此外，动作708可以涉及通过用户客户端设备向用户提供关于如何操纵相机馈送以将相机馈送阴影指示符与目标阴影指示符对准的指令。显示相机馈送阴影指示符可以包括在相机馈送上显示相机馈送阴影覆盖以指示相机馈送的当前阴影。附加地或者备选地，显示相机馈送阴影指示符可以包括在相机馈送上覆盖相机馈送阴影纹理以指示相机馈送的当前阴影。关于如何操纵相机馈送的指令可以包括以下各项中的一个或多个：指示移动在相机馈送内被描绘的面部的方向的面部方向指示符，或者指示移动照射相机馈送的光源的方向的照明方向指示符。
尽管未在图7中示出，但是这一系列动作700可以包括确定与相机馈送相关联的图像属性在目标图像模型的目标图像属性的容差内的动作。这一系列动作还可以包括通过用户客户端设备并且响应于确定相机馈送的图像属性在目标图像模型的目标图像属性的容差内而提供指示相机馈送相对于目标图像模型的对准的对准指示符的动作。
另外，这一系列动作700可以包括通过用户客户端设备上的用户界面提供多个目标图像模型的动作以及接收用来从这多个目标图像模型之中选择目标图像模型的用户输入的动作。这一系列动作700还可以包括通过用户客户端设备显示详细指令元素的动作，以及响应于检测到对详细指令元素的用户选择而向用户提供关于如何将相机馈送与目标图像模型对准的详细指令的动作。
这一系列动作700还可以包括响应于检测到相机馈送阴影指示符在目标阴影指示符的对准容差内而提供用来向用户警告相机馈送与目标图像模型对准的匹配指示符的动作。
本公开内容的实施例可以包括或利用包括计算机硬件的专用或通用计算机，计算机硬件诸如是例如一个或多个处理器和***存储器，如下面更详细地讨论的。本公开内容的范围内的实施例还包括用于携带或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。特别地，本文描述的过程中的一个或多个可以至少部分地实现为包含在非暂态计算机可读介质中并且可由一个或多个计算设备(例如，本文描述的任何媒体内容访问设备)执行的指令。通常，处理器(例如，微处理器)从非暂态计算机可读介质(例如，存储器等)接收指令，并执行那些指令，由此执行包括本文描述的过程中的一个或多个过程在内的一个或多个过程。
计算机可读介质可以是可以由通用或专用计算机***访问的任何可用介质。存储计算机可执行指令的计算机可读介质是非暂态计算机可读存储介质(设备)。携带计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，本公开内容的实施例可以包括至少两种截然不同种类的计算机可读介质：非暂态计算机可读存储介质(设备)和传输介质。
非暂态计算机可读存储介质(设备)包括RAM、ROM、EEPROM、CD-ROM、固态驱动器(“SSD”)(例如，基于RAM)、闪存、相变存储器(“PCM“)、其他类型的存储器、其他光盘存储装置、磁盘存储装置或其他磁存储设备，或者可以用来存储呈计算机可执行指令或数据结构的形式的期望程序代码装置并且可以由通用或专用计算机访问的任何其他介质。
“网络”被定义为使得能够在计算机***和/或模块和/或其他电子设备之间传输电子数据的一个或多个数据链路。当通过网络或另一通信连接(硬连线，无线，或者硬连线或无线的组合)向计算机传送或提供信息时，计算机将连接正确地视为传输介质。传输介质可以包括可以用来携带呈计算机可执行指令或数据结构的形式期望程序代码装置并且可以由通用或专用计算机访问的网络和/或数据链路。上述的组合也应包括在计算机可读介质的范围内。
另外，在到达各种计算机***组件时，呈计算机可执行指令或数据结构的形式的程序代码装置可以被自动地从传输介质传送到非暂态计算机可读存储介质(设备)(或反之亦然)。例如，通过网络或数据链路接收的计算机可执行指令或数据结构可以被缓冲在网络接口模块(例如，“NIC”)内的RAM中，然后最终传送到计算机***RAM和/或计算机***处的较不易失性的计算机存储介质(设备)。因此，应当理解，非暂态计算机可读存储介质(设备)可以被包括在也(或甚至主要)利用传输介质的计算机***组件中。
计算机可执行指令包括例如指令和数据，这些指令和数据当在处理器处执行时使得通用计算机、专用计算机或专用处理设备执行某一功能或功能组。在一些实施例中，在通用计算机上执行计算机可执行指令，以将通用计算机变成实现本公开内容的元素的专用计算机。计算机可执行指令可以例如是二进制文件、诸如汇编语言之类的中间格式指令，乃至源代码。尽管用特定于结构特征和/或方法动作的语言描述了本主题，但是将会理解，所附权利要求中定义的主题不必限于上述所描述的特征或动作。而是，所描述的特征和动作被公开为实现权利要求的示例形式。
本领域技术人员将认识到可以在具有许多类型的计算机***配置的网络计算环境中实践本公开内容，这些计算机***配置包括个人计算机、台式计算机、膝上型计算机、消息处理器、手持设备、多处理器***、基于微处理器或可编程的消费电子产品、网络PC、小型计算机、大型计算机、移动电话、PDA、平板、寻呼机、路由器、交换机等。也可以在分布式***环境中实践本公开内容，其中通过网络链接(通过硬连线数据链路、无线数据链路，或通过硬连线和无线数据链路的组合)的本地和远程计算机***都执行任务。在分布式***环境中，程序模块可以位于本地和远程的存储器存储设备中。
也可以在云计算环境中实现本公开内容的实施例。在本说明书中，“云计算”被定义为用于实现对可配置计算资源的共享池的按需网络访问的模型。例如，可以在市场中采用云计算来提供对可配置计算资源的共享池的普遍且方便的按需访问。可配置计算资源的共享池可以经由虚拟化快速供应，并以低管理工作量或服务提供商交互发布，然后相应地缩放。
云计算模型可以包括各种特性，诸如例如按需自助服务、广泛网络访问、资源池、快速弹性、可度量服务等。云计算模型也可以暴露各种服务模型，诸如例如软件即服务(“SaaS”)、平台即服务(“PaaS”)和基础设施即服务(“IaaS”)。也可以使用诸如私有云、社区云、公共云、混合云等的不同部署模型来部署云计算模型。在本说明书和权利要求书中，“云计算环境”是采用云计算的环境。
图8以框图形式示出了示例性计算设备800，其可被配置为执行上述过程中的一个或多个。将会认识到，智能摄影***110可以包括计算设备800的实现方式。如图8中所示，计算设备可以包括处理器802、存储器804，存储设备806、I/O接口808和通信接口810。另外，计算设备800可以包括相机和显示屏。在某些实施例中，计算设备800可以包括比图8中所示的那些组件更少或更多的组件。现在将更详细地描述图8中所示的计算设备800的组件。
在特定实施例中，(多个)处理器802包括用于执行指令(诸如构成计算机程序的那些指令)的硬件。作为示例而非限制，为了执行指令，(多个)处理器802可从内部寄存器、内部高速缓存、存储器804或存储设备806中检索(或提取)指令并解码和执行它们。
计算设备800包括存储器804，其耦合到(多个)处理器802。存储器804可以用于存储数据、元数据和程序以供(多个)处理器执行。存储器804可以包括易失性和非易失性存储器中的一个或多个，诸如随机存取存储器(“RAM”)、只读存储器(“ROM”)、固态盘(“SSD”)、闪存、相变存储器(“PCM”)或其他类型的数据存储装置。存储器804可以是内部或分布式的存储器。
计算设备800包括存储设备806，其包括用于存储数据或指令的存储装置。作为示例而非限制，存储设备806可以包括上述的非暂态存储介质。存储设备806可以包括硬盘驱动器(HDD)、闪存、通用串行总线(USB)驱动器或者这些或其他存储设备的组合。
计算设备800还包括一个或多个输入或输出(“I/O”)设备/接口808，其被提供以允许用户向计算设备800提供输入(例如用户笔划)、从计算设备800接收输出以及以其他方式将数据传送到计算设备800或从计算设备800传送数据。这些I/O设备/接口808可包括鼠标、小键盘或键盘、触摸屏、相机、光学扫描仪、网络接口、调制解调器、其他已知的I/O设备或者这样的I/O设备/接口808的组合。可以用写入设备或手指来激活触摸屏。
I/O设备/接口808可以包括用于向用户呈现输出的一个或多个设备，其包括但不限于图形引擎、显示器(例如，显示屏)、一个或多个输出驱动器(例如，显示驱动器)、一个或多个音频扬声器以及一个或多个音频驱动器。在某些实施例中，设备/接口808被配置为向显示器提供图形数据以呈现给用户。图形数据可以代表一个或多个图形用户界面和/或可对特定实现有用的任何其他图形内容。
计算设备800还可以包括通信接口810。通信接口810可以包括硬件、软件或两者。通信接口810可以提供用于计算设备与一个或多个其他计算设备800或一个或多个网络之间的通信(诸如，例如基于分组的通信)的一个或多个接口。作为示例而非限制，通信接口810可以包括用于与以太网或其他基于有线的网络通信的网络接口控制器(NIC)或网络适配器，或者用于与诸如WI-FI之类的无线网络通信的无线NIC(WNIC)或无线适配器。计算设备800还可以包括总线812。总线812可以包括将计算设备800的组件彼此耦合的硬件、软件或两者。
在前述说明书中，已经参考本发明的特定示例性实施例描述了本发明。参考本文讨论的细节描述了(多个)本发明的各种实施例和方面，并且附图示出了各种实施例。以上描述和附图是对本发明的说明，而不应被解释为限制本发明。描述了许多具体细节以提供对本发明的各种实施例的透彻理解。
在不脱离本发明的精神或基本特性的情况下，可以以其他特定形式实施本发明。所描述的实施例在所有方面都应被视为仅是说明性的而非限制性的。例如，可以用更少或更多的步骤/动作来执行本文描述的方法，或者可以以不同的顺序执行步骤/动作。此外，本文描述的步骤/动作可被重复或彼此并行地执行，或者与相同或类似的步骤/动作的不同实例并行地执行。因此，本发明的范围由所附权利要求而不是前述说明书指示。在权利要求的含义和等同范围内的所有变化都将包含在其范围内。

Claims (20)

1.一种用于引导用户捕获与目标图像属性匹配的数字图像的非暂态计算机可读介质，其包括指令，所述指令当被至少一个处理器执行时，使得计算设备：
提供用于在所述计算设备上的用户界面内与相机馈送一起显示的多个可选择的目标图像模型；
经由所述用户界面接收用户输入，所述用户输入指示来自被显示在所述用户界面内的所述多个可选择的目标图像模型的所选择的目标图像模型；
确定正被所述计算设备捕获的所述相机馈送的图像属性，所述图像属性包括照射所述相机馈送的光源的位置；
将所述图像属性与所述所选择的目标图像模型的目标图像属性进行比较；以及
基于所述比较，通过所述相机馈送来提供指示用于将所述图像属性与所述目标图像属性对准的指令的图形用户界面元素。
2.根据权利要求1所述的非暂态计算机可读介质，其中所述指令当被所述至少一个处理器执行时，使得所述计算设备通过所述相机馈送提供指示选择器库内的不同图像属性的所述多个可选择的目标图像模型。
3.根据权利要求1所述的非暂态计算机可读介质，还包括指令，其当被所述至少一个处理器执行时，使得所述计算设备经由所述用户界面提供所述所选择的目标图像模型的指示。
4.根据权利要求1所述的非暂态计算机可读介质，还包括指令，其当被所述至少一个处理器执行时，使得所述计算设备响应于指示所述所选择的目标图像模型的所述用户输入，通过所述相机馈送提供代表所述所选择的目标图像模型的覆盖。
5.根据权利要求4所述的非暂态计算机可读介质，其中所述指令当被所述至少一个处理器执行时，使得所述计算设备通过在正被所述相机馈送捕获的面部上提供阴影覆盖，来提供代表所述所选择的目标图像模型的所述覆盖。
6.根据权利要求1所述的非暂态计算机可读介质，其中所述指令当被所述至少一个处理器执行时，使得所述计算设备通过提供文本图形用户界面元素来提供指示用于将所述图像属性与所述目标图像属性对准的所述指令的所述图形用户界面元素，所述文本图形用户界面元素包括关于如何移动所述计算设备、在所述相机馈送中正被捕获的物体、或照射正被所述相机馈送捕获的一个或多个物体的光源中的一项或多项的详细的指令。
7.根据权利要求1所述的非暂态计算机可读介质，还包括指令，其当被所述至少一个处理器执行时，使得所述计算设备：
确定所述相机馈送的所述图形属性在所述所选择的目标图形模型的所述目标图像属性的容差内；以及
经由所述用户界面以及响应于确定所述相机馈送的所述图形属性在所述所选择的目标图形模型的所述目标图像属性的所述容差内，提供指示所述相机馈送相对于所述所选择的目标图像模型的对准的对准指示符。
8.根据权利要求1所述的非暂态计算机可读介质，其中：
所述目标图像属性包括照射属性；并且
所述目标图像模型包括照射模型。
9.根据权利要求1所述的非暂态计算机可读介质，还包括指令，其当被所述至少一个处理器执行时，使得所述计算设备基于所述相机馈送来生成在所述相机馈送内被描绘的面部的三维网格。
10.根据权利要求9所述的非暂态计算机可读介质，其中所述指令当被所述至少一个处理器执行时，使得所述计算设备通过以下确定所述相机馈送的所述图像属性：
基于所述相机馈送来确定照射所述相机馈送的所述光源的所述位置；以及
基于所述三维网格来确定在所述相机馈送内被描绘的所述面部的面部定位。
11.根据权利要求10所述的非暂态计算机可读介质，其中确定照射所述相机馈送的所述光源的所述位置包括计算针对照射所述相机馈送的所述光源的归一化的照明矢量。
12.根据权利要求11所述的非暂态计算机可读介质，其中所述指令使得所述计算设备通过确定所述归一化的照明矢量和与所述目标图像模型相关联的预定义的归一化的目标照明矢量之间的差异来将所述相机馈送的所述图像属性与所述目标图像模型的所述目标图像属性进行比较。
13.在用于捕获数字图像的数字媒体环境中，一种用于引导用户捕获与目标图像匹配的数字图像的***，所述***包括：
计算设备，包括相机；
至少一个处理器，被配置为使得所述***：
经由所述相机捕获实况相机馈送；
提供用于在所述计算设备上的用户界面内通过所述实况相机馈送一起显示的多个可选择的目标图像模型；
经由所述用户界面接收用户输入，所述用户输入指示来自被显示在所述用户界面内的所述多个可选择的目标图像模型的所选择的目标图像模型；
通过分析所述相机馈送来确定正被所述相机捕获的所述实况相机馈送的图像属性，所述图像属性包括照射所述相机馈送的光源的位置；
将所述图像属性与所述所选择的目标图像模型的目标图像属性进行比较；以及
基于所述比较，通过所述相机馈送来提供指示用于将所述图像属性与所述目标图像属性对准的指令的图形用户界面元素。
14.根据权利要求13所述的***，其中所述至少一个处理器被配置为使得所述***通过以下来提供指示用于将所述图像属性与所述目标图像属性对准的所述指令的所述图形用户界面元素：
显示指示所述目标图像模型内的阴影的目标阴影指示符和指示所述相机馈送内的阴影的相机馈送阴影指示符；以及
通过所述用户界面的方式，提供用于操纵所述相机馈送以使所述相机馈送阴影指示符与所述目标阴影指示符对准的指令。
15.根据权利要求14所述的***，其中：
显示所述目标阴影指示符包括在所述相机馈送内显示目标阴影覆盖以指示相对于所述相机馈送的当前视图的目标阴影；并且
显示所述相机馈送阴影指示符包括在所述相机馈送内显示相机馈送阴影覆盖以与所述目标阴影覆盖进行比较。
16.根据权利要求14所述的***，其中：
显示所述目标阴影指示符包括生成要在所述用户界面内显示并且包括指示所述所选择的目标图像模型的目标阴影的目标阴影纹理的所述所选择的目标图像模型的绘出；并且
显示所述相机馈送阴影指示符包括在所述相机馈送上覆盖相机馈送阴影纹理，以指示所述相机馈送的当前阴影与所述所选择的目标图像模型的所述绘出进行比较。
17.根据权利要求14所述的***，其中所述至少一个处理器还被配置为使得所述***响应于检测到所述相机馈送阴影指示符在所述目标阴影指示符的对准容差内来提供指示所述相机馈送被与所述所选择的目标图像模型对准的匹配指示符。
18.根据权利要求13所述的***，其中所述至少一个处理器被配置为使得所述***通过经由所述用户界面内的所述相机馈送提供以下的一项或多项，来通过所述相机馈送提供指示用于将所述图像属性与所述目标图像属性对准的所述指令的所述图形用户界面元素：
面部方向指示符，其指示移动在所述相机馈送内被描绘的面部的方向；或者
照明方向指示符，其指示移动照射所述相机馈送的光源的方向。
19.一种用于引导用户捕获与目标图像匹配的数字图像的计算机实现的方法，所述方法包括：
提供用于在包括相机的计算设备上的用户界面内与相机馈送一起显示的多个可选择的目标图像模型；
经由所述用户界面接收用户输入，所述用户输入指示来自被显示在所述用户界面内的所述多个可选择的目标图像模型的所选择的目标图像模型；
确定正被所述计算设备捕获的所述相机馈送的图像属性，所述图像属性包括照射所述相机馈送的光源的位置；
将所述图像属性与所述所选择的目标图像模型的目标图像属性进行比较；以及
基于所述比较，通过所述相机馈送来提供指示用于将所述图像属性与所述目标图像属性对准的指令的图形用户界面元素。
20.根据权利要求19所述的计算机实现的方法，还包括：
检测所述图像属性被与所述目标图像属性对准；以及
响应于检测到所述图像属性被与所述目标图像属性对准，在没有用于捕获数字图像的用户输入的情况下，经由所述相机自动地捕获所述数字图像。
CN202110634521.2A 2018-02-15 2018-10-10 引导用户捕获数字图像的计算机可读介质、***和方法 Active CN113301259B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110634521.2A CN113301259B (zh) 2018-02-15 2018-10-10 引导用户捕获数字图像的计算机可读介质、***和方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US15/897,951 US10574881B2 (en) 2018-02-15 2018-02-15 Smart guide to capture digital images that align with a target image model
US15/897,951 2018-02-15
CN202110634521.2A CN113301259B (zh) 2018-02-15 2018-10-10 引导用户捕获数字图像的计算机可读介质、***和方法
CN201811180332.7A CN110166685B (zh) 2018-02-15 2018-10-10 用来捕获与目标图像模型对准的数字图像的智能指导

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201811180332.7A Division CN110166685B (zh) 2018-02-15 2018-10-10 用来捕获与目标图像模型对准的数字图像的智能指导

Publications (2)

Publication Number Publication Date
CN113301259A CN113301259A (zh) 2021-08-24
CN113301259B true CN113301259B (zh) 2023-05-30

Family

ID=64397511

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201811180332.7A Active CN110166685B (zh) 2018-02-15 2018-10-10 用来捕获与目标图像模型对准的数字图像的智能指导
CN202110634521.2A Active CN113301259B (zh) 2018-02-15 2018-10-10 引导用户捕获数字图像的计算机可读介质、***和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201811180332.7A Active CN110166685B (zh) 2018-02-15 2018-10-10 用来捕获与目标图像模型对准的数字图像的智能指导

Country Status (5)

Country Link
US (2) US10574881B2 (zh)
CN (2) CN110166685B (zh)
AU (1) AU2018241115B2 (zh)
DE (1) DE102018008217A1 (zh)
GB (1) GB2571165B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018098824A1 (zh) 2016-12-02 2018-06-07 深圳市大疆创新科技有限公司 一种拍摄控制方法、装置以及控制设备
US11769309B2 (en) * 2018-04-30 2023-09-26 Mathew Powers Method and system of rendering a 3D image for automated facial morphing with a learned generic head model
US10547780B2 (en) * 2018-05-14 2020-01-28 Abdul Abdulwaheed Body part color measurement detection and method
US10970868B2 (en) * 2018-09-04 2021-04-06 Bose Corporation Computer-implemented tools and methods for determining optimal ear tip fitment
US11995854B2 (en) * 2018-12-19 2024-05-28 Nvidia Corporation Mesh reconstruction using data-driven priors
US11356606B2 (en) * 2019-02-26 2022-06-07 Insidemaps, Inc. Imaging using mobile computing device in communication with wide field of view (FOV) camera
US11961216B2 (en) 2019-04-17 2024-04-16 Shutterfly, Llc Photography session assistant
US10839502B2 (en) * 2019-04-17 2020-11-17 Shutterfly, Llc Photography session assistant
JP7307592B2 (ja) * 2019-05-24 2023-07-12 キヤノン株式会社 計測装置、撮像装置、制御方法及びプログラム
US11164658B2 (en) * 2019-05-28 2021-11-02 International Business Machines Corporation Identifying salient features for instances of data
WO2021021585A1 (en) * 2019-07-29 2021-02-04 Ocelot Laboratories Llc Object scanning for subsequent object detection
CN110913140B (zh) * 2019-11-28 2021-05-28 维沃移动通信有限公司 一种拍摄信息提示方法及电子设备
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
WO2021200432A1 (ja) * 2020-03-30 2021-10-07 パナソニックＩｐマネジメント株式会社 撮影指示方法、撮影方法、撮影指示装置及び撮影装置
US11503206B2 (en) 2020-07-15 2022-11-15 Sony Corporation Techniques for providing photographic context assistance
CN111988215B (zh) * 2020-08-11 2022-07-12 上海连尚网络科技有限公司 一种用于推送用户的方法、设备和计算机可读介质
US12041338B1 (en) * 2020-09-23 2024-07-16 Apple Inc. Personalized content creation
US11877052B2 (en) * 2020-12-08 2024-01-16 Cortica Ltd. Filming an event by an autonomous robotic system
US11165953B1 (en) * 2020-12-17 2021-11-02 Gopro, Inc. Framing recommendations by image capture device
KR20220152862A (ko) * 2021-05-10 2022-11-17 삼성전자주식회사 카메라 모듈 및 이를 포함하는 촬상 장치
US20220414193A1 (en) * 2021-06-28 2022-12-29 Capital One Services, Llc Systems and methods for secure adaptive illustrations

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102891958A (zh) * 2011-07-22 2013-01-23 北京华旗随身数码股份有限公司 一种具有姿势指导功能的数码相机
CN104125396A (zh) * 2014-06-24 2014-10-29 小米科技有限责任公司 图像拍摄方法和装置
CN104135609A (zh) * 2014-06-27 2014-11-05 小米科技有限责任公司 辅助拍照方法、装置及终端
CN105205462A (zh) * 2015-09-18 2015-12-30 北京百度网讯科技有限公司 一种拍照提示方法及装置

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6180222A (ja) * 1984-09-28 1986-04-23 Asahi Glass Co Ltd メガネ合せ方法及びメガネ合せ装置
JP3860552B2 (ja) * 2003-03-25 2006-12-20 富士通株式会社 撮影装置
US20090234716A1 (en) * 2008-03-17 2009-09-17 Photometria, Inc. Method of monetizing online personal beauty product selections
JP5385032B2 (ja) 2009-07-08 2014-01-08 ソニーモバイルコミュニケーションズ株式会社 撮影装置および撮影制御方法
KR101832959B1 (ko) * 2011-08-10 2018-02-28 엘지전자 주식회사 휴대 전자기기 및 이의 제어방법
CN104145474A (zh) * 2011-12-07 2014-11-12 英特尔公司 引导式图像拍摄
US8922673B2 (en) 2011-12-21 2014-12-30 Xerox Corporation Color correction of digital color image
US9912847B1 (en) * 2012-09-25 2018-03-06 Amazon Technologies, Inc. Image capture guidance to reduce specular reflection effects
KR102099635B1 (ko) * 2013-04-09 2020-04-13 삼성전자 주식회사 카메라의 가이드 제공 방법 및 그 전자 장치
US9723251B2 (en) 2013-04-23 2017-08-01 Jaacob I. SLOTKY Technique for image acquisition and management
US9304332B2 (en) * 2013-08-22 2016-04-05 Bespoke, Inc. Method and system to create custom, user-specific eyewear
US9485416B2 (en) 2014-03-11 2016-11-01 Wipro Limited Method and a guided imaging unit for guiding a user to capture an image
US9344673B1 (en) * 2014-03-14 2016-05-17 Brian K. Buchheit Enhancing a camera oriented user interface via an eye focus guide
JP5839065B2 (ja) * 2014-03-19 2016-01-06 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
US9507420B2 (en) * 2014-05-13 2016-11-29 Qualcomm Incorporated System and method for providing haptic feedback to assist in capturing images
WO2015187866A1 (en) * 2014-06-03 2015-12-10 Jones Freddy In-time registration of temporally separated image acquisition
US10182187B2 (en) * 2014-06-16 2019-01-15 Playvuu, Inc. Composing real-time processed video content with a mobile device
JP6518409B2 (ja) * 2014-06-30 2019-05-22 オリンパス株式会社 撮影装置及び撮影方法
US9848121B2 (en) * 2014-10-09 2017-12-19 Lenovo (Singapore) Pte. Ltd. Method and device to obtain an image aligned with a reference image
WO2016154123A2 (en) * 2015-03-21 2016-09-29 Mine One Gmbh Virtual 3d methods, systems and software
US9852543B2 (en) * 2015-03-27 2017-12-26 Snap Inc. Automated three dimensional model generation
JP6543108B2 (ja) * 2015-06-29 2019-07-10 キヤノン株式会社 情報処理装置およびその制御方法、並びにプログラム
KR102638612B1 (ko) * 2015-07-15 2024-02-21 15 세컨즈 오브 페임, 인크. 맥락형 비디오 스트림들에서 개인들을 식별하기 위한 얼굴 인식 및 비디오 분석을 위한 장치 및 방법들
US9826145B2 (en) * 2015-07-31 2017-11-21 Sony Corporation Method and system to assist a user to capture an image or video
US20170061210A1 (en) * 2015-08-26 2017-03-02 Intel Corporation Infrared lamp control for use with iris recognition authentication
WO2017039348A1 (en) * 2015-09-01 2017-03-09 Samsung Electronics Co., Ltd. Image capturing apparatus and operating method thereof
WO2017043314A1 (ja) * 2015-09-09 2017-03-16 日本電気株式会社 ガイダンス取得装置、ガイダンス取得方法及びプログラム
CN107026973B (zh) * 2016-02-02 2020-03-13 株式会社摩如富 图像处理装置、图像处理方法与摄影辅助器材
US9986151B1 (en) * 2016-03-02 2018-05-29 Amazon Technologies, Inc. Systems and methods for determining a depth or reflectance of objects
US9912861B1 (en) * 2016-03-02 2018-03-06 Amazon Technologies, Inc. Systems and methods for determining a depth or reflectance of objects
US10255484B2 (en) * 2016-03-21 2019-04-09 The Procter & Gamble Company Method and system for assessing facial skin health from a mobile selfie image
US10255482B2 (en) * 2016-03-21 2019-04-09 The Procter & Gamble Company Interactive display for facial skin monitoring
US10438258B2 (en) * 2016-03-21 2019-10-08 The Procter & Gamble Company Method and apparatus for generating graphical chromophore maps
US10091414B2 (en) * 2016-06-24 2018-10-02 International Business Machines Corporation Methods and systems to obtain desired self-pictures with an image capture device
CN107025437A (zh) * 2017-03-16 2017-08-08 南京邮电大学 基于智能构图及微表情分析的智能拍照方法及装置
KR102333101B1 (ko) * 2017-06-21 2021-12-01 삼성전자주식회사 관심 객체에 대한 외부 광원의 속성 정보를 제공하는 방법을 지원하는 전자 장치
US10366525B2 (en) * 2017-09-22 2019-07-30 Adobe Inc. Generating an interactive digital media item that follows a viewer

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102891958A (zh) * 2011-07-22 2013-01-23 北京华旗随身数码股份有限公司 一种具有姿势指导功能的数码相机
CN104125396A (zh) * 2014-06-24 2014-10-29 小米科技有限责任公司 图像拍摄方法和装置
CN104135609A (zh) * 2014-06-27 2014-11-05 小米科技有限责任公司 辅助拍照方法、装置及终端
CN105205462A (zh) * 2015-09-18 2015-12-30 北京百度网讯科技有限公司 一种拍照提示方法及装置

Also Published As

Publication number Publication date
US20190253614A1 (en) 2019-08-15
CN113301259A (zh) 2021-08-24
AU2018241115B2 (en) 2021-08-05
DE102018008217A1 (de) 2019-08-22
CN110166685A (zh) 2019-08-23
US20200154037A1 (en) 2020-05-14
AU2018241115A1 (en) 2019-08-29
GB201816794D0 (en) 2018-11-28
US10574881B2 (en) 2020-02-25
CN110166685B (zh) 2021-06-08
GB2571165A (en) 2019-08-21
GB2571165B (en) 2022-07-13
US10958829B2 (en) 2021-03-23

Similar Documents

Publication Publication Date Title
CN113301259B (zh) 引导用户捕获数字图像的计算机可读介质、***和方法
US11551338B2 (en) Intelligent mixing and replacing of persons in group portraits
US11687382B2 (en) Systems and methods for motion correction in synthetic images
US11703949B2 (en) Directional assistance for centering a face in a camera field of view
US11836880B2 (en) Adjusting a digital representation of a head region
WO2019101113A1 (zh) 一种图像融合方法及其设备、存储介质、终端
US11790581B2 (en) Transferring hairstyles between portrait images utilizing deep latent representations
JP6798183B2 (ja) 画像解析装置、画像解析方法およびプログラム
US10217275B2 (en) Methods and systems of performing eye reconstruction using a parametric model
CN113628327B (zh) 一种头部三维重建方法及设备
US10217265B2 (en) Methods and systems of generating a parametric eye model
US11087514B2 (en) Image object pose synchronization
WO2023066120A1 (zh) 图像处理方法、装置、电子设备及存储介质
JP2018151887A (ja) 画像処理装置、画像処理方法およびプログラム
KR20230110787A (ko) 개인화된 3d 머리 및 얼굴 모델들을 형성하기 위한 방법들 및 시스템들
US11734888B2 (en) Real-time 3D facial animation from binocular video
US20240144520A1 (en) Generating three-dimensional human models representing two-dimensional humans in two-dimensional images
US20240144623A1 (en) Modifying poses of two-dimensional humans in two-dimensional images by reposing three-dimensional human models representing the two-dimensional humans
US20240144586A1 (en) Generating shadows for objects in two-dimensional images utilizing a plurality of shadow maps
KR102593135B1 (ko) 딥러닝 기술 기반 3차원 공간 모델링 및 시점 합성을 통해 전문 촬영 기법이 적용된 고품질 동영상을 생성하는 방법과 이를 위한 장치
US20240127509A1 (en) Generating scale fields indicating pixel-to-metric distances relationships in digital images via neural networks
US20230289930A1 (en) Systems and Methods for Lightweight Machine Learning for Image Illumination Control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant