CN111541840B - 确定照明效果候选的信息处理设备、方法及存储介质 - Google Patents

确定照明效果候选的信息处理设备、方法及存储介质 Download PDF

Info

Publication number
CN111541840B
CN111541840B CN202010008485.4A CN202010008485A CN111541840B CN 111541840 B CN111541840 B CN 111541840B CN 202010008485 A CN202010008485 A CN 202010008485A CN 111541840 B CN111541840 B CN 111541840B
Authority
CN
China
Prior art keywords
image
lighting effect
distance
distance information
accuracy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010008485.4A
Other languages
English (en)
Other versions
CN111541840A (zh
Inventor
中田有一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019184741A external-priority patent/JP7422454B2/ja
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN111541840A publication Critical patent/CN111541840A/zh
Application granted granted Critical
Publication of CN111541840B publication Critical patent/CN111541840B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及确定照明效果候选的信息处理设备、方法及存储介质。信息处理设备包括：第一获得单元，其被配置为获得表示图像的图像数据；第二获得单元，其被配置为获得与所述图像数据相对应的距离信息；以及第一确定单元，其被配置为基于所述距离信息的精度，来确定在将基于所述距离信息的照明效果应用于所述图像时能够应用于所述图像的照明效果的候选。

Description

确定照明效果候选的信息处理设备、方法及存储介质
技术领域
实施例的一个公开方面涉及用于将基于虚拟光源的效果应用于图像的信息处理技术。
背景技术
以往，已知用于应用仿佛利用来自虚拟光源的光照射图像中的被摄体的效果(以下称为照明效果)的图像处理技术。日本特开2017-117029讨论了用于基于与被摄体有关的三维信息将照明效果应用于图像的技术。
然而，根据日本特开2017-117029，根据与被摄体有关的距离信息的精度，期望的照明效果可能有时不能应用于图像。
发明内容
实施例的一个方面涉及提供用于确定照明效果的适当候选以基于与被摄体有关的距离信息来将照明效果应用于图像的信息处理。
根据本实施例的一方面，一种信息处理设备，包括：第一获得单元，其被配置为获得表示图像的图像数据；第二获得单元，其被配置为获得与所述图像数据相对应的距离信息；以及第一确定单元，其被配置为基于所述距离信息的精度，来确定在将基于所述距离信息的照明效果应用于所述图像时能够应用于所述图像的照明效果的候选。
根据以下参考附图对典型实施例的描述，本发明的其它特征将变得明显。
附图说明
图1A和1B是示出信息处理设备的硬件结构的图。
图2A和2B是示出信息处理设备的外观的图。
图3是示出信息处理设备的逻辑结构的图。
图4是示出由信息处理设备进行的处理的流程图。
图5是示出用于设置照明效果列表的处理的流程图。
图6A、6B、6C和6D是示出用于判断距离信息的精度的处理的概要的图。
图7是示出要包括在照明效果列表中的照明效果的示例的图。
图8是示出用于向图像添加照明效果的处理的流程图。
图9A、9B和9C是示出面部距离图像数据和法线图像数据的示例的图。
图10是示出表示照明效果的图标的示例的图。
图11A、11B和11C是示出当将照明效果应用于图像时的显示图像的示例的图。
图12A、12B和12C是示出当将照明效果应用于图像时的显示图像的示例的图。
图13是示出用于设置照明效果列表的处理的流程图。
图14是示出用于设置照明效果列表的处理的流程图。
图15是示出用于设置照明效果列表的处理的流程图。
图16是示出人物信息的示例的图。
图17是示出用于设置照明效果列表的处理的流程图。
图18是示出由信息处理设备进行的处理的流程图。
图19A和19B是示出当将照明效果应用于图像时的显示图像的示例的图。
图20是示出信息处理设备的逻辑结构的图。
图21是示出由信息处理设备进行的处理的流程图。
图22是示出用于设置照明参数的可调整范围的处理的流程图。
图23A和23B是示出照明参数的可调整范围的设置示例的图。
图24是示出用于将照明效果应用于图像的处理的流程图。
图25A、25B、25C和25D是示出当将照明效果应用于图像时的显示图像的示例的图。
图26是示出由信息处理设备进行的处理的流程图。
图27A和27B是示出当将照明效果应用于图像时的显示图像的示例的图。
图28是示出用于设置照明效果列表的处理的流程图。
图29A和29B是示出当将照明效果应用于图像时的显示图像的示例的图。
具体实施方式
下面将参考附图描述典型实施例。以下典型实施例不必限制本发明。在典型实施例中描述的特征的所有组合对于本发明的解决手段而言不是必需的。
<基于距离信息将照明效果应用于图像>
下面将描述本发明的第一典型实施例。在基于与被摄体有关的距离信息将照明效果应用于图像时，如果想要应用更明亮地照射更近被摄体的照明效果，则需要具有足够精度以识别被摄体和背景之间的前后关系的距离信息。为了应用被摄体被示出为仿佛来自光源的光以一定角度入射的照明效果，需要具有足够精度以识别被摄体的面部特征的距离信息。以这种方式，要求距离信息具有根据照明效果的某一精度。如果距离信息不具有足够的精度以应用期望的照明效果，则可能不能获得期望的照明效果。由于这种原因，在本典型实施例中，基于在将照明效果应用于图像时使用的距离信息的精度，向用户呈现适合应用于图像的照明效果的候选。这使得用户能够选择适合于与图像相关联地获得的距离信息的照明效果。因此，在本典型实施例中，可以防止由于基于距离信息的精度可应用的照明效果与用户想要的照明效果之间的不一致而导致将用户不想要的照明效果应用于图像。
<信息处理设备1的硬件结构>
图1A是示出信息处理设备1的硬件结构的示例的图。信息处理设备1由诸如智能电话和平板个人计算机(PC)等的具有通信功能和摄像功能的装置实现。信息处理设备1包括中央处理单元(CPU)101、只读存储器(ROM)102、随机存取存储器(RAM)103、输入/输出接口(I/F)104、触摸面板显示器105、摄像单元106和通信I/F 107。CPU 101通过使用RAM 103作为工作存储器来执行存储在ROM 102和存储装置110中的操作***(OS)和各种程序。CPU101经由***总线108控制这些组件。通过CPU 101将存储在ROM 102和存储装置110中的程序代码加载到RAM 103中并执行该程序代码，来实现基于(下面描述的)流程图的处理。存储装置110经由串行总线109连接到输入/输出I/F 104。存储装置110是硬盘驱动器(HDD)、光盘驱动器、闪存设备或任何其他非易失性存储器、大容量或辅助存储设备。触摸面板显示器105是一体地包括用于显示图像的显示器和用于检测利用诸如手指等的指示构件进行的触摸的位置的触摸面板的输入/输出单元。摄像单元106获得摄像对象的图像。
图2A和2B示出根据本典型实施例的信息处理设备1的外观的示例。图2A示出信息处理设备1的触摸面板显示器105所位于的一侧(以下称为显示侧)。图2B示出信息处理设备1的与显示侧相反的一侧(以下称为后侧)。根据本典型实施例的摄像单元106包括在信息处理设备1的后侧上的主照相机202和在信息处理设备1的显示侧上的前置照相机201。前置照相机201被定位和定向为使得前置照相机201可以拍摄观看显示器(显示画面)的用户的面部的图像。通信I/F 107进行与其它信息处理设备、通信装置或存储装置的有线或无线双向通信。根据本典型实施例的通信I/F 107可以经由无线局域网(LAN)向通信对方发送数据和从通信对方接收数据。除了直接通信之外，通信I/F 107还可以经由中继设备与其它通信装置进行间接通信。
<信息处理设备1的逻辑结构>
将描述信息处理设备1的逻辑结构示例。图3是示出根据本典型实施例的信息处理设备1的逻辑结构的框图。通过CPU 101利用RAM 103作为工作存储器执行ROM 102中存储的程序，信息处理设备1用作图3所示的逻辑结构。以下描述的所有处理不一定需要由CPU 101进行。信息处理设备1可以被配置为使得部分或全部处理由除了CPU 101之外的一个或多个处理电路进行。
信息处理设备1包括图像数据获得单元301、照明效果列表确定单元302、照明效果选择单元303、照明处理单元304、图像显示控制单元305和照明效果显示控制单元306。图像数据获得单元301基于从输入/输出单元309获得的用户指示，从摄像单元308或存储单元307获得图像数据。图像数据获得单元301获得两种类型的图像数据，即，表示要应用照明效果的彩色图像的彩色图像数据和包括与彩色图像相对应的距离信息的距离图像数据。存储单元307的功能例如由存储装置110实现。摄像单元308的功能由摄像单元106实现。输入/输出单元309的功能由触摸面板显示器105实现。
彩色图像数据表示针对各个像素具有红色(R)值、绿色(G)值和蓝色(B)值的彩色图像。通过使用摄像单元308拍摄被摄体的图像来生成彩色图像数据。距离图像数据表示针对各个像素具有从摄像单元308到要被摄像的被摄体的距离值的距离图像。基于通过从多个不同位置拍摄被摄体的图像而获得的多个彩色图像数据来生成距离图像数据。例如，可以基于通过使用彼此相邻布置的两个照相机拍摄被摄体的图像而获得的图像数据、或者通过在移动照相机的位置的同时多次拍摄被摄体的图像而获得的图像数据，通过使用典型的立体匹配来生成距离图像数据。可以通过使用包括用于利用红外光照射被摄体的红外发光单元和用于接收从被摄体反射的红外光的光接收单元的距离获取设备，来生成距离图像数据。具体地，可以基于从红外发光单元发出的红外光从被摄体反射并被光接收单元接收的时间来计算从照相机到被摄体的距离值。用于生成诸如距离图像数据等的距离信息的方法不限于前述方法。例如，可以通过基于彩色图像数据将与被摄体相对应的三维模型数据拟合到被摄体来生成与该被摄体有关的距离信息。由图像数据获得单元301获得的各个图像数据所表示的图像应当使得这些图像在相同像素位置处的像素值对应于被摄体上的相同位置。
照明效果列表确定单元302确定距离图像数据中包括的距离信息的精度(以下称为距离精度)，并且基于距离精度来确定包括有效照明效果的列表(以下称为照明效果列表)。在本典型实施例中，照明效果列表确定单元302预先具有四种不同的照明效果作为可应用的照明效果。然而，根据距离信息的精度，一些照明效果可能无法实现。因此，照明效果列表确定单元302基于距离精度预先从可应用的照明效果中选择对于要处理的图像有效的照明效果。这里，照明效果列表确定单元302通过选择至少两个且直到四个照明效果来生成照明效果列表。照明效果选择单元303基于从输入/输出单元309获得的用户操作来选择照明效果列表中包括的照明效果其中之一。为了将所选择的照明效果应用于彩色图像，照明处理单元304通过对彩色图像进行照明处理来校正彩色图像。照明处理单元304基于从输入/输出单元309获得的用户操作，将表示已经应用了照明效果的图像的图像数据记录到存储单元307中。
图像显示控制单元305使用输入/输出单元309作为显示单元，在输入/输出单元309上显示已经应用了照明效果的图像。照明效果显示控制单元306在输入/输出单元309上显示与照明效果列表中包括的照明效果相对应的图标。
<信息处理设备1进行的处理>
图4是示出由信息处理设备1进行的处理的流程图。在本典型实施例中，基于根据距离图像数据所设置的距离精度呈现可应用于彩色图像的照明效果。以下，步骤将由具有开头“S”的数字表示。
在步骤S401中，图像数据获得单元301基于从输入/输出单元309获得的用户操作，从存储单元307获得彩色图像数据和距离图像数据。这里，存储单元307包含通过上述方法预先生成的彩色图像数据和距离图像数据。在步骤S402中，照明效果列表确定单元302基于根据距离图像数据所设置的距离精度来确定包括有效照明效果的照明效果列表。下面将描述用于确定照明效果列表的处理的详情。
在步骤S403中，照明效果选择单元303基于从输入/输出单元309获得的用户操作来选择照明效果列表中包括的照明效果其中之一。照明效果选择单元303还基于用户操作来设置包括用于利用光照射被摄体的虚拟光源的方向的照明参数。在没有通过用户操作选择照明效果的情况下，照明效果选择单元303选择先前被确定为初始状态的照明效果。在步骤S404中，照明处理单元304基于所选择的照明效果校正彩色图像。校正后的彩色图像在以下将被称为校正后图像。表示校正后图像的图像数据将被称为校正后图像数据。下面将描述用于校正彩色图像的处理的详情。
在步骤S405中，图像显示控制单元305在输入/输出单元309上显示校正后图像。在步骤S406中，照明效果显示控制单元306在输入/输出单元309上显示照明效果列表中包括的照明效果。下面将详细描述照明效果的显示。在步骤S407中，照明处理单元304基于从输入/输出单元309获得的用户操作，判断是否将校正后图像数据记录在存储单元307中。如果检测到用于记录校正后图像数据的操作(步骤S407中为“是”)，则处理进入步骤S409。如果没有检测到用于记录校正后图像数据的操作(步骤S407中为“否”)，则处理进入步骤S408。在步骤S408中，照明处理单元304基于从输入/输出单元309获得的用户操作来判断是否改变要应用照明效果的彩色图像。如果检测到用于改变彩色图像的操作(步骤S408中为“是”)，则处理进入步骤S401。如果没有检测到用于改变彩色图像的操作(步骤S408中为“否”)，则处理进入步骤S403。在步骤S409中，照明处理单元304将校正后图像数据记录在存储单元307中。处理结束。
<用于确定照明效果列表的处理(步骤S402)>
将描述步骤S402中的用于确定照明效果列表的处理。图5是示出用于确定照明效果列表的处理的流程图。照明效果列表确定单元302提取彩色图像中的与被摄体的面部相对应的面部区域，并且基于与距离图像中的面部区域相对应的距离值来设置距离精度。照明效果列表确定单元302基于所设置的距离精度来确定要包括在照明效果列表中的照明效果。
在步骤S501中，照明效果列表确定单元302从彩色图像中提取面部区域。图6A示出面部区域的示例。可以通过使用诸如模板匹配和利用Haar-like特征量的算法等的传统方法来提取面部区域601。在步骤S502中，照明效果列表确定单元302判断与距离图像中的面部区域601相对应的距离信息的精度。具体地，照明效果列表确定单元302从与彩色图像相对应的距离图像获得面部区域601中的距离值。如果面部区域601包括多于或等于预定数量的具有大于预定值的距离值的像素，则判断为距离精度低(步骤S502中为“是”)，并且处理进入步骤S503。如果面部区域601包括少于预定数量的具有大于预定值的距离值的像素，则判断为距离精度高(步骤S502中为“否”)，并且处理进入步骤S504。在本典型实施例中，具有大于预定值的距离值的像素被认为是与彩色图像中的背景相对应的像素。
在步骤S503中，照明效果列表确定单元302将距离精度设置为“低”。图6B示出距离精度被判断为“低”的距离图像的示例。在图6B的距离图像中，面部区域601内的所有像素具有表示背景的像素值。在步骤S504中，照明效果列表确定单元302判断面部区域601是否包括凹凸。具体地，照明效果列表确定单元302判断面部区域601内的像素的距离值是否具有小于预定值的方差。利用这种判断，可以基于距离图像是否包括与被摄体的面部中的细微凹凸有关的信息来判断距离信息的精度。如果面部区域601内的像素的距离值具有小于预定值的方差(离散度)，则判断为面部区域601不包括凹凸(步骤S504中为“否”)，并且处理进入步骤S505。如果面部区域601内的像素的距离值具有大于或等于预定值的方差，则判断为面部区域601包括凹凸(步骤S504中为“是”)，并且处理进入步骤S506。
在步骤S505中，照明效果列表确定单元302将距离精度设置为“中”。图6C示出距离精度被判断为“中”的距离图像的示例。在图6C的距离图像中，面部区域601内的所有像素具有相同的距离值。在步骤S506中，照明效果列表确定单元302将距离精度设置为“高”。图6D示出距离精度被判断为“高”的距离图像的示例。在图6D的距离图像中，面部区域601中的像素具有根据被摄体的面部形状的各种距离值。
在步骤S507中，照明效果列表确定单元302基于距离精度确定要包括在照明效果列表中的照明效果。图7示出用于基于距离精度来设置照明效果的方法的示例。在本典型实施例中，基于距离精度从四种类型的照明效果“关闭(OFF)”、“强调面部”、“强调被摄体”和“指定光源位置”中确定要包括在照明效果列表中的照明效果。在本典型实施例中，距离精度越高，照明效果列表中包括的照明效果越多。具体地，在没有获得具有足够精度以区分前景和背景的距离信息或者根本没有获得距离信息的情况下，距离精度为“低”。在这种情况下，需要对前景和背景(以米为单位)之间进行区分的照明效果“强调被摄体”和需要识别诸如眼睛和鼻子(以厘米为单位)等的凹凸的照明效果“指定光源位置”是不合适的。与此相对，可以基于通过对彩色图像的面部检测获得的信息来实现照明效果“强调面部”。因此，如果距离精度为“低”，则照明效果“关闭”和“强调面部”作为有效照明效果而包括在照明效果列表中。在获得能够区分前景和背景(以米为单位)但不能识别诸如眼睛和鼻子(以厘米为单位)等的凹凸的距离信息的情况下，距离精度为“中”。因此，如果距离精度为“中”，则除了“指定光源位置”之外的照明效果“关闭”、“强调面部”以及“强调被摄体”作为有效照明效果而包括在照明效果列表中。在获得具有足够精度以识别诸如眼睛和鼻子(以厘米为单位)等的凹凸的距离信息的情况下，距离精度为“高”。在这种情况下，所有前述四种类型的照明效果都包括在照明效果列表中。简言之，如果距离精度为“低”，则照明效果列表确定单元302在照明效果列表中包括“关闭”和“强调面部”。如果距离精度为“中”，则照明效果列表确定单元302在照明效果列表中包括“关闭”、“强调面部”和“强调被摄体”。如果距离精度为“高”，则照明效果列表确定单元302在照明效果列表中包括“关闭”、“强调面部”、“强调被摄体”和“指定光源位置”。通过这样的处理，可以从基于距离精度确定的有效照明效果中选择要应用于彩色图像的照明效果。
<用于校正彩色图像的处理(步骤S404)>
将描述步骤S404中的用于校正彩色图像的处理。图8是示出用于校正彩色图像的处理的流程图。照明处理单元304基于距离图像数据生成法线图像数据。照明处理单元304基于距离图像数据和法线图像数据来校正彩色图像。
在步骤S801中，照明处理单元304基于距离图像数据生成面部距离图像数据。面部距离图像数据是与面部区域601相对应的区域用作前景区域、而其它区域用作背景区域的距离图像数据。在本典型实施例中，照明处理单元304在通过距离图像数据所表示的距离图像上设置包括面部区域601的椭圆区域。然后，照明处理单元304生成表示所设置的椭圆区域内的像素具有表示前景的距离值、而其它像素具有表示背景的距离值的距离图像的距离图像数据，作为面部距离图像数据。图9A示出面部距离图像数据的示例。在步骤S802中，照明处理单元304判断在步骤S402中设置的距离精度是否为“高”。如果距离精度为“高”(步骤S802中为“是”)，则处理进入步骤S803。在其它情况下(步骤S802中为“否”)，处理进入步骤S804。
在步骤S803中，照明处理单元304基于距离图像数据生成法线图像数据。法线图像数据是表示各个像素包括被摄体表面的法向量的法线图像的图像数据。具体地，照明处理单元304基于距离图像中的像素的二维坐标值和像素中包括的距离值来计算各个像素的三维坐标值。照明处理单元304基于计算出的三维坐标值来计算与各个像素相对应的法向量。可以通过使用基于根据三维坐标值计算的梯度的计算方法或者将平面应用于各个像素并将其垂线确定为法向量的方法，来计算法向量。
根据本典型实施例的照明处理单元304计算与关注像素的相邻区域相对应的近似平面，并且计算与该近似平面垂直的向量作为关注像素的法向量。下面将描述该过程。假设要计算法向量的关注像素的三维坐标值及其相邻像素的三维坐标值分别是(x0,y0,z0),...,(xn-1,yn-1,zn-1)。基于距离图像的水平二维坐标值来计算x坐标值。基于距离图像的垂直二维坐标值来计算y坐标值。基于距离图像的像素值来计算z坐标值。将平面ax+by+c＝z应用于关注像素的坐标值及其相邻像素的坐标值。具体地，通过使用z轴方向上的距离值来计算使由式(1)给出的函数E最小化的a、b和c：
E＝∑i(axi+byi+c-zi)2 式(1)
通过使用式(2)计算a、b和c：
Figure BDA0002356231830000111
通过使用式(3)计算垂直于平面ax+by+c＝z的向量n＝(nx,ny,nz)：
Figure BDA0002356231830000112
Figure BDA0002356231830000113
Figure BDA0002356231830000114
通过使用式(3)计算的向量n＝(nx,ny,nz)是与关注像素相对应的法向量。通过对距离图像的各个像素进行相同的处理来生成法线图像数据。法线图像数据是表示像素(i,j)具有相应的法向量(nx(i,j),ny(i,j),nz(i,j))的法线图像的图像数据。图9B示出由所生成的法线图像数据表示的法线图像的示例。
在步骤S804中，照明处理单元304以简化的方式生成法线图像数据。在本典型实施例中，照明处理单元304生成表示所有像素具有法向量n＝(0,0,1)的法线图像数据。图9C示出以简化方式生成的法线图像数据的示例。照明处理单元304可以从存储单元307获得预先生成的法线图像数据。在步骤S805中，照明处理单元304判断在步骤S403中选择哪种照明效果。如果所选择的照明效果是“关闭”(步骤S805中为关闭)，则处理进入步骤S806。如果所选择的照明效果是“强调面部”(步骤S805中为强调面部)，则处理进入步骤S807。如果所选择的照明效果是“强调被摄体”(步骤S805中为强调被摄体)，则处理进入步骤S808。如果所选择的照明效果是“指定光源位置”(步骤S805中为指定光源位置)，则处理进入步骤S809。
在步骤S806中，照明处理单元304在不校正彩色图像的情况下将彩色图像数据输出至图像显示控制单元305。输出的彩色图像数据作为校正后图像数据被处理。在步骤S807中，照明处理单元304基于距离图像数据和法线图像数据来校正彩色图像。在步骤S807中，照明处理单元304通过(下面描述的)用于校正彩色图像的处理来将用于强调面部的照明效果应用于彩色图像。照明处理单元304将表示校正后彩色图像的校正后图像数据输出至图像显示控制单元305。
在步骤S808中，照明处理单元304基于距离图像数据和法线图像数据来校正彩色图像。在步骤S808中，照明处理单元304通过(下面描述的)用于校正彩色图像的处理来将用于使背景变暗以强调前景上的被摄体的照明效果应用于彩色图像。照明处理单元304将表示校正后彩色图像的校正后图像数据输出至图像显示控制单元305。在步骤S809中，照明处理单元304基于距离图像数据和法线图像数据来校正彩色图像。在步骤S809中，照明处理单元304通过(下面描述的)用于校正彩色图像的处理来将基于用户指定的光源位置的照明效果应用于彩色图像。照明处理单元304将表示校正后彩色图像的校正后图像数据输出至图像显示控制单元305。
<用于校正彩色图像的处理(步骤S807、S808和S809)>
将描述步骤S807、S808和S809中的用于校正彩色图像的处理。照明处理单元304基于要应用于彩色图像的照明效果来切换要用于校正的参数。因此，通过相同的处理过程，可以将用于通过仿佛利用期望方向上的光照射那样遮蔽被摄体来强调三维外观的照明效果和用于使背景变暗以仿佛被聚光照射那样强调前景上的被摄体的照明效果应用于被摄体。现在将描述具体处理过程的示例。首先，照明处理单元304根据式(4)校正彩色图像的背景的亮度：
I’＝(1-β)I+βD(d)I 式(4)
其中，I是彩色图像的像素值，以及I’是背景亮度已经被校正的彩色图像的像素值。
β是用于调整背景的暗度的参数。D是基于距离图像的像素值(距离值)d的函数。距离值d越大，函数D的值越小。D取从0至1的值。具体地，D取的表示前景的距离值的值越大，表示背景的距离值的值越小。β被设置为0至1的值。参数β越接近1，彩色图像的背景被校正为越暗。通过根据式(4)校正彩色图像，可以基于参数β仅使距离值d大且D小于1的像素变暗。
接着，照明处理单元304根据式(5)将基于距离图像数据和法线图像数据的阴影添加到具有校正后亮度的背景的彩色图像：
I”＝I’+αD(d)H(n,L)I’ 式(5)
其中，I"是阴影彩色图像的像素值。
α是用于调整虚拟光源的亮度的参数。L是表示从被摄体到虚拟光源的方向的光源向量。H是基于法线图像的像素值(法向量)n和光源向量L的函数。法向量n和光源向量L之间形成的角度越小，函数H的值越大。H取从0至1的值。例如，H可以由式(6)给出：
Figure BDA0002356231830000131
在步骤S807、S808和S809中，基于所选择的照明效果改变前述参数。
在步骤S807中，照明处理单元304基于面部距离图像的距离值设置D。这使得能够强调面部区域。在步骤S808中，照明处理单元304基于距离图像的距离值设置D。照明处理单元304还将β设置为小于1的值。以这种方式，背景可以变暗以强调前景上的被摄体。在步骤S809中，照明处理单元304基于距离图像的距离值设置D。照明处理单元304还基于用户操作来设置包括光源向量L的参数。例如，通过基于根据用户操作相对于被摄体设置的垂直和水平转动角度计算三维向量来获得光源向量L。因此，可以将基于用户指定的光源位置的照明效果应用于彩色图像。<用于显示照明效果的处理(步骤S406)>
将描述步骤S406中的用于显示照明效果的候选的处理。图10示出根据本典型实施例的与照明效果(“关闭”、“强调面部”、“强调被摄体”和“指定光源位置”)相对应的图标的示例。照明效果显示控制单元306基于照明效果列表中包括的照明效果组来显示与各个照明效果相对应的图标。图11A、11B和11C示出照明效果的显示示例。照明效果显示控制单元306显示与可应用的照明效果相对应的图标。如果距离精度为“低”，则如图11A所示，照明效果显示控制单元306显示与“关闭”和“强调面部”相对应的图标。如果距离精度为“中”，则如图11B所示，照明效果显示控制单元306显示与“关闭”、“强调面部”和“强调被摄体”相对应的图标。如果距离精度为“高”，则如图11C所示，照明效果显示控制单元306显示与“关闭”、“强调面部”、“强调被摄体”和“指定光源位置”相对应的图标。用框或不同的颜色显示所选择的照明效果的图标，以与其它未选择的照明效果的图标区别。
图11A、11B和11C示出选择照明效果“关闭”的情况的示例。图12A、12B和12C示出选择不同照明效果的情况的示例。图12A示出在选择“强调面部”的情况下的显示图像的示例。在这种情况下，显示强调了面部区域的校正后图像。图12B示出在选择“强调被摄体”的情况下的显示图像的示例。在这种情况下，显示背景已经变暗以强调被摄体的校正后图像。图12C示出在选择“指定光源位置”的情况下的显示图像的示例。在这种情况下，显示基于由用户指定的照明参数的校正后图像。在校正后图像上还以叠加方式显示用于调整照明参数的滑块。在本典型实施例中，显示用于调整虚拟光源的位置的滑块和用于调整虚拟光源的亮度的滑块。通过检测到的用户的触摸操作来移动这里显示的滑块。
<第一典型实施例的效果>
如上所述，根据本典型实施例的信息处理设备1获得表示图像的图像数据和与图像数据相对应的距离信息。信息处理设备1基于距离信息的精度，确定在将基于距离信息的照明效果应用于图像时可应用于图像的照明效果的候选。因此，信息处理设备1可以确定用于照明效果的适当候选以基于与被摄体有关的距离信息将照明效果应用于图像。向用户呈现所确定的照明效果的候选，这可以防止由于基于距离信息的精度可应用的照明效果与用户想要的照明效果之间的不一致而导致将用户不想要的照明效果应用于图像。
<变形例>
在本典型实施例中，如果面部区域601包括多于或等于预定数量的具有表示背景的距离值的像素，则在步骤S502中判断为距离精度低。然而，如果不存在与彩色图像数据相对应的距离图像数据，则也可以将距离精度判断为低。
在根据本典型实施例的信息处理设备1中，图像显示控制单元305控制图像显示，并且照明效果显示控制单元306控制有效照明效果的显示。然而，信息处理设备1可以包括单个显示控制单元。在这种情况下，包括在信息处理设备1中的单个显示控制单元控制图像显示和有效照明效果的显示这两者。
在本典型实施例中，在输入/输出单元309上显示有效照明效果以向用户呈现。然而，用于呈现有效照明效果的方法不限于前述示例。例如，可以通过使用声音向用户呈现有效照明效果。在这种情况下，在输入/输出单元309上显示图10中所示的四个图标。如果检测到对图标的触摸并且所触摸的图标不表示包括在照明效果列表中的有效照明效果，则可以输出警告声音。
在本典型实施例中，在用于确定照明效果列表的处理中，距离精度被设置为三个级别。然而，距离精度可以被设置为两个级别或者四个或更多个级别。
在本典型实施例中，基于面部区域中的距离值来判断距离精度。然而，可以基于除面部区域中的距离值之外的距离值来判断距离精度。例如，可以基于单独提取的人物区域中的距离值，或者基于面部区域下方的区域中的距离值以及面部区域中的距离值，来判断距离精度。用于判断距离精度的区域可以由用户经由输入/输出单元309指定。
下面将描述本发明的第二典型实施例。在第一典型实施例中，基于距离图像数据来设置距离精度。在本典型实施例中，基于作为标签信息添附至图像数据的摄像装置信息来设置距离精度。图1B示出根据本典型实施例的信息处理设备1的硬件结构。具体地，在本典型实施例中，信息处理设备1不包括内置摄像单元，并且从外部获得图像数据。信息处理设备1具有与第一典型实施例的逻辑结构相同的逻辑结构。因此将省略对该逻辑结构的描述。以下将主要描述本典型实施例与第一典型实施例之间的差异。在以下描述中，与第一典型实施例的组件同样的组件由相同的附图标记表示。
<信息处理设备1进行的处理>
本典型实施例与第一典型实施例的不同之处在于步骤S402中的用于确定照明效果列表的处理。根据本典型实施例的照明效果列表确定单元302基于添附至图像数据的摄像装置信息来判断距离精度。摄像装置信息包括摄像装置名称、与摄像装置是否能够获得距离信息有关的信息、以及用于获得距离信息的方法。与其它摄像装置相比，将光投射到被摄体上以获得距离信息的摄像装置能够以最高精度获得距离信息。通过其它方法获得距离信息的摄像装置能够以次高精度获得距离信息。不能获得距离信息的摄像装置具有最低精度的距离信息。现在将描述用于确定照明效果列表的处理的详情。
<用于确定照明效果列表的处理(步骤S402)>
图13是示出用于确定照明效果列表的处理的流程图。在步骤S1301中，照明效果列表确定单元302从添附至彩色图像数据的标签信息获得摄像装置信息。摄像装置信息是用于识别用于生成彩色图像数据和距离图像数据的摄像装置117的信息。在步骤S1302中，照明效果列表确定单元302基于摄像装置信息判断摄像装置117是否能够获得距离信息。如果摄像装置117能够获得距离信息(步骤S1302中为“是”)，则处理进入步骤S1304。如果摄像装置117不能获得距离信息(步骤S1302中为“否”)，则处理进入步骤S1303。
在步骤S1303中，照明效果列表确定单元302将距离精度设置为“低”。在步骤S1304中，照明效果列表确定单元302判断摄像装置117是否将光投射在被摄体上以获得距离信息。如果摄像装置117没有将光投射在被摄体上(步骤S1304中为“否”)，则处理进入步骤S1305。如果摄像装置117将光投射在被摄体上(步骤S1304中为“是”)，则处理进入步骤S1306。作为将光投射在被摄体上以获得距离信息的摄像装置的示例包括用于拍摄被投射在被摄体上的特定图案的图像并基于该图案的改变量来测量距离的照相机、以及用于基于被投射在被摄体上的光的飞行时间来测量距离的照相机。没有将光投射在被摄体上以获得距离信息的摄像装置的示例包括用于基于视差获得距离信息的照相机。
在步骤S1305中，照明效果列表确定单元302将距离精度设置为“中”。在步骤S1306中，照明效果列表确定单元302将距离精度设置为“高”。在步骤S1307中，照明效果列表确定单元302基于距离精度来确定要包括在照明效果列表中的照明效果。步骤S1307的处理与根据第一典型实施例的步骤S507的处理相同。因此将省略对该处理的描述。
<第二典型实施例的效果>
如上所述，根据本典型实施例的信息处理设备1基于与图像数据相对应的摄像装置117是否具有获得距离信息的功能来判断距离信息的精度。因此，信息处理设备1可以确定照明效果的适当候选以基于与被摄体有关的距离信息来将照明效果应用于图像。
<变形例>
在本典型实施例中，基于摄像装置117是否将光投射在被摄体上来判断距离精度。然而，可以基于是否使用多个照相机拍摄图像来判断距离精度。在这种情况下，与使用单个照相机来拍摄图像的情况相比，在使用多个照相机来拍摄图像的情况下设置更高的距离精度。图28是示出用于确定照明效果列表的处理的流程图。与图13的不同之处在于步骤S2804。步骤S2801至S2803以及步骤S2805至S2807分别与图13中的步骤S1301至S1303以及步骤S1305至S1307相同，因此不再描述。在步骤S2804中，照明效果列表确定单元302判断摄像装置117是否使用多个照相机来拍摄被摄体的图像。如果使用单个照相机来拍摄图像(步骤S2804中为“否”)，则处理进入步骤S2805。如果使用多个照相机来拍摄图像(步骤S2804中为“是”)，则处理进入步骤S2806。如果使用单个照相机来拍摄图像，则可以通过诸如基于镜头模糊大小和基于拍摄图像中的被摄体的识别结果的方法等的已知方法来获得距离信息。如果使用多个照相机来拍摄图像，则除了模糊大小和被摄体的识别结果之外，还可以基于由于不同照相机位置而导致的视差信息来获得距离信息。因此，与使用单个照相机相比，使用多个照相机拍摄图像使得能够获取更精确的距离信息。
在本典型实施例中，基于是否能够获得距离信息以及用于获得距离信息的方法来设置距离精度。然而，可以基于摄像装置名称来设置距离精度。在这种情况下，预先准备存储摄像装置名称和距离精度之间的对应关系的表。照明效果列表确定单元302可以基于与彩色图像数据相对应的摄像装置名称和预先准备的表来设置距离精度。
在本典型实施例中，信息处理设备1被描述为具有图1B中所示的硬件结构。然而，如果信息处理设备1具有图1A所示的硬件结构，则也可以应用本典型实施例。特别地，一些信息处理设备1可以通过利用摄像单元106使用多种计算方法来获得多个不同的距离信息。在这种情况下，用于获得距离信息的方法作为标签信息被存储在图像数据中，使得照明效果列表确定单元302可以如本典型实施例中所述那样确定照明效果列表。
下面将描述本发明的第三典型实施例。在第一典型实施例中，基于距离图像数据来设置距离精度。在本典型实施例中，基于在摄像期间从摄像单元106到聚焦被摄体的位置的距离(以下称为被摄体距离)来设置距离精度。根据本典型实施例的信息处理设备1具有与第一典型实施例的硬件结构和逻辑结构相同的硬件结构和逻辑结构。因此将省略对硬件结构和逻辑结构的描述。以下将主要描述本典型实施例与第一典型实施例之间的差异。在以下描述中，与第一典型实施例的组件同样的组件由相同的附图标记表示。
<信息处理设备1进行的处理>
本典型实施例与第一典型实施例的不同之处在于步骤S402中的用于确定照明效果列表的处理。根据本典型实施例的照明效果列表确定单元302基于与彩色图像数据相对应的被摄体距离信息来判断距离精度。被摄体距离信息表示在摄像期间从摄像单元106到聚焦被摄体的位置的距离值(被摄体距离)。被摄体距离越小，照明效果列表确定单元302判断为距离精度越高。具体地，照明效果列表确定单元302通过将被摄体距离与预定值L1和L2(L1＞L2)进行比较来判断距离精度。下面将描述用于确定照明效果列表的处理的详情。
<用于确定照明效果列表的处理(步骤S402)>
图14是示出用于确定照明效果列表的处理的流程图。在步骤S1401中，照明效果列表确定单元302从添附至彩色图像数据的标签信息中获得被摄体距离信息。在步骤S1402中，照明效果列表确定单元302判断被摄体距离是否大于或等于L1。如果照明效果列表确定单元302判断为被摄体距离大于或等于L1(步骤S1402中为“是”)，则处理进入步骤S1403。如果照明效果列表确定单元302判断为被摄体距离小于L1(步骤S1402中为“否”)，则处理进入步骤S1404。在步骤S1403中，照明效果列表确定单元302将距离精度设置为“低”。
在步骤S1404中，照明效果列表确定单元302判断被摄体距离是否大于或等于L2。如果照明效果列表确定单元302判断为被摄体距离大于或等于L2(步骤S1404中为“是”)，则处理进入步骤S1405。如果照明效果列表确定单元302判断为被摄体距离小于L2(步骤S1404中为“否”)，则处理进入步骤S1406。在步骤S1405中，照明效果列表确定单元302将距离精度设置为“中”。在步骤S1406中，照明效果列表确定单元302判断为距离精度“高”。在步骤S1407中，照明效果列表确定单元302基于距离精度来确定要包括在照明效果列表中的照明效果。步骤S1407的处理与根据第一典型实施例的步骤S507的处理相同。因此将省略对该处理的描述。
<第三典型实施例的效果>
如上所述，根据本典型实施例的信息处理设备1基于与图像数据相对应的被摄体距离信息来判断距离信息的精度。因此，信息处理设备1可以确定照明效果的适当候选以基于与被摄体有关的距离信息来将照明效果应用于图像。
下面将描述本发明的第四典型实施例。在第一典型实施例中，基于距离图像数据来设置距离精度。在本典型实施例中，基于拍摄场景来设置距离精度。根据本典型实施例的信息处理设备1具有与第一典型实施例的硬件结构和逻辑结构相同的硬件结构和逻辑结构。因此将省略对硬件结构和逻辑结构的描述。以下将主要描述本典型实施例与第一典型实施例之间的差异。在以下描述中，与第一典型实施例的组件同样的组件由相同的附图标记表示。
<信息处理设备1进行的处理>
本典型实施例与第一典型实施例的不同之处在于步骤S402中的用于确定照明效果列表的处理。根据本典型实施例的照明效果列表确定单元302基于在拍摄图像以获得彩色图像数据时拍摄的场景来判断距离精度。照明效果列表确定单元302基于是否存在人物以及是否存在运动来判断拍摄场景。在本典型实施例中，要应用照明效果的对象是人物。因此，不包括人物的场景被给予最低距离精度。包括人物的无运动场景具有最高距离精度。包括人物的运动场景具有次高距离精度。下面将描述用于确定照明效果列表的处理的详情。
<用于确定照明效果列表的处理(步骤S402)>
图15是示出用于确定照明效果列表的处理的流程图。在步骤S1501中，照明效果列表确定单元302基于彩色图像数据来判断拍摄场景。具体地，照明效果列表确定单元302判断彩色图像是否包括人物并且判断彩色图像是否包括运动场景。基于在彩色图像中检测到的面部区域的数量来判断是否存在人物。如果面部区域的数量是一个或更多，则照明效果列表确定单元302判断为彩色图像包括一个或多个人物。如果没有检测到面部区域，则照明效果列表判断单元302判断为彩色图像不包括人物。通过使用与根据第一典型实施例的步骤S501的处理中相同的方法来检测面部区域。基于与彩色图像中的被摄体相对应的区域中的高频分量的强度来判断是否存在运动。如果高频分量的强度大于或等于预定值，则照明效果列表确定单元302判断为场景不是运动的。如果高频分量的强度小于预定值，则照明效果列表确定单元302判断为场景包括运动。高频分量的强度是指在应用诸如拉普拉斯滤波器等的边缘提取滤波器之后彩色图像中的像素值的绝对值的总和。高频分量的强度可以是通过对彩色图像应用传统的快速傅立叶变换(FFT)而得到的频域中的功率谱。可以在拍摄要应用照明效果的对象彩色图像之前或之后立即拍摄彩色图像，并且可以基于对象彩色图像与之前或之后立即拍摄的彩色图像之间的差的大小来判断是否存在运动。在这种情况下，如果差小于或等于预定值，则照明效果列表确定单元302判断为场景不是运动的。如果差大于预定值，则照明效果列表确定单元302判断为场景包括运动。
在步骤S1502中，照明效果列表确定单元302获得与是否存在人物有关的判断结果。如果照明效果列表确定单元302判断为彩色图像不包括人物(步骤S1502中为“否”)，则处理进入步骤S1503。如果照明效果列表确定单元302判断为彩色图像包括人物(步骤S1502中为“是”)，则处理进入步骤S1504。在步骤S1503中，照明效果列表确定单元302将距离精度设置为“低”。在步骤S1504中，照明效果列表确定单元302获得与是否存在运动有关的判断结果。如果照明效果列表确定单元302判断为彩色图像包括运动场景(步骤S1504中为“是”)，则处理进入步骤S1505。如果照明效果列表确定单元302判断为彩色图像不包括运动场景(步骤S1504中为“否”)，则处理进入步骤S1506。
在步骤S1505中，照明效果列表确定单元302将距离精度设置为“中”。在步骤S1506中，照明效果列表确定单元302将距离精度设置为“高”。在步骤S1507中，照明效果列表确定单元302基于距离精度来确定要包括在照明效果列表中的照明效果。步骤S1507的处理与根据第一典型实施例的步骤S507的处理相同。因此将省略对该处理的描述。
<第四典型实施例的效果>
如上所述，根据本典型实施例的信息处理设备1基于拍摄场景来设置距离精度。具体地，基于彩色图像是否包括人物以及彩色图像是否包括运动被摄体的临时状态来设置距离精度。因此，信息处理设备1可以确定照明效果的适当候选以基于与被摄体有关的距离信息来将照明效果应用于图像。
下面将描述本发明的第五典型实施例。在第一典型实施例中，基于距离图像数据来设置距离精度。在本典型实施例中，基于预设的人物信息来设置距离精度。根据本典型实施例的信息处理设备1具有与第一典型实施例的硬件结构和逻辑结构相同的硬件结构和逻辑结构。因此将省略对硬件结构和逻辑结构的描述。以下将主要描述本典型实施例与第一典型实施例之间的差异。在以下描述中，与第一典型实施例的组件同样的组件由相同的附图标记表示。
<信息处理设备1进行的处理>
本典型实施例与第一典型实施例的不同之处在于步骤S402中的用于确定照明效果列表的处理。根据本典型实施例的照明效果列表确定单元302基于距离图像数据来设置距离精度，然后基于预设的人物信息来更新距离精度。人物信息包括人物名称、人物图像数据、人物距离图像数据和人物距离精度。图16示出人物信息的示例。人物图像数据是表示包括至少人物的面部的图像数据。在人物图像数据中设置相应人物的面部区域。人物距离图像数据是与人物图像数据相对应的距离图像数据。人物距离精度表示包括在人物距离图像数据中的距离信息的精度。与前述距离精度同样地，人物距离精度被设置为“高”、“中”和“低”中的任何一个。可以预先设置与多个人物各自相对应的人物信息。下面将描述用于确定照明效果列表的处理的详情。
<用于确定照明效果列表的处理(步骤S402)>
图17是示出用于确定照明效果列表的处理的流程图。在步骤S1701中，照明效果列表确定单元302基于距离图像数据来判断距离精度。步骤S1701的处理与根据第一典型实施例的步骤S501至S506的处理相同。因此将省略对该处理的描述。
在步骤S1702中，照明效果列表确定单元302判断彩色图像中所包括的人物。照明效果列表确定单元302首先从彩色图像中提取面部区域。照明效果列表确定单元302计算所提取的面部区域中的人物的面部与由预设的人物信息表示的人物的面部之间的相似度，并且选择表示相似度最高的面部的人物信息。基于从彩色图像提取的面部区域与由人物图像数据表示的人物图像中的面部区域之间的差来计算相似度。如果所选择的人物信息的相似度高于或等于预定值，则照明效果列表确定单元302将彩色图像中的被摄体与所选择的人物信息相关联。如果所选择的人物信息的相似度低于预定值，则照明效果列表确定单元302判定为不存在与彩色图像中的被摄体物相对应的人物信息。如果没有从彩色图像中提取到面部区域，则照明效果列表确定单元302也判断为不存在与彩色图像中的被摄体相对应的人物信息。
在步骤S1703中，照明效果列表确定单元302判断彩色图像中的被摄体是否与人物信息相关联。如果彩色图像中的被摄体与人物信息相关联(步骤S1703中为“是”)，则处理进入步骤S1704。如果彩色图像中的被摄体没有与人物信息相关联(步骤S1703中为“否”)，则处理进入步骤S1708。在步骤S1704中，照明效果列表确定单元302将人物信息中所包括的人物距离精度与在步骤S1701中设置的距离精度进行比较。如果人物距离精度低于或等于在步骤S1701中设置的距离精度(步骤S1704中为“否”)，则处理进入步骤S1705。如果人物距离精度高于在步骤S1701中设置的距离精度(步骤S1704中为“是”)，则处理进入步骤S1706。
在步骤S1705中，照明效果列表确定单元302更新人物信息中包括的人物图像数据、人物距离图像数据和人物距离精度。基于彩色图像数据来更新人物图像数据。基于面部区域将彩色图像变形为人物图像，并且将表示变形后的彩色图像的图像数据假设为新的人物图像数据。基于距离图像数据来更新人物距离图像数据。以与针对彩色图像相同的方式使距离图像变形，并且将表示变形后的距离图像的图像数据假设为新的人物距离图像数据。利用在步骤S1701中设置的距离精度更新人物距离精度。通过如上所述更新人物信息，可以提高人物信息中包括的距离精度。
在步骤S1706中，照明效果列表确定单元302基于人物距离图像数据来校正距离图像数据。照明效果列表确定单元302首先计算用于将人物图像变形为彩色图像的参数。照明效果列表确定单元302基于所计算出的参数将人物距离图像变形为距离图像。这里要计算的参数是基于从人物图像和彩色图像提取的特征点的投射变换参数。表示变形后的人物距离图像的图像数据被假设为新的距离图像数据。在步骤S1707中，照明效果列表确定单元302利用人物距离精度的值来更新距离精度。在步骤S1708中，照明效果列表确定单元302基于距离精度来确定要包括在照明效果列表中的照明效果。步骤S1708的处理与根据第一典型实施例的步骤S507的处理相同。因此将省略对该处理的描述。
<第五典型实施例的效果>
如上所述，根据本典型实施例的信息处理设备1基于预设的人物信息来设置距离精度。因此，信息处理设备1可以确定照明效果的适当候选以基于与被摄体有关的距离信息来将照明效果应用于图像。
<变形例>
在本典型实施例中，在步骤S1705中更新人物信息。然而，可以省略步骤S1705的处理。
在本典型实施例中，在步骤S1706，对人物距离图像进行变形，并将变形后的人物距离图像假设为新的距离图像。然而，变形后的人物距离图像和距离图像可以被组合成新的距离图像。
在步骤S1706中，可以基于人物距离图像变形之前的距离图像的距离值来校正人物距离图像的距离值。例如，可以校正人物距离图像的距离值，使得人物距离图像的面部区域中的平均距离值和距离图像的面部区域中的平均距离值具有更小的差或者彼此一致。
下面将描述本发明的第六典型实施例。在本典型实施例中，基于用户操作来设置摄像方法。基于所设置的摄像方法来确定照明效果列表。根据本典型实施例的信息处理设备1具有与第一典型实施例的硬件结构和逻辑结构相同的硬件结构和逻辑结构。因此将省略对硬件结构和逻辑结构的描述。以下将主要描述本典型实施例与第一典型实施例之间的差异。在以下描述中，与第一典型实施例的组件同样的组件由相同的附图标记表示。
<信息处理设备1进行的处理>
在本典型实施例中，基于用于拍摄图像以获得彩色图像数据的摄像方法来设置距离精度。图18是示出由根据本典型实施例的信息处理设备1进行的处理的流程图。在步骤S1801中，图像数据获得单元301基于从输入/输出单元309获得的用户操作，设置用于获得图像数据的摄像方法。在本典型实施例中，用户选择使用哪个照相机(位于信息处理设备1的显示侧的前置照相机201、或者位于信息处理设备1的后侧的主照相机202)进行摄像。在本典型实施例中，前置照相机201是不能获得距离信息的单镜头照相机。主照相机202是能够基于视差信息获得距离图像数据的照相机。
在步骤S1802中，图像数据获得单元301从所设置的照相机获得图像数据。在步骤S1803中，照明效果列表确定单元302基于摄像方法来设置距离精度。照明效果列表确定单元302还基于距离精度来确定包括有效照明效果的照明效果列表。可以通过使用与第二典型实施例中描述的方法相同的方法来设置距离精度。例如，如果将前置照相机201设置为用于摄像的照相机，则由于前置照相机201不能获得距离信息，因此距离精度被判断为“低”。如果将主照相机202设置为用于摄像的照相机，则由于主照相机202基于视差获得距离图像数据，因此距离精度被判断为“中”。
在步骤S1804中，照明效果选择单元303基于从输入/输出单元309获得的用户操作来选择包括在照明效果列表中的照明效果其中之一。在选择照明效果之后，照明效果选择单元303基于用户操作来设置诸如虚拟光源的位置等的参数。如果没有通过用户操作选择照明效果，则照明效果选择单元303选择先前被确定为初始状态的照明效果。在步骤S1805中，照明处理单元304将所选择的照明效果应用于彩色图像。用于将照明效果应用于彩色图像的处理与根据第一典型实施例的步骤S404的处理相同。
在步骤S1806中，图像显示控制单元305在输入/输出单元309上显示校正后图像。在步骤S1807中，照明效果显示控制单元306在输入/输出单元309上显示照明效果列表中包括的照明效果。图19A和19B示出由图像显示控制单元305显示的显示图像的示例。图19A示出当选择主照相机202作为用于摄像的照相机时的显示图像的示例。在这种情况下，显示与距离精度“中”相对应的图标。图19B示出当选择前置照相机201作为用于摄像的照相机时的显示图像的示例。在这种情况下，显示与距离精度“低”相对应的图标。用户可以通过选择表示照相机切换操作的图标1901来改变摄像方法。
在步骤S1808中，照明处理单元304基于从输入/输出单元309获得的用户操作，判断是否将校正后图像数据记录在存储单元307中。如果检测到用以记录校正后图像数据的操作(步骤S1808中为“是”)，则处理进入步骤S1810。如果没有检测到用以记录校正后图像数据的操作(步骤S1808中为“否”)，则处理进入步骤S1809。在步骤S1809中，照明处理单元304基于从输入/输出单元309获得的用户操作，判断是否改变摄像方法。如果检测到用以改变摄像方法的操作(步骤S1809中为“是”)，则处理进入步骤S1801。如果没有检测到用以改变摄像方法的操作(步骤S1809中为“否”)，则处理进入步骤S1802。在步骤S1810中，照明处理单元304将校正后图像数据记录在存储单元307中。处理结束。
<第六典型实施例的效果>
如上所述，根据本典型实施例的信息处理设备1基于用于拍摄图像以获得彩色图像数据的摄像方法来设置距离精度。因此，信息处理设备1可以确定照明效果的适当候选以基于与被摄体有关的距离信息来将照明效果应用于图像。
<变形例>
在本典型实施例中，前置照相机201是不能获得距离信息的照相机，而主照相机202是能够基于视差信息获得距离图像数据的照相机。然而，照相机的组合不限于此。将光投射在被摄体上以获得距离信息的照相机可以用作前置照相机201或主照相机202。可选地，可以切换三个或更多个照相机。
在本典型实施例中，基于摄像方法使用哪个照相机(前置照相机201或主照相机202)来确定照明效果列表。然而，可以基于在主照相机202的使用期间的摄像模式来确定照明效果列表。在本典型实施例中，主照相机202是能够基于视差信息获得距离图像数据的照相机，并且包括多个照相机。在本典型实施例中，在主照相机202的使用期间可用的摄像模式包括照相机其中之一可以拍摄图像并获得距离信息的单镜头摄像模式和多个照相机可以拍摄图像并获得距离信息的多镜头摄像模式。在这种情况下，在步骤S1803中，照明效果列表确定单元302基于摄像模式来设置距离精度。照明效果列表确定单元302还基于距离精度来确定包括有效照明效果的照明效果列表。可以通过使用与第二典型实施例中参考图28描述的方法相同的方法来设置距离精度。例如，如果摄像模式是单镜头摄像模式，则由于可以获得距离信息但是不使用多个照相机进行摄像，因此距离精度被判断为“中”。如果摄像模式是多镜头摄像模式，则由于可以获得距离信息并且使用多个照相机进行摄像，因此距离精度被判断为“高”。图29A示出当选择单镜头摄像模式作为摄像模式时的显示图像的示例。在这种情况下，显示与距离精度“中”相对应的图标。图29B示出当选择多镜头摄像模式作为摄像模式时的显示图像的示例。在这种情况下，显示与距离精度“高”相对应的图标。用户可以通过选择表示照相机切换操作的图标2901来改变摄像方法。用户可以通过选择表示摄像模式切换操作的图标2902来改变摄像模式。在本典型实施例中，前置照相机201被描述为不能获得距离信息的单镜头照相机。然而，与主照相机202相同地，前置照相机201可以被配置为能够基于视差信息获得距离图像数据并且能够切换摄像模式的照相机。摄像模式可以包括单个照相机用于摄像并且不获得距离信息的模式。
下面将描述本发明的第七典型实施例。在上述典型实施例中，基于根据用户操作所选择的照明效果将照明效果应用于彩色图像。在本典型实施例中，基于用户操作来设置在用于将照明效果应用于彩色图像的处理中要使用的参数(以下称为照明参数)。根据本典型实施例的信息处理设备1具有与第一典型实施例的硬件结构相同的硬件结构。因此将省略对硬件结构的描述。以下将主要描述本典型实施例与第一典型实施例之间的差异。在以下描述中，与第一典型实施例的组件同样的组件由相同的附图标记表示。
<信息处理设备1的逻辑结构>
图20是示出根据本典型实施例的信息处理设备1的逻辑结构的框图。通过CPU 101利用RAM 103作为工作存储器执行ROM 102中存储的程序，信息处理设备1用作图20所示的逻辑结构。以下描述的所有处理不一定需要由CPU 101执行。信息处理设备1可以被配置为使得部分或全部处理由除了CPU 101之外的一个或多个处理电路进行。
信息处理设备1包括图像数据获得单元2001、参数可调整范围设置单元2002、照明参数设置单元2003、照明处理单元2004、图像显示控制单元2005和界面显示控制单元2006。图像数据获得单元2001基于从输入/输出单元2009获得的用户操作，从摄像单元2008或存储单元2007获得彩色图像数据和距离图像数据。例如，存储单元2007的功能由存储装置110实现。摄像单元2008的功能由摄像单元106实现。输入/输出单元2009的功能由触摸面板显示器105实现。参数可调整范围设置单元2002基于根据图像数据判断的距离精度来设置可调整的照明参数。
照明参数设置单元2003基于从输入/输出单元2009获得的用户操作设置照明参数。照明处理单元2004基于所设置的照明参数来将照明效果应用于彩色图像。照明处理单元2004还基于从输入/输出单元2009获得的用户操作来将校正后图像数据记录在存储单元2007中。
图像显示控制单元2005在输入/输出单元2009上显示校正后图像。界面显示控制单元2006在输入/输出单元2009上显示包括用于调整照明参数的滑块和按钮的界面。
<信息处理设备1进行的处理>
在本典型实施例中，基于距离图像数据来设置照明参数的可调整范围。另外，基于根据用户操作设置的照明参数来将照明效果应用于彩色图像。图21是示出由根据本典型实施例的信息处理设备1进行的处理的流程图。
在步骤S2101中，图像数据获得单元2001基于从输入/输出单元2009获得的用户操作，从存储单元2007获得彩色图像数据和距离图像数据。在步骤S2102中，参数可调整范围设置单元2002基于距离图像数据来设置距离精度。参数可调整范围设置单元2002还基于所设置的距离精度来设置照明参数的可调整范围。下面将描述用于设置照明参数的可调整范围的处理的详情。
在步骤S2103中，照明参数设置单元2003基于从输入/输出单元2009获得的用户操作来设置照明参数。如果没有进行用户操作，则照明参数设置单元2003将预定值设置为照明参数。在步骤S2104中，照明处理单元2004基于所设置的照明参数来校正彩色图像。下面将描述用于校正彩色图像的处理的详情。
在步骤S2105中，图像显示控制单元2005在输入/输出单元2009上显示校正后图像。在步骤S2106中，界面显示控制单元2006在输入/输出单元2009上显示包括用于调整照明参数的滑块和按钮的界面。下面将详细描述界面的显示。在步骤S2107中，照明处理单元2004基于从输入/输出单元2009获得的用户操作，判断是否将校正后图像数据记录在存储单元2007中。如果检测到用以记录校正后图像数据的操作(步骤S2107中为“是”)，则处理进入步骤S2109。如果没有检测到用以记录校正后图像数据的操作(步骤S2107中为“否”)，则处理进入步骤S2108。
在步骤S2108中，照明处理单元2004基于从输入/输出单元2009获得的用户操作，判断是否改变应用照明效果的彩色图像。如果检测到用以改变彩色图像的操作(步骤S2108中为“是”)，则处理进入步骤S2101。如果没有检测到用以改变彩色图像的操作(步骤S2108中为“否”)，则处理进入步骤S2103。在步骤S2109中，照明处理单元2004将校正后图像数据记录在存储单元2007中。处理结束。
<用于设置照明参数的可调整范围的处理(步骤S2102)>
图22是示出用于设置照明参数的可调整范围的处理的流程图。在步骤S2201中，参数可调整范围设置单元2002基于距离图像数据来设置距离精度。步骤S2201的处理与根据第一典型实施例的步骤S501至S506的处理相同。因此将省略对该处理的描述。
在步骤S2202中，参数可调整范围设置单元2002基于距离精度来设置照明参数的可调整范围。图23A示出用于基于距离精度来设置照明参数的可调整范围的方法的示例。在本典型实施例中，照明参数包括与ON(开启)/OFF(关闭)、虚拟光源的亮度和虚拟光源的位置相对应的参数。参数ON/OFF表示是否应用照明效果。参数可调整范围设置单元2002基于距离精度来设置照明参数的用户可调整性。具体地，距离精度越高，用户可进行调整的参数越多。例如，如果距离精度为“低”，则仅可以调整ON/OFF。如果距离精度为“中”，则可以调整ON/OFF和虚拟光源的亮度。如果距离精度为“高”，则可以调整ON/OFF、虚拟光源的亮度和虚拟光源的位置。
<用于校正彩色图像的处理(步骤S2104)>
图24是示出用于校正彩色图像的处理的流程图。在步骤S2401中，照明处理单元2004判断在步骤S2102中设置的距离精度。如果距离精度为“高”(步骤S2401中为“是”)，则处理进入步骤S2402。如果距离精度为“中”或“低”(步骤S2401中为“否”)，则处理进入步骤S2403。在步骤S2402中，照明处理单元2004基于距离图像数据来生成法线图像数据。步骤S2402的处理与根据第一典型实施例的步骤S803的处理相同。因此将省略对该处理的描述。
在步骤S2403中，照明处理单元2004以简化的方式生成法线图像数据。步骤S2403的处理与根据第一典型实施例的步骤S804的处理相同。因此将省略对该处理的描述。在步骤S2404中，照明处理单元2004基于在步骤S2103中设置的照明参数来校正彩色图像。照明处理单元2004根据式(7)将基于距离图像数据和法线图像数据的阴影添加到彩色图像：
I”＝I+wαD(d)H(n,L)I 式(7)
其中，I是彩色图像的像素值，以及I”是阴影彩色图像的像素值。
w是与照明效果是ON还是OFF相对应的参数。如果照明效果是ON，则w＝1。如果照明效果是OFF，则w＝0。α是与虚拟光源的亮度相对应的参数。α的值基于用户操作来设置。L是与表示从被摄体到虚拟光源的方向的光源向量相对应的参数。基于与虚拟光源的位置相关的用户操作来设置L的值。D(d)、H(n，L)和n与第一典型实施例中的相同。<显示界面(步骤S2106)>
现在，将描述步骤S2106中的界面的显示。图25A、25B、25C和25D示出界面的显示示例。在本典型实施例中，界面显示控制单元2006以叠加方式在校正后图像上显示用于调整照明参数的滑块和按钮。如果距离精度为“低”，则如图25A所示，界面显示控制单元单元2006显示用于切换照明效果的ON/OFF的按钮。如果距离精度为“中”，则如图25B所示，界面显示控制单元2006显示用于ON/OFF切换的按钮和用于调整虚拟光源的亮度的滑块。如果距离精度为“高”，则如图25C所示，界面显示控制单元2006显示用于ON/OFF切换的按钮、用于调整亮度的滑块、以及用于调整虚拟光源的位置的滑块。可以通过输入/输出单元2009上显示的界面上的用户操作来调整照明参数。
<第七典型实施方案的效果>
如上所述，根据本典型实施例的信息处理设备1基于距离精度来设置照明参数的可调整范围。通过这样基于距离精度限制照明参数的可调整范围，信息处理设备1可以确定照明效果的适当候选以基于与被摄体有关的距离信息将照明效果应用于图像。
<变形例>
在本典型实施例中，基于距离精度来改变可调整的照明参数的数量。然而，可以基于距离精度来改变各个照明参数的可调整范围。例如，可以基于距离精度来切换虚拟光源的位置的可调整范围。图23B示出用于基于距离精度来设置照明参数的可调整范围的方法的示例。图25D示出当距离精度为“中”时的显示图像的示例。在该示例中，在距离精度为“中”的情况下，虚拟光源的位置被设置为在较窄的范围内可调整。在图25D所示的距离精度为“中”的显示图像中，与图25C所示的距离精度为“高”的显示图像中相比，用于调整虚拟光源的位置的滑块的移动范围更窄。
在本典型实施例中，基于距离图像数据来判断距离精度。然而，可以通过使用在上述典型实施例中描述的其它方法来判断距离精度。
下面将描述本发明的第八典型实施例。在第七典型实施例中，基于距离精度来设置照明参数的可调整范围。在本典型实施例中，基于摄像方法来设置照明参数的可调整范围。根据本典型实施例的信息处理设备1具有与第七典型实施例的硬件结构和逻辑结构相同的硬件结构和逻辑结构。因此将省略对硬件结构和逻辑结构的描述。以下将主要描述本典型实施例与第七典型实施例之间的差异。在以下描述中，与第七典型实施例的组件同样的组件由相同的附图标记表示。
<信息处理设备1进行的处理>
图26是示出由根据本典型实施例的信息处理设备1进行的处理的流程图。在步骤S2601中，图像数据获得单元2001基于从输入/输出单元2009获得的用户操作，设置用于获得图像数据的摄像方法。在本典型实施例中，用户选择使用哪个照相机(位于信息处理设备1的显示侧的前置照相机201、或者位于信息处理设备1的后侧的主照相机202)进行摄像。在本典型实施例中，前置照相机201是不能获得距离信息的单镜头照相机。主照相机202是能够基于视差信息来获得距离图像数据的照相机。
在步骤S2602中，图像数据获得单元2001从所设置的照相机获得图像数据。在步骤S2603中，参数可调整范围设置单元2002基于摄像方法来设置距离精度，并基于所设置的距离精度来设置照明参数的可调整范围。用于基于摄像方法来设置距离精度的方法与第六典型实施例的方法相同。因此将省略对其的描述。用于设置照明参数的可调整范围的方法与第七典型实施例的方法相同。因此将省略对该方法的描述。在步骤S2604中，照明参数设置单元2003基于从输入/输出单元2009获得的用户操作来设置照明参数。在没有进行用户操作的情况下，照明参数设置单元2003将预定值设置为照明参数。
在步骤S2605中，照明处理单元2004基于所设置的照明参数来校正彩色图像。用于校正彩色图像的处理与第七典型实施例的处理相同。因此将省略对该处理的描述。在步骤S2606中，图像显示控制单元2005在输入/输出单元2009上显示校正后图像。
在步骤S2607中，界面显示控制单元2006显示用于调整照明参数的界面。图27A和27B示出显示图像的示例。图27A示出当选择主照相机202作为用于摄像的照相机时的显示图像的示例。在这种情况下，界面显示控制单元2006显示与距离精度“中”相对应的界面。图27B示出当选择前置照相机201用于摄像的照相机时的显示图像的示例。在这种情况下，界面显示控制单元2006显示与距离精度“低”相对应的界面。用户通过选择表示照相机切换操作的图标2701来改变摄像方法。
在步骤S2608中，照明处理单元2004基于从输入/输出单元2009获得的用户操作，判断是否将校正后图像数据记录在存储单元2007中。如果检测到用以记录校正后图像数据的操作(步骤S2608中为“是”)，则处理进入步骤S2610。如果没有检测到用以记录校正后图像数据的操作(步骤S2608中为“否”)，则处理进入步骤S2609。在步骤S2609中，照明处理单元2004基于从输入/输出单元2009获得的用户操作，判断是否改变摄像方法。如果检测到用以改变摄像方法的操作(步骤S2609中为“是”)，则处理进入步骤S2601。如果没有检测到用以改变摄像方法的操作(步骤S2609中为“否”)，则处理进入步骤S2602。在步骤S2610中，照明处理单元2004将校正后图像数据记录在存储单元2007中。处理结束。
<第八典型实施方案的效果>
如上所述，根据本典型实施例的信息处理设备1基于用于拍摄图像以获得彩色图像数据的摄像方法来设置照明参数的可调整范围。通过这样基于摄像方法限制照明参数的可调整范围，信息处理设备1可以确定照明效果的适当候选以基于与被摄体有关的距离信息来将照明效果应用于图像。
<变形例>
在本典型实施例中，前置照相机201是不能获得距离信息的照相机，而主照相机202是基于视差信息来获得距离图像数据的照相机。然而，照相机的组合不限于此。将光投射在被摄体上以获得距离信息的照相机可以用作前置照相机201或主照相机202。可选地，可以切换三个或更多个照相机。
[其它典型实施例]
在除了第二典型实施例之外的前述典型实施例中，信息处理设备1具有图1A中所示的硬件结构。然而，信息处理设备1的硬件结构不限于前述示例。例如，信息处理设备1可以具有图1B中所示的硬件结构。信息处理设备1包括CPU 101、ROM 102、RAM 103、视频卡(VC)111、通用I/F114和串行高级技术附件(串行ATA或SATA)I/F118。CPU 101通过使用RAM103作为工作存储器来执行存储在ROM 102和存储装置110中的OS和各种程序。CPU 101经由***总线108控制这些组件。诸如鼠标和键盘等的输入装置116以及摄像装置117经由串行总线115连接到通用I/F 114。存储装置110经由串行总线119连接到SATAI/F 118。显示器113经由串行总线112连接到VC 111。CPU 101在显示器113上显示由程序提供的用户界面(UI)，并接收指示经由输入装置116获得的用户指示的输入信息。例如，图1B中所示的信息处理设备1由台式PC实现。信息处理设备1还可以由与摄像装置117一体化的数字照相机或与显示器113一体化的PC来实现。
在除了第二典型实施例之外的前述典型实施例中，信息处理设备1包括两个照相机(或者主照相机202和前置照相机201)，作为摄像单元106。然而，摄像单元106不限于前述示例。例如，信息处理设备1可以仅包括主照相机202。
在上述典型实施例中，要应用照明效果的对象图像是彩色图像。然而，对象图像可以是灰度图像。
虽然在上述典型实施例中的存储装置110是HDD，但是存储装置110不限于上述示例。例如，存储装置110可以是固态驱动器(SSD)。存储装置110还可以由介质(存储介质)和用于访问该介质的外部存储驱动器来实现。介质的示例可以包括软盘(FD)、紧凑型光盘只读存储器(CD-ROM)、数字多功能盘(DVD)、通用串行总线(USB)存储器、磁光(MO)盘和闪速存储器。
根据本发明的典型实施例，可以确定照明效果的适当候选以基于与被摄体有关的距离信息来将照明效果应用于图像。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给***或装置，该***或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然已经参考典型实施例描述了本发明，但应理解，本发明不限于所公开的典型实施例。以下权利要求书的范围符合最宽的解释，以包含所有这类修改以及等同结构和功能。

Claims (20)

1.一种信息处理设备，包括：
第一获得单元，其被配置为获得表示图像的图像数据；
第二获得单元，其被配置为获得与所述图像数据相对应的距离信息；以及
第一确定单元，其被配置为基于所述距离信息的精度，来确定在将基于所述距离信息的照明效果应用于所述图像时能够应用于所述图像的照明效果的候选；
其中，基于所述距离信息的照明效果至少包括强调三维外观的照明效果和指定光源位置的照明效果；
其中，所述距离信息的精度越高，能够应用于所述图像的照明效果的候选越多。
2.根据权利要求1所述的信息处理设备，还包括第二确定单元，所述第二确定单元被配置为确定所述距离信息的精度，
其中，所述第一确定单元被配置为基于所述第二确定单元的确定结果来确定能够应用于所述图像的照明效果的候选。
3.根据权利要求2所述的信息处理设备，其中，所述第二确定单元被配置为通过将所述距离信息与预定值比较来确定所述距离信息的精度。
4.根据权利要求2所述的信息处理设备，其中，所述第二确定单元被配置为确定与同所述图像中的被摄体相对应的区域有关的距离信息的精度。
5.根据权利要求4所述的信息处理设备，其中，所述第二确定单元被配置为基于是否能够从所述图像识别出被摄体的面部中的凹凸来确定所述距离信息的精度。
6.根据权利要求2所述的信息处理设备，其中，所述第二确定单元被配置为基于与用于获得所述距离信息的摄像单元有关的信息来确定所述距离信息的精度。
7.根据权利要求6所述的信息处理设备，其中，所述第二确定单元被配置为基于被配置为获得所述距离信息的摄像单元是否具有用于获得距离信息的功能来确定所述距离信息的精度。
8.根据权利要求7所述的信息处理设备，其中，所述功能是用于通过将光投射在被摄体上来获得所述距离信息的功能。
9.根据权利要求2所述的信息处理设备，其中，所述第二确定单元被配置为基于在拍摄图像以获得所述图像数据时的焦点位置来确定所述距离信息的精度。
10.根据权利要求2所述的信息处理设备，其中，所述第二确定单元被配置为基于为了获得所述图像数据而拍摄的场景来确定所述距离信息的精度。
11.根据权利要求10所述的信息处理设备，其中，所述第二确定单元被配置为基于所述场景是否包括人物来确定所述距离信息的精度。
12.根据权利要求10所述的信息处理设备，其中，所述第二确定单元被配置为基于所述场景是否包括移动被摄体的临时状态来确定所述距离信息的精度。
13.根据权利要求2所述的信息处理设备，其中，所述第二确定单元被配置为基于与所述图像中所包括的人物相对应的信息来确定所述距离信息的精度。
14.根据权利要求13所述的信息处理设备，还包括第三获得单元，所述第三获得单元被配置为获得用于识别人物的人物信息，
其中，所述第二确定单元被配置为从所述图像中提取与人物的面部相对应的区域，并且基于所提取的区域中的面部与所述人物信息所识别的人物的面部之间的相似度来确定所述距离信息的精度。
15.根据权利要求1所述的信息处理设备，还包括控制单元，所述控制单元被配置为对用于呈现能够应用于所述图像的照明效果的候选的呈现单元进行控制，
其中，所述控制单元被配置为在显示单元上显示表示能够应用于所述图像的照明效果的候选的图标。
16.根据权利要求15所述的信息处理设备，其中，所述控制单元被配置为在所述显示单元上显示所述图标，所述图标被叠加在已被应用所述照明效果的所述图像上。
17.根据权利要求1所述的信息处理设备，还包括控制单元，所述控制单元被配置为对用于呈现能够应用于所述图像的照明效果的候选的呈现单元进行控制，
其中，所述控制单元被配置为通过在显示单元上显示所述照明效果的能够调整范围来呈现能够应用于所述图像的照明效果的候选。
18.一种信息处理设备，包括：
第一摄像单元，其包括用于拍摄被摄体的图像以生成第一图像的功能和用于获得与所述第一图像相对应的距离信息的功能；
第二摄像单元，其包括用于拍摄被摄体的图像以生成第二图像的功能，但是不包括用于获得与所述第二图像相对应的距离信息的功能；以及
显示单元，其被配置为切换并显示所述第一图像和所述第二图像，
其中，所述显示单元上所显示的能够应用于图像的照明效果其中至少之一在所述显示单元显示所述第一图像的情况和所述显示单元显示所述第二图像的情况之间有所不同；
其中，所述距离信息的精度越高，能够应用于所述图像的照明效果越多，其中，所述照明效果至少包括强调三维外观的照明效果和指定光源位置的照明效果。
19.一种信息处理方法，包括：
获得表示图像的图像数据；
获得与所述图像数据相对应的距离信息；以及
基于所述距离信息的精度，来确定在将基于所述距离信息的照明效果应用于所述图像时能够应用于所述图像的照明效果的候选；
其中，基于所述距离信息的照明效果至少包括强调三维外观的照明效果和指定光源位置的照明效果；
其中，所述距离信息的精度越高，能够应用于所述图像的照明效果的候选越多。
20.一种存储有指令的非暂时性计算机可读存储介质，所述指令在由计算机执行时使所述计算机进行包括以下的方法：
获得表示图像的图像数据；
获得与所述图像数据相对应的距离信息；以及
基于所述距离信息的精度，来确定在将基于所述距离信息的照明效果应用于所述图像时能够应用于所述图像的照明效果的候选；
其中，基于所述距离信息的照明效果至少包括强调三维外观的照明效果和指定光源位置的照明效果；
其中，所述距离信息的精度越高，能够应用于所述图像的照明效果的候选越多。
CN202010008485.4A 2019-02-06 2020-01-06 确定照明效果候选的信息处理设备、方法及存储介质 Active CN111541840B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019020147 2019-02-06
JP2019-020147 2019-02-06
JP2019-184741 2019-10-07
JP2019184741A JP7422454B2 (ja) 2019-02-06 2019-10-07 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN111541840A CN111541840A (zh) 2020-08-14
CN111541840B true CN111541840B (zh) 2022-03-22

Family

ID=71837606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010008485.4A Active CN111541840B (zh) 2019-02-06 2020-01-06 确定照明效果候选的信息处理设备、方法及存储介质

Country Status (3)

Country Link
US (1) US11210767B2 (zh)
KR (1) KR102565151B1 (zh)
CN (1) CN111541840B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11184967B2 (en) * 2018-05-07 2021-11-23 Zane Coleman Angularly varying light emitting device with an imager
US20220027659A1 (en) * 2020-05-20 2022-01-27 Google Llc Learning illumination from diverse portraits
GB2598608B (en) * 2020-09-04 2024-05-08 Sony Interactive Entertainment Inc Content generation system and method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101529474A (zh) * 2006-09-21 2009-09-09 科乐美数码娱乐株式会社 图像处理装置、图像处理装置的控制方法及信息存储介质
CN104954697A (zh) * 2014-03-31 2015-09-30 佳能株式会社 图像处理装置及图像处理方法
JP2018010496A (ja) * 2016-07-14 2018-01-18 キヤノン株式会社 画像処理装置並びにその制御方法及びプログラム
CN110288692A (zh) * 2019-05-17 2019-09-27 腾讯科技（深圳）有限公司 光照渲染方法和装置、存储介质及电子装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030202120A1 (en) * 2002-04-05 2003-10-30 Mack Newton Eliot Virtual lighting system
JP6172934B2 (ja) * 2012-12-27 2017-08-02 キヤノン株式会社 撮像装置、その制御方法、プログラム及び記憶媒体
JP6423625B2 (ja) * 2014-06-18 2018-11-14 キヤノン株式会社 画像処理装置および画像処理方法
CN106210698B (zh) * 2015-05-08 2018-02-13 光宝电子(广州)有限公司 深度相机的控制方法
JP2017117029A (ja) 2015-12-22 2017-06-29 キヤノン株式会社 画像処理装置およびプログラムおよび記憶媒体および方法
JP6869652B2 (ja) * 2016-07-01 2021-05-12 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
DK180859B1 (en) * 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US10816939B1 (en) * 2018-05-07 2020-10-27 Zane Coleman Method of illuminating an environment using an angularly varying light emitting device and an imager

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101529474A (zh) * 2006-09-21 2009-09-09 科乐美数码娱乐株式会社 图像处理装置、图像处理装置的控制方法及信息存储介质
CN104954697A (zh) * 2014-03-31 2015-09-30 佳能株式会社 图像处理装置及图像处理方法
JP2018010496A (ja) * 2016-07-14 2018-01-18 キヤノン株式会社 画像処理装置並びにその制御方法及びプログラム
CN110288692A (zh) * 2019-05-17 2019-09-27 腾讯科技（深圳）有限公司 光照渲染方法和装置、存储介质及电子装置

Also Published As

Publication number Publication date
US11210767B2 (en) 2021-12-28
CN111541840A (zh) 2020-08-14
KR20200096869A (ko) 2020-08-14
US20200250799A1 (en) 2020-08-06
KR102565151B1 (ko) 2023-08-10

Similar Documents

Publication Publication Date Title
CN111541840B (zh) 确定照明效果候选的信息处理设备、方法及存储介质
US11756223B2 (en) Depth-aware photo editing
US8515172B2 (en) Segmentation of image data
US10916048B2 (en) Image processing apparatus, image processing method, and storage medium
US10139218B2 (en) Image processing apparatus and image processing method
US9760976B2 (en) Image processing apparatus and image processing method
JP4879326B2 (ja) ３次元画像を合成するシステム及び方法
Camplani et al. Depth-color fusion strategy for 3-D scene modeling with Kinect
KR101984496B1 (ko) 물체 영역에 근거하여 화상을 처리하는 장치 및 그 방법
JP2017059235A (ja) イメージの明るさを調整する方法及び装置
US20130335535A1 (en) Digital 3d camera using periodic illumination
CN109816766A (zh) 图像处理装置、图像处理方法及存储介质
CN109788215A (zh) 图像处理装置、计算机可读存储介质以及图像处理方法
KR20160021607A (ko) 배경 화면을 디스플레이하는 방법 및 장치
Přibyl et al. Feature point detection under extreme lighting conditions
DE102015110955A1 (de) Informationsverarbeitungsvorrichtung zum Erfassen eines Objekts von einem Bild, Verfahren zum Steuern der Vorrichtung und Speichermedien
KR102459851B1 (ko) 이미지의 밝기를 조절하는 방법 및 장치
WO2011096136A1 (ja) 疑似画像生成装置および疑似画像生成方法
JP7422454B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN108269260B (zh) 动态影像去背方法、***与计算机可读取存储装置
US20170154439A1 (en) Information processing apparatus, information processing system, information processing method, and recording medium
CN105022602A (zh) 覆盖显示中的多个roi的多个栅格化显示
US20200250883A1 (en) Information processing apparatus to set lighting effect applied to image, information processing method, and storage medium
US20220375162A1 (en) Systems and Methods for Generating and Applying Depth Keys at Individual Point Cloud Data Points
CN111935391A (zh) 图像处理装置及其控制方法和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant