CN109076199A - 白平衡调整装置及其工作方法和工作程序 - Google Patents

白平衡调整装置及其工作方法和工作程序 Download PDF

Info

Publication number
CN109076199A
CN109076199A CN201780022087.4A CN201780022087A CN109076199A CN 109076199 A CN109076199 A CN 109076199A CN 201780022087 A CN201780022087 A CN 201780022087A CN 109076199 A CN109076199 A CN 109076199A
Authority
CN
China
Prior art keywords
fill
area
luminescent
priority area
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780022087.4A
Other languages
English (en)
Other versions
CN109076199B (zh
Inventor
西尾祐也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN109076199A publication Critical patent/CN109076199A/zh
Application granted granted Critical
Publication of CN109076199B publication Critical patent/CN109076199B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

本发明提供一种在多闪光摄影时主被摄体变成适宜的色调的白平衡调整装置及其工作方法和工作程序。由非发光图像获取部(53a)获取多个闪光灯装置(12)、(13)为非发光状态的非发光图像(60)。由发光图像获取部(53b)获取多个闪光灯装置(12)、(13)为独立发光状态的预发光图像(61)、(62)。由闪光照射区域确定部(54)根据非发光图像(60)及各发光图像(61)、(62)的多个分割区域(65)的信号值的差分而确定闪光照射区域(67)、(68)。优先区域选择部(55)选择使用于WB(白平衡)调整中的优先区域(66)。WB调整部(56)根据被选择的优先区域(66)的信号值进行WB调整。

Description

白平衡调整装置及其工作方法和工作程序
技术领域
本发明涉及一种将使用多个辅助光源进行摄影时的白平衡进行调整的白平衡调整装置及其工作方法和工作程序。
背景技术
人类的视觉具有色彩的恒定性。因此,与电灯、荧光灯、太阳光等环境光的差异无关,而能够感知被摄体所具有的本来的颜色。相对于此,基于数码相机等摄像装置的图像直接受到环境光的影响。因此,摄像装置具有校正环境光的影响而色彩转换成对人来讲自然的图像的白平衡调整功能。
例如,在使用闪光灯装置作为辅助光源并通过摄像装置而被摄影的图像中,主被摄体上被照射环境光与闪光灯的混合光。并且,背景受闪光灯的影响少,以环境光为主。
在通常的闪光摄影时的自动白平衡调整中,例如,如日本特开2010-193048号公报中所记载,计算环境光与闪光灯的比率(以下,称为混合光比率),并根据混合光比率调整白平衡。在基于一个闪光灯的单灯闪光摄影时,有闪光灯强烈地照射到主被摄体的倾向。因此,根据闪光灯强烈地照射的部位的混合光比率进行自动白平衡调整,由此主被摄体成为适宜的色调。
发明内容
发明要解决的技术课题
然而,在使用了多个辅助光源例如多个闪光灯装置的摄影中,多数情况下,闪光灯强烈地照射到的部位不会成为主被摄体。例如,在存在将闪光灯照射到主被摄体的闪光灯装置和将闪光灯照射到背景的闪光灯装置的多个辅助光源的情况下,有时使照射到背景的闪光灯装置强烈地发光。该情况下,若根据闪光灯强烈地照射到的部位的混合光比率进行自动白平衡调整,则导致变成重视了背景的色调,主被摄体的色调变差。
本发明鉴于上述情况,其目的在于提供一种在基于多个辅助光源的摄影时主被摄体成为适宜的色调的白平衡调整装置及其工作方法和工作程序。
用于解决技术课题的手段
为了实现上述目的,本发明的白平衡调整装置具备非发光图像获取部、发光图像获取部、辅助光照射区域确定部、优先区域选择部、白平衡调整值计算部及白平衡调整部。非发光图像获取部将多个辅助光源设为非发光状态而拍摄被摄体而获取非发光图像。发光图像获取部将多个辅助光源设为独立发光状态而分别拍摄被摄体而获取各辅助光源的发光图像。辅助光照射区域确定部将非发光图像及各发光图像分割成多个分割区域,并根据独立发光状态与非发光状态的各分割区域的信号值的差分,确定基于各辅助光源的辅助光所照射到的辅助光照射区域。优先区域选择部在各辅助光源的辅助光照射区域中选择使用于白平衡调整中的优先区域。白平衡调整值计算部根据被选择的优先区域的信号值而计算白平衡调整值。白平衡调整部进行基于白平衡调整值的调整。
优选具有选择输入部,该选择输入部将从基于各辅助光源的辅助光照射区域中选择1个或多个优先区域的选择命令输入到优先区域选择部。
优选优先区域选择部具有辅助光照射区域加算部、脸部区域检测部及优先区域确定部。辅助光照射区域加算部计算将各辅助光照射区域进行了加算的加算区域。脸部区域检测部从非发光图像或发光图像中检测脸部区域。优先区域确定部确定由脸部区域检测部检测出的脸部区域在哪一个辅助光照射区域,并从加算区域中排除没有脸部区域的辅助光照射区域,将通过排除而残留的区域确定为优先区域。
优选优先区域选择部具有辅助光照射区域加算部及优先区域确定部。辅助光照射区域加算部计算将各辅助光照射区域进行了加算的加算区域。优先区域确定部根据基于预先存储的辅助光源的像素信息及加算区域而确定优先区域。
优先区域确定部根据基于预先存储的辅助光的光源颜色信息、基于从非发光图像获取的环境光的光源颜色信息及辅助光照射区域的非发光时的像素信息,设定色彩空间中的判定范围。基于发光图像的像素信息在判定范围外的情况下,从加算区域中排除辅助光照射区域。将通过排除而残留的区域判定为优先区域。
优选优先区域根据非发光时信号值平均、辅助光源发光时信号值平均预测值及发光时信号值平均进行判定。基于辅助光的光源颜色信息是表示色彩空间中的辅助光的颜色的坐标。基于环境光的光源颜色信息是根据非发光图像求出并表示色彩空间中的环境光的颜色的坐标。辅助光照射区域的非发光时的像素信息是根据非发光图像求出并表示色彩空间中的辅助光照射区域的非发光时信号值平均的坐标。优先区域确定部根据发光图像而计算色彩空间中的辅助光照射区域的信号值平均即发光时信号值平均。而且,计算辅助光的光源颜色信息与环境光的光源颜色信息的差值即差分矢量,在非发光时信号值平均的坐标上将差分矢量进行相加,从而求出辅助光源发光时信号值平均预测值。
优选在将非发光时信号值平均及辅助光源发光时的信号值平均预测值作为两端而包括的判定范围外存在发光时信号值平均的情况下,优先区域确定部从加算区域中排除辅助光照射区域,并选择通过排除而残留的区域作为优先区域。
优选优先区域选择部具有辅助光照射区域加算部、空间频率计算部及优先区域确定部。辅助光照射区域加算部计算将各辅助光照射区域进行了加算的加算区域。空间频率计算部计算非发光图像中的基于各辅助光源的辅助光照射区域的空间频率。在基于各辅助光源的辅助光照射区域的空间频率为恒定值以下的情况下优先区域确定部从加算区域中排除空间频率为恒定值以下的辅助光照射区域。并将通过排除而残留的辅助光照射区域确定为优先区域。
优选白平衡调整值计算部获取将辅助光源设为发光状态而拍摄了被摄体的正式发光时的发光图像,并根据发光图像的优先区域中的信号值及非发光图像的优先区域中的信号值而计算白平衡调整值。
优选白平衡调整部获取将多个辅助光源设为以正式发光时发光量发光的状态而拍摄了被摄体的正式发光图像,并对正式发光图像进行基于白平衡调整值的白平衡调整。
本发明的白平衡调整装置的工作方法具有非发光图像获取步骤、发光图像获取步骤、辅助光照射区域确定步骤、优先区域选择步骤、白平衡调整值计算步骤及白平衡调整步骤。并且,本发明的白平衡调整装置的工作程序也使计算机执行上述各步骤,从而使计算机作为白平衡调整装置发挥功能。非发光图像获取步骤将多个辅助光源设为非发光状态而拍摄被摄体而获取非发光图像。发光图像获取步骤将多个辅助光源设为独立发光状态而分别拍摄被摄体而获取各辅助光源的发光图像。辅助光照射区域确定步骤将非发光图像及各发光图像分割成多个分割区域,并根据独立发光状态与非发光状态的各分割区域的信号值的差分,确定基于各辅助光源的辅助光所照射到的辅助光照射区域。优先区域选择步骤在各辅助光源的辅助光照射区域中选择使用于白平衡调整中的优先区域。白平衡调整值计算步骤根据基于被选择的优先区域的信号值而计算白平衡调整值。白平衡调整步骤进行基于白平衡调整值的调整。
发明效果
根据本发明,能够提供一种在基于多个辅助光源的摄影时主被摄体成为适宜的色调的白平衡调整装置及其工作方法和工作程序。
附图说明
图1是表示应用了本发明的白平衡调整装置的一实施方式的整体摄影***的立体图,表示点亮相机的闪光灯发光部而对预发光图像进行摄影的状态。
图2是相机及闪光灯装置的功能框图。
图3是主控制部及数字信号处理部中的功能框图。
图4是表示使用了多个闪光灯装置的摄影中的WB调整的流程图。
图5是表示确定闪光照射区域的说明图。
图6是表示优先区域的选择输入的说明图。
图7是表示点亮第2闪光灯装置而对摄影预发光图像进行摄影的状态的整体立体图。
图8是表示第2实施方式中的优先区域选择部的功能框图。
图9是表示第2实施方式的WB调整的流程图。
图10是表示脸部区域的检测的说明图。
图11是对闪光照射区域一部分重叠的情况的优先区域的确定方法进行说明的图。
图12是表示第3实施方式中的具有特殊效果滤镜的闪光灯装置的侧视图。
图13是表示第3实施方式的优先区域选择部的功能框图。
图14是表示第3实施方式中的WB调整的流程图。
图15是表示在坐标轴上具有R/G、B/G的色彩空间中的环境光的光源颜色信息、闪光的光源颜色信息及差分矢量的线图。
图16是表示在坐标轴上具有R/G、B/G的色彩空间中的各闪光照射区域的非发光时信号值平均、照射了没有特殊效果滤镜的状态的闪光时的信号值平均预测的线图。
图17是表示根据在坐标轴上具有R/G、B/G的色彩空间的判定范围H1内的预发光时的信号值平均的有无来判定是否为装配有特殊效果滤镜的闪光灯装置的线图。
图18是表示变形例1中的判定范围H2的线图。
图19是表示变形例2中的判定范围H3的线图。
图20是表示变形例3中的判定范围H4的线图。
图21是表示变形例4中的判定范围H5的线图。
图22是表示变形例5中的判定范围H6的线图。
图23是表示第4实施方式中的优先区域选择部的功能框图。
图24是表示第4实施方式中的WB调整的流程图。
具体实施方式
[第1实施方式]
图1是应用了本发明的白平衡(以下,称为WB)调整装置的一实施方式的摄影***10的整体结构图。摄影***10使用多个闪光灯装置12、13作为辅助光源,例如在摄影工作室9中被使用。摄影***10具有数码相机(以下,简称为相机)11及闪光灯装置12、13。相机11内置有包括闪光灯发光部14(参考图2)的闪光灯装置12。内置的闪光灯装置12在摄影***10中作为第1辅助光源发挥功能。闪光灯装置13与相机11另行设置,在摄影***10中,作为第2辅助光源发挥功能。
在摄影***10中进行多照明摄影的情况下,通过相机11对第1辅助光源(第1闪光灯装置12)、第2辅助光源(第2闪光灯装置13)发送控制信号而控制点亮时刻。第1闪光灯装置12朝向被摄体5中的主被摄体6而照射闪光灯,第2闪光灯装置13将闪光灯照射到被摄体5中的配置于主被摄体6背后的背景屏幕7。另外,在本实施方式中,作为第1辅助光源而使用内置于相机11中的闪光灯装置12,但这与第2辅助光源同样地,可以是与相机11独立设置的闪光灯装置或装卸自如地装配于相机11而成为一体化的闪光灯装置。
如图2所示,相机11及闪光灯装置13具备无线通信I/F(interface:接口)15、16,并能够在相机11与闪光灯装置13之间进行无线通信。另外,也可以是有线通信来代替无线通信。
闪光灯装置13除了无线通信I/F16以外,还具备闪光灯控制部17及闪光灯发光部18。闪光灯装置13通过无线通信I/F16而接收从相机11发送的光量调节信号。闪光灯控制部17控制闪光灯发光部18,根据光量调节信号使闪光灯发光部18点亮。闪光灯发光部18的点亮是发光时间为微秒级的闪光灯发光。相机11的闪光灯装置12的闪光灯发光部14也相同。
相机11具备透镜镜筒21、操作开关22及背面显示部23等。透镜镜筒21设置在相机主体11a(参考图1)的前面,并具有摄影光学***25或光圈26。
操作开关22在相机主体11a的上部或背面等设置有多个。操作开关22接收电源的接通或断开、释放操作及用于各种设定的输入操作。背面显示部23设置在相机主体11a的背面,并显示通过各种摄影模式而获取的图像或实时取景图像及用于进行各种设定的菜单画面。该背面显示部23的表面设置有触摸面板24。触摸面板24通过触摸面板控制部38而被控制,将通过触摸操作而被输入的命令信号发送到主控制部29。
在摄影光学***25及光圈26的背后,沿摄影光学***25的光轴LA依次配置快门27及成像元件28。成像元件28例如为具有RGB(Red(红)、Green(绿)、Blue(蓝))方式的滤色器的单板彩色摄像方式的CMOS(Complement ary metal-oxide-semiconductor:互补性金属氧化物半导体)型图像传感器。成像元件28通过摄影光学***25而拍摄成像于成像面上的被摄体图像,并输出摄像信号。
成像元件28具备噪声消除电路、自动增益控制器、A/D(Analog;模拟/D igital;数字)转换电路等信号处理电路(均未图示)。噪声消除电路对摄像信号实施噪声消除处理。自动增益控制器将摄像信号的电平放大为最佳值。A/D转换电路将摄像信号转换为数字信号,并从成像元件28输出。
成像元件28、主控制部29及闪光灯控制部30连接于总线33上。闪光灯控制部30与闪光灯发光部14一同构成相机11内置的闪光灯装置12。除此以外,总线33上连接有存储器控制部34、数字信号处理部35、介质控制部36、背面显示控制部37及触摸面板控制部38。
存储器控制部34上连接有SDRAM(Synchronous Dynamic Random Access Memory:同步动态随机存取存储器)等临时存储用存储器39。存储器控制部34使从成像元件28输出的数字摄像信号即图像数据输入到存储器39而存储。并且,存储器控制部34将存储在存储器39中的图像数据输出到数字信号处理部35。
数字信号处理部35对从存储器39输入的图像数据实施矩阵运算、去马赛克处理、WB调整、γ校正、亮度/色差转换、调整大小处理及压缩处理等公知的图像处理。
介质控制部36控制对记录介质40的图像数据的记录及读出。记录介质40例如为内置了闪光灯存储器的存储卡。介质控制部36将通过数字信号处理部35而被压缩的图像数据以规定的文件形式记录于记录介质40。
背面显示控制部37控制对背面显示部23的图像显示。具体而言,背面显示控制部37根据由数字信号处理部35生成的图像数据,生成遵照NTSC(Nati onal TelevisionSystem Committee:国家电视***委员会)标准等的视频信号,并输出到背面显示部23。
主控制部29控制相机11的摄影处理。具体而言,根据释放操作,经由快门驱动部41而控制快门27。与快门27的动作同步,对成像元件28的驱动进行控制。相机11能够设定各种摄影模式。主控制部29根据被设定的摄影模式控制光圈26的光圈值、快门27的曝光时间等,能够进行各种摄影模式的摄影。
在本实施方式中的相机11中,除了通常的各种摄影模式以外,还具备多照明摄影模式。多照明摄影模式在使用了多个辅助光源进行摄影时而被选择。在该多照明摄影模式中,确定不使用于WB调整值的计算的不必要辅助光源即不必要闪光灯装置,并排除该所确定的不必要闪光灯装置的闪光的照射区域,从而确定在WB调整中优先的优先区域,并根据该优先区域而计算WB调整值。然后,使用所算出的WB调整值,对通过正式发光时的图像即正式发光图像的摄影而得到的正式发光信号值进行WB调整。
主控制部29具有优先区域选择功能,以确定优先区域。若选择多照明摄影模式,则进行优先区域选择处理。在本实施方式中,在优先区域选择处理中使用户(摄影人员)掌握成像元件28的摄影范围内的2个闪光灯装置12、13各自的独立照射区域,从而使用户选择计算WB调整值时的优先区域。
如图3所示,在多照明摄影模式中,主控制部29作为照明控制部52、图像获取部53、闪光照射区域确定部(辅助光照射区域确定部)54及优先区域选择部55而发挥功能。这些各部是通过启动存储在相机11的非易失性存储器(未图式)中的工作程序45而进行的。同样地,数字信号处理部35作为WB调整部56发挥功能,并根据被选择的优先区域计算WB调整值进行WB调整。
图像获取部53具有非发光图像获取部53a和发光图像获取部53b。并且,WB调整部56具有WB调整值计算部59。
图4是表示多照明摄影模式中的WB调整的流程图。首先,在非发光信号值获取步骤S11中,通过成像元件28及图像获取部53的非发光图像获取部53a,在各闪光灯装置12、13为非发光的状态下,拍摄被摄体5(参考图1)的图像即非发光图像60(参考图5(2))。根据该非发光图像60获取非发光信号值。
在预发光信号值获取步骤S12中,通过成像元件28及发光图像获取部53b,在使各闪光灯装置12、13独立发光的状态(独立发光方式,参考图1及图7)下,拍摄被摄体5的图像即预发光图像61、62(参考图5(1)),并根据这些预发光图像61、62而获取发光信号值。该情况下,照明控制部52经由闪光灯控制部30或无线通信I/F15而控制闪光灯装置12、13的点亮时刻及光量。发光图像获取部53b使闪光灯装置12、13选择性地点亮,从而获取独立照射了各闪光的被摄体的图像即预发光图像61、62。
图1示出在工作室摄影中使第1闪光灯装置12点亮的状态。第1闪光灯装置12设定为对站在背景屏幕7前面的主被摄体6照射闪光灯。该状态下,第1闪光发光时的预发光图像即第1预发光图像61(参考图5(1))被拍摄。
图7示出使第2闪光灯装置13点亮的状态。第2闪光灯装置13设定为对存在在于主被摄体6的背面的背景屏幕7例如从右侧上方照射第2闪光。该状态下,第2闪光发光时的预发光图像即第2预发光图像62(参考图5(1))被拍摄。
图4中,在闪光照射区域确定步骤S13中,由闪光照射区域确定部54来确定来自各闪光灯装置12、13的各闪光所照射到的闪光照射区域。
图5是表示闪光照射区域确定步骤S13中的闪光照射区域确定部54的闪光照射区域确定处理的说明图。在闪光照射区域确定处理中,使用非发光图像60和预发光图像61、62来制作闪光照射区域确定图像63、64。
首先,将非发光图像60和预发光图像61、62分割成例如8×8的矩形状的分割区域65。分割区域65是以相同的分区分割了非发光图像60和预发光图像61、62的分割区域。分区数量或分区形状并不限定于图示例,可以适当地进行变更。接着,由从第1预发光图像61求出的各分割区域65的亮度值Ya减去从非发光图像60求出的各分割区域65的亮度值Y0,从而对每一个分割区域65求出差分。在该差分大于其他分割区域65的差分的情况下,将该差分大的分割区域65的集合确定为第1闪光照射区域67。
当获取非发光图像60和第1预发光图像61时,在摄影各图像60、61时,使曝光一致(使曝光相同)而进行摄影。或者,也可以代替使曝光一致,而根据摄影各图像60、61时的曝光差分,相对于非发光图像60及第1预发光图像61中的一方的亮度值而校正另一方的亮度值,通过信号处理而校正曝光差分。
同样地,根据从第2闪光灯装置13的第2预发光图像62求出的各分割区域65的亮度值Yb和从非发光图像60求出的各分割区域65的亮度值Y0,对每一个分割区域65求出差分。将该差分大于其他分割区域65的差分的分割区域65的集合确定为第2闪光照射区域68。该情况下,也进行当获取两个图像60、62时使曝光一致的预处理,或者根据摄影两个图像60、62时的曝光差分进行相对于两个图像60、62中的一方的亮度值而校正另一方的亮度值的后处理。
关于亮度值Ya、Yb、Y0,例如使用各分割区域内的各像素的信号值R、G、B,例如根据下式的亮度转换公式而计算各像素的亮度值。
Y=0.3R+0.6G+0.1B
接着,计算将以上述亮度转换公式算出的各分割区域内的各像素的亮度值进行了平均的亮度值平均。另外,只要是可以代表各分割区域的明度的值即可,所使用的值并不限定于上述亮度值,例如可以使用HSV色彩空间的明度V或La b色彩空间的明度L等。
在第1预发光图像61中,主被摄体6位于中央,来自第1闪光灯装置12的闪光(第1闪光)主要照射到该主被摄体6。因此,在闪光照射区域确定图像63中,如用阴影线来表示,基于第1闪光的闪光照射区域(第1闪光照射区域)67被确定。
在第2闪光灯装置13的第2预发光图像62中,以与第1闪光照射区域67的确定相同的方式确定基于第2闪光灯装置13的闪光照射区域(第2闪光照射区域)68。在第2预发光图像62中,如图7所示,由于第2闪光照射到背景屏幕7,因此,在闪光照射区域确定图像64中,如用阴影线来表示,第2闪光照射区域68被确定。
闪光照射区域确定部54求出所确定的闪光照射区域67、68在摄影画面上的位置作为坐标信息。坐标信息被输出到优先区域选择部55。
图4中,在优先区域选择步骤S14中,由优先区域选择部55在闪光照射区域67、68中选择作为WB调整对象的优先区域。优先区域选择步骤S14包括对背面显示部23的照射区域图像显示步骤S15和基于触摸面板24的优先区域选择输入步骤S16。
优先区域选择部55经由背面显示控制部37而控制背面显示部23,并且,经由触摸面板控制部38而接收对触摸面板24的选择输入。如图6(4)所示,优先区域选择部55使背面显示部23显示将各闪光照射区域67、68的框67a、68a进行了图像合成的被摄体图像69。具体而言,在优先区域选择部55的控制下,背面显示控制部37根据来自闪光照射区域确定部54的坐标信息,在被摄体图像69中将各闪光照射区域67、68的框67a、68a进行图像合成。被摄体图像69为摄影了与非发光图像60及预发光图像61、62相同的摄影范围的图像,例如为在正式摄影之前通过成像元件28而输出的实时取景图像(也称作预览图像或实时图像)。
被摄体图像69的各闪光照射区域67、68内显示有阴影线。阴影线根据各闪光照射区域67、68的亮度值平均,例如显示成亮度值越高,阴影线密度越高。如图6(5)所示,用户参考阴影线密度或主要被摄体6的位置,在WB调整中通过亲自用手指70触摸希望优先的优先区域66而进行选择。使用触摸面24进行选择。例如在各闪光灯装置12、13中闪光灯装置12为应优先的闪光灯装置的情况下,通过用手指70触摸基于该闪光灯装置12的闪光照射区域67而进行指定。由此,如图6(6)所示,优先区域66被确定。即,触摸面板24相当于将优先区域66的选择命令输入到优先区域选择部55的选择输入部。另外,也可以代替阴影线显示,而以与各闪光照射区域67、68的亮度值平均对应的(例如成比例的)亮度值来显示各闪光照射区域67、68。并且,在触摸面板24中选择的优先区域66并不限定于1个,也可以是多个。
在图6(4)所示的被摄体图像69的情况下,根据阴影线的显示,判定为相对于包括主要被摄体6的第1闪光照射区域67的亮度,以背景屏幕7为主的第2闪光照射区域68的亮度高。因此在以往的多照明摄影模式中的自动WB处理中,导致根据亮度高的第2闪光照射区域68的像素进行WB调整。从而,由于根据背景屏幕7的像素进行WB调整,因此导致主被摄体6偏离原来的色调。
相对于此,在第1实施方式中,用优先区域选择部55进行优先区域选择输入步骤S16。在优先区域选择输入步骤S16中,如图6(5)所示,通过根据用户用手指70等对第1闪光照射区域67的触摸操作而进行的指定,由此主要被摄体6的区域即第1闪光照射区域67作为优先区域66而被可靠地选择。根据该主要被摄体6的区域即优先区域66计算WB调整值,因此能够使主要被摄体6呈现适宜的色调。
如图4所示,在数字信号处理部35的WB调整部56中进行WB调整值计算步骤S17及WB调整步骤S18。WB调整值计算步骤S17由WB调整值计算部59来执行。
WB调整值计算步骤S17如下执行。首先,进行用于拍摄记录图像的正式发光。该正式发光中,以用于求出闪光照射区域的独立发光即预发光时的K倍发光量进行发光并进行拍摄。另外,倍率K根据相机的调光结果或用户的设定而被确定。将正式发光时的亮度值的分布设为Yexp(i,j),将只有环境光的闪光非发光时的亮度值的分布设为Y0(i,j)的情况下,若将使用这些亮度值对优先区域66内的值进行平均等处理而算出的代表值设为Yexp#type、Y0#type,则在优先区域66中的亮度中,表示闪光的比例的α用下式来求出。
α=(Yexp#type-Y0#type)/Yexp#type
若将环境光的WB调整值设为G0,将只有记录在相机内的闪光发光时的WB调整值设为Gfl,则可以用下式求出所要求的WB调整值Gwb。
Gwb=(Gfl-G0)×α+G0
在正式发光时,通过在使第1闪光灯装置12、第2闪光灯装置13双方发光的状态下拍摄被摄体5而获取正式发光图像。在WB调整部56中,如图4所示进行WB调整步骤S18,通过对正式发光图像的信号值R、G、B乘以WB调整值Gwb而调整WB。由此,光源色被取消。另外,WB调整值Gwb并不限定于上述方法,而可以用各种方法求出。
在本实施方式中,用户将应优先的区域作为优先区域66进行选择并输入,因此根据符合用户意图的优先区域66而计算WB调整值而进行WB调整。由此,在基于多个辅助光源进行摄影时,能够使主要被摄体6的图像呈现适宜的色调。
在上述实施方式中,以使用2个闪光灯装置12、13的情况为例进行了说明,但也可以使用3个以上的闪光灯装置。该情况下,基于多个闪光对优先区域进行与上述相同的处理,从而求出WB调整值Gwb。
另外,在本实施方式中,在用于摄影记录图像的正式发光之前进行优先区域的确定及WB调整值的计算,但进行优先区域的确定及WB调整值的计算的时刻并不限定于此,例如也可以在正式发光之后进行优先区域的确定及WB调整值的计算。
在本实施方式中,使用触摸面板24在WB调整中选择及确定优先区域,但优先区域的确定方法并不限定于此,例如也可以使用操作开关22,或者使用语音输入,从而选择及确定优先区域。
[第2实施方式]
在第1实施方式中,用户用触摸面板24亲自选择优先区域66,由此确定使用于WB调整的优先区域66。相对于此,在图8所示的第2实施方式中,优先区域选择部72具有闪光照射区域加算部(辅助光照射区域加算部)73、脸部区域检测部74及优先区域确定部75。另外,在以下各实施方式中,在与第1实施方式相同的构成部件及相同的处理步骤中,标注相同的符号并省略重复说明。
图9是表示第2实施方式中的处理顺序的流程图。另外,非发光信号值获取步骤S11、预发光信号值获取步骤S12、闪光照射区域确定步骤S13、WB调整值计算步骤S17及WB调整步骤S18为与第1实施方式相同的处理,只有优先区域选择步骤S21不同。优先区域选择步骤S21包括闪光照射区域加算步骤S22、脸部区域检测步骤S23及优先区域确定步骤S24。
在闪光照射区域加算步骤S22中,如图10所示,将各闪光照射区域67、68进行加算并计算加算区域71。另外,加算是指求出各闪光照射区域67、68的逻辑析取,被框线71a所包围的区域成为加算区域71。
在脸部区域检测步骤S23中,如图10所示,脸部区域检测部74从第1预发光图像61中检测人物的脸部区域79。在脸部区域79的检测中,优选使用比求出闪光照射区域67、68时所使用的分割区域65尺寸小的分割区域(增加分割数量而比分割区域65细的分割区域)。另外,也可以从非发光图像60或第2预发光图像62中检测脸部区域79。
在优先区域确定步骤S24中,优先区域确定部75确定由脸部区域检测部74检测出的脸部区域79在哪一个闪光照射区域67、68。然后,从加算区域71中排除没有脸部区域79的闪光照射区域68。将因该排除而残留的闪光照射区域67确定为优先区域。
优先区域确定部75例如根据表示相对于图像的彼此的位置的坐标,求出脸部区域检测部74所检测出的脸部区域79是在第1闪光照射区域67,还是在第2闪光照射区域68。在确定优先区域之后,以与第1实施方式相同的方式进行WB调整。
脸部区域79根据表示人物的肤色的区域进行检测。除此以外,脸部区域79的检测也可以利用基于眼睛、鼻子、嘴等的形状识别的方法、基于组合肤色区域和形状识别的方法及其他各种脸部识别方法。
在本实施方式中,能够自动检测脸部区域79而确定优先区域,如第1实施方式,无需使用户选择优先区域,使用性得到提高。
另外,如图11所示,在多个闪光照射区域80、81重复的情况下,从标注阴影线的加算区域82中排除没有脸部区域79的闪光照射区域81,所残留的闪光照射区域80的一部分成为优先区域66。
[第3实施方式]
如图12所示,在工作室摄影中,将特殊效果滤镜83装配到闪光灯装置13的照射表面,有时在背景上投影颜色或图样进行摄影。在工作室摄影中,多数情况下,根据季节或活动等进行纪念摄影,为了成为与各季节或活动等对应的背景颜色而使用特殊效果滤镜83。例如4月开学时进行开学纪念摄影的情况下,为了想像盛开的樱花而使用使背景成为粉色的特殊效果滤镜83或如樱花花瓣散落一样的特殊效果滤镜83。基于这种特殊效果滤镜83的工作室摄影中的优先区域通过去除基于该背景用闪光灯装置的照射区域而能够自动选择。
如图13所示,在第3实施方式中,优先区域选择部84具有闪光照射区域加算部73及优先区域确定部85。优先区域确定部85具有环境光坐标计算部87、闪光记录部88、差分矢量计算部89、计算闪光照射区域的非发光时信号值平均的非发光时的信号值平均计算部90、计算闪光照射区域的预发光时的信号值平均的预发光时的信号值平均计算部91、信号值平均预测值计算部92及特殊效果用途闪光判别部93。优先区域确定部85识别基于特殊效果滤镜83的闪光,并从加算区域中排除使用了该特殊效果滤镜83的闪光所照射的区域,并选择通过排除而残留的加算区域作为优先区域。
图14是表示第3实施方式中的处理顺序的流程图。另外,非发光信号值获取步骤S11、预发光信号值获取步骤S12、闪光照射区域确定步骤S13、WB调整值计算步骤S17及WB调整步骤S18为与第1实施方式相同的处理,只有优先区域选择步骤S31不同。优先区域选择步骤S31通过优先区域选择部84而进行,包括闪光照射区域加算步骤S22和根据图像信息的判定而确定优先区域的优先区域确定步骤S32。优先区域确定步骤S32进行以下所示的处理,并确定优先区域。
首先,如图15所示,由环境光坐标计算部87根据非发光图像的信号值而计算例如在坐标轴上具有R/G、B/G的表示色彩空间中的环境光的光源颜色信息的A点的光源坐标(R0/G0,B0/G0)。
接着,预先计算出表示相同的色彩空间中的闪光的光源颜色信息的B点的光源坐标(Rf/Gf,Bf/Gf),由闪光记录部88存储于非易失性存储器等中。接着,由差分矢量计算部89根据A点的坐标(R0/G0,B0/G0)及B点的坐标(Rf/Gf,Bf/Gf)计算其差值即矢量C。矢量C输出到信号值平均预测值计算部92。
接着,如图16所示,由非发光时信号值平均计算部90计算各闪光照射区域的非发光时的信号值平均R1、G1、B1(相当于辅助光照射区域的非发光时的像素信息),并计算色彩空间中的D点的坐标(R1/G1,B1/G1)。D点的坐标(R1/G1,B1/G1)输出到信号值平均预测值计算部92及特殊效果用途闪光判别部93。
接着,由信号值平均预测值计算部92根据下式而计算色彩空间中的E点的坐标(R2/G2,B2/G2),该坐标表示在相同的闪光照射区域没有特殊效果滤镜83且也没有环境光的状态下,仅照射了闪光时的信号值平均预测值R2、G2、B2。在此,预测值R2、G2、B2相当于辅助光源发光时的信号值平均预测值。
(R2/G2,B2/G2)=(R1/G1,B1/G1)+C
接着,由预发光时信号值平均计算部91求出预发光图像的闪光照射区域中的信号值平均Rpre、Gpre、Bpre(相当于根据发光图像的像素信息),如图17所示,计算表示该预发光时的信号值平均Rpre、Gpre、Bpre的、色彩空间中的F点的坐标(Rpre/Gpre,Bpre/Gpre)。F点的坐标(Rpre/Gpre,Bpre/Gpr e)被输出到特殊效果用途闪光判别部93。
接着,由特殊效果用途闪光判别部93根据F点的坐标(Rpre/Gpre,Bpre/Gpre)而判定是否为具有特殊效果滤镜83的闪光。将用非发光时信号值平均坐标(R1/G1,B1/G1)来表示的D点和用闪光发光时信号值平均预测值坐标(R2/G2,B2/G2)来表示的E点设为对角线的两端的矩形的判定范围H1内存在F点的坐标(Rpre/Gpre,Bpre/Gpre)的情况下,特殊效果用途闪光判别部93判定为没有特殊效果滤镜83的通常的闪光(色温:5000~6000K)。相反地,在判定范围H1内没有F点的坐标(Rpre/Gpre,Bpre/Gpre)的情况下,判定为装配有特殊效果滤镜83的闪光灯装置。从而,在装配有特殊效果滤镜83的闪光灯装置的情况下,基于该闪光灯装置的照射区域从加算区域中被排除,所残留的加算区域被判定为优先区域。
从优先区域的选择对象中排除使用了特殊效果滤镜83的闪光的照射区域,并选择所残留的照射区域作为优先区域,因此从优先区域的选择候补中可靠地排除使用了多使用于背景照明中的特殊效果滤镜83的闪光的照射区域,并选择对人物等主要被摄体6发出的闪光的照射区域作为优先区域。从而,能够将主要被摄体6设为适宜的色调。
另外,在被判定为是优先区域的闪光照射区域存在多个的情况下,例如将亮度值平均高的一方的闪光照射区域确定为优先区域。并且,取而代之,将用户的光量设定比率大的一方确定为优先区域。进而,也可以将多个闪光照射区域确定为优先区域,来代替如上所述选择其中任一方。
在被确定是优先区域的闪光照射区域存在多个的情况下,如下求出WB调整值Gwb。
例如优先区域为2个的情况下,首先,将使第1优先闪光及第2优先闪光分别独立发光时的被分割成i×j个块(分割区域65,该例中i,j=1~8)的亮度值的分布分别设为Ypre1(i,j)、Ypre2(i,j),将非发光时(=只有环境光)的亮度值的分布设为Y0(i,j),则可以分别用下式求出通过第1、第2优先闪光而增加的亮度值的分布ΔYpre1(i,j)、ΔYpre2(i,j)。
ΔYpre1(i,j)=Ypre1(i,j)-Y0(i,j)
ΔYpre2(i,j)=Ypre2(i,j)-Y0(i,j)
被预测为正式发光时仅通过第1优先闪光及第2优先闪光而增加的亮度值的分布ΔYexp(i,j)成为如同下式。另外,K1根据第1优先闪光的(正式发光时发光量)/(预发光时发光量)求出,K2根据第2优先闪光的(正式发光时发光量)/(预发光时发光量)求出。
ΔYexp(i,j)=K1×ΔYpre1(i,j)+K2×ΔYpre2(i,j)
根据所求出的增加量的亮度值的分布ΔYexp(i,j),以下,以与优先区域为1个的情况相同的方式,分别根据被预测的亮度值的分布Yexp(i,j)、Y0(i,j),将优先区域的代表值设为Yexp#type、Y0#type,则在优先区域中的亮度中,计算表示优先闪光的比例的α等,从而最终求出WB调整值Gwb。根据该WB调整值Gwb,如上所述进行WB调整。
[变形例1]
在上述第3实施方式中,如图17所示,使用了矩形判定范围H1,但在图18所示的变形例1中使用在与连接D点与E点的线段正交的方向上以宽度h被规定的矩形的判定范围H2。宽度h例如使用线段DE的长度的30%的长度。具体而言,宽度h被设定为WB性能变得最佳的值。
[变形例2]
并且,在图19所示的变形例2中,使用的是相对于连接D点与E点的线段,以D点为基准,以规定角度θ分开的扇形(fan-shaped)的判定范围H3。角度θ被设定为WB性能变得最佳的值。
[变形例3~5]
相对于图17所示的判定范围H1,在图20所示的变形例3中使用判定范围H4,该判定范围范围H4通过在矢量C的长度上乘以缩小率β(β<1)而使长度比矢量C短。同样地,相对于图18所示的变形例1的判定范围H2,在图21所示的变形例4中使用判定范围H5,该判定范围H5通过在线段DE的长度上乘以缩小率β而使长度比线段DE短。同样地,相对于图19所示的变形例2的判定范围H3,在图22所示的变形例5中使用扇形的判定范围H6,该判定范围H6通过在线段DE的长度上乘以缩小率β而使长度比线段DE短。
由下式求出缩小率β。
β=(Ypre-Y0)/Ypre
另外,Ypre是闪光照射区域的预发光时的亮度值平均,Y0是相同的闪光照射区域的非发光时的亮度值平均。另外,优选使用在β上例如乘以1.2的值β1(=β×1.2),从而使缩小率β具有余裕。
如上述变形例1~5,使判定范围H2~H6比图17所示的判定范围H1窄,由此能够更严格地判定是否为装配有特殊效果滤镜83的闪光灯装置的闪光。
另外,在第3实施方式中,在将非发光时信号值平均及闪光发光时的信号值平均预测值作为两端而包括的范围内存在发光时信号值平均的情况下判定为优先区域,但并不限定于该判定方法。例如也可以根据基于预先存储的闪光的像素信息而确定优先区域。
[第4实施方式]
如图23所示,在第4实施方式中,优先区域选择部95具有空间频率计算部96和优先区域确定部97,并根据通过空间频率计算部96而算出的空间频率,通过优先区域确定部97而判定是否为照射背景的闪光。
图24是表示第4实施方式中的处理顺序的流程图。另外,非发光信号值获取步骤S11、预发光信号值获取步骤S12、闪光照射区域确定步骤S13、WB调整值计算步骤S17及WB调整步骤S18为与第1实施方式相同的处理,只有优先区域选择步骤S41不同。在优先区域选择步骤S41中进行闪光照射区域加算步骤S22、空间频率计算步骤S42及优先区域确定步骤S43。
在空间频率计算步骤S42中,由空间频率计算部96计算基于非发光图像60中的各闪光灯装置12、13的闪光照射区域67、68的空间频率。在优先区域确定步骤S43中,在所算出的基于各闪光灯装置12、13的闪光照射区域67、68的空间频率为恒定值以下的情况下,优先区域确定部97从加算区域中排除具有恒定值以下的空间频率的闪光照射区域。背景屏幕7大多由素色屏幕构成,空间频率大多为恒定值以下。从而,在该例中与背景屏幕7对应的闪光照射区域68被排除,选择因该排除而残留的闪光照射区域67作为优先区域。
另外,在存在多个通过排除而残留的闪光照射区域的情况下,将亮度值平均高的闪光照射区域确定为优先区域。并且,也可以将所残留的多个闪光照射区域全部确定为优先区域,来代替仅确定1个优先区域。
从优先区域的选择候补中排除空间频率为恒定值以下的闪光照射区域,并将通过排除而残留的照射区域确定为优先区域,因此从优先区域的选择对象中可靠地排除照射背景屏幕7的闪光的照射区域,并选择照射主要被摄体6的闪光的照射区域作为优先区域。从而,能够将主要被摄体6设为适宜的色调。
在上述各实施方式中,非发光图像获取部53a、发光图像获取部53b、闪光照射区域确定部(辅助光照射区域确定部)54、优先区域选择部55、72、84、95、WB调整值计算部59、WB调整部56、闪光照射区域加算部(辅助光照射区域加算部)73、脸部区域检测部74、优先区域确定部75、85、97、空间频率计算部96等执行各种处理的处理部(processing unit)的硬件结构为如下所示的各种处理器(processor)。各种处理器中包括执行软件(程序)而作为各种处理部发挥功能的通用的处理器即CPU(Central Processing Unit:中央处理器)或FPGA(Field Programmable Gate Array:现场可编程门阵列)等在制造之后能够变更电路结构的处理器即可编程逻辑器件(Programmable Log ic Device:PLD),还包括ASIC(Application Specific Integrated Circuit:专用集成电路)等具有为了执行特定的处理而专门设计的电路结构的处理器即专用电路等。
1个处理部可以通过这些各种处理器中的1个而构成,也可以通过相同种类或不同种类的2个以上的处理器的组合(例如多个FPGA或CPU与FPGA的组合)而构成。并且,也可以通过1个处理器构成多个处理部。作为由1个处理器构成多个处理部的例子,第一,有如下形式:通过1个以上的CPU和软件的组合而构成1个处理器,该处理器作为多个处理部而发挥功能。第二,有如下形式:如以***晶片(System On Chip:SoC)等为代表,使用用1个IC(Integrated Circuit:集成电路)芯片来实现包括多个处理部的整个***的功能的处理器。如此,各种处理部使用1个以上的上述各种处理器作为硬件结构。
而且,更具体而言,这些各种处理器的硬件结构是将半导体元件等电路元件进行了组合的电路(circuitry)。
根据以上说明,能够掌握以下附录中所示出的发明。
[附录1]
一种白平衡调整装置,其具备:
非发光图像获取处理器,将多个辅助光源设为非发光状态而拍摄被摄体而获取非发光图像;
发光图像获取处理器,将多个所述辅助光源设为独立发光状态而分别拍摄所述被摄体而获取各所述辅助光源的发光图像;
辅助光照射区域确定处理器,将所述非发光图像及各所述发光图像分割成多个分割区域,并根据所述独立发光状态与所述非发光状态的各分割区域的信号值的差分,确定基于各所述辅助光源的辅助光所照射到的辅助光照射区域;
优先区域选择处理器,在各所述辅助光源的所述辅助光照射区域中,选择使用于白平衡调整中的优先区域;
白平衡调整值计算处理器,根据被选择的所述优先区域的信号值,计算所述白平衡调整值;及
白平衡调整处理器,进行基于所述白平衡调整值的调整。
本发明并不限定于上述各实施方式或变形例,只要不脱离本发明的主旨便可以采用各种结构是理所当然的。例如,也能够适当地组合上述各实施方式或变形例。
本发明除了相机11以外,还能够适用于移动电话、智能手机等的摄像装置中。
符号说明
5-被摄体,6-主被摄体,7-背景屏幕,9-摄影工作室,10-摄影***,11-数码相机(相机),11a-相机主体,12-第1闪光灯装置(辅助光源),13-第2闪光灯装置(辅助光源),14-闪光灯发光部,15、16-无线通信I/F,17-闪光灯控制部,18-闪光灯发光部,21-透镜镜筒,22-操作开关,23-背面显示部,24-触摸面板,25-摄影光学***,26-光圈,27-快门,28-成像元件,29-主控制部,30-闪光灯控制部,33-总线,34-存储器控制部,35-数字信号处理部,36-介质控制部,37-背面显示控制部,38-触摸面板控制部,39-存储器,40-记录介质,41-快门驱动部,45-工作程序,52-照明控制部,53-图像获取部,53a-非发光图像获取部,53b-发光图像获取部,54-闪光照射区域确定部,55-优先区域选择部,56-WB调整部(白平衡调整部),59-WB调整值计算部(白平衡调整值计算部),60-非发光图像,61、62-第1、第2预发光图像,63、64-闪光照射区域确定图像,65-分割区域,66-优先区域,67-第1闪光照射区域,67a-框,68-第2闪光照射区域,68a-框,69-被摄体图像,70-手指,71-加算区域,71a-框线,72-优先区域选择部,73-闪光照射区域加算部(辅助光照射区域加算部),74-脸部区域检测部,75-优先区域确定部,79-脸部区域,80、81-闪光照射区域,82-加算区域,83-特殊效果滤镜,84-优先区域选择部,85-优先区域确定部,87-环境光坐标计算部,88-闪光记录部,89-差分矢量计算部,90-非发光时信号值平均计算部,91-预发光时信号值平均计算部,92-信号值平均预测值计算部,93-特殊效果用途闪光判别部,95-优先区域选择部,96-空间频率计算部,97-优先区域确定部,A-环境光的光源坐标,B-闪光的光源坐标,C-矢量,D-闪光照射区域的非发光时信号值平均,DE-线段,E-闪光照射区域的只有闪光灯发光时的信号值平均预测值,H1~H6-判定范围,LA-光轴,h-宽度,θ-角度,S11-非发光信号值获取步骤,S12-预发光信号值获取步骤,S13-闪光照射区域确定步骤(辅助光照射区域确定步骤),S14-优先区域选择步骤,S15-照射区域图像显示步骤,S16-优先区域选择输入步骤,S17-WB调整值计算步骤(白平衡调整值计算步骤),S18-WB调整步骤(白平衡调整步骤),S21、S31、S41-优先区域选择步骤,S22-闪光照射区域加算步骤,S23-脸部区域检测步骤,S24-优先区域确定步骤,S32-优先区域确定步骤,S42-空间频率计算步骤,S43-优先区域确定步骤。

Claims (12)

1.一种白平衡调整装置,具备:
非发光图像获取部,将多个辅助光源设为非发光状态而拍摄被摄体而获取非发光图像;
发光图像获取部,将多个所述辅助光源设为独立发光状态而分别拍摄所述被摄体而获取各所述辅助光源的发光图像;
辅助光照射区域确定部,将所述非发光图像及各所述发光图像分割成多个分割区域,并根据所述独立发光状态与所述非发光状态的各分割区域的信号值的差分,确定基于各所述辅助光源的辅助光所照射到的辅助光照射区域;
优先区域选择部,在各所述辅助光源的所述辅助光照射区域中,选择使用于白平衡调整中的优先区域;
白平衡调整值计算部,根据被选择的所述优先区域的信号值而计算白平衡调整值;及
白平衡调整部,进行基于所述白平衡调整值的调整。
2.根据权利要求1所述的白平衡调整装置,其具有:
选择输入部,将从基于各所述辅助光源的所述辅助光照射区域中选择1个或多个所述优先区域的选择命令输入到所述优先区域选择部。
3.根据权利要求1所述的白平衡调整装置,其中,
所述优先区域选择部具有:
辅助光照射区域加算部,计算将各所述辅助光照射区域进行了加算的加算区域;
脸部区域检测部,从所述非发光图像或所述发光图像中检测脸部区域;
优先区域确定部,确定由所述脸部区域检测部检测出的所述脸部区域在哪一个所述辅助光照射区域,并从所述加算区域中排除没有所述脸部区域的所述辅助光照射区域,将通过排除而残留的区域确定为所述优先区域。
4.根据权利要求1所述的白平衡调整装置,其中,
所述优先区域选择部具有:
辅助光照射区域加算部,计算将各所述辅助光照射区域进行了加算的加算区域;及
优先区域确定部,根据基于预先存储的所述辅助光源的像素信息及所述加算区域而确定所述优先区域。
5.根据权利要求4所述的白平衡调整装置,其中,
所述优先区域确定部,根据预先存储的基于所述辅助光的光源颜色信息、从所述非发光图像获取的基于环境光的光源颜色信息及所述辅助光照射区域的非发光时的像素信息,设定色彩空间中的判定范围,
在基于发光图像的像素信息位于所述判定范围外的情况下,从所述加算区域中排除所述辅助光照射区域,将通过排除而残留的区域判定为优先区域。
6.根据权利要求5所述的白平衡调整装置,其中,
基于所述辅助光的光源颜色信息是表示色彩空间中的所述辅助光的颜色的坐标,
基于所述环境光的光源颜色信息是根据所述非发光图像求出并表示色彩空间中的所述环境光的颜色的坐标,
所述辅助光照射区域的非发光时的像素信息是根据所述非发光图像求出并表示色彩空间中的所述辅助光照射区域的非发光时信号值平均的坐标,
所述优先区域确定部计算所述辅助光的坐标与所述环境光的坐标的差即差分矢量,
在所述非发光时信号值平均的坐标上将所述差分矢量进行相加,从而求出所述辅助光源发光时的信号值平均预测值,
根据所述发光图像,计算所述色彩空间中的所述辅助光照射区域的信号值平均即发光时信号值平均,
根据所述非发光时信号值平均、所述辅助光源发光时的信号值平均预测值及发光时信号值平均而判定优先区域。
7.根据权利要求6所述的白平衡调整装置,其中,
在将所述非发光时信号值平均及所述辅助光源发光时的信号值平均预测值作为两端而包括的所述判定范围外存在所述发光时信号值平均的情况下,所述优先区域确定部从所述加算区域中排除所述辅助光照射区域,并选择通过排除而残留的区域作为优先区域。
8.根据权利要求1所述的白平衡调整装置,其中,
所述优先区域选择部具有:
辅助光照射区域加算部,计算将各所述辅助光照射区域进行了加算的加算区域;
空间频率计算部,计算所述非发光图像中的基于各所述辅助光源的所述辅助光照射区域的空间频率;及
优先区域确定部,在基于各所述辅助光源的所述辅助光照射区域的空间频率为恒定值以下的情况下,从所述加算区域中排除空间频率为恒定值以下的所述辅助光照射区域,并选择通过排除而残留的区域作为优先区域。
9.根据权利要求1至8中任一项所述的白平衡调整装置,其中,
所述白平衡调整值计算部获取将所述辅助光源设为发光状态而拍摄了所述被摄体的正式发光时的发光图像,并根据所述发光图像的所述优先区域中的信号值及所述非发光图像的所述优先区域中的信号值而计算白平衡调整值。
10.根据权利要求1至9中任一项所述的白平衡调整装置,其中,
所述白平衡调整部获取将多个所述辅助光源设为以正式发光时的发光量发光的状态而拍摄了所述被摄体的正式发光图像,并对所述正式发光图像进行基于所述白平衡调整值的白平衡调整。
11.一种白平衡调整装置的工作方法,具有:
非发光图像获取步骤,将多个辅助光源设为非发光状态而拍摄被摄体而获取非发光图像;
发光图像获取步骤,将多个所述辅助光源设为独立发光状态而分别拍摄所述被摄体而获取各所述辅助光源的发光图像;
辅助光照射区域确定步骤,将所述非发光图像及各所述发光图像分割成多个分割区域,并根据所述独立发光状态与所述非发光状态的各分割区域的信号值的差分,确定基于各所述辅助光源的辅助光所照射到的辅助光照射区域;
优先区域选择步骤,在各所述辅助光源的所述辅助光照射区域中,选择使用于白平衡调整中的优先区域;
白平衡调整值计算步骤,根据被选择的所述优先区域的信号值,计算白平衡调整值;及
白平衡调整步骤,进行基于所述白平衡调整值的调整。
12.一种白平衡调整装置的工作程序,通过使计算机执行以下步骤而使计算机作为白平衡调整装置发挥功能,所述步骤包括:
非发光图像获取步骤,将多个辅助光源设为非发光状态而拍摄被摄体而获取非发光图像;
发光图像获取步骤,将多个所述辅助光源设为独立发光状态而分别拍摄所述被摄体而获取各所述辅助光源的发光图像;
辅助光照射区域确定步骤,将所述非发光图像及各所述发光图像分割成多个分割区域,并根据所述独立发光状态与所述非发光状态的各分割区域的信号值的差分,确定基于各所述辅助光源的辅助光所照射到的辅助光照射区域;
优先区域选择步骤,在各所述辅助光源的所述辅助光照射区域中,选择使用于白平衡调整中的优先区域;及
白平衡调整值计算步骤,根据被选择的所述优先区域的信号值,计算白平衡调整值;及
白平衡调整步骤,进行基于所述白平衡调整值的调整。
CN201780022087.4A 2016-03-31 2017-02-20 白平衡调整装置及其工作方法和非临时性的计算机可读介质 Active CN109076199B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-073269 2016-03-31
JP2016073269 2016-03-31
PCT/JP2017/006234 WO2017169287A1 (ja) 2016-03-31 2017-02-20 ホワイトバランス調整装置及びその作動方法並びに作動プログラム

Publications (2)

Publication Number Publication Date
CN109076199A true CN109076199A (zh) 2018-12-21
CN109076199B CN109076199B (zh) 2021-06-15

Family

ID=59963067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780022087.4A Active CN109076199B (zh) 2016-03-31 2017-02-20 白平衡调整装置及其工作方法和非临时性的计算机可读介质

Country Status (4)

Country Link
US (1) US20190037191A1 (zh)
JP (1) JP6533336B2 (zh)
CN (1) CN109076199B (zh)
WO (1) WO2017169287A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019216072A1 (ja) * 2018-05-08 2019-11-14 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム
CN111866373B (zh) * 2020-06-19 2021-12-28 北京小米移动软件有限公司 一种显示拍摄预览图像的方法、装置及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1992820B (zh) * 2005-12-27 2010-12-22 三星数码影像株式会社 具有有助于曝光补偿的脸部检测功能的数字照相机
CN102469243A (zh) * 2010-11-04 2012-05-23 卡西欧计算机株式会社 能白平衡调整的摄像装置
CN103250418A (zh) * 2010-11-30 2013-08-14 富士胶片株式会社 图像处理设备、成像设备、图像处理方法、及白平衡调整方法
CN103369252A (zh) * 2012-04-04 2013-10-23 佳能株式会社 图像处理装置、图像处理装置的控制方法及图像拍摄装置
CN103379281A (zh) * 2012-04-20 2013-10-30 佳能株式会社 用于进行图像合成的图像处理设备和图像处理方法
WO2016006304A1 (ja) * 2014-07-08 2016-01-14 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5791274B2 (ja) * 2010-12-20 2015-10-07 キヤノン株式会社 画像処理装置、方法及びプログラム
JP2013017083A (ja) * 2011-07-05 2013-01-24 Canon Inc 撮像装置
JP2013143593A (ja) * 2012-01-06 2013-07-22 Canon Inc 撮像装置、その制御方法およびプログラム
JP6049343B2 (ja) * 2012-08-01 2016-12-21 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
KR101718043B1 (ko) * 2015-08-20 2017-03-20 엘지전자 주식회사 이동 단말기 및 이의 제어방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1992820B (zh) * 2005-12-27 2010-12-22 三星数码影像株式会社 具有有助于曝光补偿的脸部检测功能的数字照相机
CN102469243A (zh) * 2010-11-04 2012-05-23 卡西欧计算机株式会社 能白平衡调整的摄像装置
US20140293089A1 (en) * 2010-11-04 2014-10-02 Casio Computer Co., Ltd. Image capturing apparatus capable of adjusting white balance
CN103250418A (zh) * 2010-11-30 2013-08-14 富士胶片株式会社 图像处理设备、成像设备、图像处理方法、及白平衡调整方法
CN103369252A (zh) * 2012-04-04 2013-10-23 佳能株式会社 图像处理装置、图像处理装置的控制方法及图像拍摄装置
CN103379281A (zh) * 2012-04-20 2013-10-30 佳能株式会社 用于进行图像合成的图像处理设备和图像处理方法
WO2016006304A1 (ja) * 2014-07-08 2016-01-14 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム

Also Published As

Publication number Publication date
CN109076199B (zh) 2021-06-15
JPWO2017169287A1 (ja) 2018-12-13
US20190037191A1 (en) 2019-01-31
JP6533336B2 (ja) 2019-06-19
WO2017169287A1 (ja) 2017-10-05

Similar Documents

Publication Publication Date Title
US8976264B2 (en) Color balance in digital photography
JP4236433B2 (ja) 写真撮影においてフィル・フラッシュをシミュレートするシステム及び方法
JP6494181B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP6508890B2 (ja) 画像処理装置、その制御方法、および制御プログラム
CN107534738A (zh) 用于生成数字图像的***和方法
JP2002290979A (ja) 逆ホワイトバランス調整された観察者順応補償を含む確認ディスプレイを備えたカメラおよびその撮影方法
JP2002232901A (ja) 確認ディスプレイと色かぶりインジケータとを含むユーザインタフェースを備えたカメラおよびその撮影方法
JP2002287235A (ja) 多色シーンおよび/またはシーンの多色撮影画像における主色を表示するカメラおよび方法
CN101383907B (zh) 图像处理装置和图像处理方法
JP2002303910A (ja) 色補正フラッシュ装置、カメラおよび方法
CN109076199A (zh) 白平衡调整装置及其工作方法和工作程序
CN113676715A (zh) 图像处理方法及装置
CN108886608A (zh) 白平衡调整装置及其工作方法和工作程序
JP2017152866A (ja) 画像処理装置及び画像処理方法
JP2019179463A (ja) 画像処理装置、その制御方法、プログラム、記録媒体
JP2015064456A (ja) 撮影装置用照明装置、撮影装置、および撮影装置用照明光制御方法
US11451719B2 (en) Image processing apparatus, image capture apparatus, and image processing method
TWI767468B (zh) 雙感測器攝像系統及其攝像方法
CN109300186A (zh) 图像处理方法和装置、存储介质、电子设备
JP2014219602A (ja) 撮影装置
JP6552165B2 (ja) 画像処理装置、その制御方法、および制御プログラム
JP5737880B2 (ja) 撮像装置及び撮像装置の制御方法
JP6725105B2 (ja) 撮像装置及び画像処理方法
Bilissi et al. Exposure and image control
JP2016005105A (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant