CN106165409A - 图像处理装置、摄像装置、图像处理方法及程序 - Google Patents

图像处理装置、摄像装置、图像处理方法及程序 Download PDF

Info

Publication number
CN106165409A
CN106165409A CN201580017975.8A CN201580017975A CN106165409A CN 106165409 A CN106165409 A CN 106165409A CN 201580017975 A CN201580017975 A CN 201580017975A CN 106165409 A CN106165409 A CN 106165409A
Authority
CN
China
Prior art keywords
white balance
view data
pixel
image data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580017975.8A
Other languages
English (en)
Other versions
CN106165409B (zh
Inventor
藤原慎也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN106165409A publication Critical patent/CN106165409A/zh
Application granted granted Critical
Publication of CN106165409B publication Critical patent/CN106165409B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

本发明提供一种抑制所需要的存储容量的同时能够在事后获得实施有适当的多区域白平衡处理的图像数据的图像处理装置、摄像装置、图像处理方法及程序。按原图像数据的每个像素获取白平衡增益(S11)。确定白平衡基础值(S12)，按原图像数据的每个像素获取表示白平衡增益相对于白平衡基础值的比率的白平衡比率(S13)。按原图像数据的每个像素，对像素值乘以白平衡比率来获取处理图像数据(S14)。通过对处理图像数据的像素值乘以白平衡基础值，能够获取按原图像数据的每个像素应用白平衡增益的图像数据。

Description

图像处理装置、摄像装置、图像处理方法及程序
技术领域
本发明涉及一种图像处理装置、摄像装置、图像处理方法及程序，尤其涉及多区域白平衡处理技术。
背景技术
多区域白平衡处理(以下，称为“多区域WB处理”)为按构成1张图像的每个像素或者每个区域应用不同的白平衡增益(以下，称为“WB增益”)的白平衡处理(以下，称为“WB处理”)。根据多区域WB处理，即使是来自多个光源的光以按每个像素(每个区域)而不同的比率照射于被摄体的图像，也能够适当地校正各像素(各区域)的色相(彩色平衡)。
例如，使闪光灯发光来拍摄人物夜景场景时，人物受到闪光灯光(例如，包含较多蓝色波长的光)的影响而被拍摄，但摄影图像中的背景(夜景)实际上不受闪光灯光的影响而受到钠灯(包含较多红色波长的光)等其他环境光的影响而被拍摄。此时，为了通过WB处理使人物图像的色相(彩色平衡)变得良好，需将取消闪光灯光的影响的WB增益应用于人物图像，而为了使背景的色相(彩色平衡)变得良好，需将取消其他环境光的影响的WB增益应用于背景图像。因此，对构成图像的所有像素应用共同的WB增益时，很难兼顾人物的色相(彩色平衡)与背景的色相(彩色平衡)。
然而，根据多区域WB处理，可改变应用于一个图像中包含的人物部分的WB增益与应用于背景部分的WB增益。因此，例如，根据闪光灯光的影响量，对每个像素最优化所应用的WB增益，从而能够兼顾人物的色相(彩色平衡)与背景的色相(彩色平衡)。
专利文献1公开能够抑制利用从被摄体区域获得的颜色信息计算的白平衡控制值的偏差的白平衡控制装置。该白平衡控制装置从图像检测被摄体区域，将图像分割为多个区域，对与被摄体区域重复的各个区域计算表示区域的代表色的颜色信息，并且确定权重。并且，白平衡控制装置对各个颜色信息应用针对与被摄体区域重复的区域确定的权重来进行积算，并根据颜色信息的积算结果与预先设定的目标色的信息，计算使得代表色成为目标色那样的白平衡控制值。
并且，为了能够在保存图像数据之后实施图像的白平衡调整，有时与图像数据一同保存WB增益。
例如，记载于专利文献2的摄像装置中，与显像处理所需的附带信息一同预先将正式图像的RAW图像数据存储于存储介质，由此能够在RAW图像数据的显像处理时进行自动白平衡调整。
并且，记载于专利文献3的图像处理装置将针对第1光源的第1白平衡系数值应用于RAW图像数据来生成中间RAW图像数据，将能够确定针对第1光源以外的光源的第2白平衡系数值的信息作为白平衡信息，并与中间RAW图像数据建立对应关联来存储，由此能够进行白平衡的重新调整。
并且，记载于专利文献4的摄像装置中，对RAW图像实施利用拍摄时应用的第1色重现参数的色重现处理来生成显像图像，将与第1色重现参数相关的数据和与第2色重现参数相关的数据分别与显像图像的数据建立对应关联来生成图像文件，所述第2色重现参数相应于与第1色重现参数不同的光源下的被摄体的色重现。由此，能够在进行显像图像的修整时使用第1色重现参数和第2色重现参数。例如，能够根据第1色重现参数进行将显像图像复原成为色重现处理之前的状态的处理(逆色重现处理)，并且能够根据第2色重现参数对以第1色重现参数进行逆色重现处理之后的图像实施色重现处理。
现有技术文献
专利文献
专利文献1：日本特开2012-165077号公报
专利文献2：日本特开2009-4895号公报
专利文献3：日本特开2008-109505号公报
专利文献4：日本特开2011-71708号公报
发明内容
发明要解决的问题
如上述，在事后对RAW图像数据进行显像时，为了在显像图像中重现与拍摄时的白平衡设定相应的色相(彩色平衡)，需要与RAW图像数据一同保存与拍摄时的白平衡设定相应的WB增益。
因此，对R(红)数据、G(绿)数据和B(蓝)数据的每一个进行对所有像素应用共同的WB增益的通常的WB处理时，需要与RAW图像数据一同存储与拍摄时的白平衡设定相应的“3颜色(RGB)×1种WB增益＝3种WB增益数据”。另一方面，多区域WB处理中，WB增益按每个像素而不同，需按每个像素保存WB增益。因此，对RGB数据的每一个应用WB增益时，要求与RAW图像数据一同存储与拍摄时的白平衡设定相应的“3颜色(RGB)×像素数量的WB增益”。例如，拍摄16兆像素(16M＝4609像素×3456像素)的图像时，多区域WB处理中，需保存约16,000,000像素量(准确来讲15,928,704像素量)的WB增益。因此，多区域WB处理中，若设为每1像素需要3颜色量(RGB数据量)的WB增益，则与以往比成为约16,000,000倍(严格来讲为15,928,704倍)的WB增益数据量。并且，即使设为每1像素需要1颜色量的WB增益，与以往比也成为约5,333,333倍(严格来讲为5,309,568倍)的WB增益数据量。
若如此对多区域WB处理应用和RAW图像数据等图像数据一同保存与拍摄时的白平衡设定相应的WB增益的技术，则需要为了WB增益数据而确保庞大的存储区域，存储容量受到压迫。另一方面，还希望通过多区域WB处理技术在事后调整RAW图像数据等图像数据的白平衡。
本发明是鉴于上述情况而完成的，其目的在于提供一种能够抑制所需要的存储容量的同时在事后获得实施有适当的多区域白平衡处理的图像数据的技术。
用于解决技术课题的手段
本发明的一方式涉及一种图像处理装置，其具备：增益获取部，按原图像数据的每个像素获取白平衡增益；比率获取部，确定白平衡基础值，按原图像数据的每个像素获取表示白平衡增益相对于白平衡基础值的比率的白平衡比率；及处理图像获取部，按原图像数据的每个像素，对像素值乘以白平衡比率来获取处理图像数据。
根据本方式，通过对处理图像数据的像素值乘以白平衡基础值，能够获得对原图像数据的像素值应用白平衡增益的图像数据。并且，尤其，根据本发明，无需个别地保持“按每个像素设定的WB增益”，因此抑制所需要的存储容量的同时能够在事后精度良好地进行对每个像素应用不同WB增益的多区域WB处理。
另外，白平衡基础值能够设为任意值，例如可以是预先设定的值，也可以是根据获取原图像数据时的白平衡设定模式确定的值。例如，从获取具有与原图像数据的像素值的差较小的像素值的处理图像数据的观点考虑，优选：使白平衡比率接近“1”；加大白平衡比率成为“1”的像素区域；或与白平衡比率成为“1”以外的像素区域相比，使白平衡比率成为“1”的像素区域最大。因此，可根据按原图像数据的每个像素获取的白平衡增益确定白平衡基础值，也可根据分配于原图像数据的每个像素的白平衡增益的平均值或中央值等确定白平衡基础值。
优选图像处理装置还具备判定原图像数据的光源种类的光源种类判定部，增益获取部根据由光源种类判定部判定的原图像数据的光源种类，按原图像数据的每个像素获取白平衡增益。
根据本方式，能够根据原图像数据的光源种类，精度良好地获取原图像数据的每个像素的白平衡增益。
优选图像处理装置还具备光源种类数据获取部，其获取表示第1光源种类的影响的第1图像数据和表示第2光源种类的影响的第2图像数据，当由光源种类判定部判定的原图像数据的光源种类包含第1光源种类及第2光源种类时，增益获取部根据第1图像数据和第2图像数据获取原图像数据的每个像素的白平衡增益。
根据本方式，能够根据第1光源种类和第2光源种类，精度良好地获取原图像数据的每个像素的白平衡增益。
优选图像处理装置还具备闪光灯图像获取部，其获取使闪光灯发光来拍摄到的闪光灯发光图像数据和不使闪光灯发光来拍摄到的闪光灯非发光图像数据，光源种类数据获取部，将第1光源种类作为环境光，并根据闪光灯非发光图像数据获取第1图像数据，将第2光源种类作为闪光灯光，并根据闪光灯发光图像数据获取第2图像数据。
根据本方式，能够精度良好地获取考虑闪光灯光和环境光的影响的白平衡增益。
优选光源种类数据获取部具有：环境光增益获取部，获取将由光源种类判定部判定的原图像数据的环境光设为光源种类时被设定的环境光用白平衡增益；闪光灯光增益获取部，获取将闪光灯光设为光源种类时被设定的闪光灯光用白平衡增益；及闪光灯影响度获取部，获取闪光灯非发光图像数据的每个像素的第1亮度值作为第1图像数据，获取闪光灯发光图像数据的每个像素的第2亮度值作为第2图像数据，并根据第1亮度值和第2亮度值获取每个像素的闪光灯影响度。增益获取部从环境光用白平衡增益和闪光灯光用白平衡增益并根据闪光灯影响度获取原图像数据的每个像素的白平衡增益。
根据本方式，能够根据从闪光灯发光图像数据和闪光灯非发光图像数据的亮度值求出的闪光灯影响度，精度良好地获取原图像数据的每个像素的白平衡增益。
优选比率获取部根据由光源种类判定部判定的原图像数据的光源种类中包含的一个光源种类，确定白平衡基础值。
优选比率获取部根据由光源种类判定部判定的原图像数据的环境光确定白平衡基础值。
根据这些方式，能够根据原图像数据的光源种类中包含的一个光源种类(环境光等)，简单地确定白平衡基础值。
优选图像处理装置还具备数据记录部，其将处理图像数据和白平衡基础值存储于存储介质。
根据本方式，进行处理图像数据的白平衡处理时，能够活用存储于存储介质的白平衡基础值。
本发明的另一方式涉及一种图像处理装置，其具备：处理数据获取部，从存储介质获取按原图像数据的每个像素对像素值乘以表示白平衡增益相对于白平衡基础值的比率的白平衡比率来获取的处理图像数据和白平衡基础值；及白平衡处理部，按处理图像数据的每个像素，对像素值乘以白平衡基础值来获取白平衡调整图像数据。
根据本方式，能够精度良好地获取对每个像素应用白平衡增益的白平衡调整图像数据。
本发明的另一方式涉及一种图像处理装置，其具备：处理数据获取部，从存储介质获取处理图像数据，所述处理图像数据通过按原图像数据的每个像素对像素值乘以表示白平衡增益相对于白平衡基础值的比率的白平衡比率来获取，所述白平衡基础值根据获取原图像数据时的白平衡设定模式设定；设定模式获取部，获取取得原图像数据时的白平衡设定模式的信息；基础值获取部，根据获取原图像数据时的白平衡设定模式的信息，推断白平衡基础值；及白平衡处理部，按处理图像数据的每个像素，对像素值乘以通过基础值获取部推断出的白平衡基础值来获取白平衡调整图像数据。
根据本方式，能够精度良好地获取对每个像素应用白平衡增益的白平衡调整图像数据。
根据白平衡设定模式的信息推断白平衡基础值的方法并无特别限定，基础值获取部例如可分析处理图像数据的颜色分布或亮度分布等图像特性，并根据其分析结果推断白平衡基础值。
本发明的另一方式涉及一种图像处理装置，其具备：处理数据获取部，从存储介质获取处理图像数据，所述处理图像数据通过按原图像数据的每个像素对像素值乘以表示白平衡增益相对于白平衡基础值的比率的白平衡比率来获取，所述白平衡基础值根据获取原图像数据时的白平衡设定模式设定；设定模式获取部，获取取得原图像数据时的白平衡设定模式的信息；处理模式获取部，获取应用于处理图像数据的白平衡处理模式的信息；基础值获取部，根据白平衡设定模式的信息和白平衡处理模式的信息，当判定为白平衡处理模式与白平衡设定模式相同时，根据白平衡设定模式获取白平衡基础值，当判定为白平衡处理模式与白平衡设定模式不同时，根据白平衡处理模式获取白平衡基础值；及白平衡处理部，按处理图像数据的每个像素乘以由基础值获取部获取的白平衡基础值来获取白平衡调整图像数据。
根据本方式，能够精度良好地获取对每个像素应用白平衡增益的白平衡调整图像数据。
在此所说的“白平衡处理模式”为用于调整处理图像数据的白平衡的白平衡模式，并不一定与获取原图像数据时的白平衡设定模式一致。另外，“白平衡处理模式”通过任意方法确定，可由用户确定白平衡处理模式，也可在图像处理装置中根据各种条件等确定白平衡处理模式。
优选白平衡设定模式为以下模式中的任意一个：预先设定有白平衡增益的预设白平衡模式；根据原图像数据的颜色分布信息确定应用于该原图像数据的白平衡增益的自动白平衡模式；及根据与原图像数据不同的参考图像数据的颜色分布信息确定应用于原图像数据的白平衡增益的自定义白平衡模式。
优选处理图像数据为RAW图像数据。
根据本方式，例如能够在处理图像数据(RAW图像数据)显像时获得白平衡调整图像数据。
优选处理图像数据为无压缩图像数据。
优选处理图像数据为无损压缩图像数据。
优选处理图像数据为有损压缩图像数据。
能够从这些处理图像数据获取白平衡调整图像数据。
本发明的另一方式涉及一种摄像装置，其具备：成像元件；及上述图像处理装置，原图像数据通过成像元件获取。
本发明的另一方式涉及一种图像处理方法，其中，按原图像数据的每个像素获取白平衡增益，确定白平衡基础值，按原图像数据的每个像素获取表示白平衡增益相对于白平衡基础值的比率的白平衡比率，按原图像数据的每个像素，对像素值乘以白平衡比率来获取处理图像数据。
本发明的另一方式涉及一种图像处理方法，其中，从存储介质获取按原图像数据的每个像素对像素值乘以表示白平衡增益相对于白平衡基础值的比率的白平衡比率来获取的处理图像数据和白平衡基础值，按处理图像数据的每个像素，对像素值乘以白平衡基础值来获取白平衡调整图像数据。
本发明的另一方式涉及一种图像处理方法，其中，从存储介质获取处理图像数据，所述处理图像数据通过按原图像数据的每个像素对像素值乘以表示白平衡增益相对于白平衡基础值的比率的白平衡比率来获取，所述白平衡基础值根据获取原图像数据时的白平衡设定模式设定，获取取得原图像数据时的白平衡设定模式的信息，根据获取原图像数据时的白平衡设定模式的信息，推断白平衡基础值，按处理图像数据的每个像素，对像素值乘以推断出的白平衡基础值来获取白平衡调整图像数据。
本发明的另一方式涉及一种图像处理方法，其中，从存储介质获取处理图像数据，所述处理图像数据通过按原图像数据的每个像素对像素值乘以表示白平衡增益相对于白平衡基础值的比率的白平衡比率来获取，所述白平衡基础值根据获取原图像数据时的白平衡设定模式设定，获取取得原图像数据时的白平衡设定模式的信息，获取应用于处理图像数据的白平衡处理模式的信息，根据白平衡设定模式的信息和白平衡处理模式的信息，当判定为白平衡处理模式与白平衡设定模式相同时，根据白平衡设定模式获取白平衡基础值，当判定为白平衡处理模式与白平衡设定模式不同时，根据白平衡处理模式获取白平衡基础值，按处理图像数据的每个像素乘以所获取的白平衡基础值来获取白平衡调整图像数据。
本发明的另一方式涉及一种程序，其用于使计算机执行如下步骤：按原图像数据的每个像素获取白平衡增益的步骤；确定白平衡基础值，按原图像数据的每个像素，获取表示白平衡增益相对于白平衡基础值的比率的白平衡比率的步骤；及按原图像数据的每个像素，对像素值乘以白平衡比率来获取处理图像数据的步骤。
本发明的另一方式涉及一种程序，其用于使计算机执行如下步骤：从存储介质获取按原图像数据的每个像素对像素值乘以表示白平衡增益相对于白平衡基础值的比率的白平衡比率来获取的处理图像数据和白平衡基础值的步骤；及按处理图像数据的每个像素，对像素值乘以白平衡基础值来获取白平衡调整图像数据的步骤。
本发明的另一方式涉及一种程序，其用于使计算机执行如下步骤：从存储介质获取处理图像数据的步骤，所述处理图像数据通过按原图像数据的每个像素对像素值乘以表示白平衡增益相对于白平衡基础值的比率的白平衡比率来获取，所述白平衡基础值根据获取原图像数据时的白平衡设定模式设定；获取取得原图像数据时的白平衡设定模式的信息的步骤；根据获取原图像数据时的白平衡设定模式的信息，推断白平衡基础值的步骤；及按处理图像数据的每个像素，对像素值乘以推断出的白平衡基础值来获取白平衡调整图像数据的步骤。
本发明的另一方式涉及一种程序，其用于使计算机执行如下步骤：从存储介质获取处理图像数据的步骤，所述处理图像数据通过按原图像数据的每个像素对像素值乘以表示白平衡增益相对于白平衡基础值的比率的白平衡比率来获取；获取取得原图像数据时的白平衡设定模式的信息的步骤；获取应用于处理图像数据的白平衡处理模式的信息的步骤；根据白平衡设定模式的信息和白平衡处理模式的信息，当判定为白平衡处理模式与白平衡设定模式相同时，根据白平衡设定模式获取白平衡基础值，当判定为白平衡处理模式与白平衡设定模式不同时，根据白平衡处理模式获取白平衡基础值的步骤；及按处理图像数据的每个像素乘以所获取的白平衡基础值来获取白平衡调整图像数据的步骤。
发明效果
根据本发明，在处理图像数据的各像素值中反映出按每个像素设定的白平衡增益，因此抑制所需要的存储容量的同时能够在事后获得实施有适当的多区域白平衡处理的图像数据。
附图说明
图1是数码相机的正面立体图。
图2是数码相机的背面立体图。
图3是表示数码相机的控制处理***的框图。
图4是表示第1实施方式所涉及的图像处理部的功能结构例的框图。
图5是表示第1实施方式所涉及的图像处理流程的流程图。
图6是表示第2实施方式所涉及的图像处理流程的流程图。
图7是表示第3实施方式所涉及的图像处理部的功能结构例的框图。
图8是表示第4实施方式所涉及的图像处理部的功能结构例的框图。
图9是表示第4实施方式所涉及的光源种类数据获取部和增益获取部的功能结构例的框图。
图10是表示第4实施方式所涉及的图像处理流程的流程图。
图11是表示第4实施方式所涉及的图像处理流程的一变形例的流程图。
图12是表示数码相机、计算机、服务器及便携式终端的网络连接的概念图。
图13是表示第5实施方式所涉及的图像处理部的功能结构例的框图。
图14是表示第5实施方式所涉及的图像处理流程的流程图。
图15是表示第6实施方式所涉及的图像处理部的功能结构例的框图。
图16是表示第6实施方式所涉及的图像处理流程的流程图。
图17是表示第7实施方式所涉及的图像处理部的功能结构例的框图。
图18是表示第7实施方式所涉及的图像处理流程的流程图。
图19是表示第1实施方式所涉及的图像处理部(参考图4)的图像处理流程的一变形例的图。
图20是表示第7实施方式所涉及的图像处理部(参考图17)的图像处理流程的一变形例的图。
图21是表示智能手机的外观的图。
图22是表示图21所示的智能手机的结构的框图。
具体实施方式
参考附图，对本发明的实施方式进行说明。以下实施方式中，对将本发明应用于数码相机(摄像装置)的例子进行说明。但是，还能够将本发明应用于数码相机以外的图像处理装置、摄像装置、图像处理方法及程序。
图1是数码相机2的正面立体图。图2是数码相机2的背面立体图。
数码相机2具备相机主体3及安装于相机主体3的前表面的透镜镜筒4。透镜镜筒4和相机主体3可一体设置，也可作为透镜更换式相机而装卸自如地设置。
相机主体3的前表面除了透镜镜筒4以外还设置有闪光灯发光部5，在相机主体3的上表面设置有快门按钮6和电源开关7。快门按钮6为接收来自用户的摄影命令的摄影命令部，电源开关7为从用户接收数码相机2的电源的打开和关闭的切换命令的电源切换部。
在相机主体3的背面设置有由液晶面板等构成的显示部8及由用户直接操作的操作部9。显示部8在摄影待机状态下显示即时预览图像(实时取景图像)而作为电子取景器发挥功能，在回放摄影图像或存储器存储图像时作为回放图像显示部而发挥功能。
操作部9由模式切换开关、十字键和执行键等任意的操作设备构成。例如，模式切换开关在切换数码相机2的动作模式时由用户操作。作为数码相机2的动作模式，有用于拍摄被摄体来获得摄影图像的摄影模式及回放显示图像的回放模式等。并且，作为其他摄影模式，有进行自动聚焦的AF(Auto Focus)模式及进行手动聚焦操作的MF(Manual Focus)模式。另一方面，在显示部8显示菜单画面或设定画面、或移动显示于菜单画面或设定画面内的光标、或确定数码相机2的各种设定时，由用户操作十字键及执行键。
相机主体3的底部(省略图示)设置有装填有主存储器10的存储器插槽、打开和关闭该存储器插槽的开口的装填盖。主存储器10装卸自如地设置于相机主体3，若安装于相机主体3，则与设置于相机主体3的存储控制部33电连接。主存储器10通常能够由卡型闪存器等半导体存储器构成，但并无特别限定，能够将磁介质等任意存储方式的存储介质用作主存储器10。
图3是表示数码相机2的控制处理***的框图。
被摄体光穿过设置于透镜镜筒4的透镜部12及设置于相机主体3的机械快门20，由成像元件21接收。成像元件21为接收被摄体像来生成图像数据的元件，具有RGB(红绿蓝)等的滤色器和将光学图像转换为电信号的CCD(Charge Coupled Device)或CMOS(Complementary Metal Oxide Semiconductor)等的图像传感器。从成像元件21输出的图像数据在工艺处理部22中通过AGC(Automatic Gain Control)电路等实施工艺处理，之后通过AD转换部23将模拟形式的图像数据转换为数字形式的图像数据。被数字化的图像数据保存于缓冲存储器24。
缓冲存储器24为暂时存储图像数据的区域，由DRAM(Dynamic Random AccessMemory)等构成。从AD转换部23发送过来而存储在缓冲存储器24中的图像数据被由***控制部25控制的图像处理部(图像处理装置)31读取。图像处理部31将由成像元件21生成的图像数据用作输入图像数据，进行伽马校正处理和去马赛克处理等各种图像处理，将图像处理后的图像数据再次保存于缓冲存储器24。
在图像处理部31中实施图像处理并保存于缓冲存储器24的图像数据由显示控制部35和压缩/扩展部32读取。显示控制部35控制显示部8，将从缓冲存储器24读取的图像数据显示于显示部8。如此，从成像元件21输出并在图像处理部31中接受了图像处理的图像数据作为摄影确认图像而显示于显示部8(后浏览)。
另一方面，压缩/扩展部32进行从缓冲存储器24读取的图像数据的压缩处理，创建JPEG(Joint Photographic Experts Group)或TIFF(Tagged Image File Format)等任意压缩形式的图像数据。压缩处理后的图像数据通过控制向主存储器(存储介质)10存储数据的处理和从主存储器10读取数据的处理的存储控制部33，存储于主存储器10。另外，在向主存储器10存储图像数据等数据类时，存储控制部33根据从后述的时钟设备34获取的日期和时间信息，对该数据类附加编辑日期和时间信息(更新日期和时间信息)等摄影信息和其他关联信息。该摄影信息以任意格式附加于图像数据，例如可采用Exif(Exchangeable imagefile format)形式。
回放保存于主存储器10的图像数据的回放模式中，保存于主存储器10的图像数据通过由***控制部25控制的存储控制部33读取，在通过压缩/扩展部32实施扩展处理之后保存于缓冲存储器24。并且，以与摄影图像的确认显示相同的步骤，通过显示控制部35从缓冲存储器24读取图像数据，在显示部8中回放显示图像数据。
***控制部25如上述那样控制缓冲存储器24、图像处理部31和存储控制部33，还控制数码相机2中的其他各部。例如，***控制部25通过控制透镜驱动部27来控制透镜部12的驱动，通过控制快门驱动部26来控制机械快门20的驱动，通过控制成像元件21来控制图像数据的输出。并且，***控制部25通过控制闪光灯发光部5来控制闪光灯的发光和非发光，通过控制电源控制部28来进行电源29中有无安装电池、电池的种类和电池余量的检测等。并且，***控制部25获取在时钟设备34中计数的日期和时间信息来用于各种处理。并且，***控制部25控制构成图像处理部31的各种处理部。
而且，***控制部25获取来自包含快门按钮6、电源开关7及操作部9的用户界面36的操作信号，进行与操作信号相应的各种处理和设备控制。例如，***控制部25根据从快门按钮6接收的释放信号控制快门驱动部26，控制机械快门20的打开和关闭。并且，***控制部25根据从电源开关7接收的电源打开关闭信号控制电源控制部28，控制电源29的打开和关闭。
***控制部25中进行的各种处理和设备控制所需的程序和数据类存储于控制存储器30。***控制部25能够根据需要读取存储于控制存储器30的程序和数据类，并且能够将新的程序和数据类保存于控制存储器30。例如，***控制部25能够将所设定的白平衡模式(以下，称为“WB模式”)的种类和WB增益等条件数据写入控制存储器30。并且，***控制部25能够控制显示控制部35来将从各部获取的各种信息显示于显示部8。另外，***控制部25能够根据由用户经由用户界面36输入的操作信号，变更显示于显示部8的各种信息。
接着，关于通过成像元件21获取的原图像数据的WB处理，对具体的图像处理例进行说明。
另外，以下的各实施方式中，对从成像元件21输出并经过工艺处理部22(工艺处理)和AD转换部23(AD转换处理)的“RAW图像数据”经由缓冲存储器24输入至图像处理部31而用作原图像数据和处理图像数据的例子进行说明。因此，图像处理部31中的去马赛克处理在以下的原图像数据和处理图像数据(RAW图像数据)中跳过。另外，原图像数据和处理图像数据并不限定于“RAW图像数据”，还能够对具有JPEG形式、TIFF形式等其他任意格式的图像数据进行同样的图像处理。
通常，数码相机中有如下机种：代替已实施画质处理的JPEG图像等处理图像或者除了这种处理图像以外，还能够将“实施画质处理之前的图像数据”或者“仅实施了由摄像***引起的画质处理(例如，透镜阴影(lens shading)校正等)的图像数据”即RAW图像数据存储于存储介质(主存储器10)。通过预先存储RAW图像数据，用户能够在日后使用RAW显像软件等进行RAW图像数据的画质处理和显像处理，无需进行重新摄影就能够获得不同画质的图像。数码相机中，将RAW图像数据存储于存储介质时，将RAW图像数据的显像所需的信息(摄影条件和机种信息等)也一并存储于存储介质。“RAW图像数据”和“显像所需的信息数据”的存储方式并无特别限定，可将对“RAW图像数据”附加了显像所需的信息数据和其他信息来作为标签信息(元数据)的状态的数据保存于存储介质。以下的实施方式中，将对RAW图像数据附加了标签信息(元数据)的数据称为“RAW数据”。
并且，保存于主存储器10的处理图像数据的压缩形式并无特别限定，处理图像数据可以是无压缩图像数据，也可以是无损压缩图像数据，还可以是有损压缩图像数据。另外，处理图像数据为RAW图像数据时，可在WB处理(参考后述的“白平衡处理部(WB处理部)62”)之前进行显像处理，也可在WB处理之后进行显像处理。并且，处理图像数据为压缩图像数据(无损压缩图像数据或有损压缩图像数据)时，优选在WB处理(参考后述的“WB处理部62”)之前进行扩展处理。这些显像处理和扩展处理例如可在后述的处理数据获取部60中进行。
＜第1实施方式＞
本实施方式的图像处理部31中，获取基本的WB增益(以下，称为“白平衡基础值(WB基础值)”)和适于构成原图像数据的各像素的WB增益，对原图像数据的各像素值乘以适于各像素的WB增益与WB基础值之间的比率来获取处理图像数据。
图4是表示第1实施方式所涉及的图像处理部31的功能结构例的框图。本实施方式的图像处理部31具有增益获取部40、比率获取部42及处理图像获取部44。
增益获取部40按原图像数据的每个像素获取WB增益。比率获取部42确定WB基础值，按原图像数据的每个像素，获取表示WB增益相对于WB基础值的比率的白平衡比率(以下，称为“WB比率”)。处理图像获取部44按原图像数据的每个像素，对像素值乘以WB比率来获取处理图像数据。处理图像数据从处理图像获取部44(图像处理部31)输出，经由缓冲存储器24、压缩/扩展部32和存储控制部33(参考图3)保存在主存储器10中。如此，本实施方式中，存储控制部33作为将处理图像数据存储于主存储器(存储介质)10的数据记录部发挥作用。
图像处理部31中的处理内容的具体例可参考后述的实施方式(第3实施方式和第4实施方式等)。
图5是表示第1实施方式所涉及的图像处理流程的流程图。
首先，通过增益获取部40，按原图像数据的每个像素获取最佳WB增益(参考图5的S11)。
并且，通过比率获取部42获取WB基础值(S12)，按原图像数据的每个像素，获取表示通过增益获取部40获取的WB增益相对于WB基础值的比率的WB比率(S13)。例如，以“WBbase”表示WB基础值，通过“WB_ij(其中，“i”表示以X轴值和Y轴值表示像素位置时的X轴值，“j”表示Y轴值)”表示适于原图像数据的各像素的WB增益，通过“WBratio_ij(其中，“i”表示以X轴值和Y轴值表示像素位置时的X轴值，“j”表示Y轴值)”表示WB比率时，能够通过以下式1表示WB比率“WBratio_ij”。
式1 WBratio_ij＝WB_ij/WBbase
并且，通过处理图像获取部44，按原图像数据的每个像素，对像素值乘以WB比率来获取处理图像数据(S14)。例如，通过“V_ij(其中，“i”表示以X轴值和Y轴值表示像素位置时的X轴值，“j”表示Y轴值)”表示原图像数据的像素值，通过“P_ij(其中，“i”表示以X轴值和Y轴值表示像素位置时的X轴值，“j”表示Y轴值)”表示处理图像数据的像素值时，能够通过以下式2表示处理图像数据的各像素值“P_ij”。
式2 P_ij＝V_ij×WBratio_ij
＝V_ij×WB_ij/WBbase
并且，处理图像数据从图像处理部31(处理图像获取部44)输出，在***控制部25的控制下经由缓冲存储器24和压缩/扩展部32发送至存储控制部33，通过存储控制部33存储于主存储器10(S15)。另外，本实施方式中，通过比率获取部42确定的WB基础值不存储于主存储器10。
如以上说明，根据本实施方式，具有反映出适于各像素的WB增益WB_ij的像素值P_ij(参考上述式2)的处理图像数据存储于主存储器10。因此，仅通过从主存储器10读取处理图像数据，并对处理图像数据的各像素值P_ij乘以WB基础值WBbase，如下述式3那样，能够获得应用适于各像素的WB增益的图像数据(像素值K_ij(其中，“i”表示以X轴值和Y轴值表示像素位置时的X轴值，“j”表示Y轴值))。
式3 K_ij＝P_ij×WBbase
＝V_ij×WB_ij/WBbase×WBbase
＝V_ij×WB_ij
因此，即使处理图像数据为RAW图像数据，仅通过由显像处理时使用的RAW显像软件进行以上述式3表示的处理，就能够简单地获得应用适于各像素的WB增益的图像数据(参考后述的第5实施方式(图13))。如此，通过将反映出适于各像素的WB增益的处理图像数据存储于主存储器10，能够在事后获得实施有适当的多区域WB处理的图像数据。
并且，本实施方式中，对存储于主存储器10的处理图像数据的各像素值反映出适于各像素的WB增益，无需与处理图像数据分开保存“适于各像素的WB增益”。即，本实施方式中，只要预先与处理图像数据一同存储WB基础值，则无需预先存储按每个像素设定的WB增益，因此能够以与不保存每个像素的WB增益时大致同等的数据存储量，在事后获得实施有适当的多区域WB处理的图像数据。如此，根据本实施方式，相较于和处理图像数据分开保存“适于每个像素的WB增益”的情况，能够大幅减少应保存的数据量，并能够有效地防止数据存储量的庞大化。
另外，有时透镜阴影校正处理和拍摄校正处理等也根据图像的像素位置而改变校正量，这些处理为依赖于摄影时的数码相机2的设定的校正，因此能够通过预先使校正处理函数化等设计来抑制数据存储量的增大。然而，多区域WB处理中的“适于各像素的WB增益”依赖于摄影场景而增益量有可能发生变动，因此很难进行预先使多区域WB处理函数化等设计，易导致数据存储量的增大。然而，根据本实施方式，大致不会产生数据存储量的增大就能够通过简单的处理获得基于多区域WB处理的效果。
＜第2实施方式＞
本实施方式中，对与上述第1实施方式相同或类似的结构及作用，省略详细说明。
本实施方式的图像处理部31具有与上述第1实施方式的图像处理部31(参考图4)相同的功能结构。
但是，本实施方式中，将创建处理图像数据时使用的WB基础值作为标签信息而附加于处理图像数据的数据(RAW数据)存储于主存储器10。即，从图像处理部31(处理图像获取部44)输出的处理图像数据与WB基础值一同被发送至存储控制部(数据记录部)33，存储控制部33将处理图像数据与WB基础值相互建立对应关联来存储于主存储器(存储介质)10。
图6是表示第2实施方式所涉及的图像处理流程的流程图。
本实施方式中，与上述第1实施方式(参考图5)相同，按原图像数据的每个像素获取最佳WB增益(S11)，获取WB基础值(S12)，按原图像数据的每个像素，获取表示由增益获取部40获取的WB增益相对于WB基础值的比率的WB比率(S13)。并且，按原图像数据的每个像素，对像素值乘以WB比率来获取处理图像数据(S14)。
但是，本实施方式中，处理图像数据与WB基础值从图像处理部31输出，在***控制部25的控制下经由缓冲存储器24和压缩/扩展部32发送至存储控制部33，通过存储控制部33存储于主存储器10(图6的S15a)。另外，在从图像处理部31(处理图像获取部44)输出的阶段，WB基础值可作为标签信息而附加于处理图像数据。但是，WB基础值并不一定要与处理图像数据一同从图像处理部31被发送至存储控制部33，例如可从***控制部25向存储控制部33发送WB基础值。即，可从图像处理部31(处理图像获取部44)输出未附加WB基础值的处理图像数据，存储控制部33中WB基础值作为标签信息而附加于处理图像数据。
如以上说明，根据本实施方式，反映出适于各像素的WB增益的处理图像数据和WB基础值WBbase存储于主存储器10。因此，仅通过从主存储器10读取处理图像数据和WB基础值WBbase，并对处理图像数据的各像素值P_ij乘以WB基础值WBbase，就如上述式3所示，能够获得应用适于每个像素的WB增益的适当的图像数据(像素值K_ij)。
并且，本实施方式中，也无需与处理图像数据分开保存“对每个像素最优化的多区域WB增益等WB增益”，因此能够以与不保存每个像素的WB增益时大致同等的数据存储量，在事后获得实施有适当的多区域WB处理的图像数据。
＜第3实施方式＞
本实施方式中，对与上述第1实施方式和第2实施方式相同或类似的结构和作用，省略详细说明。
图7是表示第3实施方式所涉及的图像处理部31的功能结构例的框图。
本实施方式的图像处理部31除了增益获取部40、比率获取部42及处理图像获取部44以外，还具有判定原图像数据的光源种类的光源种类判定部46。
原图像数据的光源种类的判定方法并无特别限定，光源种类判定部46例如可通过分析原图像数据来判定光源种类。并且，使闪光灯发光来进行拍摄时，光源种类判定部46可判定为原图像数据的光源种类包含闪光灯光及环境光。
由光源种类判定部46判定的原图像数据的光源种类的信息发送至增益获取部40和比率获取部42。
增益获取部40根据由光源种类判定部46判定的原图像数据的光源种类，按原图像数据的每个像素获取WB增益。例如，原图像数据的光源种类为闪光灯光和环境光时，增益获取部40可使用预先设定并存储于存储器(例如，图3所示的控制存储器30)的数据作为闪光灯光的光源种类的WB增益。并且，增益获取部40可根据闪光灯发光图像数据和闪光灯非发光图像数据计算环境光的光源种类的WB增益。
比率获取部42根据由光源种类判定部46判定的原图像数据的光源种类中包含的一个光源种类确定WB基础值。本实施方式的比率获取部42根据由光源种类判定部46判定的原图像数据的环境光确定WB基础值。
根据本实施方式，当用户希望将来获取应用多区域WB处理的图像数据时，根据“原图像数据的光源种类中包含的一个光源种类(环境光)”设定WB基础值即可，因此用户能够凭感觉进行多区域WB处理，便利性较高。例如，原图像数据为拍摄闪光灯发光场景的图像数据时，用户能够结合背景光源来设定WB基础值。
另外，主存储器10中，可与第1实施方式相同地不存储WB基础值而存储有处理图像数据，也可与第2实施方式相同地存储有处理图像数据及WB基础值。
＜第4实施方式＞
本实施方式中，对与上述第1实施方式～第3实施方式相同或类似的结构和作用，省略详细说明。
图8是表示第4实施方式所涉及的图像处理部31的功能结构例的框图。
本实施方式的图像处理部31除了增益获取部40、比率获取部42、处理图像获取部44及光源种类判定部46以外，还具有闪光灯图像获取部48及光源种类数据获取部50。
闪光灯图像获取部48获取使闪光灯发光来拍摄到的闪光灯发光图像数据和通过闪光灯非发光拍摄与闪光灯发光图像数据的被摄体相同的被摄体来获得的闪光灯非发光图像数据。即，本实施方式中，若用户为了获取闪光灯发光图像数据而按下快门按钮6(参考图1和图2)，则***控制部25(参考图3)控制闪光灯发光部5的发光的同时控制成像元件21等，从而自动地连续进行闪光灯非发光拍摄和闪光灯发光拍摄。闪光灯图像获取部48获取通过这些拍摄获得的闪光灯发光图像数据和闪光灯非发光图像数据。
光源种类数据获取部50获取表示环境光(第1光源种类)的影响的第1图像数据和表示闪光灯光(第2光源种类)的影响的第2图像数据。即，光源种类数据获取部50将第1光源种类作为环境光，根据由闪光灯图像获取部48获取的闪光灯非发光图像数据获取第1图像数据，并且将第2光源种类作为闪光灯光，根据闪光灯发光图像数据获取第2图像数据。
在此所说的第1图像数据和第2图像数据并无特别限定。例如，可将“闪光灯非发光图像数据”本身用作表示环境光的影响的第1图像数据。并且，可将“表示闪光灯发光图像数据与闪光灯非发光图像数据之间的各像素值的差分的图像数据”用作表示闪光灯光的影响的第2图像数据。
另外，关于闪光灯发光的有无，通过用户经由用户界面36进行的设定来确定或者根据检测摄影场景的明度的测光传感器(省略图示)的检测结果而由***控制部25确定，但无论如何，***控制部25具有有无闪光灯发光的信息。因此，如本实施方式这样将环境光和闪光灯光作为原图像数据的第1光源种类和第2光源种类时，光源种类判定部46可通过获取***控制部25所掌握的有无闪光灯发光的信息，判定原图像数据的光源种类。
基于光源种类判定部46的原图像数据的光源种类的判定结果不仅发送至增益获取部40和比率获取部42，还发送至光源种类数据获取部50。光源种类数据获取部50根据光源种类判定部46的判定结果获取第1图像数据和第2图像数据。
当由光源种类判定部46判定的原图像数据的光源种类包含环境光(第1光源种类)和闪光灯光(第2光源种类)时，增益获取部40根据第1图像数据和第2图像数据获取原图像数据的每个像素的WB增益。
图9是表示第4实施方式所涉及的光源种类数据获取部50和增益获取部40的功能结构例的框图。
本例的光源种类数据获取部50具有环境光增益获取部52、闪光灯光增益获取部54及闪光灯影响度获取部56。
环境光增益获取部52获取将由光源种类判定部46判定的原图像数据的环境光设为光源种类时被设定的环境光用白平衡增益(以下，称为“环境光用WB增益”)。环境光增益获取部52例如能够根据闪光灯非发光图像数据的颜色分布和亮度值等，通过通常进行的方法计算自动白平衡模式用的WB增益(以下，称为“AWB增益”)，并将该AWB增益用作环境光用WB增益。另外，AWB增益能够根据任意方法来计算。环境光增益获取部52例如可分析闪光灯非发光图像数据，从RGB的像素值求出颜色分布信息，并将使平均值无彩色化的增益设定为AWB增益(环境光用WB增益)。并且，环境光增益获取部52也可从闪光灯非发光图像数据的亮度值求出亮度分布信息，并根据该亮度分布信息确定AWB增益(环境光用WB增益)。并且，还可将按多个环境光的每个类别设定的WB增益预先存储于控制存储器30等存储器，环境光增益获取部52通过分析闪光灯非发光图像数据来判定环境光的类别，从存储器获取与所判定的环境光的类别相关的WB增益来设定为环境光用WB增益。
闪光灯光增益获取部54获取将闪光灯光设为光源种类时被确定的闪光灯光用白平衡增益(以下，称为“闪光灯光用WB增益”)。例如，由于闪光灯光的特性是可预先掌握的，因此可将根据闪光灯光的光特性预先求出的闪光灯光用WB增益存储于控制存储器30等存储器，闪光灯光增益获取部54从存储器直接或间接地读取闪光灯光用WB增益来获取。
闪光灯影响度获取部56获取表示构成原图像数据的各像素中的闪光灯光与环境光之间的比率的闪光灯影响度。更具体而言，闪光灯影响度获取部56获取闪光灯非发光图像数据的每个像素的亮度值(以下，称为“第1亮度值”)作为第1图像数据，获取闪光灯发光图像数据的每个像素的亮度值(以下，称为“第2亮度值”)作为第2图像数据。并且，闪光灯影响度获取部56从第1亮度值和第2亮度值获取原图像数据的每个像素的闪光灯影响度。
另外，获取各第1亮度值和第2亮度值的方法和获取闪光灯影响度的方法并无特别限定。例如，闪光灯发光图像数据(原图像数据)和闪光灯非发光图像数据由RGB数据构成，并分别通过“R_ij”、“G_ij”和“B_ij”(其中，“i”表示以X轴值和Y轴值表示像素位置时的X轴值，“j”表示Y轴值)表示R数据、G数据和B数据时，例如可通过下述式4和式5表示第1亮度值“Y1_ij”和第2亮度值“Y2_ij”(其中，“i”表示以X轴值和Y轴值表示像素位置时的X轴值，“j”表示Y轴值)。
式4
Y1_ij＝R_ij×0.299+G_ij×0.587+B_ij×0.114
式5
Y2_ij＝R_ij×0.299+G_ij×0.587+B_ij×0.114
并且，例如能够通过下述式6表示闪光灯影响度Ratio_ij(其中，“i”表示以X轴值和Y轴值表示像素位置时的X轴值，“j”表示Y轴值)。
式6 Ratio_ij＝1-(Y1_ij/Y2_ij)
增益获取部40从由环境光增益获取部52获取的“环境光用WB增益WB1”与由闪光灯光增益获取部54获取的“闪光灯光用WB增益WB2”，并根据由闪光灯影响度获取部56获取的“闪光灯影响度Ratio_ij”(参考上述式6)获取原图像数据的每个像素的WB增益WB_ij。闪光灯影响度Ratio_ij表示各像素中的闪光灯光的影响的比率时，原图像数据的每个像素的WB增益WB_ij例如能够根据下述式7获取。
式7
WB_ij＝WB1×(1-Ratio_ij)+WB2×Ratio_ij
图10是表示第4实施方式所涉及的图像处理流程的流程图。
若用户按下快门按钮6来命令摄影，则进行被摄体的摄影，从成像元件21输出的闪光灯非发光图像数据和闪光灯发光图像数据经由工艺处理部22、AD转换部23和缓冲存储器24被图像处理部31的闪光灯图像获取部48获取(图10的S21)。
并且，通过光源种类数据获取部50的环境光增益获取部52，从闪光灯非发光图像数据获取环境光用WB增益WB1(S22)，并且通过闪光灯光增益获取部54从控制存储器30等存储器获取预先设定的闪光灯光用WB增益WB2(S23)。
并且，通过闪光灯影响度获取部56获取闪光灯非发光图像数据的每个像素的亮度值(第1亮度值Y1_ij)(S24)，并且获取闪光灯发光图像数据的每个像素的亮度值(第2亮度值Y2_ij)(S25)。并且，根据这些第1亮度值Y1_ij和第2亮度值Y2_ij，由闪光灯影响度获取部56获取每个像素的闪光灯影响度Ratio_ij(S26)。
并且，通过增益获取部40，根据环境光用WB增益WB1、闪光灯光用WB增益WB2和闪光灯影响度Ratio_ij，获取适于原图像数据(闪光灯发光图像数据)的各像素的WB增益WB_ij(S27)。
并且，通过比率获取部42确定WB基础值WBbase(S28)，根据适于原图像数据的各像素的WB增益WB_ij和WB基础值WBbase获取每个像素的WB比率WBratio_ij(S29)。
并且，通过处理图像获取部44，对原图像数据(闪光灯发光图像数据)的每个像素进行像素值V_ij与WB比率WBratio_ij的相乘来获取处理图像数据(S30)，处理图像数据通过存储控制部33存储于主存储器10(S31)。
另外，图10所示的处理流程中，与上述第1实施方式同样地，处理图像数据存储于主存储器10，而WB基础值WBbase不存储于主存储器10。然而，如图11的流程图所示，可在经过上述步骤S21～S30之后，与上述第2实施方式同样地，处理图像数据和WB基础值WBbase存储于主存储器10(图11的S31a)。
＜第5实施方式＞
本实施方式中，对与上述第1实施方式～第4实施方式相同或类似的结构和作用，省略详细说明。
本实施方式涉及从主存储器10读取上述处理图像数据，并通过对该处理图像数据应用WB基础值来获得实施有WB处理的图像数据(以下，称为“白平衡调整图像数据(WB调整图像数据)”)的处理，并涉及从主存储器10读取WB基础值来使用的例子。
因此，本实施方式中使用的主存储器10中，例如如上述第2实施方式中存储于主存储器10的处理图像数据，生成处理图像数据时使用的WB基础值与处理图像数据建立对应关联而存储。并且，本实施方式的图像处理部31读取相互建立对应关联的处理图像数据与WB基础值来进行WB处理。
另外，图13所示的图像处理部31可与上述第2实施方式中说明的“包含增益获取部40、比率获取部42及处理图像获取部44的图像处理部31(参考图4)”一体设置，也可分开设置。因此，例如将图4所示的图像处理部31设置于数码相机2时，下述图13所示的图像处理部31可同样设置于数码相机2，也可如图12所示，设置于经由有线或无线的网络94与数码相机2连接的计算机90或服务器92，还可设置于能够与从数码相机2取下的主存储器10连接的计算机90等。并且，也可在与数码相机2、计算机90或服务器92连接的便携式终端96且能够接收处理图像数据的智能手机或者平板终端等便携式终端96设置有下述图13所示的图像处理部31。
图13是表示第5实施方式所涉及的图像处理部31的功能结构例的框图。
本实施方式的图像处理部31具有处理数据获取部60及WB处理部62。
处理数据获取部60从主存储器(存储介质)10获取“按原图像数据的每个像素，对像素值乘以表示WB增益相对于WB基础值的比率的WB比率来获取的处理图像数据”和“WB基础值”。
WB处理部62按处理图像数据的每个像素，如上述式3所示，对像素值P_ij乘以WB基础值WBbase来获取WB调整图像数据(像素值K_ij)。
图14是表示第5实施方式所涉及的图像处理流程的流程图。
首先，通过处理数据获取部60从主存储器10读取处理图像数据(图14的S41)，并且从主存储器10读取WB基础值(S42)。
并且，通过WB处理部62，按处理图像数据的每个像素对像素值乘以WB基础值来获取WB调整图像数据(S43)。
如以上说明，根据本实施方式，即使在从主存储器10读取而获取处理图像数据时，也能够获取实施有多区域WB处理的WB调整图像数据。例如，通过预先将反映出多区域WB处理的WB增益的处理图像数据(RAW图像数据)和WB基础值存储于主存储器10，用户在对处理图像数据(RAW图像数据)进行显像时，能够简单地获取实施有多区域WB处理的WB调整图像数据。如此，根据本实施方式，能够在事后获得实施有适当的多区域WB处理的图像数据。
＜第6实施方式＞
本实施方式中，对与上述第5实施方式相同或类似的结构和作用，省略详细说明。
本实施方式涉及从主存储器10读取上述处理图像数据，并对该处理图像数据应用WB基础值，由此获得WB调整图像数据的处理，并涉及推断WB基础值来使用的例子。因此，本实施方式中，例如如上述第1实施方式中存储于主存储器10的处理图像数据，适于处理图像数据的生成中使用的WB基础值未存储于主存储器10的情况。
图15是表示第6实施方式所涉及的图像处理部31的功能结构例的框图。
本实施方式的图像处理部31除了处理数据获取部60及WB处理部62以外，还具有设定模式获取部64及基础值获取部66。
本实施方式的处理数据获取部60从主存储器(存储介质)10获取处理图像数据，但不获取WB基础值。
设定模式获取部64获取取得原图像数据时的白平衡设定模式(以下，称为“WB设定模式”)的信息。WB设定模式的信息的获取方法并无特别限定。例如，处理图像数据的标签信息中包含WB设定模式的信息时，设定模式获取部64可从附加于由处理数据获取部60获取的处理图像数据的标签信息获取WB设定模式的信息，也可从主存储器10直接获取WB设定模式的信息。并且，关于处理图像数据，获取原图像数据时的WB设定模式的信息未存储于主存储器10时，设定模式获取部64例如可假设任意WB设定模式(例如，自动白平衡模式(以下，称为“AWB模式”))作为WB设定模式。
另外，WB设定模式并无特别限定。例如，可将以下模式中的任意一个模式作为WB设定模式：根据预先设想的光源种类(例如，晴天(太阳光)、荧光灯或者灯泡等)预先设定有WB增益的预设白平衡模式(以下，称为“预设WB模式”)；根据原图像数据的颜色分布信息确定应用于原图像数据的WB增益的AWB模式；及根据与原图像数据不同的参考图像数据的颜色分布信息确定应用于原图像数据的WB增益的自定义白平衡模式(以下，称为“自定义WB模式”)。并且，还可选择由用户通过手动个别地确定WB增益的手动白平衡模式(以下，称为“手动WB模式”)作为WB设定模式。
基础值获取部66根据由设定模式获取部64获取的“获取原图像数据时的WB设定模式的信息”，推断WB基础值。例如，当获取原图像数据时的WB设定模式为AWB模式时，基础值获取部66从通过处理数据获取部60获取的处理图像数据的颜色分布获取AWB增益，并根据该AWB增益推断WB基础值。并且，当获取原图像数据时的WB设定模式如预设WB模式或自定义WB模式那样预先设定有WB增益时，基础值获取部66获取与处理图像数据建立对应关联而存储的WB设定模式用WB增益，并根据该获取的WB增益推断WB基础值。另外，“与处理图像数据建立对应关联而存储的WB设定模式用WB增益”的获取方法并无特别限定。例如，可从由处理数据获取部60获取的处理图像数据的标签信息、RAW显像软件的内部参数或者存储于服务器92的信息等获取“与处理图像数据建立对应关联而存储的WB设定模式用WB增益”。
WB处理部62按处理图像数据的每个像素，对像素值乘以通过基础值获取部66推断的WB基础值来获取WB调整图像数据(参考上述式3)。
图16是表示第6实施方式所涉及的图像处理流程的流程图。
首先，通过处理数据获取部60，从主存储器10读取而获取处理图像数据(图16的S51)，并且，通过设定模式获取部64获取取得原图像数据时的WB设定模式的信息。
并且，通过基础值获取部66，根据获取原图像数据时的WB设定模式的信息推断WB基础值(S52)。
并且，通过WB处理部62，按处理图像数据的每个像素，对像素值乘以推断出的WB基础值来获取WB调整图像数据(S53)。
如以上说明，即使在从主存储器10能够获取处理图像数据但无法获取WB基础值时，根据本实施方式，也能够获取实施有多区域WB处理的WB调整图像数据。
＜第7实施方式＞
本实施方式中，对与上述第5实施方式～第6实施方式相同或类似的结构和作用，省略详细说明。
本实施方式涉及从主存储器10读取处理图像数据，并对该处理图像数据应用WB基础值，由此获得WB调整图像数据的处理，由用户选择所希望的白平衡处理模式(以下，称为“WB处理模式”)，对处理图像数据应用与由用户选择的WB处理模式相应的WB增益而不是WB基础值。
图17是表示第7实施方式所涉及的图像处理部31的功能结构例的框图。
本实施方式的图像处理部31除了处理数据获取部60、WB处理部62、设定模式获取部64及基础值获取部66以外，还具有处理模式获取部70。
处理模式获取部70从处理模式输入部68获取应用于处理图像数据的WB处理模式的信息。在此所说的“WB处理模式”为用户所希望的WB模式，用户向处理模式输入部68输入希望作为处理图像数据的实际WB处理的WB模式作为“WB处理模式”。
处理模式输入部68的具体方式并无特别限定，处理模式输入部68搭载于数码相机2时，例如能够由“操作部9(参考图2)”构成处理模式输入部68。并且，处理模式输入部68搭载于计算机90、服务器92或便携式终端96时，能够由搭载或连接于这些设备类的键盘、鼠标、触摸面板等任意的操作部构成处理模式输入部68。
通过处理模式获取部70获取的“应用于处理图像数据的WB处理模式的信息”发送至基础值获取部66。并且，向基础值获取部66发送由设定模式获取部64获取的“原图像数据的WB设定模式”的信息。
基础值获取部66根据白平衡设定模式的信息和WB处理模式的信息获取WB基础值。即，当判定为WB处理模式与WB设定模式相同时，基础值获取部66根据WB设定模式获取WB基础值，当判定为WB处理模式与WB设定模式不同时，基础值获取部66根据WB处理模式获取WB增益。此时，基础值获取部66例如可从存储于主存储器10的处理图像数据的标签信息获取WB增益和/或WB基础值，也可通过分析由处理数据获取部60获取的处理图像数据来获取WB增益(例如，AWB增益)。
WB处理部62按由处理数据获取部60从主存储器10获取的处理图像数据的每个像素，乘以由基础值获取部66获取的WB基础值或WB增益来获取WB调整图像数据。
图18是表示第7实施方式所涉及的图像处理流程的流程图。另外，以下对处理图像数据的生成中使用的WB基础值作为处理图像数据的标签信息而存储于主存储器10的例子进行说明。
首先，通过处理数据获取部60从主存储器10读取而获取处理图像数据(图18的S61)，并且通过设定模式获取部64从主存储器10获取取得原图像数据时的WB设定模式的信息(S62)。并且，通过处理模式获取部70获取应用于处理图像数据的WB处理模式的信息(S63)。
并且，通过基础值获取部66，判定WB设定模式和WB处理模式是否与相同的WB模式相关(S64)。
当判定为WB设定模式和WB处理模式为相同的WB模式时(S64的是)，通过基础值获取部66例如根据由处理数据获取部60获取的处理图像数据的标签信息获取WB基础值(S65)。并且，通过WB处理部62，对处理图像数据的各像素值乘以该WB基础值来获取WB调整图像数据(S66)。
另一方面，当判定为WB设定模式与WB处理模式不同时(S64的否)，通过基础值获取部66获取与WB处理模式相应的WB增益(S67)。并且，通过WB处理部62，对处理图像数据的各像素值乘以该WB增益来获取WB调整图像数据(S68)。
如以上说明，根据本实施方式，用户希望与获取原图像数据时的WB设定模式不同的模式的WB处理时，能够获取实施有与用户所希望的WB处理模式相应的WB处理的WB调整图像数据。此时，例如能够获得多区域WB处理的效果的同时结合用户的希望而改变整个图像的彩色平衡。
另外，预先确定WB基础值是根据AWB模式而被确定时，可根据应用于处理图像数据的WB处理模式是否为AWB模式来获取WB调整图像数据。
图19是表示第1实施方式所涉及的图像处理部31(参考图4)的图像处理流程的一变形例的图。本变形例中，预先确定使用AWB增益作为处理图像数据的生成中使用的WB基础值。即，图4所示的增益获取部40获取原图像数据的每个像素的WB增益(图19的S71)，而比率获取部42分析原图像数据来获取AWB增益，并将该AWB增益确定为WB基础值(S72)。并且，与第1实施方式(参考图5的S13～S15)同样地，按每个像素从WB增益和WB基础值获取WB比率(S73)，按每个像素对像素值乘以WB比率来获取处理图像数据(S74)，在主存储器10中存储处理图像数据(S75)。
图20是表示第7实施方式所涉及的图像处理部31(参考图17)的图像处理流程的一变形例的图。通过图19所示的图像处理流程而存储于主存储器10的处理图像数据的多区域WB处理能够根据图20所示的图像处理流程并通过具有图17所示的功能结构的图像处理部31实施。即，与上述第7实施方式(参考图18的S61和S63)同样地，从主存储器10读取处理图像数据(图20的S81)，从处理模式输入部68获取WB处理模式的信息(S82)。并且，通过基础值获取部66(参考图17)判定WB处理模式是否为AWB模式(S83)。
当判定为WB处理模式为AWB模式时(S83的是)，基础值获取部66分析处理图像数据来获取处理图像数据的颜色分布信息(S84)，从该颜色分布信息获取AWB增益，并将该AWB增益确定为WB基础值(S85)。并且，通过WB处理部62，对处理图像数据的各像素值乘以WB基础值来获取WB调整图像数据(S86)。
另一方面，当判定为WB处理模式不是AWB模式时(S83的否)，基础值获取部66与上述第7实施方式(参考图18的S67)同样地获取基于WB处理模式的WB增益(S87)，通过WB处理部62，对处理图像数据的各像素值乘以WB增益来获取WB调整图像数据(S88)。
另外，图19所示的变形例中，处理图像数据的生成中使用的WB基础值与处理图像数据可建立对应关联而存储于主存储器10(参考图19的S75)。此时，基础值获取部66读取存储于主存储器10的WB基础值来代替从处理图像数据的颜色分布信息获取AWB增益(参考图20的S84～S85)，WB处理部62可将由基础值获取部66读取的WB基础值应用于处理图像数据来获取WB调整图像数据。
＜其他变形例＞
可组合上述实施方式和变形例中的任一方式彼此。并且，上述的实施方式仅为例示，可对其他结构应用本发明。
例如，可仅在获取原图像数据时的WB设定模式为AWB模式的情况下，如上述第1实施方式～第4实施方式那样将处理图像数据存储于主存储器10。在获取原图像数据时的WB设定模式为AWB模式以外的情况下，存储控制部33可如通常那样，将应用WB设定模式之后的图像数据存储于主存储器10，或将与WB设定模式相应的每个像素的WB增益或在所有像素中共同的WB增益与图像数据建立对应关联而存储于主存储器10。
并且，可与获取原图像数据时的WB设定模式无关地，如上述第1实施方式～第4实施方式那样将处理图像数据存储于主存储器10。此时，即使在获取原图像数据时未预定将来进行多区域WB处理的情况下，用户在日后也能够对从主存储器10读取的处理图像数据进行多区域WB处理。在该情况下，根据上述第1实施方式～第4实施方式，每个像素的WB增益并不与图像数据分开保存，而是保存反映出多区域WB增益的处理图像数据，因此不会过多地浪费存储容量。
即，为了执行多区域WB处理，如上述那样需要特殊的处理和信息。用户想在拍摄获取原图像数据时实施多区域WB处理时，能够在获取到原图像数据时进行这种用于多区域WB处理的特殊处理或获取特殊的信息。然而，在摄影之后，例如到了显像RAW图像数据的阶段之后，用户想实施多区域WB处理时，未进行需在摄影时进行的用于多区域WB处理的特殊处理，并且未获取需在拍摄时获取的用于多区域WB处理的信息，因此很难实现多区域WB处理。例如，将在人物夜景场景下使闪光灯发光来拍摄获取的图像数据作为原图像数据来进行多区域WB处理时，需一并获取闪光灯非发光图像数据，根据闪光灯发光图像数据与闪光灯非发光图像数据之间的像素值的差分，按每个像素获取闪光灯影响度，并根据闪光灯影响度按每个像素获取适于背景(夜景)的WB增益(环境光用WB增益)与适于闪光灯光的WB增益(闪光灯光用WB增益)之间的混合比率(WB比率)。然而，即使想在RAW图像数据(原图像数据)的显像阶段执行这些处理，作为RAW图像数据而存储的只有闪光灯发光图像数据，并没有多区域WB处理所需的闪光灯非发光图像数据，因此无法获取用于执行多区域WB处理的“每个像素的WB增益”。因此，如本变形例，通过与获取原图像数据时的WB设定模式无关地如上述第1实施方式～第4实施方式那样预先将处理图像数据存储于主存储器10，从而即使用户希望在事后进行多区域WB处理，也能够获取实施有适当的多区域WB处理的WB调整图像数据。
上述各功能结构能够通过任意的硬件、软件或两者的组合来实现。例如，对使计算机执行上述各装置及处理部(图像处理部31等)中的图像处理方法(图像处理步骤)的程序、存储有该程序的计算机可读存储介质(非暂时性存储介质)、或者能够安装该程序的计算机也能够应用本发明。
并且，可应用本发明的方式不限定于数码相机及计算机(服务器)，除了以摄像为主要功能的相机类之外，还能够将本发明应用于除了摄像功能之外还具备摄像以外的其他功能(通话功能、通信功能、或者其他的计算机功能)的移动设备类。作为可应用本发明的其他方式，例如可举出具有相机功能的移动电话或智能手机、PDA(Personal DigitalAssistants)、便携式游戏机。以下，对能够应用本发明的智能手机的一例进行说明。
＜智能手机的结构＞
图21是表示智能手机101的外观的图。图21所示的智能手机101具有平板状框体102，在框体102的一面具备作为显示部的显示面板121及与作为输入部的操作面板122成为一体的显示输入部120。并且，该框体102具备扬声器131、麦克风132、操作部140及相机部141。另外，框体102的结构并不限定于此，例如还能够采用显示部与输入部为独立的结构，或具有折叠结构或滑动机构的结构。
图22是表示图21所示的智能手机101的结构的框图。如图22所示，作为智能手机的主要构成要件，具备无线通信部110、显示输入部120、通话部130、操作部140、相机部141、存储部150、外部输入输出部160、GPS(Global Positioning System)接收部170、动作传感器部180、电源部190及主控制部100。并且，智能手机101作为主要功能具备经由基站装置及移动通信网进行移动无线通信的无线通信功能。
无线通信部110根据主控制部100的命令，相对于容纳于移动通信网的基站装置进行无线通信。使用无线通信进行音频数据、图像数据等各种文件数据、电子邮件数据等的收发、Web数据或流数据等的接收。
显示输入部120为所谓的触摸面板，其具备显示面板121及操作面板122，通过主控制部100的控制，显示图像(静态图像及动态图像)和文字信息等来视觉性地向用户传递信息，并且检测相对于所显示信息的用户操作。
显示面板121能够将LCD(Liquid Crystal Display)或OELD(Organic Electro-Luminescence Display)等用作显示设备。操作面板122是以能够视觉识别显示于显示面板121的显示面上的图像的方式载置，并检测通过用户的手指或触控笔操作的坐标的设备。若通过用户的手指或触控笔操作该设备，则将因操作而产生的检测信号输出至主控制部100。接着，主控制部100根据所接收的检测信号检测显示面板121上的操作位置(坐标)。
如图21所示，作为本发明的摄像装置的一实施方式例示的智能手机101的显示面板121与操作面板122成为一体而构成显示输入部120，配置成操作面板122完全覆盖显示面板121。采用该配置时，操作面板122可具备对显示面板121外的区域也检测用户操作的功能。换言之，操作面板122可具备针对与显示面板121重叠的重叠部分的检测区域(以下，称为“显示区域”)和针对除此之外的不与显示面板121重叠的外缘部分的检测区域(以下，称为“非表示区域”)。
另外，可使显示区域的大小与显示面板121的大小完全一致，但并不一定要使两者一致。并且，操作面板122可具备外缘部分及除此以外的内侧部分的2个感应区域。而且，外缘部分的宽度根据框体102的大小等适当设计。而且，作为在操作面板122中采用的位置检测方式，可举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，可采用任一方式。
通话部130具备扬声器131和麦克风132，将通过麦克风132输入的用户的声音转换为能够在主控制部100中处理的音频数据来输出至主控制部100，对通过无线通信部110或外部输入输出部160接收的音频数据进行解码并从扬声器131输出。并且，如图21所示，例如，能够将扬声器131搭载于与设置有显示输入部120的表面相同的表面，并将麦克风132搭载于框体102的侧面。
操作部140为使用键开关等的硬件键，接收来自用户的命令。例如，如图21所示，操作部140搭载于智能手机101的框体102的侧面，为若被手指等按下则打开、若手指离开则通过弹簧等的复原力成为关闭状态的按键式开关。
存储部150存储主控制部100的控制程序和控制数据、应用程序软件、对通信对象的名称和电话号码等建立对应关系的地址数据、所收发的电子邮件的数据、通过Web浏览下载的Web数据及已下载的内容数据，并且临时存储流数据等。并且，存储部150由智能手机内置的内部存储部151及具有装卸自如的外部存储器插槽的外部存储部152构成。另外，构成存储部150的各个内部存储部151与外部存储部152使用闪存类型(flash memory type)、硬盘类型(hard disk type)、微型多媒体卡类型(multimedia card micro type)、卡类型的存储器(例如，MicroSD(注册商标)存储器等)、RAM(Random Access Memory)或ROM(ReadOnly Memory)等存储介质来实现。
外部输入输出部160发挥与智能手机101连结的所有外部设备的接口作用，通过通信等(例如，通用串行总线(USB)和IEEE(The Institute of Electrical and ElectronicsEngineers,Inc.)确定的IEEE1394等)或网络(例如，互联网、无线LAN(Local AreaNetwork)、蓝牙(Bluetooth)(注册商标)、RFID(Radio Frequency Identification)、红外线通信(Infrared Data Association：IrDA)(注册商标)、UWB(Ultra Wideband)(注册商标)、紫蜂(ZigBee)(注册商标)等)直接或间接地连接其他外部设备。
作为与智能手机101连结的外部设备，例如有有线/无线头戴式耳机、有线/无线外部充电器、有线/无线数据端口、经由卡插槽连接的存储卡(Memory card)或SIM(Subscriber Identity Module)/UIM(User Identity Module)卡、经由音频·视频I/O(Input/Output)端子连接的外部音频·视频设备、无线连接的外部音频·视频设备、有线/无线连接的智能手机、有线/无线连接的个人计算机、有线/无线连接的PDA、有线/无线连接的耳机等。外部输入输出部可将从这种外部设备接收传送的数据传递至智能手机101的内部的各构成要件，或使智能手机101内部的数据传送至外部设备。
GPS接收部170根据主控制部100的命令接收从GPS卫星ST1～STn发送的GPS信号，执行基于所接收的多个GPS信号的测位运算处理，检测由该智能手机101的纬度、经度、高度构成的位置。GPS接收部170在能够从无线通信部110或外部输入输出部160(例如，无线LAN)获取位置信息时，还能够利用该位置信息检测位置。
动作传感器部180例如具备3轴加速度传感器等，根据主控制部100的命令，检测智能手机101的物理移动。通过检测智能手机101的物理移动，可检测智能手机101的移动方向及加速度。该检测结果被输出至主控制部100。
电源部190根据主控制部100的命令，向智能手机101的各部供给蓄积在电池(未图示)中的电力。
主控制部100具备微处理器，根据存储部150所存储的控制程序及控制数据进行动作，统一控制智能手机101的各部。主控制部100为了通过无线通信部110进行音频通信或数据通信，具备控制通信***的各部的移动通信控制功能和应用程序处理功能。
应用程序处理功能通过主控制部100根据存储部150所存储的应用程序而动作来实现。作为应用程序处理功能，例如有通过控制外部输入输出部160来与对象设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能及浏览Web页的Web浏览功能等。
主控制部100具备根据接收数据或所下载的流数据等图像数据(静态图像或动态图像的数据)向显示输入部120显示影像等的图像处理功能。图像处理功能是指主控制部100解码上述图像数据，并对该解码结果实施图像处理来将图像显示于显示输入部120的功能。
而且，主控制部100执行对显示面板121的显示控制和检测通过操作部140与操作面板122进行的用户操作的操作检测控制。
通过执行显示控制，主控制部100显示用于启动应用程序软件的图标、或显示滚动条等软件键、或者显示用于创建电子邮件的窗口。另外，滚动条是指用于针对无法完全容纳于显示面板121的显示区域的较大图像等接收使图像的显示部分移动的命令的软件键。
并且，通过执行操作检测控制，主控制部100检测通过操作部140进行的用户操作，或接收通过操作面板122进行的对上述图标的操作或对上述窗口的输入栏的文字列的输入，或者接收通过滚动条进行的显示图像的滚动要求。
而且，通过执行操作检测控制，主控制部100具备触控面板控制功能，该功能判定相对于操作面板122的操作位置是与显示面板121重叠的重叠部分(显示区域)还是除此以外的不与显示面板121重叠的外缘部分(非显示区域)，并控制操作面板122的感应区域或软件键的显示位置。
并且，主控制部100还能够检测对操作面板122的手势操作并根据检测出的手势操作执行预先设定的功能。手势操作是指并非以往的简单的触控操作，而是通过手指等描绘轨迹、或同时指定多个位置、或者组合这些来从多个位置对至少一个描绘轨迹的操作。
相机部141为使用CMOS等成像元件进行电子拍摄的数码相机。并且，相机部141通过主控制部100的控制，能够将通过拍摄获得的图像数据转换为例如JPEG等压缩的图像数据并存储于存储部150，通过外部输入输出部160或无线通信部110输出。如图21所示，智能手机101中，相机部141搭载于与显示输入部120相同的表面，但相机部141的搭載位置并不限于此，可搭载于显示输入部120的背面，或者也可搭载有多个相机部141。另外，搭载有多个相机部141时，还能够切换供拍摄的相机部141来单独拍摄或者同时使用多个相机部141进行拍摄。
并且，相机部141能够利用于智能手机101的各种功能中。例如，能够利用于在显示面板121上显示通过相机部141获取的图像，或者作为操作面板122的操作输入之一利用相机部141的图像。并且，当GPS接收部170检测位置时，还能够参考来自相机部141的图像来检测位置。而且，还能够参考来自相机部141的图像，不使用3轴加速度传感器或者与3轴加速度传感器同时使用来判断智能手机101的相机部141的光轴方向，或判断当前的使用环境。当然，还能够在应用程序软件内利用来自相机部141的图像。
此外，还能够将对静态图像或动态图像的图像数据附加通过GPS接收部170获取的位置信息、通过麦克风132获取的音频信息(也可以通过主控制部等进行音频文本转换而成为文本信息)、通过动作传感器部180获取的姿势信息等等来存储于存储部150，并通过外部输入输出部160或无线通信部110进行输出。
上述图像处理部31(参考图4、7～9、13、15及17)例如能够通过主控制部100实现。
符号说明
2-数码相机，3-相机主体，4-透镜镜筒，5-闪光灯发光部，6-快门按钮，7-电源开关，8-显示部，9-操作部，10-主存储器，12-透镜部，20-机械快门，21-成像元件，22-工艺处理部，23-AD转换部，24-缓冲存储器，25-***控制部，26-快门驱动部，27-透镜驱动部，28-电源控制部，29-电源，30-控制存储器，31-图像处理部，32-压缩/扩展部，33-存储控制部，34-时钟设备，35-显示控制部，36-用户界面，40-增益获取部，42-比率获取部，44-处理图像获取部，46-光源种类判定部，48-闪光灯图像获取部，50-光源种类数据获取部，52-环境光增益获取部，54-闪光灯光增益获取部，56-闪光灯影响度获取部，60-处理数据获取部，62-WB处理部，64-设定模式获取部，66-基础值获取部，68-处理模式输入部，70-处理模式获取部，90-计算机，92-服务器，94-网络，96-便携式终端，100-主控制部，101-智能手机，102-框体，110-无线通信部，120-显示输入部，121-显示面板，122-操作面板，130-通话部，131-扬声器，132-麦克风，140-操作部，141-相机部，150-存储部，151-内部存储部，152-外部存储部，160-外部输入输出部，170-GPS接收部，180-动作传感器部，190-电源部。

Claims (25)

1.一种图像处理装置，其具备：
增益获取部，按原图像数据的每个像素获取白平衡增益；
比率获取部，确定白平衡基础值，按所述原图像数据的每个像素获取表示所述白平衡增益相对于所述白平衡基础值的比率的白平衡比率；及
处理图像获取部，按所述原图像数据的每个像素，对像素值乘以所述白平衡比率来获取处理图像数据。
2.根据权利要求1所述的图像处理装置，
所述图像处理装置还具备判定所述原图像数据的光源种类的光源种类判定部，
所述增益获取部根据由所述光源种类判定部判定的所述原图像数据的光源种类，按所述原图像数据的每个像素获取所述白平衡增益。
3.根据权利要求2所述的图像处理装置，
所述图像处理装置还具备光源种类数据获取部，其获取表示第1光源种类的影响的第1图像数据和表示第2光源种类的影响的第2图像数据，
当由所述光源种类判定部判定的所述原图像数据的光源种类包含所述第1光源种类和所述第2光源种类时，所述增益获取部根据所述第1图像数据及所述第2图像数据获取所述原图像数据的每个像素的所述白平衡增益。
4.根据权利要求3所述的图像处理装置，
所述图像处理装置还具备闪光灯图像获取部，其获取使闪光灯发光来拍摄到的闪光灯发光图像数据及不使闪光灯发光来拍摄到的闪光灯非发光图像数据，
所述光源种类数据获取部，将所述第1光源种类作为环境光，并根据所述闪光灯非发光图像数据获取所述第1图像数据，将所述第2光源种类作为闪光灯光，并根据所述闪光灯发光图像数据获取所述第2图像数据。
5.根据权利要求4所述的图像处理装置，其中，
所述光源种类数据获取部具有：
环境光增益获取部，获取将由所述光源种类判定部判定的所述原图像数据的环境光设为光源种类时被设定的环境光用白平衡增益；
闪光灯光增益获取部，获取将闪光灯光设为光源种类时被设定的闪光灯光用白平衡增益；及
闪光灯影响度获取部，获取所述闪光灯非发光图像数据的每个像素的第1亮度值作为第1图像数据，获取所述闪光灯发光图像数据的每个像素的第2亮度值作为第2图像数据，并根据所述第1亮度值及所述第2亮度值获取每个像素的闪光灯影响度，
所述增益获取部从所述环境光用白平衡增益和所述闪光灯光用白平衡增益并根据所述闪光灯影响度获取所述原图像数据的每个像素的所述白平衡增益。
6.根据权利要求2至5中任一项所述的图像处理装置，其中，
所述比率获取部根据由所述光源种类判定部判定的所述原图像数据的光源种类中包含的一个光源种类，确定所述白平衡基础值。
7.根据权利要求6所述的图像处理装置，其中，
所述比率获取部根据由所述光源种类判定部判定的所述原图像数据的环境光确定所述白平衡基础值。
8.根据权利要求1至7中任一项所述的图像处理装置，
所述图像处理装置还具备数据记录部，其将所述处理图像数据和所述白平衡基础值存储于存储介质。
9.一种图像处理装置，其具备：
处理数据获取部，从存储介质获取按原图像数据的每个像素对像素值乘以表示白平衡增益相对于白平衡基础值的比率的白平衡比率来获取的处理图像数据、和所述白平衡基础值；及
白平衡处理部，按所述处理图像数据的每个像素对像素值乘以所述白平衡基础值来获取白平衡调整图像数据。
10.一种图像处理装置，其具备：
处理数据获取部，从存储介质获取处理图像数据，所述处理图像数据通过按原图像数据的每个像素对像素值乘以表示白平衡增益相对于白平衡基础值的比率的白平衡比率来获取，所述白平衡基础值根据获取所述原图像数据时的白平衡设定模式而设定；
设定模式获取部，获取取得所述原图像数据时的所述白平衡设定模式的信息；
基础值获取部，根据获取所述原图像数据时的所述白平衡设定模式的信息，推断所述白平衡基础值；及
白平衡处理部，按所述处理图像数据的每个像素，对像素值乘以通过所述基础值获取部推断的所述白平衡基础值来获取白平衡调整图像数据。
11.一种图像处理装置，其具备：
处理数据获取部，从存储介质获取处理图像数据，所述处理图像数据通过按原图像数据的每个像素对像素值乘以表示白平衡增益相对于白平衡基础值的比率的白平衡比率来获取，所述白平衡基础值根据获取所述原图像数据时的白平衡设定模式而设定；
设定模式获取部，获取取得所述原图像数据时的所述白平衡设定模式的信息；
处理模式获取部，获取应用于所述处理图像数据的白平衡处理模式的信息；
基础值获取部，根据所述白平衡设定模式的信息和所述白平衡处理模式的信息，当判定为所述白平衡处理模式与所述白平衡设定模式相同时，根据所述白平衡设定模式获取所述白平衡基础值，当判定为所述白平衡处理模式与所述白平衡设定模式不同时，根据所述白平衡处理模式获取所述白平衡基础值；及
白平衡处理部，按所述处理图像数据的每个像素乘以由所述基础值获取部获取的所述白平衡基础值来获取白平衡调整图像数据。
12.根据权利要求10或11所述的图像处理装置，其中，
所述白平衡设定模式为以下模式中的任意一个：预先设定有所述白平衡增益的预设白平衡模式；根据所述原图像数据的颜色分布信息确定应用于该原图像数据的所述白平衡增益的自动白平衡模式；及根据与所述原图像数据不同的参考图像数据的颜色分布信息确定应用于所述原图像数据的所述白平衡增益的自定义白平衡模式。
13.根据权利要求1至12中任一项所述的图像处理装置，其中，
所述处理图像数据为RAW图像数据。
14.根据权利要求1至13中任一项所述的图像处理装置，其中，
所述处理图像数据为无压缩图像数据。
15.根据权利要求1至13中任一项所述的图像处理装置，其中，
所述处理图像数据为无损压缩图像数据。
16.根据权利要求1至13中任一项所述的图像处理装置，其中，
所述处理图像数据为有损压缩图像数据。
17.一种摄像装置，其具备：
成像元件；及
权利要求1至16中任一项所述的图像处理装置，
所述原图像数据通过所述成像元件获取。
18.一种图像处理方法，其中，
按原图像数据的每个像素获取白平衡增益，
确定白平衡基础值，并按所述原图像数据的每个像素获取表示所述白平衡增益相对于所述白平衡基础值的比率的白平衡比率，
按所述原图像数据的每个像素，对像素值乘以所述白平衡比率来获取处理图像数据。
19.一种图像处理方法，其中，
从存储介质获取按原图像数据的每个像素对像素值乘以表示白平衡增益相对于白平衡基础值的比率的白平衡比率来获取的处理图像数据、和所述白平衡基础值，
按所述处理图像数据的每个像素，对像素值乘以所述白平衡基础值来获取白平衡调整图像数据。
20.一种图像处理方法，其中，
从存储介质获取处理图像数据，所述处理图像数据通过按原图像数据的每个像素对像素值乘以表示白平衡增益相对于白平衡基础值的比率的白平衡比率来获取，所述白平衡基础值根据获取所述原图像数据时的白平衡设定模式而设定，
获取取得所述原图像数据时的所述白平衡设定模式的信息，
根据获取所述原图像数据时的所述白平衡设定模式的信息，推断所述白平衡基础值，
按所述处理图像数据的每个像素，对像素值乘以推断出的所述白平衡基础值来获取白平衡调整图像数据。
21.一种图像处理方法，其中，
从存储介质获取处理图像数据，所述处理图像数据通过按原图像数据的每个像素对像素值乘以表示白平衡增益相对于白平衡基础值的比率的白平衡比率来获取，所述白平衡基础值根据获取所述原图像数据时的白平衡设定模式而设定，
获取取得所述原图像数据时的所述白平衡设定模式的信息，
获取应用于所述处理图像数据的白平衡处理模式的信息，
根据所述白平衡设定模式的信息和所述白平衡处理模式的信息，当判定为所述白平衡处理模式与所述白平衡设定模式相同时，根据所述白平衡设定模式获取所述白平衡基础值，当判定为所述白平衡处理模式与所述白平衡设定模式不同时，根据所述白平衡处理模式获取所述白平衡基础值，
按所述处理图像数据的每个像素乘以所获取的所述白平衡基础值来获取白平衡调整图像数据。
22.一种程序，其用于使计算机执行如下步骤：
按原图像数据的每个像素获取白平衡增益的步骤；
确定白平衡基础值，并按所述原图像数据的每个像素获取表示所述白平衡增益相对于所述白平衡基础值的比率的白平衡比率的步骤；及
按所述原图像数据的每个像素对像素值乘以所述白平衡比率来获取处理图像数据的步骤。
23.一种程序，其用于使计算机执行如下步骤：
从存储介质获取按原图像数据的每个像素对像素值乘以表示白平衡增益相对于白平衡基础值的比率的白平衡比率来获取的处理图像数据、和所述白平衡基础值的步骤；及
按所述处理图像数据的每个像素对像素值乘以所述白平衡基础值来获取白平衡调整图像数据的步骤。
24.一种程序，其用于使计算机执行如下步骤：
从存储介质获取处理图像数据的步骤，所述处理图像数据通过按原图像数据的每个像素对像素值乘以表示白平衡增益相对于白平衡基础值的比率的白平衡比率来获取，所述白平衡基础值根据获取所述原图像数据时的白平衡设定模式而设定；
获取取得所述原图像数据时的所述白平衡设定模式的信息的步骤；
根据获取所述原图像数据时的所述白平衡设定模式的信息，推断所述白平衡基础值的步骤；及
按所述处理图像数据的每个像素对像素值乘以推断出的所述白平衡基础值来获取白平衡调整图像数据的步骤。
25.一种程序，其用于使计算机执行如下步骤：
从存储介质获取处理图像数据的步骤，所述处理图像数据通过按原图像数据的每个像素对像素值乘以表示白平衡增益相对于白平衡基础值的比率的白平衡比率来获取，所述白平衡基础值根据获取所述原图像数据时的白平衡设定模式而设定；
获取取得所述原图像数据时的所述白平衡设定模式的信息的步骤；
获取应用于所述处理图像数据的白平衡处理模式的信息的步骤；
根据所述白平衡设定模式的信息和所述白平衡处理模式的信息，当判定为所述白平衡处理模式与所述白平衡设定模式相同时，根据所述白平衡设定模式获取所述白平衡基础值，当判定为所述白平衡处理模式与所述白平衡设定模式不同时，根据所述白平衡处理模式获取所述白平衡基础值的步骤；及
按所述处理图像数据的每个像素乘以所获取的所述白平衡基础值来获取白平衡调整图像数据的步骤。
CN201580017975.8A 2014-03-31 2015-03-12 图像处理装置、摄像装置、图像处理方法及程序 Active CN106165409B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-071681 2014-03-31
JP2014071681 2014-03-31
PCT/JP2015/057275 WO2015151747A1 (ja) 2014-03-31 2015-03-12 画像処理装置、撮像装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN106165409A true CN106165409A (zh) 2016-11-23
CN106165409B CN106165409B (zh) 2018-11-13

Family

ID=54240079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580017975.8A Active CN106165409B (zh) 2014-03-31 2015-03-12 图像处理装置、摄像装置、图像处理方法及程序

Country Status (4)

Country Link
US (1) US10021361B2 (zh)
JP (1) JP6063092B2 (zh)
CN (1) CN106165409B (zh)
WO (1) WO2015151747A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107835362A (zh) * 2017-10-30 2018-03-23 广东欧珀移动通信有限公司 图像存储方法、图像显示方法及电子设备
CN111095913A (zh) * 2017-09-29 2020-05-01 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法、摄像方法及程序

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10021338B2 (en) * 2014-09-22 2018-07-10 Sony Corporation Image display control apparatus, transmission apparatus, and image display control method
JP6425571B2 (ja) * 2015-02-02 2018-11-21 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US10070111B2 (en) * 2015-12-22 2018-09-04 Adobe Systems Incorporated Local white balance under mixed illumination using flash photography
WO2017183488A1 (ja) * 2016-04-19 2017-10-26 オリンパス株式会社 画像処理装置
JP6778602B2 (ja) * 2016-12-14 2020-11-04 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 撮像装置、画像データ生成方法および画像データ生成プログラム
CN111989916B (zh) * 2018-03-30 2022-11-08 索尼公司 成像设备和方法、图像处理设备和方法以及成像元件

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1402530A (zh) * 2001-08-09 2003-03-12 佳能株式会社 图像摄取装置，白平衡的调整方法及其操作处理程序
CN1443009A (zh) * 2002-02-20 2003-09-17 佳能株式会社 白平衡校正装置和白平衡校正方法
JP2005033609A (ja) * 2003-07-08 2005-02-03 Fuji Film Microdevices Co Ltd 固体撮像装置及びデジタルカメラ
CN1311675C (zh) * 2002-07-04 2007-04-18 佳能株式会社 摄影装置、方法、程序以及存储介质
CN102387372A (zh) * 2010-09-02 2012-03-21 佳能株式会社 图像处理设备和图像处理方法
US8164648B2 (en) * 2006-10-26 2012-04-24 Canon Kabushiki Kaisha Image processing apparatus and image processing apparatus control method
CN102918845A (zh) * 2010-05-28 2013-02-06 富士胶片株式会社 成像设备和计算白平衡增益的方法
CN103369252A (zh) * 2012-04-04 2013-10-23 佳能株式会社 图像处理装置、图像处理装置的控制方法及图像拍摄装置
US20130278978A1 (en) * 2012-04-24 2013-10-24 Chang-Hsien Sung Method of Automatic White Balance Adjustment For Scanner
CN103533316A (zh) * 2012-07-05 2014-01-22 索尼公司 图像处理设备、方法和程序
JP2014042138A (ja) * 2012-08-22 2014-03-06 Nikon Corp 画像処理装置、コンピュータプログラム、およびデジタルカメラ

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5092565B2 (ja) 2007-06-19 2012-12-05 株式会社ニコン 撮像装置、画像処理装置およびプログラム
JP2011071708A (ja) * 2009-09-25 2011-04-07 Nikon Corp 撮像装置、画像処理装置およびプログラム
JP5825796B2 (ja) * 2011-02-03 2015-12-02 キヤノン株式会社 ホワイトバランス制御装置及びそれを用いた撮像装置、並びにホワイトバランス制御方法
US9025047B2 (en) * 2012-12-13 2015-05-05 Samsung Electronics Co., Ltd. Photographing apparatus and method

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1402530A (zh) * 2001-08-09 2003-03-12 佳能株式会社 图像摄取装置，白平衡的调整方法及其操作处理程序
CN1443009A (zh) * 2002-02-20 2003-09-17 佳能株式会社 白平衡校正装置和白平衡校正方法
CN1311675C (zh) * 2002-07-04 2007-04-18 佳能株式会社 摄影装置、方法、程序以及存储介质
JP2005033609A (ja) * 2003-07-08 2005-02-03 Fuji Film Microdevices Co Ltd 固体撮像装置及びデジタルカメラ
US8164648B2 (en) * 2006-10-26 2012-04-24 Canon Kabushiki Kaisha Image processing apparatus and image processing apparatus control method
CN102918845A (zh) * 2010-05-28 2013-02-06 富士胶片株式会社 成像设备和计算白平衡增益的方法
CN102387372A (zh) * 2010-09-02 2012-03-21 佳能株式会社 图像处理设备和图像处理方法
CN103369252A (zh) * 2012-04-04 2013-10-23 佳能株式会社 图像处理装置、图像处理装置的控制方法及图像拍摄装置
US20130278978A1 (en) * 2012-04-24 2013-10-24 Chang-Hsien Sung Method of Automatic White Balance Adjustment For Scanner
CN103533316A (zh) * 2012-07-05 2014-01-22 索尼公司 图像处理设备、方法和程序
JP2014042138A (ja) * 2012-08-22 2014-03-06 Nikon Corp 画像処理装置、コンピュータプログラム、およびデジタルカメラ

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111095913A (zh) * 2017-09-29 2020-05-01 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法、摄像方法及程序
CN111095913B (zh) * 2017-09-29 2021-07-06 富士胶片株式会社 图像处理装置和处理方法、摄像装置、摄像方法、存储介质
CN107835362A (zh) * 2017-10-30 2018-03-23 广东欧珀移动通信有限公司 图像存储方法、图像显示方法及电子设备
CN107835362B (zh) * 2017-10-30 2019-12-31 Oppo广东移动通信有限公司 图像存储方法、图像显示方法及电子设备

Also Published As

Publication number Publication date
US20170013243A1 (en) 2017-01-12
CN106165409B (zh) 2018-11-13
JPWO2015151747A1 (ja) 2017-04-13
WO2015151747A1 (ja) 2015-10-08
JP6063092B2 (ja) 2017-01-18
US10021361B2 (en) 2018-07-10

Similar Documents

Publication Publication Date Title
US9536479B2 (en) Image display device and method
CN106165409B (zh) 图像处理装置、摄像装置、图像处理方法及程序
CN106134189B (zh) 图像处理装置、摄像装置、图像处理方法及程序
CN106797453B (zh) 图像处理装置、摄像装置、图像处理方法以及图像处理程序
CN103377642B (zh) 摄像设备和显示控制设备
CN105940673B (zh) 图像处理装置及图像处理方法
JP6302555B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
CN104380706B (zh) 图像处理装置、摄像装置、计算机及图像处理方法
CN102783133A (zh) 具有在不利条件下提高可见度的显示器的便携式成像装置
CN105432069A (zh) 图像处理装置、摄像装置、图像处理方法及程序
CN106688227A (zh) 多摄像装置、多摄像方法、程序及记录介质
US20140313366A1 (en) Method of processing image and electronic device and system supporting the same
CN111095913B (zh) 图像处理装置和处理方法、摄像装置、摄像方法、存储介质
CN115359105A (zh) 景深扩展图像生成方法、设备及存储介质
US8934042B2 (en) Candidate image presenting method using thumbnail image and image signal processing device and imaging device performing the same
WO2014027559A1 (ja) 画像ファイル生成装置及び表示装置
US20190279340A1 (en) Image processing apparatus, imaging apparatus, image processing method, and image processing program
CN117119316B (zh) 图像处理方法、电子设备及可读存储介质
CN116668838B (zh) 图像处理方法与电子设备
CN105453541B (zh) 电子装置和控制电子装置的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant