JP2012134678A - Imaging apparatus and imaging method - Google Patents
Imaging apparatus and imaging method Download PDFInfo
- Publication number
- JP2012134678A JP2012134678A JP2010283826A JP2010283826A JP2012134678A JP 2012134678 A JP2012134678 A JP 2012134678A JP 2010283826 A JP2010283826 A JP 2010283826A JP 2010283826 A JP2010283826 A JP 2010283826A JP 2012134678 A JP2012134678 A JP 2012134678A
- Authority
- JP
- Japan
- Prior art keywords
- value
- flash
- captured image
- signal
- reflection amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置及び撮像方法に関する。 The present invention relates to an imaging apparatus and an imaging method.
デジタルスチルカメラ等のデジタル撮像装置（電子的撮像装置）において、様々な色温度の光源のもとであっても白色を正確に映し出すようにするために、ホワイトバランス補正処理と呼ばれる補正処理が実施される。従来のホワイトバランス補正処理では、画像を構成する全ての画素に対して、同一のホワイトバランスゲインを一律に適用することが行われる。 In a digital imaging device (electronic imaging device) such as a digital still camera, correction processing called white balance correction processing is performed in order to accurately display white color even under light sources with various color temperatures. Is done. In the conventional white balance correction processing, the same white balance gain is uniformly applied to all the pixels constituting the image.
例えば定常光（環境光）が暗い状況下では、露光不足を解消するためにフラッシュを発光させて撮影を行う。かかる際において、定常光とフラッシュ光とが混合されている状況下でのホワイトバランスゲインは、フラッシュの発光量等に応じて算出される。 For example, in a situation where the steady light (environment light) is dark, shooting is performed with a flash emitted in order to eliminate insufficient exposure. In such a case, the white balance gain under the situation where the steady light and the flash light are mixed is calculated according to the flash emission amount and the like.
このような状況下において、デジタルスチルカメラに近い距離にある被写体は、適切なホワイトバランスへと補正することが可能であるが、デジタルスチルカメラから遠い距離にある被写体は、フラッシュ光よりも定常光の依存度が高くなる。そのため、定常光が蛍光灯などの場合、定常光とフラッシュ光との色温度差が大きくなる。その結果、白い被写体が黄色く映し出されるといった、不適切なホワイトバランス補正処理が実施されてしまうという問題が発生することとなる。 Under such circumstances, subjects close to the digital still camera can be corrected to an appropriate white balance, but subjects far away from the digital still camera are more stationary than flash light. The degree of dependence increases. Therefore, when the steady light is a fluorescent lamp or the like, the color temperature difference between the steady light and the flash light becomes large. As a result, there arises a problem that an inappropriate white balance correction process is performed such that a white subject is displayed in yellow.
かかる問題を解決して画像全体を適切なホワイトバランスとするために、フラッシュ発光画像とフラッシュ非発光画像とを比較することでフラッシュ反射量を算出し、算出したフラッシュ反射量から最適なホワイトバランスゲインを画素単位で算出することが行われている。 In order to solve this problem and achieve an appropriate white balance for the entire image, the flash reflection amount is calculated by comparing the flash emission image with the flash non-emission image, and the optimal white balance gain is calculated from the calculated flash reflection amount. Is calculated in units of pixels.
例えば、以下の特許文献１では、フラッシュ発光画像とフラッシュ非発光画像の画像サイズが異なる場合に、フラッシュ発光画像及びフラッシュ非発光画像の輝度値を比較し、補間対象画素の輝度値に近い画素の色温度条件に基づいてホワイトバランスゲインを算出する技術が開示されている。
For example, in
しかしながら、上記特許文献１に開示されている方法では、ホワイトバランスゲインが滑らかに変化するような被写体や輝度値が急激に変化する被写体では画素間で色の変化が大きくなり、不自然な画像となってしまうという問題があった。
However, in the method disclosed in
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ホワイトバランスゲインが滑らかに変化するような被写体や輝度値が急激に変化する被写体であっても、正確にホワイトバランスゲインを算出することが可能な、撮像装置及び撮像方法を提供することにある。 Therefore, the present invention has been made in view of the above problems, and the object of the present invention is to apply to a subject whose white balance gain changes smoothly or a subject whose luminance value changes abruptly. An object of the present invention is to provide an imaging apparatus and an imaging method capable of accurately calculating a white balance gain.
上記課題を解決するために、本発明のある観点によれば、フラッシュ非発光時に撮像された第１の撮像画像と、当該第１の撮像画像よりも画素数が多く、フラッシュ発光時に撮像された第２の撮像画像と、を生成する撮像部と、前記第１の撮像画像と前記第２の撮像画像とが同一の画像サイズとなるように前記第２の撮像画像を縮小して、第３の撮像画像を生成する画像縮小部と、前記第１の撮像画像の露光制御値及び前記第２の撮像画像の露光制御値に基づいて、第１の撮像画像と第２の撮像画像との間の露光差分値を算出する露光差分値算出部と、前記第１の撮像画像の信号値と、前記露光差分値を乗算した前記第３の撮像画像の信号値とに基づいて、画素単位で第１のフラッシュ反射量を算出する第１フラッシュ反射量算出部と、色信号値から算出したカラーバランスに基づく線形補間処理、又は、輝度値に基づく線形補間処理の何れか一方を選択するとともに、選択した前記線形補間処理により前記第１のフラッシュ反射量を補間拡大し、第２のフラッシュ反射量を算出するフラッシュ反射量補間部と、算出された前記第２のフラッシュ反射量に基づいて、前記第２の撮像画像に対してホワイトバランス補正処理を実施する際に用いられるホワイトバランスゲインを画素単位で算出するホワイトバランスゲイン算出部と、を備える撮像装置が提供される。 In order to solve the above-described problem, according to an aspect of the present invention, the first captured image captured when the flash is not emitted, and the number of pixels is larger than that of the first captured image, and the image is captured when the flash is emitted. A second captured image, a second captured image, and the second captured image is reduced so that the first captured image and the second captured image have the same image size. Between the first captured image and the second captured image based on the exposure control value of the first captured image and the exposure control value of the second captured image. Based on the exposure difference value calculation unit for calculating the exposure difference value of the first captured image, the signal value of the first captured image, and the signal value of the third captured image multiplied by the exposure difference value. A first flash reflection amount calculation unit that calculates the flash reflection amount of one; Selecting either linear interpolation processing based on the color balance calculated from the values or linear interpolation processing based on the luminance value, and interpolating and expanding the first flash reflection amount by the selected linear interpolation processing, A flash reflection amount interpolation unit that calculates the flash reflection amount of 2, and white used when white balance correction processing is performed on the second captured image based on the calculated second flash reflection amount An imaging apparatus is provided that includes a white balance gain calculation unit that calculates a balance gain in units of pixels.
かかる構成によれば、輝度値だけでなくカラーバランスを使用することによりフラッシュ反射量を適切に補間することが可能となる。その結果、ホワイトバランスゲインが滑らかに変化するような被写体や輝度値が急激に変化する被写体であっても、正確にホワイトバランスゲインを算出することができる。 According to such a configuration, it is possible to appropriately interpolate the flash reflection amount by using not only the luminance value but also the color balance. As a result, the white balance gain can be accurately calculated even for a subject whose white balance gain changes smoothly and a subject whose luminance value changes abruptly.
前記撮像装置は、算出された前記ホワイトバランスゲインを前記第２の撮像画像の全画素に対して適用し、前記第２の撮像画像のホワイトバランスを補正するホワイトバランス制御部を更に備えることが好ましい。これにより、適切に算出されたホワイトバランスゲインを用いて、ホワイトバランス補正処理を正確に実施することが可能となる。 Preferably, the imaging apparatus further includes a white balance control unit that applies the calculated white balance gain to all the pixels of the second captured image and corrects the white balance of the second captured image. . Accordingly, it is possible to accurately perform the white balance correction process using the appropriately calculated white balance gain.
前記フラッシュ反射量補間部は、前記第２の撮像画像を構成する各画素の輝度値の差分を算出する輝度差分算出部と、前記第２の撮像画像を構成する各画素の色信号値の差分を算出するカラーバランス算出部と、前記輝度差分算出部により算出された前記輝度値の差分と、前記カラーバランス算出部により算出された前記色信号値の差分とに基づいて、各画素の信号値の類似度合いを所定の閾値に基づいて判断し、前記第１のフラッシュ反射量の補間拡大に利用する信号を選択する補間信号選択部と、前記補間信号選択部により選択された前記補間拡大に利用する信号に基づいて前記第１のフラッシュ反射量を線形補間により補間拡大して、第２のフラッシュ反射量を算出する第２フラッシュ反射量算出部と、を更に備えることが好ましい。これにより、ホワイトバランスゲインを算出する際に利用される第２のフラッシュ反射量をより適切に算出することが可能となる。 The flash reflection amount interpolating unit includes a luminance difference calculating unit that calculates a difference between luminance values of pixels included in the second captured image, and a difference between color signal values of pixels included in the second captured image. A signal value of each pixel based on the difference between the luminance values calculated by the color balance calculation unit, the luminance difference calculation unit, and the color signal value difference calculated by the color balance calculation unit Is determined based on a predetermined threshold, and is used for the interpolation enlargement selected by the interpolation signal selection unit and an interpolation signal selection unit that selects a signal used for the interpolation enlargement of the first flash reflection amount. It is preferable to further include a second flash reflection amount calculation unit that calculates the second flash reflection amount by interpolating and expanding the first flash reflection amount by linear interpolation based on the signal to be transmitted. This makes it possible to more appropriately calculate the second flash reflection amount used when calculating the white balance gain.
前記補間信号選択部は、前記輝度値の差分が第１の閾値以上である場合には、前記補間拡大に利用する信号として前記輝度値を選択し、前記輝度値の差分が前記第１の閾値未満である場合には、前記補間拡大に利用する信号として前記色信号値を選択することが好ましい。これにより、輝度値が類似した値となっている場合であっても、色信号値を利用することで正確にホワイトバランスゲインを算出することができる。 When the difference between the luminance values is equal to or greater than a first threshold, the interpolation signal selection unit selects the luminance value as a signal used for the interpolation expansion, and the difference between the luminance values is the first threshold. If it is less, it is preferable to select the color signal value as a signal used for the interpolation enlargement. Thereby, even when the luminance values are similar, the white balance gain can be accurately calculated by using the color signal value.
前記補間信号選択部は、前記輝度値の差分が前記第１の閾値未満であり、かつ、前記カラーバランス算出部により算出されたＲ信号値の差分が第２の閾値以上である場合には、前記補間拡大に利用する信号として前記Ｒ信号値を選択し、前記輝度値の差分が前記第１の閾値未満であり、かつ、前記カラーバランス算出部により算出されたＢ信号値の差分が前記第２の閾値以上である場合には、前記補間拡大に利用する信号として前記Ｂ信号値を選択し、前記輝度値の差分が前記第１の閾値未満であり、かつ、前記カラーバランス算出部により算出された前記Ｒ信号値及び前記Ｂ信号値の差分がそれぞれ前記第２の閾値以上である場合には、前記補間拡大に利用する信号として前記Ｒ信号値及び前記Ｂ信号値の双方を選択し、前記輝度値の差分が前記第１の閾値未満であり、かつ、前記カラーバランス算出部により算出された前記Ｒ信号値及び前記Ｂ信号値の差分がそれぞれ前記第２の閾値未満である場合には、前記補間拡大に利用する信号として前記輝度値を選択することが好ましい。これにより、輝度値が類似した値となっている場合であっても、色信号値を利用することで正確にホワイトバランスゲインを算出することができる。 When the difference between the luminance values is less than the first threshold and the difference between the R signal values calculated by the color balance calculation unit is equal to or greater than a second threshold, The R signal value is selected as a signal to be used for the interpolation enlargement, the luminance value difference is less than the first threshold value, and the B signal value difference calculated by the color balance calculation unit is the first value. When the threshold value is 2 or more, the B signal value is selected as a signal used for the interpolation enlargement, the difference between the luminance values is less than the first threshold value, and is calculated by the color balance calculation unit. When the difference between the R signal value and the B signal value is equal to or greater than the second threshold value, both the R signal value and the B signal value are selected as signals used for the interpolation expansion, Difference of the brightness value When the difference between the R signal value and the B signal value calculated by the color balance calculation unit is less than the second threshold value and is less than the second threshold value, it is used for the interpolation enlargement. The luminance value is preferably selected as a signal to be transmitted. Thereby, even when the luminance values are similar, the white balance gain can be accurately calculated by using the color signal value.
前記第２フラッシュ反射量算出部は、前記補間信号選択部により前記Ｒ信号値及び前記Ｂ信号値の双方が選択された場合に、それぞれの信号値に基づく補間拡大結果の平均値を算出し、当該平均値を前記第２のフラッシュ反射量とすることが好ましい。これにより、より正確にホワイトバランスゲインを算出することが可能となる。 The second flash reflection amount calculation unit calculates an average value of interpolation expansion results based on respective signal values when both the R signal value and the B signal value are selected by the interpolation signal selection unit, The average value is preferably the second flash reflection amount. As a result, the white balance gain can be calculated more accurately.
前記第１のフラッシュ反射量及び前記第２のフラッシュ反射量は、ベイヤ画像におけるＲ，Ｇ，Ｇ，Ｂの４画素を一つの画素とみなして算出されてもよく、ベイヤ色補間処理により周辺画素を補間して一つの画素（Ｒ，Ｇ，Ｂ）として算出されてもよい。 The first flash reflection amount and the second flash reflection amount may be calculated by regarding R, G, G, and B pixels in a Bayer image as one pixel, and peripheral pixels are obtained by Bayer color interpolation processing. May be calculated as one pixel (R, G, B).
また、上記課題を解決するために、本発明の別の観点によれば、フラッシュ非発光時に撮像された第１の撮像画像と、当該第１の撮像画像よりも画素数が多く、フラッシュ発光時に撮像された第２の撮像画像と、を生成する撮像ステップと、前記第１の撮像画像と前記第２の撮像画像とが同一の画像サイズとなるように前記第２の撮像画像を縮小して、第３の撮像画像を生成する画像縮小ステップと、前記第１の撮像画像の露光制御値及び前記第２の撮像画像の露光制御値に基づいて、第１の撮像画像と第２の撮像画像との間の露光差分値を算出する露光差分値算出ステップと、前記第１の撮像画像の信号値と、前記露光差分値を乗算した前記第３の撮像画像の信号値とに基づいて、画素単位で第１のフラッシュ反射量を算出する第１フラッシュ反射量算出ステップと、色信号値から算出したカラーバランスに基づく線形補間処理、又は、輝度値に基づく線形補間処理の何れか一方を選択するとともに、選択した前記線形補間処理により前記第１のフラッシュ反射量を補間拡大し、第２のフラッシュ反射量を算出するフラッシュ反射量補間ステップと、算出された前記第２のフラッシュ反射量に基づいて、前記第２の撮像画像に対してホワイトバランス補正処理を実施する際に用いられるホワイトバランスゲインを画素単位で算出するホワイトバランスゲイン算出ステップと、
を含む撮像方法が提供される。
In order to solve the above-described problem, according to another aspect of the present invention, the first captured image captured when the flash does not emit light and the number of pixels is larger than that of the first captured image, and the flash captured light is emitted. An imaging step for generating a captured second captured image, and reducing the second captured image so that the first captured image and the second captured image have the same image size. Based on the image reduction step for generating the third captured image, the exposure control value for the first captured image, and the exposure control value for the second captured image, the first captured image and the second captured image Based on an exposure difference value calculating step for calculating an exposure difference value between the first captured image, a signal value of the first captured image, and a signal value of the third captured image multiplied by the exposure difference value. The first flash that calculates the first flash reflection amount in units. A reflection amount calculating step, a linear interpolation process based on a color balance calculated from a color signal value, or a linear interpolation process based on a luminance value, and the first linear interpolation process selects the first A flash reflection amount interpolation step for calculating the second flash reflection amount by interpolating and enlarging the flash reflection amount, and white balance correction for the second captured image based on the calculated second flash reflection amount A white balance gain calculating step for calculating a white balance gain used for performing processing in units of pixels;
An imaging method is provided.
かかる構成によれば、輝度値だけでなくカラーバランスを使用することによりフラッシュ反射量を適切に補間することが可能となる。その結果、ホワイトバランスゲインが滑らかに変化するような被写体や輝度値が急激に変化する被写体であっても、正確にホワイトバランスゲインを算出することができる。 According to such a configuration, it is possible to appropriately interpolate the flash reflection amount by using not only the luminance value but also the color balance. As a result, the white balance gain can be accurately calculated even for a subject whose white balance gain changes smoothly and a subject whose luminance value changes abruptly.
以上説明したように本発明によれば、輝度値だけでなくカラーバランスを使用することによりフラッシュ反射量を適切に補間することが可能となり、ホワイトバランスゲインが滑らかに変化するような被写体や輝度値が急激に変化する被写体であっても、正確にホワイトバランスゲインを算出することができる。 As described above, according to the present invention, it is possible to appropriately interpolate the flash reflection amount by using not only the luminance value but also the color balance, and the subject and the luminance value in which the white balance gain changes smoothly. Even if the subject changes rapidly, the white balance gain can be calculated accurately.
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Exemplary embodiments of the present invention will be described below in detail with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, duplication description is abbreviate | omitted by attaching | subjecting the same code | symbol.
（第１の実施形態）
＜撮像装置の画像処理パイプラインについて＞
以下の実施形態では、撮像装置の一例としてデジタルスチルカメラを例にとって、本実施形態に係る撮像装置で実施される画像処理パイプラインについて、図１を参照しながら簡単に説明する。図１は、本実施形態に係る撮像装置の画像処理パイプラインの構成を示したブロック図である。
(First embodiment)
<Image processing pipeline of imaging device>
In the following embodiments, a digital still camera is taken as an example of an imaging apparatus, and an image processing pipeline implemented by the imaging apparatus according to the present embodiment will be briefly described with reference to FIG. FIG. 1 is a block diagram illustrating a configuration of an image processing pipeline of the imaging apparatus according to the present embodiment.
本実施形態に係る撮像装置１０は、図１に示したように、撮像部１０１、信号処理部１０２、前処理部１０３、画像メモリ１０４、適正ＡＥ算出部１０５、マルチＡＷＢ処理部１０６、後処理部１０７、ＲＧＢ−ＹＣＣ変換部１０８、データ圧縮部１０９、メモリカードインタフェース１１０及びメモリカード１１１を主に備える。
As illustrated in FIG. 1, the
撮像部１０１は、図１に示したように、被写体からの光を集光するレンズ１２１と、絞り１２２と、シャッター１２３と、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子１２４と、露光制御部１２５と、フラッシュ１２６と、を主に備える。
As shown in FIG. 1, the imaging unit 101 includes a
レンズ１２１を透過した光は、絞り１２２及びシャッター１２３の動作タイミングに合わせて撮像素子１２４に結像し、撮像素子１２４の各画素から、結像した光に関する出力信号が出力される。また、露光制御部１２５は、絞り１２２、シャッター１２３、撮像素子１２４及びフラッシュ１２６の動作タイミングを制御しており、フラッシュ１２６を発光させながら被写体を撮像したり、フラッシュ１２６を発光させないで被写体を撮像したりする制御を行っている。
The light transmitted through the
信号処理部１０２は、撮像部１０１の撮像素子１２４から出力された出力信号に対して信号処理を行う処理部である。この信号処理部１０２は、出力信号に対して色分離処理を行う色分離部１３１と、出力信号に対してＡ／Ｄ変換処理を行うＡ／Ｄ変換部１３２と、を主に備える。色分離部１３１とＡ／Ｄ変換部１３２とは、互いに連携しながら、出力信号に対して信号処理を実施する。これらの処理が行われることで、撮像素子１２４から出力された出力信号はＲＧＢ画像信号となる。
The
前処置部１０３は、信号処理部１０２から出力されたＲＧＢ画像信号に対して、前処理を施す処理部である。この前処理部１０３は、図１に示したように、黒レベル補正部１４１、欠陥画素補正部１４２、シェーディング補正部１４３及びＡＥ評価値算出部１４４を主に備える。信号処理部１０２から出力されたＲＧＢ画像信号は、黒レベル補正部１４１による黒レベル補正処理により黒レベルが一定となるように補正され、欠陥画素補正部１４２により、画素欠陥がＲＧＢ画像信号中に存在する場合に画素欠陥周辺の情報に基づいて情報が補間される。また、信号処理部１０２から出力されたＲＧＢ画像信号は、シェーディング補正部１４３により、画像の周辺等に発生する輝度落ち等に起因する画像の輝度差が補正される。ＡＥ評価値算出部１４４は、これらの補正が行われたＲＧＢ画像信号に基づいて、ＡＥ評価値を算出する。ＡＥ評価値算出部１４４により算出されたＡＥ評価値は、適正ＡＥ算出部１０５に出力される。また、上述の補正が行われたＲＧＢ画像信号は、画像メモリ１０４及び後処理部１０７に出力される。
The
画像メモリ１０４は、前処理部１０３による各種の前処理が施されたＲＧＢ信号を記憶部する記憶部の一例である。この画像メモリ１０４は、フラッシュ非発光時に撮像された撮像画像を記憶する第１撮像記憶部１５１と、フラッシュ発光時に撮像された撮像画像を記憶する第２撮像記憶部１５２と、を有している。後述するマルチＡＷＢ（オートホワイトバランス）処理部１０６及び後処理部１０７は、かかる画像メモリ１０４が記憶している各撮像画像を利用して、それぞれの処理部における処理を実施することが可能である。
The
適正ＡＥ算出部１０５は、前処理部１０３のＡＥ評価値算出部１４４から出力されたＡＥ評価値に基づいて、撮像条件に適したＡＥ値を算出する。適正ＡＥ算出部１０５は、算出したＡＥ値を、撮像部１０１の露光制御部１２５及びマルチＡＷＢ処理部１０６に出力する。これにより、露光制御部１２５は、取得したＡＥ値に基づいて絞り１２２、シャッター１２３、撮像素子１２４及びフラッシュ１２６の露光制御を行うことが可能となる。
The appropriate
マルチＡＷＢ処理部１０６は、適正ＡＥ算出部１０５が算出したＡＥ値と、画像メモリ１０４に記憶されているフラッシュ非発光時に撮像された撮像画像及びフラッシュ発光時に撮像された撮像画像と、を利用して、ホワイトバランス補正処理に用いられるホワイトバランスゲインを算出する処理部である。マルチＡＷＢ処理部１０６は、算出したホワイトバランスゲインを、後述する後処理部１０７のホワイトバランス制御部１７６に出力する。
The
このマルチＡＷＢ処理部１０６は、図１に示したように、画像縮小部１６１、露光差分値算出部１６２、第１フラッシュ反射量算出部１６３、フラッシュ反射量補間部１６４、推定光源色算出部１６９及びホワイトバランスゲイン算出部１７０を有している。また、フラッシュ反射量補間部１６４は、更に、輝度差分算出部１６５、カラーバランス算出部１６６、補間信号選択部１６７及び第２フラッシュ反射量算出部１６８を有している。
As shown in FIG. 1, the
マルチＡＷＢ処理部１０６で実施されるホワイトバランスゲインの算出処理については、以下で改めて詳細に説明する。
The white balance gain calculation process performed by the
後処理部１０７は、前処理部１０３により前処理が施されたＲＧＢ画像信号に対して、各種の後処理を実施する処理部である。この後処理部１０７は、ＲＧＢ画像信号に対してデモザイク処理（ベイヤ色補間処理）を実施するデモザイク処理部１７１と、ＲＧＢ画像信号に対してエッジ強調処理を実施するエッジ強調処理部１７２と、ＲＧＢ画像信号に対して色補正処理を実施する色補正処理部１７３と、ＲＧＢ画像信号に対してガンマ補正を実施するガンマ補正処理部１７４と、ＲＧＢ画像信号のノイズリダクション処理（ノイズ低減処理）を実施するノイズリダクション処理部１７５と、ＲＧＢ画像信号に対してホワイトバランス補正処理を実施するホワイトバランス制御部１７６と、を更に備える。ここで、ホワイトバランス制御部１７６には、本実施形態に係るマルチＡＷＢ処理部１０６により算出されたホワイトバランスゲインが入力され、ホワイトバランス制御部１７６は、算出されたホワイトバランスゲインを用いて、ＲＧＢ画像信号に対してホワイトバランス補正処理を実施する。
The
これらの処理部により各種の後処理を施されたＲＧＢ画像信号は、ＲＧＢ−ＹＣＣ変換部１０８に出力される。ＲＧＢ−ＹＣＣ変換部１０８は、ＲＧＢ画像信号をＹＣＣ画像信号へと変換する処理部である。かかる変換処理により、撮像された画像の色空間がＲＧＢ色空間からＹＣＣ（ＹＣｒＣｂ）色空間へと変換されることとなる。変換後のＹＣＣ画像信号は、データ圧縮部１０９へと出力される。
The RGB image signals subjected to various post-processing by these processing units are output to the RGB-
データ圧縮部１０９は、ＹＣＣ画像信号を、必要に応じてＪＰＥＧ等の各種の圧縮形式で圧縮する処理部である。必要に応じて圧縮されたＹＣＣ画像信号は、メモリカードインタフェース１１０を介してメモリカード１１１に記録される。
The
以上、図１を参照しながら、本実施形態に係る撮像装置１０の画像処理パイプラインについて、簡単に説明した。
The image processing pipeline of the
＜ホワイトバランスゲインの算出処理について＞
続いて、図１〜図１３を参照しながら、本実施形態に係るマルチＡＷＢ処理部１０６で実施されるホワイトバランスゲインの算出処理について、詳細に説明する。本実施形態に係るマルチＡＷＢ処理部１０６は、以下で説明するような処理を実施することで、ホワイトバランスゲインが滑らかに変化するような被写体、輝度値が急激に変化する被写体、エッジなどの境界が存在する被写体、輝度値が滑らかに変化しており、輝度値がほぼ同じ値にも関わらず色温度が変化している被写体、といった各種の被写体について、フラッシュ発光時のホワイトバランス補正処理に利用される適切なホワイトバランスゲインを、正確に算出することができる。
<About white balance gain calculation processing>
Next, the white balance gain calculation process performed by the
まず、図２Ａ、図２Ｂ及び図３を参照しながら、マルチＡＷＢ処理部１０６に入力される撮像画像及び当該撮像画像における画素の取り扱いについて、簡単に説明する。図２Ａは、フラッシュ非発光撮影により撮像される画像を示した説明図であり、図２Ｂは、フラッシュ発光撮影により撮像される画像を示した説明図である。図３は、ベイヤ型配列を有する撮像素子を示した説明図である。
First, a captured image input to the
本実施形態に係るマルチＡＷＢ処理部１０６には、入力信号として、第１の撮像画像の一例であるフラッシュ非発光時に撮像された撮像画像（以下、フラッシュ非発光撮像画像とも称する。）と、第２の撮像画像の一例であるフラッシュ発光時に撮像された撮像画像（以下、フラッシュ発光撮像画像とも称する。）と、が入力される。ここで、図２Ａに示したようなフラッシュ非発光撮像画像は、ライブビュー画像のように間引き処理等によって、図２Ｂに示したようなフラッシュ発光撮像画像よりも画像サイズが小さい画像となっている。
In the
また、マルチＡＷＢ処理部１０６は、後述するように、入力された撮像画像の画像信号から推定光源色を算出するが、マルチＡＷＢ処理部１０６は、かかる処理において、フラッシュ非発光撮像画像のＲＧＢ画像信号を、ＲＧＢ別（色別）に全画面分積分し、フラッシュが発光していない定常光のみの場合の推定光源色（Ｒ／Ｇ、Ｂ／Ｇ）を算出する。また、マルチＡＷＢ処理部１０６は、定常光がなくフラッシュ光のみで撮像した場合の推定光源色を既知の値としてＲＯＭ等の各種メモリに保持しており、適宜各種メモリから読みだして処理に利用することができる。
Further, as will be described later, the
ここで、本実施形態に係るマルチＡＷＢ処理部１０６では、画素単位ごとにホワイトバランスゲインが算出されることとなる。この際、マルチＡＷＢ処理部１０６は、フラッシュ発光撮像画像及びフラッシュ非発光撮像画像において、図３に示したように、Ｒ，Ｇ，Ｇ，Ｂの四つの画素２１を一組としたベイヤユニット２３を１画素とみなしたり、ベイヤ色補間（デモザイク）処理によって、ベイヤ画像におけるＲ，Ｇ，Ｇ，Ｂの四つの画素から各色（Ｒ，Ｇ，Ｂ）一つずつの画素を生成したりする。
Here, the
以下では、図１及び図４〜図１３を参照しながら、本実施形態に係るマルチＡＷＢ処理部１０６で実施されるホワイトバランスゲインの算出処理について、詳細に説明する。
Hereinafter, the white balance gain calculation process performed by the
マルチＡＷＢ処理部１０６にフラッシュ非発光撮像画像（第１の撮像画像）及びフラッシュ発光撮像画像（第２の撮像画像）が入力されると、画像縮小部１６１は、まず、フラッシュ発光撮像画像に対して縮小処理を施して、第三の撮像画像（以下、フラッシュ発光縮小画像とも称する。）を生成する。この縮小処理は、フラッシュ発光縮小画像の画像サイズが、フラッシュ非発光撮像画像の画像サイズと同一となるように行われる。
When the flash non-light emission captured image (first captured image) and the flash light emission captured image (second captured image) are input to the
フラッシュ発光縮小画像の生成に利用される画像縮小処理は、適宜公知の方法を選択することが可能であるが、例えば図４に示したような間引き処理を利用する。図４は、間引き処理を説明するための説明図である。図４では、縮小前の画像（図４の左側の画像）を２分の１に間引く場合について図示している。画像縮小部１６１は、間引き前の画像を縦横２分の１に間引く場合、図４において太線枠内の４つの画素のうち、ある１画素（図４の場合は、４つの画素のうち左上に位置する画素）のみを抜き出して、抜き出した画素を順に配列していく。これにより、図４の右側に示したような、縦横が２分の１に縮小された画像が生成されることとなる。図４では、２分の１に間引く場合について説明したが、間引き前の画像を縦横３分の１、４分の１に間引く場合であっても、同様に処理を行うことが可能である。
As the image reduction process used for generating the flash emission reduced image, a known method can be selected as appropriate. For example, a thinning process as shown in FIG. 4 is used. FIG. 4 is an explanatory diagram for explaining the thinning process. FIG. 4 illustrates a case in which the image before reduction (the image on the left side in FIG. 4) is thinned out by half. When the
画像縮小部１６１は、フラッシュ発光撮像画像に対して間引き処理する際に、フラッシュ非発光撮像画像がどのように間引かれているかに応じて、間引き方法を変更する。図４では、太線枠内の左上画素（Ｃ１１，Ｃ１３，Ｃ１５・・・）を残すような間引きを行ったが、フラッシュ非発光撮像画像の間引き方法が図４の太線枠内の画素すべての平均値とするような間引きである場合には、フラッシュ発光縮小画像も同様に平均値を算出するように間引きを行う必要がある。
When the thinning process is performed on the flash emission captured image, the
画像縮小部１６１は、このようにしてフラッシュ発光撮像画像を縮小してフラッシュ発光縮小画像を生成すると、得られた結果を、露光差分値算出部１６２に出力する。
When the
このとき、図２Ａに示したようなフラッシュ非発光撮像画像を撮像するときの露光制御値と、図２Ｂに示すようなフラッシュ発光撮像画像を撮像するときの露光制御値が一致していない場合には、露光差分値算出部１６２は、各露光制御値の差分を考慮する。ここで、露光制御値には、以下の式１０１に示す関係があることが知られている。ここで、以下の式１０１において、ＴＶはシャッタースピードを表し、ＡＶは絞り値を表し、ＳＶは感度を表し、ＢＶは被写体輝度を表している。また、下記式１０１のそれぞれの値は、ＡＰＥＸ値で表現されている。
At this time, when the exposure control value for capturing the non-flash image captured as shown in FIG. 2A does not match the exposure control value for capturing the flash image captured as illustrated in FIG. 2B. The exposure difference
そこで、露光差分値算出部１６２は、各撮像画像の露光制御値が異なる場合には、以下の式１０２及び式１０３を用いて、被写体輝度を算出する。ここで、以下に示した式１０２は、フラッシュ非発光撮像画像の被写体輝度値ＢＶｌを算出するための式であり、以下に示した式１０３は、フラッシュ発光縮小画像の被写体輝度値ＢＶＳを算出するための式である。
Therefore, the exposure difference
露光差分値算出部１６２は、式１０２及び式１０３に基づく被写体輝度値の算出を終了すると、得られた算出結果を利用して、以下の式１０４に基づいて差分ＢＶｄｉｆｆを算出する。このとき、フラッシュ非発光撮像画像の露光制御値とフラッシュ発光撮像画像の露光制御値とが一致している場合には、以下の式１０４に示す差分ＢＶｄｉｆｆの値は０となる。
When the calculation of the subject luminance value based on
露光差分値算出部１６２は、差分ＢＶｄｉｆｆを算出すると、続いて以下の式１０５を利用して、露光差分値Ｌｆを算出する。
After calculating the difference BV diff , the exposure difference
露光差分値算出部１６２は、露光差分値Ｌｆを算出すると、得られた算出結果を第１フラッシュ反射量算出部１６３に出力する。
After calculating the exposure difference value Lf, the exposure difference
第１フラッシュ反射量算出部１６３は、フラッシュ非発光撮像画像の信号値と、露光差分値を乗算したフラッシュ発光縮小画像の信号値とに基づいて、画素単位で第１のフラッシュ反射量Ｒａｔｉｏを算出する。この第１のフラッシュ反射量Ｒａｔｉｏは、フラッシュ非発光撮像画像における定常光量を１としたときの相対値として算出されるものであり、信号値として輝度値を利用した場合には以下の式１０６で表される。
The first flash reflection
ここで、以下の式１０６において、Ｙｌは、フラッシュ非発光撮像画像における各画素の輝度値であり、ＹＳは、フラッシュ発光縮小画像における各画素の輝度値である。
Here, in the following
また、色信号値の一つであるＧ（グリーン）信号値は輝度値Ｙとほぼ同じ値となるため、第１フラッシュ反射量算出部１６３は、上記式１０６において輝度値Ｙの代わりにＧ信号値を利用して、第１のフラッシュ反射量を算出してもよい。
Further, since the G (green) signal value, which is one of the color signal values, is substantially the same value as the luminance value Y, the first flash reflection
第１フラッシュ反射量算出部１６３は、第１のフラッシュ反射量を算出すると、得られた算出結果を、フラッシュ反射量補間部１６４に出力する。
When the first flash reflection
フラッシュ反射量補間部１６４は、色信号値から算出したカラーバランスに基づく線形補間処理、又は、輝度値に基づく線形補間処理の何れか一方を選択するとともに、選択した線形補間処理により第１のフラッシュ反射量を補間拡大し、第２のフラッシュ反射量を算出する。 The flash reflection amount interpolation unit 164 selects either the linear interpolation process based on the color balance calculated from the color signal value or the linear interpolation process based on the luminance value, and the first flash is performed by the selected linear interpolation process. The reflection amount is interpolated and enlarged, and the second flash reflection amount is calculated.
すなわち、フラッシュ反射量補間部１６４は、フラッシュ発光縮小画像の画像サイズからフラッシュ発光撮像画像の画像サイズへと画像拡大を行う。この画像拡大処理の際に、フラッシュ反射量補間部１６４は、フラッシュ発光縮小画像の輝度値及びカラーバランスと、第１フラッシュ反射量算出部１６３により算出された第１のフラッシュ反射量と、に基づいて、第１のフラッシュ反射量を補間拡大し、各画素の輝度値及びカラーバランスに基づいた第２のフラッシュ反射量を算出する。
That is, the flash reflection amount interpolation unit 164 performs image enlargement from the image size of the flash emission reduced image to the image size of the flash emission captured image. During the image enlargement process, the flash reflection amount interpolation unit 164 is based on the luminance value and color balance of the flash emission reduced image and the first flash reflection amount calculated by the first flash reflection
ここで、図５〜図７を参照しながら、フラッシュ発光縮小画像の画素と、フラッシュ発光撮像画像の画素との関係について、具体的に説明する。 Here, the relationship between the pixels of the flash emission reduced image and the pixels of the flash emission captured image will be specifically described with reference to FIGS.
図５では、フラッシュ発光縮小画像（第３の撮像画像）における補間参照画素を白く表している。フラッシュ発光縮小画像は、フラッシュ発光撮像画像を縮小した画像であるため、フラッシュ発光縮小画像の画像サイズをフラッシュ発光撮像画像の画像サイズへと拡大するためには、画素を補間しなくてはならない。ここで、図５で示したフラッシュ発光縮小画像を、図６に示したフラッシュ発光撮像画像へと拡大する際には、図６において斜線で示した画素については、第１のフラッシュ反射量が算出されていない。そのため、図６において斜線で示した画素が、補間対象となる画素（補間対象画素）となる。 In FIG. 5, the interpolation reference pixel in the flash emission reduced image (third captured image) is shown in white. Since the flash emission reduced image is an image obtained by reducing the flash emission captured image, in order to enlarge the image size of the flash emission reduced image to the image size of the flash emission captured image, pixels must be interpolated. Here, when the flash emission reduced image shown in FIG. 5 is enlarged to the flash emission captured image shown in FIG. 6, the first flash reflection amount is calculated for the pixels indicated by hatching in FIG. It has not been. For this reason, pixels indicated by diagonal lines in FIG. 6 are pixels to be interpolated (interpolation target pixels).
そこで、フラッシュ反射量補間部１６４は、フラッシュ発光縮小画像のある画素に着目し、着目した画素の上下左右及び斜め方向に隣り合う画素を、補間参照画素として取り扱う。すなわち、図７に示したフラッシュ発光縮小画像においては、図中で（１）、（２）及び（３）で示した位置関係にある画素を、補間参照画素として取り扱う。ここで、図７において（１）の位置関係にある補間参照画素が、着目している画素の斜め方向で隣接する補間参照画素に対応しており、（２）の位置関係にある補間参照画素が、着目している画素の左右方向で隣接している補間参照画素に対応しており、（３）の位置関係にある補間参照画素が、着目している画素の上下方向で隣接している補間参照画素に対応している。この際、図７では、補間参照画素を着目している画素に隣り合う画素としたが、補間参照画素は、着目している画素と１画素以上離隔している画素であってもよい。 Therefore, the flash reflection amount interpolation unit 164 pays attention to a certain pixel in the flash emission reduction image, and treats pixels adjacent in the up / down / left / right and diagonal directions as the interpolation reference pixel. That is, in the flash emission reduced image shown in FIG. 7, the pixels having the positional relationship shown in (1), (2), and (3) in the figure are handled as interpolation reference pixels. Here, in FIG. 7, the interpolation reference pixel in the positional relationship of (1) corresponds to the interpolation reference pixel adjacent in the diagonal direction of the pixel of interest, and the interpolation reference pixel in the positional relationship of (2). Corresponds to the interpolation reference pixel adjacent in the horizontal direction of the pixel of interest, and the interpolation reference pixel in the positional relationship of (3) is adjacent in the vertical direction of the pixel of interest. It corresponds to the interpolation reference pixel. At this time, in FIG. 7, the interpolation reference pixel is a pixel adjacent to the pixel of interest, but the interpolation reference pixel may be a pixel that is one pixel or more apart from the pixel of interest.
以下では、フラッシュ反射量補間部１６４が備える各処理部の機能について、詳細に説明する。 Hereinafter, functions of the respective processing units included in the flash reflection amount interpolation unit 164 will be described in detail.
まず、フラッシュ反射量補間部１６４が備える輝度差分算出部１６５は、フラッシュ発光縮小画素において、第１のフラッシュ反射量が算出されている画素を選択し、選択した画素に対して、図７において（１）、（２）、（３）の位置関係に存在している画素（すなわち、補間参照画素）について、以下の式１０７で表される輝度差分Ｙｄｉｆｆを算出する。このような輝度差分Ｙｄｉｆｆの算出は、フラッシュ発光縮小画像を構成する各画素に対して実施される。ここで、下記式１０７において、Ｙ１が着目している画素の輝度値であり、Ｙ２が補間参照画素の輝度値である。
First, the luminance
その後、輝度差分算出部１６５は、算出した２画素間での輝度値の差分のうち、差分の値が一番大きくなった２画素を選択する。輝度差分算出部１６５は、選択した２つの画素に関する情報を、後述するカラーバランス算出部１６６及び補間信号選択部１６７に出力するとともに、選択した２画素間の輝度値の差分Ｙｄｉｆｆの値を補間信号選択部１６７に出力する。
Thereafter, the luminance
なお、先述のように、色信号値の一つであるＧ（グリーン）信号値は輝度値Ｙとほぼ同じ値となるため、輝度差分算出部１６５は、下記式１０８に示したように、輝度値Ｙの代わりにＧ信号値を利用して輝度差分Ｙｄｉｆｆに対応する値であるＧｄｉｆｆを算出し、画素の選択を行っても良い。
As described above, since the G (green) signal value, which is one of the color signal values, is substantially the same as the luminance value Y, the luminance
カラーバランス算出部１６６は、輝度差分算出部１６５によって選択された２つの画素間におけるカラーバランスを算出する。ここで、本実施形態に係るカラーバランス算出部１６６は、色信号値の一種であるＲ（レッド）信号値及びＢ（ブルー）信号値を利用して、以下の式１０９及び式１１０によりカラーバランスＲｄｉｆｆ及びＢｄｉｆｆを算出する。以下の式１０９及び式１１０から明らかなように、カラーバランスＲｄｉｆｆは、Ｒ信号値の差分の絶対値であり、カラーバランスＢｄｉｆｆは、Ｂ信号値の差分の絶対値である。
The color
カラーバランス算出部１６６は、式１０９及び式１１０に基づいてカラーバランスを算出すると、算出したカラーバランスを、補間信号選択部１６７に出力する。
After calculating the color balance based on
なお、上記説明では、カラーバランス算出部１６６は、輝度差分算出部１６５により選択された２画素についてカラーバランスの算出処理を行ったが、輝度差分算出部１６５における輝度差分の算出処理と同様にして、フラッシュ発光縮小画像を構成する各画素について式１０９及び式１１０で表されるカラーバランスを算出し、カラーバランス（差分値）の値が一番大きくなる上記２つのカラーバランスの組み合わせを選択してもよい。
In the above description, the color
補間信号選択部１６７は、輝度差分算出部１６５により算出された輝度値の差分と、カラーバランス算出部１６６により算出された色信号値の差分（Ｒ信号値の差分、Ｂ信号値の差分）とに基づいて、各画素の信号値の類似度合いを所定の閾値に基づいて判断し、第１のフラッシュ反射量の補間拡大に利用する信号を選択する。
The interpolation
以下、補間信号選択部１６７が実施する補間信号の選択処理について、図８及び図９を参照しながら、具体的に説明する。
Hereinafter, the interpolation signal selection processing performed by the interpolation
補間信号選択部１６７は、輝度値の差分と、色信号値の差分とを利用して、輝度差分算出部１６５やカラーバランス算出部１６６で選択された２つの画素の信号値の類似度合い（すなわち、信号値が近い値か否か）を、まず判断する。
The interpolation
以下では、まず、輝度値の差分に着目した判断方法について説明する。
図８の左側に示した図のように、輝度値の差分が０に近い値であれば、選択された２画素の輝度値は互いに近い値を有しており、図８の右側に示した図のように、輝度値の差分が大きい値であれば、選択された２画素の輝度値は、離れた値であることが分かる。そこで、ノイズ等の影響を考慮してある程度の幅を持たせた閾値（第１の閾値）を予め調整によって定めておいた上で、補間信号選択部１６７は、この第１の閾値と輝度値の差分とを比較する。
In the following, a determination method focusing on the difference in luminance values will be described first.
If the difference between the luminance values is a value close to 0 as shown in the left side of FIG. 8, the luminance values of the two selected pixels are close to each other, and are shown on the right side of FIG. As shown in the figure, if the difference between the luminance values is a large value, it can be understood that the luminance values of the two selected pixels are separated from each other. Therefore, the interpolation
補間信号選択部１６７は、第１の閾値より輝度値の差分が大きい場合（輝度値の差分が第１の閾値以上である場合）には、選択した各画素の輝度値が離れていると判断できるため、輝度値を、第１のフラッシュ反射量の補間に用いる信号として選択する。
The interpolation
他方、補間信号選択部１６７は、輝度値の差分が第１の閾値よりも小さい（輝度値の差分が第１の閾値未満である場合）には、選択した各画素の輝度値が近い値となっていると判断できる。そのため、補間信号選択部１６７は、色信号値の差分を利用して、以下のような判定処理を実施する。すなわち、ノイズ等の影響を考慮してある程度の幅を持たせた閾値（第２の閾値）を予め調整によって定めておいた上で、補間信号選択部１６７は、この第２の閾値と、色信号値の差分（Ｒ信号値の差分及びＢ信号値の差分）とを比較する。
On the other hand, when the difference in luminance value is smaller than the first threshold value (when the difference in luminance value is less than the first threshold value), the interpolation
この際、図９に示したように、補間参照画素１と補間参照画素２の輝度値の差分が第１の閾値未満であり、Ｂ信号値の差分が第２の閾値未満であり、Ｒ信号値の差分が第２の閾値以上であった場合には、補間信号選択部１６７は、Ｒ信号値を、第１のフラッシュ反射量の補間に用いる信号として選択する。
At this time, as shown in FIG. 9, the difference between the luminance values of the
また、図９とは逆に、補間参照画素１と補間参照画素２の輝度値の差分が第１の閾値未満であり、Ｂ信号値の差分が第２の閾値以上であり、Ｒ信号値の差分が第２の閾値未満であった場合には、補間信号選択部１６７は、Ｂ信号値を、第１のフラッシュ反射量の補間に用いる信号として選択する。
Contrary to FIG. 9, the difference between the luminance values of the
また、補間参照画素１と補間参照画素２の輝度値の差分が第１の閾値未満であり、Ｂ信号値の差分及びＲ信号値の差分がそれぞれ第２の閾値以上であった場合には、補間信号選択部１６７は、Ｒ信号値及びＢ信号値の双方を、第１のフラッシュ反射量の補間に用いる信号として選択する。
Further, when the difference between the luminance values of the
また、補間参照画素１と補間参照画素２の輝度値の差分が第１の閾値未満であり、Ｂ信号値の差分及びＲ信号値の差分がそれぞれ第２の閾値未満であった場合には、補間信号選択部１６７は、輝度値を、第１のフラッシュ反射量の補間に用いる信号として選択する。
Further, when the difference between the luminance values of the
補間信号選択部１６７は、このようにして選択した拡大補間に用いる信号に関する選択結果を、第２フラッシュ反射量算出部１６８に出力する。
The interpolation
第２フラッシュ反射量算出部１６８は、補間信号選択部１６７により選択された補間信号に基づいて第１のフラッシュ反射量を線形補間により補間拡大して、第２のフラッシュ反射量を算出する。以下、図１０〜図１２を参照しながら、第２フラッシュ反射量の算出処理について、具体的に説明する。
The second flash reflection
まず、図１０を参照しながら、輝度値に基づいて第２のフラッシュ反射量を算出する方法について説明する。
２つの補間参照画素の輝度値及び補間対象画素の輝度値は、フラッシュ発光撮像画像の画像データを参照することで把握することが可能であり、２つの補間参照画素の第１のフラッシュ反射量は、上記式１０６により算出されている。そこで、第２フラッシュ反射量算出部１６８は、図１０に示したように、補間対象画素の輝度値Ｙと補間参照画素１の輝度値Ｙ１との差分αと、補間参照画素１と補間参照画素２との輝度値の差分（α＋β）と、を利用して線形補間処理を行うことで、補間対象画素のフラッシュ反射量（すなわち、第２のフラッシュ反射量）を算出する。具体的には、第２フラッシュ反射量算出部１６８は、以下の式１１１を利用して、補間対象画素の第２のフラッシュ反射量を算出する。
First, a method for calculating the second flash reflection amount based on the luminance value will be described with reference to FIG.
The luminance value of the two interpolation reference pixels and the luminance value of the interpolation target pixel can be grasped by referring to the image data of the flash emission captured image, and the first flash reflection amount of the two interpolation reference pixels is , Calculated by the
ここで、上記式１１１の左辺に示した値Ｒａｔｉｏが補間対象画素の第２のフラッシュ反射量であり、上記式１１１の右辺に示した輝度値Ｙが補間対象画素の輝度値である。また、Ｙ１及びＲａｔｉｏ１は、それぞれ補間参照画素１の輝度値及び第１のフラッシュ反射量であり、Ｙ２及びＲａｔｉｏ２は、それぞれ補間参照画素２の輝度値及び第１のフラッシュ反射量である。
Here, the value Ratio shown on the left side of the
図１１は、Ｒ信号値を利用して第２のフラッシュ反射量を算出する方法について示している。かかる場合においても、輝度値に基づく第２のフラッシュ反射量の算出方法と同様にして、以下の式１１２に基づき補間対象画素の第２のフラッシュ反射量を算出する。 FIG. 11 shows a method for calculating the second flash reflection amount using the R signal value. Even in such a case, the second flash reflection amount of the interpolation target pixel is calculated based on the following expression 112 in the same manner as the second flash reflection amount calculation method based on the luminance value.
ここで、上記式１１２の左辺に示した値Ｒａｔｉｏが補間対象画素の第２のフラッシュ反射量であり、上記式１１２の右辺に示したＲが補間対象画素のＲ信号値である。また、Ｒ１及びＲａｔｉｏ１は、それぞれ補間参照画素１のＲ信号値及び第１のフラッシュ反射量であり、Ｒ２及びＲａｔｉｏ２は、それぞれ補間参照画素２のＲ信号値及び第１のフラッシュ反射量である。
Here, the value Ratio shown on the left side of the equation 112 is the second flash reflection amount of the interpolation target pixel, and R shown on the right side of the equation 112 is the R signal value of the interpolation target pixel. R 1 and Ratio 1 are the R signal value and the first flash reflection amount of the
図１２は、Ｂ信号値を利用して第２のフラッシュ反射量を算出する方法について示している。かかる場合においても、輝度値に基づく第２のフラッシュ反射量の算出方法と同様にして、以下の式１１３に基づき補間対象画素の第２のフラッシュ反射量を算出する。 FIG. 12 shows a method for calculating the second flash reflection amount using the B signal value. Even in such a case, the second flash reflection amount of the pixel to be interpolated is calculated based on the following Expression 113 in the same manner as the second flash reflection amount calculation method based on the luminance value.
ここで、上記式１１３の左辺に示した値Ｒａｔｉｏが補間対象画素の第２のフラッシュ反射量であり、上記式１１３の右辺に示したＢが補間対象画素のＢ信号値である。また、Ｂ１及びＲａｔｉｏ１は、それぞれ補間参照画素１のＢ信号値及び第１のフラッシュ反射量であり、Ｂ２及びＲａｔｉｏ２は、それぞれ補間参照画素２のＢ信号値及び第１のフラッシュ反射量である。
Here, the value Ratio shown on the left side of Expression 113 is the second flash reflection amount of the interpolation target pixel, and B shown on the right side of Expression 113 is the B signal value of the interpolation target pixel. B 1 and Ratio 1 are the B signal value of the
また、Ｒ信号値及びＢ信号値をともに利用して第２のフラッシュ反射量を算出する場合、第２フラッシュ反射量算出部１６８は、式１１２及び式１１３を利用してそれぞれ第２のフラッシュ反射量を算出した後に、得られた算出結果の平均値を算出し、得られた平均値を、補間対象画素の第２のフラッシュ反射量とする。
When calculating the second flash reflection amount using both the R signal value and the B signal value, the second flash reflection
第２フラッシュ反射量算出部１６８は、このようにして、フラッシュ発光撮像画像の画像サイズの全画素についてフラッシュ反射量を算出すると、得られた算出結果を、推定光源色算出部１６９に出力する。
When the second flash reflection
このように、本実施形態に係るフラッシュ反射量補間部１６４では、色温度が大きく変わっているにもかかわらず輝度値が変化しない場合においては、画素の各輝度値がほぼ同じ値かどうかを判定することで、輝度値を用いた補間により間違った第２のフラッシュ反射量を算出してしまうことを防止することができる。また、本実施形態に係るフラッシュ反射量補間部１６４は、色温度が大きく変わっているにもかかわらず輝度値が変化しない場合であっても、輝度値の代わりにカラーバランスを使用することで、正確な第２のフラッシュ反射量を算出することができる。 As described above, the flash reflection amount interpolating unit 164 according to the present embodiment determines whether or not the luminance values of the pixels are almost the same value when the luminance value does not change even though the color temperature is largely changed. By doing so, it is possible to prevent the wrong second flash reflection amount from being calculated by interpolation using the luminance value. Further, the flash reflection amount interpolating unit 164 according to the present embodiment uses the color balance instead of the luminance value even when the luminance value does not change even though the color temperature is greatly changed. An accurate second flash reflection amount can be calculated.
また、以上説明したような算出方法を用いることで、例えば図１３のように補間対象画素が補間参照画素間に複数存在し、輝度値が滑らかに推移する場合、被写体にエッジがあるような色温度差の大きい境界が発生する場合、及び、光源の境界であるにもかかわらず輝度に差がない場合においても、適切な補間処理を実施し、正確にフラッシュ反射率を算出することが可能となる。 Further, by using the calculation method as described above, for example, when there are a plurality of interpolation target pixels between the interpolation reference pixels and the luminance value smoothly changes as shown in FIG. Appropriate interpolation processing can be performed to accurately calculate the flash reflectivity even when a boundary with a large temperature difference occurs and when there is no difference in brightness despite the boundary of the light source Become.
再び図１に戻って、マルチＡＷＢ処理部１０６が有する推定光源色算出部１６９について説明する。
推定光源色算出部１６９は、第２フラッシュ反射量算出部１６８が算出した第２のフラッシュ反射量を利用して、フラッシュ光の推定光源色（ＣＢｆ）と、定常光（環境光）の推定光源色（ＣＢｓ）とを線形補間して、対象画素の推定光源色（ＣＢ）を算出する。この際、推定光源色算出部１６９は、下記の式１１４及び式１１５に示したように、Ｒ画像信号の推定光源色ＣＢＲと、Ｂ画像信号の推定光源色ＣＢＢとを、それぞれ個別に算出する。なお、下記式１１４及び式１１５において、Ｒａｔｉｏは第２のフラッシュ反射量を表している。
Returning to FIG. 1 again, the estimated light source
The estimated light source
推定光源色算出部１６９は、上記式１１４及び式１１５に基づく推定光源色の算出処理を全画素に対して実施し、得られた結果をホワイトバランスゲイン算出部１７０に出力する。
The estimated light source
ホワイトバランスゲイン算出部１７０は、第２のフラッシュ反射量に基づいて算出された推定光源色を利用して、フラッシュ発光撮像画像に対してホワイトバランス補正処理を実施する際に用いられるホワイトバランスゲインを、画素単位で算出する。
The white balance
具体的には、ホワイトバランスゲイン算出部１７０は、上記式１１４及び式１１５に基づいて算出した推定光源色ＣＢＲ及びＣＢＢを利用し、下記式１１６及び式１１７に基づいて、対象画素のホワイトバランスゲイン（ＷＢＧａｉｎＲ，ＷＢＧａｉｎＢ）を算出する。
Specifically, the white balance
ホワイトバランスゲイン算出部１７０は、上記式１１６及び式１１７に基づくホワイトバランスゲインの算出処理を全画素に対して実施し、得られた結果を、後処理部１０７のホワイトバランス制御部１７６に出力する。
The white balance
本実施形態に係るマルチＡＷＢ処理部１０６は、以上説明したような処理を実施することで、フラッシュ非発光撮像画像とフラッシュ発光撮像画像の画像サイズが異なる場合であっても、フラッシュ光と定常光とが混在している状況下において、適切なホワイトバランスゲインを、画素単位で算出することが可能となる。
The
後処理部１０７のホワイトバランス制御部１７６は、フラッシュ発光撮像画像の各画素値に対して、以下の式１１８及び式１１９に基づいて、ホワイトバランスゲインを乗算する。これにより、ホワイトバランス制御部１７６は、フラッシュ光と定常光とが混在している撮像環境下で撮像された撮像画像に対しても、適切なホワイトバランス補正処理を実施することが可能となる。
The white
以上説明したように、本実施形態に係る撮像装置１０では、フラッシュ非発光撮像画像とフラッシュ発光撮像画像の画像サイズが異なる場合であっても、画素の輝度値及びカラーバランスに基づいて拡大補間処理を実施することにより、定常光とフラッシュ光とが混在する状況下に対しても適切なホワイトバランスゲインを算出することができる。
As described above, in the
＜撮像方法の流れについて＞
続いて、図１４Ａ及び図１４Ｂを参照しながら、本実施形態に係る撮像装置１０で実施される撮像方法の流れについて、その一例を簡単に説明する。図１４Ａ及び図１４Ｂは、本実施形態に係る撮像方法の流れの一例を示した流れ図である。
<Flow of imaging method>
Next, an example of the flow of the imaging method performed by the
まず、撮像装置１０の撮像部１０１は、フラッシュを発光させない状態で被写体を撮像し、フラッシュ非発光撮像画像を取得する（ステップＳ１０１）。生成されたフラッシュ非発光撮像画像は、信号処理部１０２による各種の信号処理及び前処理部１０３による各種の前処理を施された後に、そのＲＧＢ画像信号が、画像メモリ１０４の第１撮像記憶部１５１に保存される（ステップＳ１０３）。
First, the imaging unit 101 of the
次に、撮像装置１０の撮像部１０１は、フラッシュを発光させた状態で被写体を撮像し、フラッシュ発光撮像画像を取得する（ステップＳ１０５）。生成されたフラッシュ発光撮像画像は、信号処理部１０２による各種の信号処理及び前処理部１０３による各種の前処理を施された後に、そのＲＧＢ画像信号が、画像メモリ１０４の第２撮像記憶部１５２に保存される（ステップＳ１０７）。
Next, the imaging unit 101 of the
続いて、マルチＡＷＢ処理部１０６は、第１撮像記憶部１５１からフラッシュ非発光撮像画像を取得するとともに、第２撮像記憶部１５２からフラッシュ発光撮像画像を取得する。その後、マルチＡＷＢ処理部１０６の画像縮小部１６１は、フラッシュ発光撮像画像をフラッシュ非発光撮像画像の画像サイズに縮小して（ステップＳ１０９）、フラッシュ発光縮小画像を生成する。
Subsequently, the
その後、マルチＡＷＢ処理部１０６は、露光差分値算出部１６２により露光差分値を算出した後に、第１フラッシュ反射量算出部１６３によりフラッシュ反射量（第１のフラッシュ反射量）を算出する（ステップＳ１１１）。マルチＡＷＢ処理部１０６は、全ての画像に対して第１のフラッシュ反射量の算出処理が終了したか否かを判断し（ステップＳ１１３）、処理が終了していない場合には、ステップＳ１１１を再実施する。
Thereafter, the
次に、マルチＡＷＢ処理部１０６の輝度差分算出部１６５及びカラーバランス算出部１６６は、補間対象画素を選択し、差分絶対値（すなわち、輝度値の差分、並びに、色信号値（Ｒ信号値及びＢ信号値）の差分）を算出し（ステップＳ１１５）、補間信号選択部１６７に出力する。補間信号選択部１６７は、輝度値の差分絶対値が第１の閾値未満か否かを判断する（ステップＳ１１７）。
Next, the luminance
ここで、輝度値の差分絶対値が第１の閾値未満であった場合には、補間信号選択部１６７は、拡大補間のために利用する信号として色信号値を選択し、第２フラッシュ反射量算出部１６８は、色信号値（画像のカラーバランス）を基に対象画素のフラッシュ反射量（第２フラッシュ反射量）の補間を行う（ステップＳ１１９）。その後、マルチＡＷＢ処理部１０６は、後述するステップＳ１２３を実施する。
Here, when the difference absolute value of the luminance values is less than the first threshold value, the interpolation
また、輝度値の差分絶対値が第１の閾値以上であった場合には、補間信号選択部１６７は、拡大補間のために利用する信号として輝度値を選択し、第２フラッシュ反射量算出部１６８は、画像の輝度値（又は、Ｇ信号値）を基に対象画素のフラッシュ反射量（第２フラッシュ反射量）の補間を行う（ステップＳ１２１）。その後、マルチＡＷＢ処理部１０６は、後述するステップＳ１２３を実施する。
When the absolute difference value of the luminance values is greater than or equal to the first threshold value, the interpolation
続いて、マルチＡＷＢ処理部１０６は、全ての画素に対して補間処理が終了したか否かを判断する（ステップＳ１２３）。補間処理が終了している場合には、マルチＡＷＢ処理部１０６は、後述するステップＳ１２５を実施する。また、補間処理が終了していない場合には、マルチＡＷＢ処理部１０６は、再びステップＳ１１５に戻って処理を継続する。
Subsequently, the
全ての画素に対して補間処理が終了すると、マルチＡＷＢ処理部１０６の推定光源色算出部１６９は、算出された第２のフラッシュ反射量に基づいて、フラッシュ光と定常光の推定光源色を線形補間により算出する（ステップＳ１２５）。その後、マルチＡＷＢ処理部１０６のホワイトバランスゲイン算出部１７０は、算出された推定光源色に基づいて、ホワイトバランスゲインを算出する（ステップＳ１２７）。
When the interpolation processing is completed for all the pixels, the estimated light source
その後、マルチＡＷＢ処理部１０６は、全ての画素に対してホワイトバランスゲインの算出処理が終了したか否かを判断する（ステップＳ１２９）。算出処理が終了している場合には、マルチＡＷＢ処理部１０６は、算出した全てのホワイトバランスゲインを、後処理部１０７のホワイトバランス制御部１７６に出力して、処理を終了する。他方、ホワイトバランスゲインの算出処理が終了していない場合には、マルチＡＷＢ処理部１０６は、再びステップＳ１２５に戻って処理を継続する。
Thereafter, the
以上、図１４Ａ及び図１４Ｂを参照しながら、本実施形態に係る撮像装置１０で実施される撮像方法の流れの一例について、簡単に説明した。
Heretofore, an example of the flow of the imaging method performed by the
以上説明したように、本発明の実施形態に係る撮像装置及び撮像方法によれば、フラッシュ発光撮像画像の輝度値だけでなく、カラーバランスを使用することにより、フラッシュ反射量を適切に補間することが可能となる。これにより、輝度値がほぼ同じ値になっていて、色温度が大きく変化する境界であっても、フラッシュ反射量を適切に補間することができる。 As described above, according to the imaging apparatus and the imaging method according to the embodiment of the present invention, the flash reflection amount is appropriately interpolated by using not only the luminance value of the flash emission captured image but also the color balance. Is possible. As a result, the flash reflection amount can be appropriately interpolated even at a boundary where the luminance values are substantially the same and the color temperature changes greatly.
その結果、輝度値や距離によらず適切なホワイトバランスゲインを算出することができ、不適切なホワイトバランスゲインによる被写体のエッジ周辺の色つきを低減することができるため、画素単位に行うホワイトバランス補正処理を、従来技術より好適に行うことができる撮像装置及び撮像方法を提供することができる。 As a result, an appropriate white balance gain can be calculated regardless of the luminance value and distance, and coloring around the edge of the subject due to an inappropriate white balance gain can be reduced. It is possible to provide an imaging apparatus and an imaging method that can perform the correction process more suitably than in the related art.
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。 The preferred embodiments of the present invention have been described in detail above with reference to the accompanying drawings, but the present invention is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field to which the present invention pertains can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that these also belong to the technical scope of the present invention.
１０ 撮像装置
１０１ 撮像部
１０２ 信号処理部
１０３ 前処理部
１０４ 画像メモリ
１０５ 適正ＡＥ算出部
１０６ マルチＡＷＢ処理部
１０７ 後処理部
１０８ ＲＧＢ−ＹＣＣ変換部
１０９ データ圧縮部
１１０ メモリカードインタフェース
１１１ メモリカード
１２１ レンズ
１２２ 絞り
１２３ シャッター
１２４ 撮像素子
１２５ 露光制御部
１２６ フラッシュ
１３１ 色分離部
１３２ Ａ／Ｄ変換部
１４１ 黒レベル補正部
１４２ 欠陥画素補正部
１４３ シェーディング補正部
１４４ ＡＥ評価値算出部
１５１ 第１撮像記憶部
１５２ 第２撮像記憶部
１６１ 画像縮小部
１６２ 露光差分値算出部
１６３ 第１フラッシュ反射量算出部
１６４ フラッシュ反射量補間部
１６５ 輝度差分算出部
１６６ カラーバランス算出部
１６７ 補間信号選択部
１６８ 第２フラッシュ反射量算出部
１６９ 推定光源色算出部
１７０ ホワイトバランスゲイン算出部
１７１ デモザイク処理部
１７２ エッジ強調処理部
１７３ 色補正処理部
１７４ ガンマ補正処理部
１７５ ノイズリダクション処理部
１７６ ホワイトバランス制御部
DESCRIPTION OF
Claims (9)
前記第１の撮像画像と前記第２の撮像画像とが同一の画像サイズとなるように前記第２の撮像画像を縮小して、第３の撮像画像を生成する画像縮小部と、
前記第１の撮像画像の露光制御値及び前記第２の撮像画像の露光制御値に基づいて、第１の撮像画像と第２の撮像画像との間の露光差分値を算出する露光差分値算出部と、
前記第１の撮像画像の信号値と、前記露光差分値を乗算した前記第３の撮像画像の信号値とに基づいて、画素単位で第１のフラッシュ反射量を算出する第１フラッシュ反射量算出部と、
色信号値から算出したカラーバランスに基づく線形補間処理、又は、輝度値に基づく線形補間処理の何れか一方を選択するとともに、選択した前記線形補間処理により前記第１のフラッシュ反射量を補間拡大し、第２のフラッシュ反射量を算出するフラッシュ反射量補間部と、
算出された前記第２のフラッシュ反射量に基づいて、前記第２の撮像画像に対してホワイトバランス補正処理を実施する際に用いられるホワイトバランスゲインを画素単位で算出するホワイトバランスゲイン算出部と、
を備えることを特徴とする、撮像装置。 An imaging unit that generates a first captured image captured at the time of flash non-emission and a second captured image that has a larger number of pixels than the first captured image and is captured at the time of flash emission;
An image reduction unit that reduces the second captured image to generate a third captured image so that the first captured image and the second captured image have the same image size;
An exposure difference value calculation that calculates an exposure difference value between the first captured image and the second captured image based on the exposure control value of the first captured image and the exposure control value of the second captured image. And
Based on the signal value of the first captured image and the signal value of the third captured image multiplied by the exposure difference value, the first flash reflection amount calculation that calculates the first flash reflection amount in units of pixels. And
Either linear interpolation processing based on the color balance calculated from the color signal value or linear interpolation processing based on the luminance value is selected, and the first flash reflection amount is interpolated and enlarged by the selected linear interpolation processing. A flash reflection amount interpolation unit for calculating the second flash reflection amount;
Based on the calculated second flash reflection amount, a white balance gain calculation unit that calculates a white balance gain to be used for performing a white balance correction process on the second captured image in units of pixels;
An imaging apparatus comprising:
前記第２の撮像画像を構成する各画素の輝度値の差分を算出する輝度差分算出部と、
前記第２の撮像画像を構成する各画素の色信号値の差分を算出するカラーバランス算出部と、
前記輝度差分算出部により算出された前記輝度値の差分と、前記カラーバランス算出部により算出された前記色信号値の差分とに基づいて、各画素の信号値の類似度合いを所定の閾値に基づいて判断し、前記第１のフラッシュ反射量の補間拡大に利用する信号を選択する補間信号選択部と、
前記補間信号選択部により選択された前記補間拡大に利用する信号に基づいて前記第１のフラッシュ反射量を線形補間により補間拡大して、第２のフラッシュ反射量を算出する第２フラッシュ反射量算出部と、
を更に備えることを特徴とする、請求項１又は２に記載の撮像装置。 The flash reflection amount interpolation unit
A luminance difference calculation unit for calculating a difference between luminance values of the pixels constituting the second captured image;
A color balance calculation unit for calculating a difference between color signal values of pixels constituting the second captured image;
Based on the difference between the luminance values calculated by the luminance difference calculation unit and the difference between the color signal values calculated by the color balance calculation unit, the degree of similarity of the signal value of each pixel is based on a predetermined threshold. An interpolation signal selection unit that selects a signal to be used for the interpolation expansion of the first flash reflection amount,
Second flash reflection amount calculation for calculating a second flash reflection amount by interpolating and expanding the first flash reflection amount by linear interpolation based on the signal used for the interpolation expansion selected by the interpolation signal selection unit. And
The imaging apparatus according to claim 1, further comprising:
前記輝度値の差分が第１の閾値以上である場合には、前記補間拡大に利用する信号として前記輝度値を選択し、
前記輝度値の差分が前記第１の閾値未満である場合には、前記補間拡大に利用する信号として前記色信号値を選択することを特徴とする、請求項３に記載の撮像装置。 The interpolation signal selection unit includes:
When the difference between the luminance values is equal to or greater than a first threshold, the luminance value is selected as a signal used for the interpolation expansion,
The imaging apparatus according to claim 3, wherein when the difference between the luminance values is less than the first threshold, the color signal value is selected as a signal used for the interpolation enlargement.
前記輝度値の差分が前記第１の閾値未満であり、かつ、前記カラーバランス算出部により算出されたＲ信号値の差分が第２の閾値以上である場合には、前記補間拡大に利用する信号として前記Ｒ信号値を選択し、
前記輝度値の差分が前記第１の閾値未満であり、かつ、前記カラーバランス算出部により算出されたＢ信号値の差分が前記第２の閾値以上である場合には、前記補間拡大に利用する信号として前記Ｂ信号値を選択し、
前記輝度値の差分が前記第１の閾値未満であり、かつ、前記カラーバランス算出部により算出された前記Ｒ信号値及び前記Ｂ信号値の差分がそれぞれ前記第２の閾値以上である場合には、前記補間拡大に利用する信号として前記Ｒ信号値及び前記Ｂ信号値の双方を選択し、
前記輝度値の差分が前記第１の閾値未満であり、かつ、前記カラーバランス算出部により算出された前記Ｒ信号値及び前記Ｂ信号値の差分がそれぞれ前記第２の閾値未満である場合には、前記補間拡大に利用する信号として前記輝度値を選択することを特徴とする、請求項４に記載の撮像装置。 The interpolation signal selection unit includes:
When the difference between the luminance values is less than the first threshold and the difference between the R signal values calculated by the color balance calculation unit is greater than or equal to a second threshold, a signal used for the interpolation enlargement Select the R signal value as
When the difference between the luminance values is less than the first threshold and the difference between the B signal values calculated by the color balance calculation unit is greater than or equal to the second threshold, the difference is used for the interpolation expansion. Select the B signal value as the signal,
When the difference between the luminance values is less than the first threshold value, and the difference between the R signal value and the B signal value calculated by the color balance calculation unit is equal to or greater than the second threshold value, respectively. , Selecting both the R signal value and the B signal value as signals used for the interpolation expansion,
When the difference between the luminance values is less than the first threshold value and the difference between the R signal value and the B signal value calculated by the color balance calculation unit is less than the second threshold value, respectively. The imaging apparatus according to claim 4, wherein the luminance value is selected as a signal used for the interpolation enlargement.
前記第１の撮像画像と前記第２の撮像画像とが同一の画像サイズとなるように前記第２の撮像画像を縮小して、第３の撮像画像を生成する画像縮小ステップと、
前記第１の撮像画像の露光制御値及び前記第２の撮像画像の露光制御値に基づいて、第１の撮像画像と第２の撮像画像との間の露光差分値を算出する露光差分値算出ステップと、
前記第１の撮像画像の信号値と、前記露光差分値を乗算した前記第３の撮像画像の信号値とに基づいて、画素単位で第１のフラッシュ反射量を算出する第１フラッシュ反射量算出ステップと、
色信号値から算出したカラーバランスに基づく線形補間処理、又は、輝度値に基づく線形補間処理の何れか一方を選択するとともに、選択した前記線形補間処理により前記第１のフラッシュ反射量を補間拡大し、第２のフラッシュ反射量を算出するフラッシュ反射量補間ステップと、
算出された前記第２のフラッシュ反射量に基づいて、前記第２の撮像画像に対してホワイトバランス補正処理を実施する際に用いられるホワイトバランスゲインを画素単位で算出するホワイトバランスゲイン算出ステップと、
を含むことを特徴とする、撮像方法。
An imaging step for generating a first captured image captured at the time of flash non-emission, and a second captured image having more pixels than the first captured image and captured at the time of flash emission;
An image reduction step of generating a third captured image by reducing the second captured image so that the first captured image and the second captured image have the same image size;
An exposure difference value calculation that calculates an exposure difference value between the first captured image and the second captured image based on the exposure control value of the first captured image and the exposure control value of the second captured image. Steps,
Based on the signal value of the first captured image and the signal value of the third captured image multiplied by the exposure difference value, the first flash reflection amount calculation that calculates the first flash reflection amount in units of pixels. Steps,
Either linear interpolation processing based on the color balance calculated from the color signal value or linear interpolation processing based on the luminance value is selected, and the first flash reflection amount is interpolated and enlarged by the selected linear interpolation processing. A flash reflection amount interpolation step for calculating a second flash reflection amount;
A white balance gain calculating step for calculating a white balance gain used for performing a white balance correction process on the second captured image on a pixel basis based on the calculated second flash reflection amount;
The imaging method characterized by including.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010283826A JP2012134678A (en) | 2010-12-20 | 2010-12-20 | Imaging apparatus and imaging method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010283826A JP2012134678A (en) | 2010-12-20 | 2010-12-20 | Imaging apparatus and imaging method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012134678A true JP2012134678A (en) | 2012-07-12 |
Family
ID=46649769
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010283826A Pending JP2012134678A (en) | 2010-12-20 | 2010-12-20 | Imaging apparatus and imaging method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012134678A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9025047B2 (en) | 2012-12-13 | 2015-05-05 | Samsung Electronics Co., Ltd. | Photographing apparatus and method |
| CN112907701A (en) * | 2019-11-19 | 2021-06-04 | 杭州海康威视数字技术股份有限公司 | Method and device for acquiring image, computer equipment and storage medium |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005102116A (en) * | 2003-09-04 | 2005-04-14 | Sony Corp | Image processing method, image processing device, and computer program |
| JP2009060586A (en) * | 2007-08-06 | 2009-03-19 | Panasonic Corp | White balance adjustment device, image capture device, white balance adjustment method, program and integrated circuit |
| JP2009094997A (en) * | 2007-09-18 | 2009-04-30 | Ricoh Co Ltd | Imaging apparatus, imaging method |
-
2010
- 2010-12-20 JP JP2010283826A patent/JP2012134678A/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005102116A (en) * | 2003-09-04 | 2005-04-14 | Sony Corp | Image processing method, image processing device, and computer program |
| JP2009060586A (en) * | 2007-08-06 | 2009-03-19 | Panasonic Corp | White balance adjustment device, image capture device, white balance adjustment method, program and integrated circuit |
| JP2009094997A (en) * | 2007-09-18 | 2009-04-30 | Ricoh Co Ltd | Imaging apparatus, imaging method |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9025047B2 (en) | 2012-12-13 | 2015-05-05 | Samsung Electronics Co., Ltd. | Photographing apparatus and method |
| CN112907701A (en) * | 2019-11-19 | 2021-06-04 | 杭州海康威视数字技术股份有限公司 | Method and device for acquiring image, computer equipment and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5761946B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP5743696B2 (en) | Image processing apparatus, image processing method, and program | |
| JP6049343B2 (en) | Image processing apparatus, image processing method, and program | |
| JP5808142B2 (en) | Image processing apparatus, image processing method, and program | |
| US20050169555A1 (en) | Image processing apparatus and method, and computer program | |
| US8243164B2 (en) | Method, apparatus, and system for selecting pixels for automatic white balance processing | |
| JP2008079143A (en) | White balance correction method and imaging apparatus | |
| JP2007173933A (en) | Digital camera, gain calculation apparatus, and gain calculation method | |
| US9036046B2 (en) | Image processing apparatus and method with white balance correction | |
| JP2012054811A (en) | Image processor, image processing method and program | |
| JP2010026284A (en) | Flash emission method and device | |
| CN113691795A (en) | Image processing apparatus, image processing method, and storage medium | |
| JP5225137B2 (en) | Imaging apparatus, image processing method, and program | |
| JP2007329619A (en) | Video signal processor, video signal processing method and video signal processing program | |
| JP5854716B2 (en) | Image processing apparatus, image processing method, and program | |
| KR102068747B1 (en) | Photographing apparatus and method | |
| JP2019179463A (en) | Image processing device, control method thereof, program, and recording medium | |
| JP5566680B2 (en) | Imaging apparatus and imaging method | |
| JP2012134678A (en) | Imaging apparatus and imaging method | |
| JP6570311B2 (en) | Image processing apparatus and image processing method | |
| KR101710629B1 (en) | Image pickup apparatus and image pickup method | |
| JP4389671B2 (en) | Image processing apparatus, image processing method, and computer program | |
| JP2009239772A (en) | Imaging device, image processing device, image processing method, and program | |
| JP2013090238A (en) | Imaging device and white balance adjustment method | |
| JP6616674B2 (en) | Image processing apparatus and method, and imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131220 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140808 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140909 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150120 |