JP2008219838A - Imaging apparatus, white balance control device and white balance control method - Google Patents
Imaging apparatus, white balance control device and white balance control method Download PDFInfo
- Publication number
- JP2008219838A JP2008219838A JP2007058205A JP2007058205A JP2008219838A JP 2008219838 A JP2008219838 A JP 2008219838A JP 2007058205 A JP2007058205 A JP 2007058205A JP 2007058205 A JP2007058205 A JP 2007058205A JP 2008219838 A JP2008219838 A JP 2008219838A
- Authority
- JP
- Japan
- Prior art keywords
- light source
- different light
- white
- white balance
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
Description
本発明は、画像に対してホワイトバランスの調整を行う撮像装置、ホワイトバランス調整装置およびホワイトバランス調整方法に関する。撮像装置は、主にデジタルスチルカメラやデジタルビデオカメラ等に代表される。 The present invention relates to an imaging apparatus, a white balance adjustment apparatus, and a white balance adjustment method that perform white balance adjustment on an image. Imaging devices are mainly represented by digital still cameras, digital video cameras, and the like.
近年、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置は、自動ホワイトバランス調整機能（ＡＷＢ：Auto White Balance）を有しており、撮影時にホワイトバランスを自動的に調整して撮影することができる。この自動ホワイトバランス調整機能は、撮影時の光源による色味の違いを自動的に補正する機能をいう。具体的には、自動ホワイトバランス調整機能は、撮像している被写体の画像信号から、撮影時の光源下における無彩色の映像信号（白エリア部分）を白データとして検出し、無彩色の被写体が画像上で無彩色になるように、３原色画像信号ＲＧＢの各データの大きさを等しく揃える制御を行う機能をいう。このように、この自動ホワイトバランス調整機能を用いることにより、いろいろな光源の色温度や明るさに応じてホワイトバランスの調整を行える。 In recent years, an imaging apparatus such as a digital still camera or a digital video camera has an automatic white balance adjustment function (AWB: Auto White Balance), and can automatically adjust the white balance during shooting. The automatic white balance adjustment function is a function for automatically correcting a difference in color depending on a light source at the time of shooting. Specifically, the automatic white balance adjustment function detects the achromatic video signal (white area) under the light source at the time of shooting as white data from the image signal of the subject being imaged, and the achromatic subject is detected. This is a function for performing control to equalize the sizes of the three primary color image signals RGB so that they become achromatic on the image. Thus, by using this automatic white balance adjustment function, white balance can be adjusted according to the color temperature and brightness of various light sources.
ここで、画像から白データを検出する一般的な技術として、無彩色被写体が集まる領域を白判定エリアとして色空間上に定義し、画面毎に白判定エリア内に入った画像信号を白データとして検出する技術が、知られている。ところが、この一般的な技術のように、画面に対して１つの白判定エリアを一律に設定して白データの検出を行う場合、異なる色温度の光源によって照らされた映像領域が画面中に存在する撮像条件（この撮像条件をミックス光源という）の下では、ホワイトバランスの調整が正確に行われない場合があった。 Here, as a general technique for detecting white data from an image, an area where achromatic objects gather is defined as a white determination area on the color space, and an image signal that falls within the white determination area for each screen is used as white data. Techniques for detecting are known. However, when white data is detected by uniformly setting one white determination area on the screen as in this general technique, there are image areas illuminated by light sources having different color temperatures in the screen. Under certain imaging conditions (this imaging condition is referred to as a mix light source), white balance adjustment may not be performed accurately.
この問題を解決するために、例えば特許文献１に記載のホワイトバランス調整技術が提案されている。ホワイトバランスの調整は、撮像素子から得られた映像信号にホワイトバランスゲインを乗算することによって行われる。このホワイトバランスゲインの算出が、特許文献１に記載のホワイトバランス調整技術では、次のように行われている。すなわち、このホワイトバランス調整技術では、色座標上に設定された色温度別の複数の白判定エリアに基づいて、画像から得られる色信号が複数の白判定エリアのいずれに含まれるか判定され、白判定エリア毎に白データが加算されることにより、色信号毎のホワイトバランス制御値が算出される。また、色信号毎のホワイトバランス制御値の算出と同時に、白判定エリアに入った色信号数が白判定エリア毎にカウントされる。
In order to solve this problem, for example, a white balance adjustment technique described in
そして、複数の白判定エリア毎の白判定のカウント値に基づいて、色温度毎のホワイトバランス制御値の混合比がそれぞれ決定され、混合比に応じて色温度毎のホワイトバランス制御値が混合加算されて、ホワイトバランスゲインが算出される。これにより、ミックス光源などの撮像画像においても、画面中に色温度が異なる光源の占める割合を判別し、色温度別の混合比に基づいたホワイトバランスゲインを求めることができる。
しかしながら、特許文献１に記載のホワイトバランス調整技術では、色温度別の混合比に基づいてホワイトバランスゲインを求めることができるものの、例えば日向および日陰が混在するミックス光源下において、撮影者が日陰側を主として撮影している場合に、日向側で白が多く検出されると、主な被写体である日陰側でホワイトバランスが合わないという問題があった。また、逆に、撮影者が日向側を主として撮影している場合に、日陰側で白が多く検出されると、主な被写体である日向側でホワイトバランスが合わないという問題があった。
However, with the white balance adjustment technique described in
また、特許文献１に記載のホワイトバランス調整技術では、いずれかの白判定エリアで白色の誤検出が発生した場合に、意図しない色温度方向にホワイトバランスが収束することがあるという問題があった。例えば、高色温度の光源下における肌色は、低色温度の光源下における白色と誤検出しやすく、このことがホワイトバランスゲインに影響を与えてしまっていた。また、例えば、夕刻の空などの淡い青色は、高色温度の光源下における白と誤検出されやすい。
In addition, the white balance adjustment technique described in
本発明は、上記従来の問題を解決するためになされたもので、ミックス光源下であっても、光源の明るさに応じた異光源領域の各々に適した白データの検出を行い、各異光源領域中の画像に対応した適切なホワイトバランスゲインを入力画像毎に算出でき、適切なホワイトバランスの調整を行うことができる撮像装置を提供することを目的とする。 The present invention has been made to solve the above-described conventional problems. Even under a mixed light source, the present invention detects white data suitable for each of the different light source regions according to the brightness of the light source. An object of the present invention is to provide an imaging device capable of calculating an appropriate white balance gain corresponding to an image in a light source region for each input image and adjusting an appropriate white balance.
本発明に係る撮像装置は、撮像された画像に対してホワイトバランスの調整を行う撮像装置であって、画像信号のコントラスト値に基づいて、前記画像信号を光源の明るさに応じた複数の異光源領域に分離する異光源分離部と、前記異光源分離部により分離された前記異光源領域毎に、前記画像中の白エリア部分を白データとして検出する白データ検出部と、前記白データ検出部により検出された異光源領域毎の白データに基づいて、ホワイトバランスの調整を行うためのホワイトバランスゲインを算出するホワイトバランスゲイン算出部と、前記ホワイトバランスゲイン算出部により算出される前記ホワイトバランスゲインに基づいて、前記画像に対してホワイトバランスの調整を行うホワイトバランス調整部とを備えた構成を有している。 An image pickup apparatus according to the present invention is an image pickup apparatus that performs white balance adjustment on a picked-up image, and based on a contrast value of the image signal, the image signal is converted into a plurality of differences according to the brightness of a light source. A different light source separation unit that separates light source regions, a white data detection unit that detects a white area portion in the image as white data for each different light source region separated by the different light source separation unit, and the white data detection A white balance gain calculating unit that calculates a white balance gain for adjusting white balance based on white data for each different light source region detected by the unit, and the white balance calculated by the white balance gain calculating unit. And a white balance adjustment unit configured to adjust a white balance for the image based on the gain.
この構成により、光源の明るさに応じた複数の異光源領域に画像信号を分離した上で、異光源領域毎に白データを検出するので、日向および日陰が混在するミックス光源下であっても、光源の明るさに応じた異光源領域の各々に適した白データの検出を行い、各異光源領域中の画像に対応した適切なホワイトバランスゲインを入力画像毎に算出でき、適切なホワイトバランスの調整を行うことができる。すなわち、ミックス光源下において、光源の異なる領域を異光源領域として分離することで、異光源領域毎に被写体中の白エリア部分を白データとして検出するので、撮像シーンと被写体に応じて、白データを検出するための白判定エリアを絞り込むことが可能となり、白の誤検出と誤検出によるホワイトバランスのずれを低減することができる。 With this configuration, the image signal is separated into a plurality of different light source regions according to the brightness of the light source, and white data is detected for each different light source region, so even under a mixed light source where the sun and shade are mixed Detects white data suitable for each of the different light source regions according to the brightness of the light source, and calculates an appropriate white balance gain corresponding to the image in each different light source region for each input image. Adjustments can be made. That is, by separating the different light source areas as different light source areas under the mixed light source, the white area portion in the subject is detected as white data for each different light source area. It is possible to narrow down the white determination area for detecting white, and it is possible to reduce white balance misalignment due to erroneous white detection.
また、本発明に係る撮像装置において、前記ホワイトバランスゲイン算出部が、前記異光源領域毎の白データを、前記異光源領域の各面積比に応じて合成することにより、前記ホワイトバランスゲインを算出する構成を有している。 In the imaging apparatus according to the present invention, the white balance gain calculation unit calculates the white balance gain by combining the white data for each different light source region according to each area ratio of the different light source region. It has the composition to do.
この構成により、光源の明るさに応じた各領域の白データを、光源の明るさに応じた領域の面積に対応して合成することができ、より適切なホワイトバランスゲインを算出できる。すなわち、光源の明るさに応じた各領域の画面占有率に応じて、主要被写体に重点を置いてホワイトバランスの調整を行うことができる。例えば、主要被写体がどの異光源領域にあるかによって、データの重み付けを行え、ミックス光源下で異なる異光源領域がどのような比率で存在したとしても、主要被写体に対して重点的にホワイトバランスを合わせることができる。 With this configuration, the white data of each region corresponding to the brightness of the light source can be synthesized corresponding to the area of the region corresponding to the brightness of the light source, and a more appropriate white balance gain can be calculated. That is, it is possible to adjust the white balance with emphasis on the main subject according to the screen occupancy ratio of each area corresponding to the brightness of the light source. For example, data weighting can be performed depending on which different light source area the main subject is in, and white balance is focused on the main subject regardless of the ratio of different different light source areas under the mixed light source. Can be matched.
また、本発明に係る撮像装置において、前記異光源分離部が、前記画像を分割した複数のブロック毎の輝度に基づいて、各ブロックと隣接するブロックとの間のコントラスト値を算出するコントラスト算出部と、前記コントラスト算出部で算出されたコントラスト値と、所定のコントラスト閾値とを比較することにより、前記異光源領域の境界部を検出する境界部検出部と、前記境界部検出部により検出される前記異光源領域の境界部の情報に基づいて、前記画像信号を前記異光源領域に分離する画像信号分離部とを備えた構成を有している。 Further, in the imaging device according to the present invention, the different light source separation unit calculates a contrast value between each block and an adjacent block based on the luminance for each of the plurality of blocks obtained by dividing the image. And a contrast value calculated by the contrast calculation unit and a predetermined contrast threshold value to detect a boundary part of the different light source region and detected by the boundary part detection unit And an image signal separation unit that separates the image signal into the different light source regions based on information on a boundary portion of the different light source regions.
この構成により、日向と日陰のミックス光源下においても、各ブロック間のコントラスト値から異光源領域の境界部を容易に検出することができ、当該異光源領域の境界部の情報に基づき、画像信号を異光源領域に分離できる。また、境界部検出部により検出された異光源領域の境界部の情報に基づいて、画像信号を異光源領域に分離する判断基準を定めることができるので、画像信号を異光源領域に分離するための画面分轄パターンを複数用意することなく、画像信号を複数の異光源領域に容易に分離できる。 This configuration makes it possible to easily detect the boundary between different light source regions from the contrast value between each block even under a mixed light source of sun and shade, and based on the information of the boundary of the different light source region, the image signal Can be separated into different light source regions. Further, since it is possible to set a criterion for separating the image signal into the different light source regions based on the information on the boundary portion of the different light source region detected by the boundary detection unit, the image signal is separated into the different light source regions. The image signal can be easily separated into a plurality of different light source regions without preparing a plurality of screen division patterns.
また、本発明に係る撮像装置は、コントラスト算出部が、前記ブロック分割測光部により測光された各ブロックの輝度と、前記各ブロックに隣接する全てのブロックの輝度との差分値を算出し、算出された前記差分値の最大差分値に基づいて、互いに隣接するブロックとの間のコントラスト値を算出する構成を有する。 In the imaging apparatus according to the present invention, the contrast calculation unit calculates a difference value between the luminance of each block measured by the block division photometry unit and the luminance of all the blocks adjacent to the block. The contrast value between adjacent blocks is calculated based on the maximum difference value of the difference values.
この構成により、輝度変化の大きいブロックが隣接するブロックに存在するかを適切に判断でき、異光源領域の境界部を検出するためのコントラスト値を適切に算出できる。 With this configuration, it is possible to appropriately determine whether a block having a large luminance change is present in an adjacent block, and it is possible to appropriately calculate a contrast value for detecting a boundary portion of a different light source region.
また、本発明に係る撮像装置において、前記画像信号分離部は、前記異光源領域の境界部におけるブロックの平均輝度値の代表値に基づいて、前記画像信号を前記異光源領域に分離する構成を有する。 Further, in the imaging apparatus according to the present invention, the image signal separation unit is configured to separate the image signal into the different light source regions based on a representative value of an average luminance value of a block at a boundary portion of the different light source regions. Have.
この構成により、異光源領域の境界部におけるブロックの平均輝度値の代表値に基づいて、画像信号を複数の異光源領域に分離する判断基準が明確に定められる。一義的に決定された閾値で判別する方式と異なり、代表値という実際の値を用いることで、輝度の変化量（コントラスト値）にのみ基づいた判定が可能となり、境界部を正確に判別できる。 With this configuration, a criterion for separating an image signal into a plurality of different light source regions is clearly determined based on the representative value of the average luminance value of the block at the boundary between the different light source regions. Unlike the method of discriminating with a uniquely determined threshold value, by using an actual value called a representative value, it becomes possible to make a determination based only on the amount of change in brightness (contrast value), and the boundary portion can be discriminated accurately.
また、本発明に係る撮像装置において、前記画像信号分離部は、前記異光源領域の境界部におけるブロックの平均輝度値の最小値に基づいて、前記画像信号を前記異光源領域に分離する構成を有する。 Further, in the imaging apparatus according to the present invention, the image signal separation unit is configured to separate the image signal into the different light source regions based on a minimum value of an average luminance value of a block at a boundary portion of the different light source regions. Have.
この構成により、異光源領域の境界部におけるブロックの平均輝度値の最小値に基づいて、画像信号を複数の異光源領域に分離する判断基準がより明確に定められるので、画像信号を複数の異光源領域に正確に分離できる。 With this configuration, the determination criterion for separating the image signal into a plurality of different light source regions can be more clearly determined based on the minimum value of the average luminance value of the block at the boundary between the different light source regions. It can be accurately separated into the light source region.
本発明に係る撮像装置において、前記境界部検出部が、前記所定のコントラスト閾値を、同一フレーム内のコントラスト値の大きさに基づいて変化させる構成を有している。 In the imaging apparatus according to the present invention, the boundary detection unit has a configuration that changes the predetermined contrast threshold based on a contrast value in the same frame.
この構成により、露光状態に関係なく、撮像シーンが変わった時などにも、自動的に、かつ、柔軟に、異光源領域の境界部を安定して検出することができる。 With this configuration, it is possible to detect the boundary portion of the different light source region stably and automatically and flexibly even when the imaging scene changes regardless of the exposure state.
また、本発明に係る撮像装置において、前記境界部検出部が、前記所定のコントラスト閾値を、同一フレーム内のコントラスト値の大きさに基づいて設定する際に、前記所定のコントラスト閾値には下限値が設けられている。 In the imaging apparatus according to the present invention, when the boundary detection unit sets the predetermined contrast threshold based on a contrast value in the same frame, a lower limit value is set for the predetermined contrast threshold. Is provided.
この構成により、変化幅の小さい輝度変化を除外して、異なる光源により発生したコントラスト値に基づいて、異光源領域の境界部を検出することができる。 With this configuration, it is possible to detect a boundary portion of a different light source region based on a contrast value generated by a different light source by excluding a luminance change having a small change width.
また、本発明に係る撮像装置において、前記境界部検出部が、前記画像の明るさに基づいて、前記コントラスト閾値の下限値を設定する構成を有している。 In the imaging device according to the present invention, the boundary detection unit sets a lower limit value of the contrast threshold based on the brightness of the image.
この構成により、被写体画像の明るさに基づいて、異光源領域の境界部の検出の敏感度を制御できる。例えば、照度の低い屋内撮影条件下では、ミックス光源が存在する可能性が少ないので、コントラスト閾値の下限値を上げることで、画像信号を異光源領域に分離しないようにすることもできる。 With this configuration, it is possible to control the sensitivity of detection of the boundary portion of the different light source region based on the brightness of the subject image. For example, under indoor shooting conditions with low illuminance, there is little possibility of a mixed light source, so the image signal can be prevented from being separated into different light source regions by increasing the lower limit of the contrast threshold.
また、本発明に係る撮像装置において、前記異光源分離部が複数の異光源領域に分離できない場合、前記白データ検出部が、前記画像全体中の白エリア部分を白データとして検出する構成を有している。 Further, in the imaging device according to the present invention, when the different light source separation unit cannot be separated into a plurality of different light source regions, the white data detection unit detects a white area portion in the entire image as white data. is doing.
この構成により、例えば単一光源下のように、異光源分離部が複数の異光源領域に分離できない場合にであっても、白エリア部分を白データとして検出することができる。 With this configuration, even when the different light source separation unit cannot be separated into a plurality of different light source regions, for example, under a single light source, the white area portion can be detected as white data.
本発明に係るホワイトバランス調整装置は、画像に対してホワイトバランスの調整を行うホワイトバランス調整装置であって、画像信号のコントラストに基づいて、前記画像信号を光源の明るさに応じた複数の異光源領域に分離する異光源分離部と、前記異光源分離部により分離された前記異光源領域毎に、前記画像中の白エリア部分を白データとして検出する白データ検出部と、前記白データ検出部により検出された異光源領域毎の白データに基づいて、ホワイトバランスの調整を行うためのホワイトバランスゲインを算出するホワイトバランスゲイン算出部と、前記ホワイトバランスゲイン算出部により算出される前記ホワイトバランスゲインに基づいて、前記画像に対してホワイトバランスの調整を行うホワイトバランス調整部とを備えた構成を有している。 A white balance adjustment device according to the present invention is a white balance adjustment device that performs white balance adjustment on an image, and based on the contrast of the image signal, the image signal is converted into a plurality of differences according to the brightness of the light source. A different light source separation unit that separates light source regions, a white data detection unit that detects a white area portion in the image as white data for each different light source region separated by the different light source separation unit, and the white data detection A white balance gain calculating unit that calculates a white balance gain for adjusting white balance based on white data for each different light source region detected by the unit, and the white balance calculated by the white balance gain calculating unit. A white balance adjustment unit that adjusts the white balance of the image based on the gain. Has a configuration was.
この構成は、撮像装置のホワイトバランス調整技術に限定されない。すなわち、ホワイトバランス調整装置は、撮像装置に設けられても、設けられなくてもよい。そして、本発明のホワイトバランス調整処理が、撮像装置で撮像された画像だけでなく、一般的な画像に対しても施されてもよい。この構成によっても。上述した本発明の利点が得られる。 This configuration is not limited to the white balance adjustment technique of the imaging apparatus. That is, the white balance adjustment device may or may not be provided in the imaging device. And the white balance adjustment process of this invention may be performed not only on the image imaged with the imaging device but on a general image. Even with this configuration. The advantages of the present invention described above can be obtained.
本発明に係るホワイトバランス調整方法は、画像に対してホワイトバランスの調整を行うホワイトバランス調整方法であって、画像信号のコントラストに基づいて、前記画像信号を光源の明るさに応じた複数の異光源領域に分離するステップと、前記複数の異光源領域に分離するステップにより分離された前記異光源領域毎に、前記画像中の白エリア部分を白データとして検出するステップと、前記白データを検出するステップにより検出された異光源領域毎の白データに基づいて、ホワイトバランスの調整を行うためのホワイトバランスゲインを算出するステップと、前記ホワイトバランスゲインを算出するステップにより算出される前記ホワイトバランスゲインに基づいて、前記画像に対してホワイトバランスの調整を行うステップとを含んでいる。 A white balance adjustment method according to the present invention is a white balance adjustment method for adjusting white balance on an image, and based on the contrast of the image signal, the image signal is converted into a plurality of differences according to the brightness of the light source. A step of separating the light source region, a step of detecting a white area portion in the image as white data for each of the different light source regions separated by the step of separating the plurality of different light source regions, and detecting the white data Calculating the white balance gain for adjusting the white balance based on the white data for each different light source region detected by the step of calculating the white balance gain, and calculating the white balance gain And adjusting the white balance of the image based on And Nde.
このホワイトバランス調整方法の適用対象も、撮像装置に限定されない。このホワイトバランス調整方法によっても、上述した本発明の利点が得られる。 The application target of this white balance adjustment method is not limited to the imaging apparatus. The above-described advantages of the present invention can also be obtained by this white balance adjustment method.
本発明は、光源の明るさに応じた複数の異光源領域に画像信号を分離した上で、異光源領域毎に白データを検出するので、ミックス光源下であっても、光源の明るさに応じた領域の各々に適した白データの検出を行い、光源の明るさに応じた各領域の各画像に対応した適切なホワイトバランスゲインを入力画像毎に算出でき、適切なホワイトバランスの調整を行うことができるという効果を有する撮像装置を提供することができるものである。 In the present invention, the image signal is separated into a plurality of different light source areas corresponding to the brightness of the light source, and the white data is detected for each different light source area. Appropriate white balance can be calculated for each input image by detecting white data suitable for each of the corresponding areas and calculating the appropriate white balance gain corresponding to each image in each area according to the brightness of the light source. An imaging device having an effect that it can be performed can be provided.
（第１の実施の形態）
以下、本発明の第１の実施の形態に係る撮像装置について、図面を用いて説明する。本発明の実施の形態における撮像装置を図１に示す。図１に示されるように、本発明の第１の実施の形態に係る撮像装置１０００は、レンズ１と、撮像素子２と、ＡＧＣ（Auto Gain Control）部３と、Ａ／Ｄ変換部４と、ホワイトバランス調整部５と、画面分割測色部６と、異光源領域分離部７と、測光部8と、制御部９と、画像処理部１０と、領域別白検出部１００とを備えている。また、画面分割測色部６、異光源領域分離部７、測光部8、制御部９、画像処理部１０および領域別白検出部１００により、ホワイトバランスゲイン生成部２００が構成されている。
(First embodiment)
Hereinafter, an imaging apparatus according to a first embodiment of the present invention will be described with reference to the drawings. An imaging apparatus according to an embodiment of the present invention is shown in FIG. As shown in FIG. 1, the
レンズ１は、被写体からの光を撮像素子２に結像するものである。撮像素子２は、レンズ１により結像した像を光電変換することにより、撮像された画像から画像信号を生成する。また、撮像素子２は電子シャッター（不図示）を備えており、この電子シャッターは制御部９の制御により画像全体の明るさを電子的に制御する。ＡＧＣ部３は、撮像素子２に入射する光量の制御情報や画像全体の明るさに応じて、Ａ／Ｄ変換部４への出力を一定に利得制御する。Ａ／Ｄ変換部４は、撮像素子３から得られるアナログ信号をデジタル信号に変換する。
The
ホワイトバランス調整部５は、ホワイトバランスゲイン生成部２００により生成されるホワイトバランスゲインに基づいて、画像に対してホワイトバランスの調整を行う。画面分割測色部６は、撮像した画像信号を複数のブロックに分割して、各ブロックの３原色画像信号であるＲ信号、Ｇ信号、Ｂ信号それぞれの平均値を順次算出して、これをＲＧＢブロック平均値Ｓ１として、領域別白検出部１００へ出力する。
The white
異光源領域分離部７は、画像信号のコントラスト値に基づいて、画像信号を光源の明るさに応じた異光源領域に分離する。具体的には、異光源領域分離部７は、まず、撮影した画像信号を複数のブロックに分割して、分割後のブロック毎の画像信号を複数の異光源領域に分離する。ここでは、異光源領域が、明るい光源によって照らされている領域（明光源領域）と、暗い光源によって照らされている領域（暗光源領域）であるとする。このとき、異光源領域分離部７は、分割後の各ブロックの画像信号を、明光源領域および暗光源領域に分離する。異光源領域分離部７は、画像信号を複数の異光源領域に分離した後、分割後の各ブロックの画像信号がどの異光源領域に属するかの判定結果と各ブロックの座標とが関連付けられた信号である異光源領域判別信号Ｓ２を、領域別白検出部１００へ出力する。なお、図２に示されるように、異光源分離部７は、ブロック分割部７ａと、ブロック輝度測定部７ｂと、コントラスト算出部７ｃと、境界部検出部７ｄと、画像信号分離部７ｅとを備えている。これらの機能および動作についての詳細な説明については、後述の動作説明と共に説明する。
The different light source
測光部８は、撮像された画像全体の明るさを測定する。この画像全体の明るさは、例えばＡＧＣ部３が利得制御を行うのに用いられる。また、制御部９は、測光部８で得られた画像全体の輝度に基づいて、撮像素子２、ＡＧＣ部３、異光源分離部７、領域別白検出部１００の制御を行う。画像処理部１０は、ホワイトバランス調整部５によりホワイトバランスの調整が行われた画像信号に基づいて、輝度信号および色信号を生成する。
The
次に、領域別白検出部１００の構成について、図に基づいて説明する。本発明の第１の実施の形態における領域別白検出部１００を図３に示す。図３に示されるように、領域別白検出部１００は、異光源領域選択部１１と、異光源領域白データ検出部１２と、ホワイトバランスゲイン算出部１４とを備えている。また、異光源領域白データ検出部１２は、明光源領域用白データ検出部１３Ａと、暗光源領域用白データ検出部１３Ｂとを備えている。
Next, the configuration of the area-specific
異光源領域選択部１１は、異光源領域分離部７から入力される異光源領域判別信号Ｓ２に基づいて、画面分割測色部６から入力されるＲＧＢブロック平均値Ｓ１が明光源領域または暗光源領域のどちらの光源領域のデータであるのかを、ブロック毎に順次判定する。異光源領域選択部１１は、ＲＧＢブロック平均値Ｓ１が明光源領域のデータである場合には、ＲＧＢブロック平均値Ｓ１を明光源領域用白データ検出部１３Ａへ出力し、ＲＧＢブロック平均値Ｓ１が暗光源領域のデータである場合には、ＲＧＢブロック平均値Ｓ１を暗光源領域用白データ検出部１３Ｂへ出力する。
The different light source
白データ検出部としての異光源領域白データ検出部１２は、異光源分離部７により分離された異光源領域毎に被写体中の白エリア部分を白判定データ（白データ）として検出して、異光源領域毎に検出された白データを積算する。ここで、被写体中の白エリアを検出するために、異光源領域毎に白判定エリアが色空間上に設定される。制御部９から入力される白判定エリア制御信号Ｓ４は、異光源領域毎に白判定エリアを色空間上に設定するための信号である。明光源領域用白データ検出部１３Ａは、異光源領域選択部１１により選択された明光源領域のブロックの白データの検出および積算を行う。暗光源領域用白データ検出部１３Ｂは、異光源領域選択部１１により選択された暗光源領域のブロックの白データの検出および積算を行う。
The different light source region white
ホワイトバランスゲイン算出部１４は、異光源領域選択部１１により選択された明光源領域および暗光源領域のブロック個数の比、すなわち、明光源領域および暗光源領域の面積比に応じて、明光源領域用白データ検出部１３Ａおよび暗光源領域用白データ検出部１３Ｂにより積算された白データを合成して、ホワイトバランスゲインを算出する。このホワイトバランスゲインは、ホワイトバランス調整部５によるホワイトバランスの調整に用いられる。
The white balance
次に、本発明の第１の実施の形態における撮像装置１０００の動作について、図に基づいて説明する。本発明の第１の実施の形態における撮像装置のホワイトバランスゲイン生成処理のフローを図４に示す。図２および図４に示されるように、まず、異光源分離部７のブロック分割部７ａが、Ａ／Ｄ変換部４によりデジタル信号に変換された画像信号データを、１画面中で複数のブロックに分割する。そして、異光源分離部７のブロック輝度測定部７ｂが、複数のブロック毎の輝度平均値を輝度ブロック平均値として算出する（ステップ（ＳＴＥＰ：以下、Ｓと称する）４０１）。
Next, the operation of the
次に、異光源分離部７のコントラスト算出部７ｃが、輝度ブロック平均値に基づいて、各ブロックと隣接するブロックとの間のコントラスト値をブロック毎に算出する（Ｓ４０２）。ここで、Ｓ４０２のコントラスト値の算出方法について、図５に基づいて、詳しく説明する。異光源分離部７で分割されたブロックの例を図５に示す。図５（ａ）〜図５（ｆ）の各ブロック内に示された数値はブロックの番号である。図５（ａ）は異光源分離部７で分割されたブロックの例を示す図、図５（ｂ）はブロック１を注目ブロックとしたときの隣接ブロックを示す図、図５（ｃ）はブロック２を注目ブロックとしたときの隣接ブロックを示す図、図５（ｄ）はブロック８を注目ブロックとしたときの隣接ブロックを示す図、図５（ｅ）はブロック９を注目ブロックとしたときの隣接ブロックを示す図、図５（ｆ）はブロック１０を注目ブロックとしたときの隣接ブロックを示す図である。
Next, the
Ｓ４０２では、図５（ａ）に示されるように、分割されたブロック１〜４８に対して、順次、コントラスト値を算出する。まず、はじめにブロック１のコントラスト値を求める。図５（ｂ）に示されるように、コントラスト値を求めたいブロック（以下、注目ブロックとする）がブロック１の場合、斜め方向も含めて注目ブロックに隣接するブロック（以下、隣接ブロックとする）は、ブロック２、ブロック９、ブロック１０となる。
In S402, as shown in FIG. 5A, contrast values are sequentially calculated for the divided
また、図５（ｃ）に示すように注目ブロックがブロック２の場合、隣接するブロックはブロック１、ブロック３、ブロック９、ブロック１０、ブロック１１となる。図５（ｄ）〜図５（ｆ）も同様に注目ブロックと隣接ブロックとの関係を示している。このように隣接ブロックは注目ブロックを取り囲む全てのブロックを指していて、注目ブロックがブロック１からブロック４８に至るまで同様の法則で隣接ブロックが決定される。
As shown in FIG. 5C, when the target block is
この時コントラスト値は注目ブロック毎に算出するもので、注目ブロックのブロック輝度平均値から隣接ブロック各々のブロック輝度平均値を減算し、全減算結果の最大値をコントラスト値とする。ブロック１のコントラスト値を求め終わると、ブロック２、ブロック３、・・・、ブロック４８のように、注目ブロック毎にコントラスト値を順次求める。
At this time, the contrast value is calculated for each block of interest. The block luminance average value of each adjacent block is subtracted from the block luminance average value of the block of interest, and the maximum value of all subtraction results is used as the contrast value. When the contrast value of the
このように注目ブロック毎にコントラスト値を求めることにより、例えばコントラスト値が負の値の場合、隣接ブロックの中に注目ブロックよりも輝度の高いブロックが存在するという情報が得られ、逆にコントラスト値が正の値場合、隣接ブロックの中に注目ブロックよりも輝度の低いブロックが存在するという情報が得られる。また、このように注目ブロック毎にコントラスト値を求めることにより、隣接するブロックとの間で輝度変化の大きいブロックを効率よく抽出でき、光源の異なる２つの異光源領域の境界部である可能性の高いブロックを効率よく抽出することができる。従って、輝度変化の大きいブロックが隣接するブロックに存在するかを適切に判断でき、異光源領域の境界部を検出するためのコントラスト値を適切に算出できる。 By obtaining the contrast value for each target block in this way, for example, when the contrast value is negative, information is obtained that there is a block with higher brightness than the target block in the adjacent blocks, and conversely the contrast value When is a positive value, information is obtained that there is a block having lower luminance than the target block in the adjacent blocks. In addition, by obtaining the contrast value for each block of interest in this way, it is possible to efficiently extract a block having a large luminance change between adjacent blocks, which may be a boundary between two different light source regions with different light sources. High blocks can be extracted efficiently. Therefore, it is possible to appropriately determine whether a block having a large luminance change exists in the adjacent block, and it is possible to appropriately calculate a contrast value for detecting the boundary portion of the different light source region.
次に、異光源分離部７の境界部検出部７ｄが、Ｓ４０２の処理により算出されたコントラスト値と、所定のコントラスト閾値とを比較することにより、光源の明るさに応じた異光源領域の境界部を検出する。具体的には、異光源分離部７の境界部検出部７ｄが、Ｓ４０２の処理により算出されたコントラスト値と、光源の異なる二つの異光源領域の境界部であるかどうかを判定するためのコントラスト判定閾値（ＴＨ＿ｃｏｎｔ）とを比較し、Ｓ４０２の処理のより算出されたコントラスト値がコントラスト判定閾値（ＴＨ＿ｃｏｎｔ）よりも大きいブロックを抽出する（Ｓ４０３）。ここで、抽出されたブロックが存在する場合（Ｓ４０４）、抽出された各ブロックを異光源領域の境界部として検出して、次のＳ４０５へ移行する。
Next, the
Ｓ４０５では、異光源領域分離部７によって分割された各ブロックが、明光源領域であるか、暗光源領域であるかを判定するための異光源領域分離閾値（ＴＨ＿ｂｏｒｄｅｒ）を求める（Ｓ４０５）。ＴＨ＿ｂｏｒｄｅｒは、異光源領域の境界部として抽出されたブロックの平均輝度の情報に基づいて設定される。これにより、画像信号を異光源領域に分離する判断基準が明確に定められるので、画像信号を異光源領域に分離するための画面分割パターンを複数用意することなく、画像信号を異光源領域に容易に分離できる。ここでは、異光源領域の境界部として抽出されたブロックで構成される抽出エリアの中で最小のエリア輝度平均値を、ＴＨ＿ｂｏｒｄｅｒに設定している。これにより、画像信号を複数の異光源領域に分離する判断基準がより明確に定められるので、画像信号を複数の異光源領域に正確に分離できる。但し、ＴＨ＿ｂｏｒｄｅｒに、上記抽出エリアの中で最小のエリア輝度平均値以外の値を設定してもよい。
In S405, a different light source region separation threshold (TH_order) for determining whether each block divided by the different light source
次に、異光源分離部７の画像信号分離部７ｅが、異光源領域分離閾値（ＴＨ＿ｂｏｒｄｅｒ）を基準に、画像信号を各異光源領域に分離する。具体的には、異光源分離部７の画像信号分離部７ｅは、輝度ブロック平均値がＴＨ＿ｂｏｒｄｅｒ以上のブロックを明光源領域と判定し、輝度ブロック平均値がＴＨ＿ｂｏｒｄｅｒ未満のブロックを暗光源領域と判定する（Ｓ４０６）。このようにして、異光源分離部７の画像信号分離部７ｅが、境界部検出部７ｄにより検出された異光源領域の境界部の情報に基づいて、画像信号を異光源領域に分離する。
Next, the image
ここで、Ｓ４０１〜Ｓ４０６異光源分離部７の処理について、図６（ａ）に示すような異光源領域が存在するシーンを例に、図に基づいて、より詳細に説明する。図６（ａ）は撮像画像の例を示す図、図６（ｂ）は画像をブロック毎に分割した状態を示す図、図６（ｃ）は異光源領域の境界部として検出されたブロックを示す図、図６（ｄ）は分離後の明光源領域および暗光源領域を示す図である。
Here, the processing of S401 to S406 different light
図６（ａ）では、異光源分離部７に入力される画像の例として、非常に明るい太陽光および青空を光源とする日向部と、建物に太陽光を遮られて青空のみを光源する日陰部からなる典型的なミックス光源と呼ばれるシーンを示している。図６（ａ）〜図６（ｄ）では、日陰部に斜線のハッチングを施している。図６（ｂ）では、図６（ａ）で示された画像を複数のブロックに分割した状態を示している。この図６（ｂ）に示されるブロック毎の画像に対して、Ｓ４０１〜Ｓ４０４の処理を行うことによって、各ブロックと隣接するブロックとの間のコントラスト値がコントラスト判定閾値（ＴＨ＿ｃｏｎｔ）より大きいブロックが、異光源領域の境界部として検出される。
In FIG. 6 (a), as an example of the image input to the different light
図６（ｃ）では、Ｓ４０１〜Ｓ４０４の処理後に、異光源領域の境界部として検出されたブロックが太枠で示されている。図６（ｃ）に示されるように、日向と日陰の境界部では、各ブロックと隣接するブロックとの間のコントラスト値が非常に大きくなるため、異光源領域の境界部として検出された各ブロックは、日向と日陰の境界部周辺に集中して存在している。 In FIG. 6C, the blocks detected as the boundary portions of the different light source regions after the processing of S401 to S404 are indicated by thick frames. As shown in FIG. 6C, since the contrast value between each block and the adjacent block is very large at the boundary between the sun and the shade, each block detected as a boundary between different light source regions. Is concentrated around the boundary between the sun and the shade.
図６（ｄ）では、Ｓ４０５、Ｓ４０６の処理後に、ブロック毎に分割された各画像を、明光源領域と暗光源領域に分離した状態が示されている。Ｓ４０１〜Ｓ４０４の処理を経て抽出され、異光源領域の境界部として検出されたブロック（図６（ｃ）にて太枠で示したブロック）の中で、最小の輝度ブロック平均値が異光源領域分離閾値（ＴＨ＿ｂｏｒｄｅｒ）と設定されると、図６（ｃ）の太枠で示されるブロックの全てがＴＨ＿ｂｏｒｄｅｒ未満の輝度ブロック平均値を持つブロックとなり、明るい側のブロックを明光源領域として、暗い側のブロックを暗光源領域として、正確に分離することが可能となる。図６（ｄ）にて、網目のハッチングを施された領域が暗光源領域に該当する。このようにして、図６（ｄ）に示されるように、画像を光源の明るさに応じた異光源領域に分離することができる。 FIG. 6D shows a state in which each image divided for each block is separated into a bright light source region and a dark light source region after the processing of S405 and S406. Among the blocks (blocks indicated by a thick frame in FIG. 6C) extracted through the processing of S401 to S404 and detected as the boundary portion of the different light source region, the minimum luminance block average value is the different light source region. When the separation threshold (TH_border) is set, all of the blocks indicated by a thick frame in FIG. 6C are blocks having a luminance block average value less than TH_border, and the bright side block is used as the bright light source region and the dark side This block can be accurately separated as a dark light source region. In FIG. 6D, the hatched area corresponds to the dark light source area. In this manner, as shown in FIG. 6D, the image can be separated into different light source regions according to the brightness of the light source.
次に、制御部９が、露光情報に従って、異光源領域が存在する場合における明光源領域用および暗光源領域用の白判定ブロックを、後述の異光源領域白データ検出部１２で用いる色空間上に、それぞれ設定する（Ｓ４０７）。なお、露光情報は、測光部８により測定される画像全体の明るさに基づいた情報である。
Next, the
なお、Ｓ４０４の処理で、異光源領域の境界部が抽出されなかった場合、すなわち異光源領域が存在しない場合は全ブロックを明光源領域と判定し（Ｓ４０８）、制御部９が上述の露光情報に基づいて、異光源領域が存在しない場合における明光源用の白判定ブロックを、異光源領域白データ検出部１２で用いる色空間上に設定する（Ｓ４０９）。これにより、例えば単一光源下のように、異光源分離部７が複数の異光源領域に分離できない場合にであっても、白エリア部分を白データとして検出することができる。
If the boundary of the different light source region is not extracted in the process of S404, that is, if the different light source region does not exist, all the blocks are determined as the bright light source region (S408), and the
次に、被写体中の白エリア部分を白データとして検出するために、異光源領域白データ検出部１２で用いる白判定エリアについて、図に基づいて説明する。異光源領域白データ検出部１２で用いる白判定エリアを色空間上に示した例を図７に示す。図７（ａ）は領域別白判定エリアの一例を示す図、図７（ｂ）は高照度時かつ異光源領域が存在する場合の領域別白判定エリアを示す図、図７（ｃ）は中照度時かつ異光源領域が存在する場合の領域別白判定エリアを示す図、図７（ｄ）は低照度時かつ異光源領域が存在する場合の領域別白判定エリアを示す図、図７（ｅ）は高照度時かつ異光源領域が存在しない場合の単一白判定エリアを示す図、図７（ｆ）は中照度時かつ異光源領域が存在しない場合の単一白判定エリアを示す図、図７（ｇ）は低照度時かつ異光源領域が存在しない場合の単一白判定エリアを示す図である。
Next, a white determination area used by the different light source region white
図７（ａ）では、本発明における撮像装置の白データ検出で用いる色空間の例として、Ｂ（ブルー）、Ｇ（グリーン）、Ｒ（レッド）の各色信号から算出されるＢ／ＧおよびＲ／Ｇの値をプロットした座標空間が示されている。撮影時の光源下における無彩色の映像信号である白データは色温度変化に応じて、図７（ａ）中の白データ軌跡に沿って変化し、白データ軌跡上には色温度３０００Ｋ、５０００Ｋ、７０００Ｋの３点を例としてプロットしている。白データ軌跡は、黒体輻射の色度に近似した曲線であって、白判定エリア設定の基準となる。 In FIG. 7A, B / G and R calculated from each color signal of B (blue), G (green), and R (red) are shown as examples of the color space used for white data detection of the imaging apparatus according to the present invention. A coordinate space in which the values of / G are plotted is shown. White data, which is an achromatic video signal under a light source at the time of shooting, changes along the white data locus in FIG. 7A according to the change in color temperature, and the color temperature is 3000K, 5000K on the white data locus. , 3 points of 7000K are plotted as an example. The white data locus is a curve that approximates the chromaticity of black body radiation, and serves as a reference for setting a white determination area.
図７（ａ）に示されるように、明光源領域用の白判定エリアと暗光源領域用の白判定エリアが、白データ軌跡付近に設けられている。図７（ａ）に例示されるように、明光源領域用の白判定エリアは３０００Ｋから５０００Ｋまでの白データ軌跡上にあるＲＧＢデータのみを白データとして判定する事が可能な白判定エリアであり、暗光源領域用の白判定エリアは５０００Ｋから７０００Ｋまでの白データ軌跡上のＲＧＢデータを白データとして判定可能な白判定エリアである。 As shown in FIG. 7A, a white determination area for the bright light source region and a white determination area for the dark light source region are provided in the vicinity of the white data locus. As illustrated in FIG. 7A, the white determination area for the bright light source region is a white determination area in which only RGB data on a white data locus from 3000K to 5000K can be determined as white data. The white determination area for the dark light source region is a white determination area in which RGB data on a white data locus from 5000K to 7000K can be determined as white data.
図７（ｂ）〜図７（ｄ）では、特にミックス光源が存在すると判定された場合に、ステップＳ４０７で設定される異光源領域別の白判定エリアの例が示されている。図７（ｂ）では、露光情報に応じて、制御部９が晴天時屋外の可能性が高いと判断した場合の例が示されている。なお、露光情報は、上述の通り、測光部８により測定される画像全体の明るさに基づいた情報である。晴天時屋外におけるミックス光源は、青空と昼間の太陽光の両方が光源となる日向と、青空のみが光源となる日陰によるミッスク光源である可能性が高い。このとき、明光源領域は晴天時の日向で取りうる色温度範囲４８００Ｋから６０００Ｋを囲むような白判定エリア、暗光源領域は日陰で取りうる色温度範囲６０００Ｋから８０００Ｋを囲むような白判定エリアとなる。
FIGS. 7B to 7D show examples of white determination areas for different light source regions set in step S407, particularly when it is determined that a mixed light source is present. FIG. 7B shows an example of the case where the
制御部９は、このような各異光源領域の白判定エリアを色空間上に設定する指示を、上記露光情報に基づいて、白判定エリア制御信号Ｓ４として、異光源領域白データ検出部１２へ出力する。そして、異光源領域白データ検出部１２は、白判定エリア制御信号Ｓ４に基づいて、異光源領域毎の白判定エリアを設定する。
The
図７（ｃ）では、露光情報から制御部９が夕刻時である可能性が高いと判断した場合の例が示されている。夕刻時のミックス光源は、青空と色温度が下がった夕方の太陽光の両方が光源となる日向と、青空のみが光源となる日陰によるミッスク光源である可能性が高い。このとき、明光源領域は夕刻の日向で取りうる色温度範囲４０００Ｋから５０００Ｋを囲むような白判定エリア、暗光源領域は日陰で取りうる色温度範囲６０００Ｋから８０００Ｋを囲むような白判定エリアとなる。この場合においても、制御部９は、白判定エリア制御信号Ｓ４を、上記露光情報に基づいて異光源領域白データ検出部１２へ出力し、異光源領域白データ検出部１２は、白判定エリア制御信号Ｓ４に基づいて、異光源領域毎の白判定エリアを設定する。
FIG. 7C shows an example when the
図７（ｄ）では、露光情報から制御部９が屋内である可能性が高いと判断した場合の例が示されている。屋内時のミックス光源は、屋内に差し込む屋外光と、ハロゲン光や蛍光灯からなる屋内人工光源によるミッスク光源である可能性が高い。このとき、明光源領域は屋外で昼間から夕刻までに取りうる色温度範囲４０００Ｋから５０００Ｋを囲むような白判定エリア、暗光源領域は屋内人工光源が主に取りうる色温度範囲３０００Ｋから４０００Ｋを囲むような白判定エリアとなる。この場合においても、制御部９は、白判定エリア制御信号Ｓ４を、上記露光情報に基づいて異光源領域白データ検出部１２へ出力し、異光源領域白データ検出部１２は、白判定エリア制御信号Ｓ４に基づいて、異光源領域毎の白判定エリアを設定する。
FIG. 7D shows an example when the
一方、図７（ｅ）、図７（ｆ）、図７（ｇ）には、ミックス光源が存在しないと判定された場合の白判定エリアの例が示されている。図７（ｅ）は晴天時屋外、図７（ｆ）は夕刻時屋外、図７（ｇ）は屋内の場合であり、それぞれ単一光源時に取りうる色温度範囲を囲む白判定エリアが設定される。 On the other hand, FIG. 7 (e), FIG. 7 (f), and FIG. 7 (g) show examples of white determination areas when it is determined that there is no mixed light source. FIG. 7 (e) shows the case of outdoor in fine weather, FIG. 7 (f) shows the case of outdoor in the evening, and FIG. 7 (g) shows the case of indoor. The
図４に戻り、次に、画面分割測色部６が、Ｓ４０１で異光源分離部７のブロック分割部７ａが行ったように、Ａ／Ｄ変換器４によりデジタル信号に変換された画像信号データを、１画面中で複数のブロックに分割する。そして、画面分割測色部６が、分割された各ブロックの３原色画像信号であるＲ信号、Ｇ信号、Ｂ信号それぞれの平均値であるＲＧＢブロック平均値を算出する（Ｓ４１０）。このとき、画面分割測色部６は、Ｓ４０１で異光源分離部７のブロック分割部７ａが分割した各ブロックの画像信号データを利用して、ＲＧＢブロック平均値を算出してもよい。そして、画面分割測色部６がＲＧＢブロック平均値Ｓ１を領域別白検出部１００へ出力する。
Returning to FIG. 4, the image signal data converted by the A /
次に、異光源領域選択部１１が、異光源領域分離部７から入力される異光源領域判別信号Ｓ２に基づいて、画面分割測色部６から入力されるＲＧＢブロック平均値Ｓ１が明光源領域または暗光源領域のどちらの光源領域のデータであるのかを、ブロック毎に順次判定する（Ｓ４１１）。異光源領域選択部１１は、ＲＧＢブロック平均値Ｓ１が明光源領域のデータである場合には、ＲＧＢブロック平均値Ｓ１を明光源領域白データ検出部１３Ａへ出力し、ＲＧＢブロック平均値Ｓ１が暗光源領域のデータである場合には、ＲＧＢブロック平均値Ｓ１を暗光源領域白データ検出部１３Ｂへ出力する。
Next, based on the different light source region determination signal S2 input from the different light source
次に、異光源領域白データ検出部１２が、ＲＧＢブロック平均値Ｓ１を図７（ａ）〜図７（ｇ）に示されるような色空間にプロットし、Ｓ４０７またはＳ４０９で設定された明光源領域用および暗光源領域の白判定エリアを用いて、異光源領域毎に被写体中の白エリア部分を白データとして検出し、検出された各白データを異光源領域毎に積算する（Ｓ４１２）。このとき、明光源領域用白データ検出部１３Ａが、異光源領域選択部１１により選択された明光源領域のブロックの白データの検出および積算を行い、暗光源領域用白データ検出部１３Ｂが、異光源領域選択部１１により選択された暗光源領域のブロックの白データの検出および積算を行う。ここで、白データ検出により白データと判定されたＲＧＢブロック平均値のみを明光源領域および暗光源領域のそれぞれで積算し、白データと判定されなかったＲＧＢブロック平均値の積算は行わない。
Next, the different light source region white
次に、ホワイトバランスゲイン算出部１４が、暗光源領域および暗光源領域のブロック個数比に応じて、Ｓ４１２で白データとして積算されたＲ信号、Ｇ信号およびＢ信号の各白データを合成する（Ｓ４１３）。合成後のＲ信号、Ｇ信号およびＲ信号の各白データをＲｄａｔａ、ＧｄａｔａおよびＢｄａｔａとすると、これらは下記に示す式（１）、式（２）および式（３）によって表される。式（１）、式（２）および式（３）において、明光源領域用白データ検出部１３Ａにおいて積算されたＲ信号、Ｇ信号およびＢ信号の各白データをＲａ、Ｇａ、Ｂａ、暗領域用白データ検出部１３Ｂにおいて積算されたＲ信号、Ｇ信号およびＢ信号の各白データをＲｂ、Ｇｂ、Ｂｂ、明光源領域のブロック数をＮａ、暗光源領域のブロック数をＮｂ、明光源領域および暗光源領域のブロックの全てを合わせた全ブロック数をＮｔとしている。
Next, the white balance
Ｒｄａｔａ=（Ｒａ×Ｎａ＋Ｒｂ×Ｎｂ）／Ｎｔ・・・（１）
Ｇｄａｔａ=（Ｇａ×Ｎａ＋Ｇｂ×Ｎｂ）／Ｎｔ・・・（２）
Ｂｄａｔａ=（Ｂａ×Ｎａ＋Ｂｂ×Ｎｂ）／Ｎｔ・・・（３）
Rdata = (Ra × Na + Rb × Nb) / Nt (1)
Gdata = (Ga × Na + Gb × Nb) / Nt (2)
Bdata = (Ba × Na + Bb × Nb) / Nt (3)
このように、各異光源領域のブロック数Ｎａ、Ｎｂに応じて、各光源領域用の白データ検出部１３Ａ、１３Ｂによって積算された白データを合成することにより、合成後のＲ信号、Ｇ信号およびＲ信号の各白データＲｄａｔａ、ＧｄａｔａおよびＢｄａｔａが算出される。このとき、各ブロックは互いに等しい面積を有するので、各異光源領域のブロック数Ｎａ、Ｎｂに応じて、各異光源領域の面積が変化する。このようにして、ホワイトバランスゲイン算出部１４が、各異光源領域の面積比に応じて、各光源領域用の白データ検出部１３Ａ、１３Ｂにより積算された白データを合成する。
Thus, by combining the white data accumulated by the white
最後に、ホワイトバランスゲイン算出部１４が、ホワイトバランスの調整を行うためのホワイトバランスゲインを算出する（Ｓ４１４）。ホワイトバランスゲインは、次に示す式（４）および式（５）に従って、Ｒ信号およびＢ信号をＧ信号のレベルに正規化する形で算出される。式（４）および式（５）において、Ｒ信号をＧ信号のレベルに正規化したホワイトバランスゲインをＲｇａｉｎ、Ｂ信号をＧ信号のレベルに正規化したホワイトバランスゲインをＢｇａｉｎとしている。
Ｒｇａｉｎ=Ｇｄａｔａ／Ｒｄａｔａ・・・（４）
Ｂｇａｉｎ=Ｇｄａｔａ／Ｂｄａｔａ・・・（５）
Finally, the white balance
Rgain = Gdata / Rdata (4)
Bgain = Gdata / Bdata (5)
このように、ホワイトバランスの調整を行うためのホワイトバランスゲインがホワイトバランス生成部２００により入力画像毎に生成される。このホワイトバランスゲインを用いて、ホワイトバランス調整部５がホワイトバランスの調整を入力画像毎に行う。そして、画像処理部１０が、ホワイトバランス調整部５によりホワイトバランスの調整が行われた画像信号に基づいて、輝度信号および色信号を生成する。
As described above, the white balance gain for adjusting the white balance is generated for each input image by the white
以上の通り、本発明に係る撮像装置では、光源の明るさに応じた複数の異光源領域に画像信号を分離した上で、異光源領域毎に白データを検出するので、日向および日陰が混在するミックス光源下であっても、光源の明るさに応じた異光源領域の各々に適した白データの検出を行い、各異光源領域中の画像に対応した適切なホワイトバランスゲインを入力画像毎に算出でき、適切なホワイトバランスの調整を行うことができる。例えば、撮影者が明光源領域を主に撮影している場合は、明光源領域のブロック数が多くなるために明光源領域の結果が重んじられ、逆に暗光源領域を主に撮影している場合は、暗光源領域のブロック数が多くなるために暗光源領域の結果が重んじられる。従って、撮影者の意図にあったホワイトバランスを実現する事ができる。 As described above, in the imaging apparatus according to the present invention, the image signal is separated into a plurality of different light source regions according to the brightness of the light source, and the white data is detected for each different light source region. Even under a mixed light source, white data suitable for each different light source region is detected according to the brightness of the light source, and an appropriate white balance gain corresponding to the image in each different light source region is detected for each input image. And an appropriate white balance adjustment can be performed. For example, when the photographer mainly shoots the bright light source area, the number of blocks in the bright light source area increases, so the result of the bright light source area is valued, and conversely, the dark light source area is mainly shot. In this case, since the number of blocks in the dark light source region increases, the result of the dark light source region is respected. Therefore, it is possible to realize white balance that meets the photographer's intention.
本実施の形態では、ミックス光源下において、光源の異なる領域を異光源領域として分離することで、異光源領域毎に被写体中の白エリア部分を白データとして検出するので、撮像シーンと被写体に応じて、白データを検出するための白判定エリアを絞り込むことが可能となり、白の誤検出と誤検出によるホワイトバランスのずれを低減することができる。 In this embodiment, under the mixed light source, by separating different light source regions as different light source regions, the white area portion in the subject is detected as white data for each different light source region. Thus, it is possible to narrow down a white determination area for detecting white data, and it is possible to reduce white misdetection and deviation of white balance due to erroneous detection.
また、本発明に係る撮像装置において、異光源領域毎の白データを異光源領域の各面積比に応じて合成することにより、ホワイトバランスゲインを算出するので、光源の明るさに応じた各領域の白データを、光源の明るさに応じた各領域の面積に対応して合成することができ、より適切なホワイトバランスゲインを算出できる。すなわち、光源の明るさに応じた各領域の画面占有率に応じて、主要被写体に重点を置いてホワイトバランスの調整を行うことができる。例えば、主要被写体がどの異光源領域にあるかによって、データの重み付けを行え、ミックス光源下で異なる異光源領域がどのような比率で存在したとしても、主要被写体に対して重点的にホワイトバランスを合わせることができる。 Further, in the imaging apparatus according to the present invention, the white balance gain is calculated by combining the white data for each different light source region according to each area ratio of the different light source region, so that each region according to the brightness of the light source The white data can be synthesized corresponding to the area of each region according to the brightness of the light source, and a more appropriate white balance gain can be calculated. That is, it is possible to adjust the white balance with emphasis on the main subject according to the screen occupancy ratio of each area corresponding to the brightness of the light source. For example, data weighting can be performed depending on which different light source area the main subject is in, and white balance is focused on the main subject regardless of the ratio of different different light source areas under the mixed light source. Can be matched.
また、本発明に係る撮像装置において、画像を分割した複数のブロック毎の輝度に基づいて、各ブロックと隣接するブロックとの間のコントラスト値を算出し、算出されたコントラスト値と、所定のコントラスト閾値とを比較することにより、異光源領域の境界部を検出し、検出された異光源領域の境界部の情報に基づいて、画像信号を異光源領域に分離するので、日向と日陰のミックス光源下においても、各ブロック間のコントラスト値から異光源領域の境界部を容易に検出することができ、当該異光源領域の境界部の情報に基づき、画像信号を異光源領域に容易に分離できる。また、検出された異光源領域の境界部の情報に基づいて、画像信号を異光源領域に分離する判断基準を定めることができるので、画像信号を異光源領域に分離するための画面分割パターンを複数用意することなく、画像信号を異光源領域に容易に分離できる。 Further, in the imaging apparatus according to the present invention, a contrast value between each block and an adjacent block is calculated based on the luminance for each of the plurality of blocks obtained by dividing the image, and the calculated contrast value and a predetermined contrast By comparing the threshold value and the boundary part of the different light source area, and separating the image signal into the different light source area based on the detected information on the boundary part of the different light source area, a mixed light source of the sun and shade Even below, the boundary portion of the different light source region can be easily detected from the contrast value between the blocks, and the image signal can be easily separated into the different light source region based on the information of the boundary portion of the different light source region. In addition, since it is possible to determine a criterion for separating the image signal into the different light source regions based on the detected information on the boundary between the different light source regions, a screen division pattern for separating the image signal into the different light source regions can be set. The image signal can be easily separated into different light source regions without preparing a plurality.
また、本発明に係る撮像装置において、各ブロックの輝度と、各ブロックに隣接する全てのブロックの輝度との差分値を算出し、算出された差分値の最大差分値に基づいて、互いに隣接するブロックとの間のコントラスト値を算出するので、輝度変化の大きいブロックが隣接するブロックに存在するかを適切に判断でき、異光源領域の境界部を検出するためのコントラスト値を適切に算出できる。 In the imaging device according to the present invention, the difference value between the luminance of each block and the luminance of all the blocks adjacent to each block is calculated, and adjacent to each other based on the maximum difference value of the calculated difference values. Since the contrast value between the blocks is calculated, it is possible to appropriately determine whether a block having a large luminance change exists in the adjacent block, and it is possible to appropriately calculate the contrast value for detecting the boundary portion of the different light source region.
また、本発明に係る撮像装置において、異光源領域の境界部におけるブロックの平均輝度値の代表値に基づいて、画像信号を異光源領域に分離するので、異光源領域の境界部におけるブロックの平均輝度値に基づいて、画像信号を異光源領域に分離する判断基準が明確に定められる。一義的に決定された閾値で判別する方式と異なり、代表値という実際の値を用いることで、輝度の変化量（コントラスト値）にのみ基づいた判定が可能となり、境界部を正確に判別できる。 Further, in the imaging device according to the present invention, the image signal is separated into different light source regions based on the representative value of the average luminance value of the blocks at the boundary portions of the different light source regions. Based on the luminance value, a criterion for separating the image signal into different light source regions is clearly defined. Unlike the method of discriminating with a uniquely determined threshold value, by using an actual value called a representative value, it becomes possible to make a determination based only on the amount of change in brightness (contrast value), and the boundary portion can be discriminated accurately.
また、本発明に係る撮像装置において、異光源領域の境界部におけるブロックの平均輝度値の最小値に基づいて、画像信号を異光源領域に分離するので、異光源領域の境界部におけるブロックの平均輝度値の最小値に基づいて、画像信号を複数の異光源領域に分離する判断基準がより明確に定められるので、画像信号を異光源領域に正確に分離できる。 In the imaging device according to the present invention, since the image signal is separated into different light source regions based on the minimum value of the average luminance value of the blocks at the boundary portions of the different light source regions, the average of the blocks at the boundary portions of the different light source regions Since the criterion for separating the image signal into a plurality of different light source regions is more clearly determined based on the minimum value of the luminance value, the image signal can be accurately separated into the different light source regions.
（第２の実施の形態）
以下、本発明の第２の実施の形態に係る撮像装置について、図面を用いて説明する。本発明の第２の実施の形態に係る撮像装置の概略的な構成は、第１の実施の形態に係る撮像装置と同じである。ただし、次に説明するように、ホワイトバランスゲイン生成処理が第１の実施の形態とは異なる。本発明の第２の実施の形態における撮像装置のホワイトバランスゲイン生成処理のフローを図８に示す。図８では、図４と比較して、Ｓ８０１〜Ｓ８０４の処理が追加されている点で相違する。すなわち、図８に示されるように、本発明の第２の実施の形態では、Ｓ４０３で用いるコントラスト判定閾値（ＴＨ＿ｃｏｎｔ）を予め設定せずに、Ｓ８０１〜Ｓ８０４の処理に従ってコントラスト判定閾値（ＴＨ＿ｃｏｎｔ）を設定する点で、第１の実施の形態と相違する。
(Second Embodiment)
Hereinafter, an imaging apparatus according to a second embodiment of the present invention will be described with reference to the drawings. The schematic configuration of the imaging apparatus according to the second embodiment of the present invention is the same as that of the imaging apparatus according to the first embodiment. However, as will be described next, the white balance gain generation processing is different from that of the first embodiment. FIG. 8 shows a flow of white balance gain generation processing of the imaging apparatus according to the second embodiment of the present invention. FIG. 8 is different from FIG. 4 in that the processes of S801 to S804 are added. That is, as shown in FIG. 8, in the second embodiment of the present invention, the contrast determination threshold value (TH_cont) is set according to the processing of S801 to S804 without setting the contrast determination threshold value (TH_cont) used in S403 in advance. It differs from the first embodiment in that it is set.
本発明の第２の実施の形態における撮像装置のホワイトバランスゲイン生成処理について、図８に基づいて説明する。本発明の第２の実施の形態における撮像装置では、第１の実施の形態と同様に、異光源分離部７のコントラスト算出部７ｃが、輝度ブロック平均値に基づいて、各ブロックと隣接するブロックとの間のコントラスト値をブロック毎に算出する（Ｓ４０２）。その次に、第１の実施の形態と異なり、同一フレーム内の画面中の全ブロックのコントラスト値の中から最大のコントラスト値(ｃｏｎｔ＿ｍａｘ)を求め、次式（６）に示す通り、ｃｏｎｔ＿ｍａｘに係数Ｋを乗算した値をＴＨ＿ｃｏｎｔとする（Ｓ８０１）。
ＴＨ＿ｃｏｎｔ=ｃｏｎｔ＿ｍａｘ×Ｋ、（但し、０≦Ｋ≦１）・・・（６）
A white balance gain generation process of the imaging apparatus according to the second embodiment of the present invention will be described with reference to FIG. In the imaging apparatus according to the second embodiment of the present invention, as in the first embodiment, the
TH_cont = cont_max × K (where 0 ≦ K ≦ 1) (6)
ここで、Ｋはｃｏｎｔ＿ｍａｘからＴＨ＿ｃｏｎｔを求めるための係数であり、取りうる値は０≦Ｋ≦１である。例えば、Ｋを１に近づければＴＨ＿ｃｏｎｔが大きくなり、Ｓ４０３でのコントラスト判定で抽出されるブロックは少なくなる。逆に０に近づけていくとＴＨ＿ｃｏｎｔが小さくなり、Ｓ４０３でのコントラスト判定で抽出されるブロックは多くなる。 Here, K is a coefficient for obtaining TH_cont from cont_max, and a possible value is 0 ≦ K ≦ 1. For example, if K is close to 1, TH_cont increases, and the number of blocks extracted by the contrast determination in S403 decreases. Conversely, as the value approaches 0, TH_cont decreases, and the number of blocks extracted by the contrast determination in S403 increases.
被写体が適正な明るさで撮影されている状態に対して、露光状態が全体的に暗いシーン（以下露出アンダー）や露光が過剰な状態（以下露出オーバー）等の条件により、コントラスト値自体も大きく変動する。このため、Ｓ４０３でのコントラスト判定を予め固定値として設定されたＴＨ＿ｃｏｎｔを用いて行う第１の実施の形態と比べて、第２の実施の形態では、ｃｏｎｔ＿ｍａｘに対する係数Ｋを決定するだけでＴＨ＿ｃｏｎｔを様々な撮影状態に合わせて適切に制御できるので、露出アンダーや露出オーバーのような露光状態に関係なく安定して異光源領域の境界部を抽出することができる。 The contrast value itself is large due to conditions such as a scene with a dark overall exposure (hereinafter underexposed) or an overexposed state (hereinafter overexposed) when the subject is photographed at an appropriate brightness. fluctuate. Therefore, compared to the first embodiment in which the contrast determination in S403 is performed using TH_cont that is set in advance as a fixed value, in the second embodiment, TH_cont is simply determined by determining the coefficient K for cont_max. Since it can be appropriately controlled according to various shooting conditions, the boundary portion of the different light source region can be stably extracted regardless of the exposure state such as underexposure or overexposure.
このように、コントラスト閾値を同一フレーム内のコントラスト値の大きさに基づいて可変設定されるので、露光状態に関係なく、撮像シーンが変わった時などにも、自動的に、かつ、柔軟に、異光源領域の境界部を安定して検出することができる。 In this way, since the contrast threshold is variably set based on the size of the contrast value in the same frame, automatically and flexibly even when the imaging scene changes regardless of the exposure state, The boundary portion of the different light source region can be detected stably.
次に、異光源分離部７のコントラスト算出部７ｃが、上述した露光情報に基づいて、コントラスト判定閾値（ＴＨ＿ｃｏｎｔ）の下限値を、コントラスト判定下限閾値（ＴＨ＿ｃｏｎｔ＿ｍｉｎ）として設定する（Ｓ８０２）。なお、露光情報は、上述した通り、測光部８により測定される画像全体の明るさに基づいた情報である。
Next, the
次に、異光源分離部７のコントラスト算出部７ｃが、ＴＨ＿ｃｏｎｔ＿ｍｉｎとＴＨ＿ｃｏｎｔとを比較する（Ｓ８０３）。ここで、ＴＨ＿ｃｏｎｔがＴＨ＿ｃｏｎｔ＿ｍｉｎを下回った場合は、ＴＨ＿ｃｏｎｔをＴＨ＿ｃｏｎｔ＿ｍｉｎに置き換える（Ｓ８０４）。これにより、コントラスト判定閾値（ＴＨ＿ｃｏｎｔ）が過剰に下がる事を防止する事ができる。
Next, the
逆に、ＴＨ＿ｃｏｎｔがＴＨ＿ｃｏｎｔ＿ｍｉｎを上回った場合は、Ｓ８０１で求めたＴＨ＿ｃｏｎｔをそのままＳ４０３の処理で使用する。ミックス光源時のコントラスト値と比較すると、単一光源時や屋内撮影時などの暗いシーンでのコントラスト値は小さいため、ＴＨ＿ｃｏｎｔが過度に下がり、ミックス光源が存在しない場合のコントラスト誤判定をこの構成により防ぐ事ができる。そして、異光源分離部７の境界部検出部７ｄが、第１の実施の形態と同様に、Ｓ４０３以降の処理を行う。このようにして、露出アンダー状態および露出オーバー状態など撮影条件によらず、安定してミックス光源における異光源領域の境界部の検出を行う事ができる。
Conversely, if TH_cont exceeds TH_cont_min, TH_cont obtained in S801 is used as it is in the processing of S403. Compared with the contrast value when using a mixed light source, the contrast value in a dark scene such as when using a single light source or indoor shooting is small. It can be prevented. And the boundary
以上のように、本実施の形態では、所定のコントラスト閾値を同一フレーム内のコントラスト値の大きさに基づいて変化させているので、露光状態に関係なく、撮像シーンが変わった時などにも、自動的に、かつ、柔軟に、異光源領域の境界部を安定して検出することができる。 As described above, in the present embodiment, since the predetermined contrast threshold is changed based on the magnitude of the contrast value in the same frame, even when the imaging scene changes regardless of the exposure state, The boundary portion of the different light source region can be stably detected automatically and flexibly.
また、本実施の形態では、コントラスト閾値（ＴＨ＿ｃｏｎｔ）を、同一フレーム内のコントラスト値の大きさに基づいて設定する際に、コントラスト値（ＴＨ＿ｃｏｎｔ）にコントラスト閾値の下限値を設けることにより、変化幅の小さい輝度変化を除外して、異なる光源により発生したコントラスト値に基づいて、異光源領域の境界部を検出することができる。 In the present embodiment, when the contrast threshold (TH_cont) is set based on the magnitude of the contrast value in the same frame, the change width is provided by providing the contrast threshold (TH_cont) with a lower limit value of the contrast threshold. Therefore, the boundary portion of the different light source region can be detected based on the contrast value generated by the different light sources.
また、本実施の形態では、画像の明るさに基づいて、コントラスト閾値（ＴＨ＿ｃｏｎｔ）の下限値が設定されるので、被写体画像の明るさに基づいて、異光源領域境界部の検出の敏感度を制御できる。例えば、照度の低い屋内撮影条件下では、ミックス光源が存在する可能性の少ないので、コントラスト閾値の下限値を上げることで、画像信号を異光源領域に分離しないようにすることもできる。 In the present embodiment, since the lower limit value of the contrast threshold (TH_cont) is set based on the brightness of the image, the sensitivity of detection of the boundary between different light source regions is set based on the brightness of the subject image. Can be controlled. For example, under indoor shooting conditions with low illuminance, there is little possibility of a mixed light source, so the image signal can be prevented from being separated into different light source regions by increasing the lower limit of the contrast threshold.
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。 The embodiments of the present invention have been described above by way of example, but the scope of the present invention is not limited to these embodiments, and can be changed or modified according to the purpose within the scope of the claims. is there.
上記実施態様では、画面分割測色部６における画面分割数と異光源領域分割部７における画面分割数を同じ例で説明したが、画面分割測色部６における画面分割数は、異光源領域分割部７における画面分割数に対して少なくならなければ、例えば図９のように分割数を増やす事も可能である。この構成により、ＲＧＢブロック平均値を求める際の空間分解能を向上させる事が可能となり、Ｓ４１２で行う白データの検出の精度も向上させる事ができる。
In the above embodiment, the screen division number in the screen
また、上記実施態様において、例えば図１０（ａ）に示されるように、明光源領域用の白判定エリアと暗光源領域用の判定エリアが互いに重なる設定や、白データ軌跡に沿った形に設定する事も可能である。この構成により、より細かなミックス光源に対してのホワイトバランス調整が可能となる。また、図１０（ｂ）に示されるように、光源による白データ軌跡の差が発生した場合にも、ホワイトバランス調整が可能となる。 In the above embodiment, for example, as shown in FIG. 10A, the white determination area for the bright light source region and the determination area for the dark light source region are set to overlap each other, or set along the white data locus. It is also possible to do. With this configuration, it is possible to adjust the white balance for a finer mix light source. Also, as shown in FIG. 10B, white balance adjustment is possible even when a difference in the white data trajectory due to the light source occurs.
また、上記実施態様において、異光源分離部７は、コントラスト値を求める際、光源によって発生した輝度変化を求め得る構成であれば、画面の分割方法を如何様にも変える事も可能である。この構成により、例えば分割数を増やす等ブロックの分解能を上げて、より精度の高いコントラスト判定を行う事も可能となる。
In the above embodiment, the different light
また、上記実施態様においては、白データが画面中に存在する場合について説明したが、白データが存在しない場合は、全画面で求めたＲｄａｔａ、ＧｄａｔａおよびＢｄａｔａを用いてホワイトバランスゲインを求めても良い。この構成により、白データが画面中に存在しない場合にも画面全体の色情報からホワイトバランスゲインを求めることが可能となる。 In the above embodiment, the case where white data exists on the screen has been described. However, when white data does not exist, the white balance gain can be obtained using Rdata, Gdata, and Bdata obtained on the entire screen. good. With this configuration, it is possible to obtain the white balance gain from the color information of the entire screen even when white data does not exist in the screen.
なお、上記実施態様では、ＲＧＢの原色カラーフィルタを用いた撮像装置を例に説明したが、補色フィルタの撮像装置にも本発明を適用することができる。 In the above embodiment, the image pickup apparatus using the RGB primary color filters has been described as an example. However, the present invention can also be applied to an image pickup apparatus using a complementary color filter.
以上のように、本発明は、ミックス光源下であっても、光源の明るさに応じた異光源領域の各々に適した白データの検出を行い、各異光源領域中の画像に対応した適切なホワイトバランスゲインを入力画像毎に算出でき、適切なホワイトバランスの調整を行うことができるという効果を有し、デジタルスチルカメラやデジタルビデオカメラ等に代表される撮像装置に用いるホワイトバランス調整装置等に有用である。 As described above, the present invention detects white data suitable for each of the different light source regions according to the brightness of the light source even under the mixed light source, and appropriately detects the image corresponding to the image in each different light source region. White balance gain can be calculated for each input image, and an appropriate white balance adjustment can be performed, such as a white balance adjustment device used in an imaging device typified by a digital still camera or a digital video camera. Useful for.
１ レンズ
２ 撮像素子
３ ＡＧＣ部
４ Ａ／Ｄ変換部
５ ホワイトバランス調整部
６ 画面分割測色部
７ 異光源領域分離部
８ 測光部
９ 制御部
１０ 画像処理部
１１ 異光源領域選択部
１２ 異光源領域白データ検出部
１３Ａ 明光源領域用白データ検出部
１３Ｂ 暗光源領域用白データ検出部
１４ ホワイトバランスゲイン算出部
１００ 領域別白検出部
２００ ホワイトバランスゲイン生成部
１０００ 撮像装置
DESCRIPTION OF
Claims (12)
画像信号のコントラスト値に基づいて、前記画像信号を光源の明るさに応じた複数の異光源領域に分離する異光源分離部と、
前記異光源分離部により分離された前記異光源領域毎に、前記画像中の白エリア部分を白データとして検出する白データ検出部と、
前記白データ検出部により検出された異光源領域毎の白データに基づいて、ホワイトバランスの調整を行うためのホワイトバランスゲインを算出するホワイトバランスゲイン算出部と、
前記ホワイトバランスゲイン算出部により算出される前記ホワイトバランスゲインに基づいて、前記画像に対してホワイトバランスの調整を行うホワイトバランス調整部とを備えたことを特徴とする撮像装置。 An imaging device that performs white balance adjustment on a captured image,
A different light source separation unit for separating the image signal into a plurality of different light source regions according to the brightness of the light source based on a contrast value of the image signal;
For each different light source region separated by the different light source separation unit, a white data detection unit that detects a white area portion in the image as white data;
A white balance gain calculation unit that calculates a white balance gain for adjusting white balance based on white data for each different light source region detected by the white data detection unit;
An image pickup apparatus comprising: a white balance adjustment unit configured to adjust a white balance for the image based on the white balance gain calculated by the white balance gain calculation unit.
前記異光源領域毎の白データを、前記異光源領域の面積比に応じて合成することにより、前記ホワイトバランスゲインを算出することを特徴とする請求項１に記載の撮像装置。 The white balance gain calculation unit
The imaging apparatus according to claim 1, wherein the white balance gain is calculated by combining white data for each different light source region in accordance with an area ratio of the different light source region.
前記画像を分割した複数のブロック毎の輝度に基づいて、各ブロックと隣接するブロックとの間のコントラスト値を算出するコントラスト算出部と、
前記コントラスト算出部で算出されたコントラスト値と、所定のコントラスト閾値とを比較することにより、前記異光源領域の境界部を検出する境界部検出部と、
前記境界部検出部により検出される前記異光源領域の境界部の情報に基づいて、前記画像信号を前記異光源領域に分離する画像信号分離部とを備えたことを特徴とする請求項１に記載の撮像装置。 The different light source separation unit is
A contrast calculating unit that calculates a contrast value between each block and an adjacent block based on the luminance of each of the plurality of blocks obtained by dividing the image;
A boundary detection unit that detects a boundary of the different light source region by comparing the contrast value calculated by the contrast calculation unit with a predetermined contrast threshold;
The image signal separation unit according to claim 1, further comprising: an image signal separation unit that separates the image signal into the different light source regions based on information on a boundary part of the different light source regions detected by the boundary detection unit. The imaging device described.
画像信号のコントラストに基づいて、前記画像信号を光源の明るさに応じた複数の異光源領域に分離する異光源分離部と、
前記異光源分離部により分離された前記異光源領域毎に、前記画像中の白エリア部分を白データとして検出する白データ検出部と、
前記白データ検出部により検出された異光源領域毎の白データに基づいて、ホワイトバランスの調整を行うためのホワイトバランスゲインを算出するホワイトバランスゲイン算出部と、
前記ホワイトバランスゲイン算出部により算出される前記ホワイトバランスゲインに基づいて、前記画像に対してホワイトバランスの調整を行うホワイトバランス調整部とを備えたことを特徴とするホワイトバランス調整装置。 A white balance adjustment device for adjusting white balance on an image,
A different light source separation unit that separates the image signal into a plurality of different light source regions according to the brightness of the light source based on the contrast of the image signal;
For each different light source region separated by the different light source separation unit, a white data detection unit that detects a white area portion in the image as white data;
A white balance gain calculation unit that calculates a white balance gain for adjusting white balance based on white data for each different light source region detected by the white data detection unit;
A white balance adjustment device comprising: a white balance adjustment unit configured to adjust a white balance for the image based on the white balance gain calculated by the white balance gain calculation unit.
画像信号のコントラストに基づいて、前記画像信号を光源の明るさに応じた複数の異光源領域に分離するステップと、
前記複数の異光源領域に分離するステップにより分離された前記異光源領域毎に、前記画像中の白エリア部分を白データとして検出するステップと、
前記白データを検出するステップにより検出された異光源領域毎の白データに基づいて、ホワイトバランスの調整を行うためのホワイトバランスゲインを算出するステップと、
前記ホワイトバランスゲインを算出するステップにより算出される前記ホワイトバランスゲインに基づいて、前記画像に対してホワイトバランスの調整を行うステップとを含むことを特徴とするホワイトバランス調整方法。 A white balance adjustment method for adjusting white balance on an image,
Separating the image signal into a plurality of different light source regions according to the brightness of the light source based on the contrast of the image signal;
Detecting a white area portion in the image as white data for each of the different light source regions separated by the step of separating the plurality of different light source regions;
Calculating a white balance gain for adjusting white balance based on the white data for each different light source region detected by the step of detecting the white data;
Adjusting the white balance of the image based on the white balance gain calculated in the step of calculating the white balance gain.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007058205A JP2008219838A (en) | 2007-03-08 | 2007-03-08 | Imaging apparatus, white balance control device and white balance control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007058205A JP2008219838A (en) | 2007-03-08 | 2007-03-08 | Imaging apparatus, white balance control device and white balance control method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008219838A true JP2008219838A (en) | 2008-09-18 |
Family
ID=39839273
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007058205A Pending JP2008219838A (en) | 2007-03-08 | 2007-03-08 | Imaging apparatus, white balance control device and white balance control method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008219838A (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101030393B1 (en) | 2009-02-20 | 2011-04-20 | 인하대학교 산학협력단 | Apparatus and method for adjusting white balance of digital image |
| KR101315300B1 (en) | 2008-11-05 | 2013-10-04 | 삼성테크윈 주식회사 | Apparatus and method for compensating white |
| KR101324246B1 (en) | 2008-12-04 | 2013-11-01 | 삼성테크윈 주식회사 | Method of white balancing within digital image processing apparatus |
| JP2015192152A (en) * | 2014-03-27 | 2015-11-02 | リコーイメージング株式会社 | White balance adjustment device, white balance adjustment method and imaging device |
| JP2015192179A (en) * | 2014-03-27 | 2015-11-02 | リコーイメージング株式会社 | White balance control device, imaging apparatus, and white balance control method |
| US10491875B2 (en) | 2015-09-09 | 2019-11-26 | Samsung Electronics Co., Ltd. | Image processing apparatus and image processing method |
| CN111405260A (en) * | 2020-03-25 | 2020-07-10 | 福州英迪格成像技术有限公司 | Self-adaptive white balance control method and system thereof |
-
2007
- 2007-03-08 JP JP2007058205A patent/JP2008219838A/en active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101315300B1 (en) | 2008-11-05 | 2013-10-04 | 삼성테크윈 주식회사 | Apparatus and method for compensating white |
| KR101324246B1 (en) | 2008-12-04 | 2013-11-01 | 삼성테크윈 주식회사 | Method of white balancing within digital image processing apparatus |
| KR101030393B1 (en) | 2009-02-20 | 2011-04-20 | 인하대학교 산학협력단 | Apparatus and method for adjusting white balance of digital image |
| JP2015192152A (en) * | 2014-03-27 | 2015-11-02 | リコーイメージング株式会社 | White balance adjustment device, white balance adjustment method and imaging device |
| JP2015192179A (en) * | 2014-03-27 | 2015-11-02 | リコーイメージング株式会社 | White balance control device, imaging apparatus, and white balance control method |
| US10491875B2 (en) | 2015-09-09 | 2019-11-26 | Samsung Electronics Co., Ltd. | Image processing apparatus and image processing method |
| CN111405260A (en) * | 2020-03-25 | 2020-07-10 | 福州英迪格成像技术有限公司 | Self-adaptive white balance control method and system thereof |
| CN111405260B (en) * | 2020-03-25 | 2022-01-18 | 福州英迪格成像技术有限公司 | Self-adaptive white balance control method and system thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3849834B2 (en) | Auto white balance control method | |
| US9148638B2 (en) | Digital photographing apparatus | |
| CN100553301C (en) | The modification method of brightness | |
| JP4042432B2 (en) | Imaging device | |
| JP2004328140A (en) | Solid state imaging device and digital camera | |
| JP4680753B2 (en) | Image processing method, image processing apparatus, and imaging apparatus | |
| JP2008219838A (en) | Imaging apparatus, white balance control device and white balance control method | |
| US8810681B2 (en) | Image processing apparatus and image processing method | |
| US9036046B2 (en) | Image processing apparatus and method with white balance correction | |
| KR100967091B1 (en) | Method for adjusting white balance of digital image device | |
| JP3821729B2 (en) | Digital camera | |
| JP2015005927A (en) | Image processing apparatus and control method of the same | |
| JP2003333616A (en) | White balance adjustment method, image pickup device, program, and storage medium | |
| JP2005033609A (en) | Solid-state image-taking device and digital camera | |
| JP4306306B2 (en) | White balance control method and imaging apparatus | |
| JP5875307B2 (en) | Imaging apparatus and control method thereof | |
| JP3958700B2 (en) | Digital camera | |
| JPH07284118A (en) | White balance device for video camera | |
| JP6552165B2 (en) | Image processing apparatus, control method therefor, and control program | |
| JP4396225B2 (en) | White balance control device and electronic device | |
| JP2004186876A (en) | Digital camera | |
| JP2011188186A (en) | Device for calculating white balance gain | |
| JP5791454B2 (en) | Imaging apparatus and control method thereof | |
| JP4458114B2 (en) | Imaging device | |
| JP2004349930A (en) | Digital camera |