JP4366915B2

JP4366915B2 - White balance adjustment device

Info

Publication number: JP4366915B2
Application number: JP2002279628A
Authority: JP
Inventors: 里美小林
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-09-25
Filing date: 2002-09-25
Publication date: 2009-11-18
Anticipated expiration: 2022-09-25
Also published as: JP2004120229A

Description

【０００１】
【発明の属する技術分野】
本発明は、長時間露光画像と短時間露光画像を合成することにより得られるダイナミックレンジの広い映像信号に対して有効なホワイトバランス調整装置に関する。
【０００２】
【従来の技術】
従来より、ビデオカメラ等の撮像装置では、ホワイトバランス調整を行うことにより、光源により被写体の色温度が異なっても一定の色再現性を得ることができるようになっている。
【０００３】
ここで、ホワイトバランス調整は、白被写体を撮像し、この白の輝度点における各色信号の信号レベルが等しくなるようにレベル調整するものである。
【０００４】
ところで、撮像装置では、撮像素子の電荷蓄積容量による制限からダイナミックレンジに限界があり、室内から室外を撮影する時など、極めて明るい(高輝度)被写体と比較的暗い(低輝度)被写体が混在するような場面を撮像する場合、高輝度被写体か低輝度被写体の何れかが適正レベルで得られるよう露光時間等を制御していたため、低輝度部分を適正レベルとすると高輝度部分が白とびし、高輝度部分を適正レベルとすると低輝度部分が黒つぶれしてしまうことになる。例えば屋内と屋外が一緒に写るようなシーンでは屋外の画が白く飛んでしまったり、逆に屋内の画が暗くなってしまい、屋内外の両方の画をきれいにとることができない。そこで、屋外の画をとるためにシャッター速度を速くして得た画像(短時間露光画像)と、屋内の画をとるためにシャッター速度を遅くして得た画像(長時間露光画像)を両方の画が再現できるように合成することにより、広いダイナミックレンジを確保するようにしている。
【０００５】
また、屋内と屋外のように異なる色温度下の被写体が混在するような場面を撮像する場合、色温度が異なる長時間露光画像と短時間露光画像を合成した画像でそのままホワイトバランスをとると、どちらの信号も中途半端に色のバランスが取られるため、適正なホワイトバランスが取れなくなる。
【０００６】
そこで、長時間露光画像と短時間露光画像のそれぞれにおいて色のバランスを調整し、各画像の色バランスを取り、二つの画像を合成してホワイトバランスの調整を行うことにより、適正なホワイトバランスを取るようにしたデュアルホワイトバランス機能が提案されている。
【０００７】
例えば、長時間露光画像と短時間露光画像を合成する前にそれぞれにおいて色温度を合わせる補正を行ってから合成し、ホワイトバランスを取ったり（例えば、特許文献１参照）、ダイナミックレンジ処理回路側に明暗領域を区別する判別パルスを持ち、その情報から合成信号の長時間露光画像部分と短時間露光画像部分の色情報を抽出し、長時間露光画像側、短時間露光画像側の順にホワイトバランス調整を行ったり（例えば、特許文献２参照）することで、上記デュアルホワイトバランス機能を実現することにより、長時間露光画像と短時間露光画像の色温度が異なる場合に適正なホワイトバランスが取れなくなる問題を回避している。
【０００８】
【特許文献１】
特開２００１−９４９９９号公報
【特許文献２】
特開平１０−２５７５１６号公報
【０００９】
【発明が解決しようとする課題】
しかしながら、上述の如き従来の手法でデュアルホワイトバランス機能を実現したのでは、ハードウェアの規模が大きくなったり、長時間露光画像と短時間露光画像の色温度の差が非常に大きく異なることで、ハードウェアの制限を受けて、十分に色再現ができなくなるという問題点があった。
【００１０】
そこで、本発明の目的は、上述の如き従来の問題点に鑑み、ハードウェアに制限があること、長時間露光画像と短時間露光画像の色温度の差が非常に大きく異なることなどの理由から、長時間露光画像と短時間露光画像のそれぞれにおいて色のバランスを取ることができない場合や、各画像の色バランスをとる補正を行うことができない場合に、少ない情報から好ましいホワイトバランスをとるのに有効なホワイトバランス調整装置を提供することにある。
【００１１】
【課題を解決するための手段】
本発明に係るホワイトバランス調整装置は、長時間露光の撮像動作により得られた映像信号と短時間露光の撮像動作により得られた映像信号を合成して、広ダイナミックレンジの合成画像の映像信号を形成する合成手段と、長時間露光画像と短時間露光画像のそれぞれの映像信号から長時間露光画像と短時間露光画像が最適露光状態となる合成ポイントを算出して、上記合成手段により合成する長時間露光画像と短時間露光画像の映像信号の合成ポイントを設定する合成ポイント設定手段と、上記合成ポイント設定手段により設定された合成ポイントの情報に基づいて、長時間露光画像を判定するための閾値を動的に決定し、上記合成手段により合成された合成画像の映像信号に対して、上記閾値により長時間露光画像を判定し、長時間露光画像として得られた映像信号の情報のみを用いてホワイトバランス調整を施すホワイトバランス調整手段とを備えることを特徴とする。
【００１３】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１４】
本発明は、例えば図１に示すような構成の監視用の撮像装置１００に適用される。
【００１５】
この撮像装置１００は、ＣＣＤカラーイメージセンサ１０２の電荷蓄積期間を制御することにより等価的に露光時間を制御して、標準的な明るさの被写体が適正レベルで得られるように露光時間を制御して撮像行う長時間露光撮像動作と、極めて明るい被写体が適正レベルで得られるように露光時間を制御して撮像を行う短時間露光撮像動作を交互に繰り返し行い、上記ＣＣＤカラーイメージセンサ１０２から長時間露光撮像動作により得られる長時間露光画像の撮像出力と短時間露光撮像動作により得られる短時間露光画像の撮像出力を合成することにより、広ダイナミックレンジ映像信号を得るようにしたものであって、撮像レンズ１０１を介して撮像光が入射されるＣＣＤカラーイメージセンサ１０２、このＣＣＤカラーイメージセンサ１０２により得られるカラー撮像出力が供給される前処理部１０３を介して供給される信号処理部１０４、この信号処理部１０４により処理されたカラー撮像出力をカラービデオ信号として出力するビデオ出力部１０５、上記信号処理部１０４により処理された撮像出力や制御パラメータを記録媒体に記録する記録部１０６、これらを制御するマイクロコンピュータ１０７及びタイミングジェネレータ１０８などからなる。
【００１６】
この撮像装置１００では、撮像レンズ１０１を介して入射される撮像光により結像される被写体像をＣＣＤカラーイメージセンサ１０２により撮像する。そして、上記ＣＣＤカラーイメージセンサ１０２によるカラー撮像出力は、前処理部１０３でＣＤＳ（相関二重サンプリング）やＡＧＣなどの前処理が施され、さらにＡ／Ｄ変換されて映像データとして信号処理部１０４に供給される。そして、上記映像データは、信号処理部１０４において、長時間、短時間の露光信号の合成・圧縮などの信号処理が行われ、さらに自動露光処理、ホワイトバランス処理が施されてから、Ｄ／Ａ変換されてアナログ撮像信号としてビデオ出力部１０５に供給される。アナログ撮像信号は、ビデオ出力部１０５を介してビデオ信号として出力される。また、上記信号処理部１０４により処理された画像データやマイクロコンピュータ１０７により算出された制御パラメータは、記録部１０６に記録媒体に記録される。
【００１７】
マイクロコンピュータ１０７は各処理部１０３，１０４から出力されるデータを用いて各処理部１０３，１０４や記録部１０６などの制御を行ったり、外部Ｉ／Ｆを介して外部より入力されるコマンドなどに応じて各処理部１０３，１０４や記録部１０６などの制御を行ったりする。また、マイクロコンピュータ１０７は、各処理部１０３，１０４で得られたデータを基に自動露光の制御を行う。
【００１８】
タイミングジェネレータ１０８は、マイクロコンピュータ１０７によって与えられたデータをもとに各処理部１０３，１０４にデータを出力したり、各処理部１０３，１０４からのデータを入力したりする。
【００１９】
上記信号処理部１０４は、その機能的な構成を図２に示すように、長時間露光画像と短時間露光画像の合成を行う前段処理部１０と、合成画像を用いてホワイトバランス処理などを行う後段処理部２０からなる。
【００２０】
前段処理部１０では、上記前処理部１０３から長時間露光画像と短時間露光画像の映像データが供給されるＹＣ分離部１１により、映像データから輝度データＹと色データＣが分離される。
【００２１】
このＹＣ分離部１１により、映像データから分離された輝度データＹは、上記マイクロコンピュータ１０７の合成ポイント設定部３１に供給される。また、このＹＣ分離部１１により、映像データから分離された長時間露光画像と短時間露光画像の色データＣは、合成処理部１４に供給される。
【００２４】
合成処理部１４では、上記ＹＣ分離部１１により分離された長時間露光画像と短時間露光画像の各色データをマイクロコンピュータ１０７の合成ポイント設定部３１により設定された合成ポイントで合成して、広ダイナミックレンジの合成画像の色データを形成する。そして、合成画像の色データは、圧縮処理部１５に供給される。
【００２５】
圧縮処理部１５では、上記合成画像の色データに圧縮処理を施す。そして、圧縮処理を施された合成画像の色データは、ＹＣ合成部１６に供給される。
【００２６】
ＹＣ合成部１６では、圧縮処理を施された輝度データと色データから、合成画像の輝度データＹと色データＣを合成する。そして、このＹＣ合成部１６により合成された合成画像の輝度データＹと色データＣは、後段処理部２０のＹＣ分離部２１に供給される。
【００２７】
後段処理部２０では、合成画像の輝度データＹと色データＣからＹＣ分離部２１により色データＣが分離され、色情報検出部２２により上記色データＣから合成画像の３原色（ＲＧＢ）のデータが検出される。上記色データＣから検出された上記合成画像の３原色（ＲＧＢ）のデータは、ホワイトバランス処理部２３に供給されるとともに、マイクロコンピュータ１０７のホワイトバランス演算部３２に供給される。
【００２８】
ここで、上記マイクロコンピュータ１０７では、上記前処理部１０のＹＣ分離部１１から供給される輝度データＹと、上記合成ポイント設定部３１により設定された合成ポイントを示す情報に基づき、上記合成画像の３原色（ＲＧＢ）のデータのうち、長時間露光画像として得られた情報を特定し、長時間露光画像として得られた情報のみをもちいて、低輝度部分の３原色（ＲＧＢ）の値を一致させホワイトバランスを取るための制御パラメータをホワイトバランス演算部３２により演算する。そして、上記制御パラメータは、後段処理部２０のホワイトバランス処理部２３に供給される。
【００２９】
そして、後段処理部２０のホワイトバランス処理部２３では、上記色情報検出部２２により上記色データＣから検出された合成画像の３原色（ＲＧＢ）のデータに対して、上記マイクロコンピュータ１０７のホワイトバランス演算部３２から供給される制御パラメータに応じて、ホワイトバランス調整処理を施す。そして、ホワイトバランス調整処理済みの３原色（ＲＧＢ）のデータは、上記記録部１０６に供給されるとともに、図示しないＤ／Ａ変換されてアナログ撮像信号としてビデオ出力部１０５に供給される。
【００３０】
このように、この撮像装置１００では、各処理部１０３，１０４で得られたデータを基にマイクロコンピュータ１０７が自動露光の制御を行うことにより、長時間露光画像と短時間露光画像を撮像する。そして、長時間露光画像と短時間露光画像が前段処理部１０に入力され、合成、圧縮された画像が後段処理部２０の入力画像とされる。この後段処理部２０において、合成された画像の色情報が得られ、その情報の内、長時間露光画像として得られた情報のみを用いて、ホワイトバランスを取る。
【００３１】
例えば、図３に示すように、合成画像の映像信号を［１００］とし、屋内（長時間露光画像）が［７０］、屋外（短時間露光画像）が［３０］の割合で再生されている時に、上記屋内と屋外の閾値Ｘ＝７０により、合成画像の屋内領域（長時間露光画像）を判定することができる。そして、色情報についても映像信号と同様に、合成画像の色情報を長時間露光画像の色情報と短時間露光画像の色情報にわけることができるため、屋内のみの色情報が得られる。この閾値Ｘを動的に得ることによって、常に長時間露光画像の色情報から合成画像の適正なホワイトバランスをとることができる。この閾値Ｘはその時に最適な露光が得られる合成ポイントを長時間露光画像、短時間露光画像それぞれの映像信号から算出することによって決定する。このため、図４に特性Ａとして示すように、撮り込むシーンによってその閾値が変化したり、また、図４に特性Ｂとして示すように、同じ閾値であったとしても長時間露光画像の情報が変化したりする場合もある。
【００３２】
なおハードウェアに制限があること、長時間露光画像と短時間露光画像の色温度の差が非常に大きく異なることなどの理由から、長時間露光画像と短時間露光画像のそれぞれにおいて色のバランスを取ることができない場合、得られた合成画像から長時間露光画像に着目したホワイトバランスを取ると、最適な画を得ることができる。ここで、長時間露光画像の色情報を用いるのは、ワイドダイナミックレンジを持つ撮像装置が例えばＡＴＭの監視用に使用される場合、屋内と屋外の画が得られる中で特に必要とされるのは屋内の画の方になるためである。
【００３３】
また、晴天の昼間、屋内と屋外が一緒に撮られていたとした場合、屋内は白色蛍光灯の光で４，０００〜５，０００Ｋの色温度、屋外は太陽光で１５，０００Ｋ以上の色温度になる。それぞれの色温度をそのままに長時間露光画像のみの色情報をもとにホワイトバランスをとると、屋外は青側にずれたところでホワイトバランスが取られることになるため、デュアルホワイトバランスが正確に取れていない。しかし、実際に人間が同じ光景を目で見た時、屋外の色は色温度が高いため青く見える。また、逆に夕暮れ時の空を一緒に映していた場合、長時間露光画像のみの色情報をもとにホワイトバランスをとると、屋外は赤側にずれるが、同じように人間が見れば色温度が低いため赤く見える。つまり、より自然に近い色再現が得られるために、違和感のない画像となる。
【００３４】
以上のように、合成画像から長時間露光画像に着目したホワイトバランスを取ると、最適な画像を得ることができる。
【００３５】
【発明の効果】
以上説明したように、長時間露光の撮像動作により得られた映像信号と短時間露光の撮像動作により得られた映像信号を合成して、広ダイナミックレンジの合成画像の映像信号を形成し、長時間露光画像と短時間露光画像のそれぞれの映像信号から長時間露光画像と短時間露光画像が最適露光状態となる合成ポイントを算出して、合成ポイントを設定し、設定された合成ポイントの情報に基づいて、長時間露光画像を判定するための閾値を動的に決定し、合成された合成画像の映像信号に対して、上記閾値により長時間露光画像を判定し、長時間露光画像として得られた映像信号の情報のみを用いてホワイトバランス調整を施すことにより、最適な画像を得ることができる。
【００３６】
したがって、本発明によれば、ハードウェアに制限があること、長時間露光画像と短時間露光画像の色温度の差が非常に大きく異なることなどの理由から、長時間露光画像と短時間露光画像のそれぞれにおいて色のバランスを取ることができない場合や、各画像の色バランスをとる補正を行うことができない場合に、少ない情報から好ましいホワイトバランスをとるのに有効なホワイトバランス調整装置を提供することができる。
【００３７】
【図面の簡単な説明】
【図１】本発明を適用した監視用の撮像装置の構成例を示すブロック図である。
【図２】上記信号処理部の機能的な構成を示すブロック図である。
【図３】合成画像の映像信号の特性を示す特性図である。
【図４】上記撮像装置により得られる合成画像の映像信号の閾値の変化を示す特性図である。
【符号の説明】
１０前段処理部、１１ＹＣ分離部、１４合成処理部、１５圧縮処理部、１６ＹＣ合成部、２０後段処理部、２１ＹＣ分離部、２２色情報検出部、２３ホワイトバランス処理部、３１合成ポイント設定部、３２ホワイトバランス演算部、１００撮像装置、１０１撮像レンズ、１０２ＣＣＤカラーイメージセンサ、１０３前処理部、１０４信号処理部、１０５ビデオ出力部、１０６記録部、１０７マイクロコンピュータ、１０８タイミングジェネレータ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a white balance adjustment device effective for a video signal having a wide dynamic range obtained by combining a long exposure image and a short exposure image.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, in an imaging apparatus such as a video camera, a constant color reproducibility can be obtained by performing white balance adjustment even if the color temperature of a subject differs depending on the light source.
[0003]
Here, the white balance adjustment is performed by imaging a white subject and adjusting the level so that the signal levels of the respective color signals at the white luminance point are equal.
[0004]
By the way, in an imaging device, the dynamic range is limited due to the limitation due to the charge storage capacity of the imaging device, and extremely bright (high luminance) and relatively dark (low luminance) subjects are mixed, such as when shooting indoors and outdoors. When shooting such a scene, the exposure time was controlled so that either a high-luminance subject or a low-luminance subject was obtained at an appropriate level. If the high luminance part is set to an appropriate level, the low luminance part will be blacked out. For example, in a scene where the indoor and outdoor scenes are shown together, the outdoor picture will fly white, or on the contrary, the indoor picture will become dark, making it impossible to take both indoor and outdoor pictures. Therefore, both an image obtained by increasing the shutter speed to take an outdoor image (short exposure image) and an image obtained by reducing the shutter speed to take an indoor image (long exposure image) A wide dynamic range is secured by synthesizing the images so that they can be reproduced.
[0005]
In addition, when shooting a scene where subjects with different color temperatures are mixed, such as indoor and outdoor, if white balance is taken as it is with a composite of a long exposure image and a short exposure image with different color temperatures, Since both signals are halfway in color balance, proper white balance cannot be achieved.
[0006]
Therefore, by adjusting the color balance in each of the long-time exposure image and the short-time exposure image, taking the color balance of each image, combining the two images and adjusting the white balance, an appropriate white balance is achieved. A dual white balance function has been proposed.
[0007]
For example, before synthesizing the long-exposure image and the short-exposure image, correction is performed to adjust the color temperature in each case, and then the white balance is obtained (see, for example, Patent Document 1) or the dynamic range processing circuit side. It has a discrimination pulse that distinguishes light and dark areas, extracts color information of the long exposure image portion and short exposure image portion of the composite signal from that information, and adjusts the white balance in the order of the long exposure image side and the short exposure image side (For example, refer to Patent Document 2), by realizing the dual white balance function, it is impossible to obtain an appropriate white balance when the color temperature of the long-time exposure image and the short-time exposure image is different. Is avoiding.
[0008]
[Patent Document 1]
JP 2001-94999 A [Patent Document 2]
JP-A-10-257516 [0009]
[Problems to be solved by the invention]
However, when the dual white balance function is realized by the conventional method as described above, the hardware scale becomes large or the difference in color temperature between the long exposure image and the short exposure image is very different. Due to hardware limitations, there was a problem that color reproduction could not be performed sufficiently.
[0010]
In view of the above-described conventional problems, the object of the present invention is that the hardware is limited and that the color temperature difference between the long-time exposure image and the short-time exposure image is very different. When it is impossible to balance the colors of the long-exposure image and the short-exposure image, or when it is impossible to perform correction that balances the color of each image, a good white balance can be obtained from a small amount of information. The object is to provide an effective white balance adjustment device .
[0011]
[Means for Solving the Problems]
The white balance adjustment device according to the present invention combines a video signal obtained by a long-exposure imaging operation and a video signal obtained by a short-exposure imaging operation to generate a video signal of a wide dynamic range composite image. The composition means to be formed, and the composition point by which the long exposure image and the short exposure image are optimally exposed from the video signals of the long exposure image and the short exposure image are calculated and synthesized by the synthesis means. A composite point setting means for setting a composite point of the video signal of the time exposure image and the short exposure image, and a threshold value for determining the long exposure image based on the composite point information set by the composite point setting means dynamically determining, with respect to the video signal of the synthesized composite image by said synthesizing means, it determines the long-time exposure image by the threshold, long exposure Characterized in that it comprises a white balance adjustment means for performing white balance adjustment by using only the information of the obtained video signal as an image.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0014]
The present invention is applied to, for example, a monitoring imaging apparatus 100 configured as shown in FIG.
[0015]
The imaging apparatus 100 controls the exposure time equivalently by controlling the charge accumulation period of the CCD color image sensor 102 so that a subject with standard brightness can be obtained at an appropriate level. The CCD color image sensor 102 performs a long-time exposure imaging operation for imaging and a short-time exposure imaging operation for imaging while controlling the exposure time so that an extremely bright subject can be obtained at an appropriate level. By combining the imaging output of the long exposure image obtained by the exposure imaging operation and the imaging output of the short exposure image obtained by the short exposure imaging operation, a wide dynamic range video signal is obtained, CCD color image sensor 102 to which imaging light is incident via the imaging lens 101, and the CCD color image sensor A signal processing unit 104 supplied via a pre-processing unit 103 to which a color imaging output obtained by 102 is supplied, a video output unit 105 for outputting the color imaging output processed by the signal processing unit 104 as a color video signal, The recording unit 106 records the imaging output and control parameters processed by the signal processing unit 104 on a recording medium, and includes a microcomputer 107 and a timing generator 108 for controlling them.
[0016]
In the imaging apparatus 100, a subject color image formed by imaging light incident through an imaging lens 101 is captured by a CCD color image sensor 102. The color imaging output from the CCD color image sensor 102 is subjected to preprocessing such as CDS (correlated double sampling) and AGC in the preprocessing unit 103, and is further A / D converted into video data as the signal processing unit 104. To be supplied. The video data is subjected to signal processing such as composition and compression of exposure signals for a long time and a short time in the signal processing unit 104, and further subjected to automatic exposure processing and white balance processing. It is converted and supplied to the video output unit 105 as an analog imaging signal. The analog imaging signal is output as a video signal via the video output unit 105. The image data processed by the signal processing unit 104 and the control parameters calculated by the microcomputer 107 are recorded on the recording unit 106 in a recording medium.
[0017]
The microcomputer 107 controls the processing units 103 and 104 and the recording unit 106 using the data output from the processing units 103 and 104, or receives commands input from the outside via the external I / F. In response, the processing units 103 and 104 and the recording unit 106 are controlled. The microcomputer 107 controls automatic exposure based on the data obtained by the processing units 103 and 104.
[0018]
The timing generator 108 outputs data to the processing units 103 and 104 based on data given by the microcomputer 107 and inputs data from the processing units 103 and 104.
[0019]
As shown in FIG. 2, the signal processing unit 104 performs a white balance process and the like by using a pre-processing unit 10 that combines a long-exposure image and a short-exposure image, and a composite image. It consists of a post-processing unit 20.
[0020]
In the pre-processing unit 10, the luminance data Y and the color data C are separated from the video data by the YC separation unit 11 to which the video data of the long exposure image and the short exposure image is supplied from the preprocessing unit 103.
[0021]
The luminance data Y separated from the video data by the YC separation unit 11 is supplied to the synthesis point setting unit 31 of the microcomputer 107. Further, the color data C of the long exposure image and the short exposure image separated from the video data by the YC separation unit 11 is supplied to the synthesis processing unit 14 .
[0024]
The synthesis processing unit 14 synthesizes the color data of the long-exposure image and the short-exposure image separated by the YC separation unit 11 at the synthesis point set by the synthesis point setting unit 31 of the microcomputer 107 to obtain a wide dynamic image. The color data of the composite image of the range is formed. Then, the color data of the composite image is supplied to the compression processing unit 15.
[0025]
The compression processing unit 15 performs compression processing on the color data of the composite image. Then, the color data of the composite image subjected to the compression process is supplied to the YC composition unit 16.
[0026]
The YC synthesis unit 16 synthesizes the luminance data Y and the color data C of the synthesized image from the luminance data and color data subjected to the compression process. Then, the luminance data Y and color data C of the synthesized image synthesized by the YC synthesis unit 16 are supplied to the YC separation unit 21 of the post-processing unit 20.
[0027]
In the post-processing unit 20, the color data C is separated from the luminance data Y and the color data C of the composite image by the YC separation unit 21, and the three primary colors (RGB) data of the composite image from the color data C by the color information detection unit 22. Is detected. The three primary color (RGB) data of the composite image detected from the color data C is supplied to the white balance processing unit 23 and also to the white balance calculation unit 32 of the microcomputer 107.
[0028]
Here, in the microcomputer 107, based on the luminance data Y supplied from the YC separation unit 11 of the preprocessing unit 10 and information indicating the synthesis point set by the synthesis point setting unit 31, Of the three primary color (RGB) data, the information obtained as the long exposure image is specified, and only the information obtained as the long exposure image is used to match the values of the three primary colors (RGB) in the low luminance part. The white balance calculation unit 32 calculates control parameters for white balance. The control parameters are supplied to the white balance processing unit 23 of the post-processing unit 20.
[0029]
Then, the white balance processing unit 23 of the post-processing unit 20 applies the white balance of the microcomputer 107 to the three primary color (RGB) data of the composite image detected from the color data C by the color information detection unit 22. A white balance adjustment process is performed according to the control parameter supplied from the calculation unit 32. The three primary color (RGB) data that has undergone the white balance adjustment process is supplied to the recording unit 106, is D / A converted (not shown), and is supplied to the video output unit 105 as an analog imaging signal.
[0030]
As described above, in the imaging apparatus 100, the microcomputer 107 controls the automatic exposure based on the data obtained by the processing units 103 and 104, thereby capturing a long exposure image and a short exposure image. Then, the long-time exposure image and the short-time exposure image are input to the pre-processing unit 10, and the combined and compressed image is used as the input image of the post-processing unit 20. The post-processing unit 20 obtains color information of the synthesized image, and white balance is obtained using only the information obtained as the long-time exposure image.
[0031]
For example, as shown in FIG. 3, the video signal of the composite image is [100], the indoor (long exposure image) is reproduced at [70], and the outdoor (short exposure image) is reproduced at a rate of [30]. Occasionally, the indoor area (long exposure image) of the composite image can be determined by the indoor and outdoor threshold value X = 70. As for the color information, similarly to the video signal, the color information of the composite image can be divided into the color information of the long-time exposure image and the color information of the short-time exposure image, so that color information only indoors can be obtained. By obtaining this threshold value X dynamically, an appropriate white balance of the composite image can be always obtained from the color information of the long-exposure image. This threshold value X is determined by calculating a composite point at which an optimum exposure is obtained at that time from the video signals of the long exposure image and the short exposure image. For this reason, the threshold value varies depending on the scene to be captured as shown as characteristic A in FIG. 4, and even if the threshold value is the same as shown in characteristic B in FIG. It may change.
[0032]
Note that the color balance between the long-exposure image and the short-exposure image is balanced because the hardware is limited and the color temperature difference between the long-exposure image and the short-exposure image is very different. In the case where it cannot be taken, an optimal image can be obtained by taking white balance focusing on the long-time exposure image from the obtained composite image. Here, the color information of the long-exposure image is used particularly when an image pickup apparatus having a wide dynamic range is used for, for example, ATM monitoring, in order to obtain indoor and outdoor images. This is because it becomes an indoor picture.
[0033]
Also, if the indoor and outdoor scenes were taken together on a clear daytime, the color temperature was 4,000 to 5,000K with white fluorescent light, and the color temperature was 15,000K or more with sunlight. become. If white balance is obtained based on the color information of only the long-exposure image with each color temperature as it is, the white balance will be taken outside the blue side, so the dual white balance can be taken accurately. Not. However, when people actually see the same scene with their eyes, the outdoor color looks blue due to the high color temperature. On the other hand, when the sky at dusk was projected together, if the white balance was taken based on the color information of the long-exposure image only, the outdoors would shift to the red side. It looks red due to low temperature. In other words, a more natural color reproduction is obtained, so that the image does not feel strange.
[0034]
As described above, an optimal image can be obtained by taking a white balance focusing on the long-exposure image from the composite image.
[0035]
【The invention's effect】
As described above, a long time to synthesize a video signal obtained by the imaging operation of the resulting video signal and the short exposure by the imaging operation of the exposure, to form a video signal of a composite image of a wide dynamic range, the length From the video signals of the time exposure image and the short exposure image, calculate the composite point where the long exposure image and the short exposure image are in the optimal exposure state, set the composite point, and set the composite point information. Based on this, the threshold value for determining the long exposure image is dynamically determined, and the long exposure image is determined based on the above threshold value with respect to the synthesized composite image video signal. An optimal image can be obtained by performing white balance adjustment using only the information of the video signal.
[0036]
Therefore, according to the present invention, the long-exposure image and the short-exposure image are limited due to hardware limitations and the difference in color temperature between the long-exposure image and the short-exposure image is very different. To provide a white balance adjustment device that is effective in obtaining a desirable white balance from a small amount of information when the color balance cannot be obtained in each of the image data or when the color balance correction cannot be performed for each image. Can do.
[0037]
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration example of a monitoring imaging apparatus to which the present invention is applied.
FIG. 2 is a block diagram showing a functional configuration of the signal processing unit.
FIG. 3 is a characteristic diagram illustrating characteristics of a video signal of a composite image.
FIG. 4 is a characteristic diagram illustrating a change in a threshold value of a video signal of a composite image obtained by the imaging apparatus.
[Explanation of symbols]
10 Pre-processing unit, 11 YC separation unit, 14 synthesis processing unit, 15 compression processing unit, 16 YC synthesis unit, 20 post-processing unit, 21 YC separation unit, 22 color information detection unit, 23 white balance processing unit, 31 synthesis point Setting unit, 32 White balance calculation unit, 100 imaging device, 101 imaging lens, 102 CCD color image sensor, 103 preprocessing unit, 104 signal processing unit, 105 video output unit, 106 recording unit, 107 microcomputer, 108 timing generator

Claims

長時間露光の撮像動作により得られた映像信号と短時間露光の撮像動作により得られた映像信号を合成して、広ダイナミックレンジの合成画像の映像信号を形成する合成手段と、
長時間露光画像と短時間露光画像のそれぞれの映像信号から長時間露光画像と短時間露光画像が最適露光状態となる合成ポイントを算出して、上記合成手段により合成する長時間露光画像と短時間露光画像の映像信号の合成ポイントを設定する合成ポイント設定手段と、
上記合成ポイント設定手段により設定された合成ポイントの情報に基づいて、長時間露光画像を判定するための閾値を動的に決定し、上記合成手段により合成された合成画像の映像信号に対して、上記閾値により長時間露光画像を判定し、長時間露光画像として得られた映像信号の情報のみを用いてホワイトバランス調整を施すホワイトバランス調整手段と
を備えることを特徴とするホワイトバランス調整装置。A synthesizing unit that synthesizes the video signal obtained by the imaging operation of the long exposure and the video signal obtained by the imaging operation of the short exposure to form a video signal of a wide dynamic range composite image;
By calculating the synthesis point at which the long exposure image and the short exposure image are in the optimum exposure state from the respective video signals of the long exposure image and the short exposure image, the long exposure image and the short time synthesized by the synthesis means are calculated. A synthesis point setting means for setting a synthesis point of the video signal of the exposure image;
Based on the information of the synthesis point set by the synthesis point setting means , dynamically determines a threshold for determining the long exposure image, and for the video signal of the synthesized image synthesized by the synthesis means, A white balance adjustment device comprising: white balance adjustment means that determines a long exposure image based on the threshold value and performs white balance adjustment using only information of a video signal obtained as the long exposure image.