JP2010114667A - 自動ホワイトバランス調整システム - Google Patents

Abstract

【課題】映像のホワイトバランスを精度良く調整する自動ホワイトバランス調整システムを得ること。
【解決手段】自動ホワイトバランス調整システムにおいて、色差信号の所定範囲を示す色範囲情報または輝度信号の所定範囲を示す輝度範囲情報に基づいて、色範囲情報内または輝度範囲情報内の画素を用いたホワイトバランス調整の調整ゲインを算出するホワイトバランス情報算出部１６と、調整ゲインの算出に用いる色範囲情報または輝度範囲情報と、調整ゲインの算出に用いられる場合には調整ゲインの算出に用いられる１フレーム内の所定領域を示すフレーム内領域情報と、の中の少なくとも１つを、撮像画像のホワイトバランスに応じて撮像画像のフレーム毎に変更するレジスタ切替部１９と、ホワイトバランス情報算出部１６が算出した調整ゲインを用いて撮像画像のホワイトバランスを調整する乗算器１２と、を備える。
【選択図】 図１

Description

本発明は、撮像装置の自動ホワイトバランス調整システムに関するものである。

撮像装置は、映像信号に対して光源の持つ色温度に応じたホワイトバランス調整を行なっており、例えば、無補正状態では緑がかる蛍光灯下においても、赤みがかる白熱灯下においても、白い被写体が白く撮影されるように調整を行っている。このようなホワイトバランス調整を自動的に行うシステムが自動ホワイトバランス調整システム（以下、ＡＷＢ（Automatic White Balance control）システムという）である。

ＡＷＢシステムでは、ホワイトバランス調整の対象となる色温度範囲を、予め色判定ゲート（色温度範囲の指定情報）により設定しておく。そして、ＡＷＢシステムは、各画素が色判定ゲートで設定されている色温度範囲内であるか否かの色温度判定結果に基づいてホワイトバランス調整を行なっている。

具体的には、色判定ゲートによって選別された画素のデータ（色温度範囲内の画素データ）は、１フレーム分積算されるとともに、積算値が積算に用いた画素数で除算される。これにより、１フレームの１画素あたりのデータの平均値が算出される。例えば、積算したデータが色差信号であった場合には、色差信号の平均値が０となるようにホワイトバランスゲインを調整することで、映像信号はホワイトバランスが取れた状態となる。ＡＷＢシステムは、例えば電球程度の色温度の照明下ではホワイトバランス調整を行い、電球よりも色温度が低い夕焼けの下ではホワイトバランス調整を行わない。これにより、各画素での色温度を色温度判定結果に反映させたホワイトバランス調整を行うことが可能となる。

例えば、特許文献１に記載の自動ホワイトバランス調整装置は、色判定ゲートに設定された色温度範囲内の画素データを用いてホワイトバランスの調整ゲイン量を算出し、算出した調整ゲイン量を映像信号のホワイトバランス調整にフィードバックしていた。

しかしながら、上記従来の技術では、撮影モード等の設定変更がない限り、一度色判定ゲートを設定すると、この設定状態を保持し常に同じ設定状態での色判定が行なわれていた。色判定ゲートは、追従させたい色温度の範囲を囲うように色温度範囲が設定されるものである。このため、上記従来の技術では、全くの無彩色の被写体部分の画素データと、色判定ゲートを通過する程度に彩度は低いが有色の被写体の画素データと、が一緒に積算されて平均化され、この平均値を元にホワイトバランス調整が行われていた。その結果、無彩色の被写体に比べ淡色の有色被写体が多い場合には、ホワイトバランスが本来収束すべき理想的なポイントからずれたポイントに収束し、ホワイトバランスの調整精度が悪くなるという問題があった。また、色判定ゲートの色温度範囲が狭すぎる場合には、ホワイトバラス調整を行うことができないという問題があった。

特開２００１−３０９４０１号公報

本発明は、映像のホワイトバランスを精度良く調整する自動ホワイトバランス調整システムを得ることを目的とする。

本願発明の一態様によれば、撮像画像の画素データがホワイトバランス調整に用いる画素データであるか否かの判定を画素データの色判定または輝度判定によって画素毎に行なうとともに、前記色判定または前記輝度判定の判定結果に基づいて前記撮像画像のホワイトバランス調整を行う自動ホワイトバランス調整システムにおいて、色差信号の所定範囲を示す色範囲情報または輝度信号の所定範囲を示す輝度範囲情報に基づいて、前記色範囲情報内または前記輝度範囲情報内の画素を用いたホワイトバランス調整の調整ゲインを算出するホワイトバランス調整ゲイン算出部と、前記ホワイトバランス調整ゲイン算出部が前記調整ゲインの算出に用いる色範囲情報または輝度範囲情報と、前記調整ゲインの算出に用いられる場合には前記調整ゲインの算出に用いられる１フレーム内の所定領域を示すフレーム内領域情報と、の中の少なくとも１つを、前記撮像画像のホワイトバランスに応じて前記撮像画像のフレーム毎に変更する設定変更部と、前記ホワイトバランス調整ゲイン算出部が算出した調整ゲインを用いて、前記撮像画像のホワイトバランスを調整するホワイトバランス調整部と、を備えることを特徴とする自動ホワイトバランス調整システムが提供される。

この発明によれば、映像のホワイトバランスを精度良く調整することが可能になるという効果を奏する。

以下に、本発明に係る自動ホワイトバランス調整システム（ＡＷＢシステム）の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

（実施の形態）
図１は、本発明の実施の形態に係るＡＷＢシステムの構成を示す図である。ＡＷＢシステム１は、デジタルスチルカメラなどの撮像装置内に配置されて、撮像装置に搭載されるエリアイメージセンサ（固体撮像素子）によって撮像された映像のホワイトバランスを自動調整する装置である。本実施の形態のＡＷＢシステム１は、撮影画像（映像）の複数フレームを用いてフレーム毎に判定条件（後述の色判定ゲートＣｘなど）の異なるホワイトバランス判定を行い、その判定結果に基づいて例えば次フレーム以降の撮像画像のホワイトバランスを自動調整する。

ＡＷＢシステム１は、映像信号入力端子１１、乗算器（ホワイトバランス調整部）１２、色差信号・輝度信号生成部（画素抽出部）１３、色・輝度判定処理部１４、色差平均値算出部（色差信号平均値算出部）１５、ホワイトバランス判定条件切替部（調整判定部）２０、ホワイトバランス情報算出部（ホワイトバランス調整ゲイン算出部）１６、タイミング信号生成部（タイミング指示部）１７、レジスタ設定部（記憶部）１８、レジスタ選択切替部（設定変更部）１９を有している。

映像信号入力端子１１は、ＲＧＢ（赤色、緑色、青色）の映像信号を外部入力する端子である。映像信号入力端子１１へ入力されるＲＧＢ映像信号は、エリアイメージセンサであるＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等によって撮像された映像のＲＧＢ映像信号である。映像信号入力端子１１に入力されたＲＧＢ映像信号は、乗算器１２と色差信号・輝度信号生成部１３に送られる。

乗算器１２は、映像信号入力端子１１から送られてくるＲＧＢ映像信号に、ホワイトバランス情報算出部１６から送られてくるホワイトバランス調整ゲイン（ホワイトバランスを調整するゲイン）を乗ずることによって、ＲＧＢ映像信号のホワイトバランスを調整する。乗算器１２は、ホワイトバランス（ゲイン）を調整したＲＧＢ映像信号を色差信号・輝度信号生成部１３に送る。

色差信号・輝度信号生成部１３は、映像信号入力端子１１から送られてくるＲＧＢ映像信号を用いて、ゲイン調整無しの輝度信号（Ｙ）および色差信号（ＵとＶ）を生成する。また、色差信号・輝度信号生成部１３は、乗算器１２から送られてくるホワイトバランス調整後のＲＧＢ映像信号を用いて、ゲイン調整有りの色差信号を生成する。色差信号・輝度信号生成部１３は、生成したゲイン調整無しの輝度信号および色差信号を色・輝度判定処理部１４に送り、生成したゲイン調整有りの色差信号を色差平均値算出部１５に送る。

色差信号・輝度信号生成部１３から色・輝度判定処理部１４へ送られるゲイン調整無しの輝度信号および色差信号は、色判定用の信号であり、色差信号・輝度信号生成部１３から色差平均値算出部１５へ送られるゲイン調整有りの色差信号は、色差信号積算用（ホワイトバランス積算用）の信号である。

色・輝度判定処理部１４は、後述の色判定ゲートＣｘを用いて、画素毎の、色相、彩度を判定し、後述の輝度判定ゲートＬｘを用いて画素毎の輝度を判定し、これらの判定結果により判定対象となっている画素に対しゲートを通過させるか否か（ホワイトバランス調整の対象となる画素であるか否か）を決定する機能を有している。色・輝度判定処理部１４は、ＲＧＢ映像信号の各画素がホワイトバランス調整の対象となる画素であるか否かを判定するため、ゲイン調整無しの輝度信号に基づく輝度判定（明るさ判定）と、ゲイン調整無しの色差信号に基づく色判定と、を画素毎に行う。色・輝度判定処理部１４は、レジスタ選択切替部１９から送られてくる色判定ゲートＣｘ、輝度判定ゲートＬｘに基づいて、各画素がホワイトバランス調整に適した画素であるか否か（ホワイトバランスの調整に用いる画素であるか否か）の判定処理を行う。

具体的には、色・輝度判定処理部１４は、各画素のうち色差信号が色判定ゲートＣｘの領域内にある画素であって、かつ輝度信号が輝度判定ゲートＬｘ内にある画素が、ホワイトバランス調整に適した画素であると判定する。このように、色・輝度判定処理部１４は、所定範囲内（色判定ゲートＣｘ内）の色差信号を有した画素をホワイトバランス調整に用いる画素と判定することによって、電球程度の照明環境下で白色から大きく離れた画素をホワイトバランス調整の対象から除外しておく。また、色・輝度判定処理部１４は、所定範囲内（輝度判定ゲートＬｘ内）の輝度を有した画素をホワイトバランス調整に用いる画素と判定することによって、明るすぎる輝度を有した画素や暗すぎる輝度を有した画素をホワイトバランス調整の対象から除外しておく。

ここで、色判定ゲート（色範囲情報）Ｃｘ、輝度判定ゲート（輝度範囲情報）Ｌｘについて説明する。図２は、色判定ゲートを説明するための図であり、図３は、輝度判定ゲートを説明するための図である。Ｒ、Ｇ、Ｂの映像信号は、色差信号・輝度信号生成部１３で輝度信号（Ｙ）と色差信号（ＵとＶ）に変換される。このとき、色差信号・輝度信号生成部１３は、例えば輝度信号をＹ＝Ｒ＋２Ｇ＋Ｂによって規定し、色差信号をＶ＝Ｒ−ＹとＵ＝Ｂ−Ｙによって規定する。

Ｕを横軸とし、Ｖを縦軸として色差信号を表すと、（Ｕ，Ｖ）＝原点（０，０）が、色の無い状態となる。各画素の色は、この原点を中心としたＵＶ座標系上で、例えばＲ（赤）、Ｍｇ（マジェンダ）、Ｂ（青）、Ｃｙ（シアン）、Ｇ（緑）、Ｙｅ（黄）などのように示すことができる。

ホワイトバランス調整に適した画素は、例えば電球程度の色温度を有した照明下で撮像された被写体の画素（自然な環境下で白く撮像される物体の画素）であり、光源などの影響が小さな物体の画素である。図２では、このような、ホワイトバランス調整に適した画素の色差信号の範囲を、ＵＶ座標系内の色判定ゲートＣｘによって示している。色判定ゲートＣｘの領域が小さい場合は、映像信号内からホワイトバランス調整に適した画素を抽出できる可能性が低くなり、色判定ゲートＣｘの領域が大きい場合は、映像信号内からホワイトバランス調整に適していない画素まで抽出しまう可能性が高くなる。そこで、本実施の形態では、色判定ゲートＣｘの領域を、フレーム毎に変化させながらホワイトバランスの調整を行う。

図３に示すようにＹを縦軸として輝度信号を表すと、Ｙ＝０が輝度の無い状態となる。図３では、ホワイトバランス調整に適した画素の輝度信号の範囲を、輝度判定ゲートＬｘによって示している。輝度判定ゲートＬｘの領域が小さい場合は、映像信号内からホワイトバランス調整に適した画素を抽出できる可能性が低くなり、輝度判定ゲートＬｘの領域が大きい場合は、映像信号内からホワイトバランス調整に適していない画素まで抽出しまう可能性が高くなる。そこで、本実施の形態では、輝度判定ゲートＬｘの領域を、フレーム毎に変化させながらホワイトバランスの調整を行う。

色・輝度判定処理部１４は、画素毎の判定結果（ホワイトバランス調整に適した画素であるか否かの判定結果）を色差平均値算出部１５に送る。色・輝度判定処理部１４は、例えば判定結果として、ホワイトバランス調整に用いる画素を指定する情報（画素指定情報）を色差平均値算出部１５に送る。

色差平均値算出部１５は、色差信号・輝度信号生成部１３から送られてくるゲイン調整有りの色差信号を、画素指定情報に基づいて積算する。また、色差平均値算出部１５は、積算した色差信号（色差積算値）を、画素指定情報で指定された画素数で除することによって、色差信号の１画面中の所定範囲内での平均値（色差信号平均値）を算出する。

色差平均値算出部１５は、タイミング信号生成部１７から送られてくるタイミング信号、レジスタ選択切替部１９から送られてくる後述のホワイトバランス判定用積算画面Ａｘに基づいて、色差積算値、色差信号平均値を算出する。具体的には、色差平均値算出部１５は、画素指定情報で指定された各画素のＵとＶの値を１画面分（１フレーム分）合計する。色差平均値算出部１５は、タイミング信号生成部１７からのタイミング信号に基づいて１画面分の区切りを判断するとともに、この１画面内の画素のうちホワイトバランス判定用積算画面Ａｘ内の画素に対してのみＵとＶの値を合計する。これにより、色判定ゲートＣｘ内に色差信号のある画素であって、輝度判定ゲートＬｘ内に輝度信号のある画素の、１画面内（ホワイトバランス判定用積算画面Ａｘ内）での色差積算値、色差信号平均値が算出される。色差平均値算出部１５は、算出した色差積算値、色差信号平均値をホワイトバランス判定条件切替部２０に送る。

ここで、ホワイトバランス判定用積算画面（フレーム内領域情報）Ａｘについて説明する。図４は、ホワイトバランス判定用積算画面を説明するための図である。映像信号のうち、所定領域の映像信号（１フレーム分）が画面表示領域Ｂとして画面表示される。画面表示領域Ｂが、タイミング信号生成部１７から送られてくるタイミング信号によって設定される１画面分の領域である。この画面表示領域Ｂのうち、色差信号平均値の算出に用いる画素の領域がホワイトバランス判定用積算画面Ａｘである。例えば車載カメラの場合、後続車からのヘッドライトが撮像される可能性の低い領域を色判定ゲートＣｘの領域に設定しておく。また、携帯電話に搭載するカメラの場合、人の顔を撮像することが多いので、人の顔が撮像される可能性の低い領域を色判定ゲートＣｘの領域に設定しておく。また、デジタルカメラの場合、太陽の撮像される可能性が低い領域を色判定ゲートＣｘの領域に設定しておく。

ホワイトバランス判定条件切替部（判定条件切替用フェーズ判定部）２０は、色差平均値算出部１５から送られてくる色差信号平均値をホワイトバランス情報算出部１６に転送する。また、ホワイトバランス判定条件切替部２０は、色差平均値算出部１５から送られてくる色差信号平均値がホワイトバランスの調整が必要な範囲内であるか否かを判定する。ホワイトバランス判定条件切替部２０は、ホワイトバランスの調整が必要な場合に、積算される画素数（色差積算値）に基づいて、現在の設定（色判定ゲートＣｘ、輝度判定ゲートＬｘ、ホワイトバランス判定用積算画面Ａｘの設定）でホワイトバランスを取ることが可能か否かを判断する。

これは、色差信号平均値が０以外であるために、ホワイトバランスを取らなければならないが、積算される画素数が少ないと（例えば、色判定ゲートＣｘの現在の設定が厳しい判定状態であり、色判定ゲートＣｘゲートを通過するが素数が少ない場合）、ホワイトバランスの判断材料としては信頼性に欠けるからである。すなわち、積算される画素数が少ない場合に、少ない画素数を元にホワイトバランスを取ると、かえって精度が悪くなるおそれがあるからである。そのため、本実施の形態では、積算される画素数が少ない状態の時に、例えば色判定ゲートＣｘの設定を変えて（もう少し判定の緩い設定に切り替えて）、もう一度（次の１フレーム）色判定を行い、その段階で、ホワイトバランスを調整するに当たり信頼できる十分な画素数が色判定ゲートＣｘを通過すればホワイトバランス調整動作に入る。

ホワイトバランス判定条件切替部２０は、色差平均値算出部１５からの色差信号平均値が適切な値を有していれば（映像信号が適切なホワイトバランスを有している場合）、タイミング信号生成部１７にホワイトバランス判定条件の変更指示を送らない。また、ホワイトバランス判定条件切替部２０は、色差平均値算出部１５からの色差信号平均値が適切な値を有していない場合（映像信号が適切なホワイトバランスを有していない場合）であっても、現在の設定でホワイトバランスを取ることができなければ、タイミング信号生成部１７にホワイトバランス判定条件の変更指示を送らない。一方、ホワイトバランス判定条件切替部２０は、色差平均値算出部１５からの色差信号平均値が適切な値を有していない場合であって、現在の設定でホワイトバランスを取ることができる場合に、タイミング信号生成部１７にホワイトバランス判定条件の変更指示（フェーズ情報）を送る。これにより、ホワイトバランス判定条件の切替えを行うフェーズが決定される。

タイミング信号生成部１７は、フレームやラインの開始タイミング、映像期間、ブランキング期間を示す信号など、同期、タイミングに関する信号をタイミング信号として生成する。タイミング信号生成部１７は、１画面分の画素領域（画面表示領域Ｂ）を指定するタイミング信号を色差平均値算出部１５に送信し、ホワイトバランス調整ゲインの送出タイミングを指定するタイミング信号をホワイトバランス情報算出部１６に送信する。また、タイミング信号生成部１７は、ホワイトバランス判定条件切替部２０からホワイトバランス判定条件の変更指示を受信した場合に、色判定ゲートＣｘ、輝度判定ゲートＬｘ、ホワイトバランス判定用積算画面Ａｘの少なくとも１つの設定変更指示をレジスタ選択切替部１９に送信する。

タイミング信号生成部１７は、ホワイトバランス判定条件切替部２０からホワイトバランス判定条件の変更指示を受信したタイミングに従って、ホワイトバランス情報算出部１６やレジスタ選択切替部１９にタイミング信号を送信する。これにより、タイミング信号生成部１７からホワイトバランス情報算出部１６やレジスタ選択切替部１９へは、映像信号が適切なホワイトバランスを有していない場合に、この状況に応じたタイミング信号が送信される。

１画面分の画素領域（画面表示領域Ｂ）を指定するタイミング信号は、図４に示すように、縦方向の画素を指定する信号（０と１）、横方向の画素を指定する信号（０と１）によって規定される。縦方向の画素を指定する信号が「１」であって、かつ横方向の画素を指定する信号が「１」となるタイミングが、画面表示領域Ｂを指定するタイミングである。色差平均値算出部１５は、画面表示領域Ｂで指定されるタイミング内に含まれる画素の色差信号を用いて、１画面分の色差信号平均値を算出する。

また、ホワイトバランス調整ゲインの送出タイミングは、ホワイトバランス情報算出部１６が乗算器１２にホワイトバランス調整ゲインを送出するタイミングであり、１画面分の画素をスキャン表示している最中にホワイトバランスが調整されてしまわないタイミングである。具体的には、画面表示領域Ｂ内をスキャン表示している最中にホワイトバランスが調整されないよう、送出タイミングとして画面表示領域Ｂ内に入っていない画素のスキャンタイミングが指定される。

また、色判定ゲートＣｘや輝度判定ゲートＬｘの設定変更タイミングは、色差信号平均値が適切な値を有していない場合に、レジスタ選択切替部１９に色判定ゲートＣｘの設定条件（ゲート領域）や輝度判定ゲートＬｘ（ゲート領域）の設定条件（ゲートの種類）を変更させるタイミングである。

ホワイトバランス情報算出部１６は、ホワイトバランス判定条件切替部２０から送られてくる色差信号平均値に基づいて、ホワイトバランスを収束させるスピード（ホワイトバランス収束スピード）と、ホワイトバランス調整ゲインと、を算出する。

色差信号平均値は、（Ｕ，Ｖ）＝原点（０，０）からのずれ量に対応している。したがって、ホワイトバランス情報算出部１６は、ホワイトバランス調整を行う際には、色差信号平均値が原点（０，０）となるホワイトバランス調整ゲインを算出する。ホワイトバランス情報算出部１６は、色差信号平均値が原点から大きくずれている場合には、色差信号平均値が早く原点に近づくよう、色差信号平均値を大きなステップ（調整量）で原点に近づけるためのホワイトバランス調整ゲインを算出する。一方、ホワイトバランス情報算出部１６は、色差信号平均値が原点に近い場合には、色差信号平均値がゆっくり原点に近づくよう、色差信号平均値を小さなステップで原点に近づけるためのホワイトバランス調整ゲインを算出する。ホワイトバランス情報算出部１６は、タイミング信号生成部１７からタイミング信号を受信したタイミングで、ホワイトバランス調整ゲインを乗算器１２に送る。なお、ホワイトバランス情報算出部１６は、ホワイトバランス調整ゲインが（０，０）である場合、乗算器１２へのホワイトバランス調整ゲインの送信を省略してもよい。

レジスタ設定部１８は、色判定ゲートＣｘ、輝度判定ゲートＬｘ、ホワイトバランス判定用積算画面Ａｘを設定するレジスタである。本実施の形態のレジスタ設定部１８は、色判定ゲート設定用のレジスタ値によって種々の大きさの色判定ゲートＣｘを設定できるよう構成されている。また、本実施の形態のレジスタ設定部１８は、輝度判定ゲート設定用のレジスタ値によって種々の大きさの輝度判定ゲートＬｘを設定できるよう構成され、ホワイトバランス判定積算画面用のレジスタ値によって種々の大きさのホワイトバランス判定用積算画面Ａｘを設定できるよう構成されている。

レジスタ選択切替部１９は、レジスタ設定部１８に設定されているレジスタ値を選択することによって、色・輝度判定処理部１４に設定する色判定ゲートＣｘ、輝度判定ゲートＬｘ、色差平均値算出部１５に設定するホワイトバランス判定用積算画面Ａｘを切替える。

本実施の形態では、レジスタ設定部１８で、色判定ゲート設定用の各レジスタ値に領域が１番小さな色判定ゲートＣｘから領域が１番大きな色判定ゲートＣｘまでを１対１で対応付けておく。そして、映像信号が適切なホワイトバランスを有していない場合には、レジスタ選択切替部１９は、領域の小さな色判定ゲートＣｘから順番に色判定ゲートＣｘを色・輝度判定処理部１４に設定していく。

また、レジスタ設定部１８で、輝度判定ゲート設定用の各レジスタ値に領域が１番小さな輝度判定ゲートＬｘから領域が１番大きな輝度判定ゲートＬｘまでを１対１で対応付けておく。そして、映像信号が適切なホワイトバランスを有していない場合には、レジスタ選択切替部１９は、領域の小さな輝度判定ゲートＬｘから順番に輝度判定ゲートＬｘを色・輝度判定処理部１４に設定していく。

また、レジスタ設定部１８で、ホワイトバランス判定積算画面用の各レジスタ値に領域が１番小さなホワイトバランス判定用積算画面Ａｘから領域が１番大きなホワイトバランス判定用積算画面Ａｘまでを１対１で対応付けておく。そして、映像信号が適切なホワイトバランスを有していない場合には、レジスタ選択切替部１９は、領域の小さなホワイトバランス判定用積算画面Ａｘから順番にホワイトバランス判定用積算画面Ａｘを色差平均値算出部１５に設定する。

つぎに、ＡＷＢシステム１の動作手順について説明する。図５は、ＡＷＢシステムの動作手順を示すフローチャートである。撮像装置が映像の撮像を開始すると、ＲＧＢ映像信号が映像信号入力端子１１に入力される（ステップＳ１０）。このＲＧＢ映像信号は、乗算器１２と色差信号・輝度信号生成部１３に送られる。

乗算器１２は、ホワイトバランス情報算出部１６から送られてくるホワイトバランス調整ゲインがあれば、ＲＧＢ映像信号にホワイトバランス調整ゲインを乗ずることによって、ＲＧＢ映像信号のホワイトバランスを調整する。乗算器１２は、ＲＧＢ映像信号をホワイトバランス調整後（ゲイン調整有り）のＲＧＢ映像信号として、色差信号・輝度信号生成部１３に送る。

色差信号・輝度信号生成部１３は、映像信号入力端子１１から送られてくるゲイン調整無しのＲＧＢ映像信号を用いて、ゲイン調整無しの輝度信号（Ｙ）および色差信号（ＵとＶ）を生成する。また、色差信号・輝度信号生成部１３は、乗算器１２から送られてくるゲイン調整有りのＲＧＢ映像信号を用いて、ゲイン調整有りの色差信号を生成する。色差信号・輝度信号生成部１３は、生成したゲイン調整無しの輝度信号および色差信号を色・輝度判定処理部１４に送り、生成したゲイン調整有りの色差信号を色差平均値算出部１５に送る。

色・輝度判定処理部１４は、ゲイン調整無しの輝度信号に基づく輝度判定と、ゲイン調整無しの色差信号に基づく色判定と、を画素毎に行なって、ＲＧＢ映像信号の各画素がホワイトバランス調整の対象となる画素であるか否かを判定する。

まず、色・輝度判定処理部１４は、レジスタ選択切替部１９から送られてくる領域の一番小さな色判定ゲートＣｘ、領域の一番小さな輝度判定ゲートＬｘに基づいて、各画素がホワイトバランス調整に適した画素であるか否かの判定処理を行う。このとき、色・輝度判定処理部１４は、各画素のうち色差信号が色判定ゲートＣｘの領域内にある画素であって、かつ輝度信号が輝度判定ゲートＬｘ内にある画素が、ホワイトバランス調整に適した画素であると判定する。色・輝度判定処理部１４は、画素毎の判定結果として、ホワイトバランス調整に適した画素を指定した画素指定情報を色差平均値算出部１５に送る。

色差平均値算出部１５は、色差信号・輝度信号生成部１３から送られてくるゲイン調整有りの色差信号を画素指定情報に基づいて積算するとともに、画素指定情報で指定された画素数で除することによって、色差信号の１画面内での色差信号平均値を算出する（ステップＳ２０）。

このとき、色差平均値算出部１５は、タイミング信号生成部１７から送られてくるタイミング信号、レジスタ選択切替部１９から送られてくるホワイトバランス判定用積算画面Ａｘに基づいて、色差信号平均値を算出する。これにより、色判定ゲートＣｘ内に色差信号のある画素であって、輝度判定ゲートＬｘ内に輝度信号のある画素の、ホワイトバランス判定用積算画面Ａｘ内での色差信号平均値が算出される。色差平均値算出部１５は、算出した色差信号平均値をホワイトバランス情報算出部１６に送る。

ホワイトバランス判定条件切替部２０は、色差平均値算出部１５から送られてくる色差信号平均値をホワイトバランス情報算出部１６に転送する。また、ホワイトバランス判定条件切替部２０は、色差平均値算出部１５から送られてくる色差信号平均値がホワイトバランスの調整が必要な範囲内であるか否か（映像信号が適切なホワイトバランスを有しているか否か）を判定する（ステップＳ３０）。

ホワイトバランスの調整が必要な場合（ステップＳ４０、Ｙｅｓ）、現在の設定でホワイトバランス調整が可能か否かを確認する（ステップＳ４５）。現在の設定でホワイトバランスを取ることができなければ（ステップＳ４５、Ｎｏ）、ホワイトバランス判定条件切替部２０は、ホワイトバランスの判定条件を切り替える指示をタイミング信号生成部１７に指示する。そして、タイミング信号生成部１７は、色判定ゲートＣｘ、輝度判定ゲートＬｘ、ホワイトバランス判定用積算画面Ａｘの少なくとも１つの設定変更指示（設定変更タイミング）をレジスタ選択切替部１９に送信する。一方、ホワイトバランスの調整が必要な場合であっても、現在の設定でホワイトバランスを取ることができれば（ステップＳ４５、Ｙｅｓ）、ホワイトバランス判定条件切替部２０は、レジスタ選択切替部１９にホワイトバランス判定条件の変更指示を送らない。

ホワイトバランス判定条件切替部２０から、ホワイトバランスの判定条件を切り替える指示が送られてくると、レジスタ選択切替部１９は、レジスタ設定部１８に設定されているレジスタ値を選択することによって、色・輝度判定処理部１４に設定する色判定ゲートＣｘ、輝度判定ゲートＬｘ、色差平均値算出部１５に設定するホワイトバランス判定用積算画面Ａｘの少なくとも１つを変更する（ステップＳ５０）。

例えば、レジスタ選択切替部１９が色判定ゲートＣｘを変更する場合、現在設定されている色判定ゲートＣｘ（最初は一番小さな色判定ゲートＣｘ）よりも１つ大きな色判定ゲートＣｘに切替える。

また、レジスタ選択切替部１９が輝度判定ゲートＬｘを変更する場合、現在設定されている輝度判定ゲートＬｘ（最初は一番小さな輝度判定ゲートＬｘ）よりも１つ大きな輝度判定ゲートＬｘに切替える。

また、レジスタ選択切替部１９がホワイトバランス判定用積算画面Ａｘを変更する場合、現在設定されているホワイトバランス判定用積算画面Ａｘ（最初は一番小さなホワイトバランス判定用積算画面Ａｘ）よりも１つ大きなホワイトバランス判定用積算画面Ａｘに切替える。

タイミング信号生成部１７が、色判定ゲートＣｘ、輝度判定ゲートＬｘ、ホワイトバランス判定用積算画面Ａｘの設定変更タイミングをレジスタ選択切替部１９に送信する際、タイミング信号生成部１７は、ホワイトバランス調整ゲインの送出タイミングを指定（変更）するタイミング信号をホワイトバランス情報算出部１６に送信しておく（ステップＳ６０）。タイミング信号生成部１７は、ホワイトバランスの判定条件を切り替える指示を受信した場合には、ホワイトバランス情報算出部１６にホワイトバランス調整ゲインを送出させない。一方、タイミング信号生成部１７は、ホワイトバランスの判定条件を切り替える指示を受信しない場合には、ホワイトバランス情報算出部１６にホワイトバランス調整ゲインを送出させる。

ホワイトバランス情報算出部１６は、ホワイトバランス判定条件切替部２０から送られてくる色差信号平均値に基づいて、ホワイトバランス収束スピードと、ホワイトバランス調整ゲインと、を算出する。このとき、ホワイトバランス情報算出部１６は、色差信号平均値と原点とのずれ量に応じたホワイトバランス収束スピードを算出する。具体的には、ホワイトバランス情報算出部１６は、色差信号平均値が原点から大きくずれている場合には、速い速度のホワイトバランス収束スピードを算出し、色差信号平均値が原点から小さくしかずれていない場合には、遅い速度のホワイトバランス収束スピードを算出する。そして、ホワイトバランス情報算出部１６は、ホワイトバランス収束スピードに応じたホワイトバランス調整ゲインを算出する。

ホワイトバランス情報算出部１６は、タイミング信号生成部１７から指定されたタイミングで、ホワイトバランス調整ゲインを乗算器１２に送る。乗算器１２は、映像信号入力端子１１から送られてくるＲＧＢ映像信号（ホワイトバランス判定に用いた撮像画像よりも後の撮像画像）に、ホワイトバランス情報算出部１６から送られてくるホワイトバランス調整ゲインを乗ずることによって、ＲＧＢ映像信号のホワイトバランスを調整する（ステップＳ７０）。そして、乗算器１２は、ホワイトバランスを調整したＲＧＢ映像信号を色差信号・輝度信号生成部１３に送る。

一方、色差信号平均値がホワイトバランスの調整が不要な範囲内である場合（映像信号が適切なホワイトバランスを有している場合）（ステップＳ４０、Ｎｏ）、ホワイトバランス判定条件切替部２０は、タイミング信号生成部１７にホワイトバランス判定条件の変更指示を送らない。

この後、ＲＧＢ映像信号の映像信号入力端子１１への入力が終了していなければ（ステップＳ８０、Ｎｏ）、ステップＳ２０〜Ｓ８０の処理が繰り返される。すなわち、映像信号入力端子１１へ入力されたＲＧＢ映像信号は、乗算器１２と色差信号・輝度信号生成部１３に送られる。乗算器１２は、ホワイトバランス情報算出部１６から送られてくるホワイトバランス調整ゲインがあれば、ＲＧＢ映像信号にホワイトバランス調整ゲインを乗ずることによって、ＲＧＢ映像信号のホワイトバランスを調整する。そして、乗算器１２は、ＲＧＢ映像信号をゲイン調整有りのＲＧＢ映像信号として、色差信号・輝度信号生成部１３に送る。

色差信号・輝度信号生成部１３は、ゲイン調整無しのＲＧＢ映像信号を用いて、ゲイン調整無しの輝度信号（Ｙ）および色差信号（ＵとＶ）を生成し、ゲイン調整有りのＲＧＢ映像信号を用いて、ゲイン調整有りの色差信号を生成する。色差信号・輝度信号生成部１３は、生成したゲイン調整無しの輝度信号および色差信号を色・輝度判定処理部１４に送り、生成したゲイン調整有りの色差信号を色差平均値算出部１５に送る。

色・輝度判定処理部１４は、ＲＧＢ映像信号の各画素がホワイトバランス調整の対象となる画素であるか否かを判定する。このとき、色・輝度判定処理部１４は、レジスタ選択切替部１９から送られてくる色判定ゲートＣｘと輝度判定ゲートＬｘに基づいて、各画素がホワイトバランス調整に適した画素であるか否かの判定処理を行う。そして、色・輝度判定処理部１４は、ホワイトバランス調整に適した画素を指定した画素指定情報を色差平均値算出部１５に送る。

色差平均値算出部１５は、ゲイン調整有りの色差信号、画素指定情報に基づいて色差信号の１画面内での色差信号平均値を算出し、算出した色差信号平均値をホワイトバランス判定条件切替部２０に送る（ステップＳ２０）。

ホワイトバランス判定条件切替部２０は、色差平均値算出部１５から送られてくる色差信号平均値をホワイトバランス情報算出部１６に転送する。また、ホワイトバランス判定条件切替部２０は、色差平均値算出部１５から送られてくる色差信号平均値がホワイトバランスの調整が必要な範囲内であるか否かを判定する（ステップＳ３０）。

ホワイトバランスの調整が必要な場合（ステップＳ４０、Ｙｅｓ）、ホワイトバランス判定条件切替部２０は、ホワイトバランスの判定条件を切り替える指示をタイミング信号生成部１７に指示する。そして、タイミング信号生成部１７は、色判定ゲートＣｘ、輝度判定ゲートＬｘ、ホワイトバランス判定用積算画面Ａｘの少なくとも１つの設定変更指示（タイミング信号）をレジスタ選択切替部１９に送信する。

これにより、レジスタ選択切替部１９は、色・輝度判定処理部１４に設定する色判定ゲートＣｘ、輝度判定ゲートＬｘ、色差平均値算出部１５に設定するホワイトバランス判定用積算画面Ａｘの少なくとも１つを変更する（ステップＳ５０）。

レジスタ選択切替部１９が色判定ゲートＣｘを変更する場合、現在設定されている色判定ゲートＣｘよりも１つ大きな色判定ゲートＣｘに切替える。ここで、色判定ゲートＣｘの変更処理について説明する。図６は、色判定ゲートの変更処理を説明するための図である。

映像信号が適切なホワイトバランスを有していなければ、現在設定されている色判定ゲートＣ１よりも１つ大きな色判定ゲートＣ２に切替えられる。この後、ステップＳ４０の処理で、さらに映像信号が適切なホワイトバランスを有していないと判定されれば、現在設定されている色判定ゲートＣ２よりも１つ大きな色判定ゲートＣ３に切替えられる。これにより、映像信号が適切なホワイトバランスを有していない場合には、レジスタ選択切替部１９は、領域の小さな順番で色判定ゲートＣｘを色・輝度判定処理部１４に設定していく。

また、レジスタ選択切替部１９が輝度判定ゲートＬｘを変更する場合、現在設定されている輝度判定ゲートＬｘよりも１つ大きな輝度判定ゲートＬｘに切替える。ここで、輝度判定ゲートＬｘの変更処理について説明する。図７は、輝度判定ゲートの変更処理を説明するための図である。

映像信号が適切なホワイトバランスを有していなければ、現在設定されている輝度判定ゲートＬ１よりも１つ大きな輝度判定ゲートＬ２に切替えられる。この後、ステップＳ４０の処理で、さらに映像信号が適切なホワイトバランスを有していないと判定されれば、現在設定されている輝度判定ゲートＬ２よりも１つ大きな輝度判定ゲートＬ３に切替えられる。これにより、映像信号が適切なホワイトバランスを有していない場合には、レジスタ選択切替部１９は、領域の小さな順番で輝度判定ゲートＬｘを色・輝度判定処理部１４に設定していく。

また、レジスタ選択切替部１９がホワイトバランス判定用積算画面Ａｘを変更する場合、現在設定されているホワイトバランス判定用積算画面Ａｘよりも１つ大きなホワイトバランス判定用積算画面Ａｘに切替える。ここで、ホワイトバランス判定用積算画面Ａｘの変更処理について説明する。図８は、ホワイトバランス判定用積算画面の変更処理を説明するための図である。

映像信号が適切なホワイトバランスを有していなければ、現在設定されているホワイトバランス判定用積算画面Ａ１よりも１つ大きなホワイトバランス判定用積算画面Ａ２に切替えられる。この後、ステップＳ４０の処理で、さらに映像信号が適切なホワイトバランスを有していないと判定されれば、現在設定されているホワイトバランス判定用積算画面Ａ２よりも１つ大きなホワイトバランス判定用積算画面Ａ３に切替えられる。これにより、映像信号が適切なホワイトバランスを有していない場合には、レジスタ選択切替部１９は、領域の小さな順番でホワイトバランス判定用積算画面Ａｘを色差平均値算出部１５に設定していく。

タイミング信号生成部１７が、色判定ゲートＣｘ、輝度判定ゲートＬｘ、ホワイトバランス判定用積算画面Ａｘの設定変更タイミングをレジスタ選択切替部１９に送信する際、タイミング信号生成部１７は、ホワイトバランス調整ゲインの送出タイミングを指定するタイミング信号をホワイトバランス情報算出部１６に送信しておく（ステップＳ６０）。

ホワイトバランス情報算出部１６は、ホワイトバランス判定条件切替部２０から送られてくる色差信号平均値に基づいて、ホワイトバランス収束スピードと、ホワイトバランス調整ゲインと、を算出する。

ホワイトバランス情報算出部１６は、タイミング信号生成部１７から指定されたタイミングで、ホワイトバランス調整ゲインを乗算器１２に送る。乗算器１２は、映像信号入力端子１１から送られてくるＲＧＢ映像信号に、ホワイトバランス情報算出部１６から送られてくるホワイトバランス調整ゲインを乗ずることによって、ＲＧＢ映像信号のホワイトバランスを調整する（ステップＳ７０）。そして、乗算器１２は、ホワイトバランスを調整したＲＧＢ映像信号を色差信号・輝度信号生成部１３に送る。

この後、ＲＧＢ映像信号の映像信号入力端子１１への入力が終了するまで（ステップＳ８０、Ｎｏ）、ステップＳ２０〜Ｓ８０の処理が繰り返される。ＲＧＢ映像信号の映像信号入力端子１１への入力が終了すると（ステップＳ８０、Ｙｅｓ）、映像のホワイトバランス調整処理は終了する。

このように、本実施の形態のＡＷＢシステム１は、レジスタ選択切替部１９やホワイトバランス判定条件切替部２０を有している。そして、ホワイトバランス判定条件切替部２０が、撮影画像の複数フレームを用いてフレーム毎に判定条件（色判定ゲートＣｘ、輝度判定ゲートＬｘ、ホワイトバランス判定用積算画面Ａｘ）の異なるホワイトバランス判定を行い、その判定結果に基づいてレジスタ選択切替部１９が撮像画像のホワイトバランスを自動調整する。

なお、本実施の形態では、ホワイトバランス判定条件切替部２０が、ホワイトバランスの判定条件を切り替える指示をタイミング信号生成部１７に送信する場合について説明したが、ホワイトバランス判定条件切替部２０が、ホワイトバランスの判定条件を切り替える指示をレジスタ選択切替部１９に送信してもよい。

また、本実施の形態では、色差信号が色判定ゲートＣｘの領域内にある画素であって、かつ輝度信号が輝度判定ゲートＬｘ内にある画素が、ホワイトバランス調整に適した画素であると判定する場合について説明したが、色差信号が色判定ゲートＣｘの領域内にある画素または輝度信号が輝度判定ゲートＬｘ内にある画素を、ホワイトバランス調整に適した画素であると判定してもよい。この場合、レジスタ選択切替部１９が色判定ゲートＣｘを切替えるよう構成されていれば、色差信号が色判定ゲートＣｘの領域内にある画素をホワイトバランス調整に適した画素であると判定する。また、レジスタ選択切替部１９が輝度判定ゲートＬｘを切替えるよう構成されていれば、輝度信号が輝度判定ゲートＬｘの領域内にある画素をホワイトバランス調整に適した画素であると判定する。

このように実施の形態によれば、フレーム毎に判定条件を変えながらホワイトバランス判定を行い、その判定結果に基づいてホワイトバランスを自動調整するので、映像のホワイトバランスを精度良く調整することが可能になる。

また、色判定ゲートＣｘ、輝度判定ゲートＬｘ、ホワイトバランス判定用積算画面Ａｘの少なくとも１つを、撮像画像のホワイトバランスに応じて撮像画像のフレーム毎に変更するので、撮像画像のホワイトバランスに応じたホワイトバランス調整をフレーム毎に精度良く調整しながら画像を撮像することが可能となる。

また、レジスタ設定部１８に、複数の色判定ゲートＣｘ、複数の輝度判定ゲートＬｘ、複数のホワイトバランス判定用積算画面Ａｘを設定しておくので、色判定ゲートＣｘ、輝度判定ゲートＬｘ、ホワイトバランス判定用積算画面Ａｘを容易に設定することが可能となる。

また、ホワイトバランス判定用積算画面Ａｘ内の画素を用いて色差信号平均値を算出するので、ホワイトバランス調整に適した画素領域の画像を用いてホワイトバランス調整を行うことが可能となる。

また、タイミング信号生成部１７が、ホワイトバランス判定条件切替部２０からホワイトバランス判定条件の変更指示を受信したタイミングに従ってホワイトバランス情報算出部１６にタイミング信号を送信するので、ホワイトバランス情報算出部１６は、映像信号が適切なホワイトバランスを有していない場合に、ホワイトバランス調整ゲインを乗算器１２に送ることが可能となる。

本発明の実施の形態に係るＡＷＢシステムの構成を示す図である。 色判定ゲートを説明するための図である。 輝度判定ゲートを説明するための図である。 ホワイトバランス判定用積算画面を説明するための図である。 ＡＷＢシステムの動作手順を示すフローチャートである。 色判定ゲートの変更処理を説明するための図である。 輝度判定ゲートの変更処理を説明するための図である。 ホワイトバランス判定用積算画面の変更処理を説明するための図である。

符号の説明

１ ＡＷＢシステム、１４ 色・輝度判定処理部、１５ 色差平均値算出部、１６ ホワイトバランス情報算出部、１７ タイミング信号生成部、１８ レジスタ設定部、１９ レジスタ選択切替部、２０ ホワイトバランス判定条件切替部、Ａ１〜Ａ３，Ａｘ ホワイトバランス判定用積算画面、Ｃ１〜Ｃ３，Ｃｘ 色判定ゲート、Ｌ１〜Ｌ３，Ｌｘ 輝度判定ゲート

Claims (5)

1. 撮像画像の画素データがホワイトバランス調整に用いる画素データであるか否かの判定を画素データの色判定または輝度判定によって画素毎に行なうとともに、前記色判定または前記輝度判定の判定結果に基づいて前記撮像画像のホワイトバランス調整を行う自動ホワイトバランス調整システムにおいて、
   色差信号の所定範囲を示す色範囲情報または輝度信号の所定範囲を示す輝度範囲情報に基づいて、前記色範囲情報内または前記輝度範囲情報内の画素を用いたホワイトバランス調整の調整ゲインを算出するホワイトバランス調整ゲイン算出部と、
   前記ホワイトバランス調整ゲイン算出部が前記調整ゲインの算出に用いる色範囲情報または輝度範囲情報と、前記調整ゲインの算出に用いられる場合には前記調整ゲインの算出に用いられる１フレーム内の所定領域を示すフレーム内領域情報と、の中の少なくとも１つを、前記撮像画像のホワイトバランスに応じて前記撮像画像のフレーム毎に変更する設定変更部と、
   前記ホワイトバランス調整ゲイン算出部が算出した調整ゲインを用いて、前記撮像画像のホワイトバランスを調整するホワイトバランス調整部と、
   を備えることを特徴とする自動ホワイトバランス調整システム。
2. 複数からなる前記色範囲情報、複数からなる前記輝度範囲情報または複数からなる前記フレーム内領域情報の少なくとも１つを記憶する記憶部をさらに備え、
   前記設定変更部は、前記色範囲情報を変更する場合には前記複数からなる前記色範囲情報の中から前記撮像画像のホワイトバランスに応じた色範囲情報を選択し、前記輝度範囲情報を変更する場合には前記複数からなる前記輝度範囲情報の中から前記撮像画像のホワイトバランスに応じた輝度範囲情報を選択し、前記フレーム内領域情報を変更する場合には前記複数からなる前記フレーム内領域情報の中から前記撮像画像のホワイトバランスに応じたフレーム内領域情報を選択することを特徴とする請求項１に記載の自動ホワイトバランス調整システム。
3. 前記色範囲情報または前記輝度範囲情報に基づいて、前記撮像画像の１フレーム内の画素データから前記調整ゲインの算出に用いる画素データを抽出する画素抽出部と、
   抽出された各画素データに含まれる色差信号のうちフレーム内領域情報での色差信号の積算値および平均値を、色差信号積算値および色差信号平均値として算出する色差信号平均値算出部と、
   前記撮像画像にホワイトバランス調整が必要であるか否かを、前記色差信号平均値に基づいて判定するとともに、現在の前記色範囲情報、輝度範囲情報および前記フレーム内領域情報の設定で前記撮像画像のホワイトバランスを調整可能か否かを、前記色差信号積算値に基づいて判定する調整判定部と、
   をさらに備え、
   前記設定変更部は、前記調整判定部が前記撮像画像へのホワイトバランス調整が必要であると判定し、かつ前記調整判定部が現在の前記色範囲情報、輝度範囲情報および前記フレーム内領域情報の設定では前記撮像画のホワイトバランスを調整できないと判定した場合に、前記色範囲情報、前記輝度範囲情報または前記フレーム内領域情報の少なくとも１つを変更することを特徴とする請求項１または２に記載の自動ホワイトバランス調整システム。
4. 前記ホワイトバランス調整ゲイン算出部が前記ホワイトバランス調整部に送るホワイトバランス調整指示の送信タイミングを、前記ホワイトバランス調整ゲイン算出部に指示するタイミング指示部をさらに備え、
   前記タイミング指示部は、前記調整判定部が前記撮像画像にホワイトバランス調整が必要であると判断した場合に、前記ホワイトバランス調整指示の送信タイミングを、前記ホワイトバランス調整ゲイン算出部に指示することを特徴とする請求項３に記載の自動ホワイトバランス調整システム。
5. 前記ホワイトバランス調整部は、前記ホワイトバランス調整ゲイン算出部が算出した調整ゲインを用いて、前記調整ゲインの算出に用いた撮像画像よりも後に撮像される撮像画像のホワイトバランスを調整することを特徴とする請求項１〜４のいずれか１つに記載の自動ホワイトバランス調整システム。

Images