JP5597124B2 - 画像信号処理装置 - Google Patents

Description

本発明は、画像信号処理装置に関する。

本技術分野の背景技術として、例えば、特開２０１０−１１４６６７号公報（特許文献１）がある。該公報には、「[課題]映像のホワイトバランスを精度良く調整する自動ホワイトバランス調整システムを得ること。［解決手段]自動ホワイトバランス調整システムにおいて、色差信号の所定範囲を示す色範囲情報または輝度信号の所定範囲を示す輝度範囲情報に基づいて、色範囲情報内または輝度範囲情報内の画素を用いたホワイトバランス調整の調整ゲインを算出するホワイトバランス情報算出部１６と、調整ゲインの算出に用いる色範囲情報または輝度範囲情報と、調整ゲインの算出に用いられる場合には調整ゲインの算出に用いられる１フレーム内の所定領域を示すフレーム内領域情報と、の中の少なくとも１つを、撮像画像のホワイトバランスに応じて撮像画像のフレーム毎に変更するレジスタ切替部１９と、ホワイトバランス情報算出部１６が算出した調整ゲインを用いて撮像画像のホワイトバランスを調整する乗算器１２と、を備える。」と記載されている（要約参照）。

また、例えば、特開２００２−７７７３３号公報がある。該公報には「［課題］本発明は、バイアス電圧を切り換えることなく、光電変換部に入射される入射光量に応じて、自動的に対数変換動作及び線形変換動作を切り換えることができる固体撮像装置を提供することを目的とする。［解決手段］信号φＶPSに、撮像時にＭＯＳトランジスタＴ１のソースに与える電圧ＶＨより低い電圧ＶＬとなるパルス信号を与えることによって、撮像開始時におけるＭＯＳトランジスタＴ１のゲート電圧をソース電圧より低い電圧とする。よって、撮像時において、被写体が所定の輝度値を超えるまでは、ＭＯＳトランジスタＴ１がカットオフ状態となるので、線形変換された電気信号が出力され、又、被写体が所定の輝度値を超えたとき、ＭＯＳトランジスタＴ１がサブスレッショルド領域で動作するので、対数変換された電気信号が出力される。」と記載されている（要約参照）。

特開２０１０−１１４６６７号公報 特開２００２−７７７３３号公報

被写体の光を入力とし光電変換した後に画像信号として出力する撮像素子を、画素飽和を極力抑えるよう非線形入出力特性とし、該非線形入出力特性の撮像素子を用いて撮影することでワイドダイナミックレンジの画像を取得する技術がある。

一般に、撮影を行う画像信号処理装置においては、適正なホワイトバランスを自動的に得るための自動ホワイトバランス処理を行うことが知られている。これは、撮影した画像から光源の色温度を判定し、ホワイトバランスが適正となるよう自動的に制御するものである。例えば、夕暮れ時の太陽光に照らされた被写体を映した場合には、ホワイトバランス処理の無い状態では白い被写体が赤く見えるが、ホワイトバランス処理を行うことにより白い被写体を白く撮影することができる。

ところが、前記ワイドダイナミックレンジ画像生成技術（特開２００２−７７７３３号公報）では、非線形入出力特性を持つ撮像素子は対数圧縮変換等により非線形入出力特性を実現しているため、画像信号の強弱が圧縮された画像となる。このため、前記の例のように入出力特性が線形である画像処理技術を対象とした自動ホワイトバランス処理（特開２０１０−１１４６６７号公報）によって、非線形入出力特性を持つ撮像素子を用いたカメラにて自動ホワイトバランス処理を行う場合、画像信号から光源の色温度を正確に判定できず自動ホワイトバランス処理が適正に行えないという課題があった。

上記目的を解決するために、特許請求の範囲に記載の構成を採用する。

本発明によれば、非線形の画像処理技術を使用する際に自動的に適切なホワイトバランスを提供することができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の実施例１における基本構成の一例を説明する図 非線形の入出力特性の一例を説明する図 色差信号のＵＶ座標系を説明する図 ホワイトバランス調整量を算出する方法の一例を説明する図 ホワイトバランス調整量を算出する処理の流れを説明するフロー図 撮像部が出力する信号が非線形の場合に、ホワイトバランス調整量算出時の処理で対応する手法の流れを説明するフロー図 ホワイトバランス調整量算出処理の一例を説明する図 実施例２における基本構成の一例を説明する図 出力特性制御部８０９（図８）での補正処理を用いたホワイトバランス処理の流れを説明するフロー図 入出力特性対応処理部とホワイトバランス調整量算出部で、非線形の信号に対応したホワイトバランス処理を行う手法の流れを説明するフロー図 実施例３における基本構成の一例を説明する図 図１１の構成におけるホワイトバランス処理の流れを示すフロー図 実施例３の効果の一例を説明する図

以下、本発明の実施形態を図面を用いて説明する。

（１）実施例１のシステム構成
本発明における実施例１について詳細に説明する。図１は、本発明の実施例１における基本構成の一例を説明する図である。撮像部１０１は、被写体からの入射光の光量を調整する絞り、該絞りを通った光を集めるためのレンズ、該レンズが集めた光を光電変換し画像信号として出力し、かつ、その入出力特性が非線形である撮像素子などで構成される。画像入力部１０２は、撮像部１０１からの画像信号に所定の処理を行い出力する。所定の処理とは、撮像素子からの信号を入力して後段の信号処理を行うブロックにて画像信号処理を行うための入力インタフェース処理であり、例えば、ＡＤ（Analog to Digital）変換処理であり、また、例えば、撮像素子と信号処理部との処理タイミングを調整する同期調整処理である。なお、画像入力部１０２は、信号レベル調整のための利得制御やフィルタ処理など、所定の画像信号処理を含んでも良い。露光制御部１０３は、画像入力部１０２から入力された画像信号の量を所定に保つように、撮像部１０１の絞りの制御を行う。信号レベル検出部１０４は、画像入力部１０２からの画像信号の信号レベルを検出する。ホワイトバランス（ＷＢ）システム制御部１０５は、信号レベル検出部１０４の検出結果と画像入力部１０２からの信号の入出力特性に応じてホワイトバランス調整量算出処理を行うよう、ホワイトバランス（ＷＢ）調整量算出部１０６に命令を行う。また、ホワイトバランス（ＷＢ）処理部１０７に対して、ホワイトバランス調整量算出部１０６から得たホワイトバランス調整量を用いて、画像入力部１０２からの画像信号に対してホワイトバランス処理を行うよう命令する。これにより、非線形の入出力特性を持つ撮像部１０１からの信号に対して、適切なホワイトバランスを得ることができる。画像出力部１０８は、ホワイトバランス処理部１０７からの画像信号に所定の処理を行い出力する。なお、所定の処理とは、ホワイトバランス処理部１０７からの画像信号にノイズ除去、ガンマ補正、輪郭強調、フィルタ処理、ズーム処理、手ぶれ補正、画像認識などの画像信号処理及び、ＴＶやストレージなどの出力機器の信号フォーマットに変換する出力インタフェース処理である。出力インタフェース処理とは、例えば、ＮＴＳＣやＰＡＬのビデオ出力に変換するものであり、例えば、ＨＤＭI信号に変換するものであり、例えば、ネットワーク伝送のために所定の信号に変換するものである。なお、実施例１ではホワイトバランス処理部と画像信号処理を行う画像出力部を個別に図示しているが、ホワイトバランス処理部が画像出力部の一部に含まれていても構わない。

以上の構成により、撮像部からの信号の入出力特性に応じたホワイトバランス処理を実現できるため、非線形の撮像素子を使用する場合にも適切なホワイトバランスを得ることが可能となる。

図２は、非線形の入出力特性の一例を説明する図である。撮像部１０１（図１）に入出力特性が非線形である撮像素子が含まれると前記したが、図２の例では、低輝度（入射光の信号レベルが低い）領域がリニア特性であり、高輝度領域は対数特性を持ち、高輝度になればなるほど圧縮率を高くしている。これにより、ダイナミックレンジを広くすることができる。他にも、低輝度領域と高輝度領域の両方がリニア特性だが異なる傾きにすることで、低輝度領域と高輝度領域で圧縮率を変化させたり、低輝度領域と高輝度領域で異なる対数特性を持たせることで、低輝度領域と高輝度領域で圧縮率を変化させたりしても良い。また、低輝度領域から高輝度領域まで一種類の対数特性を持たせてももちろん構わない。また、対数特性でなくその他所定の関数により圧縮した非線形特性を持たせても良い。

信号レベル検出部１０４（図１）について詳細を説明する。信号レベル検出部１０４にて検出する数値は、例えば、入力した画素信号の絶対値である。また、例えば、入力した画素信号を中心とし、その周辺画素で構成される所定の画像領域（ｎ×ｍ画素の領域）における信号のヒストグラム分布、最大値最小値、平均値など、画像領域の信号の輝度分布状態を示す情報となる数値である。以上の情報を検出すれば、画素信号を得た際の入射光の光量を推定することができる。入射光の光量推定のためには、画素信号の絶対値情報があれば良いが、入力した画素信号と相関性が非常に高い周辺画素を用いてそのヒストグラム分布や最大値最小値や平均値を検出すれば、撮像時に重畳するノイズ成分を高精度に分離することができるなど、撮影条件に依らず高精度な推定が可能である。

ホワイトバランス調整量算出部１０６（図１）について詳細を説明する。ホワイトバランス調整量算出部１０６は、画像入力部１０２からの信号を入力とし、該信号のホワイトバランス調整量を算出するべく、例えば、画像入力部１０２からの画像信号から光源の色もしくはそれに近いと推定される画素の色差信号を積算し、色差信号平均値を算出する。該色差信号平均値は、ＵＶ座標系の原点からのずれに相当する。そこで、該色差信号平均値が原点となるホワイトバランス調整量を算出する。また、例えば、入出力特性対応処理部１０６で補正後の信号が非線形の入出力特性を保っている場合は、低輝度領域と高輝度領域で、ホワイトバランス調整量算出方法を切り替えてホワイトバランス調整量を算出する。なお、ＵＶ座標系とは、図３に示すような、Ｕを横軸とし、Ｖを縦軸として色差信号を表わしたものであり、原点(0, 0)が色の無い状態を示す。

以上の構成により、非線形特性の撮像素子を使用する場合であっても、適切なホワイトバランスを得られるよう自動ホワイトバランス処理を行うことが可能となる。

（２）ホワイトバランス処理
図３は、色差信号のＵＶ座標系を説明する図である。Ｕを横軸とし、Ｖを縦軸として色差信号を表わすと、原点(0, 0)が色の無い状態を示す。各画素の色は、この原点を中心としてＵＶ座標系上で、図示のように、Ｒ（赤）、Ｍｇ（マゼンタ）、Ｂ（青）、Ｃｙ（シアン）、Ｇ（緑）、Ｙｅ（黄）などと示すことができる。

図４は、ホワイトバランス調整量を算出する方法の一例を説明する図である。本実施例では、光源の色温度がＵＶ座標上のあるエリアであると推定し、該エリアを光源色判定エリア４０１とする。

図５は、ホワイトバランス調整量を算出する処理の流れを説明するフロー図である。ステップＳ５０１で、ホワイトバランス調整量算出部１０７は、画像入力部１０２からの画像信号の各画素に対して、色差信号が光源色判定エリア４０１内に存在するか否かを判定し、存在する場合はステップＳ５０２で色差信号を積算する。存在しない場合は色差信号を積算せずに、処理を終了する。全ての画素に対して図５の処理を行った後、色差信号の積算値を全画素数で除算して色差信号平均値を算出する。該色差信号平均値は、前述の通り、ＵＶ座標系の原点からのずれに相当する。該ずれが原点になるよう補正することで、適切なホワイトバランスを得ることができる。

図６は、撮像部が出力する信号が非線形の場合に、ホワイトバランス調整量算出時の処理で対応する手法の流れを説明するフロー図である。ステップＳ６０１で、ホワイトバランスシステム制御部１０５（図１）に信号が入力されると、ステップＳ６０２で、ホワイトバランスシステム制御部１０５は信号レベル検出部１０４からの情報を元に、各画素に対して、高輝度領域か否を判定する。該画素が高輝度領域に属するものであれば、ステップＳ６０３で、ホワイトバランスシステム制御部１０５は、ホワイトバランス調整量算出部１０６に対して、高輝度領域用の光源色判定エリアを用いてホワイトバランス調整量算出処理を行うよう命令する。該画素が低輝度領域に属するものであれば、ステップＳ６０４で、低輝度領域用の光源色判定エリアを用いてホワイトバランス調整量算出処理を行うよう命令する。なお、ホワイトバランス調整量算出処理内容については、図５で説明したとおりである。ステップＳ６０５では、ホワイトバランスシステム制御部１０５は、ホワイトバランス処理部１０７に対して、ホワイトバランス調整量算出処理部から得られたホワイトバランス調整量を用いてホワイトバランス処理を行うよう命令し、処理を終了する。

なお、ステップＳ６０３やステップＳ６０４で使用する光源色判定エリアの範囲は、撮像部から出力される信号の入力レベルと光源色判定エリアの範囲を示す情報を対応づけた情報をテーブルとして保持しておき、それを用いる方法で良い。なお、ステップＳ６０５のホワイトバランス処理は、前記色差信号平均値がＵＶ座標系の原点に一致するような変換をしても構わないし、映像の見栄えを良くするために前記色差信号平均値がＵＶ座標系の原点とは異なる任意の点に一致するような変換をしてももちろん構わない。

以上の処理により、撮像部からの入出力特性に応じてホワイトバランス調整量算出処理を切り替えることができるため、撮像部からの出力信号が非線形の場合であっても、適切なホワイトバランスを得ることができる。

図７は、図６で説明したホワイトバランス調整量算出処理の一例を説明する図である。低輝度領域用光源色判定エリア７０１は、ステップＳ６０４（図６）で低輝度領域用のホワイトバランス調整量算出を行う際に使用する。具体的には、ステップＳ５０１（図５）の判定において、低輝度領域用光源色判定エリア７０１を使用することを意味する。高輝度領域用光源色判定エリア７０２は、ステップＳ６０３で高輝度領域用のホワイトバランス調整量算出を行う際に使用する。具体的には、ステップＳ５０１の判定において、高輝度領域用光源色判定エリア７０２を使用することを意味する。ここで、本実施例では、高輝度領域は低輝度領域よりも圧縮率の高い対数特性であるため、高輝度領域用光源色判定エリア７０２は、低輝度領域用光源色判定エリアよりも、面積を小さくする。これは、高輝度領域は対数特性であるため信号が圧縮されており、リニア特性である低輝度領域と比べて色差信号が全体的に原点に近いと考えられるためである。なお、対数特性である高輝度領域の光源色判定エリアの範囲は、撮像部から出力される信号の入力レベルと光源色判定エリアの範囲を示す情報を対応づけたテーブルを用いて可変に制御しても構わない。これにより、精度の高いホワイトバランス調整量算出を実現できる。また、対数特性を一次式で近似して圧縮率が一定とみなして、高輝度領域用光源色判定エリアを一種類に固定しても構わない。これにより、高輝度領域用光源色判定エリアの制御が容易になる。なお、本実施例では、低輝度領域がリニア特性で、高輝度領域が対数特性の信号を想定して説明したが、その他の低輝度領域と高輝度領域の信号圧縮率が異なる組み合わせにおいても本手法は適用可能である。

以上の手段により、ホワイトバランス調整量算出の際に使用する光源色判定エリアの範囲を変えることで、非線形の入出力特性を持つ信号に対して適切なホワイトバランスを得ることができる。

（１）実施例２のシステム構成
本発明における実施例について詳細に説明する。図８は、本発明の実施例２における基本構成の一例を説明する図である。８０１から８０８までのブロックは、それぞれ図１の１０１から１０８までのブロックと同様の処理を行うが、ホワイトバランス（ＷＢ）システム制御部８０５及びホワイトバランス（ＷＢ）調整量算出部８０６及びホワイトバランス（ＷＢ）処理部８０７への入力信号は、画像入力部８０２ではなく、入出力特性対応処理部８０９からの画像信号である。入出力特性対応処理部８０９は、信号レベル検出部８０４から得た情報を元に、画像入力部８０２からの画像信号に対してその入出力特性に応じた処理を行う。該処理とは、例えば、信号レベル検出部８０４の検出結果と画像入力部８０２からの信号の入出力特性に応じて、画像入力部８０２からの画像信号の補正処理を行うことである。これにより、特性の異なる低輝度側と高輝度側の信号をホワイトバランス処理に適した特性、例えば、画像入力部からの出力信号が、リニア特性の低輝度側信号と対数特性の高輝度側信号から構成されている場合、圧縮された対数特性の高輝度側信号に対して伸長処理を行いリニア特性に変換する。また、例えば、リニア特性の低輝度側信号を圧縮処理して高輝度側信号の圧縮率に近づける。

以上の手段により、非線形の入出力特性を持つ信号を入出力特性制御で通常のリニア特性を持つ信号の入出力特性に近づけたのちにホワイトバランス調整量を算出し、ホワイトバランス処理を行うため、撮像部が出力する信号が非線形の場合であっても適切なホワイトバランスを得ることができる。なお、入出力特性制御部８０９が、画像入力部１０２からの信号の入出力特性に応じた処理を行うと前述したが、画像入力部１０２から出力される信号の入力レベルと出力レベルを対応づけた情報をテーブルとして保持しておき、それを用いる方法で良い。テーブルを用いる場合は、入出力特性の正確な把握が可能である。その他にも、入出力特性を表わす関数式を保持する方法でも良い。関数式を用いる場合、入出力特性の正確な把握が可能であり、かつ、テーブルとして保存しておく方法に比べて保持するデータを削減できる。その他にも、複数の入射光の輝度レベルにおける圧縮率情報など、入出力特性を推定できる情報を保持する方法でも良い。入出力特性を推定できる情報を用いる場合、例えば、データを間引いた状態で保持しておく近似補間することで入出力特性の正確な把握が可能であり、かつ、テーブルとして保持しておく方法に比べて保持するデータ量を削減できる。また、関数式を保持する方法は関数が多項式になればなるほど演算量が増加するが、間引いた状態のデータを近似補間で実現すれば相対的に演算量を削減できる。また、高輝度信号の伸長処理を行う手法の他に、例えば、高輝度の圧縮率と同等となるよう低輝度領域を圧縮処理することで、通常の線形特性を持つ撮像素子の特性に近づけることができ、かつ、高輝度信号に対して伸長処理を行い場合に比べて少ないビット数で処理できるため回路コストを削減できる。

図９は、入出力特性制御部８０９（図８）での補正処理を用いたホワイトバランス処理の流れを説明するフロー図である。ステップＳ９０１で入出力特性対応処理部８０９に信号が入力され、ステップＳ９０２で、入出力特性対応処理部８０９は、画像入力部８０２からの非線形の信号に対して非線形処理を行うことによって圧縮された高輝度信号に対して伸長処理を行うよう命令する。これにより、通常のリニア特性を持つ撮像部の入出力特性に近づける。次にステップＳ９０３で、ホワイトバランスシステム制御部８０５は、ホワイトバランス調整量算出部８０６に対して、図５の処理を行ってホワイトバランス調整量を算出するよう命令し、ステップＳ９０４でホワイトバランスシステム制御部８０５は、ホワイトバランス処理部８０７に対して、ステップＳ９０３から得たホワイトバランス調整量を用いて入出力特性対応処理部８０９から得た画像信号に対するホワイトバランス処理を行うよう命令して、処理を終了する。このとき、ステップＳ９０４のホワイトバランス処理は、前記色差信号平均値がＵＶ座標系の原点に一致するような変換をしても構わないし、映像の見栄えを良くするために前記色差信号平均値がＵＶ座標系の原点とは異なる任意の点に一致するような変換をしてももちろん構わない。

図１０は、入出力特性対応処理部とホワイトバランス調整量算出部で、非線形の信号に対応したホワイトバランス処理を行う手法の流れを説明するフロー図である。図１０の処理は、例えば、対数特性である高輝度領域の信号に対して伸長処理を行い、高輝度領域の信号を低輝度領域と同様にリニア特性に近づけた結果、低輝度領域と高輝度領域が圧縮率の異なるリニア特性になった際に適用すると効果的である。ステップＳ１００１で、入出力特性対応処理部８０９（図８）に画像信号が入力されると、ステップＳ１００２で入出力特性対応処理部８０９は撮像部８０１からの非線形の信号に対して非線形処理を行うことによって圧縮された高輝度信号に対して伸長処理を行うことで、通常の線形特性を持つ撮像部の入出力特性に近づける処理を行う。次に、ステップＳ１００３で、各画素に対して、高輝度領域か否を判定する。該画素が高輝度領域に属するものであれば、ステップＳ１００４で、高輝度領域用のホワイトバランス調整量算出処理を行う。該画素が低輝度領域に属するものであれば、ステップＳ１００５で、低輝度領域用のホワイトバランス調整量算出処理を行う。ステップＳ１００６では、各ホワイトバランス調整量算出処理で得られたホワイトバランス調整量を用いてホワイトバランス処理を行い、処理を終了する。なお、ホワイトバランス調整量算出時は、図７で説明したように、信号の圧縮率に応じて光源色判定エリアの面積を調節する。

以上の処理により、撮像部からの出力信号がリニア特性と対数特性を持つ非線形な信号であった場合、ステップＳ１００２で入出力特性対応処理部８０９が対数特性領域をリニア特性に変換し、ステップＳ１００３からステップＳ１００５でホワイトバランス調整量算出部８０６が、非線形である低輝度領域と高輝度領域それぞれに対して光源色判定エリアの領域を切り替えてホワイトバランス調整量算出処理を行うことができる。これにより、ホワイトバランス調整量算出をリニア特性の信号に対してのみ行えば良くなるため、光源色エリアの範囲を決定する制御が容易になる。

（１）実施例３のシステム構成
図１１は、本発明の実施例３における基本構成の一例を説明する図である。撮像部１１０１からホワイトバランス（ＷＢ）システム制御部１１０５は、図１と同様の処理を行う。ホワイトバランス（ＷＢ）調整量算出部１１０６は、ホワイトバランスシステム制御部１１０５からの命令を受けて、画像入力部１１０２からの画像信号に対してホワイトバランス調整量を算出する。このとき、入出力特性の異なる低輝度領域と高輝度領域それぞれに対してホワイトバランス調整量を算出し、例えば、低輝度領域のホワイトバランス調整量を系統ａ、高輝度領域のホワイトバランス調整量を系統ｂとして出力する。ホワイトバランス（ＷＢ）処理部１１０７は、ホワイトバランスシステム制御部１１０５からの命令を受け、ホワイトバランス調整量算出部１１０６から得た各ホワイトバランス調整量を用いて、画像入力部からの画像信号の低輝度領域、高輝度領域それぞれに対してホワイトバランス処理を行い、低輝度領域にホワイトバランス処理を適用した系統ａの信号と、高輝度領域にホワイトバランス処理を適用した系統ｂの信号を出力する。信号合成部１１０９は、ホワイトバランス処理部からの各画像信号を合成し、一つの画像信号として出力する。画像出力部１１０８は、図１の画像出力部１０８と同様の処理を行う。

以上の構成により、低輝度領域の画像信号系統ａと、高輝度領域の画像信号系統ｂの信号に対して、個別にホワイトバランス処理を行うことができるため、系統ａｂそれぞれにおいて適切なホワイトバランスを得ることができる。これにより、後述のように、色温度が異なる複数の光源が存在するシーンで、より適切なホワイトバランスを得ることができる。なお、図１１に対して、図８のように入出力特性対応処理部を加えたシステム構成にしても、同様の効果を得ることができる。

図１２は、図１１の構成におけるホワイトバランス処理の流れを示すフロー図である。ステップＳ１２０１で、ホワイトバランスシステム制御部１１０５（図１１）に信号が入力されると、ステップＳ１２０２で、ホワイトバランスシステム制御部１１０５は信号レベル検出部１１０４からの情報を元に、各画素に対して、高輝度領域か否を判定する。該画素が高輝度領域に属するものであれば、ステップＳ１２０３で、ホワイトバランスシステム制御部１１０５は、ホワイトバランス調整量算出部１１０６に対して、高輝度領域用のホワイトバランス調整量算出処理を行うよう命令する。該画素が低輝度領域に属するものであれば、ステップＳ１２０４で、低輝度領域用のホワイトバランス調整量算出処理を行うよう命令する。本実施例では、高輝度領域用ホワイトバランス調整量と低輝度領域用ホワイトバランス調整量が、別々に出力される。なお、ホワイトバランス調整量算出処理内容については、図５で説明したとおりである。ステップＳ１２０５では、ホワイトバランスシステム制御部１１０５は、ホワイトバランス処理部１１０７に対して、ホワイトバランス調整量算出処理部から得られた高輝度領域用ホワイトバランス調整量（系統ｂ）を用いてホワイトバランス処理を行うよう命令する。ステップＳ１２０６では、ホワイトバランスシステム制御部１１０５は、ホワイトバランス処理部１１０７に対して、ホワイトバランス調整量算出処理部から得られた低輝度領域用ホワイトバランス調整量（系統ａ）を用いてホワイトバランス処理を行うよう命令する。ステップＳ１２０７では、ホワイトバランス処理部１１０７からの各画像信号を合成し、処理を終了する。なお、ステップＳ１２０３やステップＳ１２０４で使用する光源色判定エリアの範囲は、撮像部から出力される信号の入力レベルと光源色判定エリアの範囲を示す情報を対応づけた情報をテーブルとして保持しておき、それを用いる方法で良い。なお、ステップＳ１２０５とステップＳ１２０６のホワイトバランス処理は、色差信号平均値がＵＶ座標系の原点に一致するような変換をしても構わないし、映像の見栄えを良くするために前記色差信号平均値がＵＶ座標系の原点とは異なる任意の点に一致するような変換をしてももちろん構わない。

以上の処理により、輝度に応じてホワイトバランス処理を切り替えることができるため、低輝度領域と高輝度領域の光源の色温度が異なる場合であっても、適切なホワイトバランスを得ることができる。

（２）実施例３の効果
図１３は、本実施例の効果の一例を説明する図である。図１３は、画角内に蛍光灯を光源とする室内１３０１と、太陽光を光源とする屋外１３０２が存在する例である。図１３のようなシーンの場合、暗い室内と明るい室外で撮像する画像のダイナミックレンジが広くなるため、非線形の撮像素子を使用することによる広ダイナミックレンジ効果を得やすい。しかし、このシーンで一般的なホワイトバランス処理を適用すると、画面全体に対して一定のホワイトバランス処理が適用されるため、室内と室外の両方に最適となるホワイトバランスを得ることができないという課題がある。対して、図１１の構成の場合は、蛍光灯を光源とする低輝度領域と太陽光を光源とする高輝度領域それぞれに対して異なるホワイトバランス処理を適用することができるため、異なる光源が存在するシーンにおいても適切なホワイトバランスを得ることができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１０１…撮像部、１０２…画像入力部、１０３…露光制御部、１０４…信号レベル検出部、１０５…ホワイトバランスシステム制御部、１０６…ホワイトバランス調整量算出部、１０７…ホワイトバランス処理部、１０８…画像出力部、４０１…光源色判定エリア、７０１…低輝度領域用光源色判定エリア、７０２…高輝度領域用光源色判定エリア、８０１…撮像部、８０２…画像入力部、８０３…露光制御部、８０４…信号レベル検出部、８０５…ホワイトバランスシステム制御部、８０６…ホワイトバランス調整量算出部、８０７…ホワイトバランス処理部、８０８…画像出力部、８０９…入出力特性対応処理部、１１０１…撮像部、１１０２…画像入力部、１１０３…露光制御部、１１０４…信号レベル検出部、１１０５…ホワイトバランスシステム制御部、１１０６…ホワイトバランス調整量算出部、１１０７…ホワイトバランス処理部、１１０８…画像出力部、１１０９…信号合成部、１３０１…暗い屋内、１３０２…明るい屋外

Claims (3)

1. 光電変換特性が非線形である撮像素子と、
   該撮像素子からの信号を入力する画像入力手段と、
   該画像入力手段からの信号レベルを検出する信号レベル検出手段と、
   前記画像入力手段からの信号を元にホワイトバランス調整量を算出するホワイトバランス調整量算出手段と、
   該ホワイトバランス調整量算出手段からの信号を元にホワイトバランス処理を行うホワイトバランス処理手段と、
   ホワイトバランスを統括して制御するホワイトバランスシステム制御手段と、
   を具備し、
   前記ホワイトバランスシステム制御手段は、
   前記ホワイトバランス調整量算出手段より算出されたホワイトバランス調整量に応じて前記ホワイトバランス処理手段を制御し、
   前記ホワイトバランス調整量算出手段は、
   前記信号レベル検出手段からの情報を元に高輝度信号領域と低輝度信号領域を判別し、前記判別された高輝度領域の光源色判定エリアの範囲を、前記撮像素子からの信号の入力レベルと光源色判定エリアの範囲を対応づけた情報に基づいて、可変に制御すること、
   を特徴とする画像信号処理装置。
2. 光電変換特性が非線形である撮像素子と、
   該撮像素子からの信号を入力する画像入力手段と、
   該画像入力手段からの信号レベルを検出する信号レベル検出手段と、
   前記画像入力手段からの信号を元に前記信号レベル検出手段が検出した信号レベルに応じて複数のホワイトバランス調整量を算出するホワイトバランス調整量算出手段と、
   該ホワイトバランス調整量算出手段からの複数の信号を元にホワイトバランス処理を行うホワイトバランス処理手段と、
   該ホワイトバランス処理手段からの複数の信号を合成する信号合成手段と、
   ホワイトバランスを統括して制御するホワイトバランスシステム制御手段と、
   を具備し、
   前記ホワイトバランスシステム制御手段は、
   前記ホワイトバランス調整量算出手段より算出された複数のホワイトバランス調整量に応じて前記ホワイトバランス処理手段を制御し、
   前記ホワイトバランス調整量算出手段は、
   前記信号レベル検出手段からの情報を元に高輝度信号領域と低輝度信号領域を判別し、前記判別された高輝度領域の光源色判定エリアの範囲を、前記撮像素子からの信号の入力レベルと光源色判定エリアの範囲を対応づけた情報に基づいて、可変に制御すること、
   を特徴とする画像信号処理装置。
3. 請求項１又は２記載の画像信号処理装置において、
   前記信号レベル検出手段は、前記撮像素子において光電変換した際の入射光の光量を推定するための信号を検出するものであって、前記画像入力手段から入力した画素信号を中心とし、その周辺画素を含めた画素領域におけるヒストグラム分布、最大値最小値、平均値のいずれかを検出すること、
   を特徴とする画像信号処理装置。

Images