JP2023161376A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】ＩＲＣＦ抜去時においても適切なホワイトバランスに制御可能にする。【解決手段】画像処理装置は、入力画像の色に対する赤外光の影響を補正する際の補正強度を決定し、入力画像に基づいて第１のホワイトバランス制御値を算出する。また、画像処理装置は、第１のホワイトバランス制御値が有効か否かを判定し、その判定結果に基づいて、第２のホワイトバランス制御値を設定する。ここで、第１のホワイトバランス制御値が有効か否かを判定する際には、補正強度に基づいて、第１のホワイトバランス制御値が有効か否かを判定するための判定条件を決定する。【選択図】 図１５

Description

本発明は、撮像装置によって撮像された画像の処理技術に関する。

従来、撮像センサが赤外光を取り込んだ状態でホワイトバランス（Ｗｈｉｔｅ Ｂａｌａｎｃｅ、以下適宜、ＷＢとする）制御を行い、カラー画像を出力する撮像装置が知られている。
カラー画像の色は通常、可視光のみ取り込んだ状態、即ち、赤外光を取り込まないように赤外光カットフィルタ（Ｉｎｆｒａ－Ｒｅｄ Ｃｕｔ－оｆｆ Ｆｉｌｔｅｒ、以下、ＩＲＣＦとする）を光軸上に挿入した状態を想定して設計されている。一方で、低照度環境での撮影時などに、ＩＲＣＦを光軸上から抜去して赤外光を取り込むことで撮像センサの感度を向上させるモードを備えた撮像装置がある。ただし、前述した通り、撮像装置の色は赤外光を取り込まない状態で設計されているため、赤外光を取り込むことでカラー画像の色は崩れてしまう。具体的には、赤外光を取り込まない状態と比べて、撮像画像の色が赤みを帯びたりしてしまう。即ち、撮像装置の色再現性が低下してしまう。

それに対して、特許文献１では、ＩＲＣＦの位置に応じて、ホワイトバランス制御の方式を切り替える技術が開示されている。特許文献１によれば、ＩＲＣＦの位置に応じて、画面全体のＲＧＢ（赤緑青）成分の各々の積分値の比が、予め記憶された比になるようにホワイトバランス制御を行うか、１：１：１になるようにホワイトバランス制御を行うかを切り替える。これにより、撮像装置の色再現性を向上させている。

また、近年の撮像素子の高感度化に伴い、ＩＲＣＦ抜去時に赤外光を取り込んだ分だけ露出を下げても可視光成分を取り込めるようになり、ＩＲＣＦ抜去時に被写体の色情報が失われにくくなっている。換言すると、撮像素子の高感度化によって可視光成分と赤外光成分とが混合された撮像画像を得やすくなっている。

特開２００５－１３０３１７号公報

しかしながら、上述の特許文献に開示された従来技術では、赤外光カットフィルタ（ＩＲＣＦ）抜去時において、撮像範囲内の被写体の色に偏りがある場合に、ホワイトバランスが崩れてしまう虞がある。
また、前述の通り、撮像素子の高感度化に伴い、ＩＲＣＦ抜去時に可視光成分と赤外光成分とが混合された撮像画像を得られるようになっているが、前述した従来技術では適切なホワイトバランス制御ができない。

そこで本発明は、ＩＲＣＦ抜去時においても適切なホワイトバランスに制御可能にすることを目的とする。

本発明の画像処理装置は、入力画像の色に対する赤外光の影響を補正する際の補正強度を決定する調整手段と、入力画像に基づいて第１のホワイトバランス制御値を算出する算出手段と、前記第１のホワイトバランス制御値が有効か否かを判定する判定手段と、前記判定手段の判定結果に基づいて、第２のホワイトバランス制御値を設定する設定手段と、を備え、前記判定手段は、前記調整手段が決定した補正強度に基づいて、前記第１のホワイトバランス制御値が有効か否かを判定するための判定条件を決定することを特徴とする。

本発明によれば、ＩＲＣＦ抜去時においても適切なホワイトバランスに制御可能になる。

第１の実施形態の画像処理装置の構成例を示した図である。 本実施形態の画像処理の主要部の流れを示すフローチャートである。 第１の実施形態における第１のＷＢゲイン制御例を表す図である。 第１の実施形態における第２のＷＢゲイン制御例を表す図である。 第１の実施形態における第３のＷＢゲイン制御例を表す図である。 第１の実施形態における第４のＷＢゲイン制御例を表す図である。 第２の実施形態におけるゲイン決定部の動作説明に用いる図である。 第３の実施形態の画像処理装置の構成例を示す図である。 第３の実施形態におけるＷＢゲイン制御の一例を表す図である。 第４の実施形態の画像処理装置の構成例を示す図である。 第４の実施形態におけるゲイン決定部の動作説明に用いる図である。 第５の実施形態における入力画像の一例を示す図である。 第５の実施形態におけるＷＢゲインの一例を表す図である。 第６の実施形態におけるＷＢゲイン制御例を表す図である。 第７の実施形態の画像処理装置の構成例を示した図である。 第７の実施形態における画像処理の流れを示すフローチャートである。 第７の実施形態におけるＷＢゲイン制御例を表す図である。 画像処理装置を適用可能なハードウェア構成例を示す図である。

以下、本発明の実施形態について、図面を参照して説明する。
以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。実施形態の構成は、本発明が適用される装置の仕様や各種条件（使用条件、使用環境等）によって適宜修正又は変更され得る。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。以下の各実施形態において、同一の構成については同じ符号を付して説明する。

＜第１の実施形態＞
図１は第１の実施形態の画像処理装置の構成例を示したブロック図である。
以下、図１を参照して、第１の実施形態による画像処理装置について説明する。本実施形態の画像処理装置は、デジタルカメラや監視カメラ等の撮像装置に内蔵もしくは接続される装置であるとする。
入力画像は不図示のレンズおよび撮像センサからなる撮像ユニットで撮像された画像である。入力画像は、複数の画素からなる画像データ（または画像信号）であり、複数の色の情報を含む。複数の色は、例えば赤（Ｒｅｄ：Ｒ）、緑（Ｇｒｅｅｎ：Ｇ）、青（Ｂｌｕｅ：Ｂ）の各色であり、画像データは、不図示の撮像センサ上に設けられた各色に対応するカラーフィルタを透過して、撮像センサで電気信号に変換された光量に相当するデータである。カラーフィルタは、赤色、緑色、青色に相当する可視光だけでなく、一部の赤外光（非可視光）も透過する。そのため、一般的な撮像装置では、赤外光カットフィルタ（Ｉｎｆｒａ－Ｒｅｄ Ｃｕｔ－оｆｆ Ｆｉｌｔｅｒ：ＩＲＣＦ）を設けて、赤外光成分を除去することにより、人間の視覚に近い画像が得られるようにしている。撮像センサは、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子からなる。

出力画像は、入力画像の画素値に対し、後述するようにして求められる最終的なホワイトバランス制御値であるホワイトバランスゲインを乗じることによって、ホワイトバランスが適切に補正された画像である。以降の説明では、ホワイトバランス（Ｗｈｉｔｅ Ｂａｌａｎｃｅ）を適宜、ＷＢと記す。詳細は後述するが、本実施形態の画像処理装置は、入力画像が、撮像センサで取り込んだ赤外光の影響を受けているか否かに応じたホワイトバランス制御（ＷＢ制御）を行うことによって、ホワイトバランスが適切に補正された出力画像を得るものである。

特徴量取得部１０１は、入力画像の色に関する特徴量を取得し、その特徴量をゲイン算出部１０２に出力する。より具体的には、特徴量取得部１０１は、入力画像を複数の矩形領域に分割した場合の各矩形領域内に含まれる画像データによって決定される矩形領域毎の色情報を取得する。色情報は例えば矩形領域毎の色差信号の代表値であり、代表値は例えば平均値や最頻値などである。

ゲイン算出部１０２は、入力画像の特徴量に応じて第１のホワイトバランス制御値を算出する。例えば、ゲイン算出部１０２は、特徴量取得部１０１から領域毎の色情報を取得して、入力画像の色情報の代表値を算出する。そしてゲイン算出部１０２は、第１のホワイトバランス制御値として、出力画像の色情報の代表値が所定の目標値となるようなホワイトバランスゲイン（以下、ＷＢゲインとする）を算出する。本実施形態において、ホワイトバランス制御に使用されるＷＢゲインは、例えば、画像の赤みを調整する赤ゲイン（以下、Ｒｅｄゲインとする）、および画像の青みを調整する青ゲイン（以下、Ｂｌｕｅゲインとする）であるとする。ゲイン算出部１０２にて算出されたＷＢゲインの情報は、ゲイン判定部１０４およびゲイン決定部１０５に送られる。

赤外光検知部１０３は、入力画像の色に対する赤外光の影響を検知する。即ち、赤外光検知部１０３は、入力画像の色が、撮像センサで取り込んだ赤外光の影響を受けているか否かを検知し、その検知結果をゲイン判定部１０４に出力する。例えば、赤外光検知部１０３は、不図示のＩＲＣＦが撮像ユニットのレンズの光軸上に挿入されている場合に、入力画像の色は赤外光の影響を受けていないことを検知する。一方、赤外光検知部１０３は、ＩＲＣＦが撮像ユニットのレンズの光軸上に挿入されていない（光軸上から抜去されている）場合に、入力画像の色は赤外光の影響を受けていることを検知する。

ゲイン判定部１０４は、赤外光検知部１０３から取得した検知結果に基づいて、ゲイン算出部１０２から取得したＷＢゲイン（第１のホワイトバランス制御値）が有効か否かを判定するための判定条件を決定する。そして、ゲイン判定部１０４は、その判定条件を用いて、ゲイン算出部１０２から取得したＷＢゲイン（第１のホワイトバランス制御値）が有効か否かを判定して、その判定結果をゲイン決定部１０５に出力する。即ち、ゲイン判定部１０４は、入力画像の色が、赤外光の影響を受けていない場合と赤外光の影響を受けている場合とで、異なる判定条件に基づいてＷＢゲイン（第１のホワイトバランス制御値）が有効か否かを判定する。詳細は後述するが、本実施形態において、ゲイン判定部１０４は、判定条件として、ＷＢゲインに対する所定の領域Ａ１と所定の領域Ａ２とを用いる。そして、ゲイン判定部１０４は、例えば入力画像の色が赤外光の影響を受けていない場合において、ゲイン算出部１０２から取得したＷＢゲインが所定の領域Ａ１内であるときには当該ＷＢゲインが有効であると判定する。また、ゲイン判定部１０４は、入力画像の色が赤外光の影響を受けている場合において、ゲイン算出部１０２から取得したＷＢゲインが所定の領域Ａ１とは異なる所定の領域Ａ２内であるときには当該ＷＢゲインが有効であると判定する。

詳細は後に図３から図６を用いて説明するが、所定の領域Ａ１は入力画像の色が赤外光の影響を受けていない場合のＷＢゲインの有効範囲を表す領域であり、領域Ａ２は入力画像の色が赤外光の影響を受けている場合のＷＢゲインの有効範囲を表す領域である。ここで、所定の領域Ａ１は、撮像センサに可視光のみ取り込んだ状態、即ち赤外光を取り込まないようにＩＲＣＦを光軸上に挿入した状態を想定したＷＢゲインの有効範囲を表す領域である。一方、所定の領域Ａ２の位置は、入力画像の色が赤外光の影響を受けているか否かと、撮像センサの感度と、に応じて設計されている。即ち、ＩＲＣＦ抜去時に撮像センサが取り込む赤外光と可視光との比率は、撮影環境における赤外光と可視光との比率や、撮像センサの赤外光に対する感度と可視光に対する感度との比率によって決まる。したがって本実施形態において、所定の領域Ａ２の位置は、撮像センサが高感度であるほど、所定の領域Ａ１の位置から離れた位置を含むように設計されている。換言すると、所定の領域Ａ２は、撮像センサが高感度であるほど、入力画像の色が赤外光の影響を受けていない場合のＷＢゲインと、入力画像の色が赤外光の影響を受けている場合のＷＢゲインとの差が大きくなることを許容するように設計される。

ゲイン決定部１０５は、後述するゲイン乗算部１０６で入力画像に乗算される最終的なホワイトバランス制御値（最終的なＷＢゲイン）を決定する。詳細は後述するが、ゲイン決定部１０５は、ゲイン判定部１０４による判定結果または判定条件に基づいて、最終的なＷＢゲインを決定する。本実施形態において、ゲイン乗算部１０６で入力画像に乗算される最終的なＷＢゲインは、ゲイン算出部１０２から取得したＷＢゲイン（第１のホワイトバランス制御値）、または、所定のホワイトバランス制御値としての第２のホワイトバランス制御値である。ゲイン決定部１０５は、ゲイン算出部１０２からＷＢゲイン（第１のホワイトバランス制御値）を取得し、またゲイン判定部１０４からＷＢゲインが有効か否かの判定結果を取得して、最終的なＷＢゲインを決定してゲイン乗算部１０６に出力する。より具体的には、ゲイン決定部１０５は、ゲイン判定部１０４から取得した判定結果が有効を表す判定結果である場合には、ゲイン算出部１０２で算出した第１のホワイトバランス制御値を、最終的なＷＢゲインとしてゲイン乗算部１０６に出力する。一方、ゲイン決定部１０５は、ゲイン判定部１０４から取得した判定結果が有効でないことを表す判定結果である場合には、所定のホワイトバランス制御値（第２のホワイトバランス制御値）を、最終的なＷＢゲインとしてゲイン乗算部１０６に出力する。なお、第２のホワイトバランス制御値は、例えば不図示の記憶装置に記憶されたＷＢゲインである。また、記憶装置に記憶されたＷＢゲインとは、例えば過去に最終的なＷＢゲインとして用いられたＷＢゲインや、所定の領域Ａ１またはＡ２内に含まれる予め定められたＷＢゲインである。

ゲイン乗算部１０６は、ゲイン決定部１０５から最終的なＷＢゲインを取得し、その最終的なＷＢゲインを入力画像に乗じることでホワイトバランス制御がなされた出力画像を生成して、出力する。

図２は、本実施形態の画像処理装置で実行される画像処理の主要部の流れの一例を示すフローチャートである。以下、図２のフローチャートを参照しながら、本実施形態に係る画像処理の一例について説明する。なお、以降のフローチャートの説明では、処理ステップを、符号の「Ｓ」を用いて表している。

まずＳ１では、特徴量取得部１０１が、入力画像の色に関する特徴量を取得する。
次にＳ２では、ゲイン算出部１０２が、Ｓ１で取得した特徴量に基づいて第１のホワイトバランス制御値であるＷＢゲインＰを算出する。
次にＳ３において、赤外光検知部１０３は、入力画像の色が、撮像センサで取り込んだ赤外光の影響を受けているか否かを検知する。そして、入力画像の色が赤外光の影響を受けていないことを赤外光検知部１０３が検知した場合、処理はＳ４に進む。一方、入力画像の色が赤外光の影響を受けていることを赤外光検知部１０３が検知した場合、処理はＳ５に進む。

Ｓ４に進むと、ゲイン判定部１０４は、ＷＢゲインＰが領域Ａ１に含まれているか否かを判定する。そして、ゲイン判定部１０４は、ＷＢゲインＰが領域Ａ１に含まれている場合には、ＷＢゲインＰが有効であると判定し、処理をＳ６に進める。一方、ゲイン判定部１０４は、ＷＢゲインＰが領域Ａ１に含まれていない場合には、ＷＢゲインＰが有効でないと判定し、処理をＳ７に進める。

Ｓ５に進むと、ゲイン判定部１０４は、ＷＢゲインＰが領域Ａ２に含まれているか否かを判定する。そして、ゲイン判定部１０４は、ＷＢゲインＰが領域Ａ２に含まれている場合にはＷＢゲインＰが有効であると判定し、その後、処理はＳ６進む。一方、ゲイン判定部１０４は、ＷＢゲインＰが所定の領域Ａ２に含まれていない場合にはＷＢゲインＰが有効でないと判定し、その後、処理はＳ８に進む。

Ｓ６に進むと、ゲイン決定部１０５は、ＷＢゲインＰ（第１のホワイトバランス制御値）を、最終的なＷＢゲインとしてゲイン乗算部１０６に出力する。
またＳ７に進んだ場合、ゲイン決定部１０５は、所定のホワイトバランス制御値（第２のホワイトバランス制御値）としてＷＢゲインＱを、最終的なＷＢゲインとし、ゲイン乗算部１０６に出力する。ＷＢゲインＱについては後述する。
またＳ８に進んだ場合、ゲイン決定部１０５は、所定のホワイトバランス制御値（第２のホワイトバランス制御値）としてＷＢゲインＲを、最終的なＷＢゲインとし、ゲイン乗算部１０６に出力する。ＷＢゲインＲについては後述する。

以下、本実施形態におけるホワイトバランスゲイン制御とその効果について説明する。
図３は、本実施形態におけるホワイトバランスゲイン制御の一例である第１のＷＢ制御例を表した図である。
図３において、所定の領域Ａ１は、入力画像の色が赤外光の影響を受けていない場合のＷＢゲインの有効範囲を表しており、以下、有効領域Ａ１とする。所定の領域Ａ２は、入力画像の色が赤外光の影響を受けている場合のＷＢゲインの有効範囲を表し、以下、有効領域Ａ２とする。本実施形態において、有効範囲は、その有効範囲内のＷＢゲインが入力画像に適用されることで、適切なホワイトバランスに制御され、ユーザに大きな違和感を与えないような範囲に設計されている。即ち、入力画像の色が赤外光の影響を受けていない場合には、入力画像に対して有効領域Ａ１に属するＷＢゲインを適用することで、ホワイトバランスが崩れて画質が劣化することを防止できる。同様に、入力画像の色が赤外光の影響を受けている場合には、入力画像に対して有効領域Ａ２に属するＷＢゲインを適用することで、ホワイトバランスが崩れて画質が劣化することを防止できる。

また、図３において、ＷＢゲインＰ１、Ｐ２、Ｐ３、Ｑ、およびＲは、それぞれがＷＢゲインを表している。ＷＢゲインＰ１は、入力画像の色が赤外光の影響を受けていない場合に算出されたＷＢゲインを表しており、ＷＢゲインＰ２およびＰ３は入力画像の色が赤外光の影響を受けている場合に算出されたＷＢゲインを表している。ＷＢゲインＰ２に含まれる例示された３つのＷＢゲインは、それら３つのＷＢゲインのうち、撮影環境の照明条件に最適ないずれかのＷＢゲインが適用されることを表している。一方、ＷＢゲインＰ３は、入力画像の色が赤外光の影響を受けている場合における有効領域Ａ２の範囲外のＷＢゲインであり、入力画像に対して適用されることは無いＷＢゲインである。ＷＢゲインＱは、入力画像の色が赤外光の影響を受けていない場合において、入力画像の特徴量から算出されたＷＢゲインが有効領域Ａ１の範囲外であるときに、当該入力画像に対して適用される、有効領域Ａ１の範囲内のＷＢゲインである。一方、ＷＢゲインＲは、入力画像の色が赤外光の影響を受けている場合において、入力画像の特徴量から算出されたＷＢゲインが有効領域Ａ２の範囲外であるときに、当該入力画像に対して適用される、有効領域Ａ２の範囲内のＷＢゲインである。この例では、ＷＢゲインＱとＷＢゲインＲは、有効領域Ａ１とＡ２の共通領域に属するＷＢゲインとし、Ｑ＝Ｒとする。また、実際には、ＷＢゲインを時間的に急峻に変化させてしまうとユーザに違和感を与える虞があるため、ＷＢゲインＰ１、Ｐ２、Ｑ、Ｒを目標値として、現在のＷＢゲインから目標値へ、時間的に緩やかにＷＢゲインを変化させる制御が行われる。

ここで、既存のホワイトバランス制御においては、入力画像の色が赤外光の影響を受けているか否かに関係なく、ＷＢゲインの有効範囲は固定となされている。そのため、入力画像の色が赤外光の影響を受けている場合に、図３のＷＢゲインＰ２に示した撮影環境の照明条件に最適なＷＢゲインを適用することができなかったり、ＷＢゲインＰ３に示すＷＢゲインが適用されてしまったりする。このため、実際に適用されるＷＢゲインと最適なＷＢゲインとの差が大きい場合、ホワイトバランスが崩れてしまい画質が劣化する虞がある。

これに対し、本実施形態におけるホワイトバランス制御では、入力画像の色が赤外光の影響を受けているか否かに応じて、ＷＢゲインの有効範囲を可変としている。そのため、本実施形態では、入力画像の色が赤外光の影響を受けている場合には、図３のＷＢゲインＰ２に示したような撮影環境の照明条件に最適なＷＢゲインを適用することができる。一方、入力画像の色が赤外光の影響を受けている場合には、有効範囲外のＷＢゲインＰ３が算出されたとしても、有効範囲内のＷＢゲインＲを適用するようになされるため、ホワイトバランスが崩れて画質が劣化することを防止できる。

また、本実施形態のホワイトバランス制御では、撮像センサの感度に応じて、入力画像の色が赤外光の影響を受けている場合のＷＢゲインの有効領域Ａ２を設計している。即ち、本実施形態では、撮像センサが高感度であるほど、ＷＢゲインの有効領域Ａ２の位置を、入力画像の色が赤外光の影響を受けていない場合のＷＢゲインの有効領域Ａ１の位置から離れた位置を含むように設計している。

ここで、低照度であるほど撮影環境における赤外光成分の可視光成分に対する比率が大きくなるため、撮像画像の赤みは強くなる。そして、撮像画像に含まれる強い赤みを補正するためには、入力画像の色が赤外光の影響を受けていない場合のＷＢゲインと比較して大きく異なるＷＢゲインを適用する必要がある。また、撮像センサが高感度であるほど、低照度環境であってもＳＮが高く、被写体本来の色を残した撮像画像が得られる。以上のことから、撮像センサが高感度であるほど、入力画像の色が赤外光の影響を受けている場合であっても、低照度環境においてより積極的にホワイトバランスを制御することで、色再現性向上効果を得ることができる。一方で、撮像センサの感度が不足している場合に、積極的にホワイトバランスを制御してしまうと、ノイズの影響によりホワイトバランスが大きく崩れてしまう虞がある。即ち、撮像センサの感度が不足している場合には、入力画像の色が赤外光の影響を受けている場合であっても、赤外光の影響を受けていない場合のＷＢゲインと比較して差が小さいＷＢゲインを適用することで、ホワイトバランスが大きく崩れることを防止できる。

これらのことから、本実施形態のホワイトバランス制御では、撮像センサが高感度であるほど、入力画像の色が赤外光の影響を受けている場合であっても積極的にホワイトバランスを制御する。即ち、本実施形態のホワイトバランス制御では、撮像センサが高感度であるほど、入力画像の色が赤外光の影響を受けていない場合のＷＢゲインと比較して大きく異なるＷＢゲインが適用されるようにする。これにより、ホワイトバランスの大きな崩れを防止しつつ、低照度時の撮像画像の色再現性を向上することができる。

本実施形態では、赤外光検知部１０３においてＩＲＣＦの挿抜状態を検知するとしたが、これに限らない。例えば、不図示の赤外照明ユニットを具備した撮像装置の場合には、赤外照明のＯＮ／ＯＦＦ状態に応じて入力画像の色が赤外光の影響を受けているか否かを検知してもよい。即ち、赤外照明ユニットが赤外光を照射している場合に入力画像の色が赤外光の影響を受けていることを検知し、赤外照明ユニットが赤外光を照射していない場合に入力画像の色が赤外光の影響を受けていないことを検知してもよい。あるいは、入力画像の色が赤外光の影響を受けているか否かをユーザが設定できるようにしてもよい。即ち、入力画像の色が赤外光の影響を受けているときのＷＢ制御モードと、入力画像の色が赤外光の影響を受けていないときのＷＢ制御モードとを設けて、ユーザがいずれかのＷＢ制御モードを選択できるようにしてもよい。

なお、ゲイン決定部１０５は、赤外光検知部１０３の検知結果が変化したタイミングでのみ、ＷＢゲインＱ、またはＷＢゲインＲを、ゲイン乗算部１０６に出力してもよい。例えば、入力画像の色が赤外光の影響を受けている場合において、ゲイン算出部１０２で算出されたＷＢゲインが有効領域Ａ２の範囲外であったとする。この場合、ゲイン決定部１０５は、過去に算出されたＷＢゲインによって現在適用されているＷＢゲインが有効領域Ａ２の範囲内にある場合には、ＷＢゲインＲではなく現在のＷＢゲインを出力する。一方、ＩＲＣＦが抜去されたタイミングにおいては、現在適用されているＷＢゲインは、ＩＲＣＦ挿入時に算出されており、有効領域Ａ１の範囲内にあるので、ゲイン決定部１０５は、有効領域Ａ２の範囲内のＷＢゲインＲを出力する。即ち、ゲイン決定部１０５は、入力画像の色が赤外光の影響を受けている場合、現在適用されているＷＢゲインが有効領域Ａ２の範囲外である場合のみ、有効領域Ａ２の範囲内のＷＢゲインＲを出力する。

図４は、本実施形態における第２のＷＢ制御例を表した図である。
図４に示す第２のＷＢ制御例において、ゲイン決定部１０５は、ＷＢゲインＱ、ＷＢゲインＲを、それぞれ、有効領域Ａ１、有効領域Ａ２の中心にする。このようにすることで、有効領域内の平均的なＷＢゲインを適用することができる。これにより、真の（最適な）ＷＢゲインが有効領域内のいずれのゲインであったとしても、適用されるＷＢゲインと真の（最適な）ＷＢゲインとのずれを小さく抑えることができ、ホワイトバランスが大きく崩れることを防止できる。また、適用されるＷＢゲインと真の（最適な）ＷＢゲインとのずれを小さく抑えることができるため、ＷＢゲインを時間的に緩やかに制御する場合において、ＷＢゲインが真の値（最適な値）に収束するまでに要する時間を最小にすることができる。

図５は、本実施形態における第３のＷＢ制御例を表した図である。
図５に示す第３のＷＢ制御例において、ゲイン決定部１０５は、ＷＢゲインＲを領域Ａ２内の予め定められたＷＢゲインとするのではなく、領域Ａ２内でＷＢゲインＰ３と最も近いＷＢゲインとする。また、ゲイン判定部１０４は、入力画像の色が赤外光の影響を受けている場合の有効領域Ａ２を、入力画像の色が赤外光の影響を受けていない場合の有効領域Ａ１よりも小さくしてもよい。入力画像の色が赤外光の影響を受けている場合、被写体の素材によっては被写体の色が大きくずれてしまう虞があり、その色でホワイトバランスを制御することで、ホワイトバランスも大きく崩れてしまう虞がある。図５に示すように、入力画像の色が赤外光の影響を受けている場合に、ＷＢゲインの有効領域Ａ２を小さくすることで、想定外のＷＢゲインが適用されてホワイトバランスが大きく崩れることを防止できる。なお、有効領域Ａ２を小さくすると、算出されるＷＢゲインが有効領域Ａ２の外側になることが多くなる。この場合に、ＷＢゲインＲを固定値にしていると照明条件の変化によって最適なホワイトバランスに動的に制御することができなくなってしまう。そのため、ＷＢゲインＲを、有効領域Ａ２の外側に算出されたＷＢゲインＰ３から最も近く、かつ、有効領域Ａ２内であるＷＢゲインとすることにより、照明条件の変化に応じて最適なホワイトバランスに動的に制御することができる。

図６は、本実施形態における第４のＷＢ制御例を表した図である。
図６の第４のＷＢ制御例において、ゲイン決定部１０５は、入力画像の色が赤外光の影響を受けている場合に算出されたＷＢゲインＰ２を、入力画像の色が赤外光の影響を受けている場合のＷＢゲインの有効領域Ａ２内にあるＷＢゲインＲａにする。また、ゲイン決定部１０５は、入力画像の色が赤外光の影響を受けている場合に算出されたＷＢゲインＰ３を、入力画像の色が赤外光の影響を受けている場合のＷＢゲインの有効領域Ａ２内にあるＷＢゲインＲとして出力してもよい。ＷＢゲインＰ２は入力画像の色が赤外光の影響を受けている場合のＷＢゲインの有効領域Ａ２の範囲内であり、ＷＢゲインＰ３は入力画像の色が赤外光の影響を受けている場合のＷＢゲインの有効領域Ａ２の範囲外である。そして、ＷＢゲインＲａは、有効領域Ａ２の範囲内にあり、ホワイトバランスを適切に制御するために予め定められたＷＢゲインである。

ここで、入力画像の色が赤外光の影響を受けている場合であってもホワイトバランスを動的に制御するためには、有効領域Ａ２を広く設定する必要がある。しかしながら、有効領域Ａ２を広く設定すると、取り得るＷＢゲインの幅が大きくなるため、想定外のＷＢゲインが適用されて、ホワイトバランスが崩れてしまう虞がある。そこで、第４のＷＢ制御例では、算出されたＷＢゲイン（例えば、ＷＢゲインＰ２）が有効領域Ａ２の範囲内であっても、より限定された範囲に存在するＷＢゲイン（例えば、ＷＢゲインＲａ）を適用する。これにより、想定外のＷＢゲインが適用されてホワイトバランスが大きく崩れることを防止でき、入力画像の色が赤外光の影響を受けている場合であっても、ホワイトバランスを適切に制御して撮像画像の色再現性を高めることができる。
以上説明したように、本実施形態の画像処理装置によれば、ＩＲＣＦの挿抜に応じて、適切な画像データを生成することができる。

＜第２の実施形態＞
次に、図７を参照して、第２の実施形態の画像処理装置について説明する。第２の実施形態のホワイトバランス制御では、ＷＢゲインの急峻な変動に伴う画質劣化を防止するため、ＷＢゲインを時間的に緩やかに変化させる。
なお、本実施形態に係る画像処理装置の機能構成は第１の実施形態と同じであるためその図示は省略する。また、第１の実施形態と同じ機能部については説明を省略し、第１の実施形態とは異なる機能を有する機能部についてのみ以下に説明する。

ゲイン決定部１０５は、ゲイン算出部１０２からＷＢゲインを取得し、ゲイン判定部１０４からＷＢゲインが有効か否かの判定結果を取得する。さらに、ゲイン決定部１０５は、取得した情報と、ゲイン決定部１０５が記憶している現在のＷＢゲインとに基づいて、最終的なＷＢゲインを決定する。そして第２の実施形態の場合、ゲイン決定部１０５は、現在のＷＢゲインから最終的なＷＢゲインまで緩やかに変化するようなＷＢゲインを、ゲイン乗算部１０６に出力する。なお、現在のＷＢゲインとは、過去に算出され、ゲイン乗算部１０６に設定されているＷＢゲインであり、動画像においては、例えば１フレーム前の入力画像に対して適用されたＷＢゲインである。

図７は、第２の実施形態のゲイン決定部１０５における動作の説明に用いる図である。
図７のＷＢゲインＰ１は現在のＷＢゲインであり、ＷＢゲインＰ２は入力画像の色が赤外光の影響を受けている場合にゲイン算出部１０２で算出されたＷＢゲインである。入力画像の色が赤外光の影響を受けている場合、ＷＢゲインＰ２は有効領域Ａ２内のＷＢゲインであるため、ゲイン決定部１０５は、このＷＢゲインＰ２を最終的なＷＢゲインとして設定する。

ここで、ＷＢゲインを急峻に変えてしまうと、急に色が変わったり、場合によっては短い期間に何度も色の変化を繰り返してホワイトバランスが振動してしまったりすることで画質が劣化する虞がある。それを防止するため、ゲイン決定部１０５は、ＷＢゲインＰ１からＷＢゲインＰ２までＷＢゲインが緩やかに変化するように、ＷＢゲインＰ１とＰ２との間に位置する複数のＷＢゲインを逐次算出して出力する。即ち、ゲイン決定部１０５は、ＷＢゲインを緩やかに変化させる際の目標ＷＢゲインを設定し、入力画像に適用されるＷＢゲイン（現在のＷＢゲイン）が徐々に目標ＷＢゲインに近づくようなＷＢゲインを逐次算出して出力する。

より具体的に説明すると、ゲイン決定部１０５は、現在のＷＢゲインが有効領域Ａ１にのみ属するか、有効領域Ａ２にのみ属するか、あるいは有効領域Ａ１とＡ２の共通領域に属するかによって目標ＷＢゲインを制御する。例えば、ゲイン決定部１０５は、現在のＷＢゲインが、有効領域Ａ１とＡ２の共通領域を除く有効領域Ａ１に属する場合（例えば図７のＰ１の位置）、目標ＷＢゲインを有効領域Ａ１とＡ２の共通領域に属するＷＢゲイン（例えば図７のＲの位置）に設定する。そして、ゲイン決定部１０５は、現在のＷＢゲインがＷＢゲインＲに徐々に近づくようにＷＢゲインを設定する。

次に、ゲイン決定部１０５は、現在のＷＢゲインが有効領域Ａ１とＡ２の共通領域に属するＷＢゲインＲに達した後で、目標ＷＢゲインを本来の算出されたＷＢゲインＰ２に設定する。つまりゲイン決定部１０５は、現在のＷＢゲインが有効領域Ａ１とＡ２の共通領域に属する場合、目標ＷＢゲインを、有効領域Ａ１とＡ２の共通領域を除く有効領域Ａ２に属するＷＢゲイン（例えば図７のＰ２の位置）に設定する。そして、ゲイン決定部１０５は、現在のＷＢゲインが、ＷＢゲインＲから最終的な目標であるＷＢゲインＰ２へ時間的に緩やかに変化するようにＷＢゲインを設定して出力する。

第２の実施形態のように、ＷＢゲインを時間的に緩やかに変化させる場合、例えばＷＢゲインを図７のＷＢゲインＰ１からＰ２まで変化させる際には、ＷＢゲインＰ１とＰ２とを結ぶ直線上を徐々に変化させるのが一般的である。しかしながら、異なる有効領域Ａ１とＡ２を跨いでＷＢゲインを変化させる場合、領域の形状によっては、図７に示したようにＷＢゲインＰ１とＰ２とを結ぶ直線が有効領域Ａ１にもＡ２にも含まれない領域外に出てしまう場合がある。この場合、ＷＢゲインが図７のゲインＳの位置で止まって（収束して）しまい、ＷＢゲインＰ２まで変化させることができなくなる虞がある。つまり、適切なホワイトバランスに制御することができなくなることが考えられる。

そこで、本実施形態では、現在のＷＢゲインが一方の有効領域から二つの有効領域の共通領域に達するまでは、目標ＷＢゲインを二つの有効領域の共通領域に属する第１の目標ＷＢゲインに設定する。そして、２つの有効領域の共通領域に達した後、第１の目標ＷＢゲインを他方の有効領域に属する第２の目標ＷＢゲイン（最終的なＷＢゲイン）に設定する。このように実施することで、本来の最終的なＷＢゲインに達する前にＷＢゲインが収束してしまうことを防止し、適切なホワイトバランスに制御することができる。

なお、ゲイン決定部１０５は、入力画像の色が赤外光の影響を受けているか否かが切り替わった直後、即ちＷＢゲインの有効領域が切り替わった直後のタイミングにおいて、目標ＷＢゲインを二つの有効領域の共通領域に属するＷＢゲインに設定してもよい。または、ゲイン決定部１０５は、入力画像の色が赤外光の影響を受けているか否かが切り替わった直後のタイミングにおいて二つ有効領域の共通領域に属するＷＢゲインを出力してもよい。入力画像の色が赤外光の影響を受けているか否かが切り替わるタイミングにおいては、入力画像の色が大きく変化するため、ホワイトバランスが大きく変化しても画質劣化を感じにくいと考えられる。従って、ゲイン決定部１０５は、入力画像の色が赤外光の影響を受けているか否かが切り替わった直後のタイミングで、入力画像に適用されるＷＢゲインを、例えば図７のＷＢゲインＰ１からＷＢゲインＲに変更する。その後、ゲイン決定部１０５は、図７のＷＢゲインＲからＷＢゲインＰ２まで、緩やかにＷＢゲインを変更する。このように実施することで、本来の最終的な目標ＷＢゲインに達する前にＷＢゲインが収束してしまうことを防止しつつ、本来の最終的な目標ＷＢゲインに達するのに要する時間を短縮することができる。

＜第３の実施形態＞
以下、第３の実施形態の画像処理装置について説明する。すでに説明した実施形態では、ＩＲＣＦの挿抜や、赤外照明の点灯／消灯、ユーザによるモード切り替えなど、入力画像の色が撮像センサで取り込んだ赤外光の影響を受けているか否かに応じてホワイトバランスを制御する。

それに対して第３の実施形態は、入力画像の色に対する赤外光の影響の大きさを検知し、赤外光の影響の大きさに応じてホワイトバランスを制御する。従って、第３の実施形態においては、入力画像の色が撮像センサで取り込んだ赤外光の影響を常に受ける場合であっても、その影響の相対的な大きさに応じて適切なホワイトバランス制御を行うことができる。

図８は、第３の実施形態に係る画像処理装置の機能構成の一例を示す構成図である。なお、第１の実施形態と同じ機能部には同じ符号を付し、それらの説明は省略する。
赤外光検知部３０３は、特徴量取得部１０１から入力画像の色に関する特徴量を取得する。そして、赤外光検知部３０３は、入力画像の色に関する特徴量に基づいて、入力画像の色が撮像センサで取り込んだ赤外光の影響をどの程度受けているかを検知し、その検知結果をゲイン判定部３０４に出力する。より具体的には、赤外光検知部３０３は、入力画像の色の平均値を算出し、その算出した色平均値の赤色成分が大きいほど赤外光の影響が大きいと検知し、一方、算出した色平均値の赤色成分が小さいほど赤外光の影響が小さいと検知する。

ゲイン判定部３０４は、赤外光検知部３０３から取得した検知結果に応じて、ゲイン算出部１０２から取得したＷＢゲインが有効か否かを判定し、その判定結果をゲイン決定部１０５に出力する。より具体的には、ゲイン判定部３０４は、入力画像の色に対する赤外光の影響の大きさに応じて、異なる判定条件に基づいてＷＢゲインが有効か否かを判定する。例えば、ゲイン判定部３０４は、入力画像の色に対する赤外光の影響の大きさが小さい場合において、ＷＢゲインが所定の領域（後述する図９の有効領域Ａ２０）内であるときはそのＷＢゲインが有効であると判定する。またゲイン判定部３０４は、入力画像の色に対する赤外光の影響の大きさが中程度の場合において、ＷＢゲインが所定の領域（後述する図９の有効領域Ａ２１）内であるときにはそのＷＢゲインが有効であると判定する。またゲイン判定部３０４は、入力画像の色に対する赤外光の影響の大きさが大きい場合において、ＷＢゲインが所定の領域（Ａ２２）内であるときにはそのＷＢゲインが有効であると判定する。さらにゲイン判定部３０４は、例えば、入力画像の色に対する赤外光の影響の大きさの差が大きいほど、所定の領域が離れるように領域の位置を設定する。なお、入力画像の色に対する赤外光の影響の大きさが小さいか、または大きいか、あるいは中程度か等の判定は、例えば、それぞれに対応した有効範囲内か否かにより行ってもよいし、それぞれに対応した閾値との比較を用いて行ってもよい。

図９は、第３の実施形態におけるゲイン判定部３０４およびゲイン決定部１０５の動作の説明に用いる図である。
図９の領域Ａ２０は、入力画像の色に対する赤外光の影響の大きさが小さい場合の有効範囲（有効領域Ａ２０とする）を表している。また図９の領域Ａ２１は入力画像の色に対する赤外光の影響の大きさが中程度の場合の有効範囲（有効領域Ａ２１とする）を表し、図９の領域Ａ２２は入力画像の色に対する赤外光の影響の大きさが大きい場合の有効範囲（有効領域Ａ２２とする）を表している。有効範囲に含まれるＷＢゲインは、入力画像に適用されたときに、適切なホワイトバランスの出力画像が出力されるＷＢゲインである。図９のＷＢゲインＰ２０は、入力画像の色に対する赤外光の影響の大きさが小さく、有効領域Ａ２０が設定されている場合に算出された、当該有効領域Ａ２０に属する有効なＷＢゲインを表している。図９のＷＢゲインＰ２２は、入力画像の色に対する赤外光の影響の大きさが大きく、有効領域Ａ２２が設定されている場合に算出された、当該有効領域Ａ２２に属する有効なＷＢゲインを表している。図９のＷＢゲインＰ３１は、入力画像の色に対する赤外光の影響の大きさが中程度であり、有効領域Ａ２１が設定されている場合に算出された、当該有効領域Ａ２１に属さない、有効でないＷＢゲインを表している。図９のＷＢゲインＲ１は、入力画像の色に対する赤外光の影響の大きさが中程度であり、有効領域Ａ２１が設定されている際に、算出されたＷＢゲインが有効領域Ａ２１の外側であった場合に入力画像に適用されるＷＢゲインを表している。

本実施形態におけるホワイトバランス制御では、入力画像の色に対する赤外光の影響が小さい場合にはＷＢゲインＰ２０、影響が中程度の場合にはＷＢゲインＲ１、影響が大きい場合にはＷＢゲインＰ２２の、各ＷＢゲインが適用される。本実施形態では、入力画像の色に対する赤外光の影響の大きさに応じて最適なＷＢゲインの有効範囲を設定できるため、撮像センサが赤外光を取り込む場合であっても、撮像画像の色再現性を向上できると共にホワイトバランスが大きく崩れることを防止できる。

赤外光検知部３０３は、入力画像の色の平均値を算出し、算出した色平均値の赤色成分が大きいほど赤外光の影響が大きいと検知したが、赤外光の影響度を検知する方法はこれに限らない。例えば、赤外光検知部３０３は、撮影環境の照度情報を取得して、照度が低いほど赤外光の影響が大きいと検知してもよい。照度情報は、入力画像の明るさに基づいて算出したり、露出条件に基づいて算出したり、あるいは、不図示の照度センサを設けてその読み取り値に基づいて算出したりすればよい。また、赤外光検知部３０３は、入力画像の領域毎の色情報の分布に基づいて、色情報の分布の偏りが大きいほど赤外光の影響が大きいと検知してもよい。赤外光の影響が大きいほど被写体の色成分が少なくなるため、撮像画像の色は被写体の色ではなく赤外光による赤みが支配的になり、色情報の分布は赤色周辺に偏るためである。

なお、ゲイン判定部３０４は、図９に示したように、入力画像の色に対する赤外光の影響が大きくなるほど、ＷＢゲインの有効範囲の大きさを小さくするように制御してもよい。入力画像の色に対する赤外光の影響が大きくなる状況であるほど、被写体本来の色成分が少なくなり、撮像センサの感度不足によりノイズ量が増加することが考えられる。そのため、想定外のＷＢゲインが算出され、ホワイトバランスが大きく崩れてしまう虞がある。そこで、入力画像の色に対する赤外光の影響が大きくなるほど、ＷＢゲインの有効範囲の大きさを小さくすることで、想定外のＷＢゲインが適用されてしまうことを防止し、適切なホワイトバランスに制御することができる。

＜第４の実施形態＞
以下、第４の実施形態の画像処理装置について説明する。すでに説明した実施形態では入力画像の色が、撮像センサで取り込んだ赤外光の影響を受けている場合であっても、ホワイトバランスを適切に制御して、有彩色の出力画像を出力するものである。それに対して第４の実施形態では、入力画像の色が撮像センサで取り込んだ赤外光の影響を受けている場合に、赤外光の影響の大きさに応じて出力画像を有彩色とするか、または無彩色とするかを切り替える。

図１０は、第４の実施形態に係る画像処理装置の機能構成の一例を示す構成図である。なお、第１の実施形態と同じ機能部には同じ符号を付し、それらの説明は省略する。
ゲイン決定部４０５は、ゲイン算出部１０２からＷＢゲインを取得し、ゲイン判定部１０４からＷＢゲインが有効か否かの判定結果を取得して、最終的なＷＢゲインを決定し、ゲイン乗算部１０６に出力する。また、ゲイン決定部４０５は、ゲイン算出部１０２にて算出されたＷＢゲインに基づいて、出力画像を有彩色とするか無彩色とするかを決定し、その結果を色切り替え部４０７に出力する。さらに、ゲイン決定部４０５は、出力画像を無彩色とすることを決定した場合、予め定められたＷＢゲインを、最終的なＷＢゲインとしてゲイン乗算部１０６に出力する。

色切り替え部４０７は、ゲイン決定部４０５から出力画像を有彩色とするか無彩色とするかの判断結果を取得し、無彩色とする場合には入力画像を無彩色に色変換して出力画像を出力する。

図１１は、第４の実施形態におけるＷＢゲイン制御の説明に用いる図である。
図１１において、領域Ａ１は入力画像の色が赤外光の影響を受けていない場合のＷＢゲインの有効範囲（有効領域Ａ１）を表し、領域Ａ２は入力画像の色が赤外光の影響を受けている場合のＷＢゲインの有効範囲（有効領域Ａ２）を表している。有効範囲内のＷＢゲインは入力画像に適用されて出力画像が生成される。有効範囲は、その有効範囲内のＷＢゲインが入力画像に適用されることで、適切なホワイトバランスに制御され、ユーザに大きな違和感を与えないような範囲に設計されている。

また、図１１に示したＷＢゲインＰ１、Ｐ２ａ、Ｐ２ｂ、Ｐ２ｃにおいて、ＷＢゲインＰ１は入力画像の色が赤外光の影響を受けていない場合に算出されたＷＢゲインである。一方、ＷＢゲインＰ２ａ、Ｐ２ｂ、およびＰ２ｃは、入力画像の色が赤外光の影響を受けている場合に算出されたＷＢゲインである。

ここで、撮影環境が低照度になり、入力画像の色に対する赤外光の影響が大きくなるほど入力画像の赤みが強くなる。そのため、入力画像の色が赤外光の影響を受けている場合のＷＢゲインは、入力画像の色が赤外光の影響を受けていない場合のＷＢゲインと比較して差が大きくなる。即ち、ＷＢゲインＰ２ａは相対的に赤外光の影響が小さい場合のＷＢゲインであり、ＷＢゲインＰ２ｂは赤外光の影響が中程度の場合のＷＢゲインであり、ＷＢゲインＰ２ｃは相対的に赤外光の影響が大きい場合のＷＢゲインである。入力画像の色に対する赤外光の影響が大きい場合、被写体の本来の色成分が少なくなるため、ホワイトバランスを適切に制御したとしても、撮像センサの感度によっては十分な色再現性向上効果を得られない。一方で、ノイズ量が増えてしまうために適切なホワイトバランスに制御できない虞がある。

そこで、ゲイン決定部４０５は、ＷＢゲイン（Ｒｅｄゲイン）が所定の範囲、例えばＷＢゲインＰ２ｂより大きくなる範囲では、出力画像を有彩色ＣＣとするように決定し、また、ゲイン算出部１０２で算出されたＷＢゲインを最終的なＷＢゲインに設定する。これにより、算出されたＷＢゲインに応じて動的にホワイトバランスが制御されることになる。一方、ＷＢゲイン（Ｒｅｄゲイン）が所定の範囲、例えばＷＢゲインＰ２ｂより小さくなる範囲では、ゲイン決定部４０５は、出力画像を無彩色ＮＣとするように決定し、また、予め定められた固定のＷＢゲインを適用する。このようなＷＢゲイン制御が行われることで、撮像センサの感度が足りている場合には、入力画像の色に対する赤外光の影響に応じてホワイトバランスを制御することで撮像画像の色再現性向上効果を得ることができる。一方、撮像センサの感度が不足している場合には、ＷＢゲインが固定値になされるとともに出力画像が無彩色になされることで、ホワイトバランスが大きく崩れた画像が表示されてしまうことを防止することができる。

なお、ゲイン決定部４０５は、Ｒｅｄゲインに応じて無彩色とするか有彩色とするかを決定したが、これに限らない。Ｂｌｕｅゲインに応じて無彩色とするか有彩色とするかを決定してもよい。また、ゲイン決定部４０５は、撮影環境の照度情報を取得して、照度が低い場合に無彩色とし、照度が高い場合に有彩色とするように決定してもよい。

＜第５の実施形態＞
以下、第５の実施形態の画像処理装置について説明する。すでに説明した実施形態は、画像全体に対して一様に適用するＷＢゲインを制御するものである。それに対して、第５の実施形態は、入力画像の色に対する赤外光の影響の大きさを画素毎に判定して、その画素毎の判定結果に基づいて、画素毎にＷＢゲインを設定する。
なお、本実施形態に係る画像処理装置の機能構成図は第１の実施形態と同じであるため省略する。また、第１の実施形態と同じ機能部については説明を省略し、第１の実施形態とが異なる機能を有する機能部についてのみ以下に説明する。

ゲイン乗算部１０６は、ゲイン決定部１０５で決定されたＷＢゲインを取得し、入力画像にＷＢゲインを乗じることで出力画像を生成して、出力する。ここで、第５の実施形態の場合、ゲイン乗算部１０６は、取得した入力画像に基づいて画素毎の輝度値を算出し、その輝度値に基づいて、画素毎に最終的なＷＢゲインを設定する機能をも有する。即ち、第５の実施形態のゲイン乗算部１０６は、画素毎の輝度値に基づいて、画素毎に設定したＷＢゲインを最終的なＷＢゲインとして入力画像に適用する。

第５の実施形態の場合、ゲイン乗算部１０６は、入力画像に含まれる画素毎の明るさを算出する。そして、ゲイン乗算部１０６は、当該明るさが所定値未満の画素に対してはゲイン決定部１０５で決定されたＷＢゲインを最終的なＷＢゲインとして適用する。一方、ゲイン乗算部１０６は、明るさが所定値以上の画素に対しては、所定のホワイトバランス制御値として第３のホワイトバランス制御値を設定し、それを最終的なＷＢゲインとして適用する。本実施形態において、第３のホワイトバランス制御値は、予め決めたＷＢゲインとなされている。

本実施形態で想定しているユースケースについて、図１２を用いて説明する。
図１２は、低照度環境に存在する被写体１２００を表している。また被写体１２００は、ＬＥＤのインジケータのような光源１２０１を具備している。例えば、被写体１２００は、無人の施設に設置された装置であって、装置の動作状態を表すＬＥＤインジケータを備えているとする。そしてこの被写体１２００の装置は、当該装置に何らかの異常が生じた場合にアラートを発する目的で、ＬＥＤインジケータを発光させるものであるとする。

このような場合においては、被写体１２００が存在する環境が低照度なので、入力画像の色に対する赤外光の影響は大きい。しかしながら、ＬＥＤインジケータの周辺部分の画像の領域１２０２については、ＬＥＤインジケータが可視光を発した場合、入力画像の色に対する赤外光の影響は小さくなる。このような場合、画像内の面積比率でいえば、入力画像の色に対する赤外光の影響が大きい領域１２０３の面積の方が大きい。このため、画像全体に対して一様なホワイトバランス制御を行ってしまうと、赤外光の影響が大きい領域１２０３の画像に適したＷＢゲインが画像全体に適用されることになる。即ち、ＬＥＤインジケータの周辺の赤外光の影響が小さい領域１２０２に対しても、赤外光の影響が大きい領域１２０３の画像に適したＷＢゲインが適用されてしまう。その結果、ＬＥＤインジケータの周辺の赤外光の影響が小さい領域１２０２のホワイトバランスが適切に制御できない虞があり、ＬＥＤインジケータの正しい色を識別できなくなることが考えられる。つまり、装置が発しているアラートが、見落とされてしまう虞がある。

上述したような、可視光が支配的な領域１２０２と赤外光が支配的な領域１２０３とがある場合、可視光が支配的な領域１２０２、とりわけ光源が存在する部分は高輝度の画素値が得られる。そのため、本実施形態のゲイン乗算部１０６は、入力画像において高輝度の領域を可視光が支配的な領域と判定し、一方、入力画像において低輝度の領域を赤外光が支配的な領域と判定する。そしてゲイン乗算部１０６は、可視光が支配的な領域、即ち高輝度の領域に対しては可視光に適したＷＢゲインとして第３のホワイトバランス制御値を設定する。本実施形態において、可視光に適した第３のホワイトバランス制御値は、所定の色温度の光源、例えば５６００Ｋ（ケルビン）の白色光源に適したＷＢゲインであるとする。一方、ゲイン乗算部１０６は、赤外光が支配的な領域、即ち低輝度の領域に対しては入力画像の色が赤外光の影響を受けている場合のＷＢゲインを適用する。つまり、ゲイン乗算部１０６は、低輝度領域の画素に対しては、ゲイン決定部１０５から取得したＷＢゲインを適用する。

本実施形態のゲイン乗算部１０６が行うＷＢゲイン補正処理について、図１３を用いて説明する。
図１３は、ゲイン乗算部１０６が画素毎に行うＷＢゲインの補正方法の一例を表し、Ｂｌｕｅゲイン１３００とＲｅｄゲイン１３０１を示した図である。
ゲイン乗算部１０６は、入力画像の画素の明るさが所定値以上である場合には、可視光が支配的な領域であると判定し、可視光に適したＷＢゲインを適用する。一方、ゲイン乗算部１０６は、入力画像の画素の明るさが所定値未満である場合には、赤外光が支配的な領域であると判定し、赤外光を含む画像に適したＷＢゲインを適用する。より具体的には、ゲイン乗算部１０６は、入力画像の画素の輝度値が第１の輝度閾値以上（Ｙ１以上）である場合には、可視光が支配的な領域と判定し、可視光に適したＷＢゲインを適用する。一方、ゲイン乗算部１０６は、入力画像の画素の輝度値が第２の輝度閾値以下（Ｙ２以下）である場合には、赤外光が支配的な領域と判定し、赤外光を含む画像に適したＷＢゲインを適用する。ここで、可視光に適したＷＢゲインは、前述のように例えば５６００Ｋ（ケルビン）の白色光源に適したＷＢゲインである。また、赤外光を含む画像に適したＷＢゲインは、ゲイン決定部１０５から取得したＷＢゲインである。なお、第１の輝度閾値と第２の輝度閾値は同じ所定値でもよいが、本実施形態では異なる値とし、第１の輝度閾値は第２の輝度閾値より大きい値であるとする。

即ち、ゲイン乗算部１０６は、入力画像の画素の輝度値が第１の輝度閾値Ｙ１以上の場合、ゲイン算出部１０２が算出したＷＢゲインは有効ではないと判定する。そして、この場合、ゲイン乗算部１０６は、第１の輝度閾値Ｙ１以上の画素に対しては、第３のホワイトバランス制御値として、所定のＷＢゲイン、例えば５６００Ｋの白色光源に適したＷＢゲインを適用する。一方、ゲイン乗算部１０６は、入力画像の画素の輝度値が第２の輝度閾値Ｙ２以下である場合、ゲイン算出部１０２が算出したＷＢゲインは有効である判定する。そして、ゲイン乗算部１０６は、ゲイン決定部１０５で決定されたＷＢゲインを適用する。

ただし、例えば空間的に急峻にＷＢゲインを変えてしまうと画質上の違和感を生じる虞がある。このためゲイン乗算部１０６は、入力画像の画素の輝度値が第１の輝度閾値未満でかつ第２の輝度閾値より高い領域（Ｙ１とＹ２との間）では、可視光に適したＷＢゲインと赤外光を含む画像に適したＷＢゲインとの中間となるＷＢゲインを算出する。この場合のゲイン乗算部１０６は、入力画像の画素に対し、この中間のＷＢゲインを適用する。本実施形態の場合、中間のＷＢゲインとは、第１の輝度閾値と第２の輝度閾値との間で時間的に緩やかに変化させて得られたＷＢゲインとする。

以上のように実施することにより、入力画像において可視光が支配的な領域と赤外光が支配的な領域がある場合であっても、画素毎にＷＢゲインを補正することで、適切なホワイトバランスに制御された出力画像を得ることができる。従って、上述したようなユースケースにおいて、ＬＥＤインジケータの色を正しく再現することができるので、装置が発したアラートを見落とすことを防止できる。

＜第６の実施形態＞
以下、第６の実施形態の画像処理装置について説明する。すでに説明した実施形態は、赤外光の影響の有無に応じて、ＷＢゲインが有効か否かを判定する際の判定条件を変更している。それに対して、第６の実施形態では、赤外光の影響の有無が切り替わったタイミングで算出されたホワイトバランス制御値を、判定条件に関わらず有効である、と判定するものである。
なお、本実施形態に係る画像処理装置の機能構成図は第１の実施形態と概ね同じであるため図示を省略する。また、第１の実施形態と同じ機能部については説明を省略し、第１の実施形態とが異なる機能を有する機能部についてのみ以下に説明する。

第６の実施形態において、ゲイン算出部１０２は、赤外光検知部１０３による検知結果に基づいて、前述の実施形態とは異なる方法で算出したホワイトバランス制御値（ＷＢゲイン）を出力する。より具体的には、第６の実施形態のゲイン算出部１０２は、赤外光検知部１０３から取得した検知結果が変化したタイミングにおいて、それ以外の期間とは異なる方法でＷＢゲインを算出する。ＷＢゲイン算出の異なる方法とは、例えば、入力画像が無彩色の被写体であると推定して、入力画像の色の積分値、または、平均値が無彩色を表す数値になるようにＷＢゲインを算出するような方法である。このようなＷＢゲイン算出方法を、以下の説明では「白設定」と称するものとする。

赤外光検知部１０３は、入力画像の色に対する赤外光の影響を検知する。第６の実施形態の場合、赤外光検知部１０３の検知結果は、ゲイン判定部１０４だけでなく、ゲイン算出部１０２にも送られる。

ゲイン判定部１０４は、赤外光検知部１０３から取得した検知結果に基づいて、ゲイン算出部１０２から取得したＷＢゲインが有効か否かを判定して、その判定結果をゲイン決定部１０５に出力する。第６の実施形態の場合、ゲイン判定部１０４は、赤外光検知部１０３の検知結果に基づいて、異なる判定条件に基づいてＷＢゲインが有効か否かを判定する。即ち、第６の実施形態のゲイン判定部１０４は、赤外光検知部１０３から取得した検知結果が変化したタイミングにおいては、ゲイン算出部１０２から取得したＷＢゲインが有効であると判定する。

ゲイン決定部１０５は、ゲイン算出部１０２からＷＢゲインを取得し、ゲイン判定部１０４からＷＢゲインが有効か否かの判定結果を取得して、最終的なＷＢゲインを決定し、ゲイン乗算部１０６に出力する。第６の実施形態のゲイン決定部１０５は、ゲイン算出部１０２からのＷＢゲインが、白設定処理にて算出され、また、赤外光検知結果が変化したタイミングにおいて有効であるとゲイン判定部１０４が判定したＷＢゲインである場合、当該ＷＢゲインに固定する。より具体的には、第６の実施形態のゲイン決定部１０５は、ＩＲＣＦが抜去された後に再度挿入されて、赤外光検知部１０３の検知結果が変化するまでの間、つまりＩＲＣＦが抜去されている間は一定のＷＢゲインを出力し続ける。

図１４は、第６の実施形態のゲイン決定部１０５における動作の説明に用いる図である。
図１４において、領域Ａ１は入力画像の色が赤外光の影響を受けていない場合のＷＢゲインの有効範囲（有効領域Ａ１）を表している。入力画像の色が赤外光の影響を受けていない場合には、例えば、有効領域Ａ１内のＷＢゲインＰ１が入力画像に適用されて出力画像が生成される。一方、第６の実施形態において、図１４のＷＢゲインＰ２は、入力画像の色に対する赤外光の影響の有無が変化したタイミングで算出されたＷＢゲインを表している。ＷＢゲインＰ２は、例えば、前述した白設定処理によって算出される。つまり第６の実施形態では、入力画像の色に対する赤外光の影響の有無が変化したタイミングで白設定処理が行われる。また、第６の実施形態では、入力画像の色に対する赤外光の影響の有無が変化したタイミングで算出されたＷＢゲインＰ２は有効であると判定され、入力画像に適用される。即ち、第６の実施形態の場合、ＩＲＣＦの挿抜が行われたタイミングで白設定処理が行われ、それによって算出されたＷＢゲインが適用される。これにより、入力画像の色に対する赤外光の影響に応じてホワイトバランスを制御可能となり、出力画像の色再現性を向上することができる。

なお、本実施形態では、入力画像の色に対する赤外光の影響の有無が変化したタイミングで算出されたＷＢゲインを無条件、あるいは、通常より緩和された条件に基づいて有効性を判定し、適用するものである。従って、ＷＢゲインの算出方法は、前述の白設定処理の方法によるものに限らない。また、一般的な白設定処理では、設定後のＷＢゲインを固定するが、固定してもよいし、しなくてもよい。本実施形態では、図１４のＷＢゲインＰ２を設定後、ＷＢゲインの有効領域は領域Ａ１のままであるが、入力画像の色に対する赤外光の影響が有る場合には領域Ａ１に含まれないＷＧゲインが算出される。即ち、有効でないＷＢゲインが算出され、その場合、現在設定されているホワイトバランスが維持されるため、自ずとＷＢゲインＰ２に固定される。

＜第７の実施形態＞
以下、第７の実施形態の画像処理装置について説明する。すでに説明した各実施形態では、赤外光の影響の有無や大きさに応じて、ＷＢゲインが有効か否かを判定する際の判定条件を変更している。それに対して、第７の実施形態では、赤外光の影響をどの程度補正するかを定める「補正強度」の設定に応じて、ＷＢゲインが有効か否かを判定する際の判定条件を変更する例を挙げる。さらに、第７の実施形態では、赤外光の影響をどの程度補正するかを定める「補正強度」の設定に応じて、有効であると判定されたＷＢゲインに対する補正量を変更する。

第７の本実施形態に係る画像処理装置の機能構成図は、第１の実施形態の図１と概ね同じであるが、図１５に示すように、入力画像の色に対する赤外光の影響を補正する際の補正強度を決定する調整部５０１を備えている。また、図１６は、第７の実施形態に係る画像処理装置にて実行される画像処理の主要部の流れの一例を示すフローチャートである。以下、第１の実施形態と同じ機能部および各処理ステップの説明は省略し、第１の実施形態とは異なる機能部の動作および処理ステップについてのみ以下に説明する。

調整部５０１は、入力画像（撮像画像）の色に対する赤外光の影響をどの程度補正するかを定める補正強度を設定する。赤外光の影響を受けている場合において、補正強度は通常の設定値としては例えば「中」に設定されており、この補正強度の「中」が適正なレベルとして設定されている。ここで例えば、撮影環境や被写体の種類によっては、補正強度の設定が「弱い」や「強い」であることが好ましい場合がある。このため第７の実施形態において、調整部５０１は、撮影環境や被写体の種類に応じて補正強度を調整可能となされている。つまり、調整部５０１は、通常設定時には「中」となされている補正強度を、撮影環境や被写体の種類に応じて「弱い」や「強い」に設定すること、あるいはさらに細かく調整可能となされている。補正強度の設定変更は、例えば、ユーザが任意に指定してもよいし、撮像センサの感度、撮像時の露出、シャッター速度、撮影モード等の設定、画像の明るさや色合い、被写体距離、画像から自動認識した被写体などに応じて自動的に行われてもよい。このように、補正強度は、撮影環境や被写体の種類などのユースケース、或いはユーザの好みに応じて調整可能になされている。

ゲイン判定部５０２は、第１の実施形態のゲイン判定部１０４等と同様に、赤外光検知部１０３から取得した検知結果に基づいて、ゲイン算出部１０２から取得したＷＢゲイン（第１のホワイトバランス制御値）が有効か否かを判定するための判定条件を決定する。
ここで、第７の実施形態の場合は、Ｓ３において入力画像の色に対する赤外光の影響があると判定された場合、ゲイン判定部５０２はＳ１０の処理に進む。そしてＳ１０において、ゲイン判定部５０２は、赤外光の影響をどの程度補正するかを定める「補正強度」の設定に応じて、ゲイン算出部１０２から取得したＷＢゲインが有効か否かを判定するための判定条件を決定する。

より具体的には、ゲイン判定部５０２は、入力画像の色に対する赤外光の影響がある場合において、赤外光の影響に対するホワイトバランスの補正量の大きさ（補正強度）の設定状態に応じて、異なる判定条件に基づいてＷＢゲインが有効か否かを判定する。即ち、ゲイン判定部５０２は、補正強度が「強い」ほど、入力画像の色に対する赤外光の影響がない場合のＷＢゲインと比較して差が大きいＷＢゲインが適用され得るような判定条件を設定する。逆に、補正強度が「弱い」ほど、ゲイン判定部５０２は、入力画像の色に対する赤外光の影響が大きい場合であったとしても、入力画像の色に対する赤外光の影響がない場合のＷＢゲインに近いＷＢゲインが適用され得るような判定条件を設定する。

なおゲイン判定部５０２は、例えば「補正強度」の設定が「強い」ほど、所定の領域が離れるように領域の位置を設定する。即ち、ゲイン判定部５０２は、「補正強度」の設定が「強い」ほど、入力画像の色に対する赤外光の影響が無い場合のＷＢゲインと、当該ゲイン判定部５０２が有効と判断するＷＢゲインとの、差分が大きくなるように判定条件を決定する。一方、ゲイン判定部５０２は、「補正強度」の設定が「弱い」ほど、入力画像の色に対する赤外光の影響が無い場合のＷＢゲインと、当該ゲイン判定部５０２が有効と判断するＷＢゲインとの、差分が小さくなるように判定条件を決定する。

そしてゲイン判定部５０２は、補正強度の設定に応じて決定した判定条件を用い、次のＳ１１において、ゲイン算出部１０２から取得したＷＢゲイン（第１のホワイトバランス制御値）が有効か否かを判定し、その判定結果をゲイン決定部５０３に出力する。例えば、「補正強度」の設定が「弱い」場合、ゲイン判定部５０２は、ＷＢゲインが所定の領域（後述する図１７の有効領域Ａ３０）内であるときはそのＷＢゲインが有効であると判定する。また、ゲイン判定部５０２は、「補正強度」の設定が「中」程度の場合、ＷＢゲインが所定の領域（後述する図１７の有効領域Ａ３１）内であるときにはそのＷＢゲインが有効であると判定する。また、ゲイン判定部５０２は、「補正強度」の設定が「強い」場合において、ＷＢゲインが所定の領域（後述する図１７の有効領域Ａ３２）内であるときにはそのＷＢゲインが有効であると判定する。

ゲイン決定部５０３は、ゲイン乗算部１０６で入力画像に乗算される最終的なホワイトバランス制御値（最終的なＷＢゲイン）を決定する。ゲイン決定部５０３は、ゲイン判定部５０２による判定結果または判定条件に基づいて、最終的なＷＢゲインを決定する。ここで、第７の実施形態の場合、Ｓ１１にてＷＢゲインが有効であると判定された場合、ゲイン決定部５０３は、Ｓ１２の処理に進む。Ｓ１２に進むと、ゲイン決定部５０３は、赤外光の影響をどの程度補正するかを定める「補正強度」の設定値をゲイン判定部５０２から受け取る。そして、ゲイン決定部５０３は、当該補正強度の設定値に応じて、ゲイン算出部１０２から取得したＷＢゲイン（第１のホワイトバランス制御値）を補正してゲイン乗算部１０６に出力する。即ち第７の実施形態のゲイン決定部５０３は、ゲイン判定部５０２から得た判定結果が有効を表す判定結果である場合、ゲイン算出部１０２で算出した第１のホワイトバランス制御値を「補正強度」の設定に応じて補正した値をゲイン乗算部１０６に出力する。

例えばゲイン決定部５０３は、「補正強度」の設定が「強い」ほど、ゲイン算出部１０２から取得したＷＢゲインのうちＢｌｕｅゲインが大きくなるように補正する。また、ゲイン決定部５０３は、「補正強度」の設定が「弱い」ほど、ゲイン算出部１０２から取得したＷＢゲインに対する補正量を小さくするように補正して出力する。なお「補正強度」の設定が「弱い」場合には、ゲイン算出部１０２から取得したＷＢゲインを補正せずにそのまま出力してもよい。一方、ゲイン決定部５０３は、ゲイン判定部５０２からの判定結果が有効でないことを表す判定結果である場合、Ｓ８において所定のホワイトバランス制御値（第２のホワイトバランス制御値）を最終的なＷＢゲインとしてゲイン乗算部１０６に出力する。なお、第２のホワイトバランス制御値は、前述した第１の実施形態でも説明したように、例えば不図示の記憶装置に記憶されたＷＢゲインである。また、記憶装置に記憶されたＷＢゲインとは、例えば過去に最終的なＷＢゲインとして用いられたＷＢゲインや、ゲイン判定部５０２が決定した現在の所定の領域に含まれる予め定められたＷＢゲインである。

なお、第７の実施形態では「補正強度」に応じてＷＢゲインの補正量を決定したが、ＷＢゲインの補正量の決定方法はこれに限らない。例えば、ゲイン判定部５０２が決定した判定条件に応じて、ＷＢゲインの補正量を決定してもよい。

図１７は、第７の実施形態のゲイン判定部５０２、および、ゲイン決定部５０３における動作の説明に用いる図である。
図１７の領域Ａ３０は、入力画像に対する赤外光の影響をどの程度補正するかを定める「補正強度」の設定が「弱い」場合の有効範囲（有効領域Ａ３０とする）を表している。また、図１７の領域Ａ３１は「補正強度」の設定が「中」程度の場合の有効範囲（有効領域Ａ３１とする）を表し、図１７の領域Ａ３２は「補正強度」の設定が「強い」場合の有効範囲（有効領域Ａ３２とする）を表している。図１７のＷＢゲインＰ２０は、「補正強度」の設定が「弱い」であり、有効領域Ａ３０が設定されている場合に算出された、当該有効領域Ａ３０に属する有効なＷＢゲインを表している。図１７のＷＢゲインＰ２１は、「補正強度」の設定が「中」程度であり、有効領域Ａ３１が設定されている場合に算出された、当該有効領域Ａ３１に属する有効なＷＢゲインを表している。図１７のＷＢゲインＰ２２は、「補正強度」の設定が「強い」であり、有効領域Ａ３２が設定されている場合に算出された、当該有効領域Ａ３２に属する有効なＷＢゲインを表している。図１７のＷＢゲインＲ２０は、「補正強度」の設定が「弱い」であり、有効領域Ａ３０が設定されている場合に算出されたＷＢゲインＰ２０を補正した結果のＷＢゲインを表している。この例では、「補正強度」の設定が「弱い」場合はＷＢゲインの補正を行わず、Ｒ２０＝Ｐ２０としている。図１７のＷＢゲインＲ２１は、「補正強度」の設定が「中」程度であり、有効領域Ａ３１が設定されている場合に算出されたＷＢゲインＰ２１を補正した結果のＷＢゲインを表している。図１７のＷＢゲインＲ２２は、「補正強度」の設定が「強い」であり、有効領域Ａ３２が設定されている場合に算出されたＷＢゲインＰ２２を補正した結果のＷＢゲインを表している。

第７の実施形態においては、入力画像の特徴量、および、「補正強度」に応じて設定された有効範囲に基づいて算出されたＷＢゲインＰ２０、Ｐ２１、Ｐ２２をそれぞれ補正したＷＢゲインであるＲ２０、Ｒ２１、Ｒ２２が最終的なＷＢゲインとして適用される。ＷＢゲインの補正量は「補正強度」に応じて決定されるが、「補正強度」に応じて一定の補正量としてもよいし、複数の「補正強度」に対応する複数の補正量の中間の補正量としてもよい。例えば、図１７のＰ２０とＰ２１との中間に相当するＷＢゲインが算出された場合、算出されたＷＢゲインを補正したＷＢゲインはＲ２０とＲ２１との中間に相当するＷＢゲインとしてもよい。

入力画像の平均的な色情報に基づいてホワイトバランスを制御する場合、被写体毎の赤外光反射率の偏りが少ないなど、入力画像に含まれる被写体毎の赤外光の影響度合いが均一である場合はホワイトバランスを適切に制御できる。しかしながら、被写体毎の赤外光反射率の偏りが大きい場合などに、入力画像の平均的な色情報に基づいてホワイトバランスを補正すると、例えば赤外光の影響度合いが大きい被写体は補正不足に、赤外光の影響度合いが小さい被写体は過補正になってしまう。

第７の実施形態においては、入力画像の平均的な色情報だけでなく、「補正強度」の設定値に応じてホワイトバランスを補正する。即ち、「補正強度」の設定値が「強い」場合は、ホワイトバランスの補正量を大きくし、「補正強度」の設定値が「弱い」場合は、ホワイトバランスの補正量を小さくする。これにより、被写体毎の赤外光反射率の偏りが大きい場合であっても、注目被写体などの重要度の高い被写体を優先したホワイトバランス制御が可能となり、注目被写体の出力画像の色再現性を向上することができる。

前述した実施形態の画像処理装置は、撮像装置に適用される例を挙げたが、撮像装置に接続等されたパーソナルコンピュータやスマートフォン等の情報処理装置（コンピュータ）によって画像処理装置が実現されてもよい。この場合、撮像装置は撮像ユニットにて撮像された生データと、露光時間やフレームレートや露出値等を示す撮影パラメータとともに、ＩＲＣＦの使用の有無を示す情報、即ち入力画像の色に対する赤外光の影響の有無を示す情報をもコンピュータへ出力する。なお、赤外光の影響の有無を示す情報は、ユーザにより入力されてもよい。そして、コンピュータにおいて前述の実施形態で説明したのと同様の画像処理が行われる。この例におけるコンピュータは、本実施形態の画像処理を実現するソフトウェアのプログラムコードを実行する。

図１８は、前述した各実施形態に画像処理装置に適用可能なハードウェア構成の一例（例えばコンピュータの構成）を示した図である。この図１８に示した構成は、カメラ等の撮像装置に接続されたコンピュータを例に挙げているが、この図１８に示した構成が撮像装置に内蔵されていてもよい。図１８に示すように、各実施形態の画像処理装置を実現するコンピュータは、ＣＰＵ１７１、ＲＯＭ１７２、ＲＡＭ１７３、補助記憶装置１７４、ディスプレイ装置１７５、操作装置１７６、通信Ｉ／Ｆ１７７、及びバス等を有して構成される。

ＣＰＵ１７１は、ＲＯＭ１７２やＲＡＭ１７３に格納されているコンピュータプログラムやデータを用いて、当該コンピュータの全体を制御するとともに、前述したホワイトバランス制御等を実行する。なお、本実施形態の画像処理装置は、ＣＰＵとは異なる１又は複数の専用のハードウェアを有していて、ＣＰＵによる処理の少なくとも一部を専用のハードウェアが実行する構成であってもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。

ＲＯＭ１７２は、変更を必要としないプログラムなどを格納する。ＲＡＭ１７３は、補助記憶装置１７４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ１７７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置１７４は、ＨＤＤ等で構成され、画像データ、撮影パラメータ、赤外光の影響の有無を示す情報などの種々のデータを記憶する。

ディスプレイ装置１７５は、例えば液晶ディスプレイやＬＥＤディスプレイ等で構成され、ユーザが画像処理装置を操作するためのＧＵＩなどを表示する。操作装置１７６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ１７１に入力する。またＣＰＵ１７１は、ディスプレイ装置１７５を制御する表示制御部、及び操作装置１７６を制御する操作制御部としても動作する。通信Ｉ／Ｆ１７７は、画像処理装置の外部の装置との通信に用いられる。例えば、画像処理装置がさらに外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆに接続される。画像処理装置が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ１７７はアンテナを備える。バスは、画像処理装置の各部をつないで情報を伝達する。なお本実施形態の場合、画像処理装置と接続される外部の装置は、前述した撮像装置や他の情報処理装置等である。またディスプレイ装置１７５と操作装置１７６が画像処理装置の内部に存在するものとしたが、ディスプレイ装置１７５と操作装置１７６との少なくとも一方が画像処理装置の外部に別の装置として存在していてもよい。また、画像処理装置は、ディスプレイ装置１７５と操作装置１７６を必ずしも備えていなくてもよい。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。また前述した各実施形態では個別の例を挙げて説明したが、それら各実施形態における各構成や各処理ステップを組み合わせた場合も本発明に含まれる。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えばＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

本実施形態の開示は、以下の構成、方法、およびプログラムを含む。
（構成１）
入力画像の色に対する赤外光の影響を補正する際の補正強度を決定する調整手段と、
入力画像に基づいて第１のホワイトバランス制御値を算出する算出手段と、
前記第１のホワイトバランス制御値が有効か否かを判定する判定手段と、
前記判定手段の判定結果に基づいて、第２のホワイトバランス制御値を設定する設定手段と、を備え、
前記判定手段は、前記調整手段が決定した補正強度に基づいて、前記第１のホワイトバランス制御値が有効か否かを判定するための判定条件を決定することを特徴とする画像処理装置。
（構成２）
前記第１のホワイトバランス制御値を補正する補正手段をさらに備え、
前記補正手段は、前記調整手段が決定した補正強度、または、前記判定手段が決定した判定条件の、少なくとも一方に基づいて、前記第１のホワイトバランス制御値を補正することを特徴とする構成１に記載の画像処理装置。
（構成３）
入力画像の色に対する赤外光の影響を検知する検知手段と、
入力画像の色に対する赤外光の影響を補正する際の補正強度を決定する調整手段と、
入力画像に基づいて第１のホワイトバランス制御値を算出する算出手段と、
前記第１のホワイトバランス制御値が有効か否かを判定する判定手段と、
前記判定手段の判定結果に基づいて、第２のホワイトバランス制御値を設定する設定手段と、
前記第１のホワイトバランス制御値を補正する補正手段と、を備え、
前記判定手段は、前記検知手段の検知結果、および、前記調整手段が決定した補正強度に基づいて、前記第１のホワイトバランス制御値が有効か否かを判定するための判定条件を決定し、
前記補正手段は、前記調整手段が決定した補正強度、または、前記判定手段が決定した判定条件の、少なくとも一方に基づいて、前記第１のホワイトバランス制御値を補正することを特徴とする画像処理装置。
（構成４）
前記設定手段は、前記判定手段において前記第１のホワイトバランス制御値が有効であると判定された場合には、当該第１のホワイトバランス制御値を設定することを特徴とする構成１乃至３のいずれか１構成に記載の画像処理装置。
（構成５）
前記設定手段は、前記判定条件に基づいて、前記第２のホワイトバランス制御値を設定することを特徴とする構成１乃至３のいずれか１構成に記載の画像処理装置。
（構成６）
前記検知手段は、前記入力画像が、赤外光カットフィルタを透過した光から得られた画像であるか否かに応じて前記赤外光の影響を検知することを特徴とする構成３に記載の画像処理装置。
（構成７）
前記検知手段は、前記入力画像が撮影された環境の照度に応じて前記赤外光の影響を検知することを特徴とする構成３に記載の画像処理装置。
（構成８）
前記検知手段は、前記入力画像の色に対する赤外光の影響の大きさを検知し、
前記判定手段は、前記赤外光の影響の大きさに応じて前記判定条件を決定することを特徴とする構成３に記載の画像処理装置。
（構成９）
前記判定手段は、前記赤外光の影響が大きいほど、前記赤外光の影響が小さい場合の前記判定条件との差が大きくなるように、前記判定条件を決定することを特徴とする構成８に記載の画像処理装置。
（構成１０）
前記判定手段は、前記入力画像を撮像した撮像センサの感度が高いほど、前記赤外光の影響が小さい場合の前記判定条件との差が大きくなるように、前記判定条件を決定することを特徴とする構成８または９に記載の画像処理装置。
（構成１１）
前記判定手段は、前記第１のホワイトバランス制御値が所定の有効範囲に含まれる場合には当該第１のホワイトバランス制御値が有効であると判定し、または、前記第１のホワイトバランス制御値が前記所定の有効範囲に含まれない場合には当該第１のホワイトバランス制御値が有効でないと判定することを特徴とする構成３に記載の画像処理装置。
（構成１２）
前記判定手段は、前記赤外光の影響が大きいほど、前記赤外光の影響が小さい場合と比較して、前記所定の有効範囲が小さくなるように、前記判定条件を決定することを特徴とする構成１１に記載の画像処理装置。
(構成１３）
前記設定手段は、前記判定手段において前記第１のホワイトバランス制御値が有効であると判定された場合には、当該第１のホワイトバランス制御値とは異なり、かつ前記所定の有効範囲に含まれるホワイトバランス制御値を設定することを特徴とする構成１１に記載の画像処理装置。
（構成１４）
前記設定手段は、前記判定手段において前記第１のホワイトバランス制御値が有効でないと判定された場合には、前記所定の有効範囲に含まれるホワイトバランス制御値を設定することを特徴とする構成１１に記載の画像処理装置。
（構成１５）
前記設定手段は、前記所定の有効範囲を第１の領域から第２の領域に変更するタイミングにおいて、前記第１の領域と前記第２の領域との共通領域に含まれるホワイトバランス制御値を設定することを特徴とする構成１１乃至１４のいずれか１構成に記載の画像処理装置。
（構成１６）
前記判定手段は、前記検知手段の検知結果が変化したタイミングにおいて、前記所定の有効範囲に含まれない前記第１のホワイトバランス制御値を有効であると判定することを特徴とする構成１１乃至１５のいずれか１構成に記載の画像処理装置。
（構成１７）
前記設定手段は、前記検知手段の検知結果が変化したタイミングにおいて、前記所定の有効範囲に含まれない前記第１のホワイトバランス制御値が有効であると判定されてから、再度、前記検知手段の検知結果が変化するまでの間では、前記検知手段の検知結果が変化したタイミングにおいて算出された、前記所定の有効範囲に含まれない前記第１のホワイトバランス制御値を設定することを特徴とする構成１６に記載の画像処理装置。
（構成１８）
前記算出手段は、前記検知手段の検知結果が変化したタイミングにおいて、前記検知手段の検知結果が変化しない期間とは異なる方法で、第１のホワイトバランス制御値を算出することを特徴とする構成１６または１７に記載の画像処理装置。
（構成１９）
前記算出手段は、前記検知手段の検知結果が変化したタイミングにおいて、前記入力画像に含まれる被写体が無彩色である場合に算出されるホワイトバランス制御値を、前記第１のホワイトバランス制御値として算出することを特徴とする構成１８に記載の画像処理装置。
(構成２０）
前記設定手段は、ホワイトバランス制御値を変更する場合には、ホワイトバランス制御値を時間的に緩やか変化させるようにすることを特徴とする構成１乃至１９のいずれか１構成に記載の画像処理装置。
（構成２１）
前記設定手段は、前記入力画像に対して前記ホワイトバランス制御値を適用して、前記入力画像のホワイトバランスを制御した出力画像を生成する適用手段をさらに備えることを特徴とする構成１乃至２０のいずれか１構成に記載の画像処理装置。
（構成２２）
有彩色の画像を無彩色の画像に変換する色変換手段をさらに備え、
前記設定手段は、前記入力画像の色に対する赤外光の影響の大きさに基づいて、前記出力画像を有彩色とするか無彩色とするかを決定することを特徴とする構成２１に記載の画像処理装置。
（構成２３）
前記設定手段は、前記入力画像に含まれる画素毎の明るさを算出し、前記明るさが所定値以上の画素に対しては第３のホワイトバランス制御値を適用することを特徴とする構成２１に記載の画像処理装置。
（構成２４）
前記明るさが所定値以上の画素に対して適用される前記第３のホワイトバランス制御値は、所定の色温度に対応したホワイトバランス制御値であることを特徴とする構成２３に記載の画像処理装置。
（構成２５）
前記算出手段は、前記赤外光の影響を受けている入力画像に基づいて、前記第１のホワイトバランス制御値を算出することを特徴とする構成１乃至２４のいずれか１構成に記載の画像処理装置。
（方法１）
画像処理装置が実行する画像処理方法であって、
入力画像の色に対する赤外光の影響を補正する際の補正強度を決定する調整ステップと、
入力画像に基づいて第１のホワイトバランス制御値を算出する算出ステップと、
前記第１のホワイトバランス制御値が有効か否かを判定する判定ステップと、
前記判定ステップでの判定結果に基づいて、第２のホワイトバランス制御値を設定する設定ステップと、を備え、
前記判定ステップでは、前記調整ステップで決定した補正強度に基づいて、前記第１のホワイトバランス制御値が有効か否かを判定するための判定条件を決定することを特徴とする画像処理方法。
（方法２）
画像処理装置が実行する画像処理方法であって、
入力画像の色に対する赤外光の影響を検知する検知ステップと、
入力画像の色に対する赤外光の影響を補正する際の補正強度を決定する調整ステップと、
入力画像に基づいて第１のホワイトバランス制御値を算出する算出ステップと、
前記第１のホワイトバランス制御値が有効か否かを判定する判定ステップと、
前記判定ステップでの判定結果に基づいて、第２のホワイトバランス制御値を設定する設定ステップと、
前記第１のホワイトバランス制御値を補正する補正ステップと、を備え、
前記判定手段は、前記検知ステップでの検知結果、および、前記調整ステップで決定した補正強度に基づいて、前記第１のホワイトバランス制御値が有効か否かを判定するための判定条件を決定し、
前記補正ステップでは、前記調整ステップで決定した補正強度、または、前記判定ステップで決定した判定条件の、少なくとも一方に基づいて、前記第１のホワイトバランス制御値を補正することを特徴とする画像処理方法。
（プログラム１）
コンピュータを、構成１乃至２５のいずれか１構成に記載の画像処理装置として機能させるためのプログラム。

１０１：特徴量取得部、１０２：ゲイン算出部、１０３：赤外光検知部、１０４：ゲイン判定部、１０５：ゲイン決定部、１０６：ゲイン乗算部

Claims (29)

1. 入力画像の色に対する赤外光の影響を補正する際の補正強度を決定する調整手段と、
   入力画像に基づいて第１のホワイトバランス制御値を算出する算出手段と、
   前記第１のホワイトバランス制御値が有効か否かを判定する判定手段と、
   前記判定手段の判定結果に基づいて、第２のホワイトバランス制御値を設定する設定手段と、を備え、
   前記判定手段は、前記調整手段が決定した補正強度に基づいて、前記第１のホワイトバランス制御値が有効か否かを判定するための判定条件を決定することを特徴とする画像処理装置。
2. 前記第１のホワイトバランス制御値を補正する補正手段をさらに備え、
   前記補正手段は、前記調整手段が決定した補正強度、または、前記判定手段が決定した判定条件の、少なくとも一方に基づいて、前記第１のホワイトバランス制御値を補正することを特徴とする請求項１に記載の画像処理装置。
3. 入力画像の色に対する赤外光の影響を検知する検知手段と、
   入力画像の色に対する赤外光の影響を補正する際の補正強度を決定する調整手段と、
   入力画像に基づいて第１のホワイトバランス制御値を算出する算出手段と、
   前記第１のホワイトバランス制御値が有効か否かを判定する判定手段と、
   前記判定手段の判定結果に基づいて、第２のホワイトバランス制御値を設定する設定手段と、
   前記第１のホワイトバランス制御値を補正する補正手段と、を備え、
   前記判定手段は、前記検知手段の検知結果、および、前記調整手段が決定した補正強度に基づいて、前記第１のホワイトバランス制御値が有効か否かを判定するための判定条件を決定し、
   前記補正手段は、前記調整手段が決定した補正強度、または、前記判定手段が決定した判定条件の、少なくとも一方に基づいて、前記第１のホワイトバランス制御値を補正することを特徴とする画像処理装置。
4. 前記設定手段は、前記判定手段において前記第１のホワイトバランス制御値が有効であると判定された場合には、当該第１のホワイトバランス制御値を設定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記設定手段は、前記判定条件に基づいて、前記第２のホワイトバランス制御値を設定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
6. 前記検知手段は、前記入力画像が、赤外光カットフィルタを透過した光から得られた画像であるか否かに応じて前記赤外光の影響を検知することを特徴とする請求項３に記載の画像処理装置。
7. 前記検知手段は、前記入力画像が撮影された環境の照度に応じて前記赤外光の影響を検知することを特徴とする請求項３に記載の画像処理装置。
8. 前記検知手段は、前記入力画像の色に対する赤外光の影響の大きさを検知し、
   前記判定手段は、前記赤外光の影響の大きさに応じて前記判定条件を決定することを特徴とする請求項３に記載の画像処理装置。
9. 前記判定手段は、前記赤外光の影響が大きいほど、前記赤外光の影響が小さい場合の前記判定条件との差が大きくなるように、前記判定条件を決定することを特徴とする請求項８に記載の画像処理装置。
10. 前記判定手段は、前記入力画像を撮像した撮像センサの感度が高いほど、前記赤外光の影響が小さい場合の前記判定条件との差が大きくなるように、前記判定条件を決定することを特徴とする請求項８または９に記載の画像処理装置。
11. 前記判定手段は、前記第１のホワイトバランス制御値が所定の有効範囲に含まれる場合には当該第１のホワイトバランス制御値が有効であると判定し、または、前記第１のホワイトバランス制御値が前記所定の有効範囲に含まれない場合には当該第１のホワイトバランス制御値が有効でないと判定することを特徴とする請求項３に記載の画像処理装置。
12. 前記判定手段は、前記赤外光の影響が大きいほど、前記赤外光の影響が小さい場合と比較して、前記所定の有効範囲が小さくなるように、前記判定条件を決定することを特徴とする請求項１１に記載の画像処理装置。
13. 前記設定手段は、前記判定手段において前記第１のホワイトバランス制御値が有効であると判定された場合には、当該第１のホワイトバランス制御値とは異なり、かつ前記所定の有効範囲に含まれるホワイトバランス制御値を設定することを特徴とする請求項１１に記載の画像処理装置。
14. 前記設定手段は、前記判定手段において前記第１のホワイトバランス制御値が有効でないと判定された場合には、前記所定の有効範囲に含まれるホワイトバランス制御値を設定することを特徴とする請求項１１に記載の画像処理装置。
15. 前記設定手段は、前記所定の有効範囲を第１の領域から第２の領域に変更するタイミングにおいて、前記第１の領域と前記第２の領域との共通領域に含まれるホワイトバランス制御値を設定することを特徴とする請求項１１に記載の画像処理装置。
16. 前記判定手段は、前記検知手段の検知結果が変化したタイミングにおいて、前記所定の有効範囲に含まれない前記第１のホワイトバランス制御値を有効であると判定することを特徴とする請求項１１に記載の画像処理装置。
17. 前記設定手段は、前記検知手段の検知結果が変化したタイミングにおいて、前記所定の有効範囲に含まれない前記第１のホワイトバランス制御値が有効であると判定されてから、再度、前記検知手段の検知結果が変化するまでの間では、前記検知手段の検知結果が変化したタイミングにおいて算出された、前記所定の有効範囲に含まれない前記第１のホワイトバランス制御値を設定することを特徴とする請求項１６に記載の画像処理装置。
18. 前記算出手段は、前記検知手段の検知結果が変化したタイミングにおいて、前記検知手段の検知結果が変化しない期間とは異なる方法で、第１のホワイトバランス制御値を算出することを特徴とする請求項１６または１７に記載の画像処理装置。
19. 前記算出手段は、前記検知手段の検知結果が変化したタイミングにおいて、前記入力画像に含まれる被写体が無彩色である場合に算出されるホワイトバランス制御値を、前記第１のホワイトバランス制御値として算出することを特徴とする請求項１８に記載の画像処理装置。
20. 前記設定手段は、ホワイトバランス制御値を変更する場合には、ホワイトバランス制御値を時間的に緩やか変化させるようにすることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
21. 前記設定手段は、前記入力画像に対して前記ホワイトバランス制御値を適用して、前記入力画像のホワイトバランスを制御した出力画像を生成する適用手段をさらに備えることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
22. 有彩色の画像を無彩色の画像に変換する色変換手段をさらに備え、
    前記設定手段は、前記入力画像の色に対する赤外光の影響の大きさに基づいて、前記出力画像を有彩色とするか無彩色とするかを決定することを特徴とする請求項２１に記載の画像処理装置。
23. 前記設定手段は、前記入力画像に含まれる画素毎の明るさを算出し、前記明るさが所定値以上の画素に対しては第３のホワイトバランス制御値を適用することを特徴とする請求項２１に記載の画像処理装置。
24. 前記明るさが所定値以上の画素に対して適用される前記第３のホワイトバランス制御値は、所定の色温度に対応したホワイトバランス制御値であることを特徴とする請求項２３に記載の画像処理装置。
25. 前記算出手段は、前記赤外光の影響を受けている入力画像に基づいて、前記第１のホワイトバランス制御値を算出することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
26. 画像処理装置が実行する画像処理方法であって、
    入力画像の色に対する赤外光の影響を補正する際の補正強度を決定する調整ステップと、
    入力画像に基づいて第１のホワイトバランス制御値を算出する算出ステップと、
    前記第１のホワイトバランス制御値が有効か否かを判定する判定ステップと、
    前記判定ステップでの判定結果に基づいて、第２のホワイトバランス制御値を設定する設定ステップと、を備え、
    前記判定ステップでは、前記調整ステップで決定した補正強度に基づいて、前記第１のホワイトバランス制御値が有効か否かを判定するための判定条件を決定することを特徴とする画像処理方法。
27. 画像処理装置が実行する画像処理方法であって、
    入力画像の色に対する赤外光の影響を検知する検知ステップと、
    入力画像の色に対する赤外光の影響を補正する際の補正強度を決定する調整ステップと、
    入力画像に基づいて第１のホワイトバランス制御値を算出する算出ステップと、
    前記第１のホワイトバランス制御値が有効か否かを判定する判定ステップと、
    前記判定ステップでの判定結果に基づいて、第２のホワイトバランス制御値を設定する設定ステップと、
    前記第１のホワイトバランス制御値を補正する補正ステップと、を備え、
    前記判定ステップでは、前記検知ステップでの検知結果、および、前記調整ステップで決定した補正強度に基づいて、前記第１のホワイトバランス制御値が有効か否かを判定するための判定条件を決定し、
    前記補正ステップでは、前記調整ステップで決定した補正強度、または、前記判定ステップで決定した判定条件の、少なくとも一方に基づいて、前記第１のホワイトバランス制御値を補正することを特徴とする画像処理方法。
28. コンピュータを、
    入力画像の色に対する赤外光の影響を補正する際の補正強度を決定する調整手段と、
    入力画像に基づいて第１のホワイトバランス制御値を算出する算出手段と、
    前記第１のホワイトバランス制御値が有効か否かを判定する判定手段と、
    前記判定手段の判定結果に基づいて、第２のホワイトバランス制御値を設定する設定手段として機能させ、
    前記判定手段では、前記調整手段が決定した補正強度に基づいて、前記第１のホワイトバランス制御値が有効か否かを判定するための判定条件を決定するプログラム。
29. コンピュータを、
    入力画像の色に対する赤外光の影響を検知する検知手段と、
    入力画像の色に対する赤外光の影響を補正する際の補正強度を決定する調整手段と、
    入力画像に基づいて第１のホワイトバランス制御値を算出する算出手段と、
    前記第１のホワイトバランス制御値が有効か否かを判定する判定手段と、
    前記判定手段の判定結果に基づいて、第２のホワイトバランス制御値を設定する設定手段と、
    前記第１のホワイトバランス制御値を補正する補正手段として機能させ、
    前記判定手段は、前記検知手段の検知結果、および、前記調整手段が決定した補正強度に基づいて、前記第１のホワイトバランス制御値が有効か否かを判定するための判定条件を決定し、
    前記補正手段では、前記調整手段が決定した補正強度、または、前記判定手段が決定した判定条件の、少なくとも一方に基づいて、前記第１のホワイトバランス制御値を補正するプログラム。

Images