JP2022135677A - 画像処理装置、その制御方法及びプログラム - Google Patents

Abstract

【課題】記録する静止画について光源による色味を低減させる場合であっても、ＥＶＦの表示について光源による色味を肉眼での見え方に近づけることが可能な画像処理装置を提供する。【解決手段】本開示に係る画像処理装置は、撮像手段で得られる画像を取得する取得手段と、画像を静止画として記録するために適用されるホワイトバランスに関する記録モードと、静止画の撮影前の画像を表示手段に表示するために適用されるホワイトバランスに関する表示モードとを設定可能な設定手段と、撮像手段で得られる画像に対するホワイトバランスの補正を制御する制御手段と、を有する。このとき、制御手段は、表示モードのうちの第一の表示モードが設定された場合、第一の表示モードにおいて静止画の撮影前の画像に対するホワイトバランスの補正によって残る光源色の量を、記録モードにおいて静止画に対するホワイトバランスの補正によって残る光源色の量よりも多くする。【選択図】図７

Description

本発明は、画像処理装置、その制御方法及びプログラムに関する。

従来、光学ファインダの代わりに電子ビューファインダ（ＥＶＦ）を搭載したミラーレスカメラが知られている。このようなカメラでは、記録される静止画に適用されるものと同じ画像処理パラメータをＥＶＦに表示される画像に適用することで、撮影者が静止画の仕上がりを撮影前に確認することができる。

一方、ＥＶＦに表示される画像に、記録される静止画に適用するものと同じ画像処理パラメータを適用すると、撮影者が撮影時の環境で実際に肉眼で見えている色味とは異なる場合がある。このため、光学ファインダを用いた撮影に慣れた撮影者にとっては、ＥＶＦに表示される画像が違和感のある画像となる場合がある。具体的には、オートホワイトバランス機能を用いて撮影する場合、電球色光源の赤味や日陰の青味などは、肉眼よりも光源色の雰囲気を残さない方向に補正して静止画を記録するほうが記録画像が良好に見える場合がある。そこで、記録される静止画に適用されるホワイトバランス補正値をＥＶＦで表示される画像に適用すると、ＥＶＦに表示される画像の見え方と肉眼で被写体を見ている際の見え方とが大きく乖離してしまう場合がある。

オートホワイトバランス機能を用いて静止画を記録する技術を提案する文献として特許文献１が知られている。特許文献１では、オートホワイトバランス機能を用いて静止画を記録する際に、静止画に適用するオートホワイトバランスにおける補正の度合いを撮影者が手動で設定し、光源色の雰囲気が残る度合いを所望に設定する技術を提案している。

特開２００２－２１８４９５号公報

特許文献１に係る技術をＥＶＦにおける表示と併用して、ＥＶＦに表示する画像の色味を肉眼の見え方に合わせる（光源色の雰囲気が残る度合いを多くする）場合、表示する画像も記録される静止画も光源色が多く残った画像となってしまうことが考えられる。すなわち、記録する静止画について光源による色味を低減させつつ、更にＥＶＦの表示について光源の色味を制御する技術が望まれる。

本発明は、上記課題に鑑みてなされ、記録する静止画について光源による色味を低減させる場合であっても、ＥＶＦの表示について光源による色味を肉眼での見え方に近づけることが可能な技術を実現することである。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、撮像手段で得られる画像を取得する取得手段と、前記画像を静止画として記録するために適用されるホワイトバランスに関する記録モードと、前記静止画の撮影前の前記画像を表示手段に表示するために適用されるホワイトバランスに関する表示モードとを設定可能な設定手段と、前記撮像手段で得られる画像に対するホワイトバランスの補正を制御する制御手段と、を有し、前記制御手段は、前記表示モードのうちの第一の表示モードが設定された場合、前記第一の表示モードにおいて前記静止画の撮影前の前記画像に対するホワイトバランスの補正によって残る光源色の量を、前記記録モードにおいて前記静止画に対するホワイトバランスの補正によって残る光源色の量よりも多くする、ことを特徴とする。

本発明によれば、記録する静止画について光源による色味を低減させる場合であっても、ＥＶＦの表示について光源による色味を肉眼での見え方に近づけることが可能になる。

実施形態１に係る画像処理装置の一例としてのデジタルカメラの機能構成例を示すブロック図 実施形態１に係るホワイトバランス制御部の機能構成例を示すブロック図 実施形態１に係る撮像処理に係る一連の動作を示すフローチャート 実施形態１に係るホワイトバランス補正値の算出処理の一連の動作を示すフローチャート 実施形態１に係る白検出範囲を説明する図 実施形態１に係るリミッタ制御枠を説明する図 実施形態１に係るリミッタ制御枠の制御について説明する図 実施形態１に係るホワイトバランスモードの各組み合わせにおける、光源色の残り方の関係を説明する図 実施形態２に係るホワイトバランス制御部の機能構成例を示すブロック図 実施形態２に係るホワイトバランス補正値の算出処理の一連の動作を示すフローチャート

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

以下では画像処理装置の一例として、静止画を撮影可能なデジタルカメラを用いる例を説明する。しかし、本実施形態は、静止画を撮影可能なデジタルカメラに限らず、動画を撮影可能なデジタルカメラのほか、撮影可能な携帯電話機、撮影可能なコンピュータなど、撮影可能な任意の電子機器に適用可能である。

（実施形態１）
（デジタルカメラの構成）
図１は、本実施形態の画像処理装置の一例としてのデジタルカメラの機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＧＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。以下で説明される処理は、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体となって実現されうる。

光学系１０１は、例えばレンズ、シャッター、絞りから構成されており、被写体の光学像で撮像素子１０２を露光する。光学系１０１は、中央演算装置（以降、ＣＰＵ）１０３と通信可能に構成され、焦点距離、シャッター速度、絞り値などの情報をＣＰＵ１０３へ伝達する。

撮像素子１０２は、例えばＣＣＤイメージセンサ或いはＣＭＯＳイメージセンサなどで構成され、撮像手段として機能する。撮像素子１０２は例えばＲＧＢのべイヤー配列等で構成され、光学系１０１により結像された光学像を画素ごとの輝度情報に変換する。輝度情報は、不図示のＡＤ変換器を通してデジタル化されて、現像処理前のＲＡＷデータとして一次記憶装置１０４に記憶される。なお、撮像素子１０２の電気的利得（以降、ＩＳＯ感度）は、ＣＰＵ１０３によって設定される。

測光装置１０５は、ＲＡＷデータを複数の測光領域に分割し、光学系１０１により入射した光量から領域ごとの被写体輝度を検出する。測光装置１０５は、検出した被写体輝度のデータをＣＰＵ１０３へ伝達する。

ＣＰＵ１０３は、デジタルカメラ１００の制御手段として機能する。ＣＰＵ１０３は、他の構成要素から入力された信号や二次記憶装置１０８等に予め記憶されたプログラムに従って、デジタルカメラ１００を構成する各部を制御することで、デジタルカメラ１００の各種機能を実現させる。

一次記憶装置１０４は、例えばＲＡＭのような揮発性の記憶媒体であり、ＣＰＵ１０３により作業用メモリとして使用される。また、一次記憶装置１０４に記憶される情報は、画像処理装置１０６で利用されたり、記録媒体１０７へ記録されたりする場合もある。

二次記憶装置１０８は、例えばＥＥＰＲＯＭのような不揮発性の記憶装置であり、デジタルカメラ１００を制御するためのプログラム（ファームウェアやアプリケーション）や各種の設定情報を記憶する。二次記憶装置１０８に記憶されるプログラムは、ＣＰＵ１０３によって読み出されて実行される。また、二次記憶装置１０８に記憶される設定情報もＣＰＵ１０３によって読み出されて利用される。本実施形態で使用される後述の画像処理用の各種設定値も二次記憶装置１０８に記憶される。

記録媒体１０７は、例えば半導体メモリのような不揮発性の記憶媒体であり、一次記憶装置１０４に記憶されている撮影により得られた画像データなどを記録する。なお、記録媒体１０７は、例えば半導体メモリカードのようにデジタルカメラ１００から着脱可能に構成されてもよい。この場合、記録媒体１０７に記録されたデータはパーソナルコンピュータなど他の機器で読み出し可能である。このようにデジタルカメラ１００は、記録媒体１０７の着脱機構及び読み書き機能の少なくともいずれかを有してよい。

表示部１０９は、表示手段として機能し、撮影時のビューファインダー画像、撮影画像、対話的な操作のためのＧＵＩ画像などを表示する。表示部１０９は、複数の表示パネルを含んでよく、例えば、ビューファインダー画像と撮像画像とは異なる表示パネルに表示されてよい。

操作部１１０は、ユーザの操作を受け付けてＣＰＵ１０３へ入力情報を伝達する入力デバイス群であり、例えばボタン、レバー、タッチパネル等はもちろん、音声や視線などを用いた入力機器であっても良い。また撮影開始を行うレリーズボタンもこの操作部１１０に含まれる。なお、本実施形態のデジタルカメラ１００は、画像処理装置１０６が撮像画像に適用する画像処理のパターンを複数有し、パターンを撮像モードとして操作部１１０から設定可能である。

画像処理装置１０６は、現像前のＲＡＷデータに対して、ホワイトバランス処理、ＲＧＢベイヤー配列の信号をＲＧＢの３プレーン信号に変換するための色補間処理、ガンマ補正処理、彩度補正、色相補正などのいわゆる現像処理と呼ばれる画像処理を施こす。なお、本実施形態にあるホワイトバランスの演算も画像処理装置１０６が行う。なお、画像処理装置１０６の機能の少なくとも一部は、ＣＰＵ１０３がプログラムを実行することにより実現されても良い。

（画像処理装置の構成）
次に、図２を参照して、ホワイトバランス処理を行うホワイトバランス制御部２００の構成例について説明する。図２に示すホワイトバランス制御部２００は、例えば画像処理装置１０６に含まれる。本実施形態のデジタルカメラ１００は、ホワイトバランス制御部２００を有することにより、撮影シーンの光源に応じてホワイトバランスを自動的に演算するオートホワイトバランス機能を実現する。

ホワイトバランス制御部２００は、オートホワイトバランスの演算を行う回路或いはソフトウェアモジュールで構成される。ホワイトバランス制御部２００は、ブロック分割部２０１、白判定部２０２、ホワイトバランス補正値制限部２０３、ホワイトバランス補正値算出部２０４から構成されており、各ブロックの処理の詳細については後述する。

本実施形態のデジタルカメラ１００は、表示部１０９に静止画撮影前の画像をビューファインダー画像として表示する際の動作モードとして、以下の２つの表示モードを含む。１つ目の表示モードは、ビューファインダー画像が静止画撮影と同等の仕上がりになる、露出制御や、ホワイトバランス、ガンマ補正、色補正処理などの画像処理制御を行うモード（静止画記録同等表示モードという）である。２つ目の表示モードは、静止画記録の仕上がりとは異なり、ビューファインダー画像が肉眼の見えに近い仕上がりになる、露出制御や、ホワイトバランス、ガンマ補正、色補正処理などの画像処理制御を行うモード（肉眼の見え方同等表示モードという）である。これら２つの表示モードでは異なるオートホワイトバランスの演算を行う。２つの表示モードの詳細については後述する。

更に、デジタルカメラ１００は、２つの表示モードとは別に、静止画として記録される画像に適用するオートホワイトバランスのモードとして２つのモードを有する。１つ目の静止画記録用のモードは、静止画に適用するオートホワイトバランスにおける光源色の雰囲気を残す度合い（光源色の残る量ともいう）が少なくなるように制御するモード（ホワイト優先モードという）である。２番目の静止画記録用のモードは、静止画に適用される、光源色の残る量を、ホワイト優先モードの場合よりも多くするモード（雰囲気優先モードという）である。

画像処理装置１０６は、静止画記録同等表示モードが設定されている場合、設定されている記録モード（ホワイト優先モード又は雰囲気優先モード）と同等のオートホワイトバランス演算を、表示部１０９に表示する画像に対して行う。これにより、デジタルカメラ１００は、静止画記録同等表示モードでは、ホワイト優先モード又は雰囲気優先モードで表示部１０９に出力する静止画と同等の色味の画像（ビューファインダー画像）を出力することができる。

一方、画像処理装置１０６は、肉眼の見え方同等表示モードが設定されている場合、設定されている記録モード（ホワイト優先モード又は雰囲気優先モード）によらないオートホワイトバランスの演算を行う。例えば、画像処理装置１０６は、記録モードとは無関係に、雰囲気優先モードの場合によりも光源色を残すためのオートホワイトバランスの演算を、表示部１０９に表示する画像に対して行う。これにより、デジタルカメラ１００は、ユーザ（すなわち撮影者）が肉眼で見ている環境光源の色に近い色味の画像を表示部１０９に出力することができる。

（撮像による画像記録の一連の動作）
次に、図３を参照して、撮像による画像記録の一連の動作について説明する。なお、本処理は、ＣＰＵ１０３が二次記憶装置１０８に記憶されたプログラムを一次記憶装置１０４に展開、実行すると共に、撮像素子１０２や画像処理装置１０６等（内部の構成要素を含む）を動作させることにより実現される。

Ｓ３０１で、ＣＰＵ１０３は、操作部１１０から撮影に関するユーザ入力を受け付ける。ユーザ入力は、例えば、光学系１０１の焦点距離、シャッター速度、絞り値や、ＩＳＯ感度、露出補正量の設定、マニュアル露出、自動露出などのデジタルカメラ１００の様々な設定に関する入力を含む。また、表示モード（静止画記録同等表示モード或いは肉眼の見え方同等表示モード）の設定や、記録モード（ホワイト優先モード或いは雰囲気優先モード）の設定も行われる。

Ｓ３０２で、ＣＰＵ１０３は、撮影に係る測光制御を行う。例えば、ＣＰＵ１０３は、Ｓ３０１において撮影の設定が自動露出モードに設定された場合、撮像素子１０２から出力される画像を水平ｎ個、垂直ｍ個の領域に分割する。ｎとｍはそれぞれ任意の整数であるが、本実施形態では、例えばｎとｍは、ともに１６である。ＣＰＵ１０３は、画像を全部で２５６個の領域に分割し、各分割領域のＲＧＢ信号を取得する。そして、ＣＰＵ１０３は、式１に従って各領域のＲＧＢ信号からＹ値を算出し、さらに領域ごとのＹ値の平均値を算出することで、被写体の明るさを算出する。
Ｙ＝３×Ｒ＋６×Ｇ＋Ｂ ・・・（式１）

被写体の明るさを算出することにより、ＣＰＵ１０３は、算出した被写体の明るさに基づいて、表示部１０９に表示する画像がユーザが指定した任意の明るさになるように、ＩＳＯ感度、シャッター速度、絞り値を制御することができる。

Ｓ３０３で、ＣＰＵ１０３は、撮影のための設定を調節する。例えば、ＣＰＵ１０３は、Ｓ３０１で受け付けた設定情報やＳ３０２で算出した被写体の明るさに基づいて、光学系１０１の焦点距離、シャッター速度、絞り値や、撮像素子１０２のＩＳＯ感度などの設定を調節する。なお、Ｓ３０１でマニュアル露出モードが設定されている場合、ユーザが指定したＩＳＯ感度、シャッター速度、絞り値で露出を制御する。ただし、ＣＰＵ１０３は、表示モードが肉眼の見え方同等表示モードに設定されている場合には、マニュアル露出モードが設定されていても、表示部１０９に表示する画像は自動露出モードとなるように動作する。その際、ＣＰＵ１０３は、後述のＳ３１０の静止画記録時の露出については、マニュアル露出設定としてユーザが指定した設定で撮影する。

Ｓ３０４で、ＣＰＵ１０３は、撮像のために撮像素子１０２を制御する。例えば、ＣＰＵ１０３は、Ｓ３０３で調節した撮影のための設定情報に基づいて、（ＩＳＯ感度などの）撮像素子１０２の設定を更に調節し、撮像処理を行う。Ｓ３０５で、ＣＰＵ１０３は、フォーカスの制御を行う。例えば、ＣＰＵ１０３は、撮像された画像をもとにコントラストが最も高くなるピント位置でフォーカスを合わせる自動フォーカス制御を実行する。自動フォーカス制御は既知の方法で行うことができる。なお、上述のＳ３０２～Ｓ３０５の順番は例示であり、この順番に限定されない。Ｓ３０２～Ｓ３０５の順番は、処理に応じて順番を入れ替えられてもよい。

Ｓ３０６で、ＣＰＵ１０３は、画像処理装置１０６を用いて、撮像された画像に対するホワイトバランス補正値を算出する。ホワイトバランス補正値の算出に係る詳細については、Ｓ３１４までの一連の撮影動作の流れを説明したうえで後述する。

Ｓ３０７で、ＣＰＵ１０３は、現像処理を実行する。例えば、ＣＰＵ１０３は、画像処理装置１０６を制御して、Ｓ３０６で算出したホワイトバランス補正値を用いたホワイトバランス補正処理、色補間処理、ガンマ補正処理、彩度補正処理、色相補正処理などの現像処理を行う。そして、Ｓ３０８で、ＣＰＵ１０３は、Ｓ３０７で現像した画像を表示部１０９に表示する。

Ｓ３０９で、ＣＰＵ１０３は、操作部１１０によるユーザの静止画撮影開始指示がされたかどうかを判定する。ＣＰＵ１０３は、例えば、操作部１１０で受け付けたユーザ入力に基づき撮影指示がされていないと判定した場合、処理をＳ３０２に戻して、Ｓ３０２からＳ３０８の動作を繰り返す。一方、ＣＰＵ１０３は、操作部１１０で受け付けたユーザ入力に基づき撮影指示がされたと判定した場合、処理をＳ３１０に進めて、静止画撮影用の制御に移行する。

Ｓ３１０で、ＣＰＵ１０３は、静止画撮影用のＩＳＯ感度、シャッター速度、絞り値の設定に基づいて、静止画を撮影する。なお、ＣＰＵ１０３は、マニュアル露出モードが設定されている場合には、ここで設定されるＩＳＯ感度、シャッター速度、絞り値を、Ｓ３０２で算出した設定値と同一としてよい。また、自動露出モードが設定されている場合には、ＣＰＵ１０３は、上記ＩＳＯ感度等を、Ｓ３０２で算出した設定値と同一にしても良いし、或いはＳ３０２の測光制御の算出時に静止画用の設定を別に算出するようにして、当該算出した設定値を用いても良い。Ｓ３１１で、ＣＰＵ１０３は、Ｓ３１０で撮影された画像を一次記憶装置１０４に記憶する。

Ｓ３１２で、ＣＰＵ１０３は、Ｓ３１１で一次記憶装置１０４に記憶された画像に対するホワイトバランス補正値を算出する。このホワイトバランス補正値の算出では、記録モードであるホワイト優先モードまたは雰囲気優先モードのいずれかが設定されているモードに対応したホワイトバランス補正値が算出される。その詳細については後述する。

Ｓ３１３で、ＣＰＵ１０３は、現像処理を実行する。例えば、ＣＰＵ１０３は、画像処理装置１０６を制御して、Ｓ３１２で算出したホワイトバランス補正値を用いたホワイトバランス補正処理、色補間処理、ガンマ補正処理、彩度補正処理、色相補正処理などの現像処理を行う。そして、Ｓ３１４で、ＣＰＵ１０３は、記録媒体１０７にＳ３１３で現像した画像を記録する。ＣＰＵ１０３は、その後、本一連の動作を終了する。

（ホワイトバランス補正値の算出処理）
次に、上述したホワイトバランス補正値の算出処理（Ｓ３０６及びＳ３１２）の詳細について、図４を参照して説明する。なお、本処理は、ＣＰＵ１０３が二次記憶装置１０８に記憶されているプログラムを実行することにより実現され、或いは、ＣＰＵ１０３が画像処理装置１０６を制御することにより実現される。

Ｓ４０１で、ＣＰＵ１０３は、画像処理装置１０６のブロック分割部２０１により、撮像された画像をブロック領域に分割する。例えば、ＣＰＵ１０３は、ブロック分割部２０１を用いて、撮像された画像を水平ｎ個、垂直ｍ個の領域に分割する。ｎ、ｍはそれぞれ任意の整数であってよいが、例えば本実施形態ではｎ、ｍをともに１６とする。すなわち、ブロック分割部２０１は画像を全部で２５６個の領域に分割する。なお、以下の説明ではこの分割領域をブロック分割領域という。

Ｓ４０２で、ＣＰＵ１０３は、各ブロック分割領域内のＲ、Ｇ、Ｂ信号の平均値Rave,Gave,Baveを、以下の式２に従って取得する。
Rave = Rall / Rcount
Gave = Gall / Gcount ・・・（式２）
Bave = Ball / Bcount

ここで、Rall,Gall,Ballは、各ブロック分割領域内のＲ、Ｇ、Ｂ信号それぞれの積分値である。また、Rcount,Gcount,Bcountはそれぞれ、各ブロック分割領域内のＲ、Ｇ、Ｂ信号それぞれの個数である。

Ｓ４０３で、ＣＰＵ１０３は、各ブロック分割領域内のＧ信号で正規化したＲ、Ｂ信号（それぞれＲ／Ｇ、Ｂ／Ｇ値）を、式３に従って算出する。
R/G = Rave / Gave
B/G = Bave / Gave ・・・（式３）

Ｓ４０４で、ＣＰＵ１０３は、画像処理装置１０６の白判定部２０２を用いて白判定処理を行う。具体的には、白判定部２０２は、各ブロック領域のＲ／Ｇ、Ｂ／Ｇ値について、図５に示す白検出範囲９０７内にプロットされるブロックを抽出する。ここで、図５を参照して、白検出範囲９０７の詳細について説明する。

図５に示す５０１は、ｘ軸をＲ／Ｇ、ｙ軸をＢ／Ｇとした場合の黒体輻射軌跡（黒体放射軌跡ともいう）上の光源のプロット位置を示している。また５０２から５０７は一例として各種光源が図５に示す座標のどこにプロットされるかを模式的に示している。５０２は太陽光（約５２００ケルビン（以下Ｋ））、５０３は日陰（約７０００Ｋ）、５０４は電球色光源（約２８００Ｋ）、５０５は白色蛍光灯、５０６は昼白色蛍光灯、５０７は昼光色蛍光灯のプロット位置の例を表している。白検出範囲９０７は、５０２から５０７に示す黒体輻射軌跡上の光源や蛍光灯光源を含むように設定される。このように白検出範囲９０７を設定することで、既知のオートホワイトバランスの手法により、画像領域内の光源色の可能性がある画素を抽出し、その画素値が無彩色になるようにすることでホワイトバランスを補正することができる。

次に、白判定部２０２は、白検出範囲９０７内にプロットされたブロックについて、ブロックのＲＧＢ信号の平均値Rave, Gave, Baveの平均値RaveAll, GaveAll, BaveALLを式４に従って算出する。
RaveALL = （抽出されたブロックのRave積分値）/ （抽出されたブロック個数）
GaveALL = （抽出されたブロックのGave積分値）/ （抽出されたブロック個数）
BaveALL = （抽出されたブロックのBave積分値）/ （抽出されたブロック個数）
・・・（式４）

なお、白判定部２０２は、白検出範囲９０７内にプロットされたブロックが１つも存在しない場合には、全てのブロックのＲＧＢ信号の平均値Rave, Gave, Baveを用いて、平均値RaveAll, GaveAll, BaveALLを算出する。そして、白判定部２０２は、式５に従ってＧ信号で正規化したＲ、Ｂ信号であるＲ／Ｇａｌｌ、Ｂ／Ｇａｌｌを算出する。
R/Gall = RaveALL / GaveALL
B/Gall = BaveALL / GaveALL ・・・（式５）

ここまでの処理により、Ｇ信号で正規化された１組のＲ、Ｂ信号（すなわち、Ｂ／ＧとＲ／Ｇによる平面内の１点）が算出される。白判定部２０２は、Ｓ４０２である白判定処理を終了する。

なお、本実施形態では、上記のとおり、画像から光源色の可能性がある画素を抽出する方法を例に説明した。しかし、R/Gall, B/Gall相当の値を求める手法は、これに限らず、他の手法であってもよい。例えば、機械学習の一例としてのディープラーニングを用いて画像から直接R/Gall, B/Gall相当の値を求めるなどの方法を用いることが考えられる。例えば、画像と当該画像に対応したR/Gall, B/Gallの値との組を教師データとしてディープニューラルネットワークを学習させる。そのうえで、学習済みのディープニューラルネットワークに画像を入力することで推定されたR/Gall, B/Gallの値を得ることができる。

Ｓ４０５で、ＣＰＵ１０３は、画像処理装置１０６のホワイトバランス補正値制限部２０３により、リミッタ処理を実行する。Ｓ４０５のリミッタ処理は、Ｓ４０４で算出した１組のR/Gall, B/Gallについて、ホワイトバランスとして光源色を残すためにホワイトバランス補正値の補正量に制限をかける処理である。以下、リミッタ処理の詳細について、図６を参照して説明する。

図６（ａ）は、リミッタ処理において使用するリミッタ制御枠６０８の一例を示している。図６（ａ）の６０１は、図５に示した５０１と同じくｘ軸をＲ／Ｇ、ｙ軸をＢ／Ｇとした場合の黒体輻射軌跡上の光源のプロット位置を示している。また、６０２から６０７は、図５の５０２から５０７に示す黒体輻射軌跡上の光源や蛍光灯光源のプロット位置（順に太陽光、日陰、電球色光源、白色蛍光灯、昼白色蛍光灯、昼光色蛍光灯）を示している。

Ｓ４０４で算出したR/Gall, B/Gallがリミッタ制御枠６０８の外にプロットされる場合は、最も近いリミッタ制御枠上に乗るようにR/Gall, B/Gallを移動する。そして、リミッタ処理後のR/Gall, B/GallとなるR/Gall_Limit, B/Gall_Limitを算出する。図６（ａ）に示す例では、６０３から６０７はリミッタ制御枠６０８の外にプロットされている。従って、Ｓ４０４で算出したR/Gall,B/Gallが６０３から６０７のいずれかと同様の位置である場合には、R/Gall_Limit, B/Gall_Limitが算出されることになる。一方、６０２についてはリミッタ制御枠６０８の内側にあるため、R/Gall,B/Gallが６０２と同様の位置である場合には、このような移動処理は不要である。

このリミッタ処理が完了すると、ＣＰＵ１０３は、ホワイトバランス補正値算出部２０４により、最終的なホワイトバランス補正値（Ｒ，Ｇ，Ｂ信号にかけるゲイン）Rgain, Ggain, Bgainを、式６に従って算出する。このようにすることで、６０２の光源についてはホワイトバランス補正により光源色が残らず、６０３から６０７の光源については光源色が残る結果が得られる。
Rgain = 1 / (R/Gall_Limit)
Ggain = 1 ・・・（式６）
Bgain = 1 / (B/Gall_Limit)

ここで本実施形態に係る表示モード（静止画記録同等表示モード或いは肉眼の見え方同等表示モード）、及び記録モード（ホワイト優先モード或いは雰囲気優先モード）におけるオートホワイトバランスモードに対する光源色の残し方の処理について説明する。リミッタ制御枠６０８は、明るさに応じて領域の大きさが異なるように設定される。すなわち、リミッタ制御枠６０８は、明るくなるほど狭くなり、暗くなるほど広くなるように設定される。この明るさには、Ｓ３０２における測光制御で算出される被写体の明るさが用いられる。明るくなるほど狭く設定する理由は、明るいときは屋外の太陽光の可能性が高いため、太陽光以外をホワイトバランス補正の対象とする必要がない。そして、上述の白判定処理において被写体色を光源色と誤って検出することにより発生する、ホワイトバランスの誤補正や過補正がなされることを低減することができる。

図６（ａ）のリミッタ制御枠６０８がホワイト優先モードにおいて明るさが明るいときのリミッタ制御枠の例であるのに対し、図６（ｂ）は、ホワイト優先モードにおいて明るさが暗いときのリミッタ制御枠６０９の例を示している。明るさが暗いときは６０２から６０７の各光源がリミッタ制御枠６０９の内側に入るように設定される。これにより６０２から６０７の各光源で光源色が残らないホワイトバランス結果となる。なお、明るさが明るいときのリミッタ制御枠は、表示モード（静止画記録同等表示モード、肉眼の見え方同等表示モード）及び、記録モード（ホワイト優先モード、雰囲気優先モード）におけるオートホワイトバランスモードで共通にしてよい。一方、明るさが暗いときにはリミッタ制御枠を各モードで異ならせる。つまり、本実施形態では、明るさが明るさの閾値以上である場合には、リミッタ制御枠の色温度（すなわちホワイトバランスの補正によって残る光源色の量）を表示モード間で同等にすることができる。一方、明るさが明るさの閾値より暗い場合には、リミッタ制御枠の色温度（ホワイトバランスの補正によって残る光源色の量）をモードの間で異ならせる。このとき、明るさの閾値は、例えば後述の図７において色温度が５０００Ｋとなる明るさとすることができる。

図７（ａ）は、記録モードのホワイト優先モードにおける明るさ毎のリミッタ制御枠の低色温度側の辺の制御の例を示している。図７においてｘ軸は明るさ、ｙ軸はリミッタ制御枠の低色温度側の辺の色温度のプロット位置を示している。図７（ａ）に示す例では、被写体の明るさが明るいときには、リミッタ制御枠の色温度が５０００Ｋに設定され、暗くなるにつれて徐々に２８００Ｋまで広がる様子を示している。図７（ａ）に示す５０００Ｋは、図６（ａ）に示した、明るいときのリミッタ制御枠６０８の低色温度側の辺に対応した色温度を示す。また、図７（ａ）に示す２８００Ｋは、図６（ｂ）に示した、暗いときのリミッタ制御枠６０９の低色温度側の辺に対応した色温度を示す。リミッタ制御枠の高色温度側の辺や、黒体輻射軌跡に対する蛍光灯側（黒体輻射軌跡より原点側）の辺の制御についても、リミッタ制御枠の低色温度側の辺の制御と同様に、明るさに応じて徐々に変化するように制御することができる。

図６（ｃ）は、記録モードの雰囲気優先モードにおいて明るさが暗いときのリミッタ制御枠６１０の例を示している。雰囲気優先モードにおいて明るさが暗いときは、６０３から６０７の各光源がリミッタ制御枠６１０の少し外側になるようにリミッタ制御枠６１０が設定される。これにより、６０３から６０７の各光源で光源色が少しだけ残るホワイトバランス結果が得られるようになる。

図７（ｂ）は、雰囲気優先モードの明るさ毎のリミッタ制御枠の低色温度側の辺の制御を示した図である。図７（ｂ）は、明るさが明るいときには５０００Ｋに設定され暗くなるにつれて徐々に３２００Ｋまで広がる様子を示している。図７（ｂ）に示す５０００Ｋは、図６（ａ）に示した、明るさが明るいときのリミッタ制御枠６０８の低色温度側の辺に対応した色温度を示している。また、図７（ｂ）の３２００Ｋは、図６（ｃ）に示した、明るさが暗いときのリミッタ制御枠６１０の低色温度側の辺に対応した色温度を示している。

このように、ＣＰＵ１０３は、表示モードの静止画記録同等表示モードが選択されている場合、記録モードのホワイト優先モードまたは雰囲気優先モードのうちの設定されているモードに対応したリミッタ制御枠を設定し、ホワイトバランス補正値の演算を行う。すなわち、表示モードとして静止画記録同等表示モードが設定されている場合、画像に対するホワイトバランスの補正によって残る光源色の量を、記録モードにおいて静止画に対するホワイトバランスの補正によって残る光源色の量と同等にする。

一方、表示モードの肉眼の見え方同等表示モードが選択されている場合には、ＣＰＵ１０３は、記録モード（ホワイト優先モード及び雰囲気優先モード）で設定されるリミッタ制御枠とは異なるリミッタ制御枠を設定する。

図６（ｄ）は、肉眼の見え方同等表示モードにおいて、明るさが暗いときのリミッタ制御枠６１１を示している。肉眼の見え方同等表示モードにおいて明るさが暗いときは、リミッタ制御枠６１１は雰囲気優先モードにおいて明るさが暗いときのリミッタ制御枠６１０よりもさらに狭く設定される。これにより、６０３から６０７の光源がリミッタ制御枠から大きく離れ、６０３から６０７の各光源で光源色が大きく残るホワイトバランス結果が得られるようになる。なお、上述のように、図６（ａ）のリミッタ制御枠６０８は明るさが明るいときのリミッタ制御枠を示しており、肉眼の見え方同等表示モードにおいても、明るさが明るいときのリミッタ制御枠は２つの記録モードで共通である。

図７（ｃ）は、肉眼の見え方同等表示モードにおける明るさ毎のリミッタ制御枠の低色温度側の辺の制御を示している。図７（ｃ）は、明るいときには５０００Ｋに設定され暗くなるにつれて徐々に、例えば４５００Ｋまで広がる様子を示している。図７（ｃ）の５０００Ｋは、図６（ａ）に示した、明るさが明るいときのリミッタ制御枠６０８の低色温度側の辺に対応した色温度を示している。また、図７（ｃ）の４５００Ｋは、図６（ｄ）に示した、明るさが暗いときのリミッタ制御枠６１１の低色温度側の辺に対応した色温度を示している。このように、表示モードとして肉眼の見え方同等表示モードが設定されている場合、画像に対するホワイトバランスの補正によって残る光源色の量を、記録モードにおいて静止画に対するホワイトバランスの補正によって残る光源色の量よりも多くする。

以上のようにリミッタ制御枠を制御することで、肉眼の見え方同等表示モードではより光源色が残り、静止画記録同等表示モードで表示する際よりも肉眼の見え方に近い表示を実現することができる。

以下、肉眼の見え方同等表示モードにおける追加の処理について説明する。ビューファインダーに表示される画像の明るさは、撮影時のＩＳＯ感度を高く設定したり、シャッター速度を長くしたりすることで肉眼の見え方よりも明るく表示することが可能である。そのため、ユーザは、肉眼では識別できない暗い被写体をビューファインダーで見ることで識別可能になる。しかしながら、夜景など肉眼で見る場合よりもビューファインダーが明るくなる条件で、前述した肉眼の見え方同等表示モードのリミッタ制御で光源色を残すようにすると、肉眼の見た目以上に光源色が残っているように見えるという課題が生じ得る。

そこで、本実施形態では、ビューファインダーの見え方が肉眼よりも明るくなるような被写体の明るさ条件では、リミッタ制御範囲を拡大する処理（リミッタ制御範囲拡大処理）を行うことでこの課題を解決する。図７（ｄ）は、リミッタ制御範囲拡大処理を追加した場合に、肉眼の見え方同等表示モードにおいてリミッタ制御枠の低色温度側の辺に対応した色温度変更制御の例を示している。図７（ｄ）の７０１のポイントに対応した被写体の明るさは、ビューファインダーの見え方が肉眼よりも明るくなり始める明るさである。なお、ビューファインダーに表示する画像の撮影時のシャッター速度は、ビューファインダーに表示する画像のフレームレートよりも長くすることができない。そのため、フレームレートが変わると、ビューファインダーの見え方を肉眼よりも明るくできる被写体の明るさ（すなわち７０１のポイント）は変化する。同様にビューファインダーに表示する画像のＩＳＯ感度の最大値が変化すると、ビューファインダーの見え方が肉眼よりも明るくできる被写体の明るさは変化する。

このような場合、本実施形態では、ビューファインダーに表示する画像のＩＳＯ感度などのデジタルカメラの設定に応じて、リミッタ制御枠の色温度を変更するための所定の明るさの閾値（被写体の明るさのポイント（７０１のポイント））を変化させる。そのうえで、ＣＰＵ１０３は、画像に含まれる被写体の明るさと当該閾値とを比較する。このように、ビューファインダーのフレームレートや表示する画像の最大ＩＳＯ感度などによって、被写体の明るさのポイントを変化させることで、撮影時のフレームレートや最大ＩＳＯ感度などの条件によらず、適切なリミッタ制御枠の変更を行うことができる。

なお、図７（ｄ）の７０１に対して７０２の破線ではビューファインダーのフレームレートが低下した場合や表示する画像の最大ＩＳＯ感度が高くなった場合の例を示している。図７（ｄ）には、７０１と７０２の２パターンのみを示しているが、フレームレートや最大ＩＳＯ感度の条件などによってさらに細かくパターンを分けるような構成としてもよい。また、上述の説明では、リミッタ制御枠の低色温度側の辺に対応した色温度変更の例を示したが、他の辺についても同様に、ビューファインダーの見え方が肉眼よりも明るくなるような被写体の明るさ条件ではリミッタ制御枠を広げる方向に制御することができる。

これまで説明した光源色の残り方の関係を整理すると図８のようになる。図８は、オートホワイトバランスモードのリミッタ処理を施す場合の、静止画記録用のホワイトバランスモードとビューファインダー表示用のホワイトバランスモードの各組み合わせを示している。

図８に示す上の行から順に説明する。まず、静止画記録用のモードを「雰囲気優先モード」、ビューファインダー表示用モードを「肉眼の見え方同等表示モード」にすると、ビューファインダー表示のほうが静止画よりも光源色が残る。つまり、肉眼の見え方同等表示モード（第一の表示モード）が設定された場合、当該表示モードにおいてホワイトバランスの補正によって残る光源色の量は、記録モードにおいてホワイトバランスの補正によって残る光源色の量よりも多くなる。

２つ目の組み合わせとして、静止画記録用モードを「雰囲気優先モード」、ビューファインダー表示用のモードを「静止画記録同等表示モード」にすると、ビューファインダー表示と静止画の光源色の残り量は同じになる。つまり、静止画記録同等表示モード（第二の表示モード）が設定された場合、当該表示モードにおいてホワイトバランスの補正によって残る光源色の量は、記録モードにおいてホワイトバランスの補正によって残る光源色の量と同等になる。

３つ目の組み合わせとして、静止画記録用のモードを「ホワイト優先モード」、ビューファインダー表示用のモードを「肉眼の見え方同等表示モード」にすると、ビューファインダー表示のほうが静止画よりも光源色が残る。更に、４つ目の組み合わせとして、静止画記録用のモードを「ホワイト優先モード」、ビューファインダー表示用のモードを「静止画記録同等表示モード」にすると、ビューファインダー表示と静止画の光源色の残り量は同じになる。

上記４つの組み合わせにおいて記録モードである「雰囲気優先モード」の光源色の残り量は、記録モードである「ホワイト優先モード」よりも多い。このため、肉眼の見え方同等表示モードであって且つ雰囲気優先モードであるときにホワイトバランスの補正によって残る光源色の量は、肉眼の見え方同等表示モードであって且つホワイト優先モードであるときに残る光源色の量よりも多い。また、静止画記録同等表示モード且つ雰囲気優先モードであるときにホワイトバランスの補正によって残る光源色の量は、静止画記録同等表示モード且つホワイト優先モードであるときにホワイトバランスの補正によって残る光源色の量よりも多い。

以上の処理により、Ｓ３０６のホワイトバランス補正値の算出処理が終了する。なお、Ｓ３１２の静止画用のホワイトバランス補正値の算出処理は、ホワイト優先モード或いは雰囲気優先モードでの記録モードにおける制御と同じであるため、重複する説明は省略する。

以上説明したように本実施形態では、画像を静止画として記録するために適用されるホワイトバランスに関する記録モードと、静止画の撮影前の画像を表示部に表示するために適用されるホワイトバランスに関する表示モードとを設定可能にした。そして、表示モードの「肉眼の見え方同等モード」が設定された場合、静止画の撮影前の画像に対するホワイトバランスの補正によって残る光源色の量を、記録モードにおいて静止画に対するホワイトバランスの補正によって残る光源色の量よりも多くする。このようにすることで、記録する静止画の色を、光源による色味が残りすぎない好ましい色に保ちつつ、ＥＶＦ表示の見え方も肉眼での見え方に近い色にすることが可能になる。換言すれば、記録する静止画について光源による色味を低減させる場合であっても、ＥＶＦの表示について光源による色味を肉眼での見え方に近づけることが可能になる。

（実施形態２）
次に実施形態２について説明する。実施形態１では、撮像した画像内の分割ブロックの画素情報のうち白判定領域に含まれる分割ブロックの画素情報に基づいて、ホワイトバランス補正値を算出し、表示用モードに応じてホワイトバランス補正値を補正した。一方、実施形態２では、ホワイトバランス補正値を光源ごとに格納したテーブルを使用して、ホワイトバランス補正値の補正を行う。本実施形態の画像処理装置の構成及びそのホワイトバランス補正値の算出処理が実施形態１と異なるが、その他の構成及び処理は実施形態１と同一或いは実質的に同一である。このため、同一又は実質的に同一である構成及び処理には同一の参照符号を付してその説明は省略し、相違点について重点的に説明する。

（画像処理装置の構成）
図９には、実施形態２におけるホワイトバランス制御部９００の構成例を示している。ホワイトバランス制御部９００は、画像処理装置１０６に含まれ、ホワイトバランス処理を行う。ホワイトバランス制御部９００は、オートホワイトバランスの演算を行う回路或いはソフトウェアモジュールで構成される。ホワイトバランス制御部９００は、ブロック分割部９０１、光源判定部９０２、ホワイトバランス補正値算出部９０３から構成される。各ブロックの処理については後述する。

（撮像による画像記録の一連の動作）
次に、図３及び図１０を参照して、撮像による画像記録の一連の動作について説明する。なお、本処理は、ＣＰＵ１０３が二次記憶装置１０８に記憶されたプログラムを一次記憶装置１０４に展開、実行すると共に、撮像素子１０２や画像処理装置１０６等（内部の構成要素を含む）を動作させることにより実現される。

ＣＰＵ１０３は、図３に示すＳ３０１からＳ３１４までの処理を実施形態１と同様に実行する。本実施形態では、Ｓ３０６及びＳ３１２に係るホワイトバランスの補正値の算出処理が実施形態と異なるため、この処理を図１０を参照して説明する。なお、実施形態２では、二次記憶装置１０８には様々な光源におけるホワイトバランス補正値をテーブルとして記憶している。テーブルは、ホワイト優先モード及び雰囲気優先モードと、肉眼の見え方同等表示モードとに対応したホワイトバランス補正値（Ｒ，Ｇ，Ｂ信号にかけるゲイン）Rgain, Ggain, Bgainを光源毎に記憶している。

さらに、表示モードである肉眼の見え方同等表示モードについては、ビューファインダーの見え方が肉眼の見え方よりも明るくなる場合のためと、肉眼の見え方と同等の場合のための２種類のホワイトバランス補正値が記憶される。その際、各光源のホワイトバランス補正値には、肉眼の見え方同等表示モード、雰囲気優先モード、ホワイト優先モードの順に光源色の残り量が多くなるようなホワイトバランス補正値を設定しておく。また、肉眼の見え方同等表示モードでは、ビューファインダーの見え方が肉眼の見え方と同等の場合のホワイトバランス補正値は、肉眼の見え方よりも明るくなる場合のホワイトバランス補正値に対して、より光源色の残り量が多くなるような補正値を有する。

Ｓ１００１で、ＣＰＵ１０３は、実施形態１と同様に、ブロック分割部９０１により、撮像された画像を水平ｎ個、垂直ｍ個の領域に分割する。ｎ、ｍはそれぞれ任意の整数であり、本実施形態ではｎ、ｍともに１６とし、全部で２５６個の領域に分割する。

Ｓ１００２で、ＣＰＵ１０３は、光源判定部９０２により、光源判定処理を行う。光源の判定は、Ｓ１００１で作成したブロック分割データの色分布とＳ３０２で算出した被写体の明るさ情報を用いて行う。光源の判定は、ブロック分割データの色分布と被写体の明るさ情報とに基づいて、二次記憶装置１０８に記憶された、様々な光源に対応したブロック分割の色分布と被写体の明るさ情報の中から、最も特徴が近いものを選択することにより行う。なお、光源を判定する処理は、ルールベースの処理を実施するようにしても良いし、学習済みのニューラルネットワークを用いたディープラーニング処理により、ブロック分割データの色分布と被写体の明るさに対する最適な光源を判定する構成としてもよい。

Ｓ１００３では、ＣＰＵ１０３は、ホワイトバランス補正値算出部９０３により、Ｓ１００２で検出した光源に対するホワイトバランス補正値を、二次記憶装置１０８に記憶している光源毎のホワイトバランス補正値テーブルを用いて算出する。

表示モードである静止画記録同等表示モードがユーザにより選択されている場合、ホワイトバランス補正値算出部９０３は、まず、記録モードがホワイト優先モード及び雰囲気優先モードのどちらの設定であるかを判定する。そして、判定した記録モードに対応したホワイトバランス補正値を、二次記憶装置１０８に記憶している光源毎のホワイトバランス補正値テーブルから参照する。

一方、表示モードである肉眼の見え方同等表示モードがユーザにより選択されている場合、ホワイトバランス補正値算出部９０３は、まず、ビューファインダーの見え方が肉眼の見え方と同等である、又は肉眼の見え方よりも明るいかを判定する。そして、判定結果に対応したホワイトバランス補正値を、二次記憶装置１０８に記憶している光源毎のホワイトバランス補正値テーブルから参照する。

なお、実施形態２においても、図８に示した、静止画記録用のホワイトバランスモードとビューファインダー表示用のホワイトバランスモードの各組み合わせにおける、光源色の残り方は、実施形態１と同様である。ＣＰＵ１０３は、Ｓ１００３の処理を終えると、Ｓ９０６のホワイトバランス補正の算出処理を終了して、呼び出し元に戻る。なお、Ｓ３１２の静止画用のホワイトバランス補正値の算出は記録時における処理と同様である。

以上説明したように、本実施形態では、様々な光源におけるホワイトバランス補正値を、テーブルとして二次記憶装置１０８に記憶し、画像内のブロックに対して判定された光源に応じてホワイトバランス補正値を適用するようにした。このようにしても、実施形態１と同様に、記録する静止画の色を、光源による色味が残りすぎない好ましい色に保ちつつ、ＥＶＦ表示の見え方も肉眼での見え方に近い色にすることができる。すなわち、記録する静止画について光源による色味を低減させる場合であっても、ＥＶＦの表示について光源による色味を肉眼での見え方に近づけることが可能になる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００…デジタルカメラ、１０２…撮像素子、１０３…ＣＰＵ、１０６…画像処理装置、１０８…二次記憶装置、１０９…表示部

Claims (12)

1. 撮像手段で得られる画像を取得する取得手段と、
   前記画像を静止画として記録するために適用されるホワイトバランスに関する記録モードと、前記静止画の撮影前の前記画像を表示手段に表示するために適用されるホワイトバランスに関する表示モードとを設定可能な設定手段と、
   前記撮像手段で得られる画像に対するホワイトバランスの補正を制御する制御手段と、を有し、
   前記制御手段は、前記表示モードのうちの第一の表示モードが設定された場合、前記第一の表示モードにおいて前記静止画の撮影前の前記画像に対するホワイトバランスの補正によって残る光源色の量を、前記記録モードにおいて前記静止画に対するホワイトバランスの補正によって残る光源色の量よりも多くする、ことを特徴とする画像処理装置。
2. 前記表示モードは、第二の表示モードを更に含み、
   前記制御手段は、前記表示モードのうちの第二の表示モードが設定された場合、前記第二の表示モードにおいて前記静止画の撮影前の前記画像に対するホワイトバランスの補正によって残る光源色の量を、前記記録モードにおいて前記静止画に対するホワイトバランスの補正によって残る光源色の量と同等にする、ことを特徴とする請求項１に記載の画像処理装置。
3. 前記記録モードは、前記静止画を記録する際に適用されるホワイトバランスの補正において、前記撮像手段で得られる画像における光源色の量を低減させる第一の記録モードと、前記第一の記録モードよりも前記光源色の残る量を多くする第二の記録モードとを含む、ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記記録モードは、前記静止画を記録する際に適用されるホワイトバランスの補正において、前記撮像手段で得られる画像における光源色の量を低減させる第一の記録モードと、前記第一の記録モードよりも前記光源色の残る量を多くする第二の記録モードとを含み、
   前記制御手段は、前記第一の表示モードであって且つ第二の記録モードであるときに前記静止画の撮影前の前記画像に対するホワイトバランスの補正によって残る光源色の量を、前記第一の表示モードであって且つ第一の記録モードであるときに前記静止画に対するホワイトバランスの補正によって残る光源色の量よりも多くする、ことを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記記録モードは、前記静止画を記録する際に適用されるホワイトバランスの補正において、前記撮像手段で得られる画像における光源色の量を低減させる第一の記録モードと、前記第一の記録モードよりも前記光源色の残る量を多くする第二の記録モードとを含み、
   前記制御手段は、前記第二の表示モードであって且つ第二の記録モードであるときに前記静止画の撮影前の前記画像に対するホワイトバランスの補正によって残る光源色の量を、前記第二の表示モードであって且つ第一の記録モードであるときに前記静止画に対するホワイトバランスの補正によって残る光源色の量よりも多くする、ことを特徴とする請求項２に記載の画像処理装置。
6. 前記制御手段は、前記第一の表示モードが設定された場合であって、前記静止画の撮影前の前記画像の明るさが閾値より暗い場合に、前記第一の表示モードにおいて前記静止画の撮影前の前記画像に対するホワイトバランスの補正によって残る光源色の量を、前記記録モードにおいて前記静止画に対するホワイトバランスの補正によって残る光源色の量よりも多くする、ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記制御手段は、前記第一の表示モードにおいて、前記静止画の撮影前の前記画像の明るさが所定の明るさの閾値よりも暗い場合には、前記静止画の撮影前の前記画像に対するホワイトバランスの補正によって残る光源色の量を、前記画像の明るさが前記所定の明るさの閾値より明るい場合に前記静止画に対するホワイトバランスの補正によって残る光源色の量よりも少なくする、ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記制御手段は、前記静止画の撮影前の前記画像に含まれる被写体の明るさと前記所定の明るさの閾値とを比較することにより、前記静止画の撮影前の前記画像の明るさを判定する、ことを特徴とする請求項７に記載の画像処理装置。
9. 前記制御手段は、前記所定の明るさの閾値を、前記表示手段或いは前記撮像手段に係る設定に応じて変化させる、ことを特徴とする請求項７又は８に記載の画像処理装置。
10. 前記制御手段は、前記所定の明るさの閾値を、前記表示手段での表示のためのフレームレート、及び、前記撮像手段に設定されるＩＳＯ感度の少なくともいずれかに応じて変化させる、ことを特徴とする請求項９に記載の画像処理装置。
11. 撮像手段で得られる画像を取得する取得工程と、
    前記画像を静止画として記録するために適用されるホワイトバランスに関する記録モードと、前記静止画の撮影前の前記画像を表示手段に表示するために適用されるホワイトバランスに関する表示モードとを設定する設定工程と、
    前記撮像手段で得られる画像に対するホワイトバランスの補正を制御する制御工程と、を有し、
    前記制御工程では、前記表示モードのうちの第一の表示モードが設定された場合、前記第一の表示モードにおいて前記静止画の撮影前の前記画像に対するホワイトバランスの補正によって残る光源色の量を、前記記録モードにおいて前記静止画に対するホワイトバランスの補正によって残る光源色の量よりも多くする、ことを特徴とした画像処理装置の制御方法。
12. コンピュータを、請求項１乃至９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images