JP2010028452A - 画像処理装置および電子カメラ - Google Patents

Abstract

【課題】 ユーザの意図に即したホワイトバランス処理が可能で、また、ホワイトバランス処理の結果を容易に確認することを目的とする。
【解決手段】 複数の色成分の色情報からなる画像における任意の領域の指定をユーザから受け付ける受付部と、前記受付部を介して指定された前記領域の前記色情報に基づいて、前記画像のホワイトバランス処理を行うホワイトバランス処理部と、前記ホワイトバランス処理部で処理された前記画像を表示する表示部と、前記ホワイトバランス処理前後における前記領域の前記色情報を前記表示部上で比較可能に表示する表示制御部とを備えることを特徴とする画像処理装置。
【選択図】 図１

Description

本発明は、処理対象の画像のデータに対して画像処理を施す画像処理装置、および被写体像を撮像して画像のデータを生成する電子カメラに関する。

従来から、画像処理装置において、撮像するシーンの違いにかかわらず被写体の白色を再現できるように、撮像した画像のデータに対してホワイトバランス処理が施される。

上記の画像処理装置の一例として、特許文献１の画像処理装置は、画像の所定エリアの色情報を抽出してＬＣＤディスプレイに表示する。
特開２００６−２４３４１０号公報

しかし、上述した画像処理装置は、被写体を撮像して、適切なホワイトバランス処理を施したか否かをユーザに確認することなく、画像のデータを生成する。そのため、必ずしも適切なホワイトバランス処理が施されない可能性があった。

そこで、本発明の画像処理装置および電子カメラは、ユーザの意図に即したホワイトバランス処理が可能で、また、ホワイトバランス処理の結果を容易に確認することを目的とする。

本発明の画像処理装置は、複数の色成分の色情報からなる画像における任意の領域の指定をユーザから受け付ける受付部と、前記受付部を介して指定された前記領域の前記色情報に基づいて、前記画像のホワイトバランス処理を行うホワイトバランス処理部と、前記ホワイトバランス処理部で処理された前記画像を表示する表示部と、前記ホワイトバランス処理前後における前記領域の前記色情報を前記表示部上で比較可能に表示する表示制御部とを備える。

なお、好ましくは、前記領域の位置と大きさとは変更可能であっても良い。

また、好ましくは、前記領域は、ユーザにより指定された第１領域と、該第１領域の内側に設定された第２領域とを備え、前記ホワイトバランス処理部は、前記第２領域の前記色情報に基づいて、前記画像のホワイトバランス処理を行っても良い。

また、好ましくは、前記ホワイトバランス処理部は、前記領域に含まれる各画素と前記領域を構成する全画素とを比較して、所定の閾値以下の差異を有する画素の前記色情報に基づいて、前記ホワイトバランス処理を行っても良い。

また、好ましくは、前記ホワイトバランス処理部は、前記領域を構成する全画素の色情報の平均値を求め、前記領域に含まれる各画素の色情報と前記平均値とを比較しても良い。

また、好ましくは、前記領域の前記色情報に基づいて色ズレ量を算出する色ズレ量算出部をさらに備え、前記表示制御部は、前記ホワイトバランス処理前後における前記領域の前記色情報とともに、前記ホワイトバランス処理前後における前記色ズレ量を前記表示部に表示しても良い。

また、好ましくは、前記第２領域の前記色情報に基づいて色ズレ量を算出する色ズレ量算出部をさらに備え、前記表示制御部は、前記ホワイトバランス処理前後における前記第２領域の前記色情報とともに、前記ホワイトバランス処理前後における前記色ズレ量を前記表示部に表示しても良い。

また、好ましくは、前記ホワイトバランス処理後における前記領域の前記色ズレ量が所定の閾値以上である場合に、ユーザに対して警告を出力する警告部をさらに備えても良い。

本発明の電子カメラは、上述したいずれかの画像処理装置と、被写体を撮像して、複数の色成分の色情報からなる画像のデータを生成する撮像部とを備える。

本発明の画像処理装置および電子カメラによれば、ユーザの意図に即したホワイトバランス処理が可能で、また、ホワイトバランス処理の結果を容易に確認することができる。

以下、図面を用いて本発明の実施形態について説明する。なお、本実施形態では、本発明の画像処理装置の一例として、電子カメラを用いて説明する。図１は、本発明の実施形態における電子カメラの構成を示すブロック図である。図１に示すように、電子カメラ１は、撮像レンズ２、撮像素子３、Ａ／Ｄ変換部４、タッチパネル５、表示部６、制御部７、画像処理部８、バッファメモリ９、操作部１０、記録Ｉ／Ｆ部１１、記録媒体１２を備える。

撮像レンズ２は、撮像素子３の撮像面に被写体像を結像させる。撮像素子３は、ベイヤー配列のカラーフィルターを備える。撮像素子３は、撮像レンズ２を通過した光束による被写体像を光電変換し、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各色に対応するアナログの画像の信号を出力する。撮像素子３の出力はＡ／Ｄ変換部４に接続される。撮像素子３はレリーズ時に記録用画像（本画像）を撮像する。また、撮像素子３は、撮影待機時（非レリーズ時）にも所定間隔毎に間引き読み出しでスルー画像を撮像する。上記のスルー画像は、表示部６に表示可能である。Ａ／Ｄ変換部４は、撮像素子３の出力信号のＡ／Ｄ変換を行う。タッチパネル５は、表示部６の表面全体に積層して配置されるため、表示部６と同等の大きさを有する透明なパネルで構成される。

タッチパネル５は、パネル上での指やスタイラス（タッチペン）などの接触位置を検出する。タッチパネル５の出力は制御部７に接続される。表示部６は、制御部７の制御により各種の画像を表示する。表示部６に表示される各種の画像は、本画像、スルー画像、記録媒体１２に記録した画像、メニュー画面などを含む。なお、本画像を表示する場合には、表示部６の表示解像度に合わせた表示用画像を作成する。バッファメモリ９は、画像処理部８による画像処理の前工程や後工程で画像のデータを一時的に記録する。操作部１０は、レリーズ釦や操作釦などを有する。操作部１０のレリーズ釦は、撮像動作の指示をユーザから受け付ける。操作部１０の操作釦は、上記のメニュー画面等での入力をユーザから受け付ける。記録Ｉ／Ｆ部１１は、記録媒体１２を接続するためのコネクタが形成される。そして、記録Ｉ／Ｆ部１１は、コネクタに接続された記録媒体１２に対してデータの書き込み／読み込みを実行する。

制御部７は、所定のシーケンスプログラムにしたがって、電子カメラ１の統括的な制御を行うプロセッサである。また、制御部７は、後述のホワイトバランスゲインと色ズレ量とを算出する。画像処理部８は、ホワイトバランス処理部、補間処理部、階調処理部、色再現処理部、フィルタ処理部、圧縮処理部等を備え、Ａ／Ｄ変換部４から出力されたデータに各種の画像処理を施す。本発明の特徴であるホワイトバランス処理については、後述する。

図２は、電子カメラ１における撮像時の制御部７の動作を示すフローチャートである。

ステップＳ１で、制御部７は、撮像素子３を制御して、スルー画像の撮像を開始するとともに、表示部６に「画像の白やグレーの領域をタッチして下さい。」等のメッセージを表示する。

ステップＳ２で、制御部７は、タッチパネル５を介して、ユーザがホワイトバランス処理を所望する第１領域を受け付ける。なお、第１領域の形状は四角形とし、位置と大きさとは変更可能である。例えば、制御部７は、ユーザが接触した位置を頂点とする四角形を第１領域として受け付ける。また、制御部７は、ユーザが指で囲った領域を第１領域として受け付けても良い。そして、制御部７は、第１領域を示す枠をスルー画像に重畳表示する。

ところで、ユーザが第１領域を指定する際に、画像における白やグレーの領域がはみ出ないぎりぎりの範囲で第１領域を指定する場合や、意図せず第１領域を大きく指定してしまう場合がある。そこで、ステップＳ３で、制御部７は、ステップＳ２でユーザから受け付けた第１領域の内側に第２領域を設定する。なお、上述した通り、撮像素子３にはベイヤー配列のカラーフィルターが配置されている。そのため、例えば、制御部７は、Ｒ、Ｇ、Ｂの画素数の比率を保つように、縦横ともに偶数の画素数であって、第１領域の約９０％の大きさを有する領域を第２領域とする。第１領域および第２領域の例を図３に示す。

ステップＳ４で、制御部７は、ステップＳ３で設定した第２領域の色情報をバッファメモリ９に記録するとともに、第２領域の色情報に基づいてホワイトバランスゲインを算出する。制御部７は、第２領域の色情報を用いるため、第１領域の色情報を用いる場合と比較して、適切なホワイトバランスゲインを算出することができる。

なお、第２領域に模様や柄などの有彩色を含む領域がある場合には、適切なホワイトバランスゲインが得られない可能性がある。そのため、制御部７は、第２領域から有彩色を含む領域を除外して、ホワイトバランスゲインを算出する。例えば、制御部７は、第２領域を複数のエリアに分割して、各エリアの色情報の平均値と、全エリアの色情報の平均値とを算出する。第２領域を９個のエリアに分割した例を図４に示す。そして、制御部７は、エリアごとに、全エリアの色情報の平均値と、各エリアの色情報の平均値との比が所定の閾値の範囲内に含まれるか否かを判定する。そして、制御部７は、ＲとＧとＢとの少なくとも一つの比が所定の閾値の範囲から外れるエリアを除外して、ホワイトバランスゲインを算出する。

図４の例では、制御部７は、エリア１の色情報の平均値と全エリアの色情報の平均値との比が所定の閾値の範囲内に含まれるか否かを判定する。制御部７は、エリア２〜９について同様の判定を行う。例えば、エリア１の比が所定の閾値の範囲から外れるとすると、制御部７は、エリア１を除いた、すなわち、エリア２〜９の色情報に基づいて、ホワイトバランスゲインを算出する。これにより、制御部７は、第２領域から白色領域でない可能性がある外側のエリアを確実に除外してホワイトバランスゲインを算出することができる。

ステップＳ５で、制御部７は、画像処理部８のホワイトバランス処理部を制御して、ステップＳ４で算出したホワイトバランスゲインに基づいて、画像のデータにホワイトバランス処理を行う。また、制御部７は、ホワイトバランス処理後の第２領域の色情報をバッファメモリ９に記録する。

ステップＳ６で、制御部７は、画像処理部８の各部を制御して、ステップＳ４でホワイトバランス処理を施した画像のデータに補間処理、階調処理、色再現処理、フィルタ処理等を施す。

ステップＳ７で、制御部７は、バッファメモリ９からステップＳ４で記録したホワイトバランス処理前の第２領域の色情報と、ステップＳ５で記録したホワイトバランス処理後の第２領域の色情報とを読み出して、色ズレ量（ΔＣ）を算出する。なお、色ズレ量は、無彩色からのズレを示す値であり、例えば、以下の式で表される。

ΔＣ＝√｛（Ｂ−Ｇ）＋（Ｒ−Ｇ）｝
例えば、ホワイトバランス処理前の第２領域の色情報をＲ＝１０５、Ｇ＝１２０、Ｂ＝１４０とすると、色ズレ量は上記の式により２５である。また、ホワイトバランス処理後の第２領域の色情報をＲ＝１１０、Ｇ＝１２０、Ｂ＝１３５とすると、色ズレ量は上記の式により１８である。

そして、制御部７は、ステップＳ１で表示した第１領域を示す枠内に、ホワイトバランス処理前後における第２領域の色情報と上記の色ズレ量とを比較可能に表示する。色情報と色ズレ量とを表示した例を図５に示す。

さらに、制御部７は、色ズレ量が所定の閾値以上であるか否かを判定して、色ズレ量が所定の閾値以上であれば、上記の色情報と色ズレ量とともに、警告を表示しても良い。例えば、制御部７は「撮影された画像は適切なホワイトバランス処理が施されていない可能性があります。」等のメッセージを表示部６に表示する。なお、警告の手段はメッセージ表示に限定されず、音声による警告や、ＬＥＤ等の点滅または点灯による警告等によっても構わない。さらには、許容可能な色ズレ量の場合には特に表示を行わず、色ズレ量が許容外であると制御部７が判断した場合にのみ警告を表示することでユーザに知らせるようにしても良い。

ステップＳ８で、制御部７は、操作部１０を介して、ユーザからステップＳ５におけるホワイトバランス処理が適切に行われたか否かを受け付ける。ホワイトバランス処理が適切である場合（ＹＥＳ）には、ステップＳ８に移行する。一方、ホワイトバランス処理が適切でない場合（ＮＯ）には、ステップＳ２またはステップＳ４に戻る。なお、制御部７は、ユーザが第１領域の位置および大きさを再度設定する場合には、ステップＳ２に戻る。一方、制御部７は、ユーザが第１領域の位置および大きさを再度設定しない場合には、ステップＳ４に戻る。

制御部７は、ステップＳ２に戻った場合には、前回のステップＳ２で設定した第１領域の位置および大きさを変更して（図６参照）、上記と同様にステップＳ２からステップＳ７までの処理を行う。一方、制御部７は、ステップＳ４に戻った場合には、バッファメモリ９から前回のステップＳ４で記録したホワイトバランス処理前の第２領域の色情報を読み出して、ホワイトバランスゲインを再度算出する。そして、制御部７は、上記と同様にステップＳ５からステップＳ７までの処理を行う。これにより、ユーザが意図するホワイトバランス処理が施されるまでステップＳ２またはステップＳ４からステップＳ７の処理が繰り返されることとなる。

ステップＳ９で、制御部７は、レリーズ釦が半押しされたか否かを判定する。レリーズ釦が半押しされた場合（ＹＥＳ）には、ステップＳ１０に移行する。一方、レリーズ釦が半押しされない場合（ＮＯ）には、制御部７は、レリーズ釦が半押しされるまで待機する。

ステップＳ１０で、制御部７は、ＡＦとＡＥとをロックする。

ステップＳ１１で、制御部７は、レリーズ釦が全押しされたか否かを判定する。レリーズ釦が全押しされた場合（ＹＥＳ）には、ステップＳ１２に移行する。一方、レリーズ釦が全押しされない場合（ＮＯ）には、制御部７は、レリーズ釦が全押しされるまで待機する。

ステップＳ１２で、制御部７は、ステップＳ１１でＡＦとＡＥとをロックしたときの撮像条件で本画像を撮像する。そして、制御部７は、画像処理部８のホワイトバランス処理部を制御して、ステップＳ４で算出したホワイトバランスゲインに基づいて、本画像のデータにホワイトバランス処理を施すとともに、その他の画像処理を施す。さらに、制御部７は、画像処理を施した画像のデータを記録媒体１２に記録する。

以上説明したように、本実施形態の電子カメラによれば、撮像時において、ホワイトバランス処理前後の色情報を比較可能に表示する。したがって、ユーザは適切なホワイトバランス処理が施されるか否かを確認することができるため、ユーザの意図に即した写真を失敗なく撮像することができる。また、ホワイトバランス処理前後の色情報とともに、色ズレ量を表示するので、ユーザにとって、よりわかりやすい表示をすることができる。

また、本実施形態の電子カメラによれば、ユーザから受け付けた第１領域の内側に第２領域を設定する。そして、第２領域から有彩色を含む領域を除外して、ホワイトバランスゲインを算出する。したがって、ホワイトバランスゲインの算出に好ましいエリアの色情報に基づいて、ホワイトバランスゲインを算出するため、精度よくホワイトバランスの処理を行うことができる。

なお、本実施形態では、タッチパネル５を電子カメラ１の構成要件としたが、タッチパネル５を備えない電子カメラ１にも本発明を同様に適用することができる。この場合、ステップＳ２において、制御部７は、表示部６にメニュー画面や第１領域を示す枠などを表示し、操作部１０の各種釦の入力を受け付けて位置や大きさを指定させることにより、ユーザから第１領域を受け付けても良い。

また、ステップＳ４では、色情報の平均値の比を用いたが、色情報の平均値の差を用いても良い。この場合、制御部７は、エリアごとに、全エリアの色情報の平均値と、各エリアの色情報の平均値との差が所定の閾値以下か否かを判定する。そして、制御部７は、ＲとＧとＢとの少なくとも一つの差が所定の閾値より大きいエリアを除外して、ホワイトバランスゲインを算出しても良い。

また、ステップＳ４では、第２領域を複数のエリアに分割して、ホワイトバランスゲインを算出したが、この構成に限らない。例えば、制御部７は、第２領域に含まれる各画素と第２領域を構成する全画素とを比較して所定の閾値以下の差異を有する画素の色情報に基づいて、ホワイトバランスゲインを算出しても良い。

また、ステップＳ４では、色情報の平均値を用いたが、感度比（Ｒ／ＧとＢ／Ｇなど）を用いても良い。この場合、制御部７は、エリアごとに、全エリアの感度比と、各エリアの感度比との差が所定の閾値以下か否かを判定する。そして、制御部７は、Ｒ／ＧとＢ／Ｇとの少なくとも一方の差が所定の閾値より大きいエリア除外して、ホワイトバランスゲインを算出しても良い。

本発明の実施形態における電子カメラの構成を示すブロック図である。 電子カメラ１における撮像時の制御部７の動作を示すフローチャートである。 第１領域および第２領域の例を示す図である。 第２領域を９個のエリアに分割した例を示す図である。 色情報と色ズレ量とを表示した例を示す図である。 第１領域の位置および大きさを変更した例を示す図である。

符号の説明

１…電子カメラ、２…撮像レンズ、３…撮像素子、５…タッチパネル、６…表示部、７…制御部、８…画像処理部

Claims (9)

1. 複数の色成分の色情報からなる画像における任意の領域の指定をユーザから受け付ける受付部と、
   前記受付部を介して指定された前記領域の前記色情報に基づいて、前記画像のホワイトバランス処理を行うホワイトバランス処理部と、
   前記ホワイトバランス処理部で処理された前記画像を表示する表示部と、
   前記ホワイトバランス処理前後における前記領域の前記色情報を前記表示部上で比較可能に表示する表示制御部と
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記領域の位置と大きさとは変更可能である
   ことを特徴とする画像処理装置。
3. 請求項１または請求項２のいずれか一項に記載の画像処理装置において、
   前記領域は、ユーザにより指定された第１領域と、該第１領域の内側に設定された第２領域とを備え、
   前記ホワイトバランス処理部は、前記第２領域の前記色情報に基づいて、前記画像のホワイトバランス処理を行う
   ことを特徴とする画像処理装置。
4. 請求項１から請求項３のいずれか一項に記載の画像処理装置において、
   前記ホワイトバランス処理部は、前記領域に含まれる各画素と前記領域を構成する全画素とを比較して、所定の閾値以下の差異を有する画素の前記色情報に基づいて、前記ホワイトバランス処理を行う
   ことを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記ホワイトバランス処理部は、前記領域を構成する全画素の色情報の平均値を求め、前記領域に含まれる各画素の色情報と前記平均値とを比較する
   ことを特徴とする画像処理装置。
6. 請求項１から請求項５のいずれか一項に記載の画像処理装置において、
   前記領域の前記色情報に基づいて色ズレ量を算出する色ズレ量算出部をさらに備え、
   前記表示制御部は、前記ホワイトバランス処理前後における前記領域の前記色情報とともに、前記ホワイトバランス処理前後における前記色ズレ量を前記表示部に表示する
   ことを特徴とする画像処理装置。
7. 請求項３に記載の画像処理装置において、
   前記第２領域の前記色情報に基づいて色ズレ量を算出する色ズレ量算出部をさらに備え、
   前記表示制御部は、前記ホワイトバランス処理前後における前記第２領域の前記色情報とともに、前記ホワイトバランス処理前後における前記色ズレ量を前記表示部に表示する
   ことを特徴とする画像処理装置。
8. 請求項６または請求項７のいずれか一項に記載の画像処理装置において、
   前記ホワイトバランス処理後における前記領域の前記色ズレ量が所定の閾値以上である場合に、ユーザに対して警告を出力する警告部をさらに備える
   ことを特徴とする画像処理装置。
9. 請求項１から請求項８のいずれか一項に記載の画像処理装置と、
   被写体を撮像して、複数の色成分の色情報からなる画像のデータを生成する撮像部とを備え、
   前記受付部は、前記撮像部により生成された画像における任意の領域の指定を受け付け、
   前記ホワイトバランス処理部は、前記受付部を介して指定された前記領域の前記色情報に基づいて、前記画像のホワイトバランス処理を行い、
   前記表示部は、前記ホワイトバランス処理部で処理された前記画像を表示し、
   前記表示制御部は、前記ホワイトバランス処理前後における前記領域の前記色情報を前記表示部上で比較可能に表示する
   ことを特徴とする電子カメラ。
   

Images