JP2019029833A - 撮像装置 - Google Patents

Abstract

【課題】 撮影画像の領域判別を行い諧調補正を行うときに最適な露出設定を行うことができる撮像装置を提供する。【解決手段】 撮像された画像に対して被写体領域の判定を行う被写体領域判定手段と、前記被写体領域を分割した領域毎に輝度情報を取得し、前記輝度情報から、前記領域毎に適した露出補正量を算出する露出補正量算出手段と、前記領域毎に諧調補正量を算出する諧調補正量算出手段と、前記露出補正量と前記諧調補正量から、前記領域毎にゲイン量を算出する領域別ゲイン量算出手段と、前記領域毎に領域に応じた最大ゲイン量を予め設定する領域別最大ゲイン量設定手段と、前記領域別ゲイン量算出手段の算出結果が領域別最大ゲイン量を超えていた場合は、前記露出補正量を制限する露出補正量制限手段と、を有する。【選択図】図１

Description

本発明は、撮影画像の領域判別を行い諧調補正を行う撮像装置に関するものである。

従来から、特許文献１のように、顔画像の明るさと背景画像の明るさをバランス良くすることを目的とし、対象画像の明るさが所定の目標値となるように，被写体像データを補正する明るさ補正を行い明るさ補正量にもとづいてノイズ低減パラメータを決定することが知られている。また、特許文献２のように、領域別の諧調補正を被写体間のバランスを考慮し、高ダイナミックレンジかつ高コントラストの画像を生成することが知られている。

特開２００７−２３４０００号公報 特開２０１４−１５３９５９号公報

しかしながら、特許文献１による方法では、露出量を制御していないため、顔画像の明るさが背景画像とバランスが良くなるように被写体像データの明るさを補正し、補正量にもとづいてノイズ低減パラメータを設定しているが、明るさ補正量が大きくなりすぎると、ノイズ低減処理では処理しきれない量のノイズが発生する問題がある。さらに、顔画像と背景画像の明るさ補正量に応じてのみノイズ低減処理を行っているため、顔に適切なノイズ低減処理、背景画像に適したノイズ低減処理を行うことが出来ない。

また、特許文献２においは、領域別の諧調補正処理を行うために、所定式に従った領域の露出補正量を設定するが、入力された画像の主被写体領域の露出が高いときには、主被写体以外の空領域、背景領域の露光量が小さくなりすぎるという課題がある。

本発明の目的は、撮影画像の領域判別を行い諧調補正を行うときに最適な露出設定を行うことができる撮像装置を提供することである。

上記目的を達成するため、本発明に係る撮像装置は、撮像された画像に対して被写体領域の判定を行う被写体領域判定手段と、前記被写体領域を分割した領域毎に輝度情報を取得し、前記輝度情報から、前記領域毎に適した露出補正量を算出する露出補正量算出手段と、前記領域毎に諧調補正量を算出する諧調補正量算出手段と、前記露出補正量と前記諧調補正量から、前記領域毎にゲイン量を算出する領域別ゲイン量算出手段と、前記領域毎に領域に応じた最大ゲイン量を予め設定する領域別最大ゲイン量設定手段と、前記領域別ゲイン量算出手段の算出結果が領域別最大ゲイン量を超えていた場合は、前記露出補正量を制限する露出補正量制限手段と、を有することを特徴とする。

本発明によれば、撮影画像の領域判別を行い諧調補正を行うときに最適な露出設定を行うことができる。

本発明の実施形態に係る撮像装置の構成を示すブロック図 第１の実施形態に係る動作フロー図 信号処理部の一部詳細ブロック図 取得画像の一例を示す図 取得画像のヒストグラムの一例を示す図 ゲインカーブの一例を示す図 ガンマカーブの一例を示す図 第２の実施形態に係る動作フロー図

（第１の実施形態）
図１は、本発明の実施形態に係る撮像装置の構成を示すブロック図である。図１において、１０１は絞り・シャッターを備えた撮影レンズ部であり、１０２はフォーカスレンズである。１０３は被写体像の光束を光電変換し電気信号に変換する撮像素子であり、全画素を読み出す駆動モードや間引き及びまたは、加算を行い高フレームレートで読み出す駆動モードを持つ。

１０４は、撮像素子１０３から出力されたアナログ出力信号にクランプ処理、アナログゲイン調整を行いデジタル信号に変換するＣＤＳ／ＡＤであり、１０７は信号処理部である。１０７の一例としては図３に示す信号処理ブロックを含み、図示しないが、デジタルゲイン調整、ホワイトバランス調整、画素補間処理、色信号処理等の信号処理を行う信号処理回路などが含まれている。

３０１は、被写体領域判別部である。画像信号から被写体の領域の判定を行うが、本発明の実施形態として人物の顔領域、人物の顔以外の体領域、雲、太陽などを含む空領域、空以外の領域を背景領域として４つの領域を判別する。顔領域と顔以外の領域を合わせて人物領域とすることで３つの領域判別を行うなど、領域の数は増減しても良い、以下は３つの領域に分割する場合の処理形態について記述するが、同様の処理を実行することで複数の領域に分割処理を実行することが可能な構成となっている。

また、被写体領域の判定方法については、ニューラルネットワークによる学習データを用いた物体認識等、公知の方法で良い（特開２００６−３９６６６号公報）。また、被写体領域の判定方法については、１画素毎ではなく、一定のサイズで区切られたブロック毎に判定する方法でもよい。判別された領域の大きさ、判別された領域が画面の中心部または、画像の周辺部であるか、人物が判別されたか、空領域が判別されたかなどのシーン情報をシステム制御部１１８へ送る。

３０２は、領域分割部である。検出された被写体領域を分割する。３０３は、領域別輝度算出部である。領域毎に代表輝度値および領域毎の最大輝度値を算出する。３０４は、領域別ヒストグラム算出部である。領域毎に輝度や色毎のヒストグラムを算出し、領域毎に白飛びしている画素数または、ブロック数を算出する。３０５は、領域別ゲイン量算出部である。領域毎にゲインの総量を算出する。

３０６は、領域別最大ゲイン設定部である。領域毎に予め最大ゲインを設定する。設定値は、操作部１２１をユーザーが操作することにより設定する。また、たとえばシステム制御部１１８が撮影画像からシーン情報解析し、シーン判別を行う。判別されたシーンに応じて領域毎の最大ゲイン値をシステム制御部１１８が設定することが可能な構成となっている。

３０７は、領域別ゲイン処理部である。たとえば、図６に示したゲイン処理を行う。６０１は空領域、６０２は、背景領域、６０３は顔と体を含めた人物領域にそれぞれ適応するゲインカーブで、領域別に異なるゲイン処理を行う。

３０８は、領域別ガンマ処理部である。たとえば、図７に示したガンマカーブを領域別に設定することで領域別ガンマ処理を行う。図７−（ａ）は空領域、図７−（ｂ）は、背景領域、図７−（ｃ）は顔と体を含めた人物領域に適応するガンマカーブを設定することで領域別に異なるガンマ処理を行う。

さらに、図７−（ａ）に図示した３種類のガンマカーブについて説明する。ガンマカーブにより、７０２中央のガンマカーブを通常用いるガンマカーブとすると７０３のガンマカーブを用いることにより通常のガンマカーブよりもよりも処理後の画像のゲインが高くなる。逆に、７０１のガンマカーブを用いることにより通常のガンマカーブよりもよりも処理後の画像のゲインが低くなる。図示しないが、ガンマカーブの種類を増やすことで、ガンマカーブによるゲインを細かく調整することが可能な構成となっている。７０４〜７０９についても同様に領域別ガンマ処理を行う。領域別ゲインおよびまたは、領域別ガンマカーブにより領域別の諧調補正量を制御可能な構成となっている。

３０９は、領域別にシャープネス処理を行う領域別シャープネス処理部である。領域別シャープネス処理部は、一例として背景領域では、シャープネスを強くし、空領域と人物領域のシャープネスを弱くするなどの調整が可能な構成となっている。たとえば、シャープネス処理は、画像信号にローパスフィルタ、バンドパスフィルタ、ハイパスフィルタ等のフィルタを組み合わせ被写体の周波数解析を行い、被写体のエッジ部にオーバーシュート、アンダーシュートを領域別に付加する処理である。

さらに、オーバーシュート量、アンダーシュート量を調整することで、シャープネスの強弱を制御する。オーバーシュート量、アンダーシュート量を領域毎に可変する、領域別シャープネスゲイン処理を行うことも可能な構成となっている。画像を縮小し解像度の低い画像を作成するなどして、ローパスフィルタの代わりに使用することができる。

また、領域別シャープネス処理部３０９は、画像信号を前述のローパスフィルタに通すことにより、ノイズリダクション処理を行うことも可能な構成となっている。使用するローパスファイルタの種類を変えたり、フィルタ係数を調整することにより、ノイズリダクション効果を強めたり弱めたりを領域毎に行うことで、領域別にノイズリダクションを実施することが可能な構成となっている。信号処理された画像データは、画像メモリ１０５に記憶される。

システム制御部１１８は、撮像装置全体の動作を制御している。システム制御部１１８に接続されたＲＡＭ１１９及びまたはＲＯＭ１２０に、システム制御部１１８の動作用の定数、変数、プログラム等を記憶している。システム制御部１１８は、１０１の撮影レンズに備えた絞り・シャッターを駆動することにより露出制御（ＡＥ）を行う。

画像処理部１０７及びシステム制御部１１８により、画像データの全体のヒストグラムや、複数のブロックに分割しブロック毎のヒストグラムを取得する。

１０８は、メモリカードやハードディスク等の記憶媒体１０９とのインターフェースである。このインターフェース１０８を用いて、記憶媒体１０９と画像データを転送し合うことができる。

１１３は、表示装置１１４を駆動するための表示回路である。表示装置１１４にライブビューを表示する事により電子ビューファインダーとして使用することも可能である。
１１６（ＳＷ１）は、レリーズボタンの半押しを検出し、１１７（ＳＷ２）は、全押しを検出する。前記ＳＷ１（１１６）により、レリーズボタンが半押しされたことを検出すると撮影準備を開始し、さらにＳＷ２（１１７）により、レリーズボタンが全押しされた事を検出すると撮影を開始する。１２１は操作部であり、ユーザーが操作することにより、撮像装置の設定を変更する。

図２を用い、動作フローについて説明する。ステップ２０１：画像信号を取得する。取得する画像信号は、静止画像または、間引き、加算処理を行った高フレームレートの動画像を用いても良い。ステップ２０２：３０１により、画像信号から被写体の領域の判定を行う。ステップ２０３：３０３により領域毎に代表輝度値および領域毎の最大、最小輝度値などを算出する。３０４により、領域毎に輝度や色毎のヒストグラム、白飛びしている画素数または、ブロック数を算出する。

ステップ２０４：Ｓ２０３で算出された領域毎の代表輝度値、最大、最小輝度値、ヒストグラム、白とび画素数、または白飛びブロックなどから、領域別に露出量を算出し、領域毎に適応的にガンマカーブを選択する。露出量の算出方法、ガンマカーブの選択方法は、白飛びした画素数、ブロック数および、累積ヒストグラムが所定の割合となる輝度値や累積ヒストグラムが所定の条件となるようにする。また、領域毎の輝度の代表値が所定の値になるような条件を算出するなど他の方法で算出しても良い。

ステップ２０５：Ｓ２０４で算出された領域別の露出量から撮影露出補正量を決定する。図４、図５を参照して一例を示す。図４の４０１、４０２、４０３が人物領域、４０４，４０５，４０６が空領域、４０７，４０８，４０９が背景領域である。図５（ａ）が、図４（ａ）の画像が取得された時にＳ２０４で算出した人物領域と空領域のヒストグラムである。点線で示した空領域が、白飛びしている。露出補正を行うことで、図５（ｂ）の露出量で画像を撮影する。

別の一例として、図５（ｄ）が、図４（ｂ）の画像が取得された時にＳ２０４で算出した人物領域と空領域のヒストグラムである。実線で示した人物領域が、白飛びしている。露出補正を行うことで、全体の信号値を下げ、図５（ｅ）の露出量で撮影する。図５（ｂ）と図５（ｅ）で示した様に白飛びしている領域に応じて露出補正量を調整する。露出補正量は、図５で示したヒストグラムを参照する方法以外にも領域別に白飛びした画素やブロック数から求めるなどほかの方法で算出してもよい。

ステップ２０６：Ｓ２０４で算出された領域別の露出値およびガンマカーブとＳ２０５で算出された露出補正量から領域別のゲイン量を算出する。

領域別の代表輝度値と撮影露出補正を適応した後の領域別の代表輝度値の差分から露出差を調整するためのゲインとして領域別ＡＥ＿Ｇａｉｎを算出する。決定されたガンマカーブから領域別Ｇａｍ＿ｇａｉｎを算出する。領域別に設定するシャープネス量から領域別ＡＰＣ＿Ｇａｉｎを算出する。

たとえば、空領域のトータルゲインＳＫＹ＿Ｇａｉｎは、
ＳＫＹ＿Ｇａｉｎ＝ＡＥ＿ｇａｉｎ＿ＳＫＹ＋Ｇａｍ＿ｇａｉｎ＿ＳＫＹ＋ＡＰＣ＿ｇａｉｎ＿ＳＫＹ
となる。

同様に人物領域ＨＵＭＡＮ＿Ｇａｉｎ、背景領域ＢＡＣＫ＿Ｇａｉｎのトータルゲインは、ＨＵＭＡＮ＿Ｇａｉｎ＝ＡＥ＿ｇａｉｎ＿ＨＵＭＡＮ＋Ｇａｍ＿ｇａｉｎ＿ＨＵＭＡＮ＋ＡＰＣ＿ｇａｉｎ＿ＨＵＭＡＮ
ＢＡＣＫ＿Ｇａｉｎ＝ＡＥ＿ｇａｉｎ＿ＢＡＣＫ＋Ｇａｍ＿ｇａｉｎ＿ＢＡＣＫ＋ＡＰＣ＿ｇａｉｎ＿ＢＡＣＫ
となる。

ステップ２０７：まず、領域毎に予め設定された最大ゲインをたとえば、空領域の最大ゲインをＭＡＸ＿ＳＫＹ＿Ｇａｉｎ、人物領域の最大ゲインをＭＡＸ＿ＨＵＭＡＮ＿Ｇａｉｎ、背景領域の最大ゲインをＭＡＸ＿ＢＡＣＫ＿Ｇａｉｎとする。

ＳＫＹ＿ＧａｉｎとＭＡＸ＿ＳＫＹ＿Ｇａｉｎ、ＨＵＭＡＮ＿ＧａｉｎとＭＡＸ＿ＨＵＭＡＮ＿Ｇａｉｎ、ＢＡＣＫ＿ＧａｉｎとＭＡＸ＿ＢＡＣＫ＿Ｇａｉｎをそれぞれ比較する。

Ｏｖｅｒ＿Ｇａｉｎ＝Ｍａｘ（ＳＫＹ＿Ｇａｉｎ − ＭＡＸ＿ＳＫＹ＿Ｇａｉｎ，ＨＵＭＡＮ＿Ｇａｉｎ − ＭＡＸ＿ＨＵＭＡＮ＿Ｇａｉｎ，ＢＡＣＫ＿Ｇａｉｎ − ＭＡＸ＿ＢＡＣＫ＿Ｇａｉｎ）により求められるＯｖｅｒ＿Ｇａｉｎが０より大きいかを判別しても良い。

ステップ２０８：Ｓ２０７にて最大ゲインを超えている領域があると判断された場合は、撮影露出補正量を制限する。一例として、Ｓ２０７で算出した、Ｏｖｅｒ＿Ｇａｉｎに応じて撮影露出補正量を制限することにより、全ての領域で最大ゲインを超えない撮影露出が得られる。

（第２の実施形態）
第１の実施形態と同様な構成については、記載を省略する。システム制御部１１８は、領域毎にノイズの総量を算出する。システム制御部１１８は、領域毎に予め最大ノイズ量を設定する。設定値は、操作部１２１をユーザーが操作することにより設定する。また、たとえばシステム制御部１１８が撮影画像からシーンを自動判別し判別されたシーンに応じて領域毎の最大ノイズ量をすることが可能な構成となっている。

図８のフローチャートを図２を用いて説明する。Ｓ８０１からＳ８０６までの処理は、図２のＳ２０１からＳ２０６の処理と同じ処理を行う。

ステップ８０７：Ｓ８０６において算出された、ＳＫＹ＿Ｇａｉｎ、ＨＵＭＡＮ＿Ｇａｉｎ、ＢＡＣＫ＿Ｇａｉｎから、空領域のノイズ量ＳＫＹ＿Ｎｏｉｓｅ、人物領域のノイズ量ＨＵＭＡＮ＿Ｎｏｉｓｅ、背景領域のノイズ量ＢＡＣＫ＿Ｎｏｉｓｅを算出する。たとえば、ノイズ量は、各領域のゲイン量に比例係数αに比例するものとして算出してもよい。
ＳＫＹ＿Ｎｏｉｓｅ ＝ α×ＳＫＹ＿Ｇａｉｎ
ＨＵＭＡＮ＿Ｎｏｉｓｅ α×ＨＵＭＡＮ＿Ｇａｉｎ
ＢＡＣＫ＿Ｎｏｉｓｅ α×ＢＡＣＫ＿Ｇａｉｎ
ステップ８０８：Ｓ２０７で説明したようにＯｖｅｒ＿Ｇａｉｎが０より大きいかを判別する。領域毎に予め設定された最大ノイズ量をたとえば、空領域の最大ノイズ量をＭＡＸ＿ＳＫＹ＿Ｎｏｉｓｅ、人物領域の最大ノイズ量をＭＡＸ＿ＨＵＭＡＮ＿Ｎｏｉｓｅ、背景領域の最大ノイズ量をＭＡＸ＿ＢＡＣＫ＿Ｎｏｉｓｅとする。
Ｏｖｅｒ＿Ｎｏｉｓｅ＝Ｍａｘ（ＳＫＹ＿Ｎｏｉｓｅ − ＭＡＸ＿ＳＫＹ＿Ｎｏｉｓｅ，ＨＵＭＡＮ＿Ｎｏｉｓｅ − ＭＡＸ＿ＨＵＭＡＮ＿Ｎｏｉｓｅ，ＢＡＣＫ＿Ｎｏｉｓｅ − ＭＡＸ＿ＢＡＣＫ＿ＧＮｏｉｓｅ）
Ｏｖｅｒ＿Ｎｏｉｓｅが０より大きい場合は、いずれかの領域が最大ノイズ量を超えていると判別できる。

ステップ８０９：Ｓ８０８にて最大ゲインおよびまたは、最大ノイズ量を超えている領域があると判断された場合は、撮影露出補正量を制限する。一例として、Ｓ２０７で算出した、Ｏｖｅｒ＿Ｇａｉｎ、Ｏｖｅｒ＿Ｎｏｉｓｅに応じて撮影露出補正量を制限することにより、全ての領域で最大ゲイン、最大ノイズ量を超えない撮影露出が得られる。

３０１・・被写体領域判別部、３０３・・領域別輝度値算出部、３０４・・領域別ヒストグラム算出部、３０５・・領域別ゲイン量算出部、３０６・・領域別最大ゲイン設定部

Claims (4)

1. 撮像された画像に対して被写体領域の判定を行う被写体領域判定手段と、
   前記被写体領域を分割した領域毎に輝度情報を取得し、前記輝度情報から、前記領域毎に適した露出補正量を算出する露出補正量算出手段と、
   前記領域毎に諧調補正量を算出する諧調補正量算出手段と、
   前記露出補正量と前記諧調補正量から、前記領域毎にゲイン量を算出する領域別ゲイン量算出手段と、
   前記領域毎に領域に応じた最大ゲイン量を予め設定する領域別最大ゲイン量設定手段と、
   前記領域別ゲイン量算出手段の算出結果が領域別最大ゲイン量を超えていた場合は、前記露出補正量を制限する露出補正量制限手段と、
   を有することを特徴とする撮像装置。
2. 領域別に所定の最大ノイズ量を予め設定する領域別最大ノイズ量設定手段と、
   前記領域別のノイズ量を算出する領域ノイズ量算出手段と、を有し、
   前記領域別ノイズ量算出手段の算出結果が前記領域別最大ノイズ量より大きい場合は、前記露出補正量を制限することを特徴とする請求項１に記載の撮像装置。
3. 領域別にノイズ抑制量を調節するノイズ抑制手段と、
   領域別にシャープネス補正量を調節するシャープネス補正手段と、
   撮影シーンを自動判別するシーン判別手段と、を有し、
   判別されたシーンに応じて領域別にノイズ抑制量およびシャープネス補正量の少なくとも一方を調整することを特徴とする請求項１または２に記載の撮像装置。
4. 前記領域毎に周波数解析を行う領域別周波数解析手段と、
   前記領域毎の面積および領域の位置情報を取得する領域情報取得手段と、を有することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。