JP4595569B2 - 撮像装置 - Google Patents

Description

本発明は、デジタルカメラ等を用いて撮影したデジタル画像データに対して、階調分布を調整して画像を美しくする階調分布補正（ダイナミックレンジ圧縮：以下ＤＲＣ処理と称する）を実行する際に、撮影された主要被写体が最適露出となるＤＲＣパラメータで前記ＤＲＣ処理を行うのに好適な撮像装置に関する。

まず、ダイナミックレンジ圧縮（ＤＲＣ：Dynamic Rage Compression）について説明する。
ＣＣＤなどの撮像素子で検出されるダイナミックレンジ（一度に表現することのできる明るさ（階調）の幅）は、一般的には人の目よりも狭く、さらにカメラフィルムよりも狭い。このため、輝度差のあるシーンでは人の目で階調の変化を感じられる場合であっても、デジタルカメラの自動露出制御モードで撮影すると高輝度部は「白とび」し、低輝度部は「黒つぶれ」してしまうことがある。

また、露出制御が意図したように働かない場合は、ＤＲＣ処理が有効に活用されない画像となってしまうことがある。
図１３は、ＤＲＣ処理がほぼ有効に活用されている画像の輝度ヒストグラムの一例を示す図である。図において、縦軸は頻度、横軸は輝度レベルを表している。図において、横軸は左側が黒、右側が白である。すなわち、横軸は、黒から白の階調（例えば、横軸は最大４０９５ビット）を表現している。また、縦軸は頻度（例えば、縦軸は最大２５５ビット）を表している。図１３は輝度ヒストグラムの両端、すなわち黒及び白における頻度が少ないため、黒とびや白とびが少なく、ＤＲＣ処理がほぼ有効に活用された画像となっている。

図１４は、白とびと黒つぶれが両方発生している場合の輝度ヒストグラムの一例を示す図である。図１４において、縦軸と横軸の関係は、図１３と同様である（横軸：頻度、縦軸：輝度レベル）。
ＤＲＣ処理は、図１４に示すような階調分布を調整することにより、黒つぶれと白とびを生じている階調に対して幅広い階調領域を割り当て、これによって輝度変化の度合いを明確にして、見かけ上ダイナミックレンジが広がったように見せる画像処理技術である。したがって、人は、図１４に示す輝度ヒストグラムの画像であっても、ＤＲＣ処理を行うと、次に説明する図１５に示すように、白とびや黒つぶれのない画像として認識する。

図１５は、図１４に示す階調分布をＤＲＣ処理したものである。ＤＲＣ処理前には黒つぶれしていた領城が、ＤＲＣ処理後にはある程度の階調領域を使用して表現されるため、本来黒つぶれしていた領城を浮き出たせ、輝度変化の度合いを明確にし、視認性を向上させることができる。同様に、白つぶれしていた領域を浮き出たせ、輝度変化の度合いを明確にすることができ、視認性を向上させることができる。

なお、ＤＲＣ処理は単に全体の輝度レベルを単純（線形的）に持ち上げる処理ではない。既に説明した図１４に示す輝度ヒストグラムにおいては、高輝度側、低輝度側にそれぞれ山ができており、中間階調は比較的平坦な形状となっている。このような輝度ヒストグラムにおいて、ＤＲＣ処理は、２つの山の傾斜が緩やかになって平均的に分布するように作用する。ＤＲＣ処理は、黒つぶれや白とびをしていない画像に対しても、階調分布を調整することで画像をきれいにすることができる。すなわち、ＤＲＣ処理は、画像の輝度ヒストグラムを分析することで未使用の階調領域を検出して、階調領域全体を使用するように調整して画像を作り直し、細部の階調変化を明確にした画像を得るものである。

すなわち、この明細書においてＤＲＣ処理とは、階調分布を適切に調整する技術を意味する。ＤＲＣ処理では、黒つぶれや白とびが発生している場合、画像のダイナミックレンジを圧縮する方向に処理されるが、ダイナミックレンジを一部しか使っていないような画像に対しては、ダイナミックレンジを有効に使うように画像を補正することを可能にする処理である。言い換えると、ＤＲＣ処理とは輝度ヒストグラムを分析して階調分布を動的に調整する処理である。

次に、ＤＲＣ処理の具体例について説明する。ここでは、一例として、輝度ヒストグラムにおけるレベル分布を平均化する手法について説明する。
まず、輝度ヒストグラムを分析して、分析結果に基づいて捕正関数を作成する。その補正関数によりレベルを補正し、レベル分布を平均化する。以下に、図１６から図１９を用いて、補正関数を作成する方法を説明する。

ステップ１：図１６において、輝度ヒストグラムの横軸を等区間に分割する。区間幅は細かいほど精度がよいが、処理に多大の時間がかかるため、適宜定める。図１６では、一例として横軸を４分割しているが、分割数が多いほど精度は高くなる。
ステップ２：図１６において４つに分割された各区間において、各区間に属する画素の個数（頻度の合計）と画像全体の画素数との比を求める。図１６においては、横軸に示すように、左側から６０％（第１区間）、１０％（第２区間）、２０％（第３区間）、１０％（第４区間）の数値が求められた。すなわち、図１７の縦軸に示すように、第１区間に全画素数の６０％が存在し、第２区間に全画素数の１０％が存在し、第３区間に全画素数の２０％が存在し、第４区間に全画素数の１０％が存在する。

ステップ３：次に、図１８に示すように、各区間において、横軸と縦軸との６０％が交差する点ａ、横軸と縦軸との１０％が交差する点ｂ、横軸と縦軸との２０％が交差する点ｃ、横軸と縦軸との１０％が交差する点（終点）ｅを各々求める。次に、図１８に示すように、輝度ヒストグラムの原点０を始点とし、前記の方法で求めた各点を通る折れ線ｆを描く。次に、図１８において、輝度ヒストグラムの原点０と前記終点ｅを結ぶ直線Ｌと前記折れ線ｆに注目し、直線Ｌと折れ線ｆの横軸方向の差分（階調差）に基づいて、輝度ヒストグラムの分布を修正し、図１９に示す輝度ヒストグラムを求める。求めた輝度ヒストグラムは、図１６に示す元の輝度ヒストグラムよりも分布が平均化されている。

なお、本発明に関連する先行技術としては、カラー原画像から特定の色を持つ被写体、例えは人物の肌色などの重要色が占める特定領域を精度良く抽出して、特定領域に応じた画像処理（ダイナミックレンジ圧縮伸長処理などの画像処理）を行う技術が存在する（特許文献１参照）。
特開平１１−２６６３５８号公報

前記したように、ＤＲＣ処理により画像を分析して輝度ヒストグラムの階調分布を補正することで、未使用部分の階調を有効に活用することができる。しかし、輝度ヒストグラムの全体を用いてＤＲＣ処理を行うと、面積の大きい被写体により多くの階調が付与される傾向が生じる。このため、人物などの主要被写体が画面内に小さく撮影されている場合、主要被写体の階調はつぶれ気味となり、最適な画像を得ることができないという問題点がある。

なお、主要被写体には高周波成分が多いと仮定して、高周波部の輝度ヒストグラムを用いる方法も提案されているが、例えば主要被写体が人物の顔である場合には、上記仮定に反して高周波部が少ないため、顕著な改善効果を得ることは困難であるという問題点がある。
また、肌色などの重要色で主要被写体（人物）を検出する方法はあるが、肌色のみの判定では誤判断を起こす可能性が高く、主要被写体（人物）の大きさを特定することが難しいという問題点がある。

本発明は、前記した従来技術の問題点に鑑み為されたもので、主要被写体の画面内における大きさに無関係に、主要被写体を的確に認識してＤＲＣ処理を行うことにより、最適な画像を得ることが可能な撮像装置を提供することを目的とする。

本発明の撮像装置は、露出を制御する露出制御手段と、主要被写体エリアを検出する主要被写体検出手段と、主要被写体検出手段で検出された主要被写体エリアに基づいて、階調分布を調整するためのダイナミックレンジ圧縮に用いる主要被写体の輝度の情報を設定する主要被写体情報設定手段と、主要被写体情報設定手段で設定された輝度の情報に基づいて、主要被写体に階調が優先して割り当てられるようにダイナミックレンジ圧縮に用いるパラメータを設定するパラメータ設定手段とを有することを特徴とする。

本発明によれば、主要被写体の輝度の情報に基づいて、主要被写体が最適画像になるように、ダイナミックレンジ圧縮を行うことができる。
また、本発明の撮像装置において、主要被写体検出手段は、画像信号から主要被写体を認識する認識手段であることを特徴とする。
また、本発明の撮像装置において、認識手段は、顔認識を行う顔認識手段であることを特徴とする。

また、本発明の撮像装置において、顔認識手段で検出された顔の大きさに基づいて、ダイナミックレンジ圧縮に用いるパラメータを補正するパラメータ補正手段を有することを特徴とする。
また、本発明の撮像装置において、主要被写体検出手段は、構図を決定するための撮影補助枠情報を認識する補助枠表示情報認識手段であることを特徴とする。

本発明によれば、主要被写体の画面内における大きさに無関係に、主要被写体を的確に認識してＤＲＣ処理を行うことにより、最適な画像を得ることが可能な撮像装置を提供できる。

以下、本発明の一実施形態について説明する。
図１は、本発明の一実施形態を示すブロック図である。この実施形態は全ての請求項に対応する。
図１において、１００はレンズ光学系１０１と撮像素子１０２から構成される露出制御部、１０３は露出制御部１００から出力されるアナログ画像信号をデジタル画像信号に変換するＡ／Ｄ変換器、１０４はＡ／Ｄ変換器１０３から出力されるデジタル画像信号、または画像処理部１０５から出力されるデジタル画像信号を格納するメモリである。

画像処理部１０５は主要被写体検出部１０６とＤＲＣ処理部１０７から構成されている。
第１に、主要被写体検出部１０６は、Ａ／Ｄ変換器１０３から得たデジタル画像信号に基づいて主要被写体を検出し、検出結果に基づいてＤＲＣ処理部１０７でＤＲＣ処理を行う。

第２に、主要被写体検出部１０６は、ユーザが撮影設定切り替え装置１０８を用いて撮影補助枠情報（いわゆる、シーンアシスト情報）を指定した場合、前記指定された撮影補助枠情報（いわゆる、シーンアシスト情報）を撮影設定部１０９から読み出して得られた主要被写体エリアについて、ＤＲＣ処理部１０７がＤＲＣ処理を行う。ここで、撮影設定部１０９は、主要被写体エリア（例えば、人の顔、人の顔と肩）に関して、複数の撮影補助枠情報（座標、サイズ）を格納しており、撮影設定切り替え装置１０８で指定された撮影補助枠情報を主要被写体検出部１０６に与える。

ＤＲＣ処理部１０７がＤＲＣ処理を行うときに用いるＤＲＣパラメータは、主要被写体検出部１０６において検出された主要被写体エリアに基づいて定められる。また、ユーザが撮影補助枠情報（いわゆる、シーンアシスト情報）を指定したときには、指定された撮影補助枠情報から定められた主要被写体エリアに基づいて定められる。
ＤＲＣ処理後のデジタル画像情報は画像記録素子１１０に記録され、表示部１１１に表示される。表示部１１１は、画像記録素子１１０に記録する前の画像を表示してユーザに示すことも可能である。ＣＰＵ１１２は、全体の動作制御を行う。

図２は、図１に示す画像処理部１０５の詳細を示すブロック図である。前記したように、本実施形態の動作は、主要被写体検出部１０６がＡ／Ｄ変換器１０３から得たデジタル画像信号に基づいて主要被写体を検出してＤＲＣ処理を行う場合と、ユーザが撮影補助枠情報（いわゆる、シーンアシスト情報）を指定し、指定された撮影補助枠情報から定められた主要被写体エリアに基づいてＤＲＣ処理を行う場合に分けられる（前記第１、第２に関する記載を参照）。
（１）まず、主要被写体検出部１０６がＡ／Ｄ変換器１０３から得たデジタル画像信号に基づいて、主要被写体を検出してＤＲＣ処理を行う場合について説明する。

図２に示すように、撮像によって得られたデジタル画像信号が画像処理部１０５に入力される。
主要被写体検出部１０６は、顔認識部１０６１と主要被写体エリア検出部１０６２とから構成されている。顔認識部１０６１は、例えば、左目と右目の距離、両目と肩のライン等の特徴を検出して、顔領域を定めたり、顔と肩の領域等を定めたり、当該領域の輝度を定める。図３は顔領域が小さい場合の顔認識の例であり、図４は顔領域が大きい場合の顔認識の例である。

主要被写体エリア検出部１０６２は、顔認識部１０６１から出力される顔の位置とサイズ（又は顔と肩の位置とサイズ）と輝度情報等に基づいて、主要被写体エリアの情報を求め、ＤＲＣ処理部１０７に出力する。ＤＲＣ処理部１０７は、ＤＲＣパラメータ補正部１０７１とＤＲＣパラメータ設定部１０７２と階調補正部１０７３とから構成されている。
ＤＲＣパラメータ補正部１０７１は、主要被写体エリア検出部１０６２から出力された主要被写体エリアの情報（位置とサイズと輝度）に基づいて、検出された主要被写体の階調が適切になるように、ＤＲＣパラメータの補正値を求める。

ＤＲＣパラメータ設定部１０７２は、デジタル画像信号から得られる全体画面が最適画像となるＤＲＣパラメータを求める。次に、ＤＲＣパラメータ設定部１０７２は、全体画面が最適画像となるＤＲＣパラメータについて、ＤＲＣパラメータ補正部１０７１が求めたＤＲＣパラメータの補正を行う。すなわち、ＤＲＣパラメータ設定部１０７２は、全体画面を最適化するＤＲＣパラメータに対し、検出された主要被写体の階調が適切になるようにＤＲＣパラメータの補正を行う。

補正は、具体的に次のように行われる。すなわち、ＤＲＣパラメータ補正部１０７１は、主要被写体エリア検出部１０６２によって検出されたエリアの輝度がアンダー（暗い）であると判断するとオーバー（明るい）方向の補正値を出力し、オーバーであると判断されるとアンダー方向の補正値を出力する。これによって、ＤＲＣパラメータ設定部１０７２は、主要被写体エリアの輝度レベルが適性な値になるようにＤＲＣパラメータを補正する。

階調補正部１０７３は、ＤＲＣパラメータ設定部１０７２で設定されたＤＲＣパラメータを用いてＤＲＣ処理を行う。
ＤＲＣ処理された画像は補間部１０５１において補間処理され、色補正部１０５２において色再現処理され、輪郭強調部１０５３において輪郭強調される。
（２）次に、ユーザが撮影補助枠情報（いわゆる、シーンアシスト情報）を指定し、指定された撮影補助枠情報から定められた主要被写体エリアに基づいてＤＲＣ処理を行う場合について説明する。

前記（１）との相違点は次の通りである。すなわち、前記（１）の場合、主要被写体エリア検出部１０６２は、顔認識部１０６１から出力される顔の位置とサイズ（又は顔と肩の位置とサイズ）に基づいて、主要被写体エリアを算出し、ＤＲＣ処理部１０７に出力した。しかし、（２）では、撮影設定部１０９から読み出される撮影補助枠情報（シーンアシスト情報）が主要被写体エリア検出部１０６２に出力される。主要被写体エリア検出部１０６２は入力された撮影補助枠情報に基づいて、顔の位置とサイズ（又は顔と肩の位置とサイズ）等が存在する主要被写体エリアを算出し、ＤＲＣ処理部１０７に出力する。図５は撮影補助枠情報（シーンアシスト情報）を用いた顔認識の例である。なお、他の動作は、前記（１）の場合の動作と同様であるので説明を省略する。

以上の説明において、請求項との対応関係は次のようになっている。すなわち、請求項に記載する露出制御手段は露出制御部１００に相当し、主要被写体検出手段は主要被写体検出部１０６に相当し、主要被写体情報設定手段は主要被写体エリア検出部１０６２に相当し、パラメータ設定手段はＤＲＣパラメータ補正部１０７１とＤＲＣパラメータ設定部１０７２に相当する。さらに、請求項に記載するパラメータ補正手段はＤＲＣパラメータ補正部１０７１が相当し、補助枠表示情報認識手段は撮影設定切り替え装置１０８と主要被写体エリア検出部１０６２等が相当する。

次に、図６から図１０に示す輝度ヒストグラムを用いて、ＤＲＣパラメータの違いに基づく輝度ヒストグラムの変化について説明する。
図６は、図７から図１０に示す輝度ヒストグラムの元になる輝度ヒストグラムである。
図７は、ＤＲＣ処理（階調補正）を行わない場合（図中、ＯＦＦと記載する）の輝度ヒストグラムである。したがって、図６に示す輝度ヒストグラムと同じである。

図８は、ＤＲＣ処理（階調補正）を自動的に行った場合（図中、標準と記載する）の輝度ヒストグラムである。この場合、空き階調が減少するように階調が割り当てられる。また、画像のダイナミックレンジが狭い場合は、ダイナミックレンジの使用領域が広くなるように階調が割り当てられる。図８は、ＤＲＣパラメータ設定部１０７２（図２参照）において、ＤＲＣパラメータの補正を行わない場合に得られる輝度ヒストグラムである。図８の輝度ヒストグラムは、図６、図７に示す輝度ヒストグラムと比較して、階調が平均的に分散していることが分かる。

図９は、暗部の階調を優先して階調を割り当てた（図中、アンダーと記載する）輝度ヒストグラムである。図７と比較すると、図９では暗部の階調が横軸（輝度レベル）の中央付近に割り当てられていることが分かる。
図１０は、明部の階調を優先して階調を割り当てた（図中、オーバーと記載する）輝度ヒストグラムである。図７と比較すると、図１０では明部の階調が横軸（輝度レベル）の中央付近に割り当てられていることが分かる。

なお、図７に示すＤＲＣ処理（階調補正）を行わない指示、図８に示すＤＲＣ処理を自動的に行う旨の指示等は、図２に示す撮影設定切り替え装置１０８によって指定することができる。
次に、図１１と図１２に示す輝度ヒストグラムを用いて、図１と図２に示す実施形態において、被写体が大きい場合のＤＲＣ処理結果と被写体が小さい場合のＤＲＣ処理結果について説明する。図１１は主要被写体が低輝度で大きい場合の例であり、図１２は主要被写体が低輝度で小さい場合の例である。

図１１（ａ）は、ＤＲＣ処理（階調補正）を行わない場合の輝度ヒストグラムである。図示するように、主要被写体は楕円で囲まれた階調領域に相当する。
図１１（ｂ）は、主要被写体が検出されなかった場合であって、ＤＲＣ処理（階調補正）を自動的に行った場合（図中、標準と記載する）の輝度ヒストグラムである。この場合には、図８において説明したように、空き階調が減少するように階調が割り当てられ、全体が平均化される。

図１１（ｃ）は、主要被写体が検出された場合であって、ＤＲＣ処理（階調補正）を自動的に行った場合の輝度ヒストグラムである。図示するように、主要被写体部分の階調を優先して、階調が割り当てられる。なお、主要被写体が低輝度のため、暗部の階調も優先されて、階調が割り当てられる。
図１２（ａ）は、ＤＲＣ処理（階調補正）を行わない場合の輝度ヒストグラムである。図示するように、主要被写体は楕円で囲まれた階調領域に相当する。主要被写体が小さいため、主要被写体の占める画素数は少ない。さらに、主要被写体が小さいため、逆光時はよりアンダー（暗い）になりやすい。

図１２（ｂ）は、主要被写体が検出されなかった場合であって、ＤＲＣ処理（階調補正）を自動的に行った場合（図中、標準と記載する）の輝度ヒストグラムである。この場合には、図８において説明したように、空き階調が減少するように階調が割り当てられ、全体が平均化される。
図１２（ｃ）は、主要被写体が検出された場合であって、主要被写体が小さい場合にＤＲＣ処理（階調補正）を行ったときの輝度ヒストグラムである。主要被写体が小さいため、主要被写体の占める画素数は少なく、標準によるＤＲＣ処理では低輝度を優先した処理は行われない。しかし、主要被写体を検出することにより、主要被写体が存在する領域が重み付け（ＤＲＣパラメータによる）され、主要被写体が存在する領域および暗部の階調を優先して、階調を割り当てることができる。

なお、主要被写体が大きい場合には、主要被写体の占める画素数が多く、重み付け（ＤＲＣパラメータによる）を行いやすい。しかし、本実施形態によれば、主要被写体を検出するので、主要被写体の大きさに拘わらず、主要被写体の階調を優先して割り当てることができる。
なお、図１２に示す各輝度ヒストグラムは、主要被写体の輝度が高い場合であっても、主要被写体の輝度が低い場合と同様の処理によって得ることができる。

以上の説明から明らかなように、本実施形態によれば、主要被写体を検出（または主要被写体の位置とサイズ等を撮影補助枠情報から得る）することができるので、ＤＲＣ処理を実行することにより、主要被写体が最適な露出になり、美しい画像を得ることが可能になる。

本発明は、デジタルカメラ等の撮像装置を用いる分野において、産業上大いに利用することができる。

本発明の一実施形態を示すブロック図である。 図１に示す画像処理部１０５の詳細を示すブロック図である。 顔領域が小さい場合の顔認識の例である。 顔領域が大きい場合の顔認識の例である。 撮影補助枠情報（シーンアシスト情報）を用いた顔認識の例である。 図７から図９に示す輝度ヒストグラムの元になる輝度ヒストグラムである。 ＤＲＣ処理を行わない場合の輝度ヒストグラムである。 図８は、ＤＲＣ処理を自動的に行った場合（図中、標準と記載する）の輝度ヒストグラムである。 暗部の階調を優先して階調を割り当てた（図中、アンダーと記載する）輝度ヒストグラムである。 明部の階調を優先して階調を割り当てた（図中、オーバーと記載する）輝度ヒストグラムである。 図１に示す実施形態において、被写体が大きい場合のＤＲＣ処理を説明するための輝度ヒストグラムである。 図１に示す実施形態において、被写体が小さい場合のＤＲＣ処理を説明するための輝度ヒストグラムである。 ＤＲＣ処理がほぼ有効に活用されている画像の輝度ヒストグラムの一例を示す図である。 白とびと黒つぶれとが発生している画像の輝度ヒストグラムの一例を示す図である。 図１４に示す輝度ヒストグラム（階調分布）をＤＲＣ処理した後の輝度ヒストグラムを示す図である。 ＤＲＣ処理によって輝度ヒストグラムにおけるレベル分布を平均化する手順を示す図である。 ＤＲＣ処理によって輝度ヒストグラムにおけるレベル分布を平均化する手順を示す図である。 ＤＲＣ処理によって輝度ヒストグラムにおけるレベル分布を平均化する手順を示す図である。 ＤＲＣ処理によって輝度ヒストグラムにおけるレベル分布を平均化する手順を示す図である。

符号の説明

１００ 露出制御部
１０１ レンズ光学系
１０２ 撮像素子
１０３ Ａ／Ｄ変換器
１０４ メモリ
１０５ 画像処理部
１０６ 主要被写体検出部
１０７ ＤＲＣ処理部
１０８ 撮影設定切り替え装置
１０９ 撮影設定部
１１０ 画像記録素子
１１１ 表示部
１１２ ＣＰＵ
１０５１ 補間部
１０５２ 色補正部
１０５３ 輪郭強調部
１０６１ 顔認識部
１０６２ 主要被写体エリア検出部
１０７１ ＤＲＣパラメータ補正部
１０７２ ＤＲＣパラメータ設定部
１０７３ 階調補正部

Claims (5)

1. 露出を制御する露出制御手段と、
   主要被写体エリアを検出する主要被写体検出手段と、
   前記主要被写体検出手段で検出された前記主要被写体エリアに基づいて、階調分布を調整するためのダイナミックレンジ圧縮に用いる主要被写体の輝度の情報を設定する主要被写体情報設定手段と、
   前記主要被写体情報設定手段で設定された前記輝度の情報に基づいて、前記主要被写体に階調が優先して割り当てられるようにダイナミックレンジ圧縮に用いるパラメータを設定するパラメータ設定手段と
   を有することを特徴とする撮像装置。
2. 請求項１記載の撮像装置において、
   前記主要被写体検出手段は、画像信号から前記主要被写体を認識する認識手段であることを特徴とする撮像装置。
3. 請求項２記載の撮像装置において、
   前記認識手段は、顔認識を行う顔認識手段であることを特徴とする撮像装置。
4. 請求項３記載の撮像装置において、
   前記顔認識手段で検出された顔の大きさに基づいて、ダイナミックレンジ圧縮に用いるパラメータを補正するパラメータ補正手段を有することを特徴とする撮像装置。
5. 請求項１記載の撮像装置において、
   前記主要被写体検出手段は、構図を決定するための撮影補助枠情報を認識する補助枠表示情報認識手段であることを特徴とする撮像装置。
   

Images