JP2018181070A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】 画像全体および局所的な階調を制御する際、主に近接撮影など撮影シーンでは出力画像において疑似輪郭のような弊害が生じるという課題があった。【解決手段】 画像の領域ごとの輝度情報に基づいて、前記画像の領域間で所定値以上の輝度値の差を有する境界であるとともに、画像の領域の輝度値が一方向に単調変化する変化領域である領域を検出する検出手段と、前記検出手段によって検出された領域の前記輝度情報に基づき階調特性を決定する決定手段と、前記決定手段によって決定された階調特性を用いて前記画像の階調補正を行う補正手段と、を備えることを特徴とする画像処理装置である。【選択図】図１

Description

本発明は、撮像装置による撮影により取得した画像信号に対して階調補正を行う画像処理に関するものである。

画像の部分的なコントラストを補正する覆い焼き処理やＨＤＲ等、入力のダイナミックレンジ（Ｄレンジ）を拡大した信号を出力で階調圧縮する処理が知られている。さらに撮影時のシーンを判別した結果や被写体の輝度や周波数情報を露出制御や階調補正に適用することによって、撮影時のシーンに適した階調を有する画像を出力する技術がある。

下記特許文献１では、シーン判別結果に基づいて、入力画像に対する階調処理条件を設定する技術、例えば主要被写体が明るすぎる場合には輝度値を下げるようなガンマ特性とオフセット補正を適用する技術が開示されている。

また、下記特許文献２では、異なる周波数成分に基づいた各々の覆い焼き補正効果の差異に基づいて、補正量を制御する技術が開示されている。

特開２００７−２９３５２８号公報 特開２０１０−２４４３６０号公報

特許文献１では、シーン判別情報を用いてもガンマ特性による階調制御では画素値に敏感な補正となり、局所的なコントラストが低下する可能性がある。

特許文献２では、例えば高輝度に隣接した低輝度部分に対して低周波成分による補正効果を抑制すると画素値に敏感な補正効果となり、結果的にコントラストが低下する可能性がある。

本発明の１実施態様は、画像の領域ごとの輝度情報に基づいて、前記画像の領域間で所定値以上の輝度値の差を有する境界であるとともに、画像の領域の輝度値が一方向に単調変化する変化領域である領域を検出する検出手段と、前記検出手段によって検出された領域の前記輝度情報に基づき階調特性を決定する決定手段と、前記決定手段によって決定された階調特性を用いて前記画像の階調補正を行う補正手段と、を備えることを特徴とする画像処理装置である。

本発明は、階調補正による弊害の発生を抑えつつ、画像のシーンに応じてとびや潰れの少ない適切な階調制御を行うことができる。

本発明を実施形態の構成を示すブロック図である。 本発明の実施形態における画像処理部の詳細な構成を示すブロック図である。 本発明の実施形態における輝度値算出時の重みの一例を示す図である。 本発明の実施形態における入力画像および領域分割結果を示す図である。 本発明の実施形態における動作処理フローチャートである。 本発明の実施形態における動作処理フローチャートである。 本発明の実施形態における階層輝度画像である。 本発明の実施形態における局所変化領域の検出方法を示す図である。 本発明の実施形態における局所変化領域の検出結果を示す図である。 本発明の実施形態における階調特性を示す図である。 本発明の実施形態における階調特性の補正係数を示す図である。 本発明の実施形態における距離情報を示す図である。 本発明の実施形態における補正後の階調特性を示す図である。

図面を参照して本発明の実施形態を詳細に説明する。なお、以下の説明においてデジタルカメラを例示して説明するが、撮像機能を有する他の携帯機器であっても、本発明は適用することができる。

（第１の実施形態）
本実施形態は、被写体領域および撮影条件などの撮影シーンに関する情報を用いて露出制御や覆い焼き処理による階調処理を行う。なお本実施形態は、本発明の効果が得られる撮影シーンの１つである近接撮影を想定して説明する。ただし、本発明は近接撮影のシーン以外にも適用可能である。

図１は、本発明の画像処理装置の構成図を示す。光学系１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り調整装置およびシャッター装置を備えている。この光学系１０１は、撮像部１０２に到達する被写体像の倍率、ピント位置あるいは光量を調整している。撮像部１０２は、光学系１０１を通過した被写体の光束を光電変換し電気信号に変換するＣＣＤやＣＭＯＳセンサー等の光電変換素子である。

Ａ／Ｄ変換部１０３は、入力された映像信号をデジタルの画像に変換する。

画像処理部１０４は、通常の信号処理の他に、本発明の階調処理を行う。画像処理部１０４はＡ／Ｄ変換部１０３から出力された画像のみでなく、記録部１１０から読み出した画像に対しても同様の画像処理を行うことができる。

露光量算出部１０５は、本発明の階調処理を行う為に最適な入力画像を得る為に、撮影時の露光量を算出する部分である。画像処理部１０４の処理結果を入力とし、算出した露光量を出力し、露光量制御部１０６の入力とする。

露光量制御部１０６は、露光量算出部１０５によって算出された露光量を実現する為に、光学系１０１と撮像部１０２を制御して、絞り、シャッタースピード、センサーのアナログゲインを制御する。

表示部１０７は、画像処理部１０４から出力される画像をＬＣＤなどの表示用部材に逐次表示することにより、電子ビューファインダ（ＥＶＦ）として機能する。

記録部１１０は、画像を記録する機能を有し、たとえば、半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用いた情報記録媒体を含んでもよい。

図２は、画像処理部１０４の構成を示すブロック図である。画像処理部１０４の各ブロックが担う処理については、次に処理の流れとともに説明する。

図５は、撮影者により撮影の指示がなされたときの本撮影の露光量を決定するまでの処理の流れを示すフローチャートである。図５のフローチャートを参照して露光量を決定するまでの処理を説明する。

ステップＳ５０１は、露光量算出部１０５は露光量を算出するための画像を連続的に取得し、所定の間隔（例えば２フレームに１回）で画像全体の輝度値を算出した上で露出を変更する。具体的には、図３に示すように画像をブロック領域に分割し、各ブロックの平均輝度値に対して中央部が大きくなるような重み付けにより加重加算した輝度値を適正の値、すなわち予め設定された目標輝度値に近づけるように露光量を定める。

図４（Ａ）に得られる画像の一例を示す。これは近接の人物シーンを示す画像であり、近距離にいて合焦している人物はくっきりとしているのに対し、遠距離にいるそれ以外の被写体領域の大部分はぼけていて被写体間の境界が滲んだように見えることがわかる。

ステップＳ５０２およびステップＳ５０３は、Ｓ５０１で取得した画像から領域検出部２０１が被写体領域の判別を行い、判別した領域に基づいて露光量算出部１０５が撮影時の本露光量を決定する。ここで、被写体領域の判別および本露光量の決定方法については、例えば特開２０１４−１７９７５５号公報に示されている公知の技術を用いて良い。すなわち、人物の顔、空、その他の３領域に分割した上で、各領域の輝度値に基づいて露光量を決定する。図４（Ｂ）は、入力画像に対して領域判別を行った結果の例を示しており、図中の斜線部分は顔領域、白部分は空領域、黒部分はその他領域と判別された領域である。

ステップＳ５０４は、Ｓ５０３で決定した露光量に基づいて露光量制御部１０６により本撮影が行われる。

以上により、入力画像を取得してから、露光量算出部１０５で露光量を算出し、本撮影を行うまでの処理の説明は終了となる。続いて、本撮影された画像に対して行う階調処理の内容について図６のフローチャートを用いて説明していく。

ステップＳ６０１は、Ｓ５０４で本撮影された画像を取得する。

ステップＳ６０２は、Ｓ５０２と同様にして入力画像から顔、空、その他領域を判別する。判別の方法はＳ５０２と同様で良い。

ステップＳ６０３は、領域検出部２０１が入力画像において局所的に輝度値が変化している領域を検出する。詳細な検出方法について図７および図８を用いて説明する。

図７において、７０１は画像４００から生成した輝度画像を示しており、７０２は輝度画像７０１を水平および垂直それぞれ１／２５６倍に縮小した画像を示している。まず領域検出部２０１は、画像７０１においてグラデーション領域を検出する処理を行う。

図８（Ａ）は、画像７０１における着目画素（黒塗り部）に対して周辺画素（灰色部）がどのように変化しているかを１２方向別に検出する様子を示している。図中ＡＮＧＬＥ０を例に説明すると、着目画素Ｙに対して以下の値を算出し、

上記の値が画像の一方向に単調減少あるいは単調増加（単調変化）していれば、その着目画素は垂直方向のグラデーション領域であると判定する。どちらにも変化していない場合には、ＡＮＧＬＥ１の方向に対して同様に判定し、以下ＡＮＧＬＥ２，３，４…と順次判定を行う。図９の画像９０１は、グラデーション領域として判定された部分（網目状）を示している。

続いて図８（Ｂ）は画像７０２における着目画素（Ｙｉｊ）に対して周辺画素がどのように変化しているかを図示したものであり、着目画素に対して以下の差分絶対値を算出する。

上記の値を周辺画素８個に対して算出し、そのうち

を満たす値が所定数（例えば４）以上ある場合には、その着目画素は輝度境界領域であると判定する。ここで、Ｙｔｈは予め設定された閾値（例えば６４）である。図９（Ｂ）の画像９０２は、領域間で画素値の差が所定値以上となる輝度境界領域として判定された部分（斜線）を示している。

画像９０１および画像９０２において、グラデーションかつ輝度境界である領域を最終的に局所的な変化領域として判定する。図９の画像９０３はその結果を示す画像である。
ここでは等倍サイズの画像７０１に対して周辺５タップ、１／２５６サイズの画像７０１に対して周辺３タップの参照を行うことで局所領域および境界領域を検出したが、これに限られるものではない。周辺画素をより広い範囲で参照したり、局所領域の検出にも縮小した画像を用いたりしても良く、あるいは上記以外の手法を用いて検出しても良い。

図６に戻り、ステップＳ６０４は、画像情報取得部２０６が画像情報を取得する。ここで画像情報とは、撮像時のレンズの絞り値や焦点距離、測距点毎の被写体距離などを示している。これらの情報を後述するステップＳ６０５における階調特性の生成時に用いる。

ステップＳ６０５は、階調特性算出部２０４が画面一様に適用する階調特性を生成する処理を行う。本処理について、図６（Ｂ）に示すフローチャートを用いて説明する。

ステップＳ６１１は、基準となる階調特性を生成する。ここで、階調特性の決定方法については、前述した文献などに記載された公知の方法を用いることができる。すなわち、Ｓ６０２で判別した顔、空、その他領域の領域毎の輝度値および輝度ヒストグラムを算出し、各領域に対するゲイン量およびその適用範囲に基づいて入力輝度に対する出力輝度の特性を生成する。図１０は生成した階調特性を示すものであり、人物の顔に対するゲイン量ＧＡＩＮ＿ＨＵＭＡＮとその適用範囲ＨＵＭＡＮ＿ＰＯＩＮＴ、空に対するゲイン量ＧＡＩＮ＿ＳＫＹとその適用範囲ＳＫＹ＿ＰＯＩＮＴが表されている。

ステップＳ６１２は、Ｓ６０３で検出した局所変化領域の輝度値に基づいてＳ６１１で生成した階調特性を補正するための係数αを算出する。具体的には、まず画像９０３に示す局所変化領域において、Ｓ６１１で生成した階調特性の圧縮輝度域に含まれる画素を検出する。ここで圧縮輝度域とは、入力対出力輝度の変化の傾き（入出力特性の傾き）が所定値以下である範囲のことであり、図１０においては入力信号がＨＵＭＡＮ＿ＰＯＩＮＴ〜ＳＫＹ＿ＰＯＩＮＴである画素を示している。

図１１（Ａ）は、補正係数αの算出方法を示したものであり、検出した圧縮輝度域に含まれる画素数が画像全体の画素数に占める割合が大きいほどαは大きな値をとることがわかる。これは、階調が圧縮される局所変化領域が多いほど疑似階調が発生することによる画質の劣化が目立つため、階調特性に対する補正を強めることが目的である。

ステップＳ６１３は、Ｓ６０４で取得した画像情報に基づいてＳ６１１で生成した階調特性を補正するための係数β１〜β３を算出する。具体的には、まず図１１（Ｂ）に示したようにレンズの絞り値に応じて係数β１を、焦点距離に応じて係数β２をそれぞれ算出する。これは、レンズの絞り値が小さい（開放寄り）ほど、そして焦点距離が近いほど非合焦領域がボケやすくなる（すなわち局所的に輝度値が変化する領域が現れやすくなる）ため、階調特性に対する補正を強めることが目的である。

さらに、撮影時に光学部１０１および撮像部１０２が取得した測距点毎の被写体距離を用いて距離のヒストグラムを算出する。図１２中、画像１２０１は画像４００において撮像部からの距離が近い部分を黒（人物がいる領域）、距離が遠い部分を白としたものであり、図１２（Ｂ）はそれら距離の値の分布を表したものである。そして、取得した距離値の分散すなわち距離のばらつき度合いを算出し、図１１（Ｃ）に示すように距離の分散値が大きいほど大きな値をとるような階調補正係数β３を算出する。これは、画像４００において遠近様々な被写体が存在するほど非合焦の被写体領域が存在しやすくなる（すなわち局所的に輝度値が変化する領域が現れやすくなる）ため、階調特性に対する補正を強めることが目的である。

ステップＳ６１４は、Ｓ６１２で算出したα、Ｓ６１３で算出したβ１、β２、β３を用いてＳ６１１で生成した階調特性を補正する処理を行う。具体的には、Ｓ６０５で階調特性を生成したときに算出したＨＵＭＡＮ＿ＰＯＩＮＴ〜ＳＫＹ＿ＰＯＩＮＴの特性の傾きＧＡＩＮ＿ＭＩＤを下記の式で補正することにより、階調圧縮量を弱めたＧＡＩＮ＿ＢＡＣＫ’を算出する。

すなわち、背景領域に対する特性ＧＡＩＮ＿ＢＡＣＫの値を超えない範囲で中間輝度域に対するゲイン量を上げるようにする。図１３（Ａ）は補正後の階調特性を示したものであり、元々は圧縮輝度域であったＨＵＭＡＮ＿ＰＯＩＮＴ〜ＳＫＹ＿ＰＯＩＮＴの圧縮率が緩和し、急峻な特性の切り替わりが抑えられていることがわかる。これにより、局所的な輝度変化領域の階調圧縮により発生する疑似階調のような画質の弊害を抑えることが可能となる。

あるいは、次のように補正しても良い。すなわち、Ｓ６０５で階調特性を生成したときに算出したＧＡＩＮ＿ＨＵＭＡＮすなわち画像４００に対する最大ゲイン量を下記の式で補正することにより、ゲイン量を弱めたＧＡＩＮ＿ＨＵＭＡＮ’を算出する。

さらに、ＧＡＩＮ＿ＨＵＭＡＮ’およびＨＵＭＡＮ＿ＰＯＩＮＴ、ＳＫＹ＿ＰＯＩＮＴを用いて、階調特性がつながるようにＧＡＩＮ＿ＭＩＤを補正し、ＧＡＩＮ＿ＢＡＣＫ’を算出する。図１３（Ｂ）は補正後の階調特性を示したものであり、図１３（Ａ）の特性と同様に元々は圧縮輝度域であったＨＵＭＡＮ＿ＰＯＩＮＴ〜ＳＫＹ＿ＰＯＩＮＴの圧縮率が緩和し、急峻な特性の切り替わりが抑えられていることがわかる。ただし、この補正方法のみでは顔領域に対して所望のゲインがかからず、適切な明るさが得られないことになる。したがって、この場合には本撮影前にＧＡＩＮ＿ＨＵＭＡＮ’を算出し、ゲイン後の出力信号が所望の明るさとなるように露出を上げた上で撮像した画像に対して階調補正を行うようにする必要がある。これにより、低輝度〜中輝度域に対するゲイン量が相対的に小さくなり、階調補正後のＳ／Ｎにおいて（式４）で示される特性よりも優位である。

なお、階調特性を補正する方法として２つの例を述べたが、これ以外にもＧＡＩＮ＿ＨＵＭＡＮおよびＧＡＩＮ＿ＭＩＤ の両方を変更する手法や、ＨＵＭＡＮ＿ＰＯＩＮＴを変更することで中輝度域の圧縮率を緩和する手法など、種々の手法によっても可能である。

以上で、ステップＳ６０５における階調特性生成の説明を終了する。

図６（Ａ）のフローチャートに戻り、ステップＳ６０６はステップＳ６０５で生成した階調特性を元に、ゲインテーブル生成部２０５が入力信号に応じたゲインを示すゲインテーブルに変換する。入力信号をｘ、階調特性により入力信号に応じた出力信号をｙとすると、ゲインＧａｉｎは（式６）で表される。

ステップＳ６０７は、ゲイン処理部２０２がゲイン画像を生成する処理を行う。ゲイン画像の生成方法については、帯域の異なる複数のゲイン画像を適応的にＭＩＸすることでコントラストを維持する方法など公知の技術を用いて良い。

ステップＳ６０８は、ステップＳ６０７で生成したゲイン画像を、信号処理部１０４で所定の信号処理が施された画像４００に乗じる。ゲイン処理部２０２の出力は、階調圧縮部２０７において、ガンマ変換処理などにより所定の出力レンジに階調圧縮される。

最後に、画像表示部１０７および画像記録部１１０に、階調圧縮部２０７において階調圧縮を施された画像が出力される。

以上説明したように本実施形態によれば、階調圧縮による弊害を抑えながらも白とびや黒つぶれを抑えた、シーンに適切な階調補正を実現することが可能となる。より具体的には、撮影画像から算出する輝度情報および階調特性に加え、撮影時の各種情報を用いることにより、近接撮影などにおける局所的な輝度変化領域で発生しやすい疑似輪郭を抑えることが可能となる。

本実施形態では、主として本撮影後の画像を用いて階調特性を生成および補正する構成について説明したが、これに限らず、本撮影前に階調特性に対する補正量を算出し、本撮影時の露出制御に反映させるようにしてもよい。

（その他の実施形態）
なお、本発明は、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する構成としてもよい。この場合、そのプログラム及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

ここまで、本発明の実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０４ 画像処理部
１０５ 露光量算出部
１０６ 露光量制御部
２０１ 領域検出部
２０２ ゲイン処理部
２０３ 領域別輝度値算出部
２０４ 階調特性算出部
２０５ ゲインテーブル生成部
２０６ 画像情報取得部
２０７ 階調圧縮処理部

Claims (5)

1. 画像の領域ごとの輝度情報に基づいて、前記画像の領域間で所定値以上の輝度値の差を有する境界であるとともに、画像の領域の輝度値が一方向に単調変化する変化領域である領域を検出する検出手段と、
   前記検出手段によって検出された領域の前記輝度情報に基づき階調特性を決定する決定手段と、
   前記決定手段によって決定された階調特性を用いて前記画像の階調補正を行う補正手段と、を備えることを特徴とする画像処理装置。
2. 前記決定手段は、前記検出手段によって検出された領域に対して、前記階調特性の入出力特性の傾きが所定値以下となるように決定されることを特徴とする請求項１に記載の画像処理装置。
3. 前記検出手段は、前記画像を縮小した画像を用いて検出を行うことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記決定手段は、前記画像に応じて生成される基準となる階調特性に対して、前記検出手段によって検出された領域の前記輝度情報に基づいて補正して、前記階調特性を決定することを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
5. 画像の領域ごとの輝度情報に基づいて、前記画像の領域間で所定値以上の輝度値の差を有する境界であるとともに、画像の領域の輝度値が一方向に単調変化する変化領域である領域を検出する検出ステップと、
   前記検出ステップにて検出された領域の前記輝度情報に基づき階調特性を決定する決定ステップと、
   前記決定ステップにて決定された階調特性を用いて前記画像の階調補正を行う補正ステップと、を備えることを特徴とする画像処理方法。

Images