JP5881005B2 - 画像処理装置、画像撮像装置、画像表示装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像撮像装置、画像表示装置、画像処理方法およびプログラムに関する。

静止画や動画をカメラで撮影したり、モニタに表示したりする際に、先鋭感や鮮明感を高めるために様々な画像処理技術が開発されている。例えば、先鋭感を増加させる輪郭強調処理や、鮮明感を増加させる彩度強調処理などが従来の画像処理として挙げられる。さらに、奥行き感を調整する画像処理として奥行きデータを使用した方法が有り、例えば、特許文献１がある。特許文献１では、奥行きデータと奥行き程度により、奥行き感補正のゲインを制御することにより、自由に奥行き感程度を調整できるようにしている。奥行きデータの取得方法としては、アクティブ方式とパッシブ方式とがある。アクティブ方式としては、赤外線を照射して、その反射光から距離を算出するＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）などがある。パッシブ方式としては、ステレオ画像でマッチングをすることにより視差を算出するステレオカメラなどがある。

特開２００８−３３８９７号公報

しかしながら、特許文献１の方法においては、アクティブ方式およびパッシブ方式を利用して奥行きデータを取得した場合、遠景での精度および分解能が低下してしまうため、遠景における調整を奥行きに応じて行うことができず、奥行き感をえることができないことがあるという問題がある。アクティブ方式では、赤外線の照射強度に依存した精度および分解能となり、赤外線の反射光が検出できない遠景では距離が全て無限遠となり、精度および分解能が低下してしまう。また、パッシブ方式では、平行に配置された２つのカメラから視差を算出するが、視差と距離との関係は反比例であるので、遠景の視差は全て０となってしまい、精度および分解能が低下してしまう。

本発明は、このような事情に鑑みてなされたもので、その目的は、遠景においても奥行き感を向上した画像を生成することができる画像処理装置、画像撮像装置、画像表示装置、画像処理方法およびプログラムを提供することにある。

（１）この発明は上述した課題を解決するためになされたもので、本発明の一態様は、画像処理の強度を決定する画像処理強度決定部と、前記画像処理強度決定部が決定した強度に従い、入力画像に対して画像処理を行う画像処理部とを備え、前記画像処理強度決定部は、前記入力画像に含まれる注目画素に対応する奥行きを示す奥行き値と、前記注目画素の前記入力画像中における縦位置とに基づき、前記注目画素に対する画像処理の強度を決定することを特徴とする画像処理装置である。

（２）また、本発明の他の態様は、上述の画像処理装置であって、前記画像処理強度決定部が決定する強度は、前記奥行き値が示す距離が大きくなるほど強く、かつ、前記縦位置が前記入力画像中の上部になるほど強いことを特徴とする。

（３）また、本発明の他の態様は、上述の画像処理装置であって、前記画像処理強度決定部は、前記注目画素に対応する前記奥行き値の値が飽和しているときに、前記縦位置に基づき、前記強度を決定することを特徴とする。

（４）また、本発明の他の態様は、上述の画像処理装置であって、前記画像処理部で処理する画像処理が、輪郭強調処理、コントラスト補正処理または彩度補正処理であることを特徴とする。

（５）また、本発明の他の態様は、上述の画像処理装置であって、前記入力画像と、前記入力画像とは視点の異なる画像とに基づき、前記入力画像の各画素に対応する視差を算出する視差算出部を備え、前記視差に基づく値を前記奥行き値とすることを特徴とする。

（６）また、本発明の他の態様は、上述の画像処理装置であって、前記入力画像の各画素に対応する前記奥行き値を、前記入力画像に基づき推定する奥行き値算出部を備えることを特徴とする。

（７）また、本発明の他の態様は、被写体を撮像して画像を生成する撮像部と、前記撮像部が生成した画像を入力画像とする上述のいずれか画像処理装置とを備えることを特徴とする画像撮像装置である。

（８）また、本発明の他の態様は、上述のいずれか画像処理装置と、前記画像処理装置により画像処理された画像を表示する画像表示部とを備えることを特徴とする画像表示置である。

（９）また、本発明の他の態様は、画像処理の強度を決定する画像処理強度決定ステップと、前記画像処理強度決定ステップにて決定した強度に従い、入力画像に対して画像処理を行う画像処理ステップとを有し、前記画像処理強度決定ステップにおいて、前記入力画像に含まれる注目画素に対応する奥行きを示す奥行き値と、前記注目画素の前記入力画像中における縦位置とに基づき、前記注目画素に対する画像処理の強度を決定することを特徴とする画像処理方法である。

（１０）また、本発明の他の態様は、コンピュータを、画像処理の強度を決定する画像処理強度決定部、前記画像処理強度決定部が決定した強度に従い、入力画像に対して画像処理を行う画像処理部として機能させるためのプログラムであって、前記画像処理強度決定部は、前記入力画像に含まれる注目画素に対応する奥行きを示す奥行き値と、前記注目画素の前記入力画像中における縦位置とに基づき、前記注目画素に対する画像処理の強度を決定することを特徴とするプログラムである。

この発明によれば、遠景においても奥行き感を向上した画像を生成することができる。

本発明の第１の実施形態における画像処理装置１００の構成を示す概略ブロック図である。 同実施形態における奥行き値と、強度パラメータαとの関係例を示すグラフである。 同実施形態における画素位置と、強度パラメータβとの関係例を示すグラフである。 同実施形態における入力される画像情報の例を示す図である。 同実施形態における入力される奥行き情報の例を示す図である。 本発明の第２の実施形態における画像撮像装置３００の構成を示す概略ブロック図である。 同実施形態における距離Ｚと視差Ｄｉとの関係を示す図である。 本発明の第３の実施形態における画像表示装置３０１の構成を示す概略ブロック図である。

以下、図面を使って本発明の実施の形態を詳細に説明する。なお、後述する図２、３、７などでは、値の関係が把握しやすいように誇張して記載しており、実際のものとは異なる場合がある。
［第１の実施形態］
図１は、本発明の第１の実施形態における画像処理装置１００の構成を示す概略ブロック図である。画像処理装置１００には、入力画像である画像情報Ｇｉと、画像情報Ｇｉに対応した奥行き情報Ｄが入力される。画像処理装置１００は、奥行き情報Ｄに基づき、画像情報Ｇｉに対して画像処理を行い、処理結果を出力画像情報Ｇｏとして出力する。ここで、画像情報Ｇｉは、ビデオ信号など、動画像を表すデータや信号であってもよいし、ＪＰＥＧ（Joint Picture Experts Group）ファイルなど、静止画を表すデータや信号であってもよい。

また、画像情報Ｇｉに対応した奥行き情報Ｄとは、画像情報Ｇｉにおける各画素の奥行き値を表す情報である。また、画素の奥行き値とは、該画素が表す被写体の視点からの距離を表す値である。例えば、カメラが被写体を撮影して生成した画像であれば、画素の奥行き値は、該画素が表す被写体までの、カメラ（視点）からの距離を表す値である。本実施形態における奥行き情報Ｄは、画像情報Ｇｉを構成する画素毎に一つの奥行き値を持つ、すなわち解像度は、これらの間で同一である。なお、画像情報Ｇｉの解像度と、奥行き情報Ｄの解像度は同一でなくてもよく、補間処理などにより、画像情報Ｇｉの各画素の奥行き値が得られればよい。なお、後述するように、本実施形態では、奥行き値は、距離が大きいほど大きい値である。

図１に示すように、画像処理装置１００は、画像処理強度決定部１０１、画像処理部１０２を含んで構成される。画像処理強度決定部１０１は、画像情報Ｇｉに含まれる注目画素に対応する奥行きを示す奥行き値と、その注目画素の画像情報Ｇｉ中における縦位置とに基づき、その注目画素に対する画像処理の強度（画像処理強度Ｓ）を決定する。画像処理強度決定部１０１は、決定した画像処理強度Ｓを画像処理部１０２に伝達する。画像処理部１０２は、画像処理強度決定部１０１で決定された画像処理強度Ｓに従い、画像処理装置１００に入力された画像情報Ｇｉに対して奥行き感が向上する画像処理を行い、画像処理の結果を出力画像情報Ｇｏとして出力する。

画像処理強度決定部１０１は、画像情報Ｇｉに含まれる各画素を注目画素とし、各画素について、図２および図３に例示する特性に従い、画像処理強度Ｓを決定する。ここで、本実施形態における奥行き情報は、奥行き値の値が大きくなると、画像情報内の被写体までの距離が大きい。すなわち、奥行き値が８ビットの場合には、階調値０が最も近景の被写体であり、階調値２５５が最も遠景の被写体である。

図２は、奥行き値と、強度パラメータαとの関係例を示すグラフである。図２の示すグラフでは、奥行き値が最小値（階調値０）のときに、強度パラメータαが最小値α１となり、奥行き値が最大値（階調値２５５）のときに、強度パラメータαが最大値α２となっている。そして、奥行き値が大きくなるにつれて（視点からの距離が大きくなるにつれて）、強度パラメータαが大きくなる特性を有している。被写体の連続性を考慮すると、奥行き値と強度パラメータαとの関係は、単調増加の関係が好適である。なお、強度パラメータαと画像処理強度Ｓとの具体的な関係は、後述するが、強度パラメータαが大きいほど、画像処理強度Ｓは強い画像処理強度を示す値となる。

なお、図２の例では、奥行き値が２５５であるときに、強度パラメータαが最も大きくなるようにし、奥行き値が０であるときに、強度パラメータαが最も小さくなるようにしているが、入力される画像情報Ｇｉにより適宜設定するようにしてもよい。例えば、入力された１つの画像に対する奥行き情報に含まれる奥行き値の範囲が、２０から１００であった場合には、奥行き値が２０のときに強度パラメータαが最小となり、奥行き情報の値が１００のときに強度パラメータαが最大となるように設定する。これにより、画像処理強度Ｓとして、画像情報Ｇｉに適した値を割り当てることができるため好適である。なお、画像情報Ｇｉが動画像であるときは、フレーム毎に、奥行き値の最大値、最小値を検出せずに、過去の所定の数のフレーム内で、最大値、最小値を検出するようにしてもよい。

図３は、画素位置と、強度パラメータβとの関係例を示すグラフである。図３では、画素位置として、画像情報Ｇｉ内での縦方向の位置（以降、縦位置という）、すなわち画像情報Ｇｉの上端からの画素数を用いている。すなわち、図３は、その画素の画像情報内での縦位置によって、画像処理強度が変化することを示している。さらに、図３では、上端からの画素数が大きいほど、強度パラメータβは小さい値となっているので、縦位置が画像情報Ｇｉの下部であるほど、画像処理強度が小さくなっている。言い換えると、縦位置が画像情報Ｇｉの上部であるほど、画像処理強度が強くなっている。ここで、被写体の連続性を考慮すると単調増加の関係が好適である。

縦位置は、画像処理を行う注目画素の画像情報Ｇｉが表す画像内での位置を示している。例えば、画像の解像度が横１９２０、縦１０８０である場合、最も縦位置が上部であるのは０ライン目で、最も下部にあるのが１０７９ライン目である。なお、画像の縦方向がいずれの方向であるかは、例えば、ビデオ信号などであれば、予め決められた方向としてもよいし、ＪＰＥＧファイルなどであれば、該ファイル内にて指定されている縦横方向に応じた方向としてもよい。

画像処理強度決定部１０１は、奥行き値が最大値（８ビットであれば２５５）未満のときは、図２の特性を用いて強度パラメータαを画像処理強度Ｓとし、奥行き値が最大値のときは、図３の特性を用いて強度パラメータβを画像処理強度Ｓとする。例えば、奥行き値が最大値となっている領域、すなわち奥行き値が飽和してしまっている領域が奥行き情報Ｄ内に存在したとき、その領域における遠景の複数の被写体の奥行き方向の位置関係は判別することができない。しかし、本実施形態では、奥行き値が最大値のときは、図３の特性を使用して縦位置に応じて画像処理強度Ｓを決定する。これは、奥行き値が最大値で飽和する程度に被写体までの距離がある場合には、画像情報Ｇｉの該当領域が遠景であると推定できる。そして、遠景における画像情報上部は空であることが多く、画像情報下部には他の被写体が存在することが多いためである。

例えば、図４の画像Ｇ１が入力される画像情報Ｇｉで、図５の奥行き情報Ｄ１が図４の画像Ｇ１に対応する奥行き情報Ｄであるとする。なお、図５では、奥行き情報Ｄ１を、奥行き値が大きいほど、輝度が小さくなる画像として示している。図５に示すように、被写体Ａ（空）と被写体Ｂ（山）とでは奥行き値は同じであるが、実際の奥行き方向の位置は異なり、被写体Ａ（空）の方が遠くにある。すなわち、画像情報上部（被写体Ａ（空））の方が、画像情報下部（被写体Ｂ（山））より遠景である。

したがって、上述のように、奥行き値が閾値以上のときは、図３の特性を用いて画像処理強度を決定することにより、奥行き感を向上させることがきる。すなわち、奥行き情報だけでなく、縦位置に応じた画像処理強度にすることで、奥行き情報が飽和してしまっている被写体に対しても、奥行き感がでるような画像処理ができるようになる。このため、奥行き感を向上させた画像を生成することができる。

上述の実施形態では、図３の特性を奥行き値が飽和してしまっているときにのみ利用したが、奥行き値が特定の範囲に適用しても同様の効果が得られる。例えば、遠景と判断できる奥行き値、すなわち奥行き値が予め決められた閾値よりも大きい画素にたいして、図３の特性を適用して、強度パラメータβを画像処理強度Ｓとするようにしてもよい。

また、画像処理強度決定部１０１は、奥行き値と縦位置との組合せに対して画像処理強度Ｓが得られるＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）を予め記憶しており、該ＬＵＴを参照して画像処理強度Ｓを決定するようにしてもよい。また、奥行き値に対して強度パラメータαが得られるＬＵＴと、縦位置に対して強度パラメータβが得られるＬＵＴとを記憶しており、奥行き値に応じて、参照するＬＵＴを切り替えて画像処理強度Ｓを決定するようにしてもよい。

また、画像処理強度決定部１０１は、以下のようにして、奥行き情報Ｄに含まれる奥行き値の範囲に応じて、奥行き値と強度パラメータαの関係を適応的に決めるようにしてもよい。まず、奥行き情報Ｄ内の最大値に対応する強度パラメータαを、予め決められた値α２とする。次に、奥行き情報Ｄ内の最小値に対応する強度パラメータαを、予め決められた値α１（α１＜α２）とする。そして、その間の奥行き値に対しては、α１とα２を線形的に補間することで算出する。

また、画像処理強度決定部１０１は、以下のようにして、奥行き値が最大値となっている領域の縦位置の範囲に応じて、縦位置と強度パラメータβとの関係を適応的に決めるようにしてもよい。まず、奥行き値が最大値となっている領域における縦位置の最大値に対応する強度パラメータβを、予め決められた値β２とする。次に、奥行き値が最大値となっている領域における縦位置の最小値に対応する強度パラメータβを、予め決められたβ１（β１＜β２）となるようにする。その間の縦位置のときは、β１とβ２を線形的に補間することで算出する。
なお、β１は、α２と等しいか、より大きい値としておくことが望ましい。これにより、奥行き値が最大値となっている領域における画像処理強度が、奥行き値が最大値となっていない領域における画像処理強度よりも小さくなることを防ぐことができる。

また、画像処理強度決定部１０１は、奥行き値が最大値であった場合には画像処理強度Ｓをα２×βまたはα２＋βにより算出するようにしてもよい。このとき、画像処理強度Ｓが最も大きくなるときはα２×β２またはα２＋β２となる。これにより、奥行き情報が飽和してしまっているような大きな値のときであっても、容易に縦位置を考慮した画素処理強度の算出が可能となるため好適である。なお、α２×βとする場合は、図３においてβは、常に１以上であることが望ましい。また、α２＋βとする場合は、図３においてβは、常に０以上であることが望ましい。

画像処理部１０２は、画像処理強度決定部１０１により決定された画像処理強度Ｓに従い、奥行き感を向上させる画像処理を、画像情報Ｇｉに対して行う。画像処理は輪郭強調、コントラスト補正、彩度補正が好適である。例えば、画像処理が輪郭強調であれば、画像処理強度Ｓの値が大きいほど、輪郭を強く強調するように輪郭強調処理を行う。輪郭強調処理とは、例えば、隣接する画素との明るさ値（輝度、明度など）の差が、より大きくなるように明るさ値を変換する処理である。このとき、明るさ値の差が大きいほど、輪郭が強く強調される。これらは、４近傍や８近傍の周辺画素を考慮した空間フィルタにより実現することができる。

また、画像処理が、コントラスト補正であれば、画像処理強度Ｓの値が大きいほど、コントラストが強くなるようにコントラスト補正処理を行う。コントラスト補正処理とは、例えば、明るさ値（輝度、明度、Ｒ（赤）値、Ｇ（緑）値、Ｂ（青）値など）が大きければ、明るさ値がより大きくなるように補正し、明るさ値が小さければ、明るさ値がより小さくなるように補正する処理である。このとき、補正する量がより大きいほど、より強いコントラスト補正処理となる。これらは、入力される値に対して補正する値を定義したＬＵＴにより実現することができる。
また、画像処理が、彩度補正であれば、画像処理強度Ｓの値が大きいほど、彩度が強くなるように彩度補正処理を行う。彩度補正処理とは、彩度の値をより大きくなるように変更する処理である。このとき、変更する量がより大きいほど、より強い彩度補正処理となる。これらは、ＨＳＶ（Hue Saturation Value；色相、彩度、明度）空間での彩度を乗算または加算したり、入力される画素値を行列により線形変換したりすることにより実現することができる。

図４の画像Ｇ１は、手前にいる人物である被写体Ｃを、背景に山である被写体Ｂと空である被写体Ａとを配置して撮影した場合の画像例である。このような場合、遠景の被写体は光の散乱などにより輪郭が不鮮明になるため、被写体までの距離が大きくなるほど輪郭強調の強度を大きくするのが好適である。また、近景である被写体Ｃは鮮明に撮影されているため、輪郭強調の強度を大きくするとノイズ感が目立ち画質が劣化してしまう。したがって、輪郭強調処理を本実施形態のように行うことで、画質の劣化を抑えつつ輪郭が鮮明な画像を生成することができる。生成された画像は、遠景が鮮明になったことにより、近景との距離感を感じやすくなることで奥行き感が向上する。

また、光の散乱などによりコントラストも低下してしまう。そこで、被写体までの距離が大きくなるほど、よりコントラストを強調するトーンカーブなどによりコントラストを強調するコントラスト補正をすると好適である。また、近景である被写体Ｃは十分なコントラストで十分な階調により撮影されており、過渡のコントラスト補正は階調数の減少が発生して画質が劣化してしまう。したがって、コントラスト補正処理を本実施形態のように行うことで、画質の劣化を抑えつつコントラスト感が向上した画像を生成することができる。生成された画像は、遠景が鮮明になったことにより、近景との距離感を感じやすくなることで奥行き感が向上する。

また、記憶色や鮮やかさにより画像の彩度は高い方が好まれ、実物のように感じる。しかしながら、人物の肌などは肌色である必要があり、過渡の彩度強調は違和感が発生するため画質劣化となってしまう。そこで、彩度補正処理を本実施形態のように行うことで、画質の劣化を抑えつつ違和感が無く彩度が高められた画像を生成することができる。生成された画像は、彩度が高く鮮やかな画像となり、遠景が鮮明になったことにより、近景との距離感を感じやすくなることで奥行き感が向上する。

以上に説明したように、本実施形態の画像処理装置１００によれば、奥行き情報と画像処理の注目画素の縦位置にしたがって、画像処理強度を変化させることにより、遠景においても奥行き感を向上した高画質な画像を生成することができる。

［第２の実施形態］
図６は、本発明の第２の実施形態における画像撮像装置３００の構成を示す概略ブロック図である。画像撮像装置３００は、撮像素子２００、撮像素子２０１、画像処理装置１００ａ、画像表示部２０３、画像記憶部２０４を含んで構成される。画像処理装置１００ａは、視差算出部２０２、画像処理強度決定部１０１、画像処理部１０２を含んで構成される。なお、同図において、図１の各部に対応する部分には同一の符号（１０１、１０２）を付し、説明を省略する。

撮像素子２００および２０１は、レンズモジュールとＣＣＤやＣＭＯＳイメージャなどで構成され、互いに平行に配置されている。すなわち、撮像素子２０１が撮影して生成する画像は、撮像素子２００が撮影して静止絵する画像とは視点の異なる画像である。撮像素子２００および２０１が撮影して生成した画像は、視差算出部２０２に伝達される。また、これらの画像のうち、撮像素子２００が生成した画像は、画像処理部１０２に伝達される。

視差算出部２０２は、撮像素子２００が生成した画像と、撮像素子２０１が生成した画像とに基づき、撮像素子２００が生成した画像に対応する視差を算出し、該視差に基づく値を奥行き値とする。なお、視差算出部２０２は、視差は２つの画像間の被写体のずれ量であり、ブロックマッチングなどにより算出することができる。撮影された被写体までの距離Ｚと視差Ｄｉの関係式は、Ｄｉ＝ｆ×Ｂ／Ｚである。ここで、ｆは撮像素子２００、２０１の焦点距離であり、Ｂは２つの撮像素子２００、２０１間の距離である基線長である。このように、距離Ｚと視差Ｄｉとの間には相関があるので、視差算出部２０２は、各画素における視差Ｄｉを変換した値を奥行き値とする奥行き情報を生成して、画像処理強度決定部１０１に伝達する。

なお、距離Ｚと視差Ｄｉとは図７のような関係であり、線形的な関係ではない。そこで、視差算出部２０２は、距離との関係が線形となるように視差を変換する。具体的には、視差算出部２０２は、上述の距離Ｚと視差Ｄｉの関係式を用いて、視差Ｄｉを距離Ｚに変換して、これを奥行き値としてもよいし、視差Ｄｉの逆数を奥行き値としてもよい。このようにすることで、焦点距離や基線長が不明あるは不定であっても、距離に応じた画像処理強度を適用することができるため好適である。視差の変換は、距離と完全に線形の関係にする必要はなく、それに近い変換であればその効果を得ることができる。
画像表示部２０３は、画像処理部１０２による処理結果の画像を表示する。また、画像記憶部２０４は、画像処理部１０２による処理結果の画像を記憶する。

以上に説明したように、本実施形態の画像撮像装置３００によれば、奥行き情報と画像処理の注目画素の縦位置にしたがって、画像処理強度を変化させることにより、遠景においても奥行き感を向上した高画質な画像を撮影することができる。
なお、本実施形態では、撮像素子を２つ備えた画像撮像装置３００について説明したが、撮像素子を２つ備えていなくても、複数の視点の異なる画像から視差を算出する方法でも同様の効果が得られる。例えば、１回目の撮影点から左右方向へ移動して２回目の撮影を行うことで、複数の画像を生成、これらの視差を算出するようにしてもよい。また、視差算出部２０２に代えて後述する奥行き情報算出部２０５を備えるようにしても良い。

また、本実施形態における視差算出部２０２は、視差を変換して距離を示す値を算出し、これを奥行き情報として画像処理強度決定部１０１に伝達しているが、奥行き情報として視差を伝達するようにしてもよい。この場合、画像処理強度決定部１０１は、視差と、縦位置とに応じて、画像処理強度を決定するが、視差が小さいほど画像処理強度が小さくなるように、画像処理強度を決定する。例えば、視差が０であれば、図３の特性に従い、縦位置に応じた画像処理強度とする。

［第３の実施形態］
図８は、本発明の第３の実施形態における画像表示装置３０１の構成を示す概略ブロック図である。画像表示装置３０１は、画像処理装置１００ｂ、画像表示部２０３を含んで構成される。画像処理装置１００ｂは、奥行き情報算出部２０５、画像処理強度決定部１０１、画像処理部１０２を含んで構成される。なお、同図において、図６の各部に対応する部分には同一の符号（１０１、１０２、２０３）を付し、説明を省略する。

奥行き情報算出部２０５は、入力される画像情報Ｇｉの各画素に対応する奥行き値を、画像情報Ｇｉに基づき推定し、推定結果からなる奥行き情報を画像処理強度決定部１０１に伝達する。奥行き値の推定には、従来の様々な推定方法が使用できる。例えば、色情報、消失点解析、オブジェクト抽出などにより２次元画像から３次元画像を生成する方法が挙げられる。
画像処理強度決定部１０１は、伝達された奥行き情報を用いて画像処理強度Ｓを決定する。

以上に説明したように、本実施形態の画像表示装置３０１によれば、奥行き情報と画像処理の注目画素の縦位置にしたがって、画像処理強度を変化させることにより、遠景においても奥行き感を向上した高画質な画像を表示することができる。

本実施形態では、奥行き情報算出部２０５を備えた画像表示装置３０１について説明したが、立体映像などの情報をもった画像情報が入力された場合には、立体映像から視差を算出して奥行き情報として利用するようにしてもよい。すなわち、第２の実施形態の視差算出部２０２を備えるようにしてもよい。また、画像情報とともに奥行き情報が入力される場合には、直接画像処理強度決定部１０１へ入力するようにしても良い。

また、図１における画像処理装置１００、図６における画像処理装置１００ａ、図８における画像処理装置１００ｂのいずれかの機能あるいはその一部機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより実現するようにしてもよいし、専用のハードウェアにより実現するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

１００、１００ａ、１００ｂ…画像処理装置
１０１…画像処理強度決定部
１０２…画像処理部
２００、２０１…撮像素子
２０２…視差算出部
２０３…画像表示部
２０４…画像記憶部
２０５…奥行き情報算出部
３００…画像撮像装置
３０１…画像表示装置

Claims (10)

1. 画像処理の強度を決定する画像処理強度決定部と、
   前記画像処理強度決定部が決定した強度に従い、入力画像に対して画像処理を行う画像処理部と
   を備え、
   前記画像処理強度決定部は、前記入力画像に含まれる注目画素に対応する奥行きを示す奥行き値と、前記注目画素の前記入力画像中における縦位置とに基づき、前記注目画素に対する画像処理の強度を決定すること
   を特徴とする画像処理装置。
2. 前記画像処理強度決定部が決定する強度は、前記奥行き値が示す距離が大きくなるほど強く、かつ、前記縦位置が前記入力画像中の上部になるほど強いことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理強度決定部は、前記注目画素に対応する前記奥行き値の値が飽和しているときに、前記縦位置に基づき、前記強度を決定することを特徴とする請求項１に記載の画像処理装置。
4. 前記画像処理部で処理する画像処理が、輪郭強調処理、コントラスト補正処理または彩度補正処理であることを特徴とする請求項１に記載の画像処理装置。
5. 前記入力画像と、前記入力画像とは視点の異なる画像とに基づき、前記入力画像の各画素に対応する視差を算出する視差算出部を備え、
   前記視差に基づく値を前記奥行き値とすること
   を特徴とする請求項１に記載の画像処理装置。
6. 前記入力画像の各画素に対応する前記奥行き値を、前記入力画像に基づき推定する奥行き値算出部を備えることを特徴とする請求項１に記載の画像処理装置。
7. 被写体を撮像して画像を生成する撮像部と、
   前記撮像部が生成した画像を入力画像とする請求項１から請求項６のいずれかの項に記載の画像処理装置と
   を備えることを特徴とする画像撮像装置。
8. 請求項１から請求項６のいずれかの項に記載の画像処理装置と、
   前記画像処理装置により画像処理された画像を表示する画像表示部と
   を備えることを特徴とする画像表示装置。
9. 画像処理の強度を決定する画像処理強度決定ステップと、
   前記画像処理強度決定ステップにて決定した強度に従い、入力画像に対して画像処理を行う画像処理ステップと
   を有し、
   前記画像処理強度決定ステップにおいて、前記入力画像に含まれる注目画素に対応する奥行きを示す奥行き値と、前記注目画素の前記入力画像中における縦位置とに基づき、前記注目画素に対する画像処理の強度を決定すること
   を特徴とする画像処理方法。
10. コンピュータを、
    画像処理の強度を決定する画像処理強度決定部、
    前記画像処理強度決定部が決定した強度に従い、入力画像に対して画像処理を行う画像処理部
    として機能させるためのプログラムであって、
    前記画像処理強度決定部は、前記入力画像に含まれる注目画素に対応する奥行きを示す奥行き値と、前記注目画素の前記入力画像中における縦位置とに基づき、前記注目画素に対する画像処理の強度を決定すること
    を特徴とするプログラム。

Images