JP5175910B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明の実施形態は、画像を強調する画像処理装置に関する。

奥行き度が近景であることを表す画素が、遠景の画素よりも相対的に目立つように画像を処理することにより、画像の奥行き感や立体感を向上させる画像処理装置が知られている。

特開２００９−０３８７９４号公報

しかしながら、従来技術では、得られる画像が不自然となる問題があった。例えばカメラで画像を撮影する場合、光はレンズを経てセンサに到達する。人間が何かを観察する場合、光はレンズの役割を果たす角膜や水晶体を経て網膜に到達する。したがって、カメラで撮影した画像や、人間の目で観察した画像で最も目立つ部分は、近景であるとは限らない。すなわち、従来技術のように近景を目立つように処理した画像は、カメラでいずれかの部分に焦点を合わせた場合に得られる画像、または、人間がいずれかの部分を注視した場合に観察される画像とは目立つ部分が異なるため、不自然な画像となる場合があった。

実施形態の画像処理装置は、差算出部と、強度算出部と、強調部とを備える。差算出部は、入力画像の部分領域ごとに、入力画像に撮像されている被写体の奥行値と、基準とする奥行値である基準値との差を算出する。強度算出部は、部分領域ごとに、差が０のときに極大値となり、差の絶対値が小さいほど値が大きい強度を算出する。強調部は、部分領域ごとに入力画像を算出した強度で強調した出力画像を生成する。

第１の実施形態に係わる画像処理装置のブロック図。 第１の実施形態における画像強調処理のフローチャート。 入力画像の一例を示す図。 奥行きデータの一例を示す図。 奥行値と基準値と差との関係を示す図。 差の値と強度との関係の一例を示す図。 差の値と強度との関係の一例を示す図。 奥行値と強度との関係の一例を示す図。 奥行値と強度との関係の一例を示す図。 基準値が木の奥行値と等しい場合の強度データの例を示す図。 基準値が人物の奥行値と等しい場合の強度データの例を示す図。 注目画素の一例を示す図。 図１２の注目画素の強調時に参照する画素集合の範囲の一例を示す図。 レンズと被写体の位置関係の一例を示す図。 強調に利用されるトーンカーブの一例を示す図。 強調に利用されるトーンカーブの一例を示す図。 強調に利用されるトーンカーブの一例を示す図。 明度または彩度のヒストグラムの一例を示す図。 明度または彩度のヒストグラムの一例を示す図。 強調に利用されるトーンカーブの一例を示す図。 強調に利用されるトーンカーブの一例を示す図。 第２の実施形態に係わる画像処理装置のブロック図。 第２の実施形態における画像強調処理のフローチャート。 強調によって発生するシュートについて説明するための図。 第３の実施形態に係わる画像処理装置のブロック図。 第３の実施形態における画像強調処理のフローチャート。 第４の実施形態に係わる画像処理装置のブロック図。 第４の実施形態における画像強調処理のフローチャート。 被写体が３Ｄディスプレイから飛び出して見える場合の例を表す図。 被写体が３Ｄディスプレイの面上に見える場合の例を表す図。 第１から第４の実施形態にかかる画像処理装置のハードウェア構成図。

以下に添付図面を参照して、この発明にかかる画像処理装置の好適な実施形態を詳細に説明する。

（第１の実施形態）
第１の実施形態にかかる画像処理装置は、奥行きが基準となる奥行き（基準値）に近い画素ほど強い強度で画像を強調する。これにより、基準値に近い奥行きに位置する被写体がはっきりと（明りょうに）見える画像が生成される。したがって、生成された画像を見た人物に対して、被写体を注視した場合に感じる奥行き感と立体感を与えられる。

図１は、第１の実施形態に係わる画像処理装置１０の構成例を示すブロック図である。図２は、第１の実施形態における画像強調処理の全体の流れを示すフローチャートである。以下、図１および図２を参照しながら、画像処理装置１０の構成および機能を説明する。

図１に示すように、画像処理装置１０は、差算出部１０４と、強度算出部１０６と、強調部１０８とを備える。画像処理装置１０は、入力画像１０１と、奥行きデータ１０２（詳細は後述）と、基準とする奥行値である基準値１０３とが入力されると、出力画像１０９を出力する。

差算出部１０４は、入力画像１０１の部分領域ごとに、撮像されている被写体の奥行値と、基準値１０３との差を算出し、差データ１０５を出力する。強度算出部１０６は、部分領域ごとに、算出された差が０のときに極大値となり、差の絶対値が小さいほど値が大きい強度を算出する。強調部１０８は、部分領域ごとに入力画像１０１を算出された強度で強調した出力画像１０９を生成して出力する。

図３は、入力画像１０１の一例を示す図である。図３は、道路に人物３０２が立っていて、その道路に沿って木３０１と木３０３が立っている画像の例が示されている。入力画像１０１全体の中では、カメラや人間の目などといった視点から画面最下部が最も近く、画面最上部が最も遠い。木３０１と人物３０２と木３０３の中では、木３０１が、視点に最も近く、人物３０２がその次に近く、木３０３が最も遠い。木３０１と人物３０２と木３０３のうちのいずれも、入力画像１０１の画面最下部よりも視点から遠く、入力画像１０１の画面最上部よりも近い。

図２に示すように、奥行きデータ１０２と基準値１０３が差算出部１０４に入力されると、差算出部１０４が、差データ１０５を算出して強度算出部１０６に送る（ステップＳ１１）。奥行きデータ１０２は、入力画像１０１の部分領域ごとに被写体の奥行きの値（奥行値）を持つデータである。以下では、部分領域が入力画像１０１の画素であり、奥行値が視点からの距離を表す値である場合を説明する。

図４は、奥行きデータ１０２の一例を示す図である。図４では、斜線の密度が大きい部分ほど奥行値が小さく、視点に近いことを表す。斜線の密度が小さい部分ほど奥行値が大きく、視点から遠いことを表す。なお、図４では、説明の便宜上、例えば道路を含む背景部分の奥行値を４段階に分けて記載している。実際には、例えば道路の奥行値は画面最上部に向かって連続的に大きくなる。後述の図１０および図１１も同様である。

差データ１０５は、奥行きデータ１０２のうちの各画素の奥行値から基準値１０３を引くことで算出され、画素ごとに差の値を持つ。図５は、奥行値と基準値１０３と差との関係を示す図である。

図２に戻り、差データ１０５が強度算出部１０６に入力されると、強度算出部１０６は、差データ１０５から強度データ１０７を算出して強調部１０８に送る（ステップＳ１２）。強度データ１０７は、差データ１０５から算出され、画素ごとに強度の値を持つ。各画素の強度は、差データ１０５のうちのその画素の差の値の絶対値が小さいほど大きく算出され、差の値の絶対値が大きいほど小さく算出される。差の絶対値が同じでも、差が正の場合の方が負の場合よりも、強度の値が大きく算出されても良い。

各画素の強度の値は、例えば、差データ１０５のうちのその画素の差の値と、差の値と強度との関係を定めた関数またはテーブルによって算出される。図６および図７は、差の値と強度との関係の一例を示す図である。強度算出部１０６は、図６または図７の関係を表した関数によって強度を算出しても良いし、図６または図７の関係を表したテーブルによって強度を算出しても良い。関数によって算出する場合、テーブルを保持するためのメモリが必要ない。テーブルによって算出する場合、関数の値を計算するコストを削減できる。

各画素の強度の値を、奥行値と基準値と強度との関係を定めた関数またはテーブルによって算出するように構成してもよい。図８および図９は、奥行値と強度との関係の一例を示す図である。強度が差と図６のような関係から算出されることと、強度が奥行値と基準値１０３と図８のような関係から算出されることは等価である。また、強度が差と図７のような関係から算出されることと、強度が奥行値と基準値１０３と図９のような関係から算出されることは等価である。

図８および図９に示すように、基準値１０３と同じ奥行値の画素の強度の値が極大となる。また、奥行きが基準値１０３よりも奥である画素の強度は、差の絶対値が等しく、基準値１０３よりも手前の画素の強度よりも大きい。

図１０は、基準値１０３が木３０１の奥行値と等しい場合の強度データ１０７の例を示す図である。図１０で斜線の密度が小さい部分ほど強度の値が大きく、斜線の密度が大きい部分ほど強度の値が小さいことを表す。図１０に示すように、木３０１と奥行きが近いほど強度の値が大きくなる。

図１１は、基準値１０３が人物３０２の奥行値と等しい場合の強度データ１０７の例を示す図である。この場合、図１１に示すように、人物３０２と奥行きが近いほど強度の値が大きくなる。

図２に戻り、入力画像１０１と強度データ１０７が強調部１０８に入力されると、強調部１０８は、入力画像１０１を強度データ１０７で強調した出力画像１０９を生成して出力する（ステップＳ１３）。

出力画像１０９は、入力画像１０１の明度と彩度のうちの少なくとも１つが、強度データ１０７に基づいて強調されることで生成される。強調には、例えば、アンシャープマスクフィルタやラプラシアンフィルタなどの先鋭化フィルタが利用される。先鋭化フィルタで処理する対象の画素である注目画素の値を強調するために参照する画素集合の範囲は、予め定められた範囲とする。参照する画素集合の範囲は、例えば、注目画素を中心とする縦方向と横方向に共に３画素の集合である。

図１２は、注目画素の一例を示す図である。図１３は、図１２の注目画素の強調時に参照する画素集合の範囲の一例を示す図である。図１２の画素１５０１が注目画素である場合、図１３の画素集合１６０１が参照する画素集合である。参照する画素集合の範囲は、これに限られるものではない。先鋭化フィルタの強度は、画素ごとに切り替えられる。その強度として、強度データ１０７の各画素の強度の値が利用される。

カメラで撮像した画像で、はっきり見える被写体と、はっきり見えない被写体の奥行きについて、図１４の例を利用して説明する。図１４は、レンズと被写体の位置関係の一例を示す図である。

図１４の例では、レンズ７０４とセンサが配置された面７０５に対し、焦点が位置７０２に合っている。位置７０２から位置７０１までの距離と、位置７０２から位置７０３までの距離は等しい。位置７０２に存在する被写体から出た光は、面７０５で一点に収束するため、撮像画像ではっきり観察される。位置７０２よりもレンズ７０４に近い位置７０１に存在する被写体から出た光は、面７０５で広がりを持つため、撮像画像でぼけて（不明りょうに）観察される。位置７０２よりもレンズ７０４から遠い位置７０３に存在する被写体から出た光は、面７０５で広がりを持つため、撮像画像でぼけて観察される。その広がりは、位置７０１に存在する被写体から出た光よりも狭い。図１４から、焦点が合った奥行きの被写体ははっきりと見えるため、目立つことがわかる。また、焦点が合っていない奥行きの被写体はぼけて見えるため、目立たないことがわかる。さらに、焦点が合っている奥行きからの距離が同じであっても、視点から近い被写体の方が、遠い被写体よりもぼけて見えることがわかる。

このように、第１の実施形態に係わる画像処理装置１０によれば、奥行きが基準値１０３に近い画素ほど強い強度で画像を強調できる。このため、基準値１０３に近い奥行きに位置する被写体がはっきりと見える画像が生成される。カメラでどこかに焦点を合わせた場合に得られる画像は、その奥行きに存在する被写体がはっきり見えるため、目立つ。人間の目の角膜や水晶体がレンズの役割を果たし、網膜がセンサの役割を果たすため、人間がどこかを注視した場合も同様である。したがって、本実施形態の画像処理装置１０によって生成された出力画像１０９を見た人物に、基準値１０３に位置する物体を注視した場合に感じる奥行き感と立体感を与えられる。

画像をぼかすことで奥行き感や立体感を与えることもできるが、画像をぼかすことは必ずしも画像を見る人に好まれない。本実施形態では、画像をぼかすか否かに関わらず、強調することにより、基準値１０３に位置する物体を注視した場合に感じる奥行き感と立体感を与えられる。

（部分領域に関する変形例）
これまでは奥行きデータ１０２が奥行値を持つ単位が、入力画像１０１の画素である場合を説明したが、部分領域が入力画像１０１の画素である必要はない。例えば、部分領域が入力画像１０１の画素の集合であっても構わない。その場合、各画素の奥行値を補間したデータを奥行きデータ１０２とすれば良い。または、部分領域が入力画像１０１の画素より細かい領域であっても構わない。その場合、入力画像１０１の画素より細かい領域ごとの奥行値を積分することで各画素の奥行値を生成したデータを奥行きデータ１０２とすれば良い。この変形例によっても、第１の実施形態と同様の効果がある。

（奥行値に関する変形例）
これまでは奥行値が視点からの距離が大きいほど大きくなる場合を説明した。この場合、視点から近いほど、奥行値は小さい。逆に、視点から近いほど、奥行値が大きくなる形式を利用しても構わない。その場合、値の大小を反転させてから上述の処理を適用すれば良い。この変形例によっても、第１の実施形態と同様の効果がある。

（強調に関する変形例）
これまでは先鋭化フィルタを用いて画像を強調する例を説明した。先鋭化フィルタ以外の画像処理で画像の明度や彩度を強調するように構成してもよい。例えば、トーンカーブによる階調補正によって画像の明度と彩度の少なくとも一方が強調されても構わない。

図１５〜図１７は、強調に利用されるトーンカーブの一例を示す図である。図１５〜図１７では、横軸が入力の明度または彩度を表し、縦軸が出力の明度または彩度を表す。図１５のトーンカーブは、強調には利用されないトーンカーブの例である。このトーンカーブは、切片が０で傾きが１の直線であり、ある入力に対する出力が入力と一致する。そのため、図１５のトーンカーブによる階調補正によって生成される出力画像１０９は、入力画像１０１と一致し、基準値１０３に近い奥行きの部分が強調されない。

基準値１０３に近い奥行きの画素の集合を強調するためには、その部分での傾きが１より大きいトーンカーブが利用される。説明のために、基準値１０３に近い奥行きの部分の明度または彩度の値は、主に図１６および図１７の値２５０１から値２５０２までであると仮定する。この場合に、例えば、図１６や図１７に示したトーンカーブが利用される。

図１６や図１７の例では、値２５０１から値２５０２までの範囲で傾きが１より大きい。入力が値２５０１から値２５０２までの部分では、出力が値２５０３から値２５０４までの範囲に変換される。値２５０１から値２５０２までの範囲よりも、値２５０３から値２５０４までの範囲の方が広いため、基準値１０３に近い奥行きの画素の集合のコントラストが強調される。値２５０１と値２５０２は、例えば、基準値１０３からの差が閾値以内の奥行値である画素の明度または彩度の頻度を表すヒストグラムから決定される。

図１８は、明度または彩度のヒストグラムの一例を示す図である。図１８の例では、ヒストグラムの頻度が閾値２７０１である明度または彩度が値２５０１と値２５０２として決定される。

ここでは、説明の簡略化のために、画像全体に対して１つのトーンカーブによる階調補正で画像が強調される変形例を説明した。これに対し、画像を部分画像に分割し、分割した部分画像ごとに異なるトーンカーブを利用した階調補正で画像を強調するように構成してもよい。これにより、基準値１０３からの差が閾値以内の奥行きである画素の集合の明度または彩度に関するコントラストが部分画像ごとに細やかに強調される。

また、トーンカーブの形状に関して、傾きが１より大きい部分が１つに限定されるものではない。例えば、基準値１０３に近い奥行値の被写体が複数ある場合、ヒストグラムが図１９のように峰を複数持つ場合がある。この場合、図２０に示したトーンカーブのように、傾きが１より大きい部分が複数あっても構わない。すなわち、図１９で頻度が閾値２７０１と一致する値２８０１から値２８０２までの範囲、および、値２８０３から値２８０４までの範囲で、傾きが１より大きいトーンカーブ（図２０）を用いても良い。

もちろん、図２１に示したトーンカーブのように、傾きが１より大きい部分が１つであっても構わない。いずれの場合も、基準値１０３からの差が閾値以内の奥行きである画素の集合の明度または彩度に関するコントラストが強調される。

（第２の実施形態）
第２の実施形態にかかる画像処理装置は、物体間の境界、または、凹凸のはっきりした物体で奥行きが互いに大きく異なる部位間の境界などの画素を強調する強度の値を小さくする。これにより、先鋭化フィルタのシュートを抑制することができる。

図２２は、第２の実施形態に係わる画像処理装置１３０の構成例を示すブロック図である。図２３は、第２の実施形態における画像強調処理の全体の流れを示すフローチャートである。以下、図２２および図２３を参照しながら、画像処理装置１３０の構成および機能を説明する。

図２２に示すように、画像処理装置１３０は、差算出部１０４と、境界度算出部１３０１と、強度算出部１３０３と、強調部１０８とを備える。画像処理装置１３０は、入力画像１０１と奥行きデータ１０２と基準値１０３が入力されると、出力画像１０９を出力する。

第２の実施形態では、境界度算出部１３０１を追加したこと、および、強度算出部１３０３の機能が第１の実施形態と異なっている。その他の構成および機能は、第１の実施形態にかかる画像処理装置１０の構成を表すブロック図である図１と同様であるので、同一符号を付し、ここでの説明は省略する。

境界度算出部１３０１は、部分領域（画素）ごとに、部分領域の奥行値と部分領域の周辺領域の奥行値との差が大きいほど値が大きい境界度を算出する。強度算出部１３０３は、部分領域ごとに、算出された差が０のときに極大値となり、差の絶対値が小さいほど値が大きく、かつ、境界度が小さいほど値が大きい強度を算出する。

図２３のステップＳ２１およびステップＳ２４は、それぞれ図２のステップＳ１１およびステップＳ１３と同様であるため説明を省略する。奥行きデータ１０２が境界度算出部１３０１に入力されると、境界度算出部１３０１は、境界度データ１３０２を算出して強度算出部１３０３に送る（ステップＳ２２）。境界度データ１３０２は、各画素に対して、その画素が奥行きの異なる物体同士の境界かどうかを表す境界度の値を持つデータであり、奥行きデータ１０２から算出される。

境界度の算出方法について、上述の図１２および図１３を利用して説明する。図１２の画素１５０１での境界度の値は、強調部１０８で画素１５０１が処理される際に参照される図１３の画素集合１６０１内の各画素の奥行値と、画素１５０１の奥行値から算出される。例えば、境界度算出部１３０１は、まず画素集合１６０１内の各画素の奥行きデータ１０２中の奥行値と、画素１５０１の奥行きデータ１０２中の奥行値との差をそれぞれ算出する。境界度算出部１３０１は、画素集合１６０１内の各画素に対して算出した差の絶対値のうち最大値を、画素１５０１の境界度の値として算出する。画素１５０１の境界度の値が大きいことは、画素１５０１が、異なる物体間の境界、または、凹凸のはっきりした物体で互いに大きく奥行きの異なる部位間の境界であることを表す。

図２３に戻り、差データ１０５と境界度データ１３０２が強度算出部１３０３に入力されると、強度算出部１３０３は、強度データ１０７を算出して強調部１０８に送る（ステップＳ２３）。強度データ１０７は、差データ１０５と境界度データ１３０２から算出され、画素ごとに強度の値を持つ。各画素の強度は、差データ１０５のうちのその画素の差の値の絶対値が小さいほど大きく算出され、差の値の絶対値が大きいほど小さく算出され、境界度データ１３０２のうちのその画素の境界度の値が大きいほど小さく算出される。または、各画素の強度は、差データ１０５のうちのその画素の差の値の絶対値が小さいほど大きく算出され、差の値の絶対値が大きいほど小さく算出され、境界度データ１３０２のうちのその画素の境界度の値が大きいほど小さく算出され、境界度データ１３０２のうちのその画素の境界度の値が小さいほど大きく算出される。

強度の値は、差の値と境界度の値とを入力すると、強度の値を出力する関数によって算出される。または、強度の値は、差の値と境界度の値とを入力すると、強度の値を出力するテーブルによって算出される。関数によって算出される場合、テーブルを保持するためのメモリが必要ない。テーブルによって算出される場合、関数の値を計算するためのコストがかからない。

強度算出部１３０３は、境界度データ１３０２のうちのある画素の境界度が、物体間の境界、または、凹凸のはっきりした物体で奥行きが互いに大きく異なる部位間の境界であることを表している場合に、その画素の強度の値を小さくする点が、第１の実施形態の強度算出部１０６と異なる。

このように、第２の実施形態にかかる画像処理装置１３０では、境界度が大きい画素が強調される際の強度が弱くなる。これにより、先鋭化フィルタのシュートが抑制される効果がある。以下、この抑制効果について説明する。図２４は、強調によって発生するシュートについて説明するための図である。

先鋭化フィルタでは、明度や彩度などの画素の値が強調される。この強調は、注目画素の値を、注目画素の周辺領域（周辺の参照画素）の値の代表値から離すことによって実現される。図２４の左側は、強調前の画像の断面における画素の位置と、画素の値（明度または彩度）の関係を表す例である。一方、図２４の右側は、全画素に対して均一な強度で強調した後の画像の断面における画素の位置と、画素の値（明度または彩度）の関係を表す例である。

図２４に示すように、強調前の画像に存在する画素の値のピークが強調される。また、強調前の画像には存在しないものが発生していることが図２４の右側に示されている。これがシュートと呼ばれるものである。このように、画像の強調により、物体表面のテクスチャを先鋭にする効果がある一方で、物体間の境界や、凹凸のはっきりした物体で奥行きが互いに大きく異なる部位間の境界で目障りなアーチファクトとして知覚されるシュートが発生する。

第２の実施形態では、物体間の境界や、凹凸のはっきりした物体で奥行きが互いに大きく異なる部位間の境界で大きくなる境界度を算出し、境界度が大きいほど強調の強度を弱めている。このため、境界でシュートが発生するのを抑制できる。もちろん、第２の実施形態は、第１の実施形態の効果も持っている。

（境界度の算出方法に関する変形例）
これまでは、画素集合１６０１内の各画素の奥行きデータ１０２中の奥行値と、画素１５０１の奥行きデータ１０２中の奥行値の差を算出し、差の絶対値の最大値を画素１５０１の境界度の値として算出する例について記述した。境界度の算出方法はこれに限られるものではない。例えば、画素集合１６０１内の各画素の奥行きデータ１０２中の奥行値と、画素１５０１の奥行きデータ１０２中の奥行値の差をそれぞれ算出し、差の２乗の最大値を画素１５０１の境界度の値として算出しても構わない。または、画素集合１６０１内の各画素の奥行きデータ１０２中の奥行値と、画素１５０１の奥行きデータ１０２中の奥行値の差をそれぞれ算出し、差の絶対値または２乗の総和を、画素１５０１の境界度の値として算出しても構わない。いずれの場合も、変形前と同様の効果がある。

（第３の実施形態）
第３の実施形態にかかる画像処理装置は、ユーザにより指定された基準被写体の奥行値を基準値として設定する。これにより、ユーザが注視したい被写体を注視したかのような奥行き感と立体感をユーザに与えられる。

図２５は、第３の実施形態に係わる画像処理装置１８０の構成例を示すブロック図である。図２６は、第３の実施形態における画像強調処理の全体の流れを示すフローチャートである。以下、図２５および図２６を参照しながら、画像処理装置１８０の構成および機能を説明する。

図２５に示すように、画像処理装置１８０は、基準値設定部１８０２と、差算出部１０４と、境界度算出部１３０１と、強度算出部１３０３と、強調部１０８と、を備える。画像処理装置１８０は、入力画像１０１と奥行きデータ１０２と基準被写体１８０１が入力されると、出力画像１０９を出力する。

第３の実施形態では、基準値設定部１８０２を追加したことが第２の実施形態と異なっている。その他の構成および機能は、第２の実施形態にかかる画像処理装置１３０の構成を表すブロック図である図２２と同様であるので、同一符号を付し、ここでの説明は省略する。

基準値設定部１８０２は、入力画像１０１に撮像されている被写体のうち基準として指定された基準被写体１８０１の奥行値を基準値として設定する。

図２６に示すように、奥行きデータ１０２と基準被写体１８０１が基準値設定部１８０２に入力されると、基準値設定部１８０２は基準値１０３を設定して差算出部１０４に送る（ステップＳ３１）。ステップＳ３２からステップＳ３５は、図２３のステップＳ２１からステップＳ２４と同様であるため説明を省略する。

基準被写体１８０１は、入力画像１０１で強調する被写体の位置または領域を特定するデータである。例えば、基準被写体１８０１は、入力画像１０１における位置を表す座標データである。この場合、その座標データが示す位置に最も近い画素の奥行きデータ１０２中の奥行値が、基準値１０３として設定される。または、基準被写体１８０１は、入力画像１０１における矩形の部分領域の四隅の座標データである。この場合、その座標データが示す部分領域に含まれる１つ以上の画素の奥行きデータ１０２中の奥行値の平均値が基準値１０３として設定される。基準被写体１８０１は、例えば画像処理装置１８０のユーザによってユーザインターフェースを介して外部から指定され、画像処理装置１８０に入力される。

第３の実施形態により、基準被写体１８０１がユーザの指示によって指定され、その基準被写体１８０１の奥行値が基準値１０３として設定される。このため、ユーザが注視したい被写体を注視したかのような奥行き感と立体感をユーザに与えられる。

（第４の実施形態）
第４の実施形態にかかる画像処理装置は、画像から検出した基準被写体の奥行値を基準値として設定する。これにより、ユーザの指示がなくても、被写体を注視したかのような奥行き感と立体感をユーザに与えられる。

図２７は、第４の実施形態に係わる画像処理装置２００の構成例を示すブロック図である。図２８は、第４の実施形態における画像強調処理の全体の流れを示すフローチャートである。以下、図２７および図２８を参照しながら、画像処理装置２００の構成および機能を説明する。

図２７に示すように、画像処理装置２００は、基準被写体設定部２００１と、基準値設定部１８０２と、差算出部１０４と、境界度算出部１３０１と、強度算出部１３０３と、強調部１０８と、を備える。画像処理装置２００は、入力画像１０１と奥行きデータ１０２が入力されると、出力画像１０９を出力する。

第４の実施形態では、基準被写体設定部２００１を追加したことが第３の実施形態と異なっている。その他の構成および機能は、第３の実施形態にかかる画像処理装置１８０の構成を表すブロック図である図２５と同様であるので、同一符号を付し、ここでの説明は省略する。

基準被写体設定部２００１は、入力画像１０１から顔検出処理により人物等の顔を検出し、検出した顔または検出した顔を含む被写体を基準被写体１８０１として設定する。

図２８に示すように、入力画像１０１が基準被写体設定部２００１に入力されると、基準被写体設定部２００１は、入力画像１０１から顔を検出して基準被写体１８０１として設定する（ステップＳ４１）。基準被写体１８０１は例えば、入力画像１０１から顔検出により検出された顔の領域を表す矩形の四隅の座標データである。設定された基準被写体１８０１は、基準値設定部１８０２に送られる。ステップＳ４２からステップＳ４６は、図２６のステップＳ３１からステップＳ３５と同様であるため説明を省略する。

このように、第４の実施形態により、人物の顔の領域を基準被写体１８０１とすることができる。このため、ユーザの指示がなくても、その顔を注視したかのような奥行き感と立体感をユーザに与えられる。

（基準被写体に関する変更例１）
入力画像１０１中に顔が複数ある場合、最も大きく映っている顔の領域を表す矩形の四隅の座標データが基準被写体１８０１として設定されるように変更しても良い。これにより、ユーザの指示がなくても、最も大きく映っている顔を注視したかのような奥行き感と立体感を、ユーザに与えられる。

（基準被写体に関する変更例２）
入力画像１０１中に顔が複数存在する場合、最も先鋭な顔の領域を表す矩形の四隅の座標データが基準被写体１８０１として設定されるように変更しても良い。先鋭度合いは、例えば、周波数解析によって算出した高周波成分のパワーである。これにより、ユーザの指示がなくても、最も先鋭な顔を注視したかのような奥行き感と立体感を、ユーザに与えられる。

（基準被写体に関する変更例３）
基準被写体設定部２００１にカメラをさらに追加し、カメラで撮影したユーザの視線の方向を検出し、ユーザが注視している位置の座標データを算出し、算出した座標データを基準被写体１８０１として設定するように構成しても良い。これにより、ユーザが実際に注視した領域が最も強く強調されるため、そこを注視したかのような奥行き感と立体感を、ユーザに与えられる。

（基準被写体に関する変更例４）
入力画像１０１が複数の視差画像であっても良い。視差画像とは、互いに視差が存在する複数の視点から見た画像である。基準被写体設定部２００１は、例えば想定する視点で右目と左目とにそれぞれ入る視差画像間に視差が存在しない領域（視差が所定の閾値より小さい領域）を、基準被写体１８０１として設定する。強調部１０８は、複数の視差画像（入力画像１０１）のうちの少なくとも１枚の明度と彩度のうちの少なくとも１つを、強度データ１０７に基づいて強調して出力画像１０９を生成する。

入力画像１０１が両眼視差画像である場合を例にとって、視差が存在しない領域を基準被写体１８０１に設定した場合の効果を説明する。図２９は、被写体である三角形が３Ｄディスプレイから手前に飛び出して見える場合の例を表す図である。この例では、右目用の視差画像中の三角形と左目用の視差画像中の三角形とに相対位置のずれ、すなわち、視差が存在する。このため、右目と右目用の視差画像中の三角形を結ぶ線と、左目と左目用の視差画像中の三角形を結ぶ線とが交差する位置に、三角形の像が飛び出して見える。

一方、図３０は、被写体である三角形が３Ｄディスプレイの面上に見える場合の例を表す図である。この例では、右目用の視差画像中の三角形と左目用の視差画像中の三角形に相対位置のずれ、すなわち、視差が存在しない。このため、右目と右目用の視差画像中の被写体である三角形を結ぶ線と、左目と左目用の視差画像中の被写体である三角形を結ぶ線とがディスプレイ面上で交わり、三角形がディスプレイ面上に存在するかのように見える。

図３０のように、相対位置のずれ（視差）が存在しない被写体の像は、ディスプレイ面上で観察される。被写体を飛び出させる量が多いと人間の目に負担がかかるため、映像コンテンツの制作者は注視させたい被写体の像が、ディスプレイの面上に生成されるように複数の視差画像を作成すると考えられる。したがって、本変形例によって視差が存在しない領域を基準被写体１８０１とすることで、映像コンテンツの制作者が注視させたい被写体が強調される効果がある。

以上説明したとおり、第１から第４の実施形態によれば、奥行きが基準となる奥行き（基準値）に近い画素ほど強い強度で画像を強調する。これにより、基準値に近い奥行きに位置する被写体がはっきりと（明りょうに）見える画像を生成でき、生成された画像を見た人物に対して、被写体を注視した場合に感じる奥行き感と立体感を与えられる。

次に、第１から第４の実施形態にかかる画像処理装置のハードウェア構成について図３１を用いて説明する。図３１は、第１から第４の実施形態にかかる画像処理装置のハードウェア構成を示す説明図である。

第１から第４の実施形態にかかる画像処理装置は、ＣＰＵ（Central Processing Unit）５１などの制御装置と、ＲＯＭ（Read Only Memory）５２やＲＡＭ（Random Access Memory）５３などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５４と、ＨＤＤ（Hard Disk Drive）、ＣＤ（Compact Disc）ドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置と、各部を接続するバス６１を備えており、通常のコンピュータを利用したハードウェア構成となっている。

第１から第４の実施形態にかかる画像処理装置で実行される画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されてコンピュータプログラムプロダクトとして提供される。

また、第１から第４の実施形態にかかる画像処理装置で実行される画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、第１から第４の実施形態にかかる画像処理装置で実行される画像処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

また、第１から第４の実施形態の画像処理プログラムを、ＲＯＭ等に予め組み込んで提供するように構成しても良い。

第１から第４の実施形態にかかる画像処理装置で実行される画像処理プログラムは、上述した各部（差算出部、強度算出部、強調部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ５１（プロセッサ）が上記記憶媒体から画像処理プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上述した各部が主記憶装置上に生成されるようになっている。

なお、本実施形態は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。

１０、１３０、１８０、２００ 画像処理装置
１０４ 差算出部
１０６、１３０３ 強度算出部
１０８ 強調部
１３０１ 境界度算出部
１８０２ 基準値設定部
２００１ 基準被写体設定部

Claims (9)

1. 入力画像の部分領域ごとに、被写体の奥行値と、基準となる奥行を示す基準値との差を算出する差算出部と、
   前記部分領域ごとに、前記差が０のときに極大値となり、かつ、前記差の絶対値が小さいほど値が大きい強度を算出する強度算出部と、
   前記部分領域のそれぞれを前記強度に従って強調した出力画像を生成する強調部と、
   前記部分領域ごとに、前記部分領域の前記奥行値と前記部分領域の周辺領域の前記奥行値との差が大きいほど値が大きい境界度を算出する境界度算出部と、を備え、
   前記強度算出部は、前記部分領域ごとに、前記差が０のときに極大値となり、前記差の絶対値が小さいほど値が大きく、かつ、前記境界度が小さいほど値が大きい前記強度を算出すること、
   を特徴とする画像処理装置。
2. 入力画像の部分領域ごとに、被写体の奥行値と、基準となる奥行を示す基準値との差を算出する差算出部と、
   前記部分領域ごとに、前記差が０のときに極大値となり、かつ、前記差の絶対値が小さいほど値が大きい強度を算出する強度算出部と、
   前記部分領域のそれぞれを前記強度に従って強調した出力画像を生成する強調部と、を備え、
   前記強度算出部は、前記差の絶対値が同一である２つの部分領域のうち、前記奥行値が前記基準値より手前であることを示す部分領域の強度を、前記奥行値が前記基準値より奥であることを示す部分領域の強度以下に算出すること、
   を特徴とする画像処理装置。
3. 前記入力画像に撮像されている被写体のうち基準として指定された基準被写体の奥行値を前記基準値として設定する基準値設定部をさらに備えること、
   を特徴とする請求項１および２に記載の画像処理装置。
4. ユーザにより指定された被写体、前記入力画像から顔検出処理により検出された顔という被写体、または、前記入力画像の被写体のうち、ユーザの視線検出によって検出された視線の方向に存在する被写体を、前記基準被写体として設定する被写体設定部をさらに備え、
   前記基準値設定部は、前記被写体設定部により設定された前記基準被写体の奥行値を前記基準値として設定すること、
   を特徴とする請求項３に記載の画像処理装置。
5. 複数の視差画像である入力画像の部分領域ごとに、被写体の奥行値と、基準となる奥行を示す基準値との差を算出する差算出部と、
   前記部分領域ごとに、前記差が０のときに極大値となり、かつ、前記差の絶対値が小さいほど値が大きい強度を算出する強度算出部と、
   前記部分領域のそれぞれを前記強度に従って強調した出力画像を生成する強調部と、
   前記入力画像に撮像されている被写体のうち基準として指定された基準被写体の奥行値を前記基準値として設定する基準値設定部と、
   前記視差画像間での視差が予め定められた閾値より小さい領域に撮像されている被写体を前記基準被写体として設定する被写体設定部と、を備え、
   前記基準値設定部は、前記被写体設定部により設定された前記基準被写体の奥行値を前記基準値として設定すること
   を特徴とする画像処理装置。
6. 入力画像の部分領域ごとに、被写体の奥行値と、基準となる奥行を示す基準値との差を算出する差算出ステップと、
   前記部分領域ごとに、前記差が０のときに極大値となり、かつ、前記差の絶対値が小さいほど値が大きい強度を算出する強度算出ステップと、
   前記部分領域のそれぞれを前記強度に従って強調した出力画像を生成する強調ステップと、
   前記部分領域ごとに、前記部分領域の前記奥行値と前記部分領域の周辺領域の前記奥行値との差が大きいほど値が大きい境界度を算出する境界度算出ステップと、を含み、
   前記強度算出ステップは、前記部分領域ごとに、前記差が０のときに極大値となり、前記差の絶対値が小さいほど値が大きく、かつ、前記境界度が小さいほど値が大きい前記強度を算出すること、
   を特徴とする画像処理方法。
7. 入力画像の部分領域ごとに、被写体の奥行値と、基準となる奥行を示す基準値との差を算出する差算出ステップと、
   前記部分領域ごとに、前記差が０のときに極大値となり、かつ、前記差の絶対値が小さいほど値が大きい強度を算出する強度算出ステップと、
   前記部分領域のそれぞれを前記強度に従って強調した出力画像を生成する強調ステップと、を含み、
   前記強度算出ステップは、前記差の絶対値が同一である２つの部分領域のうち、前記奥行値が前記基準値より手前であることを示す部分領域の強度を、前記奥行値が前記基準値より奥であることを示す部分領域の強度以下に算出すること、
   を特徴とする画像処理方法。
8. コンピュータを、
   入力画像の部分領域ごとに、被写体の奥行値と、基準となる奥行を示す基準値との差を算出する差算出部と、
   前記部分領域ごとに、前記差が０のときに極大値となり、かつ、前記差の絶対値が小さいほど値が大きい強度を算出する強度算出部と、
   前記部分領域のそれぞれを前記強度に従って強調した出力画像を生成する強調部と、
   前記部分領域ごとに、前記部分領域の前記奥行値と前記部分領域の周辺領域の前記奥行値との差が大きいほど値が大きい境界度を算出する境界度算出部と、として機能させ、
   前記強度算出部は、前記部分領域ごとに、前記差が０のときに極大値となり、前記差の絶対値が小さいほど値が大きく、かつ、前記境界度が小さいほど値が大きい前記強度を算出する、
   プログラム。
9. コンピュータを、
   入力画像の部分領域ごとに、被写体の奥行値と、基準となる奥行を示す基準値との差を算出する差算出部と、
   前記部分領域ごとに、前記差が０のときに極大値となり、かつ、前記差の絶対値が小さいほど値が大きい強度を算出する強度算出部と、
   前記部分領域のそれぞれを前記強度に従って強調した出力画像を生成する強調部と、として機能させ、
   前記強度算出部は、前記差の絶対値が同一である２つの部分領域のうち、前記奥行値が前記基準値より手前であることを示す部分領域の強度を、前記奥行値が前記基準値より奥であることを示す部分領域の強度以下に算出する、
   プログラム。

Images