JP5473173B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。
本願は、２０１０年１２月３日に、日本に出願された特願２０１０−２７０７３５号に基づき優先権を主張し、その内容をここに援用する。

画像生成装置は、奥行きのある画像を生成する際に、画像の奥行き方向に関して、カメラの焦点領域にあるオブジェクトについては、輪郭が明確な画像であって、カメラの焦点領域から外れたオブジェクトについては輪郭がぼやけた画像を生成する。これにより、画像生成装置は、遠近感を現実世界に近い形で表現した画像を生成する。

特許文献１には、物体輪郭線において不連続に変化する視差を推定する視差推定方法が記載されている。この視差推定方法は、２つの画像の初期視差と、初期視差の信頼性評価値とを計算し、初期視差の信頼性の低い領域における視差を周囲の視差に対して滑らかに接続するように設定し、かつ物体輪郭線においては変化するように決定する。

特許文献２には、現実世界の視界画像のようにフォーカシングされた画像を生成する画像生成システムが記載されている。この画像生成システムは、元画像の各画素の奥行き値に応じたα値を設定し、元画像と、その元画像に対応するぼかし画像とを、各画素に設定されるα値に基づいて合成することにより、フォーカシングされた画像を生成する。

また、特許文献３には、視点からの距離に応じてフォーカシングされた画像を生成する画像処理プログラムが記載されている。この画像処理プログラムは、基準画像の各画素の奥行き値に応じて各画素のα値を設定する設定ステップと、隣接する２つの画素のうちでα値が小さいほうの画素に設定されたα値を増加させる増加ステップとを有する。そして、この画像処理プログラムは、基準画像と、その基準画像に対応するぼかし画像とを、増加ステップによる処理後の各画素に設定されるα値に基づいて合成することにより、フォーカシングされた画像を生成する。

特開２００４−７７０７号公報 特開２００１−１７５８８４号公報 特開２００８−２２５７６７号公報

特許文献１のように視差を推定する場合、画像の各画素における視差値を画像として表示した視差マップでは、被写体の大きさより大きい膨張した視差マップが生成される。ここで、視差値とは、２地点での観測地点の位置で撮像された画像において、画像に撮像された対象点が２つの画像において水平方向に離れている画素数である。

被写体の大きさより大きい膨張した視差マップが生成されることにより、従来の画像生成装置が基準画像とぼかし画像とを合成した合成画像を生成した場合、その合成画像では、被写体と背景との境界付近の背景画像がくっきりしてしまう。すなわち、従来の画像生成装置には、被写体と背景との境界領域で、不自然なぼけ方をするという問題があった。この問題は、特許文献２および特許文献３に記載の画像生成システムまたは画像処理プログラムにおいても解決されていなかった。

そこで本発明は、上記問題に鑑みてなされたものであり、被写体と、背景または前景との境界領域で、自然なぼけとなる画像を生成することを可能とする画像処理装置、画像処理方法及び画像処理プログラムを提供することを課題とする。

（１） 上記の課題を解決するために、本発明の一態様である画像処理装置は、画像の各画素についての視差値に基づく視差マップにフィルタをかけるマップ用フィルタ処理部と、前記画像から前記画像のぼかし画像を生成するぼかし画像生成部と、前記マップ用フィルタ処理部によるフィルタ後の視差マップに基づいて、前記画像と前記ぼかし画像とを合成した合成画像を生成する画像合成部と、を備える。

（２） 上記画像処理装置は、前記マップ用フィルタ処理部によりフィルタがかけられた視差マップに応じて画像用フィルタのサイズを選択するフィルタサイズ選択部を備えてもよく、前記ぼかし画像生成部は、前記画像に前記画像用フィルタをかけることにより、前記ぼかし画像を生成してもよい。

（３） 上記画像処理装置は、前記画像を前記視差値に応じて所定の領域に分割し、前記領域毎に視差値を変換する領域分割部を備えてもよく、前記マップ用フィルタ処理部は、前記領域分割部により視差値が変換された視差マップにフィルタをかけてもよい。

（４） 上記画像処理装置は、前記画像のサイズを縮小する画像縮小部を備えてもよく、前記ぼかし画像生成部は、前記画像縮小部により縮小された画像のぼかし画像を生成してもよく、前記縮小された画像のぼかし画像を所定のサイズに拡大する画像拡大部を備えてもよい。

（５） 上記画像処理装置において、前記ぼかし画像生成部は、視差マップから複数の値を選択し、前記選択した複数の値のそれぞれに応じたぼかし量を持つ基準ぼかし画像を生成する基準ぼかし画像生成部と、前記画像の注目画素毎に、前記注目画素の前記フィルタ後の視差マップの値と前記選択した値との比較に基づいて、前記基準ぼかし画像から基準ぼかし画像を選択する基準ぼかし画像選択部と、前記選択された基準ぼかし画像のうち前記注目画素の位置に相当する画素の画素値と前記注目画素のフィルタ後の視差マップの値と前記選択した値とに基づいて、前記注目画素の画素値を算出する画素値補間部と、を備えてもよい。

（６） 上記画像処理装置において、前記画素値補間部は、前記注目画素のフィルタ後の視差マップの値と前記選択した値とに基づく値と、前記選択された基準ぼかし画像のうち前記注目画素の位置に相当する画素の画素値とを用いた補間によって、前記注目画素の画素値を算出してもよい。

（７） また、本発明の一態様である画像処理方法は、画像の各画素についての視差値に基づく視差マップにフィルタをかけ、前記画像から前記画像のぼかし画像を生成し、フィルタをかけた後の視差マップに基づいて、前記画像と前記ぼかし画像とを合成した合成画像を生成する。

（８） また、本発明の一態様である画像処理プログラムは、画像処理装置のコンピュータに、画像の各画素についての視差値に基づく視差マップにフィルタをかけさせ、前記画像から前記画像のぼかし画像を生成させ、フィルタをかけた後の視差マップに基づいて、前記画像と前記ぼかし画像とを合成した合成画像を生成させる。

本発明によれば、被写体と、背景または前景との境界領域において、自然なぼけとなる画像を生成することができる。

本発明の各実施形態における画像処理装置による処理の概要を示した図である。 本発明の第１の実施形態における画像処理装置のブロック構成図である。 ぼかし係数算出処理部の処理の詳細を説明するための図である。 ＬＰＦのカーネルサイズの横幅が、視差マップ生成時のウインドウサイズの横幅より大きい場合の、ＬＰＦ適用後の視差値を示した図である。 ＬＰＦのカーネルサイズの横幅が、視差マップ生成時のウインドウサイズの横幅の半分である場合の、ＬＰＦ適用後の視差値を示した図である。 ＬＰＦのカーネルサイズの横幅が、視差マップ生成時のウインドウサイズの横幅である場合の、ＬＰＦ適用後の視差値を示した図である。 元の視差値の一例を示した図である。 領域分割による変換後の視差値の一例を示した図である。 ＬＰＦ適用後の平滑化された視差値の一例を示した図である。 弱いぼかし量の画像を生成する際に用いられるカーネルの一例を示した図である。 中くらいのぼかし量の画像を生成する際に用いられるカーネルの一例を示した図である。 強いぼかし量の画像を生成する際に用いられるカーネルの一例を示した図である。 ぼかし画像生成処理部のブロック構成図である。 ぼかし画像の各画素の画素値を線形補間により算出する方法を説明するための図である。 本発明の第１の実施形態における画像処理装置の処理の流れを示したフローチャートである。 本発明の第１の実施形態におけるぼかし画像生成処理部３０の処理の流れを示したフローチャートである。 本発明の第２の実施形態における画像処理装置のブロック構成図である。 本発明の第２の実施形態における画像処理装置の処理の流れを示したフローチャートである。

図１は、本発明の各実施形態における画像処理装置による処理の概要を示した図である。
入力画像１は、一例として、全面の背景領域の中央に、合焦した（撮像機の焦点の合った）平屋の民家１００（被写体）が存在する画像である。視差マップ２は、入力画像１の合焦した民家１００のエッジ１０１から背景領域へと遠ざかるに従って背景領域の視差の変化をなだらかにした画像である。具体的には、視差マップ２は、被写体である民家１００の画像に、ＬＰＦ（Low Pass Filter）をかけ、被写体１００のエッジ１０１と背景領域の視差の変化をなだらかにすることにより得られる。

背景ぼかし画像３は、入力画像１と視差マップ２とを用いて背景についてぼかし処理をした背景ぼかし画像を抜き出した画像である。被写体４は、入力画像１と視差マップ２とを用いて合焦領域にある被写体（民家１００）を抜き出した画像である。
出力画像５は、背景ぼかし画像３と、合焦領域にある被写体４の画像とを合成した画像である。この出力画像５は、被写体エッジ１０１と、背景領域の境界領域とが、なだらかに（自然に）ぼけるようにされている。

＜第１の実施形態＞
図２は、本発明の第１の実施形態における画像処理装置１０の構成を示す概略ブロック図である。
画像処理装置１０は、記憶部１１と、視差マップ生成部１２と、ぼかし係数算出処理部２０と、ぼかし画像生成処理部３０と、画像合成部４０とを備える。ぼかし係数算出処理部２０は、さらに、領域毎の視差値変換部（領域分割部）２１と、ＬＰＦ処理部（「フィルタ処理部」と言うことがある。）２２と、ぼかし量選択部（フィルタサイズ選択部）２３とを備える。

記憶部１１には、外部から入力された前景境界の合焦視差値ＦＦを示す情報と、背景境界の合焦視差値ＦＲを示す情報と、視差値を区画に分割するときの分割幅であるステップ幅ＤＷを示す情報と、ＬＰＦのカーネルサイズＷＷを示す情報と、複数の基準ぼかし画像を生成する際に用いるカーネルのサイズである複数のカーネルサイズＫＳを示す情報と、前記複数のカーネルサイズＫＳそれぞれに対応するぼかし係数ＧＣを示す情報とが記憶されている。
ここで、ＬＰＦのカーネルサイズＷＷは、視差マップ生成時のウインドウサイズである。複数のカーネルサイズＫＳのうちの１つは、ＬＰＦのカーネルサイズＷＷと同じ値であっても良い。また、記憶部１１に記憶されているカーネルサイズＫＳの数は、生成するぼかし画像の数と同数である。

視差マップ生成部１２は、外部から入力された基準画像のデータＩＭＧＤＡＴＡと、参照画像のデータＲＥＦＤＡＴＡとから、所定のウインドウサイズ（例えば、ＬＰＦのカーネルサイズＷＷと同じサイズ）を用いた公知のブロックマッチング法により、各画像の画素の位置に対応した視差値を有する視差マップを生成する。視差マップ生成部１２は、生成した視差マップを形成する視差値データＤｉｓｐａｒｉｔｙＤａｔａを、ぼかし係数算出処理部２０の後述する領域毎の視差値変換部２１に出力する。

ぼかし係数算出処理部２０は、視差マップ生成部１２から入力された視差マップを形成する視差値データＤｉｓｐａｒｉｔｙＤａｔａに基づいて、ぼかし量ＧＡ（ぼかす度合い）を算出する。そして、ぼかし係数算出処理部２０は、算出したぼかし量ＧＡを示す情報と、視差値ｄ’’とを、ぼかし画像生成処理部３０に出力する。

ぼかし画像生成処理部３０は、入力されたぼかし量ＧＡを示す情報と、基準画像のデータＩＭＧＤＡＴＡとに基づいて、前景領域および背景領域のぼかし画像ＧＰを生成する。

図３は、ぼかし係数算出処理部２０の処理の詳細を説明するための図である。
領域毎の視差値変換部２１は、前景境界の合焦視差値ＦＦを示す情報と、背景境界の合焦視差値ＦＲを示す情報とを記憶部１１から読み出す。
領域毎の視差値変換部２１は、外部から入力された視差値データＤｉｓｐａｒｉｔｙＤａｔａの値ｄが、背景境界の合焦視差値ＦＲより小さい場合、すなわち背景領域である場合、変換後の視差値データｄ’をＦＲ−ｄとする。

一方、視差値データＤｉｓｐａｒｉｔｙＤａｔａの値ｄが、前景境界の合焦視差値ＦＦより大きい場合、すなわち前景領域である場合、領域毎の視差値変換部２１は、変換後の視差値データｄ’をｄ−ＦＦとする。
また、視差値データＤｉｓｐａｒｉｔｙＤａｔａの値ｄが、背景境界の合焦視差値ＦＲ以上であって、前景境界の合焦視差値ＦＦ以下の場合、すなわち合焦領域である場合、領域毎の視差値変換部２１は、変換後の視差値データｄ’を０とする。

すなわち、領域毎の視差値変換部２１は、画像の各画素の視差値を保持する視差マップを、その視差値に応じて所定の領域に分割し、その領域に応じて視差値を変換する。
そして、領域毎の視差値変換部２１は、変換後の視差値データｄ’をＬＰＦ処理部（マップ用フィルタ処理部）２２に出力する。

ＬＰＦ処理部（マップ用フィルタ処理部）２２は、カーネルサイズＷＷを示す情報と、そのぼかし係数ＧＣを示す情報とを、記憶部１１から読み出す。ＬＰＦ処理部（マップ用フィルタ処理部）２２は、変換後の視差値データｄ’から成る視差マップに、読み出したカーネルサイズＷＷと、そのぼかし係数ＧＣとでＬＰＦをかける。これにより、ＬＰＦ処理部（マップ用フィルタ処理部）２２は、前景領域と背景領域と合焦領域との間を、視差値が急激に変化しないように平滑化する。

続いて、図２のＬＰＦ処理部（マップ用フィルタ処理部）２２で用いるカーネルサイズＷＷについて説明する。
図４Ａ〜図４Ｃは、ＬＰＦ処理部（マップ用フィルタ処理部）２２で用いるカーネルサイズＷＷについて説明するための図である。
図４Ａは、ＬＰＦのカーネルサイズの横幅４１１及び４１２が、視差マップ生成時のウインドウサイズの横幅より大きい場合の、ＬＰＦ適用後の視差値を示した図である。なお、図４Ａにおいて、符号４１３は、被写体のエッジを示している。また、符号４１４は、ＬＰＦ適用後の視差値を示している。また、符号４１５は、背景を示している。また、符号４１６は、ウィンドウサイズの半値幅分の膨張領域を示している。
図４Ａには、画像の横方向の座標（以下、画像横座標と称する）に対して、ＬＰＦ適用前の視差値と、ＬＰＦ適用後の視差値とが示されている。

図４Ａにおいて、丸４１７で囲って示したＬＰＦ適用後の視差値は、合焦領域であるにも関わらず背景領域としてＬＰＦがかけられてしまう。そのため、丸４１７で示されたＬＰＦ適用後の視差値に対応する合成画像の合焦領域の一部が、ぼけるという問題がある。

図４Ｂは、ＬＰＦのカーネルサイズの横幅４２１及び４２２が、視差マップ生成時のウインドウサイズの横幅の半分である場合の、ＬＰＦ適用後の視差値を示した図である。なお、図４Ｂにおいて、符号４２３は、被写体のエッジを示している。また、符号４２４は、ＬＰＦ適用後の視差値を示している。また、符号４２５は、背景を示している。また、符号４２６は、ウィンドウサイズの半値幅分の膨張領域を示している。
図４Ｂには、画像横座標に対して、ＬＰＦ適用前の視差値とＬＰＦ適用後の視差値が示されている。

図４Ｂにおいて、丸４２７で囲って示したＬＰＦ適用後の視差値は、背景領域であるにも関わらず合焦領域としてＬＰＦがかけられていない。そのため、丸４２７で示されたＬＰＦ適用後の視差値に対応する合成画像の背景領域の一部がぼけないという問題がある。

図４Ｃは、ＬＰＦのカーネルサイズの横幅４３１及び４３２が、視差マップ生成時のウインドウサイズの横幅である場合の、ＬＰＦ適用後の視差値を示した図である。なお、図４Ｃにおいて、符号４３３は、被写体のエッジを示している。また、符号４３４は、ＬＰＦ適用後の視差値を示している。また、符号４３５は、背景を示している。また、符号４３６は、ウィンドウサイズの半値幅分の膨張領域を示している。
図４Ｃには、画像の横方向の座標（以下、画像横座標と称する）に対して、ＬＰＦ適用前の視差値と、ＬＰＦ適用後の視差値とが示されている。

図４Ｃにおいて、合焦領域に対してＬＰＦがかけられてしまうことがなく、最終的な合成画像の合焦領域の一部がぼけるという問題が生じない。また、変換後の視差値に対して被写体のエッジから背景にかけてＬＰＦを掛けることができる。そのため、最終的な合成画像の被写体のエッジから背景にかけてぼけさせることができる。
また、ＬＰＦ適用後の視差値が被写体エッジから背景に向かってなだらかに変化するので、合成画像の背景領域におけるぼけ方がなだらかに変化する。

従って、ＬＰＦ処理部（マップ用フィルタ処理部）２２は、視差マップ生成時のウインドウサイズと同じカーネルサイズＷＷで視差マップに対しＬＰＦをかけ、ＬＰＦ適用後の視差値ｄ’’を算出する。ＬＰＦ処理部（マップ用フィルタ処理部）２２は、ＬＰＦ適用後の視差値ｄ’’を示す情報を、ぼかし量選択部２３に出力する。

図５Ａ〜図５Ｃは、元の視差値ｄ（図５Ａ）と、領域毎の視差値変換による変換後の視差値ｄ’（図５Ｂ）と、ＬＰＦ適用後の視差値ｄ’’（図５Ｃ）の一例を示した図である。
図５Ａには、画像横座標に対する元の視差値の関係の一例が示されている。
図５Ａにおいて、横軸は画像横座標であり、縦軸は視差値ｄである。この例では、画像横座標において、向かって左側（原点に近い方）が前景領域であり、真ん中が合焦領域であり、右側（原点から遠い方）が背景領域である。上記３つの領域の中で、前景領域の視差値が高く、合焦領域の視差値が中くらいであり、背景領域の視差値が低くなっている。

図５Ｂには、画像横座標に対する領域毎の視差値変換部２１による領域毎の視差値変換による変換後の視差値の一例が示されている。図５Ｂは、図５Ａに対して、領域毎の視差値変換を行った場合を示している。図５Ｂにおいて、横軸は画像横座標であり、縦軸は変換後の視差値ｄ’である。この例では、画像横座標において、向かって左側が前景領域であり、真ん中が合焦領域であり、右側が背景領域である。前景領域および背景領域の変換後の視差値ｄ’は正の値を取るのに対し、合焦領域では０を取ることが示されている。ここで、前景領域と合焦領域の境界または合焦領域と背景領域との境界において、変換後の視差値ｄ’が画像横座標に対して急激に変化している。

図５Ｃには、本実施形態に従って、画像横座標に対するＬＰＦ処理部２２によるＬＰＦ適用後の視差値の一例が示されている。図５Ｃにおいて、横軸は画像横座標であり、縦軸はＬＰＦ適用後の視差値ｄ’’である。この例では、画像横座標において、向かって左側が前景領域であり、真ん中が合焦領域であり、右側が背景領域である。ここで、前景領域と合焦領域の境界または合焦領域と背景領域との境界において、ＬＰＦ適用後の視差値ｄ’’が画像横座標に対してなだらかに変化している。図５Ｃは、図５Ｂに対して、ＬＰＦ処理を行った場合を示している。

以上のように、ＬＰＦ処理部（マップ用フィルタ処理部）２２は、視差マップに対しＬＰＦをかける。これにより、前景領域と合焦領域の境界、または、合焦領域と背景領域との境界において、画像横座標に対してＬＰＦ適用後の視差値ｄ’’の変化をなだらかにすることができる。

また、画像処理装置１０では、領域毎の視差値変換部２１が、基準画像を前景領域と背景領域と合焦領域とに領域分割し、視差値を変換した後に、ＬＰＦ処理部（マップ用フィルタ処理部）２２がＬＰＦの処理を行う。これにより、合成画像中の合焦領域と背景領域の接する近傍において、背景領域側に合焦領域のエッジ近傍画像による輪郭の発生を防ぐことができる。

図５Ａのように前景、合焦、背景と順に変化する場合には、合成画像中で前景と背景との間に、合焦領域の画像が現われる。そのため、もし、画像処理装置１０が領域毎の視差値変換をせずに（入力視差マップのままで）ＬＰＦ処理をしても視差値が０になることはない。
しかし、合成画像中で前景領域と背景領域とが重なっている場合、すなわち前景領域の次に背景領域となり、合焦領域がない場合には、同様に画像処理装置が領域毎の視差値変換をせずに入力視差マップのままでＬＰＦ処理をすると、視差値が０となる。そのため、本来、合成画像中に合焦領域が存在しないところに、合焦した画像が現われるという問題がある。

領域毎の視差値変換部２１が、領域毎の視差値変換を行うことによって、変換後の前景および背景の視差値は、合焦領域の視差値を含まないため、その変換後の視差値が０となることはない。従って、合成画像中で、前景領域と背景領域とが重なっている場合において、画像処理装置１０が、領域毎の視差値変換を行った後にＬＰＦ処理をすると、視差値が０となる領域は生成されない。

本実施形態では、領域毎の視差値変換部２１が、領域毎の視差値変換を行った後に、ＬＰＦ処理部２２がＬＰＦ処理をする。これにより、合成画像中の前景領域から背景領域に変化する領域において、合焦した画像が現われるのを防ぐことができる。

なお、ＬＰＦ処理部（マップ用フィルタ処理部）２２は、視差マップにフィルタを掛ける際に、図６から図８に示すようなテーブルＴ１〜Ｔ３の中心から端に行くに従って要素の値が小さくなるカーネルを用いても良い。なお、これに限らず、カーネルの要素すべてが同じカーネルを用いてもよい。例えば、カーネルが３×３の場合、全ての要素が１／９であってもよい。

また、ＬＰＦ処理部（マップ用フィルタ処理部）２２は、ＬＰＦ適用後の視差値が図４Ｃに示すように、被写体のエッジに相当する位置から視差値がなだらかに変化するようにフィルタしたが、これに限られるものではない。例えば、ＬＰＦ適用後の視差値が、図４Ａに示すように被写体のエッジよりも被写体内部に入り込んだ画素に相当する位置から視差値がなだらかに変化するようにフィルタしてもよい。この場合、被写体内部に入り込んだ画素から、画像がぼけ始めることとなる。

図３の説明に戻り、ぼかし量選択部２３は、記憶部１１からステップ幅ＤＷを示す情報と、複数のカーネルサイズＫＳを示す情報とを読み出す。ぼかし量選択部２３は、カーネルサイズＫＳの種類の数と同じ数だけ、ステップ幅ＤＷ毎に閾値を設定する。例えば、ぼかし量選択部２３は、カーネルサイズＫＳの種類の数が３なので、ＤＷと、ＤＷ×２と、ＤＷ×３とを閾値として設定する。

ぼかし量選択部２３は、ＬＰＦ適用後の視差値ｄ’’が０の場合、すなわち合焦領域の場合、画像に対しＬＰＦをかける際のカーネルの情報を保持するテーブルを識別するぼかし量テーブルを０とし、合焦フラグＦＡを立てる。
一方、ぼかし量選択部２３は、ＬＰＦ適用後の視差値ｄ’’がステップ幅ＤＷより小さい場合、すなわち弱いぼかし量の場合、ぼかし量テーブルを１とし、合焦フラグを立てない。

上記以外の場合において、ぼかし量選択２３は、ＬＰＦ適用後の視差値ｄ’’がステップ幅ＤＷの２倍より小さい場合、すなわち中くらいのぼかし量の場合、ぼかし量テーブルを２とし、合焦フラグを立てない。
上記以外の場合において、ぼかし量選択２３は、ＬＰＦ適用後の視差値ｄ’’がステップ幅ＤＷの３倍より小さい場合、すなわち強いぼかし量の場合、ぼかし量テーブルを３とし、合焦フラグを立てない。

上記以外の場合、すなわちＬＰＦ適用後の視差値ｄ’’がステップ幅ＤＷの３倍を超える場合、ぼかし量選択２３は、ぼかし量テーブルを４とし、合焦フラグを立てない。
ぼかし量選択部２３は、合焦フラグを示す情報を画像合成部４０に出力し、ぼかし量テーブルＧＴを示す情報とＬＰＦ適用後の視差値ｄ’’を示す情報とをぼかし画像生成処理部３０に出力する。
なお、図３で示されたステップ幅ＤＷ１からＤＷ３の各間隔は、固定長（ステップ幅ＤＷの間隔が常に一定）である必要はなく、可変にしてもよい。

図２の説明に戻り、ぼかし画像生成処理部３０は、ぼかし量選択部２３から入力されたぼかし量を示す情報と、外部から入力された基準画像のデータＩＭＧＤＡＴＡとに基づいて、ぼかし画像を生成する。そして、ぼかし画像生成処理部３０は、ぼかし画像ＧＰを示す情報を、画像合成部４０に出力する。
図９は、ぼかし画像生成処理部３０（図２参照）のブロック構成図である。ぼかし画像生成処理部３０は、基準ぼかし画像生成部３１と、基準ぼかし画像選択部３２と、画素値補間部３３とを備える。

基準ぼかし画像生成部３１が生成する基準ぼかし画像の数は、カーネルサイズＫＳの種類の数である。ここでは、例としてカーネルサイズＫＳの種類の数が３の場合について説明する。なお、カーネルサイズＫＳの種類の数は、１つ以上あればよい。基準ぼかし画像生成部３１が生成する基準ぼかし画像の数が、多ければ多いほど、ぼけ画像の各画素値を基準ぼかし画像から正確に補間できる。そのため、画像処理装置１０は、被写体との距離に応じた滑らかなぼけ画像が生成できる。

基準ぼかし画像生成部３１は、３つの異なるカーネルサイズをもつカーネルのぼかし係数ＧＣそれぞれと、外部から供給された基準画像のデータＩＭＧＤＡＴＡとを畳み込むことにより、３種類の基準ぼかし画像を生成する。

具体的には、基準ぼかし画像生成部３１は、図６に示されたテーブルＴ１（３×３）のカーネルと、基準画像のデータＩＭＧＤＡＴＡとを畳み込むことにより、第１の基準ぼかし画像（弱ぼけ画像）を生成する。基準ぼかし画像生成部３１は、図７に示されたテーブルＴ２（７×７）のカーネルと、基準画像のデータＩＭＧＤＡＴＡとを畳み込むことにより、第２の基準ぼかし画像（中ぼけ画像）を生成する。基準ぼかし画像生成部３１は、図８に示されたテーブルＴ３（１５×１５）のカーネルと、基準画像のデータＩＭＧＤＡＴＡとを畳み込むことにより、第３の基準ぼかし画像（強ぼけ画像）を生成する。

ここで、それぞれのぼかし画像に対応したカーネルのぼかし係数について説明する。図６は、弱いぼかし量の画像を生成する際に用いられるカーネルのぼかし係数の一例を示した図である。図６において、図３のステップ幅ＤＷ１に対応するぼかし画像（弱ぼけ）の生成に用いるカーネルのぼかし係数の例として、３×３のテーブルＴ１が示されている。テーブルＴ１では、全要素の中で中心の要素が０．３４４６で一番大きく、４隅の要素が０．０３８６で一番小さくなっている。

図７は、中位のぼかし量の画像を生成する際に用いられるカーネルのぼかし係数の一例を示した図である。
図７において、図３のステップ幅ＤＷ２に対応するぼかし画像（中ぼけ）生成に用いるカーネルのぼかし係数の例として、７×７のテーブルＴ２が示されている。テーブルＴ２では、全要素の中で中心の要素が０．０３２４で一番大きく、端にいくほど要素が小さくなり、４隅の要素が０．０１０３で一番小さくなっている。

図８は、強いぼかし量の画像を生成する際に用いられるカーネルのぼかし係数の一例を示した図である。
図８において、図３のステップ幅ＤＷ３に対応するぼかし画像（強ぼけ）生成に用いるカーネルのぼかし係数の例として、１５×１５のテーブルＴ３が示されている。テーブルＴ３では、テーブルＴ２と同様に、全要素の中で中心の要素が０．００６７４１で一番大きく、端にいくほど要素が小さくなり、４隅の要素が０．００２０３８で一番小さくなっている。

一般的に、カーネルの大きさ（ここでいうテーブルのサイズ）が大きくなるほど、そのカーネルを用いてフィルタを掛けた後の画像のぼけが大きくなる。
例えば、ここでは、テーブルＴ２のサイズが、テーブルＴ１より大きい。そのため、テーブルＴ２で示されたカーネルと画像とを畳み込むことにより生成される画像のぼかし量は、テーブルＴ１で示されたカーネルと画像とを畳み込むことにより生成される画像のぼかし量より大きい。

また、ここでは、テーブルＴ３のサイズが、テーブルＴ２より大きい。そのため、テーブルＴ３で示されたカーネルと画像とを畳み込むことにより生成される画像のぼかし量は、テーブルＴ２で示されたカーネルと画像とを畳み込むことにより生成される画像のぼかし量より大きい。

図９の説明に戻り、基準ぼかし画像生成部３１は、生成した３種類の基準ぼかし画像ＳＧを示す情報を、基準ぼかし画像選択部３２へ出力する。
基準ぼかし画像選択部３２は、ぼかし量選択部２３から入力されたぼかし量を示す情報を用いて、ぼかし画像の画素毎に、注目画素の視差値近傍のぼかし画像を２つ選択する。

例えば、ぼかし量が１の場合、基準ぼかし画像選択部３２は、基準画像と弱ぼけ画像とを選択する。ぼかし量が２の場合、基準ぼかし画像選択部３２は、弱ぼけ画像と、中ぼけ画像とを選択する。ぼかし量が３の場合、基準ぼかし画像選択部３２は、中ぼけ画像と、強ぼけ画像とを選択する。ぼかし量が４の場合は、基準ぼかし画像選択部３２は、強ぼけ画像のみを選択し、画素値補間部３３で補間せずに、強ぼけ画像を示す情報をそのまま画像合成部４０に出力する。

そして、選択後に基準ぼかし画像選択部３２は、どのぼかし画像を選択したかを示す選択情報を、画素値補間部３３に出力する。
画素値補間部３３は、基準ぼかし画像選択部３２から入力されたぼかし画像のうち、どのぼかし画像を選択したかを示す選択情報から、その選択された２つのぼかし画像の視差値ｄ’’と、ステップ幅ＤＷを示す情報とを読み出す。そして、画素値補間部３３は、読み出した視差値ｄ’’に基づいて、注目画素の視差値の対応するぼけ画像の画素値を線形補間により算出する。

更に、図１０を用いて、画素値補間部３３の処理の詳細を説明する。図１０は、ぼかし画像の各画素の画素値を、線形補間により算出する方法を説明するための図である。
図１０において、上段の横軸に、これから生成するぼかし画像の画素値（ぼかし画像データ）が示され、下段の横軸にＬＰＦ適用後の視差値ｄ’’が示されている。

ＬＰＦ適用後の視差値ｄ’’の１つである入力視差値ｄ’’_ＩＮが、ステップ幅ＤＷ１とステップ幅ＤＷ２との間にあるときには、その入力視差値ｄ’’_ＩＮとステップ幅ＤＷ１との差であるａ（＝ｄ’’_ＩＮ−ＤＷ１）と、その入力視差値ｄ’’_ＩＮとステップ幅ＤＷ２との差であるｂ（＝ＤＷ２−ｄ’’_ＩＮ）とを算出する。
弱ぼけの輝度値をＹ_１とし、中ぼけの輝度値をＹ_２とすると、ぼかし画像の輝度値（補間データ）Ｙは、以下の式（１）で算出される。

Ｙ＝（Ｙ_１×ｂ＋Ｙ_２×ａ）／（ａ＋ｂ） （１）

画素値補間部３３は、式（１）を用いて、ＲＧＢ（Red、Green、Blue）のそれぞれの輝度値について、ぼかし画像の輝度値（補間データ）を算出する。また、画素値補間部３３は、合焦領域に対し、基準画像から合焦画像を生成する。
画素値補間部３３は、上記の処理を全ての画素について行うことにより、ぼかし画像を生成する。

これによれば、画素値補間部３３は、注目画素のフィルタ後の視差マップの値と視差マップから選択した値とに基づく値と、選択された基準ぼかし画像のうち注目画素の位置に相当する画素の画素値とを用いた補間によって、注目画素の画素値を算出することができる。これにより、画素値補間部３３は、視差値に応じた適切なぼけ画像を生成することができる。

なお、前述したように、図１０のステップ幅ＤＷ１からステップ幅ＤＷ３の各間隔は、固定長（すなわち、ＤＷの間隔が常に一定）である必要はなく、各間隔は可変にすることができる。また、各間隔を可変にした場合、式（１）の分母（ａ＋ｂ）の値が、ステップ幅ＤＷ１からステップ幅ＤＷ３の各間隔によって変わることとなる。

さらに、基準ぼかし画像生成部３１の説明で述べたように、ステップ幅ＤＷの個数（カーネルサイズＫＳの種類の数）も１つ以上あればよい。ステップ幅ＤＷの個数が多ければ多いほど、ぼけ画像の各画素値を基準ぼかし画像から正確に補間できるので、画像処理装置１０は、被写体との距離に応じた滑らかなぼけ画像が生成できる。

ぼかし画像生成処理部３０は、上述した一連のぼかし画像生成処理を、前景領域と背景領域のそれぞれに対して行い、前景領域のぼかし画像と背景領域のぼかし画像を生成する。
ぼかし画像生成処理部３０は、生成した前景領域のぼかし画像ＧＰ１のデータと、背景領域のぼかし画像ＧＰ２のデータとを、画像合成部４０に出力する。

図２の説明に戻り、画像合成部４０は、ぼかし量選択部２３から入力された合焦フラグが１の画素に対しては、基準画像のデータの合焦領域における輝度値を合成画像の輝度値とする。
一方、画像合成部４０は、ぼかし量選択部２３から入力された合焦フラグが０の画素に対しては、ぼかし画像の輝度値を合成画像の輝度値とする。これにより、画像合成部４０は、合焦領域の画素はそのままで、非合焦領域のみぼかすことができる。

画像合成部４０は、背景領域、合焦領域、前景領域の順に各領域の輝度値を合成画像の輝度値に代入することにより、合成画像を生成する。画像合成部４０は、生成した合成画像データＩＭＧＤＡＴＡＯＵＴを外部に出力する。

図１１は、本発明の第１の実施形態における画像処理装置１０（図２参照）の処理の流れを示したフローチャートである。
まず、視差マップ生成部１２は、基準画像および参照画像からブロックマッチングにより視差マップを生成する（ステップＳ１０１）。
次に、領域毎の視差値変換部２１は、基準画像および視差マップを前景領域・合焦領域・背景領域に分割し、前述の方法で視差値を変換する（ステップＳ１０２）。

次に、ＬＰＦ処理部（マップ用フィルタ処理部）２２は、変換した視差マップにＬＰＦをかける（ステップＳ１０３）。
次に、ぼかし量選択部２３は、前景領域に対し、変換した視差値に対応するぼかし量（テーブル）を算出する（ステップＳ１０４）。
次に、ぼかし画像生成処理部３０は、前景領域に対し、ぼかし量（テーブル）から対応するカーネルサイズのぼかし画像を選択し、変換した視差値に応じたぼかし画像生成処理を行う（ステップＳ１０５）。

次に、ぼかし量選択部２３は、背景領域に対し、変換した視差値に対応するぼかし量（テーブル）を算出する（ステップＳ１０６）。
次に、ぼかし画像生成処理部３０は、背景領域に対し、ぼかし量（テーブル）から対応するカーネルサイズのぼかし画像を選択し、変換した視差値に応じたぼかし画像生成処理を行う（ステップＳ１０７）。
次に、ぼかし画像生成処理部３０は、合焦領域に対し、基準画像から合焦画像を生成する（ステップＳ１０８）。
次に、画像合成部４０は、背景領域、合焦領域、前景領域の各領域を重ね合わせて合成する（ステップＳ１０９）。
以上で、図１１のフローチャートの処理を終了する。

続いて、図１１のステップＳ１０５とステップＳ１０７のぼかし画像生成処理部３０によるぼかし画像生成処理の詳細について、図１２を用いて説明する。
図１２は、本発明の第１の実施形態におけるぼかし画像生成処理部３０の処理の流れを示したフローチャートである。
まず、基準ぼかし画像生成部３１は、３種類のカーネルサイズでぼかし画像を生成する（ステップＳ２０１）。
次に、基準ぼかし画像選択部３２は、画素毎に、注目画素の視差値近傍のぼかし画像を２つ選択する（ステップＳ２０２）。
次に、画素値補間部３３は、２つのぼかし画像の視差値から注目画素の視差値に対応するぼけ画像を線形補間により生成する（ステップＳ２０３）。
以上で、図１２のフローチャートの処理を終了する。

以上により、画像処理装置１０は、視差マップに被写体のエッジに相当する位置からＬＰＦをかけ、膨張領域の視差値をなだらかに変化するよう変換することができる。これにより、画像処理装置１０は、ＬＰＦ適用後の視差値に応じて、ぼかしに使用するフィルタサイズを変更することができる。
視差マップに被写体のエッジに相当する位置からＬＰＦをかけた作用により、膨張した視差マップであっても、前景領域から合焦領域までのぼけがなだらかに変化し、前景と合焦領域の切り替わり部分の境界を目立たなくすることできる。

また、合焦領域周辺の背景領域画像が合焦領域に含まれないこととすることができるので、合焦と背景領域の切り替わり部分で背景領域画像に発生する合焦成分の画素値が目立たなくすることできる。

また、画像処理装置１０は、ＬＰＦ適用後の視差値から選択した複数の値に応じたぼかし量を持つ複数のぼけ画像を生成し、ＬＰＦ適用後の視差値に応じて、ぼけ画像の画素値を用いた線形補間により合成画像を生成することができる。これにより、前景領域および背景領域において、奥行に応じて画像のぼけを自然なぼけ方とすることができる。

＜第２の実施形態＞
続いて、本発明の第２の実施形態について説明する。図１３は、本発明の第２の実施形態における画像処理装置１０ｂのブロック構成図である。なお、図２と共通する要素には同一の符号を付し、その説明を省略する。
図１３の画像処理装置１０ｂの構成は、図２の画像処理装置１０の構成に対して、画像縮小部２４と、フラグ拡大部２５と、画像拡大部３４とが追加されたものになっている。

また、図１３の画像処理装置１０ｂの構成は、図２の画像処理装置１０の構成に対して、視差マップ生成部１２が、視差マップ生成部１２ｂに変更されている。また、ぼかし係数算出処理部２０が、ぼかし係数算出処理部２０ｂに変更されている。また、ぼかし量選択部２３が、ぼかし量選択部２３ｂに変更されている。また、ぼかし画像生成処理部３０が、ぼかし画像生成処理部３０ｂに変更されている。また、画像合成部４０が、画像合成部４０ｂに変更されている。

画像縮小部２４は、外部から入力された基準画像と、参照画像とを、所定の倍率（例えば、４分の１）で縮小する。そして、画像縮小部２４は、縮小した基準画像のデータと、縮小した参照画像のデータとを、視差マップ生成部１２ｂに出力する。また、画像縮小部２４は、縮小した基準画像のデータを、ぼかし画像生成処理部３０ｂに出力する。

視差マップ生成部１２ｂは、第１の実施形態の視差マップ生成部１２と同様に、画像縮小部２４から入力された縮小した基準画像のデータと、縮小した参照画像のデータとから、所定のウインドウサイズＷＷを用いた公知のブロックマッチング法により、視差マップを生成する。視差マップ生成部１２ｂは、生成した視差マップを形成する視差値データＤｉｓｐａｒｉｔｙＤａｔａを、ぼかし係数算出処理部２０の領域毎の視差値変換部２１に出力する。

ぼかし量選択部２３ｂは、第１の実施形態のぼかし量選択部２３と同様に、ぼかし量と合焦フラグとを算出し、合焦フラグを示す情報をフラグ拡大部２５に出力する。また、ぼかし量選択部２３ｂは、算出したぼかし量を示す情報をぼかし画像生成処理部３０ｂに出力する。

フラグ拡大部２５は、フィルタサイズ選択部２３ｂから入力された合焦フラグを示す情報から、合焦フラグが１である領域である合焦領域を、後述する画像拡大部３４がぼかし画像を拡大する倍率（例えば、４倍）と同じ倍率で拡大する。フラグ拡大部２５は、拡大した合焦領域の情報を、画像合成部４０ｂに出力する。

ぼかし画像生成処理部３０ｂは、第１の実施形態のぼかし画像生成処理部３０と同様に、入力されたぼかし量を示す情報と、縮小した基準画像のデータとに基づいて、前景領域および背景領域のぼかし画像を生成する。ぼかし画像生成処理部３０ｂは、生成した前景領域のぼかし画像のデータと、背景領域のぼかし画像のデータとを、画像拡大部３４に出力する。

画像拡大部３４は、入力された前景領域のぼかし画像を、画像縮小部２４における縮小倍率の逆数の倍率（例えば、４倍）で、公知のバイリニア補間で拡大する。同様に、画像拡大部３４は、入力された背景領域のぼかし画像を、画像縮小部２４における縮小倍率の逆数の倍率（例えば、４倍）で、バイリニア補間で拡大する。なお、上記補間はバイリニア補間に限定されない。
画像拡大部３４は、拡大した前景領域のぼかし画像のデータと、拡大した背景領域のぼかし画像のデータとを、画像合成部４０ｂに出力する。

なお、画像拡大部３４は、画像縮小部２４における縮小倍率の逆数の倍率でぼかし画像を拡大したが、これに限らず、最終的に取得したい合成画像の画像サイズにあわせた倍率でぼかし画像を拡大してもよい。

画像合成部４０ｂは、フラグ拡大部２５から入力された拡大した合焦領域の情報を用いて、拡大した合焦領域に対し、外部から入力された縮小前の基準画像から合焦画像を生成する。画像合成部４０ｂは、画像合成部４０と同様に、背景領域、合焦領域、前景領域の順に各領域を合成し、合成画像を生成する。画像合成部４０ｂは、生成した合成画像のデータＩＭＧＤＡＴＡＯＵＴを外部に出力する。

図１４は、本発明の第２の実施形態における画像処理装置１０ｂの処理の流れを示したフローチャートである。まず、画像縮小部２４は、基準画像および参照画像を所定の倍率（例えば、４分の１）に縮小する（ステップＳ３０１）。
次に、視差マップ生成部１２ｂは、縮小した基準画像および縮小した参照画像からブロックマッチングにより視差マップを求める（ステップＳ３０２）。
次に、領域毎の視差値変換部２１は、縮小した基準画像および視差マップを前景領域、合焦領域、背景領域に分割する（ステップＳ３０３）。

次に、ＬＰＦ処理部（マップ用フィルタ処理部）２２は、視差マップにＬＰＦをかける（ステップＳ３０４）。
次に、ぼかし画像生成処理部３０ｂは、縮小した基準画像の前景領域に対し、変換した視差値に対応するぼかし量（テーブル）を算出する（ステップＳ３０５）。
次に、ぼかし画像生成処理部３０ｂは、縮小した基準画像の前景領域に対し、図１２に示された処理の流れで、ぼかし量（テーブル）から対応するカーネルサイズのぼかし画像を選択し、変換した視差値に応じたぼかし画像生成処理を行う（ステップＳ３０６）。

次に、ぼかし画像生成処理部３０ｂは、縮小した基準画像の背景領域に対し、変換した視差値に対応するぼかし量（テーブル）を算出する（ステップＳ３０７）。
次に、ぼかし画像生成処理部３０ｂは、縮小した基準画像の背景領域に対し、図１２に示された処理の流れで、ぼかし量（テーブル）から対応するカーネルサイズのぼかし画像を選択し、変換した視差値に応じたぼかし画像生成処理を行う（ステップＳ３０８）。

次に、画像拡大部３４は、前景領域のぼかし画像および背景領域のぼかし画像に対し、バイリニア補間を用いて所定の倍率（例えば、４倍）で拡大する。次に、フラグ拡大部２５は、合焦フラグをニアレストネイバー法にて拡大する（ステップＳ３１０）。
次に、画像合成部４０ｂは、拡大した合焦フラグを用いて、縮小前の基準画像から合焦画像を生成する（ステップＳ３１１）。
次に、画像合成部４０ｂは、背景領域、合焦領域、前景領域の順に各領域を合成する（ステップＳ３１２）。
以上で、図１４のフローチャートの処理を終了する。

これにより、画像処理装置１０ｂは、入力画像である基準画像と参照画像の縮小により、奥行分解能が減り、１つの被写体内の奥行値の変化が小さくなる。そのため、奥行き方向に変化する被写体の途中からぼけが発生する頻度を削減することができる。

また、本発明の第１の実施形態による画像処理装置１０（図２参照）および本発明の第２の実施形態による画像処理装置１０ｂ（図１３参照）の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録してもよい。そして、その記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、画像処理装置１０、画像処理装置１０ｂに係る上述した種々の処理を行ってもよい。

なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷ（World Wide Web）システムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含む。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含む。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明は、被写体と背景または前景の境界領域においてなだらかなぼけとなる画像を生成する画像処理装置、画像処理方法及び画像処理プログラムなどに適用することができる。

１０、１０ｂ・・・画像処理装置、
１１・・・記憶部、
１２、１２ｂ・・・視差マップ生成部、
２０、２０ｂ・・・ぼかし係数算出処理部、
２１・・・領域毎の視差値変換部（領域分割部）、
２２・・・ＬＰＦ処理部（マップ用フィルタ処理部）、
２３・・・ぼかし領域選択部（フィルタサイズ選択部）、
２４・・・画像縮小部、
２５・・・フラグ拡大部、
３０・・・ぼかし画像生成処理部、
３１・・・基準ぼかし画像生成部、
３２・・・基準ぼかし画像選択部、
３３・・・画素値補間部、
３４・・・画像拡大部、
４０、４０ｂ・・・画像合成部

Claims (6)

1. 画像を、前記画像の各画素についての視差値に応じて所定の領域に分割し、前記領域毎に視差値を変換する領域分割部と、
   前記領域分割部により視差値が変換された視差マップにローパスフィルタをかけるマップ用フィルタ処理部と、
   前記マップ用フィルタ処理部によりローパスフィルタがかけられた視差マップに応じて画像用フィルタのサイズを選択するフィルタサイズ選択部と、
   前記画像に前記画像用フィルタをかけることにより、前記画像のぼかし画像を生成するぼかし画像生成部と、
   前記マップ用フィルタ処理部によるフィルタ後の視差マップに基づいて、前記画像と前記ぼかし画像とを合成した合成画像を生成する画像合成部と、
   を備える画像処理装置。
2. 画像の各画素についての視差値に基づく視差マップにフィルタをかけるマップ用フィルタ処理部と、
   前記画像のサイズを縮小する画像縮小部と、
   前記画像縮小部により縮小された画像のぼかし画像を生成するぼかし画像生成部と、
   前記縮小された画像のぼかし画像を所定のサイズに拡大する画像拡大部と、
   前記マップ用フィルタ処理部によるフィルタ後の視差マップに基づいて、前記画像と前記ぼかし画像とを合成した合成画像を生成する画像合成部と、
   を備える画像処理装置。
3. 画像の各画素についての視差値に基づく視差マップにフィルタをかけるマップ用フィルタ処理部と、
   前記画像から前記画像のぼかし画像を生成するぼかし画像生成部と、
   前記マップ用フィルタ処理部によるフィルタ後の視差マップに基づいて、前記画像と前記ぼかし画像とを合成した合成画像を生成する画像合成部と、
   を備え、
   前記ぼかし画像生成部は、
   視差マップから複数の値を選択し、前記選択した複数の値のそれぞれに応じたぼかし量を持つ基準ぼかし画像を生成する基準ぼかし画像生成部と、
   前記画像の注目画素毎に、前記注目画素の前記フィルタ後の視差マップの値と前記選択した値との比較に基づいて、前記基準ぼかし画像から基準ぼかし画像を選択する基準ぼかし画像選択部と、
   前記選択された基準ぼかし画像のうち前記注目画素の位置に相当する画素の画素値と前記注目画素のフィルタ後の視差マップの値と前記選択した値とに基づいて、前記注目画素の画素値を算出する画素値補間部と、
   を備える画像処理装置。
4. 前記画素値補間部は、前記注目画素のフィルタ後の視差マップの値と前記選択した値とに基づく値と、前記選択された基準ぼかし画像のうち前記注目画素の位置に相当する画素の画素値とを用いた補間によって、前記注目画素の画素値を算出する請求項３に記載の画像処理装置。
5. 画像を、前記画像の各画素についての視差値に応じて所定の領域に分割し、前記領域毎に視差値を変換し、
   前記視差値が変換された視差値に基づく視差マップにローパスフィルタをかけ、
   前記ローパスフィルタがかけられた視差マップに応じて画像用フィルタのサイズを選択し、
   前記画像に前記画像用フィルタをかけることにより、前記画像のぼかし画像を生成し、
   前記ローパスフィルタをかけた後の視差マップに基づいて、前記画像と前記ぼかし画像とを合成した合成画像を生成する画像処理方法。
6. 画像処理装置のコンピュータに、
   画像を、前記画像の各画素についての視差値に応じて所定の領域に分割し、前記領域毎に視差値を変換し、
   前記視差値が変換された視差値に基づく視差マップにローパスフィルタをかけ、
   前記ローパスフィルタがかけられた視差マップに応じて画像用フィルタのサイズを選択し、
   前記画像に前記画像用フィルタをかけることにより、前記画像のぼかし画像を生成し、
   前記ローパスフィルタをかけた後の視差マップに基づいて、前記画像と前記ぼかし画像とを合成した合成画像を生成させるための画像処理プログラム。

Images