JP5971017B2

JP5971017B2 - 画像処理装置、画像処理方法及び画像処理プログラム

Info

Publication number: JP5971017B2
Application number: JP2012173209A
Authority: JP
Inventors: 浩竹下
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2012-08-03
Filing date: 2012-08-03
Publication date: 2016-08-17
Anticipated expiration: 2032-08-03
Also published as: JP2014033366A

Description

本発明は、２Ｄ画像を立体視のための３Ｄ画像に変換する処理を実行する画像処理装置、画像処理方法及び画像処理プログラムに関する。

近年、３Ｄ映画、３Ｄ放送などの３Ｄ映像コンテンツが普及してきている。観察者に立体視させるためには、視差を持つ右眼画像と左眼画像が必要である。３Ｄ映像を表示する際、右眼画像と左眼画像を時分割に表示し、シャッタメガネや偏光メガネなどの映像分離用メガネにより右眼画像と左眼画像を分離する。これにより観察者は右眼画像を右眼のみで、左眼画像を左眼のみで観察でき立体視できる。なお右眼画像と左眼画像を時分割ではなく空間分割すればメガネは必要なくなるが解像度が低下する。メガネ方式にしてもメガネレス方式にしても右眼画像と左眼画像が必要な点では共通する。

３Ｄ映像を製作するには大きく２つの方法があり、２台のカメラを用いて右眼画像と左眼画像を同時に撮影する方法と、１台のカメラで撮影された２Ｄ画像を後に編集して視差画像を生成する方法がある。本発明は後者の方法に関するものであり、２Ｄ３Ｄ変換技術に関するものである。

図１は、２Ｄ３Ｄ変換の基本処理プロセスを説明するための図である。まず２Ｄ入力画像からデプスマップ（奥行き情報ともいう）を生成する（ステップＳ１０）。そして２Ｄ入力画像とデプスマップを用いて３Ｄ画像を生成する（ステップＳ３０）。図１では２Ｄ入力画像を３Ｄ出力画像の右眼画像とし、２Ｄ入力画像をデプスマップを用いて画素シフトした画像を３Ｄ出力画像の左眼画像としている。以下、所定の視差を持つ右眼画像と左眼画像の組みを３Ｄ画像または視差画像という。

３Ｄ画像を生成する際にはデプスマップを用いて２Ｄ画像を画素シフトして、当該２Ｄ画像に対して視差を持つ別視点の２Ｄ画像を生成する。この画素シフトにより、生成される別視点の２Ｄ画像内に欠落画素が発生する。一般的に、この欠落画素は周辺画素から補間される。

特開２００９−４４７２２号公報

画面内においてオブジェクト境界でのデプスの段差が大きい場合、その境界部分の画素シフト量も大きくなる。したがって欠落画素の数、即ち欠落領域の面積も大きくなる。上述したようにその欠落画素には周辺画素が補間されるが、その欠落領域の面積が大きくなると、補間される画素が補間位置にマッチしない箇所が発生しやすくなる。

本発明はこうした状況に鑑みてなされたものであり、その目的は、２Ｄ画像から３Ｄ画像を生成する際に、オブジェクト境界部分の画像品質を向上させる技術を提供することにある。

上記課題を解決するために、本発明のある態様の画像処理装置（１００）は、外部設定されるマスクパターンを補正するマスク補正部（８０）と、入力画像のデプスマップを、前記マスク補正部（８０）により補正された複数のマスクパターンにより指定される複数の領域ごとに加工するデプスマップ加工部（２０）と、前記入力画像、及び前記デプスマップ加工部（２０）により加工されたデプスマップをもとに、前記入力画像の画素をシフトして、前記入力画像に対して視差を持つ別視点の画像を生成する画像生成部（３０）と、を備える。前記マスク補正部（８０）は、前記別視点の画像が右眼画像であるか左眼画像であるか、及び前記マスクパターンのオブジェクト境界部分における境界の内側のデプス値と外側のデプス値の比較結果から得られるオブジェクトと周囲との前後関係に応じて、ローパスフィルタのフィルタ形状を設定するフィルタ形状設定部（８５）を含み、少なくとも左右が非対称な前記ローパスフィルタを用いて前記オブジェクト境界部分に、ぼかし処理を施す。前記フィルタ形状設定部（８５）は、前記オブジェクトが左右の一側に画素シフトされる場合に、前記オブジェクトの他側のエッジが、一側のエッジよりも緩やかなフィルタ形状に設定する。

本発明の別の態様は、画像処理方法である。この方法は、外部設定されるマスクパターンを補正するステップと、入力画像のデプスマップを、補正された複数のマスクパターンにより指定される複数の領域ごとに加工するステップと、前記入力画像、及び加工されたデプスマップをもとに、前記入力画像の画素をシフトして、前記入力画像に対して視差を持つ別視点の画像を生成するステップと、を有する。前記マスクパターンを補正するステップは、前記別視点の画像が右眼画像であるか左眼画像であるか、及び前記マスクパターンのオブジェクト境界部分における境界の内側のデプス値と外側のデプス値の比較結果から得られるオブジェクトと周囲との前後関係に応じて、ローパスフィルタのフィルタ形状を設定するステップを含み、少なくとも左右が非対称な前記ローパスフィルタを用いて前記オブジェクト境界部分に、ぼかし処理を施す。前記フィルタ形状を設定するステップは、前記オブジェクトが左右の一側に画素シフトされる場合に、前記オブジェクトの他側のエッジが、一側のエッジよりも緩やかなフィルタ形状に設定する。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、２Ｄ画像から３Ｄ画像を生成する際に、製作者の手間を軽減しつつ高品質な３Ｄ画像を生成できる。

２Ｄ３Ｄ変換の基本処理プロセスを説明するための図である。本発明の基本となる実施例に係る画像編集システムの構成を示す図である。本発明の実施例に係るデプスマップ生成部の構成例を示す図である。本発明の基本となる実施例に係る画像編集システムの全体処理プロセスを説明するための図である。入力デプスマップのゲイン調整プロセスを説明するための図である。入力デプスマップのオフセット調整プロセスを説明するための図である。レイヤデプスマップの合成処理プロセスを説明するための図である。マスクを使用しない入力デプスマップのゲイン調整プロセスを説明するための図である。マスクを使用しない入力デプスマップのオフセット調整プロセスを説明するための図である。画素シフトと画素補間を説明するための図である。オブジェクト境界のデプスの段差が大きい場合における、画素シフトと画素補間を説明するための図である。オブジェクト境界のデプスの段差が大きい場合でも不自然さが発生しない、画素シフトと画素補間を説明するための図である。本発明の実施例１に係る画像編集システムの構成を示す図である。本発明の実施例１に係る画像編集システムの全体処理プロセスを説明するための図である。レイヤデプスマップのアルファブレンドを説明するための図である。マスク補正部の構成例を示す図である。図１６のマスク補正部によるマスクぼかし処理を説明するための図である。第１ローパスフィルタによりマスク信号に形成される傾斜と、二値化部に設定される第１閾値の関係を説明するための図である。第１ローパスフィルタにより付加される傾斜と、第２ローパスフィルタにより付加される傾斜を比較するための図である。本発明の実施例２に係る画像編集システムの全体処理プロセスを説明するための図である。本発明の実施例３に係るマスク補正部の構成例を示す図である。図２２（ａ）−（ｃ）は左右対称な第２ローパスフィルタを用いたマスクエッジの加工処理を説明するための図である。図２３（ａ）−（ｃ）は左右非対称な第２ローパスフィルタを用いたマスクエッジの加工処理を説明するための図である。本発明の実施例３に係るフィルタ形状設定部によるフィルタ形状の決定処理を説明するためのフローチャートである。図２５（ａ）−（ｃ）は左右対称な第１ローパスフィルタを用いたマスクエッジの加工処理を説明するための図である。図２６（ａ）−（ｃ）は左右非対称な第１ローパスフィルタを用いたマスクエッジの加工処理を説明するための図である。

図２は、本発明の基本となる実施例に係る画像編集システム５００の構成を示す図である。本実施例に係る画像編集システム５００は、画像処理装置１００及びコンソール端末装置２００を備える。

コンソール端末装置２００は画像製作者（以下、ユーザという）が画像を製作、編集するために使用する端末装置である。コンソール端末装置２００は操作部６０および表示部７０を備える。操作部６０はキーボード、マウス等の入力デバイスであり、表示部７０はディスプレイ等の出力デバイスである。なお入出力が一体となったデバイスであるタッチパネルディスプレイが用いられてもよい。またコンソール端末装置２００はプリンタ、スキャナ等の印刷物を媒体として用いるユーザインタフェースを含んでもよい。操作部６０はユーザ操作を受け付け、そのユーザ操作に起因した信号を生成し、画像処理装置１００に出力する。表示部７０は画像処理装置１００により生成された画像を表示する。

画像処理装置１００はデプスマップ生成部１０、デプスマップ加工部２０、３Ｄ画像生成部３０、操作受付部４０、表示制御部５０を含む。これらの構成はハードウエア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。例えばデプスマップ生成部１０、デプスマップ加工部２０、３Ｄ画像生成部３０について、その機能を全てソフトウェアで実現してもよいし、デプスマップ生成部１０および３Ｄ画像生成部３０の機能を専用のロジック回路で構成し、デプスマップ加工部２０の機能をソフトウェアで実現してもよい。

デプスマップ生成部１０は、入力される２Ｄ画像とデプスモデルをもとに当該２Ｄ画像のデプスマップを生成する。デプスマップは、デプス値（奥行き値ともいう）を輝度値で表したグレースケール画像である。デプスマップ生成部１０はシーン構造を推定して、そのシーン構造に適合的なデプスモデルを使用してデプスマップを生成する。本実施例ではデプスマップ生成部１０は複数の基本デプスモデルを合成してデプスマップ生成に使用する。その際、当該２Ｄ画像のシーン構造に応じて複数の基本デプスモデルの合成比率を変化させる。

図３は、本発明の実施例に係るデプスマップ生成部１０の構成例を示す図である。デプスマップ生成部１０は、画面上部高域成分評価部１１、画面下部高域成分評価部１２、合成比率決定部１３、第１基本デプスモデル用フレームメモリ１４、第２基本デプスモデル用フレームメモリ１５、第３基本デプスモデル用フレームメモリ１６、合成部１７、加算部１８を含む。

画面上部高域成分評価部１１は、処理すべき２Ｄ画像の画面上部において高域成分を有する画素の割合を算出する。その割合を画面上部の高域成分評価値とする。なお画面全体に対する画面上部の割合は略２０％に設定するとよい。画面下部高域成分評価部１２は当該２Ｄ画像の画面下部において高域成分を有する画素の割合を算出する。その割合を画面下部の高域成分評価値とする。なお画面全体に対する画面下部の割合は略２０％に設定するとよい。

第１基本デプスモデル用フレームメモリ１４は第１基本デプスモデルを保持し、第２基本デプスモデル用フレームメモリ１５は第２基本デプスモデルを保持し、第３基本デプスモデル用フレームメモリ１６は第３デプスモデルを保持する。第１基本デプスモデルは画面上部及び画面下部をそれぞれ凹状の球面とするモデルである。第２基本デプスモデルは画面上部を縦方向に軸線を有する円筒面、画面下部を凹状の球面とするモデルである。第３基本デプスモデルは画面上部を平面、画面下部を横方向に軸線を有する円筒面とするモデルである。

合成比率決定部１３は、画面上部高域成分評価部１１および画面下部高域成分評価部１２によりそれぞれ算出された、画面上部および画面下部の高域成分評価値をもとに第１基本デプスモデル、第２基本デプスモデル、第３基本デプスモデルの合成比率ｋ１，ｋ２，ｋ３（ただし、ｋ１＋ｋ２＋ｋ３＝１）を決定する。合成部１７はこれらの合成比率ｋ１，ｋ２，ｋ３と、第１基本デプスモデル、第２基本デプスモデル、第３基本デプスモデルをそれぞれ乗算し、それぞれの乗算結果を加算する。この演算結果が合成基本デプスモデルとなる。

例えば合成比率決定部１３は、画面上部の高域成分評価値が小さい場合は画面上部に空もしくは平坦な壁が存在するシーンと認識して、画面上部の奥行きを深くした第２基本デプスモデルの比率を増加させる。また画面下部の高域成分評価値が小さい場合は画面下部に平坦な地面もしくは水面が手前に連続的に広がるシーンと認識して、第３基本デプスモデルの比率を増加させる。第３基本デプスモデルでは、画面上部は遠景として平面近似し、画面下部は下に行くほど奥行きを小さくしている。

加算部１８は、合成部１７により生成された合成基本デプスモデルに上記２Ｄ画像の赤成分（Ｒ）信号を重畳してデプスマップを生成する。Ｒ信号を使用する理由は、Ｒ信号の大きさが順光に近い環境で、かつテクスチャの明度が大きく異ならないような条件において、被写体の凹凸と一致する確率が高いという経験則によるものである。また赤色および暖色は色彩学における前進色であり、寒色系よりも奥行きが手前に認識され、立体感が強調されるためである。

図２に戻る。デプスマップ加工部２０は、デプスマップ生成部１０により生成されたデプスマップを加工する。本実施例ではデプスマップ加工部２０は、外部設定される複数のマスクパターン（以下、単にマスクという）により指定される画面内の複数の領域ごとに、デプスマップ生成部１０により生成されたデプスマップを個別または独立に加工する。例えばゲイン調整、オフセット調整、グラデーション処理などの加工を行う。デプスマップ加工部２０による処理の詳細は後述する。

３Ｄ画像生成部３０は、上述の２Ｄ画像およびデプスマップ加工部２０により加工されたデプスマップをもとに別視点の２Ｄ画像を生成する。３Ｄ画像生成部３０は、オリジナル視点の２Ｄ画像と別視点の２Ｄ画像を右眼画像と左眼画像として出力する。

以下、オリジナル視点の２Ｄ画像とデプスマップを用いて当該２Ｄ画像と視差を持つ別視点の２Ｄ画像を生成する具体例を説明する。この具体例ではオリジナル視点の２Ｄ画像を画面表示させた場合の視点を基準にして、左に視点移動した別視点の２Ｄ画像を生成する。その場合、観察者に対してテクスチャを近景として表示させるときは画面に向かって左側へオリジナル視点の２Ｄ画像のテクスチャを所定量移動させ、テクスチャを観察者に遠景として表示させるときは画面に向かって右側へテクスチャを所定量移動させる。

デプスマップの各画素の輝度値をＹｄ、飛び出し感を表す輻輳値をｍ、立体感を表す奥行き値をｎとする。３Ｄ画像生成部３０は輝度値Ｙｄの小さい値から順に、その輝度値Ｙｄに対応するオリジナル視点の２Ｄ画像のテクスチャを画素ごとに（Ｙｄ−ｍ）／ｎ画素分左にシフトする。（Ｙｄ−ｍ）／ｎの値が負の場合、（ｍ−Ｙｄ）／ｎ画素分右にシフトする。なお観察者には、デプスマップの輝度値Ｙｄの小さいテクスチャは画面奥側に見え、輝度値Ｙｄの大きいテクスチャは画面手前に見える。輝度値Ｙｄ、輻輳値ｍ、奥行き値ｎは０〜２５５の範囲の値であり、例えば、輻輳値ｍ＝２００、奥行き値ｎ＝２０に設定される。

なお、デプスマップ生成部１０によるデプスマップ生成、および３Ｄ画像生成部３０による３Ｄ画像生成のより詳細な説明は、本出願人が先に出願した特開２００５−１５１５３４号公報、特開２００９−４４７２２号公報に開示されている。

操作受付部４０は、コンソール端末装置２００の操作部６０から入力される信号を受け付ける。操作受付部４０は、入力される信号をその内容に応じてデプスマップ加工部２０または３Ｄ画像生成部３０に出力する。表示制御部５０はコンソール端末装置２００の表示部７０を制御する。具体的には表示制御部５０は、２Ｄ入力画像、デプスマップ生成部１０により生成されたデプスマップ、デプスマップ加工部２０により加工されたデプスマップ、３Ｄ画像生成部３０により生成された３Ｄ画像を表示できる。

図４は、本発明の基本となる実施例に係る画像編集システム５００の全体処理プロセスを説明するための図である。一般的に２Ｄ画像には複数のオブジェクトが含まれる。図４の２Ｄ入力画像は３つのオブジェクトを含む。具体的には人物、木、背景のオブジェクトを含む。まずデプスマップ生成部１０は、２Ｄ入力画像からデプスマップを生成する（ステップＳ１０）。デプスマップは白に近いほど輝度が高く観察者との距離が近いことを示し、黒に近いほど輝度が低く観察者との距離が遠いことを示す。３Ｄ画像を生成する場合、デプスマップの白に近い領域ほど飛び出し量が大きくなり、黒に近い領域ほど引っ込み量が大きくなる。

本実施例では画像内の複数のオブジェクトに対して個別に奥行き感を調整するために、デプスマップ内の個々のオブジェクト領域に対して独立にエフェクト調整する。具体的には、画像中の個々のオブジェクト領域を表す複数のマスクを用いて、デプスマップ内に、個々のオブジェクト領域を特定する。そして特定されたオブジェクト領域ごとに個別にエフェクト調整し、エフェクト調整された複数のデプスマップを得る。そして、この複数のデプスマップを合成して一つのデプスマップを生成する。このデプスマップは、オリジナル視点の２Ｄ画像から別視点の２Ｄ画像を生成する際に使用される。

デプスマップ生成部１０は２Ｄ入力画像のデプスマップを自動的に生成する（Ｓ１０）。生成されたデプスマップは、デプスマップ加工部２０に入力される。デプスマップ加工部２０には、２Ｄ入力画像内の複数のオブジェクト領域をそれぞれ表す複数のマスクも入力される。これらのマスクはユーザによりトレースされたオブジェクト領域の輪郭をもとに生成される。例えば、表示制御部５０は表示部７０に２Ｄ入力画像を表示させ、ユーザはその２Ｄ入力画像内においてオブジェクト領域とすべき領域の輪郭を、操作部６０を使用してトレースする。操作受付部４０は操作部６０からの信号により、個々のオブジェクト領域の輪郭情報を生成し、マスクとしてデプスマップ加工部２０に出力する。なおユーザが印刷物上に描いた輪郭をスキャナにより読み取ることによりマスクを画像処理装置１００に読み込ませてもよい。

図４では各マスクの有効領域を白で無効領域を黒で描いている。人物のマスクは人物の領域のみを有効とし、他の領域を無効とするパターンである。木のマスクは木の領域のみを有効とし、他の領域を無効とするパターンである。背景のマスクは背景のみを有効とし、他の領域を無効とするパターンである。

１画面あたりのマスクの数に制約はなく、ユーザが任意に設定できる。またオブジェクト領域はユーザが１つのオブジェクト領域にすべきと決定した領域に設定できる。例えば、図４に示すように１人の人物に１つのオブジェクト領域を設定してもよいし、人物の部位ごと、さらに各部位の部分ごとにオブジェクト領域を設定してもよい。特に高品質な３Ｄ画像を生成する際には、１人の人物に対しても多数のオブジェクト領域を設定し、部位ごと、さらに各部位の部分ごとに厚みや奥行き方向の位置を調整することもある。

デプスマップ加工部２０は、デプスマップ生成部１０から入力されるデプスマップ（以下、入力デプスマップという）を、ユーザインタフェースを介して入力される複数のマスクを用いて加工する（Ｓ２０）。デプスマップ加工部２０は各マスクで特定される領域ごとに、個別にデプスマップを加工する。以下、この領域別のデプスマップの加工をデプスマップのレイヤ処理と呼ぶ。またレイヤ処理されたデプスマップをレイヤデプスマップと呼ぶ。本明細書ではレイヤを、マスクの有効領域に対する処理の単位を示す概念として使用している。

図４では、一例としてデプスマップ加工部２０は入力デプスマップから、人物のマスク（レイヤ１のマスク）を用いて人物の領域を特定してレイヤ処理している（Ｓ２１ａ）。同様に入力デプスマップから、木のマスク（レイヤ２のマスク）を用いて木の領域を特定してレイヤ処理している（Ｓ２１ｂ）。同様に入力デプスマップから、背景のマスク（レイヤ３のマスク）を用いて背景の領域を特定してレイヤ処理している（Ｓ２１ｃ）。

デプスマップ加工部２０は、レイヤ１〜３のレイヤデプスマップの各オブジェクト領域のデプスマップを合成する（Ｓ２２）。この合成されたデプスマップを合成デプスマップと呼ぶ。３Ｄ画像生成部３０は、この合成デプスマップを用いて２Ｄ入力画像の画素をシフトし、２Ｄ入力画像に対して視差を持つ画像を生成する（Ｓ３０）。３Ｄ画像生成部３０は２Ｄ入力画像を３Ｄ出力画像の右眼画像（Ｒ）とし、生成した画像を左眼画像（Ｌ）として出力する。

まず、デプスマップ加工部２０によるレイヤ処理としてゲイン調整する例を説明する。ゲイン調整はオブジェクトの奥行き方向の厚みを調整する処理である。ゲインを上げるとオブジェクトが厚くなり、ゲインを下げるとオブジェクトが薄くなる。

図５は、入力デプスマップのゲイン調整プロセスを説明するための図である。デプスマップ加工部２０は、加工前のデプスマップである入力デプスマップに対して、人物のマスクの有効領域だけにゲインを乗算して、入力デプスマップ内の人物の部分のみデプス値の振幅を大きくする（Ｓ２１ａ）。図５において加工後のデプスマップであるレイヤデプスマップは人物の部分の振幅が大きくなっている（符号ａ参照）。

次に、デプスマップ加工部２０によるレイヤ処理としてオフセット調整する例を説明する。オフセット調整はオブジェクトの奥行き方向の位置を調整する処理である。正のオフセット値を加算するとオブジェクトが飛び出し方向に移動し、負のオフセット値を加算すると引っ込み方向に移動する。

図６は、入力デプスマップのオフセット調整プロセスを説明するための図である。デプスマップ加工部２０は、加工前のデプスマップである入力デプスマップに対して、木のマスクの有効領域だけにオフセットを加算して、入力デプスマップ内の木の部分のみデプス値のレベルを高くする（Ｓ２１ｂ）。図６において加工後のデプスマップであるレイヤデプスマップは木の部分のレベルが高くなっている（符号ｂ参照）。

図７は、レイヤデプスマップの合成処理プロセスを説明するための図である。デプスマップ加工部２０は、レイヤ１のレイヤデプスマップ（人物のデプスマップ）のうち、レイヤ１のマスク（人物のマスク）の有効領域のみを切り出す。同様にレイヤ２のレイヤデプスマップ（木のデプスマップ）のうち、レイヤ２のマスク（木のマスク）の有効領域のみを切り出す。同様にレイヤ３のレイヤデプスマップ（背景のデプスマップ）のうち、レイヤ３のマスク（背景のマスク）の有効領域のみを切り出す。デプスマップ加工部２０は、切り出した３つのデプスマップを組み合わせて合成デプスマップを生成する。

図８は、マスクを使用しない入力デプスマップのゲイン調整プロセスを説明するための図である。レイヤデプスマップの合成の際、各レイヤデプスマップのマスクの有効領域のみを用いて合成するのであれば、各レイヤデプスマップのマスクの無効領域は合成デプスマップに反映されないことになる。よって、デプスマップ加工部２０は入力デプスマップ全体にゲインを乗算して、入力デプスマップ全体のデプス値の振幅を大きくする（Ｓ２１ａ）。図８においてレイヤデプスマップは全体の振幅が大きくなっている（符号ｃ参照）。

図９は、マスクを使用しない入力デプスマップのオフセット調整プロセスを説明するための図である。レイヤデプスマップの合成の際、各レイヤデプスマップのマスクの有効領域のみを用いて合成するのであれば、各レイヤデプスマップのマスクの無効領域は合成デプスマップに反映されないことになる。よって、デプスマップ加工部２０は入力デプスマップ全体にオフセットを加算して、入力デプスマップ全体のデプス値のレベルを高くする（Ｓ２１ｂ）。図９においてレイヤデプスマップは全体のレベルが高くなっている（符号ｄ参照）。

図１０は、画素シフトと画素補間を説明するための図である。３Ｄ画像生成部３０は合成デプスマップをもとに２Ｄ入力画像の画素をシフトし、２Ｄ入力画像に対して視差を持つ画像を生成する（Ｓ３０）。図１０では２Ｄ入力画像内の人物領域の画素を左にシフトする例を示している。図１０のデプスマップは人物領域のデプス値にオフセット値が加算されて人物領域のデプス値が大きくなっている。人物領域のデプス値が大きくなると、３Ｄ画像の人物領域の飛び出し量が大きくなる。

人物領域の周囲の背景領域を画素シフトせずに人物領域のみを画素シフトすると、画素が存在しない欠落画素領域が発生する（補正前の画素シフト画像の符号ｅ参照）。３Ｄ画像生成部３０は、この欠落画素領域をその周辺画素から生成した画素で補間して欠落画素領域を補正する。画素補間には様々な方法があるが、例えば人物領域の境界の画素で補間する（補正後の画素シフト画像の符号ｆ参照）。

図１１は、オブジェクト境界のデプスの段差が大きい場合における、画素シフトと画素補間を説明するための図である。オブジェクト境界でのデプスの段差が大きい場合、画素シフト量も大きくなるため、欠落画素領域の面積も大きくなる。この欠落画素領域を周辺画素から生成した画素で補間する場合、その補間する領域の面積も大きくなるため、オブジェクト境界での画像の不自然、不整合、不適合が目立つようになる。

図１１では図１０と比較して人物領域の画素シフト量が大きくなっている。図１１の補正前の画素シフト画像の欠落画素領域の面積は、図１０のその面積より大きくなっている（符号ｇ参照）。図１１の補正後の画素シフト画像でも図１０の補正後の画素シフト画像と同様に、欠落画素領域に人物領域の境界の画素を補間している。その欠落画素領域は本来は背景とすべき領域であり、その領域が大きくなると人物の形状が崩れてしまう（符号ｈ参照）。

また画像内のオブジェクトには、その境界が鮮明なものばかりではなく不鮮明なものも存在する。オブジェクト境界の不鮮明は、例えば撮影時のピンぼけ、手ぶれ、モーションブラーなどにより発生する。オブジェクト境界が不鮮明であいまいな場合、オブジェクト境界に合わせた適切なマスクを作成するのが困難である。不正確な輪郭で作成されたマスクを用いて、デプスマップの加工、画素シフト、画素補間を行った場合、生成される３Ｄ画像のオブジェクトの輪郭が不自然になりやすくなる。

図１２は、オブジェクト境界のデプスの段差が大きい場合でも不自然さが発生しない、画素シフトと画素補間を説明するための図である。オブジェクト境界における欠落画素領域の面積が大きい場合でも、人物と背景がなだらかに切り替わるように補間することで、オブジェクト境界の不自然を目立ちにくくできる。

図１２の補正前の画素シフト画像の欠落画素領域の面積も、図１１と同様に図１０のその面積より大きくなっている（符号ｉ参照）。図１２の補正後の画素シフト画像では図１１の補正後の画素シフト画像と異なり、人物と背景の境界における不自然が目立ちにくくなっている（符号ｊ参照）。

図１３は、本発明の実施例１に係る画像編集システム５００の構成を示す図である。実施例１に係る画像編集システム５００では、図２の基本となる実施例に係る画像編集システム５００の画像処理装置１００にマスク補正部８０が追加される。以下、図１３の実施例１に係る画像編集システム５００と、図２の基本となる実施例に係る画像編集システム５００との相違点を説明する。

マスク補正部８０は、操作受付部４０を介してコンソール端末装置２００から設定されるマスクを補正してデプスマップ加工部２０に出力する。具体的にはマスク補正部８０はマスクのオブジェクト境界に、ぼかし処理を施す。デプスマップ加工部２０は、マスク補正部８０により補正されたマスクをもとに生成される、複数のオブジェクト領域の各デプスマップをアルファブレンドする。即ちデプスマップ加工部２０は、複数のレイヤデプスマップを、各マスクで規定された係数（α値）にしたがい合成する。

図１４は、本発明の実施例１に係る画像編集システム５００の全体処理プロセスを説明するための図である。図１４の処理プロセスは図４の処理プロセスに、マスクぼかし処理が追加された構成である。以下、相違点について説明する。なお以下の説明では、マスクの有効領域（図では白で描いている）内の画素値を１、無効領域（図面では黒で描いている）内の画素値を０とする。

実施例１では操作受付部４０から出力されるレイヤ１のマスク（人物のマスク）、レイヤ２のマスク（木のマスク）及びレイヤ３のマスク（背景のマスク）は、デプスマップ加工部２０に入力される前にマスク補正部８０に入力される。マスク補正部８０は各マスクのオブジェクト境界部分にぼかし処理を施す（Ｓ１５ａ〜Ｓ１５ｃ）。具体的にはマスク補正部８０は、マスク信号のエッジ（即ち、０と１の境界）及びその近傍領域（以下、両者を総称してエッジ領域という）の値を、０と１の間の値（０と１を除く）に補正する（符号ｋ参照）。

デプスマップ加工部２０は、補正されたマスクのレベルに応じて、レイヤデプスマップを合成する（Ｓ２２）。これによりマスクのエッジ領域では、なだらかにデプス値が変化する合成デプスマップを生成できる。３Ｄ画像生成部３０は、この合成デプスマップを用いて画素シフト、画素補間を行う。これによりオブジェクト境界がなだらかに変化し、オブジェクト境界の不自然が目立たなくなる。

図１５は、レイヤデプスマップのアルファブレンドを説明するための図である。デプスマップ加工部２０は、マスク補正部８０により補正された各マスク信号の値をもとに、各レイヤデプスマップ内のデプス値のブレンド比率を決定する。各レイヤデプスマップは指定された順番に重ね合わされる。重ね合わせの順番はユーザが操作部６０から入力し、操作受付部４０を介してデプスマップ加工部２０に設定される。本明細書の例では背景のレイヤデプスマップ、木のレイヤデプスマップ、人物のデプスマップの順番で重ね合わされる。

図１５においてレイヤｎ（ｎは自然数）のマスク信号のエッジ領域は、０％から５０％への垂直な立ち上がりと、５０％から１００％へのなだらかな傾斜から構成される。各パーセンテージの数値は合成比率を示している。このレイヤｎのマスク信号を用いて、レイヤｎのデプス信号（以下、レイヤｎデプスという）と、レイヤΣ（ｎ−１）の合成デプス信号（以下、レイヤΣ（ｎ−１）デプスという）をブレンドする。レイヤΣ（ｎ−１）デプスは、レイヤ１からレイヤ（ｎ−１）までの各デプス信号をブレンドした合成デプス信号である。即ち、レイヤｎデプスがブレンドされる時点までに生成された合成デプス信号である。

レイヤｎのマスク信号の合成比率が０％の期間（符号ｌ参照）では、レイヤｎデプスが０％、レイヤΣ（ｎ−１）デプスが１００％でブレンドされる。即ち、レイヤΣ（ｎ−１）デプスはレイヤｎデプスにより全く上書きされず、レイヤΣ（ｎ−１）デプスがそのまま出力される（符号ｏ参照）。レイヤｎのマスク信号の合成比率が５０％の時点（符号ｐ参照）では、レイヤｎデプスが５０％、レイヤΣ（ｎ−１）デプスが５０％の比率でブレンドされる。

レイヤｎのマスク信号の合成比率が５０％〜１００％の期間（符号ｍ参照）では、合成比率が変化しながらレイヤｎデプスとレイヤΣ（ｎ−１）デプスがブレンドされる。例えばレイヤｎのマスク信号の合成比率が７５％の時点（符号ｑ参照）では、レイヤｎデプスが７５％、レイヤΣ（ｎ−１）デプスが２５％の比率でブレンドされる。レイヤｎのマスク信号の合成比率が１００％に到達した時点（符号ｒ参照）から、レイヤｎデプスが１００％、レイヤΣ（ｎ−１）デプスが０％の比率でブレンドされる。レイヤｎのマスク信号の合成比率が１００％の期間（符号ｎ参照）では、レイヤΣ（ｎ−１）デプスはレイヤｎデプスにより完全上書きされ、結果としてレイヤｎデプスがそのまま出力される（符号ｓ参照）。これによりレイヤΣｎデプスが生成される。レイヤΣｎデプスは、レイヤ１からレイヤｎまでの各デプス信号をブレンドした合成デプス信号である。

なおレイヤデプスのブレンドの際に、レイヤΣ（ｎ−１）デプスのマスク信号は使用されない。レイヤΣｎデプスのマスク信号のみにより、レイヤΣｎデプスとレイヤΣ（ｎ−１）デプスとの合成比率が決定される。したがってレイヤデプスの重なりが多い領域では、下のレイヤデプスのデプス値はレイヤデプスが重ねられるにつれ薄まっていく。

以下、マスク信号のエッジをぼかす処理について具体的に説明する。このぼかし処理は以下の３つの基本ステップからなる。まずオリジナルのマスク信号のエッジを、対象となるオブジェクトの輪郭に対して適切な位置になるように移動させる。これによりマスクのオブジェクト領域の面積が拡大または縮小する。次に当該マスクのエッジに傾斜をつける。最後に傾斜をつけたマスクのエッジ領域を制限する。

以下、上述のぼかし処理をローパスフィルタを用いて行う方法を説明する。まず黒い部分のレベルが０、白い部分のレベルが１であるマスクにローパスフィルタをかける。これにより、平坦部分のレベルは変化させずに、エッジ領域に０と１の中間のレベルの傾斜が付加されたマスクを生成できる。

さらにマスクのエッジ領域のうち、マスクの有効領域に対して外側にのみ傾斜を付け、内側は加工前のレベルを保持したい場合がある。またその逆に、マスクのエッジ領域のうち、マスクの有効領域に対して内側にのみ傾斜を付け、外側は加工前のレベルを保持したい場合もある。これらの場合を考慮して、マスクの有効領域を拡大または縮小して、マスク信号のエッジの位置を任意に移動させる処理を、ぼかしマスク生成用のローパスフィルタの前段に挿入する。

さらに、ぼかし処理によりマスクのエッジが意図した量より大きく拡大することを防ぐために、ぼかされたエッジ領域を制限する処理を、ぼかしマスク生成用のローパスフィルタの後段に挿入する。以下、このローパスフィルタを用いたぼかし処理について、より具体的に説明する。

図１６は、マスク補正部８０の構成例を示す図である。マスク補正部８０は第１ローパスフィルタ８１、二値化部８２、第２ローパスフィルタ８３、クリッピング部８４を含む。これらの構成もハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できる。

１段目の第１ローパスフィルタ８１は、オリジナルのマスク信号にローパスフィルタをかける。二値化部８２は第１ローパスフィルタ８１から出力される、エッジに傾斜がついたマスク信号を第１閾値を用いて二値化する。第１ローパスフィルタ８１および二値化部８２の作用により、オリジナルのマスク信号のエッジの位置が移動される。

２段目の第２ローパスフィルタ８３は、二値化部８２から出力されるエッジの位置が移動されたマスク信号にローパスフィルタをかける。これによりマスク信号のエッジに傾斜がつけられる。クリッピング部８４は第２ローパスフィルタ８３から出力される、エッジに傾斜がついたマスク信号を第２閾値を用いて、第２閾値以下の信号を０にクリッピングする。

図１７は、図１６のマスク補正部８０によるマスクぼかし処理を説明するための図である。図１７の左に処理フローを、中央にマスクの信号波形を、右にマスクの画像を示す。図１７の説明ではマスクの各画素値が８ビットで規定され、マスクの画像において黒が０(0b00000000)、白が２５５(0b11111111)であるとする。通常、オリジナルのマスク信号は０または２５５のみを持つ二値信号である。

オリジナルのマスク信号は、第１ローパスフィルタ８１に入力される。第１ローパスフィルタ８１はマスク信号のエッジの位置をかえる前処理として、オリジナルのマスク信号にローパスフィルタをかける（Ｓ８１）。具体的には第１ローパスフィルタ８１はオリジナルのマスク信号を、エッジ領域が傾斜を持つマスク信号に加工する。傾斜部分の値は０と２５５の間の値（０と２５５を除く）に加工される。

次に二値化部８２はマスク信号のエッジの位置をかえる前処理として、加工されたマスク信号の値と第１閾値を比較してマスク信号を二値化する（Ｓ８２）。具体的にはマスク信号の値が第１閾値よりも大きい場合はマスク信号の値を２５５に設定し、小さい場合は０に設定する。これにより再び、マスク信号は０または２５５のみを持つ二値信号となる。

第１閾値が０と２５５の中間値である１２７より小さく設定される場合、二値化されたマスク信号のエッジは、オリジナルのマスク信号のエッジよりも外側に移動される。この場合、マスクの画像内において白の面積が拡大する。一方、第１閾値が中間値である１２７より大きく設定される場合、二値化されたマスク信号のエッジは、オリジナルのマスク信号のエッジよりも内側に移動される。この場合、マスクの画像内において白の面積が縮小する。なお第１閾値が中間値である１２７に設定される場合、二値化されたマスク信号のエッジは、オリジナルのマスク信号におけるエッジの位置と同じになる。

図１７ではマスク信号のエッジの位置を外側に移動させる例を示している。第１ローパスフィルタ８１のタップ数や係数などのフィルタ特性および二値化部８２の第１閾値を可変することにより、マスク信号のエッジの位置を任意に調整できる。

図１８は、第１ローパスフィルタ８１によりマスク信号に形成される傾斜と、二値化部８２に設定される第１閾値の関係を説明するための図である。同じエッジの位置のマスク信号を生成する場合において、傾斜が緩くて長い場合は第１閾値が高くなり、傾斜が短く急な場合は第１閾値が低くなる関係にある。ユーザが操作部６０から第１ローパスフィルタ８１のフィルタ特性および二値化部８２の第１閾値を入力することにより、操作受付部４０を介して第１ローパスフィルタ８１および二値化部８２に設定される。ユーザは操作部６０から、第１ローパスフィルタ８１のフィルタ特性および二値化部８２の第１閾値の少なくとも一方を調整することにより、マスク信号のエッジの位置を任意に調整できる。なお第１閾値を低く設定したほうが傾斜を短くできるため、第１ローパスフィルタ８１のタップ数を減らすことができ、第１ローパスフィルタ８１を簡素化できる。

図１７に戻る。エッジの位置が移動されたマスク信号は第２ローパスフィルタ８３に入力される。第２ローパスフィルタ８３は、エッジの位置が移動されたマスク信号にローパスフィルタをかける（Ｓ８３）。これにより、再びエッジ領域に傾斜が付加されたぼかしマスクが生成される。

次にクリッピング部８４は、第２ローパスフィルタ８３により生成されたエッジ領域に傾斜を持つマスク信号の値と第２閾値を比較して、当該マスク信号の値が第２閾値以下のときマスク信号の値を０に設定する（Ｓ８４）。即ちエッジ領域において白側の傾斜は残し、黒側の傾斜は急峻に落とす。これにより第２閾値より大きい領域では白からグレーに変化する傾斜がつき、第２閾値以下の領域では黒のマスクを生成できる。このクリッピング処理により、マスク内のぼかしをかけた領域を制限し、マスクのエッジ領域が意図した大きさより、大きくなることを抑制できる。

図１７では、ぼかし処理を水平方向にかける例を示しているが、二次元ローパスフィルタを用いることにより、ぼかし処理を水平方向と垂直方向の両方にかけることもできる。その際、水平方向と垂直方向で係数が異なるフィルタを用いてもよい。その場合、水平方向と垂直方向とで個別にマスク信号のエッジの位置、傾斜の度合い、ぼかし幅を調整できる。

また水平方向と垂直方向で係数が異なり、かつ斜め方向は縦横の係数の中間値を持つ楕円状の二次元ローパスフィルタを用いてもよい。楕円状の二次元ローパスフィルタを用いれば、水平方向と垂直方向とで個別にマスク信号のエッジの位置および傾斜の度合い、ぼかし幅を調整でき、その調整を斜め方向に作用させることもできる。例えば、正方形のオリジナルマスクを、縦横が任意の長さで、かつ角が丸くなった長方形に加工することができる。また正方形のオリジナルマスクを、縦横の傾斜の度合いが個別かつ任意で、角においては縦横の傾斜の度合いと連続性を持ちつつなだらかに変化する傾斜を持つ全方位に任意のなだらかな傾斜がついた長方形に加工することもできる。

図１９は、第１ローパスフィルタ８１により付加される傾斜と、第２ローパスフィルタ８３により付加される傾斜を比較するための図である。第１ローパスフィルタ８１により付加される傾斜（符号ｔ参照）は、二値化境界位置を調整するために使用される仮の傾斜であり、二値化後には消える。したがって傾斜は一定の角度で線形に変化する傾斜でよい。第２ローパスフィルタ８３により付加される傾斜（符号ｔ参照）は、残る傾斜であるため、ユーザがその傾斜の形状も調整するとよい。例えば傾斜の上部では上が凸の、下部では下が凸の形状に調整してもよい。この形状に調整すると、クリッピングされる幅を大きくできる。

このように、第１ローパスフィルタ８１、第２ローパスフィルタ８３のタップ数や係数などのフィルタ特性、二値化部８２の第１閾値、クリッピング部８４の第２閾値を調整することにより、マスク信号のエッジの位置、マスクの有効領域の面積、ぼかし幅をそれぞれ自由に調整できる。また全てのレイヤのマスク信号に同一のぼかし処理をかける必要はなく、各レイヤのマスク信号ごとに個別にぼかし処理をかけてもよい。

以上のぼかし処理により、マスク信号のエッジを任意の位置に移動させ、マスクの有効領域の面積を変化させることができる。またエッジ領域に任意の傾きの傾斜をつけることができる。さらにマスクのぼかし領域を任意に制限することができる。

ぼかしマスクは、後段のデプスマップの合成で使用される。デプスマップ加工部２０は、ぼかしマスクのレベルに応じて、複数のレイヤデプスマップをアルファブレンドする。その際、ぼかしマスクのレベルに応じて、各レイヤデプスマップの合成比率が決定される。

以上説明したように実施例１によれば、レイヤデプスマップを合成する際、ぼかしマスクを使用することにより、合成デプスマップのオブジェクト境界部分に連続性を持たせることができる。即ちオブジェクト境界部分に大きな段差がある場合、その段差をなだらかにすることができる。したがって、この合成デプスマップをもとに生成される別視点の画像のオブジェクト境界部分を自然な境界に仕上げることができる。

また境界があいまいなオブジェクトに対して、不正確な輪郭で作成されたマスクを用いた場合でも、その輪郭の位置を調整することにより、生成される３Ｄ画像のオブジェクトの輪郭が不自然な輪郭となることを回避できる。

以下、ぼかしマスクを用いずにオブジェクト境界の不自然を目立ちにくくする方法について説明する。

図２０は、本発明の実施例２に係る画像編集システム５００の全体処理プロセスを説明するための図である。図２０の処理プロセスは図４の処理プロセスに、ローパスフィルタ処理が追加された構成である。以下、相違点について説明する。なお図１４の処理プロセスと異なりマスクぼかし処理が追加されない。

デプスマップ加工部２０は、合成デプスマップにローパスフィルタをかける（Ｓ８５）。これにより、デプスマップ内のオブジェクト境界におけるデプス値の変化がなだらかになる。ただし、ぼかしマスクを使用する方法と比較し、そのデプス値の変化をオブジェクト毎に任意に調整することはできない。また、ぼかしマスクを使用する方法では、オブジェクト境界におけるデプス値の変化だけをなだらかに加工できる。これに対して、合成デプスマップにローパスフィルタをかける方法では、オブジェクト境界だけでなくオブジェクト内部の平坦部分についても、細かなディテール（凹凸）が失われる。

ぼかしマスクを使用する方法と、合成デプスマップにローパスフィルタをかける処理は、各々独立で使用することもできるし、両方の処理を同時に使用することもできる。また、各々の処理の順番を入れ替えることもできる。レイヤ合成する前のデプスマップにローパスフィルタをかけて、ぼかし処理されたレイヤデプスマップを生成し、それらレイヤデプスマップをぼかしマスクを用いて合成し、さらに合成デプスマップにローパスフィルタをかけてもよい。

次に実施例３について説明する。実施例１、２では、デプスマップを加工する際の基準となるマスクに対して以下の処理を施した。マスクの有効エリアの面積を可変する。マスクのエッジ部分に傾斜をつける（具体的には、０または１ではなく０．５などの中間値を作る）。マスクにつけた傾斜（中間値）の値に応じて、デプスマップをαブレンド合成する。合成されたデプスマップにローパスフィルタをかけて、急峻な変化を抑圧する。

実施例１、２では、これらの処理により、合成デプスマップのオブジェクトの境界部分に連続性を持たせ、この合成デプスマップを基に生成された画像（３Ｄ画像）のオブジェクトの境界部分の不自然を目立たなくすることを示した。

この実施例１、２に係る方法では、本来補正の必要が無い部分にまで補正処理が行われる場合が発生する。その補正の副作用により画像が不自然に変化してしまう場合がある。また、その補正の副作用を回避または軽減するために補正の効果を弱めた場合、オブジェクトの境界部分の不自然さを完全に解消できないことがある。

実施例３では、マスクぼかし処理の特殊性を考慮したうえで、マスクの補正処理を局所的に非対称に効果せしめる手段を講じる。これにより、狙いとする部分のみに排他的に補正処理を施すことができ、上記の副作用を回避または軽減できる。即ち、マスクのエッジ部分の処理を非対称に行い、その非対称なエッジを備えるマスクの加工を行う。これにより補正処理の副作用を抑えつつ、生成される３Ｄ画像におけるオブジェクトの境界部分の不自然さを目立ちにくくできる。

マスクぼかし処理の特殊性に鑑み、まずマスクの加工を非対称に行うことで狙いとする効果が得られる理由を説明し、次にマスクの加工を非対称に行うための具体的手段について説明する。

まずマスクの加工を非対称に行うことで狙いとする効果が得られる理由を説明する。上述したように本明細書では、デプスマップで表現されているデプス値に基づいて入力画像の一部の画素を水平にシフトすることにより、入力画像に対してオブジェクト毎に視差を持つ３Ｄ画像を生成する。一般に、入力画像を左眼画像とし、右眼画像を画素シフトで生成する場合において、飛び出し方向の視差を与えるには画素を左側にシフトする。この場合、シフトしたオブジェクトの右側には画素シフトにより画素抜けのエリアが生じる。一方、シフトしたオブジェクトの左側は、シフト画素が背景画素上に被さることになる。オブジェクトの左側には抜け画素が発生しない。

即ち画素シフトによる画素抜けは、オブジェクトの片側にだけ発生する。画素抜けが発生する方向は、生成すべき画像を右眼画像とするか左眼画像にするか、及びオブジェクトに飛び出し方向の視差を与えるか奥行き方向の視差を与えるかの二つに依存する。

上述の例において、オブジェクトの左右両側に均等なマスクエッジの加工処理を施した場合、オブジェクトの右側はその境界部分の不自然さを目立たなくできる。一方、オブジェクトの左側にあたる背景部分に何らかのテクスチャが存在する場合、上記のマスクエッジの加工処理の影響を受けた画素シフトが背景部分にも及ぶことになる。この場合、背景テクスチャが歪む可能性がある。例えば、その背景テクスチャに道路の白線が含まれる場合、白線が歪む可能性がある。

そこで、上述のマスクエッジの加工をオブジェクトの右側だけに作用させ、左側には作用させないようにする。これにより、オブジェクトの左側の背景テクスチャを歪まないようにできる。

次にマスクの加工を非対称に行うための具体的手段について説明する。実施例１で説明したようにマスクエッジの加工には、以下の２つのフィルタを用いる。１つは、マスクのエッジポジションを移動させ、マスクの有効エリアの面積を可変するために用いるフィルタである。もう１つは、マスクに応じたデプスマップのブレンド比率を制御するために、マスクエッジに傾斜を付けるためのフィルタである。前者は図１６の第１ローパスフィルタ８１に相当し、後者は第２ローパスフィルタ８３に相当する。

これらのフィルタは、一般に左右または上下対称な係数で構成される。実施例３では中心に対して非対称な係数を設定したフィルタを意図的に用いる。これにより上記のマスクエッジの加工を左右非対称に行うことができ、上述の補正処理による副作用を回避または軽減できる。

図２１は、実施例３に係るマスク補正部８０の構成例を示す図である。実施例３に係るマスク補正部８０は図１６のマスク補正部８０にフィルタ形状設定部８５が追加された構成である。以下、図１６のマスク補正部８０との相違点について説明する。

実施例３に係るマスク補正部８０は、少なくとも左右が非対称な第２ローパスフィルタ８３を用いて、マスクのオブジェクト境界部分に、ぼかし処理を施す。フィルタ形状設定部８５は、第２ローパスフィルタ８３のフィルタ形状を決定する。ユーザは操作部６０から、第２ローパスフィルタ８３のフィルタ形状を特定するための情報をフィルタ形状設定部８５に設定できる。ユーザは、第２ローパスフィルタ８３のタップ数および／または係数の値を左右非対称に設定することにより、左右非対称なフィルタ形状の第２ローパスフィルタ８３を設定できる。

また上述したように、ぼかし処理を水平方向だけでなく垂直方向にもかけるため、二次元ローパスフィルタを用いることもできる。この場合、ユーザは左右だけでなく上下にも非対称なフィルタ形状の第２ローパスフィルタ８３を設定できる。また上述したように楕円状の二次元ローパスフィルタを用いれば、斜め方向にも自然なぼかし処理をかけることができる。

このようにユーザは、水平方向、垂直方向、斜め方向に個別の係数を持ち、かつ中心に対して非対称な係数を持つ第２ローパスフィルタ８３を設定できる。即ち、上下左右斜め全方位に渡って非対称な形状の第２ローパスフィルタ８３を設定できる。このようにユーザは、ぼかし処理の効果を、対象とするオブジェクトの縦横斜めのいかなる部分に対しても、任意に作用せしめることができる。

以下、第２ローパスフィルタ８３を左右非対称にした場合の効果について考察する。この考察では説明を分かりやすくするため、水平方向にぼかし処理を施す一次元のローパスフィルタを想定する。

図２２（ａ）−（ｃ）は左右対称な第２ローパスフィルタ８３ｓを用いたマスクエッジの加工処理を説明するための図である。図２３（ａ）−（ｃ）は左右非対称な第２ローパスフィルタ８３ａを用いたマスクエッジの加工処理を説明するための図である。図２２（ａ）は、左右対称な第２ローパスフィルタ８３ｓの一例を示す。図２３（ａ）は、左右非対称な第２ローパスフィルタ８３ａの一例を示す。

図２２（ｂ）は、図２２（ａ）の左右対称な第２ローパスフィルタ８３ｓを用いて、マスクＭ１（点線）をフィルタリングする処理を示す。フィルタリング後のマスクＭ２（実線）は左右のエッジが等しく緩やかになる。図２３（ｂ）は、図２３（ａ）の左右非対称な第２ローパスフィルタ８３ａを用いて、マスクＭ４（点線）をフィルタリングする処理を示す。フィルタリング後のマスクＭ５（実線）はエッジ形状が左右で異なる。左のエッジの高レベル領域は緩やかになまる。右側のエッジの低レベル領域は緩やかに外側に広がる。

図１７に示したように、第２ローパスフィルタ８３によるフィルタリング後のマスクは、第２閾値を用いてクリッピング処理される。当該クリッピング処理では第２閾値より下のレベルのマスク値をゼロにする。第２閾値は、マスクレベルの中間付近のレベルに設定される。

図２２（ｃ）は、図２２（ｂ）のフィルタリング後のマスク（細い実線）を第２閾値でクリッピングする処理を示す。クリッピング後のマスクＭ３（太い実線）は、左右のエッジの低レベル領域が垂直になる。図２３（ｃ）は、図２３（ｂ）のフィルタリング後のマスク（細い実線）を第２閾値でクリッピングする処理を示す。クリッピング後のマスクＭ６も、左右のエッジの低レベル領域が垂直になる。

マスクＭ３とマスクＭ６を比較すると、前者は左右のエッジに均等な傾斜がついている。後者は左右のエッジの傾斜が異なる。図２３（ａ）に示すように中心に対して左側だけに係数を持つ第２ローパスフィルタ８３ａを用いた場合、左側のエッジには傾斜がつくが、右側のエッジには殆ど傾斜がつかない。右側のエッジは、加工前の状態とほぼ同様な、急峻な状態のエッジが維持される。

図２３（ｂ）に示すように非対称な第２ローパスフィルタ８３ａでフィルタリングされたマスクＭ５の右側のエッジには、その低レベル領域に緩やかな傾斜が付いている。その後、図２３（ｃ）に示すようにマスクＭ５と第２閾値を比較して、第２閾値より下のレベルのマスク値をゼロにクリッピングする。これにより、クリッピング後のマスクＭ６の右側のエッジにおける低レベル領域の傾斜は除去される。

仮に上記のクリッピング処理をしない場合、マスクのエッジ形状を左右非対称にすることはできても、マスクレベルの低レベル領域の傾斜が残ってしまう。実施例３に係るマスクエッジ加工処理の目的を果たせなくなる。即ち、レイヤデプスの左右非対称ブレンド、更には３Ｄ画像生成の際の画素シフトが及ぼす範囲を制限して、テクスチャのある背景部分にマスクエッジ加工処理の影響が及ばないようにする効果が果たせなくなる。

これに対して上記のクリッピング処理を追加することにより、マスクの片側のエッジにだけ傾斜をつけ、もう片側のエッジには傾斜をつけないという加工が可能になる。よって、実施例３に係るクリッピング処理は、マスクエッジの形状を非対称にする単純な加工処理から容易に類推できない有利な効果を奏している。

上述したようにユーザは、第２ローパスフィルタ８３のフィルタ形状を任意に設定することができる。したがってオブジェクトの全方位ではなく任意の方向に偏りを持つぼかし処理が可能である。例えば、オブジェクトの周囲のテクスチャの状況に応じて、その偏りを調整できる。以下の説明では第２ローパスフィルタ８３のフィルタ形状を手動ではなく自動で設定する処理を説明する。これにより、ユーザの負担を軽減できる。

図２１に戻る。フィルタ形状設定部８５は、生成すべき画像が右眼画像であるか左眼画像であるか、及びマスクのオブジェクト境界部分における境界の内側のデプス値と外側のデプス値の比較結果から得られるオブジェクトと周囲との前後関係に応じて、第２ローパスフィルタ８３のフィルタ形状を設定する。

生成すべき画像が左眼画像であり、かつオブジェクトが周囲より手前（即ち、飛び出し方向）に位置する場合、３Ｄ画像生成部３０はオブジェクトを右側に画素シフトする。生成すべき画像が左眼画像であり、かつオブジェクトが周囲より奥（即ち、奥行き方向）に位置する場合、３Ｄ画像生成部３０はオブジェクトを左側に画素シフトする。生成すべき画像が右眼画像であり、かつオブジェクトが周囲より手前（即ち、飛び出し方向）に位置する場合、３Ｄ画像生成部３０はオブジェクトを左側に画素シフトする。生成すべき画像が右眼画像であり、かつオブジェクトが周囲より奥（即ち、奥行き方向）に位置する場合、３Ｄ画像生成部３０はオブジェクトを右側に画素シフトする。

オブジェクトが右側に画素シフトされる場合、フィルタ形状設定部８５は、第２ローパスフィルタ８３の左側のエッジが右側のエッジより緩やかなフィルタ形状に設定する。右側のエッジには傾斜をつかないか、またはごく小さな傾斜しかつかないフィルタ形状に設定する。オブジェクトが左側に画素シフトされる場合、フィルタ形状設定部８５は、第２ローパスフィルタ８３の右側のエッジが右側のエッジより緩やかなフィルタ形状に設定する。

以下より具体的に説明する。本明細書における画像編集システム５００において、３Ｄ画像を構成する右眼画像と左眼画像のうち、一方にオリジナルの入力画像を割り当て、他方に、画素シフトにより生成される画像を割り当てる。この割り当ては、ユーザの設定により決定される。フィルタ形状設定部８５には、決定された割り当てが設定される。

次に、マスクが指し示すオブジェクトが、その周囲に対して飛び出す方向に存在するか、反対に奥行き方向に存在するか判断する。飛び出し方向に存在する場合、右眼画像内のオブジェクトと左眼画像内のオブジェクトの間の距離を長くする必要がある。反対に奥行き方向に存在する場合、当該距離を短くする必要がある。オブジェクトが周囲に対して飛び出す方向に存在するか奥行き方向に存在するかの判断には、デプスマップを使用する。

フィルタ形状設定部８５は、デプスマップを解析することにより、マスクが指し示すオブジェクトのエリアのデプス値と、その周辺のデプス値の相対差を求める。例えば、当該オブジェクトのエリア内のデプス値の平均値と、その周辺における設定された範囲内のデプス値の平均値との差分を求める。

本明細書では白に近いほどデプス値が高く、黒に近いほどデプス値が低くなる。したがって、オブジェクトのエリアのデプス値のほうが、その周辺のデプス値より大きい場合、オブジェクトが周辺より観察者に近いと判定できる。反対にオブジェクトのエリアのデプス値のほうが、その周辺のデプス値より小さい場合、オブジェクトがその周辺より観察者から遠いと判定できる。

マスクが指し示すオブジェクトのエリアのデプス値が、その周辺のデプス値より大きい場合、即ちオブジェクトが飛び出し方向に位置すると判定される場合について考える。この前提において右眼画像に画素シフトにより生成される画像を割り当てる場合、画素シフトの方向は左と判定できる。この場合、画素シフトによってオブジェクトの右側に画素抜け領域が発生する。したがってオブジェクトの右側に、より広く、より傾斜が付くように加工され、オブジェクトの左側が加工されない補正処理が望まれる。フィルタ形状設定部８５はこのよう補正処理を実現するため、右側のエッジがより緩やかなフィルタ形状の第２ローパスフィルタ８３を設定する。

このようにフィルタ形状設定部８５は、画素シフトにより生成される画像が右眼画像である左眼画像であるか、及びオブジェクトのエリアとその周辺のデプスの相対差の２つのパラメータにより、第２ローパスフィルタ８３のフィルタ形状を偏らせるべき方向を決定する。

図２４は、実施例３に係るフィルタ形状設定部８５によるフィルタ形状の決定処理を説明するためのフローチャートである。まずフィルタ形状設定部８５は、生成される画像が左眼画像であるか右眼画像であるか判定する（Ｓ１０）。次にオブジェクトが周辺より飛び出しているか奥まっているか判定する（Ｓ２０、Ｓ２２）。

左眼画像であり（Ｓ１０の左眼）、かつオブジェクトが周辺より奥まっている場合（Ｓ２０の奥まり）、フィルタ形状設定部８５は画素シフトの方向が左と判定し、第２ローパスフィルタ８３のフィルタ形状を、右側のエッジに傾斜が付加されたフィルタ形状に設定する（Ｓ３１）。左眼画像であり（Ｓ１０の左眼）、かつオブジェクトが周辺より飛び出している場合（Ｓ２０の飛び出し）、フィルタ形状設定部８５は画素シフトの方向が右と判定し、第２ローパスフィルタ８３のフィルタ形状を、左側のエッジに傾斜が付加されたフィルタ形状に設定する（Ｓ３２）。

右眼画像であり（Ｓ１０の右眼）、かつオブジェクトが周辺より飛び出している場合（Ｓ２２の飛び出し）、フィルタ形状設定部８５は画素シフトの方向が左と判定し、第２ローパスフィルタ８３のフィルタ形状を、右側のエッジに傾斜が付加されたフィルタ形状に設定する（Ｓ３１）。右眼画像であり（Ｓ１０の右眼）、かつオブジェクトが周辺より奥まっている場合（Ｓ２２の奥まり）、フィルタ形状設定部８５は画素シフトの方向が右と判定し、第２ローパスフィルタ８３のフィルタ形状を、左側のエッジに傾斜が付加されたフィルタ形状に設定する（Ｓ３２）。

またフィルタ形状設定部８５は、オブジェクト境界の内側のデプス値と外側のデプス値との差分に応じて、より緩やかにすべき側（即ち、傾斜を付加すべき側）のエッジにおける傾斜の程度を決定できる。当該差分が大きいほど、オブジェクト境界の段差が大きく、画素シフト量が大きくなることを示す。フィルタ形状設定部８５は、当該差分が大きいほど傾斜の程度を大きくする。即ち、当該差分が大きいほど、エッジに付加すべき傾斜をより緩やかに設定する。

これまで第２ローパスフィルタ８３を左右非対称にする例を説明した。実施例３では第２ローパスフィルタ８３だけでなく第１ローパスフィルタ８１も左右非対称にすることができる。

図２５（ａ）−（ｃ）は左右対称な第１ローパスフィルタ８１ｓを用いたマスクエッジの加工処理を説明するための図である。図２６（ａ）−（ｃ）は左右非対称な第１ローパスフィルタ８１ａを用いたマスクエッジの加工処理を説明するための図である。図２５（ａ）は、左右対称な第１ローパスフィルタ８１ｓの一例を示す。図２６（ａ）は、左右非対称な第１ローパスフィルタ８１ａの一例を示す。

図２５（ｂ）は、図２５（ａ）の左右対称な第１ローパスフィルタ８１ｓを用いて、マスクＭ７（点線）をフィルタリングする処理を示す。フィルタリング後のマスクＭ８（実線）は左右のエッジが等しく緩やかになる。図２６（ｂ）は、図２６（ａ）の左右非対称な第１ローパスフィルタ８１ａを用いて、マスクＭ１０（点線）をフィルタリングする処理を示す。フィルタリング後のマスクＭ１１（実線）はエッジ形状が左右で異なる。左側のエッジの高レベル領域が緩やかになまる。右側のエッジの低レベル領域は緩やかに外側に広がる。

図２５（ｃ）は、図２５（ｂ）のフィルタリング後のマスク（細い実線）を第１閾値（図１７参照）で二値化することにより、マスクのエッジ幅を広げる加工処理を示す。エッジ幅を広げる場合、第１閾値をゼロ付近に設定する。図２６（ｃ）は、図２６（ｂ）のフィルタリング後のマスク（細い実線）を第１閾値で二値化することにより、マスクのエッジ幅を広げる加工処理を示す。

図２５（ｃ）に示すように加工後のマスクＭ９は、左右が均等に広がっている。一方、図２６（ｃ）に示すように加工後のマスクＭ１２は、左右のエッジの移動量が異なる。中心に対して左側だけに係数を持つ第１ローパスフィルタ８１ａを用い場合、図２６（ｃ）に示すように右側のエッジポジションは右に移動するが、左側のエッジポジションは元の位置のままである。このようにマスクの左右を不均等に広げることができる。

マスクのエッジに傾斜をつける場合、オブジェクトの境界部分が広くなる。この場合においてマスクのエッジポジションをそのままにしておくと、オブジェクト境界部分がオブジェクトの内側に侵食してくる。したがってエッジに傾斜をつける場合、通常、そのエッジポジションを外側に移動させる。傾斜の程度が大きいほど、よりエッジポジションを外側に移動させる。このように傾斜の程度とエッジポジションの移動量は比例関係にある。

図２３（ａ）−（ｃ）及び図２６（ａ）−（ｃ）に示すように、左側に係数を持つフィルタ形状のローパスフィルタでは、左側のエッジに傾斜がつき、右側のエッジポジションが外側に移動する。したがって第１ローパスフィルタ８１と第２ローパスフィルタ８３では左右反対のフィルタ形状に設定する必要がある。オブジェクトの左側をぼかしたい場合、左側に係数を持つ第２ローパスフィルタ８３を設定し、右側に係数を持つ第１ローパスフィルタ８１を設定する。反対にオブジェクトの右側をぼかしたい場合、右側に係数を持つ第２ローパスフィルタ８３を設定し、左側に係数を持つ第１ローパスフィルタ８１を設定する。

図２６（ａ）−（ｃ）に示した例は、第１ローパスフィルタ８１を用いてマスクのエッジポジションを外側に移動させる（即ち、マスクの幅を広げる）場合の例である。マスクの幅を広げる場合、外側に移動させるエッジの側と逆側に係数を持つフィルタ形状の第１ローパスフィルタ８１を用いる。反対にマスクのエッジポジションを内側に移動させる（即ち、マスクの幅を狭める）場合、内側に移動させるエッジの側と同じ側に係数を持つフィルタ形状の第１ローパスフィルタ８１を用いる。

図２６（ａ）では左側にのみ係数を持つフィルタ形状の第１ローパスフィルタ８１ａが示されている。図２６（ｂ）では、この第１ローパスフィルタ８１ａによりフィルタリングされた後のマスクＭ１１が示されている。このマスクＭ１１の左側では内側に傾斜が付き、右側では外側に傾斜が付いている。

オリジナルマスクＭ１０の幅を広げる場合、第１閾値のレベルを低く設定する。フィルタリング後のマスクＭ１１を第１閾値で二値化すると、オリジナルマスクＭ１０の外側に傾斜が付いている右側のエッジが外側に移動され、オリジナルマスクＭ１０の幅が右側に伸びる（図２６（ｃ）参照）。左側は変化しない。反対にオリジナルマスクＭ１０の幅を狭める場合、第１閾値のレベルを高く設定する。フィルタリング後のマスクＭ１１を第１閾値で二値化すると、オリジナルマスクＭ１０の内側に傾斜が付いている左側のエッジが内側に移動され、オリジナルマスクＭ１０の左側が縮む。右側は変化しない。このようにマスクの幅を広げる場合、第１ローパスフィルタ８１の係数を持つ側と反対側が広がり、マスクの幅を狭める場合、第１ローパスフィルタ８１の係数を持つ側と同じ側が狭まる。

これまでの説明では、エッジの加工を行う際に、一意の係数で定義された１つのフィルタを用いて、マスク全体を一律に処理する手法を示した。この点、これまでに述べてきたマスクエッジの加工を非対称に行う効果を得るためには、必ずしも１つのフィルタを用いる処理に限定されない。それぞれフィルタ形状が異なる複数のフィルタを用いて、マスクエッジのエリア毎に個別にフィルタ処理してもよい。即ち、マスクの加工を幅広く行いたいエリアには、幅の広い形状を持つフィルタを用いる。反対に、マスクの加工度合いを少なくしたいエリアには、幅の狭い形状を持つフィルタを用いるか、または全くフィルタ処理しない。このように複数種類のローパスフィルタをマスクエッジのエリア毎に切り替えて使用してもよい。

以上説明したように実施例３によれば、マスクエッジの加工を、オブジェクトの上下左右斜め全方向に渡って非対称に行うことができる。このようなマスクを用いてオブジェクトの境界部分を補正することにより、正常な背景テクスチャに影響を及ぼすことなく、歪みが生じている部分のみを排他的に補正できる。したがって高品位な３Ｄ画像を生成できる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

実施例３では、マスクのエッジポジションを左右非対称に移動させるために、第１ローパスフィルタ８１のフィルタ形状を左右非対称に設定する例を説明した。この点、左右対称な第１ローパスフィルタ８１を使用しつつ、第１閾値を右側のエッジ部分と左側のエッジ部分で異なる値に設定することによっても、マスクのエッジポジションを左右非対称に移動させることができる。マスクのエッジポジションを外側に移動させる場合は第１閾値を低く設定し、内側に移動させる場合は高く設定する。

５００画像編集システム、１００画像処理装置、１０デプスマップ生成部、１１画面上部高域成分評価部、１２画面下部高域成分評価部、１３合成比率決定部、１４第１基本デプスモデル用フレームメモリ、１５第２基本デプスモデル用フレームメモリ、１６第３基本デプスモデル用フレームメモリ、１７合成部、１８加算部、２０デプスマップ加工部、３０３Ｄ画像生成部、３１画素シフト部、３２監視領域設定部、３３画素補間部、４０操作受付部、５０表示制御部、２００コンソール端末装置、６０操作部、７０表示部、８０マスク補正部、８１第１ローパスフィルタ、８２二値化部、８３第２ローパスフィルタ、８４クリッピング部、８５フィルタ形状設定部。

Claims

外部設定されるマスクパターンを補正するマスク補正部と、
入力画像のデプスマップを、前記マスク補正部により補正された複数のマスクパターンにより指定される複数の領域ごとに加工するデプスマップ加工部と、
前記入力画像、及び前記デプスマップ加工部により加工されたデプスマップをもとに、前記入力画像の画素をシフトして、前記入力画像に対して視差を持つ別視点の画像を生成する画像生成部と、を備え、
前記マスク補正部は、前記別視点の画像が右眼画像であるか左眼画像であるか、及び前記マスクパターンのオブジェクト境界部分における境界の内側のデプス値と外側のデプス値の比較結果から得られるオブジェクトと周囲との前後関係に応じて、ローパスフィルタのフィルタ形状を設定するフィルタ形状設定部を含み、少なくとも左右が非対称な前記ローパスフィルタを用いて前記オブジェクト境界部分に、ぼかし処理を施し、
前記フィルタ形状設定部は、前記オブジェクトが左右の一側に画素シフトされる場合に、前記オブジェクトの他側のエッジが、一側のエッジよりも緩やかなフィルタ形状に設定する
ことを特徴とする画像処理装置。
外部設定されるマスクパターンを補正するマスク補正部と、
入力画像のデプスマップを、前記マスク補正部により補正された複数のマスクパターンにより指定される複数の領域ごとに加工するデプスマップ加工部と、
前記入力画像、及び前記デプスマップ加工部により加工されたデプスマップをもとに、前記入力画像の画素をシフトして、前記入力画像に対して視差を持つ別視点の画像を生成する画像生成部と、を備え、
前記マスク補正部は、前記別視点の画像が右眼画像であるか左眼画像であるか、及び前記マスクパターンのオブジェクト境界部分における境界の内側のデプス値と外側のデプス値の比較結果から得られるオブジェクトと周囲との前後関係に応じて、ローパスフィルタのフィルタ形状を設定するフィルタ形状設定部を含み、少なくとも左右が非対称な前記ローパスフィルタを用いて前記オブジェクト境界部分に、ぼかし処理を施し、
前記フィルタ形状設定部は、
前記別視点の画像が左眼画像であり、かつ前記オブジェクトが周囲より手前に位置する場合、前記ローパスフィルタの左側のエッジが右側のエッジより緩やかなフィルタ形状に設定し、
前記別視点の画像が左眼画像であり、かつ前記オブジェクトが周囲より奥に位置する場合、前記ローパスフィルタの右側のエッジが左側のエッジより緩やかなフィルタ形状に設定し、
前記別視点の画像が右眼画像であり、かつ前記オブジェクトが周囲より手前に位置する場合、前記ローパスフィルタの右側のエッジが左側のエッジより緩やかなフィルタ形状に設定し、
前記別視点の画像が右眼画像であり、かつ前記オブジェクトが周囲より奥に位置する場合、前記ローパスフィルタの左側のエッジが右側のエッジより緩やかなフィルタ形状に設定する、
ことを特徴とする画像処理装置。
前記フィルタ形状設定部は、前記境界の内側のデプス値と外側のデプス値との差分に応じて、より緩やかにすべき側のエッジにおける傾斜の程度を決定する、
ことを特徴とする請求項１または２に記載の画像処理装置。
前記マスク補正部は、
マスク信号にフィルタをかける第１ローパスフィルタと、
前記第１ローパスフィルタから出力されるマスク信号を前記マスク信号のエッジの位置を移動させるための第１閾値を用いて二値化する二値化部と、
前記二値化部による二値化によりエッジの位置が移動された前記マスク信号のエッジに傾斜をつけるためのローパスフィルタであり、前記少なくとも左右が非対称なローパスフィルタである第２ローパスフィルタと、
前記第２ローパスフィルタにより出力されるマスク信号を第２閾値を用いて、前記第２閾値以下の信号をゼロにクリッピングするクリッピング部を、を含む、
ことを特徴とする請求項１から３のいずれかに記載の画像処理装置。
前記第１ローパスフィルタおよび前記二値化部は、前記マスク信号における傾斜をつけるべき側のエッジの位置を外側に移動させ、
前記第１ローパスフィルタは、少なくとも左右が非対称なローパスフィルタであり、前記第２ローパスフィルタのフィルタ形状と左右反対なフィルタ形状に設定される、
ことを特徴とする請求項４に記載の画像処理装置。
前記デプスマップ加工部は、前記マスク補正部により補正されたマスクパターンをもとに生成される、前記複数の領域の各デプスマップをアルファブレンドする、
ことを特徴とする請求項１から５のいずれかに記載の画像処理装置。
外部設定されるマスクパターンを補正するステップと、
入力画像のデプスマップを、補正された複数のマスクパターンにより指定される複数の領域ごとに加工するステップと、
前記入力画像、及び加工されたデプスマップをもとに、前記入力画像の画素をシフトして、前記入力画像に対して視差を持つ別視点の画像を生成するステップと、を有し、
前記マスクパターンを補正するステップは、前記別視点の画像が右眼画像であるか左眼画像であるか、及び前記マスクパターンのオブジェクト境界部分における境界の内側のデプス値と外側のデプス値の比較結果から得られるオブジェクトと周囲との前後関係に応じて、ローパスフィルタのフィルタ形状を設定するステップを含み、少なくとも左右が非対称な前記ローパスフィルタを用いて前記オブジェクト境界部分に、ぼかし処理を施し、
前記フィルタ形状を設定するステップは、前記オブジェクトが左右の一側に画素シフトされる場合に、前記オブジェクトの他側のエッジが、一側のエッジよりも緩やかなフィルタ形状に設定する
ことを特徴とする画像処理方法。
外部設定されるマスクパターンを補正する処理と、
入力画像のデプスマップを、補正された複数のマスクパターンにより指定される複数の領域ごとに加工する処理と、
前記入力画像、及び加工されたデプスマップをもとに、前記入力画像の画素をシフトして、前記入力画像に対して視差を持つ別視点の画像を生成する処理と、をコンピュータに実行させ、
前記マスクパターンを補正する処理は、前記別視点の画像が右眼画像であるか左眼画像であるか、及び前記マスクパターンのオブジェクト境界部分における境界の内側のデプス値と外側のデプス値の比較結果から得られるオブジェクトと周囲との前後関係に応じて、ローパスフィルタのフィルタ形状を設定する処理を含み、少なくとも左右が非対称な前記ローパスフィルタを用いて前記オブジェクト境界部分に、ぼかし処理を施し、
前記フィルタ形状を設定する処理は、前記オブジェクトが左右の一側に画素シフトされる場合に、前記オブジェクトの他側のエッジが、一側のエッジよりも緩やかなフィルタ形状に設定する
ことを特徴とする画像処理プログラム。