JP2011060216A5 - - Google Patents

Description

前記目的を達成するために、本発明は、複数の視点で被写体をそれぞれ撮像して得られた複数の画像を入力する画像入力手段と、前記複数の画像間で各画素の対応関係を検出する対応関係検出手段と、前記対応関係が検出された画素の奥行き情報を算出して、該奥行き情報を含む奥行きマップを作成する奥行きマップ作成手段と、前記対応関係が検出されなかったオクルージョン画素に対応する領域をオクルージョン領域として、前記オクルージョン領域と該オクルージョン領域を囲む周囲領域とからなる画像参照領域を決定する画像参照領域決定手段と、前記画像参照領域内の部分画像の特徴量に基づいて、前記画像参照領域を複数のクラスタに分割する領域分割手段と、前記各クラスタに注目し、前記奥行きマップにおける注目クラスタの前記奥行き情報、および、前記注目クラスタの前記特徴量に基づいて選択した他の前記クラスタの前記奥行き情報のうち、少なくとも一方の奥行き情報に基づいて、前記注目クラスタ内の前記オクルージョン画素の奥行き情報を算出するオクルージョン奥行き情報算出手段と、前記オクルージョン画素の前記奥行き情報を前記奥行きマップに追加する奥行きマップ更新手段と、前記画像入力手段によって入力された前記複数の画像と、前記オクルージョン画素の前記奥行き情報が追加された前記奧行きマップとに基づいて、仮想視点画像を作成する仮想視点画像作成手段と、を備えたことを特徴とする画像処理装置を提供する。

また、本発明は、複数の視点で被写体をそれぞれ撮像して得られた複数の画像間で各画素の対応関係を検出する対応関係検出ステップと、前記対応関係が検出された画素の奥行き情報を算出して、該奥行き情報を含む奥行きマップを作成する奥行きマップ作成ステップと、前記対応関係が検出されなかったオクルージョン画素に対応する領域をオクルージョン領域として、前記オクルージョン領域と該オクルージョン領域を囲む周囲領域とからなる画像参照領域を決定する画像参照領域決定ステップと、前記画像参照領域内の部分画像の特徴量に基づいて、前記画像参照領域を複数のクラスタに分割する領域分割ステップと、前記各クラスタに注目し、前記奥行きマップにおける注目クラスタの前記奥行き情報、および、前記注目クラスタの前記特徴量に基づいて選択した他の前記クラスタの前記奥行き情報のうち、少なくとも一方の奥行き情報に基づいて、前記注目クラスタ内の前記オクルージョン画素の奥行き情報を算出するオクルージョン奥行き情報算出ステップと、前記オクルージョン画素の前記奥行き情報を前記奥行きマップに追加する奥行きマップ更新ステップと、前記複数の視点で被写体をそれぞれ撮像して得られた前記複数の画像と、前記オクルージョン画素の前記奥行き情報が追加された前記奧行きマップとに基づいて、仮想視点画像を作成する仮想視点画像作成ステップと、を含むことを特徴とする画像処理方法提供する。

Claims (14)

1. 複数の視点で被写体をそれぞれ撮像して得られた複数の画像を入力する画像入力手段と、
   前記複数の画像間で各画素の対応関係を検出する対応関係検出手段と、
   前記対応関係が検出された画素の奥行き情報を算出して、該奥行き情報を含む奥行きマップを作成する奥行きマップ作成手段と、
   前記対応関係が検出されなかったオクルージョン画素に対応する領域をオクルージョン領域として、前記オクルージョン領域と該オクルージョン領域を囲む周囲領域とからなる画像参照領域を決定する画像参照領域決定手段と、
   前記画像参照領域内の部分画像の特徴量に基づいて、前記画像参照領域を複数のクラスタに分割する領域分割手段と、
   前記各クラスタに注目し、前記奥行きマップにおける注目クラスタの前記奥行き情報、および、前記注目クラスタの前記特徴量に基づいて選択した他の前記クラスタの前記奥行き情報のうち、少なくとも一方の奥行き情報に基づいて、前記注目クラスタ内の前記オクルージョン画素の奥行き情報を算出するオクルージョン奥行き情報算出手段と、
   前記オクルージョン画素の前記奥行き情報を前記奥行きマップに追加する奥行きマップ更新手段と、
   前記画像入力手段によって入力された前記複数の画像と、前記オクルージョン画素の前記奥行き情報が追加された前記奧行きマップとに基づいて、仮想視点画像を作成する仮想視点画像作成手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記領域分割手段は、前記特徴量として、前記部分画像の色、輝度、空間周波数およびテクスチャのうち少なくともひとつに基づいて、前記画像参照領域の分割を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記オクルージョン奥行き情報算出手段は、前記各クラスタごとに、前記対応関係が検出された画素の奥行き情報の平均値を算出し、該平均値を前記オクルージョン画素の奥行き情報とすることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記オクルージョン奥行き情報算出手段は、前記注目クラスタ内に前記対応関係が検出された画素がある場合には、前記注目クラスタ内の前記奥行き情報の平均値を、前記注目クラスタ内の前記オクルージョン画素の奥行き情報とし、前記注目クラスタ内に前記対応関係が検出された画素がない場合には、前記画像参照領域内の前記複数のクラスタのうちで前記特徴量が前記注目クラスタの前記特徴量に最も近いクラスタを選択し、その選択したクラスタ内の前記奥行き情報の平均値を、前記注目クラスタ内の前記オクルージョン画素の奥行き情報とすることを特徴とする請求項１または２に記載の画像処理装置。
5. 前記オクルージョン奥行き情報算出手段は、前記各クラスタごとに前記奥行き情報の分布を示す分布情報を算出し、該分布情報に基づいて前記オクルージョン画素の奥行き情報を算出することを特徴とする請求項１または２に記載の画像処理装置。
6. 前記画像参照領域決定手段は、前記オクルージョン領域の外周に、一定の幅を有する帯状の前記周囲領域を設定することを特徴とする請求項１ないし５のうちいずれか１項に記載の画像処理装置。
7. 前記画像参照領域決定手段は、前記オクルージョン領域の外周に、前記オクルージョン領域の幅に対して一定の比率の幅を有する前記周囲領域を設定することを特徴とする請求項１ないし５のうちいずれか１項に記載の画像処理装置。
8. 複数の視点で被写体をそれぞれ撮像して得られた複数の画像間で各画素の対応関係を検出する対応関係検出ステップと、
   前記対応関係が検出された画素の奥行き情報を算出して、該奥行き情報を含む奥行きマップを作成する奥行きマップ作成ステップと、
   前記対応関係が検出されなかったオクルージョン画素に対応する領域をオクルージョン領域として、前記オクルージョン領域と該オクルージョン領域を囲む周囲領域とからなる画像参照領域を決定する画像参照領域決定ステップと、
   前記画像参照領域内の部分画像の特徴量に基づいて、前記画像参照領域を複数のクラスタに分割する領域分割ステップと、
   前記各クラスタに注目し、前記奥行きマップにおける注目クラスタの前記奥行き情報、および、前記注目クラスタの前記特徴量に基づいて選択した他の前記クラスタの前記奥行き情報のうち、少なくとも一方の奥行き情報に基づいて、前記注目クラスタ内の前記オクルージョン画素の奥行き情報を算出するオクルージョン奥行き情報算出ステップと、
   前記オクルージョン画素の前記奥行き情報を前記奥行きマップに追加する奥行きマップ更新ステップと、
   前記複数の視点で被写体をそれぞれ撮像して得られた前記複数の画像と、前記オクルージョン画素の前記奥行き情報が追加された前記奧行きマップとに基づいて、仮想視点画像を作成する仮想視点画像作成ステップと、
   を含むことを特徴とする画像処理方法。
9. 前記特徴量として、前記部分画像の色、輝度、空間周波数およびテクスチャのうち少なくともひとつに基づいて、前記画像参照領域の分割を行うことを特徴とする請求項８に記載の画像処理方法。
10. 前記オクルージョン奥行き情報算出ステップにて、前記各クラスタごとに、前記対応関係が検出された画素の奥行き情報の平均値を算出し、該平均値を前記オクルージョン画素の奥行き情報とすることを特徴とする請求項８または９に記載の画像処理方法。
11. 前記オクルージョン奥行き情報算出ステップにて、前記注目クラスタ内に前記対応関係が検出された画素がある場合には、前記注目クラスタ内の前記奥行き情報の平均値を、前記注目クラスタ内の前記オクルージョン画素の奥行き情報とし、前記注目クラスタ内に前記対応関係が検出された画素がない場合には、前記画像参照領域内の前記複数のクラスタのうちで前記特徴量が前記注目クラスタの前記特徴量に最も近いクラスタを選択し、その選択したクラスタ内の前記奥行き情報の平均値を、前記注目クラスタ内の前記オクルージョン画素の奥行き情報とすることを特徴とする請求項８または９に記載の画像処理方法。
12. 前記オクルージョン奥行き情報算出ステップにて、前記各クラスタごとに前記奥行き情報の分布を示す分布情報を算出し、該分布情報に基づいて前記オクルージョン画素の奥行き情報を算出することを特徴とする請求項８または９に記載の画像処理方法。
13. 前記画像参照領域決定ステップにて、前記オクルージョン領域の外周に、一定の幅を有する帯状の前記周囲領域を設定することを特徴とする請求項８ないし１２のうちいずれか１項に記載の画像処理方法。
14. 前記画像参照領域決定ステップにて、前記オクルージョン領域の外周に、前記オクルージョン領域の幅に対して一定の比率の幅を有する前記周囲領域を設定することを特徴とする請求項８ないし１２のうちいずれか１項に記載の画像処理方法。