JP2020197989A5 - 画像処理システム、画像処理方法、およびプログラム - Google Patents

Description

本発明の一態様に係る画像処理システムは、オブジェクトを他の撮像手段の露出値よりも相対的に高い露出値または低い露出値に設定された撮像手段によって撮像することにより取得された撮像画像から前景マスクを取得する第一の取得手段と、前記撮像画像において、露出値が不適切である領域を検出して不適切領域マスクを取得する第二の取得手段と、前記前景マスクおよび前記不適切領域マスクに基づき、前記オブジェクトの形状を表す三次元形状データを生成する生成手段とを有することを特徴とする。

図４に示すように、フィールド２１０上の一番明るい部分に該当する領域を領域Ａとし、一番暗い部分に該当する領域を領域Ｃとし、領域Ａおよび領域Ｃのどちらでもない部分に該当する領域を領域Ｂとする。領域Ａ、領域Ｂ、および領域Ｃのそれぞれに存在する被写体を前景オブジェクトＡ、前景オブジェクトＢ、前景オブジェクトＣとする。以下、カメラで撮像された画像において、前景オブジェクトに該当する部分を、単に「前景」と称する。また、Ａ、Ｂ、Ｃなどの区別はそのまま対応するものとする。なお、カメラ２０１のＣａｍ０１～Ｃａｍ０６はフィールド上の必要な対象領域を画角内に含むように設置され、それぞれの三次元的な位置・姿勢に関する情報は予め取得されている。

マスク限定部７１８は、前景が１（白）である前景マスクと露出不適切領域が１(白）である露出不適切領域マスクとの論理和を取り、前景および露出不適切領域が１(白）である領域限定前景マスク（以下、限定マスクともいう）を生成する。すなわち、マスク限定部７１８は、前景マスクから、露出不適切領域に該当する前景マスクを除いた、特定の前景マスクで構成される限定マスクを生成する。限定マスクのデータは、推定部７２１に出力される。

前景がある場所に関わらず、前景マスクと露出不適切領域マスクを用いた前景の３次元モデルの形状推定処理を行うことで、限定マスクを用いた形状推定処理を行う実施形態１と比べて、露出不適切領域にて形状推定に参加するカメラの台数の減少を抑制できる。

Claims (17)

1. オブジェクトを他の撮像手段の露出値よりも相対的に高い露出値または低い露出値に設定された撮像手段によって撮像することにより取得された撮像画像から前景マスクを取得する第一の取得手段と、
   前記撮像画像において、露出値が不適切である領域を検出して不適切領域マスクを取得する第二の取得手段と、
   前記前景マスクおよび前記不適切領域マスクに基づき、前記オブジェクトの形状を表す三次元形状データを生成する生成手段と
   を有することを特徴とする画像処理システム。
2. 前記生成手段は、前記前景マスクと前記不適切領域マスクとの論理和として得られる限定マスクに基づき前記三次元形状データを生成することを特徴とする請求項１に記載の画像処理システム。
3. 前記生成手段は、前記露出値が不適切である領域に対応する前記前景マスクが形状データの生成用のシルエットマスクとして使用不可能である場合、前記限定マスクを用いて前記三次元形状データを生成する
   ことを特徴とする請求項２に記載の画像処理システム。
4. 前記生成手段は、前記露出値が不適切である領域に対応する前記前景マスクが形状データの生成用のシルエットマスクとして使用可能である場合、前記前景マスクを用いて前記三次元形状データを生成する
   ことを特徴とする請求項２または３に記載の画像処理システム。
5. 前記第二の取得手段は、前記撮像画像から生成した背景画像、または前記撮像画像から生成した、所定期間の背景画像の各画素を平均化した平均画像に基づき、前記不適切領域マスクを取得する
   ことを特徴とする請求項１から４の何れか一項に記載の画像処理システム。
6. 前記第二の取得手段は、
   前記他の撮像手段の前記露出値よりも相対的に高い前記露出値に設定された前記撮像手段によって撮像することにより取得された前記撮像画像にて画素値が上限閾値よりも大きい部分を第一の不適切領域として検出し、
   前記他の撮像手段の前記露出値よりも相対的に低い前記露出値に設定された前記撮像手段によって撮像することにより取得された前記撮像画像にて画素値が下限閾値よりも小さい部分を第二の不適切領域として検出する
   ことを特徴とする請求項１から５の何れか一項に記載の画像処理システム。
7. 前記生成手段は、前記第一の不適切領域を示す第一の露出マスク、または前記第二の不適切領域を示す第二の露出マスクと、前記前景マスクとの論理和をシルエットマスクとした視体積交差法により、前記三次元形状データを生成することを特徴とする請求項６に記載の画像処理システム。
8. 前記撮像画像から抽出された前景テクスチャ、または、前記前景テクスチャと前記不適切領域マスクの論理和として得られる限定テクスチャに基づき、前記三次元形状データに付与するための色データを生成する色付け手段を有する
   ことを特徴とする請求項１から７の何れか一項に記載の画像処理システム。
9. 前記色付け手段は、少なくとも、前記三次元形状データで表される前景オブジェクトの表面の点から前記撮像画像に投影された画素の画素値に基づき、前記色データを生成する
   ことを特徴とする請求項８に記載の画像処理システム。
10. 前記色付け手段は、適正な前記露出値で撮像された前記撮像画像から抽出された前記前景テクスチャを優先的に用いて前記色データを生成する
    ことを特徴とする請求項９に記載の画像処理システム。
11. 前記色付け手段は、前記撮像手段に設定された前記露出値に応じて当該撮像手段に対応する前記撮像画像における前記画素の画素値を補正し、補正後の前記画素の画素値と、前記撮像手段に対して予め設定された所定の係数とに基づき得られた画素値を付与した前記色データを生成する
    ことを特徴とする請求項１０に記載の画像処理システム。
12. 前記撮像手段に設けられ、前記撮像手段で取得した前記撮像画像に対して所定の処理を行う情報処理装置と、
    前記情報処理装置に接続し、前記情報処理装置で前記所定の処理が行われた前記撮像画像に基づき前記オブジェクトに関するデータを生成する画像処理装置と、
    を有し、
    前記情報処理装置は、前記第一の取得手段と前記第二の取得手段とを有し、
    前記画像処理装置は、前記生成手段を有する
    ことを特徴とする請求項１から７の何れか一項に記載の画像処理システム。
13. 前記撮像手段に設けられ、前記撮像手段で取得した前記撮像画像に対して所定の処理を行う情報処理装置と、
    前記情報処理装置に接続し、前記情報処理装置で前記所定の処理が行われた前記撮像画像に基づき前記オブジェクトに関するデータを生成する画像処理装置と、
    を有し、
    前記情報処理装置は、前記第一の取得手段と前記第二の取得手段とを有し、
    前記画像処理装置は、前記生成手段と前記色付け手段を有する
    ことを特徴とする請求項８から１１の何れか一項に記載の画像処理システム。
14. 複数の前記撮像手段により撮像された複数の視点の画像を前記撮像画像として取得し、
    前記画像処理システムは、前記複数の視点の画像と、前記生成手段によって生成された前記三次元形状データと、を用いて仮想視点画像を生成する
    ことを特徴とする請求項１から１３の何れか一項に記載の画像処理システム。
15. 前記第一の取得手段は、前記前景マスクを生成し、
    前記第二の取得手段は、前記不適切領域マスクを生成することを特徴とする請求項１から１４のいずれか１項に記載の画像処理システム。
16. オブジェクトを他の撮像手段の露出値よりも相対的に高い露出値または低い露出値に設定された撮像手段によって撮像することにより取得された撮像画像から前景マスクを取得する第一の取得ステップと、
    前記撮像画像において、露出値が不適切である領域を検出して不適切領域マスクを取得する第二の取得ステップと、
    前記前景マスクおよび前記不適切領域マスクに基づき、前記オブジェクトの形状を表す三次元形状データを生成する生成ステップとを有する、ことを特徴とする画像処理方法。
17. コンピュータを、請求項１から１５の何れか一項に記載の画像処理システムの各手段として機能させるためのプログラム。

Images