JPWO2011096252A1 - 画像処理システム、画像処理方法、およびプログラム - Google Patents
画像処理システム、画像処理方法、およびプログラム Download PDFInfo
- Publication number
- JPWO2011096252A1 JPWO2011096252A1 JP2011552722A JP2011552722A JPWO2011096252A1 JP WO2011096252 A1 JPWO2011096252 A1 JP WO2011096252A1 JP 2011552722 A JP2011552722 A JP 2011552722A JP 2011552722 A JP2011552722 A JP 2011552722A JP WO2011096252 A1 JPWO2011096252 A1 JP WO2011096252A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- virtual viewpoint
- photographing
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
- H04N13/264—Image signal generators with monoscopic-to-stereoscopic image conversion using the relative movement of objects in two video frames or fields
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/005—Aspects relating to the "3D+depth" image format
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
視覚的に違和感のない仮想視点画像を生成することが可能な技術を提供することを図る。この目的を達成するために、第1撮影時刻における第1視点からの撮影によって得られる第1画像と、第1撮影時刻とは異なる第2撮影時刻における撮影によって得られる第2画像とが取得される。そして、第1画像に基づいて擬似的に生成され且つ第1視点とは異なる第1仮想視点からの撮影によって取得され得る第1仮想視点画像のうちの、第1画像で捉えられていない被写体の部分に相当する非撮影領域の各画素に対し、第2画像に基づいて画素値が付与される。
Description
本発明は、画像処理技術に関する。
1つの撮影画像から該撮影画像に係る視点とは異なる仮想的な視点から同一の被写体をとらえた画像(仮想視点画像)が擬似的に生成されれば、いわゆる3Dテレビの技術等で採用される立体視が可能な画像群の生成が可能となる。
ところが、上記仮想視点画像では、元の撮影画像では捉えられていない被写体の部分に対応する領域が、画素値が不明な領域(オクルージョン領域)となってしまう。
この問題に対し、いわゆる領域競合法によって分割された画像のテクスチャに係る統計量に基づいてオクルージョン領域に係る画素値が補填される技術が提案されている(例えば、特許文献1等)。
そして、特許文献1の技術では、奥行き情報が明示的にも与えられず、且つステレオ画像のように暗示的にも与えられない画像(非立体画像)から奥行き推定データが作成され、該奥行き推定データと非立体画像とから擬似的な立体画像が生成される。
しかしながら、上記特許文献1の技術では、オクルージョン領域に係る画素値が、元の撮影画像で捉えられている領域(撮影領域)に係る画素値に基づいて推定される。このため、補填される画素値は偽の情報であり、画素値が補填された画像は視覚的に違和感のあるものとなってしまう虞がある。
本発明は、上記課題に鑑みてなされたものであり、視覚的に違和感のない仮想視点画像を生成することが可能な技術を提供することを目的とする。
上記課題を解決するために、第1の態様に係る画像処理システムは、第1撮影時刻における第1視点からの撮影によって得られる第1画像と、前記第1撮影時刻とは異なる第2撮影時刻における撮影によって得られる第2画像とを取得する取得部と、前記第1画像に基づいて擬似的に生成され且つ前記第1視点とは異なる第1仮想視点からの撮影によって取得され得る第1仮想視点画像のうちの、前記第1画像で捉えられていない被写体の部分に相当する非撮影領域の各画素に対し、前記第2画像に基づいて画素値を付与する補填部と、を備える。
第2の態様に係る画像処理システムは、第1の態様に係る画像処理システムであって、前記第1画像と、前記第1視点から前記被写体の各部分までの距離に係る距離情報とに基づいて、前記第1仮想視点画像を生成する生成部、を更に備える。
第3の態様に係る画像処理システムは、第2の態様に係る画像処理システムであって、前記第1視点から前記被写体の各部分までの距離を測定する距離測定部、を更に備える。
第4の態様に係る画像処理システムは、第1から第3の何れか1つの態様に係る画像処理システムであって、前記補填部が、前記第2画像のうちの前記第1画像とは対応していない非対応領域を認識する認識部を有するとともに、前記非対応領域に係る画素値に基づいて、前記非撮影領域の各画素に対して画素値を付与する。
第5の態様に係る画像処理システムは、第4の態様に係る画像処理システムであって、前記認識部が、前記第1および第2画像がMPEG形式の動画ファイルを構成する2つのフレーム画像である場合、前記MPEG形式の動画ファイルに含まれる動きベクトルの情報に基づいて、前記非対応領域を認識する。
第6の態様に係る画像処理システムは、第4または第5の態様に係る画像処理システムであって、前記補填部が、前記第2画像のうちの前記第1画像と対応する対応領域に含まれる基準点を設定する設定部を有し、前記第1仮想視点画像における前記基準点に対応する仮想基準点の位置情報と、前記第2画像における前記基準点と前記非対応領域に含まれる処理対象点との相対的な位置関係とに基づいて、前記第1仮想視点画像において前記処理対象点に対応する被補填点を特定するとともに、前記処理対象点に係る画素値に従って、前記被補填点に対して画素値を付与する。
第7の態様に係る画像処理システムは、第6の態様に係る画像処理システムであって、前記設定部が、前記対応領域のうちの前記処理対応点の近傍に位置する点を前記基準点として設定する。
第8の態様に係る画像処理システムは、第6の態様に係る画像処理システムであって、前記設定部が、前記対応領域のうちの前記処理対応点の近傍に位置し、且つ前記第2画像の撮影における第2視点から被写体までの離隔距離が前記処理対象点と略同一である点を前記基準点として設定する。
第9の態様に係る画像処理システムは、第1から第3の何れか1つの態様に係る画像処理システムであって、前記補填部が、前記第2画像に基づいて擬似的に生成され且つ前記第2画像の撮影における第2視点に対して前記第1視点に対する前記第1仮想視点と同じ位置関係を有する第2仮想視点からの撮影によって取得され得る第2仮想視点画像のうちの、前記第1仮想視点画像における前記非撮影領域の各画素と同一座標に係る画素値を、該非撮影領域の各画素に対して付与する。
第10の態様に係る画像処理システムは、第3の態様に係る画像処理システムであって、前記第1画像から特定種類の物体が捉えられた第1物体領域を検出するとともに、前記第2画像から前記特定種類の物体が捉えられた第2物体領域を検出し、前記測距部による測定結果に基づいて、前記第1および第2物体領域に含まれる各画素に係る3次元情報を算出する演算部と、前記演算部による前記第1物体領域に係る算出結果に基づいて、前記第1物体領域に含まれる各画素に対し、3次元情報と画素値とを関連付けた物体情報を記憶する記憶部と、前記演算部による前記第2物体領域に係る算出結果に基づいて、前記第2物体領域のうちの前記第1物体領域に対応していない各画素に対し、3次元情報と画素値とを関連付けた情報を前記物体情報に追加する更新部と、を更に備え、前記補填部が、前記物体情報に基づいて、前記非撮影領域の各画素に対して画素値を付与する。
第11の態様に係る画像処理システムは、第1から第8の何れか1つの態様に係る画像処理システムであって、前記補填部が、前記第2画像から擬似的に生成される第2仮想視点画像に基づいて、前記非撮影領域の各画素に画素値を付与し、前記第2画像が、第2視点からの撮影によって取得される画像であり、前記第2仮想視点画像が、第2仮想視点からの撮影によって取得され得る画像であり、前記第2視点と前記第2仮想視点との相対的な位置関係が、前記第1視点と前記第1仮想視点との相対的な位置関係と同一である。
第12の態様に係る画像処理システムは、第1から第8の何れか1つの態様に係る画像処理システムであって、前記第1画像が、第1カメラによる撮影によって得られ、前記第2画像が、前記第1カメラとは異なる第2カメラによる撮影によって得られる。
第13の態様に係る画像処理システムは、第1から第8の何れか1つの態様に係る画像処理システムであって、前記第1画像が、第1カメラによる撮影によって得られ、前記取得部が、前記第1撮影時刻に前記第1カメラとは異なる第2カメラによる撮影によって得られる第3画像を取得し、前記補填部が、前記第2画像と前記第3画像とに基づいて、前記非撮影領域の各画素に画素値を付与する。
第14の態様に係る画像処理システムは、第1から第5の何れか1つの態様に係る画像処理システムであって、前記第1画像から特定種類の物体が捉えられた第1物体領域と該第1物体領域で捉えられている前記特定種類の物体の第1姿勢とを検出するとともに、前記第1撮影時刻とは異なる複数の撮影時刻における撮影によって得られ且つ前記取得部によって取得される前記複数の画像から前記特定種類の物体が捉えられた複数の物体領域と該複数の物体領域で捉えられている前記特定種類の物体の姿勢とをそれぞれ検出する第1検出部、を更に備え、前記補填部が、前記第1姿勢から前記第1仮想視点画像で捉えられた前記特定種類の物体の第1仮想姿勢の情報を得るとともに、前記複数の物体領域から、前記第1仮想姿勢を基準とした許容誤差内に含まれる姿勢の物体が捉えられた物体領域を検出する第2検出部を有し、該第2検出部によって検出された物体領域に基づいて、前記非撮影領域の各画素に画素値を付与する。
第15の態様に係る画像処理システムは、第14の態様に係る画像処理システムであって、前記補填部が、前記第2検出部によって2以上の物体領域が検出された場合、前記2以上の物体領域のうち、撮影時刻が前記第1撮影時刻に最も近い画像に含まれる物体領域に基づいて、前記非撮影領域の各画素に画素値を付与する。
第16の態様に係る画像処理システムは、第14の態様に係る画像処理システムであって、前記補填部が、前記第2検出部によって2以上の物体領域が検出された場合、前記2以上の物体領域のうち、画素値のパターンが前記第1物体領域の画素値のパターンに最も近い一つの物体領域に基づいて前記非撮影領域の各画素に画素値を付与する。
第17の態様に係る画像処理方法は、第1撮影時刻における第1視点からの撮影によって得られる第1画像と、前記第1撮影時刻とは異なる第2撮影時刻における撮影によって得られる第2画像とを取得する取得ステップと、前記第1画像に基づいて擬似的に生成され且つ前記第1視点とは異なる第1仮想視点からの撮影によって取得され得る第1仮想視点画像のうちの、前記第1画像で捉えられていない被写体の部分に相当する非撮影領域の各画素に対し、前記第2画像に基づいて画素値を付与する補填ステップと、を備える。
第18の態様に係るプログラムは、情報処理システムに含まれる制御部において実行されることにより、前記情報処理システムを、第1から第16の何れか1つの態様に係る画像処理システムとして機能させる。
第1から第16の何れの態様に係る画像処理システムによっても、第1画像から生成される仮想視点画像における非撮影領域の各画素に係る画素値が、第1画像とは撮影時刻が異なる第2画像に基づいて補填されるため、視覚的に違和感のない仮想視点画像の生成が可能となる。
第4から第8の何れの態様に係る画像処理システムによっても、非撮影領域の各画素に係る画素値が容易に求められるため、視覚的に違和感のない仮想視点画像の生成が短時間で実行可能となる。
第5の態様に係る画像処理システムによれば、非撮影領域の各画素に係る画素値を特定するための演算量が低減されるため、視覚的に違和感のない仮想視点画像の生成が更に短時間で実行可能となる。
第6から第8の何れの態様に係る画像処理システムによっても、非撮影領域の各画素に係る画素値が高精度で求められるため、視覚的に違和感のない仮想視点画像の生成がより確実に可能となる。
第9の態様に係る画像処理システムによれば、演算量の低減による処理の高速化が図られる。
第10の態様に係る画像処理システムによれば、非撮影領域の各画素に係る画素値がより確実に求められる。
第11および第12の何れの態様に係る画像処理システムによっても、非撮影領域の各画素に係る画素値の補填に要する演算量が低減され得る。
第13の態様に係る画像処理システムによれば、撮影環境の変化の大小に拘わらず、視覚的に違和感のない仮想視点画像の生成が可能となる。
第14から第16の何れの態様に係る画像処理システムによっても、ある物体を捉えた画像領域内における画素値の不自然な変化が低減され得る。
第15および第16の何れの態様に係る画像処理システムによっても、ある物体を捉えた画像領域と、その周囲の画像領域との間における不整合が低減され得る。
第17の態様に係る画像処理方法および第18の態様に係るプログラムの何れによっても、第1画像から生成される仮想視点画像における非撮影領域の各画素に係る画素値が、第1画像とは撮影時刻が異なる第2画像に基づいて補填されるため、視覚的に違和感のない仮想視点画像の生成が可能となる。
以下、本発明の一実施形態を図面に基づいて説明する。
<(1)情報処理システムの構成>
図1は、本発明の一実施形態に係る情報処理システム1の概略構成を示す図である。
図1は、本発明の一実施形態に係る情報処理システム1の概略構成を示す図である。
情報処理システム1は、カメラ2と、測距機3と、カメラ2と測距機3とに対してデータの送受信が可能に接続される情報処理装置4とを備える。
カメラ2は、例えば、CCD等の撮像素子を有するデジタルカメラによって構成される。カメラ2では、被写体からの光が受光され、光電変換によって被写体に係る輝度情報の分布を該被写体に係る画像データとして取得する撮影が行われる。そして、カメラ2は、所定のタイミングで複数回の撮影を行うことで、複数の画像データを取得する。例えば、時刻T1の撮影によって画像データ(以下「T1画像データ」と称する)が得られ、時刻T2の撮影によって画像データ(以下「T2画像データ」と称する)が得られる。カメラ2で得られる各画像データは、データ線CBを介して情報処理装置4に送信される。
なお、以下では、画像データと、該画像データに基づいて表示される画像とをまとめて「画像」と総称する。例えば、「T1画像データ」を「T1画像」と称し、「T2画像データ」を「T2画像」と称する。
測距機3は、カメラ2に対する位置関係および姿勢が保持されるように該カメラ2とともに併設され、例えば、レーザーを用いて撮影対象としての被写体までの距離を計測する機器である。そして、測距機3によって、カメラ2(具体的には、撮像素子)から被写体の各部分までの距離が測定されることで、各撮影時の視点から被写体の各部分までの距離が測定される。
例えば、時刻T1の撮影時におけるカメラ2(具体的には、視点、以下「T1視点」とも称する)から被写体の各部までの距離を示す情報(以下「T1距離情報」とも称する)が得られる。また、時刻T2の撮影時におけるカメラ2(具体的には、視点、以下「T2視点」とも称する)から被写体の各部までの距離を示す情報(以下「T2距離情報」とも称する)が得られる。測距機3で得られる各距離情報は、データ線CBを介して情報処理装置4に送信される。
情報処理装置4は、例えばパーソナルコンピュータ(パソコン)で構成され、マウスやキーボード等を含む操作部41と、液晶ディスプレイ等を備えて構成される表示部42と、カメラ2および測距機3からのデータを受信するインターフェース(I/F)部43とを備える。また、情報処理装置4は、記憶部44と入出力部45と制御部46とを有する。
記憶部44は、例えばハードディスク等で構成され、カメラ2によって得られる各画像を記憶する。また、記憶部44には、後述する仮想視点画像生成動作を行うためのプログラムPG等が格納される。
入出力部45は、例えばディスクドライブを備えて構成され、光ディスク等の記憶媒体9を受け付け、制御部46との間でデータの授受を行う。
制御部46は、プロセッサーとして働くCPU46aと、情報を一時的に記憶するメモリ46bとを有し、情報処理装置4の各部を統括的に制御する。また、制御部46では、記憶部44内のプログラムPGが読み込まれて実行されることで、各種機能や各種情報処理等が実現される。例えば、制御部46の制御により、情報処理システム1が、仮想視点画像生成動作を行う画像処理システムとして働く。なお、記憶媒体9に記憶されているプログラムデータを入出力部45を介してメモリ46bに格納させることが可能である。
また、制御部46は、カメラ2から所定距離ずれた位置にカメラ2が仮想的に設定された場合に該仮想的なカメラ2の撮影によって得られるものと予測される画像を、T1画像に基づいて、擬似的に生成する仮想視点画像生成動作を行う。
仮想視点画像生成動作では、T1画像に基づいて、T1視点とは異なる仮想的な視点(以下「T1仮想視点」とも称する)からカメラ2で撮影したとすれば取得され得ると推測される画像(以下「T1仮想視点画像」とも称する)が生成される。
なお、ここでは、T1視点に係るカメラ2の撮影方向(例えば、撮影レンズの光軸)と、T1仮想視点に係るカメラ2の仮想的な撮影方向(例えば、撮影レンズの光軸)とが略平行(好ましくは完全に平行)である。更に、T1視点とT1仮想視点とが、地面に対して水平な面内において撮影方向と垂直な方向に或る距離ずらされた位置関係を有する。ここで「或る距離」とは、例えば、一般的な人間の両目の間隔等に設定される。
しかしながら、T1仮想視点画像には、T1画像では捉えられていない被写体の部分に相当する領域(以下「T1非撮影領域」とも称する)が存在する。このため、単純にT1画像からT1仮想視点画像が生成された時点では、T1非撮影領域には画素値が与えられていない。そこで、仮想視点画像生成動作では、T2画像に基づいて、T1非撮影領域に含まれる各画素の画素値が補填される。これにより、視覚的に違和感のない仮想視点画像の生成が可能となる。
また、制御部46は、T1画像とT1仮想視点画像とから、いわゆる立体視が可能な画像(3D画像)を生成する。そして、表示部42では、制御部46で生成された3D画像が可視的に出力される。なお、以下では、1つのT1画像から1つのT1仮想視点画像が生成される例を挙げて説明するが、カメラ2によって3以上のタイミングで得られる多数の画像について、それぞれ視点を仮想的に異ならせた画像(仮想視点画像)が生成されても良い。このような構成では、動画の態様の3D画像が生成され、該3D画像が表示部42によって可視的に出力される。
<(2)仮想視点画像生成動作に係る機能的な構成>
本実施形態では、T1画像およびT2画像において、それぞれ同一の物体が捉えられ、同一の背景が含まれる例を挙げて説明する。但し、本実施形態に係る仮想視点画像生成動作が実現されるためには、T1画像と2画像とが、同一の物体を捉えた画像であること、および同一の背景を捉えた画像であることといった2つの条件のうちの少なくとも一方の条件を満たせば良い。
本実施形態では、T1画像およびT2画像において、それぞれ同一の物体が捉えられ、同一の背景が含まれる例を挙げて説明する。但し、本実施形態に係る仮想視点画像生成動作が実現されるためには、T1画像と2画像とが、同一の物体を捉えた画像であること、および同一の背景を捉えた画像であることといった2つの条件のうちの少なくとも一方の条件を満たせば良い。
図2は、情報処理装置4の仮想視点画像生成動作に係る機能的な構成を示す図である。なお、ここでは、制御部46の機能的な構成が、プログラムの実行によって実現されるものとして説明しているが、専用のハードウエア構成によって実現されても良い。
図2で示されるように、制御部46は、機能的な構成として、画像取得部461、距離情報取得部462、仮想視点画像生成部463、オクルージョン補填部464、および立体視画像生成部465を有する。以下、各部461〜465について順次に説明する。
<(2−1)画像取得部>
画像取得部461は、カメラ2で順次に得られるT1画像およびT2画像を、該カメラ2から取得する。T1画像およびT2画像は、カメラ2から記憶部44に一旦記憶された後に、画像取得部461によって取得されても良い。ここでは、カメラ2の位置および姿勢(すなわち撮影方向)が固定されており、T1視点とT2視点とが同一である例を挙げて説明する。
画像取得部461は、カメラ2で順次に得られるT1画像およびT2画像を、該カメラ2から取得する。T1画像およびT2画像は、カメラ2から記憶部44に一旦記憶された後に、画像取得部461によって取得されても良い。ここでは、カメラ2の位置および姿勢(すなわち撮影方向)が固定されており、T1視点とT2視点とが同一である例を挙げて説明する。
図3は、T1画像G1を例示するイメージ図であり、図4は、T1画像G1の撮影条件を例示する模式図である。
図3では、図の複雑化を避けるために、T1画像G1として、近景である物体としての人物の頭部2HUを捉えた領域(以下「T1物体領域」と称する)A11と背景2WAを捉えた領域(以下「T1背景領域」と称する)A12とによって構成されている画像が例示されている。つまり、被写体が、頭部2HUと背景2WAとで構成される。また、T1画像G1では、左上端の画素を原点として、横方向の位置(具体的にはアドレス)がX座標で示され、縦方向の位置(具体的にはアドレス)がY座標で示されるものとする。以下、図4以降で示されるその他の各画像についても、同様な構成を有するものを例示しつつ説明する。
図4では、カメラ2、人物2HU、および背景2WAの配置関係を上方から見た模式図が示されている。また、図4では、カメラ2によって撮影可能な空間の領域(以下「撮影可能領域」とも称する)の外縁が太い一点鎖線で示され、近景としての頭部2HUからカメラ2に入射する光の光路(以下「近景光路」とも称する)の外縁が細い一点鎖線で示されている。
図3および図4で示されるように、T1画像G1は、頭部2HUの正面側からのカメラ2による撮影によって得られる。
図5は、T2画像G2を例示するイメージ図であり、図6は、T2画像G2の撮影条件を例示する模式図である。
図6では、図4と同様に、カメラ2、人物2HU、および背景2WAの配置関係を上方から見た模式図が示されており、カメラ2の撮影可能領域の外縁が太い一点鎖線で示され、頭部2HUに係る近景光路の外縁が細い一点鎖線で示されている。また、T1画像G1の撮影時における頭部2HUの位置および該頭部2HUに係る近景光路の外縁が細い破線で示されている。
図6で示されるように、T1画像G1の撮影時よりも頭部2HUがカメラ2から見て左方に若干移動し且つ上方から見て時計回りに若干の角度(例えば20度程度)回転した後の状態における撮影によって、T2画像G2が得られる。ここでは、説明の複雑化を防ぐために、頭部2HUが水平面内での移動および垂直な軸を中心とした回転のみを行う例を挙げて説明する。
図5および図6で示されるように、T2画像G2は、頭部2HUの斜め前方からカメラ2による撮影によって得られ、頭部2HUを捉えた領域(以下「T2物体領域」とも称する)A21と、背景2WAを捉えた領域(以下「T2背景領域」とも称する)A22とによって構成される。
<(2−2)距離情報取得部>
距離情報取得部462は、測距機3で順次に得られるT1距離情報とT2距離情報とを測距機3から取得する。T1距離情報およびT2距離情報は、カメラ2から記憶部44に一旦記憶された後に、距離情報取得部462によって取得されても良い。
距離情報取得部462は、測距機3で順次に得られるT1距離情報とT2距離情報とを測距機3から取得する。T1距離情報およびT2距離情報は、カメラ2から記憶部44に一旦記憶された後に、距離情報取得部462によって取得されても良い。
<(2−3)仮想視点画像生成部>
仮想視点画像生成部463は、T1画像G1と、T1視点から被写体の各部分までの距離を示すT1距離情報とに基づいて、T1仮想視点画像を擬似的に生成する。上述したように、T1仮想視点画像は、T1画像G1の撮影に係るT1視点とは異なるT1仮想視点に係る撮影によって取得され得る画像である。
仮想視点画像生成部463は、T1画像G1と、T1視点から被写体の各部分までの距離を示すT1距離情報とに基づいて、T1仮想視点画像を擬似的に生成する。上述したように、T1仮想視点画像は、T1画像G1の撮影に係るT1視点とは異なるT1仮想視点に係る撮影によって取得され得る画像である。
ここでは、三角測量の原理に基づいて、T1画像G1の各画素の位置(各画素値に係る座標)をシフトさせることで、T1仮想視点画像が生成される。
図7は、T1仮想視点画像に係る仮想的な撮影条件を例示する模式図であり、図8は、三角測量の原理に基づいて、T1画像G1からT1仮想視点画像を生成する方法を説明するための図である。
図7では、T1仮想視点に仮想的に設定されるカメラ(以下「仮想カメラ」とも称する)2vが細い破線で示されるとともに、該仮想カメラ2vについて、撮影可能範囲の外縁が太い破線で示され且つ頭部2HUに係る近景光路の外縁が細い破線で示されている。なお、図7には、図4で示されたT1画像G1の撮影条件についても併せて示されている。
ここで、カメラ2(すなわち視点)から被写体20Bまでの距離をD、T1視点とT1仮視点との離隔距離をB、カメラ2のレンズの焦点距離をf、T1画像G1とT1仮想視点画像との間における同じ部分を捉えた画素のズレ量(視差)をΔdとすると、下式(1)の関係が成立する。
D=f×B/Δd ・・・(1)。
上式(1)のうち、離隔距離Bについては、T1視点の位置に対するT1仮想視点の位置が仮想的に設定されることで一義的に決まる。焦点距離fは、カメラ2の設計によって決まる。また、距離Dについては、T1距離情報によって与えられる。このため、T1画像G1の各画素について視差Δdが求まる。そこで、視差Δdに従って、T1画像G1の各画素をシフトさせることで、T1仮想視点画像が生成される。つまり、視差Δdが、T1画像G1からT1仮想視点画像が生成される際における各画素のシフト量となる。
図9は、T1仮想視点画像G11を例示するイメージ図である。
図9で示されるように、T1仮想視点画像G11は、頭部2HUを捉えた領域(以下「T1仮想物体領域」とも称する)A111と、背景2WAを捉えた領域(以下「T1仮想背景領域」とも称する)A112とを有する。
但し、T1仮想視点画像G11では、画素の移動に伴って、画素が抜け落ちて画素値が不明の領域(すなわちオクルージョン領域)が生じる。このオクルージョン領域は、T1画像では捉えられていない被写体の部分に相当するT1非撮影領域である。
このオクルージョン領域が生じる原因としては、(I)撮影方向と近景の物体が存在する方向との間の角度関係の変化、(II)近景の物体によって隠れている背景のシフト、および(III)カメラ2の画角による撮影可能範囲のシフト、の3つの原因が挙げられる。
例えば、図9で示されるT1仮想視点画像G11では、(i)原因(I)によるT1仮想物体領域A111のオクルージョン領域Ao111、(ii)原因(II)によるT1仮想背景領域A112のうちのT1仮想物体領域A111の近傍のオクルージョン領域Ao112、および(iii)原因(III)によるT1仮想背景領域A112の右端近傍のオクルージョン領域Ao113、の3種類のオクルージョン領域が発生している。
なお、図7では、3つのオクルージョン領域Ao111〜Ao113に対応する部分OP111〜OP113に太線が付されている。オクルージョン領域Ao111〜Ao113のうち、オクルージョン領域Ao113は、離隔距離Bと画角との関係から一義的に区別可能に認識される。
<(2−4)オクルージョン補填部>
オクルージョン補填部464は、T1仮想視点画像のうち、T1画像G1では捉えられていない被写体の部分に相当するオクルージョン領域に係る画素値を、T2画像G2に基づいて補填する処理(以下「画素値補填処理」とも称する)を行う。画素値補填処理を実現する方法(画素値の補填方法)については、種々のバリエーションが存在する。ここで、具体例として第1および第2補填方法について順次に説明する。
オクルージョン補填部464は、T1仮想視点画像のうち、T1画像G1では捉えられていない被写体の部分に相当するオクルージョン領域に係る画素値を、T2画像G2に基づいて補填する処理(以下「画素値補填処理」とも称する)を行う。画素値補填処理を実現する方法(画素値の補填方法)については、種々のバリエーションが存在する。ここで、具体例として第1および第2補填方法について順次に説明する。
<(2−4−1)第1補填方法>
図10から図12は、第1補填方法を説明するための図である。
図10から図12は、第1補填方法を説明するための図である。
図10では、T1画像G1(図3)に対して、T1物体領域A11内の点P11(ここではT1物体領域A11内の右端の画素を示す点)と、T1背景領域A12内の点P12(ここではT1背景領域A12内の点P11と隣接する画素を示す点)とが便宜的に付された図が示されている。
図11では、T2画像G2(図5)に対して、T1画像G1の点P11の画素で捉えられていた被写体の部分と同一の部分が捉えられた画素を示す点P21と、T1画像G1の点P12の画素で捉えられていた被写体の部分と同一の部分が捉えられた画素を示す点P22とが便宜的に付された図が示されている。
ここでは、図6で示されるように、時刻T1から時刻T2にかけて、カメラ2から見て頭部2HUが左方に移動するとともに該頭部2HUの向きが変化する。このとき、T2画像G2では、T1画像G1で捉えられていない頭部2HUの一部分(以下「物体出現部分」とも称する)OA21と背景2WAの一部分(以下「背景出現部分」とも称する)BA22とが捉えられている。なお、図6では、物体出現部分OA21および背景出現部分BA22に太線が付されている。
図11では、物体出現部分OA21を捉えた領域(以下「T2物体出現領域」とも称する)N21に斜線ハッチングが付され、背景出現部分BA22を捉えた領域(以下「T2背景出現領域」とも称する)N22に斜線ハッチングが付されて示されている。
第1補填方法では、T2物体出現領域N21およびT2背景出現領域N22の各画素に係る画素値が、T1仮想視点画像G11(図9)のオクルージョン領域Ao111,Ao112の各画素に対して付与される。
具体的には、オクルージョン補填部464において機能的に実現される認識部によって、T1画像G1とT2画像G2との間で画素の対応付けが行われることで、T2画像G2のうちのT1画像G1とは対応していない領域(以下「非対応領域」とも称する)が認識される。ここで言う「画素の対応付け」は、例えば、T1画像G1に含まれる各画素について、T2画像G2から同一の被写体を捉えた画素を探索する処理であり、いわゆるSAD(Sum of Absolute Difference)法やPOC(Phase-only Correlation)法等と称される既存の方法によって実現可能である。
ここで認識される非対応領域には、T2物体出現領域N21とT2背景出現領域N22とが含まれる。そして、カメラ2から頭部2HUまでの距離とカメラ2から背景2WAまでの距離との違いに着目することで、T2距離情報に基づいて、T2物体出現領域N21とT2背景出現領域N22とが区別可能に認識される。なお、T1物体領域A11における点P11とT2物体領域A21における点P21との対応関係、すなわち時刻T1から時刻T2にかけての物体のシフト量も求まる。
次に、T2距離情報に基づいて、T2物体出現領域N21の画素とオクルージョン領域Ao111の画素とを対応付ける処理(以下「物体対応付け処理」とも称する)、およびT2背景出現領域N22の画素とオクルージョン領域Ao112の画素とを対応付ける処理(以下「背景対応付け処理」とも称する)が行われる。
ここでは、カメラ2が固定されている条件下にあるため、背景対応付け処理では、例えば、T2背景出現領域N22の各画素に対して、T2距離情報と上式(1)とから視差(シフト量)Δdが算出され、該シフト量Δdに従った画素の対応付けが行われる。また、物体対応付け処理では、点P11と点P21とのズレ量(すなわち時間経過に応じたシフト量)がない簡略化されたケースであれば、背景対応付け処理と同様な処理が行われる。
詳細には、まず、時刻Tの撮影によって得られた画像について、任意の各画素のX座標がx、Y座標がyとされ、その各画素に係る座標が(x,y,T)の形式で表され、更に、その各画素に係る画素値がI(x,y,T)の形式で表されるものとする。このとき、T2距離情報に含まれるT2視点から物体出現部分OA21の各部までの距離をDf、T2視点から背景出現部分BA22の各部までの距離をDhとすると、距離Dfが上式(1)のDに代入されると、T2物体出現領域N21の各画素に係るシフト量Δdfが求まり、距離Dhが上式(1)のDに代入されると、T2背景出現領域N22の各画素に係るシフト量Δdhが求まる。
ここで、T2物体出現領域N21内の任意の画素の座標を(xN21,yN21,T2)とすると、該画素が、オクルージョン領域Ao111における座標が(xN21−Δdf,yN21,T1)である画素に対応付けられる。また、T2背景出現領域N22内の任意の画素の座標を(xN22,yN22,T2)とすると、該画素が、オクルージョン領域Ao112における座標が(xN22−Δdh,yN22,T1)である画素に対応付けられる。このような画素の対応付けがオクルージョン領域Ao111,Ao112の各画素に対して行われる。
そして、上記画素の対応付け結果に基づいて、オクルージョン領域Ao111内の座標が(xN21−Δdf,yN21,T1)である画素に対して、T2物体出現領域N21内の座標が(xN21,yN21,T2)である画素に係る画素値I(xN21,yN21,T2)が付与される。また、オクルージョン領域Ao112内の座標が(xN22−Δdh,yN22,T1)である画素に対して、T2背景出現領域N22内の座標が(xN22,yN22,T2)である画素に係る画素値I(xN22,yN22,T2)が付与される。
このような画素値の付与がオクルージョン領域Ao111,Ao112の各画素に対して行われることで、画素値補填処理が完了する。
図12では、T1仮想視点画像G11に対して画素値補填処理が施されることで生成されるT1仮想視点画像G11rが示されている。T1仮想視点画像G11rは、図9で示されたT1仮想視点画像G11をベースとして、オクルージョン領域Ao111に対してT2物体出現領域N21に係る画素値が付与された領域No111と、オクルージョン領域Ao112に対してT2背景出現領域N22に係る画素値が付与された領域No112とが加えられたものである。図12では、領域No111,No112にはそれぞれ斜線のハッチングが付されている。
なお、図12では、オクルージョン領域Ao113が残存しているT1仮想視点画像G11rが例示されている。このため、例えば、T1仮想視点画像G11rからオクルージョン領域Ao113が含まれないようなサイズの矩形状の外縁を有する画像が生成されるとともに、このサイズに合わせて、T1画像G1から同一サイズの矩形状の外縁を有する画像が生成されても良い。また、オクルージョン領域Ao113に対して、近傍の画素に係る画素値と同一の画素値が付与される構成も考えられる。
ところで、点P11と点P21とのズレ量(すなわち時間経過に応じたシフト量)があれば、物体対応付け処理は、該シフト量が加味された処理であることが好ましい。このような物体対応付け処理では、例えば、点P11と点P21との間におけるシフト量をΔdfTとすれば、T2物体出現領域N21内の座標が(xN21,yN21,T2)の画素が、オクルージョン領域Ao111内の座標が(xN21−Δdf−ΔdfT,yN21,T1)である画素に対応付けられる。
このような構成では、物体対応付け処理の精度を向上させる観点から言えば、点P21の画素は、T2物体出現領域N21の近傍の画素であることが好ましく、例えば、T2物体出現領域N21の隣接画素であっても良いし、T2物体出現領域N21から所定数の範囲内の画素であっても良い。該所定数としては、例えば、数個等が考えられ、T2視点から被写体までの距離と解像度との関係から設定されても良い。
また、オクルージョン領域Ao111,Ao112のうち、上記画素値補填処理によっての画素値が付与されていない領域の各画素に対して、その近傍の画素の画素値を用いた補間処理によって画素値が付与されても良い。
図13は、情報処理システム1において実現される画素値補填処理の動作フローを例示するフローチャートである。
図13で示されるように、まず、時刻T1において、カメラ2による撮影動作に応じて画像取得部461によってT1画像G1が取得され(ステップST1)、測距機3による測距動作に応じて距離情報取得部462によってT1距離情報が得られる(ステップST2)。次に、時刻T2において、カメラ2による撮影動作に応じて画像取得部461によってT2画像G2が取得され(ステップST3)、測距機3による測距動作に応じて距離情報取得部462によってT2距離情報が得られる(ステップST4)。その次に、仮想視点画像生成部463によってT1画像G1とT1距離情報とに基づいてT1仮想視点画像が生成される(ステップST5)。そして、オクルージョン補填部464によってオクルージョン領域Ao111,Ao112の各画素に対する画素値の付与が行われる(ステップST6)。
なお、カメラ2によって3以上のタイミングで得られる多数の画像について、それぞれ視点を仮想的に異ならせた画像(仮想視点画像)が得られても良い。
また、オクルージョン領域Ao111,Ao112のうちの少なくとも一方の領域の各画素に対して画素値が付与されるような構成も考えられる。
例えば、頭部2HUが回転せず、T2物体出現領域N21が生じないケースでは、背景2WAに係るオクルージョン領域Ao112の各画素に対して画素値が付与されれば良い。
図14は、時刻T1から時刻T2にかけて頭部2HUがカメラ2から見て左方に若干移動した後の状態において撮影が行われることで得られるT2画像G2aを例示するイメージ図である。図15は、T2画像G2aの撮影条件を例示する模式図である。
図15では、図4および図6と同様に、カメラ2、人物2HU、および背景2WAの配置関係を上方から見た模式図が示されており、カメラ2の撮影可能領域の外縁が太い一点鎖線で示され、頭部2HUに係る近景光路の外縁が細い一点鎖線で示されている。また、時刻T1における頭部2HUの位置および該頭部2HUに係る近景光路の外縁が細い破線で示されている。
図14および図15で示されるように、T2画像G2aは、頭部2HUを捉えたT2物体領域A21aと、背景2WAを捉えたT2背景領域A22aとによって構成される。そして、T2画像G2aでは、T2背景出現領域N22aが生じている。図15では、T2背景出現領域N22aに対応する部分BA22aに太線が付されている。このようなケースでは、T2背景出現領域N22aの画素値に基づいて、オクルージョン領域Ao112の各画素に対して画素値が付与される。但し、T2画像G2aからは、オクルージョン領域Ao111に対応する画素値が得られない。
図16は、画素値補填処理が施された後のT1仮想視点画像G11raを例示する図である。T1仮想視点画像G11raは、図9で示されたT1仮想視点画像G11をベースとして、オクルージョン領域Ao112に対してT2背景出現領域N22aに係る画素値が付与された領域No112aが加えられたものである。図16では、領域No112aに斜線のハッチングが付されている。
また、例えば、頭部2HUの動きによって、T2背景出現領域N22が生じないケースでは、頭部2HUに係るオクルージョン領域Ao111の各画素に対して画素値が付与されれば良い。
図17は、時刻T1から時刻T2にかけて頭部2HUが上方から見て時計回りに若干の角度(例えば20度程度)回転した後の状態において撮影が行われることで得られるT2画像G2bを例示するイメージ図である。図18は、T2画像G2bの撮影条件を例示する模式図である。
図18では、図4、図6、および図15と同様に、カメラ2、人物2HU、および背景2WAの配置関係を上方から見た模式図が示されており、カメラ2の撮影可能領域の外縁が太い一点鎖線で示され、頭部2HUに係る近景光路の外縁が細い一点鎖線で示されている。ここでは、時刻T1における頭部2HUの位置が細い破線で示されており、時刻T1における頭部2HUに係る近景光路の外縁は、時刻T2における頭部2HUに係る近景光路の外縁と略同一となる。
図17および図18で示されるように、T2画像G2bは、頭部2HUを捉えたT2物体領域A21bと、背景2WAを捉えたT2背景領域A22bとによって構成される。そして、T2画像G2bでは、T2物体出現領域N21bが生じている。図18では、T2背景出現領域N21aに対応する部分OA21bに太線が付されている。このようなケースでは、T2物体出現領域N21bの画素値に基づいて、オクルージョン領域Ao111の各画素に対して画素値が付与される。但し、T2画像G2bからは、オクルージョン領域Ao112に対応する画素値が得られない。
図19は、画素値補填処理が施された後のT1仮想視点画像G11rbを例示する図である。T1仮想視点画像G11rbは、図9で示されたT1仮想視点画像G11をベースとして、オクルージョン領域Ao111に対してT2物体出現領域N21bに係る画素値が付与された領域No111bが加えられたものである。図19では、領域No111bに斜線のハッチングが付されている。
以上のように、第1補填方法に係る画素値補填処理では、T1仮想視点画像G11におけるT1非撮影領域の各画素に係る画素値が、撮影時刻が異なるT2画像G2に基づいて補填される。このため、視覚的に違和感のない画素値補填処理後のT1仮想視点画像(以下「補填済みT1仮想視点画像」とも称する)が生成される。
<(2−4−2)第2補填方法>
第2補填方法では、上記第1補填方法と比較して、物体対応付け処理および背景対応付け処理がより正確に行われる。なお、第2補填方法は、物体対応付け処理および背景対応付け処理以外は、上記第1補填方法と同様となる。以下、第2補填方法について、上記第1補填方法と異なる物体対応付け処理および背景対応付け処理について説明し、上記第1補填方法と同様な部分については、重複説明を省略する。
第2補填方法では、上記第1補填方法と比較して、物体対応付け処理および背景対応付け処理がより正確に行われる。なお、第2補填方法は、物体対応付け処理および背景対応付け処理以外は、上記第1補填方法と同様となる。以下、第2補填方法について、上記第1補填方法と異なる物体対応付け処理および背景対応付け処理について説明し、上記第1補填方法と同様な部分については、重複説明を省略する。
第2補填方法では、物体対応付け処理および背景対応付け処理が、同様な方法によって行われるため、以下では、物体対応付け処理と背景対応付け処理とを、まとめて「対応付け処理」と総称する。
ここでは、T2物体出現領域N21およびT2背景出現領域N22内の任意の画素の座標を(xN2,yN2,T2)とする。また、T2画像G2のうちのT1画像G1と対応する領域、すなわちT1画像G1で捉えられた被写体の部分と同一の部分が捉えられた領域を「対応領域」と称するものとする。更に、T2物体領域A21のうちのT1物体領域A11で捉えられた被写体の部分と同一の部分が捉えられた領域を「物体対応領域」と称し、T2背景領域A22のうちのT1背景領域A12で捉えられた被写体の部分と同一の部分が捉えられた領域を「背景対応領域」と称する。なお、「物体対応領域」と「背景対応領域」とを「対応領域」と総称する。
第2補填方法に係る対応付け処理では、まず、第1ステップとして、次の3つの条件(具体的には、条件1〜3)を満たす被写体の部分が捉えられた画素が、対応付け処理において基準となる点として設定される。
(条件1)T1画像G1で捉えられている被写体の部分であること。
(条件2)T2画像G2のうちの、対応付け処理の対象となっている座標が(xN2,yN2,T2)である画素(以下「T2処理対象画素」とも称する)の近傍に位置する画素(近傍画素)で捉えられている被写体の部分であること。
(条件3)T2処理対象画素(以下「T2処理対象点」とも称する)で捉えられている被写体の部分と、カメラ2からの離隔距離が略同一である被写体の部分であること。
具体的には、オクルージョン補填部464の設定部として働く部分によって、対応領域のうちの上記3つの条件(具体的には、条件1〜3)を満たす画素がT2基準画素(以下「T2基準点」とも称する)として設定される。ここでは、T2基準点の座標を(x2,y2,T2)とする。例えば、T2処理対象点がT2物体出現領域N21に含まれる場合は、点P21(図11)等がT2基準点として設定され、T2処理対象点がT2背景出現領域N22に含まれる場合は、点P22(図11)等がT2基準点として設定される。
なお、上記条件2の「近傍画素」としては、T2処理対象点の画素と同一の物体(または同一の背景)を捉えた画素と推定される画素であれば良い。
例えば、T2処理対象点がT2物体出現領域N21に含まれる場合には、近傍画素は、物体対応領域内の画素であれば良い。そして、物体対応付け処理の精度を向上させる観点から言えば、該近傍画素は、T2処理対象点からの離隔距離がより短く且つT2物体出現領域N21の近傍の画素であることが好ましい。従って、該近傍画素は、T2物体出現領域N21の隣接画素であっても良いし、T2物体出現領域N21から所定数の範囲内の画素であっても良い。該所定数としては、例えば、数個等が考えられ、被写体までの距離と解像度との関係から設定されても良い。
また、T2処理対象点がT2背景出現領域N22に含まれる場合には、近傍画素は、背景対応領域内の画素であれば良い。そして、背景対応付け処理の精度を向上させる観点から言えば、該近傍画素は、T2処理対象点からの離隔距離がより短く且つT2背景出現領域N22の近傍の画素であることが好ましい。従って、該近傍画素は、T2背景出現領域N22の隣接画素であっても良いし、T2背景出現領域N22から所定数の範囲内の画素であっても良い。該所定数としては、例えば、数個等が考えられ、被写体までの距離と解像度との関係から設定されても良い。
また、上記条件3の「カメラ2からの離隔距離が略同一」については、測距の精度によって略同一の範囲として許容される範囲は異なるが、例えば、カメラ2からT2処理対象点の画素で捉えられた被写体の部分までの離隔距離に対してある程度の範囲内の離隔距離を含む。この「ある程度の範囲」は、カメラ2からT2処理対象点の画素で捉えられた被写体の部分までの離隔距離に対する所定割合の範囲(例えば、数%〜10%程度等)に設定されても良く、対応付け処理の精度を向上させる観点から言えば、狭ければ狭いほど好ましい。
ここで、第1画像G1のうちのT2基準点と同じ被写体の部分が捉えられた画素をT1基準画素(以下「T1基準点」とも称する)とし、T1基準点の座標を(x1,y1,T1)とする。例えば、T2基準点がT2物体領域A21に含まれる場合には、T1物体領域A11に含まれる点P11(図10)等がT1基準点として設定され、T2基準点がT2背景領域A22に含まれる場合には、T1背景領域A12に含まれる点P12(図10)等がT1基準点として設定される。
また、T1視点からT1基準点の画素で捉えられた被写体の部分までの距離をD1(T1)とし、T2視点からT2基準点の画素で捉えられた被写体の部分までの距離をD2(T2)とし、T2視点からT2処理対象点の画素で捉えられた被写体の部分までの距離をDN2(T2)とする。更に、オクルージョン領域Ao111,Ao112のうち、T2処理対象点の画素値が付与される対象となる画素をT1被補填画素(以下「T1被補填点」とも称する)とし、該T1被補填点の座標を(xo11,yo11,T1)とする。
距離D1(T1)は、T1距離情報から得られ、距離D2(T2)および距離をDN2(T2)は、T2距離情報から得られる。また、T1仮想視点画像G11上でT1基準点と同じ被写体の部分が捉えられた画素をT1仮想基準画素(以下「T1仮想基準点」とも称する)とし、T1画像G1におけるT1基準点の座標と、T1仮想視点画像G11におけるT1仮想基準点の座標との差(以下「T1視差」とも称する)をΔdT1とすると、T1視差ΔdT1は、距離D1(T1)が上式(1)に代入されることで求められる。そして、T1仮想視点画像G11におけるT1仮想基準点の座標は(x1−ΔdT1,y1,T1)と表される。
なお、例えば、T1基準点が点P11(図10)であれば、T1仮想基準点が点P111(図9)となり、T1基準点が点P12(図10)であれば、T1仮想基準点が点P112(図9)となる。
また、T2基準点の座標について、距離D2(T2)が上式(1)に代入されることで求められる視差(以下「T2視差」とも称する)をΔdT2とする。ここでは、仮に、T2画像G2と、T2視点から被写体の各部分までの距離を示すT2距離情報とに基づいて、T2仮想視点からの撮影によって取得され得る画像(以下「T2仮想視点画像」)が生成された場合を想定する。なお、T1視点とT1仮想視点との位置関係と、T2視点とT2仮想視点との位置関係とは同一である。この場合、T2視差ΔdT2は、T2仮想視点画像におけるT2基準点と同一の部分が捉えられた点(以下「T2仮想基準点」とも称する)と、T2画像G2におけるT2基準点との間における座標のズレ量に相当する。
更に、T1仮想視点画像G11において、T2処理対象点と同一の被写体の部分が捉えられた画素をT1仮想処理対象画素(以下「T1仮想処理対象点」とも称する)とする。このT1仮想処理対象点が、T1被補填点に相当する。
次に、対応付け処理の第2ステップとして、下記計算式に従った処理によって、T1被補填点の座標が求められる。
具体的には、T1視点とT1仮想視点とが、地面に対して水平な面内において撮影方向と垂直な方向に或る距離ずらされた位置関係を有するため、T1被補填点のX座標の値xo11は、下式(2)の関係を有する。
xo11={x1−ΔdT1}+(xN2−x2)+{ΔdT1−ΔdT2} ・・・(2)。
ここで、上式(2)の右辺の第1項は、T1仮想視点画像G11のうちのオクルージョン領域に属しない画素のX座標を示し、具体的には、T1仮想視点画像G11におけるT1仮想基準点の位置情報を示す。詳細には、T1仮想視点画像G11のうちのT1基準点に対応するT1仮想基準点のX座標に相当する。
上式(2)の右辺の第2項は、T2画像G2上におけるT2基準点とT2処理対象点との間における座標の差(以下「T2ズレ量」と称する)を示す。すなわち、T2画像G2におけるT2基準点とT2処理対象点との相対的な位置関係を示す。なお、ここでは、T2視点からT2基準点で捉えられた被写体の部分までの距離と、T2視点からT2処理対象点で捉えられた被写体の部分までの距離とが同一である場合には、T1仮想視点画像G11のおけるT1仮想基準点とT1仮想処理対象点との間における座標の差(以下「T1仮想ズレ量」とも称する)は、T2ズレ量と同一となる。
上式(2)の右辺の第3項は、T1視差ΔdT1とT2視差ΔdT2との違い(ΔdT1−ΔdT2)を示す。仮に、T1視差ΔdT1とT2視差ΔdT2とが異なれば、T2画像G2上におけるT2基準点とT2処理対象点とのズレ量(T2ズレ量)と、T1仮想視点画像G11上におけるT1仮想基準点とT1仮想処理対象点とのズレ量(T1仮想ズレ量)との間に差が生じる。そこで、右辺の第3項は、T2ズレ量とT1仮想ズレ量との間の差を補正する役割を有する。
このような上式(2)に従った演算により、物体対応付け処理と背景対応付け処理とを含む対応付け処理が実現される。つまり、対応付け処理が、オクルージョン領域Ao111,Ao112の各画素、すなわち座標(xo11,yo11,T1)のT1被補填点に対して、座標(xN2,yN2,T2)のT2処理対象点が対応付けられる。
なお、このような対応付け処理の結果に応じて、座標(xN2,yN2,T2)のT2処理対象点の画素値I(xN2,yN2,T2)が、座標(xo11,yo11,T1)のT1被補填点の画素値として付与される。つまり、I(xo11,yo11,T1)=I(xN2,yN2,T2)の関係が成立する。
以上のように、第2補填方法に係る画素値補填処理では、T1仮想視点画像G11におけるT1仮想基準点の位置情報と、T2画像におけるT2基準点とT2処理対象点との相対的な位置関係とに基づき、T1仮想視点画像G11においてT2処理対象点に対応するT1被補填点が特定される。そして、該T1被補填点に対してT2処理対象点に係る画素値が付与される。このため、T1非撮影領域の各画素に係る画素値が高精度で求められる。その結果、視覚的に違和感のない補填済みT1仮想視点画像がより確実に生成される。
なお、T1視点とT1仮想視点とが、地面に対して垂直な面内において撮影方向と垂直な方向に或る距離ずらされた位置関係を有する場合には、Y座標について上式(2)と同様な数式を設定し、T1被補填点のY座標の値を求めれば良い。更に、T1視点とT1仮想視点とが、地面に対して水平な方向にも垂直な方向にもずらされた位置関係を有する場合には、X座標およびY座標の双方について上式(2)と同様な数式を設定し、T1被補填点のX座標およびY座標の値を求めれば良い。
ところで、第2補填法に係る対応付け処理の第1ステップでは、3つの条件(具体的には、条件1〜3)を満たすようにT2基準点が設定されたが、例えば、条件3を除く2つの条件(具体的には、条件1,2)を満たすようにT2基準点が設定されても良い。但し、上式(2)における右辺の第3項による補正の効果を高めて、対応付け処理の精度を向上させる観点から言えば、条件3も満たすようにT2基準点が設定される方が好ましい。
<(2−5)立体視画像生成部>
立体視画像生成部465は、T1画像とT1仮想視点画像とから、いわゆる立体視が可能な3D画像を生成する。なお、カメラ2によって3以上のタイミングで得られる多数の画像について、それぞれ視点を仮想的に異ならせた仮想視点画像が得られる場合には、同一撮影時刻に係る画像とその仮想視点画像との各ペアの画像に基づいて、動画の態様の3D画像が生成される。立体視画像生成部465で生成される3D画像については、例えば、記憶部44および記憶媒体9の何れかに記憶される。そして、該3D画像は、表示部42において適時可視的に出力されても良い。
立体視画像生成部465は、T1画像とT1仮想視点画像とから、いわゆる立体視が可能な3D画像を生成する。なお、カメラ2によって3以上のタイミングで得られる多数の画像について、それぞれ視点を仮想的に異ならせた仮想視点画像が得られる場合には、同一撮影時刻に係る画像とその仮想視点画像との各ペアの画像に基づいて、動画の態様の3D画像が生成される。立体視画像生成部465で生成される3D画像については、例えば、記憶部44および記憶媒体9の何れかに記憶される。そして、該3D画像は、表示部42において適時可視的に出力されても良い。
<(3)本実施形態のまとめ>
以上のように、一実施形態に係る情報処理システム1で実現される画像処理システムによれば、T1仮想視点画像G11におけるオクルージョン領域の各画素に係る画素値が、撮影時刻が異なるT2画像G2に基づいて補填される。このため、視覚的に違和感のない補填済みT1仮想視点画像の生成が可能となる。その結果、視覚的に違和感のない立体視可能な3D画像の生成が可能となる。
以上のように、一実施形態に係る情報処理システム1で実現される画像処理システムによれば、T1仮想視点画像G11におけるオクルージョン領域の各画素に係る画素値が、撮影時刻が異なるT2画像G2に基づいて補填される。このため、視覚的に違和感のない補填済みT1仮想視点画像の生成が可能となる。その結果、視覚的に違和感のない立体視可能な3D画像の生成が可能となる。
また、T1画像G1とT2画像G2との間における画素の対応付けによって、T2物体出現領域N21とT2背景出現領域N22とが認識される。その結果、オクルージョン領域の各画素に係る画素値が容易に求められるため、視覚的に違和感のない補填済みT1仮想視点画像の生成が短時間で実行される。
更に、T1仮想視点画像G11におけるT1仮想基準点の位置情報と、T2画像G2におけるT2基準点とT2処理対象点との相対的な位置関係とに基づいて、T1仮想視点画像G11においてT2処理対象点に対応するT1被補填点が特定される。このため、オクルージョン領域の各画素に係る画素値が高精度で求められる。その結果、視覚的に違和感のない補填済みT1仮想視点画像がより確実に生成される。
<(4)変形例>
なお、本発明は上述の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更、改良等が可能である。
なお、本発明は上述の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更、改良等が可能である。
<(4−1)一実施形態をベースとした変形例>
◎例えば、上記一実施形態では、画像上における2次元の位置を示す情報が主に用いられて、T2処理対象点に対応するT1被補填点が特定されたが、これに限られない。例えば、3次元の位置を示す情報が用いられて、T2処理対象点に対応するT1被補填点が特定されても良い。以下、具体例を示して説明する。
◎例えば、上記一実施形態では、画像上における2次元の位置を示す情報が主に用いられて、T2処理対象点に対応するT1被補填点が特定されたが、これに限られない。例えば、3次元の位置を示す情報が用いられて、T2処理対象点に対応するT1被補填点が特定されても良い。以下、具体例を示して説明する。
図20は、一変形例に係る情報処理装置4の仮想視点画像生成動作に係る機能的な構成を示す図である。ここでは、記憶部44に格納されたプログラムPGAが制御部46で実行されることで、制御部46の機能的な構成が実現される例を挙げて説明するが、該機能的な構成が専用のハードウエア構成によって実現されても良い。
図20で示されるように、制御部46は、機能的な構成として、画像取得部461、距離情報取得部462、仮想視点画像生成部463、オクルージョン補填部464A、立体視画像生成部465、物体推定部466、および情報更新部467を有する。なお、画像取得部461、距離情報取得部462、仮想視点画像生成部463、および立体視画像生成部465については、上記一実施形態と同様な機能を有するため、同じ符号を付して説明を省略する。
物体推定部466は、T1画像G1から特定種類の物体(ここでは、頭部)が捉えられたT1物体領域A11を検出するとともに、T2画像G2から特定種類の物体(ここでは、頭部)が捉えられたT2物体領域A21を検出する。例えば、頭部や顔の一般的な形状や画素値のパターン等を用いたパターンマッチングによって、T1画像G1からT1物体領域A11を検出することが可能であり、T2画像G2からT2物体領域A21を検出することが可能である。
また、演算部としての物体推定部466は、距離情報取得部462から得られるT1距離情報に基づき、T1物体領域A11を構成する各画素で捉えられている被写体の部分について3次元空間における位置を示す情報(3次元情報)を算出する。また、該物体推定部466は、距離情報取得部462から得られるT2距離情報に基づき、T2物体領域A21を構成する各画素で捉えられている被写体の部分について3次元空間における位置を示す情報(3次元情報)を算出する。
例えば、上式(1)の関係を利用すると、各部分の3次元空間における座標(Xo,Yo,Zo)は、下式(3)〜(5)によって算出される。ここで、Xo、Yo、およびZoは、相互に直交するX、Y、およびZの3軸に係る座標を示す。そして、カメラ2から被写体の部分に向けた方向がZ軸が伸びる方向に相当し、T1視点からT2視点に向けた方向がX軸が伸びる方向に相当し、X軸およびZ軸に対して直交し且つ地面に対して垂直な方向がY軸が伸びる方向に相当する。
Xo=xD/f ・・・(3)
Yo=yD/f ・・・(4)
Zo=D ・・・(5)。
Yo=yD/f ・・・(4)
Zo=D ・・・(5)。
情報更新部467は、T1物体領域A11を構成する各画素について、その3次元情報とその画素値とを関連付けて、物体情報441として記憶部44に記憶する。つまり、上記物体情報441は、特定種類の物体(ここでは、頭部)の3次元形状に関する情報を含む。
また、情報更新部467は、T2物体領域A21のうちのT1物体領域A11を構成する各画素とは同一の部分を捉えていない各画素について、その3次元情報とその画素値とを関連付けて、物体情報441に追加する。換言すれば、物体推定部466によるT2物体領域A21に係る算出結果に基づいて、T2物体領域A21のうちのT1物体領域A11に対応していない各画素(つまり非対応領域の各画素)に対して、その3次元情報とその画素値とが関連付けられて、物体情報441に追加される。すなわち、特定種類の物体の新たな3次元情報が得られる度に、物体情報441が更新され、特定種類の物体(ここでは、頭部)に係る情報が充実化される。
ここでは、T1物体領域A11とT2物体領域A21との間で、同一の被写体の部分が捉えられている画素を認識する対応付けが行われることにより、T1物体領域A11では捉えられていない被写体の部分が捉えられている画素(すなわちT2物体出現領域N21に係る画素)がT2物体領域A21から認識される。そして、T1画像G1が図3で示されるようなものであり、T2画像G2が図5で示されるようなものであれば、物体情報441に頭部の左側の部分の情報が追加される。
なお、3次元形状に係る情報が更新される際には、T1画像G1とT2画像G2とによって重複して捉えられている部分に係る3次元形状が整合するように、物体情報441に既に含まれている3次元形状に係る情報に対して、新たな3次元形状に係る情報が追加される。
オクルージョン補填部464Aは、物体情報441を参照することで、該物体情報441に基づいて、T1仮想視点画像G11のうちの非撮影領域(具体的には、オクルージョン領域Ao111)の各画素に対して画素値を付与する。ここでは、T1仮想物体領域A111のうちのオクルージョン領域Ao111に含まれない点(例えば、鼻の頂点が捉えられている点)が基準となる特徴点とされて、物体情報441に基づき、オクルージョン領域Ao111に対応する3次元空間における座標およびその画素値が求められる。
このような構成によっても、上記一実施形態と同様に、視覚的に違和感のない補填済みT1仮想視点画像の生成が可能となる。そして、非撮影領域の各画素に係る画素値がより確実に求められる。
◎また、上記一実施形態では、T2画像G2の画素と、オクルージョン領域Ao111,Ao112の画素との対応付けを行う対応付け処理が行われたが、この対応付け処理を簡略化することで、画素値補填処理に係る処理速度を飛躍的に向上させることが可能である。具体例としては、例えば、次の補填方法が考えられる。
図21は、一変形例に係るオクルージョン領域の補填方法を説明するための図である。本変形例では、上記一実施形態と比較して、オクルージョン補填部464の処理における補填方法が簡略化されたものとなっている。
ここでは、まず、T2視点についても、T1視点に対するT1仮想視点の位置関係と同一の位置関係を有するT2仮想視点が仮定される。そして、上記一実施形態に係る仮想視点画像生成動作と同様な方法で、T2画像G2とT2距離情報とに基づき、T2仮想視点画像G21が擬似的に生成される。次に、図21で示されるように、オクルージョン補填部464によって、T2仮想視点画像G21のうちの、T1仮想視点画像G11における非撮影領域の画素と同一座標の画素に係る画素値が、該非撮影領域の画素に対して付与される。そして、このような画素値の付与が非撮影領域の各画素に対して可能な限り行われる。
このような単純な態様の画素値の補填方法は、例えば、物体が移動してT2画像G2においてT2背景出現領域N22が生じるようなケースに適用可能である。そして、このようなケースでは、例えば、T2背景出現領域N22の各画素の画素値が、オクルージョン領域Ao112の各画素に対して付与される。
なお、このような補填方法では、時刻T1を基準とした過去および未来のうちの少なくとも一方に係る複数の異なる時刻に撮影された複数の画像からそれぞれ生成される複数の仮想視点画像の各画素の画素値が、非撮影領域の同一座標の画素に対してそれぞれ付与されても良い。これにより、オクルージョン領域のより広い領域についての画素値の補填が可能となる。
そして、このような一変形例によれば、演算量の低減による処理の高速化が図られる。
◎また、上記一実施形態では、測距機3によってT1距離情報およびT2距離情報が得られたが、これに限られない。例えば、測距機3によらずにT1距離情報およびT2距離情報を得ても良い。具体例としては、次のような構成が考えられる。
図22は、一変形例に係る情報処理システム1Bの概略構成を示す図である。一変形例に係る情報処理システム1Bは、上記一実施形態に係る情報処理システム1と比較して、測距機3が取り除かれ、制御部46に読み込まれて各種機能等を実現させるためのプログラムPGが異なる各種機能等を実現させるためのプログラムPGBに変更されているが、その他の構成については、同様な構成を備える。
図23は、一変形例に係る情報処理装置4の機能的な構成を示す図である。ここでは、記憶部44に格納されたプログラムPGBが制御部46で実行されることで、制御部46の機能的な構成が実現される例を挙げて説明するが、該機能的な構成が専用のハードウエア構成によって実現されても良い。
図23で示されるように、制御部46は、機能的な構成として、画像取得部461、仮想視点画像生成部463、オクルージョン補填部464B、立体視画像生成部465、および距離情報推定部468を有する。なお、画像取得部461、仮想視点画像生成部463、および立体視画像生成部465については、上記一実施形態と同様な機能を有するため、同じ符号を付して説明を省略する。
距離情報推定部468は、T1画像G1で捉えられている物体とカメラ2(つまりT1視点)との距離(すなわちT1距離情報)を推定する。
ここでは、例えば、まず、特定種類の物体(ここでは頭部や顔)の一般的な形状や画素値のパターン等を用いたパターンマッチングによって、T1画像G1からT1物体領域A11を検出することが可能である。その特定種類の物体の一般的な形状情報または奥行き情報等が記憶部44に記憶されていれば、次に、該一般的な形状情報または奥行き情報等に基づいて、T1距離情報が推定される。仮想視点画像生成部463では、推定されたT1距離情報とT1画像G1とに基づいて、T1仮想視点画像G11が生成される。
オクルージョン補填部464Bでは、まず、T1画像G1とT2画像G2との間で画素の対応付けを行う処理が行われることで、T2画像G2のうちのT1画像G1とは対応していない非対応領域が認識される。次に、非対応領域の画素パターンが、T1仮想視点画像G11のオクルージョン領域に貼り付けられることで、画素値の補填が行われる。
なお、非対応領域とオクルージョン領域とのサイズが若干異なる場合には、非対応領域の画素パターンが拡大または縮小された後にオクルージョン領域に貼り付けられれば良い。また、非対応領域とオクルージョン領域との形状が若干異なる場合には、非対応領域の画素パターンがオクルージョン領域の全域を覆う程度拡張されて、非対応領域の画素パターンがオクルージョン領域に貼り付けられても良い。なお、このとき、オクルージョン領域からはみ出る画素パターンについては、貼り付けないことが好ましい。
このような構成が採用されれば、画素値補填処理の高速化が図られる。
なお、本変形例では、推定されたT1距離情報とT1画像G1とに基づいて、T1仮想視点画像G11が生成される例が示されたが、これに限られない。例えば、T1画像G1と、T2画像G2と、外部の装置等において既に生成されたT1仮想視点画像G11とが取得されて、オクルージョン領域の補填処理が行われるような構成も考えられる。
◎また、上記一実施形態では、時刻T1よりも後の時刻T2における撮影で得られるT2画像G2に基づいて、T1仮想視点画像G11のオクルージョン領域Ao111,Ao112の各画素に係る画素値が補填されたが、これに限られない。時刻T1よりも時刻T2の方が時間的に前の時刻であっても良い。つまり、T1画像G1の撮影時刻T1よりも前の撮影時刻T2に係るT2画像G2に基づいて、T1仮想視点画像G11のオクルージョン領域Ao111,Ao112の各画素に係る画素値が補填されても良い。すなわち、過去のT2画像G2に基づいて、その後の撮影時刻T1に係るT1画像G1から生成されるT1仮想視点画像G11に対して画素値の補填が行われても良い。このような構成は、画像処理によって表示に係るタイムラグを生じさせたくないケース、例えば生放送に係る動画像が扱われるケース等に適している。
一方、既に取得が終了している動画像等が扱われる場合には、T1画像G1を基準とした過去および未来の何れのT2画像G2に基づいてT1仮想視点画像G11に対する画素値の補填が行われても良い。また、時刻T1を基準とした過去および未来の画像の双方に基づいた画素値の補填が行われても良い。更に、時刻T1を基準とした過去および未来のうちの少なくとも一方における複数回の撮影によって得られる複数の画像が用いられて、該複数の画像における画素値の平均値や画素値の最頻出値が利用された画素値の補填が行われても良い。
◎また、上記一実施形態では、カメラ2の位置および姿勢が固定されているケースについて説明したが、これに限られない。上記一実施形態の第2補填方法に係る画素値補填処理については、カメラ2の位置および姿勢が変化するケースにも適用可能である。
◎また、上記一実施形態では、T1画像G1とT2画像G2との間における画素の対応付けが行われることで、T2物体出現領域N21とT2背景出現領域N22とを含む非対応領域が認識されたが、これに限られない。例えば、T1画像G1およびT2画像G2がMPEG形式の動画ファイルを構成する2つのフレーム画像である場合には、該MPEG形式の動画ファイルに含まれる動きベクトルの情報に基づいて、T2物体出現領域N21とT2背景出現領域N22と含む非対応領域が認識されても良い。このような構成によれば、オクルージョン領域Ao111,Ao112に相当する非撮影領域の各画素に係る画素値を特定するための演算量が低減される。このため、視覚的に違和感のない補填済みT1仮想視点画像の生成が更に短時間で実行可能となる。
◎また、上記一実施形態では、測距機3における測距方法がレーザーを用いたものであったが、これに限られない。測距機3における測距方法については、例えば、レーダーによる測距方法や、光を投影して測距を行う方法(光切断法)等のその他の方法が採用されても良い。
また、測距機3が用いられてT1距離情報とT2距離情報とが得られる代わりに、時刻T1および時刻T2において、複数台のカメラによる撮影によって異なる視点からの複数の画像がそれぞれ取得された上で、該複数の画像からT1距離情報およびT2距離情報が得られても良い。
図24は、2台のカメラ21C,22Cを用いてT1距離情報とT2距離情報とが得られる情報処理システム1Cの概略構成を示す図である。本変形例に係る情報処理システム1Cは、上記一実施形態に係る情報処理システム1と比較して、測距機3が取り除かれ、1台のカメラ2が2台のカメラ21C,22Cから成るステレオカメラに変更され、制御部46に読み込まれて各種機能等を実現させるためのプログラムPGが異なる各種機能等を実現させるためのプログラムPGCに変更されているが、その他の構成については、同様である。
なお、2台のカメラ21C,22Cについては、それらの光軸が略平行であり、該光軸に対して垂直な方向にシフトされた位置関係を有する。この2台のカメラ21C,22Cのズレの方向については、地面に対して水平、垂直、斜めの何れの方向であっても良い。
図25は、本変形例に係る情報処理装置4の機能的な構成を示す図である。ここでは、記憶部44に格納されたプログラムPGCが制御部46で実行されることで、制御部46の機能的な構成が実現される例を挙げて説明するが、該機能的な構成が専用のハードウエア構成によって実現されても良い。
図25で示されるように、制御部46は、機能的な構成として、画像取得部461C、距離情報取得部462C、仮想視点画像生成部463、オクルージョン補填部464、および立体視画像生成部465を有する。なお、仮想視点画像生成部463、オクルージョン補填部464、立体視画像生成部465については、上記一実施形態と同様な機能を有するため、同じ符号を付して説明を省略する。
画像取得部461Cは、時刻T1および時刻T2において2台のカメラ21C,22Cによる撮影によって得られる画像をそれぞれ取得する。例えば、カメラ21Cによって得られる撮影時刻T1に係る画像がT1画像G1とされ、カメラ21Cによって得られる撮影時刻T2に係る画像がT2画像G2とされる。なお、ここでは、カメラ22Cによって得られる撮影時刻T1に係る画像がT1測距用画像とされ、カメラ22Cによって得られる撮影時刻T2に係る画像がT2測距用画像とされる。
距離情報取得部462Cは、T1画像G1とT1測距用画像とに基づいてT1距離情報を取得し、T2画像G2とT2測距用画像とに基づいてT2距離情報を取得する。ここでは、上式(1)の関係が利用されることで、T1距離情報とT2距離情報とが得られる。
具体的には、まず、T1画像G1とT1測距用画像との間において同一の部分を捉えた画素の対応関係(すなわち同じ部分が捉えられた画素のズレ量)、およびT2画像G2とT2測距用画像との間において同一の部分を捉えた画素の対応関係(すなわち同じ部分が捉えられた画素のズレ量)が認識される。次に、上式(1)のうち、焦点距離fの値として2台のカメラ21C,22Cの焦点距離が代入され、視点の離隔距離Bの値として2台のカメラ21C,22Cの光軸のズレ量(視点の離隔距離)Bが代入され、視差Δdの値として同じ部分が捉えられた画素のズレ量が代入されると、距離Dが求められる。
このようにして、T1画像G1およびT2画像G2の各画素に係るT1距離情報およびT2距離情報が得られる。そして、このT1距離情報およびT2距離情報が、仮想視点画像生成部463、およびオクルージョン補填部464において使用される。
◎また、上記一実施形態では、1枚のT1画像G1から1枚のT1仮想視点画像G11が生成されて、画素値の補填が行われたが、これに限られない。例えば、1枚のT1画像G1から2つの異なる仮想的な視点(仮想視点)に係る画像(仮想視点画像)が生成されても良い。すなわち、1つのT1画像G1から複数のT1仮想視点画像が生成されても良い。
◎また、上記一実施形態では、画素の対応付けが画素単位で行われたが、これに限られない。画素単位よりも細かいサブピクセル単位での点どうしの対応付けが行われても良い。このような構成では、T2画像G2に画素値が、T1仮想視点画像G11の非撮影領域の各画素に対して単純に付与されず、例えば、内挿などの種々の補間演算によって求まる画素値が、T1仮想視点画像G11のT1非撮影領域の各画素に対して付与されるような態様が考えられる。
<(4−2)その他の変形例>
◎また、上記一実施形態では、時刻T1に係るT1仮想視点画像G11のT1非撮影領域(オクルージョン領域)の各画素に、T2画像G2の画素値が付与されたが、これに限られない。例えば、時刻T1とは異なる時刻の撮影によって得られるその他の各種画像の画素値が、T1非撮影領域の各画素に付与される各種変形例が採用されても良い。この各種変形例としては、例えば、次の第1〜4変形例が採用され得る。
◎また、上記一実施形態では、時刻T1に係るT1仮想視点画像G11のT1非撮影領域(オクルージョン領域)の各画素に、T2画像G2の画素値が付与されたが、これに限られない。例えば、時刻T1とは異なる時刻の撮影によって得られるその他の各種画像の画素値が、T1非撮影領域の各画素に付与される各種変形例が採用されても良い。この各種変形例としては、例えば、次の第1〜4変形例が採用され得る。
[1]第1変形例では、ステレオカメラのうちの一方のカメラによる撮影で得られた画像(基準画像とも言う)に基づいて生成される仮想視点画像の非撮影領域の各画素に、他方のカメラによる同一時刻の撮影で得られた画像(参照画像とも言う)の画素値が付与される。
[2]第2変形例では、ある時刻に係る仮想視点画像の非撮影領域の各画素に、ある時刻とは異なる他の時刻に係る仮想視点画像の画素値が付与される。
[3]第3変形例では、ステレオカメラのうちの一方のカメラによる撮影で得られた基準画像に基づいて生成される仮想視点画像の非撮影領域の各画素に、他方のカメラによる異なる時刻の撮影で得られた参照画像の画素値が付与される。
[4]第4変形例では、ある時刻に係る仮想視点画像に含まれる物体領域の非撮影領域の各画素に、ある時刻とは異なる時刻の撮影で得られた画像に含まれる同様な姿勢の物体に係る画素値が付与される。
以下、これらの第1〜4変形例について順に説明する。
<(4−2−1)第1変形例>
<(4−2−1−1)第1変形例の概要>
第1変形例は、図24で示された情報処理システム1Cにおいて実現され得る。
<(4−2−1−1)第1変形例の概要>
第1変形例は、図24で示された情報処理システム1Cにおいて実現され得る。
図26は、第1変形例に係る情報処理装置4の機能的な構成を示す図である。ここでは、記憶部44に格納されたプログラムPGDが制御部46で実行されることで、制御部46の機能的な構成が実現される例を挙げて説明するが、該機能的な構成は専用のハードウエア構成によって実現されても良い。
図26で示されるように、第1変形例に係る制御部46は、図25で示された一変形例に係る制御部46が有する機能的な構成がベースとされて、画像取得部461Cが画像取得部461Dに置換され、オクルージョン補填部464がオクルージョン補填部464Dに置換された機能的な構成を有する。また、第1変形例では、カメラ21Cとカメラ22Cとが複数回の同じタイミングで時間順次に撮影を行う。これにより、複数のいわゆるステレオ画像が得られる。各ステレオ画像は、カメラ21Cによる撮影で得られる画像(基準画像)とカメラ22Cによる撮影で得られる画像(参照画像)とを含む画像の組であり、相互に異なる視点から同一時刻に同一の被写体が捉えられた画像の組である。
画像取得部461Dは、カメラ21Cとカメラ22Cとによって得られる複数のステレオ画像を取得する。これにより、例えば、時刻T0、時刻T1、時刻T2、・・・、時刻Tn(nは自然数)におけるカメラ21Cおよびカメラ22Cの撮影によって得られたn+1組のステレオ画像が画像取得部461Dによって取得される。なお、画像取得部461Dは、複数のステレオ画像をカメラ21Cとカメラ22Cとから直接取得しても良いし、記憶部44等に一旦記憶された複数のステレオ画像を取得しても良い。
図27は、第1変形例に係る画素値の補填を行う処理(補填処理とも言う)を説明するための図である。図27には、時刻T0、時刻T1、時刻T2、・・・、時刻Tnにおけるカメラ21Cおよびカメラ22Cによる撮影によって得られたn+1組のステレオ画像、ならびにn+1枚のT0〜Tn基準画像GLT0〜GLTnにそれぞれ対応するT0〜Tn仮想視点画像GRT0〜GRTnが例示されている。
図27では、左側の縦一列にT0〜Tn基準画像GLT0〜GLTnが示され、中央の縦一列にT0〜Tn参照画像GST0〜GSTnが示され、右側の縦一列にT0〜Tn仮想視点画像GRT0〜GRTnが示されている。各T0〜Tn仮想視点画像GRT0〜GRTnは、仮想視点画像生成部463において、T0〜Tn基準画像GLT0〜GLTnおよびT0〜Tn距離情報のうちの対応する時刻の基準画像と距離情報とに基づいてそれぞれ生成される。また、図27では、下になれば下になるほど、撮影時刻が後となるように各画像が示されている。そして、図27では、一例として時間の経過とともに人物の顔がカメラ21C,22C側から見て左方に移動している様子が捉えられた複数の画像が示されている。
図28は、時刻T1におけるステレオ画像の撮影条件および仮想視点画像に係る仮想的な撮影条件を例示する模式図である。
図28では、時刻T1における2つのカメラ21C,22Cが実線で示されるとともに、時刻T1に係る仮想視点(T1仮想視点とも称する)に仮想的に設定されるカメラ(仮想カメラとも言う)21vDが細い破線で示されている。なお、時刻T1におけるカメラ21Cの位置がT1基準視点とされ、T1基準視点とT1仮想視点との位置関係が標準的な人の左目と右目の位置関係とに対応し、T1基準視点とT1仮想視点との離隔距離がBとされている。
そして、図28では、カメラ21Cによって撮影可能な空間の領域(撮影可能領域)の外縁が太い一点鎖線で示されている。また、カメラ22Cによって撮影可能な空間の領域(撮影可能領域)の外縁が太い二点鎖線で示されている。更に、仮想カメラ21vDによって撮影可能な空間の領域(撮影可能領域)の外縁が太い破線で示されている。
図28で示されるように、背景2WAのうち、カメラ21Cと仮想カメラ21vDとの間では、頭部2HUの後に隠れている領域が異なる。具体的には、時刻T1に係るT1仮想視点画像GRT1では、時刻T1に係るT1基準画像GLT1では捉えられていない背景部分OP112が捉えられる。換言すれば、T1仮想視点画像GRT1には、T1基準画像GLT1では捉えられていない被写体の部分に相当する領域(T1非撮影領域とも言う)が存在する。
但し、背景部分OP112のうちの一部分Bd1は、時刻T1におけるカメラ22Cの撮影で得られるT1参照画像GST1で捉えられており、背景部分OP112のうちの一部分Bd1を除く残余の部分Bd2は、T1参照画像GST1でも捉えられていない。
そこで、オクルージョン補填部464Dでは、T1仮想視点画像GRT1のうちの背景部分OP112に対応するT1非撮影領域のうちの一部の領域Ad1T1の各画素には、T1参照画像GST1で一部分Bd1が捉えられた領域ASdT1の画素値が付与される。また、T1仮想視点画像GRT1のうちのT1非撮影領域のうちの一部の領域Ad1T1を除く残余の領域Ad2T1の各画素には、時刻Tnにおけるカメラ21Cの撮影で得られるTn基準画像GLTnにおいて残余の部分Bd2が捉えられた領域ALdTnの画素値が付与される。残余の領域Ad2T1の各画素に領域ALdTnの画素値が付与される方法としては、上記一実施形態と同様な方法が採用され得る。
ここで、T1非撮影領域のうちの一部の領域Ad1T1の各画素にT1参照画像GST1の領域ASdT1の画素値が付与される補填方法としては、上記一実施形態の第1または第2補填方法と同様な方法が採用され得る。例えば、該補填方法は、次の工程(A1)〜(A4)が順に行われることで実現され得る。
(A1)T1基準画像GLT1とT1参照画像GST1との間で画素の対応付けが行われる。この画素の対応付けは、上記一実施形態と同様に、いわゆるSAD法およびPOC法等の既存の方法で実現され得る。これにより、T1参照画像GST1のうちのT1基準画像GLT1とは対応していない領域(T1非対応領域とも言う)が認識される。このとき、上式(1)に、T1基準画像GLT1とT1参照画像GST1との間における画素の対応付けの結果から導出される各視差Δdと、カメラ21Cとカメラ22Cとの離隔距離と、カメラ21Cとカメラ22Cの焦点距離fとが代入されることで、時刻T1におけるT1距離情報が取得され得る。このT1距離情報には、カメラ21Cの位置(T1基準視点とも言う)から被写体の各部分までの距離を示す情報(T1基準距離情報とも言う)と、カメラ22Cの位置(T1参照視点とも言う)から被写体の各部分までの距離を示す情報(T1参照距離情報とも言う)とが含まれる。なお、T1距離情報は、別に設けられた測距機による測定によって得られても良い。
(A2)T1参照画像GST1のT1非対応領域から、T1基準画像GLT1で捉えられていない物体(例えば、頭部2HU)の一部分が捉えられた領域(T1物体出現領域)と、T1基準画像GLT1で捉えられていない背景2WAの一部分が捉えられた領域(T1背景出現領域)とが、T1参照距離情報に基づいて区別可能に認識される。
(A3)T1距離情報に基づいて、T1参照画像GST1のT1背景出現領域と、T1仮想視点画像GRT1の背景に係るオクルージョン領域との間で画素が対応付けられる処理(背景対応付け処理)が行われる。この背景対応付け処理については、上記一実施形態の第1または第2補填方法における背景対応付け処理と同様な処理が採用されれば良い。この背景対応付け処理では、例えば、上記一実施形態の第1または第2補填方法の背景対応付け処理におけるT2背景出現領域N22とオクルージョン領域Ao112とが、T1参照画像GST1のT1背景出現領域とT1仮想視点画像GRT1の背景に係るオクルージョン領域とにそれぞれ置換されれば良い。工程(A3)の処理内容については更に後述する。
(A4)工程(A3)における背景対応付け処理の結果に基づいて、T1仮想視点画像GRT1の背景に係るオクルージョン領域の各画素に、T1参照画像GST1のT1背景出現領域内の対応する画素に係る画素値が付与される。
なお、ここでは、背景対応付け処理が行われる例を挙げて説明したが、T1距離情報に基づいて、T1参照画像GST1の物体出現領域と、T1仮想視点画像GRT1の物体に係るオクルージョン領域との間で画素が対応付けられる処理(物体対応付け処理)が行われても良い。このとき、物体対応付け処理の結果に基づいて、T1仮想視点画像GRT1の物体に係るオクルージョン領域の各画素に、T1物体出現領域内の対応する画素に係る画素値が付与される。
<(4−2−1−2)第1補填方法がベースとされた背景対応付け処理>
工程(A3)において実行される上記一実施形態の第1補填方法がベースとされた背景対応付け処理では、例えば、T1参照画像GST1のT1背景出現領域内における座標(xN22,yN22,T1)の画素が、T1仮想視点画像GRT1の背景に係るオクルージョン領域内における座標(xN22−Δdh−ΔdhT,yN22,T1)の画素に対応付けられる。ここで、Δdhは、時刻T1におけるカメラ21Cの位置(T1基準視点)と仮想カメラ21vDの位置(T1仮想視点)との離隔距離に応じた視差であり、上式(1)の関係と、該離隔距離と、カメラ21Cの焦点距離fと、T1基準距離情報とから求められる。また、ΔdhTは、T1参照画像GST1の背景を捉えた領域内のうちのT1背景出現領域の近傍の画素(参照背景近傍点とも言う)と、T1基準画像GLT1の背景を捉えた領域内のうちの参照背景近傍点に対応する画素(基準背景対応点とも言う)との間における座標のシフト量である。
工程(A3)において実行される上記一実施形態の第1補填方法がベースとされた背景対応付け処理では、例えば、T1参照画像GST1のT1背景出現領域内における座標(xN22,yN22,T1)の画素が、T1仮想視点画像GRT1の背景に係るオクルージョン領域内における座標(xN22−Δdh−ΔdhT,yN22,T1)の画素に対応付けられる。ここで、Δdhは、時刻T1におけるカメラ21Cの位置(T1基準視点)と仮想カメラ21vDの位置(T1仮想視点)との離隔距離に応じた視差であり、上式(1)の関係と、該離隔距離と、カメラ21Cの焦点距離fと、T1基準距離情報とから求められる。また、ΔdhTは、T1参照画像GST1の背景を捉えた領域内のうちのT1背景出現領域の近傍の画素(参照背景近傍点とも言う)と、T1基準画像GLT1の背景を捉えた領域内のうちの参照背景近傍点に対応する画素(基準背景対応点とも言う)との間における座標のシフト量である。
<(4−2−1−3)第2補填方法がベースとされた背景対応付け処理>
一方、工程(A3)において実行される上記一実施形態の第2補填方法がベースとされた背景対応付け処理は、例えば、T1参照画像GST1の背景を捉えた領域内の任意の座標が(xN1S,yN1S,T1)とされれば、次の処理によって実現され得る。
一方、工程(A3)において実行される上記一実施形態の第2補填方法がベースとされた背景対応付け処理は、例えば、T1参照画像GST1の背景を捉えた領域内の任意の座標が(xN1S,yN1S,T1)とされれば、次の処理によって実現され得る。
まず、第1ステップとして、T1参照画像GST1のうち、次の3つの条件(具体的には、条件1d〜3d)を満たす被写体の部分が捉えられた画素が、対応付け処理において基準となる点として設定される。
(条件1d)T1基準画像GLT1で捉えられている被写体の部分であること。
(条件2d)T1参照画像GST1のうちの、対応付け処理の対象となっている座標が(xN1S,yN1S,T1)である画素(T1処理対象画素とも、T1処理対象点とも言う)の近傍に位置する画素(近傍画素)で捉えられている被写体の部分であること。
(条件3d)T1処理対象点で捉えられている被写体の部分と、カメラ22Cからの離隔距離が略同一である被写体の部分であること。
具体的には、これらの条件1d〜3dを満たす画素が背景対応付け処理において基準となるT1参照基準画素(T1参照基準点とも言う)として設定される。ここでは、T1参照基準点の座標が(x1S,y1S,T1)とされる。
ここで、T1基準画像GLT1のうちのT1参照基準点と同じ被写体の部分が捉えられた画素(T1基準基準点とも言う)の座標が(x1L,y1L,T1)とされる。また、T1基準視点からT1基準基準点の画素で捉えられた被写体の部分までの距離がD1L(T1)とされ、T1参照視点からT1参照基準点の画素で捉えられた被写体の部分までの距離がD1S(T1)とされる。また、T1仮想視点画像GRT1の背景に係るオクルージョン領域において画素値が付与される対象である画素(T1被補填点)の座標が(xo11,yo11,T1)とされる。
距離D1L(T1)は、T1基準距離情報から得られ、距離D1S(T1)は、T1参照距離情報から得られる。また、T1基準基準点の座標と、T1仮想視点画像GRT1においてT1基準基準点と同じ被写体の部分が捉えられた画素(T1基準仮想基準点とも言う)の座標との差(T1基準視差とも言う)がΔdT1Lとされる。T1基準視差ΔdT1Lは、距離D1L(T1)等が上式(1)に代入されることで求められる。また、T1参照基準点の座標と、T1仮想視点画像GRT1においてT1参照基準点と同じ被写体の部分が捉えられた画素(T1参照仮想基準点とも言う)の座標との差(T1参照視差とも言う)がΔdT1Sとされる。T1参照視差ΔdT1Sは、距離D1S(T1)が上式(1)等に代入されることで求められる。
次に、第2ステップとして、下式(6)に従った演算によって、T1処理対象点の画素値が付与されるT1被補填点の座標が求められる。具体的には、T1基準視点とT1参照視点とT1仮想視点とが、地面に対して水平な面内において撮影方向と垂直な方向に或る距離ずらされた位置関係を有するため、T1被補填点のX座標の値xo11は、下式(6)の関係を有し、T1被補填点のY座標の値yo11は、yN1Sとなる。
xo11={x1L−ΔdT1L}+(xN1S−x1S)+{ΔdT1L−ΔdT1S} ・・・(6)。
このようにして、座標(xN1S,yN1S,T1)のT1処理対象点に対して、座標(xo11,yo11,T1)のT1被補填点が対応付けられる。
<(4−2−1−4)第1変形例のまとめ>
以上のように、第1変形例によれば、ある時刻とは異なる時刻に撮影された画像だけでなく、ある時刻と同じ時刻に撮影された画像も用いられて、ある時刻に係るオクルージョン領域の各画素に画素値が付与される。これにより、例えば、時間の経過とともに被写体の明るさおよび形状等が変化するような場合であっても、これらの変化による仮想視点画像に対する影響が抑制され得る。換言すれば、撮影環境の変化の大小に拘わらず、視覚的に違和感のない仮想視点画像の生成が可能となる。
以上のように、第1変形例によれば、ある時刻とは異なる時刻に撮影された画像だけでなく、ある時刻と同じ時刻に撮影された画像も用いられて、ある時刻に係るオクルージョン領域の各画素に画素値が付与される。これにより、例えば、時間の経過とともに被写体の明るさおよび形状等が変化するような場合であっても、これらの変化による仮想視点画像に対する影響が抑制され得る。換言すれば、撮影環境の変化の大小に拘わらず、視覚的に違和感のない仮想視点画像の生成が可能となる。
<(4−2−2)第2変形例>
<(4−2−2−1)第2変形例の概要>
第2変形例では、ある撮影時刻T1に係るT1仮想視点画像GRT1のT1非撮影領域の各画素に、ある撮影時刻T1とは異なる他の撮影時刻に係る仮想視点画像の画素値が付与される。これにより、T1仮想視点画像GRT1のオクルージョン領域の各画素に画素値が付与される補填処理に要する時間が削減される得る。
<(4−2−2−1)第2変形例の概要>
第2変形例では、ある撮影時刻T1に係るT1仮想視点画像GRT1のT1非撮影領域の各画素に、ある撮影時刻T1とは異なる他の撮影時刻に係る仮想視点画像の画素値が付与される。これにより、T1仮想視点画像GRT1のオクルージョン領域の各画素に画素値が付与される補填処理に要する時間が削減される得る。
第2変形例は、図1で示された情報処理システム1において実現され得る。ここでは、記憶部44に格納されたプログラムPGEが制御部46で実行されることで、図2で示される機能的な構成が実現される例を挙げて説明するが、該機能的な構成が専用のハードウエア構成によって実現されても良い。
図2で示されるように、第2変形例に係る制御部46は、図2で示された上記一実施形態に係る制御部46が有する機能的な構成がベースとされて、オクルージョン補填部464がオクルージョン補填部464Eに置換された機能的な構成を有する。
図29は、第2変形例に係る補填処理を説明するための図である。図29には、時刻T0、時刻T1、時刻T2、・・・、時刻Tnにおけるカメラ2による撮影によって得られたn+1枚のT0〜Tn画像GLT0〜GLTn、ならびにn+1枚のT0〜Tn画像GLT0〜GLTnにそれぞれ対応するT0〜Tn仮想視点画像GRT0〜GRTnが例示されている。
図29には、左側の縦一列にT0〜Tn画像GLT0〜GLTnが示され、右側の縦一列にT0〜Tn仮想視点画像GRT0〜GRTnが示されている。各T0〜Tn仮想視点画像GRT0〜GRTnは、仮想視点画像生成部463において、T0〜Tn画像GLT0〜GLTnおよびT0〜Tn距離情報のうちの対応する時刻の画像と距離情報とに基づいてそれぞれ生成される。また、図29では、下になれば下になるほど、撮影時刻が後となるように各画像が示されている。そして、図29では、一例として時間の経過とともに人物の顔がカメラ2側から見て左を向く方向に回転している様子が捉えられた複数の画像が示されている。
なお、ここでは、時刻T1におけるカメラ2の位置(T1視点)とT1仮想視点画像GRT1が取得され得る仮想カメラ2vの位置(T1仮想視点)との間における相対的な位置関係が、時刻T0におけるカメラ2の位置(T0視点とも言う)とT0仮想視点画像GRT0が取得され得る仮想カメラ2vの位置(T0仮想視点とも言う)との間における相対的な位置関係と等しいものとする。
また、時刻T2におけるカメラ2の位置(T2視点)とT2仮想視点画像GRT2が取得され得る仮想カメラ2vの位置(T2仮想視点)との間における相対的な位置関係が、T1視点とT1仮想視点との相対的な位置関係と等しいものとする。更に、時刻Tnにおけるカメラ2の位置(Tn視点とも言う)とTn仮想視点画像GRTnが取得され得る仮想カメラ2vの位置(Tn仮想視点とも言う)との間における相対的な位置関係が、T1視点とT1仮想視点との相対的な位置関係と等しいものとする。
オクルージョン補填部464Eでは、ある時刻(例えば、時刻T1)に係る仮想視点画像(例えば、T1仮想視点画像GRT1)の非撮影領域(例えば、T1非撮影領域)の各画素に、ある時刻とは異なる他の時刻(例えば、時刻T0)に係る仮想視点画像(例えば、T0仮想視点画像GRT0)の画素値が付与される。
例えば、図29で示されるように、T1仮想視点画像GRT1のうちの物体に係るT1非撮影領域(オクルージョン領域)AoeT1のうちの一部の領域AeT1の各画素に、T0仮想視点画像GRT0のうちの一部の領域AReT0の画素値が付与される。ここでは、ごく近い撮影時刻に係るT0仮想視点画像GRT0とT1仮想視点画像GRT1との間では、被写体を捉えた画像領域の変化が小さなことが利用されている。このような補填処理により、上記一実施形態の補填処理において時刻Tnの撮影で得られたTn画像GLTnの一部の領域ALeTnの画素値が一部の領域AeT1の各画素に付与されるよりも、処理に要する時間が削減される。従って、非撮影領域(オクルージョン領域)の各画素に対する画素値の付与に要する演算量が削減され得る。なお、ここでは、一部の領域AeT1の各画素に、一部の領域AReT0の画素値が付与される例を挙げて説明するが、これに限られず、例えば、時刻T0,T1とも異なる時刻に係る仮想視点画像の画素値が付与されても良い。
ここで、T1仮想視点画像GRT1におけるオクルージョン領域の各画素に、T0仮想視点画像GRT0の画素値が付与される補填方法としては、上記一実施形態の第1または第2補填方法がベースとされた補填方法が採用され得る。例えば、該補填方法は、次の工程(B1)〜(B4)が順に行われることで実現され得る。
(B1)T1画像GLT1とT0仮想視点画像GRT0との間で画素の対応付けが行われる。この画素の対応付けは、上記一実施形態と同様に、いわゆるSAD法およびPOC法等の既存の方法で実現され得る。これにより、T0仮想視点画像GRT0のうちのT1画像GLT1とは対応していない領域(T0仮想非対応領域とも言う)が認識される。
(B2)T0仮想視点画像GRT0のT0仮想非対応領域から、T1画像GLT1で捉えられていない物体(例えば、頭部2HU)の一部分が捉えられた領域(T0物体非対応領域)と、T1画像GLT1で捉えられていない背景2WAの一部分が捉えられた領域(T0背景非対応領域)とが、T0距離情報に基づいて区別可能に認識される。なお、T0距離情報は時刻T0において測距機3によって取得され得る。
(B3)T0仮想視点画像GRT0のT0物体非対応領域と、T1仮想視点画像GRT1の物体に係るオクルージョン領域との間で画素が対応付けられる処理(物体対応付け処理)が行われる。この物体対応付け処理については、上記一実施形態の第1または第2補填方法における物体対応付け処理と同様な処理が採用され得る。この物体対応付け処理は、例えば、上記一実施形態の第1または第2補填方法の背景対応付け処理におけるT2背景出現領域N22とオクルージョン領域Ao112とが、T0仮想視点画像GRT0のT0物体非対応領域とT1仮想視点画像GRT1の物体に係るオクルージョン領域とに置換された処理であれば良い。但し、T0仮想視点画像GRT0は、T0画像GLT0が既に視差Δdfに応じてシフトされて生成されるため、この物体対応付け処理では、このシフトに係る重複する演算が適宜に省略される。視差Δdfは、時刻T0におけるカメラ2の位置(T0視点)と仮想カメラ2vの位置(T0仮想視点)との離隔距離に応じた視差であり、上式(1)の関係と、該離隔距離と、カメラ2の焦点距離fと、T0距離情報とから求められ得る。工程(B3)の処理内容については更に後述する。
(B4)工程(B3)における物体対応付け処理の結果に基づいて、T1仮想視点画像GRT1の背景に係るオクルージョン領域の各画素に、T0仮想視点画像GRT0のT0物体非対応領域内の対応する画素に係る画素値が付与される。
なお、ここでは、物体対応付け処理が行われる例を挙げて説明したが、T0仮想視点画像GRT0のT0背景非対応領域とT1仮想視点画像GRT1の背景に係るオクルージョン領域との間で画素が対応付けられる処理(背景対応付け処理)が行われても良い。このとき、背景対応付け処理の結果に基づいて、T1仮想視点画像GRT1の背景に係るオクルージョン領域の各画素に、T0背景非対応領域内の対応する画素に係る画素値が付与される。
また、オクルージョン領域のうちの第2変形例の補填方法では画素値が付与されない画素(空白画素とも言う)には、例えば、上記一実施形態の補填方法によって画素値が付与されても良い。更に、空白画素の数が所定数以下であれば、空白画素の画素値が、該空白画素の周辺に位置する画素の画素値が用いられた補間処理によって付与されても良い。
また、n+1枚のT0〜Tn仮想視点画像GRT0〜GRTnのうちの所定の仮想視点画像については、第2変形例に係る補填方法が実行されずに、上記一実施形態に係る補填方法が実行されても良い。ここで、所定の仮想視点画像としては、所定数のフレーム毎の仮想視点画像等が挙げられる。これにより、オクルージョン領域に含まれる画素のうち、画素値が付与されていない画素が削減され、演算量の低減が図られつつ、出来るだけ視覚的に違和感のない仮想視点画像の生成が可能となる。
<(4−2−2−2)第1補填方法がベースとされた物体対応付け処理>
工程(B3)において実行される上記一実施形態の第1補填方法がベースとされた物体対応付け処理では、例えば、T0仮想視点画像GRT0のT0物体非対応領域内における座標(xN21,yN21,T0)の画素が、T1仮想視点画像GRT1の物体に係るオクルージョン領域内における座標(xN21−ΔdfT,yN21,T1)の画素に対応付けられる。ここで、ΔdfTは、T0仮想視点画像GRT0の物体を捉えた領域内のうちのT0物体非対応領域の近傍の画素(T0仮想物体近傍点とも言う)と、T1仮想視点画像GRT1の物体を捉えた領域内のうちのT0物体近傍点に対応する画素(T1仮想物体対応点とも言う)との間における座標のシフト量である。このシフト量ΔdfTは、工程(B1)におけるT1画像GLT1とT0仮想視点画像GRT0との間での画素の対応付けの結果と、T1画像GLT1からT1仮想視点画像GRT1が生成される際の画素のシフト量とに基づいて求められる。
工程(B3)において実行される上記一実施形態の第1補填方法がベースとされた物体対応付け処理では、例えば、T0仮想視点画像GRT0のT0物体非対応領域内における座標(xN21,yN21,T0)の画素が、T1仮想視点画像GRT1の物体に係るオクルージョン領域内における座標(xN21−ΔdfT,yN21,T1)の画素に対応付けられる。ここで、ΔdfTは、T0仮想視点画像GRT0の物体を捉えた領域内のうちのT0物体非対応領域の近傍の画素(T0仮想物体近傍点とも言う)と、T1仮想視点画像GRT1の物体を捉えた領域内のうちのT0物体近傍点に対応する画素(T1仮想物体対応点とも言う)との間における座標のシフト量である。このシフト量ΔdfTは、工程(B1)におけるT1画像GLT1とT0仮想視点画像GRT0との間での画素の対応付けの結果と、T1画像GLT1からT1仮想視点画像GRT1が生成される際の画素のシフト量とに基づいて求められる。
<(4−2−2−3)第2補填方法がベースとされた物体対応付け処理>
一方、工程(B3)において実行される上記一実施形態の第2補填方法がベースとされた物体対応付け処理は、例えば、T0仮想視点画像GRT0の物体を捉えた領域内の任意の座標が(xNOR,yNOR,T0)とされれば、次の処理によって実現され得る。
一方、工程(B3)において実行される上記一実施形態の第2補填方法がベースとされた物体対応付け処理は、例えば、T0仮想視点画像GRT0の物体を捉えた領域内の任意の座標が(xNOR,yNOR,T0)とされれば、次の処理によって実現され得る。
まず、第1ステップとして、T0仮想視点画像GRT0のうち、次の3つの条件(具体的には、条件1e〜3e)を満たす被写体の部分が捉えられた画素が、対応付け処理において基準となる点として設定される。
(条件1e)T1画像GSL1で捉えられている被写体の部分であること。
(条件2e)T0仮想視点画像GRT0のうちの、対応付け処理の対象となっている座標が(xNOR,yNOR,T0)である画素(T0処理対象画素とも、T0処理対象点とも言う)の近傍に位置する画素(近傍画素)で捉えられている被写体の部分であること。
(条件3e)T0処理対象点で捉えられている被写体の部分と、カメラ2からの離隔距離が略同一である被写体の部分であること。
具体的には、これらの条件1e〜3eを満たす画素が対応付け処理において基準となるT0仮想基準画素(T0仮想基準点とも言う)として設定される。ここでは、T0仮想基準点の座標が(x0R,y0R,T0)とされる。
ここで、T1画像GLT1のうちのT0仮想基準点と同じ被写体の部分が捉えられた画素(T1基準点とも言う)の座標が(x1L,y1L,T1)とされる。また、T1視点からT1基準点の画素で捉えられた被写体の部分までの距離がD1L(T1)とされ、T0仮想視点からT0仮想基準点の画素で捉えられた被写体の部分までの距離がDOR(T0)とされる。また、T1仮想視点画像GRT1の物体に係るオクルージョン領域において画素値が付与される対象である画素(T1被補填点)の座標が(xo11,yo11,T1)とされる。
距離D1L(T1)は、T1距離情報から得られ、距離DOR(T0)は、T0距離情報から得られる。また、T1基準点の座標と、T1仮想視点画像GRT1においてT1基準点と同じ被写体の部分が捉えられた画素(T1仮想基準点とも言う)の座標との差(T1視差とも言う)がΔdT1とされる。T1視差ΔdT1は、距離D1L(T1)等が上式(1)に代入されることで求められる。また、T0画像GLT0においてT0仮想基準点と同じ被写体の部分が捉えられた画素(T0基準点とも言う)の座標と、T0仮想基準点の座標との差(T0視差とも言う)がΔdT0とされる。T0視差ΔdT0は、距離DOR(T0)等が上式(1)に代入されることで求められる。
次に、第2ステップとして、下式(7)に従った演算によって、T0処理対象点の画素値が付与されるT1被補填点の座標が求められる。具体的には、T0視点とT0仮想視点との組ならびにT1視点とT1仮想視点との組が、それぞれ地面に対して水平な面内において撮影方向と垂直な方向に或る距離ずらされた位置関係を有するため、T1被補填点のX座標の値xo11は、下式(7)の関係を有し、T1被補填点のY座標の値yo11は、yNORとなる。
xo11={x1L−ΔdT1}+(xNOR−x0R)+{ΔdT1−ΔdT0} ・・・(7)。
このようにして、座標(xNOR,yNOR,T0)のT0処理対象点に対して、座標(xo11,yo11,T1)のT1被補填点が対応付けられる。
<(4−2−3)第3変形例>
<(4−2−3−1)第3変形例の概要>
第3変形例では、ある時刻T1の撮影で得られるステレオ画像のT1基準画像GLT1に基づいて生成されるT1仮想視点画像GRT1のT1非撮影領域の各画素に、ある時刻T1とは異なる他の時刻の撮影で得られるステレオ画像に含まれた参照画像の画素値が付与される。これにより、補填処理に要する時間が削減され得る。
<(4−2−3−1)第3変形例の概要>
第3変形例では、ある時刻T1の撮影で得られるステレオ画像のT1基準画像GLT1に基づいて生成されるT1仮想視点画像GRT1のT1非撮影領域の各画素に、ある時刻T1とは異なる他の時刻の撮影で得られるステレオ画像に含まれた参照画像の画素値が付与される。これにより、補填処理に要する時間が削減され得る。
第3変形例は、図24で示された情報処理システム1Cにおいて実現され得る。ここでは、記憶部44に格納されたプログラムPGFが制御部46で実行されることで、図26で示される機能的な構成が実現される例を挙げて説明するが、該機能的な構成が専用のハードウエア構成によって実現されても良い。
図26で示されるように、第3変形例に係る制御部46は、上記第1変形例に係る制御部46が有する機能的な構成がベースとされて、オクルージョン補填部464Dがオクルージョン補填部464Fに置換された機能的な構成を有する。
図30は、第3変形例に係る補填処理を説明するための図である。図30には、図27と同様に、時刻T0、時刻T1、時刻T2、・・・、時刻Tnにおけるカメラ21Cおよびカメラ22Cによる撮影によって得られたn+1組のステレオ画像、ならびにn+1枚のT0〜Tn基準画像GLT0〜GLTnにそれぞれ対応するT0〜Tn仮想視点画像GRT0〜GRTnが例示されている。
図30では、図27と同様に、左側の縦一列にT0〜Tn基準画像GLT0〜GLTnが示され、中央の縦一列にT0〜Tn参照画像GST0〜GSTnが示され、右側の縦一列にT0〜Tn仮想視点画像GRT0〜GRTnが示されている。各T0〜Tn仮想視点画像GRT0〜GRTnは、仮想視点画像生成部463において、T0〜Tn基準画像GLT0〜GLTnおよびT0〜Tn距離情報のうちの対応する時刻の基準画像と距離情報とに基づいてそれぞれ生成される。また、図30では、下になれば下になるほど、撮影時刻が後となるように各画像が示されている。そして、図30では、一例として時間の経過とともに人物の顔がカメラ21C,22C側から見て左を向く方向に回転している様子が示されている。
オクルージョン補填部464Fでは、時刻T1の撮影で得られたT1基準画像GLT1に基づいて生成されるT1仮想視点画像GRT1のうちのT1非撮影領域AofT1の各画素に、時刻T1とは異なる他の時刻の撮影で得られた参照画像(例えば、T2参照画像GST2)のうちの一部の領域(例えば、一部の領域ASfT2)の画素値が付与される。これにより、上記一実施形態において時刻Tnの撮影で得られたTn画像GLTnの一部の領域ALfTnの画素値がT1非撮影領域AofT1の各画素に付与されるよりも、補填処理に要する時間が削減され得る。従って、非撮影領域(オクルージョン領域)の各画素に対する画素値の補填に要する演算量が低減され得る。
ここで、時刻T1に係るT1仮想視点画像GRT1におけるオクルージョン領域AofT1の各画素に、時刻T1とは異なる他の時刻における撮影で得られた参照画像の画素値が付与される補填方法としては、上記一実施形態の第1または第2補填方法と同様な補填方法が採用され得る。例えば、上記一実施形態におけるT1仮想視点画像G11のオクルージョン領域の各画素にT2画像G2の画素値が付与される補填処理がベースとされ、T1仮想視点画像G11がT1仮想視点画像GRT1に置換され、T2画像G2がT2参照画像GST2に置換された補填処理が採用され得る。この補填処理の具体例について以下に説明する。なお、以下では、オクルージョン領域AofT1の各画素に、T2参照画像GST2の画素値が付与される一例を挙げて説明するが、これに限られず、例えば、時刻T1,T2とも異なる時刻に係る参照画像の画素値が付与されても良い。
<(4−2−3−2)距離情報が用いられる補填方法>
まず、時刻T2の撮影時におけるカメラ22CとT2参照画像GST2の各画素で捉えられた被写体の各部までの距離を示すT2距離情報が用いられる補填方法について説明する。この補填方法は、例えば、以下の工程(C1)〜(C4)が順に行われることで実現され得る。
まず、時刻T2の撮影時におけるカメラ22CとT2参照画像GST2の各画素で捉えられた被写体の各部までの距離を示すT2距離情報が用いられる補填方法について説明する。この補填方法は、例えば、以下の工程(C1)〜(C4)が順に行われることで実現され得る。
なお、各時刻T0〜TnにおけるT0〜Tn距離情報は、各時刻T0〜Tnの撮影で得られたステレオ画像における画素の対応付けの処理結果としての各視差Δdと、カメラ21Cとカメラ22Cとの離隔距離と、カメラ21Cとカメラ22Cの焦点距離fとが上式(1)に代入されることで取得され得る。各T0〜Tn距離情報には、カメラ21Cの位置(T0〜Tn基準視点)から被写体の各部分までの距離を示す情報(T0〜Tn基準距離情報)と、カメラ22Cの位置(T0〜Tn参照視点)から被写体の各部分までの距離を示す情報(T0〜Tn参照距離情報)とが含まれる。なお、T0〜Tn距離情報は、別に設けられた測距機による測定によって得られても良い。
(C1)時刻T1に係るT1基準画像GLT1と時刻T2に係るT2参照画像GST2との間で画素の対応付けが行われる。この画素の対応付けは、上記一実施形態と同様に、いわゆるSAD法およびPOC法等の既存の方法で実現され得る。これにより、T2参照画像GST2のうちのT1基準画像GLT1とは対応していない領域(T2非対応領域とも言う)が認識される。
(C2)T2参照画像GST2のT2非対応領域から、T1基準画像GLT1で捉えられていない物体(例えば、頭部2HU)の一部分が捉えられた領域(T2物体出現領域)と、T1基準画像GLT1で捉えられていない背景2WAの一部分が捉えられた領域(T2背景出現領域)とが、時刻T2に係るT2距離情報に基づいて区別可能に認識される。
(C3)T2距離情報に基づいて、T2参照画像GST2のT2物体出現領域と、T1仮想視点画像GRT1の物体に係るオクルージョン領域との間で画素が対応付けられる処理(物体対応付け処理)が行われる。この物体対応付け処理については、上記一実施形態の第1または第2補填方法における物体対応付け処理と同様な処理が採用されれば良い。この物体対応付け処理は、例えば、上記一実施形態の第1または第2補填方法の背景対応付け処理におけるT2背景出現領域N22とオクルージョン領域Ao112とが、T2参照画像GST2のT2物体出現領域とT1仮想視点画像GRT1の物体に係るオクルージョン領域とにそれぞれ置換された処理であれば良い。工程(C3)の処理内容については更に後述する。
(C4)工程(C3)における物体対応付け処理の結果に基づいて、T1仮想視点画像GRT1の物体に係るオクルージョン領域の各画素に、T2参照画像GST2の物体出現領域内の対応する画素に係る画素値が付与される。
なお、ここでは、物体対応付け処理が行われる例を挙げて説明したが、T2距離情報に基づいて、T2参照画像GST2のT2背景出現領域と、T1仮想視点画像GRT1の背景に係るオクルージョン領域との間で画素が対応付けられる処理(背景対応付け処理)が行われても良い。このとき、背景対応付け処理の結果に基づいて、T1仮想視点画像GRT1の背景に係るオクルージョン領域の各画素に、T2参照画像GST2の背景出現領域内の対応する画素に係る画素値が付与される。
<(4−2−3−2−1)第1補填方法がベースとされた物体対応付け処理>
工程(C3)において実行される上記一実施形態の第1補填方法がベースとされた物体対応付け処理では、例えば、T2参照画像GST2のT2物体出現領域内における座標(xN21,yN21,T2)の画素が、T1仮想視点画像GRT1の物体に係るオクルージョン領域内における座標(xN21−Δdf−ΔdfT,yN21,T1)の画素に対応付けられる。ここで、Δdfは、時刻T1におけるカメラ21Cの位置(T1基準視点)と仮想カメラ21vDの位置(T1仮想視点)との離隔距離に応じた視差であり、上式(1)の関係と、該離隔距離と、カメラ21Cの焦点距離fと、T1基準距離情報とから求められる。また、ΔdfTは、T2参照画像GST2の物体を捉えた領域内のうちのT2物体出現領域の近傍の画素(参照物体近傍点)と、T1基準画像GLT1の物体を捉えた領域内のうちの参照物体近傍点に対応する画素(基準物体対応点)との間における座標のシフト量である。
工程(C3)において実行される上記一実施形態の第1補填方法がベースとされた物体対応付け処理では、例えば、T2参照画像GST2のT2物体出現領域内における座標(xN21,yN21,T2)の画素が、T1仮想視点画像GRT1の物体に係るオクルージョン領域内における座標(xN21−Δdf−ΔdfT,yN21,T1)の画素に対応付けられる。ここで、Δdfは、時刻T1におけるカメラ21Cの位置(T1基準視点)と仮想カメラ21vDの位置(T1仮想視点)との離隔距離に応じた視差であり、上式(1)の関係と、該離隔距離と、カメラ21Cの焦点距離fと、T1基準距離情報とから求められる。また、ΔdfTは、T2参照画像GST2の物体を捉えた領域内のうちのT2物体出現領域の近傍の画素(参照物体近傍点)と、T1基準画像GLT1の物体を捉えた領域内のうちの参照物体近傍点に対応する画素(基準物体対応点)との間における座標のシフト量である。
<(4−2−3−2−2)第2補填方法がベースとされた物体対応付け処理>
一方、工程(C3)において実行される上記一実施形態の第2補填方法がベースとされた物体対応付け処理は、例えば、T2参照画像GST2の物体を捉えた領域内の任意の座標が(xN2S,yN2S,T2)とされれば、次の処理によって実現され得る。
一方、工程(C3)において実行される上記一実施形態の第2補填方法がベースとされた物体対応付け処理は、例えば、T2参照画像GST2の物体を捉えた領域内の任意の座標が(xN2S,yN2S,T2)とされれば、次の処理によって実現され得る。
まず、第1ステップとして、T2参照画像GST2のうち、次の3つの条件(具体的には、条件1f〜3f)を満たす被写体の部分が捉えられた画素が、対応付け処理において基準となる点として設定される。
(条件1f)T1基準画像GLT1で捉えられている被写体の部分であること。
(条件2f)T2参照画像GST2のうちの、対応付け処理の対象となっている座標が(xN2S,yN2S,T2)である画素(T2処理対象画素とも、T2処理対象点とも言う)の近傍に位置する画素(近傍画素)で捉えられている被写体の部分であること。
(条件3f)T2処理対象点で捉えられている被写体の部分と、カメラ22Cからの離隔距離が略同一である被写体の部分であること。
具体的には、これらの条件1f〜3fを満たす画素が対応付け処理において基準となるT2参照基準画素(T2参照基準点とも言う)として設定される。ここでは、T2参照基準点の座標が(x2S,y2S,T2)とされる。
ここで、T1基準画像GLT1のうちのT2参照基準点と同じ被写体の部分が捉えられた画素(T1基準基準点とも言う)の座標が(x1L,y1L,T1)とされる。また、T1基準視点からT1基準基準点の画素で捉えられた被写体の部分までの距離がD1L(T1)とされ、T2参照視点からT2参照基準点の画素で捉えられた被写体の部分までの距離がD2S(T2)とされる。また、T1仮想視点画像GRT1の背景に係るオクルージョン領域において画素値が付与される対象である画素(T1被補填点)の座標が(xo11,yo11,T1)とされる。
距離D1L(T1)は、T1基準距離情報から得られ、距離D2S(T2)は、T2参照距離情報から得られる。また、T1基準基準点の座標と、T1仮想視点画像GRT1においてT1基準基準点と同じ被写体の部分が捉えられた画素(T1基準仮想基準点とも言う)の座標との差(T1基準視差とも言う)がΔdT1Lとされる。T1基準視差ΔdT1Lは、距離D1L(T1)等が上式(1)に代入されることで求められる。また、T2参照基準点の座標と、T2仮想視点画像GRT2においてT2参照基準点と同じ被写体の部分が捉えられた画素(T2参照仮想基準点とも言う)の座標との差(T2参照視差とも言う)がΔdT2Sとされる。T2参照視差ΔdT2Sは、距離D2S(T2)等が上式(1)に代入されることで求められる。
次に、第2ステップとして、下式(8)に従った演算によって、T2処理対象点の画素値が付与されるT1被補填点の座標が求められる。具体的には、T1基準視点とT1仮想視点との組ならびにT2参照視点とT2仮想視点との組が、それぞれ地面に対して水平な面内において撮影方向と垂直な方向に或る距離ずらされた位置関係を有するため、T1被補填点のX座標の値xo11は、下式(8)の関係を有し、T1被補填点のY座標の値yo11は、yN2Sとなる。
xo11={x1L−ΔdT1L}+(xN2S−x2S)+{ΔdT1L−ΔdT2S} ・・・(8)。
このようにして、座標(xN2S,yN2S,T2)のT2処理対象点に対して、座標(xo11,yo11,T1)のT1被補填点が対応付けられる。
<(4−2−3−3)距離情報が用いられない補填方法>
次に、カメラ21C,22Cと被写体の各部までの距離を示す距離情報が用いられない補填方法について説明する。この補填方法は、例えば、次の工程(D1)〜(D4)が順に行われることで実現され得る。
次に、カメラ21C,22Cと被写体の各部までの距離を示す距離情報が用いられない補填方法について説明する。この補填方法は、例えば、次の工程(D1)〜(D4)が順に行われることで実現され得る。
(D1)時刻T1のT1基準画像GLT1と時刻T2のT2参照画像GST2との間で画素の対応付けが行われる。この画素の対応付けは、上記一実施形態と同様に、いわゆるSAD法やPOC法等の既存の方法で実現され得る。これにより、T2参照画像GST2のうちのT1基準画像GLT1とは対応していない領域(T2非対応領域とも言う)が認識される。
(D2)T2参照画像GST2のうちのT2非対応領域の周囲の残余の領域において、T2非対応領域との境界近傍に位置する複数の点(境界近傍点とも言う)が設定される。複数の境界近傍点は、例えば、T2非対応領域を挟む左右の2点等であれば良い。
(D3)上記工程(D1)における画素の対応付けの結果に基づき、T1仮想視点画像GRT1のうち、各境界近傍点にそれぞれ対応する点(境界近傍対応点とも言う)が認識される。
(D4)複数の境界近傍対応点の相対的な位置関係に対して、複数の境界近傍点の相対的な位置関係が合致するように、必要に応じてT2非対応領域が拡大または縮小された上で、T1仮想視点画像GRT1のオクルージョン領域に貼り付けられる。これにより、オクルージョン領域の各画素に、T2非対応領域内の対応する画素に係る画素値が付与される。なお、T2非対応領域とオクルージョン領域との形状が若干異なる場合には、T2非対応領域の画素のパターンがオクルージョン領域を覆う程度に拡張された上で、T2非対応領域の画素のパターンがオクルージョン領域に貼り付けられても良い。但し、オクルージョン領域からはみ出る画素パターンは、貼り付けられないことが好ましい。
なお、ここでは、T1仮想視点画像GRT1のオクルージョン領域の各画素に、T2非対応領域内の画素に係る画素値が付与されたが、これに限られない。例えば、T1仮想視点画像GRT1のオクルージョン領域の各画素に、T0,T3〜Tn参照画像GST0,GST3〜GSTnの少なくとも1つの参照画像に含まれる非対応領域内の画素に係る画素値が付与されても良い。このとき、T0,T3〜Tn参照画像GST0,GST3〜GSTnのうちの何れの参照画像に含まれる非対応領域の画素値が用いられるのかについては、例えば、ユーザーによる操作部41の操作に応じて決定されても良いし、上記工程(D1)における画素の対応付けの結果に基づいて決定されても良い。この決定方法としては、例えば、T1非撮影領域AofT1と非対応領域との間における大きさおよび形状の類似度に基づいて決定される方法等が考えられる。類似度としては、領域の大きさの比等が考えられ、T1非撮影領域AofT1の面積を非対応領域の面積で除した値が1に近ければ近いほど、類似しているものとすることができる。
以上のように、第3変形例によれば、例えば、図28で示されるように、時刻T1におけるカメラ21Cの位置(T1基準視点)よりも、時刻T2におけるカメラ22Cの位置(T2参照視点)の方が、時刻T1における仮想カメラ21vDの位置(T1仮想視点)に近ければ、T1仮想視点画像GRT1の非撮影領域の各画素への画素値の補填に要する演算量が低減され得る。従って、補填処理に要する時間が削減され得る。このような効果が顕著に得られる場合としては、例えば、T2参照画像GST2にT1仮想視点画像GRT1のT1非撮影領域AofT1に対応する全画素若しくは全画素に近い数の画素が含まれる場合などがあり得る。
<(4−2−4)第4変形例>
第4変形例では、ある時刻に係る仮想視点画像に含まれる物体領域の非撮影領域の各画素に、ある時刻とは異なる時刻の撮影で得られた画像に含まれる同一姿勢の物体に係る画素値が付与される。これにより、ある物体を捉えた画像領域内における画素値の不自然な変化が低減される。
第4変形例では、ある時刻に係る仮想視点画像に含まれる物体領域の非撮影領域の各画素に、ある時刻とは異なる時刻の撮影で得られた画像に含まれる同一姿勢の物体に係る画素値が付与される。これにより、ある物体を捉えた画像領域内における画素値の不自然な変化が低減される。
第4変形例は、図1で示された情報処理システム1において実現され得る。ここでは、記憶部44に格納されたプログラムPGGが制御部46で実行されることで、図31で示される制御部46の機能的な構成が実現される例を挙げて説明するが、該機能的な構成が専用のハードウエア構成によって実現されても良い。
図31で示されるように、第4変形例に係る制御部46は、図2で示された一実施形態に係る制御部46が有する機能的な構成がベースとされて、画像領域検出部466Gが追加されるとともに、オクルージョン補填部464がオクルージョン補填部464Gに置換されたものである。
画像領域検出部466Gは、画像取得部461で得られる各画像から特定種類の物体(例えば、人物の顔や体等)が捉えられた領域(物体領域)を検出する。ここでは、特定種類の物体に係る標準的な画素値(輝度および色等)の分布を示す画素値のパターンが用意されていれば、その画素値のパターンが用いられたパターンマッチングによって物体領域が検出され得る。
ここで、画像領域検出部466Gでは、物体の姿勢(向き等)に応じた画素値のパターンが準備されていれば、物体の姿勢(向き等)に応じた物体領域が検出され得る。すなわち、画像領域検出部466Gでは、特定種類の物体が捉えられた物体領域の位置情報と、その姿勢に係る情報(姿勢情報とも言う)とが取得され得る。この姿勢情報の一例としては、顔の向きに係る情報が挙げられる。顔の向きは、例えば、所定角度(例えば、5°)毎の画素値のパターンを用いたパターンマッチングによって検出され得る。また、顔を捉えた画像領域(顔領域とも言う)が所定色(例えば肌色等)を基準として検出され、該顔領域を占める鼻を捉えた領域の位置によって顔の向きが検出されても良い。
画像取得部461で得られる画像の数が3以上の複数である場合、画像領域検出部466Gでは、3以上の複数の画像から特定種類の物体が捉えられた3以上の複数の物体領域が検出され得る。ここで検出される物体領域に係る情報は、記憶部44に物体情報441Gとして記憶される。そして、この物体領域に係る情報には、例えば、該物体領域の位置(例えば、アドレス)を示す情報、該物体領域の検出元である画像の撮影時刻を示す情報、および該物体領域で捉えられた物体の姿勢情報とが含まれる。
図32は、時刻T0、時刻T1、時刻T2、・・・、時刻Tnにおけるカメラ2による撮影によって得られたn+1枚のT0〜Tn画像GLT0〜GLTn、ならびにn+1枚のT0〜Tn画像GLT0〜GLTnにそれぞれ対応するT0〜Tn仮想視点画像GRT0〜GRTnが例示されている。
図32では、左側の縦一列にT0〜Tn画像GLT0〜GLTnが示され、右側の縦一列にT0〜Tn仮想視点画像GRT0〜GRTnが示されている。各T0〜Tn仮想視点画像GRT0〜GRTnは、仮想視点画像生成部463において、T0〜Tn画像GLT0〜GLTnおよびT0〜Tn距離情報のうちの対応する時刻の画像と距離情報とに基づいてそれぞれ生成される。また、図32では、下になれば下になるほど、撮影時刻が後となるように各画像が示されている。そして、図32では、一例として時間の経過とともに人物の顔がカメラ2側から見て左を向く方向に回転している様子が捉えられた複数の画像が示されている。
オクルージョン補填部464Gでは、次の工程(E1)〜(E3)が順に行われることで、ある時刻(例えば、時刻T1)の撮影で得られた仮想視点画像(例えば、T1仮想視点画像GRT1)のうちの非撮影領域(例えば、T1非撮影領域AofT1)の各画素に、ある時刻とは異なる時刻(例えば、時刻Tn)の撮影で得られた画像(例えば、Tn画像GLTn)のうちの一部の領域(例えば、一部の領域ALfTn)の画素値が付与される。
(E1)記憶部44内の物体情報441Gが参照され、ある時刻(例えば、時刻T1)の撮影で得られた画像(例えば、T1画像GLT1)の物体領域に係る姿勢情報から、ある時刻に係る仮想視点画像(例えば、T1仮想視点画像GRT1)の物体領域に係る姿勢(仮想姿勢とも言う)を示す情報(仮想姿勢情報とも言う)が得られる。ここでは、画像から仮想視点画像が生成される際に、画素のシフト量等から該仮想視点画像の物体領域に係る仮想姿勢情報が得られ得る。
(E2)領域検出部によって、画像領域検出部466Gで検出された複数の物体領域から、工程(E1)で得られた仮想姿勢を基準とした許容誤差内に含まれる姿勢の物体が捉えられた物体領域(補填用物体領域とも言う)が検出される。ここで言う許容誤差は、例えば、姿勢が或る向きを基準とした物体の回転角度で示される場合には、仮想姿勢に係る回転角度を基準とした値域範囲(例えば、±1°の範囲)との意味を含む。すなわち、許容誤差は、姿勢を示す値について基準値を含む値域範囲との意味を有する。なお、画像領域検出部466Gで検出された複数の物体領域から、工程(E1)で得られた仮想姿勢と一致する姿勢の物体が捉えられた補填用物体領域が検出されることがより好ましい。
(E3)工程(E2)において検出された補填用物体領域に基づいて、仮想視点画像(例えば、T1仮想視点画像GRT1)の物体領域(仮想物体領域とも言う)におけるオクルージョン領域(例えば、T1非撮影領域AofT1)の各画素に画素値が付与される。具体的には、例えば、まず、必要であれば、工程(E2)において検出された補填用物体領域のサイズが、仮想物体領域のサイズに合うように、補填用物体領域が拡大または縮小される。次に、オクルージョン領域の各画素について、仮想物体領域においてオクルージョン領域の各画素が占める相対的な位置と、補填用物体領域において各画素が占める相対的な位置とが一致するように、画素の対応付けが行われる。そして、オクルージョン領域の各画素に、補填用物体領域の対応する画素の画素値が付与される。
ここで、第4変形例に係る画素値補填処理の動作フローについて説明する。図33は、情報処理システム1において実現される第4変形例に係る動作フローを例示するフローチャートである。
図33で示されるように、まず、画像取得部461によって、時刻T0〜Tnの撮影で得られたT0〜Tn画像GLT0〜GLTnが取得され(ステップSP1)、測距機3で得られた時刻T0〜TnにおけるT0〜Tn距離情報が得られる(ステップSP2)。次に、仮想視点画像生成部463によってT0〜Tn画像GLT0〜GLTnとT0〜Tn距離情報とに基づいてT0〜Tn仮想視点画像GRT0〜GRTnが生成される(ステップSP3)。その次に、画像領域検出部466Gによって、各T0〜Tn画像GLT0〜GLTnとT0〜Tn仮想視点画像GRT0〜GRTnとにおける所定種類の物体に係る物体領域の位置情報および姿勢情報が検出される(ステップSP4)。そして、オクルージョン補填部464Gによって、ステップSP4の検出結果に基づきオクルージョン領域AofT1の各画素に対する画素値の付与が行われる(ステップSP5)。
なお、図31では、測距機3によって距離情報が得られる例が示されているが、測距機3の代わりに、ステレオカメラで得られたステレオ画像に基づき距離情報が得られても良い。また、画像取得部461で得られる複数の画像に同一種類の物体が複数個含まれている場合には、画像において各物体が捉えられている位置等によって、各物体が捉えられている物体領域が識別され、各物体領域に係る情報が物体情報441Gにおいて区別可能に記憶されても良い。
また、各物体領域に係る情報に、距離情報を含む3次元位置に係る情報が含まれても良い。また、例えば、ある時刻に係る仮想視点画像のオクルージョン領域の各画素に、ある時刻とは異なる時刻に係る仮想視点画像の画素値が付与されても良いし、ステレオ画像が得られる場合には、ある時刻とは異なる時刻に係る参照画像の画素値が付与されても良い。
また、上記工程(E2)において、画像領域検出部466Gで検出された複数の物体領域から、工程(E1)で得られた仮想姿勢を基準とした許容誤差内に含まれる姿勢の物体が捉えられた2以上の物体領域が検出される場合には、所定のルールに従って、2以上の物体領域が1つの物体領域に絞り込まれても良い。所定のルールとしては、例えば、時刻T1に係るT1仮想視点画像GRT1のオクルージョン領域の各画素に画素値が付与される場合、2以上の物体領域のうち、撮影時刻が時刻T1に最も近い画像に含まれる物体領域が自動的に選択されるルールが挙げられる。また、例えば、2以上の物体領域のうち、輝度および色の少なくとも一方の分布、すなわち時刻T1の撮影で得られたT1画像GLT1の物体領域における画素値のパターンに最も近い画素値のパターンを有する一つの物体領域が自動的に選択されるルールも挙げられる。なお、画素値のパターンが最も近いとは、例えば、画素値のパターンどうしの差分の総和が最も小さいような状態が含まれる。
これにより、仮想視点画像において、ある物体を捉えた画像領域と、その周囲の画像領域との間における不整合が低減され得る。従って、ある物体を捉えた画像領域内における画素値の不自然な変化が低減され得る。
◎なお、上記一実施形態および各種変形例をそれぞれ構成する全部または一部を、適宜、矛盾しない範囲で組み合わせ可能であることは、言うまでもない。
1,1B,1C 情報処理システム
2,21C,22C カメラ
2v,21vD 仮想カメラ
3 測距機
4 情報処理装置
44 記憶部
46 制御部
441,441G 物体情報
461,461C,461D 画像取得部
462,462C 距離情報取得部
463 仮想視点画像生成部
464,464A,464B,464D〜464G オクルージョン補填部
466 物体推定部
466G 画像領域検出部
467 情報更新部
468 距離情報推定部
2,21C,22C カメラ
2v,21vD 仮想カメラ
3 測距機
4 情報処理装置
44 記憶部
46 制御部
441,441G 物体情報
461,461C,461D 画像取得部
462,462C 距離情報取得部
463 仮想視点画像生成部
464,464A,464B,464D〜464G オクルージョン補填部
466 物体推定部
466G 画像領域検出部
467 情報更新部
468 距離情報推定部
上記課題を解決するために、第1の態様に係る画像処理システムは、第1撮影時刻における第1視点からの撮影によって得られる第1画像と、前記第1撮影時刻とは異なる第2撮影時刻における撮影によって得られる第2画像とを取得する取得部と、前記第2画像のうちの前記第1画像とは対応していない非対応領域を認識する認識部を有するとともに、前記第1画像に基づいて擬似的に生成され且つ前記第1視点とは異なる第1仮想視点からの撮影によって取得され得る第1仮想視点画像のうちの、前記第1画像で捉えられていない被写体の部分に相当する非撮影領域の各画素に対し、前記第2画像のうちの前記非対応領域に係る画素値に基づいて画素値を付与する補填部と、を備え、前記補填部が、前記第2画像のうちの前記第1画像と対応する対応領域に含まれる基準点を設定する設定部を有し、前記第1仮想視点画像における前記基準点に対応する仮想基準点の位置情報と、前記第2画像における前記基準点と前記非対応領域に含まれる処理対象点との相対的な位置関係とに基づいて、前記第1仮想視点画像において前記処理対象点に対応する被補填点を特定するとともに、前記処理対象点に係る画素値に従って、前記被補填点に対して画素値を付与する。
第2の態様に係る画像処理システムは、第1の態様に係る画像処理システムであって、前記設定部が、前記対応領域のうちの前記処理対応点の近傍に位置する点を前記基準点として設定する。
第3の態様に係る画像処理システムは、第1の態様に係る画像処理システムであって、前記設定部が、前記対応領域のうちの前記処理対応点の近傍に位置し、且つ前記第2画像の撮影における第2視点から被写体までの離隔距離が前記処理対象点と略同一である点を前記基準点として設定する。
第4の態様に係る画像処理システムは、第1撮影時刻における第1視点からの撮影によって得られる第1画像と、前記第1撮影時刻とは異なる第2撮影時刻における撮影によって得られる第2画像とを取得する取得部と、前記第1画像に基づいて擬似的に生成され且つ前記第1視点とは異なる第1仮想視点からの撮影によって取得され得る第1仮想視点画像のうちの、前記第1画像で捉えられていない被写体の部分に相当する非撮影領域の各画素に対し、前記第2画像に基づいて画素値を付与する補填部と、を備え、前記補填部が、前記第2画像に基づいて擬似的に生成され且つ前記第2画像の撮影における第2視点に対して前記第1視点に対する前記第1仮想視点と同じ位置関係を有する第2仮想視点からの撮影によって取得され得る第2仮想視点画像のうちの、前記第1仮想視点画像における前記非撮影領域の各画素と同一座標に係る画素値を、該非撮影領域の各画素に対して付与する。
第5の態様に係る画像処理システムは、第1撮影時刻における第1視点からの撮影によって得られる第1画像と、前記第1撮影時刻とは異なる第2撮影時刻における撮影によって得られる第2画像とを取得する取得部と、前記第1画像に基づいて擬似的に生成され且つ前記第1視点とは異なる第1仮想視点からの撮影によって取得され得る第1仮想視点画像のうちの、前記第1画像で捉えられていない被写体の部分に相当する非撮影領域の各画素に対し、前記第2画像に基づいて画素値を付与する補填部と、を備え、前記補填部が、前記第2画像から擬似的に生成される第2仮想視点画像に基づいて、前記非撮影領域の各画素に画素値を付与し、前記第2画像が、第2視点からの撮影によって取得される画像であり、前記第2仮想視点画像が、第2仮想視点からの撮影によって取得され得る画像であり、前記第2視点と前記第2仮想視点との相対的な位置関係が、前記第1視点と前記第1仮想視点との相対的な位置関係と同一である。
第6の態様に係る画像処理システムは、第1撮影時刻における第1視点からの撮影によって得られる第1画像と、前記第1撮影時刻とは異なる第2撮影時刻における撮影によって得られる第2画像とを取得する取得部と、前記第1画像に基づいて擬似的に生成され且つ前記第1視点とは異なる第1仮想視点からの撮影によって取得され得る第1仮想視点画像のうちの、前記第1画像で捉えられていない被写体の部分に相当する非撮影領域の各画素に対し、前記第2画像に基づいて画素値を付与する補填部と、を備え、前記第1画像が、第1カメラによる撮影によって得られ、前記第2画像が、前記第1カメラとは異なる第2カメラによる撮影によって得られる。
第7の態様に係る画像処理システムは、第1撮影時刻における第1視点からの撮影によって得られる第1画像と、前記第1撮影時刻とは異なる第2撮影時刻における撮影によって得られる第2画像とを取得する取得部と、前記第1画像に基づいて擬似的に生成され且つ前記第1視点とは異なる第1仮想視点からの撮影によって取得され得る第1仮想視点画像のうちの、前記第1画像で捉えられていない被写体の部分に相当する非撮影領域の各画素に対し、前記第2画像に基づいて画素値を付与する補填部と、を備え、前記第1画像が、第1カメラによる撮影によって得られ、前記取得部が、前記第1撮影時刻に前記第1カメラとは異なる第2カメラによる撮影によって得られる第3画像を取得し、前記補填部が、前記第2画像と前記第3画像とに基づいて、前記非撮影領域の各画素に画素値を付与する。
第8の態様に係る画像処理システムは、第1撮影時刻における第1視点からの撮影によって得られる第1画像と、前記第1撮影時刻とは異なる第2撮影時刻における撮影によって得られる第2画像とを取得する取得部と、前記第1画像に基づいて擬似的に生成され且つ前記第1視点とは異なる第1仮想視点からの撮影によって取得され得る第1仮想視点画像のうちの、前記第1画像で捉えられていない被写体の部分に相当する非撮影領域の各画素に対し、前記第2画像に基づいて画素値を付与する補填部と、を備え、前記第1画像から特定種類の物体が捉えられた第1物体領域と該第1物体領域で捉えられている前記特定種類の物体の第1姿勢とを検出するとともに、前記第1撮影時刻とは異なる複数の撮影時刻における撮影によって得られ且つ前記取得部によって取得される前記複数の画像から前記特定種類の物体が捉えられた複数の物体領域と該複数の物体領域で捉えられている前記特定種類の物体の姿勢とをそれぞれ検出する第1検出部、を更に備え、前記補填部が、前記第1姿勢から前記第1仮想視点画像で捉えられた前記特定種類の物体の第1仮想姿勢の情報を得るとともに、前記複数の物体領域から、前記第1仮想姿勢を基準とした許容誤差内に含まれる姿勢の物体が捉えられた物体領域を検出する第2検出部を有し、該第2検出部によって検出された物体領域に基づいて、前記非撮影領域の各画素に画素値を付与する。
第9の態様に係る画像処理システムは、第8の態様に係る画像処理システムであって、前記補填部が、前記第2検出部によって2以上の物体領域が検出された場合、前記2以上の物体領域のうち、撮影時刻が前記第1撮影時刻に最も近い画像に含まれる物体領域に基づいて、前記非撮影領域の各画素に画素値を付与する。
第10の態様に係る画像処理システムは、第8の態様に係る画像処理システムであって、前記補填部が、前記第2検出部によって2以上の物体領域が検出された場合、前記2以上の物体領域のうち、画素値のパターンが前記第1物体領域の画素値のパターンに最も近い一つの物体領域に基づいて前記非撮影領域の各画素に画素値を付与する。
第11の態様に係る画像処理システムは、第8から第10の何れか1つの態様に係る画像処理システムであって、前記補填部が、前記第2画像のうちの前記第1画像とは対応していない非対応領域を認識する認識部を有するとともに、前記非対応領域に係る画素値に基づいて、前記非撮影領域の各画素に対して画素値を付与する。
第12の態様に係る画像処理システムは、第11の態様に係る画像処理システムであって、前記認識部が、前記第1および第2画像がMPEG形式の動画ファイルを構成する2つのフレーム画像である場合、前記MPEG形式の動画ファイルに含まれる動きベクトルの情報に基づいて、前記非対応領域を認識する。
第13の態様に係る画像処理システムは、第5から第7の何れか1つの態様に係る画像処理システムであって、前記補填部が、前記第2画像のうちの前記第1画像とは対応していない非対応領域を認識する認識部を有するとともに、前記非対応領域に係る画素値に基づいて、前記非撮影領域の各画素に対して画素値を付与する。
第14の態様に係る画像処理システムは、第13の態様に係る画像処理システムであって、前記認識部が、前記第1および第2画像がMPEG形式の動画ファイルを構成する2つのフレーム画像である場合、前記MPEG形式の動画ファイルに含まれる動きベクトルの情報に基づいて、前記非対応領域を認識する。
第15の態様に係る画像処理システムは、第13または第14の態様に係る画像処理システムであって、前記補填部が、前記第2画像のうちの前記第1画像と対応する対応領域に含まれる基準点を設定する設定部を有し、前記第1仮想視点画像における前記基準点に対応する仮想基準点の位置情報と、前記第2画像における前記基準点と前記非対応領域に含まれる処理対象点との相対的な位置関係とに基づいて、前記第1仮想視点画像において前記処理対象点に対応する被補填点を特定するとともに、前記処理対象点に係る画素値に従って、前記被補填点に対して画素値を付与する。
第16の態様に係る画像処理システムは、第15の態様に係る画像処理システムであって、前記設定部が、前記対応領域のうちの前記処理対応点の近傍に位置する点を前記基準点として設定する。
第17の態様に係る画像処理システムは、第15の態様に係る画像処理システムであって、前記設定部が、前記対応領域のうちの前記処理対応点の近傍に位置し、且つ前記第2画像の撮影における第2視点から被写体までの離隔距離が前記処理対象点と略同一である点を前記基準点として設定する。
第18の態様に係る画像処理システムは、第1から第17の何れか1つの態様に係る画像処理システムであって、前記第1画像と、前記第1視点から前記被写体の各部分までの距離に係る距離情報とに基づいて、前記第1仮想視点画像を生成する生成部、を更に備える。
第19の態様に係る画像処理システムは、第18の態様に係る画像処理システムであって、前記第1視点から前記被写体の各部分までの距離を測定する距離測定部、を更に備える。
第11の態様に係る画像処理システムは、第8から第10の何れか1つの態様に係る画像処理システムであって、前記補填部が、前記第2画像のうちの前記第1画像とは対応していない非対応領域を認識する認識部を有するとともに、前記非対応領域に係る画素値に基づいて、前記非撮影領域の各画素に対して画素値を付与する。
第12の態様に係る画像処理システムは、第11の態様に係る画像処理システムであって、前記認識部が、前記第1および第2画像がMPEG形式の動画ファイルを構成する2つのフレーム画像である場合、前記MPEG形式の動画ファイルに含まれる動きベクトルの情報に基づいて、前記非対応領域を認識する。
第13の態様に係る画像処理システムは、第5から第7の何れか1つの態様に係る画像処理システムであって、前記補填部が、前記第2画像のうちの前記第1画像とは対応していない非対応領域を認識する認識部を有するとともに、前記非対応領域に係る画素値に基づいて、前記非撮影領域の各画素に対して画素値を付与する。
第14の態様に係る画像処理システムは、第13の態様に係る画像処理システムであって、前記認識部が、前記第1および第2画像がMPEG形式の動画ファイルを構成する2つのフレーム画像である場合、前記MPEG形式の動画ファイルに含まれる動きベクトルの情報に基づいて、前記非対応領域を認識する。
第15の態様に係る画像処理システムは、第13または第14の態様に係る画像処理システムであって、前記補填部が、前記第2画像のうちの前記第1画像と対応する対応領域に含まれる基準点を設定する設定部を有し、前記第1仮想視点画像における前記基準点に対応する仮想基準点の位置情報と、前記第2画像における前記基準点と前記非対応領域に含まれる処理対象点との相対的な位置関係とに基づいて、前記第1仮想視点画像において前記処理対象点に対応する被補填点を特定するとともに、前記処理対象点に係る画素値に従って、前記被補填点に対して画素値を付与する。
第16の態様に係る画像処理システムは、第15の態様に係る画像処理システムであって、前記設定部が、前記対応領域のうちの前記処理対応点の近傍に位置する点を前記基準点として設定する。
第17の態様に係る画像処理システムは、第15の態様に係る画像処理システムであって、前記設定部が、前記対応領域のうちの前記処理対応点の近傍に位置し、且つ前記第2画像の撮影における第2視点から被写体までの離隔距離が前記処理対象点と略同一である点を前記基準点として設定する。
第18の態様に係る画像処理システムは、第1から第17の何れか1つの態様に係る画像処理システムであって、前記第1画像と、前記第1視点から前記被写体の各部分までの距離に係る距離情報とに基づいて、前記第1仮想視点画像を生成する生成部、を更に備える。
第19の態様に係る画像処理システムは、第18の態様に係る画像処理システムであって、前記第1視点から前記被写体の各部分までの距離を測定する距離測定部、を更に備える。
第20の態様に係る画像処理方法は、第1撮影時刻における第1視点からの撮影によって得られる第1画像と、前記第1撮影時刻とは異なる第2撮影時刻における撮影によって得られる第2画像とを取得する取得ステップと、前記第2画像のうちの前記第1画像とは対応していない非対応領域を認識するとともに、前記第1画像に基づいて擬似的に生成され且つ前記第1視点とは異なる第1仮想視点からの撮影によって取得され得る第1仮想視点画像のうちの、前記第1画像で捉えられていない被写体の部分に相当する非撮影領域の各画素に対し、前記第2画像のうちの前記非対応領域に係る画素値に基づいて画素値を付与する補填ステップと、を備え、前記補填ステップにおいて、前記第2画像のうちの前記第1画像と対応する対応領域に含まれる基準点を設定し、前記第1仮想視点画像における前記基準点に対応する仮想基準点の位置情報と、前記第2画像における前記基準点と前記非対応領域に含まれる処理対象点との相対的な位置関係とに基づいて、前記第1仮想視点画像において前記処理対象点に対応する被補填点を特定するとともに、前記処理対象点に係る画素値に従って、前記被補填点に対して画素値を付与する。
第21の態様に係るプログラムは、情報処理システムに含まれる制御部において実行されることにより、前記情報処理システムを、第1から第19の何れか1つの態様に係る画像処理システムとして機能させる。
第1から第19の何れの態様に係る画像処理システムによっても、第1画像から生成される仮想視点画像における非撮影領域の各画素に係る画素値が、第1画像とは撮影時刻が異なる第2画像に基づいて補填されるため、視覚的に違和感のない仮想視点画像の生成が可能となる。また、非撮影領域の各画素に係る画素値が容易に求められるため、視覚的に違和感のない仮想視点画像の生成が短時間で実行可能となる。さらに、非撮影領域の各画素に係る画素値が高精度で求められるため、視覚的に違和感のない仮想視点画像の生成がより確実に可能となる。
第12および第14の何れの態様に係る画像処理システムによっても、非撮影領域の各画素に係る画素値を特定するための演算量が低減されるため、視覚的に違和感のない仮想視点画像の生成が更に短時間で実行可能となる。
第4の態様に係る画像処理システムによれば、演算量の低減による処理の高速化が図られる。
第5および第6の何れの態様に係る画像処理システムによっても、非撮影領域の各画素に係る画素値の補填に要する演算量が低減され得る。
第7の態様に係る画像処理システムによれば、撮影環境の変化の大小に拘わらず、視覚的に違和感のない仮想視点画像の生成が可能となる。
第8から第10の何れの態様に係る画像処理システムによっても、ある物体を捉えた画像領域内における画素値の不自然な変化が低減され得る。
第9および第10の何れの態様に係る画像処理システムによっても、ある物体を捉えた画像領域と、その周囲の画像領域との間における不整合が低減され得る。
第20の態様に係る画像処理方法および第21の態様に係るプログラムの何れによっても、第1画像から生成される仮想視点画像における非撮影領域の各画素に係る画素値が、第1画像とは撮影時刻が異なる第2画像に基づいて補填されるため、視覚的に違和感のない仮想視点画像の生成が可能となる。また、非撮影領域の各画素に係る画素値が容易に求められるため、視覚的に違和感のない仮想視点画像の生成が短時間で実行可能となる。さらに、非撮影領域の各画素に係る画素値が高精度で求められるため、視覚的に違和感のない仮想視点画像の生成がより確実に可能となる。
Claims (18)
- 第1撮影時刻における第1視点からの撮影によって得られる第1画像と、前記第1撮影時刻とは異なる第2撮影時刻における撮影によって得られる第2画像とを取得する取得部と、
前記第1画像に基づいて擬似的に生成され且つ前記第1視点とは異なる第1仮想視点からの撮影によって取得され得る第1仮想視点画像のうちの、前記第1画像で捉えられていない被写体の部分に相当する非撮影領域の各画素に対し、前記第2画像に基づいて画素値を付与する補填部と、
を備えることを特徴とする画像処理システム。 - 請求項1に記載の画像処理システムであって、
前記第1画像と、前記第1視点から前記被写体の各部分までの距離に係る距離情報とに基づいて、前記第1仮想視点画像を生成する生成部、
を更に備えることを特徴とする画像処理システム。 - 請求項2に記載の画像処理システムであって、
前記第1視点から前記被写体の各部分までの距離を測定する距離測定部、
を更に備えることを特徴とする画像処理システム。 - 請求項1から請求項3の何れか1つの請求項に記載の画像処理システムであって、
前記補填部が、
前記第2画像のうちの前記第1画像とは対応していない非対応領域を認識する認識部を有するとともに、前記非対応領域に係る画素値に基づいて、前記非撮影領域の各画素に対して画素値を付与することを特徴とする画像処理システム。 - 請求項4に記載の画像処理システムであって、
前記認識部が、
前記第1および第2画像がMPEG形式の動画ファイルを構成する2つのフレーム画像である場合、前記MPEG形式の動画ファイルに含まれる動きベクトルの情報に基づいて、前記非対応領域を認識することを特徴とする画像処理システム。 - 請求項4または請求項5に記載の画像処理システムであって、
前記補填部が、
前記第2画像のうちの前記第1画像と対応する対応領域に含まれる基準点を設定する設定部を有し、前記第1仮想視点画像における前記基準点に対応する仮想基準点の位置情報と、前記第2画像における前記基準点と前記非対応領域に含まれる処理対象点との相対的な位置関係とに基づいて、前記第1仮想視点画像において前記処理対象点に対応する被補填点を特定するとともに、前記処理対象点に係る画素値に従って、前記被補填点に対して画素値を付与することを特徴とする画像処理システム。 - 請求項6に記載の画像処理システムであって、
前記設定部が、
前記対応領域のうちの前記処理対応点の近傍に位置する点を前記基準点として設定することを特徴とする画像処理システム。 - 請求項6に記載の画像処理システムであって、
前記設定部が、
前記対応領域のうちの前記処理対応点の近傍に位置し、且つ前記第2画像の撮影における第2視点から被写体までの離隔距離が前記処理対象点と略同一である点を前記基準点として設定することを特徴とする画像処理システム。 - 請求項1から請求項3の何れか1つの請求項に記載の画像処理システムであって、
前記補填部が、
前記第2画像に基づいて擬似的に生成され且つ前記第2画像の撮影における第2視点に対して前記第1視点に対する前記第1仮想視点と同じ位置関係を有する第2仮想視点からの撮影によって取得され得る第2仮想視点画像のうちの、前記第1仮想視点画像における前記非撮影領域の各画素と同一座標に係る画素値を、該非撮影領域の各画素に対して付与することを特徴とする画像処理システム。 - 請求項3に記載の画像処理システムであって、
前記第1画像から特定種類の物体が捉えられた第1物体領域を検出するとともに、前記第2画像から前記特定種類の物体が捉えられた第2物体領域を検出し、前記測距部による測定結果に基づいて、前記第1および第2物体領域に含まれる各画素に係る3次元情報を算出する演算部と、
前記演算部による前記第1物体領域に係る算出結果に基づいて、前記第1物体領域に含まれる各画素に対し、3次元情報と画素値とを関連付けた物体情報を記憶する記憶部と、
前記演算部による前記第2物体領域に係る算出結果に基づいて、前記第2物体領域のうちの前記第1物体領域に対応していない各画素に対し、3次元情報と画素値とを関連付けた情報を前記物体情報に追加する更新部と、
を更に備え、
前記補填部が、
前記物体情報に基づいて、前記非撮影領域の各画素に対して画素値を付与することを特徴とする画像処理システム。 - 請求項1から請求項8の何れか1つの請求項に記載の画像処理システムであって、
前記補填部が、
前記第2画像から擬似的に生成される第2仮想視点画像に基づいて、前記非撮影領域の各画素に画素値を付与し、
前記第2画像が、
第2視点からの撮影によって取得される画像であり、
前記第2仮想視点画像が、
第2仮想視点からの撮影によって取得され得る画像であり、
前記第2視点と前記第2仮想視点との相対的な位置関係が、前記第1視点と前記第1仮想視点との相対的な位置関係と同一であることを特徴とする画像処理システム。 - 請求項1から請求項8の何れか1つの請求項に記載の画像処理システムであって、
前記第1画像が、
第1カメラによる撮影によって得られ、
前記第2画像が、
前記第1カメラとは異なる第2カメラによる撮影によって得られることを特徴とする画像処理システム。 - 請求項1から請求項8の何れか1つの請求項に記載の画像処理システムであって、
前記第1画像が、
第1カメラによる撮影によって得られ、
前記取得部が、
前記第1撮影時刻に前記第1カメラとは異なる第2カメラによる撮影によって得られる第3画像を取得し、
前記補填部が、
前記第2画像と前記第3画像とに基づいて、前記非撮影領域の各画素に画素値を付与することを特徴とする画像処理システム。 - 請求項1から請求項5の何れか1つの請求項に記載の画像処理システムであって、
前記第1画像から特定種類の物体が捉えられた第1物体領域と該第1物体領域で捉えられている前記特定種類の物体の第1姿勢とを検出するとともに、前記第1撮影時刻とは異なる複数の撮影時刻における撮影によって得られ且つ前記取得部によって取得される前記複数の画像から前記特定種類の物体が捉えられた複数の物体領域と該複数の物体領域で捉えられている前記特定種類の物体の姿勢とをそれぞれ検出する第1検出部、
を更に備え、
前記補填部が、
前記第1姿勢から前記第1仮想視点画像で捉えられた前記特定種類の物体の第1仮想姿勢の情報を得るとともに、前記複数の物体領域から、前記第1仮想姿勢を基準とした許容誤差内に含まれる姿勢の物体が捉えられた物体領域を検出する第2検出部を有し、該第2検出部によって検出された物体領域に基づいて、前記非撮影領域の各画素に画素値を付与することを特徴とする画像処理システム。 - 請求項14に記載の画像処理システムであって、
前記補填部が、
前記第2検出部によって2以上の物体領域が検出された場合、前記2以上の物体領域のうち、撮影時刻が前記第1撮影時刻に最も近い画像に含まれる物体領域に基づいて、前記非撮影領域の各画素に画素値を付与することを特徴とする画像処理システム。 - 請求項14に記載の画像処理システムであって、
前記補填部が、
前記第2検出部によって2以上の物体領域が検出された場合、前記2以上の物体領域のうち、画素値のパターンが前記第1物体領域の画素値のパターンに最も近い一つの物体領域に基づいて前記非撮影領域の各画素に画素値を付与することを特徴とする画像処理システム。 - 第1撮影時刻における第1視点からの撮影によって得られる第1画像と、前記第1撮影時刻とは異なる第2撮影時刻における撮影によって得られる第2画像とを取得する取得ステップと、
前記第1画像に基づいて擬似的に生成され且つ前記第1視点とは異なる第1仮想視点からの撮影によって取得され得る第1仮想視点画像のうちの、前記第1画像で捉えられていない被写体の部分に相当する非撮影領域の各画素に対し、前記第2画像に基づいて画素値を付与する補填ステップと、
を備えることを特徴とする画像処理方法。 - 情報処理システムに含まれる制御部において実行されることにより、前記情報処理システムを、請求項1から請求項16の何れか1つの請求項に記載の画像処理システムとして機能させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011552722A JP5327339B2 (ja) | 2010-02-02 | 2011-01-12 | 画像処理システム、画像処理方法、およびプログラム |
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010021138 | 2010-02-02 | ||
JP2010021138 | 2010-02-02 | ||
JP2010246573 | 2010-11-02 | ||
JP2010246573 | 2010-11-02 | ||
PCT/JP2011/050320 WO2011096252A1 (ja) | 2010-02-02 | 2011-01-12 | 画像処理システム、画像処理方法、およびプログラム |
JP2011552722A JP5327339B2 (ja) | 2010-02-02 | 2011-01-12 | 画像処理システム、画像処理方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2011096252A1 true JPWO2011096252A1 (ja) | 2013-06-10 |
JP5327339B2 JP5327339B2 (ja) | 2013-10-30 |
Family
ID=44355262
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011552722A Expired - Fee Related JP5327339B2 (ja) | 2010-02-02 | 2011-01-12 | 画像処理システム、画像処理方法、およびプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US9013559B2 (ja) |
EP (1) | EP2533191B1 (ja) |
JP (1) | JP5327339B2 (ja) |
WO (1) | WO2011096252A1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101960852B1 (ko) * | 2011-01-13 | 2019-03-22 | 삼성전자주식회사 | 배경 픽셀 확장 및 배경 우선 패치 매칭을 사용하는 멀티 뷰 렌더링 장치 및 방법 |
US9582928B2 (en) | 2011-01-13 | 2017-02-28 | Samsung Electronics Co., Ltd. | Multi-view rendering apparatus and method using background pixel expansion and background-first patch matching |
GB2494707B (en) | 2011-09-19 | 2014-10-08 | Sony Comp Entertainment Europe | Generation and display of stereoscopic images |
JP2014014034A (ja) * | 2012-07-05 | 2014-01-23 | Toshiba Corp | 視差画像生成装置及び視差画像生成方法 |
WO2014076899A1 (ja) * | 2012-11-16 | 2014-05-22 | パナソニック株式会社 | カメラ、カメラシステム、及び自己診断方法 |
JP6143469B2 (ja) * | 2013-01-17 | 2017-06-07 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2014230251A (ja) * | 2013-05-27 | 2014-12-08 | ソニー株式会社 | 画像処理装置、および画像処理方法 |
JP6395423B2 (ja) * | 2014-04-04 | 2018-09-26 | キヤノン株式会社 | 画像処理装置、制御方法及びプログラム |
CN104333747B (zh) * | 2014-11-28 | 2017-01-18 | 广东欧珀移动通信有限公司 | 一种立体拍照方法和立体拍照设备 |
US10633095B2 (en) * | 2016-04-04 | 2020-04-28 | Panasonic Intellectual Property Management Co., Ltd. | Imaging system, video processing system, and video processing method |
JP6938123B2 (ja) * | 2016-09-01 | 2021-09-22 | キヤノン株式会社 | 表示制御装置、表示制御方法及びプログラム |
DE102017203721A1 (de) * | 2017-03-07 | 2018-09-13 | Bitmanagement Software GmbH | Vorrichtung und Verfahren zur Darstellung eines Raumbilds von einem Objekt in einer virtuellen Umgebung |
JP6967603B2 (ja) * | 2017-03-17 | 2021-11-17 | ユニティ アイピーアール エイピーエスUnity Ipr Aps | 自動化されたカメラコリジョンおよび構図保存のための方法およびシステム |
JP2019125303A (ja) * | 2018-01-19 | 2019-07-25 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP2020098412A (ja) * | 2018-12-17 | 2020-06-25 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP7344289B2 (ja) * | 2019-06-14 | 2023-09-13 | 富士フイルム株式会社 | 点群データ処理装置、点群データ処理方法及びプログラム |
US20230005213A1 (en) * | 2020-01-23 | 2023-01-05 | Sony Group Corporation | Imaging apparatus, imaging method, and program |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69823116D1 (de) * | 1997-08-05 | 2004-05-19 | Canon Kk | Bildverarbeitungsverfahren und -gerät |
JP2000253422A (ja) * | 1999-03-03 | 2000-09-14 | Toshiba Corp | 2次元映像からの立体映像生成方法 |
JP2003502925A (ja) * | 1999-06-11 | 2003-01-21 | エミーレ・ヘンドリクス | 一台の携帯カメラによる3d情景の撮影法 |
EP1185112B1 (en) * | 2000-08-25 | 2005-12-14 | Fuji Photo Film Co., Ltd. | Apparatus for parallax image capturing and parallax image processing |
US8682097B2 (en) * | 2006-02-14 | 2014-03-25 | DigitalOptics Corporation Europe Limited | Digital image enhancement with reference images |
JP4214976B2 (ja) | 2003-09-24 | 2009-01-28 | 日本ビクター株式会社 | 擬似立体画像作成装置及び擬似立体画像作成方法並びに擬似立体画像表示システム |
US7659923B1 (en) * | 2005-06-24 | 2010-02-09 | David Alan Johnson | Elimination of blink-related closed eyes in portrait photography |
US7605817B2 (en) * | 2005-11-09 | 2009-10-20 | 3M Innovative Properties Company | Determining camera motion |
US8325268B2 (en) * | 2007-12-28 | 2012-12-04 | Sanyo Electric Co., Ltd. | Image processing apparatus and photographing apparatus |
JP5428210B2 (ja) * | 2008-06-11 | 2014-02-26 | ソニー株式会社 | 情報処理装置、撮像システム、録画制御方法及びプログラム |
JP4513905B2 (ja) * | 2008-06-27 | 2010-07-28 | ソニー株式会社 | 信号処理装置、信号処理方法、プログラム及び記録媒体 |
JP5413002B2 (ja) * | 2008-09-08 | 2014-02-12 | ソニー株式会社 | 撮像装置および方法、並びにプログラム |
KR101468267B1 (ko) * | 2008-10-02 | 2014-12-15 | 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 | 중간 뷰 합성 및 멀티-뷰 데이터 신호 추출 |
-
2011
- 2011-01-12 US US13/574,962 patent/US9013559B2/en not_active Expired - Fee Related
- 2011-01-12 EP EP11739601.0A patent/EP2533191B1/en not_active Not-in-force
- 2011-01-12 WO PCT/JP2011/050320 patent/WO2011096252A1/ja active Application Filing
- 2011-01-12 JP JP2011552722A patent/JP5327339B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP5327339B2 (ja) | 2013-10-30 |
EP2533191A4 (en) | 2013-07-31 |
US20120293693A1 (en) | 2012-11-22 |
EP2533191B1 (en) | 2017-06-14 |
US9013559B2 (en) | 2015-04-21 |
WO2011096252A1 (ja) | 2011-08-11 |
EP2533191A1 (en) | 2012-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5327339B2 (ja) | 画像処理システム、画像処理方法、およびプログラム | |
US10609282B2 (en) | Wide-area image acquiring method and apparatus | |
JP5153940B2 (ja) | 動き補償を用いた画像の奥行き抽出のためのシステムおよび方法 | |
JP3745117B2 (ja) | 画像処理装置及び画像処理方法 | |
US20170148179A1 (en) | System and method for infinite smoothing of image sequences | |
US11589023B2 (en) | Image processing apparatus, image processing method, and storage medium | |
WO2018068719A1 (zh) | 一种图像拼接方法及装置 | |
CN106254854B (zh) | 三维图像的获得方法、装置及*** | |
US9378583B2 (en) | Apparatus and method for bidirectionally inpainting occlusion area based on predicted volume | |
US10027949B2 (en) | Image processing apparatus, image processing method, and recording medium | |
WO2017076106A1 (zh) | 图像的拼接方法和装置 | |
KR20180136445A (ko) | 정보 처리 장치, 정보 처리 방법, 및 프로그램 | |
JP7123736B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
KR20150120066A (ko) | 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법 | |
US10349040B2 (en) | Storing data retrieved from different sensors for generating a 3-D image | |
JP4819834B2 (ja) | 立体映像処理装置及び立体映像処理方法 | |
JP2016218729A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2013093836A (ja) | 撮像装置、画像処理装置およびその方法 | |
KR20220121533A (ko) | 어레이 카메라를 통해 획득된 영상을 복원하는 영상 복원 방법 및 영상 복원 장치 | |
JP6732440B2 (ja) | 画像処理装置、画像処理方法、及びそのプログラム | |
JP5464129B2 (ja) | 画像処理装置および視差情報生成装置 | |
JP2020028114A (ja) | 立体画像生成装置及びそのプログラム | |
KR20110025083A (ko) | 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법 | |
WO2021049281A1 (ja) | 画像処理装置、ヘッドマウントディスプレイ、および空間情報取得方法 | |
JP2021149513A (ja) | 画像処理装置、画像処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130319 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130509 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130625 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130708 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |