JP5387905B2 - 画像処理装置および方法、並びにプログラム - Google Patents
画像処理装置および方法、並びにプログラム Download PDFInfo
- Publication number
- JP5387905B2 JP5387905B2 JP2009294547A JP2009294547A JP5387905B2 JP 5387905 B2 JP5387905 B2 JP 5387905B2 JP 2009294547 A JP2009294547 A JP 2009294547A JP 2009294547 A JP2009294547 A JP 2009294547A JP 5387905 B2 JP5387905 B2 JP 5387905B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- viewpoint
- strip
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
- H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
- Studio Circuits (AREA)
- Image Processing (AREA)
Description
本発明は画像処理装置および方法、並びにプログラムに関し、特に、より適切な視差を有する多視点画像を表示させることができるようにした画像処理装置および方法、並びにプログラムに関する。
従来、撮像装置を所定方向にパンさせながら撮像して得られた複数の静止画像を重ね合わせて合成することで、パノラマ画像を生成する技術が知られている(例えば、特許文献1参照)。パノラマ画像は、複数の静止画像を並べて合成することで得られる画像であるので、パノラマ画像によれば、1つの静止画像の撮像時に撮像対象となる空間上の領域よりも、より広い領域を被写体として表示することができる。
また、パノラマ画像を得るために、撮像装置をパンさせながら複数の静止画像を撮像した場合には、いくつかの静止画像に、同じ被写体が含まれていることがある。そのような場合において、異なる静止画像上の同じ被写体は、互いに異なる位置から撮像されたものであるから、視差が生じていることになる。
これを利用して、複数の静止画像から、互いに視差を有する複数のパノラマ画像を生成し、それらのパノラマ画像の一部または全部の領域をレンチキュラ方式で同時に表示すれば、多視点画像を表示させることができる。
ここで、多視点画像とは、画像が表示される表示画面を見る位置によって、つまりユーザの視点位置によって、同じ被写体が異なる視差で表示される画像である。例えば、複数のパノラマ画像をそのまま多視点画像とする場合、それらの複数のパノラマ画像のうち、ユーザの視点位置により定まる2つが、それぞれユーザの右眼および左眼で観察されるようにパノラマ画像が表示される。このとき、ユーザにより観察される2つのパノラマ画像は視差を有するから、ユーザにはパノラマ画像上の被写体が立体的に見える。
ところが、多視点画像を表示させる表示装置の画面の大きさ等の視聴環境によって、多視点画像を構成する各画像間に持たせるべき適切な視差の大きさは変化する。しかしながら、上述した技術では、視聴環境に合わせて適切な視差を有する多視点画像を得ることはできなかった。
本発明は、このような状況に鑑みてなされたものであり、視聴環境に合った、より適切な視差を有する多視点画像を得ることができるようにするものである。
本発明の第1の側面の画像処理装置は、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、多視点画像の生成に用いられる互いに視差を有する複数の合成画像を生成する画像処理装置であって、前記多視点画像の視聴環境を示す情報に基づいて、複数の前記合成画像のそれぞれについて、前記合成画像の生成に用いられる画像が切り出される前記撮像画像上の短冊領域を決定する短冊領域決定手段と、複数の前記撮像画像から前記短冊領域の画像を切り出して合成し、前記合成画像を生成する合成画像生成手段と、複数の前記合成画像を用いて、ユーザの視点位置に応じて異なる視差の被写体が立体表示される前記多視点画像を生成する多視点画像生成手段とを備える。
前記短冊領域決定手段には、前記撮像画像上の前記短冊領域が、前記視聴環境を示す情報により示される前記多視点画像の表示先の画面サイズによって定まる位置関係となるように、前記短冊領域のそれぞれの位置を決定させることができる。
前記短冊領域決定手段には、前記撮像画像において、前記撮像画像の端により近い前記短冊領域ほど、隣接する前記短冊領域同士の距離がより短くなるように、前記短冊領域の位置を決定させることができる。
本発明の第1の側面の画像処理方法またはプログラムは、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、多視点画像の生成に用いられる互いに視差を有する複数の合成画像を生成する画像処理方法またはプログラムであって、前記多視点画像の視聴環境を示す情報に基づいて、複数の前記合成画像のそれぞれについて、前記合成画像の生成に用いられる画像が切り出される前記撮像画像上の短冊領域を決定し、複数の前記撮像画像から前記短冊領域の画像を切り出して合成することで、前記合成画像を生成し、複数の前記合成画像を用いて、ユーザの視点位置に応じて異なる視差の被写体が立体表示される前記多視点画像を生成するステップを含む。
本発明の第1の側面においては、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、多視点画像の生成に用いられる互いに視差を有する複数の合成画像を生成する画像処理において、前記多視点画像の視聴環境を示す情報に基づいて、複数の前記合成画像のそれぞれについて、前記合成画像の生成に用いられる画像が切り出される前記撮像画像上の短冊領域が決定され、複数の前記撮像画像から前記短冊領域の画像が切り出されて合成され、前記合成画像が生成され、複数の前記合成画像が用いられて、ユーザの視点位置に応じて異なる視差の被写体が立体表示される前記多視点画像が生成される。
本発明の第2の側面の画像処理装置は、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、多視点画像の生成に用いられる互いに視差を有する複数の合成画像を生成する画像処理装置であって、複数の前記合成画像のそれぞれについて、前記合成画像の生成に用いられる画像が切り出される前記撮像画像上の短冊領域を決定する短冊領域決定手段と、複数の前記撮像画像から前記短冊領域の画像を切り出して合成し、前記合成画像を生成する合成画像生成手段と、前記多視点画像の視聴環境を示す情報に基づいて、複数の前記合成画像のうちのいくつかを選択し、選択された前記合成画像を用いて、ユーザの視点位置に応じて異なる視差の被写体が立体表示される前記多視点画像を生成する多視点画像生成手段とを備える。
前記多視点画像生成手段には、前記視聴環境を示す情報により示される前記多視点画像の表示先の画面サイズによって定まる位置関係の前記短冊領域の画像から生成された前記パノラマ画像を選択させ、前記多視点画像を生成させることができる。
前記多視点画像生成手段には、前記視聴環境が変更された場合、変更された前記視聴環境を示す情報に基づいて、前記多視点画像を再生成させることができる。
前記多視点画像生成手段には、前記視聴環境として前記多視点画像の表示倍率が変更された場合、前記表示倍率の変更に応じて、前記画面サイズによって定まる前記位置関係を変更させることができる。
本発明の第2の側面の画像処理方法またはプログラムは、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、多視点画像の生成に用いられる互いに視差を有する複数の合成画像を生成する画像処理方法またはプログラムであって、複数の前記合成画像のそれぞれについて、前記合成画像の生成に用いられる画像が切り出される前記撮像画像上の短冊領域を決定し、複数の前記撮像画像から前記短冊領域の画像を切り出して合成することで、前記合成画像を生成し、前記多視点画像の視聴環境を示す情報に基づいて、複数の前記合成画像のうちのいくつかを選択し、選択された前記合成画像を用いて、ユーザの視点位置に応じて異なる視差の被写体が立体表示される前記多視点画像を生成するステップを含む。
本発明の第2の側面においては、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、多視点画像の生成に用いられる互いに視差を有する複数の合成画像を生成する画像処理において、複数の前記合成画像のそれぞれについて、前記合成画像の生成に用いられる画像が切り出される前記撮像画像上の短冊領域が決定され、複数の前記撮像画像から前記短冊領域の画像が切り出されて合成され、前記合成画像が生成され、前記多視点画像の視聴環境を示す情報に基づいて、複数の前記合成画像のうちのいくつかが選択され、選択された前記合成画像が用いられて、ユーザの視点位置に応じて異なる視差の被写体が立体表示される前記多視点画像が生成される。
本発明の第1の側面によれば、視聴環境に合った、より適切な視差を有する多視点画像を得ることができる。
また、本発明の第2の側面によれば、視聴環境に合った、より適切な視差を有する多視点画像を得ることができる。
以下、図面を参照して、本発明を適用した実施の形態について説明する。
〈第1の実施の形態〉
[多視点画像の説明]
本発明を適用した撮像装置は、例えばカメラなどからなり、撮像装置が移動している状態で、撮像装置が連続的に撮像した複数の撮像画像から、多視点画像を生成する。多視点画像は、互いに視差を有する複数のパノラマ画像から構成される。
[多視点画像の説明]
本発明を適用した撮像装置は、例えばカメラなどからなり、撮像装置が移動している状態で、撮像装置が連続的に撮像した複数の撮像画像から、多視点画像を生成する。多視点画像は、互いに視差を有する複数のパノラマ画像から構成される。
ユーザが撮像装置に多視点画像を生成させようとする場合、ユーザは撮像装置を操作して、多視点画像の生成に用いられる撮像画像を撮像させる。
例えば、図1の左側に示すように、撮像装置のレンズ主点が位置fp1にある状態で、仮想撮像面VSを撮像すると、撮像画像IMが得られる。例えば、撮像画像IM上の領域TRRおよび領域TRLには、それぞれ実空間上の領域SERおよび領域SELにある被写体が表示されることになる。
そして、ユーザが図1中、横方向に撮像装置を移動させながら複数の撮像画像を撮像させると、各撮像画像は視差を有することになる。具体的には、図1中央に示すように、時刻T=tにおいて、レンズ主点が位置fp1にある状態で撮像画像を撮像し、時刻T=t+Δtにおいて、レンズ主点が位置fp2にある状態で撮像画像を撮像すると、それらの撮像画像には、同じ被写体OB1が表示される。このとき、被写体OB1の撮像位置は互いに異なるので視差が生じることになる。これを利用すれば、同じ被写体が表示される、互いに視差を有するパノラマ画像が得られる。
すなわち、撮像装置を移動させながら撮像して得られた各撮像画像から、それぞれ撮像画像IMの領域TRRおよび領域TRLに対応する領域を切り出して合成すれば、図1中、右側に示すように、パノラマ画像PRとパノラマ画像PLが得られる。
ここで、パノラマ画像PRは、各撮像画像の領域TRRに対応する領域を並べて合成することで得られる画像であり、このパノラマ画像PRは、位置fp3を仮想的なレンズ主点位置として被写体を撮像して得られる画像である。一方、パノラマ画像PLは、各撮像画像の領域TRLに対応する領域を並べて合成することで得られる画像であり、このパノラマ画像PLは、位置fp4を仮想的なレンズ主点位置として被写体を撮像して得られる画像である。そしてパノラマ画像PRとパノラマ画像PLは、互いに視差を有し、同じ被写体が表示されている画像である。
そこで、パノラマ画像PRを右眼用の画像とし、パノラマ画像PLを左眼用の画像としてレンチキュラ方式等により同時に表示すれば、ユーザの目には、立体的なパノラマ画像が見えることになる。
このように、複数の撮像画像の所定の領域(以下、短冊領域と称する)を切り出して、それらの部分的な画像を並べて合成し、1つの画像とすれば1つのパノラマ画像が得られる。また、短冊領域をずらして異なるパノラマ画像を生成すれば、互いに視差を有するパノラマ画像の対を得ることができ、それらのパノラマ画像を用いれば、被写体を立体的に表示させることができる。
これと同様にして、撮像画像から3以上の短冊領域を切り出して、それらの短冊領域の画像を合成すれば、互いに視点の異なる複数のパノラマ画像を得ることができる。そして、それらの複数のパノラマ画像をレンチキュラ方式で同時に表示すれば、ユーザの視点位置によって、同じ被写体が異なる視差で立体表示されることになる。つまり多視点画像が表示されることになる。
このような多視点画像が生成される場合、例えば図2に示すように、各撮像画像IMにおいて、互いに異なる複数の短冊領域が定められ、それらの短冊領域から切り出された画像が合成されて、複数のパノラマ画像が生成される。
図2の例では、撮像画像IMの図中、左側から右側まで順番に、9つの異なる短冊領域V(0)乃至短冊領域V(8)が定められている。撮像画像IM上の各短冊領域の配置は、撮像画像IMの中央の領域ほど疎とされ、撮像画像IMの端により近い領域ほどより密とされている。
これらの短冊領域の位置は、基準となる短冊領域V(0)からの距離を示すオフセット量により定められる。例えば、短冊領域V(1)のオフセット量がOF1であるとすると、短冊領域V(0)から短冊領域V(1)までの距離がOF1となるように、短冊領域V(1)の位置が定められる。
このように複数の短冊領域が定められると、連続して撮像された複数の撮像画像IMから、短冊領域V(0)乃至短冊領域V(8)の画像が切り出されて合成され、パノラマ画像PV(0)乃至パノラマ画像PV(8)が生成される。例えば、複数の撮像画像IMのそれぞれから短冊領域V(0)のそれぞれが切り出されて合成され、パノラマ画像PV(0)が生成される。そして、得られた複数のパノラマ画像の組が多視点画像とされる。
[撮像装置の構成]
図3は、本発明を適用した撮像装置の一実施の形態の構成例を示す図である。
図3は、本発明を適用した撮像装置の一実施の形態の構成例を示す図である。
撮像装置11は、連続して被写体を撮像し、得られた撮像画像から多視点画像を生成する。撮像装置11は、生成された多視点画像を、撮像装置11自体に設けられた表示部に表示したり、撮像装置11に接続された表示部12に表示させたりする。
表示部12は、例えばLCD(Liquid Crystal Display)やレンチキュラレンズからなる多視点表示用の裸眼3Dディスプレイであり、撮像装置11からの多視点画像を立体表示する。
撮像装置11は、撮像部21、動き算出部22、短冊領域決定部23、合成領域決定部24、パノラマ画像生成部25−1乃至パノラマ画像生成部25−N、視差制御部26、表示選択部27、および表示部28から構成される。
撮像部21は、光学レンズ等の光学系や撮像素子などから構成され、被写体からの光を電気信号に変換することで、被写体の像を撮像し、その結果得られた撮像画像を動き算出部22に供給する。
例えば、ユーザが撮像装置11を所定方向に移動させながら連続して撮像画像の撮像を指示した場合、時間的に連続して撮像された撮像画像が、順次、撮像部21から動き算出部22に供給されることになる。なお、以下、連続して撮像された撮像画像のうち、m番目に撮像された撮像画像をフレームmの撮像画像とも称することとする。
動き算出部22は、撮像部21から供給された撮像画像に基づいて、撮像画像のフレーム間における、撮像装置11の動き(移動)を補償する動き補償パラメータを算出し、撮像画像および動き補償パラメータを短冊領域決定部23に供給する。
この動き補償パラメータは、複数の撮像画像のそれぞれを、実空間上において動きのない同じ被写体がほぼ重なるように並べた場合における、撮像画像同士の相対的な位置関係を示す情報である。
例えば、互いに垂直なx方向およびy方向からなる2次元平面(以下、投影面と称する)を考え、撮像画像の撮像時にユーザが撮像装置11を移動させる方向に対応する方向がx方向であったとする。また、各撮像画像の端は、x方向およびy方向にほぼ平行であるとする。この場合、動き算出部22は、各撮像画像を投影面上に並べたときに、隣接する2つの撮像画像、つまり連続するフレームの撮像画像同士の相対的な位置関係を示す情報を動き補償パラメータとして算出する。
なお、以下、x方向に平行な方向のうち、撮像装置11の移動方向と同じ方向を、特に+x方向とも称し、+x方向と反対の方向を−x方向とも称することとする。したがって、投影面上に各フレームの撮像画像を並べた場合、フレームmの撮像画像は、フレーム(m−1)の撮像画像に対して、+x方向側に位置することになる。
短冊領域決定部23は、動き算出部22から供給された撮像画像および動き補償パラメータと、入力された視聴環境パラメータに基づいて、撮像画像上において、パノラマ画像の生成に用いるために切り出される領域である短冊領域を決定する。
ここで、視聴環境パラメータは、ユーザの多視点画像の視聴時の環境を特定する情報である。例えば、多視点画像が表示される表示装置の表示画面のサイズ(以下、画面サイズと称する)、表示画面からユーザまでの距離(以下、視聴距離とも称する)、多視点画像の視点数などの情報が視聴環境パラメータに含まれている。
なお、表示画面のサイズや視聴距離、多視点画像の視点数などは、ユーザにより入力されてもよいし、撮像装置11が特定するようにしてもよい。例えば、撮像装置11は、多視点画像の表示先が指定された場合、その表示先となる表示装置から、画面サイズや視点数を特定したり、表示画面からユーザまでの距離を検出する図示せぬセンサから、視聴距離を取得したりする。
短冊領域決定部23は、入力された視聴環境パラメータに基づいて、短冊領域の数と、各短冊領域のオフセット量とを定めて、各撮像画像における短冊領域を決定する。短冊領域決定部23は、各撮像画像の短冊領域を決定すると、撮像画像、動き補償パラメータ、および短冊領域の位置を示す短冊領域位置情報を、合成領域決定部24に供給する。
合成領域決定部24は、短冊領域決定部23から供給された撮像画像、動き補償パラメータ、および短冊領域位置情報に基づいて、合成領域を決定する。
撮像装置11では、各撮像画像上の短冊領域が切り出されて合成され、1つのパノラマ画像が生成されるが、ユーザがx方向に撮像装置11を移動させながら撮像画像を撮像した場合でも、撮像装置11がy方向にもわずかに動いてしまう。そのため、各撮像画像を投影面に並べた場合、各撮像画像の位置はy方向にばらつきが生じる。
そこで、合成領域決定部24は、撮像画像を投影面に並べた場合に、各撮像画像の短冊領域からなる領域に内接する最も大きい矩形領域を、パノラマ画像の生成に用いられる画像が切り出される合成領域とする。したがって、各撮像画像の短冊領域のうちの合成領域に含まれる領域を切り出して合成すれば、矩形状のパノラマ画像が得られる。
合成領域決定部24は、決定された合成領域、つまり修正された最終的な各短冊領域の位置を示す合成領域情報と、撮像画像および動き補償パラメータとを、パノラマ画像生成部25−1乃至パノラマ画像生成部25−Nに供給する。
パノラマ画像生成部25−1乃至パノラマ画像生成部25−Nは、合成領域決定部24から供給された合成領域情報、撮像画像、および動き補償パラメータを用いてパノラマ画像PV(0)乃至パノラマ画像PV(N−1)を生成し、視差制御部26に供給する。
なお、より詳細には、例えば短冊領域の数が4つとされ、4つのパノラマ画像が生成される場合には、パノラマ画像生成部25−1乃至パノラマ画像生成部25−4により、パノラマ画像PV(0)乃至パノラマ画像PV(3)が生成される。そして、パノラマ画像生成部25−5乃至パノラマ画像生成部25−Nにおいては、パノラマ画像の生成は、行なわれない。
また、以下、パノラマ画像生成部25−1乃至パノラマ画像生成部25−Nを特に区別する必要のない場合、単にパノラマ画像生成部25とも称する。
視差制御部26は、パノラマ画像生成部25から供給されたパノラマ画像を加工して、パノラマ画像の視差調整を行い、その結果得られたパノラマ画像を表示選択部27に供給する。
表示選択部27は、視差制御部26から供給されたパノラマ画像に基づいて多視点画像を生成し、表示部12または表示部28に供給する。表示部28は、例えばLCDやレンチキュラレンズからなる多視点表示用の裸眼3Dディスプレイであり、表示選択部27からの多視点画像を立体表示する。また、例えば表示部28は、表示部12と比べて画面サイズの小さい、小型の表示装置とされる。
[多視点画像表示処理の説明]
ところで、ユーザが撮像装置11を操作して、多視点画像の生成を指示すると、撮像装置11は、多視点画像を生成して表示する処理である多視点画像表示処理を開始する。以下、図4のフローチャートを参照して、撮像装置11による多視点画像表示処理について説明する。
ところで、ユーザが撮像装置11を操作して、多視点画像の生成を指示すると、撮像装置11は、多視点画像を生成して表示する処理である多視点画像表示処理を開始する。以下、図4のフローチャートを参照して、撮像装置11による多視点画像表示処理について説明する。
ステップS11において、撮像部21は、撮像装置11が移動している状態で被写体を撮像する。例えば、ユーザは撮像装置11を所定方向に回動させながら、複数枚の撮像画像を連続して撮像装置11に撮像させる。
被写体からの光は撮像部21に入射するので、撮像部21は入射した光を光電変換することにより、撮像画像を撮像する。得られた撮像画像は、順次、撮像部21から動き算出部22に供給される。なお、撮像画像は、撮像された1つの静止画像であってもよいし、撮影された動画像を構成する1フレーム分の画像であってもよい。
ステップS12において、動き算出部22は、撮像部21から供給された各撮像画像について、撮像画像の動き補償パラメータを算出し、撮像画像および動き補償パラメータを短冊領域決定部23に供給する。
例えば、動き算出部22は、連続する2つのフレームの撮像画像を用いて、ブロックマッチングにより、撮像画像のグローバルモーションベクトルを動き補償パラメータとして算出する。
すなわち、動き算出部22は、処理対象のフレームの撮像画像を複数ブロックに分割し、各ブロックについて、処理対象の1つ前のフレームの撮像画像とのブロックマッチングを行なうことにより、そのブロックの動きベクトルを検出する。そして、動き算出部22は、ブロックごとに求めた動きベクトルのうち、最も多い大きさかつ方向の動きベクトルを、撮像画像のグローバルモーションベクトルとする。
グローバルモーションベクトルは、撮像画像上の被写体全体のフレーム間の動きを示すグローバルな動きベクトルである。撮像画像上の被写体の多くは、実空間上において動きのない静止物体であるので、グローバルモーションベクトルは、撮像画像上の静止物体のフレーム間の動き、つまり撮像画像の撮像時における撮像装置11の動きを示すベクトルであるということができる。
なお、動き補償パラメータは、その他、拡張アフィン変換などを利用して求めてもよい。例えば、拡張アフィン変換を利用して動き補償パラメータを算出する場合、動き算出部22は、次式(1)を計算することで、撮像画像のフレーム間の動きを示すベクトル(V,W)を求め、得られたベクトル(V,W)を動き補償パラメータとする。
なお、式(1)において、a乃至lは、アフィンパラメータを示しており、x,yは、それぞれxy座標系における撮像画像上の特徴的なブロックの中心位置のx成分およびy成分を示している。
すなわち、動き算出部22は、処理対象のフレームの撮像画像を複数ブロックに分割し、各ブロックについて、処理対象の1つ前のフレームの撮像画像とのブロックマッチングを行なうことにより、そのブロックの動きベクトルを検出する。そして、動き算出部22は、コーナーディテクタ等を利用して、各ブロックの動きベクトルの信頼度を求め、最も信頼度の高い動きベクトルのブロックを特徴的なブロックとし、上述した式(1)を計算する。
なお、アフィンパラメータは、各ブロックの中心座標と、各ブロックの動きベクトルとが用いられて、最小自乗法により算出される。
ステップS13において、短冊領域決定部23は、入力された視聴環境パラメータに基づいて、短冊領域の数と、各短冊領域のオフセット量を定める。
具体的には、短冊領域決定部23は、視聴環境パラメータにより示される多視点画像の視点数を、生成する短冊領域の数とする。
また、短冊領域決定部23は、多視点画像を表示させる表示部の画面サイズおよび視聴距離と、各短冊領域のオフセット量とが対応付けられたオフセットテーブルを、予め保持している。
例えば、所定の画面サイズに対して、規定のオフセット量が定められているとすると、画面サイズがN倍になったときには、オフセット量が規定のオフセット量の1/N倍とされるようにされる。これは、視聴距離が同じである場合、画面サイズが大きいほど、ユーザから見た多視点画像の視差が大きくなるからである。つまり、画面サイズにより視差が大きくなる分、オフセット量を小さくすることで、多視点画像の視差が小さくなるように調整され、より適切な視差を持つ多視点画像が得られることになる。
また、例えば、所定の視聴距離に対して、規定のオフセット量が定められているとすると、視聴距離がN倍になったときには、オフセット量が規定のオフセット量のN倍とされるようにされる。これは、画面サイズが同じである場合、視聴距離が長いほど、ユーザから見た多視点画像の視差が小さくなるからである。
短冊領域決定部23は、オフセットテーブルを参照し、視聴環境パラメータに示される画面サイズおよび視聴距離により定まる値を、各短冊領域のオフセット量とする。すなわち、視聴環境パラメータに基づいて、撮像画像上の各短冊領域の位置関係が定められる。
また、オフセット量により定まる各短冊領域の位置関係を、図2に示したように、撮像画像IMの端により近い位置にある短冊領域ほど、隣接する短冊領域との間の距離が短くなるようにすれば、多視点画像の表示時に逆視の影響をより少なくすることができる。
例えば、図2の短冊領域から生成されたパノラマ画像が用いられて、9視点の多視点画像が生成され、表示部28に表示される場合を考える。この場合、表示部28の表示画面から所定の距離で、かつ表示画面のほぼ中央にユーザの視点があるとき、ユーザの右眼および左眼に、パノラマ画像PV(3)およびパノラマ画像PV(5)が見えるとする。そして、ユーザが表示画面の端方向に視点を移動させたとき、ユーザの右眼および左眼にパノラマ画像PV(7)およびパノラマ画像PV(8)が見えるとする。
この状態から、さらにユーザが視点を表示画面の端方向に移動させると、ユーザの右眼および左眼には、パノラマ画像PV(8)およびパノラマ画像PV(0)が見え、いわゆる逆視が生じる。このような逆視が生じると、ユーザが被写体の凹凸をうまく把握できないことがあり、ユーザの目と脳は疲れてしまう。
このとき、パノラマ画像PV(8)とパノラマ画像PV(0)の視差が小さければ、被写体の立体感を抑えることができるので、ユーザの目や脳の疲労を低減させることができる。したがって、この逆視の影響をより少なくするには、短冊領域V(0)から短冊領域V(8)までの距離をより短くすればよいが、この距離を短くすると、短冊領域同士の間隔が狭くなり、立体感のある多視点画像が得られなくなってしまう。
そこで、撮像画像の端近傍の短冊領域同士の間隔を狭くし、逆に撮像画像の中央付近の短冊領域同士の間隔を広くすることで、多視点画像の立体感が損なわれるのを抑制しつつ、逆視によるユーザの疲れを低減させることができる。すなわち、逆視の生じない表示画面の中央付近にユーザの視点がある場合には、より視差の大きい画像が表示されることになり、より立体感のある多視点画像を得ることができる。
短冊領域決定部23により短冊領域の数とオフセット量が定められると、処理はステップS13からステップS14に進む。
ステップS14において、短冊領域決定部23は、動き算出部22から供給された撮像画像および動き補償パラメータと、定めた短冊領域の数およびオフセット量とに基づいて、各撮像画像の短冊領域を決定する。
例えば、図5の左側に示すように、短冊領域決定部23は、フレーム1の撮像画像IM(1)とフレーム2の撮像画像IM(2)とを動き補償パラメータに基づいて投影面上に並べる。なお、図5において、図中、横方向はx方向を示しており、特に右方向は+x方向を示している。また、図5では、説明を分かり易くするため、撮像画像のx方向の位置関係のみを示しており、実際には撮像画像を投影面上に並べると、それらの撮像画像は互いに重なることになる。
短冊領域決定部23は、投影面上に並べられた撮像画像IM(1)と撮像画像IM(2)が重なる領域のx方向の中心の位置(以下、基準位置と称する)を求め、さらにその基準位置から−x方向に特定の距離だけ離れた位置をV(0)基準位置とする。
短冊領域決定部23は、撮像画像IM(1)上において、V(0)基準位置を中心とし、x方向に予め定められた所定幅を有する領域を重複領域CR(1)とする。また、短冊領域決定部23は、撮像画像IM(2)上において、V(0)基準位置を中心とし、x方向に予め定められた所定幅を有する領域を重複領域CR(2)とする。ここで、重複領域CR(1)と重複領域CR(2)は、投影面上において互いに重なる領域(同じ領域)とされる。
そして、短冊領域決定部23は、図中、右側に示すように、撮像画像IM(1)上における、撮像画像IM(1)の左端から重複領域CR(1)の右端までの領域を、フレーム1の撮像画像の短冊領域V(0)−1とする。同様に、短冊領域決定部23は、撮像画像IM(2)上における、重複領域CR(2)の左端から撮像画像IM(2)の右端までの領域を、フレーム2の短冊領域V(0)−2とする。
なお、より詳細には、フレーム2以降では、処理対象のフレームの短冊領域V(0)を定めるにあたり、その前後のフレームについて考慮する必要がある。したがって、例えばフレームm(但し、m≧2)の短冊領域V(0)−mは、撮像画像上における、フレーム(m−1)との重複領域の左端から、フレーム(m+1)との重複領域の右端までの領域とされる。
短冊領域決定部23は、このようにして各フレームの短冊領域V(0)を定めると、同様の処理を行って、各フレームの短冊領域V(n)(但し、1≦n)を定める。このとき、撮像画像上の基準位置から、+x方向または−x方向に特定の距離だけ離れた位置が、V(0)基準位置に対応するV(n)基準位置とされる。このとき、V(0)基準位置からV(n)基準位置までの距離が、短冊領域V(n)のオフセット量と等しくなるようにされる。
例えば、短冊領域決定部23は、撮像画像IM(1)上における、撮像画像IM(1)の左端から、V(n)基準位置に対して定められた重複領域の右端までの領域を、フレーム1の撮像画像の短冊領域V(n)とする。
このように、V(0)基準位置からV(n)基準位置までの距離が、オフセット量と等しくなるように各短冊領域を定めることで、互いに視差を有するパノラマ画像が得られる。
図4のフローチャートの説明に戻り、短冊領域決定部23は、短冊領域を決定すると、撮像画像、動き補償パラメータ、および短冊領域の位置を示す短冊領域位置情報を、合成領域決定部24に供給する。
ステップS15において、合成領域決定部24は、短冊領域決定部23からの撮像画像、動き補償パラメータ、および短冊領域位置情報に基づいて合成領域を決定し、決定された合成領域の位置を示す合成領域情報、撮像画像、および動き補償パラメータをパノラマ画像生成部25に供給する。このとき、パノラマ画像生成部25−n(但し1≦n≦N)には、それぞれパノラマ画像PV(n−1)を生成するための合成領域情報が供給される。
ステップS16において、パノラマ画像生成部25は、合成領域決定部24からの合成領域情報、撮像画像、および動き補償パラメータを用いてパノラマ画像を生成し、視差制御部26に供給する。
例えば、パノラマ画像生成部25−1は、動き補償パラメータを用いて、動きのない同じ被写体がほぼ重なるように各撮像画像を投影面上に並べる。そして、パノラマ画像生成部25−1は、合成領域情報により示される最終的な各撮像画像の短冊領域V(0)内の画像を切り出して、切り出された画像を合成することで、パノラマ画像PV(0)を生成する。
このように、パノラマ画像生成部25によりステップS16の処理が行われると、互いに異なる視点から見た被写体が表示される、複数個のパノラマ画像が得られる。これらのパノラマ画像には、同じ被写体が表示されているが、この被写体は視差を有することになる。そのため、これらのパノラマ画像のうちの任意の2つを同時に表示させれば、ユーザには、パノラマ画像上の被写体が立体的に見えることになる。
ステップS17において、視差制御部26は、パノラマ画像生成部25から供給されたパノラマ画像の支配的な視差を検出する。すなわち、視差制御部26は、パノラマ画像PV(0)を基準として、パノラマ画像PV(0)と他のパノラマ画像との支配的な視差を求める。
ここで、支配的な視差とは、パノラマ画像上の主要な被写体、つまり最も大きい(面積の広い)被写体が有する視差をいう。視差制御部26は、パノラマ画像の画素ごとに視差を求め、各視差の大きさと、その大きさの視差を有するパノラマ画像の画素の数を示す評価値とからなる評価値テーブルを生成することにより、支配的な視差を求める。
具体的には、図6に示すように、視差制御部26は、パノラマ画像PV(0)と、他のパノラマ画像とを選択する。例えば、図6の例では、パノラマ画像PV(0)とパノラマ画像PV(1)とが選択されている。なお、図6において、横方向および縦方向は、それぞれx方向およびy方向を示している。特に、図中、右方向は+x方向を示している。
また、視差制御部26は、パノラマ画像PV(0)およびパノラマ画像PV(1)上に、評価対象領域EV0および評価対象領域EV1を設定する。
評価対象領域EV0は、その中心がパノラマ画像PV(0)の中心と同じ位置にあり、パノラマ画像PV(0)よりも所定の長さだけx方向に短い矩形領域である。同様に、評価対象領域EV1は、その中心がパノラマ画像PV(1)の中心と同じ位置にあり、パノラマ画像PV(1)よりも所定の長さだけx方向に短い矩形領域である。また、評価対象領域EV0と評価対象領域EV1は同じ大きさの領域とされる。視差制御部26は、パノラマ画像の画素のうち、これらの評価対象領域内にある画素を処理対象として、各視差の評価値を求める。
まず、視差制御部26は、評価値テーブルの各視差に対する評価値を「0」に初期化し、視差「0」に対する評価値を求める。すなわち、図7に示すように、視差制御部26は、パノラマ画像PV(0)における評価対象領域EV0内の所定の画素G0(i)と、パノラマ画像PV(1)における評価対象領域EV1内の所定の画素G1(i)とを処理対象の画素とする。なお、画素G0(i)と画素G1(i)は、パノラマ画像PV(0)とパノラマ画像PV(1)とを重ねた場合に、同じ位置にある画素とされる。
次に、視差制御部26は、パノラマ画像PV(1)上において画素G1(i)にx方向に隣接する画素G1(i+1)および画素G1(i−1)と、画素G1(i)とを用いて閾値thを定める。すなわち、視差制御部26は、画素G1(i−1)、画素G1(i)、および画素G1(i+1)の画素値のうちの最大値と最小値との差の絶対値を求めることにより、画素G1(i)のx方向のダイナミックレンジDLを求める。
視差制御部26は、求めたダイナミックレンジDLが、予め定められた所定の値以上である場合、閾値thを予め定められた規定値とし、ダイナミックレンジDLが、予め定められた所定の値未満である場合、閾値thを規定値よりも小さい値とする。
そして、視差制御部26は、画素G0(i)と画素G1(i)の画素値の差分の絶対値を求め、求められた絶対値が閾値th未満である場合、評価値テーブルの視差「0」に対する評価値に「1」を加算する。これに対して、視差制御部26は、求めた絶対値が閾値th以上である場合、視差「0」に対する評価値をそのままとする。
処理対象の画素G0(i)と画素G1(i)の差分の絶対値がある程度小さい場合、それらの画素には同じ被写体が表示されているはずである。また、画素G0(i)と画素G1(i)は、パノラマ画像PV(0)およびパノラマ画像PV(1)上の同じ位置にある画素であるから、それらの画素に同じ被写体が表示されていれば、その被写体は視差を有さないことになる。つまり、画素G0(i)と画素G1(i)に表示されている被写体は、多視点画像の表示時においては、表示部28等の表示画面上に定位することになる。
なお、ダイナミックレンジDLに応じて閾値thを変化させるのは、処理対象の画素同士の相関の有無の誤判定を抑制するためである。例えば、画素G1(i)の部分に、被写体として空間方向への画素値の変化が少ない平坦な被写体(例えば、空など)が表示されていたとする。
この場合、画素G1(i)近傍の画素の画素値は、画素G1(i)の画素値に近い値となり、画素G0(i)と画素G1(i)に異なる被写体の部分が表示されていたとしても、それらの画素の差分の絶対値は、閾値th未満となってしまうことがある。つまり、誤判定が生じることがある。そこで、ダイナミックレンジDLが小さい場合には、このような誤判定が生じにくくなるように、閾値thが通常の規定値よりも小さい値とされる。
なお、誤判定の抑制のため、ダイナミックレンジDLが予め定められた所定の値未満である場合には、画素G0(i)と画素G1(i)を処理対象とせず、差分の計算を行わないようにしてもよい。
このようにして、処理対象とされた画素の差分が求められ、閾値thとの閾値処理の結果に応じて評価値テーブルの評価値に「1」が加算されると、視差制御部26は、評価対象領域EV0と評価対象領域EV1内のまだ処理対象としてない画素を選択し、処理対象とする。つまり、新たに処理対象とされた画素同士の差分の絶対値と、閾値thとが比較され、その比較結果に応じて、評価値テーブルが更新される。
そして、評価対象領域EV0と評価対象領域EV1内の全ての画素が処理対象とされると、そのときの評価値テーブルの視差「0」の評価値が、最終的な評価値とされる。この評価値は、パノラマ画像の評価対象領域内において、視差が「0」である被写体が表示されている画素の数を示している。換言すれば、パノラマ画像上の評価対象領域内には、視差が「0」である被写体が表示される画素が、評価値に示される数だけ存在する。
さらに、視差制御部26は、評価対象領域EV0に対してパノラマ画像PV(0)の位置をずらしながら、評価対象領域EV0と評価対象領域EV1内の同じ位置にある画素を処理対象として、各視差の大きさについて評価値を求めていく。すなわち、視差制御部26は、パノラマ画像PV(1)に対してパノラマ画像PV(0)の位置をずらしながら、パノラマ画像の差分を求め、各視差の評価値を求めていく。
例えば、視差制御部26は、図8に示すように、評価対象領域EV0に対してパノラマ画像PV(0)の位置を、図中、左方向にずらし、評価対象領域内の画素の差分を求める。なお、図中、横方向および縦方向はx方向およびy方向を示しており、特に右方向は+x方向を示している。
図8の例では、評価対象領域EV0に対してパノラマ画像PV(0)が−x方向に128画素分だけずらされており、評価対象領域EV0とパノラマ画像PV(0)の右側の端が一致している。この状態で、視差制御部26は、図6および図7を参照して説明した処理を行う。つまり、視差制御部26は、評価対象領域内の同じ位置にあるパノラマ画像PV(0)およびパノラマ画像PV(1)の画素の差分の絶対値を求め、その絶対値と閾値thを比較する。視差制御部26は、比較の結果、絶対値が閾値未満であれば、評価値テーブルの視差「−128」の評価値に「1」を加算し、絶対値が閾値以上であれば、評価値の更新を行わない。
このようにして、評価対象領域内の全ての画素を処理対象として評価値テーブルの更新を行うと、視差「−128」の最終的な評価値が得られる。視差「−128」の評価値の更新時においては、パノラマ画像PV(0)を128画素分だけずらして処理が行われるため、差分の絶対値が閾値未満である画素に表示される被写体は、パノラマ画像PV(0)とパノラマ画像PV(1)とで、128画素分だけ離れた位置に表示されることになる。つまり、その被写体は128画素分だけの視差を有することになる。そして、視差が「−128」である画素に表示されている被写体は、多視点画像の表示時においては、表示部28等の表示画面よりもユーザから見て奥行き側に定位することになる。
同様に、視差制御部26は、図8の例と反対の方向にも評価対象領域EV0に対してパノラマ画像PV(0)の位置をずらしながら、評価対象領域EV0と評価対象領域EV1内の同じ位置にある画素を処理対象として、各視差の大きさについて評価値を求めていく。
例えば、視差制御部26は、図9に示すように、評価対象領域EV0に対してパノラマ画像PV(0)の位置を、図中、右方向にずらし、評価対象領域内の画素の差分を求める。なお、図中、横方向および縦方向はx方向およびy方向を示しており、特に右方向は+x方向を示している。
図9の例では、評価対象領域EV0に対してパノラマ画像PV(0)が+x方向に128画素分だけずらされており、評価対象領域EV0とパノラマ画像PV(0)の左側の端が一致している。この状態で、視差制御部26は、評価対象領域内の同じ位置にあるパノラマ画像PV(0)およびパノラマ画像PV(1)の画素の差分の絶対値を求め、その絶対値と閾値thを比較する。視差制御部26は、比較の結果、絶対値が閾値未満であれば、評価値テーブルの視差「128」の評価値に「1」を加算し、絶対値が閾値以上であれば、評価値の更新を行わない。
このようにして、評価対象領域内の全ての画素を処理対象として評価値テーブルの更新を行うと、視差「128」の最終的な評価値が得られる。視差が「128」である画素に表示されている被写体は、多視点画像の表示時においては、表示部28等の表示画面よりもユーザから見て手前側に定位することになる。
視差制御部26は、以上のようにして、各視差の大きさについて評価値を求めると、評価値テーブルの評価値のうち、最も値が大きい評価値の視差を、パノラマ画像PV(0)とパノラマ画像PV(1)の間の支配的な視差とする。評価値テーブルにおいて、視差ごとの評価値は、その大きさの視差を有する画素の数、つまりパノラマ画像上の被写体の領域の大きさ(面積)を表している。したがって、パノラマ画像では、最も大きい評価値の視差を有する領域(画素)が、最も面積が広く、評価値が最大である視差が、パノラマ画像の被写体の支配的な視差であるということができる。
また、視差制御部26は、他のパノラマ画像についても、そのパノラマ画像とパノラマ画像PV(0)との支配的な視差を検出する。
なお、パノラマ画像の支配的な視差を求める方法として、パノラマ画像の画素ごとの差分を求める例について説明したが、パノラマ画像PV(0)の領域と、他のパノラマ画像の領域との相関の度合いを示す相関値を求め、その相関値に基づいて各視差の評価値が求められればよい。例えば、パノラマ画像の画素ごとの差分ではなく、ブロックごとの差分に基づく値(例えばブロック内の画素の差分絶対値和)が相関値とされてもよい。
また、パノラマ画像の差分を利用して支配的な視差を求める場合に、パノラマ画像PV(0)と、他のパノラマ画像とに対して間引きを行い、間引きされて縮小されたパノラマ画像の差分が求められて支配的な視差が求められるようにしてもよい。
図4のフローチャートの説明に戻り、視差制御部26が、パノラマ画像の支配的な視差を検出すると、処理はステップS17からステップS18へと進む。
ステップS18において、視差制御部26は、求めたパノラマ画像間の支配的な視差に基づいて、パノラマ画像の視差調整を行う。
すなわち、視差制御部26は、求めた支配的な視差が打ち消されるように、パノラマ画像全体を視差の分だけシフト(移動)させる。具体的には、パノラマ画像PV(0)とパノラマ画像PV(1)の支配的な視差としてPaが得られたとすると、視差制御部26は、パノラマ画像のシフト量S=Paとして、パノラマ画像PV(1)全体をx方向にSだけシフトさせる。
例えばシフト量Sが正の値(S>0)であれば、パノラマ画像PV(1)全体が評価対象領域EV1に対して+x方向にSだけシフトされる。そして、シフト後において評価対象領域EV0および評価対象領域EV1内にあるパノラマ画像PV(0)とパノラマ画像PV(1)の領域が、最終的なパノラマ画像PV(0)およびパノラマ画像PV(1)とされて、多視点画像の生成に用いられる。
支配的な視差Paが正の値である場合、パノラマ画像PV(0)とパノラマ画像PV(1)を立体表示すると、主な被写体は表示部28等の表示画面の手前側に定位する。そこで、視差が小さくなるように、つまり支配的な視差が「0」となるように、パノラマ画像PV(1)をシフトすれば、シフト後のパノラマ画像の主な被写体は表示部28等の表示画面の位置に定位する。
逆に、シフト量Sが負の値(S<0)であれば、パノラマ画像PV(1)全体が評価対象領域EV1に対して−x方向にシフトされる。すなわち、支配的な視差Paが負の値である場合、パノラマ画像の主な被写体は、表示画面の奥行き側に定位するので、視差が大きくなるように、パノラマ画像PV(1)をシフトすれば、主な被写体を表示画面に定位させることができる。
同様に、視差制御部26は、他のパノラマ画像についても、パノラマ画像PV(0)を基準として、パノラマ画像PV(0)との支配的な視差に基づいて、その支配的な視差により定まるシフト量Sだけパノラマ画像をシフトさせ、視差制御を行なう。
このように、パノラマ画像PV(0)を基準として視差制御を行なえば、例えば、パノラマ画像PV(1)とパノラマ画像PV(2)とに基づいて、パノラマ画像が立体表示されたときにも、主な被写体は、表示部28等の表示画面に定位することになる。
パノラマ画像の主要な被写体、つまり大きい被写体が表示部28等の表示画面の位置に定位すると、その定位の位置とユーザの目の焦点位置とが一致して、ユーザの目や脳が疲れてしまうことがなくなる。しかも、パノラマ画像の主要な被写体は表示画面の位置に定位するが、他の被写体の部分は、表示画面の手前側や奥行き側に定位するため、パノラマ画像(多視点画像)が充分立体的に表示され、多視点画像は、より自然な奥行き感(立体感)を有するものとなる。
このように、パノラマ画像の支配的な視差を求め、その支配的な視差が打ち消されるように、パノラマ画像の視差調整を行うことで、より適切な視差を有するパノラマ画像を得ることができ、その結果、より自然な立体感を再現することができる。
視差制御部26は、パノラマ画像の視差調整を行うと、その結果得られたパノラマ画像を表示選択部27に供給し、処理はステップS19に進む。
ステップS19において、表示選択部27は、視差制御部26から供給されたパノラマ画像に基づいて、多視点画像を生成する。
例えば、図10に示すように、視差制御部26から表示選択部27に4つのパノラマ画像PV(0)乃至パノラマ画像PV(3)が供給されたとする。このとき、表示選択部27は、パノラマ画像PV(0)乃至パノラマ画像PV(3)のそれぞれの同じ位置にある、同じ大きさの表示領域DP−0乃至表示領域DP−3のそれぞれを部分画像B(0)乃至部分画像B(3)として切り出して、それらの4つの部分画像からなる画像を多視点画像とする。
具体的には、表示選択部27は、切り出された部分画像B(0)乃至部分画像B(3)のそれぞれを、いくつかの短冊状の画像(以下、短冊画像TP(0)乃至短冊画像TP(3)と称する)に分割する。そして、表示選択部27は、短冊画像TP(0)乃至短冊画像TP(3)の順番で繰り返し短冊画像を1つずつ並べて得られる1つの画像を、多視点画像とする。つまり、短冊画像TP(0)乃至短冊画像TP(3)の順番で並べられた合計4つの短冊画像のセットが、繰り返し並べられたものが多視点画像とされる。
この多視点画像をレンチキュラ方式により表示すると、多視点画像を構成する複数の部分画像のうち、ユーザの視点位置に応じて定まる2つの部分画像の光が、それぞれユーザの右眼および左眼に導かれて、ユーザの目には立体的な部分画像が観察される。
なお、パノラマ画像の一部の領域が部分画像とされて、多視点画像が生成されると説明したが、パノラマ画像がそのまま部分画像とされて多視点画像が生成されてもよい。
表示選択部27は、多視点画像を生成すると、撮像装置11の指示に従って、生成した多視点画像を表示部12または表示部28の何れかに供給する。このとき撮像装置11は、表示選択部27を制御して、視聴環境パラメータにより示される表示部、例えば、多視点画像の生成開始時にユーザにより指定された表示先に、多視点画像を供給させる。
ステップS20において、表示部28または表示部12は、表示選択部27から供給された多視点画像を表示して、多視点画像表示処理は終了する。
このようにして撮像装置11は、視聴環境に合った視点数および視差を有する多視点画像が得られるように、視聴環境パラメータに基づいて、短冊領域の数とオフセット量を定め、短冊領域から画像を切り出してパノラマ画像を生成する。そして、撮像装置11は、得られたパノラマ画像の視差調整を行い、視差調整後のパノラマ画像から多視点画像を生成し、表示する。
このように、視聴環境パラメータに基づいて短冊領域の数およびオフセット量を定めることで、視聴環境に合った、より適切な視差を有する多視点画像を得ることができる。
また、生成されたパノラマ画像に対して、パノラマ画像の画素同士の差分を求めることで、より簡単かつ迅速にパノラマ画像の支配的な視差を求めることができ、これにより得られた視差を打ち消すようにパノラマ画像に対するシフト処理を行えば、より適切な視差を有する多視点画像を得ることができる。したがって、得られた多視点画像を表示すれば、より自然な立体感を再現することができる。
なお、以上においては、パノラマ画像の支配的な視差に基づいて、パノラマ画像の視差調整を行なうと説明したが、求められた支配的な視差を用いてオフセット量を設定し直して、撮像画像から最終的なパノラマ画像を生成し直すようにしてもよい。この場合、設定し直されたオフセット量に基づいて短冊領域が定められ、その短冊領域の画像が合成されて、最終的なパノラマ画像が生成される。
また、パノラマ画像の視差調整時にパノラマ画像PV(0)を基準として、他のパノラマ画像をシフト量Sだけシフトさせると説明したが、パノラマ画像PV(0)もシフトされるようにしてもよい。そのような場合、各パノラマ画像について求められたシフト量に応じて、パノラマ画像PV(0)を含む各パノラマ画像のシフトの方向と量が定められる。
さらに、多視点画像の生成に用いる部分画像が切り出される表示領域の大きさは、表示部28等の画面サイズや、ユーザによる多視点画像の表示の表示倍率(拡大倍率)などにより定められるようにしてもよい。
例えば、ユーザにより表示倍率が指定される場合、視聴環境パラメータには、表示倍率を示す情報も含まれる。そして、環境パラメータにより示される画面サイズ、視聴距離、および表示倍率によって、オフセット量が定められる。
〈第2の実施の形態〉
[撮像装置の構成]
さらに、以上においては、視聴環境パラメータに基づいて、短冊領域の数とオフセット量を定めると説明したが、予め定められた数とオフセット量の短冊領域からパノラマ画像を生成し、それらのパノラマ画像のなかから、多視点画像の生成に用いるものを選択するようにしてもよい。
[撮像装置の構成]
さらに、以上においては、視聴環境パラメータに基づいて、短冊領域の数とオフセット量を定めると説明したが、予め定められた数とオフセット量の短冊領域からパノラマ画像を生成し、それらのパノラマ画像のなかから、多視点画像の生成に用いるものを選択するようにしてもよい。
そのような場合、撮像装置11は、図11に示すように構成される。なお、図11において、図3における場合と対応する部分には同一の符号を付してあり、その説明は省略する。図11の撮像装置11では、図3の短冊領域決定部23および表示選択部27に代えて、短冊領域決定部51および表示選択部52が設けられている。
短冊領域決定部51は、動き算出部22から供給された撮像画像および動き補償パラメータに基づいて、予め定められたオフセット量で、予め定められた数の短冊領域を決定し、撮像画像、動き補償パラメータ、および短冊領域位置情報を、合成領域決定部24に供給する。
また、表示選択部52は、入力された視聴環境パラメータに基づいて、視差制御部26から供給された、複数のパノラマ画像のうちのいくつかを用いて多視点画像を生成し、表示部12または表示部28に供給する。
[多視点画像表示処理の説明]
次に、図12のフローチャートを参照して、図11の撮像装置11により行なわれる多視点画像表示処理について説明する。なお、ステップS51およびステップS52の処理は、図4のステップS11およびステップS12の処理と同様の処理であるので、その説明は省略する。
次に、図12のフローチャートを参照して、図11の撮像装置11により行なわれる多視点画像表示処理について説明する。なお、ステップS51およびステップS52の処理は、図4のステップS11およびステップS12の処理と同様の処理であるので、その説明は省略する。
ステップS53において、短冊領域決定部51は、動き算出部22から供給された撮像画像および動き補償パラメータに基づいて、予め定められたオフセット量で、予め定められた数の短冊領域を決定する。
例えば、短冊領域決定部51は、撮像画像上における互いに隣接する短冊領域同士の間隔(以下、短冊領域間隔と称する)が50画素となるオフセット量で、予め定められたN個の短冊領域を決定する。なお、各撮像画像上における短冊領域の位置を定める処理は、図5を参照して説明した処理と同様の処理であるので、その説明は省略する。
短冊領域を決定すると、短冊領域決定部51は、撮像画像、動き補償パラメータ、および短冊領域位置情報を合成領域決定部24に供給し、その後、ステップS54乃至ステップS57の処理が行われる。すなわち、最終的な短冊領域から画像が切り出されてパノラマ画像が生成され、各パノラマ画像の視差調整が行われる。
なお、これらのステップS54乃至ステップS57の処理は、図4のステップS15乃至ステップS18の処理と同様であるので、その説明は省略する。
ステップS58において、表示選択部52は、入力された視聴環境パラメータに基づいて、視差制御部26から供給されたパノラマ画像から多視点画像を生成する。
具体的には、表示選択部52は、多視点画像を表示させる表示部の画面サイズおよび視聴距離と、多視点画像の生成に用いるべきパノラマ画像の短冊領域同士の撮像画像上における間隔(以下、オフセット間隔と称する)とが対応付けられたオフセット間隔テーブルを、予め保持している。このオフセット間隔は、実質的な短冊領域間隔であり、指定された視聴環境に対して、多視点画像の生成に用いるべきパノラマ画像の短冊領域の、撮像画像上における位置関係を示すものである。
例えば、画面サイズがモバイルディスプレイなどの小型な表示部のサイズである場合、オフセット間隔は100画素とされ、画面サイズがモバイルディスプレイよりも大型な、家庭用テレビジョン受像機等の表示部のサイズである場合、オフセット間隔は50画素とされる。
これは、視聴距離が同じである場合、画面サイズが大きいほど、ユーザから見た多視点画像の視差が大きくなるからである。すなわち、画面サイズにより視差が大きくなる分、オフセット間隔(オフセット量)を小さくすることで、多視点画像の視差が小さくなるように調整され、より適切な視差を持つ多視点画像が得られることになる。
表示選択部52は、オフセット間隔テーブルを参照し、視聴環境パラメータに示される画面サイズおよび視聴距離に基づいて、生成しようとする多視点画像のオフセット間隔を定める。そして、表示選択部52は、視聴環境パラメータに示される多視点画像の視点数およびオフセット間隔から、生成に用いるパノラマ画像を選択し、選択したパノラマ画像から多視点画像を生成する。
例えば、図13の左側に示すように、視差制御部26から8つのパノラマ画像PV(0)乃至パノラマ画像PV(7)が供給され、それらのパノラマ画像の短冊領域間隔が50画素であるとする。すなわち、撮像画像上で互いに隣接する短冊領域同士の間隔が、50画素とされて生成された8つのパノラマ画像が供給されたとする。
なお、図13において、パノラマ画像PV(0)乃至パノラマ画像PV(7)における表示領域DP−0乃至表示領域DP−7は、そのパノラマ画像が多視点画像の生成に用いられる場合に、部分画像が切り出される領域である。
いま、表示選択部52が、オフセット間隔テーブルと視聴環境パラメータとから、視点数が4で、オフセット間隔が100画素である多視点画像を生成するとする。この場合、表示選択部52は、図中、中央に示すように、パノラマ画像PV(0)乃至パノラマ画像PV(7)から、パノラマ画像PV(0)、パノラマ画像PV(2)、パノラマ画像PV(4)、およびパノラマ画像PV(6)の4つを選択する。
そして、表示選択部52は、選択したこれらのパノラマ画像の表示領域DP−0、表示領域DP−2、表示領域DP−4、および表示領域DP−6を部分画像として切り出して、4視点の多視点画像を生成する。
ここで、パノラマ画像PV(0)、パノラマ画像PV(2)、パノラマ画像PV(4)、およびパノラマ画像PV(6)は、撮像画像上において、100画素間隔で並ぶ短冊領域の画像から生成されたパノラマ画像である。したがって、実質的に、短冊領域間隔が100画素となるオフセット量でパノラマ画像が生成され、それらのパノラマ画像から多視点画像が生成されたことになる。
また、例えば、視点数が4でオフセット間隔が50画素である多視点画像を生成する場合、表示選択部52は、図中、右側に示すように、パノラマ画像PV(0)乃至パノラマ画像PV(7)のうちの、パノラマ画像PV(2)乃至パノラマ画像PV(5)を用いて多視点画像を生成する。
このように、視聴環境に応じて、複数のパノラマ画像のうちのいくつかを選択すれば、互いに適切な視差を有するパノラマ画像が得られ、これらのパノラマ画像を用いると、視聴環境に合った、より適切な視差を有する多視点画像を得ることができる。
表示選択部52は、多視点画像を生成すると、得られた多視点画像を表示部12または表示部28に供給する。このとき表示選択部52は、視聴環境パラメータにより示される表示先、例えば多視点画像の生成開始時にユーザにより指定された表示部に、多視点画像を供給する。
ステップS59において、表示部28または表示部12は、表示選択部52から供給された多視点画像を表示する。
ステップS60において、表示選択部52は、視聴環境が変更されたか否かを判定する。例えば、ユーザにより撮像装置11が操作され、多視点画像の表示先が表示部28から表示部12に切り替えられると、表示選択部52に供給される視聴環境パラメータが変化する。表示選択部52は、供給された視聴環境パラメータが変化したとき、視聴環境が変更されたと判定する。なお、その他、例えば図示せぬセンサにより検出される視聴距離の変化によっても、視聴環境パラメータは変化する。
ステップS60において、視聴環境が変更されたと判定された場合、処理はステップS58に戻り、上述した処理が繰り返される。すなわち、新たに供給された視聴環境パラメータに基づいて、新たな多視点画像が生成され、表示される。
なお、視聴環境パラメータに、多視点画像の表示倍率や、多視点画像の立体感強度の設定が含まれるようにし、それらの表示倍率や立体感強度の設定が変更された場合にも、多視点画像が生成し直されるようにしてもよい。表示倍率は、部分画像の大きさ、つまりパノラマ画像から部分画像が切り出される表示領域の大きさにより定まる。
例えば、視聴環境パラメータの表示倍率または立体感強度の設定のみが変更された場合、表示選択部52は、これまで表示していた多視点画像のオフセット間隔を、表示倍率または立体感強度の設定の変更に応じた値(画素数)だけ増減させる。そして、表示選択部52は、新たに定めたオフセット間隔と、これまでの視点数とから新たな多視点画像を生成する。
具体的には、オフセット間隔が100画素とされ、図13のパノラマ画像PV(0)、パノラマ画像PV(2)、パノラマ画像PV(4)、およびパノラマ画像PV(6)から表示倍率が1である多視点画像が生成されて表示されていたとする。
そして、この状態から、ユーザが撮像装置11を操作して、表示倍率を「1」から「2」に変更したとする。この場合、例えば、表示選択部52は、表示倍率の変更に応じてオフセット間隔を100画素から50画素だけ減少させ、新たなオフセット間隔を50画素とする。そして、表示選択部52は、視点数「4」と、新たなオフセット間隔「50画素」とから、パノラマ画像PV(2)乃至パノラマ画像PV(5)を用いて多視点画像を再生成する。
なお、このとき、例えば各パノラマ画像上の部分画像が切り出される表示領域は、これまでの大きさの半分の大きさの領域とされ、新たな表示領域から切り出された部分画像が2倍に拡大されて、多視点画像が生成される。これにより、これまで表示していた多視点画像に対して、被写体が2倍に拡大された新たな多視点画像が得られる。
また、例えば、立体感強度の設定が普通から強めに変更された場合、オフセット間隔がこれまでの値から100画素だけ増加され、立体感強度の設定が普通から弱めに変更された場合、オフセット間隔がこれまでの値から100画素だけ減少される。
なお、表示領域は、多視点画像が表示される表示部(例えば、表示部28または表示部12)の表示画面の大きさによって異なるようにしてもよい。そのような場合、視聴環境パラメータにより示される画面サイズによって、部分画像が切り出される表示領域の大きさが定められる。また、ユーザが好みに応じて、視聴距離などの視聴環境パラメータの要素を変更できるようにしてもよい。
さらに、ステップS60において、視聴環境が変更されなかったと判定された場合、ステップS61において、撮像装置11は、処理を終了するか否かを判定する。例えば、多視点画像の表示の終了がユーザにより指示された場合、処理を終了すると判定される。
ステップS61において、処理を終了しないと判定された場合、処理はステップS60に戻り、上述した処理が繰り返される。
一方、ステップS61において、処理を終了すると判定された場合、撮像装置11の各部は、行なっている処理を終了し、多視点画像表示処理は終了する。
このようにして撮像装置11は、視聴環境に合わせて複数のパノラマ画像のなかから、適切なパノラマ画像を選択し、それらの選択したパノラマ画像から多視点画像を生成して表示する。このように、視聴環境パラメータに基づいて、オフセット間隔および視点数を定めてパノラマ画像を選択することで、視聴環境に合った、より適切な視差を有する多視点画像を得ることができる。
〈変形例1〉
[支配的な視差についての説明]
ところで、以上においては、パノラマ画像から支配的な視差を求め、その視差に応じてパノラマ画像の視差調整を行なうと説明したが、本出願人により、パノラマ画像の支配的な視差の絶対値は、短冊領域のオフセット量とほぼ等しいことが確認されている。
[支配的な視差についての説明]
ところで、以上においては、パノラマ画像から支配的な視差を求め、その視差に応じてパノラマ画像の視差調整を行なうと説明したが、本出願人により、パノラマ画像の支配的な視差の絶対値は、短冊領域のオフセット量とほぼ等しいことが確認されている。
例えば、図14に示すように、撮像部21を構成するレンズの主点L0が、回転中心OCを中心として図中、時計回りの方向に回動するように、ユーザが撮像装置11を移動させながら撮像画像を撮像させたとする。ここで、レンズの主点L0から回転中心OCまでの距離、つまり回転半径はrとされ、撮像部21の焦点距離はfであるとする。
また、撮像面VS(t)と撮像面VS(t+1)が時間的に連続して撮像され、撮像面VS(t)上の領域V(0)−1と領域V(8)−1が短冊領域V(0)と短冊領域V(8)に相当し、撮像面VS(t+1)上の領域V(0)−2と領域V(8)−2が短冊領域V(0)と短冊領域V(8)に相当するとする。このとき、オフセット量が2Hであるとすると、領域V(0)−1と領域V(8)−1の間の距離、および領域V(0)−2と領域V(8)−2の間の距離は、ともにオフセット量2Hとなる。
図14の例では、撮像面VS(t)と撮像面VS(t+1)のそれぞれに対応する撮像画像上には、同じ被写体OB21が表示され、被写体OB21は、それぞれ領域V(8)−1と領域V(0)−2に対応する領域に表示される。この場合における実際の被写体OB21の視差は、領域V(8)−1と領域V(0)−2の距離2dである。
また、図14の例で撮像された撮像画像から、短冊領域V(0)と短冊領域V(8)を切り出して2つのパノラマ画像を生成すると、それらのパノラマ画像の視差は、領域V(0)−1から領域V(0)−2までの距離Dとなる。そして、この視差Dは、領域V(0)−1から領域V(8)−1までの距離、つまりオフセット量2Hと、被写体OB21の視差2dの和により表すことができるが、連続して撮像画像が撮像される場合には、視差2dは微小な値となるため、無視することができる。したがって、パノラマ画像の視差Dは、オフセット量2Hと近似することができる。
このように、2つのパノラマ画像の視差Dは、オフセット量2Hとほぼ同じであるので、オフセット量に基づいてパノラマ画像の視差調整をすれば、パノラマ画像の支配的な視差を求めなくても、適切な視差制御を行なうことができる。
撮像装置11が、オフセット量に基づいてパノラマ画像の視差調整を行なう場合、図3および図11の視差制御部26にオフセット量が供給される。そして、図4および図12のステップS17およびステップS56の処理は行われず、ステップS18およびステップS57において、オフセット量に基づいてパノラマ画像の視差調整が行なわれる。
すなわち、視差制御部26は、オフセット量が入力されると、そのオフセット量に「−1」を乗算した値をシフト量Sとして、パノラマ画像PV(0)に対して、シフト量Sだけ処理対象のパノラマ画像全体をx方向にシフトさせることで、視差調整を行なう。
例えば、短冊領域V(0)を基準として、短冊領域V(1)、短冊領域V(2)、および短冊領域V(3)のオフセット量が、それぞれ2H、4H、および6Hであったとする。この場合、視差制御部26は、パノラマ画像PV(1)乃至パノラマ画像PV(3)のそれぞれのシフト量Sを、S=−2H、S=−4H、およびS=−6Hとして、それらのシフト量の分だけ、パノラマ画像PV(1)乃至パノラマ画像PV(3)をx方向にシフトさせる。
このように、オフセット量を用いてパノラマ画像の視差調整を行なうことでも、より適切な視差を有するパノラマ画像を得ることができ、より自然な立体感を有する多視点画像を表示することができる。
なお、シフト量をオフセット量と同じ大きさにする例について説明したが、オフセット量を多少増減させた値をシフト量として用いるようにしてもよい。
$
さらに、以上においては、パノラマ画像は、撮像画像よりも画角の広い画像であると説明したが、パノラマ画像は、必ずしもより画角の広い画像である必要はなく、例えば、撮像画像と同じ画角の画像であってもよい。
$
さらに、以上においては、パノラマ画像は、撮像画像よりも画角の広い画像であると説明したが、パノラマ画像は、必ずしもより画角の広い画像である必要はなく、例えば、撮像画像と同じ画角の画像であってもよい。
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図15は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、CPU(Central Processing Unit)201,ROM(Read Only Memory)202,RAM(Random Access Memory)203は、バス204により相互に接続されている。
バス204には、さらに、入出力インターフェース205が接続されている。入出力インターフェース205には、キーボード、マウス、マイクロホンなどよりなる入力部206、ディスプレイ、スピーカなどよりなる出力部207、ハードディスクや不揮発性のメモリなどよりなる記録部208、ネットワークインターフェースなどよりなる通信部209、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア211を駆動するドライブ210が接続されている。
以上のように構成されるコンピュータでは、CPU201が、例えば、記録部208に記録されているプログラムを、入出力インターフェース205及びバス204を介して、RAM203にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU201)が実行するプログラムは、例えば、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等)、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア211に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
そして、プログラムは、リムーバブルメディア211をドライブ210に装着することにより、入出力インターフェース205を介して、記録部208にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部209で受信し、記録部208にインストールすることができる。その他、プログラムは、ROM202や記録部208に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
11 撮像装置, 12 表示部, 21 撮像部, 22 動き算出部, 23 短冊領域決定部, 24 合成領域決定部, 25−1乃至25−N,25 パノラマ画像生成部, 26 視差制御部, 27 表示選択部, 28 表示部, 51 短冊領域決定部, 52 表示選択部
Claims (11)
- 撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、多視点画像の生成に用いられる互いに視差を有する複数の合成画像を生成する画像処理装置であって、
前記多視点画像の視聴環境を示す情報に基づいて、複数の前記合成画像のそれぞれについて、前記合成画像の生成に用いられる画像が切り出される前記撮像画像上の短冊領域を決定する短冊領域決定手段と、
複数の前記撮像画像から前記短冊領域の画像を切り出して合成し、前記合成画像を生成する合成画像生成手段と、
複数の前記合成画像を用いて、ユーザの視点位置に応じて異なる視差の被写体が立体表示される前記多視点画像を生成する多視点画像生成手段と
を備える画像処理装置。 - 前記短冊領域決定手段は、前記撮像画像上の前記短冊領域が、前記視聴環境を示す情報により示される前記多視点画像の表示先の画面サイズによって定まる位置関係となるように、前記短冊領域のそれぞれの位置を決定する
請求項1に記載の画像処理装置。 - 前記短冊領域決定手段は、前記撮像画像において、前記撮像画像の端により近い前記短冊領域ほど、隣接する前記短冊領域同士の距離がより短くなるように、前記短冊領域の位置を決定する
請求項2に記載の画像処理装置。 - 撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、多視点画像の生成に用いられる互いに視差を有する複数の合成画像を生成する画像処理装置であり、
前記多視点画像の視聴環境を示す情報に基づいて、複数の前記合成画像のそれぞれについて、前記合成画像の生成に用いられる画像が切り出される前記撮像画像上の短冊領域を決定する短冊領域決定手段と、
複数の前記撮像画像から前記短冊領域の画像を切り出して合成し、前記合成画像を生成する合成画像生成手段と、
複数の前記合成画像を用いて、ユーザの視点位置に応じて異なる視差の被写体が立体表示される前記多視点画像を生成する多視点画像生成手段と
を備える画像処理装置の画像処理方法であって、
前記短冊領域決定手段が、前記視聴環境を示す情報に基づいて前記短冊領域を決定し、
前記合成画像生成手段が、前記短冊領域の画像を切り出して合成することで、前記合成画像を生成し、
前記多視点画像生成手段が、複数の前記合成画像を用いて前記多視点画像を生成する
ステップを含む画像処理方法。 - 撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、多視点画像の生成に用いられる互いに視差を有する複数の合成画像を生成する画像処理装置を制御するコンピュータに、
前記多視点画像の視聴環境を示す情報に基づいて、複数の前記合成画像のそれぞれについて、前記合成画像の生成に用いられる画像が切り出される前記撮像画像上の短冊領域を決定し、
複数の前記撮像画像から前記短冊領域の画像を切り出して合成することで、前記合成画像を生成し、
複数の前記合成画像を用いて、ユーザの視点位置に応じて異なる視差の被写体が立体表示される前記多視点画像を生成する
ステップを含む処理を実行させるプログラム。 - 撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、多視点画像の生成に用いられる互いに視差を有する複数の合成画像を生成する画像処理装置であって、
複数の前記合成画像のそれぞれについて、前記合成画像の生成に用いられる画像が切り出される前記撮像画像上の短冊領域を決定する短冊領域決定手段と、
複数の前記撮像画像から前記短冊領域の画像を切り出して合成し、前記合成画像を生成する合成画像生成手段と、
前記多視点画像の視聴環境を示す情報に基づいて、複数の前記合成画像のうちのいくつかを選択し、選択された前記合成画像を用いて、ユーザの視点位置に応じて異なる視差の被写体が立体表示される前記多視点画像を生成する多視点画像生成手段と
を備える画像処理装置。 - 前記多視点画像生成手段は、前記視聴環境を示す情報により示される前記多視点画像の表示先の画面サイズによって定まる位置関係の前記短冊領域の画像から生成された前記合成画像を選択し、前記多視点画像を生成する
請求項6に記載の画像処理装置。 - 前記多視点画像生成手段は、前記視聴環境が変更された場合、変更された前記視聴環境を示す情報に基づいて、前記多視点画像を再生成する
請求項7に記載の画像処理装置。 - 前記多視点画像生成手段は、前記視聴環境として前記多視点画像の表示倍率が変更された場合、前記表示倍率の変更に応じて、前記画面サイズによって定まる前記位置関係を変更する
請求項8に記載の画像処理装置。 - 撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、多視点画像の生成に用いられる互いに視差を有する複数の合成画像を生成する画像処理装置であり、
複数の前記合成画像のそれぞれについて、前記合成画像の生成に用いられる画像が切り出される前記撮像画像上の短冊領域を決定する短冊領域決定手段と、
複数の前記撮像画像から前記短冊領域の画像を切り出して合成し、前記合成画像を生成する合成画像生成手段と、
前記多視点画像の視聴環境を示す情報に基づいて、複数の前記合成画像のうちのいくつかを選択し、選択された前記合成画像を用いて、ユーザの視点位置に応じて異なる視差の被写体が立体表示される前記多視点画像を生成する多視点画像生成手段と
を備える画像処理装置の画像処理方法であって、
前記短冊領域決定手段が、前記撮像画像上の前記短冊領域を決定し、
前記合成画像生成手段が、前記短冊領域の画像を切り出して合成することで、前記合成画像を生成し、
前記多視点画像生成手段が、前記視聴環境を示す情報に基づいて、前記合成画像を用いて前記多視点画像を生成する
ステップを含む画像処理方法。 - 撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、多視点画像の生成に用いられる互いに視差を有する複数の合成画像を生成する画像処理装置を制御するコンピュータに、
複数の前記合成画像のそれぞれについて、前記合成画像の生成に用いられる画像が切り出される前記撮像画像上の短冊領域を決定し、
複数の前記撮像画像から前記短冊領域の画像を切り出して合成することで、前記合成画像を生成し、
前記多視点画像の視聴環境を示す情報に基づいて、複数の前記合成画像のうちのいくつかを選択し、選択された前記合成画像を用いて、ユーザの視点位置に応じて異なる視差の被写体が立体表示される前記多視点画像を生成する
ステップを含む処理を実行させるプログラム。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009294547A JP5387905B2 (ja) | 2009-12-25 | 2009-12-25 | 画像処理装置および方法、並びにプログラム |
EP10839295A EP2389005A1 (en) | 2009-12-25 | 2010-12-17 | Device, method and program for image processing |
PCT/JP2010/072733 WO2011078065A1 (ja) | 2009-12-25 | 2010-12-17 | 画像処理装置および方法、並びにプログラム |
BRPI1013345A BRPI1013345A2 (pt) | 2009-12-25 | 2010-12-17 | aparelho e método de processamento de imagem, e , programa. |
US13/201,358 US20120026165A1 (en) | 2009-12-25 | 2010-12-17 | Image Processing Apparatus and Method, and Program |
CN201080008410.0A CN102326397B (zh) | 2009-12-25 | 2010-12-17 | 图像处理设备和图像处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009294547A JP5387905B2 (ja) | 2009-12-25 | 2009-12-25 | 画像処理装置および方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011135458A JP2011135458A (ja) | 2011-07-07 |
JP5387905B2 true JP5387905B2 (ja) | 2014-01-15 |
Family
ID=44195591
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009294547A Expired - Fee Related JP5387905B2 (ja) | 2009-12-25 | 2009-12-25 | 画像処理装置および方法、並びにプログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20120026165A1 (ja) |
EP (1) | EP2389005A1 (ja) |
JP (1) | JP5387905B2 (ja) |
CN (1) | CN102326397B (ja) |
BR (1) | BRPI1013345A2 (ja) |
WO (1) | WO2011078065A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5791256B2 (ja) * | 2010-10-21 | 2015-10-07 | キヤノン株式会社 | 表示制御装置、表示制御方法 |
WO2012060093A1 (ja) * | 2010-11-05 | 2012-05-10 | パナソニック株式会社 | ステレオ画像処理装置及びステレオ画像処理方法 |
WO2012086173A1 (ja) * | 2010-12-20 | 2012-06-28 | パナソニック株式会社 | ステレオ画像処理装置及びステレオ画像処理方法 |
US9584806B2 (en) | 2012-04-19 | 2017-02-28 | Futurewei Technologies, Inc. | Using depth information to assist motion compensation-based video coding |
US10306140B2 (en) * | 2012-06-06 | 2019-05-28 | Apple Inc. | Motion adaptive image slice selection |
US9489706B2 (en) * | 2012-07-02 | 2016-11-08 | Qualcomm Technologies, Inc. | Device and algorithm for capturing high dynamic range (HDR) video |
JP5800996B2 (ja) | 2012-09-26 | 2015-10-28 | 富士フイルム株式会社 | 画像処理装置、方法及びプログラム、プリンタ、表示装置 |
CN103079084B (zh) * | 2013-02-21 | 2015-10-21 | 厦门市羽星智能科技有限责任公司 | 一种有利于实时融合播放的多视点裸眼立体片源存储方式 |
TWI535282B (zh) * | 2013-07-10 | 2016-05-21 | 宏達國際電子股份有限公司 | 用於產生多視點視訊的方法和電子裝置 |
US10186299B2 (en) | 2013-07-10 | 2019-01-22 | Htc Corporation | Method and electronic device for generating multiple point of view video |
US10198838B2 (en) * | 2016-03-31 | 2019-02-05 | Qualcomm Incorporated | Geometric work scheduling with dynamic and probabilistic work trimming |
KR102412955B1 (ko) * | 2016-12-28 | 2022-06-24 | 소니그룹주식회사 | 생성 장치, 식별 정보 생성 방법, 재생 장치 및 화상 생성 방법 |
CN108683842B (zh) * | 2018-04-25 | 2021-06-04 | 影石创新科技股份有限公司 | 一种全景相机及输出全景视频的方法和装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3168443B2 (ja) * | 1993-01-27 | 2001-05-21 | 京セラ株式会社 | パノラマ電子スチルカメラ |
JPH08322004A (ja) * | 1995-05-24 | 1996-12-03 | Olympus Optical Co Ltd | 立体視ディスプレイ装置 |
IL136128A0 (en) * | 1998-09-17 | 2001-05-20 | Yissum Res Dev Co | System and method for generating and displaying panoramic images and movies |
US6831677B2 (en) * | 2000-02-24 | 2004-12-14 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | System and method for facilitating the adjustment of disparity in a stereoscopic panoramic image pair |
US7742046B2 (en) * | 2005-08-31 | 2010-06-22 | Kabushiki Kaisha Toshiba | Method, device, and program for producing elemental image array for three-dimensional image display |
JP2007201566A (ja) * | 2006-01-24 | 2007-08-09 | Nikon Corp | 画像再生装置および画像再生プログラム |
US8107769B2 (en) * | 2006-12-28 | 2012-01-31 | Casio Computer Co., Ltd. | Image synthesis device, image synthesis method and memory medium storage image synthesis program |
JP2009124340A (ja) * | 2007-11-13 | 2009-06-04 | Fujifilm Corp | 撮像装置、撮影支援方法、及び撮影支援プログラム |
-
2009
- 2009-12-25 JP JP2009294547A patent/JP5387905B2/ja not_active Expired - Fee Related
-
2010
- 2010-12-17 US US13/201,358 patent/US20120026165A1/en not_active Abandoned
- 2010-12-17 EP EP10839295A patent/EP2389005A1/en not_active Withdrawn
- 2010-12-17 WO PCT/JP2010/072733 patent/WO2011078065A1/ja active Application Filing
- 2010-12-17 BR BRPI1013345A patent/BRPI1013345A2/pt not_active IP Right Cessation
- 2010-12-17 CN CN201080008410.0A patent/CN102326397B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
BRPI1013345A2 (pt) | 2016-03-29 |
CN102326397B (zh) | 2014-07-02 |
WO2011078065A1 (ja) | 2011-06-30 |
EP2389005A1 (en) | 2011-11-23 |
JP2011135458A (ja) | 2011-07-07 |
US20120026165A1 (en) | 2012-02-02 |
CN102326397A (zh) | 2012-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5387905B2 (ja) | 画像処理装置および方法、並びにプログラム | |
JP5287702B2 (ja) | 画像処理装置および方法、並びにプログラム | |
US8941750B2 (en) | Image processing device for generating reconstruction image, image generating method, and storage medium | |
US9710955B2 (en) | Image processing device, image processing method, and program for correcting depth image based on positional information | |
JP5291755B2 (ja) | 立体視画像生成方法および立体視画像生成システム | |
US8803947B2 (en) | Apparatus and method for generating extrapolated view | |
WO2011043249A1 (ja) | 画像処理装置および方法、並びにプログラム | |
WO2011043248A1 (ja) | 画像処理装置および方法、並びにプログラム | |
JP5755571B2 (ja) | 仮想視点画像生成装置、仮想視点画像生成方法、制御プログラム、記録媒体、および立体表示装置 | |
US20130293533A1 (en) | Image processing apparatus and image processing method | |
JP6021489B2 (ja) | 撮像装置、画像処理装置およびその方法 | |
JP5464129B2 (ja) | 画像処理装置および視差情報生成装置 | |
JP5355616B2 (ja) | 立体視画像生成方法および立体視画像生成システム | |
JP5871113B2 (ja) | 立体画像生成装置、立体画像生成方法及び立体画像生成プログラム | |
EP3155810A1 (en) | Stereoscopic video generation | |
KR101939243B1 (ko) | 입체 깊이 조정 및 초점 조정 | |
KR101907127B1 (ko) | 입체 비디오 주밍 및 비디오 내의 전경 및 배경 검출 | |
WO2013186882A1 (ja) | 立体視画像生成方法および立体視画像生成システム | |
WO2013186881A1 (ja) | 立体視画像生成方法および立体視画像生成システム | |
JP2012060512A (ja) | 多眼撮像装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130912 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130925 |
|
LAPS | Cancellation because of no payment of annual fees |