JP2009258862A - 映像表示装置及び映像表示方法 - Google Patents
映像表示装置及び映像表示方法 Download PDFInfo
- Publication number
- JP2009258862A JP2009258862A JP2008105083A JP2008105083A JP2009258862A JP 2009258862 A JP2009258862 A JP 2009258862A JP 2008105083 A JP2008105083 A JP 2008105083A JP 2008105083 A JP2008105083 A JP 2008105083A JP 2009258862 A JP2009258862 A JP 2009258862A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- video data
- video
- coordinate information
- virtual viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
【課題】視点位置を任意に変更できると共に、ユーザの設定に応じた拡大映像内に被写体を捉えることができるようにする。
【解決手段】 複数の角度のカメラから被写体を撮影した複数の映像データを用いて仮想視点からみた映像のための仮想視点映像データを生成する装置において、1つのカメラから前記被写体までの距離情報及び撮影により取得した映像データ内における前記被写体像の位置を示す第1の座標情報を得る被写***置情報出力部601と、前記第1の座標情報を用いて、前記仮想視点からみた映像視野内の前記被写体像の位置である第2の座標情報を求める演算部801と、前記第2の座標情報を用いて前記被写体像の位置を中心にした映像データの切り出し範囲を決定する映像生成領域決定部301と、前記切り出し範囲で切り出された映像データを拡大する拡大部401を有する。
【選択図】 図1
【解決手段】 複数の角度のカメラから被写体を撮影した複数の映像データを用いて仮想視点からみた映像のための仮想視点映像データを生成する装置において、1つのカメラから前記被写体までの距離情報及び撮影により取得した映像データ内における前記被写体像の位置を示す第1の座標情報を得る被写***置情報出力部601と、前記第1の座標情報を用いて、前記仮想視点からみた映像視野内の前記被写体像の位置である第2の座標情報を求める演算部801と、前記第2の座標情報を用いて前記被写体像の位置を中心にした映像データの切り出し範囲を決定する映像生成領域決定部301と、前記切り出し範囲で切り出された映像データを拡大する拡大部401を有する。
【選択図】 図1
Description
この発明は、映像表示装置及び映像表示方法に関するものであり、複数の角度から撮影した複数の映像データを用いて、仮想視点の映像を再現する装置及び方法に係るものである。
複数の映像データを用いて、仮想視点の映像を再現する装置が開発されている。この装置に関する技術は、例えば特許文献1に開示されている。仮想視点の映像を再現する装置は、基本的には光線空間法という技術が用いられている。ある点を通過する光線を平面に投影すると、その視点からみた画像となる。そこで、ある点を様々な方向に通過する光線郡を集めて、その点を視点とする画像を用意する。すると、視点から、様々な角度の画像をみることができる。つまり被写体を中心とすると、様々な視点から被写体の画像をみることができる。様々な方向に通過する光線郡を集めるためには、多数のカメラを必要とするが、カメラの数を無限にすることができないので、カメラとカメラの間の画像は補間により生成している。
従来は、被写体を多数の方向から撮像して複数の映像データを取得している。従来の装置であると、基本的には複数のカメラと被写体との間隔は等しく設定され、倍率も同じに設定されて撮像が行なわれる。これにより、画像再生時に視点を変えて画像をみたときに、その大きさが一定で変化せず違和感がない。
特許文献1では、複数のカメラと被写体との距離がばらついている場合、被写体像を拡大あるいは縮小して、複数のカメラと被写体との距離が等しい状態で撮像されたように、画像データを修正する技術が開示されている。
したがって、この技術においても、画像再生時に視点を変えて画像をみたときに、その大きさが一定で変化せず違和感がない。
特開2008−015756号
しかしながら、画像再生時に、ユーザは視点を変えて見と共に、さらに画像を拡大或いは縮小して見たいという要望もある。
この発明の目的は上記要望に対処すべく、視点位置を任意に変更できると共に、ユーザの設定に応じた拡大映像内に被写体を捉えることができるようにした映像表示装置及び映像表示方法を提供することにある。
上記課題を解決するために、この発明は、複数の角度のカメラから被写体を撮影した複数の映像データを用いて仮想視点からみた映像のための仮想視点映像データを生成する装置において、1つのカメラから前記被写体までの距離情報及び撮影により取得した映像データ内における前記被写体像の位置を示す第1の座標情報を得る被写***置情報出力部と、前記第1の座標情報を用いて、前記仮想視点からみた映像視野内の前記被写体像の位置である第2の座標情報を求める演算部と、前記第2の座標情報を用いて前記被写体像の位置を中心にした映像データの切り出し範囲を決定する映像生成領域決定部と、前記切り出し範囲で切り出された映像データを拡大する拡大部を有したことを特徴とする。
上記の手段によると、演算部により、仮想視点からの被写体像の位置を示す第2の座標情報を求め、この第2の座標情報を用いて前記被写体像の位置を中心にして映像データを切り出す範囲(或いは切り出しサイズ)を決定することができる。このために、仮想視点から見て拡大した被写***置を画面上で安定化して被写体像を再現することができる。
以下図面を参照して、この発明の実施の形態を説明する。図1に本発明の基本構成を示す、基本構成は大きく分類すると映像データ処理部2001と、この映像データ処理部2001を制御する制御部3001を有する。図1において、101〜10nは、一つの被写体を複数の角度から撮影した映像ソースである。201は、映像ソース101〜10nを撮影する各カメラの配置情報である。被写体との位置関係、各カメラ間の相対的な位置関係が与えられる。
301は、仮想視点映像データ生成部である。仮想視点映像データ生成部301には、映像ソース101〜10nからの画像データが入力される。またカメラ配置情報記憶部201からカメラ配置情報が入力される。さらに、仮想視点移動情報処理部501からの次視点位置情報が入力される。この仮想視点移動情報処理部501は仮想視点移動情報をから次視点位置情報を成生している、つまり仮想視点移動情報処理部501は、時刻とともに移動する仮想視点の経路情報から、次の時点での仮想視点位置情報を成生している。
仮想視点映像データ生成部301は、映像データ、カメラ配置情報を用いて次視点位置情報に基づいて、仮想視点からみた仮想視点映像データを生成する。仮想視点移動情報処理部501は、利用者が視点を変更したいときに外部操作により操作情報を入力したときに、次視点位置情報を生成して出力する。
さらにこの装置には、被写***置情報保持部601及び被写***置演算部801が設けられている。
被写***置情報保持部601は、被写***置情報であり、あるカメラから撮影する全景のどの部分に、主要な被写体が移っているかを示す座標情報と、そのカメラから被写体までの距離情報を出力する。この情報は、一つのカメラからの情報があればよい(被写体が移動している場合は、この情報も時刻とともに変化する)。
被写***置演算部801は、カメラ配置情報、次視点位置情報に基づいて生成される映像データのどの位置に、対象被写体があるかを演算する。つまり、この被写***置演算部801は、あるカメラから被写体までの撮影距離情報及び撮影映像データ内における被写体像の座標情報(第1の座標情報)を用いて、仮想視点からの映像視野内の被写体像の位置情報(第2の座標情報)を求める。この被写体像の位置情報は、動画であれば、時間と共に変化する。したがって、この被写***置演算部801は、被写体の実位置の移動と、仮想視点の移動による仮想視野に占める相対位置の移動の両方から被写体の画面内座標を決定している。
さらにこの装置では、拡大指定部701が設けられている。拡大指定部701からの拡大率を示す情報は、映像生成領域決定部901に入力される。拡大率は、利用者の操作のより入力された操作情報に基づいて成生される。
この映像生成領域決定部901は、拡大率に応じて、被写体の画面内座標情報(第2の座標情報)を用いて、被写体を中心とした切り出すべき映像データの範囲を特定するための映像生成範囲情報を出力する。
仮想視点映像データ生成部301は、次視点位置情報に応じて仮想視点から見た映像のための仮想視点映像データを生成する。さらにこの仮想視点映像データ生成部301は、仮想視点映像データに対して、映像成生範囲情報に基づいて、仮想視点映像データの切り出し範囲を特定し、切り出し映像データを映像拡大部401に入力する。この映像拡大部401は、入力した映像データを、モニタ画面の大きさに応じたサイズに拡大或いは縮小して出力する。
自由視点(仮想視点)映像システムでは、例えば図2に示すように、一つの被写体を複数の角度から撮影した映像データを用いて、視聴者が見たい方向からの映像を表示することができる。この例では、カメラ1からカメラnの撮影映像データを用いて、視聴者が指定した仮想視点1から仮想視点2で見た映像を連続的に表示する場合の様子を示している。
ここで、注意が必要なのは、仮想視点というのは、被写体Xをどの位置(方向)から見るかという指定であるということである。視聴者の位置が固定で、見る方向を変えるのではなく、被写体Xが固定で、視聴者の位置が変わることに相当する。
既存の自由視点(仮想視点)映像システムでは、ある視点からの映像について、一部を拡大しても、仮想視点が移動すると(被写体が静止していたとしても)、拡大される被写体がずれてしまう。この発明では、ある撮影位置(カメラ)から見た視野のどの部分に対象の被写体Xがあるかの情報とその撮影距離を用いることで、その被写体Xの実位置を求め、仮想視点を移動させた場合に、対象被写体Xが仮想視点の全体視野のどこに移動するかを求める。こうして得られた仮想視点視野における対象被写体部分の拡大画像を生成することで、仮想視点を移動しても対象被写体の拡大映像を表示しつづけることが可能になる。
図3(A)、図3(B)はその様子を示したものである。仮想視点1からの映像データの範囲では、対象被写体Xは、全体視野の画面の左よりに写っている。これに対して、仮想視点2からみると、(被写体が静止していたとしても、)全体視野の画面の右よりに写っている。本提案を使用した場合は、被写体を拡大画面からはずすことなく表示し続けることができる。この発明では、仮想視点視野における対象被写体X部分を切り出して、その拡大画像を生成することで、仮想視点を移動しても対象被写体Xの拡大映像を表示しつづけることが可能になる。
図4は、この発明の他の実施形態を示している。この実施の形態では、複数の被写***置情報記憶部601、60mを有する。そして被写体選択部611が複数の被写体の位置情報のうちいずれかを選択して、被写***置演算部801に供給する。これにより、全体視野の画面に存在する複数の被写体の中から所望の被写体を拡大するかを選択することができる。つまり視聴者は拡大する被写体を選ぶことが可能になる。その他の部分は、図1に示した装置と同じ構成であるから、図1と同一部分には同一符号を付して説明は省略する。
図5は、自由視点生成の原理を示す補足説明図である。この図では、実際の被写体を撮影する複数のカメラ1K、2K、3Kより前の位置に仮想視点Pがある。この仮想視点Pから前方を見る映像を生成する場合、仮想視点Pからある点X1を見た時に得られる映像は、その直線をたどったカメラ1Kの映像と同じである。このように、仮想視点と被写体を結ぶ直線上にカメラがあれば、その点の映像はそのカメラから得られる。そして、カメラが無い場合には、その両側にあるカメラの映像の画素データを用いて補間画素データを作成することで仮想視点位置の映像データが得られる。このようにして、仮想視点からみた全体視野の画面のすべての点の情報を集めることで、映像を得るのが、自由視点映像システムである。この例では、簡単のため、水平上に一列にならべているが、実際には、縦方向にもカメラを配置して、上下に視点を移動することも可能である。
図6は、被写体が静止していても、視点位置が異なると、各カメラ1K、2K,3Kからの映像視野における被写体の位置が異なる様子を示している。図6のように、円周上にカメラ1K、2K,3Kを配置した場合、被写体がその中心にあれば、視点を移動しても被写体は、常にその映像の中心にある(被写体X10が該当する)。
しかし、例えば、図6の被写体X20の位置の場合、カメラ2Kからは、中央に見える。しかし、カメラ1Kからは、画面の右よりに見え、カメラ3Kからは、左よりに見える。ここで、例えば、被写体X20がカメラ2Kからどの位置に見えるかの座標と、その距離がわかれば、視点位置が変わったときに、対象被写体が視野のどの部分に移動するかを求めることができる。
上記したように本発明の仮想視点映像システムにおいては、画面の一部に写る被写体の拡大画像を、仮想視点が移動しても違和感なく写し続けることができる。
図7はこの発明の装置の基本動作を表すフローチャートである。カメラ位置情報(固定)がカメラ配置情報記憶部201に入力される(ステップS1)。被写***置情報と、仮想視点移動情報が、被写***置情報記憶部601と、仮想視点移動情報処理部501に入力される(ステップS2)。
カメラ配置情報、被写***置情報、次の視点位置情報を用いて、仮想視点から被写体への方向と距離が演算される(ステップS3)。この演算は、仮想視点映像データ成生部301と被写***置演算部801においてそれぞれ行なわれる。次に、被写***置演算部801において、方向の情報から、拡大前の画像(全視野画像)における被写体の座標情報が求められる(ステップS4)。
次に拡大率情報が入力されると、映像成生領域決定部901において、拡大前の画像(全視野画像)における被写体の座標情報の中のどの部分を切り出せばよいかの範囲が演算される。つまり拡大率情報に基づいて切り出し範囲(サイズ)の情報が成生される(ステップS6)。
このとき仮想視点映像データ成生部301においては、カメラ配置情報、仮想視点位置情報に基づいて、仮想視点から見た映像データが成生される。そして、先の切り出し範囲の情報に基づいて、画像データの一部が切り出され、この画像データが画像拡大部401に入力される。そして切り出された画像データが表示器の画面に対応する大きさに拡大されて出力される(ステップS7)。
なお、方向の情報だけを用いた場合には、フローチャートにある拡大率情報のみを用いて、切り出し範囲の座標を求める。この場合、元の仮想画像の大きさに対する切り出しサイズは常に一定になる。このため、仮想視点の移動に伴い、被写体から遠ざかる場合は、被写体が小さくなり、近づく場合には、大きくなる。一方、距離情報を用いた場合には、被写体の大きさを補正して、仮想視点を移動しても、画面上に常に同じ大きさで表示できるようになる。
フローチャートにおける仮想視点から被写体への方向と距離は、以下のように求められる、
被写体の方向と距離の演算方法
与えられる情報:
基準視点と仮想視点が離れている距離D
基準視点の光軸から被写体までの角度θ
基準視点から被写体までの距離l
求める情報:
仮想視点の光軸から被写体までの角度(方向)α
仮想視点から被写体までの距離x
とすると、
被写体の方向と距離の演算方法
与えられる情報:
基準視点と仮想視点が離れている距離D
基準視点の光軸から被写体までの角度θ
基準視点から被写体までの距離l
求める情報:
仮想視点の光軸から被写体までの角度(方向)α
仮想視点から被写体までの距離x
とすると、
この演算を水平方向と垂直方向に行なえば、被写体の座標を求められる。この例ではカメラを並行に並べる構成をとっているが、カメラを円周上(球面上)に並べる方法でも同様な情報から座標を求めることができる。
またこの、被写体の情報として上記の情報のみを用いていることがこの装置の特徴的な要素でもある。この装置の利用方法としては、あらかじめ撮影された自由視点映像のソースを用いて、自由視点映像を視聴するときに、ユーザが拡大率や仮想視点の指定を行なって視聴することができる点が有利である。つまり、画像作成者があらかじめ拡大画像を作って提供していなくても、この装置を利用するユーザが好みに応じて、拡大画像を視聴できるようにしている。
画像作成者は、あくまで全景の自由視点映像を作成して、主な被写体の方向と距離情報を付加しておくだけである。そして、ユーザは提供された被写体の情報から、自分が拡大したい被写体を選択し、拡大画像を生成することができる。
図1の実施形態では複数の画像ソースを入力して、リアルタイムで自由視点画像を生成する構成である。リアルタイム処理が難しい場合には、あらかじめ、全視点から画像を生成したものをソースとして作成しておいてもよい。そのソースに上記の被写体情報を付加することで、同様なことが実現できます。
この場合の実施形態を図8に示している。
図8の実施形態では、映像ソース101には、予め全視点からの仮想映像データが生成されて格納されている。仮想視点移動情報処理部501から次視点位置の情報が与えられると、この次視点に対応した映像データが映像ソース101からされ、切り出し映像データ成生部1001に入力される。したがって、この実施形態では、映像成生領域決定部901からの映像成生範囲の座標情報が与えられると、切り出し処理のみが行われる。切り出された切り出し映像データは、画像拡大部401に入力される。
なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
101-10n・・・映像ソース、201・・・カメラ配置情報記憶部、301・・・仮想視点映像データ成生部、401・・・画像拡大部、501・・・仮想視点移動情報処理部、601−60m・・・被写***置出力部、611・・・被写体選択部、701・・・拡大率指定部、801・・・次視点映像での被写***置演算部、901・・・映像成生領域決定部。
Claims (6)
- 複数の角度のカメラから被写体を撮影した複数の映像データを用いて仮想視点からみた映像のための仮想視点映像データを生成する装置において、
1つのカメラから前記被写体までの距離情報及び撮影により取得した映像データ内における前記被写体像の位置を示す第1の座標情報を得る被写***置情報出力部と、
前記第1の座標情報を用いて、前記仮想視点からみた映像視野内の前記被写体像の実位置である第2の座標情報を求める演算部と、
前記第2の座標情報による前記被写体像の位置を中心にして、拡大率に応じて映像データの切り出し範囲を決定し、切り出し映像データを出力する成生部と、
前記切り出し範囲で切り出された切り出し映像データを拡大する拡大部を有したことを特徴とする映像表示装置。 - さらに前記被写体像が複数存在している場合に、各被写体像に関する前記第1の座標情報を出力する複数の被写***置情報出力部と、
前記複数の被写***置情報出力部のいずれか1つの第1の座標情報を選択して、前記演算部に供給する被写体選択部を有したことを特徴とする請求項1記載の映像表示装置。 - 前記複数の映像データは、それぞれ対応する複数の映像ソースから前記成生部(301)に入力され、
前記成生部は、前記仮想視点からみた映像視野の映像データを成生するとともに、前記第2の座標情報に応じて切り出し範囲を特定し切り出し映像データを出力することを特徴とする請求項1記載の映像表示装置。 - 前記複数の映像データから全視点の仮想映像データが成生されて予め1つの映像ソースに格納されており、
前記成生部は、前記映像ソースから指定された1つの仮想視点の映像データが入力されたとき、前記第2の座標情報に応じて切り出し範囲を特定し、切り出し映像データを出力することを特徴とする請求項1記載の映像表示装置。 - 映像データ成生部と制御部を有し、前記制御部の制御により複数の角度のカメラから被写体を撮影した複数の映像データを用いて仮想視点からみた映像のための仮想視点映像データを生成する方法において、
1つのカメラから前記被写体までの距離情報及び撮影により取得した映像データ内における前記被写体像の位置を示す第1の座標情報を生成し、
前記第1の座標情報を用いて、前記仮想視点からみた映像視野内の前記被写体像の位置である第2の座標情報を求め、
前記第2の座標情報による前記被写体像の位置を中心にして映像データの切り出し範囲を決定し、切り出し映像データを得て、
前記切り出し範囲の切り出し映像データを拡大する
ことを特徴とする映像表示方法。 - さらに前記映像視野内に前記被写体像が複数存在している場合に、いずれか1つの被写体を指定して前記第2の座標情報を求めるようにしたことを特徴とする請求項5記載の映像表示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008105083A JP2009258862A (ja) | 2008-04-14 | 2008-04-14 | 映像表示装置及び映像表示方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008105083A JP2009258862A (ja) | 2008-04-14 | 2008-04-14 | 映像表示装置及び映像表示方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009258862A true JP2009258862A (ja) | 2009-11-05 |
Family
ID=41386220
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008105083A Withdrawn JP2009258862A (ja) | 2008-04-14 | 2008-04-14 | 映像表示装置及び映像表示方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009258862A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014239384A (ja) * | 2013-06-10 | 2014-12-18 | ヤフー株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP2020173529A (ja) * | 2019-04-09 | 2020-10-22 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
-
2008
- 2008-04-14 JP JP2008105083A patent/JP2009258862A/ja not_active Withdrawn
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014239384A (ja) * | 2013-06-10 | 2014-12-18 | ヤフー株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
US9697581B2 (en) | 2013-06-10 | 2017-07-04 | Yahoo Japan Corporation | Image processing apparatus and image processing method |
JP2020173529A (ja) * | 2019-04-09 | 2020-10-22 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP7353782B2 (ja) | 2019-04-09 | 2023-10-02 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7051457B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6395423B2 (ja) | 画像処理装置、制御方法及びプログラム | |
US10970915B2 (en) | Virtual viewpoint setting apparatus that sets a virtual viewpoint according to a determined common image capturing area of a plurality of image capturing apparatuses, and related setting method and storage medium | |
JP6256840B2 (ja) | 画像処理装置及び画像処理方法 | |
US7535497B2 (en) | Generation of static image data from multiple image data | |
JP4700476B2 (ja) | 多視点映像合成装置及び多視点映像合成システム | |
JP7073092B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
KR20190039774A (ko) | 가상 시점 화상의 생성에 관한 정보 처리 장치, 방법 및 프로그램 | |
JP2019152980A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5854951B2 (ja) | パノラマ画像生成装置 | |
JP5963006B2 (ja) | 画像変換装置、カメラ、映像システム、画像変換方法およびプログラムを記録した記録媒体 | |
KR101649752B1 (ko) | 영상 매트릭스 인터페이스를 이용한 다시점 영상 생성 방법 및 다시점 영상 생성 시스템 | |
JP6552256B2 (ja) | 画像処理装置及び画像処理装置の制御方法 | |
JP4971813B2 (ja) | 映像生成装置及び映像生成プログラム | |
JPH10126665A (ja) | 画像合成装置 | |
JP2009246917A (ja) | 映像表示装置及び映像処理装置 | |
JP2009258862A (ja) | 映像表示装置及び映像表示方法 | |
JP2009055332A (ja) | 映像合成表示装置 | |
JP6320165B2 (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
JP3983108B2 (ja) | 画像の表示方法 | |
JP2019145894A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5787930B2 (ja) | ビデオ用の仮想ナビゲーションシステム | |
JP2017182843A (ja) | プログラム、表示制御装置及び表示制御方法 | |
US20220408069A1 (en) | Information processing apparatus, information processing method, and storage medium | |
JP2022182836A (ja) | 映像処理装置及びその制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20110705 |