JP2009258862A - 映像表示装置及び映像表示方法 - Google Patents

Abstract

【課題】視点位置を任意に変更できると共に、ユーザの設定に応じた拡大映像内に被写体を捉えることができるようにする。
【解決手段】 複数の角度のカメラから被写体を撮影した複数の映像データを用いて仮想視点からみた映像のための仮想視点映像データを生成する装置において、１つのカメラから前記被写体までの距離情報及び撮影により取得した映像データ内における前記被写体像の位置を示す第１の座標情報を得る被写***置情報出力部６０１と、前記第１の座標情報を用いて、前記仮想視点からみた映像視野内の前記被写体像の位置である第２の座標情報を求める演算部８０１と、前記第２の座標情報を用いて前記被写体像の位置を中心にした映像データの切り出し範囲を決定する映像生成領域決定部３０１と、前記切り出し範囲で切り出された映像データを拡大する拡大部４０１を有する。
【選択図】 図１

Description

この発明は、映像表示装置及び映像表示方法に関するものであり、複数の角度から撮影した複数の映像データを用いて、仮想視点の映像を再現する装置及び方法に係るものである。

複数の映像データを用いて、仮想視点の映像を再現する装置が開発されている。この装置に関する技術は、例えば特許文献１に開示されている。仮想視点の映像を再現する装置は、基本的には光線空間法という技術が用いられている。ある点を通過する光線を平面に投影すると、その視点からみた画像となる。そこで、ある点を様々な方向に通過する光線郡を集めて、その点を視点とする画像を用意する。すると、視点から、様々な角度の画像をみることができる。つまり被写体を中心とすると、様々な視点から被写体の画像をみることができる。様々な方向に通過する光線郡を集めるためには、多数のカメラを必要とするが、カメラの数を無限にすることができないので、カメラとカメラの間の画像は補間により生成している。

従来は、被写体を多数の方向から撮像して複数の映像データを取得している。従来の装置であると、基本的には複数のカメラと被写体との間隔は等しく設定され、倍率も同じに設定されて撮像が行なわれる。これにより、画像再生時に視点を変えて画像をみたときに、その大きさが一定で変化せず違和感がない。

特許文献１では、複数のカメラと被写体との距離がばらついている場合、被写体像を拡大あるいは縮小して、複数のカメラと被写体との距離が等しい状態で撮像されたように、画像データを修正する技術が開示されている。

したがって、この技術においても、画像再生時に視点を変えて画像をみたときに、その大きさが一定で変化せず違和感がない。
特開２００８−０１５７５６号

しかしながら、画像再生時に、ユーザは視点を変えて見と共に、さらに画像を拡大或いは縮小して見たいという要望もある。

この発明の目的は上記要望に対処すべく、視点位置を任意に変更できると共に、ユーザの設定に応じた拡大映像内に被写体を捉えることができるようにした映像表示装置及び映像表示方法を提供することにある。

上記課題を解決するために、この発明は、複数の角度のカメラから被写体を撮影した複数の映像データを用いて仮想視点からみた映像のための仮想視点映像データを生成する装置において、１つのカメラから前記被写体までの距離情報及び撮影により取得した映像データ内における前記被写体像の位置を示す第１の座標情報を得る被写***置情報出力部と、前記第１の座標情報を用いて、前記仮想視点からみた映像視野内の前記被写体像の位置である第２の座標情報を求める演算部と、前記第２の座標情報を用いて前記被写体像の位置を中心にした映像データの切り出し範囲を決定する映像生成領域決定部と、前記切り出し範囲で切り出された映像データを拡大する拡大部を有したことを特徴とする。

上記の手段によると、演算部により、仮想視点からの被写体像の位置を示す第２の座標情報を求め、この第２の座標情報を用いて前記被写体像の位置を中心にして映像データを切り出す範囲（或いは切り出しサイズ）を決定することができる。このために、仮想視点から見て拡大した被写***置を画面上で安定化して被写体像を再現することができる。

以下図面を参照して、この発明の実施の形態を説明する。図１に本発明の基本構成を示す、基本構成は大きく分類すると映像データ処理部２００１と、この映像データ処理部２００１を制御する制御部３００１を有する。図１において、１０１〜１０ｎは、一つの被写体を複数の角度から撮影した映像ソースである。２０１は、映像ソース１０１〜１０ｎを撮影する各カメラの配置情報である。被写体との位置関係、各カメラ間の相対的な位置関係が与えられる。

３０１は、仮想視点映像データ生成部である。仮想視点映像データ生成部３０１には、映像ソース１０１〜１０ｎからの画像データが入力される。またカメラ配置情報記憶部２０１からカメラ配置情報が入力される。さらに、仮想視点移動情報処理部５０１からの次視点位置情報が入力される。この仮想視点移動情報処理部５０１は仮想視点移動情報をから次視点位置情報を成生している、つまり仮想視点移動情報処理部５０１は、時刻とともに移動する仮想視点の経路情報から、次の時点での仮想視点位置情報を成生している。

仮想視点映像データ生成部３０１は、映像データ、カメラ配置情報を用いて次視点位置情報に基づいて、仮想視点からみた仮想視点映像データを生成する。仮想視点移動情報処理部５０１は、利用者が視点を変更したいときに外部操作により操作情報を入力したときに、次視点位置情報を生成して出力する。

さらにこの装置には、被写***置情報保持部６０１及び被写***置演算部８０１が設けられている。

被写***置情報保持部６０１は、被写***置情報であり、あるカメラから撮影する全景のどの部分に、主要な被写体が移っているかを示す座標情報と、そのカメラから被写体までの距離情報を出力する。この情報は、一つのカメラからの情報があればよい（被写体が移動している場合は、この情報も時刻とともに変化する）。

被写***置演算部８０１は、カメラ配置情報、次視点位置情報に基づいて生成される映像データのどの位置に、対象被写体があるかを演算する。つまり、この被写***置演算部８０１は、あるカメラから被写体までの撮影距離情報及び撮影映像データ内における被写体像の座標情報（第１の座標情報）を用いて、仮想視点からの映像視野内の被写体像の位置情報（第２の座標情報）を求める。この被写体像の位置情報は、動画であれば、時間と共に変化する。したがって、この被写***置演算部８０１は、被写体の実位置の移動と、仮想視点の移動による仮想視野に占める相対位置の移動の両方から被写体の画面内座標を決定している。

さらにこの装置では、拡大指定部７０１が設けられている。拡大指定部７０１からの拡大率を示す情報は、映像生成領域決定部９０１に入力される。拡大率は、利用者の操作のより入力された操作情報に基づいて成生される。

この映像生成領域決定部９０１は、拡大率に応じて、被写体の画面内座標情報（第２の座標情報）を用いて、被写体を中心とした切り出すべき映像データの範囲を特定するための映像生成範囲情報を出力する。

仮想視点映像データ生成部３０１は、次視点位置情報に応じて仮想視点から見た映像のための仮想視点映像データを生成する。さらにこの仮想視点映像データ生成部３０１は、仮想視点映像データに対して、映像成生範囲情報に基づいて、仮想視点映像データの切り出し範囲を特定し、切り出し映像データを映像拡大部４０１に入力する。この映像拡大部４０１は、入力した映像データを、モニタ画面の大きさに応じたサイズに拡大或いは縮小して出力する。

自由視点（仮想視点）映像システムでは、例えば図２に示すように、一つの被写体を複数の角度から撮影した映像データを用いて、視聴者が見たい方向からの映像を表示することができる。この例では、カメラ１からカメラｎの撮影映像データを用いて、視聴者が指定した仮想視点１から仮想視点２で見た映像を連続的に表示する場合の様子を示している。

ここで、注意が必要なのは、仮想視点というのは、被写体Ｘをどの位置（方向）から見るかという指定であるということである。視聴者の位置が固定で、見る方向を変えるのではなく、被写体Ｘが固定で、視聴者の位置が変わることに相当する。

既存の自由視点（仮想視点）映像システムでは、ある視点からの映像について、一部を拡大しても、仮想視点が移動すると（被写体が静止していたとしても）、拡大される被写体がずれてしまう。この発明では、ある撮影位置（カメラ）から見た視野のどの部分に対象の被写体Ｘがあるかの情報とその撮影距離を用いることで、その被写体Ｘの実位置を求め、仮想視点を移動させた場合に、対象被写体Ｘが仮想視点の全体視野のどこに移動するかを求める。こうして得られた仮想視点視野における対象被写体部分の拡大画像を生成することで、仮想視点を移動しても対象被写体の拡大映像を表示しつづけることが可能になる。

図３（Ａ）、図３（Ｂ）はその様子を示したものである。仮想視点1からの映像データの範囲では、対象被写体Ｘは、全体視野の画面の左よりに写っている。これに対して、仮想視点２からみると、（被写体が静止していたとしても、）全体視野の画面の右よりに写っている。本提案を使用した場合は、被写体を拡大画面からはずすことなく表示し続けることができる。この発明では、仮想視点視野における対象被写体Ｘ部分を切り出して、その拡大画像を生成することで、仮想視点を移動しても対象被写体Ｘの拡大映像を表示しつづけることが可能になる。

図４は、この発明の他の実施形態を示している。この実施の形態では、複数の被写***置情報記憶部６０１、６０ｍを有する。そして被写体選択部６１１が複数の被写体の位置情報のうちいずれかを選択して、被写***置演算部８０１に供給する。これにより、全体視野の画面に存在する複数の被写体の中から所望の被写体を拡大するかを選択することができる。つまり視聴者は拡大する被写体を選ぶことが可能になる。その他の部分は、図１に示した装置と同じ構成であるから、図１と同一部分には同一符号を付して説明は省略する。

図５は、自由視点生成の原理を示す補足説明図である。この図では、実際の被写体を撮影する複数のカメラ１Ｋ、２Ｋ、３Ｋより前の位置に仮想視点Ｐがある。この仮想視点Ｐから前方を見る映像を生成する場合、仮想視点Ｐからある点Ｘ１を見た時に得られる映像は、その直線をたどったカメラ１Ｋの映像と同じである。このように、仮想視点と被写体を結ぶ直線上にカメラがあれば、その点の映像はそのカメラから得られる。そして、カメラが無い場合には、その両側にあるカメラの映像の画素データを用いて補間画素データを作成することで仮想視点位置の映像データが得られる。このようにして、仮想視点からみた全体視野の画面のすべての点の情報を集めることで、映像を得るのが、自由視点映像システムである。この例では、簡単のため、水平上に一列にならべているが、実際には、縦方向にもカメラを配置して、上下に視点を移動することも可能である。

図６は、被写体が静止していても、視点位置が異なると、各カメラ１Ｋ、２Ｋ，３Ｋからの映像視野における被写体の位置が異なる様子を示している。図６のように、円周上にカメラ１Ｋ、２Ｋ，３Ｋを配置した場合、被写体がその中心にあれば、視点を移動しても被写体は、常にその映像の中心にある(被写体Ｘ１０が該当する)。

しかし、例えば、図６の被写体Ｘ２０の位置の場合、カメラ２Ｋからは、中央に見える。しかし、カメラ１Ｋからは、画面の右よりに見え、カメラ３Ｋからは、左よりに見える。ここで、例えば、被写体Ｘ２０がカメラ２Ｋからどの位置に見えるかの座標と、その距離がわかれば、視点位置が変わったときに、対象被写体が視野のどの部分に移動するかを求めることができる。

上記したように本発明の仮想視点映像システムにおいては、画面の一部に写る被写体の拡大画像を、仮想視点が移動しても違和感なく写し続けることができる。

図７はこの発明の装置の基本動作を表すフローチャートである。カメラ位置情報（固定）がカメラ配置情報記憶部２０１に入力される（ステップＳ１）。被写***置情報と、仮想視点移動情報が、被写***置情報記憶部６０１と、仮想視点移動情報処理部５０１に入力される（ステップＳ２）。

カメラ配置情報、被写***置情報、次の視点位置情報を用いて、仮想視点から被写体への方向と距離が演算される（ステップＳ３）。この演算は、仮想視点映像データ成生部３０１と被写***置演算部８０１においてそれぞれ行なわれる。次に、被写***置演算部８０１において、方向の情報から、拡大前の画像（全視野画像）における被写体の座標情報が求められる（ステップＳ４）。

次に拡大率情報が入力されると、映像成生領域決定部９０１において、拡大前の画像（全視野画像）における被写体の座標情報の中のどの部分を切り出せばよいかの範囲が演算される。つまり拡大率情報に基づいて切り出し範囲（サイズ）の情報が成生される（ステップＳ６）。

このとき仮想視点映像データ成生部３０１においては、カメラ配置情報、仮想視点位置情報に基づいて、仮想視点から見た映像データが成生される。そして、先の切り出し範囲の情報に基づいて、画像データの一部が切り出され、この画像データが画像拡大部４０１に入力される。そして切り出された画像データが表示器の画面に対応する大きさに拡大されて出力される（ステップＳ７）。

なお、方向の情報だけを用いた場合には、フローチャートにある拡大率情報のみを用いて、切り出し範囲の座標を求める。この場合、元の仮想画像の大きさに対する切り出しサイズは常に一定になる。このため、仮想視点の移動に伴い、被写体から遠ざかる場合は、被写体が小さくなり、近づく場合には、大きくなる。一方、距離情報を用いた場合には、被写体の大きさを補正して、仮想視点を移動しても、画面上に常に同じ大きさで表示できるようになる。

フローチャートにおける仮想視点から被写体への方向と距離は、以下のように求められる、
被写体の方向と距離の演算方法
与えられる情報：
基準視点と仮想視点が離れている距離D
基準視点の光軸から被写体までの角度θ
基準視点から被写体までの距離l
求める情報：
仮想視点の光軸から被写体までの角度（方向）α
仮想視点から被写体までの距離x
とすると、

この演算を水平方向と垂直方向に行なえば、被写体の座標を求められる。この例ではカメラを並行に並べる構成をとっているが、カメラを円周上（球面上）に並べる方法でも同様な情報から座標を求めることができる。

またこの、被写体の情報として上記の情報のみを用いていることがこの装置の特徴的な要素でもある。この装置の利用方法としては、あらかじめ撮影された自由視点映像のソースを用いて、自由視点映像を視聴するときに、ユーザが拡大率や仮想視点の指定を行なって視聴することができる点が有利である。つまり、画像作成者があらかじめ拡大画像を作って提供していなくても、この装置を利用するユーザが好みに応じて、拡大画像を視聴できるようにしている。

画像作成者は、あくまで全景の自由視点映像を作成して、主な被写体の方向と距離情報を付加しておくだけである。そして、ユーザは提供された被写体の情報から、自分が拡大したい被写体を選択し、拡大画像を生成することができる。

図1の実施形態では複数の画像ソースを入力して、リアルタイムで自由視点画像を生成する構成である。リアルタイム処理が難しい場合には、あらかじめ、全視点から画像を生成したものをソースとして作成しておいてもよい。そのソースに上記の被写体情報を付加することで、同様なことが実現できます。

この場合の実施形態を図８に示している。

図８の実施形態では、映像ソース１０１には、予め全視点からの仮想映像データが生成されて格納されている。仮想視点移動情報処理部５０１から次視点位置の情報が与えられると、この次視点に対応した映像データが映像ソース１０１からされ、切り出し映像データ成生部１００１に入力される。したがって、この実施形態では、映像成生領域決定部９０１からの映像成生範囲の座標情報が与えられると、切り出し処理のみが行われる。切り出された切り出し映像データは、画像拡大部４０１に入力される。

なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

この発明の一実施の形態を示す構成説明図である。 自由視点（仮想視点）映像システムで、一つの被写体を複数の角度から撮影した映像データを用いて、視聴者が見たい方向からの映像を表示する例を説明する図である この発明の装置により表示された被写体像の例を示す図である。 この発明の他の実施の形態を示す構成説明図である。 自由視点生成の原理を示す補足説明図である。 被写体が静止していても、視点位置が異なると、複数のカメラからの映像視野における被写体の位置が異なる様子を示す図である。 この発明の装置の基本動作を表すフローチャートである。 この発明の他の実施の形態を示す構成説明図である。

符号の説明

１０１-１０ｎ・・・映像ソース、２０１・・・カメラ配置情報記憶部、３０１・・・仮想視点映像データ成生部、４０１・・・画像拡大部、５０１・・・仮想視点移動情報処理部、６０１−６０ｍ・・・被写***置出力部、６１１・・・被写体選択部、７０１・・・拡大率指定部、８０１・・・次視点映像での被写***置演算部、９０１・・・映像成生領域決定部。

Claims (6)

1. 複数の角度のカメラから被写体を撮影した複数の映像データを用いて仮想視点からみた映像のための仮想視点映像データを生成する装置において、
   １つのカメラから前記被写体までの距離情報及び撮影により取得した映像データ内における前記被写体像の位置を示す第１の座標情報を得る被写***置情報出力部と、
   前記第１の座標情報を用いて、前記仮想視点からみた映像視野内の前記被写体像の実位置である第２の座標情報を求める演算部と、
   前記第２の座標情報による前記被写体像の位置を中心にして、拡大率に応じて映像データの切り出し範囲を決定し、切り出し映像データを出力する成生部と、
   前記切り出し範囲で切り出された切り出し映像データを拡大する拡大部を有したことを特徴とする映像表示装置。
2. さらに前記被写体像が複数存在している場合に、各被写体像に関する前記第１の座標情報を出力する複数の被写***置情報出力部と、
   前記複数の被写***置情報出力部のいずれか１つの第１の座標情報を選択して、前記演算部に供給する被写体選択部を有したことを特徴とする請求項１記載の映像表示装置。
3. 前記複数の映像データは、それぞれ対応する複数の映像ソースから前記成生部（３０１）に入力され、
   前記成生部は、前記仮想視点からみた映像視野の映像データを成生するとともに、前記第２の座標情報に応じて切り出し範囲を特定し切り出し映像データを出力することを特徴とする請求項１記載の映像表示装置。
4. 前記複数の映像データから全視点の仮想映像データが成生されて予め１つの映像ソースに格納されており、
   前記成生部は、前記映像ソースから指定された１つの仮想視点の映像データが入力されたとき、前記第２の座標情報に応じて切り出し範囲を特定し、切り出し映像データを出力することを特徴とする請求項１記載の映像表示装置。
5. 映像データ成生部と制御部を有し、前記制御部の制御により複数の角度のカメラから被写体を撮影した複数の映像データを用いて仮想視点からみた映像のための仮想視点映像データを生成する方法において、
   １つのカメラから前記被写体までの距離情報及び撮影により取得した映像データ内における前記被写体像の位置を示す第１の座標情報を生成し、
   前記第１の座標情報を用いて、前記仮想視点からみた映像視野内の前記被写体像の位置である第２の座標情報を求め、
   前記第２の座標情報による前記被写体像の位置を中心にして映像データの切り出し範囲を決定し、切り出し映像データを得て、
   前記切り出し範囲の切り出し映像データを拡大する
   ことを特徴とする映像表示方法。
6. さらに前記映像視野内に前記被写体像が複数存在している場合に、いずれか１つの被写体を指定して前記第２の座標情報を求めるようにしたことを特徴とする請求項５記載の映像表示方法。

Images