JP2007195091A - 合成映像生成システム - Google Patents

Abstract

【課題】コンテンツ製作者側にて、視点を移動して欲しくない位置や視線を向けて欲しくない方向に仮想カメラを位置したり、向けることができないように設定可能とする。
【解決手段】送信側では、仮想カメラの視点位置や視線方向の制限・許可情報が予めコンテンツ製作者によって定められている。受信側では、映像データとともに上記制限・許可情報を取得する。受信側の仮想カメラ位置・方向判定部２０４は、入力装置２０６より入力された仮想カメラの視点位置・視線方向の情報と、取得した上記制限・許可情報とから制御情報を生成し、任意視点映像生成部２０３に送る。任意視点映像生成部２０３は、受信した映像データおよびカメラパラメータ、および仮想カメラ位置・方向判定部２０４より送られた制御情報を用い、任意視点映像を合成する。合成した映像は、表示部２０５に出力する。
【選択図】図５

Description

本発明は、合成映像生成システムに関し、より詳細には、それぞれ異なる視点位置・視線方向に配置した多数のカメラによる映像情報から、実際にはカメラの存在しない視点位置・視線方向での映像、すなわち仮想カメラ位置・方向における映像を合成する合成映像生成システムに関する。

様々な研究機関・大学等で、任意視点映像生成技術が研究されている。これは、あるシーンを多数のカメラを用いて撮影し、その映像データを処理することで、カメラの存在しない地点に仮想カメラを置いた場合の映像を合成する技術である。例えば非特許文献１や非特許文献２のような技術がある。

任意視点映像生成システムの例を図９に示す。図９は、舞台１を複数台のカメラ２を用いて撮影している様子を模式的に示したものである。これらのカメラ２の映像から、実際にはカメラの存在しない仮想カメラ３の位置から撮影したかのような映像を生成するのが、任意視点映像生成技術である。

この技術を用いれば、例えば利用者が仮想カメラ３の位置や方向を操作して、特定被写体をずっと追跡して映像を見ることが可能である。例えばスポーツ中継を例に取ると、自分のひいきの選手を常に追跡して見ることができる。また演劇やコンサートの中継に利用すれば、演技者や演奏者を自分の好きな方向から見ることができる。またドラマのようなコンテンツに利用することも可能である。
北原，佐藤，大田，"多眼ステレオ法を用いた運動視差の再現可能な３次元画像表示―表示画像の生成と評価―"，テレビジョン学会誌，Ｖｏｌ．５０，Ｎｏ．９，（１９９６） プリム，藤井，谷本，"自由視点テレビのためのリアルタイムシステム"，信学技報，ＩＥ２００２−１２０（２００２）

このような任意視点映像システムの場合、コンテンツの提供者側としては、視点を移動して欲しくない位置や、視線を向けて欲しくない方向があることが考えられる。例えば、演劇の中継において、舞台セットの裏側まで見えてしまうような視点位置には移動して欲しくないという場合が考えられる。あるいは、ドラマのようなコンテンツにおいて、撮影側の機材やスタッフが映るような方向には視線を向けて欲しくないと思われる。

また、カメラの配置の関係から、任意視点映像を生成できない、あるいはエラーの多い映像しか生成できなくなるような視点位置や視線方向が存在し得る。例えば、視点を被写体に近づけすぎるとカメラ映像の解像度が足りなくなり、ぼけた映像しか生成できなくなる。あるいは、視点が地面の下にもぐってしまうような場合は本来映像を生成できない。あるいは、どのカメラからも撮影されておらず映像合成が不可能な視線方向もあり得る。このような場合には、最初からある距離以下には視点を近付けることができないように制限する、あるいは視点位置を地面の下に移動できないように制限する、あるいは視線方向を制限することが望ましい。

本発明は、上述のごとき実情に鑑みてなされたもので、任意視点映像システムにおいてコンテンツの提供者側で、予め視点を移動できない領域、および視線を向けられない方向を設定できるようにすること、あるいは逆に視点を移動してもよい領域、および視線を向けてもよい方向を設定できるようにすることを課題とする。

前記課題を解決するための本発明の第１の手段は、複数の異なる視点位置および視線方向からの映像を合成して任意の仮想的な視点位置および視線方向での映像を合成する合成映像生成システムにおいて、映像を合成する際の仮想的な視点位置に対する制限情報を、映像データに付加して伝送および記録することを特徴としたものである。

第２の技術手段は、第１の技術手段において、映像を合成する際の仮想的な視点位置に対する許可情報を、映像データに付加して伝送および記録することを特徴としたものである。

第３の技術手段は、第１または第２の技術手段において、映像を合成する際の仮想的な視線方向に対する制限情報を、映像データに付加して伝送および記録することを特徴としたものである。

第４の技術手段は、第１ないし第３のいずれか１の技術手段において、映像を合成する際の仮想的な視線方向に対する許可情報を、映像データに付加して伝送および記録することを特徴としたものである。

第５の技術手段は、第１ないし第４のいずれか１の技術手段において、仮想的な視点位置に対する制限情報、仮想的な視点位置に対する許可情報、仮想的な視線方向に対する制限情報、および仮想的な視線方向に対する許可情報のいずれかまたは複数を、平面を表す数式によって指定することを特徴としたものである。

第６の技術手段は、第１ないし第４のいずれか１の技術手段において、仮想的な視点位置に対する制限情報、仮想的な視点位置に対する許可情報、仮想的な視線方向に対する制限情報、および仮想的な視線方向に対する許可情報のいずれかまたは複数を、球面を表す数式によって指定することを特徴としたものである。

第７の技術手段は、第５または第６の技術手段において、仮想的な視点位置に対する制限情報、仮想的な視点位置に対する許可情報、仮想的な視線方向に対する制限情報、および仮想的な視線方向に対する許可情報のいずれかまたは複数は、平面または球面を表す数式によって指定された一つ以上の制限情報の論理積または論理和、または平面または球面を表す数式で指定された一つ以上の許可情報の論理積または論理和によって指定することを特徴としたものである。

第８の技術手段は、第１ないし第７のいずれか１の技術手段において、仮想的な視点位置に対する制限情報、仮想的な視点位置に対する許可情報、仮想的な視線方向に対する制限情報、および仮想的な視線方向に対する許可情報のいずれかまたは複数のフレームレートは、映像データのフレームレートと同一であることを特徴としたものである。

第９の技術手段は、第１ないし第７のいずれか１の技術手段において、仮想的な視点位置に対する制限情報、仮想的な視点位置に対する許可情報、仮想的な視線方向に対する制限情報、および仮想的な視線方向に対する許可情報のいずれかまたは複数のフレームレートは、映像データのフレームレートと異なることを特徴としたものである。

第１０の技術手段は、第１ないし第９のいずれか１の技術手段において、映像を合成する際の仮想的な視点位置および視線方向について、予め定めた標準的な視点位置・視線方向の情報を、映像データに付加して伝送および記録することを特徴としたものである。

第１１の技術手段は、第１０の技術手段において、標準的な視点位置・視線方向の情報のフレームレートは、映像データのフレームレートと同一であることを特徴としたものである。

第１２の技術手段は、第１０の技術手段において、標準的な視点位置・視線方向の情報のフレームレートは、映像データのフレームレートと異なることを特徴としたものである。

第１３の技術手段は、第１ないし第１２のいずれか１の技術手段において、データの受信側または再生側において入力装置を有し、入力装置によって仮想的な視点位置・視線方向の入力を受け付けることを特徴としたものである。

第１４の技術手段は、第１３の技術手段において、入力装置によって入力された仮想的な視点位置・視線方向に従って映像を合成することを特徴としたものである。

第１５の技術手段は、第１４の技術手段において、入力装置によって入力された仮想的な視点位置・視線方向を、映像データに付加された制限情報および／または許可情報に従って判定および処理し、制限情報に合致するか、または許可情報に合致しない視点位置および視線方向における画像は生成しないように制御することを特徴としたものである。

第１６の技術手段は、第１３ないし第１５のいずれか１の技術手段において、入力装置は、フォースフィードバック機構を持つことを特徴としたものである。

第１７の技術手段は、第１６の技術手段において、入力装置によって入力された仮想的な視点位置・視線方向が、映像データに付加された制限情報に合致した場合、または映像データに付加された許可情報に合致しなかった場合は、フォースフィードバック機構に制御信号を送り物理的な刺激を利用者に与えるよう制御することを特徴としたものである。

第１８の技術手段は、第１３ないし第１７のいずれか１の技術手段において、切り替えスイッチを備え、入力装置によって入力された仮想的な視点位置・視線方向に従って映像を合成するか、標準的な視点位置・視線方向の情報に従って映像を合成するかを切り替えスイッチで切り替えることが可能であることを特徴としたものである。

第１９の技術手段は、第１３ないし第１８のいずれか１の技術手段において、入力装置による仮想的な視点位置・視線方向の入力が一定時間行われなかった場合に、標準的な視点位置・視線方向の情報に従って映像を合成するよう自動的に切り替えることを特徴としたものである。

第２０の技術手段は、第１３ないし第１９のいずれか１の技術手段において、標準的な視点位置・視線方向の情報に従って映像を合成している際に、入力装置による仮想的な視点位置・視線方向の入力が行われた場合に、入力された仮想的な視点位置・視線方向に従って映像を合成するよう自動的に切り替えることを特徴としたものである。

第２１の技術手段は、第１３ないし第２０のいずれか１の技術手段において、入力装置によって入力された仮想的な視点位置・視線方向を、映像データに付加された制限情報および／または許可情報に従って判定および処理し、仮想的な視点位置・視線方向が制限情報に合致する場合、または許可情報に合致しない場合には、入力装置によって入力された仮想的な視点位置・視線方向を用いず、標準的な視点位置・視線方向の情報を用いて画像を生成することを特徴としたものである。

本発明によれば、任意視点映像システムにおいてコンテンツの提供者側で、予め視点を移動できない領域、および視線を向けられない方向を設定できるようにすることができ、また逆に視点を移動してもよい領域、および視線を向けてもよい方向を設定できるようにすることができる。
また、予め定めた標準的な視点位置・視線方向の情報を映像データに付加することで、利用者が入力した視点位置・視線方向が適切ではない場合に、その代わりに標準的な視点位置・視線方向の情報を用いて任意視点映像を合成することができる。さらに、利用者による視点位置・視線方向の入力が無い場合にも、標準的な視点位置・視線方向の情報を用いて任意視点映像を合成することができる。
また、視点位置・視線方向の入力装置を持ちこれにフォースフィードバック機構を付加することで、利用者が入力した視点位置・視線方向が適切ではない場合に、利用者に物理的な刺激を与えることでそれを知らせることができる。

＜第１の実施例＞
本発明の第１の実施例を以下に説明する。第１の実施例は、テレビ放送に本特許を適用する場合の適用例を示すものである。
図１は、本発明の合成映像生成システムの第１の実施例を説明する図で、合成映像システムの放送局側システムのブロック図を示すものである。放送局側のシステムは、カメラ１０１、カメラパラメータ記録部１０２、仮想カメラ位置・方向の制限・許可情報記録部１０３、データ多重化処理部１０４、および送信部１０５を有している。

カメラ１０１は、被写体の周囲に一つ以上配置し、被写体を一つないし複数の視点位置・方向から撮影した映像データを得るものである。
カメラパラメータ記録部１０２は、カメラパラメータを保持しておく部分である。カメラパラメータには、各カメラの焦点距離やレンズの歪みの情報などのいわゆる内部パラメータと、カメラ間の相対的な位置関係を表す外部パラメータがある。これらのカメラパラメータは、任意視点映像を合成する段階で必要となる。

仮想カメラ位置・方向の制限・許可情報記録部１０３は、仮想カメラの視点位置や視線方向の制限・許可情報を記録しておく部分である。これらの情報は、あらかじめコンテンツ製作者によって定められ、記録されているものとする。なお、この仮想カメラの視点位置や視線方向の制限・許可情報は、映像データのフレームレートと同一のフレームレートのデータであってもよいし、異なるフレームレートのデータであってもよい。例えば、仮想カメラの視点位置や視線方向の制限・許可情報が複数フレームに渡って同一である場合は、その間データを送らずに済ましてもよい。

データ多重化処理部１０４は、カメラ１０１で撮影された映像データ、およびカメラパラメータ記録部１０２に記録されているカメラパラメータ、および仮想カメラ位置・方向の制限・許可情報記録部１０３に記録されている仮想カメラの視点位置や視線方向の制限・許可情報を多重化して、多重化ストリームを生成する。
送信部１０５は、放送電波にこの多重化ストリームを乗せる。
なお、この処理はあくまで一例である。この他にも、カメラ１０１からの映像を圧縮してから多重化する方法や、各データを多重化しないで複数のストリームの形のまま送信する方法も考えられる。

図２は、仮想カメラの視点位置の制限・許可情報の記述方法の一例を説明する図である。図２に示したように各辺がｘ１、ｙ１、ｚ１の長さである直方体１１１を考える。

まず、仮想カメラの視点位置の制限の条件として、直方体１１１の内部を禁止領域とする。すなわち、直方体１１１の内部には仮想カメラが入れないものとする。
直方体１１１の６つの平面は、以下の６つの数式で記述される。

ｘ＝０ （１）
ｘ＝ｘ１ （２）
ｙ＝０ （３）
ｙ＝ｙ１ （４）
ｚ＝０ （５）
ｚ＝ｚ１ （６）
で得る。

ここから、直方体１１１の内部領域は、以下の６つの不等式の論理積で記述できる。
ｘ＞０ （７）
ｘ＜ｘ１ （８）
ｙ＞０ （９）
ｙ＜ｙ１ （１０）
ｚ＞０ （１１）
ｚ＜ｚ１ （１２）

ある点の座標がこれら６個の不等式全てに当てはまる場合は、その点は直方体１１１の内部領域にある。また一つでも当てはまらない場合は、その点は直方体１１１の外部領域にある。
例えば、（ｘ１，ｙ１，ｚ１）＝（１，１，１）とするとき、座標が（ｘ，ｙ，ｚ）＝（０.５，０.５，０.５）という点は、式（７）ないし式（１２）の全ての不等式に合致するため、直方体１１１の内部領域に位置することがわかる。このため、この点には仮想カメラの視点位置は移動できない。また例えば、座標が（ｘ，ｙ，ｚ）＝（１.５，０.５，０.５）という点は、式（８）には当てはまらないため、直方体１１１の外部領域に位置することがわかる。このため、この点には仮想カメラの視点位置は移動可能である。

また、直方体１１１の外部領域は、以下の６つの不等式の論理和で記述できる。
ｘ＜０ （１３）
ｘ＞ｘ１ （１４）
ｙ＜０ （１５）
ｙ＞ｙ１ （１６）
ｚ＜０ （１７）
ｚ＞ｚ１ （１８）

ある点の座標がこれら６個の不等式の一つにでも当てはまる場合は、その点は直方体１１１の外部領域にある。また全てに当てはまらない場合は、その点は直方体１１１の内部領域にある。

例えば、座標が（ｘ，ｙ，ｚ）＝（１.５，０.５，０.５）という点は、少なくとも式（１４）に当てはまるため、直方体１１１の外部領域に位置することがわかる。このため、この点には仮想カメラの視点位置は移動可能である。
また例えば、座標が（ｘ，ｙ，ｚ）＝（０.５，０.５，０.５）という点は、式（１３）ないし式（１８）の全ての不等式に当てはまらないため、直方体１１１の内部領域に位置することがわかる。このため、この点には仮想カメラの視点位置は移動できない。

このように、一つ以上の平面の組み合わせで表現できる領域は、平面を記述する不等式とその論理積あるいは論理和で定義することができる。また、ある点がどの領域に属しているかをそれらの定義から判定することができる。

同様の方法で、直方体１１１の外部を制限領域とする、すなわち直方体１１１の内部でしか仮想カメラの視点位置が動けない、とすることも可能である。さらに、同様の方法で、直方体１１１の内部を許可領域とする、すなわち直方体１１１の内部でしか仮想カメラの視点位置が動けない、とすることも可能である。またさらに、同様の方法で、直方体１１１の外部を許可領域とする、すなわち直方体１１１の外部でしか仮想カメラの視点位置が動けない、とすることも可能である。
上記の例のように、仮想カメラの位置の制限・許可情報を記述し、判定することが実現可能である。

なお、以上では簡単のため、ｘ＜０のように記述が単純な平面を例とした。平面は一般にａｘ＋ｂｙ＋ｃｚ＝１と記述できる。このような一般的な記述による平面の式を用いても、上記と同様のことが実現可能である。
また、この他にも、例えば球面のように数式で記述できる曲面により領域を定義する方法や、１つ以上のポリゴンによって領域を定義する方法も考えられる。本発明ではこれら全ての方法を、仮想カメラの視点位置の制限・許可情報の記述方法として用いることが可能である。
またさらに、上記の領域記述方法は一例であり、その他の領域記述方法を用いた場合にも本発明を適用できる。

次に、仮想カメラの視線方向の制限・許可情報の記述方法の一例を説明する。まずカメラの模式図を図３に示す。図３は、カメラ本体１２１にレンズ１２２が取り付けられている様子を示している。また、撮像面の中心とレンズの中心を通って被写体へと向かう方向を、カメラの視線方向１２３としている。

図４は、仮想カメラの視線方向の制限・許可情報の記述方法の一例を説明する図である。図４に示したように、中心が（ｘ２，ｙ２，ｚ２）で半径がＲの球１１２を考える。
まず、仮想カメラの視線方向の制限の条件として、カメラの視線方向１２３が成す直線が球１１２の内部のいずれかの領域を通過するような視線方向を禁止する場合を考える。

この場合、カメラの視線方向１２３の直線と、球１１２の中心との距離を算出し、その距離と半径Ｒを比較すればよい。距離が半径Ｒより小さければ、カメラの視線方向１２３は球１１２の内部の領域を通過する。また距離が半径Ｒより大きければ、カメラの視線方向１２３は球１１２の内部の領域を通過しない。
よって、カメラの視線方向１２３が成す直線と球１１２の中心との距離が半径Ｒより小さくなるような視線方向は禁止される。なお、この制限の条件は、カメラの視線方向１２３が成す直線が球１１２の内部のいずれの領域も通過しないような視線方向を許可する条件と等しい。

逆に、カメラの視線方向１２３が成す直線が球１１２の内部のいずれかの領域を通過するような方向を許可する場合は、カメラの視線方向１２３が成す直線と球１１２の中心との距離が半径Ｒより小さくなるような視線方向が許可されることになる。なお、この許可の条件は、カメラの視線方向１２３が成す直線が球１１２の内部のいずれの領域も通過しないような視線方向を制限する条件と等しい。
上記の例のように、仮想カメラの視線方向の制限・許可情報を記述し、判定することが実現可能である。
なお、上記の仮想カメラの視線方向の制限・許可情報の記述方法は一例であり、その他の記述方法を用いた場合にも本発明を適用できる。

図５は、本発明の合成映像生成システムの第１の実施例を説明する他の図で、合成映像システムの受信側システムのブロック図を示すものである。受信側のシステムは、受信部２０１、多重化データ分離処理部２０２、任意視点映像生成部２０３、仮想カメラ位置・方向判定部２０４、表示部２０５、および入力装置２０６を有している。

受信部２０１は、図１の送信部１０５によって送信された多重化ストリームを受信し、多重化データ分離処理部２０２に送る。
多重化データ分離処理部２０２は、多重化ストリームを分離し、映像データ、カメラパラメータ、および仮想カメラの視点位置や視線方向の制限・許可情報を得る。映像データおよびカメラパラメータは任意視点映像生成部２０３に送られ、仮想カメラの視点位置や視線方向の制限・許可情報は仮想カメラ位置・方向判定部２０４に送られる。

入力装置２０６は、仮想カメラの視点位置・視線方向の情報を入力するための装置である。例えば、ジョイスティックが利用できる。また、入力装置２０６はフォースフィードバック機構を備えていても良い。
仮想カメラ位置・方向判定部２０４は、入力装置２０６より入力された仮想カメラの視点位置・視線方向の情報と、多重化データ分離処理部２０２より送られてきた仮想カメラの視点位置や視線方向の制限・許可情報から制御情報を生成し、任意視点映像生成部２０３へその制御情報を送る。また、入力装置２０６がフォースフィードバック機構を持つ場合は、その制御を行う。その手順の例については、後で述べる。

任意視点映像生成部２０３は、多重化データ分離処理部２０２より送られた映像データおよびカメラパラメータ、および仮想カメラ位置・方向判定部２０４より送られた制御情報を用い、任意視点映像を合成する。合成した映像は、表示部２０５に出力する。
表示部２０５は、任意視点映像生成部２０３で生成された映像を表示する装置である。一般的な２次元ディスプレイである場合や、立体視が可能な３次元ディスプレイである場合が考えられる。

仮想カメラ位置・方向判定部２０４における処理手順の例を図６に示す。
まず、入力装置２０６から仮想カメラの視点位置・視線方向データを取得する（Ｓ１）。そして取得した視点位置・視線方向が、仮想カメラの視点位置や視線方向の制限情報によって定められる制限条件に合致するかを判定する（Ｓ２）。

Ｓ２の判定に合致しない場合（Ｎｏの場合）は次に、入力装置２０６から取得した視点位置・視線方向が、仮想カメラの視点位置や視線方向の許可情報によって定められる許可条件に合致するかを判定する処理を行う（Ｓ３）。
Ｓ３の判定に合致する場合（Ｙｅｓの場合）は、視点位置・視線方向データを、任意視点映像生成部２０３に送る（Ｓ４）。

またＳ２の判定に合致した場合（Ｙｅｓの場合）は、すなわち入力装置２０６から取得した視点位置・視線方向が適切ではない場合であるので、それを入力装置２０６にフィードバックする（Ｓ５）。フィードバック方法としては、入力装置２０６に振動を発生させて利用者に気づかせる方法、あるいは反力を発生させて視点移動や視線方向変更ができないようにする方法、などが考えられる。
その後、仮想カメラの視点位置や視線方向の制限・許可情報を満たすように、入力装置２０６から取得した視点位置・視線方向から視点位置・視線方向をずらしたデータを作成する（Ｓ６）。そして生成した新たな視点位置・視線方向データを、任意視点映像生成部２０３に送る（Ｓ４）。

またＳ３の判定に合致しない場合（Ｎｏの場合）も、入力装置２０６から取得した視点位置・視線方向が適切ではない場合であるので、それを入力装置２０６にフィードバックする（Ｓ５）。
その後、仮想カメラの視点位置や視線方向の制限・許可情報を満たすように、入力装置２０６から取得した視点位置・視線方向から視点位置・視線方向をずらしたデータを作成する（Ｓ６）。そして生成した視点位置・視線方向データを、任意視点映像生成部２０３に送る（Ｓ４）。

上記手順のうち、Ｓ６の、仮想カメラの視点位置や視線方向の制限・許可情報を満たすように、入力装置２０６から取得した視点位置・視線方向から視点位置・視線方向をずらしたデータを作成する方法について、具体例を述べる。

まず、仮想カメラ位置の制限・許可情報を満たすように、視点位置をずらす方法について述べる。前記の図２を用いた説明の例では、仮想カメラ位置の制限・許可情報として、平面の組み合わせを用いていた。そこで、入力装置２０６から取得した視点位置と各平面との距離を求める。距離が一番近かった平面上において、入力装置２０６から取得した視点位置に最も近い点を求める。そしてその最も近い点を修正した新たな視点位置とする。

次に、仮想カメラ方向の制限・許可情報を満たすように、視線方向をずらす方法について述べる。前記の図３および図４を用いた説明の例では、仮想カメラ方向の制限・許可情報として、球面を用いていた。そこで、入力装置２０６から取得した視線方向が成す直線上で、球の中心点から最も距離が近い点を求める。この点と球の中心点が成す直線と球面との交点を求める。この交点を仮想カメラの視線方向が成す直線が通るよう、視線方向を修正する。

上記のような手順を採ることによって、仮想カメラの視点位置や視線方向の制限・許可情報を満たすように、入力装置２０６から取得した視点位置・視線方向から視点位置・視線方向をずらしたデータを作成することが可能である。
なお、上記の方法は一例であり、その他の方法を用いた場合も本発明を適用できる。

＜第２の実施例＞
本発明の第２の実施例を以下に説明する。第２の実施例は、テレビ放送に本発明を適用する場合の別の適用例を示すものである。
図７は、本発明の合成映像生成システムの第２の実施例を説明する図で、合成映像システムの放送局側システムのブロック図を示すものである。本実施例の放送局側のシステムは、図１の構成とほぼ同一であるが、標準視点位置・視線方向情報記録部１０６が追加されている。

標準視点位置・視線方向情報記録部１０６は、任意視点映像を合成する場合の標準的な視点位置・視線方向の情報を記録しておく部分である。この情報は、あらかじめコンテンツ製作者によって定められ、記録されているものとする。なお、この任意視点映像を合成する場合の標準的な視点位置・視線方向の情報は、映像データのフレームレートと同一のフレームレートのデータであってもよいし、異なるフレームレートのデータであってもよい。例えば、標準的な視点位置・視線方向が複数フレームに渡って同一である場合は、その間データを送らずに済ましてもよい。

データ多重化処理部１０４では、カメラ１０１で撮影された映像データ、およびカメラパラメータ記録部１０２に記録されているカメラパラメータ、および仮想カメラ位置・方向の制限・許可情報記録部１０３に記録されている仮想カメラの視点位置や視線方向の制限・許可情報、および標準視点位置・視線方向情報記録部１０６に記録されている任意視点映像を合成する場合の標準的な視点位置・視線方向の情報を多重化して、多重化ストリームを生成する。

図８は、本発明の合成映像生成システムの第２の実施例を説明する他の図で、合成映像システムの受信側システムのブロック図を示すものである。受信側のシステムは、図５の構成とほぼ同一であるが、スイッチ２０７が追加されている。
多重化データ分離処理部２０２では、多重化ストリームを分離し、映像データおよびカメラパラメータ、仮想カメラの視点位置や視線方向の制限・許可情報、および任意視点映像を合成する場合の標準的な視点位置・視線方向の情報を得る。映像データおよびカメラパラメータは任意視点映像生成部２０３に送られ、仮想カメラの視点位置や視線方向の制限・許可情報および任意視点映像を合成する場合の標準的な視点位置・視線方向の情報は仮想カメラ位置・方向判定部２０４に送られる。

スイッチ２０７は、仮想カメラ位置・方向判定部２０４において制御情報を生成する際に、入力装置２０６から入力された仮想カメラの視点位置・視線方向の情報を用いるか、多重化データ分離処理部２０２から送られた任意視点映像を合成する場合の標準的な視点位置・視線方向の情報を用いるかを選択するために用いる。

システムの利用者が仮想カメラの視点位置・視線方向を自由に選べることは便利ではあるが、常に自分で仮想カメラの視点位置・視線方向を変更しなければならないのは、手間がかかるとも言える。場合によっては、自動的に仮想カメラの視点位置・視線方向が変更されるほうが望ましいこともある。そこで、自動的に仮想カメラの視点位置・視線方向を変更したい場合には、放送局側から送られてきた任意視点映像を合成する場合の標準的な視点位置・視線方向の情報を用いて映像を生成することで、この問題を解決できる。スイッチ２０７によって、仮想カメラの視点位置・視線方向の手動決定と自動決定とを自由に選択することが可能になる。

また、一定時間入力装置２０６からの入力が無い場合に、自動的に放送局側から送られてきた任意視点映像を合成する場合の標準的な視点位置・視線方向の情報を用いるよう切り替える仕組みを付加することも可能である。さらに、放送局側から送られてきた任意視点映像を合成する場合の標準的な視点位置・視線方向の情報を用いて映像を合成している際に入力装置２０６から入力があった場合は、自動的に入力装置２０６から取得した視点位置・視線方向を用いて映像を合成するよう切り替える仕組みを付加することも可能である。

またさらに、入力装置２０６から取得した視点位置・視線方向を用いて映像を合成する際に、その入力装置２０６から取得した視点位置・視線方向の情報が、仮想カメラの視点位置や視線方向の制限・許可情報を満たさなかった場合に、入力装置２０６から取得した視点位置・視線方向の代わりに標準的な視点位置・視線方向の情報を用いて映像を生成する仕組みとすることも可能である。

なお、上記の第１の実施例および第２の実施例では、テレビ放送に本発明を適用した場合について説明したが、そのほかに、パッケージメディアに記録する場合においても、同様に適用可能である。

本発明の第１の実施例における放送局側のシステムのブロック図である。 本発明の仮想カメラの位置の制限・許可情報の記述方法の一例を説明する図である。 本発明を説明するためのカメラの模式図である。 仮想カメラの視線方向の制限・許可情報の記述方法の他の例を説明する図である。 本発明の第１の実施例における受信側のシステムのブロック図である。 本発明の第１の実施例における仮想カメラ位置・方向判定部の処理手順の例を説明するためのフローチャートである。 本発明の第２の実施例における放送局側のシステムのブロック図である。 本発明の第２の実施例における受信側のシステムのブロック図である。 任意視点映像生成システムの例を説明するための図である。

符号の説明

１…舞台、２…カメラ、３…仮想カメラ、１０１…カメラ、１０２…カメラパラメータ記録部、１０３…仮想カメラ位置・方向の制限・許可情報記録部、１０４…データ多重化処理部、１０５…送信部、１０６…標準視点位置・視線方向情報記録部、１０７…映像遅延部、１１１…直方体、１１２…球、１２１…カメラ本体、１２２…レンズ、１２３…カメラの視線方向、２０１…受信部、２０２…多重化データ分離処理部、２０３…任意視点映像生成部、２０４…仮想カメラ位置・方向判定部、２０５…表示部、２０６…入力装置、２０７…スイッチ。

Claims (21)

1. 複数の異なる視点位置および視線方向からの映像を合成して任意の仮想的な視点位置および視線方向での映像を合成する合成映像生成システムにおいて、映像を合成する際の仮想的な視点位置に対する制限情報を、映像データに付加して伝送および記録することを特徴とする合成映像生成システム。
2. 映像を合成する際の仮想的な視点位置に対する許可情報を、前記映像データに付加して伝送および記録することを特徴とする請求項１記載の合成映像生成システム。
3. 映像を合成する際の仮想的な視線方向に対する制限情報を、前記映像データに付加して伝送および記録することを特徴とする請求項１または２記載の合成映像生成システム。
4. 映像を合成する際の仮想的な視線方向に対する許可情報を、前記映像データに付加して伝送および記録することを特徴とする請求項１ないし３のいずれか１記載の合成映像生成システム。
5. 前記仮想的な視点位置に対する制限情報、前記仮想的な視点位置に対する許可情報、前記仮想的な視線方向に対する制限情報、および前記仮想的な視線方向に対する許可情報のいずれかまたは複数を、平面を表す数式によって指定することを特徴とする請求項１ないし４のいずれか１記載の合成映像生成システム。
6. 前記仮想的な視点位置に対する制限情報、前記仮想的な視点位置に対する許可情報、前記仮想的な視線方向に対する制限情報、および前記仮想的な視線方向に対する許可情報のいずれかまたは複数を、球面を表す数式によって指定することを特徴とする請求項１ないし４のいずれか１記載の合成映像生成システム。
7. 前記仮想的な視点位置に対する制限情報、前記仮想的な視点位置に対する許可情報、前記仮想的な視線方向に対する制限情報、および前記仮想的な視線方向に対する許可情報のいずれかまたは複数は、
   前記平面または前記球面を表す数式によって指定された一つ以上の制限情報の論理積または論理和、または前記平面または前記球面を表す数式で指定された一つ以上の許可情報の論理積または論理和によって指定することを特徴とする請求項５または６記載の合成映像生成システム。
8. 前記仮想的な視点位置に対する制限情報、前記仮想的な視点位置に対する許可情報、前記仮想的な視線方向に対する制限情報、および前記仮想的な視線方向に対する許可情報のいずれかまたは複数のフレームレートは、前記映像データのフレームレートと同一であることを特徴とする請求項１ないし７のいずれか１記載の合成映像生成システム。
9. 前記仮想的な視点位置に対する制限情報、前記仮想的な視点位置に対する許可情報、前記仮想的な視線方向に対する制限情報、および前記仮想的な視線方向に対する許可情報のいずれかまたは複数のフレームレートは、前記映像データのフレームレートと異なることを特徴とする請求項１ないし７のいずれか１記載の合成映像生成システム。
10. 映像を合成する際の仮想的な視点位置および視線方向について、予め定めた標準的な視点位置・視線方向の情報を、前記映像データに付加して伝送および記録することを特徴とする請求項１ないし９のいずれか１記載の合成映像生成システム。
11. 前記標準的な視点位置・視線方向の情報のフレームレートは、前記映像データのフレームレートと同一であることを特徴とする請求項１０記載の合成映像生成システム。
12. 前記標準的な視点位置・視線方向の情報のフレームレートは、前記映像データのフレームレートと異なることを特徴とする請求項１０記載の合成映像生成システム。
13. データの受信側または再生側において入力装置を有し、該入力装置によって仮想的な視点位置・視線方向の入力を受け付けることを特徴とする請求項１ないし１２のいずれか１記載の合成映像生成システム。
14. 前記入力装置によって入力された前記仮想的な視点位置・視線方向に従って映像を合成することを特徴とする請求項１３記載の合成映像生成システム。
15. 前記入力装置によって入力された前記仮想的な視点位置・視線方向を、前記映像データに付加された前記制限情報および／または前記許可情報に従って判定および処理し、前記制限情報に合致するか、または前記許可情報に合致しない視点位置および視線方向における画像は生成しないように制御することを特徴とする請求項１４記載の合成映像生成システム。
16. 前記入力装置は、フォースフィードバック機構を持つことを特徴とする請求項１３ないし１５のいずれか１記載の合成映像生成システム。
17. 前記入力装置によって入力された前記仮想的な視点位置・視線方向が、前記映像データに付加された前記制限情報に合致した場合、または前記映像データに付加された前記許可情報に合致しなかった場合は、前記フォースフィードバック機構に制御信号を送り物理的な刺激を利用者に与えるよう制御することを特徴とする請求項１６記載の合成映像生成システム。
18. 切り替えスイッチを備え、前記入力装置によって入力された前記仮想的な視点位置・視線方向に従って映像を合成するか、前記標準的な視点位置・視線方向の情報に従って映像を合成するかを前記切り替えスイッチで切り替えることが可能であることを特徴とする請求項１３ないし１７のいずれか１記載の合成映像生成システム。
19. 前記入力装置による前記仮想的な視点位置・視線方向の入力が一定時間行われなかった場合に、前記標準的な視点位置・視線方向の情報に従って映像を合成するよう自動的に切り替えることを特徴とする請求項１３ないし１８のいずれか１記載の合成映像生成システム。
20. 前記標準的な視点位置・視線方向の情報に従って映像を合成している際に、前記入力装置による前記仮想的な視点位置・視線方向の入力が行われた場合に、該入力された仮想的な視点位置・視線方向に従って映像を合成するよう自動的に切り替えることを特徴とする請求項１３ないし１９のいずれか１記載の合成映像生成システム。
21. 前記入力装置によって入力された前記仮想的な視点位置・視線方向を、前記映像データに付加された前記制限情報および／または前記許可情報に従って判定および処理し、前記仮想的な視点位置・視線方向が前記制限情報に合致する場合、または前記許可情報に合致しない場合には、前記入力装置によって入力された前記仮想的な視点位置・視線方向を用いず、前記標準的な視点位置・視線方向の情報を用いて画像を生成することを特徴とする請求項１３ないし２０のいずれか１記載の合成映像生成システム。

Images