JP3724117B2 - 画像生成装置および画像生成方法 - Google Patents
画像生成装置および画像生成方法 Download PDFInfo
- Publication number
- JP3724117B2 JP3724117B2 JP13403797A JP13403797A JP3724117B2 JP 3724117 B2 JP3724117 B2 JP 3724117B2 JP 13403797 A JP13403797 A JP 13403797A JP 13403797 A JP13403797 A JP 13403797A JP 3724117 B2 JP3724117 B2 JP 3724117B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- viewpoint
- unit
- performer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 9
- 239000002131 composite material Substances 0.000 claims description 82
- 238000003384 imaging method Methods 0.000 claims description 42
- 230000009466 transformation Effects 0.000 claims description 28
- 230000002194 synthesizing effect Effects 0.000 claims description 22
- 238000002156 mixing Methods 0.000 description 35
- 239000003550 marker Substances 0.000 description 34
- 230000003111 delayed effect Effects 0.000 description 8
- 230000004044 response Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 2
- 206010024229 Leprosy Diseases 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Circuits (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、例えばテレビ局のバーチャルスタジオで使用して好適な画像生成装置および画像生成方法に関する。詳しくは、出演者を移動可能な撮像手段で撮影して得られる第１の画像データを遅延処理して第３の画像データを得、この第３の画像データと撮像手段の視点で見た透視変換を施した所定物体の投影像に対応した第２の画像データとを合成して視聴者用の合成画像データを得ると共に、上記第１の画像データと第２の画像データとを合成して出演者に対して演技を補助する画像を表示するための合成画像データを得ることによって、出演者の動きに対する演技を補助する画像の遅れをなくし、出演者が演技しやすいようにした画像生成装置等に係るものである。
【０００２】
【従来の技術】
最近は、テレビ局において、バーチャルスタジオあるいはバーチャルセットと呼ばれるスタジオで撮影し、この撮影した画像に対して、ＣＧ（コンピュータグラフィクス）で作成した画像を合成し、この合成画像を放送するということが行われるようになってきている。
【０００３】
天気予報番組を例にとって、詳しく説明する。まず、青色の背景をバックに出演者を立たせ、この出演者をテレビカメラで撮影する。そして、このテレビカメラからの画像データに、ＣＧで作成された物体、例えば気象情報の描かれた日本地図等の画像データを合成し、視聴者に提供される合成画像に係る合成画像データを作成する。
【０００４】
図３は、バーチャルスタジオの具体例を示している。
【０００５】
出演者１０１は、青色の背景１０２を使用して撮影される。この背景１０２には、青色系統で目立たないマーカー（模様）Ｍ1〜Ｍ9が付されている。マーカーＭ1〜Ｍ9の３次元上での位置は、特定の絶対不動の座標系（ワールド座標系）を基準として、あらかじめ測定されている。
【０００６】
次に、画像生成装置１０３を説明する。この画像生成装置１０３は、背景１０２をバックに出演者１０１を撮影する移動可能なテレビカメラ１０４を有している。上述したようにマーカーＭ1〜Ｍ9は、青色の背景１０２の中にあることから目立たないが、テレビカメラ１０４で認識することがかろうじてできる。そのため、テレビカメラ１０４を基準としたマーカーＭ1〜Ｍ9の３次元位置を測定することができる。
【０００７】
また、画像生成装置１０３は、ワールド座標系を基準としたマーカーＭ1〜Ｍ9の３次元位置情報ＰＤＷが格納されているマーカー位置情報格納部１０５と、テレビカメラ１０４で得られる、テレビカメラ１０４を基準としたマーカーＭ1〜Ｍ9の３次元位置情報ＰＤＴと、マーカー位置情報格納部１０５より読み出される３次元位置情報ＰＤＷとから、ワールド座標系を基準としたテレビカメラ１０４の３次元位置および向きを求めるカメラパラメータ算出部１０６とを有している。
【０００８】
ここで、ワールド座標系を基準としたマーカーＭ1〜Ｍ9の３次元位置と、テレビカメラ１０４を基準としたマーカーＭ1〜Ｍ9の３次元位置との関係が、ある回転変換Ｒとある並進変換Ｔの関係にあるとすると、カメラパラメータ算出部１０６では、ワールド座標系を基準としたテレビカメラ１０４の３次元位置はＴとされ、向きはＲとされる。このカメラパラメータ算出部１０６からは、求められた３次元位置および向きの情報が、テレビカメラ１０４の視点情報ＰＯＶとして出力される。
【０００９】
また、画像生成装置１０３は、ワールド座標系を基準としたＣＧ物体の３次元位置情報ＰＣＧ、例えば、３次元空間上のどの位置に、ＣＧで作られた「気象情報の描かれた日本地図」が仮想的に存在しているかという情報が格納されているＣＧ情報格納部１０７を有している。この場合、ＣＧ情報格納部１０７には、多くのＣＧ物体のワールド座標系を基準にした３次元位置情報ＰＣＧが格納されており、その中から適切なＣＧ物体の３次元位置情報ＰＣＧが選択的に読み出されて使用されるが、この選択は後述する制御部によって行われる。すなわち、制御部よりＣＧ情報格納部１０７に供給される読み出し要求信号ＲＲＱにより、所定のＣＧ物体の３次元位置情報ＰＣＧが読み出される。
【００１０】
また、画像生成装置１０３は、カメラパラメータ算出部１０６より出力されるテレビカメラ１０４の視点情報ＰＯＶとＣＧ情報格納部１０７より読み出される所定のＣＧ物体の３次元位置情報ＰＣＧとをもとに、その所定のＣＧ物体にテレビカメラ１０４の視点から見た透視変換を施した投影像に対応した２次元画像データＶＤｃを作成するＣＧデータ作成部１０８を有している。この場合、ＣＧデータ作成部１０８では、例えば、「気象情報の描かれた日本地図」を、あたかもテレビカメラ１０４の視点（３次元位置、向き）から見た場合の２次元画像データ（透視変換した画像に対応）ＶＤｃが作成される。
【００１１】
また、画像生成装置１０３は、テレビカメラ１０４より出力される画像データＶＤａを遅延させるための時間調整用のディレイ部１０９を有している。この場合、ＣＧデータ作成部１０８より時刻Ｔ１におけるテレビカメラ１０４の視点から見た場合の２次元画像データＶＤｃが出力されるとき、ディレイ部１０９より画像データＶＤｂとしてテレビカメラ１０４により時刻Ｔ１で撮影して得られる画像データＶＤａが出力されるように、ディレイ部１０９の遅延時間が設定される。
【００１２】
すなわち、カメラパラメータ算出部１０６やＣＧデータ作成部１０８における計算には時間がかかるが、テレビカメラ１０４よりカメラパラメータ算出部１０６にある時刻の３次元位置情報ＰＤＴが供給されてからＣＧデータ作成部１０８よりその３次元位置情報ＰＤＴに対応した２次元画像データＶＤｃが出力されるまでにｔ秒を要するとき、ディレイ部１０９の遅延時間はｔ秒とされる。
【００１３】
このようにディレイ部１０９で時間調整をすることで、後述するようにＣＧデータ作成部１０８より出力される２次元画像データＶＤｃとディレイ部１０９より出力される画像データＶＤｂとを合成する場合、あたかもＣＧ物体と出演者１０１とが同一の空間に存在しているものを撮影して得られた画像であるかのような合成画像を得ることが可能となる。
【００１４】
また、画像生成装置１０３は、ＣＧデータ作成部１０８より出力される２次元画像データＶＤｃとディレイ部１０９より出力される画像データＶＤｂとをミックスするαブレンディング部１１０と、テレビカメラ１０４より出力される画像データＶＤａよりαブレンディング部１１０にキー信号として供給するα値を得るキー生成部１１１とを有している。
【００１５】
キー生成部１１１では、画像データＶＤａから、青色系統の画素部分と、完全に「青色でない」画素部分とを切り分ける作業が行われる。そして、このキー生成部１１１からは画像データＶＤａの各画素毎にα値が出力される。この場合、青色系統の画素部分ではα＝０とされ、完全に「青色でない」画素部分ではα＝１とされ、さらに中間色の部分では、０＜α＜１とされる。
【００１６】
テレビカメラ１０４は、青色の背景１０２を使用して、例えば天気予報を説明するキャスター等の出演者１０１を撮影している。したがって、背景１０２の投影像の部分は青色なので、画像データＶＤａのうち背景１０２に対応する画素部分では、α＝０となる。一方、出演者１０１の投影像の部分は青色ではないので、画像データＶＤａのうち出演者１０１に対応する画素部分では、α＝１となる。さらに、出演者１０１と背景１０２との境界の投影像の部分は撮像レンズの歪みなどによりぼやけており、背景１０２の青色と出演者１０１の青色以外の色とが混じった色となるので、画像データＶＤａのうち出演者１０１と背景１０２との境界に対応する画素部分では、０＜α＜１となる。
【００１７】
なお、上述したように、ＣＧデータ作成部１０８より時刻Ｔ１におけるテレビカメラ１０４の視点から見た場合の２次元画像データＶＤｃが出力されるとき、ディレイ部１０９より画像データＶＤｂとしてテレビカメラ１０４により時刻Ｔ１で撮影して得られる画像データＶＤａが出力されるようにされるが、同様にＣＧデータ作成部１０８より時刻Ｔ１におけるテレビカメラ１０４の視点から見た場合の２次元画像データＶＤｃが出力されるとき、キー生成部１１１よりテレビカメラ１０４により時刻Ｔ１で撮影して得られる画像データＶＤａから得られたα値が出力されるように時間調整されている。
【００１８】
αブレンディング部１１０では、ＣＧデータ作成部１０８で作成される２次元画像データＶＤｃとディレイ部１０９より出力される画像データＶＤｂに対して、以下の（１）式の演算が施されて、合成画像データＶＤｄが得られる。
ＶＤｄ＝α×ＶＤｂ＋（１−α）×ＶＤｃ ・・・（１）
【００１９】
ここで、画像データＶＤｂの背景１０２に対応する画素部分ではα＝０であるため、αブレンディング部１１０からは合成画像データＶＤｄとして２次元画像データＶＤｃがそのまま出力される。また、画像データＶＤｂの出演者１０１に対応する画素部分ではα＝１であるため、αブレンディング部１１０からは合成画像データＶＤｄとして画像データＶＤｂがそのまま出力される。さらに、画像データＶＤｂの背景１０２と出演者１０１との境界に対応する画素部分では０＜α＜１であり、αブレンディング部１１０からは画像データＶＤｂ，ＶＤｃが混じった合成画像データＶＤｄが出力される。このように、画像データＶＤｂの背景１０２と出演者１０１との境界に対応する画素部分で、画像データＶＤｂ，ＶＤｃが混じった合成画像データＶＤｄが出力されるようにすることで、いわゆる境界部分のなじみをよくできる。
【００２０】
また、画像生成装置１０３は、合成画像データＶＤｄを視聴者に提供される合成画像のデータとして出力する出力端子１１２と、この合成画像データＶＤｄが供給され、その合成画像データＶＤｄによる画像を出演者１０１の演技を補助するための画像として表示するモニタ１１３とを有している。
【００２１】
また、画像生成装置１０３は、ディレクタの操作に応じてＣＧ情報格納部１０７に読み出し要求信号ＲＲＱを供給する制御部１１４を有している。この制御部１１４には、通常ユーザインタフェースが設けられている。すなわち、テレビカメラ１０４より出力される画像データＶＤａが供給され、モニタ（図示せず）にその画像データＶＤａによる画像が表示され、バーチャルスタジオ全体を運営管理しているディレクタに対して、テレビカメラ１０４の撮影情報が提供される。ディレクタは、例えば天気予報番組の現在の進行状況に合わせて、適切なＣＧの画像を選択し、制御部１１４の入力装置（図示せず）に、その情報を入力する。これに対応して、制御部１１４はその情報を読み出し要求信号ＲＲＱとしてＣＧ情報格納部１０７に供給する。
【００２２】
例えば、ディレクタが、現在、日本の天気予報を放送する時間であると判断した場合は、「気象情報の描かれた日本地図」を提供するように制御部１１４に指示する。制御部１１４は、この情報を読み出し要求信号ＲＲＱとしてＣＧ情報格納部１０７に供給する。これにより、ＣＧで作られた「気象情報の描かれた日本地図」の３次元位置情報ＰＣＧが、ＣＧ情報格納部１０７より読み出されてＣＧデータ作成部１０８に供給される。
【００２３】
次に、画像生成装置１０３の動作を説明する。背景１０２をバックに出演者１０１がテレビカメラ１０４で撮影され、このテレビカメラ１０４より画像データＶＤａが得られ、この画像データＶＤａはディレイ部１０９でカメラパラメータ算出部１０６およびＣＧデータ作成部１０８の処理時間に対応する時間だけ遅延され、画像データＶＤｂとしてαブレンディング部１１０に供給される。
【００２４】
また、テレビカメラ１０４より、このテレビカメラ１０４を基準としたマーカーＭ1〜Ｍ9の３次元位置情報ＰＤＴが出力され、この３次元位置情報ＰＤＴはカメラパラメータ算出部１０６に供給される。一方、ワールド座標系を基準としたマーカーＭ1〜Ｍ9の３次元位置情報ＰＤＷがマーカー位置情報格納部１０５より読み出されてカメラパラメータ算出部１０６に供給される。カメラパラメータ算出部１０６では、マーカーＭ1〜Ｍ9の３次元位置情報ＰＤＴ，ＰＤＷから、ワールド座標系を基準としたテレビカメラ１０４の３次元位置および向きが算出される。
【００２５】
カメラパラメータ算出部１０６で求められるテレビカメラ１０４の３次元位置および向きの情報は、テレビカメラ１０４の視点情報ＰＯＶとしてＣＧデータ作成部１０８に供給される。一方、制御部１１４より供給される読み出し要求信号ＲＲＱに対応してＣＧ情報格納部１０７より所定のＣＧ物体の３次元位置情報ＰＣＧが読み出され、この３次元位置情報ＰＣＧはＣＧデータ作成部１０８に供給される。ＣＧデータ作成部１０８では、テレビカメラ１０４の視点情報ＰＯＶと所定のＣＧ物体の３次元位置情報ＰＣＧとをもとに、その所定のＣＧ物体にテレビカメラ１０４の視点から見た透視変換を施した投影像に対応した２次元画像データＶＤｃが作成される。例えば、「気象情報の描かれた日本地図」を、あたかもテレビカメラ１０４の視点から見た場合の２次元画像データＶＤｃが作成される。そして、このＣＧデータ作成部１０８で作成される２次元画像データＶＤｃはαブレンディング部１１０に供給される。
【００２６】
また、テレビカメラ１０４より出力される画像データＶＤａがキー生成部１１１に供給され、キー生成部１１１では画像データＶＤａからいわゆるソフトキーを達成するキー信号としてのα値が生成される。そして、このα値はαブレンディング部１１０に供給される。そして、αブレンディング部１１０では、ＣＧデータ作成部１０８より出力される２次元画像データＶＤｃとディレイ部１０９より出力される画像データＶＤｂに対して、（１）式の演算が施されて、所定のＣＧ物体の投影像と出演者１０１の投影像との合成画像を表示するための合成画像データＶＤｄが得られる。
【００２７】
αブレンディング部１１０より出力される合成画像データＶＤｄは出力端子１１２に出力され、視聴者に提供される合成画像のデータとされる。また、この合成画像データＶＤｄはモニタ１１３に供給され、このモニタ１１３の画面上に合成画像データＶＤｄによる画像が出演者１０１の演技を補助するための画像として表示される。
【００２８】
図４Ａ〜Ｄを使用して、画像生成装置１０３の各処理において、実際にどのような画像が生成されているかを説明する。
【００２９】
図４Ａは、テレビカメラ１０４よりある時刻において出力される画像データＶＤａによる画像を示している。背景１０２に対応する画素部分は青色系統である。出演者１０１に対応する画素部分は青色ではない。さらに、出演者１０１と背景１０２との境界の画素部分は青色と青色以外の色とが混じった色となる。なお、出演者１０１、背景１０２、マーカーＭ1〜Ｍ9に対応する画像部分には、それぞれ同一符号を付して示している。以下の各画像においても同様である。
【００３０】
図４Ｂは、キー生成部１１１より出力されるα値を示している。背景１０２に対応する画素部分ではα＝０である。出演者１０１に対応する画素部分ではα＝１である。さらに、出演者１０１と背景１０２との境界の画素部分では、０＜α＜１となる。
【００３１】
図４Ｃは、ＣＧデータ作成部１０８で作成される２次元画像データＶＤｃによる画像を示している。ここでは、ＣＧ情報格納部１０７から、ＣＧで作られた「気象情報の描かれた日本地図」の３次元位置情報ＰＣＧが読み出された場合を示している。
【００３２】
図４Ｄは、αブレンディング部１１０より出力される合成画像データＶＤｄによる画像を示している。すなわち、各画素のα値によって、各画素毎に、図４Ａに示す画像と図４Ｃに示す画像とがミックスされた画像である。
【００３３】
さらに、次の時刻において、テレビカメラ１０４が移動した場合を考えてみる。この場合、出演者１０１が静止していたとしても、テレビカメラ１０４より出力される画像データＶＤａによる画像内の出演者１０１に対応する画像部分は画面上で移動することになる。カメラパラメータ算出部１０６では、ワールド座標系を基準としたテレビカメラ１０４の３次元位置および向きが算出され、この３次元位置および向きの情報がテレビカメラ１０４の視点情報ＰＯＶとしてＣＧデータ作成部１０８に供給されるので、ＣＧ情報格納部１０７より読み出されるＣＧ物体の３次元位置情報ＰＣＧが同じであっても、ＣＧデータ作成部１０８より出力される２次元画像データＶＤｃは変化する。なぜなら、透視変換において、見る位置が変化すれば、投影像も変化するからである。
【００３４】
ある時刻とその次の時刻における透視変換した画像データＶＤｃによる画像の変化量は、テレビカメラ１０４の移動による画像の変化量と同じである。したがって、ある時刻とその次の時刻における透視変換した画像データＶＤｃによる画像の変化量は、テレビカメラ１０４で撮影された出演者１０１の投影像の移動量に対応したものとなる。そのため、最終的に得られる合成画像データＶＤｄによる画像において、出演者１０１の投影像およびＣＧ物体の投影像は同じように動くことになる。つまり、最終的に得られる合成画像データＶＤｄによる画像は、あたかも、ＣＧの物体、例えば、気象情報の描かれた日本地図と出演者１０１とが同一の空間に存在しているものを撮影した画像であるかのように見える。
【００３５】
【発明が解決しようとする課題】
上述した画像生成装置１０３においては、モニタ１１３に合成画像データＶＤｄによる画像、つまり出演者１０１の投影像とＣＧ物体の投影像との合成画像が表示される。出演者１０１はその画像を見ながら演技することで、自分がいまＣＧ物体とどのような位置関係にあるかを把握できる。これにより、出演者１０１は、例えばＣＧで作られた「気象情報の描かれた日本地図」の特定の部分を指し示すことも可能である。
【００３６】
ところで、上述したように、カメラパラメータ算出部１０６およびＣＧデータ作成部１０８の処理にｔ秒を要するとき、ディレイ部１０９の遅延時間がｔ秒とされて時間調整が行われている。そのため、モニタ１１３に表示される画像は、ｔ秒前の時刻の事象を撮影した画像となる。具体的には、出演者１０１が手をあげた場合、モニタ１１３に表示される出演者１０１の投影像はｔ秒後に手をあげることになる。このように、ｔ秒前の自分自身の動作をモニタ１１３で見ながら演技をしていくことは、出演者１０１にとって演技しづらいという問題点があった。
【００３７】
そこで、この発明では、出演者の動きに対する演技を補助する画像の遅れをなくし、出演者が演技しやすいようにすることを目的とする。
【００３８】
【課題を解決するための手段】
この発明に係る画像生成装置は、所定の背景をバックに出演者を撮影して第１の画像データを得る移動可能な撮像手段と、この撮像手段の視点を求めるカメラパラメータ算出手段と、このカメラパラメータ算出手段で求められる撮像手段の視点から見た場合の透視変換を施した所定物体の投影像に対応した第２の画像データを作成する第１の画像データ作成手段と、第１の画像データをカメラパラメータ算出手段および第１の画像データ作成手段における処理時間に対応して遅延させた第３の画像データを得るデータ遅延手段と、第３の画像データと第２の画像データとを合成して第１の合成画像データを得る第１の画像データ合成手段と、第１の画像データと第２の画像データとを合成して第２の合成画像データを得る第２の画像データ合成手段と、この第２の合成画像データによる出演者に対しての演技補助のための画像を表示する画像表示手段とを備えるものである。
【００３９】
この発明に係る画像生成方法は、移動可能な撮像手段により所定の背景をバックに出演者を撮影して第１の画像データを得るステップと、撮像手段の視点を求めるステップと、撮像手段の視点から見た場合の透視変換を施した所定物体の投影像に対応した第２の画像データを作成するステップと、第１の画像データを撮像手段の視点を求めるステップおよび第２の画像データを作成するステップにおける処理時間に対応して遅延させて第３の画像データを得るステップと、第３の画像データと第２の画像データとを合成して第１の合成画像データを得るステップと、第１の画像データと第２の画像データとを合成して第２の合成画像データを得るステップと、第２の合成画像データによる上記出演者に対しての演技補助のための画像を表示するステップとを備えるものである。
【００４０】
所定の背景、例えば青色の背景をバックに出演者が移動可能な撮像手段で撮影されて第１の画像データが得られ、この第１の画像データが遅延処理されて第３の画像データが得られる。また、撮像手段の視点、例えばワールド座標系を基準とした撮像手段の３次元位置および向きが求められ、この視点から見た場合の透視変換を施した所定物体、例えばＣＧ物体の投影像に対応した第２の画像データが作成される。そして、第３の画像データと第２の画像データとが合成され、例えば視聴者に提供する合成画像に係る第１の合成画像データが得られる。
【００４１】
この場合、第３の画像データは第２の画像データを得るための処理時間に対応して第１の画像データが遅延処理されてなるものであり、ある時刻に撮像手段で撮影して得られた第３の画像データと、このある時刻における撮像手段の視点から見た場合の透視変換を施した所定物体の投影像に対応した第２の画像データとが合成されるようにされる。そのため、出演者の動きに対して、第１の合成画像データによる画像における出演者の投影像の動きは、第３の画像データが遅延処理されたものである分だけ遅れたものとなる。
【００４２】
また、撮像手段より出力される第１の画像データと第２の画像データとが合成されて第２の合成画像データが得られる。そして、この第２の合成画像データによる画像が出演者に対しての演技補助のための画像として表示される。第２の合成画像データを得る際に第１の画像データを遅延処理をせずにそのまま使用しているので、第２の合成画像データによる画像における出演者の投影像の動きは、ほとんど遅れのないものとなる。
【００４３】
また、第１の画像データに基づいて第１の画像データまたは第２の画像データのいずれかを取り出すための画像切換信号を得る画像切換信号発生手段をさらに備え、第２の画像データ合成手段では、画像切換信号によって第１の画像データおよび第２の画像データが切り換え合成されるようにしてもよい。例えば、画像データ合成手段がαブレンディング部で構成される場合、画像切換信号としてのα値は、０または１となる。すなわち、画像切換信号発生手段では、第１の画像データがある閾値を越えるか否かでα値を決定して出力でき、画像切換信号を簡単かつ高速に得ることが可能となる。
【００４４】
また、カメラパラメータ算出手段で求められる撮像手段の視点から、現在時刻あるいはそれより後の時刻における撮像手段の視点を予測するカメラパラメータ予測手段と、このカメラパラメータ予測手段で予測された撮像手段の視点から見た場合の透視変換を施した所定物体の投影像に対応した第４の画像データを作成する第２の画像データ作成手段とをさらに備え、第２の画像データ合成手段では、第１および第２の画像データを合成する代わりに、第１および第４の画像データを合成するようにしてもよい。
【００４５】
この場合、第４の画像データは、現在時刻における撮像手段の視点から見た場合の透視変換を施した所定物体の投影像に対応したものとなる。したがって、現在時刻の第１の画像データと、その現在時刻における撮像手段の視点から見た場合の透視変換を施した所定物体の投影像に対応した画像データとが合成されて第２の合成画像データが得られることとなり、撮像手段が移動している間であっても、あたかも所定物体と出演者とが同一の空間に存在しているものを撮影して得られた画像であるかのような正確な合成画像（演技補助画像）を得ることが可能となり、出演者は移動時の演技がしやすくなる。
【００４６】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、この発明の第１の実施の形態としての画像生成装置３が備えられたバーチャルスタジオを示している。このバーチャルスタジオでは、図３に示すバーチャルスタジオと同様に、青色の背景をバックにテレビカメラにより出演者を撮影し、このテレビカメラからの画像データに、ＣＧで作成された物体、例えば気象情報の描かれた日本地図等の画像データを合成し、視聴者に提供する合成画像に係る合成画像データを得ることが行われている。
【００４７】
このバーチャルスタジオにおいて、出演者１は、青色の背景２を使用して撮影される。この背景２には、図３に示すバーチャルスタジオにおける背景１０２と同様に、青色系統で目立たないマーカー（模様）Ｍ1〜Ｍ9が付されている。マーカーＭ1〜Ｍ9の３次元上での位置は、特定の絶対不動の座標系（ワールド座標系）を基準として、あらかじめ測定されている。
【００４８】
次に、画像生成装置３を説明する。この画像生成装置３は、背景２をバックに出演者１を撮影する移動可能なテレビカメラ４を有している。上述したようにマーカーＭ1〜Ｍ9は、青色の背景２の中にあることから目立たないが、テレビカメラ４で認識することがかろうじてできる。そのため、テレビカメラ４を基準としたマーカーＭ1〜Ｍ9の３次元位置を測定できる。
【００４９】
また、画像生成装置３は、ワールド座標系を基準としたマーカーＭ1〜Ｍ9の３次元位置情報ＰＤＷが格納されているマーカー位置情報格納部５と、テレビカメラ４で得られる、テレビカメラ４を基準としたマーカーＭ1〜Ｍ9の３次元位置情報ＰＤＴと、マーカー位置情報格納部５より読み出される３次元位置情報ＰＤＷとから、ワールド座標系を基準としたテレビカメラ４の３次元位置および向きを求めるカメラパラメータ算出部６とを有している。
【００５０】
ここで、ワールド座標系を基準としたマーカーＭ1〜Ｍ9の３次元位置と、テレビカメラ４を基準としたマーカーＭ1〜Ｍ9の３次元位置との関係が、ある回転変換Ｒとある並進変換Ｔの関係にあるとすると、カメラパラメータ算出部６では、ワールド座標系を基準としたテレビカメラ４の３次元位置はＴとされ、向きはＲとされる。このカメラパラメータ算出部６からは、求められた３次元位置および向きの情報が、テレビカメラ４の視点情報ＰＯＶとして出力される。
【００５１】
なお、背景２の中のマーカーＭ1〜Ｍ9の個数は９個であるが、これ以外の個数であってもよい。また、テレビカメラ４に機械的に取り付けられたセンサにより、テレビカメラ４のワールド座標系における３次元位置および向きを求めることも可能である。例えば、テレビカメラ４を雲台に載せておき、歯車を使ってテレビカメラ４を回転できるようにしておく。歯車の回転した量によって、テレビカメラ４の向きを知ることができる。この場合、テレビカメラ４よりカメラパラメータ算出部６に供給されるデータは、歯車の回転量であり、この回転量からテレビカメラ４の向きなどを算出するようにカメラパラメータ算出部６を構成しておく。マーカー位置情報格納部５は不要となる。いずれにせよ、カメラパラメータ算出部６からは、ワールド座標系を基準としたテレビカメラ４の３次元位置および向きの情報が、テレビカメラ４の視点情報ＰＯＶとして出力される。
【００５２】
また、画像生成装置３は、ワールド座標系を基準としたＣＧ物体の３次元位置情報ＰＣＧ、例えば、３次元空間上のどの位置に、ＣＧで作られた「気象情報の描かれた日本地図」が仮想的に存在しているかという情報が格納されているＣＧ情報格納部７を有している。この場合、ＣＧ情報格納部７には、多くのＣＧ物体のワールド座標系を基準にした３次元位置情報ＰＣＧが格納されており、その中から適切なＣＧ物体の３次元位置情報ＰＣＧが選択的に読み出されて使用されるが、この選択は後述する制御部によって行われる。すなわち、制御部よりＣＧ情報格納部７に供給される読み出し要求信号ＲＲＱにより、所定のＣＧ物体の３次元位置情報ＰＣＧが読み出される。
【００５３】
また、画像生成装置３は、カメラパラメータ算出部６より出力されるテレビカメラ４の視点情報ＰＯＶとＣＧ情報格納部７より読み出される所定のＣＧ物体の３次元位置情報ＰＣＧとをもとに、その所定のＣＧ物体にテレビカメラ４の視点から見た透視変換を施した投影像に対応した２次元画像データＶＤｃを作成するＣＧデータ作成部８を有している。この場合、ＣＧデータ作成部８では、例えば、「気象情報の描かれた日本地図」を、あたかもテレビカメラ４の視点（３次元位置、向き）から見た場合の２次元画像データ（透視変換した画像に対応）ＶＤｃが作成される。
【００５４】
また、画像生成装置３は、テレビカメラ４より出力される画像データＶＤａを遅延させるための時間調整用のディレイ部９を有している。この場合、ＣＧデータ作成部８より時刻Ｔ１におけるテレビカメラ４の視点から見た場合の２次元画像データＶＤｃが出力されるとき、ディレイ部９より画像データＶＤｂとしてテレビカメラ４により時刻Ｔ１で撮影して得られる画像データＶＤａが出力されるように、ディレイ部９の遅延時間が設定されている。
【００５５】
すなわち、カメラパラメータ算出部６やＣＧデータ作成部８における計算には一定の時間がかかるが、テレビカメラ４よりカメラパラメータ算出部６にある時刻の３次元位置情報ＰＤＴが供給されてからＣＧデータ作成部８よりその３次元位置情報ＰＤＴに対応した２次元画像データＶＤｃが出力されるまでにｔ秒を要するとき、ディレイ部９の遅延時間はｔ秒とされる。
【００５６】
このようにディレイ部９で時間調整をすることで、後述するようにＣＧデータ作成部８より出力される２次元画像データＶＤｃとディレイ部９より出力される画像データＶＤｂとを合成する場合、あたかもＣＧ物体と出演者１とが同一の空間に存在しているものを撮影して得られた画像であるかのような合成画像を得ることが可能となる。
【００５７】
また、画像生成装置３は、ＣＧデータ作成部８より出力される２次元画像データＶＤｃとディレイ部９より出力される画像データＶＤｂとをミックスして合成画像データＶＤｄを得るαブレンディング部１０と、テレビカメラ４より出力される画像データＶＤａよりαブレンディング部１０にキー信号として供給するα値を得るキー生成部１１とを有している。
【００５８】
キー生成部１１では、画像データＶＤａから、青色系統の画素部分と、完全に「青色でない」画素部分とを切り分ける作業が行われる。そして、このキー生成部１１からは画像データＶＤａの各画素毎にα値が出力される。この場合、青色系統の画素部分ではα＝０とされ、完全に「青色でない」画素部分ではα＝１とされ、さらに中間色の部分では、０＜α＜１とされる。
【００５９】
テレビカメラ４は、青色の背景２を使用して、例えば天気予報を説明するキャスター等の出演者１を撮影している。したがって、背景２の投影像の部分は青色なので、画像データＶＤａのうち背景２に対応する画素部分では、α＝０となる。一方、出演者１の投影像の部分は青色ではないので、画像データＶＤａのうち出演者１に対応する画素部分では、α＝１となる。さらに、出演者１と背景２との境界の投影像の部分は撮像レンズの歪みなどによりぼやけており、背景２の青色と出演者１の青色以外の色とが混じった色となるので、画像データＶＤａのうち出演者１と背景１との境界に対応する画素部分では、０＜α＜１となる。
【００６０】
なお、上述したように、ＣＧデータ作成部８より時刻Ｔ１におけるテレビカメラ４の視点から見た場合の２次元画像データＶＤｃが出力されるとき、ディレイ部９より画像データＶＤｂとしてテレビカメラ４により時刻Ｔ１で撮影して得られる画像データＶＤａが出力されるようにされるが、同様にＣＧデータ作成部８より時刻Ｔ１におけるテレビカメラ４の視点から見た場合の２次元画像データＶＤｃが出力されるとき、キー生成部１１よりテレビカメラ４により時刻Ｔ１で撮影して得られる画像データＶＤａから得られたα値が出力されるように時間調整されている。
【００６１】
αブレンディング部１０では、ＣＧデータ作成部８で作成される２次元画像データＶＤｃとディレイ部９より出力される画像データＶＤｂに対して、上述した（１）式の演算が施されて、合成画像データＶＤｄが得られる。ここで、画像データＶＤｂの背景２に対応する画素部分ではα＝０であるため、αブレンディング部１０からは合成画像データＶＤｄとして２次元画像データＶＤｃがそのまま出力される。また、画像データＶＤｂの出演者１に対応する画素部分ではα＝１であるため、αブレンディング部１０からは合成画像データＶＤｄとして画像データＶＤｂがそのまま出力される。さらに、画像データＶＤｂの背景２と出演者１との境界に対応する画素部分では０＜α＜１であり、αブレンディング部１０からは画像データＶＤｂ，ＶＤｃが混じった合成画像データＶＤｄが出力される。このように、画像データＶＤｂの背景２と出演者１との境界に対応する画素部分で、画像データＶＤｂ，ＶＤｃが混じった合成画像データＶＤｄが出力されるようにすることで、いわゆる境界部分のなじみをよくできる。
【００６２】
また、画像生成装置３は、合成画像データＶＤｄを視聴者に提供される合成画像のデータとして出力する出力端子１２を有している。なお、本実施の形態においては、この合成画像データＶＤｄを、演技を補助するための画像を表示するためには使用しない。上述したテレビカメラ４、マーカー位置情報格納部５、カメラパラメータ算出部６、ＣＧ情報格納部７、ＣＧデータ作成部８、ディレイ部９、αブレンディング部１０およびキー生成部１１は、それぞれ図３に示す画像生成装置１０３のテレビカメラ１０４、マーカー位置情報格納部１０５、カメラパラメータ算出部１０６、ＣＧ情報格納部１０７、ＣＧデータ作成部１０８、ディレイ部１０９、αブレンディング部１１０およびキー生成部１１１と同様に構成されている。
【００６３】
また、画像生成装置３は、テレビカメラ４より出力される画像データＶＤａとＣＧデータ作成部８で作成される２次元画像データＶＤｃとをミックスして合成画像データＶＤｅを得るαブレンディング部１３と、テレビカメラ４より出力される画像データＶＤａよりαブレンディング部１３にキー信号として供給するα値を得る簡易型キー生成部１４とを有している。
【００６４】
簡易型キー生成部１４では、画像データＶＤａから、青色系統の画素部分と、それ以外の部分とを切り分ける作業が行われる。そして、このキー生成部１４からは画像データＶＤａの各画素毎にα値が出力される。この場合、青色系統の画素部分ではα＝０とされ、それ以外の画素部分ではα＝１とされる。α値の取りうる値は０または１である。ここで、背景２の投影像の部分は青色なので、画像データＶＤａのうち背景２に対応する画素部分では、α＝０となる。出演者１の投影像の部分は青色ではないので、画像データＶＤａのうち出演者１に対応する画素部分では、α＝１となる。さらに、出演者１と背景２との境界の投影像の部分は撮像レンズの歪みなどによりぼやけており、背景２の青色と出演者１の青色以外の色とが混じった色となるので、画像データＶＤａのうち出演者１と背景２との境界に対応する画素部分では、α＝０またはα＝１のいずれかである。
【００６５】
上述したキー生成部１１では、中間色に対しては０＜α＜１なる値を求めている。しかし、キー生成部１４では、あるしきい値を越えるか越えないかによって、α値を０か１に決定している。そのため、キー生成部１４の処理は、キー生成部１１の処理に比べて簡単であって高速処理が可能となる。なお、キー生成部１１が十分に高速処理可能であるならば、キー生成部１４の代わりに、キー生成部１１と同様に構成されたキー生成部を使用するようにしてもよい。
【００６６】
αブレンディング部１３では、テレビカメラ４より出力される画像データＶＤａとＣＧデータ作成部８で作成された２次元画像データＶＤｃに対して、以下の（２）式の演算が施されて、合成画像データＶＤｅが得られる。
ＶＤｅ＝α×ＶＤａ＋（１−α）×ＶＤｃ ・・・（２）
【００６７】
また、画像生成装置３は、合成画像データＶＤｅが供給され、その合成画像データＶＤｅによる画像を出演者１の演技を補助するための画像として表示するモニタ１５を有している。ここで、画像データＶＤａの背景２に対応する画素部分ではα＝０であるため、αブレンディング部１３からは合成画像データＶＤｅとして２次元画像データＶＤｃがそのまま出力される。画像データＶＤａの出演者１に対応する画素部分ではα＝１であるため、αブレンディング部１３からは合成画像データＶＤｅとして画像データＶＤａがそのまま出力される。そして、画像データＶＤａの背景２と出演者１との境界に対応する画素部分では、α＝０またはα＝１であって、合成画像データＶＤｅは極端に変化してしまうので、合成画像データＶＤｅによる合成画像は、背景２と出演者１との境界に対応する画素部分で不自然に見える。しかし、この合成画像は、出演者１の演技を補助するための画像であり、出演者１とＣＧ物体との位置関係が把握できればよいので、境界上で不自然に見えていても問題はない。
【００６８】
また、画像生成装置３は、ディレクタの操作に応じてＣＧ情報格納部７に読み出し要求信号ＲＲＱを供給する制御部１６を有している。この制御部１６には、通常ユーザインタフェースが設けられている。すなわち、テレビカメラ４より出力される画像データＶＤａが供給され、モニタ（図示せず）にその画像データＶＤａによる画像が表示され、バーチャルスタジオ全体を運営管理しているディレクタに対して、テレビカメラ４の撮影情報が提供される。ディレクタは、例えば天気予報番組の現在の進行状況に合わせて、ＣＧの画像を選択し、制御部１６の入力装置（図示せず）に、その情報を入力する。これに対応して、制御部１６はその情報を読み出し要求信号ＲＲＱとしてＣＧ情報格納部７に供給する。
【００６９】
例えば、ディレクタが、現在、日本の天気予報を放送する時間であると判断した場合は、「気象情報の描かれた日本地図」を提供するように制御部１６に指示する。制御部１６は、この情報を読み出し要求信号ＲＲＱとしてＣＧ情報格納部７に供給する。これにより、ＣＧで作られた「気象情報の描かれた日本地図」の３次元位置情報ＰＣＧが、ＣＧ情報格納部７より読み出されてＣＧデータ作成部８に供給される。
【００７０】
次に、画像生成装置３の動作を説明する。背景２をバックに出演者１がテレビカメラ４で撮影され、このテレビカメラ４より画像データＶＤａが得られ、この画像データＶＤａはディレイ部９でカメラパラメータ算出部６およびＣＧデータ作成部８の処理時間に対応する時間だけ遅延され、画像データＶＤｂとしてαブレンディング部１０に供給される。
【００７１】
また、テレビカメラ４より、このテレビカメラ４を基準としたマーカーＭ1〜Ｍ9の３次元位置情報ＰＤＴが出力され、この３次元位置情報ＰＤＴはカメラパラメータ算出部６に供給される。一方、ワールド座標系を基準としたマーカーＭ1〜Ｍ9の３次元位置情報ＰＤＷがマーカー位置情報格納部５より読み出されてカメラパラメータ算出部６に供給される。カメラパラメータ算出部６では、マーカーＭ1〜Ｍ9の３次元位置情報ＰＤＴ，ＰＤＷとから、ワールド座標系を基準としたテレビカメラ４の３次元位置および向きが算出される。
【００７２】
カメラパラメータ算出部６で求められるテレビカメラ４の３次元位置および向きの情報は、テレビカメラ４の視点情報ＰＯＶとしてＣＧデータ作成部８に供給される。一方、制御部１６より供給される読み出し要求信号ＲＲＱに対応してＣＧ情報格納部７より所定のＣＧ物体の３次元位置情報ＰＣＧが読み出され、この３次元位置情報ＰＣＧはＣＧデータ作成部８に供給される。ＣＧデータ作成部８では、テレビカメラ４の視点情報ＰＯＶと所定のＣＧ物体の３次元位置情報ＰＣＧとをもとに、その所定のＣＧ物体にテレビカメラ４の視点から見た透視変換を施した投影像に対応した２次元画像データＶＤｃが作成される。例えば、「気象情報の描かれた日本地図」を、あたかもテレビカメラ４の視点から見た場合の２次元画像データＶＤｃが作成される。そして、この２次元画像データＶＤｃはαブレンディング部１０に供給される。
【００７３】
また、テレビカメラ４より出力される画像データＶＤａがキー生成部１１に供給され、キー生成部１１では画像データＶＤａからいわゆるソフトキーを達成するキー信号としてのα値が生成される。このα値はαブレンディング部１０に供給される。そして、αブレンディング部１０では、ＣＧデータ作成部８より出力される２次元画像データＶＤｃとディレイ部９より出力される画像データＶＤｂに対して、上述の（１）式の演算が施されて、所定のＣＧ物体の投影像と出演者１の投影像との合成画像を表示するための合成画像データＶＤｄが得られる。この合成画像データＶＤｄは出力端子１２に出力され、視聴者に提供される合成画像のデータとされる。
【００７４】
また、テレビカメラ４より出力される画像データＶＤａが簡易型キー生成部１４に供給され、キー生成部１４では画像データＶＤａからいわゆるハードキーを達成するキー信号としてのα値（α＝０またはα＝１）が生成される。このα値はαブレンディング部１３に供給される。そして、αブレンディング部１３では、テレビカメラ４より出力される画像データＶＤａとＣＧデータ作成部ＶＤｃに対して、上述の（２）式の演算が施されて、所定のＣＧ物体の投影像と出演者１の投影像との合成画像を表示するための合成画像データＶＤｅが得られる。この合成画像データＶＤｅはモニタ１５に供給され、このモニタ１５の画面上に合成画像データＶＤｅによる画像が出演者１の演技を補助するための画像として表示される。
【００７５】
以上説明した画像生成装置３においては、出演者１の演技を補助するための合成画像を得るための合成画像データＶＤｅが、遅延処理を行っていないテレビカメラ４の出力画像データＶＤａを使用して合成される。そのため、出演者１の動きに対して、合成画像データＶＤｅによる合成画像における出演者の投影像の動きは遅れのないものとなり、出演者が演技しやすくなる利益がある。
【００７６】
なお、図１に示す画像生成装置３において、テレビカメラ４が移動していないときは、ある時刻にテレビカメラ４で撮影されて得られた画像データＶＤａと、このある時刻におけるテレビカメラ４の視点から見た場合の透視変換を施した所定のＣＧ物体の投影像に対応した２次元画像データＶＤｃとが合成されて合成画像データＶＤｅが得られることとなり、あたかもＣＧ物体と出演者１とが同一の空間に存在しているものを撮影して得られた画像であるかのような正確な合成画像を得ることができる。
【００７７】
一方、テレビカメラ４が移動しているときは、ＣＧデータ作成部８より出力される２次元画像データＶＤｃは、カメラパラメータ算出部６およびＣＧデータ作成部８の処理時間だけ前の時刻におけるテレビカメラ４の視点から見た場合の透視変換を施した所定のＣＧ物体の投影像に対応した２次元画像データＶＤｃとなる。そのため、この２次元画像データＶＤｃとテレビカメラ４で撮影されて得られた画像データＶＤａとが合成された合成画像データＶＤｅによる合成画像は不正確なものとなる。しかし、一般的に、ＣＧ物体がワールド座標系を基準にしてほとんど動かない場合にしか出演者１はそのＣＧ物体を指し示したりしないので、この遅れは問題にはならない。
【００７８】
また、仮に、テレビカメラ４が移動しているときに、出演者１がモニタ１５を見ながら演技する場合を考えてみる。モニタ１５の画面上の不正確な合成画像を参考にして出演者１が演技することで、その演技に多少のずれを生じる。具体的には、出演者１がＣＧ物体を指し示すとき、多少ずれた場所を指し示してしまうことが起こる。しかしながら、テレビカメラ４は移動撮影しているので、視聴者に提供する合成画像も全体が動いていることになる。人間の目の特性は、全体の風景が動いている場合、劣化するので、この場合、視聴者は、出演者１が多少ずれた場所を指し示していることに気が付かない。つまり、テレビカメラ４が移動しているときは、モニタ１５の画面上に表示される合成画像は、多少不正確でもよい。
【００７９】
次に、図２を使用して、この発明の第２の実施の形態としての画像生成装置３Ａについて説明する。
【００８０】
この画像生成装置３Ａでは、カメラパラメータ算出部６より出力されるテレビカメラ４の視点情報ＰＯＶに基づいて、現在時刻におけるそのテレビカメラ４の視点（ワールド座標系を基準にした３次元位置および向き）を予測するカメラパラメータ予測部１７を有している。因に、テレビカメラ４が移動しているとき、視点情報ＰＯＶは現在時刻よりカメラパラメータ算出部６の処理時間だけ前の時刻におけるテレビカメラ４の視点を示すものとなっている。
【００８１】
ここで、カメラパラメータ予測部１７における具体的なカメラパラメータ（テレビカメラの位置、向き）の予測の方法を説明する。例えば、過去の２つの時刻におけるテレビカメラ４の位置および向きが、それぞれ、「Ｔ１およびＲ１」、「Ｔ２およびＲ２」であったとする。位置の移動量の割合は、Ｔ２−Ｔ１と考えられる。したがって、この過去の２つの時刻の位置情報（Ｔ１、Ｔ２）より、現在時刻における位置は、Ｔ２＋（Ｔ２−Ｔ１）と線形予測される。同様に、現在時刻における向きは、Ｒ２＋（Ｒ２−Ｒ１）と線形予測される。なお、さらに沢山の過去の時刻における位置および向きの情報をもってすれば、より正確な予測が可能となる。いずれにせよ、カメラパラメータ予測部１７からは、予測された現在時刻におけるテレビカメラ４の視点情報ＰＯＶｃが出力される。
【００８２】
また、画像生成装置３Ａは、カメラパラメータ予測部１７からの予測されたテレビカメラ４の視点情報ＰＯＶｃとＣＧ情報格納部７より読み出される所定のＣＧ物体の３次元位置情報ＰＣＧとをもとに、その所定のＣＧ物体にテレビカメラ４の視点から見た透視変換を施した投影像に対応した２次元画像データＶＤｆを作成するＣＧデータ作成部１８を有している。
【００８３】
図１に示す画像生成装置３では、αブレンディング部１３でテレビカメラ４より出力される画像データＶＤａとＣＧデータ作成部８で作成される２次元画像データＶＤｃとがミックスされて合成画像データＶＤｅが形成されるものであった。しかし、この画像生成装置３Ａでは、αブレンディング部１３でテレビカメラ４より出力される画像データＶＤａとＣＧデータ作成部１８で作成される２次元画像データＶＤｆとがミックスされて合成画像データＶＤｅが形成される。この画像生成装置３Ａのその他の構成および動作は、上述した画像生成装置３と同様であるので、その説明は省略する。
【００８４】
このように、図２に示す画像生成装置３Ａにおいては、ＣＧデータ作成部１８からは予測された現在時刻におけるテレビカメラ４の視点から見た場合の透視変換を施した所定のＣＧ物体の投影像に対応した２次元画像データＶＤｆが出力され、この２次元画像データＶＤｆとテレビカメラ４で撮影されて得られた画像データＶＤａとが合成されて合成画像データＶＤｅが形成されるものであり、テレビカメラ４が移動しているときでも、この合成画像データＶＤｅによる合成画像はほぼ正確なものとなり、出演者１はＣＧ物体を指し示すことが容易となる。
【００８５】
なお、カメラパラメータ予測部１７では、現在時刻におけるテレビカメラ４の視点を予測するものであったが、さらにＣＧデータ作成部１８の処理時間だけ現在時刻より後の時刻におけるテレビカメラ４の視点を予測するようにしてもよい。これにより、αブレンディング部１３では、ある時刻にテレビカメラ４より出力される画像データＶＤａとそのある時刻におけるテレビカメラ４の視点から見た場合の透視変換を施した所定のＣＧ物体の投影像に対応した２次元画像データＶＤｆとを合成して合成画像データＶＤｅを得ることができ、一層正確な合成画像を得ることが可能となる。
【００８６】
【発明の効果】
この発明によれば、出演者を移動可能な撮像手段で撮影して得られる第１の画像データを遅延処理して第３の画像データを得、この第３の画像データと撮像手段の視点で見た透視変換を施した所定物体の投影像に対応した第２の画像データとを合成して視聴者用の合成画像データを得ると共に、遅延処理されていない第１の画像データと第２の画像データとを合成して出演者に対して演技を補助する画像を表示するための合成画像データを得るものであり、出演者の動きに対する演技を補助する画像の遅れはほとんどなく、出演者が演技しやすくなる利益がある。
【００８７】
また、演技補助画像を表示するための合成画像データを得る際の画像切換信号は第１の画像データまたは第２の画像データのいずれかを取り出すためのものであり、第１の画像データがある閾値を越えるか否かによって発生でき、画像切換信号を簡単かつ高速に得ることができる。
【００８８】
また、カメラパラメータ算出手段で求められる撮像手段の視点から、現在時刻あるいはそれより後の時刻における撮像手段の視点を予測し、その予測された撮像手段の視点から見た場合の透視変換を施した所定物体の投影像に対応した第４の画像データを作成し、この第４の画像データと第１の画像データとを合成して演技補助画像を得るための合成画像データを形成することで、撮像手段が移動している間であっても、所定物体と出演者とが同一の空間に存在しているものを撮影して得られた画像であるかのようなほぼ正確な合成画像を得ることができ、出演者は移動時の演技がしやすくなる利益がある。
【図面の簡単な説明】
【図１】第１の実施の形態としての画像生成装置が備えられたバーチャルスタジオを示す図である。
【図２】第２の実施の形態としての画像生成装置を示すブロック図である。
【図３】従来の画像生成装置が備えられたバーチャルスタジオを示す図である。
【図４】従来の画像生成装置の各部の画像を説明するための図である。
【符号の説明】
１・・・出演者、２・・・背景、３，３Ａ・・・画像生成装置、４・・・移動可能なテレビカメラ、５・・・マーカー位置情報格納部、６・・・カメラパラメータ算出部、７・・・ＣＧ情報格納部、８，１８・・・ＣＧデータ作成部、９・・・ディレイ部、１０，１３・・・αブレンディング部、１１・・・キー生成部、１２・・・出力端子、１４・・・簡易型キー生成部、１５・・・モニタ、１６・・・制御部、１７・・・カメラパラメータ予測部
【発明の属する技術分野】
この発明は、例えばテレビ局のバーチャルスタジオで使用して好適な画像生成装置および画像生成方法に関する。詳しくは、出演者を移動可能な撮像手段で撮影して得られる第１の画像データを遅延処理して第３の画像データを得、この第３の画像データと撮像手段の視点で見た透視変換を施した所定物体の投影像に対応した第２の画像データとを合成して視聴者用の合成画像データを得ると共に、上記第１の画像データと第２の画像データとを合成して出演者に対して演技を補助する画像を表示するための合成画像データを得ることによって、出演者の動きに対する演技を補助する画像の遅れをなくし、出演者が演技しやすいようにした画像生成装置等に係るものである。
【０００２】
【従来の技術】
最近は、テレビ局において、バーチャルスタジオあるいはバーチャルセットと呼ばれるスタジオで撮影し、この撮影した画像に対して、ＣＧ（コンピュータグラフィクス）で作成した画像を合成し、この合成画像を放送するということが行われるようになってきている。
【０００３】
天気予報番組を例にとって、詳しく説明する。まず、青色の背景をバックに出演者を立たせ、この出演者をテレビカメラで撮影する。そして、このテレビカメラからの画像データに、ＣＧで作成された物体、例えば気象情報の描かれた日本地図等の画像データを合成し、視聴者に提供される合成画像に係る合成画像データを作成する。
【０００４】
図３は、バーチャルスタジオの具体例を示している。
【０００５】
出演者１０１は、青色の背景１０２を使用して撮影される。この背景１０２には、青色系統で目立たないマーカー（模様）Ｍ1〜Ｍ9が付されている。マーカーＭ1〜Ｍ9の３次元上での位置は、特定の絶対不動の座標系（ワールド座標系）を基準として、あらかじめ測定されている。
【０００６】
次に、画像生成装置１０３を説明する。この画像生成装置１０３は、背景１０２をバックに出演者１０１を撮影する移動可能なテレビカメラ１０４を有している。上述したようにマーカーＭ1〜Ｍ9は、青色の背景１０２の中にあることから目立たないが、テレビカメラ１０４で認識することがかろうじてできる。そのため、テレビカメラ１０４を基準としたマーカーＭ1〜Ｍ9の３次元位置を測定することができる。
【０００７】
また、画像生成装置１０３は、ワールド座標系を基準としたマーカーＭ1〜Ｍ9の３次元位置情報ＰＤＷが格納されているマーカー位置情報格納部１０５と、テレビカメラ１０４で得られる、テレビカメラ１０４を基準としたマーカーＭ1〜Ｍ9の３次元位置情報ＰＤＴと、マーカー位置情報格納部１０５より読み出される３次元位置情報ＰＤＷとから、ワールド座標系を基準としたテレビカメラ１０４の３次元位置および向きを求めるカメラパラメータ算出部１０６とを有している。
【０００８】
ここで、ワールド座標系を基準としたマーカーＭ1〜Ｍ9の３次元位置と、テレビカメラ１０４を基準としたマーカーＭ1〜Ｍ9の３次元位置との関係が、ある回転変換Ｒとある並進変換Ｔの関係にあるとすると、カメラパラメータ算出部１０６では、ワールド座標系を基準としたテレビカメラ１０４の３次元位置はＴとされ、向きはＲとされる。このカメラパラメータ算出部１０６からは、求められた３次元位置および向きの情報が、テレビカメラ１０４の視点情報ＰＯＶとして出力される。
【０００９】
また、画像生成装置１０３は、ワールド座標系を基準としたＣＧ物体の３次元位置情報ＰＣＧ、例えば、３次元空間上のどの位置に、ＣＧで作られた「気象情報の描かれた日本地図」が仮想的に存在しているかという情報が格納されているＣＧ情報格納部１０７を有している。この場合、ＣＧ情報格納部１０７には、多くのＣＧ物体のワールド座標系を基準にした３次元位置情報ＰＣＧが格納されており、その中から適切なＣＧ物体の３次元位置情報ＰＣＧが選択的に読み出されて使用されるが、この選択は後述する制御部によって行われる。すなわち、制御部よりＣＧ情報格納部１０７に供給される読み出し要求信号ＲＲＱにより、所定のＣＧ物体の３次元位置情報ＰＣＧが読み出される。
【００１０】
また、画像生成装置１０３は、カメラパラメータ算出部１０６より出力されるテレビカメラ１０４の視点情報ＰＯＶとＣＧ情報格納部１０７より読み出される所定のＣＧ物体の３次元位置情報ＰＣＧとをもとに、その所定のＣＧ物体にテレビカメラ１０４の視点から見た透視変換を施した投影像に対応した２次元画像データＶＤｃを作成するＣＧデータ作成部１０８を有している。この場合、ＣＧデータ作成部１０８では、例えば、「気象情報の描かれた日本地図」を、あたかもテレビカメラ１０４の視点（３次元位置、向き）から見た場合の２次元画像データ（透視変換した画像に対応）ＶＤｃが作成される。
【００１１】
また、画像生成装置１０３は、テレビカメラ１０４より出力される画像データＶＤａを遅延させるための時間調整用のディレイ部１０９を有している。この場合、ＣＧデータ作成部１０８より時刻Ｔ１におけるテレビカメラ１０４の視点から見た場合の２次元画像データＶＤｃが出力されるとき、ディレイ部１０９より画像データＶＤｂとしてテレビカメラ１０４により時刻Ｔ１で撮影して得られる画像データＶＤａが出力されるように、ディレイ部１０９の遅延時間が設定される。
【００１２】
すなわち、カメラパラメータ算出部１０６やＣＧデータ作成部１０８における計算には時間がかかるが、テレビカメラ１０４よりカメラパラメータ算出部１０６にある時刻の３次元位置情報ＰＤＴが供給されてからＣＧデータ作成部１０８よりその３次元位置情報ＰＤＴに対応した２次元画像データＶＤｃが出力されるまでにｔ秒を要するとき、ディレイ部１０９の遅延時間はｔ秒とされる。
【００１３】
このようにディレイ部１０９で時間調整をすることで、後述するようにＣＧデータ作成部１０８より出力される２次元画像データＶＤｃとディレイ部１０９より出力される画像データＶＤｂとを合成する場合、あたかもＣＧ物体と出演者１０１とが同一の空間に存在しているものを撮影して得られた画像であるかのような合成画像を得ることが可能となる。
【００１４】
また、画像生成装置１０３は、ＣＧデータ作成部１０８より出力される２次元画像データＶＤｃとディレイ部１０９より出力される画像データＶＤｂとをミックスするαブレンディング部１１０と、テレビカメラ１０４より出力される画像データＶＤａよりαブレンディング部１１０にキー信号として供給するα値を得るキー生成部１１１とを有している。
【００１５】
キー生成部１１１では、画像データＶＤａから、青色系統の画素部分と、完全に「青色でない」画素部分とを切り分ける作業が行われる。そして、このキー生成部１１１からは画像データＶＤａの各画素毎にα値が出力される。この場合、青色系統の画素部分ではα＝０とされ、完全に「青色でない」画素部分ではα＝１とされ、さらに中間色の部分では、０＜α＜１とされる。
【００１６】
テレビカメラ１０４は、青色の背景１０２を使用して、例えば天気予報を説明するキャスター等の出演者１０１を撮影している。したがって、背景１０２の投影像の部分は青色なので、画像データＶＤａのうち背景１０２に対応する画素部分では、α＝０となる。一方、出演者１０１の投影像の部分は青色ではないので、画像データＶＤａのうち出演者１０１に対応する画素部分では、α＝１となる。さらに、出演者１０１と背景１０２との境界の投影像の部分は撮像レンズの歪みなどによりぼやけており、背景１０２の青色と出演者１０１の青色以外の色とが混じった色となるので、画像データＶＤａのうち出演者１０１と背景１０２との境界に対応する画素部分では、０＜α＜１となる。
【００１７】
なお、上述したように、ＣＧデータ作成部１０８より時刻Ｔ１におけるテレビカメラ１０４の視点から見た場合の２次元画像データＶＤｃが出力されるとき、ディレイ部１０９より画像データＶＤｂとしてテレビカメラ１０４により時刻Ｔ１で撮影して得られる画像データＶＤａが出力されるようにされるが、同様にＣＧデータ作成部１０８より時刻Ｔ１におけるテレビカメラ１０４の視点から見た場合の２次元画像データＶＤｃが出力されるとき、キー生成部１１１よりテレビカメラ１０４により時刻Ｔ１で撮影して得られる画像データＶＤａから得られたα値が出力されるように時間調整されている。
【００１８】
αブレンディング部１１０では、ＣＧデータ作成部１０８で作成される２次元画像データＶＤｃとディレイ部１０９より出力される画像データＶＤｂに対して、以下の（１）式の演算が施されて、合成画像データＶＤｄが得られる。
ＶＤｄ＝α×ＶＤｂ＋（１−α）×ＶＤｃ ・・・（１）
【００１９】
ここで、画像データＶＤｂの背景１０２に対応する画素部分ではα＝０であるため、αブレンディング部１１０からは合成画像データＶＤｄとして２次元画像データＶＤｃがそのまま出力される。また、画像データＶＤｂの出演者１０１に対応する画素部分ではα＝１であるため、αブレンディング部１１０からは合成画像データＶＤｄとして画像データＶＤｂがそのまま出力される。さらに、画像データＶＤｂの背景１０２と出演者１０１との境界に対応する画素部分では０＜α＜１であり、αブレンディング部１１０からは画像データＶＤｂ，ＶＤｃが混じった合成画像データＶＤｄが出力される。このように、画像データＶＤｂの背景１０２と出演者１０１との境界に対応する画素部分で、画像データＶＤｂ，ＶＤｃが混じった合成画像データＶＤｄが出力されるようにすることで、いわゆる境界部分のなじみをよくできる。
【００２０】
また、画像生成装置１０３は、合成画像データＶＤｄを視聴者に提供される合成画像のデータとして出力する出力端子１１２と、この合成画像データＶＤｄが供給され、その合成画像データＶＤｄによる画像を出演者１０１の演技を補助するための画像として表示するモニタ１１３とを有している。
【００２１】
また、画像生成装置１０３は、ディレクタの操作に応じてＣＧ情報格納部１０７に読み出し要求信号ＲＲＱを供給する制御部１１４を有している。この制御部１１４には、通常ユーザインタフェースが設けられている。すなわち、テレビカメラ１０４より出力される画像データＶＤａが供給され、モニタ（図示せず）にその画像データＶＤａによる画像が表示され、バーチャルスタジオ全体を運営管理しているディレクタに対して、テレビカメラ１０４の撮影情報が提供される。ディレクタは、例えば天気予報番組の現在の進行状況に合わせて、適切なＣＧの画像を選択し、制御部１１４の入力装置（図示せず）に、その情報を入力する。これに対応して、制御部１１４はその情報を読み出し要求信号ＲＲＱとしてＣＧ情報格納部１０７に供給する。
【００２２】
例えば、ディレクタが、現在、日本の天気予報を放送する時間であると判断した場合は、「気象情報の描かれた日本地図」を提供するように制御部１１４に指示する。制御部１１４は、この情報を読み出し要求信号ＲＲＱとしてＣＧ情報格納部１０７に供給する。これにより、ＣＧで作られた「気象情報の描かれた日本地図」の３次元位置情報ＰＣＧが、ＣＧ情報格納部１０７より読み出されてＣＧデータ作成部１０８に供給される。
【００２３】
次に、画像生成装置１０３の動作を説明する。背景１０２をバックに出演者１０１がテレビカメラ１０４で撮影され、このテレビカメラ１０４より画像データＶＤａが得られ、この画像データＶＤａはディレイ部１０９でカメラパラメータ算出部１０６およびＣＧデータ作成部１０８の処理時間に対応する時間だけ遅延され、画像データＶＤｂとしてαブレンディング部１１０に供給される。
【００２４】
また、テレビカメラ１０４より、このテレビカメラ１０４を基準としたマーカーＭ1〜Ｍ9の３次元位置情報ＰＤＴが出力され、この３次元位置情報ＰＤＴはカメラパラメータ算出部１０６に供給される。一方、ワールド座標系を基準としたマーカーＭ1〜Ｍ9の３次元位置情報ＰＤＷがマーカー位置情報格納部１０５より読み出されてカメラパラメータ算出部１０６に供給される。カメラパラメータ算出部１０６では、マーカーＭ1〜Ｍ9の３次元位置情報ＰＤＴ，ＰＤＷから、ワールド座標系を基準としたテレビカメラ１０４の３次元位置および向きが算出される。
【００２５】
カメラパラメータ算出部１０６で求められるテレビカメラ１０４の３次元位置および向きの情報は、テレビカメラ１０４の視点情報ＰＯＶとしてＣＧデータ作成部１０８に供給される。一方、制御部１１４より供給される読み出し要求信号ＲＲＱに対応してＣＧ情報格納部１０７より所定のＣＧ物体の３次元位置情報ＰＣＧが読み出され、この３次元位置情報ＰＣＧはＣＧデータ作成部１０８に供給される。ＣＧデータ作成部１０８では、テレビカメラ１０４の視点情報ＰＯＶと所定のＣＧ物体の３次元位置情報ＰＣＧとをもとに、その所定のＣＧ物体にテレビカメラ１０４の視点から見た透視変換を施した投影像に対応した２次元画像データＶＤｃが作成される。例えば、「気象情報の描かれた日本地図」を、あたかもテレビカメラ１０４の視点から見た場合の２次元画像データＶＤｃが作成される。そして、このＣＧデータ作成部１０８で作成される２次元画像データＶＤｃはαブレンディング部１１０に供給される。
【００２６】
また、テレビカメラ１０４より出力される画像データＶＤａがキー生成部１１１に供給され、キー生成部１１１では画像データＶＤａからいわゆるソフトキーを達成するキー信号としてのα値が生成される。そして、このα値はαブレンディング部１１０に供給される。そして、αブレンディング部１１０では、ＣＧデータ作成部１０８より出力される２次元画像データＶＤｃとディレイ部１０９より出力される画像データＶＤｂに対して、（１）式の演算が施されて、所定のＣＧ物体の投影像と出演者１０１の投影像との合成画像を表示するための合成画像データＶＤｄが得られる。
【００２７】
αブレンディング部１１０より出力される合成画像データＶＤｄは出力端子１１２に出力され、視聴者に提供される合成画像のデータとされる。また、この合成画像データＶＤｄはモニタ１１３に供給され、このモニタ１１３の画面上に合成画像データＶＤｄによる画像が出演者１０１の演技を補助するための画像として表示される。
【００２８】
図４Ａ〜Ｄを使用して、画像生成装置１０３の各処理において、実際にどのような画像が生成されているかを説明する。
【００２９】
図４Ａは、テレビカメラ１０４よりある時刻において出力される画像データＶＤａによる画像を示している。背景１０２に対応する画素部分は青色系統である。出演者１０１に対応する画素部分は青色ではない。さらに、出演者１０１と背景１０２との境界の画素部分は青色と青色以外の色とが混じった色となる。なお、出演者１０１、背景１０２、マーカーＭ1〜Ｍ9に対応する画像部分には、それぞれ同一符号を付して示している。以下の各画像においても同様である。
【００３０】
図４Ｂは、キー生成部１１１より出力されるα値を示している。背景１０２に対応する画素部分ではα＝０である。出演者１０１に対応する画素部分ではα＝１である。さらに、出演者１０１と背景１０２との境界の画素部分では、０＜α＜１となる。
【００３１】
図４Ｃは、ＣＧデータ作成部１０８で作成される２次元画像データＶＤｃによる画像を示している。ここでは、ＣＧ情報格納部１０７から、ＣＧで作られた「気象情報の描かれた日本地図」の３次元位置情報ＰＣＧが読み出された場合を示している。
【００３２】
図４Ｄは、αブレンディング部１１０より出力される合成画像データＶＤｄによる画像を示している。すなわち、各画素のα値によって、各画素毎に、図４Ａに示す画像と図４Ｃに示す画像とがミックスされた画像である。
【００３３】
さらに、次の時刻において、テレビカメラ１０４が移動した場合を考えてみる。この場合、出演者１０１が静止していたとしても、テレビカメラ１０４より出力される画像データＶＤａによる画像内の出演者１０１に対応する画像部分は画面上で移動することになる。カメラパラメータ算出部１０６では、ワールド座標系を基準としたテレビカメラ１０４の３次元位置および向きが算出され、この３次元位置および向きの情報がテレビカメラ１０４の視点情報ＰＯＶとしてＣＧデータ作成部１０８に供給されるので、ＣＧ情報格納部１０７より読み出されるＣＧ物体の３次元位置情報ＰＣＧが同じであっても、ＣＧデータ作成部１０８より出力される２次元画像データＶＤｃは変化する。なぜなら、透視変換において、見る位置が変化すれば、投影像も変化するからである。
【００３４】
ある時刻とその次の時刻における透視変換した画像データＶＤｃによる画像の変化量は、テレビカメラ１０４の移動による画像の変化量と同じである。したがって、ある時刻とその次の時刻における透視変換した画像データＶＤｃによる画像の変化量は、テレビカメラ１０４で撮影された出演者１０１の投影像の移動量に対応したものとなる。そのため、最終的に得られる合成画像データＶＤｄによる画像において、出演者１０１の投影像およびＣＧ物体の投影像は同じように動くことになる。つまり、最終的に得られる合成画像データＶＤｄによる画像は、あたかも、ＣＧの物体、例えば、気象情報の描かれた日本地図と出演者１０１とが同一の空間に存在しているものを撮影した画像であるかのように見える。
【００３５】
【発明が解決しようとする課題】
上述した画像生成装置１０３においては、モニタ１１３に合成画像データＶＤｄによる画像、つまり出演者１０１の投影像とＣＧ物体の投影像との合成画像が表示される。出演者１０１はその画像を見ながら演技することで、自分がいまＣＧ物体とどのような位置関係にあるかを把握できる。これにより、出演者１０１は、例えばＣＧで作られた「気象情報の描かれた日本地図」の特定の部分を指し示すことも可能である。
【００３６】
ところで、上述したように、カメラパラメータ算出部１０６およびＣＧデータ作成部１０８の処理にｔ秒を要するとき、ディレイ部１０９の遅延時間がｔ秒とされて時間調整が行われている。そのため、モニタ１１３に表示される画像は、ｔ秒前の時刻の事象を撮影した画像となる。具体的には、出演者１０１が手をあげた場合、モニタ１１３に表示される出演者１０１の投影像はｔ秒後に手をあげることになる。このように、ｔ秒前の自分自身の動作をモニタ１１３で見ながら演技をしていくことは、出演者１０１にとって演技しづらいという問題点があった。
【００３７】
そこで、この発明では、出演者の動きに対する演技を補助する画像の遅れをなくし、出演者が演技しやすいようにすることを目的とする。
【００３８】
【課題を解決するための手段】
この発明に係る画像生成装置は、所定の背景をバックに出演者を撮影して第１の画像データを得る移動可能な撮像手段と、この撮像手段の視点を求めるカメラパラメータ算出手段と、このカメラパラメータ算出手段で求められる撮像手段の視点から見た場合の透視変換を施した所定物体の投影像に対応した第２の画像データを作成する第１の画像データ作成手段と、第１の画像データをカメラパラメータ算出手段および第１の画像データ作成手段における処理時間に対応して遅延させた第３の画像データを得るデータ遅延手段と、第３の画像データと第２の画像データとを合成して第１の合成画像データを得る第１の画像データ合成手段と、第１の画像データと第２の画像データとを合成して第２の合成画像データを得る第２の画像データ合成手段と、この第２の合成画像データによる出演者に対しての演技補助のための画像を表示する画像表示手段とを備えるものである。
【００３９】
この発明に係る画像生成方法は、移動可能な撮像手段により所定の背景をバックに出演者を撮影して第１の画像データを得るステップと、撮像手段の視点を求めるステップと、撮像手段の視点から見た場合の透視変換を施した所定物体の投影像に対応した第２の画像データを作成するステップと、第１の画像データを撮像手段の視点を求めるステップおよび第２の画像データを作成するステップにおける処理時間に対応して遅延させて第３の画像データを得るステップと、第３の画像データと第２の画像データとを合成して第１の合成画像データを得るステップと、第１の画像データと第２の画像データとを合成して第２の合成画像データを得るステップと、第２の合成画像データによる上記出演者に対しての演技補助のための画像を表示するステップとを備えるものである。
【００４０】
所定の背景、例えば青色の背景をバックに出演者が移動可能な撮像手段で撮影されて第１の画像データが得られ、この第１の画像データが遅延処理されて第３の画像データが得られる。また、撮像手段の視点、例えばワールド座標系を基準とした撮像手段の３次元位置および向きが求められ、この視点から見た場合の透視変換を施した所定物体、例えばＣＧ物体の投影像に対応した第２の画像データが作成される。そして、第３の画像データと第２の画像データとが合成され、例えば視聴者に提供する合成画像に係る第１の合成画像データが得られる。
【００４１】
この場合、第３の画像データは第２の画像データを得るための処理時間に対応して第１の画像データが遅延処理されてなるものであり、ある時刻に撮像手段で撮影して得られた第３の画像データと、このある時刻における撮像手段の視点から見た場合の透視変換を施した所定物体の投影像に対応した第２の画像データとが合成されるようにされる。そのため、出演者の動きに対して、第１の合成画像データによる画像における出演者の投影像の動きは、第３の画像データが遅延処理されたものである分だけ遅れたものとなる。
【００４２】
また、撮像手段より出力される第１の画像データと第２の画像データとが合成されて第２の合成画像データが得られる。そして、この第２の合成画像データによる画像が出演者に対しての演技補助のための画像として表示される。第２の合成画像データを得る際に第１の画像データを遅延処理をせずにそのまま使用しているので、第２の合成画像データによる画像における出演者の投影像の動きは、ほとんど遅れのないものとなる。
【００４３】
また、第１の画像データに基づいて第１の画像データまたは第２の画像データのいずれかを取り出すための画像切換信号を得る画像切換信号発生手段をさらに備え、第２の画像データ合成手段では、画像切換信号によって第１の画像データおよび第２の画像データが切り換え合成されるようにしてもよい。例えば、画像データ合成手段がαブレンディング部で構成される場合、画像切換信号としてのα値は、０または１となる。すなわち、画像切換信号発生手段では、第１の画像データがある閾値を越えるか否かでα値を決定して出力でき、画像切換信号を簡単かつ高速に得ることが可能となる。
【００４４】
また、カメラパラメータ算出手段で求められる撮像手段の視点から、現在時刻あるいはそれより後の時刻における撮像手段の視点を予測するカメラパラメータ予測手段と、このカメラパラメータ予測手段で予測された撮像手段の視点から見た場合の透視変換を施した所定物体の投影像に対応した第４の画像データを作成する第２の画像データ作成手段とをさらに備え、第２の画像データ合成手段では、第１および第２の画像データを合成する代わりに、第１および第４の画像データを合成するようにしてもよい。
【００４５】
この場合、第４の画像データは、現在時刻における撮像手段の視点から見た場合の透視変換を施した所定物体の投影像に対応したものとなる。したがって、現在時刻の第１の画像データと、その現在時刻における撮像手段の視点から見た場合の透視変換を施した所定物体の投影像に対応した画像データとが合成されて第２の合成画像データが得られることとなり、撮像手段が移動している間であっても、あたかも所定物体と出演者とが同一の空間に存在しているものを撮影して得られた画像であるかのような正確な合成画像（演技補助画像）を得ることが可能となり、出演者は移動時の演技がしやすくなる。
【００４６】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、この発明の第１の実施の形態としての画像生成装置３が備えられたバーチャルスタジオを示している。このバーチャルスタジオでは、図３に示すバーチャルスタジオと同様に、青色の背景をバックにテレビカメラにより出演者を撮影し、このテレビカメラからの画像データに、ＣＧで作成された物体、例えば気象情報の描かれた日本地図等の画像データを合成し、視聴者に提供する合成画像に係る合成画像データを得ることが行われている。
【００４７】
このバーチャルスタジオにおいて、出演者１は、青色の背景２を使用して撮影される。この背景２には、図３に示すバーチャルスタジオにおける背景１０２と同様に、青色系統で目立たないマーカー（模様）Ｍ1〜Ｍ9が付されている。マーカーＭ1〜Ｍ9の３次元上での位置は、特定の絶対不動の座標系（ワールド座標系）を基準として、あらかじめ測定されている。
【００４８】
次に、画像生成装置３を説明する。この画像生成装置３は、背景２をバックに出演者１を撮影する移動可能なテレビカメラ４を有している。上述したようにマーカーＭ1〜Ｍ9は、青色の背景２の中にあることから目立たないが、テレビカメラ４で認識することがかろうじてできる。そのため、テレビカメラ４を基準としたマーカーＭ1〜Ｍ9の３次元位置を測定できる。
【００４９】
また、画像生成装置３は、ワールド座標系を基準としたマーカーＭ1〜Ｍ9の３次元位置情報ＰＤＷが格納されているマーカー位置情報格納部５と、テレビカメラ４で得られる、テレビカメラ４を基準としたマーカーＭ1〜Ｍ9の３次元位置情報ＰＤＴと、マーカー位置情報格納部５より読み出される３次元位置情報ＰＤＷとから、ワールド座標系を基準としたテレビカメラ４の３次元位置および向きを求めるカメラパラメータ算出部６とを有している。
【００５０】
ここで、ワールド座標系を基準としたマーカーＭ1〜Ｍ9の３次元位置と、テレビカメラ４を基準としたマーカーＭ1〜Ｍ9の３次元位置との関係が、ある回転変換Ｒとある並進変換Ｔの関係にあるとすると、カメラパラメータ算出部６では、ワールド座標系を基準としたテレビカメラ４の３次元位置はＴとされ、向きはＲとされる。このカメラパラメータ算出部６からは、求められた３次元位置および向きの情報が、テレビカメラ４の視点情報ＰＯＶとして出力される。
【００５１】
なお、背景２の中のマーカーＭ1〜Ｍ9の個数は９個であるが、これ以外の個数であってもよい。また、テレビカメラ４に機械的に取り付けられたセンサにより、テレビカメラ４のワールド座標系における３次元位置および向きを求めることも可能である。例えば、テレビカメラ４を雲台に載せておき、歯車を使ってテレビカメラ４を回転できるようにしておく。歯車の回転した量によって、テレビカメラ４の向きを知ることができる。この場合、テレビカメラ４よりカメラパラメータ算出部６に供給されるデータは、歯車の回転量であり、この回転量からテレビカメラ４の向きなどを算出するようにカメラパラメータ算出部６を構成しておく。マーカー位置情報格納部５は不要となる。いずれにせよ、カメラパラメータ算出部６からは、ワールド座標系を基準としたテレビカメラ４の３次元位置および向きの情報が、テレビカメラ４の視点情報ＰＯＶとして出力される。
【００５２】
また、画像生成装置３は、ワールド座標系を基準としたＣＧ物体の３次元位置情報ＰＣＧ、例えば、３次元空間上のどの位置に、ＣＧで作られた「気象情報の描かれた日本地図」が仮想的に存在しているかという情報が格納されているＣＧ情報格納部７を有している。この場合、ＣＧ情報格納部７には、多くのＣＧ物体のワールド座標系を基準にした３次元位置情報ＰＣＧが格納されており、その中から適切なＣＧ物体の３次元位置情報ＰＣＧが選択的に読み出されて使用されるが、この選択は後述する制御部によって行われる。すなわち、制御部よりＣＧ情報格納部７に供給される読み出し要求信号ＲＲＱにより、所定のＣＧ物体の３次元位置情報ＰＣＧが読み出される。
【００５３】
また、画像生成装置３は、カメラパラメータ算出部６より出力されるテレビカメラ４の視点情報ＰＯＶとＣＧ情報格納部７より読み出される所定のＣＧ物体の３次元位置情報ＰＣＧとをもとに、その所定のＣＧ物体にテレビカメラ４の視点から見た透視変換を施した投影像に対応した２次元画像データＶＤｃを作成するＣＧデータ作成部８を有している。この場合、ＣＧデータ作成部８では、例えば、「気象情報の描かれた日本地図」を、あたかもテレビカメラ４の視点（３次元位置、向き）から見た場合の２次元画像データ（透視変換した画像に対応）ＶＤｃが作成される。
【００５４】
また、画像生成装置３は、テレビカメラ４より出力される画像データＶＤａを遅延させるための時間調整用のディレイ部９を有している。この場合、ＣＧデータ作成部８より時刻Ｔ１におけるテレビカメラ４の視点から見た場合の２次元画像データＶＤｃが出力されるとき、ディレイ部９より画像データＶＤｂとしてテレビカメラ４により時刻Ｔ１で撮影して得られる画像データＶＤａが出力されるように、ディレイ部９の遅延時間が設定されている。
【００５５】
すなわち、カメラパラメータ算出部６やＣＧデータ作成部８における計算には一定の時間がかかるが、テレビカメラ４よりカメラパラメータ算出部６にある時刻の３次元位置情報ＰＤＴが供給されてからＣＧデータ作成部８よりその３次元位置情報ＰＤＴに対応した２次元画像データＶＤｃが出力されるまでにｔ秒を要するとき、ディレイ部９の遅延時間はｔ秒とされる。
【００５６】
このようにディレイ部９で時間調整をすることで、後述するようにＣＧデータ作成部８より出力される２次元画像データＶＤｃとディレイ部９より出力される画像データＶＤｂとを合成する場合、あたかもＣＧ物体と出演者１とが同一の空間に存在しているものを撮影して得られた画像であるかのような合成画像を得ることが可能となる。
【００５７】
また、画像生成装置３は、ＣＧデータ作成部８より出力される２次元画像データＶＤｃとディレイ部９より出力される画像データＶＤｂとをミックスして合成画像データＶＤｄを得るαブレンディング部１０と、テレビカメラ４より出力される画像データＶＤａよりαブレンディング部１０にキー信号として供給するα値を得るキー生成部１１とを有している。
【００５８】
キー生成部１１では、画像データＶＤａから、青色系統の画素部分と、完全に「青色でない」画素部分とを切り分ける作業が行われる。そして、このキー生成部１１からは画像データＶＤａの各画素毎にα値が出力される。この場合、青色系統の画素部分ではα＝０とされ、完全に「青色でない」画素部分ではα＝１とされ、さらに中間色の部分では、０＜α＜１とされる。
【００５９】
テレビカメラ４は、青色の背景２を使用して、例えば天気予報を説明するキャスター等の出演者１を撮影している。したがって、背景２の投影像の部分は青色なので、画像データＶＤａのうち背景２に対応する画素部分では、α＝０となる。一方、出演者１の投影像の部分は青色ではないので、画像データＶＤａのうち出演者１に対応する画素部分では、α＝１となる。さらに、出演者１と背景２との境界の投影像の部分は撮像レンズの歪みなどによりぼやけており、背景２の青色と出演者１の青色以外の色とが混じった色となるので、画像データＶＤａのうち出演者１と背景１との境界に対応する画素部分では、０＜α＜１となる。
【００６０】
なお、上述したように、ＣＧデータ作成部８より時刻Ｔ１におけるテレビカメラ４の視点から見た場合の２次元画像データＶＤｃが出力されるとき、ディレイ部９より画像データＶＤｂとしてテレビカメラ４により時刻Ｔ１で撮影して得られる画像データＶＤａが出力されるようにされるが、同様にＣＧデータ作成部８より時刻Ｔ１におけるテレビカメラ４の視点から見た場合の２次元画像データＶＤｃが出力されるとき、キー生成部１１よりテレビカメラ４により時刻Ｔ１で撮影して得られる画像データＶＤａから得られたα値が出力されるように時間調整されている。
【００６１】
αブレンディング部１０では、ＣＧデータ作成部８で作成される２次元画像データＶＤｃとディレイ部９より出力される画像データＶＤｂに対して、上述した（１）式の演算が施されて、合成画像データＶＤｄが得られる。ここで、画像データＶＤｂの背景２に対応する画素部分ではα＝０であるため、αブレンディング部１０からは合成画像データＶＤｄとして２次元画像データＶＤｃがそのまま出力される。また、画像データＶＤｂの出演者１に対応する画素部分ではα＝１であるため、αブレンディング部１０からは合成画像データＶＤｄとして画像データＶＤｂがそのまま出力される。さらに、画像データＶＤｂの背景２と出演者１との境界に対応する画素部分では０＜α＜１であり、αブレンディング部１０からは画像データＶＤｂ，ＶＤｃが混じった合成画像データＶＤｄが出力される。このように、画像データＶＤｂの背景２と出演者１との境界に対応する画素部分で、画像データＶＤｂ，ＶＤｃが混じった合成画像データＶＤｄが出力されるようにすることで、いわゆる境界部分のなじみをよくできる。
【００６２】
また、画像生成装置３は、合成画像データＶＤｄを視聴者に提供される合成画像のデータとして出力する出力端子１２を有している。なお、本実施の形態においては、この合成画像データＶＤｄを、演技を補助するための画像を表示するためには使用しない。上述したテレビカメラ４、マーカー位置情報格納部５、カメラパラメータ算出部６、ＣＧ情報格納部７、ＣＧデータ作成部８、ディレイ部９、αブレンディング部１０およびキー生成部１１は、それぞれ図３に示す画像生成装置１０３のテレビカメラ１０４、マーカー位置情報格納部１０５、カメラパラメータ算出部１０６、ＣＧ情報格納部１０７、ＣＧデータ作成部１０８、ディレイ部１０９、αブレンディング部１１０およびキー生成部１１１と同様に構成されている。
【００６３】
また、画像生成装置３は、テレビカメラ４より出力される画像データＶＤａとＣＧデータ作成部８で作成される２次元画像データＶＤｃとをミックスして合成画像データＶＤｅを得るαブレンディング部１３と、テレビカメラ４より出力される画像データＶＤａよりαブレンディング部１３にキー信号として供給するα値を得る簡易型キー生成部１４とを有している。
【００６４】
簡易型キー生成部１４では、画像データＶＤａから、青色系統の画素部分と、それ以外の部分とを切り分ける作業が行われる。そして、このキー生成部１４からは画像データＶＤａの各画素毎にα値が出力される。この場合、青色系統の画素部分ではα＝０とされ、それ以外の画素部分ではα＝１とされる。α値の取りうる値は０または１である。ここで、背景２の投影像の部分は青色なので、画像データＶＤａのうち背景２に対応する画素部分では、α＝０となる。出演者１の投影像の部分は青色ではないので、画像データＶＤａのうち出演者１に対応する画素部分では、α＝１となる。さらに、出演者１と背景２との境界の投影像の部分は撮像レンズの歪みなどによりぼやけており、背景２の青色と出演者１の青色以外の色とが混じった色となるので、画像データＶＤａのうち出演者１と背景２との境界に対応する画素部分では、α＝０またはα＝１のいずれかである。
【００６５】
上述したキー生成部１１では、中間色に対しては０＜α＜１なる値を求めている。しかし、キー生成部１４では、あるしきい値を越えるか越えないかによって、α値を０か１に決定している。そのため、キー生成部１４の処理は、キー生成部１１の処理に比べて簡単であって高速処理が可能となる。なお、キー生成部１１が十分に高速処理可能であるならば、キー生成部１４の代わりに、キー生成部１１と同様に構成されたキー生成部を使用するようにしてもよい。
【００６６】
αブレンディング部１３では、テレビカメラ４より出力される画像データＶＤａとＣＧデータ作成部８で作成された２次元画像データＶＤｃに対して、以下の（２）式の演算が施されて、合成画像データＶＤｅが得られる。
ＶＤｅ＝α×ＶＤａ＋（１−α）×ＶＤｃ ・・・（２）
【００６７】
また、画像生成装置３は、合成画像データＶＤｅが供給され、その合成画像データＶＤｅによる画像を出演者１の演技を補助するための画像として表示するモニタ１５を有している。ここで、画像データＶＤａの背景２に対応する画素部分ではα＝０であるため、αブレンディング部１３からは合成画像データＶＤｅとして２次元画像データＶＤｃがそのまま出力される。画像データＶＤａの出演者１に対応する画素部分ではα＝１であるため、αブレンディング部１３からは合成画像データＶＤｅとして画像データＶＤａがそのまま出力される。そして、画像データＶＤａの背景２と出演者１との境界に対応する画素部分では、α＝０またはα＝１であって、合成画像データＶＤｅは極端に変化してしまうので、合成画像データＶＤｅによる合成画像は、背景２と出演者１との境界に対応する画素部分で不自然に見える。しかし、この合成画像は、出演者１の演技を補助するための画像であり、出演者１とＣＧ物体との位置関係が把握できればよいので、境界上で不自然に見えていても問題はない。
【００６８】
また、画像生成装置３は、ディレクタの操作に応じてＣＧ情報格納部７に読み出し要求信号ＲＲＱを供給する制御部１６を有している。この制御部１６には、通常ユーザインタフェースが設けられている。すなわち、テレビカメラ４より出力される画像データＶＤａが供給され、モニタ（図示せず）にその画像データＶＤａによる画像が表示され、バーチャルスタジオ全体を運営管理しているディレクタに対して、テレビカメラ４の撮影情報が提供される。ディレクタは、例えば天気予報番組の現在の進行状況に合わせて、ＣＧの画像を選択し、制御部１６の入力装置（図示せず）に、その情報を入力する。これに対応して、制御部１６はその情報を読み出し要求信号ＲＲＱとしてＣＧ情報格納部７に供給する。
【００６９】
例えば、ディレクタが、現在、日本の天気予報を放送する時間であると判断した場合は、「気象情報の描かれた日本地図」を提供するように制御部１６に指示する。制御部１６は、この情報を読み出し要求信号ＲＲＱとしてＣＧ情報格納部７に供給する。これにより、ＣＧで作られた「気象情報の描かれた日本地図」の３次元位置情報ＰＣＧが、ＣＧ情報格納部７より読み出されてＣＧデータ作成部８に供給される。
【００７０】
次に、画像生成装置３の動作を説明する。背景２をバックに出演者１がテレビカメラ４で撮影され、このテレビカメラ４より画像データＶＤａが得られ、この画像データＶＤａはディレイ部９でカメラパラメータ算出部６およびＣＧデータ作成部８の処理時間に対応する時間だけ遅延され、画像データＶＤｂとしてαブレンディング部１０に供給される。
【００７１】
また、テレビカメラ４より、このテレビカメラ４を基準としたマーカーＭ1〜Ｍ9の３次元位置情報ＰＤＴが出力され、この３次元位置情報ＰＤＴはカメラパラメータ算出部６に供給される。一方、ワールド座標系を基準としたマーカーＭ1〜Ｍ9の３次元位置情報ＰＤＷがマーカー位置情報格納部５より読み出されてカメラパラメータ算出部６に供給される。カメラパラメータ算出部６では、マーカーＭ1〜Ｍ9の３次元位置情報ＰＤＴ，ＰＤＷとから、ワールド座標系を基準としたテレビカメラ４の３次元位置および向きが算出される。
【００７２】
カメラパラメータ算出部６で求められるテレビカメラ４の３次元位置および向きの情報は、テレビカメラ４の視点情報ＰＯＶとしてＣＧデータ作成部８に供給される。一方、制御部１６より供給される読み出し要求信号ＲＲＱに対応してＣＧ情報格納部７より所定のＣＧ物体の３次元位置情報ＰＣＧが読み出され、この３次元位置情報ＰＣＧはＣＧデータ作成部８に供給される。ＣＧデータ作成部８では、テレビカメラ４の視点情報ＰＯＶと所定のＣＧ物体の３次元位置情報ＰＣＧとをもとに、その所定のＣＧ物体にテレビカメラ４の視点から見た透視変換を施した投影像に対応した２次元画像データＶＤｃが作成される。例えば、「気象情報の描かれた日本地図」を、あたかもテレビカメラ４の視点から見た場合の２次元画像データＶＤｃが作成される。そして、この２次元画像データＶＤｃはαブレンディング部１０に供給される。
【００７３】
また、テレビカメラ４より出力される画像データＶＤａがキー生成部１１に供給され、キー生成部１１では画像データＶＤａからいわゆるソフトキーを達成するキー信号としてのα値が生成される。このα値はαブレンディング部１０に供給される。そして、αブレンディング部１０では、ＣＧデータ作成部８より出力される２次元画像データＶＤｃとディレイ部９より出力される画像データＶＤｂに対して、上述の（１）式の演算が施されて、所定のＣＧ物体の投影像と出演者１の投影像との合成画像を表示するための合成画像データＶＤｄが得られる。この合成画像データＶＤｄは出力端子１２に出力され、視聴者に提供される合成画像のデータとされる。
【００７４】
また、テレビカメラ４より出力される画像データＶＤａが簡易型キー生成部１４に供給され、キー生成部１４では画像データＶＤａからいわゆるハードキーを達成するキー信号としてのα値（α＝０またはα＝１）が生成される。このα値はαブレンディング部１３に供給される。そして、αブレンディング部１３では、テレビカメラ４より出力される画像データＶＤａとＣＧデータ作成部ＶＤｃに対して、上述の（２）式の演算が施されて、所定のＣＧ物体の投影像と出演者１の投影像との合成画像を表示するための合成画像データＶＤｅが得られる。この合成画像データＶＤｅはモニタ１５に供給され、このモニタ１５の画面上に合成画像データＶＤｅによる画像が出演者１の演技を補助するための画像として表示される。
【００７５】
以上説明した画像生成装置３においては、出演者１の演技を補助するための合成画像を得るための合成画像データＶＤｅが、遅延処理を行っていないテレビカメラ４の出力画像データＶＤａを使用して合成される。そのため、出演者１の動きに対して、合成画像データＶＤｅによる合成画像における出演者の投影像の動きは遅れのないものとなり、出演者が演技しやすくなる利益がある。
【００７６】
なお、図１に示す画像生成装置３において、テレビカメラ４が移動していないときは、ある時刻にテレビカメラ４で撮影されて得られた画像データＶＤａと、このある時刻におけるテレビカメラ４の視点から見た場合の透視変換を施した所定のＣＧ物体の投影像に対応した２次元画像データＶＤｃとが合成されて合成画像データＶＤｅが得られることとなり、あたかもＣＧ物体と出演者１とが同一の空間に存在しているものを撮影して得られた画像であるかのような正確な合成画像を得ることができる。
【００７７】
一方、テレビカメラ４が移動しているときは、ＣＧデータ作成部８より出力される２次元画像データＶＤｃは、カメラパラメータ算出部６およびＣＧデータ作成部８の処理時間だけ前の時刻におけるテレビカメラ４の視点から見た場合の透視変換を施した所定のＣＧ物体の投影像に対応した２次元画像データＶＤｃとなる。そのため、この２次元画像データＶＤｃとテレビカメラ４で撮影されて得られた画像データＶＤａとが合成された合成画像データＶＤｅによる合成画像は不正確なものとなる。しかし、一般的に、ＣＧ物体がワールド座標系を基準にしてほとんど動かない場合にしか出演者１はそのＣＧ物体を指し示したりしないので、この遅れは問題にはならない。
【００７８】
また、仮に、テレビカメラ４が移動しているときに、出演者１がモニタ１５を見ながら演技する場合を考えてみる。モニタ１５の画面上の不正確な合成画像を参考にして出演者１が演技することで、その演技に多少のずれを生じる。具体的には、出演者１がＣＧ物体を指し示すとき、多少ずれた場所を指し示してしまうことが起こる。しかしながら、テレビカメラ４は移動撮影しているので、視聴者に提供する合成画像も全体が動いていることになる。人間の目の特性は、全体の風景が動いている場合、劣化するので、この場合、視聴者は、出演者１が多少ずれた場所を指し示していることに気が付かない。つまり、テレビカメラ４が移動しているときは、モニタ１５の画面上に表示される合成画像は、多少不正確でもよい。
【００７９】
次に、図２を使用して、この発明の第２の実施の形態としての画像生成装置３Ａについて説明する。
【００８０】
この画像生成装置３Ａでは、カメラパラメータ算出部６より出力されるテレビカメラ４の視点情報ＰＯＶに基づいて、現在時刻におけるそのテレビカメラ４の視点（ワールド座標系を基準にした３次元位置および向き）を予測するカメラパラメータ予測部１７を有している。因に、テレビカメラ４が移動しているとき、視点情報ＰＯＶは現在時刻よりカメラパラメータ算出部６の処理時間だけ前の時刻におけるテレビカメラ４の視点を示すものとなっている。
【００８１】
ここで、カメラパラメータ予測部１７における具体的なカメラパラメータ（テレビカメラの位置、向き）の予測の方法を説明する。例えば、過去の２つの時刻におけるテレビカメラ４の位置および向きが、それぞれ、「Ｔ１およびＲ１」、「Ｔ２およびＲ２」であったとする。位置の移動量の割合は、Ｔ２−Ｔ１と考えられる。したがって、この過去の２つの時刻の位置情報（Ｔ１、Ｔ２）より、現在時刻における位置は、Ｔ２＋（Ｔ２−Ｔ１）と線形予測される。同様に、現在時刻における向きは、Ｒ２＋（Ｒ２−Ｒ１）と線形予測される。なお、さらに沢山の過去の時刻における位置および向きの情報をもってすれば、より正確な予測が可能となる。いずれにせよ、カメラパラメータ予測部１７からは、予測された現在時刻におけるテレビカメラ４の視点情報ＰＯＶｃが出力される。
【００８２】
また、画像生成装置３Ａは、カメラパラメータ予測部１７からの予測されたテレビカメラ４の視点情報ＰＯＶｃとＣＧ情報格納部７より読み出される所定のＣＧ物体の３次元位置情報ＰＣＧとをもとに、その所定のＣＧ物体にテレビカメラ４の視点から見た透視変換を施した投影像に対応した２次元画像データＶＤｆを作成するＣＧデータ作成部１８を有している。
【００８３】
図１に示す画像生成装置３では、αブレンディング部１３でテレビカメラ４より出力される画像データＶＤａとＣＧデータ作成部８で作成される２次元画像データＶＤｃとがミックスされて合成画像データＶＤｅが形成されるものであった。しかし、この画像生成装置３Ａでは、αブレンディング部１３でテレビカメラ４より出力される画像データＶＤａとＣＧデータ作成部１８で作成される２次元画像データＶＤｆとがミックスされて合成画像データＶＤｅが形成される。この画像生成装置３Ａのその他の構成および動作は、上述した画像生成装置３と同様であるので、その説明は省略する。
【００８４】
このように、図２に示す画像生成装置３Ａにおいては、ＣＧデータ作成部１８からは予測された現在時刻におけるテレビカメラ４の視点から見た場合の透視変換を施した所定のＣＧ物体の投影像に対応した２次元画像データＶＤｆが出力され、この２次元画像データＶＤｆとテレビカメラ４で撮影されて得られた画像データＶＤａとが合成されて合成画像データＶＤｅが形成されるものであり、テレビカメラ４が移動しているときでも、この合成画像データＶＤｅによる合成画像はほぼ正確なものとなり、出演者１はＣＧ物体を指し示すことが容易となる。
【００８５】
なお、カメラパラメータ予測部１７では、現在時刻におけるテレビカメラ４の視点を予測するものであったが、さらにＣＧデータ作成部１８の処理時間だけ現在時刻より後の時刻におけるテレビカメラ４の視点を予測するようにしてもよい。これにより、αブレンディング部１３では、ある時刻にテレビカメラ４より出力される画像データＶＤａとそのある時刻におけるテレビカメラ４の視点から見た場合の透視変換を施した所定のＣＧ物体の投影像に対応した２次元画像データＶＤｆとを合成して合成画像データＶＤｅを得ることができ、一層正確な合成画像を得ることが可能となる。
【００８６】
【発明の効果】
この発明によれば、出演者を移動可能な撮像手段で撮影して得られる第１の画像データを遅延処理して第３の画像データを得、この第３の画像データと撮像手段の視点で見た透視変換を施した所定物体の投影像に対応した第２の画像データとを合成して視聴者用の合成画像データを得ると共に、遅延処理されていない第１の画像データと第２の画像データとを合成して出演者に対して演技を補助する画像を表示するための合成画像データを得るものであり、出演者の動きに対する演技を補助する画像の遅れはほとんどなく、出演者が演技しやすくなる利益がある。
【００８７】
また、演技補助画像を表示するための合成画像データを得る際の画像切換信号は第１の画像データまたは第２の画像データのいずれかを取り出すためのものであり、第１の画像データがある閾値を越えるか否かによって発生でき、画像切換信号を簡単かつ高速に得ることができる。
【００８８】
また、カメラパラメータ算出手段で求められる撮像手段の視点から、現在時刻あるいはそれより後の時刻における撮像手段の視点を予測し、その予測された撮像手段の視点から見た場合の透視変換を施した所定物体の投影像に対応した第４の画像データを作成し、この第４の画像データと第１の画像データとを合成して演技補助画像を得るための合成画像データを形成することで、撮像手段が移動している間であっても、所定物体と出演者とが同一の空間に存在しているものを撮影して得られた画像であるかのようなほぼ正確な合成画像を得ることができ、出演者は移動時の演技がしやすくなる利益がある。
【図面の簡単な説明】
【図１】第１の実施の形態としての画像生成装置が備えられたバーチャルスタジオを示す図である。
【図２】第２の実施の形態としての画像生成装置を示すブロック図である。
【図３】従来の画像生成装置が備えられたバーチャルスタジオを示す図である。
【図４】従来の画像生成装置の各部の画像を説明するための図である。
【符号の説明】
１・・・出演者、２・・・背景、３，３Ａ・・・画像生成装置、４・・・移動可能なテレビカメラ、５・・・マーカー位置情報格納部、６・・・カメラパラメータ算出部、７・・・ＣＧ情報格納部、８，１８・・・ＣＧデータ作成部、９・・・ディレイ部、１０，１３・・・αブレンディング部、１１・・・キー生成部、１２・・・出力端子、１４・・・簡易型キー生成部、１５・・・モニタ、１６・・・制御部、１７・・・カメラパラメータ予測部
Claims (8)
- 所定の背景をバックに出演者を撮影して第１の画像データを得る移動可能な撮像手段と、
上記撮像手段の視点を求めるカメラパラメータ算出手段と、
上記カメラパラメータ算出手段で求められる上記撮像手段の視点から見た場合の透視変換を施した所定物体の投影像に対応した第２の画像データを作成する第１の画像データ作成手段と、
上記第１の画像データを上記カメラパラメータ算出手段および上記第１の画像データ作成手段における処理時間に対応して遅延させた第３の画像データを得るデータ遅延手段と、
上記第３の画像データと上記第２の画像データとを合成して第１の合成画像データを得る第１の画像データ合成手段と、
上記第１の画像データと上記第２の画像データとを合成して第２の合成画像データを得る第２の画像データ合成手段と、
上記第２の合成画像データによる上記出演者に対しての演技補助のための画像を表示する画像表示手段と
を備えることを特徴とする画像生成装置。 - 上記第１の画像データに基づいて上記第１の画像データまたは上記第２の画像データのいずれかを取り出すための画像切換信号を得る画像切換信号発生手段をさらに備え、
上記第２の画像データ合成手段では、上記画像切換信号によって上記第１の画像データおよび上記第２の画像データが切り換え合成される
ことを特徴とする請求項１に記載の画像生成装置。 - 上記カメラパラメータ算出手段で求められる上記撮像手段の視点から、現在時刻あるいはそれより後の時刻における上記撮像手段の視点を予測するカメラパラメータ予測手段と、
上記カメラパラメータ予測手段で予測された上記撮像手段の視点から見た場合の透視変換を施した上記所定物体の投影像に対応した第４の画像データを作成する第２の画像データ作成手段とをさらに備え、
上記第２の画像データ合成手段では、上記第１および第２の画像データを合成する代わりに、上記第１および第４の画像データを合成する
ことを特徴とする請求項１に記載の画像生成装置。 - 上記第１の画像データに基づいて上記第１の画像データまたは上記第４の画像データのいずれかを取り出すための画像切換信号を得る画像切換信号発生手段をさらに備え、
上記第２の画像データ合成手段では、上記画像切換信号によって上記第１の画像データおよび上記第４の画像データが切り換え合成される
ことを特徴とする請求項３に記載の画像生成装置。 - 移動可能な撮像手段により所定の背景をバックに出演者を撮影して第１の画像データを得るステップと、
上記撮像手段の視点を求めるステップと、
上記撮像手段の視点から見た場合の透視変換を施した所定物体の投影像に対応した第２の画像データを作成するステップと、
上記第１の画像データを上記撮像手段の視点を求めるステップおよび上記第２の画像データを作成するステップにおける処理時間に対応して遅延させて第３の画像データを得るステップと、
上記第３の画像データと上記第２の画像データとを合成して第１の合成画像データを得るステップと、
上記第１の画像データと上記第２の画像データとを合成して第２の合成画像データを得るステップと、
上記第２の合成画像データによる上記出演者に対しての演技補助のための画像を表示するステップと
を備えることを特徴とする画像生成方法。 - 上記第１の画像データに基づいて上記第１の画像データまたは上記第２の画像データのいずれかを取り出すための画像切換信号を得るステップをさらに備え、
上記第２の合成画像データを得るステップでは、上記画像切換信号によって上記第１の画像データおよび上記第２の画像データを切り換え合成する
ことを特徴とする請求項５に記載の画像生成方法。 - 上記撮像手段の視点を求めるステップで求められる上記撮像手段の視点から、現在時刻あるいはそれより後の時刻における上記撮像手段の視点を予測するステップと、上記予測された上記撮像手段の視点から見た場合の透視変換を施した上記所定物体の投影像に対応した第４の画像データを作成するステップとさらに備え、
上記第２の合成画像データを得るステップでは、上記第１および第２の画像データを合成する代わりに、上記第１および第４の画像データを合成する
ことを特徴とする請求項５に記載の画像生成方法。 - 上記第１の画像データに基づいて上記第１の画像データまたは上記第４の画像データのいずれかを取り出すための画像切換信号を得るステップをさらに備え、
上記第２の合成画像データを得るステップでは、上記画像切換信号によって上記第１の画像データおよび上記第４の画像データを切り換え合成する
ことを特徴とする請求項７に記載の画像生成方法。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13403797A JP3724117B2 (ja) | 1997-05-23 | 1997-05-23 | 画像生成装置および画像生成方法 |
| EP98921760A EP0921678A4 (en) | 1997-05-23 | 1998-05-22 | IMAGER AND CORRESPONDING PRINCIPLE |
| PCT/JP1998/002246 WO1998053606A1 (fr) | 1997-05-23 | 1998-05-22 | Imageur et principe correspondant |
| IL12818498A IL128184A (en) | 1997-05-23 | 1998-05-22 | Image generating device and image generating method |
| US09/233,762 US6147716A (en) | 1997-05-23 | 1999-01-20 | Picture generator and picture generation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13403797A JP3724117B2 (ja) | 1997-05-23 | 1997-05-23 | 画像生成装置および画像生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10327349A JPH10327349A (ja) | 1998-12-08 |
| JP3724117B2 true JP3724117B2 (ja) | 2005-12-07 |
Family
ID=15118901
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13403797A Expired - Fee Related JP3724117B2 (ja) | 1997-05-23 | 1997-05-23 | 画像生成装置および画像生成方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US6147716A (ja) |
| EP (1) | EP0921678A4 (ja) |
| JP (1) | JP3724117B2 (ja) |
| IL (1) | IL128184A (ja) |
| WO (1) | WO1998053606A1 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11219446A (ja) * | 1998-02-03 | 1999-08-10 | Matsushita Electric Ind Co Ltd | 映像音響再生システム |
| JP2002063572A (ja) * | 2000-08-23 | 2002-02-28 | For-A Co Ltd | カメラパラメータ検知手段を有する画像合成システム |
| US7101988B2 (en) * | 2000-10-12 | 2006-09-05 | Marical, Inc. | Polyvalent cation-sensing receptor in Atlantic salmon |
| JP2002324239A (ja) * | 2001-04-25 | 2002-11-08 | Olympus Optical Co Ltd | 情報呈示システム |
| US6990681B2 (en) * | 2001-08-09 | 2006-01-24 | Sony Corporation | Enhancing broadcast of an event with synthetic scene using a depth map |
| US7173672B2 (en) * | 2001-08-10 | 2007-02-06 | Sony Corporation | System and method for transitioning between real images and virtual images |
| US7339609B2 (en) * | 2001-08-10 | 2008-03-04 | Sony Corporation | System and method for enhancing real-time data feeds |
| US20030030658A1 (en) * | 2001-08-10 | 2003-02-13 | Simon Gibbs | System and method for mixed reality broadcast |
| US7091989B2 (en) | 2001-08-10 | 2006-08-15 | Sony Corporation | System and method for data assisted chroma-keying |
| US20030187820A1 (en) | 2002-03-29 | 2003-10-02 | Michael Kohut | Media management system and process |
| JP4909176B2 (ja) * | 2007-05-23 | 2012-04-04 | キヤノン株式会社 | 複合現実感提示装置及びその制御方法、コンピュータプログラム |
| JP5351733B2 (ja) * | 2009-12-08 | 2013-11-27 | 日本放送協会 | ロボットカメラ及びバーチャルスタジオシステム |
| JP6143469B2 (ja) * | 2013-01-17 | 2017-06-07 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
| CA2948298A1 (en) * | 2014-04-15 | 2015-10-22 | Navigate Surgical Technologies, Inc. | Marker-based pixel replacement |
| JP7075252B2 (ja) * | 2018-03-23 | 2022-05-25 | キヤノン株式会社 | 情報処理装置およびその制御方法、プログラム |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4109278A (en) * | 1975-03-21 | 1978-08-22 | Sonex International Corp. | Video traveling matte system |
| CA1187166A (en) * | 1981-07-09 | 1985-05-14 | Kaichi Yamamoto | Digital chromakey apparatus |
| JPS5850571A (ja) * | 1981-09-22 | 1983-03-25 | 株式会社石田衡器製作所 | シ−ル構体及びその製造方法 |
| JPS5850571U (ja) * | 1981-09-30 | 1983-04-05 | ソニー株式会社 | 写真合成装置 |
| US4843568A (en) * | 1986-04-11 | 1989-06-27 | Krueger Myron W | Real time perception of and response to the actions of an unencumbered participant/user |
| US4847543A (en) * | 1988-04-08 | 1989-07-11 | Ultimatte Corporation | Motion control drive interface |
| US5227985A (en) * | 1991-08-19 | 1993-07-13 | University Of Maryland | Computer vision system for position monitoring in three dimensions using non-coplanar light sources attached to a monitored object |
| GB9119964D0 (en) * | 1991-09-18 | 1991-10-30 | Sarnoff David Res Center | Pattern-key video insertion |
| JPH06337898A (ja) * | 1993-05-27 | 1994-12-06 | Toshiba Corp | 動画編集装置 |
| US5500684A (en) * | 1993-12-10 | 1996-03-19 | Matsushita Electric Industrial Co., Ltd. | Chroma-key live-video compositing circuit |
| US5416529A (en) * | 1994-01-14 | 1995-05-16 | Immix | Method and system for digital video processing with combined downstream keyer and fade to black mixer |
| JP3620069B2 (ja) * | 1994-06-28 | 2005-02-16 | ソニー株式会社 | 信号変換装置および方法 |
| US5563988A (en) * | 1994-08-01 | 1996-10-08 | Massachusetts Institute Of Technology | Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment |
| JP3301679B2 (ja) * | 1994-12-07 | 2002-07-15 | 松下電器産業株式会社 | 映像合成回路 |
| JP3834823B2 (ja) * | 1995-05-31 | 2006-10-18 | ソニー株式会社 | 特殊効果システム及び特殊効果付与方法 |
| WO1997000581A1 (en) * | 1995-06-16 | 1997-01-03 | Princeton Video Image, Inc. | System and method for inserting static and dynamic images into a live video broadcast |
| US5790124A (en) * | 1995-11-20 | 1998-08-04 | Silicon Graphics, Inc. | System and method for allowing a performer to control and interact with an on-stage display device |
| FR2741769B1 (fr) * | 1995-11-23 | 1997-12-19 | Thomson Broadcast Systems | Procede de traitement du signal constitue par un sujet evoluant devant un fond colore et dispositif mettant en oeuvre ce procede |
| US5812214A (en) * | 1996-03-14 | 1998-09-22 | Sierra Video Systems, Inc. | Apparatus and method for compositing video images |
| US5914748A (en) * | 1996-08-30 | 1999-06-22 | Eastman Kodak Company | Method and apparatus for generating a composite image using the difference of two images |
-
1997
- 1997-05-23 JP JP13403797A patent/JP3724117B2/ja not_active Expired - Fee Related
-
1998
- 1998-05-22 IL IL12818498A patent/IL128184A/xx not_active IP Right Cessation
- 1998-05-22 WO PCT/JP1998/002246 patent/WO1998053606A1/ja not_active Application Discontinuation
- 1998-05-22 EP EP98921760A patent/EP0921678A4/en not_active Withdrawn
-
1999
- 1999-01-20 US US09/233,762 patent/US6147716A/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10327349A (ja) | 1998-12-08 |
| IL128184A (en) | 2003-06-24 |
| EP0921678A1 (en) | 1999-06-09 |
| IL128184A0 (en) | 1999-11-30 |
| WO1998053606A1 (fr) | 1998-11-26 |
| US6147716A (en) | 2000-11-14 |
| EP0921678A4 (en) | 2001-03-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3724117B2 (ja) | 画像生成装置および画像生成方法 | |
| JP2846830B2 (ja) | ２次元映像を３次元映像に変換する方法 | |
| Gibbs et al. | Virtual studios: An overview | |
| US8395711B2 (en) | Method and system for fusing video streams | |
| JP3363861B2 (ja) | 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体 | |
| WO2012086326A1 (ja) | 立体パノラマ画像作成装置、立体パノラマ画像作成方法及び立体パノラマ画像作成プログラム並びに立体パノラマ画像再生装置、立体パノラマ画像再生方法及び立体パノラマ画像再生プログラム、記録媒体 | |
| JP5861499B2 (ja) | 動画提示装置 | |
| EP1019873A1 (en) | Image processing method and apparatus | |
| US6014163A (en) | Multi-camera virtual set system employing still store frame buffers for each camera | |
| JP2005020559A (ja) | 立体映像呈示装置 | |
| CN113240700B (zh) | 图像处理方法及装置、计算机可读存储介质、电子设备 | |
| KR20160003614A (ko) | 3차원 리얼타임 가상입체 스튜디오 장치에서의 가상입체 스튜디오 영상 생성 방법 | |
| JP2019145059A (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
| JP2000057350A (ja) | 画像処理装置と方法及び画像送信装置と方法 | |
| JP2021086189A (ja) | 情報処理装置、情報処理方法、映像処理システム、およびプログラム | |
| JP2001236521A (ja) | 画像分割方式による仮想現実システム | |
| JPH10336703A (ja) | 画像合成装置、方法および記憶媒体 | |
| JPH08331598A (ja) | 立体映像表示装置 | |
| JP2000270261A (ja) | 撮像装置及び画像合成方法並びに記録媒体 | |
| JPH10327350A (ja) | 画像生成装置および画像生成方法 | |
| JP7011728B2 (ja) | 画像データ出力装置、コンテンツ作成装置、コンテンツ再生装置、画像データ出力方法、コンテンツ作成方法、およびコンテンツ再生方法 | |
| JP3091659B2 (ja) | ３次元画像表示方法 | |
| JP4741434B2 (ja) | Ｃｇ合成装置およびｃｇ合成プログラム | |
| JP2021015417A (ja) | 画像処理装置、画像配信システム、および画像処理方法 | |
| JPH0923449A (ja) | 実写映像及び３次元モデル合成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050830 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050912 |
|
| LAPS | Cancellation because of no payment of annual fees |