JPH0923449A - 実写映像及び3次元モデル合成装置 - Google Patents
実写映像及び3次元モデル合成装置Info
- Publication number
- JPH0923449A JPH0923449A JP7169505A JP16950595A JPH0923449A JP H0923449 A JPH0923449 A JP H0923449A JP 7169505 A JP7169505 A JP 7169505A JP 16950595 A JP16950595 A JP 16950595A JP H0923449 A JPH0923449 A JP H0923449A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- unit
- viewpoint
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
(57)【要約】
【目的】実写映像及び3次元モデル合成装置において実
写映像と3次元コンピュータグラフィックス画像とを表
示する場合、二つの画像の一致状態を検出することによ
り、実写映像と3次元モデルとの対応関係を容易に把握
できるように、二つの表示あるいは合成表示を制御す
る。 【構成】一致状態検出部110が実写映像の視点パラメ
ータと、3次元コンピュータグラフィックス画像の視点
パラメータを受け取ると、その一致状態を算出し、一致
が検出された場合に二つの画像の合成を行うものであ
る。 【効果】実写映像と3次元モデルとの対応の把握が容易
に行える。
写映像と3次元コンピュータグラフィックス画像とを表
示する場合、二つの画像の一致状態を検出することによ
り、実写映像と3次元モデルとの対応関係を容易に把握
できるように、二つの表示あるいは合成表示を制御す
る。 【構成】一致状態検出部110が実写映像の視点パラメ
ータと、3次元コンピュータグラフィックス画像の視点
パラメータを受け取ると、その一致状態を算出し、一致
が検出された場合に二つの画像の合成を行うものであ
る。 【効果】実写映像と3次元モデルとの対応の把握が容易
に行える。
Description
【0001】
【発明の属する技術分野】本発明は実写映像と3次元モ
デルの合成及び表示装置に関し、3次元でモデリングさ
れた物体のコンピュータグラフィックス画像を生成した
り、その物体が現実に存在する風景をカメラ等で撮影す
る際に、位置,姿勢、及び画角といったパラメータを等
しくして重ね合せ、一つの画像を生成する場合に有効な
方式である。
デルの合成及び表示装置に関し、3次元でモデリングさ
れた物体のコンピュータグラフィックス画像を生成した
り、その物体が現実に存在する風景をカメラ等で撮影す
る際に、位置,姿勢、及び画角といったパラメータを等
しくして重ね合せ、一つの画像を生成する場合に有効な
方式である。
【0002】
【従来の技術】従来の実写映像とモデルの合成及び表示
装置、例えばプラント監視装置では、利用者はプラント
監視カメラに対して操作盤などを用いてカメラの位置,
姿勢、及び画角といったパラメータを指定して、その結
果カメラで撮影された映像をモニタを通して見ていた。
またモニタにはプラントの平面図が表示され、監視カメ
ラや撮影の対象となるプラントの位置などが示されてい
た。利用者がタッチパネルのような入力機器を用いて平
面図上のカメラ位置を指定すると、指定されたカメラで
撮影されている映像がモニタに表示される。その後利用
者は操作盤を用いて監視を行いたい部分がカメラで撮影
されるまでパラメータ指定を行う。
装置、例えばプラント監視装置では、利用者はプラント
監視カメラに対して操作盤などを用いてカメラの位置,
姿勢、及び画角といったパラメータを指定して、その結
果カメラで撮影された映像をモニタを通して見ていた。
またモニタにはプラントの平面図が表示され、監視カメ
ラや撮影の対象となるプラントの位置などが示されてい
た。利用者がタッチパネルのような入力機器を用いて平
面図上のカメラ位置を指定すると、指定されたカメラで
撮影されている映像がモニタに表示される。その後利用
者は操作盤を用いて監視を行いたい部分がカメラで撮影
されるまでパラメータ指定を行う。
【0003】また3次元コンピュータグラフィックスを
現実の風景に合成する従来技術では、センサなどを用い
て視点の位置,姿勢などのパラメータを検出しそれと常
に一致するようなパラメータを与えて生成した3次元コ
ンピュータグラフィックス画像を、実写映像に合成して
いた。
現実の風景に合成する従来技術では、センサなどを用い
て視点の位置,姿勢などのパラメータを検出しそれと常
に一致するようなパラメータを与えて生成した3次元コ
ンピュータグラフィックス画像を、実写映像に合成して
いた。
【0004】キーボードから監視対象を選択した場合に
対応する映像とデータを表示する方法については、特開
平2−224101 号において開示されている。
対応する映像とデータを表示する方法については、特開
平2−224101 号において開示されている。
【0005】人間の視点位置と対象物の位置を検出して
現実の風景に3次元の画像を合成する従来の方法につい
ては、Improving Static and Dynamic Registration in
anOptical See-through HMD,Ronald Azuma/Gary Bisho
p,SIGGRAPH 94 ConferenceProceedings COMPUTER GRAP
HICS Annual Conference Series,1994,第197頁
から第204頁において論じられている。
現実の風景に3次元の画像を合成する従来の方法につい
ては、Improving Static and Dynamic Registration in
anOptical See-through HMD,Ronald Azuma/Gary Bisho
p,SIGGRAPH 94 ConferenceProceedings COMPUTER GRAP
HICS Annual Conference Series,1994,第197頁
から第204頁において論じられている。
【0006】
【発明が解決しようとする課題】従来のプラント監視装
置では、カメラの撮影した映像が、プラントのどの部分
を示しているのか把握しづらいという問題点があった。
また、カメラの位置が固定されている場合、その他の場
所から撮影した映像を得ることができないという問題も
あった。
置では、カメラの撮影した映像が、プラントのどの部分
を示しているのか把握しづらいという問題点があった。
また、カメラの位置が固定されている場合、その他の場
所から撮影した映像を得ることができないという問題も
あった。
【0007】同様に、上記文献Static and Dynamic Reg
istration in an Optical See-through HMDのような
ディスプレイを用いた場合も、比較的自由にカメラを移
動して現実の風景を捉え3次元モデルを合成することが
できるが、視点の固定などが行われていれば、他の位
置,姿勢、及び画角等に基づく合成画像を得ることがで
きないという問題がある。
istration in an Optical See-through HMDのような
ディスプレイを用いた場合も、比較的自由にカメラを移
動して現実の風景を捉え3次元モデルを合成することが
できるが、視点の固定などが行われていれば、他の位
置,姿勢、及び画角等に基づく合成画像を得ることがで
きないという問題がある。
【0008】本発明では、このような問題を解決するた
めに、カメラによる映像を撮影するための視点パラメー
タと、3次元コンピュータグラフィックスを生成するた
めの視点パラメータとの一致状態の検出をもとに、双方
が表示可能な場合は画像を合成して表示し、一方のみが
表示可能な場合はその画像を表示する実写映像及び3次
元モデル合成装置を提供することを目的とする。
めに、カメラによる映像を撮影するための視点パラメー
タと、3次元コンピュータグラフィックスを生成するた
めの視点パラメータとの一致状態の検出をもとに、双方
が表示可能な場合は画像を合成して表示し、一方のみが
表示可能な場合はその画像を表示する実写映像及び3次
元モデル合成装置を提供することを目的とする。
【0009】
【課題を解決するための手段】上記目的を達成するため
に、本発明では、カメラによる映像を撮影するための視
点パラメータと、3次元コンピュータグラフィックスを
生成するための視点パラメータとの一致状態を検出する
手段を有する。
に、本発明では、カメラによる映像を撮影するための視
点パラメータと、3次元コンピュータグラフィックスを
生成するための視点パラメータとの一致状態を検出する
手段を有する。
【0010】本発明では、現実の対象物を撮影するカメ
ラの視点パラメータと、合成すべき3次元モデルから3
次元コンピュータグラフィックス画像を生成するための
視点パラメータとの一致状態を検出し、この一致状態を
もとに、カメラ映像,3次元コンピュータグラフィック
ス画像、及び二つの画像を合成した結果得られる画像と
の切り換えを行うものである。
ラの視点パラメータと、合成すべき3次元モデルから3
次元コンピュータグラフィックス画像を生成するための
視点パラメータとの一致状態を検出し、この一致状態を
もとに、カメラ映像,3次元コンピュータグラフィック
ス画像、及び二つの画像を合成した結果得られる画像と
の切り換えを行うものである。
【0011】
【発明の実施の形態】図1において利用者は、マウス,
キーボードなどを含む入力部108を用いて、撮影や3
次元画像生成、一致状態検出の命令を与えたり、現実の
対象物を撮影するカメラや3次元コンピュータグラフィ
ックス画像を生成する際の視点となる仮想カメラの制御
を行ったりする。これらの情報は命令処理部109が受
け取る。
キーボードなどを含む入力部108を用いて、撮影や3
次元画像生成、一致状態検出の命令を与えたり、現実の
対象物を撮影するカメラや3次元コンピュータグラフィ
ックス画像を生成する際の視点となる仮想カメラの制御
を行ったりする。これらの情報は命令処理部109が受
け取る。
【0012】命令処理部109では、入力部108から
の入力を解釈し、撮影や画像生成,一致状態検出,カメ
ラ及び仮想カメラ制御に関する命令を各部に伝達する。
の入力を解釈し、撮影や画像生成,一致状態検出,カメ
ラ及び仮想カメラ制御に関する命令を各部に伝達する。
【0013】カメラ101は、現実の風景の中にある対
象物を撮影し、その映像を画像合成部111に対して送
出する。またカメラ101はカメラ制御部102によっ
てその位置や姿勢,画角といったカメラパラメータを制
御される。
象物を撮影し、その映像を画像合成部111に対して送
出する。またカメラ101はカメラ制御部102によっ
てその位置や姿勢,画角といったカメラパラメータを制
御される。
【0014】カメラ制御部102は、命令処理部からの
命令に基づき、カメラ101の持つカメラパラメータを
制御し、その結果をカメラパラメータデータベース10
3に保持する。また命令処理部109からの命令に基づ
き、カメラパラメータデータベース103の保持するカ
メラパラメータを読み込んで一致状態検出部110に送
出する。
命令に基づき、カメラ101の持つカメラパラメータを
制御し、その結果をカメラパラメータデータベース10
3に保持する。また命令処理部109からの命令に基づ
き、カメラパラメータデータベース103の保持するカ
メラパラメータを読み込んで一致状態検出部110に送
出する。
【0015】カメラパラメータデータベース103は、
カメラ101のカメラパラメータを保持し、カメラ制御
部102からの要求に応じてカメラパラメータの入出力
を行う。
カメラ101のカメラパラメータを保持し、カメラ制御
部102からの要求に応じてカメラパラメータの入出力
を行う。
【0016】3次元モデルデータベース104は、3次
元モデルの幾何情報を保持し、3次元画像生成部105
からの要求に応じて3次元モデル情報の入出力を行う。
元モデルの幾何情報を保持し、3次元画像生成部105
からの要求に応じて3次元モデル情報の入出力を行う。
【0017】3次元画像生成部105は、命令処理部1
09からの指示に応じて3次元モデルデータベース10
4から3次元モデルデータを取り出し、仮想カメラ制御
部106によって与えられた仮想カメラパラメータに基
づく3次元コンピュータグラフィックス画像を生成す
る。またその画像を画像合成部111に対して送出す
る。
09からの指示に応じて3次元モデルデータベース10
4から3次元モデルデータを取り出し、仮想カメラ制御
部106によって与えられた仮想カメラパラメータに基
づく3次元コンピュータグラフィックス画像を生成す
る。またその画像を画像合成部111に対して送出す
る。
【0018】仮想カメラ制御部106は、命令処理部か
らの命令に基づき、3次元画像生成部105ににおいて
3次元コンピュータグラフィックス画像を生成する際の
視点となる仮想カメラパラメータを制御し、その結果を
仮想カメラパラメータデータベース107に保持する。
また命令処理部109からの命令に基づき、仮想カメラ
パラメータデータベース107の保持する仮想カメラパ
ラメータを読み込んで一致状態検出部110に送出す
る。
らの命令に基づき、3次元画像生成部105ににおいて
3次元コンピュータグラフィックス画像を生成する際の
視点となる仮想カメラパラメータを制御し、その結果を
仮想カメラパラメータデータベース107に保持する。
また命令処理部109からの命令に基づき、仮想カメラ
パラメータデータベース107の保持する仮想カメラパ
ラメータを読み込んで一致状態検出部110に送出す
る。
【0019】仮想カメラパラメータデータベース107
は、3次元画像生成部105における仮想カメラパラメ
ータを保持し、仮想カメラ制御部106からの要求に応
じて仮想カメラパラメータの入出力を行う。
は、3次元画像生成部105における仮想カメラパラメ
ータを保持し、仮想カメラ制御部106からの要求に応
じて仮想カメラパラメータの入出力を行う。
【0020】一致状態検出部110は、命令処理部10
9からの命令に基づき、カメラ制御部102からのカメ
ラパラメータ及び仮想カメラ制御部106からの仮想カ
メラパラメータを読み込み、二つのパラメータの一致状
態を算出して、その結果に基づき画像合成部111に対
してカメラ映像及び3次元コンピュータグラフィックス
画像の合成比率を送出する。
9からの命令に基づき、カメラ制御部102からのカメ
ラパラメータ及び仮想カメラ制御部106からの仮想カ
メラパラメータを読み込み、二つのパラメータの一致状
態を算出して、その結果に基づき画像合成部111に対
してカメラ映像及び3次元コンピュータグラフィックス
画像の合成比率を送出する。
【0021】画像合成部111は、一致状態検出部11
0から受け取った画像合成比率に基づき、カメラ101
及び3次元画像生成部105から送出された映像及び画
像を合成し、出力部112に対して送出する。
0から受け取った画像合成比率に基づき、カメラ101
及び3次元画像生成部105から送出された映像及び画
像を合成し、出力部112に対して送出する。
【0022】出力部112は、画像合成部111におい
て合成された画像を受け取り、表示する。
て合成された画像を受け取り、表示する。
【0023】ここで、本発明における一致状態検出部1
10における、カメラ映像と3次元コンピュータグラフ
ィックス画像との一致状態の検出処理、及び画像合成部
111に対する命令発行処理の実施例を示す。この処理に
ついて本実施例では図2のような流れで処理を行う。
10における、カメラ映像と3次元コンピュータグラフ
ィックス画像との一致状態の検出処理、及び画像合成部
111に対する命令発行処理の実施例を示す。この処理に
ついて本実施例では図2のような流れで処理を行う。
【0024】一致状態検出部110での処理が開始され
ると、ステップ201において、カメラ101のパラメ
ータがカメラ制御部102から読み込まれる。続いてス
テップ202では、仮想カメラ制御部106から仮想カ
メラのパラメータが読み込まれる。これら二つのパラメ
ータをもとに、ステップ203において一致状態が算出
される。この結果、二つのカメラパラメータが一致した
場合は、ステップ204の分岐を通ってステップ205へ
移り、二つの画像の合成及び表示を行うように画像合成
部111に対して命令が発行される。その後、ステップ
206において画像表示命令が画像合成部111に対し
て発行される。
ると、ステップ201において、カメラ101のパラメ
ータがカメラ制御部102から読み込まれる。続いてス
テップ202では、仮想カメラ制御部106から仮想カ
メラのパラメータが読み込まれる。これら二つのパラメ
ータをもとに、ステップ203において一致状態が算出
される。この結果、二つのカメラパラメータが一致した
場合は、ステップ204の分岐を通ってステップ205へ
移り、二つの画像の合成及び表示を行うように画像合成
部111に対して命令が発行される。その後、ステップ
206において画像表示命令が画像合成部111に対し
て発行される。
【0025】ステップ203の算出結果から二つの画像
が一致しないと判定された場合、ステップ204を通っ
てステップ207に処理が移る。ここでは入力部108
で入力された画像の選択状態が命令処理部109から読
み込まれる。もし入力部108においてカメラ映像を表示
するよう選択されていた場合には、ステップ208の分
岐を通りステップ209において、カメラの映像を表示
させる命令が画像合成部111に対して発行される。そ
の後、ステップ206において画像表示命令が画像合成
部111に対して発行される。
が一致しないと判定された場合、ステップ204を通っ
てステップ207に処理が移る。ここでは入力部108
で入力された画像の選択状態が命令処理部109から読
み込まれる。もし入力部108においてカメラ映像を表示
するよう選択されていた場合には、ステップ208の分
岐を通りステップ209において、カメラの映像を表示
させる命令が画像合成部111に対して発行される。そ
の後、ステップ206において画像表示命令が画像合成
部111に対して発行される。
【0026】ステップ207において読み込まれた画像
の選択状態が3次元コンピュータグラフィックス画像を
表示するように示されていた場合には、ステップ208
の分岐を通りステップ210において、3次元コンピュ
ータグラフィックス画像を表示させる命令が画像合成部
111に対して発行される。その後、ステップ206に
おいて画像表示命令が画像合成部111に対して発行さ
れる。
の選択状態が3次元コンピュータグラフィックス画像を
表示するように示されていた場合には、ステップ208
の分岐を通りステップ210において、3次元コンピュ
ータグラフィックス画像を表示させる命令が画像合成部
111に対して発行される。その後、ステップ206に
おいて画像表示命令が画像合成部111に対して発行さ
れる。
【0027】ステップ203における一致状態の算出に
は、次のような計算方法を用いることが可能である。ま
ずカメラパラメータデータベース103や仮想カメラパ
ラメータデータベース107にはそれぞれのカメラの位
置,姿勢、及び画角といったパラメータを保持してお
く。ステップ201及びステップ202において読み込
まれたこれらのパラメータについてステップ203では
それぞれの差分をとる。この差分がすべて0であった場
合に、カメラの映像及び3次元コンピュータグラフィッ
クス画像が一致したと検出する。なお、上記のパラメー
タの一部に関して差分をとり、それをもとに画像の一致
を検出する方法もある。
は、次のような計算方法を用いることが可能である。ま
ずカメラパラメータデータベース103や仮想カメラパ
ラメータデータベース107にはそれぞれのカメラの位
置,姿勢、及び画角といったパラメータを保持してお
く。ステップ201及びステップ202において読み込
まれたこれらのパラメータについてステップ203では
それぞれの差分をとる。この差分がすべて0であった場
合に、カメラの映像及び3次元コンピュータグラフィッ
クス画像が一致したと検出する。なお、上記のパラメー
タの一部に関して差分をとり、それをもとに画像の一致
を検出する方法もある。
【0028】また、ステップ207における画像選択状
態読み込みを行わず、ステップ204からの分岐が行われ
た場合には必ずステップ209かステップ210のいず
れかのみを実行する方法もある。
態読み込みを行わず、ステップ204からの分岐が行われ
た場合には必ずステップ209かステップ210のいず
れかのみを実行する方法もある。
【0029】本発明における実施例として、図3のよう
な装置を考える。入力部108には表示画像選択手段3
01及びカメラパラメータ操作手段302が備えられ、
出力部112には画像303が表示されている。表示画
像選択手段301は、出力部112に通常どの画像を表
示するかを定める。表示画像選択手段301はこの実施
例ではスイッチになっており、出力部112に対して仮
想カメラによって撮影された3次元コンピュータグラフ
ィックス画像を表示するか、あるいはカメラ101によ
って撮影された実写映像を表示するか選択できるような
機構を持つ。カメラパラメータ操作手段302は、表示
画像選択手段301によって選択されたカメラの位置,
姿勢、及び画角といったカメラパラメータを操作して出
力部に表示される画像を逐次更新させる機構を持つ。
な装置を考える。入力部108には表示画像選択手段3
01及びカメラパラメータ操作手段302が備えられ、
出力部112には画像303が表示されている。表示画
像選択手段301は、出力部112に通常どの画像を表
示するかを定める。表示画像選択手段301はこの実施
例ではスイッチになっており、出力部112に対して仮
想カメラによって撮影された3次元コンピュータグラフ
ィックス画像を表示するか、あるいはカメラ101によ
って撮影された実写映像を表示するか選択できるような
機構を持つ。カメラパラメータ操作手段302は、表示
画像選択手段301によって選択されたカメラの位置,
姿勢、及び画角といったカメラパラメータを操作して出
力部に表示される画像を逐次更新させる機構を持つ。
【0030】図3の装置を操作した際の画像表示の様子
を図4を用いて説明する。図4(a)には、出力部112
の画像401を示す。この例では、表示画像選択手段3
01が仮想カメラの画像を表示するように選択されてい
るため、画像401には、3次元画像生成部105にお
いて生成された3次元コンピュータグラフィックス画像
が表示されている。また、画像401には、カメラ10
1が現実に存在する場所と対応づけられた位置に、カメ
ラの画像402が表示されている。なお、カメラ101
の映像は図4(b)の画像403のように撮影されてい
る。ここでカメラパラメータ操作手段302を操作する
ことにより、仮想カメラパラメータが変更され、3次元
画像生成部105において生成される3次元コンピュー
タグラフィックス画像、すなわち画像401の表示が更
新される。このとき、一致状態検出部110は、変更さ
れた仮想カメラパラメータと、カメラパラメータデータ
ベース103の保持するパラメータを用いて、図2に示
したような方法で一致状態検出を行う。この例では、パ
ラメータとしてカメラの位置,姿勢、及び画角の差分を
用いる。図4(a)では二つのパラメータは互いに別の
位置にあるため一致は検出されず、画像の合成は行われ
ない。従って、表示画像選択手段301の状態に基づ
き、3次元コンピュータグラフィックス画像が画像40
1に表示される。
を図4を用いて説明する。図4(a)には、出力部112
の画像401を示す。この例では、表示画像選択手段3
01が仮想カメラの画像を表示するように選択されてい
るため、画像401には、3次元画像生成部105にお
いて生成された3次元コンピュータグラフィックス画像
が表示されている。また、画像401には、カメラ10
1が現実に存在する場所と対応づけられた位置に、カメ
ラの画像402が表示されている。なお、カメラ101
の映像は図4(b)の画像403のように撮影されてい
る。ここでカメラパラメータ操作手段302を操作する
ことにより、仮想カメラパラメータが変更され、3次元
画像生成部105において生成される3次元コンピュー
タグラフィックス画像、すなわち画像401の表示が更
新される。このとき、一致状態検出部110は、変更さ
れた仮想カメラパラメータと、カメラパラメータデータ
ベース103の保持するパラメータを用いて、図2に示
したような方法で一致状態検出を行う。この例では、パ
ラメータとしてカメラの位置,姿勢、及び画角の差分を
用いる。図4(a)では二つのパラメータは互いに別の
位置にあるため一致は検出されず、画像の合成は行われ
ない。従って、表示画像選択手段301の状態に基づ
き、3次元コンピュータグラフィックス画像が画像40
1に表示される。
【0031】続いて、カメラパラメータ操作手段302
を用いて二つのパラメータが一致するように、すなわち
二つのカメラの位置,姿勢、及び画角の差分が0となる
ように仮想カメラを操作した結果を図4(c)に示す。こ
のとき一致状態検出部110は、二つのパラメータの一
致を検出するので、画像合成部111に対して、カメラ
映像と3次元コンピュータグラフィックス画像との合成
を行わせる命令を発行する。画像合成部111は二つの
画像を合成して出力部112に出力する。この例では二
つの画像はオーバーラップして画像404のように表示
される。
を用いて二つのパラメータが一致するように、すなわち
二つのカメラの位置,姿勢、及び画角の差分が0となる
ように仮想カメラを操作した結果を図4(c)に示す。こ
のとき一致状態検出部110は、二つのパラメータの一
致を検出するので、画像合成部111に対して、カメラ
映像と3次元コンピュータグラフィックス画像との合成
を行わせる命令を発行する。画像合成部111は二つの
画像を合成して出力部112に出力する。この例では二
つの画像はオーバーラップして画像404のように表示
される。
【0032】次に、実写のカメラ101の映像を表示す
るように表示画像選択手段301を設定して図3の装置
を操作した際の画像表示の様子を図5を用いて説明す
る。図5(a)には、出力部112の画像501を示
す。この例では、画像501には、カメラ101によっ
て撮影された映像が表示されている。なお、このとき仮
想カメラのパラメータをもとに3次元画像生成部105
において生成された画像は図5(b)の画像502のよ
うになっているが、出力部112には表示されていな
い。ここでカメラパラメータ操作手段302を操作する
ことにより、実写カメラパラメータが変更され、カメラ
101によって撮影された映像、すなわち画像501の
表示が更新される。このとき、一致状態検出部110
は、変更された実写カメラパラメータと、仮想カメラパ
ラメータデータベース107の保持するパラメータを用
いて、図2に示したような方法で一致状態検出を行う。
この例では、パラメータとしてカメラの位置,姿勢、及
び画角の差分を用いる。図5(a)では二つのパラメータ
は互いに別の位置にあるため一致は検出されず、画像の
合成は行われない。従って、表示画像選択手段301の
状態に基づき、カメラ101によって撮影された映像が
画像501に表示される。
るように表示画像選択手段301を設定して図3の装置
を操作した際の画像表示の様子を図5を用いて説明す
る。図5(a)には、出力部112の画像501を示
す。この例では、画像501には、カメラ101によっ
て撮影された映像が表示されている。なお、このとき仮
想カメラのパラメータをもとに3次元画像生成部105
において生成された画像は図5(b)の画像502のよ
うになっているが、出力部112には表示されていな
い。ここでカメラパラメータ操作手段302を操作する
ことにより、実写カメラパラメータが変更され、カメラ
101によって撮影された映像、すなわち画像501の
表示が更新される。このとき、一致状態検出部110
は、変更された実写カメラパラメータと、仮想カメラパ
ラメータデータベース107の保持するパラメータを用
いて、図2に示したような方法で一致状態検出を行う。
この例では、パラメータとしてカメラの位置,姿勢、及
び画角の差分を用いる。図5(a)では二つのパラメータ
は互いに別の位置にあるため一致は検出されず、画像の
合成は行われない。従って、表示画像選択手段301の
状態に基づき、カメラ101によって撮影された映像が
画像501に表示される。
【0033】続いて、カメラパラメータ操作手段302
を用いて二つのパラメータが一致するように、すなわち
二つのカメラの位置,姿勢、及び画角の差分が0となる
ように仮想カメラを操作した結果を図5(c)に示す。こ
のとき一致状態検出部110は、二つのパラメータの一
致を検出するので、画像合成部111に対して、カメラ
映像と3次元コンピュータグラフィックス画像との合成
を行わせる命令を発行する。画像合成部111は二つの
画像を合成して出力部112に出力する。この例では二
つの画像はオーバーラップして画像503のように表示
される。
を用いて二つのパラメータが一致するように、すなわち
二つのカメラの位置,姿勢、及び画角の差分が0となる
ように仮想カメラを操作した結果を図5(c)に示す。こ
のとき一致状態検出部110は、二つのパラメータの一
致を検出するので、画像合成部111に対して、カメラ
映像と3次元コンピュータグラフィックス画像との合成
を行わせる命令を発行する。画像合成部111は二つの
画像を合成して出力部112に出力する。この例では二
つの画像はオーバーラップして画像503のように表示
される。
【0034】3次元コンピュータグラフィックス画像に
カメラ101の映像を合成する別の実施例を図6に示
す。ここでは画像合成のための重み付けをカメラ101
の映像側を1とするのに対して、3次元コンピュータグ
ラフィックス側を0としている。またカメラパラメータ
操作手段302によって、カメラ101のパラメータ
と、仮想カメラパラメータの双方を操作できるようにな
っている。図6(a)の画像601では、カメラ101
と仮想カメラのパラメータが一致しているために合成表
示が行われているが、上に示した重み付けのため、実際
に表示されているのはカメラ101によって撮影された
映像のみである。次にカメラパラメータ操作手段302
を操作することにより、カメラ101のパラメータ及び
仮想カメラパラメータの双方を操作する。この例では画
像601内に表示された対象物が見かけ上右へ移動する
ように回転の操作を行っている。このときある角度まで
回転が行われるとカメラ101の物理的な制約により、
カメラ101がそれ以上回転できなくなり、カメラパラ
メータ操作手段302によって設定される角度を実現で
きなくなる。そこから先へ回転させた場合は、仮想カメ
ラパラメータデータベース107の保持する仮想カメラ
パラメータのみが更新され、出力部112には3次元コ
ンピュータグラフィックス画像のみが表示される。この
ような画像の切り換えの前後における出力部112の画
像の様子を図6(b)及び図6(c)に示す。画像602
ではカメラ101の撮影した映像が表示されているが、
画像603では3次元コンピュータグラフィックス画像
に置き換えられている。
カメラ101の映像を合成する別の実施例を図6に示
す。ここでは画像合成のための重み付けをカメラ101
の映像側を1とするのに対して、3次元コンピュータグ
ラフィックス側を0としている。またカメラパラメータ
操作手段302によって、カメラ101のパラメータ
と、仮想カメラパラメータの双方を操作できるようにな
っている。図6(a)の画像601では、カメラ101
と仮想カメラのパラメータが一致しているために合成表
示が行われているが、上に示した重み付けのため、実際
に表示されているのはカメラ101によって撮影された
映像のみである。次にカメラパラメータ操作手段302
を操作することにより、カメラ101のパラメータ及び
仮想カメラパラメータの双方を操作する。この例では画
像601内に表示された対象物が見かけ上右へ移動する
ように回転の操作を行っている。このときある角度まで
回転が行われるとカメラ101の物理的な制約により、
カメラ101がそれ以上回転できなくなり、カメラパラ
メータ操作手段302によって設定される角度を実現で
きなくなる。そこから先へ回転させた場合は、仮想カメ
ラパラメータデータベース107の保持する仮想カメラ
パラメータのみが更新され、出力部112には3次元コ
ンピュータグラフィックス画像のみが表示される。この
ような画像の切り換えの前後における出力部112の画
像の様子を図6(b)及び図6(c)に示す。画像602
ではカメラ101の撮影した映像が表示されているが、
画像603では3次元コンピュータグラフィックス画像
に置き換えられている。
【0035】現実の対象物を撮影した映像として、カメ
ラ101以外からの映像を用いる装置のブロック図を図
7に示す。ここでは図1のブロック図に比べて、画像デ
ータベース701が追加されている。画像データベース
701は、あらかじめ複数のカメラパラメータのもとで
撮影された映像及びそのカメラパラメータを保持してい
る。カメラ制御部102からの命令により、保持してい
る映像の一つを画像合成部111に対して送出する。
ラ101以外からの映像を用いる装置のブロック図を図
7に示す。ここでは図1のブロック図に比べて、画像デ
ータベース701が追加されている。画像データベース
701は、あらかじめ複数のカメラパラメータのもとで
撮影された映像及びそのカメラパラメータを保持してい
る。カメラ制御部102からの命令により、保持してい
る映像の一つを画像合成部111に対して送出する。
【0036】画像データベース701を使用した実施例
を図8に示す。この例では、画像データベース701は
図8(a)のような映像及びその映像を撮影した際のカ
メラパラメータを保持している。この状態で利用者は、
入力部108に備わる表示画像選択手段301を仮想カ
メラ側に設定し、カメラパラメータ操作手段302を操
作する。
を図8に示す。この例では、画像データベース701は
図8(a)のような映像及びその映像を撮影した際のカ
メラパラメータを保持している。この状態で利用者は、
入力部108に備わる表示画像選択手段301を仮想カ
メラ側に設定し、カメラパラメータ操作手段302を操
作する。
【0037】カメラパラメータ操作手段302を操作し
た結果得られる出力部の画像の様子を図8(b)に示
す。このとき、図8(a)に示した画像データベース7
01の映像のカメラパラメータと仮想カメラパラメータ
データベース107の保持する仮想カメラパラメータと
の一致が、一致状態検出部110において検出されるた
め、画像合成の命令が発行され、図8(a)及び図8
(b)の画像が合成され、図8(c)のような画像が出
力部112に表示される。
た結果得られる出力部の画像の様子を図8(b)に示
す。このとき、図8(a)に示した画像データベース7
01の映像のカメラパラメータと仮想カメラパラメータ
データベース107の保持する仮想カメラパラメータと
の一致が、一致状態検出部110において検出されるた
め、画像合成の命令が発行され、図8(a)及び図8
(b)の画像が合成され、図8(c)のような画像が出
力部112に表示される。
【0038】
【発明の効果】以上説明したごとく、実写映像と3次元
コンピュータグラフィックス画像との表示あるいは合成
表示の切り換えを、現在の視点を気にすることなく行
い、実写映像と3次元モデルとの対応が容易に把握でき
る。
コンピュータグラフィックス画像との表示あるいは合成
表示の切り換えを、現在の視点を気にすることなく行
い、実写映像と3次元モデルとの対応が容易に把握でき
る。
【0039】さらに一方の視点パラメータの設定に拘束
があって表示できない場合、他方の画像を表示させて補
うことができる。
があって表示できない場合、他方の画像を表示させて補
うことができる。
【図1】本発明による実写映像及び3次元モデル合成装
置のブロック図である。
置のブロック図である。
【図2】本発明による一致状態検出を行って画像の表示
あるいは合成表示を決定するためのフローチャートであ
る。
あるいは合成表示を決定するためのフローチャートであ
る。
【図3】本発明の実施例における合成装置のモデル図で
ある。
ある。
【図4】本発明において3次元コンピュータグラフィッ
クス画像に実写映像を合成する際の画像表示の途中経過
と結果を示した図である。
クス画像に実写映像を合成する際の画像表示の途中経過
と結果を示した図である。
【図5】本発明において実写映像に3次元コンピュータ
グラフィックス画像を合成する際の画像表示の途中経過
と結果を示した図である。
グラフィックス画像を合成する際の画像表示の途中経過
と結果を示した図である。
【図6】実写映像の視点パラメータを変更した際に実写
映像では撮影しきれない部分を3次元コンピュータグラ
フィックス画像で置き換える様子を示した図である。
映像では撮影しきれない部分を3次元コンピュータグラ
フィックス画像で置き換える様子を示した図である。
【図7】本発明の実施例において画像データベースを付
加した実写映像及び3次元モデル合成装置のブロック図
である。
加した実写映像及び3次元モデル合成装置のブロック図
である。
【図8】本発明において画像データベースに保持された
映像に3次元コンピュータグラフィックス画像を合成す
る際の画像表示の途中経過と結果を示した図である。
映像に3次元コンピュータグラフィックス画像を合成す
る際の画像表示の途中経過と結果を示した図である。
101…カメラ、102…カメラ制御部、103…カメ
ラパラメータデータベース、104…3次元モデルデー
タベース、105…3次元画像生成部、106…仮想カ
メラ制御部、107…仮想カメラパラメータデータベー
ス、108…入力部、109…命令処理部、110…一
致状態検出部、111…画像合成部、112…出力部、
301…表示画像選択手段、302…カメラパラメータ
操作手段、401,501,601,801…初期画
像、402…カメラモデル表示、403,602…実写
映像、404,503,603,803…合成画像、50
2,802…3次元コンピュータグラフィックス画像、
701…画像データベース。
ラパラメータデータベース、104…3次元モデルデー
タベース、105…3次元画像生成部、106…仮想カ
メラ制御部、107…仮想カメラパラメータデータベー
ス、108…入力部、109…命令処理部、110…一
致状態検出部、111…画像合成部、112…出力部、
301…表示画像選択手段、302…カメラパラメータ
操作手段、401,501,601,801…初期画
像、402…カメラモデル表示、403,602…実写
映像、404,503,603,803…合成画像、50
2,802…3次元コンピュータグラフィックス画像、
701…画像データベース。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 三好 雅則 茨城県日立市大みか町七丁目1番1号 株 式会社日立製作所日立研究所内
Claims (6)
- 【請求項1】現実の対象物を撮影しその映像を送出する
カメラと、 カメラの撮影条件を決定する情報すなわち視点パラメー
タを制御するカメラ制御部と、 カメラの持つ視点パラメータを保持し、それをカメラ制
御部の要求に応じて授受するカメラパラメータデータベ
ースと、 3次元コンピュータグラフィックス画像として生成され
るモデルを保存する3次元モデルデータベースと、 3次元モデルデータベースに保持されるモデルをもとに
3次元コンピュータグラフィックス画像を生成する3次
元画像生成部と、 3次元コンピュータグラフィックス画像を描くもととな
る視点すなわち仮想カメラの視点パラメータを制御する
カメラ制御部と、 仮想カメラの持つ視点パラメータを保持し、それを仮想
カメラ制御部の要求に応じて授受する仮想カメラパラメ
ータデータベースと、 カメラ制御部及び仮想カメラ制御部へ与える視点パラメ
ータ及び一致状態検出部に与える命令を入力する入力部
と、 入力部より入力された操作情報を解釈してそれぞれに対
応した命令を発行する命令処理部と、 命令処理部から与えられた比率に基づいて3次元コンピ
ュータグラフィックス画像とカメラにより撮影された映
像とを合成する画像合成部と、 画像合成部から出力された画像を表示する出力部とを持
つ映像合成装置において、 カメラ制御部より受け取ったカメラの視点と仮想カメラ
制御部より受け取った3次元コンピュータグラフィック
ス画像の視点との一致状態を算出し、それをもとに画像
合成部に対して命令を発行する一致状態検出部を備え、 3次元コンピュータグラフィックス画像の視点とカメラ
の視点との一致が検出された場合にのみ、画像合成部に
おいて3次元コンピュータグラフィックス画像とカメラ
の映像とを合成する命令を発行し、それ以外の場合に
は、3次元コンピュータグラフィックス画像とカメラの
内入力部からの要求によって選択された方の表示を行う
命令を発行する一致状態検出部を持つことを特徴とする
実写映像及び3次元モデル合成装置。 - 【請求項2】上記第1項において、3次元コンピュータ
グラフィックス画像の視点とカメラの視点との一致が検
出されなかった場合に、カメラの映像の表示を行う命令
を発行する一致状態検出部を持つことを特徴とする実写
映像及び3次元モデル合成装置。 - 【請求項3】上記第1項において、3次元コンピュータ
グラフィックス画像の視点とカメラの視点との一致が検
出されなかった場合に、3次元コンピュータグラフィッ
クス画像の表示を行う命令を発行する一致状態検出部を
持つことを特徴とする実写映像及び3次元モデル合成装
置。 - 【請求項4】上記第1項において、カメラ制御部より受
け取ったカメラの視点と仮想カメラ制御部より受け取っ
た3次元コンピュータグラフィックス画像の視点との一
致状態を算出する方法として、それぞれの視点の位置,
姿勢、及び画角の差分をとり、その内の全部が0となっ
た場合、または一部が0となった場合に画像合成の命令
を発行する一致状態検出部を持つことを特徴とする実写
映像及び3次元モデル合成装置。 - 【請求項5】上記第1項において、入力部から視点パラ
メータが与えられた場合に、カメラ及び3次元コンピュ
ータグラフィックス画像の視点パラメータを変更して、
入力部からの視点パラメータと双方とも一致した場合に
は二つの画像を合成して表示し、片方だけ一致した場合
にはその画像のみを表示し、双方とも一致しない場合に
は何も表示させない命令を画像合成部に出力する一致状
態検出部を持つことを特徴とする実写映像及び3次元モ
デル合成装置。 - 【請求項6】上記第1項において、複数の視点パラメー
タにおいて撮影された映像とその視点パラメータを保持
する画像データベースを備え、入力部から3次元画像生
成部に対して、生成する3次元コンピュータグラフィッ
クス画像の視点パラメータを指定した際、その値と同じ
視点パラメータに基づいて撮影された映像が画像データ
ベースに保存されていた場合にその映像を画像合成部に
対して出力し3次元コンピュータグラフィックス画像と
合成させる要求を発行するカメラ制御部及び画像データ
ベースを持つことを特徴とする実写映像及び3次元モデ
ル合成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7169505A JPH0923449A (ja) | 1995-07-05 | 1995-07-05 | 実写映像及び3次元モデル合成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7169505A JPH0923449A (ja) | 1995-07-05 | 1995-07-05 | 実写映像及び3次元モデル合成装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH0923449A true JPH0923449A (ja) | 1997-01-21 |
Family
ID=15887764
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP7169505A Pending JPH0923449A (ja) | 1995-07-05 | 1995-07-05 | 実写映像及び3次元モデル合成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH0923449A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11355804A (ja) * | 1998-06-04 | 1999-12-24 | Nec Corp | ネットワーク会議画像処理装置 |
JP2005062924A (ja) * | 2003-08-08 | 2005-03-10 | Omron Corp | 三次元物体認識装置およびその設定方法 |
JP2014123406A (ja) * | 2007-03-08 | 2014-07-03 | Exelis Inc | 閉ざされた構造内の人員およびセンサの位置を示し、状況認識の増進を提供する、拡張現実ベース型システムおよび方法 |
CN104700413A (zh) * | 2015-03-20 | 2015-06-10 | 中国人民解放军装甲兵工程学院 | 一种三维虚拟场景的植被实时动态绘制方法 |
JP2015517238A (ja) * | 2012-03-12 | 2015-06-18 | ディジテイエゼル | 人の頭部外面の3dデジタル化のための自動スキャナ及び方法 |
-
1995
- 1995-07-05 JP JP7169505A patent/JPH0923449A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11355804A (ja) * | 1998-06-04 | 1999-12-24 | Nec Corp | ネットワーク会議画像処理装置 |
JP2005062924A (ja) * | 2003-08-08 | 2005-03-10 | Omron Corp | 三次元物体認識装置およびその設定方法 |
JP2014123406A (ja) * | 2007-03-08 | 2014-07-03 | Exelis Inc | 閉ざされた構造内の人員およびセンサの位置を示し、状況認識の増進を提供する、拡張現実ベース型システムおよび方法 |
JP2015517238A (ja) * | 2012-03-12 | 2015-06-18 | ディジテイエゼル | 人の頭部外面の3dデジタル化のための自動スキャナ及び方法 |
CN104700413A (zh) * | 2015-03-20 | 2015-06-10 | 中国人民解放军装甲兵工程学院 | 一种三维虚拟场景的植被实时动态绘制方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7782320B2 (en) | Information processing method and information processing apparatus | |
EP0677187B1 (en) | Improved method and apparatus for creating virtual worlds | |
JP4878083B2 (ja) | 画像合成装置及び方法、プログラム | |
JP3847753B2 (ja) | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス | |
JPH11331874A (ja) | 画像処理装置、奥行き画像計測装置、複合現実感提示システム、画像処理方法、奥行き画像計測方法、複合現実感提示方法、およびプログラムの記憶媒体 | |
KR100795552B1 (ko) | 비디오 텍스투어링을 이용한 삼차원 가상 스튜디오 장치 | |
JP4700476B2 (ja) | 多視点映像合成装置及び多視点映像合成システム | |
JP3724117B2 (ja) | 画像生成装置および画像生成方法 | |
JP5963006B2 (ja) | 画像変換装置、カメラ、映像システム、画像変換方法およびプログラムを記録した記録媒体 | |
JP7446754B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2011035638A (ja) | 仮想現実空間映像制作システム | |
JPH08101758A (ja) | 仮想空間内のデータ操作装置 | |
JPH0923449A (ja) | 実写映像及び3次元モデル合成装置 | |
JP4689548B2 (ja) | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス | |
CN117542253A (zh) | 一种飞行员驾驶舱训练*** | |
JP2009212582A (ja) | バーチャルスタジオ用フィードバックシステム | |
JPH10294890A (ja) | 自動/手動撮影カメラシステム | |
JPH10336703A (ja) | 画像合成装置、方法および記憶媒体 | |
JPH04329484A (ja) | 画像合成装置 | |
JPH03226198A (ja) | 立体表示装置 | |
JPH05233781A (ja) | 動画像利用の立体モデル作成システム | |
JPH1021363A (ja) | 評価支援方法及び装置 | |
JP3058537B2 (ja) | 監視方法及び監視システム | |
JP2008078958A (ja) | 映像表示プログラムおよび映像表示システム | |
JPH10327350A (ja) | 画像生成装置および画像生成方法 |