JP4108171B2 - 画像合成装置 - Google Patents
画像合成装置 Download PDFInfo
- Publication number
- JP4108171B2 JP4108171B2 JP05080998A JP5080998A JP4108171B2 JP 4108171 B2 JP4108171 B2 JP 4108171B2 JP 05080998 A JP05080998 A JP 05080998A JP 5080998 A JP5080998 A JP 5080998A JP 4108171 B2 JP4108171 B2 JP 4108171B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- background image
- additional
- background
- additional image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、デジタル画像処理における画像合成装置に関し、特に、実写による静止画像・動画像を背景画像として、その上に別の静止画像・コンピュータグラフィック（以下、ＣＧと記す）画像を合成する際に、背景画像との位置関係を考慮して違和感なく合成を行う画像合成装置に関する。
【０００２】
【従来の技術】
図２７は例えば特開平５−１１７２７号公報に示された画像合成表示装置と同様な従来の画像合成表示装置であり、ビデオカメラで撮像した画像に対してコンピュータグラフィックを意図した位置に合成して表示するものである。
図２７において、７３はビデオカメラ、７４はビデオカメラ７３に取り付けられた例えば地磁気センサやジャイロ等からなる方向位置認識センサ、７５はコンピュータ画像の矢視方向及び大きさによるコンピュータ画像信号であるコンピュータＲＧＢ画像信号を出力するＣＧ装置、７６はＣＧ装置７５から出力されるコンピュータＲＧＢ画像信号を入力するコンピュータ画像フレームメモリ、７８はビデオカメラ７３からのビデオＲＧＢ画像信号であるＮＴＳＣ信号を２値化して２値化ビデオ画像信号であるビデオＲＧＢ画像信号を出力するビデオ信号変換装置、７９はビデオ信号変換装置７８からのビデオＲＧＢ画像信号を１コマ毎に入力するビデオ画像フレームメモリ、８０はビデオ画像フレームメモリ７９及びコンピュータ画像フレームメモリ７６からの両ＲＧＢ画像信号を合成し、合成２値化画像信号である合成ＲＧＢ画像信号を出力する画像合成部、８１は合成ＲＧＢ画像信号を２値化し、２値化した状態の合成ＲＧＢ画像信号を合成ＮＴＳＣ画像信号に変換するＲＧＢ信号変換装置、８２は表示装置としてのディスプレイである。
【０００３】
次に動作について説明する。
ビデオカメラ７３は、所定の領域の撮像方向及びビデオカメラ７３の現在位置を検出する方向位置認識センサ７４を備えている。ＣＧ装置７５は、ビデオカメラ７３が所定の領域を撮影する際に、上記方向位置認識センサ７４から検出されるカメラ視点・方向の情報を用いて、ビデオカメラ７３で撮影された画像と同じ視点から見えるＣＧ画像を生成する。これにより、ビデオカメラ７３で撮影する位置や向きをランダムに変えても、ＣＧによるオブジェクトが画像中の意図された位置に存在しているように見せるためにＣＧ画像の大きさや向きを修正して生成し、ディスプレイ８２に合成された画像を違和感なく表示することを可能にしている。
【０００４】
【発明が解決しようとする課題】
従来の画像合成表示装置は、ビデオカメラ７３で撮影された画像に対して、ＣＧ装置７５により作成されたＣＧモデルを元にして生成される画像を合成して表示するための装置であり、ビデオカメラ７３で撮影された画像に別の画像を合成するために、ＣＧモデルを事前に作成しておかなければならないという問題点があった。
【０００５】
また、ビデオカメラ７３で撮影された動画像に対して、別の画像を合成するために、撮影している間常にカメラの方向・位置を検出するための方向位置認識センサ７４をセットして方向・位置の情報を検出し続けなければならないという問題点があった。
【０００６】
また、ビデオカメラ７３で撮影された画像に対して、ＣＧ画像を合成する際に、ビデオカメラ７３で撮影された画像中の被写体とＣＧ画像との前後の位置関係を考慮していないため、例えばビデオカメラ７３で撮影された画像の中の１本の木の向こうにＣＧ画像による建物を合成して表示したい場合でも、ＣＧ画像が木の上に表示されるため、ＣＧ画像の手前にある木の画像が隠れてしまうという問題点があった。
【０００７】
この発明は上記のような問題点を解決するためになされたもので、ＣＧモデルを事前に作成しなくても、静止画像を用意することにより背景画像中に別の画像を違和感なく合成することができるとともに、簡単な操作によって背景動画像中に違和感なく別の画像を合成することができ、また背景画像中の被写体と背景画像に追加する追加画像との前後関係を考慮して両画像を合成する機能を持った画像合成装置を得ることを目的とする。
【０００８】
【課題を解決するための手段】
この発明に係る画像合成装置は、背景画像を入力する背景画像入力手段と、追加画像を入力する追加画像入力手段と、背景画像の３次元情報を入力するための背景画像３次元情報入力手段と、背景画像上での追加画像の相対位置を規定するための追加画像相対位置規定手段と、この追加画像相対位置規定手段により規定された追加画像の相対位置に基づいて背景画像上に追加画像を合成する前に追加画像の形状を補正する追加画像形状補正手段とを有する追加画像配置手段と、上記背景画像３次元情報入力手段により入力された３次元情報に従って背景画像を画像領域毎に分割するための背景画像領域分割手段と、上記背景画像領域分割手段により分割されたそれぞれの画像領域と追加画像との前後関係を判定するための前後関係判定手段と、上記追加画像形状補正手段により形状補正された追加画像を背景画像に合成すると共に上記前後関係判定手段により追加画像よりも手前にあると判定された画像領域を追加画像の上から合成するための画像合成手段とを備えることにより、背景画像中の被写体との前後関係を考慮しながら別な画像を合成すると共に、地図情報を保存した地図情報保存手段と、上記背景画像領域分割手段により分割された画像領域の間の位置関係を上記地図情報保存手段からの背景画像周辺の地図情報を参照して取り出すための背景画像領域位置関係抽出手段とをさらに備えることにより、背景画像中の被写体の前後関係を合成画像に反映することとし、前記背景画像領域位置関係抽出手段は、前記背景画像中で分割された画像領域それぞれの重心点を求め、地図情報上にカメラの視点位置と背景画像と画像領域の重心点を対応させて、カメラの視点位置からカメラの視野にある各重心点に向かって地図情報上で直線を引くことにより、重心点の先にある被写体とカメラの視点位置との距離を求め、求めた距離を各画像領域に対応付けることを特徴とする。
また、他の発明に係る画像合成装置は、背景画像を入力する背景画像入力手段と、追加画像を入力する追加画像入力手段と、背景画像の３次元情報を入力するための背景画像３次元情報入力手段と、背景画像上での追加画像の相対位置を規定するための追加画像相対位置規定手段と、この追加画像相対位置規定手段により規定された追加画像の相対位置に基づいて背景画像上に追加画像を合成する前に追加画像の形状を補正する追加画像形状補正手段とを有する追加画像配置手段と、上記背景画像３次元情報入力手段により入力された３次元情報に従って背景画像を画像領域毎に分割するための背景画像領域分割手段と、上記背景画像領域分割手段により分割されたそれぞれの画像領域と追加画像との前後関係を判定するための前後関係判定手段と、上記追加画像形状補正手段により形状補正された追加画像を背景画像に合成すると共に上記前後関係判定手段により追加画像よりも手前にあると判定された画像領域を追加画像の上から合成するための画像合成手段とを備えることにより、背景画像中の被写体との前後関係を考慮しながら別な画像を合成すると共に、地図情報を保存した地図情報保存手段と、上記背景画像領域分割手段により背景画像をいくつかの画像領域に分割する際に、背景画像内の被写体の境界線を上記地図情報保存手段からの背景画像周辺の地図情報を参照して取り出す領域境界対応付け手段とをさらに備えることにより、背景画像中の被写体毎の画像領域を分割することとし、前記領域境界対応付け手段は、前記地図情報上に背景画像とカメラ視点を対応付け、カメラ視点から背景画像に写っている被写体の境界部分に対して直線を引き、当該直線と背景画像との交点を背景画像中の被写体の境界線とすることを特徴とする。
【００１８】
【発明の実施の形態】
実施の形態１．
図１はこの発明の実施の形態１を示すシステム構成図である。
図１において、１は画像を計算機上で合成する際に、背景となる画像(以下、背景画像）を入力するための背景画像入力手段、２は背景画像入力手段によって入力された背景画像に合成するための別の画像（以下、追加画像）を入力するための追加画像入力手段、３は背景画像上に追加画像を配置するための追加画像配置手段であり、この追加画像配置手段３は、背景画像の撮影位置などの３次元情報を入力するための背景画像３次元情報入力手段４と、背景画像上での追加画像の相対位置を規定するための追加画像相対位置規定手段５と、追加画像相対位置規定手段５によって規定された追加画像の相対位置に基づいて背景画像上に追加画像を合成する前に追加画像の形状を補正するための追加画像形状補正手段６とを有する。７は追加画像形状補正手段６によって形状補正された追加画像を背景画像に合成するための画像合成手段である。
【００１９】
次に動作について説明する。
まず、背景画像入力手段１によって、画像合成を行う背景となる画像を入力する。背景画像を入力するには、デジタルカメラで撮影したイメージ・データを計算機に取り込んだり、ビデオカメラで撮影した映像をキャプチャして計算機にデジタル・データとして取り込むことなどによって行う。次に、追加画像入力手段２によって、背景画像に合成するための追加画像を入力する。追加画像を入力するには、デジタルカメラで撮影したイメージ・データを計算機に取り込んだり、市販のイメージ描画ソフトウェアで作成することなどによって行う。本実施の形態では、看板広告などの長方形の板状物体を撮影した画像を追加画像として、カメラで撮影した町の風景などの背景画像に合成する例で説明する。この時、追加画像を撮影したときの距離や被写体の大きさの情報も入力する。
【００２０】
図２は追加画像とそれに関する情報を説明するための図である。
撮影用のカメラ８で被写体１１を撮影したときの撮影視野９の中に、被写体１１の画像１０が写っている。画像１０を追加画像として入力する。追加画像に関する情報として、被写体１１の大きさ(Ｌｘ、Ｌｙ）、カメラ８と被写体１１との距離Ｌ１も同時に入力する。なお、図２では、カメラ視線に対して被写体１１が垂直になっているときの画像１０を追加画像の例としているが、被写体１１がカメラ視線に対して角度を持っている場合の画像を追加画像としても、以下に述べる方法と同様の方法で合成することができる。
【００２１】
次に、背景画像３次元情報入力手段４によって、背景画像を撮影したときのカメラの撮影位置・撮影方向の情報を入力する。
図３は背景画像として用いる画像を撮影するときの状況を説明するための図である。
図３において、１２は背景画像を撮影するためのカメラであり、１３はカメラ１２によって撮影された背景画像である。また、（Ｘ２，Ｙ２，Ｚ２）は、カメラ１２で背景画像を撮影したときの撮影位置の絶対座標であり、（θｘ２，θｙ２，θｚ２）は、背景画像を撮影したときのカメラの絶対座標における方向である。ここで、θｘ、θｙ、θｚは、それぞれＸ軸方向、Ｙ軸方向、Ｚ軸方向に対するカメラ１２の回転角度を表す。
【００２２】
次に、追加画像相対位置規定手段５によって、背景画像を撮影したときのカメラ１２の撮影位置・撮影方向に対して被写体１１が位置する場所を入力する。
図４は背景画像を撮影したカメラ１２の撮影位置・撮影方向に対する被写体１１の位置・向きを説明するための図である。
図４において、（Ｘ１，Ｙ１，Ｚ１）は被写体１１の位置の絶対座標、（θｘ１，θｙ１，θｚ１）は、被写体１１の絶対座標における方向である。１４は被写体１１の位置・向きを追加画像相対位置規定手段５によって規定したときに最終的に背景画像１３に合成される被写体１１の画像である。Ｌ２はカメラ１２と仮想的に置かれた被写体１１との距離を表し、Ｌ２＝｛（Ｘ２-Ｘ１）２＋（Ｙ２−Ｙ１）２＋（Ｚ２−Ｚ１）２｝１／２である。
【００２３】
次に、追加画像形状補正手段６によって、追加画像１０の形状を補正して、背景画像１３に合成される画像１４を生成する。
図５は追加画像１０の形状を補正する方法を説明するための図であり、カメラ１２の位置・方向を基準とした被写体１１の相対的な位置・向きを元にして説明する。
図５は被写体１１がカメラ１２に対してＹ軸方向にθｙだけ回転している場合である。被写体１１を元にした追加画像１０の縦・横の長さをそれぞれＬｘ'、Ｌｙ'とする。既に述べたように、追加画像１０を撮影したときには、被写体１１はカメラ１２に対して垂直になっている。図５で被写体１１がカメラ１２に対してθｙだけ回転していることによって、追加画像１０の幅Ｌｘ'は、Ｌｘ'ｃｏｓ（θｙ）になる。これは、追加画像１０を図５の１５のような幅１の帯状領域に分割して、縮尺の比率にしたがって帯状領域１５を間引くことによって行う。
【００２４】
また、被写体１１が回転することによって、カメラ１２に近づいたり遠ざかったりする部分が出てくる。これに対しては、帯状領域１５のうち、間引かれなかったものに対してＹ軸方向の長さを計算して伸縮させることによって対応する。
図５の例では、追加画像１０の一番左端の帯状領域１５は、被写体１１が最もカメラ１２に近づく部分であるため、形状補正後の帯状領域１６のようにＹ軸方向に伸張される。他の部分の帯状領域に対しても、帯状領域１６と同様の計算によってＹ軸方向に伸張されて、それら伸張後の帯状領域を合わせることによって、形状補正後の追加画像１４を生成する。なお、図５の例では、説明の簡単のためＬ２をＬ１（追加画像を撮影したときの距離）と同一の距離として説明したが、Ｌ２がＬ１と異なる場合には、上記のようにして追加画像１０を形状補正した後、縦横の大きさをＬ１／Ｌ２倍することによって、形状補正後の追加画像１４を得ることができる。
【００２５】
図５において、被写体１１がＹ軸方向に回転している場合の追加画像の形状補正について説明したが、被写体１１がＸ軸方向に回転している場合の追加画像の形状補正についても同様の方法で形状補正を行うことができる。また、Ｚ軸方向に回転している場合には、背景画像１３の平面上で追加画像１０を回転させることによって、形状補正を行う。
最後に、画像合成手段７によって、背景画像１３と形状補正後の追加画像１４とを合成する。
【００２６】
以上のように、この実施の形態１では、背景となる画像とそれに合成する別の画像を入力する際に、撮影情報や被写体の情報を同時に入力することによって、追加画像を背景画像中に合成する時に追加画像の形状を補正するようにしているので、背景画像に別の画像を合成するために予め３次元ＣＧモデルを作成する必要もなく、背景画像と別の画像を簡単にかつリアルに合成することができる。
【００２７】
実施の形態２．
上述した実施の形態１では、背景画像に対して、全く別の追加画像を入力して合成するようにしたものであるが、次に背景画像の中に映っている被写体の画像部分を修正するような場合の実施の形態を示す。
図６は実施の形態２におけるシステム構成図である。
図６において、背景画像入力手段１、追加画像配置手段３、背景画像３次元情報入力手段４、追加画像相対位置規定手段５、追加画像形状補正手段６及び画像合成手段７は、実施の形態１と同様である。この実施の形態２において、異なる点は、追加画像入力手段２を、追加画像を背景画像の中から探して背景画像の中から画像範囲を指定するための背景画像範囲指定手段１７と、背景画像範囲指定手段１７によって指定された範囲の画像を追加画像として切り出して追加画像配置手段３に渡すための背景画像切出し手段１８とによって構成した点である。
【００２８】
次に動作について説明する。
まず、実施の形態１と同様にして、背景画像入力手段１によって、背景となる画像を入力する。次に、背景画像範囲指定手段１７によって、背景画像入力手段１で入力された背景画像の中から形状補正の対象となる画像領域を指定する。
図７は利用者が背景画像の中から形状補正の対象となる画像領域を指定する方法を説明するための図である。
カメラ１２で背景画像１３を撮影したときに、被写体２０が映っている画像領域１９を修正したいとする。利用者は、ディスプレイに表示された背景画像１３の上でマウス２２を用いて画像領域１９の範囲を含むように指定範囲２１を入力する。図７の例では矩形範囲指定を行っているが、多角形の頂点をマウスで指定して、多角形領域を指定することも可能である。上記の操作によって、背景画像１３の中から修正したい画像領域１９の範囲を指定する。
【００２９】
次に、背景画像切出し手段１８により、背景画像範囲指定手段１７によって指定された画像領域１９を切出して入力する。また、画像領域１９の実態である被写体２０の情報も入力する。（Ｘ１，Ｙ１，Ｚ１）、（θｘ１、θｙ１、θｚ１）は、それぞれカメラ１２を原点としたときの被写体２０の位置座標と向きの情報である。
【００３０】
追加画像配置手段３では、背景画像１３から切り出された画像領域１９を追加画像として、実施の形態１と同様の手順により、被写体２０の位置・向きを変更した場合の画像を、追加画像の形状を補正することによって得る。なお、実施の形態１と異なり、被写体２０の新しい位置・向きによっては、切り出された画像領域１９の一部または全部が、新しく形状補正された追加画像の領域に含まれずに、背景画像中に空白領域が生じる場合がある。このような場合には、画像合成手段７において、空白領域の境界線上の画素の色を平均した色で、追加画像の領域に含まれない領域を塗りつぶす。
【００３１】
図８は上記のような空白領域の塗りつぶしを説明するための図である。
図８において、２３は形状補正された追加画像、２４は形状補正された追加画像２３に含まれない画像領域１９による空白領域を表す。画像合成手段７において、空白領域２４はその境界線上の画素の色の平均色（図８の例では白）によって塗りつぶし領域２５になる。
【００３２】
以上のように、実施の形態２では、背景となる画像の中に、位置や向きを変更したい被写体が写っている場合、その被写体の画像領域を背景画像の中から切出して被写体の位置・向きの変更に伴う画像の補正を行うようにしているので、一度入力した背景画像の一部分を簡単に修正することができる。
【００３３】
実施の形態３．
以上の実施の形態では、追加画像を入力するためにカメラによって撮影された画像を入力していたが、この実施の形態３では、追加画像を入力するために３次元ＣＧモデルを利用する。
図９は実施の形態３におけるシステム構成図である。
図９において、背景画像入力手段１、追加画像配置手段３、背景画像３次元情報入力手段４、追加画像相対位置規定手段５、追加画像形状補正手段６及び画像合成手段７は、実施の形態１と同様である。実施の形態３において異なる点は、追加画像入力手段２を、追加画像を生成するための元となる３次元ＣＧモデルを入力するための３次元モデル入力手段２６と、３次元モデル入力手段２６によって入力された３次元ＣＧモデルを元にイメージ・データを生成して、追加画像として追加画像配置手段３に渡すためのイメージ・データ変換手段２７とによって構成した点である。
【００３４】
次に、動作について説明する。
まず、実施の形態１と同様にして、背景画像入力手段１によって、背景となる画像を入力する。次に、３次元モデル入力手段２６によって追加画像を生成する元になる３次元ＣＧモデルを入力する。３次元モデル入力手段としては、市販の３ＤＣＡＤソフトウェアを利用する。次に、イメージ・データ変換手段２７によって、入力された３次元ＣＧモデルを元に、追加画像を生成する。
【００３５】
図１０は背景画像中に３次元モデルを元にしたイメージ・データを追加画像として合成する方法を説明するための図である。
イメージ・データ変換手段２７では、３次元モデル入力手段２６によって入力されたＣＧ２８をカメラ位置３０に対して距離Ｌ１の位置に置いて、その結果カメラ視野内に得られる画像２９を追加画像として取出す。
【００３６】
追加画像配置手段３では、イメージ・データ変換手段２７によって得られる画像２９を追加画像として、実施の形態１と同様の手順により、追加画像の形状を補正することができる。
【００３７】
以上のように、実施の形態３では、３次元モデル入力手段２６によって入力された３次元ＣＧモデルを元にして追加画像を生成し、追加画像の形状を補正しながら背景画像への合成を行うようにしているので、３次元モデルを元にした追加画像を一つ生成しておけば、それ以降は３次元ＣＧを扱うためのソフトウェアを用意することなく、背景画像に対して３次元ＣＧモデルから生成したイメージのさまざまなバリエーションを簡単に合成することができる。
【００３８】
実施の形態４．
以上の実施の形態では、背景画像として静止画像を用いるものであるが、この実施の形態４では、動画像を背景画像として、背景の動画像の各フレーム毎に追加画像を合成する。
図１１は実施の形態４におけるシステム構成図である。
図１１において、背景画像入力手段１、追加画像入力手段２及び追加画像配置手段３は、実施の形態１と同様である。さらに、この実施の形態４においては、背景とする動画像を入力するための動画像入力手段３１、動画像入力手段３１によって入力された動画像の各フレームの中から、追加画像を合成する領域を抽出するための合成領域抽出手段３２、追加画像配置手段３によって動画像中の１フレームに配置された追加画像を、合成領域抽出手段３２によって抽出された領域を用いて、前後のフレームに追加画像の形状を補正しながら合成していくための追加画像伝播手段３３が追加されている。
【００３９】
次に、動作について説明する。
まず、動画像入力手段３１によって、背景として用いる動画像を入力する。次に、動画像入力手段３１によって入力された動画像のフレームの中から利用者が１フレームを選択して、選択されたフレームの画像を背景画像入力手段１によって背景画像として入力する。次に、実施の形態１と同様にして追加画像入力手段２によって追加画像を入力する。次に、追加画像配置手段３によって、背景画像の中に追加画像を配置する。
【００４０】
実施の形態４では、動画像に追加画像を合成する方法を、道路上から撮影した動画像に写っているビルの壁面に追加画像として壁画を合成する例で説明する。
図１２は動画像入力手段３１によって入力された動画像中の１フレームに配置された追加画像の領域から、合成領域抽出手段３２によって上記１フレームの前後のフレーム中から合成領域を抽出する方法を説明するための図である。
図１２において、３４は動画像入力手段３１によって入力された動画像である。３５は動画像３４に含まれるフレームの中から背景画像入力手段１において背景画像として選択されたフレーム、３６は追加画像配置手段３によってフレーム３５に配置された壁画の追加画像、３７は追加画像３５の境界線、３８はフレーム３５の前後のフレームに、フレーム３５で定義された境界線３７に相当する領域を伝播させて得られた境界線である。本実施の形態の例では、前後のフレームに写っているビルの壁面が伝播される。
【００４１】
また、図１３は動画像のフレーム中に写っている物体の境界線を追跡する方法を説明するための図である。
フレーム３５における境界線３７を次のフレーム３９の同じ位置に置くと境界線４０となる。フレーム３９の境界線４０の内部に、フレーム３５の境界線３７の内部の色と同じ色の領域４１を抽出する。次に、領域４１の外部に向けて、同じ色を持つ画素を追跡していき、領域４２を得る。最後に、領域４２に内接する境界線４０の相似図形４３を求めて、これをフレーム３９における合成領域とする。ここで求められた相似図形４３を新しい境界線として、フレーム３９の次のフレームに対して同様の処理を行うことによって、動画像のフレーム中に写っている物体の境界線を追跡することができる。
【００４２】
ここでは、境界線３７の内部の色情報を用いた簡単な方法について説明したが、動画像中の物体の境界線を追跡する方法として、動的輪郭モデル（Snakes）を用いることも可能である。この方法は、「動的輪郭モデルを用いた移動物体の追跡に関する検討」（１９９５年電子情報通信学会情報・システムソサイエティ大会Ｄ−２３７）などに記述されている。
【００４３】
さらに、図１４は合成領域抽出手段３２によって抽出された各フレーム毎の合成領域の形状にあわせて、追加画像伝播手段３３によって追加画像を各フレームに合成する方法を説明するための図である。
追加画像３６を幅１の帯状領域１５に分割して、別のフレームの境界線４３の幅にあわせて間引き・拡幅を行って、幅を合わせる。次に、幅を境界線４３に合わせた追加画像を再び幅１の帯状領域に分割して、それぞれの帯状領域毎に上下の高さを境界線４３に合わせることによって、追加画像３６を各フレームの境界線の形状に合わせることができる。
【００４４】
以上のように、この実施の形態４では、背景として動画像を用いて、動画像中の１フレームを背景画像として追加画像を配置することによって、前後のフレームの対応する合成領域を抽出して追加画像を配置するようにしているので、動画像中に簡単に別の画像を合成することができる。
【００４５】
実施の形態５．
上述した実施の形態４では、動画像に別の画像を合成する際に、追加画像の配置位置を規定するフレームを一つだけで行い、その前後のフレームに対しては合成領域を追跡するものであるが、この実施の形態５では、追加画像の配置位置を規定するフレームを合成の開始フレームと終了フレームの２つのフレームに対して行い、２つのフレームの間にある各フレームに対して自動的に追加画像を合成する。
【００４６】
図１５は実施の形態５におけるシステム構成図である。
図１５において、背景画像入力手段１、追加画像入力手段２、動画像入力手段３１及び追加画像伝播手段３３は、実施の形態４と同様である。実施の形態５では、追加画像配置手段３として、動画像入力手段３１によって入力された動画像のフレームの中から選択された合成の開始フレームに対して追加画像の相対位置を決定するための追加画像第１相対位置規定手段４４と、開始フレームの３次元情報を入力するための背景画像３次元情報第１入力手段４５、合成終了フレームに対して追加画像の相対位置を決定するための追加画像第２相対位置規定手段４６と、終了フレームの３次元情報を入力するための背景画像３次元情報第２入力手段４７と、開始フレームと終了フレームに対する追加画像の形状補正を行う追加画像形状補正手段６とを備えている。
【００４７】
次に、動作について説明する。
まず、動画像入力手段３１によって、入力された動画像のフレームの中から、背景画像入力手段１によって、追加画像を合成する開始フレームと終了フレームを選択する。次に、追加画像入力手段２によって入力された追加画像に対して、追加画像第１相対位置規定手段４４と、背景画像３次元情報第１入力手段４５、追加画像第２相対位置規定手段４６と、背景画像３次元情報第２入力手段４７及び追加画像形状補正手段６によって、開始フレーム・終了フレームに対する追加画像の形状補正を行う。開始フレーム、終了フレームに対する追加画像の形状補正は、実施の形態１と同様の方法によって行う。次に、開始フレームと終了フレームにおける追加画像を元にして、追加画像補完手段４８において開始フレームと終了フレームの間にあるフレームに合成する追加画像の領域を生成する。
【００４８】
図１６は追加画像補完手段４８が開始フレームと終了フレームの間にあるフレームに合成する追加画像を生成する方法を説明するための図である。
図１６の例では、実施の形態１と同様に追加画像を例としている。
図１６において、４９、５０はそれぞれ動画像中の合成の開始フレームと終了フレームであり、５１、５２はそれぞれ追加画像配置手段３によって開始フレーム４９と終了フレーム５０に配置された追加画像である。開始フレーム４９と終了フレーム５０の間に、（Ｎ−１）フレームがあるとすると、（Ｎ−１）フレームのｋ番目のフレームに対する追加画像の領域の頂点の座標は、図１６に示す式によって計算することができる。
【００４９】
そして、追加画像補完手段４８によって生成された各フレームの追加画像の領域にしたがって、実施の形態４で記述した方法と同様の方法で、追加画像伝播手段３３が各フレームに追加画像を合成する。
【００５０】
以上のように、この実施の形態５では、動画像中の開始フレームと終了フレームに対する追加画像の配置位置を指定するようにしているので、開始フレームと終了フレームの間のフレームに対する追加画像の合成をするのに動画像中の物体の追跡などの複雑な計算処理を行うことなく、動画中に簡単に別の画像を合成することができる。また、実施の形態５の説明では、動画像中の開始フレームと終了フレームに追加画像を指定したが、画像データの代わりに開始・終了フレームに３次元ＣＧモデルを配置することによって、開始・終了フレームの間のフレームにおける３次元ＣＧモデルの配置位置を同様の原理を用いて計算して動画像と合成することも可能である。
【００５１】
実施の形態６．
上述した実施の形態４では、動画像に別の画像を合成する際に、追加画像の位置を背景画像に対して静止したものとして追加画像の配置位置を計算していたが、この実施の形態６では、背景画像に対して追加画像の元となる被写体の移動径路を定義することによって、背景画像中で移動する追加画像を合成する。
【００５２】
図１７は実施の形態６におけるシステム構成図である。
図１７において、背景画像入力手段１、追加画像入力手段２、追加画像配置手段３、合成領域抽出手段３２及び追加画像伝播手段３３は、実施の形態４と同様である。また、背景となる動画像に対する追加画像元となる被写体の移動径路を定義するための追加画像動作定義手段５４によって構成されている。
【００５３】
次に、動作について説明する。
動画像入力手段３１、背景画像入力手段１、追加画像入力手段２、追加画像配置手段３によって追加画像を１フレーム上に配置するまでは、実施の形態４と同様である。次に、追加画像動作定義手段５４では、１フレーム上に配置された追加画像の移動の径路について利用者が定義を行う。
【００５４】
図１８は追加画像動作定義手段５４によって定義される被写体の移動径路について説明するための図である。
図１８において、５５は動画像入力手段３１によって入力された動画像の中で、カメラ３０に対する被写体２８の位置・向きを時間に対して定義したものである。５５を用いて、合成領域抽出手段３２において、追加画像２９が配置されたフレームの前後における合成領域を抽出する。
次に、実施の形態４と同様にして、追加画像伝播手段３３によって他のフレームに追加画像を合成する。
【００５５】
以上のように、この実施の形態６では、動画像中における被写体の動きを定義するようにしているので、動画像に対して動きのある被写体の画像を簡単に合成することが可能である。また、実施の形態６の説明では、動画像中の背景画像に追加画像を指定したが、画像データの代わりに背景画像に３次元ＣＧモデルを配置することによって、背景画像の前後のフレームにおける３次元ＣＧモデルの動きを同様の原理を用いて定義して動画像と合成することができるので、動きのある３次元ＣＧモデルと動画像とを簡単に合成することができる。
【００５６】
実施の形態７．
以上の実施の形態では、背景画像に別の画像を合成する際に、背景画像に写っている被写体と追加画像に写っている被写体との前後関係を考慮していないため、常に追加画像の全体が背景画像の上に表示されていたが、この実施の形態７では、背景画像を被写体毎に領域分割してそれらの位置情報を利用して追加画像を合成する。
【００５７】
図１９は実施の形態７におけるシステム構成図である。
図１９において、背景画像入力手段１、追加画像入力手段２、追加画像配置手段３及び画像合成手段７については、実施の形態１と同様である。また、背景画像入力手段１によって入力された背景画像を、被写体毎に領域分割するための背景画像領域分割手段５６と、背景画像領域分割手段５６によって分割された画像領域と、追加画像との前後関係を判定するための前後関係判定手段５７とを備えている。
【００５８】
次に、動作について説明する。
背景画像入力手段１、追加画像入力手段２、追加画像配置手段３によって追加画像を背景画像上に配置するまでは、実施の形態１と同様である。背景画像領域分割手段５６では、背景画像を被写体毎に領域分割を行い、それぞれの領域毎にカメラ視点からの距離の情報を付加する。
図２０は背景画像の領域分割を行う方法を説明するための図である。
利用者は、ディスプレイに表示された背景画像１３を見ながら、被写体の領域毎にマウスを操作しながら領域の頂点を指示して、多角形の領域を定義していく。指定された領域には、それぞれ領域Ｎｏ．とカメラ視点からの距離の情報５８を対応付けて入力する。
【００５９】
次に、背景画像領域分割手段５６によって得られた背景画像の各画像領域のカメラ視点からの距離情報と、追加画像配置手段３による追加画像の位置情報を元にして、前後関係判定手段５７が追加画像を合成する順番を判定する。画像合成手段７は、前後関係判定手段５７によって、先ず追加画像よりもカメラ視点から遠くにある画像領域を表示し、次に追加画像、そして最後に追加画像よりもカメラ視点から近くにある画像領域を合成する。
【００６０】
図２１は前後関係判定手段５７によって判定された順序を元にして合成された背景画像と追加画像を説明するための図である。
領域分割された背景画像に対して、カメラからの距離が１５の追加画像５９を合成した場合、カメラからの距離が１５よりも小さい背景画像が追加画像５９の上に合成されて、最終的に合成画像６０を得る。
【００６１】
以上のように、この実施の形態７では、背景画像を被写体毎の画像領域を分割し、それぞれの画像領域にカメラからの距離情報を対応付けているので、背景画像に追加画像を合成するときに被写体の前後関係を正しく反映させた合成画像を簡単に得ることができる。
背景画像として動画像を入力した場合には、背景画像領域分割手段５６による領域分割を動画像中の各フレームに対して被写体の領域を定義していき、それぞれの領域に領域No. とカメラ視点からの距離の情報を対応付けて入力する。また、追加画像の配置を実施の形態４〜６と同様な方法で行うことによって、背景画像として動画像を入力した場合にも同様の効果を得ることができる。
【００６２】
実施の形態８．
上述した実施の形態７では、背景画像を被写体毎に領域分割してそれらの位置情報を利用して追加画像を合成するために、背景画像領域分割手段において利用者が画像領域毎にカメラからの距離を入力したが、この実施の形態８では、背景画像に関する地図情報を参照することによって、画像領域毎のカメラからの距離を入力する。
【００６３】
図２２は実施の形態８におけるシステム構成図である。
図２２において、背景画像入力手段１、追加画像入力手段２、追加画像配置手段３、画像合成手段７、背景画像領域分割手段５６及び前後関係判定手段５７については、実施の形態７と同様である。また、背景画像入力手段１によって入力する背景画像に写っているシーンの地理的な情報を保存するための地図情報保存手段６２と、地図情報保存手段６２に保存されている地図情報を参照して背景画像中の領域にカメラからの距離情報を関連付けるための背景画像領域位置関係抽出手段６１を備えている。
【００６４】
次に、動作について説明する。
背景画像入力手段１、追加画像入力手段２、追加画像配置手段３によって追加画像を背景画像上に配置し、また背景画像領域分割手段５６によって、背景画像を被写体毎の画像領域に分割するまでは、実施の形態７と同様である。次に、背景画像領域位置関係抽出手段６１によって、背景画像から分割された画像領域毎にカメラからの距離を対応付ける。
【００６５】
図２３は背景画像領域位置関係抽出手段６１の機能を説明するための図である。本実施の形態８では、町の建物の風景を撮影したものを背景画像とし、撮影された背景画像周辺の地図情報が地図情報保存手段６２に保存されている例で説明する。背景画像６４の中で分割された画像領域それぞれの重心点６６を求める。次に、地図情報６３の上に、カメラの視野すなわち背景画像６４とカメラの視点位置６５と画像領域の重心点６６を対応させる。地図情報６３は、背景画像に写っている建物の形状・位置の情報が存在する。従って、カメラの視点位置６５からカメラの視野にある各重心点に向かって地図情報６３の上で直線をひくことによって、重心点の先にある実際の建物とカメラの視点位置６５との距離を求めることができる。こうして求められた距離を、各重心点６６すなわち各画像領域に対応付ける。
【００６６】
背景画像領域位置関係抽出手段６１によって対応付けられた背景画像内の画像領域とカメラ視点との距離を用いて、実施の形態７と同様の方法で背景画像と追加画像とを合成する。
【００６７】
以上のように、この実施の形態８では、背景画像を被写体毎の画像領域に分割した後、それぞれの画像領域とカメラからの距離情報を地図情報を利用して対応付けているので、背景画像に追加画像を合成するときに被写体の前後関係を容易に判断することができる。
背景画像として動画像を入力した場合には、動画像中の各フレーム毎に分割された画像領域に対して、背景画像領域位置関係抽出手段６１を用いてカメラからの距離情報を対応付ける。また、追加画像の配置を実施の形態４〜６と同様な方法で行うことによって、背景画像として動画像を入力した場合にも同様の効果を得ることができる。
【００６８】
実施の形態９．
上述した実施の形態７では、背景画像を被写体毎に領域分割するために、利用者がディスプレイを見ながらマウスを操作して画像領域を指定したが、この実施の形態９では、背景画像に関する地図情報を参照することによって、背景画像から被写体毎の画像領域を分割する。
【００６９】
図２４は実施の形態９におけるシステム構成図である。
図２４において、背景画像入力手段１、追加画像入力手段２、追加画像配置手段３、画像合成手段７、背景画像領域分割手段５６、前後関係判定手段５７及び地図情報保存手段６２については、実施の形態７と同様である。また、地図情報保存手段６２に保存されている地図情報を参照して背景画像から被写体毎の画像領域を分割するための領域境界対応付け手段６７を備えている。
【００７０】
次に、動作について説明する。
背景画像入力手段１、追加画像入力手段２、追加画像配置手段３によって追加画像を背景画像上に配置するまでは、実施の形態７と同様である。次に、領域境界対応付け手段６７によって、背景画像を被写体毎に分割する。
図２５は領域境界対応付け手段の機能を説明するための図である。
先ず、地図情報６３の上に背景画像６４、カメラ視点６５を対応付ける。次に、カメラ視点６５から背景画像６４に写っている被写体の建物の境界部分に対して直線を引く。引かれた直線と背景画像６４との交点６８が、背景画像中の被写体の水平方向における境界線となる。さらに地図情報６３にそれぞれの建物の高さ情報が保存されていれば、その情報を用いて背景画像上で被写体の建物毎の画像領域６９を抽出することができる。背景画像領域分割手段５６は、領域境界対応付け手段６７によって抽出された画像領域６９をディスプレイ上に表示し、必要なら利用者は画像領域の形状をマウス操作などで修正することができる。次に、実施の形態７と同様の方法で各画像領域毎にカメラ視点からの距離を入力し、背景画像と追加画像とを合成する。
【００７１】
以上のように、この実施の形態９では、背景画像を被写体毎の画像領域に分割する際に、地図情報を用いて大体の画像領域を自動的に抽出するようにしているので、背景画像に追加画像を合成するときに被写体毎のカメラ視点からの位置情報を容易に対応付けることができる。また、実施の形態９の説明では、領域境界対応付け手段６７によって抽出された画像領域を背景画像領域分割手段５６によって修正しているが、修正せずにそのままの画像領域を用いて大体の画像領域に分割したまま背景画像と追加画像を合成しても良い。
【００７２】
実施の形態１０．
上述した実施の形態７では、背景画像に合成するものとして静止画を追加画像としていたが、この実施の形態１０では、静止画像に代えて３次元ＣＧモデルを背景画像に合成した画像を得る。
背景画像として動画像を入力した場合には、動画像中の各フレームに対して領域境界対応付け手段６７、背景画像領域分割手段５６を用いて被写体の画像領域を分割する。また、追加画像の配置を実施の形態４〜６と同様の方法で行うことによって、背景画像として動画像を入力した場合にも同様の効果を得ることができる。
【００７３】
図２６は実施の形態９におけるシステム構成図である。
図２６において、背景画像入力手段１、背景画像３次元入力手段４、画像合成手段７、背景画像領域分割手段５６及び前後関係判定手段５９は、実施の形態７と同様である。また、背景画像に合成する３次元ＣＧモデルを入力するための３次元ＣＧモデル入力手段７０、背景画像に対する３次元ＣＧモデルの相対位置を規定するための３次元ＣＧモデル相対位置規定手段７１、３次元ＣＧモデルの相対位置によって背景画像に合成する追加画像の形状を補正するための３次元ＣＧモデル形状補正手段７２を備えている。
【００７４】
次に、動作について説明する。
まず、実施の形態１と同様にして、背景画像入力手段１によって、背景となる画像を入力する。次に、３次元ＣＧモデル入力手段７０によって追加画像を生成する元になる３次元ＣＧモデルを入力する。３次元モデル入力手段としては、市販の３ＤＣＡＤソフトウェアを利用する。次に、３次元ＣＧ相対位置規定手段７１によって、入力された３次元ＣＧモデルの背景画像カメラ位置に対する相対位置を規定する。背景画像カメラ位置は、実施の形態１と同様にして、背景画像３次元情報入力手段４によって得る。次に、３次元ＣＧモデル相対位置規定手段７１によって規定された位置に基づいて、３次元ＣＧが背景画像に写る画像を３次元ＣＧ形状補正手段によって決定する。その後、実施の形態７と同様の方法によって、背景画像領域分割手段５６、前後関係判定手段５７、画像合成手段７によって、背景画像と３次元ＣＧモデルによる画像を合成する。
【００７５】
以上のように、この実施の形態１０では、背景画像に合成する追加画像を３次元ＣＧモデルを用いて生成しているので、自由に作成した立体感のある画像を、被写体の前後関係を正しく反映させて背景画像に合成することができる。
また、実施の形態７〜９において述べたように、背景画像として動画像を入力した場合にも同様の効果を得ることができる。
【００７６】
上述した各実施の形態によれば、背景画像に別の画像をいろいろな視点から簡単に合成することができるという効果がある。また、背景画像として動画像を用いた場合でも、動画像中の１ないし２フレームにおいて追加する画像を配置するだけで残りのフレームに対して自動的に画像を補正して合成するので、動画像の各フレームに簡単に画像を合成することができる。また、背景画像中の被写体の位置情報を考慮しているので、背景画像と別の画像を合成するときにそれぞれの被写体の前後関係を反映できるという効果がある。なお、背景画像中の被写体の位置関係を考慮した合成に関しては、背景画像として動画を用いた場合にも同様の方法を用いることによって、実現することができる。
【００７７】
【発明の効果】
以上のように、この発明によれば、背景となる画像とそれに合成する別の画像を入力する際に、撮影情報や被写体の情報を同時に入力することによって、追加画像を背景画像中に合成する時に追加画像の形状を補正するようにしているので、背景画像に別の画像を合成するために予め３次元ＣＧモデルを作成する必要もなく、背景画像と別の画像を簡単にかつリアルに合成することができる。
【００７８】
また、背景となる画像の中に、位置や向きを変更したい被写体が写っている場合、その被写体の画像領域を背景画像の中から切出して被写体の位置・向きの変更に伴う画像の補正を行うようにしているので、一度入力した背景画像の一部分を簡単に修正することができる。
【００７９】
また、３次元モデル入力手段によって入力された３次元ＣＧモデルを元にして追加画像を生成し、追加画像の形状を補正しながら背景画像への合成を行うようにしているので、３次元モデルを元にした追加画像を一つ生成しておけば、それ以降は３次元ＣＧを扱うためのソフトウェアを用意することなく、背景画像に対して３次元ＣＧモデルから生成したイメージのさまざまなバリエーションを簡単に合成することができる。
【００８０】
また、背景として動画像を用いて、動画像中の１フレームを背景画像として追加画像を配置することによって、前後のフレームの対応する合成領域を抽出して追加画像を配置するようにしているので、動画像中に簡単に別の画像を合成することができる。
【００８１】
また、動画像中の開始フレームと終了フレームに対する追加画像の配置位置を指定するようにしているので、開始フレームと終了フレームの間のフレームに対する追加画像の合成をするのに動画像中の物体の追跡などの複雑な計算処理を行うことなく、動画中に簡単に別の画像を合成することができる。
【００８２】
また、動画像中における被写体の動きを定義するようにしているので、動画像に対して動きのある被写体の画像を簡単に合成することが可能である。
【００８３】
また、背景画像を被写体毎の画像領域に分割し、それぞれの画像領域にカメラからの距離情報を対応付けているので、背景画像に追加画像を合成するときに被写体の前後関係を正しく反映させた合成画像を簡単に得ることができる。
【００８４】
また、背景画像を被写体毎の画像領域に分割した後、それぞれの画像領域とカメラからの距離情報を地図情報を利用して対応付けているので、背景画像に追加画像を合成するときに被写体の前後関係を容易に判断することができる。
【００８５】
また、背景画像を被写体毎の画像領域に分割する際に、地図情報を用いて大体の画像領域を自動的に抽出するようにしているので、背景画像に追加画像を合成するときに被写体毎のカメラ視点からの位置情報を容易に対応付けることができる。
【００８６】
さらに、背景画像に合成する追加画像を３次元ＣＧモデルを用いて生成しているので、自由に作成した立体感のある画像を、被写体の前後関係を正しく反映させて背景画像に合成することができる。
【図面の簡単な説明】
【図１】 この発明の実施の形態１に係る画像合成装置の構成を示すブロック図である。
【図２】 図１の追加画像入力手段２によって入力される追加画像と、それに関する情報を説明するための図である。
【図３】 図１の背景画像３次元情報入力手段４によって入力される背景画像に関する情報を説明するための図である。
【図４】 図１の追加画像相対位置規定手段５によって規定される背景画像を撮影したカメラの撮影位置・撮影方向に対する被写体の位置・向きを説明するための図である。
【図５】 図１の追加画像形状補正手段６によって追加画像の形状を補正する方法を説明するための図である。
【図６】 この発明の実施の形態２に係る画像合成装置の構成を示すブロック図である。
【図７】 図６の背景画像範囲指定手段１７によって利用者が背景画像の中から形状補正の対象となる画像領域を指定する方法を説明するための図である。
【図８】 図６の追加画像形状補正手段６において、背景画像に生じる空白領域を塗りつぶす方法を説明するための図である。
【図９】 この発明の実施の形態３に係る画像合成装置の構成を示すブロック図である。
【図１０】 図９のイメージ・データ変換手段２７によって背景画像中に３次元モデルを元にしたイメージ・データを合成する方法を説明するための図である。
【図１１】 この発明の実施の形態４に係る画像合成装置の構成を示すブロック図である。
【図１２】 図１１の動画像入力手段３１によって入力された動画像中の１フレームに配置された追加画像の領域から合成領域抽出手段３２によって前後のフレーム中の合成領域を抽出する方法を説明するための図である。
【図１３】 図１１の合成領域抽出手段３２によって動画像のフレーム中に写っている物体の境界線を追跡する方法を説明するための図である。
【図１４】 図１１の追加画像伝播手段３３によって追加画像を各フレームに合成する方法を説明するための図である。
【図１５】 この発明の実施の形態５に係る画像合成装置の構成を示すブロック図である。
【図１６】 図１５の追加画像補完手段４８が開始フレームと終了フレームの間にあるフレームに合成する追加画像を生成する方法を説明するための図である。
【図１７】 この発明の実施の形態６に係る画像合成装置の構成を示すブロック図である。
【図１８】 図１７の追加画像動作定義手段５４によって定義される被写体の移動径路について説明するための図である。
【図１９】 この発明の実施の形態７に係る画像合成装置の構成を示すブロック図である。
【図２０】 図１９の背景画像領域分割手段５６によって背景画像の領域分割を行う方法を説明するための図である。
【図２１】 図１９の前後関係判定手段５７によって判定された順序を元にして合成された背景画像と追加画像を説明するための図である。
【図２２】 この発明の実施の形態８に係る画像合成装置の構成を示すブロック図である。
【図２３】 図２２の背景画像領域位置関係抽出手段６１の機能を説明するための図である。
【図２４】 この発明の実施の形態９に係る画像合成装置の構成を示すブロック図である。
【図２５】 図２４の領域境界対応付け手段６７の機能を説明するための図である。
【図２６】 この発明の実施の形態１０に係る画像合成装置の構成を示すブロック図である。
【図２７】 特開平５−１１７２７号公報に示された画像合成表示装置を説明するための構成図である。
【符号の説明】
１ 背景画像入力手段、２ 追加画像入力手段、３ 追加画像配置手段、
４ 背景画像３次元情報入力手段、５ 追加画像相対位置規定手段、６ 追加画像形状補正手段、７ 画像合成手段、１７ 背景画像範囲指定手段、１８ 背景画像切出し手段、２６ ３次元モデル入力手段、２７ イメージ・データ変換手段、３１ 動画像入力手段、３２ 合成領域抽出手段、３３ 追加画像伝播手段、４４ 追加画像第１相対位置規定手段、４５ 背景画像３次元情報第１入力手段、４６ 追加画像第２相対位置規定手段、４７ 背景画像３次元情報第２入力手段、４８ 追加画像補完手段、５４ 追加画像動作定義手段、５６ 背景画像領域分割手段、５７ 前後関係判定手段、６１ 背景画像領域位置関係抽出手段、６２ 地図情報保存手段、６７ 領域境界対応付け手段、７０ ３次元ＣＧモデル入力手段、７１ ３次元ＣＧモデル相対位置規定手段、７２ ３次元ＣＧモデル形状補正手段。
【発明の属する技術分野】
この発明は、デジタル画像処理における画像合成装置に関し、特に、実写による静止画像・動画像を背景画像として、その上に別の静止画像・コンピュータグラフィック（以下、ＣＧと記す）画像を合成する際に、背景画像との位置関係を考慮して違和感なく合成を行う画像合成装置に関する。
【０００２】
【従来の技術】
図２７は例えば特開平５−１１７２７号公報に示された画像合成表示装置と同様な従来の画像合成表示装置であり、ビデオカメラで撮像した画像に対してコンピュータグラフィックを意図した位置に合成して表示するものである。
図２７において、７３はビデオカメラ、７４はビデオカメラ７３に取り付けられた例えば地磁気センサやジャイロ等からなる方向位置認識センサ、７５はコンピュータ画像の矢視方向及び大きさによるコンピュータ画像信号であるコンピュータＲＧＢ画像信号を出力するＣＧ装置、７６はＣＧ装置７５から出力されるコンピュータＲＧＢ画像信号を入力するコンピュータ画像フレームメモリ、７８はビデオカメラ７３からのビデオＲＧＢ画像信号であるＮＴＳＣ信号を２値化して２値化ビデオ画像信号であるビデオＲＧＢ画像信号を出力するビデオ信号変換装置、７９はビデオ信号変換装置７８からのビデオＲＧＢ画像信号を１コマ毎に入力するビデオ画像フレームメモリ、８０はビデオ画像フレームメモリ７９及びコンピュータ画像フレームメモリ７６からの両ＲＧＢ画像信号を合成し、合成２値化画像信号である合成ＲＧＢ画像信号を出力する画像合成部、８１は合成ＲＧＢ画像信号を２値化し、２値化した状態の合成ＲＧＢ画像信号を合成ＮＴＳＣ画像信号に変換するＲＧＢ信号変換装置、８２は表示装置としてのディスプレイである。
【０００３】
次に動作について説明する。
ビデオカメラ７３は、所定の領域の撮像方向及びビデオカメラ７３の現在位置を検出する方向位置認識センサ７４を備えている。ＣＧ装置７５は、ビデオカメラ７３が所定の領域を撮影する際に、上記方向位置認識センサ７４から検出されるカメラ視点・方向の情報を用いて、ビデオカメラ７３で撮影された画像と同じ視点から見えるＣＧ画像を生成する。これにより、ビデオカメラ７３で撮影する位置や向きをランダムに変えても、ＣＧによるオブジェクトが画像中の意図された位置に存在しているように見せるためにＣＧ画像の大きさや向きを修正して生成し、ディスプレイ８２に合成された画像を違和感なく表示することを可能にしている。
【０００４】
【発明が解決しようとする課題】
従来の画像合成表示装置は、ビデオカメラ７３で撮影された画像に対して、ＣＧ装置７５により作成されたＣＧモデルを元にして生成される画像を合成して表示するための装置であり、ビデオカメラ７３で撮影された画像に別の画像を合成するために、ＣＧモデルを事前に作成しておかなければならないという問題点があった。
【０００５】
また、ビデオカメラ７３で撮影された動画像に対して、別の画像を合成するために、撮影している間常にカメラの方向・位置を検出するための方向位置認識センサ７４をセットして方向・位置の情報を検出し続けなければならないという問題点があった。
【０００６】
また、ビデオカメラ７３で撮影された画像に対して、ＣＧ画像を合成する際に、ビデオカメラ７３で撮影された画像中の被写体とＣＧ画像との前後の位置関係を考慮していないため、例えばビデオカメラ７３で撮影された画像の中の１本の木の向こうにＣＧ画像による建物を合成して表示したい場合でも、ＣＧ画像が木の上に表示されるため、ＣＧ画像の手前にある木の画像が隠れてしまうという問題点があった。
【０００７】
この発明は上記のような問題点を解決するためになされたもので、ＣＧモデルを事前に作成しなくても、静止画像を用意することにより背景画像中に別の画像を違和感なく合成することができるとともに、簡単な操作によって背景動画像中に違和感なく別の画像を合成することができ、また背景画像中の被写体と背景画像に追加する追加画像との前後関係を考慮して両画像を合成する機能を持った画像合成装置を得ることを目的とする。
【０００８】
【課題を解決するための手段】
この発明に係る画像合成装置は、背景画像を入力する背景画像入力手段と、追加画像を入力する追加画像入力手段と、背景画像の３次元情報を入力するための背景画像３次元情報入力手段と、背景画像上での追加画像の相対位置を規定するための追加画像相対位置規定手段と、この追加画像相対位置規定手段により規定された追加画像の相対位置に基づいて背景画像上に追加画像を合成する前に追加画像の形状を補正する追加画像形状補正手段とを有する追加画像配置手段と、上記背景画像３次元情報入力手段により入力された３次元情報に従って背景画像を画像領域毎に分割するための背景画像領域分割手段と、上記背景画像領域分割手段により分割されたそれぞれの画像領域と追加画像との前後関係を判定するための前後関係判定手段と、上記追加画像形状補正手段により形状補正された追加画像を背景画像に合成すると共に上記前後関係判定手段により追加画像よりも手前にあると判定された画像領域を追加画像の上から合成するための画像合成手段とを備えることにより、背景画像中の被写体との前後関係を考慮しながら別な画像を合成すると共に、地図情報を保存した地図情報保存手段と、上記背景画像領域分割手段により分割された画像領域の間の位置関係を上記地図情報保存手段からの背景画像周辺の地図情報を参照して取り出すための背景画像領域位置関係抽出手段とをさらに備えることにより、背景画像中の被写体の前後関係を合成画像に反映することとし、前記背景画像領域位置関係抽出手段は、前記背景画像中で分割された画像領域それぞれの重心点を求め、地図情報上にカメラの視点位置と背景画像と画像領域の重心点を対応させて、カメラの視点位置からカメラの視野にある各重心点に向かって地図情報上で直線を引くことにより、重心点の先にある被写体とカメラの視点位置との距離を求め、求めた距離を各画像領域に対応付けることを特徴とする。
また、他の発明に係る画像合成装置は、背景画像を入力する背景画像入力手段と、追加画像を入力する追加画像入力手段と、背景画像の３次元情報を入力するための背景画像３次元情報入力手段と、背景画像上での追加画像の相対位置を規定するための追加画像相対位置規定手段と、この追加画像相対位置規定手段により規定された追加画像の相対位置に基づいて背景画像上に追加画像を合成する前に追加画像の形状を補正する追加画像形状補正手段とを有する追加画像配置手段と、上記背景画像３次元情報入力手段により入力された３次元情報に従って背景画像を画像領域毎に分割するための背景画像領域分割手段と、上記背景画像領域分割手段により分割されたそれぞれの画像領域と追加画像との前後関係を判定するための前後関係判定手段と、上記追加画像形状補正手段により形状補正された追加画像を背景画像に合成すると共に上記前後関係判定手段により追加画像よりも手前にあると判定された画像領域を追加画像の上から合成するための画像合成手段とを備えることにより、背景画像中の被写体との前後関係を考慮しながら別な画像を合成すると共に、地図情報を保存した地図情報保存手段と、上記背景画像領域分割手段により背景画像をいくつかの画像領域に分割する際に、背景画像内の被写体の境界線を上記地図情報保存手段からの背景画像周辺の地図情報を参照して取り出す領域境界対応付け手段とをさらに備えることにより、背景画像中の被写体毎の画像領域を分割することとし、前記領域境界対応付け手段は、前記地図情報上に背景画像とカメラ視点を対応付け、カメラ視点から背景画像に写っている被写体の境界部分に対して直線を引き、当該直線と背景画像との交点を背景画像中の被写体の境界線とすることを特徴とする。
【００１８】
【発明の実施の形態】
実施の形態１．
図１はこの発明の実施の形態１を示すシステム構成図である。
図１において、１は画像を計算機上で合成する際に、背景となる画像(以下、背景画像）を入力するための背景画像入力手段、２は背景画像入力手段によって入力された背景画像に合成するための別の画像（以下、追加画像）を入力するための追加画像入力手段、３は背景画像上に追加画像を配置するための追加画像配置手段であり、この追加画像配置手段３は、背景画像の撮影位置などの３次元情報を入力するための背景画像３次元情報入力手段４と、背景画像上での追加画像の相対位置を規定するための追加画像相対位置規定手段５と、追加画像相対位置規定手段５によって規定された追加画像の相対位置に基づいて背景画像上に追加画像を合成する前に追加画像の形状を補正するための追加画像形状補正手段６とを有する。７は追加画像形状補正手段６によって形状補正された追加画像を背景画像に合成するための画像合成手段である。
【００１９】
次に動作について説明する。
まず、背景画像入力手段１によって、画像合成を行う背景となる画像を入力する。背景画像を入力するには、デジタルカメラで撮影したイメージ・データを計算機に取り込んだり、ビデオカメラで撮影した映像をキャプチャして計算機にデジタル・データとして取り込むことなどによって行う。次に、追加画像入力手段２によって、背景画像に合成するための追加画像を入力する。追加画像を入力するには、デジタルカメラで撮影したイメージ・データを計算機に取り込んだり、市販のイメージ描画ソフトウェアで作成することなどによって行う。本実施の形態では、看板広告などの長方形の板状物体を撮影した画像を追加画像として、カメラで撮影した町の風景などの背景画像に合成する例で説明する。この時、追加画像を撮影したときの距離や被写体の大きさの情報も入力する。
【００２０】
図２は追加画像とそれに関する情報を説明するための図である。
撮影用のカメラ８で被写体１１を撮影したときの撮影視野９の中に、被写体１１の画像１０が写っている。画像１０を追加画像として入力する。追加画像に関する情報として、被写体１１の大きさ(Ｌｘ、Ｌｙ）、カメラ８と被写体１１との距離Ｌ１も同時に入力する。なお、図２では、カメラ視線に対して被写体１１が垂直になっているときの画像１０を追加画像の例としているが、被写体１１がカメラ視線に対して角度を持っている場合の画像を追加画像としても、以下に述べる方法と同様の方法で合成することができる。
【００２１】
次に、背景画像３次元情報入力手段４によって、背景画像を撮影したときのカメラの撮影位置・撮影方向の情報を入力する。
図３は背景画像として用いる画像を撮影するときの状況を説明するための図である。
図３において、１２は背景画像を撮影するためのカメラであり、１３はカメラ１２によって撮影された背景画像である。また、（Ｘ２，Ｙ２，Ｚ２）は、カメラ１２で背景画像を撮影したときの撮影位置の絶対座標であり、（θｘ２，θｙ２，θｚ２）は、背景画像を撮影したときのカメラの絶対座標における方向である。ここで、θｘ、θｙ、θｚは、それぞれＸ軸方向、Ｙ軸方向、Ｚ軸方向に対するカメラ１２の回転角度を表す。
【００２２】
次に、追加画像相対位置規定手段５によって、背景画像を撮影したときのカメラ１２の撮影位置・撮影方向に対して被写体１１が位置する場所を入力する。
図４は背景画像を撮影したカメラ１２の撮影位置・撮影方向に対する被写体１１の位置・向きを説明するための図である。
図４において、（Ｘ１，Ｙ１，Ｚ１）は被写体１１の位置の絶対座標、（θｘ１，θｙ１，θｚ１）は、被写体１１の絶対座標における方向である。１４は被写体１１の位置・向きを追加画像相対位置規定手段５によって規定したときに最終的に背景画像１３に合成される被写体１１の画像である。Ｌ２はカメラ１２と仮想的に置かれた被写体１１との距離を表し、Ｌ２＝｛（Ｘ２-Ｘ１）２＋（Ｙ２−Ｙ１）２＋（Ｚ２−Ｚ１）２｝１／２である。
【００２３】
次に、追加画像形状補正手段６によって、追加画像１０の形状を補正して、背景画像１３に合成される画像１４を生成する。
図５は追加画像１０の形状を補正する方法を説明するための図であり、カメラ１２の位置・方向を基準とした被写体１１の相対的な位置・向きを元にして説明する。
図５は被写体１１がカメラ１２に対してＹ軸方向にθｙだけ回転している場合である。被写体１１を元にした追加画像１０の縦・横の長さをそれぞれＬｘ'、Ｌｙ'とする。既に述べたように、追加画像１０を撮影したときには、被写体１１はカメラ１２に対して垂直になっている。図５で被写体１１がカメラ１２に対してθｙだけ回転していることによって、追加画像１０の幅Ｌｘ'は、Ｌｘ'ｃｏｓ（θｙ）になる。これは、追加画像１０を図５の１５のような幅１の帯状領域に分割して、縮尺の比率にしたがって帯状領域１５を間引くことによって行う。
【００２４】
また、被写体１１が回転することによって、カメラ１２に近づいたり遠ざかったりする部分が出てくる。これに対しては、帯状領域１５のうち、間引かれなかったものに対してＹ軸方向の長さを計算して伸縮させることによって対応する。
図５の例では、追加画像１０の一番左端の帯状領域１５は、被写体１１が最もカメラ１２に近づく部分であるため、形状補正後の帯状領域１６のようにＹ軸方向に伸張される。他の部分の帯状領域に対しても、帯状領域１６と同様の計算によってＹ軸方向に伸張されて、それら伸張後の帯状領域を合わせることによって、形状補正後の追加画像１４を生成する。なお、図５の例では、説明の簡単のためＬ２をＬ１（追加画像を撮影したときの距離）と同一の距離として説明したが、Ｌ２がＬ１と異なる場合には、上記のようにして追加画像１０を形状補正した後、縦横の大きさをＬ１／Ｌ２倍することによって、形状補正後の追加画像１４を得ることができる。
【００２５】
図５において、被写体１１がＹ軸方向に回転している場合の追加画像の形状補正について説明したが、被写体１１がＸ軸方向に回転している場合の追加画像の形状補正についても同様の方法で形状補正を行うことができる。また、Ｚ軸方向に回転している場合には、背景画像１３の平面上で追加画像１０を回転させることによって、形状補正を行う。
最後に、画像合成手段７によって、背景画像１３と形状補正後の追加画像１４とを合成する。
【００２６】
以上のように、この実施の形態１では、背景となる画像とそれに合成する別の画像を入力する際に、撮影情報や被写体の情報を同時に入力することによって、追加画像を背景画像中に合成する時に追加画像の形状を補正するようにしているので、背景画像に別の画像を合成するために予め３次元ＣＧモデルを作成する必要もなく、背景画像と別の画像を簡単にかつリアルに合成することができる。
【００２７】
実施の形態２．
上述した実施の形態１では、背景画像に対して、全く別の追加画像を入力して合成するようにしたものであるが、次に背景画像の中に映っている被写体の画像部分を修正するような場合の実施の形態を示す。
図６は実施の形態２におけるシステム構成図である。
図６において、背景画像入力手段１、追加画像配置手段３、背景画像３次元情報入力手段４、追加画像相対位置規定手段５、追加画像形状補正手段６及び画像合成手段７は、実施の形態１と同様である。この実施の形態２において、異なる点は、追加画像入力手段２を、追加画像を背景画像の中から探して背景画像の中から画像範囲を指定するための背景画像範囲指定手段１７と、背景画像範囲指定手段１７によって指定された範囲の画像を追加画像として切り出して追加画像配置手段３に渡すための背景画像切出し手段１８とによって構成した点である。
【００２８】
次に動作について説明する。
まず、実施の形態１と同様にして、背景画像入力手段１によって、背景となる画像を入力する。次に、背景画像範囲指定手段１７によって、背景画像入力手段１で入力された背景画像の中から形状補正の対象となる画像領域を指定する。
図７は利用者が背景画像の中から形状補正の対象となる画像領域を指定する方法を説明するための図である。
カメラ１２で背景画像１３を撮影したときに、被写体２０が映っている画像領域１９を修正したいとする。利用者は、ディスプレイに表示された背景画像１３の上でマウス２２を用いて画像領域１９の範囲を含むように指定範囲２１を入力する。図７の例では矩形範囲指定を行っているが、多角形の頂点をマウスで指定して、多角形領域を指定することも可能である。上記の操作によって、背景画像１３の中から修正したい画像領域１９の範囲を指定する。
【００２９】
次に、背景画像切出し手段１８により、背景画像範囲指定手段１７によって指定された画像領域１９を切出して入力する。また、画像領域１９の実態である被写体２０の情報も入力する。（Ｘ１，Ｙ１，Ｚ１）、（θｘ１、θｙ１、θｚ１）は、それぞれカメラ１２を原点としたときの被写体２０の位置座標と向きの情報である。
【００３０】
追加画像配置手段３では、背景画像１３から切り出された画像領域１９を追加画像として、実施の形態１と同様の手順により、被写体２０の位置・向きを変更した場合の画像を、追加画像の形状を補正することによって得る。なお、実施の形態１と異なり、被写体２０の新しい位置・向きによっては、切り出された画像領域１９の一部または全部が、新しく形状補正された追加画像の領域に含まれずに、背景画像中に空白領域が生じる場合がある。このような場合には、画像合成手段７において、空白領域の境界線上の画素の色を平均した色で、追加画像の領域に含まれない領域を塗りつぶす。
【００３１】
図８は上記のような空白領域の塗りつぶしを説明するための図である。
図８において、２３は形状補正された追加画像、２４は形状補正された追加画像２３に含まれない画像領域１９による空白領域を表す。画像合成手段７において、空白領域２４はその境界線上の画素の色の平均色（図８の例では白）によって塗りつぶし領域２５になる。
【００３２】
以上のように、実施の形態２では、背景となる画像の中に、位置や向きを変更したい被写体が写っている場合、その被写体の画像領域を背景画像の中から切出して被写体の位置・向きの変更に伴う画像の補正を行うようにしているので、一度入力した背景画像の一部分を簡単に修正することができる。
【００３３】
実施の形態３．
以上の実施の形態では、追加画像を入力するためにカメラによって撮影された画像を入力していたが、この実施の形態３では、追加画像を入力するために３次元ＣＧモデルを利用する。
図９は実施の形態３におけるシステム構成図である。
図９において、背景画像入力手段１、追加画像配置手段３、背景画像３次元情報入力手段４、追加画像相対位置規定手段５、追加画像形状補正手段６及び画像合成手段７は、実施の形態１と同様である。実施の形態３において異なる点は、追加画像入力手段２を、追加画像を生成するための元となる３次元ＣＧモデルを入力するための３次元モデル入力手段２６と、３次元モデル入力手段２６によって入力された３次元ＣＧモデルを元にイメージ・データを生成して、追加画像として追加画像配置手段３に渡すためのイメージ・データ変換手段２７とによって構成した点である。
【００３４】
次に、動作について説明する。
まず、実施の形態１と同様にして、背景画像入力手段１によって、背景となる画像を入力する。次に、３次元モデル入力手段２６によって追加画像を生成する元になる３次元ＣＧモデルを入力する。３次元モデル入力手段としては、市販の３ＤＣＡＤソフトウェアを利用する。次に、イメージ・データ変換手段２７によって、入力された３次元ＣＧモデルを元に、追加画像を生成する。
【００３５】
図１０は背景画像中に３次元モデルを元にしたイメージ・データを追加画像として合成する方法を説明するための図である。
イメージ・データ変換手段２７では、３次元モデル入力手段２６によって入力されたＣＧ２８をカメラ位置３０に対して距離Ｌ１の位置に置いて、その結果カメラ視野内に得られる画像２９を追加画像として取出す。
【００３６】
追加画像配置手段３では、イメージ・データ変換手段２７によって得られる画像２９を追加画像として、実施の形態１と同様の手順により、追加画像の形状を補正することができる。
【００３７】
以上のように、実施の形態３では、３次元モデル入力手段２６によって入力された３次元ＣＧモデルを元にして追加画像を生成し、追加画像の形状を補正しながら背景画像への合成を行うようにしているので、３次元モデルを元にした追加画像を一つ生成しておけば、それ以降は３次元ＣＧを扱うためのソフトウェアを用意することなく、背景画像に対して３次元ＣＧモデルから生成したイメージのさまざまなバリエーションを簡単に合成することができる。
【００３８】
実施の形態４．
以上の実施の形態では、背景画像として静止画像を用いるものであるが、この実施の形態４では、動画像を背景画像として、背景の動画像の各フレーム毎に追加画像を合成する。
図１１は実施の形態４におけるシステム構成図である。
図１１において、背景画像入力手段１、追加画像入力手段２及び追加画像配置手段３は、実施の形態１と同様である。さらに、この実施の形態４においては、背景とする動画像を入力するための動画像入力手段３１、動画像入力手段３１によって入力された動画像の各フレームの中から、追加画像を合成する領域を抽出するための合成領域抽出手段３２、追加画像配置手段３によって動画像中の１フレームに配置された追加画像を、合成領域抽出手段３２によって抽出された領域を用いて、前後のフレームに追加画像の形状を補正しながら合成していくための追加画像伝播手段３３が追加されている。
【００３９】
次に、動作について説明する。
まず、動画像入力手段３１によって、背景として用いる動画像を入力する。次に、動画像入力手段３１によって入力された動画像のフレームの中から利用者が１フレームを選択して、選択されたフレームの画像を背景画像入力手段１によって背景画像として入力する。次に、実施の形態１と同様にして追加画像入力手段２によって追加画像を入力する。次に、追加画像配置手段３によって、背景画像の中に追加画像を配置する。
【００４０】
実施の形態４では、動画像に追加画像を合成する方法を、道路上から撮影した動画像に写っているビルの壁面に追加画像として壁画を合成する例で説明する。
図１２は動画像入力手段３１によって入力された動画像中の１フレームに配置された追加画像の領域から、合成領域抽出手段３２によって上記１フレームの前後のフレーム中から合成領域を抽出する方法を説明するための図である。
図１２において、３４は動画像入力手段３１によって入力された動画像である。３５は動画像３４に含まれるフレームの中から背景画像入力手段１において背景画像として選択されたフレーム、３６は追加画像配置手段３によってフレーム３５に配置された壁画の追加画像、３７は追加画像３５の境界線、３８はフレーム３５の前後のフレームに、フレーム３５で定義された境界線３７に相当する領域を伝播させて得られた境界線である。本実施の形態の例では、前後のフレームに写っているビルの壁面が伝播される。
【００４１】
また、図１３は動画像のフレーム中に写っている物体の境界線を追跡する方法を説明するための図である。
フレーム３５における境界線３７を次のフレーム３９の同じ位置に置くと境界線４０となる。フレーム３９の境界線４０の内部に、フレーム３５の境界線３７の内部の色と同じ色の領域４１を抽出する。次に、領域４１の外部に向けて、同じ色を持つ画素を追跡していき、領域４２を得る。最後に、領域４２に内接する境界線４０の相似図形４３を求めて、これをフレーム３９における合成領域とする。ここで求められた相似図形４３を新しい境界線として、フレーム３９の次のフレームに対して同様の処理を行うことによって、動画像のフレーム中に写っている物体の境界線を追跡することができる。
【００４２】
ここでは、境界線３７の内部の色情報を用いた簡単な方法について説明したが、動画像中の物体の境界線を追跡する方法として、動的輪郭モデル（Snakes）を用いることも可能である。この方法は、「動的輪郭モデルを用いた移動物体の追跡に関する検討」（１９９５年電子情報通信学会情報・システムソサイエティ大会Ｄ−２３７）などに記述されている。
【００４３】
さらに、図１４は合成領域抽出手段３２によって抽出された各フレーム毎の合成領域の形状にあわせて、追加画像伝播手段３３によって追加画像を各フレームに合成する方法を説明するための図である。
追加画像３６を幅１の帯状領域１５に分割して、別のフレームの境界線４３の幅にあわせて間引き・拡幅を行って、幅を合わせる。次に、幅を境界線４３に合わせた追加画像を再び幅１の帯状領域に分割して、それぞれの帯状領域毎に上下の高さを境界線４３に合わせることによって、追加画像３６を各フレームの境界線の形状に合わせることができる。
【００４４】
以上のように、この実施の形態４では、背景として動画像を用いて、動画像中の１フレームを背景画像として追加画像を配置することによって、前後のフレームの対応する合成領域を抽出して追加画像を配置するようにしているので、動画像中に簡単に別の画像を合成することができる。
【００４５】
実施の形態５．
上述した実施の形態４では、動画像に別の画像を合成する際に、追加画像の配置位置を規定するフレームを一つだけで行い、その前後のフレームに対しては合成領域を追跡するものであるが、この実施の形態５では、追加画像の配置位置を規定するフレームを合成の開始フレームと終了フレームの２つのフレームに対して行い、２つのフレームの間にある各フレームに対して自動的に追加画像を合成する。
【００４６】
図１５は実施の形態５におけるシステム構成図である。
図１５において、背景画像入力手段１、追加画像入力手段２、動画像入力手段３１及び追加画像伝播手段３３は、実施の形態４と同様である。実施の形態５では、追加画像配置手段３として、動画像入力手段３１によって入力された動画像のフレームの中から選択された合成の開始フレームに対して追加画像の相対位置を決定するための追加画像第１相対位置規定手段４４と、開始フレームの３次元情報を入力するための背景画像３次元情報第１入力手段４５、合成終了フレームに対して追加画像の相対位置を決定するための追加画像第２相対位置規定手段４６と、終了フレームの３次元情報を入力するための背景画像３次元情報第２入力手段４７と、開始フレームと終了フレームに対する追加画像の形状補正を行う追加画像形状補正手段６とを備えている。
【００４７】
次に、動作について説明する。
まず、動画像入力手段３１によって、入力された動画像のフレームの中から、背景画像入力手段１によって、追加画像を合成する開始フレームと終了フレームを選択する。次に、追加画像入力手段２によって入力された追加画像に対して、追加画像第１相対位置規定手段４４と、背景画像３次元情報第１入力手段４５、追加画像第２相対位置規定手段４６と、背景画像３次元情報第２入力手段４７及び追加画像形状補正手段６によって、開始フレーム・終了フレームに対する追加画像の形状補正を行う。開始フレーム、終了フレームに対する追加画像の形状補正は、実施の形態１と同様の方法によって行う。次に、開始フレームと終了フレームにおける追加画像を元にして、追加画像補完手段４８において開始フレームと終了フレームの間にあるフレームに合成する追加画像の領域を生成する。
【００４８】
図１６は追加画像補完手段４８が開始フレームと終了フレームの間にあるフレームに合成する追加画像を生成する方法を説明するための図である。
図１６の例では、実施の形態１と同様に追加画像を例としている。
図１６において、４９、５０はそれぞれ動画像中の合成の開始フレームと終了フレームであり、５１、５２はそれぞれ追加画像配置手段３によって開始フレーム４９と終了フレーム５０に配置された追加画像である。開始フレーム４９と終了フレーム５０の間に、（Ｎ−１）フレームがあるとすると、（Ｎ−１）フレームのｋ番目のフレームに対する追加画像の領域の頂点の座標は、図１６に示す式によって計算することができる。
【００４９】
そして、追加画像補完手段４８によって生成された各フレームの追加画像の領域にしたがって、実施の形態４で記述した方法と同様の方法で、追加画像伝播手段３３が各フレームに追加画像を合成する。
【００５０】
以上のように、この実施の形態５では、動画像中の開始フレームと終了フレームに対する追加画像の配置位置を指定するようにしているので、開始フレームと終了フレームの間のフレームに対する追加画像の合成をするのに動画像中の物体の追跡などの複雑な計算処理を行うことなく、動画中に簡単に別の画像を合成することができる。また、実施の形態５の説明では、動画像中の開始フレームと終了フレームに追加画像を指定したが、画像データの代わりに開始・終了フレームに３次元ＣＧモデルを配置することによって、開始・終了フレームの間のフレームにおける３次元ＣＧモデルの配置位置を同様の原理を用いて計算して動画像と合成することも可能である。
【００５１】
実施の形態６．
上述した実施の形態４では、動画像に別の画像を合成する際に、追加画像の位置を背景画像に対して静止したものとして追加画像の配置位置を計算していたが、この実施の形態６では、背景画像に対して追加画像の元となる被写体の移動径路を定義することによって、背景画像中で移動する追加画像を合成する。
【００５２】
図１７は実施の形態６におけるシステム構成図である。
図１７において、背景画像入力手段１、追加画像入力手段２、追加画像配置手段３、合成領域抽出手段３２及び追加画像伝播手段３３は、実施の形態４と同様である。また、背景となる動画像に対する追加画像元となる被写体の移動径路を定義するための追加画像動作定義手段５４によって構成されている。
【００５３】
次に、動作について説明する。
動画像入力手段３１、背景画像入力手段１、追加画像入力手段２、追加画像配置手段３によって追加画像を１フレーム上に配置するまでは、実施の形態４と同様である。次に、追加画像動作定義手段５４では、１フレーム上に配置された追加画像の移動の径路について利用者が定義を行う。
【００５４】
図１８は追加画像動作定義手段５４によって定義される被写体の移動径路について説明するための図である。
図１８において、５５は動画像入力手段３１によって入力された動画像の中で、カメラ３０に対する被写体２８の位置・向きを時間に対して定義したものである。５５を用いて、合成領域抽出手段３２において、追加画像２９が配置されたフレームの前後における合成領域を抽出する。
次に、実施の形態４と同様にして、追加画像伝播手段３３によって他のフレームに追加画像を合成する。
【００５５】
以上のように、この実施の形態６では、動画像中における被写体の動きを定義するようにしているので、動画像に対して動きのある被写体の画像を簡単に合成することが可能である。また、実施の形態６の説明では、動画像中の背景画像に追加画像を指定したが、画像データの代わりに背景画像に３次元ＣＧモデルを配置することによって、背景画像の前後のフレームにおける３次元ＣＧモデルの動きを同様の原理を用いて定義して動画像と合成することができるので、動きのある３次元ＣＧモデルと動画像とを簡単に合成することができる。
【００５６】
実施の形態７．
以上の実施の形態では、背景画像に別の画像を合成する際に、背景画像に写っている被写体と追加画像に写っている被写体との前後関係を考慮していないため、常に追加画像の全体が背景画像の上に表示されていたが、この実施の形態７では、背景画像を被写体毎に領域分割してそれらの位置情報を利用して追加画像を合成する。
【００５７】
図１９は実施の形態７におけるシステム構成図である。
図１９において、背景画像入力手段１、追加画像入力手段２、追加画像配置手段３及び画像合成手段７については、実施の形態１と同様である。また、背景画像入力手段１によって入力された背景画像を、被写体毎に領域分割するための背景画像領域分割手段５６と、背景画像領域分割手段５６によって分割された画像領域と、追加画像との前後関係を判定するための前後関係判定手段５７とを備えている。
【００５８】
次に、動作について説明する。
背景画像入力手段１、追加画像入力手段２、追加画像配置手段３によって追加画像を背景画像上に配置するまでは、実施の形態１と同様である。背景画像領域分割手段５６では、背景画像を被写体毎に領域分割を行い、それぞれの領域毎にカメラ視点からの距離の情報を付加する。
図２０は背景画像の領域分割を行う方法を説明するための図である。
利用者は、ディスプレイに表示された背景画像１３を見ながら、被写体の領域毎にマウスを操作しながら領域の頂点を指示して、多角形の領域を定義していく。指定された領域には、それぞれ領域Ｎｏ．とカメラ視点からの距離の情報５８を対応付けて入力する。
【００５９】
次に、背景画像領域分割手段５６によって得られた背景画像の各画像領域のカメラ視点からの距離情報と、追加画像配置手段３による追加画像の位置情報を元にして、前後関係判定手段５７が追加画像を合成する順番を判定する。画像合成手段７は、前後関係判定手段５７によって、先ず追加画像よりもカメラ視点から遠くにある画像領域を表示し、次に追加画像、そして最後に追加画像よりもカメラ視点から近くにある画像領域を合成する。
【００６０】
図２１は前後関係判定手段５７によって判定された順序を元にして合成された背景画像と追加画像を説明するための図である。
領域分割された背景画像に対して、カメラからの距離が１５の追加画像５９を合成した場合、カメラからの距離が１５よりも小さい背景画像が追加画像５９の上に合成されて、最終的に合成画像６０を得る。
【００６１】
以上のように、この実施の形態７では、背景画像を被写体毎の画像領域を分割し、それぞれの画像領域にカメラからの距離情報を対応付けているので、背景画像に追加画像を合成するときに被写体の前後関係を正しく反映させた合成画像を簡単に得ることができる。
背景画像として動画像を入力した場合には、背景画像領域分割手段５６による領域分割を動画像中の各フレームに対して被写体の領域を定義していき、それぞれの領域に領域No. とカメラ視点からの距離の情報を対応付けて入力する。また、追加画像の配置を実施の形態４〜６と同様な方法で行うことによって、背景画像として動画像を入力した場合にも同様の効果を得ることができる。
【００６２】
実施の形態８．
上述した実施の形態７では、背景画像を被写体毎に領域分割してそれらの位置情報を利用して追加画像を合成するために、背景画像領域分割手段において利用者が画像領域毎にカメラからの距離を入力したが、この実施の形態８では、背景画像に関する地図情報を参照することによって、画像領域毎のカメラからの距離を入力する。
【００６３】
図２２は実施の形態８におけるシステム構成図である。
図２２において、背景画像入力手段１、追加画像入力手段２、追加画像配置手段３、画像合成手段７、背景画像領域分割手段５６及び前後関係判定手段５７については、実施の形態７と同様である。また、背景画像入力手段１によって入力する背景画像に写っているシーンの地理的な情報を保存するための地図情報保存手段６２と、地図情報保存手段６２に保存されている地図情報を参照して背景画像中の領域にカメラからの距離情報を関連付けるための背景画像領域位置関係抽出手段６１を備えている。
【００６４】
次に、動作について説明する。
背景画像入力手段１、追加画像入力手段２、追加画像配置手段３によって追加画像を背景画像上に配置し、また背景画像領域分割手段５６によって、背景画像を被写体毎の画像領域に分割するまでは、実施の形態７と同様である。次に、背景画像領域位置関係抽出手段６１によって、背景画像から分割された画像領域毎にカメラからの距離を対応付ける。
【００６５】
図２３は背景画像領域位置関係抽出手段６１の機能を説明するための図である。本実施の形態８では、町の建物の風景を撮影したものを背景画像とし、撮影された背景画像周辺の地図情報が地図情報保存手段６２に保存されている例で説明する。背景画像６４の中で分割された画像領域それぞれの重心点６６を求める。次に、地図情報６３の上に、カメラの視野すなわち背景画像６４とカメラの視点位置６５と画像領域の重心点６６を対応させる。地図情報６３は、背景画像に写っている建物の形状・位置の情報が存在する。従って、カメラの視点位置６５からカメラの視野にある各重心点に向かって地図情報６３の上で直線をひくことによって、重心点の先にある実際の建物とカメラの視点位置６５との距離を求めることができる。こうして求められた距離を、各重心点６６すなわち各画像領域に対応付ける。
【００６６】
背景画像領域位置関係抽出手段６１によって対応付けられた背景画像内の画像領域とカメラ視点との距離を用いて、実施の形態７と同様の方法で背景画像と追加画像とを合成する。
【００６７】
以上のように、この実施の形態８では、背景画像を被写体毎の画像領域に分割した後、それぞれの画像領域とカメラからの距離情報を地図情報を利用して対応付けているので、背景画像に追加画像を合成するときに被写体の前後関係を容易に判断することができる。
背景画像として動画像を入力した場合には、動画像中の各フレーム毎に分割された画像領域に対して、背景画像領域位置関係抽出手段６１を用いてカメラからの距離情報を対応付ける。また、追加画像の配置を実施の形態４〜６と同様な方法で行うことによって、背景画像として動画像を入力した場合にも同様の効果を得ることができる。
【００６８】
実施の形態９．
上述した実施の形態７では、背景画像を被写体毎に領域分割するために、利用者がディスプレイを見ながらマウスを操作して画像領域を指定したが、この実施の形態９では、背景画像に関する地図情報を参照することによって、背景画像から被写体毎の画像領域を分割する。
【００６９】
図２４は実施の形態９におけるシステム構成図である。
図２４において、背景画像入力手段１、追加画像入力手段２、追加画像配置手段３、画像合成手段７、背景画像領域分割手段５６、前後関係判定手段５７及び地図情報保存手段６２については、実施の形態７と同様である。また、地図情報保存手段６２に保存されている地図情報を参照して背景画像から被写体毎の画像領域を分割するための領域境界対応付け手段６７を備えている。
【００７０】
次に、動作について説明する。
背景画像入力手段１、追加画像入力手段２、追加画像配置手段３によって追加画像を背景画像上に配置するまでは、実施の形態７と同様である。次に、領域境界対応付け手段６７によって、背景画像を被写体毎に分割する。
図２５は領域境界対応付け手段の機能を説明するための図である。
先ず、地図情報６３の上に背景画像６４、カメラ視点６５を対応付ける。次に、カメラ視点６５から背景画像６４に写っている被写体の建物の境界部分に対して直線を引く。引かれた直線と背景画像６４との交点６８が、背景画像中の被写体の水平方向における境界線となる。さらに地図情報６３にそれぞれの建物の高さ情報が保存されていれば、その情報を用いて背景画像上で被写体の建物毎の画像領域６９を抽出することができる。背景画像領域分割手段５６は、領域境界対応付け手段６７によって抽出された画像領域６９をディスプレイ上に表示し、必要なら利用者は画像領域の形状をマウス操作などで修正することができる。次に、実施の形態７と同様の方法で各画像領域毎にカメラ視点からの距離を入力し、背景画像と追加画像とを合成する。
【００７１】
以上のように、この実施の形態９では、背景画像を被写体毎の画像領域に分割する際に、地図情報を用いて大体の画像領域を自動的に抽出するようにしているので、背景画像に追加画像を合成するときに被写体毎のカメラ視点からの位置情報を容易に対応付けることができる。また、実施の形態９の説明では、領域境界対応付け手段６７によって抽出された画像領域を背景画像領域分割手段５６によって修正しているが、修正せずにそのままの画像領域を用いて大体の画像領域に分割したまま背景画像と追加画像を合成しても良い。
【００７２】
実施の形態１０．
上述した実施の形態７では、背景画像に合成するものとして静止画を追加画像としていたが、この実施の形態１０では、静止画像に代えて３次元ＣＧモデルを背景画像に合成した画像を得る。
背景画像として動画像を入力した場合には、動画像中の各フレームに対して領域境界対応付け手段６７、背景画像領域分割手段５６を用いて被写体の画像領域を分割する。また、追加画像の配置を実施の形態４〜６と同様の方法で行うことによって、背景画像として動画像を入力した場合にも同様の効果を得ることができる。
【００７３】
図２６は実施の形態９におけるシステム構成図である。
図２６において、背景画像入力手段１、背景画像３次元入力手段４、画像合成手段７、背景画像領域分割手段５６及び前後関係判定手段５９は、実施の形態７と同様である。また、背景画像に合成する３次元ＣＧモデルを入力するための３次元ＣＧモデル入力手段７０、背景画像に対する３次元ＣＧモデルの相対位置を規定するための３次元ＣＧモデル相対位置規定手段７１、３次元ＣＧモデルの相対位置によって背景画像に合成する追加画像の形状を補正するための３次元ＣＧモデル形状補正手段７２を備えている。
【００７４】
次に、動作について説明する。
まず、実施の形態１と同様にして、背景画像入力手段１によって、背景となる画像を入力する。次に、３次元ＣＧモデル入力手段７０によって追加画像を生成する元になる３次元ＣＧモデルを入力する。３次元モデル入力手段としては、市販の３ＤＣＡＤソフトウェアを利用する。次に、３次元ＣＧ相対位置規定手段７１によって、入力された３次元ＣＧモデルの背景画像カメラ位置に対する相対位置を規定する。背景画像カメラ位置は、実施の形態１と同様にして、背景画像３次元情報入力手段４によって得る。次に、３次元ＣＧモデル相対位置規定手段７１によって規定された位置に基づいて、３次元ＣＧが背景画像に写る画像を３次元ＣＧ形状補正手段によって決定する。その後、実施の形態７と同様の方法によって、背景画像領域分割手段５６、前後関係判定手段５７、画像合成手段７によって、背景画像と３次元ＣＧモデルによる画像を合成する。
【００７５】
以上のように、この実施の形態１０では、背景画像に合成する追加画像を３次元ＣＧモデルを用いて生成しているので、自由に作成した立体感のある画像を、被写体の前後関係を正しく反映させて背景画像に合成することができる。
また、実施の形態７〜９において述べたように、背景画像として動画像を入力した場合にも同様の効果を得ることができる。
【００７６】
上述した各実施の形態によれば、背景画像に別の画像をいろいろな視点から簡単に合成することができるという効果がある。また、背景画像として動画像を用いた場合でも、動画像中の１ないし２フレームにおいて追加する画像を配置するだけで残りのフレームに対して自動的に画像を補正して合成するので、動画像の各フレームに簡単に画像を合成することができる。また、背景画像中の被写体の位置情報を考慮しているので、背景画像と別の画像を合成するときにそれぞれの被写体の前後関係を反映できるという効果がある。なお、背景画像中の被写体の位置関係を考慮した合成に関しては、背景画像として動画を用いた場合にも同様の方法を用いることによって、実現することができる。
【００７７】
【発明の効果】
以上のように、この発明によれば、背景となる画像とそれに合成する別の画像を入力する際に、撮影情報や被写体の情報を同時に入力することによって、追加画像を背景画像中に合成する時に追加画像の形状を補正するようにしているので、背景画像に別の画像を合成するために予め３次元ＣＧモデルを作成する必要もなく、背景画像と別の画像を簡単にかつリアルに合成することができる。
【００７８】
また、背景となる画像の中に、位置や向きを変更したい被写体が写っている場合、その被写体の画像領域を背景画像の中から切出して被写体の位置・向きの変更に伴う画像の補正を行うようにしているので、一度入力した背景画像の一部分を簡単に修正することができる。
【００７９】
また、３次元モデル入力手段によって入力された３次元ＣＧモデルを元にして追加画像を生成し、追加画像の形状を補正しながら背景画像への合成を行うようにしているので、３次元モデルを元にした追加画像を一つ生成しておけば、それ以降は３次元ＣＧを扱うためのソフトウェアを用意することなく、背景画像に対して３次元ＣＧモデルから生成したイメージのさまざまなバリエーションを簡単に合成することができる。
【００８０】
また、背景として動画像を用いて、動画像中の１フレームを背景画像として追加画像を配置することによって、前後のフレームの対応する合成領域を抽出して追加画像を配置するようにしているので、動画像中に簡単に別の画像を合成することができる。
【００８１】
また、動画像中の開始フレームと終了フレームに対する追加画像の配置位置を指定するようにしているので、開始フレームと終了フレームの間のフレームに対する追加画像の合成をするのに動画像中の物体の追跡などの複雑な計算処理を行うことなく、動画中に簡単に別の画像を合成することができる。
【００８２】
また、動画像中における被写体の動きを定義するようにしているので、動画像に対して動きのある被写体の画像を簡単に合成することが可能である。
【００８３】
また、背景画像を被写体毎の画像領域に分割し、それぞれの画像領域にカメラからの距離情報を対応付けているので、背景画像に追加画像を合成するときに被写体の前後関係を正しく反映させた合成画像を簡単に得ることができる。
【００８４】
また、背景画像を被写体毎の画像領域に分割した後、それぞれの画像領域とカメラからの距離情報を地図情報を利用して対応付けているので、背景画像に追加画像を合成するときに被写体の前後関係を容易に判断することができる。
【００８５】
また、背景画像を被写体毎の画像領域に分割する際に、地図情報を用いて大体の画像領域を自動的に抽出するようにしているので、背景画像に追加画像を合成するときに被写体毎のカメラ視点からの位置情報を容易に対応付けることができる。
【００８６】
さらに、背景画像に合成する追加画像を３次元ＣＧモデルを用いて生成しているので、自由に作成した立体感のある画像を、被写体の前後関係を正しく反映させて背景画像に合成することができる。
【図面の簡単な説明】
【図１】 この発明の実施の形態１に係る画像合成装置の構成を示すブロック図である。
【図２】 図１の追加画像入力手段２によって入力される追加画像と、それに関する情報を説明するための図である。
【図３】 図１の背景画像３次元情報入力手段４によって入力される背景画像に関する情報を説明するための図である。
【図４】 図１の追加画像相対位置規定手段５によって規定される背景画像を撮影したカメラの撮影位置・撮影方向に対する被写体の位置・向きを説明するための図である。
【図５】 図１の追加画像形状補正手段６によって追加画像の形状を補正する方法を説明するための図である。
【図６】 この発明の実施の形態２に係る画像合成装置の構成を示すブロック図である。
【図７】 図６の背景画像範囲指定手段１７によって利用者が背景画像の中から形状補正の対象となる画像領域を指定する方法を説明するための図である。
【図８】 図６の追加画像形状補正手段６において、背景画像に生じる空白領域を塗りつぶす方法を説明するための図である。
【図９】 この発明の実施の形態３に係る画像合成装置の構成を示すブロック図である。
【図１０】 図９のイメージ・データ変換手段２７によって背景画像中に３次元モデルを元にしたイメージ・データを合成する方法を説明するための図である。
【図１１】 この発明の実施の形態４に係る画像合成装置の構成を示すブロック図である。
【図１２】 図１１の動画像入力手段３１によって入力された動画像中の１フレームに配置された追加画像の領域から合成領域抽出手段３２によって前後のフレーム中の合成領域を抽出する方法を説明するための図である。
【図１３】 図１１の合成領域抽出手段３２によって動画像のフレーム中に写っている物体の境界線を追跡する方法を説明するための図である。
【図１４】 図１１の追加画像伝播手段３３によって追加画像を各フレームに合成する方法を説明するための図である。
【図１５】 この発明の実施の形態５に係る画像合成装置の構成を示すブロック図である。
【図１６】 図１５の追加画像補完手段４８が開始フレームと終了フレームの間にあるフレームに合成する追加画像を生成する方法を説明するための図である。
【図１７】 この発明の実施の形態６に係る画像合成装置の構成を示すブロック図である。
【図１８】 図１７の追加画像動作定義手段５４によって定義される被写体の移動径路について説明するための図である。
【図１９】 この発明の実施の形態７に係る画像合成装置の構成を示すブロック図である。
【図２０】 図１９の背景画像領域分割手段５６によって背景画像の領域分割を行う方法を説明するための図である。
【図２１】 図１９の前後関係判定手段５７によって判定された順序を元にして合成された背景画像と追加画像を説明するための図である。
【図２２】 この発明の実施の形態８に係る画像合成装置の構成を示すブロック図である。
【図２３】 図２２の背景画像領域位置関係抽出手段６１の機能を説明するための図である。
【図２４】 この発明の実施の形態９に係る画像合成装置の構成を示すブロック図である。
【図２５】 図２４の領域境界対応付け手段６７の機能を説明するための図である。
【図２６】 この発明の実施の形態１０に係る画像合成装置の構成を示すブロック図である。
【図２７】 特開平５−１１７２７号公報に示された画像合成表示装置を説明するための構成図である。
【符号の説明】
１ 背景画像入力手段、２ 追加画像入力手段、３ 追加画像配置手段、
４ 背景画像３次元情報入力手段、５ 追加画像相対位置規定手段、６ 追加画像形状補正手段、７ 画像合成手段、１７ 背景画像範囲指定手段、１８ 背景画像切出し手段、２６ ３次元モデル入力手段、２７ イメージ・データ変換手段、３１ 動画像入力手段、３２ 合成領域抽出手段、３３ 追加画像伝播手段、４４ 追加画像第１相対位置規定手段、４５ 背景画像３次元情報第１入力手段、４６ 追加画像第２相対位置規定手段、４７ 背景画像３次元情報第２入力手段、４８ 追加画像補完手段、５４ 追加画像動作定義手段、５６ 背景画像領域分割手段、５７ 前後関係判定手段、６１ 背景画像領域位置関係抽出手段、６２ 地図情報保存手段、６７ 領域境界対応付け手段、７０ ３次元ＣＧモデル入力手段、７１ ３次元ＣＧモデル相対位置規定手段、７２ ３次元ＣＧモデル形状補正手段。
Claims (2)
- 背景画像を入力する背景画像入力手段と、
追加画像を入力する追加画像入力手段と、
背景画像の３次元情報を入力するための背景画像３次元情報入力手段と、背景画像上での追加画像の相対位置を規定するための追加画像相対位置規定手段と、この追加画像相対位置規定手段により規定された追加画像の相対位置に基づいて背景画像上に追加画像を合成する前に追加画像の形状を補正する追加画像形状補正手段とを有する追加画像配置手段と、
上記背景画像３次元情報入力手段により入力された３次元情報に従って背景画像を画像領域毎に分割するための背景画像領域分割手段と、
上記背景画像領域分割手段により分割されたそれぞれの画像領域と追加画像との前後関係を判定するための前後関係判定手段と、
上記追加画像形状補正手段により形状補正された追加画像を背景画像に合成すると共に上記前後関係判定手段により追加画像よりも手前にあると判定された画像領域を追加画像の上から合成するための画像合成手段と
を備えることにより、背景画像中の被写体との前後関係を考慮しながら別な画像を合成すると共に、
地図情報を保存した地図情報保存手段と、上記背景画像領域分割手段により分割された画像領域の間の位置関係を上記地図情報保存手段からの背景画像周辺の地図情報を参照して取り出すための背景画像領域位置関係抽出手段とをさらに備えることにより、背景画像中の被写体の前後関係を合成画像に反映することとし、
前記背景画像領域位置関係抽出手段は、前記背景画像中で分割された画像領域それぞれの重心点を求め、地図情報上にカメラの視点位置と背景画像と画像領域の重心点を対応させて、カメラの視点位置からカメラの視野にある各重心点に向かって地図情報上で直線を引くことにより、重心点の先にある被写体とカメラの視点位置との距離を求め、求めた距離を各画像領域に対応付ける
ことを特徴とする画像合成装置。 - 背景画像を入力する背景画像入力手段と、
追加画像を入力する追加画像入力手段と、
背景画像の３次元情報を入力するための背景画像３次元情報入力手段と、背景画像上での追加画像の相対位置を規定するための追加画像相対位置規定手段と、この追加画像相対位置規定手段により規定された追加画像の相対位置に基づいて背景画像上に追加画像を合成する前に追加画像の形状を補正する追加画像形状補正手段とを有する追加画像配置手段と、
上記背景画像３次元情報入力手段により入力された３次元情報に従って背景画像を画像領域毎に分割するための背景画像領域分割手段と、
上記背景画像領域分割手段により分割されたそれぞれの画像領域と追加画像との前後関係を判定するための前後関係判定手段と、
上記追加画像形状補正手段により形状補正された追加画像を背景画像に合成すると共に上記前後関係判定手段により追加画像よりも手前にあると判定された画像領域を追加画像の上から合成するための画像合成手段と
を備えることにより、背景画像中の被写体との前後関係を考慮しながら別な画像を合成すると共に、
地図情報を保存した地図情報保存手段と、上記背景画像領域分割手段により背景画像をいくつかの画像領域に分割する際に、背景画像内の被写体の境界線を上記地図情報保存手段からの背景画像周辺の地図情報を参照して取り出す領域境界対応付け手段とをさらに備えることにより、背景画像中の被写体毎の画像領域を分割することとし、
前記領域境界対応付け手段は、前記地図情報上に背景画像とカメラ視点を対応付け、カメラ視点から背景画像に写っている被写体の境界部分に対して直線を引き、当該直線と背景画像との交点を背景画像中の被写体の境界線とする
ことを特徴とする画像合成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05080998A JP4108171B2 (ja) | 1998-03-03 | 1998-03-03 | 画像合成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05080998A JP4108171B2 (ja) | 1998-03-03 | 1998-03-03 | 画像合成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11250273A JPH11250273A (ja) | 1999-09-17 |
| JP4108171B2 true JP4108171B2 (ja) | 2008-06-25 |
Family
ID=12869103
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP05080998A Expired - Fee Related JP4108171B2 (ja) | 1998-03-03 | 1998-03-03 | 画像合成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4108171B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8828921B2 (en) | 2002-06-19 | 2014-09-09 | Fideline | Allomone repulsive and kairomone attractive compositions for controlling arachnids |
| KR101777927B1 (ko) | 2014-12-26 | 2017-09-13 | 가부시키가이샤 모르포 | 화상생성장치, 전자기기, 화상생성방법 및 기록매체 |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB0104994D0 (en) * | 2001-02-28 | 2001-04-18 | Nokia Mobile Phones Ltd | A communication terminal handling animations |
| JP5162928B2 (ja) * | 2007-03-12 | 2013-03-13 | ソニー株式会社 | 画像処理装置、画像処理方法、画像処理システム |
| JP5105550B2 (ja) * | 2009-03-19 | 2012-12-26 | カシオ計算機株式会社 | 画像合成装置及びプログラム |
| KR101631497B1 (ko) | 2009-11-13 | 2016-06-27 | 삼성전자주식회사 | 디스플레이 장치, 사용자 단말 장치 및 그 방법들 |
| JP5168313B2 (ja) * | 2010-04-28 | 2013-03-21 | パナソニック株式会社 | 画像表示装置 |
| US20120069055A1 (en) * | 2010-09-22 | 2012-03-22 | Nikon Corporation | Image display apparatus |
| US8723888B2 (en) * | 2010-10-29 | 2014-05-13 | Core Wireless Licensing, S.a.r.l. | Method and apparatus for determining location offset information |
| JP5145444B2 (ja) * | 2011-06-27 | 2013-02-20 | 株式会社コナミデジタルエンタテインメント | 画像処理装置、画像処理装置の制御方法、及びプログラム |
| EP2608153A1 (en) | 2011-12-21 | 2013-06-26 | Harman Becker Automotive Systems GmbH | Method and system for playing an augmented reality game in a motor vehicle |
| EP2675173A1 (en) * | 2012-06-15 | 2013-12-18 | Thomson Licensing | Method and apparatus for fusion of images |
-
1998
- 1998-03-03 JP JP05080998A patent/JP4108171B2/ja not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8828921B2 (en) | 2002-06-19 | 2014-09-09 | Fideline | Allomone repulsive and kairomone attractive compositions for controlling arachnids |
| US9844217B2 (en) | 2002-06-19 | 2017-12-19 | Institut de Recherche en Semiochimie et Ethologie Appliquée | Allomone repulsive and kairomone attractive compositions for controlling arachnids |
| KR101777927B1 (ko) | 2014-12-26 | 2017-09-13 | 가부시키가이샤 모르포 | 화상생성장치, 전자기기, 화상생성방법 및 기록매체 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11250273A (ja) | 1999-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8144238B2 (en) | Image processing apparatus and method | |
| JP5818773B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP4401727B2 (ja) | 画像表示装置及び方法 | |
| EP0930585B1 (en) | Image processing apparatus | |
| US6529626B1 (en) | 3D model conversion apparatus and method | |
| JP6079131B2 (ja) | 画像処理装置、方法、及びプログラム | |
| US20020113865A1 (en) | Image processing method and apparatus | |
| JP2006249618A (ja) | 仮想試着装置 | |
| JP4108171B2 (ja) | 画像合成装置 | |
| EP1567988A1 (en) | Augmented virtual environments | |
| US20080309668A1 (en) | Image processing method and apparatus | |
| US20030225513A1 (en) | Method and apparatus for providing multi-level blended display of arbitrary shaped textures in a geo-spatial context | |
| JP2005339127A (ja) | 画像情報表示装置及び画像情報表示方法 | |
| CN110969706B (zh) | 增强现实设备及其图像处理方法、***以及存储介质 | |
| JP2004234350A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| JP3538263B2 (ja) | 画像生成方法 | |
| JP3643511B2 (ja) | ３次元画像処理方法，３次元モデリング方法および３次元画像処理プログラムを記録した記録媒体 | |
| JP2000155831A (ja) | 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体 | |
| JP3352454B2 (ja) | 画像処理装置及びその方法並びに記憶媒体 | |
| JP2003346185A (ja) | 情報表示システム及び携帯情報端末 | |
| JP2005063041A (ja) | ３次元モデリング装置、方法、及びプログラム | |
| JP2002032744A (ja) | ３次元モデリング及び３次元画像作成のための装置及び方法 | |
| JP4642431B2 (ja) | 地図表示装置、地図表示システム、地図表示方法およびプログラム | |
| JP2004310686A (ja) | 画像処理方法及び装置 | |
| JP4530214B2 (ja) | 模擬視界発生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050225 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070607 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070911 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070918 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071218 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080213 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080311 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080402 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110411 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120411 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |