JPH0950540A

JPH0950540A - 画像生成方法

Info

Publication number: JPH0950540A
Application number: JP20325595A
Authority: JP
Inventors: Toshio Moriya; 俊夫守屋; Haruo Takeda; 晴夫武田; Makoto Kato; 誠加藤; Hideo Noyama; 英郎野山; Aki Noda; 亜紀能田; Toshiyuki Yuasa; 俊之湯浅
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1995-08-09
Filing date: 1995-08-09
Publication date: 1997-02-18
Anticipated expiration: 2015-08-09
Also published as: JP3538263B2

Abstract

(57)【要約】【目的】最終的な動画像の品質が低下しないように、実
写動画像とコンピュータグラフィックスによる画像とを
合成する。【構成】特徴点抽出部１０３で時系列に算出された実写
動画像の各特徴点の２次元座標が、補正部１０４で平滑
化される。３次元座標算出部１０５では、この２次元座
標から、特徴点の３次元座標と各フレームの視点パラメ
ータが決定される。３次元モデル生成部１０６では、こ
の３次元座標により定まる実写動画像の３次元形状から
仮想的なマスクが生成される。更に仮想的な３次元空間
に画像生成部１０７でマスク物体が配置され、画像合成
部１０８でＣＧモデルが配置される。３次元座標算出部
１０５で決定した視点からこれらをスクリーン座標系に
透視投影し、マスクの透視投影図の位置に実写動画像の
被写体の映像を再現すると共に視点の補正を行う。その
結果、表示装置１００に合成画像が表示される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、コンピュータグラフィ
ックスによる画像と実写動画像との合成に適した画像生
成方法に関する。

【０００２】

【従来の技術】仮想的な世界を表現するために、映画の
映像やコンピュータゲームの画像等には、カメラ等で撮
影した実写動画像とコンピュータグラフィックスによる
画像との合成画像が使用されることが多い。例えば、映
画等の一場面として頻繁に使用される合成画像として
は、コンピュータグラフィックスによる人物画像の背景
に山岳風景等の実写動画像を再現したものや、これとは
逆に、コンピュータグラフィックスによる背景画像の中
に人物の実写動画像を再現したもの等が挙げられる。

【０００３】さて、こうした合成画像には、写実性が要
求されることが多い。すなわち、２次元のディスプレイ
画面上で、３次元空間での物体や情景の構造や動きを再
現することを必要とされる。こうした写実的な像を生成
するための技法は、透視投影と、隠稜及び隠面の除去を
基礎的な概念とする。

【０００４】例えば、図８に示すように、背景となる実
写動画像にコンピュータグラフィックスによる３次元オ
ブジェクト(以下、ＣＧモデルと呼ぶ)の画像８０１を合
成する場合等には、実写動画像内の被写体８０２とＣＧ
モデル８０１との位置関係に応じて両者の大きさを適当
に決定し、且つ、実写動画像に含まれる被写体８０２と
ＣＧモデルの画像８０１の不可視部分を消去することに
より、遠近感を出している。通常、こうした処理は、多
視点画像(２ヵ所以上の異なる観測点から撮影した画像)
等から抽出した被写体の３次元形状（一般に、立体を構
成する面のポリゴンによって定義される）に基づいて作
成した仮想的なマスク物体を、ＣＧモデルと共に仮想的
な３次元空間に配置した状態において施される。そし
て、最終的にはスクリーン座標系にＣＧモデル８０１と
マスク物体とを透視投影するが、このとき、マスク物体
の透視投影図の位置に実写動画像内に含まれる被写体の
画像を再現する。なお、こうした処理は、実写動画像を
構成する各フレームの画像に対して各々施される。ただ
し、各フレームの画像間の特徴点の対応付けが可能であ
ることを前提とする。なお、この種の従来技術として
は、特願平６−２３４８４４公報記載の画像表示方法等
が知られている。

【０００５】ところで、こうした処理を行う場合には、
まず、多視点画像を利用して、仮想的な３次元空間にお
ける特徴点の３次元座標を算出すると共に、この仮想的
な３次元空間における各フレームの画像の視点パラメー
タ（視点を決定するパラメータ）を決定する必要がある
が、このための方法としては、各フレームの画像に含ま
れる被写体の特徴点の２次元座標に基づいて、仮想的な
３次元空間における各フレームの画像の視点パラメータ
（視点位置、視角）の値と、各特徴点の３次元座標とを
算出する算出方法が各種開発されている。なお、この方
法について具体例が、「因子分解法による物体形状とカ
メラ運動の復元、金出、ポ−ルマン、森田著、電子情報
通信学会論文誌、Ｄ−II ｖｏｌ. Ｊ７６−Ｄ−II
Ｎｏ．８」等に詳しく説明されているので、ここでは省
略する。

【０００６】

【発明が解決しようとする課題】ところで、上記の従来
技術によって実写動画像とＣＧモデルの画像８０１とを
合成した場合、必ずしも図８に示すような良好な合成画
像が得られる訳ではなく、実際には、図９に示すよう
に、実写動画像に含まれる被写体８０２とＣＧモデルの
画像８０１との間に、画像の不整合な領域Ａが生じてし
まうことが多い。こうした領域Ａが生じるのは、主に、
多視点画像から抽出した実写動画像の３次元形状には誤
差（レンズなどの歪により生じる誤差、量子化誤差、各
標本点の補間に伴って生じる誤差等）が含まれているに
もかかわらず、これらに基づいて、マスク物体を作成す
ることに起因する。すなわち、図１０に示すような、本
来被写体８０２ａの３次元形状とは異なる３次元形状を
有するマスク物体８０２を、スクリーン座標系に透視投
影しても、この透視投影図の形状と実写動画像の形状と
が完全に一致することはない。

【０００７】そこで、こうした問題を解決するために
は、仮想的な３次元空間において、各フレームの画像の
視点を決定するパラメータの値を補正する必要がある。
以下、このことについて、図１１、図１２、図１３を参
照しながら説明する。

【０００８】図１１中Ｂで示される位置を視点位置とし
て、ＣＧモデル１１０１とマスク物体１１０２とが、そ
れぞれ、スクリーン座標系１１０４に透視投影される。
ところが、このマスク物体１１０２は、前述したよう
に、本来の実写動画像の被写体１１０３の３次元形状と
は異なる３次元形状を有しているため、両者を合成した
合成画像上においては、図１２に示すように、ＣＧモデ
ル１１０１の画像１１０１ａと実写動画像１１０３ａと
の間の不整合な領域Ａを生じることになる。ところが、
別の視点Ｃから、マスク物体１１０２とＣＧモデル１１
０１とをスクリーン座標系１１０４へそれぞれ透視投影
すると、図１３に示すような良好な合成画像を得ること
ができ、静止画像としては、見かけ上の不自然さを解消
することができる。

【０００９】しかし、こうした視点の位置の補正を施し
た一連のフレームを動画像として再生すると、連続する
フレームの画像の視点の位置が、撮影装置の移動とは無
関係な僅かな変動を繰り返すために、最悪の場合には、
ディスプレイ画面に表示されたＣＧモデル１１０１の画
像は、絶え間なく僅かに振動し続けることになる。例え
ば、直線上を移動するＣＧモデル１１０１が、ディスプ
レイ画面上には、図１４に示すように、僅かに異なる方
向を有するベクトルａ₁〜ａ₆によって定義される方向に
移動する画像１１０１ａとして再生される。こうした動
画像は、これを観察する者に対して、不自然な印象或る
いは不快な印象を与えることになる。

【００１０】そこで、本発明は、最終的な動画像の品質
が損なわれないように、動画像とコンピュータグラフィ
ックスによる画像とを合成する画像合成方法を提供する
ことを目的とする。

【００１１】

【課題を解決するための手段】上記目的達成のため、本
発明は、仮想的な３次元空間上に配置した仮想的な３次
元物体を、実写動画像に含まれる被写体の特徴点の位置
に基づいて前記仮想的な３次元空間上の配置が定まる、
前記仮想的な３次元空間上の投影面に投影した映像と、
前記実写動画像に含まれる被写体の映像を合成した映像
を生成する画像生成方法であって、前記実写動画像を構
成する各フレームの画像から、前記被写体の特徴点の座
標を抽出するステップと、前記抽出された被写体の特徴
点が時間経過に伴って滑らかに移動するように、前記抽
出された被写体の特徴点の座標を補正するステップと、
前記補正された特徴点の座標に基づいて、前記仮想的な
３次元空間上の投影面の配置を定めるステップと、前記
補正された特徴点の座標に基づいて、前記実写動画像に
含まれる被写体の３次元形状と倣った３次元形状を有す
る仮想的な物体であるマスク物体を作成するステップ
と、前記仮想的な３次元空間上に、前記マスク物体を配
置するステップと、前記投影面に、前記仮想的な３次元
空間に配置されたマスク物体と前記仮想的な３次元物体
とを投影するステップと、前記マスク物体が前記投影面
に投影された領域に、前記実写動画像に含まれる被写体
の映像をはめ込むステップとを有すること特徴とする画
像生成方法を提供する。

【００１２】

【作用】本発明に係る画像生成方法によれば、前記抽出
された被写体の特徴点が時間経過に伴って滑らかに移動
するように補正された被写体の特徴点の座標に基づい
て、前記仮想的な３次元空間上の投影面の配置を定め、
かつ、前記実写動画像に含まれる被写体の３次元形状と
倣った３次元形状を有する仮想的な物体であるマスク物
体を作成する。そして、前記仮想的な３次元空間上に配
置した前記マスク物体と前記仮想的な３次元物体とを、
前記投影面に投影し、更に、前記マスク物体が前記投影
面に投影された領域に、前記実写動画像に含まれる被写
体の映像をはめ込む。

【００１３】このように、本発明に係る画像生成方法に
よれば、補正された被写体の特徴点の一連の２次元座標
に基づいて作成された、より適正な３次元形状を有する
マスク物体を用いて合成画像を作成するため、被写体の
画像と仮想的な３次元物体の画像との間の不整合領域を
減少させることができる。従って、必要とされる視点の
補正量が減少するので、合成された仮想的な３次元物体
の映像には、周囲の画像の動きに調和しない振動が生じ
にくくなる。更に、補正された被写体の特徴点の一連の
座標に基づいて仮想的な３次元空間上の投影面の配置が
決定されるので、実写動画像を構成する一連のフレーム
の画像における視点が、実写動画像に含まれる被写体の
動きに合わせて自然に変化するようになるという効果も
生じる。すなわち、最終的な動画像の視点が安定するた
め、より自然な動画像を得ることができる。その結果、
高品質な動画像を再生することができる。

【００１４】

【実施例】以下、添付の図面を参照しながら、本発明に
係る実施例について説明する。

【００１５】まず、図１を参照しながら、本実施例に係
る画像生成方法よる処理を行うための装置の構成につい
て説明する。なお、図１に示した構成は、実際には情報
処理装置のＣＰＵにより実現されるプロセスと、情報処
理装置のハードウエアとを機能的に示したものである。

【００１６】本装置は、合成画像などを表示する表示装
置１００と、本実施例に係る画像合成処理を行う演算部
１０１と、実写動画像のディジタル画像情報等を記憶す
る記憶領域１０２とを備える。

【００１７】以下、演算部の各ブロックで行われる処理
を、実施例に係る画像生成方法による、画像合成処理の
流れに合わせて説明していく。ただし、記憶領域１０２
には、ＶＴＲ等の撮影装置で撮影された実写動画像のデ
ィジタル画像情報ａと、一般的なグラフィックス・パッ
ケージ等を利用して作成した３次元オブジェクト（以
下、ＣＧモデルと呼ぶ）のディジタル画像情報ｂとが予
め記憶されていることを前提とする。以下、図２に示す
ような、静止した物体を様々な観測位置から連続的に撮
影した実写動画像と、図３に示すようなＣＧモデルの画
像との合成画像を作成する場合を例に挙げる。

【００１８】まず、特徴点抽出部１０３では、記憶領域
１０２に記憶された実写動画像のディジタル画像情報ａ
から実写動画像に含まれる被写体の特徴点を抽出し、実
写動画像を構成する全フレームの画像について、仮想的
な２次元空間における各特徴点の２次元座標を算出す
る。こうした被写体の特徴点の一例としては、図４に示
すような被写体の輪郭の屈折点４００や、特徴的な模様
等が挙げられる。また、特徴点の座標を算出すると同時
に、各フレームの画像間で特徴点の対応をとる必要があ
る。こうした処理を行う具体的な方法としては、各フレ
ームの画像毎にしきい値処理を施すことにより特徴点を
自動的に抽出していく方法や、周知のユーザインタフェ
ースを利用して、操作者が、各フレームの画像毎に、特
徴点を直接指定していく方法や、操作者が直接指定した
特徴点を追跡していくオプティカルフロー法等が挙げら
れる。これらは、いずれも、画像の特徴点を抽出する際
に一般的に用いられる方法なので、ここでは詳しい説明
を省略する。

【００１９】次に、補正部１０４において、特徴点抽出
部１０３で、時系列に抽出された、各特徴点の一連の座
標の各成分(Ｘ₁,Ｙ₁)，．．，(Ｘｍ,Ｙｍ)，．．，(Ｘ
ｎ,Ｙｎ）（但し、ｍは、１以上ｎ以下の整数)に対して
平滑化処理を施す。以下、この平滑化処理について説明
する。

【００２０】本実施例では、次式に基づく、再帰的な平
滑化処理を行う。

【００２１】

【数１】

【００２２】ここで、(Ｘm',Ｙm')は、補正後の特徴点
の座標であり、δは、１以下の重み係数である。

【００２３】こうした平滑化処理を施すことにより、各
特徴点の一連の座標に、突発的に生じる極端な変動を、
δの値に応じて、適当に抑制することができる。なお、
補正部１０４で行われる平滑化処理は、数式１に基づく
ものに限定されるものではない。例えば、特徴点の一連
の座標の各成分を、それぞれ、スプライン関数を利用し
て平滑化しても良い。なお、スプライン関数の詳細につ
いては、「スプライン関数とその応用、市田、吉本著、
教育出版者、シリーズ新しい応用の数学20、1979」等に
記載されているので、ここでは省略する。

【００２４】次に、３次元座標算出部１０５では、補正
部１０４で平滑化処理が施された特徴点の２次元座標か
ら、仮想的な３次元空間における、特徴点の３次元座標
が算出される。また、この仮想的な３次元空間におけ
る、各フレームの画像の視点パラメータ（視点位置、視
角）も同時に算出される。なお、ここで行われる処理
は、従来の技術の欄で説明した算出方法に基づくもので
なので、ここでは詳しい説明を省略する。

【００２５】次に、３次元モデル生成部１０６では、３
次元座標算出部１０５で算出された特徴点の３次元座標
により実写動画像に含まれる被写体の３次元形状を決定
した後、この３次元形状に基づいて、仮想的なマスク物
体が生成される。これも、従来の技術の欄で説明した画
像生成方法と同様な処理によるものなので、ここでは詳
しい説明を省略する。ただし、本実施例では、平滑化さ
れた特徴点の３次元座標を利用しているため、従来技術
の欄で説明した画像生成方法において作成されるマスク
物体よりも、被写体本来の３次元形状に倣った、より適
正な３次元形状を有するマスク物体を作成することがで
きる。

【００２６】次に、画像生成部１０７では、３次元モデ
ル生成部で作成されたマスク物体を、仮想的な３次元空
間に配置する。

【００２７】次に、画像合成部１０８では、更に、この
仮想的な３次元空間に、図５に示すように、記憶領域１
０２に記憶されたディジタル画像情報ｂにより定義され
るＣＧモデル３００を配置する。この段階において、従
来技術の欄で説明した隠稜及び隠面の除去等の写実的な
合成画像を作成するための処理が施される。なお、これ
らも、従来技術の欄で説明した画像合成方法と同様な処
理によるものなので、ここでは詳しい説明を省略する。
こうした処理を施した後、３次元座標算出部１０５で算
出されたパラメータにより定まる各フレームの画像の各
視点から、スクリーン座標系にＣＧモデル３００とマス
ク物体とをそれぞれ透視投影し（図６参照）、更に、ス
クリーン座標系におけるマスク物体の透視投影図の位置
に被写体の映像を再現する。このとき、本実施例におい
ても、被写体の画像とＣＧモデルの画像との間の不整合
領域を生じるため、従来技術の欄で説明したような視点
の補正を行う必要がある。しかし、より適正な３次元形
状を有するマスク物体を用いているので、動画像を構成
する時系列的のフレームの画像において、視点の補正量
は、滑らかに且つ僅かに変動するのみである。そして、
最終的に、表示装置のディスプレイ画面上には、図７に
示すような合成画像が表示される。

【００２８】このように、本発明に係る画像生成方法に
よれば、平滑化された被写体の特徴点の一連の２次元座
標に基づいて作成された、より適正な３次元形状を有す
るマスク物体を用いて合成画像を作成するため、被写体
の画像とＣＧモデルの画像との間の不整合領域を補正す
るために必要とされる視点の補正量が減少するので、合
成された仮想的な３次元物体の映像には、周囲の画像の
動きに調和しない振動が生じにくくなる。更に、平滑化
された被写体の特徴点の一連の２次元座標に基づいて視
点が定義されるので、視点が、実写動画像に含まれる被
写体の動きに合わせて自然に変化するようになるという
効果も生じる。すなわち、最終的な動画像の視点が安定
するため、より自然な動画像を得ることができる。その
結果、高品質な動画像を再生することができる。なお、
こうした動画像の高品質さが、これを観察する者の心理
に与える印象を考慮すれば、以上の処理を施すことによ
り、動画像の各フレームの誤差が最小にならなくなるこ
とは、それほど問題とならない。

【００２９】なお、本実施例では、被写体の全特徴点に
対して同様な平滑化処理を施しているが、必ずしもこの
ようにする必要はない。例えば、数式１において、特徴
点毎に、重み係数δの値を変更すれば、局所的に平滑化
の程度を変えることができる。具体的には、予め、ＣＧ
モデルとマスク物体とが重なり合う概ねの領域を特定し
ておき、この領域内の特徴点に対しては、他の特徴点よ
りも小さな値の重み係数δを設定すれば、平滑化処理を
施すことにより生じる誤差を最小限に抑えることができ
る。また、合成画像を作成した後に、最初の入力値を修
正するプロセスに、３次元形状や視点パラメ−タをフィ
−ドバックすることにより、逐次、３次元形状や視点パ
ラメ−タを、平滑化に有効な値に修正していくようにし
てもよい。

【００３０】

【発明の効果】本発明に係る画像生成方法によれば、動
画像と、コンピュータグラフィックによる画像とを良好
に合成することができる。その結果、最終的な動画像の
品質を損なうことがない。

【図面の簡単な説明】

【図１】本発明に係る画像生成方法よる処理を説明する
ための図である。

【図２】実写動画像の一例を示した図である。

【図３】ＣＧモデルの一例を示した図である。

【図４】図１の実写動画像の特徴点の一例を示した図で
ある。

【図５】図３のＣＧモデルと、図２の実写動画像の被写
体のマスク物体の、仮想的な３次元空間への配置を説明
するための図である。

【図６】図５の仮想的な３次元空間の、スクリーン座標
系への透視投影図である。

【図７】図２の実写動画像と図３のＣＧモデルとの合成
画像を示した図である。

【図８】実写動画像とＣＧモデルとが良好に合成された
合成画像を示した図である。

【図９】合成画像上に生じる画像の不整合を説明するた
めの図である。

【図１０】実写動画像の被写体のマスク物体の３次元形
状に生じる誤差を説明するための図である。

【図１１】視点位置の補正を説明するための図である。

【図１２】視点位置の補正前の、ＣＧモデルと実写動画
像との合成画像を示した図である。

【図１３】視点位置の補正後の、ＣＧモデルと実写動画
像との合成画像を示した図である。

【図１４】合成動画像上の、ＣＧモデルの画像の動きを
説明するための図である。

【符号の説明】

１００…表示装置、１０１…演算部、１０２…記憶領
域、１０３…特徴点抽出部、１０４…補正部、１０５…
３次元座標算出部、１０６…３次元モデル生成部、１０
７…画像生成部、１０８…画像合成部

───────────────────────────────────────────────────── フロントページの続き (72)発明者野山英郎神奈川県川崎市麻生区王禅寺1099番地株式会社日立製作所システム開発研究所内 (72)発明者能田亜紀神奈川県川崎市麻生区王禅寺1099番地株式会社日立製作所システム開発研究所内 (72)発明者湯浅俊之神奈川県川崎市麻生区王禅寺1099番地株式会社日立製作所システム開発研究所内

Claims

【特許請求の範囲】

【請求項１】仮想的な３次元空間上に配置した仮想的な
３次元物体を、実写動画像に含まれる被写体の特徴点の
位置に基づいて前記仮想的な３次元空間上の配置が定ま
る、前記仮想的な３次元空間上の投影面に投影した映像
と、前記実写動画像に含まれる被写体の映像を合成した
映像を生成する画像生成方法であって、前記実写動画像を構成する各フレームの画像から、前記
被写体の特徴点の座標を抽出するステップと、前記抽出された被写体の特徴点が時間経過に伴って滑ら
かに移動するように、前記抽出された被写体の特徴点の
座標を補正するステップと、前記補正された特徴点の座標に基づいて、前記仮想的な
３次元空間上の投影面の配置を定めるステップと、前記補正された特徴点の座標に基づいて、前記実写動画
像に含まれる被写体の３次元形状と倣った３次元形状を
有する仮想的な物体であるマスク物体を作成するステッ
プと、前記仮想的な３次元空間上に、前記マスク物体を配置す
るステップと、前記投影面に、前記仮想的な３次元空間に配置されたマ
スク物体と前記仮想的な３次元物体とを投影するステッ
プと、前記マスク物体が前記投影面に投影された領域に、前記
実写動画像に含まれる被写体の映像をはめ込むステップ
とを有すること特徴とする画像生成方法。
【請求項２】請求項１記載の画像生成方法であって、前記投影面上の前記被写体の映像と前記仮想的な３次元
物体の映像との間にずれが生じないように、実写動画像
を構成するフレームの画像の視点を移動させるステップ
を有することを特徴とする画像生成方法。
【請求項３】請求項１または２記載の画像生成方法であ
って、前記被写体の特徴点が位置する前記実写動画像の領域に
応じて、前記被写体の特徴点の座標の補正によって得ら
れる、前記被写体の特徴点の座標の移動の滑らかさの程
度を変えるステップを有することを特徴とする画像生成
方法。
【請求項４】仮想的な３次元空間上に配置した仮想的な
３次元物体を、実写動画像に含まれる被写体の特徴点の
位置に基づいて前記仮想的な３次元空間上の配置が定ま
る、前記仮想的な３次元空間上の投影面に投影した映像
と、前記実写動画像に含まれる被写体の映像を合成した
映像を、ディスプレイ画面に表示する画像生成装置であ
って、前記実写動画像のデジタル画像デ−タと、前記仮想的な
３次元物体の３次元形状を定義する形状デ−タとを記憶
する記憶装置と、前記実写動画像を構成する各フレームの画像から、前記
被写体の特徴点の座標を抽出する抽出手段と、前記抽出手段が抽出した前記被写体の特徴点が時間経過
に伴って滑らかに移動するように、前記被写体の特徴点
の座標を補正する平滑化手段と、前記平滑化手段に補正された特徴点の座標に基づいて、
前記仮想的な３次元空間上の投影面の配置を定める視点
算出手段と、前記平滑化手段に補正された特徴点の座標に基づいて、
前記被写体の３次元形状と倣った３次元形状を有する仮
想的な物体であるマスク物体を作成し、前記仮想的な３
次元空間上に、前記マスク物体を配置するモデル生成手
段と、前記視点算出手段が配置を定めた投影面に、前記仮想的
な３次元空間に配置された前記仮想的な３次元物体と前
記マスク物体をそれぞれ投影する投影手段と、前記投影手段が前記マスク物体を投影した前記投影面上
の領域に、前記実写動画像に含まれる被写体の映像をは
め込む合成手段とを備えることを特徴とする画像生成装
置。
【請求項５】請求項４記載の画像生成装置であって、前記合成手段がはめ込んだ被写体の映像と、前記投影手
段が投影した前記仮想的な３次元物体の映像との間にず
れが生じないように、前記実写動画像を構成するフレー
ムの画像の視点を移動させる移動手段を有することを特
徴とする画像生成装置。
【請求項６】請求項４または５記載の画像生成装置であ
って、前記補正手段は、前記被写体の特徴点が位置する前記実
写動画像の領域に応じて、前記被写体の特徴点の座標の
補正の程度を変えることを特徴とする画像生成装置。