JP2000069366A - 移動物体映像合成方法及び装置及びこの方法を記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 映像中から移動物体情報を小容量で合成可能
な形式で抽出し、それを元に新たな映像を合成可能にす
る移動物体映像合成方法及び装置を提供する。 【解決手段】 まず入力画像の第１フレームに対し、移
動物体切り出し手段１が第１フレーム輪郭線が切り出
す。この輪郭線上および内部に、特徴点配置手段２が第
１フレーム特徴点を配置する。また、移動物体切り出し
手段１は第２〜第ｎフレーム輪郭線を切り出す。特徴点
追跡手段３では、第１フレームと第２フレームを比較
し、第１フレーム特徴点の第２フレーム上での対応位置
を求め、第２フレーム特徴点とする。次に、第２フレー
ムと第３フレームとを比較し、第２フレーム特徴点の第
３フレーム上での対応位置を求め、第３フレーム特徴点
とする。同様にして第ｎフレーム特徴点までを求める。
映像合成情報保存手段４では、第１フレームと第ｎフレ
ームという２枚の画像と、第１〜第ｎフレーム特徴点を
保存する。映像合成手段５は、保存された映像合成情報
から特徴点の移動に合わせ、ワープ、モーフィング等の
手段により、映像を合成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、与えられた移動物
体映像から映像合成情報を抽出し、それをもとに新たな
映像を合成する移動物体映像合成技術に関わり、特に、
抽出する映像合成情報が、容量が小さくかつ加工が可能
な形式となっている移動物体映像合成方法及び装置に関
する。

【０００２】

【従来の技術】従来、移動物体映像に対する処理として
は、移動物体の領域を切り出す方式の研究が行われてい
る。例えば大阪大学の研究（岡田，白井，三浦，久野：
“オプティカルフローと距離情報に基づく動物体追
跡”，電子情報通信学会論文誌Ｄ−２，Ｖｏｌ．Ｊ８０
−Ｄ２，Ｎｏ．６，ｐｐ．１５３０−１５３８（１９９
７年６月））では、歩行中の人物が写った映像を対象と
して、動物体領域を切り出している。

【０００３】また、映像合成の技術としては、ワープや
モーフィングという技術が知られている。これらは画像
中に制御点や制御線を配置し、これらの点や線を移動さ
せることによって画像を変形させて映像を生成するもの
である。これの技術については、例えば、スコット・ア
ンダーソン著（酒井啓 訳）：モーフィング入門，海文
堂（１９９４年）に解説されている。

【０００４】

【発明が解決しようとする課題】しかしながら、上記し
た従来の移動物体映像処理では、移動物体を切り出すこ
とを目的としており、それをもとにして新たな映像を生
成することはできなかった。

【０００５】また、従来の映像合成技術では、制御点や
制御線の移動は人手で移動させることを前提としてお
り、与えられた映像をもとに移動させることや、事前に
蓄積されたデータをもとに移動させることは考えられて
いなかった。

【０００６】本発明の課題は、移動物体に関する情報を
映像中から移動物体映像の合成が可能な形式で抽出し、
それをもとにして新たな映像の合成を可能にする移動物
体映像合成方法及び装置を提供することにある。さら
に、映像合成情報を、容量が小さくかつ加工が可能な形
式とし、容量の圧縮、オリジナルの映像を加工した新た
な映像の生成を可能にする移動物体映像合成方法及び装
置を提供することを課題とする。

【０００７】

【課題を解決するための手段】本発明は、以下に列記す
る発明を手段とすることにより、上記の課題を解決す
る。

【０００８】第１の発明は、移動物体が撮影された映像
を入力とし新たな映像を出力する移動物体映像合成方法
であって、映像を構成する第１フレームから第ｎフレー
ムまでのｎ個のフレームのそれぞれから、移動物体の領
域を切り出す移動物体切り出し段階と、該移動物体切り
出し段階において第１フレームから切り出された移動物
体の領域の輪郭線上および内部に映像合成のための特徴
点を配置する特徴点配置段階と、該移動物体切り出し段
階において第２フレームから切り出された移動物体の輪
郭線上および内部で、第１フレーム上に配置された該映
像合成のための特徴点と対応する点を求めて第２フレー
ムにおける映像合成のための特徴点の座標を求め、同様
の処理を繰り返して第３フレームから第ｎフレームにお
ける特徴点座標を求める特徴点追跡段階と、該第１フレ
ームと該第ｎフレームと該特徴点追跡段階において求め
られた第１フレームから第ｎフレームまでの特徴点座標
とを映像合成情報として保存する映像合成情報保存段階
と、該映像合成情報保存段階において保存された、入力
映像と比較して容量の小さい該映像合成情報をもとに移
動物体映像を合成する映像合成段階とを、有することを
特徴とする移動物体映像合成方法である。

【０００９】あるいは、移動物体が撮影された映像を入
力とし新たな映像を出力する移動物体映像合成装置であ
って、映像を構成する第１フレームから第ｎフレームま
でのｎ個のフレームのそれぞれから、移動物体の領域を
切り出す移動物体切り出し手段と、該移動物体切り出し
手段によって第１フレームから切り出された移動物体の
領域の輪郭線上および内部に映像合成のための特徴点を
配置する特徴点配置手段と、該移動物体切り出し手段に
よって第２フレームから切り出された移動物体の輪郭線
上および内部で、第１フレーム上に配置された該映像合
成のための特徴点と対応する点を求めて第２フレームに
おける映像合成のための特徴点の座標を求め、同様の処
理を繰り返して第３フレームから第ｎフレームにおける
特徴点座標を求める特徴点追跡手段と、該第１フレーム
と該第ｎフレームと該特徴点追跡手段によって求められ
た第１フレームから第ｎフレームまでの特徴点座標とを
映像合成情報として保存する映像合成情報保存手段と、
該映像合成情報保存手段によって保存された、入力映像
と比較して容量の小さい該映像合成情報をもとに移動物
体映像を合成する映像合成手段とを、具備することを特
徴とする移動物体映像合成装置である。

【００１０】本発明の第二の発明は、前記映像合成段階
において、該映像合成情報保存段階において保存された
該映像合成情報を変化させて変形映像合成情報を生成す
る映像合成情報変形段階を有し、該変形映像合成情報を
用いて、入力された映像とは移動物体の動きが異なる移
動物体映像を合成することを特徴とする移動物体映像合
成方法である。

【００１１】あるいは、前記映像合成手段が、該映像合
成情報保存手段によって保存された該映像合成情報を変
化させて変形映像合成情報を生成する映像合成情報変形
手段を持ち、該変形映像合成情報を用いて、入力された
映像とは移動物体の動きが異なる移動物体映像を合成す
るものであることを特徴とする移動物体映像合成装置で
ある。

【００１２】本発明の第三の発明は、移動物体が撮影さ
れた映像を入力とし新たな映像を出力する移動物体映像
合成方法であって、映像を構成する第１フレームと第ｎ
フレームのそれぞれから、移動物体の領域を切り出す移
動物体切り出し段階と、該移動物体切り出し段階におい
て第１フレームから切り出された移動物体の領域の輪郭
線上および内部に映像合成のための特徴点を配置する特
徴点配置段階と、該特徴点配置段階において第１フレー
ムに配置された特徴点と対応する点を、第ｎフレームに
おいて該移動物体切り出し段階において切り出された移
動物体の輪郭線上および内部で求めて第ｎフレームにお
ける特徴点座標を求める特徴点対応検出段階と、動きパ
ターン辞書と第１フレームと第ｎフレームにおける該特
徴点座標とから、第２フレームから第（ｎ−１）フレー
ムまでの特徴点座標を求める特徴点座標補間段階と、該
第１フレームと該第ｎフレームと該特徴点座標補間段階
において求められた第２フレームから第（ｎ−１）フレ
ームまでの特徴点座標とを映像合成情報として保存する
映像合成情報保存段階と、該映像合成情報保存段階にお
いて保存された、該入力された映像の一部のフレームの
みから得られた該映像合成情報をもとに新たな移動物体
映像を合成する映像合成段階とを、有することを特徴と
する移動物体映像合成方法である。

【００１３】あるいは、移動物体が撮影された映像を入
力とし新たな映像を出力する移動物体映像合成装置であ
って、映像を構成する第１フレームと第ｎフレームのそ
れぞれから、移動物体の領域を切り出す移動物体切り出
し手段と、該移動物体切り出し手段によって第１フレー
ムから切り出された移動物体の領域の輪郭線上および内
部に映像合成のための特徴点を配置する特徴点配置手段
と、該特徴点配置手段によって第１フレームに配置され
た特徴点と対応する点を、第ｎフレームにおいて該移動
物体切り出し手段によって切り出された移動物体の輪郭
線上および内部で求めて第ｎフレームにおける特徴点座
標を求める特徴点対応検出手段と、動きパターン辞書を
持ち、該動きパターン辞書と第１フレームと第ｎフレー
ムにおける該特徴点座標とから、第２フレームから第
（ｎ−１）フレームまでの特徴点座標を求める特徴点座
標補間手段と、該第１フレームと該第ｎフレームと該特
徴点座標補間手段によって求められた第２フレームから
第（ｎ−１）フレームまでの特徴点座標とを映像合成情
報として保存する映像合成情報保存手段と、該映像合成
情報保存手段によって保存された、該入力された映像の
一部のフレームのみから得られた該映像合成情報をもと
に新たな移動物体映像を合成する映像合成手段とを、具
備することを特徴とする移動物体映像合成装置である。

【００１４】本発明の第四の発明は、移動物体が撮影さ
れた映像を入力とし新たな映像を出力する移動物体映像
合成方法であって、映像を構成する第１フレームから、
移動物体の領域を切り出す移動物体切り出し段階と、該
移動物体切り出し段階において第１フレームから切り出
された移動物体の領域の輪郭線上および内部に映像合成
のための特徴点を配置する特徴点配置段階と、動きパタ
ーン辞書を用いて、該特徴点配置段階において第１フレ
ームに配置された特徴点座標から第２フレームから第ｎ
フレームにおける特徴点座標を生成する特徴点座標生成
段階と、該第１フレームと該特徴点座標生成段階におい
て生成された第２フレームから第ｎフレームまでの特徴
点座標とを映像合成情報として保存する映像合成情報保
存段階と、該映像合成情報保存段階において保存され
た、該入力された映像の第１フレームのみから得られた
該映像合成情報をもとに新たな移動物体映像を合成する
映像合成段階とを、有することを特徴とする移動物体映
像合成方法である。

【００１５】あるいは、移動物体が撮影された映像を入
力とし新たな映像を出力する移動物体映像合成装置であ
って、映像を構成する第１フレームから、移動物体の領
域を切り出す移動物体切り出し手段と、該移動物体切り
出し手段によって第１フレームから切り出された移動物
体の領域の輪郭線上および内部に映像合成のための特徴
点を配置する特徴点配置手段と、動きパターン辞書を持
ち、該動きパターン辞書を用いて該特徴点配置手段によ
って第１フレームに配置された特徴点座標から第２フレ
ームから第ｎフレームにおける特徴点座標を生成する特
徴点座標生成手段と、該第１フレームと該特徴点座標生
成手段によって生成された第２フレームから第ｎフレー
ムまでの特徴点座標とを映像合成情報として保存する映
像合成情報保存手段と、該映像合成情報保存手段によっ
て保存された、該入力された映像の第１フレームのみか
ら得られた該映像合成情報をもとに新たな移動物体映像
を合成する映像合成手段とを、具備することを特徴とす
る移動物体映像合成装置である。

【００１６】なお、上記第一の発明から第四の発明まで
の移動物体映像合成方法における段階をコンピュータで
実現するために、そのプログラムを、該コンピュータが
読み取り可能な記録媒体に記録することが可能である。

【００１７】本発明の第一の発明においては、特徴点配
置手段／段階と特徴点追跡手段／段階により、移動物体
切り出し手段／段階による切り出し結果から、映像合成
手段／段階で利用可能な映像合成情報を抽出する。この
ため、入力映像中の移動物体の動きに基づいて、新たな
映像を合成することが可能になる。また、ここで抽出さ
れた映像合成情報は、入力映像中の一部のフレームと特
徴点の座標値という数値データであるため、容量が小さ
くなる。

【００１８】第二の発明においては、映像合成情報変形
手段／段階を有する。映像合成情報中の特徴点座標値は
数値データであるため映像合成情報変形手段／段階によ
る加工が容易であり、これにより移動物体が入力映像中
とは異なった動きをする新たな映像を生成することがで
きる。

【００１９】第三と第四の発明においては、動きパター
ン辞書を有し、この中には各種動きパターンが収められ
ている。映像合成情報中の特徴点座標値は数値データで
あるため動きパターンにしたがって新たな特徴点座標値
を作成することが容易である。これにより、移動物体に
利用者の望みの動きをさせることができる。

【００２０】

【発明の実施の形態】以下、本発明の実施の形態につい
て図を用いて詳細に説明する。

【００２１】始めに、図１に、本発明の第一の発明の原
理を示す。第一の発明では、特徴点配置手段２と特徴点
追跡手段３を有しており、これによって移動物体切り出
し手段１と映像合成手段５とが結びつけられているとい
う特徴がある。

【００２２】入力映像は第１フレームから第ｎフレーム
というｎ枚の画像という形式で与えられる。まず第１フ
レームに対して、移動物体切り出し手段１により第１フ
レーム輪郭線が切り出される。この輪郭線上および内部
に、特徴点配置手段２により第１フレーム特徴点が配置
される。

【００２３】移動物体切り出し手段１は、第２フレーム
から第ｎフレームに対しても適用され第２フレーム輪郭
線上および内部から第ｎフレーム輪郭線が切り出され
る。特徴点追跡手段３では第１フレームと第２フレーム
とを比較し、第１フレーム特徴点の第２フレーム上での
対応する位置を求め、第２フレーム特徴点とする。次
に、特徴点追跡手段３では第２フレームと第３フレーム
とを比較し、第２フレーム特徴点の第３フレーム上での
対応する位置を求め、第３フレーム特徴点とする。同様
の処理を繰り返し、第２フレーム特徴点から第ｎフレー
ム特徴点を求める。

【００２４】映像合成情報保存手段４では、第１フレー
ムと第ｎフレームという２枚の画像と、第１フレーム特
徴点から第ｎフレーム特徴点までを保存する。この映像
合成情報は２枚の画像と特徴点座標という数値情報から
構成されるため、入力映像に比べて容量が非常に小さい
という利点がある。

【００２５】映像合成手段５では、上記で保存された映
像合成情報から特徴点の移動に合わせて、ワープ、モー
フィング等の手段により、映像を合成する（スコット・
アンダーソン著（酒井啓 訳）：モーフィング入門、海
文堂（１９９４年））。

【００２６】次に、第一の発明の一実施形態例の装置構
成を図２を用いて詳細に説明する。併せて、第一の発明
の一実施形態例の方法とともに、上記装置の動作を図４
を用いて詳細に説明する。

【００２７】入力映像は図２（ａ）に示すように、物体
が移動している映像であるとする。移動物体切り出し手
段１は、図２（ｂ）に示すようにフレーム間差分算出手
段１１、Ｓｎａｋｅｓ初期位置設定手段１２、輪郭線決
定手段１３からなる。図４の概要処理フローに示すよう
に、移動物体切り出し手段１では、入力映像のフレーム
ｉに隣接するフレームとの間の差分を求め、検出された
領域を包含するようにＳｎａｋｅｓの初期位置を設定
し、Ｓｎａｋｅｓを用いてフレームｉにおける移動物体
の輪郭線を決定する。

【００２８】図５は、フレーム間差分算出手段１１の処
理フローを示す図である。フレーム間差分算出手段１１
において、隣接するフレームＩ_i（ｘ，ｙ）とＩ
_i+1（ｘ，ｙ）間の差分Ｄ_i（ｘ，ｙ）を求め、適当なし
きい値ｔを用いて２値（例えば黒画素と白画素）化する
と、フレームＩ_iとＩ_i+1における移動物***置のＯＲ領
域が検出される。

【００２９】図６は、Ｓｎａｋｅｓ初期位置設定手段１
２の処理フローを示す図である。Ｓｎａｋｅｓ初期位置
設定手段１２では、フレーム間差分算出手段１１で検出
された領域を包含するようにＳｎａｋｅｓ（Ｋａｓｓ，
Ｍ．，Ｗｉｔｋｉｎ，Ａ．ａｎｄ Ｔｅｒｚｏｐｏｕｌ
ｏｕｓ，Ｄ：“Ｓｎａｋｅｓ： Ａｃｔｉｖｅ Ｃｏｎ
ｔｏｕｒ Ｍｏｄｅｌｓ”，Ｉｎｔｅｒｎａｔｉｏｎａ
ｌ Ｊｏｕｒｎａｌｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉ
ｏｎ，ｐｐ．３２１−３３３（１９８８））の初期位置
を設定する。具体的には、まず２値化された差分Ｄ
_i（ｘ，ｙ）を入力し、Ｄ_i（ｘ，ｙ）上のすべての点に
対して、画素膨張処理を繰り返して行う。この処理で
は、Ｄ_i（ｘ，ｙ）が黒画素の時、Ｄ_i（ｘ＋ｃ_x，ｙ＋
ｃ_y）を黒画素にする。ここで、２画素ずつ膨張させる
場合には、ｃ_x＝−２，−１，０，１，２；ｃ_y＝−２，
−１，０，１，２とする。次に、輪郭線追跡を行う。こ
の処理では、Ｄ_i（ｘ，ｙ）に対して白画素と接してい
る黒画素を追跡して輪郭点を求める。最後に輪郭点を一
定間隔で間引き処理して、その結果ｖｊ（ｊ＝１，…，
ｍ）をＳｎａｋｅｓ初期位置として設定する。

【００３０】図７は輪郭線決定手段１３の処理フローを
示す図である。輪郭線決定手段１３では、Ｓｎａｋｅｓ
を用いてフレームｉにおける移動物体の輪郭線を決定す
る。具体的には、まずＳｎａｋｅｓ初期位置ｖｊ（ｊ＝
１，…，ｍ）を入力し、フレームｉのエッジ画像をＥ_i
（ｘ，ｙ）とする。次に、α，βを定数として、評価関
数Ｊを、以下のように設定する。

【００３１】Ｊ＝Ｊ₁＋α・Ｊ₂＋β・Ｊ₃ Ｊ₁＝Σ_jＥ（ｖ_j） Ｊ₂＝Σ_j｜ｖ_i−ｖ_i-1｜² Ｊ₃＝Σ_j｜ｖ_i+1−２ｖ_i＋ｖ_i-1｜² この評価関数Ｊを最小にするｖ_jを求めて輪郭線とす
る。

【００３２】図３（ａ）は、特徴点配置手段２の一実施
形態例を示す図、図８は特徴点配置手段２での概要処理
フローを示す図である。ここでは、特徴点配置手段２は
屈曲点検出手段２１と屈曲点間等分手段２２からなる。
これらの手段により、まず屈曲点検出手段２１により角
などの屈曲点に特徴点が配置され、次に、屈曲点間等分
手段２２により、屈曲点間の間隔が広い場合には、等分
して特徴点が配置される。

【００３３】図９は屈曲点検出手段２１の処理フローを
示す図である。屈曲点検出手段２１では、特徴点を配置
する屈曲点を次のようにして求める。まず輪郭点を
ｘ₁，ｘ₂，…，ｘ_mとし、下式についてｉ＝２，…，ｍ
−１に対し処理を繰り返して輪郭点両側の線分のなす角
度θを計算する。

【００３４】ｄ＝ｘ_i-1−ｘ_i ｄ′＝ｘ_i+1−ｘ_i θ＝ａｃｏｓ（ｄ・ｄ′／｜ｄ｜・｜ｄ′｜） この角度θを所定のしきい値θ_th以上あれば、ｘ_iを屈
曲点とする。

【００３５】図１０は屈曲点間等分手段２２の処理フロ
ーを示す図である。まず、屈曲点をｙ₁，ｙ₂，…，ｙ_p
とし、下式についてｉ＝２，…，ｐ−１に対し処理を繰
り返してＬを求める。

【００３６】Ｌ＝｜ｙ_i+1−ｙ_i｜ Ｌ_thを間隔の基準値としてＬ／Ｌ_thを越えない最大の整
数をＫを求めて、ｙ_iとｙ_i+1の間の輪郭点をＫ個、でき
るだけ等間隔に選択して特徴点とする。

【００３７】次に、特徴点追跡手段３においては、フレ
ームｉにおける特徴点（ｘ_i，ｙ_i）に対応する点（ｘ
_i+1，ｙ_i+1）を、フレーム（ｉ＋１）において、 Ｊ＝Σ_k=0 ^NΣ_l=0 ^M（Ｉ_i（ｘ_i＋ｋ，ｙ_i＋ｌ）−Ｉ
_i+1（ｘ_i+1＋ｋ，ｙ_i+1＋ｌ））² を最小にするように定める。ここでＮ，Ｍは特徴点の周
囲に設定した対応付けのためのウィンドウのサイズ、Ｉ
_i（ｘ_i，ｙ_i），Ｉ_i+1（ｘ_i+1，ｙ_i+1）はそれぞれフレ
ームｉの（ｘ_i，ｙ_i）における画素値、フレーム（ｉ＋
１）の（ｘ_i+1，ｙ_i+1）における画素値とする。

【００３８】図１１は特徴点追跡手段３の処理フローを
示す図である。フレームｉにおける特徴点を（ｘ_i，
ｙ_j）とし、Ｊの最小値Ｊ_minとして最大数を置く。フレ
ームｉにおいて（ｘ_i，ｙ_j）の周辺に設定したウインド
ウと、フレーム（ｉ＋１）において（ｘ_i+1，ｙ_j+1）の
周辺に設定したウインドウを重ね合わせ、ウインドウ内
の誤差合計であるＪを上式から求めて、このＪがＪ_min
より小さいとき、新たにＪをＪ_minとし、このときのｘ
_i+1をｘ_i+1＊とし、ｙ_j+1をｙ_j+1＊とする。この処理
を、（ｘ_i+1，ｙ_j+1）を（ｘ_i，ｙ_j）の周辺に設定した
探索範囲内で変動させて行い、最終的に得られたｘ_i+1
＊，ｙ_j+1＊をフレーム（ｉ＋１）における特徴点とす
る。

【００３９】次に、映像合成情報保存手段４では、第１
フレーム、第ｎフレームと第１フレーム特徴点から第ｎ
フレーム特徴点を保存する。

【００４０】次に、映像合成手段５では、移動物体上の
各点に対して、図３（ｂ）に示すように最も近い３つの
特徴点Ｐ₁，Ｐ₂，Ｐ₃を選択する。そして直線Ｐ₁Ｐ₂，
Ｐ₂Ｐ₃，Ｐ₃Ｐ₁を制御線として、モーフィングにより特
徴点の移動にともなって移動させる（スコット・アンダ
ーソン著（酒井啓 訳）：“モーフィング入門”，海文
堂（１９９４年））。

【００４１】図１２は映像合成手段５の処理フローを示
す図である。まず、第１フレーム中の移動物体内の点を
Ｑとし、第ｉフレームでの特徴点の位置をＰ１′，Ｐ
２′，Ｐ３′とする。第１フレームで、Ｑとの距離が近
い順に３つの特徴点Ｐ１，Ｐ２，Ｐ３を選択する。そし
て、制御線Ｐ₁Ｐ₂，Ｐ₂Ｐ₃，Ｐ₃Ｐ₁がＰ₁′Ｐ₂′，
Ｐ₂′Ｐ₃′，Ｐ₃′Ｐ₁′に移動したとして、点Ｑをワー
プまたはモーフィングにより移動させる。

【００４２】続いて、本発明の第二の発明の実施形態例
を説明する。

【００４３】第二の発明の実施形態例の原理図を図１３
に示す。第二の発明では、映像合成情報保存手段１１と
映像合成手段１３の間に、映像合成情報変形手段１２を
有する点に特徴がある。これにより、映像合成情報のう
ちの特徴点座標を変化させ、移動物体の動きを変化させ
る。映像合成情報中で、移動物体の動きは特徴点座標と
いう形で数値化されているため、このような変形が容易
に行える。

【００４４】図１４は第二の発明の実施形態例を示す、
映像合成情報変形手段１２の機能を説明する図である。
この映像合成情報変形手段１２は、例えば、一定値シフ
ト（図１４（ａ））、動きの拡大（図１４（ｂ））、伸
縮しながらの移動（図１４（ｃ））、回転しながらの移
動（図１４（ｄ））、などの変形を行うことができる。
今、特徴点の１つのフレームｉにおける座標を（ｘ_i，
ｙ_i）（ｉ＝１，…，ｎ）とする。この点が映像合成情
報変形手段により（ｘ′_i，ｙ′_i）に写されるとする
と、それぞれの変形において（ｘ_i，ｙ_i）と（ｘ′_i，
ｙ′_i）の関係は以下のようになる。

【００４５】一定値シフトの場合には、

【００４６】

【数１】

【００４７】動きの拡大の場合には、

【００４８】

【数２】

【００４９】伸縮しながらの移動の場合には

【００５０】

【数３】

【００５１】ここで（ｘ_wi，ｙ_wi）は、フレームｉにお
けるすべての特徴点の重心である。

【００５２】回転しながらの移動の場合には、

【００５３】

【数４】

【００５４】ここでωは回転させる角速度である。

【００５５】続いて、本発明の第三の発明の実施形態例
を説明する。

【００５６】第三の発明の原理図を図１５に示す。第三
の発明では、第一の発明の特徴点追跡手段に代えて、特
徴点対応検出手段７と特徴点座標補間手段８と動きパタ
ーン辞書９を有する。これにより第１フレームに配置さ
れた特徴点と対応する点を第ｎフレーム上で求めて第ｎ
フレーム特徴点とする。第２フレーム特徴点から第（ｎ
−１）フレーム特徴点は特徴点座標補間手段８によって
求められる。特徴点座標補間手段８では動きパターン辞
書９の中に収められている等速直線運動、等加速直線運
動、放物運動などの中から１つを選択し、それに基づい
て補間座標を決定する。これにより、第１フレームにお
ける初期位置と第ｎフレームにおける最終位置は固定さ
れた範囲で、移動物体に利用者の望む動きをさせること
ができる。

【００５７】図１６は、第三の実施形態例を説明するた
めの図である。第三の発明において、特徴点補間手段８
は、移動物体切り出し手段１からの第１フレーム特徴点
と第ｎフレーム特徴点とから、動きパターン辞書９を用
いて中間の第２フレーム特徴点から第（ｎ−１）フレー
ム特徴点を生成する。ここで動きパターン辞書９には等
速直線運動、等加速度直線運動、放物運動などの動きパ
ターンが用意されている。

【００５８】今、特徴点の１つについて、第１フレーム
での座標が（ｘ₁，ｙ₁）、第ｎフレームでの座標が（ｘ
_n，ｙ_n）であるとし、これらを補間して第ｉフレームの
座標（ｉ＝２，…，ｎ−１）を求める。

【００５９】等速直線運動（図１６（ａ））の場合に
は、

【００６０】

【数５】

【００６１】等加速度運動（図１６（ｂ））の場合に
は、

【００６２】

【数６】

【００６３】放物運動（図１６（ｃ））の場合には、 ｘ_i＝ｘ₁＋（ｉ−１）（ｘ_n−ｘ₁）／（ｎ−１） ｙ_i＝ｙ₁＋ｖ_y（ｉ−１）−（１／２）ｇ（ｉ−１）² ただし、ｖ_yとｇは ｙ_n＝ｙ₁＋ｖ_y（ｎ−１）−（１／２）ｇ（ｎ−１）² となるように選ぶ。

【００６４】続いて、本発明の第四の発明の実施形態例
を説明する。

【００６５】本発明の第四の発明の原理図を図１７に示
す。第四の発明では、第一の発明の特徴点追跡手段の代
わりに、特徴点座標生成手段１０を配置したものであ
る。特徴点配置手段３によって第１フレーム特徴点が配
置されると、特徴点座標生成手段１０は動きパターン辞
書９を用いて第２フレーム特徴点から第ｎフレーム特徴
点を求める。これにより、第ｎフレームにおける最終位
置も含めて、移動物体に利用者の望む動きをさせること
ができる。

【００６６】第四の発明の実施形態例における特徴点座
標生成手段１０では、第ｎフレームでの座標（ｘ_n，
ｙ_n）をユーザが指定し、残りの処理は、第三の発明で
の特徴点補間手段と同様に処理する。

【００６７】なお、図１、図２、図３、図１３、図１
５、図１７で示した手段の一部もしくは全部を、コンピ
ュータを用いて機能させることができること、あるい
は、図４から図１２までに示した処理フローでの処理の
手順をコンピュータで実行させることができることは言
うまでもなく、コンピュータをその手段として機能させ
るためのプログラム、あるいは、コンピュータでその処
理の手順を実行させるためのプログラムを、そのコンピ
ュータが読み取り可能な記録媒体、例えば、ＦＤ（フロ
ッピーディスク）や、ＭＯ、ＲＯＭ、メモリカード、Ｃ
Ｄ、ＤＶＤ、リムーバブルディスクなどに記録して提供
し、配布することが可能である。

【００６８】

【発明の効果】以上、説明したとおり、本発明の第一の
発明によれば、入力移動物体映像から映像合成情報が抽
出され、それを使って移動物体映像が合成される。これ
により、入力映像に基づいて新たな映像を合成すること
ができる。また、この映像合成情報は入力映像と比較し
て容量が小さく、容量圧縮効果がある。

【００６９】第二の発明によれば、映像合成情報変形手
段により映像合成情報を加工し、移動物体に入力映像と
は異なる動きをさせることができる。

【００７０】第三、第四の発明によれば、動きパターン
辞書の利用により、移動物体に利用者の望む動きをさせ
ることができる。

【図面の簡単な説明】

【図１】本発明の第一の発明の原理を説明するための図
である。

【図２】（ａ），（ｂ）は、上記第一の発明の実施形態
例を説明するための図（その１）である。

【図３】（ａ），（ｂ）は、上記第一の発明の実施形態
例を説明するための図（その２）である。

【図４】上記第一の発明の実施形態例における移動物体
切り出し手段の概要処理フローを示す図である。

【図５】上記第一の発明の実施形態例におけるフレーム
間差分検出手段の処理フローを示す図である。

【図６】上記第一の発明の実施形態例におけるＳｎａｋ
ｅｓ初期位置決定手段の処理フローを示す図である。

【図７】上記第一の発明の実施形態例における輪郭線決
定手段の処理フローを示す図である。

【図８】上記第一の発明の実施形態例における特徴点配
置手段の概要処理フローを示す図である。

【図９】上記第一の発明の実施形態例における屈曲点検
出手段の処理フローを示す図である。

【図１０】上記第一の発明の実施形態例における屈曲点
間等分手段の処理フローを示す図である。

【図１１】上記第一の発明の実施形態例における特徴点
追跡手段の処理フローを示す図である。

【図１２】上記第一の発明の実施形態例における映像合
成手段の処理フローを示す図である。

【図１３】本発明の第二の発明の原理を説明するための
図である。

【図１４】（ａ），（ｂ），（ｃ），（ｄ）は、上記第
二の発明の実施形態例を説明するための図である。

【図１５】本発明の第三の発明の原理を説明するための
図である。

【図１６】（ａ），（ｂ），（ｃ）は、上記第三の発明
の実施形態例を説明するための図である。

【図１７】本発明の第四の発明の原理を説明するための
図である。

【符号の説明】

１…移動物体切り出し手段 ２…特徴点配置手段 ３…特徴点追跡手段 ４…映像合成情報保存手段 ５…映像合成手段 ６…映像合成情報変形手段 ７…特徴点対応検出手段 ８…特徴点座標補間手段 ９…動きパターン辞書 １０…特徴点座標生成手段 １１…フレーム間差分検出手段 １２…Ｓｎａｋｅｓ初期位置決定手段 １３…輪郭線決定手段 ２１…屈曲点検出手段 ２２…屈曲点間等分手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 金田 洋二 東京都新宿区西新宿３丁目19番２号 日本 電信電話株式会社内 (72)発明者 金山 英明 東京都新宿区西新宿３丁目19番２号 日本 電信電話株式会社内 Ｆターム(参考） 5B050 AA08 BA11 BA15 EA03 EA05 EA06 EA19 EA24 5B057 BA02 CE08 DA07 DC07 DC16 5C023 AA06 AA40 BA04 BA11 DA01 5L096 CA02 FA06 FA12 GA08 HA03 9A001 BB03 EE04 EE05 HH27 HH28 HH30

Claims (9)

【特許請求の範囲】
1. 【請求項１】 移動物体が撮影された映像を入力とし新
   たな映像を出力する移動物体映像合成方法であって、 映像を構成する第１フレームから第ｎフレームまでのｎ
   個のフレームのそれぞれから、移動物体の領域を切り出
   す移動物体切り出し段階と、 該移動物体切り出し段階において第１フレームから切り
   出された移動物体の領域の輪郭線上および内部に映像合
   成のための特徴点を配置する特徴点配置段階と、 該移動物体切り出し段階において第２フレームから切り
   出された移動物体の輪郭線上および内部で、第１フレー
   ム上に配置された該映像合成のための特徴点と対応する
   点を求めて第２フレームにおける映像合成のための特徴
   点の座標を求め、同様の処理を繰り返して第３フレーム
   から第ｎフレームにおける特徴点座標を求める特徴点追
   跡段階と、 該第１フレームと該第ｎフレームと該特徴点追跡段階に
   おいて求められた第１フレームから第ｎフレームまでの
   特徴点座標とを映像合成情報として保存する映像合成情
   報保存段階と、 該映像合成情報保存段階において保存された、入力映像
   と比較して容量の小さい該映像合成情報をもとに移動物
   体映像を合成する映像合成段階とを、 有することを特徴とする移動物体映像合成方法。
2. 【請求項２】 前記映像合成段階では、 該映像合成情報保存段階において保存された該映像合成
   情報を変化させて変形映像合成情報を生成する映像合成
   情報変形段階を有し、 該変形映像合成情報を用いて、入力された映像とは移動
   物体の動きが異なる移動物体映像を合成することを特徴
   とする請求項１記載の移動物体映像合成方法。
3. 【請求項３】 移動物体が撮影された映像を入力とし新
   たな映像を出力する移動物体映像合成方法であって、 映像を構成する第１フレームと第ｎフレームのそれぞれ
   から、移動物体の領域を切り出す移動物体切り出し段階
   と、 該移動物体切り出し段階において第１フレームから切り
   出された移動物体の領域の輪郭線上および内部に映像合
   成のための特徴点を配置する特徴点配置段階と、 該特徴点配置段階において第１フレームに配置された特
   徴点と対応する点を、第ｎフレームにおいて該移動物体
   切り出し段階において切り出された移動物体の輪郭線上
   および内部で求めて第ｎフレームにおける特徴点座標を
   求める特徴点対応検出段階と、 動きパターン辞書と第１フレームと第ｎフレームにおけ
   る該特徴点座標とから、第２フレームから第（ｎ−１）
   フレームまでの特徴点座標を求める特徴点座標補間段階
   と、 該第１フレームと該第ｎフレームと該特徴点座標補間段
   階において求められた第２フレームから第（ｎ−１）フ
   レームまでの特徴点座標とを映像合成情報として保存す
   る映像合成情報保存段階と、 該映像合成情報保存段階において保存された、該入力さ
   れた映像の一部のフレームのみから得られた該映像合成
   情報をもとに新たな移動物体映像を合成する映像合成段
   階とを、 有することを特徴とする移動物体映像合成方法。
4. 【請求項４】 移動物体が撮影された映像を入力とし新
   たな映像を出力する移動物体映像合成方法であって、 映像を構成する第１フレームから、移動物体の領域を切
   り出す移動物体切り出し段階と、 該移動物体切り出し段階において第１フレームから切り
   出された移動物体の領域の輪郭線上および内部に映像合
   成のための特徴点を配置する特徴点配置段階と、 動きパターン辞書を用いて、該特徴点配置段階において
   第１フレームに配置された特徴点座標から第２フレーム
   から第ｎフレームにおける特徴点座標を生成する特徴点
   座標生成段階と、 該第１フレームと該特徴点座標生成段階において生成さ
   れた第２フレームから第ｎフレームまでの特徴点座標と
   を映像合成情報として保存する映像合成情報保存段階
   と、 該映像合成情報保存段階において保存された、該入力さ
   れた映像の第１フレームのみから得られた該映像合成情
   報をもとに新たな移動物体映像を合成する映像合成段階
   とを、 有することを特徴とする移動物体映像合成方法。
5. 【請求項５】 移動物体が撮影された映像を入力とし新
   たな映像を出力する移動物体映像合成装置であって、 映像を構成する第１フレームから第ｎフレームまでのｎ
   個のフレームのそれぞれから、移動物体の領域を切り出
   す移動物体切り出し手段と、 該移動物体切り出し手段によって第１フレームから切り
   出された移動物体の領域の輪郭線上および内部に映像合
   成のための特徴点を配置する特徴点配置手段と、 該移動物体切り出し手段によって第２フレームから切り
   出された移動物体の輪郭線上および内部で、第１フレー
   ム上に配置された該映像合成のための特徴点と対応する
   点を求めて第２フレームにおける映像合成のための特徴
   点の座標を求め、同様の処理を繰り返して第３フレーム
   から第ｎフレームにおける特徴点座標を求める特徴点追
   跡手段と、 該第１フレームと該第ｎフレームと該特徴点追跡手段に
   よって求められた第１フレームから第ｎフレームまでの
   特徴点座標とを映像合成情報として保存する映像合成情
   報保存手段と、 該映像合成情報保存手段によって保存された、入力映像
   と比較して容量の小さい該映像合成情報をもとに移動物
   体映像を合成する映像合成手段とを、 具備することを特徴とする移動物体映像合成装置。
6. 【請求項６】 前記映像合成手段は、該映像合成情報保
   存手段によって保存された該映像合成情報を変化させて
   変形映像合成情報を生成する映像合成情報変形手段を持
   ち、 該変形映像合成情報を用いて、入力された映像とは移動
   物体の動きが異なる移動物体映像を合成するものである
   ことを特徴とする請求項５記載の移動物体映像合成装
   置。
7. 【請求項７】 移動物体が撮影された映像を入力とし新
   たな映像を出力する移動物体映像合成装置であって、 映像を構成する第１フレームと第ｎフレームのそれぞれ
   から、移動物体の領域を切り出す移動物体切り出し手段
   と、 該移動物体切り出し手段によって第１フレームから切り
   出された移動物体の領域の輪郭線上および内部に映像合
   成のための特徴点を配置する特徴点配置手段と、 該特徴点配置手段によって第１フレームに配置された特
   徴点と対応する点を、第ｎフレームにおいて該移動物体
   切り出し手段によって切り出された移動物体の輪郭線上
   および内部で求めて第ｎフレームにおける特徴点座標を
   求める特徴点対応検出手段と、 動きパターン辞書を持ち、該動きパターン辞書と第１フ
   レームと第ｎフレームにおける該特徴点座標とから、第
   ２フレームから第（ｎ−１）フレームまでの特徴点座標
   を求める特徴点座標補間手段と、 該第１フレームと該第ｎフレームと該特徴点座標補間手
   段によって求められた第２フレームから第（ｎ−１）フ
   レームまでの特徴点座標とを映像合成情報として保存す
   る映像合成情報保存手段と、 該映像合成情報保存手段によって保存された、該入力さ
   れた映像の一部のフレームのみから得られた該映像合成
   情報をもとに新たな移動物体映像を合成する映像合成手
   段とを、 具備することを特徴とする移動物体映像合成装置。
8. 【請求項８】 移動物体が撮影された映像を入力とし新
   たな映像を出力する移動物体映像合成装置であって、 映像を構成する第１フレームから、移動物体の領域を切
   り出す移動物体切り出し手段と、 該移動物体切り出し手段によって第１フレームから切り
   出された移動物体の領域の輪郭線上および内部に映像合
   成のための特徴点を配置する特徴点配置手段と、 動きパターン辞書を持ち、該動きパターン辞書を用いて
   該特徴点配置手段によって第１フレームに配置された特
   徴点座標から第２フレームから第ｎフレームにおける特
   徴点座標を生成する特徴点座標生成手段と、 該第１フレームと該特徴点座標生成手段によって生成さ
   れた第２フレームから第ｎフレームまでの特徴点座標と
   を映像合成情報として保存する映像合成情報保存手段
   と、 該映像合成情報保存手段によって保存された、該入力さ
   れた映像の第１フレームのみから得られた該映像合成情
   報をもとに新たな移動物体映像を合成する映像合成手段
   とを、 具備することを特徴とする移動物体映像合成装置。
9. 【請求項９】 請求項１から請求項４までのいずれか１
   項記載の移動物体映像合成方法における段階をコンピュ
   ータで実現するためのプログラムを、該コンピュータが
   読み取り可能な記録媒体に記録したことを特徴とする移
   動物体映像合成方法を記録した記録媒体。