JP2000069366A - Mobile object video image composting method, its device and recording medium recorded with the method - Google Patents

Abstract

PROBLEM TO BE SOLVED: To provide a mobile object video image compositing method and its device with which mobile object information is extracted from video images in a form to be composited with the memory of a small capacity and new video images are composited based thereon. SOLUTION: First, a mobile object segmentation means 1 segments a 1st frame contour line from a 1st frame of an inputted image. A characteristic point arrangement means 2 places a 1st frame characteristic point on the contour line and the inside thereof. Furthermore, the mobile object segmentation means 1 segments 2nd-n-th frame contour lines. A characteristic point tracing means 3 compares the 1st frame with the 2nd frame and obtains a corresponding position on the 2nd frame of the 1st frame characteristic point to use it as a 2nd frame characteristic point. Then a means 3 compares the 2nd frame with the 3rd frame and obtains a corresponding position of the 2nd frame characteristic point on the 3rd frame and to use it as a 3rd frame characteristic point. Similarly, the means 3 obtains the n-th frame characteristic point. A video image composite information storage means 4 stores two images of the 1st frame and the n-th frame and the 1st-n-th frame characteristic points. A video image composting means 5 composites the video images by means of warps and morphing or the like to match with the movements of the characteristic points from the stored video composite information.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は、与えられた移動物
体映像から映像合成情報を抽出し、それをもとに新たな
映像を合成する移動物体映像合成技術に関わり、特に、
抽出する映像合成情報が、容量が小さくかつ加工が可能
な形式となっている移動物体映像合成方法及び装置に関
する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a moving object image synthesizing technique for extracting image synthesizing information from a given moving object image and synthesizing a new image based on the extracted information.
The present invention relates to a moving object image synthesizing method and apparatus in which image synthesizing information to be extracted has a small capacity and is in a format that can be processed.

【０００２】[0002]

【従来の技術】従来、移動物体映像に対する処理として
は、移動物体の領域を切り出す方式の研究が行われてい
る。例えば大阪大学の研究（岡田，白井，三浦，久野：
“オプティカルフローと距離情報に基づく動物体追
跡”，電子情報通信学会論文誌Ｄ−２，Ｖｏｌ．Ｊ８０
−Ｄ２，Ｎｏ．６，ｐｐ．１５３０−１５３８（１９９
７年６月））では、歩行中の人物が写った映像を対象と
して、動物体領域を切り出している。2. Description of the Related Art Conventionally, as a process for a moving object image, a method of cutting out a region of a moving object has been studied. For example, research at Osaka University (Okada, Shirai, Miura, Kuno:
"Moving object tracking based on optical flow and distance information", IEICE Transactions D-2, Vol. J80
-D2, no. 6, pp. 1530-1538 (199
In June 1995)), a moving object region is cut out for a video image of a walking person.

【０００３】また、映像合成の技術としては、ワープや
モーフィングという技術が知られている。これらは画像
中に制御点や制御線を配置し、これらの点や線を移動さ
せることによって画像を変形させて映像を生成するもの
である。これの技術については、例えば、スコット・ア
ンダーソン著（酒井啓 訳）：モーフィング入門，海文
堂（１９９４年）に解説されている。[0003] Also, as a technique of video synthesis, techniques such as warping and morphing are known. These are for arranging control points and control lines in an image and moving these points and lines to deform the image to generate a video. This technique is described in, for example, Scott Anderson (translated by Kei Sakai): Introduction to Morphing, Kaibundo (1994).

【０００４】[0004]

【発明が解決しようとする課題】しかしながら、上記し
た従来の移動物体映像処理では、移動物体を切り出すこ
とを目的としており、それをもとにして新たな映像を生
成することはできなかった。However, in the above-described conventional moving object image processing, the object is to cut out a moving object, and a new image cannot be generated based on the object.

【０００５】また、従来の映像合成技術では、制御点や
制御線の移動は人手で移動させることを前提としてお
り、与えられた映像をもとに移動させることや、事前に
蓄積されたデータをもとに移動させることは考えられて
いなかった。Further, in the conventional video synthesizing technique, it is assumed that the control points and control lines are moved manually, so that the control points and control lines can be moved based on a given video, or data stored in advance can be transferred. It was not considered to be moved back.

【０００６】本発明の課題は、移動物体に関する情報を
映像中から移動物体映像の合成が可能な形式で抽出し、
それをもとにして新たな映像の合成を可能にする移動物
体映像合成方法及び装置を提供することにある。さら
に、映像合成情報を、容量が小さくかつ加工が可能な形
式とし、容量の圧縮、オリジナルの映像を加工した新た
な映像の生成を可能にする移動物体映像合成方法及び装
置を提供することを課題とする。SUMMARY OF THE INVENTION An object of the present invention is to extract information on a moving object from a video in a format in which a moving object image can be synthesized,
It is an object of the present invention to provide a moving object image synthesizing method and apparatus which can synthesize a new image based on the method. It is another object of the present invention to provide a moving object image synthesizing method and apparatus capable of converting image synthesizing information into a format having a small capacity and capable of processing, and enabling compression of the capacity and generation of a new image obtained by processing an original image. And

【０００７】[0007]

【課題を解決するための手段】本発明は、以下に列記す
る発明を手段とすることにより、上記の課題を解決す
る。The present invention solves the above-mentioned problems by using the inventions listed below as means.

【０００８】第１の発明は、移動物体が撮影された映像
を入力とし新たな映像を出力する移動物体映像合成方法
であって、映像を構成する第１フレームから第ｎフレー
ムまでのｎ個のフレームのそれぞれから、移動物体の領
域を切り出す移動物体切り出し段階と、該移動物体切り
出し段階において第１フレームから切り出された移動物
体の領域の輪郭線上および内部に映像合成のための特徴
点を配置する特徴点配置段階と、該移動物体切り出し段
階において第２フレームから切り出された移動物体の輪
郭線上および内部で、第１フレーム上に配置された該映
像合成のための特徴点と対応する点を求めて第２フレー
ムにおける映像合成のための特徴点の座標を求め、同様
の処理を繰り返して第３フレームから第ｎフレームにお
ける特徴点座標を求める特徴点追跡段階と、該第１フレ
ームと該第ｎフレームと該特徴点追跡段階において求め
られた第１フレームから第ｎフレームまでの特徴点座標
とを映像合成情報として保存する映像合成情報保存段階
と、該映像合成情報保存段階において保存された、入力
映像と比較して容量の小さい該映像合成情報をもとに移
動物体映像を合成する映像合成段階とを、有することを
特徴とする移動物体映像合成方法である。A first aspect of the present invention is a moving object image synthesizing method for inputting an image of a moving object and outputting a new image. The moving object image synthesizing method includes n frames from a first frame to an n-th frame constituting the image. A moving object clipping step of cutting out a region of the moving object from each of the frames, and locating feature points for video synthesis on and inside the contour of the region of the moving object cut out from the first frame in the moving object clipping step Determining a point corresponding to the feature point for image synthesis arranged on the first frame on and inside the outline of the moving object cut out from the second frame in the moving object cutting step; To obtain the coordinates of the feature points for image synthesis in the second frame, and repeat the same processing to calculate the feature point coordinates in the third to n-th frames. Image synthesizing information for storing, as image synthesizing information, the first frame, the n-th frame, and the feature point coordinates from the first frame to the n-th frame obtained in the feature point tracking step. A storage step; and a video synthesis step of combining a moving object video based on the video synthesis information having a smaller capacity than the input video stored in the video synthesis information storage step. This is a moving object image synthesis method.

【０００９】あるいは、移動物体が撮影された映像を入
力とし新たな映像を出力する移動物体映像合成装置であ
って、映像を構成する第１フレームから第ｎフレームま
でのｎ個のフレームのそれぞれから、移動物体の領域を
切り出す移動物体切り出し手段と、該移動物体切り出し
手段によって第１フレームから切り出された移動物体の
領域の輪郭線上および内部に映像合成のための特徴点を
配置する特徴点配置手段と、該移動物体切り出し手段に
よって第２フレームから切り出された移動物体の輪郭線
上および内部で、第１フレーム上に配置された該映像合
成のための特徴点と対応する点を求めて第２フレームに
おける映像合成のための特徴点の座標を求め、同様の処
理を繰り返して第３フレームから第ｎフレームにおける
特徴点座標を求める特徴点追跡手段と、該第１フレーム
と該第ｎフレームと該特徴点追跡手段によって求められ
た第１フレームから第ｎフレームまでの特徴点座標とを
映像合成情報として保存する映像合成情報保存手段と、
該映像合成情報保存手段によって保存された、入力映像
と比較して容量の小さい該映像合成情報をもとに移動物
体映像を合成する映像合成手段とを、具備することを特
徴とする移動物体映像合成装置である。Alternatively, there is provided a moving object image synthesizing apparatus for inputting an image obtained by photographing a moving object and outputting a new image, wherein each of the n frames from a first frame to an n-th frame constituting the image is provided. Moving object clipping means for clipping a region of a moving object, and feature point locating means for locating feature points for image synthesis on and inside the contour of the region of the moving object clipped from the first frame by the moving object clipping means And obtaining a point corresponding to the feature point for image synthesis arranged on the first frame on and inside the outline of the moving object cut out from the second frame by the moving object cutting means. , The coordinates of the feature points for the video synthesis are obtained, and the same processing is repeated to obtain the feature point coordinates in the third to n-th frames. Feature point tracking means; and video synthesis information storage means for storing the first frame, the n-th frame, and feature point coordinates from the first frame to the n-th frame obtained by the feature point tracking means as video synthesis information. When,
A moving object image, comprising: a moving object image synthesized based on the image synthesizing information having a smaller capacity than the input image, the moving object image being stored by the image synthesizing information storing means. It is a synthesis device.

【００１０】本発明の第二の発明は、前記映像合成段階
において、該映像合成情報保存段階において保存された
該映像合成情報を変化させて変形映像合成情報を生成す
る映像合成情報変形段階を有し、該変形映像合成情報を
用いて、入力された映像とは移動物体の動きが異なる移
動物体映像を合成することを特徴とする移動物体映像合
成方法である。In a second aspect of the present invention, the video composing step includes a video compositing information transforming step of generating modified video compositing information by changing the video compositing information stored in the video compositing information storing step. A moving object image synthesizing method characterized by using the deformed image synthesizing information to synthesize a moving object image having a moving object different in motion from an input image.

【００１１】あるいは、前記映像合成手段が、該映像合
成情報保存手段によって保存された該映像合成情報を変
化させて変形映像合成情報を生成する映像合成情報変形
手段を持ち、該変形映像合成情報を用いて、入力された
映像とは移動物体の動きが異なる移動物体映像を合成す
るものであることを特徴とする移動物体映像合成装置で
ある。Alternatively, the video synthesizing means has video synthesizing information deforming means for generating deformed video synthesizing information by changing the video synthesizing information stored by the video synthesizing information storing means. The moving object image synthesizing apparatus is characterized in that the moving image synthesizes a moving object image having a moving object different from the input image.

【００１２】本発明の第三の発明は、移動物体が撮影さ
れた映像を入力とし新たな映像を出力する移動物体映像
合成方法であって、映像を構成する第１フレームと第ｎ
フレームのそれぞれから、移動物体の領域を切り出す移
動物体切り出し段階と、該移動物体切り出し段階におい
て第１フレームから切り出された移動物体の領域の輪郭
線上および内部に映像合成のための特徴点を配置する特
徴点配置段階と、該特徴点配置段階において第１フレー
ムに配置された特徴点と対応する点を、第ｎフレームに
おいて該移動物体切り出し段階において切り出された移
動物体の輪郭線上および内部で求めて第ｎフレームにお
ける特徴点座標を求める特徴点対応検出段階と、動きパ
ターン辞書と第１フレームと第ｎフレームにおける該特
徴点座標とから、第２フレームから第（ｎ−１）フレー
ムまでの特徴点座標を求める特徴点座標補間段階と、該
第１フレームと該第ｎフレームと該特徴点座標補間段階
において求められた第２フレームから第（ｎ−１）フレ
ームまでの特徴点座標とを映像合成情報として保存する
映像合成情報保存段階と、該映像合成情報保存段階にお
いて保存された、該入力された映像の一部のフレームの
みから得られた該映像合成情報をもとに新たな移動物体
映像を合成する映像合成段階とを、有することを特徴と
する移動物体映像合成方法である。A third aspect of the present invention is a moving object image synthesizing method for inputting an image obtained by photographing a moving object and outputting a new image, wherein the first frame and the n-th frame constituting the image are provided.
A moving object clipping step of cutting out a region of the moving object from each of the frames, and locating feature points for video synthesis on and inside the contour of the region of the moving object cut out from the first frame in the moving object clipping step A feature point arranging step, and a point corresponding to the feature point arranged in the first frame in the feature point arranging step are obtained on and within the outline of the moving object cut out in the moving object cutting step in the n-th frame. A feature point correspondence detection step for obtaining feature point coordinates in the n-th frame, and feature points from the second frame to the (n-1) th frame based on the motion pattern dictionary and the feature point coordinates in the first frame and the n-th frame. A feature point coordinate interpolation step of obtaining coordinates; and a first frame, an n-th frame, and a feature point coordinate interpolation step. A video synthesis information storage step of storing feature point coordinates from the second frame to the (n-1) th frame as video synthesis information; and a part of the input video stored in the video synthesis information storage step A video compositing step of composing a new moving object video based on the video composition information obtained only from the frame of the moving object video.

【００１３】あるいは、移動物体が撮影された映像を入
力とし新たな映像を出力する移動物体映像合成装置であ
って、映像を構成する第１フレームと第ｎフレームのそ
れぞれから、移動物体の領域を切り出す移動物体切り出
し手段と、該移動物体切り出し手段によって第１フレー
ムから切り出された移動物体の領域の輪郭線上および内
部に映像合成のための特徴点を配置する特徴点配置手段
と、該特徴点配置手段によって第１フレームに配置され
た特徴点と対応する点を、第ｎフレームにおいて該移動
物体切り出し手段によって切り出された移動物体の輪郭
線上および内部で求めて第ｎフレームにおける特徴点座
標を求める特徴点対応検出手段と、動きパターン辞書を
持ち、該動きパターン辞書と第１フレームと第ｎフレー
ムにおける該特徴点座標とから、第２フレームから第
（ｎ−１）フレームまでの特徴点座標を求める特徴点座
標補間手段と、該第１フレームと該第ｎフレームと該特
徴点座標補間手段によって求められた第２フレームから
第（ｎ−１）フレームまでの特徴点座標とを映像合成情
報として保存する映像合成情報保存手段と、該映像合成
情報保存手段によって保存された、該入力された映像の
一部のフレームのみから得られた該映像合成情報をもと
に新たな移動物体映像を合成する映像合成手段とを、具
備することを特徴とする移動物体映像合成装置である。Alternatively, there is provided a moving object image synthesizing apparatus for inputting an image obtained by capturing a moving object and outputting a new image, wherein an area of the moving object is determined from each of a first frame and an n-th frame constituting the image. Moving object extracting means for extracting, a feature point arranging means for arranging a feature point for image synthesis on and inside an outline of a region of the moving object extracted from the first frame by the moving object extracting means; A point corresponding to the feature point arranged in the first frame by the means on and inside the outline of the moving object cut out by the moving object cut-out means in the n-th frame; Point correspondence detecting means, and a motion pattern dictionary, wherein the motion pattern dictionary and the feature in the first frame and the n-th frame are provided. A feature point coordinate interpolating means for calculating feature point coordinates from the second frame to the (n-1) th frame from the coordinates; and a first point, the n-th frame, and a feature point coordinate obtained by the feature point coordinate interpolating means. Video synthesis information storage means for storing feature point coordinates from the second frame to the (n-1) th frame as video synthesis information, and a part of the input video stored by the video synthesis information storage means. A moving object video synthesizing device, comprising: video synthesizing means for synthesizing a new moving object video based on the video synthesizing information obtained only from a frame.

【００１４】本発明の第四の発明は、移動物体が撮影さ
れた映像を入力とし新たな映像を出力する移動物体映像
合成方法であって、映像を構成する第１フレームから、
移動物体の領域を切り出す移動物体切り出し段階と、該
移動物体切り出し段階において第１フレームから切り出
された移動物体の領域の輪郭線上および内部に映像合成
のための特徴点を配置する特徴点配置段階と、動きパタ
ーン辞書を用いて、該特徴点配置段階において第１フレ
ームに配置された特徴点座標から第２フレームから第ｎ
フレームにおける特徴点座標を生成する特徴点座標生成
段階と、該第１フレームと該特徴点座標生成段階におい
て生成された第２フレームから第ｎフレームまでの特徴
点座標とを映像合成情報として保存する映像合成情報保
存段階と、該映像合成情報保存段階において保存され
た、該入力された映像の第１フレームのみから得られた
該映像合成情報をもとに新たな移動物体映像を合成する
映像合成段階とを、有することを特徴とする移動物体映
像合成方法である。A fourth invention of the present invention is a moving object image synthesizing method for inputting an image of a moving object and outputting a new image.
A moving object clipping step of cutting out a region of the moving object, and a feature point arranging step of arranging feature points for image synthesis on and inside the contour of the region of the moving object cut out from the first frame in the moving object clipping step. Using the motion pattern dictionary, the feature point coordinates arranged in the first frame in the feature point arranging step are used to calculate the second frame to the n-th frame.
A feature point coordinate generation step of generating feature point coordinates in a frame, and the first frame and the feature point coordinates from the second frame to the n-th frame generated in the feature point coordinate generation step are stored as video synthesis information. A video composition information storing step, and a video composition for composing a new moving object video based on the video composition information obtained from only the first frame of the input video stored in the video composition information storing step. And a moving object image synthesizing method.

【００１５】あるいは、移動物体が撮影された映像を入
力とし新たな映像を出力する移動物体映像合成装置であ
って、映像を構成する第１フレームから、移動物体の領
域を切り出す移動物体切り出し手段と、該移動物体切り
出し手段によって第１フレームから切り出された移動物
体の領域の輪郭線上および内部に映像合成のための特徴
点を配置する特徴点配置手段と、動きパターン辞書を持
ち、該動きパターン辞書を用いて該特徴点配置手段によ
って第１フレームに配置された特徴点座標から第２フレ
ームから第ｎフレームにおける特徴点座標を生成する特
徴点座標生成手段と、該第１フレームと該特徴点座標生
成手段によって生成された第２フレームから第ｎフレー
ムまでの特徴点座標とを映像合成情報として保存する映
像合成情報保存手段と、該映像合成情報保存手段によっ
て保存された、該入力された映像の第１フレームのみか
ら得られた該映像合成情報をもとに新たな移動物体映像
を合成する映像合成手段とを、具備することを特徴とす
る移動物体映像合成装置である。A moving object image synthesizing device for inputting an image of a moving object and outputting a new image, the moving object extracting means for extracting an area of the moving object from a first frame constituting the image; And a feature point arranging means for arranging feature points for image synthesis on and inside a contour line of a region of the moving object cut out from the first frame by the moving object cutting means; and a motion pattern dictionary. A feature point coordinate generating means for generating feature point coordinates in a second frame to an n-th frame from feature point coordinates arranged in a first frame by the feature point arranging means; and the first frame and the feature point coordinates A video synthesizing information storing means for storing feature point coordinates from the second frame to the n-th frame generated by the generating means as video synthesizing information; And video synthesizing means for synthesizing a new moving object video based on the video synthesizing information obtained from only the first frame of the input video stored by the video synthesizing information storing means. The moving object image synthesizing apparatus is characterized in that:

【００１６】なお、上記第一の発明から第四の発明まで
の移動物体映像合成方法における段階をコンピュータで
実現するために、そのプログラムを、該コンピュータが
読み取り可能な記録媒体に記録することが可能である。In order to realize the steps in the moving object image synthesizing method from the first invention to the fourth invention by a computer, the program can be recorded on a recording medium readable by the computer. It is.

【００１７】本発明の第一の発明においては、特徴点配
置手段／段階と特徴点追跡手段／段階により、移動物体
切り出し手段／段階による切り出し結果から、映像合成
手段／段階で利用可能な映像合成情報を抽出する。この
ため、入力映像中の移動物体の動きに基づいて、新たな
映像を合成することが可能になる。また、ここで抽出さ
れた映像合成情報は、入力映像中の一部のフレームと特
徴点の座標値という数値データであるため、容量が小さ
くなる。According to the first aspect of the present invention, the image compositing means / steps can be used by the image compositing means / steps by the feature point arranging means / steps and the characteristic point tracking means / steps, based on the clipping result by the moving object extracting means / steps. Extract information. Therefore, it is possible to synthesize a new video based on the movement of the moving object in the input video. In addition, since the extracted video synthesis information is numerical data of coordinate values of some frames and feature points in the input video, the capacity is reduced.

【００１８】第二の発明においては、映像合成情報変形
手段／段階を有する。映像合成情報中の特徴点座標値は
数値データであるため映像合成情報変形手段／段階によ
る加工が容易であり、これにより移動物体が入力映像中
とは異なった動きをする新たな映像を生成することがで
きる。In the second invention, there is provided an image synthesizing information deforming means / stage. Since the coordinate values of the feature points in the video synthesis information are numerical data, the processing by the video synthesis information deforming means / stage is easy, thereby generating a new video in which the moving object moves differently from the input video. be able to.

【００１９】第三と第四の発明においては、動きパター
ン辞書を有し、この中には各種動きパターンが収められ
ている。映像合成情報中の特徴点座標値は数値データで
あるため動きパターンにしたがって新たな特徴点座標値
を作成することが容易である。これにより、移動物体に
利用者の望みの動きをさせることができる。In the third and fourth inventions, a motion pattern dictionary is provided, in which various motion patterns are stored. Since the feature point coordinate values in the video composition information are numerical data, it is easy to create new feature point coordinate values according to the motion pattern. Thereby, the moving object can be made to move as desired by the user.

【００２０】[0020]

【発明の実施の形態】以下、本発明の実施の形態につい
て図を用いて詳細に説明する。Embodiments of the present invention will be described below in detail with reference to the drawings.

【００２１】始めに、図１に、本発明の第一の発明の原
理を示す。第一の発明では、特徴点配置手段２と特徴点
追跡手段３を有しており、これによって移動物体切り出
し手段１と映像合成手段５とが結びつけられているとい
う特徴がある。First, FIG. 1 shows the principle of the first invention of the present invention. The first invention has a feature that it has a feature point arranging means 2 and a feature point tracking means 3, whereby the moving object extracting means 1 and the video synthesizing means 5 are linked.

【００２２】入力映像は第１フレームから第ｎフレーム
というｎ枚の画像という形式で与えられる。まず第１フ
レームに対して、移動物体切り出し手段１により第１フ
レーム輪郭線が切り出される。この輪郭線上および内部
に、特徴点配置手段２により第１フレーム特徴点が配置
される。The input video is provided in the form of n images from the first frame to the n-th frame. First, the first frame outline is cut out from the first frame by the moving object cutout means 1. The first frame feature points are arranged on and inside the outline by the feature point arrangement means 2.

【００２３】移動物体切り出し手段１は、第２フレーム
から第ｎフレームに対しても適用され第２フレーム輪郭
線上および内部から第ｎフレーム輪郭線が切り出され
る。特徴点追跡手段３では第１フレームと第２フレーム
とを比較し、第１フレーム特徴点の第２フレーム上での
対応する位置を求め、第２フレーム特徴点とする。次
に、特徴点追跡手段３では第２フレームと第３フレーム
とを比較し、第２フレーム特徴点の第３フレーム上での
対応する位置を求め、第３フレーム特徴点とする。同様
の処理を繰り返し、第２フレーム特徴点から第ｎフレー
ム特徴点を求める。The moving object extracting means 1 is also applied to the second frame to the n-th frame, and extracts the n-th frame outline from and on the inside of the second frame outline. The feature point tracking means 3 compares the first frame with the second frame, finds the corresponding position of the first frame feature point on the second frame, and sets it as the second frame feature point. Next, the feature point tracking means 3 compares the second frame with the third frame, finds the corresponding position of the second frame feature point on the third frame, and sets the corresponding position as the third frame feature point. The same processing is repeated to find the n-th frame feature point from the second frame feature point.

【００２４】映像合成情報保存手段４では、第１フレー
ムと第ｎフレームという２枚の画像と、第１フレーム特
徴点から第ｎフレーム特徴点までを保存する。この映像
合成情報は２枚の画像と特徴点座標という数値情報から
構成されるため、入力映像に比べて容量が非常に小さい
という利点がある。The video synthesizing information storing means 4 stores two images, that is, a first frame and an n-th frame, and the feature points from the first frame to the n-th frame. Since this video synthesis information is composed of numerical information such as two images and feature point coordinates, there is an advantage that the capacity is very small as compared with the input video.

【００２５】映像合成手段５では、上記で保存された映
像合成情報から特徴点の移動に合わせて、ワープ、モー
フィング等の手段により、映像を合成する（スコット・
アンダーソン著（酒井啓 訳）：モーフィング入門、海
文堂（１９９４年））。The image synthesizing means 5 synthesizes an image by means of warping, morphing, or the like in accordance with the movement of the feature point from the image synthesizing information stored as described above (Scott.
By Anderson (translated by Kei Sakai): Introduction to Morphing, Kaibundo (1994).

【００２６】次に、第一の発明の一実施形態例の装置構
成を図２を用いて詳細に説明する。併せて、第一の発明
の一実施形態例の方法とともに、上記装置の動作を図４
を用いて詳細に説明する。Next, an apparatus configuration of an embodiment of the first invention will be described in detail with reference to FIG. In addition, together with the method of the first embodiment of the present invention, the operation of the above-described apparatus is shown in FIG.
This will be described in detail with reference to FIG.

【００２７】入力映像は図２（ａ）に示すように、物体
が移動している映像であるとする。移動物体切り出し手
段１は、図２（ｂ）に示すようにフレーム間差分算出手
段１１、Ｓｎａｋｅｓ初期位置設定手段１２、輪郭線決
定手段１３からなる。図４の概要処理フローに示すよう
に、移動物体切り出し手段１では、入力映像のフレーム
ｉに隣接するフレームとの間の差分を求め、検出された
領域を包含するようにＳｎａｋｅｓの初期位置を設定
し、Ｓｎａｋｅｓを用いてフレームｉにおける移動物体
の輪郭線を決定する。It is assumed that the input image is an image in which an object is moving, as shown in FIG. The moving object extracting means 1 includes an inter-frame difference calculating means 11, a Snakes initial position setting means 12, and a contour line determining means 13, as shown in FIG. As shown in the outline processing flow of FIG. 4, the moving object clipping means 1 calculates the difference between the input video and the frame adjacent to the frame i, and sets the initial position of Snakes so as to include the detected area. Then, the outline of the moving object in frame i is determined using Snakes.

【００２８】図５は、フレーム間差分算出手段１１の処
理フローを示す図である。フレーム間差分算出手段１１
において、隣接するフレームＩ_i（ｘ，ｙ）とＩ
_i+1（ｘ，ｙ）間の差分Ｄ_i（ｘ，ｙ）を求め、適当なし
きい値ｔを用いて２値（例えば黒画素と白画素）化する
と、フレームＩ_iとＩ_i+1における移動物***置のＯＲ領
域が検出される。FIG. 5 is a diagram showing a processing flow of the inter-frame difference calculating means 11. Inter-frame difference calculation means 11
, The adjacent frames I _i (x, y) and I
_When a difference D _i (x, y) between _{i + 1} (x, y) is obtained and binarized (for example, a black pixel and a white pixel) using an appropriate threshold value t, the frames I _i and I _{i + 1 are obtained.} The OR area of the moving object position in is detected.

【００２９】図６は、Ｓｎａｋｅｓ初期位置設定手段１
２の処理フローを示す図である。Ｓｎａｋｅｓ初期位置
設定手段１２では、フレーム間差分算出手段１１で検出
された領域を包含するようにＳｎａｋｅｓ（Ｋａｓｓ，
Ｍ．，Ｗｉｔｋｉｎ，Ａ．ａｎｄ Ｔｅｒｚｏｐｏｕｌ
ｏｕｓ，Ｄ：“Ｓｎａｋｅｓ： Ａｃｔｉｖｅ Ｃｏｎ
ｔｏｕｒ Ｍｏｄｅｌｓ”，Ｉｎｔｅｒｎａｔｉｏｎａ
ｌ Ｊｏｕｒｎａｌｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉ
ｏｎ，ｐｐ．３２１−３３３（１９８８））の初期位置
を設定する。具体的には、まず２値化された差分Ｄ
_i（ｘ，ｙ）を入力し、Ｄ_i（ｘ，ｙ）上のすべての点に
対して、画素膨張処理を繰り返して行う。この処理で
は、Ｄ_i（ｘ，ｙ）が黒画素の時、Ｄ_i（ｘ＋ｃ_x，ｙ＋
ｃ_y）を黒画素にする。ここで、２画素ずつ膨張させる
場合には、ｃ_x＝−２，−１，０，１，２；ｃ_y＝−２，
−１，０，１，２とする。次に、輪郭線追跡を行う。こ
の処理では、Ｄ_i（ｘ，ｙ）に対して白画素と接してい
る黒画素を追跡して輪郭点を求める。最後に輪郭点を一
定間隔で間引き処理して、その結果ｖｊ（ｊ＝１，…，
ｍ）をＳｎａｋｅｓ初期位置として設定する。FIG. 6 shows the Snakes initial position setting means 1.
FIG. 6 is a diagram showing a processing flow of No. 2; In the Snakes initial position setting means 12, Snakes (Kass, Kass,
M. Witkin, A .; and Terzopoul
ous, D: "Snakes: Active Con
tour Models ”, Internationala
l Journalnal Computer Visi
on, pp. 321-333 (1988)). Specifically, first, the binarized difference D
_i (x, y) is input, and pixel expansion processing is repeatedly performed on all points on D _i (x, y). In this process, when D _i (x, y) is a black pixel, D _i (x + c _x , y +
Let _cy ) be a black pixel. Here, when expanding two pixels at a time, c _x = −2, −1, 0, 1, 2; c _y = −2,
-1, 0, 1, and 2. Next, contour line tracking is performed. In this processing, contour points are obtained by tracking black pixels in contact with white pixels with respect to D _i (x, y). Finally, the contour points are thinned out at regular intervals, and as a result vj (j = 1,.
m) is set as the Snakes initial position.

【００３０】図７は輪郭線決定手段１３の処理フローを
示す図である。輪郭線決定手段１３では、Ｓｎａｋｅｓ
を用いてフレームｉにおける移動物体の輪郭線を決定す
る。具体的には、まずＳｎａｋｅｓ初期位置ｖｊ（ｊ＝
１，…，ｍ）を入力し、フレームｉのエッジ画像をＥ_i
（ｘ，ｙ）とする。次に、α，βを定数として、評価関
数Ｊを、以下のように設定する。FIG. 7 is a diagram showing a processing flow of the contour line determining means 13. In the contour line determining means 13, Snakes
Is used to determine the contour of the moving object in frame i. Specifically, first, the Snakes initial position vj (j =
1,..., M), and the edge image of frame i is E _i
(X, y). Next, the evaluation function J is set as follows, using α and β as constants.

【００３１】Ｊ＝Ｊ₁＋α・Ｊ₂＋β・Ｊ₃ Ｊ₁＝Σ_jＥ（ｖ_j） Ｊ₂＝Σ_j｜ｖ_i−ｖ_i-1｜² Ｊ₃＝Σ_j｜ｖ_i+1−２ｖ_i＋ｖ_i-1｜² この評価関数Ｊを最小にするｖ_jを求めて輪郭線とす
る。[0031] _{J = J 1 + α · J} 2 + β · J 3 J 1 = Σ j E (v j) J 2 = Σ j | v i -v i-1 | 2 J 3 = Σ j | v i + 1 _{-2v i + v i-1 |} 2 seeking v _j for the evaluation function J to a minimum and contour.

【００３２】図３（ａ）は、特徴点配置手段２の一実施
形態例を示す図、図８は特徴点配置手段２での概要処理
フローを示す図である。ここでは、特徴点配置手段２は
屈曲点検出手段２１と屈曲点間等分手段２２からなる。
これらの手段により、まず屈曲点検出手段２１により角
などの屈曲点に特徴点が配置され、次に、屈曲点間等分
手段２２により、屈曲点間の間隔が広い場合には、等分
して特徴点が配置される。FIG. 3A is a diagram showing an embodiment of the feature point arranging means 2, and FIG. Here, the feature point arranging means 2 includes a bending point detecting means 21 and an equalizing means 22 between bending points.
By these means, first, the characteristic points are arranged at the inflection points such as corners by the inflection point detection means 21, and then, when the interval between the inflection points is wide, Feature points are arranged.

【００３３】図９は屈曲点検出手段２１の処理フローを
示す図である。屈曲点検出手段２１では、特徴点を配置
する屈曲点を次のようにして求める。まず輪郭点を
ｘ₁，ｘ₂，…，ｘ_mとし、下式についてｉ＝２，…，ｍ
−１に対し処理を繰り返して輪郭点両側の線分のなす角
度θを計算する。FIG. 9 is a diagram showing a processing flow of the inflection point detecting means 21. The inflection point detecting means 21 obtains an inflection point at which a feature point is arranged as follows. First, contour points are x ₁ , x ₂ ,..., X _m, and i = 2,.
The process is repeated for −1 to calculate the angle θ between the line segments on both sides of the contour point.

【００３４】ｄ＝ｘ_i-1−ｘ_i ｄ′＝ｘ_i+1−ｘ_i θ＝ａｃｏｓ（ｄ・ｄ′／｜ｄ｜・｜ｄ′｜） この角度θを所定のしきい値θ_th以上あれば、ｘ_iを屈
曲点とする。D = x _i-1 −x _i d ′ = x _{i + 1} −x _i θ = acos (d · d ′ / | d | · | d ′ |) This angle θ is set to a predetermined threshold value θ. if _th or more, and the inflection point of the x _i.

【００３５】図１０は屈曲点間等分手段２２の処理フロ
ーを示す図である。まず、屈曲点をｙ₁，ｙ₂，…，ｙ_p
とし、下式についてｉ＝２，…，ｐ−１に対し処理を繰
り返してＬを求める。FIG. 10 is a diagram showing a processing flow of the equalizing means 22 between bending points. First, the bending points are _defined as y ₁ , y _{2 ,.}
Then, the processing is repeated for i = 2,.

【００３６】Ｌ＝｜ｙ_i+1−ｙ_i｜ Ｌ_thを間隔の基準値としてＬ／Ｌ_thを越えない最大の整
数をＫを求めて、ｙ_iとｙ_i+1の間の輪郭点をＫ個、でき
るだけ等間隔に選択して特徴点とする。L = | y _{i + 1} −y _i | Using L _th as a reference value of the interval, the maximum integer K not _exceeding L / L _th is obtained, and the contour point between y _i and y _{i + 1} is obtained. Are selected at equal intervals as possible as feature points.

【００３７】次に、特徴点追跡手段３においては、フレ
ームｉにおける特徴点（ｘ_i，ｙ_i）に対応する点（ｘ
_i+1，ｙ_i+1）を、フレーム（ｉ＋１）において、 Ｊ＝Σ_k=0 ^NΣ_l=0 ^M（Ｉ_i（ｘ_i＋ｋ，ｙ_i＋ｌ）−Ｉ
_i+1（ｘ_i+1＋ｋ，ｙ_i+1＋ｌ））² を最小にするように定める。ここでＮ，Ｍは特徴点の周
囲に設定した対応付けのためのウィンドウのサイズ、Ｉ
_i（ｘ_i，ｙ_i），Ｉ_i+1（ｘ_i+1，ｙ_i+1）はそれぞれフレ
ームｉの（ｘ_i，ｙ_i）における画素値、フレーム（ｉ＋
１）の（ｘ_i+1，ｙ_i+1）における画素値とする。Next, in the feature point tracking means 3, the point (x _i ) corresponding to the feature point (x _i , y _i ) in frame i
_{i +} 1, the y _{i + 1),} (in i + 1), J = Σ k = 0 N Σ l = 0 M (I i (x i + k, y i + l) frames -I
_{i + 1} (x _{i + 1} + k, y _{i + 1} + l)) ² is determined to be minimized. Here, N and M are window sizes for association set around feature points,
_{i (x i, y i)} , I i + 1 (x i + 1, y i + 1) each frame i is (x _i, y _i) the pixel values in a frame (i +
Let the pixel value at (x _{i + 1} , y _{i + 1} ) in ₁ ).

【００３８】図１１は特徴点追跡手段３の処理フローを
示す図である。フレームｉにおける特徴点を（ｘ_i，
ｙ_j）とし、Ｊの最小値Ｊ_minとして最大数を置く。フレ
ームｉにおいて（ｘ_i，ｙ_j）の周辺に設定したウインド
ウと、フレーム（ｉ＋１）において（ｘ_i+1，ｙ_j+1）の
周辺に設定したウインドウを重ね合わせ、ウインドウ内
の誤差合計であるＪを上式から求めて、このＪがＪ_min
より小さいとき、新たにＪをＪ_minとし、このときのｘ
_i+1をｘ_i+1＊とし、ｙ_j+1をｙ_j+1＊とする。この処理
を、（ｘ_i+1，ｙ_j+1）を（ｘ_i，ｙ_j）の周辺に設定した
探索範囲内で変動させて行い、最終的に得られたｘ_i+1
＊，ｙ_j+1＊をフレーム（ｉ＋１）における特徴点とす
る。FIG. 11 is a diagram showing a processing flow of the feature point tracking means 3. The feature points in frame i are represented by (x _i ,
and y _j), placing the maximum number of the minimum value J _min of J. In frame _i (x i, y _j) and the window set around the superposition in a frame (i + 1) the window set around the _{(x i + 1, y j} + 1), the error sum in the window A certain J is obtained from the above equation, and this J is J _min
If smaller, J is newly set to J _min, and x
_{(i + 1)} and x _{i + 1} *, the y j _{+ 1} and y _{j + 1} *. The _{process, (x i + 1, y} j + 1) to (x _i, y _j) is performed by varying within the search range set around the, x _{i + 1} finally obtained
*, Y _{j + 1} * are feature points in frame (i + 1).

【００３９】次に、映像合成情報保存手段４では、第１
フレーム、第ｎフレームと第１フレーム特徴点から第ｎ
フレーム特徴点を保存する。Next, the video synthesizing information storing means 4
Frame, the nth frame and the nth frame
Save the frame feature points.

【００４０】次に、映像合成手段５では、移動物体上の
各点に対して、図３（ｂ）に示すように最も近い３つの
特徴点Ｐ₁，Ｐ₂，Ｐ₃を選択する。そして直線Ｐ₁Ｐ₂，
Ｐ₂Ｐ₃，Ｐ₃Ｐ₁を制御線として、モーフィングにより特
徴点の移動にともなって移動させる（スコット・アンダ
ーソン著（酒井啓 訳）：“モーフィング入門”，海文
堂（１９９４年））。Next, the video synthesizing means 5 selects, for each point on the moving object, the three closest feature points P ₁ , P ₂ and P ₃ as shown in FIG. 3B. And the straight lines P ₁ P ₂ ,
Using P ₂ P ₃ and P ₃ P ₁ as control lines, the feature points are moved by morphing along with the movement of the feature points (by Scott Anderson (translated by Sakai Kei: “Introduction to Morphing”, Kaibundo, 1994)).

【００４１】図１２は映像合成手段５の処理フローを示
す図である。まず、第１フレーム中の移動物体内の点を
Ｑとし、第ｉフレームでの特徴点の位置をＰ１′，Ｐ
２′，Ｐ３′とする。第１フレームで、Ｑとの距離が近
い順に３つの特徴点Ｐ１，Ｐ２，Ｐ３を選択する。そし
て、制御線Ｐ₁Ｐ₂，Ｐ₂Ｐ₃，Ｐ₃Ｐ₁がＰ₁′Ｐ₂′，
Ｐ₂′Ｐ₃′，Ｐ₃′Ｐ₁′に移動したとして、点Ｑをワー
プまたはモーフィングにより移動させる。FIG. 12 is a diagram showing a processing flow of the video synthesizing means 5. First, a point in the moving object in the first frame is defined as Q, and the positions of the feature points in the i-th frame are defined as P1 ', P1'.
2 ′, P3 ′. In the first frame, three feature points P1, P2, and P3 are selected in order of decreasing distance from Q. The control lines P ₁ P ₂ , P ₂ P ₃ , and P ₃ P _{1 correspond} to P ₁ 'P ₂ ',
Assuming that the point Q has moved to P ₂ ′ P ₃ ′ and P ₃ ′ P ₁ ′, the point Q is moved by warping or morphing.

【００４２】続いて、本発明の第二の発明の実施形態例
を説明する。Next, an embodiment of the second invention of the present invention will be described.

【００４３】第二の発明の実施形態例の原理図を図１３
に示す。第二の発明では、映像合成情報保存手段１１と
映像合成手段１３の間に、映像合成情報変形手段１２を
有する点に特徴がある。これにより、映像合成情報のう
ちの特徴点座標を変化させ、移動物体の動きを変化させ
る。映像合成情報中で、移動物体の動きは特徴点座標と
いう形で数値化されているため、このような変形が容易
に行える。FIG. 13 shows the principle of the second embodiment of the present invention.
Shown in The second invention is characterized in that a video synthesis information deforming unit 12 is provided between the video synthesis information storage unit 11 and the video synthesis unit 13. As a result, the coordinates of the feature points in the video synthesis information are changed, and the motion of the moving object is changed. Since the movement of the moving object is quantified in the form of feature point coordinates in the video synthesis information, such deformation can be easily performed.

【００４４】図１４は第二の発明の実施形態例を示す、
映像合成情報変形手段１２の機能を説明する図である。
この映像合成情報変形手段１２は、例えば、一定値シフ
ト（図１４（ａ））、動きの拡大（図１４（ｂ））、伸
縮しながらの移動（図１４（ｃ））、回転しながらの移
動（図１４（ｄ））、などの変形を行うことができる。
今、特徴点の１つのフレームｉにおける座標を（ｘ_i，
ｙ_i）（ｉ＝１，…，ｎ）とする。この点が映像合成情
報変形手段により（ｘ′_i，ｙ′_i）に写されるとする
と、それぞれの変形において（ｘ_i，ｙ_i）と（ｘ′_i，
ｙ′_i）の関係は以下のようになる。FIG. 14 shows an embodiment of the second invention.
FIG. 3 is a diagram for explaining the function of a video composition information deforming unit 12.
The image synthesizing information deforming means 12 includes, for example, a constant value shift (FIG. 14A), an enlargement of the motion (FIG. 14B), a movement while expanding and contracting (FIG. 14C), and a rotation while rotating. Deformation such as movement (FIG. 14D) can be performed.
Now, the coordinates of a feature point in one frame i are represented by (x _i ,
y _i ) (i = 1,..., n). Assuming that this point is copied to (x ′ _i , y ′ _i ) by the image composition information deformation means, (x _i , y _i ) and (x ′ _i ,
The relationship of y ′ _i ) is as follows.

【００４５】一定値シフトの場合には、In the case of a constant value shift,

【００４６】[0046]

【数１】 (Equation 1)

【００４７】動きの拡大の場合には、In the case of movement expansion,

【００４８】[0048]

【数２】 (Equation 2)

【００４９】伸縮しながらの移動の場合にはIn the case of moving while expanding and contracting,

【００５０】[0050]

【数３】 (Equation 3)

【００５１】ここで（ｘ_wi，ｙ_wi）は、フレームｉにお
けるすべての特徴点の重心である。Here, (x _wi , y _wi ) is the center of gravity of all the feature points in the frame i.

【００５２】回転しながらの移動の場合には、In the case of moving while rotating,

【００５３】[0053]

【数４】 (Equation 4)

【００５４】ここでωは回転させる角速度である。Here, ω is the angular velocity to rotate.

【００５５】続いて、本発明の第三の発明の実施形態例
を説明する。Next, a third embodiment of the present invention will be described.

【００５６】第三の発明の原理図を図１５に示す。第三
の発明では、第一の発明の特徴点追跡手段に代えて、特
徴点対応検出手段７と特徴点座標補間手段８と動きパタ
ーン辞書９を有する。これにより第１フレームに配置さ
れた特徴点と対応する点を第ｎフレーム上で求めて第ｎ
フレーム特徴点とする。第２フレーム特徴点から第（ｎ
−１）フレーム特徴点は特徴点座標補間手段８によって
求められる。特徴点座標補間手段８では動きパターン辞
書９の中に収められている等速直線運動、等加速直線運
動、放物運動などの中から１つを選択し、それに基づい
て補間座標を決定する。これにより、第１フレームにお
ける初期位置と第ｎフレームにおける最終位置は固定さ
れた範囲で、移動物体に利用者の望む動きをさせること
ができる。FIG. 15 shows a principle diagram of the third invention. The third invention includes a feature point correspondence detection means 7, a feature point coordinate interpolation means 8, and a motion pattern dictionary 9 instead of the feature point tracking means of the first invention. As a result, a point corresponding to the feature point arranged in the first frame is obtained on the n-th frame,
Frame feature points. From the feature point of the second frame to the (n
-1) The frame feature points are obtained by the feature point coordinate interpolation means 8. The feature point coordinate interpolation means 8 selects one of a constant velocity linear motion, a constant acceleration linear motion, a parabolic motion, and the like stored in the motion pattern dictionary 9 and determines an interpolation coordinate based on the selected one. Accordingly, the moving object can be caused to move as desired by the user within a fixed range between the initial position in the first frame and the final position in the n-th frame.

【００５７】図１６は、第三の実施形態例を説明するた
めの図である。第三の発明において、特徴点補間手段８
は、移動物体切り出し手段１からの第１フレーム特徴点
と第ｎフレーム特徴点とから、動きパターン辞書９を用
いて中間の第２フレーム特徴点から第（ｎ−１）フレー
ム特徴点を生成する。ここで動きパターン辞書９には等
速直線運動、等加速度直線運動、放物運動などの動きパ
ターンが用意されている。FIG. 16 is a diagram for explaining the third embodiment. In the third invention, the feature point interpolation means 8
Generates a (n-1) th frame feature point from an intermediate second frame feature point using the motion pattern dictionary 9 from the first frame feature point and the nth frame feature point from the moving object extracting means 1. . Here, the motion pattern dictionary 9 has prepared motion patterns such as a constant velocity linear motion, a constant acceleration linear motion, and a parabolic motion.

【００５８】今、特徴点の１つについて、第１フレーム
での座標が（ｘ₁，ｙ₁）、第ｎフレームでの座標が（ｘ
_n，ｙ_n）であるとし、これらを補間して第ｉフレームの
座標（ｉ＝２，…，ｎ−１）を求める。Now, for one of the feature points, the coordinates in the first frame are (x ₁ , y ₁ ), and the coordinates in the n-th frame are (x
_n, and a y _n), the i-th frame of coordinates by interpolating the (i = 2, ..., n -1) obtained.

【００５９】等速直線運動（図１６（ａ））の場合に
は、In the case of constant velocity linear motion (FIG. 16 (a)),

【００６０】[0060]

【数５】 (Equation 5)

【００６１】等加速度運動（図１６（ｂ））の場合に
は、In the case of the uniform acceleration motion (FIG. 16B),

【００６２】[0062]

【数６】 (Equation 6)

【００６３】放物運動（図１６（ｃ））の場合には、 ｘ_i＝ｘ₁＋（ｉ−１）（ｘ_n−ｘ₁）／（ｎ−１） ｙ_i＝ｙ₁＋ｖ_y（ｉ−１）−（１／２）ｇ（ｉ−１）² ただし、ｖ_yとｇは ｙ_n＝ｙ₁＋ｖ_y（ｎ−１）−（１／２）ｇ（ｎ−１）² となるように選ぶ。In the case of the parabolic motion (FIG. 16C), x _i = x ₁ + (i−1) (x _n −x ₁ ) / (n−1) y _i = y ₁ + v _y ( i-1) - (1/2) g (i-1) 2 However, v _y and g _{y n = y 1 + v y} (n-1) - (1/2) g (n-1) 2 and Choose to be.

【００６４】続いて、本発明の第四の発明の実施形態例
を説明する。Next, a fourth embodiment of the present invention will be described.

【００６５】本発明の第四の発明の原理図を図１７に示
す。第四の発明では、第一の発明の特徴点追跡手段の代
わりに、特徴点座標生成手段１０を配置したものであ
る。特徴点配置手段３によって第１フレーム特徴点が配
置されると、特徴点座標生成手段１０は動きパターン辞
書９を用いて第２フレーム特徴点から第ｎフレーム特徴
点を求める。これにより、第ｎフレームにおける最終位
置も含めて、移動物体に利用者の望む動きをさせること
ができる。FIG. 17 shows a principle diagram of the fourth invention of the present invention. In the fourth invention, a feature point coordinate generating means 10 is arranged in place of the feature point tracking means of the first invention. When the first frame feature point is arranged by the feature point arrangement means 3, the feature point coordinate generation means 10 uses the motion pattern dictionary 9 to find the n-th frame feature point from the second frame feature point. This allows the moving object to make the user move in a desired manner, including the final position in the n-th frame.

【００６６】第四の発明の実施形態例における特徴点座
標生成手段１０では、第ｎフレームでの座標（ｘ_n，
ｙ_n）をユーザが指定し、残りの処理は、第三の発明で
の特徴点補間手段と同様に処理する。In the feature point coordinate generating means 10 according to the fourth embodiment of the present invention, the coordinates (x _n ,
The y _n) user designates, remaining processing is treated in the same manner as the feature point interpolator in the third aspect of the present invention.

【００６７】なお、図１、図２、図３、図１３、図１
５、図１７で示した手段の一部もしくは全部を、コンピ
ュータを用いて機能させることができること、あるい
は、図４から図１２までに示した処理フローでの処理の
手順をコンピュータで実行させることができることは言
うまでもなく、コンピュータをその手段として機能させ
るためのプログラム、あるいは、コンピュータでその処
理の手順を実行させるためのプログラムを、そのコンピ
ュータが読み取り可能な記録媒体、例えば、ＦＤ（フロ
ッピーディスク）や、ＭＯ、ＲＯＭ、メモリカード、Ｃ
Ｄ、ＤＶＤ、リムーバブルディスクなどに記録して提供
し、配布することが可能である。FIGS. 1, 2, 3, 13, and 1
5. Some or all of the means shown in FIG. 17 can be made to function using a computer, or the computer can execute the processing procedures in the processing flows shown in FIGS. 4 to 12. Needless to say, a program for causing a computer to function as the means or a program for causing a computer to execute the processing procedure can be stored in a computer-readable recording medium such as an FD (floppy disk), MO, ROM, memory card, C
D, DVD, removable disk, etc., and can be provided and distributed.

【００６８】[0068]

【発明の効果】以上、説明したとおり、本発明の第一の
発明によれば、入力移動物体映像から映像合成情報が抽
出され、それを使って移動物体映像が合成される。これ
により、入力映像に基づいて新たな映像を合成すること
ができる。また、この映像合成情報は入力映像と比較し
て容量が小さく、容量圧縮効果がある。As described above, according to the first aspect of the present invention, video synthesis information is extracted from an input moving object image, and a moving object image is synthesized using the extracted information. Thus, a new video can be synthesized based on the input video. Also, this video synthesis information has a smaller capacity than the input video, and has a capacity compression effect.

【００６９】第二の発明によれば、映像合成情報変形手
段により映像合成情報を加工し、移動物体に入力映像と
は異なる動きをさせることができる。According to the second aspect, the image synthesis information can be processed by the image synthesis information deforming means, and the moving object can be made to move differently from the input image.

【００７０】第三、第四の発明によれば、動きパターン
辞書の利用により、移動物体に利用者の望む動きをさせ
ることができる。According to the third and fourth aspects of the present invention, the use of the motion pattern dictionary allows the moving object to make a motion desired by the user.

【図面の簡単な説明】[Brief description of the drawings]

【図１】本発明の第一の発明の原理を説明するための図
である。FIG. 1 is a diagram for explaining the principle of the first invention of the present invention.

【図２】（ａ），（ｂ）は、上記第一の発明の実施形態
例を説明するための図（その１）である。FIGS. 2A and 2B are diagrams (part 1) for explaining the embodiment of the first invention. FIG.

【図３】（ａ），（ｂ）は、上記第一の発明の実施形態
例を説明するための図（その２）である。FIGS. 3A and 3B are diagrams (part 2) for explaining the embodiment of the first invention. FIG.

【図４】上記第一の発明の実施形態例における移動物体
切り出し手段の概要処理フローを示す図である。FIG. 4 is a diagram showing a schematic processing flow of a moving object extracting means in the embodiment of the first invention.

【図５】上記第一の発明の実施形態例におけるフレーム
間差分検出手段の処理フローを示す図である。FIG. 5 is a diagram showing a processing flow of an inter-frame difference detecting means in the embodiment of the first invention.

【図６】上記第一の発明の実施形態例におけるＳｎａｋ
ｅｓ初期位置決定手段の処理フローを示す図である。FIG. 6 shows a Snak according to the embodiment of the first invention.
It is a figure which shows the processing flow of es initial position determination means.

【図７】上記第一の発明の実施形態例における輪郭線決
定手段の処理フローを示す図である。FIG. 7 is a diagram showing a processing flow of an outline determining means in the embodiment of the first invention.

【図８】上記第一の発明の実施形態例における特徴点配
置手段の概要処理フローを示す図である。FIG. 8 is a diagram showing an outline processing flow of a feature point arrangement unit in the embodiment of the first invention.

【図９】上記第一の発明の実施形態例における屈曲点検
出手段の処理フローを示す図である。FIG. 9 is a diagram showing a processing flow of a bending point detecting means in the embodiment of the first invention.

【図１０】上記第一の発明の実施形態例における屈曲点
間等分手段の処理フローを示す図である。FIG. 10 is a diagram showing a processing flow of a means for equally dividing between bending points in the embodiment of the first invention.

【図１１】上記第一の発明の実施形態例における特徴点
追跡手段の処理フローを示す図である。FIG. 11 is a diagram showing a processing flow of a feature point tracking means in the embodiment of the first invention.

【図１２】上記第一の発明の実施形態例における映像合
成手段の処理フローを示す図である。FIG. 12 is a diagram showing a processing flow of a video synthesizing means in the embodiment of the first invention.

【図１３】本発明の第二の発明の原理を説明するための
図である。FIG. 13 is a diagram for explaining the principle of the second invention of the present invention.

【図１４】（ａ），（ｂ），（ｃ），（ｄ）は、上記第
二の発明の実施形態例を説明するための図である。FIGS. 14 (a), (b), (c) and (d) are diagrams for explaining the embodiment of the second invention.

【図１５】本発明の第三の発明の原理を説明するための
図である。FIG. 15 is a diagram for explaining the principle of the third invention of the present invention.

【図１６】（ａ），（ｂ），（ｃ）は、上記第三の発明
の実施形態例を説明するための図である。FIGS. 16 (a), (b), and (c) are diagrams for explaining an embodiment of the third invention.

【図１７】本発明の第四の発明の原理を説明するための
図である。FIG. 17 is a diagram for explaining the principle of the fourth invention of the present invention.

【符号の説明】[Explanation of symbols]

１…移動物体切り出し手段 ２…特徴点配置手段 ３…特徴点追跡手段 ４…映像合成情報保存手段 ５…映像合成手段 ６…映像合成情報変形手段 ７…特徴点対応検出手段 ８…特徴点座標補間手段 ９…動きパターン辞書 １０…特徴点座標生成手段 １１…フレーム間差分検出手段 １２…Ｓｎａｋｅｓ初期位置決定手段 １３…輪郭線決定手段 ２１…屈曲点検出手段 ２２…屈曲点間等分手段 DESCRIPTION OF SYMBOLS 1 ... Moving object extraction means 2 ... Feature point arrangement means 3 ... Feature point tracking means 4 ... Video synthesis information storage means 5 ... Video synthesis information 6 ... Video synthesis information deformation means 7 ... Feature point correspondence detection means 8 ... Feature point coordinate interpolation Means 9: Motion pattern dictionary 10: Feature point coordinate generating means 11: Inter-frame difference detecting means 12: Snakes initial position determining means 13 ... Contour line determining means 21 ... Bending point detecting means 22 ... Equalizing means between bending points

───────────────────────────────────────────────────── フロントページの続き (72)発明者 金田 洋二 東京都新宿区西新宿３丁目19番２号 日本 電信電話株式会社内 (72)発明者 金山 英明 東京都新宿区西新宿３丁目19番２号 日本 電信電話株式会社内 Ｆターム(参考） 5B050 AA08 BA11 BA15 EA03 EA05 EA06 EA19 EA24 5B057 BA02 CE08 DA07 DC07 DC16 5C023 AA06 AA40 BA04 BA11 DA01 5L096 CA02 FA06 FA12 GA08 HA03 9A001 BB03 EE04 EE05 HH27 HH28 HH30  ──────────────────────────────────────────────────続 き Continuing on the front page (72) Inventor Yoji Kaneda 3- 19-2 Nishi-Shinjuku, Shinjuku-ku, Tokyo Inside Japan Telegraph and Telephone Corporation (72) Inventor Hideaki Kanayama 3- 19-2, Nishi-Shinjuku, Shinjuku-ku, Tokyo No. Nippon Telegraph and Telephone Co., Ltd. F-term (reference)

Claims (9)

【特許請求の範囲】[Claims] 【請求項１】 移動物体が撮影された映像を入力とし新
たな映像を出力する移動物体映像合成方法であって、 映像を構成する第１フレームから第ｎフレームまでのｎ
個のフレームのそれぞれから、移動物体の領域を切り出
す移動物体切り出し段階と、 該移動物体切り出し段階において第１フレームから切り
出された移動物体の領域の輪郭線上および内部に映像合
成のための特徴点を配置する特徴点配置段階と、 該移動物体切り出し段階において第２フレームから切り
出された移動物体の輪郭線上および内部で、第１フレー
ム上に配置された該映像合成のための特徴点と対応する
点を求めて第２フレームにおける映像合成のための特徴
点の座標を求め、同様の処理を繰り返して第３フレーム
から第ｎフレームにおける特徴点座標を求める特徴点追
跡段階と、 該第１フレームと該第ｎフレームと該特徴点追跡段階に
おいて求められた第１フレームから第ｎフレームまでの
特徴点座標とを映像合成情報として保存する映像合成情
報保存段階と、 該映像合成情報保存段階において保存された、入力映像
と比較して容量の小さい該映像合成情報をもとに移動物
体映像を合成する映像合成段階とを、 有することを特徴とする移動物体映像合成方法。1. A moving object image synthesizing method for inputting an image of a moving object and outputting a new image, wherein n is a first frame to an n-th frame constituting the image.
A moving object extracting step of extracting an area of the moving object from each of the plurality of frames; and a feature point for image synthesis on and inside an outline of the area of the moving object extracted from the first frame in the moving object extracting step. A feature point to be arranged; a point corresponding to the feature point for image synthesis arranged on the first frame on and inside the outline of the moving object cut out from the second frame in the moving object cutting step A feature point tracking step of obtaining feature point coordinates for video synthesis in the second frame, and calculating the feature point coordinates in the n th frame from the third frame by repeating the same processing. The n-th frame and the feature point coordinates from the first frame to the n-th frame obtained in the feature point tracking step are stored as video synthesis information. A video compositing information storing step of composing a moving object video based on the video compositing information stored in the video compositing information storing step and having a smaller capacity than the input video. A moving object image synthesizing method characterized by the following. 【請求項２】 前記映像合成段階では、 該映像合成情報保存段階において保存された該映像合成
情報を変化させて変形映像合成情報を生成する映像合成
情報変形段階を有し、 該変形映像合成情報を用いて、入力された映像とは移動
物体の動きが異なる移動物体映像を合成することを特徴
とする請求項１記載の移動物体映像合成方法。2. The video synthesizing step includes a video synthesizing information deforming step of generating deformed video synthesizing information by changing the video synthesizing information stored in the video synthesizing information storing step. 2. The moving object image synthesizing method according to claim 1, wherein a moving object image having a moving object whose motion is different from that of the input image is synthesized. 【請求項３】 移動物体が撮影された映像を入力とし新
たな映像を出力する移動物体映像合成方法であって、 映像を構成する第１フレームと第ｎフレームのそれぞれ
から、移動物体の領域を切り出す移動物体切り出し段階
と、 該移動物体切り出し段階において第１フレームから切り
出された移動物体の領域の輪郭線上および内部に映像合
成のための特徴点を配置する特徴点配置段階と、 該特徴点配置段階において第１フレームに配置された特
徴点と対応する点を、第ｎフレームにおいて該移動物体
切り出し段階において切り出された移動物体の輪郭線上
および内部で求めて第ｎフレームにおける特徴点座標を
求める特徴点対応検出段階と、 動きパターン辞書と第１フレームと第ｎフレームにおけ
る該特徴点座標とから、第２フレームから第（ｎ−１）
フレームまでの特徴点座標を求める特徴点座標補間段階
と、 該第１フレームと該第ｎフレームと該特徴点座標補間段
階において求められた第２フレームから第（ｎ−１）フ
レームまでの特徴点座標とを映像合成情報として保存す
る映像合成情報保存段階と、 該映像合成情報保存段階において保存された、該入力さ
れた映像の一部のフレームのみから得られた該映像合成
情報をもとに新たな移動物体映像を合成する映像合成段
階とを、 有することを特徴とする移動物体映像合成方法。3. A moving object video synthesizing method for inputting a video image of a moving object and outputting a new image, wherein a region of the moving object is determined from each of a first frame and an n-th frame constituting the image. A moving object extracting step of extracting, a feature point arranging step of arranging a feature point for image synthesis on and inside a contour of an area of the moving object extracted from the first frame in the moving object extracting step; A feature corresponding to the feature point arranged in the first frame in the stage is obtained on and inside the outline of the moving object cut out in the moving object cut-out stage in the n-th frame to obtain feature point coordinates in the n-th frame. A point correspondence detection step, and a motion pattern dictionary and the feature point coordinates in the first frame and the n-th frame. n-1)
A feature point coordinate interpolation step for obtaining feature point coordinates up to a frame; a feature point from the second frame to the (n-1) th frame obtained in the first frame, the n-th frame, and the feature point coordinate interpolation step A video synthesis information storing step of storing coordinates and video synthesis information; and a video synthesis information stored in the video synthesis information storage step, the video synthesis information being obtained from only some frames of the input video. A video compositing step of composing a new moving object video. 【請求項４】 移動物体が撮影された映像を入力とし新
たな映像を出力する移動物体映像合成方法であって、 映像を構成する第１フレームから、移動物体の領域を切
り出す移動物体切り出し段階と、 該移動物体切り出し段階において第１フレームから切り
出された移動物体の領域の輪郭線上および内部に映像合
成のための特徴点を配置する特徴点配置段階と、 動きパターン辞書を用いて、該特徴点配置段階において
第１フレームに配置された特徴点座標から第２フレーム
から第ｎフレームにおける特徴点座標を生成する特徴点
座標生成段階と、 該第１フレームと該特徴点座標生成段階において生成さ
れた第２フレームから第ｎフレームまでの特徴点座標と
を映像合成情報として保存する映像合成情報保存段階
と、 該映像合成情報保存段階において保存された、該入力さ
れた映像の第１フレームのみから得られた該映像合成情
報をもとに新たな移動物体映像を合成する映像合成段階
とを、 有することを特徴とする移動物体映像合成方法。4. A moving object image synthesizing method for inputting an image of a moving object and outputting a new image, the method comprising the steps of: extracting a moving object region from a first frame constituting the image; A feature point arranging step of arranging feature points for image synthesis on and inside a contour line of a region of the moving object cut out from the first frame in the moving object cutting step; A feature point coordinate generating step of generating feature point coordinates in the n-th frame from the second frame from the feature point coordinates arranged in the first frame in the arranging step; and a feature point coordinate generated in the first frame and the feature point coordinate generating step. A video synthesis information storing step of storing feature point coordinates from the second frame to the n-th frame as video synthesis information; Video composing step of composing a new moving object video based on the video compositing information obtained from only the first frame of the input video stored. Synthesis method. 【請求項５】 移動物体が撮影された映像を入力とし新
たな映像を出力する移動物体映像合成装置であって、 映像を構成する第１フレームから第ｎフレームまでのｎ
個のフレームのそれぞれから、移動物体の領域を切り出
す移動物体切り出し手段と、 該移動物体切り出し手段によって第１フレームから切り
出された移動物体の領域の輪郭線上および内部に映像合
成のための特徴点を配置する特徴点配置手段と、 該移動物体切り出し手段によって第２フレームから切り
出された移動物体の輪郭線上および内部で、第１フレー
ム上に配置された該映像合成のための特徴点と対応する
点を求めて第２フレームにおける映像合成のための特徴
点の座標を求め、同様の処理を繰り返して第３フレーム
から第ｎフレームにおける特徴点座標を求める特徴点追
跡手段と、 該第１フレームと該第ｎフレームと該特徴点追跡手段に
よって求められた第１フレームから第ｎフレームまでの
特徴点座標とを映像合成情報として保存する映像合成情
報保存手段と、 該映像合成情報保存手段によって保存された、入力映像
と比較して容量の小さい該映像合成情報をもとに移動物
体映像を合成する映像合成手段とを、 具備することを特徴とする移動物体映像合成装置。5. A moving object image synthesizing apparatus for inputting an image of a moving object and outputting a new image, wherein n is a first frame to an n-th frame constituting the image.
Moving object extracting means for extracting an area of the moving object from each of the plurality of frames; and feature points for image synthesis on and inside the contour of the area of the moving object extracted from the first frame by the moving object extracting means. A feature point arranging means to be arranged; points corresponding to the feature points for image synthesis arranged on the first frame on and inside the outline of the moving object cut out from the second frame by the moving object extracting means And the feature point tracking means for finding feature point coordinates in the second frame to obtain feature point coordinates in the n-th frame from the third frame by repeating the same processing. The n-th frame and the feature point coordinates from the first frame to the n-th frame obtained by the feature point tracking means are stored as video synthesis information. Video compositing information storing means, and video compositing means for composing a moving object video based on the video compositing information, which has a smaller capacity than the input video, stored by the video compositing information storing means. A moving object image synthesizing apparatus, comprising: 【請求項６】 前記映像合成手段は、該映像合成情報保
存手段によって保存された該映像合成情報を変化させて
変形映像合成情報を生成する映像合成情報変形手段を持
ち、 該変形映像合成情報を用いて、入力された映像とは移動
物体の動きが異なる移動物体映像を合成するものである
ことを特徴とする請求項５記載の移動物体映像合成装
置。6. The video synthesizing means has video synthesizing information deforming means for generating deformed video synthesizing information by changing the video synthesizing information stored by the video synthesizing information storing means. 6. The moving object image synthesizing apparatus according to claim 5, wherein the moving image synthesizes a moving object image having a different motion from the input image. 【請求項７】 移動物体が撮影された映像を入力とし新
たな映像を出力する移動物体映像合成装置であって、 映像を構成する第１フレームと第ｎフレームのそれぞれ
から、移動物体の領域を切り出す移動物体切り出し手段
と、 該移動物体切り出し手段によって第１フレームから切り
出された移動物体の領域の輪郭線上および内部に映像合
成のための特徴点を配置する特徴点配置手段と、 該特徴点配置手段によって第１フレームに配置された特
徴点と対応する点を、第ｎフレームにおいて該移動物体
切り出し手段によって切り出された移動物体の輪郭線上
および内部で求めて第ｎフレームにおける特徴点座標を
求める特徴点対応検出手段と、 動きパターン辞書を持ち、該動きパターン辞書と第１フ
レームと第ｎフレームにおける該特徴点座標とから、第
２フレームから第（ｎ−１）フレームまでの特徴点座標
を求める特徴点座標補間手段と、 該第１フレームと該第ｎフレームと該特徴点座標補間手
段によって求められた第２フレームから第（ｎ−１）フ
レームまでの特徴点座標とを映像合成情報として保存す
る映像合成情報保存手段と、 該映像合成情報保存手段によって保存された、該入力さ
れた映像の一部のフレームのみから得られた該映像合成
情報をもとに新たな移動物体映像を合成する映像合成手
段とを、 具備することを特徴とする移動物体映像合成装置。7. A moving object video synthesizing apparatus for inputting a video image of a moving object and outputting a new image, wherein a moving object region is determined from each of a first frame and an n-th frame constituting the video. Moving object extracting means for extracting, a feature point arranging means for arranging a feature point for image synthesis on and inside a contour of an area of the moving object extracted from the first frame by the moving object extracting means; A point corresponding to the feature point arranged in the first frame by the means on and inside the outline of the moving object cut out by the moving object cut-out means in the n-th frame; Point correspondence detection means, and a motion pattern dictionary, and the feature point coordinates in the first frame and the n-th frame. From the second frame to the (n-1) th frame, the feature point coordinate interpolation means for obtaining the feature point coordinates, the first frame, the n-th frame, and the second frame obtained by the feature point coordinate interpolation means Image synthesizing information storing means for storing feature point coordinates from frame n to the (n-1) th frame as image synthesizing information, and only some frames of the input image stored by the image synthesizing information storing means A moving object video synthesizing device, comprising: video synthesizing means for synthesizing a new moving object video based on the video synthesizing information obtained from the video object. 【請求項８】 移動物体が撮影された映像を入力とし新
たな映像を出力する移動物体映像合成装置であって、 映像を構成する第１フレームから、移動物体の領域を切
り出す移動物体切り出し手段と、 該移動物体切り出し手段によって第１フレームから切り
出された移動物体の領域の輪郭線上および内部に映像合
成のための特徴点を配置する特徴点配置手段と、 動きパターン辞書を持ち、該動きパターン辞書を用いて
該特徴点配置手段によって第１フレームに配置された特
徴点座標から第２フレームから第ｎフレームにおける特
徴点座標を生成する特徴点座標生成手段と、 該第１フレームと該特徴点座標生成手段によって生成さ
れた第２フレームから第ｎフレームまでの特徴点座標と
を映像合成情報として保存する映像合成情報保存手段
と、 該映像合成情報保存手段によって保存された、該入力さ
れた映像の第１フレームのみから得られた該映像合成情
報をもとに新たな移動物体映像を合成する映像合成手段
とを、 具備することを特徴とする移動物体映像合成装置。8. A moving object video synthesizing device for inputting a video image of a moving object and outputting a new image, comprising: a moving object extracting means for extracting an area of the moving object from a first frame constituting the image; A feature point arranging means for arranging feature points for image synthesis on and inside a contour line of an area of the moving object cut out from the first frame by the moving object extracting means; and a motion pattern dictionary, A feature point coordinate generating means for generating feature point coordinates in a second frame to an n-th frame from the feature point coordinates arranged in the first frame by the feature point arranging means; and the first frame and the feature point coordinates Video synthesis information storage means for storing feature point coordinates from the second frame to the n-th frame generated by the generation means as video synthesis information; Video synthesizing means for synthesizing a new moving object video based on the video synthesizing information obtained from only the first frame of the input video stored by the video synthesizing information storing means. Characteristic moving object video synthesis device. 【請求項９】 請求項１から請求項４までのいずれか１
項記載の移動物体映像合成方法における段階をコンピュ
ータで実現するためのプログラムを、該コンピュータが
読み取り可能な記録媒体に記録したことを特徴とする移
動物体映像合成方法を記録した記録媒体。9. Any one of claims 1 to 4
15. A recording medium recording a moving object image synthesizing method, wherein a program for realizing the steps of the moving object image synthesizing method according to any one of the above items is recorded on a computer-readable recording medium.