JPH10188021A - Device and method for generating moving image - Google Patents

Abstract

PROBLEM TO BE SOLVED: To easily generate a desired moving image while reducing the burden of user by generating the moving image desired by the user based on a video signal or a still picture and a moving image inputted from an image data file and outputting it as structure description data for video signal and moving image generation (structure description data for moving image generation). SOLUTION: Only concerning the moving image stored in an image storage means 3, any feature area concerning its luminance or its color inside a designated area is automatically selected by using a moving image area selecting means 5, and movement information extracted concerning all the stored image frames by using a motion information extracting means 6 is stored in a movement information storage means 7. At a still picture and a moving image corresponding means 9, the still picture of processing object selected by a still picture area selecting means 8 and the respective parts of moving image area selected by the moving image area selecting means 5 are made correspondent and while using the movement information stored in the movement information storage means 7, a moving image synthesizing means 10 performs moving processing to the still picture area of object.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は、所望の静止画像を
所望の動画像に合成して動画像を生成する動画像生成装
置および動画像生成方法に関する。[0001] 1. Field of the Invention [0002] The present invention relates to a moving image generating apparatus and method for generating a moving image by combining a desired still image with a desired moving image.

【０００２】[0002]

【従来の技術】[Prior art]

（１）いわゆる動画像編集ソフトウエアには、動画像を
複数の連続フレーム画像として表示し、各フレームにつ
いて、描画、塗りつぶし、輝度および色変換などの処理
をユーザがＧＵＩにより対話的に指示することで行な
え、さらに上述の各フレームを任意に選択して、切り出
し、時間方向での移動、時間方向での複写などが可能な
ものがある。(1) A so-called moving image editing software displays moving images as a plurality of continuous frame images, and for each frame, a user interactively instructs a process such as drawing, filling, luminance and color conversion through a GUI. In some cases, the above-described frames can be arbitrarily selected, cut out, moved in the time direction, copied in the time direction, and the like.

【０００３】さらに放送局用などの高機能動画像編集ソ
フトウエアの中には、時間間隔が比較的離れた複数の画
像列を時間方向に並べ、それら画像列間の画像を補間し
て生成する（中割り）機能を持つものもある。たとえ
ば、時刻ｔ０での画像ｇ（ｔ０）と時刻ｔ１での画像ｇ
（ｔ１）との間の画像ｇ′（ｔ＋Δｔ）（ただし、Δｔ
＜｜ｔ１−ｔ０｜） を ｇ′（Ｔ）＝Ｆ（ｆ（ｔ０）、ｆ（ｔ１）、Δｔ） なる形式で変換するものである。ただし、Ｆ０として
は、線形やｓｐｌｉｎｅ関数などが一般的に使用され
る。Further, some high-performance moving image editing software for broadcasting stations or the like arranges a plurality of image sequences having a relatively long time interval in a time direction, and interpolates and generates images between the image sequences. Some have (intermediate) functions. For example, an image g (t0) at time t0 and an image g at time t1
Image g ′ (t + Δt) between (t1) (where Δt
<| T1−t0 |) is converted in the form of g ′ (T) = F (f (t0), f (t1), Δt). However, a linear or spline function is generally used as F0.

【０００４】上記のようなソフトウエアの機能を用いる
と、画像をフレーム毎、または間欠フレーム毎にユーザ
が逐一マニュアル編集することにより、動画像を生成す
ることができる。[0004] When the above-described software functions are used, a moving image can be generated by a user manually editing an image for each frame or for each intermittent frame.

【０００５】またこのような動画像編集ソフトの中に
は、通信ネットワーク上での配送が行ないやすいよう
に、生成される画像を特殊な圧縮形式のファイルとして
出力させる機能を持つものもある。Some of such moving image editing software has a function of outputting a generated image as a file in a special compression format so as to facilitate distribution on a communication network.

【０００６】（２）ページ記述言語の中には、２次元、
または３次元コンピュータグラフィクス（以下ＣＧ）の
要素とその変換コマンドとを時系列にしたがって記述す
ることで、動画像（ＣＧアニメーション）を生成できる
ものがある。(2) In the page description language, two-dimensional
Alternatively, a moving image (CG animation) can be generated by describing the elements of three-dimensional computer graphics (hereinafter, CG) and their conversion commands in a time series.

【０００７】また、Ｊｐｅｇ（Ｊｏｉｎｔ Ｐｈｏｔｏ
ｇｒａｐｈｉｃ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒ
ｏｕｐ）やＧｉｆ（Ｇｒａｐｈｉｃｓ Ｉｎｔｅｒｃｈ
ａｎｇｅ Ｆｏｒｍａｔ）形式の自然画像ファイルを読
み込んで、変形や輝度、カラーの変換を時系列的に行な
うようにページ記述言語のプログラムステートメントで
指示しておき、そのステートメントを解析しながら、動
画像を表示する機能を持つページ記述言語用のビューワ
ーも存在する。[0007] Also, Jpeg (Joint Photo)
graphic Coding Experts Gr
up) and Gif (Graphics Interch)
Reads a natural image file in the format (ange Format) and instructs it in a page description language program statement to perform transformation, luminance, and color conversion in time series, and displays a moving image while analyzing the statement. There is also a viewer for the page description language that has the function of performing

【０００８】[0008]

【発明が解決しようとする課題】上記（１）の方式によ
れば、生成される動画像の原画像はＣＧ画像でも自然画
像でもよいためリアルな動画像を生成することができ、
また、ユーザの編集は画像を直接ＧＵＩで操作できるた
め直観的ではあるが、出力は複数の画像列となるため、
一般にデータ量が大きく、画像を伝送することを考えた
場合には圧縮を必要とする場合が多い。また一定時間長
の動画像の切り取り、コピー、移動などを行なう編集は
容易ではあるが、画像が時間とともに変化するような編
集を行なって動画像を生成するためには、毎フレーム、
または一定間隔ごとの画像に対して、その変化状況を編
集しなくてはならない。According to the method (1), a real moving image can be generated because the original image of the generated moving image may be a CG image or a natural image.
In addition, the user's editing is intuitive because the image can be directly operated with the GUI, but since the output is a plurality of image strings,
Generally, the data amount is large, and compression is often required when transmitting an image. In addition, although editing for cutting, copying, moving, and the like of a moving image having a fixed time length is easy, in order to generate a moving image by performing editing such that an image changes with time, it is necessary to perform editing for each frame.
Alternatively, it is necessary to edit the change status of the image at regular intervals.

【０００９】上記（２）の方式のうちで、３次元グラフ
ィクス要素や静止自然画のプログラムステートメントに
よる変換によって、動画像を生成する方式では、操作者
が入力画像を複数フレーム分の静止画像として編集する
という手間はないが、フレームの変換を時間の関数とし
てプログラムで記述する必要があり、コンピュータ言語
の知識のない操作者には困難である場合が多い。また精
密な３次元グラフィクスの要素を定義すること自体も手
間のかかる作業である。In the method of (2), in the method of generating a moving image by converting a three-dimensional graphics element or a still natural image by a program statement, an operator edits an input image as a plurality of frames of still images. Although there is no need to perform the conversion, it is necessary to describe the conversion of the frame as a function of time in a program, which is often difficult for an operator who has no knowledge of the computer language. Defining precise three-dimensional graphics elements is also a laborious task.

【００１０】このように、従来の動画像生成方法および
それを用いた動画像生成装置は、静止画フレームを編集
するための手間がかかるという問題点があった。また、
静止画を時系列に変換するためのプログラムを所定の言
語で記述する必要があるため、ユーザにとって、その操
作が直感的でないだけに所望の動画像生成が困難である
という問題点があった。As described above, the conventional moving image generating method and the moving image generating apparatus using the same have a problem that it takes time and effort to edit a still image frame. Also,
Since a program for converting a still image into a time series needs to be described in a predetermined language, there is a problem that it is difficult for a user to generate a desired moving image because the operation is not intuitive.

【００１１】そこで、本発明は、ユーザの負担を軽減し
て、所望の動画像生成が容易に行える動画像生成方法お
よびそれを用いた動画像生成装置を提供することを目的
とする。SUMMARY OF THE INVENTION It is therefore an object of the present invention to provide a moving image generating method capable of easily generating a desired moving image with a reduced burden on a user, and a moving image generating apparatus using the method.

【００１２】[0012]

【発明の実施の形態】以下、本発明の実施形態につい
て、図面を参照して説明する。Embodiments of the present invention will be described below with reference to the drawings.

【００１３】本実施形態に係る動画像生成装置は、映像
信号、または画像データファイルから入力された静止画
像、および動画像に基づいてユーザの所望の動画像を生
成し、映像信号、および動画像生成用構造記述データ
（動画像生成用構造記述データ）、として出力するもの
である。The moving image generating apparatus according to the present embodiment generates a moving image desired by a user based on a video signal or a still image input from an image data file and a moving image, and generates a video signal and a moving image. It is output as structure description data for generation (structure description data for moving image generation).

【００１４】（１）動画像生成装置の全体の構成 図１は、本実施形態に係る動画像生成装置の全体の構成
を概略的に示したもので、入力として静止画像と動画像
とを用い、動画像中の時間に伴う画像変動を抽出して、
それと同様の変動を静止画像に与えることで、入力とは
異なる動画像を生成し、その映像信号やその他インター
ネット上ホームページに掲載可能な動画像表現のコンテ
ンツ等の様々な記述形式に対応できる機能を持ったもの
である。(1) Overall Configuration of Moving Image Generating Apparatus FIG. 1 schematically shows the overall configuration of a moving image generating apparatus according to the present embodiment, using a still image and a moving image as inputs. , Extracting image fluctuations with time in a moving image,
By giving the same variation to the still image, a function that can generate various moving images different from the input and support various description formats such as video signals and other contents of moving image expression that can be posted on the Internet homepage I have.

【００１５】図１に示すように、本実施形態に係る動画
像生成装置は、カラーのテレビカメラとＡ／Ｄ変換器と
からなる映像入力手段１、または動画データファイル入
力手段２により指定フレームごとに入力されたＲＧＢ各
８ｂｉｔｓのディジタル画像データを一度、半導体メモ
リ、および磁気ディスクからなる画像蓄積手段３に格納
する。As shown in FIG. 1, a moving image generating apparatus according to the present embodiment uses a video input unit 1 comprising a color television camera and an A / D converter or a moving image data file input unit 2 for each designated frame. The digital image data of 8 bits for each of RGB inputted once is stored in the image storage means 3 composed of a semiconductor memory and a magnetic disk.

【００１６】また、映像入力手段１、または動画データ
ファイル入力手段２、またはカラースキャナとＡ／Ｄ変
換器とからなる静止画入力手段４のいずれかから入力さ
れた静止画も動画と同様に画像蓄積手段３に動画とは区
別して格納する。A still image input from either the video input means 1, the moving image data file input means 2, or the still image input means 4 comprising a color scanner and an A / D converter is the same as a moving image. The moving image is stored in the storage means 3 separately from the moving image.

【００１７】続いて、画像蓄積手段３に格納された動画
像についてのみ、後述する動画領域選択手段５を用いて
ユーザがポインティングデバイスまたはキーボード等に
よって指定した領域内での輝度、色等について特徴的領
域を自動選択し、動き情報抽出手段６を用いて全蓄積画
像フレームについて抽出された移動情報を移動情報蓄積
手段７に蓄える。Subsequently, only the moving image stored in the image storage means 3 is characterized by the brightness, color, and the like in the area specified by the user using a pointing device or a keyboard using the moving image area selection means 5 described later. The area is automatically selected, and the movement information extracted for all the stored image frames is stored in the movement information storage means 7 using the movement information extraction means 6.

【００１８】次に、画像蓄積手段３に蓄えられた画像デ
ータのうちの静止画像について、静止画領域選択手段８
によって入力静止画中の変化を与えたい所望の領域につ
いてポインティングデバイスまたはキーボード等によっ
て指定し、さらに、このユーザにより指定された領域内
部での特徴的領域を自動選択抽出することで、処理対象
静止画領域を決定する。Next, for a still image in the image data stored in the image storage means 3, a still image area selection means 8
By using a pointing device or a keyboard to specify a desired area in the input still image to which a change is to be given, and automatically selecting and extracting a characteristic area inside the area specified by the user, the processing target still image Determine the area.

【００１９】静止画動画対応づけ手段９では、静止画領
域選択手段８によって選択された処理対象静止画と動画
領域選択手段５で選択された動画領域の各部分を対応づ
けし、移動情報蓄積手段７に蓄えられていた移動情報を
用いて動画合成手段１０によって対象静止画領域に移動
処理を施すことで所望の動画像を生成する。The still image / moving image associating means 9 associates the still image to be processed selected by the still image area selecting means 8 with each part of the moving image area selected by the moving image area selecting means 5, and stores the moving information storing means. A desired moving image is generated by performing moving processing on the target still image area by the moving image synthesizing unit 10 using the moving information stored in 7.

【００２０】この時、対象静止画には変形許容度指定手
段１１によって、指定した領域内部の変形の度合いを指
定することが可能であり、かつ動画領域選択手段５によ
って指定された動画領域内の特徴領域について得られた
移動情報については、特に重要視して合成に利用するこ
とも可能である。At this time, the degree of deformation inside the designated area can be specified for the target still image by the deformation allowance designating means 11, and the degree of deformation in the moving image area designated by the moving image area selecting means 5 can be specified. The movement information obtained for the characteristic region can be used for the composition with particular emphasis.

【００２１】以上で生成された動画像は、Ｄ／Ａ変換機
とディスプレイモニタとからなる映像出力手段１２ヘア
ナログ映像として表示するか、動画ページ記述ファイル
出力手段１３へページ記述言語コマンド形式でのディジ
タルデータとして出力する。The moving image generated as described above is displayed as analog video on a video output means 12 comprising a D / A converter and a display monitor, or is sent to a video page description file output means 13 in a digital format in a page description language command format. Output as data.

【００２２】後者の出力形式では、生成動画像の元にな
った静止画像の部分（初期静止画像データＤ１）と、そ
れの移動情報を示す移動情報データＤ２とからなってい
るため、後に静止画像データと後者の移動情報データの
組み合わせを入れ替えることによって別表現のコンテン
ツを作成するために再利用可能である。In the latter output format, a still image portion (initial still image data D1) from which a generated moving image is based and movement information data D2 indicating its movement information are used. By exchanging the combination of the data and the movement information data, the data can be reused to create a content of another expression.

【００２３】また、ページ記述言語コマンド形式での出
力に際しては、本実施形態の動画像生成装置の個々での
生成を示すユニークなコードデータを生成コード付加手
段１４で組み込み、さらにＤ１、Ｄ２によって生成され
た動画コンテンツを再生したり、Ｄ１やＤ２により別表
現の動画コンテンツを作成しようとしたユーザは鍵取得
手段１５によってそのコンテンツを生成したところの装
置から鍵を取得する必要があるため、本装置を所有する
ユーザの著作権を保護することが可能である。When outputting in the page description language command format, unique code data indicating individual generation of the moving image generation apparatus of the present embodiment is incorporated by the generation code adding means 14, and further generated by D1 and D2. A user who attempts to play back the created moving image content or create moving image content of a different expression using D1 or D2 needs to obtain a key from the device that generated the content by the key obtaining unit 15, so that this device It is possible to protect the copyright of the user who owns.

【００２４】以下、上記各部についてより詳細に説明す
る。Hereinafter, the above components will be described in more detail.

【００２５】（２）画像の入力と蓄積 画像の入力は、動画については映像入力手段１、または
動画データファイル入力手段２から行ない、静止画につ
いては静止画入力手段４、または映像入力手段１あるい
は動画データファイル入力手段２でのある特定フレーム
の入力によって行なう。(2) Image Input and Storage Images are input from the video input means 1 or moving image data file input means 2 for moving images, and the still image input means 4 or video input means 1 or This is performed by inputting a specific frame in the moving image data file input means 2.

【００２６】映像信号としては、ここではＮＴＳＣ（Ｎ
ａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ
Ｃｏｍｍｉｔｔｅｅ）、ＰＡＬ（Ｐｈａｓｅ Ａｌｔ
ｅｒｎａｔｉｏｎ ｂｙ Ｌｉｎｅ Ｃｏｌｏｒ Ｔｅ
ｌｅｖｉｓｉｏｎ）などのアナログ映像信号を用い、こ
れをＡ／Ｄ変換して入力することにするが、複数レベル
にディジタル化され映像同期信号とともに授受されるデ
ィジタル映像信号であっても良い。As a video signal, NTSC (N
national Television System
Committee, PAL (Phase Alt)
ernation by Line Color Te
A / D conversion is performed by using an analog video signal such as “revision” and the like, but a digital video signal that is digitized to a plurality of levels and transmitted and received together with a video synchronization signal may be used.

【００２７】また、動画データファイルとしてはＲＧＢ
各成分ごとの輝度値がディジタル化された画像フレーム
が、複数時間（フレーム）分蓄積された形式のものを想
定しているが、データ量の点を考慮し、フレーム内、お
よびフレーム間での圧縮を行なった画像（例：Ｊｐｅ
ｇ、Ｍｐｅｇ）等であっても、その圧縮に対応した伸長
手段を前段に設けることによってこれらを利用すること
も可能である。The moving image data file is RGB.
It is assumed that the image frame in which the luminance value of each component is digitized is stored for a plurality of time periods (frames). Compressed image (eg: Jpe
g, Mpeg), etc., can be used by providing a decompression means corresponding to the compression in the preceding stage.

【００２８】蓄積は、前記画像蓄積手段３に各画素を一
定のビット長にディジタル化した後、動画像では、画像
データ部分の先頭に動画像をユニークに識別するための
画像名とフレーム長、画像サイズ、画素のビット長、カ
ラー／モノクロの別、圧縮形式などのコードを示す固定
長のヘッダを付加し、その後は各フレームごとの画素デ
ータ列を並べた形式で行なう。ただし各フレームごとの
データの先頭にはフレーム番号を付加する。In the storage, after each pixel is digitized to a fixed bit length in the image storage means 3, in the moving image, an image name and a frame length for uniquely identifying the moving image are placed at the head of the image data portion. A fixed-length header indicating a code such as an image size, a bit length of a pixel, a color / monochrome, a compression format, or the like is added, and thereafter, a pixel data sequence for each frame is arranged. However, a frame number is added to the head of the data for each frame.

【００２９】また、静止画像は上記の形式のフレーム数
が１の場合として蓄積する。ここで、蓄積データはデー
タ量を考慮して前述のような圧縮を行なって蓄積し、後
述の（３）以降の各処理を行なう前に伸長をおこなうこ
ととしても良い。Still images are stored assuming that the number of frames in the above format is one. Here, the stored data may be compressed and stored in consideration of the data amount as described above, and may be decompressed before performing each of the processes after (3) described later.

【００３０】（３）動画のフレームおよび領域指定 ここでは動画領域選択手段５により、動画内のフレーム
と処理対象領域を選択する方法を図２に示すフローチャ
ートを参照して説明する。(3) Designation of Frame and Region of Moving Image Here, a method of selecting a frame in a moving image and a region to be processed by the moving image region selecting means 5 will be described with reference to a flowchart shown in FIG.

【００３１】動画領域選択手段５では、画像蓄積手段３
に蓄えられた動画像を制御して映像出力手段１２に１フ
レームごとに表示し（ステップＳ１）、マウス等のポイ
ンティングデバイスやキーボードを用いてユーザが所望
の領域を指定形状でマニュアル指定したのを検出して、
ユーザ指定領域コード、ユーザ指定領域番号、指定フレ
ーム番号、領域周囲の指定形状を示す形状パラメータや
座標列を保持する（ステップＳ２）。In the moving image area selecting means 5, the image storing means 3
The moving image stored in the memory is controlled and displayed on the video output means 12 for each frame (step S1), and the user manually specifies a desired area in a specified shape using a pointing device such as a mouse or a keyboard. Detect
A user-designated area code, a user-designated area number, a designated frame number, a shape parameter indicating a designated shape around the area, and a coordinate sequence are stored (step S2).

【００３２】指定形状としては、矩形、楕円、または指
定領域を囲む複数の点列などで良く、矩形、楕円の場合
はそれぞれのパラメータ（４頂点座標、焦点座標、長短
軸長等）を画面内座標を単位として保持し、後者の場合
には各点列の画面内座標を本手段に保持する。ここでユ
ーザ指定領域コードとは、これ以下のデータが後述の特
徴領域ではなくユーザが任意に決定した領域データであ
ることを示す。The designated shape may be a rectangle, an ellipse, or a series of points surrounding a designated area. In the case of a rectangle or an ellipse, respective parameters (four-vertex coordinates, focal coordinates, major / short axis length, etc.) are displayed on the screen. The coordinates are held as a unit, and in the latter case, the coordinates in the screen of each point sequence are held in the present means. Here, the user-specified region code indicates that the data below this is not a characteristic region described later but region data arbitrarily determined by the user.

【００３３】次に、ユーザの指示（ポインティングデバ
イス操作、またはキーボードによるコマンド入力）によ
り、指定フレーム、指定領域内部の画像について輝度、
およびカラーが特徴的な領域を自動抽出する（ステップ
Ｓ３〜ステップＳ６）。Next, according to a user's instruction (a pointing device operation or a command input from a keyboard), the brightness of the image inside the designated frame and designated area is determined.
And an area having a characteristic color is automatically extracted (steps S3 to S6).

【００３４】ここでは、特徴領域を指定領域内での輝度
またはカラーのフレーム内差分（微分）値がある閾値よ
り大きい領域とする。すなわち入力がモノクログレイス
ケール画像の場合には、指定領域内画像を ｆ（ｘ、
ｙ）、その（ｘ、ｙ）を中心とする周囲ｍ×ｍ画素との
コンボリューション演算をＦ（ｘ、ｙ）、一定閾値をＴ
ｇとするとき、出力Ｇ（ｘ、ｙ）をHere, it is assumed that the characteristic region is a region in which a difference (differential) value of luminance or color in a frame within a specified region is larger than a certain threshold value. That is, if the input is a monochrome grayscale image, the image in the designated area is converted to f (x,
y), the convolution operation with m × m pixels around (x, y) is F (x, y), and the constant threshold is T
g, the output G (x, y) is

【数１】 (Equation 1)

【００３５】のように求め、画素値「１」なる領域のう
ち８近傍で隣接する領域を抽出する。ここでＦ（ｘ、
ｙ）としては、たとえばｍ＝３としたときのＳｏｂｅｌ
−ｏｐｅｒａｔｏｒなどを利用してよい。ここで、８近
傍の隣接画素抽出には、「画像解析ハンドブック」（高
木、下田 著）のｐｐ５７８記載の連結領域のラベリン
グ手法などを用いてよい。Then, an area adjacent to the vicinity of eight of the areas having the pixel value "1" is extracted. Where F (x,
y) is, for example, Sobel when m = 3.
-Operator or the like may be used. Here, the extraction of adjacent pixels in the vicinity of 8 may use a labeling method of a connected region described in pp578 of "Image Analysis Handbook" (by Takagi and Shimoda).

【００３６】また入力がＲＧＢカラー画像であった場合
には画像の輝度成分を以下の変換処理により抽出し、上
述と同様の手続きで特徴領域を抽出してもよいし、ＲＧ
Ｂの各成分に対して式（１）のコンボリューションの閾
値処理後、ある座標（ｘ、ｙ）に対するＲＧＢ各成分で
の画素値「１」の多数決により決定した出力２値画像に
対して、同様の連結領域ラベリングを適用してもよい。When the input is an RGB color image, the luminance component of the image may be extracted by the following conversion processing, and the characteristic region may be extracted by the same procedure as described above.
After threshold processing of the convolution of equation (1) for each component of B, for an output binary image determined by majority decision of pixel value “1” for each component of RGB for a certain coordinate (x, y), Similar connected area labeling may be applied.

【００３７】以上の処理により前記ユーザ指定領域内部
には、特徴領域で連結している画素の連結要素ごとに個
々のラベル番号が付与されて抽出されるが、このうち指
定領域内部で最も面積（画素数）の大きいラベル要素を
抽出する（ステップＳ３〜ステップＳ５）。According to the above processing, individual label numbers are assigned to each connected element of the pixels connected in the characteristic area and extracted in the user specified area. A label element having a large number of pixels is extracted (steps S3 to S5).

【００３８】さらに、これら要素の外接矩形の各辺を初
期値として以下のような輪郭抽出手法を適用して特徴領
域の輪郭を抽出しその輪郭内部を特徴領域とす０る（ス
テップＳ６） 輪郭抽出手法としては、輪郭抽出は初期ノード配置処
理、ノード移動処理、ノード再配置処理をノードの移動
量の総和が閾値ｓより小さくなるか、繰り返し回数が一
定数ｎを越えるまで繰り返し行なうものを用いる。すな
わち初期ノード配置処理として、外接矩形の各頂点、お
よび各頂点間を一定距離で分割する点を選択しそれぞれ
のノードの座標を記憶する。Further, the outline of the characteristic region is extracted by applying the following outline extraction method using each side of the circumscribed rectangle of these elements as an initial value, and the inside of the outline is regarded as the characteristic region. As the extraction method, a method is used in which contour extraction is performed by repeatedly performing initial node arrangement processing, node movement processing, and node rearrangement processing until the sum of the movement amounts of the nodes becomes smaller than the threshold s or the number of repetitions exceeds a certain number n. . That is, as the initial node arrangement processing, each vertex of the circumscribed rectangle and a point dividing each vertex by a fixed distance are selected, and the coordinates of each node are stored.

【００３９】次に、ノード移動処理として、上述の領域
画像上で各配置ノードの位置から外接矩形の重心座標を
結ぶ線分を仮定し、その線分上を各初期ノードから重心
へ向かう方向にある一定画素数の連続した前記領域を検
出するまでノードを移動する。Next, as a node moving process, a line segment connecting the coordinates of the center of gravity of the circumscribed rectangle from the position of each arrangement node on the above-described region image is assumed, and the line segment is moved in a direction from each initial node to the center of gravity. The node is moved until a certain number of continuous pixels are detected.

【００４０】ノード再配置処理は、各ノードを時計回り
（または反時計回り）にパラメトリック曲線により補間
し移動するものであるが、上述の繰り返し回数に応じて
輪郭上の補間の方向を時計回りと反時計回りで可変す
る。In the node rearrangement process, each node is interpolated clockwise (or counterclockwise) by a parametric curve and moves. In accordance with the number of repetitions, the direction of interpolation on the contour is changed to clockwise. Varies counterclockwise.

【００４１】このようにして抽出された特徴領域もユー
ザ指定領域と同様に輪郭点列の形で本手段に保持する。
このときこれら特徴領域データの前には特徴領域コー
ド、およびこの特徴領域が抽出されたときのユーザ指定
領域番号が格納される。The feature region extracted in this way is also stored in the present means in the form of a sequence of contour points like the user-specified region.
At this time, before the feature area data, a feature area code and a user-designated area number when the feature area is extracted are stored.

【００４２】ここまでの処理では、特徴的な領域として
輝度またはカラー変化の大きなところとしてフレーム内
差分を用いたが、対象が人物の顔画像などで、その輝度
やカラーの分布がある程度規定される場合には、その上
限値と下限値の範囲内にある画素を抽出し、フレーム内
差分画素の変わりに使用することも可能である。In the processing up to this point, the intra-frame difference is used as a characteristic area having a large change in luminance or color. However, the distribution of the luminance and color is defined to some extent when the object is a face image of a person. In such a case, it is also possible to extract a pixel within the range between the upper limit value and the lower limit value and use it in place of the difference pixel in the frame.

【００４３】このように、動画領域選択手段５では、ユ
ーザが動画像中の所望のフレームおよび、そのフレーム
中の所望の領域を指定する際に、動画像を各フレーム毎
に表示し、ユーザが、ある所望の１フレーム内の所望の
領域をマニュアル指定すると、その領域に関連する他の
フレームにおける注目領域については、フレーム間で自
動的に対応付けするを行うことで全動画像についての領
域指定を容易に行うことができる。また、動画領域選択
手段５では、前述したように動画像中の指定された領域
内部について、さらに、ユーザが意図的に指定した領域
または輝度やカラーが特徴的な領域を抽出するようにな
っている。As described above, when the user designates a desired frame in a moving image and a desired region in the frame, the moving image region selecting means 5 displays the moving image for each frame. When a desired region in one desired frame is manually specified, a region of interest in another frame related to that region is automatically associated between the frames, thereby specifying the region for all moving images. Can be easily performed. As described above, the moving image region selecting means 5 extracts a region intentionally designated by the user or a region characterized by brightness or color inside the designated region in the moving image as described above. I have.

【００４４】（３）移動情報抽出処理 ここでは、動き情報抽出手段６によって、前述の（２）
によって指定された動画領域についてのフレーム間での
移動情報の抽出について、図３に示すフローチャートを
参照して説明する。(3) Movement Information Extraction Processing Here, the movement information extraction means 6 performs the above-mentioned (2).
The extraction of the movement information between the frames of the moving image area specified by the above will be described with reference to the flowchart shown in FIG.

【００４５】動き情報抽出手段６では、動画領域選択手
段５に保存されたユーザ指定領域の外接矩形の縦、横を
それぞれ一定幅で分割したメッシュを想定し、該指定領
域内部に存在し、かつ該指定領域内の特徴領域内部に存
在しない該メッシュ上で２次元オプティカルフローベク
トルを求める。次に、特徴領域内部にも同様にメッシュ
を想定してフローベクトルを求める（ステップＳ１１〜
ステップＳ１３）。The motion information extracting means 6 assumes a mesh in which the vertical and horizontal sides of the circumscribed rectangle of the user-specified area stored in the moving image area selecting means 5 are each divided by a constant width, and exists inside the specified area. A two-dimensional optical flow vector is obtained on the mesh that does not exist inside the feature area in the designated area. Next, a flow vector is obtained by assuming a mesh inside the characteristic region (steps S11 to S11).
Step S13).

【００４６】このとき、最初に指定されていた領域をＲ
１、およびユーザ指定または自動抽出での特徴領域をＲ
２とすると、その内部のメッシュ点は次フレームにおい
ては以下のように移動する。すなわち、フレームｔにお
けるＲ１内メッシュ点をＭ１（ｘ、ｙ、ｔ）、Ｒ２内メ
ッシュ点をＭ２（ｘ、ｙ、ｔ）とし、各点でのフローベ
クトルをＶ１（ｘ、ｙ、ｔ）とすると次のフレームの各
領域内でのメッシュ点は、At this time, the first designated area is
1, and the feature area specified by the user or automatically extracted
Assuming that 2, the mesh points inside move in the next frame as follows. That is, in frame t, the mesh points in R1 are M1 (x, y, t), the mesh points in R2 are M2 (x, y, t), and the flow vector at each point is V1 (x, y, t). Then the mesh points in each area of the next frame are

【数２】 (Equation 2)

【００４７】に移動する。Move to

【００４８】また、前フレームでのメッシュ点は式
（２）でＶ１とＶ２の符号を反転させれば求められる。The mesh point in the previous frame can be obtained by inverting the signs of V1 and V2 in equation (2).

【００４９】したがって本手段では、式（２）にしたが
ってメッシュ上の点を各フレームで逐次計算し、指定領
域および特徴領域が時間変動にしたがってどのような位
置に移動するかを求め、各フレームごとのメッシュデー
タの位置を保存する。Therefore, in this means, the points on the mesh are sequentially calculated in each frame according to the equation (2), and the positions to which the designated area and the characteristic area move with time are obtained. Save the position of the mesh data.

【００５０】このためユーザは、移動情報を抽出するた
めの基本となるフレームとそのフレーム内での対象領域
を指示するのみで、他のフレームについては上記に示す
ように自動的にフレーム間でのメッシュ領域の対応づけ
が行なわれる。For this reason, the user merely designates the basic frame for extracting the movement information and the target area in the frame, and the other frames are automatically switched between the frames as described above. The mesh regions are associated with each other.

【００５１】上記で、オプティカルフローは、Ｈｏｒｎ
とＳｈｕｎｋの提案手法（「Ｄｅｔｅｒｍｉｎｉｎｇ
Ｏｐｔｉｃａｌ Ｆｌｏｗ」、Ａｒｔｉｆｉｃｉａｌ
Ｉｎｔｅｌｌ．、１７（１９８１）、ｐｐ１８５〜２０
３）などに代表される勾配法を用いても、フレーム間で
の対応座標画素の相関を用いる手法を用いても良いが、
フローの精度を重視する場合にはＷｅｂｅｒとＭａｌｉ
ｋによる勾配法の一手法（「Ｒｏｂｕｓｔ Ｃｏｍｐｕ
ｔａｔｉｏｎ ｏｆ Ｏｐｔｉｃａｌ Ｆｌｏｗ ｉｎ
ａ Ｍｕｌｔｉ−Ｓｃａｌｅ Ｄｉｆｆｅｒｅｎｔｉ
ａｌ Ｆｒａｍｅｗｏｒｋ」、Ｐｒｏｃ．ＩＣＣＶ、ｐ
ｐ．１２−２０、１９９３）を用いても良い。In the above, the optical flow is Horn
And Shunk's proposed method ("Determining
Optical Flow ", Artificial
Intel. , 17 (1981), pp 185-20
Although a gradient method represented by 3) or the like may be used, a method using correlation of corresponding coordinate pixels between frames may be used.
When importance is placed on flow accuracy, Weber and Mari
k (see Robust Compu)
Tation of Optical Flow in
a Multi-Scale Differenti
al Framework, "Proc. ICCV, p
p. 12-20, 1993).

【００５２】ここでメッシュの間隔ｄは、ユーザー指定
領域の外接矩形の辺の距離のうち短い方Ｄｍｉｎを一定
値Ｎで割った値とする。したがってHere, the mesh distance d is a value obtained by dividing the shorter one Dmin of the distances of the sides of the circumscribed rectangle of the user-specified area by a constant value N. Therefore

【数３】 (Equation 3)

【００５３】となる。Is as follows.

【００５４】またフロー計算に使用するメッシュが該指
定領域内部に存在するか否かはメッシュ上の点Ｐ（ｘ、
ｙ）と該指定領域輪郭上の点Ｃｉ（ｘ（ｉ）、ｙ
（ｉ））、Ｃｉ＋１（ｘ（ｉ＋１）、ｙ（ｉ＋１））と
を結ぶ２線分とのなす角の輪郭１周分の総和Ａが０か２
πかで判定できる。すなわち、Whether or not the mesh used for the flow calculation exists inside the designated area is determined by a point P (x,
y) and a point Ci (x (i), y on the specified area outline)
(I)), the sum A of one round of the outline of an angle formed by two line segments connecting Ci + 1 (x (i + 1), y (i + 1)) is 0 or 2
It can be determined by π. That is,

【数４】 (Equation 4)

【００５５】ただし、ｎは、動画領域選択手段５に保存
された該指定領域輪郭点数である。Here, n is the number of the designated area contour points stored in the moving image area selecting means 5.

【００５６】従って、ユーザ指定領域に関するメッシュ
Ｍ１（ｘ、ｙ）は、ユーザ指定領域外接矩形を前記間隔
Ｄで分割する各点ｍ（ｘ、ｙ）のうち、Therefore, the mesh M1 (x, y) relating to the user-specified area is defined by the points m (x, y) that divide the circumscribed rectangle of the user-specified area at the interval D.

【数５】 (Equation 5)

【００５７】なる点である。ただし、Ｃ、Ｃ′はそれぞ
れ動画領域選択手段５内に保存されたユーザ指定領域の
輪郭点列、および特徴領域の輪郭点列であり、ｎ、ｎ′
はそれぞれの点列数であり、Ａ、Ａ′はユーザ指定領
域、特徴領域それぞれの輪郭点とｍ（ｘ、ｙ）とらか求
められる式（４）のＡに相当する角度の総和である。This is the point. Here, C and C ′ are a sequence of contour points of the user-specified region and a sequence of contour points of the characteristic region stored in the moving image region selection means 5, respectively, and n and n ′
Is the number of point sequences, and A and A 'are the sum of the contour points of the user-specified area and the characteristic area and the angle corresponding to A in equation (4) obtained from m (x, y).

【００５８】動画領域選択手段５には、ユーザ指定領域
のみではなく特徴領域も格納されているが、後者につい
ても前者同様にフロー計算に使用するためのメッシュ点
Ｍ２（ｘ、ｙ）をThe moving image area selection means 5 stores not only the user-specified area but also the characteristic area. For the latter, the mesh point M2 (x, y) to be used for the flow calculation is stored in the same manner as the former.

【数６】 (Equation 6)

【００５９】として求める。このときＡ″は式（５）同
様にIs obtained. At this time, A ″ is calculated as in equation (5).

【数７】 (Equation 7)

【００６０】であるが、ここでｍ２（ｘ、ｙ）は特徴領
域の外接矩形を間隔ｄ２で分割した点である。ただし、
ｄ２＝Ｋｄ×ｄ、１≧Ｋｄ≧０とする。ここでのＫｄの
値は特徴領域について他のユーザ指定領域より２次元的
にどれだけ細かくフローベクトルを計算するのかを決定
する量であるが、この値は上記範囲でユーザが自由に変
更することを許容する。Here, m2 (x, y) is a point obtained by dividing the circumscribed rectangle of the characteristic region by the interval d2. However,
It is assumed that d2 = Kd × d and 1 ≧ Kd ≧ 0. Here, the value of Kd is an amount that determines how finely the flow vector is to be calculated for the characteristic region two-dimensionally compared to the other user-specified regions, but this value can be freely changed by the user within the above range. Tolerate.

【００６１】さらにＭ２（ｘ、ｙ） について求められ
る領域、ユーザが意図的に特にまとまりのある領域とし
て指定したか、若しくは輝度やカラーが特徴的で位置関
係としてまとまりのある領域であるため、その領域内部
の移動ベクトルとしても特異点が存在することは本来望
ましくない。そこでＭ２（ｘ、ｙ）に以下のような平滑
化を施す（ステップＳ１４）。Further, since the area required for M2 (x, y) is specified as a particularly coherent area by the user, or because the luminance and color are characteristic and coherent in a positional relationship, the area is not determined. It is originally undesirable that a singular point exists as a movement vector inside the area. Therefore, the following smoothing is performed on M2 (x, y) (step S14).

【００６２】まず、Ｍ２（ｘ、ｙ）内の抽出ベクトルの
平均Ａ２、およびＭ２（ｘ、ｙ）内のある点ｐ２（ｘ、
ｙ）の周囲ｐ×ｐ画素領域での平均移動ベクトルＡ２ｐ
（ｘ、ｙ）を求める。First, the average A 2 of the extracted vectors in M 2 (x, y) and a certain point p 2 (x, y) in M 2 (x, y)
y) Average movement vector A2p in the surrounding p × p pixel area
(X, y) is obtained.

【００６３】ここでＰ２（ｘ、ｙ）での移動ベクトルを
ｖ２（ｘ、ｙ）とすると、平滑化ベクトルＶ２′（ｘ、
ｙ）はHere, assuming that the movement vector at P2 (x, y) is v2 (x, y), the smoothed vector V2 '(x, y
y) is

【数８】 (Equation 8)

【００６４】となる。Is obtained.

【００６５】このように動き情報抽出手段６では、動画
像中の指定領域および、その指定領域内部のさらにユー
ザにより意図的に指定された領域、あるいは、輝度やカ
ラーが特徴的な領域を分割した小領域（メッシュ）のそ
れぞれについて、各小領域の移動ベクトルを所定時間所
定のフレーム間隔毎に抽出し、各移動ベクトルの分布か
ら求めた特徴量に基づいて移動ベクトルの平滑化を行う
ことにより、動き情報を抽出するようになっている。As described above, the motion information extracting means 6 divides a designated region in a moving image, a region inside the designated region which is intentionally designated by the user, or a region having a characteristic luminance or color. For each of the small regions (mesh), a movement vector of each small region is extracted at a predetermined frame interval for a predetermined time, and the movement vector is smoothed based on a feature amount obtained from a distribution of each movement vector, Motion information is extracted.

【００６６】（４）静止画領域の選択 ここでは、動画像生成に用いられる静止画像について、
フレーム間での変化を起こさせるための対象領域を静止
画領域選択手段８を用いて抽出する方法を図４に示すフ
ローチャートを参照して説明する。(4) Selection of Still Image Region Here, for a still image used for generating a moving image,
A method for extracting a target area for causing a change between frames by using the still image area selecting means 8 will be described with reference to a flowchart shown in FIG.

【００６７】静止画領域選択手段８では、画像蓄積手段
３に蓄えられた静止画像を制御して映像出力手段１２に
表示し（ステップＳ２１）、マウス等のポインティング
デバイスやキーボードを用いてユーザが所望の領域を指
定形状でマニュアル指定したのを検出して、領域周囲の
指定形状を示す形状パラメータや座標列を本手段に保持
する（ステップＳ２２）。指定形状としては動画領域選
択手段５の処理と同一とする。The still image area selection means 8 controls the still images stored in the image storage means 3 and displays them on the video output means 12 (step S21), and the user uses a pointing device such as a mouse or a keyboard to input a desired image. It is detected that the region is manually designated by the designated shape, and the shape parameters and the coordinate sequence indicating the designated shape around the region are stored in the present means (step S22). The designated shape is the same as the processing of the moving image area selecting means 5.

【００６８】また、動画領域選択手段５と同一の手法に
よって、静止画指定領域内部で輝度、およびカラーが特
徴的な領域を抽出し、本手段８に保存する（ステップＳ
２３〜ステップＳ２６）。In the same manner as in the moving image area selecting means 5, an area having a characteristic luminance and color is extracted inside the designated still image area and stored in the present means 8 (step S).
23 to Step S26).

【００６９】このように、静止画領域選択手段８は、入
力静止画像中のユーザにより意図的に指定された領域、
または、その指定領域内の輝度やカラーが特徴的な領域
を抽出し、その抽出された領域を後段の処理における領
域移動操作を施すための対象領域とするようになってい
る。As described above, the still image area selecting means 8 selects the area in the input still image that is intentionally designated by the user.
Alternatively, an area having a characteristic luminance or color in the designated area is extracted, and the extracted area is set as a target area for performing an area moving operation in a subsequent process.

【００７０】（５）静止画と動画の対応づけ 静止画動画対応づけ手段９では、静止画像内指定領域と
動画像内の指定フレーム内指定領域との対応づけを行な
う。(5) Correlation between Still Image and Moving Image The still image moving image associating means 9 associates the designated region in the still image with the designated region in the designated frame in the moving image.

【００７１】ここでは、指定領域内部同士についての第
１の類似度を評価し、その結果類似と判定された場合に
は、両指定領域内での第２の類似度が最大になる指定領
域同士の幾何学変換を求めることで自動位置合わせを行
なう。Here, the first similarity between the insides of the designated areas is evaluated, and when it is determined that the similarities are similar, the designated areas having the maximum second similarity in both designated areas are evaluated. Automatic alignment is performed by finding the geometric transformation of.

【００７２】まず、第１の類似度として指定領域内部の
輝度分布、第２の類似度として対応画素の輝度に基づく
距離を用いた場合の静止画と動画との対応づけを行う場
合の処理動作を図５に示すフローチャートを参照して説
明する。First, a processing operation for associating a still image with a moving image when using the luminance distribution inside the designated area as the first similarity and using the distance based on the luminance of the corresponding pixel as the second similarity Will be described with reference to the flowchart shown in FIG.

【００７３】静止画指定領域Ｒｓ、および動画指定領域
Ｒｍ内部で第１の類似度たる輝度分布としては、Ｒｓ、
Ｒｍ内部での輝度のヒストグラムＨｓ（ｉ）およびＨｍ
（ｉ）を算出する（ステップＳ３１、ステップＳ３
２）。ただし、ｉは輝度である。これはＲｓ、Ｒｍ内の
画素が０〜２５５の値をとる８ｂｉｔｓの輝度画像であ
った場合には、領域内部での各輝度を有する画素数の分
布（度数分布）であり、Ｒｓ、Ｒｍ内画像がＲＧＢ各８
ｂｉｔｓの３成分を有するものであった場合には、これ
らをＹＩＱ変換し、０〜２５５の値をとるＹ成分（輝度
成分）に変換して前記度数分布を求めたものとなる。そ
して第１の類似度Ｌ１は、The luminance distribution as the first similarity inside the still image designation area Rs and the moving image designation area Rm includes Rs,
Histograms Hs (i) and Hm of luminance inside Rm
(I) is calculated (Step S31, Step S3)
2). Here, i is luminance. This is a distribution (frequency distribution) of the number of pixels having each luminance inside the region when the pixels in Rs and Rm are 8-bit luminance images having values of 0 to 255, and Rs and Rm The image is 8 each for RGB
In the case of having three components of bits, these are subjected to YIQ conversion and converted to a Y component (luminance component) having a value of 0 to 255 to obtain the frequency distribution. And the first similarity L1 is

【数９】 (Equation 9)

【００７４】となる（ステップＳ３３）。(Step S33).

【００７５】ここでＬ１に対する閾値ＴＬ１をあらかじ
め設定しておき、ＴＬ１＜Ｌ１なるとき静止画指定領域
ＲＳと動画指定領域Ｒｍとは類似と判定する（ステップ
Ｓ３４）。Here, a threshold value TL1 for L1 is set in advance, and when TL1 <L1, it is determined that the still image designation area RS and the moving image designation area Rm are similar (step S34).

【００７６】このとき、Ｒｓの重心Ｇｓを中心に長さ
「１」ずつ膨張、または縮小し（ステップＳ３５）、あ
る膨張長ｌについてＧｓを中心に角度θずつ回転して変
形したもののうち（ステップＳ３６）、変形後の領域Ｒ
ｓ′がＲｍと等しいか、Ｒｍの内側に存在するものに対
して、Ｒｓ′とＲｍとの重心を重ねたときに、両領域が
重なり合う領域Ｒｃ内のＲｓ領域画素ｓ（ｘ、ｙ）とＲ
ｍ領域画素ｍ（ｘ、ｙ）との輝度をそれぞれＩｓ（ｘ、
ｙ）、Ｉｍ（ｘ、ｙ）とすると、第２の類似度Ｌ２は両
領域の輝度に基づく以下の距離の逆数であらわされ、At this time, the expansion or contraction is performed by a length “1” around the center of gravity Gs of Rs (step S35). S36), Region R after deformation
When the center of gravity of Rs 'and Rm is overlapped with that of s' equal to or within Rm, Rs region pixels s (x, y) in a region Rc where both regions overlap each other. R
The luminance of the m-region pixel m (x, y) is expressed as Is (x,
y) and Im (x, y), the second similarity L2 is represented by the reciprocal of the following distance based on the luminance of both regions,

【数１０】 (Equation 10)

【００７７】として求める（ステップＳ３７）。(Step S37).

【００７８】ここでＬ２に対する閾値ＴＬ２をあらかじ
め設定しておき、ＬＴ２＜Ｌ２なるもので、Ｌ２が最大
になる静止画膨張長ｌと静止画回転角θを求め、これを
保存し（ステップＳ３８〜ステップＳ４０）、後述の動
画合成手段１０における静止画と動画との合成時に利用
する。Here, the threshold value TL2 for L2 is set in advance, and when LT2 <L2, the still image expansion length 1 and the still image rotation angle θ at which L2 is maximized are obtained and saved (steps S38 to S38). Step S40), which is used when a still image and a moving image are synthesized by the moving image synthesizing unit 10 described later.

【００７９】以上の処理動作は、第１の類似度として輝
度分布を、第２の類似度として輝度に基づく距離を使用
したが、第１の類似度として色の分布を、第２の類似度
として色に基づく距離を用いてもよい。この場合の処理
動作を図６に示すフローチャートを参照して説明する。In the above processing operation, the luminance distribution is used as the first similarity, and the distance based on the luminance is used as the second similarity. The color distribution is used as the first similarity, and the second similarity is used. May be used as a distance based on color. The processing operation in this case will be described with reference to the flowchart shown in FIG.

【００８０】上述のＲｓ、およびＲｍ内の画像がＲＧＢ
各８ｂｉｔｓのカラー画像であるとし、静止画指定領域
Ｒｓでの各成分でのヒストグラムをＨｓｒ（ｉ）、Ｈｓ
ｇ（ｉ）、Ｈｓｂ（ｉ）、動画指定領域Ｒｍでの各成分
でのヒストグラムをＨｍｒ（ｉ）、Ｈｍｇ（ｉ）、Ｈｍ
ｂ（ｉ）としてこれらを算出する（ステップＳ５１、ス
テップＳ５２）。すると、ここでの第１の類似度Ｌ１
は、The images in Rs and Rm described above are RGB
It is assumed that the image is a color image of 8 bits, and the histogram of each component in the still image designation area Rs is Hsr (i), Hs
g (i), Hsb (i), and histograms of respective components in the moving image designated region Rm are represented by Hmr (i), Hmg (i), Hm
These are calculated as b (i) (step S51, step S52). Then, the first similarity L1 here
Is

【数１１】 [Equation 11]

【００８１】となる（ステップＳ５３）。(Step S53).

【００８２】ここでＬ１に対する閾値ＴＬＣ１をあらか
じめ設定しておき、ＴＬＣ１＜Ｌ１なるとき静止画指定
領域ＲＳと動画指定領域Ｒｍとは類似と判定する（ステ
ップＳ５４）。Here, a threshold value TLC1 for L1 is set in advance, and when TLC1 <L1, it is determined that the still image designation area RS and the moving image designation area Rm are similar (step S54).

【００８３】また、ここでの第２の類似度Ｌ２は、式
（１０）を求めたのと同様にＲｓを変形したときのＲ
ｓ′、およびＲｍが重なる領域での各領域に対応する画
素の色をｒｓ（ｘ、ｙ）、ｇｓ（ｘ、ｙ）、ｂｓ（ｘ、
ｙ）、およびｒｍ（ｘ、ｙ）、ｇｍ（ｘ、ｙ）、ｂｍ
（ｘ、ｙ）とするときFurther, the second similarity L2 here is the value obtained by transforming Rs in the same manner as in the case of obtaining equation (10).
In the region where s' and Rm overlap, the color of the pixel corresponding to each region is represented by rs (x, y), gs (x, y), bs (x,
y), and rm (x, y), gm (x, y), bm
When (x, y)

【数１２】 (Equation 12)

【００８４】として求める（ステップＳ５５〜ステップ
Ｓ５７）。(Step S55 to step S57).

【００８５】ここでＬ２に対する閾値ＴＬＣ２をあらか
じめ設定しておき、ＴＬＣ２＜Ｌ２なるもので、Ｌ２が
最大になる静止画膨張長ｌと静止画回転角θを求めこれ
を保存し（ステップＳ５８〜ステップＳ６０）、後述の
動画合成手段１０における静止画と動画との合成時に利
用する。Here, the threshold value TLC2 for L2 is set in advance, and when TLC2 <L2, the still image expansion length l and the still image rotation angle θ at which L2 is maximized are obtained and saved (steps S58 to S58). S60), which is used when the still image and the moving image are synthesized by the moving image synthesizing unit 10 described later.

【００８６】上述のＲｓとＲｍとの対応づけにおいて、
第１の類似度として指定領域内部の輝度の急変する画素
（エッジ）の幾何学的分布を用い、第２の類似度として
は両指定領域画像でのエッジから抽出した線分の幾何パ
ラメータに基づく統計量を用いることも可能である。こ
の場合の処理動作を図７に示すフローチャートを参照し
て説明する。In the above-mentioned correspondence between Rs and Rm,
The first similarity is based on the geometric distribution of pixels (edges) in which the luminance of the designated area rapidly changes, and the second similarity is based on geometric parameters of line segments extracted from edges in both designated area images. It is also possible to use statistics. The processing operation in this case will be described with reference to the flowchart shown in FIG.

【００８７】たとえば、ＲｓおよびＲｍが０〜２５５の
値を持つ輝度画像であった場合には、これにＳｏｂｅｌ
−ｏｐｅｒａｔｏｒなどのエッジ抽出オペレータを適用
した結果を一定値で２値化して２値画像を作成し、さら
に、「画像解析ハンドブック」（高木、下田 著）のｐ
ｐ５７７記載の細線化を適用し２値線画像を抽出し、そ
れぞれの線について、「画像解析ハンドブック」（高
木、下田 著）のｐｐ６１２記載の８方向のチェーンコ
ードを抽出しておき、各方向についての方向の輝度分布
を作成する。この領域ＲｓとＲｍに対する方向頻度分布
をそれぞれＨｓθ（ｉ）、Ｈｍθ（ｉ）、ｉ＝０〜７と
すると（ステップＳ７１、ステップＳ７２）、第１の類
似度Ｌ１は、For example, if a luminance image has a value of Rs and Rm of 0 to 255, it is set to Sobel.
-A binarized image is created by binarizing the result of applying an edge extraction operator such as an operator with a constant value, and furthermore, p in "Image Analysis Handbook" (by Takagi and Shimoda)
Binary line images are extracted by applying the thinning described in p577, and for each line, an eight-direction chain code described in pp612 of "Image Analysis Handbook" (by Takagi and Shimoda) is extracted. Create a luminance distribution in the direction of. Assuming that the direction frequency distributions for the regions Rs and Rm are Hsθ (i), Hmθ (i), and i = 0 to 7 (steps S71 and S72), the first similarity L1 is

【数１３】 (Equation 13)

【００８８】となる（ステップＳ７３）。(Step S73).

【００８９】Ｌ１に対する閾値ＴＬｇ１をあらかじめ設
定しておき、ＴＬｇ１＜Ｌ１なるとき静止画指定領域Ｒ
Ｓと動画指定領域Ｒｍとは類似と判定する（ステップＳ
７４）。A threshold value TLg1 for L1 is set in advance, and when TLg1 <L1, the still image designation area R
S and the moving image designation area Rm are determined to be similar (step S
74).

【００９０】また、第２の類似度Ｌ２は式（１０）を求
めたのと同様にＲｓを変形したときのＲｓ′、およびＲ
ｍが重なる領域でのＨｏｕｇｈ変換（「画像解析ハンド
ブック」（高木、下田 著）のｐｐ５７２記載）の線分
パラメータの分布の距離として定義される。すなわちＲ
ｓ′、Ｒｍの各領域内において前述のエッジ抽出オペレ
ータを適用して後、一定値で２値化して抽出されたエッ
ジ点についてＨｏｕｇｈ変換を適用して求めた線分パラ
メータρ、φについてその値に対する頻度分布を求め
る。このうちＲｓ′に対するものをＨｓρ（ｉ、Ｈｓφ
（ｉ）とし、Ｒｍに対するものをＨｍρ（ｉ）、Ｈｍφ
（ｉ）とすると、Ｌ２は、Further, the second similarity L2 is obtained by transforming Rs ′ and Rs ′ when Rs is transformed in the same manner as in the case of obtaining the equation (10).
It is defined as the distance of the distribution of the line segment parameters of the Hough transform (described in pp. 572 of “Image Analysis Handbook” (written by Takagi and Shimoda)) in the region where m overlaps. That is, R
After applying the above-described edge extraction operator in each of the s' and Rm regions, the line segment parameters ρ and φ obtained by applying the Hough transform to the extracted edge points which are binarized and extracted with a constant value are shown. Find the frequency distribution for. Among them, the one for Rs' is Hsρ (i, Hsφ
(I), and those for Rm are Hmρ (i), Hmφ
Assuming (i), L2 is

【数１４】 [Equation 14]

【００９１】となる（ステップＳ７５〜ステップＳ７
７）。(Steps S75 to S7)
7).

【００９２】ただしｑは一定値であり、上述のρとφに
関する頻度分布はρ、φの値域をｑ等分したそれぞれの
クラスについての頻度を示す。Here, q is a constant value, and the above-mentioned frequency distribution regarding ρ and φ indicates the frequency for each class obtained by equally dividing the range of ρ and φ by q.

【００９３】ここでＬ２に対する閾値ＴＬｇ２をあらか
じめ設定しておき、ＴＬｇ２＜Ｌ２なるもので、Ｌ２が
最大になる静止画膨張長ｌと静止画回転角θを求めこれ
を保存し（ステップＳ７８〜ステップＳ８０）、後述の
動画合成手段１０における静止画と動画との合成時に利
用する。Here, a threshold value TLg2 for L2 is set in advance, and a still image expansion length 1 and a still image rotation angle θ at which TLg2 <L2 is maximized, and L2 is maximized, are stored (steps S78 to S78). S80), which is used when the still image and the moving image are synthesized by the moving image synthesizing means 10 described later.

【００９４】（６）変形許容度の指定 変形許容度指定手段１１の処理動作について、図８に示
すフローチャートを参照して説明する。(6) Designation of Deformation Tolerance The processing operation of the deformation tolerance designation means 11 will be described with reference to the flowchart shown in FIG.

【００９５】画像蓄積手段３に蓄えられた静止画像を制
御して映像出力手段１２に表示し（ステップＳ９１）、
マウス等のポインティングデバイスまたはキーボード等
によって入力静止画上の領域を指定すると、これを変形
許容度設定領域情報として、その領域の輪郭点列座標Ｃ
Ｄｆ（ｉ、ｊ）、ｉ：指定領域番号、ｊ＝０〜点列数の
形で記憶し（ステップＳ９２）、次に、キーボード等か
ら数値入力によって指定領域の変形許容度Ｄｆ（ｉ）を
ユーザが入力すると、前記変形許容度設定領域ＣＤｆ
（ｉ、ｊ）とともに変形許容度Ｄｆ（ｉ）が保存される
（ステップＳ９３）。The still image stored in the image storage means 3 is controlled and displayed on the video output means 12 (step S91).
When an area on the input still image is designated by a pointing device such as a mouse or a keyboard, the contour point sequence coordinates C of the area are defined as deformation tolerance setting area information.
Df (i, j), i: Designated area number, j = 0 to be stored in the form of a point sequence (step S92). Next, the deformation tolerance Df (i) of the designated area is input by numerical input from a keyboard or the like. When the user inputs, the deformation tolerance setting area CDf
The deformation tolerance Df (i) is stored together with (i, j) (step S93).

【００９６】ここでＤｆの値の範囲は０＜Ｄｆ≦１であ
る。これらＣＤｆ（ｉ、ｊ）、およびＤｆ（ｉ）とは後
述の動画合成手段１０において利用される。Here, the range of the value of Df is 0 <Df ≦ 1. These CDf (i, j) and Df (i) are used in the moving image synthesizing means 10 described later.

【００９７】（７）動画像の合成 動画合成手段１０の処理動作について、図９に示すフロ
ーチャートを参照して説明する。(7) Synthesis of Moving Image The processing operation of the moving image synthesizing means 10 will be described with reference to the flowchart shown in FIG.

【００９８】まず、静止画領域選択手段８に保存された
静止画中の領域を静止画動画対応づけ手段９で求めた膨
張長ｌで膨張収縮、およびその重心Ｇｓを中心に角度θ
回転した領域Ｒｓを算出する（ステップＳ１０１）。First, the area in the still image stored in the still image area selecting means 8 is expanded and contracted by the expansion length 1 obtained by the still image moving image associating means 9 and the angle θ is set about its center of gravity Gs.
A rotated region Rs is calculated (step S101).

【００９９】この算出された領域Ｒｓを、動画領域選択
手段５において指定されたフレームｔについて、動き情
報抽出手段６で求められたユーザ指定領域メッシュＭ
１、および特徴領域メッシュＭ２に重ねあわせ、Ｒｓ内
部の各メッシュ点に相当するデータ領域に、領域Ｒｓ上
のメッシュ対応画素の輝度、またはＲＧＢ値を記憶する
（ステップＳ１０２）。The calculated area Rs is converted to the user-specified area mesh M obtained by the motion information extracting means 6 for the frame t specified by the moving image area selecting means 5.
1, superimposed on the feature area mesh M2, and the brightness or RGB value of the pixel corresponding to the mesh on the area Rs is stored in the data area corresponding to each mesh point inside Rs (step S102).

【０１００】次に、以下の式（１５）、（１６）にした
がって、他フレームでの変形許容度を考慮したメッシュ
位置Ｍ１’、Ｍ２’を求め（ステップＳ１０３）、各メ
ッシュ間の画素については、近傍メッシュの変換にした
がった補完演算によって求めることで、前記静止画フレ
ーム画像の指定動画内移動ベクトルによる他フレームで
の移動変形を実現する（ステップＳ１０４）。Next, mesh positions M1 'and M2' are determined in accordance with the following equations (15) and (16) in consideration of the deformation allowance in other frames (step S103). By performing a complementary operation in accordance with the conversion of the neighboring mesh, the moving deformation of the still image frame image in another frame by the moving vector in the designated moving image is realized (step S104).

【０１０１】[0101]

【数１５】 (Equation 15)

【０１０２】ただし、式（１５）、（１６）でＭ１、Ｍ
２は式（２）で述べたメッシュ、ＣＤｆ（ｉ）は変形許
容度指定手段１１によって指定されたｉ番目の変形許容
度指定領域、Ｄｆ（ｉ）はｉ番目の変形許容度であり、
ＶＤｆ（ｉ）は動画領域選択手段５によって指定された
フレームｔにおけるＣＤｆ（ｉ）内部の移動ベクトルの
平均値である。However, M1 and M in the equations (15) and (16)
2 is the mesh described in equation (2), CDf (i) is the i-th deformation tolerance designation area designated by the deformation tolerance designation means 11, Df (i) is the i-th deformation tolerance,
VDf (i) is the average value of the movement vector inside the CDf (i) in the frame t specified by the moving image area selecting means 5.

【０１０３】動画像の合成に関する以上の説明で補完演
算（ステップＳ１０４）は、たとえば、いわゆるテクス
チャマッピングで用いられる以下のような手法でよい。
すなわち、Ｒｓ上のある点ｐ（ｘ、ｙ）と最も距離の近
い４つのメッシュ点がつくる矩形を分割した三角形ｑｒ
ｓがフレームｔ′においてはアフィン変換によって三角
形ｑ′ｒ′ｓ′に移動したと仮定し、両者のアフィン変
換パラメータを求める。すなわち、ｑ（ｘｑ、ｙｑ）、
ｒ（ｘｒ、ｙｒ）、ｓ（ｘｓ、ｙｓ）なる三角形とｑ′
（ｘｑ′、ｙｑ′）、ｒ′（ｘｒ′、ｙｒ′）、ｓ′
（ｘｓ′、ｙｓ′）なる三角形の移動をＡ、Ｂ、Ｃ、
Ｄ、Ｅ、Ｆを係数とするアフィン変換で記述すると、In the above description relating to the synthesis of a moving image, the complementary operation (step S104) may be, for example, the following method used in so-called texture mapping.
That is, a triangle qr obtained by dividing a rectangle formed by four mesh points closest to a certain point p (x, y) on Rs
Assuming that s has moved to the triangle q'r's 'by the affine transformation in the frame t', the affine transformation parameters of both are obtained. That is, q (xq, yq),
The triangle r (xr, yr) and s (xs, ys) and q '
(Xq ', yq'), r '(xr', yr '), s'
The movement of the triangle (xs ', ys') is represented by A, B, C,
When described by an affine transformation using D, E, and F as coefficients,

【数１６】 (Equation 16)

【０１０４】となることから、式（１５）〜（１９）を
解いてアフィン変換係数をもとめｐ（ｘ、ｙ）の周囲三
角形から求めた前記アフィン変換パラメータにしたがっ
てｐ（ｘ、ｙ）にアフィン変換を適用し、フレームｔ′
における変形を行なう。Thus, the equations (15) to (19) are solved to obtain the affine transformation coefficients, and the affine transformation parameters are obtained according to the affine transformation parameters obtained from the surrounding triangle of p (x, y). Apply the transform and frame t '
Is performed.

【０１０５】（８）ページ記述言語出力手段 動画ページ記述ファイル出力手段１３では、初期静止画
像データＤ１、および移動情報データＤ２とを別々に保
存し、Ｄ２の情報によってＤ１を処理することで動画像
生成を行なう。このとき、Ｄ１とＤ２の組み合わせを替
えることによって別表現の動画コンテンツを容易に作成
できる。(8) Page description language output means The moving image page description file output means 13 stores the initial still image data D1 and the movement information data D2 separately, and processes the moving image by processing D1 according to the information of D2. Generate. At this time, by changing the combination of D1 and D2, it is possible to easily create a moving image content of another expression.

【０１０６】ここで、Ｄ１は入力静止画像を示す静止画
像ファイルへのリンクを示すデータであり、Ｄ２はそれ
を移動させるためのパラメータ、すなわち静止画の指定
領域、入力動画の静止画との対応づけを行なう指定フレ
ーム番号、入力動画の指定領域内の移動ベクトル、入力
静止画の変形許容度指定領域と変形許容度とを含み、前
述（７）の処理手続きを意味する記号列である。Here, D1 is data indicating a link to a still image file indicating an input still image, and D2 is a parameter for moving the image, that is, a designated area of the still image, a correspondence between the input moving image and the still image. This is a symbol string that includes the designated frame number to be attached, the motion vector in the designated area of the input moving image, the deformation allowance designation area of the input still image, and the deformation allowance, and means the processing procedure of (7) described above.

【０１０７】（９）生成コード付加手段 生成コード付加手段１４では、本実施形態に係る装置で
作成されたページ記述言語コマンド形式のデータについ
て、初期静止画像データＤ１、移動情報データＤ２とか
らなるコンテンツに適当な方法で可逆的暗号化を施し、
その装置で作成したことを示す装置にユニークなコード
（生成コード）を組み込むとともに、その生成コードを
装置内部の暗号鍵Ｘ保存手段１６に保存する。(9) Generated code adding means The generated code adding means 14 converts the data in the page description language command format created by the apparatus according to the present embodiment into contents including initial still image data D1 and movement information data D2. Subject to reversible encryption by an appropriate method,
A unique code (generated code) is incorporated in the device indicating that the device has been created, and the generated code is stored in the encryption key X storage means 16 inside the device.

【０１０８】また、本装置とは物理的に別の場所に設置
された記憶媒体からなる暗号鍵Ｙ保存手段１７に暗号化
手法（アルゴリズム、およびパラメータ）を記述したデ
ータ構造にユニークなコード（生成コード）を付加して
保存する。Further, the encryption key Y storage means 17 composed of a storage medium installed in a physically separate place from the present apparatus stores a unique code (generation) in a data structure describing an encryption method (algorithm and parameter). Code) and save.

【０１０９】ここでこれらコンテンツを第三者のユーザ
が初期静止画像データＤ１および移動情報データＤ２か
らなるページ記述言語コマンドから動画映像を再生、ま
たはＤ１やＤ２を用いて別表現の動画作成のために再利
用しようとした場合について、図１０および図１１を参
照して説明する。Here, these contents are reproduced by a third-party user from a page description language command composed of the initial still image data D1 and the movement information data D2 to reproduce a moving image, or to create a moving image of another expression using D1 or D2. The case where the re-use is attempted will be described with reference to FIG. 10 and FIG.

【０１１０】あるユーザ（第１ユーザ）が生成ツール
（動画像生成装置）を製造元から購入した際、暗号鍵Ｙ
保存手段１７には暗号化手法（暗号鍵Ｙ）が格納されて
いる（図１１のステップＳ１１１）。When a user (first user) purchases a generation tool (moving image generation device) from a manufacturer, the encryption key Y
The storage means 17 stores an encryption method (encryption key Y) (step S111 in FIG. 11).

【０１１１】第１ユーザにより生成されたコンテンツを
再生あるいは利用しようとする第三者である第２ユーザ
（コンテンツ利用者）側では、鍵取得手段１５にて、第
１ユーザ側の暗号鍵Ｘ保存手段１６とデータをやりとり
することで暗号化手法（暗号鍵Ｘ）を得る。On the side of a second user (content user) who is a third party who intends to reproduce or use the content generated by the first user, the key acquisition means 15 stores the encryption key X of the first user. An encryption method (encryption key X) is obtained by exchanging data with the means 16.

【０１１２】まず、コンテンツデータから生成コードを
取得して暗号鍵Ｘ保存手段１６に送る（ステップＳ１１
４）。暗号鍵Ｘ保存手段１６では暗号鍵Ｙ保存手段１７
にその生成コードを送る（ステップＳ１１５）。First, a generated code is obtained from the content data and sent to the encryption key X storing means 16 (step S11).
4). In the encryption key X storage means 16, the encryption key Y storage means 17
The generated code is sent to (step S115).

【０１１３】暗号鍵Ｙ保存手段１７では、この生成コー
ドと、暗号鍵Ｙ保存手段１７にあらかじめ保存された生
成コードとを照合し（ステップＳ１１６）、該当するも
のであればそのデータの暗号化手法を取得し暗号鍵Ｘ保
存手段１６に返す（ステップＳ１１７〜ステップＳ１１
９）。The encryption key Y storage means 17 compares the generated code with the generated code stored in advance in the encryption key Y storage means 17 (step S116). And returns it to the encryption key X storage means 16 (steps S117 to S11).
9).

【０１１４】この段階でもし生成コードの発行に基づく
課金の契約が生成ツール製造元との間になされていれば
（ステップＳ１１７）、指定額の課金操作を生成コード
に対応し暗号鍵Ｙ保存手段１７に付随する課金Ｙデータ
ベースに施す（ステップＳ１１８）。At this stage, if a billing contract based on the issuance of the generated code has been made with the manufacturer of the generating tool (step S117), the charging operation of the designated amount is performed in accordance with the generated code and the encryption key Y storage unit 17 is operated. (Step S118).

【０１１５】また、暗号化手法を取得した暗号鍵Ｘ保存
手段１６においても上記同様の課金契約に基づいて、暗
号鍵Ｘ保存手段１６に付随する課金Ｘデータベースに指
定額の課金を施す（ステップＳ１２０〜ステップＳ１２
１）。Also, the encryption key X storage means 16 that has obtained the encryption method charges the specified amount to the charging X database attached to the encryption key X storage means 16 based on the same charging contract as described above (step S120). ~ Step S12
1).

【０１１６】以上の結果、第２ユーザ側の動画合成手段
１０では、鍵取得手段１５を介して暗号化手法（暗号鍵
Ｘ）を取得し（ステップＳ１２２）、この暗号化手法に
したがってＤ１とＤ２のデータを復元し（ステップＳ１
２３）、両者をそのまま、あるいは組み合わせて替えて
合成するが、その後に鍵取得手段１５に得られた暗号化
手法を消去する（ステップＳ１２４）。As a result, the moving image synthesizing means 10 on the second user side acquires the encryption method (encryption key X) via the key acquisition means 15 (step S122), and according to this encryption method, D1 and D2 are obtained. Is restored (step S1).
23), the two are combined as they are or by combining them, and thereafter, the encryption method obtained by the key obtaining unit 15 is deleted (step S124).

【０１１７】暗号化手法としては可逆なものであればど
のようなものを利用しても良いが、たとえばデータの数
バイトおきにランダムな数値と置き換え、置き換えた位
置と数値とを暗号化手法として保存しておくような手法
でも良い。As the encryption method, any reversible method may be used. For example, a random numerical value is replaced every several bytes of data, and the replaced position and numerical value are used as the encryption method. A method of storing the information may be used.

【０１１８】動画像コンテンツを生成した第１ユーザ側
の動画像生成装置と、この第１ユーザ側の動画像生成装
置にて生成された動画像コンテンツを再生または再利用
する第２ユーザ側の動画像生成装置とは、インターネッ
トや電話回線を通じて接続されていても良いし、フロッ
ピーディスク、ＭＯ、メモリカードなどの外部記憶メデ
ィアを介して、間接的にデータの授受が行なわれても良
い。[0118] A moving image generation device on the first user side that has generated moving image content, and a moving image on the second user side that reproduces or reuses the moving image content generated by the moving image generation device on the first user side. The image generating apparatus may be connected via the Internet or a telephone line, or may indirectly transmit and receive data via an external storage medium such as a floppy disk, MO, or memory card.

【０１１９】前者の場合には装置ユニークコード（生成
コード）として、装置が接続されている通信回線の番
号、たとえばインターネットにおけるＵＲＬを含め、そ
のＵＲＬにしたがって暗号鍵Ｘ保存手段１６を有する本
実施形態に係る動画像生成装置に自動的にアクセスが可
能なようにしても良い。In the former case, as the device unique code (generated code), this embodiment includes the number of the communication line to which the device is connected, for example, the URL on the Internet, and has the encryption key X storage means 16 according to the URL. May be automatically accessible.

【０１２０】また同様に暗号鍵Ｘ保存手段１６を有する
本実施形態に係る動画像生成装置と、暗号鍵Ｙ保存手段
１７ともインターネットや電話回線を通じて接続されて
いても良いし、フロッピーディスク、ＭＯ、メモリカー
ドなどの外部記憶メディアを介して、間接的にデータの
授受が行われても良く、この場合に前者では暗号鍵Ｘ保
存手段１６には暗号鍵Ｙ保存手段１７の通信回線の番号
たとえばインターネットにおけるＵＲＬを記憶させてお
き、自動的に暗号鍵Ｙ保存手段１７にアクセス可能なよ
うにしても良い。Similarly, the moving image generating apparatus according to the present embodiment having the encryption key X storage means 16 and the encryption key Y storage means 17 may be connected via the Internet or a telephone line, or may be connected to a floppy disk, MO, Data may be transmitted and received indirectly via an external storage medium such as a memory card. In this case, in the former case, the number of the communication line of the encryption key Y May be stored so that the encryption key Y storage unit 17 can be automatically accessed.

【０１２１】自己表現や広告、ブレゼンテーションなど
を目的とし、文字や静止画像のみではなく動画像を用い
る機会が増えているが、これには素材によって大まかに
２通りの手法があると考えられる。すなわち（１）自然
画像の動画または静止画を用いて、静止画フレームとし
ての編集とフレームの時間方向への切り張りを行なうこ
とにより動画像を作成するもの、（２）２次元、３次元
のＣＧ要素と、その時系列での変換を言語の形で記述す
ることによって動画像を生成するものである。There are more and more opportunities to use not only characters and still images but also moving images for the purpose of self-expression, advertisement, presentation, etc. It is considered that there are roughly two methods depending on the material. That is, (1) a moving image is created by editing a still image frame and cutting the frame in the time direction using a moving image or a still image of a natural image, and (2) a two-dimensional or three-dimensional image. A moving image is generated by describing a CG element and its conversion in a time series in the form of a language.

【０１２２】前者においては静止画フレームを編集する
ための手間がかかり、後者においては時系列での変換を
言語で記述することが直観的ではなく困難であるなどの
問題がある。In the former case, it takes time and effort to edit a still picture frame, and in the latter case, there is a problem that it is not intuitive and difficult to describe time-series conversion in a language.

【０１２３】ところで上記実施形態によれば、まず動き
の素材にするための動画像から所望の時間方向での動き
情報、特徴情報（動き、変形、輝度、色、変化）を抽
出、動画素材にしたい静止画像（または３次元ＣＧ要
素）をその情報に基づいて自動変換することで動画像を
生成する方式であるため、以上のような動画生成上の操
作者の負担を著しく軽減することが出来る。According to the above-described embodiment, first, motion information and characteristic information (movement, deformation, luminance, color, change) in a desired time direction are extracted from a moving image to be used as a motion material, and the extracted moving information is used as a moving image material. Since a moving image is generated by automatically converting a desired still image (or a three-dimensional CG element) based on the information, it is possible to significantly reduce the burden on the operator in generating the moving image as described above. .

【０１２４】また、生成されたデータは静止画データ部
分とその静止画の時間に伴う移動や変形を記述した移動
情報データ部分とに分割でき、それぞれの組み合わせを
替えることにより、別表現の動画像コンテンツの生成の
ために再利用することが可能である。Further, the generated data can be divided into a still image data portion and a movement information data portion describing the movement and deformation of the still image with time, and by changing the combination of the data, a moving image of a different expression can be obtained. It can be reused for content generation.

【０１２５】さらに、コンテンツの生成に際して、合成
により生成された動画像に対する課金操作を目的とする
装置固有のコード（生成コード）を付加し、コンテンツ
利用時にはこのコードをチェックする手段をも示してお
り、これによりコンテンツ作成者への課金操作が容易に
行える。Further, there is shown means for adding a device-specific code (generation code) for billing operation to a moving image generated by synthesis at the time of content generation, and checking this code when using the content. This makes it easy to charge the content creator.

【０１２６】[0126]

【発明の効果】本発明によれば、ユーザの負担を軽減し
て、所望の動画像生成が容易に行える。According to the present invention, a desired moving image can be easily generated with a reduced burden on the user.

【図面の簡単な説明】[Brief description of the drawings]

【図１】本装置の実施形態に係る動画像生成装置の全体
の構成を概略的に示した図。FIG. 1 is a diagram schematically illustrating an overall configuration of a moving image generating apparatus according to an embodiment of the present apparatus.

【図２】動画領域選択手段の処理動作を説明するための
フローチャート。FIG. 2 is a flowchart for explaining a processing operation of a moving image area selecting unit.

【図３】動き情報抽出手段の処理動作を説明するための
フローチャート。FIG. 3 is a flowchart for explaining a processing operation of a motion information extraction unit.

【図４】静止画領域選択手段の処理動作を説明するため
のフローチャート。FIG. 4 is a flowchart for explaining a processing operation of a still image area selection unit.

【図５】静止画動画対応づけ手段の処理動作を説明する
ためのフローチャートで、第１の類似度として指定領域
内部の輝度分布を用い、第２の類似度としては両指定領
域画像での対応画素の輝度に基づく距離を用いる場合を
示したものである。FIG. 5 is a flowchart for explaining a processing operation of a still image / moving image associating unit, wherein a luminance distribution inside a designated area is used as a first similarity, and a correspondence between both designated area images is used as a second similarity; This shows a case where a distance based on the luminance of a pixel is used.

【図６】静止画動画対応づけ手段の処理動作を説明する
ためのフローチャートで、第１の類似度として指定領域
内部の色分布を用い、第２の類似としては両指定領域画
像での対応画素の色に基づく距離を用いる場合を示した
ものである。FIG. 6 is a flowchart for explaining the processing operation of the still image / moving image associating means, wherein a color distribution inside a designated area is used as a first similarity, and a corresponding pixel in both designated area images is used as a second similarity. 3 shows a case in which a distance based on the color is used.

【図７】静止画動画対応づけ手段の処理動作を説明する
ためのフローチャートで、第１の類似度として指定領域
内部の輝度エッジの幾何学的分布を用い、第２の類似度
としては両指定領域画像でのエッジから抽出した線分の
幾何パラメータに基づく統計量を用いる場合を示したも
のである。FIG. 7 is a flowchart for explaining the processing operation of the still image / moving image associating means, in which the geometrical distribution of the luminance edge inside the designated area is used as the first similarity, and both designations are used as the second similarity; This shows a case where a statistic based on a geometric parameter of a line segment extracted from an edge in a region image is used.

【図８】変形許容度指定手段の処理動作を説明するため
のフローチャート。FIG. 8 is a flowchart for explaining a processing operation of a deformation allowance designation unit;

【図９】動画合成手段の処理動作を説明するためのフロ
ーチャート。FIG. 9 is a flowchart for explaining a processing operation of a moving image synthesizing unit.

【図１０】動画コンテンツ利用とその際の課金操作を説
明するための概念図。FIG. 10 is a conceptual diagram illustrating the use of moving image content and a billing operation at that time.

【図１１】動画コンテンツ利用とその際の課金操作を説
明するためのフローチャート。FIG. 11 is a flowchart illustrating the use of moving image content and a billing operation at that time.

【符号の説明】[Explanation of symbols]

１…映像入力手段、２…動画データファイル入力手段、
３…画像蓄積手段、４…静止画入力手段、５…動画領域
選択手段、６…動き情報抽出手段、７…移動情報蓄積手
段、８…静止画領域選択手段、９…静止画動画対応づけ
手段、１０…動画合成手段、１１…変形許容度指定手
段、１２…映像出力手段、１３…動画ページ記述ファイ
ル出力手段、１４…知的所有権コード付加手段、１５…
鍵取得手段、１６…暗号鍵Ｘ保持手段、１７…暗号鍵Ｙ
保持手段。1 ... Video input means, 2 ... Video data file input means,
3 image storage means, 4 still image input means, 5 moving image area selection means, 6 movement information extraction means, 7 movement information storage means, 8 still image area selection means, 9 still image moving image association means Reference numeral 10: Moving picture synthesizing means, 11: Deformation tolerance designating means, 12: Video output means, 13: Moving picture page description file outputting means, 14: Intellectual property code adding means, 15 ...
Key acquisition means, 16: encryption key X holding means, 17: encryption key Y
Holding means.

Claims (22)

【特許請求の範囲】[Claims] 【請求項１】 所望の動画像から所望の領域を指定する
第１の指定手段と、 前記動画像の指定された領域の特徴情報および動き情報
を抽出する第１の抽出手段と、 所望の静止画像から所望の領域を指定する第２の指定手
段と、 前記静止画像の指定された領域の特徴情報を抽出する第
２の抽出手段と、 前記第１の抽出手段で抽出された特徴情報と前記第２の
抽出手段で抽出された特徴情報に基づき、前記第２の指
定手段で指定された領域を前記第１の指定手段で指定さ
れた動画像の領域に対応付ける対応付け手段と、 この対応付け手段で対応付けされた領域と前記第１の抽
出手段で抽出された動き情報に基づき動画像を生成する
生成手段と、 を具備したことを特徴とする動画像生成装置。A first designation unit for designating a desired region from a desired moving image; a first extracting unit for extracting feature information and motion information of a designated region of the moving image; A second designation unit for designating a desired region from the image; a second extraction unit for extracting feature information of a designated region of the still image; a feature information extracted by the first extraction unit; Associating means for associating the area specified by the second specifying means with the area of the moving image specified by the first specifying means based on the characteristic information extracted by the second extracting means; A moving image generating apparatus for generating a moving image based on the area associated by the means and the motion information extracted by the first extracting means. 【請求項２】 所望の動画像から所望の領域を指定する
第１の指定手段と、 前記動画像の指定された領域の特徴情報および動き情報
を抽出する第１の抽出手段と、 所望の静止画像から所望の領域を指定する第２の指定手
段と、 前記静止画像の指定された領域の特徴情報を抽出する第
２の抽出手段と、 前記第１の抽出手段で抽出された特徴情報と前記第２の
抽出手段で抽出された特徴情報に基づき、前記第２の指
定手段で指定された領域を前記第１の指定手段で指定さ
れた動画像の領域に対応付ける対応付け手段と、 この対応付け手段で対応付けされた領域と前記第１の抽
出手段で抽出された動き情報に基づき動画像を生成する
生成手段と、 この生成手段で生成された動画像を所定の記述言語に変
換する変換手段と、 を具備したことを特徴とする動画像生成装置。2. A first specifying means for specifying a desired area from a desired moving image; a first extracting means for extracting characteristic information and motion information of a specified area of the moving image; A second designation unit for designating a desired region from the image; a second extraction unit for extracting feature information of a designated region of the still image; a feature information extracted by the first extraction unit; Associating means for associating the area specified by the second specifying means with the area of the moving image specified by the first specifying means based on the characteristic information extracted by the second extracting means; Generating means for generating a moving image based on the area associated by the means and the motion information extracted by the first extracting means; converting means for converting the moving image generated by the generating means into a predetermined description language And characterized by having Moving image generation apparatus. 【請求項３】 前記第１の抽出手段は、前記第１の指定
手段で指定された動画像の領域を小領域に分割し、各小
領域の移動ベクトルを所定時間所定のフレーム間隔毎に
抽出することにより、動き情報を抽出することを特徴と
する請求項１または２記載の動画像生成装置。3. The first extracting means divides a moving image area specified by the first specifying means into small areas, and extracts a movement vector of each small area for a predetermined time at a predetermined frame interval. The moving image generation apparatus according to claim 1 or 2, wherein the motion information is extracted by extracting the motion information. 【請求項４】 前記第１の抽出手段は、前記第１の指定
手段で指定された動画像の領域を小領域に分割し、各小
領域の移動ベクトルを所定時間所定のフレーム間隔毎に
抽出し、この抽出された移動ベクトルをその分布から求
められる統計量に基づき平滑化することにより、動き情
報を抽出することを特徴とする請求項１または２記載の
動画像生成装置。4. The first extracting unit divides a moving image area specified by the first specifying unit into small regions, and extracts a motion vector of each small region for a predetermined time at a predetermined frame interval. 3. The moving image generating apparatus according to claim 1, wherein the extracted moving vector is smoothed based on a statistic obtained from its distribution to extract the motion information. 【請求項５】 前記第１の指定手段は、フレーム毎に表
示された動画像中の所望の１フレーム内から所望の領域
が指定されると、その指定された領域に関連する他のフ
レーム内の領域については、フレーム間で対応付けを行
うことにより、全フレームについて領域指定を行うこと
を特徴とする請求項１または２記載の動画像生成装置。5. When a desired area is specified from within a desired one frame in a moving image displayed for each frame, the first specifying means sets a desired area within another frame related to the specified area. 3. The moving image generation apparatus according to claim 1, wherein the region is specified for all frames by associating the regions with each other. 【請求項６】 前記対応付け手段は、前記第１および第
２の抽出手段で抽出された動画像および静止画像の指定
領域のそれぞれの特徴情報に基づき算出された類似度に
基づき対応付けを行うことを特徴とする請求項１または
２記載の動画像生成装置。6. The associating unit performs the associating based on the similarity calculated based on the characteristic information of each of the designated regions of the moving image and the still image extracted by the first and second extracting units. The moving image generation apparatus according to claim 1 or 2, characterized in that. 【請求項７】 前記対応付け手段は、前記第１および第
２の抽出手段で抽出された動画像および静止画像の指定
領域のそれぞれの輝度分布に基づき第１の類似度を算出
し、この第１の類似度に基づき類似と判定された動画像
および静止画像の指定領域について、さらに、これらの
対応画素の輝度と距離に基づき第２の類似度を算出し、
この第２の類似度に基づき動画像および静止画像の指定
領域を対応付けることを特徴とする請求項１または２記
載の動画像生成装置。7. The associating unit calculates a first similarity based on a luminance distribution of each of designated regions of a moving image and a still image extracted by the first and second extracting units, and For a designated area of a moving image and a still image determined to be similar based on the similarity of 1, a second similarity is further calculated based on the luminance and the distance of these corresponding pixels,
3. The moving image generating apparatus according to claim 1, wherein the designated areas of the moving image and the still image are associated with each other based on the second similarity. 【請求項８】 前記対応付け手段は、前記第１および第
２の抽出手段で抽出された動画像および静止画像の指定
領域のそれぞれの色分布に基づき第１の類似度を算出
し、この第１の類似度に基づき類似と判定された動画像
および静止画像の指定領域について、さらに、これらの
対応画素の色と距離に基づき第２の類似度を算出し、こ
の第２の類似度に基づき動画像および静止画像の指定領
域を対応付けることを特徴とする請求項１または２記載
の動画像生成装置。8. The associating means calculates a first similarity based on a color distribution of each of designated areas of a moving image and a still image extracted by the first and second extracting means, For the designated area of the moving image and the still image determined to be similar based on the similarity of No. 1, a second similarity is further calculated based on the color and the distance of the corresponding pixels, and based on the second similarity. 3. The moving image generating apparatus according to claim 1, wherein a designated area of the moving image is associated with a designated area of the still image. 【請求項９】 前記対応付け手段は、前記第１および第
２の抽出手段で抽出された動画像および静止画像の指定
領域のそれぞれの輝度の急変する画素の幾何学的分布に
基づき第１の類似度を算出し、この第１の類似度に基づ
き類似と判定された動画像および静止画像の指定領域に
ついて、さらに、これら輝度の急変する画素の幾何学的
分布に基づく統計量に基づき第２の類似度を算出し、こ
の第２の類似度に基づき動画像および静止画像の指定領
域を対応付けることを特徴とする請求項１または２記載
の動画像生成装置。9. The method according to claim 1, wherein the associating unit is configured to determine a first and a second pixel based on a geometrical distribution of pixels whose luminance rapidly changes in designated regions of the moving image and the still image extracted by the first and second extracting units. The degree of similarity is calculated, and for a designated area of a moving image and a still image determined to be similar based on the first degree of similarity, a second area is further determined based on a statistic based on a geometric distribution of pixels whose luminance changes rapidly. The moving image generation apparatus according to claim 1, wherein the similarity of the moving image is calculated, and the designated area of the moving image and the designated area of the still image are associated based on the second similarity. 【請求項１０】 静止画像の指定領域の変形を許容する
度合を指定する手段をさらに具備したことを特徴とする
請求項１または２記載の動画像生成装置。10. The moving image generating apparatus according to claim 1, further comprising means for designating a degree of permitting deformation of a designated area of a still image. 【請求項１１】 前記生成手段で生成された動画像は、
その動画像を利用する際に必要な、その動画像の生成元
を識別する識別情報を含み、この動画像が利用される際
には、前記識別情報に対応する生成元から第１の鍵情報
を取得し、この第１の鍵情報を利用する際には、その第
１の鍵情報の利用を可能とするための第２の鍵情報を取
得することを特徴とする請求項２記載の動画像生成装
置。11. A moving image generated by said generating means,
The identification information necessary for using the moving image includes identification information for identifying the generation source of the moving image. When the moving image is used, the first key information is generated from the generation source corresponding to the identification information. 3. The moving picture according to claim 2, wherein, when the first key information is used, second key information for enabling the use of the first key information is obtained. Image generator. 【請求項１２】 所望の動画像から所望の領域が指定さ
れると、この動画像の指定領域の特徴情報および動き情
報を抽出し、所望の静止画像から所望の領域が指定され
ると、この静止画像の指定された領域の特徴情報を抽出
し、前記動画像および静止画像の指定領域から抽出され
た特徴情報に基づき、前記静止画像の指定領域を前記動
画像の指定領域に対応付け、この対応付けされた領域と
前記動画像の指定領域から抽出された動き情報に基づき
動画像を生成することを特徴とする動画像生成方法。12. When a desired region is designated from a desired moving image, feature information and motion information of the designated region of the moving image are extracted, and when a desired region is designated from a desired still image, Extracting the feature information of the designated area of the still image, and associating the designated area of the still image with the designated area of the moving image based on the feature information extracted from the designated area of the moving image and the still image, A moving image generation method, characterized in that a moving image is generated based on an associated area and motion information extracted from a specified area of the moving image. 【請求項１３】 所望の動画像から所望の領域が指定さ
れると、この動画像の指定領域の特徴情報および動き情
報を抽出し、所望の静止画像から所望の領域が指定され
ると、この静止画像の指定された領域の特徴情報を抽出
し、前記動画像および静止画像の指定領域から抽出され
た特徴情報に基づき、前記静止画像の指定領域を前記動
画像の指定領域に対応付け、この対応付けされた領域と
前記動画像の指定領域から抽出された動き情報に基づき
動画像を生成し、この生成された動画像を所定の記述言
語に変換することを特徴とする動画像生成方法。13. When a desired region is designated from a desired moving image, feature information and motion information of the designated region of the moving image are extracted, and when a desired region is designated from a desired still image, Extracting the feature information of the designated area of the still image, and associating the designated area of the still image with the designated area of the moving image based on the feature information extracted from the designated area of the moving image and the still image, A moving image generation method, comprising: generating a moving image based on motion information extracted from an associated region and a designated region of the moving image; and converting the generated moving image into a predetermined description language. 【請求項１４】 前記動画像の指定された領域の特徴情
報を抽出する際、前記動画像の指定領域を小領域に分割
し、各小領域の移動ベクトルを所定時間所定のフレーム
間隔毎に抽出することにより、動き情報を抽出すること
を特徴とする請求項１２または１３記載の動画像生成方
法。14. When extracting characteristic information of a specified area of the moving image, the specified area of the moving image is divided into small areas, and a movement vector of each small area is extracted at predetermined frame intervals for a predetermined time. 14. The moving image generation method according to claim 12, wherein the motion information is extracted by performing. 【請求項１５】 前記動画像の指定された領域の特徴情
報を抽出する際、前記動画像の指定領域を小領域に分割
し、各小領域の移動ベクトルを所定時間所定のフレーム
間隔毎に抽出し、この抽出された移動ベクトルをその分
布から求められる統計量に基づき平滑化することによ
り、動き情報を抽出することを特徴とする請求項１２ま
たは１３記載の動画像生成方法。15. When extracting feature information of a specified region of the moving image, the specified region of the moving image is divided into small regions, and a movement vector of each small region is extracted for a predetermined time at a predetermined frame interval. 14. The moving image generation method according to claim 12, wherein the extracted motion vector is smoothed based on a statistic obtained from the distribution to extract the motion information. 【請求項１６】 所望の動画像から所望の領域を指定す
る際、フレーム毎に表示された動画像中の所望の１フレ
ーム内から所望の領域が指定されると、その指定された
領域に関連する他のフレーム内の領域については、フレ
ーム間で対応付けを行うことにより、全フレームについ
て領域指定を行うことを特徴とする請求項１２または１
３記載の動画像生成方法。16. When a desired region is designated from a desired moving image, if a desired region is designated from within a desired one frame in a moving image displayed for each frame, the related region is designated. 13. The method according to claim 12, wherein, for a region in another frame, the region is specified for all frames by associating the frame with each other.
3. The moving image generation method according to 3. 【請求項１７】 前記動画像および静止画像の指定領域
から抽出された特徴情報に基づき算出された類似度に基
づき前記静止画像の指定領域を前記動画像の指定領域に
対応付けることを特徴とする請求項１２または１３記載
の動画像生成方法。17. The method according to claim 17, wherein the designated area of the still image is associated with the designated area of the moving image based on the similarity calculated based on the feature information extracted from the designated area of the moving image and the still image. Item 14. The moving image generation method according to Item 12 or 13. 【請求項１８】 前記動画像および静止画像の指定領域
から抽出された動画像および静止画像の指定領域のそれ
ぞれの輝度分布に基づき第１の類似度を算出し、この第
１の類似度に基づき類似と判定された動画像および静止
画像の指定領域について、さらに、これらの対応画素の
輝度と距離に基づき第２の類似度を算出し、この第２の
類似度に基づき動画像および静止画像の指定領域を対応
付けることを特徴とする請求項１２または１３記載の動
画像生成方法。18. A first similarity is calculated based on a luminance distribution of each of a designated region of a moving image and a still image extracted from a designated region of the moving image and a still image, and based on the first similarity. For a specified region of a moving image and a still image determined to be similar, a second similarity is further calculated based on the luminance and the distance of these corresponding pixels, and based on the second similarity, the second similarity of the moving image and the still image is calculated. 14. The moving image generation method according to claim 12, wherein a designated area is associated with the moving image. 【請求項１９】 前記動画像および静止画像の指定領域
から抽出された動画像および静止画像の指定領域のそれ
ぞれの色分布に基づき第１の類似度を算出し、この第１
の類似度に基づき類似と判定された動画像および静止画
像の指定領域について、さらに、これらの対応画素の色
と距離に基づき第２の類似度を算出し、この第２の類似
度に基づき動画像および静止画像の指定領域を対応付け
ることを特徴とする請求項１２または１３記載の動画像
生成方法。19. A first similarity is calculated based on a color distribution of each of the designated regions of the moving image and the still image extracted from the designated regions of the moving image and the still image, and the first similarity is calculated.
For a specified area of a moving image and a still image determined to be similar on the basis of the similarity of the image, a second similarity is further calculated based on the color and the distance of these corresponding pixels, and a moving image is calculated based on the second similarity. 14. The moving image generation method according to claim 12, wherein a designated area of the image and the designated area of the still image are associated with each other. 【請求項２０】 前記動画像および静止画像の指定領域
から抽出された動画像および静止画像の指定領域のそれ
ぞれの輝度の急変する画素の幾何学的分布に基づき第１
の類似度を算出し、この第１の類似度に基づき類似と判
定された動画像および静止画像の指定領域について、さ
らに、これら輝度の急変する画素の幾何学的分布に基づ
く統計量に基づき第２の類似度を算出し、この第２の類
似度に基づき動画像および静止画像の指定領域を対応付
けることを特徴とする請求項１２または１３記載の動画
像生成方法。20. A method according to claim 1, further comprising the steps of:
Of the designated area of the moving image and the still image determined to be similar based on the first similarity, and further, based on a statistic based on the geometric distribution of the pixels whose luminance changes rapidly. 14. The moving image generation method according to claim 12, wherein the similarity of the second image is calculated, and the designated area of the moving image and the designated area of the still image are associated based on the second similarity. 【請求項２１】 静止画像の指定領域の変形を許容する
度合が指定されることを特徴とする請求項１２または１
３記載の動画像生成方法。21. The degree of permitting deformation of a designated area of a still image is designated.
3. The moving image generation method according to 3. 【請求項２２】 前記生成された動画像は、その動画像
を利用する際に必要な、その動画像の生成元を識別する
識別情報を含み、この動画像が利用される際には、前記
識別情報に対応する生成元から第１の鍵情報を取得し、
この第１の鍵情報を利用する際には、その第１の鍵情報
の利用を可能とするための第２の鍵情報を取得すること
を特徴とする請求項１３記載の動画像生成方法。22. The generated moving image includes identification information required for using the moving image and identifying a source of the moving image, and when the moving image is used, Obtaining first key information from a generator corresponding to the identification information;
14. The moving image generation method according to claim 13, wherein when using the first key information, second key information for enabling the use of the first key information is obtained.