JPH1091807A - Method for generating moving image - Google Patents

Abstract

PROBLEM TO BE SOLVED: To generate a moving image from a static image regardless of the kind of an object. SOLUTION: A first correlation matrix generating part 11 calculates a column correlation matrix S11a and an line correlation matrix S11b from a picture P(a) for one frame. A first basic graphic calculating part 12 calculates specific vectors S12a and S12b and a basic graphic S12c from the column correlation matrix S11a and the line correlation matrix S11b. An inner product calculating part 13 calculates an inner product S13 of one frame of a moving image P(t) and the basic graphic S12c. A second correlation matrix generating part 14 calculates a column correlation matrix S14a and a line correlation matrix S14b from a static image Q. A second basic graphic calculating part 15 calculates specific vectors S15a and S15b and a basic graphic S15c from the column correlation matrix S14a and the line correlation matrix S14b. A matching part 16 generates a matching result S16 of the basic graphic S12c and the basic graphic S15c. A moving image generating part 17 generates an artificial moving image S17 from the inner product S13 and the basic graphic S15c based on the matching result S16.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は、直交変換を用いて
動画像を処理した情報をもとに、この動画像と同種の物
体の静止画像を動画像化した人工動画像を生成する動画
像生成方法に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a moving image for generating an artificial moving image in which a still image of an object of the same kind as the moving image is formed based on information obtained by processing the moving image using orthogonal transformation. It relates to a generation method.

【０００２】[0002]

【従来の技術】従来、このような分野の技術としては、
例えば、次のような文献に記載されるものがあった。 文献；テレビジョン学会誌、VOl.49,No.10、(1995)、川
村貴弘他著、「NURBS,逆運動学、協調的運動モデルによ
る自然感の高い魚の実時間ＣＧ動画像生成」、P.1296-1
304 １枚の静止画像から動画像を作成する方法としては、コ
ンピュータ・グラフィクス(Computer Graphics、以下、
ＣＧという) がある。ＣＧで魚の動画像を作成する手法
の１例としてNURBUS(Non-Uniform Rational B-Spline)
が知られており、この手法を用いた動画像生成方法が前
記文献に記載されている。前記文献では、NURBS を用い
て魚の動きを生成する場合、まず、魚を８×４程度の制
御点群に分ける。魚のデフォメーション（形状変化) を
表すため、NURBSのグループ化した制御点群を、固有の
数学関数に基づいた回転角で魚に垂直な軸に関して回転
させることによって実現している。この際、魚の体のひ
ねりを「自然ひねり」、「左ひねり」、及び「右ひね
り」の３つに分け、ひねりの振幅やピッチはパラメータ
によって調整している。このようにして魚の動きが実現
できたら、写真のテクスチャマップ（即ち、モデルに２
次元画像を張り付ける方法) を行って魚に現実感をもた
せている。2. Description of the Related Art Conventionally, techniques in such a field include:
For example, there is one described in the following literature. Literature; Journal of the Institute of Television Engineers of Japan, Vol. 49, No. 10, (1995), Takahiro Kawamura et al., "Real-time CG moving image generation of fish with high natural feeling by NURBS, inverse kinematics, cooperative motion model," P. .1296-1
304 As a method of creating a moving image from one still image, there is a computer graphics (hereinafter referred to as “Computer Graphics”).
CG). NURBUS (Non-Uniform Rational B-Spline) as an example of a method for creating a moving image of a fish with CG
Is known, and a moving image generation method using this method is described in the above-mentioned document. In the above literature, when generating the movement of a fish using NURBS, the fish is first divided into a group of control points of about 8 × 4. To represent the deformation of the fish (shape change), it is realized by rotating the NURBS grouped control points about an axis perpendicular to the fish at a rotation angle based on a unique mathematical function. At this time, the twist of the body of the fish is divided into three, "natural twist", "left twist", and "right twist", and the amplitude and pitch of the twist are adjusted by parameters. Once the fish movement has been achieved in this way, the texture map of the photograph (ie, 2
Method of attaching a three-dimensional image) to give the fish a sense of reality.

【０００３】[0003]

【発明が解決しようとする課題】しかしながら、従来の
動画像生成方法では、次のような課題があった。ＣＧに
よって動画像を作成するには種々の手法があるが、その
手法は特定のオブジェクトに限られることが多い。例え
ば、NURBS で魚の動画像を作成する場合、体を８×４の
制御点に分けることによって表現できる魚は、体の表面
が滑らかなものに限られる。従って、例えばハリセンボ
ンやハナミノカサゴ等のような体の表面に凹凸がある魚
については顧慮されていない。又、前記文献では、魚の
運動様式は、進行波のように頭部で始まり、後方に向か
うにつれて振幅を増し、波長を減じていく波動形に限定
されているが、例えばエイやヒラメ等のような背復圧縮
形の魚には、この運動様式はあてはまらない。更に、魚
の動きを求める計算は複雑で時間がかかり、動きの計算
の後に人の手によってオブジェクトにマッピングを行う
必要があるという問題があった。However, the conventional moving image generating method has the following problems. There are various methods for creating a moving image by CG, but the method is often limited to a specific object. For example, when a moving image of a fish is created by NURBS, the fish that can be expressed by dividing the body into 8 × 4 control points is limited to those having a smooth body surface. Therefore, there is no consideration with respect to fish having irregularities on the surface of the body, such as, for example, haribonboshi or scorpionfish. Further, in the above-mentioned literature, the movement mode of the fish is limited to a wave form that starts at the head like a traveling wave, increases in amplitude toward the rear, and decreases in wavelength, but is, for example, a ray or a flounder. This type of exercise does not apply to a fish with a compact compression. Further, there is a problem that the calculation for obtaining the movement of the fish is complicated and time-consuming, and it is necessary to manually map the object to the object after the calculation of the movement.

【０００４】[0004]

【課題を解決するための手段】前記課題を解決するため
に、本発明のうちの第１の発明は、動画像生成方法にお
いて、動画像の或る１フレームに対して直交変換を施し
て第１の基底を求める第１の基底生成処理と、前記第１
の基底と前記動画像の任意の時間のフレームとの内積値
をフレーム毎に算出する内積値算出処理と、前記動画像
と同種の物体の静止画像に対して直交変換を施して第２
の基底を求める第２の基底生成処理と、前記第１の基底
と前記第２の基底との近似度を検出し、該第１の基底と
該第２の基底との最も近似した場合の基底の組み合わせ
を表すマッチング結果を生成するマッチング処理と、前
記マッチング結果に基づいて前記第２の基底と該第２の
基底に対応する前記動画像から求めた前記内積値とを掛
け合わせ、それらの和をとることによって前記静止画像
を動画像化した人工動画像を生成する動画像生成処理と
を、行うようにしている。In order to solve the above-mentioned problems, a first aspect of the present invention provides a method for generating a moving image, the method comprising: performing orthogonal transformation on a certain frame of the moving image; A first basis generation process for finding a basis of
Inner product value calculation processing for calculating an inner product value between the base of the moving image and a frame at an arbitrary time of the moving image for each frame, and performing an orthogonal transformation on a still image of an object of the same kind as the moving image to obtain a second product
A second basis generation process for finding the basis of the first basis, the degree of approximation between the first basis and the second basis is detected, and the basis in the case where the first basis and the second basis are most approximated. And a matching process for generating a matching result representing a combination of the above, and multiplying the second base and the inner product value obtained from the moving image corresponding to the second base based on the matching result, and summing them And a moving image generation process of generating an artificial moving image obtained by converting the still image into a moving image.

【０００５】第２の発明では、動画像の或る１フレーム
に対して直交変換を施して第１の基底を求める第１の基
底生成処理と、前記動画像と同種の物体の静止画像に対
して直交変換を施して基底を求め、該基底のうちの少数
の限定された第２の基底を求める第２の基底生成処理
と、前記第１の基底と前記第２の基底との近似度を検出
し、該第１の基底と該第２の基底との最も近似した場合
の基底の組み合わせを表すマッチング結果を生成するマ
ッチング処理と、前記マッチング結果に基づいて限定さ
れた前記第１の基底と前記動画像の任意の時間のフレー
ムとの内積値をフレーム毎に算出する内積値算出処理
と、前記第２の基底と該第２の基底に対応する前記動画
像との内積値とを離れた地点に伝送し、該離れた地点で
該第２の基底と該内積値とを掛け合わせ、それらの和を
とることによって該離れた地点で前記静止画像を動画像
化した人工動画像を生成する動画像生成処理とを、行う
ようにしている。In the second invention, a first basis generation process for performing an orthogonal transformation on a certain frame of a moving image to obtain a first basis, and a method for generating a still image of an object of the same kind as the moving image. And a second basis generation process for obtaining a limited number of second bases among the bases by performing orthogonal transformation to calculate the degree of approximation between the first base and the second base. A matching process for detecting and generating a matching result representing a combination of the first base and the second base in the case of the closest approximation; and the first base limited based on the matching result. An inner product value calculation process of calculating an inner product value of the moving image with a frame at an arbitrary time for each frame, and an inner product value of the second base and the inner product value of the moving image corresponding to the second base separated from each other Transmitting to the point, the second base and the inner product at the remote point It multiplied the door, and a moving image generation processing for generating an artificial video image of the still image and video Zoka with 該離 the point by taking their sum are to perform.

【０００６】第３の発明では、第１及び第２の発明にお
ける直交変換に特異値分解を用いる場合、マッチング処
理において、第１の基底と第２の基底との内積の最大値
を求めることによってマッチング結果を生成するように
している。第４の発明では、画像を離散コサイン変換し
て予め求めた第１の基底と動画像の任意の時間のフレー
ムとの内積値をフレーム毎に算出する内積値算出処理
と、前記動画像と同種の物体の静止画像に対して直交変
換を施して第２の基底を求める基底生成処理と、前記第
１の基底と前記第２の基底との近似度を検出し、該第１
の基底と該第２の基底との最も近似した場合の基底の組
み合わせを表すマッチング結果を生成するマッチング処
理と、前記マッチング結果に基づいて前記第２の基底と
該第２の基底に対応する前記動画像から求めた前記内積
値とを掛け合わせ、それらの和をとることによって前記
静止画像を動画像化した人工動画像を生成する動画像生
成処理とを、行うようにしている。In the third invention, when singular value decomposition is used for the orthogonal transformation in the first and second inventions, the maximum value of the inner product between the first base and the second base is obtained in the matching process. A matching result is generated. In the fourth invention, an inner product value calculation process of calculating an inner product value between a first base previously obtained by performing discrete cosine transform of an image and a frame at an arbitrary time of the moving image for each frame, and the same type as the moving image Base generation processing for performing orthogonal transformation on a still image of the object to obtain a second base, detecting an approximation degree between the first base and the second base,
And a matching process for generating a matching result representing a combination of the most approximated basis and the second basis, based on the matching result, the second basis and the second basis corresponding to the second basis. A moving image generation process of generating an artificial moving image in which the still image is converted into a moving image by multiplying the inner product value obtained from the moving image and multiplying them by a sum thereof is performed.

【０００７】第５の発明では、動画像の各フレームの基
底の方向の成分である第１の基底方向成分をフレーム毎
に求める第１の基底方向成分計算処理と、前記動画像と
同種の物体の静止画像の基底の方向の成分である第２の
基底方向成分を求める第２の基底方向成分計算処理と、
前記第１の基底方向成分と前記第２の基底方向成分との
近似度を検出し、該第１の基底方向成分と該第２の基底
方向成分とが最も近似するフレームに対応した時刻を表
すマッチング時刻を生成するマッチング処理と、前記第
２の基底方向成分を前記マッチング時刻からの前記第１
の基底方向成分の変化と相似形に時間方向に変化させ、
該第２の基底方向成分に対応する前記動画像の基底を掛
け合わせ、それらの和をとることによって前記静止画像
を動画像化した人工動画像を生成する動画像生成処理と
を、行うようにしている。第６の発明では、第５の発明
における基底に直交変換の基底を用いる場合、画像の基
底方向の成分に画像と基底との内積値を用いるようにし
ている。According to a fifth aspect of the present invention, a first base direction component calculation processing for obtaining a first base direction component which is a base direction component of each frame of a moving image for each frame, and an object of the same kind as the moving image A second base direction component calculation process for obtaining a second base direction component that is a component in the base direction of the still image of
Detecting a degree of approximation between the first base direction component and the second base direction component, and representing a time corresponding to a frame in which the first base direction component and the second base direction component are closest; A matching process for generating a matching time;
In the time direction similar to the change in the base direction component of
A moving image generation process of multiplying the base of the moving image corresponding to the second base direction component and generating an artificial moving image obtained by moving the still image by adding the sum thereof. ing. In the sixth aspect, when the basis of the orthogonal transformation is used as the basis in the fifth aspect, an inner product value of the image and the basis is used as a component in the direction of the basis of the image.

【０００８】[0008]

【発明の実施の形態】第１の実施形態 図１は、本発明の第１の実施形態の動画像生成方法を実
施するための動画像生成装置の構成図である。この動画
像生成装置は、第１の相関行列生成部11、第１の基本図
形計算部12、内積計算部13、第２の相関行列生成部14、
第２の基本図形計算部15、マッチング部16、動画像生成
部17、及び画像出力端子18を備えている。第１の相関行
列生成部11は、動画像Ｐ（ｔ）の１フレーム分の画像Ｐ
（ａ）を入力し、この画像Ｐ（ａ）から列相間行列Ｓ１
１ａ及び行相間行列Ｓ１１ｂを計算する機能を有してい
る。第１の相関行列生成部11の出力側は、第１の基本図
形計算部12に接続されている。第１の基本図形計算部12
は列相間行列Ｓ１１ａ及び行相間行列Ｓ１１ｂから固有
ベクトルＳ１２ａ，Ｓ１２ｂをそれぞれ求め、これらの
固有ベクトルＳ１２ａ，Ｓ１２ｂの積から基本図形Ｓ１
２ｃを計算する機能を有している。基本図形１２ｃの値
は内積計算部13へ出力され、固有ベクトルＳ１２ａ，Ｓ
１２ｂの値がマッチング部16へ出力されるようになって
いる。内積計算部13は、動画像Ｐ（ｔ）と基本図形Ｓ１
２ｃとを入力し、動画像Ｐ（ｔ）の１フレームと基本図
形Ｓ１２ｃとの内積値Ｓ１３を計算する機能を有してい
る。内積計算部13の出力側は、動画像生成部17に接続さ
れている。DESCRIPTION OF THE PREFERRED EMBODIMENTS First Embodiment FIG. 1 is a block diagram of a moving image generating apparatus for implementing a moving image generating method according to a first embodiment of the present invention. This moving image generation apparatus includes a first correlation matrix generation unit 11, a first basic figure calculation unit 12, an inner product calculation unit 13, a second correlation matrix generation unit 14,
It includes a second basic figure calculation unit 15, a matching unit 16, a moving image generation unit 17, and an image output terminal 18. The first correlation matrix generation unit 11 generates an image P for one frame of the moving image P (t).
(A) is input, and an inter-phase matrix S1 is obtained from the image P (a).
1a and a function for calculating the row-to-row matrix S11b. The output side of the first correlation matrix generation unit 11 is connected to the first basic figure calculation unit 12. First basic figure calculation unit 12
Calculates eigenvectors S12a and S12b from the column interphase matrix S11a and the row interphase matrix S11b, respectively, and calculates the basic graphic S1 from the product of these eigenvectors S12a and S12b.
2c is calculated. The value of the basic figure 12c is output to the inner product calculation unit 13, and the eigenvectors S12a, S12
The value of 12b is output to the matching unit 16. The inner product calculator 13 calculates the moving image P (t) and the basic figure S1.
2c, and has a function of calculating an inner product value S13 of one frame of the moving image P (t) and the basic graphic S12c. The output side of the inner product calculation unit 13 is connected to the moving image generation unit 17.

【０００９】第２の相関行列生成部14は動画像Ｐ（ｔ）
と同種の物体の静止画像Ｑを入力し、該静止画像Ｑから
列相関行列Ｓ１４ａ及び行相間行列Ｓ１４ｂを計算する
機能を有している。ここで、動画像Ｐ（ｔ）を例えば魚
の秋刀魚とし、同種の物体の静止画像Ｑを魚の鯛とす
る。又、動画像Ｐ（ｔ）及び静止画像Ｑは、形式の異な
る自動車等としてもよい。第２の相関行列生成部14の出
力側は、第２の基本図形計算部15に接続されている。第
２の基本図形計算部15は、列相関行列Ｓ１４ａ及び行相
間行列Ｓ１４ｂの固有ベクトルＳ１５ａ，Ｓ１５ｂをそ
れぞれ求め、これらの固有ベクトルＳ１５ａ，Ｓ１５ｂ
から基本図形Ｓ１５ｃを計算する機能を有している。固
有ベクトルＳ１５ａ，Ｓ１５ｂの値はマッチング部16に
出力され、基本図形Ｓ１５ｃの値が動画像生成部17に出
力されるようになっている。マッチング部16は、固有ベ
クトルＳ１２ａ，Ｓ１２ｂと固有ベクトルＳ１５ａ，Ｓ
１５ｂとを用いて基本図形Ｓ１２ｃと基本図形Ｓ１５ｃ
とのマッチングを行い、その結果を表わす信号（以下、
マッチング結果という）Ｓ１６を生成する機能を有して
いる。マッチング部16は、動画像生成部17に接続されて
いる。動画像生成部17は、マッチング結果Ｓ１６をもと
に、内積計算部13から入力された内積値Ｓ１３と第２の
基本図形計算部15から入力された基本図形Ｓ１５ｃから
人工動画像Ｓ１７を生成する機能を有している。動画像
生成部17は、画像出力端子18に接続されている。[0009] The second correlation matrix generator 14 generates a moving image P (t).
And a function of calculating a column correlation matrix S14a and a row-to-row matrix S14b from the still image Q. Here, the moving image P (t) is, for example, a fish sword fish, and the still image Q of the same kind of object is a fish bream. Further, the moving image P (t) and the still image Q may be automobiles of different types. The output side of the second correlation matrix generation unit 14 is connected to the second basic figure calculation unit 15. The second basic graphic calculation unit 15 obtains eigenvectors S15a and S15b of the column correlation matrix S14a and the row-to-row matrix S14b, respectively, and calculates these eigenvectors S15a and S15b.
Has the function of calculating the basic graphic S15c from The values of the eigenvectors S15a and S15b are output to the matching unit 16, and the value of the basic graphic S15c is output to the moving image generation unit 17. The matching unit 16 includes eigenvectors S12a and S12b and eigenvectors S15a and S15a
15b and the basic graphic S15c using the basic graphic S12c and the basic graphic S15c.
And a signal representing the result (hereinafter, referred to as
It has a function of generating S16 (referred to as a matching result). The matching unit 16 is connected to the moving image generation unit 17. The moving image generation unit 17 generates an artificial moving image S17 from the inner product value S13 input from the inner product calculation unit 13 and the basic graphic S15c input from the second basic graphic calculation unit 15, based on the matching result S16. Has a function. The moving image generator 17 is connected to the image output terminal 18.

【００１０】図２は、特異値分解（Singular Value Dec
omposition、以下、ＳＶＤという）を説明する図であ
る。この図を用いて本実施形態に用いるＳＶＤについて
説明する。まず、縦ｍ画素及び横ｎ画素の画像Ｐを想定
する。そして、画像Ｐをｍ行ｎ列の行列とみなし、１画
素の画素値の値を行列の要素とする。次に、画像Ｐの列
間の関係を表わす列相関行列Ｒｃ及び行間の関係を表わ
す行相間行列Ｒｒを次式（１）のように定義する。 Ｒｃ＝Ｐ^T Ｐ Ｒｒ＝ＰＰ^T ・・・（１） 但し、 Ｔ；転置 次に、列相間行列Ｒｃ(n×n)の固有値λ_i （i=1,2,3,
…,n) を絶対値の大きいものから順に並べ、同じ順に並
べた列相間行列Ｒｃの正規化された固有ベクトルをｖ
［Ｗ_i ］（ｖ［ ］は、ベクトルを示す）とする。又、
行相間行列Ｒｒ(m×m)の固有値μ_j (j=1,2,3, …,m) を
絶対値の大きいものから順に並べ、同じ順に並べた行相
間行列Ｒｒの正規化された固有ベクトルをｖ［Ｖ_j ］と
する。FIG. 2 shows a singular value decomposition (Singular Value Dec
omposition (hereinafter, referred to as SVD). The SVD used in the present embodiment will be described with reference to FIG. First, an image P having m vertical pixels and n horizontal pixels is assumed. Then, the image P is regarded as a matrix of m rows and n columns, and the value of the pixel value of one pixel is set as an element of the matrix. Next, a column correlation matrix Rc representing the relationship between the columns of the image P and a row correlation matrix Rr representing the relationship between the rows are defined as in the following equation (1). Rc = P ^T P Rr = PP ^T (1) where T; transpose Next, the eigenvalue λ _i (i = 1, 2, 3, 3) of the inter-column matrix Rc (n × n)
.., N) are arranged in descending order of absolute value, and the normalized eigenvectors of the column-to-phase matrix Rc arranged in the same order are represented by v
[W _i ] (v [] indicates a vector). or,
The eigenvalues μ _j (j = 1, 2, 3,..., M) of the row-to-phase matrix Rr (m × m) are arranged in ascending order of absolute value, and the normalized eigenvectors of the row-to-row matrix Rr arranged in the same order Is v [V _j ].

【００１１】固有ベクトルｖ［Ｗ_i ］はｎ次元の列ベク
トルでｓ（ｓ≦ｎ）種類のべクトルがあり、異なる固有
ベクトルは互いに直交する。又、固有ベクトルｖ
［Ｖ_j ］はｍ次元の列ベクトルでｙ（ｙ≦ｍ）種類のべ
クトルがあり、異なる固有ベクトルは互いに直交する。
固有値λ_i と固有値μ_j の間には次式（２）の関係があ
る。 λ_i ＝μ_i (i=1,2,3, …,r）， λ_r+1 ＝…＝λ_n ＝０， μ_r+1 ＝…＝μ_m ＝０ 但し、 ｒ＝ｒａｎｋ（Ｒｃ）＝ｒａｎｋ（Ｒｒ）＝ｒａｎｋ（Ｐ） ・・・（２） 固有ベクトルｖ［Ｖ_i ］，ｖ［Ｗ_j ］を基底として使用
し、原画像Ｐを完全に再現すると次式（３）のようにな
る。The eigenvector v [W _i ] is an n-dimensional column vector having s (s ≦ n) types of vectors, and different eigenvectors are orthogonal to each other. Also, the eigenvector v
[V _j ] is an m-dimensional column vector having y (y ≦ m) types of vectors, and different eigenvectors are orthogonal to each other.
Relationship of the following equation (2) between the eigenvalues λ _i and the eigenvalues μ _j. λ _i = μ _i (i = 1,2,3,..., r), λ _{r + 1} =... λ _n = 0, μ _{r + 1} =... = μ _m = 0 where r = rank (Rc) = Rank (Rr) = rank (P) (2) When the original image P is completely reproduced using the eigenvectors v [V _i ] and v [W _j ] as a basis, the following equation (3) is obtained. Become.

【００１２】[0012]

【数１】 この式（３）を用いて画像Ｐの展開を最初のｋ項（ｋ＜
ｎ）で打ち切ったときの展開結果Ｐ^，と原画像Ｐとの２
乗誤差ε² は、次式（４）のように表される。(Equation 1) Using this equation (3), the expansion of the image P is calculated for the first k terms (k <
2 of expansion result ^P, a original image P when discontinued by n)
The squared error ε ² is represented by the following equation (4).

【数２】 又、原画像Ｐから求めた基底である固有ベクトルｖ［Ｖ
_i ］，ｖ［Ｗ_j ］を使用して他の画像Ｑを再現すると次
式（５）のように表される。(Equation 2) Further, the eigenvector v [V, which is the basis obtained from the original image P,
_When another image Q is reproduced using _i ] and v [W _j ], it is expressed as the following equation (5).

【００１３】[0013]

【数３】 画像Ｐの基本図形Φ_ijは、次式（６）で示される。基本
図形Φ_ijはランク（ｒａｎｋ）１の行列である。 Φ_ij＝ｖ［Ｖ_i ］ｖ［Ｗ_j ］^T ｜Φ_ij｜＝１ ・・・（６） ここで、式（５）のδ_ijの数学的意味について考えてみ
る。(Equation 3) The basic figure Φ _ij of the image P is represented by the following equation (6). The basic figure Φ _ij is a matrix of rank 1. Φ _ij = v [V _i ] v [W _j ] ^T | Φ _ij | = 1 (6) Here, the mathematical meaning of δ _{ij in} equation (5) will be considered.

【００１４】一般に、図形Ａ（ｍ×ｎ画素）と図形Ｂ
（ｍ×ｎ画素）との内積は、ベクトルの場合の自然な拡
張として次式（７）のように定義される。Generally, a figure A (m × n pixels) and a figure B
The inner product with (m × n pixels) is defined as the following equation (7) as a natural extension in the case of a vector.

【数４】 式（５）のδ_ijを展開すると次式（８）のように表さ
れ、これよりδ_ijは画像Ｐと基本図形Φ_ijとの内積であ
ることがわかる。又、異なる基本図形同士の内積は０で
あり、直交することがわかる。(Equation 4) When δ _ij in Expression (5) is expanded, it is expressed as in the following Expression (8), from which it can be seen that δ _ij is an inner product of the image P and the basic figure Φ _ij . Also, the inner product between different basic figures is 0, which indicates that they are orthogonal.

【００１５】[0015]

【数５】 又、式（５）を用いて基底を求めた画像Ｐを表わした場
合、次式（９）の関係が成り立つ。(Equation 5) In addition, when the image P whose base is obtained by using Expression (5) is represented, the following Expression (9) holds.

【００１６】[0016]

【数６】 又、式（５）を用いて画像Ｐとは異なる画像Ｑを完全に
再現することができるが、その時にはδ_ijに式（９）の
関係は成り立たない。つまり、基本図形を作成した画像
以外を特異値分解で表わすときには、一般にはｍ×ｎ個
の基本図形が必要である。次に、図１の各処理（Ａ）〜
（Ｅ）の動作を説明する。(Equation 6) Further, an image Q different from the image P can be completely reproduced by using the expression (5), but at that time, the relationship of the expression (9) does not hold for δ _ij . That is, when singular value decomposition is used to represent an image other than the image in which the basic figure is created, m × n basic figures are generally required. Next, each process (A) to FIG.
The operation of (E) will be described.

【００１７】（Ａ） 第１の基底生成処理 第１の相間行列生成部11は、例えば図２に示すような縦
ｍ画素及び横ｎ画素の画像Ｐを入力し、列相間行列Ｒｃ
（ｎ×ｎ）及び行相間行列Ｒｒ（ｍ×ｍ）を計算し、こ
れらの行列の値Ｓ１１ａ，Ｓ１１ｂを第１の基本図形計
算部12に出力する。第１の基本図形計算部12は、列相関
行列Ｒｃ及び行相間行列Ｒｒについて固有ベクトルをそ
れぞれ求める。そして、第１の基本図形計算部12は式
（６）を用いて基本図形Φ_ijを計算し、固有ベクトルの
値Ｓ１２ａ，Ｓ１２ｂをマッチング部16に出力し、かつ
基本図形Φ_ijの値Ｓ１２ｃを内積計算部13に出力する。
この固有ベクトルＳ１２ａ，Ｓ１２ｂ又は基本図形Φ_ij
の値Ｓ１２ｃが第１の基底である。固有ベクトルの数は
列相関行列Ｒｃ及び行相間行列Ｒｒのランクによるが、
列相関行列Ｒｃから求まる固有ベクトルはｎ次元のべク
トルが最大でｎ個求まり、行相間行列Ｒｒから求まる固
有ベクトルはｍ次元のべクトルが最大でｍ個求まる。(A) First Basis Generation Processing The first inter-phase matrix generation unit 11 receives, for example, an image P having m vertical pixels and n horizontal pixels as shown in FIG.
(N × n) and the row-to-row matrix Rr (m × m) are calculated, and the values S11a and S11b of these matrices are output to the first basic figure calculation unit 12. The first basic figure calculation unit 12 obtains eigenvectors for the column correlation matrix Rc and the row-to-row matrix Rr, respectively. Then, the first basic figure calculation unit 12 calculates the basic figure Φ _ij using Expression (6), outputs the values S12a and S12b of the eigenvectors to the matching unit 16, and calculates the inner product of the value S12c of the basic figure Φ _ij Output to the calculation unit 13.
This eigenvector S12a, S12b or the basic figure Φ _ij
Is the first base. The number of eigenvectors depends on the rank of the column correlation matrix Rc and the row-to-row matrix Rr,
As for the eigenvectors obtained from the column correlation matrix Rc, at most n n-dimensional vectors are obtained, and as the eigenvectors obtained from the row-to-row matrix Rr, at most m m-dimensional vectors are obtained.

【００１８】（Ｂ） 内積値算出処理 内積計算部13は連続した動画像Ｐ（ｔ）を入力し、第１
の基本図形計算部12から入力された基本図形Φ_ijの値Ｓ
１２ｃと動画像Ｐ（ｔ）の全てのフレームとの内積値を
式（７）を用いて計算し、これらの内積値Ｓ１３を動画
像生成部17に出力する。 （Ｃ） 第２の基底生成処理 第２の相関行列生成部14は静止画像Ｑを入力し、この静
止画像Ｑについて列相間行列Ｓ１４ａ及び行相間行列Ｓ
１４ｂを計算し、第２の基本図形計算部15ヘ出力する。
第２の基本図形計算部15は、列相間行列Ｓ１４ａ及び行
相間行列Ｓ１４ｂについて固有ベクトルをそれぞれ計算
する。そして、第２の基本図形計算部15は、式（６）を
用いて基本図形Φ^， _uv（ｕ＝1,2,3,…,m ｖ＝1,2,3,
…,n）を計算し、固有ベクトルの値Ｓ１５ａ，Ｓ１５ｂ
をマッチング部16に出力し、かつ基本図形Φ^， _uvの値１
５ｃを動画像生成部17に出力する。この固有ベクトルＳ
１５ａ，Ｓ１５ｂ又は基本図形Φ^， _uvの値Ｓ１５ｃが第
２の基底である。(B) Inner Product Value Calculation Processing The inner product calculator 13 receives a continuous moving image P (t) and
Of the basic figure Φ _ij input from the basic figure calculation unit 12
An inner product value of 12c and all frames of the moving image P (t) is calculated using Expression (7), and the inner product value S13 is output to the moving image generator 17. (C) Second Basis Generation Process The second correlation matrix generation unit 14 receives a still image Q, and calculates a matrix S14a and a matrix S between rows for the still image Q.
14b is calculated and output to the second basic figure calculation unit 15.
The second basic figure calculation unit 15 calculates eigenvectors for the inter-column matrix S14a and the inter-row matrix S14b. Then, the second basic figure calculating unit 15 calculates the basic figures Φ ^, _uv (u = 1, 2, 3,..., M v = 1, 2, 3,
.., N) and calculate eigenvector values S15a, S15b
_Is output to the matching unit 16 and the value 1 of the basic figures Φ ^and _uv
5c is output to the moving image generator 17. This eigenvector S
15a and S15b or the values S15c of the basic figures Φ ^and _uv are the second bases.

【００１９】（Ｄ） マッチング処理 マッチング部１６は、基本図形Φ^， _uvについて、第１の
基本図形計算部12が動画像Ｐ（ｔ）の例えば最初の１フ
レームから求めた基本図形Φ_ijの中から最もユークリッ
ド距離の近い基本図形Φ_ijを求めるマッチングを行う
が、このマッチングを基本図形Φ_ijと基本図形Φ^， _uvに
ついて直接行うと、その演算量は膨大なものになるの
で、本実施形態では、次のようにして基本図形同士のマ
ッチングを行う。即ち、基本図形Φ_ijと基本図形Φ^， _uv
のユークリッド距離ｄの２乗ｄ² は次式（10）のように
表わされる。 ｄ² ＝‖Φ_ij−Φ^， _uv‖² ＝（Φ_ij−Φ^， _uv）・（Φ_ij−Φ^， _uv） ＝‖Φ_ij‖² ＋‖Φ^， _uv‖² −２Φ_ij・Φ^， _uv≧０ ・・・（１０） この式（１０）において、‖Φ_ij‖＝１かつ‖Φ^， _uv‖
＝１なので、ユークリッド距離ｄの２乗ｄ² が最小にな
る場合の基本図形Φ_ijと基本図形Φ^， _uvの組み合わせを
用いると、基本図形Φ_ijと基本図形Φ^， _uvの内積値Φ_ij
・Φ^， _uvが最大になることが分かる。基本図形Φ_ijと基
本図形Φ^， _uvは、それぞれ列相間行列と行相間行列との
各固有ベクトルの積なので、内積値Φ_ij・Φ^， _uvを展開
すると次式（１１）のようになる。 Φ_ij・Φ^， _uv ＝（ｖ［Ｖ_i ］ｖ［Ｗ_j ］^T ）・（ｖ［Ｖ_u ^，］ｖ［Ｗ_v ^，］^T ） ＝（ｖ［Ｖ_i ］ｖ［Ｖ_u ^，］）・（ｖ［Ｗ_j ］^T ｖ［Ｗ_v ^，］^T ） ＝(v_1iv _1u ^，＋ v_2iv _2u ^，＋…＋ v_miv _mu ^，) (w_1jw ^， _1v ＋ w_2jw ^， _2v＋…＋ w_njw ^， _nv) ・・・（１１） このように、マッチング部16がユークリッド距離ｄの２
乗ｄ² が最小となる基本図形Φ_ijと基本図形Φ^， _uvの組
み合わせを見つけることは、式（１１）用いて内積値Φ
_ij・Φ^， _uvが最大となる基本図形Φ^， _uvに対する基本図
形Φ_ijの組み合わせを見つけることに等しい。(D) Matching Processing The matching unit 16 calculates the basic figures Φ _ij ^and _uv from the basic figure Φ _ij obtained by the first basic figure calculation unit 12 from, for example, the first frame of the moving image P (t). Is performed to obtain the basic figure Φ _ij having the closest Euclidean distance from the matrix. However, if this matching is directly performed on the basic figure Φ _ij and the basic figures Φ 1 ^and _uv , the amount of calculation becomes enormous. Then, matching between basic figures is performed as follows. That is, the basic figures Φ _ij and the basic figures Φ ^and _uv
The squared d ² of the Euclidean distance d is expressed by the following equation (10). d ² = ‖Φ _ij −Φ ^, _uv ‖ ² = (Φ _ij −Φ ^, _uv ) · (Φ _ij −Φ ^, _uv ) = ‖Φ _ij ‖ ² + ‖Φ ^, _uv ‖ ² -2Φ _ij · Φ ^, _uv ≧ 0 (10) In this equation (10), {Φ _ij } = 1 and {Φ ^, _uv }
= 1, and therefore the Euclidean distance squared basic figure [Phi _ij and basic figures when d ² is minimum of d ^[Phi, when using a combination of _uv, basic shapes [Phi _ij and basic figures ^[Phi, _uv inner product value [Phi _ij of
・ It can be seen that Φ ^and _uv are maximized. The basic figure Φ _ij and the basic figures Φ ^and _uv are the products of the respective eigenvectors of the column interphase matrix and the row interphase matrix, respectively. Therefore, when the inner product values Φ _ij · Φ ^and _uv are expanded, the following equation (11) is obtained. Φ _ij · Φ ^, _uv = (v [V _i ] v [W _j ] ^T ) · (v [V _u ^, ] v [W _v ^, ] ^T ) = (v [V _i ] v [V _u ^, ]) ^{_{· (v [W j] T}} v [W v,] T) = (v 1i v 1u, + v 2i v 2u, + ... + v mi v mu,) (w 1j w, 1v + w 2j w, 2v +... + W _nj w ^, _nv ) (11) Thus, the matching unit 16 determines that the Euclidean distance d is 2
Finding the combination of the basic figure Φ _ij and the basic figures Φ 1 ^, _uv that minimizes the power d ² is performed by using the inner product value Φ using equation (11).
_ij · _{^Φ, uv} is the maximum basic figures ^[Phi, equivalent to finding the combination of basic figures [Phi _ij for _uv.

【００２０】ここで、マッチング部16が基本図形Φ_ijと
基本図形Φ^， _uvのユークリッド距離の２乗ｄ² の計算を
基本図形Φ_ijと基本図形Φ^， _uvの要素の直接の展開によ
り行う場合、ユークリッド距離ｄの２乗ｄ² の展開式は
次式（12）のようになる。基本図形Φ_ij，Φ^， _uvのサイ
ズを例えばｍ＝１００，ｎ＝１００とすると、式（12）
では１回のマッチングでｍ×ｎ＝10000 回の乗算が必要
である。一方、同じ画像サイズで基本図形Φ_ijと基本図
形Φ^， _uvのマッチングを式（11）を用いて行う場合、１
回のマッチングでｍ＋ｎ＋１＝２０１回の乗算を行うこ
とになる。従って、サイズがｍ＝１００，ｎ＝１００の
基本図形の場合、乗算量が約１／５０になるが、この差
は画像サイズが大きくなるほど顕著になる。[0020] Here, if the matching unit 16 performs the direct expansion of the square calculating a basic figure [Phi _ij and basic figures [Phi of d ^2, _uv elements of Euclidean distances basic figure [Phi _ij and basic figures ^[Phi, _uv , The expansion formula of the square d ² of the Euclidean distance d is as shown in the following equation (12). If the sizes of the basic figures Φ _ij , Φ ^{, and} _uv are, for example, m = 100 and n = 100, equation (12)
In this case, m × n = 10000 multiplications are required for one matching. On the other hand, when matching the basic figure Φ _ij with the basic figures Φ ^and _uv using the same image size by using equation (11),
In this case, m + n + 1 = 201 multiplications are performed. Therefore, in the case of a basic figure having a size of m = 100 and n = 100, the amount of multiplication becomes about 1/50, but this difference becomes more pronounced as the image size increases.

【００２１】[0021]

【数７】 式（11）を用いて基本図形同士の内積値が最大となる条
件を求めることにより、ユークリッド距離ｄの２乗ｄ²
が最小となる条件を求めてマッチングを行うことによ
り、マッチングが高速に行われる。マッチング部16は基
本図形Φ^， _uvとユークリッド距離ｄの最も近い基本図形
Φ_ijを検出し、その組み合わせを表わす信号（即ち、マ
ッチング結果Ｓ１６）を動画像生成部17に出力する。(Equation 7) By obtaining the condition for maximizing the inner product value between the basic figures using equation (11), the square d ² of the Euclidean distance d is obtained.
The matching is performed at high speed by performing the matching by finding the condition that minimizes. The matching unit 16 detects the basic figure Φ _ij, which is closest to the basic figure Φ 1 ^, _uv and the Euclidean distance d, and outputs a signal representing the combination (ie, the matching result S 16) to the moving image generation unit 17.

【００２２】（Ｅ） 動画像生成処理 動画像生成部17は、マッチング結果Ｓ１６に基づいて基
本図形Φ^， _uvを内積計算部13で計算された対応する内積
値の値Ｓ１３だけ実数倍し、それらのべクトルの和を計
算して人工動画像Ｓ１７を生成する。具体的には次のよ
うに行う。図３は、動画像生成部17の動作を説明する図
である。入力する画像のサイズを例えばｍ＝３，ｎ＝４
とする。基本図形Φ_ijは、３×４＝１２種類になる。内
積計算部13は、入力された動画像Ｐ（ｔ）の１フレーム
毎に12種類の基本図形Φ_ijとの内積を求めるので、１枚
のフレームについて12個の内積ができる。つまり、12個
の内積はフレーム毎に変化するので、12個の時間の関数
ができる。時間ｔにおける動画像Ｐ（ｔ）は式（５）を
用いて次式（13）のように表される。(E) Moving Image Generation Processing The moving image generation unit 17 multiplies the basic figures Φ ^and _uv by the corresponding inner product value S13 calculated by the inner product calculation unit 13 based on the matching result S16, by a real number. And an artificial moving image S17 is generated. Specifically, it is performed as follows. FIG. 3 is a diagram illustrating the operation of the moving image generation unit 17. The size of the input image is, for example, m = 3, n = 4
And There are 3 × 4 = 12 basic figures Φ _ij . The inner product calculation unit 13 obtains the inner product of the input moving image P (t) with the twelve basic figures Φ _ij for each frame, so that 12 inner products can be formed for one frame. That is, since the 12 dot products change from frame to frame, there are 12 time functions. The moving image P (t) at the time t is expressed by the following equation (13) using the equation (5).

【００２３】[0023]

【数８】 マッチング部16において、基本図形Φ_ijと基本図形Φ^，
_uvとのマッチング結果Ｓ１６が例えば次式（14）のよう
に対応づけられたとき、動画生成部17は、例えば鯛の静
止画像Ｑを次式（15）を用いて鯛の動画像である人工動
画像Ｑ（ｔ）に変換し、画像出力端子18に出力する。 Φ^， ₁₁＝Φ₃₄，Φ^， ₁₂＝Φ₃₃，Φ^， ₁₃＝Φ₃₂，Φ^， ₁₄＝Φ₃₁， Φ^， ₂₁＝Φ₂₄，Φ^， ₂₂＝Φ₂₃，Φ^， ₂₃＝Φ₂₂，Φ^， ₂₄＝Φ₂₁， Φ^， ₃₁＝Φ₁₄，Φ^， ₃₂＝Φ₁₃，Φ^， ₃₃＝Φ₁₂，Φ^， ₃₄＝Φ₁₁ ・・・（１４） Ｑ（ｔ）＝λ₁₁Φ^， ₃₄＋λ₁₂Φ^， ₃₃＋λ₁₃Φ^， ₃₂＋λ₁₄Φ^， ₃₁ ＋λ₂₁Φ^， ₂₄＋λ₂₂Φ^， ₂₃＋λ₂₃Φ^， ₂₂＋λ₂₄Φ^， ₂₁ ＋λ₃₁Φ^， ₁₄＋λ₃₂Φ^， ₁₃＋λ₃₃Φ^， ₁₂＋λ₃₄Φ^， ₁₁ ・・・（１５） 以上のように、この第１の実施形態では、次の（ｉ）〜
(iii) のような利点がある。(Equation 8) In the matching unit 16, the basic figure Φ _ij and the basic figure Φ ^,
_When the matching result S16 with _{uv is associated} with, for example, the following equation (14), the moving image generating unit 17 converts the still image Q of the bream into an artificial image that is a moving image of the bream using the following equation (15). The image is converted into a moving image Q (t) and output to the image output terminal 18. ^{_{Φ, 11 = Φ 34, Φ}} , 12 = Φ 33, Φ, 13 = Φ 32, Φ, 14 = Φ 31, Φ, 21 = Φ 24, Φ, 22 = Φ 23, Φ, 23 = Φ 22, Φ ^, ₂₄ = Φ ₂₁ , Φ ^, ₃₁ = Φ ₁₄ , Φ ^, ₃₂ = Φ ₁₃ , Φ ^, ₃₃ = Φ ₁₂ , Φ ^, ₃₄ = Φ ₁₁ ... (14) Q (t) = λ ₁₁ Φ ^, ₃₄ + λ ₁₂ Φ ^, ₃₃ + λ ₁₃ Φ ^, ₃₂ + λ ₁₄ Φ ^, ₃₁ + λ ₂₁ Φ ^, ₂₄ + λ ₂₂ Φ ^, ₂₃ + λ ₂₃ Φ ^, ₂₂ + λ ₂₄ Φ ^, ₂₁ + λ ₃₁ Φ ^, ₁₄ + λ ₃₂ Φ ^, ₁₃ + λ ₃₃ Φ ^, ₁₂ + λ ₃₄ Φ ^, ₁₁ ... (15) As described above, in the first embodiment, the following (i) to (11)
There are advantages such as (iii).

【００２４】（ｉ） 動画像Ｐ（ｔ）の１フレームから
特異値分解の基底である基本図形Φ_ijを求め、該基本図
形Φ_ijと動画像Ｐ（ｔ）との内積値Ｓ１３を計算し、静
止画像Ｑから特異値分解の基底を求め、動画像の基底と
マッチングをとり、静止画像Ｑの基底に動画像から求め
た内積値Ｓ１３を画素毎に掛けてその和を計算すること
により、静止画像Ｑから人工動画像Ｓ１７を生成するよ
うにしている。そのため、オブジェクトの種類に無関係
に共通の方法で静止画像Ｑから人工動画像Ｓ１７を生成
できる。 (ii) 本実施形態では、動画像Ｐ（ｔ）（ｔ＝０）から
求めた基本図形Φ_ijと静止画像Ｑから求めた基本図形Φ
^， _uvとのユークリッド距離ｄを用いてマッチングを行っ
ているが、基本図形Φ_ij，Φ^， _uvの要素からユークリッ
ド距離ｄの最小値を直接計算せず、基本図形Φ_ij，Φ^，
_uvを分解した固有ベクトルの要素を用いて基本図形
Φ_ij，Φ^， _uv同士の内積を計算し、その内積値が最大と
なる場合の組み合わせを検出することにより、ユークリ
ッド距離ｄの２乗ｄ² が最小となる条件を見つけてい
る。この方法により、基本図形Φ_ij，Φ^， _uvのマッチン
グを高速化できる。 (iii) 画像生成部17で行う計算は、入力された基本図
形Φ^， _uvを実数倍し、その和を求める単純な計算であ
る。従って、画像生成部17は、人工動画像Ｓ１７を高速
に生成できる。(I) A basic figure Φ _ij which is a basis of singular value decomposition is obtained from one frame of the moving picture P (t), and an inner product value S13 of the basic figure Φ _ij and the moving picture P (t) is calculated. By calculating the basis of the singular value decomposition from the still image Q, performing matching with the basis of the moving image, multiplying the basis of the still image Q by the inner product value S13 obtained from the moving image for each pixel, and calculating the sum thereof, The artificial moving image S17 is generated from the still image Q. Therefore, the artificial moving image S17 can be generated from the still image Q by a common method regardless of the type of the object. (ii) In the present embodiment, the basic figure Φ _ij obtained from the moving image P (t) (t = 0) and the basic figure Φ obtained from the still image Q
^Although performing matching using the Euclidean distance d between the _uv, basic figures [Phi _ij, ^[Phi, without directly calculating the minimum value of the Euclidean distance d from the elements of _uv, basic figures [Phi _ij, ^[Phi,
By calculating the inner product of the basic figures Φ _ij , Φ ^{, and} _uv using the elements of the eigenvectors obtained by decomposing _uv , and detecting the combination where the inner product value is the maximum, the square d ² of the Euclidean distance d is calculated. Finding the minimum condition. This method can speed up the matching of the basic figures Φ _ij , Φ ^{, and} _uv . (iii) The calculation performed by the image generation unit 17 is a simple calculation for multiplying the input basic figures Φ ^and _uv by a real number and calculating the sum thereof. Therefore, the image generation unit 17 can generate the artificial moving image S17 at high speed.

【００２５】第２の実施形態 図４は、本発明の第２の実施形態の動画像生成方法を実
施するための動画像生成装置の構成図であり、第１の実
施形態を示す図１中の要素と共通の要素には共通の符号
が付されている。この動画像生成装置では、図１と同様
の第１の相関行列生成部11、第１の基本図形計算部12、
内積計算部13、第２の相関行列生成部14、第２の基本図
形計算部15、及びマッチング部16を備え、図１中の動画
像生成部１７がデータ出力部１９に変更されている。そ
してこれらが、地点Ａに設置されている。又、マッチン
グ部１６は、データ出力部１９に接続されると共に、内
積計算部１３にも接続されている。更に、地点Ａと離れ
た地点Ｂに動画像生成部１７が設置され、データ出力部
１９と例えば電話回線等の通信網Ｎを介して接続されて
いる。データ出力部１９は、内積値Ｓ１３と、第２の基
本図形計算部１５から入力された基本図形Ｓ１５ｃの一
部と、マッチング部１６からのマッチング結果Ｓ１６と
を動画像生成部１７に出力する機能を有している。動画
像生成部１７は、データ出力部１９から入力された基本
図形と対応する内積値から人工動画像Ｓ１７を生成して
画像出力端子１８に出力する機能を有している。他は、
図１と同様の構成である。 Second Embodiment FIG. 4 is a block diagram of a moving image generating apparatus for executing a moving image generating method according to a second embodiment of the present invention. FIG. 1 shows the first embodiment. The same reference numerals are given to the elements common to the elements described above. In this moving image generation apparatus, a first correlation matrix generation unit 11, a first basic figure calculation unit 12,
It includes an inner product calculation unit 13, a second correlation matrix generation unit 14, a second basic figure calculation unit 15, and a matching unit 16, and the moving image generation unit 17 in FIG. These are installed at point A. The matching section 16 is connected to the data output section 19 and also to the inner product calculation section 13. Further, a moving image generating unit 17 is installed at a point B remote from the point A, and is connected to the data output unit 19 via a communication network N such as a telephone line. The data output unit 19 outputs the inner product value S13, a part of the basic graphic S15c input from the second basic graphic calculation unit 15, and the matching result S16 from the matching unit 16 to the moving image generation unit 17. have. The moving image generation unit 17 has a function of generating an artificial moving image S17 from the inner product value corresponding to the basic figure input from the data output unit 19 and outputting the generated artificial moving image S17 to the image output terminal 18. Others
The configuration is similar to that of FIG.

【００２６】次に、図４の各処理（Ａ）〜（Ｅ）の動作
を説明する。 （Ａ） 第１の基底生成処理 第１の相関行列計算部１１には、動画像Ｐ（ｔ）のうち
の例えば最初の１フレームＰ（０）が入力される。そし
て、第１の相関行列生成部１１は式（１）を用いて列相
間行列Ｒｃと行相間行列Ｒｒとを計算し、これらの行列
の値を第１の基本図形計算部１２に出力する。第１の基
本図形計算部１２は、第１の実施形態と同様に相関行列
生成部１１から入力された列相間行列Ｒｃと行相関行列
Ｒｒについて固有ベクトルを求め、基本図形Φ_ij(i=1,
2,3, …m j=1,2,3, …,n) を計算し、固有ベクトルの
値をマッチング部１６に出力し、基本図形Φ_ijの値を内
積計算部１３に出力する。 （Ｂ） 第２の基底生成処理 第２の相関行列生成部１４は静止画像Ｑを入力し、この
静止画像Ｑについて列相間行列と行相間行列を計算し、
第２の基本図形計算部１５ヘ出力する。第２の基本図形
計算部１５は、第２の相関行列計算部24から入力された
列相間行列と行相間行列について各固有ベクトルＳ１５
ａ，Ｓ１５ｂを求め、かつ基本図形Φ^， _uu(u=1,2,3,
…,s s=rankQ) を計算し、固有ベクトルＳ１５ａ，Ｓ１
５ｂの値をマッチング部１６に出力し、基本図形Φ^， _uu
の値Ｓ１５ｃをデータ出力部１９に出力する。この基本
図形Φ^， _uuの値Ｓ１５ｃは、行番号と列番号とが等しい
ものになっている。Next, the operation of each of the processes (A) to (E) in FIG. 4 will be described. (A) First Base Generation Processing The first correlation matrix calculation unit 11 receives, for example, the first frame P (0) of the moving image P (t). Then, the first correlation matrix generation unit 11 calculates the inter-column matrix Rc and the inter-row matrix Rr using Expression (1), and outputs the values of these matrices to the first basic graphic calculation unit 12. The first basic figure calculation unit 12 obtains eigenvectors for the column inter-phase matrix Rc and the row correlation matrix Rr input from the correlation matrix generation unit 11 as in the first embodiment, and obtains the basic figure Φ _ij (i = 1,
2, 3,..., Mj = 1, 2, 3,..., N), outputs the value of the eigenvector to the matching unit 16, and outputs the value of the basic figure Φ _ij to the inner product calculation unit 13. (B) Second Basis Generation Process The second correlation matrix generation unit 14 receives a still image Q, calculates a matrix between columns and a matrix between rows for the still image Q,
The data is output to the second basic graphic calculation unit 15. The second basic graphic calculation unit 15 calculates the eigenvectors S15 for the column inter-phase matrix and the row inter-phase matrix input from the second correlation matrix calculation unit 24.
a, S15b, and the basic figures Φ ^, _uu (u = 1, 2, 3,
.., Ss = rankQ) and calculate the eigenvectors S15a, S1
5b is output to the matching unit 16, and the basic figures Φ ^, _uu
Is output to the data output unit 19. The values S15c of the basic figures Φ ^and _uu have the same row number and column number.

【００２７】（Ｃ） マッチング処理 マッチング部１６は、第２の基本図形計算部１５で計算
され基本図形Φ^， _uuの値Ｓ１５ｃについて、第１の基本
図形計算部１２で計算された基本図形Φ_ij(i=1,2,3, …
m j=1,2,3, …,n) の中から最もユークリッド距離が近
いものを検出し、その結果を表わすマッチング結果Ｓ１
６を内積計算部１３とデータ出力部１９とに出力する。
マッチング部１６のマッチングの計算は、第１の実施形
態と同様に式（11）を用いて基本図形の内積の最大値の
組み合わせを検出することによって行う。 （Ｄ） 内積値算出処理 内積計算部１３は、連続した動画像Ｐ（ｔ）を入力し、
マッチング結果Ｓ１６に基づき、基本図形Φ^， _uuと最も
ユークリッド距離の近い第１の基本図形計算部１２から
出力された基本図形Φ_ijと動画像Ｐ（ｔ）の１フレーム
との内積を計算し、この結果（即ち、内積値Ｓ１３）を
データ出力部１９に出力する。(C) Matching Processing The matching unit 16 calculates the basic figure Φ _ij calculated by the first basic figure calculation unit 12 for the values S15c of the basic figures Φ ^and _uu calculated by the second basic figure calculation unit 15. (i = 1,2,3,…
mj = 1,2,3,..., n), the one having the closest Euclidean distance is detected, and a matching result S1 representing the result is detected.
6 is output to the inner product calculation unit 13 and the data output unit 19.
The calculation of the matching by the matching unit 16 is performed by detecting the combination of the maximum value of the inner product of the basic figures using Expression (11) as in the first embodiment. (D) Inner Product Value Calculation Process The inner product calculation unit 13 inputs a continuous moving image P (t),
Based on the matching result S16, an inner product of the basic figure Φ _ij output from the first basic figure calculation unit 12 having the closest Euclidean distance to the basic figures Φ 1 ^and _uu and one frame of the moving image P (t) is calculated. The result (that is, the inner product value S13) is output to the data output unit 19.

【００２８】（Ｅ） 動画像生成処理 データ出力部１９は、第２の基本図形計算部１５で計算
された基本図形Φ^， _uuと、内積計算部１３で計算された
内積値Ｓ１３を通信網Ｎを介して地点Ｂの動画像生成部
１７に出力する。この際、動画像の作成に使用する基本
図形Φ^， _uuは全てのフレームについて共通して使用する
ので、データ出力部１９は地点Ｂに基本図形Φ^， _uuのデ
ータを１回だけ送出すればよい。又、データ出力部１９
は、基本図形Φ^， _uuに最もユークリッド距離ｄの近い基
本図形Φ_ijと動画像Ｐ（ｔ）との内積値を１フレーム毎
に動画像生成部１７に出力する。動画像生成部１７は、
地点Ａから送られた基本図形Φ^， _uuに対し、対応する内
積値Ｓ１３の値だけ実数倍し、それらの和を人工動画像
Ｓ１７として出力端子１８に出力する。本実施形態にお
いて、第２の基本図形計算部１５から出力される基本図
形Φ^， _uuを行番号と列番号の等しいものに限定できる理
由は以下の通りである。式（３）と式（５）とを比較す
ると、基本図形を求めた画像そのものを特異値分解で表
わす場合、別の画像を同じ基本図形を用いて表わす場合
に比べて、少ない数の基本図形を使用すれば済むことが
わかる。例えば、第２の相関行列生成部１４に入力され
る静止画像Ｑのサイズが縦３画素×横４画素とする。こ
のとき、図形Ｑ(t=0) は次式（16）のように表わされ
る。(E) Moving Image Generation Processing The data output unit 19 transmits the basic figures Φ ^and _uu calculated by the second basic figure calculation unit 15 and the inner product value S13 calculated by the inner product calculation unit 13 to the communication network N. Is output to the moving image generation unit 17 at the point B via the. At this time, since the basic figures Φ ^and _uu used for creating a moving image are used in common for all frames, the data output unit 19 needs to send the data of the basic figures Φ ^and _{uu to} the point B only once. . The data output unit 19
Outputs the inner product value of the basic figure Φ _ij whose Euclidean distance d is closest to the basic figures Φ 1 ^and _uu and the moving picture P (t) to the moving picture generating unit 17 for each frame. The moving image generation unit 17
The basic figures Φ ^and _uu sent from the point A are multiplied by a real number by the value of the corresponding inner product value S13, and the sum thereof is output to the output terminal 18 as an artificial moving image S17. In the present embodiment, the reason why the basic figures Φ ^and _uu output from the second basic figure calculation unit 15 can be limited to those having the same row number and column number is as follows. Comparing Equations (3) and (5), it can be seen that a smaller number of basic figures are obtained when the image from which the basic figure is obtained is represented by the singular value decomposition than when another image is represented using the same basic figure. It can be seen that it is sufficient to use. For example, it is assumed that the size of the still image Q input to the second correlation matrix generation unit 14 is 3 vertical pixels × 4 horizontal pixels. At this time, the figure Q (t = 0) is represented by the following equation (16).

【００２９】[0029]

【数９】 但し、 ｖ［Ｖ_i ^，］；静止画像Ｑの行相間行列の固有ベクトル ｖ［Ｗ_i ^，］；静止画像Ｑの列相間行列の固有ベクトル 又、任意の時間ｔにおける図形Ｑ(t) は次式（17）のＱ
^，(t) に示すように近似できる。(Equation 9) However, v [V ^_i,]; eigenvectors v row phase between the matrix of the still images Q [W ^_i,]; eigenvectors column interphase matrix of still images Q also figure Q (t) is at any time t following equation ( 17) Q
^, (T) can be approximated.

【００３０】[0030]

【数１０】 マッチング部１６において、基本図形Φ^， _iiと動画像Ｐ
(t=0) から求めた基本図形Φ_ijのマッチングが、次式
（18）に示すようにとれたとする。 Ф^， ₁₁＝Ф₁₂ Ф^， ₂₂＝Ф₂₁ Ф^， ₃₃＝Ф₃₂ ・・・（１８） 動画像Ｐ（ｔ）の任意の時間の１フレームと基本図形の
Φ_ijとの内積値をλ_ij(t) とすると、式（17）及び式
（18）から動画像Ｐ（ｔ）の動きをもとにして作成した
人工動画像Ｑ（ｔ）は、次式（19）に示すようになる。 Ｑ（ｔ）＝λ₁₂（ｔ）Ф^， ₁₁＋λ₂₁（ｔ）Ф^， ₂₂＋λ₃₂（ｔ）Ф^， ₃₃ ・・・（１９） 本実施形態では、式（19）の計算を動画像生成部１７で
行っている。(Equation 10) In the matching unit 16, the basic figures Φ ^and _ii and the moving image P
It is assumed that the matching of the basic figure Φ _ij obtained from (t = 0) is obtained as shown in the following equation (18). _{^{Ф, 11 = Ф 12 Ф,}} 22 = Ф 21 Ф, 33 = Ф 32 ··· (18) the inner product value between [Phi _ij of 1 frame and basic shapes any time lambda _ij of the moving picture P (t) Assuming that (t), the artificial moving image Q (t) created based on the motion of the moving image P (t) from Expressions (17) and (18) is as shown in the following Expression (19). . Q (t) = λ ₁₂ (t) Ф ^, ₁₁ + λ ₂₁ (t) Ф ^, ₂₂ + λ ₃₂ (t) Ф ^, ₃₃ (19) In the present embodiment, the calculation of Expression (19) is performed to generate a moving image. This is performed in the section 17.

【００３１】即ち、第２の基本図形計算部１５は、該第
２の基本図形計算部１５で計算された基本図形Φ
^， _uv（ｕ＝1,2,3,…,s ｖ＝1,2,3,…,s）のうち、ｕ＝
ｖの条件を満たす基本図形Φ^， _uuのみを選んで出力す
る。又、内積計算部１３は、基本図形Φ^， _uuとマッチン
グのとれた基本図形Φ_ijのみの内積値Ｓ１３を計算し、
動画像生成部１７が式（19）を用いて人工動画像Ｑ
（ｔ）を生成している。以上のように、この第２の実施
形態では、次のような利点がある。特異値分解を用いて
動画像Ｐ（ｔ）から基本図形Φ_ijと動画像Ｐ（ｔ）との
内積値Ｓ１３を計算し、静止画像Ｑから求めた基本図形
Φ^， _uuを求め、離れた地点Ｂに内積値Ｓ１３と静止画像
Ｑの基本図形Φ^， _uuを伝送し、静止画像Ｑから人工動画
像Ｑ（ｔ）を生成している。このため、使用する基本図
形Φ^， _uvをｕ＝ｖの条件を満たす基本図形Φ^， _uuのみに
限定することによって動画像Ｐ（ｔ）と基本図形Φ^， _uu
との内積の計算に要する時間、画像データの伝送時間、
及び離れた地点Ｂにおける人工動画像Ｑ（ｔ）の生成に
要する時間の短縮を図ることができる。このとき、行番
号と列番号の等しい基本図形を使用することにより、デ
ータ量の減少による画質の劣化を最小限に抑えることが
できる。That is, the second basic figure calculating section 15 calculates the basic figure Φ calculated by the second basic figure calculating section 15.
^, _Uv (u = 1,2,3, ..., s v = 1,2,3, ..., s), u =
Only the basic figures Φ ^and _uu satisfying the condition of v are selected and output. Further, the inner product calculation unit 13 calculates the basic figures ^[Phi, _uu and inner product value S13 in balanced only basic figures [Phi _ij matching,
The moving image generation unit 17 calculates the artificial moving image Q using Expression (19).
(T). As described above, the second embodiment has the following advantages. The singular value decomposition is used to calculate the inner product value S13 of the basic figure Φ _ij and the moving picture P (t) from the moving picture P (t), and the basic figures Φ ^and _uu obtained from the still picture Q are obtained. B, the inner product value S13 and the basic figures Φ ^, _uu of the still image Q are transmitted, and the artificial image Q (t) is generated from the still image Q. Therefore, by limiting the basic figures Φ ^and _uv used to only the basic figures Φ ^and _uu satisfying the condition of u = v, the moving picture P (t) and the basic figures Φ ^and _uu
The time required to calculate the inner product with
In addition, it is possible to reduce the time required to generate the artificial moving image Q (t) at the distant point B. At this time, by using a basic figure having the same row number and column number, deterioration in image quality due to a decrease in data amount can be minimized.

【００３２】第３の実施形態 図５は、本発明の第３の実施形態の動画像生成方法を実
施するための動画像生成装置の構成図である。この動画
像生成装置は、相関行列生成部２１、基本図形計算部２
２、マッチング部２３、内積計算部２４、動画像生成部
２５、及び画像出力端子２６を備えている。相関行列生
成部２１は静止画像Ｑを入力し、この静止画像Ｑから列
相間行列Ｓ２１ａと行相間行列Ｓ２１ｂとを計算する機
能を有している。相関行列生成部２１は、基本図形計算
部２２に接続されている。基本図形計算部２２は、基本
図形計算部２２は相関行列生成部２１から入力された列
相間行列Ｓ２１ａと行相間行列Ｓ２１ｂから固有ベクト
ルを求め、かつ列相間行列Ｓ２１ａと行相間行列Ｓ２１
ｂとの積から基本図形の値Ｓ２２を計算する機能を有し
ている。基本図形計算部２２は、マッチング部２３と動
画像生成部２５に接続されている。 Third Embodiment FIG. 5 is a block diagram of a moving image generating apparatus for implementing a moving image generating method according to a third embodiment of the present invention. This moving image generation device includes a correlation matrix generation unit 21, a basic graphic calculation unit 2,
2, a matching unit 23, an inner product calculating unit 24, a moving image generating unit 25, and an image output terminal 26. The correlation matrix generation unit 21 has a function of receiving the still image Q and calculating a matrix S21a and a matrix S21b from the still image Q. The correlation matrix generator 21 is connected to the basic figure calculator 22. The basic figure calculation unit 22 calculates an eigenvector from the column-to-phase matrix S21a and the row-to-row matrix S21b input from the correlation matrix generation unit 21, and calculates the eigenvector from the column-to-phase matrix S21a and the row-to-row matrix S21.
It has a function of calculating the value S22 of the basic figure from the product of the value b. The basic figure calculation unit 22 is connected to the matching unit 23 and the moving image generation unit 25.

【００３３】マッチング部２３は、離散コサイン変換
（以下、ＤＣＴという）の基底のうちの基本図形計算部
２２から入力された基本図形の値Ｓ２２と最もユークリ
ッド距離の近い基底を検出し、その検出結果を示すマッ
チング結果Ｓ２３を生成する機能を有している。マッチ
ング部２３は、動画像生成部２５に接続されている。内
積計算部２４は動画像Ｐ（ｔ）を入力し、動画像Ｐ
（ｔ）の１フレームとＤＣＴの各々の基底との内積値Ｓ
２４を計算する機能を有している。内積計算部２４は、
動画像生成部２５に接続されている。動画像生成部２５
は、マッチング結果Ｓ２３に基づき、基本図形計算部２
２から入力された基本図形の値Ｓ２２に対応する内積値
Ｓ２４を掛け合わせ、その和を計算する機能を有してい
る。動画像生成部２５は、画像出力端子２６に接続され
ている。次に、図５の各処理（Ａ）〜（Ｄ）の動作を説
明する。The matching unit 23 detects a base having the closest Euclidean distance to the value S22 of the basic figure input from the basic figure calculation unit 22 among the bases of the discrete cosine transform (hereinafter referred to as DCT), and the detection result Is generated. The matching unit 23 is connected to the moving image generation unit 25. The inner product calculation unit 24 receives the moving image P (t),
Inner product value S of one frame of (t) and each base of DCT
24 is provided. The inner product calculation unit 24
It is connected to the moving image generator 25. Moving image generator 25
Is based on the matching result S23.
It has a function of multiplying the value S22 of the basic figure input from 2 by the inner product value S24 corresponding to the value and calculating the sum. The moving image generator 25 is connected to the image output terminal 26. Next, the operation of each of the processes (A) to (D) in FIG. 5 will be described.

【００３４】（Ａ） 基底生成処理 相関行列生成部２１は静止画像Ｑを入力し、式（１）に
基づいて列相間行列Ｓ２１ａと行相間行列Ｓ２１ｂを計
算し、基本図形計算部２２に出力する。基本図形計算部
２２は入力された列相間行列Ｓ２１ａと行相間行列Ｓ２
１ｂについて各固有ベクトルをそれぞれ求め、かつ式
（６）を用いて第２の基底である基本図形Φ_ij(i=1,2,
3, …m j=1,2,3, …,n) を計算し、基本図形Φ_ijの値
Ｓ２２をマッチング部２３と動画像生成部２５とに出力
する。尚、基本図形計算部２２において固有ベクトルを
求める場合、例えばJacobi法等が用いられる。 （Ｂ） マッチング処理 マッチング部２３には静止画像Ｑと同じサイズのＤＣＴ
の基底（即ち、第１の基底）が予め用意されており、入
力された基本図形の各々についてユークリッド距離が最
小となるＤＣＴの基底を検出し、この対応を表わすマッ
チング結果Ｓ２３を動画像生成部２５に出力する。(A) Basis Generation Processing The correlation matrix generation unit 21 receives a still image Q, calculates a column interphase matrix S21a and a row interphase matrix S21b based on equation (1), and outputs it to the basic figure calculation unit 22. . The basic figure calculation unit 22 receives the input column inter-phase matrix S21a and the row inter-phase matrix S2.
1b, each eigenvector is obtained, and the basic figure Φ _ij (i = 1,2,
3,... Mj = 1, 2, 3,..., N), and outputs the value S22 of the basic figure Φ _ij to the matching unit 23 and the moving image generation unit 25. When the eigenvector is obtained in the basic figure calculation unit 22, for example, the Jacobi method or the like is used. (B) Matching processing The matching unit 23 has a DCT of the same size as the still image Q.
(That is, a first base) is prepared in advance, a DCT base that minimizes the Euclidean distance is detected for each of the input basic figures, and a matching result S23 representing the correspondence is detected as a moving image generation unit. 25.

【００３５】ここで、マッチング部２３に記憶されてい
るＤＣＴの基底について説明する。縦Ｍ画素、横Ｎ画素
の画像について、ＤＣＴの基底Ω_uv(m,n)(m=0,1,2,…,M
-1n=0,1,2, …, N-1)は次式（20）のように表される。Here, the base of the DCT stored in the matching unit 23 will be described. For an image with M pixels vertically and N pixels horizontally, the DCT basis Ω _uv (m, n) (m = 0,1,2, ..., M
−1n = 0, 1, 2,..., N−1) is represented by the following equation (20).

【数１１】 従って、マッチング部２３は、静止画像Ｑから特異値分
解で求めた基本図形Φ^， _ijに対してユークリッド距離が
最小となるＤＣＴの基底Ω_uvを検出し、その対応を表わ
すマッチング結果Ｓ２３を動画像生成部２５に出力す
る。[Equation 11] Therefore, the matching unit 23 detects the DCT base Ω _uv that minimizes the Euclidean distance with respect to the basic figures Φ ^and _ij obtained from the still image Q by singular value decomposition, and generates a matching result S23 representing the correspondence between the base image Ω _uv and the moving image. Output to the generation unit 25.

【００３６】（Ｃ） 内積値算出処理 内積計算部２４にはマッチング部２３に記憶されている
ものと同じＤＣＴの基底Ω_uvが予め用意されており、動
画像Ｐ（ｔ）と基底Ω_uvとの内積Ｇ_uv（ｔ）の値Ｓ２４
を計算して動画像生成部２５に出力する。ＤＣＴの基底
Ω_uvと動画像Ｐ（ｔ）との内積Ｇ_uv（ｔ）の計算は、次
式（21）を用いて行う。ＤＣＴの基底Ω_uvは動画像Ｐ
（ｔ）に無関係に共通のものを使用するので、内積Ｇ_uv
は時間の関数Ｇ_uv（ｔ）となる。(C) Inner Product Value Calculation Process The inner product calculation unit 24 is prepared in advance with the same DCT basis Ω _uv as that stored in the matching unit 23, and the moving image P (t) and the basis Ω _uv Of the inner product G _uv (t) of S24
Is calculated and output to the moving image generation unit 25. Calculation of the inner product G _uv (t) between the DCT base Ω _uv and the moving image P (t) is performed using the following equation (21). DCT basis Ω _uv is the moving image P
Since a common one is used regardless of (t), the inner product G _uv
Is a function of time G _uv (t).

【００３７】[0037]

【数１２】 （Ｄ） 動画像生成処理 動画像生成部２５は、基本図形計算部２２から入力され
た静止画像Ｑの基本図形Ｓ２２に対し、マッチング結果
Ｓ２３に基づいて内積値Ｓ２４を画素毎に掛け合わせ、
それらの和を計算し、動画像Ｓ２５として画像出力端子
２６に出力する。ここで、動画像生成部２５の動作の原
理について説明する。動画像Ｐ（ｔ）は、基底Ω_uvと内
積値Ｇ_uv(t) を用いて次式（２２）のように表わされ
る。(Equation 12) (D) Moving Image Generation Processing The moving image generation unit 25 multiplies the basic figure S22 of the still image Q input from the basic figure calculation unit 22 by the inner product value S24 for each pixel based on the matching result S23,
The sum is calculated and output to the image output terminal 26 as a moving image S25. Here, the principle of the operation of the moving image generation unit 25 will be described. The moving image P (t) is represented by the following equation (22) using the base Ω _uv and the inner product value G _uv (t).

【００３８】[0038]

【数１３】 本実施形態で扱う画像の大きさを例えば３×４とし、マ
ッチング部２３で静止画像Ｑの基本図形Φ^， _ijとＤＣＴ
の基底Ω_uvの対応が次式（23）のようにとれたとする。 Ω₁₁＝Φ^， ₃₄，Ω₁₂＝Φ^， ₃₃，Ω₁₃＝Φ^， ₃₂，Ω₁₄＝Φ^， ₃₁， Ω₂₁＝Φ^， ₂₄，Ω₂₂＝Φ^， ₂₃，Ω₂₃＝Φ^， ₂₂，Ω₂₄＝Φ^， ₂₁， Ω₃₁＝Φ^， ₁₄，Ω₃₂＝Φ^， ₁₃，Ω₃₃＝Φ^， ₁₂，Ω₃₄＝Φ^， ₁₁ ・・・（２３） このとき、動画像生成部２５は式（22）の基底Ω_uvを対
応する基本図形Φ^， _ijに置き換え、次式（24）を用いて
人工動画像Ｑ（ｔ）を生成する。 Ｑ（ｔ）＝Ｇ₁₁Φ^， ₃₄＋Ｇ₁₂Φ^， ₃₃＋Ｇ₁₃Φ^， ₃₂＋Ｇ₁₄Φ^， ₃₁ ＋Ｇ₂₁Φ^， ₂₄＋Ｇ₂₂Φ^， ₂₃＋Ｇ₂₃Φ^， ₂₂＋Ｇ₂₄Φ^， ₂₁ ＋Ｇ₃₁Φ^， ₁₄＋Ｇ₃₂Φ^， ₁₃＋Ｇ₃₃Φ^， ₁₂＋Ｇ₃₄Φ^， ₁₁ ・・・（２４） 以上のように、この第３の実施形態では、次のような利
点がある。(Equation 13) The size of the image handled in the present embodiment is, for example, 3 × 4, and the matching unit 23 uses the basic figures Φ ^and _ij of the still image Q and the DCT
Of the base Ω _uv is obtained as in the following equation (23). _{^{Ω 11 = Φ, 34, Ω}} 12 = Φ, 33, Ω 13 = Φ, 32, Ω 14 = Φ, 31, Ω 21 = Φ, 24, Ω 22 = Φ, 23, Ω 23 = Φ, 22, Ω ₂₄ = Φ ^, ₂₁ , Ω ₃₁ = Φ ^, ₁₄ , Ω ₃₂ = Φ ^, ₁₃ , Ω ₃₃ = Φ ^, ₁₂ , Ω ₃₄ = Φ ^, _11, ... (23) The base Ω _{uv of} 22) is replaced with the corresponding basic figure Φ ^, _ij , and an artificial moving image Q (t) is generated using the following equation (24). _{Q (t) = G 11 Φ} , 34 + G 12 Φ, 33 + G 13 Φ, 32 + G 14 Φ, 31 + G 21 Φ, 24 + G 22 Φ, 23 + G 23 Φ, 22 + G 24 Φ, 21 + G 31 Φ, 14 + G ₃₂ Φ ^, ₁₃ + G ₃₃ Φ ^, ₁₂ + G ₃₄ Φ ^, ₁₁ (24) As described above, the third embodiment has the following advantages.

【００３９】構成要素（本実施形態では、マッチング部
２３及び内積計算部２４）内に記憶されたＤＣＴの基底
Ω_uvを用いて処理を行うようにしたので、入力画像Ｐ
（ｔ）毎に基底を計算する必要がない。更に、基底Ω_uv
は構成要素間で伝達の必要がないので、動画像生成装置
をハードで構成する場合、回路構成がシンプルになる。第４の実施形態 図６は、本発明の第４の実施形態の動画像生成方法を実
施するための動画像生成装置の構成図である。この動画
像生成装置は、第１の共分散行列生成部３１、第１の固
有ベクトル計算部３２、内積計算部３３、第２の共分散
行列計算部３４、第２の固有ベクトル計算部３５、マッ
チング部３６、データ出力部３７、平均ベクトル計算部
３８、動画像生成部３９、及び画像出力端子３ａを備え
ている。動画像生成部３９と画像出力端子３ａは他の構
成要素とは離れた地点Ｂにあり、他の構成要素は地点Ａ
にある。地点Ａと地点Ｂは例えば電話回線等の通信網Ｎ
を介して接続されている。Since the processing is performed using the DCT base Ω _uv stored in the constituent elements (in the present embodiment, the matching unit 23 and the inner product calculation unit 24), the input image P
There is no need to calculate a basis for each (t). Furthermore, the base Ω _uv
Since there is no need to transmit between the components, the circuit configuration is simplified when the moving image generating apparatus is configured by hardware. Fourth Embodiment FIG. 6 is a configuration diagram of a moving image generating apparatus for performing a moving image generating method according to a fourth embodiment of the present invention. This moving image generation device includes a first covariance matrix generation unit 31, a first eigenvector calculation unit 32, an inner product calculation unit 33, a second covariance matrix calculation unit 34, a second eigenvector calculation unit 35, a matching unit 36, a data output unit 37, an average vector calculation unit 38, a moving image generation unit 39, and an image output terminal 3a. The moving image generation unit 39 and the image output terminal 3a are located at a point B separated from other components, and the other components are located at a point A.
It is in. The point A and the point B are, for example, a communication network N such as a telephone line.
Connected through.

【００４０】平均ベクトル計算部３８は、動画像Ｐ
（ｔ）の画像ベクトルから平均ベクトルＳ３８を計算す
る機能を有している。平均ベクトル計算部３８は、第１
の共分散行列計算部３１、内積計算部３３、第２の共分
散行列計算部３４、及びデータ出力部３７に接続されて
いる。第１の共分散行列生成部３１は動画像Ｐ（ｔ）を
入力し、この動画像Ｐ（ｔ）の画像ベクトルから共分散
行列の平均Ｓ３１を計算する機能を有している。第１の
共分散行列生成部３１は、第１の固有ベクトル計算部３
２に接続されている。第１の固有ベクトル計算部３２
は、第１の共分散行列生成部３１から入力された共分散
行列Ｓ３１から固有ベクトルＳ３２を計算する機能を有
している。第１の固有ベクトル計算部３２は、内積計算
部３３及びマッチング部３６に接続されている。第２の
共分散行列計算部３４は静止画像Ｑを入力し、該静止画
像Ｑから共分散行列Ｓ３４を計算する機能を有してい
る。第２の共分散行列計算部３４は、第２の固有ベクト
ル計算部３５に接続されている。第２の固有ベクトル計
算部３５は、共分散行列Ｓ３４の固有ベクトルＳ３５を
計算する機能を有している。第２の固有ベクトル計算部
３５は、マッチング部３６及びデータ出力部３７に接続
されている。The average vector calculation unit 38 calculates the moving image P
It has a function of calculating an average vector S38 from the image vector of (t). The average vector calculator 38 calculates the first
Are connected to a covariance matrix calculation unit 31, an inner product calculation unit 33, a second covariance matrix calculation unit 34, and a data output unit 37. The first covariance matrix generation unit 31 has a function of receiving a moving image P (t) and calculating an average S31 of a covariance matrix from an image vector of the moving image P (t). The first covariance matrix generation unit 31 includes a first eigenvector calculation unit 3
2 are connected. First eigenvector calculator 32
Has a function of calculating an eigenvector S32 from the covariance matrix S31 input from the first covariance matrix generation unit 31. The first eigenvector calculation unit 32 is connected to the inner product calculation unit 33 and the matching unit 36. The second covariance matrix calculator 34 has a function of receiving the still image Q and calculating a covariance matrix S34 from the still image Q. The second covariance matrix calculator 34 is connected to the second eigenvector calculator 35. The second eigenvector calculation unit 35 has a function of calculating an eigenvector S35 of the covariance matrix S34. The second eigenvector calculation unit 35 is connected to the matching unit 36 and the data output unit 37.

【００４１】マッチング部３６は、第１の固有ベクトル
計算部３２から入力された固有ベクトルＳ３２と第２の
固有ベクトル計算部３５から入力された固有ベクトルＳ
３５とのマッチングを行い、その結果を表わすマッチン
グ結果Ｓ３６を生成する機能を有している。マッチング
部３６は、内積計算部３３及びデータ出力部３７に接続
されている。内積計算部３３は、動画像Ｐ（ｔ）と第１
の固有ベクトル計算部３２からの固有ベクトルＳ３２と
を入力し、マッチング部３６のマッチング結果Ｓ３６に
基づいて処理に用いる固有ベクトルを数個に限定し、動
画像Ｐ（ｔ）の１フレームの画像ベクトルと平均ベクト
ルＳ３８との差分ベクトルを計算し、該差分ベクトルと
前記限定された数個の固有ベクトルとの内積値Ｓ３３を
計算する機能を有している。内積計算部３３は、データ
出力部３７に接続されている。データ出力部３７は、内
積計算部３３で計算された内積値Ｓ３３とマッチング部
３６からのマッチング結果Ｓ３６に基づいて第２の固有
ベクトル計算部３５で求めた固有ベクトルＳ３５のうち
の数個の固有ベクトルを選択する機能を有している。デ
ータ出力部３７は、通信網Ｎを介して動画像生成部３９
に接続されている。動画像生成部３９は、データ出力部
３７から出力された内積値と固有ベクトルより人工動画
像Ｓ３９を生成する機能を有している。動画像生成部３
９は、画像出力端子３ａに接続されている。The matching section 36 has an eigenvector S32 input from the first eigenvector calculation section 32 and an eigenvector S input from the second eigenvector calculation section 35.
35, and has a function of generating a matching result S36 representing the result. The matching unit 36 is connected to the inner product calculation unit 33 and the data output unit 37. The inner product calculation unit 33 calculates the moving image P (t) and the first
, The eigenvector S32 from the eigenvector calculation unit 32 is input, the number of eigenvectors used for processing is limited to several based on the matching result S36 of the matching unit 36, and the image vector of one frame of the moving image P (t) and the average vector It has a function of calculating a difference vector from S38 and calculating an inner product value S33 of the difference vector and the limited number of eigenvectors. The inner product calculation unit 33 is connected to the data output unit 37. The data output unit 37 selects several eigenvectors from the eigenvectors S35 obtained by the second eigenvector calculation unit 35 based on the inner product value S33 calculated by the inner product calculation unit 33 and the matching result S36 from the matching unit 36. It has the function to do. The data output unit 37 is connected to the moving image generation unit 39 via the communication network N.
It is connected to the. The moving image generation unit 39 has a function of generating an artificial moving image S39 from the inner product value output from the data output unit 37 and the eigenvector. Moving image generation unit 3
Reference numeral 9 is connected to the image output terminal 3a.

【００４２】次に、本実施形態の原理となるＫＬ（カル
ーネン・レーブ）変換について説明する。ＫＬ変換は確
率ベクトルｘの直交展開であり、ベクトルｘを少数の基
底で表わす場合、最小平均２乗誤差の基準のもとで最適
な直交基底を求め、ベクトルｘを展開するものである。
いま、Ｍ次元のべクトルｘ_i (i=1,2,3, …,s) の集合Ｘ
を考える。ｘ_i の平均ベクトルμを、 μ＝（１／ｓ）Σｘ_i とすると、データＸの共分散行列Ｒｘは次式（25）のよ
うに表される。Next, the KL (Karhunen-Loeve) conversion, which is the principle of the present embodiment, will be described. The KL transformation is an orthogonal expansion of the probability vector x. When the vector x is represented by a small number of bases, the optimal orthogonal base is obtained based on the standard of the minimum mean square error, and the vector x is expanded.
Now, a set X of an M-dimensional vector x _i (i = 1, 2, 3,..., S)
think of. The mean vector mu of x _i, when the μ = (1 / s) Σx i, covariance matrix Rx data X is expressed by the following equation (25).

【００４３】[0043]

【数１４】 ここで、共分散行列Ｒｘの固有値の絶対値の大きい方か
ら順に並べた固有ベクトルをＶ_i （i=1,2,3,…,M) 、集
合Ｘの中の任意のべクトルｘと平均ベクトルμとの差分
をｖ［ｄ］（＝ｘ−μ）、及びｖ［ｄ］と固有ベクトル
Ｖ_i との内積をλ_i とすると、ベクトルｘは次式（26）
のように表わされる。[Equation 14] Here, the eigenvectors arranged in order from the largest absolute value of the eigenvalues of the covariance matrix Rx are V _i (i = 1, 2, 3,..., M), and any vector x and average vector in the set X If the difference from μ is v [d] (= x−μ) and the inner product of v [d] and the eigenvector V _i is λ _i , the vector x is given by the following equation (26)
It is represented as

【００４４】[0044]

【数１５】 ここで、固有ベクトルＶ_i はＭ次元のべクトルであり、
式（26）の積和の計算をＮ項（Ｎ≦Ｍ）で打ち切っても
十分ベクトルｘに近い近似が得られる。又、固有ベクト
ルＶ_i のうち、対応する固有値の絶対値が大きい固有ベ
クトルほど集合Ｘの特徴をよく表わす。次に、図６の動
作を説明する。平均ベクトル計算部３８は縦ｍ画素及び
横ｎ画素の動画像Ｐ（ｔ）を入力し、それぞれの画像の
画像ベクトルを合計して平均値を計算する。具体的には
以下の各処理（Ａ）〜（Ｅ）を行う。(Equation 15) Here, the eigenvectors V _i is a vector base of the M-dimensional,
Even if the calculation of the sum of products of the equation (26) is terminated by N terms (N ≦ M), an approximation sufficiently close to the vector x can be obtained. Also, among the eigenvectors V _i, represent well the characteristics of the absolute value is larger eigenvectors as set X of corresponding eigenvalues. Next, the operation of FIG. 6 will be described. The average vector calculation unit 38 receives a moving image P (t) of m pixels vertically and n pixels horizontally and calculates an average value by summing up the image vectors of the respective images. Specifically, the following processes (A) to (E) are performed.

【００４５】動画像Ｐ（ｔ）の画素の並びをベクトルｘ
（ｔ）の要素とする。行番号ｍ及び列番号ｎの動画像Ｐ
（ｔ）の画素をＰ_mnとすると、ベクトルｘ（ｔ）の要素
は次式（27）のように割り当てられる。 ｘ（ｔ）＝（ｘ₁ ，ｘ₂ ，ｘ₃ ，…，ｘ_mn） ＝（Ｐ₁₁，Ｐ₁₂，…，Ｐ_1n，Ｐ₂₁，…，Ｐ_mn） ・・・（２７） 動画像Ｐ（ｔ）がｔ＝１，２，３，…，ｓについて１フ
レームずつの画像で構成されるとき、動画像Ｐ（ｔ）の
平均ベクトルμは式（28）のように表される。The arrangement of pixels of the moving image P (t) is represented by a vector x
(T). Moving picture P of row number m and column number n
_Assuming that the pixel at (t) is P _mn , the elements of the vector x (t) are assigned as in the following equation (27). x (t) = (x ₁ , x ₂ , x ₃ ,..., x _mn ) = (P ₁₁ , P ₁₂ ,..., P _1n , P ₂₁ ,..., P _mn ) (27) When (t) is composed of images of one frame at a time for t = 1, 2, 3,..., S, the average vector μ of the moving image P (t) is expressed by Expression (28).

【数１６】 平均ベクトル計算部３８は式（28）を用いて平均ベクト
ルμを計算し、平均ベクトルμの値を第１の共分散行列
生成部３１、第２の共分散行列計算部３４、内積計算部
３３、及びデータ出力部３７に出力する。 （Ａ） 第１の基底生成処理 第１の共分散行列生成部３１は動画像Ｐ（ｔ）を入力
し、動画像Ｐ（ｔ）のベクトルｘ（ｔ）と平均ベクトル
μから共分散行列Ｒｘを計算する。具体的には式（25）
を用いて共分散行列Ｒｘを求め、該共分散行列Ｒｘの値
Ｓ３１を第１の固有ベクトル計算部３２に出力する。第
１の固有ベクトル計算部３２は、第１の共分散行列計算
部３１から入力された共分散行列Ｒｘの固有ベクトルＶ
_i (i=1,2,3, …,m×n)（即ち、第１の基底）を計算し、
この固有ベクトルＶ_i の値Ｓ３２を内積計算部３３とマ
ッチング部３６に出力する。固有ベクトルＶ_i を求める
には、例えばJacobi法等が用いられる。(Equation 16) The average vector calculator 38 calculates the average vector μ by using the equation (28), and calculates the value of the average vector μ as the first covariance matrix generator 31, the second covariance matrix calculator 34, and the inner product calculator 33. , And the data output unit 37. (A) First Basis Generation Processing The first covariance matrix generation unit 31 receives a moving image P (t), and obtains a covariance matrix Rx from a vector x (t) and an average vector μ of the moving image P (t). Is calculated. Specifically, equation (25)
Is used to obtain a covariance matrix Rx, and the value S31 of the covariance matrix Rx is output to the first eigenvector calculation unit 32. The first eigenvector calculation unit 32 calculates the eigenvector V of the covariance matrix Rx input from the first covariance matrix calculation unit 31.
_i (i = 1,2,3,..., m × n) (ie, a first basis)
And outputs the value S32 in the eigenvector V _i to the inner product calculation unit 33 and matching unit 36. To find the eigenvectors V _i, for example, Jacobi method may be used.

【００４６】（Ｂ） 第２の基底生成処理 第２の共分散行列計算部３４は、静止画像Ｑと平均ベク
トル計算部４８からの平均ベクトルＳ３８（即ち、平均
ベクトルμ）を入力し、静止画像Ｑのベクトルと平均ベ
クトルＳ３８の差分ベクトルを計算し、この差分ベクト
ルから式（25）を用いて共分散行列Ｑｘを計算し、共分
散行列Ｑｘの値Ｓ３４を第２の固有ベクトル計算部３５
へ出力する。第２の固有ベクトル計算部３５は、第２の
共分散行列計算部３４から入力された共分散行列Ｑｘに
ついて、固有ベクトルＷ_j （j=1,2,3,…,m×n)（即ち、
第２の基底）を計算し、この固有ベクトルＷ_j の値Ｓ３
５をマッチング部３６とデータ出力部３７に出力する。
この固有ベクトルＷ_j は、対応する固有値の絶対値の大
きいものから順に並んでいる。(B) Second Basis Generation Process The second covariance matrix calculator 34 receives the still image Q and the average vector S38 (ie, average vector μ) from the average vector calculator 48, and A difference vector between the vector of Q and the average vector S38 is calculated, a covariance matrix Qx is calculated from the difference vector using Expression (25), and a value S34 of the covariance matrix Qx is calculated by a second eigenvector calculation unit 35.
Output to The second eigenvector calculator 35 calculates the eigenvectors W _j (j = 1, 2, 3,..., M × n) for the covariance matrix Qx input from the second covariance matrix calculator 34 (ie,
(Second base) is calculated, and the value S3 of this eigenvector W _j is calculated.
5 is output to the matching unit 36 and the data output unit 37.
The eigenvectors W _j are arranged in descending order of the absolute value of the corresponding eigenvalue.

【００４７】（Ｃ） マッチング処理 マッチング部３６は、固有ベクトルＷ_j の上位の数個に
ついて、固有ベクトルＶ_i の中から最もユークリッド距
離の近いものを求め、その組み合わせを表わすマッチン
グ結果Ｓ３６を内積計算部３３及びデータ出力部３７に
出力する。一例として、入力する画像のサイズをｍ＝
３、ｎ＝４とする。又、マッチング部３６において、固
有ベクトルＶ_i (i=1,2,3, …,12)と固有ベクトルＷ
_j （j=1,2,3,…,12)とのマッチングの結果が次式（29）
のように対応づけられ、動画像の生成に用いる固有ベク
トルの数を４個とする。 Ｗ₁ ＝Ｖ₁₂，Ｗ₂ ＝Ｖ₁₁，Ｗ₃ ＝Ｖ₁₀，Ｗ₄ ＝Ｖ₉ ，Ｗ₅ ＝Ｖ₈ ， Ｗ₆ ＝Ｖ₇ ，Ｗ₇ ＝Ｖ₆ ，Ｗ₈ ＝Ｖ₅ ，Ｗ₉ ＝Ｖ₄ ，Ｗ₁₀＝Ｖ₃ ， Ｗ₁₁＝Ｖ₂ ，Ｗ₁₂＝Ｖ₁ ・・・（２９） マッチング部３６は、固有ベクトルＷ₁ 〜Ｗ₄ に対応す
る固有ベクトルＶ_i を表わす信号Ｓ３６を内積計算部３
３及びデータ出力部３７に出力する。[0047] (C) matching the matching unit 36, the eigenvectors W upper few about the _j, eigenvectors V seek close most Euclidean distance from among _i, the inner product calculating unit 33 and matching result S36 representing the combination And the data output unit 37. As an example, the size of the input image is m =
3, n = 4. In the matching unit 36, the eigenvector V _i (i = 1, 2, 3,..., 12) and the eigenvector W
The result of matching with _j (j = 1,2,3,…, 12) is given by the following equation (29)
And the number of eigenvectors used for generating a moving image is four. _{W 1 = V 12, W 2} = V 11, W 3 = V 10, W 4 = V 9, W 5 = V 8, W 6 = V 7, W 7 = V 6, W 8 = V 5, W 9 _{= V 4, W 10 = V} 3, W 11 = V 2, W 12 = V 1 ··· (29) matching section 36, the inner product a signal S36 representing the eigenvectors V _i corresponding to the eigenvectors W ₁ to _W-4 Calculation part 3
3 and the data output unit 37.

【００４８】（Ｄ） 内積値算出処理 内積計算部３３は、動画像Ｐ（ｔ）のべクトルｘ（ｔ）
と第１の固有ベクトル計算部３２からの固有ベクトルＶ
_i を入力し、ベクトルｘ（ｔ）と平均ベクトルμ（Ｓ３
８）との差分ベクトルｄ（ｔ）を求め、マッチング結果
Ｓ３６に基づいて固有ベクトルＶ_i の数個と動画像Ｐ
（ｔ）のべクトルｘ（ｔ）との内積値λ_i（ｔ）を求
め、該内積値λ_i （ｔ）をデータ出力部３７に出力す
る。内積値λ_i（ｔ）は次式（30）のように表される。 λ_i （ｔ）＝Ｖ_i ・ｄ（ｔ）＝Ｖ_i ・（ｘ（ｔ）−μ） ・・・（３０） 式（29）の関係が成り立つとき、内積計算部３３は固有
ベクトルＷ₁ ，Ｗ₂ ，Ｗ₃ ，Ｗ₄ に対応する固有ベクト
ルＶ₁₂，Ｖ₁₁，Ｖ₁₀，Ｖ₉ ついて、動画像Ｐ（ｔ）のベ
クトルｘ（ｔ）との内積Ｓ３３を求め、該内積Ｓ３３を
データ出力部３７に出力する。(D) Inner Product Value Calculation Processing The inner product calculator 33 calculates the vector x (t) of the moving image P (t).
And the eigenvector V from the first eigenvector calculator 32
_i , the vector x (t) and the average vector μ (S3
Difference obtains a vector d (t) with 8), several and moving image P of eigenvectors V _i based on the matching result S36
An inner product value λ _i (t) of (t) with the vector x (t) is obtained, and the inner product value λ _i (t) is output to the data output unit 37. The inner product value λ _i (t) is represented by the following equation (30). when the relationship of _{λ i (t) = V i} · d (t) = V i · (x (t) -μ) ··· (30) equation (29) is satisfied, the inner product calculation unit 33 eigenvectors W _1, W with _2, W _3, W ₄ eigenvector V ₁₂ corresponding _{to, V 11, V 10, V} 9, obtains an inner product S33 in the vector x (t) of the moving picture P (t), the inner product S33 data output Output to the unit 37.

【００４９】（Ｅ） 動画像生成処理 データ出力部３７は、固有ベクトルＷ_j の上位数個のデ
ータ、内積計算部３３から入力された内積値Ｓ３３、及
びマッチング部３６でのマッチング結果Ｓ３６を通信網
Ｎを介して動画像生成部３９に出力する。又、式（29）
の関係が成り立つとき、データ出力部３７は固有ベクト
ルＷ₁ ，Ｗ₂ ，Ｗ₃ ，Ｗ₄ と内積計算部３３から入力さ
れた４つの内積値、マッチング部３６から入力されたマ
ッチング結果Ｓ３６を動画像生成部３９に出力する。動
画像生成部３９は、入力されたマッチング結果Ｓ３６に
基づき、次式（31）を用いて固有ベクトルＷ₁ ，Ｗ₂ ，
Ｗ₃ ，Ｗ₄ に対して対応する内積の値だけ実数倍し、そ
れらの和を計算して人工動画像Ｑ（ｔ）として画像出力
端子３ａに出力する。 Ｑ（ｔ）＝λ₁₂Ｗ₁ ＋λ₁₁Ｗ₂ ＋λ₁₀Ｗ₃ ＋λ₉ Ｗ₄ ・・・（３１） 以上のように、この第４の実施形態では、次のような利
点がある。(E) Moving Image Generation Process The data output unit 37 transmits the upper several data of the eigenvector W _j , the inner product value S33 input from the inner product calculation unit 33, and the matching result S36 of the matching unit 36 to the communication network. The image data is output to the moving image generation unit 39 via N. Equation (29)
Is satisfied, the data output unit 37 displays the eigenvectors W ₁ , W ₂ , W ₃ , and W ₄ , the _four inner product values input from the inner product calculator 33, and the matching result S 36 input from the matching unit 36 as a moving image Output to the generation unit 39. Based on the input matching result S36, the moving image generation unit 39 calculates the eigenvectors W ₁ , W ₂ ,
The values of W ₃ and W ₄ are multiplied by the corresponding inner product by a real number, the sum thereof is calculated, and the sum is output to the image output terminal 3 a as an artificial moving image Q (t). Q (t) = λ ₁₂ W ₁ + λ ₁₁ W ₂ + λ ₁₀ W ₃ + λ ₉ W ₄ (31) As described above, the fourth embodiment has the following advantages.

【００５０】ＫＬ変換を用いて限定された基底数で静止
画像Ｑから人工動画像Ｑ（ｔ）を生成しているが、この
ＫＬ変換の基底は２次元の画素の並びをベクトルとして
扱っている。基底に特異値分解の基本図形を用い、基底
の数が制限された場合、基本図形は画像をランク１の行
列として扱うので、画像の斜めの線を表現することは困
難である。しかし、ＫＬ変換の基底は画像をベクトルと
して扱うので、地点Ａから地点Ｂに伝送される基底の数
が制限されても、画像の斜めの線を表現できる。The artificial moving image Q (t) is generated from the still image Q with a limited number of bases by using the KL conversion. The base of the KL conversion handles a two-dimensional pixel array as a vector. . When the basic figure of the singular value decomposition is used for the base and the number of bases is limited, the basic figure treats the image as a matrix of rank 1, so that it is difficult to represent an oblique line of the image. However, since the basis of the KL transformation treats the image as a vector, even if the number of bases transmitted from the point A to the point B is limited, an oblique line of the image can be expressed.

【００５１】第５の実施形態 図７は、本発明の第５の実施形態の動画像生成方法を実
施するための動画像生成装置の構成図である。この動画
像生成装置は、第１の内積計算部４１、第２の内積計算
部４２、マッチング部４３、内積生成部４４、動画像生
成部１５、及び画像出力端子１６を備えている。第１の
内積計算部４１は動画像Ｐ（ｔ）を入力し、動画像Ｐ
（ｔ）の１フレームと直交変換（例えば、ＤＣＴ、フー
リエ変換、アダマール変換等) の基底との内積値Ｓ４１
を計算する機能を有している。第１の内積計算部４１
は、マッチング部４３及び内積計算部４４に接続されて
いる。第２の内積計算部４２は静止画像Ｑを入力し、静
止画像Ｑと直交変換の基底との内積値Ｓ４２を計算する
機能を有している。第２の内積計算部４２は、マッチン
グ部４３及び内積生成部４４に接続されている。マッチ
ング部４３は基底毎に求めた内積の並びを行列とし、静
止画像Ｑの内積とユークリッド距離が最も近い動画像Ｐ
（ｔ）の内積の時刻を検出し、その結果を表わすマッチ
ング結果Ｓ４３を生成する機能を有している。マッチン
グ部４３は、内積生成部４４に接続されている。 Fifth Embodiment FIG. 7 is a block diagram of a moving image generating apparatus for implementing a moving image generating method according to a fifth embodiment of the present invention. This moving image generating device includes a first inner product calculating unit 41, a second inner product calculating unit 42, a matching unit 43, an inner product generating unit 44, a moving image generating unit 15, and an image output terminal 16. The first inner product calculation unit 41 receives the moving image P (t),
Inner product value S41 of one frame of (t) and the basis of orthogonal transform (for example, DCT, Fourier transform, Hadamard transform, etc.)
Has the function of calculating First inner product calculator 41
Are connected to the matching unit 43 and the inner product calculation unit 44. The second inner product calculation unit 42 has a function of receiving the still image Q and calculating an inner product value S42 between the still image Q and the base of the orthogonal transformation. The second inner product calculator 42 is connected to the matching unit 43 and the inner product generator 44. The matching unit 43 uses the matrix of the inner product obtained for each basis as a matrix, and sets the inner product of the still image Q and the moving image P having the closest Euclidean distance.
It has a function of detecting the time of the inner product of (t) and generating a matching result S43 representing the result. The matching unit 43 is connected to the inner product generation unit 44.

【００５２】内積生成部４４は、マッチング結果Ｓ４３
に基づき、静止画像Ｑから求めた内積をマッチングのと
れた時刻ｔからの動画像Ｐ（ｔ）の内積と同じように変
化させ、内積値Ｓ４４を生成する機能を有している。内
積生成部４４は、動画像生成部４５に接続されている。
動画像生成部４５は、直交変換の基底を内積生成部４４
から入力された内積値Ｓ４４の値だけ実数倍し、その和
を計算して人工動画像Ｓ４５として出力する機能を有し
ている。動画像生成部４５は、動画像出力端子４６に接
続されている。次に、図７の各処理（Ａ）〜（Ｄ）の動
作を説明する。直交変換には、例えばＤＣＴ、フーリエ
変換、アマダール変換等があるが、本実施形態ではＤＣ
Ｔを用いて説明する。The inner product generation unit 44 determines the matching result S43
Has a function of changing the inner product obtained from the still image Q in the same manner as the inner product of the moving image P (t) from the time t at which matching is performed, and generating an inner product value S44. The inner product generation unit 44 is connected to the moving image generation unit 45.
The moving image generation unit 45 converts the basis of the orthogonal transformation into the inner product generation unit 44
Has the function of multiplying the value of the inner product value S44 input from the real number by a real number, calculating the sum thereof, and outputting the result as an artificial moving image S45. The moving image generator 45 is connected to a moving image output terminal 46. Next, the operation of each of the processes (A) to (D) in FIG. 7 will be described. The orthogonal transform includes, for example, DCT, Fourier transform, Amadal transform, and the like.
Explanation is given using T.

【００５３】（Ａ） 第１の基底方向成分計算処理 第１の内積計算部４１は、縦Ｍ画素及び横Ｎ画素の動画
像Ｐ（ｔ）を入力し、動画像の１フレームとＤＣＴの基
底Ω_uv（u=1,2,3,…,M v=1,2,3, …,N）との内積Ｇ
_uv（ｔ）（即ち、基底方向の成分）を求める。その際の
ＤＣＴの基底Ω_uvは式（２０）で示され、動画像Ｐ
（ｔ）とＤＣＴの基底Ω_uvとの内積Ｇ_uv（ｔ）の計算は
式（２１）で示される。 （Ｂ） 第２の基底方向成分計算処理 第２の内積計算部４２は、縦Ｍ画素及び横Ｎ画素の静止
画像Ｑを入力し、静止画像ＱとＤＣＴの基底Ω_uvとの内
積値Ｓ４２（即ち、基底方向の成分）を求める。(A) First Base Direction Component Calculation Processing The first inner product calculation unit 41 receives a moving image P (t) of M pixels vertically and N pixels horizontally, and calculates one frame of the moving image and the base of DCT. _Inner product G with Ω _uv (u = 1,2,3,…, M v = 1,2,3,…, N)
_uv (t) (that is, the component in the base direction) is obtained. The base Ω _uv of the DCT at that time is expressed by Expression (20), and the moving image P
The calculation of the inner product G _uv (t) between (t) and the base Ω _{uv of the} DCT is represented by equation (21). (B) Second Base Direction Component Calculation Processing The second inner product calculation unit 42 receives a still image Q of M pixels vertically and N pixels horizontally, and calculates the inner product S42 of the still image Q and the base Ω _{uv of the} DCT. That is, a component in the base direction) is obtained.

【００５４】（Ｃ） マッチング処理 マッチング部４３は、第２の内積計算部４２から入力さ
れた基底の数と同数存在する内積値を行列Ｇ^，の要素と
みなし、更に第１の内積計算部４１から入力された動画
像Ｐ（ｔ）の内積Ｓ４１を行列Ｇ（ｔ）(t=1,2,3, …,
s) の要素とみなす。そして、マッチング部４３は、行
列Ｇ^，と行列Ｇ（ｔ）のユークリッド距離の２乗が最も
小さくなる時刻ｔを検出し、そのマッチング結果Ｓ４３
を内積生成部４４に出力する。行列Ｇ（ｔ）は次式（３
２）、及び行列Ｇ^，は次式（３３）で示される。(C) Matching Process The matching unit 43 regards the inner product values having the same number as the number of bases input from the second inner product calculating unit 42 as elements of the matrix G ^, and further, the first inner product calculating unit 41 , The inner product S41 of the moving image P (t) input from the matrix G (t) (t = 1, 2, 3,...,
s). Then, the matching section 43 detects the matrix ^G, the square is smallest time t of the Euclidean distance of the matrix G (t), the matching result S43
Is output to the inner product generation unit 44. The matrix G (t) is given by the following equation (3)
2), and the matrix ^G, is represented by the following formula (33).

【００５５】[0055]

【数１７】 [Equation 17]

【数１８】 ここで、行列Ｇ（ｔ）と行列Ｇ^，のユークリッド距離の
２乗ｄ² （ｔ）は、次式（３４）のように表される。 ｄ² （ｔ）＝‖Ｇ（ｔ）−Ｇ^，‖² ＝（Ｇ₁₁（ｔ）−Ｇ^， ₁₁）² ＋（Ｇ₁₂（ｔ）−Ｇ^， ₁₂）² ＋ …＋（Ｇ_1N（ｔ）−Ｇ^， _1N）² ＋（Ｇ₂₁（ｔ）−Ｇ^， ₂₁）² ＋ …（Ｇ_MN（ｔ）−Ｇ^， _MN）² ・・・（３４） マッチング部４３は、式（３４）を用いてユークリッド
距離の２乗ｄ² （ｔ）を計算し、ユークリッド距離の２
乗ｄ² （ｔ）が最小となる時刻ｔを求め、この情報（即
ち、マッチング結果Ｓ４３）を内積生成部４４に出力す
る。(Equation 18) Here, the square d ² (t) of the Euclidean distance between the matrix G (t) and the matrix G 1 ^, is represented by the following equation (34). d ² (t) = ‖G (t) −G ^, ‖ ² = (G ₁₁ (t) −G ^, ₁₁ ) ² + (G ₁₂ (t) −G ^, ₁₂ ) ² +... + (G _1N (t ) −G ^, _1N ) ² + (G ₂₁ (t) −G ^, ₂₁ ) ² +... ( _GMN (t) −G ^, _MN ) ² (34) The matching unit 43 calculates the equation (34). Is used to calculate the square of the Euclidean distance d ² (t),
The time t at which the power d ² (t) is minimized is obtained, and this information (that is, the matching result S43) is output to the inner product generation unit 44.

【００５６】（Ｄ） 動画像生成処理 内積生成部４４は、マッチング結果Ｓ４３に基づき、静
止画像Ｑの内積Ｇ^，をマッチングのとれた時刻ｔからの
動画像の内積Ｇ（ｔ）と相似形に変化させることによっ
て内積の行列Ｇ^，（ｔ）を計算し、その結果（即ち、内
積値Ｓ４４）を動画像生成部４５に出力する。図８は、
図７中の内積生成部４４の動作を説明する図である。一
例として、動画像の内積Ｇ（ｔ）の要素のＧ₁₁（ｔ）が
図８に示すように時刻ｔで変化し、静止画像Ｑの内積Ｇ
^，と動画像の内積Ｇ（ｔ）のマッチングが時刻ｋ（０≦
ｋ≦ｓ）でとれたとする。時刻ｔ^，（ｔ^，＝1,2,3,…,s
-k) における内積Ｇ^，（ｔ^，）の要素Ｇ^， ₁₁（ｔ^，）
は、次式（３５）のように表される。 Ｇ^， ₁₁（ｔ^，）＝（Ｇ^， ₁₁（０）／Ｇ₁₁（ｋ））Ｇ₁₁（ｔ^，＋ｋ） ・・・（３５） このとき、内積Ｇ^，（ｔ^，）の要素Ｇ^， ₁₁（ｔ^，）は、
図８に示すように変化する。内積生成部４４は，計算し
た内積Ｇ^，（ｔ）を動画像生成部４５に出力する。[0056] (D) moving image generation processing inner product generator 44, based on the matching result S43, the inner product G of still images ^Q, similar in shape to the inner product of the moving image from the Matched time t G (t) The matrix G ^, (t) of the inner product is calculated by changing the value, and the result (that is, the inner product value S44) is output to the moving image generator 45. FIG.
FIG. 8 is a diagram illustrating an operation of an inner product generation unit 44 in FIG. 7. As an example, the element G ₁₁ (t) of the inner product G (t) of the moving image changes at time t as shown in FIG.
^, And the inner product G (t) of the moving image match at time k (0 ≦
k ≦ s). Time t ^, (t ^, = 1,2,3, ..., s
-k) ^, the element G of the inner product G ^, (t ^, ) ^, ₁₁ (t ^, )
Is represented by the following equation (35). _{^{G, 11 (t,) =}} (G, 11 (0) / G 11 (k)) G 11 (t, + k) ··· (35) At this time, the inner product ^G, element ^G of ^(t,), ₁₁ (T ^, ) is
It changes as shown in FIG. The inner product generation unit 44 outputs the calculated inner products G ^, (t) to the moving image generation unit 45.

【００５７】動画像生成部４５は、ＤＣＴの各基底に内
積生成部４４から入力された内積Ｇ^，（ｔ）の各要素を
かけ、その和を計算して人工動画像Ｓ４５として画像出
力端子４６に出力する。即ち、次式（３６）を用いて人
工動画像Ｑ（ｔ^，）を生成する。 Ｑ（ｔ^，）＝Ｇ^， ₁₁（ｔ^，）Ω₁₁＋Ｇ^， ₁₂（ｔ^，）Ω₁₂＋… ＋Ｇ^， _1N（ｔ^，）Ω_1N＋Ｇ^， ₂₁（ｔ^，）Ω₂₁＋… ＋Ｇ^， _MN（ｔ^，）Ω_MN ・・・（３６） 以上のように、この第５の実施形態では、次のような利
点がある。直交変換の基底と動画像Ｐ（ｔ）及び静止画
像Ｑとの内積をそれぞれ求め、２つの内積の間でマッチ
ングをとり、静止画像Ｑの内積を動画像Ｐ（ｔ）の内積
と相似形に時間方向に変化させることにより、静止画像
Ｑから人工動画像Ｑ（ｔ^，）が生成される。本実施形態
で用いる直交変換は、ＤＣＴやフーリエ変換等、画像の
サイズによって基底が決まる変換なので、基底をオブジ
ェクトの種類に応じて計算する必要がない。そのため、
オブジェクトの種類によらず共通の方法で静止画像Ｑか
ら人工動画像Ｑ（ｔ^，）を生成でき、ハードウェアで実
現する場合には、回路構成をシンプルにできる。更に、
人工動画像を生成した後、人の手によって画像に修正を
加える必要がない。The moving image generator 45 multiplies each element of the inner product G ^, (t) input from the inner product generator 44 by each base of the DCT, calculates the sum thereof, and outputs it as an artificial moving image S45 as an image output terminal 46. Output to That is, an artificial moving image Q (t ^, ) is generated using the following equation (36). ^{Q (t,) = G,} 11 (t,) Ω 11 + G, 12 (t,) Ω 12 + ... + G, 1N (t,) Ω 1N + G, 21 (t,) Ω 21 + ... + G, MN ( t ^, ) Ω _MN (36) As described above, the fifth embodiment has the following advantages. The inner product of the basis of the orthogonal transformation, the moving image P (t) and the still image Q is obtained, and the matching between the two inner products is performed, and the inner product of the still image Q is made similar to the inner product of the moving image P (t). By changing in the time direction, an artificial moving image Q (t ^, ) is generated from the still image Q. Since the orthogonal transform used in the present embodiment is a transform whose base is determined by the size of the image, such as DCT or Fourier transform, it is not necessary to calculate the base according to the type of the object. for that reason,
The artificial moving image Q (t ^, ) can be generated from the still image Q by a common method irrespective of the type of the object, and when realized by hardware, the circuit configuration can be simplified. Furthermore,
After the generation of the artificial moving image, there is no need to manually modify the image.

【００５８】尚、本発明は上記実施形態に限定されず、
種々の変形が可能である。その変形例としては、例えば
次の（ａ）〜（ｄ）ようなものがある。 （ａ） 第１及び第２の実施形態では、第１の相関行列
生成部１１に入力する画像を動画像Ｐ（ｔ）の時間ｔ＝
０における１フレームとしたが、これは任意の時間の１
フレームの画像でもよい。 （ｂ） 実施形態では、基底のマッチングをユークリッ
ド距離の２乗が最小となる条件で行っているが、マッチ
ングはこの手法に限らない。 （ｃ） 第１〜４の実施形態では、動画像Ｐ（ｔ）を直
交変換を用いて表わし、静止画像Ｑから直交変換を用い
て基底を求め、動画像Ｐ（ｔ）から求めた基底とマッチ
ングをとり、静止画像Ｑから求めた基底に該基底と対応
する動画像Ｐ（ｔ）から求めた内積値を掛け合わせ、そ
の線形和をとることにより、人工動画像Ｑ （ｔ）を生
成している。この場合、動画像Ｐ（ｔ）に施す直交変換
と静止画Ｑに施す直交変換は、同じ直交変換である必要
はなく、動画像Ｐ（ｔ）から求めた基底と静止画像Ｑか
ら求めた基底とが異なるものであればよい。但し、静止
画像Ｑに施す直交変換は、基底が該静止画像Ｑの特徴を
表わす必要があり、例えばＤＣＴのように画像によらず
一定の基底を用いる直交変換ではなく、特異値分解やＫ
Ｌ変換のように画像により最適な基底を算出する直交変
換を用いる必要がある。動画像Ｐ（ｔ）に施す直交変換
は、特に限定されない。 （ｄ） 第５の実施形態では、直交変換としてＤＣＴを
用いて説明しているが，動画像Ｐ（ｔ）と静止画像Ｑに
ついて同じ基底を用いる場合、例えばフーリエ変換等の
他の直交変換を用いてもよい。The present invention is not limited to the above embodiment,
Various modifications are possible. For example, the following modifications (a) to (d) are available. (A) In the first and second embodiments, the image input to the first correlation matrix generation unit 11 is obtained by calculating the time t =
1 frame at 0, but this is 1 frame at any time
It may be a frame image. (B) In the embodiment, the matching of the basis is performed under the condition that the square of the Euclidean distance is minimized, but the matching is not limited to this method. (C) In the first to fourth embodiments, the moving image P (t) is represented by using the orthogonal transformation, the base is obtained from the still image Q by using the orthogonal transformation, and the base obtained from the moving image P (t) is An artificial moving image Q (t) is generated by performing matching, multiplying a base obtained from the still image Q by an inner product value obtained from the moving image P (t) corresponding to the base, and taking a linear sum thereof. ing. In this case, the orthogonal transformation performed on the moving image P (t) and the orthogonal transformation performed on the still image Q need not be the same orthogonal transformation, and the base obtained from the moving image P (t) and the base obtained from the still image Q are not necessary. Should just be different. However, the orthogonal transform to be applied to the still image Q requires that the basis represents the feature of the still image Q. For example, it is not an orthogonal transform using a constant basis regardless of the image as in DCT, but a singular value decomposition or K
It is necessary to use an orthogonal transformation such as an L transformation that calculates an optimal basis from an image. The orthogonal transformation performed on the moving image P (t) is not particularly limited. (D) In the fifth embodiment, the DCT is used as the orthogonal transform. However, when the same base is used for the moving image P (t) and the still image Q, another orthogonal transform such as a Fourier transform is used. May be used.

【００５９】[0059]

【発明の効果】以上詳細に説明したように、第１の発明
によれば、動画像から第１の基底を求め、該第１の基底
と動画像との内積値を計算し、静止画像から第２の基底
を求めて第１の発明の基底とマッチングをとり、第２の
基底に動画像から求めた内積値を画素毎に掛けてその和
を計算するようにしたので、オブジェクトの種類に無関
係に共通の方法で静止画像を動画像化した人工動画像を
生成できる。第２の発明によれば、動画像から第１の基
底を求め、該第１の基底と動画像との内積値を計算し、
静止画像から求めた少数の限定された第２の基底を求
め、離れた地点に該内積値と第２の基底を伝送し、静止
画像を動画像化した人工動画像を生成できる。この第２
の発明では、少数の限定された第２の基底に限定するこ
とによって動画像と第２の基底との内積の計算に要する
時間、画像データの伝送時間、及び離れた地点における
人工動画像の生成に要する時間の短縮を図ることができ
る。As described above in detail, according to the first aspect, a first base is obtained from a moving image, an inner product value of the first base and the moving image is calculated, and the inner product is calculated from the still image. Since the second base is obtained and matched with the base of the first invention, the inner product value obtained from the moving image is multiplied for each pixel by the second base, and the sum is calculated. Irrespective of this, it is possible to generate an artificial moving image obtained by moving a still image into a moving image by a common method. According to the second invention, a first base is obtained from a moving image, and an inner product value of the first base and the moving image is calculated.
It is possible to obtain a small number of limited second bases obtained from the still image, transmit the inner product value and the second base to distant points, and generate an artificial moving image obtained by converting the still image into a moving image. This second
In the invention, the time required for calculating the inner product of the moving image and the second base, the transmission time of the image data, and the generation of the artificial moving image at a distant point are limited to a limited number of the second bases. Can be shortened.

【００６０】第３の発明によれば、第１又は第２の発明
のマッチング処理において、基本図形の行ベクトル同士
の内積と列ベクトル同士の内積の積の最大値を求めるこ
とによってマッチングをとるようにしたので、基本図形
のマッチング処理を高速化できる。第４の発明によれ
ば、構成要素内に記憶されたＤＣＴの基底を用いて処理
を行うようにしたので、動画像のフレーム毎に基底を計
算する必要がない。更に、ＤＣＴの基底は構成要素間で
伝達の必要がないので、動画像生成装置をハードで構成
する場合、回路構成をシンプルにできる。第５及び第６
の発明によれば、直交変換の基底と動画像及び静止画像
との内積をそれぞれ求め、２つの内積の間でマッチング
をとり、静止画像の内積を動画像の内積と相似形に時間
方向に変化させることにより、静止画像を動画像化した
人工動画像を生成できる。この第５及び第６の発明で用
いる直交変換は、ＤＣＴやフーリエ変換等、画像のサイ
ズによって基底が決まる変換なので、基底をオブジェク
トの種類に応じて計算する必要がない。そのため、オブ
ジェクトの種類によらず共通の方法で静止画像から人工
動画像を生成でき、ハードウェアで実現する場合には、
回路構成をシンプルにできる。又、人工動画像を生成し
た後、画像に修正を加える必要がない。According to the third aspect, in the matching processing of the first or second aspect, matching is performed by obtaining the maximum value of the inner product between row vectors and the inner product between column vectors of the basic figure. Therefore, the matching processing of the basic figure can be speeded up. According to the fourth aspect, since the processing is performed using the DCT base stored in the component, it is not necessary to calculate the base for each frame of the moving image. Further, since the base of the DCT does not need to be transmitted between the components, the circuit configuration can be simplified when the moving image generating apparatus is configured by hardware. Fifth and sixth
According to the invention, the inner product between the base of the orthogonal transformation, the moving image and the still image is obtained, matching is performed between the two inner products, and the inner product of the still image is changed in the time direction in a similar manner to the inner product of the moving image. By doing so, it is possible to generate an artificial moving image obtained by converting a still image into a moving image. Since the orthogonal transform used in the fifth and sixth aspects of the present invention is a transform whose base is determined by the size of the image, such as DCT or Fourier transform, it is not necessary to calculate the base according to the type of the object. Therefore, an artificial moving image can be generated from a still image by a common method regardless of the type of an object.
The circuit configuration can be simplified. Further, there is no need to modify the image after generating the artificial moving image.

【図面の簡単な説明】[Brief description of the drawings]

【図１】本発明の第１の実施形態の動画像生成装置の構
成図である。FIG. 1 is a configuration diagram of a moving image generation device according to a first embodiment of the present invention.

【図２】特異値分解を説明する図である。FIG. 2 is a diagram illustrating singular value decomposition.

【図３】動画像生成部の動作を説明する図である。FIG. 3 is a diagram illustrating an operation of a moving image generation unit.

【図４】本発明の第２の実施形態の動画像生成装置の構
成図である。FIG. 4 is a configuration diagram of a moving image generation device according to a second embodiment of the present invention.

【図５】本発明の第３の実施形態の動画像生成装置の構
成図である。FIG. 5 is a configuration diagram of a moving image generation device according to a third embodiment of the present invention.

【図６】本発明の第４の実施形態の動画像生成装置の構
成図である。FIG. 6 is a configuration diagram of a moving image generation device according to a fourth embodiment of the present invention.

【図７】本発明の第５の実施形態の動画像生成装置の構
成図である。FIG. 7 is a configuration diagram of a moving image generation device according to a fifth embodiment of the present invention.

【図８】図７中の内積生成部の動作を説明する図であ
る。FIG. 8 is a diagram for explaining the operation of the inner product generation unit in FIG. 7;

【符号の説明】[Explanation of symbols]

Ｓ１２ａ，Ｓ１２ｂ，Ｓ３２ 固有ベクトル
（第１の基底） Ｓ１２ｃ 基本図形（第１
の基底） Ｓ１３，Ｓ２４ 内積値 Ｓ１５ａ，Ｓ１５ｂ，Ｓ３５ 固有ベクトル
（第２の基底） Ｓ１５ｃ，Ｓ２２ 基本図形（第２
の基底） Ｓ１６，Ｓ２３，Ｓ３６，Ｓ４３ マッチング結果 Ｓ１７，Ｓ２５，Ｓ３９，Ｓ４５ 人工動画像 Ｓ４１ 内積値（動画像
の基底方向の成分） Ｓ４２ 内積値（静止画
像の基底方向の成分） Ｐ（ｔ） 動画像 Ｑ 静止画像S12a, S12b, S32 Eigenvector (first basis) S12c Basic figure (first
S13, S24 Inner product values S15a, S15b, S35 Eigenvectors (second basis) S15c, S22 Basic figures (second
S16, S23, S36, S43 Matching results S17, S25, S39, S45 Artificial moving image S41 Inner product value (base component of moving image) S42 Inner product value (base component of still image) P (t) Moving image Q Still image

Claims (6)

【特許請求の範囲】[Claims] 【請求項１】 動画像の或る１フレームに対して直交変
換を施して第１の基底を求める第１の基底生成処理と、 前記第１の基底と前記動画像の任意の時間のフレームと
の内積値をフレーム毎に算出する内積値算出処理と、 前記動画像と同種の物体の静止画像に対して直交変換を
施して第２の基底を求める第２の基底生成処理と、 前記第１の基底と前記第２の基底との近似度を検出し、
該第１の基底と該第２の基底との最も近似した場合の基
底の組み合わせを表すマッチング結果を生成するマッチ
ング処理と、 前記マッチング結果に基づいて前記第２の基底と該第２
の基底に対応する前記動画像から求めた前記内積値とを
掛け合わせ、それらの和をとることによって前記静止画
像を動画像化した人工動画像を生成する動画像生成処理
とを、 行うことを特徴とする動画像生成方法。A first base generation process for performing an orthogonal transformation on a certain frame of a moving image to obtain a first base; and a first base and a frame at an arbitrary time of the moving image. An inner product value calculation process of calculating an inner product value of each frame for each frame; a second base generation process of performing orthogonal transformation on a still image of an object of the same kind as the moving image to obtain a second base; Detecting the degree of approximation between the base of
A matching process for generating a matching result representing a combination of the first base and the second base in the case of the closest approximation; and, based on the matching result, the second base and the second base.
Multiplying the inner product value obtained from the moving image corresponding to the basis of the moving image, and generating a sum thereof to generate an artificial moving image obtained by converting the still image into a moving image. Characteristic moving image generation method. 【請求項２】 動画像の或る１フレームに対して直交変
換を施して第１の基底を求める第１の基底生成処理と、 前記動画像と同種の物体の静止画像に対して直交変換を
施して基底を求め、該基底のうちの少数の限定された第
２の基底を求める第２の基底生成処理と、 前記第１の基底と前記第２の基底との近似度を検出し、
該第１の基底と該第２の基底との最も近似した場合の基
底の組み合わせを表すマッチング結果を生成するマッチ
ング処理と、 前記マッチング結果に基づいて限定された前記第１の基
底と前記動画像の任意の時間のフレームとの内積値をフ
レーム毎に算出する内積値算出処理と、 前記第２の基底と該第２の基底に対応する前記動画像と
の内積値とを離れた地点に伝送し、該離れた地点で該第
２の基底と該内積値とを掛け合わせ、それらの和をとる
ことによって該離れた地点で前記静止画像を動画像化し
た人工動画像を生成する動画像生成処理とを、 行うことを特徴とする動画像生成方法。2. A first basis generation process for performing an orthogonal transformation on a certain frame of a moving image to obtain a first basis, and performing an orthogonal transformation on a still image of an object similar to the moving image. Performing a second basis generation process for obtaining a limited number of second bases among the bases, detecting an approximation degree between the first base and the second basis,
A matching process for generating a matching result indicating a combination of the first base and the second base in the case of the closest approximation; and the first base and the moving image limited based on the matching result Inner product value calculation processing for calculating an inner product value with a frame at an arbitrary time for each frame, and transmitting an inner product value between the second base and the moving image corresponding to the second base to a distant point A moving image generation method for multiplying the second base by the inner product value at the distant point and taking the sum thereof to generate an artificial moving image obtained by moving the still image at the distant point. And a process. 【請求項３】 前記直交変換に特異値分解を用いる場
合、前記マッチング処理において、前記第１の基底と前
記第２の基底との内積の最大値を求めることによって前
記マッチング結果を生成することを特徴とする請求項１
又は２記載の動画像生成方法。3. When the singular value decomposition is used for the orthogonal transformation, the matching processing may include generating a maximum value of an inner product between the first base and the second base to generate the matching result. Claim 1.
Or the moving image generation method according to 2. 【請求項４】 画像を離散コサイン変換して予め求めた
第１の基底と動画像の任意の時間のフレームとの内積値
をフレーム毎に算出する内積値算出処理と、 前記動画像と同種の物体の静止画像に対して直交変換を
施して第２の基底を求める基底生成処理と、 前記第１の基底と前記第２の基底との近似度を検出し、
該第１の基底と該第２の基底との最も近似した場合の基
底の組み合わせを表すマッチング結果を生成するマッチ
ング処理と、 前記マッチング結果に基づいて前記第２の基底と該第２
の基底に対応する前記動画像から求めた前記内積値とを
掛け合わせ、それらの和をとることによって前記静止画
像を動画像化した人工動画像を生成する動画像生成処理
とを、 行うことを特徴とする動画像生成方法。4. An inner product value calculation process of calculating an inner product value between a first base previously obtained by performing discrete cosine transform of an image and a frame at an arbitrary time of a moving image for each frame; Base generation processing for performing orthogonal transformation on a still image of an object to obtain a second base, detecting an approximation degree between the first base and the second base,
A matching process for generating a matching result representing a combination of the first base and the second base in the case of the closest approximation; and, based on the matching result, the second base and the second base.
Multiplying the inner product value obtained from the moving image corresponding to the basis of the moving image, and generating a sum thereof to generate an artificial moving image obtained by converting the still image into a moving image. Characteristic moving image generation method. 【請求項５】 動画像の各フレームの基底の方向の成分
である第１の基底方向成分をフレーム毎に求める第１の
基底方向成分計算処理と、 前記動画像と同種の物体の静止画像の基底の方向の成分
である第２の基底方向成分を求める第２の基底方向成分
計算処理と、 前記第１の基底方向成分と前記第２の基底方向成分との
近似度を検出し、該第１の基底方向成分と該第２の基底
方向成分とが最も近似する時刻を表すマッチング時刻を
生成するマッチング処理と、 前記第２の基底方向成分を前記マッチング時刻からの前
記第１の基底方向成分の変化と相似形に時間方向に変化
させ、該第２の基底方向成分に対応する前記動画像の基
底を掛け合わせ、それらの和をとることによって前記静
止画像を動画像化した人工動画像を生成する動画像生成
処理とを、 行うことを特徴とする動画像生成方法。5. A first base direction component calculation process for obtaining, for each frame, a first base direction component which is a base direction component of each frame of a moving image, and a first base direction component calculation process of a still image of an object of the same kind as the moving image. A second base direction component calculation process for obtaining a second base direction component that is a component in the base direction; detecting a degree of approximation between the first base direction component and the second base direction component; A matching process for generating a matching time indicating a time at which the first base direction component and the second base direction component are closest to each other; and converting the second base direction component to the first base direction component from the matching time. Is changed in the time direction in a manner similar to the change of the base image, the base of the moving image corresponding to the second base direction component is multiplied, and the sum thereof is taken to obtain an artificial moving image obtained by converting the still image into a moving image. Moving image generation processing to generate And a moving image generation method. 【請求項６】 前記基底に直交変換の基底を用いる場
合、画像の基底方向の成分に画像と基底との内積値を用
いることを特徴とする請求項５記載の動画像生成方法。6. The moving image generation method according to claim 5, wherein when the basis of the orthogonal transformation is used as the basis, an inner product value of the image and the basis is used as a component in a direction of the basis of the image.