JP2002521944A - Method and apparatus for determining motion experienced by a digital image - Google Patents

Abstract

(57)【要約】 画像は、画像ブロックにグループ化されるピクセルを含む。画像ブロック毎に動き推定を実行する（ステップ５０２，５０３，５０４，５０５）。ここで求められた動きベクトルは、これがデジタル画像の所定の領域にある画像ブロックに配属されている場合に選択される（ステップ５０６）。選択されたこれらの動きベクトルから、動きモデルのパラメタが求められ（ステップ５０７）、デジタル画像の動きが、求めたこの動きモデルによって表される。 (57) Summary An image contains pixels that are grouped into image blocks. Motion estimation is performed for each image block (steps 502, 503, 504, and 505). The motion vector obtained here is selected when it is assigned to an image block in a predetermined area of the digital image (step 506). From these selected motion vectors, the parameters of the motion model are determined (step 507), and the motion of the digital image is represented by the determined motion model.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】 本発明は、デジタル画像が被る動きを求めることに関する。The present invention relates to determining the motion experienced by a digital image.

【０００２】 デジタル画像が被る動きを求める方法は、文献[１]および[２]から公知である
。[0002] A method for determining the motion experienced by a digital image is known from documents [1] and [2].

【０００３】 文献[１]の方法ではグローバルな相対的動きが、カメラと、このカメラによっ
て記録した画像の列との間で決定される。カメラの画像安定化の領域に使用され
る文献[１]の方法は極めて不精確な動きモデルに基づいており、この動きモデル
ではカメラの傾きだけしか表すことができない。In the method of document [1], a global relative movement is determined between a camera and a sequence of images recorded by the camera. The method of Ref. [1] used in the area of camera image stabilization is based on a very inaccurate motion model, which can only represent the camera tilt.

【０００４】 グローバルな動きを決定する際に極めて不精確であるというこの欠点は、文献
[２]の方法にも内在している。この方法はデジタル画像のセグメント化に領域に
使用される。[0004] This drawback of being extremely inaccurate in determining global movements is described in the literature.
The method of [2] is inherent. This method is used for segmenting digital images into regions.

【０００５】 精確さを改善するために、複雑な動きモデルに基づいて動きを求めることが公
知であり、ここでこのモデルは、画像に含まれるピクセルの面において、デジタ
ル画像の傾斜を用いることによって決定される文献[３]。しかしながらこの方法
は繁雑であり、したがって極めて長い計算時間をかけなければ実行できない。In order to improve the accuracy, it is known to determine the motion based on a complex motion model, which model uses the slope of the digital image in the plane of the pixels involved in the image. Reference [3] to be determined. However, this method is complicated and therefore cannot be performed without taking a very long calculation time.

【０００６】 さらに文献[４]からいわゆる動き推定方法が、ブロックベースの画像符号化方
法の領域において公知である。この方法で前提とされるのは、デジタル画像が、
通例８＊８ピクセルまたは１６＊１６ピクセルの画像ブロックにグループ化され
るピクセルを有することである。A so-called motion estimation method is also known from document [4] in the area of block-based image coding methods. This method assumes that the digital image is
Typically, having pixels grouped into image blocks of 8 * 8 pixels or 16 * 16 pixels.

【０００７】 以下では画像ブロックとは、例えば８＊８ピクセルまたは１６＊１６ピクセル
からなる画像ブロックのことも、画像ブロックの集合、例えば、６画像ブロック
（輝度情報を有する４画像ブロックと色情報を有する２画像ブロック）を含むい
わゆるマクロブロックのことも示すと理解されたい。In the following, an image block refers to an image block consisting of, for example, 8 * 8 pixels or 16 * 16 pixels, or a set of image blocks, for example, 6 image blocks (4 image blocks having luminance information and color information It is to be understood that it also refers to so-called macroblocks comprising

【０００８】 時間的に連続する画像の列においては、符号化すべき各画像に対して、この符
号化すべき画像に含まれる画像ブロック毎に、および時間的に先行するすでに符
号化された各画像に対して画像ブロック毎に次の方法を実行する： − 時間的に先行する画像の、動き推定が実行される画像ブロックに対して、
時間的に先行する画像において同じ相対的位置にありかつ以下では先行する画像
ブロックと称する画像ブロックを出発して、エラーの尺度であるエラー値を形成
する。ここでこのエラー値形成は、例えば、画像ブロックおよび先行する画像ブ
ロックの、ピクセルに配属された符号化情報の差分値について和を形成すること
によって行われる。In a sequence of temporally consecutive images, for each image to be coded, for each image block contained in the image to be coded, and for each previously coded image that precedes in time, For each image block, the following method is performed: For the image block on which the motion estimation is performed, of the temporally preceding image,
Starting from the image block which is at the same relative position in the temporally preceding image and is hereinafter referred to as the preceding image block, an error value which is a measure of the error is formed. Here, this error value formation is performed, for example, by forming the sum of the difference values of the coding information assigned to the pixels of the image block and the preceding image block.

【０００９】 ここで符号化情報とは、ピクセルにそれぞれ配属されている輝度情報（ルミナ
ンス値）および／または色情報（クロミナンス値）のことであると理解されたい
。Here, it should be understood that the coding information is luminance information (luminance value) and / or color information (chrominance value) assigned to each pixel.

【００１０】 − 所定の大きさおよび形状のサーチ空間において、時間的に先行する画像に
おける出発点を中心として、画像ブロック（先行する画像ブロック）と同じ大き
さの各領域が、それぞれ１ピクセルまたは半ピクセルだけシフトされて、エラー
尺度であるエラー値が再度形成される。In a search space of a predetermined size and shape, each region of the same size as an image block (preceding image block) is centered on a starting point in a temporally preceding image, and each region is one pixel or half. The error value, which is the error measure, is again formed, shifted by pixels.

【００１１】 − これによってｎ＊ｎピクセルの大きさのサーチ空間においてｎ^２のエラー
値が得られる。ここでは「シフトされた」先行する画像ブロックを時間的に先行
する画像において選択して、この画像ブロックに対してはエラー尺度が最小のエ
ラー値になるようにする。この画像ブロックに対して仮定されるのは、この先行
する画像ブロックが、符号化すべき画像の、動き推定が実行される画像ブロック
に最良に一致することである。This gives n ² error values in a search space of size n * n pixels. Here, the "shifted" preceding image block is selected in the temporally preceding image so that the error measure for this image block is the minimum error value. What is assumed for this image block is that the preceding image block best matches the image block of the image to be coded on which the motion estimation is performed.

【００１２】 − 動き推定の結果は動きベクトルであり、この動きベクトルによって、符号
化すべき画像の画像ブロックと、時間的に先行する画像の選択した画像ブロック
との間のシフトが表される。The result of the motion estimation is a motion vector, which represents the shift between the image block of the image to be coded and the selected image block of the temporally preceding image.

【００１３】 − ブロックベースの画像符号化における画像データ圧縮は、動きベクトルと
エラー信号とを符号化するだけで達成される。Image data compression in block-based image coding is achieved only by coding motion vectors and error signals.

【００１４】 − 動き推定は画像の画像ブロック毎に実行される。The motion estimation is performed for each image block of the image.

【００１５】 しかしながら文献[４]に記載された方法では、「グローバルな」動き推定、す
なわちカメラと、このカメラによって記録されたシーンとの間の動きを求めるこ
とができない。However, the method described in document [4] does not allow for a “global” motion estimation, ie the motion between the camera and the scene recorded by this camera.

【００１６】 これは殊に画像の不均質性が原因であり、このような画像は、画像内で別個に
動く多数の対象体を有する。This is due in particular to the inhomogeneity of the images, such images having a large number of objects that move independently in the image.

【００１７】 動き推定をブロックベースの画像符号化または対象体ベースの画像符号化へ適
用することは、文献[５]および[６]から公知である。The application of motion estimation to block-based or object-based image coding is known from documents [5] and [6].

【００１８】 したがって本発明の課題は、デジタル画像が被る動きを簡単、高速かつコスト
的に有利に求めて表すことである。It is therefore an object of the invention to provide a simple, fast and cost-effective way to represent the movements experienced by digital images.

【００１９】 この課題は、請求項１の方法ならびに請求項１０の装置によって解決される。This object is achieved by a method according to claim 1 and a device according to claim 10.

【００２０】 デジタル画像が被る動きを計算機の支援によって求めるこの方法には、つぎの
ステップが含まれる： − デジタル画像は、画像ブロックにグループ化されるピクセルを含んでおり
、 − 画像ブロック毎に動き推定を実行し、これによって画像ブロック毎に動き
ベクトルを求め、これを各画像ブロックに配属し、 − デジタル画像の所定の領域に存在する画像ブロックに配属された動きベク
トルを選択し、 − これらの選択された動きベクトルから、動きモデルのパラメタを求め、 − デジタル画像の動きを、求めた動きモデルによって表す。The method for determining the movements suffered by a digital image with the aid of a computer comprises the following steps: the digital image comprises pixels grouped into image blocks; Performing an estimation, thereby obtaining a motion vector for each image block, assigning it to each image block, selecting a motion vector assigned to an image block present in a predetermined area of the digital image, Determining the parameters of the motion model from the selected motion vector, and representing the motion of the digital image by the determined motion model.

【００２１】 デジタル画像が被る動きを計算機の支援によって求める装置は、つぎのステッ
プを実行できるように設けられたプロセッサを有する： − デジタル画像は、画像ブロックにグループ化されるピクセルを含んでおり
、 − 画像ブロック毎に動き推定を実行し、これによって画像ブロック毎に動き
ベクトルを求め、これを各画像ブロックに配属し、 − デジタル画像の所定の領域に存在する画像ブロックに配属されていた動き
ベクトルを選択し、 − これらの選択された動きベクトルから、動きモデルのパラメタを求め、 − デジタル画像の動きを、求めた動きモデルによって表す。A device for determining the movements suffered by a digital image with the aid of a computer has a processor arranged to perform the following steps: the digital image comprises pixels grouped into image blocks; Performing a motion estimation for each image block, thereby obtaining a motion vector for each image block, and assigning this to each image block; and- a motion vector assigned to an image block present in a predetermined area of the digital image. From these selected motion vectors, the parameters of the motion model are determined, and the motion of the digital image is represented by the determined motion model.

【００２２】 このような手段によって、効率的かつ簡単であり、したがってコスト的に有利
にも格段に少ない計算で実行可能な方法と、したがってコスト的に有利に実現可
能な装置とが提供される。By such means, a method is provided which is efficient and simple, and thus can be implemented cost-effectively with significantly less computation, and thus a device which can be implemented cost-effectively.

【００２３】 具体的には本発明の特徴は、ブロックベースの画像符号化の際にいずれにせよ
求められる動きベクトルを使用して、グローバルな動きをカメラと、このカメラ
によって記録したシーンとの間で求めることにある。Specifically, a feature of the present invention is that a global motion between a camera and a scene recorded by the camera is obtained by using a motion vector obtained in any case in block-based image coding. It is to ask in.

【００２４】 しかしながら動きをもとめる際には、所定の領域にある画像ブロックに配属さ
れた動きベクトルだけを考慮する。However, when determining the motion, only the motion vectors assigned to the image blocks in the predetermined area are considered.

【００２５】 本発明の有利な発展形態は従属請求項に記載されている。Advantageous developments of the invention are described in the dependent claims.

【００２６】 本発明の１実施形態では有利にも、所定の領域を画像ブロックによって形成す
し、ここでこれら画像ブロックは、デジタル画像の縁部から所定の第１間隔に位
置し、および／またはデジタル画像の中央部から所定の間隔に位置する。Advantageously, in one embodiment of the invention, the predetermined areas are formed by image blocks, wherein the image blocks are located at a first predetermined distance from the edge of the digital image and / or It is located at a predetermined interval from the center of the image.

【００２７】 この発展形態が基づいている知識は、画像の縁部にある画像ブロックの動きベ
クトルが、一般的には実際の動きを低い信頼性でしか示さないことである。さら
に画像の中央部の周りでグループ化された画像ブロックに配属されている動きベ
クトルは、カメラのズームおよび回転を低い信頼性でしか示すことができないの
である。The knowledge upon which this development is based is that the motion vectors of the image blocks at the edges of the image generally show actual motion with low reliability. Furthermore, the motion vectors assigned to the image blocks grouped around the center of the image can only indicate with low reliability the zoom and rotation of the camera.

【００２８】 具体的にはこの所定の領域はこの場合、「穴の空いた」矩形の「マスク」をデ
ジタル画像内で形成する。Specifically, in this case, the predetermined area forms a rectangular “mask” with “holes” in the digital image.

【００２９】 別の発展形態の特徴は、動きモデルの決定の際に反復が行われることにある。
ここでこの反復は、動きモデルのパラメタを決定した後、「マスク」を変更し、
この変更された「マスク」によって動きモデルのパラメタを新たに計算すること
によって行われる。ここでこの「マスク」は例えばつぎにようにして変更可能で
ある。すなわち動きベクトルが動きモデルの動きベクトルと異なりかつこの偏差
が所定の間隔尺度について閾値を上回るブロックを、この所定の領域から除去す
ることによって変更することができるのである。A feature of another development is that iterations are performed in determining the motion model.
Here, this iteration changes the "mask" after determining the parameters of the motion model,
This is performed by newly calculating the parameters of the motion model using the changed “mask”. Here, the "mask" can be changed, for example, as follows. That is, blocks can be changed by removing blocks from this predetermined area whose motion vectors differ from those of the motion model and whose deviation exceeds a threshold for a predetermined interval measure.

【００３０】 別の実施形態の特徴は、動きが殊に高い信頼性で推定することのできた画像ブ
ロックによって所定の領域を形成することにある。これは例えば、所属の予測エ
ラーが所定の閾値を下回るか、または予測エラーの変形がサーチ領域において閾
値を上回るかによって識別することができる。A feature of another embodiment is that the predetermined area is formed by image blocks whose motion can be estimated with particularly high reliability. This can be identified, for example, by whether the associated prediction error is below a predetermined threshold, or whether the deformation of the prediction error is above the threshold in the search area.

【００３１】 さらにこれまで説明した２値の「マスク」の代わりに「重み付けマスク」を使
用することができる。ここではこれまで説明したようにブロックないしはそれら
の動きベクトルを後続の計算に対して離散的に選択するのではなく、これらのブ
ロックないしはそれらの動きベクトルを係数によって重み付けする。これらの重
み付けは動きベクトルのＸ成分およびＹ成分について異なっていてもよい。これ
らの重み付けは動きモデルのパラメタの計算に使用される。Further, a “weighting mask” can be used instead of the binary “mask” described above. Here, instead of discretely selecting the blocks or their motion vectors for subsequent calculations as described above, these blocks or their motion vectors are weighted by coefficients. These weightings may be different for the X and Y components of the motion vector. These weights are used to calculate the parameters of the motion model.

【００３２】 求めた動きは、画像を記録した装置の実際の動きの補償に使用可能である。The determined motion can be used to compensate for the actual motion of the device that recorded the image.

【００３３】 本発明は、カメラの動き補償または、カメラを含む移動式通信装置の動き補償
に使用することができる。The present invention can be used for motion compensation of a camera or of a mobile communication device including a camera.

【００３４】 本発明の実施例を図面に示し、以下詳しく説明する。An embodiment of the present invention is shown in the drawings and will be described in detail below.

【００３５】 ここで、 図１は、実施例の具体的な基本原理を示すブロックを示しており、 図２は、カメラと、このカメラによって記録した画像列を符号化する符号化ユ
ニットとを有する装置の概略と、符号化された画像列を復号化する装置とを示し
ており、 図３は、画像符号化およびグローバルな動き補償のための装置の詳細化された
概略を示しており、 図４ａ〜ｃはそれぞれ、画像に対する動きベクトル場が時間的に先行する画像
に対して示されており、所定の領域を有する図（図１ａ）（ここからそれぞれ、
動きモデルのパラメタを形成する動きベクトルが求められて決定される）と、す
べての動きベクトルを有する画像（図１ｂ）と、本発明の方法を反復した後の動
きベクトルを有する、図１ａに示した所定の領域を有する図（図１ｃ）とを示し
ており、 図５は、実施例の方法ステップを説明する流れ図を示している。Here, FIG. 1 shows a block showing a specific basic principle of the embodiment, and FIG. 2 has a camera and an encoding unit for encoding an image sequence recorded by the camera. Fig. 3 shows a device overview and a device for decoding an encoded image sequence; Fig. 3 shows a detailed overview of a device for image coding and global motion compensation; 4a to 4c each show the image in which the motion vector field for the image temporally precedes and has a predetermined region (FIG. 1a) (from here,
The motion vectors forming the parameters of the motion model are determined and determined), the image with all the motion vectors (FIG. 1b) and the motion vectors after the method of the invention is repeated, as shown in FIG. 1a. FIG. 1c having a predetermined region, and FIG. 5 shows a flowchart illustrating the method steps of the embodiment.

【００３６】 図２には、２つの計算機２０２，２０８と、カメラ２０１とを含む装置が示さ
れており、ここでは画像符号化、画像データの伝送および画像復号化を説明する
。FIG. 2 shows an apparatus including two computers 202 and 208 and a camera 201. Here, image encoding, transmission of image data, and image decoding will be described.

【００３７】 カメラ２０１は、第１計算機２０２に線路２１９を介して接続されている。カ
メラ２０１は、記録した画像２０４を第１計算機２０２に伝送する。第１計算機
２０２は第１プロセッサ２０３を有しており、これはバス２１８を介して画像記
憶装置２０５に接続されている。第１計算機２０２の第１プロセッサ２０３によ
って画像符号化が実行される。このようにして符号化された画像データ２０６は
、第１計算機２０２から通信コネクション２０７、有利には線路または無線経路
を介して第２計算機２０８に伝送される。第２計算機２０８には第２プロセッサ
２０９が含まれており、これはバス２１０を介して画像記憶装置２１１に接続さ
れている。第２プロセッサ２０９によって、画像復号化が実行される。The camera 201 is connected to the first computer 202 via a line 219. The camera 201 transmits the recorded image 204 to the first computer 202. The first computer 202 has a first processor 203, which is connected to an image storage device 205 via a bus 218. Image encoding is executed by the first processor 203 of the first computer 202. The image data 206 encoded in this way is transmitted from the first computer 202 to the second computer 208 via a communication connection 207, preferably via a line or a wireless path. The second computer 208 includes a second processor 209, which is connected to the image storage device 211 via the bus 210. Image decoding is performed by the second processor 209.

【００３８】 第２計算機２０２も第２計算機２０８も共に、ディスプレイ２１２ないしは２
１３をそれぞれ有しており、ここで画像データ２０４が視覚化される。第１計算
機２０２および第２計算機２０８を操作するために、入力ユニット、有利にはキ
ーボード２１４ないしは２１５、ならびにコンピュータマウス２１６ないしは２
１７がそれぞれ設けられている。Both the second computer 202 and the second computer 208 have displays 212 or 2
13, where the image data 204 is visualized. To operate the first computer 202 and the second computer 208, an input unit, preferably a keyboard 214 or 215, and a computer mouse 216 or 2
17 are provided respectively.

【００３９】 カメラ２０１から線路２１９を介して第１計算機２０２に伝送される画像デー
タ２０４は時間領域のデータであり、これに対して第１計算機２０２から第２計
算機２０８に通信コネクション２０７を介して伝送されるデータ２０６は、スペ
クトル領域の画像データである。The image data 204 transmitted from the camera 201 to the first computer 202 via the line 219 is data in the time domain, whereas the image data 204 is transmitted from the first computer 202 to the second computer 208 via the communication connection 207. The transmitted data 206 is image data in the spectral domain.

【００４０】 ディスプレイ２２０には復号化された画像データが表示される。The display 220 displays the decoded image data.

【００４１】 図３は、Ｈ．２６３標準によるブロックベースの画像符号方式（文献[５]を参
照されたい）を実行する装置の概略を示している。FIG. 1 shows an outline of an apparatus for executing a block-based image coding scheme according to the H.263 standard (see Reference [5]).

【００４２】 時間的に連続するデジタル画像を有する、符号化すべきビデオデータストリー
ムは、画像符号化ユニット３０１に供給される。これらのデジタル画像はマクロ
ブロック３０２に分割され、ここで各マクロブロックは１６ｘ１６のピクセルを
有する。マクロブロック３０２には、４つの画像ブロック３０３，３０４，３０
５および３０６が含まれており、各画像ブロックは、ルミナンス値（輝度値）が
配属されている８ｘ８のピクセルを含む。さらに各マクロブロック３０２は、各
ピクセルに配属されたクロミナンス値（色情報、色飽和度）を有する２つのクロ
ミナンスブロック３０７および３０８を含んでいる。A video data stream to be coded, comprising a digital image that is continuous in time, is supplied to a picture coding unit 301. These digital images are divided into macroblocks 302, where each macroblock has 16x16 pixels. The macro block 302 includes four image blocks 303, 304, 30
5 and 306, each image block including an 8x8 pixel to which a luminance value is assigned. Furthermore, each macroblock 302 includes two chrominance blocks 307 and 308 having chrominance values (color information, color saturation) assigned to each pixel.

【００４３】 画像のブロックは、ルミナンス値（＝輝度値）と、第１クロミナンス値（＝色
階調）と、第２クロミナンス値（＝色飽和度）を含んでいる。ここではルミナン
ス値、第１クロミナンス値および第２クロミナンス値を色値と称する。A block of an image includes a luminance value (= luminance value), a first chrominance value (= color gradation), and a second chrominance value (= color saturation). Here, the luminance value, the first chrominance value, and the second chrominance value are referred to as color values.

【００４４】 画像ブロックは変換符号化ユニット３０９に供給される。差分画像符号化では
、時間的に先行する画像の画像ブロックの符号化すべき値が、目下符号化すべき
画像ブロックから減算され、差分形成情報３１０だけが変換符号化ユニット（Di
screte Cosine Transformation，ＤＣＴ）３０９に供給される。さらに線路３４
を介して目下のマクロブロック３０２が動き推定ユニット３２９に通知される。
変換符号化ユニット３０９では、符号化すべき画像ブロックないしは差分画像ブ
ロックに対してスペクトル係数３１１が形成され、これが量子化ユニット３１２
に供給される。The image blocks are supplied to a transform coding unit 309. In the difference image coding, the value to be coded of the image block of the temporally preceding image is subtracted from the image block to be coded at present, and only the difference formation information 310 is converted to the transform coding unit (Di).
(Ccrete Cosine Transformation, DCT) 309. Furthermore, the track 34
Is notified to the motion estimation unit 329 via.
In the transform coding unit 309, a spectral coefficient 311 is formed for the image block or the difference image block to be coded, and this is
Supplied to

【００４５】 量子化されたスペクトル係数３１３は、スキャンユニット３１４にも、帰還路
の逆量子化ユニット３１５にも供給される。スキャン手段、例えば「ジグザグ」
スキャン手段の後、スキャンニングされたスペクトル係数３３２にエントロピー
符号化が、このために設けられたエントロピー符号化ユニット３１６で実行され
る。エントロピー符号化されたスペクトル係数は、符号化された画像データ３１
７としてチャネル、有利には線路または無線経路を介して復号器に伝送される。The quantized spectral coefficients 313 are supplied to both the scan unit 314 and the inverse quantization unit 315 of the feedback path. Scanning means, for example "zigzag"
After the scanning means, entropy coding of the scanned spectral coefficients 332 is performed in an entropy coding unit 316 provided for this. The entropy-encoded spectral coefficients are encoded image data 31
As 7 it is transmitted to the decoder via a channel, preferably a line or a radio path.

【００４６】 逆量子化ユニット３１５では、量子化されたスペクトル係数３１３の逆量子化
が行われる。このようにして得られたスペクトル係数３１８は逆変換符号化ユニ
ット３１９（Inverse Discrete Cosine Transformation，ＩＤＣＴ）に供給され
る。再構成された符号化値３２０（差分符号化値と共に）は、差分画像モードで
加算器３２１に供給される。加算器３２１はさらに画像ブロックの符号化値を受
け取り、ここでこの符号化値は、時間的に先行する画像ブロックからすでに実行
した動き補償の後で得られる。加算器３２１により、再構成された画像ブロック
３２２が形成され、これが画像記憶装置３２３に記憶される。In the inverse quantization unit 315, the quantized spectral coefficients 313 are inversely quantized. The spectral coefficients 318 obtained in this way are supplied to an inverse transform coding unit 319 (Inverse Discrete Cosine Transformation, IDCT). The reconstructed encoded value 320 (along with the differential encoded value) is supplied to the adder 321 in the differential image mode. The adder 321 further receives the coded value of the image block, where the coded value is obtained after the already performed motion compensation from the temporally preceding image block. The reconstructed image block 322 is formed by the adder 321, and this is stored in the image storage device 323.

【００４７】 再構成された画像ブロック３２２のクロミナンス値３２４は、画像記憶装置３
２３から動き補償ユニット３２５に供給される。輝度値３２６に対しては補間が
、そのために設けられた補間ユニット３２７において行われる。この補間によっ
て各画像ブロックに含まれる輝度値の数が有利には２倍になる。すべての輝度値
３２８は、動き補償ユニット３２５にも動き推定ユニット３２９にも供給される
。動き推定ユニット３２９はさらに、それぞれ符号化すべきマクロブロック（１
６ｘ１６ピクセル）の画像ブロックを線路３３４を介して受け取る。動き推定ユ
ニット３２９では動き推定が、補間された輝度値の考慮の下に行われる（半ピク
セルベースの動き推定）。The chrominance value 324 of the reconstructed image block 322 is stored in the image storage device 3
23 to the motion compensation unit 325. Interpolation is performed on the luminance value 326 in an interpolation unit 327 provided for this. This interpolation advantageously doubles the number of luminance values contained in each image block. All luminance values 328 are provided to both the motion compensation unit 325 and the motion estimation unit 329. The motion estimation unit 329 further includes a macroblock (1
An image block (6 × 16 pixels) is received via line 334. In the motion estimation unit 329, the motion estimation is performed taking into account the interpolated luminance values (half-pixel based motion estimation).

【００４８】 動き推定の結果は動きベクトル３３０であり、この動きベクトルによって、時
間的に先行する画像から、符号化すべきマクロブロック３０２への、選択された
マクロブロックの位置的なズレが明らかになる。The result of the motion estimation is a motion vector 330, which reveals the positional deviation of the selected macroblock from the temporally preceding image to the macroblock 302 to be coded. .

【００４９】 動き推定ユニット３２９によって求めたマクロブロックに関する輝度情報もク
ロミナンス情報も共に、動きベクトル３３０の分だけシフトされ、マクロブロッ
ク３０２の符号化値から減算される（データ経路２３１を参照されたい）。Both the luminance and chrominance information for the macroblock determined by the motion estimation unit 329 are shifted by the motion vector 330 and subtracted from the coded value of the macroblock 302 (see data path 231). .

【００５０】 動き推定は、動き推定が実行される画像ブロック毎に、エラーＥを、時間的に
先行する画像の画像ブロックと同じ形状および大きさを有する領域に対して、例
えばつぎの規則にしたがって求めることによって行われる：In the motion estimation, for each image block in which the motion estimation is performed, an error E is calculated for a region having the same shape and size as the image block of the temporally preceding image, for example, according to the following rule. Done by asking:

【００５１】[0051]

【数１】 (Equation 1)

【００５２】 ここで − ｉ，ｊは、それぞれインデックスを示しており、 − ｎ，ｍは、画像ブロックに含まれる第１方向ｘに沿ったピクセルの数（ｎ
）ないしは第２方向ｙに沿ったピクセルの数（ｍ）を示しており、 ｘ_ｉ，ｊは、画像ブロックにおいてインデックスｉ，ｊによって示される相対
位置のピクセルに配属された符号化情報を示しており、 − ｘｄ_ｉ，ｊは、時間的に先行する画像の領域においてそれぞれｉ，ｊによ
って示されたピクセルに、所定の値ｄだけシフトして配属された符号化情報を示
しており、 − Ｓは、時間的に先行する画像における、所定の形状および大きさのサーチ
空間を示している。Here, −i, j indicate an index, respectively, and −n, m are the number of pixels (n, n) included in the image block along the first direction x.
) Or the number (m) of pixels along the second direction y, and x _{i, j} indicates coding information assigned to a pixel at a relative position indicated by index i, j in the image block. -Xdi _{, j} indicates the coded information shifted by a predetermined value d to the pixel indicated by _{i, j} in the temporally preceding image area, and -S Indicates a search space of a predetermined shape and size in an image preceding in time.

【００５３】 エラーＥの計算は、ブロック毎にズレが異なる毎にサーチ空間Ｓ内で実行され
る。時間的に先行する画像においてエラーＥが最小である画像ブロックが、動き
推定が実行される画像ブロックに最も近似しているブロックとして選択される。The calculation of the error E is executed in the search space S every time the deviation differs for each block. The image block with the smallest error E in the temporally preceding image is selected as the block that is closest to the image block on which the motion estimation is performed.

【００５４】 したがって動き推定の結果として、２つの動きベクトル成分を有する、すなわ
ち第１動きベクトル成分ＢＶ_ｘおよび第２動きベクトル成分ＢＶ_ｙをそれぞれ第
１方向ｘおよび第２方向ｙに沿って有する動きベクトル３３０が得られる：Therefore, as a result of the motion estimation, a motion having two motion vector components, that is, having a first motion vector component BV _x and a second motion vector component BV _y along a first direction x and a second direction y, respectively. The vector 330 is obtained:

【００５５】[0055]

【数２】 (Equation 2)

【００５６】 この動きベクトル３３０は画像ブロックに配属される。The motion vector 330 is assigned to an image block.

【００５７】 したがって図３の画像符号化ユニットは、すべての画像ブロックないしはマク
ロ画像ブロックに対して動きベクトル３３０を供給する。Thus, the picture coding unit of FIG. 3 supplies a motion vector 330 for every picture block or macro picture block.

【００５８】 動きベクトル３３０は、動きベクトル３３０の選択ないしは重み付けのための
ユニット３３５に供給される。動きベクトル３３５を選択するこのユニットでは
、所定の領域４０１（図４ａ参照）に存在する画像ブロックに配属されている動
きベクトル３３０が選択ないしは大きく重み付けされる。さらにユニット３３５
では、高い信頼性で推定された（３４２）動きベクトルが選択ないしは大きく重
み付けされる。The motion vector 330 is supplied to a unit 335 for selecting or weighting the motion vector 330. In this unit for selecting the motion vector 335, the motion vector 330 assigned to the image block present in the predetermined area 401 (see FIG. 4a) is selected or heavily weighted. Further unit 335
In (3), the (342) motion vector estimated with high reliability is selected or heavily weighted.

【００５９】 選択された動きベクトル３３６は、動きモデル３３７のパラメタを求めるユニ
ットに供給される。動きモデル３３７のパラメタを求めるこのユニットでは、選
択した動きベクトルから、以下に説明する動きモデルが図１にしたがって求めら
れる。The selected motion vector 336 is supplied to a unit for determining a parameter of the motion model 337. In this unit for obtaining the parameters of the motion model 337, the motion model described below is obtained from the selected motion vector according to FIG.

【００６０】 求められた動きモデル３３８は、カメラと、記録した画像との間の動きを補償
するユニット３３９に供給される。補償のためのユニット３３９では、以下に説
明する動きモデルに相応して動きを補償する。これにより、動きが補償されかつ
ぶれの少なくなった画像３４０が、あらかじめ処理されていない、動きを補償す
べき画像が記憶されている画像記憶装置３２３に、補償のためのユニット３３９
で処理された後、再度記憶される。The determined motion model 338 is supplied to a unit 339 for compensating the motion between the camera and the recorded image. The compensation unit 339 compensates for motion according to the motion model described below. As a result, the image 340 in which the motion is compensated and the blur is reduced is stored in the image storage device 323 which has not been processed in advance and in which the image whose motion is to be compensated is stored.
Is stored again after the processing.

【００６１】 図１はブロック回路図の形態で原理を示しており、この原理に基づいてグロー
バルな動きが求められる。FIG. 1 shows the principle in the form of a block circuit diagram, based on which a global movement is determined.

【００６２】 動きベクトル場１０１と、所定の領域ないしは重み付けマスク１０２と、信頼
性係数の重み付けマスク１０６とから出発して、以下に説明する動きモデル３３
８のパラメタが計算される（ステップ１０３）。Starting from a motion vector field 101, a predetermined area or weighting mask 102, and a reliability coefficient weighting mask 106, a motion model 33 described below will be described.
8 are calculated (step 103).

【００６３】 動きベクトル場１０１とは、１つの画像について、求めたすべての動きベクト
ル３３０の集合と理解されたい。動きベクトル場１０１は、図４ｂでは線によっ
て示されており、これらの線は１つずつの動きベクトル３３０を画像ブロック毎
に表している（４０２）。動きベクトル場４０２は、デジタル画像４００に概略
的に示されている。画像４００には、人間の形態の、それ自体運動する対象体４
０３ならびに画像背景４０４が含まれている。The motion vector field 101 should be understood as a set of all motion vectors 330 obtained for one image. The motion vector field 101 is shown in FIG. 4b by lines, which represent one motion vector 330 per image block (402). Motion vector field 402 is shown schematically in digital image 400. The image 400 includes an object 4 in the form of a human, which itself moves.
03 and an image background 404 are included.

【００６４】 図４ａは、所定の領域４０１を示している。この所定の領域４０１によって領
域が得られ、ここには画像ブロックがあるはずであり、したがってこの画像ブロ
ックに配属される動きベクトルが選択される。FIG. 4 a shows a predetermined area 401. An area is obtained by this predetermined area 401, where there must be an image block, and therefore a motion vector assigned to this image block is selected.

【００６５】 この所定の領域４０１は、縁部領域４０５をデジタル画像４００の縁部４０７
から所定の第１間隔４０６で位置する画像ブロックによって形成することによっ
て得られる。これによって画像４００の縁部４０７に隣接する画像ブロックは、
動きモデル３３８のパラメタを求める際に考慮されない。さらにこの所定の領域
４０１は、デジタル画像４００の中央部４０９から所定の第２間隔４０８で位置
する画像ブロックによって形成される。The predetermined area 401 is obtained by setting the edge area 405 to the edge 407 of the digital image 400.
From the image blocks located at a predetermined first interval 406 from the image data. This causes the image blocks adjacent to edge 407 of image 400 to be:
It is not considered when determining the parameters of the motion model 338. Further, the predetermined area 401 is formed by image blocks located at a predetermined second interval 408 from the central portion 409 of the digital image 400.

【００６６】 所定の領域ないしは重み付けマスクは、後続のステップを有する反復手段では
、後続の反復の新たな領域に変更される（ステップ１０４）。The predetermined area or the weighting mask is changed to a new area for a subsequent iteration by an iterative means having a subsequent step (step 104).

【００６７】 所定の領域４０１の画像ブロック毎に、ベクトル差分値ＶＵが１つずつ求めら
れ、この差分値によって、決定された動きモデル３３８と、各画像ブロックに配
属されている動きベクトル３３０との差が表される。ベクトル差分値ＶＵは例え
ばつぎのような規則にしたがって形成される： ＶＵ＝｜ＢＶ_Ｘ−ＭＢＶ_Ｘ｜＋｜ＢＶ_Ｙ−ＭＢＶ_Ｙ｜ （２） ここでＭＢＶ_ＸおよびＭＢＶ_Ｙによって、動きモデルに基づいて計算した動き
ベクトルＭＢＶの成分がそれぞれ示されている。One vector difference value VU is obtained for each image block in the predetermined area 401, and the difference value is used to determine the relationship between the determined motion model 338 and the motion vector 330 assigned to each image block. The difference is expressed. The vector difference value VU is formed, for example, according to the following rule: VU = | BV _X −MBV _X | + | BV _Y −MBV _Y | (2) Here, MBV _X and MBV _Y are used based on the motion model. The components of the motion vector MBV calculated in this way are shown.

【００６８】 モデルベースの動きベクトルの求め方を以下、詳しく説明する。A method for obtaining a model-based motion vector will be described in detail below.

【００６９】 ２値マスクを使用する際、画像ブロックは、各ベクトル差分値ＶＵが所定の閾
値εよりも小さい場合、別の反復の新しい領域に含まれる。しなしながらベクト
ル差分値ＶＵが閾値εよりも大きい場合、各動きベクトルが配属されている画像
ブロックは、新たな所定の領域においてもはや考慮されない。When using a binary mask, an image block is included in a new region of another iteration if each vector difference value VU is smaller than a predetermined threshold ε. However, if the vector difference value VU is greater than the threshold value ε, the image block to which each motion vector is assigned is no longer considered in the new predetermined area.

【００７０】 重み付けマスクを使用する際には、ブロックの重み付け係数は、そのＶＵの逆
数に設定される。When using the weighting mask, the weighting coefficient of the block is set to the reciprocal of the VU.

【００７１】 このやり方によって達成されるのは、決定された動きモデルから計算された動
きベクトルＭＢＶと大きく異なる動きベクトルが、別の反復において動きモデル
のパラメタを計算する際にまったくまたはわずかしか考慮されないことである。What is achieved by this approach is that motion vectors that are significantly different from the motion vector MBV calculated from the determined motion model are not or only slightly taken into account when calculating the parameters of the motion model in another iteration. That is.

【００７２】 新たな領域ないしは新たな重み付けマスクが形成された後、新たな領域に含ま
れる画像ブロックに配属された動きベクトルを使用して、ないしは重み付けマス
クを付加的に使用して、動きモデルに対する新しいパラメタセットが決定される
。After a new region or a new weighting mask has been formed, the motion vectors assigned to the image blocks contained in the new region or additionally using the weighting mask can be used for the motion model. A new parameter set is determined.

【００７３】 上記の手段は、所定の回数の反復を行うか、または中断の判定基準が満たされ
るまで実行され、ここでこの中断の判定基準は例えば１つの反復ステップで除去
されるブロックが所定の数を下回ることである。The above means are performed a predetermined number of iterations or until the interruption criterion is fulfilled, wherein the interruption criterion is, for example, that the blocks to be removed in one iteration step have a predetermined number. It is below number.

【００７４】 この場合に新たな領域をその都度、所定の領域ないしは新たな重み付けマスク
として旧い動きベクトルと共に、つぎの反復の入力パラメタとしてそれぞれ使用
する。In this case, each time a new area is used as a predetermined area or a new weighting mask together with the old motion vector as an input parameter for the next iteration.

【００７５】 グローバルな動きの検出は、モデルのパラメタをグローバルなカメラ移動に対
して求めることによって行われる。Global motion detection is performed by determining model parameters for global camera movement.

【００７６】 動きモデルを明らかにするために以下では動きモデルの詳しい導き出し方を説
明する： ここでは自然な３次元シーンをカメラによって２次元射影面に射影することを
出発点とする。点 ｐ _０ ＝ （ｘ_０，ｙ_０，ｚ_０）^Ｔ （４） の射影はつぎの規則によって形成される：In order to clarify the motion model, a detailed method for deriving the motion model will be described below. Here, the projection of a natural three-dimensional scene onto a two-dimensional projection plane by a camera is a starting point. The projection of the point p ₀ = (x ₀ , y ₀ , z ₀ ) ^T (4) is formed by the following rule:

【００７７】[0077]

【数３】 (Equation 3)

【００７８】 ここでＦで焦点距離を、Ｘ，Ｙで射影される点ｐ_０ の画像面での座標を示す。Here, F indicates the focal length, and X, Y indicates the coordinates of the point p ₀ projected on the image plane.

【００７９】 ここでカメラが動くと、射影規則はカメラに同期して動く座標系において維持
される。しかしながら対象体の点の座標はこの座標系に変換されなければならな
い。すべてのカメラ運動は回転と平行移動との累積としてとらえることができる
ため、位置固定の座標系（ｘ，ｙ，ｚ）から、共に移動する座標系（ｘ^〜 _０，ｙ ^〜 _０ ，ｚ^〜 _０）への変換は次の規則によって定式化することができる：When the camera moves, the projection rule is maintained in a coordinate system that moves in synchronization with the camera.
Is done. However, the coordinates of the object point must be converted to this coordinate system.
No. All camera movements can be viewed as a cumulative rotation and translation
Therefore, the coordinate system (x, y, z) that moves together with the coordinate system (x^~ ₀, Y ^~ ₀ , Z^~ ₀The conversion to) can be formulated by the following rules:

【００８０】[0080]

【数４】 (Equation 4)

【００８１】 規則（６）を出発点とすると、カメラの動きに起因する画像変化は次の規則に
よってモデル化される：Starting with rule (6), image changes due to camera movement are modeled by the following rules:

【００８２】[0082]

【数５】 (Equation 5)

【００８３】 ここでΔＸ，ΔＹで、時間区間Δｔにカメラが上記のように動いた時に発生した
ピクセルの座標変化を示し、φ_ｚで、カメラがｚ軸の周りをこの時間区間Δｔに
回転した角度を表す。所定の係数Ｃ_Ｆは、焦点距離の変化ないしはｚ軸に沿った
平行移動を表す。Here, ΔX and ΔY indicate a change in the coordinates of the pixel that occurred when the camera moved as described above during the time interval Δt, and at φ _z the camera rotated around the z-axis during this time interval Δt. Indicates an angle. Predetermined coefficient C _F represents a parallel movement along the change or z-axis focal length.

【００８４】 規則（７）に示した連立方程式は非線形であるため、この連立方程式のパラメ
タを直接決定することはできない。Since the simultaneous equations shown in the rule (7) are nonlinear, the parameters of the simultaneous equations cannot be directly determined.

【００８５】 このような理由からより高速な計算のために、単純化した動きモデルを使用す
る。ここでは射影面におけるカメラの移動は、６つのパラメタを有する動きモデ
ルによって示される。これはつぎの規則にしたがって形成される：For this reason, a simplified motion model is used for faster calculation. Here, the movement of the camera in the projection plane is indicated by a motion model having six parameters. It is formed according to the following rules:

【００８６】[0086]

【数６】 (Equation 6)

【００８７】 ここから動きベクトル場のデータによって得られる連立方程式は、線形回帰法
によって解くことができ、ここで複雑さは、３＊３対称行列の逆行列化に相応す
る。The simultaneous equations obtained from the data of the motion vector field can be solved by a linear regression method, where the complexity corresponds to the inverse matrix of a 3 * 3 symmetric matrix.

【００８８】 パラメタｒ′_１１，ｒ′_１２，ｒ′_２１，ｒ′_２２，ｔ′_ｘおよびｔ′_ｙを決
定した後、規則（７）のパラメタをつぎに規則にしたがって近似する：After determining the parameters r ′ ₁₁ , r ′ ₁₂ , r ′ ₂₁ , r ′ ₂₂ , t ′ _x and t ′ _y , the parameters of rule (7) are approximated according to the following rules:

【００８９】[0089]

【数７】 (Equation 7)

【００９０】 これらのパラメタを使用して動きが補償される。ここでこの動きは、画像が画
像を記録するカメラに対して相対的に受けるものである。The motion is compensated using these parameters. Here, this movement is relative to the camera that records the image.

【００９１】 図４ｃは、所定の領域４０１にある画像ブロックに配属されている動きベクト
ルを示している。ここでは所定の領域４０１は、反復（ステップ１０４）によっ
て、図４ａの所定の領域４０１に対して変更されている。FIG. 4C shows a motion vector assigned to an image block in the predetermined area 401. Here, the predetermined area 401 is changed from the predetermined area 401 in FIG. 4A by repetition (step 104).

【００９２】 図５に基づいて本発明による方法の個別の方法ステップを再度説明する。The individual method steps of the method according to the invention are described again with reference to FIG.

【００９３】 この方法をスタート（ステップ５０１）した後、画像ブロックまたはマクロ画
像ブロックを選択する（ステップ５０２）。選択した画像ブロックまたはマクロ
画像ブロックに対して動きベクトルを求め（ステップ５０３）、別のステップ（
ステップ５０４）で、画像のすべての画像ブロックないしはマクロ画像ブロック
が処理されたか否かがチェックされる。After starting the method (step 501), an image block or a macro image block is selected (step 502). A motion vector is obtained for the selected image block or macro image block (step 503), and another step (step 503) is performed.
In step 504), it is checked whether all image blocks or macro image blocks of the image have been processed.

【００９４】 処理されていない場合、別のステップ（ステップ５０５）で、まだ処理されて
いない別の画像ブロックまたはマクロ画像ブロックが選択される。If not, another step (step 505) selects another image block or macro image block that has not yet been processed.

【００９５】 しかしながらすべての画像ブロックまたはマクロ画像ブロックが処理されてい
た場合、所定の領域にある画像ブロックまたはマクロ画像ブロックに配属されて
いる動きベクトルが選択される（ステップ５０６）。However, if all image blocks or macro image blocks have been processed, a motion vector assigned to an image block or macro image block in a predetermined area is selected (step 506).

【００９６】 選択された動きベクトルから、動きモデルのパラメタを決定する（ステップ５
０７）。別の反復を実行する場合、すなわち設定された数の反復にまだ達してい
ないかまたは中断の判定基準をまだ満たしていない場合、別のステップ（ステッ
プ５０９）で新たな領域が決定されるか、ないしはつぎの反復の重み付けマスク
がベクトル差分値ＶＵに依存して計算される（ステップ５１０）。The parameters of the motion model are determined from the selected motion vector (step 5).
07). If another iteration is to be performed, i.e., if the set number of iterations has not yet been reached or the interruption criterion has not yet been fulfilled, a new area is determined in another step (step 509), Alternatively, a weighting mask for the next iteration is calculated depending on the vector difference value VU (step 510).

【００９７】 つぎに画像の動きの補償を、決定された動きモデルを使用して行う（ステップ
５０８）。Next, image motion compensation is performed using the determined motion model (step 508).

【００９８】 以下では、上記の実施例のいくつかの択一的な実施例を説明する： 領域の形状は基本的に任意であり、有利にはシーンについてあらかじめの知識
に依存する。グローバルな動きとは明らかに異なることが分かっている画像領域
を、動きモデルの決定に使用すべきではない。In the following, some alternative embodiments of the above embodiment will be described: The shape of the region is basically arbitrary and advantageously depends on prior knowledge of the scene. Image regions that are known to be distinctly different from global motion should not be used in determining the motion model.

【００９９】 この領域は、動き推定手段の信頼性値３４２に基づいて信頼できることが示さ
れた画像領域の動きベクトルだけを含むはずである。This region should only contain the motion vectors of the image regions that have been shown to be reliable based on the reliability value 342 of the motion estimator.

【０１００】 一般的には動き推定は、任意の手段の後に実行することができ、ブロックマッ
チングの原理には制限されない。したがって例えば動き推定を、動的なプログラ
ミングを使用して行うことも可能である。In general, motion estimation can be performed after any means and is not limited to the principle of block matching. Thus, for example, the motion estimation can also be performed using dynamic programming.

【０１０１】 したがって動き推定の種類、したがってどのように動きベクトルを画像ブロッ
クに対して求めるかは、本発明に無関係である。Thus, the type of motion estimation, and thus how the motion vector is determined for the image block, is irrelevant to the present invention.

【０１０２】 連立方程式（７）のパラメタを近似的に決定するために、規則（７）の正弦項
および余弦項を択一的に線形化することができる。To approximately determine the parameters of the system of equations (7), the sine and cosine terms of rule (7) can be alternatively linearized.

【０１０３】 したがって小さな角度ρ_ｚに対してつぎの規則が得られる：Thus, for a small angle ρ _z the following rule is obtained:

【０１０４】[0104]

【数８】 (Equation 8)

【０１０５】 ΔＸおよびΔＹに対する方程式の最適化は相互に依存しないため、エラーの２
乗の和について最小化され、すなわちつぎの規則にしたがって最小化される： Σ _Ｖ [(ΔＸ_η-Ｒ_１Ｘ_η+Ｒ_２Ｙ_η-ｔ_ｘ)^２+(ΔＹ_η-Ｒ_２Ｘ_η+Ｒ_１Ｙ_η-ｔ_ｙ) ^２ ] →ｍｉｎ （１３） ここでΔＸ_η，ΔＹ_ηは、画像の所定の設定した領域Ｖの位置Ｘ_η，Ｙ_ηにお
ける画像ブロックηの動きベクトルのＸないしはＹ成分を示している。The optimization of the equations for ΔX and ΔY is independent of each other, so the error 2
Minimized for the sum of the powers, that is, according to the following rules: Σ _V [(ΔX_η-R₁X_η+ R₂Y_η-t_x)²+ (ΔY_η-R₂X_η+ R₁Y_η-t_y) ² ] → min (13) where ΔX_η, ΔY_ηIs a predetermined set area of the imageVPosition X_η, Y_ηIn
X or Y component of the motion vector of the image block η to be processed.

【０１０６】 方程式（１２）により、Ｒ_１，Ｒ_２，ｔ_ｘおよびｔ_ｙは、動きモデルの決定す
べきパラメタである。According to equation (12), R ₁ , R ₂ , t _x and _ty are parameters to be determined of the motion model.

【０１０７】 最適化手段を実行した後、決定された連立方程式（１２）に基づいて、各マク
ロブロックのＸおよびＹ成分を代入することによって、所属のモデルベースの動
きベクトルＭＢＶ（ΔＸ，ΔＹ）が決定される。After executing the optimizing means, based on the determined simultaneous equations (12), the X and Y components of each macroblock are substituted to obtain the associated model-based motion vector MBV (ΔX, ΔY) Is determined.

【０１０８】 上記の領域の代わりに重み付けマスクＡ_Ｘ，Ａ_Ｙを、動きモデルのパラメタの
計算時につぎの最適化の式にしたがって利用することができる。ここでこれの重
み付けマスクは、動きベクトルの信頼性と、先験的に分かっていることと、ＶＵ
から得られたこととを反復手段に際に動きベクトルのＸおよびＹ成分に対して別
個に表している： Σ _Ｖ [(α_Ｘη・(ΔＸ_η-Ｒ_１Ｘ_η+Ｒ_２Ｙ_η-ｔ_ｘ))^２+ (α_Ｙη・(ΔＹ_η-Ｒ_２Ｘ_η-Ｒ_１Ｙ_η-ｔ_ｘ))^２] →ｍｉｎ α_Ｘη∈Ａ_Ｘ，α_Ｙη∈Ａ_Ｙ （１４） 動きベクトル（１０５）の信頼性に対する重み付けマスクＡ_Ｘ，Ａ_Ｙは例えば
、画像ブロックに対する値α_ｘ，α_ｙをブロックマッチングの際につぎのように
して計算することによって計算される：The weighting masks A _X and A _Y can be used in place of the above-described regions when calculating the parameters of the motion model according to the following optimization formula. Here, the weighting mask is based on the reliability of the motion vector, what is known a priori,
_Are separately expressed for the X and Y components of the motion vector in the iterative means: _{Ｖ V} [(α _Xη · (ΔX _η -R ₁ X _η + R ₂ Y _η -t) ^{_{x)) 2 + (α Yη}} · (ΔY η -R 2 X η -R 1 Y η -t x)) 2] → min α Xη ∈A X, α Yη ∈A Y (14) motion vectors (105) The weighting masks A _X , A _Y for the reliability of are calculated, for example, by calculating the values α _x , α _y for the image blocks during block matching as follows:

【０１０９】[0109]

【数９】 (Equation 9)

【０１１０】 ここでＳＡＤ_ηは、ブロックマッチングのη番目のシフト（ｘ_η，ｙ_η）の際
のブロックのピクセル差の総和を示しており、ＳＡＤ_{ｍａｔｃｈ}はこれと同じも
のを、最終的に選択される最良の領域（ｘ_{ｍａｔｃｈ}，ｙ_{ｍａｔｃｈ}）に対して
示している。Ｎはサーチされたサーチ位置の総数である。この値を、例えば１６
の最良の領域を考察して計算する場合、このブロックマッチングを「スパイラル
サーチ」として、１６の選択された領域のうちで最も不良の領域のＳＡＤを中断
の判定基準することによって実行することができる。Here, SAD _η indicates the sum of the pixel differences of the block at the time of the η-th shift (x _η , y _η ) of the block matching, and SAD _match finally selects the same one. This is shown for the best area (x _match , y _match ) to be performed. N is the total number of searched search positions. This value is, for example, 16
When the calculation is performed by considering the best region of, the block matching can be executed as a “spiral search” by determining the SAD of the worst region among the 16 selected regions as a criterion of interruption. .

【０１１１】 重み付けマスクＡ_ｘ＝Ａ_ｙ＝Ａを動きベクトルの信頼性に対して計算する別の
やり方は：Another way to calculate the weighted mask A _x = A _y = A for the reliability of the motion vector is:

【０１１２】[0112]

【数１０】 (Equation 10)

【０１１３】 ここでα＝α_ｘ＝α_ｙは、画像ブロックないしはその動きベクトルの重み付け係
数である。Here, α = α _x = α _y is a weighting coefficient of an image block or its motion vector.

【０１１４】 本発明は、例えば移動するカメラの動きの補償または、移動式通信装置（ビデ
オハンディ）に組み込まれるカメラの動き補償に使用することができる。The invention can be used for example for motion compensation of a moving camera or for motion compensation of a camera incorporated in a mobile communication device (video handy).

【０１１５】 さらに本発明は、文献[２]に記載されている画像セグメント化に使用すること
ができる。The invention can also be used for the image segmentation described in document [2].

【０１１６】 具体的には本発明の特徴は、ブロックベースの画像符号化の際にいずれにせよ
求められる動きベクトルを使用して、カメラと、このカメラによて記録して画像
列との間のグローバルな動きを求めることにある。Specifically, a feature of the present invention resides in that a motion vector obtained in any case during block-based image encoding is used to connect a camera to an image sequence recorded by the camera. Is to seek a global movement.

【０１１７】 しかしながら動きを求める際には、所定の領域にある画像ブロックに配属され
ている動きベクトルだけを考慮する。However, when obtaining a motion, only a motion vector assigned to an image block in a predetermined area is considered.

【０１１８】 グローバルな動きを計算するために、画像ブロックの動きベクトルをその信頼
性に相応して重み付けする。To calculate the global motion, the motion vectors of the image blocks are weighted according to their reliability.

【０１１９】 本明細書ではつぎの刊行物を引用した：The following publications have been cited herein:

【０１２０】[0120]

【外１】 [Outside 1]

【０１２１】 なお、本明細書において（ｘ^〜 _０，ｙ^〜 _０，ｚ^〜 _０）なる表記はNote that in this specification, the notation (x ^to ₀ , y ^to ₀ , z ^to ₀ ) is

【０１２２】[0122]

【外２】 [Outside 2]

【０１２３】 を表すものである。Represents the following.

【図面の簡単な説明】[Brief description of the drawings]

【図１】 実施例の具体的な基本原理を示すブロック図である。FIG. 1 is a block diagram showing a specific basic principle of an embodiment.

【図２】 カメラと、このカメラによって記録した画像列を符号化する符号化ユニットと
を有する装置ならびに符号化された画像列を復号化する装置を示す図である。FIG. 2 is a diagram showing an apparatus having a camera, an encoding unit for encoding an image sequence recorded by the camera, and an apparatus for decoding an encoded image sequence.

【図３】 画像符号化およびグローバルな動き補償のための装置の詳細化された概略図で
る。FIG. 3 is a detailed schematic diagram of an apparatus for image coding and global motion compensation.

【図４】 図４のａは所定の領域を有する図を示す図であり、図４のｂはすべての動きベ
クトルを有する画像を示す図であり、図４のｃは方法を反復した後の動きベクト
ルを有する画像を示す図である。FIG. 4a shows a diagram with a given area, FIG. 4b shows an image with all motion vectors, and FIG. 4c shows the image after the method is repeated. It is a figure showing an image which has a motion vector.

【図５】 実施例の方法ステップを説明する流れ図である。FIG. 5 is a flowchart illustrating method steps of an embodiment.

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C022 AB55 AB62 AC41 5C059 KK19 LB11 MA23 MC11 NN15 NN21 NN28 NN41 PP16 SS14 UA02 UA05 5L096 EA24 GA08 HA04 ──────────────────────────────────────────────────続 き Continued on the front page F term (reference) 5C022 AB55 AB62 AC41 5C059 KK19 LB11 MA23 MC11 NN15 NN21 NN28 NN41 PP16 SS14 UA02 UA05 5L096 EA24 GA08 HA04

Claims (18)

【特許請求の範囲】[Claims] 【請求項１】 デジタル画像が被る動きを計算機の支援によって求める方法
において、 前記デジタル画像は、画像ブロックにグループ化されるピクセルを含んでおり
、 画像ブロック毎に動き推定を実行し、これによって画像ブロック毎に動きベク
トルを求め、該動きベクトルを各画像ブロックに配属し、 デジタル画像の所定の領域に存在する画像ブロックに配属された動きベクトル
を選択し、 選択された当該動きベクトルから、動きモデルのパラメタを求め、 デジタル画像の動きを、求めた当該動きモデルによって表すことを特徴とする デジタル画像が被る動きを求める方法。1. A method for determining, with the aid of a computer, the motion experienced by a digital image, said digital image comprising pixels grouped into image blocks, performing a motion estimation for each image block, whereby the image A motion vector is obtained for each block, the motion vector is assigned to each image block, a motion vector assigned to an image block existing in a predetermined area of the digital image is selected, and a motion model is selected from the selected motion vector. A method for determining the motion of a digital image, wherein the motion of the digital image is represented by the determined motion model. 【請求項２】 前記の所定の領域を、デジタル画像の縁部から所定の第１間
隔で位置する画像ブロックによって形成する 請求項１に記載の方法。2. The method according to claim 1, wherein said predetermined area is formed by an image block located at a first predetermined distance from an edge of the digital image. 【請求項３】 前記の所定の領域を、デジタル画像の中央部から所定の第２
間隔で位置する画像ブロックによって形成する 請求項２に記載の方法。3. The method according to claim 1, wherein the predetermined area is located at a predetermined second position from a center of the digital image.
3. The method according to claim 2, wherein the image is formed by spaced image blocks. 【請求項４】 前記の所定の領域を、反復の手段では変更する 請求項１から３までのいずれ１項に記載の方法。4. The method according to claim 1, wherein the predetermined area is changed by means of iteration. 【請求項５】 前記の動き推定を、デジタル画像の画像ブロックと、時間的
に先行する画像の画像ブロックとをブロック毎に比較することによって行い、こ
こで時間的に先行する画像の当該画像ブロックは、所定の形状および大きさのサ
ーチ空間内で、所定の値だけ、デジタル画像の前記画像ブロックに対してシフト
されている 請求項１から４までのいずれか１項に記載の方法。5. The motion estimation is performed by comparing the image block of the digital image and the image block of the temporally preceding image block by block, wherein the image block of the temporally preceding image is determined. The method according to any one of claims 1 to 4, wherein is shifted by a predetermined value in the search space of a predetermined shape and size with respect to the image block of the digital image. 【請求項６】 前記の求めた動きを補償する 請求項１から５までのいずれか１項に記載の方法。6. The method according to claim 1, wherein the determined motion is compensated. 【請求項７】 移動可能な装置に使用され、該装置の動きが請求項６に記載
の方法によって補償される 請求項６に記載の方法。7. The method according to claim 6, wherein the method is used for a mobile device and the movement of the device is compensated by the method according to claim 6. 【請求項８】 前記装置はカメラである 請求項７に記載の方法。8. The method according to claim 7, wherein the device is a camera. 【請求項９】 前記装置は、移動式通信装置に組み込まれているカメラであ
る 請求項８に記載の方法。9. The method according to claim 8, wherein the device is a camera integrated in a mobile communication device. 【請求項１０】 デジタル画像が被る動きを求める装置において、 プロセッサを有しており、該プロセッサはつぎのステップ、すなわち、 前記デジタル画像は、画像ブロックにグループ化されるピクセルを含んでおり
、 画像ブロック毎に動き推定を実行し、これによって画像ブロック毎に動きベク
トルを求め、該動きベクトルを各画像ブロックに配属し、 デジタル画像の所定の領域に存在する画像ブロックに配属された動きベクトル
を選択し、 選択された当該動きベクトルから、動きモデルのパラメタを求め、 デジタル画像の動きを、求めた当該動きモデルによって表すステップを実行す
るように構成されていることを特徴とする デジタル画像が被る動きを求める装置。10. An apparatus for determining motion experienced by a digital image, comprising a processor, the processor comprising the following steps: the digital image includes pixels grouped into image blocks; A motion vector is obtained for each image block, a motion vector is obtained for each image block, the motion vector is assigned to each image block, and a motion vector assigned to an image block existing in a predetermined area of the digital image is selected. Determining a parameter of a motion model from the selected motion vector, and performing a step of representing the motion of the digital image by the obtained motion model. The device you seek. 【請求項１１】 前記プロセッサは、前記の所定の領域が、デジタル画像の
縁部から所定の第１間隔で位置する画像ブロックによって形成されるように構成
されている 請求項１０に記載の装置。11. The apparatus of claim 10, wherein the processor is configured such that the predetermined area is formed by image blocks located a predetermined first distance from an edge of the digital image. 【請求項１２】 前記プロセッサは、前記の所定の領域が、デジタル画像の
中央部から所定の第２間隔で位置する画像ブロックによって形成されるように構
成されている 請求項１１に記載の装置。12. The apparatus of claim 11, wherein the processor is configured such that the predetermined area is formed by image blocks located at a predetermined second interval from a center of the digital image. 【請求項１３】 前記プロセッサは、前記の所定の領域が、反復の手段では
変更されるように構成されている 請求項１０から１２までのいずれか１項に記載の装置。13. The apparatus according to claim 10, wherein the processor is configured such that the predetermined area is changed by means of repetition. 【請求項１４】 前記プロセッサは、前記の動き推定が、デジタル画像の画
像ブロックと、時間的に先行する画像の画像ブロックとをブロック毎に比較する
ことによって行なわれ、ここで時間的に先行する画像の当該画像ブロックが、所
定の形状および大きさのサーチ空間内で、所定の値だけ、デジタル画像の前記画
像ブロックに対してシフトされるように構成されている 請求項１０から１３までのいずれか１項に記載の装置。14. The processor, wherein the motion estimation is performed by comparing, on a block-by-block basis, an image block of a digital image with an image block of a temporally preceding image, wherein the temporally preceding image block is compared. 14. The image block of the digital image, wherein the image block of the image is configured to be shifted by a predetermined value within a search space of a predetermined shape and size with respect to the image block of the digital image. The apparatus according to claim 1. 【請求項１５】 前記プロセッサは、前記の求めた動きが補償されるように
構成されている 請求項１０から１４までのいずれか１項に記載の装置。15. Apparatus according to any one of claims 10 to 14, wherein the processor is configured to compensate for the determined motion. 【請求項１６】 移動する装置に使用される 請求項１５に記載の装置。16. The device according to claim 15, wherein the device is used for a moving device. 【請求項１７】 カメラに使用される 請求項１６に記載の装置。17. The device according to claim 16, for use in a camera. 【請求項１８】 カメラを有する通信装置に使用される 請求項１７に記載の装置。18. The device according to claim 17, used for a communication device having a camera.