JP2011142564A - Device, method, and program for encoding dynamic image - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To control the detection of an erroneous size-reduced moving vector without incrementing the arithmetic operation cost for a dynamic image as an encoding object having high-frequency components in the vertical or horizontal direction. <P>SOLUTION: In the hierarchical search of the moving vectors, a size-reduced image is generated by image sampling after storing the pixels not always present in the same column of the input frame in the same column or storing the pixels not always present in the same row of the input image in the same row. Thereafter, moving vector search is conducted in association with the respective pixels of the generated size-reduced image on the basis of coordinates in the input frame. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は動画像を圧縮・伸張する技術に関する。   The present invention relates to a technique for compressing / decompressing moving images.

近年、動画像をデジタル信号として取り扱い、デジタル動画像データを圧縮符号化して記録、伝送することが一般化している。動画像圧縮の符号化フォーマットとして、国際標準規格であるＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）やＨ．２６ｘなどが用いられている。   In recent years, it has become common to handle moving images as digital signals and to record and transmit digital moving image data after compression encoding. As an encoding format for moving image compression, MPEG (Moving Picture Experts Group), which is an international standard, or H.264. 26x or the like is used.

これらの動画像圧縮符号化方式は、動き補償フレーム間予測を採用している。動き補償フレーム間予測の技術では、符号化対象の画像フレームを複数のブロックに分割し、ブロック単位に処理を行う。   These video compression encoding systems employ motion compensated interframe prediction. In the motion compensation interframe prediction technique, an image frame to be encoded is divided into a plurality of blocks, and processing is performed in units of blocks.

すなわち、各ブロックを対象として、時間的に前に符号化処理された画像フレーム（以下、参照フレームと呼ぶ）の中のその対象ブロックの近傍に位置する動き探索範囲から、上記対象ブロックと同じ大きさの複数のブロック（以下、参照ブロックと呼ぶ）を切り出し、これらの参照ブロックのうちで、上記対象ブロックに最も近似した参照ブロックを探し出す。   That is, from the motion search range located in the vicinity of the target block in an image frame (hereinafter referred to as a reference frame) previously encoded with respect to each block, the same size as the target block is set. A plurality of blocks (hereinafter referred to as reference blocks) are cut out, and among these reference blocks, a reference block closest to the target block is searched for.

次に、最も近似した参照ブロックの位置座標に関する情報と，その対象ブロックと探し出された参照ブロックとの差分情報を符号化し、それによりその対象ブロックに対する符号列を生成する。各対象ブロックと、そのブロックから見た探し出された参照ブロックの相対位置座標を動きベクトルという。このような動きベクトル探索は、Ｈ．２６４，ＭＰＥＧ−２，ＭＰＥＧ−４，ＶＣ−１など，通常の動画像信号の符号化処理で行われる。
［従来の動きベクトル探索方法］
以下、このような動きベクトルを探索するための従来の動きベクトル探索方法を説明する。 Next, information on the position coordinates of the closest reference block and difference information between the target block and the searched reference block are encoded, thereby generating a code string for the target block. The relative position coordinates of each target block and the searched reference block viewed from the block are called motion vectors. Such a motion vector search is described in H.264. 264, MPEG-2, MPEG-4, VC-1, and the like are performed by a normal moving image signal encoding process.
[Conventional motion vector search method]
Hereinafter, a conventional motion vector search method for searching for such a motion vector will be described.

図１は、符号化対象となるフレーム（符号化フレーム）について説明する図である。符号化フレーム１０は、ｎ×ｍ画素のマクロブロックを複数有しており、例えば図１では、横１６画素、縦１６画素から構成されるマクロブロック１１を複数有するものとしている。縦１０８８画素，横１９２０画素からなるＨＤＴＶ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ ＴＶ）解像度の動画像の場合であれば、マクロブロックは縦６８個（＝１０８８／１６），横１２０個（＝１９２０／１６）が並ぶことになる。符号化の対象とするブロックを符号化ブロックといい、例として図１のマクロブロック１２を符号化ブロックとする。   FIG. 1 is a diagram illustrating a frame to be encoded (encoded frame). The encoding frame 10 includes a plurality of n × m pixel macroblocks. For example, in FIG. 1, the encoding frame 10 includes a plurality of macroblocks 11 including 16 horizontal pixels and 16 vertical pixels. In the case of an HDTV (High Definition TV) resolution moving image composed of 1088 pixels vertically and 1920 pixels horizontally, there are 68 macroblocks (= 1088/16) and 120 macroblocks (= 1920/16). become. A block to be encoded is referred to as an encoded block, and as an example, the macro block 12 in FIG. 1 is referred to as an encoded block.

図２は、従来の動きベクトル探索方法で動きベクトルを探索するための参照フレーム２０の構成を説明するための図である。参照フレーム２０は、符号化フレーム１０よりも時間的に前に符号化処理されたフレームであり、符号化フレーム１０と同一の形状、同数の画素を有している。   FIG. 2 is a diagram for explaining the configuration of the reference frame 20 for searching for a motion vector by a conventional motion vector search method. The reference frame 20 is a frame that has been encoded before the encoded frame 10 in time, and has the same shape and the same number of pixels as the encoded frame 10.

参照フレーム２０には、符号化ブロック１２よりも大きい長方形状をした参照領域２１が、参照フレーム２０において符号化ブロック１２と対応する領域を含むように設定されている。この参照領域２１の中に、符号化ブロック１２と同一の大きさ，形状をした参照ブロック２２を設定する。参照ブロック２２の符号化ブロックからの相対位置（Ｓｘ，Ｓｙ）を動きベクトル候補２３とする。   In the reference frame 20, a reference area 21 having a rectangular shape larger than that of the encoding block 12 is set so as to include an area corresponding to the encoding block 12 in the reference frame 20. A reference block 22 having the same size and shape as the encoding block 12 is set in the reference area 21. A relative position (Sx, Sy) of the reference block 22 from the encoded block is set as a motion vector candidate 23.

図１に示す符号化ブロック１１が動きベクトルを探索する対象として選択されると、参照ブロック２２を参照領域２１の中において１画素ずつ移動させながら、符号化ブロック１１の中に配置された画素の画素値と参照ブロック２２の中に配置された画素の画素値との間で、数式１で表される差分絶対値和ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を計算する。   When the coding block 11 shown in FIG. 1 is selected as a motion vector search target, the reference block 22 is moved one pixel at a time in the reference area 21, and the pixels arranged in the coding block 11 are moved. A difference absolute value sum SAD (Sum of Absolute Difference) expressed by Equation 1 is calculated between the pixel value and the pixel value of the pixel arranged in the reference block 22.

ただし，Σはｘ＝０，１，２，・・・，ｎ−１，ｙ＝０，１，２，・・・，ｍ−１で和を取ることを表し、ｎは符号化ブロック１２の水平方向の画素数、ｍは符号化ブロックの垂直方向の画素数、Ｃ（ｘ，ｙ）は符号化ブロック１２のｙ行ｘ列の位置にある画素の画素値、Ｓｘは参照位置の水平方向の変位量、Ｓｙは参照位置の垂直方向の変位量、Ｒ（ｘ＋Ｓｘ，ｙ＋Ｓｙ）は変位（Ｓｘ，Ｓｙ）の参照ブロックのｙ行ｘ列の位置にある画素の画素値を表す。そして、絶対差分値和ＳＡＤが最小となる参照ブロック２２の符号化ブロック１２に対する動きベクトル候補（Ｓｘ，Ｓｙ）２３を動きベクトルとして選択する。動き補償フレーム間予測では，符号化フレームに含まれる他のブロックについても同様の処理を行い、動きベクトルを検出する。

Where Σ represents summing at x = 0, 1, 2,..., N−1, y = 0, 1, 2,. The number of pixels in the horizontal direction, m is the number of pixels in the vertical direction of the coding block, C (x, y) is the pixel value of the pixel at the position of y row and x column of the coding block 12, and Sx is the horizontal direction of the reference position , Sy represents the vertical displacement of the reference position, and R (x + Sx, y + Sy) represents the pixel value of the pixel at the position of row y and column x of the reference block of displacement (Sx, Sy). Then, a motion vector candidate (Sx, Sy) 23 for the coding block 12 of the reference block 22 that minimizes the absolute difference value sum SAD is selected as a motion vector. In motion compensation inter-frame prediction, similar processing is performed on other blocks included in the encoded frame to detect a motion vector.

このように、参照領域２１において総当り的に参照ブロック２２を決めて動きベクトルを探索する方法を全探索法という。このような全探索法は、参照領域２１におけるすべての画素を総当り的に調べるため、演算量が莫大になる。
［動きベクトルの階層的探索方法］
そこで、動きベクトル探索にかかる演算量を削減する方法として階層的探索法が知られている。図３は、階層的探索法における縮小符号化画像３０を説明するための模式図であり、図４は、階層的探索法における縮小参照画像４０を説明するための模式図であり、図５は図３の探索結果と図４の探索の関連を説明するための模式図である。 A method of searching for a motion vector by deciding the reference block 22 in the reference area 21 in this way is called a full search method. In such a full search method, since all the pixels in the reference area 21 are examined brute-force, the calculation amount becomes enormous.
[Hierarchical search method of motion vectors]
Therefore, a hierarchical search method is known as a method for reducing the amount of calculation for motion vector search. FIG. 3 is a schematic diagram for explaining the reduced encoded image 30 in the hierarchical search method, FIG. 4 is a schematic diagram for explaining the reduced reference image 40 in the hierarchical search method, and FIG. FIG. 5 is a schematic diagram for explaining the relationship between the search result of FIG. 3 and the search of FIG. 4.

階層的探索法では，まず、符号化フレーム１０を水平方向にａ１分の１に縮小し，垂直方向にａ２分の１に縮小した縮小符号化画像３０を作成する。縮小符号化画像３０は符号化フレーム１０と同数のマクロブロックを有する。ただし，１つのマクロブロック３１に含まれる画素数は、水平方向が１／ａ１倍に，垂直方向が１／ａ２倍となる。符号化ブロック１２も縮小され、縮小符号化ブロック３２となる。同様に、参照フレーム２０を水平方向にａ１分の１に縮小し、垂直方向にａ２分の１に縮小した縮小参照画像４０を作成する。縮小参照画像４０において参照領域２１は水平方向に１／ａ１倍に、垂直方向に１／ａ２倍となった縮小参照領域４１となる。各縮小符号化ブロックについて縮小参照領域４１で縮小動きベクトル４３を探索することを１次探索という。   In the hierarchical search method, first, a reduced encoded image 30 in which the encoded frame 10 is reduced by a1 in the horizontal direction and reduced by a2 in the vertical direction is created. The reduced encoded image 30 has the same number of macroblocks as the encoded frame 10. However, the number of pixels included in one macroblock 31 is 1 / a1 times in the horizontal direction and 1 / a2 times in the vertical direction. The encoding block 12 is also reduced to become a reduced encoding block 32. Similarly, a reduced reference image 40 in which the reference frame 20 is reduced by a1 in the horizontal direction and reduced by a2 in the vertical direction is created. In the reduced reference image 40, the reference area 21 becomes a reduced reference area 41 that is 1 / a1 times in the horizontal direction and 1 / a2 times in the vertical direction. Searching the reduced motion vector 43 in the reduced reference area 41 for each reduced encoded block is called primary search.

１次探索で検出された縮小動きベクトル４３を水平方向にａ１倍，垂直方向にａ２倍したベクトル５２を起点として参照領域５１を定め、符号化ブロック１２と参照フレーム２０の間で動きベクトル５３を探索することを２次探索という。この２次探索で求められた動きベクトル５３を、符号化ブロック１２の動きベクトルとする。   A reference area 51 is defined starting from a vector 52 obtained by multiplying the reduced motion vector 43 detected in the primary search by a1 in the horizontal direction and a2 in the vertical direction, and the motion vector 53 is defined between the encoding block 12 and the reference frame 20. Searching is called secondary search. The motion vector 53 obtained by this secondary search is used as the motion vector of the coding block 12.

一つの符号化ブロックについて動きベクトルを検出するために必要な演算量は、例えば、参照領域を水平±７、垂直±７の１５×１５画素によって構成される領域とした場合、前述した全探索法においては、１５×１５＝２２５回の１６×１６画素のマッチング、つまり、５７６００回の画素マッチングが必要となる。一方、水平１／４、垂直１／４の階層的探索法においては、１次探索における（１５／４）×（１５／４）＝約２５回の４×４画素のマッチングと，２次探索における４×４＝１６回の１６×１６画素のマッチング、つまり４４９６回の画素マッチングによって動きベクトル５３を検出することができる。従って、画素マッチングにかかる演算量は、前述した全探索法における演算量の約１／１２となる。   The amount of computation required to detect a motion vector for one coding block is, for example, when the reference area is an area composed of 15 × 15 pixels of horizontal ± 7 and vertical ± 7, the above-described full search method In this case, 15 × 15 = 225 matching of 16 × 16 pixels, that is, 57600 pixel matching is required. On the other hand, in the horizontal 1/4 and vertical 1/4 hierarchical search methods, (15/4) × (15/4) = about 25 times 4 × 4 pixel matching and secondary search in the primary search. The motion vector 53 can be detected by 4 × 4 = 16 16 × 16 pixel matchings, that is, 4496 pixel matchings. Therefore, the calculation amount for pixel matching is about 1/12 of the calculation amount in the above-described full search method.

この階層的探索法による動きベクトル探索法は非特許文献１で説明されており、例えば特許文献１にこれを用いた技術が開示されている。   The motion vector search method based on this hierarchical search method is described in Non-Patent Document 1, and for example, Patent Document 1 discloses a technique using this.

また、ライン毎にサンプリングし、偶数ラインのサンプリング開始位置を横方向のサンプリング間隔の１／２ずらしてサンプリングした画像を圧縮・伸張する技術が特許文献２に開示されている。   Japanese Patent Application Laid-Open No. 2003-228561 discloses a technique for sampling for each line and compressing / decompressing an image obtained by shifting the sampling start position of an even line by ½ the horizontal sampling interval.

トリケップス出版 ”ＭＰＥＧ技術” （Ｗｈｉｔｅ ｓｅｒｉｅｓ Ｎｏ．１５２）片山泰男 ｐｐ．２９−１２７Triques Publishing "MPEG Technology" (White series No. 152) Yasuo Katayama pp. 29-127

特開平７−１５４８０１号公報Japanese Unexamined Patent Publication No. 7-154801 特開平５−３０４９４号公報JP-A-5-30494

階層的探索法により動きベクトル探索を行なう場合に、１次探索において誤った縮小動きベクトルを検出すると、２次探索の動きベクトル探索範囲内に本来得るべき最適な動きベクトル候補が存在せず、誤った動きベクトルを検出する可能性がある。   When a motion vector search is performed by the hierarchical search method, if an erroneous reduced motion vector is detected in the primary search, there is no optimal motion vector candidate that should be originally obtained in the motion vector search range of the secondary search, There is a possibility of detecting a motion vector.

しかしながら、１次探索に用いる画像はサブサンプリングにより解像度が入力画像より低い画像であるので、符号化フレーム、もしくは参照フレームに含まれる高い周波数成分を表しきれていない。符号化ブロック、もしくは参照ブロックが高い周波数成分で表現される特徴要素を有する場合は、サブサンプリングにより特徴要素を表現しきれないため、１次探索において誤った縮小動きベクトルを検出し、結果として誤った動きベクトルを算出する可能性がある。   However, since the image used for the primary search is an image whose resolution is lower than that of the input image due to sub-sampling, the high frequency components included in the encoded frame or the reference frame cannot be expressed. If the coding block or the reference block has a feature element expressed by a high frequency component, the feature element cannot be expressed by sub-sampling. Therefore, an erroneous reduced motion vector is detected in the primary search, resulting in an error. There is a possibility to calculate a motion vector.

そこで本願においては、水平方向、もしくは垂直方向に高い周波数成分を有するフレームに対して、演算コストを増加させずに誤った縮小動きベクトルの検出を抑制することを目的とする。   Therefore, an object of the present application is to suppress detection of an erroneous reduced motion vector without increasing the calculation cost for a frame having a high frequency component in the horizontal direction or the vertical direction.

上記の目的を達成するために、本願の動画像符号化装置は、入力フレームから作成した縮小画像における動きベクトルを検出し、前記入力フレームにおける動きベクトルの探索を前記縮小画像における動きベクトルに基づいて行ない、複数の入力フレームについて、垂直方向に第１の所定間隔で配置された行において、水平方向に第２の所定の間隔で配置され、画素の位置を前記第１の所定間隔を空けた行に含まれる画素と所定の列数ずらして配置された画素で形成される画素群か、もしくは水平方向に前記第２の所定間隔で配置された列において、垂直方向に前記第１の所定の間隔で配置され、画素の位置を前記第２の所定間隔を空けた列に含まれる画素と所定の行数ずらして配置された画素で形成される画素群をサンプリングし、それぞれの入力フレームから縮小画像を作成するサンプリング処理部と、前記作成された縮小画像間において、各画素の読み出し位置を前記入力フレームにおける位置的な対応関係に応じて補正して、前記作成された縮小画像における動きベクトルの探索を行なう動きベクトル検出部とを有する。   In order to achieve the above object, the moving image encoding apparatus of the present application detects a motion vector in a reduced image created from an input frame, and searches for a motion vector in the input frame based on the motion vector in the reduced image. For a plurality of input frames, rows arranged at a first predetermined interval in the vertical direction are arranged at a second predetermined interval in the horizontal direction, and the positions of the pixels are spaced at the first predetermined interval. Or a pixel group formed of pixels arranged with a predetermined number of columns shifted from the pixels included in the pixel, or the first predetermined interval in the vertical direction in columns arranged at the second predetermined interval in the horizontal direction A pixel group formed by pixels arranged at a predetermined number of rows from the pixels included in the second predetermined interval and the positions of the pixels. Between the sampling processing unit that creates a reduced image from the input frame and the created reduced image, the readout position of each pixel is corrected according to the positional correspondence in the input frame, and the created reduction A motion vector detection unit that searches for a motion vector in the image.

また、本願の動画像符号化装置の前記サンプリング処理部が、整数ａ１，ａ２，ｂ１，ｂ２を、ｂ１，ｂ２はいずれかが０であり、ｂ２はａ１より小さく、ｂ１はａ２よりも小さいとして、数式２で定義されるベクトルＶ１，Ｖ２を用いて、前記入力フレームにおいて所定の画素を始点として前記ベクトルＶ１，Ｖ２それぞれの整数倍の和で示される位置にある画素をサンプリングして前記縮小画像を作成する。   Further, the sampling processing unit of the moving picture coding apparatus of the present application assumes that the integers a1, a2, b1, and b2 are any one of b1 and b2, b2 is smaller than a1, and b1 is smaller than a2. Using the vectors V1 and V2 defined by Equation 2, the reduced image is obtained by sampling a pixel at a position indicated by a sum of integer multiples of the vectors V1 and V2 starting from a predetermined pixel in the input frame. Create

本願の動画像符号化方法は、入力フレームから作成した縮小画像における動きベクトルを検出し、前記入力フレームにおける動きベクトルの探索を前記縮小画像における動きベクトルに基づいて行なう方法であって、複数の入力フレームについて、垂直方向に第１の所定間隔で配置された行において、水平方向に第２の所定の間隔で配置され、画素の位置を前記第１の所定間隔を空けた行に含まれる画素と所定の列数ずらして配置された画素で形成される画素群か、もしくは水平方向に前記第２の所定間隔で配置された列において、垂直方向に前記第１の所定の間隔で配置され、画素の位置を前記第２の所定間隔を空けた列に含まれる画素と所定の行数ずらして配置された画素で形成される画素群をサンプリングし、それぞれの入力フレームから縮小画像を作成し、前記作成された縮小画像の各画素の読み出し位置を前記入力フレームにおける位置的な対応関係に応じて補正して、前記作成された縮小画像における動きベクトルの探索を行なう。

The moving image encoding method of the present application is a method for detecting a motion vector in a reduced image created from an input frame, and performing a search for a motion vector in the input frame based on the motion vector in the reduced image. With respect to the frame, in the rows arranged at the first predetermined intervals in the vertical direction, the pixels are arranged at the second predetermined intervals in the horizontal direction, and the positions of the pixels are included in the rows at the first predetermined intervals. A pixel group formed by pixels arranged by shifting a predetermined number of columns or arranged in the vertical direction at the first predetermined interval in a column arranged at the second predetermined interval in the horizontal direction. A pixel group formed by pixels arranged with a predetermined number of rows shifted from the pixels included in the second predetermined-spaced column are sampled, and each input frame is sampled. Create a et reduced image, the reading position of each pixel in the created reduced image is corrected according to the positional relationship in the input frame, performing a search of motion vectors in the reduced image created in the above.

本願の動画像符号化プログラムは、入力フレームから作成した縮小画像における動きベクトルを検出し、前記入力フレームにおける動きベクトルの探索を前記縮小画像における動きベクトルに基づいて行なうことをコンピュータに実行させる動画像符号化プログラムであって、複数の入力フレームについて、垂直方向に第１の所定間隔で配置された行において、水平方向に第２の所定の間隔で配置され、画素の位置を前記第１の所定間隔を空けた行に含まれる画素と所定の列数ずらして配置された画素で形成される画素群か、もしくは水平方向に前記第２の所定間隔で配置された列において、垂直方向に前記第１の所定の間隔で配置され、画素の位置を前記第２の所定間隔を空けた列に含まれる画素と所定の行数ずらして配置された画素で形成される画素群をサンプリングし、それぞれの入力フレームから縮小画像を作成するステップと、前記作成された縮小画像の各画素の読み出し位置を前記入力フレームにおける位置的な対応関係に応じて補正して、前記作成された縮小画像における動きベクトルの探索を行なうステップとをコンピュータに実行させる。   The moving image encoding program of the present application detects a motion vector in a reduced image created from an input frame, and causes a computer to execute a search for a motion vector in the input frame based on the motion vector in the reduced image. An encoding program, wherein a plurality of input frames are arranged at a second predetermined interval in a horizontal direction in rows arranged at a first predetermined interval in a vertical direction, and the pixel positions are set to the first predetermined interval. In a pixel group formed by pixels arranged with a predetermined number of columns shifted from pixels included in spaced rows, or in a column arranged at the second predetermined interval in the horizontal direction, the first in the vertical direction. The pixels are arranged at a predetermined interval of 1, and the pixel positions are formed by shifting the pixel positions from the pixels included in the second predetermined interval and a predetermined number of rows. Sampling the pixel group to be created, creating a reduced image from each input frame, and correcting the readout position of each pixel of the created reduced image according to the positional correspondence in the input frame, And a step of searching for a motion vector in the generated reduced image.

本発明によると、動きベクトルを階層的に探索する場合に、入力フレームにおいて必ずしも同一の列、又は行にない画素を同一の列、又は行に格納した縮小画像を用いて１次探索を行なうことで、垂直方向、もしくは水平方向に高い周波数成分を有するフレームに関する動きベクトル探索において、誤った動きベクトルを検出することを抑制する。   According to the present invention, when a motion vector is searched hierarchically, a primary search is performed using reduced images in which pixels that are not necessarily in the same column or row in the input frame are stored in the same column or row. Thus, the detection of an erroneous motion vector is suppressed in the motion vector search for a frame having a high frequency component in the vertical direction or the horizontal direction.

符号化フレームを説明する図The figure explaining an encoding frame 動きベクトル探索を説明する図Diagram explaining motion vector search 縮小符号化画像を説明する図The figure explaining a reduction coding picture 縮小動きベクトル探索を説明する図The figure explaining reduction motion vector search 縮小動きベクトルを用いた２次探索を説明する図The figure explaining the secondary search using a reduced motion vector サンプリング例１を説明する図The figure explaining the example 1 of a sampling サンプリング例２を説明する図The figure explaining the example 2 of a sampling 画像が表現しうる周波数領域を説明する図The figure explaining the frequency domain which an image can express 縮小符号化ブロックと縮小参照画像における各画素の対応関係を説明する図The figure explaining the correspondence of each pixel in a reduction coding block and a reduction reference picture 図９の各画素の対応関係を説明する図The figure explaining the correspondence of each pixel of FIG. 図１０の対応関係の補正について説明する図The figure explaining the correction | amendment of the correspondence of FIG. 縮小符号化ブロックと縮小参照画像において図１１で補正した対応関係を説明 する図The figure explaining the correspondence corrected in FIG. 11 between the reduced coding block and the reduced reference image 動画像符号化装置の構成例を示す図The figure which shows the structural example of a moving image encoder. 動きベクトル計算手段の構成を示す図The figure which shows the structure of a motion vector calculation means １次探索部の構成を示す図（第一実施例）The figure which shows the structure of a primary search part (1st Example). サンプリング処理部の構成を示す図Diagram showing the configuration of the sampling processing unit 動きベクトル検出部の構成を示す図The figure which shows the structure of a motion vector detection part. サンプリング処理のフローを示す図Diagram showing sampling process flow １次探索における縮小動きベクトル探索のフローを示した図The figure which showed the flow of the reduction motion vector search in a primary search 図６のサンプリング例に適したローパスフィルタ行列Low-pass filter matrix suitable for the sampling example of FIG. 図７のサンプリング例に適したローパスフィルタ行列Low-pass filter matrix suitable for the sampling example of FIG. １次探索部の構成を示す図（第二実施例）The figure which shows the structure of a primary search part (2nd Example). サンプリング方法の切り替え判断のフローを示す図Diagram showing sampling method switching decision flow サンプリング方法の切り替え処理のフローを示す図Diagram showing the flow of sampling method switching processing サンプリング方法の切り替え処理に伴う１次探索の追加フローを示す図The figure which shows the additional flow of the primary search accompanying the switching process of a sampling method

本発明の技術について、適宜図を参照しつつ説明する。
［サンプリングする画素の配置］
まず、１次探索の対象となる縮小画像をどのような配置にある画素をサンプリングして作成するのかを説明する。 The technique of the present invention will be described with reference to the drawings as appropriate.
[Placement of pixels to be sampled]
First, a description will be given of how the pixels in the reduced image to be subjected to the primary search are sampled and created.

後に詳述するが、１次探索において参照ブロックを符号化ブロックと相対的に位置をずらして画素を対応させるためには、参照画像と符号化画像でサンプリングする画素の配置は同じであり、且つ周期的な配置でなければならない。サンプリングする画素の配置についての周期性は、サンプリングされる画素間をつなぐ２つのベクトルで表すことが可能である。この２つのベクトルを並進ベクトルＶ１，Ｖ２とする。   As will be described in detail later, in order to associate the reference block with the encoded block by shifting the position of the reference block relative to the encoded block, the arrangement of the pixels sampled in the reference image and the encoded image is the same, and Must be a periodic arrangement. The periodicity of the arrangement of pixels to be sampled can be represented by two vectors that connect the pixels to be sampled. These two vectors are referred to as translation vectors V1 and V2.

サンプリング例１として、図６に入力フレームにおける１６×１６画素のマクロブロック６３とマクロブロックをサンプリングして作成した縮小マクロブロック６４を示している。マクロブロック６３において、●で示した画素をサンプリングして、縮小マクロブロック６４作成される。マクロブロック６３内のサンプリングする画素間の関係を表す並進ベクトルＶ１，Ｖ２は６１と６２である。図７は、サンプリング例２であり、マクロブロック７３から●で示した画素をサンプリングして縮小マクロブロック７４を作成しており、並進ベクトルは７１と７２である。   As sampling example 1, FIG. 6 shows a 16 × 16 pixel macroblock 63 in an input frame and a reduced macroblock 64 created by sampling the macroblock. In the macro block 63, the reduced macro block 64 is created by sampling the pixels indicated by ●. Translation vectors V1 and V2 representing the relationship between the sampling pixels in the macroblock 63 are 61 and 62, respectively. FIG. 7 shows a sampling example 2, in which the pixels indicated by ● are sampled from the macroblock 73 to create a reduced macroblock 74, and the translation vectors are 71 and 72.

並進ベクトルの設定には任意性があるが、簡単のため、片方の並進ベクトルは水平方向か垂直方向に合わせることにする。具体的には、ライン方向のサンプリング間隔ａ１と位相ズレｂ１によるベクトルＶ１（ａ１，ｂ１）と、位相ズレｂ２とライン間隔ａ２によるベクトルＶ２（ｂ２，ａ２）とすると良い。ちなみに位相ズレｂ１とｂ２は、それぞれ０≦ｂ２＜ａ１，０≦ｂ１＜ａ２の整数値であり、どちらかは０である。入力画像の画素のうち、ある１つの画素から並進ベクトルＶ１，Ｖ２それぞれが整数倍されたものの和（ｍ１×Ｖ１＋ｍ２×Ｖ２（ｍ１，ｍ２は整数））で示される位置にある画素が、サンプリングされる画素である。   Although the translation vector can be arbitrarily set, for the sake of simplicity, one translation vector is set in the horizontal direction or the vertical direction. Specifically, the vector V1 (a1, b1) based on the sampling interval a1 in the line direction and the phase shift b1 and the vector V2 (b2, a2) based on the phase shift b2 and the line interval a2 are preferable. Incidentally, the phase shifts b1 and b2 are integer values of 0 ≦ b2 <a1 and 0 ≦ b1 <a2, respectively, and one of them is 0. Among the pixels of the input image, a pixel at a position indicated by the sum (m1 × V1 + m2 × V2 (m1 and m2 are integers)) obtained by multiplying the translation vectors V1 and V2 by an integer from one pixel is sampled Pixels.

これは、サンプリングされる画素の配置は、並進ベクトルの起点となる位置の画素と、起点から並進ベクトルＶ１で示される位置の画素と、起点から並進ベクトルＶ２で示される位置の画素の３つの画素に基づいて決定されるとしても良い。この３つの画素の間の位置関係は、ベクトルＶ１，−Ｖ１，Ｖ２，−Ｖ２，Ｖ１−Ｖ２，Ｖ２−Ｖ１の６通りの関係がある。選択された画素に対して、この６通りの関係のいずれかを満たす画素をさらに選択していき、最終的に選択された画素群がサンプリングされる画素である。選択された全ての画素が、ある１つの画素から並進ベクトルＶ１，Ｖ２それぞれが整数倍されたものの和で示される位置にある画素という条件と同じことである。   This is because the arrangement of pixels to be sampled is three pixels: a pixel at a position that is the starting point of the translation vector, a pixel at a position indicated by the translation vector V1 from the starting point, and a pixel at a position indicated by the translation vector V2 from the starting point. It may be determined based on. The positional relationship between the three pixels has six relationships of vectors V1, -V1, V2, -V2, V1-V2, and V2-V1. With respect to the selected pixel, a pixel satisfying any one of these six relationships is further selected, and the finally selected pixel group is a pixel to be sampled. All of the selected pixels have the same condition as a pixel at a position indicated by the sum of one pixel obtained by multiplying the translation vectors V1 and V2 by integers.

サンプリング間隔がａ１であるため、水平方向は１／ａ１に縮小され、ライン間隔がａ２であるため、垂直方向は１／ａ２の解像度に縮小される。例えば図６のサンプリング例１では、並進ベクトルＶ１，Ｖ２をベクトル６１（４，０）、ベクトル６２（０，２）とした場合であり、図７のサンプリング例２は、並進ベクトルＶ１，Ｖ２をベクトル７１（４，０）、ベクトル７２（２，２）とした場合であるといえる。どちらのサンプリング例においても、水平方向は１／４、垂直方向は１／２に縮小されている。   Since the sampling interval is a1, the horizontal direction is reduced to 1 / a1, and since the line interval is a2, the vertical direction is reduced to 1 / a2. For example, sampling example 1 in FIG. 6 is a case where translation vectors V1 and V2 are vector 61 (4, 0) and vector 62 (0, 2). Sampling example 2 in FIG. It can be said that the vector 71 (4, 0) and the vector 72 (2, 2) are used. In both sampling examples, the horizontal direction is reduced to ¼ and the vertical direction is reduced to ½.

以後、サンプリングの対象となる入力フレームを原画像といい、サンプリングされたものを縮小画像ということにする。原画像の解像度をＮ×Ｍ画素とし、各画素の画素値をＯｒｇ（Ｏｘ，Ｏｙ）する。この画素値ＯｒｇはＹ，Ｃｂ，Ｃｒの輝度値Ｙであっても良いし、Ｒ，Ｇ，Ｂの画素値のいずれかであっても良い。座標Ｏｘ，Ｏｙは、０≦Ｏｘ＜Ｎ, ０≦Ｏｙ＜Ｍの範囲の整数である。縮小画像における各画素の画素値をＲｅｄ（Ｒｘ，Ｒｙ）とし、座標Ｒｘ，Ｒｙは、０≦Ｒｘ＜Ｎ／ａ１, ０≦Ｒｙ＜Ｍ／ａ２の範囲内の整数である。また、サンプリングされる画素のうち０≦Ｏｘ＜ａ１, ０≦Ｏｙ＜ａ２である画素の座標を（ｘ１，ｙ１）としておく。その場合、原画像と縮小画像の座標は数式３で対応付けられる。   Hereinafter, an input frame to be sampled is referred to as an original image, and a sampled image is referred to as a reduced image. The resolution of the original image is N × M pixels, and the pixel value of each pixel is Org (Ox, Oy). The pixel value Org may be a luminance value Y of Y, Cb, and Cr, or may be any of R, G, and B pixel values. The coordinates Ox and Oy are integers in the range of 0 ≦ Ox <N and 0 ≦ Oy <M. The pixel value of each pixel in the reduced image is Red (Rx, Ry), and the coordinates Rx, Ry are integers in the range of 0 ≦ Rx <N / a1, 0 ≦ Ry <M / a2. Also, the coordinates of the pixels that are 0 ≦ Ox <a1 and 0 ≦ Oy <a2 among the pixels to be sampled are set to (x1, y1). In that case, the coordinates of the original image and the reduced image are associated by Equation 3.

このように配置が決められたサンプリング対象の画素は、ｂ１＝０の場合であれば、ライン毎にサンプリング開始位置をずらすことでサンプリング可能である。即ち、０からＭ／ａ２までの各Ｒｙについてａ２＊Ｒｙ＋ｙ１のラインを、サンプリング開始位置をｍｏｄ（ｂ２＊Ｒｙ＋ｘ１，ａ１）として、サンプリング間隔ａ１おきに画素をサンプリングすればよい。

The pixels to be sampled whose arrangement is determined in this way can be sampled by shifting the sampling start position for each line if b1 = 0. That is, for each Ry from 0 to M / a2, the a2 * Ry + y1 line is set to the sampling start position mod (b2 * Ry + x1, a1), and the pixels may be sampled every sampling interval a1.

ｂ２＝０の場合はサンプリングされる画素のうち、同一のＲｙであるものが原画像において同一のラインでないため、ｂ１＝０の場合と同様にライン毎のサンプリングができない。この場合、それぞれの（Ｒｘ，Ｒｙ）に対し、Ｏｘ，Ｏｙの値それぞれを指定して読み出さなくてはならない。
［縮小画像の周波数領域］
次に、サンプリング対象とする画素の配置によって縮小画像が表現可能な周波数領域について説明する。 When b2 = 0, among the sampled pixels, those with the same Ry are not the same line in the original image. Therefore, sampling for each line cannot be performed as in the case of b1 = 0. In this case, it is necessary to specify and read the values of Ox and Oy for each (Rx, Ry).
[Frequency domain of reduced image]
Next, the frequency region in which a reduced image can be expressed by the arrangement of pixels to be sampled will be described.

原画像においては、画素情報が１画素間隔で配置されているため、１画素を周期とする周波数を１としたときに、例えば水平方向に表現可能な最大周波数｜ν｜は｜ν｜＝１／２である（単位は１／ピクセル）。垂直方向にも同様であり、原画像の表現可能な周波数領域は、数式４に示す領域となる。周波数空間の水平方向の変数をνｘ、垂直方向の変数をνｙとしている。   In the original image, pixel information is arranged at an interval of one pixel. Therefore, when the frequency with one pixel as a period is set to 1, for example, the maximum frequency | ν | that can be expressed in the horizontal direction is | ν | = 1. / 2 (unit is 1 / pixel). The same applies to the vertical direction, and the frequency region in which the original image can be expressed is the region shown in Equation 4. The variable in the horizontal direction of the frequency space is νx, and the variable in the vertical direction is νy.

また、図６のサンプリング例１の場合（Ｖ１＝（４，０）、Ｖ２＝（０，２）のとき）、作成した縮小画像で表現可能な周波数領域は数式５で示す領域となる。

Further, in the case of sampling example 1 in FIG. 6 (when V1 = (4, 0), V2 = (0, 2)), the frequency region that can be expressed by the generated reduced image is the region represented by Equation 5.

また、図７のサンプリング例２の場合（Ｖ１＝（４，０）、Ｖ２＝（２，２）のとき）、作成した縮小画像で表現可能な周波数領域は数式６で示す領域となる。

Further, in the case of sampling example 2 in FIG. 7 (when V1 = (4, 0), V2 = (2, 2)), the frequency region that can be expressed by the generated reduced image is the region represented by Equation 6.

これらの周波数領域は図８に図示しており、原画像が表現可能な周波数領域がＡ１であり、図６のサンプリング例１のサンプリングで作成された縮小画像が表現しうる周波数領域はＡ２であり、図７のサンプリング例２のサンプリングで作成された縮小画像が表現しうる周波数領域はＡ３である。いずれの領域も０≦νｘ，０≦νｙの範囲のみを図示している。

These frequency regions are illustrated in FIG. 8, the frequency region in which the original image can be represented is A1, and the frequency region that can be represented by the reduced image created by the sampling of the sampling example 1 in FIG. 6 is A2. The frequency region that can be expressed by the reduced image created by the sampling of the sampling example 2 in FIG. 7 is A3. In any region, only the ranges of 0 ≦ νx and 0 ≦ νy are illustrated.

図８の周波数領域を比較すると、サンプリング例２の場合、作成した縮小画像の表現しうる周波数の領域Ａ３は、サンプリング例１で作成した縮小画像が表現しうる周波数の領域Ａ２よりも水平方向について高周波数の領域を占めている。そのため水平方向に高周波数成分を含む原画像の場合、サンプリング例２のサンプリングをおこなうことで、サンプリング例１のサンプリングを行なった場合よりも縮小画像が水平方向の高周波成分を表現しうるので、１次探索による誤った縮小動きベクトルの検出を抑制することができる。   Comparing the frequency regions of FIG. 8, in the case of sampling example 2, the region A3 of the frequency that can be expressed by the created reduced image is more horizontal than the region A2 of the frequency that can be expressed by the reduced image created in sampling example 1. Occupies a high frequency range. Therefore, in the case of an original image including a high frequency component in the horizontal direction, by performing the sampling of sampling example 2, the reduced image can express a high frequency component in the horizontal direction as compared with the case of sampling of sampling example 1. Detection of an erroneous reduced motion vector by the next search can be suppressed.

比較するサンプリングのパターンによって垂直方向の高周波数について改善することも可能である。サンプリング例１とサンプリング例２では、縮小率を変えずに水平方向の解像度を改善できる。   It is also possible to improve the vertical high frequency depending on the sampling pattern to be compared. In sampling example 1 and sampling example 2, the horizontal resolution can be improved without changing the reduction ratio.

上記の例に限らず、定義したＶ１＝（ａ１，ｂ１），Ｖ２＝（ｂ２，ａ２）についても表現可能な周波数領域を示す。Ｖ１，Ｖ２の定め方には任意性があったが、表現可能な最も高い周波数を求める必要があるので、サンプリングする画素の位置関係を示すベクトルは絶対値が小さいものがよい。そこで、Ｖ１，Ｖ２，Ｖ１−Ｖ２のうち、絶対値の小さいものから順に２つのベクトルをＷ１，Ｗ２とする。Ｗ１＝（ｗｘ１，ｗｙ１），Ｗ２＝（ｗｘ２，ｗｙ２）としておく。   In addition to the above example, a frequency region that can be expressed for the defined V1 = (a1, b1) and V2 = (b2, a2) is shown. The method of determining V1 and V2 is arbitrary, but since it is necessary to obtain the highest frequency that can be expressed, it is preferable that the vector indicating the positional relationship of the pixels to be sampled has a small absolute value. Therefore, of V1, V2, and V1-V2, the two vectors are set to W1 and W2 in order from the smallest absolute value. It is assumed that W1 = (wx1, wy1) and W2 = (wx2, wy2).

ベクトルＷ１、もしくはベクトルＷ２の位置関係で位相が反転する周波数成分は、その方向に表現しうる最大の周波数成分となる。そのため、ベクトルＷ１、Ｗ２の位置関係で位相が反転しないもの、つまり変位のベクトルＷ１（ｗｘ１，ｗｙ１）、もしくはＷ２（ｗｘ２，ｗｙ２）と周波数のベクトル（νｘ，νｙ）の内積が１／２に満たない周波数成分は、表現しうる周波数成分である。また、−Ｗ１，−Ｗ２についても同様である。その領域は数式７で表され、その領域内の周波数成分についてはベクトルＷ１，Ｗ２、つまりベクトルＶ１，Ｖ２に基づいて配置された画素のみで表現できる。   The frequency component whose phase is inverted due to the positional relationship of the vector W1 or the vector W2 is the maximum frequency component that can be expressed in that direction. For this reason, the inner product of the vectors W1 and W2 whose phase does not invert, that is, the displacement vector W1 (wx1, wy1) or W2 (wx2, wy2) and the frequency vector (νx, νy) is halved. The frequency component that is not satisfied is a frequency component that can be expressed. The same applies to -W1 and -W2. The region is expressed by Equation 7, and the frequency components in the region can be expressed only by the pixels arranged based on the vectors W1 and W2, that is, the vectors V1 and V2.

例えば、Ｖ１＝（４，０）、Ｖ２＝（１，２）であるとすると、｜Ｖ２｜＜｜Ｖ１−Ｖ２｜＜｜Ｖ１｜であるため、ベクトルＷ１，Ｗ２はＷ１＝Ｖ１−Ｖ２＝（３，−２），Ｗ２＝Ｖ２＝（１，２）となる。その場合は数式８で示す周波数領域を表現可能である。

For example, if V1 = (4,0) and V2 = (1,2), then | V2 | <| V1-V2 | <| V1 |. Therefore, the vectors W1 and W2 are W1 = V1-V2 = (3, -2), W2 = V2 = (1,2). In that case, the frequency region shown in Formula 8 can be expressed.

［縮小画像同士の画素のマッチング方法］
しかしながら、既に説明した原画像において異なる列、行に属する画素を同一の列、又は行に格納して作成した縮小画像を用いた場合、１次探索を適切に行なうことができない。これは差分絶対値和（ＳＡＤ）を計算する際に、縮小符号化ブロックの画素と対応する参照ブロックの画素の原画像における位置が異なる場合があるためである。

[Method for matching pixels between reduced images]
However, when a reduced image created by storing pixels belonging to different columns and rows in the same column or row in the already described original image is used, the primary search cannot be performed appropriately. This is because, when calculating the sum of absolute differences (SAD), the position of the pixel of the reduced coding block and the pixel of the corresponding reference block in the original image may be different.

対応する画素の位置が原画像において異なるとは、例えば図１０に示すような場合である。図９〜図１２において縮小参照画像の画素を□で表し、縮小符号化ブロックの画素を●とする。サンプリング例２によって作成された縮小画像を用いて縮小参照画像と縮小符号化ブロックを対応させた場合に、縮小画像において図９に示す画素の対応となっているが、原画像においては図１０に示すように画素の位置関係が対応していない。言い換えれば、符号化ブロック１００内において、縮小参照画像の画素□と縮小符号化ブロックの画素●は、矢印１０２に示すとおり重なっていない。この場合、そもそも位置的に対応していない画素間で差分絶対値を算出して和をとることになるため、画像同士の近似度合いを適切に評価できず、誤った縮小動きベクトルを検出する恐れがある。   The corresponding pixel positions differ in the original image, for example, as shown in FIG. 9 to 12, the pixel of the reduced reference image is represented by □, and the pixel of the reduced coding block is represented by ●. When the reduced reference image and the reduced encoded block are associated with each other using the reduced image created by the sampling example 2, the correspondence between the pixels shown in FIG. 9 in the reduced image is shown, but in the original image in FIG. As shown, the pixel positional relationship does not correspond. In other words, in the coding block 100, the pixel □ of the reduced reference image and the pixel ● of the reduced coding block do not overlap as shown by the arrow 102. In this case, since the difference absolute value is calculated between the pixels that do not correspond to each other in the first place and the sum is calculated, the degree of approximation between the images cannot be appropriately evaluated, and an erroneous reduced motion vector may be detected. There is.

そこで、縮小動きベクトル９２に縮小率の逆数を乗じたベクトル１０１を補正して、縮小動きベクトル９２に対応する原画像における動きベクトルをベクトル１１１とすればよい。図１１に見るように、ベクトル１０１を補正してベクトル１１１で示した参照ブロック内においては画素が位置的に対応している。   Therefore, the vector 101 obtained by multiplying the reduced motion vector 92 by the reciprocal of the reduction rate may be corrected so that the motion vector in the original image corresponding to the reduced motion vector 92 is the vector 111. As shown in FIG. 11, the pixels correspond to each other in the reference block indicated by the vector 111 after correcting the vector 101.

補正してもブロック内での画素の配置が同じでなければ対応させることができないため、縮小画像を作成する際のサンプリングパターンは周期的でなければならない。   Even if the correction is made, if the arrangement of the pixels in the block is not the same, the correspondence cannot be made. Therefore, the sampling pattern for creating the reduced image must be periodic.

しかし、動きベクトルを補正して対応させた場合、本来対応するべき画素が矢印１１２に示すように対応していない。この矢印１１２で示したズレは縮小画像における１画素分に相当するので、縮小参照画像から画素を読み出す列を補正すればよい。つまり図１２に示すように、補正しない場合には領域９１の画素を縮小参照画像から読み出していたのに対して、補正により領域１２１の画素の読み出しを行なえばよい。具体的には以下の制御を行なう必要がある。   However, when the motion vector is corrected and made to correspond, the pixel that should originally correspond does not correspond as shown by the arrow 112. Since the shift indicated by the arrow 112 corresponds to one pixel in the reduced image, the column for reading out pixels from the reduced reference image may be corrected. In other words, as shown in FIG. 12, when correction is not performed, the pixels in the region 91 are read out from the reduced reference image, whereas the pixels in the region 121 may be read out by correction. Specifically, it is necessary to perform the following control.

まず、縮小動きベクトル候補が原画像においてどのようなベクトルであるかを説明する。縮小動きベクトルを（ｓｘ，ｓｙ）とした場合、縮小動きベクトルを原画像に対応させたベクトルを（Ｓｘ，Ｓｙ）とすると、Ｓｘ，Ｓｙは数式９で示される。縮小動きベクトル（ｓｘ，ｓｙ）は縮小参照領域内に候補をとり、ｓｘ，ｓｙ，Ｓｘ，Ｓｙは整数であり、負の整数も定義しうる。   First, what kind of vector the reduced motion vector candidate is in the original image will be described. Assuming that the reduced motion vector is (sx, sy), assuming that the vector in which the reduced motion vector corresponds to the original image is (Sx, Sy), Sx and Sy are expressed by Equation 9. The reduced motion vector (sx, sy) takes a candidate in the reduced reference area, and sx, sy, Sx, Sy are integers, and negative integers can also be defined.

縮小符号化画像の画素値Ｒｅｄ１（Ｒｘ１，Ｒｙ１）を縮小参照画像の画素値Ｒｅｄ２（Ｒｘ２，Ｒｙ２）と対応付けるには、原画像における座標が一致していなくてはならない。まず、縮小符号化画像の画素値Ｒｅｄ１の座標（Ｒｘ１，Ｒｙ１）を原画像の座標（Ｏｘ，Ｏｙ）に対応付けると、数式１０となる。

In order to associate the pixel value Red1 (Rx1, Ry1) of the reduced encoded image with the pixel value Red2 (Rx2, Ry2) of the reduced reference image, the coordinates in the original image must match. First, when the coordinates (Rx1, Ry1) of the pixel value Red1 of the reduced encoded image are associated with the coordinates (Ox, Oy) of the original image, Expression 10 is obtained.

この数式１０に示した座標（Ｏｘ，Ｏｙ）を原画像に対応させた縮小動きベクトル（ｓｘ，ｓｙ）移動させた位置は数式１１となる。η１は符号化縮小画像の画素のサンプリング時のズレ量η１であり、η２は縮小動きベクトル候補の原画像とのズレ量である。η１は、縮小符号化画像のライン毎に値が決まり、サンプリング時に計算したものを保存していても良いし、縮小参照画像から読み出す際にラインＲｙ１を指定するたびに算出しても良い。η２は縮小動きベクトル候補を設定した時点で算出する。

The position obtained by moving the coordinate (Ox, Oy) shown in Equation 10 to the reduced motion vector (sx, sy) corresponding to the original image is Equation 11. η1 is a deviation amount η1 at the time of sampling of pixels of the encoded reduced image, and η2 is a deviation amount from the original image of the reduced motion vector candidate. The value of η1 is determined for each line of the reduced encoded image, and the value calculated at the time of sampling may be stored, or may be calculated every time the line Ry1 is specified when reading from the reduced reference image. η2 is calculated when the reduced motion vector candidate is set.

数式１１からさらにｂ１，ｂ２のいずれか０となるので、ｂ１＝０の場合を説明する。原画像の座標と縮小画像の座標の対応を表す数式から縮小参照画像においての座標（Ｒｘ２，Ｒｙ２）は数式１３となる。

Since either of b1 and b2 is 0 from Equation 11, the case of b1 = 0 will be described. The coordinates (Rx2, Ry2) in the reduced reference image are represented by Expression 13 from the expression representing the correspondence between the coordinates of the original image and the coordinates of the reduced image.

数式１３では、縮小参照画像における縮小参照画像の画素の読み出し位置のずれをξとしている。数式１４で定義されるξを求めることで、読み出し位置のずれを補正できる。また、読み出し位置のずれ量ξは、上式の計算を行なわず、η１+η２≧ａ１ならばξ＝１とし、η１+η２＜ａ１ならばξ＝０としてパターン化してもよい。

In Equation 13, the shift in the readout position of the pixel of the reduced reference image in the reduced reference image is ξ. By obtaining ξ defined by Equation 14, the reading position shift can be corrected. The reading position deviation amount ξ may be patterned so that ξ = 1 if η1 + η2 ≧ a1 and ξ = 0 if η1 + η2 <a1 without calculating the above equation.

また、サンプリングされる画素の配置、つまり、並進ベクトルＶ１，Ｖ２とｘ１，ｙ１によって縮小参照画像からの読み出しズレξのパターンを決めてしまっても良い。例えばサンプリング例２のベクトル７１（４，０）、ベクトル７２（２，２）を並進ベクトルとした場合であれば、ｓｙとＲｙが奇数か偶数かによってξを指定し、読み出し位置を制御することができる。簡単のため、ｘ１＝０としておく。縮小動きベクトルのｙ方向ｓｙが偶数である場合には、η２は０であり、η１は必ずａ１よりも小さいため、縮小参照ブロックのどのラインにおいても読み出し位置のズレξは０である。一方、ｓｙが奇数である場合は、η２は２となり、Ｒｙ１が奇数のときにη１＝２であるためξ＝１で、Ｒｙ１が偶数のときにη１＝０であるためξ＝０となる。つまり、ｓｙが奇数のときのみ、Ｒｙ１の偶奇に合わせて読み出し位置のずれξを制御するとすれば良い。   Also, the pattern of the read deviation ξ from the reduced reference image may be determined by the arrangement of the pixels to be sampled, that is, the translation vectors V1, V2 and x1, y1. For example, if the vector 71 (4, 0) and the vector 72 (2, 2) in the sampling example 2 are translation vectors, ξ is specified depending on whether sy and Ry are odd or even, and the reading position is controlled. Can do. For simplicity, x1 = 0 is set. When the y direction sy of the reduced motion vector is an even number, η2 is 0 and η1 is always smaller than a1, so that the deviation ξ of the read position is 0 in any line of the reduced reference block. On the other hand, when sy is an odd number, η2 is 2, and when Ry1 is an odd number, η1 = 2, ξ = 1, and when Ry1 is an even number, η1 = 0, so ξ = 0. That is, only when sy is an odd number, the reading position shift ξ may be controlled in accordance with the even or odd of Ry1.

ｂ１＝０のときのみ読み出しの列方向のズレξを定義したが、ｂ２＝０の場合は、列方向に読み出し位置のズレを同様に定義し、制御すればよい。   The reading column direction deviation ξ is defined only when b1 = 0, but when b2 = 0, the reading position deviation in the column direction is similarly defined and controlled.

この方法で縮小参照画像から画素を読み出し、符号化ブロックの画素と対応する画素とで差分絶対値を算出することで、原画像において異なる位置にある画素を対応させることに起因する誤った縮小動きベクトルを検出することを防ぐことができる。２次探索は、この方法で検出した縮小動きベクトル（ｓｘ，ｓｙ）に縮小率の逆数を乗じて、上に説明したように補正したベクトルを起点に行なえばよい。   By using this method to read out pixels from the reduced reference image and calculate the absolute difference between the pixels in the encoded block and the corresponding pixels, erroneous reduction movement caused by matching pixels at different positions in the original image It is possible to prevent detection of vectors. The secondary search may be performed starting from a vector corrected as described above by multiplying the reduced motion vector (sx, sy) detected by this method by the reciprocal of the reduction rate.

本発明の具体的な構成について、図を参照しつつ説明する。なお、以下の説明はあくまで例示であり、具体的な構成を限定するものでない。   A specific configuration of the present invention will be described with reference to the drawings. In addition, the following description is an illustration to the last and does not limit a specific structure.

本発明の動画像符号化装置は、例えば図１３の構成で実施される。動きベクトル計算手段１３０７は入力画像を復号画像記憶手段１３０６に記憶された参照フレームと対応付けて動きベクトル探索を行い、入力フレームの各符号化ブロックについての動きベクトルを出力する。   The moving picture encoding apparatus of the present invention is implemented with the configuration shown in FIG. 13, for example. The motion vector calculation unit 1307 performs a motion vector search by associating the input image with the reference frame stored in the decoded image storage unit 1306, and outputs a motion vector for each coding block of the input frame.

動きベクトル探索の演算コストを少なくする方法として階層的探索法がある。階層的探索法は既に説明したとおりであり、縮小画像を用いた動きベクトル探索（１次探索）により縮小動きベクトルを求め、求められた縮小動きベクトルに基づいて原画像を用いた動きベクトル探索（２次探索）を行なう方法である。   There is a hierarchical search method as a method for reducing the calculation cost of motion vector search. The hierarchical search method is as described above. A reduced motion vector is obtained by motion vector search (primary search) using a reduced image, and a motion vector search using an original image based on the obtained reduced motion vector ( (Secondary search).

この階層的探索法で動きベクトル探索を行なう場合、動きベクトル探索部は図１４の構成となる。動きベクトル計算手段１３０７は、入力フレームから縮小画像を作成し、縮小動きベクトルを求める１次探索部１４１と、入力フレームに対して１次探索部１４１で求められた縮小動きベクトルに基づいて動きベクトルを求める２次探索部１４２で構成される。   When a motion vector search is performed by this hierarchical search method, the motion vector search unit has the configuration shown in FIG. The motion vector calculation unit 1307 creates a reduced image from the input frame and obtains a reduced motion vector, and a motion vector based on the reduced motion vector obtained by the primary search unit 141 for the input frame. Is formed by a secondary search unit 142 for obtaining.

１次探索部１４１における縮小動きベクトルの検出について、以下に本願の実施形態を説明する。
［第一の実施形態］
階層的探索法によって動きベクトルを探索する動きベクトル計算手段１３０７の１次探索部１４１は、例えば図１５の構成で実施することが考えられる。 An embodiment of the present application will be described below with regard to detection of a reduced motion vector in the primary search unit 141.
[First embodiment]
The primary search unit 141 of the motion vector calculation unit 1307 that searches for a motion vector by a hierarchical search method may be implemented with the configuration of FIG. 15, for example.

図１５の構成では、１次探索部をサンプリング処理部１５１と、画像記憶部１５２と、動きベクトル検出部１５３で構成している。サンプリング処理部１５１は各入力フレームについてサンプリングした画素で構成される画像を画像記憶部１５２に出力する。動きベクトル検出部１５３は画像記憶部１５２に記憶された画像を用いて動きベクトル探索を行ない、各符号化ブロックの動きベクトルを検出する。画像記憶部１５２はサンプリング処理部１５１でサンプリングされた画像を記憶し、動きベクトル検出部１５３の読み出し指示に応じて記憶している画像を読み出し、動きベクトル検出部１５３に出力する。   In the configuration of FIG. 15, the primary search unit includes a sampling processing unit 151, an image storage unit 152, and a motion vector detection unit 153. The sampling processing unit 151 outputs an image composed of pixels sampled for each input frame to the image storage unit 152. The motion vector detection unit 153 performs a motion vector search using the image stored in the image storage unit 152 and detects a motion vector of each encoded block. The image storage unit 152 stores the image sampled by the sampling processing unit 151, reads the stored image in response to a read instruction from the motion vector detection unit 153, and outputs it to the motion vector detection unit 153.

サンプリング処理部１５１は、例えば図１６に示すように画素データ抽出部１６１とサンプリング位置制御部１６２で構成される。サンプリング位置制御部１６２は読み出すべき画素の座標と読み出した画素を格納する座標を画素データ抽出部１６１に指示する。画素データ抽出部１６１は、サンプリング位置制御部１６２で指示された画素について、その画素値を読み込み、サンプリング位置制御部１６２の指示に基づいて画素値を格納して画像記憶部１５２に出力する。サンプリング処理の付加的処理として、画素データ抽出部１６１はローパスフィルタの機能を有していても良い。   The sampling processing unit 151 includes a pixel data extraction unit 161 and a sampling position control unit 162, for example, as shown in FIG. The sampling position control unit 162 instructs the pixel data extraction unit 161 to specify the coordinates of the pixel to be read and the coordinates for storing the read pixel. The pixel data extraction unit 161 reads the pixel value of the pixel instructed by the sampling position control unit 162, stores the pixel value based on the instruction of the sampling position control unit 162, and outputs it to the image storage unit 152. As an additional process of the sampling process, the pixel data extraction unit 161 may have a low-pass filter function.

動きベクトル検出部１５３は、例えば図１７に示すようにＳＡＤ計算部１７１、読み出し位置制御部１７２、縮小動きベクトル候補生成部１７３、ブロックアドレス制御部１７４、ＳＡＤ評価部１７５で構成される。   For example, as shown in FIG. 17, the motion vector detection unit 153 includes a SAD calculation unit 171, a read position control unit 172, a reduced motion vector candidate generation unit 173, a block address control unit 174, and a SAD evaluation unit 175.

ブロックアドレス制御部１７４は、符号化する画像のどの符号化ブロックを符号化するかを指定し、指示情報を読み出し位置制御部１７２に出力する。縮小動きベクトル候補生成部１７３は縮小参照領域内で１画素ずつずらしながら縮小動きベクトル候補を生成し、読み出し位置制御部１７２に出力する。読み出し位置制御部１７２は指示された符号化ブロックの位置と縮小動きベクトル候補に応じて、縮小符号化画像の指示された画素の情報と、縮小参照画像の指示された画素の情報を読み出し、ＳＡＤ計算部１７１に出力する。ＳＡＤ計算部１７１は対応する画素の差分絶対値和ＳＡＤを計算し、ＳＡＤ評価部１７５に出力する。ＳＡＤ評価部１７５では、一つの縮小符号化ブロックに対する複数の縮小動きベクトル候補の中で、最大の差分絶対値和ＳＡＤを与える縮小動きベクトル候補を縮小動きベクトルとして出力する。   The block address control unit 174 specifies which encoding block of the image to be encoded is to be encoded, and outputs the instruction information to the read position control unit 172. The reduced motion vector candidate generation unit 173 generates reduced motion vector candidates while shifting one pixel at a time within the reduced reference area, and outputs the reduced motion vector candidates to the readout position control unit 172. The reading position control unit 172 reads out the information of the designated pixel of the reduced coded image and the information of the designated pixel of the reduced reference image according to the designated position of the coded block and the reduced motion vector candidate, and performs SAD The result is output to the calculation unit 171. The SAD calculation unit 171 calculates the difference absolute value sum SAD of the corresponding pixels and outputs it to the SAD evaluation unit 175. The SAD evaluation unit 175 outputs, as a reduced motion vector, a reduced motion vector candidate that gives the maximum difference absolute value sum SAD among a plurality of reduced motion vector candidates for one reduced coding block.

次に、入力フレームをサブサンプリングして縮小画像を作成する処理のフローについて図１８を参照して説明する。このフローでは、縮小画像の画素の座標（Ｒｘ，Ｒｙ）毎に、原画像において対応する画素情報を読み込み、縮小画像を１フレーム作成する。   Next, a flow of processing for creating a reduced image by sub-sampling an input frame will be described with reference to FIG. In this flow, for each pixel coordinate (Rx, Ry) of the reduced image, corresponding pixel information in the original image is read, and one frame of the reduced image is created.

まず、縮小画像での座標（０，０）に対応する原画像での座標を特定する。（Ｒｘ，Ｒｙ）＝（０，０）として（Ｓ１００）、サンプリングするラインを指定する（Ｓ１０１）。次にＳ１０１で指定したラインのサンプリング開始位置を指定する（Ｓ１０２）。指定された原画像の画素情報を読み出し、縮小画像の（０，０）に格納する（Ｓ１０３，Ｓ１０４）。Ｓ１０１で指定したラインの読み出しを終えていなければ（Ｓ１０５）、原画像においてサンプリング間隔ａ１移動させた位置を指定し（Ｓ１０７）、指定された画素情報を読み出す。このフローを縮小画像の指定ラインの画素全てに画素情報を格納する（Ｓ１０６のＮＯルート）まで繰り返す。   First, the coordinates in the original image corresponding to the coordinates (0, 0) in the reduced image are specified. As (Rx, Ry) = (0, 0) (S100), a line to be sampled is designated (S101). Next, the sampling start position of the line designated in S101 is designated (S102). The pixel information of the designated original image is read out and stored in (0, 0) of the reduced image (S103, S104). If the reading of the line designated in S101 has not been completed (S105), the position moved by the sampling interval a1 in the original image is designated (S107), and the designated pixel information is read out. This flow is repeated until the pixel information is stored in all the pixels on the designated line of the reduced image (NO route in S106).

縮小画像の指定されたラインにある画素全てに画素情報を格納した場合は、ラインを再指定し（Ｓ１０８）、さらにサンプリング開始位置を再指定し（Ｓ１０２）、ライン内の画素のサンプリングを行なう。縮小画像の全てのラインについてサンプリングを行なった場合（Ｓ１０６のＹＥＳルート）、入力された画像のサンプリングを終えたものとする（Ｓ１０９）。   When pixel information is stored in all the pixels in the designated line of the reduced image, the line is designated again (S108), the sampling start position is designated again (S102), and the pixels in the line are sampled. When sampling has been performed for all lines of the reduced image (YES route of S106), it is assumed that sampling of the input image has been completed (S109).

次に、縮小動きベクトル探索のフローについて図１９を参照して説明する。   Next, a reduced motion vector search flow will be described with reference to FIG.

まず、符号化フレームと参照フレームを指示する情報を読み込む（Ｓ２００）。指示された符号化フレームの縮小符号化画像から縮小符号化ブロックを順に選択する（Ｓ２０１）。縮小符号化ブロックの位置に応じて縮小参照領域を設定し、縮小参照領域内で順に縮小動きベクトル候補を選択する（Ｓ２０２）。   First, information indicating an encoded frame and a reference frame is read (S200). A reduced coding block is sequentially selected from the reduced coded image of the designated coded frame (S201). A reduced reference area is set according to the position of the reduced encoded block, and reduced motion vector candidates are selected in order within the reduced reference area (S202).

Ｓ２０３〜Ｓ２０６のフローでは、指定された縮小参照ブロックについての評価値を算出する。縮小符号化ブロックのラインＲｙ１を順に指定し（Ｓ２０３）、ラインＲｙ１と縮小動きベクトル候補からズレ値ξを算出する（Ｓ２０４）。さらに、縮小符号化ブロックの画素をズレ値ξも考慮して縮小参照領域の画素と対応付ける。対応づけられた画素同士で差分絶対値和を計算し、積分する。対象とした縮小符号化ブロックと縮小参照ブロックの全ての画素について対応させて、差分絶対値を積分したら、積分値を縮小動きベクトル候補の評価値とする。   In the flow from S203 to S206, the evaluation value for the designated reduced reference block is calculated. The line Ry1 of the reduced coding block is designated in order (S203), and a deviation value ξ is calculated from the line Ry1 and the reduced motion vector candidate (S204). Further, the pixels of the reduced coding block are associated with the pixels of the reduced reference region in consideration of the deviation value ξ. The sum of absolute differences is calculated between the associated pixels and integrated. When the absolute difference values are integrated in correspondence with all the pixels of the target reduced coding block and the reduced reference block, the integrated value is set as the evaluation value of the reduced motion vector candidate.

全ての縮小動きベクトル候補について評価値を算出したら（Ｓ２０８）、評価値が最大となる縮小動きベクトル候補を選択し、縮小符号化ブロックの縮小動きベクトルとして出力する（Ｓ２０９）。Ｓ２０２〜Ｓ２０９のフローを全ての縮小符号化ブロックについて行なっていなければ、残りの縮小符号化ブロックを選択して、再度Ｓ２０２〜Ｓ２０９のフローを行なう。全ての縮小符号化ブロックについて縮小動きベクトルを算出したら、動きベクトル探索の対象としていた参照フレームと符号化フレームの１次探索を終了する。   When the evaluation values are calculated for all the reduced motion vector candidates (S208), the reduced motion vector candidate having the maximum evaluation value is selected and output as the reduced motion vector of the reduced encoded block (S209). If the flow of S202 to S209 is not performed for all the reduced coding blocks, the remaining reduced coding blocks are selected, and the flow of S202 to S209 is performed again. When the reduced motion vectors are calculated for all the reduced encoded blocks, the primary search of the reference frame and the encoded frame that are the target of the motion vector search is finished.

サンプリング処理部１５１でサンプリングすることによって、折り返しノイズが発生し、１次探索の精度を下げてしまうことも考えられる。そのために画素データ抽出部１６１で指定された位置にある画素の画素値を読み出す前に、その画素にフィルタ処理を施すとよい。サンプリングされた画素による画像は、サンプリングの仕方によって表現しうる周波数領域が異なるため、サンプリングの仕方に合った周波数領域のみを通過させるローパスフィルタを用いる。   Sampling by the sampling processing unit 151 may cause aliasing noise and reduce the accuracy of the primary search. Therefore, before reading out the pixel value of the pixel at the position specified by the pixel data extraction unit 161, it is preferable to perform a filtering process on the pixel. Since the frequency domain that can be expressed differs depending on how the sampling is performed, the low-pass filter that passes only the frequency domain that matches the sampling method is used.

例えば、サンプリング例１であれば、サンプリングする画素の周囲の画素も含めて図２０のフィルタを掛け合わせることによって折り返しノイズを抑止する。また、サンプリング例２であれば、サンプリングする画素の周囲の画素も含めて図２１のフィルタを掛け合わせることによって折り返しノイズを抑止できる。
［第二の実施形態］
第一の実施形態に、入力フレームの周波数特性によってサンプリング方法を切り替える構成を付加することも考えられる。例えば、図２２に示すように、新たに周波数解析部２２０とパターン指示部２２１を設けた構成が考えられる。 For example, in the case of sampling example 1, aliasing noise is suppressed by multiplying the filter of FIG. 20 including pixels around the pixel to be sampled. In the case of sampling example 2, aliasing noise can be suppressed by multiplying the filter of FIG. 21 including pixels around the pixel to be sampled.
[Second Embodiment]
It is also conceivable to add a configuration for switching the sampling method according to the frequency characteristics of the input frame to the first embodiment. For example, as shown in FIG. 22, a configuration in which a frequency analysis unit 220 and a pattern instruction unit 221 are newly provided is conceivable.

周波数解析部２２０は、入力フレームの周波数解析を行い、入力フレームにどの周波数成分が多く含まれているかを算出する。この周波数解析部２２０は動きベクトル計算手段１２０７内に設けずに、例えば図１３の直交変換手段１３０１が兼ねても良い。   The frequency analysis unit 220 performs frequency analysis of the input frame and calculates which frequency component is included in the input frame. The frequency analysis unit 220 may not be provided in the motion vector calculation unit 1207 but may also serve as, for example, the orthogonal transform unit 1301 in FIG.

パターン指示部２２１は、周波数解析部２２０の解析結果に基づいて、入力フレームが有する周波数成分の情報を表現可能なサンプリングパターンを決定し、サンプリング位置制御部１６２と読み出し位置制御部１７２に指示する。サンプリングパターンは、すでに説明したように、例えば並進ベクトルＶ１，Ｖ２、もしくは並進ベクトルで関係付けられる３つの画素によって決められる。   Based on the analysis result of the frequency analysis unit 220, the pattern instruction unit 221 determines a sampling pattern that can represent information on frequency components included in the input frame, and instructs the sampling position control unit 162 and the reading position control unit 172. As already described, the sampling pattern is determined by, for example, the translation vectors V1 and V2 or three pixels related by the translation vector.

パターン指示部２２１は、図２２に示すように候補選択部２２２と、候補評価部２２３と、候補設定部２２４を設けた構成としても良い。   The pattern instruction unit 221 may be configured to include a candidate selection unit 222, a candidate evaluation unit 223, and a candidate setting unit 224 as shown in FIG.

候補設定部２２４は、サンプリングのパターンと、そのパターンに従って配置された画素で表現可能な周波数領域が設定されている。候補評価部２２３は候補設定部２２４に設定された情報を読み出し、周波数解析部２２０で算出した周波数分布が各パターンの周波数領域内にどの程度含まれているかを算出する。算出した値は各パターンと関連づけて候補選択部２２２に出力する。候補選択部２２２では、各パターンのうち表現可能な周波数領域が周波数解析部２２０で算出した周波数分布を最も多く含むパターンを選択する。選択したパターンをサンプリング位置制御部１６２と、読み出し位置制御部１７２に出力する。   In the candidate setting unit 224, a sampling pattern and a frequency region that can be expressed by pixels arranged according to the pattern are set. The candidate evaluation unit 223 reads the information set in the candidate setting unit 224 and calculates how much the frequency distribution calculated by the frequency analysis unit 220 is included in the frequency domain of each pattern. The calculated value is output to the candidate selection unit 222 in association with each pattern. The candidate selection unit 222 selects a pattern in which the frequency region that can be expressed among the patterns includes the most frequency distribution calculated by the frequency analysis unit 220. The selected pattern is output to the sampling position control unit 162 and the reading position control unit 172.

前述のように周波数解析部２２０は動きベクトル計算手段１３０７内に設けても良いし、直交変換手段１３０１が兼ねても良い。直交変換手段１３０１が周波数解析部を兼ねる場合は、マクロブロック単位で周波数分布を得ることになるので、１つの入力フレーム内の全ての符号化ブロックについての周波数分布を重畳して周波数分布を評価すると良い。また、周波数解析部を動きベクトル計算手段１３０７内に設けた場合は、各マクロブロックで周波数分布を求めた結果を重畳しても良いし、１フレーム全体の周波数分布を算出しても良い。   As described above, the frequency analysis unit 220 may be provided in the motion vector calculation unit 1307, or may be used as the orthogonal transform unit 1301. When the orthogonal transform unit 1301 also serves as a frequency analysis unit, the frequency distribution is obtained in units of macroblocks. Therefore, when the frequency distribution is evaluated by superimposing the frequency distributions for all the coding blocks in one input frame. good. When the frequency analysis unit is provided in the motion vector calculation unit 1307, the result of obtaining the frequency distribution in each macro block may be superimposed, or the frequency distribution of the entire frame may be calculated.

動画像符号化開始時には、予め何らかのサンプリングのパターンを決めておく。サンプリングのパターンが、入力フレームが有する周波数成分の情報を最も失わないサンプリングのパターンでない場合にはパターンを切り替える必要があるが、その場合は図２３のフローで切り替え処理に移行すると良い。   At the start of video encoding, some sampling pattern is determined in advance. If the sampling pattern is not the sampling pattern that loses the most of the frequency component information of the input frame, it is necessary to switch the pattern. In this case, it is preferable to shift to the switching process in the flow of FIG.

始めにカウンタを０にする（Ｓ３０１）。カウンタは、頻繁に配置パターンが切り替わることを防ぐための付加的な構成要素であり、なくても良い。次に周波数解析部２２０にて入力フレームの周波数分布を算出する（Ｓ３０２）。サンプリングパターンの候補を予め設定しておき、候補毎に評価値を算出する（Ｓ３０３）。評価値が最大となるサンプリングのパターン候補を選択し、現在のサンプリングのパターンと同じであるかを判断する（Ｓ３０４）。現在のパターンと同じであれば、現在のパターンのままサンプリング処理して縮小動きベクトル探索を行なう。評価値が最大のパターンと現在のパターンが異なる場合は、カウンタを１あげる（Ｓ３０５）。Ｓ３０５で１あげたカウンタが所定数に達していた場合にサンプリングパターンの切り替え処理に移行する（Ｓ３０６，Ｓ３０７）。カウンタが所定数に達しない場合、Ｓ３０１に戻りカウンタを０にする。   First, the counter is set to 0 (S301). The counter is an additional component for preventing frequent switching of the arrangement pattern, and may be omitted. Next, the frequency analysis unit 220 calculates the frequency distribution of the input frame (S302). Sampling pattern candidates are set in advance, and an evaluation value is calculated for each candidate (S303). A sampling pattern candidate that maximizes the evaluation value is selected, and it is determined whether or not it is the same as the current sampling pattern (S304). If it is the same as the current pattern, a reduced motion vector search is performed by sampling the current pattern. If the pattern having the largest evaluation value is different from the current pattern, the counter is incremented by 1 (S305). When the counter incremented by 1 in S305 has reached a predetermined number, the process proceeds to sampling pattern switching processing (S306, S307). If the counter does not reach the predetermined number, the process returns to S301 and the counter is set to zero.

サンプリングパターンを切り替える場合のサンプリング処理は、図２４のフローを行なう。Ｓ３０７に移行した場合、新しいサンプリングパターンをサンプリング位置制御部１６２に出力する（Ｓ４００）。サンプリング位置制御部１６２は、新しいパターンが入力され、処理中のサンプリング処理が終了する（Ｓ１０９）と、サンプリングパターンを切り替える（Ｓ４０１）。パターンの切り替えは、ａ１，ａ２，ｂ１，ｂ２，ｘ１，ｙ１のパラメータを再設定すれば良い。サンプリングパターンを切り替えたら、次の入力フレームのサンプリング処理に移行する（Ｓ１００）。縮小画像には、どのサンプリングパターンで作成された縮小画像であるかを示すラベルを付加しておくと良い。またラベルを付加せずとも、サンプリングパターンを切り替え処理の次にサンプリングした縮小画像にフラグ等の目印をつけておくだけでも良い。   The sampling process when switching the sampling pattern performs the flow of FIG. When the process proceeds to S307, a new sampling pattern is output to the sampling position control unit 162 (S400). The sampling position control unit 162 switches the sampling pattern (S401) when the new pattern is input and the sampling process being processed is completed (S109). The pattern can be switched by resetting the parameters a1, a2, b1, b2, x1, and y1. After switching the sampling pattern, the process proceeds to the sampling process for the next input frame (S100). A label indicating which sampling pattern is used for the reduced image is preferably added to the reduced image. Further, a mark such as a flag may be added to the reduced image sampled after the switching process of the sampling pattern without adding a label.

また、サンプリングパターンの切り替え処理後の縮小動きベクトル探索における読み出し処理については、複数フレームにわたる処理であるため、切り替え前と切り替え後の縮小画像同士はブロックマッチングできない。どのフレームを用いて動きベクトル探索を行なうか（符号化フレームの選択と参照フレームの指示）に基づいて、読み出し位置制御手段１７２動き１次探索が可能かを判断する必要がある。１次探索が不可能である場合には、階層探索を行なわないことが考えられる。その場合は、図２５のフローで行なえばよい。   In addition, since the readout process in the reduced motion vector search after the sampling pattern switching process is a process over a plurality of frames, the reduced images before and after switching cannot be block-matched. Based on which frame is used to perform the motion vector search (encoding frame selection and reference frame instruction), it is necessary to determine whether the reading position control means 172 can perform a primary motion search. When the primary search is impossible, it is considered that the hierarchical search is not performed. In that case, the flow of FIG.

まず、動きベクトル探索をどのフレームについて行なうかを指示する情報が入力される（Ｓ２００）。サンプリング処理部１５１で作成した縮小画像に、どのサンプリングパターンでサンプリングしたかを表すラベルを付していた場合、Ｓ２００で指示された縮小符号化フレームと縮小参照フレームでそのラベルの情報が異なるかを判断する（Ｓ５００）。ラベルの情報が同じであれば、その２つの縮小画像は同じパターンでサンプリングされたものであるので、縮小動きベクトル探索が可能であり、１次探索のフローに移行する（Ｓ２０１）。また、ラベル情報が異なる場合は、縮小画像同士で各画素の原画像における位置が対応しないため、動きベクトル探索を行なうことができない。そこで、１次探索を行なわず、２次探索部でのみ動きベクトル探索を行なう。この場合、２次探索部において、階層的探索法ではなく、全探索法で動きベクトル探索を行なう。   First, information indicating which frame the motion vector search is to be performed is input (S200). If the reduced image created by the sampling processing unit 151 has a label indicating which sampling pattern is used for sampling, whether the information of the label is different between the reduced encoded frame instructed in S200 and the reduced reference frame. Judgment is made (S500). If the label information is the same, the two reduced images have been sampled in the same pattern, so that a reduced motion vector search is possible, and the flow proceeds to the primary search flow (S201). Also, when the label information is different, the position of each pixel in the original image does not correspond between the reduced images, so that a motion vector search cannot be performed. Therefore, the primary search is not performed, and the motion vector search is performed only at the secondary search unit. In this case, in the secondary search unit, the motion vector search is performed not by the hierarchical search method but by the full search method.

１０ 符号化フレーム
１１ 符号化フレーム１０のマクロブロック
１２ 符号化ブロック
２０ 参照フレーム
２１ 参照領域
２２ 参照ブロック
２３ 動きベクトル候補
３０ 縮小符号化画像
３１ 縮小マクロブロック
３２ 縮小符号化ブロック
４０ 縮小参照画像
４１ 縮小参照領域
４２ 縮小参照ブロック
４３ 縮小動きベクトル候補
５１ 参照領域
５２ 縮小動きベクトルを水平方向にａ１倍、垂直方向にａ２倍にしたベクトル
５３ 動きベクトル候補
５４ 参照ブロック
６１ 並進ベクトルＶ１
６２ 並進ベクトルＶ２
６３ 入力フレームのマクロブロック
６４ 縮小画像のマクロブロック
７１ 並進ベクトルＶ１
７２ 並進ベクトルＶ２
７３ 入力フレームのマクロブロック
７４ 縮小画像のマクロブロック
Ａ１ 入力フレームが画像を表現可能な周波数領域
Ａ２ サンプリング例１で作成した縮小画像が画像を表現可能な周波数領域
Ａ３ サンプリング例２で作成した縮小画像が画像を表現可能な周波数領域
９１ 縮小参照ブロック読み出し領域
９２ 縮小動きベクトル候補
１００ 符号化ブロックをベクトル１０１だけ移動させたもの
１０１ 縮小動きベクトルを水平方向にａ１倍、垂直方向にａ２倍にしたベクトル
１１０ 符号化ブロックをベクトル１１１だけ移動させたもの
１１１ １０１を補正したベクトル
１２１ 補正後の縮小参照ブロック読み出し領域
１５１ サンプリング処理部
１５２ 画像記憶部
１５３ 動きベクトル検出部
１６１ 画素データ抽出部
１６２ サンプリング位置制御部
１７１ ＳＡＤ計算部
１７２ 読み出し位置制御部
１７３ 縮小動きベクトル候補生成部
１７４ ブロックアドレス制御部
１７５ ＳＡＤ評価部 DESCRIPTION OF SYMBOLS 10 Encoding frame 11 Macroblock of encoding frame 10 12 Encoding block 20 Reference frame 21 Reference area 22 Reference block 23 Motion vector candidate 30 Reduced encoded image 31 Reduced macroblock 32 Reduced encoded block 40 Reduced reference image 41 Reduced reference Area 42 reduced reference block 43 reduced motion vector candidate 51 reference area 52 vector obtained by reducing the reduced motion vector by a1 times in the horizontal direction and a2 times in the vertical direction 53 motion vector candidates 54 reference block 61 translation vector V1
62 Translation vector V2
63 Macroblock of input frame 64 Macroblock of reduced image 71 Translation vector V1
72 Translation vector V2
73 Macroblock of input frame 74 Macroblock of reduced image A1 Frequency region where input frame can represent image A2 Frequency region where reduced image created in sampling example 1 can represent image A3 Reduced image created in sampling example 2 Frequency domain that can represent an image 91 Reduced reference block read area 92 Reduced motion vector candidate 100 Vector obtained by moving the encoded block by the vector 101 101 Vector obtained by multiplying the reduced motion vector by a1 in the horizontal direction and a2 in the vertical direction 110 A coded block moved by a vector 111 111 A vector obtained by correcting 111 101 A reduced reference block read area after correction 151 A sampling processing unit 152 An image storage unit 153 A motion vector detection unit 161 A pixel data extraction unit 162 A sample Grayed position control unit 171 SAD calculation unit 172 reads the position control unit 173 reduces the motion vector candidate generation unit 174 block address control unit 175 SAD evaluation unit

Claims (9)

入力フレームから作成した縮小画像における動きベクトルを検出し、前記入力フレームにおける動きベクトルの探索を前記縮小画像における動きベクトルに基づいて行なう動画像符号化装置において、
複数の入力フレームについて、垂直方向に第１の所定間隔で配置された行において、水平方向に第２の所定の間隔で配置され、画素の位置を前記第１の所定間隔を空けた行に含まれる画素と所定の列数ずらして配置された画素で形成される画素群か、もしくは水平方向に前記第２の所定間隔で配置された列において、垂直方向に前記第１の所定の間隔で配置され、画素の位置を前記第２の所定間隔を空けた列に含まれる画素と所定の行数ずらして配置された画素で形成される画素群をサンプリングし、それぞれの入力フレームから縮小画像を作成するサンプリング処理部と、
前記作成された縮小画像間において、各画素の読み出し位置を前記入力フレームにおける位置的な対応関係に応じて補正して、前記作成された縮小画像における動きベクトルの探索を行なう動きベクトル検出部と
を有することを特徴とする動画像符号化装置
In a moving image encoding apparatus that detects a motion vector in a reduced image created from an input frame and performs a search for a motion vector in the input frame based on the motion vector in the reduced image.
For a plurality of input frames, in rows arranged at first predetermined intervals in the vertical direction, pixels are arranged at second predetermined intervals in the horizontal direction, and pixel positions are included in the rows spaced at the first predetermined intervals. A pixel group formed of pixels arranged with a predetermined number of columns shifted from the pixels to be arranged, or arranged at the first predetermined interval in the vertical direction in a column arranged at the second predetermined interval in the horizontal direction A pixel group formed by pixels arranged by shifting the position of pixels by a predetermined number of rows from the pixels included in the second predetermined interval, and creating a reduced image from each input frame A sampling processing unit to perform,
A motion vector detection unit that corrects the readout position of each pixel according to the positional correspondence in the input frame between the created reduced images and searches for a motion vector in the created reduced image; A moving picture coding apparatus comprising:
前記動きベクトル検出部が、
動きベクトルを探索する前記作成された縮小画像のうち、参照対象の縮小画像について画素の読み出し位置を補正すること
を特徴とする請求項１に記載の動画像符号化装置
The motion vector detection unit is
2. The moving picture encoding apparatus according to claim 1, wherein a pixel reading position of a reduced image to be referred to is corrected among the created reduced images for searching for a motion vector.
前記サンプリング処理部が、
整数ａ１，ａ２，ｂ１，ｂ２を、ｂ１，ｂ２はいずれかが０であり、ｂ２はａ１より小さく、ｂ１はａ２よりも小さいとして、
Ｖ１＝（ａ１，ｂ１）
Ｖ２＝（ｂ２，ａ２）
と定義されるベクトルＶ１，Ｖ２を用いて、前記入力フレームにおいて所定の画素を始点として前記ベクトルＶ１，Ｖ２それぞれの整数倍の和で示される位置にある画素をサンプリングして前記縮小画像を作成すること
を特徴とする請求項１、又は請求項２に記載の動画像符号化装置
The sampling processing unit
Integers a1, a2, b1, b2, b1 and b2 are either 0, b2 is smaller than a1, and b1 is smaller than a2,
V1 = (a1, b1)
V2 = (b2, a2)
Using the vectors V1 and V2 defined as follows, the reduced image is created by sampling the pixels at the positions indicated by the sum of integer multiples of the vectors V1 and V2 starting from a predetermined pixel in the input frame. The moving picture coding apparatus according to claim 1 or 2,
前記サンプリング処理部において、
ベクトルＶ１，Ｖ２を定義する整数ａ１，ａ２，ｂ１，ｂ２の比が
ａ１：ａ２：ｂ１：ｂ２＝２：１：０：１
である場合に、前記入力フレームにおいて所定の画素を始点として前記ベクトルＶ１，Ｖ２それぞれの整数倍の和で示される位置にある画素をサンプリングすること
を特徴とする請求項３記載の動画像符号化装置
In the sampling processing unit,
The ratio of integers a1, a2, b1, b2 defining vectors V1, V2 is a1: a2: b1: b2 = 2: 1: 0: 1
4. The moving picture coding according to claim 3, wherein a pixel at a position indicated by a sum of integer multiples of each of the vectors V 1 and V 2 is sampled starting from a predetermined pixel in the input frame. apparatus
前記入力フレームの周波数分布を算出する周波数解析部と、
前記周波数分布に基づいて前記ベクトルＶ１，Ｖ２を決定し、前記サンプリング処理部に指示するパターン指示部とを新たにそなえ、
前記サンプリング処理部が、前記ベクトルＶ１，Ｖ２に基づいてサンプリングする画素を決定すること
を特徴とする請求項４記載の動画像符号化装置
A frequency analysis unit for calculating a frequency distribution of the input frame;
The vectors V1 and V2 are determined based on the frequency distribution, and a pattern designating unit that instructs the sampling processing unit is newly provided.
5. The moving picture encoding apparatus according to claim 4, wherein the sampling processing unit determines pixels to be sampled based on the vectors V1 and V2.
前記パターン指示部が、
複数組の前記ベクトルＶ１，Ｖ２の候補を記憶する候補記憶部と、
前記候補毎に、前記周波数分布のうち、前記候補に基づいた配置の画素のみで表現可能な周波数領域に含まれる周波数成分を評価する候補評価部と、
前記候補評価部の評価に基づき、前記入力フレームの前記周波数成分を最も多く含む周波数領域に対応する前記候補を１つ選択し、選択された前記候補を前記サンプリング処理部に指示する候補選択部と
を有することを特徴とする請求項５記載の動画像符号化装置
The pattern instruction unit is
A candidate storage unit that stores a plurality of candidates for the vectors V1 and V2, and
For each candidate, a candidate evaluation unit that evaluates a frequency component included in a frequency region that can be expressed by only pixels arranged based on the candidate in the frequency distribution;
Based on the evaluation of the candidate evaluation unit, a candidate selection unit that selects one of the candidates corresponding to the frequency region including the most frequency components of the input frame, and instructs the sampling processing unit to select the selected candidate; The moving picture coding apparatus according to claim 5, further comprising:
前記候補記憶部が、
ａ１：ａ２：ｂ１：ｂ２＝２：１：０：１
である整数ａ１，ａ２，ｂ１，ｂ２で定義される前記ベクトルＶ１，Ｖ２を候補の１つとし、
前記候補とａ１，ａ２の値が同じであり、
ａ１：ａ２：ｂ１：ｂ２＝１：１：０：０
である整数ａ１，ａ２，ｂ１，ｂ２で定義される前記ベクトルＶ１，Ｖ２を候補の１つとすること
を特徴とする請求項５又は請求項６記載の動画像符号化装置
The candidate storage unit
a1: a2: b1: b2 = 2: 1: 0: 1
Let the vectors V1, V2 defined by the integers a1, a2, b1, b2 as one of the candidates,
The candidates and a1, a2 have the same value,
a1: a2: b1: b2 = 1: 1: 0: 0
7. The moving picture coding apparatus according to claim 5, wherein the vectors V1 and V2 defined by the integers a1, a2, b1, and b2 are one of candidates.
入力フレームから作成した縮小画像における動きベクトルを検出し、前記入力フレームにおける動きベクトルの探索を前記縮小画像における動きベクトルに基づいて行なう動画像符号化方法において、
複数の入力フレームについて、同一の行に属し、間に画素を選択されない２つの画素と、前記２つの画素間の列に属する画素とを選択するか、もしくは、同一の列に属し、間に画素を選択されない２つの画素と、前記２つの画素間の行に属する画素とを選択し、
前記選択された画素のいずれかに対し、前記選択された画素の画素同士の位置関係のいずれかを満たす画素をさらに選択することにより形成される画素群をサンプリングし、それぞれの入力フレームから縮小画像を作成し、
前記作成された縮小画像の各画素の読み出し位置を前記入力フレームにおける位置的な対応関係に応じて補正して、前記作成された縮小画像における動きベクトルの探索を行なうこと
を特徴とする動画像符号化方法
In a moving image encoding method for detecting a motion vector in a reduced image created from an input frame and performing a search for a motion vector in the input frame based on the motion vector in the reduced image,
For two or more input frames, select two pixels that belong to the same row and for which no pixel is selected and a pixel that belongs to a column between the two pixels, or belong to the same column and have a pixel in between Selecting two pixels that are not selected and pixels belonging to a row between the two pixels,
A pixel group formed by further selecting a pixel that satisfies any of the positional relationships between the pixels of the selected pixel with respect to any of the selected pixels is sampled, and a reduced image is obtained from each input frame. Create
A moving image code comprising: correcting a read position of each pixel of the generated reduced image according to a positional correspondence in the input frame and searching for a motion vector in the generated reduced image Method
入力フレームから作成した縮小画像における動きベクトルを検出し、前記入力フレームにおける動きベクトルの探索を前記縮小画像における動きベクトルに基づいて行なうことをコンピュータに実行させる動画像符号化プログラムにおいて、
複数の入力フレームについて、同一の行に属し、間に画素を選択されない２つの画素と、前記２つの画素間の列に属する画素とを選択するか、もしくは、同一の列に属し、間に画素を選択されない２つの画素と、前記２つの画素間の行に属する画素とを選択し、
前記選択された画素のいずれかに対し、前記選択された画素の画素同士の位置関係のいずれかを満たす画素をさらに選択することにより形成される画素群をサンプリングし、それぞれの入力フレームから縮小画像を作成するステップと、
前記作成された縮小画像の各画素の読み出し位置を前記入力フレームにおける位置的な対応関係に応じて補正して、前記作成された縮小画像における動きベクトルの探索を行なうステップと
をコンピュータに実行させることを特徴とする動画像符号化プログラム



In a moving image encoding program for causing a computer to detect a motion vector in a reduced image created from an input frame and to perform a search for a motion vector in the input frame based on the motion vector in the reduced image,
For two or more input frames, select two pixels that belong to the same row and for which no pixel is selected and a pixel that belongs to a column between the two pixels, or belong to the same column and have a pixel in between Selecting two pixels that are not selected and pixels belonging to a row between the two pixels,
A pixel group formed by further selecting a pixel that satisfies any of the positional relationships between the pixels of the selected pixel with respect to any of the selected pixels is sampled, and a reduced image is obtained from each input frame. The steps of creating
Correcting a read position of each pixel of the generated reduced image according to a positional correspondence in the input frame, and causing the computer to execute a motion vector search in the generated reduced image. Video coding program characterized by

Images