JP2010288181A - Moving image encoding method, moving image encoding apparatus, and moving image encoding program - Google Patents
Moving image encoding method, moving image encoding apparatus, and moving image encoding program Download PDFInfo
- Publication number
- JP2010288181A JP2010288181A JP2009141995A JP2009141995A JP2010288181A JP 2010288181 A JP2010288181 A JP 2010288181A JP 2009141995 A JP2009141995 A JP 2009141995A JP 2009141995 A JP2009141995 A JP 2009141995A JP 2010288181 A JP2010288181 A JP 2010288181A
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- signal
- motion compensation
- motion
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は動画像符号化方法、動画像符号化装置及び動画像符号化プログラムに係り、特に動き補償予測処理を搭載した動画像符号化方法、動画像符号化装置及び動画像符号化プログラムに関する。 The present invention relates to a moving image encoding method, a moving image encoding device, and a moving image encoding program, and more particularly, to a moving image encoding method, a moving image encoding device, and a moving image encoding program equipped with motion compensation prediction processing.
MPEG(Moving Picture Experts Group)に代表される動画像の圧縮符号化では、フレーム間の相関を用いて符号量を圧縮する動き補償予測符号化が多く用いられる。動き補償予測符号化では、符号化画像と参照画像の各ブロックの相対位置関係を示す動きベクトルが必要である。この動きベクトルは、ブロック間の誤差評価値が小さいほど動き補償予測の精度が向上し、符号化効率が向上する。 In motion picture compression coding represented by MPEG (Moving Picture Experts Group), motion compensation predictive coding that compresses a code amount using correlation between frames is often used. In motion compensation predictive coding, a motion vector indicating the relative positional relationship between each block of the coded image and the reference image is required. As for the motion vector, as the error evaluation value between blocks is smaller, the accuracy of motion compensation prediction is improved and the coding efficiency is improved.
ここで、上記の誤差評価値とは、一般に、ブロックマッチングを用いて、ブロック間の相違を絶対差分和や差分二乗和などで表現した予測誤差や、動きベクトル符号量やDCT(離散コサイン変換:Discrete Cosine Transform)係数符号量に基づいた符号量換算などで表現したものである。 Here, the error evaluation value is generally a prediction error in which a difference between blocks is expressed by an absolute difference sum or a sum of squared differences using block matching, a motion vector code amount, DCT (discrete cosine transform: This is expressed by code amount conversion based on the coefficient code amount (discrete cosine transform).
動き補償予測の精度を向上させる技術として、(1)Bピクチャ(双方向予測ピクチャ)を用いた双方向予測、(2)分数精度の動き補償予測、が知られている。 As techniques for improving the accuracy of motion compensation prediction, (1) bidirectional prediction using a B picture (bidirectional prediction picture) and (2) fractional accuracy motion compensation prediction are known.
上記(1)のBピクチャを用いた双方向予測は、参照画像を2枚設定し、それぞれの参照画像について検出した動きベクトルを用いて動き補償予測した2枚の画像を合成することで、誤差の平均化により予測誤差を小さくする技術である。ただし、双方向予測には動きベクトルが2本必要となり、片方向予測に対して動きベクトル情報が1本分増えるため、予測誤差情報の減少分より動きベクトル情報の増加分の方が大きい場合は、符号化効率を向上させることはできない。 The bi-directional prediction using the B picture in (1) sets two reference images and combines two images that have been motion-compensated predicted using the motion vectors detected for each reference image. This is a technique for reducing the prediction error by averaging. However, two motion vectors are required for bidirectional prediction, and motion vector information is increased by one for unidirectional prediction. Therefore, when the increase in motion vector information is larger than the decrease in prediction error information, The encoding efficiency cannot be improved.
一方、上記(2)の分数精度の動き補償予測は、参照画像の画素を内挿処理又は補間処理(本明細書ではこれを「アップサンプリング」という)して動き補償予測を行う際に、実際に算出した参照画像上の整数画素位置の画素を用いてアップサンプリングし、1/2画素位置や1/4画素位置の画素値を算出し、その画素位置の画素値を用いて動きベクトルを探索することでより精度良く動き補償予測することができる技術である。これにより、ビデオ信号内のオブジェクトの動きを分数精度で正確に表現できるため、更に符号化効率を向上させることが可能である。
On the other hand, the fractional accuracy motion compensated prediction of (2) above is actually performed when motion compensated prediction is performed by interpolating or interpolating the pixels of the reference image (this is referred to as “upsampling” in this specification). Up-sampling is performed using the pixel at the integer pixel position on the reference image calculated in
上記の分数精度の動き補償予測について更に詳しく説明する。参照画像を分数精度にアップサンプリングする手法として、ISO(International Organization for Standardization;国際標準化機構)とIEC(International Electrotechnical Commission;国際電気標準会議)とが、合同で設立した第1合同技術委員会で標準化された最新の動画像圧縮符号化標準であるMPEG-4 AVC(Advanced Video Coding)では、上記の分数精度の画素値を、線形フィルタである6タップフィルタにより参照画像をフィルタリングすることで得る。 The motion compensation prediction with fractional accuracy will be described in more detail. ISO (International Organization for Standardization) and IEC (International Electrotechnical Commission) standardize the first joint technical committee established as a method for upsampling reference images with fractional accuracy. According to MPEG-4 AVC (Advanced Video Coding) which is the latest moving picture compression coding standard, the pixel value with the fractional accuracy is obtained by filtering the reference picture with a 6-tap filter which is a linear filter.
この6タップフィルタでは、例えば、符号化対象画像信号のブロックとの間でブロックマッチングにより動きベクトルが探索されるべき参照画像信号が、図11に丸印で示す1画素精度の画素位置で表される画像信号であるものとすると、1画素精度の各画素の中間位置にある例えばbで示す1/2画素精度の画素の画素値は、画素bを中心とする周囲の横方向に配列されたE、F、G、H、I及びJで示す6つの1画素精度の画素の画素値に基づいて生成する。一方、hで示す1/2画素精度の画素の画素値は、画素hを中心とする周囲の縦方向に配列されたA、C、G、M、R及びTで示す6つの1画素精度の画素の画素値に基づいて生成する。同様に、1/2画素精度のaa、bb、cc、dd、ee、ff、gg、hh、b、m、s等の各画素の画素値は、その画素を中心とする縦方向だけ又は横方向だけに配列された1画素精度の6つの画素の画素値から生成される(6タップフィルタを縦方向のみ又は横方向のみ用いて生成される。)。 In this 6-tap filter, for example, a reference image signal whose motion vector is to be searched by block matching with a block of an encoding target image signal is represented by a pixel position with 1 pixel accuracy indicated by a circle in FIG. For example, the pixel value of a pixel with 1/2 pixel accuracy indicated by b at the middle position of each pixel with 1 pixel accuracy is arranged in the horizontal direction around the pixel b. The pixel values are generated based on the pixel values of six single-pixel precision pixels indicated by E, F, G, H, I, and J. On the other hand, the pixel value of the pixel with half-pixel accuracy indicated by h is six one-pixel accuracy indicated by A, C, G, M, R, and T arranged in the vertical direction around the pixel h. Generated based on the pixel value of the pixel. Similarly, the pixel value of each pixel such as aa, bb, cc, dd, ee, ff, gg, hh, b, m, s, etc. with 1/2 pixel accuracy is only in the vertical direction centered on the pixel or in the horizontal direction. It is generated from pixel values of six pixels with one pixel accuracy arranged only in the direction (generated using a 6-tap filter only in the vertical direction or only in the horizontal direction).
一方、図11にjで示す1/2画素精度の画素の画素値は、その画素jを中心とする横方向に配列された1/2画素精度の6つの画素cc、dd、h、m、ee、ffの画素値(又は縦方向に配列された1/2画素精度の6つの画素aa、bb、b、s、gg、hhの画素値)から生成される。この画素jを生成するための6つの画素cc、dd、h、m、ee、ffの画素値は、それぞれその画素を中心とする周囲の縦方向の6つの1画素精度の画素の画素値に基づいて生成されるので、結局、画素jの画素値は、6タップフィルタを縦方向と横方向の両方に適用して求められることになる。 On the other hand, the pixel value of a pixel with 1/2 pixel accuracy indicated by j in FIG. 11 is six pixels cc, dd, h, m, It is generated from pixel values of ee and ff (or pixel values of six pixels aa, bb, b, s, gg, and hh with 1/2 pixel accuracy arranged in the vertical direction). The pixel values of the six pixels cc, dd, h, m, ee, and ff for generating the pixel j are the pixel values of six pixels with one pixel accuracy in the vertical direction around the pixel, respectively. Therefore, after all, the pixel value of the pixel j is obtained by applying the 6-tap filter in both the vertical direction and the horizontal direction.
更に、1/4画素精度である画素f、i、k、qの各画素値は、それぞれ先に算出した上記の画素jとその画素jに隣接する1/2画素精度の画素b、h、m、sの画素値とから生成される。従って、これらの画素f、i、k、qの各画素値も画素jの値を用いるので、6タップフィルタを縦方向と横方向の両方に適用して求められることになる。他の1/2画素精度の画素同士から画素値が求められる1/4画素精度の画素についても同様である。これらをまとめると、6タップフィルタにより図12に示すような式で演算された画素値の各画素が得られる。なお、図11では、6タップフィルタを縦方向と横方向の両方に適用してアップサンプリングされた画素の位置を×印で示している。 Further, the pixel values of the pixels f, i, k, and q having the ¼ pixel accuracy are the above-described pixel j and the pixels b, h, It is generated from the pixel values of m and s. Accordingly, since the pixel values of these pixels f, i, k, and q also use the value of the pixel j, they are obtained by applying the 6-tap filter in both the vertical direction and the horizontal direction. The same applies to the pixels with ¼ pixel accuracy for which pixel values are obtained from other pixels with ½ pixel accuracy. When these are put together, each pixel having a pixel value calculated by a formula as shown in FIG. 12 is obtained by a 6-tap filter. In FIG. 11, the positions of pixels up-sampled by applying the 6-tap filter in both the vertical direction and the horizontal direction are indicated by crosses.
図12に示すようなフィルタ係数が(1,-5,20,20,-5,1)に固定された6タップフィルタを用いて1/4画素精度の画素値を生成するアップサンプリング手法は、フィルタ係数が固定されているため、符号化装置において、フィルタ係数を決定する演算量が不要であるとともに、符号化/復号化の両装置において定められている1つのフィルタリング手法に対応した回路を用意するだけで済むため、回路規模が小さくなる。 An up-sampling method for generating a pixel value with 1/4 pixel accuracy using a 6-tap filter in which the filter coefficient as shown in FIG. 12 is fixed to (1, -5,20,20, -5,1) is as follows: Since the filter coefficient is fixed, the encoding device does not require the amount of calculation for determining the filter coefficient, and a circuit corresponding to one filtering method defined in both the encoding / decoding devices is prepared. Since it is only necessary to do this, the circuit scale is reduced.
しかし、参照画像の状態に関係なく、すべての参照画像について固定のフィルタ係数によりアップサンプリングを施してしまうと、参照画像が劣化している場合などには、最適なアップサンプリングを施すことができず、符号化効率が低下してしまう。これは、固定のフィルタ係数を用いる場合、通常、符号化劣化を考慮せずにフィルタを設計していることが原因である。その結果、符号化劣化を含む参照画像を用いて動き補償予測する場合には、最適なアップサンプリングが施せない。 However, regardless of the state of the reference image, if all the reference images are upsampled with a fixed filter coefficient, the optimal upsampling cannot be performed if the reference image is degraded. As a result, the encoding efficiency decreases. This is because when a fixed filter coefficient is used, the filter is usually designed without considering the encoding deterioration. As a result, when motion compensation prediction is performed using a reference image including coding degradation, optimal upsampling cannot be performed.
そこで、特許文献1などでは、各参照画像に対して最適なアップサンプリングを施すために、各参照画像に対して原画像と動き補償予測した画像との誤差評価値が最小になるようにフィルタ係数を決定している。
Therefore, in
原画像と動き補償予測した画像との誤差評価値が最小になるようなフィルタ係数の決定について具体的に説明する。フィルタ係数の決定は、符号化装置側で行う処理である。まず、動き補償予測の対象となる参照画像に対して、固定のフィルタ係数のフィルタを用いて参照画像をアップサンプリングし、動きベクトルを検出する。 The determination of the filter coefficient that minimizes the error evaluation value between the original image and the motion compensation predicted image will be specifically described. The determination of the filter coefficient is a process performed on the encoding device side. First, a reference image is up-sampled using a filter having a fixed filter coefficient with respect to a reference image to be subjected to motion compensation prediction, and a motion vector is detected.
次に、符号化対象の原画像と、検出された動きベクトルを用いて動き補償予測した画像との誤差評価値が小さくなるようにアップサンプリングフィルタの係数を決定する。例えば、非分離二次元ウィナーフィルタを用いて次式により計算する。 Next, the coefficient of the upsampling filter is determined so that the error evaluation value between the original image to be encoded and the image subjected to motion compensation prediction using the detected motion vector becomes small. For example, the calculation is performed by the following formula using a non-separable two-dimensional Wiener filter.
上記に代表されるフィルタ係数決定アルゴリズムは、様々な手法が提案されており、そのうちのどの手法を採用するかは符号化効率と演算量のバランスを考慮して適宜決定するのがよい。符号化効率と演算量の間にはトレードオフの関係が存在するためである。 Various methods have been proposed for the filter coefficient determination algorithm represented by the above, and it is preferable to appropriately determine which method is to be adopted in consideration of the balance between the encoding efficiency and the calculation amount. This is because there is a trade-off relationship between the encoding efficiency and the calculation amount.
所定のフィルタ係数決定アルゴリズムを用いて、6タップフィルタのフィルタ係数を(2,-4,18,18,-4,2)のように算出した場合、この6タップフィルタを用いて参照画像の画素をアップサンプリングすると、ピクチャ全体としては符号化効率が向上する。しかし、局所的(ブロック単位等)には、必ずしも算出されたフィルタ係数が他のフィルタ係数よりも符号化効率が良いとは限らない。 When the filter coefficient of the 6-tap filter is calculated as (2, -4,18,18, -4,2) using a predetermined filter coefficient determination algorithm, the pixel of the reference image is calculated using this 6-tap filter. Upsampling improves the coding efficiency of the entire picture. However, locally (for example, in block units), the calculated filter coefficients do not necessarily have better encoding efficiency than other filter coefficients.
そこで、特許文献2のように、複数のフィルタリング手法を用意し、フィルタ係数の選択をブロック単位などで適応的に選択することで、符号化効率を更に向上させる技術も提案されている。
Thus, as in
このように、従来の動画像符号化装置では、分散精度の動き補償予測画像を生成する際に、原画像との誤差が小さくなるようにアップサンプリング用のフィルタの係数を決定している。その結果、伝送する予測誤差が減少し符号化効率が向上する。更に、複数のフィルタ係数を用意し、そのフィルタ係数の選択をブロック単位などの所定の単位で適応的に選択することで、符号化効率を更に向上させることも可能である。 As described above, in the conventional moving image coding apparatus, when generating a motion compensated prediction image with dispersion accuracy, the coefficient of the upsampling filter is determined so that an error from the original image becomes small. As a result, the prediction error to be transmitted is reduced and the coding efficiency is improved. Furthermore, it is possible to further improve the coding efficiency by preparing a plurality of filter coefficients and adaptively selecting the filter coefficients in a predetermined unit such as a block unit.
しかしながら、このような複数のフィルタ係数から適応的にフィルタ係数を選択するだけでは、誤差の平均化を利用して予測誤差を更に小さくするために双方向予測を用いる場合、動きベクトルが2本必要なことに何ら変わりはない。よって、双方向予測による予測誤差情報の減少分より動きベクトル情報の増加分の方が大きい場合は、符号化効率を向上させることはできない。また、Pピクチャ(順方向予測ピクチャ)のように参照画像を1枚しか使用できない場合、誤差の平均化を利用して予測誤差を更に小さくする手段がない。 However, if only a filter coefficient is adaptively selected from such a plurality of filter coefficients, two motion vectors are required when bi-directional prediction is used to further reduce the prediction error using error averaging. There is no change in anything. Therefore, when the amount of increase in motion vector information is larger than the amount of decrease in prediction error information due to bidirectional prediction, the encoding efficiency cannot be improved. Further, when only one reference image can be used as in a P picture (forward prediction picture), there is no means for further reducing the prediction error by using error averaging.
本発明は以上の点に鑑みなされたもので、複数の動き補償予測画像信号と、2以上の動き補償予測画像信号を合成して生成した1以上の合成動き補償予測画像信号とのうち、誤差評価値が最小の信号を選択して予測画像信号とすることで、誤差の平均化により予測誤差を大幅に減少し符号化効率を向上する動画像符号化方法、動画像符号化装置及び動画像符号化プログラムを提供することを目的とする。 The present invention has been made in view of the above points. Among the plurality of motion compensation prediction image signals and one or more combined motion compensation prediction image signals generated by combining two or more motion compensation prediction image signals, an error is generated. A moving picture coding method, a moving picture coding apparatus, and a moving picture that select a signal with the smallest evaluation value and use it as a predicted picture signal to significantly reduce the prediction error and improve coding efficiency by averaging the errors. An object is to provide an encoding program.
上記の目的を達成するため、本発明の動画像符号化方法は、入力動画像信号における符号化対象画像信号を符号化して得た符号化信号を局部復号処理して参照画像信号を生成し、その参照画像信号を動き補償予測して得られた予測画像信号を用いて、入力動画像信号における現符号化対象画像信号の動き補償予測符号化を行う動画像符号化方法において、入力動画像信号における現符号化対象画像信号の動きベクトルを検出する第1のステップと、生成済みの参照画像信号から、2以上のフィルタ処理と、同一の動きベクトルに基づいた動き補償処理とにより、各フィルタ処理にそれぞれ対応した動き補償予測画像信号を生成する第2のステップと、生成された複数の動き補償予測画像信号のうち、互いに異なる組み合わせの2以上の動き補償予測画像信号を合成して1以上の合成動き補償予測画像信号を生成する第3のステップと、複数の動き補償予測画像信号及び合成動き補償予測画像信号のうち、誤差評価値が最小の信号を選択して予測画像信号として出力する第4のステップと、現符号化対象画像信号と第4のステップにより選択された予測画像信号との差分信号に対して、直交変換及び量子化して符号化信号である量子化後信号を生成する第5のステップと、選択された予測画像信号の生成に用いた生成済みの参照画像信号、同一の動きベクトル、及びフィルタ処理をそれぞれ特定するための参照画像信号特定情報、動きベクトル特定情報、及びフィルタ処理特定情報を、量子化後信号に所定の符号化処理をして生成した動画像符号化信号に付加して出力する第6のステップと、量子化後信号を逆量子化及び逆直交変換して得た信号に、選択された予測画像信号を加算することによる局部復号処理により、新たな参照画像信号を生成する第7のステップとを含むことを特徴とする。 In order to achieve the above object, the moving image encoding method of the present invention generates a reference image signal by locally decoding an encoded signal obtained by encoding an encoding target image signal in an input moving image signal, In a moving picture coding method for performing motion compensated prediction coding of a current coding target image signal in an input moving picture signal using a predicted picture signal obtained by motion compensation prediction of the reference picture signal, the input moving picture signal Each of the filter processing by the first step of detecting the motion vector of the current encoding target image signal in FIG. 1, two or more filter processing from the generated reference image signal, and motion compensation processing based on the same motion vector A second step of generating a motion compensated prediction image signal corresponding to each of the motion compensation prediction image signals, and two or more motion compensations of different combinations among the generated motion compensation prediction image signals. A third step of synthesizing the predicted image signals to generate one or more combined motion compensated predicted image signals; and a signal having the smallest error evaluation value among the plurality of motion compensated predicted image signals and the combined motion compensated predicted image signals. A fourth step that is selected and output as a predicted image signal, and a difference signal between the current encoding target image signal and the predicted image signal selected in the fourth step is subjected to orthogonal transform and quantization to be an encoded signal And a reference image signal for specifying the generated reference image signal, the same motion vector, and the filter processing used to generate the selected predicted image signal, respectively, Specific information, motion vector specifying information, and filtering processing specifying information are added to a moving image encoded signal generated by performing a predetermined encoding process on the quantized signal and output in a sixth step. And a seventh step of generating a new reference image signal by local decoding processing by adding the selected predicted image signal to a signal obtained by inverse quantization and inverse orthogonal transform of the quantized signal. It is characterized by including.
ここで、上記の第3のステップは、複数の動き補償予測画像信号のうち、互いに異なる組み合わせの2以上の動き補償予測画像信号のそれぞれを、設定した合成比率で重み付け合成して1以上の合成動き補償予測画像信号を生成し、上記の第6のステップは、上記の第4のステップが、合成動き補償予測画像信号を選択して予測画像信号として出力するとき、予測画像信号の生成に用いた合成比率を示す合成比率情報を、動画像符号化信号に更に付加するようにしてもよい。 Here, in the third step, one or more synthesis is performed by weighting and synthesizing each of two or more motion compensation prediction image signals of different combinations among the plurality of motion compensation prediction image signals at a set synthesis ratio. A motion compensated predicted image signal is generated, and the sixth step is used to generate a predicted image signal when the fourth step selects a synthesized motion compensated predicted image signal and outputs it as a predicted image signal. The synthesis ratio information indicating the synthesized ratio may be further added to the moving image encoded signal.
また、上記の目的を達成するため、本発明の動画像符号化装置は、入力動画像信号における符号化対象画像信号を符号化して得た符号化信号を局部復号処理して参照画像信号を生成し、その参照画像信号を動き補償予測して得られた予測画像信号を用いて、入力動画像信号における現符号化対象画像信号の動き補償予測符号化を行う動画像符号化装置において、入力動画像信号における現符号化対象画像信号の動きベクトルを検出する動きベクトル検出手段と、生成済みの参照画像信号から、2以上のフィルタ処理と、同一の動きベクトルに基づいた動き補償処理とにより、各前記フィルタ処理にそれぞれ対応した動き補償予測画像信号を生成する動き補償予測画像信号生成手段と、生成された複数の動き補償予測画像信号のうち、互いに異なる組み合わせの2以上の動き補償予測画像信号を合成して1以上の合成動き補償予測画像信号を生成する合成動き補償予測画像信号生成手段と、複数の動き補償予測画像信号及び合成動き補償予測画像信号のうち、誤差評価値が最小の信号を選択して予測画像信号として出力する予測画像信号選択手段と、現符号化対象画像信号と予測画像信号選択手段により選択された予測画像信号との差分信号に対して、直交変換及び量子化して符号化信号である量子化後信号を生成する量子化後信号生成手段と、選択された予測画像信号の生成に用いた生成済みの参照画像信号、同一の動きベクトル、及びフィルタ処理をそれぞれ特定するための参照画像信号特定情報、動きベクトル特定情報、及びフィルタ処理特定情報を、量子化後信号に所定の符号化処理をして生成した動画像符号化信号に付加して出力する符号化手段と、量子化後信号を逆量子化及び逆直交変換して得た信号に、選択された予測画像信号を加算することによる局部復号処理により、新たな参照画像信号を生成する参照画像信号生成手段とを有することを特徴とする。 In order to achieve the above object, the moving image encoding apparatus of the present invention generates a reference image signal by locally decoding an encoded signal obtained by encoding an encoding target image signal in an input moving image signal. In the moving picture coding apparatus that performs motion compensated prediction coding of the current coding target image signal in the input moving picture signal using the predicted picture signal obtained by motion compensation prediction of the reference picture signal, A motion vector detecting means for detecting a motion vector of the current encoding target image signal in the image signal, two or more filtering processes from the generated reference image signal, and a motion compensation process based on the same motion vector, A motion compensated predicted image signal generating unit that generates a motion compensated predicted image signal corresponding to each of the filtering processes and a plurality of generated motion compensated predicted image signals are different from each other. A combined motion compensated predicted image signal generating means for generating one or more combined motion compensated predicted image signals by combining two or more motion compensated predicted image signals in combination, a plurality of motion compensated predicted image signals and a combined motion compensated predicted image A difference between a prediction image signal selection unit that selects a signal having the smallest error evaluation value from the signals and outputs the selected signal as a prediction image signal, and a prediction image signal selected by the current encoding target image signal and the prediction image signal selection unit The quantized signal generating means for generating a quantized signal that is an encoded signal by orthogonal transform and quantization with respect to the signal, and the generated reference image signal used for generating the selected predicted image signal are the same The reference image signal specifying information, the motion vector specifying information, and the filter processing specifying information for specifying the motion vector and the filtering process are respectively added to the quantized signal by a predetermined code. Adds the selected predicted image signal to the signal obtained by dequantizing and inverse orthogonal transforming the quantized signal and adding the output to the encoded video signal generated by the quantization process And a reference image signal generating means for generating a new reference image signal by local decoding processing.
ここで、上記の合成動き補償予測画像信号生成手段は、複数の動き補償予測画像信号のうち、互いに異なる組み合わせの2以上の動き補償予測画像信号のそれぞれを、設定した合成比率で重み付け合成して1以上の合成動き補償予測画像信号を生成し、上記の符号化手段は、上記の予測画像信号選択手段が、合成動き補償予測画像信号を選択して予測画像信号として出力するとき、予測画像信号の生成に用いた合成比率を示す合成比率情報を、動画像符号化信号に更に付加するようにしてもよい。 Here, the synthesized motion compensated prediction image signal generation unit weights and synthesizes each of two or more motion compensation prediction image signals of different combinations among the plurality of motion compensation prediction image signals at a set composition ratio. One or more synthesized motion compensated predicted image signals are generated, and the encoding means selects the predicted image signal when the predicted image signal selecting means selects the synthesized motion compensated predicted image signal and outputs it as a predicted image signal. The synthesis ratio information indicating the synthesis ratio used for generating the image may be further added to the encoded video image signal.
更に、上記の目的を達成するため、本発明の動画像符号化プログラムは、入力動画像信号における符号化対象画像信号を符号化して得た符号化信号を局部復号処理して参照画像信号を生成し、その参照画像信号を動き補償予測して得られた予測画像信号を用いて、入力動画像信号における現符号化対象画像信号の動き補償予測符号化を行う動画像符号化処理をコンピュータに実行させる動画像符号化プログラムにおいて、
上記コンピュータに、入力動画像信号における現符号化対象画像信号の動きベクトルを検出する第1のステップと、生成済みの参照画像信号から、互いに異なるフィルタ係数の複数のフィルタのうちのいずれか1つを用いたフィルタ処理と、同一の動きベクトルに基づいた動き補償処理とにより、複数の動き補償予測画像信号を生成する第2のステップと、複数の動き補償予測画像信号のうち、互いに異なる組み合わせの2以上の動き補償予測画像信号を合成して1以上の合成動き補償予測画像信号を生成する第3のステップと、複数の動き補償予測画像信号及び合成動き補償予測画像信号のうち、誤差評価値が最小の信号を選択して予測画像信号として出力する第4のステップと、現符号化対象画像信号と第4のステップにより選択された予測画像信号との差分信号に対して、直交変換及び量子化して符号化信号である量子化後信号を生成する第5のステップと、選択された予測画像信号の生成に用いた生成済みの参照画像信号、同一の動きベクトル、及びフィルタをそれぞれ特定するための参照画像信号特定情報、動きベクトル特定情報、及びフィルタ特定情報を、量子化後信号に所定の符号化処理をして生成した動画像符号化信号に付加して出力する第6のステップと、量子化後信号を逆量子化及び逆直交変換して得た信号に、選択された予測画像信号を加算することによる局部復号処理により、新たな参照画像信号を生成する第7のステップとを実行させることを特徴とする。
Furthermore, in order to achieve the above object, the moving picture coding program of the present invention generates a reference picture signal by locally decoding the coded signal obtained by coding the coding target picture signal in the input moving picture signal. Then, using a prediction image signal obtained by motion compensation prediction of the reference image signal, a moving image encoding process for performing motion compensation prediction encoding of the current encoding target image signal in the input moving image signal is executed on the computer. In the moving image encoding program to be
A first step of detecting a motion vector of a current encoding target image signal in an input moving image signal in the computer, and any one of a plurality of filters having different filter coefficients from a generated reference image signal A second step of generating a plurality of motion compensated predicted image signals by a filter process using the same motion vector and a motion compensation process based on the same motion vector, and combinations of mutually different combinations among the plurality of motion compensated predicted image signals A third step of synthesizing two or more motion-compensated predicted image signals to generate one or more synthesized motion-compensated predicted image signals, and an error evaluation value among a plurality of motion-compensated predicted image signals and synthesized motion-compensated predicted image signals Is selected by the fourth step of selecting the smallest signal and outputting it as the predicted image signal, and the current encoding target image signal and the fourth step. A fifth step for generating a quantized signal, which is an encoded signal, by performing orthogonal transform and quantization on the difference signal from the measured image signal, and the generated reference used to generate the selected predicted image signal A moving image generated by performing a predetermined encoding process on the quantized signal, the image signal, the same motion vector, and the reference image signal specifying information for specifying the filter, the motion vector specifying information, and the filter specifying information. A sixth step of adding and outputting to the encoded signal, and a local decoding process by adding the selected predicted image signal to the signal obtained by inverse quantization and inverse orthogonal transform of the quantized signal, And a seventh step of generating a new reference image signal.
ここで、本発明の動画像符号化プログラムの上記の第3のステップは、複数の動き補償予測画像信号のうち、互いに異なる組み合わせの2以上の動き補償予測画像信号のそれぞれを、設定した合成比率で重み付け合成して1以上の合成動き補償予測画像信号を生成し、上記の第6のステップは、上記の第4のステップが、合成動き補償予測画像信号を選択して予測画像信号として出力するとき、予測画像信号の生成に用いた合成比率を示す合成比率情報を、動画像符号化信号に更に付加するようにしてもよい。 Here, in the third step of the moving picture coding program of the present invention, the combination ratio in which each of two or more motion compensated predicted image signals of different combinations among the plurality of motion compensated predicted image signals is set. Are combined by weighting to generate one or more combined motion compensated predicted image signals. In the sixth step, the fourth step selects the combined motion compensated predicted image signal and outputs it as a predicted image signal. At this time, synthesis ratio information indicating a synthesis ratio used for generating the predicted image signal may be further added to the moving image encoded signal.
本発明によれば、複数の動き補償予測画像信号と、2以上の動き補償予測画像信号を合成して生成した1以上の合成動き補償予測画像信号とのうち、誤差評価値が最小の信号を選択して予測画像信号とすることで、誤差の平均化により予測誤差を大幅に減少し符号化効率を向上させることができる。 According to the present invention, a signal having a minimum error evaluation value is selected from among a plurality of motion compensation prediction image signals and one or more combined motion compensation prediction image signals generated by combining two or more motion compensation prediction image signals. By selecting it as a predicted image signal, it is possible to greatly reduce the prediction error and improve the coding efficiency by averaging the errors.
また、本発明によれば、複数の動き補償予測画像信号の生成に動きベクトルが1本のままで済むため、動きベクトル情報の増加なく精度の高い予測画像を生成できる。 Also, according to the present invention, since only one motion vector is required for generating a plurality of motion compensated prediction image signals, a highly accurate prediction image can be generated without an increase in motion vector information.
次に、本発明の実施の形態について図面を参照して詳細に説明する。本発明は、動き補償予測の際に、参照画像を複数のアップサンプリング手法を用いて複数の動き補償予測画像を生成し、生成した動き補償予測画像を合成した画像を予測画像にすることで、符号化効率の向上を実現したものである。 Next, embodiments of the present invention will be described in detail with reference to the drawings. The present invention generates a plurality of motion compensated prediction images using a plurality of upsampling techniques for a reference image at the time of motion compensation prediction, and converts the generated motion compensated prediction image into a prediction image. This improves the encoding efficiency.
(第1の実施の形態)
図1は、本発明になる動画像符号化装置の第1の実施の形態のブロック図を示す。
(First embodiment)
FIG. 1 shows a block diagram of a first embodiment of a video encoding apparatus according to the present invention.
本実施の形態の動画像符号化装置100は、局部復号部102と、減算器103と、直交変換・量子化部104と、動きベクトル検出部112と、エントロピー符号化部113とからなる。
The moving
局部復号部102は、逆量子化・逆直交変換部105と、加算器106と、参照画像メモリ107と、3つのフィルタ108、109及び110と、動き補償・画像合成選択部111とからなり、動き補償・画像合成選択部111から局部復号により得られた予測画像信号を減算器103へ出力する。また、動き補償・画像合成選択部111は、画像合成モード情報をエントロピー符号化部113へ供給する。
The
減算器103は、入力端子101よりの動画像信号である入力画像信号(入力動画像信号)と後述する動き補償・画像合成選択部111からの予測画像信号とを減算し、それらの差分信号である予測誤差信号を生成する。直交変換・量子化部104は、減算器103からの予測誤差信号を直交変換・量子化して量子化後信号を生成する。
The
逆量子化・逆直交変換部105は、直交変換・量子化部104から出力される量子化後信号を逆量子化・逆直交変換する。加算器106は、逆量子化・逆直交変換部105から出力される逆量子化・逆直交変換された信号と、動き補償・画像合成選択部111からの予測画像信号とを加算して、局部復号された参照画像信号を生成する。参照画像メモリ107は、局部復号された参照画像信号を蓄積する。
The inverse quantization / inverse
フィルタ108、109及び110は、それぞれ参照画像メモリ107から読み出される同じ参照画像信号に対して、互いに異なるフィルタ係数によりフィルタリングを行い、参照画像信号をアップサンプリングする。
The
ここで、フィルタ108、109及び110でそれぞれ用いるフィルタリング方法の一例を紹介する。フィルタ108は、その出力信号が動きベクトル検出部112におけるアップサンプリングにも用いられるため、固定フィルタ係数のフィルタリングを行うことが望ましい。例えば、フィルタ108は、MPEG-4AVCで用いられる6タップフィルタ(フィルタ係数;1,-5,20,20,-5,1)であるものとする。
Here, an example of a filtering method used in each of the
一方、フィルタ109とフィルタ110のフィルタ係数は、ピクチャ単位で切り替わる。例えば、フィルタ109のフィルタ係数は、符号化対象ピクチャの原画像(入力画像信号)と、復号画像(局部復号部102において局部復号された参照画像信号)との誤差が最小となるように、前述した数1で示した演算式のフィルタリングを行うウィナーフィルタを用いて決定する。ただし、符号化対象ピクチャについて最適なフィルタ係数を算出することは、一度ピクチャ内のすべてのブロックについて動き補償予測を行い、フィルタ係数を決定してから再度ブロック毎に最適なフィルタ手段を選択する必要があるため、実質2パスエンコードとなる。そのため、1パスエンコードが要求される場合は、フィルタ109は用いない。
On the other hand, the filter coefficients of the
フィルタ110は、1つ前の符号化対象ピクチャについてフィルタ109においてウィナーフィルタを用いて算出したフィルタ係数をそのまま用いる。1つ前の符号化対象ピクチャについて算出したフィルタ係数をそのまま用いることは、既にフィルタ係数が決定されているため、1パスエンコードで行うことができると共に、フィルタ係数伝送の符号量を削減することも可能である。ただし、ここで説明したフィルタリング方法はほんの一例であり、他の方法で生成したフィルタ係数を用いたとしても本発明に含まれるものである。
The filter 110 uses the filter coefficient calculated by using the Wiener filter in the
動きベクトル検出部112は、入力画像信号と、参照画像メモリ107に蓄積された復号化済の参照画像信号に対してフィルタ108を用いてアップサンプリングした信号とから、入力画像信号における現符号化対象画像信号の動きベクトルを検出する。
The motion
動き補償・画像合成選択部111は、動きベクトル検出部112で検出した動きベクトルを用いて、参照画像信号をフィルタ108〜110でアップサンプリングして得られた各画像信号に対してそれぞれ動き補償予測を行う。また、動き補償・画像合成選択部111は、各動き補償予測された画像信号を選択又は合成することで、原画像信号との予測誤差が少ない予測画像信号を生成する。この予測画像信号の生成方法については後で詳しく述べる。
The motion compensation / image synthesis selection unit 111 uses the motion vector detected by the motion
エントロピー符号化部113は、直交変換・量子化部104で直交変換・量子化された画像信号をエントロピー符号化して動画像符号化信号のビットストリームを出力する。また、エントロピー符号化部113は、動き補償・画像合成選択部111で用いられた参照画像信号のアップサンプリング手法を示す情報と、アップサンプリングされた画像信号をどのように合成したかを示す情報などの付加情報(画像合成モード情報)をエントロピー符号化し、上記動画像符号化信号に付加する。エントロピー符号化部113は、エントロピー符号化して得られた動画像符号化信号と画像合成モード情報などからなるビットストリームを出力端子114を介して装置外部へ出力する。
The entropy encoding unit 113 entropy-encodes the image signal orthogonally transformed and quantized by the orthogonal transform /
ここで、上記の画像合成モード情報は、後述するように、動き補償画像合成選択部111により選択された予測画像信号の生成に用いた参照画像信号を特定するための参照画像信号特定情報、フィルタ108〜110で用いる同一の動きベクトルを特定する動きベクトル特定情報、フィルタ108〜110のうち選択された予測画像信号の生成に用いた参照画像信号を生成するフィルタ処理を特定するためのフィルタ処理特定情報を含む。
Here, as described later, the image synthesis mode information includes reference image signal specifying information for specifying the reference image signal used to generate the predicted image signal selected by the motion compensated image synthesis selecting unit 111, and a filter. Motion vector specification information for specifying the same motion vector used in 108 to 110, and filter processing specification for specifying the filter processing for generating the reference image signal used to generate the predicted image signal selected from the
このように、本実施形態の動画像符号化装置100は、参照画像信号をアップサンプリングするフィルタを3つ用意し、これにより得られた3つの動き補償予測画像信号と、これら3つの動き補償予測画像信号に基づいて画像合成して得られた複数の動き補償予測画像信号との中から、所定の一の予測画像信号を選択して予測画像信号に用いる点に特徴がある。
As described above, the moving
次に、本実施形態の要部の動き補償・画像合成選択部111について図2のフローチャート等を用いて詳細に説明する。図2のフローチャートは、動き補償のブロック単位で実行される。 Next, the motion compensation / image composition selection unit 111 as the main part of the present embodiment will be described in detail with reference to the flowchart of FIG. The flowchart of FIG. 2 is executed in units of motion compensation blocks.
まず、動き補償・画像合成選択部111は、フィルタ108、109、110によってそれぞれ別々にアップサンプリングされた参照画像信号に対して、動きベクトル検出部112で検出した動きベクトルを用いて動き補償予測を行って、それぞれ動き補償予測画像信号を生成する(ステップS11)。次に、動き補償・画像合成選択部111は、上記の3つのフィルタ108、109、110のうち、2つのフィルタ(ここではフィルタ108と109、フィルタ109と110、フィルタ108と110)でアップサンプリングされた参照画像信号からステップS11で得られた2つの動き補償予測画像信号を合成して、合成画像信号を生成する(ステップS12)。
First, the motion compensation / image synthesis selection unit 111 performs motion compensation prediction on the reference image signals individually upsampled by the
画像信号を合成する手法は、2つの画像信号の平均値を用いる場合が最も一般的である。図3は、平均値を用いる場合の画像合成の様子を模式的に示す。図3において、上記の2つのフィルタの一方の第1のフィルタのアップリング参照画像160の、入力画像信号である符号化対象画像150中の符号化対象ブロック151に対応する参照画像ブロック161に対して、動きベクトル検出部112で検出された動きベクトルで指示される動き補償予測された参照画像ブロックを162で示す。一方、上記の2つのフィルタの他方の第2のフィルタのアップリング参照画像170の、入力画像信号である符号化対象画像150中の符号化対象ブロック151に対応する参照画像ブロック171に対して、上記と同一の動きベクトルで指示される動き補償予測された参照画像ブロックを172で示す。
The most common method for synthesizing image signals is to use an average value of two image signals. FIG. 3 schematically shows a state of image composition when the average value is used. In FIG. 3, the reference image block 161 corresponding to the encoding target block 151 in the encoding target image 150 that is the input image signal of the uplink reference image 160 of the first filter of one of the two filters described above. A motion compensation predicted reference image block indicated by the motion vector detected by the motion
この場合、動き補償・画像合成選択部111は、2つの動き補償予測された参照画像ブロック162と172との和を2で除算することで、それらの平均値である合成画像信号を算出する。又は、より精度良く平均値を算出する場合には、参照画像ブロック162と172の和に1を加算してから2で除算する。これは、四捨五入に相当する演算である。なお、画像合成方法のうち、平均値以外の他の合成方法(重み付け予測)については後述する。 In this case, the motion compensation / image synthesis selection unit 111 divides the sum of the two motion compensation predicted reference image blocks 162 and 172 by 2 to calculate a synthesized image signal that is an average value of them. Alternatively, when the average value is calculated with higher accuracy, 1 is added to the sum of the reference image blocks 162 and 172 and then divided by 2. This is an operation equivalent to rounding off. Of the image synthesis methods, a synthesis method (weighted prediction) other than the average value will be described later.
最後に、動き補償・画像合成選択部111は、上記の3つのフィルタ108、109、110でそれぞれ別々にアップサンプリングした参照画像信号から得られた3つの動き補償予測画像信号と、ステップS12で生成された3つの合成画像信号の中から、最小誤差評価値を持つ画像信号を予測画像信号に採用する(ステップS13)。
Finally, the motion compensation / image synthesis selection unit 111 generates the three motion compensated prediction image signals obtained from the reference image signals separately upsampled by the three
このように、動き補償・画像合成選択部111は、3つのフィルタ108、109、110でそれぞれ別々にアップサンプリングした参照画像信号から得られた3つの動き補償予測画像信号の中から、どの動き補償予測画像信号を選択するか、又は、3つの動き補償予測画像信号の中からどの2つの動き補償予測画像信号を選択して合成するか(画像合成モード)を決定している。
As described above, the motion compensation / image synthesis selection unit 111 selects which motion compensation out of the three motion compensation predicted image signals obtained from the reference image signals separately up-sampled by the three
図4は、本実施の形態の画像合成モードの説明図を示す。本実施の形態の画像合成モードは、3つのフィルタ108、109、110のうちの1つのフィルタでアップサンプリングした参照画像信号から生成される動き補償予測画像信号を単独で選択する場合がS21、S22、S23で示すように3通りある。また、3つのフィルタ108、109、110のうち2つのフィルタでアップサンプリングした参照画像信号から生成される2つの動き補償予測画像信号を合成した画像信号を選択する場合がS24、S25、S26で示すように3通りある。従って、本実施の形態の画像合成モードでは、上記の合計の6通りの選択肢のうちの一つの選択肢を選ぶ。
FIG. 4 is an explanatory diagram of the image composition mode of the present embodiment. In the image synthesis mode according to the present embodiment, the motion compensated prediction image signal generated from the reference image signal upsampled by one of the three
この画像合成モードの選択肢の数は、フィルタから出力される動き補償予測画像信号を単独で何通り用いるかに依存する。例えば、最も単純なフィルタが2通りの場合は、画像合成モードの選択肢の数は、単独の動き補償予測画像信号2通り、合成画像信号1通りの合計3通りである。 The number of choices for this image synthesis mode depends on how many motion compensated prediction image signals output from the filter are used. For example, when there are two simplest filters, the number of image synthesis mode options is three, that is, two independent motion compensated prediction image signals and one composite image signal.
上記の画像合成モードによりどの信号が選択・合成されたかを、動画像復号化装置で識別しないと復号化できないので、画像合成モード情報は、図1のエントロピー符号化手段113によりエントロピー符号化され、ビットストリーム内の情報として伝送される。 Since it cannot be decoded unless the moving image decoding apparatus identifies which signal has been selected and combined in the image combining mode, the image combining mode information is entropy encoded by the entropy encoding unit 113 in FIG. It is transmitted as information in the bitstream.
次に、画像合成モード情報の伝送方法について説明する。 Next, a method for transmitting image composition mode information will be described.
図5は、画像合成モードのシンタックスの一例を示す。まず、1つのピクチャの画面を16ラインずつスライスしたときの16ライン幅のスライス単位で適応フィルタを使用するかどうかのフラグ(use_adaptive_filter_flag)を送る。ただし、16ラインを1スライスとする本分割方法はほんの一例であり、1ピクチャを1スライスとする場合もある。デフォルト以外のフィルタを使用する場合にはこのフラグをオンにする。本実施の形態の場合には、フィルタ108をデフォルトフィルタとし、フィルタ109及び110を自ら定義するフィルタとして説明する。
FIG. 5 shows an example of the syntax of the image composition mode. First, a flag (use_adaptive_filter_flag) indicating whether or not to use an adaptive filter is sent in units of 16-line width slices when a screen of one picture is sliced by 16 lines. However, this division method in which 16 lines are one slice is merely an example, and one picture may be one slice. Turn this flag on if you want to use a filter other than the default. In the case of the present embodiment, the
次に、図5に示すようにスライス単位で、デフォルト以外に定義するフィルタの数(num_of_filter)を送る。本実施形態では、フィルタの数(num_of_filter)は「2」である。そして、各フィルタについてそのフィルタ係数を送る。このフィルタ係数の伝送方法は、フィルタの対称性を利用したりすることで、すべての係数を送らなくてもよい。 Next, as shown in FIG. 5, the number of filters (num_of_filter) defined other than the default is sent in units of slices. In the present embodiment, the number of filters (num_of_filter) is “2”. Then, the filter coefficient is sent for each filter. This filter coefficient transmission method does not have to send all the coefficients by utilizing the symmetry of the filter.
また、16ライン幅のスライスは、16ライン幅の複数個のマクロブロックからなる。そこで、水平方向16画素、垂直方向16画素の輝度ブロックと、それぞれ水平方向8画素、垂直方向8画素の2つの色差ブロックとからなるマクロブロック単位(又はサブマクロブロック単位)では、図5に示すように画像合成モード(mix_mode)を送る。この画像合成モード(mix_mode)は、参照画像を示す番号(ref_idx)と動きベクトル差分(mvd)と一緒に送られる。 A slice having a width of 16 lines is composed of a plurality of macroblocks having a width of 16 lines. Therefore, a macroblock unit (or sub-macroblock unit) composed of a luminance block of 16 pixels in the horizontal direction and 16 pixels in the vertical direction and two color difference blocks of 8 pixels in the horizontal direction and 8 pixels in the vertical direction, respectively, is shown in FIG. The image composition mode (mix_mode) is sent as follows. This image composition mode (mix_mode) is sent together with a reference image number (ref_idx) and a motion vector difference (mvd).
図6は、画像合成モード(mix_mode)のセマンティックスの一例を示す。シンタックスの意味を示すセマンティックスは、図6では、値が「0」のとき使用フィルタがフィルタ#1、値が「1」のとき使用フィルタがフィルタ#2、値が「2」のとき使用フィルタがフィルタ#3、値が「4」のとき使用フィルタがフィルタ#1と#2、値が「5」のとき使用フィルタがフィルタ#2と#3、値が「6」のとき使用フィルタがフィルタ#1と#3であることを示す。ここで、フィルタ#1、#2、#3は、それぞれ図1のフィルタ108、109、110のことである。
FIG. 6 shows an example of the semantics of the image composition mode (mix_mode). In FIG. 6, the semantics indicating the meaning of the syntax are shown in FIG. 6, when the value is “0”, the used filter is
ただし、図6はPピクチャの場合のほんの一例である。本来は、最も選択される可能性が高い事象を小さい番号に割り当てるとよい。この割り当ては固定でもよいが、スライスヘッダなどで順序を変更できるようにしてもよい。 However, FIG. 6 is only an example in the case of a P picture. Originally, an event most likely to be selected should be assigned to a small number. This assignment may be fixed, but the order may be changed by a slice header or the like.
また、この画像合成モード情報を伝送する場合のシンタックスはほんの一例であり、例えばスライス単位で送信するフラグをピクチャ単位で送信するなどしてもよい。 Moreover, the syntax in the case of transmitting this image composition mode information is only an example. For example, a flag to be transmitted in units of slices may be transmitted in units of pictures.
このように、本実施形態の動画像符号化装置100では、動き補償予測の際に参照画像信号に対して複数のアップサンプリング手法を用いて複数の動き補償予測画像信号を生成し、生成した複数の動き補償予測画像信号と、複数の動き補償予測画像信号を合成した複数の合成画像信号とのうち選択した一つの画像信号を予測画像信号にすることで、誤差の平均化により予測誤差が大幅に減少し符号化効率を向上させることができる。
As described above, the moving
つまり、従来、片方向予測しか用いることができなかったPピクチャにおいても、Bピクチャの双方向予測に相当するような複数の動き補償予測画像信号を合成した画像信号を予測画像信号とすることができる。その結果、合成を用いない場合と比較して、予測誤差が減少し符号化効率が大幅に向上する。 That is, even in a P picture that can only use unidirectional prediction in the past, an image signal obtained by synthesizing a plurality of motion compensation predicted image signals corresponding to bidirectional prediction of a B picture can be used as a predicted image signal. it can. As a result, the prediction error is reduced and the coding efficiency is greatly improved as compared with the case where synthesis is not used.
また、従来のBピクチャの双方向予測では、複数の動き補償予測画像の生成に動きベクトルが2本必要であり、片方向予測と比較して動きベクトルの情報量が増加してしまう。これに対し、本実施形態の動画像符号化装置100では3つのフィルタを用いて複数の動き補償予測画像信号を生成し、それらの中から一つの予測画像信号を選択する方法では、動きベクトルが1本のままで済むため、動きベクトルの情報量は増加しない。そのため、従来のBピクチャの双方向予測のように、予測誤差は小さくなるが動きベクトルの符号量がそれ以上に増加してしまう課題が解決され、動きベクトル情報の増加なく精度の高い予測画像信号を生成できる。
In addition, in the conventional bi-prediction of a B picture, two motion vectors are required to generate a plurality of motion-compensated prediction images, and the amount of motion vector information increases as compared with uni-directional prediction. On the other hand, in the moving
ここで、本実施の形態で用いるアップサンプリング用フィルタ108、109、110は線形フィルタであるため、複数のフィルタの合成画像を単独フィルタとして表現して伝送することも可能であるが、その場合は以下の欠点がある。
(1)合成画像を生成するフィルタの係数を伝送する必要があり、符号量が増加する。
(2)限られたビット深度の整数フィルタでは、本実施の形態の合成画像と同一の画像を生成するフィルタを厳密に表現できない。
(3)単独フィルタとして表現するためのフィルタ係数算出演算量が必要となる。
(4)後述する重み付け予測に対応するためには、それぞれの重み付け係数に対応したフィルタ係数を算出/伝送する必要がある。
Here, since the upsampling filters 108, 109, and 110 used in this embodiment are linear filters, it is also possible to represent and transmit a composite image of a plurality of filters as a single filter. There are the following disadvantages.
(1) It is necessary to transmit the coefficient of a filter for generating a composite image, and the amount of codes increases.
(2) An integer filter having a limited bit depth cannot accurately represent a filter that generates the same image as the synthesized image of the present embodiment.
(3) A filter coefficient calculation calculation amount for expressing as a single filter is required.
(4) In order to cope with weighted prediction described later, it is necessary to calculate / transmit filter coefficients corresponding to the respective weighting coefficients.
従って、複数のフィルタの合成画像を単独フィルタで生成するよりも、本実施の形態の合成画像生成方法の方が優れているのは明白である。 Therefore, it is clear that the composite image generation method of the present embodiment is superior to the case where a composite image of a plurality of filters is generated by a single filter.
次に、画像の合成方法の他の例について説明する。上記の実施の形態の説明では、画像の合成方法として2つの動き補償予測画像信号の平均値を用いる場合の例を示したが、画像の合成方法はこれに限らず、MPEG−4AVCで用いられている重み付け予測のように、2つの動き補償予測画像信号を所定の比率で合成したものを予測画像信号とするようにしてもよい。この場合は、更に効率の良い予測画像信号を生成することが可能である。 Next, another example of an image composition method will be described. In the description of the above embodiment, an example in which an average value of two motion compensated prediction image signals is used as an image synthesis method is shown, but the image synthesis method is not limited to this, and is used in MPEG-4 AVC. As in the weighted prediction, a combination of two motion compensated prediction image signals at a predetermined ratio may be used as the prediction image signal. In this case, a more efficient predicted image signal can be generated.
図7は、重み付け予測のシンタックスの一例を示す。まず、図7に示すように、スライス単位で重み付け予測を行うかどうかのフラグ(adaptive_filter_weighted_flag)をビットストリーム内に含めて送る。重み付け予測を使用する場合は、重み付け予測の精度(weighted_accuracy_idx)を指定する。ここでは、weighted_accuracy_idx=0の場合の精度(画像合成計算時の分母に相当)は「3」であるとし、weighted_accuracy_idx=1の場合の精度は「4」であるとする。 FIG. 7 shows an example of the syntax of weighted prediction. First, as shown in FIG. 7, a flag (adaptive_filter_weighted_flag) indicating whether or not to perform weighted prediction in units of slices is included in the bitstream and sent. When weighted prediction is used, the accuracy of weighted prediction (weighted_accuracy_idx) is designated. Here, it is assumed that the accuracy when weighted_accuracy_idx = 0 (corresponding to the denominator at the time of image synthesis calculation) is “3”, and the accuracy when weighted_accuracy_idx = 1 is “4”.
マクロブロック単位(又はサブマクロブロック単位)では、図7に示すように、重み付け予測の精度(weighted_accuracy_idx)毎に定義した重み付けインデックス(weighted_idx)を送る。 In a macroblock unit (or submacroblock unit), as shown in FIG. 7, a weighting index (weighted_idx) defined for each weighted prediction accuracy (weighted_accuracy_idx) is sent.
図8は、重み付けインデックス(weighted_idx)のセマンティックスの一例を示す。weighted_accuracy_idx=0の場合、weighted_idx=0は1つ目のフィルタリング画像の比率を「2」、2つ目のフィルタリング画像の比率を「1」として画像を合成することを意味する。例えば、フィルタ108のフィルタリング画像の比率を「2」、フィルタ109のフィルタリング画像の比率を「1」として、合成することなどが挙げられる。また、weighted_idx=1は1つ目のフィルタリング画像の比率を「1」、2つ目のフィルタリング画像の比率を「2」として画像を合成することを意味する。
FIG. 8 shows an example of the semantics of the weighted index (weighted_idx). When weighted_accuracy_idx = 0, weighted_idx = 0 means that images are synthesized with the ratio of the first filtered image being “2” and the ratio of the second filtered image being “1”. For example, the ratio of the filtering image of the
また、weighted_accuracy_idx=1の場合、weighted_idx=0は1つ目のフィルタリング画像の比率を「2」、2つ目のフィルタリング画像の比率を「2」として画像を合成することを意味する。例えば、フィルタ108のフィルタリング画像の比率を「2」、フィルタ109のフィルタリング画像の比率を「2」として、合成することなどが挙げられる。また、weighted_accuracy_idx=1で、weighted_idx=1は1つ目のフィルタリング画像の比率を「3」、2つ目のフィルタリング画像の比率を「1」として画像を合成することを意味し、
weighted_idx=2は1つ目のフィルタリング画像の比率を「1」、2つ目のフィルタリング画像の比率を「3」として画像を合成することを意味する。
Further, when weighted_accuracy_idx = 1, weighted_idx = 0 means that images are combined with the ratio of the first filtered image being “2” and the ratio of the second filtered image being “2”. For example, the ratio of the filtering image of the
weighted_idx = 2 means that the ratio of the first filtered image is “1” and the ratio of the second filtered image is “3” to synthesize the images.
この重み付け比率はいろいろな手法で決定することが考えられるが、重み付け比率の候補を複数用意し、それぞれの候補の重み付け比率に基づいて実際に画像を合成し、合成された画像と原画像の誤差評価値が最も小さくなる重み付け比率を採用するアルゴリズムが最も符号化効率が良い。 This weighting ratio can be determined by various methods, but multiple weighting ratio candidates are prepared, images are actually combined based on the weighting ratios of each candidate, and the error between the combined image and the original image An algorithm that employs a weighting ratio with the smallest evaluation value has the highest coding efficiency.
(第2の実施の形態)
図9は、本発明になる動画像符号化装置の第2の実施の形態のブロック図を示す。同図中、図1と同一構成部分には同一符号を付し、その説明を省略する。本実施の形態の動画像符号化装置200は、局部復号部201と、減算器103と、直交変換・量子化部104と、動きベクトル検出部112と、エントロピー符号化部113とからなり、局部復号部201の構成が図1の局部復号部102と異なる。
(Second Embodiment)
FIG. 9 shows a block diagram of a second embodiment of the moving picture coding apparatus according to the present invention. In the figure, the same components as those in FIG. The moving
局部復号部201は、逆量子化・逆直交変換部105と、加算器106と、参照画像メモリ107と、フィルタ108と、動き補償部202と、フィルタ203及び204と、画像合成・選択部205とからなり、画像合成・選択部205から局部復号により得られた予測画像信号を減算器103へ出力する。また、画像合成・選択部205は、画像合成モード情報をエントロピー符号化部113へ供給する。
The local decoding unit 201 includes an inverse quantization / inverse
動き補償部202は、動きベクトル検出部112で検出した動きベクトルを用いて、参照画像信号をフィルタ108でアップサンプリングした画像信号に対して動き補償予測を行う。
The
フィルタ203及び204は、互いに異なるフィルタ係数を有し、動き補償部202で動き補償した画像をそれぞれ別々にフィルタリングする。フィルタ203及び204は、フィルタ108のようなアップサンプリング用フィルタではなく、出力画像信号が入力画像信号と同一サンプル数であるフィルタリングを行う。
The
画像合成・選択部205は、フィルタ203及び204でそれぞれフィルタリングされた2つの動き補償予測画像信号と、この2つの動き補償予測画像信号を所定の方法で合成した一つの合成画像信号とのうち、最小誤差評価値を持つ画像信号(入力画像信号との予測誤差が少ない一つの画像信号)を予測画像信号として選択する。この予測画像信号の生成方法については、第1の実施の形態で説明した生成方法と同一であるので説明は省略する。
The image synthesis /
減算器103は、入力画像信号と画像合成・選択部205により選択されて出力された予測画像信号とを減算することで予測誤差信号を生成し、直交変換・量子化部104へ供給する。
The
第1の実施の形態の動画像符号化装置100との相違点は、動画像符号化装置100では参照画像信号に対して、互いに異なるフィルタ係数の3つのフィルタ108〜110でアップサンプリングを施して得た3つのアップサンプリング後の動き補償予測画像信号を選択・合成しているのに対して、本実施の形態の動画像符号化装置200では1つのアップサンプリング後の動き補償予測画像信号に対して、フィルタ203及び204でそれぞれフィルタリングを施した2つの画像信号を選択・合成していることである。
The difference from the moving
ただし、本実施の形態の動画像符号化装置200も、第1の実施の形態の動画像符号化装置100と同様に複数の動き補償予測画像信号を生成し、生成した複数の動き補償予測画像信号と、複数の動き補償予測画像信号を合成した合成画像信号とのうち、最小誤差評価値を持つ画像信号を選択するようにしているため、誤差の平均化により予測誤差が大幅に減少し符号化効率を向上させることができる。
However, the moving
また、本実施の形態の動画像符号化装置200も、予測誤差は小さくなるが動きベクトルの符号量がそれ以上に増加してしまう従来のBピクチャの双方向予測の課題が解決され、動きベクトル情報の増加なく精度の高い予測画像信号を生成できる。
In addition, the moving
次に、本発明の動画像符号化装置により符号化して得られたビットストリームを復号する動画像復号化装置について説明する。 Next, a moving picture decoding apparatus for decoding a bit stream obtained by encoding with the moving picture encoding apparatus of the present invention will be described.
図10は、動画像復号化装置の一例のブロック図を示す。図10に示すように、動画像復号化装置300は、入力端子301を介して入力されるビットストリームをエントロピー復号化するエントロピー復号化部302と、動き補償・画像合成部303と、逆量子化・逆直交変換部304と、加算器305と、参照画像メモリ306と、3つのアップサンプリング用のフィルタ307、308及び309と、出力端子310とからなる。
FIG. 10 is a block diagram illustrating an example of a moving picture decoding apparatus. As illustrated in FIG. 10, the moving
入力端子301には、図1の動画像符号化装置100により生成されたビットストリーム、あるいは動画像符号化装置100の各構成要素の動作をコンピュータにより実行させて得られたビットストリームが入力される。
A bit stream generated by the
エントロピー復号化部302は、入力端子301に入力された上記のビットストリームをエントロピー復号化して直交変換・量子化されている画像信号を復号すると共に、動きベクトルや画像合成モード情報などの付加情報を復号する。
The
動き補償・画像合成部303は、エントロピー復号化部302から供給された動きベクトルを用いて、フィルタ307〜309からそれぞれ供給されるアップサンプリングされた参照画像信号に対して、動き補償予測を行って複数の動き補償予測画像信号を生成すると共に、更にエントロピー復号化部302から供給された画像合成モード情報に基づいて、上記の複数の動き補償予測画像信号を用いて画像合成モードに対応した画像合成を行う。この画像合成方法は、前述した動画像符号化装置における画像合成方法と同じである。
The motion compensation /
逆量子化・逆直交変換部304は、エントロピー復号化部302から出力された直交変換・量子化されている画像信号を逆量子化・逆直交変換して差分信号(予測誤差信号)を復号する。加算器305は、逆量子化・逆直交変換部304から出力された予測誤差信号と、動き補償・画像合成部303から出力された動き補償予測画像信号とを加算して画像信号を復号化して出力端子310へ出力すると共に、参照画像メモリ306へ出力する。参照画像メモリ306は、加算器305から供給される復号化された画像信号を参照画像信号として蓄積する。
The inverse quantization / inverse
フィルタ307、308及び309は、それぞれ互いに異なるフィルタ係数を用いて、参照画像メモリ306から供給される同じ参照画像信号に対して、別々にフィルタリングして、アップサンプリングされた予測画像信号を生成し、その予測画像信号を動き補償・画像合成部303へ出力する。これらフィルタ307、308及び309は、図1のフィルタ108、109及び110に対応した構成のフィルタである。
The
上記の動画像復号化装置300は、参照画像信号をアップサンプリングするフィルタを3つ(フィルタ307〜309)用意し、動き補償・画像合成部303においてこれら3つのフィルタ307〜309でそれぞれアップサンプリングされた3つの参照画像信号に基づいて、エントロピー復号化部302からの画像合成モード情報に応じて生成した画像信号を予測画像に用いることに特徴がある。
The moving
次に、この動画像復号化装置300の要部である動き補償・画像合成部303の詳細について説明する。
Next, details of the motion compensation /
動き補償・画像合成部303は、まず、フィルタ307〜309から供給されるアップサンプリングされた参照画像信号に対して、エントロピー復号化部302から供給される1本の動きベクトルを用いて動き補償予測処理を施して、3つの動き補償予測画像信号を生成する。
The motion compensation /
続いて、動き補償・画像合成部303は、エントロピー復号化部302から供給される画像合成モード情報が所定の2つの動き補償予測画像信号を合成することを示している場合は、上記の3つの動き補償予測画像信号から画像合成モードで指定された2つの動き補償予測画像信号を合成する。この画像合成の手法は、図3と共に説明した2つの画像信号の平均値を算出する方法が一般的であるが、図7、図8と共に説明した重み付けをした画像合成でもよい。いずれにしても、その画像合成方法は、画像合成モード情報により示された画像合成方法が採用される。
Subsequently, the motion compensation /
また、動き補償・画像合成部303は、エントロピー復号化部302から供給される画像合成モード情報が上記の3つの動き補償予測画像信号のうちの所定の一つの動き補償予測画像信号を選択することを示している場合は、上記の3つの動き補償予測画像信号から画像合成モードで指定された1つの動き補償予測画像信号を選択して出力する。
In addition, the motion compensation /
このようにして、動き補償・画像合成部302は、選択又は合成して得た動き補償予測画像信号を予測画像信号として加算器305へ供給する。加算器305はこの予測画像信号と逆量子化・逆直交変換部304からの復号された予測誤差信号とを加算して、復号化した画像信号を出力する。
In this way, the motion compensation /
この動画像復号化装置300によれば、動き補償予測の際に参照画像信号に対して複数のアップサンプリング手法を用いて複数の動き補償予測画像信号を生成し、生成した複数の動き補償予測画像信号と、複数の動き補償予測画像信号を合成した複数の合成画像信号とのうち、画像合成モード情報により指定された画像信号を予測画像信号にすることで、誤差の平均化により予測誤差が大幅に減少し符号化効率を向上させることができる。
According to the moving
つまり、従来、片方向予測しか用いることができなかったPピクチャにおいても、Bピクチャの双方向予測に相当するような複数の動き補償予測画像信号を合成した画像信号を予測画像信号とすることができる。その結果、合成を用いない場合と比較して、予測誤差が減少し符号化効率が大幅に向上する。 That is, even in a P picture that can only use unidirectional prediction in the past, an image signal obtained by synthesizing a plurality of motion compensation predicted image signals corresponding to bidirectional prediction of a B picture can be used as a predicted image signal. it can. As a result, the prediction error is reduced and the coding efficiency is greatly improved as compared with the case where synthesis is not used.
また、従来のBピクチャの双方向予測では動きベクトルが2本必要であり、片方向予測と比較して動きベクトルの情報量が増加してしまう。これに対し、動画像復号化装置300のような、3つのフィルタを用いて複数の動き補償予測画像信号を生成し、それらの中から一つの予測画像信号を選択する方法では、動きベクトルが1本のままで済むため、動きベクトルの情報量は増加しない。そのため、従来のBピクチャの双方向予測のように、予測誤差は小さくなるが動きベクトルの符号量がそれ以上に増加してしまう課題が解決され、動きベクトル情報の増加なく精度の高い予測画像信号を生成できる。
In addition, in the conventional bi-prediction of a B picture, two motion vectors are required, and the information amount of the motion vector increases as compared with the unidirectional prediction. On the other hand, in a method of generating a plurality of motion compensated prediction image signals using three filters and selecting one prediction image signal from among them, such as the moving
なお、本発明は以上の実施の形態に限定されるものではなく、例えば、合成画像の生成要素の動き補償予測画像の数は2つに限らず、3つ以上でもよい。また、本発明は、MPEG-4AVCのダイレクトモード、スキップモードのように、所定の計算方法により自動的に動きベクトルを決定し、動きベクトル情報を伝送しないようなモードに対して適用できることも明白である。例えば、所定の計算方法により自動決定された動きベクトルに対して、画像合成モード情報だけを伝送することで予測画像を生成することや、動きベクトルだけでなく、画像合成モードも自動的に決定することで予測画像を生成することなどが考えられる。 Note that the present invention is not limited to the above-described embodiment. For example, the number of motion compensated prediction images as a generation element of a composite image is not limited to two, and may be three or more. It is also apparent that the present invention can be applied to a mode in which a motion vector is automatically determined by a predetermined calculation method and motion vector information is not transmitted, such as the MPEG-4 AVC direct mode and skip mode. is there. For example, with respect to a motion vector automatically determined by a predetermined calculation method, a predicted image is generated by transmitting only image synthesis mode information, and not only a motion vector but also an image synthesis mode is automatically determined. For example, a predicted image may be generated.
また、本発明はBピクチャにも適用できる。例えば、MPEG-4AVCのBピクチャは、2つのリスト(L0、L1)からそれぞれ参照画像を選択し、各参照画像を合成することができる。本発明を適用すると、リスト(L0、L1)毎に画像を合成し、合成された画像に対して更に画像を合成することができる。つまり、各リストの画像を本発明で合成した上で、さらにMPEG-4AVCのBピクチャのように、各リストで選択した画像を合成することも可能である。 The present invention can also be applied to B pictures. For example, for MPEG-4AVC B pictures, reference images can be selected from two lists (L0, L1), and the respective reference images can be combined. By applying the present invention, it is possible to synthesize images for each list (L0, L1) and further synthesize an image with the synthesized images. That is, it is possible to combine the images selected in each list, such as MPEG-4AVC B pictures, after combining the images in each list according to the present invention.
このように、本発明は,1本の動きベクトルを用いて複数の動き補償予測画像を生成しその画像を合成して予測画像とすることを特徴とするものであり、そのような符号化装置はすべて本発明に含まれる。 As described above, the present invention is characterized in that a plurality of motion compensated prediction images are generated using one motion vector, and the images are combined to form a prediction image. Are all included in the present invention.
また、本発明は、上記の動画像符号化装置100、200の機能をコンピュータに実現させるための動画像符号化プログラムも含むものである。この動画像符号化プログラムは、記録媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。更に、本発明は、上記の動画像符号化装置100、200で生成したビットストリームをパケット化して送信する送信装置にも適用することができる。
The present invention also includes a moving picture coding program for causing a computer to realize the functions of the moving
本発明は、動画像符号化装置及び動画像符号化プログラムに関するもので、特に動画像符号化の符号化効率を向上させる技術として非常に有用である。 The present invention relates to a moving image encoding apparatus and a moving image encoding program, and is particularly useful as a technique for improving the encoding efficiency of moving image encoding.
100、200 動画像符号化装置
101 画像信号入力端子
102、201 局部復号部
103 減算器
104 直交変換・量子化部
105 逆量子化・逆直交変換部
106 加算器
107 参照画像メモリ
108、109、110 アップサンプリング用フィルタ
111 動き補償・画像合成選択部
112 動きベクトル検出部
113 エントロピー符号化部
114 ビットストリーム出力端子
202 動き補償部
203、204 フィルタ
205 画像合成・選択部
100, 200
Claims (6)
前記入力動画像信号における現符号化対象画像信号の動きベクトルを検出する第1のステップと、
生成済みの前記参照画像信号から、2以上のフィルタ処理と、同一の前記動きベクトルに基づいた動き補償処理とにより、各前記フィルタ処理にそれぞれ対応した動き補償予測画像信号を生成する第2のステップと、
生成された複数の動き補償予測画像信号のうち、互いに異なる組み合わせの2以上の動き補償予測画像信号を合成して1以上の合成動き補償予測画像信号を生成する第3のステップと、
前記複数の動き補償予測画像信号及び前記合成動き補償予測画像信号のうち、誤差評価値が最小の信号を選択して前記予測画像信号として出力する第4のステップと、
前記現符号化対象画像信号と前記第4のステップにより選択された前記予測画像信号との差分信号に対して、直交変換及び量子化して前記符号化信号である量子化後信号を生成する第5のステップと、
前記選択された前記予測画像信号の生成に用いた前記生成済みの参照画像信号、前記同一の動きベクトル、及び前記フィルタ処理をそれぞれ特定するための参照画像信号特定情報、動きベクトル特定情報、及びフィルタ処理特定情報を、前記量子化後信号に所定の符号化処理をして生成した動画像符号化信号に付加して出力する第6のステップと、
前記量子化後信号を逆量子化及び逆直交変換して得た信号に、前記選択された予測画像信号を加算することによる局部復号処理により、新たな参照画像信号を生成する第7のステップと
を含むことを特徴とする動画像符号化方法。 A reference image signal is generated by locally decoding an encoded signal obtained by encoding an encoding target image signal in an input moving image signal, and a prediction image signal obtained by performing motion compensation prediction on the reference image signal is used. In the moving picture coding method for performing motion compensation predictive coding of the current coding target picture signal in the input moving picture signal,
A first step of detecting a motion vector of a current encoding target image signal in the input moving image signal;
A second step of generating a motion compensated prediction image signal corresponding to each of the filter processes from the generated reference image signal by two or more filter processes and a motion compensation process based on the same motion vector; When,
A third step of generating one or more combined motion compensated prediction image signals by combining two or more motion compensation prediction image signals of different combinations among the plurality of generated motion compensation prediction image signals;
A fourth step of selecting a signal having the smallest error evaluation value from the plurality of motion compensated prediction image signals and the combined motion compensation prediction image signal and outputting the selected signal as the prediction image signal;
A differential signal between the current encoding target image signal and the predicted image signal selected in the fourth step is orthogonally transformed and quantized to generate a quantized signal that is the encoded signal. And the steps
Reference image signal specifying information, motion vector specifying information, and filter for specifying each of the generated reference image signal, the same motion vector, and the filter processing used for generating the selected predicted image signal A sixth step of adding processing specific information to a moving image encoded signal generated by performing a predetermined encoding process on the quantized signal;
A seventh step of generating a new reference image signal by local decoding processing by adding the selected predicted image signal to a signal obtained by inverse quantization and inverse orthogonal transform of the quantized signal; A moving picture encoding method comprising:
前記第6のステップは、前記第4のステップが、前記合成動き補償予測画像信号を選択して前記予測画像信号として出力するとき、前記予測画像信号の生成に用いた合成比率を示す合成比率情報を、前記動画像符号化信号に更に付加することを特徴とする請求項1記載の動画像符号化方法。 In the third step, one or more synthesized motion compensated predictions are obtained by weighting and synthesizing two or more motion compensated predicted image signals of different combinations among the plurality of motion compensated predicted image signals at a set synthesis ratio. Generate an image signal,
The sixth step is a composite ratio information indicating a composite ratio used for generating the predicted image signal when the fourth step selects the composite motion compensated predicted image signal and outputs it as the predicted image signal. The video encoding method according to claim 1, further comprising: adding to the video encoded signal.
前記入力動画像信号における現符号化対象画像信号の動きベクトルを検出する動きベクトル検出手段と、
生成済みの前記参照画像信号から、2以上のフィルタ処理と、同一の前記動きベクトルに基づいた動き補償処理とにより、各前記フィルタ処理にそれぞれ対応した動き補償予測画像信号を生成する動き補償予測画像信号生成手段と、
生成された複数の動き補償予測画像信号のうち、互いに異なる組み合わせの2以上の動き補償予測画像信号を合成して1以上の合成動き補償予測画像信号を生成する合成動き補償予測画像信号生成手段と、
前記複数の動き補償予測画像信号及び前記合成動き補償予測画像信号のうち、誤差評価値が最小の信号を選択して前記予測画像信号として出力する予測画像信号選択手段と、
前記現符号化対象画像信号と前記予測画像信号選択手段により選択された前記予測画像信号との差分信号に対して、直交変換及び量子化して前記符号化信号である量子化後信号を生成する量子化後信号生成手段と、
前記選択された前記予測画像信号の生成に用いた前記生成済みの参照画像信号、前記同一の動きベクトル、及び前記フィルタ処理をそれぞれ特定するための参照画像信号特定情報、動きベクトル特定情報、及びフィルタ処理特定情報を、前記量子化後信号に所定の符号化処理をして生成した動画像符号化信号に付加して出力する符号化手段と、
前記量子化後信号を逆量子化及び逆直交変換して得た信号に、前記選択された予測画像信号を加算することによる局部復号処理により、新たな参照画像信号を生成する参照画像信号生成手段と
を有することを特徴とする動画像符号化装置。 A reference image signal is generated by locally decoding an encoded signal obtained by encoding an encoding target image signal in an input moving image signal, and a prediction image signal obtained by performing motion compensation prediction on the reference image signal is used. In the moving picture coding apparatus for performing motion compensation predictive coding of the current coding target picture signal in the input moving picture signal,
Motion vector detecting means for detecting a motion vector of the current encoding target image signal in the input moving image signal;
A motion-compensated prediction image that generates a motion-compensated prediction image signal corresponding to each filter process from the generated reference image signal by two or more filter processes and a motion compensation process based on the same motion vector Signal generating means;
A combined motion compensated prediction image signal generation unit that generates two or more combined motion compensation prediction image signals by combining two or more motion compensation prediction image signals of different combinations among the plurality of generated motion compensation prediction image signals; ,
Prediction image signal selection means for selecting a signal having the smallest error evaluation value from the plurality of motion compensation prediction image signals and the combined motion compensation prediction image signal and outputting the selected signal as the prediction image signal;
Quantization that generates a post-quantization signal that is the encoded signal by performing orthogonal transform and quantization on a difference signal between the current encoding target image signal and the predicted image signal selected by the predicted image signal selection unit A signal generation means after conversion;
Reference image signal specifying information, motion vector specifying information, and filter for specifying each of the generated reference image signal, the same motion vector, and the filter processing used for generating the selected predicted image signal Encoding means for adding processing specific information to a moving image encoded signal generated by performing a predetermined encoding process on the quantized signal; and
Reference image signal generation means for generating a new reference image signal by local decoding processing by adding the selected predicted image signal to a signal obtained by inverse quantization and inverse orthogonal transform of the quantized signal A moving picture encoding apparatus comprising:
前記符号化手段は、前記予測画像信号選択手段が、前記合成動き補償予測画像信号を選択して前記予測画像信号として出力するとき、前記予測画像信号の生成に用いた合成比率を示す合成比率情報を、前記動画像符号化信号に更に付加することを特徴とする請求項3記載の動画像符号化装置。 The synthesized motion compensated predicted image signal generation means weights and synthesizes each of two or more motion compensated predicted image signals of different combinations among the plurality of motion compensated predicted image signals at a set synthesis ratio. Generating a composite motion compensated prediction image signal;
The encoding means, when the prediction image signal selection means selects the composite motion compensated prediction image signal and outputs it as the prediction image signal, the composition ratio information indicating the composition ratio used to generate the prediction image signal The video encoding apparatus according to claim 3, further comprising: a video encoding signal added to the video encoding signal.
前記コンピュータに、
前記入力動画像信号における現符号化対象画像信号の動きベクトルを検出する第1のステップと、
生成済みの前記参照画像信号から、2以上のフィルタ処理と、同一の前記動きベクトルに基づいた動き補償処理とにより、各前記フィルタ処理にそれぞれ対応した動き補償予測画像信号を生成する第2のステップと、
生成された複数の動き補償予測画像信号のうち、互いに異なる組み合わせの2以上の動き補償予測画像信号を合成して1以上の合成動き補償予測画像信号を生成する第3のステップと、
前記複数の動き補償予測画像信号及び前記合成動き補償予測画像信号のうち、誤差評価値が最小の信号を選択して前記予測画像信号として出力する第4のステップと、
前記現符号化対象画像信号と前記第4のステップにより選択された前記予測画像信号との差分信号に対して、直交変換及び量子化して前記符号化信号である量子化後信号を生成する第5のステップと、
前記選択された前記予測画像信号の生成に用いた前記生成済みの参照画像信号、前記同一の動きベクトル、及び前記フィルタ処理をそれぞれ特定するための参照画像信号特定情報、動きベクトル特定情報、及びフィルタ処理特定情報を、前記量子化後信号に所定の符号化処理をして生成した動画像符号化信号に付加して出力する第6のステップと、
前記量子化後信号を逆量子化及び逆直交変換して得た信号に、前記選択された予測画像信号を加算することによる局部復号処理により、新たな参照画像信号を生成する第7のステップと
を実行させることを特徴とする動画像符号化プログラム。 A reference image signal is generated by locally decoding an encoded signal obtained by encoding an encoding target image signal in an input moving image signal, and a prediction image signal obtained by performing motion compensation prediction on the reference image signal is used. In the moving picture coding program for causing the computer to execute a moving picture coding process for performing motion compensation prediction coding of the current coding target image signal in the input moving picture signal,
In the computer,
A first step of detecting a motion vector of a current encoding target image signal in the input moving image signal;
A second step of generating a motion compensated prediction image signal corresponding to each of the filter processes from the generated reference image signal by two or more filter processes and a motion compensation process based on the same motion vector; When,
A third step of generating one or more combined motion compensated prediction image signals by combining two or more motion compensation prediction image signals of different combinations among the plurality of generated motion compensation prediction image signals;
A fourth step of selecting a signal having the smallest error evaluation value from the plurality of motion compensated prediction image signals and the combined motion compensation prediction image signal and outputting the selected signal as the prediction image signal;
A differential signal between the current encoding target image signal and the predicted image signal selected in the fourth step is orthogonally transformed and quantized to generate a quantized signal that is the encoded signal. And the steps
Reference image signal specifying information, motion vector specifying information, and filter for specifying each of the generated reference image signal, the same motion vector, and the filter processing used for generating the selected predicted image signal A sixth step of adding processing specific information to a moving image encoded signal generated by performing a predetermined encoding process on the quantized signal;
A seventh step of generating a new reference image signal by local decoding processing by adding the selected predicted image signal to a signal obtained by inverse quantization and inverse orthogonal transform of the quantized signal; A moving picture encoding program characterized in that
前記第6のステップは、前記第4のステップが、前記合成動き補償予測画像信号を選択して前記予測画像信号として出力するとき、前記予測画像信号の生成に用いた合成比率を示す合成比率情報を、前記動画像符号化信号に更に付加することを特徴とする請求項5記載の動画像符号化プログラム。 In the third step, one or more synthesized motion compensated predictions are obtained by weighting and synthesizing two or more motion compensated predicted image signals of different combinations among the plurality of motion compensated predicted image signals at a set synthesis ratio. Generate an image signal,
The sixth step is a composite ratio information indicating a composite ratio used for generating the predicted image signal when the fourth step selects the composite motion compensated predicted image signal and outputs it as the predicted image signal. The moving picture coding program according to claim 5, further adding to the moving picture coded signal.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009141995A JP2010288181A (en) | 2009-06-15 | 2009-06-15 | Moving image encoding method, moving image encoding apparatus, and moving image encoding program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009141995A JP2010288181A (en) | 2009-06-15 | 2009-06-15 | Moving image encoding method, moving image encoding apparatus, and moving image encoding program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010288181A true JP2010288181A (en) | 2010-12-24 |
Family
ID=43543540
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009141995A Pending JP2010288181A (en) | 2009-06-15 | 2009-06-15 | Moving image encoding method, moving image encoding apparatus, and moving image encoding program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010288181A (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003284075A (en) * | 2002-01-18 | 2003-10-03 | Toshiba Corp | Method and apparatus for coding moving image, and method and apparatus for decoding |
JP2008544708A (en) * | 2005-06-24 | 2008-12-04 | 株式会社エヌ・ティ・ティ・ドコモ | Method and apparatus for video encoding and decoding using adaptive interpolation |
-
2009
- 2009-06-15 JP JP2009141995A patent/JP2010288181A/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003284075A (en) * | 2002-01-18 | 2003-10-03 | Toshiba Corp | Method and apparatus for coding moving image, and method and apparatus for decoding |
JP2008544708A (en) * | 2005-06-24 | 2008-12-04 | 株式会社エヌ・ティ・ティ・ドコモ | Method and apparatus for video encoding and decoding using adaptive interpolation |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11889107B2 (en) | Image encoding method and image decoding method | |
US20200320746A1 (en) | Image processing device and method | |
CN108111846B (en) | Inter-layer prediction method and device for scalable video coding | |
CN108391137B (en) | Scalable decoding method/apparatus, scalable encoding method/apparatus, and medium | |
CN102823250B (en) | Picture coding device, picture decoding apparatus, method for encoding images and picture decoding method | |
KR101821981B1 (en) | Method for multiple interpolation filters, and apparatus for encoding by using the same | |
EP1418763A1 (en) | Image encoding device, image encoding method, image decoding device, image decoding method, and communication device | |
JPWO2011039931A1 (en) | Image encoding device, image decoding device, image encoding method, and image decoding method | |
KR20130045784A (en) | Method and apparatus for scalable video coding using inter prediction mode | |
US8780995B2 (en) | Video encoding apparatus and video decoding apparatus | |
WO2013051897A1 (en) | Image-encoding method and image-decoding method | |
JP2010288182A (en) | Moving image decoding method, moving image decoding apparatus, and moving image decoding program | |
US8731057B2 (en) | Video encoding apparatus, video decoding apparatus, video encoding method, video decoding method, and computer program | |
JP2018032913A (en) | Video encoder, program and method, and video decoder, program and method, and video transmission system | |
KR20070075354A (en) | A method and apparatus for decoding/encoding a video signal | |
JP2010288181A (en) | Moving image encoding method, moving image encoding apparatus, and moving image encoding program | |
JP5367161B2 (en) | Image encoding method, apparatus, and program | |
KR20130098121A (en) | Device and method for encoding/decoding image using adaptive interpolation filters | |
AU2017204660A1 (en) | Image processing apparatus and method | |
JP5649701B2 (en) | Image decoding method, apparatus, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20111012 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120725 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120731 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20121127 |