JP2012060208A

JP2012060208A - Moving image encoding method, moving image encoding apparatus, moving image decoding method, moving image decoding apparatus, and program thereof

Info

Publication number: JP2012060208A
Application number: JP2010198552A
Authority: JP
Inventors: Yukihiro Bando; 幸浩坂東; Shohei Matsuo; 翔平松尾; Masayuki Takamura; 誠之高村; Atsushi Shimizu; 淳清水; Hirohisa Jozawa; 裕尚如澤
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2010-09-06
Filing date: 2010-09-06
Publication date: 2012-03-22

Abstract

PROBLEM TO BE SOLVED: To improve encoding efficiency in combining an adaptive interpolation filter (AIF) with a plurality of reference frames (MRF), in accordance with the local characteristics of an image.SOLUTION: Additional information called control information r[i] is introduced to each reference frame and added to the syntax of an encoded stream, thereby adapting AIF coefficient calculation to the reference frame or a group of reference frames. The AIF control information r[i] is information for notifying a decoding side whether to calculate individual AIF coefficient, with respect to an i-th reference frame, to calculate an AIF coefficient common to the group of frames including the other reference frames, or to use a predetermined fixed AIF coefficient, for example, and is inserted into the encoded stream.

Description

本発明は，高能率動画像符号化，復号技術に関し，特に小数画素精度に対応した動き補償フレーム間予測を行う動画像符号化方法，動画像復号方法に関する。 The present invention relates to a high-efficiency moving image encoding and decoding technique, and more particularly to a moving image encoding method and a moving image decoding method for performing motion compensation interframe prediction corresponding to decimal pixel accuracy.

動画像符号化における重要な要素技術の一つに，動き補償フレーム間予測がある。Ｈ．２６４／ＡＶＣでは，最大１／４画素単位での小数画素位置の参照も可能である。なお，このような小数画素位置を参照するためには，小数画素位置における画素値を生成する必要があり，線形フィルタを用いた補間画像生成の方法が規定されている。 One of the important elemental technologies in video coding is motion compensation interframe prediction. H. In H.264 / AVC, it is possible to refer to decimal pixel positions in units of a maximum of 1/4 pixel. In order to refer to such decimal pixel positions, it is necessary to generate pixel values at the decimal pixel positions, and an interpolation image generation method using a linear filter is defined.

Ｈ．２６４が規定しているのは，フィルタ係数が固定の線形フィルタであった。詳細は，非特許文献１等に記載されている。 H. H.264 defines a linear filter with a fixed filter coefficient. Details are described in Non-Patent Document 1 and the like.

この小数画素位置の補間画像生成の改良として，フィルタ係数を入力映像の特徴に応じて適応的に制御する適応補間フィルタ（ＡＩＦ）と呼ばれる技術が検討されている（非特許文献２参照）。 As an improvement in the generation of the interpolated image at the decimal pixel position, a technique called an adaptive interpolation filter (AIF) that adaptively controls the filter coefficient according to the characteristics of the input video has been studied (see Non-Patent Document 2).

また，Ｈ．２６４／ＡＶＣでは，動き補償フレーム間予測の拡張として，複数枚の参照フレームに対応した複数参照フレーム（ＭＲＦ）動き補償フレーム間予測が導入されている。ＭＲＦにおいて，Ｍ枚のフレームを参照する場合，Ｍ枚の参照フレームは，参照フレームインデックスｒｅｆ＿ｉｄｘ［ｉ］により指定される（ｉ＝０，…，Ｍ−１）。例えば，Ｍ＝２, ｒｅｆ＿ｉｄｘ［０］＝１０，ｒｅｆ＿ｉｄｘ［１］＝９であれば，最大２枚のフレームを参照し，第１０フレームおよび第９フレームを参照フレームとして用いる（詳細は，非特許文献１参照）。 H. In H.264 / AVC, multiple reference frame (MRF) motion compensated interframe prediction corresponding to multiple reference frames is introduced as an extension of motion compensated interframe prediction. When referring to M frames in the MRF, the M reference frames are specified by the reference frame index ref_idx [i] (i = 0,..., M−1). For example, if M = 2, ref_idx [0] = 10, and ref_idx [1] = 9, a maximum of two frames are referenced, and the tenth and ninth frames are used as reference frames (details are non-patent) Reference 1).

大久保榮監修，インプレス標準教科書シリーズ，改定三版Ｈ．２６４／ＡＶＣ教科書，株式会社インプレスＲ＆Ｄ，２００９年１月１日発行Supervised by Satoshi Okubo, Impress Standard Textbook Series, revised third edition H.264 / AVC textbook, Impress R & D Inc., issued January 1, 2009 Y.Vatis, B.Edler, D.T.Nguyen, and J.Ostermann. Two-dimensional non-separable adaptive wiener interpolation filter for H.264/AVC. In ITU-T Q.6/SG16 VCEG, VCEG-Z17r1, Apr. 2005Y.Vatis, B.Edler, DTNguyen, and J.Ostermann.Two-dimensional non-separable adaptive wiener interpolation filter for H.264 / AVC.In ITU-T Q.6 / SG16 VCEG, VCEG-Z17r1, Apr. 2005

しかし，ＡＩＦをＭＲＦへ対応させるための手法については，明確に記載されていない。ＡＩＦをＭＲＦへ対応させるための手法として考えられるのは，例えば，全ての参照フレームに対してＡＩＦ係数を共有する方法である。図１５では，４枚の参照フレームに対して，共通のフィルタ係数が設定された例を示している。ここで，Ａはフィルタ係数を格納したベクトル変数であり，フィルタがＬタップの場合，ＡはＡ［ｋ］（ｋ＝０，…，Ｌ−１）からなるＬ個の係数を含む。 However, the method for making AIF correspond to MRF is not clearly described. A possible method for making AIF correspond to MRF is, for example, a method of sharing AIF coefficients for all reference frames. FIG. 15 shows an example in which common filter coefficients are set for four reference frames. Here, A is a vector variable storing filter coefficients, and when the filter is L taps, A includes L coefficients consisting of A [k] (k = 0,..., L−1).

参照フレームごとに，予測に及ぼす影響が異なることが考えられる。例えば，ピクチャタイプが異なる場合，あるいは，同一ピクチャタイプであっても，量子化幅，符号化モードが異なる場合は，その代表例である。しかし，前述のアプローチでは，こうした参照フレーム間の特性の違いを吸収できない。 The effect on the prediction may be different for each reference frame. For example, when the picture types are different, or even when the picture types are the same, the quantization width and the coding mode are different. However, the above approach cannot absorb the difference in characteristics between the reference frames.

一方，ＡＩＦをＭＲＦへ対応させるための手法として，図１６に示すように，４枚の参照フレームに個別にＡＩＦ係数ａ０，ａ１，ａ２，ａ３を設定する方法も考えられる。しかし，単純に，このような方法をとると，フィルタ係数を表現するための付加情報が増加するため，必ずしも符号化効率向上に繋がる保証はない。このため，ＡＩＦをＭＲＦと併用した場合の予測誤差の低減に改良の余地を残す。 On the other hand, as a method for making AIF correspond to MRF, as shown in FIG. 16, a method of individually setting AIF coefficients a0, a1, a2, and a3 in four reference frames can be considered. However, simply adopting such a method increases the additional information for expressing the filter coefficients, so there is no guarantee that the encoding efficiency will be improved. For this reason, there is room for improvement in reducing prediction errors when AIF is used in combination with MRF.

本発明はかかる事情に鑑みてなされたものであって，画像の局所的な性質に応じて，ＡＩＦをＭＲＦと併用する場合のフィルタ係数算出および設定に関する適応処理を確立することを目的とする。 The present invention has been made in view of such circumstances, and an object thereof is to establish adaptive processing related to filter coefficient calculation and setting in the case of using AIF together with MRF in accordance with local characteristics of an image.

上記課題を解決するため，本発明は，参照フレームごとにフィルタ制御情報と呼ぶ付加情報を導入し，符号化ストリームのシンタックスに加えることにより，参照フレームまたは参照フレーム群に対するＡＩＦ係数算出の適応処理化を図る。 In order to solve the above-described problems, the present invention introduces additional information called filter control information for each reference frame and adds it to the syntax of the encoded stream, thereby adaptive processing for calculating AIF coefficients for the reference frame or reference frame group. Plan

図１は，本発明の概要を説明する図である。本発明では，複数の参照フレーム（図１の例では４枚）に対して，フィルタ制御情報ｒ［ｉ］（ｉ＝０，…，３）を付与する。このフィルタ制御情報ｒ［ｉ］の意味は，例えば以下のとおりである。
・ｒ［ｉ］＝１であれば，当該参照フレームごとに個別のＡＩＦ係数を算出する。
・ｒ［ｉ］＝０１であれば，ｒ［ｊ］＝０１である他の参照フレームを含むフレーム群に対して共通のＡＩＦ係数を算出する。
・ｒ［ｉ］＝００であれば，予め定められた固定のフィルタ係数を使用する。この場合，フィルタ係数は復号側へ送信する必要はない。 FIG. 1 is a diagram for explaining the outline of the present invention. In the present invention, filter control information r [i] (i = 0,..., 3) is assigned to a plurality of reference frames (four frames in the example of FIG. 1). The meaning of the filter control information r [i] is, for example, as follows.
If r [i] = 1, an individual AIF coefficient is calculated for each reference frame.
If r [i] = 01, a common AIF coefficient is calculated for a frame group including other reference frames with r [j] = 01.
If r [i] = 00, a predetermined fixed filter coefficient is used. In this case, the filter coefficient need not be transmitted to the decoding side.

この例では，フィルタ制御情報の値が３種類の例を示したが，このうち２種類だけを用いてもよい。 In this example, there are three examples of filter control information values, but only two of them may be used.

すなわち，本発明では，複数の復号フレームを参照し，小数画素精度に対応した動き補償フレーム間予測を備えた動画像符号化方式において，参照フレームに応じて小数画素位置の画素値を生成するために用いる補間フィルタの係数を適応的に設定し，前記補間フィルタの係数が，少なくとも個々の参照フレームに対して個別に設定された係数であるか否かを示すフィルタ制御情報を，各参照フレームごとに付加情報として符号化ストリーム中に加える。 That is, in the present invention, in order to generate a pixel value at a decimal pixel position in accordance with a reference frame in a moving picture coding system with motion compensated interframe prediction corresponding to decimal pixel accuracy by referring to a plurality of decoded frames. The coefficient of the interpolation filter used in the above is adaptively set, and filter control information indicating whether or not the coefficient of the interpolation filter is a coefficient set individually for at least each reference frame is set for each reference frame. To the encoded stream as additional information.

また，本発明は，複数の復号フレームを参照し，小数画素精度に対応した動き補償フレーム間予測を備えた動画像符号化方式が出力する符号化ストリームを復号する動画像復号方式において，復号画像を生成する際，符号化ストリーム中に付与されたフィルタ制御情報に基づき，参照フレームに応じて小数画素位置の画素値生成に用いる補間フィルタの係数を適応的に設定する。 Further, the present invention relates to a decoded image in which a decoded image is decoded by referring to a plurality of decoded frames and decoding an encoded stream output by a moving image encoding method having motion compensated interframe prediction corresponding to decimal pixel accuracy. Is generated, the coefficient of the interpolation filter used for generating the pixel value at the decimal pixel position is adaptively set according to the reference frame based on the filter control information given in the encoded stream.

選択可能な各フィルタ制御情報に対応するフィルタ係数を求め，そのフィルタ係数を用いた場合の符号量・歪みコストを最小化するフィルタ制御情報を，符号化対象フレーム（またはスライス）に対するフィルタ制御情報として符号化ストリーム内に設定するため，符号化効率を向上させることができるようになる。 The filter coefficient corresponding to each selectable filter control information is obtained, and the filter control information that minimizes the code amount / distortion cost when using the filter coefficient is used as the filter control information for the encoding target frame (or slice). Since it is set in the encoded stream, the encoding efficiency can be improved.

本発明により，適応補間フィルタ（ＡＩＦ）を複数参照フレーム（ＭＲＦ）の条件下で用いる場合，ＡＩＦによる予測誤差低減効果とその付加情報に対するトレードオフを解決し，符号化効率向上を実現できる。例えば，参照フレームのピクチャタイプの違いを考慮したＡＩＦ係数の設計を可能にするための符号化ストリームの構造を提供できることから，符号化効率向上に繋がる。 According to the present invention, when the adaptive interpolation filter (AIF) is used under the condition of a plurality of reference frames (MRF), the prediction error reduction effect by AIF and the trade-off for the additional information can be solved, and the encoding efficiency can be improved. For example, it is possible to provide an encoded stream structure that enables the design of an AIF coefficient in consideration of the difference in picture type of the reference frame, which leads to improved encoding efficiency.

本発明の概要を説明する図である。It is a figure explaining the outline | summary of this invention. ＡＩＦ制御情報の設定例を示す図である。It is a figure which shows the example of a setting of AIF control information. ＡＩＦ制御情報の設定例を示す図である。It is a figure which shows the example of a setting of AIF control information. ＡＩＦ制御情報の設定例を示す図である。It is a figure which shows the example of a setting of AIF control information. 本発明の一実施形態に係る動画像符号化装置の構成例を示す図である。It is a figure which shows the structural example of the moving image encoder which concerns on one Embodiment of this invention. 符号化時の参照フレーム生成処理フローチャート（その１）である。It is a reference frame generation process flowchart (the 1) at the time of an encoding. 符号化時の参照フレーム生成処理フローチャート（その２）である。It is a reference frame generation process flowchart (the 2) at the time of an encoding. 符号化時の参照フレーム生成処理フローチャート（その３）である。It is a reference frame generation process flowchart (the 3) at the time of an encoding. 個別フィルタ係数の算出処理フローチャートである。It is a calculation processing flowchart of an individual filter coefficient. 共通フィルタ係数の算出処理フローチャートである。It is a calculation process flowchart of a common filter coefficient. 本発明の一実施形態に係る動画像復号装置の構成例を示す図である。It is a figure which shows the structural example of the moving image decoding apparatus which concerns on one Embodiment of this invention. 復号時の参照フレーム生成処理フローチャート（その１）である。It is a reference frame generation process flowchart (the 1) at the time of decoding. 復号時の参照フレーム生成処理フローチャート（その２）である。It is a reference frame generation process flowchart (the 2) at the time of decoding. 復号時の参照フレーム生成処理フローチャート（その３）である。It is a reference frame generation process flowchart (the 3) at the time of decoding. 本発明の課題を説明する図である。It is a figure explaining the subject of this invention. 本発明の課題を説明する図である。It is a figure explaining the subject of this invention.

本発明では，参照フレームごとにフィルタ制御情報（以下，ＡＩＦ制御情報）と呼ぶ付加情報を導入し，ＡＩＦ係数算出の適応処理化を図る。まず，フィルタ制御情報（以下，ＡＩＦ制御情報という）の具体例を示す。 In the present invention, additional information called filter control information (hereinafter referred to as AIF control information) is introduced for each reference frame to achieve adaptive processing for AIF coefficient calculation. First, a specific example of filter control information (hereinafter referred to as AIF control information) is shown.

〔ＡＩＦ制御情報の例（その１）〕
参照フレームインデックスｒｅｆ＿ｉｄｘ［ｉ］（ｉ＝０，…，Ｍ−１）により指定される参照フレームに対して，ＡＩＦ制御情報ｒ［ｉ］を付与する。ｒ［ｉ］は０または１をとる。各値の意味は以下のとおりである。
１．ｒ［ｉ］＝１の場合：第ｉ参照フレームに対してＡＩＦ係数を算出する。ここで，求まる係数を個別ＡＩＦ係数と呼ぶ。
２．ｒ［ｉ］＝０の場合：ｒ［ｉ］＝０を付与された参照フレーム群に対して，共通のＡＩＦ係数を算出する。ここで，求まる係数を共通ＡＩＦ係数と呼ぶ。 [Example of AIF control information (part 1)]
AIF control information r [i] is assigned to the reference frame specified by the reference frame index ref_idx [i] (i = 0,..., M−1). r [i] takes 0 or 1. The meaning of each value is as follows.
1. When r [i] = 1: AIF coefficient is calculated for the i-th reference frame. Here, the obtained coefficient is called an individual AIF coefficient.
2. When r [i] = 0: A common AIF coefficient is calculated for the reference frame group assigned with r [i] = 0. Here, the obtained coefficient is called a common AIF coefficient.

図２に，Ｍ＝４において，ｒ［０］＝１，ｒ［１］＝１，ｒ［２］＝０，ｒ［３］＝０とした場合の例を示す。１番目と２番目の参照フレームに対し，それぞれ個別ＡＩＦ係数ａ０，ａ１による補間フィルタにより補間処理が行われるのに対し，３番目と４番目の参照フレームには，共通ＡＩＦ係数ａ２による補間フィルタを用いて補間処理が行われる。 FIG. 2 shows an example in which r [0] = 1, r [1] = 1, r [2] = 0, r [3] = 0 at M = 4. The first and second reference frames are interpolated by interpolation filters using individual AIF coefficients a0 and a1, respectively, whereas the third and fourth reference frames are interpolated by a common AIF coefficient a2. Interpolation processing is performed using this.

図３に，Ｍ＝４において，ｒ［０］＝１，ｒ［１］＝０，ｒ［２］＝０，ｒ［３］＝０とした場合の例を示す。この場合には，２番目と３番目と４番目の参照フレームに対し，共通ＡＩＦ係数ａ１を用いた補間フィルタが適用される。 FIG. 3 shows an example where M [4], r [0] = 1, r [1] = 0, r [2] = 0, r [3] = 0. In this case, an interpolation filter using the common AIF coefficient a1 is applied to the second, third, and fourth reference frames.

図４に，Ｍ＝４において，ｒ［０］＝０，ｒ［１］＝０，ｒ［２］＝０，ｒ［３］＝０とした場合の例を示す。この場合，全ての参照フレームに対して共通ＡＩＦ係数ａ０を用いた補間フィルタが適用される。この例から，本手法は，従来法の表現法を包含した一般化した表現が可能であることが分かる。 FIG. 4 shows an example in which r [0] = 0, r [1] = 0, r [2] = 0, r [3] = 0 at M = 4. In this case, an interpolation filter using the common AIF coefficient a0 is applied to all reference frames. From this example, it can be seen that the present method is capable of generalized expression including the conventional expression method.

〔ＡＩＦ制御情報の例（その２）〕
参照フレームインデックスｒｅｆ＿ｉｄｘ［ｉ］（ｉ＝０，…，Ｍ−１）により指定される参照フレームに対して，ＡＩＦ制御情報ｒ［ｉ］を付与する。ｒ［ｉ］は０または１をとる。各値の意味は以下のとおりである。
１．ｒ［ｉ］＝１の場合：第ｉ参照フレームに対してＡＩＦ係数を算出する。ここで，求まる係数を個別ＡＩＦ係数と呼ぶ。
２．ｒ［ｉ］＝０の場合：ｒ［ｉ］＝０を付与された参照フレーム群に対して，あらかじめ定められたフィルタ係数をＡＩＦ係数として用いる。ここで，使用される係数を固定ＡＩＦ係数と呼ぶ。なお，ｒ［ｉ］＝０の場合に用いるフィルタ係数は符号化器・復号器で共有しており，符号化情報として伝送する必要はない。 [Example of AIF control information (part 2)]
AIF control information r [i] is assigned to the reference frame specified by the reference frame index ref_idx [i] (i = 0,..., M−1). r [i] takes 0 or 1. The meaning of each value is as follows.
1. When r [i] = 1: AIF coefficient is calculated for the i-th reference frame. Here, the obtained coefficient is called an individual AIF coefficient.
2. When r [i] = 0: A predetermined filter coefficient is used as the AIF coefficient for the reference frame group assigned with r [i] = 0. Here, the coefficient used is called a fixed AIF coefficient. Note that the filter coefficient used when r [i] = 0 is shared by the encoder / decoder and does not need to be transmitted as encoded information.

〔ＡＩＦ制御情報の例（その３）〕
参照フレームインデックスｒｅｆ＿ｉｄｘ［ｉ］（ｉ＝０，…，Ｍ−１）により指定される参照フレームに対して，ＡＩＦ制御情報ｒ［ｉ］を付与する。ｒ［ｉ］は，１，０１，００のいずれかの値をとる。各値の意味は以下のとおりである。
１．ｒ［ｉ］＝１の場合：第ｉ参照フレームに対してＡＩＦ係数を算出する。ここで，求まる係数を個別ＡＩＦ係数と呼ぶ。
２．ｒ［ｉ］＝０１の場合：ｒ［ｉ］＝０１を付与された参照フレーム群に対して，共通のＡＩＦ係数を算出する。ここで，求まる係数を共通ＡＩＦ係数と呼ぶ。
３．ｒ［ｉ］＝００の場合：ｒ［ｉ］＝００を付与された参照フレーム群に対して，あらかじめ定められたフィルタ係数をＡＩＦ係数として用いる。ここで，使用される係数を固定ＡＩＦ係数と呼ぶ。なお，ｒ［ｉ］＝００の場合に用いるフィルタ係数は符号化器・復号器で共有しており，符号化情報として伝送する必要はない。 [Example of AIF control information (part 3)]
AIF control information r [i] is assigned to the reference frame specified by the reference frame index ref_idx [i] (i = 0,..., M−1). r [i] takes any value of 1,01,00. The meaning of each value is as follows.
1. When r [i] = 1: AIF coefficient is calculated for the i-th reference frame. Here, the obtained coefficient is called an individual AIF coefficient.
2. When r [i] = 01: A common AIF coefficient is calculated for the reference frame group assigned with r [i] = 01. Here, the obtained coefficient is called a common AIF coefficient.
3. When r [i] = 00: A predetermined filter coefficient is used as the AIF coefficient for the reference frame group assigned with r [i] = 00. Here, the coefficient used is called a fixed AIF coefficient. Note that the filter coefficients used when r [i] = 00 are shared by the encoder / decoder, and need not be transmitted as encoded information.

〔ＡＩＦ制御情報の設定方法〕
ＡＩＦ制御情報の設定方法を説明する。符号化器におけるＡＩＦの設定単位は，フレームもしくはスライス（フレーム内を分割した部分領域）である。この設定単位は，外部から与えられるものとする。 [AIF control information setting method]
A method for setting AIF control information will be described. The setting unit of AIF in the encoder is a frame or a slice (a partial area obtained by dividing the frame). This setting unit shall be given from the outside.

参照フレーム枚数をＭ枚として，ＡＩＦ制御情報の取り得る値の種類をＮ種類とする。前述のＡＩＦ制御情報の例（その１），ＡＩＦ制御情報の例（その２）の場合，Ｎ＝２であり，ＡＩＦ制御情報の例（その３）の場合，Ｎ＝３である。つまり，全参照フレームに対するＡＩＦ制御情報の取り得る値の組み合わせは，最大でもＮ^M通りである。なお，ＡＩＦ制御情報の例（その１）において，ｒ［ｉ］＝０となる参照フレームが１枚となる場合には，全参照フレームがｒ［ｉ］＝１となる場合と等価なため，ＡＩＦ制御情報の候補として考慮する必要はない。これは，ＡＩＦ制御情報の例（その３）も同様であり，ｒ［ｉ］＝０１となる参照フレームが１枚で，残りの全参照フレームがｒ［ｉ］＝１となる場合には，全参照フレームがｒ［ｉ］＝１となる場合と等価なため，ＡＩＦ制御情報の候補として考慮する必要はない。 The number of reference frames is M, and the types of values that the AIF control information can take are N. In the example of the AIF control information (part 1) and the example of the AIF control information (part 2), N = 2, and in the example of the AIF control information (part 3), N = 3. In other words, the combination of values of the AIF control information for all the reference frames is N ^M as at most. In the example of AIF control information (part 1), when one reference frame with r [i] = 0 is equivalent to the case with all reference frames r [i] = 1, There is no need to consider it as a candidate for AIF control information. This is the same for the AIF control information example (part 3). When one reference frame is r [i] = 01 and all the remaining reference frames are r [i] = 1, Since this is equivalent to the case where all reference frames are r [i] = 1, there is no need to consider them as candidates for AIF control information.

以下，ＡＩＦの設定単位としてフレームが設定された場合を例に説明する。ＡＩＦの設定単位としてスライスが設定された場合も同様である。選択可能な各ＡＩＦ制御情報に対応するＡＩＦ係数を求め，同ＡＩＦ係数を用いた場合の符号量・歪みコストを算出し，同コストを最小化するＡＩＦ制御情報を当該フレームに対するＡＩＦ制御情報として設定する。ここで，符号量・歪みコストとは，符号化歪み（二乗誤差和，もしくは絶対値誤差和）と発生符号量（もしくは，その推定値）の加重和である。 Hereinafter, a case where a frame is set as an AIF setting unit will be described as an example. The same applies when a slice is set as an AIF setting unit. AIF coefficient corresponding to each selectable AIF control information is obtained, code amount / distortion cost is calculated when the AIF coefficient is used, and AIF control information for minimizing the cost is set as AIF control information for the frame. To do. Here, the code amount / distortion cost is a weighted sum of encoding distortion (square error sum or absolute value error sum) and generated code amount (or an estimated value thereof).

以下，本発明の実施の形態について，図面を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

〔動画像符号化装置の構成例〕
図５は，本発明の一実施形態に係る動画像符号化装置の構成例を示す図である。動画像符号化装置１０は，複数の復号フレームを参照し，小数画素精度に対応した動き補償フレーム間予測を用いて，入力映像信号を符号化する装置である。 [Configuration example of moving image encoding apparatus]
FIG. 5 is a diagram illustrating a configuration example of a moving image encoding apparatus according to an embodiment of the present invention. The moving image encoding device 10 is a device that encodes an input video signal by referring to a plurality of decoded frames and using motion compensation interframe prediction corresponding to decimal pixel accuracy.

動画像符号化装置１０において，予測残差信号算出部１０１は，入力した映像信号とフレーム間予測信号との差分を算出し，予測残差信号を出力する。変換・量子化処理部１０２は，予測残差信号についてＤＣＴ変換等の直交変換を行い，その変換係数を量子化する。量子化された変換係数は，エントロピー符号化処理部１０３でエントロピー符号化され，符号化ストリームとして出力される。 In the moving picture coding apparatus 10, the prediction residual signal calculation unit 101 calculates a difference between the input video signal and the inter-frame prediction signal, and outputs a prediction residual signal. The transform / quantization processing unit 102 performs orthogonal transform such as DCT transform on the prediction residual signal, and quantizes the transform coefficient. The quantized transform coefficient is entropy encoded by the entropy encoding processing unit 103 and output as an encoded stream.

一方，量子化された変換係数は，逆変換・逆量子化処理部１０４で逆量子化および逆変換が行われる。復号信号算出部１０５は，逆変換・逆量子化処理部１０４の出力に，フレーム間予測信号生成部１１３の出力するフレーム間予測信号を加算し，復号信号を生成する。生成された復号信号は，デブロッキングフィルタ処理部１０６にてフィルタ処理され，後のフレーム間予測のために参照フレームバッファ１０７に格納される。 On the other hand, the quantized transform coefficient is subjected to inverse quantization and inverse transform in the inverse transform / inverse quantization processing unit 104. The decoded signal calculation unit 105 adds the inter-frame prediction signal output from the inter-frame prediction signal generation unit 113 to the output of the inverse transform / inverse quantization processing unit 104 to generate a decoded signal. The generated decoded signal is filtered by the deblocking filter processing unit 106 and stored in the reference frame buffer 107 for later inter-frame prediction.

フレームバッファ選択処理部１０８は，複数の参照フレームを用いてフレーム間予測を行うにあたって，参照フレームバッファ１０７に格納されている参照フレームを順番に選択する。 The frame buffer selection processing unit 108 sequentially selects reference frames stored in the reference frame buffer 107 when performing inter-frame prediction using a plurality of reference frames.

参照フレーム生成処理部１０９は，フレームバッファ選択処理部１０８が選択した参照フレームに対して，適応補間フィルタ（ＡＩＦ）を用いて補間する画素値を算出することにより小数画素精度の参照フレームを生成する。フレーム間予測信号生成部１１３は，参照フレーム生成処理部１０９が生成した参照フレームを用いて，小数画素精度に対応した動き補償フレーム間予測を行い，フレーム間予測信号を生成する。 The reference frame generation processing unit 109 generates a reference frame with decimal pixel accuracy by calculating pixel values to be interpolated using an adaptive interpolation filter (AIF) for the reference frame selected by the frame buffer selection processing unit 108. . The inter-frame prediction signal generation unit 113 performs motion compensation inter-frame prediction corresponding to decimal pixel accuracy using the reference frame generated by the reference frame generation processing unit 109, and generates an inter-frame prediction signal.

本装置は，参照フレーム生成処理部１０９の部分が従来の符号化装置と異なる。参照フレーム生成処理部１０９では，参照フレームごとにＡＩＦ制御情報と呼ぶ付加情報を導入し，ＡＩＦ係数算出の適応処理化を図る。そのため，参照フレーム生成処理部１０９は，固定ＡＩＦ記憶部１１０，個別ＡＩＦ係数算出処理部１１１，共有ＡＩＦ係数算出処理部１１２を有している。ＡＩＦ制御情報は，符号化ストリーム中に挿入されて出力される。 This apparatus is different from the conventional encoding apparatus in the reference frame generation processing unit 109. The reference frame generation processing unit 109 introduces additional information called AIF control information for each reference frame to achieve adaptive processing for AIF coefficient calculation. Therefore, the reference frame generation processing unit 109 has a fixed AIF storage unit 110, an individual AIF coefficient calculation processing unit 111, and a shared AIF coefficient calculation processing unit 112. AIF control information is inserted into the encoded stream and output.

以下，図５に示す参照フレーム生成処理部１０９の詳細な処理フローを，ＡＩＦ制御情報のタイプに応じて説明する。 Hereinafter, a detailed processing flow of the reference frame generation processing unit 109 illustrated in FIG. 5 will be described according to the type of AIF control information.

〔符号化時の参照フレーム生成処理フロー（その１）〕
図６は，前述した〔ＡＩＦ制御情報の例（その１）〕に対応する動画像符号化装置１０における参照フレーム生成処理部１０９の処理フローチャートである。参照フレーム生成処理部１０９は，以下に示す処理によって参照フレームの補間画像を生成する。
［ステップＳ１０１］：参照フレーム数Ｍを読み込む。
［ステップＳ１０２］：参照フレームとして用いるフレームを設定し，参照フレームインデックスｒｅｆ＿ｉｄｘ［ｉ］（ｉ＝０，１，…，Ｍ−１）を設定する。
［ステップＳ１０３］：共通ＡＩＦ係数の初期値を読み込み，共通ＡＩＦ係数の格納バッファに書き出す。
［ステップＳ１０４］：ループインデックスｉを，ｉ＝０，１，…，Ｍ−１として，ステップＳ１０４からＳ１１４までの処理を繰り返し行う。
［ステップＳ１０５］：参照フレームインデックスｒｅｆ＿ｉｄｘ［ｉ］が指す参照フレームに対する個別ＡＩＦ係数を算出する。この処理の詳細については，後に図９を用いて説明する。
［ステップＳ１０６］：参照フレームインデックスｒｅｆ＿ｉｄｘ［ｉ］が指す参照フレームに対して個別ＡＩＦ係数を用いた場合のＲＤコスト（符号化歪みと発生符号量の加重和）を算出する。
［ステップＳ１０７］：参照フレームインデックスｒｅｆ＿ｉｄｘ［ｉ］が指す参照フレームに対する共通ＡＩＦ係数として，共通ＡＩＦ係数の初期値を設定する。
［ステップＳ１０８］：参照フレームインデックスｒｅｆ＿ｉｄｘ［ｉ］が指す参照フレームに対して共通ＡＩＦ係数を用いた場合のＲＤコスト（符号化歪みと発生符号量の加重和）を算出する。なお，ステップＳ１０５，Ｓ１０６と，ステップＳ１０７，Ｓ１０８とは，パラレルに実行してもシリアルに実行してもどちらでもよい。
［ステップＳ１０９］：次に，個別ＡＩＦ係数を用いた場合と共通ＡＩＦ係数を用いた場合のＲＤコストを比較する。個別ＡＩＦ係数を用いた場合のＲＤコストのほうが小さい場合，ステップＳ１１０へ進み，そうでない場合，ステップＳ１１１へ進む。
［ステップＳ１１０］：個別ＡＩＦ係数を補間画像の生成に用いるＡＩＦ係数として選択し，符号化ストリーム内のＡＩＦ制御情報に対応する情報（１ビット）として，ｒ［ｉ］に“１”を格納する。その後，ステップＳ１１３へ進む。
［ステップＳ１１１］：共通ＡＩＦ係数を補間画像の生成に用いるＡＩＦ係数として選択し，符号化ストリーム内のＡＩＦ制御情報に対応する情報（１ビット）として，ｒ［ｉ］に“０”を格納する。
［ステップＳ１１２］：ｒ［ｉ］＝０が設定された参照フレーム群に対して，共通ＡＩＦ係数を算出する。この処理の詳細については，後に図１０を用いて説明する。
［ステップＳ１１３］：選択されたＡＩＦ係数を用いて，ｒｅｆ＿ｉｄｘ［ｉ］が指す参照フレームから小数画素精度に対応した動き補償フレーム間予測のための補間画像（参照フレーム）を生成する。
［ステップＳ１１４］：ループインデックスｉについて，１からＭ−１までの処理が終えたならば処理を終了する。そうでなけれは，ｉを１増やして，ステップＳ１０４以降を繰り返す。 [Reference frame generation processing flow during encoding (part 1)]
FIG. 6 is a process flowchart of the reference frame generation processing unit 109 in the moving image encoding apparatus 10 corresponding to [Example of AIF control information (part 1)]. The reference frame generation processing unit 109 generates an interpolated image of the reference frame by the following process.
[Step S101]: The reference frame number M is read.
[Step S102]: A frame to be used as a reference frame is set, and a reference frame index ref_idx [i] (i = 0, 1,..., M−1) is set.
[Step S103]: The initial value of the common AIF coefficient is read and written to the common AIF coefficient storage buffer.
[Step S104]: The loop index i is set to i = 0, 1,..., M−1, and the processes from Step S104 to S114 are repeated.
[Step S105]: The individual AIF coefficient for the reference frame indicated by the reference frame index ref_idx [i] is calculated. Details of this processing will be described later with reference to FIG.
[Step S106]: RD cost (weighted sum of coding distortion and generated code amount) is calculated when the individual AIF coefficient is used for the reference frame indicated by the reference frame index ref_idx [i].
[Step S107]: The initial value of the common AIF coefficient is set as the common AIF coefficient for the reference frame indicated by the reference frame index ref_idx [i].
[Step S108]: RD cost (weighted sum of coding distortion and generated code amount) is calculated when the common AIF coefficient is used for the reference frame indicated by the reference frame index ref_idx [i]. Note that steps S105 and S106 and steps S107 and S108 may be executed in parallel or serially.
[Step S109]: Next, the RD costs when the individual AIF coefficients are used and when the common AIF coefficients are used are compared. If the RD cost when the individual AIF coefficient is used is smaller, the process proceeds to step S110, and if not, the process proceeds to step S111.
[Step S110]: An individual AIF coefficient is selected as an AIF coefficient used for generating an interpolated image, and “1” is stored in r [i] as information (1 bit) corresponding to the AIF control information in the encoded stream. . Thereafter, the process proceeds to step S113.
[Step S111]: A common AIF coefficient is selected as an AIF coefficient used for generating an interpolated image, and “0” is stored in r [i] as information (1 bit) corresponding to the AIF control information in the encoded stream. .
[Step S112]: A common AIF coefficient is calculated for the reference frame group in which r [i] = 0 is set. Details of this processing will be described later with reference to FIG.
[Step S113]: Using the selected AIF coefficient, an interpolated image (reference frame) for motion compensation inter-frame prediction corresponding to decimal pixel accuracy is generated from the reference frame indicated by ref_idx [i].
[Step S114]: When the process from 1 to M-1 is completed for the loop index i, the process is terminated. Otherwise, i is incremented by 1, and step S104 and subsequent steps are repeated.

〔符号化時の参照フレーム生成処理フロー（その２）〕
図７は，前述した〔ＡＩＦ制御情報の例（その２）〕に対応する動画像符号化装置１０における参照フレーム生成処理部１０９の処理フローチャートである。参照フレーム生成処理部１０９は，以下に示す処理によって参照フレームの補間画像を生成する。
［ステップＳ１２１］：参照フレーム数Ｍを読み込む。
［ステップＳ１２２］：参照フレームとして用いるフレームを設定し，参照フレームインデックスｒｅｆ＿ｉｄｘ［ｉ］（ｉ＝０，１，…，Ｍ−１）を設定する。
［ステップＳ１２３］：固定ＡＩＦ係数の初期値を読み込み，係数の格納バッファに書き出す。
［ステップＳ１２４］：ループインデックスｉを，ｉ＝０，１，…，Ｍ−１として，ステップＳ１２４からＳ１３２までの処理を繰り返し行う。
［ステップＳ１２５］：参照フレームインデックスｒｅｆ＿ｉｄｘ［ｉ］が指す参照フレームに対する個別ＡＩＦ係数を算出する。この処理の詳細については，後に図９を用いて説明する。
［ステップＳ１２６］：参照フレームインデックスｒｅｆ＿ｉｄｘ［ｉ］が指す参照フレームに対して個別ＡＩＦ係数を用いた場合のＲＤコスト（符号化歪みと発生符号量の加重和）を算出する。
［ステップＳ１２７］：参照フレームインデックスｒｅｆ＿ｉｄｘ［ｉ］が指す参照フレームに対して固定ＡＩＦ係数を用いた場合のＲＤコスト（符号化歪みと発生符号量の加重和）を算出する。なお，ステップＳ１２５，Ｓ１２６と，ステップＳ１２７とは，パラレルに実行してもシリアルに実行してもどちらでもよい。
［ステップＳ１２８］：次に，個別ＡＩＦ係数を用いた場合と固定ＡＩＦ係数を用いた場合のＲＤコストを比較する。個別ＡＩＦ係数を用いた場合のＲＤコストのほうが小さい場合，ステップＳ１２９へ進み，そうでない場合，ステップＳ１３０へ進む。
［ステップＳ１２９］：個別ＡＩＦ係数を補間画像の生成に用いるＡＩＦ係数として選択し，符号化ストリーム内のＡＩＦ制御情報に対応する情報（１ビット）として，ｒ［ｉ］に“１”を格納する。その後，ステップＳ１３１へ進む。
［ステップＳ１３０］：固定ＡＩＦ係数を補間画像の生成に用いるＡＩＦ係数として選択し，符号化ストリーム内のＡＩＦ制御情報に対応する情報（１ビット）として，ｒ［ｉ］に“０”を格納する。
［ステップＳ１３１］：選択されたＡＩＦ係数を用いて，ｒｅｆ＿ｉｄｘ［ｉ］が指す参照フレームから小数画素精度に対応した動き補償フレーム間予測のための補間画像（参照フレーム）を生成する。
［ステップＳ１３２］：ループインデックスｉについて，１からＭ−１までの処理が終えたならば処理を終了する。そうでなけれは，ｉを１増やして，ステップＳ１２４以降を繰り返す。 [Reference frame generation processing flow during encoding (part 2)]
FIG. 7 is a process flowchart of the reference frame generation processing unit 109 in the moving image encoding apparatus 10 corresponding to [Example of AIF control information (part 2)] described above. The reference frame generation processing unit 109 generates an interpolated image of the reference frame by the following process.
[Step S121]: The reference frame number M is read.
[Step S122]: A frame to be used as a reference frame is set, and a reference frame index ref_idx [i] (i = 0, 1,..., M−1) is set.
[Step S123]: The initial value of the fixed AIF coefficient is read and written to the coefficient storage buffer.
[Step S124]: The loop index i is set to i = 0, 1,..., M−1, and the processes from Step S124 to S132 are repeated.
[Step S125]: An individual AIF coefficient for the reference frame indicated by the reference frame index ref_idx [i] is calculated. Details of this processing will be described later with reference to FIG.
[Step S126]: RD cost (weighted sum of coding distortion and generated code amount) is calculated when the individual AIF coefficient is used for the reference frame indicated by the reference frame index ref_idx [i].
[Step S127]: RD cost (weighted sum of coding distortion and generated code amount) is calculated when a fixed AIF coefficient is used for the reference frame indicated by the reference frame index ref_idx [i]. Note that steps S125 and S126 and step S127 may be executed in parallel or serially.
[Step S128]: Next, the RD costs when the individual AIF coefficients are used and when the fixed AIF coefficients are used are compared. If the RD cost when the individual AIF coefficient is used is smaller, the process proceeds to step S129, and if not, the process proceeds to step S130.
[Step S129]: The individual AIF coefficient is selected as the AIF coefficient used for generating the interpolated image, and “1” is stored in r [i] as information (1 bit) corresponding to the AIF control information in the encoded stream. . Thereafter, the process proceeds to step S131.
[Step S130]: A fixed AIF coefficient is selected as an AIF coefficient used for generating an interpolated image, and “0” is stored in r [i] as information (1 bit) corresponding to the AIF control information in the encoded stream. .
[Step S131]: Using the selected AIF coefficient, an interpolated image (reference frame) for motion compensation inter-frame prediction corresponding to decimal pixel accuracy is generated from the reference frame indicated by ref_idx [i].
[Step S132]: When the process from 1 to M-1 is completed for the loop index i, the process is terminated. Otherwise, i is incremented by 1, and step S124 and subsequent steps are repeated.

〔符号化時の参照フレーム生成処理フロー（その３）〕
図８は，前述した〔ＡＩＦ制御情報の例（その３）〕に対応する動画像符号化装置１０における参照フレーム生成処理部１０９の処理フローチャートである。参照フレーム生成処理部１０９は，以下に示す処理によって参照フレームの補間画像を生成する。
［ステップＳ１４１］：参照フレーム数Ｍを読み込む。
［ステップＳ１４２］：参照フレームとして用いるフレームを設定し，参照フレームインデックスｒｅｆ＿ｉｄｘ［ｉ］（ｉ＝０，１，…，Ｍ−１）を設定する。
［ステップＳ１４３］：共通ＡＩＦ係数の初期値を読み込み，共通ＡＩＦ係数の格納バッファに書き出す。
［ステップＳ１４４］：ループインデックスｉを，ｉ＝０，１，…，Ｍ−１として，ステップＳ１４４からＳ１５７までの処理を繰り返し行う。
［ステップＳ１４５］：参照フレームインデックスｒｅｆ＿ｉｄｘ［ｉ］が指す参照フレームに対する個別ＡＩＦ係数を算出する。この処理の詳細については，後に図９を用いて説明する。
［ステップＳ１４６］：参照フレームインデックスｒｅｆ＿ｉｄｘ［ｉ］が指す参照フレームに対して個別ＡＩＦ係数を用いた場合のＲＤコスト（符号化歪みと発生符号量の加重和）を算出する。
［ステップＳ１４７］：参照フレームインデックスｒｅｆ＿ｉｄｘ［ｉ］が指す参照フレームに対する共通ＡＩＦ係数として，共通ＡＩＦ係数の初期値を設定する。
［ステップＳ１４８］：参照フレームインデックスｒｅｆ＿ｉｄｘ［ｉ］が指す参照フレームに対して共通ＡＩＦ係数を用いた場合のＲＤコスト（符号化歪みと発生符号量の加重和）を算出する。
［ステップＳ１４９］：参照フレームインデックスｒｅｆ＿ｉｄｘ［ｉ］が指す参照フレームに対して固定ＡＩＦ係数を用いた場合のＲＤコスト（符号化歪みと発生符号量の加重和）を算出する。なお，ステップＳ１４５，Ｓ１４６と，ステップＳ１４７，Ｓ１４８と，ステップＳ１４９とは，パラレルに実行してもシリアルに実行してもどちらでもよい。
［ステップＳ１５０］：次に，個別ＡＩＦ係数を用いた場合のＲＤコストが最小かどうかを判定する。個別ＡＩＦ係数を用いた場合のＲＤコストが最小の場合，ステップＳ１５１へ進み，そうでない場合，ステップＳ１５２へ進む。
［ステップＳ１５１］：個別ＡＩＦ係数を補間画像の生成に用いるＡＩＦ係数として選択し，符号化ストリーム内のＡＩＦ制御情報に対応する情報（１ビット）として，ｒ［ｉ］に“１”を格納する。その後，ステップＳ１５６へ進む。
［ステップＳ１５２］：次に，共通ＡＩＦ係数を用いた場合のＲＤコストと固定ＡＩＦ係数を用いた場合のＲＤコストを比較し，共通ＡＩＦ係数を用いた場合のＲＤコストのほうが小さい場合，ステップＳ１５３へ進み，そうでない場合，ステップＳ１５５へ進む。
［ステップＳ１５３］：共通ＡＩＦ係数を補間画像の生成に用いるＡＩＦ係数として選択し，符号化ストリーム内のＡＩＦ制御情報に対応する情報（２ビット）として，ｒ［ｉ］に“０１”を格納する。
［ステップＳ１５４］：ｒ［ｉ］＝０１が設定された参照フレーム群に対して，共通ＡＩＦ係数を算出する。この処理の詳細については，後に図１０を用いて説明する。その後，ステップＳ１５６へ進む。
［ステップＳ１５５］：固定ＡＩＦ係数を補間画像の生成に用いるＡＩＦ係数として選択し，符号化ストリーム内のＡＩＦ制御情報に対応する情報（２ビット）として，ｒ［ｉ］に“００”を格納する。
［ステップＳ１５６］：選択されたＡＩＦ係数を用いて，ｒｅｆ＿ｉｄｘ［ｉ］が指す参照フレームから小数画素精度に対応した動き補償フレーム間予測のための補間画像（参照フレーム）を生成する。
［ステップＳ１５７］：ループインデックスｉについて，１からＭ−１までの処理が終えたならば処理を終了する。そうでなけれは，ｉを１増やして，ステップＳ１４４以降を繰り返す。 [Reference frame generation processing flow during encoding (part 3)]
FIG. 8 is a process flowchart of the reference frame generation processing unit 109 in the moving image encoding apparatus 10 corresponding to [Example of AIF control information (part 3)]. The reference frame generation processing unit 109 generates an interpolated image of the reference frame by the following process.
[Step S141]: The reference frame number M is read.
[Step S142]: A frame to be used as a reference frame is set, and a reference frame index ref_idx [i] (i = 0, 1,..., M−1) is set.
[Step S143]: The initial value of the common AIF coefficient is read and written to the common AIF coefficient storage buffer.
[Step S144]: The loop index i is set to i = 0, 1,..., M−1, and the processing from steps S144 to S157 is repeated.
[Step S145]: The individual AIF coefficient for the reference frame indicated by the reference frame index ref_idx [i] is calculated. Details of this processing will be described later with reference to FIG.
[Step S146]: RD cost (weighted sum of coding distortion and generated code amount) is calculated when the individual AIF coefficient is used for the reference frame indicated by the reference frame index ref_idx [i].
[Step S147]: An initial value of the common AIF coefficient is set as the common AIF coefficient for the reference frame indicated by the reference frame index ref_idx [i].
[Step S148]: RD cost (weighted sum of coding distortion and generated code amount) is calculated when the common AIF coefficient is used for the reference frame indicated by the reference frame index ref_idx [i].
[Step S149]: RD cost (weighted sum of coding distortion and generated code amount) is calculated when a fixed AIF coefficient is used for the reference frame indicated by the reference frame index ref_idx [i]. Note that steps S145 and S146, steps S147 and S148, and step S149 may be executed in parallel or serially.
[Step S150]: Next, it is determined whether or not the RD cost when the individual AIF coefficient is used is minimum. If the RD cost when the individual AIF coefficient is used is the minimum, the process proceeds to step S151. If not, the process proceeds to step S152.
[Step S151]: The individual AIF coefficient is selected as the AIF coefficient used for generating the interpolated image, and “1” is stored in r [i] as information (1 bit) corresponding to the AIF control information in the encoded stream. . Thereafter, the process proceeds to step S156.
[Step S152]: Next, the RD cost when the common AIF coefficient is used is compared with the RD cost when the fixed AIF coefficient is used, and if the RD cost when the common AIF coefficient is used is smaller, step S153 is performed. If not, the process proceeds to step S155.
[Step S153]: The common AIF coefficient is selected as an AIF coefficient used for generating an interpolated image, and “01” is stored in r [i] as information (2 bits) corresponding to the AIF control information in the encoded stream. .
[Step S154]: A common AIF coefficient is calculated for the reference frame group in which r [i] = 01 is set. Details of this processing will be described later with reference to FIG. Thereafter, the process proceeds to step S156.
[Step S155]: A fixed AIF coefficient is selected as an AIF coefficient used for generating an interpolated image, and “00” is stored in r [i] as information (2 bits) corresponding to the AIF control information in the encoded stream. .
[Step S156]: Using the selected AIF coefficient, an interpolated image (reference frame) for motion compensation inter-frame prediction corresponding to decimal pixel accuracy is generated from the reference frame indicated by ref_idx [i].
[Step S157]: When the process from 1 to M-1 is completed for the loop index i, the process is terminated. Otherwise, i is incremented by 1, and step S144 and subsequent steps are repeated.

〔個別フィルタ係数の算出処理〕
図９は，参照フレーム生成処理部１０９が実行する個別フィルタ係数の算出処理フローチャートである。参照フレーム生成処理部１０９は，予測対象フレームと参照フレームとから，以下の処理によって個別ＡＩＦ係数を算出する。
［ステップＳ１６１］：予測対象フレームと参照フレームとを読み込む。
［ステップＳ１６２］：予測対象フレームを重複のない部分領域に分割する。
［ステップＳ１６３］：個別ＡＩＦ係数を予め定められた初期値に設定する。
［ステップＳ１６４］：設定された個別ＡＩＦ係数を用いて，参照フレームに対して補間フィルタを適用し，小数画素位置の補間画素値を生成する。
［ステップＳ１６５］：生成された小数画素位置の補間画素値を含む参照フレームを用い，予測対象の各部分領域に対して動き補償フレーム間予測を行い，各部分領域に対する動きベクトルを算出する。
［ステップＳ１６６］：算出された動きベクトルを用いて参照フレームを参照する場合に，予測残差電力を最小化するフィルタ係数を算出し，個別ＡＩＦ係数として設定する。 [Individual filter coefficient calculation processing]
FIG. 9 is a flowchart of individual filter coefficient calculation processing executed by the reference frame generation processing unit 109. The reference frame generation processing unit 109 calculates an individual AIF coefficient from the prediction target frame and the reference frame by the following process.
[Step S161]: A prediction target frame and a reference frame are read.
[Step S162]: The prediction target frame is divided into non-overlapping partial regions.
[Step S163]: The individual AIF coefficient is set to a predetermined initial value.
[Step S164]: Using the set individual AIF coefficient, an interpolation filter is applied to the reference frame to generate an interpolation pixel value at the decimal pixel position.
[Step S165]: Using the generated reference frame including the interpolated pixel value at the decimal pixel position, motion compensation inter-frame prediction is performed for each partial region to be predicted, and a motion vector for each partial region is calculated.
[Step S166]: When referring to the reference frame using the calculated motion vector, a filter coefficient that minimizes the prediction residual power is calculated and set as an individual AIF coefficient.

〔共通フィルタ係数の算出処理〕
図１０は，参照フレーム生成処理部１０９が実行する共通フィルタ係数の算出処理フローチャートである。参照フレーム生成処理部１０９は，予測対象フレームと参照フレームとから，以下の処理によって共通ＡＩＦ係数を算出する。
［ステップＳ１７１］：予測対象フレームと，共通ＡＩＦ係数を使用する参照フレームとを読み込む。
［ステップＳ１７２］：予測対象フレームを重複のない部分領域に分割する。
［ステップＳ１７３］：共通ＡＩＦ係数を予め定められた初期値に設定する。
［ステップＳ１７４］：設定された共通ＡＩＦ係数を用いて，ステップＳ１７１で読み込まれた全参照フレームに対して補間フィルタを適用し，小数画素位置の補間画素値を生成する。
［ステップＳ１７５］：生成された小数画素位置の補間画素値を含む参照フレームを用い，予測対象の各部分領域に対して動き補償フレーム間予測を行い，各部分領域に対する動きベクトルを算出する。
［ステップＳ１７６］：算出された動きベクトルを用いて参照フレームを参照する場合に，予測残差電力を最小化するフィルタ係数を算出し，共通ＡＩＦ係数として設定する。 [Common filter coefficient calculation processing]
FIG. 10 is a flowchart of the common filter coefficient calculation process executed by the reference frame generation processing unit 109. The reference frame generation processing unit 109 calculates a common AIF coefficient from the prediction target frame and the reference frame by the following process.
[Step S171]: A prediction target frame and a reference frame using a common AIF coefficient are read.
[Step S172]: The prediction target frame is divided into non-overlapping partial regions.
[Step S173]: The common AIF coefficient is set to a predetermined initial value.
[Step S174]: Using the set common AIF coefficient, an interpolation filter is applied to all the reference frames read in step S171 to generate an interpolation pixel value at the decimal pixel position.
[Step S175]: Using the generated reference frame including the interpolated pixel value at the decimal pixel position, motion compensation inter-frame prediction is performed for each partial region to be predicted, and a motion vector for each partial region is calculated.
[Step S176]: When referring to a reference frame using the calculated motion vector, a filter coefficient that minimizes the prediction residual power is calculated and set as a common AIF coefficient.

〔動画像復号装置の構成例〕
図１１は，本発明の一実施形態に係る動画像復号装置の構成例を示す図である。動画像復号装置２０は，複数の復号フレームを参照し，小数画素精度に対応した動き補償フレーム間予測を用いて符号化された動画像の符号化ストリームを復号する装置である。 [Configuration example of video decoding device]
FIG. 11 is a diagram illustrating a configuration example of a video decoding device according to an embodiment of the present invention. The moving picture decoding apparatus 20 is an apparatus that refers to a plurality of decoded frames and decodes an encoded stream of a moving picture that has been encoded using motion compensation interframe prediction corresponding to decimal pixel accuracy.

動画像復号装置２０において，エントロピー復号部２０１は，入力した符号化ストリームをエントロピー復号する。逆量子化部２０２は，エントロピー復号された復号信号を逆量子化し，逆ＤＣＴ演算部２０３は，逆量子化によって得られた変換係数に逆ＤＣＴ変換を施し，予測残差信号を算出する。 In the video decoding device 20, the entropy decoding unit 201 performs entropy decoding on the input encoded stream. The inverse quantization unit 202 inversely quantizes the entropy-decoded decoded signal, and the inverse DCT operation unit 203 performs inverse DCT transform on the transform coefficient obtained by the inverse quantization to calculate a prediction residual signal.

一方，フレームバッファ選択処理部２０４は，符号化ストリームを復号することによって得られた参照フレームインデックスｒｅｆ＿ｉｄｘ［ｉ］を入力し，参照フレームインデックスｒｅｆ＿ｉｄｘ［ｉ］によって指定されたフレームバッファ２０５中の復号済みフレームを選択する。 On the other hand, the frame buffer selection processing unit 204 receives the reference frame index ref_idx [i] obtained by decoding the encoded stream, and has decoded the frame buffer 205 specified by the reference frame index ref_idx [i]. Select a frame.

参照フレーム生成処理部２０６は，符号化ストリームを復号することによって得られた参照フレームインデックスｒｅｆ＿ｉｄｘ［ｉ］に対応するＡＩＦ制御情報ｒ［ｉ］に従って，予め固定ＡＩＦ係数記憶部２０７に記憶されている固定ＡＩＦ係数，または符号化ストリームを復号することによって得られた個別ＡＩＦ係数記憶部２０８に記憶されている個別ＡＩＦ係数，または共通ＡＩＦ係数記憶部２０９に記憶されている共通ＡＩＦ係数によって規定される補間フィルタを，フレームバッファ２０５から読み出した復号済みフレームに適用して小数画素精度に対応した参照フレームを生成し，生成した参照フレームを参照フレームバッファ２１０に書き出す。 The reference frame generation processing unit 206 is stored in advance in the fixed AIF coefficient storage unit 207 according to the AIF control information r [i] corresponding to the reference frame index ref_idx [i] obtained by decoding the encoded stream. Defined by fixed AIF coefficients, or individual AIF coefficients stored in the individual AIF coefficient storage unit 208 obtained by decoding the encoded stream, or common AIF coefficients stored in the common AIF coefficient storage unit 209 The interpolation filter is applied to the decoded frame read from the frame buffer 205 to generate a reference frame corresponding to decimal pixel accuracy, and the generated reference frame is written to the reference frame buffer 210.

復号信号生成部２１１は，符号化ストリームを復号して得られた動きベクトル情報に従って参照フレームバッファ２１０から読み出した参照フレームの予測信号と，逆ＤＣＴ演算部２０３の出力である予測残差信号とを加算して復号信号を生成し，復号画像として出力する。この復号信号は，後続するフレームの復号のためにフレームバッファ選択処理部２０４を介してフレームバッファ２０５に格納する。 The decoded signal generation unit 211 obtains the prediction signal of the reference frame read from the reference frame buffer 210 according to the motion vector information obtained by decoding the encoded stream, and the prediction residual signal that is the output of the inverse DCT calculation unit 203. Addition generates a decoded signal and outputs it as a decoded image. This decoded signal is stored in the frame buffer 205 via the frame buffer selection processing unit 204 for decoding subsequent frames.

図１１に示す参照フレーム生成処理部２０６の詳細な処理フローを，ＡＩＦ制御情報のタイプに応じて，図１２〜図１４に従って説明する。 A detailed processing flow of the reference frame generation processing unit 206 shown in FIG. 11 will be described according to FIGS. 12 to 14 according to the type of AIF control information.

〔復号時の参照フレーム生成処理フロー（その１）〕
図１２は，前述した〔ＡＩＦ制御情報の例（その１）〕に対応する動画像復号装置２０における参照フレーム生成処理部２０６の処理フローチャートである。参照フレーム生成処理部２０６は，以下に示す処理によって参照フレームの補間画像を生成する。
［ステップＳ２１０］：符号化ストリームを入力として，復号処理を行い，参照フレーム数Ｍを書き出す。
［ステップＳ２１１］：符号化ストリームを入力として，復号処理を行い，参照フレームインデックスｒｅｆ＿ｉｄｘ［ｉ］（ｉ＝０，１，…，Ｍ−１）を書き出す。
［ステップＳ２１２］：ループインデックスｉを，ｉ＝０，１，…，Ｍ−１として，ステップＳ２１２からＳ２１２０までの処理を繰り返し行う。
［ステップＳ２１３］：符号化ストリームを入力として，符号化ストリーム内のＡＩＦ制御情報に対応する箇所（１ビットの情報）を抽出し，ｒ［ｉ］に格納する。
［ステップＳ２１４］：ｒ［ｉ］＝１か否かを判定する。ｒ［ｉ］＝１の場合，ステップＳ２１５へ進み，ｒ［ｉ］＝０の場合，ステップＳ２１６へ進む。
［ステップＳ２１５］：ｒｅｆ＿ｉｄｘ［ｉ］，符号化ストリームを入力として，符号化ストリーム内の個別ＡＩＦ係数に対応する箇所を復号し，ｒｅｆ＿ｉｄｘ［ｉ］が指す参照フレームに対するＡＩＦ係数として格納する。その後，ステップＳ２１９へ進む。
［ステップＳ２１６］：共通ＡＩＦ係数の格納バッファが空かどうか判定し，空であれば，ステップＳ２１７を実行し，空でなければ，ステップＳ２１７をスキップする。
［ステップＳ２１７］：符号化ストリームを入力として，符号化ストリーム内のＡＩＦ係数に対応する箇所を復号し，共通ＡＩＦ係数の格納バッファへ書き出す。
［ステップＳ２１８］：ｒｅｆ＿ｉｄｘ［ｉ］，共通ＡＩＦ係数の格納バッファ内のＡＩＦ係数を読み出し，ｒｅｆ＿ｉｄｘ［ｉ］が指す参照フレームに対するＡＩＦ係数として格納する。
［ステップＳ２１９］：ｒｅｆ＿ｉｄｘ［ｉ］が指す参照フレームに対するＡＩＦ係数，ｒｅｆ＿ｉｄｘ［ｉ］が指す参照フレームに対する復号画像を入力として，同信号に対する補間画像を生成し，格納する。
［ステップＳ２１２０］：ループインデックスｉについて，１からＭ−１までの処理が終えたならば処理を終了する。そうでなけれは，ｉを１増やして，ステップＳ２１２以降を繰り返す。 [Reference Frame Generation Processing Flow at Decoding (Part 1)]
FIG. 12 is a process flowchart of the reference frame generation processing unit 206 in the video decoding device 20 corresponding to [Example of AIF control information (part 1)] described above. The reference frame generation processing unit 206 generates an interpolated image of the reference frame by the following process.
[Step S210]: The encoded stream is input, decoding is performed, and the reference frame number M is written.
[Step S211]: The encoded stream is input, decoding is performed, and a reference frame index ref_idx [i] (i = 0, 1,..., M−1) is written.
[Step S212]: The loop index i is set to i = 0, 1,..., M−1, and the processes from Step S212 to S2120 are repeated.
[Step S213]: Using the encoded stream as an input, a portion (1-bit information) corresponding to the AIF control information in the encoded stream is extracted and stored in r [i].
[Step S214]: It is determined whether r [i] = 1. If r [i] = 1, the process proceeds to step S215. If r [i] = 0, the process proceeds to step S216.
[Step S215]: ref_idx [i], the encoded stream is input, a portion corresponding to the individual AIF coefficient in the encoded stream is decoded, and stored as an AIF coefficient for the reference frame indicated by ref_idx [i]. Thereafter, the process proceeds to step S219.
[Step S216]: It is determined whether or not the common AIF coefficient storage buffer is empty. If it is empty, step S217 is executed. If it is not empty, step S217 is skipped.
[Step S217]: Using the encoded stream as an input, a portion corresponding to the AIF coefficient in the encoded stream is decoded and written to the common AIF coefficient storage buffer.
[Step S218]: ref_idx [i], the AIF coefficient in the common AIF coefficient storage buffer is read and stored as the AIF coefficient for the reference frame pointed to by ref_idx [i].
[Step S219]: An AIF coefficient for the reference frame pointed to by ref_idx [i] and a decoded image for the reference frame pointed to by ref_idx [i] are input, and an interpolated image for the signal is generated and stored.
[Step S2120]: When the process from 1 to M-1 is completed for the loop index i, the process ends. Otherwise, i is incremented by 1, and step S212 and subsequent steps are repeated.

〔復号時の参照フレーム生成処理フロー（その２）〕
図１３は，前述した〔ＡＩＦ制御情報の例（その２）〕に対応する参照フレーム生成処理部の処理フローチャートである。
［ステップＳ２２０］：符号化ストリームを入力として，復号処理を行い，参照フレーム数Ｍを書き出す。
［ステップＳ２２１］：符号化ストリームを入力として，復号処理を行い，参照フレームインデックスｒｅｆ＿ｉｄｘ［ｉ］を書き出す。
［ステップＳ２２２］：ループインデックスｉを，ｉ＝０，１，…，Ｍ−１として，ステップＳ２２２からＳ２２２０までの処理を繰り返し行う。
［ステップＳ２２３］：符号化ストリームを入力として，符号化ストリーム内のＡＩＦ制御情報に対応する箇所（１ビットの情報）を抽出し，ｒ［ｉ］に格納する。
［ステップＳ２２４］：ｒ［ｉ］＝１か否かを判定する。ｒ［ｉ］＝１の場合，ステップＳ２２５へ進み，ｒ［ｉ］＝０の場合，ステップＳ２２６へ進む。
［ステップＳ２２５］：ｒｅｆ＿ｉｄｘ［ｉ］，符号化ストリームを入力として，符号化ストリーム内の個別ＡＩＦ係数に対応する箇所を復号し，ｒｅｆ＿ｉｄｘ［ｉ］が指す参照フレームに対するＡＩＦ係数として格納する。その後，ステップＳ２２７へ進む。
［ステップＳ２２６］：固定ＡＩＦ係数の格納バッファ内の係数を読み出し，ｒｅｆ＿ｉｄｘ［ｉ］が指す参照フレームに対するＡＩＦ係数として格納する。
［ステップＳ２２７］：ｒｅｆ＿ｉｄｘ［ｉ］が指す参照フレームに対するＡＩＦ係数，ｒｅｆ＿ｉｄｘ［ｉ］が指す参照フレームに対する復号画像を入力として，同信号に対する補間画像を生成し，格納する。
［ステップＳ２２２０］：ループインデックスｉについて，１からＭ−１までの処理が終えたならば処理を終了する。そうでなけれは，ｉを１増やして，ステップＳ２２２以降を繰り返す。 [Reference Frame Generation Processing Flow at Decoding (Part 2)]
FIG. 13 is a process flowchart of the reference frame generation processing unit corresponding to [Example of AIF control information (part 2)] described above.
[Step S220]: The encoded stream is input, decoding is performed, and the reference frame number M is written.
[Step S221]: The encoded stream is input, a decoding process is performed, and a reference frame index ref_idx [i] is written.
[Step S222]: The loop index i is set to i = 0, 1,..., M−1, and the processing from steps S222 to S2220 is repeated.
[Step S223]: Using the encoded stream as an input, a portion (1-bit information) corresponding to the AIF control information in the encoded stream is extracted and stored in r [i].
[Step S224]: It is determined whether r [i] = 1. When r [i] = 1, the process proceeds to step S225. When r [i] = 0, the process proceeds to step S226.
[Step S225]: ref_idx [i], the encoded stream is input, a portion corresponding to the individual AIF coefficient in the encoded stream is decoded, and stored as an AIF coefficient for the reference frame indicated by ref_idx [i]. Thereafter, the process proceeds to step S227.
[Step S226]: The coefficient in the fixed AIF coefficient storage buffer is read and stored as the AIF coefficient for the reference frame indicated by ref_idx [i].
[Step S227]: Using the AIF coefficient for the reference frame pointed to by ref_idx [i] and the decoded image for the reference frame pointed to by ref_idx [i] as input, an interpolated image for the signal is generated and stored.
[Step S2220]: When the process from 1 to M-1 is completed for the loop index i, the process is terminated. Otherwise, i is incremented by 1, and step S222 and subsequent steps are repeated.

〔復号時の参照フレーム生成処理フロー（その３）〕
図１４は，前述した〔ＡＩＦ制御情報の例（その３）〕に対応する参照フレーム生成処理部の処理フローチャートである。
［ステップＳ２３０］：符号化ストリームを入力として，復号処理を行い，参照フレーム数Ｍを書き出す。
［ステップＳ２３１］：符号化ストリームを入力として，復号処理を行い，参照フレームインデックスｒｅｆ＿ｉｄｘ［ｉ］を書き出す。
［ステップＳ２３２］：ループインデックスｉを，ｉ＝０，１，…，Ｍ−１として，ステップＳ２３２からＳ２３２０までの処理を繰り返し行う。
［ステップＳ２３３］：符号化ストリームを入力として，符号化ストリーム内のＡＩＦ制御情報に対応する箇所を抽出し，ｒ［ｉ］に格納する。当該箇所の先頭ビットが“１”の場合には，そのビットをｒ［ｉ］に格納し，そうでなければ，後続の１ビットを加えた２ビットをｒ［ｉ］に格納する。
［ステップＳ２３４］：ｒ［ｉ］＝１か否かを判定する。ｒ［ｉ］＝１の場合，ステップＳ２３５へ進み，そうでなければ，ステップＳ２３６へ進む。
［ステップＳ２３５］：ｒｅｆ＿ｉｄｘ［ｉ］，符号化ストリームを入力として，符号化ストリーム内の個別ＡＩＦ係数に対応する箇所を復号し，ｒｅｆ＿ｉｄｘ［ｉ］が指す参照フレームに対するＡＩＦ係数として格納する。その後，ステップＳ２４１へ進む。
［ステップＳ２３６］：ｒ［ｉ］＝０１か否かを判定する。ｒ［ｉ］＝０１の場合，ステップＳ２３７へ進み，ｒ［ｉ］＝００の場合，ステップＳ２４０へ進む。
［ステップＳ２３７］：共通ＡＩＦ係数の格納バッファが空かどうか判定し，空であれば，ステップＳ２３８を実行し，空でなければ，ステップＳ２３８をスキップする。
［ステップＳ２３８］：符号化ストリームを入力として，符号化ストリーム内の共通ＡＩＦ係数に対応する箇所を復号し，共通ＡＩＦ係数の格納バッファへ書き出す。
［ステップＳ２３９］：ｒｅｆ＿ｉｄｘ［ｉ］，共通ＡＩＦ係数の格納バッファ内のＡＩＦ係数を読み出し，ｒｅｆ＿ｉｄｘ［ｉ］が指す参照フレームに対するＡＩＦ係数として格納する。その後，ステップＳ２４１へ進む。
［ステップＳ２４０］：ｒｅｆ＿ｉｄｘ［ｉ］，固定ＡＩＦ係数の格納バッファ内のＡＩＦ係数を読み出し，ｒｅｆ＿ｉｄｘ［ｉ］が指す参照フレームに対するＡＩＦ係数として格納する。
［ステップＳ２４１］：ｒｅｆ＿ｉｄｘ［ｉ］が指す参照フレームに対するＡＩＦ係数，ｒｅｆ＿ｉｄｘ［ｉ］が指す参照フレームに対する復号画像を入力として，同信号に対する補間画像を生成し，格納する。
［ステップＳ２３２０］：ループインデックスｉについて，１からＭ−１までの処理が終えたならば処理を終了する。そうでなけれは，ｉを１増やして，ステップＳ２３２以降を繰り返す。 [Reference Frame Generation Processing Flow at Decoding (Part 3)]
FIG. 14 is a process flowchart of the reference frame generation processing unit corresponding to [Example of AIF control information (part 3)].
[Step S230]: The encoded stream is input, a decoding process is performed, and the reference frame number M is written.
[Step S231]: The encoded stream is input, a decoding process is performed, and a reference frame index ref_idx [i] is written.
[Step S232]: The loop index i is set to i = 0, 1,..., M−1, and the processes from Step S232 to S2320 are repeated.
[Step S233]: Using the encoded stream as an input, a portion corresponding to the AIF control information in the encoded stream is extracted and stored in r [i]. If the first bit of the location is “1”, the bit is stored in r [i]. Otherwise, 2 bits including the subsequent 1 bit are stored in r [i].
[Step S234]: It is determined whether r [i] = 1. If r [i] = 1, the process proceeds to step S235; otherwise, the process proceeds to step S236.
[Step S235]: ref_idx [i], with the encoded stream as an input, a portion corresponding to the individual AIF coefficient in the encoded stream is decoded and stored as an AIF coefficient for the reference frame indicated by ref_idx [i]. Thereafter, the process proceeds to step S241.
[Step S236]: It is determined whether r [i] = 01. When r [i] = 01, the process proceeds to step S237, and when r [i] = 00, the process proceeds to step S240.
[Step S237]: It is determined whether or not the common AIF coefficient storage buffer is empty. If it is empty, step S238 is executed. If not, step S238 is skipped.
[Step S238]: Using the encoded stream as an input, the portion corresponding to the common AIF coefficient in the encoded stream is decoded and written to the common AIF coefficient storage buffer.
[Step S239]: ref_idx [i], the AIF coefficient in the common AIF coefficient storage buffer is read and stored as the AIF coefficient for the reference frame pointed to by ref_idx [i]. Thereafter, the process proceeds to step S241.
[Step S240]: ref_idx [i], the AIF coefficient in the fixed AIF coefficient storage buffer is read and stored as the AIF coefficient for the reference frame pointed to by ref_idx [i].
[Step S241]: An AIF coefficient for the reference frame pointed to by ref_idx [i] and a decoded image for the reference frame pointed to by ref_idx [i] are input, and an interpolated image for the signal is generated and stored.
[Step S2320]: When the processing from 1 to M-1 is completed for the loop index i, the processing is terminated. Otherwise, i is incremented by 1, and step S232 and subsequent steps are repeated.

以上の動画像符号化，復号の処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。 The above moving image encoding and decoding processes can be realized by a computer and a software program, and the program can be recorded on a computer-readable recording medium or provided through a network.

１０動画像符号化装置
１０１予測残差信号算出部
１０２変換・量子化処理部
１０３エントロピー符号化処理部
１０４逆変換・逆量子化処理部
１０５復号信号算出部
１０６デブロッキングフィルタ処理部
１０７参照フレームバッファ
１０８フレームバッファ選択処理部
１０９参照フレーム生成処理部
１１０固定ＡＩＦ記憶部
１１１個別ＡＩＦ係数算出処理部
１１２共有ＡＩＦ係数算出処理部
１１３フレーム間予測信号生成部
２０動画像復号装置
２０１エントロピー復号部
２０２逆量子化部
２０３逆ＤＣＴ演算部
２０４フレームバッファ選択処理部
２０５フレームバッファ
２０６参照フレーム生成処理部
２０７固定ＡＩＦ係数記憶部
２０８個別ＡＩＦ係数記憶部
２０９共通ＡＩＦ係数記憶部
２１０参照フレームバッファ
２１１復号信号生成部 DESCRIPTION OF SYMBOLS 10 Moving image encoder 101 Prediction residual signal calculation part 102 Transformation / quantization processing part 103 Entropy encoding processing part 104 Inverse transformation / inverse quantization process part 105 Decoded signal calculation part 106 Deblocking filter processing part 107 Reference frame buffer 108 Frame Buffer Selection Processing Unit 109 Reference Frame Generation Processing Unit 110 Fixed AIF Storage Unit 111 Individual AIF Coefficient Calculation Processing Unit 112 Shared AIF Coefficient Calculation Processing Unit 113 Interframe Prediction Signal Generation Unit 20 Video Decoding Device 201 Entropy Decoding Unit 202 Inverse Quantum Conversion unit 203 inverse DCT operation unit 204 frame buffer selection processing unit 205 frame buffer 206 reference frame generation processing unit 207 fixed AIF coefficient storage unit 208 individual AIF coefficient storage unit 209 common AIF coefficient storage unit 210 reference frame Buffer 211 Decoded signal generator

Claims

複数の復号フレームを参照し，小数画素精度に対応した動き補償フレーム間予測を用いて動画像を符号化する動画像符号化方法において，
前記動き補償フレーム間予測に用いる参照フレームに応じて小数画素位置の画素値を生成するために用いる補間フィルタの係数を適応的に設定する過程と，
前記補間フィルタの係数が，少なくとも個々の参照フレームに対して個別に設定された係数であるか否かを示すフィルタ制御情報を，前記各参照フレームごとに付加情報として符号化ストリーム中に加える過程と，
前記適応的に設定された係数を有する補間フィルタを用いて参照フレームの小数画素精度補間画像を生成し，小数画素精度に対応した動き補償フレーム間予測により符号化対象画像を符号化し，符号化ストリームを出力する過程とを有する
ことを特徴とする動画像符号化方法。 In a moving image encoding method for referring to a plurality of decoded frames and encoding a moving image using motion compensated interframe prediction corresponding to decimal pixel accuracy,
Adaptively setting a coefficient of an interpolation filter used for generating a pixel value of a decimal pixel position according to a reference frame used for the motion compensation inter-frame prediction;
Adding filter control information indicating whether or not the coefficient of the interpolation filter is a coefficient individually set for at least each reference frame into the encoded stream as additional information for each reference frame; ,
An encoded stream is generated by generating a sub-pixel accuracy interpolated image of a reference frame using an interpolation filter having an adaptively set coefficient, encoding an encoding target image by motion compensation inter-frame prediction corresponding to the sub-pixel accuracy. And a process of outputting the video.

請求項１記載の動画像符号化方法において，
前記フィルタ制御情報は，参照フレームがＭ枚（Ｍ≧２）存在する場合に，第ｉ番目（ｉ＝０，１，…，Ｍ−１）の参照フレームに対する補間フィルタの係数が，
当該参照フレームに対して個別に設定された係数であるか，複数の参照フレームに対して共通に設定された係数であるかを示す情報，
または，当該参照フレームに対して個別に設定された係数であるか，予め定められた固定の係数であるかを示す情報，
または，当該参照フレームに対して個別に設定された係数であるか，複数の参照フレームに対して共通に設定された係数であるか，予め定められた固定の係数であるかを示す情報の，いずれかの情報である
ことを特徴とする動画像符号化方法。 The moving image encoding method according to claim 1,
In the filter control information, when there are M reference frames (M ≧ 2), the coefficient of the interpolation filter for the i-th (i = 0, 1,..., M−1) reference frame is
Information indicating whether the coefficient is individually set for the reference frame or commonly set for a plurality of reference frames;
Or information indicating whether the coefficient is individually set for the reference frame or a predetermined fixed coefficient,
Or a coefficient that is individually set for the reference frame, a coefficient that is commonly set for a plurality of reference frames, or a predetermined fixed coefficient, A moving picture encoding method, characterized by being either piece of information.

請求項１または請求項２記載の動画像符号化方法において，
前記補間フィルタの係数の設定単位は，符号化対象フレームまたは符号化対象フレームを分割した部分領域であるスライスであり，
前記補間フィルタの係数を適応的に設定する過程では，符号量・歪みコストを最小化する補間フィルタの係数を定めるフィルタ制御情報を設定する
ことを特徴とする動画像符号化方法。 In the moving image encoding method according to claim 1 or 2,
The setting unit of the coefficient of the interpolation filter is a slice that is an encoding target frame or a partial region obtained by dividing the encoding target frame,
In the process of adaptively setting the coefficient of the interpolation filter, filter control information for determining the coefficient of the interpolation filter that minimizes the code amount / distortion cost is set.

複数の復号フレームを参照し，小数画素精度に対応した動き補償フレーム間予測を用いて動画像を符号化する動画像符号化装置において，
前記動き補償フレーム間予測に用いる参照フレームに応じて小数画素位置の画素値を生成するために用いる補間フィルタの係数を適応的に設定する手段と，
前記補間フィルタの係数が，少なくとも個々の参照フレームに対して個別に設定された係数であるか否かを示すフィルタ制御情報を，前記各参照フレームごとに付加情報として符号化ストリーム中に加える手段と，
前記適応的に設定された係数を有する補間フィルタを用いて参照フレームの小数画素精度補間画像を生成し，小数画素精度に対応した動き補償フレーム間予測により符号化対象画像を符号化し，符号化ストリームを出力する手段とを備える
ことを特徴とする動画像符号化装置。 In a video encoding apparatus that references a plurality of decoded frames and encodes a video using motion compensated interframe prediction corresponding to decimal pixel accuracy,
Means for adaptively setting a coefficient of an interpolation filter used for generating a pixel value at a decimal pixel position according to a reference frame used for the motion compensation inter-frame prediction;
Means for adding filter control information indicating whether or not the coefficient of the interpolation filter is a coefficient set individually for at least each reference frame into the encoded stream as additional information for each reference frame; ,
An encoded stream is generated by generating a sub-pixel accuracy interpolated image of a reference frame using an interpolation filter having an adaptively set coefficient, encoding an encoding target image by motion compensation inter-frame prediction corresponding to the sub-pixel accuracy. A moving image encoding apparatus.

複数の復号フレームを参照し，小数画素精度に対応した動き補償フレーム間予測を用いて符号化された動画像の符号化ストリームを復号する動画像復号方法において，
動き補償フレーム間予測に用いる参照フレームに応じて小数画素位置の画素値を生成するために用いる補間フィルタの係数が，少なくとも個々の参照フレームに対して個別に設定された係数であるか否かを示すフィルタ制御情報を，符号化ストリームから抽出する過程と，
前記抽出したフィルタ制御情報に基づき，参照フレームに応じて小数画素位置の画素値生成に用いる補間フィルタの係数を適応的に設定する過程と，
前記適応的に設定された係数を有する補間フィルタを用いて参照フレームの小数画素精度補間画像を生成し，小数画素精度に対応した動き補償フレーム間予測により，符号化ストリーム中の復号対象画像を復号する過程とを有する
ことを特徴とする動画像復号方法。 In a moving picture decoding method for decoding a coded stream of a moving picture that is encoded using motion compensated interframe prediction corresponding to decimal pixel accuracy with reference to a plurality of decoded frames,
Whether or not the coefficient of the interpolation filter used for generating the pixel value at the decimal pixel position according to the reference frame used for the motion compensation inter-frame prediction is a coefficient set individually for at least each reference frame. Extracting the indicated filter control information from the encoded stream;
A process of adaptively setting a coefficient of an interpolation filter used for generating a pixel value at a decimal pixel position according to a reference frame based on the extracted filter control information;
The interpolation filter having the adaptively set coefficient is used to generate a decimal pixel accuracy interpolated image of the reference frame, and the decoding target image in the encoded stream is decoded by motion compensation interframe prediction corresponding to the decimal pixel accuracy. A moving picture decoding method.

請求項５記載の動画像復号方法において，
前記フィルタ制御情報は，参照フレームがＭ枚（Ｍ≧２）存在する場合に，第ｉ番目（ｉ＝０，１，…，Ｍ−１）の参照フレームに対する補間フィルタの係数が，
当該参照フレームに対して個別に設定された係数であるか，複数の参照フレームに対して共通に設定された係数であるかを示す情報，
または，当該参照フレームに対して個別に設定された係数であるか，予め定められた固定の係数であるかを示す情報，
または，当該参照フレームに対して個別に設定された係数であるか，複数の参照フレームに対して共通に設定された係数であるか，予め定められた固定の係数であるかを示す情報の，いずれかの情報である
ことを特徴とする動画像復号方法。 The moving picture decoding method according to claim 5,
In the filter control information, when there are M reference frames (M ≧ 2), the coefficient of the interpolation filter for the i-th (i = 0, 1,..., M−1) reference frame is
Information indicating whether the coefficient is individually set for the reference frame or commonly set for a plurality of reference frames;
Or information indicating whether the coefficient is individually set for the reference frame or a predetermined fixed coefficient,
Or a coefficient that is individually set for the reference frame, a coefficient that is commonly set for a plurality of reference frames, or a predetermined fixed coefficient, A moving picture decoding method characterized in that the information is any one of the information.

請求項５または請求項６記載の動画像復号方法において，
前記補間フィルタの係数の設定単位は，復号対象フレームまたは復号対象フレームを分割した部分領域であるスライスである
ことを特徴とする動画像復号方法。 In the moving image decoding method according to claim 5 or 6,
The moving picture decoding method, wherein the coefficient setting unit of the interpolation filter is a decoding target frame or a slice that is a partial area obtained by dividing the decoding target frame.

複数の復号フレームを参照し，小数画素精度に対応した動き補償フレーム間予測を用いて符号化された動画像の符号化ストリームを復号する動画像復号装置において，
動き補償フレーム間予測に用いる参照フレームに応じて小数画素位置の画素値を生成するために用いる補間フィルタの係数が，少なくとも個々の参照フレームに対して個別に設定された係数であるか否かを示すフィルタ制御情報を，符号化ストリームから抽出する手段と，
前記抽出したフィルタ制御情報に基づき，参照フレームに応じて小数画素位置の画素値生成に用いる補間フィルタの係数を適応的に設定する手段と，
前記適応的に設定された係数を有する補間フィルタを用いて参照フレームの小数画素精度補間画像を生成し，小数画素精度に対応した動き補償フレーム間予測により，符号化ストリーム中の復号対象画像を復号する手段とを備える
ことを特徴とする動画像復号装置。 In a moving picture decoding apparatus that refers to a plurality of decoded frames and decodes an encoded stream of a moving picture that has been encoded using motion compensated inter-frame prediction corresponding to decimal pixel accuracy,
Whether or not the coefficient of the interpolation filter used for generating the pixel value at the decimal pixel position according to the reference frame used for the motion compensation inter-frame prediction is a coefficient set individually for at least each reference frame. Means for extracting the indicated filter control information from the encoded stream;
Means for adaptively setting a coefficient of an interpolation filter used for generating a pixel value at a decimal pixel position according to a reference frame based on the extracted filter control information;
The interpolation filter having the adaptively set coefficient is used to generate a decimal pixel accuracy interpolated image of the reference frame, and the decoding target image in the encoded stream is decoded by motion compensation interframe prediction corresponding to the decimal pixel accuracy. A moving picture decoding apparatus.

請求項１，請求項２または請求項３記載の動画像符号化方法を，コンピュータに実行させるための動画像符号化プログラム。 A moving picture coding program for causing a computer to execute the moving picture coding method according to claim 1, claim 2 or claim 3.

請求項５，請求項６または請求項７記載の動画像復号方法を，コンピュータに実行させるための動画像復号プログラム。 A moving picture decoding program for causing a computer to execute the moving picture decoding method according to claim 5, 6 or 7.