JP2011223261A - Moving image prediction encoder, moving image prediction encoding method, moving image prediction encoding program, moving picture prediction decoder, moving picture prediction decoding method and moving picture prediction decoding program - Google Patents

Moving image prediction encoder, moving image prediction encoding method, moving image prediction encoding program, moving picture prediction decoder, moving picture prediction decoding method and moving picture prediction decoding program Download PDF

Info

Publication number
JP2011223261A
JP2011223261A JP2010089624A JP2010089624A JP2011223261A JP 2011223261 A JP2011223261 A JP 2011223261A JP 2010089624 A JP2010089624 A JP 2010089624A JP 2010089624 A JP2010089624 A JP 2010089624A JP 2011223261 A JP2011223261 A JP 2011223261A
Authority
JP
Japan
Prior art keywords
image
rounding method
prediction
encoding
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010089624A
Other languages
Japanese (ja)
Other versions
JP5390458B2 (en
Inventor
Akira Fujibayashi
暁 藤林
Chunsen Bun
チュンセン ブン
Frank Jan Bossen
フランク、ジャン、ボッセン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2010089624A priority Critical patent/JP5390458B2/en
Publication of JP2011223261A publication Critical patent/JP2011223261A/en
Application granted granted Critical
Publication of JP5390458B2 publication Critical patent/JP5390458B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

PROBLEM TO BE SOLVED: To achieve improvements in subjective performance, image prediction efficiency in utilization of reproduced images as reference images, and reproduced image quality, by preventing generation of accumulated rounding errors.SOLUTION: A moving image prediction encoder comprises: input means that is configured to input a plurality of images constituting a moving image; coding means that codes the input images by either one of intra-prediction using motion compensation and inter-prediction to generate compressed image data; decoding means that decodes the compressed image data to decompress reproduced image; image storing means that stores the decoded reproduced image as a reference image utilized for coding subsequent images; and means that determines a rounding method for determining a rounding method of sample values generated by required pixel interpolation for predicting fraction precision when the image is encoded using the intra-prediction. The means that determines the rounding method determines a rounding method to be implemented at a sample position depending on the sample position where a reference image is interpolated.

Description

本発明は、動画像予測符号化装置、方法、及びプログラム、並びに、動画像予測復号装置、方法、及びプログラムに関する発明である。   The present invention relates to a moving picture predictive coding apparatus, method, and program, and a moving picture predictive decoding apparatus, method, and program.

動画像データの伝送や蓄積を効率よく行うために、圧縮符号化技術が用いられる。動画像の場合ではMPEG1〜4やH.261〜H.264の方式が広く用いられている。   In order to efficiently transmit and store moving image data, a compression encoding technique is used. In the case of moving images, MPEG1-4 and H.264 are used. 261-H. H.264 is widely used.

これらの符号化方式では、符号化の対象となる画像を複数のブロックに分割し、各ブロックに対し符号化・復号処理を行う。符号化効率を高めるため下記のような予測符号化方法が用いられる。画面間の予測符号化では、対象ブロックと異なる画面内にある既再生の画像信号を参照して信号の変位を検索し、その変位分を補償して予測信号を生成し、予測信号を対象ブロックの信号から引き算して得られた差分信号を符号化する。最近の技術では、信号の変位の精度が高められた動きの検索が用いられる。動きの検索・補償を行うために参照される既再生の画像を、参照画像という。   In these encoding methods, an image to be encoded is divided into a plurality of blocks, and encoding / decoding processing is performed on each block. In order to increase the encoding efficiency, the following predictive encoding method is used. In predictive coding between screens, the displacement of a signal is searched with reference to a previously reproduced image signal in a screen different from the target block, a predicted signal is generated by compensating for the displacement, and the predicted signal is converted to the target block. The difference signal obtained by subtracting from the signal is encoded. Recent techniques use motion search with increased accuracy of signal displacement. An already reproduced image that is referred to for motion search / compensation is referred to as a reference image.

また、双方向画面間予測では、表示時間順において対象画像の前に表示される過去の画像だけではなくて、対象画像の後に表示される未来の画像もあわせて参照する場合がある(ただし、未来の画像は対象画像より先に符号化し、予め再生しておく必要がある)。過去の画像から取得された予測信号と未来の画像から取得された予測信号の両方を平均化することによって、隠されていて新たに現れる物体の信号の予測に有効であると同時に、両方の予測信号に含まれている雑音を軽減する効果がある。   In addition, in the inter-screen prediction, not only the past image displayed before the target image in the display time order but also a future image displayed after the target image may be referred to together (however, Future images need to be encoded and reproduced in advance before the target image). By averaging both the prediction signal obtained from the past image and the prediction signal obtained from the future image, it is effective for the prediction of the signal of the hidden and newly appearing object, and at the same time both predictions This has the effect of reducing noise contained in the signal.

さらに、H.264の画面間予測符号化では、対象ブロックに対する予測信号は、過去に符号化して再生された複数の参照画像を参照し、動き検索しながら誤差の最も少ない画像信号を最適な予測信号として選択する。そして、対象ブロックの画素信号とこの最適な予測信号との差分を求め、差分に対し離散コサイン変換を施し量子化した上でエントロピー符号化する。同時に、対象ブロックに対する最適な予測信号をどの参照画像から取得するかに関する情報(参照インデックス)及び最適な予測信号を参照画像内のどの領域から取得するかに関する情報(動きベクトル)も併せて符号化する。H.264では、再生された4ないし5枚の画像が参照画像としてフレームメモリに格納される。なお、本明細書ではフレームメモリには、いわゆる再生画像バッファ(decoded picture buffer)を含むものとする。   Further, H.C. In the H.264 inter-frame prediction encoding, the prediction signal for the target block refers to a plurality of reference images encoded and reproduced in the past, and an image signal with the least error is selected as an optimal prediction signal while performing motion search. . Then, a difference between the pixel signal of the target block and the optimal prediction signal is obtained, and the difference is subjected to discrete cosine transform and quantized, and then entropy-coded. At the same time, information relating to which reference image the optimum prediction signal for the target block is acquired from (reference index) and information relating to which region in the reference image the optimum prediction signal is obtained (motion vector) are also encoded. To do. H. In H.264, 4 to 5 reproduced images are stored in the frame memory as reference images. In this specification, the frame memory includes a so-called decoded picture buffer.

ここでH.264やMPEG4で採用されている動き補償方式として、1/2画素精度、1/4画素精度などの分数精度の動き補償が可能なブロックマッチング方式が採用されている。この方式を数式により表現すると以下のように表現される。符号化対象となる画像フレーム(対象フレーム)の予測画像Pの座標(x,y)における画素値(輝度値または色差値)をP(x,y)、参照画像Rの座標(x,y)における画素値をR(x,y)と定義する。ここでx、yは整数であるとして、PとRでは座標値が整数である点に画素が存在すると仮定する。この時、PとRの関係は、

Figure 2011223261

として表現される。ただし、画像はN個のブロックに分割されているとして、Biは画像のi番目のブロックに含まれる画素を意味し、(mvx,mvy)はi番目のブロックの動きベクトルを意味する。 Here H. As a motion compensation method employed in H.264 and MPEG4, a block matching method capable of fractional motion compensation such as ½ pixel accuracy and ¼ pixel accuracy is employed. When this method is expressed by a mathematical expression, it is expressed as follows. The pixel value (luminance value or color difference value) in the coordinate (x, y) of the predicted image P of the image frame (target frame) to be encoded is P (x, y), and the coordinate (x, y) of the reference image R The pixel value at is defined as R (x, y). Here, assuming that x and y are integers, it is assumed that a pixel exists at a point where the coordinate value is an integer in P and R. At this time, the relationship between P and R is
Figure 2011223261

Is expressed as However, assuming that the image is divided into N blocks, B i means a pixel included in the i-th block of the image, and (mvx, mvy) means a motion vector of the i-th block.

ここで、動きベクトル(mvx,mvy)が整数ではない場合には、参照画像において実際には存在しないサンプル値が算出される。ここで、H.264の色差信号に対しては、周辺4画素の色差信号を用いた内挿が行われる。この内挿方式を数式で記述すると、dを正の整数、0≦p≦d、0≦q≦dとして、内挿サンプル値R(x+p/d,y+q/d)は、

Figure 2011223261

と表現される。ただし「//」は、除算の結果を近隣の整数に丸め込むことを意味する。 If the motion vector (mvx, mvy) is not an integer, a sample value that does not actually exist in the reference image is calculated. Here, H. For the H.264 color difference signal, interpolation using the color difference signals of the surrounding four pixels is performed. When this interpolation method is described by a mathematical expression, d is a positive integer, 0 ≦ p ≦ d, 0 ≦ q ≦ d, and the interpolation sample value R (x + p / d, y + q / d) is
Figure 2011223261

It is expressed. However, “//” means that the result of division is rounded to a neighboring integer.

この時、内挿サンプル値R(x+p/d,y+q/d)が整数とならない場合、除算の丸め込み処理によって誤差が生じてしまう。また一般的に、低ビットレートで符号化する場合など、フレーム間予測誤差を符号化するためのビットを十分に確保することができない状況では、離散コサイン変換の量子化ステップサイズを大きく設定する。そのため、動き補償で発生した誤差を誤差符号化によって修正しきれなくなる場合が存在する。また、残差信号が送られても量子化歪が含まれるため、誤差を完全に解消することは難しい。ここで、これらの誤差を含む再生画像が参照画像として動き補償に利用されるため、画面内符号化が行われずに画面間符号化が続く場合には、上記の誤差が蓄積し、時間的に色差信号のPSNRなどの客観的性能が低下し、主観的には画像の色が赤色や緑色に偏ってしまう現象が発生する。特に人間の眼は赤色に敏感であるため、映像が上記誤差蓄積によって赤くなる場合には主観品質の低下を招く。   At this time, if the interpolated sample value R (x + p / d, y + q / d) is not an integer, an error occurs due to the rounding process of division. In general, in a situation where sufficient bits for encoding the inter-frame prediction error cannot be secured, such as when encoding at a low bit rate, the quantization step size of the discrete cosine transform is set large. For this reason, there is a case where an error generated by motion compensation cannot be corrected by error coding. Further, even if a residual signal is sent, quantization distortion is included, so it is difficult to completely eliminate the error. Here, since a reproduced image including these errors is used as a reference image for motion compensation, when the inter-frame coding continues without performing the intra-frame coding, the above error accumulates, and temporally Objective performance such as PSNR of the color difference signal is degraded, and a phenomenon occurs in which the color of the image is subjectively biased to red or green. In particular, since the human eye is sensitive to red, when the video turns red due to the above error accumulation, the subjective quality is deteriorated.

下記の特許文献1では、動き補償予測を行う際に分数精度動きベクトルが示すサンプル位置を算出する内挿方式の結果に対し0.5を加えた値を切り上げる方法と、上記内挿方式の結果に対し0.5を加えた後に切り捨てる方法とを、映像を構成する画像ごとに切り替える方法が記載されている。   In Patent Document 1 below, a method of rounding up a value obtained by adding 0.5 to the result of the interpolation method for calculating the sample position indicated by the fractional precision motion vector when performing motion compensation prediction, and the result of the interpolation method described above. There is a description of a method of switching the method of truncating after adding 0.5 for each image constituting the video.

また、特許文献1では、再生映像の赤色化を抑える方法として、フレームの時間的発生順に基づき丸め込み方法を画面全体で交互に変更する「暗示的方法」と、参照画像が予測生成される際に利用された丸め込み方法を記憶しておき、対象画像に対する予測を行う際に、記憶しておいた丸め込み方法とは異なる丸め込み方法を、参照画像全体に対する丸め込み方法として利用する「明示的方法」とが記載されている。   Further, in Patent Document 1, as a method of suppressing reddening of a reproduced video, an “implicit method” in which a rounding method is alternately changed over the entire screen based on the temporal generation order of frames, and a reference image is predicted and generated. There is an “explicit method” that stores the rounding method used and uses a rounding method different from the stored rounding method as the rounding method for the entire reference image when predicting the target image. Are listed.

特開2008‐160877号公報JP 2008-160877 A

ところで、H.264の画面間予測符号化では、対象フレームの各ブロックに対する予測信号生成のため、過去に符号化した上で再生された複数の参照画像を参照する。そのため、上記特許文献1の暗示的方法では、適切に丸め込み方法を切り替えることができない場合がある。   H. In the H.264 inter-screen predictive encoding, a plurality of reference images that have been encoded and reproduced in the past are referred to in order to generate a prediction signal for each block of the target frame. For this reason, in the implicit method of Patent Document 1, the rounding method may not be switched appropriately.

ここで図1を用いて説明する。図1は、対象フレームf105の画面間予測を行う際に、参照画像f101およびf103は対象フレームとして予測された際に丸め込み方法A(例えば0.5を加えた値を切り上げる方法)が利用され、参照画像f102およびf104は対象フレームとして予測された際に丸め込み方法B(例えば0.5を加えた後に切り捨てる方法)が利用されている状況を示す。この時、上記特許文献1の暗示的方法によれば、対象フレームf105は丸め込み方法Aを用いて画面間予測が行われる。ここで丸め込み方法Bで生成された参照画像f102およびf104を用いて予測される場合には効果的となるが、丸め込み方法Aで生成された参照画像f103を用いて予測される場合も同じ丸め込み方法Aが用いられる。そのため、同じ丸め込み方法が利用されることとなり丸め込み誤差の蓄積を抑える効果が失われる。   This will be described with reference to FIG. In FIG. 1, when performing inter-frame prediction of the target frame f105, the reference images f101 and f103 are used when the rounding method A (for example, a method of rounding up a value added with 0.5) is used when the target frames are predicted. f102 and f104 indicate a situation in which a rounding method B (for example, a method of rounding off after adding 0.5) is used when predicted as a target frame. At this time, according to the implicit method of Patent Document 1, inter-frame prediction is performed on the target frame f105 using the rounding method A. Here, it is effective when the prediction is performed using the reference images f102 and f104 generated by the rounding method B, but the same rounding method is used when the prediction is performed using the reference image f103 generated by the rounding method A. A is used. Therefore, the same rounding method is used and the effect of suppressing the accumulation of rounding errors is lost.

また、上記特許文献1に記載の明示的方法においても、参照画像全体に対する丸め込み方法を変更しても、複数の参照画像を用いて予測が行われる場合には、丸め込み方法のランダム性が失われ、画面全体において誤差が蓄積されると、画面全体の画質が低下する。   Even in the explicit method described in Patent Document 1, even when the rounding method for the entire reference image is changed, if the prediction is performed using a plurality of reference images, the randomness of the rounding method is lost. If errors are accumulated in the entire screen, the image quality of the entire screen is degraded.

本発明は、上記の課題を解決するため、丸め込み誤差の蓄積を抑え、再生画像品質の向上、当該再生画像を参照画像として利用する画像の予測効率の向上および主観性能の向上を実現することを目的とする。   In order to solve the above-described problems, the present invention suppresses the accumulation of rounding errors, improves the quality of a reproduced image, improves the prediction efficiency of an image that uses the reproduced image as a reference image, and improves the subjective performance. Objective.

上記目的を達成するために、本発明の一側面に係る動画像予測符号化装置は、動画像を構成する複数の画像を入力する入力手段と、入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化手段と、生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段と、を具備し、前記丸め込み方法決定手段は、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定することを特徴とする。このとき、上記の丸め込み方法決定手段は、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報をさらに基礎として、前記丸め込み方法を決定してもよい。   In order to achieve the above object, a video predictive coding apparatus according to an aspect of the present invention includes an input unit that inputs a plurality of images constituting a video and intra-screen prediction or motion compensation for the input images. Encoding means for generating compressed image data by encoding according to any one of the inter-screen prediction using the image, and a restoring means for restoring the reproduced image by decoding the generated compressed image data Necessary for the fractional accuracy prediction when the reproduced image is stored as a reference image used for encoding the subsequent image and the input image is encoded by the inter-screen prediction. Rounding method determining means for determining a rounding method for sample values generated by simple pixel interpolation, the rounding method determining means corresponding to the sample position to be interpolated in the reference image. Te, and determines how rounding said to be performed in the sample position. At this time, the rounding method determination unit may determine the rounding method based on information on a rounding method used when the reference image is predicted as a target image.

また、本発明の一側面に係る動画像予測符号化装置は、動画像を構成する複数の画像を入力する入力手段と、入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化手段と、生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段と、を具備し、前記丸め込み方法決定手段は、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定することを特徴とする。   In addition, the moving image predictive coding apparatus according to one aspect of the present invention includes an input unit that inputs a plurality of images constituting a moving image, and inter-screen prediction using intra prediction or motion compensation for the input image. Encoding means for generating compressed image data by encoding any of the above, a restoring means for restoring a reproduced image by decoding the generated compressed image data, and the restored reproduced image, Image storage means for storing a subsequent image as a reference image used for encoding, and when the input image is encoded by the inter-screen prediction, generated by pixel interpolation necessary for fractional accuracy prediction Rounding method determining means for determining a rounding method of sample values to be performed, and the rounding method determining means includes the rounding to be performed at a sample position to be interpolated in a reference image. Method, the reference image and determines based on the information on how the rounding is used when the predicted as the target image.

上記動画像予測符号化装置の丸め込み方法決定手段は、参照画像ごとに個別に、前記丸め込み方法を決定してもよい。また、丸め込み方法決定手段は、片方向予測を行う場合と双方向予測を行う場合とで個別に、前記丸め込み方法を決定してもよい。また、丸め込み方法決定手段は、双方向予測を行う場合に用いられる2種類の予測信号に利用される参照画像に対し個別に、前記丸め込み方法を決定してもよい。   The rounding method determining means of the moving picture predictive encoding apparatus may determine the rounding method individually for each reference image. Further, the rounding method determining means may determine the rounding method separately for the case of performing unidirectional prediction and the case of performing bidirectional prediction. Further, the rounding method determination means may determine the rounding method individually for reference images used for two types of prediction signals used when performing bidirectional prediction.

さらに、丸め込み方法決定手段は、輝度信号および色差信号の少なくとも一方に対し、前記丸め込み方法を決定してもよい。また、丸め込み方法決定手段は、輝度信号および色差信号の各々に対し個別に、前記丸め込み方法を決定してもよい。   Further, the rounding method determining means may determine the rounding method for at least one of the luminance signal and the color difference signal. Further, the rounding method determining means may determine the rounding method individually for each of the luminance signal and the color difference signal.

上記目的を達成するために、本発明の一側面に係る動画像予測復号装置は、画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力手段と、前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段と、を具備し、前記丸め込み方法決定手段は、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定することを特徴とする。このとき、上記の丸め込み方法決定手段は、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報をさらに基礎として、前記丸め込み方法を決定してもよい。   To achieve the above object, a video predictive decoding apparatus according to an aspect of the present invention encodes a plurality of images constituting a video by either intra prediction or inter prediction using motion compensation. Input means for inputting the compressed image data including the motion vector, a restoration means for restoring the reproduced image by decoding the compressed image data, and the restored reproduced image as a subsequent image. Generated by pixel interpolation when decoding the compressed image data obtained by encoding by the inter-frame prediction including fractional accuracy prediction and image storage means for storing as a reference image used for decoding Rounding method determining means for determining a rounding method of sample values, and the rounding method determining means is configured to determine the sample position according to the sample position to be interpolated in the reference image. And determines the rounding method to be performed by. At this time, the rounding method determination unit may determine the rounding method based on information on a rounding method used when the reference image is predicted as a target image.

また、本発明の一側面に係る動画像予測復号装置は、画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力手段と、前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段と、を具備し、前記丸め込み方法決定手段は、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定することを特徴とする。   The moving picture predictive decoding apparatus according to one aspect of the present invention is obtained by encoding a plurality of images constituting a moving picture by either intra prediction or inter prediction using motion compensation. , Input means for inputting compressed image data including a motion vector, restoration means for restoring a reproduced image by decoding the compressed image data, and use of the restored reproduced image for decoding subsequent images And a method of rounding a sample value generated by pixel interpolation when decoding the compressed image data obtained by encoding by the inter-screen prediction including fractional accuracy prediction. Rounding method determining means for determining, and the rounding method determining means determines the rounding method to be performed at a sample position to be interpolated in a reference image as the reference image. There and determines based on the information of the rounding method used when it is predicted as the target image.

上記動画像予測復号装置の丸め込み方法決定手段は、参照画像ごとに個別に、前記丸め込み方法を決定してもよい。また、丸め込み方法決定手段は、片方向予測を行う場合と双方向予測を行う場合とで個別に、前記丸め込み方法を決定してもよい。また、丸め込み方法決定手段は、双方向予測を行う場合に用いられる2種類の予測信号に利用される参照画像に対し個別に、前記丸め込み方法を決定してもよい。   The rounding method determination means of the moving picture predictive decoding apparatus may determine the rounding method individually for each reference image. Further, the rounding method determining means may determine the rounding method separately for the case of performing unidirectional prediction and the case of performing bidirectional prediction. Further, the rounding method determination means may determine the rounding method individually for reference images used for two types of prediction signals used when performing bidirectional prediction.

さらに、丸め込み方法決定手段は、輝度信号および色差信号の少なくとも一方に対し、前記丸め込み方法を決定してもよい。また、丸め込み方法決定手段は、輝度信号および色差信号の各々に対し個別に、前記丸め込み方法を決定してもよい。   Further, the rounding method determining means may determine the rounding method for at least one of the luminance signal and the color difference signal. Further, the rounding method determining means may determine the rounding method individually for each of the luminance signal and the color difference signal.

本発明の一側面に係る動画像予測符号化方法は、後続の画像を符号化するために用いられる参照画像を格納するための画像格納手段を備える動画像予測符号化装置、により実行される動画像予測符号化方法であって、動画像を構成する複数の画像を入力する入力ステップと、入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化ステップと、生成された前記圧縮画像データを復号することで再生画像を復元する復元ステップと、復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定ステップと、を具備し、前記丸め込み方法決定ステップにて、前記動画像予測符号化装置は、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定することを特徴とする。   A moving image predictive encoding method according to one aspect of the present invention is a moving image executed by a moving image predictive encoding device including an image storage unit for storing a reference image used for encoding a subsequent image. An image predictive encoding method, wherein an input step for inputting a plurality of images constituting a moving image, and an input image is encoded by either intra prediction or inter prediction using motion compensation. An encoding step for generating compressed image data, a restoration step for restoring the reproduced image by decoding the generated compressed image data, and encoding the subsequent image of the restored reproduced image. An image storage step for storing the reference image used in the image storage means, and encoding the input image by the inter-screen prediction, which is necessary for fractional accuracy prediction. A rounding method determination step for determining a rounding method for sample values generated by prime interpolation, and in the rounding method determination step, the video predictive coding apparatus is configured to interpolate sample positions in a reference image. And determining the rounding method to be performed at the sample position.

また、本発明の一側面に係る動画像予測符号化方法は、後続の画像を符号化するために用いられる参照画像を格納するための画像格納手段を備える動画像予測符号化装置、により実行される動画像予測符号化方法であって、動画像を構成する複数の画像を入力する入力ステップと、入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化ステップと、生成された前記圧縮画像データを復号することで再生画像を復元する復元ステップと、復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定ステップと、を具備し、前記丸め込み方法決定手段にて、前記動画像予測符号化装置は、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定することを特徴とする。   A video predictive encoding method according to an aspect of the present invention is executed by a video predictive encoding device including image storage means for storing a reference image used for encoding a subsequent image. An input step of inputting a plurality of images constituting a moving image, and the input image is encoded by either intra prediction or inter prediction using motion compensation. An encoding step for generating compressed image data, a restoration step for restoring the reproduced image by decoding the generated compressed image data, and encoding the subsequent image of the restored reproduced image. An image storing step of storing the reference image used as a reference image in the image storage means; and for encoding the input image by the inter-screen prediction, for the fractional accuracy prediction A rounding method determining step for determining a rounding method for sample values generated by the necessary pixel interpolation, and the moving picture predictive encoding device is interpolated in a reference image by the rounding method determining means. The rounding method to be performed at a sample position is determined based on information on a rounding method used when the reference image is predicted as a target image.

本発明の一側面に係る動画像予測復号方法は、後続の画像を復号するために用いられる参照画像を格納するための画像格納手段を備える動画像予測復号装置、により実行される動画像予測復号方法であって、画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力ステップと、前記圧縮画像データを復号することで再生画像を復元する復元ステップと、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定ステップと、を具備し、前記丸め込み方法決定ステップにて、前記動画像予測復号装置は、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定することを特徴とする。   A video predictive decoding method according to one aspect of the present invention is a video predictive decoding performed by a video predictive decoding device including an image storage unit for storing a reference image used for decoding a subsequent image. A method of inputting compressed image data including a motion vector obtained by encoding a plurality of images constituting a moving image by either intra-screen prediction or inter-screen prediction using motion compensation. An input step, a restoration step for restoring a reproduced image by decoding the compressed image data, and the restored reproduced image are stored in the image storage means as a reference image used for decoding a subsequent image. Sample value generated by pixel interpolation when decoding the compressed image data obtained by the image storage step and encoding by the inter-screen prediction including fractional accuracy prediction A rounding method determination step for determining a rounding method, and in the rounding method determination step, the video predictive decoding device should be performed at the sample position according to the sample position to be interpolated in the reference image The rounding method is determined.

また、本発明の一側面に係る動画像予測復号方法は、後続の画像を復号するために用いられる参照画像を格納するための画像格納手段を備える動画像予測復号装置、により実行される動画像予測復号方法であって、画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力ステップと、前記圧縮画像データを復号することで再生画像を復元する復元ステップと、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定ステップと、を具備し、前記丸め込み方法決定ステップにて、前記動画像予測復号装置は、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定することを特徴とする。   The moving picture predictive decoding method according to one aspect of the present invention is a moving picture executed by a moving picture predictive decoding apparatus including an image storage unit for storing a reference image used for decoding a subsequent image. This is a predictive decoding method, and compressed image data including a motion vector obtained by encoding a plurality of images constituting a moving image by either intra-screen prediction or inter-screen prediction using motion compensation. An input step for inputting, a restoration step for restoring a reproduced image by decoding the compressed image data, and the restored reproduced image as a reference image used for decoding a subsequent image in the image storage means When decoding the compressed image data obtained by the encoding by the inter-picture prediction including the image storing step to store and the fractional accuracy prediction, a sample generated by pixel interpolation is used. A rounding method determination step for determining a rounding method for a round value, and in the rounding method determination step, the video predictive decoding apparatus performs the rounding method to be performed at a sample position to be interpolated in a reference image. , And determining based on information of a rounding method used when the reference image is predicted as a target image.

本発明の一側面に係る動画像予測符号化プログラムは、コンピュータを、動画像を構成する複数の画像を入力する入力手段と、入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化手段と、生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段、として動作させ、前記丸め込み方法決定手段は、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定することを特徴とする。   A moving image predictive encoding program according to an aspect of the present invention provides a computer, an input unit that inputs a plurality of images constituting a moving image, and an input image between screens using intra prediction or motion compensation. Encoding means for generating compressed image data by encoding by one of predictions, restoration means for restoring a reproduced image by decoding the generated compressed image data, and the restored reproduced image An image storage means for storing the subsequent image as a reference image used for encoding, and pixel interpolation necessary for fractional accuracy prediction when the input image is encoded by the inter-screen prediction. A rounding method determining unit that determines a rounding method of a sample value to be generated, and the rounding method determining unit corresponds to a sample position to be interpolated in a reference image. Te, and determines how rounding said to be performed in the sample position.

また、本発明の一側面に係る動画像予測符号化プログラムは、コンピュータを、動画像を構成する複数の画像を入力する入力手段と、入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化手段と、生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段、として動作させ、前記丸め込み方法決定手段は、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定することを特徴とする。   The moving image predictive encoding program according to one aspect of the present invention uses a computer, input means for inputting a plurality of images constituting a moving image, and the input image using intra prediction or motion compensation. Encoding means for generating compressed image data by encoding by inter-screen prediction, restoration means for restoring a reproduced image by decoding the generated compressed image data, and the restored reproduction Image storage means for storing an image as a reference image used for encoding a subsequent image, and in-pixel necessary for fractional accuracy prediction when the input image is encoded by the inter-screen prediction And a rounding method determining means for determining a rounding method for sample values generated by the interpolation, wherein the rounding method determining means is a sample position to be interpolated in a reference image. It said rounding method to be performed in the reference image and determines based on the information on how the rounding is used when the predicted as the target image.

本発明の一側面に係る動画像予測復号プログラムは、コンピュータを、画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力手段と、前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段、として動作させ、前記丸め込み方法決定手段は、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定することを特徴とする。   A moving image predictive decoding program according to an aspect of the present invention is obtained by encoding a plurality of images constituting a moving image by using a computer by either intra prediction or inter prediction using motion compensation. In addition, input means for inputting compressed image data including a motion vector, restoration means for restoring a reproduced image by decoding the compressed image data, and decoding the restored reproduced image for subsequent images Image storage means for storing as a reference image to be used, and a method for rounding sample values generated by pixel interpolation when decoding the compressed image data obtained by encoding by inter-screen prediction including fractional accuracy prediction Rounding method determining means for determining the sample position according to the sample position to be interpolated in the reference image. And determines the rounding method to be performed by.

また、本発明の一側面に係る動画像予測復号プログラムは、コンピュータを、画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力手段と、前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段、として動作させ、前記丸め込み方法決定手段は、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定することを特徴とする。   The moving picture predictive decoding program according to one aspect of the present invention encodes a plurality of images constituting a moving picture by using either intra prediction or inter prediction using motion compensation. The obtained input means for inputting the compressed image data including the motion vector, the restoration means for restoring the reproduced image by decoding the compressed image data, and the subsequent image of the restored reproduced image are decoded. When decoding the compressed image data obtained by encoding by the inter-frame prediction including fractional accuracy prediction, the image storage means for storing the reference value used as a reference image, and the sample value generated by pixel interpolation Operating as rounding method determination means for determining a rounding method, said rounding method determination means being performed at the sample position to be interpolated in a reference image The fit inclusive method, the reference image and determines based on the information on how the rounding is used when the predicted as the target image.

以上のような本発明により、丸め込み誤差の蓄積を抑え、再生画像品質の向上、当該再生画像を参照画像として利用する画像の予測効率の向上、および主観性能の向上を実現する。   According to the present invention as described above, accumulation of rounding errors is suppressed, and the reproduction image quality is improved, the prediction efficiency of an image using the reproduction image as a reference image is improved, and the subjective performance is improved.

本発明によれば、分数精度動きの動き補償が利用され、動きベクトルが示す位置のサンプル値を画素内挿方式により生成する。その際、動きベクトルの揺らぎを考慮し、分数画素位置に応じて丸め込み方法を決定することで、画面全体で丸め込み誤差が蓄積されることを防ぎ、異なる参照画像を用いた動き補償を行う場合においても画面全体の丸め込み誤差の蓄積を抑え、再生画像品質の向上、当該再生画像を参照画像として利用する画像の予測効率の向上および主観性能の向上を実現する。   According to the present invention, motion compensation of fractional precision motion is used, and a sample value at a position indicated by a motion vector is generated by a pixel interpolation method. At that time, in consideration of fluctuations in the motion vector, the rounding method is determined according to the fractional pixel position to prevent accumulation of rounding errors in the entire screen, and when motion compensation using different reference images is performed. In addition, accumulation of rounding errors in the entire screen is suppressed, and the reproduction image quality is improved, the prediction efficiency of an image using the reproduction image as a reference image is improved, and the subjective performance is improved.

また、本発明によれば、丸め込み方法決定手段は、参照画像における内挿されるサンプル位置で行われるべき丸め込み方法を、参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定することで、丸め込み誤差の蓄積をより効果的に抑えることができる。   Further, according to the present invention, the rounding method determination means determines the rounding method to be performed at the sample position to be interpolated in the reference image, based on information on the rounding method used when the reference image is predicted as the target image. This makes it possible to more effectively suppress the accumulation of rounding errors.

従来技術の課題を説明するための図である。It is a figure for demonstrating the subject of a prior art. 第1、第2の実施形態に係る動画像予測符号化装置の構成を示す機能ブロック図である。It is a functional block diagram which shows the structure of the moving image predictive coding apparatus which concerns on 1st, 2nd embodiment. 第1の実施形態に係る動画像予測符号化装置内の画面間予測器の構成を示す機能ブロック図である。It is a functional block diagram which shows the structure of the inter-screen predictor in the moving image predictive coding apparatus which concerns on 1st Embodiment. 第1、第2の実施形態に係る動画像予測復号装置の構成を示す機能ブロック図である。It is a functional block diagram which shows the structure of the moving image predictive decoding apparatus which concerns on 1st, 2nd embodiment. 第1の実施形態に係る動画像予測復号装置内の画面間予測器の構成を示す機能ブロック図である。It is a functional block diagram which shows the structure of the inter-screen predictor in the moving image predictive decoding apparatus which concerns on 1st Embodiment. 内挿方式の一例を説明するための図である。It is a figure for demonstrating an example of an interpolation system. 動きの精度が1/8画素精度の場合の、位置に応じた丸め込み方法を示す図である。It is a figure which shows the rounding method according to a position in case the precision of a motion is 1/8 pixel precision. 位置に応じた丸め込み方法の第1の変形例を示す図である。It is a figure which shows the 1st modification of the rounding method according to a position. 第1の実施形態に係る動画像予測符号化装置内の画面間予測器の動作を示す流れ図である。It is a flowchart which shows operation | movement of the inter-screen predictor in the moving image predictive coding apparatus which concerns on 1st Embodiment. 第1の実施形態に係る動画像予測復号装置内の画面間予測器の動作を示す流れ図である。It is a flowchart which shows operation | movement of the inter-screen predictor in the moving image predictive decoding apparatus which concerns on 1st Embodiment. 第2の実施形態に係る動画像予測符号化装置内の画面間予測器の構成を示す機能ブロック図である。It is a functional block diagram which shows the structure of the inter-screen predictor in the moving image predictive coding apparatus which concerns on 2nd Embodiment. 第2の実施形態に係る動画像予測復号装置内の画面間予測器の構成を示す機能ブロック図である。It is a functional block diagram which shows the structure of the inter-screen predictor in the moving image predictive decoding apparatus which concerns on 2nd Embodiment. 第2の実施形態に係る画面間予測器の動作を示す流れ図である。It is a flowchart which shows operation | movement of the inter-screen predictor which concerns on 2nd Embodiment. 位置に応じた丸め込み方法の第2の変形例を示す図である。It is a figure which shows the 2nd modification of the rounding method according to a position. 位置に応じた丸め込み方法の第3の変形例を示す図である。It is a figure which shows the 3rd modification of the rounding method according to a position. 位置に応じた丸め込み方法の第4の変形例を示す図である。It is a figure which shows the 4th modification of the rounding method according to a position. 記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図である。It is a figure which shows the hardware constitutions of the computer for performing the program recorded on the recording medium. 記録媒体に記憶されたプログラムを実行するためのコンピュータの概観図である。It is a general-view figure of the computer for performing the program memorize | stored in the recording medium. 動画像予測符号化プログラムの構成例を示すブロック図である。It is a block diagram which shows the structural example of a moving image predictive encoding program. 動画像予測復号プログラムの構成例を示すブロック図である。It is a block diagram which shows the structural example of a moving image prediction decoding program.

以下、本発明に係る実施形態について、図2〜図20を用いて説明する。   Embodiments according to the present invention will be described below with reference to FIGS.

(第1の実施形態)
図2は第1の実施形態に係る動画像予測符号化装置200の構成を示すブロック図である。図2に示すように、動画像予測符号化装置200は、機能的な構成として、入力端子201、ブロック分割器202、予測信号生成器203、フレームメモリ204、減算器205、変換器206、量子化器207、逆量子化器208、逆変換器209、加算器210、エントロピー符号化器211、及び出力端子212を備える。各機能ブロックの動作は、後述する動画像予測符号化装置200の動作の中で説明する。変換器206と量子化器207は符号化手段に対応する。逆量子化器208、逆変換器209及び加算器210は復号手段に対応する。
(First embodiment)
FIG. 2 is a block diagram showing the configuration of the video predictive coding device 200 according to the first embodiment. As shown in FIG. 2, the moving image predictive encoding device 200 includes an input terminal 201, a block divider 202, a prediction signal generator 203, a frame memory 204, a subtractor 205, a converter 206, a quantum, as a functional configuration. A 207, an inverse quantizer 208, an inverse transformer 209, an adder 210, an entropy encoder 211, and an output terminal 212. The operation of each functional block will be described in the operation of the moving picture predictive coding apparatus 200 described later. The converter 206 and the quantizer 207 correspond to encoding means. The inverse quantizer 208, the inverse transformer 209, and the adder 210 correspond to decoding means.

以上のように構成された動画像予測符号化装置200の動作を以下に述べる。符号化処理の対象となる複数枚の画像からなる動画像の信号は入力端子201に入力され、各画像はブロック分割器202により、複数の領域に分割される。本実施形態では、各画像は、8×8の画素からなる複数のブロックに分割されるが、それ以外のブロックの大きさまたはブロック形状に分割してもよい。次に、予測信号生成器203にて、符号化処理の対象となるブロック(以下「対象ブロック」と呼ぶ)を対象として、後述の予測方法により予測信号を生成する。本実施形態では、予測方法として、画面間予測と画面内予測の2種類の予測方法が利用可能とされており、画面間予測では双方向画面間予測も利用可能とされている。   The operation of the moving picture predictive coding apparatus 200 configured as described above will be described below. A moving image signal composed of a plurality of images to be encoded is input to an input terminal 201, and each image is divided into a plurality of regions by a block divider 202. In the present embodiment, each image is divided into a plurality of blocks each having 8 × 8 pixels, but may be divided into other block sizes or block shapes. Next, the prediction signal generator 203 generates a prediction signal by using a prediction method to be described later for a block to be encoded (hereinafter referred to as “target block”). In the present embodiment, two types of prediction methods, inter-screen prediction and intra-screen prediction, can be used as prediction methods, and bidirectional inter-screen prediction can also be used in inter-screen prediction.

ここで予測信号生成器203内の画面間予測器221の詳細について図3を用いて説明する。図3の画面間予測器221は、丸め込み方法決定器301、参照画像内挿器302、及び動き検出・動き補償器303を備える。   Details of the inter-screen predictor 221 in the prediction signal generator 203 will be described with reference to FIG. 3 includes a rounding method determiner 301, a reference image interpolator 302, and a motion detector / compensator 303.

画面間予測では、まずラインL204経由で、過去に符号化されたのちに復元された複数の再生画像が、参照画像として画面間予測器221(丸め込み方法決定器301及び参照画像内挿器302)に入力される。ここで、丸め込み方法決定器301は、入力された参照画像の内挿時に利用する丸め込み方法を決定する。丸め込み方法の詳細については後述する。   In inter-screen prediction, first, a plurality of reproduced images restored after being encoded in the past via line L204 are inter-screen predictors 221 (rounding method determiner 301 and reference image interpolator 302). Is input. Here, the rounding method determiner 301 determines a rounding method to be used when the input reference image is interpolated. Details of the rounding method will be described later.

次に参照画像内挿器302は、ラインL301から入力された丸め込み方法情報に従い、参照画像に対して動き検出の精度に合わせて画素内挿を行い、内挿後の参照画像は動き検出・動き補償器303に送られる。動き検出・動き補償器303は、ラインL302経由で入力された複数の内挿された参照画像から、対象ブロックに対する誤差の最も小さい予測信号を求め、当該予測信号の変位である動き情報を求める。この処理は動き検出と呼ばれる。また場合に応じて、対象ブロックを再分割し、再分割された小領域に対し画面間予測方法を決定してもよい。この場合、各種の分割方法の中から、対象ブロック全体に対し最も効率のよい、小領域の分割方法及び各小領域の動き情報を決定する。なお、動き検出・動き補償測方法に関する詳細は、従来の技術であるMPEG−2,4、H.264のいずれかの方法と同じである。なお、動き検出・動き補償器303は、参照画像、上記の小領域の分割方法及び各小領域の動き情報から画面間予測信号を生成する。   Next, the reference image interpolator 302 performs pixel interpolation on the reference image according to the accuracy of motion detection in accordance with the rounding method information input from the line L301, and the reference image after the interpolation is motion detection / motion. It is sent to the compensator 303. The motion detector / compensator 303 obtains a prediction signal with the smallest error with respect to the target block from a plurality of interpolated reference images input via the line L302, and obtains motion information that is a displacement of the prediction signal. This process is called motion detection. Further, according to circumstances, the target block may be subdivided, and the inter-screen prediction method may be determined for the subdivided small area. In this case, among the various division methods, the division method of the small area and the motion information of each small area that are most efficient for the entire target block are determined. The details of the motion detection / compensation measurement method are described in the conventional techniques MPEG-2, 4, H.264. It is the same as any of the H.264 methods. Note that the motion detection / motion compensator 303 generates an inter-screen prediction signal from the reference image, the small region dividing method, and the motion information of each small region.

このように決定された小領域の分割方法情報及び各小領域の動き情報は、図2のラインL212経由でエントロピー符号化器211に送られ、エントロピー符号化器211により符号化された上で、その符号化データはラインL211経由で出力端子212から送出される。また複数の参照画像の中で、予測信号がどの参照画像から取得するかに関する情報(参照インデックス)も、予測信号生成器203からラインL212経由でエントロピー符号化器211に送られ、エントロピー符号化器211により符号化された上で、その符号化データはラインL211経由で出力端子212から送出される。なお、本実施形態では、4枚ないし5枚の再生画像がフレームメモリ204に格納され、参照画像として用いられる。   The subregion division method information and the motion information of each subregion determined in this way are sent to the entropy encoder 211 via the line L212 in FIG. 2 and encoded by the entropy encoder 211. The encoded data is sent from the output terminal 212 via the line L211. Also, information (reference index) on which reference image the prediction signal is acquired from among the plurality of reference images is also sent from the prediction signal generator 203 to the entropy encoder 211 via the line L212, and the entropy encoder The encoded data is sent from the output terminal 212 via the line L211 after being encoded by the 211. In the present embodiment, four to five reproduced images are stored in the frame memory 204 and used as reference images.

一方、画面内予測器222では画面内予測として、対象ブロックに空間的に隣接する既再生の画素値を用いて画面内予測信号を生成する。具体的には画面内予測器222は、同じ画面内にある既再生の画素信号をフレームメモリ204から取得し、既再生の画素信号を外挿することによって画面内予測信号を生成する。なお、画面内予測における外挿の方法に関する情報は、ラインL212経由でエントロピー符号化器211に送られ、エントロピー符号化器211により符号化された上で、その符号化データはラインL211経由で出力端子212から送出される。   On the other hand, the intra-screen predictor 222 generates an intra-screen prediction signal using the already reproduced pixel values spatially adjacent to the target block as intra-screen prediction. Specifically, the intra-screen predictor 222 obtains an already reproduced pixel signal in the same screen from the frame memory 204, and generates an intra-screen prediction signal by extrapolating the already reproduced pixel signal. Information relating to the extrapolation method in the intra prediction is sent to the entropy encoder 211 via the line L212, encoded by the entropy encoder 211, and the encoded data is output via the line L211. It is sent out from the terminal 212.

以上、画面間予測と画面内予測の各々の基本動作を概説した。実際には、予測信号生成器203は、対象ブロックごとに、上述のように生成された画面間予測信号と画面内予測信号のうち、誤差の最も小さいものを選択し、選択された予測信号は、ラインL203経由で減算器205及び加算器210に送られる。   The basic operations of inter-screen prediction and intra-screen prediction have been outlined above. Actually, the prediction signal generator 203 selects, for each target block, the signal having the smallest error among the inter-screen prediction signal and the intra-screen prediction signal generated as described above, and the selected prediction signal is And sent to the subtracter 205 and the adder 210 via the line L203.

減算器205は、ラインL102経由で受け取った対象ブロックの信号から、ラインL103経由で受け取った予測信号を引き算し、残差信号を生成する。この残差信号は変換器206にて離散コサイン変換され、その各変換係数は量子化器207にて量子化される。最後に、量子化された変換係数はエントロピー符号化器211により符号化され、得られた符号化データは、予測方法に関する情報とともにラインL111経由で出力端子212より送出される。   The subtracter 205 subtracts the prediction signal received via the line L103 from the signal of the target block received via the line L102, and generates a residual signal. This residual signal is subjected to discrete cosine transform by a transformer 206, and each transform coefficient is quantized by a quantizer 207. Finally, the quantized transform coefficient is encoded by the entropy encoder 211, and the obtained encoded data is sent from the output terminal 212 via the line L111 together with information on the prediction method.

一方、後続の対象ブロックに対する画面内予測もしくは画面間予測を行うために、上記量子化された変換係数(対象ブロックの符号化データ)は、逆量子化器208にて逆量子化されたのちに逆変換器209にて逆離散コサイン変換され、これにより残差信号が復元される。そして、加算器210により、復元された残差信号とラインL203から送られた予測信号とが加算され、これにより対象ブロックの信号が再生され、再生信号はフレームメモリ204に格納される。なお、本実施形態では変換器206と逆変換器209を用いているが、これらに代わる他の変換処理を用いてもよい。場合によって、変換器206と逆変換器209がなくてもよい。   On the other hand, in order to perform intra prediction or inter prediction for the subsequent target block, the quantized transform coefficient (the encoded data of the target block) is dequantized by the inverse quantizer 208. Inverse discrete cosine transform is performed by the inverse transformer 209, whereby the residual signal is restored. Then, the adder 210 adds the restored residual signal and the prediction signal sent from the line L 203, thereby reproducing the signal of the target block and storing the reproduction signal in the frame memory 204. In this embodiment, the converter 206 and the inverse converter 209 are used, but other conversion processes instead of these may be used. In some cases, the converter 206 and the inverse converter 209 may be omitted.

次に、本実施形態に係る動画像予測復号装置について説明する。図4は本実施形態に係る画像予測復号装置400の構成を示す機能ブロックを示す。図4に示すように、動画像予測復号装置400は、機能的な構成として、入力端子401、データ解析器402、逆量子化器403、逆変換器404、加算器405、予測信号生成器408、フレームメモリ407、及び出力端子406を備える。各機能ブロックの動作は、後述する動画像予測復号装置400の動作の中で説明する。なお、復号に係る手段としては、逆量子化器403及び逆変換器404に限定されるものではなく、これら以外のものを用いてもよい。また、復号に係る手段は、逆変換器404を無くし逆量子化器403のみで構成してもよい。なお、逆量子化器403と逆変換器404は復号手段に対応する。   Next, the video predictive decoding device according to the present embodiment will be described. FIG. 4 shows functional blocks showing the configuration of the image predictive decoding apparatus 400 according to this embodiment. As shown in FIG. 4, the moving picture predictive decoding apparatus 400 includes an input terminal 401, a data analyzer 402, an inverse quantizer 403, an inverse transformer 404, an adder 405, and a prediction signal generator 408 as functional configurations. A frame memory 407 and an output terminal 406. The operation of each functional block will be described in the operation of the moving picture predictive decoding apparatus 400 described later. Note that the decoding means is not limited to the inverse quantizer 403 and the inverse transformer 404, and other means may be used. Further, the means for decoding may be configured only by the inverse quantizer 403 without the inverse transformer 404. The inverse quantizer 403 and the inverse transformer 404 correspond to decoding means.

以上のように構成された動画像予測復号装置400の動作を以下に述べる。上述した符号化方法で得られた圧縮データは入力端子401から入力される。この圧縮データには、対象ブロックの残差信号、量子化パラメータ、及び予測信号の生成に関連する情報が含まれている。予測信号の生成に関連する情報としては、例えば画面間予測の場合は、ブロック分割に関する情報(小領域の分割方法情報(例えばブロックのサイズ等))、各小領域の動き情報及び上述の参照インデックスが含まれ、画面内予測の場合は周辺の既再生の画素からの外挿の方法に関する情報が含まれている。   The operation of the moving picture predictive decoding apparatus 400 configured as described above will be described below. The compressed data obtained by the encoding method described above is input from the input terminal 401. This compressed data includes information related to the generation of the residual signal, quantization parameter, and prediction signal of the target block. As information related to generation of a prediction signal, for example, in the case of inter-screen prediction, information related to block division (subregion division method information (eg, block size)), motion information of each small region, and the above-described reference index In the case of intra prediction, information on an extrapolation method from neighboring reproduced pixels is included.

データ解析器402にて、入力された圧縮データから、対象ブロックの残差信号、予測信号の生成に関連する情報、及び量子化パラメータを抽出する。これらのうち、対象ブロックの残差信号及び量子化パラメータは、ラインL402a経由で逆量子化器403に送られ、逆量子化器403は量子化パラメータをもとに対象ブロックの残差信号を逆量子化し、さらに、逆変換器404は逆量子化の結果を逆離散コサイン変換する。このようにして復元された残差信号はラインL404経由で加算器405に送られる。   The data analyzer 402 extracts the residual signal of the target block, information related to the generation of the prediction signal, and the quantization parameter from the input compressed data. Among these, the residual signal and quantization parameter of the target block are sent to the inverse quantizer 403 via the line L402a, and the inverse quantizer 403 inverts the residual signal of the target block based on the quantization parameter. After the quantization, the inverse transformer 404 performs an inverse discrete cosine transform on the result of the inverse quantization. The residual signal restored in this way is sent to the adder 405 via the line L404.

一方、抽出された予測信号の生成に関する情報は、ラインL402b経由で予測信号生成器408に送られる。予測信号生成器408は、予測信号の生成に関する情報をもとに、フレームメモリ407内の複数の参照画像の中から適当な参照画像を取得し、当該適当な参照画像をもとに予測信号を生成する。予測信号生成器408は、画面間予測器409と画面内予測器410とを備える。また図5の画面間予測器409は、丸め込み方法決定器501、参照画像内挿器502、及び予測信号生成器503を備える。これらの動作の詳細については後述する。ここで、生成された予測信号はラインL308a経由で加算器405に送られ、加算器405により上記復元された残差信号に加算され、その結果、対象ブロックの信号が再生される。再生された対象ブロックの信号は、ラインL405経由で出力端子206から出力されると共に、再生画像としてフレームメモリ407に格納される。   On the other hand, information regarding the generation of the extracted prediction signal is sent to the prediction signal generator 408 via the line L402b. The prediction signal generator 408 obtains an appropriate reference image from a plurality of reference images in the frame memory 407 based on information related to the generation of the prediction signal, and generates a prediction signal based on the appropriate reference image. Generate. The prediction signal generator 408 includes an inter-screen predictor 409 and an intra-screen predictor 410. 5 includes a rounding method determiner 501, a reference image interpolator 502, and a prediction signal generator 503. Details of these operations will be described later. Here, the generated prediction signal is sent to the adder 405 via the line L308a, and is added to the restored residual signal by the adder 405. As a result, the signal of the target block is reproduced. The reproduced signal of the target block is output from the output terminal 206 via the line L405 and stored in the frame memory 407 as a reproduced image.

以下に本実施形態における動画像予測符号化方法及び動画像予測復号方法で用いられる丸め込み方法および参照画像の内挿処理を説明する。以下では、丸め込み方法決定器301の動作を説明するが、丸め込み方法決定器501の動作も同様である。   The rounding method used in the moving picture predictive encoding method and the moving picture predictive decoding method in this embodiment and the interpolation process of a reference image will be described below. The operation of the rounding method determiner 301 will be described below, but the operation of the rounding method determiner 501 is the same.

H.264などで利用される動き検出・動き補償では、より探索信号の精度を向上させるため動きの精度が1/2画素精度、1/4画素精度が利用される。また、さらに精度の高い1/8画素精度の動き情報が利用される場合もある。しかし、これらの分数画素位置に対応するサンプル値は存在しない。そのため、これらの分数画素位置のサンプル値が内挿方式にて生成されることが多い。また、H.264において符号化される映像として、輝度情報に対して、色差信号が半分の解像度しか持たない映像フォーマットも対象とする。この時、一般に色差情報に対する動きの情報は、輝度情報に対する動き情報の半分の動きを持つものと定義される。図6は、画素601、602、603、604の画素のサンプル値をIa,Ib,Ic,Idとすると(Ia,Ib,Ic,Idは負ではない整数)、内挿される位置のサンプル値(図6の×や△)はIa,Ib,Ic,Idを用いて以下の式(1)によって生成される。

Figure 2011223261

ここで丸め込み方法決定器301は、丸め込み方法として内挿されたサンプル値をサンプル位置に基づき、算出されたサンプル値の小数部分の値(以下「小数値」という)が0.5の場合に当該小数値を切り上げるか、切捨てるかを決定する。図7において輝度情報に対する動きの精度が1/8画素精度の場合の色差信号に対する丸め込み方法の位置による違いを示す。ここで、輝度情報に対する動きの精度が1/8画素精度であるため、色差信号に対する精度は1/16画素精度であることを意味する。図7において1/16画素精度の垂直方向位置をk、水平方向位置をlとしており、丸め込み方法決定器301は、分数精度動きが示す位置(k,l)に応じて丸め込み方法を決定する。図7においてAは丸め込み方法としてサンプル値の小数値が0.5の場合に切り上げを実施する位置を、Bは丸め込み方法としてサンプル値の小数値が0.5の場合に切り捨てを実施する位置を、それぞれ意味する。このときの決定に関する制御は、上記の式(1)におけるroundを変更することで実現される。すなわち画素位置Aではround=d2/2と設定し、画素位置Bではround=(d2/2)-1と設定する。また、図7におけるroundの値は以下のように表現される。
Figure 2011223261

ここで、int(x)はxの整数部分の値を示し、&はビット演算を示す。すなわち、
Figure 2011223261

は、
Figure 2011223261

が奇数の場合には、1となり、
Figure 2011223261

が偶数の場合には、0となり、上記の決定に関する制御を実現することができる。 H. In motion detection / compensation used in H.264 or the like, the accuracy of motion is 1/2 pixel accuracy or 1/4 pixel accuracy in order to further improve the accuracy of the search signal. Further, motion information with 1/8 pixel accuracy with higher accuracy may be used. However, there are no sample values corresponding to these fractional pixel positions. Therefore, sample values at these fractional pixel positions are often generated by an interpolation method. Further, as a video encoded in H.264, a video format in which a color difference signal has only half the resolution with respect to luminance information is also targeted. At this time, generally, the motion information for the color difference information is defined as having half the motion information for the luminance information. In FIG. 6, assuming that the sample values of the pixels 601, 602, 603, and 604 are Ia, Ib, Ic, and Id (Ia, Ib, Ic, and Id are non-negative integers), the sample values at the positions to be interpolated ( 6 is generated by the following formula (1) using Ia, Ib, Ic, and Id.
Figure 2011223261

Here, the rounding method determiner 301 uses the sample value interpolated as the rounding method based on the sample position, and when the value of the decimal part of the calculated sample value (hereinafter referred to as “decimal value”) is 0.5, the decimal value is calculated. Decide whether to round up or down. FIG. 7 shows the difference depending on the position of the rounding method with respect to the color difference signal when the accuracy of motion with respect to the luminance information is 1/8 pixel accuracy. Here, since the accuracy of the motion with respect to the luminance information is 1/8 pixel accuracy, it means that the accuracy with respect to the color difference signal is 1/16 pixel accuracy. In FIG. 7, the vertical position with 1/16 pixel accuracy is k, and the horizontal position is l. The rounding method determination unit 301 determines the rounding method according to the position (k, l) indicated by the fractional precision motion. In FIG. 7, A means a position where rounding is performed when the decimal value of the sample value is 0.5, and B means a position where rounding is performed when the decimal value of the sample value is 0.5. . Control relating to the determination at this time is realized by changing round in the above-described equation (1). That set the pixel position A in round = d 2/2, it sets a pixel position in B round = (d 2/2 ) -1. Further, the value of round in FIG. 7 is expressed as follows.
Figure 2011223261

Here, int (x) indicates the value of the integer part of x, and & indicates a bit operation. That is,
Figure 2011223261

Is
Figure 2011223261

Is 1 if it is odd,
Figure 2011223261

Is an even number, it becomes 0, and the control related to the above determination can be realized.

なお、本実施形態では丸め込み方法の決定に関する制御としてroundの式を上記のように設定したがこれに限るものではない。例えば位置(k,l)をキーとして、予め定めた表を参照することによりroundの値が決定されてもよい。   In the present embodiment, the round expression is set as described above as control related to the determination of the rounding method, but the present invention is not limited to this. For example, the value of round may be determined by referring to a predetermined table using the position (k, l) as a key.

また、本実施形態では、図7のように丸め込み方法AとBを市松模様に変更しているが、これに限るものではない。図8のように図7と丸め込み方法AとBの位置が逆であってもよい。また、図14や図15のように一列毎に丸め込み方法が変更されてもよい。また、図16のように図7よりも細かい市松模様上に丸め込み方法AとBを変更するよう設定してもよい。なお、本実施形態では1/16画素精度の例を示したが、それ以外の1/d画素精度(dは2以上の整数)である場合でも適用可能であることは言うまでもない。   In this embodiment, the rounding methods A and B are changed to a checkered pattern as shown in FIG. 7, but the present invention is not limited to this. As shown in FIG. 8, the positions of the rounding methods A and B in FIG. 7 may be reversed. Further, the rounding method may be changed for each column as shown in FIGS. Further, the rounding methods A and B may be set to be changed on a checkered pattern finer than that in FIG. 7 as shown in FIG. In the present embodiment, an example of 1/16 pixel accuracy is shown, but it goes without saying that the present invention can be applied to other 1 / d pixel accuracy (d is an integer of 2 or more).

また、本実施形態では、全ての参照画像に対して同一の分数画素位置に基づく丸め込み方法を決定したが、これに限るものではない。参照画像ごとに異なる分数画素位置に基づく丸め込み方法を変更してもよい。   In this embodiment, the rounding method based on the same fractional pixel position is determined for all reference images, but the present invention is not limited to this. The rounding method based on different fractional pixel positions for each reference image may be changed.

また、本実施形態では、内挿されたサンプル値の小数点以下が0.5となる場合の丸め込み方法の切り替えを示したがこれに限るものではない。内挿されたサンプル値を常に切り上げる方法や切り捨てる方法を切り替えてもよい。   In the present embodiment, the switching of the rounding method when the fractional part of the interpolated sample value is 0.5 is shown, but the present invention is not limited to this. The method of always rounding up or discarding the interpolated sample value may be switched.

また、本実施形態における位置に基づく丸め込み方法の変更は、符号化の状況によらず一定に利用したが、これに限るものではない。例えば片方向予測を行うときと双方向予測を行う場合とで異なる分数画素位置に基づく丸め込み方法の変更を行ってもよい。また、双方向予測の際に用いられる二種の予測信号に利用される参照画像に対して異なる丸め込み方法を利用してもよい。   In addition, the change of the rounding method based on the position in the present embodiment is constantly used regardless of the encoding status, but is not limited thereto. For example, the rounding method may be changed based on fractional pixel positions that differ between when performing unidirectional prediction and when performing bidirectional prediction. Further, different rounding methods may be used for reference images used for two types of prediction signals used in bidirectional prediction.

また、本実施形態では色差信号に対する例を示したが、本実施形態における画素値として輝度信号および色差信号への適用が可能である。また、輝度信号および色差信号に対して共通の分数画素位置に基づく丸め込み方法を利用してもよいし、異なる分数画素位置に基づく丸め込み方法を利用してもよい。また、輝度信号もしくは色差信号のどちらかに分数画素位置に基づく丸め込み方法を決定してもよい。   In this embodiment, an example of a color difference signal is shown. However, the pixel value in this embodiment can be applied to a luminance signal and a color difference signal. Further, a rounding method based on a common fractional pixel position for the luminance signal and the color difference signal may be used, or a rounding method based on a different fractional pixel position may be used. Further, a rounding method based on the fractional pixel position may be determined for either the luminance signal or the color difference signal.

次に、参照画像内挿器302の動作について説明する(参照画像内挿器502の動作も同様である)。本実施形態における参照画像内挿器302は、丸め込み方法決定器301で決定された分数画素位置に基づく丸め込み方法を用いて参照画像に対して内挿処理を実施する。具体的には参照画像から図6のように隣接する4つの画素601〜604を選択し、動き検出に利用される分数画素精度に応じて、予め設定された内挿方式と丸め込み方法に基づき上記4つの画素からのサンプル値の内挿処理を行う。そして、所定の分数画素精度のサンプル値が内挿された参照画像は動き検出のために利用される。本実施形態では、前述した式(1)で定義した共1次内挿方式(bi-linear interpolation)が行われる。   Next, the operation of the reference image interpolator 302 will be described (the operation of the reference image interpolator 502 is also the same). The reference image interpolator 302 in this embodiment performs an interpolation process on the reference image using a rounding method based on the fractional pixel position determined by the rounding method determining unit 301. Specifically, the four adjacent pixels 601 to 604 are selected from the reference image as shown in FIG. 6, and the above-described interpolation method and rounding method are used according to the fractional pixel accuracy used for motion detection. Interpolation processing of sample values from four pixels is performed. A reference image in which a sample value with a predetermined fractional pixel accuracy is interpolated is used for motion detection. In the present embodiment, the bi-linear interpolation defined by the above-described equation (1) is performed.

なお、本実施形態では、予め内挿方式が設定されている例を示したが、これに限るものではなく、外部から内挿方式の情報が入力されてもよい。その場合、参照画像内挿器302と502が同一の方法を利用できるように、内挿方式を示す情報が参照画像内挿器302から参照画像内挿器502へ送信されてもよい。   In the present embodiment, an example in which an interpolation method is set in advance has been described. However, the present invention is not limited to this, and information on the interpolation method may be input from the outside. In that case, information indicating the interpolation method may be transmitted from the reference image interpolator 302 to the reference image interpolator 502 so that the reference image interpolators 302 and 502 can use the same method.

また、本実施形態における内挿方式として共1次内挿方式を示したが、これに限るものではない。1次元の内挿式などを複数回実施してサンプル値の内挿処理を行ってもよい。   Further, although the bilinear interpolation method is shown as the interpolation method in the present embodiment, the present invention is not limited to this. A sample value may be interpolated by performing a one-dimensional interpolation formula a plurality of times.

また、本実施形態ではサンプルの内挿に利用される画素数が4画素の例を示したが、これに限るものではない。より多くの画素を用いた内挿や2画素のみを用いた内挿が行われてもよい。   In this embodiment, an example in which the number of pixels used for sample interpolation is four pixels is shown, but the present invention is not limited to this. Interpolation using more pixels or only two pixels may be performed.

また、本実施形態では、参照画像に対する内挿処理は参照画像全体に対し行われたが、これに限るものではない。例えば、動き検出の検索範囲にある領域毎に内挿処理が行われてもよい。また、動画像予測復号装置では、分数画素動きベクトルが示す位置のサンプル値に対する丸め込み方法が決定されればよい。このようなサンプル値の計算をすることにより限定的な画素領域での内挿処理が行われるため、使用されるメモリ量を削減する効果が得られる。   In the present embodiment, the interpolation process for the reference image is performed on the entire reference image, but the present invention is not limited to this. For example, the interpolation processing may be performed for each region in the motion detection search range. Further, in the video predictive decoding apparatus, it is only necessary to determine a rounding method for the sample value at the position indicated by the fractional pixel motion vector. By calculating such sample values, interpolation processing in a limited pixel region is performed, so that an effect of reducing the amount of memory used can be obtained.

そして、動き検出・動き補償器303は、内挿処理された複数の参照画像を用いて各対称ブロックで動き検出が行われ、動き補償により画面間予測信号が生成される。生成された画面間予測信号はラインL203経由で差分器205に送られる。また、動き検出・動き補償器303で決定された予測信号生成に関する情報であるブロック分割に関する情報、動きベクトルおよび参照インデックスなどがラインL212経由でエントロピー符号化器211へ出力される。なお、動き検出・動き補償器303の動作は従来のH.264やMPEG4などで利用される方法と同一であればよい。   The motion detector / compensator 303 performs motion detection on each symmetric block using a plurality of interpolated reference images, and generates an inter-screen prediction signal by motion compensation. The generated inter-screen prediction signal is sent to the differentiator 205 via the line L203. Also, information relating to block division, which is information relating to prediction signal generation determined by the motion detector / compensator 303, a motion vector, a reference index, and the like are output to the entropy encoder 211 via a line L212. The operation of the motion detector / compensator 303 is the same as that of the conventional H.264 standard. The method may be the same as that used in H.264 or MPEG4.

一方、画面間予測信号生成器503は、予測信号に関する情報に基づき予測信号(画面間予測信号)を生成し出力する。この画面間予測信号生成器503の動作は、従来のH.264やMPEG4などで利用される方法と同一であればよい。   On the other hand, the inter-screen prediction signal generator 503 generates and outputs a prediction signal (inter-screen prediction signal) based on information related to the prediction signal. The operation of the inter-screen prediction signal generator 503 is the same as that of the conventional H.264. The method may be the same as that used in H.264 or MPEG4.

図9は、本実施形態における動画像予測符号化方法における画面間予測器221の動作のフローチャートを示す。まずステップS901にてフレームメモリ204に保存された複数の参照画像が画面間予測器221に入力される。次にステップS902にて、丸め込み方法決定器301は、動きの分数画素精度に基づき、分数画素位置に応じて内挿サンプル値の小数値が0.5となる場合の丸め込み方法を決定する。詳細な決定方法は上述の通りである。そして、ステップ903では、参照画像内挿器302は、ステップ902にて決定された分数画素位置に基づく丸め込み方法および予め設定された内挿方式に基づいて参照画像の内挿処理を行う。そしてステップS904にて、動き検出・動き補償器303は、動き検出・動き補償を行い、画面間予測信号を生成する。そしてステップS905にて動き検出・動き補償器303は、生成された画面間予測信号および予測に関する情報を出力して処理を終了する。   FIG. 9 shows a flowchart of the operation of the inter-picture predictor 221 in the video predictive coding method according to this embodiment. First, in step S <b> 901, a plurality of reference images stored in the frame memory 204 are input to the inter-screen predictor 221. Next, in step S902, the rounding method determiner 301 determines a rounding method when the fractional value of the interpolation sample value is 0.5 according to the fractional pixel position, based on the fractional pixel accuracy of the motion. The detailed determination method is as described above. In step 903, the reference image interpolator 302 performs a reference image interpolation process based on a rounding method based on the fractional pixel position determined in step 902 and a preset interpolation method. In step S904, the motion detector / compensator 303 performs motion detection / motion compensation and generates an inter-screen prediction signal. In step S905, the motion detector / compensator 303 outputs the generated inter-screen prediction signal and information related to prediction, and ends the process.

図10は、本実施形態における動画像予測復号方法における画面間予測器409の動作のフローチャートを示す。まずステップS1001にて復号された動き情報である動きベクトルや参照インデックスと、フレームメモリ407に保存された参照画像とが画面間予測器409に入力される。次にステップS1002では、丸め込み方法決定器501は、動きベクトルが示す分数画素位置に応じて内挿サンプル値の小数値が0.5となる場合の丸め込み方法を決定する。そして、ステップS1003では、参照画像内挿器502は、ステップS1002で決定された丸め込み方法および内挿方式に基づき参照画像に対して内挿処理を行う。そして次にステップS1004にて予測信号生成器503は、予測信号に関する情報に基づき画面間予測信号を生成し、そしてステップS1005にて、生成された画面間予測信号を出力して処理を終了する。   FIG. 10 shows a flowchart of the operation of the inter-screen predictor 409 in the video predictive decoding method according to this embodiment. First, a motion vector and a reference index, which are motion information decoded in step S1001, and a reference image stored in the frame memory 407 are input to the inter-screen predictor 409. In step S1002, the rounding method determiner 501 determines a rounding method when the decimal value of the interpolation sample value is 0.5 according to the fractional pixel position indicated by the motion vector. In step S1003, the reference image interpolator 502 performs an interpolation process on the reference image based on the rounding method and interpolation method determined in step S1002. Then, in step S1004, the prediction signal generator 503 generates an inter-screen prediction signal based on the information related to the prediction signal, and in step S1005, outputs the generated inter-screen prediction signal and ends the process.

本実施形態によれば、分数精度動きの動き補償が利用され、分数精度の動きベクトルが示す位置におけるサンプル値を画素内挿方式により生成する。その際、動きベクトルの揺らぎを考慮し、動きが示す分数画素位置に応じて丸め込み方法を決定することで、丸め込み誤差の蓄積原因となるサンプル値の小数以下の値が0.5となる場合の丸め込み方法をランダム化する。これにより、異なる参照画像を用いた動き補償を行う場合においても画面全体での丸め込み誤差の蓄積を抑え、再生画像品質の向上、当該再生画像を参照画像として利用する画像全面の予測効率の向上および主観性能の向上を実現することができる。   According to the present embodiment, motion compensation of fractional precision motion is used, and a sample value at a position indicated by a fractional precision motion vector is generated by a pixel interpolation method. At that time, considering the fluctuation of the motion vector, by determining the rounding method according to the fractional pixel position indicated by the motion, the rounding method when the value less than the decimal of the sample value that causes accumulation of rounding error is 0.5 Is randomized. As a result, even when motion compensation using different reference images is performed, accumulation of rounding errors in the entire screen is suppressed, the reproduction image quality is improved, the prediction efficiency of the entire image using the reproduction image as a reference image is improved, and An improvement in subjective performance can be realized.

(第2の実施形態)
以下、本発明に係る第2の実施形態を説明する。第2の実施形態における動画像予測符号化装置および動画像予測復号装置の全体構成は、前述した図2の動画像予測符号化装置200および図4の動画像予測復号装置400の全体構成と同様であるので、説明を省略する。但し、動画像予測符号化装置200内の画面間予測器221および動画像予測復号装置400内の画面間予測器409の構成・動作が、第1の実施形態とは異なるので、以下に説明する。
(Second Embodiment)
The second embodiment according to the present invention will be described below. The overall configuration of the video predictive encoding device and video predictive decoding device in the second embodiment is the same as the overall configuration of the video predictive encoding device 200 of FIG. 2 and the video predictive decoding device 400 of FIG. 4 described above. Therefore, explanation is omitted. However, the configurations and operations of the inter-screen predictor 221 in the video predictive encoding device 200 and the inter-screen predictor 409 in the video predictive decoding device 400 are different from those in the first embodiment, and will be described below. .

図11の画面間予測器221は、丸め込み方法決定器1101と、参照画像内挿器1102と、動き検出・動き補償器1103とを備える。ここで、参照画像内挿器1102は図3の参照画像内挿器302と、動き検出・動き補償器1103は動き検出・動き補償器303と同一の機能を果たす。また、丸め込み方法決定器1101は、動き検出・動き補償器1103からラインL1103経由で予測信号生成に関する情報を入力可能とされている。   The inter-screen predictor 221 in FIG. 11 includes a rounding method determiner 1101, a reference image interpolator 1102, and a motion detector / compensator 1103. Here, the reference image interpolator 1102 performs the same function as the reference image interpolator 302 of FIG. 3, and the motion detector / motion compensator 1103 performs the same function as the motion detector / motion compensator 303. Further, the rounding method determiner 1101 can input information related to prediction signal generation from the motion detection / motion compensator 1103 via the line L1103.

また、図12の画面間予測器409は、丸め込み方法決定器1201と、参照画像内挿器1202と、予測信号生成器1203とを備える。ここで、参照画像内挿器1202は図5の参照画像内挿器502と、予測信号生成器1203は予測信号生成器503と同一の機能を果たす。また、丸め込み方法決定器1201はデータ解析器402からラインL402b経由で、抽出された予測信号に関する情報を入力可能とされている。   12 includes a rounding method determiner 1201, a reference image interpolator 1202, and a prediction signal generator 1203. Here, the reference image interpolator 1202 performs the same function as the reference image interpolator 502 in FIG. 5, and the prediction signal generator 1203 performs the same function as the prediction signal generator 503. Further, the rounding method determiner 1201 can input information about the extracted prediction signal from the data analyzer 402 via the line L402b.

第2の実施形態における丸め込み方法決定器1101および1201は、参照画像が対象画像として予測された際に利用された丸め込み方法とは異なる丸め込み方法を、内挿されるサンプル値の位置に応じて決定する。   The rounding method determiners 1101 and 1201 in the second embodiment determine a rounding method different from the rounding method used when the reference image is predicted as the target image according to the position of the sample value to be interpolated. .

本実施形態では分数画素位置に基づくサンプル値の小数値が0.5となる際の丸め込み方法は、図7に示す方法と図8に示す方法の2つの方法を用いるものとする。ここでは、図7に示した丸め込み方法をround_M1、図8に示した丸め込み方法をround_M2と定義する。   In the present embodiment, the rounding method when the decimal value of the sample value based on the fractional pixel position becomes 0.5 uses two methods, the method shown in FIG. 7 and the method shown in FIG. Here, the rounding method shown in FIG. 7 is defined as round_M1, and the rounding method shown in FIG. 8 is defined as round_M2.

本実施形態では、画面間予測器221、409全体の処理の流れは、前述した図9および図10の処理の流れと同様であるため、その説明は省略する。そこで、以下では、画面間予測器221内の丸め込み方法決定器1101の動作について、図13のフローチャートを用いて説明する(画面間予測器409内の丸め込み方法決定器1201の動作も同様である)。前提として、丸め込み方法決定器1101は、動き検出・動き補償器1103によって決定された参照画像(予測信号に用いられる参照画像)が生成された際の丸め込み方法の情報をラインL1103経由で動き検出・動き補償器1103から取り込み保存しておく。   In the present embodiment, the process flow of the inter-screen predictors 221 and 409 is the same as the process flow of FIGS. 9 and 10 described above, and thus the description thereof is omitted. Therefore, hereinafter, the operation of the rounding method determiner 1101 in the inter-screen predictor 221 will be described using the flowchart of FIG. 13 (the same applies to the operation of the rounding method determiner 1201 in the inter-screen predictor 409). . As a premise, the rounding method determiner 1101 provides information on the rounding method when the reference image (reference image used for the prediction signal) determined by the motion detector / motion compensator 1103 is generated via the line L1103. Captured from the motion compensator 1103 and stored.

対象画像の丸め込み方法は以下のように、対象ブロック生成の際に用いられた丸め込み方法の採用回数によって決定される。対象ブロックに利用された丸め込み方法の採用回数は、カウンタRound_countによりカウントされる。   The rounding method of the target image is determined by the number of times the rounding method used at the time of generating the target block is adopted as follows. The number of rounds used for the target block is counted by a counter Round_count.

まず、ステップS1301にて各予測ブロックの予測に関する情報である動き情報および参照インデックス、並びに対象ブロックの生成方法情報(画面内予測、画面間予測など)が入力される。次に、丸め込み方法決定器1101は、ステップS1302にて対象ブロックの生成方法が画面内予測であるか画面間予測であるかを判定する。対象ブロックの生成方法が画面内予測の場合には、丸め込み方法決定器1101は、当該予測ブロックに利用された丸め込み方法は予め定められた丸め込み方法(ここでは、一例としてround_M1)であるとしてRound_count[round_M1]に1を加算する(ステップS1303)。また、画像が画面間予測で生成された場合は、丸め込み方法決定器1101は、双方向予測ブロックか否かを判定する(ステップS1304)。この時、片方向予測で生成されたブロックの場合には、丸め込み方法決定器1101は、予測時の参照画像に用いられた丸め込み方法ref_round(round_M1もしくはround_M2)のカウンタRound_count[ref_round]に1を加算する(ステップS1305)。即ち、参照画像に用いられた丸め込み方法がround_M1の場合は、Round_count[round_M1]に1を加算し、参照画像に用いられた丸め込み方法がround_M2の場合は、Round_count[round_M2]に1を加算する。   First, in step S1301, motion information and reference indexes, which are information related to prediction of each prediction block, and target block generation method information (intra-screen prediction, inter-screen prediction, etc.) are input. Next, the rounding method determiner 1101 determines in step S1302 whether the target block generation method is intra-screen prediction or inter-screen prediction. When the target block generation method is intra prediction, the rounding method determiner 1101 determines that the rounding method used for the prediction block is a predetermined rounding method (here, round_M1 as an example), Round_count [ 1 is added to round_M1] (step S1303). If the image is generated by inter-screen prediction, the rounding method determiner 1101 determines whether the image is a bidirectional prediction block (step S1304). At this time, in the case of a block generated by unidirectional prediction, the rounding method determiner 1101 adds 1 to the counter Round_count [ref_round] of the rounding method ref_round (round_M1 or round_M2) used for the reference image at the time of prediction. (Step S1305). That is, 1 is added to Round_count [round_M1] when the rounding method used for the reference image is round_M1, and 1 is added to Round_count [round_M2] when the rounding method used for the reference image is round_M2.

一方、双方向予測の場合には、丸め込み方法決定器1101は、ステップS1306にて各方向の予測について、過去の参照画像に用いられた丸め込み方法をround[LIST0]、未来の参照画像に用いられた丸め込み方法をround[LIST1]と定義した場合に、round[LIST0]とround[LIST1]とが同一の丸め込み方法であるかどうかを判定する。判定の結果、round[LIST0]とround[LIST1]とが同一の丸め込み方法である場合には、その同一の丸め込み方法ref_round(round_M1もしくはround_M2)のカウンタRound_count[ref_round]に1を加算する。即ち、同一の丸め込み方法がround_M1の場合は、Round_count[round_M1]に1を加算し、同一の丸め込み方法がround_M2の場合は、Round_count[round_M2]に1を加算する。   On the other hand, in the case of bidirectional prediction, the rounding method determiner 1101 uses round [LIST0] as the rounding method used for the past reference image for the prediction in each direction in step S1306, and uses it for the future reference image. If the rounding method is defined as round [LIST1], it is determined whether round [LIST0] and round [LIST1] are the same rounding method. If round [LIST0] and round [LIST1] are the same rounding method as a result of the determination, 1 is added to the counter Round_count [ref_round] of the same rounding method ref_round (round_M1 or round_M2). That is, when the same rounding method is round_M1, 1 is added to Round_count [round_M1], and when the same rounding method is round_M2, 1 is added to Round_count [round_M2].

また、round[LIST0]とround[LIST1]とが異なる場合には、丸め込み方法決定器1101は、予め定められた丸め込み方法(ここでは、一例としてround_M1)のカウンタRound_count[round_M1]に1を加算する(ステップS1308)。そして、予測ブロックが予測画像の最終ブロックかどうかが判定される(ステップS1309)。ここで、最終ブロックでない場合には、S1301からS1308のステップが繰り返し行われる。   When round [LIST0] and round [LIST1] are different, rounding method determiner 1101 adds 1 to a counter Round_count [round_M1] of a predetermined rounding method (here, round_M1 as an example). (Step S1308). Then, it is determined whether or not the predicted block is the final block of the predicted image (step S1309). Here, if it is not the final block, steps S1301 to S1308 are repeated.

一方、ステップS1309で最終ブロックである場合には、丸め込み方法決定器1101は、ステップS1310にてカウンタRound_countの値が大きい方の丸め込み方法ref_roundを、対象画像に利用される丸め込み方法(以下「代表丸め込み方法」という)として決定し保存する。   On the other hand, if it is the last block in step S1309, the rounding method determiner 1101 uses the rounding method ref_round with the larger counter Round_count in step S1310 as the rounding method used for the target image (hereinafter “representative rounding”). Method)) and save.

その後、丸め込み方法決定器1101は、代表丸め込み方法の情報が保存された対象画像が、次の予測信号生成時に参照画像として入力された際には、当該参照画像に対して、保存された代表丸め込み方法設定とは異なる丸め込み方法を決定する。具体的には、例えば第nフレームを対象画像として生成した際に代表丸め込み方法として丸め込み方法round_M1が決定された場合には、第(n+x)フレーム(xは正の整数)を対象画像の予測信号生成のために第nフレームを参照画像として利用する際に、第nフレームに対して、丸め込み方法round_M1とは異なる丸め込み方法round_M2が決定される。   Thereafter, when the target image in which the information on the representative rounding method is stored is input as a reference image at the time of the next prediction signal generation, the rounding method determiner 1101 stores the representative rounding stored on the reference image. Determine the rounding method different from the method setting. Specifically, for example, when the rounding method round_M1 is determined as the representative rounding method when the nth frame is generated as the target image, the (n + x) th frame (x is a positive integer) is used as the target image. When the nth frame is used as a reference image for generating a prediction signal, a rounding method round_M2 different from the rounding method round_M1 is determined for the nth frame.

上述のように丸め込み方法決定器1101により丸め込み方法を決定した後、代表丸め込み方法の情報は参照画像内挿器1102に送信される。そして、参照画像内挿器1102により内挿処理が行われ、動き検出・動き補償器1103により、内挿処理された参照画像を用いて動き検出・動き補償が行われ、予測信号が生成され、さらに、予測ブロックおよび予測信号に関する情報が出力される。その詳細な動作は前述の通りである。また、予測信号に関する情報は、対象画像の代表丸め込み方法を決定するために、動き検出・動き補償器1103から丸め込み方法決定器1101へラインL1103経由で送られる。   After determining the rounding method by the rounding method determiner 1101 as described above, information on the representative rounding method is transmitted to the reference image interpolator 1102. Then, interpolation processing is performed by the reference image interpolator 1102, motion detection / motion compensation is performed by the motion detection / motion compensator 1103 using the interpolated reference image, and a prediction signal is generated, Further, information regarding the prediction block and the prediction signal is output. The detailed operation is as described above. Also, information regarding the prediction signal is sent from the motion detection / motion compensator 1103 to the rounding method determiner 1101 via the line L1103 in order to determine the representative rounding method of the target image.

なお、本実施形態では、画面内予測で生成された場合には、丸め込み方法round_M1と設定したがこれに限るものではなく、丸め込み方法round_M2と設定してもよい。また、それ以外の丸め込み方法を用いてもよい。このとき、分数画素位置に基づく丸め込み方法であることが望ましい。   In the present embodiment, the rounding method round_M1 is set when generated by intra prediction, but the present invention is not limited to this, and the rounding method round_M2 may be set. Other rounding methods may be used. At this time, the rounding method based on the fractional pixel position is desirable.

また、本実施形態では、異なる丸め込み方法を用いた参照画像から作られる予測信号を合成して作られた双方向予測ブロックは、丸め込み方法設定round_M1として扱ったがこれに限るものではなく、例えば、過去および未来の参照画像のうち、参照画像画質が高い方の丸め込み方法設定として扱ってもよい。その場合、参照画像に利用された量子化パラメータを用いて判断してもよい。また、参照画像ごとにPSNRなどの客観的性能を保持していればその値を利用してもよい。   In the present embodiment, the bi-directional prediction block generated by synthesizing the prediction signal generated from the reference image using different rounding methods is treated as the rounding method setting round_M1, but is not limited thereto. Of the past and future reference images, the rounding method setting with the higher reference image quality may be handled. In this case, the determination may be made using the quantization parameter used for the reference image. Further, if objective performance such as PSNR is held for each reference image, the value may be used.

また、双方向予測ブロックを生成する際の丸め込み方法は、各方向からの予測信号に用いられた丸め込み方法を参照して、切り上げもしくは切り捨てが決定されてもよい。   In addition, as a rounding method when generating the bidirectional prediction block, rounding up or rounding down may be determined with reference to the rounding method used for the prediction signal from each direction.

また、本実施形態では、丸め込み方法の種類が2種類である際の例を示したが、これに限るものではない。例えば、画面内予測に対して、又は、異なる丸め込み方法設定を用いた参照画像により生成された予測信号を合成した双方向予測に対して、第3の丸め込み方法であるround_M3を用いてもよい。   In the present embodiment, an example in which there are two types of rounding methods has been described, but the present invention is not limited to this. For example, the third rounding method round_M3 may be used for intra prediction or for bi-directional prediction in which prediction signals generated by reference images using different rounding method settings are combined.

また、本実施形態では代表丸め込み方法の数は1つとしたが、これに限るものではない。1つの参照画像について複数の代表丸め込み方法が決定されてもよい。例えば画面内の複数の領域の位置に応じてそれぞれ代表丸め込み方法が決定されてもよい。   In the present embodiment, the number of representative rounding methods is one, but the number is not limited to this. A plurality of representative rounding methods may be determined for one reference image. For example, the representative rounding method may be determined in accordance with the positions of a plurality of regions in the screen.

また、本実施形態ではブロックの予測モードに基づいて代表丸め込み方法を決定したがこれに限るものではない。その他の予測信号生成に関する情報に基づいて代表丸め込み方法を決定してもよい。例えば、参照画像および動きベクトルの位置によって代表丸め込み方法を決定してもよい。また、参照画像に利用された量子化パラメータに基づいて代表丸め込み方法を決定してもよい。   In this embodiment, the representative rounding method is determined based on the block prediction mode, but the present invention is not limited to this. The representative rounding method may be determined based on other information related to prediction signal generation. For example, the representative rounding method may be determined based on the position of the reference image and the motion vector. Also, the representative rounding method may be determined based on the quantization parameter used for the reference image.

また、本実施形態では、選択された丸め込み方法の採用回数に基づき、代表丸め込み方法を決定したが、実際に動きベクトルが示す位置の画素に対して用いられた丸め込み方法の採用回数を用いても代表丸め込み方法を決定してもよい。   In this embodiment, the representative rounding method is determined based on the number of times the selected rounding method is used. However, the rounding method used for the pixel at the position indicated by the motion vector may be used. A representative rounding method may be determined.

また、参照画像として利用されない対象画像の場合には、上記処理を行わなくてもよい。これにより余計な計算をすることなく動画像予測符号化および復号の処理負荷の軽減が可能である。   In addition, in the case of a target image that is not used as a reference image, the above process may not be performed. As a result, it is possible to reduce the processing load of moving picture predictive encoding and decoding without extra calculations.

また、本実施形態では、対象画像に対して利用された代表丸め込み方法の決定方法として、対象画像内で最も多く用いられた丸め込み方法を代表丸め込み方法として決定したが、これに限るものではない。ある条件を満たし且つ最も多く選択された丸め込み方法を代表丸め込み方法として決定してもよい。例えば、最も多く用いられた丸め込み方法が画像に含まれるブロックのうちZ[%](ここではZ=66と定義する)を超える場合のみ、当該最も多く用いられた丸め込み方法を代表丸め込み方法として決定してもよい。もし、上記条件が満たされない場合には、代表丸め込み方法として、予め定められた丸め込み方法(一例としてround_M1)に決定すればよい。また、上記の最も多く用いられた丸め込み方法とは異なる丸め込み方法を、代表丸め込み方法として決定してもよい。   In the present embodiment, as the representative rounding method used for the target image, the rounding method used most frequently in the target image is determined as the representative rounding method. However, the present invention is not limited to this. The rounding method that satisfies a certain condition and is selected most often may be determined as the representative rounding method. For example, the most frequently used rounding method is determined as the representative rounding method only when the most used rounding method exceeds Z [%] (defined here as Z = 66) among the blocks included in the image. May be. If the above condition is not satisfied, a predetermined rounding method (for example, round_M1) may be determined as the representative rounding method. In addition, a rounding method different from the most frequently used rounding method may be determined as the representative rounding method.

また、上述の例で対象画像生成時に利用された参照画像の丸め込み方法設定に偏りがない場合には、フレームメモリに保存される複数の参照画像の代表丸め込み方法設定を確認して、偏りがない対象画像に対して、上記複数の参照画像の代表丸め込み方法のうち、数の少ない代表丸め込み方法が決定されてもよい。例えば、参照画像バッファ内に存在する4枚の参照画像のうち3枚が丸め込み方法設定round_M1で生成されている場合には、丸め込み方法設定の偏りなしに生成された参照画像を利用する際に、上記の丸め込み方法設定round_M1とは異なる代表丸め込み方法設定round_M2を利用してもよい。   In addition, if there is no bias in the setting of the reference image rounding method used when generating the target image in the above example, the representative rounding method setting of a plurality of reference images stored in the frame memory is confirmed, and there is no bias. Of the plurality of reference image representative rounding methods, a small number of representative rounding methods may be determined for the target image. For example, when three of four reference images existing in the reference image buffer are generated with the rounding method setting round_M1, when using a reference image generated without bias in the rounding method setting, A representative rounding method setting round_M2 different from the above rounding method setting round_M1 may be used.

本実施形態によれば、複数の丸め込み方法を利用して生成された複数の参照画像を用いて予測信号の生成を行う際に、参照画像ごとに利用された丸め込み方法を加味した上で分数画素位置に応じて丸め込み方法を決定することができるため、ブロック毎の分数画素位置による丸め込み方法のランダム性をさらに向上させることができ、丸め込み誤差の蓄積をより効果的に抑えることができる。   According to the present embodiment, when generating a prediction signal using a plurality of reference images generated by using a plurality of rounding methods, a fractional pixel is added after taking into account the rounding method used for each reference image. Since the rounding method can be determined according to the position, the randomness of the rounding method based on the fractional pixel position for each block can be further improved, and accumulation of rounding errors can be more effectively suppressed.

なお、第2実施形態では、参照画像ごとに利用された丸め込み方法を加味した上で分数画素位置に応じて丸め込み方法を決定したが、複数の参照画像を用いて予測信号の生成を行う際には、分数画素位置に応じた丸め込み方法の決定は行わずに、参照画像ごとに利用された丸め込み方法を加味して丸め込み方法を決定してもよい。このように参照画像ごとに利用された丸め込み方法を加味して丸め込み方法を決定するだけでも、丸め込み誤差の蓄積を効果的に抑えることができ、再生画像品質の向上、当該再生画像を参照画像として利用する画像全面の予測効率の向上および主観性能の向上を実現することができる。   In the second embodiment, the rounding method is determined according to the fractional pixel position in consideration of the rounding method used for each reference image. However, when generating a prediction signal using a plurality of reference images, The rounding method may be determined in consideration of the rounding method used for each reference image without performing the rounding method according to the fractional pixel position. In this way, even if the rounding method used for each reference image is taken into account and only the rounding method is determined, the accumulation of rounding errors can be effectively suppressed, the reproduction image quality is improved, and the reproduction image is used as the reference image. It is possible to improve the prediction efficiency and the subjective performance of the entire image to be used.

[動画像予測符号化プログラム、動画像予測復号プログラムについて]
動画像予測符号化装置に係る発明は、コンピュータを動画像予測符号化装置として機能させるための動画像予測符号化プログラムに係る発明として捉えることができる。同様に、動画像予測復号装置に係る発明は、コンピュータを動画像予測復号装置として機能させるための動画像予測復号プログラムに係る発明として捉えることができる。
[About a video predictive encoding program and a video predictive decoding program]
The invention relating to the moving picture predictive coding apparatus can be understood as an invention relating to a moving picture predictive coding program for causing a computer to function as a moving picture predictive coding apparatus. Similarly, the invention relating to the moving picture predictive decoding apparatus can be regarded as an invention relating to a moving picture predictive decoding program for causing a computer to function as a moving picture predictive decoding apparatus.

動画像予測符号化プログラム及び動画像予測復号プログラムは、例えば、記録媒体に格納されて提供される。なお、記録媒体としては、フレキシブルディスク、CD−ROM、DVD等の記録媒体、あるいはROM等の記録媒体、あるいは半導体メモリ等が例示される。   The moving picture predictive encoding program and the moving picture predictive decoding program are provided by being stored in a recording medium, for example. Examples of the recording medium include a recording medium such as a flexible disk, a CD-ROM, a DVD, a recording medium such as a ROM, or a semiconductor memory.

図19には、コンピュータを動画像予測符号化装置として機能させるための動画像予測符号化プログラムのモジュールを示す。図19に示すように、動画像予測符号化プログラムP200は、入力モジュールP201、符号化モジュールP202、復元モジュールP203、画像格納モジュールP204、及び丸め込み方法決定モジュールP205を備えている。   FIG. 19 shows modules of a moving picture predictive coding program for causing a computer to function as a moving picture predictive coding apparatus. As shown in FIG. 19, the moving picture predictive encoding program P200 includes an input module P201, an encoding module P202, a restoration module P203, an image storage module P204, and a rounding method determination module P205.

また、図20には、コンピュータを動画像予測復号装置として機能させるための動画像予測復号プログラムのモジュールを示す。図20に示すように、動画像予測復号プログラムP400は、入力モジュールP401、復元モジュールP402、画像格納モジュールP403、及び丸め込み方法決定モジュールP404を備えている。   FIG. 20 shows a module of a moving picture predictive decoding program for causing a computer to function as a moving picture predictive decoding apparatus. As shown in FIG. 20, the moving picture predictive decoding program P400 includes an input module P401, a restoration module P402, an image storage module P403, and a rounding method determination module P404.

上記のように構成された動画像予測符号化プログラムP200及び動画像予測復号プログラムP400は、図18に示す記録媒体10に記憶可能であり、後述する図17のコンピュータ30により実行される。   The moving picture predictive encoding program P200 and the moving picture predictive decoding program P400 configured as described above can be stored in the recording medium 10 shown in FIG. 18, and are executed by the computer 30 shown in FIG.

図17は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図18は、記録媒体に記憶されたプログラムを実行するためのコンピュータの概観図である。コンピュータとしては、CPUを具備しソフトウエアによる処理や制御を行うDVDプレーヤ、セットトップボックス、携帯電話などを含む。   FIG. 17 is a diagram illustrating a hardware configuration of a computer for executing a program recorded on a recording medium, and FIG. 18 is an overview of the computer for executing a program stored on the recording medium. Examples of the computer include a DVD player, a set top box, a mobile phone, etc. that have a CPU and perform processing and control by software.

図17に示すように、コンピュータ30は、フレキシブルディスクドライブ装置、CD−ROMドライブ装置、DVDドライブ装置等の読み取り装置12と、オペレーティングシステムを常駐させた作業用メモリ(RAM)14と、記録媒体10に記憶されたプログラムを記憶するメモリ16と、ディスプレイといった表示装置18と、入力装置であるマウス20及びキーボード22と、データ等の送受信を行うための通信装置24と、プログラムの実行を制御するCPU26とを備えている。コンピュータ30は、記録媒体10が読み取り装置12に挿入されると、読み取り装置12から記録媒体10に格納された動画像予測符号化プログラムにアクセス可能になり、当該動画像予測符号化プログラムによって、本発明に係る動画像予測符号化装置として動作することが可能になる。同様に、コンピュータ30は、記録媒体10が読み取り装置12に挿入されると、読み取り装置12から記録媒体10に格納された動画像予測復号プログラムにアクセス可能になり、当該動画像予測復号プログラムによって、本発明に係る動画像予測復号装置として動作することが可能になる。   As shown in FIG. 17, the computer 30 includes a reading device 12 such as a flexible disk drive device, a CD-ROM drive device, and a DVD drive device, a working memory (RAM) 14 in which an operating system is resident, and a recording medium 10. A memory 16 for storing programs stored therein, a display device 18 such as a display, a mouse 20 and a keyboard 22 as input devices, a communication device 24 for transmitting and receiving data, and a CPU 26 for controlling execution of the programs. And. When the recording medium 10 is inserted into the reading device 12, the computer 30 can access the moving image predictive encoding program stored in the recording medium 10 from the reading device 12, and the moving image predictive encoding program can It becomes possible to operate as a moving picture predictive encoding apparatus according to the invention. Similarly, when the recording medium 10 is inserted into the reading device 12, the computer 30 can access the moving picture predictive decoding program stored in the recording medium 10 from the reading apparatus 12, and the moving picture predictive decoding program can It becomes possible to operate as a moving picture predictive decoding apparatus according to the present invention.

図18に示すように、動画像予測符号化プログラム又は動画像予測復号プログラムは、搬送波に重畳されたコンピュータデータ信号40としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ30は、通信装置24によって受信された動画像予測符号化プログラム又は動画像予測復号プログラムをメモリ16に格納して実行することができる。   As shown in FIG. 18, the moving picture predictive encoding program or the moving picture predictive decoding program may be provided via a network as a computer data signal 40 superimposed on a carrier wave. In this case, the computer 30 can store the moving picture predictive encoding program or the moving picture predictive decoding program received by the communication device 24 in the memory 16 and execute it.

10…記録媒体、30…コンピュータ、200…動画像予測符号化装置、201…入力端子、202…ブロック分割器、203…予測信号生成器、204…フレームメモリ、205…減算器、206…変換器、207…量子化器、208…逆量子化器、209…逆変換器、210…加算器、211…エントロピー符号化器、212…出力端子、221…画面間予測器、222…画面内予測器、301…丸め込み方法決定器、302…参照画像内挿器、303…動き検出・動き補償器、400…動画像予測復号装置、401…入力端子、402…データ解析器、403…逆量子化器、404…逆変換器、405…加算器、406…出力端子、407…フレームメモリ、408…予測信号生成器、409…画面間予測器、410…画面内予測器、501…丸め込み方法決定器、502…参照画像内挿器、503…画面間予測信号生成器、1101…丸め込み方法決定器、1102…参照画像内挿器、1103…動き検出・動き補償器、1201…丸め込み方法決定器、1202…参照画像内挿器、1203…画面間予測信号生成器、P200…動画像予測符号化プログラム、P201…入力モジュール、P202…符号化モジュール、P203…復元モジュール、P204…画像格納モジュール、P205…丸め込み方法決定モジュール、P400…動画像予測復号プログラム、P401…入力モジュール、P402…復元モジュール、P403…画像格納モジュール、P404…丸め込み方法決定モジュール。   DESCRIPTION OF SYMBOLS 10 ... Recording medium, 30 ... Computer, 200 ... Moving image predictive coding apparatus, 201 ... Input terminal, 202 ... Block divider, 203 ... Prediction signal generator, 204 ... Frame memory, 205 ... Subtractor, 206 ... Converter 207: quantizer 208: inverse quantizer 209 ... inverse transformer 210 ... adder 211 ... entropy encoder 212 ... output terminal 221 inter-screen predictor 222 ... intra-screen predictor , 301 ... rounding method determiner, 302 ... reference image interpolator, 303 ... motion detection / motion compensator, 400 ... moving picture predictive decoding device, 401 ... input terminal, 402 ... data analyzer, 403 ... inverse quantizer 404: Inverter, 405 ... Adder, 406 ... Output terminal, 407 ... Frame memory, 408 ... Prediction signal generator, 409 ... Inter-screen predictor, 410 ... In-screen predictor, DESCRIPTION OF SYMBOLS 01 ... Rounding method determiner, 502 ... Reference image interpolator, 503 ... Inter-screen prediction signal generator, 1101 ... Rounding method determiner, 1102 ... Reference image interpolator, 1103 ... Motion detection / motion compensator, 1201 ... Rounding method determiner, 1202 ... reference image interpolator, 1203 ... inter-frame prediction signal generator, P200 ... moving picture predictive encoding program, P201 ... input module, P202 ... encoding module, P203 ... restoration module, P204 ... image Storage module, P205 ... rounding method determination module, P400 ... moving picture predictive decoding program, P401 ... input module, P402 ... restoration module, P403 ... image storage module, P404 ... rounding method determination module.

Claims (24)

動画像を構成する複数の画像を入力する入力手段と、
入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化手段と、
生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、
復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、
前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段と、
を具備し、
前記丸め込み方法決定手段は、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定する、
ことを特徴とする動画像予測符号化装置。
Input means for inputting a plurality of images constituting a moving image;
Encoding means for generating compressed image data by encoding the input image by either intra-screen prediction or inter-screen prediction using motion compensation;
Restoring means for restoring a reproduced image by decoding the generated compressed image data;
Image storage means for storing the restored reproduced image as a reference image used for encoding a subsequent image;
A rounding method determination means for determining a rounding method of sample values generated by pixel interpolation necessary for fractional accuracy prediction when the input image is encoded by the inter-screen prediction;
Comprising
The rounding method determining means determines the rounding method to be performed at the sample position according to a sample position to be interpolated in a reference image.
A video predictive coding apparatus characterized by the above.
前記丸め込み方法決定手段は、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報をさらに基礎として、前記丸め込み方法を決定する、
ことを特徴とする請求項1に記載の動画像予測符号化装置。
The rounding method determining means determines the rounding method based on the information on the rounding method used when the reference image is predicted as a target image.
The moving picture predictive coding apparatus according to claim 1.
動画像を構成する複数の画像を入力する入力手段と、
入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化手段と、
生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、
復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、
前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段と、
を具備し、
前記丸め込み方法決定手段は、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定する、
ことを特徴とする動画像予測符号化装置。
Input means for inputting a plurality of images constituting a moving image;
Encoding means for generating compressed image data by encoding the input image by either intra-screen prediction or inter-screen prediction using motion compensation;
Restoring means for restoring a reproduced image by decoding the generated compressed image data;
Image storage means for storing the restored reproduced image as a reference image used for encoding a subsequent image;
A rounding method determination means for determining a rounding method of sample values generated by pixel interpolation necessary for fractional accuracy prediction when the input image is encoded by the inter-screen prediction;
Comprising
The rounding method determining means determines the rounding method to be performed at a sample position to be interpolated in a reference image based on information on a rounding method used when the reference image is predicted as a target image.
A video predictive coding apparatus characterized by the above.
前記丸め込み方法決定手段は、参照画像ごとに個別に、前記丸め込み方法を決定する、
ことを特徴とする請求項1〜3の何れか1項に記載の動画像予測符号化装置。
The rounding method determining means determines the rounding method individually for each reference image.
The moving picture predictive coding apparatus according to any one of claims 1 to 3.
前記丸め込み方法決定手段は、片方向予測を行う場合と双方向予測を行う場合とで個別に、前記丸め込み方法を決定する、
ことを特徴とする請求項1〜3の何れか1項に記載の動画像予測符号化装置。
The rounding method determining means determines the rounding method separately when performing unidirectional prediction and when performing bidirectional prediction.
The moving picture predictive coding apparatus according to any one of claims 1 to 3.
前記丸め込み方法決定手段は、双方向予測を行う場合に用いられる2種類の予測信号に利用される参照画像に対し個別に、前記丸め込み方法を決定する、
ことを特徴とする請求項1〜3の何れか1項に記載の動画像予測符号化装置。
The rounding method determining means determines the rounding method individually for reference images used for two types of prediction signals used when bi-directional prediction is performed.
The moving picture predictive coding apparatus according to any one of claims 1 to 3.
前記丸め込み方法決定手段は、輝度信号および色差信号の少なくとも一方に対し、前記丸め込み方法を決定する、
ことを特徴とする請求項1〜3の何れか1項に記載の動画像予測符号化装置。
The rounding method determining means determines the rounding method for at least one of a luminance signal and a color difference signal.
The moving picture predictive coding apparatus according to any one of claims 1 to 3.
前記丸め込み方法決定手段は、輝度信号および色差信号の各々に対し個別に、前記丸め込み方法を決定する、
ことを特徴とする請求項1〜3の何れか1項に記載の動画像予測符号化装置。
The rounding method determining means determines the rounding method individually for each of the luminance signal and the color difference signal.
The moving picture predictive coding apparatus according to any one of claims 1 to 3.
画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力手段と、
前記圧縮画像データを復号することで再生画像を復元する復元手段と、
復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、
分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段と、
を具備し、
前記丸め込み方法決定手段は、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定する、
ことを特徴とする動画像予測復号装置。
An input means for inputting compressed image data including a motion vector obtained by encoding a plurality of images constituting a moving image by either intra-screen prediction or inter-screen prediction using motion compensation;
Restoring means for restoring the reproduced image by decoding the compressed image data;
Image storage means for storing the restored reproduced image as a reference image used for decoding subsequent images;
A rounding method determination means for determining a rounding method of sample values generated by pixel interpolation when decoding the compressed image data obtained by encoding by the inter-screen prediction including fractional accuracy prediction;
Comprising
The rounding method determining means determines the rounding method to be performed at the sample position according to a sample position to be interpolated in a reference image.
A video predictive decoding apparatus characterized by the above.
前記丸め込み方法決定手段は、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報をさらに基礎として、前記丸め込み方法を決定する、
ことを特徴とする請求項9に記載の動画像予測復号装置。
The rounding method determining means determines the rounding method based on the information on the rounding method used when the reference image is predicted as a target image.
The moving picture predictive decoding apparatus according to claim 9.
画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力手段と、
前記圧縮画像データを復号することで再生画像を復元する復元手段と、
復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、
分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段と、
を具備し、
前記丸め込み方法決定手段は、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定する、
ことを特徴とする動画像予測復号装置。
An input means for inputting compressed image data including a motion vector obtained by encoding a plurality of images constituting a moving image by either intra-screen prediction or inter-screen prediction using motion compensation;
Restoring means for restoring the reproduced image by decoding the compressed image data;
Image storage means for storing the restored reproduced image as a reference image used for decoding subsequent images;
A rounding method determination means for determining a rounding method of sample values generated by pixel interpolation when decoding the compressed image data obtained by encoding by the inter-screen prediction including fractional accuracy prediction;
Comprising
The rounding method determining means determines the rounding method to be performed at a sample position to be interpolated in a reference image based on information on a rounding method used when the reference image is predicted as a target image.
A video predictive decoding apparatus characterized by the above.
前記丸め込み方法決定手段は、参照画像ごとに個別に、前記丸め込み方法を決定する、
ことを特徴とする請求項9〜11の何れか1項に記載の動画像予測復号装置。
The rounding method determining means determines the rounding method individually for each reference image.
The moving picture predictive decoding apparatus according to claim 9, wherein the moving picture predictive decoding apparatus includes:
前記丸め込み方法決定手段は、片方向予測を行う場合と双方向予測を行う場合とで個別に、前記丸め込み方法を決定する、
ことを特徴とする請求項9〜11の何れか1項に記載の動画像予測復号装置。
The rounding method determining means determines the rounding method separately when performing unidirectional prediction and when performing bidirectional prediction.
The moving picture predictive decoding apparatus according to claim 9, wherein the moving picture predictive decoding apparatus includes:
前記丸め込み方法決定手段は、双方向予測を行う場合に用いられる2種類の予測信号に利用される参照画像に対し個別に、前記丸め込み方法を決定する、
ことを特徴とする請求項9〜11の何れか1項に記載の動画像予測復号装置。
The rounding method determining means determines the rounding method individually for reference images used for two types of prediction signals used when bi-directional prediction is performed.
The moving picture predictive decoding apparatus according to claim 9, wherein the moving picture predictive decoding apparatus includes:
前記丸め込み方法決定手段は、輝度信号および色差信号の少なくとも一方に対し、前記丸め込み方法を決定する、
ことを特徴とする請求項9〜11の何れか1項に記載の動画像予測復号装置。
The rounding method determining means determines the rounding method for at least one of a luminance signal and a color difference signal.
The moving picture predictive decoding apparatus according to claim 9, wherein the moving picture predictive decoding apparatus includes:
前記丸め込み方法決定手段は、輝度信号および色差信号の各々に対し個別に、前記丸め込み方法を決定する、
ことを特徴とする請求項9〜11の何れか1項に記載の動画像予測復号装置。
The rounding method determining means determines the rounding method individually for each of the luminance signal and the color difference signal.
The moving picture predictive decoding apparatus according to claim 9, wherein the moving picture predictive decoding apparatus includes:
後続の画像を符号化するために用いられる参照画像を格納するための画像格納手段を備える動画像予測符号化装置、により実行される動画像予測符号化方法であって、
動画像を構成する複数の画像を入力する入力ステップと、
入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化ステップと、
生成された前記圧縮画像データを復号することで再生画像を復元する復元ステップと、
復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、
前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定ステップと、
を具備し、
前記丸め込み方法決定ステップにて、前記動画像予測符号化装置は、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定する、
ことを特徴とする動画像予測符号化方法。
A video predictive encoding method executed by a video predictive encoding device comprising an image storage means for storing a reference image used for encoding a subsequent image,
An input step for inputting a plurality of images constituting the moving image;
An encoding step of generating compressed image data by encoding the input image by either intra-screen prediction or inter-screen prediction using motion compensation;
A restoration step of restoring a reproduced image by decoding the generated compressed image data;
An image storage step of storing the restored reproduced image in the image storage means as a reference image used for encoding a subsequent image;
A rounding method determination step for determining a rounding method of sample values generated by pixel interpolation necessary for fractional accuracy prediction when the input image is encoded by the inter-screen prediction;
Comprising
In the rounding method determination step, the video predictive coding apparatus determines the rounding method to be performed at the sample position according to the sample position to be interpolated in the reference image.
A video predictive encoding method characterized by the above.
後続の画像を符号化するために用いられる参照画像を格納するための画像格納手段を備える動画像予測符号化装置、により実行される動画像予測符号化方法であって、
動画像を構成する複数の画像を入力する入力ステップと、
入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化ステップと、
生成された前記圧縮画像データを復号することで再生画像を復元する復元ステップと、
復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、
前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定ステップと、
を具備し、
前記丸め込み方法決定手段にて、前記動画像予測符号化装置は、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定する、
ことを特徴とする動画像予測符号化方法。
A video predictive encoding method executed by a video predictive encoding device comprising an image storage means for storing a reference image used for encoding a subsequent image,
An input step for inputting a plurality of images constituting the moving image;
An encoding step of generating compressed image data by encoding the input image by either intra-screen prediction or inter-screen prediction using motion compensation;
A restoration step of restoring a reproduced image by decoding the generated compressed image data;
An image storage step of storing the restored reproduced image in the image storage means as a reference image used for encoding a subsequent image;
A rounding method determination step for determining a rounding method of sample values generated by pixel interpolation necessary for fractional accuracy prediction when the input image is encoded by the inter-screen prediction;
Comprising
In the rounding method determining means, the video predictive coding apparatus uses the rounding method to be performed at a sample position to be interpolated in a reference image as the rounding method used when the reference image is predicted as a target image. To make decisions based on method information,
A video predictive encoding method characterized by the above.
後続の画像を復号するために用いられる参照画像を格納するための画像格納手段を備える動画像予測復号装置、により実行される動画像予測復号方法であって、
画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力ステップと、
前記圧縮画像データを復号することで再生画像を復元する復元ステップと、
復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、
分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定ステップと、
を具備し、
前記丸め込み方法決定ステップにて、前記動画像予測復号装置は、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定する、
ことを特徴とする動画像予測復号方法。
A moving image predictive decoding method executed by a moving image predictive decoding device including an image storage means for storing a reference image used for decoding a subsequent image,
An input step of inputting compressed image data including a motion vector obtained by encoding a plurality of images constituting a moving image by either intra-screen prediction or inter-screen prediction using motion compensation;
A restoration step of restoring a reproduced image by decoding the compressed image data;
An image storage step of storing the restored reproduced image in the image storage means as a reference image used for decoding a subsequent image;
A rounding method determination step for determining a rounding method for sample values generated by pixel interpolation when decoding the compressed image data obtained by encoding by the inter-screen prediction including fractional accuracy prediction;
Comprising
In the rounding method determination step, the video predictive decoding apparatus determines the rounding method to be performed at the sample position according to a sample position to be interpolated in a reference image.
A video predictive decoding method characterized by the above.
後続の画像を復号するために用いられる参照画像を格納するための画像格納手段を備える動画像予測復号装置、により実行される動画像予測復号方法であって、
画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力ステップと、
前記圧縮画像データを復号することで再生画像を復元する復元ステップと、
復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、
分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定ステップと、
を具備し、
前記丸め込み方法決定ステップにて、前記動画像予測復号装置は、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定する、
ことを特徴とする動画像予測復号方法。
A moving image predictive decoding method executed by a moving image predictive decoding device including an image storage means for storing a reference image used for decoding a subsequent image,
An input step of inputting compressed image data including a motion vector obtained by encoding a plurality of images constituting a moving image by either intra-screen prediction or inter-screen prediction using motion compensation;
A restoration step of restoring a reproduced image by decoding the compressed image data;
An image storage step of storing the restored reproduced image in the image storage means as a reference image used for decoding a subsequent image;
A rounding method determination step for determining a rounding method for sample values generated by pixel interpolation when decoding the compressed image data obtained by encoding by the inter-screen prediction including fractional accuracy prediction;
Comprising
In the rounding method determination step, the video predictive decoding apparatus uses the rounding method to be performed at a sample position to be interpolated in a reference image as the rounding method used when the reference image is predicted as a target image. To make decisions based on
A video predictive decoding method characterized by the above.
コンピュータを、
動画像を構成する複数の画像を入力する入力手段と、
入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化手段と、
生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、
復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、
前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段、
として動作させ、
前記丸め込み方法決定手段は、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定する、
ことを特徴とする動画像予測符号化プログラム。
Computer
Input means for inputting a plurality of images constituting a moving image;
Encoding means for generating compressed image data by encoding the input image by either intra-screen prediction or inter-screen prediction using motion compensation;
Restoring means for restoring a reproduced image by decoding the generated compressed image data;
Image storage means for storing the restored reproduced image as a reference image used for encoding a subsequent image;
A rounding method determining means for determining a rounding method of sample values generated by pixel interpolation required for fractional accuracy prediction when the input image is encoded by the inter-screen prediction;
Act as
The rounding method determining means determines the rounding method to be performed at the sample position according to a sample position to be interpolated in a reference image.
A moving picture predictive encoding program characterized by the above.
コンピュータを、
動画像を構成する複数の画像を入力する入力手段と、
入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化手段と、
生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、
復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、
前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段、
として動作させ、
前記丸め込み方法決定手段は、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定する、
ことを特徴とする動画像予測符号化プログラム。
Computer
Input means for inputting a plurality of images constituting a moving image;
Encoding means for generating compressed image data by encoding the input image by either intra-screen prediction or inter-screen prediction using motion compensation;
Restoring means for restoring a reproduced image by decoding the generated compressed image data;
Image storage means for storing the restored reproduced image as a reference image used for encoding a subsequent image;
A rounding method determining means for determining a rounding method of sample values generated by pixel interpolation required for fractional accuracy prediction when the input image is encoded by the inter-screen prediction;
Act as
The rounding method determining means determines the rounding method to be performed at a sample position to be interpolated in a reference image based on information on a rounding method used when the reference image is predicted as a target image.
A moving picture predictive encoding program characterized by the above.
コンピュータを、
画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力手段と、
前記圧縮画像データを復号することで再生画像を復元する復元手段と、
復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、
分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段、
として動作させ、
前記丸め込み方法決定手段は、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定する、
ことを特徴とする動画像予測復号プログラム。
Computer
An input means for inputting compressed image data including a motion vector obtained by encoding a plurality of images constituting a moving image by either intra-screen prediction or inter-screen prediction using motion compensation;
Restoring means for restoring the reproduced image by decoding the compressed image data;
Image storage means for storing the restored reproduced image as a reference image used for decoding subsequent images;
A rounding method determination means for determining a rounding method of sample values generated by pixel interpolation when decoding the compressed image data obtained by encoding by the inter-screen prediction including fractional accuracy prediction;
Act as
The rounding method determining means determines the rounding method to be performed at the sample position according to a sample position to be interpolated in a reference image.
A moving picture predictive decoding program characterized by the above.
コンピュータを、
画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力手段と、
前記圧縮画像データを復号することで再生画像を復元する復元手段と、
復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、
分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段、
として動作させ、
前記丸め込み方法決定手段は、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定する、
ことを特徴とする動画像予測復号プログラム。
Computer
An input means for inputting compressed image data including a motion vector obtained by encoding a plurality of images constituting a moving image by either intra-screen prediction or inter-screen prediction using motion compensation;
Restoring means for restoring the reproduced image by decoding the compressed image data;
Image storage means for storing the restored reproduced image as a reference image used for decoding subsequent images;
A rounding method determination means for determining a rounding method of sample values generated by pixel interpolation when decoding the compressed image data obtained by encoding by the inter-screen prediction including fractional accuracy prediction;
Act as
The rounding method determining means determines the rounding method to be performed at a sample position to be interpolated in a reference image based on information on a rounding method used when the reference image is predicted as a target image.
A moving picture predictive decoding program characterized by the above.
JP2010089624A 2010-04-08 2010-04-08 Moving picture predictive coding apparatus, moving picture predictive coding method, moving picture predictive coding program, moving picture predictive decoding apparatus, moving picture predictive decoding method, and moving picture predictive decoding program Expired - Fee Related JP5390458B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010089624A JP5390458B2 (en) 2010-04-08 2010-04-08 Moving picture predictive coding apparatus, moving picture predictive coding method, moving picture predictive coding program, moving picture predictive decoding apparatus, moving picture predictive decoding method, and moving picture predictive decoding program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010089624A JP5390458B2 (en) 2010-04-08 2010-04-08 Moving picture predictive coding apparatus, moving picture predictive coding method, moving picture predictive coding program, moving picture predictive decoding apparatus, moving picture predictive decoding method, and moving picture predictive decoding program

Publications (2)

Publication Number Publication Date
JP2011223261A true JP2011223261A (en) 2011-11-04
JP5390458B2 JP5390458B2 (en) 2014-01-15

Family

ID=45039672

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010089624A Expired - Fee Related JP5390458B2 (en) 2010-04-08 2010-04-08 Moving picture predictive coding apparatus, moving picture predictive coding method, moving picture predictive coding program, moving picture predictive decoding apparatus, moving picture predictive decoding method, and moving picture predictive decoding program

Country Status (1)

Country Link
JP (1) JP5390458B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003339050A (en) * 2002-04-10 2003-11-28 Microsoft Corp Round control for multi-stage interpolation
JP2007512761A (en) * 2003-11-28 2007-05-17 タンベルグ テレコム エーエス How to correct interpolated pixel values
JP2008160877A (en) * 1997-06-09 2008-07-10 Hitachi Ltd Encoding and decoding method for moving picture
WO2010001832A1 (en) * 2008-06-30 2010-01-07 株式会社東芝 Dynamic image prediction/encoding device and dynamic image prediction/decoding device
JP2010161747A (en) * 2009-01-09 2010-07-22 Toshiba Corp Apparatus and method for generating sub-pixel, and motion compensating apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008160877A (en) * 1997-06-09 2008-07-10 Hitachi Ltd Encoding and decoding method for moving picture
JP2003339050A (en) * 2002-04-10 2003-11-28 Microsoft Corp Round control for multi-stage interpolation
JP2007512761A (en) * 2003-11-28 2007-05-17 タンベルグ テレコム エーエス How to correct interpolated pixel values
WO2010001832A1 (en) * 2008-06-30 2010-01-07 株式会社東芝 Dynamic image prediction/encoding device and dynamic image prediction/decoding device
JP2010161747A (en) * 2009-01-09 2010-07-22 Toshiba Corp Apparatus and method for generating sub-pixel, and motion compensating apparatus

Also Published As

Publication number Publication date
JP5390458B2 (en) 2014-01-15

Similar Documents

Publication Publication Date Title
US11800140B2 (en) Methods and apparatus of motion vector rounding, clipping and storage for inter prediction based on mantissa-exponent representations
CN106878733B (en) Moving picture predictive decoding device and moving picture predictive decoding method
KR101377528B1 (en) Motion Vector Coding and Decoding Method and Apparatus
US20240146952A1 (en) Methods and apparatuses for decoder-side motion vector refinement in video coding
EP2768221A1 (en) Video coding method and device, video decoding method and device, and programs
JP6426648B2 (en) Moving picture predictive decoding method and moving picture predictive decoding apparatus
JP5972687B2 (en) Moving picture predictive coding apparatus, moving picture predictive coding method, moving picture predictive coding program, moving picture predictive decoding apparatus, moving picture predictive decoding method, and moving picture predictive decoding program
JP6875566B2 (en) Moving image prediction coding device, moving image prediction decoding device, moving image prediction coding method, moving image prediction decoding method and moving image prediction decoding program
JP5390458B2 (en) Moving picture predictive coding apparatus, moving picture predictive coding method, moving picture predictive coding program, moving picture predictive decoding apparatus, moving picture predictive decoding method, and moving picture predictive decoding program
JP6646125B2 (en) Video prediction decoding method and video prediction decoding device
US20240089489A1 (en) Methods and apparatus of motion vector rounding, clipping and storage for inter prediction
CN114402618A (en) Method and apparatus for decoder-side motion vector refinement in video coding and decoding
JP5642305B2 (en) Moving picture predictive coding apparatus, moving picture predictive coding method, moving picture predictive coding program, moving picture predictive decoding apparatus, moving picture predictive decoding method, and moving picture predictive decoding program
KR101802304B1 (en) Methods of encoding using hadamard transform and apparatuses using the same
WO2021007133A1 (en) Methods and apparatuses for decoder-side motion vector refinement in video coding
WO2021021698A1 (en) Methods and apparatuses for decoder-side motion vector refinement in video coding

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130702

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130827

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131010

R150 Certificate of patent or registration of utility model

Ref document number: 5390458

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees