JP2011223261A - Moving image prediction encoder, moving image prediction encoding method, moving image prediction encoding program, moving picture prediction decoder, moving picture prediction decoding method and moving picture prediction decoding program - Google Patents
Moving image prediction encoder, moving image prediction encoding method, moving image prediction encoding program, moving picture prediction decoder, moving picture prediction decoding method and moving picture prediction decoding program Download PDFInfo
- Publication number
- JP2011223261A JP2011223261A JP2010089624A JP2010089624A JP2011223261A JP 2011223261 A JP2011223261 A JP 2011223261A JP 2010089624 A JP2010089624 A JP 2010089624A JP 2010089624 A JP2010089624 A JP 2010089624A JP 2011223261 A JP2011223261 A JP 2011223261A
- Authority
- JP
- Japan
- Prior art keywords
- image
- rounding method
- prediction
- encoding
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、動画像予測符号化装置、方法、及びプログラム、並びに、動画像予測復号装置、方法、及びプログラムに関する発明である。 The present invention relates to a moving picture predictive coding apparatus, method, and program, and a moving picture predictive decoding apparatus, method, and program.
動画像データの伝送や蓄積を効率よく行うために、圧縮符号化技術が用いられる。動画像の場合ではMPEG1〜4やH.261〜H.264の方式が広く用いられている。 In order to efficiently transmit and store moving image data, a compression encoding technique is used. In the case of moving images, MPEG1-4 and H.264 are used. 261-H. H.264 is widely used.
これらの符号化方式では、符号化の対象となる画像を複数のブロックに分割し、各ブロックに対し符号化・復号処理を行う。符号化効率を高めるため下記のような予測符号化方法が用いられる。画面間の予測符号化では、対象ブロックと異なる画面内にある既再生の画像信号を参照して信号の変位を検索し、その変位分を補償して予測信号を生成し、予測信号を対象ブロックの信号から引き算して得られた差分信号を符号化する。最近の技術では、信号の変位の精度が高められた動きの検索が用いられる。動きの検索・補償を行うために参照される既再生の画像を、参照画像という。 In these encoding methods, an image to be encoded is divided into a plurality of blocks, and encoding / decoding processing is performed on each block. In order to increase the encoding efficiency, the following predictive encoding method is used. In predictive coding between screens, the displacement of a signal is searched with reference to a previously reproduced image signal in a screen different from the target block, a predicted signal is generated by compensating for the displacement, and the predicted signal is converted to the target block. The difference signal obtained by subtracting from the signal is encoded. Recent techniques use motion search with increased accuracy of signal displacement. An already reproduced image that is referred to for motion search / compensation is referred to as a reference image.
また、双方向画面間予測では、表示時間順において対象画像の前に表示される過去の画像だけではなくて、対象画像の後に表示される未来の画像もあわせて参照する場合がある(ただし、未来の画像は対象画像より先に符号化し、予め再生しておく必要がある)。過去の画像から取得された予測信号と未来の画像から取得された予測信号の両方を平均化することによって、隠されていて新たに現れる物体の信号の予測に有効であると同時に、両方の予測信号に含まれている雑音を軽減する効果がある。 In addition, in the inter-screen prediction, not only the past image displayed before the target image in the display time order but also a future image displayed after the target image may be referred to together (however, Future images need to be encoded and reproduced in advance before the target image). By averaging both the prediction signal obtained from the past image and the prediction signal obtained from the future image, it is effective for the prediction of the signal of the hidden and newly appearing object, and at the same time both predictions This has the effect of reducing noise contained in the signal.
さらに、H.264の画面間予測符号化では、対象ブロックに対する予測信号は、過去に符号化して再生された複数の参照画像を参照し、動き検索しながら誤差の最も少ない画像信号を最適な予測信号として選択する。そして、対象ブロックの画素信号とこの最適な予測信号との差分を求め、差分に対し離散コサイン変換を施し量子化した上でエントロピー符号化する。同時に、対象ブロックに対する最適な予測信号をどの参照画像から取得するかに関する情報(参照インデックス)及び最適な予測信号を参照画像内のどの領域から取得するかに関する情報(動きベクトル)も併せて符号化する。H.264では、再生された4ないし5枚の画像が参照画像としてフレームメモリに格納される。なお、本明細書ではフレームメモリには、いわゆる再生画像バッファ(decoded picture buffer)を含むものとする。 Further, H.C. In the H.264 inter-frame prediction encoding, the prediction signal for the target block refers to a plurality of reference images encoded and reproduced in the past, and an image signal with the least error is selected as an optimal prediction signal while performing motion search. . Then, a difference between the pixel signal of the target block and the optimal prediction signal is obtained, and the difference is subjected to discrete cosine transform and quantized, and then entropy-coded. At the same time, information relating to which reference image the optimum prediction signal for the target block is acquired from (reference index) and information relating to which region in the reference image the optimum prediction signal is obtained (motion vector) are also encoded. To do. H. In H.264, 4 to 5 reproduced images are stored in the frame memory as reference images. In this specification, the frame memory includes a so-called decoded picture buffer.
ここでH.264やMPEG4で採用されている動き補償方式として、1/2画素精度、1/4画素精度などの分数精度の動き補償が可能なブロックマッチング方式が採用されている。この方式を数式により表現すると以下のように表現される。符号化対象となる画像フレーム(対象フレーム)の予測画像Pの座標(x,y)における画素値(輝度値または色差値)をP(x,y)、参照画像Rの座標(x,y)における画素値をR(x,y)と定義する。ここでx、yは整数であるとして、PとRでは座標値が整数である点に画素が存在すると仮定する。この時、PとRの関係は、
として表現される。ただし、画像はN個のブロックに分割されているとして、Biは画像のi番目のブロックに含まれる画素を意味し、(mvx,mvy)はi番目のブロックの動きベクトルを意味する。
Here H. As a motion compensation method employed in H.264 and MPEG4, a block matching method capable of fractional motion compensation such as ½ pixel accuracy and ¼ pixel accuracy is employed. When this method is expressed by a mathematical expression, it is expressed as follows. The pixel value (luminance value or color difference value) in the coordinate (x, y) of the predicted image P of the image frame (target frame) to be encoded is P (x, y), and the coordinate (x, y) of the reference image R The pixel value at is defined as R (x, y). Here, assuming that x and y are integers, it is assumed that a pixel exists at a point where the coordinate value is an integer in P and R. At this time, the relationship between P and R is
Is expressed as However, assuming that the image is divided into N blocks, B i means a pixel included in the i-th block of the image, and (mvx, mvy) means a motion vector of the i-th block.
ここで、動きベクトル(mvx,mvy)が整数ではない場合には、参照画像において実際には存在しないサンプル値が算出される。ここで、H.264の色差信号に対しては、周辺4画素の色差信号を用いた内挿が行われる。この内挿方式を数式で記述すると、dを正の整数、0≦p≦d、0≦q≦dとして、内挿サンプル値R(x+p/d,y+q/d)は、
と表現される。ただし「//」は、除算の結果を近隣の整数に丸め込むことを意味する。
If the motion vector (mvx, mvy) is not an integer, a sample value that does not actually exist in the reference image is calculated. Here, H. For the H.264 color difference signal, interpolation using the color difference signals of the surrounding four pixels is performed. When this interpolation method is described by a mathematical expression, d is a positive integer, 0 ≦ p ≦ d, 0 ≦ q ≦ d, and the interpolation sample value R (x + p / d, y + q / d) is
It is expressed. However, “//” means that the result of division is rounded to a neighboring integer.
この時、内挿サンプル値R(x+p/d,y+q/d)が整数とならない場合、除算の丸め込み処理によって誤差が生じてしまう。また一般的に、低ビットレートで符号化する場合など、フレーム間予測誤差を符号化するためのビットを十分に確保することができない状況では、離散コサイン変換の量子化ステップサイズを大きく設定する。そのため、動き補償で発生した誤差を誤差符号化によって修正しきれなくなる場合が存在する。また、残差信号が送られても量子化歪が含まれるため、誤差を完全に解消することは難しい。ここで、これらの誤差を含む再生画像が参照画像として動き補償に利用されるため、画面内符号化が行われずに画面間符号化が続く場合には、上記の誤差が蓄積し、時間的に色差信号のPSNRなどの客観的性能が低下し、主観的には画像の色が赤色や緑色に偏ってしまう現象が発生する。特に人間の眼は赤色に敏感であるため、映像が上記誤差蓄積によって赤くなる場合には主観品質の低下を招く。 At this time, if the interpolated sample value R (x + p / d, y + q / d) is not an integer, an error occurs due to the rounding process of division. In general, in a situation where sufficient bits for encoding the inter-frame prediction error cannot be secured, such as when encoding at a low bit rate, the quantization step size of the discrete cosine transform is set large. For this reason, there is a case where an error generated by motion compensation cannot be corrected by error coding. Further, even if a residual signal is sent, quantization distortion is included, so it is difficult to completely eliminate the error. Here, since a reproduced image including these errors is used as a reference image for motion compensation, when the inter-frame coding continues without performing the intra-frame coding, the above error accumulates, and temporally Objective performance such as PSNR of the color difference signal is degraded, and a phenomenon occurs in which the color of the image is subjectively biased to red or green. In particular, since the human eye is sensitive to red, when the video turns red due to the above error accumulation, the subjective quality is deteriorated.
下記の特許文献1では、動き補償予測を行う際に分数精度動きベクトルが示すサンプル位置を算出する内挿方式の結果に対し0.5を加えた値を切り上げる方法と、上記内挿方式の結果に対し0.5を加えた後に切り捨てる方法とを、映像を構成する画像ごとに切り替える方法が記載されている。
In
また、特許文献1では、再生映像の赤色化を抑える方法として、フレームの時間的発生順に基づき丸め込み方法を画面全体で交互に変更する「暗示的方法」と、参照画像が予測生成される際に利用された丸め込み方法を記憶しておき、対象画像に対する予測を行う際に、記憶しておいた丸め込み方法とは異なる丸め込み方法を、参照画像全体に対する丸め込み方法として利用する「明示的方法」とが記載されている。
Further, in
ところで、H.264の画面間予測符号化では、対象フレームの各ブロックに対する予測信号生成のため、過去に符号化した上で再生された複数の参照画像を参照する。そのため、上記特許文献1の暗示的方法では、適切に丸め込み方法を切り替えることができない場合がある。
H. In the H.264 inter-screen predictive encoding, a plurality of reference images that have been encoded and reproduced in the past are referred to in order to generate a prediction signal for each block of the target frame. For this reason, in the implicit method of
ここで図1を用いて説明する。図1は、対象フレームf105の画面間予測を行う際に、参照画像f101およびf103は対象フレームとして予測された際に丸め込み方法A(例えば0.5を加えた値を切り上げる方法)が利用され、参照画像f102およびf104は対象フレームとして予測された際に丸め込み方法B(例えば0.5を加えた後に切り捨てる方法)が利用されている状況を示す。この時、上記特許文献1の暗示的方法によれば、対象フレームf105は丸め込み方法Aを用いて画面間予測が行われる。ここで丸め込み方法Bで生成された参照画像f102およびf104を用いて予測される場合には効果的となるが、丸め込み方法Aで生成された参照画像f103を用いて予測される場合も同じ丸め込み方法Aが用いられる。そのため、同じ丸め込み方法が利用されることとなり丸め込み誤差の蓄積を抑える効果が失われる。
This will be described with reference to FIG. In FIG. 1, when performing inter-frame prediction of the target frame f105, the reference images f101 and f103 are used when the rounding method A (for example, a method of rounding up a value added with 0.5) is used when the target frames are predicted. f102 and f104 indicate a situation in which a rounding method B (for example, a method of rounding off after adding 0.5) is used when predicted as a target frame. At this time, according to the implicit method of
また、上記特許文献1に記載の明示的方法においても、参照画像全体に対する丸め込み方法を変更しても、複数の参照画像を用いて予測が行われる場合には、丸め込み方法のランダム性が失われ、画面全体において誤差が蓄積されると、画面全体の画質が低下する。
Even in the explicit method described in
本発明は、上記の課題を解決するため、丸め込み誤差の蓄積を抑え、再生画像品質の向上、当該再生画像を参照画像として利用する画像の予測効率の向上および主観性能の向上を実現することを目的とする。 In order to solve the above-described problems, the present invention suppresses the accumulation of rounding errors, improves the quality of a reproduced image, improves the prediction efficiency of an image that uses the reproduced image as a reference image, and improves the subjective performance. Objective.
上記目的を達成するために、本発明の一側面に係る動画像予測符号化装置は、動画像を構成する複数の画像を入力する入力手段と、入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化手段と、生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段と、を具備し、前記丸め込み方法決定手段は、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定することを特徴とする。このとき、上記の丸め込み方法決定手段は、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報をさらに基礎として、前記丸め込み方法を決定してもよい。 In order to achieve the above object, a video predictive coding apparatus according to an aspect of the present invention includes an input unit that inputs a plurality of images constituting a video and intra-screen prediction or motion compensation for the input images. Encoding means for generating compressed image data by encoding according to any one of the inter-screen prediction using the image, and a restoring means for restoring the reproduced image by decoding the generated compressed image data Necessary for the fractional accuracy prediction when the reproduced image is stored as a reference image used for encoding the subsequent image and the input image is encoded by the inter-screen prediction. Rounding method determining means for determining a rounding method for sample values generated by simple pixel interpolation, the rounding method determining means corresponding to the sample position to be interpolated in the reference image. Te, and determines how rounding said to be performed in the sample position. At this time, the rounding method determination unit may determine the rounding method based on information on a rounding method used when the reference image is predicted as a target image.
また、本発明の一側面に係る動画像予測符号化装置は、動画像を構成する複数の画像を入力する入力手段と、入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化手段と、生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段と、を具備し、前記丸め込み方法決定手段は、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定することを特徴とする。 In addition, the moving image predictive coding apparatus according to one aspect of the present invention includes an input unit that inputs a plurality of images constituting a moving image, and inter-screen prediction using intra prediction or motion compensation for the input image. Encoding means for generating compressed image data by encoding any of the above, a restoring means for restoring a reproduced image by decoding the generated compressed image data, and the restored reproduced image, Image storage means for storing a subsequent image as a reference image used for encoding, and when the input image is encoded by the inter-screen prediction, generated by pixel interpolation necessary for fractional accuracy prediction Rounding method determining means for determining a rounding method of sample values to be performed, and the rounding method determining means includes the rounding to be performed at a sample position to be interpolated in a reference image. Method, the reference image and determines based on the information on how the rounding is used when the predicted as the target image.
上記動画像予測符号化装置の丸め込み方法決定手段は、参照画像ごとに個別に、前記丸め込み方法を決定してもよい。また、丸め込み方法決定手段は、片方向予測を行う場合と双方向予測を行う場合とで個別に、前記丸め込み方法を決定してもよい。また、丸め込み方法決定手段は、双方向予測を行う場合に用いられる2種類の予測信号に利用される参照画像に対し個別に、前記丸め込み方法を決定してもよい。 The rounding method determining means of the moving picture predictive encoding apparatus may determine the rounding method individually for each reference image. Further, the rounding method determining means may determine the rounding method separately for the case of performing unidirectional prediction and the case of performing bidirectional prediction. Further, the rounding method determination means may determine the rounding method individually for reference images used for two types of prediction signals used when performing bidirectional prediction.
さらに、丸め込み方法決定手段は、輝度信号および色差信号の少なくとも一方に対し、前記丸め込み方法を決定してもよい。また、丸め込み方法決定手段は、輝度信号および色差信号の各々に対し個別に、前記丸め込み方法を決定してもよい。 Further, the rounding method determining means may determine the rounding method for at least one of the luminance signal and the color difference signal. Further, the rounding method determining means may determine the rounding method individually for each of the luminance signal and the color difference signal.
上記目的を達成するために、本発明の一側面に係る動画像予測復号装置は、画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力手段と、前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段と、を具備し、前記丸め込み方法決定手段は、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定することを特徴とする。このとき、上記の丸め込み方法決定手段は、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報をさらに基礎として、前記丸め込み方法を決定してもよい。 To achieve the above object, a video predictive decoding apparatus according to an aspect of the present invention encodes a plurality of images constituting a video by either intra prediction or inter prediction using motion compensation. Input means for inputting the compressed image data including the motion vector, a restoration means for restoring the reproduced image by decoding the compressed image data, and the restored reproduced image as a subsequent image. Generated by pixel interpolation when decoding the compressed image data obtained by encoding by the inter-frame prediction including fractional accuracy prediction and image storage means for storing as a reference image used for decoding Rounding method determining means for determining a rounding method of sample values, and the rounding method determining means is configured to determine the sample position according to the sample position to be interpolated in the reference image. And determines the rounding method to be performed by. At this time, the rounding method determination unit may determine the rounding method based on information on a rounding method used when the reference image is predicted as a target image.
また、本発明の一側面に係る動画像予測復号装置は、画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力手段と、前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段と、を具備し、前記丸め込み方法決定手段は、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定することを特徴とする。 The moving picture predictive decoding apparatus according to one aspect of the present invention is obtained by encoding a plurality of images constituting a moving picture by either intra prediction or inter prediction using motion compensation. , Input means for inputting compressed image data including a motion vector, restoration means for restoring a reproduced image by decoding the compressed image data, and use of the restored reproduced image for decoding subsequent images And a method of rounding a sample value generated by pixel interpolation when decoding the compressed image data obtained by encoding by the inter-screen prediction including fractional accuracy prediction. Rounding method determining means for determining, and the rounding method determining means determines the rounding method to be performed at a sample position to be interpolated in a reference image as the reference image. There and determines based on the information of the rounding method used when it is predicted as the target image.
上記動画像予測復号装置の丸め込み方法決定手段は、参照画像ごとに個別に、前記丸め込み方法を決定してもよい。また、丸め込み方法決定手段は、片方向予測を行う場合と双方向予測を行う場合とで個別に、前記丸め込み方法を決定してもよい。また、丸め込み方法決定手段は、双方向予測を行う場合に用いられる2種類の予測信号に利用される参照画像に対し個別に、前記丸め込み方法を決定してもよい。 The rounding method determination means of the moving picture predictive decoding apparatus may determine the rounding method individually for each reference image. Further, the rounding method determining means may determine the rounding method separately for the case of performing unidirectional prediction and the case of performing bidirectional prediction. Further, the rounding method determination means may determine the rounding method individually for reference images used for two types of prediction signals used when performing bidirectional prediction.
さらに、丸め込み方法決定手段は、輝度信号および色差信号の少なくとも一方に対し、前記丸め込み方法を決定してもよい。また、丸め込み方法決定手段は、輝度信号および色差信号の各々に対し個別に、前記丸め込み方法を決定してもよい。 Further, the rounding method determining means may determine the rounding method for at least one of the luminance signal and the color difference signal. Further, the rounding method determining means may determine the rounding method individually for each of the luminance signal and the color difference signal.
本発明の一側面に係る動画像予測符号化方法は、後続の画像を符号化するために用いられる参照画像を格納するための画像格納手段を備える動画像予測符号化装置、により実行される動画像予測符号化方法であって、動画像を構成する複数の画像を入力する入力ステップと、入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化ステップと、生成された前記圧縮画像データを復号することで再生画像を復元する復元ステップと、復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定ステップと、を具備し、前記丸め込み方法決定ステップにて、前記動画像予測符号化装置は、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定することを特徴とする。 A moving image predictive encoding method according to one aspect of the present invention is a moving image executed by a moving image predictive encoding device including an image storage unit for storing a reference image used for encoding a subsequent image. An image predictive encoding method, wherein an input step for inputting a plurality of images constituting a moving image, and an input image is encoded by either intra prediction or inter prediction using motion compensation. An encoding step for generating compressed image data, a restoration step for restoring the reproduced image by decoding the generated compressed image data, and encoding the subsequent image of the restored reproduced image. An image storage step for storing the reference image used in the image storage means, and encoding the input image by the inter-screen prediction, which is necessary for fractional accuracy prediction. A rounding method determination step for determining a rounding method for sample values generated by prime interpolation, and in the rounding method determination step, the video predictive coding apparatus is configured to interpolate sample positions in a reference image. And determining the rounding method to be performed at the sample position.
また、本発明の一側面に係る動画像予測符号化方法は、後続の画像を符号化するために用いられる参照画像を格納するための画像格納手段を備える動画像予測符号化装置、により実行される動画像予測符号化方法であって、動画像を構成する複数の画像を入力する入力ステップと、入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化ステップと、生成された前記圧縮画像データを復号することで再生画像を復元する復元ステップと、復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定ステップと、を具備し、前記丸め込み方法決定手段にて、前記動画像予測符号化装置は、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定することを特徴とする。 A video predictive encoding method according to an aspect of the present invention is executed by a video predictive encoding device including image storage means for storing a reference image used for encoding a subsequent image. An input step of inputting a plurality of images constituting a moving image, and the input image is encoded by either intra prediction or inter prediction using motion compensation. An encoding step for generating compressed image data, a restoration step for restoring the reproduced image by decoding the generated compressed image data, and encoding the subsequent image of the restored reproduced image. An image storing step of storing the reference image used as a reference image in the image storage means; and for encoding the input image by the inter-screen prediction, for the fractional accuracy prediction A rounding method determining step for determining a rounding method for sample values generated by the necessary pixel interpolation, and the moving picture predictive encoding device is interpolated in a reference image by the rounding method determining means. The rounding method to be performed at a sample position is determined based on information on a rounding method used when the reference image is predicted as a target image.
本発明の一側面に係る動画像予測復号方法は、後続の画像を復号するために用いられる参照画像を格納するための画像格納手段を備える動画像予測復号装置、により実行される動画像予測復号方法であって、画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力ステップと、前記圧縮画像データを復号することで再生画像を復元する復元ステップと、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定ステップと、を具備し、前記丸め込み方法決定ステップにて、前記動画像予測復号装置は、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定することを特徴とする。 A video predictive decoding method according to one aspect of the present invention is a video predictive decoding performed by a video predictive decoding device including an image storage unit for storing a reference image used for decoding a subsequent image. A method of inputting compressed image data including a motion vector obtained by encoding a plurality of images constituting a moving image by either intra-screen prediction or inter-screen prediction using motion compensation. An input step, a restoration step for restoring a reproduced image by decoding the compressed image data, and the restored reproduced image are stored in the image storage means as a reference image used for decoding a subsequent image. Sample value generated by pixel interpolation when decoding the compressed image data obtained by the image storage step and encoding by the inter-screen prediction including fractional accuracy prediction A rounding method determination step for determining a rounding method, and in the rounding method determination step, the video predictive decoding device should be performed at the sample position according to the sample position to be interpolated in the reference image The rounding method is determined.
また、本発明の一側面に係る動画像予測復号方法は、後続の画像を復号するために用いられる参照画像を格納するための画像格納手段を備える動画像予測復号装置、により実行される動画像予測復号方法であって、画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力ステップと、前記圧縮画像データを復号することで再生画像を復元する復元ステップと、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定ステップと、を具備し、前記丸め込み方法決定ステップにて、前記動画像予測復号装置は、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定することを特徴とする。 The moving picture predictive decoding method according to one aspect of the present invention is a moving picture executed by a moving picture predictive decoding apparatus including an image storage unit for storing a reference image used for decoding a subsequent image. This is a predictive decoding method, and compressed image data including a motion vector obtained by encoding a plurality of images constituting a moving image by either intra-screen prediction or inter-screen prediction using motion compensation. An input step for inputting, a restoration step for restoring a reproduced image by decoding the compressed image data, and the restored reproduced image as a reference image used for decoding a subsequent image in the image storage means When decoding the compressed image data obtained by the encoding by the inter-picture prediction including the image storing step to store and the fractional accuracy prediction, a sample generated by pixel interpolation is used. A rounding method determination step for determining a rounding method for a round value, and in the rounding method determination step, the video predictive decoding apparatus performs the rounding method to be performed at a sample position to be interpolated in a reference image. , And determining based on information of a rounding method used when the reference image is predicted as a target image.
本発明の一側面に係る動画像予測符号化プログラムは、コンピュータを、動画像を構成する複数の画像を入力する入力手段と、入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化手段と、生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段、として動作させ、前記丸め込み方法決定手段は、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定することを特徴とする。 A moving image predictive encoding program according to an aspect of the present invention provides a computer, an input unit that inputs a plurality of images constituting a moving image, and an input image between screens using intra prediction or motion compensation. Encoding means for generating compressed image data by encoding by one of predictions, restoration means for restoring a reproduced image by decoding the generated compressed image data, and the restored reproduced image An image storage means for storing the subsequent image as a reference image used for encoding, and pixel interpolation necessary for fractional accuracy prediction when the input image is encoded by the inter-screen prediction. A rounding method determining unit that determines a rounding method of a sample value to be generated, and the rounding method determining unit corresponds to a sample position to be interpolated in a reference image. Te, and determines how rounding said to be performed in the sample position.
また、本発明の一側面に係る動画像予測符号化プログラムは、コンピュータを、動画像を構成する複数の画像を入力する入力手段と、入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化手段と、生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段、として動作させ、前記丸め込み方法決定手段は、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定することを特徴とする。 The moving image predictive encoding program according to one aspect of the present invention uses a computer, input means for inputting a plurality of images constituting a moving image, and the input image using intra prediction or motion compensation. Encoding means for generating compressed image data by encoding by inter-screen prediction, restoration means for restoring a reproduced image by decoding the generated compressed image data, and the restored reproduction Image storage means for storing an image as a reference image used for encoding a subsequent image, and in-pixel necessary for fractional accuracy prediction when the input image is encoded by the inter-screen prediction And a rounding method determining means for determining a rounding method for sample values generated by the interpolation, wherein the rounding method determining means is a sample position to be interpolated in a reference image. It said rounding method to be performed in the reference image and determines based on the information on how the rounding is used when the predicted as the target image.
本発明の一側面に係る動画像予測復号プログラムは、コンピュータを、画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力手段と、前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段、として動作させ、前記丸め込み方法決定手段は、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定することを特徴とする。 A moving image predictive decoding program according to an aspect of the present invention is obtained by encoding a plurality of images constituting a moving image by using a computer by either intra prediction or inter prediction using motion compensation. In addition, input means for inputting compressed image data including a motion vector, restoration means for restoring a reproduced image by decoding the compressed image data, and decoding the restored reproduced image for subsequent images Image storage means for storing as a reference image to be used, and a method for rounding sample values generated by pixel interpolation when decoding the compressed image data obtained by encoding by inter-screen prediction including fractional accuracy prediction Rounding method determining means for determining the sample position according to the sample position to be interpolated in the reference image. And determines the rounding method to be performed by.
また、本発明の一側面に係る動画像予測復号プログラムは、コンピュータを、画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力手段と、前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段、として動作させ、前記丸め込み方法決定手段は、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定することを特徴とする。 The moving picture predictive decoding program according to one aspect of the present invention encodes a plurality of images constituting a moving picture by using either intra prediction or inter prediction using motion compensation. The obtained input means for inputting the compressed image data including the motion vector, the restoration means for restoring the reproduced image by decoding the compressed image data, and the subsequent image of the restored reproduced image are decoded. When decoding the compressed image data obtained by encoding by the inter-frame prediction including fractional accuracy prediction, the image storage means for storing the reference value used as a reference image, and the sample value generated by pixel interpolation Operating as rounding method determination means for determining a rounding method, said rounding method determination means being performed at the sample position to be interpolated in a reference image The fit inclusive method, the reference image and determines based on the information on how the rounding is used when the predicted as the target image.
以上のような本発明により、丸め込み誤差の蓄積を抑え、再生画像品質の向上、当該再生画像を参照画像として利用する画像の予測効率の向上、および主観性能の向上を実現する。 According to the present invention as described above, accumulation of rounding errors is suppressed, and the reproduction image quality is improved, the prediction efficiency of an image using the reproduction image as a reference image is improved, and the subjective performance is improved.
本発明によれば、分数精度動きの動き補償が利用され、動きベクトルが示す位置のサンプル値を画素内挿方式により生成する。その際、動きベクトルの揺らぎを考慮し、分数画素位置に応じて丸め込み方法を決定することで、画面全体で丸め込み誤差が蓄積されることを防ぎ、異なる参照画像を用いた動き補償を行う場合においても画面全体の丸め込み誤差の蓄積を抑え、再生画像品質の向上、当該再生画像を参照画像として利用する画像の予測効率の向上および主観性能の向上を実現する。 According to the present invention, motion compensation of fractional precision motion is used, and a sample value at a position indicated by a motion vector is generated by a pixel interpolation method. At that time, in consideration of fluctuations in the motion vector, the rounding method is determined according to the fractional pixel position to prevent accumulation of rounding errors in the entire screen, and when motion compensation using different reference images is performed. In addition, accumulation of rounding errors in the entire screen is suppressed, and the reproduction image quality is improved, the prediction efficiency of an image using the reproduction image as a reference image is improved, and the subjective performance is improved.
また、本発明によれば、丸め込み方法決定手段は、参照画像における内挿されるサンプル位置で行われるべき丸め込み方法を、参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定することで、丸め込み誤差の蓄積をより効果的に抑えることができる。 Further, according to the present invention, the rounding method determination means determines the rounding method to be performed at the sample position to be interpolated in the reference image, based on information on the rounding method used when the reference image is predicted as the target image. This makes it possible to more effectively suppress the accumulation of rounding errors.
以下、本発明に係る実施形態について、図2〜図20を用いて説明する。 Embodiments according to the present invention will be described below with reference to FIGS.
(第1の実施形態)
図2は第1の実施形態に係る動画像予測符号化装置200の構成を示すブロック図である。図2に示すように、動画像予測符号化装置200は、機能的な構成として、入力端子201、ブロック分割器202、予測信号生成器203、フレームメモリ204、減算器205、変換器206、量子化器207、逆量子化器208、逆変換器209、加算器210、エントロピー符号化器211、及び出力端子212を備える。各機能ブロックの動作は、後述する動画像予測符号化装置200の動作の中で説明する。変換器206と量子化器207は符号化手段に対応する。逆量子化器208、逆変換器209及び加算器210は復号手段に対応する。
(First embodiment)
FIG. 2 is a block diagram showing the configuration of the video
以上のように構成された動画像予測符号化装置200の動作を以下に述べる。符号化処理の対象となる複数枚の画像からなる動画像の信号は入力端子201に入力され、各画像はブロック分割器202により、複数の領域に分割される。本実施形態では、各画像は、8×8の画素からなる複数のブロックに分割されるが、それ以外のブロックの大きさまたはブロック形状に分割してもよい。次に、予測信号生成器203にて、符号化処理の対象となるブロック(以下「対象ブロック」と呼ぶ)を対象として、後述の予測方法により予測信号を生成する。本実施形態では、予測方法として、画面間予測と画面内予測の2種類の予測方法が利用可能とされており、画面間予測では双方向画面間予測も利用可能とされている。
The operation of the moving picture
ここで予測信号生成器203内の画面間予測器221の詳細について図3を用いて説明する。図3の画面間予測器221は、丸め込み方法決定器301、参照画像内挿器302、及び動き検出・動き補償器303を備える。
Details of the
画面間予測では、まずラインL204経由で、過去に符号化されたのちに復元された複数の再生画像が、参照画像として画面間予測器221(丸め込み方法決定器301及び参照画像内挿器302)に入力される。ここで、丸め込み方法決定器301は、入力された参照画像の内挿時に利用する丸め込み方法を決定する。丸め込み方法の詳細については後述する。
In inter-screen prediction, first, a plurality of reproduced images restored after being encoded in the past via line L204 are inter-screen predictors 221 (rounding
次に参照画像内挿器302は、ラインL301から入力された丸め込み方法情報に従い、参照画像に対して動き検出の精度に合わせて画素内挿を行い、内挿後の参照画像は動き検出・動き補償器303に送られる。動き検出・動き補償器303は、ラインL302経由で入力された複数の内挿された参照画像から、対象ブロックに対する誤差の最も小さい予測信号を求め、当該予測信号の変位である動き情報を求める。この処理は動き検出と呼ばれる。また場合に応じて、対象ブロックを再分割し、再分割された小領域に対し画面間予測方法を決定してもよい。この場合、各種の分割方法の中から、対象ブロック全体に対し最も効率のよい、小領域の分割方法及び各小領域の動き情報を決定する。なお、動き検出・動き補償測方法に関する詳細は、従来の技術であるMPEG−2,4、H.264のいずれかの方法と同じである。なお、動き検出・動き補償器303は、参照画像、上記の小領域の分割方法及び各小領域の動き情報から画面間予測信号を生成する。
Next, the
このように決定された小領域の分割方法情報及び各小領域の動き情報は、図2のラインL212経由でエントロピー符号化器211に送られ、エントロピー符号化器211により符号化された上で、その符号化データはラインL211経由で出力端子212から送出される。また複数の参照画像の中で、予測信号がどの参照画像から取得するかに関する情報(参照インデックス)も、予測信号生成器203からラインL212経由でエントロピー符号化器211に送られ、エントロピー符号化器211により符号化された上で、その符号化データはラインL211経由で出力端子212から送出される。なお、本実施形態では、4枚ないし5枚の再生画像がフレームメモリ204に格納され、参照画像として用いられる。
The subregion division method information and the motion information of each subregion determined in this way are sent to the
一方、画面内予測器222では画面内予測として、対象ブロックに空間的に隣接する既再生の画素値を用いて画面内予測信号を生成する。具体的には画面内予測器222は、同じ画面内にある既再生の画素信号をフレームメモリ204から取得し、既再生の画素信号を外挿することによって画面内予測信号を生成する。なお、画面内予測における外挿の方法に関する情報は、ラインL212経由でエントロピー符号化器211に送られ、エントロピー符号化器211により符号化された上で、その符号化データはラインL211経由で出力端子212から送出される。
On the other hand, the
以上、画面間予測と画面内予測の各々の基本動作を概説した。実際には、予測信号生成器203は、対象ブロックごとに、上述のように生成された画面間予測信号と画面内予測信号のうち、誤差の最も小さいものを選択し、選択された予測信号は、ラインL203経由で減算器205及び加算器210に送られる。
The basic operations of inter-screen prediction and intra-screen prediction have been outlined above. Actually, the
減算器205は、ラインL102経由で受け取った対象ブロックの信号から、ラインL103経由で受け取った予測信号を引き算し、残差信号を生成する。この残差信号は変換器206にて離散コサイン変換され、その各変換係数は量子化器207にて量子化される。最後に、量子化された変換係数はエントロピー符号化器211により符号化され、得られた符号化データは、予測方法に関する情報とともにラインL111経由で出力端子212より送出される。
The
一方、後続の対象ブロックに対する画面内予測もしくは画面間予測を行うために、上記量子化された変換係数(対象ブロックの符号化データ)は、逆量子化器208にて逆量子化されたのちに逆変換器209にて逆離散コサイン変換され、これにより残差信号が復元される。そして、加算器210により、復元された残差信号とラインL203から送られた予測信号とが加算され、これにより対象ブロックの信号が再生され、再生信号はフレームメモリ204に格納される。なお、本実施形態では変換器206と逆変換器209を用いているが、これらに代わる他の変換処理を用いてもよい。場合によって、変換器206と逆変換器209がなくてもよい。
On the other hand, in order to perform intra prediction or inter prediction for the subsequent target block, the quantized transform coefficient (the encoded data of the target block) is dequantized by the
次に、本実施形態に係る動画像予測復号装置について説明する。図4は本実施形態に係る画像予測復号装置400の構成を示す機能ブロックを示す。図4に示すように、動画像予測復号装置400は、機能的な構成として、入力端子401、データ解析器402、逆量子化器403、逆変換器404、加算器405、予測信号生成器408、フレームメモリ407、及び出力端子406を備える。各機能ブロックの動作は、後述する動画像予測復号装置400の動作の中で説明する。なお、復号に係る手段としては、逆量子化器403及び逆変換器404に限定されるものではなく、これら以外のものを用いてもよい。また、復号に係る手段は、逆変換器404を無くし逆量子化器403のみで構成してもよい。なお、逆量子化器403と逆変換器404は復号手段に対応する。
Next, the video predictive decoding device according to the present embodiment will be described. FIG. 4 shows functional blocks showing the configuration of the image
以上のように構成された動画像予測復号装置400の動作を以下に述べる。上述した符号化方法で得られた圧縮データは入力端子401から入力される。この圧縮データには、対象ブロックの残差信号、量子化パラメータ、及び予測信号の生成に関連する情報が含まれている。予測信号の生成に関連する情報としては、例えば画面間予測の場合は、ブロック分割に関する情報(小領域の分割方法情報(例えばブロックのサイズ等))、各小領域の動き情報及び上述の参照インデックスが含まれ、画面内予測の場合は周辺の既再生の画素からの外挿の方法に関する情報が含まれている。
The operation of the moving picture
データ解析器402にて、入力された圧縮データから、対象ブロックの残差信号、予測信号の生成に関連する情報、及び量子化パラメータを抽出する。これらのうち、対象ブロックの残差信号及び量子化パラメータは、ラインL402a経由で逆量子化器403に送られ、逆量子化器403は量子化パラメータをもとに対象ブロックの残差信号を逆量子化し、さらに、逆変換器404は逆量子化の結果を逆離散コサイン変換する。このようにして復元された残差信号はラインL404経由で加算器405に送られる。
The data analyzer 402 extracts the residual signal of the target block, information related to the generation of the prediction signal, and the quantization parameter from the input compressed data. Among these, the residual signal and quantization parameter of the target block are sent to the
一方、抽出された予測信号の生成に関する情報は、ラインL402b経由で予測信号生成器408に送られる。予測信号生成器408は、予測信号の生成に関する情報をもとに、フレームメモリ407内の複数の参照画像の中から適当な参照画像を取得し、当該適当な参照画像をもとに予測信号を生成する。予測信号生成器408は、画面間予測器409と画面内予測器410とを備える。また図5の画面間予測器409は、丸め込み方法決定器501、参照画像内挿器502、及び予測信号生成器503を備える。これらの動作の詳細については後述する。ここで、生成された予測信号はラインL308a経由で加算器405に送られ、加算器405により上記復元された残差信号に加算され、その結果、対象ブロックの信号が再生される。再生された対象ブロックの信号は、ラインL405経由で出力端子206から出力されると共に、再生画像としてフレームメモリ407に格納される。
On the other hand, information regarding the generation of the extracted prediction signal is sent to the
以下に本実施形態における動画像予測符号化方法及び動画像予測復号方法で用いられる丸め込み方法および参照画像の内挿処理を説明する。以下では、丸め込み方法決定器301の動作を説明するが、丸め込み方法決定器501の動作も同様である。
The rounding method used in the moving picture predictive encoding method and the moving picture predictive decoding method in this embodiment and the interpolation process of a reference image will be described below. The operation of the rounding
H.264などで利用される動き検出・動き補償では、より探索信号の精度を向上させるため動きの精度が1/2画素精度、1/4画素精度が利用される。また、さらに精度の高い1/8画素精度の動き情報が利用される場合もある。しかし、これらの分数画素位置に対応するサンプル値は存在しない。そのため、これらの分数画素位置のサンプル値が内挿方式にて生成されることが多い。また、H.264において符号化される映像として、輝度情報に対して、色差信号が半分の解像度しか持たない映像フォーマットも対象とする。この時、一般に色差情報に対する動きの情報は、輝度情報に対する動き情報の半分の動きを持つものと定義される。図6は、画素601、602、603、604の画素のサンプル値をIa,Ib,Ic,Idとすると(Ia,Ib,Ic,Idは負ではない整数)、内挿される位置のサンプル値(図6の×や△)はIa,Ib,Ic,Idを用いて以下の式(1)によって生成される。
ここで丸め込み方法決定器301は、丸め込み方法として内挿されたサンプル値をサンプル位置に基づき、算出されたサンプル値の小数部分の値(以下「小数値」という)が0.5の場合に当該小数値を切り上げるか、切捨てるかを決定する。図7において輝度情報に対する動きの精度が1/8画素精度の場合の色差信号に対する丸め込み方法の位置による違いを示す。ここで、輝度情報に対する動きの精度が1/8画素精度であるため、色差信号に対する精度は1/16画素精度であることを意味する。図7において1/16画素精度の垂直方向位置をk、水平方向位置をlとしており、丸め込み方法決定器301は、分数精度動きが示す位置(k,l)に応じて丸め込み方法を決定する。図7においてAは丸め込み方法としてサンプル値の小数値が0.5の場合に切り上げを実施する位置を、Bは丸め込み方法としてサンプル値の小数値が0.5の場合に切り捨てを実施する位置を、それぞれ意味する。このときの決定に関する制御は、上記の式(1)におけるroundを変更することで実現される。すなわち画素位置Aではround=d2/2と設定し、画素位置Bではround=(d2/2)-1と設定する。また、図7におけるroundの値は以下のように表現される。
ここで、int(x)はxの整数部分の値を示し、&はビット演算を示す。すなわち、
は、
が奇数の場合には、1となり、
が偶数の場合には、0となり、上記の決定に関する制御を実現することができる。
H. In motion detection / compensation used in H.264 or the like, the accuracy of motion is 1/2 pixel accuracy or 1/4 pixel accuracy in order to further improve the accuracy of the search signal. Further, motion information with 1/8 pixel accuracy with higher accuracy may be used. However, there are no sample values corresponding to these fractional pixel positions. Therefore, sample values at these fractional pixel positions are often generated by an interpolation method. Further, as a video encoded in H.264, a video format in which a color difference signal has only half the resolution with respect to luminance information is also targeted. At this time, generally, the motion information for the color difference information is defined as having half the motion information for the luminance information. In FIG. 6, assuming that the sample values of the
Here, the rounding
Here, int (x) indicates the value of the integer part of x, and & indicates a bit operation. That is,
Is
Is 1 if it is odd,
Is an even number, it becomes 0, and the control related to the above determination can be realized.
なお、本実施形態では丸め込み方法の決定に関する制御としてroundの式を上記のように設定したがこれに限るものではない。例えば位置(k,l)をキーとして、予め定めた表を参照することによりroundの値が決定されてもよい。 In the present embodiment, the round expression is set as described above as control related to the determination of the rounding method, but the present invention is not limited to this. For example, the value of round may be determined by referring to a predetermined table using the position (k, l) as a key.
また、本実施形態では、図7のように丸め込み方法AとBを市松模様に変更しているが、これに限るものではない。図8のように図7と丸め込み方法AとBの位置が逆であってもよい。また、図14や図15のように一列毎に丸め込み方法が変更されてもよい。また、図16のように図7よりも細かい市松模様上に丸め込み方法AとBを変更するよう設定してもよい。なお、本実施形態では1/16画素精度の例を示したが、それ以外の1/d画素精度(dは2以上の整数)である場合でも適用可能であることは言うまでもない。 In this embodiment, the rounding methods A and B are changed to a checkered pattern as shown in FIG. 7, but the present invention is not limited to this. As shown in FIG. 8, the positions of the rounding methods A and B in FIG. 7 may be reversed. Further, the rounding method may be changed for each column as shown in FIGS. Further, the rounding methods A and B may be set to be changed on a checkered pattern finer than that in FIG. 7 as shown in FIG. In the present embodiment, an example of 1/16 pixel accuracy is shown, but it goes without saying that the present invention can be applied to other 1 / d pixel accuracy (d is an integer of 2 or more).
また、本実施形態では、全ての参照画像に対して同一の分数画素位置に基づく丸め込み方法を決定したが、これに限るものではない。参照画像ごとに異なる分数画素位置に基づく丸め込み方法を変更してもよい。 In this embodiment, the rounding method based on the same fractional pixel position is determined for all reference images, but the present invention is not limited to this. The rounding method based on different fractional pixel positions for each reference image may be changed.
また、本実施形態では、内挿されたサンプル値の小数点以下が0.5となる場合の丸め込み方法の切り替えを示したがこれに限るものではない。内挿されたサンプル値を常に切り上げる方法や切り捨てる方法を切り替えてもよい。 In the present embodiment, the switching of the rounding method when the fractional part of the interpolated sample value is 0.5 is shown, but the present invention is not limited to this. The method of always rounding up or discarding the interpolated sample value may be switched.
また、本実施形態における位置に基づく丸め込み方法の変更は、符号化の状況によらず一定に利用したが、これに限るものではない。例えば片方向予測を行うときと双方向予測を行う場合とで異なる分数画素位置に基づく丸め込み方法の変更を行ってもよい。また、双方向予測の際に用いられる二種の予測信号に利用される参照画像に対して異なる丸め込み方法を利用してもよい。 In addition, the change of the rounding method based on the position in the present embodiment is constantly used regardless of the encoding status, but is not limited thereto. For example, the rounding method may be changed based on fractional pixel positions that differ between when performing unidirectional prediction and when performing bidirectional prediction. Further, different rounding methods may be used for reference images used for two types of prediction signals used in bidirectional prediction.
また、本実施形態では色差信号に対する例を示したが、本実施形態における画素値として輝度信号および色差信号への適用が可能である。また、輝度信号および色差信号に対して共通の分数画素位置に基づく丸め込み方法を利用してもよいし、異なる分数画素位置に基づく丸め込み方法を利用してもよい。また、輝度信号もしくは色差信号のどちらかに分数画素位置に基づく丸め込み方法を決定してもよい。 In this embodiment, an example of a color difference signal is shown. However, the pixel value in this embodiment can be applied to a luminance signal and a color difference signal. Further, a rounding method based on a common fractional pixel position for the luminance signal and the color difference signal may be used, or a rounding method based on a different fractional pixel position may be used. Further, a rounding method based on the fractional pixel position may be determined for either the luminance signal or the color difference signal.
次に、参照画像内挿器302の動作について説明する(参照画像内挿器502の動作も同様である)。本実施形態における参照画像内挿器302は、丸め込み方法決定器301で決定された分数画素位置に基づく丸め込み方法を用いて参照画像に対して内挿処理を実施する。具体的には参照画像から図6のように隣接する4つの画素601〜604を選択し、動き検出に利用される分数画素精度に応じて、予め設定された内挿方式と丸め込み方法に基づき上記4つの画素からのサンプル値の内挿処理を行う。そして、所定の分数画素精度のサンプル値が内挿された参照画像は動き検出のために利用される。本実施形態では、前述した式(1)で定義した共1次内挿方式(bi-linear interpolation)が行われる。
Next, the operation of the
なお、本実施形態では、予め内挿方式が設定されている例を示したが、これに限るものではなく、外部から内挿方式の情報が入力されてもよい。その場合、参照画像内挿器302と502が同一の方法を利用できるように、内挿方式を示す情報が参照画像内挿器302から参照画像内挿器502へ送信されてもよい。
In the present embodiment, an example in which an interpolation method is set in advance has been described. However, the present invention is not limited to this, and information on the interpolation method may be input from the outside. In that case, information indicating the interpolation method may be transmitted from the
また、本実施形態における内挿方式として共1次内挿方式を示したが、これに限るものではない。1次元の内挿式などを複数回実施してサンプル値の内挿処理を行ってもよい。 Further, although the bilinear interpolation method is shown as the interpolation method in the present embodiment, the present invention is not limited to this. A sample value may be interpolated by performing a one-dimensional interpolation formula a plurality of times.
また、本実施形態ではサンプルの内挿に利用される画素数が4画素の例を示したが、これに限るものではない。より多くの画素を用いた内挿や2画素のみを用いた内挿が行われてもよい。 In this embodiment, an example in which the number of pixels used for sample interpolation is four pixels is shown, but the present invention is not limited to this. Interpolation using more pixels or only two pixels may be performed.
また、本実施形態では、参照画像に対する内挿処理は参照画像全体に対し行われたが、これに限るものではない。例えば、動き検出の検索範囲にある領域毎に内挿処理が行われてもよい。また、動画像予測復号装置では、分数画素動きベクトルが示す位置のサンプル値に対する丸め込み方法が決定されればよい。このようなサンプル値の計算をすることにより限定的な画素領域での内挿処理が行われるため、使用されるメモリ量を削減する効果が得られる。 In the present embodiment, the interpolation process for the reference image is performed on the entire reference image, but the present invention is not limited to this. For example, the interpolation processing may be performed for each region in the motion detection search range. Further, in the video predictive decoding apparatus, it is only necessary to determine a rounding method for the sample value at the position indicated by the fractional pixel motion vector. By calculating such sample values, interpolation processing in a limited pixel region is performed, so that an effect of reducing the amount of memory used can be obtained.
そして、動き検出・動き補償器303は、内挿処理された複数の参照画像を用いて各対称ブロックで動き検出が行われ、動き補償により画面間予測信号が生成される。生成された画面間予測信号はラインL203経由で差分器205に送られる。また、動き検出・動き補償器303で決定された予測信号生成に関する情報であるブロック分割に関する情報、動きベクトルおよび参照インデックスなどがラインL212経由でエントロピー符号化器211へ出力される。なお、動き検出・動き補償器303の動作は従来のH.264やMPEG4などで利用される方法と同一であればよい。
The motion detector /
一方、画面間予測信号生成器503は、予測信号に関する情報に基づき予測信号(画面間予測信号)を生成し出力する。この画面間予測信号生成器503の動作は、従来のH.264やMPEG4などで利用される方法と同一であればよい。
On the other hand, the inter-screen
図9は、本実施形態における動画像予測符号化方法における画面間予測器221の動作のフローチャートを示す。まずステップS901にてフレームメモリ204に保存された複数の参照画像が画面間予測器221に入力される。次にステップS902にて、丸め込み方法決定器301は、動きの分数画素精度に基づき、分数画素位置に応じて内挿サンプル値の小数値が0.5となる場合の丸め込み方法を決定する。詳細な決定方法は上述の通りである。そして、ステップ903では、参照画像内挿器302は、ステップ902にて決定された分数画素位置に基づく丸め込み方法および予め設定された内挿方式に基づいて参照画像の内挿処理を行う。そしてステップS904にて、動き検出・動き補償器303は、動き検出・動き補償を行い、画面間予測信号を生成する。そしてステップS905にて動き検出・動き補償器303は、生成された画面間予測信号および予測に関する情報を出力して処理を終了する。
FIG. 9 shows a flowchart of the operation of the
図10は、本実施形態における動画像予測復号方法における画面間予測器409の動作のフローチャートを示す。まずステップS1001にて復号された動き情報である動きベクトルや参照インデックスと、フレームメモリ407に保存された参照画像とが画面間予測器409に入力される。次にステップS1002では、丸め込み方法決定器501は、動きベクトルが示す分数画素位置に応じて内挿サンプル値の小数値が0.5となる場合の丸め込み方法を決定する。そして、ステップS1003では、参照画像内挿器502は、ステップS1002で決定された丸め込み方法および内挿方式に基づき参照画像に対して内挿処理を行う。そして次にステップS1004にて予測信号生成器503は、予測信号に関する情報に基づき画面間予測信号を生成し、そしてステップS1005にて、生成された画面間予測信号を出力して処理を終了する。
FIG. 10 shows a flowchart of the operation of the
本実施形態によれば、分数精度動きの動き補償が利用され、分数精度の動きベクトルが示す位置におけるサンプル値を画素内挿方式により生成する。その際、動きベクトルの揺らぎを考慮し、動きが示す分数画素位置に応じて丸め込み方法を決定することで、丸め込み誤差の蓄積原因となるサンプル値の小数以下の値が0.5となる場合の丸め込み方法をランダム化する。これにより、異なる参照画像を用いた動き補償を行う場合においても画面全体での丸め込み誤差の蓄積を抑え、再生画像品質の向上、当該再生画像を参照画像として利用する画像全面の予測効率の向上および主観性能の向上を実現することができる。 According to the present embodiment, motion compensation of fractional precision motion is used, and a sample value at a position indicated by a fractional precision motion vector is generated by a pixel interpolation method. At that time, considering the fluctuation of the motion vector, by determining the rounding method according to the fractional pixel position indicated by the motion, the rounding method when the value less than the decimal of the sample value that causes accumulation of rounding error is 0.5 Is randomized. As a result, even when motion compensation using different reference images is performed, accumulation of rounding errors in the entire screen is suppressed, the reproduction image quality is improved, the prediction efficiency of the entire image using the reproduction image as a reference image is improved, and An improvement in subjective performance can be realized.
(第2の実施形態)
以下、本発明に係る第2の実施形態を説明する。第2の実施形態における動画像予測符号化装置および動画像予測復号装置の全体構成は、前述した図2の動画像予測符号化装置200および図4の動画像予測復号装置400の全体構成と同様であるので、説明を省略する。但し、動画像予測符号化装置200内の画面間予測器221および動画像予測復号装置400内の画面間予測器409の構成・動作が、第1の実施形態とは異なるので、以下に説明する。
(Second Embodiment)
The second embodiment according to the present invention will be described below. The overall configuration of the video predictive encoding device and video predictive decoding device in the second embodiment is the same as the overall configuration of the video
図11の画面間予測器221は、丸め込み方法決定器1101と、参照画像内挿器1102と、動き検出・動き補償器1103とを備える。ここで、参照画像内挿器1102は図3の参照画像内挿器302と、動き検出・動き補償器1103は動き検出・動き補償器303と同一の機能を果たす。また、丸め込み方法決定器1101は、動き検出・動き補償器1103からラインL1103経由で予測信号生成に関する情報を入力可能とされている。
The
また、図12の画面間予測器409は、丸め込み方法決定器1201と、参照画像内挿器1202と、予測信号生成器1203とを備える。ここで、参照画像内挿器1202は図5の参照画像内挿器502と、予測信号生成器1203は予測信号生成器503と同一の機能を果たす。また、丸め込み方法決定器1201はデータ解析器402からラインL402b経由で、抽出された予測信号に関する情報を入力可能とされている。
12 includes a rounding
第2の実施形態における丸め込み方法決定器1101および1201は、参照画像が対象画像として予測された際に利用された丸め込み方法とは異なる丸め込み方法を、内挿されるサンプル値の位置に応じて決定する。
The rounding
本実施形態では分数画素位置に基づくサンプル値の小数値が0.5となる際の丸め込み方法は、図7に示す方法と図8に示す方法の2つの方法を用いるものとする。ここでは、図7に示した丸め込み方法をround_M1、図8に示した丸め込み方法をround_M2と定義する。 In the present embodiment, the rounding method when the decimal value of the sample value based on the fractional pixel position becomes 0.5 uses two methods, the method shown in FIG. 7 and the method shown in FIG. Here, the rounding method shown in FIG. 7 is defined as round_M1, and the rounding method shown in FIG. 8 is defined as round_M2.
本実施形態では、画面間予測器221、409全体の処理の流れは、前述した図9および図10の処理の流れと同様であるため、その説明は省略する。そこで、以下では、画面間予測器221内の丸め込み方法決定器1101の動作について、図13のフローチャートを用いて説明する(画面間予測器409内の丸め込み方法決定器1201の動作も同様である)。前提として、丸め込み方法決定器1101は、動き検出・動き補償器1103によって決定された参照画像(予測信号に用いられる参照画像)が生成された際の丸め込み方法の情報をラインL1103経由で動き検出・動き補償器1103から取り込み保存しておく。
In the present embodiment, the process flow of the
対象画像の丸め込み方法は以下のように、対象ブロック生成の際に用いられた丸め込み方法の採用回数によって決定される。対象ブロックに利用された丸め込み方法の採用回数は、カウンタRound_countによりカウントされる。 The rounding method of the target image is determined by the number of times the rounding method used at the time of generating the target block is adopted as follows. The number of rounds used for the target block is counted by a counter Round_count.
まず、ステップS1301にて各予測ブロックの予測に関する情報である動き情報および参照インデックス、並びに対象ブロックの生成方法情報(画面内予測、画面間予測など)が入力される。次に、丸め込み方法決定器1101は、ステップS1302にて対象ブロックの生成方法が画面内予測であるか画面間予測であるかを判定する。対象ブロックの生成方法が画面内予測の場合には、丸め込み方法決定器1101は、当該予測ブロックに利用された丸め込み方法は予め定められた丸め込み方法(ここでは、一例としてround_M1)であるとしてRound_count[round_M1]に1を加算する(ステップS1303)。また、画像が画面間予測で生成された場合は、丸め込み方法決定器1101は、双方向予測ブロックか否かを判定する(ステップS1304)。この時、片方向予測で生成されたブロックの場合には、丸め込み方法決定器1101は、予測時の参照画像に用いられた丸め込み方法ref_round(round_M1もしくはround_M2)のカウンタRound_count[ref_round]に1を加算する(ステップS1305)。即ち、参照画像に用いられた丸め込み方法がround_M1の場合は、Round_count[round_M1]に1を加算し、参照画像に用いられた丸め込み方法がround_M2の場合は、Round_count[round_M2]に1を加算する。
First, in step S1301, motion information and reference indexes, which are information related to prediction of each prediction block, and target block generation method information (intra-screen prediction, inter-screen prediction, etc.) are input. Next, the rounding
一方、双方向予測の場合には、丸め込み方法決定器1101は、ステップS1306にて各方向の予測について、過去の参照画像に用いられた丸め込み方法をround[LIST0]、未来の参照画像に用いられた丸め込み方法をround[LIST1]と定義した場合に、round[LIST0]とround[LIST1]とが同一の丸め込み方法であるかどうかを判定する。判定の結果、round[LIST0]とround[LIST1]とが同一の丸め込み方法である場合には、その同一の丸め込み方法ref_round(round_M1もしくはround_M2)のカウンタRound_count[ref_round]に1を加算する。即ち、同一の丸め込み方法がround_M1の場合は、Round_count[round_M1]に1を加算し、同一の丸め込み方法がround_M2の場合は、Round_count[round_M2]に1を加算する。
On the other hand, in the case of bidirectional prediction, the rounding
また、round[LIST0]とround[LIST1]とが異なる場合には、丸め込み方法決定器1101は、予め定められた丸め込み方法(ここでは、一例としてround_M1)のカウンタRound_count[round_M1]に1を加算する(ステップS1308)。そして、予測ブロックが予測画像の最終ブロックかどうかが判定される(ステップS1309)。ここで、最終ブロックでない場合には、S1301からS1308のステップが繰り返し行われる。
When round [LIST0] and round [LIST1] are different, rounding
一方、ステップS1309で最終ブロックである場合には、丸め込み方法決定器1101は、ステップS1310にてカウンタRound_countの値が大きい方の丸め込み方法ref_roundを、対象画像に利用される丸め込み方法(以下「代表丸め込み方法」という)として決定し保存する。
On the other hand, if it is the last block in step S1309, the rounding
その後、丸め込み方法決定器1101は、代表丸め込み方法の情報が保存された対象画像が、次の予測信号生成時に参照画像として入力された際には、当該参照画像に対して、保存された代表丸め込み方法設定とは異なる丸め込み方法を決定する。具体的には、例えば第nフレームを対象画像として生成した際に代表丸め込み方法として丸め込み方法round_M1が決定された場合には、第(n+x)フレーム(xは正の整数)を対象画像の予測信号生成のために第nフレームを参照画像として利用する際に、第nフレームに対して、丸め込み方法round_M1とは異なる丸め込み方法round_M2が決定される。
Thereafter, when the target image in which the information on the representative rounding method is stored is input as a reference image at the time of the next prediction signal generation, the rounding
上述のように丸め込み方法決定器1101により丸め込み方法を決定した後、代表丸め込み方法の情報は参照画像内挿器1102に送信される。そして、参照画像内挿器1102により内挿処理が行われ、動き検出・動き補償器1103により、内挿処理された参照画像を用いて動き検出・動き補償が行われ、予測信号が生成され、さらに、予測ブロックおよび予測信号に関する情報が出力される。その詳細な動作は前述の通りである。また、予測信号に関する情報は、対象画像の代表丸め込み方法を決定するために、動き検出・動き補償器1103から丸め込み方法決定器1101へラインL1103経由で送られる。
After determining the rounding method by the rounding
なお、本実施形態では、画面内予測で生成された場合には、丸め込み方法round_M1と設定したがこれに限るものではなく、丸め込み方法round_M2と設定してもよい。また、それ以外の丸め込み方法を用いてもよい。このとき、分数画素位置に基づく丸め込み方法であることが望ましい。 In the present embodiment, the rounding method round_M1 is set when generated by intra prediction, but the present invention is not limited to this, and the rounding method round_M2 may be set. Other rounding methods may be used. At this time, the rounding method based on the fractional pixel position is desirable.
また、本実施形態では、異なる丸め込み方法を用いた参照画像から作られる予測信号を合成して作られた双方向予測ブロックは、丸め込み方法設定round_M1として扱ったがこれに限るものではなく、例えば、過去および未来の参照画像のうち、参照画像画質が高い方の丸め込み方法設定として扱ってもよい。その場合、参照画像に利用された量子化パラメータを用いて判断してもよい。また、参照画像ごとにPSNRなどの客観的性能を保持していればその値を利用してもよい。 In the present embodiment, the bi-directional prediction block generated by synthesizing the prediction signal generated from the reference image using different rounding methods is treated as the rounding method setting round_M1, but is not limited thereto. Of the past and future reference images, the rounding method setting with the higher reference image quality may be handled. In this case, the determination may be made using the quantization parameter used for the reference image. Further, if objective performance such as PSNR is held for each reference image, the value may be used.
また、双方向予測ブロックを生成する際の丸め込み方法は、各方向からの予測信号に用いられた丸め込み方法を参照して、切り上げもしくは切り捨てが決定されてもよい。 In addition, as a rounding method when generating the bidirectional prediction block, rounding up or rounding down may be determined with reference to the rounding method used for the prediction signal from each direction.
また、本実施形態では、丸め込み方法の種類が2種類である際の例を示したが、これに限るものではない。例えば、画面内予測に対して、又は、異なる丸め込み方法設定を用いた参照画像により生成された予測信号を合成した双方向予測に対して、第3の丸め込み方法であるround_M3を用いてもよい。 In the present embodiment, an example in which there are two types of rounding methods has been described, but the present invention is not limited to this. For example, the third rounding method round_M3 may be used for intra prediction or for bi-directional prediction in which prediction signals generated by reference images using different rounding method settings are combined.
また、本実施形態では代表丸め込み方法の数は1つとしたが、これに限るものではない。1つの参照画像について複数の代表丸め込み方法が決定されてもよい。例えば画面内の複数の領域の位置に応じてそれぞれ代表丸め込み方法が決定されてもよい。 In the present embodiment, the number of representative rounding methods is one, but the number is not limited to this. A plurality of representative rounding methods may be determined for one reference image. For example, the representative rounding method may be determined in accordance with the positions of a plurality of regions in the screen.
また、本実施形態ではブロックの予測モードに基づいて代表丸め込み方法を決定したがこれに限るものではない。その他の予測信号生成に関する情報に基づいて代表丸め込み方法を決定してもよい。例えば、参照画像および動きベクトルの位置によって代表丸め込み方法を決定してもよい。また、参照画像に利用された量子化パラメータに基づいて代表丸め込み方法を決定してもよい。 In this embodiment, the representative rounding method is determined based on the block prediction mode, but the present invention is not limited to this. The representative rounding method may be determined based on other information related to prediction signal generation. For example, the representative rounding method may be determined based on the position of the reference image and the motion vector. Also, the representative rounding method may be determined based on the quantization parameter used for the reference image.
また、本実施形態では、選択された丸め込み方法の採用回数に基づき、代表丸め込み方法を決定したが、実際に動きベクトルが示す位置の画素に対して用いられた丸め込み方法の採用回数を用いても代表丸め込み方法を決定してもよい。 In this embodiment, the representative rounding method is determined based on the number of times the selected rounding method is used. However, the rounding method used for the pixel at the position indicated by the motion vector may be used. A representative rounding method may be determined.
また、参照画像として利用されない対象画像の場合には、上記処理を行わなくてもよい。これにより余計な計算をすることなく動画像予測符号化および復号の処理負荷の軽減が可能である。 In addition, in the case of a target image that is not used as a reference image, the above process may not be performed. As a result, it is possible to reduce the processing load of moving picture predictive encoding and decoding without extra calculations.
また、本実施形態では、対象画像に対して利用された代表丸め込み方法の決定方法として、対象画像内で最も多く用いられた丸め込み方法を代表丸め込み方法として決定したが、これに限るものではない。ある条件を満たし且つ最も多く選択された丸め込み方法を代表丸め込み方法として決定してもよい。例えば、最も多く用いられた丸め込み方法が画像に含まれるブロックのうちZ[%](ここではZ=66と定義する)を超える場合のみ、当該最も多く用いられた丸め込み方法を代表丸め込み方法として決定してもよい。もし、上記条件が満たされない場合には、代表丸め込み方法として、予め定められた丸め込み方法(一例としてround_M1)に決定すればよい。また、上記の最も多く用いられた丸め込み方法とは異なる丸め込み方法を、代表丸め込み方法として決定してもよい。 In the present embodiment, as the representative rounding method used for the target image, the rounding method used most frequently in the target image is determined as the representative rounding method. However, the present invention is not limited to this. The rounding method that satisfies a certain condition and is selected most often may be determined as the representative rounding method. For example, the most frequently used rounding method is determined as the representative rounding method only when the most used rounding method exceeds Z [%] (defined here as Z = 66) among the blocks included in the image. May be. If the above condition is not satisfied, a predetermined rounding method (for example, round_M1) may be determined as the representative rounding method. In addition, a rounding method different from the most frequently used rounding method may be determined as the representative rounding method.
また、上述の例で対象画像生成時に利用された参照画像の丸め込み方法設定に偏りがない場合には、フレームメモリに保存される複数の参照画像の代表丸め込み方法設定を確認して、偏りがない対象画像に対して、上記複数の参照画像の代表丸め込み方法のうち、数の少ない代表丸め込み方法が決定されてもよい。例えば、参照画像バッファ内に存在する4枚の参照画像のうち3枚が丸め込み方法設定round_M1で生成されている場合には、丸め込み方法設定の偏りなしに生成された参照画像を利用する際に、上記の丸め込み方法設定round_M1とは異なる代表丸め込み方法設定round_M2を利用してもよい。 In addition, if there is no bias in the setting of the reference image rounding method used when generating the target image in the above example, the representative rounding method setting of a plurality of reference images stored in the frame memory is confirmed, and there is no bias. Of the plurality of reference image representative rounding methods, a small number of representative rounding methods may be determined for the target image. For example, when three of four reference images existing in the reference image buffer are generated with the rounding method setting round_M1, when using a reference image generated without bias in the rounding method setting, A representative rounding method setting round_M2 different from the above rounding method setting round_M1 may be used.
本実施形態によれば、複数の丸め込み方法を利用して生成された複数の参照画像を用いて予測信号の生成を行う際に、参照画像ごとに利用された丸め込み方法を加味した上で分数画素位置に応じて丸め込み方法を決定することができるため、ブロック毎の分数画素位置による丸め込み方法のランダム性をさらに向上させることができ、丸め込み誤差の蓄積をより効果的に抑えることができる。 According to the present embodiment, when generating a prediction signal using a plurality of reference images generated by using a plurality of rounding methods, a fractional pixel is added after taking into account the rounding method used for each reference image. Since the rounding method can be determined according to the position, the randomness of the rounding method based on the fractional pixel position for each block can be further improved, and accumulation of rounding errors can be more effectively suppressed.
なお、第2実施形態では、参照画像ごとに利用された丸め込み方法を加味した上で分数画素位置に応じて丸め込み方法を決定したが、複数の参照画像を用いて予測信号の生成を行う際には、分数画素位置に応じた丸め込み方法の決定は行わずに、参照画像ごとに利用された丸め込み方法を加味して丸め込み方法を決定してもよい。このように参照画像ごとに利用された丸め込み方法を加味して丸め込み方法を決定するだけでも、丸め込み誤差の蓄積を効果的に抑えることができ、再生画像品質の向上、当該再生画像を参照画像として利用する画像全面の予測効率の向上および主観性能の向上を実現することができる。 In the second embodiment, the rounding method is determined according to the fractional pixel position in consideration of the rounding method used for each reference image. However, when generating a prediction signal using a plurality of reference images, The rounding method may be determined in consideration of the rounding method used for each reference image without performing the rounding method according to the fractional pixel position. In this way, even if the rounding method used for each reference image is taken into account and only the rounding method is determined, the accumulation of rounding errors can be effectively suppressed, the reproduction image quality is improved, and the reproduction image is used as the reference image. It is possible to improve the prediction efficiency and the subjective performance of the entire image to be used.
[動画像予測符号化プログラム、動画像予測復号プログラムについて]
動画像予測符号化装置に係る発明は、コンピュータを動画像予測符号化装置として機能させるための動画像予測符号化プログラムに係る発明として捉えることができる。同様に、動画像予測復号装置に係る発明は、コンピュータを動画像予測復号装置として機能させるための動画像予測復号プログラムに係る発明として捉えることができる。
[About a video predictive encoding program and a video predictive decoding program]
The invention relating to the moving picture predictive coding apparatus can be understood as an invention relating to a moving picture predictive coding program for causing a computer to function as a moving picture predictive coding apparatus. Similarly, the invention relating to the moving picture predictive decoding apparatus can be regarded as an invention relating to a moving picture predictive decoding program for causing a computer to function as a moving picture predictive decoding apparatus.
動画像予測符号化プログラム及び動画像予測復号プログラムは、例えば、記録媒体に格納されて提供される。なお、記録媒体としては、フレキシブルディスク、CD−ROM、DVD等の記録媒体、あるいはROM等の記録媒体、あるいは半導体メモリ等が例示される。 The moving picture predictive encoding program and the moving picture predictive decoding program are provided by being stored in a recording medium, for example. Examples of the recording medium include a recording medium such as a flexible disk, a CD-ROM, a DVD, a recording medium such as a ROM, or a semiconductor memory.
図19には、コンピュータを動画像予測符号化装置として機能させるための動画像予測符号化プログラムのモジュールを示す。図19に示すように、動画像予測符号化プログラムP200は、入力モジュールP201、符号化モジュールP202、復元モジュールP203、画像格納モジュールP204、及び丸め込み方法決定モジュールP205を備えている。 FIG. 19 shows modules of a moving picture predictive coding program for causing a computer to function as a moving picture predictive coding apparatus. As shown in FIG. 19, the moving picture predictive encoding program P200 includes an input module P201, an encoding module P202, a restoration module P203, an image storage module P204, and a rounding method determination module P205.
また、図20には、コンピュータを動画像予測復号装置として機能させるための動画像予測復号プログラムのモジュールを示す。図20に示すように、動画像予測復号プログラムP400は、入力モジュールP401、復元モジュールP402、画像格納モジュールP403、及び丸め込み方法決定モジュールP404を備えている。 FIG. 20 shows a module of a moving picture predictive decoding program for causing a computer to function as a moving picture predictive decoding apparatus. As shown in FIG. 20, the moving picture predictive decoding program P400 includes an input module P401, a restoration module P402, an image storage module P403, and a rounding method determination module P404.
上記のように構成された動画像予測符号化プログラムP200及び動画像予測復号プログラムP400は、図18に示す記録媒体10に記憶可能であり、後述する図17のコンピュータ30により実行される。
The moving picture predictive encoding program P200 and the moving picture predictive decoding program P400 configured as described above can be stored in the
図17は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図18は、記録媒体に記憶されたプログラムを実行するためのコンピュータの概観図である。コンピュータとしては、CPUを具備しソフトウエアによる処理や制御を行うDVDプレーヤ、セットトップボックス、携帯電話などを含む。 FIG. 17 is a diagram illustrating a hardware configuration of a computer for executing a program recorded on a recording medium, and FIG. 18 is an overview of the computer for executing a program stored on the recording medium. Examples of the computer include a DVD player, a set top box, a mobile phone, etc. that have a CPU and perform processing and control by software.
図17に示すように、コンピュータ30は、フレキシブルディスクドライブ装置、CD−ROMドライブ装置、DVDドライブ装置等の読み取り装置12と、オペレーティングシステムを常駐させた作業用メモリ(RAM)14と、記録媒体10に記憶されたプログラムを記憶するメモリ16と、ディスプレイといった表示装置18と、入力装置であるマウス20及びキーボード22と、データ等の送受信を行うための通信装置24と、プログラムの実行を制御するCPU26とを備えている。コンピュータ30は、記録媒体10が読み取り装置12に挿入されると、読み取り装置12から記録媒体10に格納された動画像予測符号化プログラムにアクセス可能になり、当該動画像予測符号化プログラムによって、本発明に係る動画像予測符号化装置として動作することが可能になる。同様に、コンピュータ30は、記録媒体10が読み取り装置12に挿入されると、読み取り装置12から記録媒体10に格納された動画像予測復号プログラムにアクセス可能になり、当該動画像予測復号プログラムによって、本発明に係る動画像予測復号装置として動作することが可能になる。
As shown in FIG. 17, the
図18に示すように、動画像予測符号化プログラム又は動画像予測復号プログラムは、搬送波に重畳されたコンピュータデータ信号40としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ30は、通信装置24によって受信された動画像予測符号化プログラム又は動画像予測復号プログラムをメモリ16に格納して実行することができる。
As shown in FIG. 18, the moving picture predictive encoding program or the moving picture predictive decoding program may be provided via a network as a computer data signal 40 superimposed on a carrier wave. In this case, the
10…記録媒体、30…コンピュータ、200…動画像予測符号化装置、201…入力端子、202…ブロック分割器、203…予測信号生成器、204…フレームメモリ、205…減算器、206…変換器、207…量子化器、208…逆量子化器、209…逆変換器、210…加算器、211…エントロピー符号化器、212…出力端子、221…画面間予測器、222…画面内予測器、301…丸め込み方法決定器、302…参照画像内挿器、303…動き検出・動き補償器、400…動画像予測復号装置、401…入力端子、402…データ解析器、403…逆量子化器、404…逆変換器、405…加算器、406…出力端子、407…フレームメモリ、408…予測信号生成器、409…画面間予測器、410…画面内予測器、501…丸め込み方法決定器、502…参照画像内挿器、503…画面間予測信号生成器、1101…丸め込み方法決定器、1102…参照画像内挿器、1103…動き検出・動き補償器、1201…丸め込み方法決定器、1202…参照画像内挿器、1203…画面間予測信号生成器、P200…動画像予測符号化プログラム、P201…入力モジュール、P202…符号化モジュール、P203…復元モジュール、P204…画像格納モジュール、P205…丸め込み方法決定モジュール、P400…動画像予測復号プログラム、P401…入力モジュール、P402…復元モジュール、P403…画像格納モジュール、P404…丸め込み方法決定モジュール。
DESCRIPTION OF
Claims (24)
入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化手段と、
生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、
復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、
前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段と、
を具備し、
前記丸め込み方法決定手段は、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定する、
ことを特徴とする動画像予測符号化装置。 Input means for inputting a plurality of images constituting a moving image;
Encoding means for generating compressed image data by encoding the input image by either intra-screen prediction or inter-screen prediction using motion compensation;
Restoring means for restoring a reproduced image by decoding the generated compressed image data;
Image storage means for storing the restored reproduced image as a reference image used for encoding a subsequent image;
A rounding method determination means for determining a rounding method of sample values generated by pixel interpolation necessary for fractional accuracy prediction when the input image is encoded by the inter-screen prediction;
Comprising
The rounding method determining means determines the rounding method to be performed at the sample position according to a sample position to be interpolated in a reference image.
A video predictive coding apparatus characterized by the above.
ことを特徴とする請求項1に記載の動画像予測符号化装置。 The rounding method determining means determines the rounding method based on the information on the rounding method used when the reference image is predicted as a target image.
The moving picture predictive coding apparatus according to claim 1.
入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化手段と、
生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、
復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、
前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段と、
を具備し、
前記丸め込み方法決定手段は、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定する、
ことを特徴とする動画像予測符号化装置。 Input means for inputting a plurality of images constituting a moving image;
Encoding means for generating compressed image data by encoding the input image by either intra-screen prediction or inter-screen prediction using motion compensation;
Restoring means for restoring a reproduced image by decoding the generated compressed image data;
Image storage means for storing the restored reproduced image as a reference image used for encoding a subsequent image;
A rounding method determination means for determining a rounding method of sample values generated by pixel interpolation necessary for fractional accuracy prediction when the input image is encoded by the inter-screen prediction;
Comprising
The rounding method determining means determines the rounding method to be performed at a sample position to be interpolated in a reference image based on information on a rounding method used when the reference image is predicted as a target image.
A video predictive coding apparatus characterized by the above.
ことを特徴とする請求項1〜3の何れか1項に記載の動画像予測符号化装置。 The rounding method determining means determines the rounding method individually for each reference image.
The moving picture predictive coding apparatus according to any one of claims 1 to 3.
ことを特徴とする請求項1〜3の何れか1項に記載の動画像予測符号化装置。 The rounding method determining means determines the rounding method separately when performing unidirectional prediction and when performing bidirectional prediction.
The moving picture predictive coding apparatus according to any one of claims 1 to 3.
ことを特徴とする請求項1〜3の何れか1項に記載の動画像予測符号化装置。 The rounding method determining means determines the rounding method individually for reference images used for two types of prediction signals used when bi-directional prediction is performed.
The moving picture predictive coding apparatus according to any one of claims 1 to 3.
ことを特徴とする請求項1〜3の何れか1項に記載の動画像予測符号化装置。 The rounding method determining means determines the rounding method for at least one of a luminance signal and a color difference signal.
The moving picture predictive coding apparatus according to any one of claims 1 to 3.
ことを特徴とする請求項1〜3の何れか1項に記載の動画像予測符号化装置。 The rounding method determining means determines the rounding method individually for each of the luminance signal and the color difference signal.
The moving picture predictive coding apparatus according to any one of claims 1 to 3.
前記圧縮画像データを復号することで再生画像を復元する復元手段と、
復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、
分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段と、
を具備し、
前記丸め込み方法決定手段は、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定する、
ことを特徴とする動画像予測復号装置。 An input means for inputting compressed image data including a motion vector obtained by encoding a plurality of images constituting a moving image by either intra-screen prediction or inter-screen prediction using motion compensation;
Restoring means for restoring the reproduced image by decoding the compressed image data;
Image storage means for storing the restored reproduced image as a reference image used for decoding subsequent images;
A rounding method determination means for determining a rounding method of sample values generated by pixel interpolation when decoding the compressed image data obtained by encoding by the inter-screen prediction including fractional accuracy prediction;
Comprising
The rounding method determining means determines the rounding method to be performed at the sample position according to a sample position to be interpolated in a reference image.
A video predictive decoding apparatus characterized by the above.
ことを特徴とする請求項9に記載の動画像予測復号装置。 The rounding method determining means determines the rounding method based on the information on the rounding method used when the reference image is predicted as a target image.
The moving picture predictive decoding apparatus according to claim 9.
前記圧縮画像データを復号することで再生画像を復元する復元手段と、
復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、
分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段と、
を具備し、
前記丸め込み方法決定手段は、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定する、
ことを特徴とする動画像予測復号装置。 An input means for inputting compressed image data including a motion vector obtained by encoding a plurality of images constituting a moving image by either intra-screen prediction or inter-screen prediction using motion compensation;
Restoring means for restoring the reproduced image by decoding the compressed image data;
Image storage means for storing the restored reproduced image as a reference image used for decoding subsequent images;
A rounding method determination means for determining a rounding method of sample values generated by pixel interpolation when decoding the compressed image data obtained by encoding by the inter-screen prediction including fractional accuracy prediction;
Comprising
The rounding method determining means determines the rounding method to be performed at a sample position to be interpolated in a reference image based on information on a rounding method used when the reference image is predicted as a target image.
A video predictive decoding apparatus characterized by the above.
ことを特徴とする請求項9〜11の何れか1項に記載の動画像予測復号装置。 The rounding method determining means determines the rounding method individually for each reference image.
The moving picture predictive decoding apparatus according to claim 9, wherein the moving picture predictive decoding apparatus includes:
ことを特徴とする請求項9〜11の何れか1項に記載の動画像予測復号装置。 The rounding method determining means determines the rounding method separately when performing unidirectional prediction and when performing bidirectional prediction.
The moving picture predictive decoding apparatus according to claim 9, wherein the moving picture predictive decoding apparatus includes:
ことを特徴とする請求項9〜11の何れか1項に記載の動画像予測復号装置。 The rounding method determining means determines the rounding method individually for reference images used for two types of prediction signals used when bi-directional prediction is performed.
The moving picture predictive decoding apparatus according to claim 9, wherein the moving picture predictive decoding apparatus includes:
ことを特徴とする請求項9〜11の何れか1項に記載の動画像予測復号装置。 The rounding method determining means determines the rounding method for at least one of a luminance signal and a color difference signal.
The moving picture predictive decoding apparatus according to claim 9, wherein the moving picture predictive decoding apparatus includes:
ことを特徴とする請求項9〜11の何れか1項に記載の動画像予測復号装置。 The rounding method determining means determines the rounding method individually for each of the luminance signal and the color difference signal.
The moving picture predictive decoding apparatus according to claim 9, wherein the moving picture predictive decoding apparatus includes:
動画像を構成する複数の画像を入力する入力ステップと、
入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化ステップと、
生成された前記圧縮画像データを復号することで再生画像を復元する復元ステップと、
復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、
前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定ステップと、
を具備し、
前記丸め込み方法決定ステップにて、前記動画像予測符号化装置は、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定する、
ことを特徴とする動画像予測符号化方法。 A video predictive encoding method executed by a video predictive encoding device comprising an image storage means for storing a reference image used for encoding a subsequent image,
An input step for inputting a plurality of images constituting the moving image;
An encoding step of generating compressed image data by encoding the input image by either intra-screen prediction or inter-screen prediction using motion compensation;
A restoration step of restoring a reproduced image by decoding the generated compressed image data;
An image storage step of storing the restored reproduced image in the image storage means as a reference image used for encoding a subsequent image;
A rounding method determination step for determining a rounding method of sample values generated by pixel interpolation necessary for fractional accuracy prediction when the input image is encoded by the inter-screen prediction;
Comprising
In the rounding method determination step, the video predictive coding apparatus determines the rounding method to be performed at the sample position according to the sample position to be interpolated in the reference image.
A video predictive encoding method characterized by the above.
動画像を構成する複数の画像を入力する入力ステップと、
入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化ステップと、
生成された前記圧縮画像データを復号することで再生画像を復元する復元ステップと、
復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、
前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定ステップと、
を具備し、
前記丸め込み方法決定手段にて、前記動画像予測符号化装置は、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定する、
ことを特徴とする動画像予測符号化方法。 A video predictive encoding method executed by a video predictive encoding device comprising an image storage means for storing a reference image used for encoding a subsequent image,
An input step for inputting a plurality of images constituting the moving image;
An encoding step of generating compressed image data by encoding the input image by either intra-screen prediction or inter-screen prediction using motion compensation;
A restoration step of restoring a reproduced image by decoding the generated compressed image data;
An image storage step of storing the restored reproduced image in the image storage means as a reference image used for encoding a subsequent image;
A rounding method determination step for determining a rounding method of sample values generated by pixel interpolation necessary for fractional accuracy prediction when the input image is encoded by the inter-screen prediction;
Comprising
In the rounding method determining means, the video predictive coding apparatus uses the rounding method to be performed at a sample position to be interpolated in a reference image as the rounding method used when the reference image is predicted as a target image. To make decisions based on method information,
A video predictive encoding method characterized by the above.
画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力ステップと、
前記圧縮画像データを復号することで再生画像を復元する復元ステップと、
復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、
分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定ステップと、
を具備し、
前記丸め込み方法決定ステップにて、前記動画像予測復号装置は、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定する、
ことを特徴とする動画像予測復号方法。 A moving image predictive decoding method executed by a moving image predictive decoding device including an image storage means for storing a reference image used for decoding a subsequent image,
An input step of inputting compressed image data including a motion vector obtained by encoding a plurality of images constituting a moving image by either intra-screen prediction or inter-screen prediction using motion compensation;
A restoration step of restoring a reproduced image by decoding the compressed image data;
An image storage step of storing the restored reproduced image in the image storage means as a reference image used for decoding a subsequent image;
A rounding method determination step for determining a rounding method for sample values generated by pixel interpolation when decoding the compressed image data obtained by encoding by the inter-screen prediction including fractional accuracy prediction;
Comprising
In the rounding method determination step, the video predictive decoding apparatus determines the rounding method to be performed at the sample position according to a sample position to be interpolated in a reference image.
A video predictive decoding method characterized by the above.
画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力ステップと、
前記圧縮画像データを復号することで再生画像を復元する復元ステップと、
復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、
分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定ステップと、
を具備し、
前記丸め込み方法決定ステップにて、前記動画像予測復号装置は、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定する、
ことを特徴とする動画像予測復号方法。 A moving image predictive decoding method executed by a moving image predictive decoding device including an image storage means for storing a reference image used for decoding a subsequent image,
An input step of inputting compressed image data including a motion vector obtained by encoding a plurality of images constituting a moving image by either intra-screen prediction or inter-screen prediction using motion compensation;
A restoration step of restoring a reproduced image by decoding the compressed image data;
An image storage step of storing the restored reproduced image in the image storage means as a reference image used for decoding a subsequent image;
A rounding method determination step for determining a rounding method for sample values generated by pixel interpolation when decoding the compressed image data obtained by encoding by the inter-screen prediction including fractional accuracy prediction;
Comprising
In the rounding method determination step, the video predictive decoding apparatus uses the rounding method to be performed at a sample position to be interpolated in a reference image as the rounding method used when the reference image is predicted as a target image. To make decisions based on
A video predictive decoding method characterized by the above.
動画像を構成する複数の画像を入力する入力手段と、
入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化手段と、
生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、
復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、
前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段、
として動作させ、
前記丸め込み方法決定手段は、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定する、
ことを特徴とする動画像予測符号化プログラム。 Computer
Input means for inputting a plurality of images constituting a moving image;
Encoding means for generating compressed image data by encoding the input image by either intra-screen prediction or inter-screen prediction using motion compensation;
Restoring means for restoring a reproduced image by decoding the generated compressed image data;
Image storage means for storing the restored reproduced image as a reference image used for encoding a subsequent image;
A rounding method determining means for determining a rounding method of sample values generated by pixel interpolation required for fractional accuracy prediction when the input image is encoded by the inter-screen prediction;
Act as
The rounding method determining means determines the rounding method to be performed at the sample position according to a sample position to be interpolated in a reference image.
A moving picture predictive encoding program characterized by the above.
動画像を構成する複数の画像を入力する入力手段と、
入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化手段と、
生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、
復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、
前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段、
として動作させ、
前記丸め込み方法決定手段は、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定する、
ことを特徴とする動画像予測符号化プログラム。 Computer
Input means for inputting a plurality of images constituting a moving image;
Encoding means for generating compressed image data by encoding the input image by either intra-screen prediction or inter-screen prediction using motion compensation;
Restoring means for restoring a reproduced image by decoding the generated compressed image data;
Image storage means for storing the restored reproduced image as a reference image used for encoding a subsequent image;
A rounding method determining means for determining a rounding method of sample values generated by pixel interpolation required for fractional accuracy prediction when the input image is encoded by the inter-screen prediction;
Act as
The rounding method determining means determines the rounding method to be performed at a sample position to be interpolated in a reference image based on information on a rounding method used when the reference image is predicted as a target image.
A moving picture predictive encoding program characterized by the above.
画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力手段と、
前記圧縮画像データを復号することで再生画像を復元する復元手段と、
復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、
分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段、
として動作させ、
前記丸め込み方法決定手段は、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定する、
ことを特徴とする動画像予測復号プログラム。 Computer
An input means for inputting compressed image data including a motion vector obtained by encoding a plurality of images constituting a moving image by either intra-screen prediction or inter-screen prediction using motion compensation;
Restoring means for restoring the reproduced image by decoding the compressed image data;
Image storage means for storing the restored reproduced image as a reference image used for decoding subsequent images;
A rounding method determination means for determining a rounding method of sample values generated by pixel interpolation when decoding the compressed image data obtained by encoding by the inter-screen prediction including fractional accuracy prediction;
Act as
The rounding method determining means determines the rounding method to be performed at the sample position according to a sample position to be interpolated in a reference image.
A moving picture predictive decoding program characterized by the above.
画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力手段と、
前記圧縮画像データを復号することで再生画像を復元する復元手段と、
復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、
分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段、
として動作させ、
前記丸め込み方法決定手段は、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定する、
ことを特徴とする動画像予測復号プログラム。
Computer
An input means for inputting compressed image data including a motion vector obtained by encoding a plurality of images constituting a moving image by either intra-screen prediction or inter-screen prediction using motion compensation;
Restoring means for restoring the reproduced image by decoding the compressed image data;
Image storage means for storing the restored reproduced image as a reference image used for decoding subsequent images;
A rounding method determination means for determining a rounding method of sample values generated by pixel interpolation when decoding the compressed image data obtained by encoding by the inter-screen prediction including fractional accuracy prediction;
Act as
The rounding method determining means determines the rounding method to be performed at a sample position to be interpolated in a reference image based on information on a rounding method used when the reference image is predicted as a target image.
A moving picture predictive decoding program characterized by the above.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010089624A JP5390458B2 (en) | 2010-04-08 | 2010-04-08 | Moving picture predictive coding apparatus, moving picture predictive coding method, moving picture predictive coding program, moving picture predictive decoding apparatus, moving picture predictive decoding method, and moving picture predictive decoding program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010089624A JP5390458B2 (en) | 2010-04-08 | 2010-04-08 | Moving picture predictive coding apparatus, moving picture predictive coding method, moving picture predictive coding program, moving picture predictive decoding apparatus, moving picture predictive decoding method, and moving picture predictive decoding program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011223261A true JP2011223261A (en) | 2011-11-04 |
JP5390458B2 JP5390458B2 (en) | 2014-01-15 |
Family
ID=45039672
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010089624A Expired - Fee Related JP5390458B2 (en) | 2010-04-08 | 2010-04-08 | Moving picture predictive coding apparatus, moving picture predictive coding method, moving picture predictive coding program, moving picture predictive decoding apparatus, moving picture predictive decoding method, and moving picture predictive decoding program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5390458B2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003339050A (en) * | 2002-04-10 | 2003-11-28 | Microsoft Corp | Round control for multi-stage interpolation |
JP2007512761A (en) * | 2003-11-28 | 2007-05-17 | タンベルグ テレコム エーエス | How to correct interpolated pixel values |
JP2008160877A (en) * | 1997-06-09 | 2008-07-10 | Hitachi Ltd | Encoding and decoding method for moving picture |
WO2010001832A1 (en) * | 2008-06-30 | 2010-01-07 | 株式会社東芝 | Dynamic image prediction/encoding device and dynamic image prediction/decoding device |
JP2010161747A (en) * | 2009-01-09 | 2010-07-22 | Toshiba Corp | Apparatus and method for generating sub-pixel, and motion compensating apparatus |
-
2010
- 2010-04-08 JP JP2010089624A patent/JP5390458B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008160877A (en) * | 1997-06-09 | 2008-07-10 | Hitachi Ltd | Encoding and decoding method for moving picture |
JP2003339050A (en) * | 2002-04-10 | 2003-11-28 | Microsoft Corp | Round control for multi-stage interpolation |
JP2007512761A (en) * | 2003-11-28 | 2007-05-17 | タンベルグ テレコム エーエス | How to correct interpolated pixel values |
WO2010001832A1 (en) * | 2008-06-30 | 2010-01-07 | 株式会社東芝 | Dynamic image prediction/encoding device and dynamic image prediction/decoding device |
JP2010161747A (en) * | 2009-01-09 | 2010-07-22 | Toshiba Corp | Apparatus and method for generating sub-pixel, and motion compensating apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP5390458B2 (en) | 2014-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11800140B2 (en) | Methods and apparatus of motion vector rounding, clipping and storage for inter prediction based on mantissa-exponent representations | |
CN106878733B (en) | Moving picture predictive decoding device and moving picture predictive decoding method | |
KR101377528B1 (en) | Motion Vector Coding and Decoding Method and Apparatus | |
US20240146952A1 (en) | Methods and apparatuses for decoder-side motion vector refinement in video coding | |
EP2768221A1 (en) | Video coding method and device, video decoding method and device, and programs | |
JP6426648B2 (en) | Moving picture predictive decoding method and moving picture predictive decoding apparatus | |
JP5972687B2 (en) | Moving picture predictive coding apparatus, moving picture predictive coding method, moving picture predictive coding program, moving picture predictive decoding apparatus, moving picture predictive decoding method, and moving picture predictive decoding program | |
JP6875566B2 (en) | Moving image prediction coding device, moving image prediction decoding device, moving image prediction coding method, moving image prediction decoding method and moving image prediction decoding program | |
JP5390458B2 (en) | Moving picture predictive coding apparatus, moving picture predictive coding method, moving picture predictive coding program, moving picture predictive decoding apparatus, moving picture predictive decoding method, and moving picture predictive decoding program | |
JP6646125B2 (en) | Video prediction decoding method and video prediction decoding device | |
US20240089489A1 (en) | Methods and apparatus of motion vector rounding, clipping and storage for inter prediction | |
CN114402618A (en) | Method and apparatus for decoder-side motion vector refinement in video coding and decoding | |
JP5642305B2 (en) | Moving picture predictive coding apparatus, moving picture predictive coding method, moving picture predictive coding program, moving picture predictive decoding apparatus, moving picture predictive decoding method, and moving picture predictive decoding program | |
KR101802304B1 (en) | Methods of encoding using hadamard transform and apparatuses using the same | |
WO2021007133A1 (en) | Methods and apparatuses for decoder-side motion vector refinement in video coding | |
WO2021021698A1 (en) | Methods and apparatuses for decoder-side motion vector refinement in video coding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130206 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130625 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130702 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130827 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130924 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131010 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5390458 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |