JP2013017085A - Image encoder and image encoding method - Google Patents
Image encoder and image encoding method Download PDFInfo
- Publication number
- JP2013017085A JP2013017085A JP2011149198A JP2011149198A JP2013017085A JP 2013017085 A JP2013017085 A JP 2013017085A JP 2011149198 A JP2011149198 A JP 2011149198A JP 2011149198 A JP2011149198 A JP 2011149198A JP 2013017085 A JP2013017085 A JP 2013017085A
- Authority
- JP
- Japan
- Prior art keywords
- motion compensation
- pixel
- block
- image
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、画像符号化装置及び画像符号化方法に関し、特に、イメージセンサーで撮像されたＲＧＢ色空間の画像情報を符号化する技術に関するものである。 The present invention relates to an image encoding device and an image encoding method, and more particularly to a technique for encoding image information in an RGB color space captured by an image sensor.
動画像の符号化方式としては、ＭＰＥＧ−２やＭＰＥＧ−４ ＡＶＣ（Ｈ．２６４）方式が知られている。図８に従来の符号化装置の構成例を示す。 MPEG-2 and MPEG-4 AVC (H.264) systems are known as moving picture encoding systems. FIG. 8 shows a configuration example of a conventional encoding device.
図８の符号化装置には、符号化処理対象の画像として、ＹＣｂＣｒ空間の画像データが入力される。８０１は動き検出処理部であり、フレーム間で、マクロブロックと呼ばれる画素群単位で動きベクトルを検出する。８０２は動き補償処理部であり、動き検出処理部８０１によって検出された動きベクトルの情報を用いて、マクロブロック毎にフレーム間の動き補償処理を行う。８０３は周波数変換処理部であり、画像データに対してＤＣＴ（離散コサイン変換）を行う。８０４は量子化処理部であり、ＤＣＴ後の画像データの量子化処理を行う。８０５はエントロピー符号化部であり、量子化後の画像データの可変長符号化を行う。エントロピー符号化部８０５から出力されるのが符号化後の符号データである。
The image data in the YCbCr space is input to the encoding device in FIG. 8 as an image to be encoded. A motion
このような符号化装置では、前述したようにマクロブロックという画素群を単位として動き補償を含む符号化処理が行われる。図９にマクロブロックの構成例を示す。色空間としてはＹＣｂＣｒが用いられ、Ｃｂ，Ｃｒコンポーネント（色差情報）はＹコンポーネント（輝度情報）に対してサブサンプリングされている。図９の例では、Ｃｂ，Ｃｒ成分は、水平／垂直方向ともに１／２に縮小されており、４：２：０と呼ばれる構造となっている。動きベクトルは、このマクロブロック単位で指定されるが、Ｃｂ，Ｃｒコンポーネントに対しては、１／２の値として使用される。 In such an encoding apparatus, as described above, encoding processing including motion compensation is performed in units of pixel groups called macroblocks. FIG. 9 shows a configuration example of the macroblock. YCbCr is used as the color space, and the Cb and Cr components (color difference information) are subsampled with respect to the Y component (luminance information). In the example of FIG. 9, the Cb and Cr components are reduced to ½ in both the horizontal / vertical directions and have a structure called 4: 2: 0. The motion vector is specified in units of this macroblock, but is used as a 1/2 value for the Cb and Cr components.
なお、このような符号化装置は、ＤＣＴ演算が有限精度で行われるため、あるいは、量子化誤差が発生するため、符号化ロスを伴う非可逆符号化となっている。 Note that such an encoding device is lossy encoding with encoding loss because DCT calculation is performed with finite precision or because a quantization error occurs.
次に、図１０に、図８の符号化装置を含む撮像装置のシステムの例を示す。不図示のイメージセンサーからは、一般的にＲＧＢの色空間の画像情報が入力されるため、これを現像処理部１００１によって信号処理（現像）した後、色変換処理部１００２によってＲＧＢからＹＣｂＣｒへ色空間を変換する。その後、符号化部１００３（図８の符号化装置に相当）によって符号化する。このとき、色変換処理部１００２による変換の際に使用される変換マトリクスの係数が有限精度であるため、色空間変換が非可逆処理となっている。
Next, FIG. 10 shows an example of an imaging apparatus system including the encoding apparatus of FIG. In general, image information in an RGB color space is input from an image sensor (not shown), and after this is subjected to signal processing (development) by the
また、ＲＧＢを含む複数の色空間に対応して適応的な符号化を行う技術が特許提案されている。特許文献１には、クロマフォーマット信号及び色空間信号に基づき、イントラ予測用のブロックサイズを適応的に変更して、色信号を画像内予測符号化する発明が記載されている。 Further, a patent has been proposed for a technique for performing adaptive encoding corresponding to a plurality of color spaces including RGB. Patent Document 1 describes an invention in which a color signal is intra-picture predictively encoded by adaptively changing a block size for intra prediction based on a chroma format signal and a color space signal.
しかしながら、前述したＭＰＥＧ−２やＨ．２６４などの従来の符号化装置においては、色空間としてＹＣｂＣｒを用いているため、イメージセンサーから入力されるＲＧＢの色空間の画像情報をそのまま符号化できない。したがって、ＲＧＢをＹＣｂＣｒに色空間変換してから符号化することになるが、その際、前述したような非可逆処理や非可逆符号化による情報損失又は画質劣化が発生することになる。 However, MPEG-2 and H.264 described above. In a conventional encoding device such as H.264, YCbCr is used as a color space, and therefore image information in the RGB color space input from the image sensor cannot be encoded as it is. Therefore, encoding is performed after color space conversion of RGB to YCbCr. At this time, information loss or image quality degradation due to the above-described lossy processing or lossy encoding occurs.
また、前述の特許文献１には、ＲＧＢの色空間の画像情報をイントラ予測符号化する際に可逆符号化する構成が記載されているものの、動き補償を含む符号化においてＲＧＢの色空間の画像情報を可逆符号化するものではなかった。特に、ＲＧＢの色空間の画像情報の符号化に適した動き補償のブロック構造を提案するものではなかった。 In addition, although the above-described Patent Document 1 describes a configuration in which lossless encoding is performed when image information in the RGB color space is intra-predictive encoded, an image in the RGB color space is used for encoding including motion compensation. Information was not losslessly encoded. In particular, it did not propose a motion compensation block structure suitable for encoding image information in the RGB color space.
その他、ＪＰＥＧ２０００のロスレスモードなど、可逆符号化の規格は世に存在するものの、それらは主に静止画用途であるため画面内符号化を行っており、動き補償を含む符号化において可逆符号化を行うものではなかった。画面内符号化が動き補償を含む符号化（画面間予測符号化）よりも符号化効率の点で劣ることは明白である。 In addition, although there are standards for lossless encoding such as lossless mode of JPEG2000 in the world, they are mainly used for still images, and therefore, intra-screen encoding is performed, and lossless encoding is performed in encoding including motion compensation. It was not a thing. It is obvious that intra-frame coding is inferior in coding efficiency to coding including motion compensation (inter-frame prediction coding).
このような技術的背景から、イメージセンサーから入力されたＲＧＢ色空間の画像情報を、動き補償を含む符号化方法によって高能率に符号化し、なおかつ可逆またはそれに近いくらい高画質に符号化することが望まれている。 From such a technical background, it is possible to encode the RGB color space image information input from the image sensor with high efficiency by an encoding method including motion compensation, and to encode with high image quality reversibly or close to it. It is desired.
そこで、本発明の目的は、ＲＧＢ色空間の画像情報を動き補償を含む符号化方法によって符号化する場合に好適な動き補償のブロックを構成する画像符号化装置及び画像符号化方法を提供することにある。 Accordingly, an object of the present invention is to provide an image encoding apparatus and an image encoding method that constitute a motion compensation block suitable for encoding image information in the RGB color space by an encoding method including motion compensation. It is in.
上記目的を達成するために、本発明の画像符号化装置は、入力されたＲＧＢ色空間の画像情報を符号化する画像符号化装置であって、画像をＲ画素成分、Ｇ画素成分、Ｂ画素成分のそれぞれのコンポーネント毎に所定の画素数を有するブロックに分割する分割手段と、符号化対象フレームとフレーム間予測で参照される参照フレームとの間で、それぞれのＧ画素成分のブロックについてフレーム間の動きベクトルを検出する動き検出手段と、前記動き検出手段によって検出された動きベクトルに基づいて前記符号化対象フレームにおける各ブロックの動き補償処理を行う動き補償手段と、前記動き補償手段によって処理された画像データを周波数変換した後、エントロピー符号化して符号データを生成する符号化手段とを備え、前記動き補償手段は、前記符号化対象フレームにおけるＧ画素成分のブロックを偶数ラインと奇数ラインとで分割して、前記偶数ラインの画素のサブブロックと前記奇数ラインの画素のサブブロックとでそれぞれ動き補償処理を行うことを特徴とする。 In order to achieve the above object, an image encoding device of the present invention is an image encoding device that encodes input image information in an RGB color space, and the image is an R pixel component, a G pixel component, and a B pixel. Between the dividing means for dividing each component of the components into blocks having a predetermined number of pixels, and between the encoding target frame and the reference frame referenced in the inter-frame prediction, the G pixel component blocks are interframed. Motion detection means for detecting a motion vector of the block, motion compensation means for performing motion compensation processing of each block in the encoding target frame based on the motion vector detected by the motion detection means, and processing performed by the motion compensation means Encoding means for generating code data by entropy encoding after frequency conversion of the obtained image data, and the motion compensation The stage divides the G pixel component block in the encoding target frame into even-numbered lines and odd-numbered lines, and performs motion compensation processing on each of the even-line pixel sub-block and the odd-numbered-line pixel sub-block. It is characterized by performing.
また、本発明の画像符号化方法は、入力されたＲＧＢ色空間の画像情報を符号化する画像符号化方法であって、画像をＲ画素成分、Ｇ画素成分、Ｂ画素成分のそれぞれのコンポーネント毎に所定の画素数を有するブロックに分割する分割工程と、符号化対象フレームとフレーム間予測で参照される参照フレームとの間で、それぞれのＧ画素成分のブロックについてフレーム間の動きベクトルを検出する動き検出工程と、前記動き検出工程で検出された動きベクトルに基づいて前記符号化対象フレームにおける各ブロックの動き補償処理を行う動き補償工程と、前記動き補償工程で処理された画像データを周波数変換した後、エントロピー符号化して符号データを生成する符号化工程とを有し、前記動き補償工程では、前記符号化対象フレームにおけるＧ画素成分のブロックを偶数ラインと奇数ラインとで分割して、前記偶数ラインの画素のサブブロックと前記奇数ラインの画素のサブブロックとでそれぞれ動き補償処理を行うことを特徴とする。 The image encoding method of the present invention is an image encoding method for encoding input image information in the RGB color space, wherein the image is divided into components for each of the R pixel component, the G pixel component, and the B pixel component. The motion vector between frames is detected for each block of G pixel components between the division step of dividing the block into blocks having a predetermined number of pixels and the reference frame referenced in the encoding target frame and inter-frame prediction. A motion detection step, a motion compensation step of performing motion compensation processing of each block in the encoding target frame based on the motion vector detected in the motion detection step, and frequency conversion of the image data processed in the motion compensation step And an encoding step of generating code data by entropy encoding, and in the motion compensation step, the encoding target frame A block of definitive G pixel components are divided between the even and odd lines, and performs each motion compensation processing in the sub-blocks of pixels of the even lines of the sub-block and the odd-numbered lines of pixels.
本発明によれば、ＲＧＢ色空間の画像情報の符号化に適した動き補償のブロックを構成して符号化することができる。 According to the present invention, it is possible to configure and encode a motion compensation block suitable for encoding image information in the RGB color space.
以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図１は、本発明の実施形態に係る画像符号化装置の構成例を示すブロック図である。図１の画像符号化装置は、イメージセンサーから入力される画像情報（動画像）を動き補償を含む符号化方法によって圧縮符号化する。 FIG. 1 is a block diagram illustrating a configuration example of an image encoding device according to an embodiment of the present invention. The image encoding apparatus in FIG. 1 compresses and encodes image information (moving image) input from an image sensor by an encoding method including motion compensation.
図１において、イメージセンサー／信号処理部１００により、所定の周期で動画像を構成するフレーム毎の画像情報が入力される。イメージセンサー／信号処理部１００から入力されるのは、ＲＧＢ（赤・緑・青）の色空間の画像情報であり、撮像部であるイメージセンサーによって撮像された後、信号処理部によって所定の信号処理が施されている。信号処理された画像情報は、記憶部であるフレームメモリ１０７に一時的に記憶される。
In FIG. 1, image information for each frame constituting a moving image is input at a predetermined cycle by an image sensor /
画像情報の各色コンポーネントの配置は、イメージセンサーの画素配置によって異なるが、例えば図５のようなベイヤー画素配列が用いられる。図５において、５０１はＧ画素、５０２はＢ画素、５０３はＲ画素を表している。図５のように、ベイヤー画素配列のイメージセンサーにおいては、Ｇ画素の総画素数は、Ｒ画素およびＢ画素の各画素数の２倍存在する。本実施形態では、図５のような画素配列からなるイメージセンサーによって撮像された画像情報を、Ｒ，Ｇ，Ｂのそれぞれのコンポーネント毎に所定のブロック単位に分割して符号化する。 The arrangement of each color component of the image information differs depending on the pixel arrangement of the image sensor, but for example, a Bayer pixel arrangement as shown in FIG. 5 is used. In FIG. 5, 501 represents a G pixel, 502 represents a B pixel, and 503 represents an R pixel. As shown in FIG. 5, in the Bayer pixel array image sensor, the total number of G pixels is twice the number of R pixels and B pixels. In the present embodiment, image information captured by an image sensor having a pixel array as shown in FIG. 5 is encoded by being divided into predetermined block units for each of R, G, and B components.
本実施形態におけるブロック構成を図６に示す。本実施形態では、画素分割処理部１０１が、フレームメモリ１０７に保持された画像情報を、図６のように、Ｇを１６×１６画素、ＢおよびＲをそれぞれ８×８画素の画素数を有する集合体（ブロック）に分割して読み出す。このブロックを単位として、本実施形態では動き補償を含む符号化を行う。
A block configuration in the present embodiment is shown in FIG. In the present embodiment, the pixel
図１において、ＲＧＢ色空間の画像情報は、画素分割処理部１０１によって図６の如きブロックに分割された後、動き補償処理部１０２及び動き検出処理部１０５に供給される。動き検出処理部１０５は、従来の方法ではＹ（輝度）成分での動き検出が一般的であったが、本実施形態では、図６のＧ（緑）画素成分での動き検出処理を行って動きベクトルを求める。
In FIG. 1, image information in the RGB color space is divided into blocks as shown in FIG. 6 by the pixel
動き検出処理部１０５での動き検出のアルゴリズムは、Ｇ画素成分のブロックを用いる点以外、従来と大きく変わることはなく、符号化対象フレームと、動き補償のフレーム間予測で参照されるフレーム（参照フレーム）との間で、ブロックのマッチング処理を行う。動き検出処理部１０５は、符号化対象フレーム中のＧ画素成分のブロック単位で、参照フレーム中のＧ画素成分のブロックとの画素差分値の絶対値総和を求め、その最小値を得る位置を動きベクトルとして検出する。
The motion detection algorithm in the motion
動き補償方式切り替え部１０６は、偶数ライン・奇数ラインを一括で予測するか、偶数ライン・奇数ラインを分割して予測するかを、切り替えるユニットである。動き検出処理部１０５により検出された動きベクトルの情報と共に、動き補償方式の切替信号を動き補償処理部１０２に供給する。この選択の機能については、図３等を参照して後述する。
The motion compensation
動き補償処理部１０２は、図６のＧ（緑）画素、Ｂ（青）画素、Ｒ（赤）画素の各ブロック毎に、各ブロックに対して動き検出処理部１０５により検出された動きベクトルの情報、及び、前述した動き補償方式の切替信号に基づいて、動き補償処理を行う。このとき、Ｂ画素成分のブロックとＲ画素成分のブロックに対しては、同じ位置のＧ画素成分のブロックの動きベクトルを１／２にして使用する。動き補償によって得られた差分画像データは整数変換処理部１０３に、偶数ライン・奇数ラインに分割して予測されたブロックを特定する情報を含む各ブロックの動きベクトル情報はエントロピー符号化部１０４に供給される。
For each block of G (green) pixels, B (blue) pixels, and R (red) pixels in FIG. 6, the motion
整数変換処理部１０３は、動き補償された後の差分画像データに対して周波数変換を行う。ここでの周波数変換としては、整数変換を使用する。整数変換は、Ｈ．２６４の勧告においても採用されている方式である。変換式については特記しないが、従来例で示したＭＰＥＧ−２で使用されているＤＣＴ（離散コサイン変換）と異なり、演算自体が整数精度で構成可能な方式であり、可逆な変換であるという特徴がある。
The integer
エントロピー符号化部１０４は、整数変換処理部１０３により変換された画像データの可変長符号化を行う。例えば、ハフマン符号化をベースとする可変長符号化や、二値算術符号化等を行う。なお、一般的なエントロピー符号化方式は可逆符号化であるから、本実施形態におけるエントロピー符号化部１０４によっても可逆符号化が実現される。画像データの可変長符号化されたデータに加えて、動きベクトル情報等の付加データを符号化したデータを重畳して、最終的にエントロピー符号化部１０４から出力されるのが符号化後の符号データである。
The
なお、本実施形態においては、可逆符号化を実現するため、従来の動き補償を用いた符号化方式で採用されているような、周波数変換された画像データの量子化処理を行わない。本実施形態は、このような構成にすることにより、動き補償を用いた符号化方式であっても可逆符号化を実現することが可能である。 In the present embodiment, in order to realize lossless encoding, the frequency-converted image data quantization processing that is employed in the conventional encoding method using motion compensation is not performed. With this configuration, the present embodiment can realize lossless encoding even with an encoding method using motion compensation.
ここで、Ｇ画素成分のブロックにおける画素配置と動きベクトルの関係を示した図を図１１に示す。１１０１は、符号化対象のブロックであり、１１０２及び１１０３は、参照フレームのブロックを表している。また、１１０２に対するベクトルは、縦方向の動きベクトル成分が偶数となる場合（図は縦方向に２画素ずれた例）、１１０３に対するベクトルは、縦方向の動きベクトル成分が奇数となる場合（図は縦方向に３画素ずれた例）を示している。図５に示したように、ベイヤー画素配置ではＧ画素に対して画素ラインごとに画素配置の水平位相が異なるため、縦方向の動きベクトル成分が奇数の場合は、異なった位相間での予測を行ってしまうことになる。
Here, FIG. 11 shows the relationship between the pixel arrangement and the motion vector in the G pixel component block.
したがって、本実施形態では、動き補償処理部１０２が、図７に示す如くＧ画素成分のブロックを分割して動き補償を行うことを可能にする。図７にＧ画素成分のブロックの分割例を示す。具体的な動作として、動き検出処理部１０５で検出された動きベクトルの縦方向の成分が奇数の値を示す場合は、動き補償方式切り替え部１０６が、Ｇ画素成分のブロックを偶数ラインと奇数ラインに分割するための動き補償方式の切替信号を発生する。動きベクトルの縦方向の成分が奇数の値を示す場合は、図７のように、奇数ラインをＧ１、偶数ラインをＧ２として、それぞれ別々にフレーム間予測して動き補償することで、予測効率の低下を抑制することができる。
Therefore, in this embodiment, the motion
図３に、本実施形態の動き補償処理に係るフローチャートを示す。図３のフローチャートは、不図示のコンピュータの制御によって、動き検出処理部１０５、動き補償方式切り替え部１０６、動き補償処理部１０２によって実行される処理を図示したものである。
FIG. 3 shows a flowchart relating to the motion compensation processing of the present embodiment. The flowchart in FIG. 3 illustrates processing executed by the motion
図３において、符号化対象のＧ画素成分のブロックについての処理が開始されると（Ｓ３０１）、動き検出処理部１０５が、当該ブロックについて参照フレームを参照した動き検出を行い、所定の演算によって動きベクトルを求める（Ｓ３０２）。次に、動き補償方式切り替え部１０６が、ステップＳ３０２で求められた動きベクトルに関して、縦方向（垂直方向）の成分が偶数の値（０，２，４，６，・・・）になるか、奇数の値（１，３，５，７，・・・）になるか、判断する（Ｓ３０３）。動き補償方式切り替え部１０６は、動きベクトルの縦方向の成分が偶数の値になる場合（Ｓ３０３でＹｅｓ）には、Ｇ画素成分のブロックを偶数ライン・奇数ライン一括して予測するための動き補償方式の切替信号を発生する。一方、動きベクトルの縦方向の成分が奇数の値になる場合（Ｓ３０３でＮｏ）には、Ｇ画素成分のブロックを偶数ライン・奇数ラインで分割して予測するための動き補償方式の切替信号を発生する。動きベクトルの縦方向の成分が偶数の場合に、Ｇ画素成分のブロックを一括して予測するモードを選ぶのは、分割しない分動きベクトル本数が少なくてすみ、動きベクトルを符号化する効率を高められるためである。
In FIG. 3, when the process for the G pixel component block to be encoded is started (S301), the motion
次に、動き補償処理部１０２が、ステップＳ３０２で求められた動きベクトル、及び、ステップＳ３０３で選択された動き補償方式の切り替え信号に従って、動き補償処理を行う。動きベクトルの縦方向成分が偶数の値になる場合、動き補償処理部１０２は、Ｇ画素成分のブロックを分割せずに、図６のブロック形状で予測画像の生成や、符号化対象ブロックと予測画像との差分を示す差分画像データの生成を含む動き補償処理を行う（Ｓ３０４）。一方、動きベクトルの縦方向成分が奇数の値になる場合、動き補償処理部１０２は、Ｇ画素成分のブロックを図７のようにＧ１，Ｇ２のサブブロックに分割する。そして、図７のＧ１及びＧ２のそれぞれのサブブロックについて予測画像の生成や、符号化対象ブロックと予測画像との差分を示す差分画像データの生成を含む動き補償処理を行う（Ｓ３０５）。以上で当該符号化対象ブロックの動き補償に係る処理が終了となり（Ｓ３０６）、引き続き次のブロックについて同様の処理が繰り返される。なお、Ｂ画素及びＲ画素については、Ｇ画素成分のブロックで求めた動きベクトルを１／２にした動きベクトルを用いて、図６に示したブロック形状で、Ｂ画素成分のブロック、Ｒ画素成分のブロックでそれぞれ動き補償処理する。
Next, the motion
図２は、本実施形態に係る図１の画像符号化装置で符号化された符号データを復号可能な画像復号装置の構成例を示すブロック図である。図１の画像符号化装置で符号化された符号データを不図示の記録媒体に記録した後、再生されたものを取得して復号しても良い。或いは、ネットワーク経由で通信路を介して符号データを受信して、復号しても良い。 FIG. 2 is a block diagram illustrating a configuration example of an image decoding apparatus capable of decoding code data encoded by the image encoding apparatus of FIG. 1 according to the present embodiment. After the code data encoded by the image encoding device in FIG. 1 is recorded on a recording medium (not shown), the reproduced data may be acquired and decoded. Alternatively, the code data may be received via a communication path via a network and decoded.
図２において、エントロピー復号化部２０１は、図１の画像符号化装置で符号化された符号データを入力して復号し、整数変換後の画像データを復元する。さらに、符号データから各ブロックの動きベクトル情報を抽出して、動き補償方式切り替え部２０４に供給する。この動きベクトル情報は、フレーム中に存在するＧ画素成分のブロックのうち、偶数ライン・奇数ラインに分割して予測されたブロックを特定する情報を含む。
In FIG. 2, an
逆整数変換部２０２は、復元された整数変換後の画像データに対して、整数変換の逆変換処理を行って、差分画像データを復元する。動き補償方式切り替え部２０４は、各ブロックの動きベクトル情報を動き補償部２０３に与える。さらに、動き補償方式切り替え部２０４は、特にＧ画素成分のブロックについて、偶数ライン・奇数ラインを一括で予測したか、偶数ライン・奇数ラインを分割して予測したかを示す動き補償方式の切替信号を動き補償部２０３に供給する。
The inverse
動き補償部２０３は、復元された差分画像データを取得し、Ｒ，Ｇ，Ｂの各画素成分のブロックについて、それぞれ動きベクトル情報を用いて元のＲＧＢ色空間の画像データを復元する。特にＧ画素成分のブロックについては、偶数ライン・奇数ラインの一括予測か偶数ライン・奇数ラインの分割予測かを適応的に判断しながら動き補償処理を行う。
The
２０５はフレームメモリである。動き補償部２０３によって復号化された画像データは、ベイヤー配列のままなので、フレームメモリ２０５に一時記憶し、表示する際に、現像処理部２０６によって現像処理が行われ、表示可能な画像データにして出力される。出力された画像データに係る画像は、不図示の表示装置によって表示される。こうして復元され表示される画像（動画像）は、可逆符号化されて復号化された画像であって、本発明の実施形態の構成によれば可逆的な画像の復元が可能となる。
次に、本実施形態の他の動き補償処理について、図４のフローチャートを示して説明する。図４のフローチャートは、不図示のコンピュータの制御によって、動き検出処理部１０５、動き補償方式切り替え部１０６、動き補償処理部１０２によって実行される処理を図示したものである。
Next, another motion compensation process of this embodiment will be described with reference to the flowchart of FIG. The flowchart in FIG. 4 illustrates processing executed by the motion
前述した説明では、動きベクトルの縦方向の成分が偶数の値になるか、奇数の値になるかに応じて、Ｇ画素成分のブロックについて、偶数ライン・奇数ラインを一括で動き補償処理するか、偶数ライン・奇数ラインを分割して動き補償処理するかを判断していた。この変形例として、動き補償における予測を少数画素精度（半画素、１／４画素、等）で行うことに応じて、Ｇ画素成分のブロックについて、偶数ライン・奇数ラインを分割して予測することを判断してもよい。通常、動き補償の際には、整数画素精度での予測の他に、半画素精度での予測もしばしば使用されている。本実施形態のＧ画素成分のブロック構造であれば、このような少数画素精度での予測の場合に、偶数ライン・奇数ラインを分割して予測したほうが、予測効率が高くなることが容易に推測される。以下、少数画素精度の例として半画素精度を例に説明するが、１／４画素等のその他の少数画素精度であっても同様である。 In the above description, whether to perform motion compensation processing for even lines and odd lines collectively for the G pixel component block depending on whether the vertical component of the motion vector has an even value or an odd value. It has been determined whether to perform motion compensation processing by dividing even lines and odd lines. As a modified example, according to performing prediction in motion compensation with a small number of pixel accuracy (half pixel, 1/4 pixel, etc.), prediction is performed by dividing even-numbered lines and odd-numbered lines for a block of G pixel components. May be judged. In general, in motion compensation, prediction with half pixel accuracy is often used in addition to prediction with integer pixel accuracy. With the block structure of the G pixel component of the present embodiment, it is easily estimated that the prediction efficiency is higher when the prediction is performed by dividing even-numbered lines and odd-numbered lines in the case of prediction with such a small number of pixel accuracy. Is done. Hereinafter, half-pixel accuracy will be described as an example of minority pixel accuracy, but the same applies to other minority pixel accuracy such as ¼ pixel.
図４において、符号化対象のＧ画素成分のブロックについての処理が開始されると（Ｓ４０１）、動き検出処理部１０５が、当該ブロックについて参照フレームを参照した動き検出を行い、所定の演算によって動きベクトルを求める（Ｓ４０２）。次に、動き補償方式切り替え部１０６が、動き補償が半画素精度で行われるか、整数画素精度で行われるか、判断する（Ｓ４０３）。半画素精度の場合、Ｓ４０６へフローが遷移し（Ｓ４０３でＹｅｓ）、半画素精度でない場合（すなわち整数画素精度の場合）、Ｓ４０４へフローが遷移する（Ｓ４０３でＮｏ）。ステップＳ４０３で半画素精度の場合（Ｓ４０３でＹｅｓ）には、動き補償方式切り替え部１０６が、Ｇ画素成分のブロックを偶数ライン・奇数ラインで分割して予測するための動き補償方式の切替信号を発生する。
In FIG. 4, when the process for the G pixel component block to be encoded is started (S401), the motion
次に、動き補償方式切り替え部１０６が、ステップＳ４０２で求められた動きベクトルに関して、縦方向（垂直方向）の成分が偶数の値（０，２，４，６，・・・）になるか、奇数の値（１，３，５，７，・・・）になるか、判断する（Ｓ４０４）。動き補償方式切り替え部１０６は、動きベクトルの縦方向の成分が偶数の値になる場合（Ｓ４０４でＹｅｓ）には、Ｇ画素成分のブロックを偶数ライン・奇数ライン一括して予測するための動き補償方式の切替信号を発生する。一方、動きベクトルの縦方向の成分が奇数の値になる場合（Ｓ４０４でＮｏ）には、Ｇ画素成分のブロックを偶数ライン・奇数ラインで分割して予測するための動き補償方式の切替信号を発生する。
Next, the motion compensation
次に、動き補償処理部１０２が、ステップＳ４０２で求められた動きベクトル、及び、ステップＳ４０３又はＳ４０４で選択された動き補償方式の切り替え信号に従って、動き補償処理を行う。動き補償が整数画素精度であり、なおかつ動きベクトルの縦方向成分が偶数の値になる場合、動き補償処理部１０２は、Ｇ画素成分のブロックをＧ１，Ｇ２のサブブロックに分割しない。すなわち、図６のブロック形状で予測画像の生成や、符号化対象ブロックと予測画像との差分を示す差分画像データの生成を含む動き補償処理を行う（Ｓ４０５）。一方、動き補償が半画素精度であるか、又は、動き補償が整数画素精度であるが動きベクトルの縦方向成分が奇数の値になる場合、動き補償処理部１０２は、Ｇ画素成分のブロックを図７のようにＧ１，Ｇ２のサブブロックに分割する。そして、図７のＧ１及びＧ２のそれぞれのサブブロックについて予測画像の生成や、符号化対象ブロックと予測画像との差分を示す差分画像データの生成を含む動き補償処理を行う（Ｓ４０５）。以上で当該符号化対象ブロックの動き補償に係る処理が終了となり（Ｓ４０７）、引き続き次のブロックについて同様の処理が繰り返される。なお、Ｂ画素及びＲ画素については、Ｇ画素成分のブロックで求めた動きベクトルを１／２にした動きベクトルを用いて、図６に示したブロック形状で、Ｂ画素成分のブロック、Ｒ画素成分のブロックでそれぞれ動き補償処理する。
Next, the motion
また、上述した本発明の実施形態における図３、図４に示した各処理は、各処理の機能を実現する為のコンピュータプログラムを本件発明の画像符号化装置が動作するシステムのメモリから読み出してシステムのＣＰＵが実行することによっても実現できる。この場合、メモリに記憶されたプログラムは本件発明を構成する。 3 and 4 in the embodiment of the present invention described above, the computer program for realizing the function of each process is read from the memory of the system in which the image coding apparatus of the present invention operates. This can also be realized by the execution of the CPU of the system. In this case, the program stored in the memory constitutes the present invention.
上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。 The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
また、図３、図４に示した各処理の全部または一部の機能を専用のハードウェアにより実現してもよい。また、図３、図４に示した各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。 Moreover, you may implement | achieve the function of all or one part of each process shown in FIG. 3, FIG. 4 with exclusive hardware. Also, a program for realizing the functions of the processes shown in FIGS. 3 and 4 is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed. Each process may be performed by the following. Here, the “computer system” includes an OS and hardware such as peripheral devices.
ここで、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置を含む。さらに、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。 Here, the “computer-readable recording medium” includes a portable medium such as a flexible disk, a magneto-optical disk, a ROM, and a CD-ROM, and a storage device such as a hard disk built in the computer system. Furthermore, a program that holds a program for a certain period of time, such as a volatile memory (RAM) inside a computer system that becomes a server or client when the program is transmitted via a network such as the Internet or a communication line such as a telephone line Shall also be included.
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。 The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。 A program product such as a computer-readable recording medium in which the above program is recorded can also be applied as an embodiment of the present invention. The above program, recording medium, transmission medium, and program product are included in the scope of the present invention.
以上、本発明を好ましい実施例により説明したが、本発明は上述した実施例に限ることなくクレームに示した範囲で種々の変更が可能である。 Although the present invention has been described with reference to the preferred embodiments, the present invention is not limited to the above-described embodiments, and various modifications can be made within the scope shown in the claims.
１００ イメージセンサー／信号処理部
１０１ 画素分割処理部
１０２ 動き補償処理部
１０３ 整数変換処理部
１０４ エントロピー符号化部
１０５ 動き検出処理部
１０６ 動き補償方式切り替え部
１０７ フレームメモリ
100 Image Sensor /
Claims (5)
画像をＲ画素成分、Ｇ画素成分、Ｂ画素成分のそれぞれのコンポーネント毎に所定の画素数を有するブロックに分割する分割手段と、
符号化対象フレームとフレーム間予測で参照される参照フレームとの間で、それぞれのＧ画素成分のブロックについてフレーム間の動きベクトルを検出する動き検出手段と、
前記動き検出手段によって検出された動きベクトルに基づいて前記符号化対象フレームにおける各ブロックの動き補償処理を行う動き補償手段と、
前記動き補償手段によって処理された画像データを周波数変換した後、エントロピー符号化して符号データを生成する符号化手段とを備え、
前記動き補償手段は、前記符号化対象フレームにおけるＧ画素成分のブロックを偶数ラインと奇数ラインとで分割して、前記偶数ラインの画素のサブブロックと前記奇数ラインの画素のサブブロックとでそれぞれ動き補償処理を行うことを特徴とする画像符号化装置。 An image encoding device that encodes input image information of an RGB color space,
Dividing means for dividing the image into blocks each having a predetermined number of pixels for each of the R pixel component, the G pixel component, and the B pixel component;
Motion detecting means for detecting an inter-frame motion vector for each block of G pixel components between an encoding target frame and a reference frame referenced in inter-frame prediction;
Motion compensation means for performing motion compensation processing of each block in the encoding target frame based on the motion vector detected by the motion detection means;
Coding means for generating code data by entropy coding after frequency-converting the image data processed by the motion compensation means;
The motion compensation means divides a block of G pixel components in the encoding target frame into even lines and odd lines, and performs motion in a pixel sub-block of the even lines and a pixel sub-block of the odd lines, respectively. An image encoding apparatus that performs compensation processing.
画像をＲ画素成分、Ｇ画素成分、Ｂ画素成分のそれぞれのコンポーネント毎に所定の画素数を有するブロックに分割する分割工程と、
符号化対象フレームとフレーム間予測で参照される参照フレームとの間で、それぞれのＧ画素成分のブロックについてフレーム間の動きベクトルを検出する動き検出工程と、
前記動き検出工程で検出された動きベクトルに基づいて前記符号化対象フレームにおける各ブロックの動き補償処理を行う動き補償工程と、
前記動き補償工程で処理された画像データを周波数変換した後、エントロピー符号化して符号データを生成する符号化工程とを有し、
前記動き補償工程では、前記符号化対象フレームにおけるＧ画素成分のブロックを偶数ラインと奇数ラインとで分割して、前記偶数ラインの画素のサブブロックと前記奇数ラインの画素のサブブロックとでそれぞれ動き補償処理を行うことを特徴とする画像符号化方法。 An image encoding method for encoding input image information of an RGB color space,
A division step of dividing the image into blocks each having a predetermined number of pixels for each component of the R pixel component, the G pixel component, and the B pixel component;
A motion detection step of detecting an inter-frame motion vector for each block of G pixel components between an encoding target frame and a reference frame referenced in inter-frame prediction;
A motion compensation step of performing motion compensation processing of each block in the encoding target frame based on the motion vector detected in the motion detection step;
A frequency conversion of the image data processed in the motion compensation step, followed by an entropy encoding to generate code data;
In the motion compensation step, the G pixel component block in the encoding target frame is divided into even-numbered lines and odd-numbered lines, and motions are respectively performed in the even-numbered line pixel subblocks and the odd-numbered line pixel subblocks. An image encoding method characterized by performing compensation processing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011149198A JP2013017085A (en) | 2011-07-05 | 2011-07-05 | Image encoder and image encoding method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011149198A JP2013017085A (en) | 2011-07-05 | 2011-07-05 | Image encoder and image encoding method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013017085A true JP2013017085A (en) | 2013-01-24 |
Family
ID=47689312
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011149198A Withdrawn JP2013017085A (en) | 2011-07-05 | 2011-07-05 | Image encoder and image encoding method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013017085A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018129753A (en) * | 2017-02-10 | 2018-08-16 | キヤノン株式会社 | Image encoder, image decoder, control method thereof, and control program |
-
2011
- 2011-07-05 JP JP2011149198A patent/JP2013017085A/en not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018129753A (en) * | 2017-02-10 | 2018-08-16 | キヤノン株式会社 | Image encoder, image decoder, control method thereof, and control program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6660074B2 (en) | Video decoding method and apparatus | |
| RU2722536C1 (en) | Output of reference mode values and encoding and decoding of information representing prediction modes | |
| US11910013B2 (en) | Image encoding method using a skip mode, and a device using the method | |
| JP2022017234A (en) | Representing motion vectors in encoded bitstream | |
| KR102064154B1 (en) | Intra prediction method of chrominance block using luminance sample, and apparatus using same | |
| JP4991699B2 (en) | Scalable encoding and decoding methods for video signals | |
| AU2012226301B2 (en) | Quantized pulse code modulation in video coding | |
| JP4501631B2 (en) | Image coding apparatus and method, computer program for image coding apparatus, and portable terminal | |
| JP2013520875A (en) | Adaptive motion resolution for video coding | |
| KR20200128375A (en) | Method and apparatus for scalable video coding using intra prediction mode | |
| JP2019520743A (en) | Image data encoding and decoding | |
| JP2007013298A (en) | Image coding apparatus | |
| JP2014075652A (en) | Image encoder, and image encoding method | |
| JP2017513437A (en) | Data encoding and decoding | |
| JP2011193363A (en) | Encoding device, decoding device, and program | |
| JPWO2010055675A1 (en) | Video encoding apparatus and video decoding apparatus | |
| JP2013017085A (en) | Image encoder and image encoding method | |
| WO2021100450A1 (en) | Intra prediction device, image encoding device, image decoding device, and program | |
| JP7396883B2 (en) | Encoding device, decoding device, and program | |
| KR20110087871A (en) | Method and apparatus for image interpolation having quarter pixel accuracy using intra prediction modes | |
| JP2011234045A (en) | Image encoding apparatus and image encoding method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20141007 |