JP2006060267A - Coder, imaging apparatus, decoder, and processing method of image data - Google Patents
Coder, imaging apparatus, decoder, and processing method of image data Download PDFInfo
- Publication number
- JP2006060267A JP2006060267A JP2004236924A JP2004236924A JP2006060267A JP 2006060267 A JP2006060267 A JP 2006060267A JP 2004236924 A JP2004236924 A JP 2004236924A JP 2004236924 A JP2004236924 A JP 2004236924A JP 2006060267 A JP2006060267 A JP 2006060267A
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- scanning
- macroblock
- pixel
- setting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、符号化装置、撮像装置、復号化装置及び画像データの処理方法に関し、動画による撮像結果を記録するビデオカメラ、電子スチルカメラ、監視装置等に適用することができる。本発明は、マクロブロック単位による中央に向かうらせん状の走査により画像データをイントラ予測することにより、イントラ符号化処理の効率を従来に比して向上する。 The present invention relates to an encoding device, an imaging device, a decoding device, and an image data processing method, and can be applied to a video camera, an electronic still camera, a monitoring device, and the like that record imaging results of moving images. The present invention improves the efficiency of the intra coding process as compared with the prior art by intra-predicting image data by spiral scanning toward the center in units of macroblocks.
近年、放送局、一般家庭等に係る動画の伝送、記録においては、画像データの冗長性を有効に利用して効率良く画像データを伝送、蓄積する装置が普及しつつあり、このような装置は、例えばMPEG(Moving Picture Experts Group)等の方式に準拠して、離散コサイン変換等の直交変換と動き補償とにより画像データをデータ圧縮するように構成されている。 In recent years, in the transmission and recording of moving images related to broadcasting stations, general homes, etc., devices that efficiently transmit and store image data by effectively using the redundancy of image data are becoming popular. For example, in accordance with a method such as MPEG (Moving Picture Experts Group), image data is compressed by orthogonal transform such as discrete cosine transform and motion compensation.
ここでこのような方式の1つであるMPEG2(ISO/IEC 13818-2 )は、汎用の画像符号化方式として定義された方式であり、飛び越し走査方式、順次走査方式の双方に対応できるように、また標準解像度画像、高精細画像の双方に対応できるように定義され、これらにより現在、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに広く用いられている。具体的にMPEG2によれば、例えば720×480画素による標準解像度、飛び越し走査方式の画像データを4〜8〔Mbps〕のビットレートにデータ圧縮して、また1920×1088画素による高解像度、飛び越し走査方式の画像データを18〜22〔Mbps〕のビットレートにデータ圧縮して、高画質で高い圧縮率を確保することができる。 Here, MPEG2 (ISO / IEC 13818-2), which is one of such systems, is a system defined as a general-purpose image coding system so that it can handle both the interlace scanning system and the progressive scanning system. In addition, it is defined so as to be compatible with both standard resolution images and high-definition images, and is now widely used in a wide range of applications for professional use and consumer use. Specifically, according to MPEG2, for example, a standard resolution of 720 × 480 pixels and interlaced scanning image data are compressed to a bit rate of 4 to 8 Mbps, and a high resolution of 1920 × 1088 pixels and interlaced scanning are used. The image data of the system can be compressed to a bit rate of 18 to 22 [Mbps], and a high compression rate can be ensured with high image quality.
しかしながらMPEG2は、放送用に適合した高画質符号化方式であり、MPEG1より符号量の少ない高圧縮率の符号化方式には対応していない。これに対して近年の携帯端末の普及により、このようなMPEG1より符号量の少ない高圧縮率の符号化方式のニーズの高まりが予測される。このためMPEG4による符号化方式の規格が、ISO/IEC(International 0rganization for Standardization/International Electrotechnical Commission )14496−2により1998年12月に国際標準に承認された。 However, MPEG2 is a high-quality encoding system suitable for broadcasting, and does not support a high compression rate encoding system with a smaller code amount than MPEG1. On the other hand, with the spread of portable terminals in recent years, it is expected that there will be an increasing need for an encoding method with a high compression rate with a smaller code amount than MPEG1. For this reason, an MPEG-4 encoding system standard was approved in December 1998 by ISO / IEC (International Organization for Standardization / International Electrotechnical Commission) 14496-2.
またこのような方式にあっては、当初はテレビ会議用の画像符号化を目的としたものであったH26L(ITU-T Q6/16 VCEG)の規格化が進み、MPEG2、MPEG4に比して演算量が増大するものの、MPEG2、MPEG4に比して高い符号化効率を確保できるようになり、またMPEG4の活動の一環として、このH26Lをベースにして各種機能を取り入れ、さらに一段と高い符号化効率を確保する符号化方式の標準化が、Joint Model of Enhanced-Compression Video Codingとして進められ、これらの方式にあっては、2003年3月に、H264及びMPEG−4 Part10(AVC:Advanced Video Coding )との名称により国際標準に設定された。 In such a system, the standardization of H26L (ITU-T Q6 / 16 VCEG), which was originally intended for video coding for video conferencing, has progressed, compared to MPEG2 and MPEG4. Although the amount of computation increases, it becomes possible to secure higher encoding efficiency compared to MPEG2 and MPEG4. As part of MPEG4 activities, various functions are incorporated based on this H26L, and the encoding efficiency is even higher. Standardization of coding schemes to ensure the image quality is being promoted as Joint Model of Enhanced-Compression Video Coding. In these schemes, in March 2003, H264 and MPEG-4 Part 10 (AVC: Advanced Video Coding) Was set as an international standard.
ここで図12は、このAVCに基づく符号化装置を示すブロック図である。この符号化装置1は、複数のイントラ予測モードと複数のインター予測モードとから最適な予測モードを選択し、この選択した予測モードによる予測値を画像データから減算して差分データを生成し、この差分データを直交変換処理、量子化処理、可変長符号化処理することにより、この画像データをイントラ符号化、インター符号化により符号化処理する。
Here, FIG. 12 is a block diagram showing a coding apparatus based on this AVC. The
すなわちこの符号化装置1において、アナログディジタル変換回路(A/D)2は、ビデオ信号S1をアナログディジタル変換処理して画像データD1を出力する。画面並べ替えバッファ3は、このアナログディジタル変換回路2から出力される画像データD1を入力し、この符号化装置1の符号化処理に係るGOP(Group of Pictures )構造に応じて、この画像データD1のフレームを並べ替えて出力する。
That is, in this
減算器4は、この画面並べ替えバッファ3から出力される画像データD1を受け、イントラ符号化においては、イントラ予測回路5で生成される予測値との差分データD2を生成して出力するのに対し、インター符号化においては、動き予測・補償回路6で生成される予測値との差分データD2を生成して出力する。直交変換回路7は、減算器4の出力データD2を入力し、離散コサイン変換、カルーネン・レーベ変換等の直交変換処理を実行し、その処理結果による変換係数データD3を出力する。
The
量子化回路8は、レート制御回路9のレート制御による量子化スケールにより、この変換係数データD3を量子化して出力する。可逆符号化装置10は、この量子化回路8の出力データを可変長符号化、算術符号化等により可逆符号化処理して出力する。また可逆符号化装置10は、イントラ符号化に係るイントラ予測モードに関する情報、インター符号化に係る動きベクトルに関する情報等をイントラ予測回路5、動き予測・補償回路6から取得し、これらの情報を出力データD4のヘッダ情報に設定して出力する。
The
蓄積バッファ11は、この可逆符号化装置10の出力データD4を蓄積して続く伝送路の伝送速度により出力する。レート制御回路9は、この蓄積バッファ11の空き容量の監視により符号化処理による発生符号量を監視すると共に、この監視結果により量子化回路8における量子化スケールを切り換え、これによりこの符号化装置1による発生符号量を制御する。
The
逆量子化回路13は、量子化回路8の出力データを逆量子化処理し、これにより量子化回路8の入力データを再生する。逆直交変換回路14は、逆量子化回路13の出力データを逆直交変換処理し、これにより直交変換回路7の入力データを再生する。デブロックフィルタ15は、この逆直交変換回路14の出力データよりブロック歪を除去して出力する。フレームメモリ16は、このデブロックフィルタ15の出力データに、適宜、イントラ予測回路5又は動き予測・補償回路6により生成される予測値を加算して参照画像情報として記録する。
The
しかして動き予測・補償回路6は、インター符号化において、このフレームメモリ16に保持された参照画像情報による予測フレームより画像並べ替えバッファ3から出力される画像データの動きベクトルを検出し、またこの検出した動きベクトルによりフレームメモリ16に保持した参照画像情報を動き補償して予測画像情報を生成し、この予測画像情報による予測値を減算器4に出力する。
Therefore, the motion prediction /
イントラ予測回路5は、イントラ符号化において、フレームメモリ16に蓄積された参照画像情報に基づいてイントラ予測モードを判定し、この判定結果により参照画像情報から予測画像情報の予測値を生成して減算器4に出力する。
In the intra coding, the
これらによりこの符号化方式においては、インター符号化とイントラ符号化とでそれぞれインター予測に係る動き補償による差分データD2とイントラ予測による差分データD2とを生成し、これらの差分データD2を直交変換処理、量子化処理、可変長符号化処理して伝送する。 Accordingly, in this encoding method, difference data D2 by motion compensation related to inter prediction and difference data D2 by intra prediction are generated by inter encoding and intra encoding, respectively, and the difference data D2 is subjected to orthogonal transform processing. , Quantization processing, variable length coding processing, and transmission.
図13は、このようにして符号化処理された符号化データD4を復号化処理する復号化装置を示すブロック図である。この復号化装置20において、蓄積バッファ21は、伝送路を介して入力される符号化データD4を一時蓄積して出力する。可逆復号化回路22は、この蓄積バッファ21の出力データを可変長復号化、算術復号化等により復号化処理し、符号化装置1における可逆符号化装置10の入力データを再生する。またこのときこの出力データがイントラ符号化されたものである場合、ヘッダに格納されたイントラ予測モードの情報を復号化してイントラ予測回路23に伝送するのに対し、この出力データがインター符号化されたものである場合、ヘッダに格納された動きベクトルに関する情報を復号して動き予測・補償回路24へ転送する。
FIG. 13 is a block diagram showing a decoding apparatus that decodes the encoded data D4 encoded in this way. In the
逆量子化回路25は、可逆復号化回路22の出力データを逆量子化処理し、これにより符号化装置1の量子化回路8に入力される変換係数データD3を再生する。逆直交変換回路26は、この逆量子化回路25から出力される変換係数データを受け、4次の逆直交変換処理を実行し、これにより符号化装置1の直交変換回路7に入力される差分データD2を再生する。
The
加算器27は、逆直交変換回路26から出力される差分データD2を受け、イントラ符号化において、イントラ予測回路23で生成される予測画像による予測値を加算して出力するのに対し、インター符号化において、動き予測・補償回路24から出力される予測画像による予測値を加算して出力する。これにより加算器27は、符号化装置1における減算器4の入力データを再生する。
The
デブロックフィルタ28は、この加算器27の出力データよりブロック歪を除去して出力し、画面並べ替えバッファ29は、このデブロックフィルタ28から出力される画像データのフレームをGOP構造に応じて並べ替えて出力する。ディジタルアナログ変換回路(D/A)30は、この画面並べ替えバッファ29の出力データをディジタルアナログ変換処理して出力する。
The
フレームメモリ31は、デブロックフィルタ28の出力データを参照画像情報として記録して保持する。動き予測・補償回路24は、インター符号化において、可逆復号化回路22から通知される動きベクトルの情報によりフレームメモリ31に保持された参照画像情報を動き補償して予測画像による予測値を生成し、この予測値を加算器27に出力する。またイントラ予測回路23は、イントラ符号化において、可逆復号化回路22から通知されるイントラ予測モードによりフレームメモリ31に保持された参照画像情報より予測画像による予測値を生成し、この予測値を加算器27に出力する。
The
しかしてこのような符号化処理に係るイントラ符号化は、イントラ4×4予測モードとイントラ16×16予測モードとが用意されている。ここでAVCでは4×4画素のブロック単位で差分データD2を直交変換処理し、イントラ4×4予測モードは、この直交変換処理のブロック単位で、イントラ予測に係る予測値を生成するモードである。これに対してイントラ16×16予測モードは、この直交変換処理のブロックの複数個を単位にしてイントラ予測に係る予測値を生成するモードであり、この複数個が水平方向及び垂直方向にそれぞれ4個に設定される。 Therefore, intra 4 × 4 prediction mode and intra 16 × 16 prediction mode are prepared for intra coding related to such coding processing. Here, in AVC, the difference data D2 is orthogonally transformed in units of 4 × 4 pixel blocks, and the intra 4 × 4 prediction mode is a mode for generating a prediction value related to intra prediction in units of blocks of the orthogonal transformation process. . On the other hand, the intra 16 × 16 prediction mode is a mode for generating a prediction value related to intra prediction in units of a plurality of blocks of the orthogonal transform process, and the plurality of 4 × 4 in the horizontal direction and the vertical direction, respectively. Set to
このうちイントラ4×4予測モードでは、図14に示すように、予測値を生成する4×4画素a〜pによるブロックに対して、近傍13個の画素A〜Mの一部が予測値の生成に供する予測画素に設定され、この予測画素より予測値が生成される。なおここでこの13個の画素A〜Mは、このブロックの走査開始端側、垂直方向に隣接する4個の画素A〜Dと、この4個の画素A〜Dの走査終了端側の画素Dに続く4個の画素E〜Fと、このブロックの走査開始端側、水平方向に隣接する4個の画素I〜Lと、この水平方向に隣接する4個の画素I〜Lのうちの走査開始端側の画素Iの上方に位置する画素Mとにより形成される。 Among them, in the intra 4 × 4 prediction mode, as shown in FIG. 14, a part of the neighboring 13 pixels A to M has a predicted value for a block of 4 × 4 pixels a to p that generate a predicted value. It is set to a prediction pixel to be used for generation, and a prediction value is generated from this prediction pixel. Here, the thirteen pixels A to M are the four pixels A to D adjacent in the vertical direction in the scanning start side of the block, and the pixels on the scanning end side of the four pixels A to D. Among four pixels E to F following D, four pixels I to L adjacent in the horizontal direction on the scanning start end side of this block, and four pixels I to L adjacent in the horizontal direction The pixel M is located above the pixel I on the scanning start end side.
イントラ4×4予測モードでは、これら13個の予測画素A〜Mと、予測値の生成に供する4×4個の画素a〜pとの相対的な関係により、図15及び図16に示すように、モード0〜モード8の予測モードが定義されている。すなわち図14に示すように、例えばモード0及び1では、予測値の生成に使用する13個の予測画素A〜Mのうち、それぞれ垂直方向及び水平方向に隣接する予測画素A〜D及びI〜Lにより予測値を生成する。
In the
より具体的には、図17(A)において矢印により示すように、モード0は、垂直方向に隣接する予測画素A〜Dより予測値を生成するモードであり、予測値を生成する4×4個の画素a〜pのうち、垂直方向に連続する1列目の画素a、e、i、mは、その上方向の画素Aが予測画素に設定される。また続く2列目の画素b、f、j、nは、その上方向の画素Bが予測画素に設定され、続く3列目及び4列目の画素c、g、k、o及びd、h、l、pは、それぞれ上方の画素C及びDが予測画素に設定され、これら予測画素A〜Dの画素値がそれぞれ対応する画素a〜pの予測値に設定される。なおモード0は、このモードにおける予測画素A〜Dが有意である場合にのみ適用される。
More specifically, as indicated by an arrow in FIG. 17A,
また図17(B)に同様に示すように、モード1は、水平方向に隣接する予測画素I〜Lより予測値を生成するモードであり、予測値を生成する4×4個の画素a〜pのうち、水平方向に連続する1ラインの画素a〜dは、その左方の画素Iが予測画素に設定される。また続く2ライン目の画素e〜hは、その左方の画素Jが予測画素に設定され、続く3ライン目及び4ライン目の画素i〜l及びm〜pは、それぞれ左方の画素K及びLが予測画素に設定され、これら予測画素I〜Lの画素値がそれぞれ対応する画素a〜pの予測値に設定される。なおモード1は、このモードにおける予測画素I〜Lが有意である場合にのみ適用される。
Similarly, as shown in FIG. 17B,
これに対してモード2は、図17(C)に示すように、13個の予測画素A〜Mのうち、このブロックの垂直方向及び水平方向に隣接する画素A〜D及びI〜Lより予測値を生成するモードであり、これらの画素A〜D及びI〜Lが全て有意な場合に、次式により各画素a〜pの予測値が生成される。
On the other hand, in the
イントラ16×16予測モードでは、図19に示すように、モード0〜モード3の予測モードが定義され、このうちモード0は、処理対象ブロックBの上方に隣接する画素P(0,−1)〜P(15,−1)(P(x,−1);x,y=−1〜15)が有意な場合にのみ適用されて、次式により示すように、ブロックBを構成する各画素P(0,15)〜P(15,15)の予測値が生成される。これにより図20(A)に示すように、ブロックBに隣接する各画素P(0,−1)〜P(15,−1)の画素値によりブロックBの垂直方向に連続する各画素の予測値が生成される。
In the intra 16 × 16 prediction mode, as shown in FIG. 19, prediction modes of
イントラ予測回路5は、ラスタ走査の順序により4×4画素のブロック、16×16画素のブロックを順次設定して予測モードを選択し、さらにこのラスタ走査の順序による処理を有効に利用して予測モードを伝送対象に通知する。
The
すなわち4×4予測モードによりイントラ符号化する場合において、図21に示すように、処理対象であるブロックCの予測モードIntra 4x4 pred mode Cに対して、水平方向及び垂直方向に処理を完了している隣接ブロックA及びBの予測モードIntra 4x4 pred mode A及びIntra 4x4 pred mode Bは、高い相関を持つと考えられる。これによりこれら隣接ブロックA及びBの予測モードIntra 4x4 pred mode A及びIntra 4x4 pred mode Bを用いて、次式により、最も可能性の高い予測モードMost Probable Modeを定義する。なおこの(16)式におけるminの判定は、これら予測モードの伝送に供するコードmode number により実行し、コードmode number の値の小さい側の予測モードを最も可能性の高い予測モードMost Probable Modeに設定する。 That is, in the case of performing intra coding in the 4 × 4 prediction mode, as shown in FIG. 21, the processing in the horizontal direction and the vertical direction is completed with respect to the prediction mode Intra 4x4 pred mode C of the block C to be processed. Prediction modes Intra 4x4 pred mode A and Intra 4x4 pred mode B of adjacent blocks A and B are considered to have high correlation. Thus, the most probable prediction mode Most Probable Mode is defined by the following equation using the prediction modes Intra 4x4 pred mode A and Intra 4x4 pred mode B of the adjacent blocks A and B. The determination of min in the equation (16) is executed by the code mode number used for transmission in these prediction modes, and the prediction mode having the smaller code mode number is set to the most likely prediction mode Most Probable Mode. To do.
BlkIdx] は、輝度データに係る対象ブロックを特定するブロック番号である。
BlkIdx] is a block number that identifies a target block related to luminance data.
すなわちこの場合、予測モードの伝送の有無を示すフラグprev intra 4x4 pred mode flag[luma 4x4 BlkIdx]が設定されている場合、隣接ブロックA及びBの予測モードIntra
4x4 pred mode A及びIntra 4x4 pred mode Bを用いて(16)式により復号側で検出される最も可能性の高い予測モードMost Probable Modeを処理対象であるブロックの予測モードに設定する。またこのフラグprev intra 4x4 pred mode flag[luma 4x4 BlkIdx]が設定されていない場合にあって、最も可能性の高い予測モードMost Probable Modeより伝送された予測モード rem intra 4x4 pred mode[luma 4x4 BlkIdx] のコードmode number が小さい場合、伝送された予測モード rem intra 4x4 pred mode[luma 4x4 BlkIdx] を処理対象ブロックの予測モードに設定する。またフラグprev intra 4x4 pred mode flag[luma 4x4 BlkIdx]が設定されていない場合にあって、最も可能性の高い予測モードMost Probable Modeより伝送された予測モード rem intra 4x4 pred mode[luma 4x4 BlkIdx]
のコードmode number が小さくない場合、伝送された予測モード rem intra 4x4 pred mode[luma 4x4 BlkIdx] のコードmode number に値1を加算したコードmode number の予測モードを処理対象ブロックの予測モードに設定する。
That is, in this case, when the flag prev intra 4x4 pred mode flag [luma 4x4 BlkIdx] indicating the presence or absence of transmission in the prediction mode is set, the prediction mode Intra of the adjacent blocks A and B is set.
Using 4x4 pred mode A and Intra 4x4 pred mode B, the most probable prediction mode Most Probable Mode detected on the decoding side by equation (16) is set as the prediction mode of the block to be processed. Also, when this flag prev intra 4x4 pred mode flag [luma 4x4 BlkIdx] is not set, the prediction mode transmitted from the most probable prediction mode Most Probable Mode rem intra 4x4 pred mode [luma 4x4 BlkIdx] When the code mode number is small, the transmitted prediction mode rem intra 4x4 pred mode [luma 4x4 BlkIdx] is set as the prediction mode of the processing target block. Also, when the flag prev intra 4x4 pred mode flag [luma 4x4 BlkIdx] is not set, the prediction mode transmitted from the most probable prediction mode Most Probable Mode rem intra 4x4 pred mode [luma 4x4 BlkIdx]
If the code mode number is not small, the prediction mode of the code mode number obtained by adding the
これらにより符号化装置は、最も可能性の高い予測モードMost Probable Modeが処理対象ブロックの予測モードと一致する場合、予測モードの伝送の有無を示すフラグprev intra 4x4 pred mode flag[luma 4x4 BlkIdx]を設定して、予測モード rem intra 4x4 pred
mode[luma 4x4 BlkIdx] の伝送を中止し、伝送に供するデータ量を削減する。
Thus, the encoding apparatus sets a flag prev intra 4x4 pred mode flag [luma 4x4 BlkIdx] indicating whether or not the prediction mode is transmitted when the most likely prediction mode Most Probable Mode matches the prediction mode of the processing target block. Set and prediction mode rem intra 4x4 pred
Stop transmission of mode [luma 4x4 BlkIdx] and reduce the amount of data used for transmission.
このような符号化装置は、撮像素子による撮像結果のデータ圧縮等に使用され、このような撮像素子においては、従来からのCCD(Charge Coupled Device )固体撮像素子に対して、近年、CMOS固体撮像素子の使用が増大している。 Such an encoding device is used for data compression of an imaging result by an image sensor, and in such an image sensor, a CMOS solid-state image sensor has recently been used in comparison with a conventional CCD (Charge Coupled Device) solid-state image sensor. The use of elements is increasing.
ここで図23に示すように、CCD固体撮像素子41は、フォトダイオードによる各画素42に保持された蓄積電荷を垂直転送レジスタ43に転送し、この垂直転送レジスタ43に転送した蓄積電荷を水平転送レジスタ44に順次転送しながら水平転送レジスタ44により順次転送して出力する。これによりCCD固体撮像素子41は、通常、ラスタ走査の順序により撮像結果を出力する。これに対して図24に示すように、CMOS固体撮像素子46は、垂直走査回路47及び水平走査回路48によるXYアドレス制御により、フォトダイオードによる各画素49に保持された蓄積電荷を出力し、これにより各画素49の撮像結果を高速度で読み出すことができ、また読み出しの順序等にあっても高い自由度を確保することができる。またCMOS固体撮像素子46は、低消費電力がCCD固体撮像素子の1/5程度と低く、さらに周辺回路と一体化が容易な特徴がある。
Here, as shown in FIG. 23, the CCD solid-
なお図25は、CCD固体撮像素子41の処理系を示すブロック図であり、CCD固体撮像素子41では、各画素42の撮像結果である蓄積電荷を垂直レジスタ(Vレジ)43、水平レジスタ(Hレジ)44により順次転送してフローティングディフュージョンアンプ(FDA)51に入力し、ここで蓄積電荷量に応じた出力電圧を生成する。CCD固体撮像素子41の処理系は、このフローティングディフュージョンアンプ51の出力信号を相関二重サンプリング回路(CDS)52により相関二重サンプリング処理した後、プログラマブルゲインアンプ(PGA)53により信号レベルを補正し、アナログディジタル変換回路(ADC)54により画像データに変換する。
FIG. 25 is a block diagram showing a processing system of the CCD solid-
また図26は、CMOS固体撮像素子46の処理系を示すブロック図である。CMOS固体撮像素子46では、各画素49による蓄積電荷を各画素49に設けられたフローティングディフュージョンアンプ(FDA)56により出力電圧に変換し、この出力電圧を行毎にまとめてカラムCDSブロック(カラムCDS)57により相関二重サンプリング処理して出力する。CMOS固体撮像素子46の処理系は、このカラムCDSブロック57の出力信号をプログラマブルゲートアレー(PGA)58により処理した後、アナログディジタル変換回路(ADC)59により画像データに変換する。
FIG. 26 is a block diagram showing a processing system of the CMOS solid-
また図27は、CCD固体撮像素子41による具体的なシステムの構成を示すブロック図であり、CCD固体撮像素子41は、動作基準の各種タイミング信号を生成するタイミングジェネレータ(TG)61と、このタイミングジェネレータ61によるタイミング信号からCCD固体撮像素子41の駆動に供する各種駆動信号を生成する垂直駆動回路62、水平駆動回路63による駆動回路64とが1つのチップにより形成される。また相関二重サンプリング回路(CDS)52、プログラマブルゲインアンプ(PGA)53、アナログディジタル変換回路(ADC)54によるアナログフロントエンド(AFE)65が1チップにより形成され、このアナログフロントエンド65から出力される画像データをディジタルシグナルプロセッサ(DSP)66により処理する。これらのうち駆動回路64とアナログフロントエンド65とは、通常、1つのパッケージに一体に形成され、これによりCCD固体撮像素子41によるシステムは、通常、3パッケージによる4チップにより形成される。なお駆動回路64とアナログフロントエンド65とは、スタック2in1パッケージ技術により一体に作成される場合もある。
FIG. 27 is a block diagram showing a specific system configuration of the CCD solid-
また図28は、CMOS固体撮像素子46による具体的なシステムの構成を示すブロック図であり、CMOS固体撮像素子46は、画素49をマトリックス状に配置して画素部67が形成され、垂直走査回路47、水平走査回路48、カラムCDSブロック57、プログラマブルゲートアレー58、アナログディジタル変換回路59の動作を制御ロジック68により制御するようにして、これらの回路ブロックが一体に集積回路化して形成される。またこの集積回路から出力される画像データをディジタルシグナルプロセッサ(DSP)69により処理し、これらによりこの図28の例では、2チップにより構成される。なおCMOS固体撮像素子46によるシステムでは、プログラマブルゲートアレー58、アナログディジタル変換回路59を別チップとした3チップにより構成される場合もある。
FIG. 28 is a block diagram showing a specific system configuration using the CMOS solid-
このようなCMOS固体撮像素子について、例えば特開2004−31785号公報等には、周辺回路と一体化する構成の工夫が提案されている。 With regard to such a CMOS solid-state imaging device, for example, Japanese Patent Application Laid-Open No. 2004-31785 proposes a device that is integrated with a peripheral circuit.
ところでAVC等による符号化処理においては、上述したように、画像データをラスタ走査の順序により処理することを前提に、ラスタ走査の順序で処理した場合に処理を完了している水平方向及び垂直方向の隣接画素を予測画素に設定し(図14及び図18)、さらには予測モードの伝送効率を向上する(図22)。 By the way, in the encoding process by AVC or the like, as described above, on the premise that the image data is processed in the raster scanning order, the horizontal direction and the vertical direction in which the processing is completed when the raster data is processed in the raster scanning order. Are set as prediction pixels (FIGS. 14 and 18), and the transmission efficiency in the prediction mode is further improved (FIG. 22).
しかしながら画像にあっては、ラスタ走査の順序で処理した場合に、処理を完了していない画素との間で高い相関が得られる場合もある。この場合、ラスタ走査の順序によりイントラ予測したのでは、精度のよい予測値を算出することが困難になり、その分、符号化処理の効率が劣化することになる。
本発明は以上の点を考慮してなされたもので、イントラ符号化処理に関して、従来に比して符号化処理の効率を向上することができる符号化装置、撮像装置、復号化装置及び画像データの処理方法を提案しようとするものである。 The present invention has been made in consideration of the above points, and with regard to the intra coding process, the coding apparatus, the imaging apparatus, the decoding apparatus, and the image data that can improve the efficiency of the coding process as compared with the conventional technique. We are going to propose a processing method.
かかる課題を解決するため請求項1の発明においては、マクロブロック毎に、予測画素を設定してイントラ予測による予測値を出力するイントラ予測回路と、予測値と画像データとの差分データを出力する減算回路と、差分データを処理する処理回路とを有する符号化装置に適用して、画像データは、マクロブロック単位で、画像の周辺から中央に向かうらせん状の走査の順序により入力され、イントラ予測回路は、らせん状の走査に応じて、マクロブロックに対する予測画素の設定を切り換える。 In order to solve this problem, in the first aspect of the invention, for each macroblock, an intra prediction circuit that sets a prediction pixel and outputs a prediction value based on intra prediction, and difference data between the prediction value and image data are output. The present invention is applied to an encoding device having a subtraction circuit and a processing circuit for processing difference data. Image data is input in macroblock units in the order of spiral scanning from the periphery of the image toward the center, and is used for intra prediction. The circuit switches the setting of the prediction pixel for the macroblock according to the helical scan.
また請求項15の発明においては、撮像結果を出力する撮像素子と、マクロブロック毎に、予測画素を設定してイントラ予測による予測値を出力するイントラ予測回路と、予測値と画像データとの差分データを出力する減算回路と、差分データを処理する処理回路とを有する撮像装置に適用して、撮像素子は、画像の周辺から中央に向かってらせん状にマクロブロックを走査させて、マクロブロック単位で撮像結果を出力し、イントラ予測回路は、らせん状の走査に応じて、マクロブロックに対する予測画素の設定を切り換える。
In the invention of
また請求項32の発明においては、復号化装置に適用して、順次入力される符号化データから画像データを復号する復号化装置において、符号化データを処理して差分データを出力する処理回路と、マクロブロック毎に、予測画素を設定してイントラ予測による予測値を出力するイントラ予測回路と、予測値と差分データとを加算して画像データを出力する加算回路と、画像データを記録して参照画像を保持するメモリとを備え、符号化データが、マクロブロック単位で、画像の周辺から中央に向かうらせん状の走査の順序により入力され、イントラ予測回路は、らせん状の走査に応じて、マクロブロックに対する予測画素の設定を切り換える。 According to a thirty-second aspect of the present invention, there is provided a processing circuit which is applied to a decoding device and which decodes image data from sequentially input encoded data and which processes the encoded data and outputs difference data. In addition, for each macroblock, an intra prediction circuit that sets a prediction pixel and outputs a prediction value by intra prediction, an addition circuit that adds the prediction value and the difference data and outputs image data, and records the image data A memory for holding a reference image, and encoded data is input in macroblock units in the order of a spiral scan from the periphery of the image to the center, and the intra prediction circuit Switch prediction pixel settings for macroblocks.
また請求項38の発明においては、マクロブロック毎に、予測画素を設定してイントラ予測による予測値を出力するイントラ予測のステップと、予測値と画像データとの差分データを出力する減算のステップと、差分データを処理する処理のステップとを有する画像データの処理方法に適用して、画像データは、マクロブロック単位で、画像の周辺から中央に向かうらせん状の走査の順序により入力され、イントラ予測のステップは、らせん状の走査に応じて、マクロブロックに対する予測画素の設定を切り換える。 Further, in the invention of claim 38, for each macroblock, an intra prediction step for setting a prediction pixel and outputting a prediction value by intra prediction, and a subtraction step for outputting difference data between the prediction value and image data; The image data is input in a spiral scan order from the periphery to the center of the image in units of macroblocks, and is applied to intra prediction. In this step, the setting of the prediction pixel for the macroblock is switched in accordance with the helical scan.
また請求項42の発明においては、順次入力される符号化データから画像データを復号する画像データの処理方法に適用して、符号化データを処理して差分データを出力する処理のステップと、マクロブロック単位で予測画素を設定してイントラ予測による予測値を出力するイントラ予測のステップと、予測値と差分データとを加算して画像データを出力する加算のステップと、画像データにより参照画像を記録する記録のステップとを有し、符号化データが、マクロブロック単位で、画像の周辺から中央に向かうらせん状の走査の順序により入力され、イントラ予測のステップは、らせん状の走査に応じて、処理対象のマクロブロックに対する予測画素の設定を切り換える。
According to the invention of
請求項1の構成により、マクロブロック毎に、予測画素を設定してイントラ予測による予測値を出力するイントラ予測回路と、予測値と画像データとの差分データを出力する減算回路と、差分データを処理する処理回路とを有する符号化装置に適用して、画像データは、マクロブロック単位で、画像の周辺から中央に向かうらせん状の走査の順序により入力され、イントラ予測回路は、らせん状の走査に応じて、マクロブロックに対する予測画素の設定を切り換えるようにすれば、単にラスタ走査順に処理する場合に比して、予測値の精度を向上することができ、その分、イントラ符号化処理に関して、従来に比して符号化処理の効率を向上することができる。
According to the configuration of
これにより請求項15の構成によれば、イントラ符号化処理に関して、従来に比して符号化処理の効率を向上することができる撮像装置を提供することができる。
Thereby, according to the structure of
また請求項32の構成により、復号化装置に適用して、順次入力される符号化データから画像データを復号する復号化装置において、符号化データを処理して差分データを出力する処理回路と、マクロブロック毎に、予測画素を設定してイントラ予測による予測値を出力するイントラ予測回路と、予測値と差分データとを加算して画像データを出力する加算回路と、画像データを記録して参照画像を保持するメモリとを備え、符号化データが、マクロブロック単位で、画像の周辺から中央に向かうらせん状の走査の順序により入力され、イントラ予測回路は、らせん状の走査に応じて、マクロブロックに対する予測画素の設定を切り換えるようにすれば、らせん状の走査により処理された符号化データを処理して画像データを復号することができ、これにより従来に比してイントラ符号化処理の効率が向上された符号化データを確実に復号することができる。 According to the configuration of claim 32, in a decoding device that is applied to a decoding device and decodes image data from sequentially input encoded data, a processing circuit that processes the encoded data and outputs difference data; For each macroblock, an intra prediction circuit that sets a prediction pixel and outputs a prediction value by intra prediction, an addition circuit that adds the prediction value and difference data and outputs image data, and records and references the image data A memory for holding an image, and the encoded data is input in macroblock units in the order of spiral scanning from the periphery to the center of the image, and the intra prediction circuit performs macro scanning according to the spiral scanning. If the setting of the prediction pixel for the block is switched, the encoded data processed by the helical scan can be processed to decode the image data. Can, thereby the efficiency of the intra encoding process is reliably decode an enhanced coded data than conventional.
これらにより請求項38、請求項42の構成によれば、イントラ符号化処理に関して、従来に比して符号化処理の効率を向上することができる画像データの処理方法を提供することができる。
Thus, according to the configurations of
本発明によれば、イントラ符号化処理に関して、従来に比して符号化処理の効率を向上することができる。 According to the present invention, it is possible to improve the efficiency of the encoding process as compared with the related art with respect to the intra encoding process.
以下、適宜図面を参照しながら本発明の実施例を詳述する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings as appropriate.
(1)実施例の構成
図1は、本発明の実施例1に係る撮像装置を示すブロック図である。この撮像装置81は、撮像素子82による撮像結果をデータ圧縮して記録系83により記録する。なおここで記録系83は、例えば光ディスク装置、メモリカード等、種々の記録再生手段が適用される。
(1) Configuration of Embodiment FIG. 1 is a block diagram illustrating an imaging apparatus according to
この撮像装置81において、レンズ84は、ユーザーによる操作に応動してズーム倍率、絞りを可変して撮像素子82の撮像面に入射光を集光する。
In the
撮像素子82は、XYアドレス制御による撮像素子であり、この実施例においては、例えばCMOS固体撮像素子により形成される。撮像素子82は、この撮像素子82を構成する半導体チップと、周辺回路の集積回路による半導体チップとが、スタック2in1パッケージ技術により積層されて一体に集積回路化され、これにより撮像素子82の集積回路89により実装される。これにより撮像素子82は、高い自由度で各画素の撮像結果を周辺回路に出力できるように構成され、また撮像装置81は、全体形状が小型化され、さらには構成が簡略化される。なおこの実施例においては、この周辺回路に、アナログディジタル変換回路(A/D)85、画像メモリ86、アドレス制御回路87、符号化回路88が適用される。
The
撮像素子82は、アドレス制御回路87によるアドレス制御により、各画素の撮像結果を出力し、アドレス制御回路87は、この撮像素子82による撮像結果の出力が所定の順序となるように、撮像素子82の読み出しアドレスを生成する。ここでアドレス制御回路87は、この所定順序が、マクロブロックを単位として撮像結果を出力するようにして、画面の周辺から中央に向かってらせん状に軌跡を描くようにマクロブロックが走査し、さらに走査の開始端がラスタ走査の開始端であって、この走査の方向が時計回りとなるように、撮像素子82の読み出しアドレスを生成する。なおここでこの実施例において、マクロブロックは、イントラ予測、インター予測における基本の処理単位であり、イントラ16×16予測モードにおける16×16画素のブロックである。
The
すなわち図2に示すように、1フレームがM×N個のマクロブロックMBにより形成されるとして、このマクロブロックMBを(k,l)(0<k<M−1,0<l<N−1)により表すようにして、アドレス制御回路87は、ラスタ走査の開始端から水平方向に矢印Aにより示すように、順次(0,0)、(1,0)、(2,0)、……の順序により各マクロブロックMBの撮像結果を出力するように撮像素子82の読み出しアドレスを生成する。また水平方向の右端のマクロブロック(M−1,0)の撮像結果を出力すると、矢印Bにより示すように、走査方向を画面下方向に切り換え、順次(M−1,0)、(M−1,1)、(M−1,2)、……の順序により各マクロブロックMBの撮像結果を出力するように撮像素子82の読み出しアドレスを生成する。また垂直方向の下端のマクロブロック(M−1,N−1)の撮像結果を出力すると、矢印Cにより示すように、走査方向を左方向に切り換え、順次(M−1,N−1)、(M−2,N−1)、(M−3,N−1)、……の順序により各マクロブロックMBの撮像結果を出力するように、また左端のマクロブロック(0,M−1)となると、矢印Dにより示すように走査方向を上方向に切り換えて順次マクロブロックの撮像結果を出力するように、撮像素子82の読み出しアドレスを生成する。
That is, as shown in FIG. 2, assuming that one frame is formed by M × N macroblocks MB, this macroblock MB is defined as (k, l) (0 <k <M−1, 0 <l <N− As indicated by 1), the
また各マクロブロックにおいては、数字により出力の順序を表して図3に示すように、各マクロブロックを分割する小ブロックを単位にして、この小ブロックが、マクロブロックの周辺から中央に向かって時計回りによるらせん状の軌跡を描くように、撮像素子82の読み出しアドレスを生成する。なおこの場合も走査の開始端は、ラスタ走査の開始端である。なおここでこの小ブロックは、イントラ4×4予測モードにおける4×4画素のブロックである。またこの小ブロックの中にあっては、ラスタ走査の順序により各画素の撮像結果を出力するように、撮像素子82の読み出しアドレスを生成する。
Also, in each macroblock, the order of output is shown by numbers, and as shown in FIG. 3, this small block is clocked from the periphery to the center of the macroblock in units of small blocks that divide each macroblock. A read address of the
アナログディジタル変換回路85は、このようにして所定の順序により撮像素子82から出力される撮像結果をアナログディジタル変換処理して画像データを出力する。
The analog /
画像メモリ86は、小容量のメモリ回路により構成され、このアナログディジタル変換回路85から出力される画像データを一時保持し、符号化回路88の処理に対応するタイミングにより順次出力する。
The
符号化回路88は、周辺から中央に向かうらせん状のマクロブロックの走査により順次入力される画像データを順次符号化処理する点、この処理に関してイントラ予測回路90におけるイントラ4×4予測モード、イントラ16×16予測モードの処理が異なる点を除いて、図12について上述した符号化装置1と同一に構成される。これにより符号化回路88は、順次入力される画像データによるピクチャを符号化処理の順序により並べ替えた後、イントラ予測、インター予測により差分データを生成し、この差分データを直交変換処理、量子化処理、可変長符号化処理して符号化データD5を出力し、これにより撮像素子82による撮像結果を周辺から中央に向かうらせん状の順序により順次データ圧縮して記録系83に出力する。
The encoding circuit 88 sequentially encodes image data sequentially input by scanning a spiral macroblock from the periphery toward the center. In this process, the
イントラ予測回路90は、イントラ16×16予測モード、イントラ4×4予測モードとでそれぞれ上述した複数の予測モードによる予測値を生成して最適な予測モードを選択し、イントラ符号化する場合、この最適な予測モードによる予測値を出力する。この一連の処理に係るイントラ4×4予測モードにおいて、イントラ予測回路90は、図4に示すように、処理対象ブロックCに対して、水平方向の左右に隣接するブロックA及びA’、垂直方向の上下に隣接するブロックB及びB’のうち、左側及び上側のブロックA及びBが共に有意の場合、従来のAVCの場合と同様に、図14に示すように、処理対象ブロックCの左側及び上側に係る隣接画素A〜Mを予測画素に設定し、この予測画素により各モードの予測値を生成する。
When the
また左側及び右側のブロックA及びA’が共に有意でない場合であって、かつ上側のブロックBが有意の場合、又は上側及び下側のブロックB及びB’が共に有意でない場合であって、かつ左側のブロックAが有意の場合、従来のAVCと同様に予測画素を設定して予測値を計算する。また隣接ブロックA〜B’の全てが有意情報でない場合にあっても、従来のAVCと同様に予測画素を設定して予測値を計算する。 And if both the left and right blocks A and A ′ are not significant and the upper block B is significant, or the upper and lower blocks B and B ′ are both not significant, and When the left block A is significant, a prediction pixel is set and a prediction value is calculated in the same manner as in the conventional AVC. Even when all of the adjacent blocks A to B ′ are not significant information, a prediction pixel is set and a prediction value is calculated similarly to the conventional AVC.
これによりイントラ予測回路90は、図2において矢印Aにより示す左端から右端側に向かうマクロブロックの走査、図2において矢印B、C及びDにより示す上端から下端、右端から左端側及び下端から上端に向かうマクロブロックの最も外周側の走査において、図3において数字0〜8又は0〜9のブロックと数字11〜13のブロックについては、従来のAVCによる場合と同様に予測画素を設定して予測値を生成する。またこれら以外のマクロブロックの走査で対応するブロックについても、同様に予測画素を設定して予測値を生成する。
Thereby, the
このようにしてAVCに係る処理対象ブロックCの左側及び上側に係る隣接画素A〜Mを予測画素に設定することを基本にして、イントラ予測回路90は、左側のブロックAが有意ではなく、右側のブロックA’が有意の場合、処理対象ブロックCの左側に係る隣接画素に代えて、処理対象ブロックCの左側に係る隣接画素を予測画素に設定する。また上側のブロックBが有意ではなく、下側のブロックB’が有意の場合、処理対象ブロックCの上側に係る隣接画素に代えて、処理対象ブロックCの下側に係る隣接画素を予測画素に設定する。
In this way, on the basis of setting the adjacent pixels A to M on the left side and the upper side of the processing target block C related to AVC as prediction pixels, the
これによりイントラ予測回路90は、図2において矢印Bにより示す上端から下端に向かうマクロブロックの内周側の走査における図3の数字3〜6により示すブロック等においては、処理対象ブロックCの右側及び上側に係る隣接画素を予測画素に設定して予測値を生成する。
Thereby, the
また同様に、図2において矢印Dにより示す下端から上端側に向かうマクロブロックの内周側の走査における図3の数字9〜11により示すブロック等においては、処理対象ブロックCの左側及び下側に係る隣接画素を予測画素に設定して予測値を生成する。
Similarly, in the blocks indicated by
また同様に、図2において矢印Cにより示す右端から左端側に向かうマクロブロックの内周側の走査における図3の数字6〜9により示すブロック等においては、処理対象ブロックCの右側及び下側に係る隣接画素を予測画素に設定して予測値を生成する。しかして図2のマクロブロックの走査に係る図3の各ブロックにおいては、このような4つの場合の何れかに場合分けされて予測画素が設定されることになる。これらによりこの実施例においては、マクロブロックにおける小ブロックの走査に応じて、小ブロックに対する参照画素の設定を切り換える。
Similarly, in the blocks indicated by
イントラ予測回路90は、これらのうち処理対象ブロックCの右側及び上側に係る隣接画素を予測画素に設定して予測値を生成する場合、図10との対比により図5に示すように、AVCによる処理対象ブロックCの左側及び上側に係る隣接画素を予測画素に設定して予測値を生成する場合に対して、処理対象画素、隣接画素の配置を左右で逆転させた関係により(1)式〜(9)式の処理を実行して各モードの予測値を生成する。
When the
また処理対象ブロックCの左側及び下側に係る隣接画素を予測画素に設定して予測値を生成する場合、図10との対比により図6に示すように、AVCによる処理対象ブロックCの左側及び上側に係る隣接画素を予測画素に設定して予測値を生成する場合に対して、処理対象画素、隣接画素の配置を上下で逆転させた関係により(1)式〜(9)式の処理を実行して各モードの予測値を生成する。 Further, when the prediction value is generated by setting the adjacent pixels on the left side and the lower side of the processing target block C to the prediction pixels, as shown in FIG. 6 by comparison with FIG. 10, the left side of the processing target block C by AVC and In the case where the prediction value is generated by setting the adjacent pixel on the upper side as the prediction pixel, the processing of Expressions (1) to (9) is performed according to the relationship in which the arrangement of the processing target pixel and the adjacent pixel is reversed up and down. Run to generate predicted values for each mode.
また処理対象ブロックCの右側及び下側に係る隣接画素を予測画素に設定して予測値を生成する場合、図10との対比により図7に示すように、AVCによる処理対象ブロックCの左側及び上側に係る隣接画素を予測画素に設定して予測値を生成する場合に対して、処理対象画素、隣接画素の配置を上下及び左右で逆転させた関係により(1)式〜(9)式の処理を実行して各モードを予測値を生成する。これらにより図15について上述した各モードにおける予測方向も、これらに対応して左右、上下、上下及び左右で逆転した関係により予測モードを選択して予測値を生成する。これによりこの実施例においては、処理対象の小ブロックに対して上下左右に隣接する小ブロックが参照画像に存在するか否かの判定により予測画素の設定を切り換えるようにして、この予測画素の設定の切り換えに対応して、各予測画素による予測値の小ブロックにおける対象画素を切り換える。 Further, when the prediction value is generated by setting the adjacent pixels on the right side and the lower side of the processing target block C as prediction pixels, as shown in FIG. 7 by comparison with FIG. 10, the left side of the processing target block C by AVC and In the case where the predicted value is generated by setting the adjacent pixel on the upper side as the predicted pixel, the relationship between the processing target pixel and the adjacent pixel is reversed up and down and left and right. A process is executed to generate a predicted value for each mode. As a result, the prediction direction in each mode described above with reference to FIG. 15 is also selected to generate a prediction value by selecting a prediction mode according to the relationship reversed to the left, right, up, down, up, down, and left and right. Accordingly, in this embodiment, the prediction pixel setting is switched by determining whether or not a small block adjacent to the processing target small block vertically and horizontally is present in the reference image. In response to the switching, the target pixel in the small block of the prediction value by each prediction pixel is switched.
またイントラ予測回路90は、このような予測画素の設定に対応するように、最も可能性の高い予測モードMost Probable Modeの生成に供する処理済みブロックを切り換えて最も可能性の高い予測モードMost Probable Modeを計算し、この計算結果により予測モードの伝送の有無を示すフラグprev intra 4x4 pred mode flag[luma 4x4 BlkIdx]又は予測モード rem intra 4x4 pred mode[luma 4x4 BlkIdx] を伝送対象に送出する。
In addition, the
これに対してイントラ16×16予測モードにおいても、イントラ予測回路90は、同様に、処理対象のブロックに対して予測画素を切り換えて予測値を生成する。すなわち図4について上述したと同様の判断を上下、左右に隣接するマクロブロックとの間で実行して、図2において矢印Aにより示す左端から右端へのマクロブロックの走査、さらには矢印Bにより示す上端から下端への最外周のマクロブロックの走査においては、図14について上述した従来のAVCの場合と同様に左側及び上側に隣接する画素を予測画素に設定して予測値を生成する。
On the other hand, also in the intra 16 × 16 prediction mode, the
また図2において矢印Bにより示す上端から下端への内周側のマクロブロックの走査においては、図8に示すように、図14について上述した従来のAVCの場合の左側に隣接する画素に代えて右側に隣接する画素を予測画素に設定して予測値を生成する。 Further, in the scanning of the macroblock on the inner peripheral side from the upper end to the lower end indicated by the arrow B in FIG. 2, as shown in FIG. 8, instead of the adjacent pixel on the left side in the case of the conventional AVC described above with reference to FIG. A prediction value is generated by setting a pixel adjacent to the right side as a prediction pixel.
また図2において矢印Cにより示す右端から左端へのマクロブロックの走査においては、図9に示すように、図14について上述した従来のAVCの場合の上側及び左側に隣接する画素に代えて下側及び右側に隣接する画素を予測画素に設定して予測値を生成する。 In the scanning of the macroblock from the right end to the left end indicated by the arrow C in FIG. 2, as shown in FIG. 9, the lower side instead of the adjacent pixels on the upper side and the left side in the case of the conventional AVC described above with reference to FIG. And a pixel adjacent to the right side is set as a predicted pixel to generate a predicted value.
また図2において矢印Dにより示す下端から上端への内周側のマクロブロックの走査においては、図10に示すように、図14について上述した従来のAVCの場合の上側に隣接する画素に代えて下側に隣接する画素を予測画素に設定して予測値を生成する。 Further, in the scanning of the macro block on the inner peripheral side from the lower end to the upper end indicated by the arrow D in FIG. 2, as shown in FIG. 10, instead of the adjacent pixel on the upper side in the case of the conventional AVC described above with reference to FIG. A predicted value is generated by setting a pixel adjacent to the lower side as a predicted pixel.
またこれらの場合に、図14、図5〜図7について上述したイントラ4×4予測モードの場合と同様に、このような予測画素の設定に対応するように、予測画素と予測対象との関係を左右、上下、上下及び左右で逆転した関係により(10)式〜(15)式の処理を実行して予測モードを選択して予測値を生成する。
Further, in these cases, as in the case of the
これらによりこの実施例では、マクロブロック単位で、画像の周辺から中央に向かうらせん状の走査の順序により画像データを処理するようにして、処理対象のマクロブロックに対して上下左右に隣接するマクロブロックの参照画像における有無の判定による予測画素の設定の切り換え、これによりらせん状の走査に応じて、マクロブロックに対する予測画素の設定を切り換える。またこの予測画素の設定の切り換えに対応して、予測画素による予測値のマクロブロックにおける対象画素を切り換える。 Accordingly, in this embodiment, image data is processed in the order of spiral scanning from the periphery to the center of the image in units of macroblocks, and macroblocks adjacent to the processing target macroblock vertically and horizontally The setting of the prediction pixel for the macroblock is switched in accordance with the switching of the prediction pixel by the presence / absence determination in the reference image. Corresponding to the switching of the prediction pixel setting, the target pixel in the macro block of the prediction value by the prediction pixel is switched.
撮像装置81は、このようにして生成した符号化データD5を記録系83により記録する。また図示しない再生系により再生して再生データを得、この再生データを復号化回路により処理して画像データを復号する。この実施例に係る復号化回路は、符号化回路88に対応したらせん状の順序による符号化データの処理に係る構成を除いて、図13について上述した復号化装置と同一に構成されることにより、以下の説明においては、この図13に示す構成を用いて、復号化装置20との相違点について説明し、重複した説明は省略する。
The
すなわちこの復号化回路は、周辺から中央に向かうらせん状のマクロブロック、小ブロックによる走査の順序により符号化データD5が入力され、順次、この符号化データD5を処理して画像データを復号する。この処理において、イントラ予測回路23は、イントラ予測の符号化データを復号する場合、上述の符号化回路88のイントラ予測回路90と同一に予測画素を設定して、再生データから得られる予測モードにより予測値を生成して出力する。すなわち処理対象のマクロブロック、小ブロックの上下左右に隣接するマクロブロック、小ブロックについて、フレームメモリ31に保持された対応する参照画像に存在するか否か判定して予測画素を設定する。またフレームメモリ31は、このらせん状の走査に対応して書き込みアドレス及び又は読み出しアドレスの設定により、復号した画像データを参照画像として記録する。
That is, the decoding circuit receives the encoded data D5 in the order of scanning by the spiral macroblock and the small block from the periphery toward the center, and sequentially processes the encoded data D5 to decode the image data. In this process, the intra prediction circuit 23 sets the prediction pixel in the same manner as the
(2)実施例の動作
以上の構成において、この撮像装置81(図1)において、撮像素子82で得られる撮像結果は、アナログディジタル変換回路85によりアナログディジタル変換処理されて画像データに変換され、この画像データが画像メモリ86を介して符号化回路88に入力される。画像データは、この符号化回路88において、イントラ予測、インター予測による予測値が生成され、この予測値との差分データD2が直交変換処理、量子化処理、可変長符号化処理による処理回路により処理されて記録系83により記録される。またこの一連の処理結果である符号化データD5においては、画像データに復号されてフレームメモリ16に記録されて参照画像として保持され、イントラ予測、インター予測における予測値の生成に供される。
(2) Operation of Embodiment In the above configuration, in this imaging apparatus 81 (FIG. 1), the imaging result obtained by the
またこれらの処理のうちイントラ予測において、画像データは、16×16画素によるマクロブロック単位で、フレームメモリ16に保持された参照画像により予測画素が設定され、この予測画素により各モードの予測値が生成される。またマクロブロックを細分割した4×4画素による小ブロック単位で、フレームメモリ16に保持された参照画像により予測画素が設定され、この予測画素により各モードの予測値が生成される。画像データは、これらマクロブロック、小ブロックによる予測値により、予測誤差が判定されて最も符号化に適した予測モードが選択され、イントラ予測による符号化処理する場合には、この予測モードによる予測値が減算器4に出力されて差分データが生成される。
Among these processes, in intra prediction, image data is set in units of macroblocks of 16 × 16 pixels, and prediction pixels are set by reference images held in the
これにより画像データは、処理を完了してフレームメモリ16に格納された参照画像との間で相関が高い場合、予測誤差が小さくなり、画質劣化を有効に回避して効率良く符号化処理することが可能になる。
As a result, when the correlation between the image data and the reference image stored in the
この実施例では、アドレス制御回路87による撮像素子82のアドレス制御により、マクロブロック単位で、画像の周辺から中央に向かうらせん状の走査の順序により撮像素子82から撮像結果が出力される(図2)。また各マクロブロックにおいては、小ブロック単位で、マクロブロックの周辺から中央に向かうらせん状の走査の順序により撮像素子82から撮像結果が出力される(図3)。
In this embodiment, by the address control of the
またこのようにしてらせん状に走査して、このらせん状の走査に応じて、フレームメモリ16に格納された参照画像により予測画素を設定可能に、マクロブロック、小ブロックに対する予測画素の設定が切り換えられる。具体的には、処理対象のマクロブロック、小ブロックに対して上下左右に隣接するマクロブロック、小ブロックの参照画像における有無の判定により(図4)、予測画素の設定が切り換えられる(図5〜図7、図14、図8〜図10、図18)。
In addition, scanning in a spiral manner in this way, and prediction pixels can be set by reference images stored in the
またこのように予測画素の切り換えに対応するように、予測画素とマクロブロック、小ブロックの各画素との関係が切り換えられて、予測画素の設定の切り換えに対応して、この予測画素による予測値のマクロブロック、小ブロックにおける対象画素が切り換えられ、らせん状の走査順序により入力される各画像データとの間で差分データが生成される。 In addition, the relationship between the prediction pixel and each of the macro block and small block pixels is switched so as to correspond to the switching of the prediction pixel in this way, and the prediction value by this prediction pixel corresponding to the switching of the setting of the prediction pixel The target pixels in the macro block and the small block are switched, and difference data is generated between the image data input in the helical scan order.
これによりマクロブロックにおける周辺から中央に向かうらせん状の走査による画像データは、相対的に重要度の低い周辺から重要度の高い中央に向かう方向に予測値が生成されることになり、その分、予測値の精度が向上されることになる。これによりこの実施例においては、従来のライン走査の順序による処理に比してイントラ符号化処理の効率を向上することができる。 As a result, for the image data obtained by the spiral scan from the periphery to the center in the macroblock, a predicted value is generated in the direction from the relatively less important periphery to the more important center. The accuracy of the predicted value is improved. As a result, in this embodiment, the efficiency of the intra coding process can be improved as compared with the process based on the conventional line scanning order.
またこのようにしてマクロブロックにより周辺から中央に向かうらせん状の走査により画像データを処理するようにして、マクロブロックを細分割した小ブロックにおいても周辺から中央に向かうらせん状の走査により撮像結果を処理するようにしたことにより、この小ブロックを単位にして画像全体を見た場合にも、相対的に重要度の低い周辺から重要度の高い中央に向かう方向に予測値が生成されることになり、その分、予測値の精度が向上されることになる。これによってもこの実施例においては、従来のライン走査の順序による処理に比してイントラ符号化処理の効率を向上することができる。 In addition, in this way, image data is processed by spiral scanning from the periphery to the center by the macroblock, and even in a small block obtained by subdividing the macroblock, the imaging result is obtained by spiral scanning from the periphery to the center. As a result of processing, even when the entire image is viewed in units of small blocks, a predicted value is generated in a direction from a relatively less important periphery to a more important center. Therefore, the accuracy of the predicted value is improved accordingly. Also in this case, in this embodiment, the efficiency of the intra coding process can be improved as compared with the process by the conventional line scanning order.
またこのような予測画素の設定の切り換えを、処理対象のマクロブロック、小ブロックに対して上下左右に隣接するマクロブロック、小ブロックの参照画像における有無の判定により実行することにより、従来のイントラ予測方法であるAVCの手法を基準にして、このAVCに係る処理対象のマクロブロック、小ブロックと、参照画像に係る隣接するマクロブロック、小ブロックとの関係を基本にして、処理対象のマクロブロック、小ブロックとフレームメモリ16に保持された参照画像との関係を置き換えるだけで、AVCの手法により各予測モードの予測値を求めることができる。これによりこの実施例においては、従来構成を有効に利用して簡易な処理により予測値が生成される。
In addition, the conventional intra prediction is performed by performing such switching of the prediction pixel by determining whether or not a macroblock to be processed, a macroblock adjacent vertically and horizontally to a small block, and a reference image of the small block are present. Based on the method of AVC, which is a method, based on the relationship between the macroblocks and small blocks to be processed according to the AVC and the adjacent macroblocks and small blocks according to the reference image, By simply replacing the relationship between the small block and the reference image held in the
しかして符号化回路88では、予測画素の設定に供した小ブロックから求められる最も可能性の高い予測モードMost Probable Modeとの比較により、このようにして検出された予測モードが、予測モードの伝送の有無を示すフラグprev intra 4x4 pred mode flag[luma 4x4 BlkIdx]又は予測モード rem intra 4x4 pred mode[luma 4x4 BlkIdx] により伝送対象に通知される。またマクロブロックによるイントラ予測にあっても、予測モードが伝送対象に通知される。 Therefore, in the encoding circuit 88, the prediction mode detected in this way is compared with the most probable prediction mode Most Probable Mode obtained from the small block used for setting the prediction pixel, and the prediction mode thus detected is transmitted as the prediction mode. The transmission target is notified by the flag prev intra 4x4 pred mode flag [luma 4x4 BlkIdx] or the prediction mode rem intra 4x4 pred mode [luma 4x4 BlkIdx]. Even in intra prediction using macroblocks, the prediction mode is notified to the transmission target.
しかしてCMOS固体撮像素子による撮像素子82においては、XYアドレス制御であることにより、種々に撮像結果を出力することができる特徴がある。これによりこの実施例においては、このXYアドレス制御による撮像素子82の特徴を有効に利用して、従来に比してイントラ予測による符号化効率を向上することができる。
Therefore, the
またこの実施例においては、この撮像素子82が、周辺回路であるアナログディジタル変換回路85、符号化回路88と一体に集積回路化されていることにより、全体構成を簡略化することができる。
In this embodiment, the
このような符号化側の構成に対応して、この実施例においては、復号化回路において、再生系から得られる再生データより差分データが復号され、イントラ予測、インター予測による予測値と加算されて元の画像データが復号され、この元の画像データが参照画像としてイントラ予測、インター予測における予測値の生成に使用される。 Corresponding to the configuration on the encoding side, in this embodiment, in the decoding circuit, the difference data is decoded from the reproduction data obtained from the reproduction system, and is added to the prediction value by the intra prediction and the inter prediction. The original image data is decoded, and this original image data is used as a reference image for generating a prediction value in intra prediction and inter prediction.
復号化回路においては、イントラ予測において、符号化回路における処理と同一に、マクロブロック、小ブロックのらせん状の走査に応じて、これらマクロブロック、小ブロックに予測画素が設定され、この予測画素と、符号化装置より伝送された予測モードとにより予測値が計算され、この予測値により差分データが画像データに変換される。これによりこの実施例においては、らせん状の走査の順序により符号化された画像データを復号化することができる。 In the decoding circuit, in the intra prediction, in the same manner as the processing in the encoding circuit, prediction pixels are set in these macroblocks and small blocks in accordance with the spiral scanning of the macroblocks and small blocks. The prediction value is calculated based on the prediction mode transmitted from the encoding device, and the difference data is converted into image data based on the prediction value. Thereby, in this embodiment, it is possible to decode the image data encoded in the spiral scanning order.
(3)実施例の効果
以上の構成によれば、マクロブロック単位による中央に向かうらせん状の走査により画像データをイントラ予測することにより、イントラ符号化処理の効率を従来に比して向上することができる。
(3) Effects of the embodiment According to the above configuration, the efficiency of the intra coding process can be improved as compared with the prior art by intra-predicting image data by spiral scanning toward the center in units of macroblocks. Can do.
またこのときマクロブロックに対する予測画素の設定の切り換えが、処理対象のマクロブロックに対して上下左右に隣接するマクロブロックの参照画像における有無の判定による予測画素の設定の切り換えであることにより、従来のイントラ予測方法を基準にした簡易な処理によりイントラ符号化処理の効率を従来に比して向上することができる。 Further, at this time, the switching of the prediction pixel setting for the macroblock is the switching of the prediction pixel setting based on the presence / absence determination in the reference image of the macroblock adjacent to the processing target macroblock vertically and horizontally. The efficiency of the intra coding process can be improved as compared with the prior art by a simple process based on the intra prediction method.
またこのとき予測画素の設定の切り換えに対応して、予測画素による予測値のマクロブロックにおける対象画素を切り換えることによっても、従来のイントラ予測方法を基準にした簡易な処理によりイントラ符号化処理の効率を従来に比して向上することができる。 In addition, at this time, the efficiency of the intra coding process can be reduced by a simple process based on the conventional intra prediction method by switching the target pixel in the macroblock of the prediction value by the prediction pixel in response to the switching of the prediction pixel setting. Can be improved as compared with the prior art.
またこのときマクロブロックを細分割した小ブロック単位で、中央に向かうらせん状の走査の順序により画像データを処理するようにして、この小ブロックでも走査に応じて予測画素の設定を切り換えることにより、さらに一段とイントラ符号化処理の効率を従来に比して向上することができる。 At this time, image data is processed in the order of helical scanning toward the center in small block units obtained by subdividing the macroblock, and even in this small block, by switching the setting of the prediction pixel according to the scanning, Furthermore, the efficiency of the intra coding process can be further improved as compared with the conventional art.
またこの小ブロックにおける予測画素の設定にあっても、上下左右に隣接する小ブロックの参照画像における有無の判定により実行することにより、さらには予測画素の設定の切り換えに対応して、予測画素による予測値の対象画素を切り換えることにより、従来のイントラ予測方法を基準にした簡易な処理によりイントラ符号化処理の効率を従来に比して向上することができる。 Further, even in the setting of the prediction pixel in this small block, by performing the determination by the presence / absence in the reference image of the small block adjacent vertically and horizontally, the prediction pixel can be changed in response to the switching of the prediction pixel setting. By switching the target pixel of the prediction value, the efficiency of the intra coding process can be improved as compared with the conventional technique by a simple process based on the conventional intra prediction method.
またこのような符号化側の構成に対応して、復号化回路においても、マクロブロック単位による中央に向かうらせん状の走査により予測画素を切り換えてイントラ予測することにより、イントラ符号化処理の効率を従来に比して向上した符号化結果を確実に復号化することができる。 Corresponding to the configuration on the encoding side, the decoding circuit also performs intra prediction by switching the prediction pixel by spiral scanning toward the center in units of macroblocks, thereby improving the efficiency of the intra encoding process. It is possible to reliably decode an improved encoding result as compared with the prior art.
この実施例においては、実施例1について上述したマクロブロック、小ブロックにおける時計方向のらせん状の走査とは逆に、反時計方向の走査により、符号化処理を実行する。なおこの実施例においては、この走査の方向が異なる点を除いて、実施例1と同一に構成される。 In this embodiment, the encoding process is executed by scanning in the counterclockwise direction, contrary to the clockwise spiral scanning in the macro block and the small block described in the first embodiment. This embodiment has the same configuration as that of the first embodiment except that the scanning direction is different.
この実施例のようにらせん状の走査を反時計方向に実行するようにしても、実施例1と同様の効果を得ることができる。 Even if the spiral scanning is executed in the counterclockwise direction as in this embodiment, the same effect as in the first embodiment can be obtained.
この実施例では、フレーム毎に、マクロブロックの時計方向及び反時計方向の走査から符号化に適した走査を検出し、この検出した走査により撮像結果を処理する。なおこの実施例においては、この走査の処理に係る構成を除いて、実施例1について上述した構成と同一であることにより、以下においては、適宜、実施例1について上述した構成を流用して説明する。 In this embodiment, for each frame, scanning suitable for encoding is detected from scanning of the macroblock in the clockwise direction and counterclockwise direction, and the imaging result is processed by this detected scanning. In this embodiment, except for the configuration related to the scanning process, the configuration is the same as the configuration described above with respect to the first embodiment. Therefore, the configuration described above with respect to the first embodiment will be appropriately used in the following description. To do.
この実施例においては、撮像素子82からの撮像結果の出力周波数を3倍に設定し、この3倍に設定して得られる初めの1フレームで時計回りの走査により撮像結果をイントラ予測により符号化処理し、発生符号量を検出する。また続く1フレームで反時計回りによる走査により、撮像結果をイントラ予測により符号化処理し、発生符号量を検出する。またこれら時計回り、反時計回りの走査による発生符号量の比較により、発生符号量の少ない走査方向を判定し、続く1フレームでこの判定した走査方向により符号化処理し、これら3フレームによる連続した符号化処理のうちで、この判定した走査方向による符号化データを選択的に記録系により記録する。
In this embodiment, the output frequency of the imaging result from the
またこの選択した走査方向を示す識別コードを符号化データに設定して伝送対象に伝送する。 Further, the identification code indicating the selected scanning direction is set in the encoded data and transmitted to the transmission target.
この実施例のように、らせん状の走査を、時計回りの走査と、反時計回りの走査とからフレーム毎に選択すれば、一段と効率良くイントラ予測により符号化処理することができる。 If spiral scanning is selected for each frame from clockwise scanning and counterclockwise scanning as in this embodiment, encoding processing can be performed more efficiently by intra prediction.
この実施例においては、実施例3に係るマクロブロックに係る時計回り、反時計回りの走査に係る処理に代えて、小ブロックの走査について、時計回り、反時計回りの走査に係る処理を実行する。
In this embodiment, instead of the processing relating to the clockwise and counterclockwise scanning relating to the macroblock according to the
すなわちこの実施例では、例えばマクロブロックを時計回りにより走査させた状態で、最初の1フレームで、小ブロックの時計回りの走査により撮像結果をイントラ予測により符号化処理し、各マクロブロック毎に、発生符号量を検出する。また続く1フレームで、小ブロックの反時計回りによる走査により、撮像結果をイントラ予測により符号化処理し、各マクロブロック毎に、発生符号量を検出する。またこれら時計回り、反時計回りの走査による発生符号量を各マクロブロック毎に比較し、発生符号量の少ない走査方向により各マクロブロックの走査方向を設定する。この実施例では、続く1フレームでこの設定した走査方向により符号化処理し、これら3フレームによる連続した符号化処理のうちで、この3フレーム目による符号化データを選択的に記録系により記録する。 That is, in this embodiment, for example, in a state where the macroblock is scanned clockwise, the imaging result is encoded by intra prediction by clockwise scanning of the small block in the first frame, and for each macroblock, The generated code amount is detected. Further, in the subsequent frame, the imaging result is encoded by intra prediction by scanning the small block counterclockwise, and the generated code amount is detected for each macroblock. Further, the code amounts generated by the clockwise and counterclockwise scans are compared for each macro block, and the scan direction of each macro block is set by the scan direction with the small generated code amount. In this embodiment, encoding is performed in the set scanning direction in the subsequent one frame, and the encoded data in the third frame is selectively recorded by the recording system among the continuous encoding processes in these three frames. .
この実施例のように、小ブロックに係るらせん状の走査を、時計回りの走査と、反時計回りの走査とからマクロブロック毎に選択すれば、一段と効率良くイントラ予測により符号化処理することができる。 As in this embodiment, if the helical scan for the small block is selected for each macroblock from the clockwise scan and the counterclockwise scan, the encoding process can be performed more efficiently by intra prediction. it can.
なおこのような小ブロックに係る走査方向の選択処理を、実施例3に係るマクロブロックに係る走査方向の選択処理と組み合わせるようにしてもよく、このようにすれば、一段と符号化効率を向上することができる。 Note that the selection process in the scanning direction related to the small block may be combined with the selection process in the scanning direction related to the macroblock according to the third embodiment, which further improves the encoding efficiency. be able to.
この実施例においては、マクロブロック、小ブロックの上下左右に隣接するマクロブロック、小ブロックが全て参照画像に存在する場合、予測画素に係る処理を2系統により実行して最適な予測モードを検出する。なおこの実施例においては、このマクロブロック、小ブロックが全て参照画像に存在する場合の処理を除いて、実施例1と同一に構成されることにより、以下においては、実施例1に係る構成を適宜流用して説明する。 In this embodiment, when macroblocks, macroblocks adjacent to the top, bottom, left, and right of a small block, and small blocks are all present in the reference image, the process related to the prediction pixel is executed by two systems to detect the optimal prediction mode. . In this embodiment, except for the processing when all the macroblocks and small blocks are present in the reference image, the same configuration as in the first embodiment is used. The explanation will be made with appropriate diversion.
すなわちこの実施例においては、図11に示すように、処理対象のマクロブロックC、の上下左右に隣接するマクロブロックA、A’、B、B’が全て参照画像に存在する場合、ラスタ走査の順序により走査した場合に処理を完了しているマクロブロックA、BによるグループG1と、ラスタ走査とは逆の順序により走査した場合に処理を完了しているマクロブロックA’、B’によるグループG2とに予測画素の設定を区分けする。 That is, in this embodiment, as shown in FIG. 11, when all the macroblocks A, A ′, B, and B ′ adjacent to the processing target macroblock C are present in the reference image, raster scanning is performed. Group G1 by macroblocks A and B that have been processed when scanned in order, and group G2 by macroblocks A ′ and B ′ that have been processed when scanned in the reverse order of raster scanning And divide the setting of the prediction pixel.
ここでグループG1に係る区分けに対して、従来のAVCと同一に予測画素を設定して各モードの予測値を生成する。これに対してグループG2の区分けに対して、図10について上述した予測画素により各モードの予測値を生成する。 Here, with respect to the classification related to the group G1, prediction pixels are set in the same manner as in the conventional AVC to generate prediction values for each mode. On the other hand, the prediction value of each mode is produced | generated by the prediction pixel mentioned above about FIG.
またこれら2つのグループG1、G2による各モードの予測値により差分データを計算して予測誤差の最も小さな予測値を検出し、この予測値による予測誤差をイントラ16×16予測モードとイントラ4×4予測モードとの判定に供する。またこの判定により、イントラ16×16予測モードにより符号化処理する場合、この予測値を減算回路4に出力する。またこの場合、この予測画素の設定に係るグループを伝送対象に通知する。
Also, difference data is calculated from the prediction values of each mode by these two groups G1 and G2, and the prediction value with the smallest prediction error is detected, and the prediction error due to this prediction value is calculated as intra 16 × 16 prediction mode and intra 4 × 4. It uses for judgment with prediction mode. Also, by this determination, when the encoding process is performed in the intra 16 × 16 prediction mode, this prediction value is output to the
また小ブロックについても、同様に、AVCによる予測値と、図7について上述した予測画素による予測値を生成し、これら予測値より最も小さな予測値を検出し、この予測値による予測誤差をイントラ16×16予測モードとイントラ4×4予測モードとの判定に供する。またこの判定により、イントラ4×4予測モードにより符号化処理する場合、この予測値を減算回路4に出力する。またこの場合、この予測画素の設定に係るグループを伝送対象に通知する。
Similarly, for the small block, a prediction value by AVC and a prediction value by the prediction pixel described above with reference to FIG. 7 are generated, and a prediction value that is the smallest than these prediction values is detected. It uses for determination with * 16 prediction mode and
この実施例のように、上下左右に隣接するマクロブロック、小ブロックの何れもが参照画像に存在する場合、異なる予測画素の設定による複数の予測値より予測精度の高い予測値を選択することにより、一段と符号化効率を向上することができる。 As in this embodiment, when both a macroblock and a small block that are adjacent vertically and horizontally are present in the reference image, by selecting a prediction value with higher prediction accuracy than a plurality of prediction values by setting different prediction pixels The encoding efficiency can be further improved.
なお上述の実施例においては、実施例5を除いて、予測画素の設定を伝送対象に伝送しない場合について述べたが、本発明はこれに限らず、予測画素の設定を伝送対象に伝送するようにしてもよい。このようにすれば、その分、復号側における処理を簡略化することができる。 In the above-described embodiment, the case where the prediction pixel setting is not transmitted to the transmission target is described except for the fifth embodiment. However, the present invention is not limited to this, and the prediction pixel setting is transmitted to the transmission target. It may be. In this way, the process on the decoding side can be simplified accordingly.
また上述の実施例においては、マクロブロック、小ブロックの双方をらせん状に走査させる場合について述べたが、本発明はこれに限らず、実用上十分に効率良く符号化処理できる場合、小ブロックについては、ラスタ走査の順序により撮像結果を処理するようにして、この小ブロックのらせん状の走査に係る一連の処理を省略するようにしてもよい。 In the above-described embodiment, the case where both the macroblock and the small block are scanned in a spiral manner has been described. However, the present invention is not limited to this, and if the encoding process can be performed sufficiently efficiently in practice, In this case, the imaging result may be processed in the order of raster scanning, and a series of processes related to the helical scanning of the small blocks may be omitted.
また上述の実施例においては、各小ブロックにおいては、ラスタ走査の順序により撮像結果を出力して処理する場合について述べたが、本発明はこれに限らず、例えば小ブロックを構成する4×4画素の撮像結果を同時並列的に出力して処理する場合等、小ブロックにおける撮像結果の出力、処理においては、種々に設定することができる。 Further, in the above-described embodiment, the case has been described in which each small block outputs and processes the imaging results in the order of raster scanning. However, the present invention is not limited to this, and for example, 4 × 4 constituting a small block. Various settings can be made in the output and processing of the imaging results in the small block, such as when the imaging results of the pixels are output and processed simultaneously in parallel.
また上述の実施例においては、らせん状の走査により復号した画像データを出力する場合について述べたが、本発明はこれに限らず、らせん状の走査をラスタ走査に変換して復号結果の画像データを出力するようにしてもよい。 In the above-described embodiments, the case where image data decoded by spiral scanning is output has been described. However, the present invention is not limited to this, and image data obtained as a result of decoding by converting spiral scanning into raster scanning. May be output.
また上述の実施例においては、16×16画素と4×4画素とによる2種類のブロックによるイントラ予測モードによりイントラ符号化処理する場合について述べたが、本発明はこれに限らず、例えば1種類のブロックによるイントラ予測モードにより符号化処理する場合等に広く適用することができる。 In the above-described embodiment, the case where intra coding processing is performed in the intra prediction mode using two types of blocks of 16 × 16 pixels and 4 × 4 pixels has been described. However, the present invention is not limited to this, and for example, one type The present invention can be widely applied to the case where encoding processing is performed in the intra prediction mode using the blocks.
また上述の実施例においては、本発明を撮像装置に適用して撮像結果を処理する場合について述べたが、本発明はこれに限らず、記録媒体に記録した画像データを処理する場合等に広く適用することができる。 Further, in the above-described embodiments, the case where the present invention is applied to the imaging apparatus and the imaging result is processed has been described. However, the present invention is not limited to this and is widely applied to the case where image data recorded on a recording medium is processed. Can be applied.
また上述の実施例においては、本発明をハードウエアの構成に適用する場合について述べたが、本発明はこれに限らず、画像データをソフトウエアにより処理する場合にも適用することができる。なおこのようなソフトウエアに係る符号化処理、復号化処理のプログラムにおいては、例えばインターネット等のネットワークにより提供する場合、光ディスク、磁気ディスク、メモリカード等、種々の記録媒体により提供する場合に、広く適用することができる。 In the above-described embodiments, the case where the present invention is applied to the hardware configuration has been described. However, the present invention is not limited to this, and can also be applied to the case where image data is processed by software. Note that the encoding processing and decoding processing programs related to such software are widely used when provided by a network such as the Internet, when provided by various recording media such as an optical disk, a magnetic disk, and a memory card. Can be applied.
本発明は、符号化装置、撮像装置、復号化装置及び画像データの処理方法に関し、動画による撮像結果を記録するビデオカメラ、電子スチルカメラ、監視装置等に適用することができる。 The present invention relates to an encoding device, an imaging device, a decoding device, and an image data processing method, and can be applied to a video camera, an electronic still camera, a monitoring device, and the like that record imaging results of moving images.
1……符号化装置5、90……イントラ予測回路、20……復号化装置、81……撮像装置、82……撮像素子、87……アドレス制御回路、88……符号化回路、89……集積回路
DESCRIPTION OF
Claims (45)
前記予測値と画像データとの差分データを出力する減算回路と、
前記差分データを処理する処理回路とを有する符号化装置において、
前記画像データは、
マクロブロック単位で、画像の周辺から中央に向かうらせん状の走査の順序により入力され、
前記イントラ予測回路は、
前記らせん状の走査に応じて、前記マクロブロックに対する前記予測画素の設定を切り換える
ことを特徴とする符号化装置。 An intra prediction circuit that sets a prediction pixel for each macroblock and outputs a prediction value based on intra prediction;
A subtraction circuit that outputs difference data between the predicted value and the image data;
In an encoding device having a processing circuit for processing the difference data,
The image data is
Input in the order of a spiral scan from the periphery of the image to the center in units of macroblocks,
The intra prediction circuit includes:
The encoding apparatus, wherein the setting of the prediction pixel for the macroblock is switched in accordance with the spiral scanning.
処理対象の前記マクロブロックに対して上下左右に隣接する前記マクロブロックの前記参照画像における有無の判定による前記予測画素の設定の切り換えである
ことを特徴とする請求項1に記載の符号化装置。 Switching the setting of the prediction pixel for the macroblock,
The encoding device according to claim 1, wherein the prediction pixel setting is switched by determining whether or not the macroblock adjacent to the processing target macroblock vertically and horizontally is present in the reference image.
前記予測画素の設定の切り換えに対応して、前記予測画素による予測値の前記処理対象のマクロブロックにおける対象画素を切り換える
ことを特徴とする請求項2に記載の符号化装置。 The intra prediction circuit includes:
The encoding apparatus according to claim 2, wherein the target pixel in the processing target macroblock of the prediction value of the prediction pixel is switched in response to switching of the setting of the prediction pixel.
前記上下左右に隣接するマクロブロックの何れもが前記参照画像に存在する場合、異なる予測画素の設定による複数の予測値より予測精度の高い予測値を選択して出力する
ことを特徴とする請求項2に記載の符号化装置。 The intra prediction circuit includes:
The prediction value having higher prediction accuracy than a plurality of prediction values by setting different prediction pixels is selected and output when any of the macroblocks adjacent to the top, bottom, left, and right are present in the reference image. 2. The encoding device according to 2.
ラスタ走査の走査開始端から始まる時計回りの走査である
ことを特徴とする請求項1に記載の符号化装置。 The helical scan is
The encoding device according to claim 1, wherein the scanning is a clockwise scanning starting from a scanning start end of the raster scanning.
ラスタ走査の開始端から始まる反時計回りの走査である
ことを特徴とする請求項1に記載の符号化装置。 The helical scan is
The encoding apparatus according to claim 1, wherein the scanning is counterclockwise starting from a start end of raster scanning.
ラスタ走査の走査開始端から始まる時計回りの走査と、前記ラスタ走査の開始端から始まる反時計回りの走査とからフレーム毎に選択された走査であり、
前記処理回路は、
前記時計回りの走査と、反時計回りの走査との識別コードを設定して処理結果を出力する
ことを特徴とする請求項1に記載の符号化装置。 The helical scan is
A scan selected for each frame from a clockwise scan starting from the scan start end of the raster scan and a counterclockwise scan starting from the start end of the raster scan,
The processing circuit includes:
The encoding apparatus according to claim 1, wherein an identification code for the clockwise scanning and the counterclockwise scanning is set and a processing result is output.
各マクロブロックにおいて、前記マクロブロックを細分割した小ブロック単位で、前記マクロブロックの周辺から中央に向かうらせん状の走査の順序により入力され、
前記イントラ予測回路は、
前記小ブロックを単位にしたイントラ予測と、前記マクロブロックを単位にしたイントラ予測との間で、最適な予測モードを選択して対応する前記予測値を出力し、
前記小ブロックのらせん状の走査に応じて、前記小ブロックに対する予測画素の設定を切り換える
ことを特徴とする請求項1に記載の符号化装置。 The image data is
In each macroblock, the macroblock is subdivided into small blocks, which are input in the order of spiral scanning from the periphery to the center of the macroblock,
The intra prediction circuit includes:
Between the intra prediction in units of the small blocks and the intra prediction in units of the macroblocks, an optimal prediction mode is selected and the corresponding prediction value is output,
The encoding apparatus according to claim 1, wherein the setting of the prediction pixel for the small block is switched in accordance with the helical scan of the small block.
処理対象の前記小ブロックに対して上下左右に隣接する前記小ブロックの前記参照画像における有無の判定による前記予測画素の設定の切り換えである
ことを特徴とする請求項8に記載の符号化装置。 Switching the setting of the prediction pixel for the small block,
The encoding apparatus according to claim 8, wherein the prediction pixel setting is switched by determining the presence or absence of the small block adjacent to the small block to be processed vertically and horizontally in the reference image.
前記予測画素の設定の切り換えに対応して、各予測画素による予測値の前記処理対象の小ブロックにおける対象画素を切り換える
ことを特徴とする請求項9に記載の符号化装置。 The intra prediction circuit includes:
The encoding device according to claim 9, wherein the target pixel in the small block to be processed of the prediction value of each prediction pixel is switched in response to switching of the setting of the prediction pixel.
前記上下左右に隣接する小ブロックの何れもが前記参照画像に存在する場合、異なる予測画素の設定による複数の予測値より予測精度の高い予測値を選択して出力する
ことを特徴とする請求項9に記載の符号化装置。 The intra prediction circuit includes:
The prediction value having a higher prediction accuracy than a plurality of prediction values by setting different prediction pixels is selected and output when any of the small blocks adjacent to the upper, lower, left, and right sides is present in the reference image. 10. The encoding device according to 9.
ラスタ走査の走査開始端から始まる時計回りの走査である
ことを特徴とする請求項8に記載の符号化装置。 A helical scan of the small block
The encoding apparatus according to claim 8, wherein the scanning is a clockwise scanning starting from a scanning start end of the raster scanning.
ラスタ走査の開始端から始まる反時計回りの走査である
ことを特徴とする請求項8に記載の符号化装置。 A helical scan of the small block
The encoding apparatus according to claim 8, wherein the scanning is counterclockwise starting from a start end of raster scanning.
ラスタ走査の走査開始端から始まる時計回りの走査と、前記ラスタ走査の開始端から始まる反時計回りの走査とからマクロブロック毎に選択された走査であり、
前記処理回路は、
前記時計回りの走査と、反時計回りの走査との識別コードを設定して処理結果を出力する
ことを特徴とする請求項8に記載の符号化装置。 A helical scan of the small block
A scan selected for each macroblock from a clockwise scan starting from the scan start end of the raster scan and a counterclockwise scan starting from the start end of the raster scan,
The processing circuit includes:
The encoding apparatus according to claim 8, wherein an identification code for the clockwise scanning and the counterclockwise scanning is set and a processing result is output.
マクロブロック毎に、予測画素を設定してイントラ予測による予測値を出力するイントラ予測回路と、
前記予測値と画像データとの差分データを出力する減算回路と、
前記差分データを処理する処理回路とを有する撮像装置において、
前記撮像素子は、
画像の周辺から中央に向かってらせん状に前記マクロブロックを走査させて、前記マクロブロック単位で撮像結果を出力し、
前記イントラ予測回路は、
前記らせん状の走査に応じて、前記マクロブロックに対する前記予測画素の設定を切り換える
ことを特徴とする撮像装置。 An image sensor for outputting an imaging result;
An intra prediction circuit that sets a prediction pixel for each macroblock and outputs a prediction value based on intra prediction;
A subtraction circuit that outputs difference data between the predicted value and the image data;
In an imaging device having a processing circuit for processing the difference data,
The image sensor is
The macroblock is scanned spirally from the periphery of the image toward the center, and the imaging result is output in units of the macroblock,
The intra prediction circuit includes:
The imaging apparatus, wherein the setting of the prediction pixel for the macroblock is switched according to the spiral scanning.
処理対象の前記マクロブロックに対して上下左右に隣接する前記マクロブロックの前記参照画像における有無の判定による前記予測画素の設定の切り換えである
ことを特徴とする請求項15に記載の撮像装置。 Switching the setting of the prediction pixel for the macroblock,
The imaging apparatus according to claim 15, wherein the prediction pixel setting is switched by determining whether or not the macroblock adjacent to the processing target macroblock vertically and horizontally is present in the reference image.
前記予測画素の設定の切り換えに対応して、前記予測画素による予測値の前記処理対象のマクロブロックにおける対象画素を切り換える
ことを特徴とする請求項16に記載の撮像装置。 The intra prediction circuit includes:
The imaging apparatus according to claim 16, wherein the target pixel in the processing target macroblock of the prediction value of the prediction pixel is switched in response to switching of the setting of the prediction pixel.
前記上下左右に隣接するマクロブロックの何れもが前記参照画像に存在する場合、異なる予測画素の設定による複数の予測値より予測精度の高い予測値を選択して出力する
ことを特徴とする請求項16に記載の撮像装置。 The intra prediction circuit includes:
The prediction value having higher prediction accuracy than a plurality of prediction values by setting different prediction pixels is selected and output when any of the macroblocks adjacent to the top, bottom, left, and right are present in the reference image. 16. The imaging device according to 16.
ラスタ走査の走査開始端から始まる時計回りの走査である
ことを特徴とする請求項15に記載の撮像装置。 The helical scan is
The imaging apparatus according to claim 15, wherein the scanning is clockwise scanning starting from a scanning start end of raster scanning.
ラスタ走査の開始端から始まる反時計回りの走査である
ことを特徴とする請求項15に記載の撮像装置。 The helical scan is
The imaging apparatus according to claim 15, wherein the scanning is counterclockwise scanning starting from a start end of raster scanning.
各フレームで、ラスタ走査の走査開始端から始まる時計回りの走査と、前記ラスタ走査の開始端から始まる反時計回りの走査とで、予測精度の高い側の走査により、前記撮像結果を出力する
ことを特徴とする請求項15に記載の撮像装置。 The image sensor is
In each frame, the imaging result is output by scanning on the side with high prediction accuracy in the clockwise scanning starting from the scanning start end of the raster scanning and the counterclockwise scanning starting from the starting end of the raster scanning. The imaging apparatus according to claim 15.
前記時計回りの走査と、前記反時計回りの走査との識別コードを設定して処理結果を出力する
ことを特徴とする請求項21に記載の撮像装置。 The processing circuit includes:
The image pickup apparatus according to claim 21, wherein an identification code for the clockwise scanning and the counterclockwise scanning is set and a processing result is output.
各マクロブロックにおいて、前記マクロブロックを細分割した小ブロック単位で、前記マクロブロックの周辺から中央に向かうらせん状の走査の順序により撮像結果を出力し、
前記イントラ予測回路は、
前記小ブロックを単位にしたイントラ予測と、前記マクロブロックを単位にしたイントラ予測との間で、最適な予測モードを選択して対応する前記予測値を出力し、
前記小ブロックのらせん状の走査に応じて、前記小ブロックに対する予測画素の設定を切り換える
ことを特徴とする請求項15に記載の撮像装置。 The image sensor is
In each macroblock, in a small block unit obtained by subdividing the macroblock, the imaging result is output in the order of spiral scanning from the periphery to the center of the macroblock,
The intra prediction circuit includes:
Between the intra prediction in units of the small blocks and the intra prediction in units of the macroblocks, an optimal prediction mode is selected and the corresponding prediction value is output,
The imaging apparatus according to claim 15, wherein the setting of a prediction pixel for the small block is switched in accordance with a helical scan of the small block.
処理対象の前記小ブロックに対して上下左右に隣接する前記小ブロックの前記参照画像における有無の判定による前記予測画素の設定の切り換えである
ことを特徴とする請求項23に記載の撮像装置。 Switching the setting of the prediction pixel for the small block,
24. The imaging apparatus according to claim 23, wherein the prediction pixel setting is switched by determining whether or not the small block adjacent to the small block to be processed is vertically or horizontally adjacent to the reference image.
前記予測画素の設定の切り換えに対応して、前記予測画素による予測値の前記処理対象の小ブロックにおける対象画素を切り換える
ことを特徴とする請求項24に記載の撮像装置。 The intra prediction circuit includes:
25. The imaging apparatus according to claim 24, wherein the target pixel in the small block to be processed of the prediction value of the prediction pixel is switched in response to switching of the setting of the prediction pixel.
前記上下左右に隣接する小ブロックの何れもが前記参照画像に存在する場合、異なる予測画素の設定による複数の予測値より予測精度の高い予測値を選択して出力する
ことを特徴とする請求項24に記載の撮像装置。 The intra prediction circuit includes:
The prediction value having a higher prediction accuracy than a plurality of prediction values by setting different prediction pixels is selected and output when any of the small blocks adjacent to the upper, lower, left, and right sides is present in the reference image. 24. The imaging device according to 24.
ラスタ走査の走査開始端から始まる時計回りの走査である
ことを特徴とする請求項23に記載の撮像装置。 A helical scan of the small block
24. The imaging apparatus according to claim 23, wherein the scanning is clockwise scanning starting from a scanning start end of raster scanning.
ラスタ走査の開始端から始まる反時計回りの走査である
ことを特徴とする請求項23に記載の撮像装置。 A helical scan of the small block
24. The imaging apparatus according to claim 23, wherein the scanning is counterclockwise scanning starting from a start end of raster scanning.
各マクロブロックで、ラスタ走査の走査開始端から始まる時計回りの走査と、前記ラスタ走査の開始端から始まる反時計回りの走査とで、予測精度の高い側の走査により、前記撮像結果を出力する
ことを特徴とする請求項23に記載の撮像装置。 The image sensor is
In each macroblock, the imaging result is output by scanning on the higher prediction accuracy side in the clockwise scanning starting from the scanning start end of the raster scanning and the counterclockwise scanning starting from the starting end of the raster scanning. 24. The imaging apparatus according to claim 23.
前記時計回りの走査と、前記反時計回りの走査との識別コードを設定して処理結果を出力する
ことを特徴とする請求項24に記載の撮像装置。 The processing circuit includes:
The image pickup apparatus according to claim 24, wherein an identification code for the clockwise scanning and the counterclockwise scanning is set and a processing result is output.
ことを特徴とする請求項15に記載の撮像装置。 The imaging device according to claim 15, wherein the imaging device, the intra prediction circuit, the subtraction circuit, and the processing circuit are integrated into an integrated circuit.
前記符号化データを処理して差分データを出力する処理回路と、
マクロブロック毎に、予測画素を設定してイントラ予測による予測値を出力するイントラ予測回路と、
前記予測値と差分データとを加算して前記画像データを出力する加算回路と、
前記画像データを記録して前記参照画像を保持するメモリとを備え、
前記符号化データが、
前記マクロブロック単位で、画像の周辺から中央に向かうらせん状の走査の順序により入力され、
前記イントラ予測回路は、
前記らせん状の走査に応じて、前記マクロブロックに対する前記予測画素の設定を切り換える
ことを特徴とする復号化装置。 In a decoding apparatus that decodes image data from encoded data that is sequentially input,
A processing circuit for processing the encoded data and outputting difference data;
An intra prediction circuit that sets a prediction pixel for each macroblock and outputs a prediction value based on intra prediction;
An adding circuit for adding the predicted value and the difference data to output the image data;
A memory for recording the image data and holding the reference image;
The encoded data is
The macroblock unit is input in a spiral scanning order from the periphery of the image toward the center,
The intra prediction circuit includes:
The decoding apparatus, wherein the setting of the prediction pixel for the macroblock is switched in accordance with the spiral scanning.
処理対象の前記マクロブロックに対して上下左右に隣接する前記マクロブロックの前記参照画像における有無の判定による前記予測画素の設定の切り換えである
ことを特徴とする請求項32に記載の復号化装置。 Switching the setting of the prediction pixel for the macroblock,
The decoding apparatus according to claim 32, wherein the prediction pixel setting is switched by determining whether or not the macroblock adjacent to the processing target macroblock vertically and horizontally is in the reference image.
ラスタ走査の走査開始端から始まる時計回りの走査と、前記ラスタ走査の開始端から始まる反時計回りの走査とからフレーム毎に選択された走査であり、
前記メモリは、
前記符号化データに設定された前記時計回りの走査と前記反時計回りの走査との識別コードに基づいて、前記画像データの記録及び又は読み出しのアドレスを切り換える
ことを特徴とする請求項32に記載の復号化装置。 The helical scan is
A scan selected for each frame from a clockwise scan starting from the scan start end of the raster scan and a counterclockwise scan starting from the start end of the raster scan,
The memory is
The recording and / or reading address of the image data is switched based on an identification code of the clockwise scanning and the counterclockwise scanning set in the encoded data. Decryption device.
各マクロブロックにおいて、前記マクロブロックを細分割した小ブロック単位で、前記マクロブロックの周辺から中央に向かうらせん状の走査の順序により入力され、
前記イントラ予測回路は、
前記符号化データに設定された予測モードに基づいて、前記小ブロックを単位にしたイントラ予測と、前記マクロブロックを単位にしたイントラ予測とから、符号化処理に供した前記予測値を出力し、
前記小ブロックのらせん状の走査に応じて、前記小ブロックに対する予測画素の設定を切り換える
ことを特徴とする請求項32に記載の復号化装置。 The encoded data is
In each macroblock, the macroblock is subdivided into small blocks, and is input in the order of spiral scanning from the periphery to the center of the macroblock,
The intra prediction circuit includes:
Based on the prediction mode set in the encoded data, from the intra prediction in units of the small blocks and the intra prediction in units of the macroblocks, the prediction value subjected to the encoding process is output,
The decoding apparatus according to claim 32, wherein setting of a prediction pixel for the small block is switched in accordance with a helical scan of the small block.
処理対象の前記小ブロックに対して上下左右に隣接する前記小ブロックの前記参照画像における有無の判定による前記予測画素の設定の切り換えである
ことを特徴とする請求項35に記載の復号化装置。 Switching the setting of the prediction pixel for the small block,
36. The decoding device according to claim 35, wherein the prediction pixel setting is switched by determining whether or not the small block adjacent to the small block to be processed is vertically or horizontally adjacent to the reference image.
ラスタ走査の走査開始端から始まる時計回りの走査と、前記ラスタ走査の開始端から始まる反時計回りの走査とから小ブロック毎に選択された走査であり、
前記メモリは、
前記符号化データに設定された前記時計回りの走査と反時計回りの走査との識別コードに基づいて、前記画像データの記録及び又は読み出しのアドレスを切り換える
ことを特徴とする請求項36に記載の復号化装置。 A helical scan of the small block
A scan selected for each small block from a clockwise scan starting from the scan start end of the raster scan and a counterclockwise scan starting from the start end of the raster scan,
The memory is
The recording and / or reading address of the image data is switched based on an identification code between the clockwise scanning and the counterclockwise scanning set in the encoded data. Decryption device.
前記予測値と画像データとの差分データを出力する減算のステップと、
前記差分データを処理する処理のステップとを有する画像データの処理方法において、
前記画像データは、
マクロブロック単位で、画像の周辺から中央に向かうらせん状の走査の順序により入力され、
前記イントラ予測のステップは、
前記らせん状の走査に応じて、前記マクロブロックに対する前記予測画素の設定を切り換える
ことを特徴とする画像データの処理方法。 For each macroblock, an intra prediction step for setting a prediction pixel and outputting a prediction value based on intra prediction;
A subtraction step of outputting difference data between the predicted value and the image data;
In a processing method of image data having a processing step of processing the difference data,
The image data is
Input in the order of a spiral scan from the periphery of the image to the center in units of macroblocks,
The intra prediction step includes:
A method for processing image data, wherein the setting of the prediction pixel for the macroblock is switched in accordance with the spiral scanning.
前記処理対象の前記マクロブロックに対して上下左右に隣接する前記マクロブロックの前記参照画像における有無の判定による前記予測画素の設定の切り換えである
ことを特徴とする請求項38に記載の画像データの処理方法。 Switching the setting of the prediction pixel for the macroblock,
The image data according to claim 38, wherein the prediction pixel setting is switched by determining whether or not the macroblock adjacent to the macroblock to be processed is vertically or horizontally adjacent to the reference image. Processing method.
前記マクロブロックにおいて、前記マクロブロックを細分割した小ブロック単位で、前記マクロブロックの周辺から中央に向かうらせん状の走査の順序により入力され、
前記イントラ予測のステップは、
前記小ブロックを単位にしたイントラ予測と、前記マクロブロックを単位にしたイントラ予測との間で、最適な予測モードを選択して対応する前記予測値を出力し、
前記小ブロックのらせん状の走査に応じて、前記小ブロックに対する予測画素の設定を切り換える
ことを特徴とする請求項38に記載の画像データの処理方法。 The image data is
In the macroblock, a small block unit obtained by subdividing the macroblock is input in a spiral scanning order from the periphery to the center of the macroblock,
The intra prediction step includes:
Between the intra prediction in units of the small blocks and the intra prediction in units of the macroblocks, an optimal prediction mode is selected and the corresponding prediction value is output,
39. The image data processing method according to claim 38, wherein the setting of the prediction pixel for the small block is switched in accordance with the helical scan of the small block.
処理対象の前記小ブロックに対して上下左右に隣接する前記小ブロックの前記参照画像における有無の判定による前記予測画素の設定の切り換えである
ことを特徴とする請求項40に記載の画像データの処理方法。 Switching the setting of the prediction pixel for the small block,
41. The processing of image data according to claim 40, wherein the prediction pixel setting is switched by determining the presence or absence in the reference image of the small block that is vertically and horizontally adjacent to the small block to be processed. Method.
前記符号化データを処理して差分データを出力する処理のステップと、
マクロブロック単位で予測画素を設定してイントラ予測による予測値を出力するイントラ予測のステップと、
前記予測値と差分データとを加算して前記画像データを出力する加算のステップと、
前記画像データを前記参照画像として記録する記録のステップとを有し、
前記符号化データが、
マクロブロック単位で、画像の周辺から中央に向かうらせん状の走査の順序により入力され、
前記イントラ予測のステップは、
前記らせん状の走査に応じて、処理対象の前記マクロブロックに対する前記予測画素の設定を切り換える
ことを特徴とする画像データの処理方法。 In a processing method of image data for decoding image data from sequentially input encoded data,
A step of processing the encoded data to output difference data;
An intra prediction step of setting a prediction pixel in a macroblock unit and outputting a prediction value by intra prediction;
An addition step of adding the predicted value and the difference data to output the image data;
Recording step of recording the image data as the reference image,
The encoded data is
Input in the order of a spiral scan from the periphery of the image to the center in units of macroblocks,
The intra prediction step includes:
A method for processing image data, wherein the setting of the prediction pixel for the macroblock to be processed is switched in accordance with the spiral scan.
処理対象の前記マクロブロックに対して上下左右に隣接する前記マクロブロックの前記参照画像における有無の判定による前記予測画素の設定の切り換えである
ことを特徴とする請求項42に記載の画像データの処理方法。 Switching the setting of the prediction pixel for the macroblock,
43. The processing of image data according to claim 42, wherein the prediction pixel setting is switched by determining whether or not the macroblock adjacent to the processing target macroblock vertically and horizontally is in the reference image. Method.
前記マクロブロックにおいて、前記マクロブロックを細分割した小ブロック単位で、前記マクロブロックの周辺から中央に向かうらせん状の走査の順序により入力され、
前記イントラ予測のステップは、
前記符号化データに設定された予測モードに基づいて、前記小ブロックを単位にしたイントラ予測と、前記マクロブロックを単位にしたイントラ予測とから、符号化処理に供したイントラ予測により前記予測値を出力し、
前記小ブロックのらせん状の走査に応じて、前記小ブロックに対する予測画素の設定を切り換える
ことを特徴とする請求項43に記載の画像データの処理方法。 The encoded data is
In the macroblock, a small block unit obtained by subdividing the macroblock is input in a spiral scanning order from the periphery to the center of the macroblock,
The intra prediction step includes:
Based on the prediction mode set in the encoded data, the prediction value is obtained by intra prediction provided for the encoding process from intra prediction based on the small block and intra prediction based on the macroblock. Output,
44. The image data processing method according to claim 43, wherein the setting of a prediction pixel for the small block is switched in accordance with helical scanning of the small block.
処理対象の前記小ブロックに対して上下左右に隣接する前記小ブロックの前記参照画像における有無の判定による前記予測画素の設定の切り換えである
ことを特徴とする請求項44に記載の画像データの処理方法。
Switching the setting of the prediction pixel for the small block,
45. The processing of image data according to claim 44, wherein the prediction pixel setting is switched by determining whether or not the small block adjacent to the small block to be processed is vertically or horizontally adjacent to the reference image. Method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004236924A JP2006060267A (en) | 2004-08-17 | 2004-08-17 | Coder, imaging apparatus, decoder, and processing method of image data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004236924A JP2006060267A (en) | 2004-08-17 | 2004-08-17 | Coder, imaging apparatus, decoder, and processing method of image data |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006060267A true JP2006060267A (en) | 2006-03-02 |
Family
ID=36107418
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004236924A Pending JP2006060267A (en) | 2004-08-17 | 2004-08-17 | Coder, imaging apparatus, decoder, and processing method of image data |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006060267A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010161677A (en) * | 2009-01-09 | 2010-07-22 | Seiko Epson Corp | Image processing apparatus and image processing method |
WO2010150218A1 (en) * | 2009-06-24 | 2010-12-29 | Nokia Corporation | Method and apparatus for retrieving nearby data |
JP2018121282A (en) * | 2017-01-27 | 2018-08-02 | 日本放送協会 | Predictor, encoder, decoder, and program |
-
2004
- 2004-08-17 JP JP2004236924A patent/JP2006060267A/en active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010161677A (en) * | 2009-01-09 | 2010-07-22 | Seiko Epson Corp | Image processing apparatus and image processing method |
WO2010150218A1 (en) * | 2009-06-24 | 2010-12-29 | Nokia Corporation | Method and apparatus for retrieving nearby data |
US8290952B2 (en) | 2009-06-24 | 2012-10-16 | Nokia Corporation | Method and apparatus for retrieving nearby data |
JP2018121282A (en) * | 2017-01-27 | 2018-08-02 | 日本放送協会 | Predictor, encoder, decoder, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4324844B2 (en) | Image decoding apparatus and image decoding method | |
US8275035B2 (en) | Video coding apparatus | |
RU2669685C2 (en) | Image decoding device and method | |
JP4844305B2 (en) | Imaging device | |
JP2009182623A (en) | Image encoding method | |
WO2014010224A1 (en) | Video compression device, video decoding device, image compression device, image decoding device, imaging device, and program | |
TW201215156A (en) | Image decoding device, image encoding device, and method and program thereof | |
JP2009267689A (en) | Moving image coding device, and moving image coding method | |
JP2014207536A (en) | Image processing device and method | |
JP4922138B2 (en) | Moving picture coding apparatus and moving picture coding method | |
JP2007134755A (en) | Moving picture encoder and image recording and reproducing device | |
JPH0818979A (en) | Image processor | |
WO2010050106A1 (en) | Method for coding image, image coding device and image pickup system | |
JP2011250400A (en) | Moving picture encoding apparatus and moving picture encoding method | |
JP2006108869A (en) | Imaging apparatus, and decoder | |
JP2013074416A (en) | Image processing apparatus and method | |
JP2008244993A (en) | Apparatus and method for transcoding | |
JP2006060267A (en) | Coder, imaging apparatus, decoder, and processing method of image data | |
JP4795211B2 (en) | Image encoding apparatus, image encoding apparatus control method, program, and storage medium | |
TW201440500A (en) | Image processing apparatus and method | |
JP5974691B2 (en) | MOVING IMAGE COMPRESSION DEVICE, IMAGING DEVICE, AND PROGRAM | |
JP2006050471A (en) | Encoding apparatus, imaging apparatus, integrated circuit for imaging device, decoding apparatus and image data processing method | |
JP2008289105A (en) | Image processing device and imaging apparatus equipped therewith | |
JPH11289515A (en) | Picture signal processor and its method, picture signal recorder and its method and recording medium | |
JP2006295734A (en) | Re-encoding apparatus, re-encoding method, and re-encoding program |