JP2006060267A - Coder, imaging apparatus, decoder, and processing method of image data - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide a coder, an imaging apparatus, a decoder, and a processing method of image data which are applied to a video camera for recording an imaging result of a moving picture, and an electronic still camera, and a supervisory apparatus or the like for improving the efficiency of intra-coding processing more than that of prior arts. <P>SOLUTION: The coder applies intra-prediction to image data by scanning an image from its surrounding toward its center in spiral in the unit of macro blocks. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、符号化装置、撮像装置、復号化装置及び画像データの処理方法に関し、動画による撮像結果を記録するビデオカメラ、電子スチルカメラ、監視装置等に適用することができる。本発明は、マクロブロック単位による中央に向かうらせん状の走査により画像データをイントラ予測することにより、イントラ符号化処理の効率を従来に比して向上する。   The present invention relates to an encoding device, an imaging device, a decoding device, and an image data processing method, and can be applied to a video camera, an electronic still camera, a monitoring device, and the like that record imaging results of moving images. The present invention improves the efficiency of the intra coding process as compared with the prior art by intra-predicting image data by spiral scanning toward the center in units of macroblocks.

近年、放送局、一般家庭等に係る動画の伝送、記録においては、画像データの冗長性を有効に利用して効率良く画像データを伝送、蓄積する装置が普及しつつあり、このような装置は、例えばＭＰＥＧ（Moving Picture Experts Group）等の方式に準拠して、離散コサイン変換等の直交変換と動き補償とにより画像データをデータ圧縮するように構成されている。   In recent years, in the transmission and recording of moving images related to broadcasting stations, general homes, etc., devices that efficiently transmit and store image data by effectively using the redundancy of image data are becoming popular. For example, in accordance with a method such as MPEG (Moving Picture Experts Group), image data is compressed by orthogonal transform such as discrete cosine transform and motion compensation.

ここでこのような方式の１つであるＭＰＥＧ２（ISO/IEC 13818-2 ）は、汎用の画像符号化方式として定義された方式であり、飛び越し走査方式、順次走査方式の双方に対応できるように、また標準解像度画像、高精細画像の双方に対応できるように定義され、これらにより現在、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに広く用いられている。具体的にＭＰＥＧ２によれば、例えば７２０×４８０画素による標準解像度、飛び越し走査方式の画像データを４〜８〔Ｍｂｐｓ〕のビットレートにデータ圧縮して、また１９２０×１０８８画素による高解像度、飛び越し走査方式の画像データを１８〜２２〔Ｍｂｐｓ〕のビットレートにデータ圧縮して、高画質で高い圧縮率を確保することができる。   Here, MPEG2 (ISO / IEC 13818-2), which is one of such systems, is a system defined as a general-purpose image coding system so that it can handle both the interlace scanning system and the progressive scanning system. In addition, it is defined so as to be compatible with both standard resolution images and high-definition images, and is now widely used in a wide range of applications for professional use and consumer use. Specifically, according to MPEG2, for example, a standard resolution of 720 × 480 pixels and interlaced scanning image data are compressed to a bit rate of 4 to 8 Mbps, and a high resolution of 1920 × 1088 pixels and interlaced scanning are used. The image data of the system can be compressed to a bit rate of 18 to 22 [Mbps], and a high compression rate can be ensured with high image quality.

しかしながらＭＰＥＧ２は、放送用に適合した高画質符号化方式であり、ＭＰＥＧ１より符号量の少ない高圧縮率の符号化方式には対応していない。これに対して近年の携帯端末の普及により、このようなＭＰＥＧ１より符号量の少ない高圧縮率の符号化方式のニーズの高まりが予測される。このためＭＰＥＧ４による符号化方式の規格が、ＩＳＯ／ＩＥＣ（International 0rganization for Standardization／International Electrotechnical Commission ）１４４９６−２により１９９８年１２月に国際標準に承認された。   However, MPEG2 is a high-quality encoding system suitable for broadcasting, and does not support a high compression rate encoding system with a smaller code amount than MPEG1. On the other hand, with the spread of portable terminals in recent years, it is expected that there will be an increasing need for an encoding method with a high compression rate with a smaller code amount than MPEG1. For this reason, an MPEG-4 encoding system standard was approved in December 1998 by ISO / IEC (International Organization for Standardization / International Electrotechnical Commission) 14496-2.

またこのような方式にあっては、当初はテレビ会議用の画像符号化を目的としたものであったＨ２６Ｌ（ITU-T Q6/16 VCEG）の規格化が進み、ＭＰＥＧ２、ＭＰＥＧ４に比して演算量が増大するものの、ＭＰＥＧ２、ＭＰＥＧ４に比して高い符号化効率を確保できるようになり、またＭＰＥＧ４の活動の一環として、このＨ２６Ｌをベースにして各種機能を取り入れ、さらに一段と高い符号化効率を確保する符号化方式の標準化が、Joint Model of Enhanced-Compression Video Codingとして進められ、これらの方式にあっては、２００３年３月に、Ｈ２６４及びＭＰＥＧ−４ Ｐａｒｔ１０（ＡＶＣ：Advanced Video Coding ）との名称により国際標準に設定された。   In such a system, the standardization of H26L (ITU-T Q6 / 16 VCEG), which was originally intended for video coding for video conferencing, has progressed, compared to MPEG2 and MPEG4. Although the amount of computation increases, it becomes possible to secure higher encoding efficiency compared to MPEG2 and MPEG4. As part of MPEG4 activities, various functions are incorporated based on this H26L, and the encoding efficiency is even higher. Standardization of coding schemes to ensure the image quality is being promoted as Joint Model of Enhanced-Compression Video Coding. In these schemes, in March 2003, H264 and MPEG-4 Part 10 (AVC: Advanced Video Coding) Was set as an international standard.

ここで図１２は、このＡＶＣに基づく符号化装置を示すブロック図である。この符号化装置１は、複数のイントラ予測モードと複数のインター予測モードとから最適な予測モードを選択し、この選択した予測モードによる予測値を画像データから減算して差分データを生成し、この差分データを直交変換処理、量子化処理、可変長符号化処理することにより、この画像データをイントラ符号化、インター符号化により符号化処理する。   Here, FIG. 12 is a block diagram showing a coding apparatus based on this AVC. The encoding device 1 selects an optimal prediction mode from a plurality of intra prediction modes and a plurality of inter prediction modes, generates a difference data by subtracting a prediction value based on the selected prediction mode from image data, The difference data is subjected to orthogonal transform processing, quantization processing, and variable length coding processing, whereby the image data is coded by intra coding and inter coding.

すなわちこの符号化装置１において、アナログディジタル変換回路（Ａ／Ｄ）２は、ビデオ信号Ｓ１をアナログディジタル変換処理して画像データＤ１を出力する。画面並べ替えバッファ３は、このアナログディジタル変換回路２から出力される画像データＤ１を入力し、この符号化装置１の符号化処理に係るＧＯＰ（Group of Pictures ）構造に応じて、この画像データＤ１のフレームを並べ替えて出力する。   That is, in this encoding apparatus 1, the analog-digital conversion circuit (A / D) 2 performs analog-digital conversion processing on the video signal S1 and outputs image data D1. The screen rearrangement buffer 3 receives the image data D1 output from the analog-digital conversion circuit 2, and the image data D1 according to the GOP (Group of Pictures) structure related to the encoding process of the encoding device 1. Sort and output the frames.

減算器４は、この画面並べ替えバッファ３から出力される画像データＤ１を受け、イントラ符号化においては、イントラ予測回路５で生成される予測値との差分データＤ２を生成して出力するのに対し、インター符号化においては、動き予測・補償回路６で生成される予測値との差分データＤ２を生成して出力する。直交変換回路７は、減算器４の出力データＤ２を入力し、離散コサイン変換、カルーネン・レーベ変換等の直交変換処理を実行し、その処理結果による変換係数データＤ３を出力する。   The subtractor 4 receives the image data D1 output from the screen rearrangement buffer 3, and generates and outputs difference data D2 from the prediction value generated by the intra prediction circuit 5 in intra coding. On the other hand, in inter coding, difference data D2 from the prediction value generated by the motion prediction / compensation circuit 6 is generated and output. The orthogonal transform circuit 7 receives the output data D2 from the subtractor 4, performs orthogonal transform processing such as discrete cosine transform and Karhunen-Loeve transform, and outputs transform coefficient data D3 based on the processing result.

量子化回路８は、レート制御回路９のレート制御による量子化スケールにより、この変換係数データＤ３を量子化して出力する。可逆符号化装置１０は、この量子化回路８の出力データを可変長符号化、算術符号化等により可逆符号化処理して出力する。また可逆符号化装置１０は、イントラ符号化に係るイントラ予測モードに関する情報、インター符号化に係る動きベクトルに関する情報等をイントラ予測回路５、動き予測・補償回路６から取得し、これらの情報を出力データＤ４のヘッダ情報に設定して出力する。   The quantization circuit 8 quantizes the transform coefficient data D3 by the quantization scale by the rate control of the rate control circuit 9 and outputs it. The lossless encoding apparatus 10 performs lossless encoding processing on the output data of the quantization circuit 8 by variable length encoding, arithmetic encoding, or the like, and outputs the result. Further, the lossless encoding apparatus 10 acquires information related to the intra prediction mode related to intra encoding, information related to motion vectors related to inter encoding, and the like from the intra prediction circuit 5 and the motion prediction / compensation circuit 6, and outputs these information. Set in the header information of data D4 and output.

蓄積バッファ１１は、この可逆符号化装置１０の出力データＤ４を蓄積して続く伝送路の伝送速度により出力する。レート制御回路９は、この蓄積バッファ１１の空き容量の監視により符号化処理による発生符号量を監視すると共に、この監視結果により量子化回路８における量子化スケールを切り換え、これによりこの符号化装置１による発生符号量を制御する。   The accumulation buffer 11 accumulates the output data D4 of the lossless encoding apparatus 10 and outputs it at the transmission rate of the subsequent transmission path. The rate control circuit 9 monitors the amount of code generated by the encoding process by monitoring the free capacity of the storage buffer 11, and switches the quantization scale in the quantization circuit 8 based on the monitoring result, whereby the encoding device 1 Controls the amount of generated code.

逆量子化回路１３は、量子化回路８の出力データを逆量子化処理し、これにより量子化回路８の入力データを再生する。逆直交変換回路１４は、逆量子化回路１３の出力データを逆直交変換処理し、これにより直交変換回路７の入力データを再生する。デブロックフィルタ１５は、この逆直交変換回路１４の出力データよりブロック歪を除去して出力する。フレームメモリ１６は、このデブロックフィルタ１５の出力データに、適宜、イントラ予測回路５又は動き予測・補償回路６により生成される予測値を加算して参照画像情報として記録する。   The inverse quantization circuit 13 performs inverse quantization processing on the output data of the quantization circuit 8, thereby reproducing the input data of the quantization circuit 8. The inverse orthogonal transform circuit 14 performs inverse orthogonal transform processing on the output data of the inverse quantization circuit 13, thereby reproducing the input data of the orthogonal transform circuit 7. The deblocking filter 15 removes block distortion from the output data of the inverse orthogonal transform circuit 14 and outputs the result. The frame memory 16 appropriately adds a prediction value generated by the intra prediction circuit 5 or the motion prediction / compensation circuit 6 to the output data of the deblocking filter 15 and records it as reference image information.

しかして動き予測・補償回路６は、インター符号化において、このフレームメモリ１６に保持された参照画像情報による予測フレームより画像並べ替えバッファ３から出力される画像データの動きベクトルを検出し、またこの検出した動きベクトルによりフレームメモリ１６に保持した参照画像情報を動き補償して予測画像情報を生成し、この予測画像情報による予測値を減算器４に出力する。   Therefore, the motion prediction / compensation circuit 6 detects the motion vector of the image data output from the image rearrangement buffer 3 from the prediction frame based on the reference image information held in the frame memory 16 in the inter coding. Based on the detected motion vector, the reference image information held in the frame memory 16 is motion compensated to generate predicted image information, and a predicted value based on the predicted image information is output to the subtractor 4.

イントラ予測回路５は、イントラ符号化において、フレームメモリ１６に蓄積された参照画像情報に基づいてイントラ予測モードを判定し、この判定結果により参照画像情報から予測画像情報の予測値を生成して減算器４に出力する。   In the intra coding, the intra prediction circuit 5 determines the intra prediction mode based on the reference image information stored in the frame memory 16, and generates and subtracts a predicted value of the predicted image information from the reference image information based on the determination result. To the device 4.

これらによりこの符号化方式においては、インター符号化とイントラ符号化とでそれぞれインター予測に係る動き補償による差分データＤ２とイントラ予測による差分データＤ２とを生成し、これらの差分データＤ２を直交変換処理、量子化処理、可変長符号化処理して伝送する。   Accordingly, in this encoding method, difference data D2 by motion compensation related to inter prediction and difference data D2 by intra prediction are generated by inter encoding and intra encoding, respectively, and the difference data D2 is subjected to orthogonal transform processing. , Quantization processing, variable length coding processing, and transmission.

図１３は、このようにして符号化処理された符号化データＤ４を復号化処理する復号化装置を示すブロック図である。この復号化装置２０において、蓄積バッファ２１は、伝送路を介して入力される符号化データＤ４を一時蓄積して出力する。可逆復号化回路２２は、この蓄積バッファ２１の出力データを可変長復号化、算術復号化等により復号化処理し、符号化装置１における可逆符号化装置１０の入力データを再生する。またこのときこの出力データがイントラ符号化されたものである場合、ヘッダに格納されたイントラ予測モードの情報を復号化してイントラ予測回路２３に伝送するのに対し、この出力データがインター符号化されたものである場合、ヘッダに格納された動きベクトルに関する情報を復号して動き予測・補償回路２４へ転送する。   FIG. 13 is a block diagram showing a decoding apparatus that decodes the encoded data D4 encoded in this way. In the decoding device 20, the accumulation buffer 21 temporarily accumulates and outputs the encoded data D4 input via the transmission path. The lossless decoding circuit 22 decodes the output data of the storage buffer 21 by variable length decoding, arithmetic decoding, etc., and reproduces the input data of the lossless encoding device 10 in the encoding device 1. At this time, if the output data is intra-coded, the intra-prediction mode information stored in the header is decoded and transmitted to the intra-prediction circuit 23, whereas the output data is inter-coded. If it is, the information on the motion vector stored in the header is decoded and transferred to the motion prediction / compensation circuit 24.

逆量子化回路２５は、可逆復号化回路２２の出力データを逆量子化処理し、これにより符号化装置１の量子化回路８に入力される変換係数データＤ３を再生する。逆直交変換回路２６は、この逆量子化回路２５から出力される変換係数データを受け、４次の逆直交変換処理を実行し、これにより符号化装置１の直交変換回路７に入力される差分データＤ２を再生する。   The inverse quantization circuit 25 performs inverse quantization processing on the output data of the lossless decoding circuit 22, thereby reproducing the transform coefficient data D <b> 3 input to the quantization circuit 8 of the encoding device 1. The inverse orthogonal transform circuit 26 receives the transform coefficient data output from the inverse quantization circuit 25 and executes a fourth-order inverse orthogonal transform process, whereby the difference input to the orthogonal transform circuit 7 of the encoding device 1. Data D2 is reproduced.

加算器２７は、逆直交変換回路２６から出力される差分データＤ２を受け、イントラ符号化において、イントラ予測回路２３で生成される予測画像による予測値を加算して出力するのに対し、インター符号化において、動き予測・補償回路２４から出力される予測画像による予測値を加算して出力する。これにより加算器２７は、符号化装置１における減算器４の入力データを再生する。   The adder 27 receives the difference data D2 output from the inverse orthogonal transform circuit 26, adds the predicted value based on the prediction image generated by the intra prediction circuit 23 in intra coding, and outputs the result. In the conversion, the predicted value based on the predicted image output from the motion prediction / compensation circuit 24 is added and output. As a result, the adder 27 reproduces the input data of the subtracter 4 in the encoding device 1.

デブロックフィルタ２８は、この加算器２７の出力データよりブロック歪を除去して出力し、画面並べ替えバッファ２９は、このデブロックフィルタ２８から出力される画像データのフレームをＧＯＰ構造に応じて並べ替えて出力する。ディジタルアナログ変換回路（Ｄ／Ａ）３０は、この画面並べ替えバッファ２９の出力データをディジタルアナログ変換処理して出力する。   The deblock filter 28 removes block distortion from the output data of the adder 27 and outputs the result. The screen rearrangement buffer 29 arranges the frames of the image data output from the deblock filter 28 according to the GOP structure. Change the output. A digital / analog conversion circuit (D / A) 30 performs a digital / analog conversion process on the output data of the screen rearrangement buffer 29 and outputs the result.

フレームメモリ３１は、デブロックフィルタ２８の出力データを参照画像情報として記録して保持する。動き予測・補償回路２４は、インター符号化において、可逆復号化回路２２から通知される動きベクトルの情報によりフレームメモリ３１に保持された参照画像情報を動き補償して予測画像による予測値を生成し、この予測値を加算器２７に出力する。またイントラ予測回路２３は、イントラ符号化において、可逆復号化回路２２から通知されるイントラ予測モードによりフレームメモリ３１に保持された参照画像情報より予測画像による予測値を生成し、この予測値を加算器２７に出力する。   The frame memory 31 records and holds the output data of the deblock filter 28 as reference image information. In inter coding, the motion prediction / compensation circuit 24 performs motion compensation on the reference image information held in the frame memory 31 based on the motion vector information notified from the lossless decoding circuit 22, and generates a predicted value based on the predicted image. The predicted value is output to the adder 27. Also, the intra prediction circuit 23 generates a prediction value based on the prediction image from the reference image information held in the frame memory 31 by the intra prediction mode notified from the lossless decoding circuit 22 in the intra coding, and adds this prediction value. To the device 27.

しかしてこのような符号化処理に係るイントラ符号化は、イントラ４×４予測モードとイントラ１６×１６予測モードとが用意されている。ここでＡＶＣでは４×４画素のブロック単位で差分データＤ２を直交変換処理し、イントラ４×４予測モードは、この直交変換処理のブロック単位で、イントラ予測に係る予測値を生成するモードである。これに対してイントラ１６×１６予測モードは、この直交変換処理のブロックの複数個を単位にしてイントラ予測に係る予測値を生成するモードであり、この複数個が水平方向及び垂直方向にそれぞれ４個に設定される。   Therefore, intra 4 × 4 prediction mode and intra 16 × 16 prediction mode are prepared for intra coding related to such coding processing. Here, in AVC, the difference data D2 is orthogonally transformed in units of 4 × 4 pixel blocks, and the intra 4 × 4 prediction mode is a mode for generating a prediction value related to intra prediction in units of blocks of the orthogonal transformation process. . On the other hand, the intra 16 × 16 prediction mode is a mode for generating a prediction value related to intra prediction in units of a plurality of blocks of the orthogonal transform process, and the plurality of 4 × 4 in the horizontal direction and the vertical direction, respectively. Set to

このうちイントラ４×４予測モードでは、図１４に示すように、予測値を生成する４×４画素ａ〜ｐによるブロックに対して、近傍１３個の画素Ａ〜Ｍの一部が予測値の生成に供する予測画素に設定され、この予測画素より予測値が生成される。なおここでこの１３個の画素Ａ〜Ｍは、このブロックの走査開始端側、垂直方向に隣接する４個の画素Ａ〜Ｄと、この４個の画素Ａ〜Ｄの走査終了端側の画素Ｄに続く４個の画素Ｅ〜Ｆと、このブロックの走査開始端側、水平方向に隣接する４個の画素Ｉ〜Ｌと、この水平方向に隣接する４個の画素Ｉ〜Ｌのうちの走査開始端側の画素Ｉの上方に位置する画素Ｍとにより形成される。   Among them, in the intra 4 × 4 prediction mode, as shown in FIG. 14, a part of the neighboring 13 pixels A to M has a predicted value for a block of 4 × 4 pixels a to p that generate a predicted value. It is set to a prediction pixel to be used for generation, and a prediction value is generated from this prediction pixel. Here, the thirteen pixels A to M are the four pixels A to D adjacent in the vertical direction in the scanning start side of the block, and the pixels on the scanning end side of the four pixels A to D. Among four pixels E to F following D, four pixels I to L adjacent in the horizontal direction on the scanning start end side of this block, and four pixels I to L adjacent in the horizontal direction The pixel M is located above the pixel I on the scanning start end side.

イントラ４×４予測モードでは、これら１３個の予測画素Ａ〜Ｍと、予測値の生成に供する４×４個の画素ａ〜ｐとの相対的な関係により、図１５及び図１６に示すように、モード０〜モード８の予測モードが定義されている。すなわち図１４に示すように、例えばモード０及び１では、予測値の生成に使用する１３個の予測画素Ａ〜Ｍのうち、それぞれ垂直方向及び水平方向に隣接する予測画素Ａ〜Ｄ及びＩ〜Ｌにより予測値を生成する。   In the intra 4 × 4 prediction mode, as shown in FIG. 15 and FIG. 16, depending on the relative relationship between these 13 prediction pixels A to M and 4 × 4 pixels a to p used for generating a prediction value. In addition, prediction modes of mode 0 to mode 8 are defined. That is, as shown in FIG. 14, for example, in modes 0 and 1, among the 13 prediction pixels A to M used to generate a prediction value, prediction pixels A to D and I to I that are adjacent in the vertical direction and the horizontal direction, respectively. A predicted value is generated by L.

より具体的には、図１７（Ａ）において矢印により示すように、モード０は、垂直方向に隣接する予測画素Ａ〜Ｄより予測値を生成するモードであり、予測値を生成する４×４個の画素ａ〜ｐのうち、垂直方向に連続する１列目の画素ａ、ｅ、ｉ、ｍは、その上方向の画素Ａが予測画素に設定される。また続く２列目の画素ｂ、ｆ、ｊ、ｎは、その上方向の画素Ｂが予測画素に設定され、続く３列目及び４列目の画素ｃ、ｇ、ｋ、ｏ及びｄ、ｈ、ｌ、ｐは、それぞれ上方の画素Ｃ及びＤが予測画素に設定され、これら予測画素Ａ〜Ｄの画素値がそれぞれ対応する画素ａ〜ｐの予測値に設定される。なおモード０は、このモードにおける予測画素Ａ〜Ｄが有意である場合にのみ適用される。   More specifically, as indicated by an arrow in FIG. 17A, mode 0 is a mode for generating a prediction value from prediction pixels A to D adjacent in the vertical direction, and 4 × 4 for generating a prediction value. Among the pixels a to p, for the pixels a, e, i, and m in the first column continuous in the vertical direction, the pixel A in the upper direction is set as the predicted pixel. In the subsequent pixels b, f, j, and n in the second column, the pixel B in the upper direction is set as a predicted pixel, and the pixels c, g, k, o, and d, h in the subsequent third and fourth columns are set. , L, and p, the upper pixels C and D are set as predicted pixels, and the pixel values of the predicted pixels A to D are set to the predicted values of the corresponding pixels a to p, respectively. Note that mode 0 is applied only when the prediction pixels A to D in this mode are significant.

また図１７（Ｂ）に同様に示すように、モード１は、水平方向に隣接する予測画素Ｉ〜Ｌより予測値を生成するモードであり、予測値を生成する４×４個の画素ａ〜ｐのうち、水平方向に連続する１ラインの画素ａ〜ｄは、その左方の画素Ｉが予測画素に設定される。また続く２ライン目の画素ｅ〜ｈは、その左方の画素Ｊが予測画素に設定され、続く３ライン目及び４ライン目の画素ｉ〜ｌ及びｍ〜ｐは、それぞれ左方の画素Ｋ及びＬが予測画素に設定され、これら予測画素Ｉ〜Ｌの画素値がそれぞれ対応する画素ａ〜ｐの予測値に設定される。なおモード１は、このモードにおける予測画素Ｉ〜Ｌが有意である場合にのみ適用される。   Similarly, as shown in FIG. 17B, mode 1 is a mode in which a prediction value is generated from prediction pixels I to L adjacent in the horizontal direction, and 4 × 4 pixels a to generate prediction values. Among the pixels a to d in one line that are continuous in the horizontal direction among p, the pixel I on the left is set as the prediction pixel. The pixels e to h in the subsequent second line are set to the pixel J on the left side, and the pixels i to l and mp in the third line and the fourth line are respectively set to the left pixel K. And L are set as prediction pixels, and the pixel values of these prediction pixels I to L are set to the prediction values of the corresponding pixels a to p, respectively. Note that mode 1 is applied only when the prediction pixels I to L in this mode are significant.

これに対してモード２は、図１７（Ｃ）に示すように、１３個の予測画素Ａ〜Ｍのうち、このブロックの垂直方向及び水平方向に隣接する画素Ａ〜Ｄ及びＩ〜Ｌより予測値を生成するモードであり、これらの画素Ａ〜Ｄ及びＩ〜Ｌが全て有意な場合に、次式により各画素ａ〜ｐの予測値が生成される。   On the other hand, in the mode 2, as shown in FIG. 17C, prediction is performed based on the pixels A to D and I to L adjacent in the vertical direction and horizontal direction of the block among the 13 prediction pixels A to M. This is a mode for generating values, and when these pixels A to D and I to L are all significant, predicted values of the pixels a to p are generated according to the following equations.

なおモード２においては、画素Ａ〜Ｄが全て有意でない場合、予測値は、（２）式により生成され、画素Ｉ〜Ｌが全て有意でない場合、予測値は、（３）式により生成され、画素Ａ〜Ｄ及びＩ〜Ｌが全て有意でない場合、予測値は値１２８に設定される。

In mode 2, when all of the pixels A to D are not significant, the predicted value is generated by the expression (2). When all of the pixels I to L are not significant, the predicted value is generated by the expression (3). If the pixels A to D and I to L are not all significant, the predicted value is set to the value 128.

これに対してモード３は、図１７（Ｄ）に示すように、１３個の予測画素Ａ〜Ｍのうち、水平方向に連続する画素Ａ〜Ｈより予測値を生成するモードであり、これらの画素Ａ〜Ｈのうちの画素Ａ〜Ｄと画素Ｉ〜Ｍとが全て有意な場合にのみ適用されて、次式により各画素ａ〜ｐの予測値が生成される。

On the other hand, as shown in FIG. 17D, mode 3 is a mode in which prediction values are generated from pixels A to H continuous in the horizontal direction among the 13 prediction pixels A to M. This is applied only when the pixels A to D and the pixels I to M among the pixels A to H are significant, and the predicted values of the pixels a to p are generated by the following equation.

これに対してモード４は、図１７（Ｅ）に示すように、１３個の予測画素Ａ〜Ｍのうち、４×４個の画素ａ〜ｐによるブロックに隣接する画素Ａ〜Ｄ、Ｉ〜Ｍにより予測値を生成するモードであり、これらの画素Ａ〜Ｄ、Ｉ〜Ｍが全て有意な場合にのみ適用されて、次式により各画素ａ〜ｐの予測値が生成される。

On the other hand, in the mode 4, as shown in FIG. 17E, among the 13 predicted pixels A to M, the pixels A to D, I to I adjacent to the block of 4 × 4 pixels ap are used. This is a mode for generating a predicted value by M, and is applied only when these pixels A to D and I to M are all significant, and the predicted value of each pixel a to p is generated by the following equation.

これに対してモード５は、図１７（Ｆ）に示すように、１３個の予測画素Ａ〜Ｍのうち、４×４個の画素ａ〜ｐによるブロックに隣接する画素Ａ〜Ｄ、Ｉ〜Ｋ、Ｍとにより予測値を生成するモードであり、予測画素Ａ〜Ｄ、Ｉ〜Ｍが全て有意な場合にのみ適用されて、次式により各画素ａ〜ｐの予測値が生成される。

On the other hand, in the mode 5, as shown in FIG. 17F, among the 13 predicted pixels A to M, the pixels A to D and I to I adjacent to the block of 4 × 4 pixels ap are used. This is a mode for generating predicted values by K and M, and is applied only when the predicted pixels A to D and I to M are all significant, and the predicted values of the pixels a to p are generated by the following equations.

これに対してモード６は、図１７（Ｇ）に示すように、１３個の予測画素Ａ〜Ｍのうち、４×４個の画素ａ〜ｐによるブロックに隣接する画素Ａ〜Ｃ、Ｉ〜Ｍとにより予測値を生成するモードであり、予測画素Ａ〜Ｄ、Ｉ〜Ｍが全て有意な場合にのみ適用されて、次式により各画素ａ〜ｐの予測値が生成される。

On the other hand, in the mode 6, as shown in FIG. 17G, among the 13 prediction pixels A to M, the pixels A to C, I to C adjacent to the block of 4 × 4 pixels ap are used. M is a mode for generating a prediction value, and is applied only when the prediction pixels A to D and I to M are all significant, and the prediction value of each pixel a to p is generated by the following equation.

これに対してモード７は、図１７（Ｈ）に示すように、１３個の予測画素Ａ〜Ｍのうち、４×４個の画素ａ〜ｐによるブロックの上方に隣接する４個の画素Ａ〜Ｄと、この４個の画素Ａ〜Ｄに続く４個の画素Ｅ〜Ｇとにより予測値を生成するモードであり、これらのうちの画素Ａ〜Ｄ及び画素Ｉ〜Ｍが全て有意な場合にのみ適用されて、次式により各画素ａ〜ｐの予測値が生成される。

On the other hand, in the mode 7, as shown in FIG. 17H, among the 13 prediction pixels A to M, four pixels A adjacent above the block of 4 × 4 pixels ap. To D and the four pixels E to G following the four pixels A to D are modes for generating a prediction value, and the pixels A to D and the pixels I to M are all significant. The prediction value of each pixel ap is generated by the following equation.

これに対してモード８は、図１７（Ｉ）に示すように、１３個の予測画素Ａ〜Ｍのうち、４×４個の画素によるブロックの左方に隣接する４個の画素Ｉ〜Ｌにより予測値を生成するモードであり、画素Ａ〜Ｄ及び画素Ｉ〜Ｍが全て有意な場合にのみ適用されて、次式により各画素ａ〜ｐの予測値が生成される。

On the other hand, in the mode 8, as shown in FIG. 17I, four pixels I to L adjacent to the left of the block of 4 × 4 pixels among the 13 prediction pixels A to M. Is a mode for generating predicted values, and is applied only when the pixels A to D and the pixels I to M are all significant, and the predicted values of the pixels a to p are generated by the following equations.

これに対してイントラ１６×１６予測モードでは、図１８に示すように、予測値を生成する１６×１６個の画素Ｐ（０，１５）〜Ｐ（１５，１５）によるブロックＢに対して、このブロックを構成する画素Ｐ（０，１５）〜Ｐ（１５，１５）と、このブロックＢの上方及び左方に隣接する画素Ｐ（０，−１）〜Ｐ（１５，−１）及びＰ（−１，０）〜Ｐ（−１，１５）が予測画素に設定され、これらの予測画素により予測値が生成される。

On the other hand, in the intra 16 × 16 prediction mode, as shown in FIG. 18, for the block B including 16 × 16 pixels P (0, 15) to P (15, 15) that generate the prediction value, Pixels P (0,15) to P (15,15) constituting this block, and pixels P (0, -1) to P (15, -1) and P adjacent above and to the left of this block B (-1, 0) to P (-1, 15) are set as prediction pixels, and a prediction value is generated by these prediction pixels.

イントラ１６×１６予測モードでは、図１９に示すように、モード０〜モード３の予測モードが定義され、このうちモード０は、処理対象ブロックＢの上方に隣接する画素Ｐ（０，−１）〜Ｐ（１５，−１）（Ｐ（ｘ，−１）；ｘ，ｙ＝−１〜１５）が有意な場合にのみ適用されて、次式により示すように、ブロックＢを構成する各画素Ｐ（０，１５）〜Ｐ（１５，１５）の予測値が生成される。これにより図２０（Ａ）に示すように、ブロックＢに隣接する各画素Ｐ（０，−１）〜Ｐ（１５，−１）の画素値によりブロックＢの垂直方向に連続する各画素の予測値が生成される。   In the intra 16 × 16 prediction mode, as shown in FIG. 19, prediction modes of mode 0 to mode 3 are defined. Among these, mode 0 is a pixel P (0, −1) adjacent above the processing target block B. -P (15, -1) (P (x, -1); x, y = -1 to 15) is applied only when it is significant, and as shown by the following equation, each pixel constituting the block B Predicted values of P (0,15) to P (15,15) are generated. As a result, as shown in FIG. 20A, prediction of each pixel continuous in the vertical direction of the block B is performed based on the pixel values of the pixels P (0, −1) to P (15, −1) adjacent to the block B. A value is generated.

これに対してモード１は、ブロックＢの左方に隣接する画素Ｐ（−１，０）〜Ｐ（−１，１５）（Ｐ（−１，ｙ）；ｘ，ｙ＝−１〜１５）が有意な場合にのみ適用されて、次式により示すように、ブロックＢを構成する各画素Ｐ（０，１５）〜Ｐ（１５，１５）の予測値が生成され、これにより図２０（Ｂ）に示すように、ブロックＢに隣接する各画素Ｐ（−１，０）〜Ｐ（−１，１５）の画素値によりブロックＢの水平方向に連続する各画素の予測値が生成される。

On the other hand, in the mode 1, the pixels P (−1, 0) to P (−1, 15) adjacent to the left side of the block B (P (−1, y); x, y = −1 to 15). Is applied only when is significant, and predicted values of the pixels P (0,15) to P (15,15) constituting the block B are generated, as shown by the following equation, and FIG. ), Predicted values of pixels continuous in the horizontal direction of the block B are generated by the pixel values of the pixels P (−1, 0) to P (−1, 15) adjacent to the block B.

これに対してモード２は、ブロックＢの上方及び左方に隣接する画素Ｐ（０，−１）〜Ｐ（１５，−１）及びＰ（−１，０）〜Ｐ（−１，１５）が全て有意な場合には、次式により予測値が求められ、これにより図２０（Ｃ）に示すように、これらの画素Ｐ（０，−１）〜Ｐ（１５，−１）及びＰ（−１，０）〜Ｐ（−１，１５）による画素値の平均値によりブロックＢを構成する各画素の予測値が生成される。

On the other hand, in the mode 2, the pixels P (0, −1) to P (15, −1) and P (−1, 0) to P (−1, 15) adjacent to the upper side and the left side of the block B are used. Are all significant, a predicted value is obtained by the following equation, and as shown in FIG. 20C, these pixels P (0, -1) to P (15, -1) and P ( A predicted value of each pixel constituting the block B is generated based on the average value of the pixel values of (−1, 0) to P (−1, 15).

なおモード２においては、これらブロックＢの上方及び左方に隣接する画素Ｐ（０，−１）〜Ｐ（１５，−１）及びＰ（−１，０）〜Ｐ（−１，１５）のうち、上方に隣接する画素Ｐ（−１，０）〜Ｐ（−１，１５）が有意でない場合、（１３）式が適用されて有意な側の隣接画素の平均値により各画素の予測値が生成される。また左方に隣接する画素Ｐ（−１，０）〜Ｐ（−１，１５）が有意でない場合、（１４）式が適用され、この場合も有意な側の隣接画素の平均値によりブロックＢを構成する各画素の予測値が生成される。またブロックＢの上方及び左方に隣接する画素Ｐ（０，−１）〜Ｐ（１５，−１）及びＰ（−１，０）〜Ｐ（−１，１５）の全てが有意でない場合、値１２８に予測値が設定される。

In mode 2, pixels P (0, -1) to P (15, -1) and P (-1, 0) to P (-1, 15) adjacent to the upper and left sides of the block B are used. Among them, when the pixels P (−1, 0) to P (−1, 15) adjacent to the upper side are not significant, the predicted value of each pixel is calculated based on the average value of the adjacent pixels on the significant side by applying the expression (13). Is generated. If the pixels P (−1, 0) to P (−1, 15) adjacent to the left are not significant, the equation (14) is applied. In this case as well, the block B is determined by the average value of the adjacent pixels on the significant side. The predicted value of each pixel that constitutes is generated. If all of the pixels P (0, −1) to P (15, −1) and P (−1, 0) to P (−1, 15) adjacent to the upper and left sides of the block B are not significant, A predicted value is set to the value 128.

これに対してモード３は、ブロックＢの上方及び左方に隣接する画素Ｐ（０，−１）〜Ｐ（１５，−１）及びＰ（−１，０）〜Ｐ（−１，１５）が全て有意な場合にのみ適用され、次式により予測値が求められ、これにより図２０（Ｄ）に示すように、斜め方向の演算処理により各画素の予測値が生成される。

On the other hand, in the mode 3, the pixels P (0, −1) to P (15, −1) and P (−1, 0) to P (−1, 15) adjacent to the upper side and the left side of the block B are used. Is applied only when all are significant, and a predicted value is obtained by the following formula, and as a result, as shown in FIG.

これらにより符号化装置１のイントラ予測回路５は、Ｉピクチャ、Ｐピクチャ、Ｂピクチャにおいて、画面並べ替えバッファ３より出力される画像データＤ１を入力してフレームメモリ１６に保持した参照画像情報によりいわゆるイントラ予測して最適な予測モードを選択する。またこの選択した予測モードによりイントラ符号化する場合、この選択した予測モードによる予測値を参照画像情報より生成して減算器４に出力し、またこの予測モードを可逆符号化装置１０に通知して符号化データＤ４と共に伝送する。これに対して復号化装置２０のイントラ予測回路２３においては、この符号化データＤ４と共に伝送された予測モードの情報により予測値を計算して加算器２７に出力する。

As a result, the intra prediction circuit 5 of the encoding device 1 inputs the image data D1 output from the screen rearrangement buffer 3 in the I picture, P picture, and B picture, and uses so-called reference image information held in the frame memory 16 so-called. Intra prediction is used to select an optimal prediction mode. In addition, when intra-coding is performed using the selected prediction mode, a prediction value based on the selected prediction mode is generated from the reference image information and output to the subtracter 4, and the prediction mode is notified to the lossless encoding device 10. It is transmitted together with the encoded data D4. On the other hand, the intra prediction circuit 23 of the decoding device 20 calculates a prediction value based on the prediction mode information transmitted together with the encoded data D4 and outputs the prediction value to the adder 27.

イントラ予測回路５は、ラスタ走査の順序により４×４画素のブロック、１６×１６画素のブロックを順次設定して予測モードを選択し、さらにこのラスタ走査の順序による処理を有効に利用して予測モードを伝送対象に通知する。   The intra prediction circuit 5 selects a prediction mode by sequentially setting a block of 4 × 4 pixels and a block of 16 × 16 pixels according to the order of raster scanning, and further uses the processing based on the order of raster scanning for prediction. Notifies the transmission target mode.

すなわち４×４予測モードによりイントラ符号化する場合において、図２１に示すように、処理対象であるブロックＣの予測モードIntra 4x4 pred mode Ｃに対して、水平方向及び垂直方向に処理を完了している隣接ブロックＡ及びＢの予測モードIntra 4x4 pred mode Ａ及びIntra 4x4 pred mode Ｂは、高い相関を持つと考えられる。これによりこれら隣接ブロックＡ及びＢの予測モードIntra 4x4 pred mode Ａ及びIntra 4x4 pred mode Ｂを用いて、次式により、最も可能性の高い予測モードMost Probable Modeを定義する。なおこの（１６）式におけるｍｉｎの判定は、これら予測モードの伝送に供するコードmode number により実行し、コードmode number の値の小さい側の予測モードを最も可能性の高い予測モードMost Probable Modeに設定する。   That is, in the case of performing intra coding in the 4 × 4 prediction mode, as shown in FIG. 21, the processing in the horizontal direction and the vertical direction is completed with respect to the prediction mode Intra 4x4 pred mode C of the block C to be processed. Prediction modes Intra 4x4 pred mode A and Intra 4x4 pred mode B of adjacent blocks A and B are considered to have high correlation. Thus, the most probable prediction mode Most Probable Mode is defined by the following equation using the prediction modes Intra 4x4 pred mode A and Intra 4x4 pred mode B of the adjacent blocks A and B. The determination of min in the equation (16) is executed by the code mode number used for transmission in these prediction modes, and the prediction mode having the smaller code mode number is set to the most likely prediction mode Most Probable Mode. To do.

またビットストリーム中に、この４×４画素によるブロックに係るパラメータとして、予測モードの伝送の有無を示すフラグprev intra 4x4 pred mode flag[luma 4x4 BlkIdx]と、予測モード rem intra 4x4 pred mode[luma 4x4 BlkIdx] とが定義され、復号側は、Ｃ言語の記述により図２２に示すようにこれら２つのパラメータを処理して、処理対象であるブロックＣの予測モードIntra 4x4 pred mode Ｃを検出する。なおここで[luma 4x4
BlkIdx] は、輝度データに係る対象ブロックを特定するブロック番号である。

In addition, in the bitstream, as a parameter related to the block of 4 × 4 pixels, a flag prev intra 4x4 pred mode flag [luma 4x4 BlkIdx] indicating whether or not the prediction mode is transmitted and a prediction mode rem intra 4x4 pred mode [luma 4x4 BlkIdx] is defined, and the decoding side processes these two parameters according to the description in C language as shown in FIG. 22, and detects the prediction mode Intra 4x4 pred mode C of the block C to be processed. Here [luma 4x4
BlkIdx] is a block number that identifies a target block related to luminance data.

すなわちこの場合、予測モードの伝送の有無を示すフラグprev intra 4x4 pred mode flag[luma 4x4 BlkIdx]が設定されている場合、隣接ブロックＡ及びＢの予測モードIntra
4x4 pred mode Ａ及びIntra 4x4 pred mode Ｂを用いて（１６）式により復号側で検出される最も可能性の高い予測モードMost Probable Modeを処理対象であるブロックの予測モードに設定する。またこのフラグprev intra 4x4 pred mode flag[luma 4x4 BlkIdx]が設定されていない場合にあって、最も可能性の高い予測モードMost Probable Modeより伝送された予測モード rem intra 4x4 pred mode[luma 4x4 BlkIdx] のコードmode number が小さい場合、伝送された予測モード rem intra 4x4 pred mode[luma 4x4 BlkIdx] を処理対象ブロックの予測モードに設定する。またフラグprev intra 4x4 pred mode flag[luma 4x4 BlkIdx]が設定されていない場合にあって、最も可能性の高い予測モードMost Probable Modeより伝送された予測モード rem intra 4x4 pred mode[luma 4x4 BlkIdx]
のコードmode number が小さくない場合、伝送された予測モード rem intra 4x4 pred mode[luma 4x4 BlkIdx] のコードmode number に値１を加算したコードmode number の予測モードを処理対象ブロックの予測モードに設定する。 That is, in this case, when the flag prev intra 4x4 pred mode flag [luma 4x4 BlkIdx] indicating the presence or absence of transmission in the prediction mode is set, the prediction mode Intra of the adjacent blocks A and B is set.
Using 4x4 pred mode A and Intra 4x4 pred mode B, the most probable prediction mode Most Probable Mode detected on the decoding side by equation (16) is set as the prediction mode of the block to be processed. Also, when this flag prev intra 4x4 pred mode flag [luma 4x4 BlkIdx] is not set, the prediction mode transmitted from the most probable prediction mode Most Probable Mode rem intra 4x4 pred mode [luma 4x4 BlkIdx] When the code mode number is small, the transmitted prediction mode rem intra 4x4 pred mode [luma 4x4 BlkIdx] is set as the prediction mode of the processing target block. Also, when the flag prev intra 4x4 pred mode flag [luma 4x4 BlkIdx] is not set, the prediction mode transmitted from the most probable prediction mode Most Probable Mode rem intra 4x4 pred mode [luma 4x4 BlkIdx]
If the code mode number is not small, the prediction mode of the code mode number obtained by adding the value 1 to the code mode number of the transmitted prediction mode rem intra 4x4 pred mode [luma 4x4 BlkIdx] is set as the prediction mode of the processing target block .

これらにより符号化装置は、最も可能性の高い予測モードMost Probable Modeが処理対象ブロックの予測モードと一致する場合、予測モードの伝送の有無を示すフラグprev intra 4x4 pred mode flag[luma 4x4 BlkIdx]を設定して、予測モード rem intra 4x4 pred
mode[luma 4x4 BlkIdx] の伝送を中止し、伝送に供するデータ量を削減する。 Thus, the encoding apparatus sets a flag prev intra 4x4 pred mode flag [luma 4x4 BlkIdx] indicating whether or not the prediction mode is transmitted when the most likely prediction mode Most Probable Mode matches the prediction mode of the processing target block. Set and prediction mode rem intra 4x4 pred
Stop transmission of mode [luma 4x4 BlkIdx] and reduce the amount of data used for transmission.

このような符号化装置は、撮像素子による撮像結果のデータ圧縮等に使用され、このような撮像素子においては、従来からのＣＣＤ（Charge Coupled Device ）固体撮像素子に対して、近年、ＣＭＯＳ固体撮像素子の使用が増大している。   Such an encoding device is used for data compression of an imaging result by an image sensor, and in such an image sensor, a CMOS solid-state image sensor has recently been used in comparison with a conventional CCD (Charge Coupled Device) solid-state image sensor. The use of elements is increasing.

ここで図２３に示すように、ＣＣＤ固体撮像素子４１は、フォトダイオードによる各画素４２に保持された蓄積電荷を垂直転送レジスタ４３に転送し、この垂直転送レジスタ４３に転送した蓄積電荷を水平転送レジスタ４４に順次転送しながら水平転送レジスタ４４により順次転送して出力する。これによりＣＣＤ固体撮像素子４１は、通常、ラスタ走査の順序により撮像結果を出力する。これに対して図２４に示すように、ＣＭＯＳ固体撮像素子４６は、垂直走査回路４７及び水平走査回路４８によるＸＹアドレス制御により、フォトダイオードによる各画素４９に保持された蓄積電荷を出力し、これにより各画素４９の撮像結果を高速度で読み出すことができ、また読み出しの順序等にあっても高い自由度を確保することができる。またＣＭＯＳ固体撮像素子４６は、低消費電力がＣＣＤ固体撮像素子の１／５程度と低く、さらに周辺回路と一体化が容易な特徴がある。   Here, as shown in FIG. 23, the CCD solid-state imaging device 41 transfers the accumulated charge held in each pixel 42 by the photodiode to the vertical transfer register 43, and horizontally transfers the accumulated charge transferred to the vertical transfer register 43. While sequentially transferring to the register 44, the horizontal transfer register 44 sequentially transfers and outputs the result. As a result, the CCD solid-state imaging device 41 normally outputs the imaging results in the order of raster scanning. On the other hand, as shown in FIG. 24, the CMOS solid-state imaging device 46 outputs the accumulated charge held in each pixel 49 by the photodiode by XY address control by the vertical scanning circuit 47 and the horizontal scanning circuit 48. Thus, the imaging result of each pixel 49 can be read at a high speed, and a high degree of freedom can be ensured even in the reading order. Further, the CMOS solid-state image sensor 46 has a feature that low power consumption is as low as about 1/5 of a CCD solid-state image sensor and that it can be easily integrated with peripheral circuits.

なお図２５は、ＣＣＤ固体撮像素子４１の処理系を示すブロック図であり、ＣＣＤ固体撮像素子４１では、各画素４２の撮像結果である蓄積電荷を垂直レジスタ（Ｖレジ）４３、水平レジスタ（Ｈレジ）４４により順次転送してフローティングディフュージョンアンプ（ＦＤＡ）５１に入力し、ここで蓄積電荷量に応じた出力電圧を生成する。ＣＣＤ固体撮像素子４１の処理系は、このフローティングディフュージョンアンプ５１の出力信号を相関二重サンプリング回路（ＣＤＳ）５２により相関二重サンプリング処理した後、プログラマブルゲインアンプ（ＰＧＡ）５３により信号レベルを補正し、アナログディジタル変換回路（ＡＤＣ）５４により画像データに変換する。   FIG. 25 is a block diagram showing a processing system of the CCD solid-state imaging device 41. In the CCD solid-state imaging device 41, the accumulated charge as the imaging result of each pixel 42 is stored in a vertical register (V register) 43 and a horizontal register (H Register) 44 and sequentially input to floating diffusion amplifier (FDA) 51, where an output voltage corresponding to the amount of accumulated charge is generated. The processing system of the CCD solid-state imaging device 41 corrects the signal level by the programmable gain amplifier (PGA) 53 after the correlated double sampling circuit (CDS) 52 performs correlated double sampling processing on the output signal of the floating diffusion amplifier 51. Then, it is converted into image data by an analog-digital conversion circuit (ADC) 54.

また図２６は、ＣＭＯＳ固体撮像素子４６の処理系を示すブロック図である。ＣＭＯＳ固体撮像素子４６では、各画素４９による蓄積電荷を各画素４９に設けられたフローティングディフュージョンアンプ（ＦＤＡ）５６により出力電圧に変換し、この出力電圧を行毎にまとめてカラムＣＤＳブロック（カラムＣＤＳ）５７により相関二重サンプリング処理して出力する。ＣＭＯＳ固体撮像素子４６の処理系は、このカラムＣＤＳブロック５７の出力信号をプログラマブルゲートアレー（ＰＧＡ）５８により処理した後、アナログディジタル変換回路（ＡＤＣ）５９により画像データに変換する。   FIG. 26 is a block diagram showing a processing system of the CMOS solid-state image sensor 46. In the CMOS solid-state imaging device 46, the accumulated charge in each pixel 49 is converted into an output voltage by a floating diffusion amplifier (FDA) 56 provided in each pixel 49, and this output voltage is collected for each row in a column CDS block (column CDS block). ) 57 to output after correlated double sampling processing. The processing system of the CMOS solid-state imaging device 46 processes the output signal of the column CDS block 57 by a programmable gate array (PGA) 58 and then converts it into image data by an analog-digital conversion circuit (ADC) 59.

また図２７は、ＣＣＤ固体撮像素子４１による具体的なシステムの構成を示すブロック図であり、ＣＣＤ固体撮像素子４１は、動作基準の各種タイミング信号を生成するタイミングジェネレータ（ＴＧ）６１と、このタイミングジェネレータ６１によるタイミング信号からＣＣＤ固体撮像素子４１の駆動に供する各種駆動信号を生成する垂直駆動回路６２、水平駆動回路６３による駆動回路６４とが１つのチップにより形成される。また相関二重サンプリング回路（ＣＤＳ）５２、プログラマブルゲインアンプ（ＰＧＡ）５３、アナログディジタル変換回路（ＡＤＣ）５４によるアナログフロントエンド（ＡＦＥ）６５が１チップにより形成され、このアナログフロントエンド６５から出力される画像データをディジタルシグナルプロセッサ（ＤＳＰ）６６により処理する。これらのうち駆動回路６４とアナログフロントエンド６５とは、通常、１つのパッケージに一体に形成され、これによりＣＣＤ固体撮像素子４１によるシステムは、通常、３パッケージによる４チップにより形成される。なお駆動回路６４とアナログフロントエンド６５とは、スタック２ｉｎ１パッケージ技術により一体に作成される場合もある。   FIG. 27 is a block diagram showing a specific system configuration of the CCD solid-state imaging device 41. The CCD solid-state imaging device 41 includes a timing generator (TG) 61 that generates various timing signals for operation reference, and the timing. A vertical drive circuit 62 for generating various drive signals used for driving the CCD solid-state imaging device 41 from a timing signal from the generator 61 and a drive circuit 64 by a horizontal drive circuit 63 are formed by one chip. An analog front end (AFE) 65 comprising a correlated double sampling circuit (CDS) 52, a programmable gain amplifier (PGA) 53, and an analog / digital conversion circuit (ADC) 54 is formed by one chip, and is output from the analog front end 65. The image data is processed by a digital signal processor (DSP) 66. Among these, the drive circuit 64 and the analog front end 65 are usually formed integrally in one package, and thus the system using the CCD solid-state imaging device 41 is usually formed by four chips of three packages. In some cases, the drive circuit 64 and the analog front end 65 are integrally formed by the stack 2 in 1 package technology.

また図２８は、ＣＭＯＳ固体撮像素子４６による具体的なシステムの構成を示すブロック図であり、ＣＭＯＳ固体撮像素子４６は、画素４９をマトリックス状に配置して画素部６７が形成され、垂直走査回路４７、水平走査回路４８、カラムＣＤＳブロック５７、プログラマブルゲートアレー５８、アナログディジタル変換回路５９の動作を制御ロジック６８により制御するようにして、これらの回路ブロックが一体に集積回路化して形成される。またこの集積回路から出力される画像データをディジタルシグナルプロセッサ（ＤＳＰ）６９により処理し、これらによりこの図２８の例では、２チップにより構成される。なおＣＭＯＳ固体撮像素子４６によるシステムでは、プログラマブルゲートアレー５８、アナログディジタル変換回路５９を別チップとした３チップにより構成される場合もある。   FIG. 28 is a block diagram showing a specific system configuration using the CMOS solid-state imaging device 46. The CMOS solid-state imaging device 46 has pixels 49 arranged in a matrix to form a pixel portion 67, and a vertical scanning circuit. 47, the horizontal scanning circuit 48, the column CDS block 57, the programmable gate array 58, and the analog-digital conversion circuit 59 are controlled by the control logic 68, and these circuit blocks are integrally formed as an integrated circuit. In addition, the image data output from the integrated circuit is processed by a digital signal processor (DSP) 69, and in the example of FIG. The system using the CMOS solid-state imaging device 46 may be configured by three chips in which the programmable gate array 58 and the analog / digital conversion circuit 59 are separate chips.

このようなＣＭＯＳ固体撮像素子について、例えば特開２００４−３１７８５号公報等には、周辺回路と一体化する構成の工夫が提案されている。   With regard to such a CMOS solid-state imaging device, for example, Japanese Patent Application Laid-Open No. 2004-31785 proposes a device that is integrated with a peripheral circuit.

ところでＡＶＣ等による符号化処理においては、上述したように、画像データをラスタ走査の順序により処理することを前提に、ラスタ走査の順序で処理した場合に処理を完了している水平方向及び垂直方向の隣接画素を予測画素に設定し（図１４及び図１８）、さらには予測モードの伝送効率を向上する（図２２）。   By the way, in the encoding process by AVC or the like, as described above, on the premise that the image data is processed in the raster scanning order, the horizontal direction and the vertical direction in which the processing is completed when the raster data is processed in the raster scanning order. Are set as prediction pixels (FIGS. 14 and 18), and the transmission efficiency in the prediction mode is further improved (FIG. 22).

しかしながら画像にあっては、ラスタ走査の順序で処理した場合に、処理を完了していない画素との間で高い相関が得られる場合もある。この場合、ラスタ走査の順序によりイントラ予測したのでは、精度のよい予測値を算出することが困難になり、その分、符号化処理の効率が劣化することになる。
特開２００４−３１７８５号公報 However, in an image, when processing is performed in the order of raster scanning, a high correlation may be obtained with pixels that have not been processed. In this case, if intra prediction is performed according to the order of raster scanning, it is difficult to calculate a predicted value with high accuracy, and the efficiency of the encoding process is degraded accordingly.
JP 2004-31785 A

本発明は以上の点を考慮してなされたもので、イントラ符号化処理に関して、従来に比して符号化処理の効率を向上することができる符号化装置、撮像装置、復号化装置及び画像データの処理方法を提案しようとするものである。   The present invention has been made in consideration of the above points, and with regard to the intra coding process, the coding apparatus, the imaging apparatus, the decoding apparatus, and the image data that can improve the efficiency of the coding process as compared with the conventional technique. We are going to propose a processing method.

かかる課題を解決するため請求項１の発明においては、マクロブロック毎に、予測画素を設定してイントラ予測による予測値を出力するイントラ予測回路と、予測値と画像データとの差分データを出力する減算回路と、差分データを処理する処理回路とを有する符号化装置に適用して、画像データは、マクロブロック単位で、画像の周辺から中央に向かうらせん状の走査の順序により入力され、イントラ予測回路は、らせん状の走査に応じて、マクロブロックに対する予測画素の設定を切り換える。   In order to solve this problem, in the first aspect of the invention, for each macroblock, an intra prediction circuit that sets a prediction pixel and outputs a prediction value based on intra prediction, and difference data between the prediction value and image data are output. The present invention is applied to an encoding device having a subtraction circuit and a processing circuit for processing difference data. Image data is input in macroblock units in the order of spiral scanning from the periphery of the image toward the center, and is used for intra prediction. The circuit switches the setting of the prediction pixel for the macroblock according to the helical scan.

また請求項１５の発明においては、撮像結果を出力する撮像素子と、マクロブロック毎に、予測画素を設定してイントラ予測による予測値を出力するイントラ予測回路と、予測値と画像データとの差分データを出力する減算回路と、差分データを処理する処理回路とを有する撮像装置に適用して、撮像素子は、画像の周辺から中央に向かってらせん状にマクロブロックを走査させて、マクロブロック単位で撮像結果を出力し、イントラ予測回路は、らせん状の走査に応じて、マクロブロックに対する予測画素の設定を切り換える。   In the invention of claim 15, an imaging device that outputs an imaging result, an intra prediction circuit that sets a prediction pixel for each macroblock and outputs a prediction value based on intra prediction, and a difference between the prediction value and image data Applied to an imaging device having a subtraction circuit for outputting data and a processing circuit for processing difference data, the imaging device scans macroblocks spirally from the periphery of the image toward the center, The intra prediction circuit switches the setting of the prediction pixel for the macroblock according to the helical scan.

また請求項３２の発明においては、復号化装置に適用して、順次入力される符号化データから画像データを復号する復号化装置において、符号化データを処理して差分データを出力する処理回路と、マクロブロック毎に、予測画素を設定してイントラ予測による予測値を出力するイントラ予測回路と、予測値と差分データとを加算して画像データを出力する加算回路と、画像データを記録して参照画像を保持するメモリとを備え、符号化データが、マクロブロック単位で、画像の周辺から中央に向かうらせん状の走査の順序により入力され、イントラ予測回路は、らせん状の走査に応じて、マクロブロックに対する予測画素の設定を切り換える。   According to a thirty-second aspect of the present invention, there is provided a processing circuit which is applied to a decoding device and which decodes image data from sequentially input encoded data and which processes the encoded data and outputs difference data. In addition, for each macroblock, an intra prediction circuit that sets a prediction pixel and outputs a prediction value by intra prediction, an addition circuit that adds the prediction value and the difference data and outputs image data, and records the image data A memory for holding a reference image, and encoded data is input in macroblock units in the order of a spiral scan from the periphery of the image to the center, and the intra prediction circuit Switch prediction pixel settings for macroblocks.

また請求項３８の発明においては、マクロブロック毎に、予測画素を設定してイントラ予測による予測値を出力するイントラ予測のステップと、予測値と画像データとの差分データを出力する減算のステップと、差分データを処理する処理のステップとを有する画像データの処理方法に適用して、画像データは、マクロブロック単位で、画像の周辺から中央に向かうらせん状の走査の順序により入力され、イントラ予測のステップは、らせん状の走査に応じて、マクロブロックに対する予測画素の設定を切り換える。   Further, in the invention of claim 38, for each macroblock, an intra prediction step for setting a prediction pixel and outputting a prediction value by intra prediction, and a subtraction step for outputting difference data between the prediction value and image data; The image data is input in a spiral scan order from the periphery to the center of the image in units of macroblocks, and is applied to intra prediction. In this step, the setting of the prediction pixel for the macroblock is switched in accordance with the helical scan.

また請求項４２の発明においては、順次入力される符号化データから画像データを復号する画像データの処理方法に適用して、符号化データを処理して差分データを出力する処理のステップと、マクロブロック単位で予測画素を設定してイントラ予測による予測値を出力するイントラ予測のステップと、予測値と差分データとを加算して画像データを出力する加算のステップと、画像データにより参照画像を記録する記録のステップとを有し、符号化データが、マクロブロック単位で、画像の周辺から中央に向かうらせん状の走査の順序により入力され、イントラ予測のステップは、らせん状の走査に応じて、処理対象のマクロブロックに対する予測画素の設定を切り換える。   According to the invention of claim 42, the present invention is applied to an image data processing method for decoding image data from sequentially input encoded data, processing the encoded data to output differential data, and a macro Intra prediction step for setting prediction pixel in block unit and outputting prediction value by intra prediction, addition step for adding prediction value and difference data to output image data, and recording reference image by image data Encoded data is input in macroblock units in the order of a spiral scan from the periphery of the image to the center, and the intra prediction step is performed according to the spiral scan, The prediction pixel setting for the macroblock to be processed is switched.

請求項１の構成により、マクロブロック毎に、予測画素を設定してイントラ予測による予測値を出力するイントラ予測回路と、予測値と画像データとの差分データを出力する減算回路と、差分データを処理する処理回路とを有する符号化装置に適用して、画像データは、マクロブロック単位で、画像の周辺から中央に向かうらせん状の走査の順序により入力され、イントラ予測回路は、らせん状の走査に応じて、マクロブロックに対する予測画素の設定を切り換えるようにすれば、単にラスタ走査順に処理する場合に比して、予測値の精度を向上することができ、その分、イントラ符号化処理に関して、従来に比して符号化処理の効率を向上することができる。   According to the configuration of claim 1, for each macroblock, an intra prediction circuit that sets a prediction pixel and outputs a prediction value based on intra prediction, a subtraction circuit that outputs difference data between the prediction value and image data, and difference data When applied to an encoding device having a processing circuit for processing, image data is input in units of macroblocks in the order of spiral scanning from the periphery of the image to the center, and the intra prediction circuit performs spiral scanning. Accordingly, if the setting of the prediction pixel for the macroblock is switched, the accuracy of the prediction value can be improved as compared with the case of simply processing in the raster scanning order. The efficiency of the encoding process can be improved as compared with the prior art.

これにより請求項１５の構成によれば、イントラ符号化処理に関して、従来に比して符号化処理の効率を向上することができる撮像装置を提供することができる。   Thereby, according to the structure of Claim 15, the imaging device which can improve the efficiency of an encoding process compared with the past can be provided regarding an intra encoding process.

また請求項３２の構成により、復号化装置に適用して、順次入力される符号化データから画像データを復号する復号化装置において、符号化データを処理して差分データを出力する処理回路と、マクロブロック毎に、予測画素を設定してイントラ予測による予測値を出力するイントラ予測回路と、予測値と差分データとを加算して画像データを出力する加算回路と、画像データを記録して参照画像を保持するメモリとを備え、符号化データが、マクロブロック単位で、画像の周辺から中央に向かうらせん状の走査の順序により入力され、イントラ予測回路は、らせん状の走査に応じて、マクロブロックに対する予測画素の設定を切り換えるようにすれば、らせん状の走査により処理された符号化データを処理して画像データを復号することができ、これにより従来に比してイントラ符号化処理の効率が向上された符号化データを確実に復号することができる。   According to the configuration of claim 32, in a decoding device that is applied to a decoding device and decodes image data from sequentially input encoded data, a processing circuit that processes the encoded data and outputs difference data; For each macroblock, an intra prediction circuit that sets a prediction pixel and outputs a prediction value by intra prediction, an addition circuit that adds the prediction value and difference data and outputs image data, and records and references the image data A memory for holding an image, and the encoded data is input in macroblock units in the order of spiral scanning from the periphery to the center of the image, and the intra prediction circuit performs macro scanning according to the spiral scanning. If the setting of the prediction pixel for the block is switched, the encoded data processed by the helical scan can be processed to decode the image data. Can, thereby the efficiency of the intra encoding process is reliably decode an enhanced coded data than conventional.

これらにより請求項３８、請求項４２の構成によれば、イントラ符号化処理に関して、従来に比して符号化処理の効率を向上することができる画像データの処理方法を提供することができる。   Thus, according to the configurations of claims 38 and 42, it is possible to provide an image data processing method capable of improving the efficiency of the encoding process as compared with the conventional encoding process.

本発明によれば、イントラ符号化処理に関して、従来に比して符号化処理の効率を向上することができる。   According to the present invention, it is possible to improve the efficiency of the encoding process as compared with the related art with respect to the intra encoding process.

以下、適宜図面を参照しながら本発明の実施例を詳述する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings as appropriate.

（１）実施例の構成
図１は、本発明の実施例１に係る撮像装置を示すブロック図である。この撮像装置８１は、撮像素子８２による撮像結果をデータ圧縮して記録系８３により記録する。なおここで記録系８３は、例えば光ディスク装置、メモリカード等、種々の記録再生手段が適用される。 (1) Configuration of Embodiment FIG. 1 is a block diagram illustrating an imaging apparatus according to Embodiment 1 of the present invention. The imaging device 81 compresses data of the imaging result obtained by the imaging element 82 and records it by the recording system 83. Here, as the recording system 83, various recording / reproducing means such as an optical disk device and a memory card are applied.

この撮像装置８１において、レンズ８４は、ユーザーによる操作に応動してズーム倍率、絞りを可変して撮像素子８２の撮像面に入射光を集光する。   In the imaging device 81, the lens 84 changes the zoom magnification and the diaphragm in response to an operation by the user, and collects incident light on the imaging surface of the imaging element 82.

撮像素子８２は、ＸＹアドレス制御による撮像素子であり、この実施例においては、例えばＣＭＯＳ固体撮像素子により形成される。撮像素子８２は、この撮像素子８２を構成する半導体チップと、周辺回路の集積回路による半導体チップとが、スタック２ｉｎ１パッケージ技術により積層されて一体に集積回路化され、これにより撮像素子８２の集積回路８９により実装される。これにより撮像素子８２は、高い自由度で各画素の撮像結果を周辺回路に出力できるように構成され、また撮像装置８１は、全体形状が小型化され、さらには構成が簡略化される。なおこの実施例においては、この周辺回路に、アナログディジタル変換回路（Ａ／Ｄ）８５、画像メモリ８６、アドレス制御回路８７、符号化回路８８が適用される。   The image sensor 82 is an image sensor based on XY address control. In this embodiment, the image sensor 82 is formed by a CMOS solid-state image sensor, for example. The image pickup element 82 includes a semiconductor chip that constitutes the image pickup element 82 and a semiconductor chip that is an integrated circuit of peripheral circuits stacked by a stack 2 in 1 package technique to be integrated into an integrated circuit. 89. As a result, the image pickup element 82 is configured to output the image pickup result of each pixel to the peripheral circuit with a high degree of freedom, and the entire shape of the image pickup apparatus 81 is reduced and the configuration is further simplified. In this embodiment, an analog / digital conversion circuit (A / D) 85, an image memory 86, an address control circuit 87, and an encoding circuit 88 are applied to the peripheral circuits.

撮像素子８２は、アドレス制御回路８７によるアドレス制御により、各画素の撮像結果を出力し、アドレス制御回路８７は、この撮像素子８２による撮像結果の出力が所定の順序となるように、撮像素子８２の読み出しアドレスを生成する。ここでアドレス制御回路８７は、この所定順序が、マクロブロックを単位として撮像結果を出力するようにして、画面の周辺から中央に向かってらせん状に軌跡を描くようにマクロブロックが走査し、さらに走査の開始端がラスタ走査の開始端であって、この走査の方向が時計回りとなるように、撮像素子８２の読み出しアドレスを生成する。なおここでこの実施例において、マクロブロックは、イントラ予測、インター予測における基本の処理単位であり、イントラ１６×１６予測モードにおける１６×１６画素のブロックである。   The image sensor 82 outputs the imaging result of each pixel by address control by the address control circuit 87, and the address control circuit 87 outputs the image sensor result by the image sensor 82 in a predetermined order. The read address is generated. Here, the address control circuit 87 scans the macro blocks so as to draw a trajectory spirally from the periphery of the screen toward the center so that the predetermined order outputs the imaging result in units of macro blocks. The read address of the image sensor 82 is generated so that the start end of the scan is the start end of the raster scan and the direction of the scan is clockwise. In this embodiment, the macro block is a basic processing unit in intra prediction and inter prediction, and is a block of 16 × 16 pixels in the intra 16 × 16 prediction mode.

すなわち図２に示すように、１フレームがＭ×Ｎ個のマクロブロックＭＢにより形成されるとして、このマクロブロックＭＢを（ｋ，ｌ）（０＜ｋ＜Ｍ−１，０＜ｌ＜Ｎ−１）により表すようにして、アドレス制御回路８７は、ラスタ走査の開始端から水平方向に矢印Ａにより示すように、順次（０，０）、（１，０）、（２，０）、……の順序により各マクロブロックＭＢの撮像結果を出力するように撮像素子８２の読み出しアドレスを生成する。また水平方向の右端のマクロブロック（Ｍ−１，０）の撮像結果を出力すると、矢印Ｂにより示すように、走査方向を画面下方向に切り換え、順次（Ｍ−１，０）、（Ｍ−１，１）、（Ｍ−１，２）、……の順序により各マクロブロックＭＢの撮像結果を出力するように撮像素子８２の読み出しアドレスを生成する。また垂直方向の下端のマクロブロック（Ｍ−１，Ｎ−１）の撮像結果を出力すると、矢印Ｃにより示すように、走査方向を左方向に切り換え、順次（Ｍ−１，Ｎ−１）、（Ｍ−２，Ｎ−１）、（Ｍ−３，Ｎ−１）、……の順序により各マクロブロックＭＢの撮像結果を出力するように、また左端のマクロブロック（０，Ｍ−１）となると、矢印Ｄにより示すように走査方向を上方向に切り換えて順次マクロブロックの撮像結果を出力するように、撮像素子８２の読み出しアドレスを生成する。   That is, as shown in FIG. 2, assuming that one frame is formed by M × N macroblocks MB, this macroblock MB is defined as (k, l) (0 <k <M−1, 0 <l <N− As indicated by 1), the address control circuit 87 sequentially (0, 0), (1, 0), (2, 0),... As indicated by an arrow A in the horizontal direction from the start end of raster scanning. The readout address of the image sensor 82 is generated so that the imaging result of each macro block MB is output in the order of. When the imaging result of the rightmost macroblock (M-1, 0) in the horizontal direction is output, as indicated by an arrow B, the scanning direction is switched to the lower direction of the screen and sequentially (M-1, 0), (M- The readout address of the image sensor 82 is generated so that the imaging result of each macro block MB is output in the order of (1, 1), (M-1, 2),. When the imaging result of the macroblock (M−1, N−1) at the lower end in the vertical direction is output, as indicated by an arrow C, the scanning direction is switched to the left direction, and (M−1, N−1) sequentially. The imaging result of each macro block MB is output in the order of (M−2, N−1), (M−3, N−1),... And the leftmost macro block (0, M−1). Then, as shown by the arrow D, the readout address of the image sensor 82 is generated so that the scanning direction is switched upward and the macroblock imaging results are sequentially output.

また各マクロブロックにおいては、数字により出力の順序を表して図３に示すように、各マクロブロックを分割する小ブロックを単位にして、この小ブロックが、マクロブロックの周辺から中央に向かって時計回りによるらせん状の軌跡を描くように、撮像素子８２の読み出しアドレスを生成する。なおこの場合も走査の開始端は、ラスタ走査の開始端である。なおここでこの小ブロックは、イントラ４×４予測モードにおける４×４画素のブロックである。またこの小ブロックの中にあっては、ラスタ走査の順序により各画素の撮像結果を出力するように、撮像素子８２の読み出しアドレスを生成する。   Also, in each macroblock, the order of output is shown by numbers, and as shown in FIG. 3, this small block is clocked from the periphery to the center of the macroblock in units of small blocks that divide each macroblock. A read address of the image sensor 82 is generated so as to draw a spiral locus by rotation. In this case as well, the starting end of scanning is the starting end of raster scanning. Here, this small block is a 4 × 4 pixel block in the intra 4 × 4 prediction mode. In this small block, the readout address of the image sensor 82 is generated so that the imaging result of each pixel is output in the order of raster scanning.

アナログディジタル変換回路８５は、このようにして所定の順序により撮像素子８２から出力される撮像結果をアナログディジタル変換処理して画像データを出力する。   The analog / digital conversion circuit 85 performs an analog / digital conversion process on the imaging result output from the imaging element 82 in a predetermined order in this manner, and outputs image data.

画像メモリ８６は、小容量のメモリ回路により構成され、このアナログディジタル変換回路８５から出力される画像データを一時保持し、符号化回路８８の処理に対応するタイミングにより順次出力する。   The image memory 86 is constituted by a small-capacity memory circuit, temporarily holds the image data output from the analog-digital conversion circuit 85, and sequentially outputs it at a timing corresponding to the processing of the encoding circuit 88.

符号化回路８８は、周辺から中央に向かうらせん状のマクロブロックの走査により順次入力される画像データを順次符号化処理する点、この処理に関してイントラ予測回路９０におけるイントラ４×４予測モード、イントラ１６×１６予測モードの処理が異なる点を除いて、図１２について上述した符号化装置１と同一に構成される。これにより符号化回路８８は、順次入力される画像データによるピクチャを符号化処理の順序により並べ替えた後、イントラ予測、インター予測により差分データを生成し、この差分データを直交変換処理、量子化処理、可変長符号化処理して符号化データＤ５を出力し、これにより撮像素子８２による撮像結果を周辺から中央に向かうらせん状の順序により順次データ圧縮して記録系８３に出力する。   The encoding circuit 88 sequentially encodes image data sequentially input by scanning a spiral macroblock from the periphery toward the center. In this process, the intra 4 × 4 prediction mode and intra 16 in the intra prediction circuit 90 are processed. The configuration is the same as that of the encoding device 1 described above with reference to FIG. 12 except that the processing in the × 16 prediction mode is different. As a result, the encoding circuit 88 rearranges the pictures based on the sequentially input image data according to the order of the encoding processing, and then generates difference data by intra prediction and inter prediction. The difference data is orthogonally transformed and quantized. The encoded data D5 is output after the processing and variable length encoding processing, whereby the image pickup result by the image pickup device 82 is sequentially compressed in the spiral order from the periphery to the center and output to the recording system 83.

イントラ予測回路９０は、イントラ１６×１６予測モード、イントラ４×４予測モードとでそれぞれ上述した複数の予測モードによる予測値を生成して最適な予測モードを選択し、イントラ符号化する場合、この最適な予測モードによる予測値を出力する。この一連の処理に係るイントラ４×４予測モードにおいて、イントラ予測回路９０は、図４に示すように、処理対象ブロックＣに対して、水平方向の左右に隣接するブロックＡ及びＡ’、垂直方向の上下に隣接するブロックＢ及びＢ’のうち、左側及び上側のブロックＡ及びＢが共に有意の場合、従来のＡＶＣの場合と同様に、図１４に示すように、処理対象ブロックＣの左側及び上側に係る隣接画素Ａ〜Ｍを予測画素に設定し、この予測画素により各モードの予測値を生成する。   When the intra prediction circuit 90 generates prediction values in the plurality of prediction modes described above for the intra 16 × 16 prediction mode and the intra 4 × 4 prediction mode, selects an optimal prediction mode, and performs intra coding, Outputs the predicted value in the optimal prediction mode. In the intra 4 × 4 prediction mode related to this series of processing, as shown in FIG. 4, the intra prediction circuit 90 has blocks A and A ′ adjacent to the left and right in the horizontal direction with respect to the processing target block C, and the vertical direction. If the left and upper blocks A and B of the blocks B and B ′ adjacent to the upper and lower sides of the block are significant, as in the case of the conventional AVC, as shown in FIG. The adjacent pixels A to M on the upper side are set as predicted pixels, and predicted values for each mode are generated by the predicted pixels.

また左側及び右側のブロックＡ及びＡ’が共に有意でない場合であって、かつ上側のブロックＢが有意の場合、又は上側及び下側のブロックＢ及びＢ’が共に有意でない場合であって、かつ左側のブロックＡが有意の場合、従来のＡＶＣと同様に予測画素を設定して予測値を計算する。また隣接ブロックＡ〜Ｂ’の全てが有意情報でない場合にあっても、従来のＡＶＣと同様に予測画素を設定して予測値を計算する。   And if both the left and right blocks A and A ′ are not significant and the upper block B is significant, or the upper and lower blocks B and B ′ are both not significant, and When the left block A is significant, a prediction pixel is set and a prediction value is calculated in the same manner as in the conventional AVC. Even when all of the adjacent blocks A to B ′ are not significant information, a prediction pixel is set and a prediction value is calculated similarly to the conventional AVC.

これによりイントラ予測回路９０は、図２において矢印Ａにより示す左端から右端側に向かうマクロブロックの走査、図２において矢印Ｂ、Ｃ及びＤにより示す上端から下端、右端から左端側及び下端から上端に向かうマクロブロックの最も外周側の走査において、図３において数字０〜８又は０〜９のブロックと数字１１〜１３のブロックについては、従来のＡＶＣによる場合と同様に予測画素を設定して予測値を生成する。またこれら以外のマクロブロックの走査で対応するブロックについても、同様に予測画素を設定して予測値を生成する。   Thereby, the intra prediction circuit 90 scans the macroblock from the left end to the right end side indicated by arrow A in FIG. 2, from the upper end to the lower end, and from right end to the left end side and from the lower end to the upper end indicated by arrows B, C, and D in FIG. In the scanning of the outermost peripheral side of the macroblock to go, the prediction pixels are set for the blocks 0 to 8 or 0 to 9 and the blocks 11 to 13 in FIG. 3 by setting prediction pixels in the same manner as in the conventional AVC. Is generated. In addition, prediction values are generated by similarly setting prediction pixels for blocks corresponding to scanning of macroblocks other than these.

このようにしてＡＶＣに係る処理対象ブロックＣの左側及び上側に係る隣接画素Ａ〜Ｍを予測画素に設定することを基本にして、イントラ予測回路９０は、左側のブロックＡが有意ではなく、右側のブロックＡ’が有意の場合、処理対象ブロックＣの左側に係る隣接画素に代えて、処理対象ブロックＣの左側に係る隣接画素を予測画素に設定する。また上側のブロックＢが有意ではなく、下側のブロックＢ’が有意の場合、処理対象ブロックＣの上側に係る隣接画素に代えて、処理対象ブロックＣの下側に係る隣接画素を予測画素に設定する。   In this way, on the basis of setting the adjacent pixels A to M on the left side and the upper side of the processing target block C related to AVC as prediction pixels, the intra prediction circuit 90 determines that the left block A is not significant and the right side If the block A ′ is significant, the adjacent pixel on the left side of the processing target block C is set as the prediction pixel instead of the adjacent pixel on the left side of the processing target block C. When the upper block B is not significant and the lower block B ′ is significant, instead of the adjacent pixel on the upper side of the processing target block C, the adjacent pixel on the lower side of the processing target block C is used as a predicted pixel. Set.

これによりイントラ予測回路９０は、図２において矢印Ｂにより示す上端から下端に向かうマクロブロックの内周側の走査における図３の数字３〜６により示すブロック等においては、処理対象ブロックＣの右側及び上側に係る隣接画素を予測画素に設定して予測値を生成する。   Thereby, the intra prediction circuit 90 performs the right side of the processing target block C and the block indicated by the numerals 3 to 6 in FIG. 3 in the scanning on the inner peripheral side of the macroblock from the upper end to the lower end indicated by the arrow B in FIG. A prediction value is generated by setting an adjacent pixel on the upper side as a prediction pixel.

また同様に、図２において矢印Ｄにより示す下端から上端側に向かうマクロブロックの内周側の走査における図３の数字９〜１１により示すブロック等においては、処理対象ブロックＣの左側及び下側に係る隣接画素を予測画素に設定して予測値を生成する。   Similarly, in the blocks indicated by numerals 9 to 11 in FIG. 3 in the scanning of the inner circumference side of the macroblock from the lower end toward the upper end side indicated by the arrow D in FIG. A prediction value is generated by setting the adjacent pixel as a prediction pixel.

また同様に、図２において矢印Ｃにより示す右端から左端側に向かうマクロブロックの内周側の走査における図３の数字６〜９により示すブロック等においては、処理対象ブロックＣの右側及び下側に係る隣接画素を予測画素に設定して予測値を生成する。しかして図２のマクロブロックの走査に係る図３の各ブロックにおいては、このような４つの場合の何れかに場合分けされて予測画素が設定されることになる。これらによりこの実施例においては、マクロブロックにおける小ブロックの走査に応じて、小ブロックに対する参照画素の設定を切り換える。   Similarly, in the blocks indicated by numerals 6 to 9 in FIG. 3 in the scanning of the inner peripheral side of the macroblock from the right end to the left end indicated by the arrow C in FIG. A prediction value is generated by setting the adjacent pixel as a prediction pixel. Therefore, in each block of FIG. 3 relating to the scanning of the macroblock of FIG. 2, a prediction pixel is set in any of these four cases. Thus, in this embodiment, the setting of the reference pixel for the small block is switched in accordance with the scanning of the small block in the macro block.

イントラ予測回路９０は、これらのうち処理対象ブロックＣの右側及び上側に係る隣接画素を予測画素に設定して予測値を生成する場合、図１０との対比により図５に示すように、ＡＶＣによる処理対象ブロックＣの左側及び上側に係る隣接画素を予測画素に設定して予測値を生成する場合に対して、処理対象画素、隣接画素の配置を左右で逆転させた関係により（１）式〜（９）式の処理を実行して各モードの予測値を生成する。   When the intra prediction circuit 90 generates a prediction value by setting the adjacent pixels on the right side and the upper side of the processing target block C among these as prediction pixels, as shown in FIG. 5 in comparison with FIG. In the case where the prediction pixels are generated by setting the adjacent pixels on the left and upper sides of the processing target block C as prediction pixels, the expression (1) to The process of Formula (9) is executed to generate a predicted value for each mode.

また処理対象ブロックＣの左側及び下側に係る隣接画素を予測画素に設定して予測値を生成する場合、図１０との対比により図６に示すように、ＡＶＣによる処理対象ブロックＣの左側及び上側に係る隣接画素を予測画素に設定して予測値を生成する場合に対して、処理対象画素、隣接画素の配置を上下で逆転させた関係により（１）式〜（９）式の処理を実行して各モードの予測値を生成する。   Further, when the prediction value is generated by setting the adjacent pixels on the left side and the lower side of the processing target block C to the prediction pixels, as shown in FIG. 6 by comparison with FIG. 10, the left side of the processing target block C by AVC and In the case where the prediction value is generated by setting the adjacent pixel on the upper side as the prediction pixel, the processing of Expressions (1) to (9) is performed according to the relationship in which the arrangement of the processing target pixel and the adjacent pixel is reversed up and down. Run to generate predicted values for each mode.

また処理対象ブロックＣの右側及び下側に係る隣接画素を予測画素に設定して予測値を生成する場合、図１０との対比により図７に示すように、ＡＶＣによる処理対象ブロックＣの左側及び上側に係る隣接画素を予測画素に設定して予測値を生成する場合に対して、処理対象画素、隣接画素の配置を上下及び左右で逆転させた関係により（１）式〜（９）式の処理を実行して各モードを予測値を生成する。これらにより図１５について上述した各モードにおける予測方向も、これらに対応して左右、上下、上下及び左右で逆転した関係により予測モードを選択して予測値を生成する。これによりこの実施例においては、処理対象の小ブロックに対して上下左右に隣接する小ブロックが参照画像に存在するか否かの判定により予測画素の設定を切り換えるようにして、この予測画素の設定の切り換えに対応して、各予測画素による予測値の小ブロックにおける対象画素を切り換える。   Further, when the prediction value is generated by setting the adjacent pixels on the right side and the lower side of the processing target block C as prediction pixels, as shown in FIG. 7 by comparison with FIG. 10, the left side of the processing target block C by AVC and In the case where the predicted value is generated by setting the adjacent pixel on the upper side as the predicted pixel, the relationship between the processing target pixel and the adjacent pixel is reversed up and down and left and right. A process is executed to generate a predicted value for each mode. As a result, the prediction direction in each mode described above with reference to FIG. 15 is also selected to generate a prediction value by selecting a prediction mode according to the relationship reversed to the left, right, up, down, up, down, and left and right. Accordingly, in this embodiment, the prediction pixel setting is switched by determining whether or not a small block adjacent to the processing target small block vertically and horizontally is present in the reference image. In response to the switching, the target pixel in the small block of the prediction value by each prediction pixel is switched.

またイントラ予測回路９０は、このような予測画素の設定に対応するように、最も可能性の高い予測モードMost Probable Modeの生成に供する処理済みブロックを切り換えて最も可能性の高い予測モードMost Probable Modeを計算し、この計算結果により予測モードの伝送の有無を示すフラグprev intra 4x4 pred mode flag[luma 4x4 BlkIdx]又は予測モード rem intra 4x4 pred mode[luma 4x4 BlkIdx] を伝送対象に送出する。   In addition, the intra prediction circuit 90 switches the processed block for generation of the most probable prediction mode Most Probable Mode so as to correspond to the setting of such a prediction pixel, and the most probable prediction mode Most Probable Mode. And a flag prev intra 4x4 pred mode flag [luma 4x4 BlkIdx] or a prediction mode rem intra 4x4 pred mode [luma 4x4 BlkIdx] indicating the presence or absence of transmission in the prediction mode is sent to the transmission target.

これに対してイントラ１６×１６予測モードにおいても、イントラ予測回路９０は、同様に、処理対象のブロックに対して予測画素を切り換えて予測値を生成する。すなわち図４について上述したと同様の判断を上下、左右に隣接するマクロブロックとの間で実行して、図２において矢印Ａにより示す左端から右端へのマクロブロックの走査、さらには矢印Ｂにより示す上端から下端への最外周のマクロブロックの走査においては、図１４について上述した従来のＡＶＣの場合と同様に左側及び上側に隣接する画素を予測画素に設定して予測値を生成する。   On the other hand, also in the intra 16 × 16 prediction mode, the intra prediction circuit 90 similarly generates a prediction value by switching the prediction pixel for the block to be processed. That is, the same determination as described above with reference to FIG. 4 is performed between the macroblocks adjacent to each other vertically and horizontally, and the macroblock is scanned from the left end to the right end indicated by the arrow A in FIG. In the scanning of the outermost macroblock from the upper end to the lower end, similarly to the case of the conventional AVC described above with reference to FIG. 14, the pixels adjacent to the left side and the upper side are set as the prediction pixels to generate the prediction values.

また図２において矢印Ｂにより示す上端から下端への内周側のマクロブロックの走査においては、図８に示すように、図１４について上述した従来のＡＶＣの場合の左側に隣接する画素に代えて右側に隣接する画素を予測画素に設定して予測値を生成する。   Further, in the scanning of the macroblock on the inner peripheral side from the upper end to the lower end indicated by the arrow B in FIG. 2, as shown in FIG. 8, instead of the adjacent pixel on the left side in the case of the conventional AVC described above with reference to FIG. A prediction value is generated by setting a pixel adjacent to the right side as a prediction pixel.

また図２において矢印Ｃにより示す右端から左端へのマクロブロックの走査においては、図９に示すように、図１４について上述した従来のＡＶＣの場合の上側及び左側に隣接する画素に代えて下側及び右側に隣接する画素を予測画素に設定して予測値を生成する。   In the scanning of the macroblock from the right end to the left end indicated by the arrow C in FIG. 2, as shown in FIG. 9, the lower side instead of the adjacent pixels on the upper side and the left side in the case of the conventional AVC described above with reference to FIG. And a pixel adjacent to the right side is set as a predicted pixel to generate a predicted value.

また図２において矢印Ｄにより示す下端から上端への内周側のマクロブロックの走査においては、図１０に示すように、図１４について上述した従来のＡＶＣの場合の上側に隣接する画素に代えて下側に隣接する画素を予測画素に設定して予測値を生成する。   Further, in the scanning of the macro block on the inner peripheral side from the lower end to the upper end indicated by the arrow D in FIG. 2, as shown in FIG. 10, instead of the adjacent pixel on the upper side in the case of the conventional AVC described above with reference to FIG. A predicted value is generated by setting a pixel adjacent to the lower side as a predicted pixel.

またこれらの場合に、図１４、図５〜図７について上述したイントラ４×４予測モードの場合と同様に、このような予測画素の設定に対応するように、予測画素と予測対象との関係を左右、上下、上下及び左右で逆転した関係により（１０）式〜（１５）式の処理を実行して予測モードを選択して予測値を生成する。   Further, in these cases, as in the case of the intra 4 × 4 prediction mode described above with reference to FIGS. 14 and 5 to 7, the relationship between the prediction pixel and the prediction target so as to correspond to such a setting of the prediction pixel. The processing of formulas (10) to (15) is executed according to the relationship in which left and right, up and down, up and down, and left and right are reversed, and a prediction mode is selected to generate a predicted value.

これらによりこの実施例では、マクロブロック単位で、画像の周辺から中央に向かうらせん状の走査の順序により画像データを処理するようにして、処理対象のマクロブロックに対して上下左右に隣接するマクロブロックの参照画像における有無の判定による予測画素の設定の切り換え、これによりらせん状の走査に応じて、マクロブロックに対する予測画素の設定を切り換える。またこの予測画素の設定の切り換えに対応して、予測画素による予測値のマクロブロックにおける対象画素を切り換える。   Accordingly, in this embodiment, image data is processed in the order of spiral scanning from the periphery to the center of the image in units of macroblocks, and macroblocks adjacent to the processing target macroblock vertically and horizontally The setting of the prediction pixel for the macroblock is switched in accordance with the switching of the prediction pixel by the presence / absence determination in the reference image. Corresponding to the switching of the prediction pixel setting, the target pixel in the macro block of the prediction value by the prediction pixel is switched.

撮像装置８１は、このようにして生成した符号化データＤ５を記録系８３により記録する。また図示しない再生系により再生して再生データを得、この再生データを復号化回路により処理して画像データを復号する。この実施例に係る復号化回路は、符号化回路８８に対応したらせん状の順序による符号化データの処理に係る構成を除いて、図１３について上述した復号化装置と同一に構成されることにより、以下の説明においては、この図１３に示す構成を用いて、復号化装置２０との相違点について説明し、重複した説明は省略する。   The imaging device 81 records the encoded data D5 generated in this way by the recording system 83. Further, reproduction data is obtained by reproduction by a reproduction system (not shown), and the reproduction data is processed by a decoding circuit to decode image data. The decoding circuit according to this embodiment is configured in the same manner as the decoding apparatus described above with reference to FIG. 13 except for the configuration related to the processing of encoded data in a spiral order corresponding to the encoding circuit 88. In the following description, differences from the decoding device 20 will be described using the configuration shown in FIG. 13, and redundant description will be omitted.

すなわちこの復号化回路は、周辺から中央に向かうらせん状のマクロブロック、小ブロックによる走査の順序により符号化データＤ５が入力され、順次、この符号化データＤ５を処理して画像データを復号する。この処理において、イントラ予測回路２３は、イントラ予測の符号化データを復号する場合、上述の符号化回路８８のイントラ予測回路９０と同一に予測画素を設定して、再生データから得られる予測モードにより予測値を生成して出力する。すなわち処理対象のマクロブロック、小ブロックの上下左右に隣接するマクロブロック、小ブロックについて、フレームメモリ３１に保持された対応する参照画像に存在するか否か判定して予測画素を設定する。またフレームメモリ３１は、このらせん状の走査に対応して書き込みアドレス及び又は読み出しアドレスの設定により、復号した画像データを参照画像として記録する。   That is, the decoding circuit receives the encoded data D5 in the order of scanning by the spiral macroblock and the small block from the periphery toward the center, and sequentially processes the encoded data D5 to decode the image data. In this process, the intra prediction circuit 23 sets the prediction pixel in the same manner as the intra prediction circuit 90 of the above-described encoding circuit 88 and decodes the encoded data for intra prediction according to the prediction mode obtained from the reproduction data. Generate and output predicted values. That is, the prediction pixel is set by determining whether or not the macro block to be processed, the macro block adjacent to the top, bottom, left and right of the small block, and the small block exist in the corresponding reference image held in the frame memory 31. The frame memory 31 records the decoded image data as a reference image by setting a write address and / or a read address corresponding to this spiral scan.

（２）実施例の動作
以上の構成において、この撮像装置８１（図１）において、撮像素子８２で得られる撮像結果は、アナログディジタル変換回路８５によりアナログディジタル変換処理されて画像データに変換され、この画像データが画像メモリ８６を介して符号化回路８８に入力される。画像データは、この符号化回路８８において、イントラ予測、インター予測による予測値が生成され、この予測値との差分データＤ２が直交変換処理、量子化処理、可変長符号化処理による処理回路により処理されて記録系８３により記録される。またこの一連の処理結果である符号化データＤ５においては、画像データに復号されてフレームメモリ１６に記録されて参照画像として保持され、イントラ予測、インター予測における予測値の生成に供される。 (2) Operation of Embodiment In the above configuration, in this imaging apparatus 81 (FIG. 1), the imaging result obtained by the imaging device 82 is converted into image data by analog-digital conversion processing by the analog-digital conversion circuit 85, This image data is input to the encoding circuit 88 via the image memory 86. For the image data, a prediction value by intra prediction and inter prediction is generated in the encoding circuit 88, and difference data D2 from the prediction value is processed by a processing circuit by orthogonal transform processing, quantization processing, and variable length encoding processing. And recorded by the recording system 83. In addition, the encoded data D5 that is the result of this series of processing is decoded into image data, recorded in the frame memory 16 and held as a reference image, and is used for generation of prediction values in intra prediction and inter prediction.

またこれらの処理のうちイントラ予測において、画像データは、１６×１６画素によるマクロブロック単位で、フレームメモリ１６に保持された参照画像により予測画素が設定され、この予測画素により各モードの予測値が生成される。またマクロブロックを細分割した４×４画素による小ブロック単位で、フレームメモリ１６に保持された参照画像により予測画素が設定され、この予測画素により各モードの予測値が生成される。画像データは、これらマクロブロック、小ブロックによる予測値により、予測誤差が判定されて最も符号化に適した予測モードが選択され、イントラ予測による符号化処理する場合には、この予測モードによる予測値が減算器４に出力されて差分データが生成される。   Among these processes, in intra prediction, image data is set in units of macroblocks of 16 × 16 pixels, and prediction pixels are set by reference images held in the frame memory 16, and prediction values of each mode are set by the prediction pixels. Generated. In addition, a prediction pixel is set by a reference image held in the frame memory 16 in small block units of 4 × 4 pixels obtained by subdividing a macroblock, and a prediction value of each mode is generated by the prediction pixel. For image data, the prediction error is determined based on the prediction values of these macroblocks and small blocks, and the prediction mode most suitable for encoding is selected. When encoding processing by intra prediction is performed, the prediction value of this prediction mode is used. Is output to the subtracter 4 to generate difference data.

これにより画像データは、処理を完了してフレームメモリ１６に格納された参照画像との間で相関が高い場合、予測誤差が小さくなり、画質劣化を有効に回避して効率良く符号化処理することが可能になる。   As a result, when the correlation between the image data and the reference image stored in the frame memory 16 is high after completion of the processing, the prediction error is reduced, and the image data is efficiently encoded while avoiding image quality degradation effectively. Is possible.

この実施例では、アドレス制御回路８７による撮像素子８２のアドレス制御により、マクロブロック単位で、画像の周辺から中央に向かうらせん状の走査の順序により撮像素子８２から撮像結果が出力される（図２）。また各マクロブロックにおいては、小ブロック単位で、マクロブロックの周辺から中央に向かうらせん状の走査の順序により撮像素子８２から撮像結果が出力される（図３）。   In this embodiment, by the address control of the image sensor 82 by the address control circuit 87, the imaging results are output from the image sensor 82 in the order of spiral scanning from the periphery to the center of the image in units of macroblocks (FIG. 2). ). In each macroblock, the imaging result is output from the imaging element 82 in the small block unit in the order of helical scanning from the periphery to the center of the macroblock (FIG. 3).

またこのようにしてらせん状に走査して、このらせん状の走査に応じて、フレームメモリ１６に格納された参照画像により予測画素を設定可能に、マクロブロック、小ブロックに対する予測画素の設定が切り換えられる。具体的には、処理対象のマクロブロック、小ブロックに対して上下左右に隣接するマクロブロック、小ブロックの参照画像における有無の判定により（図４）、予測画素の設定が切り換えられる（図５〜図７、図１４、図８〜図１０、図１８）。   In addition, scanning in a spiral manner in this way, and prediction pixels can be set by reference images stored in the frame memory 16 in accordance with the spiral scanning, and the setting of prediction pixels for macro blocks and small blocks is switched. It is done. Specifically, the setting of the prediction pixel is switched by determining whether or not the macroblock to be processed, the macroblock adjacent to the top, bottom, left, and right of the small block and the reference image of the small block are present (FIG. 4) (FIG. 5). 7, FIG. 14, FIG. 8 to FIG. 10, FIG. 18).

またこのように予測画素の切り換えに対応するように、予測画素とマクロブロック、小ブロックの各画素との関係が切り換えられて、予測画素の設定の切り換えに対応して、この予測画素による予測値のマクロブロック、小ブロックにおける対象画素が切り換えられ、らせん状の走査順序により入力される各画像データとの間で差分データが生成される。   In addition, the relationship between the prediction pixel and each of the macro block and small block pixels is switched so as to correspond to the switching of the prediction pixel in this way, and the prediction value by this prediction pixel corresponding to the switching of the setting of the prediction pixel The target pixels in the macro block and the small block are switched, and difference data is generated between the image data input in the helical scan order.

これによりマクロブロックにおける周辺から中央に向かうらせん状の走査による画像データは、相対的に重要度の低い周辺から重要度の高い中央に向かう方向に予測値が生成されることになり、その分、予測値の精度が向上されることになる。これによりこの実施例においては、従来のライン走査の順序による処理に比してイントラ符号化処理の効率を向上することができる。   As a result, for the image data obtained by the spiral scan from the periphery to the center in the macroblock, a predicted value is generated in the direction from the relatively less important periphery to the more important center. The accuracy of the predicted value is improved. As a result, in this embodiment, the efficiency of the intra coding process can be improved as compared with the process based on the conventional line scanning order.

またこのようにしてマクロブロックにより周辺から中央に向かうらせん状の走査により画像データを処理するようにして、マクロブロックを細分割した小ブロックにおいても周辺から中央に向かうらせん状の走査により撮像結果を処理するようにしたことにより、この小ブロックを単位にして画像全体を見た場合にも、相対的に重要度の低い周辺から重要度の高い中央に向かう方向に予測値が生成されることになり、その分、予測値の精度が向上されることになる。これによってもこの実施例においては、従来のライン走査の順序による処理に比してイントラ符号化処理の効率を向上することができる。   In addition, in this way, image data is processed by spiral scanning from the periphery to the center by the macroblock, and even in a small block obtained by subdividing the macroblock, the imaging result is obtained by spiral scanning from the periphery to the center. As a result of processing, even when the entire image is viewed in units of small blocks, a predicted value is generated in a direction from a relatively less important periphery to a more important center. Therefore, the accuracy of the predicted value is improved accordingly. Also in this case, in this embodiment, the efficiency of the intra coding process can be improved as compared with the process by the conventional line scanning order.

またこのような予測画素の設定の切り換えを、処理対象のマクロブロック、小ブロックに対して上下左右に隣接するマクロブロック、小ブロックの参照画像における有無の判定により実行することにより、従来のイントラ予測方法であるＡＶＣの手法を基準にして、このＡＶＣに係る処理対象のマクロブロック、小ブロックと、参照画像に係る隣接するマクロブロック、小ブロックとの関係を基本にして、処理対象のマクロブロック、小ブロックとフレームメモリ１６に保持された参照画像との関係を置き換えるだけで、ＡＶＣの手法により各予測モードの予測値を求めることができる。これによりこの実施例においては、従来構成を有効に利用して簡易な処理により予測値が生成される。   In addition, the conventional intra prediction is performed by performing such switching of the prediction pixel by determining whether or not a macroblock to be processed, a macroblock adjacent vertically and horizontally to a small block, and a reference image of the small block are present. Based on the method of AVC, which is a method, based on the relationship between the macroblocks and small blocks to be processed according to the AVC and the adjacent macroblocks and small blocks according to the reference image, By simply replacing the relationship between the small block and the reference image held in the frame memory 16, the prediction value of each prediction mode can be obtained by the AVC method. Thereby, in this embodiment, the predicted value is generated by a simple process by effectively using the conventional configuration.

しかして符号化回路８８では、予測画素の設定に供した小ブロックから求められる最も可能性の高い予測モードMost Probable Modeとの比較により、このようにして検出された予測モードが、予測モードの伝送の有無を示すフラグprev intra 4x4 pred mode flag[luma 4x4 BlkIdx]又は予測モード rem intra 4x4 pred mode[luma 4x4 BlkIdx] により伝送対象に通知される。またマクロブロックによるイントラ予測にあっても、予測モードが伝送対象に通知される。   Therefore, in the encoding circuit 88, the prediction mode detected in this way is compared with the most probable prediction mode Most Probable Mode obtained from the small block used for setting the prediction pixel, and the prediction mode thus detected is transmitted as the prediction mode. The transmission target is notified by the flag prev intra 4x4 pred mode flag [luma 4x4 BlkIdx] or the prediction mode rem intra 4x4 pred mode [luma 4x4 BlkIdx]. Even in intra prediction using macroblocks, the prediction mode is notified to the transmission target.

しかしてＣＭＯＳ固体撮像素子による撮像素子８２においては、ＸＹアドレス制御であることにより、種々に撮像結果を出力することができる特徴がある。これによりこの実施例においては、このＸＹアドレス制御による撮像素子８２の特徴を有効に利用して、従来に比してイントラ予測による符号化効率を向上することができる。   Therefore, the image pickup element 82 using the CMOS solid-state image pickup element has a feature that various image pickup results can be output by the XY address control. As a result, in this embodiment, it is possible to effectively use the characteristics of the image sensor 82 based on the XY address control, and to improve the encoding efficiency based on the intra prediction as compared with the prior art.

またこの実施例においては、この撮像素子８２が、周辺回路であるアナログディジタル変換回路８５、符号化回路８８と一体に集積回路化されていることにより、全体構成を簡略化することができる。   In this embodiment, the image pickup element 82 is integrated with the analog-digital conversion circuit 85 and the encoding circuit 88, which are peripheral circuits, so that the overall configuration can be simplified.

このような符号化側の構成に対応して、この実施例においては、復号化回路において、再生系から得られる再生データより差分データが復号され、イントラ予測、インター予測による予測値と加算されて元の画像データが復号され、この元の画像データが参照画像としてイントラ予測、インター予測における予測値の生成に使用される。   Corresponding to the configuration on the encoding side, in this embodiment, in the decoding circuit, the difference data is decoded from the reproduction data obtained from the reproduction system, and is added to the prediction value by the intra prediction and the inter prediction. The original image data is decoded, and this original image data is used as a reference image for generating a prediction value in intra prediction and inter prediction.

復号化回路においては、イントラ予測において、符号化回路における処理と同一に、マクロブロック、小ブロックのらせん状の走査に応じて、これらマクロブロック、小ブロックに予測画素が設定され、この予測画素と、符号化装置より伝送された予測モードとにより予測値が計算され、この予測値により差分データが画像データに変換される。これによりこの実施例においては、らせん状の走査の順序により符号化された画像データを復号化することができる。   In the decoding circuit, in the intra prediction, in the same manner as the processing in the encoding circuit, prediction pixels are set in these macroblocks and small blocks in accordance with the spiral scanning of the macroblocks and small blocks. The prediction value is calculated based on the prediction mode transmitted from the encoding device, and the difference data is converted into image data based on the prediction value. Thereby, in this embodiment, it is possible to decode the image data encoded in the spiral scanning order.

（３）実施例の効果
以上の構成によれば、マクロブロック単位による中央に向かうらせん状の走査により画像データをイントラ予測することにより、イントラ符号化処理の効率を従来に比して向上することができる。 (3) Effects of the embodiment According to the above configuration, the efficiency of the intra coding process can be improved as compared with the prior art by intra-predicting image data by spiral scanning toward the center in units of macroblocks. Can do.

またこのときマクロブロックに対する予測画素の設定の切り換えが、処理対象のマクロブロックに対して上下左右に隣接するマクロブロックの参照画像における有無の判定による予測画素の設定の切り換えであることにより、従来のイントラ予測方法を基準にした簡易な処理によりイントラ符号化処理の効率を従来に比して向上することができる。   Further, at this time, the switching of the prediction pixel setting for the macroblock is the switching of the prediction pixel setting based on the presence / absence determination in the reference image of the macroblock adjacent to the processing target macroblock vertically and horizontally. The efficiency of the intra coding process can be improved as compared with the prior art by a simple process based on the intra prediction method.

またこのとき予測画素の設定の切り換えに対応して、予測画素による予測値のマクロブロックにおける対象画素を切り換えることによっても、従来のイントラ予測方法を基準にした簡易な処理によりイントラ符号化処理の効率を従来に比して向上することができる。   In addition, at this time, the efficiency of the intra coding process can be reduced by a simple process based on the conventional intra prediction method by switching the target pixel in the macroblock of the prediction value by the prediction pixel in response to the switching of the prediction pixel setting. Can be improved as compared with the prior art.

またこのときマクロブロックを細分割した小ブロック単位で、中央に向かうらせん状の走査の順序により画像データを処理するようにして、この小ブロックでも走査に応じて予測画素の設定を切り換えることにより、さらに一段とイントラ符号化処理の効率を従来に比して向上することができる。   At this time, image data is processed in the order of helical scanning toward the center in small block units obtained by subdividing the macroblock, and even in this small block, by switching the setting of the prediction pixel according to the scanning, Furthermore, the efficiency of the intra coding process can be further improved as compared with the conventional art.

またこの小ブロックにおける予測画素の設定にあっても、上下左右に隣接する小ブロックの参照画像における有無の判定により実行することにより、さらには予測画素の設定の切り換えに対応して、予測画素による予測値の対象画素を切り換えることにより、従来のイントラ予測方法を基準にした簡易な処理によりイントラ符号化処理の効率を従来に比して向上することができる。   Further, even in the setting of the prediction pixel in this small block, by performing the determination by the presence / absence in the reference image of the small block adjacent vertically and horizontally, the prediction pixel can be changed in response to the switching of the prediction pixel setting. By switching the target pixel of the prediction value, the efficiency of the intra coding process can be improved as compared with the conventional technique by a simple process based on the conventional intra prediction method.

またこのような符号化側の構成に対応して、復号化回路においても、マクロブロック単位による中央に向かうらせん状の走査により予測画素を切り換えてイントラ予測することにより、イントラ符号化処理の効率を従来に比して向上した符号化結果を確実に復号化することができる。   Corresponding to the configuration on the encoding side, the decoding circuit also performs intra prediction by switching the prediction pixel by spiral scanning toward the center in units of macroblocks, thereby improving the efficiency of the intra encoding process. It is possible to reliably decode an improved encoding result as compared with the prior art.

この実施例においては、実施例１について上述したマクロブロック、小ブロックにおける時計方向のらせん状の走査とは逆に、反時計方向の走査により、符号化処理を実行する。なおこの実施例においては、この走査の方向が異なる点を除いて、実施例１と同一に構成される。   In this embodiment, the encoding process is executed by scanning in the counterclockwise direction, contrary to the clockwise spiral scanning in the macro block and the small block described in the first embodiment. This embodiment has the same configuration as that of the first embodiment except that the scanning direction is different.

この実施例のようにらせん状の走査を反時計方向に実行するようにしても、実施例１と同様の効果を得ることができる。   Even if the spiral scanning is executed in the counterclockwise direction as in this embodiment, the same effect as in the first embodiment can be obtained.

この実施例では、フレーム毎に、マクロブロックの時計方向及び反時計方向の走査から符号化に適した走査を検出し、この検出した走査により撮像結果を処理する。なおこの実施例においては、この走査の処理に係る構成を除いて、実施例１について上述した構成と同一であることにより、以下においては、適宜、実施例１について上述した構成を流用して説明する。   In this embodiment, for each frame, scanning suitable for encoding is detected from scanning of the macroblock in the clockwise direction and counterclockwise direction, and the imaging result is processed by this detected scanning. In this embodiment, except for the configuration related to the scanning process, the configuration is the same as the configuration described above with respect to the first embodiment. Therefore, the configuration described above with respect to the first embodiment will be appropriately used in the following description. To do.

この実施例においては、撮像素子８２からの撮像結果の出力周波数を３倍に設定し、この３倍に設定して得られる初めの１フレームで時計回りの走査により撮像結果をイントラ予測により符号化処理し、発生符号量を検出する。また続く１フレームで反時計回りによる走査により、撮像結果をイントラ予測により符号化処理し、発生符号量を検出する。またこれら時計回り、反時計回りの走査による発生符号量の比較により、発生符号量の少ない走査方向を判定し、続く１フレームでこの判定した走査方向により符号化処理し、これら３フレームによる連続した符号化処理のうちで、この判定した走査方向による符号化データを選択的に記録系により記録する。   In this embodiment, the output frequency of the imaging result from the imaging device 82 is set to 3 times, and the imaging result is encoded by intra prediction by scanning clockwise in the first frame obtained by setting this 3 times. Process and detect the amount of generated code. Further, by scanning counterclockwise in the subsequent one frame, the imaging result is encoded by intra prediction, and the generated code amount is detected. Further, by comparing the generated code amounts by the clockwise and counterclockwise scans, the scan direction with the small generated code amount is determined, and the encoding process is performed in the determined scan direction in the subsequent one frame, and the three frames are continuously processed. In the encoding process, the encoded data in the determined scanning direction is selectively recorded by the recording system.

またこの選択した走査方向を示す識別コードを符号化データに設定して伝送対象に伝送する。   Further, the identification code indicating the selected scanning direction is set in the encoded data and transmitted to the transmission target.

この実施例のように、らせん状の走査を、時計回りの走査と、反時計回りの走査とからフレーム毎に選択すれば、一段と効率良くイントラ予測により符号化処理することができる。   If spiral scanning is selected for each frame from clockwise scanning and counterclockwise scanning as in this embodiment, encoding processing can be performed more efficiently by intra prediction.

この実施例においては、実施例３に係るマクロブロックに係る時計回り、反時計回りの走査に係る処理に代えて、小ブロックの走査について、時計回り、反時計回りの走査に係る処理を実行する。   In this embodiment, instead of the processing relating to the clockwise and counterclockwise scanning relating to the macroblock according to the embodiment 3, the processing relating to the clockwise and counterclockwise scanning is executed for the scanning of the small block. .

すなわちこの実施例では、例えばマクロブロックを時計回りにより走査させた状態で、最初の１フレームで、小ブロックの時計回りの走査により撮像結果をイントラ予測により符号化処理し、各マクロブロック毎に、発生符号量を検出する。また続く１フレームで、小ブロックの反時計回りによる走査により、撮像結果をイントラ予測により符号化処理し、各マクロブロック毎に、発生符号量を検出する。またこれら時計回り、反時計回りの走査による発生符号量を各マクロブロック毎に比較し、発生符号量の少ない走査方向により各マクロブロックの走査方向を設定する。この実施例では、続く１フレームでこの設定した走査方向により符号化処理し、これら３フレームによる連続した符号化処理のうちで、この３フレーム目による符号化データを選択的に記録系により記録する。   That is, in this embodiment, for example, in a state where the macroblock is scanned clockwise, the imaging result is encoded by intra prediction by clockwise scanning of the small block in the first frame, and for each macroblock, The generated code amount is detected. Further, in the subsequent frame, the imaging result is encoded by intra prediction by scanning the small block counterclockwise, and the generated code amount is detected for each macroblock. Further, the code amounts generated by the clockwise and counterclockwise scans are compared for each macro block, and the scan direction of each macro block is set by the scan direction with the small generated code amount. In this embodiment, encoding is performed in the set scanning direction in the subsequent one frame, and the encoded data in the third frame is selectively recorded by the recording system among the continuous encoding processes in these three frames. .

この実施例のように、小ブロックに係るらせん状の走査を、時計回りの走査と、反時計回りの走査とからマクロブロック毎に選択すれば、一段と効率良くイントラ予測により符号化処理することができる。   As in this embodiment, if the helical scan for the small block is selected for each macroblock from the clockwise scan and the counterclockwise scan, the encoding process can be performed more efficiently by intra prediction. it can.

なおこのような小ブロックに係る走査方向の選択処理を、実施例３に係るマクロブロックに係る走査方向の選択処理と組み合わせるようにしてもよく、このようにすれば、一段と符号化効率を向上することができる。   Note that the selection process in the scanning direction related to the small block may be combined with the selection process in the scanning direction related to the macroblock according to the third embodiment, which further improves the encoding efficiency. be able to.

この実施例においては、マクロブロック、小ブロックの上下左右に隣接するマクロブロック、小ブロックが全て参照画像に存在する場合、予測画素に係る処理を２系統により実行して最適な予測モードを検出する。なおこの実施例においては、このマクロブロック、小ブロックが全て参照画像に存在する場合の処理を除いて、実施例１と同一に構成されることにより、以下においては、実施例１に係る構成を適宜流用して説明する。   In this embodiment, when macroblocks, macroblocks adjacent to the top, bottom, left, and right of a small block, and small blocks are all present in the reference image, the process related to the prediction pixel is executed by two systems to detect the optimal prediction mode. . In this embodiment, except for the processing when all the macroblocks and small blocks are present in the reference image, the same configuration as in the first embodiment is used. The explanation will be made with appropriate diversion.

すなわちこの実施例においては、図１１に示すように、処理対象のマクロブロックＣ、の上下左右に隣接するマクロブロックＡ、Ａ’、Ｂ、Ｂ’が全て参照画像に存在する場合、ラスタ走査の順序により走査した場合に処理を完了しているマクロブロックＡ、ＢによるグループＧ１と、ラスタ走査とは逆の順序により走査した場合に処理を完了しているマクロブロックＡ’、Ｂ’によるグループＧ２とに予測画素の設定を区分けする。   That is, in this embodiment, as shown in FIG. 11, when all the macroblocks A, A ′, B, and B ′ adjacent to the processing target macroblock C are present in the reference image, raster scanning is performed. Group G1 by macroblocks A and B that have been processed when scanned in order, and group G2 by macroblocks A ′ and B ′ that have been processed when scanned in the reverse order of raster scanning And divide the setting of the prediction pixel.

ここでグループＧ１に係る区分けに対して、従来のＡＶＣと同一に予測画素を設定して各モードの予測値を生成する。これに対してグループＧ２の区分けに対して、図１０について上述した予測画素により各モードの予測値を生成する。   Here, with respect to the classification related to the group G1, prediction pixels are set in the same manner as in the conventional AVC to generate prediction values for each mode. On the other hand, the prediction value of each mode is produced | generated by the prediction pixel mentioned above about FIG.

またこれら２つのグループＧ１、Ｇ２による各モードの予測値により差分データを計算して予測誤差の最も小さな予測値を検出し、この予測値による予測誤差をイントラ１６×１６予測モードとイントラ４×４予測モードとの判定に供する。またこの判定により、イントラ１６×１６予測モードにより符号化処理する場合、この予測値を減算回路４に出力する。またこの場合、この予測画素の設定に係るグループを伝送対象に通知する。   Also, difference data is calculated from the prediction values of each mode by these two groups G1 and G2, and the prediction value with the smallest prediction error is detected, and the prediction error due to this prediction value is calculated as intra 16 × 16 prediction mode and intra 4 × 4. It uses for judgment with prediction mode. Also, by this determination, when the encoding process is performed in the intra 16 × 16 prediction mode, this prediction value is output to the subtraction circuit 4. In this case, the group related to the setting of the prediction pixel is notified to the transmission target.

また小ブロックについても、同様に、ＡＶＣによる予測値と、図７について上述した予測画素による予測値を生成し、これら予測値より最も小さな予測値を検出し、この予測値による予測誤差をイントラ１６×１６予測モードとイントラ４×４予測モードとの判定に供する。またこの判定により、イントラ４×４予測モードにより符号化処理する場合、この予測値を減算回路４に出力する。またこの場合、この予測画素の設定に係るグループを伝送対象に通知する。   Similarly, for the small block, a prediction value by AVC and a prediction value by the prediction pixel described above with reference to FIG. 7 are generated, and a prediction value that is the smallest than these prediction values is detected. It uses for determination with * 16 prediction mode and intra 4 * 4 prediction mode. Also, with this determination, when the encoding process is performed in the intra 4 × 4 prediction mode, this prediction value is output to the subtraction circuit 4. In this case, the group related to the setting of the prediction pixel is notified to the transmission target.

この実施例のように、上下左右に隣接するマクロブロック、小ブロックの何れもが参照画像に存在する場合、異なる予測画素の設定による複数の予測値より予測精度の高い予測値を選択することにより、一段と符号化効率を向上することができる。   As in this embodiment, when both a macroblock and a small block that are adjacent vertically and horizontally are present in the reference image, by selecting a prediction value with higher prediction accuracy than a plurality of prediction values by setting different prediction pixels The encoding efficiency can be further improved.

なお上述の実施例においては、実施例５を除いて、予測画素の設定を伝送対象に伝送しない場合について述べたが、本発明はこれに限らず、予測画素の設定を伝送対象に伝送するようにしてもよい。このようにすれば、その分、復号側における処理を簡略化することができる。   In the above-described embodiment, the case where the prediction pixel setting is not transmitted to the transmission target is described except for the fifth embodiment. However, the present invention is not limited to this, and the prediction pixel setting is transmitted to the transmission target. It may be. In this way, the process on the decoding side can be simplified accordingly.

また上述の実施例においては、マクロブロック、小ブロックの双方をらせん状に走査させる場合について述べたが、本発明はこれに限らず、実用上十分に効率良く符号化処理できる場合、小ブロックについては、ラスタ走査の順序により撮像結果を処理するようにして、この小ブロックのらせん状の走査に係る一連の処理を省略するようにしてもよい。   In the above-described embodiment, the case where both the macroblock and the small block are scanned in a spiral manner has been described. However, the present invention is not limited to this, and if the encoding process can be performed sufficiently efficiently in practice, In this case, the imaging result may be processed in the order of raster scanning, and a series of processes related to the helical scanning of the small blocks may be omitted.

また上述の実施例においては、各小ブロックにおいては、ラスタ走査の順序により撮像結果を出力して処理する場合について述べたが、本発明はこれに限らず、例えば小ブロックを構成する４×４画素の撮像結果を同時並列的に出力して処理する場合等、小ブロックにおける撮像結果の出力、処理においては、種々に設定することができる。   Further, in the above-described embodiment, the case has been described in which each small block outputs and processes the imaging results in the order of raster scanning. However, the present invention is not limited to this, and for example, 4 × 4 constituting a small block. Various settings can be made in the output and processing of the imaging results in the small block, such as when the imaging results of the pixels are output and processed simultaneously in parallel.

また上述の実施例においては、らせん状の走査により復号した画像データを出力する場合について述べたが、本発明はこれに限らず、らせん状の走査をラスタ走査に変換して復号結果の画像データを出力するようにしてもよい。   In the above-described embodiments, the case where image data decoded by spiral scanning is output has been described. However, the present invention is not limited to this, and image data obtained as a result of decoding by converting spiral scanning into raster scanning. May be output.

また上述の実施例においては、１６×１６画素と４×４画素とによる２種類のブロックによるイントラ予測モードによりイントラ符号化処理する場合について述べたが、本発明はこれに限らず、例えば１種類のブロックによるイントラ予測モードにより符号化処理する場合等に広く適用することができる。   In the above-described embodiment, the case where intra coding processing is performed in the intra prediction mode using two types of blocks of 16 × 16 pixels and 4 × 4 pixels has been described. However, the present invention is not limited to this, and for example, one type The present invention can be widely applied to the case where encoding processing is performed in the intra prediction mode using the blocks.

また上述の実施例においては、本発明を撮像装置に適用して撮像結果を処理する場合について述べたが、本発明はこれに限らず、記録媒体に記録した画像データを処理する場合等に広く適用することができる。   Further, in the above-described embodiments, the case where the present invention is applied to the imaging apparatus and the imaging result is processed has been described. However, the present invention is not limited to this and is widely applied to the case where image data recorded on a recording medium is processed. Can be applied.

また上述の実施例においては、本発明をハードウエアの構成に適用する場合について述べたが、本発明はこれに限らず、画像データをソフトウエアにより処理する場合にも適用することができる。なおこのようなソフトウエアに係る符号化処理、復号化処理のプログラムにおいては、例えばインターネット等のネットワークにより提供する場合、光ディスク、磁気ディスク、メモリカード等、種々の記録媒体により提供する場合に、広く適用することができる。   In the above-described embodiments, the case where the present invention is applied to the hardware configuration has been described. However, the present invention is not limited to this, and can also be applied to the case where image data is processed by software. Note that the encoding processing and decoding processing programs related to such software are widely used when provided by a network such as the Internet, when provided by various recording media such as an optical disk, a magnetic disk, and a memory card. Can be applied.

本発明は、符号化装置、撮像装置、復号化装置及び画像データの処理方法に関し、動画による撮像結果を記録するビデオカメラ、電子スチルカメラ、監視装置等に適用することができる。   The present invention relates to an encoding device, an imaging device, a decoding device, and an image data processing method, and can be applied to a video camera, an electronic still camera, a monitoring device, and the like that record imaging results of moving images.

本発明の実施例１に係る撮像装置を示すブロック図である。1 is a block diagram illustrating an imaging apparatus according to Embodiment 1 of the present invention. 図１の撮像装置におけるマクロブロックの走査の説明に供する略線図である。It is a basic diagram with which it uses for description of the scanning of the macroblock in the imaging device of FIG. 図１の撮像装置における小ブロックの走査の説明に供する略線図である。It is a basic diagram with which it uses for description of the scan of the small block in the imaging device of FIG. 図１の撮像装置における小ブロックに係る隣接ブロックとの関係の説明に供する略線図である。It is a basic diagram with which it uses for description of the relationship with the adjacent block which concerns on the small block in the imaging device of FIG. 図１の撮像装置における小ブロックに係る予測画素の設定の説明に供する略線図である。It is a basic diagram with which it uses for description of the setting of the prediction pixel which concerns on the small block in the imaging device of FIG. 図５とは異なる例による予測画素の設定の説明に供する略線図である。FIG. 6 is a schematic diagram for explaining prediction pixel setting according to an example different from FIG. 5. 図５、図６とは異なる例による予測画素の設定の説明に供する略線図である。FIG. 7 is a schematic diagram for explaining setting of predicted pixels according to an example different from FIGS. 5 and 6. 図１の撮像装置におけるマクロブロックに係る予測画素の設定の説明に供する略線図である。It is a basic diagram with which it uses for description of the setting of the prediction pixel which concerns on the macroblock in the imaging device of FIG. 図８とは異なる例による予測画素の設定の説明に供する略線図である。It is a basic diagram with which it uses for description of the setting of the prediction pixel by the example different from FIG. 図８、図９とは異なる例による予測画素の設定の説明に供する略線図である。FIG. 10 is a schematic diagram for explaining prediction pixel setting according to an example different from FIGS. 8 and 9. 実施例５に係る予測画素の設定の説明に供する略線図である。FIG. 10 is a schematic diagram for explaining setting of predicted pixels according to the fifth embodiment. ＡＶＣ方式の符号化装置を示すブロック図である。1 is a block diagram illustrating an AVC encoding apparatus. FIG. ＡＶＣ方式の復号化装置を示すブロック図である。It is a block diagram which shows the decoding apparatus of an AVC system. ＡＶＣ方式のイントラ４×４予測モードにおける予測画素の設定の説明に供する略線図である。It is a basic diagram with which it uses for description of the setting of the prediction pixel in the intra 4 * 4 prediction mode of AVC system. イントラ４×４予測モードの説明に供する略線図である。It is a basic diagram with which it uses for description of intra 4x4 prediction mode. イントラ４×４予測モードを示す図表である。It is a chart which shows intra 4x4 prediction mode. イントラ４×４予測モードの各モードの説明に供する略線図である。It is a basic diagram with which it uses for description of each mode of intra 4x4 prediction mode. イントラ１６×１６予測モードの予測画素の説明に供する略線図である。It is a basic diagram with which it uses for description of the prediction pixel of intra 16x16 prediction mode. イントラ１６×１６予測モードを示す図表である。It is a graph which shows intra 16x16 prediction mode. イントラ１６×１６予測モードの説明に供する略線図である。It is a basic diagram with which it uses for description of intra 16x16 prediction mode. 予測モードの伝送の説明に供する略線図である。It is an approximate line figure used for explanation of transmission of prediction mode. Ｃ言語の記述により予測モードの復号処理を示す図表である。It is a graph which shows the decoding process of prediction mode by the description of C language. ＣＣＤ固体撮像素子の構成を示す略線図である。It is a basic diagram which shows the structure of a CCD solid-state image sensor. ＣＭＯＳ固体撮像素子の構成を示す略線図である。It is a basic diagram which shows the structure of a CMOS solid-state image sensor. ＣＣＤ固体撮像素子による撮像結果の処理系を示すブロック図である。It is a block diagram which shows the processing system of the imaging result by a CCD solid-state image sensor. ＣＭＯＳ固体撮像素子による撮像結果の処理系を示すブロック図である。It is a block diagram which shows the processing system of the imaging result by a CMOS solid-state image sensor. ＣＣＤ固体撮像素子によるチップ構成を示すブロック図である。It is a block diagram which shows the chip | tip structure by a CCD solid-state image sensor. ＣＭＯＳ固体撮像素子によるチップ構成を示すブロック図である。It is a block diagram which shows the chip | tip structure by a CMOS solid-state image sensor.

符号の説明Explanation of symbols

１……符号化装置５、９０……イントラ予測回路、２０……復号化装置、８１……撮像装置、８２……撮像素子、８７……アドレス制御回路、８８……符号化回路、８９……集積回路
DESCRIPTION OF SYMBOLS 1 ... Coding device 5, 90 ... Intra prediction circuit, 20 ... Decoding device, 81 ... Imaging device, 82 ... Imaging device, 87 ... Address control circuit, 88 ... Encoding circuit, 89 ... ... Integrated circuits

Claims (45)

マクロブロック毎に、予測画素を設定してイントラ予測による予測値を出力するイントラ予測回路と、
前記予測値と画像データとの差分データを出力する減算回路と、
前記差分データを処理する処理回路とを有する符号化装置において、
前記画像データは、
マクロブロック単位で、画像の周辺から中央に向かうらせん状の走査の順序により入力され、
前記イントラ予測回路は、
前記らせん状の走査に応じて、前記マクロブロックに対する前記予測画素の設定を切り換える
ことを特徴とする符号化装置。 An intra prediction circuit that sets a prediction pixel for each macroblock and outputs a prediction value based on intra prediction;
A subtraction circuit that outputs difference data between the predicted value and the image data;
In an encoding device having a processing circuit for processing the difference data,
The image data is
Input in the order of a spiral scan from the periphery of the image to the center in units of macroblocks,
The intra prediction circuit includes:
The encoding apparatus, wherein the setting of the prediction pixel for the macroblock is switched in accordance with the spiral scanning. 前記マクロブロックに対する前記予測画素の設定の切り換えが、
処理対象の前記マクロブロックに対して上下左右に隣接する前記マクロブロックの前記参照画像における有無の判定による前記予測画素の設定の切り換えである
ことを特徴とする請求項１に記載の符号化装置。 Switching the setting of the prediction pixel for the macroblock,
The encoding device according to claim 1, wherein the prediction pixel setting is switched by determining whether or not the macroblock adjacent to the processing target macroblock vertically and horizontally is present in the reference image. 前記イントラ予測回路は、
前記予測画素の設定の切り換えに対応して、前記予測画素による予測値の前記処理対象のマクロブロックにおける対象画素を切り換える
ことを特徴とする請求項２に記載の符号化装置。 The intra prediction circuit includes:
The encoding apparatus according to claim 2, wherein the target pixel in the processing target macroblock of the prediction value of the prediction pixel is switched in response to switching of the setting of the prediction pixel. 前記イントラ予測回路は、
前記上下左右に隣接するマクロブロックの何れもが前記参照画像に存在する場合、異なる予測画素の設定による複数の予測値より予測精度の高い予測値を選択して出力する
ことを特徴とする請求項２に記載の符号化装置。 The intra prediction circuit includes:
The prediction value having higher prediction accuracy than a plurality of prediction values by setting different prediction pixels is selected and output when any of the macroblocks adjacent to the top, bottom, left, and right are present in the reference image. 2. The encoding device according to 2. 前記らせん状の走査が、
ラスタ走査の走査開始端から始まる時計回りの走査である
ことを特徴とする請求項１に記載の符号化装置。 The helical scan is
The encoding device according to claim 1, wherein the scanning is a clockwise scanning starting from a scanning start end of the raster scanning. 前記らせん状の走査が、
ラスタ走査の開始端から始まる反時計回りの走査である
ことを特徴とする請求項１に記載の符号化装置。 The helical scan is
The encoding apparatus according to claim 1, wherein the scanning is counterclockwise starting from a start end of raster scanning. 前記らせん状の走査が、
ラスタ走査の走査開始端から始まる時計回りの走査と、前記ラスタ走査の開始端から始まる反時計回りの走査とからフレーム毎に選択された走査であり、
前記処理回路は、
前記時計回りの走査と、反時計回りの走査との識別コードを設定して処理結果を出力する
ことを特徴とする請求項１に記載の符号化装置。 The helical scan is
A scan selected for each frame from a clockwise scan starting from the scan start end of the raster scan and a counterclockwise scan starting from the start end of the raster scan,
The processing circuit includes:
The encoding apparatus according to claim 1, wherein an identification code for the clockwise scanning and the counterclockwise scanning is set and a processing result is output. 前記画像データは、
各マクロブロックにおいて、前記マクロブロックを細分割した小ブロック単位で、前記マクロブロックの周辺から中央に向かうらせん状の走査の順序により入力され、
前記イントラ予測回路は、
前記小ブロックを単位にしたイントラ予測と、前記マクロブロックを単位にしたイントラ予測との間で、最適な予測モードを選択して対応する前記予測値を出力し、
前記小ブロックのらせん状の走査に応じて、前記小ブロックに対する予測画素の設定を切り換える
ことを特徴とする請求項１に記載の符号化装置。 The image data is
In each macroblock, the macroblock is subdivided into small blocks, which are input in the order of spiral scanning from the periphery to the center of the macroblock,
The intra prediction circuit includes:
Between the intra prediction in units of the small blocks and the intra prediction in units of the macroblocks, an optimal prediction mode is selected and the corresponding prediction value is output,
The encoding apparatus according to claim 1, wherein the setting of the prediction pixel for the small block is switched in accordance with the helical scan of the small block. 前記小ブロックに対する前記予測画素の設定の切り換えが、
処理対象の前記小ブロックに対して上下左右に隣接する前記小ブロックの前記参照画像における有無の判定による前記予測画素の設定の切り換えである
ことを特徴とする請求項８に記載の符号化装置。 Switching the setting of the prediction pixel for the small block,
The encoding apparatus according to claim 8, wherein the prediction pixel setting is switched by determining the presence or absence of the small block adjacent to the small block to be processed vertically and horizontally in the reference image. 前記イントラ予測回路は、
前記予測画素の設定の切り換えに対応して、各予測画素による予測値の前記処理対象の小ブロックにおける対象画素を切り換える
ことを特徴とする請求項９に記載の符号化装置。 The intra prediction circuit includes:
The encoding device according to claim 9, wherein the target pixel in the small block to be processed of the prediction value of each prediction pixel is switched in response to switching of the setting of the prediction pixel. 前記イントラ予測回路は、
前記上下左右に隣接する小ブロックの何れもが前記参照画像に存在する場合、異なる予測画素の設定による複数の予測値より予測精度の高い予測値を選択して出力する
ことを特徴とする請求項９に記載の符号化装置。 The intra prediction circuit includes:
The prediction value having a higher prediction accuracy than a plurality of prediction values by setting different prediction pixels is selected and output when any of the small blocks adjacent to the upper, lower, left, and right sides is present in the reference image. 10. The encoding device according to 9. 前記小ブロックのらせん状の走査が、
ラスタ走査の走査開始端から始まる時計回りの走査である
ことを特徴とする請求項８に記載の符号化装置。 A helical scan of the small block
The encoding apparatus according to claim 8, wherein the scanning is a clockwise scanning starting from a scanning start end of the raster scanning. 前記小ブロックのらせん状の走査が、
ラスタ走査の開始端から始まる反時計回りの走査である
ことを特徴とする請求項８に記載の符号化装置。 A helical scan of the small block
The encoding apparatus according to claim 8, wherein the scanning is counterclockwise starting from a start end of raster scanning. 前記小ブロックのらせん状の走査が、
ラスタ走査の走査開始端から始まる時計回りの走査と、前記ラスタ走査の開始端から始まる反時計回りの走査とからマクロブロック毎に選択された走査であり、
前記処理回路は、
前記時計回りの走査と、反時計回りの走査との識別コードを設定して処理結果を出力する
ことを特徴とする請求項８に記載の符号化装置。 A helical scan of the small block
A scan selected for each macroblock from a clockwise scan starting from the scan start end of the raster scan and a counterclockwise scan starting from the start end of the raster scan,
The processing circuit includes:
The encoding apparatus according to claim 8, wherein an identification code for the clockwise scanning and the counterclockwise scanning is set and a processing result is output. 撮像結果を出力する撮像素子と、
マクロブロック毎に、予測画素を設定してイントラ予測による予測値を出力するイントラ予測回路と、
前記予測値と画像データとの差分データを出力する減算回路と、
前記差分データを処理する処理回路とを有する撮像装置において、
前記撮像素子は、
画像の周辺から中央に向かってらせん状に前記マクロブロックを走査させて、前記マクロブロック単位で撮像結果を出力し、
前記イントラ予測回路は、
前記らせん状の走査に応じて、前記マクロブロックに対する前記予測画素の設定を切り換える
ことを特徴とする撮像装置。 An image sensor for outputting an imaging result;
An intra prediction circuit that sets a prediction pixel for each macroblock and outputs a prediction value based on intra prediction;
A subtraction circuit that outputs difference data between the predicted value and the image data;
In an imaging device having a processing circuit for processing the difference data,
The image sensor is
The macroblock is scanned spirally from the periphery of the image toward the center, and the imaging result is output in units of the macroblock,
The intra prediction circuit includes:
The imaging apparatus, wherein the setting of the prediction pixel for the macroblock is switched according to the spiral scanning. 前記マクロブロックに対する前記予測画素の設定の切り換えが、
処理対象の前記マクロブロックに対して上下左右に隣接する前記マクロブロックの前記参照画像における有無の判定による前記予測画素の設定の切り換えである
ことを特徴とする請求項１５に記載の撮像装置。 Switching the setting of the prediction pixel for the macroblock,
The imaging apparatus according to claim 15, wherein the prediction pixel setting is switched by determining whether or not the macroblock adjacent to the processing target macroblock vertically and horizontally is present in the reference image. 前記イントラ予測回路は、
前記予測画素の設定の切り換えに対応して、前記予測画素による予測値の前記処理対象のマクロブロックにおける対象画素を切り換える
ことを特徴とする請求項１６に記載の撮像装置。 The intra prediction circuit includes:
The imaging apparatus according to claim 16, wherein the target pixel in the processing target macroblock of the prediction value of the prediction pixel is switched in response to switching of the setting of the prediction pixel. 前記イントラ予測回路は、
前記上下左右に隣接するマクロブロックの何れもが前記参照画像に存在する場合、異なる予測画素の設定による複数の予測値より予測精度の高い予測値を選択して出力する
ことを特徴とする請求項１６に記載の撮像装置。 The intra prediction circuit includes:
The prediction value having higher prediction accuracy than a plurality of prediction values by setting different prediction pixels is selected and output when any of the macroblocks adjacent to the top, bottom, left, and right are present in the reference image. 16. The imaging device according to 16. 前記らせん状の走査が、
ラスタ走査の走査開始端から始まる時計回りの走査である
ことを特徴とする請求項１５に記載の撮像装置。 The helical scan is
The imaging apparatus according to claim 15, wherein the scanning is clockwise scanning starting from a scanning start end of raster scanning. 前記らせん状の走査が、
ラスタ走査の開始端から始まる反時計回りの走査である
ことを特徴とする請求項１５に記載の撮像装置。 The helical scan is
The imaging apparatus according to claim 15, wherein the scanning is counterclockwise scanning starting from a start end of raster scanning. 前記撮像素子は、
各フレームで、ラスタ走査の走査開始端から始まる時計回りの走査と、前記ラスタ走査の開始端から始まる反時計回りの走査とで、予測精度の高い側の走査により、前記撮像結果を出力する
ことを特徴とする請求項１５に記載の撮像装置。 The image sensor is
In each frame, the imaging result is output by scanning on the side with high prediction accuracy in the clockwise scanning starting from the scanning start end of the raster scanning and the counterclockwise scanning starting from the starting end of the raster scanning. The imaging apparatus according to claim 15. 前記処理回路は、
前記時計回りの走査と、前記反時計回りの走査との識別コードを設定して処理結果を出力する
ことを特徴とする請求項２１に記載の撮像装置。 The processing circuit includes:
The image pickup apparatus according to claim 21, wherein an identification code for the clockwise scanning and the counterclockwise scanning is set and a processing result is output. 前記撮像素子は、
各マクロブロックにおいて、前記マクロブロックを細分割した小ブロック単位で、前記マクロブロックの周辺から中央に向かうらせん状の走査の順序により撮像結果を出力し、
前記イントラ予測回路は、
前記小ブロックを単位にしたイントラ予測と、前記マクロブロックを単位にしたイントラ予測との間で、最適な予測モードを選択して対応する前記予測値を出力し、
前記小ブロックのらせん状の走査に応じて、前記小ブロックに対する予測画素の設定を切り換える
ことを特徴とする請求項１５に記載の撮像装置。 The image sensor is
In each macroblock, in a small block unit obtained by subdividing the macroblock, the imaging result is output in the order of spiral scanning from the periphery to the center of the macroblock,
The intra prediction circuit includes:
Between the intra prediction in units of the small blocks and the intra prediction in units of the macroblocks, an optimal prediction mode is selected and the corresponding prediction value is output,
The imaging apparatus according to claim 15, wherein the setting of a prediction pixel for the small block is switched in accordance with a helical scan of the small block. 前記小ブロックに対する前記予測画素の設定の切り換えが、
処理対象の前記小ブロックに対して上下左右に隣接する前記小ブロックの前記参照画像における有無の判定による前記予測画素の設定の切り換えである
ことを特徴とする請求項２３に記載の撮像装置。 Switching the setting of the prediction pixel for the small block,
24. The imaging apparatus according to claim 23, wherein the prediction pixel setting is switched by determining whether or not the small block adjacent to the small block to be processed is vertically or horizontally adjacent to the reference image. 前記イントラ予測回路は、
前記予測画素の設定の切り換えに対応して、前記予測画素による予測値の前記処理対象の小ブロックにおける対象画素を切り換える
ことを特徴とする請求項２４に記載の撮像装置。 The intra prediction circuit includes:
25. The imaging apparatus according to claim 24, wherein the target pixel in the small block to be processed of the prediction value of the prediction pixel is switched in response to switching of the setting of the prediction pixel. 前記イントラ予測回路は、
前記上下左右に隣接する小ブロックの何れもが前記参照画像に存在する場合、異なる予測画素の設定による複数の予測値より予測精度の高い予測値を選択して出力する
ことを特徴とする請求項２４に記載の撮像装置。 The intra prediction circuit includes:
The prediction value having a higher prediction accuracy than a plurality of prediction values by setting different prediction pixels is selected and output when any of the small blocks adjacent to the upper, lower, left, and right sides is present in the reference image. 24. The imaging device according to 24. 前記小ブロックのらせん状の走査が、
ラスタ走査の走査開始端から始まる時計回りの走査である
ことを特徴とする請求項２３に記載の撮像装置。 A helical scan of the small block
24. The imaging apparatus according to claim 23, wherein the scanning is clockwise scanning starting from a scanning start end of raster scanning. 前記小ブロックのらせん状の走査が、
ラスタ走査の開始端から始まる反時計回りの走査である
ことを特徴とする請求項２３に記載の撮像装置。 A helical scan of the small block
24. The imaging apparatus according to claim 23, wherein the scanning is counterclockwise scanning starting from a start end of raster scanning. 前記撮像素子は、
各マクロブロックで、ラスタ走査の走査開始端から始まる時計回りの走査と、前記ラスタ走査の開始端から始まる反時計回りの走査とで、予測精度の高い側の走査により、前記撮像結果を出力する
ことを特徴とする請求項２３に記載の撮像装置。 The image sensor is
In each macroblock, the imaging result is output by scanning on the higher prediction accuracy side in the clockwise scanning starting from the scanning start end of the raster scanning and the counterclockwise scanning starting from the starting end of the raster scanning. 24. The imaging apparatus according to claim 23. 前記処理回路は、
前記時計回りの走査と、前記反時計回りの走査との識別コードを設定して処理結果を出力する
ことを特徴とする請求項２４に記載の撮像装置。 The processing circuit includes:
The image pickup apparatus according to claim 24, wherein an identification code for the clockwise scanning and the counterclockwise scanning is set and a processing result is output. 前記撮像素子、前記イントラ予測回路、前記減算回路、前記処理回路が一体に集積回路化された
ことを特徴とする請求項１５に記載の撮像装置。 The imaging device according to claim 15, wherein the imaging device, the intra prediction circuit, the subtraction circuit, and the processing circuit are integrated into an integrated circuit. 順次入力される符号化データから画像データを復号する復号化装置において、
前記符号化データを処理して差分データを出力する処理回路と、
マクロブロック毎に、予測画素を設定してイントラ予測による予測値を出力するイントラ予測回路と、
前記予測値と差分データとを加算して前記画像データを出力する加算回路と、
前記画像データを記録して前記参照画像を保持するメモリとを備え、
前記符号化データが、
前記マクロブロック単位で、画像の周辺から中央に向かうらせん状の走査の順序により入力され、
前記イントラ予測回路は、
前記らせん状の走査に応じて、前記マクロブロックに対する前記予測画素の設定を切り換える
ことを特徴とする復号化装置。 In a decoding apparatus that decodes image data from encoded data that is sequentially input,
A processing circuit for processing the encoded data and outputting difference data;
An intra prediction circuit that sets a prediction pixel for each macroblock and outputs a prediction value based on intra prediction;
An adding circuit for adding the predicted value and the difference data to output the image data;
A memory for recording the image data and holding the reference image;
The encoded data is
The macroblock unit is input in a spiral scanning order from the periphery of the image toward the center,
The intra prediction circuit includes:
The decoding apparatus, wherein the setting of the prediction pixel for the macroblock is switched in accordance with the spiral scanning. 前記マクロブロックに対する前記予測画素の設定の切り換えが、
処理対象の前記マクロブロックに対して上下左右に隣接する前記マクロブロックの前記参照画像における有無の判定による前記予測画素の設定の切り換えである
ことを特徴とする請求項３２に記載の復号化装置。 Switching the setting of the prediction pixel for the macroblock,
The decoding apparatus according to claim 32, wherein the prediction pixel setting is switched by determining whether or not the macroblock adjacent to the processing target macroblock vertically and horizontally is in the reference image. 前記らせん状の走査が、
ラスタ走査の走査開始端から始まる時計回りの走査と、前記ラスタ走査の開始端から始まる反時計回りの走査とからフレーム毎に選択された走査であり、
前記メモリは、
前記符号化データに設定された前記時計回りの走査と前記反時計回りの走査との識別コードに基づいて、前記画像データの記録及び又は読み出しのアドレスを切り換える
ことを特徴とする請求項３２に記載の復号化装置。 The helical scan is
A scan selected for each frame from a clockwise scan starting from the scan start end of the raster scan and a counterclockwise scan starting from the start end of the raster scan,
The memory is
The recording and / or reading address of the image data is switched based on an identification code of the clockwise scanning and the counterclockwise scanning set in the encoded data. Decryption device. 前記符号化データは、
各マクロブロックにおいて、前記マクロブロックを細分割した小ブロック単位で、前記マクロブロックの周辺から中央に向かうらせん状の走査の順序により入力され、
前記イントラ予測回路は、
前記符号化データに設定された予測モードに基づいて、前記小ブロックを単位にしたイントラ予測と、前記マクロブロックを単位にしたイントラ予測とから、符号化処理に供した前記予測値を出力し、
前記小ブロックのらせん状の走査に応じて、前記小ブロックに対する予測画素の設定を切り換える
ことを特徴とする請求項３２に記載の復号化装置。 The encoded data is
In each macroblock, the macroblock is subdivided into small blocks, and is input in the order of spiral scanning from the periphery to the center of the macroblock,
The intra prediction circuit includes:
Based on the prediction mode set in the encoded data, from the intra prediction in units of the small blocks and the intra prediction in units of the macroblocks, the prediction value subjected to the encoding process is output,
The decoding apparatus according to claim 32, wherein setting of a prediction pixel for the small block is switched in accordance with a helical scan of the small block. 前記小ブロックに対する前記予測画素の設定の切り換えが、
処理対象の前記小ブロックに対して上下左右に隣接する前記小ブロックの前記参照画像における有無の判定による前記予測画素の設定の切り換えである
ことを特徴とする請求項３５に記載の復号化装置。 Switching the setting of the prediction pixel for the small block,
36. The decoding device according to claim 35, wherein the prediction pixel setting is switched by determining whether or not the small block adjacent to the small block to be processed is vertically or horizontally adjacent to the reference image. 前記小ブロックのらせん状の走査が、
ラスタ走査の走査開始端から始まる時計回りの走査と、前記ラスタ走査の開始端から始まる反時計回りの走査とから小ブロック毎に選択された走査であり、
前記メモリは、
前記符号化データに設定された前記時計回りの走査と反時計回りの走査との識別コードに基づいて、前記画像データの記録及び又は読み出しのアドレスを切り換える
ことを特徴とする請求項３６に記載の復号化装置。 A helical scan of the small block
A scan selected for each small block from a clockwise scan starting from the scan start end of the raster scan and a counterclockwise scan starting from the start end of the raster scan,
The memory is
The recording and / or reading address of the image data is switched based on an identification code between the clockwise scanning and the counterclockwise scanning set in the encoded data. Decryption device. マクロブロック毎に、予測画素を設定してイントラ予測による予測値を出力するイントラ予測のステップと、
前記予測値と画像データとの差分データを出力する減算のステップと、
前記差分データを処理する処理のステップとを有する画像データの処理方法において、
前記画像データは、
マクロブロック単位で、画像の周辺から中央に向かうらせん状の走査の順序により入力され、
前記イントラ予測のステップは、
前記らせん状の走査に応じて、前記マクロブロックに対する前記予測画素の設定を切り換える
ことを特徴とする画像データの処理方法。 For each macroblock, an intra prediction step for setting a prediction pixel and outputting a prediction value based on intra prediction;
A subtraction step of outputting difference data between the predicted value and the image data;
In a processing method of image data having a processing step of processing the difference data,
The image data is
Input in the order of a spiral scan from the periphery of the image to the center in units of macroblocks,
The intra prediction step includes:
A method for processing image data, wherein the setting of the prediction pixel for the macroblock is switched in accordance with the spiral scanning. 前記マクロブロックに対する前記予測画素の設定の切り換えが、
前記処理対象の前記マクロブロックに対して上下左右に隣接する前記マクロブロックの前記参照画像における有無の判定による前記予測画素の設定の切り換えである
ことを特徴とする請求項３８に記載の画像データの処理方法。 Switching the setting of the prediction pixel for the macroblock,
The image data according to claim 38, wherein the prediction pixel setting is switched by determining whether or not the macroblock adjacent to the macroblock to be processed is vertically or horizontally adjacent to the reference image. Processing method. 前記画像データは、
前記マクロブロックにおいて、前記マクロブロックを細分割した小ブロック単位で、前記マクロブロックの周辺から中央に向かうらせん状の走査の順序により入力され、
前記イントラ予測のステップは、
前記小ブロックを単位にしたイントラ予測と、前記マクロブロックを単位にしたイントラ予測との間で、最適な予測モードを選択して対応する前記予測値を出力し、
前記小ブロックのらせん状の走査に応じて、前記小ブロックに対する予測画素の設定を切り換える
ことを特徴とする請求項３８に記載の画像データの処理方法。 The image data is
In the macroblock, a small block unit obtained by subdividing the macroblock is input in a spiral scanning order from the periphery to the center of the macroblock,
The intra prediction step includes:
Between the intra prediction in units of the small blocks and the intra prediction in units of the macroblocks, an optimal prediction mode is selected and the corresponding prediction value is output,
39. The image data processing method according to claim 38, wherein the setting of the prediction pixel for the small block is switched in accordance with the helical scan of the small block. 前記小ブロックに対する前記予測画素の設定の切り換えが、
処理対象の前記小ブロックに対して上下左右に隣接する前記小ブロックの前記参照画像における有無の判定による前記予測画素の設定の切り換えである
ことを特徴とする請求項４０に記載の画像データの処理方法。 Switching the setting of the prediction pixel for the small block,
41. The processing of image data according to claim 40, wherein the prediction pixel setting is switched by determining the presence or absence in the reference image of the small block that is vertically and horizontally adjacent to the small block to be processed. Method. 順次入力される符号化データから画像データを復号する画像データの処理方法において、
前記符号化データを処理して差分データを出力する処理のステップと、
マクロブロック単位で予測画素を設定してイントラ予測による予測値を出力するイントラ予測のステップと、
前記予測値と差分データとを加算して前記画像データを出力する加算のステップと、
前記画像データを前記参照画像として記録する記録のステップとを有し、
前記符号化データが、
マクロブロック単位で、画像の周辺から中央に向かうらせん状の走査の順序により入力され、
前記イントラ予測のステップは、
前記らせん状の走査に応じて、処理対象の前記マクロブロックに対する前記予測画素の設定を切り換える
ことを特徴とする画像データの処理方法。 In a processing method of image data for decoding image data from sequentially input encoded data,
A step of processing the encoded data to output difference data;
An intra prediction step of setting a prediction pixel in a macroblock unit and outputting a prediction value by intra prediction;
An addition step of adding the predicted value and the difference data to output the image data;
Recording step of recording the image data as the reference image,
The encoded data is
Input in the order of a spiral scan from the periphery of the image to the center in units of macroblocks,
The intra prediction step includes:
A method for processing image data, wherein the setting of the prediction pixel for the macroblock to be processed is switched in accordance with the spiral scan. 前記マクロブロックに対する前記予測画素の設定の切り換えが、
処理対象の前記マクロブロックに対して上下左右に隣接する前記マクロブロックの前記参照画像における有無の判定による前記予測画素の設定の切り換えである
ことを特徴とする請求項４２に記載の画像データの処理方法。 Switching the setting of the prediction pixel for the macroblock,
43. The processing of image data according to claim 42, wherein the prediction pixel setting is switched by determining whether or not the macroblock adjacent to the processing target macroblock vertically and horizontally is in the reference image. Method. 前記符号化データは、
前記マクロブロックにおいて、前記マクロブロックを細分割した小ブロック単位で、前記マクロブロックの周辺から中央に向かうらせん状の走査の順序により入力され、
前記イントラ予測のステップは、
前記符号化データに設定された予測モードに基づいて、前記小ブロックを単位にしたイントラ予測と、前記マクロブロックを単位にしたイントラ予測とから、符号化処理に供したイントラ予測により前記予測値を出力し、
前記小ブロックのらせん状の走査に応じて、前記小ブロックに対する予測画素の設定を切り換える
ことを特徴とする請求項４３に記載の画像データの処理方法。 The encoded data is
In the macroblock, a small block unit obtained by subdividing the macroblock is input in a spiral scanning order from the periphery to the center of the macroblock,
The intra prediction step includes:
Based on the prediction mode set in the encoded data, the prediction value is obtained by intra prediction provided for the encoding process from intra prediction based on the small block and intra prediction based on the macroblock. Output,
44. The image data processing method according to claim 43, wherein the setting of a prediction pixel for the small block is switched in accordance with helical scanning of the small block. 前記小ブロックに対する前記予測画素の設定の切り換えが、
処理対象の前記小ブロックに対して上下左右に隣接する前記小ブロックの前記参照画像における有無の判定による前記予測画素の設定の切り換えである
ことを特徴とする請求項４４に記載の画像データの処理方法。
Switching the setting of the prediction pixel for the small block,
45. The processing of image data according to claim 44, wherein the prediction pixel setting is switched by determining whether or not the small block adjacent to the small block to be processed is vertically or horizontally adjacent to the reference image. Method.

Images