JP2001251625A - Image decoder and image coder - Google Patents

Abstract

PROBLEM TO BE SOLVED: To apply a high-speed decoding processing to a bit stream corresponding to objects such as images that are compression-coded by the MPEG 4 system and to minimize the cost of a hardware circuit conducting the decoding processing. SOLUTION: A decoding LSI in compliance with the MPEG 4 is provided with a supplement means that applies supplement processing to decoded texture data, an arithmetic decoding means that applies arithmetic decoding processing to coded shape data and a composition means that composites the texture data to generate composite image data. The supplement means, the arithmetic decoding means and the composition means are respectively composed of a hardware circuit (exclusive engine), an arithmetic decoding engine 12, a padding engine 13 and a composition engine 14.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は、画像復号化装置及
び画像符号化装置に関し、特に、ハードウエア回路の導
入により物体単位の復号化処理及び符号化処理を高速化
した装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image decoding apparatus and an image encoding apparatus, and more particularly to an apparatus which speeds up decoding and encoding processing for each object by introducing a hardware circuit.

【０００２】[0002]

【従来の技術】画像データのデジタル化の進展にともな
い、画像データを圧縮符号化、伝送、伸張復号化する機
器が実用化されている。圧縮符号化方式としては国際標
準であるＭＰＥＧ２方式が一般的に使われ、このＭＰＥ
Ｇ２方式に対応した符号化処理あるいは復号化処理を行
う装置として、種々のＬＳＩ装置が発表されている。2. Description of the Related Art With the progress of digitization of image data, devices for compressing and encoding, transmitting, and expanding and decoding image data have been put to practical use. As a compression encoding method, MPEG2 which is an international standard is generally used.
Various LSI devices have been announced as devices that perform an encoding process or a decoding process corresponding to the G2 system.

【０００３】以下図面を参考にしながら、ＭＰＥＧ２方
式の復号化処理を行う従来の画像復号化装置の一例（上
原宏敏、後藤昌一他、“ディジタル放送MPEG AVデコー
ダLSI”、Matsushita Technical Journal Vol.45 No.2
Apr.1999 p17-24参照）について説明する。[0003] Referring to the drawings, an example of a conventional image decoding apparatus which performs MPEG2 decoding processing (Hirotoshi Uehara, Shoichi Goto et al., "Digital Broadcasting MPEG AV Decoder LSI", Matsushita Technical Journal Vol. 45 No. .2
Apr. 1999, p. 17-24).

【０００４】図９は、ＭＰＥＧ２対応の復号化装置であ
る復号化ＬＳＩの構成を示すブロック図である。この復
号化ＬＳＩ８００は、復号化ＬＳＩ８００の各部を制御
するセットアッププロセッサ８０１と、デジタル画像デ
ータにＭＰＥＧ２方式の符号化処理を施して得られるビ
ットストリームを受けるストリームＩＦ部８０９と、該
ビットストリームに対して可変長復号化処理を施す可変
長復号エンジン８０２と、該可変長復号化処理により得
られる周波数領域の画像データに対して離散コサイン逆
変換処理を施して空間領域の画像データを生成するＩＤ
ＣＴエンジン８０３とを有し、該空間領域の画像データ
と予測画像データとに基いて、再生画像データを生成す
る構成となっている。FIG. 9 is a block diagram showing a configuration of a decoding LSI which is a decoding device compatible with MPEG2. The decoding LSI 800 includes a setup processor 801 that controls each unit of the decoding LSI 800, a stream IF unit 809 that receives a bit stream obtained by performing an MPEG2 encoding process on digital image data, A variable-length decoding engine 802 for performing a variable-length decoding process, and an ID for performing a discrete cosine inverse transform process on the frequency-domain image data obtained by the variable-length decoding process to generate spatial-domain image data
A CT engine 803 is configured to generate reproduced image data based on the image data and the predicted image data in the space area.

【０００５】また、復号化ＬＳＩ８００は、上記再生画
像データに対する動き補償処理により予測画像データを
生成する動き補償エンジン８０４と、上記ビットストリ
ーム、空間領域の画像データ、予測画像データ、及び再
生画像データを記録するメモリ８０６と、該メモリ８０
６に対するデータのアクセスを制御するメモリ制御部８
０５と、上記再生画像データを表示部（図示せず）に出
力するビデオＩＦ部８０８と、上記メモリ制御部８０５
からの制御信号に基いて、上記ビデオＩＦ部８０８を制
御するＩＯ制御プロセッサ８０７とを有している。The decoding LSI 800 includes a motion compensation engine 804 for generating predicted image data by performing a motion compensation process on the reproduced image data, and a motion compensation engine 804 for converting the bit stream, the image data in the spatial domain, the predicted image data, and the reproduced image data. A memory 806 for recording,
Memory control unit 8 for controlling data access to the memory 6
05, a video IF unit 808 for outputting the reproduced image data to a display unit (not shown), and a memory control unit 805.
And an IO control processor 807 for controlling the video IF unit 808 based on the control signal from

【０００６】なお、上記可変長復号エンジン８０２、Ｉ
ＤＣＴエンジン８０３、及び動き補償エンジン８０４は
それぞれ、ハードウエア回路により構成されている。The variable length decoding engine 802, I
The DCT engine 803 and the motion compensation engine 804 are each configured by a hardware circuit.

【０００７】次に動作について説明する。ＭＰＥＧ２方
式の圧縮符号化処理をデジタル画像データに施して得ら
れるビットストリームがストリームＩＦ部８０９に入力
されると、該ビットストリームはメモリ制御部８０５を
介してメモリ８０６に記録される。Next, the operation will be described. When a bit stream obtained by subjecting digital image data to compression encoding processing of the MPEG2 system is input to the stream IF unit 809, the bit stream is recorded in the memory 806 via the memory control unit 805.

【０００８】すると、セットアッププロセッサ８０１で
は、メモリ８０６に格納されたビットストリームの先頭
部分が検出され、この部分の復号化処理が開始される。
ここで、上記ビットストリームに対する復号化処理はＭ
ＰＥＧ２対応の復号手順に従って行われるが、セットア
ッププロセッサ８０１は、基本的にヘッダの復号化処理
及びシーケンサとしての全体制御を行う。[0008] Then, the setup processor 801 detects the head portion of the bit stream stored in the memory 806 and starts decoding of this portion.
Here, the decoding process for the bit stream is M
The setup processor 801 basically performs decoding processing of a header and performs overall control as a sequencer.

【０００９】そして、上記ビットストリームのヘッダ以
降の部分に対する復号化処理は、可変長復号エンジン８
０２、ＩＤＣＴエンジン８０３、及び動き補償エンジン
８０４にて順次行われ、復号結果，つまり再生画像デー
タはメモリ８０６にいったん記憶される。The decoding process for the portion of the bit stream after the header is performed by the variable length decoding engine 8.
02, the IDCT engine 803, and the motion compensation engine 804 sequentially perform decoding, and the decoding result, that is, reproduced image data is temporarily stored in the memory 806.

【００１０】上記ビデオＩＦ部８０８は、ＩＯ制御プロ
セッサ８０７の制御に基いて、表示時間に応じてメモリ
８０６から復号済み画像データ（再生画像データ）を読
み出し、ディスプレイ（表示部）に出力する。ここで、
可変復号化処理、ＩＤＣＴ処理、及び動き補償処理を専
用エンジンで行うのは、可変長復号、ＩＤＣＴ処理、及
び動き補償処理が、条件分岐が少ない一定の単純処理で
あり、また計算量が非常に多いためである。The video IF unit 808 reads decoded image data (reproduced image data) from the memory 806 in accordance with the display time under the control of the IO control processor 807, and outputs the decoded image data to a display (display unit). here,
The variable decoding, IDCT, and motion compensation processes performed by the dedicated engine are variable-length decoding, IDCT, and motion compensation processes, which are constant simple processes with few conditional branches, and require a large amount of calculation. Because there are many.

【００１１】このように演算負荷の大きい計算を専用エ
ンジンで行い、しかも各専用エンジンを、該複数のエン
ジン間でのデータの流れが復号化処理における演算処理
の流れに沿ったものとなるよう配置することにより、小
面積でかつ高速処理可能なＬＳＩを実現することが可能
となる。一方、近年、低ビットレートの伝送に対応しか
つ高機能の画像処理が可能なＭＰＥＧ４符号化方式が標
準化された。As described above, the calculation with a large calculation load is performed by the dedicated engine, and the dedicated engines are arranged such that the data flow among the plurality of engines follows the flow of the calculation processing in the decoding processing. By doing so, it is possible to realize an LSI that can be processed at high speed with a small area. On the other hand, in recent years, an MPEG4 encoding system that supports low bit rate transmission and enables high-performance image processing has been standardized.

【００１２】ＭＰＥＧ４符号化方式がＭＰＥＧ２符号化
方式と大きく異なるのは、ＭＰＥＧ４符号化方式ではオ
ブジェクト符号化処理の概念が導入されている点であ
る。このオブジェクト符号化処理では、画像が前景や背
景などの物体（オブジェクト）に分離され、オブジェク
トごとに圧縮符号化処理、データ伝送処理、及び伸張復
号化処理が行われ、さらに各物体に対応する復号化画像
データを合成して表示する処理が行われる。なお、オブ
ジェクト符号化されるデータには、ＭＰＥＧ２の画像デ
ータに相当する画像の輝度あるいは色を示すテクスチャ
データと上記画像の形をあらわす形状データがある。[0012] The MPEG4 encoding system is significantly different from the MPEG2 encoding system in that the concept of the object encoding process is introduced in the MPEG4 encoding system. In this object encoding process, an image is separated into objects (objects) such as foreground and background, and compression encoding, data transmission, and decompression decoding are performed for each object, and decoding corresponding to each object is further performed. A process of combining and displaying the coded image data is performed. Note that the data to be object-coded includes texture data indicating the brightness or color of an image corresponding to MPEG2 image data and shape data representing the shape of the image.

【００１３】図１０はＭＰＥＧ４符号化方式によりデジ
タル画像データを圧縮符号化して得られるビットストリ
ームを復号化するアルゴリズムを実現する機能ブロック
を示す図である。FIG. 10 is a diagram showing functional blocks for realizing an algorithm for decoding a bit stream obtained by compressing and encoding digital image data by the MPEG4 encoding method.

【００１４】図１０において、復号化装置９００は符号
化テクスチャデータ及び符号化形状データを含むビット
ストリームを復号化する装置である。この復号化装置９
００は、前景に対応するビットストリームに対して復号
化処理を行い、復号化テクスチャデータ及び復号化形状
データを出力する復号化部９０と、背景に対応するビッ
トストリームに対して復号化処理を行い、復号化テクス
チャデータ及び復号化形状データを出力する復号化部９
とを有している。なお、画像９２は、復号化部９０から
出力される復号化テクスチャデータにより形成されるテ
クスチャ画像空間における画像、画像９３は、復号化部
９０から出力される復号化形状データにより形成される
形状画像空間における画像である。また、画像９４は、
復号化部９から出力される復号化テクスチャデータによ
り形成されるテクスチャ画像空間における画像、画像９
５は、復号化部９から出力される復号化形状データによ
り形成される形状画像空間における画像である。In FIG. 10, a decoding device 900 is a device for decoding a bit stream including encoded texture data and encoded shape data. This decryption device 9
00 performs a decoding process on a bit stream corresponding to the foreground and outputs a decoded texture data and a decoded shape data, and performs a decoding process on the bit stream corresponding to the background. Decoding unit 9 for outputting decoded texture data and decoded shape data
And Note that the image 92 is an image in a texture image space formed by the decoded texture data output from the decoding unit 90, and the image 93 is a shape image formed by the decoded shape data output from the decoding unit 90. It is an image in space. The image 94 is
An image in a texture image space formed by the decoded texture data output from the decoding unit 9;
Reference numeral 5 denotes an image in a shape image space formed by the decoded shape data output from the decoding unit 9.

【００１５】さらに、上記復号化装置９００は、上記各
復号化部９０、９から出力される復号化テクスチャデー
タ及び復号化形状データに基いて、前景を背景上に重ね
あわせた合成画像９６に対応する合成画像データを生成
する合成手段９１を有している。Further, the decoding apparatus 900 is adapted to correspond to the composite image 96 in which the foreground is superimposed on the background based on the decoded texture data and the decoded shape data output from the respective decoding sections 90 and 9. And a synthesizing unit 91 that generates synthesized image data.

【００１６】上記復号化部９０は、上記前景に対応する
ビットストリームに対して可変長復号化処理を施して、
圧縮テクスチャデータ、圧縮動きベクトル情報、算術符
号化形状データを出力する可変長復号化手段９０１と、
該圧縮動きベクトル情報を復号化して動きベクトルを出
力する動きベクトル復号化手段９０４とを有している。The decoding unit 90 performs a variable length decoding process on the bit stream corresponding to the foreground,
A variable length decoding unit 901 for outputting compressed texture data, compressed motion vector information, and arithmetically encoded shape data;
A motion vector decoding unit 904 for decoding the compressed motion vector information and outputting a motion vector.

【００１７】また、上記復号化部９０は、圧縮テクスチ
ャデータに対して逆量子化処理を施す逆量子化手段９０
２と、その出力に対して逆ＤＣＴ処理を施して空間領域
のテクスチャデータを出力する逆ＤＣＴ手段９０３と、
該空間領域のテクスチャデータと予測テクスチャデータ
とを加算して復号化テクスチャデータを出力する加算手
段９１１とを有している。さらに、上記復号化部９０
は、復号化テクスチャデータに対して補填処理を施す補
填手段９０６と、その出力を記憶するメモリ９０７と、
該メモリ９０７に記録されている補填テクスチャデータ
を上記動きベクトルに基いて動き補償し、上記予測テク
スチャデータを生成、出力する動き補償手段９０５とを
有している。The decoding unit 90 includes an inverse quantization unit 90 for performing an inverse quantization process on the compressed texture data.
2, inverse DCT means 903 for performing an inverse DCT process on the output and outputting texture data of a spatial domain;
There is an adding means 911 for adding the texture data of the space area and the predicted texture data to output decoded texture data. Further, the decoding unit 90
A compensating unit 906 for performing a compensating process on the decoded texture data, a memory 907 for storing its output,
It has a motion compensator 905 that performs motion compensation on the supplementary texture data recorded in the memory 907 based on the motion vector, and generates and outputs the predicted texture data.

【００１８】また、上記復号化部９０は、算術符号化形
状データに対して、予測形状データに基いて、算術復号
化処理を施して復号化形状データを出力する形状算術復
号化手段９０８と、上記復号化形状データを記録するメ
モリ９１０と、該メモリ９１０に記録されている復号化
形状データを上記動きベクトルに基いて動き補償し、上
記予測形状データを生成、出力する動き補償手段９０９
とを有している。なお、復号化部９の構成は、復号化部
９０と同じであるので説明は省略する。The decoding unit 90 performs shape arithmetic decoding means 908 for performing arithmetic decoding processing on the arithmetically encoded shape data based on the predicted shape data and outputting decoded shape data. A memory 910 for recording the decoded shape data; and a motion compensating means 909 for performing motion compensation on the decoded shape data recorded in the memory 910 based on the motion vector to generate and output the predicted shape data.
And Since the configuration of the decoding unit 9 is the same as that of the decoding unit 90, the description will be omitted.

【００１９】次に動作について説明する。前景に対応す
るビットストリームが上記復号化部９０に入力され、背
景に対応するビットストリームが上記復号化部９に入力
されると、各復号化部では、ビットストリームに含まれ
る符号化テクスチャデータ及び符号化形状データに対す
る復号化処理が行われる。これにより、上記復号化部９
０からは前景に対応する復号化テクスチャデータ及び復
号化形状データが出力され、上記復号化部９からは背景
に対応する復号化テクスチャデータ及び復号化形状デー
タが出力される。Next, the operation will be described. When the bit stream corresponding to the foreground is input to the decoding unit 90 and the bit stream corresponding to the background is input to the decoding unit 9, each of the decoding units outputs encoded texture data and bit data included in the bit stream. A decoding process is performed on the encoded shape data. Thereby, the decoding unit 9
From 0, decoded texture data and decoded shape data corresponding to the foreground are output, and the decoding unit 9 outputs decoded texture data and decoded shape data corresponding to the background.

【００２０】そして、合成手段９１では、前景及び背景
の復号化形状データに基いて、前景と背景との間で復号
化テクスチャデータを合成する処理が行われ、合成画像
データが表示部（図示せず）に出力され、該表示部にて
合成画像９６の表示が行われる。In the synthesizing means 91, a process of synthesizing the decoded texture data between the foreground and the background is performed based on the decoded shape data of the foreground and the background, and the synthesized image data is displayed on a display unit (not shown). And the composite image 96 is displayed on the display unit.

【００２１】このように前景と背景を合成する際には、
それぞれのオブジェクトの形状情報が必要であり、各オ
ブジェクトの復号化形状データが各オブジェクトの復号
化テクスチャデータとともに合成手段９１に供給され
る。When the foreground and the background are combined as described above,
The shape information of each object is required, and the decoded shape data of each object is supplied to the synthesizing unit 91 together with the decoded texture data of each object.

【００２２】また、上記のようにオブジェクト単位の復
号化処理を行うためには、各オブジェクトに対応する形
状情報と、前景のように矩形形状ではないオブジェクト
に対応するテクスチャ情報とが必要となる。そのためＭ
ＰＥＧ４の復号化処理に対応する機能ブロックでは、Ｍ
ＰＥＧ２の復号化処理に対応する機能ブロックと共通の
手段である逆量子化手段９０２，逆ＤＣＴ手段９０３，
動きベクトル復号化手段９０４，テクスチャ動き補償手
段９０５及びメモリ９０７の他に、形状情報を復号する
ための算術復号化処理を行う形状算術復号化手段９０８
と、任意形状を有する前景に対応する復号化テクスチャ
データに対して、該前景が矩形形状となるよう補填処理
を施す補填手段９０６とが必要となる。Further, in order to perform the decoding process for each object as described above, shape information corresponding to each object and texture information corresponding to an object which is not a rectangular shape such as a foreground are required. Therefore M
In the functional block corresponding to the PEG4 decoding process, M
Inverse quantization means 902, inverse DCT means 903, which are means common to functional blocks corresponding to PEG2 decoding processing
In addition to the motion vector decoding unit 904, the texture motion compensation unit 905, and the memory 907, a shape arithmetic decoding unit 908 for performing an arithmetic decoding process for decoding shape information.
And a compensating unit 906 that performs a compensating process on the decoded texture data corresponding to the foreground having an arbitrary shape so that the foreground has a rectangular shape.

【００２３】[0023]

【発明が解決しようとする課題】ところが、図９に示
す、ＭＰＥＧ２に対応した復号化ＬＳＩでは、図１０に
示すＭＰＥＧ４対応の復号化処理を効率良く行うことが
できない。つまり、可変長復号化処理、逆ＤＣＴ処理、
及び動き補償処理は、ＭＰＥＧ２とＭＰＥＧ４の間で共
通しているが、ＭＰＥＧ４対応の処理で新たに導入され
た補填処理、形状復号化処理、及び合成処理について
は、これらと共通する種類の処理を行う部分がＭＰＥＧ
２対応の機能ブロックにはない。However, the decoding LSI corresponding to MPEG2 shown in FIG. 9 cannot efficiently perform the decoding processing corresponding to MPEG4 shown in FIG. That is, variable-length decoding, inverse DCT,
And the motion compensation process are common between MPEG2 and MPEG4, but the compensation process, shape decoding process, and synthesis process newly introduced in the MPEG4 compatible process are the same types of processes. The part to do is MPEG
It is not in the function block corresponding to 2.

【００２４】このため、これらの処理をＭＰＥＧ２対応
の復号化ＬＳＩにおけるセットアッププロセッサ８０１
のような汎用演算プロセッサで実現することも考えられ
るが、これらの処理では、条件に応じて異なる演算を行
うといった分岐処理が多く含まれており、またプロセッ
サに対するデータのアクセスも多く発生するため、復号
化ＬＳＩによる高速な復号化処理が不可能であり、ま
た、上記ＭＰＥＧ４における処理を実現するためには、
復号化ＬＳＩとして高い動作周波数を有するものが必要
となり、復号化装置のコストアップとなってしまうとい
う問題点があった。For this reason, these processes are performed by a setup processor 801 in a decoding LSI compatible with MPEG2.
Although it is also conceivable to realize this with a general-purpose arithmetic processor such as these, these processes include many branching processes such as performing different operations according to conditions, and data access to the processor also occurs a lot, so High-speed decoding processing by a decoding LSI is not possible, and in order to realize the processing in the above MPEG4,
As the decoding LSI, one having a high operating frequency is required, and there is a problem that the cost of the decoding device is increased.

【００２５】この発明は上記のような問題点を解決する
ためになされたもので、ＭＰＥＧ４方式により圧縮符号
化された、画像などの複数のオブジェクトに対応するビ
ットストリームに対する復号化処理を高速で行うことが
でき、しかも該復号化処理を行うハードウェア回路のコ
ストを最小限に抑えることができる画像復号化装置を得
ることを目的とする。The present invention has been made to solve the above problems, and performs high-speed decoding of a bit stream corresponding to a plurality of objects such as images, which has been compression-encoded by the MPEG4 system. It is another object of the present invention to provide an image decoding apparatus that can perform the decoding process and minimize the cost of a hardware circuit that performs the decoding process.

【００２６】また、この発明は、画像などの複数のオブ
ジェクトに対応するデジタルデータに対するＭＰＥＧ４
方式の符号化処理を高速で行うことができ、しかも該符
号化処理を行うハードウェア回路のコストを最小限に抑
えることができる画像符号化装置を得ることを目的とす
る。The present invention also relates to an MPEG-4 format for digital data corresponding to a plurality of objects such as images.
It is an object of the present invention to provide an image coding apparatus capable of performing high-speed coding processing and minimizing the cost of a hardware circuit that performs the coding processing.

【００２７】[0027]

【課題を解決するための手段】この発明（請求項１）に
係る画像復号化装置は、画像の輝度あるいは色を表すテ
クスチャデータに符号化処理を施して得られる符号化テ
クスチャデータ、及び上記画像の形を表す形状データに
符号化処理を施して得られる符号化形状データを含む符
号化画像データに復号化処理を施して、復号化テクスチ
ャデータ及び復号化形状データを含む復号化画像データ
を生成する画像復号化装置であって、上記符号化形状デ
ータに対して算術復号化処理を施して上記復号化形状デ
ータを出力する算術復号化手段と、上記復号化テクスチ
ャデータにより形成される、上記復号化処理の対象とな
る画像を含む画像空間における、該画像外部に位置する
画素の画素値を補填する補填手段と、上記復号化処理の
対象となる画像の復号化テクスチャデータを、他の画像
のテクスチャデータと合成する合成手段とを備え、上記
算術復号化手段，補填手段，及び合成手段のうちの少な
くとも１つをハードウェア回路により構成するととも
に、該ハードウェア回路を制御するプロセッサを備えた
ことを特徴とするものである。An image decoding apparatus according to the present invention (claim 1) comprises: encoded texture data obtained by performing an encoding process on texture data representing luminance or color of an image; The decoding process is performed on the encoded image data including the encoded shape data obtained by performing the encoding process on the shape data representing the shape of the image to generate the decoded texture data and the decoded image data including the decoded shape data. An arithmetic decoding means for performing arithmetic decoding processing on the encoded shape data and outputting the decoded shape data, and the decoding formed by the decoded texture data. Means for supplementing pixel values of pixels located outside the image in an image space including the image to be subjected to the decoding process, and Synthesizing means for synthesizing the encoded texture data with the texture data of another image, wherein at least one of the arithmetic decoding means, the complementing means, and the synthesizing means is constituted by a hardware circuit. And a processor for controlling the wear circuit.

【００２８】この発明（請求項２）に係る画像復号化装
置は、画像の形を表す形状データに算術符号化処理を施
して得られる符号化形状データに対して、算術復号化処
理を施して復号化形状データを出力する、ハードウェア
回路からなる算術復号化手段を備えた画像復号化装置で
あって、上記算術復号化手段を構成するハードウエア回
路が、既に算術復号化処理が完了した複数の画素の画素
値に基いて、上記形状データに対応する形状画像空間に
おける、算術復号化処理の対象となる対象画素が所定の
画素値を有する確率を計算する確率計算部と、上記符号
化形状データ、及び上記確率計算部の出力である対象画
素に対応する確率に基いて、該対象画素の画素値を算出
する算術復号部と、上記算術復号部から出力される画素
値を複数まとめて同時に出力するデータ出力部とを備え
たことを特徴とするものである。An image decoding apparatus according to the present invention (claim 2) performs arithmetic decoding processing on encoded shape data obtained by performing arithmetic coding processing on shape data representing the shape of an image. An image decoding apparatus that outputs decoded shape data and includes an arithmetic decoding unit including a hardware circuit, wherein the hardware circuit that constitutes the arithmetic decoding unit includes a plurality of arithmetic decoding units that have already completed the arithmetic decoding process. A probability calculation unit that calculates a probability that a target pixel to be subjected to arithmetic decoding processing has a predetermined pixel value in a shape image space corresponding to the shape data based on the pixel value of the pixel of Data, and an arithmetic decoding unit that calculates the pixel value of the target pixel based on the probability corresponding to the target pixel output from the probability calculation unit, and a plurality of pixel values output from the arithmetic decoding unit. It is characterized in that a data output unit for outputting at.

【００２９】この発明（請求項３）は、請求項２記載の
画像復号化装置において、上記算術復号化手段を構成す
るハードウエア回路が、上記確率計算部による確率の計
算処理、算術復号部による画素値の算出処理、及びデー
タ出力部による画素値の出力処理を、並行して行うこと
が可能であることを特徴とするものである。According to a third aspect of the present invention, in the image decoding apparatus according to the second aspect, the hardware circuit constituting the arithmetic decoding means includes a probability calculation process performed by the probability calculation unit and a probability calculation process performed by the arithmetic decoding unit. It is characterized in that the pixel value calculation processing and the pixel value output processing by the data output unit can be performed in parallel.

【００３０】この発明（請求項４）は、請求項２記載の
画像復号化装置において、上記算術復号化手段を構成す
るハードウエア回路が、上記確率計算部による確率の計
算処理、算術復号部による画素値の算出処理、及びデー
タ出力部による画素値の出力処理を、複数画素まとめて
行うことを特徴とするものである。According to a fourth aspect of the present invention, in the image decoding apparatus according to the second aspect, the hardware circuit constituting the arithmetic decoding means includes a probability calculation process by the probability calculation unit and a probability calculation unit by the arithmetic decoding unit. The pixel value calculation processing and the pixel value output processing by the data output unit are performed collectively for a plurality of pixels.

【００３１】この発明（請求項５）は、請求項２記載の
画像復号化装置において、上記データ出力部が、上記算
術復号部から出力される画素値を、一定数毎に格納する
データ格納部を有し、該データ格納部に画素値が格納さ
れる単位を、上記ハードウエア回路を制御するプロセッ
サ、あるいは符号化形状データ及び復号化形状データを
記録するメモリに対してパラレルアクセスされるデータ
数であるデータ幅と等しくしたことを特徴とするもので
ある。According to a fifth aspect of the present invention, in the image decoding device according to the second aspect, the data output unit stores the pixel value output from the arithmetic decoding unit for each predetermined number. And the unit in which the pixel value is stored in the data storage unit is the number of data to be accessed in parallel to the processor that controls the hardware circuit or the memory that records the encoded shape data and the decoded shape data. , Which is equal to the data width.

【００３２】この発明（請求項６）は、請求項２記載の
画像復号化装置において、上記データ出力部が、上記算
術復号部から出力される画素値を、一定数毎に格納する
データ格納部を有し、該データ格納部に画素値が格納さ
れる単位を、上記算術復号化処理の単位である所定数の
画素からなる矩形画像空間の１画素列における画素数の
倍数としたことを特徴とするものである。According to a sixth aspect of the present invention, in the image decoding apparatus according to the second aspect, the data output unit stores the pixel value output from the arithmetic decoding unit for each predetermined number. Wherein the unit in which the pixel value is stored in the data storage unit is a multiple of the number of pixels in one pixel column of a rectangular image space composed of a predetermined number of pixels, which is a unit of the arithmetic decoding process. It is assumed that.

【００３３】この発明（請求項７）は、請求項２記載の
画像復号化装置において、上記データ出力部が、上記算
術復号部から出力される画素値を、一定数の画素値を格
納単位として格納するデータ格納部と、該格納単位を構
成する画素が画像外画素であるかどうかを判定する形状
情報判定回路とを備えたことを特徴とするものである。According to a seventh aspect of the present invention, in the image decoding apparatus according to the second aspect, the data output unit stores the pixel value output from the arithmetic decoding unit as a unit of a fixed number of pixel values. It is characterized by comprising a data storage unit for storing, and a shape information determining circuit for determining whether or not a pixel constituting the storage unit is a pixel outside the image.

【００３４】この発明（請求項８）は、請求項１記載の
画像復号化装置において、上記プロセッサが、入力され
た形状データに基いて補填方法を決定し、該決定した補
填方法を示す情報を上記補填手段に出力し、上記補填手
段が、上記決定された補填方法に基いて補填処理を行う
ことを特徴とするものである。According to the present invention (claim 8), in the image decoding apparatus according to claim 1, the processor determines a filling method based on the input shape data, and outputs information indicating the decided filling method. The compensation is output to the compensation means, and the compensation means performs compensation processing based on the determined compensation method.

【００３５】この発明（請求項９）は、請求項１記載の
画像復号化装置において、上記補填手段が、上記補填処
理を、上記算術復号化処理の単位である所定数の画素か
らなる矩形画像空間の１画素列における画素数の倍数を
単位として行うことを特徴とするものである。According to a ninth aspect of the present invention, in the image decoding apparatus according to the first aspect, the compensation means performs the compensation processing by a rectangular image comprising a predetermined number of pixels, which is a unit of the arithmetic decoding processing. It is characterized in that it is performed in units of a multiple of the number of pixels in one pixel column in the space.

【００３６】この発明（請求項１０）に係る画像復号化
装置は、画像の輝度あるいは色を表すテクスチャデータ
に符号化処理を施して得られる符号化テクスチャデー
タ、及び上記画像の形を表す形状データに符号化処理を
施して得られる符号化形状データを含む符号化画像デー
タに復号化処理を施して、復号化テクスチャデータ及び
復号化形状データを含む復号化画像データを生成する画
像復号化装置であって、上記復号化テクスチャデータに
より形成される画像空間における、上記画像の外部に位
置する画素の画素値を補填する補填処理を行う、ハード
ウェア回路からなる補填手段を備え、上記補填手段を構
成するハードウエア回路が、上記復号化形状データを用
いて、各画素が上記画像空間における画像内画素と画像
外画素のいずれであるかを判定して、補填処理に用いる
べき画素を示すポインタ制御部と、上記ポインタ制御部
により示された画素の画素値を用いてその平均値を計算
する平均演算部と、上記ポインタ制御部により示された
画素の画素値、上記平均演算部により計算された平均
値、ならびに復号化形状データ及び復号化テクスチャデ
ータに基いて、補填画素値を生成し、補填対象となる画
素の画素値を、該補填画素値により補填するデータ処理
部とを備えたことを特徴とするものである。An image decoding apparatus according to the present invention (claim 10) is characterized in that encoded texture data obtained by performing an encoding process on texture data representing luminance or color of an image, and shape data representing the shape of the image An image decoding apparatus that performs a decoding process on encoded image data including encoded shape data obtained by performing an encoding process on to generate decoded image data including decoded texture data and decoded shape data. And a compensating means comprising a hardware circuit for performing a compensating process for compensating for a pixel value of a pixel located outside the image in the image space formed by the decoded texture data. The hardware circuit that performs the decoding process uses the decoded shape data to determine whether each pixel is an image pixel or an image pixel in the image space. A pointer control unit that indicates a pixel to be used for the compensation processing, an average calculation unit that calculates the average value using the pixel value of the pixel indicated by the pointer control unit, and a pointer control unit that calculates Based on the pixel value of the indicated pixel, the average value calculated by the averaging unit, and the decoded shape data and the decoded texture data, a compensated pixel value is generated, and the pixel value of the compensated pixel is calculated. And a data processing unit for performing compensation using the compensated pixel value.

【００３７】この発明（請求項１１）は、請求項１０記
載の画像復号化装置において、上記補填手段が、上記ポ
インタ制御部による画素の指定と、上記平均演算部によ
る平均値の計算と、上記データ処理部による画素値の補
填とを、同時に並行して行うことが可能であることを特
徴とするものである。According to the present invention (invention 11), in the image decoding apparatus according to claim 10, the compensation means designates a pixel by the pointer control section, calculates an average value by the averaging section, It is characterized in that the pixel value compensation by the data processing unit can be performed simultaneously and in parallel.

【００３８】この発明（請求項１２）は、請求項１０記
載の画像復号化装置において、上記補填手段が、上記補
填処理を、上記画像空間における所定数の画素からなる
ブロック毎に行い、上記補填手段が、上記補填処理の対
象となっている処理ブロックのあとに処理される処理ブ
ロックに対する補填処理に必要な復号済み画素値を保持
するメモリを備えたことを特徴とするものである。According to a twelfth aspect of the present invention, in the image decoding apparatus according to the tenth aspect, the compensation means performs the compensation process for each block of a predetermined number of pixels in the image space. The means is provided with a memory for holding a decoded pixel value necessary for the compensation processing for a processing block to be processed after the processing block targeted for the compensation processing.

【００３９】この発明（請求項１３）は、請求項１記載
の画像復号化装置において、上記合成手段が、上記復号
化処理の対象となる対象画像に対応する復号化テクスチ
ャデータ、該対象画像に対応する復号化形状データ、及
び合成に用いられる他の画像に対応するテクスチャデー
タを入力し、上記復号化形状データに基いて、上記対象
画像の復号化テクスチャデータと合成に用いられる他の
画像のテクスチャデータとを合成して出力することを特
徴とするものである。According to a thirteenth aspect of the present invention, in the image decoding apparatus according to the first aspect, the synthesizing means includes: decoding texture data corresponding to the target image to be decoded; Corresponding decoded shape data, and texture data corresponding to another image used for synthesis are input, and, based on the decoded shape data, decoded texture data of the target image and another image used for synthesis. It is characterized in that it is synthesized with texture data and output.

【００４０】この発明（請求項１４）は、請求項１記載
の画像復号化装置において、上記合成手段が、同時刻に
表示する画像を一括して合成することを特徴とするもの
である。According to a fourteenth aspect of the present invention, in the image decoding apparatus according to the first aspect, the synthesizing means synthesizes the images displayed at the same time collectively.

【００４１】この発明（請求項１５）に係る画像符号化
装置は、画像の輝度あるいは色を表すテクスチャデータ
及び上記画像の形を表す形状データを含む画像データに
対して、オブジェクト復号化処理を含む符号化処理を施
して、符号化形状データ及び符号化テクスチャデータを
含む符号化画像データを出力するとともに、オブジェク
ト復号化形状データ及びオブジェクト復号化テクスチャ
データを含むオブジェクト復号化画像データを生成する
画像符号化装置であって、上記形状データに対して、オ
ブジェクト算術復号化処理を含む算術符号化処理を施し
て上記符号化形状データを出力するとともに、上記オブ
ジェクト復号化形状データを生成する算術符号化手段
と、上記オブジェクト復号化テクスチャデータにより形
成される画像空間における、上記画像の外部に位置する
画素の画素値を補填する補填手段とを備え、上記算術符
号化手段及び補填手段のうちの少なくとも１つをハード
ウェア回路により構成するとともに、該ハードウェア回
路を制御するプロセッサを備えたことを特徴とするもの
である。The image coding apparatus according to the present invention (claim 15) includes an object decoding process for image data including texture data representing the brightness or color of the image and shape data representing the shape of the image. An image code that performs an encoding process, outputs encoded image data including encoded shape data and encoded texture data, and generates object decoded image data including object decoded shape data and object decoded texture data. Arithmetic processing means for performing an arithmetic coding process including an object arithmetic decoding process on the shape data to output the encoded shape data, and generating the object decoded shape data And the image space formed by the object-decoded texture data Supplementing means for supplementing pixel values of pixels located outside the image, wherein at least one of the arithmetic coding means and the supplementing means is constituted by a hardware circuit, and the hardware circuit is It is characterized by comprising a processor for controlling.

【００４２】この発明（請求項１６）に係る画像復符号
化装置は、画像の輝度あるいは色を表すテクスチャデー
タ及び上記画像の形を表す形状データを含む画像データ
に対して、オブジェクト復号化処理を含む符号化処理を
施して、符号化形状データ及び符号化テクスチャデータ
を含む符号化画像データを出力するとともに、オブジェ
クト復号化形状データ及びオブジェクト復号化テクスチ
ャデータを含むオブジェクト復号化画像データを生成す
る画像符号化装置であって、上記オブジェクト復号化テ
クスチャデータにより形成される画像空間における、上
記画像の外部に位置する画素の画素値を補填する、ハー
ドウェア回路からなる補填手段を備え、上記補填手段を
構成するハードウエア回路が、上記オブジェクト復号化
形状データを用いて、各画素が画像内画素と画像外画素
のいずれであるかを判定して、補填処理に用いるべき画
素を示すポインタ制御部と、上記ポインタ制御部により
示された画素の画素値を用いてその平均値を計算する平
均演算部と、上記ポインタ制御部により示された画素の
画素値、上記平均演算部により計算された平均値、なら
びに上記オブジェクト復号化形状データ及びオブジェク
ト復号化テクスチャデータに基いて補填画素値を生成
し、補填対象となる画素の画素値を、該補填画素値によ
り補填するデータ処理部とを備えたことを特徴とするも
のである。The image decoding apparatus according to the present invention (claim 16) performs an object decoding process on image data including texture data representing the brightness or color of the image and shape data representing the shape of the image. An image for performing encoded processing including outputting encoded image data including encoded shape data and encoded texture data, and generating object decoded image data including object decoded shape data and object decoded texture data An encoding device, comprising: a complementing unit composed of a hardware circuit that compensates for a pixel value of a pixel located outside the image in an image space formed by the object-decoded texture data. The constituent hardware circuit uses the object decoded shape data. Determining whether each pixel is an in-image pixel or an out-of-image pixel, and using a pointer control unit indicating a pixel to be used for the interpolation processing, and a pixel value of the pixel indicated by the pointer control unit. An average calculation unit for calculating an average value, a pixel value of a pixel indicated by the pointer control unit, an average value calculated by the average calculation unit, and the object decoded shape data and the object decoded texture data. A data processing unit for generating a supplementary pixel value and supplementing a pixel value of a pixel to be supplemented with the supplementary pixel value.

【００４３】[0043]

【発明の実施の形態】以下、本発明の実施の形態につい
て説明する。 （実施の形態１）図１は本発明の実施の形態１による画
像復号化装置を説明するためのブロック図である。ＭＰ
ＥＧ４対応の画像復号化装置である復号化ＬＳＩ１００
は、復号化ＬＳＩ１００の各部を制御するプロセッサ部
１１と、物体に対応するデジタル画像データにＭＰＥＧ
４方式の符号化処理を施して得られる、符号化テクスチ
ャデータ及び符号化形状データを含むビットストリーム
に対して可変長復号化処理を施す可変長復号エンジン８
０２と、該可変長復号化処理により得られる周波数領域
のテクスチャデータに対して離散コサイン逆変換処理を
施して空間領域のテクスチャデータを生成するＩＤＣＴ
エンジン８０３とを有し、空間領域のテクスチャデータ
と予測テクスチャデータとに基いて復号化テクスチャデ
ータを生成、出力する構成となっている。Embodiments of the present invention will be described below. (First Embodiment) FIG. 1 is a block diagram for explaining an image decoding apparatus according to a first embodiment of the present invention. MP
A decoding LSI 100 which is an image decoding device compatible with EG4
Is a processor unit 11 for controlling each unit of the decoding LSI 100 and an MPEG format for digital image data corresponding to an object.
A variable-length decoding engine 8 that performs variable-length decoding on a bit stream containing coded texture data and coded shape data obtained by performing four-type coding.
02 and an IDCT that performs inverse discrete cosine transform processing on frequency domain texture data obtained by the variable length decoding processing to generate spatial domain texture data.
An engine 803 is configured to generate and output decoded texture data based on the texture data in the spatial domain and the predicted texture data.

【００４４】また、復号化ＬＳＩ１００は、上記復号化
テクスチャデータに対する動き補償処理により上記予測
テクスチャデータを生成する動き補償エンジン８０４
と、上記ビットストリーム、空間領域のテクスチャデー
タ、予測テクスチャデータ、及び復号化テクスチャデー
タを記録するメモリ１６と、該メモリ１６に対するデー
タのアクセスを制御するメモリ制御部１５と、上記復号
化テクスチャデータを表示部（図示せず）に出力するビ
デオＩＦ部１７とを有し、上記メモリ制御部１５からの
制御信号に基いて、上記ビデオＩＦ部１７を上記プロセ
ッサ部１１により制御する構成となっている。The decoding LSI 100 generates a motion compensation engine 804 for generating the predicted texture data by performing a motion compensation process on the decoded texture data.
A memory 16 for recording the bit stream, the texture data of the spatial domain, the predicted texture data, and the decoded texture data; a memory control unit 15 for controlling access to data to the memory 16; A video IF unit 17 for outputting to a display unit (not shown), and the video IF unit 17 is controlled by the processor unit 11 based on a control signal from the memory control unit 15. .

【００４５】また、復号化ＬＳＩ１００は、可変長復号
化処理が施された符号化形状データに対して算術復号化
処理を施す算術復号エンジン１２と、復号化テクスチャ
データに対して補填処理を施すパディングエンジン１３
と、復号化テクスチャを合成する合成エンジン１４とを
有し、補填処理が施されたテクスチャデータは上記メモ
リ１６に格納される。The decoding LSI 100 includes an arithmetic decoding engine 12 for performing an arithmetic decoding process on the encoded shape data on which the variable length decoding process has been performed, and a padding for performing a compensation process on the decoded texture data. Engine 13
And a synthesis engine 14 for synthesizing the decoded texture. The texture data subjected to the compensation processing is stored in the memory 16.

【００４６】なお、上記可変長復号エンジン８０２、Ｉ
ＤＣＴエンジン８０３、動き補償エンジン８０４、算術
復号エンジン１２、パディングエンジン１３、及び合成
エンジン１４は、ハードウエア回路により構成されてい
る。The variable length decoding engine 802, I
The DCT engine 803, the motion compensation engine 804, the arithmetic decoding engine 12, the padding engine 13, and the synthesis engine 14 are configured by hardware circuits.

【００４７】このように本実施の形態１の画像復号化装
置（復号化ＬＳＩ）１００では、従来例の画像復号化装
置（復号化ＬＳＩ）８００における可変長復号エンジン
８０２、ＩＤＣＴエンジン８０３、及び動き補償エンジ
ン８０４の他に、ＭＰＥＧ４特有の処理を行うための複
数の専用エンジン，つまり算術復号エンジン１２、パデ
ィングエンジン１３、及び合成エンジン１４を備えてい
る。As described above, in the image decoding apparatus (decoding LSI) 100 according to the first embodiment, the variable length decoding engine 802, the IDCT engine 803, and the motions in the conventional image decoding apparatus (decoding LSI) 800 are used. In addition to the compensation engine 804, a plurality of dedicated engines for performing processing specific to MPEG4, that is, an arithmetic decoding engine 12, a padding engine 13, and a synthesis engine 14 are provided.

【００４８】次に動作について説明する。復号化ＬＳＩ
１００において、従来のＭＰＥＧ２対応の復号化ＬＳＩ
８００と共通の処理は、その説明を省略する。ＭＰＥＧ
４方式の圧縮符号化処理をデジタル画像データに施して
得られるビットストリームがプロセッサ部１１に入力さ
れると、該ビットストリームはメモリ制御部１５を介し
てメモリ１６に記録される。Next, the operation will be described. Decoding LSI
100, a conventional MPEG2-compatible decoding LSI
The description of the processing common to the processing 800 is omitted. MPEG
When a bit stream obtained by subjecting digital image data to four-system compression encoding is input to the processor unit 11, the bit stream is recorded in the memory 16 via the memory control unit 15.

【００４９】すると、上記ビットストリームは、プロセ
ッサ部１１及び各エンジンにてＭＰＥＧ４対応の復号手
順に従って復号化処理が施される。Then, the bit stream is subjected to a decoding process by the processor unit 11 and each engine according to a decoding procedure compatible with MPEG4.

【００５０】以下、ＭＰＥＧ４対応の復号手順特有の処
理について説明する。上記メモリ１６に記憶されている
復号化テクスチャデータのうち、矩形形状でないテクス
チャデータは、パディングエンジン１３にて補填処理が
施されて、矩形形状のテクスチャデータに変換される。
補填処理が施された復号化テクスチャデータはメモリ１
６に記憶される。そして、動き補償エンジン８０４が、
上記メモリ１６に記録されている、補填処理が施された
復号化テクスチャデータに対して動き補償処理を行う。The processing specific to the decoding procedure compatible with MPEG4 will be described below. Of the decoded texture data stored in the memory 16, non-rectangular texture data is subjected to compensation processing by the padding engine 13 to be converted into rectangular texture data.
The decoded texture data subjected to the compensation processing is stored in the memory 1
6 is stored. Then, the motion compensation engine 804
A motion compensation process is performed on the decoded texture data recorded in the memory 16 and subjected to the compensation process.

【００５１】一方、符号化形状データは、可変長復号の
際にビットストリームから分離されて算術復号エンジン
１２に供給され、算術復号エンジン１２にてその算術復
号化処理により復号化形状データに変換される。On the other hand, the encoded shape data is separated from the bit stream at the time of variable length decoding and supplied to the arithmetic decoding engine 12, where it is converted into decoded shape data by the arithmetic decoding process. You.

【００５２】この算術復号化処理では、符号化形状デー
タを一旦復号しないと何ビットのデータが１つの符号化
単位に対応する形状データとなっているか判別できな
い。In the arithmetic decoding process, it is impossible to determine how many bits of data are the shape data corresponding to one coding unit unless the encoded shape data is once decoded.

【００５３】そこで、ＭＰＥＧ４では、算術復号の単位
はマクロブロック（１６画素×１６ライン）であるた
め、可変長復号と同時にマクロブロックに対応する算術
復号化処理が行われる。Therefore, in MPEG4, since the unit of arithmetic decoding is a macroblock (16 pixels × 16 lines), arithmetic decoding corresponding to the macroblock is performed simultaneously with variable length decoding.

【００５４】そして、符号化テクスチャデータと符号化
形状データが復号された後、合成エンジン１４では、該
復号化処理により得られた復号化テクスチャデータ及び
復号化形状データを用いて、オブジェクトに対応するテ
クスチャデータを合成し、その結果得られる合成画像デ
ータがビデオＩＦブロック１７を通して表示部（図示せ
ず）に出力される。After the encoded texture data and the encoded shape data are decoded, the synthesizing engine 14 uses the decoded texture data and the decoded shape data obtained by the decoding process to correspond to the object. The texture data is synthesized, and the synthesized image data obtained as a result is output to a display unit (not shown) through the video IF block 17.

【００５５】図２は、算術復号エンジン１２の一例を示
すブロック図である。この算術復号エンジン１２は、可
変長復号化処理により得られる符号化形状データを格納
するストリームバッファ２４と、符号化形状データに対
応する形状画像空間における復号化処理の対象となる対
象画素が一定の画素値を有する確率を計算する確率計算
部２３と、確率計算部２３から出力される対象画素が一
定の画素値を有する確率に基いて、上記符号化形状デー
タに算術復号化処理を施す算術復号回路２２と、算術復
号回路２２の出力（復号化形状データ）を格納するデー
タ出力部２１と、から構成されている。FIG. 2 is a block diagram showing an example of the arithmetic decoding engine 12. The arithmetic decoding engine 12 includes a stream buffer 24 for storing encoded shape data obtained by the variable length decoding process, and a fixed target pixel to be decoded in a shape image space corresponding to the encoded shape data. A probability calculator 23 for calculating a probability of having a pixel value, and an arithmetic decoding for performing an arithmetic decoding process on the encoded shape data based on the probability that the target pixel output from the probability calculator 23 has a constant pixel value It comprises a circuit 22 and a data output unit 21 for storing the output (decoded shape data) of the arithmetic decoding circuit 22.

【００５６】ここで、上記データ出力部２１、算術復号
部２２、及び確率計算部２３は、それぞれ独立動作が可
能な構成となっている。Here, the data output unit 21, the arithmetic decoding unit 22, and the probability calculation unit 23 are configured to be able to operate independently.

【００５７】また、図３及び図４は算術復号の方法を説
明するための模式図である。図３において、Ｘ，Ｃ０〜
Ｃ９は形状画像空間における画素であり、画素Ｃ０〜Ｃ
９は算術復号化処理済みの画素、画素Ｘは算術復号化処
理の対象となっている対象画素である。FIGS. 3 and 4 are schematic diagrams for explaining the arithmetic decoding method. In FIG. 3, X, C0
C9 is a pixel in the shape image space, and pixels C0 to C9
Reference numeral 9 denotes a pixel subjected to arithmetic decoding processing, and pixel X denotes a target pixel to be subjected to arithmetic decoding processing.

【００５８】ＭＰＥＧ４方式における算術復号化処理で
は、まず、確率計算部２３にて、対象画素Ｘの画素値が
０であるか１であるかの確率が、該対象画素Ｘの周囲に
位置する画素Ｃ０〜Ｃ９の画素値に基いて求められる。In the arithmetic decoding process in the MPEG4 system, first, the probability that the pixel value of the target pixel X is 0 or 1 is determined by the probability calculation unit 23 for the pixels located around the target pixel X. It is obtained based on the pixel values of C0 to C9.

【００５９】このとき、シフトレジスタ２３３には、形
状画像空間における３ライン分のデータ（形状画素値）
を記録しておき、３ラインにおける複数の画素のうちの
参照される画素Ｃ０〜Ｃ９を示すポインタを、対象画素
が更新される度に、シフトさせることで、常に、対象画
素Ｘに対応する確率を生成するために用いる画素Ｃ０〜
Ｃ９が示される。At this time, the shift register 233 stores data (shape pixel values) for three lines in the shape image space.
Is recorded, and the pointers indicating the referenced pixels C0 to C9 of the plurality of pixels in the three lines are shifted every time the target pixel is updated, so that the probability corresponding to the target pixel X is always maintained. Pixel C0 used to generate
C9 is shown.

【００６０】例えば、図４に示すように、１６画素×１
６画素からなる画像空間であるマクロブロックＭＢにお
ける各画素について上記確率を求めるには、該マクロブ
ロック内の各画素のデータ（画素値）に加えて、該マク
ロブロックの上側の２ラインＵの画素のデータ（画素
値）と、マクロブロックの左側の２カラムＬの画素のデ
ータ（画素値）が必要となる。For example, as shown in FIG.
In order to calculate the above-mentioned probability for each pixel in the macroblock MB which is an image space composed of 6 pixels, in addition to the data (pixel value) of each pixel in the macroblock, the pixels of the upper two lines U of the macroblock (Pixel value) and the data (pixel value) of the pixels in the two columns L on the left side of the macro block are required.

【００６１】周辺データ用バッファ２３２には、上記２
ラインＵの画素のデータと、２カラムＬの画素のデータ
と、マクロブロックＭＢの画素のデータとがセレクタ２
３１により切り替えられて記憶される。具体的には、２
ラインＵの画素のデータは図１に示すメモリ１６から供
給され、２カラムＬの画素のデータはバッファ２１２か
ら供給される。また、算術復号化処理はマクロブロック
単位で行われるため、周辺データ用バッファ２３２の内
容はマクロブロック単位で更新される。In the peripheral data buffer 232, the above 2
The pixel data of the line U, the pixel data of the two columns L, and the pixel data of the macro block MB are connected to the selector 2.
It is switched and stored by 31. Specifically, 2
The data of the pixels in the line U is supplied from the memory 16 shown in FIG. 1, and the data of the pixels in the two columns L is supplied from the buffer 212. Since the arithmetic decoding process is performed in units of macroblocks, the contents of the peripheral data buffer 232 are updated in units of macroblocks.

【００６２】さらに、シフトレジスタ２３３では、復号
対象の画素位置に応じて、周辺データ用バッファ２３２
に記憶されているデータと、対象画素の直前に復号化処
理が行われた画素のデータを用いて、対象画素Ｘの周辺
の画素Ｃ０〜Ｃ９の画素値が生成される。そして生成さ
れた周辺の画素の画素値を用いて、対象画素の確率がメ
モリ２３４内の確率テーブルに基いて生成され、算術復
号部２２へ送られる。Further, the shift register 233 stores the peripheral data buffer 232 in accordance with the pixel position to be decoded.
The pixel values of the pixels C <b> 0 to C <b> 9 around the target pixel X are generated using the data stored in the target pixel X and the data of the pixel subjected to the decoding process immediately before the target pixel. Then, using the generated pixel values of the peripheral pixels, the probability of the target pixel is generated based on the probability table in the memory 234, and is sent to the arithmetic decoding unit 22.

【００６３】算術復号部２２を構成する算術復号回路２
２１では、確率計算部２３から入力された対象画素の確
率と、ストリームバッファ２４から入力されたデータを
用いて、通常の算術復号が行われる。復号された画素の
画素値はデータ出力部２１に送られ、そのバッファ２１
２に記憶される。Arithmetic decoding circuit 2 constituting arithmetic decoding section 22
At 21, normal arithmetic decoding is performed using the probability of the target pixel input from the probability calculation unit 23 and the data input from the stream buffer 24. The pixel value of the decoded pixel is sent to the data output unit 21 and its buffer 21
2 is stored.

【００６４】通常の形状データの情報は１画素あたり１
ビットであり、算術復号の結果も１ビット／１画素のた
め、通常１６ビット以上である外部メモリとの間で、形
状データの入出力を行うと１５ビット以上が無駄とな
る。従って、算術復号により得られた形状データを外部
メモリへ入出力する場合は形状データのアクセスは複数
画素単位で行われる。つまり、バッファ２１２では、復
号化処理により得られた１ビットの形状データは、メモ
リとのアクセスバンド幅に相当する分、例えば１６ビッ
トにまとめた後、出力される。ここで、形状データをま
とめる単位は、メモリのバンド幅と等しくしているが、
これに限るものではなく、例えばマクロブロック単位
（２５６個）、ブロック単位（１６個）、マクロブロッ
クあるいはブロックのライン単位（１６あるいは８個）
などハードウェアの構成に応じて一度にパラレルアクセ
スできるデータ数に変更することができる。The information of normal shape data is 1 per pixel.
Since the result of arithmetic decoding is 1 bit / 1 pixel, 15 bits or more are wasted when inputting / outputting shape data with an external memory which is usually 16 bits or more. Therefore, when the shape data obtained by arithmetic decoding is input / output to / from an external memory, the access to the shape data is performed in units of a plurality of pixels. That is, in the buffer 212, the 1-bit shape data obtained by the decoding process is output after being aggregated into, for example, 16 bits corresponding to the access bandwidth to the memory. Here, the unit for collecting the shape data is equal to the memory bandwidth,
The present invention is not limited to this. For example, a macroblock unit (256), a block unit (16), a macroblock or block line unit (16 or 8)
It can be changed to the number of data that can be accessed in parallel at one time according to the hardware configuration.

【００６５】さらに、データ出力部２１では、バッファ
２１２によるデータの格納と同時に、マクロブロック形
状判定回路２１１で当該マクロブロックを構成するブロ
ック内の形状データがすべて０であるかどうかの判定が
行われ、この判定結果がプロセッサ部１１（図１参照）
に出力される。例えば、ブロック内の各画素の形状デー
タがすべて０であれば、このブロックは形状データなし
（すなわち透明）となり、ブロック内の各画素の形状デ
ータがすべて０でなければ、このブロックは不透明とな
る。マクロブロック形状判定回路２１１では、これらを
判定することにより、テクスチャデータの復号化処理や
合成処理における演算負荷を軽減することが可能とな
る。Further, in the data output unit 21, at the same time when the data is stored in the buffer 212, the macroblock shape determination circuit 211 determines whether or not all the shape data in the blocks constituting the macroblock are 0. The determination result is the processor unit 11 (see FIG. 1).
Is output to For example, if the shape data of each pixel in the block is all 0, this block has no shape data (that is, transparent), and if the shape data of each pixel in the block is not all 0, this block is opaque. . The macroblock shape determination circuit 211 can reduce the calculation load in the decoding process and the synthesis process of the texture data by determining these.

【００６６】また、上記実施の形態１では、形状データ
を１ビットで表現する場合を示したが、形状データを２
ビット以上の情報により表現するようにしてもよい。こ
の場合、上記実施の形態１におけるシフトレジスタ２３
３、メモリ２３４、バッファ２１２、算術復号回路２２
１は、ビット幅を広げた形状データを処理可能な構成と
する。In the first embodiment, the case where the shape data is represented by one bit has been described.
It may be expressed by information of more than bits. In this case, the shift register 23 according to the first embodiment is used.
3, memory 234, buffer 212, arithmetic decoding circuit 22
No. 1 has a configuration capable of processing shape data with a widened bit width.

【００６７】図５は、上記実施の形態１の復号化装置に
おけるパディングエンジンの一構成例を示すブロック図
である。このパディングエンジン１３は、ポインタ制御
部５１、平均演算部５２、及びデータ処理部５３により
構成されている。またこれらの各部はバッファ５０１、
５０２、５０３、５０４、５０５を介して接続されてお
り、並列処理が可能となっている。また、並列処理の単
位は、典型的にはマクロブロックであるが、他の処理と
の関係によっては、ブロックあるいはマクロブロックや
ブロックのラインを単位としてもよい。FIG. 5 is a block diagram showing a configuration example of the padding engine in the decoding apparatus according to the first embodiment. The padding engine 13 includes a pointer control unit 51, an average calculation unit 52, and a data processing unit 53. Each of these parts is a buffer 501,
They are connected via 502, 503, 504, and 505, and parallel processing is possible. The unit of parallel processing is typically a macroblock, but may be a block or a macroblock or a line of a block depending on the relationship with other processing.

【００６８】図６は図５のパディングエンジンの動作を
説明するための図である。上記補填処理は、基本的には
非矩形形状の画像に対応するテクスチャデータが、矩形
形状の画像に対応するテクスチャデータとなるよう、画
像（オブジェクト）外のテクスチャ画素値をある値で埋
める処理である。FIG. 6 is a diagram for explaining the operation of the padding engine of FIG. The above-described compensation process is basically a process of filling texture pixel values outside an image (object) with a certain value so that texture data corresponding to a non-rectangular image becomes texture data corresponding to a rectangular image. is there.

【００６９】ＭＰＥＧ４における補填処理は、３つのモ
ードがある。第１のモードの補填処理は、画像外画素を
一定値で補填するものである。第２のモードの補填処理
は、隣接マクロブロックにおける、水平もしくは垂直方
向に並ぶ周辺部分の画素の画素値で、補填処理の対象と
なるマクロブロックにおける画素の画素値を補填する処
理である。さらに、第３のモードの補填処理は、図６に
示すように、マクロブロック内の画素の形状パターンに
より、補填する方法を変える処理である。The compensation processing in MPEG4 has three modes. The first mode of compensation processing compensates for pixels outside the image with a fixed value. The second mode of the complementing process is a process of supplementing the pixel values of the pixels in the macroblock to be subjected to the supplementing process with the pixel values of the peripheral portions of adjacent macroblocks arranged in the horizontal or vertical direction. Further, as shown in FIG. 6, the filling process in the third mode is a process of changing the filling method according to the shape pattern of the pixels in the macro block.

【００７０】本実施の形態１では、マクロブロックごと
に、上記いずれのモードで補填するかをプロセッサ部１
１にて形状情報を用いて判断し、図５に示すパディング
エンジンのアドレス生成回路５１１に補填モード情報と
して供給する。In the first embodiment, the processor unit 1 determines which of the above modes should be used for each macroblock.
The determination is made in step 1 using the shape information, and is supplied to the address generation circuit 511 of the padding engine shown in FIG.

【００７１】以下詳述すると、まず、第３のモードの補
填処理を行う場合を、図６を用いて説明する。ここで
は、図６(a)に示すような形状を有するブロックに対し
て補填処理を行う場合について説明する。図６(a)にお
いて、黒丸表示の画素は、形状情報（画素値）が非透明
（オブジェクトの画素の値が存在する）であることを示
す値を有し、白丸表示の画素は、形状情報（画素値）が
透明（オブジェクト外）であることを示す値を有してい
る。More specifically, the case of performing the third mode compensation processing will be described with reference to FIG. Here, a case will be described in which a compensation process is performed on a block having a shape as shown in FIG. In FIG. 6A, a pixel indicated by a black circle has a value indicating that the shape information (pixel value) is non-transparent (the value of the pixel of the object exists), and a pixel indicated by a white circle indicates the shape information (pixel value). (Pixel value) has a value indicating that it is transparent (outside the object).

【００７２】第３のモードの補填処理では、図６(b)の
ように１ラインごとに形状情報が透明あるいは非透明の
いずれを示す値であるかを判断する。１ライン内にオブ
ジェクト（画像）の境界が１つしか存在しないライン、
例えば、図６(a)における領域６０２及び６０３の各ラ
インでは、オブジェクト内にて境界に隣接する画素（境
界画素）の画素値により、その左側あるいは右側に位置
するオブジェクト外画素の画素値を補填する。１ライン
内にオブジェクト（画像）の境界が２つ以上存在するラ
イン、例えば、図６(a)における領域６０４及び６０５
の各ラインでは、対向する２つの境界画素の画素値の平
均値で、オブジェクト外画素の画素値を補填する。ま
た、１ライン内にオブジェクト（画像）の境界が１つも
存在しないライン、例えば、図６(a)における領域６０
１の各ラインでは、このライン上の画素の画素値は、そ
の上あるいは下のラインの画素の画素値で補填する。In the compensation processing in the third mode, as shown in FIG. 6B, it is determined whether the shape information is a value indicating transparent or non-transparent for each line. A line in which there is only one object (image) boundary in one line,
For example, in each line of the regions 602 and 603 in FIG. 6A, the pixel value of the pixel outside the object located on the left side or the right side is supplemented by the pixel value of the pixel (boundary pixel) adjacent to the boundary in the object. I do. A line in which two or more boundaries of an object (image) exist in one line, for example, regions 604 and 605 in FIG.
In each line, the pixel value of the pixel outside the object is supplemented by the average value of the pixel values of the two opposing boundary pixels. A line in which no boundary between objects (images) exists in one line, for example, a region 60 in FIG.
In each line of 1, the pixel value of the pixel on this line is supplemented by the pixel value of the pixel on the line above or below.

【００７３】次に、上記パディングエンジン内部の動作
について説明する。ポインタ制御部５１では、入力され
た形状情報に基いてアドレス生成回路５１１によるポイ
ンタ制御が行われ、メモリ５３２に書き込まれる画素の
アドレス及びセレクタ５３１のセレクト信号が生成され
る。Next, the operation inside the padding engine will be described. In the pointer control unit 51, pointer control is performed by the address generation circuit 511 based on the input shape information, and an address of a pixel to be written in the memory 532 and a select signal of the selector 531 are generated.

【００７４】具体的には、アドレス生成回路５１１で
は、形状情報がマクロブロックの先頭からスキャンさ
れ、形状情報が見つかった時点で、そのアドレスが記憶
され、そこまでのアドレスに対応するテクスチャ画素に
対しては、形状情報が存在したテクスチャ画素のデータ
がメモリ５３２に書き込まれるようそのアドレスが生成
される。More specifically, in the address generation circuit 511, the shape information is scanned from the beginning of the macro block, and when the shape information is found, the address is stored, and the texture pixel corresponding to the address up to that is stored. In other words, the address is generated so that the data of the texture pixel having the shape information is written in the memory 532.

【００７５】次にスキャンが進められ、次に存在した第
２の画素のアドレスが記憶され、先に記憶した第１の画
素の画素値と第２の画素の画素値が、テクスチャ用メモ
リ５１２から平均演算回路５２１に供給される。平均演
算回路５２１では第１の画素の画素値と第２の画素の画
素値の平均値が計算される。セレクタ５３１では平均演
算回路５２１の出力が選択され、第１の画素と第２の画
素の画素値の平均値がメモリ５３２に書き込まれる。Next, the scanning is advanced, and the address of the next existing second pixel is stored. The previously stored pixel value of the first pixel and the pixel value of the second pixel are stored in the texture memory 512. The average is supplied to the average calculation circuit 521. The average calculation circuit 521 calculates the average value of the pixel value of the first pixel and the pixel value of the second pixel. The output of the averaging circuit 521 is selected by the selector 531, and the average value of the pixel values of the first pixel and the second pixel is written to the memory 532.

【００７６】スキャンしているラインに形状情報（言い
かえるとテクスチャ画素）がこれ以上存在しない場合
は、第２の画素のアドレスが保持され、ブロックの境界
まで第２の画素の画素値により画素値が補填される。ま
た上記スキャンしているラインに第３、第４の画素（テ
クスチャ画素）が存在する場合は、上記平均演算処理が
同様に繰り返される。If there is no more shape information (in other words, texture pixels) in the line being scanned, the address of the second pixel is held, and the pixel value of the second pixel is determined by the pixel value of the second pixel up to the boundary of the block. Is supplemented. If there are third and fourth pixels (texture pixels) on the line being scanned, the averaging process is repeated in the same manner.

【００７７】以上のようにして、メモリ５３２に書き込
む画素のアドレスをポインタ制御部５１により制御する
ことにより、第３のモード３の補填処理が実現されるこ
ととなる。As described above, by controlling the address of the pixel to be written in the memory 532 by the pointer control section 51, the third mode 3 compensation processing is realized.

【００７８】一方、第１のモードの補填処理では、テク
スチャ用メモリ５１２に補填すべき値をプロセッサ部１
１から書き込み、書き込んだ値をそのまま対象マクロブ
ロックに該当するメモリ５３２に書き込む。また、第２
のモードの補填処理では、既に補填値を生成した隣接マ
クロブロックのテクスチャデータをパディングエンジン
１３内部の周辺用メモリ５３３に記憶しておき、セレク
タ５３１により周辺用メモリ５３３の出力を選択して、
隣接マクロブロックのテクスチャデータをメモリ５３２
に書き込む。On the other hand, in the compensation processing in the first mode, the value to be compensated in the texture memory 512 is stored in the processor unit 1.
From 1, the written value is directly written to the memory 532 corresponding to the target macroblock. Also, the second
In the interpolation processing of the mode, texture data of an adjacent macro block for which an interpolation value has already been generated is stored in the peripheral memory 533 inside the padding engine 13, and the output of the peripheral memory 533 is selected by the selector 531.
The texture data of the adjacent macro block is stored in the memory 532.
Write to.

【００７９】なお、上記実施の形態１では、形状情報の
判断をプロセッサ部１１で行う構成を示したが、これに
限るものではなく、ハードウェア規模に余裕がある場合
には形状情報から補填のモードを判断し、動作を切り替
えるモード判断部をパディングエンジンに追加してもよ
く、この場合も、上記実施の形態１と同様の動作が可能
となる。さらにこの場合に、モード判断部も他の部分と
同様にバッファを有する構成として、他の部分との間で
並列処理可能とすることもできる。In the first embodiment, the configuration in which the determination of the shape information is performed by the processor unit 11 has been described. However, the present invention is not limited to this. A mode determining unit that determines the mode and switches the operation may be added to the padding engine. In this case, the same operation as in the first embodiment can be performed. Further, in this case, the mode determination unit may be configured to have a buffer similarly to the other parts, so that parallel processing can be performed with the other parts.

【００８０】図７(a)は上記実施の形態１の復号化ＬＳ
Ｉを構成する合成エンジンの一構成例を示すブロック図
である。この合成エンジン１４には、例えば画像Ａと画
像Ｂを合成する場合、合成する画像Ａのテクスチャデー
タ７０６及び形状データ７０８、ならびに画像Ａと合成
する画像Ｂのテクスチャデータ７０７及び形状データ７
０９が入力される。これらのデータ入力の単位は画素単
位でも良いが、通常フレームあるいはフィールド、もし
くはＭＰＥＧ４のＶＯＰ(ビデオ・オブジェクト・プレ
ーン)ごとに入力される。FIG. 7A shows the decryption LS of the first embodiment.
FIG. 3 is a block diagram illustrating a configuration example of a synthesis engine that forms I. For example, when combining the image A and the image B, the combining engine 14 includes texture data 706 and shape data 708 of the image A to be combined, and texture data 707 and shape data 7 of the image B to be combined with the image A.
09 is input. The data input unit may be a pixel unit, but is usually input for each frame or field, or for each MPEG4 VOP (Video Object Plane).

【００８１】その理由は、エラー検出、訂正は上記デー
タ入力の単位で行うので、例えば復号化処理が施された
ＶＯＰなどにエラーが存在し、復号不能な場合には、直
前に復号化処理が完了したＶＯＰなどを代わりに表示す
るためである。エラー訂正がより細かい単位で実行され
る場合には、フレームやＶＯＰより細かい単位であるブ
ロックやマクロブロック、スライス、ＭＰＥＧ４におけ
るパケット単位で画像合成処理を行うようにしてもよ
い。また、合成エンジン１４に対するデータのアクセス
は、他のタスクとの並列動作が可能となるようバッファ
７０１，７０３，７０５を介して行われるようになって
いる。The reason is that error detection and correction are performed in units of the data input. For example, if an error exists in a decoded VOP or the like and decoding is impossible, the decoding process is performed immediately before. This is for displaying a completed VOP or the like instead. When the error correction is performed in smaller units, the image combining process may be performed in units of blocks, macroblocks, slices, and packets in MPEG4, which are units smaller than frames or VOPs. In addition, data access to the synthesis engine 14 is performed via the buffers 701, 703, and 705 so that parallel operation with other tasks is possible.

【００８２】上記合成エンジン１４では、入力された画
像Ａ，Ｂの形状データ７０８，７０９、ならびに表示順
序入力７１０が比較回路７０４に入力されると、比較回
路７０４では、画素ごとに形状データが比較される。画
像Ａが画像Ｂの上に表示されるよう、表示順序入力７１
０により指定された場合、画像Ａの形状データ７０８が
透明かどうかまず判定される。透明でない場合、セレク
タ７０２に画像Ａのテクスチャデータ７０６を出力する
ようにセレクト信号が出力される。また画像Ａの形状デ
ータ７０８が透明な場合、画像Ｂの形状データ７０９が
透明かどうか判定され、画像Ｂが非透明ならば、画像Ｂ
のテクスチャデータが出力されるよう、画像Ｂが透明な
らば、何も出力しないよう、セレクト信号がセレクタ７
０２に出力される。In the synthesizing engine 14, when the input shape data 708 and 709 of the images A and B and the display order input 710 are input to the comparison circuit 704, the comparison circuit 704 compares the shape data for each pixel. Is done. Display order input 71 so that image A is displayed on image B.
When designated by 0, it is first determined whether or not the shape data 708 of the image A is transparent. If not transparent, a select signal is output to selector 702 so as to output texture data 706 of image A. When the shape data 708 of the image A is transparent, it is determined whether the shape data 709 of the image B is transparent.
If the image B is transparent, a select signal is output from the selector 7 so that nothing is output so that the texture data is output.
02 is output.

【００８３】このようにして合成された合成画像に対応
する画像データは、画像復号化装置のメモリ１６に一旦
記憶される。The image data corresponding to the synthesized image thus synthesized is temporarily stored in the memory 16 of the image decoding device.

【００８４】２画像以上の合成の場合には、画像復号化
装置のメモリに記憶した合成済の画像を用いて、その上
に他の画像を重ね合わせる合成処理が行われる。In the case of synthesizing two or more images, a synthesizing process of superimposing another image on the synthesized image stored in the memory of the image decoding device is performed.

【００８５】以上のように合成エンジンにおける合成処
理を反復して行うことにより多数の画像を合成すること
が可能である。なお、多数の画像を合成する場合、処理
を簡単にするため、背景等のような最も下に表示するも
のから合成することが好ましい。As described above, it is possible to synthesize a large number of images by repeatedly performing the synthesizing process in the synthesizing engine. When a large number of images are combined, it is preferable to combine the images displayed at the bottom, such as the background, in order to simplify the processing.

【００８６】また、多数の画像、例えば３つの画像Ａ，
Ｂ，Ｃを合成して表示する場合には、上記合成エンジン
では、図７(b)に示すように、同時刻に表示する画像を
一括して合成するようにしてもよい。例えば、時刻ｔ０
〜ｔ１では画像Ｂ及びＣを、時刻ｔ１〜ｔ２では画像Ａ
及びＣを、時刻ｔ２〜ｔ３では画像Ａ，Ｂ及びＣを、一
括して合成する。Further, a large number of images, for example, three images A,
When B and C are combined and displayed, the combining engine may combine the images displayed at the same time as shown in FIG. 7B. For example, at time t0
Images t and t2, and images A and t from time t1 to t2.
And C, and from time t2 to t3, images A, B, and C are combined together.

【００８７】このように本実施の形態１では、復号化テ
クスチャデータに対する補填処理を行う補填手段と、符
号化形状データに対して算術復号化処理を施す算術復号
化手段と、複数のテクスチャデータを合成して合成画像
データを生成する合成手段とを備え、補填手段，算術復
号化手段，及び合成手段をそれぞれハードウエア回路
（算術復号エンジン１２，パディングエンジン１３，合
成エンジン１４）により構成したので、ＭＰＥＧ４方式
により圧縮符号化された、画像などの複数のオブジェク
トに対応するビットストリームに対する復号化処理を高
速で行い、しかも該復号化処理を行うハードウェア回路
のコストを最小限に抑えることができる。As described above, in the first embodiment, the compensation means for performing the compensation processing on the decoded texture data, the arithmetic decoding means for performing the arithmetic decoding processing on the encoded shape data, and the plurality of texture data Since the image processing apparatus includes a synthesizing means for synthesizing and generating synthesized image data, and the compensation means, the arithmetic decoding means, and the synthesizing means are respectively constituted by hardware circuits (arithmetic decoding engine 12, padding engine 13, synthesis engine 14) It is possible to perform high-speed decoding processing on a bit stream corresponding to a plurality of objects such as images, which has been compression-encoded by the MPEG4 method, and to minimize the cost of a hardware circuit that performs the decoding processing.

【００８８】なお、上記実施の形態１では、復号化ＬＳ
Ｉとして、合成済の画像データを一旦復号化装置のメモ
リ１６に蓄える構成のものを示したが、上記復号化ＬＳ
Ｉの構成はこれに限るものではなく、合成エンジンの内
部にメモリを持たせてエンジン内部で合成済の画像デー
タを記録することも可能である。In the first embodiment, the decoding LS
As I, a configuration in which the synthesized image data is temporarily stored in the memory 16 of the decoding device is shown.
The configuration of I is not limited to this, but it is also possible to provide a memory inside the synthesizing engine and record image data that has been synthesized inside the engine.

【００８９】また、上記実施の形態１では、合成エンジ
ンとして、合成する際に比較回路とセレクタを用いるも
のを示したが、合成エンジンの構成はこれに限るもので
はない。Further, in the first embodiment, the one using the comparison circuit and the selector when synthesizing is shown as the synthesizing engine, but the configuration of the synthesizing engine is not limited to this.

【００９０】例えば、形状情報が２値ではなく、半透明
などを表現するため多値を有する場合には、比較回路と
セレクタの代わりに、複数の乗算器と加算器を用いても
よい。For example, when the shape information is not binary but has multiple values for expressing translucency or the like, a plurality of multipliers and adders may be used instead of the comparison circuit and the selector.

【００９１】具体的には、２つの画像を合成する場合
は、テクスチャデータに多値の形状データの値を乗算す
る２つの乗算器と、各乗算器の出力を加算する加算器と
を備え、加算器の出力を合成画像データとして用いるこ
とができる。More specifically, when combining two images, there are provided two multipliers for multiplying the texture data by the value of the multi-valued shape data, and an adder for adding the outputs of the respective multipliers. The output of the adder can be used as composite image data.

【００９２】さらに、上記実施の形態１では、画像Ａ、
Ｂの両方の形状データを用いて合成する場合を示した
が、オブジェクトと背景の合成の場合のように、一方が
矩形形状で形状データを有しない場合には、オブジェク
トの形状データをすべて非透明とする値に設定して合成
することも可能である。Further, in the first embodiment, the images A,
The case where both the shape data of B and the shape data are combined is shown. However, when one is rectangular and has no shape data as in the case of combining the object and the background, all the shape data of the object is non-transparent. It is also possible to perform synthesis by setting the value as follows.

【００９３】さらに、上記実施の形態１では、復号化処
理について説明したが、本発明の基本原理は、符号化処
理を行うＬＳＩについても適用できる。この場合、算術
復号エンジンでは、その確率計算部をそのまま用い、ま
た算術復号器を算術符号器に変更し、さらに、データ格
納部を、形状判定回路への形状データがバスから入力さ
れ、バッファに対する１ビットの形状データの入出力を
逆にするように構成することにより、算術復号エンジン
を算術符号化用エンジンに構成変更できる。Further, in the first embodiment, the decoding process has been described. However, the basic principle of the present invention can be applied to an LSI that performs an encoding process. In this case, in the arithmetic decoding engine, the probability calculation unit is used as it is, the arithmetic decoder is changed to an arithmetic encoder, and further, the data storage unit is input with the shape data to the shape determination circuit from the bus, and the By reversing the input / output of 1-bit shape data, the configuration of the arithmetic decoding engine can be changed to an arithmetic coding engine.

【００９４】（実施の形態２）図８及び図１１は本発明
の実施の形態２による画像符号化装置を説明するための
図であり、図１１は、該画像符号化装置の機能ブロック
を示す図である。図１１に示すように、画像符号化装置
１０００は、入力されたテクスチャデータと予測テクス
チャデータとの差分である差分テクスチャデータを算出
する減算手段１１０２と、該差分テクスチャデータに離
散コサイン変換処理を施して周波数領域のテクスチャデ
ータを出力するＤＣＴ手段１１０３と、該周波数領域の
テクスチャデータを量子化する量子化手段１１０４とを
有している。(Embodiment 2) FIGS. 8 and 11 are diagrams for explaining an image encoding apparatus according to Embodiment 2 of the present invention, and FIG. 11 shows functional blocks of the image encoding apparatus. FIG. As shown in FIG. 11, the image encoding apparatus 1000 performs subtraction means 1102 for calculating difference texture data that is a difference between the input texture data and the predicted texture data, and performs a discrete cosine transform process on the difference texture data. DCT means 1103 for outputting texture data in the frequency domain, and quantization means 1104 for quantizing the texture data in the frequency domain.

【００９５】また、上記画像符号化装置１０００は、該
量子化手段１１０４の出力に対して逆量子化処理を施し
て上記周波数領域のテクスチャデータを復元する逆量子
化手段１１０５と、該復元された周波数領域のテクスチ
ャデータに対して逆ＤＣＴ処理を施して空間領域の差分
テクスチャデータを復元する逆ＤＣＴ手段１１０６と、
該空間領域の差分テクスチャデータに上記予測テクスチ
ャデータを加算して上記テクスチャデータを復元する加
算手段１１０７とを有している。The image encoding apparatus 1000 performs inverse quantization on the output of the quantization means 1104 to restore the texture data in the frequency domain. Inverse DCT means 1106 for performing inverse DCT processing on the texture data in the frequency domain to restore differential texture data in the spatial domain;
An adding unit 1107 for adding the predicted texture data to the differential texture data in the spatial area to restore the texture data.

【００９６】さらに、上記画像符号化装置１０００は、
加算手段１１０７から出力される復元されたテクスチャ
データ（オブジェクト復号化テクスチャデータ）に対し
て、実施の形態１における補填処理と同様の補填処理を
施して補填テクスチャデータを生成する補填手段１１０
８と、該補填テクスチャデータを記録するメモリ１１０
９と、上記入力されたテクスチャデータに基いて動き検
出処理を行って動きベクトルを出力するテクスチャ動き
ベクトル検出手段１１０１と、該動きベクトルに基い
て、上記メモリ１１０９に記録されている補填テクスチ
ャデータを動き補償し、上記予測テクスチャデータを生
成する動き補償手段１１１０とを有している。Further, the image coding apparatus 1000 includes:
Compensation unit 110 that performs compensation processing similar to the compensation processing in the first embodiment on the restored texture data (object-decoded texture data) output from addition means 1107 to generate compensated texture data.
8 and a memory 110 for recording the supplementary texture data.
9, a texture motion vector detecting unit 1101 that performs a motion detection process based on the input texture data to output a motion vector, and outputs the supplementary texture data recorded in the memory 1109 based on the motion vector. A motion compensator 1110 that performs motion compensation and generates the predicted texture data.

【００９７】また、上記画像符号化装置１０００は、入
力された形状データに対して、予測形状データに基い
て、オブジェクト復号化処理を含む形状算術符号化処理
を施して、算術符号化形状データ及びオブジェクト算術
復号化形状データを出力する算術形状符号化手段１２０
４と、該オブジェクト算術復号化形状データを記録する
メモリ１２０３と、上記入力された形状データに基いて
動き検出処理を行って形状動きベクトルを出力する動き
ベクトル検出手段１２０１と、該動きベクトルに基い
て、上記メモリ１２０３に記録されているオブジェクト
算術復号化形状データを動き補償し、上記予測形状デー
タを生成する動き補償手段１２０２とを有している。The image coding apparatus 1000 performs a shape arithmetic coding process including an object decoding process on the input shape data on the basis of the predicted shape data to obtain the arithmetically encoded shape data and Arithmetic shape encoding means 120 for outputting object arithmetically decoded shape data
4, a memory 1203 for storing the object arithmetically decoded shape data, a motion vector detecting means 1201 for performing a motion detection process based on the input shape data and outputting a shape motion vector, And motion compensating means 1202 for motion-compensating the object arithmetically decoded shape data recorded in the memory 1203 and generating the predicted shape data.

【００９８】さらに、上記画像符号化装置１０００は、
上記量子化手段１１０４の出力及び上記算術符号化形状
データに対して可変長符号化処理を施して、これらのデ
ータをビットストリームとして出力する可変長符号化手
段１００１を有している。Further, the above-mentioned image encoding apparatus 1000
A variable length coding unit 1001 that performs a variable length coding process on the output of the quantization unit 1104 and the arithmetically coded shape data, and outputs the data as a bit stream.

【００９９】そして、本実施の形態２では、上記画像符
号化装置は符号化ＬＳＩにより構成されており、この符
号化ＬＳＩは、上記のような各機能ブロックのうちの所
定のものに対応するハードウエア回路を搭載した構成と
なっている。In the second embodiment, the image encoding device is constituted by an encoding LSI, and the encoding LSI includes a hardware corresponding to a predetermined one of the above functional blocks. It has a configuration with a wear circuit.

【０１００】図８は、この実施の形態２の符号化ＬＳＩ
の構成を示す図である。符号化ＬＳＩ（画像符号化装
置）２００は、ＭＰＥＧ４対応の画像符号化処理を行う
ものである。この符号化ＬＳＩ２００は、符号化ＬＳＩ
２００の各部を制御するプロセッサ部１１ａと、物体に
対応するデジタル画像データに含まれるテクスチャデー
タにＤＣＴ処理を施して周波数領域のテクスチャデータ
を生成するＤＣＴエンジン８０３ａと、該周波数領域の
テクスチャデータに対して逆ＤＣＴ処理を施して空間領
域のテクスチャデータを復元するＩＤＣＴエンジン８０
４ａと、上記復元されたテクスチャデータに対して、実
施の形態１における補填処理と同様の補填処理を施して
補填テクスチャデータを生成するパディングエンジン１
３ａとを有している。FIG. 8 shows an encoding LSI according to the second embodiment.
FIG. 3 is a diagram showing the configuration of FIG. An encoding LSI (image encoding device) 200 performs an image encoding process compatible with MPEG4. The coding LSI 200 is a coding LSI.
200, a DCT engine 803a for performing DCT processing on texture data included in digital image data corresponding to an object to generate frequency domain texture data, and a processor section 11a for controlling the frequency domain texture data. IDCT engine 80 that performs inverse DCT processing to restore texture data in the spatial domain
4a, and a padding engine 1 that performs the same supplementary processing as that in Embodiment 1 on the restored texture data to generate supplementary texture data.
3a.

【０１０１】また、上記符号化ＬＳＩ２００は、物体に
対応するデジタル画像データに含まれる形状データに算
術符号化処理を施して算術符号化形状データを生成する
算術符号化エンジン１２ａと、該算術符号化形状データ
に対して算術復号化処理を施して形状データを復元する
算術復号化エンジン１４ａとを有している。The coding LSI 200 includes an arithmetic coding engine 12a for performing arithmetic coding processing on shape data included in digital image data corresponding to an object to generate arithmetically coded shape data, and the arithmetic coding engine 12a. An arithmetic decoding engine 14a for performing an arithmetic decoding process on the shape data to restore the shape data.

【０１０２】さらに、上記符号化ＬＳＩ２００は、上記
テクスチャデータ及び形状データの動き検出ならびに動
き補償処理を行って、予測テクスチャデータ及び予測形
状データを生成する動き検出／補償エンジン８０５ａ
と、上記周波数領域のテクスチャデータに対して量子化
処理を施して得られるデータ、及び上記算術符号化形状
データに対して、可変長符号化処理を施す可変長符号化
エンジン８０２ａとを有している。Further, the coding LSI 200 performs motion detection and motion compensation processing of the texture data and the shape data, and generates a motion estimation / compensation engine 805a for generating the predicted texture data and the predicted shape data.
And a variable-length encoding engine 802a that performs variable-length encoding on data obtained by performing quantization processing on the frequency-domain texture data, and variable-length encoding on the arithmetically encoded shape data. I have.

【０１０３】また、上記符号化ＬＳＩ２００は、入力さ
れたデジタル画像データに含まれるテクスチャデータ及
び形状データ、並びに、算術符号化形状データ、算術復
号化形状データ、補填テクスチャデータ、周波数領域の
テクスチャデータ、及び復元された空間領域のテクスチ
ャデータを記録するメモリ１６ａと、該メモリ１６ａに
対するデータのアクセスを制御するメモリ制御部１５ａ
と、外部から上記デジタル画像データが入力されるビデ
オＩＦ部１７ａとを有している。The coding LSI 200 includes texture data and shape data included in the input digital image data, arithmetically encoded shape data, arithmetically decoded shape data, supplementary texture data, frequency domain texture data, A memory 16a for recording the restored texture data of the spatial area, and a memory control unit 15a for controlling data access to the memory 16a
And a video IF unit 17a to which the digital image data is externally input.

【０１０４】そして、上記符号化ＬＳＩ２００では、上
記各エンジン、算術符号エンジン１２ａ、パディングエ
ンジン１３ａ、算術復号エンジン１４ａ、可変長符号エ
ンジン８０２ａ、ＤＣＴエンジン８０３ａ、ＩＤＣＴエ
ンジン８０４ａ、動き検出／補償エンジン８０５ａは、
ハードウエア回路により構成されており、上記各専用エ
ンジンによる処理以外の、図１１に示す機能ブロックに
おける処理は、上記プロセッサ部１１ａにより行う構成
となっている。In the coding LSI 200, each of the engines, the arithmetic code engine 12a, the padding engine 13a, the arithmetic decoding engine 14a, the variable length code engine 802a, the DCT engine 803a, the IDCT engine 804a, and the motion detection / compensation engine 805a ,
It is configured by a hardware circuit, and the processing in the functional blocks shown in FIG. 11 other than the processing by each dedicated engine is performed by the processor unit 11a.

【０１０５】なお、上記パディングエンジン１３ａ及び
算術復号エンジン１４ａは上記実施の形態１におけるも
のと同一の構成となっており、また、上記算術符号エン
ジン１２ａは、上述したように、上記算術復号エンジン
１４ａにおける算術復号部及びデータ格納部の構成を、
算術復号化処理に代えて算術符号化処理が行われるよう
構成変更したものとなっている。The padding engine 13a and the arithmetic decoding engine 14a have the same configuration as that of the first embodiment, and the arithmetic code engine 12a includes the arithmetic decoding engine 14a as described above. The configuration of the arithmetic decoding unit and the data storage unit in
The configuration is changed so that arithmetic coding processing is performed instead of arithmetic decoding processing.

【０１０６】次に動作について説明する。この符号化Ｌ
ＳＩ２００では、デジタル画像データに対してＭＰＥＧ
４対応の符号化手順に従って符号化処理が行われる。Next, the operation will be described. This encoding L
In SI200, digital image data is MPEG
The encoding process is performed according to the encoding procedure corresponding to 4.

【０１０７】すなわち、デジタル画像データが符号化Ｌ
ＳＩ２００のビデオＩＦ部１７ａに供給されると、該画
像データは、プロセッサ部１１ａ及びメモリ制御部１５
ａを介してメモリ１６ａに記録される。That is, the digital image data is encoded L
When supplied to the video IF unit 17a of the SI 200, the image data is supplied to the processor unit 11a and the memory control unit 15a.
a is recorded in the memory 16a.

【０１０８】次に、画像データに含まれるテクスチャデ
ータ及び形状データは、動き検出／補償エンジン８０５
ａにて動き検出処理が行われ、テクスチャ動きベクトル
及び形状動きベクトルが生成される。Next, the texture data and the shape data included in the image data are sent to the motion detection / compensation engine 805.
The motion detection processing is performed at a, and a texture motion vector and a shape motion vector are generated.

【０１０９】また、上記プロセッサ部１１ａにて、上記
テクスチャデータと予測テクスチャデータとの差分であ
る差分テクスチャデータが生成され、差分テクスチャデ
ータは、上記ＤＣＴエンジン８０３ａにて周波数領域の
テクスチャデータに変換されてメモリ１６ａに記録され
る。この周波数領域のテクスチャデータは、上記プロセ
ッサ部１１ａにて量子化処理が施され、さらに量子化さ
れた周波数領域のテクスチャデータが逆量子化される。The processor 11a generates difference texture data which is a difference between the texture data and the predicted texture data. The difference texture data is converted into frequency domain texture data by the DCT engine 803a. And stored in the memory 16a. The texture data in the frequency domain is subjected to a quantization process in the processor unit 11a, and the quantized texture data in the frequency domain is inversely quantized.

【０１１０】また、上記量子化された周波数領域のテク
スチャデータは上記可変長符号化エンジン８０２ａに供
給され、逆量子化により復元された周波数領域のテクス
チャデータはＩＤＣＴエンジン８０４ａに供給される。The quantized frequency domain texture data is supplied to the variable length coding engine 802a, and the frequency domain texture data restored by inverse quantization is supplied to the IDCT engine 804a.

【０１１１】さらに、ＩＤＣＴエンジン８０４ａでは、
周波数領域のテクスチャデータが空間領域のテクスチャ
データに復元され、この空間領域のテクスチャデータ
は、プロセッサ部１１ａにて上記予測テクスチャデータ
と加算されて、オブジェクト復号化テクスチャデータが
生成される。このオブジェクト復号化テクスチャデータ
は、パディングエンジン１３ａにて補填処理が施され
て、メモリ１６ａに格納される。Further, in the IDCT engine 804a,
The texture data in the frequency domain is restored to the texture data in the spatial domain, and the texture data in the spatial domain is added to the predicted texture data by the processor unit 11a to generate object decoded texture data. This object-decoded texture data is subjected to compensation processing by the padding engine 13a and stored in the memory 16a.

【０１１２】一方、形状データが算術符号エンジン１２
ａに供給されると、該形状データに対して、予測形状デ
ータに基いて算術符号化処理が行われ算術符号化形状デ
ータが生成されて、可変長符号エンジン８０２ａに供給
される。またこの算術符号化形状データは、算術復号エ
ンジン１４ａにて算術復号化処理により、オブジェクト
算術復号化形状データに復元されてメモリ１６ａに記録
される。On the other hand, when the shape data is
When supplied to a, the shape data is subjected to arithmetic coding processing based on the predicted shape data to generate arithmetically coded shape data, which is supplied to the variable length code engine 802a. The arithmetically encoded shape data is restored to object arithmetically decoded shape data by arithmetic decoding processing in the arithmetic decoding engine 14a and recorded in the memory 16a.

【０１１３】そして、動き検出／補償エンジン８０５ａ
では、上記形状動きベクトル及びテクスチャ動きベクト
ルに基いて、上記メモリ１６ａに格納されている補填テ
クスチャデータ及びオブジェクト算術復号化形状データ
に対してそれぞれ動き補償処理が施されて、予測テクス
チャデータ及び上記予測形状データが生成され、これら
のデータが上記メモリ１６ａに格納される。そして、可
変長符号エンジン８０２ａは、上記量子化された周波数
領域のテクスチャデータ、及び上記算術符号化形状デー
タに対して、可変長符号化処理を施し、符号化画像デー
タを出力する。Then, the motion detection / compensation engine 805a
Then, based on the shape motion vector and the texture motion vector, motion compensation processing is performed on the supplemented texture data and the object arithmetically decoded shape data stored in the memory 16a, respectively. Shape data is generated, and these data are stored in the memory 16a. Then, the variable-length code engine 802a performs variable-length coding on the quantized frequency domain texture data and the arithmetically coded shape data, and outputs coded image data.

【０１１４】このように本実施の形態２では、テクスチ
ャデータに対する補填処理を行う補填手段と、形状デー
タに対する算術符号化処理を施して算術符号化形状デー
タを出力する算術符号手段と、算術符号化形状データに
対して算術復号化処理を施す算術復号化手段とを備え、
補填手段，算術符号手段，及び算術復号化手段をそれぞ
れハードウエア回路（算術符号エンジン１２ａ，パンデ
ィングエンジン１３ａ，算術復号エンジン１４ａ）によ
り構成したので、デジタル画像データに対するＭＰＥＧ
４方式の圧縮符号化処理を高速で行い、しかも該符号化
処理を行うハードウェア回路のコストを最小限に抑える
ことができる。As described above, in the second embodiment, the compensation means for performing the compensation processing on the texture data, the arithmetic coding means for performing the arithmetic encoding processing on the shape data and outputting the arithmetically encoded shape data, and the arithmetic encoding means Arithmetic decoding means for performing arithmetic decoding processing on the shape data,
Since the compensation means, the arithmetic coding means, and the arithmetic decoding means are each constituted by a hardware circuit (arithmetic code engine 12a, panning engine 13a, arithmetic decoding engine 14a), the MPEG processing for the digital image data is performed.
It is possible to perform the four types of compression encoding processing at high speed, and to minimize the cost of a hardware circuit that performs the encoding processing.

【０１１５】なお、上記実施の形態１及び２では、プロ
セッサ部と専用エンジン部を同一のＬＳＩ内に搭載した
ものを示したが、復号化ＬＳＩ及び符号化ＬＳＩの構成
はこれに限るものではない。In the first and second embodiments, the processor and the dedicated engine are mounted in the same LSI. However, the configurations of the decoding LSI and the encoding LSI are not limited to this. .

【０１１６】例えば、上記プロセッサ部とＭＰＥＧ４対
応の符号化専用エンジンもしくは復号化専用エンジンと
は別々のＬＳＩに搭載してもよく、この場合にも上記各
実施の形態と同様の効果が得られる。また、プロセッサ
部を独立のＣＰＵとして構成し、専用エンジン部を外部
のハードウェアにより構成してもよい。この場合、ＭＰ
ＥＧ２における機能ブロックと共通でない機能ブロック
に対応するエンジン、つまり算術復号エンジン、パディ
ングエンジン、合成エンジンなどを、復号化ＬＳＩ外部
の別のハードウェア回路により構成するようにしてもよ
い。このように、上記実施の形態１の復号化ＬＳＩ及び
上記実施の形態２の符号化ＬＳＩは、物理的なハードウ
ェアの構成を、使用する状況に応じてさまざまな形態に
変更することが可能なものである。For example, the processor unit and the encoding-only engine or the decoding-only engine compatible with MPEG4 may be mounted on separate LSIs. In this case, the same effects as those of the above embodiments can be obtained. Further, the processor unit may be configured as an independent CPU, and the dedicated engine unit may be configured by external hardware. In this case, MP
An engine corresponding to a functional block that is not common to the functional block in EG2, that is, an arithmetic decoding engine, a padding engine, a synthesis engine, and the like may be configured by another hardware circuit outside the decoding LSI. As described above, the decoding LSI according to the first embodiment and the encoding LSI according to the second embodiment can change the configuration of physical hardware to various forms according to the use situation. Things.

【０１１７】[0117]

【発明の効果】以上のように本発明に係る画像復号化装
置によれば、復号化テクスチャデータに対する補填処理
を行う補填手段と、符号化形状データに対して算術復号
化処理を施す算術復号化手段と、複数のテクスチャデー
タを合成して合成画像データを生成する合成手段とを備
え、補填手段，算術復号化手段，及び合成手段をそれぞ
れハードウエア回路（専用エンジン）により構成したの
で、ＭＰＥＧ４方式により圧縮符号化された、画像など
の複数のオブジェクトに対応するビットストリームに対
する復号化処理を高速で行い、しかも該復号化処理を行
うハードウェア回路のコストを最小限に抑える。As described above, according to the image decoding apparatus of the present invention, the compensation means for performing the compensation processing on the decoded texture data, and the arithmetic decoding means for performing the arithmetic decoding processing on the encoded shape data Means and a synthesizing means for synthesizing a plurality of pieces of texture data to generate synthesized image data. The compensating means, the arithmetic decoding means, and the synthesizing means are each constituted by a hardware circuit (dedicated engine). And performs high-speed decoding processing on a bit stream corresponding to a plurality of objects such as images, which has been compression-encoded, and minimizes the cost of a hardware circuit that performs the decoding processing.

【０１１８】また、本発明に係る画像符号化装置によれ
ば、テクスチャデータに対する補填処理を行う補填手段
と、形状データに対する算術符号化処理を施して算術符
号化形状データを出力する算術符号手段と、算術符号化
形状データに対して算術復号化処理を施す算術復号化手
段とを備え、上記補填手段，算術符号手段，及び算術復
号化手段をそれぞれハードウエア回路（専用エンジン）
により構成したので、デジタル画像データに対するＭＰ
ＥＧ４方式の圧縮符号化処理を高速で行い、しかも該符
号化処理を行うハードウェア回路のコストを最小限に抑
えることができる。Further, according to the image coding apparatus of the present invention, the compensating means for performing the compensating process on the texture data and the arithmetic coding means for performing the arithmetic coding process on the shape data and outputting the arithmetically encoded shape data And arithmetic decoding means for performing arithmetic decoding processing on the arithmetically encoded shape data, wherein the compensation means, arithmetic coding means, and arithmetic decoding means are each provided by a hardware circuit (dedicated engine).
, MP for digital image data
The EG4 compression encoding process can be performed at high speed, and the cost of a hardware circuit that performs the encoding process can be minimized.

【図面の簡単な説明】[Brief description of the drawings]

【図１】本発明の実施の形態１による画像復号化装置を
説明するためのブロック図である。FIG. 1 is a block diagram illustrating an image decoding device according to a first embodiment of the present invention.

【図２】上記実施の形態１の画像復号化装置を構成する
算術復号エンジンの一構成例を示すブロック図である。FIG. 2 is a block diagram illustrating a configuration example of an arithmetic decoding engine included in the image decoding device according to the first embodiment.

【図３】上記実施の形態１の画像復号化装置における算
術復号エンジンの動作を説明するための模式図である。FIG. 3 is a schematic diagram for explaining an operation of an arithmetic decoding engine in the image decoding device according to the first embodiment.

【図４】上記実施の形態１の画像復号化装置における算
術復号エンジンの動作を説明するための模式図である。FIG. 4 is a schematic diagram for explaining an operation of an arithmetic decoding engine in the image decoding device according to the first embodiment.

【図５】上記実施の形態１の画像復号化装置を構成する
パディングエンジンの一構成例を示すブロック図であ
る。FIG. 5 is a block diagram illustrating a configuration example of a padding engine included in the image decoding device according to the first embodiment.

【図６】上記実施の形態１の画像復号化装置におけるパ
ディングエンジンの動作を説明するための模式図であ
り、図(a)，図(b)，図(c)は、補填処理の様子を示して
いる。FIG. 6 is a schematic diagram for explaining the operation of the padding engine in the image decoding device according to the first embodiment, and FIGS. 6A, 6B, and 6C show the state of the compensation processing; Is shown.

【図７】上記実施の形態１の画像復号化装置を構成する
合成エンジンを説明するための図であり、その一構成例
（図(a)）及び動作（図(b)）を示している。FIG. 7 is a diagram for explaining a synthesizing engine constituting the image decoding apparatus according to the first embodiment, and shows an example of the configuration (FIG. (A)) and operation (FIG. (B)); .

【図８】本発明の実施の形態２による画像符号化装置を
説明するためのブロック図である。FIG. 8 is a block diagram illustrating an image encoding device according to a second embodiment of the present invention.

【図９】従来の画像復号化装置を説明するためのブロッ
ク図である。FIG. 9 is a block diagram for explaining a conventional image decoding device.

【図１０】ＭＰＥＧ４符号化方式による符号化処理によ
り得られたビットストリームを復号する処理を実現する
機能ブロックを示す図である。FIG. 10 is a diagram showing functional blocks for realizing a process of decoding a bit stream obtained by an encoding process according to the MPEG4 encoding method.

【図１１】ＭＰＥＧ４符号化方式による符号化処理を実
現する機能ブロックを示す図である。FIG. 11 is a diagram illustrating functional blocks that realize an encoding process according to the MPEG4 encoding method.

【符号の説明】[Explanation of symbols]

１１，１１ａ プロセッサブロック １２，１４ａ 算術復号エンジン １３，１３ａ パディングエンジン １４ 合成エンジン １５，１５ａ メモリ制御ブロック １６ メモリ １７ ビデオＩ／Ｆブロック ２１ データ出力部 ２２ 算術復号部 ２３ 確率計算部 ２４ ストリームバッファ ５１ ポインタ制御部 ５２ 平均演算部 ５３ データ処理部 １００ 画像復号化装置 ２００ 画像符号化装置 11, 11a Processor block 12, 14a Arithmetic decoding engine 13, 13a Padding engine 14 Synthesis engine 15, 15a Memory control block 16 Memory 17 Video I / F block 21 Data output unit 22 Arithmetic decoding unit 23 Probability calculation unit 24 Stream buffer 51 Pointer Control unit 52 Average calculation unit 53 Data processing unit 100 Image decoding device 200 Image encoding device

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 KK12 KK13 KK37 LB15 MA00 MB03 MB14 ME11 PP04 PP14 SS06 TA08 TC00 TD07 UA05 UA37 5J064 AA03 AA04 BA10 BA16 BC01 BC04 BC08 BC09 BC21 BC25 BD01  ──────────────────────────────────────────────────続 き Continued on the front page F term (reference) 5C059 KK12 KK13 KK37 LB15 MA00 MB03 MB14 ME11 PP04 PP14 SS06 TA08 TC00 TD07 UA05 UA37 5J064 AA03 AA04 BA10 BA16 BC01 BC04 BC08 BC09 BC21 BC25 BD01

Claims (16)

【特許請求の範囲】[Claims] 【請求項１】 画像の輝度あるいは色を表すテクスチャ
データに符号化処理を施して得られる符号化テクスチャ
データ、及び上記画像の形を表す形状データに符号化処
理を施して得られる符号化形状データを含む符号化画像
データに復号化処理を施して、復号化テクスチャデータ
及び復号化形状データを含む復号化画像データを生成す
る画像復号化装置であって、 上記符号化形状データに対して算術復号化処理を施して
上記復号化形状データを出力する算術復号化手段と、 上記復号化テクスチャデータにより形成される、上記復
号化処理の対象となる画像を含む画像空間における、該
画像外部に位置する画素の画素値を補填する補填手段
と、 上記復号化処理の対象となる画像の復号化テクスチャデ
ータを、他の画像のテクスチャデータと合成する合成手
段とを備え、 上記算術復号化手段，補填手段，及び合成手段のうちの
少なくとも１つをハードウェア回路により構成するとと
もに、 該ハードウェア回路を制御するプロセッサを備えたもの
であることを特徴とする画像復号化装置。1. Encoded texture data obtained by performing an encoding process on texture data representing the luminance or color of an image, and encoded shape data obtained by performing an encoding process on the shape data representing the shape of the image An image decoding apparatus that performs a decoding process on encoded image data including: and generates decoded image data including decoded texture data and decoded shape data, wherein arithmetic decoding is performed on the encoded shape data. Arithmetic decoding means for performing decoding processing to output the decoded shape data, and located outside the image in an image space formed by the decoded texture data and including the image to be decoded. A compensating means for compensating for the pixel value of the pixel; and combining the decoded texture data of the image to be decoded with the texture data of another image. And at least one of the arithmetic decoding means, the compensation means, and the synthesizing means is constituted by a hardware circuit, and a processor for controlling the hardware circuit is provided. An image decoding device characterized by the following. 【請求項２】 画像の形を表す形状データに算術符号化
処理を施して得られる符号化形状データに対して、算術
復号化処理を施して復号化形状データを出力する、ハー
ドウェア回路からなる算術復号化手段を備えた画像復号
化装置であって、 上記算術復号化手段を構成するハードウエア回路は、 既に算術復号化処理が完了した複数の画素の画素値に基
いて、上記形状データに対応する形状画像空間におけ
る、算術復号化処理の対象となる対象画素が所定の画素
値を有する確率を計算する確率計算部と、 上記符号化形状データ、及び上記確率計算部の出力であ
る対象画素に対応する確率に基いて、該対象画素の画素
値を算出する算術復号部と、 上記算術復号部から出力される画素値を複数まとめて同
時に出力するデータ出力部とを備えたものであることを
特徴とする画像復号化装置。2. A hardware circuit for performing arithmetic decoding processing on encoded shape data obtained by performing arithmetic coding processing on shape data representing the shape of an image and outputting decoded shape data. An image decoding device comprising arithmetic decoding means, wherein a hardware circuit constituting the arithmetic decoding means is configured to convert the shape data based on pixel values of a plurality of pixels for which arithmetic decoding processing has already been completed. In a corresponding shape image space, a probability calculation unit that calculates the probability that a target pixel to be subjected to arithmetic decoding processing has a predetermined pixel value, and the encoded shape data, and a target pixel that is an output of the probability calculation unit An arithmetic decoding unit that calculates the pixel value of the target pixel based on the probability corresponding to the above, and a data output unit that simultaneously outputs a plurality of pixel values output from the arithmetic decoding unit. Image decoding apparatus characterized by some. 【請求項３】 請求項２記載の画像復号化装置におい
て、 上記算術復号化手段を構成するハードウエア回路は、 上記確率計算部による確率の計算処理、算術復号部によ
る画素値の算出処理、及びデータ出力部による画素値の
出力処理を、並行して行うことが可能であることを特徴
とする画像復号化装置。3. The image decoding apparatus according to claim 2, wherein the hardware circuit constituting the arithmetic decoding means includes: a probability calculation process by the probability calculation unit; a pixel value calculation process by the arithmetic decoding unit; An image decoding apparatus, wherein output processing of a pixel value by a data output unit can be performed in parallel. 【請求項４】 請求項２記載の画像復号化装置におい
て、 上記算術復号化手段を構成するハードウエア回路は、 上記確率計算部による確率の計算処理、算術復号部によ
る画素値の算出処理、及びデータ出力部による画素値の
出力処理を、複数画素まとめて行うものであることを特
徴とする画像復号化装置。4. The image decoding device according to claim 2, wherein the hardware circuit constituting the arithmetic decoding means includes: a probability calculation process by the probability calculation unit; a pixel value calculation process by the arithmetic decoding unit; An image decoding apparatus characterized in that output processing of a pixel value by a data output unit is performed collectively for a plurality of pixels. 【請求項５】 請求項２記載の画像復号化装置におい
て、 上記データ出力部は、上記算術復号部から出力される画
素値を、一定数毎に格納するデータ格納部を有し、 該データ格納部に画素値が格納される単位は、上記ハー
ドウエア回路を制御するプロセッサ、あるいは符号化形
状データ及び復号化形状データを記録するメモリに対し
てパラレルアクセスされるデータ数であるデータ幅と等
しいものであることを特徴とする画像復号化装置。5. The image decoding device according to claim 2, wherein the data output unit has a data storage unit that stores pixel values output from the arithmetic decoding unit at regular intervals. The unit in which the pixel value is stored in the unit is equal to the data width that is the number of data that is parallel-accessed to the processor that controls the hardware circuit or the memory that records the encoded shape data and the decoded shape data An image decoding device, characterized in that: 【請求項６】 請求項２記載の画像復号化装置におい
て、 上記データ出力部は、上記算術復号部から出力される画
素値を、一定数毎に格納するデータ格納部を有し、 該データ格納部に画素値が格納される単位は、上記算術
復号化処理の単位である所定数の画素からなる矩形画像
空間の１画素列における画素数の倍数であることを特徴
とする画像復号化装置。6. The image decoding device according to claim 2, wherein the data output unit has a data storage unit that stores pixel values output from the arithmetic decoding unit at regular intervals. An image decoding apparatus, wherein a unit in which a pixel value is stored in a unit is a multiple of the number of pixels in one pixel column of a rectangular image space including a predetermined number of pixels, which is a unit of the arithmetic decoding process. 【請求項７】 請求項２記載の画像復号化装置におい
て、 上記データ出力部は、 上記算術復号部から出力される画素値を、一定数の画素
値を格納単位として格納するデータ格納部と、 該格納単位を構成する画素が画像外画素であるかどうか
を判定する形状情報判定回路とを備えたものであること
を特徴とする画像復号化装置。7. The image decoding device according to claim 2, wherein the data output unit stores a pixel value output from the arithmetic decoding unit as a unit of a fixed number of pixel values, An image decoding apparatus comprising: a shape information determination circuit that determines whether a pixel forming the storage unit is a pixel outside the image. 【請求項８】 請求項１記載の画像復号化装置におい
て、 上記プロセッサは、入力された形状データに基いて補填
方法を決定し、該決定した補填方法を示す情報を上記補
填手段に出力し、 上記補填手段は、上記決定された補填方法に基いて補填
処理を行うものであることを特徴とする画像復号化装
置。8. The image decoding apparatus according to claim 1, wherein the processor determines a compensation method based on the input shape data, and outputs information indicating the decided compensation method to the compensation means. The image decoding apparatus according to claim 1, wherein said compensation means performs compensation processing based on said determined compensation method. 【請求項９】 請求項１記載の画像復号化装置におい
て、 上記補填手段は、上記補填処理を、上記算術復号化処理
の単位である所定数の画素からなる矩形画像空間の１画
素列における画素数の倍数を単位として行うものである
ことを特徴とする画像復号化装置。9. The image decoding apparatus according to claim 1, wherein said compensation means performs said compensation processing on a pixel in a pixel array of a rectangular image space consisting of a predetermined number of pixels as a unit of said arithmetic decoding processing. An image decoding apparatus characterized in that the decoding is performed in units of a multiple of the number. 【請求項１０】 画像の輝度あるいは色を表すテクスチ
ャデータに符号化処理を施して得られる符号化テクスチ
ャデータ、及び上記画像の形を表す形状データに符号化
処理を施して得られる符号化形状データを含む符号化画
像データに復号化処理を施して、復号化テクスチャデー
タ及び復号化形状データを含む復号化画像データを生成
する画像復号化装置であって、 上記復号化テクスチャデータにより形成される画像空間
における、上記画像の外部に位置する画素の画素値を補
填する補填処理を行う、ハードウェア回路からなる補填
手段を備え、 上記補填手段を構成するハードウエア回路は、 上記復号化形状データを用いて、各画素が上記画像空間
における画像内画素と画像外画素のいずれであるかを判
定して、補填処理に用いるべき画素を示すポインタ制御
部と、 上記ポインタ制御部により示された画素の画素値を用い
てその平均値を計算する平均演算部と、 上記ポインタ制御部により示された画素の画素値、上記
平均演算部により計算された平均値、ならびに復号化形
状データ及び復号化テクスチャデータに基いて、補填画
素値を生成し、補填対象となる画素の画素値を、該補填
画素値により補填するデータ処理部とを備えたものであ
ることを特徴とする画像復号化装置。10. Encoded texture data obtained by performing an encoding process on texture data representing the luminance or color of an image, and encoded shape data obtained by performing an encoding process on the shape data representing the shape of the image An image decoding apparatus that performs a decoding process on encoded image data including: and generates decoded image data including decoded texture data and decoded shape data, wherein an image formed by the decoded texture data is provided. In a space, a compensating unit comprising a hardware circuit that performs a compensating process for compensating a pixel value of a pixel located outside the image is provided.The hardware circuit configuring the compensating unit uses the decoded shape data. Then, it is determined whether each pixel is an in-image pixel or an out-of-image pixel in the image space, and a pixel to be used for the interpolation process is determined. A pointer control unit, an average calculation unit that calculates an average value using the pixel value of the pixel indicated by the pointer control unit, and a pixel value of the pixel indicated by the pointer control unit, A data processing unit that generates a compensated pixel value based on the calculated average value, the decoded shape data and the decoded texture data, and compensates a pixel value of a pixel to be compensated by the compensated pixel value. An image decoding apparatus, comprising: 【請求項１１】 請求項１０記載の画像復号化装置にお
いて、 上記補填手段は、上記ポインタ制御部による画素の指定
と、上記平均演算部による平均値の計算と、上記データ
処理部による画素値の補填とを、同時に並行して行うこ
とが可能であることを特徴とするものである画像復号化
装置。11. The image decoding apparatus according to claim 10, wherein said compensation means designates a pixel by said pointer control unit, calculates an average value by said averaging unit, and calculates a pixel value by said data processing unit. The image decoding apparatus is characterized in that the compensation can be performed simultaneously and in parallel. 【請求項１２】 請求項１０記載の画像復号化装置にお
いて、 上記補填手段は、上記補填処理を、上記画像空間におけ
る所定数の画素からなるブロック毎に行い、 上記補填手段は、上記補填処理の対象となっている処理
ブロックのあとに処理される処理ブロックに対する補填
処理に必要な復号済み画素値を保持するメモリを備えた
ものであることを特徴とするものである画像復号化装
置。12. The image decoding apparatus according to claim 10, wherein said compensation means performs said compensation processing for each block of a predetermined number of pixels in said image space, and wherein said compensation means performs said compensation processing. An image decoding apparatus, comprising: a memory for holding decoded pixel values necessary for a process of complementing a processing block processed after a target processing block. 【請求項１３】 請求項１記載の画像復号化装置におい
て、 上記合成手段は、 上記復号化処理の対象となる対象画像に対応する復号化
テクスチャデータ、該対象画像に対応する復号化形状デ
ータ、及び合成に用いられる他の画像に対応するテクス
チャデータを入力し、上記復号化形状データに基いて、
上記対象画像の復号化テクスチャデータと合成に用いら
れる他の画像のテクスチャデータとを合成して出力する
ものであることを特徴とする画像復号化装置。13. The image decoding apparatus according to claim 1, wherein the synthesizing unit includes: decoded texture data corresponding to the target image to be decoded; decoded shape data corresponding to the target image; And input texture data corresponding to other images used for synthesis, based on the decoded shape data,
An image decoding apparatus for synthesizing and outputting the decoded texture data of the target image and the texture data of another image used for synthesis. 【請求項１４】 請求項１記載の画像復号化装置におい
て、 上記合成手段は、同時刻に表示する画像を一括して合成
するものであることを特徴とする画像復号化装置。14. The image decoding apparatus according to claim 1, wherein said synthesizing means synthesizes the images displayed at the same time collectively. 【請求項１５】 画像の輝度あるいは色を表すテクスチ
ャデータ及び上記画像の形を表す形状データを含む画像
データに対して、オブジェクト復号化処理を含む符号化
処理を施して、符号化形状データ及び符号化テクスチャ
データを含む符号化画像データを出力するとともに、オ
ブジェクト復号化形状データ及びオブジェクト復号化テ
クスチャデータを含むオブジェクト復号化画像データを
生成する画像符号化装置であって、 上記形状データに対して、オブジェクト算術復号化処理
を含む算術符号化処理を施して上記符号化形状データを
出力するとともに、上記オブジェクト復号化形状データ
を生成する算術符号化手段と、 上記オブジェクト復号化テクスチャデータにより形成さ
れる画像空間における、上記画像の外部に位置する画素
の画素値を補填する補填手段とを備え、 上記算術符号化手段及び補填手段のうちの少なくとも１
つをハードウェア回路により構成するとともに、 該ハードウェア回路を制御するプロセッサを備えたもの
であることを特徴とする画像符号化装置。15. An encoding process including an object decoding process is performed on image data including texture data representing the brightness or color of an image and shape data representing the shape of the image, and the encoded shape data and the encoded data are encoded. An image encoding device that outputs encoded image data including encoded texture data, and generates object decoded image data including object decoded shape data and object decoded texture data. Arithmetic coding means for performing arithmetic coding processing including object arithmetic decoding processing to output the encoded shape data, and generating the object decoded shape data; and an image formed by the object decoded texture data. Pixels of pixels located outside the image in space And a compensating means for compensating the, at least one of said arithmetic coding means and compensating means
An image encoding apparatus comprising: a hardware circuit; and a processor that controls the hardware circuit. 【請求項１６】 画像の輝度あるいは色を表すテクスチ
ャデータ及び上記画像の形を表す形状データを含む画像
データに対して、オブジェクト復号化処理を含む符号化
処理を施して、符号化形状データ及び符号化テクスチャ
データを含む符号化画像データを出力するとともに、オ
ブジェクト復号化形状データ及びオブジェクト復号化テ
クスチャデータを含むオブジェクト復号化画像データを
生成する画像符号化装置であって、 上記オブジェクト復号化テクスチャデータにより形成さ
れる画像空間における、上記画像の外部に位置する画素
の画素値を補填する、ハードウェア回路からなる補填手
段を備え、 上記補填手段を構成するハードウエア回路は、 上記オブジェクト復号化形状データを用いて、各画素が
画像内画素と画像外画素のいずれであるかを判定して、
補填処理に用いるべき画素を示すポインタ制御部と、 上記ポインタ制御部により示された画素の画素値を用い
てその平均値を計算する平均演算部と、 上記ポインタ制御部により示された画素の画素値、上記
平均演算部により計算された平均値、ならびに上記オブ
ジェクト復号化形状データ及びオブジェクト復号化テク
スチャデータに基いて補填画素値を生成し、補填対象と
なる画素の画素値を、該補填画素値により補填するデー
タ処理部とを備えたものであることを特徴とする画像符
号化装置。16. An encoding process including an object decoding process is performed on image data including texture data representing the brightness or color of an image and shape data representing the shape of the image, so as to obtain encoded shape data and code. An image encoding apparatus that outputs encoded image data including encoded texture data, and generates object decoded image data including object decoded shape data and object decoded texture data. Complementing the pixel value of a pixel located outside the image in the image space to be formed, the compensating unit includes a hardware circuit, and the hardware circuit configuring the compensating unit converts the object decoded shape data into Each pixel can be either a pixel inside the image or a pixel outside the image. Determine if there is
A pointer control unit that indicates a pixel to be used for the compensation processing; an average calculation unit that calculates an average value using a pixel value of the pixel indicated by the pointer control unit; and a pixel of the pixel indicated by the pointer control unit A supplementary pixel value is generated based on the value, the average value calculated by the averaging unit, and the object-decoded shape data and the object-decoded texture data. An image encoding apparatus comprising: a data processing unit for compensating for an error.