JP2007006194A

JP2007006194A - Image decoding/reproducing apparatus

Info

Publication number: JP2007006194A
Application number: JP2005184732A
Authority: JP
Inventors: Masao Kitagawa; 昌生北川
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2005-06-24
Filing date: 2005-06-24
Publication date: 2007-01-11

Abstract

<P>PROBLEM TO BE SOLVED: To not only realize the reduction in capacity of a frame memory of an image decoding/reproducing apparatus but also reduce a circuit scale. <P>SOLUTION: Image data transferred between a requester permitted to access a shared memory 130 by an arbitration part 121 and the shared memory 130 is expanded/reduced by a scaling part 122. Processing contents in the scaling part 122 are switched by a request ID of the requester and data transfer direction information, whereby the capacity of a frame memory 131 can be reduced because image data can be compressed and written to the frame memory 131. Since the scaling part 122 is shared, it is unnecessary to provide a scaling function for each requester. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、例えば、符号化された画像データを復号し、再生する画像復号再生装置において、復号後の画像データを格納するフレームメモリの容量を低減する技術に関する。 The present invention relates to a technique for reducing the capacity of a frame memory for storing decoded image data in an image decoding / reproducing apparatus that decodes and reproduces encoded image data, for example.

画像復号再生装置に入力される画像符号データは、さまざまな圧縮符号化技術によりデータ量の削減が行われたものであるが、その圧縮符号化技術の一つとして、相前後する画像間での相関関係を利用した動き予測技術がある。圧縮符号化時に、この動き予測処理が施された画像符号化データを画像復号再生装置にて、復号し、再生する際は、復号後画像データを保存するフレームメモリが必要であり、またフレームメモリに記憶された復号後画像データは、再生画像として出力されるだけでなく、動き補償処理のために参照される必要がある。 The image code data input to the image decoding / playback apparatus has been reduced in data amount by various compression coding techniques. There is a motion prediction technique using the correlation. At the time of compression encoding, when the encoded image data subjected to the motion prediction process is decoded and reproduced by the image decoding / reproducing apparatus, a frame memory for storing the decoded image data is required. The decoded image data stored in is not only output as a reproduced image, but also needs to be referenced for motion compensation processing.

また、フレームメモリ容量を削減するために、復号後のデータを符号化回路で圧縮し、フレームメモリに記憶させるようにしたものもある（例えば、特許文献１参照）。 In addition, in order to reduce the frame memory capacity, there is a type in which decoded data is compressed by an encoding circuit and stored in a frame memory (see, for example, Patent Document 1).

具体的には、例えば同文献の図１に示されるように、画像復号再生装置に、フレームメモリに記憶させるデータを圧縮する符号化回路１０１、出力表示する画像を得るためにフレームメモリの圧縮データを伸長する第一のデータ伸長回路１０５ａ、および動き補償処理における参照画像として用いる画像を得るためにフレームメモリの圧縮データを伸長する第二のデータ伸長回路１０５ｂが設けられている。
特開平９−２６１６３５号公報（図１） Specifically, for example, as shown in FIG. 1 of the same document, the image decoding / playback apparatus compresses the data to be stored in the frame memory, the encoding circuit 101 that compresses the data, and the frame memory compressed data to obtain the image to be output and displayed. Is provided with a first data decompression circuit 105a for decompressing the frame memory and a second data decompression circuit 105b for decompressing the compressed data of the frame memory in order to obtain an image used as a reference image in the motion compensation process.
JP-A-9-261635 (FIG. 1)

しかしながら、上記画像復号再生装置では、データ圧縮回路１０４内の符号化回路１０１によりデータ量が圧縮されるため、フレームメモリ１０２の容量は削減されるが、出力表示用と動き補償処理用とで、データ伸長回路が２つ設けられていたので、回路規模および製造コストが増大しがちであった。 However, in the image decoding / playback apparatus, since the data amount is compressed by the encoding circuit 101 in the data compression circuit 104, the capacity of the frame memory 102 is reduced. However, for output display and motion compensation processing, Since two data decompression circuits are provided, the circuit scale and manufacturing cost tend to increase.

本発明は、上記の点に鑑み、画像復号再生装置のフレームメモリ等の容量低減を実現するとともに、回路規模を低減することを目的とする。 The present invention has been made in view of the above points, and aims to reduce the circuit scale as well as to reduce the capacity of the frame memory and the like of the image decoding / playback apparatus.

上記の課題を解決するため、請求項１の発明は、
メモリに記憶された画像を参照して、符号化された画像データの復号を行う画像復号再生装置であって、
データを圧縮する機能と伸長する機能を有するデータ圧縮伸長部と、
複数のリクエスタのうちのいずれかから入力されたデータを上記データ圧縮伸長部を介して上記メモリに出力する一方、上記メモリから上記データ圧縮伸長部を介して入力されたデータを上記リクエスタのいずれかに出力するように、複数のリクエスタからのアクセスを調停する調停部とを備え、
上記複数のリクエスタは、入力された上記符号化された画像符号データを復号し、復号後の画像データをメモリに書き込む復号部と、上記メモリから上記復号後の画像データを読み出して出力する画像出力部を含み、
上記データ圧縮伸長部の圧縮伸長動作が、上記メモリへのアクセス制御またはアクセス対象データの属性に関する情報に基づいて制御されるように構成された
ことを特徴とする。 In order to solve the above problems, the invention of claim 1
An image decoding / playback apparatus for decoding encoded image data with reference to an image stored in a memory,
A data compression / decompression unit having a function of compressing and decompressing data;
Data input from any one of a plurality of requesters is output to the memory via the data compression / decompression unit, while data input from the memory via the data compression / decompression unit is output to any one of the requesters. And an arbitration unit that arbitrates access from a plurality of requesters,
The plurality of requesters decode the input encoded image code data, write the decoded image data into a memory, and output the image data after reading the decoded image data from the memory Part
The compression / decompression operation of the data compression / decompression unit is configured to be controlled based on access control to the memory or information related to attributes of data to be accessed.

また、請求項２の発明は、
請求項１の画像復号再生装置であって、
上記メモリへのアクセス制御またはアクセス対象データの属性に関する情報は、上記メモリに対するアクセスがデータの書き込み処理と読み出し処理のどちらのアクセスであるかを示すデータ転送方向情報、上記メモリに対するアクセスがいずれのリクエスタからのアクセスであるかを示すリクエスタ識別情報、メモリ内のいずれの領域へのアクセスがなされるかを示す転送メモリアドレス、およびメモリアクセスの対象となるデータが輝度信号か色差信号のいずれであるかを示す輝度色差判別情報のうちの少なくとも１つであることを特徴とする。 The invention of claim 2
The image decoding / playback apparatus according to claim 1,
The information on the access control to the memory or the attribute of the data to be accessed includes data transfer direction information indicating whether the access to the memory is a data write process or a read process, and which requestor is an access to the memory. Requester identification information indicating whether the access is from, a transfer memory address indicating which area in the memory is accessed, and whether the data to be accessed is a luminance signal or a color difference signal It is at least one of the luminance color difference discrimination information indicating.

これらにより、復号後の画像データが、メモリに書き込まれる時は圧縮され、動き補償処理における参照画像やモニタ等への出力画像などとしてメモリから読み出される時は伸長されるようにすることができるので、メモリの容量を低減することができる。また、複数のリクエスタがデータ圧縮伸長部を別個に備えることなく、データ圧縮伸長部が共用される。 As a result, the decoded image data can be compressed when written to the memory, and decompressed when read from the memory as a reference image or an output image to a monitor in the motion compensation process. The capacity of the memory can be reduced. Further, the data compression / decompression unit is shared without a plurality of requesters having a separate data compression / decompression unit.

また、データ圧縮伸長部におけるデータの圧縮伸長動作の制御は、例えばデータ転送方向情報やリクエスタ識別情報等の情報を利用することによって自動的に行われる。 The data compression / decompression operation in the data compression / decompression unit is automatically performed by using information such as data transfer direction information and requester identification information.

具体的には、例えばデータ転送方向情報に基づくデータの圧縮伸長率の制御により、データをメモリに書き込む場合はデータが自動的に圧縮され、データをメモリから読み出す場合はデータが自動的に伸長されるようにすることができる。 Specifically, for example, by controlling the data compression / decompression rate based on the data transfer direction information, the data is automatically compressed when the data is written to the memory, and the data is automatically decompressed when the data is read from the memory. You can make it.

または、リクエスタ識別情報に基づくデータの圧縮伸長率の制御により、リクエスタの種類に応じてデータの圧縮伸長率を決定することができるので、データ圧縮伸長部はそれぞれ異なった種類のデータを扱う様々なリクエスタに対応した圧縮伸長を行うことができる。 Alternatively, by controlling the data compression / decompression rate based on the requester identification information, the data compression / decompression rate can be determined according to the type of requester, so the data compression / decompression unit can handle various types of data. The compression / decompression corresponding to the requester can be performed.

または、転送メモリアドレスに基づくデータの圧縮伸長率の制御により、メモリ内のどの領域へのアクセスかによってデータの圧縮伸長率を決定することができるので、データの記憶される領域の種類に応じた圧縮伸長を行うことができる。 Alternatively, by controlling the compression / decompression ratio of data based on the transfer memory address, the compression / decompression ratio of data can be determined depending on which area in the memory is accessed, so that it corresponds to the type of area in which data is stored. Compression / decompression can be performed.

または、輝度色差判別情報に基づくデータの圧縮伸長率の制御により、データ量圧縮伸長手段におけるデータ量圧縮処理とデータ量伸長処理が画質劣化を伴う非可逆変換の場合、人間の視覚特性が敏感である輝度成分のデータについては画質劣化を抑えるために圧縮伸長率を低くし、人間の視覚特性が輝度成分に比べて鈍感である色差成分の場合は拡大縮小率を輝度成分に比べ高くするといったような、人間の視覚特性を考慮した拡大縮小率の制御を行うことができる。 Or, by controlling the data compression / decompression ratio based on the luminance / color difference discrimination information, if the data amount compression processing and the data amount expansion processing in the data amount compression / expansion means are irreversible conversion with image quality degradation, human visual characteristics are sensitive. For data of a certain luminance component, the compression / expansion rate is lowered to suppress image quality deterioration, and in the case of a color difference component in which human visual characteristics are insensitive compared to the luminance component, the enlargement / reduction rate is increased compared to the luminance component. In addition, it is possible to control the enlargement / reduction ratio in consideration of human visual characteristics.

また、請求項３の発明は、
請求項１の画像復号再生装置であって、
上記データ圧縮伸長部におけるデータの圧縮伸長率が、さらに、上記メモリの容量、および上記復号部による復号後の画像のデータ量に基づいて制御されるように構成されたことを特徴とする。 The invention of claim 3
The image decoding / playback apparatus according to claim 1,
The data compression / decompression rate of the data compression / decompression unit is further controlled based on the capacity of the memory and the data amount of the image after decoding by the decoding unit.

これにより、任意の画像サイズの符号化データを復号することが求められる場合においても、復号後の画像データ量がメモリの容量より小さい場合は、画像データを圧縮伸長せずにメモリに保存できる。したがって、データ量圧縮伸長手段における圧縮処理に例えば画質劣化を伴う非可逆圧縮が用いられる場合でも、画質劣化を最低限に抑えることができる。 As a result, even when it is required to decode encoded data of an arbitrary image size, if the amount of image data after decoding is smaller than the capacity of the memory, the image data can be stored in the memory without being compressed or expanded. Therefore, even when, for example, irreversible compression with image quality deterioration is used for the compression processing in the data amount compression / expansion means, the image quality deterioration can be minimized.

また、請求項４の発明は、
請求項１の画像復号再生装置であって、
上記データ圧縮伸長部におけるデータの圧縮伸長率が、さらに、上記メモリの容量、および上記画像出力部が出力する画像のデータ量に基づいて制御されるように構成されたことを特徴とする。 The invention of claim 4
The image decoding / playback apparatus according to claim 1,
The data compression / decompression unit of the data compression / decompression unit is further configured to be controlled based on the capacity of the memory and the data amount of the image output from the image output unit.

これにより、メモリ容量と出力画像の画素数や階調数に応じて、データ圧縮伸長率が制御される。 Thereby, the data compression / expansion rate is controlled according to the memory capacity and the number of pixels and the number of gradations of the output image.

また、請求項５の発明は、
請求項１の画像復号再生装置であって、
上記データ圧縮伸長部におけるデータの圧縮は、非可逆圧縮であることを特徴とする。 The invention of claim 5
The image decoding / playback apparatus according to claim 1,
The data compression in the data compression / decompression unit is irreversible compression.

これにより、非可逆圧縮であっても、例えばリクエスタの識別に基づいて、画像データであれば圧縮、音声、制御データであれば非圧縮というような適切な圧縮伸長制御が行われる。 Thereby, even in the case of irreversible compression, for example, based on the identification of the requester, appropriate compression / decompression control is performed such that compression is performed for image data and audio and non-compression is performed for control data.

また、請求項６の発明は、
請求項５の画像復号再生装置であって、
上記データ圧縮伸長部におけるデータの圧縮伸長は、画素数または階調数の減少又は増加を伴うことを特徴とする。 The invention of claim 6
The image decoding / playback apparatus according to claim 5,
The data compression / decompression in the data compression / decompression unit is accompanied by a decrease or increase in the number of pixels or the number of gradations.

また、請求項７の発明は、
請求項６の画像復号再生装置であって、
上記データ圧縮伸長部におけるデータの圧縮伸長は、直交変換と逆直交変換とを用いた圧縮伸長、間引き処理、およびフィルタリングの少なくとも１つによるものであることを特徴とする。 The invention of claim 7
The image decoding / playback apparatus according to claim 6,
The data compression / decompression in the data compression / decompression unit is based on at least one of compression / decompression using orthogonal transformation and inverse orthogonal transformation, thinning processing, and filtering.

これにより、画素数の増減を伴うデータ量の調整が行われる。 Thereby, adjustment of the data amount accompanying increase / decrease in the number of pixels is performed.

また、請求項８の発明は、
請求項７の画像復号再生装置であって、
上記データ圧縮伸長部におけるデータの圧縮伸長による画素数または階調数の減少程度は、上記メモリの容量、および上記画像出力部が出力する画像のデータ量に基づいて制御されるように構成されたことを特徴とする。 The invention of claim 8
The image decoding / playback apparatus according to claim 7,
The degree of reduction in the number of pixels or the number of gradations due to data compression / decompression in the data compression / decompression unit is configured to be controlled based on the capacity of the memory and the amount of image data output from the image output unit. It is characterized by that.

これにより、メモリ容量と出力画像の画素数や階調数に応じて、画素数または階調数の減少程度が制御される。 Thus, the degree of reduction in the number of pixels or the number of gradations is controlled according to the memory capacity and the number of pixels or the number of gradations of the output image.

また、請求項９の発明は、
請求項１の画像復号再生装置であって、
上記データ圧縮伸長部が、入力されたデータをそのまま出力することが可能に構成されていることを特徴とする。 The invention of claim 9
The image decoding / playback apparatus according to claim 1,
The data compression / decompression unit is configured to be able to output input data as it is.

これにより、データの種類等に応じて、メモリに書き込まれるデータやメモリから読み出されるデータを圧縮伸長したりしなかったりすることができる。 As a result, the data written to the memory and the data read from the memory can be compressed or decompressed depending on the type of data.

本発明によれば、画像復号再生装置のフレームメモリ等の容量低減を実現するとともに、回路規模を低減することができる。 According to the present invention, it is possible to reduce the capacity of the frame memory and the like of the image decoding / playback apparatus and reduce the circuit scale.

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の各実施形態において、他の実施形態と同様の機能を有する構成要素については同一の符号を付して説明を省略する。 Embodiments of the present invention will be described below with reference to the drawings. In each of the following embodiments, components having functions similar to those of the other embodiments are denoted by the same reference numerals and description thereof is omitted.

《発明の実施形態１》
本発明の実施形態１に係る画像復号再生装置１００は、図１に示すように、リクエスタ群１１０が、調停部１２１および拡大縮小部１２２を介して、フレームメモリ１３１（画像データ蓄積領域）と非画像データ蓄積領域１３２とを有する共有メモリ１３０（メモリ）にアクセスするようになっている。 Embodiment 1 of the Invention
In the image decoding / playback apparatus 100 according to the first embodiment of the present invention, as shown in FIG. 1, the requester group 110 is not connected to the frame memory 131 (image data storage area) via the arbitration unit 121 and the enlargement / reduction unit 122. A shared memory 130 (memory) having an image data storage area 132 is accessed.

（リクエスタ群１１０について）
リクエスタ群１１０は、具体的には例えば、画像符号データ復号部１１１、画像出力部１１２、音声復号部１１３、音声出力部１１４、およびシステム制御部１１５の５つのリクエスタを有している。リクエスタ群１１０には、それぞれ固有のリクエストＩＤ（リクエスタ番号情報）が割り当てられている。 (About the requester group 110)
Specifically, the requester group 110 includes, for example, five requesters: an image code data decoding unit 111, an image output unit 112, an audio decoding unit 113, an audio output unit 114, and a system control unit 115. Each requester group 110 is assigned a unique request ID (requester number information).

画像符号データ復号部１１１は、可変長復号部１１１ａ、逆量子化部１１１ｂ、逆ＤＣＴ部１１１ｃ、および動き補償部１１１ｄを備えている。これらによって可変長復号処理、逆量子化処理、逆ＤＣＴ処理、および動き補償処理を行うことにより画像符号データが復号されるようになっている。また、動き補償部１１１ｄは、動き補償処理の参照画像データとして用いるために、共有メモリ１３０のフレームメモリ１３１に記憶された復号後画像データを読み出すアクセスを行う一方、動き補償処理後の復号後画像データを共有メモリ１３０のフレームメモリ１３１に書き込むアクセスを行うようになっている。 The image code data decoding unit 111 includes a variable length decoding unit 111a, an inverse quantization unit 111b, an inverse DCT unit 111c, and a motion compensation unit 111d. Thus, image code data is decoded by performing variable length decoding processing, inverse quantization processing, inverse DCT processing, and motion compensation processing. In addition, the motion compensation unit 111d performs access to read out the decoded image data stored in the frame memory 131 of the shared memory 130 for use as reference image data for the motion compensation process, while the decoded image after the motion compensation process. Access to write data to the frame memory 131 of the shared memory 130 is performed.

画像出力部１１２は、共有メモリ１３０のフレームメモリ１３１から復号後画像データを読み出すアクセスを行い、読み出した復号後画像データをモニタ等での表示サイズに合わせて拡大縮小し、出力するようになっている。 The image output unit 112 performs access to read out the decoded image data from the frame memory 131 of the shared memory 130, and scales and outputs the read out decoded image data according to the display size on the monitor or the like. Yes.

音声復号部１１３は、音声符号データを復号し、復号後音声データを共有メモリ１３０の非画像データ蓄積領域１３２に書き込むアクセスを行うようになっている。 The audio decoding unit 113 performs access to decode the audio code data and write the decoded audio data into the non-image data storage area 132 of the shared memory 130.

音声出力部１１４は、共有メモリ１３０の非画像データ蓄積領域１３２から復号後音声データを読み出すアクセスを行い、読み出した復号後音声データを出力するようになっている。 The audio output unit 114 performs access to read out decoded audio data from the non-image data storage area 132 of the shared memory 130, and outputs the read out decoded audio data.

システム制御部１１５は、画像符号データ復号部１１１、画像出力部１１２、音声復号部１１３、および音声出力部１１４に対し、音と画像を同期させて出力させるなどのシステム制御を行い、共有メモリ１３０の非画像データ蓄積領域１３２に対して、システム制御に必要な制御データを読み出すアクセスおよび書き込むアクセスを行うようになっている。すなわち、非画像データ蓄積領域１３２のうちシステム制御部１１５のアクセスする領域は、システム制御部１１５の作業領域の役割を果たす。 The system control unit 115 performs system control such as causing the image code data decoding unit 111, the image output unit 112, the audio decoding unit 113, and the audio output unit 114 to output sounds and images in synchronization with each other, and the shared memory 130 The non-image data storage area 132 is accessed for reading and writing control data necessary for system control. That is, the area accessed by the system control unit 115 in the non-image data storage area 132 serves as a work area for the system control unit 115.

（調停部１２１）
調停部１２１は、リクエスタ群１１０と共有メモリ１３０との間のデータ転送（アクセス）を調停するようになっている。より詳しくは、調停部１２１は所定の優先順位または調停方法に基づいて、いずれのリクエスタに共有メモリ１３０へのアクセスを許可するかを決定し、許可するリクエスタに対して共有メモリ１３０へのアクセスを許可する（中継する）とともに、そのリクエスタのリクエストＩＤと当該アクセスが読み出しアクセスと書き込みアクセスのいずれであるかを示すデータ転送方向情報を、拡大縮小部１２２に出力する。上記アクセス許可により、アクセスを許可されたリクエスタと共有メモリ１３０の間で、データ転送が開始される。 (Arbitration unit 121)
The arbitration unit 121 arbitrates data transfer (access) between the requester group 110 and the shared memory 130. More specifically, the arbitrating unit 121 determines which requestor is permitted to access the shared memory 130 based on a predetermined priority or arbitration method, and allows the requesting requestor to access the shared memory 130. At the same time, the request ID of the requester and data transfer direction information indicating whether the access is a read access or a write access are output to the enlargement / reduction unit 122. Data transfer is started between the requester permitted to access and the shared memory 130 by the access permission.

（拡大縮小部１２２）
拡大縮小部１２２は、調停部１２１によりアクセスを許可されたいずれかのリクエスタと共有メモリ１３０との間で転送されるデータに対し、拡大縮小処理を行うようになっている。より詳しくは、図２に示すように、リクエスタ群１１０によって共有メモリ１３０に書き込まれるデータを縮小する一方、共有メモリ１３０から読み出されるデータを拡大する拡大縮小処理部１２２ｂと、調停部１２１から入力されるリクエストＩＤとデータ転送方向情報に基づいて、上記拡大縮小処理部１２２ｂにおける動作モードと拡大縮小率を決定する判別部１２２ａとを備えている。動作モードには、「拡大」、「縮小」、および「拡大縮小オフ」の３つのモードがある。拡大縮小率とは、転送される画像データを何倍の画素数に拡大縮小するかを示す値である。拡大縮小処理部１２２ｂは、例えば転送される画像データにＤＣＴ変換を行い、その拡大縮小率に応じて高周波数成分の除去と逆ＤＣＴ変換を行って画素数を低減（画像サイズを縮小）することにより、データ量が圧縮された画像データを出力するようになっている。 (Enlargement / reduction unit 122)
The enlargement / reduction unit 122 performs an enlargement / reduction process on data transferred between any of the requesters permitted to be accessed by the arbitration unit 121 and the shared memory 130. More specifically, as shown in FIG. 2, the data written in the shared memory 130 by the requester group 110 is reduced, while the enlargement / reduction processing unit 122 b that enlarges the data read from the shared memory 130 and the arbitration unit 121 are input. And a determination unit 122a for determining an operation mode and an enlargement / reduction ratio in the enlargement / reduction processing unit 122b based on the request ID and the data transfer direction information. There are three operation modes, “enlargement”, “reduction”, and “enlargement / reduction off”. The enlargement / reduction ratio is a value indicating how many times the number of pixels of the transferred image data is enlarged or reduced. For example, the enlargement / reduction processing unit 122b performs DCT conversion on the transferred image data, and performs high-frequency component removal and inverse DCT conversion according to the enlargement / reduction ratio to reduce the number of pixels (reducing the image size). Thus, the image data whose data amount is compressed is output.

図３に、判別部１２２ａで決定される動作モードと拡大縮小率の例を示す。判別部１２２ａは、調停部１２１から入力されるリクエストＩＤにより、共有メモリ１３０とリクエスタの間で転送されるデータが画像データであるか否かを判別し、画像データでない場合は動作モードが「拡大縮小オフ」であることを示す動作モード信号を出力する。これに応じて、拡大縮小部１２２は、拡大縮小処理を行わず、入力された画像データをそのまま出力する。また、転送データが画像データであった場合は、入力されるデータ転送方向情報により、アクセスが共有メモリ１３０に対する書き込みである場合は「縮小」、読み出しである場合は「拡大」を示す動作モード信号を出力する。したがって、書き込まれる画像データが縮小されて、データ量が減るので、共有メモリ１３０のフレームメモリ１３１の使用容量を小さくできる。図３の例では、動作モード「縮小」の場合は拡大縮小率は１／２倍、「拡大」の場合は拡大縮小率は２倍としているが、同じ動作モードでもリクエストＩＤによって異なる拡大縮小率になるように設定してもよい。 FIG. 3 shows an example of the operation mode and the enlargement / reduction ratio determined by the determination unit 122a. Based on the request ID input from the arbitration unit 121, the determination unit 122a determines whether the data transferred between the shared memory 130 and the requester is image data. If the data is not image data, the operation mode is “enlarged”. An operation mode signal indicating “reduction off” is output. In response to this, the enlargement / reduction unit 122 outputs the input image data as it is without performing enlargement / reduction processing. Further, when the transfer data is image data, an operation mode signal indicating “reduction” when the access is writing to the shared memory 130 and “enlargement” when the access is read, according to the input data transfer direction information. Is output. Accordingly, the image data to be written is reduced and the amount of data is reduced, so that the capacity of the frame memory 131 of the shared memory 130 can be reduced. In the example of FIG. 3, the enlargement / reduction ratio is ½ times in the case of the operation mode “reduction”, and the enlargement / reduction ratio is twice in the case of “enlargement”. You may set so that it becomes.

以下、上記のように構成された画像復号再生装置１００の動作を説明する。 Hereinafter, an operation of the image decoding / playback apparatus 100 configured as described above will be described.

まず、画像符号データが、画像復号再生装置１００に入力され、画像符号データ復号部１１１において復号される際の動作を説明する。 First, an operation when image code data is input to the image decoding / playback apparatus 100 and decoded by the image code data decoding unit 111 will be described.

画像符号データ復号部１１１の可変長復号部１１１ａ、逆量子化部１１１ｂ、および逆ＤＣＴ部１１１ｃは、入力される画像符号データに対し、それぞれ可変長復号処理、逆量子化処理、および逆ＤＣＴ処理を行う。 The variable length decoding unit 111a, the inverse quantization unit 111b, and the inverse DCT unit 111c of the image code data decoding unit 111 are each configured to perform variable length decoding processing, inverse quantization processing, and inverse DCT processing on input image code data. I do.

画像符号データ復号部１１１の動き補償部１１１ｄは、共有メモリ１３０のフレームメモリ１３１に記憶された復号後画像データを動き補償処理の参照画像データとして読み出すために、調停部１２１に対して読み出しアクセス許可要求を行う。 The motion compensation unit 111d of the image code data decoding unit 111 reads the access permission to the arbitration unit 121 in order to read out the decoded image data stored in the frame memory 131 of the shared memory 130 as reference image data for the motion compensation process. Make a request.

調停部１２１は、上記アクセス許可要求と、その他のリクエスタからのアクセス許可要求を受け、所定の優先順位によりアクセス許可を与えるリクエスタを選択する。動き補償部１１１ｄが選択されると、動き補償部１１１ｄにアクセス許可（中継）が行われる。一方、調停部１２１は、拡大縮小部１２２の判別部１２２ａに対して、画像符号データ復号部１１１のリクエストＩＤ「０」と、データ転送方向情報「読み出し」を通知する。 The arbitration unit 121 receives the access permission request and an access permission request from another requester, and selects a requester that grants access permission according to a predetermined priority. When the motion compensation unit 111d is selected, access permission (relay) is performed to the motion compensation unit 111d. On the other hand, the arbitration unit 121 notifies the determination unit 122a of the enlargement / reduction unit 122 of the request ID “0” of the image code data decoding unit 111 and the data transfer direction information “read”.

判別部１２２ａは、上記リクエストＩＤ、データ転送方向情報に応じて、動作モードを「拡大」、拡大縮小率を「２倍」と決定し、拡大縮小処理部１２２ｂに通知する。 The determination unit 122a determines the operation mode as “enlargement” and the enlargement / reduction rate as “2 ×” according to the request ID and the data transfer direction information, and notifies the enlargement / reduction processing unit 122b.

これを受けた拡大縮小処理部１２２ｂは、共有メモリ１３０から読み出される画像データを２倍に拡大する。拡大された画像データは、調停部１２１を介して動き補償部１１１ｄに転送される。 Receiving this, the enlargement / reduction processing unit 122b enlarges the image data read from the shared memory 130 twice. The enlarged image data is transferred to the motion compensation unit 111d via the arbitration unit 121.

動き補償部１１１ｄは、この画像データを参照画像データとして用いて動き補償処理を行い、新たな画像データを生成する。生成された新たな画像データを共有メモリ１３０のフレームメモリ１３１に記憶させるために、動き補償部１１１ｄは、調停部１２１に対して書き込みアクセス許可要求を行う。 The motion compensation unit 111d performs motion compensation processing using this image data as reference image data, and generates new image data. In order to store the generated new image data in the frame memory 131 of the shared memory 130, the motion compensation unit 111d makes a write access permission request to the arbitration unit 121.

調停部１２１が再度、アクセス許可を与えるリクエスタとして動き補償部１１１ｄを選択すると、動き補償部１１１ｄにアクセス許可（中継）が行われる。一方、調停部１２１は、拡大縮小部１２２の判別部１２２ａに対して、画像符号データ復号部１１１のリクエストＩＤ「０」と、データ転送方向情報「書き込み」を通知する。 When the arbitration unit 121 again selects the motion compensation unit 111d as a requester that grants access permission, access permission (relay) is performed on the motion compensation unit 111d. On the other hand, the arbitration unit 121 notifies the determination unit 122a of the enlargement / reduction unit 122 of the request ID “0” of the image code data decoding unit 111 and the data transfer direction information “write”.

判別部１２２ａは、上記リクエストＩＤ、データ転送方向情報により、動作モードを「縮小」、拡大縮小率を「１／２倍」と決定し、拡大縮小処理部１２２ｂに通知する。 Based on the request ID and data transfer direction information, the determination unit 122a determines that the operation mode is “reduction” and the enlargement / reduction rate is “½ times”, and notifies the enlargement / reduction processing unit 122b.

これを受けた拡大縮小処理部１２２ｂは、動き補償部１１１ｄから転送される画像データを１／２倍に縮小する。縮小された画像データは、共有メモリ１３０のフレームメモリ１３１に書き込まれる。 Receiving this, the enlargement / reduction processing unit 122b reduces the image data transferred from the motion compensation unit 111d to ½ times. The reduced image data is written into the frame memory 131 of the shared memory 130.

次に、共有メモリ１３０のフレームメモリ１３１に記憶された画像データが読み出されて表示順に画像出力される際の動作を説明する。 Next, the operation when the image data stored in the frame memory 131 of the shared memory 130 is read and output in the display order will be described.

画像出力部１１２は、共有メモリ１３０のフレームメモリ１３１に記憶された画像データを読み出すために、調停部１２１に対して読み出しアクセス要求を行う。 The image output unit 112 makes a read access request to the arbitration unit 121 in order to read the image data stored in the frame memory 131 of the shared memory 130.

調停部１２１が、アクセス許可を与えるリクエスタとして画像出力部１１２を選択すると、画像出力部１１２にアクセス許可（中継）が行われる。一方、調停部１２１は、拡大縮小部１２２の判別部１２２ａに対して、画像出力部１１２のリクエストＩＤ「４」と、データ転送方向情報「読み出し」を通知する。 When the arbitration unit 121 selects the image output unit 112 as a requester for granting access permission, access permission (relay) is performed on the image output unit 112. On the other hand, the arbitration unit 121 notifies the determination unit 122a of the enlargement / reduction unit 122 of the request ID “4” of the image output unit 112 and the data transfer direction information “read”.

判別部１２２ａは、上記リクエストＩＤ、データ転送方向情報により、動作モードを「拡大」、拡大縮小率を「２倍」と決定し、拡大縮小処理部１２２ｂに通知する。 Based on the request ID and data transfer direction information, the determination unit 122a determines that the operation mode is “enlargement” and the enlargement / reduction rate is “2 ×”, and notifies the enlargement / reduction processing unit 122b.

これを受けた拡大縮小処理部１２２ｂは、共有メモリ１３０から読み出される画像データを２倍に拡大する。拡大された画像データは、調停部１２１を介して画像出力部１１２に出力画像データとして転送される。 Receiving this, the enlargement / reduction processing unit 122b enlarges the image data read from the shared memory 130 twice. The enlarged image data is transferred as output image data to the image output unit 112 via the arbitration unit 121.

また、調停部１２１において、非画像データを転送するリクエスタ、すなわち音声復号部１１３、音声出力部１１４、またはシステム制御部１１５に対して、共有メモリ１３０へのアクセスが許可された場合は、判別部１２２ａが動作モードを「拡大縮小オフ」に決定し、拡大縮小処理部１２２ｂは入力をそのまま出力する。 In addition, in the arbitration unit 121, when access to the shared memory 130 is permitted to a requester that transfers non-image data, that is, the audio decoding unit 113, the audio output unit 114, or the system control unit 115, a determination unit 122a determines that the operation mode is “enlargement / reduction off”, and the enlargement / reduction processing unit 122b outputs the input as it is.

上記のように、調停部１２１に共有メモリ１３０へのアクセスを許可されたリクエスタは、同時に拡大縮小部１２２の使用権限も与えられ、リクエストＩＤとデータ転送方向情報によって、拡大縮小処理部１２２ｂの処理内容が切り替えられることにより、拡大縮小部１２２をリクエスタ間で効率よく共用でき、各リクエスタに個別の拡大縮小機能を持たせたりする必要がなくなる。また、非可逆な拡大縮小処理（圧縮伸長処理）が用いられる場合でも、制御データや音声データを扱うリクエスタとの間で転送されるデータに対しては拡大縮小処理が行われないようにすることができるので、これらのリクエスタと画像データを扱うリクエスタが、共有メモリ１３０へのデータバスを容易に共有できる。 As described above, the requester permitted to access the shared memory 130 by the arbitration unit 121 is also given the authority to use the enlargement / reduction unit 122, and the processing of the enlargement / reduction processing unit 122b is performed according to the request ID and the data transfer direction information. By switching the contents, the enlargement / reduction unit 122 can be efficiently shared between requesters, and it is not necessary to provide each requester with a separate enlargement / reduction function. Also, even when irreversible enlargement / reduction processing (compression / decompression processing) is used, enlargement / reduction processing should not be performed on data transferred to / from requesters that handle control data and audio data. Therefore, these requesters and requesters that handle image data can easily share the data bus to the shared memory 130.

また、動き補償部１１１ｄが画像データを共有メモリ１３０のフレームメモリ１３１に記憶させるアクセスを行った際には、画像データに１／２倍の縮小処理が行われるので、共有メモリ１３０の使用容量が低減される。同時に、共有メモリ１３０へのアクセスに使用されるメモリバンド幅も低減される。 Further, when the motion compensation unit 111d performs access to store the image data in the frame memory 131 of the shared memory 130, the image data is subjected to a reduction process of 1/2, so that the used capacity of the shared memory 130 is reduced. Reduced. At the same time, the memory bandwidth used to access the shared memory 130 is also reduced.

さらに、データの拡大縮小処理を行うか否かの判断、拡大縮小率の設定、および拡大縮小処理はすべて拡大縮小部によりリクエストＩＤやデータ転送方向等、すなわち通常のメモリアクセスにおいてリクエスタが出力するメモリへのアクセス制御に関するデータに基づいて行われるため、各リクエスタにメモリ容量の低減率を考慮した処理機能（拡大縮小動作を制御するデータを出力する機能）を必要とせず、リクエスタとなるシステムや回路として、既存のシステムや既存の回路を適用する場合も、設計変更等が不要であるので、適用が非常に容易である。例えば、画質重視のシステムには拡大縮小部を搭載しないが、メモリ容量削減重視のシステムには搭載するという適用も容易である。 Further, the determination of whether or not to perform data enlargement / reduction processing, the setting of the enlargement / reduction ratio, and the enlargement / reduction processing are all performed by the requester or the data transfer direction by the enlargement / reduction unit, that is, the memory output by the requester in normal memory access. Because it is based on data related to access control to the system, each requester does not need a processing function that takes into account the reduction rate of the memory capacity (function to output data for controlling the enlargement / reduction operation), and becomes a requester system or circuit Even when an existing system or an existing circuit is applied, it is very easy to apply because no design change is required. For example, an enlargement / reduction unit is not installed in a system that emphasizes image quality, but can be easily installed in a system that emphasizes memory capacity reduction.

なお、上記実施形態１では、リクエストＩＤにより転送データが画像データであるか否かを判別しているが、メモリアドレスや、フレームメモリ１３１と非画像データ蓄積領域１３２のいずれへのアクセスかを示す情報（メモリアドレス情報）をリクエスタ等が出力し、判別部１２２ａがそれに基づいて転送データが画像データであるか否かを判別するように構成してもよい。 In the first embodiment, whether or not the transfer data is image data is determined based on the request ID, but indicates whether the access is to the memory address or the frame memory 131 or the non-image data storage area 132. Information (memory address information) may be output by a requester or the like, and the determination unit 122a may determine whether the transfer data is image data based on the information.

また、上記の例では、データの圧縮伸長方法として、画像データにＤＣＴ変換、高周波成分の除去、および逆ＤＣＴ変換を施すことによって、画像を拡大縮小（画素数を増大または減少）する例を示したが、圧縮伸長方法はこれに限られない。拡大縮小を伴うものや伴わないもの等、種々の圧縮伸長方法を用いてもよい。例えば、隣り合う複数の画素のデータのうち１画素を選択する間引き処理、ローパスフィルタ等のフィルタリング、およびＤＣＴ、逆ＤＣＴ変換以外の直交変換、逆直交変換を用いた圧縮伸長方法を用いてもよい。また、画像データにおける一部の空間周波数成分を取り除くことによって圧縮したり、階調数を減少させることなどによって、１画素あたりに含まれる輝度情報や色差情報等に関するデータ量を低減するようにしてもよい。 In the above example, as an example of the data compression / decompression method, an image is enlarged / reduced (the number of pixels is increased or decreased) by performing DCT conversion, removal of high-frequency components, and inverse DCT conversion on the image data. However, the compression / decompression method is not limited to this. Various compression / decompression methods such as those with or without enlargement / reduction may be used. For example, a thinning process for selecting one pixel from data of a plurality of adjacent pixels, filtering such as a low-pass filter, and a compression / decompression method using orthogonal transformation other than DCT or inverse DCT transformation, or inverse orthogonal transformation may be used. . In addition, the amount of data related to luminance information, color difference information, and the like included in each pixel is reduced by compressing by removing some spatial frequency components from the image data or by reducing the number of gradations. Also good.

また、上記の例では、圧縮伸長部に入出力されるデータは、逆ＤＣＴ変換後の実空間データであったが、逆ＤＣＴ変換前の周波数空間データが入出力され、高周波数成分の除去や量子化等が行われるようにしてもよい。 In the above example, the data input / output to / from the compression / decompression unit is real space data after the inverse DCT transform, but the frequency space data before the inverse DCT transform is input / output to remove high frequency components. Quantization or the like may be performed.

《発明の実施形態２》
実施形態２として、画像データが輝度成分か、色差成分かに応じて、画像データの拡大縮小処理における拡大縮小率が変更される画像復号再生装置の例を説明する。 << Embodiment 2 of the Invention >>
As an embodiment 2, an example of an image decoding / playback apparatus in which the enlargement / reduction ratio in the enlargement / reduction processing of image data is changed according to whether the image data is a luminance component or a color difference component will be described.

本実施形態２に係る画像復号再生装置２００は、図４に示すように、実施形態１の画像復号再生装置１００の構成に比べて、画像データを扱うリクエスタ、すなわち動き補償部１１１ｄを有する画像符号データ復号部１１１、および画像出力部１１２が、アクセス時に付加情報として、転送する画像データが輝度成分なのか色差成分なのかを示す輝度色差判別情報を調停部１２１に出力するようになっている点が異なる。また、調停部１２１は、リクエストＩＤとデータ転送方向情報に加え、輝度色差判別情報を拡大縮小部２２２に出力するようになっている。 As shown in FIG. 4, the image decoding / playback apparatus 200 according to the second embodiment has a requester that handles image data, that is, an image code having a motion compensation unit 111d, as compared with the configuration of the image decoding / playback apparatus 100 according to the first embodiment. The data decoding unit 111 and the image output unit 112 output luminance color difference determination information indicating whether the image data to be transferred is a luminance component or a color difference component to the arbitration unit 121 as additional information at the time of access. Is different. In addition to the request ID and data transfer direction information, the arbitration unit 121 outputs luminance color difference determination information to the enlargement / reduction unit 222.

拡大縮小部２２２は、図５に示すように、判別部２２２ａがリクエストＩＤ、データ転送方向情報、および輝度色差判別情報に基づいて動作モードと拡大縮小率を決定するようになっている。 In the enlargement / reduction unit 222, as shown in FIG. 5, the determination unit 222a determines the operation mode and the enlargement / reduction ratio based on the request ID, the data transfer direction information, and the luminance / color difference determination information.

図６は、判別部２２２ａにおける動作モードと拡大縮小率の決定方法の一例である。調停部１２１から入力されるリクエストＩＤにより、共有メモリ１３０とリクエスタの間で転送されるデータが画像データであるか否かを判別し、画像データでない場合は動作モードを「拡大縮小オフ」に決定する。また、転送データが画像データであった場合は、入力されるデータ転送方向情報により、アクセスが共有メモリ１３０に対する書き込みである場合は動作モードを「縮小」、読み出しである場合は「拡大」に決定する。拡大縮小率は、輝度色差判別情報により決定される。図６の例では、輝度成分の場合、縮小処理ならば３／４倍、拡大処理ならば４／３倍、色差成分の場合、縮小処理ならば１／２倍、拡大処理ならば２倍と、拡大縮小率が決定される。 FIG. 6 is an example of a method for determining the operation mode and the enlargement / reduction ratio in the determination unit 222a. Based on the request ID input from the arbitration unit 121, it is determined whether or not the data transferred between the shared memory 130 and the requester is image data. If the data is not image data, the operation mode is determined to be “scaling off”. To do. Further, when the transfer data is image data, the operation mode is determined to be “reduction” when the access is writing to the shared memory 130 and “enlargement” when the access is read, based on the input data transfer direction information. To do. The enlargement / reduction ratio is determined by the luminance color difference determination information. In the example of FIG. 6, in the case of the luminance component, the reduction process is 3/4 times, the enlargement process is 4/3 times, the color difference component is the reduction process, 1/2 times, and the enlargement process is 2 times. The enlargement / reduction ratio is determined.

上記のように、画像データが輝度成分と色差成分のいずれであるかによって拡大縮小率を切り替えることにより、拡大縮小処理が画質劣化を伴う非可逆変換の場合でも、人間の視覚特性が敏感である輝度成分の場合は拡大縮小率を低くし、人間の視覚特性が輝度成分に比べて鈍感である色差成分の場合は拡大縮小率を輝度成分に比べ高くするといったように、人間の視覚特性を考慮して、拡大縮小処理による画質劣化を小さく抑えることができる。すなわち、色差成分の縮小の度合いを高め、空いた容量を輝度成分のデータの記憶に割り当て、輝度成分の縮小の度合いを低くすることにより、フレームメモリ１３１の容量が限られた画像復号再生装置における画質改善が可能となる。 As described above, by switching the enlargement / reduction ratio depending on whether the image data is a luminance component or a color difference component, human visual characteristics are sensitive even when the enlargement / reduction processing is irreversible conversion with image quality degradation. Consider human visual characteristics, such as lowering the zoom ratio for luminance components, and increasing the zoom ratio compared to luminance components for color difference components where human visual characteristics are insensitive to luminance components. Thus, image quality deterioration due to enlargement / reduction processing can be suppressed to a small level. That is, in the image decoding / reproducing apparatus in which the capacity of the frame memory 131 is limited by increasing the degree of reduction of the color difference component, allocating the free capacity to the storage of the luminance component data, and reducing the degree of reduction of the luminance component. Image quality can be improved.

また、データの拡大縮小処理を行うか否かの判断や拡大縮小率の設定が、メモリへのアクセス制御に関するデータであるリクエストＩＤ等とアクセス対象データの属性に関するデータである輝度色差判別情報に基づいて行われるため、拡大縮小制御情報を出力する機能を各リクエスタに持たせる必要がない。 Further, the determination of whether or not to perform data enlargement / reduction processing and the setting of the enlargement / reduction ratio are based on the request ID that is data related to access control to the memory and the luminance color difference determination information that is data related to the attribute of the access target data. Therefore, each requester does not need to have a function of outputting the enlargement / reduction control information.

なお、図６の例では、輝度成分、色差成分ともに拡大縮小処理を行っているが、例えば、判別部２２２ａにおいて、転送データが輝度成分の場合は動作モードを「拡大縮小オフ」に決定させるようにして、輝度成分は拡大縮小処理を行わずに、色差成分のみ拡大縮小処理を行うようにしても、フレームメモリ１３１の使用容量をある程度低減することはできる。 In the example of FIG. 6, the enlargement / reduction processing is performed for both the luminance component and the color difference component. For example, when the transfer data is the luminance component, the determination unit 222a determines that the operation mode is “enlargement / reduction off”. Thus, even if the luminance component is not enlarged / reduced and only the color difference component is enlarged / reduced, the used capacity of the frame memory 131 can be reduced to some extent.

《発明の実施形態３》
実施形態３として、画像符号データ復号部における復号後の画像サイズ、および画像出力部における出力画像サイズに関する情報に基づき、拡大縮小処理の有無や拡大縮小率が決定されるようにした画像復号再生装置の例を説明する。 << Embodiment 3 of the Invention >>
As a third embodiment, an image decoding / playback apparatus in which the presence / absence of an enlargement / reduction process and the enlargement / reduction ratio are determined based on information on the image size after decoding in the image code data decoding unit and the output image size in the image output unit An example will be described.

本実施形態３に係る画像復号再生装置３００は、図７に示すように、実施形態１の画像復号再生装置１００の画像出力部１１２に代えて、出力画像サイズ（出力する画像のデータ量）を出力する画像出力部３１２を備え、さらに、入力される画像符号データを解析し、復号後の画像サイズ（復号後の画像のデータ量）を出力する画像符号解析部３４０を備えている。また、出力された復号後の画像サイズと出力画像サイズが拡大縮小部３２２に入力されるようになっている。出力画像サイズとして、例えば、モニタの表示サイズ（解像度）やモニタの一部に小画面表示するときの表示サイズが入力される。 As shown in FIG. 7, the image decoding / playback apparatus 300 according to the third embodiment has an output image size (data amount of output image) instead of the image output unit 112 of the image decoding / playback apparatus 100 according to the first embodiment. It includes an image output unit 312 for outputting, and further includes an image code analyzing unit 340 for analyzing input image code data and outputting a decoded image size (data amount of the decoded image). The output decoded image size and output image size are input to the enlargement / reduction unit 322. As the output image size, for example, a display size (resolution) of the monitor or a display size when a small screen is displayed on a part of the monitor is input.

拡大縮小部３２２の判別部３２２ａは、図８に示すように、調停部１２１から入力されるリクエストＩＤとデータ転送方向情報、画像符号解析部３４０から入力される復号後画像サイズ、画像出力部３１２から入力される出力画像サイズ、およびあらかじめ設定されたフレームメモリ１３１の容量（メモリの容量）（以下、「フレームメモリサイズ」と呼ぶ）に基づいて、動作モードと拡大縮小率を決定するようになっている。 As shown in FIG. 8, the determination unit 322 a of the enlargement / reduction unit 322 includes a request ID and data transfer direction information input from the arbitration unit 121, a decoded image size input from the image code analysis unit 340, and an image output unit 312. The operation mode and the enlargement / reduction ratio are determined on the basis of the output image size input from the memory and a preset capacity (memory capacity) of the frame memory 131 (hereinafter referred to as “frame memory size”). ing.

図９は、判別部３２２ａにおける動作モードと拡大縮小率の決定方法の一例である。非画像データを転送するリクエスタである音声復号部１１３（リクエストＩＤ＝１）、音声出力部１１４（リクエストＩＤ＝３）、およびシステム制御部１１５（リクエストＩＤ＝２）については、常に動作モードが「拡大縮小オフ」であるため、図９では表記を略す。 FIG. 9 is an example of a method for determining the operation mode and the enlargement / reduction ratio in the determination unit 322a. For the audio decoding unit 113 (request ID = 1), the audio output unit 114 (request ID = 3), and the system control unit 115 (request ID = 2), which are requesters that transfer non-image data, the operation mode is always “ Since “enlargement / reduction is off”, the notation is omitted in FIG.

図９を用いて、まず画像符号データ復号部１１１が共有メモリ１３０にアクセスする場合の動作モードの決定方法について説明する。パターン１とパターン２のように、復号後画像サイズがフレームメモリサイズ以下である場合は、縮小せずに復号後画像データをフレームメモリ１３１に記録できるので、動作モードは「拡大縮小オフ」に決定される。逆に、パターン３のように、復号後画像サイズがフレームメモリサイズより大きい場合、フレームメモリ１３１に画像データを書き込むアクセスであれば、画像データをフレームメモリサイズに収めるため、動作モードは「縮小」と決定され、フレームメモリ１３１から画像データを読み出すアクセスであれば、フレームメモリ１３１内の画像データは縮小されているので、動作モードは「拡大」と決定される。 First, a method of determining an operation mode when the image code data decoding unit 111 accesses the shared memory 130 will be described with reference to FIG. If the decoded image size is equal to or smaller than the frame memory size as in patterns 1 and 2, the decoded image data can be recorded in the frame memory 131 without being reduced, so the operation mode is determined to be “enlargement / reduction off”. Is done. Conversely, when the decoded image size is larger than the frame memory size as in pattern 3, if the access is to write image data to the frame memory 131, the image data is stored in the frame memory size, so the operation mode is “reduction”. If the access is to read image data from the frame memory 131, the image data in the frame memory 131 is reduced, so that the operation mode is determined to be “enlarged”.

次に、画像出力部３１２が共有メモリ１３０にアクセスする場合の動作モードの決定方法について説明する。パターン１のように、出力画像サイズがフレームメモリサイズ以下である場合は、動作モードは「拡大縮小オフ」に決定される。逆に、パターン２とパターン３のように、出力画像サイズがフレームメモリサイズより大きい場合、画像出力部３１２からの読み出しアクセスの際の動作モードは「拡大」に決定される。 Next, a method for determining an operation mode when the image output unit 312 accesses the shared memory 130 will be described. When the output image size is equal to or smaller than the frame memory size as in pattern 1, the operation mode is determined as “enlargement / reduction off”. Conversely, when the output image size is larger than the frame memory size as in patterns 2 and 3, the operation mode at the time of read access from the image output unit 312 is determined to be “enlarged”.

図９の例では、具体的には、１枚の画像を記憶するフレームメモリ１３１のサイズが水平３６０画素×垂直４８０ラインに相当する容量である場合を示している。パターン１では、復号後画像サイズと出力画像サイズが共に水平３６０画素×垂直４８０ラインであり、フレームメモリサイズ以下となるので、画像符号データ復号部１１１と画像出力部３１２のいずれからのアクセスであっても、動作モードは「拡大縮小オフ」と決定される。パターン２では、復号後画像サイズは水平３６０画素×垂直４８０ラインであり、フレームメモリサイズ以下であるので、画像符号データ復号部１１１からのアクセスの場合は動作モードは「拡大縮小オフ」と決定されるが、出力画像サイズは水平７２０画素×垂直４８０ラインであり、フレームメモリサイズより大きいので、画像出力部３１２から読み出しアクセスされた場合、動作モードは「拡大」、拡大縮小率は「２倍」と決定される。パターン３では、復号後画像サイズも水平７２０画素×垂直４８０ラインであり、フレームメモリサイズより大きいので、画像符号データ復号部１１１がフレームメモリ１３１に書き込むアクセスをする場合は、動作モードが「縮小」、拡大縮小率は「１／２倍」と決定され、逆に読み出すアクセスをする場合は、動作モードが「拡大」、拡大縮小率が「２倍」と決定される。 In the example of FIG. 9, specifically, a case is shown in which the size of the frame memory 131 that stores one image is a capacity corresponding to horizontal 360 pixels × vertical 480 lines. In pattern 1, both the decoded image size and the output image size are horizontal 360 pixels × vertical 480 lines, which are equal to or smaller than the frame memory size. Therefore, access from either the image code data decoding unit 111 or the image output unit 312 is not performed. However, the operation mode is determined as “enlargement / reduction off”. In pattern 2, the post-decoding image size is 360 horizontal pixels × vertical 480 lines and is equal to or smaller than the frame memory size. Therefore, in the case of access from the image code data decoding unit 111, the operation mode is determined as “enlargement / reduction off”. However, since the output image size is horizontal 720 pixels × vertical 480 lines, which is larger than the frame memory size, when read access is made from the image output unit 312, the operation mode is “enlarge” and the enlargement / reduction ratio is “2 ×”. Is determined. In pattern 3, the decoded image size is also horizontal 720 pixels × vertical 480 lines, which is larger than the frame memory size. Therefore, when the image code data decoding unit 111 accesses to write to the frame memory 131, the operation mode is “reduction”. The enlargement / reduction ratio is determined to be “½ times”. On the contrary, when reading is performed, the operation mode is determined to be “enlargement” and the enlargement / reduction ratio is determined to be “2 times”.

このような決定に応じて、拡大縮小処理部１２２ｂにより転送データが拡大縮小され、調停部１２１または共有メモリ１３０に転送される。 In response to such determination, the transfer data is enlarged / reduced by the enlargement / reduction processing unit 122 b and transferred to the arbitration unit 121 or the shared memory 130.

上記のように、フレームメモリサイズ、復号後画像サイズ、および出力画像サイズによって、動作モードや拡大縮小率を切り替えることにより、フレームメモリサイズに収まる復号後画像サイズであれば、拡大縮小処理を行わないように制御できる。このような制御は、特に、拡大縮小処理が画質劣化を伴う非可逆変換である場合に、画質劣化を最低限に抑えるのに有効である。 As described above, if the decoded image size fits in the frame memory size by switching the operation mode and the enlargement / reduction ratio according to the frame memory size, the decoded image size, and the output image size, the enlargement / reduction processing is not performed. Can be controlled. Such control is particularly effective in minimizing image quality degradation when the enlargement / reduction processing is irreversible conversion with image quality degradation.

なお、上記実施形態では、１画素あたりに含まれるデータ量は変化しないものとして、画素数（画像サイズ）に基づいて拡大縮小率を決定しているが、１画素あたりに含まれるデータ量も考慮した画像のデータ量に基づいて拡大縮小率を決定してもよい。 In the above embodiment, the amount of data included per pixel is assumed to be unchanged, and the enlargement / reduction ratio is determined based on the number of pixels (image size). However, the amount of data included per pixel is also considered. The enlargement / reduction ratio may be determined based on the data amount of the obtained image.

また、上記の例では、画像サイズの拡大縮小が、水平方向について行われているが、垂直方向、あるいは、水平方向と垂直方向の両方について行われるようにしてもよい。 In the above example, the enlargement / reduction of the image size is performed in the horizontal direction. However, the image size may be performed in the vertical direction or both in the horizontal direction and the vertical direction.

本発明に係る画像復号再生装置は、画像復号再生装置のフレームメモリ等の容量低減を実現するとともに、回路規模を低減するという効果を有し、例えば、符号化された画像データを復号し、再生する画像復号再生装置において、復号後の画像データを格納するフレームメモリの容量を低減する技術等として有用である。 The image decoding / playback apparatus according to the present invention has an effect of reducing the capacity of the frame memory of the image decoding / playback apparatus and reducing the circuit scale. For example, the image decoding / playback apparatus decodes and plays back encoded image data. This is useful as a technique for reducing the capacity of the frame memory for storing the decoded image data.

本発明の実施形態１に係る画像復号再生装置１００の構成を示すブロック図である。It is a block diagram which shows the structure of the image decoding reproduction | regeneration apparatus 100 which concerns on Embodiment 1 of this invention. 同、拡大縮小部１２２の構成を示すブロック図である。2 is a block diagram showing a configuration of an enlargement / reduction unit 122. FIG. 同、判別部１２２ａにおける動作モードと拡大縮小率の決定方法の例の説明図である。It is explanatory drawing of the example of the determination method of the operation mode in the determination part 122a, and an enlargement / reduction ratio similarly. 本発明の実施形態２に係る画像復号再生装置２００の構成を示すブロック図である。It is a block diagram which shows the structure of the image decoding reproduction | regeneration apparatus 200 which concerns on Embodiment 2 of this invention. 同、拡大縮小部２２２の構成を示すブロック図である。2 is a block diagram showing a configuration of an enlargement / reduction unit 222. FIG. 同、判別部２２２ａにおける動作モードと拡大縮小率の決定方法の例の説明図である。It is explanatory drawing of the example of the determination method of the operation mode in the discrimination | determination part 222a, and an enlargement / reduction ratio similarly. 本発明の実施形態３に係る画像復号再生装置３００の構成を示すブロック図である。It is a block diagram which shows the structure of the image decoding reproduction | regeneration apparatus 300 which concerns on Embodiment 3 of this invention. 同、拡大縮小部３２２の構成を示すブロック図である。3 is a block diagram showing a configuration of an enlargement / reduction unit 322. FIG. 同、判別部３２２ａにおける動作モードと拡大縮小率の決定方法の例の説明図である。It is explanatory drawing of the example of the determination method of the operation mode in the discrimination | determination part 322a, and an enlargement / reduction ratio similarly.

符号の説明Explanation of symbols

１００画像復号再生装置
１１０リクエスタ群
１１１画像符号データ復号部
１１１ａ可変長復号部
１１１ｂ逆量子化部
１１１ｃ逆ＤＣＴ部
１１１ｄ動き補償部
１１２画像出力部
１１３音声復号部
１１４音声出力部
１１５システム制御部
１２１調停部
１２２拡大縮小部
１２２ａ判別部
１２２ｂ拡大縮小処理部
１３０共有メモリ
１３１フレームメモリ
１３２非画像データ蓄積領域
２００画像復号再生装置
２２２拡大縮小部
２２２ａ判別部
３００画像復号再生装置
３１２画像出力部
３２２拡大縮小部
３２２ａ判別部
３４０画像符号解析部 100 Image decoding / reproducing apparatus 110 Requester group 111 Image code data decoding unit 111a Variable length decoding unit 111b Inverse quantization unit 111c Inverse DCT unit 111d Motion compensation unit 112 Image output unit 113 Audio decoding unit 114 Audio output unit 115 System control unit 121 Arbitration Unit 122 enlargement / reduction unit 122a determination unit 122b enlargement / reduction processing unit 130 shared memory 131 frame memory 132 non-image data storage area 200 image decoding / playback device 222 enlargement / reduction unit 222a determination unit 300 image decoding / playback device 312 image output unit 322 enlargement / reduction unit 322a Discriminator 340 Image code analyzer

Claims

メモリに記憶された画像を参照して、符号化された画像データの復号を行う画像復号再生装置であって、
データを圧縮する機能と伸長する機能を有するデータ圧縮伸長部と、
複数のリクエスタのうちのいずれかから入力されたデータを上記データ圧縮伸長部を介して上記メモリに出力する一方、上記メモリから上記データ圧縮伸長部を介して入力されたデータを上記リクエスタのいずれかに出力するように、複数のリクエスタからのアクセスを調停する調停部とを備え、
上記複数のリクエスタは、入力された上記符号化された画像符号データを復号し、復号後の画像データをメモリに書き込む復号部と、上記メモリから上記復号後の画像データを読み出して出力する画像出力部を含み、
上記データ圧縮伸長部の圧縮伸長動作が、上記メモリへのアクセス制御またはアクセス対象データの属性に関する情報に基づいて制御されるように構成されたことを特徴とする画像復号再生装置。 An image decoding / playback apparatus for decoding encoded image data with reference to an image stored in a memory,
A data compression / decompression unit having a function of compressing and decompressing data;
Data input from any one of a plurality of requesters is output to the memory via the data compression / decompression unit, while data input from the memory via the data compression / decompression unit is output to any one of the requesters. And an arbitration unit that arbitrates access from a plurality of requesters,
The plurality of requesters decode the input encoded image code data, write the decoded image data into a memory, and output the image data after reading the decoded image data from the memory Part
An image decoding / playback apparatus configured to control a compression / decompression operation of the data compression / decompression unit based on access control to the memory or information on an attribute of data to be accessed.

請求項１の画像復号再生装置であって、
上記メモリへのアクセス制御またはアクセス対象データの属性に関する情報は、上記メモリに対するアクセスがデータの書き込み処理と読み出し処理のどちらのアクセスであるかを示すデータ転送方向情報、上記メモリに対するアクセスがいずれのリクエスタからのアクセスであるかを示すリクエスタ識別情報、メモリ内のいずれの領域へのアクセスがなされるかを示す転送メモリアドレス、およびメモリアクセスの対象となるデータが輝度信号か色差信号のいずれであるかを示す輝度色差判別情報のうちの少なくとも１つであることを特徴とする画像復号再生装置。 The image decoding / playback apparatus according to claim 1,
The information on the access control to the memory or the attribute of the data to be accessed includes data transfer direction information indicating whether the access to the memory is a data write process or a read process, and which requestor is an access to the memory. Requester identification information indicating whether the access is from, a transfer memory address indicating which area in the memory is accessed, and whether the data to be accessed is a luminance signal or a color difference signal An image decoding / reproducing apparatus characterized in that the image decoding / reproducing apparatus is at least one of luminance / chrominance discrimination information.

請求項１の画像復号再生装置であって、
上記データ圧縮伸長部におけるデータの圧縮伸長率が、さらに、上記メモリの容量、および上記復号部による復号後の画像のデータ量に基づいて制御されるように構成されたことを特徴とする画像復号再生装置。 The image decoding / playback apparatus according to claim 1,
An image decoding characterized in that the compression / decompression rate of data in the data compression / decompression unit is further controlled based on the capacity of the memory and the data amount of the image after decoding by the decoding unit Playback device.

請求項１の画像復号再生装置であって、
上記データ圧縮伸長部におけるデータの圧縮伸長率が、さらに、上記メモリの容量、および上記画像出力部が出力する画像のデータ量に基づいて制御されるように構成されたことを特徴とする画像復号再生装置。 The image decoding / playback apparatus according to claim 1,
An image decoding characterized in that the compression / decompression ratio of data in the data compression / decompression unit is further controlled based on the capacity of the memory and the data amount of the image output by the image output unit Playback device.

請求項１の画像復号再生装置であって、
上記データ圧縮伸長部におけるデータの圧縮は、非可逆圧縮であることを特徴とする画像復号再生装置。 The image decoding / playback apparatus according to claim 1,
An image decoding / reproducing apparatus, wherein the data compression / decompression unit performs lossy compression.

請求項５の画像復号再生装置であって、
上記データ圧縮伸長部におけるデータの圧縮伸長は、画素数または階調数の減少又は増加を伴うことを特徴とする画像復号再生装置。 The image decoding / playback apparatus according to claim 5,
The image decoding / reproducing apparatus according to claim 1, wherein the data compression / decompression in the data compression / decompression unit is accompanied by a decrease or increase in the number of pixels or the number of gradations.

請求項６の画像復号再生装置であって、
上記データ圧縮伸長部におけるデータの圧縮伸長は、直交変換と逆直交変換とを用いた圧縮伸長、間引き処理、およびフィルタリングの少なくとも１つによるものであることを特徴とする画像復号再生装置。 The image decoding / playback apparatus according to claim 6,
The image decoding / reproducing apparatus, wherein the data compression / decompression in the data compression / decompression unit is performed by at least one of compression / decompression using orthogonal transformation and inverse orthogonal transformation, thinning-out processing, and filtering.

請求項７の画像復号再生装置であって、
上記データ圧縮伸長部におけるデータの圧縮伸長による画素数または階調数の減少程度は、上記メモリの容量、および上記画像出力部が出力する画像のデータ量に基づいて制御されるように構成されたことを特徴とする画像復号再生装置。 The image decoding / playback apparatus according to claim 7,
The degree of reduction in the number of pixels or the number of gradations due to data compression / decompression in the data compression / decompression unit is configured to be controlled based on the capacity of the memory and the amount of image data output from the image output unit. An image decoding / playback apparatus characterized by that.

請求項１の画像復号再生装置であって、
上記データ圧縮伸長部が、入力されたデータをそのまま出力することが可能に構成されていることを特徴とする画像復号再生装置。 The image decoding / playback apparatus according to claim 1,
An image decoding / reproducing apparatus, wherein the data compression / decompression unit is configured to output input data as it is.