JP3532796B2 - Multimedia decoding device with a single external storage memory - Google Patents
Multimedia decoding device with a single external storage memoryInfo
- Publication number
- JP3532796B2 JP3532796B2 JP18699199A JP18699199A JP3532796B2 JP 3532796 B2 JP3532796 B2 JP 3532796B2 JP 18699199 A JP18699199 A JP 18699199A JP 18699199 A JP18699199 A JP 18699199A JP 3532796 B2 JP3532796 B2 JP 3532796B2
- Authority
- JP
- Japan
- Prior art keywords
- decoder
- memory
- decoding
- audio
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、ＭＰＥＧ規格など
でディジタル圧縮された画像・音声データを復号する復
号化装置に関し、特にディジタル圧縮された画像データ
とディジタル圧縮された音声データを同時に復号して表
示を行う半導体集積回路に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a decoding apparatus for decoding image / sound data digitally compressed according to the MPEG standard or the like, and more particularly to a decoding device for simultaneously decoding digitally compressed image data and digitally compressed audio data. The present invention relates to a semiconductor integrated circuit for displaying.
【０００２】[0002]
【従来の技術】ディジタル放送・ＤＶＤの普及、および
半導体集積技術の進歩という背景から、従来別個の集積
回路で実現していたＭＰＥＧ２ビデオデコーダに代表さ
れる映像の復号化器とＡＣ-３デコーダやＭＰＥＧオー
デイオデコーダに代表される音声の復号化器が単一の半
導体集積回路に集積されつつある。低コストでビデオ・
オーデイオデコーダを実装するためには、ビデオデコー
ダとオーディオデコーダが単一の集積回路内に実装され
るばかりでなく、ビデオデコーダが使用するデータメモ
リとオーディオデコーダが使用するデータメモリが、物
理的に１つのメモリを共有するユニファイドメモリアー
キテクチャをとることが望ましい。2. Description of the Related Art From the background of the spread of digital broadcasting / DVD and the advance of semiconductor integrated technology, a video decoder and an AC-3 decoder represented by an MPEG2 video decoder, which are conventionally realized by separate integrated circuits, and An audio decoder represented by an MPEG audio decoder is being integrated in a single semiconductor integrated circuit. Video at low cost
To implement an audio decoder, not only are the video decoder and audio decoder implemented in a single integrated circuit, but the data memory used by the video decoder and the data memory used by the audio decoder are physically It is desirable to have a unified memory architecture that shares one memory.
【０００３】一方、映像情報を取り扱うには、メモリア
クセスに高いデータレートをが必要であることが一般的
に知られている。例として、図７に示されるようなＮＴ
ＳＣ規格のＭＰＥＧ２ビデオデコーダの要求メモリバン
ド幅の時間変動が図８に示されている。ＮＴＳＣ規格の
ＭＰＥＧ２ＭＰ＠ＭＬビデオデコーダにおいてメモリア
クセスを要求する処理は、ビットストリームの読み出し
・動き補償のための参照画像読み出し・復号画像の格納
・画像表示のための復号画像読み出しの４種類である。On the other hand, it is generally known that a high data rate is required for memory access in order to handle video information. As an example, NT as shown in FIG.
The time variation of the required memory bandwidth of the MPEG-2 video decoder of SC standard is shown in FIG. There are four types of processing for requesting memory access in the NTSC standard MPEG2MP @ ML video decoder: reading a bitstream, reading a reference image for motion compensation, storing a decoded image, and reading a decoded image for displaying an image.
【０００４】ビットストリームの最大平均ビットレート
が１５Ｍｂｐｓ、参照画像の読み出しが１フレーム期間
に４フィールド分の場合を仮定すると、それぞれのメモ
リアクセスに要するメモリバンド幅は、ビットストリー
ムの読み出しが毎秒約８ＭＢ、参照両像の読み出しが毎
秒約４５ＭＢ、復号画像の格納が毎秒約１６ＭＢ、画像
表示のための復号画像読み出しが毎秒約５４ＭＢとな
り、最大毎秒１２３Ｍバイトのメモリアクセスが必要と
なる。ただし、映像出力データフォーマットは一般に垂
直ブランキング期間と呼ばれる期間が存在し、この期間
にはデータは送出されない。Assuming that the maximum average bit rate of the bit stream is 15 Mbps and the reference image is read for 4 fields in one frame period, the memory bandwidth required for each memory access is about 8 MB per second for the bit stream read. The reference both images are read out at about 45 MB per second, the decoded image is stored at about 16 MB per second, the decoded image is read out at about 54 MB per second, and a maximum memory access of 123 Mbytes per second is required. However, the video output data format generally has a period called a vertical blanking period, and no data is transmitted during this period.
【０００５】ＮＴＳＣ規格のディジタルデータを出力す
るＣＣＩＲＲ６０１と呼ばれる規格においては、垂直ブ
ランキング期間は１６．７ｍｓに１回、約１．３ｍｓ継
続する。この期間においては、要求されるメモリアクセ
ス量はピークレートの５０％程度である毎秒６９Ｍバイ
ト程度に滅少する。In the standard called CCIRR601 which outputs digital data of the NTSC standard, the vertical blanking period is once every 16.7 ms and continues for about 1.3 ms. During this period, the required memory access amount is reduced to about 50% of the peak rate, which is about 69 Mbytes per second.
【０００６】また、オーディオのデコード処理も場合に
よっては高いレートのメモリアクセスを必要とする。例
として５．１チャネルＭＰＥＧ２ＡＡＣＬＣプロフアイ
ルデコーダについて考える。ＭＰＥＧ２ＡＡＣデコーダ
は、サンブリングされたオーデイオ信号１０２４サンプ
ル分をひとまとめにして処理を行う。これをブロックと
呼ぶ。サンブリング周波数が４８ｋＨｚの場合について
考えると、１ブロック分の期間は２１ｍｓであるから、
１チャネルあたり３．５ｍｓから４．２ｍｓ程度の時間
で１チャネルの復号処理を終えなければならない。Audio decoding processing also requires a high rate memory access in some cases. As an example, consider a 5.1 channel MPEG2 AAC LC profile decoder. The MPEG2 AAC decoder collectively processes 1024 samples of the sampled audio signal. This is called a block. Considering the case where the tumbling frequency is 48 kHz, the period for one block is 21 ms,
The decoding process for one channel must be completed within a time of about 3.5 ms to 4.2 ms per channel.
【０００７】ＭＰＥＧ２ＡＡＣデコーダの処理を表す簡
略化したブロックダイアグラムの例が図９に示されてい
る。ここでは、ＭＰＥＧ２ＡＡＣデコードの処理は図１
０に示されるような８ＫＢのローカルメモリを持つプロ
セッサにより逐次的に行われるものと仮定する。ISO/IE
C JTCI/SC29/WG N2005“Revised Report on Complexity
of MPEG-2 AAC Tools″によれば、ＡＡＣデコーダには
４３．７５ＫＢのＲＡＭと１３．８５１０３のＲＯＭが
必要である。ここでは、このうちのＲＯＭは内部ＲＯＭ
３４に格納され、４３７５ＫＢのＲＡＭは外部メモリに
格納されているものと仮定する。An example of a simplified block diagram representing the processing of an MPEG2 AAC decoder is shown in FIG. Here, the processing of MPEG2 AAC decoding is shown in FIG.
Suppose that it is done sequentially by a processor with 8 KB of local memory as shown at 0. ISO / IE
C JTCI / SC29 / WG N2005 “Revised Report on Complexity
According to “MPEG-2 AAC Tools”, an AAC decoder requires 43.75 KB RAM and 13.85103 ROM. Here, these ROMs are internal ROMs.
Assume that the 4375 KB RAM stored in 34 is stored in external memory.
【０００８】ローカルＲＡＭは、プロセッサのワークメ
モリとして使用されるとともに、外部メモリからプロセ
ッサへのデー夕転送の際のリードバッファ、およびプロ
セッサから外部メモリへのライトバッファとして使用さ
れる。The local RAM is used as a work memory of the processor, as well as a read buffer at the time of data transfer from the external memory to the processor and a write buffer from the processor to the external memory.
【０００９】図１１に、各処理が要するメモリアクセス
量の例を示す。入出力データのうち点線で囲まれたデー
タはローカルメモリ内に保持されるため、外部メモリと
のアクセスは行われない。この例の場合、一連の処理の
中でもっともメモリアクセス量が大きい処理がブロック
スイッチングである。この処理は、図１２に示されるよ
うに、前段の処理であるフィルタバンクによって得られ
た２０４８サンプルの時系列データのうち、前半１０２
４サンプルと、ディレイバッファに保存されていた１０
２４サンプルの時系列データについて、ウインドウと呼
ばれる曲線にしたがって重み付け加算を行い、オーディ
オ出力バッファヘ出力する処理である。この処理に関し
ては毎秒約５０ＭＢのメモリバンド幅を必要とするが、
他の処理では毎秒１ＭＢ程度のメモリバンド幅があれば
十分である。FIG. 11 shows an example of the memory access amount required for each process. Since the data surrounded by the dotted line among the input / output data is held in the local memory, the external memory is not accessed. In the case of this example, the block switching is the process with the largest memory access amount in the series of processes. As shown in FIG. 12, this process includes the first half 102 of the 2048-sample time-series data obtained by the filter bank which is the process of the first stage.
4 samples and 10 stored in the delay buffer
This is a process of performing weighted addition on time-series data of 24 samples in accordance with a curve called a window and outputting the result to the audio output buffer. This process requires a memory bandwidth of about 50 MB per second,
A memory bandwidth of about 1 MB per second is sufficient for other processes.
【００１０】一般にオーデイオデコーダとビデオデコー
ダの動作は非同期である。先述したＮＴＳＣビデオデコ
ードとＭＰＥＧ２ＡＡＣデコードの組み合わせでも、ビ
デオ側は図８に示されるように１６．７ｍｓ毎に要求メ
モリバンド幅が減少する期間が発生し、オーディオ側は
図１３に示されるように３．５ｍｓから４．２ｍｓ毎に
高いメモリバンド幅を要求する。Generally, the operations of the audio decoder and the video decoder are asynchronous. Even in the combination of the above-mentioned NTSC video decoding and MPEG2 AAC decoding, the video side has a period in which the required memory bandwidth decreases every 16.7 ms as shown in FIG. 8, and the audio side has 3 times as shown in FIG. It requires a high memory bandwidth every 0.5 ms to 4.2 ms.
【００１１】このため、ユニファイドメモリアーキテク
チャをとるビデオ・オーディオデコーダのメモリバンド
幅は、図１４に示されるように、ビデオデコーダの要求
メモリバンド幅のピーク値とオーデイオデコーダの要求
メモリバンド幅のピーク値を加算しただけのバンド幅を
用意する必要がある。先述の例では、このレートは毎秒
１７３ＭＢになる。一般的には、オーディオ復号器とビ
デオ復号器の他に、それぞれにビットストリームを供給
するシステムデマルチプレクサが存在し、これにより外
部メモリヘビットストリームの書き込みが行われる。こ
れに要するメモリバンド幅を加えると、外部メモリに要
求されるメモリバンド幅は毎秒１８０ＭＢ程度になる。Therefore, the memory bandwidth of the video / audio decoder adopting the unified memory architecture is, as shown in FIG. 14, the peak value of the required memory bandwidth of the video decoder and the peak of the required memory bandwidth of the audio decoder. It is necessary to prepare a bandwidth that is just the sum of the values. In the example above, this rate would be 173 MB per second. In general, in addition to the audio decoder and the video decoder, there is a system demultiplexer that supplies a bitstream to each, thereby writing the bitstream to an external memory. If the memory bandwidth required for this is added, the memory bandwidth required for the external memory becomes about 180 MB per second.
【００１２】[0012]
【発明が解決しようとする課題】しかしながら、高いデ
ータレートを有する外部メモリを構成するためには、メ
モリデバイスの動作周波数を上げるか、並列にメモリデ
バイスを複数個並べることが必要となる。いずれの方法
にしても、デコーダ集積回路やメモリデバイスの回路量
が増加し、コストの上昇を招く。However, in order to configure an external memory having a high data rate, it is necessary to raise the operating frequency of the memory device or to arrange a plurality of memory devices in parallel. Whichever method is used, the circuit amount of the decoder integrated circuit and the memory device is increased, and the cost is increased.
【００１３】一般に良く用いられる１６ビットのバス幅
を持つ同期型ダイナミックメモリ（シンクロナスＤＲＡ
Ｍ）をクロック周波数１００ＭＨｚで駆動した場合、メ
モリアクセスに伴うオーバーへッドが１５％程度存在す
ると仮定すると、そのメモリバンド幅は毎秒１７４ＭＢ
である。したがって、先述の毎秒１８０ＭＢのメモリバ
ンド幅を実現するためには、メモリのバス幅を３２ビッ
トにしなければならない。このバス幅を１６ビットにす
ることができれば、集積回路のピン数が削減され、組み
立てコストの低下・信頼性の向上など得られるメリット
は大きい。A commonly used synchronous dynamic memory (synchronous DRA) having a bus width of 16 bits
When M) is driven at a clock frequency of 100 MHz, assuming that there is about 15% of overhead due to memory access, the memory bandwidth is 174 MB / s.
Is. Therefore, in order to realize the aforementioned memory bandwidth of 180 MB / s, the bus width of the memory must be 32 bits. If the bus width can be set to 16 bits, the number of pins of the integrated circuit can be reduced, and there are great advantages such as reduction in assembly cost and improvement in reliability.
【００１４】本発明は、上記の点に鑑みてなされ、本来
非同期であった２つの処理のうち、一方の要求データレ
ートが低い期間に他方の要求データレートが高い期間を
集中させるようにすることにより、ユニファイドメモリ
アーキテクチャにおいても不必要にデータレートを上げ
ず、１つの集積回路内でビデオｌオーデイオデコード処
理を実現させるマルチメディア復号化装置を提供するこ
とを目的とする。The present invention has been made in view of the above points, and of two originally asynchronous processes, one of the two processes has a low required data rate and the other has a high required data rate. Accordingly, it is an object of the present invention to provide a multimedia decoding device which realizes video / audio decoding processing within one integrated circuit without unnecessarily increasing the data rate even in the unified memory architecture.
【００１５】[0015]
【課題を解決するための手段】本発明は、 少なくとも
符号化された映像信号を復号する第１の復号器と、この
第１の復号器とは非同期に動作し、映像信号とは異なる
信号を復号する第２の復号器と、第１の復号器と第２の
復号器によってデータメモリとして使用される外部記憶
メモリと、この外部記憶メモリとデータの送受を行うメ
モリコントローラと、第１の復号器と第２の復号器とメ
モリコントローラとを接続するデータバスとを備え、第
２の復号器が行う一連の復号処理のうち、外部記憶メモ
リへのアクセスが大きい処理を独立させ、第１の復号器
が要求するメモリバンド幅が大きい期間には、第２の復
号器はメモリアクセスの少ない処理を集中して行い、第
１の復号器が要求するメモリバンド幅が小さい期間に第
２の復号器はメモリアクセスの大きな処理をまとめて行
うマルチメデイア復号化装置を提供する。According to the present invention, at least a first decoder that decodes an encoded video signal and a signal that operates asynchronously with the first decoder are provided. A second decoder for decoding, an external storage memory used as a data memory by the first decoder and the second decoder, a memory controller for transmitting and receiving data to and from the external storage memory, and a first decoding Of the series of decoding processes performed by the second decoder, the process having a large access to the external storage memory is made independent, and the first bus is provided. During the period when the memory bandwidth required by the decoder is large, the second decoder concentrates the processing with a small memory access, and during the period when the memory bandwidth required by the first decoder is small, the second decoding is performed. Vessel is a memory Provided is a multimedia decoding device which collectively performs processing with large access.
【００１６】本発明によると、マルチメディア復号化装
置は、ビデオデコーダが現在映像出力を行っているか、
ブランキング期間かをオーディオデコーダに通知する手
段と、オーディオデコーダの処理のうち、もっとも要求
メモリバンド幅の高い処理を独立させる手段と、ビデオ
デコーダがブランキング期間に入ったことをオーディオ
デコーダが通知されると、数ブロック分にわたって最も
要求メモリバンド幅の高い処理をまとめて行う手段とを
備えている。According to the present invention, in the multimedia decoding device, whether the video decoder is currently outputting an image,
The audio decoder is notified that the blanking period has been notified to the audio decoder, the process with the highest requested memory bandwidth among the processes of the audio decoder is independent, and that the video decoder has entered the blanking period. Then, a means for collectively performing the processing with the highest required memory bandwidth over several blocks is provided.
【００１７】本発明によれば、本来非同期で動作するビ
デオデコーダとオーディオデコーダのデコード処理のう
ち、ビデオデコーダの要求メモリバンド幅が低くなるブ
ランキング期間と、オーデイオデコーダの要求メモリバ
ンド幅が高くなる期間とを同期させることができる。こ
のため、従来両者の最大要求メモリバンド幅の和で表現
された単一メモリのバンド幅を、一方の比較的低いメモ
リバンド幅と、他方の最大要求メモリバンド幅との和程
度に削減し、低コストにビデオデコーダとオーデイオデ
コーダを集積したユニファイドメモリァーキテクチャに
基づくビデオディオ復号化器を実現することが可能とな
る。According to the present invention, of the decoding processes of the video decoder and the audio decoder which originally operate asynchronously, the blanking period in which the required memory bandwidth of the video decoder is low and the required memory bandwidth of the audio decoder are high. The period can be synchronized. Therefore, the bandwidth of a single memory, which is conventionally expressed by the sum of the maximum required memory bandwidths of both, is reduced to the sum of the relatively low memory bandwidth of one and the maximum required memory bandwidth of the other, It is possible to realize a video-dio decoder based on a unified memory architecture that integrates a video decoder and an audio decoder at low cost.
【００１８】[0018]
【発明の実施の形態】以下、本発明の実施例について図
面を参照して説明する。BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described below with reference to the drawings.
【００１９】図１に示す本発明の第１の実施の形態のマ
ルチメディア復号化装置によると、ビデオデコーダ１３
はＭＰＥＧ２ビデオ情報の復号処理を行う。このビデオ
デコーダ１３が必要とする最大のメモリバンド幅は毎秒
約１２３ＭＢである。ＭＰＥＧ２ビデオの復号において
は、復号しているピクチャの種類によって、必要となる
メモリバンド幅が異なる。According to the multimedia decoding device of the first embodiment of the present invention shown in FIG.
Performs decoding processing of MPEG2 video information. The maximum memory bandwidth required by this video decoder 13 is about 123 MB per second. In decoding MPEG2 video, the required memory bandwidth differs depending on the type of picture being decoded.
【００２０】図２にそれぞれのピクチャの種類と必要メ
モリバンド幅の関係が示されている。これによると、Ｉ
ピクチャは参照画像の読み出しの必要がないため、必要
メモリバンド幅はＢピクチャに比べ小さく、毎秒約８０
ＭＢとなる。Ｉピクチャは、一般的には０．５秒に１ピ
クチャ程度の頻度で送出される。FIG. 2 shows the relationship between each picture type and the required memory bandwidth. According to this, I
Since the picture does not need to read the reference image, the required memory bandwidth is smaller than that of the B picture, which is about 80 per second.
It becomes MB. I-pictures are generally transmitted at a frequency of about one picture every 0.5 seconds.
【００２１】静止画プロセッサ１２は、例えばディジタ
ル放送におけるＥＰＧ（電子番組ガイド）のように、そ
れほど厳密にリアルタイム性を要求されない静止画の復
号処理を行う。ビデオデコーダ１３と静止画プロセッサ
１２のメモリアクセスは、メモリコントローラ１５を介
して行われる。メモリコントローラ１５は、それぞれの
プロセッサ１２，１３がデータバス１０を使用して外部
メモリ１６へアクセスする際の調停を行う。今、静止画
プロセッサ１２がＪＰＥＧ（Joint Picture Coding Exp
ert Group）によって符号化された静止画を復号する場
合を考える。The still picture processor 12 performs a decoding process of a still picture that does not require real-time processing so strictly as in an EPG (electronic program guide) in digital broadcasting. Memory access between the video decoder 13 and the still image processor 12 is performed via the memory controller 15. The memory controller 15 arbitrates when the processors 12 and 13 access the external memory 16 using the data bus 10. Now, the still picture processor 12 uses the JPEG (Joint Picture Coding Exp
Consider the case of decoding a still image encoded by the ert group).
【００２２】このＪＰＥＧの復号処理手順の例が図３に
示されている。これによると、まず、符号化ビットスト
リームはハフマンデコードされる（Ｓ１１）。ハフマン
デコードされたビットストリームのＤＣ係数はＤＰＣＭ
デコードされる（Ｓ１２）と共にＡＣ係数はランレング
スデコードされる（Ｓ１３）。ランレングスデコードに
より得られたＡＣ係数はジグザグスキャンされる（Ｓ１
４）。ＤＰＣＭデコードおよびジグザグスキャンにより
得られたＤＣＴ係数は逆量子化され（Ｓ１５）、更に逆
ＤＣＴされて画像情報に再構成される。An example of this JPEG decoding processing procedure is shown in FIG. According to this, first, the encoded bit stream is Huffman-decoded (S11). The DC coefficient of the Huffman-decoded bit stream is DPCM
The AC coefficient is run-length decoded at the same time as being decoded (S12) (S13). The AC coefficient obtained by the run length decoding is zigzag scanned (S1).
4). The DCT coefficient obtained by the DPCM decoding and the zigzag scan is inversely quantized (S15), and further inversely DCT to be reconstructed into image information.
【００２３】上記のＪＰＥＧの復号処理の中では、少な
くともビットストリームの読み出しおよび復号画像の書
き込みのために、外部メモリ１６へのアクセスが生じ
る。In the above JPEG decoding process, access to the external memory 16 occurs at least for reading the bit stream and writing the decoded image.
【００２４】ビデオデコーダ１３は、ブランキング期間
やＩピクチャのデコードで参照画像の読み出しがないと
判断できる場合に、静止画プロセッサ１２にメモリアク
セス許可を意味する信号を通信手段１４を使用して送出
する。静止画プロセッサ１２は、この信号を受け取る
と、ＪＰＥＧ復号に伴うメモリアクセスを開始する。When the video decoder 13 can determine that the reference image has not been read during the blanking period or decoding of the I picture, it sends a signal indicating memory access permission to the still image processor 12 using the communication means 14. To do. Upon receiving this signal, the still image processor 12 starts memory access associated with JPEG decoding.
【００２５】ビデオデコーダ１３は、ブランキング期間
やＩピクチャのデコードが終了した時点で、静止画プロ
セッサ１２にメモリアクセス不許可を意味する信号を通
信手段１４を使用して送出する。静止画プロセッサ１２
は、この信号を受け取ると、ＪＰＥＧ復号に伴うメモリ
アクセスを中止する。The video decoder 13 sends a signal indicating non-permission of memory access to the still picture processor 12 by using the communication means 14 at the time of blanking period or when decoding of I picture is completed. Still image processor 12
Receives the signal, cancels the memory access associated with JPEG decoding.
【００２６】Ｉピクチャの復号時には、参照画像の読み
出しに伴うメモリバンド幅（毎秒４５ＭＢ）が開放さ
れ、かつブランキング期間には復号画像表示のためのメ
モリバンド幅（毎秒５４ＭＢ）が開放されるため、ＪＰ
ＥＧ復号のためには平均毎秒約６．９ＭＢのメモリバン
ド幅が割り当てられることになる。静止画プロセッサ１
２内に十分なライトバッファおよびリードバッファが存
在すれば、静止画プロセッサ１２はメモリアクセス待ち
なしに動作しつづけることができる。During decoding of the I picture, the memory bandwidth (45 MB / sec) associated with the reading of the reference image is released, and the memory bandwidth (54 MB / sec) for displaying the decoded image is released during the blanking period. , JP
An average memory bandwidth of about 6.9 MB per second will be allocated for EG decoding. Still image processor 1
If there are sufficient write buffers and read buffers in 2, the still image processor 12 can continue operating without waiting for memory access.
【００２７】図４は本発明の第２の実施の形態のマルチ
メディア復号化装置のブロック図である。ビットストリ
ームがシステムデマルチブレクサ２２に入力されると、
オーディオビットストリームとビデオビットストリーム
に分類され、それぞれ外部メモリ２６の別々の領域に格
納される。格納されたビットストリームは、それぞれビ
デオデコーダ２４およびオーディオデコーダ２３に入力
される。ビデオデコーダでは第１の実施の形態と同様、
ビデオ情報の復号処理が行われ、復号されたビデオ情報
がビデオ出力される。復号の際には、復号した画像情報
を一時的に保存したり、過去に復号した画像を読み出し
たり、ビデオ出力に画像情報を送出したりするために合
計毎秒１２３ＭＢ程度のバンド幅を必要とする。また、
オーデイオデコーダでは、オーデイオ情報の復号処理が
行われ、オーデイオ信号が出力される。この要求レート
の最大値は毎秒５０ＭＢである。FIG. 4 is a block diagram of a multimedia decoding apparatus according to the second embodiment of the present invention. When the bitstream is input to the system demultiplexer 22,
The audio bit stream and the video bit stream are classified and stored in different areas of the external memory 26. The stored bitstreams are input to the video decoder 24 and the audio decoder 23, respectively. In the video decoder, as in the first embodiment,
The video information is decoded, and the decoded video information is output as a video. At the time of decoding, a total bandwidth of about 123 MB per second is required to temporarily store the decoded image information, read the previously decoded image, and send the image information to the video output. . Also,
The audio decoder decodes the audio information and outputs an audio signal. The maximum value of this request rate is 50 MB per second.
【００２８】デコード処理が開始されると、ビデオデコ
ーダ２４でビデオビットストリームが復号されると同時
に、図１０に示すＭＰＥＧ２ＡＡＣデコーダで構成され
るオーディオデコーダ２３ではＭＰＥＧ２ＡＡＣビット
ストリームの復号が開始される。ただし、このオーディ
オデコーダでは、図９に示されるＭＰＥＧ２ＡＡＣデコ
ーダの処理の流れにおけるハフマンデコードと逆量子化
とＴＮＳとフィルタバンクの各処理のみが行われ、最後
のブロックスイッチングを行われない。しかし、フィル
タバンクまでに発生する途中結果は外部メモリ２６に順
次格納される。この時の処理に伴う外部メモリとのメモ
リアクセスのバンド幅が図５に示されている。図１０に
示されるＭＰＥＧ２ＡＡＣデコーダの８ＫＢのローカル
ＲＡＭがライトバッファとして動作するため、フィルタ
バンクの出力である８ＫＢの時間領域サンプル情報は、
次のハフマンデコードに要する処理時間程度の間に外部
メモリ２６へ書き込めば良い。したがって、一連の処理
中に必要なメモリバンド幅は最大でも毎秒７．３ＭＢ程
度である。When the decoding process is started, the video decoder 24 decodes the video bit stream, and at the same time, the audio decoder 23, which is composed of the MPEG2 AAC decoder shown in FIG. 10, starts decoding the MPEG2 AAC bit stream. However, in this audio decoder, only Huffman decoding, dequantization, TNS, and filter bank processing in the processing flow of the MPEG2 AAC decoder shown in FIG. 9 are performed, and the final block switching is not performed. However, the intermediate results generated up to the filter bank are sequentially stored in the external memory 26. FIG. 5 shows the bandwidth of memory access to the external memory associated with the processing at this time. Since the 8 KB local RAM of the MPEG2 AAC decoder shown in FIG. 10 operates as a write buffer, the 8 KB time domain sample information output from the filter bank is:
It is sufficient to write to the external memory 26 within the processing time required for the next Huffman decoding. Therefore, the maximum memory bandwidth required during the series of processes is about 7.3 MB per second.
【００２９】ビデオデコーダ２４は、ビデオ出力を行わ
ないブランキング期間になると、通信手段２７を使用し
て、現在ブランキング期間中であることをオーデイオデ
コーダ２３に通知する。オーディオデコーダ２３は、ビ
デオデコーダからの通知を受信すると、現在行っている
デコード処理を一時的に休止し、これまで復号してきた
フイルタバンクの処理結果を用いて、溜まっていたブロ
ックスイッチング処理をまとめて行う。この処理は、係
数であるウインドウ２ワード（ｗｌ、ｗ２）と２つのフ
イルタバンク出力ワード（Ｆ１、Ｆ２）から、ｏｕｔ＝
ｗｌｕ＋ｗ２Ｆ２なる式によってオーディオ出力を求め
る処理である。このため、これらｗｌ、ｗ２、Ｆ１、Ｆ
２を順次読み出しながら処理を行うことにより、データ
メモリの消費は極めて小さくすることができる。よっ
て、ブランキング前に行っていた処理に伴うデータメモ
リを一時的に外部メモリ２６に待避させる必要はない。
また、ブロックスイッチングの処理時間である０．２ｍ
ｓの間に８ＫＢのフイルタバンク出力データを読み込
み、２ＫＢのオーデイオ出力を行うためには、毎秒５０
ＭＢ程度のメモリバンド幅が必要である。すべてのブロ
ックスイッチング処理を終了すると、オーディオデコー
ダ３は休止していた処理を再開する。When the blanking period in which no video is output is reached, the video decoder 24 uses the communication means 27 to notify the audio decoder 23 that the blanking period is currently in progress. Upon receiving the notification from the video decoder, the audio decoder 23 temporarily suspends the decoding process that is currently being performed, and collects the accumulated block switching processes using the processing results of the filter banks that have been decoded so far. To do. This process uses the window 2 words (wl, w2), which are the coefficients, and the two filter bank output words (F1, F2), and out =
This is a process for obtaining an audio output by the expression wlu + w2F2. Therefore, these wl, w2, F1, F
By performing the processing while sequentially reading out 2, the consumption of the data memory can be made extremely small. Therefore, it is not necessary to temporarily save the data memory associated with the processing performed before blanking to the external memory 26.
In addition, the processing time of block switching is 0.2 m
In order to read 8KB filter bank output data during s and output 2KB audio output, 50 seconds per second
A memory bandwidth of the order of MB is required. When all the block switching processes are completed, the audio decoder 3 restarts the process that was paused.
【００３０】ビデオデコーダ２４がＮＴＳＣ信号のデコ
ードを行った場合、ブランキング期間は１６．７ｍｓに
１回発生する。オーディオデコーダ３は、１ブロックの
デコードを３．５ｍｓ程度の時間内に終えなければいけ
ないことから、１ブランキング期間に処理しなければな
らないブロックスイッチング処理の回数は最大５回とな
る。また、１ブロックのブロックスイッチングに要する
時間は０．２ｍｓであるから、オーディオデコーダ２３
がビデオデコーダ２４のブランキング期間に行うブロッ
クスイッチングの処理は、最大でも約Ｉｍｓとなる。こ
れは、ブランキング期間の長さである１．３ｍｓよりも
短い。すなわちこれは、ビデオデコーダ２４のブランキ
ング期間内に、オーディオデコードにおけるブロックス
イッチングの処理をすべて終了させることができること
を意味する。When the video decoder 24 decodes the NTSC signal, the blanking period occurs once every 16.7 ms. Since the audio decoder 3 has to finish decoding one block within a time of about 3.5 ms, the maximum number of block switching processes that must be performed during one blanking period is five. Also, since the time required for block switching of one block is 0.2 ms, the audio decoder 23
The block switching process performed by the video decoder 24 during the blanking period is about Ims at the maximum. This is shorter than the blanking period length of 1.3 ms. That is, this means that all the block switching processing in audio decoding can be completed within the blanking period of the video decoder 24.
【００３１】ビデオデコーダ２４のブランキング期間
中、ビデオデコーダが要求するメモリバンド幅の上限は
毎秒６８ＭＢである。この時のオーデイオデコーダのメ
モリバンド幅の上限は、毎秒５０ＭＢとなる。したがっ
て、この期間の両デコーダが要求するメモリバンド幅は
毎秒約１１８ＭＢとなる。During the blanking period of the video decoder 24, the upper limit of the memory bandwidth required by the video decoder is 68 MB / s. At this time, the upper limit of the memory bandwidth of the audio decoder is 50 MB per second. Therefore, the memory bandwidth required by both decoders during this period is approximately 118 MB per second.
【００３２】一方、非ブランキング期間にビデオデコー
ダが要求するメモリバンド幅の上限は、毎秒約１２３Ｍ
Ｂである。この時のオーディオデコーダのメモリバンド
幅の上限は毎秒７．３ＭＢであるから、両者が要求する
メモリバンド幅の合計は毎秒約１３０．３ＭＢになる。
即ち、図６に示されるように、本実施形態における外部
メモリのバンド幅は、図１４に示した従来の場合のメモ
リバンド幅に対し、毎秒４０ＭＢ程度必要メモリバンド
幅を削減することができる。On the other hand, the upper limit of the memory bandwidth required by the video decoder during the non-blanking period is about 123M per second.
B. At this time, the upper limit of the memory bandwidth of the audio decoder is 7.3 MB per second, so the total memory bandwidth required by both parties is about 130.3 MB per second.
That is, as shown in FIG. 6, the required bandwidth of the external memory in the present embodiment can be reduced by about 40 MB per second as compared with the conventional memory bandwidth shown in FIG.
【００３３】[0033]
【発明の効果】以上説明したように、本発明によれば、
ユニファイドメモリアーキテクチャで構成されたマルチ
メディア復号化装置において、ビデオとオーデイオの復
号処理など本来非同期に動作２つの処理に着目し、一方
が最もメモリバンド幅を要求しない期間と、他方がメモ
リバンド幅を要求する期間とを同期して処理させること
により、従来両方の最大のメモリバンド幅の和で求めら
れていたユニフアイドメモリに必要なメモリバンド幅を
削減することが可能となる。As described above, according to the present invention,
In a multimedia decoding device configured with a unified memory architecture, we focus on two processes that operate originally asynchronously, such as video and audio decoding processes. One process requires the least memory bandwidth, and the other requires the memory bandwidth. By synchronizing the processing with the period for which is required, it is possible to reduce the memory bandwidth required for the unified memory, which has been conventionally required by the sum of the maximum memory bandwidths of both.
【図１】本発明の第２の実施の形態の構成を示すブロッ
ク図FIG. 1 is a block diagram showing a configuration of a second embodiment of the present invention.
【図２】ＭＰＥＧ−２ビデオ復号におけるピクチャタイ
プと必要メモリバンド幅との関係を表す図FIG. 2 is a diagram showing a relationship between a picture type and a required memory bandwidth in MPEG-2 video decoding.
【図３】ＪＰＥＧの復号手順を表す図FIG. 3 is a diagram showing a JPEG decoding procedure.
【図４】本発明の実施の形態の構成を示すブロック図FIG. 4 is a block diagram showing a configuration of an embodiment of the present invention.
【図５】本発明の実施の形態における、ＡＡＣデコーダ
の処理順と必要メモリバンド幅FIG. 5 is a processing order and required memory bandwidth of the AAC decoder according to the embodiment of the present invention.
【図６】本発明の実施の形態の場合のメモリバンド幅の
時間変化FIG. 6 is a diagram showing changes in memory bandwidth with time in the embodiment of the present invention.
【図７】ビデオデコーダの構成を示すブロック図FIG. 7 is a block diagram showing the configuration of a video decoder.
【図８】ビデオデコーダが要求する外部メモリのバンド
幅の時間変化を示す図FIG. 8 is a diagram showing the change over time in the bandwidth of the external memory required by the video decoder.
【図９】ＭＰＥＧ２ＡＡＣデコーダの処理の流れを示す
図FIG. 9 is a diagram showing a processing flow of an MPEG2 AAC decoder.
【図１０】ＭＰＥＧ２ＡＡＣデコーダの構成を示すブロ
ック図FIG. 10 is a block diagram showing the configuration of an MPEG2 AAC decoder.
【図１１】ＡＡＣデコーダ処理別の要求メモリバンド幅FIG. 11: Required memory bandwidth by AAC decoder processing
【図１２】ＭＰＥＧ２ＡＡＣデコーダにおけるブロック
スイッチングの処理を示すブロック図FIG. 12 is a block diagram showing a block switching process in an MPEG2 AAC decoder.
【図１３】ＭＰＥＧ２ＡＡＣデコーダの要求メモリバン
ド幅FIG. 13: Required memory bandwidth of MPEG2 AAC decoder
【図１４】従来のメモリバンド幅の設定方法を示す図FIG. 14 is a diagram showing a conventional memory bandwidth setting method.
１０…データバス １２…静止画プロセッサ １３…ビデオデコーダ １４…通信手段 １５…メモリコントローラ １６…ビデオフレームバッファ ２１…データバス ２２…システムデマルチプレクサ ２３…オーデイオデコーダ ２４…ビデオデコーダ ２５…メモリコントローラ ２６…外部メモリ ２７…通信手段 10 ... Data bus 12 ... Still image processor 13 ... Video decoder 14 ... Communication means 15 ... Memory controller 16 ... Video frame buffer 21 ... Data bus 22 ... System demultiplexer 23 ... Audio Decoder 24 ... Video decoder 25 ... Memory controller 26 ... External memory 27 ... Communication means
Claims (5)
画像復号、システム制御機能などのための単一のメモリ
を備えたマルチメディア復号化装置であって、 少なくとも符号化された映像信号を復号する第１の復号
器と、前記第１の復号器とは非同期に動作し、前記映像
信号とは異なる信号を復号する第２の復号器と、前記第
１の復号器と第２の復号器によってデータメモリとして
使用される外部記憶メモリと、前記外部記憶メモリとデ
ータの送受を行うメモリコントローラと、前記第１の復
号器と第２の復号器とメモリコントローラとを接続する
データバスとを備え、前記第２の復号器が行う一連の復
号処理のうち、前記外部記憶メモリへのアクセスが大き
い処理を独立させ、前記第１の復号器が要求するメモリ
バンド幅が大きい期間には、第２の復号器はメモリアク
セスの少ない処理を集中して行い、前記第１の復号器が
要求するメモリバンド幅が小さい期間、前記第２の復号
器はメモリアクセスの大きな処理をまとめて行うことを
特徴とするマルチメデイア復号化装置。1. A multimedia decoding device having a single memory for decoding video signals, audio signals, still images, system control functions, etc., wherein at least the encoded video signals are A first decoder for decoding and a first decoder for asynchronously operating, and a second decoder for decoding a signal different from the video signal, the first decoder and the second decoder An external storage memory used as a data memory by the device, a memory controller for transmitting and receiving data to and from the external storage memory, and a data bus connecting the first decoder, the second decoder and the memory controller. Of the series of decoding processes performed by the second decoder, a process that has a large access to the external storage memory is made independent, and a memory bandwidth required by the first decoder is large during a period. The second decoder concentrates the processing with a small memory access, and the second decoder collectively performs the processing with a large memory access while the memory bandwidth required by the first decoder is small. A multimedia decoding device characterized by.
においてブロックスイッチング処理をまとめて行うオー
ディオデコーダであることを特徴とする請求項１に記載
のマルチメデイア復号化装置。2. The multimedia decoding apparatus according to claim 1, wherein the second decoder is an audio decoder that collectively performs block switching processing in a blanking period.
期間の終了に応答してハフマンデコードと逆量子化とＴ
ＮＳとフィルタバンクの処理のみを行うオーディオデコ
ーダであることを特徴とする請求項２に記載のマルチメ
デイア復号化装置。3. The second decoder is responsive to the end of the blanking period to perform Huffman decoding, dequantization, and T.
The multimedia decoding apparatus according to claim 2, which is an audio decoder that performs only NS and filter bank processing.
テム制御機能のための単一のメモリを備えたマルチメデ
ィア復号化装置であって、 少なくとも符号化された映像信号を復号するビデオ復号
器と、前記ビデオ復号器とは非同期に動作し、符号化さ
れた音声信号を復号するオーデイオ復号器と、前記ビデ
オ復号器と前記オーディオ復号器によってデータメモリ
として使用される外部記憶メモリと、前記外部記憶メモ
リとデータの送受を行うメモリコントローラと、前記ビ
デオ復号器とオーディオ復号器とメモリコントローラと
を接続するデータバスと、前記ビデオ復号器からオーデ
ィオ復号器へ情報を伝える手段を備え、前記オーディオ
復号器が行う一連の復号処理のうち、前記外部メモリへ
のアクセスが大きい処理を独立させ、前記ビデオ復号器
が映像信号を出力している間には、前記オーデイオ復号
器はメモリアクセスの少ない処理を集中して行い、前記
ビデオ復号器が映像信号を出力しないブランキング期間
に前記オーディオ復号器はメモリアクセスの大きな処理
をまとめて行うことを特徴とするマルチメデイア復号化
装置。4. A multimedia decoding device having a single memory for decoding video signals, audio signals, and system control functions, the video decoder decoding at least an encoded video signal. An audio decoder that operates asynchronously with the video decoder to decode an encoded audio signal, an external storage memory used as a data memory by the video decoder and the audio decoder, and the external The audio decoding includes a memory controller for transmitting and receiving data to and from a storage memory, a data bus connecting the video decoder, the audio decoder and the memory controller, and means for transmitting information from the video decoder to the audio decoder. Of the series of decoding processes performed by the device, the process that has a large access to the external memory is made independent and While the decoder is outputting the video signal, the audio decoder concentrates the processing with less memory access, and the audio decoder is in the memory during the blanking period when the video decoder does not output the video signal. A multimedia decoding device characterized by collectively performing processing of large access.
ング期間においてブロックスイッチング処理をまとめて
行うことを特徴とする請求項４に記載のマルチメデイア
復号化装置。5. The multimedia decoding apparatus according to claim 4, wherein the audio decoder collectively performs block switching processing in the blanking period.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18699199A JP3532796B2 (en) | 1999-06-30 | 1999-06-30 | Multimedia decoding device with a single external storage memory |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18699199A JP3532796B2 (en) | 1999-06-30 | 1999-06-30 | Multimedia decoding device with a single external storage memory |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001016113A JP2001016113A (en) | 2001-01-19 |
| JP3532796B2 true JP3532796B2 (en) | 2004-05-31 |
Family
ID=16198302
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP18699199A Expired - Lifetime JP3532796B2 (en) | 1999-06-30 | 1999-06-30 | Multimedia decoding device with a single external storage memory |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3532796B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9189989B2 (en) | 2010-06-28 | 2015-11-17 | Panasonic Intellectual Property Management Co., Ltd. | Integrated circuit for use in plasma display panel, access control method, and plasma display system |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4727557B2 (en) * | 2006-11-30 | 2011-07-20 | シャープ株式会社 | Decoding device and decoding method |
-
1999
- 1999-06-30 JP JP18699199A patent/JP3532796B2/en not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9189989B2 (en) | 2010-06-28 | 2015-11-17 | Panasonic Intellectual Property Management Co., Ltd. | Integrated circuit for use in plasma display panel, access control method, and plasma display system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001016113A (en) | 2001-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5920353A (en) | Multi-standard decompression and/or compression device | |
| US6028635A (en) | Reducing the memory required for decompression by storing compressed information using DCT based techniques | |
| US7158571B2 (en) | System and method for balancing video encoding tasks between multiple processors | |
| EP0843485B1 (en) | Video decoder with unified memory | |
| US9172969B2 (en) | Local macroblock information buffer | |
| US5818533A (en) | Method and apparatus for decoding B frames in video codecs with minimal memory | |
| KR100375845B1 (en) | Variable rate MPEG-2 video syntax processor | |
| US20040028142A1 (en) | Video decoding system | |
| US5850258A (en) | High level video decoding apparatus capable of decoding video data of a plurality of channels coded at a lower level | |
| US20060233261A1 (en) | Video encoding and video/audio/data multiplexing device | |
| CN1805517B (en) | System and method of decoding dual video signals | |
| JPH08265766A (en) | Digital video pressure reduction processor and dram mapping method therefor | |
| JPH10108117A (en) | Video and/or audio decompressor and/or compressor sharing memory interface | |
| JPH10145739A (en) | Video and/or audio decompression and/or compression device sharing memory | |
| US7609768B2 (en) | Video buffer control apparatus for dual video decoding and digital broadcasting receiver thereof | |
| US8681862B2 (en) | Moving picture decoding apparatus and moving picture decoding method | |
| US6720893B2 (en) | Programmable output control of compressed data from encoder | |
| JP3532796B2 (en) | Multimedia decoding device with a single external storage memory | |
| US5760847A (en) | Processing moving image data based on an arbitrarily designated frame | |
| US6996185B2 (en) | Image signal decoding apparatus | |
| WO1998042139A1 (en) | Video decoder with reduced size display buffer | |
| EP1079632A1 (en) | Digital signal processing device and method, and providing medium | |
| KR100252810B1 (en) | Mpeg decoder | |
| KR19990024295A (en) | Video decoder with expandable memory | |
| JP2003299036A (en) | Image decoder, image decoding method, program and medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20031126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20031209 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040302 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040304 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080312 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090312 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100312 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100312 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110312 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120312 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130312 Year of fee payment: 9 |