CN1156171C - 提高处理效率的图象声音处理装置 - Google Patents

提高处理效率的图象声音处理装置 Download PDF

Info

Publication number
CN1156171C
CN1156171C CNB981088295A CN98108829A CN1156171C CN 1156171 C CN1156171 C CN 1156171C CN B981088295 A CNB981088295 A CN B981088295A CN 98108829 A CN98108829 A CN 98108829A CN 1156171 C CN1156171 C CN 1156171C
Authority
CN
China
Prior art keywords
data
address
processing
image
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CNB981088295A
Other languages
English (en)
Other versions
CN1204216A (zh
Inventor
�����͡��Կ���
吉冈康介
平井诚
木村浩三
清原督三
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1204216A publication Critical patent/CN1204216A/zh
Application granted granted Critical
Publication of CN1156171C publication Critical patent/CN1156171C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42607—Internal components of the client ; Characteristics thereof for processing the incoming bitstream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H04N19/45—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder performing compensation of the inverse transform mismatch, e.g. Inverse Discrete Cosine Transform [IDCT] mismatch
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42692—Internal components of the client ; Characteristics thereof for reading from or writing on a volatile storage medium, e.g. Random Access Memory [RAM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6143—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a satellite

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明的图象声音处理装置配有：输入输出处理部分，进行由外部要因非同步产生的输入输出处理；和解码处理部分，通过与所述输入输出处理并行，进行以在存储器存储的数据流的解码为主的解码处理。输入输出处理包括：输入从外部非同步输入的所述数据流，并存储于存储器；和把在存储器存储的数据流提供给解码处理部分。对于数据流，解码处理部分构成以条件判断为主的按序处理和除去压缩图象数据的标题解析的压缩图象数据的解码，以便与按序处理并行进行定型处理。

Description

提高处理效率的图象声音处理装置
技术领域
本发明涉及数字信号处理技术领域，特别涉及进行压缩图象和声音数据的扩展、图象和声音数据的压缩、图形处理等的图象声音处理电路。
背景技术
近年来，伴随数字动画数据的压缩/扩展技术的确立和LSI技术的提高，扩展压缩图象和声音数据的解码器、压缩图象和声音数据的编码器、进行图形处理的图形处理等各种图象处理电路正受到重视。
作为第一现有技术，有扩展MPEG(活动图象专家组)标准的压缩图象和声音数据的解码器(特开平8-1116429)。该图象声音解码器使用一个信号处理单元进行图象解码和声音解码。
图1表示由该图象声音解码器进行解码处理的说明图。图中，纵轴表示时间，横轴表示演算量。
如果沿纵轴变大看过去，是交互地进行图象解码和声音解码。这是因为用共同的硬件解码图象、声音两者的缘故。图中所示的图象解码分为按序处理和块处理。按序处理为块以外的解码处理，即必须以涉及MPEG流的标题解析等多方面的条件判断进行的处理，其演算量较小。块解码是解码MPEG流的可变长符号，并且进行与块单位相反的量化，进行反DCT(离散余弦变换)处理，其演算量较大。图中所示的声音解码也必须以涉及多方面的条件判断分别进行与上述同样的按序处理和声音数据本体的解码处理。由于声音数据本体的解码处理比图象数据要求更高的精度，并且必须在限定的时间内进行处理，所以必须高精度高速的处理，其演算量较大。
这样，第一现有技术可用单芯片化的、称为单芯片的较少硬件来实现有效率的声音图象解码。
作为第二现有技术，是双芯片构成的解码器。一个芯片作为图象解码器，另一个芯片作为声音解码器。图2表示由双芯片构成的解码器进行解码处理的说明图。图象解码、声音解码都进行包含多个标题解析等的条件判断的按序处理和以数据本体的解码为主的块解码处理。由于图象解码、声音解码都独立地进行处理，所以与第一现有技术相比，各个芯片的能力可以较低。
但是，根据上述现有技术，存在下面的问题。
按照第一现有技术，由于信号处理单元必须进行图象和声音的解码，所以要求较高的处理能力。也就是说，必须采用100MHz以上的高速时钟来工作，作为民用半导体，存在成本较高的问题。此外，为了不使用高速时钟提高处理能力，就必须考虑使用VLIW(极长指示字，Very Long Instruction Word)处理装置等，VLIW处理装置本身的成本较高，若采用进行其他按序处理的处理装置，就存在整体处理效率低的问题。
按照第二现有技术，由于使用两个处理装置，所以存在成本较高的问题。也就是说，无论用于图象的处理装置还是用于声音的处理装置，都不能按原样使用处理能力较低的通用的价格便宜的处理装置。这是因为用于图象的处理装置对大量的图象数据需要有实时处理能力的缘故。因此，在价格便宜处理能力较低的处理装置中，无论是用于图象还是用于声音，都不能满足处理能力要求。
并且，在数字(卫星)广播使用的调谐器(称为STB(Set Top Box))和DVD(数字视频磁盘，Digital Versatile/Video Disc)重放装置等使用的AV解码器中使用上述图象声音处理电路的情况下，输入从广播波接受的或从磁盘中读出的MPEG流，解码该MPEG流，在向最终的显示器、喇叭等进行图象信号输出和声音信号输出前必须进行的一连串处理量变得十分庞大。最近，对于高效率地实施这种一连串的庞大处理的图象处理装置的要求很高。
发明内容
本发明的目的在于提供进行显示压缩图象和压缩声音数据的流数据的输入、解码、输出一连串的处理，即使不在高频下工作也有较高的处理能力，能够降低制造成本的图象声音处理装置。
此外，本发明的其他目的在于提供以低成本实现压缩图象数据的解码、图象数据的编码、图形处理的图象声音处理装置。
达到所述目的的图象声音处理装置，是从外部输入包括压缩声音数据和压缩图象数据的数据流，进行解码，解码后把数据输出给输出装置的图象声音处理装置，包括：输入输出处理装置，进行由外部因素非同步产生的输入输出处理；输入输出处理包括输入从外部非同步输入的所述数据流并存储于存储器，和把在存储器存储的数据流提供给解码处理装置；解码处理装置，通过与所述输入输出处理并行，进行以在存储器存储的数据流的解码为主的解码处理；其特征在于，把解码的图象数据、解码的声音数据存储于存储器。并且，通过使外部的显示装置、声音输出装置各自的输出率一致，从存储器读出，所述输入输出处理装置把这些输出作为输入输出处理来进行。
按照这种结构，由于使输入输出处理装置和解码处理装置加流水线式的并行动作，使非同步处理和解码处理由输入输出处理装置和解码处理装置分担，所以把解码处理装置从非同步产生的处理中解放出来，能够专门进行解码处理。其结果，由于高效率地实施流数据处理、解码、输出等一连串的处理，所以本图象声音处理装置即使不用高速动作时钟也可以进行流数据的全解码(不丢失帧)。
其中，可成为下述图象声音处理装置，其特征在于，所述解码处理部分包括：
按序处理装置
对于数据流，进行以条件判断为主的按序处理；按序处理包括：压缩声音数据和压缩图象数据的标题解析，和压缩声音数据的解码；
定型处理装置
并行所述按序处理，进行定型处理；定型处理是除去压缩图象数据的标题解析的压缩图象数据的解码。
按照这种结构，通过消除把处理特性不同的按序处理与适于并行处理的定型处理并存在一个单元中，能够大幅度地提高处理效率。特别是能够提高定型处理装置的处理效率。其原因是在本图象声音处理装置中，通过把定型处理装置从上述的非同步处理和按序处理中解放出来，能够仅专门进行按照压缩图象数据的解码要求的各种定型演算的缘故。其结果，即使不使用高速动作时钟也能够获得较高的处理能力。
其中，可成为下述图象声音处理装置，其特征在于，所述输入输出处理装置包括：
输入装置
从外部输入非同步数据流；
图象输出装置
在外部的显示装置中输出解码的图象数据；
声音输出装置
在外部的声音输出装置中输出解码的声音数据；
处理装置
一边替换一边执行在指令存储器中存储的第一到第四任务程序，
第一任务是从输入部分向所述存储器传输数据流；
第二任务是从所述存储器向解码处理装置提供数据流；
第三任务是从所述存储器向图象输出部分输出解码的图象数据；
第四任务是从所述存储器向声音输出部分输出解码的声音数据。
其中，可成为下述图象声音处理装置，其特征在于，所述处理装置包括：
程序计数部分
有与所述第一到第四任务对应的至少四个程序计数器；
指令锁存部分
使用指示一个程序计数器的指令地址，从存储各任务程序的指令存储器中取出指令；
指令执行部分
执行在指令取出部分取出的指令；
任务控制部分
控制每个经过预定数的指令循环，对于指令锁存部分，依次替换程序计数器。
按照这种结构，在由外部装置决定的流数据的输入率和由输入周期、外部显示装置、外部声音输出装置决定的图象数据、声音数据的各自输出率及输出周期的任何范围内，具有使与输入输出要求对应的响应延迟很小的效果。
本发明的图象声音处理装置，包括：
输入装置
输入包括压缩声音数据和压缩图象数据的数据流；
按序处理装置
对于数据流，进行以条件判断为主的按序处理；按序处理包括：压缩声音数据和压缩图象数据的标题解析；和压缩声音数据的解码；
定型处理装置
并行所述按序处理，进行以定型演算为主的定型处理；定型处理是采用标题解析的结果，按预定块单位解码数据流中的压缩图象数据；
当所述预定块的标题解析结束时，所述按序处理装置指示定型处理装置中该预定块的解码开始，当从定型处理装置接受预定块的解码结束通知时，开始随后的预定块的标题解析。
按照这种结构，按序处理装置担当对于压缩图象数据以及对于压缩声音数据进行作为必要的涉及多方面的条件判断的标题解析，同时还担当声音压缩数据的解码。另一方面定型处理装置担当对压缩图象数据的块数据的定型大量运算量。通过这样的角色分担，与图象解码器比较，按序处理装置进行演算量较少的整个声音解码、压缩图象数据的标题解析和定型处理装置的控制。在其控制下，由于进行专门定型的演算，所以定型处理装置能够实现无浪费效率的处理。因此，即使未用高频率进行动作，也能够获得处理能力，能够降低制造成本。此外，由于依次进行整个声音解码、压缩图象数据的标题解析和定型处理装置的控制，所以按序处理装置能够由一个处理装置构成。
其中，图象声音处理装置可成为，其特征在于，所述定型处理装置包括：
数据变换装置
根据按序处理装置的指示，可变长解码数据流中的压缩图象数据；
演算装置
对于由可变长解码获得的块数据，通过实施预定的演算，进行反量化和反离散余弦变换；
合成装置
通过合成反离散余弦变换后的块数据和在存储器中存储的解码后的帧的矩形图象，还原与块相当的图象数据；
所述按序处理装置包括：
取得装置
由数据变换装置获得可变长解码的标题信息；
解析装置
解析获得的标题信息；
通知装置
把作为解析结果得到的参数通知给定型处理装置；
声音解码装置
解码由输入装置输入的数据流中的压缩声音数据；
控制装置
在接受从所述定型处理装置通知预定块的解码结束的中断信号时，停止声音解码装置的动作，同时启动取得装置，当所述通知装置进行所述通知时，在所述数据变换装置中指示图象块的可变长解码开始。
按照这种结构，在宏块等预定块单位中，按序处理装置在进行标题解析后进行声音解码，当由定型处理装置完成预定块的解码时，开始随后块的标题解析。这样，由于用实时反复进行标题解析和声音解码，所以能够把按序处理装置用一个处理装置按低成本来实现。此外，由于定型处理装置不必进行涉及分支的条件判断处理，所以能够用低成本进行专用硬件化(或者硬件和固件)。
其中，图象声音处理装置可成为，其特征在于，所述演算装置还包括：
第一缓冲器
有与一块相当的存储区；
所述数据变换装置包括：
可变长解码装置
可变长解码数据流中的压缩图象数据；
第一地址图表装置
存储按折线扫描顺序排列第一缓冲器存储区地址的第一地址列；
第二地址图表装置
存储按交错扫描顺序排列第一缓冲器存储区地址的第二地址列；
写入装置
根据第一地址列和第二地址列的一个，把由可变长解码装置的可变长解码获得的块数据写入第一缓冲器。
按照这种结构，无论对于折线扫描还是对于隔行扫描，都能够在第一缓冲器的存储区写入块数据。因此，当从第一缓冲器的存储区进行块数据读出时，演算装置也可以不变更读出地址的顺序，能够不管扫描类型，按与正常时一样的读出地址顺序进行读出。
其中，图象声音处理装置可成为，其特征在于，
所述解析装置根据标题信息算出量化标度和移动向量；
所述通知装置把量化标度通知给演算装置，把移动向量通知给合成装置。
按照这种结构，能够把移动向量的算出让按序处理装置担当，合成装置能够使用算出的移动向量进行定型的移动补偿处理。
其中，图象声音处理装置可成为，其特征在于，所述演算装置包括：
第一、第二控制存储部分
存储各自的宏程序；
第一程序计数器
在第一控制存储部分中指定第一读出地址；
第二程序计数器
指定第二读出地址；
选择器
通过选择第一读出地址和第二地址的其中一个，输出给第二控制存储部分；
执行部分
有乘法器和加法器，通过控制由第一、第二控制存储部分产生的宏程序，执行块单位的反量化和反离散余弦变换。
按照这种结构，不必对宏块(固件)进行涉及分支条件的判断处理，由于仅实现定型处理，所以程序量较小并容易作成，适合低成本化。而且，通过使用两个程序计数器，能够使乘法器和加法器单独并行地工作。
其中，图象声音处理装置可成为，其特征在于，当选择由选择器产生的第二读出地址时，所述执行部分单独并行进行使用乘法器的处理和使用加法器的处理，当选择由选择器产生的第一读出地址时，连续进行使用乘法器的处理和使用加法器的处理。
按照这种结构，通过减少乘法器和加法器的空闲时间，能够提高处理效率。
其中，图象声音处理装置可成为，其特征在于，所述演算装置还包括：
第一缓冲器
保存来自数据变换装置的图象块；
第二缓冲器
保存由执行部分进行的反离散余弦变换的块；
第一控制存储部分存储反量化处理的宏程序和反离散余弦变换的宏程序；
第二控制存储部分存储反离散余弦变换的图象块和把反离散余弦变换的图象块传输给第二缓冲器的宏程序；
所述执行装置并行执行把反离散余弦变换的图象块传输给第二缓冲器的处理和对随后的图象块进行反量化处理，用乘法器和加法器连续执行把反量化的该图象块进行反离散余弦变换的处理。
按照这种结构，由于并行执行反向量化处理和对第二缓冲器的传输处理，所以能够提高处理效率。
其中，图象声音处理装置可成为，其特征在于，
所述输入装置还输入多边形数据；
所述按序处理装置还解析多边形数据，算出多边形顶点坐标和边缘的斜率；
所述定型处理装置还根据算出的顶点坐标和斜率生成所述多边形的图象数据。
按照这种结构，按序处理装置担当多边形数据的解析，定型处理装置担当定型的图象数据生成处理。本图象声音处理装置能够根据高效率的多边形数据生成图象数据，进行制图处理。
其中，图象声音处理装置可变成，其特征在于，
所述第一、第二控制存储部分还存储根据DDA算法进行扫描变换的宏程序；
所述执行部分还根据由按序处理装置算出的顶点坐标和斜率进行由宏程序控制的扫描变换。
按照这种结构，由所述第一、第二控制存储部分中扫描变换宏程序，能够简单地实现图象数据的生成。
其中，图象声音处理装置可成为，其特征在于，
所述合成装置还根据要压缩的图象数据生成表示差分图象的差分块；
所述第二缓冲器还保存生成的差分图象；
第一控制存储部分还存储离散余弦变换的宏程序和量化处理的宏程序；
第二控制存储部分还存储离散余弦变换的宏程序和把离散余弦变换的图象块传输给第一缓冲器的宏程序；
对于在第二缓冲器中保存的差分块，所述执行装置还执行离散余弦变换和量化，传输给第一缓冲器；
所述数据变换装置还对第1缓冲器的块作可变长编码。所述按序处理装置还对由数据变换装置作了可变长编码的定量的块附加标题信息。
按照这种结构，定型处理装置担当作为定型处理的量化和离散余弦变换，按序处理装置担当要进行条件判断的处理(附加标题信息)。这种情况下，本图象声音处理装置即使不使用高速时钟，也能够根据图象数据高效率的执行对压缩图象数据的编码处理。
其中，图象声音处理装置可成为，其特征在于，
所述演算装置包括：
第一、第二控制存储部分
存储宏程序；
第一程序计数器
在第一控制存储部分中指定第一读出地址；
第二程序计数器
指定第二读出地址；
选择器
选择第一读出地址和第二读出地址的其中一个，输出给第二控制存储部分；
多个执行部分
有乘法器和加法器，通过控制由第一、第二控制存储部分产生的宏程序，执行块单位的反量化和反离散余弦变换；
各执行部分分担处理分割块的部分块。
按照这种结构，由于多个执行部分执行并行演算指令，所以能够高效率地执行定型的大量演算。
其中，图象声音处理装置可成为，其特征在于，
所述演算装置还包括：
多个地址变换图表
与各执行部分对应设置，各变换图表对应于预定的地址列部分地调换地址顺序保存变换的地址；
指令寄存器组
由对应变换地址存储构成实现预定演算宏程序的各个宏指令的多个寄存器构成；
替换部分
把在第一和第二控制存储部分和多个执行部分之间设置的来自第一控制存储部分或选择器对各执行部分输出的宏指令替换为指令寄存器的宏指令，对多个执行部分输出；
其中特征是，在所述第一读出地址或第二读出地址为所述预定地址列中地址的情况下，把其地址根据所述各地址变换图表变换为变换地址；所述指令寄存器组输出与从变换图表中输出的各变换地址对应的宏指令。
按照这种结构，多个执行部分在并行地执行宏程序期间，通过回避执行部分存取争用等的资源干扰，能够进行更高效率的处理。
其中，图象声音处理装置可成为，其特征在于，所述各变换图表还在第一程序计数器输出所述预定地址列中的第一读出地址期间，伴随着表示所述寄存器中的加减法运算的宏指令输出，把表示应该加法运算还是应该减法运算的标志输出给所述多个执行部分；
所述各执行部分根据所述标志执行加减法运算；
所述标志根据所述第二控制存储部分的宏指令来设定。
按照这种结构，由于由宏指令指定进行加法运算还是进行减法运算的变换表，并能够在两个通路上共用相同的宏程序，所以能够降低宏程序的总容量，能够实现硬件规模的下降，从而实现低成本化。
其中，图象声音处理装置可成为，其特征在于，
所述第二控制存储部分还在第一程序计数器输出所述预定地址列中的第一读出地址期间，伴随着所述寄存器中的宏指令输出，把表示宏指令执行结果存储于端的信息输出给所述多个执行部分；
所述各执行部分根据存储于端信息存储于执行结果。
按照这种结构，由于能够个别地指定指令寄存器组中的宏程序，所以存储于端的信息能够在不同的处理，例如行列演算部分的处理中共用该宏程序。其结果，能够进一步降低宏程序的总容量，能够实现硬件规模的降低，从而实现低成本化。
通过如下说明及参照本发明优选实施例的附图，会更明白本发明的这些和其他目的、优点及特征。
附图说明
在这些附图中：
图1表示根据第一已有技术中图象声音解码的解码处理的说明图。
图2表示根据第二已有技术中双芯片结构解码的解码处理的说明图。
图3表示本发明第一实施例的图象声音处理装置大致结构的方框图。
图4表示本发明第一实施例的图象声音处理装置结构的方框图。
图5表示对MPEG流分层表示的同时，图象声音处理装置各部分动作的定时图。
图6表示由处理装置7进行宏块标题解析和向其它各部分的控制内容的图。
图7是表示象素演算部分10结构的方框图。
图8表示在第一指令存储器506和第二指令存储器507中存储的宏程序的一例。
图9是表示象素演算部分10的动作定时图。
图10是表示象素读写部分11详细结构的方框图。
图12是表示指令读出电路53详细结构例的方框图。
图13是表示IO处理装置5的动作定时的定时图。
图14是表示任务管理部分结构的方框图。
图15是表示FIFO存储器4之后的解码动作的说明图。
图16是表示本发明实施例2的图象声音处理装置结构的方框图。
图17是表示象素演算部分30结构的方框图。
图18表示第一指令存储器506、第二指令存储器507存储内容的一例。
图19是表示块变换部分9结构的方框图。
图20表示存储8×8个空间频率数据的块存储区和折线扫描的正常路径。
图21表示存储8×8个空间频率数据的块存储区和隔行扫描的正常路径。
具体实施方式
在本发明的图象声音处理装置中，按以下分项记述其实施例。
1第一实施例
1.1图象声音处理装置的大致结构
1.1.1输入输出处理部分
1.1.2解码处理部分
1.1.2.1按序处理部分
1.1.2.2定型处理部分
1.2图象声音处理装置的结构
1.2.1输入输出处理部分的结构
1.2.2解码处理部分
1.2.2.1按序处理部分
1.2.2.2定型处理部分
1.3各部分的详细结构
1.3.1处理装置7(按序处理部分)
1.3.2定型处理部分
1.3.2.1码变换部分
1.3.2.2象素演算部分
1.3.2.3象素读写部分
1.3.3输入输出处理部分
1.3.3.1IO处理装置
1.3.3.1.1指令读出电路
1.3.3.1.2任务管理部分
1.4动作说明
2第二实施例
2.1图象声音处理装置的结构
2.1.1象素演算部分
<1.第一实施例>
本实施例的图象声音处理装置配有卫星广播接收装置(STB：称为Set TopBox)、DVD(数字视盘)重放装置、DVD-RAM记录重放装置等，作为压缩图象声音数据，从卫星广播或DVD输入MPEG流，进行扩展处理(以下简称为解码)，把图象信号和声音信号输出给外部输出装置。
<1.1图象声音处理装置的大致结构>
图3表示本发明第一实施例的图象声音处理装置大致结构的方框图。
图象声音处理装置1000的结构是，配有输入输出处理部分1001；解码处理部分1002和存储器控制器6，并可分离和并行地进行输入输出处理和解码处理。此外，把外部存储器3作为暂时存储MPEG流和解码后声音数据的操作存储器和存储解码后图象数据的帧存储器。
<1.1.1输入输出处理部分>
输入输出处理部分1001进行与图象声音处理装置1000的内部动作非同步产生的输入输出处理。这种输入输出处理的内容是：(a)输入从外部非同步输入的MPEG流，暂时存储在外部存储器3中；(b)把在外部存储器3中存储的MPEG流提供给解码处理部分1002；(c)从外部存储器3中读出解码的图象数据、声音数据，使外部显示装置、声音输出装置(图外)各自的输出率一致后输出。
<1.1.2解码处理部分>
解码处理部分1002与输入输出处理部分1001的动作独立地并行，进行由输入输出处理部分1001提供的MPEG流的解码，把解码后的图象数据和声音数据存储在外部存储器3中。由于MPEG流的解码处理其演算量还涉及较多处理内容，所以解码处理部分1002的结构是，配有按序处理部分1003和定型处理部分1004，以分离和并行地实施主要涉及多方面条件判断的按序处理，和主要进行定型的大量演算并适合并列演算的定型处理。其中，按序处理是MPEG流的标题解析等，包括标题的检测和标题内容的判定等多个条件。此外，由于定型处理是按由预定数象素构成的块单位必须实施的各种演算，所以适合流水线的并列处理，并且，对于不同的数据(象素)，适合实施所谓完全相同演算的向量演算的并列处理。
<1.1.2.1按序处理部分>
按序处理部分1003把由输入输出处理部分1001提供的压缩声音数据和压缩图象数据的标题解析，按每个宏块启动定型处理部分1004的控制，和压缩声音数据的解码处理作为上述按序处理来进行。标题解析包括MPEG流中的宏块标题的解析和移动向量的解码。其中，块表示由8*8象素构成的图象。宏块由四个亮度块和两个色差块构成。移动向量是指向参照帧中的8*8象素的矩形区的向量，该块指示采取与参照帧中哪个矩形区的差分。
<1.1.2.2定型处理部分>
定型处理部分1004接受来自按序处理部分1003的每个宏块的解码启动指示，并行按序处理部分1003的声音解码处理，作为上述定型处理，进行宏块的解码处理。该解码处理按顺序实施的内容是：可变长度符号的解码(VLD：Variable Length code Decoding)、反量化(IQ：Inverse Quantization)、反离散余弦变换(IDCT)、动态补偿(MC：Motion Compensation)。在动态补偿中，定型处理部分1004通过作为帧的外部存储器3中的存储器控制器6存储解码后的块。
<1.2图象声音处理装置的结构>
图4是表示图象声音处理装置1000的更详细结构的方框图。
<1.2.1输入输出处理部分的结构>
图中输入输出处理部分1001配有：流输入部分1；缓冲存储器2；输入输出处理装置5(以下简称为IO处理装置)；DMAC(直接存储器存取控制器，Direct Memory Access Controller)5a；视频输出部分12；声音输出部分13；和组合I/F部分14。
流输入部分1把从外部输入的MPEG数据流变换为并行数据(以下称为MPEG数据)。此时，流输入部分1检测来自MPEG流的GOP(图象组：包含一个I图象的、与约0.5秒的动画相当的MPEG数据流)的开头编码，把其意思通知IO处理装置5。根据该通知变换后的MPEG数据通过IO处理装置5的控制传输给缓冲存储器2。
缓冲存储器2是暂时变成从流输入部分1传输的MPEG数据的暂时保存的缓冲存储器。在缓冲存储器2保存的MPEG数据在输入输出处理装置5的控制下通过存储器控制器6传输给外部存储器3。
外部存储器3由SDRAM(同步动态随机存取存储器)芯片构成，通过来自缓冲器2的存储器控制器6暂时保存被传输的MPEG数据。并且，外部存储器3还保存解码后的图象数据(以下称为帧数据)和解码后的声音数据。
输入输出处理装置5控制流输入部分1、缓冲存储器2、外部存储器3(插在存储器控制器6之间)、FIFO存储器4之间的数据输入输出。也就是说，控制以下(1)～(4)所示路径的数据传输(DMA传输)。
(1)流输入部分1→缓冲存储器2→存储器控制器6→外部存储器3
(2)外部存储器3→存储器控制器6→FIFO存储器4
(3)外部存储器3→存储器控制器6→缓冲存储器2→视频输出部分12
(4)外部存储器3→存储器控制器6→缓冲存储器2→声音输入部分13
在这些路径中，输入输出处理装置5控制MPEG数据中图象数据和声音数据的各自独立地传输。此外，(1)、(2)是解码前的MPEG数据的传输路径。在(1)、(2)的传输路径中，输入输出处理装置5单独地传输压缩图象数据和压缩声音数据。(3)、(4)分别是解码后的图象、声音数据的传输路径。使解码后的图象声音数据分别与外部的显示装置(图外)、声音输出装置(图外)的输出率一致后输出。
DMAC5a根据IO处理装置5的控制进行流输入部分1、视频输出部分12、声音输出部分13与缓冲存储器2之间的DMA传输，缓冲存储器2与外部存储器3之间的DMA传输，外部存储器3与FIFO存储器4之间的DMA传输。
视频输出部分12在与外部显示装置(CRT等)的输出率(例如水平同步信号Hsync的周期)一致的输入输出处理装置5中提取数据要求，把由输入输出处理装置5的上述(3)的传输路径输入的图象数据输出给其显示装置。
声音输出部分13在与外部声音输出装置的输出率一致的输入输出处理装置5中提取数据要求，把由输入输出处理装置5的上述(4)的传输路径输入的声音数据输出给声音输出装置(D/A转换器、声音放大器、组合扬声器等)。
组合I/F部分14是在外部的组合处理装置、例如DVD重放装置的情况下，用于进行其整体控制的处理装置的通信的接口。在该通信中，传送来自组合处理装置的MPEG流的解码开始、停止、快速重放、反向重放等指示。
<1.2.2解码处理部分>
图4的解码处理部分1002配有：FIFO存储器4；按序处理部分1003；定型处理部分1004；进行由输入输出处理部分1001中的FIFO存储器4供给的MPEG数据的解码处理。此外，按序处理部分1003配有处理装置7和内部存储器8。定型处理部分1004配有：码变换部分9；象素演算部分10；象素读写部分11；缓冲器200；缓冲器201。
FIFO存储器4由两个FIFO构成(以下称为图象FIFO、声音FIFO)，在输入输出处理装置5的控制下分别按先入先出方式存储从外部存储器3传输的压缩图象数据、压缩声音数据。
<1.2.2.1按序处理部分>
处理装置7控制FIFO4的压缩图象数据和压缩声音数据的读出，同时进行对于一部分压缩图象数据的解码处理，和对于压缩声音数据的全解码处理。一部分压缩图象数据的解码处理包括MPEG数据中的标题信息的解析、移动向量的计算和压缩图象解码处理的控制。这是因为由处理装置7和定型处理部分1004分担压缩图象数据的全解码处理的缘故。即处理装置7分担必须涉及多方面条件判断的按序处理，定型处理部分1004分担大量的定型演算处理。由于与图象解码相比演算量较少，所以与此对应的声音解码全部由处理装置7担当。
下面，用图5具体说明处理装置7的功能。图5分层表示MPEG流，同时还表示图象声音处理装置各部分的动作定时。图中，横轴是时间轴。第一层表示MPEG流的流动。第二层所示的1秒期间的MPEG流包含多个帧(I、P、B图象)。第三层的一帧包括图象标题和多个限幅。第四层的一限幅包括限幅标题和多个宏块。第五层的一宏块包括宏块标题和六个块。
在公知文献，例如股份有限公司ァスキ—的‘要点图解式最新MPEG教科书’中详细说明了该图所示的第一～第五层的数据结构。
处理装置7进行如图第五层以下的MPEG流中至宏块层的标题解析和压缩声音数据的解码。此时，根据宏块单位的标题解析结果，处理装置7指示对于码变换部分9、象素演算部分10和象素读写部分11的宏块解码的开始，在由码变换部分9、象素演算部分10和象素读写部分11进行宏块解码期间，通过从FIFO4中读出压缩声音数据进行解码。如果结束由码变换部分9、象素演算部分10和象素读写部分11进行的宏块解码，那么处理装置根据中断信号接受其中断意思的通知，中断压缩声音数据的解码，开始随后的宏块的标题解析。
内部存储器8是处理装置7的暂时存储器，暂时保存解码的声音数据。保存的声音数据由输入输出处理装置5经上述(4)的路径传输给外部存储器3。
<1.2.2.2定型处理部分>
码变换部分9可变长解码从FIFO4读出的压缩图象数据(VLD)。如图5所示，在解码后的数据内，码变换部分9把有关的标题信息和移动向量信息(图中的虚线区域)传输给处理装置7，通过缓冲器200把宏块(由亮度块Y0～Y3和色差块Cb、Cr构成的6块)的数据传输给象素演算部分10。由码变换部分9解码后的宏块数据是表示空间频率成分的数据。
缓冲器200保存由码变换部分9写入的表示1块部分(8×8象素部分)的空间频率成分。
象素演算部分10对于从码变换部分9通过缓冲器200传输的宏块数据，按块单位进行反量化处理(IQ)和反离散余弦变换(IDCT)。象素演算部分10的处理结果如果是亮度块就是象素的亮度值或表示其差级的数据；该结果如果是色差块就是象素的色差或表示其差级的数据；通过缓冲器201传输给象素读写部分11。
缓冲器201保存1块部分(8×8象素部分)的象素数据。
对于象素演算部分10的处理结果，象素读写部分11按块单位进行动态补偿。也就是说，在P图象、B图象中，通过存储器控制器，切出从内部存储器3内解码后的参照帧中表示移动向量的矩形区域，利用合成象素演算部分10的处理结果的块，解码成原来的块图象。把由象素读写部分11产生的解码结果通过存储器控制器6存储于外部存储器3。
对于上述的动态补偿、IQ、IDCT的各内容，由于是公知技术，所以省略详细的说明(参照上述文献)。
<1.3各部分的详细结构>
下面，说明图象声音处理装置1000的各主要部分的详细结构。
<1.3.1处理装置7(按序处理部分)>
图6是表示根据处理装置7的宏块标题解析和向其它各部分的控制内容的图。首先，由于在上述文献等中说明了图中所示的宏块中的各数据，所以这里省略说明。
图中所示的处理装置7对码变换部分9发出指令，顺序获得可加长解码的标题部分的数据，根据其内容，对于码变换部分9、象素演算部分10、象素读写部分11，设定在宏块的解码中必要的数据。
具体地说，首先，处理装置7向码变换部分9发出获得MBAI(宏块地址增量)的指令(S101)，从码变换部分9获得MBAI。如果根据该MBAI的该宏块数据是跳跃宏块(如果此次要解码的宏块与上次相同)，由于可省略宏块数据进入S117，所以如果跳跃就继续标题解析(S102、S103)。
接着，处理装置7发行用于获得MBT(宏块型)的指令，从码变换部分9获得MBT。从该MBT的扫描类型判断是折线扫描还是隔行扫描，在象素演算部分10中指示缓冲器200的读出顺序(S104)。
并且，处理装置7从已经获得的标题数据中判定是否存在STWC(SpartTemporal Weight Code)(S105)，在存在的情况下发出获得的指令(S106)。
同样地，处理装置7获得FrMT(Frame Motion Type)、FiMT(Field MotionType)、DT(DCT type)、QSC(Quantizer Scale Code)、MV(Motion Vector)、CBP(Coded Block Pattern)(S107～116)。此时，处理装置7把FrMT、FiMT、DT的解析结果通知给象素读写部分11，把QSC的解析结果通知给象素演算部分10，把CBP的解析结果通知给码变换部分9。由此，把必要的IQ、IDCT、动态补偿信息设定在码变换部分9、象素演算部分10、象素读写部分11中。
此外，在2个处理装置结构中，把必须作涉及多支的条件判断的上述按序处理变为各处理装置单独进行的冗余结构。
接着，处理装置7对于码变换部分9发出宏块的解码开始指示(S117)。由此，码变换部分9对于宏块内的各块开始VLD，通过缓冲器200把VLD的结果输出给象素演算部分10。并且，处理装置7根据MV数据计算移动向量(步骤S118)，把其计算结果通知给象素读写部分11(步骤S119)。
在上述处理中，对于有关移动向量，移动向量的数据(MV)获得(S113)、移动向量的计算(S118)、在象素读写部分11中设定移动向量(S119)的一连串处理是必要的。这时，处理装置7在获得移动向量数据(MV)后未进行移动向量的计算和设定(S118、119)，以根据发出向定型处理部分1004的解码开始指示，对移动向量进行计算和设定。由此，使对定型处理部分1004的解码处理变为并行处理。即较早进行定型处理部分1004的解码开始定时。
由于完成了如上所述的宏块一个部分的压缩图象数据的标题解析，所以处理装置7从FIFO存储器4中获得压缩声音数据，开始声音解码处理(S120)。直至从码变换部分9输入表示宏块的解码完成的中断信号前，继续声音解码处理。通过该中断信号，处理装置7对于随后的宏块开始上述标题解析。
<1.3.2定型处理部分>
接着，通过宏块内的六个块使码变换部分9、象素演算部分10、象素读写部分11并行地动作，定型处理部分1004进行解码处理。其中，按象素演算部分10、象素读写部分11、码变换部分9的顺序更详细地说明它们的结构。
<1.3.2.1码变换部分9>
图19是表示码变换部分9结构的方框图。
图中的码变换部分9的结构是，配有VLD部分901；计数器902；增量器903；选择器904；扫描图表905；扫描图表906；触发电路907(以下简称为FF)和选择器908，按折线扫描或隔行扫描的顺序在块单位中排列可变长解码(VLD)的结果，写入缓冲器200。
VLD901可变长解码(VLD)从FIFO存储器4中读出的压缩图象数据，在解码后的数据内，把与标题信息和移动向量有关的信息(图5中的虚线区域)传输给处理装置7，把宏块(亮度块Y0～Y3和色差块Cb、Cr构成的6块)的数据(图5中的实线区域)按块单位(64个空间频率数据)输出给缓冲器200。
由计数器902、增量器903、选择器904构成的电路部分与来自VLD901的空间频率数据的输出同步，反复进行从0至63的计数。
扫描图表905是按折线扫描的顺序存储缓冲器200的块存储区地址的图表，顺序输入计数器902的输出值(0～63)，依次输出其地址。图20表示存储缓冲器200中8×8个空间频率数据的存储区和折线扫描的正常路径。扫描图表905顺序输出图中正常路径的象素地址。
扫描图表906是按隔行扫描的顺序存储缓冲器200的块存储区地址的图表，顺序输入计数器902的输出值(0～63)，依次输出其地址。图21表示存储缓冲器200中8×8个空间频率数据的存储区和隔行扫描的正常路径。扫描图表905顺序输出图中正常路径的象素地址。
FF907保存表示扫描类型的标志(是折线扫描还是隔行扫描)。由处理装置7设定该标志。
选择器908对应于FF907标志选择来自扫描图表905和扫描图表906输出的地址，作为写入地址输出给缓冲器200。
<1.3.2.2象素演算部分>
图7是表示象素演算部分10结构的方框图。
构成图中的象素演算部分10，使其具有由乘法运算器502和加减运算器503构成的执行部分501；第一程序计数器504(以下简称为第一PC)；第二程序计数器505(以下简称为第二PC)；第一指令存储器506；第二指令存储器507；和选择器508，并能够重叠和并行地执行IQ和IDCT的一部分。
根据从第一指令存储器506、第二指令存储器507依次输出的宏指令，执行部分501进行缓冲器200、201的存取和演算。
第一指令存储器506、第二指令存储器507是对于在缓冲器200中保存的块(频率成分)存储用于实现IQ、IDCT的宏程序的控制存储。图8表示在第一指令存储器506和第二指令存储器507中存储的宏程序的一例。
图中，第一指令存储器506存储IDCT1A宏程序和IQ宏程序，通过第一PC504指定选择器508指定读出地址。IQ宏程序是以缓冲器200读出和乘算为主体的运算处理，不用加减法器503。
第二指令存储器507存储IDCTIB宏程序和IDCT的宏程序，通过选择器508，由第1PC504或第2PC505指定读出地址。由或第二PC505产生的。其中，IDCT1意味着以乘法运算和加减法运算为主的IDCT的前半部分的处理，通过同时读出IDCT1A宏程序和IDCT1B宏程序，使执行部分501整体被使用执行。此外，IDCT2意味着以加减法运算为主的IDCT的后半部分的处理和向缓冲器201的写出处理，通过读出第二指令存储器507的IDCT2宏程序，使加减运算器503整体被使用执行。
由于由乘法运算器502处理IQ，由加减运算器503处理IDCT，所以使这些处理能够变为并行动作。图9表示由象素演算部分10产生的IQ、IDCT1、IDCT2的动作定时图。
图9中，如果码变换部分9读入缓冲器200中亮度块Y0的数据(定时t0)，就把其意思用控制信号102通知给象素演算部分10。使用在处理装置7的标题解析时设定的QS值(Quantizer Scale)，根据第一PC504的地址指示，通过读出第一指令存储器506的IQ宏程序，象素演算部分10对缓冲器200的数据进行IQ。此时，选择器508选择第一PC504(定时t1)。
并且，根据第一PC504的地址指定，通过读出IDCT1A和IDCT1B宏程序，象素演算部分10对缓冲器200的数据进行IDCT1。此时，由于选择器508选择第一PC504，所以指定在第一指令存储器506、第二指令存储器507双方中来自第一PC504的地址(定时t2)。
接着，使用上述QS值(Quantizer Scale)，根据第一PC504的地址指示，通过读出第一指令存储器506的IQ宏程序，象素演算部分10对缓冲器200的块Y1的数据进行IQ，同时，根据第二PC505的地址指示，通过读出第二指令存储器507的IDCT2宏程序，对块Y0进行IDCT处理的后半部分的处理。此时，选择器508选择第二PC505。第一PC504与第二PC505就变为指定的独立地址(定时t3)。
此后，同样地，象素演算部分10继续按块单位处理(定时t4以后)。
<1.3.2.3象素读写部分>
图10是表示象素读写部分11详细结构的方框图。
图中的象素读写部分11由缓冲器71～74(以下称为缓冲器A～D)、半象素内插部分75、合成部分76、选择器77、78和读写控制部分79构成。
读写控制部分79对于通过缓冲器201输入的块数据，使用缓冲器A～D进行动态补偿，把最终的解码图象按双块单位传输给外部存储器3。更具体地说，根据处理装置7的标题解析时设定的移动向量，控制存储器控制器6，以根据外部存储器3中的参照帧读出与双块部分相当的矩形区。其结果，存储于指示缓冲器A或缓冲器B中移动向量的双块部分矩形区的数据。然后，按照图象的种类(I或P或B图象)，在合成部分76中进行双块部分矩形区的半象素内插。并且，通过合成(加法运算)由缓冲器201输入的块数据和半象素内插后的矩形区，算出该块的象素值，存储于缓冲器B。这样，把在缓冲器B存储的最终解码块通过存储器控制器6传输给外部存储器3。
<1.3.3输入输出处理部分>
为了执行上述多数数据的输入输出(数据传输)，构成输入输出处理部分1001，使其无辅助操作地切换分担各种数据传输的多个任务，并且，对于数据输入输出要求不产生响应延迟。这里，所谓的辅助操作，是任务开关时产生的前后关系的疏远和恢复。即构成输入输出处理装置5，通过在存储器(栈区)疏远和恢复程序计数器的指令地址和寄存器数据，消除产生的辅助操作。下面，说明其详细结构。
<1.3.3.1I/O处理装置>
图11是表示I/O处理装置5结构的方框图。图中，I/O处理装置5构成为，配有状态监视寄存器51；指令存储器52；指令读出电路53；指令寄存器54；解码器55；演算执行部分56；通用寄存器组57和任务管理部分58，并且为了与非同步产生的多个事件对应，在每个极短的周期(4指令循环)可一边切换一边执行任务。
状态监视寄存器51由寄存器CR1～CR3构成，保存用于监视IO处理装置5的各种输入输出状态的各种状态数据(标志等)。例如，状态监视寄存器51保存如下状态的数据：流输入部分1的状态(MPEG流中开始码检测标志)；视频输出部分12的状态(表示水平清除期间的标志)；声音输出部分13的状态(声音帧数据的传输结束标志)；和在这些部分与缓冲存储器2、外部存储器3及FIFO存储器4之间的数据传输状态等(数据传输数、对FIFO存储器4的数据要求标志)。
更具体地说，包括以下标志。
开始码检测标志(以下称为标志1)
利用流输入部分1，在MPEG流中检测开始码时设定该标志。
水平清除标志(标志2)
该标志是表示水平清除期间的标志，由视频输出部分12设定。按约60毫秒周期来设定。
图象帧数据的传输结束标志(标志3)
在从外部存储器3向视频输出部分12传输1帧部分的解码图象数据时，由DMAC5a设定该标志。
声音帧数据的传输结束标志(标志4)
在从外部存储器3向声音输出部分13传输1帧部分的解码声音数据时，由DMAC5a设定该标志。
数据传输结束标志(标志5)
在把从流输入部分1向缓冲存储器2的由IO处理装置5指定数据数的压缩图象数据用DMAC5a进行DMA传输时(作为终端计数时)，设定该标志。
DMA要求标志(标志6)
该标志是表示把缓冲存储器2的压缩图象数据或压缩声音数据作为应对外部存储器3DMA传输的数据的标志，由IO处理装置5来设定(从下面说明的任务1向任务2的要求)。
对图象FIFO的数据要求标志(标志7)
该标志是要求进行从外部存储器3向FIFO存储器4中图象FIFO的数据传输的标志，按图象FIFO的压缩图象数据变为预定量以下时来设定。该标志按约5～40毫秒周期来设定。
对声音FIFO的数据要求标志(标志8)
该标志是要求进行从外部存储器3向FIFO存储器4中声音FIFO的数据传输的标志，按声音FIFO的压缩声音数据变为预定量以下时来设定。该标志按约15～60毫秒周期来设定。
解码通信要求标志(标志9)
该标志是要求进行从解码处理部分1002对输入输出处理部分1001通信的标志。
主通信要求标志(标志10)
该标志是要求进行从主处理装置对输入输出处理部分1001通信的标志。
利用由IO处理装置5执行的各任务，不中断稳定地监视上述标志种类。
指令存储器52存储分担多个数据输入输出(数据传输)控制的多个任务程序。在本实施例中，存储任务0～5的6个任务程序。
任务0(主I/F任务)
在上述标志10被设定时，本任务是用于进行与主计算机的通信、即通过主I/F部分14进行与主计算机的通信处理的任务。例如，如果从主处理装置接受MPEG流的解码开始、停止、快速重放、反向重放等，就进行解码状况(误差)的通知等。该处理把上述标志10作为触发。
任务1(填充任务)
该任务是在由流输入部分1检测开始码时(上述标志1)，解析(填充)从流输入部分1输入的MPEG数据，抽出各个基本流，把抽出的基本流由DMA传输(上述传输路径(1)的前半部分)传输给缓冲存储器2的程序。其中，抽出的基本流的种类是压缩图象数据(也称为视频基本流)、压缩声音数据(也称为音频基本流)、专用数据等。在把基本流存储于缓冲存储器2时，设定上述标志6。
任务2(流传输/音频任务)
本任务是控制以下(a)～(c)的传输的程序。
(a)从缓冲存储器2向外部存储器3的各个基本流的DMA传输(上述传输路径(1)的后半部分)。该传输把上述标志1、3作为触发。
(b)按照在音频FIFO中保存的压缩声音数据的数据大小(残量)，从外部存储器3向FIFO存储器4的音频FIFO的压缩声音数据的DMA传输(上述传输路径(2)中向音频FIFO的传输)。在音频FIFO保存的压缩声音数据的数据大小不小于一定量的情况下，进行该数据传输。该传输把上述标志8作为触发。
(c)从外部存储器3向缓冲存储器2，并且从缓冲存储器2向声音输出部分13的解码后的音频数据的DMA传输(上述传输路径(4))。该传输把上述标志2作为触发。
任务3(图象提供任务)
本任务是按照在图象FIFO中保存的压缩图象数据的数据大小(残量)，处理从外部存储器3向FIFO存储器4的图象FIFO的压缩图象数据的DMA传输(在上述传输路径(2)中向图象FIFO的传输)的程序。在图象FIFO保存的压缩图象数据的数据大小不小于一定量的情况下，进行该数据传输。该传输把上述标志7作为触发。
任务4(视频输出任务)
本任务是处理从外部存储器3向缓冲存储器2，并且从缓冲存储器2向视频输出部分12的解码后的图象数据的DMA传输(上述传输路径(4))的程序。该传输把上述标志2作为触发。
任务5(解码器I/F任务)
本任务是处理从解码处理部分1002对IO处理装置5指令的程序。在指令中，有‘getAPTS’、‘getVPTS’、‘getSTC’等。getVPTS(Video Presentation TimeStamp)是要求解码处理部分1002对于IO处理装置5获得向压缩图象数据提供的VPTS的指令。getAPTS(Audio Presentation Time Stamp)是要求解码处理部分1002对于IO处理装置5获得向压缩声音数据提供的APTS的指令。getSTC(System Time Clock)是要求解码处理部分1002对于IO处理装置5获得STC的指令。接受这些指令的IO处理装置5分别通知解码处理部分1002中的STC、VPTS、APTS。为了同步解码处理部分1002中声音和图象的解码，同时按帧单位调整解码的进度，采用STC、VPTS、APTS。
指令读出电路53配有多个指示指令闭锁地址的程序计数器(以下简称为PC)，使用由任务管理部分58指定的PC，从指令存储器52中读出指令，存储于指令寄存器54。具体地说，指令读出电路53带有与上述任务0～5对应的PC0～5，当由任务管理部分58变更PC的指定时，用硬件构成替换的高速PC。该结构的IO处理装置5在进行任务开关时使当前任务的PC值避开存储器，根据恢复处理开放来自存储器的随后任务的PC值。
解码器55控制演算执行部分56，通过从指令存储器52中读出，读出在指令寄存器54中存储的指令，执行该指令。此外，解码器55对IO处理装置5整体进行至少由指令读出电路53的指令读出阶段、解码器55的读出阶段、演算执行部分56的执行阶段的三个阶段构成的流水线控制。
演算执行部分56带有ALU(Arithmetic Logical Unit)、乘法器、BS(BarrelShifter)，根据解码器55的控制，按指令执行指定的演算。
通用寄存器组57配有与任务0～任务5对应的6个寄存器组(一寄存器组有四个32位寄存器和四个16位寄存器)。整个带有24个32位寄存器和24个16位寄存器，使用与执行中的任务对应的寄存器组。因此，IO处理装置5在进行任务开关时使当前所有寄存器数据避开存储器，根据恢复处理开放来自存储器的随后任务的寄存器数据。
任务管理部分58按预定数的指令循环数，通过替换指令读出电路53的PC和通用寄存器组57的寄存器组，进行任务的替换。在本实施例中，上述预定数是4。此外，由于IO处理装置5按一指令循环流水线处理一指令，所以任务管理部分58在未产生上述辅助操作下对每4个指令替换任务。因此，对于非同步产生的各种输入要求，能够抑制响应延迟。即对于输入要求的响应延迟即使最大也仅产生24个指令循环。
<1.3.3.1.1指令读出电路>
图12是表示指令读出电路53详细结构的方框图。
图中，构成指令读出电路53，使其配有不同任务PC存储部分53a；当前IFAR(Instruction Fetch Address Register)53b；增量器53c；第二IFAR53d；选择器53e；选择器53f；和DECAR53g(DECode Address Register)，并在进行任务替换时，在没有辅助操作下替换读出指令的地址。
不同任务PC存储部分53a带有与任务0～5对应的6个地址寄存器，对每个任务保存程序计数值。该程序计数值是对应任务的再开地址。进行任务替换时，在任务管理部分58和解码器55的控制下，从随后要执行任务所对应的地址寄存器中读出程序计数值，把当前执行的任务所对应的地址寄存器的程序计数值更新为新的再启动地址。此时，分别由任务管理部分58产生的“nexttaskid(rd addr)”信号、“taskid(wr addr)”信号指定随后要执行的任务和当前任务。
图13的PC0、1、2表示与任务0、1、2对应的程序计数值。图中，(0-0)表示任务0的指令0，(1-4)表示任务1的指令4。例如，在进行任务0的重新启动时读出PC0(指令循环t0)，在进行对随后任务的替换时，更新为指令(0-4)的地址(指令循环t4)。
由增量器53c、下一个IFAR53d、选择器53e构成的封闭回路是由随后的选择器53e通过选择读出更新地址的电路。图13的IF1表示从选择器53e输出的地址。图中，例如，在进行从任务0向任务1的替换时，在循环t4中，选择器53e从不同任务的PC存储部分53a中选择读出的指令地址(1-0)，在循环t5～t7中，从下一个IFAR53d中选择增量的指令地址。
当前IFAR53b延迟一循环地保存选择器53e的选择输出IF1，输出作为指令存储器52中的指令读出地址。换句话说，保存当前有效任务的指令读出地址。图13的IF2表示当前IFAR53b的指令读出地址。如图所示，IF2指出每四个指令循环中不同任务的指令地址。
DECAR53g保存在指令寄存器54中保存的指令地址。也就是说，指示解码中的指令。表示图13中的DEC中、DECAR53g中保存的地址。此外，图13中的EX表示执行中的指令地址。
选择器53f在分支指令执行时和中断发生时选择分支地址，除此以外选择下一个IFAR53d的地址。
通过配有这样结构的指令读出电路53，IO处理装置5进行图13所示的4段(IF1、IF2、DEC、EX)的流水线处理。其中，IF1阶段是进行多个程序计数值的选择和更新的阶段。IF2阶段是读出指令的阶段。
<1.3.3.1.2任务管理部分>
图14是表示任务管理部分58详细结构的方框图。图中，任务管理部分58大致分为管理任务替换定时的页槽管理器和管理任务顺序的程序机。
页槽管理器带有计数器58a、锁存器58b、比较器58c、锁存组件58d，把对每四个指令循环指示任务替换的任务替换信号(chgtaskex)向指令读出电路53输出。
具体地说，锁存器58b是保存计数器58a输出的后两位的两个FF(Flip Flop)电路。计数器58a按每个表示指令循环的块把锁存器58b的两位输出值增量+1变为三位输出。其结果，计数器58a就重复输出1、2、3、4。在计数器58a的输出值与常数4一致时，比较器58c把任务替换信号(chgtaskex)输出给指令读出电路53和程序机。
程序机配有：任务舍入管理部分58e；优先编码器58f；锁存器58g；输出每个任务替换信号(chgtaskex)，更新任务id，把当前的任务id和随后要执行的任务id输出给指令读出电路53。
具体地说，锁存组件58d、锁存器58g按编码形式(3位)同时保存当前的任务id。编码形式是其值表示任务id。
当输入任务替换信号(chgtaskex)时，任务舍入管理部分58e参照锁存组件58d，按解码形式(6位)输出随后要执行的任务id。解码形式(6位)是一位与一任务对应，位的位置表示任务id。
优先编码器58f把从任务舍入管理部分58e输出的任务id从解码形式变换为编码形式。上述锁存组件58d、锁存器58g同时把编码的任务id延迟一循环来保存。
通过该结构，在输出来自比较器58的任务替换信号(chgtaskex)时，任务舍入管理部分58e把来自优先编码器58f的随后要执行的任务id作方“nexttaskid(rd addr)”信号来输出，把来自锁存器58e的当前任务id作为“taskid(wr addr)”信号来输出。
<1.4动作说明>
下面，对于以上构成的第一实施例的图象声音处理装置1000，说明其动作。
在输入输出处理部分1001中，来自流输入部分1非同步输入的MPEG流，根据输入输出处理装置5的控制，通过缓冲存储器2、存储器控制器6一次存储于外部存储器3，并且，通过存储器控制器6保存在FIFO存储器4中。此时，对于FIFO存储器4，按照执行上述任务2(b)、任务3产生的其残量，IO处理装置5供给压缩图象数据、压缩声音数据。由此，由于FIFO存储器4供给过于不足的一定量的压缩图象数据、压缩声音数据，所以解码处理部分1002与非同步的输入输出分离，能够专门进行解码处理。通过上述输入输出处理部分1001，至此的处理与解码处理部分1002独立地并行进行。
另一方面，在解码处理部分1002中，在FIFO存储器4中保存的MPEG流数据由以下的处理装置7、码变换部分9、象素演算部分10、象素读写部分11进行解码。图15表示FIFO存储器4以后的解码动作的说明图。
图中，横轴作为时间轴表示大致一宏块部分的标题解析和各块的每一个解码的样子。此外，纵方向表示解码处理部分1002中把每个块的解码按流水线执行的样子。
如图所示，处理装置7按时分重复压缩图象数据的标题解析和对于压缩声音数据的解码处理。也就是说，处理装置7进行一宏块部分的标题解析，在把解析结果通知码变换部分9、象素演算部分10、象素读写部分11后，对于码变换部分9，指示宏块的解码开始。然后，处理装置7进行压缩声音数据的解码，直至通知来自码变换部分9的中断信号。解码后的声音数据一次保存在内部存储器8中，并且，由存储器控制器6向外部存储器3进行DMA传输。
此外，码变换部分9接受来自处理装置7的宏块的解码开始指示，把宏块内的每个块存储于缓冲器200。此时的码变换部分9按照处理装置7的标题解析时通知的块扫描类型，变更对缓冲器200的写入地址的顺序。也就是说，按折线扫描的情况和在隔行扫描的情况变更写入地址的顺序。由此，象素演算部分10不变更读出地址的顺序也好，不管扫描类型，一般都能够同样按读出地址的顺序读出。重复上述动作至到VLD处理结束，码变换部分9在缓冲器200中写出宏块内的6个块。如果结束6块的VLD，那么在处理装置7上产生中断。该中断信号是宏块解码结束信号End Of Macro Block(EOMB)。通过检测第六个块的块结束信号End OfBlock(EOB)，码变换部分9生成EOMB。
象素演算部分10与码变换部分9并联，对图9所示的缓冲器200中存储的块数据按块单位实施IQ、IDCT，把其处理结果存储于缓冲器201。
象素读写部分11与象素演算部分10并联，根据缓冲器201的块数据和由处理装置7进行标题解析获得的通知移动向量，进行根据如图15所示的外部存储器3的参照帧的矩形区的切出和块合成。把块合成结果通过FIFO存储器4存储于外部存储器3。
上面说明了非扫描宏块情况的动作，但在扫描宏块的情况下，码变换部分9和象素演算部分10不动作，只有象素读写部分11动作。在存在扫描宏块的情况下，按与参照帧中的矩形区相同的图象，通过象素读写部分11，上次的图象就作为解码图象复制在外部存储器3中。
这种情况下，从码变换部分9向处理装置7的中断信号如下生成。也就是说，处理装置7获得对于象素读写部分11表示送交移动补偿动作开始的控制信号的信号、表示使象素读写部分11的移动补偿动作可能的信号和表示作为扫描宏块的信号的逻辑积，并且，把作为该逻辑积与上述EOMB信号的逻辑和的中断信号输入给处理装置7。
按照以上说明的本发明实施例1的图象声音处理装置，其构成使输入输出处理部分1001分担来自存储载体和通信载体的MPEG流输入处理、向显示装置和声音输出装置的显示图象数据和声音数据的输出处理、向解码处理部分1002提供流的处理，和使解码处理部分1002分担压缩图象数据和压缩声音数据的解码处理。由此，把解码处理部分1002从非同步产生的处理中释放出来，能够专门进行解码处理。其结果，由于高效率地进行MPEG流输入、解码、输出的一连串处理，所以即使未使用高速动作时钟，也能够实现MPEG流的全解码(不丢失帧)。
此外，本图象声音处理装置最好进行单芯片地LSI化。这种情况下，能够用100MHz以下的动作时钟(实际上为54MHz)进行上述全解码。在这点上，如果图象尺寸较小，动作时钟为100MHz以及超过200MHz的近年来的高性能CPU就能够进行上述全解码，但其不利的一面是制造成本昂贵。与此相反，本图象声音处理装置在制造成本方面和全解码方面都是优越的。
并且，本图象声音处理装置的解码处理部分1002分担如下作用。
也就是说，处理装置7无论对于压缩图象数据还是对于压缩声音数据，在担当必须作涉及多分支的条件判断的标题解析的同时，还担当压缩声音数据的解码。对于压缩图象数据的块数据，由于要求定型的大量演算量，所以由所谓的码变换部分9、象素演算部分10、象素读写部分11专用硬件(固件)担当解码处理。把图15所示的码变换部分9、象素演算部分10、象素读写部分11进行流水线化。象素演算部分10使IQ和IDCT的并行处理变为可能。象素读写部分11实现了双块单位的参照帧的存取。由此，由于实现了压缩声音解码处理的效率化，所以图象解码专用硬件部分即使不使用高速时钟，也能够获得较高的处理能力。具体地说，不使用超过100MHz的高速时钟，用50～60MHz左右的时钟可获得与以往相同程度以上的处理能力。因此，不必使用高速元件，能够抑制制造成本。
此外，由于把图象解码的基本单位作为处理装置7中的宏块单位、码变换部分9和象素演算部分10中的块、象素读写部分12中的双块，能够把图象解码中的缓冲器容量抑制到最小限度。
<2第二实施例>
构成本实施例的图象声音处理装置，使其施加压缩流数据的解码功能，并且有压缩功能(以下称为编码)和制图功能的作用。
<2.1图象声音处理装置的结构>
图16是表示本发明实施例2的图象声音处理装置结构的方框图。
该图象声音处理装置2000由流输入输出部分21、缓冲存储器22、FIFO存储器24、输入输出处理装置25、存储器控制器26、处理装置27、内部存储器28、码变换部分29、象素演算部分30、象素读写部分31、视频输出部分12、声音输出部分13、缓冲器200、缓冲器201构成。图象声音处理装置2000加在图4所示的图象声音处理装置1000的功能上，附加以下的功能。也就是说，附加了图象数据和声音数据的压缩功能，以及描述多数据的制图功能。
因此，在图象声音处理装置2000中，与图4同名称的结构要素有完全相同的功能，并且，附加了具有压缩功能和制图功能作用的功能。以下，省略与图4相同点的说明，以不同点为中心进行说明。
流输入输出部分21的不同点在于变为双方向。也就是说，通过输入输出处理装置25的控制，如果从缓冲存储器22传输MPEG，那么把传输的并行数据转换成串行数据，作为MPEG流向外部输出。
缓冲存储器22、FIFO存储器24的不同点也在于变为双方向。
输入输出处理装置25在控制第一实施例所示的(1)～(4)路径的数据传输中，还加上控制(5)～(8)路径的传输。
(1)流输入输出部分21→缓冲存储器22→存储器控制器26→外部存储器3
(2)外部存储器3→存储器控制器26→FIFO存储器24
(3)外部存储器3→存储器控制器26→缓冲存储器22→视频输入部分12
(4)外部存储器3→存储器控制器26→缓冲存储器22→声音输入部分13
(5)外部存储器3→存储器控制器26→内部存储器28
(6)外部存储器3→存储器控制器26→象素读写部分31
(7)FIFO存储器24→存储器控制器26→外部存储器3
(8)外部存储器3→存储器控制器26→缓冲存储器22→流输入输出部分21
(5)、(6)路径是进行图象数据、声音数据编码情况的原来的数据路径，(7)、(8)表示压缩后的MPEG流的路径。
首先，说明编码处理。把要编码的数据存储于外部存储器3。通过象素读写部分31控制存储器控制器，把外部存储器3的图象数据传输给象素读写部分31。
象素读写部分31进行把图象数据写入第二缓冲器201的处理和差分图象生成处理。差分图象生成处理由块单位的移动检测(移动向量的算出)和差分图象的生成构成。因此，通过在符号化对象块和类似矩形区及参照帧内进行探索，象素读写部分31在内部带有检测移动向量的移动检测电路。再有，代替移动检测电路，也可以配有利用邻接帧的已经计算过的块移动向量，估算符号化对象移动向量的移动估算电路。
象素演算部分25接受获得块单位上的差分图象，进行DCT、IDCT、量化处理(以下称为Q处理)、IQ。把这样量化的图象数据存储于缓冲器200。
码变换部分29从缓冲器200接受获得量化数据，进行可变长度符号处理(VLC)。把可变长度符号化的数据存储于先进先出存储器24，通过存储器控制器26，在存储于外部存储器3的同时，还由处理装置27对每个宏块附加标题信息。
此外，把外部存储器3的图象数据通过存储器控制器26传输给内部存储器28。处理装置27进行对每个宏块附加标题信息的处理和按实时进行内部存储器28的声音数据的压缩处理。
以上的编码处理按与第一实施例相反的路径来处理。
下面，说明制图处理。制图处理是通过把所谓的多边形的矩形类型图形进行组合的三维图象生成处理。在本装置中，进行在多边形的顶点坐标中从象素数据中生成多边形内部的象素数据的处理。
首先，把多边形的顶点数据存储于外部存储器3。
通过处理装置27控制存储器控制器26，把顶点数据存储于内部存储器28。处理装置27读出内部存储器28产生的顶点数据，写入未进行DDA的预处理(Digital Difference Analyze)的FIFO存储器24。
码变换部分29根据象素演算部分30的指示，从FIFO存储器24中读出顶点数据，传输给象素演算部分30。
象素演算部分30向未进行DDA处理的象素读写部分31发送。象素读写部分31，根据处理装置27的指示，通过Z缓冲器处理或未进行α混合处理的存储器控制器26，在外部存储器3中写出图象数据。
<2.1.1象素演算部分>
图17是表示象素演算部分30结构的方框图。
图中，对于与图7所示的象素演算部分10相同的结构要素附加相同的序号，并省略说明，把以下的不同点作为中心进行说明。
不同点在于，图中所示的象素演算部分30，对于图7所示的象素演算部分10，执行部分变为三方面(501a～501c)，追加了指令指示字保存部分308和指令寄存器309。
执行部分501a～501c变为三方面是为了提高演算性能的缘故。具体地说，在制图处理中，单独地并行演算彩色图象RGB。在IQ和Q处理中，使用三个乘法器502以实现高速化。在IDCT中，通过使用多个乘法器502和加减法器503，实现时间缩短。在IDCT中，存在所谓的蝶式演算，这是由于作为演算元素的所有数据间有依存关系，所以设有进行执行部分501a～501c的单元间通信的数据线103。
第一指令存储器506、第二指令存储器507添加IDCT、IQ，存储于用于DCT、Q处理、DDA的宏程序。图18表示第一指令存储器506、第二指令存储器507存储内容的一例。与图8相比，追加了Q处理宏程序、DCT宏程序和DDA宏程序。
指令指示字保存部分308a～308c与执行部分501a～501c对应设置，带有转换从各自第一程序输入的地址，向指令寄存器309输出的转换图表。转换后的地址意味着指令寄存器309的寄存器序号。并且，指令指示字保存部分308a～308c保存后述的各自变更标志，输出给执行部分501a～501c。
根据转换图表，指令指示字保存部分308a、308b、308c，在例如输入地址为1、2、3、4、5、6、7、8、9、10、11、12的情况下，输出各自如下转换后的地址。
指令指示字保存部分308a：1、2、3、4、5、6、7、8、9、10、11、12
指令指示字保存部分308b：2、1、4、3、6、5、8、7、10、9、12、11
指令指示字保存部分308c：4、3、2、1、8、7、6、5、12、11、10、9
指令寄存器309，如图23所示，由保存宏指令的多个寄存器的三个选择器和三个输出通道构成。三个选择器选择从指令指示字保存部分308a、308b、308c输入的转换地址(寄存器序号)中指定的寄存器的宏指令。三个输出通道与选择器对应设置，通过分配部分310把在各个选择器中选择的宏指令输出给执行部分501a～501c。设置三个选择器和输出通道的原因是因为对三个加减法器503(或三个乘法器502)同时提供不同的宏指令的缘故。在本实施例中，三个输出通道，通过分配部分310，作为有选择地提供三个加减法器503和三个乘法器502的其中任何一个的通道。
例如，指令寄存器309配有寄存器R1～R16(寄存器序号1～16)。在寄存器R1～R16中存储的宏程序表示在DCT和IDCT中必要的行列演算，也可以根据上述三个寄存器序号顺序的其中一个来存储，以便进行同一处理。也就是说，带有上述三个执行顺序的宏程序把执行顺序的可换的一部分宏指令顺序进行调换。这是因为执行部分501a～501c并行执行宏程序，为了回避在执行部分501a～501c之间寄存器(图外)存取争用等资源干扰的缘故。此外，上述行列演算处理把8×8×行列的乘法运算、转置、传输作为其内容。
接着，在指令寄存器309的各寄存器中存储的宏指令按助记形式
「op Ri，Rj，dest，(变更标志)」
来表示。但是，指令寄存器部分309的宏指令仅是「op和Ri，Rj(变更标志)」的部分。「dest」的部分由指令存储器506、507指定。「(变更标志)」的部分由指令指示字保存部分308a～308c指定。
其中，“op”是表示乘法运算指令、加减法运算指令、传输指令等的操作码，“Ri，Rj”是操作数。乘法运算指令是在三个执行部分501a～c中的各乘法器502内执行的指令，加减法运算指令、传输指令是在三个执行部分501a～c中的各乘法器502内执行的指令。
“dest”表示演算结果的存储端。该“dest”不是指令寄存器309的寄存器，根据指令存储器506(乘法运算指令的情况下)或指令存储器507(加减法运算指令和传输指令的情况下)来指定。这是因为指令寄存器309的宏程序在执行部分501a～501c中通用化的缘故。如果由寄存器指定传输端，那么就必须分别预备个别的宏程序，使宏程序的容量膨胀数倍。
“变更标志”在加减法运算中是表示加法运算还是减法运算的标志。该“变更标志”不由指令寄存器309的寄存器来指定，而是根据指令指示字保存部分308a～308c另外指定。因为在DCT、IDCT和行列演算中使用的常数行列中包括所有要素为“1”的行(或列)和所有要素为“-1”的行，这才有可能通过从指令指示字保存部分308a～308c中指定“变更标志”，共用指令寄存器309的同一宏程序。
在从指令寄存器309输入的三个宏指令为加减法运算指令的情况下，分配部分310把这些「op和Ri，Rj」的部分、从指令存储器506输入的「dest」的部分和从指令指示字部分308a～c输入的「变更标志」分配给三个加减法运算器503，同时，把指令存储器506的宏指令分配给三个乘法器502。此外，在从指令寄存器309输入的三个宏指令为乘法运算指令的情况下，分配部分310把这些「op和Ri，Rj」的部分和从指令存储器506输入的「dest」的部分分配给三个乘法运算器502，把指令存储器507的宏指令分配给三个加减法运算器503。换句话说，利用分配部分310，对三个加减法运算器503提供的宏指令对于三个加减法运算器503通用的指令是从指令存储器507中分别提供一个宏指令，对于三个加减法运算器503中不同的加减法指令是分别提供来自指令寄存器309的三个宏指令。同样地，对三个乘法器502提供的宏指令对于三个乘法器502通用的指令是从指令存储器506中提供的宏指令，对于三个乘法器502中不同的乘法运算指令是分别提供来自指令寄存器309的宏指令。
按照象素演算部分30的这种结构，能够消减指令存储器506、指令存储器507的存储容量。
如果假设象素演算部分30配有指令指示字保存部分308a～c、指令寄存器309、分配部分310，那么在对于三个执行部分501a～c提供不同的宏指令时，指令存储器506、指令存储器507必须并行存储三个宏指令。
图22表示在未配有指令指示字保存部分308a～c、指令寄存器309、分配部分310情况下的指令存储器506和指令存储器507存储内容的一例。图中，存储16步的宏程序的一个宏指令有16位的长度。这种情况下，从并行存储三个宏指令来看，指令存储器506和指令存储器507必须有总计1536位的存储容量(16步×16位×3×2)。
对此，在本实施例的象素演算部分30中，图23表示指令指示字保存部分308a～c、指令寄存器部分309的存储内容的一例。图中，也存储16步的宏程序的一个宏指令有16位的长度。图中，指令指示字保存部分308a～c分别存储16个寄存器序号(4位的长度)，指令寄存器309存储16个宏指令。这种情况下，指令指示字保存部分308a～c和指令寄存器309的存储容量也可以是448位(16步×(12+6))。在这样的象素演算部分30中，能够大幅度地消减宏程序的存储容量。实际上，由于可另外发行「dest」「变更标志」，所以其部分的存储容量或电路是必需的。此外，指令存储器506、507指定宏指令中的「dest」，此外，由于可发行执行部分501a～c中共用的乘法指令、加减法指令，所以不必完全消除指令存储器506、507。假设如果在指令寄存器309中设有6个输出通道，那么也能够消除指令存储器506和指令存储器507。
再有，在图23中，在第一程序计数器的值为0～15的情况下，指令指示字保存部分308a～308c输出转换地址(寄存器序号)，但它并不限制于此。例如，在第一程序计数器的值为32～47的情况下，也可以输出转换地址。这种情况下，增加适合第一程序计数器值的偏置值的结构更好。由此，能够把第一程序计数器表示的任意地址转换为转换地址。
利用以上的结构，在本实施例中，不仅使压缩图象数据和压缩声音数据的解码处理变为可能，而且使图象和声音数据的编码处理和根据多边形数据的制图处理变为可能。此外，通过多个执行部分的并行动作，提高了处理效率。而且，通过调换指令寄存器部分308a～308c中一部分宏指令的顺序，由于能够回避多个执行部分间的资源干扰，所以还能提高处理效率。
再有，在上述实施例中，表示有三个执行部分的结构是因为有利于能够单独地演算RGB颜色。并且，执行部分的个数只要在三个以上就行。
此外，使上述实施例的图象声音处理装置1000、2000分别进行单芯片LSI化最好。并且，作为芯片外部的存储器说明了外部存储器3，但也可以内装在一个芯片内。
此外，在上述实施例中，对于外部存储器，流输入部分1(或流输入输出部分21存储于了MPEG流(或图象声音数据)，但也可以构成把主处理装置存储于在直接外部存储器3中。
并且，在上述实施例中，IO处理装置5每隔四个指令循环进行任务替换，但也可以是每隔四个指令循环以外的多个指令循环。此外，任务替换的指令循环数通过对每个任务预先加权，也可以使用不同的指令循环。此外，也可以按照优先度·紧急度进行对每个指令循环数加权。
尽管参照附图用实施例充分说明了本发明，但必须指出，对于本领域技术人员来说，显然能够进行各种变化和变更。因此，不超出本发明范围的各种变化和变更应该都包括在本发明中。

Claims (26)

1.一种图象声音处理装置，解码从外部输入的包括压缩声音数据和压缩图象数据的数据流，把解码后的数据输出给输出装置，包括：
输入输出处理部分
利用外部要因进行非同步产生的输入输出处理，该输入输出处理部分包括：
输入装置
从外部输入非同步数据流；
图象输出装置
向外部的显示装置中输出解码的图象数据；
声音输出装置
向外部的声音输出装置中输出解码的声音数据；
处理装置
一边替换一边执行在指令存储器中存储的第一到第四任务程序，
第一任务是从输入装置向所述存储器传输数据流；
第二任务是从所述存储器向解码处理装置提供数据流；
第三任务是从所述存储器向图象输出装置输出解码的图象数据；
第四任务是从所述存储器向声音输出装置输出解码的声音数据；
解码处理部分
与所述输入输出处理并行，进行以在存储器中存储的数据流的解码为主的解码处理；
其特征在于，把解码的图象数据、解码的声音数据存储于存储器；并且，分别与外部的显示装置、声音输出装置的输出率一致地从存储器中读出，所述输入输出处理部分把这些的输出作为输入输出处理来进行。
2.如权利要求1的图象声音处理装置，其特征在于，所述处理装置包括：
程序计数部分
有与所述第一到第四任务对应的至少四个程序计数器；
指令锁存部分
使用指示一个程序计数器的指令地址，从存储各任务程序的指令存储器中取出指令；
指令执行部分
执行在指令取出部分取出的指令；
任务控制部分
在每个经过预定数的指令循环，对于指令锁存部分进行控制，使得依次替换程序计数器。
3.如权利要求2的图象声音处理装置，其特征在于，所述处理装置还包括：
寄存器部分
有与所述第一到第四任务对应的至少四个寄存器单元；
其中，所述任务控制部分在程序计数更换的同时，指令执行部分替换要使用的寄存器。
4.如权利要求3的图象声音处理装置，其特征在于，所述任务控制部分包括：
计数器
在每次更换程序计数中，根据时钟信号计数指令循环数；
更换指示部分
当计数器的计数值达到所述预定数时，对于指令取出部分，控制更换程序计数。
5.如权利要求4的图象声音处理装置，其特征在于，所述解码处理部分包括：
按序处理装置
对于数据流，进行以条件判断为主的按序处理；按序处理包括：压缩声音数据和压缩图象数据的标题解析，和压缩声音数据的解码；
定型处理装置
与所述按序处理并行，进行定型处理；定型处理是除去压缩图象数据的标题解析的压缩图象数据的解码。
6.如权利要求5的图象声音处理装置，其特征在于，
所述按序处理部分交互地进行在数据流中的预定块单位内附加的标题信息的解析和数据流中的声音数据的解码；在一个块的标题解析结束时，指示定型处理装置中该块的解码开始；在从定型处理装置中接受到其块解码结束通知时，开始下一个块的标题解析；
根据按序处理装置的解析结果，所述定型处理装置按预定块单位解码压缩图象数据。
7.如权利要求6的图象声音处理装置，其特征在于，所述定型处理装置包括：
数据变换装置
根据按序处理装置的指示，可变长解码数据流中的压缩图象数据；
演算装置
对于由可变长解码获得的块数据，通过实施预定的演算，进行反量化和反离散余弦变换；
合成装置
通过合成反离散余弦变换后的块数据和在存储器中存储的解码后的帧的矩形图象，还原与块相当的图象数据。
8.如权利要求7的图象声音处理装置，其特征在于，所述演算装置还包括：
第一缓冲器
有与一块相当的存储区；
所述数据变换装置包括：
可变长解码装置
可变长解码数据流中的压缩图象数据；
第一地址图表装置
存储按折线扫描顺序排列第一缓冲器存储区地址的第一地址列；
第二地址图表装置
存储按交错扫描顺序排列第一缓冲器存储区地址的第二地址列；
写入装置
根据第一地址列和第二地址列的一个，把由可变长解码装置的可变长解码获得的块数据写入第一缓冲器。
9.如权利要求8所述的图象声音处理装置，其特征在于，所述写入装置包括：
图表地址产生装置
顺序产生与第一地址图表装置和第二地址图表装置对应的图表地址；
地址选择装置
从输入图表地址的第一图表装置、第二图表装置中分别输出的第一地址列的地址、第二地址列的地址中，选择一方；
地址输出装置
把选择的地址输出给第一缓冲器。
10.一种图象声音处理装置，包括：
输入装置
输入包括压缩声音数据和压缩图象数据的数据流；
按序处理装置
对于数据流，进行以条件判断为主的按序处理；按序处理包括：在数据流中一定块单位上附加的标题信息解板；和数据流中的压缩声音数据的解码；
定型处理装置
与所述按序处理并行，进行以定型演算为主的定型处理；定型处理是采用标题解析的结果，按预定块单位解码数据流中的压缩图象数据；
当所述预定块的标题解析结束时，所述按序处理装置指示定型处理装置中该预定块的解码开始，当从定型处理装置接受预定块的解码结束通知时，开始随后的预定块的标题解析。
11.如权利要求10的图象声音处理装置，其特征在于，
所述按序处理部分交互地进行在数据流中的预定块单位内附加的标题信息的解析和数据流中的声音数据的解码；在一个块的标题解析结束时，指示定型处理装置中该块的解码开始；在从定型处理装置中接受到其块解码结束通知时，开始下一个块的标题解析；
根据按序处理装置的解析结果，所述定型处理装置按预定块单位解码压缩图象数据。
12.如权利要求11的图象声音处理装置，其特征在于，所述定型处理装置包括：
数据变换装置
根据按序处理装置的指示，可变长解码数据流中的压缩图象数据；
演算装置
对于由可变长解码获得的块数据，通过实施预定的演算，进行反量化和反离散余弦变换；
合成装置
通过合成反离散余弦变换后的块数据和在存储器中存储的解码后的帧的矩形图象，还原与块相当的图象数据。
13.如权利要求12的图象声音处理装置，其特征在于，所述演算装置还包括：
第一缓冲器
有与一块相当的存储区；
所述数据变换装置包括：
可变长解码装置
可变长解码数据流中的压缩图象数据；
第一地址图表装置
存储按折线扫描顺序排列第一缓冲器存储区地址的第一地址列；
第二地址图表装置
存储按交错扫描顺序排列第一缓冲器存储区地址的第二地址列；
写入装置
根据第一地址列和第二地址列的一个，把由可变长解码装置的可变长解码获得的块数据写入第一缓冲器。
14.如权利要求13所述的图象声音处理装置，其特征在于，所述写入装置包括：
图表地址产生装置
顺序产生与第一地址图表装置和第二地址图表装置对应的图表地址；
地址选择装置
从输入图表地址的第一图表装置、第二图表装置中分别输出的第一地址列的地址、第二地址列的地址中，选择一方；
地址输出装置
把选择的地址输出给第一缓冲器。
15.如权利要求10的图象声音处理装置，其特征在于，所述定型处理装置包括：
数据变换装置
根据按序处理装置的指示，可变长解码数据流中的压缩图象数据；
演算装置
对于由可变长解码获得的块数据，通过实施预定的演算，进行反量化和反离散余弦变换；
合成装置
通过合成反离散余弦变换后的块数据和在存储器中存储的解码后的帧的矩形图象，还原与块相当的图象数据；
所述按序处理装置包括：
取得装置
由数据变换装置获得可变长解码的标题信息；
解析装置
解析获得的标题信息；
通知装置
把作为解析结果得到的参数通知给定型处理装置；
声音解码装置
解码由输入装置输入的数据流中的压缩声音数据；
控制装置
在接受从所述定型处理装置通知预定块的解码结束的中断信号时，停止声音解码装置的动作，同时启动取得装置，当所述通知装置进行所述通知时，在所述数据变换装置中指示图象块的可变长解码开始。
16.如权利要求15的图象声音处理装置，其特征在于，
所述解析装置根据标题信息算出量化标度和移动向量；
所述通知装置把量化标度通知给演算装置，把移动向量通知给合成装置。
17.如权利要求16的图象声音处理装置，其特征在于，所述演算装置包括：
第一、第二控制存储部分
存储各自的宏程序；
第一程序计数器
在第一控制存储部分中指定第一读出地址；
第二程序计数器
指定第二读出地址；
选择器
通过选择第一读出地址和第二地址的其中一个，输出给第二控制存储部分；
执行部分
有乘法器和加法器，通过控制由第一、第二控制存储部分产生的宏程序，执行块单位的反量化和反离散余弦变换。
18.如权利要求17的图象声音处理装置，其特征在于，当选择由选择器产生的第二读出地址时，所述执行部分单独并行进行使用乘法器的处理和使用加法器的处理，当选择由选择器产生的第一读出地址时，连续进行使用乘法器的处理和使用加法器的处理。
19.如权利要求18的图象声音处理装置，其特征在于，所述演算装置还包括：
第一缓冲器
保存来自数据变换装置的图象块；
第二缓冲器
保存由执行部分进行的反离散余弦变换的块；
第一控制存储部分存储反量化处理的宏程序和反离散余弦变换的宏程序；
第二控制存储部分存储反离散余弦变换的图象块和把反离散余弦变换的图象块传输给第二缓冲器的宏程序；
所述执行装置并行执行把反离散余弦变换的图象块传输给第二缓冲器的处理和对随后的图象块进行反量化处理，用乘法器和加法器连续执行把反量化的该图象块进行反离散余弦变换的处理。
20.如权利要求17的图象声音处理装置，其特征在于，
所述合成装置还根据要压缩的图象数据生成表示差分图象的差分块；
所述第二缓冲器还保存生成的差分图象；
第一控制存储部分还存储离散余弦变换的宏程序和量化处理的宏程序；
第二控制存储部分还存储离散余弦变换的宏程序和把离散余弦变换的图象块传输给第一缓冲器的宏程序；
对于在第二缓冲器中保存的差分块，所述执行装置还执行离散余弦变换和量化，传输给第一缓冲器；
对于由所述数据变换装置产生的可变长符号化的预定块，所述按序处理装置还附加标题信息。
21.如权利要求17的图象声音处理装置，其特征在于，
所述输入装置还输入多边形数据；
所述按序处理装置还解析多边形数据，算出多边形顶点坐标和边缘的斜率；
所述定型处理装置还根据算出的顶点坐标和斜率生成所述多边形的图象数据。
22.如权利要求21的图象声音处理装置，其特征在于，
所述第一、第二控制存储部分还存储根据DDA算法进行扫描变换的宏程序；
所述执行部分还根据由按序处理装置算出的顶点坐标和斜率进行由宏程序控制的扫描变换。
23.如权利要求16的图象声音处理装置，其特征在于，
所述演算装置包括：
第一、第二控制存储部分
存储宏程序；
第一程序计数器
在第一控制存储部分中指定第一读出地址；
第二程序计数器
指定第二读出地址；
选择器
选择第一读出地址和第二读出地址的其中一个，输出给第二控制存储部分；
多个执行部分
有乘法器和加法器，通过控制由第一、第二控制存储部分产生的宏程序，执行块单位的反量化和反离散余弦变换；
各执行部分分担处理分割块的部分块。
24.如权利要求23的图象声音处理装置，其特征在于，
所述演算装置还包括：
多个地址变换图表
与各执行部分对应设置，各变换图表对应于预定的地址列部分地调换地址顺序保存变换的地址；
指令寄存器组
由对应变换地址存储构成实现预定演算宏程序的各个宏指令的多个寄存器构成；
替换部分
把在第一和第二控制存储部分和多个执行部分之间设置的来自第一控制存储部分或选择器对各执行部分输出的宏指令替换为指令寄存器的宏指令，对多个执行部分输出；
其中，在所述第一读出地址或第二读出地址为所述预定地址列中地址的情况下，把其地址根据所述各地址变换图表变换为变换地址；所述指令寄存器输出与从变换图表中输出的各变换地址对应的宏指令。
25.如权利要求24的图象声音处理装置，其特征在于，所述各变换图表还在第一程序计数器输出所述预定地址列中的第一读出地址期间，伴随着表示所述寄存器中的加减法运算的宏指令输出，把表示应该加法运算还是应该减法运算的标志输出给所述多个执行部分；
所述各执行部分根据所述标志执行加减法运算；
所述标志根据所述第二控制存储部分的宏指令来设定。
26.如权利要求24的图象声音处理装置，其特征在于，
所述第二控制存储部分还在第一程序计数器输出所述预定地址列中的第一读出地址期间，伴随着所述寄存器中的宏指令输出，把表示宏指令执行结果存储于端的信息输出给所述多个执行部分；
所述各执行部分根据存储于端信息存储于执行结果。
CNB981088295A 1997-04-07 1998-04-04 提高处理效率的图象声音处理装置 Expired - Lifetime CN1156171C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP8852397 1997-04-07
JP88523/1997 1997-04-07
JP88523/97 1997-04-07

Publications (2)

Publication Number Publication Date
CN1204216A CN1204216A (zh) 1999-01-06
CN1156171C true CN1156171C (zh) 2004-06-30

Family

ID=13945205

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB981088295A Expired - Lifetime CN1156171C (zh) 1997-04-07 1998-04-04 提高处理效率的图象声音处理装置

Country Status (4)

Country Link
US (2) US6310921B1 (zh)
EP (1) EP0871334A3 (zh)
KR (1) KR100502586B1 (zh)
CN (1) CN1156171C (zh)

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7929498B2 (en) 1995-06-30 2011-04-19 Interdigital Technology Corporation Adaptive forward power control and adaptive reverse power control for spread-spectrum communications
AU4723699A (en) * 1998-06-25 2000-01-10 Equator Technologies, Inc. Processing circuit and method for variable-length coding and decoding
US6573942B1 (en) * 1998-08-17 2003-06-03 Sharp Laboratories Of America, Inc. Buffer system for controlled and timely delivery of MPEG-2F data services
US7119853B1 (en) 1999-07-15 2006-10-10 Sharp Laboratories Of America, Inc. Method of eliminating flicker on an interlaced monitor
EP1115253A2 (en) * 1999-12-27 2001-07-11 Matsushita Electric Industrial Co., Ltd. Program information transmission apparatus
US6847687B2 (en) * 2000-03-08 2005-01-25 Matsushita Electric Industrial Co., Ltd. Audio and video processing apparatus
WO2002009444A1 (en) * 2000-07-21 2002-01-31 Matsushita Electric Industrial Co., Ltd. Signal transmission system
US6940873B2 (en) * 2000-12-27 2005-09-06 Keen Personal Technologies, Inc. Data stream control system for associating counter values with stored selected data packets from an incoming data transport stream to preserve interpacket time interval information
US7885336B2 (en) * 2001-02-05 2011-02-08 Ati Technologies Ulc Programmable shader-based motion compensation apparatus and method
US6873735B1 (en) 2001-02-05 2005-03-29 Ati Technologies, Inc. System for improved efficiency in motion compensated video processing and method thereof
JP2002236607A (ja) * 2001-02-13 2002-08-23 Matsushita Electric Ind Co Ltd 共有メモリ制御装置とマルチメディア処理システム
JP3861607B2 (ja) * 2001-02-22 2006-12-20 セイコーエプソン株式会社 画像信号復号装置
US7246220B1 (en) * 2001-07-27 2007-07-17 Magnum Semiconductor, Inc. Architecture for hardware-assisted context switching between register groups dedicated to time-critical or non-time critical tasks without saving state
JP2003169327A (ja) * 2001-11-30 2003-06-13 Matsushita Electric Ind Co Ltd ソフトウェアでのｍｐｅｇ−２ビデオ可変長復号化方法
JP3813930B2 (ja) * 2002-01-09 2006-08-23 松下電器産業株式会社 プロセッサ及びプログラム実行方法
KR100850705B1 (ko) * 2002-03-09 2008-08-06 삼성전자주식회사 시공간적 복잡도를 고려한 적응적 동영상 부호화 방법 및그 장치
US8401084B2 (en) * 2002-04-01 2013-03-19 Broadcom Corporation System and method for multi-row decoding of video with dependent rows
IL162879A0 (en) * 2002-07-05 2005-11-20 Dmatek Ltd A method and system for effectively performing event detection in a large number of concurrent imagesequences
GB2395306B (en) * 2002-11-15 2006-02-15 Imagination Tech Ltd A configurable processor architecture
US20040193289A1 (en) * 2002-12-31 2004-09-30 Shi Chen Decoding system and method
KR20040079084A (ko) * 2003-03-06 2004-09-14 삼성전자주식회사 시간적 복잡도를 고려한 적응적 동영상 부호화와 그 장치
JP4750350B2 (ja) 2003-03-13 2011-08-17 パナソニック株式会社 タスク切換装置、方法及びプログラム
US7646817B2 (en) * 2003-03-28 2010-01-12 Microsoft Corporation Accelerating video decoding using a graphics processing unit
US6816922B2 (en) * 2003-04-14 2004-11-09 Faraday Technology Corp. Digital signal processor with a byte DMA controller
US9330060B1 (en) * 2003-04-15 2016-05-03 Nvidia Corporation Method and device for encoding and decoding video image data
US8660182B2 (en) * 2003-06-09 2014-02-25 Nvidia Corporation MPEG motion estimation based on dual start points
EP1641127A4 (en) * 2003-06-16 2011-10-19 Panasonic Corp PACKET PROCESSING DEVICE AND METHOD
US7848432B2 (en) * 2003-07-02 2010-12-07 Broadcom Corporation System and method for efficiently storing macroblocks in SD-RAM
US7715479B2 (en) * 2003-07-21 2010-05-11 International Business Machines Corporation Power-aware on-chip memory management for video coding algorithms
US8423597B1 (en) 2003-08-29 2013-04-16 Nvidia Corporation Method and system for adaptive matrix trimming in an inverse discrete cosine transform (IDCT) operation
US8990255B2 (en) 2003-11-17 2015-03-24 Nokia Corporation Time bar navigation in a media diary application
EP1713252A1 (en) * 2004-01-22 2006-10-18 Semiconductores Investigaci n Y Diseno S.A. -(SIDSA) Integrated circuit for the processing and subsequent routing of motion picture expert group (mpeg) data between interfaces
JP2005217486A (ja) * 2004-01-27 2005-08-11 Matsushita Electric Ind Co Ltd ストリーム復号装置
US8948263B2 (en) * 2004-02-03 2015-02-03 Broadcom Corporation Read/write separation in video request manager
WO2005088982A1 (en) * 2004-03-03 2005-09-22 Koninklijke Philips Electronics N.V. Video processing circuit and method of video processing
TWI240574B (en) * 2004-03-24 2005-09-21 Sunplus Technology Co Ltd Liquid crystal display system with storage function
KR100624306B1 (ko) * 2004-05-28 2006-09-18 삼성에스디아이 주식회사 주사 구동장치와 이를 가지는 평판 표시장치 및 그의구동방법
CN100534193C (zh) * 2004-08-04 2009-08-26 松下电器产业株式会社 图像解码装置
DE102004038110B3 (de) * 2004-08-05 2005-12-29 Siemens Ag Verfahren zum Codieren und Decodieren, sowie Codier- und Decodiervorrichtung zur Videocodierung
US7304646B2 (en) * 2004-08-19 2007-12-04 Sony Computer Entertainment Inc. Image data structure for direct memory access
US20060120461A1 (en) * 2004-12-06 2006-06-08 Roy Knight Two processor architecture supporting decoupling of outer loop and inner loop in video decoder
US8773328B2 (en) * 2005-02-12 2014-07-08 Broadcom Corporation Intelligent DMA in a mobile multimedia processor supporting multiple display formats
US20070092149A1 (en) * 2005-10-24 2007-04-26 Sung Chih-Ta S Method and apparatus of high quality video compression
US8731071B1 (en) 2005-12-15 2014-05-20 Nvidia Corporation System for performing finite input response (FIR) filtering in motion estimation
US8724702B1 (en) 2006-03-29 2014-05-13 Nvidia Corporation Methods and systems for motion estimation used in video coding
US20080019517A1 (en) * 2006-04-06 2008-01-24 Peter Munguia Control work key store for multiple data streams
US8159550B2 (en) * 2006-06-22 2012-04-17 Apple Inc. Presenting images as mosaics
US8660380B2 (en) * 2006-08-25 2014-02-25 Nvidia Corporation Method and system for performing two-dimensional transform on data value array with reduced power consumption
JP4769665B2 (ja) * 2006-08-29 2011-09-07 パナソニック株式会社 音楽再生装置および音楽再生端末
DE102007005866B4 (de) * 2007-02-06 2021-11-04 Intel Deutschland Gmbh Anordnung, Verfahren und Computerprogramm-Produkt zum Anzeigen einer Folge von digitalen Bildern
US20080225950A1 (en) * 2007-03-13 2008-09-18 Sony Corporation Scalable architecture for video codecs
US8756482B2 (en) * 2007-05-25 2014-06-17 Nvidia Corporation Efficient encoding/decoding of a sequence of data frames
US20080291209A1 (en) * 2007-05-25 2008-11-27 Nvidia Corporation Encoding Multi-media Signals
US9118927B2 (en) * 2007-06-13 2015-08-25 Nvidia Corporation Sub-pixel interpolation and its application in motion compensated encoding of a video signal
US8873625B2 (en) * 2007-07-18 2014-10-28 Nvidia Corporation Enhanced compression in representing non-frame-edge blocks of image frames
CN101689117A (zh) * 2007-07-30 2010-03-31 松下电器产业株式会社 半导体集成电路和具有该电路的视频音频处理装置
US7739481B1 (en) * 2007-09-06 2010-06-15 Altera Corporation Parallelism with variable partitioning and threading
US8364751B2 (en) * 2008-06-25 2013-01-29 Microsoft Corporation Automated client/server operation partitioning
JP2010015233A (ja) * 2008-07-01 2010-01-21 Panasonic Corp 集積回路及び電子機器
US8548061B2 (en) * 2008-08-05 2013-10-01 Panasonic Corporation Image decoding apparatus and image decoding method
US20100063825A1 (en) * 2008-09-05 2010-03-11 Apple Inc. Systems and Methods for Memory Management and Crossfading in an Electronic Device
US8666181B2 (en) * 2008-12-10 2014-03-04 Nvidia Corporation Adaptive multiple engine image motion detection system and method
US8625837B2 (en) * 2009-05-29 2014-01-07 Microsoft Corporation Protocol and format for communicating an image from a camera to a computing environment
US8811473B2 (en) * 2009-07-07 2014-08-19 Panasonic Corporation Moving picture decoding device, moving picture decoding method, moving picture decoding system, integrated circuit, and program
CN103425954B (zh) * 2012-05-15 2016-05-25 仪鼎半导体股份有限公司 扫描演算方法
US9002122B2 (en) 2012-07-19 2015-04-07 Omnivision Technologies, Inc. System and method for improving decoder performance using quantization control
US9798698B2 (en) 2012-08-13 2017-10-24 Nvidia Corporation System and method for multi-color dilu preconditioner
WO2014203031A1 (en) * 2013-06-18 2014-12-24 Freescale Semiconductor, Inc. Device and method for executing a program, and method for storing a program
US20160044339A1 (en) * 2014-08-07 2016-02-11 Qualcomm Incorporated System and method for reordering of prefixes and suffixes in variable length coding to increase throughput
KR102273023B1 (ko) * 2014-10-16 2021-07-05 삼성전자주식회사 화질 개선 알고리즘 처리 방법 및 장치
US10380028B2 (en) 2016-12-30 2019-08-13 Western Digital Technologies, Inc. Recovery of validity data for a data storage system
CN111384963B (zh) * 2018-12-28 2022-07-12 上海寒武纪信息科技有限公司 数据压缩解压装置和数据解压方法
CN111384962B (zh) * 2018-12-28 2022-08-09 上海寒武纪信息科技有限公司 数据压缩解压装置和数据压缩方法
CN116166830B (zh) * 2023-04-21 2023-08-11 北京象帝先计算技术有限公司 数据处理***、电子组件、电子设备及数据处理方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2062200A1 (en) 1991-03-15 1992-09-16 Stephen C. Purcell Decompression processor for video applications
US5649029A (en) 1991-03-15 1997-07-15 Galbi; David E. MPEG audio/video decoder
CA2096584A1 (en) 1992-05-28 1993-11-29 Frank H. Liao Variable length code decoder for video decompression operations
US5598514A (en) 1993-08-09 1997-01-28 C-Cube Microsystems Structure and method for a multistandard video encoder/decoder
US5442747A (en) * 1993-09-27 1995-08-15 Auravision Corporation Flexible multiport multiformat burst buffer
JP4297518B2 (ja) * 1995-03-06 2009-07-15 沖電気工業株式会社 音声・ビデオ復号装置
EP0751486B1 (en) 1995-06-30 2003-10-08 Matsushita Electric Industrial Co., Ltd. Method and apparatus for rendering and mapping images
JP3810830B2 (ja) 1995-07-20 2006-08-16 株式会社日立製作所 符号化映像信号の復号化処理方法及びそれを用いた復号化装置
US5946052A (en) * 1996-08-01 1999-08-31 Thomson Consumer Electronics, Inc. System for acquiring and processing video data and program guides transmitted in different coding formats

Also Published As

Publication number Publication date
EP0871334A3 (en) 2000-11-02
KR100502586B1 (ko) 2005-12-01
US6310921B1 (en) 2001-10-30
US7079583B2 (en) 2006-07-18
CN1204216A (zh) 1999-01-06
EP0871334A2 (en) 1998-10-14
US20020041626A1 (en) 2002-04-11
KR19980081156A (ko) 1998-11-25

Similar Documents

Publication Publication Date Title
CN1156171C (zh) 提高处理效率的图象声音处理装置
CN1260979C (zh) 图像处理装置及***、解码装置、编码装置及编码方法
CN1162010C (zh) 图象译码设备和图象存储器
CN1175670C (zh) 图像信号转换方法和设备以及图像提供***
CN1199471C (zh) 提高了处理效率的图象声音处理装置
CN1268135C (zh) 编码方法、编码装置和记录媒体、以及解码方法、解码装置和记录媒体
CN1138420C (zh) 图象处理器、图象数据处理器和可变长度代码解码器
CN1545813A (zh) 图象编码装置、图象译码装置、图象编码方法、图象译码方法、图象编码程序和图象译码程序
CN1200571C (zh) 正交变换、逆正交变换方法及装置、编码、解码方法及装置
CN1993993A (zh) 图像处理设备、其程序、及其方法
CN1339922A (zh) 编码信号的分离和合并装置、方法及计算机程序产品
CN1110963C (zh) 图象解码装置
CN1744720A (zh) 可变长度解码装置
CN1271862C (zh) 动画图象编码方法和动画图象译码方法
CN1649416A (zh) 运动矢量检测装置以及移动图像照相机
CN1229758C (zh) 正交变换图像的分辨率变换装置和方法
CN1253013C (zh) 预测装置、编码装置、逆预测装置、解码装置
CN1599445A (zh) 数据处理方法、数据处理装置
CN1245030C (zh) 数据处理***
CN1662037A (zh) 信号处理设备和方法，命令序列数据结构
CN1758761A (zh) 编码装置以及成像装置
CN1269077C (zh) 图象处理器以及图象处理方法
CN1893608A (zh) 信息处理装置和方法、记录媒体和程序
CN1170437C (zh) 图像信号混洗装置和方法
CN1254110C (zh) 图像处理方法和图像处理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C14 Grant of patent or utility model
GR01 Patent grant
CX01 Expiry of patent term
CX01 Expiry of patent term

Granted publication date: 20040630