CN1692654A - 动态图像编码方法和动态图像解码方法 - Google Patents

动态图像编码方法和动态图像解码方法 Download PDF

Info

Publication number
CN1692654A
CN1692654A CNA2003801003539A CN200380100353A CN1692654A CN 1692654 A CN1692654 A CN 1692654A CN A2003801003539 A CNA2003801003539 A CN A2003801003539A CN 200380100353 A CN200380100353 A CN 200380100353A CN 1692654 A CN1692654 A CN 1692654A
Authority
CN
China
Prior art keywords
image
variable
ratio
information
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2003801003539A
Other languages
English (en)
Inventor
野真也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1692654A publication Critical patent/CN1692654A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

动态图像编码装置(1)具备变换生成部(113)，对应于图象类型Ptype，生成作为可变速再现必需信息的可变速再现用信息Map；可变长编码部(112)，编码可变速再现用信息Map后配置于编码流Str中；检测部(114)，检测编码对象的图象参照的图象参数组PPS编码的必要性；和公用信息附加部(115)，向编码对象图象附加由检测部(114)检测编码必要性的图象参数组PPS。

Description

动态图像编码方法和动态图像解码方法
技术领域
本发明涉及一种可变速再现地编码动态图像的动态图像解码方法、解码如此编码的流的动态图像解码方法和该流。
背景技术
近年来，迎来了综合处理声音、图像等象素值的多媒体时代，将把以前的信息媒体、即报纸、杂志、电视、收音机、电话等信息传递给人的手段作为多媒体的对象。通常，所谓多媒体，不仅是文字，还指同时关联图形、声音、尤其图像等表示的媒体，但在将上述现有信息媒体作为多媒体的对象时，必需以数字形式来表示该信息。
但是，若将上述各信息媒体持有的信息量估计为数字信息量，则在文字的情况下，每1个文字的信息量为1-2字节，在声音的情况下，必需每秒64Kbits(电话质量)以上的信息量，对于动画则必需每秒100Mbits(当前电视接收质量)以上的信息量，上述信息媒体中以数字形式来原样处理如此庞大的信息是不现实的。例如，电视电话已由具有64Kbit/s-1.5Mbits/s传送速度的综合业务数字网(ISDN：IntergratedServices Digital Network)实用化，但由ISDN来原样发送电视摄像机的映像是不可能的。
因此，需要信息的压缩技术，例如在电视电话的情况下，使用ITU-T(国际电信联合电信标准化部门)推荐的H.261或H.263标准的动画压缩技术。另外，根据MPEG-1标准的信息压缩技术，也可将图像信息与声音信息一起输入通常的音乐用CD(compact disc：致密盘)中。
这里，所谓MPEG(Moving Picture Experts Group)是ISO/IEC(国际标准化机构国际电气标准会议)标准化的动态图像信号压缩的国际标准，MPEG-1是将动态图像信号压缩到1.5Mbps、即将电视信号的信息压缩到约100分之1的标准。另外，MPEG-1标准中将对象的质量设为传送速度主要以约1.5Mbps实现程度的中等程度的质量，所以在应满足更高画质要求的标准化的MPEG-2中，动态图像信号以2-15Mbps来实现TV播放质量。
在现实中，推进MPEG-1、MPEG-2、和标准化的作业组(ISO/IECJTC1/SC29/WG11)，由此达成提高MPEG-1、MPEG-2的压缩率，进而可以物体单位来进行编码、解码操作，实现多媒体时代必需的新功能的MPEG-4被标准化。MPEG-4虽然最初旨在推进低比特率的编码方法的标准化，但现在扩展到既包含交织(交错)图像也包含高比特率的更通用的编码。另外，当前ISO/IEC与ITU-T共同推进MPEG-4AVC和ITU H.264的标准化活动，作为更高压缩率的下一代图像编码方式。在2002年5月的时候，发行了将下代图像编码方式称为委员会草案(CD)的文件(例如参照Text of Committee Draft of Joint VideoSpecification(ITU-T Rec.H.264|ISO/IEC 14496-10 AVC)0.4‘Overview of the syntax’0.4.1‘Temporal Processing’8.2.2‘Parameterset decoding’)。
通常在动态图像的编码中，通过削减时间方向和空间方向的冗余性来进行信息量的压缩。因此，在以削减时间上的冗余性为目的的画面间预测编码中，参照前面或后面的图象，以块单位来进行动作的检测和预测图像的生成，对得到的预测图像与编码对象图象的差分值进行编码。其中，所谓图象是表示1画面的术语，在渐进(progressive)图像中意味着帧，在交织图像中意味着帧或字段。这里，所谓交织图像是一个帧由时刻不同的两个字段构成的图像。在交织(交错)图像的编码或解码处理中，可将一个帧原样作为帧来处理，或作为两个字段来处理，或在帧内的每个块中作为帧结构或字段结构来处理。
将不持有参照图像来进行画面内预测编码的图象称为I图象。另外，将仅参照1个图象来进行画面间预测编码的图象称为P图象。将参照两个图象来进行画面间预测编码的图象称为B图象。B图象可参照两个图象，作为显示时间在前或在后的任意组合。可在作为编码和解码的基本单位的每个块中指定参照图像(参照图象)，但将进行编码的比特流中在先记述的参照图象区别为第1参照图象，将在后记述的参照图象区别为第2参照图象。但是，作为编码和解码这些图象时的条件，需要已编码和解码参照的图象。
在编码P图象和B图象时，使用动作补偿画面间预测编码。所谓动作补偿画面间预测编码是在画面间预测编码中适用动作补偿的编码方式。所谓动作补偿不是单纯从参照图象的象素值来预测，而是检测图象内各部分的动作量(下面将其称为运动矢量)，进行考虑该动作量的预测，从而提高预测精度，且减少数据量的方式。例如，检测编码对象图象的运动矢量，编码仅移位该运动矢量大小的预测值与编码对象图象的预测残差，由此减少数据量。在该方式的情况下，在解码时需要运动矢量的信息，所以还要编码运动矢量并记录或传送。
运动矢量以宏块或块单位进行检测，具体而言，固定编码对象图象侧的宏块或块，使参照图象侧的宏块或块在搜索范围内移动，找出与基准宏块或块最相似的参照块的位置，由此检测运动矢量。
图1是表示现有MPEG2的流结构图，(a)是表示图象流的图，(b)是表示流的分层结构图。如图1(a)、(b))所示，MPEG2的流具有以下的分层结构。流(Stream)由多个图象组(GOP：Group of Picture)构成，通过将其设为编码处理的基本单位，可进行动态图像的编辑或随机访问。图象组由多个图象构成，各图象具有I图象、P图象或B图象。流、GOP和图象还由表示各单位的区间的同步信号(sync)和作为该单位中公用数据的首标(header)构成。
图2是表示其它现有流的分层结构图。该流对应于当前ITU-T与ISO/IEC共同标准化中的JVT(H.264/MPEG-4 AVC)。在JVT下，没有所谓首标的概念，公用数据以所谓参数组PS的名称配置在流的开头中。另外，没有相当于GOP的概念，但若以不依赖于其它图象就可解码的特别图象单位分割数据，则可构成相当于GOP的可随机访问的单位，所以将其称为随机访问单元RAU。
参数组PS具有作为相当于各图象的首标的数据的图象参数组PPS、和相当于MPEG-2的GOP或序列单位首标的序列参数组SPS。向各图象赋予表示从所述图象参数组PPS和序列参数组SPS的多个替补中参照哪个的识别符。即，图象参数组PPS和序列参数组SPS仅对多个组编码一次，用识别符表示各图象参照该组中的哪个，由此节省如MPEG-2那样对每个图象都编码几次相同值的首标(参数组)的浪费，提高压缩率。
图象序号PN是用于识别图象的识别序号。序列参数组SPS中包含最大可参照图象数、图像尺寸等，在图象参数组PPS中包含可变长编码的种类(霍夫曼编码与算术编码的切换)、量化步骤的初始值、参照图象数等。
图3是表示实现现有动态图像编码方法的动态图像编码装置的结构框图。
动态图像编码装置3是压缩编码输入的图像信号Vin后输出变换为可变长编码等比特流的编码流Str的装置，具备动作检测部101、动作补偿部102、减法部103、正交变换部104、量化部105、去量化部106、逆正交变换部107、加法部108、图象存储器109、开关110、预测结构决定部111和可变长编码部301。
将图像信号Vin输入减法部103和动作检测部101。减法部103计算输入的图像信号Vin与预测图像的差分值，输出到正交变换部104。正交变换部104将差分值变换为频率系数，输出到量化部105。量化部105量化输入的频率系数，将量化值Qcoef输出到可变长编码部301。
去量化部106将量化值Qcoef去量化，而恢复成频率系数，输出到逆正交变换部107。逆正交变换部107从频率系数逆频率变换为象素差值后，输出到加法部108。加法部108将象素差值与从动作补偿部102输出的预测图像相加后，作为解码图像。开关110在指示保存该解码图像的情况下变为ON，将解码图像保存在图象存储器109中。
另一方面，以宏块单位输入图像信号Vin的动作检测部101将存储在图象存储器109中的解码图像作为搜索对象，检测最接近输入图像信号的区域，决定指示其位置的运动矢量MV。运动矢量检测是以进一步分割宏块的块单位来进行的。此时，因为可将多个图象用作参照图象，所以每个块都必需指定参照图象用的识别序号(参照索引Index)。通过参照索引Index取得与图象存储器109中的各图象具有的图象序号的相对应，从而可指定参照图象。
动作补偿部102使用通过上述处理检测到的运动矢量MV和参照索引Index，从存储在图象存储器109中的解码图像中取出最适于预测图像的图像区域。
若对象图象是表示随机访问单元RAU的开始位置的随机访问单元开始图象RAVin，则预测结构决定部111通过图象类型Ptype向动作检测部101和动作补偿部102发出指示，以将对象图象编码(画面内编码)为可随机访问的特别的图象。另外，预测结构决定部111将该图象类型Ptype输出到可变长编码部301。
可变长编码部301可变长编码量化值Qcoef、参照索引Index、图象类型Ptype和运动矢量MV，设为编码流Str。
图4是表示实现现有动态图像解码方法的动态图像解码装置的结构框图。图中，与实现图3的现有动态图像编码方法的动态图像编码装置进行相同动作的设备附加相同记号，省略说明。
可变长解码部401解码编码流Str，输出量化值Qcoef、参照索引Index、图象类型Ptype和运动矢量MV。将量化值Qcoef、参照索引Index和运动矢量MV输入图象存储器208、动作补偿部204和去量化部205，进行解码处理，该动作与图3的现有动态图像编码装置一样。
但是，随机访问单元RAU可仅通过其单位图象进行解码，却不能通过现有的JVT编码方法和流得到VTR或盘记录器等存储装置中重要的可变速再现用信息。这是由于JVT为了大大提高编码效率(压缩率)，导入非常弹性的图象间的预测结构。
图5是表示图象的参照关系实例的模式图。图5(a)是MPEG-2中使用的图象间的预测结构。图中加斜线的图象是被其它图象参照的图象。在MPEG-2中，P图象(P4、P7)可进行仅参照显示时刻之前的1个I图象或P图象的预测编码。另外，B图象(B1、B2、B3、B5、B6)可进行参照显示时刻之前1个与之后1个I图象或P图象的预测编码。另外，还决定配置在流中的顺序，将I图象和P图象配置在显示时刻的顺序，将B图象配置在之后显示的I图象或P图象之后。因此，可通过i)解码全部图象、ii)仅解码I图象与P图象的流、仅显示I图象与P图象、iii)仅解码并显示I图象的流等3种方式来解码，所以可容易实现从i)通常的再现到ii)中速再现、iii)高速再现等3种方式。
在JVT中还可进行从B图象来参照B图象的预测。图5(b)是JVT的预测实例，B图象(B1、B3)参照B图象(B2)。在本实例中，可实现i)解码全部图象、ii)仅解码并显示参照I图象、P图象、B图象的流、iii)仅解码I图象与P图象的流、仅显示I图象与P图象、iv)仅解码并显示I图象的流等4种方式。
但是，JVT还可从P图象来参照B图象，如图6所示，P图象(P7)也可参照B图象(B2)。此时，若B图象(B2)不能解码，则P图象(P7)不能解码，所以可实现i)解码全部图象、ii)仅解码并显示参照I图象、P图象、B图象的流、iii)仅解码并显示I图象等3种方式。
这样，因为JVT允许非常弹性的预测结构，所以若不知道实际的预测结构，则可能不知道怎样可变速再现。因此，从图5和图6的实例中，可不根据预测结构实现的只不过是i)解码全部图象、ii)仅解码并显示I图象的流等2种方式。其中，与可由MPEG-2实现的可变速再现相比，可实现的速度选择肢过少。
因此，本发明鉴于上述问题作出，其目的在于提供一种动态图像编码方法和动态图像解码方法等，可容易特定为了可变速再现而必需解码的图象，可进行适于可变速再现的编码和解码。
发明内容
为了实现上述目的，根据本发明的动态图像编码方法以图象单位编码动态图像信号，生成编码流，其特征在于，包含：信息生成步骤，生成用于特定作为可变速再现对象的图象的可变速再现用信息；编码步骤，编码所述可变速再现用信息，附加于所述编码流中。
由此，在可变速再现时，可根据可变速再现用信息来特定作为期望的可变速再现对象的图象，通过仅解码该特定的图象，可省略无用的图象的解码来容易地进行可变速再现。
其中，所述信息生成步骤中，作为由多个图象构成的随机访问单元，以可仅参照该随机访问单元内的图象来解码该随机访问单元内的编码对象图象的所述随机访问单元单位，生成所述可变速再现用信息。
由此，即使随机访问单元单位下图象的参照关系的结构不同，也可在可变速再现时根据可变速再现用信息来特定作为期望的可变速再现对象的图象。
另外，所述动态图像编码方法还包含检测步骤，检测作为所述可变速再现对象的图象参照的公用信息的编码必要性；和公用信息附加步骤，向通过所述检测步骤检测到所述公用信息编码必要性的图象附加所述公用信息。
由此，例如即使是已附加到以不到N倍速再现的图象的公用信息，在必要以N倍速再现的图象的情况下，也由于在以N倍速再现的图象中也必需附加公用信息，所以可避免可变速再现时没有应参照的公用信息的情况。
另外，本发明涉及的动态图像解码方法，以图象单位来解码编码流，其特征在于，包含：信息抽取步骤，抽取特定作为可变速再现对象的图象的可变速再现用信息；解码步骤，解码所述可变速再现用信息，而且，根据所述可变速再现用信息，特定并解码作为可变速再现对象的图象。
由此，可变速再现时，可根据可变速再现用信息来特定作为期望的可变速再现对象的图象，通过仅解码该特定的图象，可省略无用图象的解码，可容易进行可变速再现。
这里，所述信息抽取步骤中，作为由多个图象构成的随机访问单元，以可仅参照该随机访问单元内的图象来解码该随机访问单元内的解码对象图象的所述随机访问单元单位，抽取所述可变速再现用信息。
由此，即使随机访问单元单位下图象的参照关系的结构不同，也可在可变速再现时根据可变速再现用信息来特定作为期望的可变速再现对象的图象。
另外，所述动态图像解码方法还包含存储器控制步骤，即使可变速再现时，被其它图象参照的图象是不构成所述可变速再现对象的图象，也可作为保存在图象存储器中的图象来进行控制。
由此，可防止即使指定相对参照的图象，可变速再现时，指定为解码对象图象的参照图象的图象与编码时的参照图象不同。
另外，本发明不仅可实现为这种动态图像编码方法和动态图像解码方法，还可实现为具备这种动态图像编码方法和动态图像解码方法包含的特征的步骤作为部件的动态图像编码装置和动态图像解码装置。另外，还可实现为使计算机执行这些步骤的程序，或实现为由所述动态图像编码方法编码的编码流。另外，不用说，这种程序和编码流还可经CD-ROM等记录媒体或因特网等传送媒体来配送。
如上所述，根据本发明涉及的动态图像编码方法和动态图像解码方法，因为可容易特定随机访问单元RAU中为了可变速再现而必需解码的图象，所以可容易实现适于可变速再现的编码和解码，实用价值高。
附图说明
图1是现有MPEG-2的流结构图，(a)是表示图象流的图，(b))是表示流的分层结构的图。
图2是表示现有的其它流的分层结构的图。
图3是表示实现现有的动态图像编码方法的动态图像编码装置的结构框图。
图4是表示实现现有的动态图像解码方法的动态图像解码装置的结构框图。
图5是表示图象的参照关系的实例的模式图，(a)是MPGE-2中的图象间的预测结构的实例，(b)是JVT中的预测结构的实例。
图6是表示图象的参照关系的实例的模式图。
图7是表示实现本发明的动态图像编码方法的动态图像编码装置的结构框图。
图8是本发明的流的结构图(实施例1)，(a)是随机访问单元RAU的结构例，(b)是可变速再现变换RAM的一例，(c)是可变速再现变换RAM的另一例，(d)是可变速再现变换RAM的再一例。
图9是表示图象的参照关系(实施例1)的模式图，(a)是图象的参照关系的一例，(b)是图象的参照关系的另一例，(c)是图象的参照关系的再一例。
图10是表示生成可变速再现变换RAM时的动作的流程图。
图11是表示附加图象参数组PPS时的动作的流程图。
图12是表示编码对象图象时的动作的流程图。
图13是本发明的流的结构图(实施例2)，(a)是随机访问单元RAU的结构例，(b))是可变速再现变换表(映像表)RAMTBL的一例。
图14是表示生成可变速再现变换识别符RAMID时的动作的流程图。
图15是表示实现本发明的动态图像解码方法的动态图像解码装置的结构框图。
图16是表示动态图像解码装置的动作的流程图，(a)是对应于实施例1中所示的流的结构的流程图，(b)是对应于实施例2中所示的流的结构的流程图。
图17是表示图象存储器的保存状态的模式图，(a)是表示通常再现时的保存状态的模式图，(b)是表示现有的4倍速再现时的保存状态的模式图，(c)是本发明的4倍速再现时的保存状态的模式图。
图18是表示解码对象图象时的动作的流程图。
图19是表示动态图像解码装置的其它动作的流程图，(a)是对应于实施例1中所示的流的结构的流程图，(b)是对应于实施例2中所示的流的结构的流程图。
图20是存储由计算机***来实现各实施例的动态图像编码方法和动态图像解码方法的程序的记录媒体的说明图，(a)是表示作为记录媒体主体的软盘的物理格式的实例的说明图，(b))是表示从软盘的正面看的外观、断面结构及软盘的说明图，(c)是表示在软盘FD上进行上述程序的记录再现的结构说明图。
图21是表示实现内容配送服务的内容提供***的整体结构框图。
图22是表示手机的一例的图。
图23是表示手机的内部结构的框图。
图24是表示数字播放用***的整体结构框图。
具体实施方式
虽然JVT的预测结构由于过于弹性而难以可变速再现，但若在解码随机访问单元RAU之前，知道哪个预测结构被该随机访问单元RAU的图象使用，则如图5和图6的各例所示，可实现两种以上的速度的可变速再现。
下面，用图7至图24来说明本发明的实施例。
另外，实施例说明中所用的随机访问单元RAU未必是JVT的特别单位，因为在每个随机访问单元RAU中配置参数组PS，所以也可仅是由画面内编码(I图象)开始的图象的集合。
(实施例1)
图7是表示使用本发明涉及的动态图像编码方法的动态图像编码装置一实施例的结构框图。另外，向进行与图3中所示现有动态图像编码装置3的各部分相同动作的设备附加相同符号，省略说明。
动态图像编码装置1是压缩编码输入的图像信号Vin后输出变换为可变长编码等比特流的编码流Str的装置，具备：动作检测部101、动作补偿部102、减法部103、正交变换部104、量化部105、去量化部106、逆正交变换部107、加法部108、图象存储器109、开关110、预测结构决定部111、可变长编码部112、变换生成部113、检测部114、和公用信息附加部115。
变换生成部113对应于图象类型Ptype，生成作为可变速再现必需信息的可变速再现用信息Map(例如后述的可变速再现变换RAM或可变速再现变换表(マップテ一ブル)RAMTBL、可变速再现变换识别符RAMID)，输出到可变长编码部112。可变长编码部112编码可变速再现用信息Map后配置于编码流Str中。
检测部114在编码对象的图象是以N倍速以上再现(解码)的图象时，判定作为对象图象参照的公用信息的图象参数组PPS是否已由N倍速以上再现的图象编码，从而检测图象参数组PPS编码的必要性。公用信息附加部115向由检测部114检测了编码必要性的图象附加图象参数组PPS。
图8是实施例1的流的结构图。与图2的现有流的结构图的不同之处在于在随机访问单元RAU中配置可变速再现变换RAM。
图8(a)表示随机访问单元RAU的结构例。在本结构例中，将可变速再现变换RAM配置在随机访问单元RAU内的图象之前，在可变速再现变换RAM中记载若编码哪个图象的流则可以期望的可变速再现的信息。在动态图像解码装置中，按照可变速再现变换RAM中记载的信息，仅解码期望的可变速再现必需的图象，从而可省略不必的图象解码，可容易进行可变速再现。
图8(b))是可变速再现变换RAM的实例。在可变速再现变换RAM中记载对随机访问单元RAU内的作为图象识别符的每个图象序号PN必需以何倍速再现来解码该图象。即，在各图象序号PN的后面位置记载表示该图象必需以何倍速再现来解码的信息(Speed)。从而，可容易知道必需以期望的再现速度解码哪个图象。另外，在随机访问单元RAU的开头统一配置图象序号PN，之后统一配置表示必需以何倍速再现来解码的信息(Speed)。
图8(c)是可变速再现变换RAM的另一例。顺序记载必需以何倍速再现随机访问单元RAU内的各图象。由此，不必在可变速再现变换RAM中配置图象序号PN，可节约为了配置图象序号PN所必需的区域。
图8(d)是可变速再现变换RAM的再一例。首先配置表示必需以何倍速再现来解码的信息(Speed)，之后记载为了该速度再现所必需的图象的图象序号PN。
作为表示需要以何倍速再现来解码的信息(Speed)，例如在记载为必需以N倍速来再现图象M的情况下，将Speed设为N。此时，在再现速度为K倍速的情况下，若N＜K，则图象M不必解码，但若N＞＝K，则必需解码图象M。
图9是表示图象的参照关系实例的模式图。这里，加斜线的图象是被其它图象参照的图象。
在图9(a)所示实例中，在3倍速的情况下，再现图象I0、P3、P6。在图9(b))所示实例中，在4倍速的情况下，再现图象I0、P4，在2倍速的情况下，再现图象I0、B2、P4、P6、B6。在图9(c)所示实例中，在3倍速的情况下，再现图象I0、P3、P6，在1.5倍速的情况下，再现图象I0、P1、P3、P4、P6、P7。
因此，表示必需以何倍速再现来解码的信息(Speed)在图9(a)所示实例中，图象I0、P3、P6变为[3]，其它图象变为[1]，在图9(b)所示实例中，图象I0、P4变为[4]，图象B2、B6变为[2]，其它图象变为[1]，在图9(c)所示实例中，图象I0、P3、P6变为[3]，图象P1、P4、P7变为[1.5]，其它图象变为[1]。
下面，说明上述结构的动态图像编码装置1的动作。图10是表示生成可变速再现变换RAM时的动作的流程图。
变换生成部113判定编码对象的图象是否是随机访问点、即随机访问单元RAU的最初图象(步骤S10)。该判定的结果，若是随机访问点的图象(步骤S10为是)，则变换生成部113生成可变速再现变换RAM，并输出到可变长编码部112(步骤S11)。接着，可变长编码部112编码可变速再现变换RAM(步骤S12)。并且，可变长编码部112编码对象图象(步骤S13)。
另一方面，上述判定的结果，若不是随机访问点的图象(步骤S10为否)，则可变长编码部112编码对象图象(步骤S13)。
之后，判定是否有未编码图象(步骤S14)，若有未编码图象，则重复上述动作(步骤S10-S14)，若无未编码图象，则结束处理。
但是，在解码编码流Str时，如上所述，参照图象参数组PPS来进行解码，在变更该图象参数组PPS的情况下，将该新的图象参数组PPS作为编码流Str发送到参照的图象的数据之前。但是，若进行可变速再现，则在解码应参照变更后的新的图象参数组PPS的图象时，产生没有该图象参数组PPS的状况。例如，在图9(b)所示实例中，按图象I0、P4、B2、B1、B3、P8、B6、B5、B7的顺序来编码。此时，对图象B2变更图象参数组PPS，向参照变更后的新的图象参数组PPS的图象B2的数据中附加该新的图象参数组PPS。此时，在通常和2倍速的再现下没有问题，但例如在4倍速再现中，再现图象I0、P4、P8，未解码图象B2，所以也未解码更新后的新的图象参数组PPS。从而，因为未解码图象P8应参照的图象参数组PPS，所以产生不能解码图象P8等问题。
因此，在本实施例中，当在以N倍速再现的图象中必需图象参数组PPS的情况下，即使已附加于以不到N倍速再现的图象中，也必需附加于以N倍速再现的图象中。即，在上述实例中，还在图象P8的数据中附加图象B2中变更后的新的图象参数组PPS。
图11是表示附加图象参数组PPS时的动作的流程图。
检测部114判定编码对象的图象是否以N倍速以上再现(解码)(步骤S20)。该判定的结果，若是以N倍速以上再现的图象(步骤S20为是)，则判定对象图象参照的图象参数组PPS是否在编码以N倍速以上再现的图象时已被编码(步骤S21)。这里，在编码以N倍速以上被再现的图象时还未编码的情况下(步骤S21为否)，则公用信息附加部115为了向对象图象附加图象参数组PPS，向可变长编码部112输出(步骤S22)。之后，可变长编码部112编码图象参数组PPS(步骤S23)。并且，可变长编码部112编码对象图象(步骤S24)。
另一方面，上述判定的结果，在不是以N倍速以上再现的图象(步骤S20为否)，和对象图象参照的图象参数组PPS在编码以N倍速以上再现的图象时已被编码(步骤S21为是)的情况下，可变长编码部112编码对象图象(步骤S24)。
接着，判定是否有未编码图象(步骤S25)，若有未编码图象，则重复上述动作(步骤S20-S25)，若没有未编码图象，则结束处理。
图12是表示编码对象图象时的动作的流程图。
检测部114判定编码对象的图象是否以N倍速以上再现(解码)(步骤S30)。该判定的结果，若是以N倍速以上再现的图象(步骤S30为是)，则参照以N倍速以上再现的图象，进行对象图象的编码(步骤S31)。另一方面，若不是以N倍速以上再现的图象(步骤S30为否)，则参照任意图象，进行对象图象的编码(步骤S32)。
接着，判定对象图象在编码其它图象时是否被参照(步骤S33)。该判定的结果，若是被其它图象参照的图象(步骤S33为是)，则将对象图象保存在图象存储器109中(步骤S34)。另一方面，若不是被其它图象参照的图象(步骤S33为否)，则不将对象图象保存在图象存储器109中。
接着，判定是否有未编码图象(步骤S35)，若有未编码图象，则重复上述动作(步骤S30-S35)，若没有未编码图象，则结束处理。
如上所述，将可变速再现变换RAM配置在随机访问单元RAU内的图象之前，在可变速再现变换RAM中记载若解码哪个图象流则可以期望的可变速再现的信息。另外，即使是已附加到不到N倍速再现的图象中的图象参数组PPS，在必需以N倍速来再现的图象的情况下，也必需附加于以N倍速再现的图象中。由此，在动态图像解码装置中，按照可变速再现变换RAM中记载的信息，仅解码期望的可变速再现必需的图象，从而可省略不必的图象解码，可容易进行可变速再现。
另外，在本实施例中，当生成可变速再现变换RAM时，因为其它图象未参照的图象不对其它图象的解码造成影响，所以可生成仅对应于对其它图象造成影响的被参照图象的可变速再现变换RAM。另外，也可代替配置相当于可变速再现变换RAM的功能的、例如各图象的信息，配置不被其它图象参照的图象、I图象、P图象、B图象等每个目录的动作信息。
另外，也可赋予表示全部流由这种可变速再现容易的随机访问单元RAU构成的识别信息。
而且，在本实施例中，例如在图象M的Speed(表示必需以何倍速再现来解码的信息)为N、再现速度为K倍速的情况下，说明了若N＜K，则图象M不必解码，但若N＞＝K，则图象M必需解码，但即使N＜K，在N与K的差小的情况下，为了提高可变速再现的画质，也可解码图象M。
而且，表示上述必需以何倍速再现来解码的信息(Speed)可以不是表示实际再现速度的值，而是表示再现速度程度的值。例如，仅在通常速度的再现中，必需的图象为[1]，在比其稍快的速度的再现中，必需的图象为[2]，在比其更快的速度的再现中，必需的图象为[3]。
(实施例2)
在实施例1中，示出在随机访问单元RAU中配置可变速再现变换RAM的实例，但若各随机访问单元RAU的可变速再现变换RAM内容相同，则在随机访问单元RAU中不必配置可变速再现变换RAM。
图13是实施例2的流的结构图。
在本实施例中，如图13(b)所示生成基于如图9所示的图象参照关系的包含多个可变速再现变换PAM的可变速再现变换表RAMTBL。另外，在各随机访问单元RAU中配置如图13(a)所示表示对应于可变速再现变换表RAMTBL的哪个可变速再现变换RAM的可变速再现变换识别符RAMID。
可变速再现变换表RAMTBL最好配置在流的开头，另外，也可作为附加信息，在其它流中进行编码，或事先确定规定值后，配备在设备中。
图14是表示生成可变速再现变换识别符RAMID时的动作的流程图。这里，进行可变速再现变换识别符RAMID的生成和编码(步骤S41-S42)，代替实施例1中的可变速再现变换RAM的生成和编码(图10，步骤S11-S12)。
如上所述，可由可变速再现变换识别符RAMID来实现与实施例1一样的效果。
另外，在生成可变速再现变换表RAMTBL中包含的可变速再现变换RAM时，因为其它图象未参照的图象不对其它图象的解码造成影响，所以可生成仅对应于对其它图象造成影响的被参照图象的可变速再现变换RAM。而且，也可代替配置相当于可变速再现变换RAM的功能的、例如各图象的信息，配置不被其它图象参照的图象、I图象、P图象、B图象等每个目录的动作信息。
另外，也可赋予表示全部流由这种可变速再现容易的随机访问单元RAU构成的识别信息。
而且，在实施例1、2中，向随机访问单元RAU单位赋予可变速再现变换RAM和可变速再现变换识别符RAMID，但不限于此。例如，若流整体结构相同，则即使向流单位赋予可变速再现变换RAM和可变速再现变换识别符RAMID也无妨。
另外，在实施例1、2中，仅描述了编码至少一个可变速再现变换RAM的情况，但还考虑通过运用而使可变速再现变换RAM固定的情况，在该情况下，不必编码可变速再现变换RAM。为了可进行这种运用，最好事先检测作为可变速再现对象的图象参照的公用信息的编码的必要性，向检测到公用信息的编码的必要性的图象附加公用信息。
(实施例3)
图15是表示根据本发明涉及的动态图像解码方法的动态图像解码装置的结构框图。另外，向进行与图4所示的现有动态图像解码装置4的各部分相同动作的设备附加相同符号，并省略说明。
动态图像解码装置2是解码如上所述由动态图像编码装置1编码的编码流Str的装置，具备流抽取部201、可变长解码部202、抽取图象选择部203、动作补偿部204、去量化部205、逆正交变换部206、加法部207、图象存储器208和存储器控制部209。
抽取图象选择部203根据由可变长解码部202解码的可变速再现用信息Map来确定为了以从外部输入的再现速度信息PlaySpeed指示的再现速度再现而必需解码的图象，并通知流抽取部201。流抽取部201仅抽取对应于抽取图象选择部203判断为必需解码的图象的流，并传送给可变长解码部202。存储器控制部209即使不对可变速再现时被其它图象参照的图象进行解码，也将其作为保存在图象存储器208中的图象来进行控制。
下面，说明上述结构的动态图像解码装置2的动作。图16是表示动态图像解码装置2的动作的流程图，(a)对应于实施例1中所示的流的结构，(b)对应于实施例2中所示的流的结构。
在解码由实施例1所示的流的结构编码的编码流Str的情况下，流抽取部201判定解码对象的图象是否是随机访问点、即随机访问单元RAU的最初图象(步骤S50)。该判定的结果，若是随机访问点的图象(步骤S50为是)，则流抽取部201抽取可变速再现变换RAM，输出到可变长解码部202(步骤S51)。之后，可变长解码部202解码可变速再现变换RAM，输出到抽取图象选择部203(步骤S52)。
接着，抽取图象选择部203根据可变长解码部202解码的可变速再现变换RAM，决定为了以从外部输入的再现速度信息PlaySpeed指示的再现速度再现而必需解码的图象，并通知流抽取部201(步骤S53)。流抽取部201判定对象图象是否是抽取图象选择部203决定为不必解码的图象(步骤S54)。这里，若对象图象不是决定为不必解码的图象(步骤S54为否)，则仅提取对应于对象图象的流后输出到可变长解码部202。可变长解码部202解码对应于输入的图象的流(步骤S55)。
接着，判定是否有未解码图象(步骤S56)，若有未解码图象，则重复上述动作(步骤S50-S56)，若无未解码图象，则结束处理。
另外，在解码由实施例2所示的流的结构编码的编码流Str的情况下，如图16(b)所示，若解码对象的图象是随机访问点的图象(步骤S50为是)，则流抽取部201抽取可变速再现变换识别符RAMID，输出到可变长解码部202(步骤S61)。之后，可变长解码部202解码可变速再现变换识别符RAMID，输出到抽取图象选择部203(步骤S62)。
接着，抽取图象选择部203根据可变长解码部202解码的可变速再现变换识别符RAMID和可变速再现变换表RAMTBL，决定为了以从外部输入的再现速度信息PlaySpeed指示的再现速度再现而必需解码的图象，并通知流抽取部201(步骤S63)。以后的动作与解码由实施例1所示的流的结构编码的编码流Str的情况一样。另外，这里预先解码可变速再现变换表RAMTBL，作为抽取图象选择部203具有的表格。
但是，在解码对象图象时，因为使用相对的参照索引Index来指定参照的图象，所以在进行可变速再现时指定为参照图象的图象与编码时的参照图象不同。例如在图9(b)所示实例中，在以通常速度再现全部图象的情况下，当解码图象P8时，如图17(a)所示，将被参照的全部图象I0、P4、B2保存在图象存储器208中。相反，在4倍速再现的情况下，如图17(b)所示，以4倍速再现来再现(解码)，且将被参照的图象I0、P4保存在图象存储器208中。因此，若在4倍速再现的情况下使用指定图象P8参照的图象P4的参照索引Index(指定图象存储器208中的前两个图象)，则如图17(b)所示，指定图象I0，产生错误。
因此，在本实施例中，即使对于进行可变速再现情况下未再现的图象，也一定处理为将被其它图象参照的图象保存在图象存储器208中。即，在上述实例中，如图17(c)所示，控制为将数据保存在图象P4之后。
图18是表示解码对象图象时的动作的流程图。另外，该流程图所示的动作相当于图16中示出的流程图中是否不需要解码的判定处理、对象图象的解码处理和判定是否有未解码图象的处理(步骤S53-S56)的部分。
流抽取部201判定对象图象是否是决定为必需以N倍速来解码的图象(步骤S90)。该判定的结果，若对象图象是决定为必需解码的图象(步骤S90为是)，则可变长解码部202参照N倍速以上的图象来解码对象图象(步骤S91)。之后，存储器控制部209判定是否存在未以N倍速解码、但被其它图象参照的图象(步骤S92)。
该判定的结果，若存在这种图象(步骤S92为是)，则存储器控制部209将未以该N倍速解码、但被其它图象参照的图象保存在图象存储器208中(步骤S93)。之后，存储器控制部209将解码后的对象图象保存在图象存储器208中(步骤S94)。
另一方面，若不存在上述图象(步骤S92为否)，则存储器控制部209仅将解码后的对象图象保存在图象存储器208中(步骤S94)。
之后，判定是否有未解码图象(步骤S95)，若有未解码图象，则重复上述动作(步骤S90-S95)，若没有未解码图象，则结束处理。另外，在对象图象不必以N倍速解码的情况下(步骤S90为否)，也同样判定是否有未解码图象(步骤S95)，若有未解码图象，则重复上述动作(步骤S90-S95)，若没有未解码图象，则结束处理。
如上所述，将如实施例1和实施例2所示编码后的编码流Str根据可变速再现用信息Map来仅解码在期望的可变速再现中必需的图象，从而可省略不必的图象解码，可容易进行可变速再现。
(实施例4)
在本实施例中，说明实施例3所示的动态图像解码装置2的动作部分不同的情况。
图19是表示动态图像解码装置2的动作的流程图，(a)对应于实施例1中所示的流的结构，(b))对应于实施例2中所示的流的结构。图19中，向与图16所示流程图的各处理相同的处理附加相同步骤序号，并省略说明。
在实施例3中，如图16(a)所示，流抽取部201判定解码对象的图象是否是随机访问单元RAU的最初图象(步骤S50)，但在本实施例中，如图19(a)所示，单纯判定是否配置可变速再现变换RAM(步骤S70)。其结果，若配置可变速再现变换RAM(步骤S70为是)，则流抽取部201抽取可变速再现变换RAM，并输出到可变长解码部202(步骤S51)。
同样，在图16(b))中，流抽取部201判定解码对象的图象是否是随机访问单元RAU的最初图象(步骤S50)，但在本实施例中，如图19(b)所示，单纯判定是否配置可变速再现变换识别符RAMID(步骤S80)。其结果，若配置可变速再现变换识别符RAMID(步骤S80为是)，则流抽取部201抽取可变速再现变换识别符RAMID，并输出到可变长解码部202(步骤S61)。
如上所述，通过判定是否配置可变速再现变换RAM或可变速再现变换识别符RAMID，如实施例1和实施例2所示编码后的编码流Str也可根据可变速再现用信息Map来仅解码在期望的可变速再现中必需的图象，从而可省略不必的图象解码，可容易进行可变速再现。
(实施例5)
并且，通过将用于实现上述各实施例中所示的动态图像编码方法和动态图像解码方法的程序记录在软盘等记录媒体中，可在独立的计算机***中简单实施上述各实施例中所示的处理。
图20是使用记录在软盘等记录媒体中的程序、由计算机***来实施上述各实施例的动态图像编码方法和动态图像解码方法的情况的说明图。
图20(b)表示从软盘的正面看的外观、断面结构及软盘，图20(a)表示作为记录媒体主体的软盘的物理格式的实例。软盘FD内置于壳体F内，在该盘的表面中，以同心圆形从外周向内周形成多个轨道Tr，沿角度方向将各轨道分割成16个扇区Se。因此，由存储上述程序的软盘，在上述软盘FD上分配的区域中，记录上述程序。
另外，图20(c)表示用于在软盘FD上进行上述程序的记录再现的结构。在将实现动态图像编码方法和动态图像解码方法的上述程序记录在软盘FD中的情况下，从计算机***Cs经软盘驱动器写入上述程序。另外，在通过实现软盘内的动态图像编码方法和动态图像解码方法的程序在计算机***中构筑上述动态图像编码方法和动态图像解码方法的情况下，通过软盘驱动器从软盘中读出程序，并传送到计算机***。
另外，在上述说明中，将软盘用作记录媒体来进行说明，但使用光盘也可同样进行。另外，记录媒体不限于此，只要是IC卡、ROM带盒等能记录程序的媒体，即可同样实施。
(实施例6)
这里，说明上述实施例所示的动态图像编码方法或动态图像解码方法的应用例和使用该方法的***。
图21是表示实现内容配送服务的内容提供***ex100的整体结构框图。将通信服务的提供面积分割成期望的大小，并在各小区内分别设置作为固定无线站的基站ex107-ex110。
该内容提供***ex100例如经因特网服务提供商ex102和电话网ex104、和基站ex107-ex110，在因特网ex101上连接计算机ex111、PDA(personal digital assistant)ex112、摄像机ex113、手机ex114、带摄像机的手机ex115等各设备。
但是，内容提供***ex100不限于图21的组合，也可使任意组合后连接。另外，各设备也可不经作为固定无线站的基站ex107-ex110来直接连接于电话网ex104上。
摄像机ex113是数字视频摄像机等可拍摄动态图像的设备。另外，手机是PDC(Personal Digital Communications)方式、CDMA(CodeDivision Multiple Access)方式、W-CDMA(Wideband-Code DivisionMultiple Access)方式、或 GSM(Global System for MobileCommunication)方式的手机机、或PHS(Personal Handyphone System)等，是哪个都无妨。
另外，流服务器ex103从摄像机ex113经基站ex109、电话网ex104连接，可使用摄像机ex113，基于用户发送的编码处理后的数据进行现场配送等。拍摄的数据的编码处理既可由摄像机ex113进行，也可由进行数据发送处理的服务器等进行。另外，由摄像机ex116拍摄的动态图像数据也可经计算机ex111发送到流服务器ex103。摄像机ex116是数码相机等可拍摄静止图像、动态图像的设备。此时，动态图像数据的编码可由摄像机ex116进行，也可由计算机ex111来进行。另外，编码处理在计算机ex111或摄像机ex116具有的LSIex117中进行处理。另外，也可将图像编码、解码用软件组装在作为可由计算机ex111等读取的记录媒体的任一存储媒体(CD-ROM、软盘、硬盘等)中。并且，也可由带摄像机的手机ex115来发送动态图像数据。此时的动态图像数据是由手机ex115具有的LSI编码处理后的数据。
在该内容提供***ex100中，用户与上述实施例一样编码处理由摄像机ex113、摄像机ex116等拍摄的内容(例如拍摄音乐现场的映像等)后，发送到流服务器ex103，另一方面，流服务器ex103向有请求的客户机流配送上述内容数据。作为客户机，有可解码上述编码处理后的数据的计算机ex111、PDAex112、摄像机ex113、手机ex114等。由此，内容提供***ex100是可由客户机接收编码后的数据并再现，并且在客户机实时接收并解码、再现，由此可实现个人播放的***。
最好在构成该***的各设备的编码、解码中使用上述各实施例中所示的动态图像编码装置或动态图像解码装置。
作为一例，对手机进行说明。
图22是表示使用上述实施例说明的动态图像编码方法和动态图像解码方法的手机ex115的图。手机ex115具有：与基站ex110之间收发电波的天线ex201；CCD摄像机等可拍摄映像、静止图像的摄像机部ex203、显示解码由摄像机部ex203拍摄的映像、由天线ex201接收的映像等的数据的液晶显示器等显示部ex202；由操作键ex204群构成的主体部；用于声音输出的扬声器等声音输出部ex208、用于声音输入的麦克风等声音输入部ex205、保存拍摄的动态图像或静止图像的数据、接收到的邮件的数据、动态图像的数据或静止图像的数据等编码后的数据或解码后的数据用的记录媒体ex207；可将记录媒体ex207安装在手机ex115中的插槽部ex206。记录媒体ex207在SD卡等塑料外壳内容纳作为可进行电改写或删除的非易失性存储器的EEPROM(Electrically Erasable and Programmable Read Only Memory)之一的闪存存储器元件。
进而，用图23来说明手机ex115。手机ex115经同步总线ex313将电源电路部ex310、操作输入控制部ex304、图像编码部ex312、摄像机接口部ex303、LCD(Liquid Crystal Display)控制部ex302、图像解码部ex309、多路复用分离部ex308、记录再现部ex307、调制解调电路部ex306及声音处理部ex305彼此连接到统一控制具备显示部ex202及操作键ex204的主体部各部的主控制部ex311上。
电源电路部ex310通过用户的操作而在结束通话及电源键为导通状态时，通过从电池组向各部供电，将带摄像机的数字手机ex115启动到可动作的状态。
手机ex115根据由CPU、ROM及RAM等构成的主控制部ex311的控制，通过声音处理部ex305将声音通话模式时由声音输入部ex205集中的声音信号变换为数字声音数据，由调制解调电路部ex306进行扩频处理，并由收发信电路部ex301实施数模变换处理及频率变换处理后，经天线ex201发送。另外，手机机ex115放大声音通话模式时由天线ex201接收到的接收数据，实施频率变换处理及模数变换处理，并由调制解码电路部ex306进行逆扩频处理，在由声音处理部ex305变换为模拟声音数据后，经声音输出部ex208输出。
并且，在数据通信模式时发送电子邮件的情况下，通过主体部的操作键ex204的操作输入的电子邮件的文本数据经操作输入控制部ex304送到主控制部ex311。主控制部ex311由调制解调电路部ex306对文本数据进行扩频处理，由收发信电路部ex301实施数模变换处理及频率变换处理后，经天线ex201发送到基站ex110。
在数据通信模式时发送图像数据的情况下，经摄像机接口部ex303将由摄像机部ex203拍摄的图像数据提供给图像编码部ex312。另外，在不发送图像数据的情况下，也可经摄像机接口部ex303及LCD控制部ex302，将由摄像机部ex203拍摄的图像数据直接显示在显示部ex202上。
图像编码部ex312具备本申请中说明的动态图像编码装置，通过按照用于上述实施例所示的动态图像编码装置的编码方法压缩编码从摄像机部ex203提供的图像数据，变换为编码图像数据，并发送到多路复用分离部ex308。另外，与此同时，手机机ex115将摄像机部ex203在拍摄中由声音输入部ex205集中到的声音作为数字的声音数据，经声音处理部ex305，发送到多路复用分离部ex308。
多路复用分离部ex308按规定的方式多路复用从图像编码部ex312提供的编码图像数据和从声音处理部ex305提供的声音数据，调制解调电路部ex306对结果得到的多路复用数据进行扩频处理，并由收发信电路部ex301实施数模变换处理及频率变换处理后，经天线ex201发送。
在数据通信模式时，在接收链接到网页等上的动态图像文件的数据的情况下，调制解调电路部ex306逆扩频处理经天线ex201从基站ex110接收到的接收数据，并将结果得到的多路复用数据发送到多路复用分离部ex308。
另外，在解码经天线ex201接收到的多路复用数据中，多路复用分离部ex308通过分离多路复用数据，分成图像数据的比特流与声音数据的比特流，经同步总线ex313将该编码图像数据提供给图像解码部ex309，并且，将该声音数据提供给声音处理部ex305。
下面，图像解码部ex309具备本申请中说明的动态图像解码装置，通过由对应于上述实施例所示的编码方法的解码方法来解码图像数据的比特流，生成再现动态图像数据，并经LCD控制部ex302提供给显示部ex202，由此，显示例如链接到网页上的动态图像文件中包含的动态图像数据。与此同时，声音处理部ex305在将声音数据变换为模拟声音数据后，提供给声音输出部ex208，由此，再现例如链接到网页上的动态图像文件中包含的声音数据。
另外，不限于上述***实例，最近基于卫星、地面波的数字播放成为话题，如图24所示，也可在数字播放用***中装入上述实施例的至少动态图像编码装置或动态图像解码装置之一。具体而言，播放站ex409经电波将映像信息的比特流传输到通信或播放卫星ex410。接收到上述比特流的播放卫星ex410发射播放用电波，具有卫星播放接收设备的家庭的天线ex406接收该电波，由电视(接收机)ex401或机顶盒(STB)ex407等装置来解码比特流并再现。另外，也可在读取记录在作为记录媒体的CD或DVD等存储媒体ex402中的位流并解码的再现装置ex403中安装上述各实施例中所示的动态图像解码装置。此时，将再现的映像信号显示在监视器ex404中。另外，还考虑在连接于有线电视用电缆ex405或卫星/地面波播放的天线ex406上的机顶盒ex407内安装动态图像解码装置，由电视的监视器ex408来再现。此时，也可不是机顶盒，而在电视内装入动态图像解码装置。另外，也可以是具有天线ex411的汽车ex412从卫星ex410或基站ex107等接收信号，在汽车ex412具有的汽车导航***ex413等的显示装置中再现动态图像。
并且，也可由上述实施例所示的动态图像编码装置编码图像信号并记录在记录媒体中。作为具体例，有在DVD盘ex421中记录图像信号的DVD记录器、或在硬盘中记录图像信号的盘记录器等记录器ex420。另外，也可记录在SD卡ex422中。若记录器ex420具备上述实施例所示的动态图像解码装置，则可再现记录在DVD盘ex421或SD卡ex422中的图像信号并由监视器ex408进行显示。
另外，汽车导航***ex413的结构考虑例如在图23所示结构中去除摄像机部ex203与摄像机接口部ex303、图像编码部ex312的结构，在计算机ex111或电视(接收机)ex401等中也作同样考虑。
另外，上述手机ex114等的终端除具有编码器、解码器双方的收发信型终端外，还考虑仅有编码器的发送终端、仅有解码器的接收终端等3种安装形式。
这样，可将上述实施例所示的动态图像编码方法或动态图像解码方法用于上述任一设备、***中，从而可得到上述实施例中说明的效果。
另外，本发明不限于上述实施例，在不脱离本发明的范围下，可进行各种变形或修正。
产业上的可利用性
如上所述，本发明涉及的动态图像编码方法和动态图像解码方法例如可用作在手机、DVD装置和个人计算机等中编码构成动态图像的各图象后生成编码流、或解码生成的编码流的方法。

Claims (25)

1、一种动态图像编码方法，其以图象单位编码动态图像信号，生成编码流，其特征在于，包含：
信息生成步骤，生成用于特定作为可变速再现对象的图象的可变速再现用信息；和
编码步骤，编码所述可变速再现用信息，附加于所述编码流中。
2、根据权利要求1所述的动态图像编码方法，其特征在于：
所述信息生成步骤中，随机访问单元是由多个图象构成的，以仅参照该随机访问单元内的图象而可解码该随机访问单元内的编码对象图象的所述随机访问单元单位，生成所述可变速再现用信息。
3、根据权利要求1所述的动态图像编码方法，其特征在于：
在所述信息生成步骤中，作为所述可变速再现用信息，对应生成可变速再现的速度、和以所述速度特定作为再现对象的图象的信息。
4、根据权利要求3所述的动态图像编码方法，其特征在于：
所述可变速再现用信息被记载了对每个图象序号该图象的解码必需的所述速度。
5、根据权利要求3所述的动态图像编码方法，其特征在于：
所述可变速再现用信息被顺序记载了对各图象的解码必需的所述速度。
6、根据权利要求3所述的动态图像编码方法，其特征在于：
所述可变速再现用信息被记载了对每个所述速度为了以该速度再现所必需的图象的图象序号。
7、根据权利要求1所述的动态图像编码方法，其特征在于：
在所述信息生成步骤中，作为所述可变速再现用信息，生成根据规定的参照关系列表来特定对应的参照关系的索引。
8、根据权利要求7所述的动态图像编码方法，其特征在于：
所述规定的参照关系列表是具有多组可变速再现速度与特定作为以所述速度的再现的对象的图象的信息相对应的变换信息的变换表，
在所述信息生成步骤，作为所述可变速再现用信息，生成用于选择从所述变换表中对应的变换信息的识别符。
9、根据权利要求8所述的动态图像编码方法，其特征在于：
在所述信息生成步骤中，生成所述变换表，
在所述编码步骤，编码所述变换表，附加于所述编码流上。
10、根据权利要求1所述的动态图像编码方法，其特征在于：
所述动态图像编码方法还包含检测步骤，检测作为所述可变速再现的对象的图象参照的公用信息的编码必要性；和
公用信息附加步骤，对通过所述检测步骤检测到所述公用信息编码必要性的图象附加所述公用信息。
11、一种动态图像解码方法，以图象单位来解码编码流，其特征在于，包含：
信息抽取步骤，抽取用于特定作为可变速再现对象的图象的可变速再现用信息；和
解码步骤，解码所述可变速再现用信息，并且，根据所述可变速再现用信息，特定并解码作为可变速再现对象的图象。
12、根据权利要求11所述的动态图像解码方法，其特征在于：
在所述信息抽取步骤，由多个图象构成的随机访问单元，以仅参照该随机访问单元内的图象而可解码该随机访问单元内的编码对象图象的所述随机访问单元单位，抽取所述可变速再现用信息。
13、根据权利要求11所述的动态图像解码方法，其特征在于：
所述可变速再现用信息将可变速再现的速度与特定作为以所述速度再现对象的图象的信息相对应，
在所述解码步骤，根据被指示的速度与所述可变速再现用信息，特定作为以所述被指示的速度再现的对象的图象。
14、根据权利要求13所述的动态图像解码方法，其特征在于：
所述可变速再现用信息对每个图象序号被记载了该图象的解码必需的所述速度。
15、根据权利要求13所述的动态图像解码方法，其特征在于：
所述可变速再现用信息被顺序记载了对各图象的解码必需的所述速度。
16、根据权利要求13所述的动态图像解码方法，其特征在于：
所述可变速再现用信息对每个所述速度记载为了以该速度再现所必需的图象的图象序号。
17、根据权利要求11所述的动态图像解码方法，其特征在于：
所述可变速再现用信息是根据规定的参照关系列表来特定对应的参照关系的索引，
在所述解码步骤，根据所述索引，从所述规定的参照关系列表特定对应的参照关系。
18、根据权利要求17所述的动态图像解码方法，其特征在于：
所述规定的参照关系列表是具有多组将可变速再现速度与特定作为以所述速度再现的对象的图象的信息相对应的变换信息的变换表，
所述索引是从所述变换表中选择对应的变换信息的识别符，
在所述解码步骤，根据指示的速度、所述变换表和所述识别符，特定作为以所述指示的速度来再现的对象的图象。
19、根据权利要求18所述的动态图像解码方法，其特征在于：
在所述信息抽取步骤，抽取所述变换表，
在所述解码步骤，解码所述变换表。
20、根据权利要求11所述的动态图像解码方法，其特征在于：
所述动态图像解码方法还包含存储器控制步骤，可变速再现时，即使被其它图象参照的图象是不作为所述可变速再现的对象的图象，也可作为保存在图象存储器中的图象来进行控制。
21、一种动态图像编码装置，以图象单位编码动态图像信号，生成编码流，其特征在于，包含：
信息生成部件，生成用于特定作为可变速再现的对象的图象的可变速再现用信息；和
编码部件，编码所述可变速再现用信息，附加于所述编码流中。
22、一种动态图像解码装置，以图象单位来解码编码流，其特征在于，包含：
信息抽取部件，抽取用于特定作为可变速再现的对象的图象的可变速再现用信息；和
解码部件，解码所述可变速再现用信息，而且，根据所述可变速再现用信息，特定并解码作为可变速再现对象的图象。
23、一种程序，用于以图象单位编码动态图像信号，生成编码流，其特征在于使计算机执行以下步骤：
信息生成步骤，生成用于特定作为可变速再现对象的图象的可变速再现用信息；和
编码步骤，编码所述可变速再现用信息，附加于所述编码流中。
24、一种程序，用于以图象单位来解码编码流，其特征在于使计算机执行以下步骤：
信息抽取步骤，抽取用于特定作为可变速再现的对象的图象的可变速再现用信息；和
解码步骤，解码所述可变速再现用信息，而且，根据所述可变速再现用信息，特定并解码作为可变速再现对象的图象。
25、一种编码流，以图象单位来编码动态图像信号，其特征在于，包含：
用于特定作为可变速再现的对象的图象的可变速再现用信息。
CNA2003801003539A 2003-01-17 2003-12-03 动态图像编码方法和动态图像解码方法 Pending CN1692654A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003010297 2003-01-17
JP10297/2003 2003-01-17

Publications (1)

Publication Number Publication Date
CN1692654A true CN1692654A (zh) 2005-11-02

Family

ID=32767246

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2003801003539A Pending CN1692654A (zh) 2003-01-17 2003-12-03 动态图像编码方法和动态图像解码方法

Country Status (7)

Country Link
US (1) US20050147375A1 (zh)
EP (1) EP1589767A4 (zh)
KR (1) KR20050088918A (zh)
CN (1) CN1692654A (zh)
AU (1) AU2003289131A1 (zh)
TW (1) TW200421877A (zh)
WO (1) WO2004066635A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8427494B2 (en) * 2004-01-30 2013-04-23 Nvidia Corporation Variable-length coding data transfer interface
EP1743338B1 (en) * 2004-04-28 2009-09-16 Panasonic Corporation Moving picture stream generation apparatus, moving picture coding apparatus, moving picture multiplexing apparatus and moving picture decoding apparatus
ATE515883T1 (de) * 2004-04-28 2011-07-15 Panasonic Corp Stream-erzeugungsvorrichtung, stream- erzeugungsverfahren, codierungsvorrichtung, codierungsverfahren, aufzeichnungsmedium und programm dafür
EP1751978B1 (en) 2004-06-02 2011-02-09 Panasonic Corporation Picture coding apparatus and picture decoding apparatus
JP4838253B2 (ja) * 2004-10-07 2011-12-14 パナソニック株式会社 画像符号化装置、画像符号化方法、画像復号化装置、画像復号化方法、および記録方法
US9497483B2 (en) * 2005-01-10 2016-11-15 Panasonic Corporation Method for generating and decoding a coded picture signal, an apparatus for generating and decoding a coded picture signal, a program for generating and decoding a coding picture signal, and an integrated circuit for generating and decoding a coded picture signal
JP4769717B2 (ja) * 2005-01-17 2011-09-07 パナソニック株式会社 画像復号化方法
US9236092B2 (en) 2005-03-24 2016-01-12 Broadcom Corporation System, method, and apparatus for embedding personal video recording functions at picture level
KR100770704B1 (ko) * 2005-08-04 2007-10-29 삼성전자주식회사 픽쳐 스킵 방법 및 장치
US20080250470A1 (en) * 2005-09-06 2008-10-09 Koninklijke Philips Electronics, N.V. System for Video Reproduction in Different Resolutions
JP2007318615A (ja) * 2006-05-29 2007-12-06 Toshiba Corp 動画再生装置、動画再生方法およびプログラム
US8725504B1 (en) 2007-06-06 2014-05-13 Nvidia Corporation Inverse quantization in audio decoding
US8477852B2 (en) * 2007-06-20 2013-07-02 Nvidia Corporation Uniform video decoding and display
US8502709B2 (en) * 2007-09-17 2013-08-06 Nvidia Corporation Decoding variable length codes in media applications
US8849051B2 (en) * 2007-09-17 2014-09-30 Nvidia Corporation Decoding variable length codes in JPEG applications
US9307267B2 (en) * 2008-12-11 2016-04-05 Nvidia Corporation Techniques for scalable dynamic data encoding and decoding
FR2940737A1 (fr) * 2008-12-31 2010-07-02 Thomson Licensing Generation de flux de paquets de donnees video contenant des informations d'acceleration pour le decodage
US8711933B2 (en) * 2010-08-09 2014-04-29 Sony Computer Entertainment Inc. Random access point (RAP) formation using intra refreshing technique in video coding
US9432664B2 (en) 2012-09-28 2016-08-30 Qualcomm Incorporated Signaling layer identifiers for operation points in video coding
KR102284107B1 (ko) * 2013-01-07 2021-07-30 삼성전자주식회사 영상을 부호화/복호화하기 위한 파라미터 세트 생성 방법 및 장치
US9386317B2 (en) 2014-09-22 2016-07-05 Sony Interactive Entertainment Inc. Adaptive picture section encoding mode decision control
US10419760B2 (en) 2014-09-29 2019-09-17 Sony Interactive Entertainment Inc. Picture quality oriented rate control for low-latency streaming applications

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995023411A1 (fr) * 1994-02-28 1995-08-31 Sony Corporation Procede et dispositif d'enregistrement des donnees, support d'enregistrement de donnees et procede et dispositif de reproduction des donnees
JP3365109B2 (ja) * 1994-12-28 2003-01-08 ソニー株式会社 データ再生装置及びデータ再生方法
US6002834A (en) * 1995-02-24 1999-12-14 Hitachi, Ltd. Optical disk having table relating sector address and time and optical disk reproducing apparatus
KR100243209B1 (ko) * 1997-04-30 2000-02-01 윤종용 오류정정 능력을 개선한 디지털 기록/재생 장치와 그 방법
JP2000354224A (ja) * 1999-01-01 2000-12-19 Hitachi Ltd 画像データ記録方法および光ディスク再生方法
JP2003009085A (ja) * 2001-06-20 2003-01-10 Mitsubishi Electric Corp デジタル信号記録装置および方法、デジタル信号再生装置および方法

Also Published As

Publication number Publication date
AU2003289131A1 (en) 2004-08-13
US20050147375A1 (en) 2005-07-07
KR20050088918A (ko) 2005-09-07
TW200421877A (en) 2004-10-16
WO2004066635A1 (ja) 2004-08-05
EP1589767A4 (en) 2006-10-25
EP1589767A1 (en) 2005-10-26

Similar Documents

Publication Publication Date Title
CN1692654A (zh) 动态图像编码方法和动态图像解码方法
CN100352287C (zh) 图像编码装置、图像解码装置及它们的方法
CN1295934C (zh) 移动向量编码方法和移动向量解码方法
CN1271865C (zh) 动态矢量编码和译码的方法及装置
CN1739294A (zh) 图像编码方法
CN1910922A (zh) 运动图片编码方法和运动图片解码方法
CN1523892A (zh) 动态图像编码方法及动态图像解码方法
CN1518835A (zh) 动态图像编码方法及动态图像解码方法
CN1516974A (zh) 图像编码方法和图像解码方法
CN1478356A (zh) 动态图像编码方法及动态图像解码方法
CN1968413A (zh) 图像解码方法
CN1751512A (zh) 运动图像编码方法、运动图像解码方法及程序
CN1298171C (zh) 图像的编码方法和图像的译码方法
CN1662067A (zh) 运动检测方法及动态图像编码方法
CN1612614A (zh) 帧内预测编码方法
CN1522543A (zh) 可变长编码方法和可变长译码方法
CN1751511A (zh) 图像编码方法和图像解码方法
CN1817049A (zh) 动态图像编码方法及动态图像解码方法
CN1623333A (zh) 动态补偿方法、图像编码方法及图像解码方法
CN1685732A (zh) 动态图像编码方法和动态图像解码方法
CN1132978A (zh) 减少在图象数据解码中产生的量化噪声的方法及解码装置
CN1557098A (zh) 动态图像编码装置及动态图像解码装置
CN101061725A (zh) 运动图像编码方法以及运动图像解码方法
CN1685733A (zh) 动态画像的编码方法及解码方法
CN1757239A (zh) 图像编码方法及图像解码方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication