CN108696758A - 解码装置和解码方法以及编码装置和编码方法 - Google Patents

解码装置和解码方法以及编码装置和编码方法 Download PDF

Info

Publication number
CN108696758A
CN108696758A CN201810731754.2A CN201810731754A CN108696758A CN 108696758 A CN108696758 A CN 108696758A CN 201810731754 A CN201810731754 A CN 201810731754A CN 108696758 A CN108696758 A CN 108696758A
Authority
CN
China
Prior art keywords
piecemeal
unit
image
information
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810731754.2A
Other languages
English (en)
Other versions
CN108696758B (zh
Inventor
中神央二
樱井裕音
高桥良知
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108696758A publication Critical patent/CN108696758A/zh
Application granted granted Critical
Publication of CN108696758B publication Critical patent/CN108696758B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/55Motion estimation with spatial constraints, e.g. at image or region borders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Digital Transmission Methods That Use Modulated Carrier Waves (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本技术涉及一种解码器和解码方法以及编码器和编码方法,其使得能够针对每个块在时间方向上独立地执行编码和解码。当通过将要解码的当前图像的图片分成分块来执行解码时,解码器通过基于分块可分割信息和运动向量信息,针对每个分块对同位分块内的参考图像执行运动补偿来生成预测图像,分块可分割信息指示以分块为单位可以进行解码,并且运动向量信息表示在生成当前图像编码数据时使用的运动向量。解码器使用预测图像以对编码数据进行解码。本技术可适用于例如解码器。

Description

解码装置和解码方法以及编码装置和编码方法
本申请是申请号为201380018010.1(PCT/JP2013/059133)、申请日为2013年3月27日、发明名称为“解码装置和解码方法以及编码装置和编码方法”的中国发明专利申请的分案申请。
技术领域
本技术涉及解码装置和解码方法以及编码装置和编码方法,更具体地涉及能够针对每个分块(tile)在时间方向上独立地执行编码和解码的解码装置和解码方法以及编码装置和编码方法。
背景技术
当前,视频编码联合协作组(JCTVC)、ITU-T和ISO/IEC的联合标准化组织提出了称作高效视频编码(HEVC)的编码***的标准化,目的在于进一步提高H.264/AVC的编码效率。关于HEVC标准,在2012年2月发布了委员会草案作为最初草案版本(例如,参见非专利文献1)。
根据HEVC标准,图片可以被分割成分块或条带单元用于进行编码。在对分割成这些单元并被编码的编码流进行解码时,在创建关于基于上下文的自适应二进制算术编码(CABAC)的信息、帧内预测模式、量化值等的过程中在分割单元之间不存在关联。
然而,根据帧间预测,未对运动向量设置限制。在这种情况下,在不同时间处的不同分块的编码图像可以用作参考图像。因此,不允许针对每个分块在时间方向上单独编码和解码。
更具体地,如图1所示,例如,图片序列号(POC)为t的帧#t和POC为t-1的帧#t-1中的每个被分割成四个分块并被帧间预测,可以针对帧#t的CU(编码单位)确定帧#t-1的四个分块内的所有编码图像作为可能的参考图像。
因此,存在这样的情况,即例如针对分块ID为1且包含在帧#t内的分块#1的CU 11,确定特定ID(下文中称作分块ID)为2且包含在帧#t-1内的分块#2内的解码图像12作为参考图像。换言之,存在这样的情况,即具有对应于解码图像12的帧#t的CU 11的初始点和区域12A的终止点的向量被检测为运动向量13。在这种情况下,需要对不同于包含CU 11的分块#1的分块#2的解码图像进行参考;因此,不允许针对每个分块在时间方向上独立编码和解码。
因此,解码装置需要具有共同解码的解码图片缓冲器(DPB),其针对所有分块保存解码图像。
图2是示出这种类型的解码装置的构成示例的框图。
图2中的解码装置30由解码单元31-1至31-N、DPB 32-1至32-N和共同的DPB 33构成。
包含分割的N个分块(N是任意正整数)且针对分块的每个单元被编码的编码流被输入到解码装置30。每个分块的编码数据被提供至对应的解码单元31-1至31-N。
解码单元31-1至31-N中的每个通过使用针对对应帧中包含的所有分块被存储在共同的DPB 33中的解码图像的对应图像作为参考图像,对对应分块的编码数据进行解码。
更具体地,解码单元31-1使用参考图像对分块ID为1的分块#1的编码数据进行解码,并且将作为解码结果获得的分块#1的解码图像提供给DPB 32-1。类似地,解码单元31-2至31-N使用参考图像分别对分块ID为2的分块#2、分块ID为3的分块#3直至分块ID为N的分块#N的数据进行解码。然后,解码单元31-2至31-N将通过解码获得的分块#2、分块#3直至分块#N的解码图像分别提供给DPB 32-2、DPB 32-3直至DPB32-N。
DPB 32-1至32-N存储对应的解码单元31-1至31-N提供的解码图像。DPB 32-1至32-N将存储的解码图像提供给共同的DPB 33,并允许这些解码图像存储在共同的DPB 33中。
共同的DPB 33存储DPB 32-1至32-N提供的相同时间处的分块#1至分块#N的解码图像,作为一帧的解码图像。共同的DPB 33输出针对以每个帧为单位存储的解码图像作为解码结果。
此外,虽然图中未示出,但是共同的DPB需要设置在编码装置上,以与解码装置30上的DPB类似的方式进行帧间预测。
引用列表
非专利文献
非专利文献1:Benjamin Bross,Woo-Jin Han,Jens-Rainer Ohm,GaryJ.Sullivan,Thomas Wiegant,“High efficiency video coding(HEVC)textspecification draft 6”JCTVC-H10003ver 21,2012.2.17
发明内容
本发明要解决的技术问题
如上所述,根据HEVC标准,在帧间预测中没有对运动向量设置限制。在这种情况下,可以使用不同时间处的不同分块的解码图像作为参考图像。因此,不允许针对每个分块在时间方向上独立编码和解码。
考虑到这些情形研发了本技术,并且将其设置为能够针对每个分块独立地在时间方向上编码和解码的技术。
问题的解决方案
根据本技术的第一方面,提供了一种解码装置,该解码装置包括:运动补偿单元,当解码目标当前图像的图片被分割成分块并被解码时,运动补偿单元通过下述操作来生成预测图像:基于分块可分割信息和运动向量信息,针对每个分块来执行同位分块内的参考图像的运动补偿,其中分块可分割信息指示针对每个分块允许解码,并且运动向量信息表示用于生成当前图像的编码数据的运动向量;以及解码单元,其使用运动补偿单元生成的预测图像来对编码数据进行解码。
根据本技术的第一方面的解码方法对应于根据本技术的第一方面的解码装置。
根据本技术的第一方面,当解码目标当前图像的图片被分割成分块并被解码时,通过下述操作来生成预测图像:基于分块可分割信息和运动向量信息,针对每个分块来执行同位分块内的参考图像的运动补偿,其中分块可分割信息指示针对每个分块允许解码,并且运动向量信息表示用于生成当前图像的编码数据的运动向量。使用预测图像对编码数据进行解码。
根据本技术的第二方面,提供了一种编码装置,该编码装置包括:运动补偿单元,当编码目标当前图像的图片被分割成分块并被编码时,运动补偿单元通过下述操作来生成预测图像:基于在分块内检测到的运动向量,执行与当前图像的时间不同的时间处的参考图像的运动补偿;编码单元,其使用运动补偿单元生成的预测图像来对当前图像进行编码并生成编码数据;设置单元,其设置分块可分割信息,所述分块可分割信息指示针对分块的每个单元允许解码;以及传送单元,其传送编码单元生成的编码数据以及设置单元设置的分块可分割信息。
根据本技术的第二方面的编码方法对应于根据本技术的第二方面的编码装置。
根据本技术的第二方面,当编码目标当前图像的图片被分割成分块并被编码时,通过下述操作来生成预测图像:基于在分块内检测到的运动向量,执行与当前图像的时间不同的时间处的参考图像的运动补偿。通过使用预测图像对当前图像进行编码来生成编码数据。设置分块可分割信息,该分块可分割信息指示针对分块的每个单元允许解码。传送编码数据和分块可分割信息。
此外,第一方面的解码装置和第二方面的编码装置可以通过使计算机执行程序来实现。
此外,用于实现第一方面的解码装置和第二方面的编码装置的计算机所执行的程序可以通过经由传输介质来传输程序而提供,或通过将程序记录在记录介质上而提供。
此外,第一方面的解码装置和第二方面的编码装置可以是单独的装置,或可以位于构成一个装置的块内。
本发明的效果
根据本技术的第一方面,允许针对每个分块在时间方向上独立解码。
此外,根据本技术的第二方面,允许针对每个分块在时间方向上独立编码。
附图说明
图1是描述用于常规帧间预测的参考图像的图。
图2是示出常规解码装置的构成示例的框图。
图3是示出根据第一实施例应用本技术的编码装置的构成示例的框图。
图4是示出图3中的编码单元的构成示例的框图。
图5是描述分块的图。
图6是描述在检测到运动向量时设置的限制的图。
图7是描述用于帧间预测的参考图像的图。
图8是示出SPS的语法的示例的图。
图9是示出SPS的语法的示例的图。
图10是示出PPS的语法的示例的图。
图11是示出VUI的语法的示例的图。
图12是描述编码流生成处理的流程图。
图13是描述图12中的编码处理的流程图。
图14是描述图12中的编码处理的流程图。
图15是示出根据第一实施例应用本技术的解码装置的构成示例的框图。
图16是根据第一实施例的图15中的解码单元的构成示例的框图。
图17是描述图15中的解码装置执行的处理的概况的图。
图18是描述图15中的解码装置执行的编码流解码处理的流程图。
图19是描述图16中的解码处理的流程图。
图20是示出根据第二实施例应用本技术的编码装置的编码目标图像的示例的图。
图21是示出根据实施例的用于2D图像的解码装置的构成示例的框图。
图22是描述图21中的解码装置执行的编码流解码处理的流程图。
图23是示出根据实施例应用本技术的电视会议***的构成示例的框图。
图24是示出VUI的语法的另一示例的图。
图25是示出多视图图像编码***的示例的图。
图26是示出应用本技术的多视图图像编码装置的构成示例的图。
图27是示出应用本技术的多视图图像编码装置的构成示例的图。
图28是示出分层图像编码***的示例的图像。
图29是描述空间可伸缩编码的示例的图。
图30是描述时间可伸缩编码的示例的图。
图31是描述信噪比可伸缩编码的图。
图32是示出应用本技术的分层图像编码装置的构成示例的图。
图33是示出应用本技术的分层图像编码装置的构成示例的图。
图34是示出计算机的硬件的构成示例的框图。
图35是示出应用本技术的电视机的一般结构的示例的图。
图36是示出应用本技术的蜂窝电话的一般结构的示例的图。
图37是示出应用本技术的记录和再现装置的一般结构的示例的框图。
图38是示出应用本技术的成像装置的一般结构的示例的图。
图39是示出可伸缩编码的应用示例的框图。
图40是示出可伸缩编码的另一应用示例的框图。
图41是示出可伸缩编码的又一应用示例的框图。
具体实施方式
<第一实施例>
(第一实施例中的编码装置的构成示例)
图3是示出根据第一实施例应用本技术的编码装置的构成示例的框图。
图3中的编码装置50包括A/D转换单元51、屏幕重排缓冲器52、分割单元53、编码单元54-1至54-N、设置单元55和传送单元56。编码装置50针对每个分块、通过对应于HEVC***的***对作为输入信号输入的以每个帧为单位的图像执行压缩编码。
更具体地,编码装置50的A/D转换单元51对作为输入信号输入的以每个帧为单位的图像执行A/D转换,并将转换后图像输出到屏幕重排缓冲器52,并允许屏幕重排缓冲器52存储图像。屏幕重排缓冲器52根据图片组(GOP)结构将按显示顺序定位的以各个帧为单位的存储图像重排在使得图像被定位成编码顺序的位置,并且屏幕重排缓冲器52将重排后图像提供给分割单元53。
分割单元53基于与用户操作的未示出的输入单元的操作对应的、指示针对序列的每个单元指定的分块的分割位置和分割数目N的信息(下文中被称作分块分割信息),将屏幕重排缓冲器52提供的每个图像分割成N个分块。分割单元53分别将N个分块的图像提供给编码单元54-1至54-N,以作为编码目标图像。
编码单元54-1至54-N通过对应于HEVC***的***独立地在时间方向上对分割单元53提供的对应分块的图像执行压缩编码。编码单元54-1至54-N将作为压缩编码的结果获得的各个分块的编码数据提供给设置单元55。此外,在以下描述中,当不特别需要在编码单元54-1至54-N之间进行区分时,编码单元54-1至54-N被统称为编码单元54。
设置单元55基于分块分割信息来将编码单元54-1至54-N提供的各分块的编码数据合成。此外,设置单元55基于分块分割信息来设置序列参数集(SPS)、图片参数集(PPS)、视频可用性信息(VUI)、自适应参数集(APS)等。设置单元55通过将SPS、PPS、VUI、APS等相加到合成的编码数据来生成编码流,并将所生成的编码流提供给传送单元56。
传送单元56将设置单元55提供的编码流传送给稍后描述的解码装置。(编码单元的构成示例)
图4是示出图3中的编码单元54的构成示例的框图。
图4中的编码单元54包括计算单元71、正交变换单元72、量化单元73、无损编码单元74、存储缓冲器75、逆量化单元76、逆正交变换单元77、加法单元78、去块滤波器79、DPB80、开关81、帧内预测单元82、帧间预测单元83、预测图像选择单元84、以及速率控制单元85。
对应分块的图像从图3中的分割单元53被输入到编码单元54以作为编码目标图像,并被提供给计算单元71、帧内预测单元82和帧间预测单元83。
计算单元71用作编码单元,并且计算预测图像选择单元84提供的预测图像与编码目标图像之间的差以对编码目标图像进行编码。更具体地,计算单元71从编码目标图像减去预测图像以对编码目标图像进行编码。计算单元71将作为计算结果获得的图像输出到正交变换单元72,以作为残差信息。当预测图像选择单元84不提供预测图像时,计算单元71将编码目标图像按原样输出到正交变换单元72,以作为残差信息。
正交变换单元72对从计算单元71接收的残差信息执行正交变换,并将作为正交变换的结果获得的系数提供给量化单元73。
量化单元73对正交变换单元72提供的系数进行量化。量化系数被输入到无损编码单元74。
无损编码单元74从帧内预测单元82获得指示最佳帧内预测模式的信息(下文中被称作帧内预测模式信息)。反而,无损编码单元74从帧间预测单元83获得指示最佳帧间预测模式的信息(下文中被称作帧间预测模式信息)、运动向量、用于指定参考图像的信息等。
无损编码单元74对量化单元73提供的量化系数执行无损编码,诸如可变代码字长度编码(诸如上下文自适应可变长度编码(CAVLC))和算术编码(诸如CABAC)。
此外,无损编码单元74使用位置与帧内预测模式信息的预测块邻近的且包含在相同分块内的预测块的帧内预测模式信息,来对帧内预测单元82提供的帧内预测模式信息执行差编码。反而,无损编码单元74用作运动向量生成单元,其基于高级运动向量预测(AMVP)等来在预定限制的范围内对帧间预测单元83所提供的运动向量进行预测,并生成对应的预测向量与实际的运动向量之间的差以作为运动向量信息。
更具体地,根据AMVP等,确定在空间方向上与运动向量信息的预测块邻近的预测块、同位块(下面详细描述的)、在空间方向上与同位块邻近的预测块等的运动向量作为预测向量。
此外,根据本说明书,情况“同位”是指被布置成使得在不同图片(帧、场)中具有相同的位置关系(位于相同的地方)的情况。因此,同位块是指在不同图片(帧、场)中具有相同的位置关系(位于相同的地方)的块。此外,同位像素是在不同图片(帧、场)中具有相同的位置关系(位于相同的地方)的像素。
此外,根据本说明书,邻近(相邻)情况是指使得具有允许从当前图片(帧、场)参考的位置关系的条件。优选的是,该位置关系对应于就时间而言紧接在前或紧接在后的位置。然而,该关系不是必要的,只要可以提供本技术的效果即可。此外,时间方向上的邻近情况和空间方向上的邻近情况在不特别需要区分开时被统称为邻近情况。时间方向上的邻近情况表示允许在时间方向上参考的位置关系。空间方向上的邻近情况表示允许在同一图片内参考的位置关系。
无损编码单元74将被定义为预测向量的运动向量的预测块限制为在与运动向量信息的预测块的分块相同的分块内的预测块。在这种情况下,解码装置不需要参考其它分块的运动向量。因此,可以针对每个分块在时间方向上独立地对帧间预测编码后的编码数据进行解码。
此外,合并信息可以用作运动向量信息。合并信息是指示运动向量的预测块是否要与另一预测块合并以及在合并时运动向量要与哪个预测块合并的信息。例如,用于合并的可能的预测块包括空间方向上与运动向量的预测块邻近的预测块、同位块、以及空间方向上与同位块邻近的预测块。
然而,在这种情况下,将用于合并的可能的预测块限制为在与运动向量信息的预测块的分块相同的分块内的预测块。因此,解码装置不需要参考其它分块的运动向量;因此,可以针对每个分块在时间方向上独立地对帧间预测编码后的编码数据进行解码。
当合并信息用作运动向量信息时,无损编码单元74确定帧间预测单元83提供的运动向量是否与用于合并的可能的预测块的运动向量中的任一运动向量相同。当确定为相同时,无损编码单元74生成指示与确定为向量相同块的用于合并的可能的预测块执行合并的合并信息,以作为运动向量信息。另一方面,当确定为不同时,无损编码单元74生成指示不执行合并的合并信息,以作为运动向量信息。
无损编码单元74对差编码后的帧内预测模式信息、或帧间预测模式信息、运动向量信息、用于指定参考图像的信息等执行无损编码,并确定无损编码后的信息作为关于编码的编码信息。无损编码单元74将无损编码后的系数和编码信息作为编码数据提供给存储缓冲器75,并允许存储缓冲器75存储编码数据。此外,编码信息可以被确定为无损编码后的系数的头信息。
存储缓冲器75临时存储无损编码单元74提供的编码数据。此外,存储缓冲器75将存储的编码数据提供给图3中的设置单元55。
此外,从量化单元73输出的量化系数还被输入到逆量化单元76,并且被逆量化并提供给逆正交变换单元77。
逆正交变换单元77对逆量化单元76提供的系数执行逆正交变换,并将作为逆正交变换的结果获得的残差信息提供给加法单元78。
加法单元78将作为逆正交变换单元77提供的解码目标图像的残差信息相加到预测图像选择单元84提供的预测图像,并获得针对分块的每个单元局部解码的解码图像。当预测图像选择单元84没有提供预测图像时,加法单元78确定逆正交变换单元77提供的残差信息作为针对分块的每个单元局部解码的解码图像。加法单元78将针对分块的每个单元局部解码的解码图像提供给去块滤波器79,并将解码图像提供给DPB 80,并允许DPB 80存储解码图像。
去块滤波器79针对分块的每个单元对加法单元78提供的针对每个分块单元局部解码的解码图像执行滤波。滤波包括用于去除块失真的去块滤波、用于抑制振铃的取样自适应偏移(SAO)、以及使用分类组的自适应环路滤波(ALF)处理。去块滤波器79将作为滤波结果获得的针对分块的每个单元的解码图像提供给DPB 80,并允许DPB 80存储解码图像。存储在DPB 80中的针对分块的每个单元的解码图像作为参考图像经由开关81被输出到帧内预测单元82或帧间预测单元83。
帧内预测单元82通过使用经由开关81从DPB 80读取的且未经去块滤波器79滤波的参考图像,来执行所有可能的帧内预测模式的帧内预测。
此外,帧内预测单元82基于分割单元53提供的编码目标图像以及作为帧内预测结果生成的预测图像,来针对所有可能的帧内预测模式计算成本函数值(稍后详细描述的)。然后,帧内预测单元82确定成本函数值变为最小的帧内预测模式作为最佳帧内预测模式,并将在最佳帧内预测模式下生成的预测图像以及对应的成本函数值提供给预测图像选择单元84。当预测图像选择单元84通知关于在最佳帧内预测模式下生成的预测图像的选择时,帧内预测单元82将帧内预测模式信息提供给无损编码单元74。
这里应注意成本(cost)函数值也称作率失真(RD)成本,并且是基于例如作为H.264/AVC***中的参考软件的联合模型(JM)中限定的高复杂度模式或低复杂度模式而计算的。
更具体地,当选择高复杂度模式作为成本函数值的计算方法时,针对所有可能的预测模式临时执行直至无损编码的步骤。然后,针对每个预测模式(mode)计算下面的等式(1)表示的成本函数值。
[等式1]
Cost(Mode)=D+λ·R...(1)
D是原始图像与解码图像之间的差(失真)。R是直至正交变换的系数的生成的代码量。λ是作为量化参数QP的函数给出的拉格朗日乘数。
另一方面,当选择低复杂度模式作为用于成本函数值的计算方法时,针对所有可能的预测模式执行解码图像的生成、指示预测模式等的信息的头位的计算。然后,针对每个预测模式计算下面的等式(2)表示的成本函数。
[等式2]
Cost(Mode)=D+QPtoQuant(QP)·Header_Bit...(2)
D是原始图像与解码图像之间的差(失真)。Header_Bit是用于预测模式的头位。QPtoQuant是作为量化参数QP的函数给出的函数。
在低复杂度模式下,仅需要针对所有预测模式生成解码图像,并消除了执行无损编码的必要性。因此,计算量减小。
帧间预测单元83包括运动检测单元83A和运动补偿单元83B,并针对所有可能的帧间预测模式执行运动预测和补偿处理。更具体地,运动检测单元83A通过使用分割单元53提供的编码目标图像,以及经由开关81从DPB 80读取的、位于与对应的编码目标图像的时间不同的时间处且经去块滤波器79滤波的参考图像,在编码目标图像的分块内执行运动预测。
更具体地,运动检测单元83A通过使用编码目标图像以及下述经滤波的参考图像来针对所有可能的帧间预测模式检测运动向量:该参考图像包含在与编码目标图像的分块相同的分块内且位于与编码目标图像的帧不同的帧内。运动补偿单元83B通过基于运动检测单元83A检测到的运动向量执行经去块滤波器79滤波的参考图像的运动补偿,来执行帧间预测,并生成预测图像。
此时,帧间预测单元83基于编码目标图像和预测图像来针对所有可能的帧间预测模式计算成本函数值,并确定成本函数值变为最小的帧间预测模式作为最佳帧间预测模式。然后,帧间预测单元83将针对最佳帧间预测模式的成本函数值和对应的预测图像提供给预测图像选择单元84。此外,帧间预测单元83在从预测图像选择单元84被通知关于在最佳帧间预测模式下生成的预测图像的选择时,将帧间预测模式信息、对应的运动向量、用于指定参考图像的信息等输出到无损编码单元74。
预测图像选择单元84基于帧内预测单元82和帧间预测单元83提供的成本函数值,从最佳帧内预测模式和最佳帧间预测模式选择对应的成本函数值较小的预测模式,并确定所选择的预测模式作为最佳预测模式。然后,预测图像选择单元84将最佳预测模式下的预测图像提供给计算单元71和加法单元78。此外,预测图像选择单元84向帧内预测单元82或帧间预测单元83通知关于最佳预测模式下的预测图像的选择。
速率控制单元85基于存储在存储缓冲器75中的编码数据来控制量化单元73的量化操作的速率,以使得既不出现上溢也不出现下溢。
(分块的描述)
图5是示出分块的图。
如图5所示,一个图片(帧)可以被分割成多个分块并被编码。根据图5中的示例,一个图片被分割成四个分块。从0开始按照光栅扫描(raster scan)的顺序对每个分块给出分块ID。此外,按照光栅扫描的顺序对分块内的最大编码单位(LCU)进行编码。
此外,一个图片还可以被分割成多个条带(slice)。各分块之间的边界可以与各条带之间的边界相同或不同。根据图5中的示例,分块ID为0的分块#0和分块ID为1的分块#1中的每个由两个条带构成。此外,分块ID为3的分块#3和分块ID为4的分块#4中的每个构成一个条带。然而,根据本实施例,多个分块没有构成一个条带。换言之,分块包含至少一个条带。因此,每个分块的编码数据总是包含条带头;因此,可以针对分块的每个单元执行编码。此外,当一个分块包含多个条带时,按照光栅扫描的顺序对对应的分块内的条带进行编码。
(对运动向量检测的限制的描述)
图6是示出图4中的运动检测单元83A检测运动向量时所设置的限制的图。
如图6所示,运动检测单元83A通过设置使得分块ID为i的分块#i内的CU的可能的参考图像仅为分块#i内的图像的限制,来在分块内执行运动预测。因此,运动向量MV(mvx,mvy)(单位:像素)满足以下等式(3)。[等式3]
x+mvx≥minX_in_TileID_i
y+mvy≥minY_in_TileID_i
x+w+mvx<maxX_in_TileID_i
y+h+mvy<maxY_in_TileID_i...(3)
此外,在等式(3)中,(x,y)是对应于位于CU的左上方的像素的像素单位的坐标,并且w和h中的每个分别是像素单位在水平宽度和竖直宽度上的长度。此外,minX_in_TileID_i对应于在分块#i的左上方的像素的x坐标值,而minY_in_TileID_i对应于在分块#i的左上方的像素的y坐标值。此外,maxX_in_TileID_i对应于在分块#i的右下方的像素的x坐标值,maxY_in_TileID_i对应于在分块#i的右下方的像素的y坐标值。
如上面讨论的在检测运动向量时建立的限制消除了在帧间预测时使用如图7所示的另一分块的解码图像作为时间方向上的参考图像的必要性。
更具体地,如图7所示,当POC为t的帧#t和POC为t-1的帧#t-1中的每个被分割成四个分块时,通过使用帧#t-1的分块#1内的图像作为参考图像,来执行帧#t的分块#1内的CU的帧间预测。类似于分块#1,通过使用其自己的分块#2、分块#3和分块#4内的图像作为参考图像,来针对分块#2至#4的各个CU执行帧间预测。因此,允许针对每个分块在时间方向上的独立的帧间预测。
(SPS的示例)
图8和图9示出了图3中的设置单元55所设置的SPS的语法的示例。
如图9中的第19至28行所示,针对SPS设置以每个序列为单位的分块分割信息。分块分割信息包括第20行中示出的num_tile_columns_minus1、第21行中示出的num_tile_rows_minus1、第25行中示出的column_width[i]、第27中示出的row_height[i]等。
Num_tile_columns_minus1表示列方向(水平方向)上的分块的数目,而num_tile_rows_minus1表示行方向(竖直方向)上的分块的数目。此外,column_width[i]表示像素单位在每个分块的水平方向上的长度,而row_height[i]表示像素单位在每个分块的竖直方向上的长度。
此外,如图9中的第29行所示,在SPS中以每个序列为单位设置表示是否在参考图像中在多个分块上执行滤波的去块滤波信息(滤波信息)(loop_filter_across_tiles_enabled_flag)。编码装置50的去块滤波器79针对分块的每个单元执行滤波;因此,设置单元55将去块滤波信息设置为假(0)。
(PPS的示例)
图10示出了图3中的设置单元55所设置的PPS的语法的示例。
如图10中第21行所示,针对PPS设置表示是否以每个图片为单位控制分块分割信息的tile_info_present_flag。设置单元55将tile_info_present_flag设置为假(0)。在这种情况下,对于编码装置50在序列内保持固定的分块分割方法,并且在图片之间不改变该分块分割方法。
此外,当稍后描述的以每个图片为单位的分块分割信息在同一序列内的图像之间相同时,可以将tile_info_present_flag设置为真(1)。
此外,如第23至33行所示,与图9中的以每个序列为单位的分块分割信息类似地,针对PPS设置以每个图片为单位的分块分割信息。此外,如第35行所示,针对PPS设置以每个图片为单位的去块滤波信息。
(VUI的示例)
图11示出了图3中的设置单元55所设置的VUI的语法的示例。
如图11中第4行所示,针对VUI设置分块可分割信息(tile_splittable_flag)。分块可分割信息是表示针对分块的每个单元是否允许解码的信息。编码装置50通过在分块内执行运动预测并设置各种限制,针对分块的每个单元允许解码。因此,设置单元55将分块可分割信息设置为真(1)。
当第1行中的bitstream_restriction_flag(位流限制标记)为0时,解码侧基于分块可分割信息为假(0)的考虑而识别出针对每个分块不允许解码。
(编码装置执行的处理的描述)
图12是描述图3中的编码装置50执行的编码流生成处理的流程图。
在图12的步骤S11中,A/D转换单元51对作为输入信号输入的以每个帧为单位的图像执行A/D转换,并将转换后图像输出到屏幕重排缓冲器52并允许屏幕重排缓冲器52存储图像。
在步骤S12中,屏幕重排缓冲器52根据GOP结构将按显示顺序定位的各个帧的存储图像重排在使得图像被定位成编码顺序的位置,并将重排的图像提供给分割单元53。
在步骤S13,分割单元53基于分块分割信息将屏幕重排缓冲器52提供的每个图像分割成N个分块。分割单元53将包含N个分块的每个图像提供给对应的编码单元54-1至54-N,以作为编码单元的图像。
在步骤S14,编码单元54执行编码处理,该编码处理通过对应于HEVC***的***在时间方向上独立地对分割单元53提供的对应分块的图像进行压缩编码。将参照下面讨论的图13和14描述编码处理的细节。
在步骤S15,设置单元55基于分块分割信息来合成编码单元54-1至54-N提供的各个分块的编码数据。
在步骤S16,设置单元55将VUI的分块可分割信息设置为1。在步骤S17,设置单元55将SPS和PPS的去块滤波信息设置为0。此外,设置单元55基于分块分割信息等,对除了分块可分割信息之外的关于SPS、PPS、VUI、APS等的信息进行设置。
此时,当邻近图像是不同分块的图像时,设置单元55将包含在APS中并指示是否使用邻近图像的SAO处理的参数执行SAO处理的sao_repeat_row_flag和sao_merge_up_flag设置为假(0)。此外,当邻近图像是不同分块的图像时,设置单元55将包含在APS中并指示是否使用邻近图像的ALF处理的参数执行ALF处理的alf_repeat_row_flag和alf_merge_up_flag设置为假(0)。在这种情况下,在不同分块之间没有共享用于SAO处理的参数和用于ALF处理的参数。因此,针对分块的每个单元执行滤波以进行编码。
如上面所讨论的,当邻近图像是不同分块的图像时,sao_repeat_row_flag、sao_merge_up_flag、alf_repeat_row_flag和alf_merge_up_flag被设置为假(0)。因此,这些信息的集合被认为是表示不在分块之间共享滤波中的参数的参数共享信息。
在步骤S18,设置单元55通过将SPS、PPS、VUI、APS等相加到合成后的编码数据来生成编码流,并将编码流提供给传送单元56。
在步骤S19,传送单元56将设置单元55提供的编码流传送到稍后描述的解码装置,并结束处理。
(编码装置执行的处理的描述)
图13和14是描述图12中的编码处理的步骤S14的流程图。例如,针对每个CU单位执行该编码处理。
在步骤S30,帧内预测单元82通过使用存储在DPB 80中的、位于与编码目标图像的分块相同的分块中且未经滤波的图像作为参考图像,来进行针对所有可能的帧内预测模式执行帧内预测的帧内预测处理。此时,帧内预测单元82基于分割单元53提供的编码目标图像以及作为帧内预测的结果生成的预测图像,针对所有可能的帧内预测模式来计算成本函数值。然后,帧内预测单元82确定成本函数值变为最小的帧内预测模式作为最佳帧内预测模式,并将在最佳帧内预测模式下生成的预测图像和对应的成本函数值提供给预测图像选择单元84。
此外,帧间预测单元83通过使用存储在DPB 80中且位于与编码目标图像的分块相同的分块中的经滤波的图像作为参考图像,针对所有可能的帧间预测模式在分块内执行运动预测和运动补偿。此时,帧间预测单元83基于分割单元53提供的编码目标图像以及作为运动补偿的结果生成的预测图像,针对所有可能的帧间预测模式计算成本函数值。然后,帧间预测单元83确定成本函数值变为最小的帧间预测模式作为最佳帧间预测模式,并将在最佳帧间预测模式下生成的预测图像以及对应的成本函数值提供给预测图像选择单元84。
在步骤S31,预测图像选择单元84基于通过步骤S30中的处理由帧内预测单元82和帧间预测单元83提供的成本函数值,从最佳帧内预测模式和最佳帧间预测模式选择成本函数值变为最小的预测模式,并确定所选择的预测模式作为最佳预测模式。然后,预测图像选择单元84将最佳预测模式下的预测图像提供给计算单元71和加法单元78。
在步骤S32,预测图像选择单元84确定最佳预测模式是否为最佳帧间预测模式。当在步骤S32中确定最佳预测模式为最佳帧间预测模式时,预测图像选择单元84向帧间预测单元83通知关于在最佳帧间预测模式下生成的预测图像的选择。结果,帧间预测单元83将帧间预测模式信息、对应的运动向量和用于指定参考图像的信息输出到无损编码单元74。
然后,在步骤S33,无损编码单元74基于AMVP等来预测帧间预测单元83提供的运动向量,并生成预测向量与实际的运动向量之间的差作为运动向量信息。此时,在AMVP中被确定为预测向量的运动向量的预测块被限制于与运动向量信息的预测块的分块相同的分块内的任何预测块。
在步骤S34,无损编码单元74对帧间预测单元83提供的帧间预测模式信息、用于指定参考图像的信息和运动向量信息执行无损编码,并确定所获得的信息作为编码信息。然后,处理进行到步骤S36。
另一方面,当在步骤S32中确定最佳预测模式不是最佳帧间预测模式时,换言之,当最佳预测模式是最佳帧内预测模式时,预测图像选择单元84向帧内预测单元82通知关于在最佳帧内预测模式下生成的预测图像的选择。结果,帧内预测单元82将帧内预测模式信息提供给无损编码单元74。
然后,在步骤S35,无损编码单元74对帧内预测单元82提供的帧内预测模式信息执行差编码(differential encoding),并且还对所得到的信息执行无损编码,以提供所获得的信息以作为编码信息。然后,处理进行到步骤S36。
在步骤S36,计算单元71从分割单元53提供的编码目标图像中减去预测图像选择单元84提供的预测图像。计算单元71将作为减法结果获得的图像输出到正交变换单元72,以作为残差信息。
在步骤S37,正交变换单元72对从计算单元71接收的残差信息执行正交变换,并将作为正交变换的结果而获得的系数提供给量化单元73。
在步骤S38,量化单元73对正交变换单元72提供的系数进行量化。量化系数被输入到无损编码单元74和逆量化单元76。
在步骤S39,无损编码单元74对量化单元73量化并提供的系数进行无损编码。无损编码单元74根据作为无损编码的结果获得的信息以及通过步骤S34或S35中的处理生成的编码信息来生成编码数据。
在图14中的步骤S40中,无损编码单元74将编码数据提供给存储缓冲器75,并允许存储缓冲器75存储数据。
在步骤S41,存储缓冲器75将所存储的编码数据输出到设置单元55(图3)。
在步骤S42,逆量化单元76对量化单元73提供的量化系数执行逆量化。
在步骤S43,逆正交变换单元77对逆量化单元76提供的系数执行逆正交变换,并将作为逆正交变换的结果获得的残差信息提供给加法单元78。
在步骤S44,加法单元78将逆正交变换单元77提供的残差信息相加到预测图像选择单元84提供的预测图像,以获得针对针对分块的每个单元局部解码的解码图像。加法单元78将针对分块的每个单元的获得的解码图像提供给去块滤波器79,并将解码图像提供给DPB 80。
在步骤S45,去块滤波器79针对分块的每个单元对由加法单元78提供的、针对分块的每个单元局部解码的解码图像执行滤波。去块滤波器79将针对分块的每个单元的作为滤波结果获得的解码图像提供给DPB 80。
在步骤S46,DPB 80存储滤波前和滤波后的针对分块的每个单元的解码图像。更具体地,DPB 80存储加法单元78提供的针对分块的每个单元的解码图像、以及去块滤波器79提供的针对分块的每个单元的解码图像。存储在DPB 80中的针对分块的每个单元的解码图像经由开关81被输出到帧内预测单元82或帧间预测单元83以作为参考图像。然后,处理返回到图12中的步骤S14,并进行到步骤S15。
此外,根据图13和图14中的编码处理,为了简化描述,总是执行帧内预测以及运动预测和运动补偿二者。然而,在实际情况下,根据图片类型或其它情况仅可以执行这些处理中的仅任一个处理。
如本文所讨论的,编码装置50在分块内执行运动预测,并通过使用编码目标图像以及在与编码目标图像的时间不同的时间处的参考图像来生成运动向量。因此,允许针对每个分块在时间方向上独立编码。
此外,虽然编码装置50设置有用于对各分块的图像进行编码的N个编码单元54,但是编码装置50也可以设置有仅一个编码单元。在这种情况下,编码单元具有存储针对每个分块的解码图像的DPB,并在从较小编号到较大编号的方向上以分块ID编号的顺序(即光栅扫描的顺序)按每个分块对图像进行编码。
(第一实施例中的解码装置的构成示例)
图15是示出根据第一实施例应用本技术的解码装置的构成示例的框图。该解码装置对从图3中的编码装置50传送的编码流进行解码。
图15中的解码装置90包括接收单元91、提取单元92、分割单元93、解码单元94-1至94-N、屏幕重排缓冲器95、以及D/A转换单元96。
解码装置90的接收单元91接收从编码装置50传送的编码流,并将编码流提供给提取单元92。
提取单元92从编码流提取SPS、PPS、VUI、APS、编码数据等,并将提取提供给分割单元93。此外,提取单元92将包含在SPS和PPS中的分块分割信息提供给屏幕重排缓冲器95。
分割单元93基于提取单元92提供的VUI中所包含的分块可分割信息以及SPS和PPS中所包含的分块分割信息来将编码数据分割成分块单元。分割单元93针对每个分块,将作为分割结果获得的N个分块的编码数据提供给解码单元94-1至94-N。此外,分割单元93将提取单元92提供的SPS、PPS、APS等提供给解码单元94-N。
解码单元94-1至94-N中的每个在参考分割单元93提供的SPS、PPS、APS等的情况下,通过对应于HEVC***的***对分割单元93提供的对应分块的编码数据进行解码。换言之,解码单元94-1至94-N在参考SPS、PPS、APS等的情况下,针对每个分块在时间方向上独立地对编码数据进行解码。解码单元94-1至94-N将作为解码结果获得的解码图像提供给屏幕重排缓冲器95。在以下描述中,解码单元94-1至94-N在不特别需要区分时被统称为解码单元94。
屏幕重排缓冲器95基于提取单元92提供的分块分割信息,通过重排各个解码图像并以每个帧为单位存储各个解码图像,来合成解码单元94-1至94-N提供的各个分块的解码图像。屏幕重排缓冲器95将被定位成编码顺序的以每个帧为单位的存储的图像重排在使得各个图像被定位成原始显示顺序的位置处,并且屏幕重排缓冲器95将重排的图像提供给D/A转换单元96。
D/A转换单元96对屏幕重排缓冲器95提供的以每个帧为单位的图像执行D/A转换,并提供转换后的图像作为输出信号。
(解码单元的构成示例)
图16是示出根据第一实施例的图15中的解码单元94的构成示例的框图。
图16中的解码单元94包括存储缓冲器101、无损解码单元102、逆量化单元103、逆正交变换单元104、加法单元105、去块滤波器106、DPB107、开关108、帧内预测单元109、运动补偿单元110和开关111。
解码单元94的存储缓冲器101接收图15中的分割单元93提供的对应分块的编码数据,并存储接收的数据。存储缓冲器101将存储的编码数据提供给无损解码单元102。
无损解码单元102针对从存储缓冲器101接收的编码数据执行诸如可变代码字长度解码和算术解码的无损解码,以获得量化系数和编码信息。无损解码单元102将量化系数提供给逆量化单元103。
此外,无损解码单元102通过将作为编码信息的差编码后的帧内预测模式信息相加到与同一分块内的当前预测块邻近的预测块的帧内预测模式信息,来获得当前预测块的帧内预测模式信息。无损解码单元102将当前帧内预测模式信息等提供给帧内预测单元109。
此外,无损解码单元102用作运动向量生成单元,并通过将作为编码信息的运动向量信息相加到同一分块内的另一预测块的运动向量来计算当前预测块的运动向量。无损解码单元102将获得的运动向量、作为编码信息的用于指定参考图像的信息、帧间预测模式信息等提供给运动补偿单元110。此外,无损解码单元102将帧内预测模式信息或帧间预测模式信息提供给开关111。
逆量化单元103、逆正交变换单元104、加法单元105、去块滤波器106、DPB 107、开关108、帧内预测单元109和运动补偿单元110执行与图4中的逆量化单元76、逆正交变换单元77、加法单元78、去块滤波器79、DPB 80、开关81、帧内预测单元82和运动补偿单元83的对应操作类似的操作。通过这些操作对图像进行解码。
更具体地,逆量化单元103对无损解码单元102提供的量化系数执行逆量化,并将作为逆量化的结果获得的系数提供给逆正交变换单元104。
逆正交变换单元104对从逆量化单元103接收的系数执行逆正交变换,并将作为逆正交变换的结果获得的残差信息提供给加法单元105。
加法单元105用作解码单元,并将逆正交变换单元104提供的作为解码目标图像的残差信息相加到开关111提供的预测图像,以用于进行解码。加法单元105将作为解码的结果获得的解码图像提供给去块滤波器106,并将解码图像提供给DPB 107。当开关111没有提供预测图像时,加法单元105将对应于逆正交变换单元104提供的残差信息的图像作为解码图像提供给去块滤波器106,并将图像提供给DPB 107并允许DPB 107存储图像。
去块滤波器106基于分割单元93提供的SPS和PPS中包含的去块滤波信息,通过执行针对分块的每个单元的加法单元105提供的解码图像的滤波来去除块失真。去块滤波器106将作为滤波的结果获得的解码图像提供给DPB 107并允许DPB 107存储图像,并将该图像提供给图15中的屏幕重排缓冲器95。经由开关108读取存储在DPB 107中的对应分块的解码图像作为参考图像,并将其提供给运动补偿单元110或帧内预测单元109。
帧内预测单元109通过使用经由开关108从DPB 107读取的、未经去块滤波器106滤波的、且包含在与解码目标图像的分块相同的分块内的参考图像,在由帧内预测模式信息指示的最佳帧内预测模式下执行帧内预测。帧内预测单元109将作为帧内预测的结果生成的预测图像提供给开关111。
运动补偿单元110基于无损解码单元102提供的用于指定参考图像的信息,经由开关108从DPB 107读取包含在与解码目标图像的帧不同的帧中、包含在与解码目标图像的分块相同的分块中且经去块滤波器106滤波的参考图像。换言之,运动补偿单元110基于用于指定参考图像的信息,从DPB 107读取包含在同位分块中的参考图像。
运动补偿单元110基于运动向量,通过在帧间预测模式信息指示的最佳帧间预测模式下执行参考图像的运动补偿,来在最佳帧间预测模式下执行帧间预测。运动补偿单元110将作为帧间预测的结果生成的预测图像提供给开关111。
当无损解码单元102提供帧内预测模式信息时,开关111将帧内预测单元109提供的预测图像提供给加法单元105。另一方面,当无损解码单元102提供帧间预测模式信息时,开关111将运动补偿单元110提供的预测图像提供给加法单元105。
(解码装置执行的处理的概况的描述)
图17是描述图15中的解码装置90执行的处理的概况的图。
如图17所示,将被分成N个分块并被编码的编码流从编码装置50输入到解码装置90。此外,对于该编码流,分块可分割信息被设置为真(1)。
解码装置90接收编码流,从编码流提取SPS、PPS、VUI、APS、编码数据等,并基于包含在SPS和PPS中的分块分割信息将编码数据分割成分块单元。针对每个分块,将通过分割获得的针对每个分块的编码数据提供给对应的解码单元94-1至94-N。更具体地,分块#1、分块#2直至分块#N的编码数据中的每个被提供给对应的解码单元94-1、解码单元94-2直至解码单元94-N。
解码单元94-1由解码处理单元121-1和DPB 122-1构成。解码处理单元121-1包括解码单元94-1的存储缓冲器101、无损解码单元102、逆量化单元103、逆正交变换单元104、加法单元105、去块滤波器106、DPB107、开关108、帧内预测单元109、运动补偿单元110、以及开关111(图16)。解码处理单元121-1对分块#1的编码数据进行解码。
此外,DPB 122-1由解码单元94-1的DPB 107构成,并存储作为解码处理单元121-1的解码结果获得的分块#1的解码图像。存储在DPB 122-1中的分块#1的解码图像用于解码处理单元121-1进行解码。
解码单元94-2至94-N中的每个具有与解码单元94-1的结构相似的构成。因此,分块#2至分块#N的解码图像被分别存储在DPB 122-2至122-N中。
此外,解码处理单元121-1至121-N获得的分块#1至分块#N的解码图像还被提供给屏幕重排缓冲器95,并基于分块分割信息通过重排被合成,并以每个帧为单位被存储。
如上面所讨论的,通过使用对应分块的解码图像独立地对针对每分个块的编码数据进行解码。因此,解码装置90不需要包括针对所有分块保存解码图像的共同的解码DPB。
(解码装置执行的处理的描述)
图18是描述图15中的解码装置90执行的编码流解码处理的流程图。
在图18中的步骤S61中,解码装置90的接收单元91接收从编码装置50传送的编码流,并将编码流提供给提取单元92。
在步骤S62中,提取单元92从编码流提取SPS、PPS、VUI、APS、编码数据等,并将提取提供给分割单元93。此外,提取单元92将包含在SPS和PPS中的分块分割信息提供给屏幕重排缓冲器95。
在步骤S63中,分割单元93确定提取单元92提供的VUI中所包含的分块可分割信息是否为真(1)。当分块可分割信息不为真(1)时,即当分块可分割信息为假(0)时,分割单元93结束处理。
另一方面,当在步骤S63中确定分块可分割信息为真(1)时,在步骤S64中分割单元93基于包含在分割单元93、SPS和PPS中的分块可分割信息,将编码数据分割成分块单元。
在步骤S65中,分割单元93将各分割的N个分块的编码数据提供给对应的解码单元94-1至94-N。此外,分割单元93将提取单元92提供的SPS、PPS等提供给解码单元94-N。
在步骤S66中,解码单元94在参考分割单元93提供的SPS、PPS等的情况下,通过对应于HEVC***的***对分割单元93提供的对应分块的编码数据执行解码。将参照稍后讨论的图19描述该解码处理的细节。
在步骤S67中,屏幕重排缓冲器95基于提取单元92提供的分块分割信息,通过重排各个解码图像并以每个帧为单位存储各个解码图像,来合成解码单元94-1至94-N提供的各个分块的解码图像。
在步骤S68中,屏幕重排缓冲器95将被定位成编码顺序的以每个帧为单位存储的图像重排在使得各个图像被定位成原始显示顺序的位置,并将重排的图像提供给D/A转换单元96。
在步骤S69中,D/A转换单元96对屏幕重排缓冲器95提供的以每个帧为单位的图像执行D/A转换,并输出转换后的图像作为输出信号。
图19是描述在图18中的步骤S66中执行的解码处理的流程图。
在图19中的步骤S100中,解码单元94的存储缓冲器101从图15中的分割单元93接收对应分块的编码数据,并存储数据。存储缓冲器101将存储在其中的编码数据提供给无损解码单元102。此外,例如针对每个CU单位执行从S101至S110的以下处理。
在步骤S101中,无损解码单元102对从存储缓冲器101接收的编码数据执行无损解码,并获得量化系数和编码信息。无损解码单元102将量化系数提供给逆量化单元103。
此外,无损解码单元102通过将作为编码信息的差编码后的帧内预测模式信息相加到相同分块内的与当前块邻近的预测块的帧内预测模式信息,来获得当前预测块的帧内预测模式信息。无损解码单元102将当前预测块的帧内预测模式信息提供给帧内预测单元109和开关111。
在步骤S102中,无损解码单元102通过将作为编码信息的运动向量信息相加到同一分块内的另一预测块的运动向量,来生成当前预测块的运动向量。无损解码单元102将所生成的运动向量、作为编码信息的用于指定参考图像的信息、帧间预测模式信息等提供给运动补偿单元110。此外,无损解码单元102将帧间预测模式信息提供给开关111。
在步骤S103中,逆量化单元103对从无损解码单元102接收的量化系数执行逆量化,并将作为逆量化的结果获得的系数提供给逆正交变换单元104。
在步骤S104中,运动补偿单元110确定是否从无损解码单元102提供帧间预测模式信息。当在步骤S104中确定提供帧间预测模式信息时,处理进行到步骤S105。
在步骤S105中,运动补偿单元110基于无损解码单元102提供的运动向量、帧间预测模式信息和用于指定参考图像的信息,通过使用经去块滤波器106滤波的且包含在与解码目标图像的分块相同的分块中的参考图像,来执行运动补偿。运动补偿单元110经由开关111将作为运动补偿的结果而生成的预测图像提供给加法单元105,并允许处理进行到步骤S107。
另一方面,当在步骤S104中确定没有提供帧间预测模式信息时,即当帧内预测模式信息被提供给帧内预测单元109时,处理进行到步骤S106。
在步骤S106中,帧内预测单元109通过使用经由开关108从DPB 107读取的、未经去块滤波器106滤波的且位于与解码目标图像的分块相同的分块内的参考图像,来执行帧内预测处理,该帧内预测处理执行帧内预测模式信息的帧内预测。帧内预测单元109经由开关111将作为帧内预测的结果生成的预测图像提供给加法单元105,并允许处理进行到步骤S107。
在步骤S107中,逆正交变换单元104对从逆量化单元103接收的系数执行逆正交变换,并将作为逆正交变换的结果而获得的残差信息提供给加法单元105。
在步骤S108中,加法单元105通过将逆正交变换单元104提供的残差信息作为解码目标图像相加到开关111提供的预测图像,来执行解码。加法单元105将作为解码结果获得的解码图像提供给去块滤波器106,并且还将解码图像提供给DPB 107。
在步骤S109中,去块滤波器106基于分割单元93提供的SPS和PPS中包含的去块滤波信息,针对分块的每个单元对加法单元105提供的解码图像执行滤波。去块滤波器106将滤波后的解码图像提供给DPB 107和屏幕重排缓冲器95(图15)。
在步骤S110中,DPB 107存储加法单元105提供的滤波前的解码图像以及去块滤波器106提供的滤波后的解码图像。存储在DPB 107中的解码图像经由开关108被提供给运动补偿单元110或帧内预测单元109。然后,处理返回到图18中的步骤S66,并进行到步骤S67。
如上面所讨论的,解码装置90基于分块可分割信息和运动向量信息,通过使用位于与解码目标图像的时间不同的时间处且包含在与解码目标图像的分块相同的分块内的参考图像,针对每个分块执行运动补偿。因此,允许针对每个分块在时间方向上独立解码。结果,例如,解码装置90可以以高速仅再现N个分块中的预定分块。
此外,虽然解码装置90设置有用于对各个分块的图像进行解码的N个解码单元,但是解码装置90也可以设置有一个解码单元94。在这种情况下,解码单元包括针对每个分块存储解码图像的DPB,并按照分块ID编号的顺序(即按光栅扫描的顺序)沿着从较小编号到较大编号的方向针针对每个分块执行图像的解码。
<第二实施例>
(编码目标图像的示例)
图20是示出根据第二实施例应用本技术的编码装置的编码目标图像的示例的图。
如图20所示,编码目标图像是被形成为用于3D显示的3D图像的图像,包含布置在屏幕左半部的左眼图像(下文中被称作L图像)和布置在屏幕右半部的右眼图像(下文中被称作R图像)。
此外,如图20所示,编码目标图像被分块分割成用于L图像和R图像的不同的分块。结果,用于L图像的分块变为分块#0,而用于R图像的分块变为分块#1。
此外,3D图像的L图像和R图像可以分别布置在屏幕的上半部和下半部。
(第二实施例中的编码装置的构成示例)
根据第二实施例应用本技术的编码装置是将N设置为2的编码装置50。该编码装置对L图像和R图像独立编码,并传送作为编码结果获得的编码流。
(实施例中的用于2D图像的解码装置的构成示例)
图21是示出根据实施例的用于2D图像的解码装置的构成示例的框图。该装置对根据第二实施例的编码装置编码的3D图像的编码流进行解码。
在图21所示的构成中,对与图15中的构成相似的构成给出相似的附图标记。适当地省略相同的说明。
图21中的解码装置140的构成与图15中的构成的不同之处在于,设置了分块提取单元141来替代分割单元93以及设置了屏幕重排缓冲器142来替代屏幕重排缓冲器95。
分块提取单元141基于提取单元92提供的VUI中包含的分块可分割信息以及SPS和PPS中包含的分块分割信息,将编码数据分割成分块单元。分块提取单元141将两个分块的编码数据中包括的分块#1的编码数据提供给解码单元94-1。这里假设同使用L图像执行2D显示。然而,R图像也可用于执行2D显示。在这种情况下,不是分块#1的编码数据,而是分块#2的编码数据被提供给解码单元94-1。
屏幕重排缓冲器142以每个帧为单位存储解码单元94-1提供的分块#1的解码图像。屏幕重排缓冲器142将按编码顺序定位的以每个帧为单位的存储图像重排在使得图像被定位成原始显示顺序的位置,并将重排的图像提供给D/A转换单元96。
(用于2D图像的解码装置执行的处理的描述)
图22是描述图21中的解码装置140执行的编码流解码处理的流程图。
图22中从步骤S131至S134执行的处理与图18中从步骤S61至S64的对应处理类似;因此,省略这些步骤的说明。
在步骤S135中,分块提取单元141将包括在分割的两个分块的编码数据中的分块#1的编码数据提供给解码单元94-1。在步骤S136中,解码单元94-1执行图19中的解码。
在步骤S137中,以每个帧为单位存储解码单元94-1提供的分块#1的解码图像。
步骤S138和S139中的处理与图18中的步骤S68和S69中的处理相似;因此,省略这些步骤的说明。
如上面讨论的,当编码流是被分块分割以提供不同的L图像和R图像并被编码的编码流时,允许L图像和R图像的独立编码。因此,解码装置140可以仅对解码目标编码数据中包括的分块#1的L图像的编码数据进行解码。结果,实现了2D图像的高速再现。此外,解码装置140允许在解码时减小DPB的容量以及减小功耗。
类似地,当编码流是被分块分割成屏幕内的中央区域和其它区域的编码流时,允许给予关注的仅中央区域的高速再现。
(用于3D图像的解码装置的构成示例)
用于对3D图像编码流进行解码的图20所示的用于3D图像的解码装置在图15中是将N设置为2的解码装置。该3D图像解码装置通过对用于L图像和R图像的编码数据独立解码并合成解码数据,来获得3D图像。此外,用于3D图像的解码装置可以被形成以输出作为解码的结果获得的L图像和R图像,而不合成这些图像。
此外,虽然根据第二实施例L图像和R图像中的每个图像被分割成一个分块,但是这些图像中的每个可以被分割成多个分块。换言之,可以以任何方式分割分块,只要分块被分割成不包含L图像和R图像二者。
<第三实施例>
(电视会议***的构成示例)
图23是示出根据实施例应用本技术的电视会议***的构成示例的框图。
图23中的电视会议***160包括成像装置161-1至161-M、编码装置162-1至162-M、合成装置163、解码装置164-1至164-M、以及显示装置165-1至165-M。电视会议***160捕获位于不同位置处的会议的M个参与方的图像,对图像进行编码和合成,并对图像进行解码和显示。
更具体地,电视会议***160的成像装置161-1至161-M位于会议的M个参与方的各个位置处。成像装置161-1至161-M捕获会议的对应参与方的图像,并将图像提供给编码装置162-1至162-M。
编码装置162-1至162-M中的每个具有与图3中的编码装置50的结构相似的构成。编码装置162-1至162-M通过对应于HEVC***的***针对每个分块独立地对成像装置161提供的图像进行压缩编码。编码装置162-1至162-M中的每个将作为压缩编码的结果获得的编码流提供给合成装置163。
合成装置163接收从编码装置162-1至162-M传送的编码流。合成装置163合成包含在合成流中的每个编码数据,作为不同分块的编码数据。合成装置163根据作为合成的结果获得的编码数据来生成分块分割信息,该分块分割信息指示各个分块的编码数据的位置并将M表示为分隔数目。合成装置163设置包含被设置为假(0)的分块分割信息和去块滤波信息的SPS。此外,合成装置163设置包含被设置为假(0)的运动限制信息的VUI,包含被设置为假(0)的去块滤波信息的PPS,以及APS。合成装置163通过将SPS、PPS、VUI、APS等相加到作为合成的结果获得的编码数据而生成合成流。合成装置163将合成流传送到解码装置164-1至164-M。
解码装置164-1至164-M中的每个具有与图15中的解码装置90的结构相似的构成。解码装置164-1至164-M中的每个接收从合成装置163传送的合成流。解码装置164-1至164-M中的每个针对每个分块对合成流独立解码,并将作为解码结果获得的解码图像提供给显示装置165-1至165-M中的对应的显示装置。
各个显示装置165-1至165-M被布置在会议的M个参与方的对应位置处。显示装置165-1至165-M显示解码装置164-1至164-M提供的解码图像。
此外,根据电视会议***160,显示装置165-1至165-M被布置在会议的M个参与方的对应位置处。然而,显示装置可以布置在会议的M个参与方的一部分的位置处。此外,解码图像可以被显示在不参与会议的人员的显示装置上。
如上面所讨论的,根据电视会议***160,编码装置162-1至162-M针对每个分块独立地执行编码。因此,帧间预测下的运动向量总是变为将包含预测块的分块内的图像指派为参考图像的向量。
在这种情况下,即使当编码装置162-1至162-M提供的编码位流中包含的编码数据被合成装置163按原样合成以作为一个屏幕的编码数据的一部分时,在解码时不参考对应于编码数据的合成后的不同的编码装置的编码数据的解码图像。在这种情况下,允许合成后的编码数据的正常解码。因此,合成装置163可以容易地合成编码装置162-1至162-M提供的编码位流,而不会改变视频编码层(VCL)的层和更低层。
这一点对于电视会议***是特别有利的,其中要合成的编码位流的数目是通过在会议期间会议的新参与方加入或会议参与方移除而动态可变的。
此外,针对包含在合成流中的M个编码数据中的每个没有参考不同的编码数据的解码图像。因此,合成流可以再次被分割成包含各个编码数据的编码流。结果,容易地执行与合成流相关联的处理。
此外,根据前面的描述,针对每个分块独立地执行编码和解码。然而,针对每个条带可以独立地执行编码和解码。
此外,根据前面的描述,针对构成图片的所有分块,统一设置分块可分割信息。然而,可以针对每个分块独立设置分块可分割信息。
<VUI的另一示例>
图24是示出针对每个分块设置分块可分割信息时VUI的语法的另一示例的图。
当针对每个分块设置分块可分割信息时,如图24中的第5至7行所示针对VUI中的每个行设置按行方向(水平方向)排列的各个分块的分块可分割信息(tile_splittable_flag)。
在这种情况下,可以仅针对构成图片的分块内包含的分块的每个单元的预定分块执行编码和解码。例如,假设分块的数目为4,其中分块#1的分块可分割信息被设置为真(1),并且分块#2至#4的分块可分割信息被设置为假(0),允许仅分块#1的独立解码。
此外,当第1行的bitstream_restriction_flag为0时,解码侧基于有关针对所有分块的分块可分割信息被设置为假(0)的确定,针对每个分块识别不是所有分块都可解码。
<第四实施例>
(到多视图图像编码和多视图图像解码的应用)
上述一系列处理可应用于多视图图像编码和多视图图像解码。图25示出了多视图图像编码***的示例。
如图25所示,多视图图像包含多个视图的图像。多视图图像的多个视图由基本视图和非基本视图构成,基本视图用于使用仅其自己的视图的图像而不使用其它视图的图像来进行编码和解码,而非基本视图用于使用其它视图的图像进行编码和解码。非基本视图可以使用基本视图的图像,或可以使用其它非基本视图的图像。
为了如图25所示对多视图图像进行编码和解码,对各个视图的图像进行编码或解码。在这种情况下,上述第一至第三实施例中的方法可以应用于各个视图的编码和解码。当应用这些方法时,允许针对每个分块在时间方向上独立编码和解码。
此外,可以在对各个视图进行编码和解码时共享根据上述第一至第三实施例的方法中使用的标记和参数。更具体地,例如,可以在对各个视图进行编码和解码时共享SPS、PPS、VUI和APS的语法元素等。不必说,在对各个视图进行编码和解码时可以共享除了这些之外的必要信息。
当共享这些信息时,实现了冗余信息传送的抑制以及要传送的信息(代码量)的量的减小(即,抑制编码效率的降低)。
(多视图图像编码装置)
图26是示出执行前述多视图图像编码的多视图图像编码装置的图。如图26所示,多视图图像编码装置600包括编码单元601、编码单元602和复用单元603。
编码单元601对基本视图图像进行编码,并生成基本视图图像编码流。编码单元602对非基本视图图像进行编码,并生成非基本视图图像编码流。复用单元603将编码单元601生成的基本视图图像编码流和编码单元602生成的非基本视图图像编码流复用,并生成多视图图像编码流。
编码装置50(图3)和编码装置162-1至162-M(图23)可应用于该多视图图像编码装置600的编码单元601和编码单元602。换言之,在对各个视图进行编码时,允许针对每个分块在时间方向上独立编码。此外,编码单元601和编码单元602可以使用相同的标记和参数(例如,图像之间的处理相关的语法元素)执行编码(即,可以在编码单元601和602之间共享标记和参数)。因此,可以抑制编码效率的降低。
(多视图图像解码装置)
图27是示出执行前面的多视图图像解码的多视图解码装置的图。如图27所示,多视图图像解码装置610具有逆复用单元611、解码单元612和解码单元613。
逆复用单元611对通过复用基本视图图像编码流和非基本视图图像编码流而生成的多视图图像编码流进行逆复用,并提取基本视图图像编码流和非基本视图图像编码流。解码单元612对逆复用单元611提取的基本视图图像编码流进行解码,并获得基本视图图像。解码单元613对逆复用单元611提取的非基本视图图像编码流进行解码,并获得非基本视图图像。
解码装置90(图15)、解码装置140(图21)或解码装置164-1至164-M(图23)可应用于该多视图图像解码装置610的解码单元612和解码单元613。换言之,在对各个视图进行解码时,允许针对每个分块在时间方向上独立解码。此外,解码单元612和解码单元613可以使用相同的标记和参数(例如,图像之间的处理相关的语法元素)执行解码(即,可以在解码单元612和613之间共享标记和参数)。因此,可以抑制编码效率的降低。
<第五实施例>
(到分层图像编码和分层图像解码的应用)
上述系列处理可应用于分层图像编码和分层图像解码(可伸缩编码和可伸缩解码)。图28示出分层图像编码***的示例。
分层图像编码(可伸缩编码)将图像数据分割成多个层(层级)以使得预定参数具有可伸缩功能,并对每个层进行编码。分层图像解码(可伸缩解码)是与该分层图像编码对应的解码。
如图28所示,在将图像分层时,基于具有可伸缩性功能的预定参数将一个图像分成多个图像(层)。换言之,层级化图像(分层图像)包含多个层级(层)的图像,每个层级对于预定参数而言具有彼此不同的参数值。分层图像的这些多个层由基本层和非基本层(也被称作增强层)构成,基本层用于仅使用其自己的层的图像而不使用其它层的图像进行编码和解码,非基本层用于使用其它层的图像进行编码和解码。非基本层可以使用基本层的图像,或可以使用其它非基本层的图像。
一般而言,非基本层由其自己的图像与其它层的图像之间的差图像的数据(差数据)构成,以用于减少冗余。例如,当一个图形被分成基本层和非基本层(也被称作增强层)两个层级时,仅基于基本层的数据形成具有比原始图像的质量更低的质量的图像。另一方面,当合成基本层的数据和非基本层的数据时,可以形成原始图像(即,高质量图像)。
当以这种方式将图像层级化时,图像的质量会根据情况轻易改变。例如,在具有低处理能力的终端(诸如蜂窝电话)的情况下,仅基本层的图像压缩信息被传送以形成例如具有低时空分辨率或具有低图像质量的动态图像。在具有高处理能力的终端(诸如电视和个人计算机)的情况下,除了基本层之外的增强层的图像压缩信息被传送以形成例如具有高时空分辨率或具有高质量的动态图像。在这种情况下,可以从服务器传送与终端或网络的能力一致的图像压缩信息,而无需执行转码处理。
在如图28的示例所示对分层图像进行编码和解码时,对各个层的图像进行编码和解码。在这种情况下,根据第一至第三实施例的方法可应用于各个层的编码和解码。当应用这些方法时,允许针对每个分块在时间方向上独立编码和解码。
此外,可以在各个层的编码和解码时共享在根据上述第一至第三实施例的方法中使用的标记和参数。更具体地,例如,可以在各个层的编码和解码时共享SPS、PPS、VUI和APS的语法元素等。不必说,也可以在各个层的编码和解码时共享除了这些信息之外的必要的信息。
当共享这些信息时,可以实现冗余信息传送的抑制以及要传送的信息量(代码量)的减少(即,可以抑制编码效率降低)。
(可伸缩参数)
根据这些分层图像编码和分层图像解码(可伸缩编码和可伸缩解码),具有可伸缩性(scalability)功能的参数是任意参数。例如,图29所示的空间分辨率可以被确定为参数(空间可伸缩性)。在空间可伸缩性(spatial scalability)的情况下,图像的分辨率针对每个层是可变的。更具体地,在这种情况下,每个图片被分割成基本层和增强层这两类层级,基本层具有比原始图像的分辨率更低的空间分辨率,而增强层在如图29所示与基本层合成时获得原始空间分辨率。不必说,该层级的数目是一个示例,并且层级的数目可以是任意数目。
替选地,例如,具有该可伸缩性的参数可以是如图30所示的时间分辨率(时间可伸缩性)。在该时间可伸缩性(temporal scalability)的情况下,帧率对于每个层是可变的。更具体地,在该情况下,每个图片被分割成基本层和增强层这两类层级,基本层具有比原始图像的帧率更低的帧率,而增强层在如图30所示与基本层合成时获得原始帧率。不必说,该层级的数目是一个示例,并且层级的数目可以是任意数目。
此外,具有该可伸缩性的参数可以是例如信噪比(Signal to Noise ratio(SNR))(SNR可伸缩性)。在该SNR可伸缩性的情况下,SNR比率对于每个层是可变的。更具体地,在这种情况下,每个图片被分割成基本层和增强层这两类层级,基本层具有比原始图像的SNR更低的SNR,而增强层在如图31所示与基本层合成时获得原始SNR。不必说,该层级的数目是一个示例,并且层级的数目可以是任意数目。
显然,具有可伸缩性的参数可以是除了上述参数之外的参数。例如,具有可伸缩性的参数可以是位深度(位深度可伸缩性)。在该位深度可伸缩性的情况下,位深度对于每个层是可变的。在这种情况下,每个基本层例如由8位图像构成。增强层被加到该图像上,以获得10位(bit)图像。
此外,具有可伸缩性的参数可以是色度格式(色度可伸缩性)。在该色度可伸缩性的情况下,色度格式对于每个层是可变的。在这种情况下,每个基本层(base layer)由例如具有4:2:0格式的分量图像构成。将增强层加到该层上以获得具有4:2:2格式的分量图像。
(分层图像编码装置)
图32示出了执行前面的分层图像编码的分层图像编码装置。如图32所示,分层图像编码装置620包括编码单元621、编码单元622和复用单元623。
编码单元621对基本层图像进行编码,并生成基本层图像编码流。编码单元622对非基本层图像进行编码,并生成非基本层图像编码流。复用单元623对编码单元621生成的基本层图像编码流和编码单元622生成的非基本层图像编码流进行复用,并生成分层图像编码流。
编码装置50(图3)和编码装置162-1至162-M(图23)可应用于该分层图像编码装置620的编码单元621和编码单元622。换言之,在对各个层进行编码时,允许针对每个分块在时间方向上独立编码。此外,编码单元621和编码单元622可以使用相同的标记和参数(例如,图像之间的处理相关的语法元素)来执行用于帧内预测等的滤波的控制(即可以在编码单元621和622之间共享标记和参数)。因此,可以抑制编码效率的降低。
(分层图像解码装置)
图33是示出执行前面的分层图像解码的分层图像解码装置的图。如图33所示,分层图像解码装置630包括逆复用单元631、解码单元632和解码单元633。
逆复用单元631对通过复用基本层图像编码流和非基本层图像编码流而生成的分层图像编码流执行逆复用,并提取基本层图像编码流和非基本层图像编码流。解码单元632对逆复用单元631提取的基本层图像编码流进行解码,并获得基本层图像。解码单元633对逆复用单元631提取的非基本层图像编码流进行解码,并获得非基本层图像。
解码装置90(图15)、解码装置140(图21)或解码装置164-1至164-M(图23)可应用于该分层图像解码装置630的解码单元632和解码单元633。换言之,在对各个层进行解码时,允许针对每个分块在时间方向上独立解码。此外,解码单元612和解码单元613可以使用相同的标记和参数(例如,图像之间的处理相关的语法元素)执行解码(即,可以在解码单元612和613之间共享标记和参数)。因此,可以抑制编码效率的降低。<第六实施例>
(应用本技术的计算机的描述)
前述系列处理可以由硬件执行,或可以由软件执行。当该系列处理由软件执行时,构成软件的程序安装在计算机中。该计算机的示例包括并入专用硬件中的计算机,能够以其中安装的各种程序执行各种功能的通用计算机等。
图34是示出以程序执行前述系列处理的计算机的硬件的构成示例的框图。
在该计算机中,中央处理单元(CPU)801、只读存储器(ROM)802和随机存取存储器(RAM)803经由总线804而彼此连接。
输入/输出接口805还与总线804连接。输入单元806、输出单元807、存储单元808、通信单元809和驱动器810与输入/输出接口805连接。
输入单元806由键盘、鼠标、麦克风等构成。输出单元807由显示器、扬声器等构成。存储单元808由硬盘、非易失性存储器等构成。通信单元809由网络接口等构成。驱动器810驱动可移除介质811,可移除介质811具有磁盘、光盘、磁光盘、半导体存储器等形式。
根据所构成的计算机,例如,前述系列处理由CPU 801执行,CPU 801将存储在存储单元808中的程序经由输入/输出接口805和总线804加载到RAM 803,并执行程序。
例如,计算机(CPU 801)执行的程序可以记录在作为封装介质等的可移除介质811上,并设置为可移除介质811的形式。此外,程序可以经由有线或无线传输介质(诸如局域网、因特网和数字卫星广播)来提供。
根据计算机,程序可以经由输入/输出接口805从附接到驱动器810的可移除介质811安装到存储单元808中。替选地,程序可以由通信单元809经由有线或无线传输介质来接收,并安装在存储单元808中。替代地,程序也可以预先安装在ROM 802或存储单元808中。
此外,计算机要执行的程序可以是下述程序:按照该程序,按本说明书中描述的顺序以时间序列执行处理,或并行执行处理,或在必要时(诸如在访问时)执行处理。
<第七实施例>
(电视机的构成示例)
图35示出了应用本技术的电视机的一般结构的示例。电视机900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908和外部接口单元909。电视机900还包括控制单元910、用户接口单元911等。
调谐器902从天线901接收的广播波信号选择期望的频道,解调所选择的频道,并将所获得的编码位流输出到解复用器903。
解复用器903从编码位流提取要观看的节目的图片和声音的分组,并将所提取的分组的数据输出到解码器904。此外,解复用器903将诸如电子节目指南(EPG)的数据分组提供给控制单元910。在加扰时,通过使用解复用器等取消加扰。
解码器904对分组执行解码,并将通过解码生成的视频数据输出到视频信号处理单元905,并将音频数据输出到音频信号处理单元907。
视频信号处理单元905根据用户设置来执行视频数据的处理,诸如噪声消除、图片处理等。视频信号处理单元905生成要显示在显示单元906上的节目的图像数据、通过在经由网络提供的应用下执行的处理产生的图像数据等。此外,视频信号处理单元905生成用于显示允许项目选择等的菜单屏幕的视频数据,并将生成的视频数据叠加在节目的视频数据上。视频信号处理单元905基于所生成的视频数据来生成驱动信号,并驱动显示单元906。
显示单元906根据从视频信号处理单元905接收的驱动信号来驱动显示装置(诸如液晶显示元件),以显示节目的图片等。
音频信号处理单元907执行音频数据的预定处理(诸如噪声消除),对处理后的音频数据执行D/A转换和放大,并将结果提供给扬声器908以输出声音。
外部接口单元909是与外部装置或网络连接的接口。外部接口单元909传送和接收诸如视频数据和音频数据的数据。
用户接口单元911与控制单元910连接。用户接口单元911由操作开关、远程控制信号接收单元等构成,并将对应于用户操作的操作信号提供给控制单元910。
控制单元910由中央处理单元(CPU)、存储器等构成。存储器存储CPU执行的程序、CPU执行处理所需要的各种数据、EPG数据、经由网络获得的数据等。在诸如打开电视机900的预定时间处,CPU读取并执行存储在存储器中的程序。CPU通过执行程序以使得电视机900根据用户操作而进行操作,控制各个部分。
此外,电视机900设置有总线912,通过该总线912控制单元910与调谐器902、解复用器903、视频信号处理单元905、音频信号处理单元907、外部接口单元909等连接。
根据所构成的电视机,解码器904设置有本申请的解码装置(解码方法)的功能。因此,允许针对每个分块在时间方向上独立解码。
<第八实施例>
(蜂窝电话的构成示例)
图36示出应用本技术的蜂窝电话的一般结构的示例。蜂窝电话920包括通信单元922、音频编解码器923、摄像单元926、图像处理单元927、复用分割单元928、记录和再现单元929、显示单元930、以及控制单元931。这些单元经由总线933而彼此连接。
天线921与通信单元922连接,而扬声器924和麦克风925与音频编解码器923连接。此外,操作单元932与控制单元931连接。
蜂窝电话920在各种模式(包括音频通信模式和数据通信模式)下执行各种类型的操作,诸如信号的传送和接收、电子邮件和图像数据的传送和接收、成像、数据记录等。
在音频通信模式下,麦克风925生成的音频信号被音频编解码器923转换成音频数据并对其进行数据压缩,并将其提供给通信单元922。通信单元922执行音频数据的调制、频率变换和其它处理,并生成传送信号。此外,通信单元922将传送信号提供给天线921以将传送信号传送到未示出的基站。此外,通信单元922对天线921接收的接收信号执行放大、频率变换、解调和其它处理,并将所获得的音频数据提供给音频编解码器923。音频编解码器923扩展音频数据的数据,并将音频数据转换成模拟音频信号,并将结果输出到扬声器924。
此外,对于在数据通信模式下的邮件传送,控制单元931接收通过操作单元932的操作输入的字符数据,并在显示单元930上显示输入的字符。此外,控制单元931基于通过操作单元932得到的用户指示等来生成邮件数据,并将该数据提供给通信单元922。通信单元922执行邮件数据的调制、频率变换等,并经由天线921传送所获得的传送信号。此外,通信单元922对天线921接收的接收信号执行放大、频率变换、解调等,以恢复邮件数据。所获得的邮件数据被提供给显示单元930,以显示邮件的内容。
此外,蜂窝电话920可以使用记录和再现单元929将接收的邮件数据存储在存储器介质中。存储器介质是任意可重写的存储器介质。例如,存储器介质是可移除介质,诸如包括RAM和嵌入式闪存的半导体存储器、硬盘、磁盘、磁光盘、光盘、USB存储器和存储卡。
为了在数据通信模式下传送图像数据,摄像单元926生成的图像数据被提供给图像处理单元927。图像处理单元927对图像数据执行编码以生成编码数据。
复用分割单元928通过预定***将图像处理单元927生成的编码数据和音频编解码器923提供的音频数据复用,并将结果提供给通信单元922。通信单元922对复用数据执行调制、频率变换等,并将所获得的传送信号传送到天线921。此外,通信单元922对天线921接收的接收信号执行放大、频率变换、解调等,以恢复复用数据。该复用数据被提供给复用分割单元928。复用分割单元928将复用数据分割,并将编码数据提供给图像处理单元927,并将音频数据提供给音频编解码器923。图像处理单元927对编码数据执行解码,以生成图像数据。该图像数据被提供给显示单元930,以显示所接收的图像。音频编解码器923将音频数据转换成模拟音频信号,并将结果提供给扬声器924,以输出所接收的声音。
根据所构成的蜂窝电话,图像处理单元927设置有根据本申请的编码装置和解码装置(编码方法和解码方法)的功能。因此,允许针对每个分块在时间方向上独立编码和解码。
<第九实施例>
(记录和再现装置的构成示例)
图37示出应用本技术的记录和再现装置的一般结构的示例。例如,记录和再现装置940将接收的广播节目的音频数据和视频数据记录在记录介质上,并在对应于用户的指示的时间处向用户提供记录的数据。此外,例如,记录和再现装置940可以从另一装置获得音频数据和视频数据,并将这些数据记录在记录介质上。此外,记录和再现装置940可以通过对记录在记录介质上的音频数据和视频数据进行解码并输出结果,来实现从监视装置等的图像显示和声音输出。
记录和再现装置940包括调谐器941、外部接口单元942、编码器943、硬盘驱动器(HDD)单元944、盘驱动器945、选择器946、解码器947、屏幕上显示(OSD)单元948、控制单元949、以及用户接口单元950。
调谐器941从未示出的天线接收的广播信号选择期望的频道。调谐器941将通过对期望的频道的接收信号进行解调获得的编码位流输出到选择器946。
外部接口单元942由至少IEEE 1394接口、网卡接口单元、USB接口、闪存接口等中的任一个构成。外部接口单元942是用于与外部装置、网络、存储卡等连接的接口,并接收要记录的数据,诸如视频数据和音频数据。
在没有对外部接口单元942提供的视频数据和音频数据进行编码时,编码器943通过预定的***执行编码,并将编码位流输出到选择器946。
例如,HDD单元944将诸如图片和声音、各种类型的程序、其它数据等内容数据记录在嵌入式硬盘上,并在再现时从对应的硬盘读取这些内容。
盘驱动器945将信号记录在附接的光盘上,并从光盘再现信号。光盘是DVD盘(例如,DVD-视频、DVD-RAM、DVD-RW、DVD+R、DVD+RW)、蓝光(注册商标)盘等。
选择器946在记录图片或声音时从调谐器941或解码器943选择编码位流中的任一个,并将所选择的位流提供给HDD单元944或盘驱动器945。此外,选择器946将从HDD单元944或盘驱动器945输出的编码位流提供给解码器947。
解码器947对编码位流执行解码。解码器947将通过解码生成的视频数据提供给OSD单元948。此外,解码器947输出通过解码生成的音频数据。
OSD单元948生成用于显示与项目选择等相关联的菜单屏幕的视频数据,将视频数据叠加在从解码器947输出的视频数据上,并输出结果。
用户接口单元950与控制单元949连接。用户接口单元950由操作开关、远程控制信号接收单元等构成,并将对应于用户操作的操作信号提供给控制单元949。
控制单元949由CPU、存储器等构成。存储器存储CPU执行的程序以及CPU执行处理所需要的各种数据。在诸如启动记录和再现装置940的预定时间处CPU读取并执行存储在存储器中的程序。CPU通过执行程序以使得记录和再现装置940根据用户操作而进行操作,控制各个部分。
根据所构成的记录和再现装置,解码器947设置有根据本申请的解码装置(解码方法)的功能。因此,允许针对每个分块在时间方向上独立解码。<第十实施例>
(成像装置的构成示例)
图38示出应用本技术的成像装置的一般结构的示例。成像装置960使对象成像,在显示单元上显示对象的图像,并将图像作为图像数据记录在记录介质上。
成像装置960包括光学块961、成像单元962、摄像信号处理单元963、图像数据处理单元964、显示单元965、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969、以及控制单元970。此外,用户接口单元971与控制单元970连接。此外,图像数据处理单元964、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969、以及控制单元970等经由总线972而彼此连接。
光学块961由聚焦透镜、光圈机构等构成。光学块961在成像单元962的成像表面上形成对象的光学图像。成像单元962由CCD或CMOS图像传感器构成。成像单元962通过光电转换生成与光学图像对应的电信号,并将电信号提供给摄像机信号处理单元963。
摄像机信号处理单元963针对成像单元962提供的电信号执行各种摄像机信号处理,诸如拐点校正、伽马校正和颜色验证。摄像机信号处理单元963将摄像机信号处理后的图像数据提供给图像数据处理单元964。
图像数据处理单元964对摄像机信号处理单元963提供的图像数据执行编码。图像数据处理单元964将通过编码生成的编码数据提供给外部接口单元966和介质驱动器968。此外,图像数据处理单元964对外部接口单元966和介质驱动器968提供的编码数据执行解码。图像数据处理单元964将通过解码生成的图像数据提供给显示单元965。此外,图像数据处理单元964将摄像机信号处理单元963提供的图像数据提供给显示单元965。此外,图像数据处理单元964将从OSD单元969接收的显示数据叠加在图像数据上,并将结果提供给显示单元965。
OSD单元969以符号、字符或图的形式生成显示数据,诸如菜单屏幕和图标,并将显示数据输出到图像数据处理单元964。
外部接口单元966由USB输入/输出端子等构成,并且在打印图像时与打印机连接。此外,必要时驱动器与外部接口单元966连接。从适当地附接于驱动器的可移除介质(诸如磁盘和光盘)读取计算机程序,并且根据需要安装从介质读取的计算机程序。此外,外部接口单元966具有与预定网络(诸如LAN和因特网)连接的网络接口。例如,控制单元970可以根据来自用户接口单元971的指示从存储器单元967读取编码数据,并允许外部接口单元966将数据提供给经由网络连接的另一装置。此外,控制单元970允许外部接口单元966经由网络获得另一装置提供的编码数据和图像数据,并将数据提供给图像数据处理单元964。
介质驱动器968驱动的记录介质是例如磁盘、磁光盘、光盘、半导体存储器、或其它任意可读写可移除介质。此外,记录介质可以是任意类型的可移除介质,诸如磁带装置、盘和存储卡。不必说,记录介质可以是非接触IC卡等。
此外,介质驱动器968和记录介质可以是一体的,并由非便携式记录介质(诸如嵌入式硬盘驱动器和固态驱动器(SSD))构成。
控制单元970由CPU、存储器等构成。存储器存储例如CPU执行的程序和CPU执行处理所需要的各种数据。在诸如启动成像装置960的预定时间处CPU读取并执行存储在存储器中的程序。CPU通过执行程序以使得成像装置960根据用户操作进行操作,控制各个部分。
根据所构成的成像装置,图像数据处理单元964设置有根据本申请的编码装置和解码装置(编码方法和解码方法)的功能。因此,允许针对每个分块的独立编码和解码。
<可伸缩编码的应用示例>
(第一***)
现在描述可伸缩编码(分层编码)后的可伸缩编码数据的具体应用示例。例如,使用可伸缩编码以选择要传送的数据,作为图39所示的示例。
在图39所示的数据传送***1000中,分发服务器1002读取存储在可伸缩编码数据存储器单元1001中的可伸缩编码数据,并经由网络1003将数据分发到终端装置(诸如个人计算机1004、AV装置1005、平板装置1006和蜂窝电话1007)。
此时,分发服务器1002根据终端装置的能力、通信环境等选择并传送具有适当质量的编码数据。当从分发服务器1002传送的数据的质量极高时,终端装置不一定产生高质量图像。在这种情况下,存在延迟或溢出的可能,并且还有通信频带的不必要的占用或终端装置上的负荷不必要的增加的可能。相比之下,当从分发服务器1002传送的数据的质量极低时,终端装置难以产生具有足够质量的图像。因此,分发服务器1002读取存储在可伸缩编码数据存储器单元1001中的可伸缩编码数据作为具有适合于终端装置的能力、环境等的质量的编码数据,并适当地传送该数据。
例如,假设可伸缩编码数据存储器单元1001存储通过可伸缩编码获得的可伸缩编码数据(BL+EL)1011。可伸缩编码数据(BL+EL)1011是包含基本层和增强层二者的编码数据,并且在解码时产生基本层图像和增强层图像二者。
分发服务器1002根据数据被传送到的终端装置的能力、通信环境等来选择适当的层,并读取所选择的层的数据。例如,分发服务器1002从可伸缩编码数据存储器单元1001读取高质量可伸缩编码数据(BL+EL)1011,并按原样将该数据传送到具有高处理能力的个人计算机1004和平板装置1006。另一方面,例如,分发服务器1002从可伸缩编码数据(BL+EL)1011提取基本层的数据,并将提取的数据作为可伸缩数据(BL)1012传送到具有较低处理能力的AV装置1005和蜂窝电话1007,可伸缩数据(BL)1012具有与可伸缩编码数据(BL+EL)1011的内容相同的内容但是具有比可伸缩编码数据(BL+EL)1011的质量更低的质量。
如可以理解的,可以通过使用可伸缩编码数据容易地控制数据量。因此,可以抑制延迟和溢出的可能以及进一步的终端装置和通信介质上的负荷不必要增加的可能。此外,在可伸缩编码数据(BL+EL)1011的情况下,减少了层之间的冗余;因此,与各个层的编码数据被处理为单独数据的情况相比数据量变得更小。因此,可以更有效地利用可伸缩编码数据存储器单元1001的存储区域。
此外,终端装置可以是各种类型的装置,包括个人计算机1004至蜂窝电话1007。因此,硬件的性能根据装置的类型是可变的。此外,终端装置执行的应用具有各种类型;因此,软件的能力也是可变的。此外,用作通信介质的网络1003可以是各种类型的通信网络,包括有线、无线以及有线和无线类型二者,诸如因特网和局域网(LAN)。因此,数据传送能力是可变的。此外,例如可以通过其它通信产生变化。
因此,分发服务器1002在开始数据传输之前可以与对应于数据传输目的地的终端装置进行通信以获得关于终端装置的能力的信息(诸如终端装置的硬件性能、终端装置执行的应用(软件)的能力)以及关于通信环境的信息(诸如网络1003的可用频带范围)。然后,分发服务器1002可以基于所获得的信息选择适当的层。
此外,层的提取可以由终端装置来执行。例如,个人计算机1004可以对传送的可伸缩编码数据(BL+EL)1011进行解码,并显示基本层的图像或显示增强层的图像。此外,例如,个人计算机1004可以从传送的可伸缩编码数据(BL+EL)1011提取基本层的可伸缩编码数据(BL)1012,存储数据1012,将数据1012传递给另一装置,并且对数据1012进行解码以显示基本层的图像。
不必说,可伸缩编码数据存储器单元1001、分发服务器1002、网络1003和终端的数目均为任意数目。此外,虽然这里已经讨论了分发服务器1002将数据传送给终端装置的示例,但是应用示例不限于本示例。数据传送***1000可应用于任何***,只要该***根据终端装置的能力、通信环境等选择适当的层并在向终端装置传送可伸缩编码后的编码数据时传送选择的层。
(第二***)
此外,例如,如图40所示的示例中那样可伸缩编码可应用于经由多个通信介质的传输。
在图40所示的数据传输***1100中,广播站1101经由地波广播1111传送基本层的可伸缩编码数据(BL)1121。此外,广播站1101经由由有线网络、无线网络、或有线和无线通信网络二者构成的任意网络1112传送(例如,以分组形式传送)增强层的可伸缩编码数据(EL)1122。
终端装置1102设置有接收广播站1101广播的地波广播1111的功能,并且接收经由地波广播1111传送的基层的可伸缩编码数据(BL)1102。此外,终端装置1102还具有经由网络1112提供通信的通信功能,并接收经由网络1112传送的增强层的可伸缩编码数据(EL)1122。
终端装置1102例如根据用户指示等对经由地波广播1111获得的基本层的可伸缩编码数据(BL)1121进行解码,并获得基本层的图像,存储图像,并将图像传送到另一装置。
此外,终端装置1102例如根据用户指示等将经由地波广播1111获得的基本层的可伸缩编码数据(BL)1121以及经由网络1112获得的可伸缩编码数据(EL)1122合成,以获得可伸缩编码数据(BL+EL),通过对数据的解码获得增强层的图像,存储图像,并将图像传送到另一装置。
如上面所描述的,例如,可以经由针对每个层不同的传送介质来传送可伸缩编码数据。因此,可以分散负荷,并且可以抑制延迟和溢出的可能。
此外,取决于情况,可以针对每个层选择用于传送的通信介质。例如,可以经由具有宽频带范围的通信介质传送具有相对大的数据量的基本层的可伸缩编码数据(BL)1121,而可以经由具有窄频带范围的通信介质传送具有相对小的数据量的增强层的可伸缩编码数据(EL)1122。此外,例如,根据网络1112的可用频带范围,可以在网络1112与地波广播1111之间切换传送增强层的可伸缩编码数据(EL)1122的通信介质。不必说,这适用于任意层数据。
该控制还可以抑制施加于数据传输的负荷的增大。
显然,层的数目是任意数目,并且用于传输的通信介质的数目也是任意数目。此外,作为数据分发目标的终端装置1102的数目也是任意数目。此外,虽然已经讨论了从广播站1101广播的示例,但是应用示例不限于该示例。数据传送***1100可应用于任意***,只要***将可伸缩编码后的编码数据分割成层单位的多个部分,并经由多个线路传送数据。
(第三***)
此外,可伸缩编码可应用于作为图41所示的示例的编码数据的存储。
在图41所示的成像***1200中,成像装置1201对通过将对象1211成像获得的图像数据执行可伸缩编码,并将数据作为可伸缩编码数据(BL+EL)1221提供给可伸缩编码数据存储装置1202。
可伸缩编码数据存储装置1202存储从成像装置1201提供的可伸缩编码数据(BL+EL)1221以作为具有根据情况的质量的数据。例如,在正常的情况下,可伸缩编码数据存储装置1202从可伸缩编码数据(BL+EL)1221提取基本层的数据,并存储该数据作为具有低质量和小数据量的基本层的可伸缩编码数据(BL)1222。另一方面,在关注的情况下,例如,可伸缩编码数据存储装置1202按原样存储可伸缩编码数据(BL+EL)1221作为具有高质量和大数据量的数据。
通过该方法,可伸缩编码数据存储装置1202可以根据需要仅存储具有高质量的图像。因此,该方法在抑制由于图像质量的退化而引起图像值降低的同时,抑制数据量的增加。结果,可以提高存储区域的利用效率。
例如,这里假设成像装置1201为监视摄像机。当捕获图像中不存在监视目标(诸如侵入者)(即在正常情况下)时,捕获图像的内容不重要的可能性高。在这种情况下,数据量的减少具有优先级,并且图像数据(可伸缩编码数据)被存储作为低质量数据。另一方面,当捕获图像中存在监视目标作为对象1211(即在关注情况下)时,捕获图像的内容重要的可能性高。因此,图像的质量具有优先级,并且图像数据(可伸缩编码数据)被存储作为高质量数据。
基于可伸缩编码数据存储装置1202进行的图像分析可以确定该情况是正常情况还是关注情况。替选地,成像装置1201可以确定情况并将确定结果传送到可伸缩编码数据存储装置1202。
此外,任意设置用于确定该情况是正常情况还是关注情况的基础,并且任意建立对应于用于确定的基础的图像的内容。不必说,可以建立除了图像的内容之外的情况作为用于确定的基础。例如,可以根据记录的声音级别、波形等来进行切换,可以以预定时间间隔进行切换,或可以与来自外部的指示(诸如用户指示)对应地进行切换。
此外,虽然已经讨论了切换正常情况和关注情况这两种情况的示例,但是情况的数目为任意数目。例如,可以切换三个或更多个情况,诸如正常情况、微关注情况、关注情况和极关注情况。然而,要切换的情况的最大数目取决于可伸缩编码数据的层的数目。
此外,成像装置1201可以根据情况确定可伸缩编码的层的数目。例如,在正常情况下,成像装置1201可以生成具有低质量和小数据量的基本层的可伸缩编码数据(BL)1222,并将生成的数据提供给可伸缩编码数据存储装置1202。此外,在关注情况下,例如,成像装置1201可以生成具有高质量和大数据量的基本层的可伸缩编码数据(BL+EL)1221,并将生成的数据提供给可伸缩编码数据存储装置1202。
根据前述示例,已经讨论了监视摄像机。然而,使用成像***1200的目的是任意目的,而不限于监视摄像机。
此外,在本说明书中,***是指多个构成元件(装置、模块(部件)等)的组,包括包含同一外壳内的所有构成元件的结构以及不包含同一外壳内所有构成元件的结构。因此,包含在单独的外壳中且经由网络彼此连接的多个装置、以及包含外壳内的多个模块的装置均被定义为***。
此外,根据本技术的实施例不限于上述实施例。可以在不背离本技术的主题内容的范围的情况下进行各种修改。
例如,本技术可以具有云计算形式,其经由网络在多个装置之间共享并联合使用一个功能以执行处理。
此外,结合上述流程图描述的各个步骤可以由一个装置执行,或可以与多个装置联合执行。
此外,当多个处理包含在一个步骤中时,包含在一个步骤中的多个处理可以由一个装置执行,或可以与多个装置联合执行。
此外,本技术可以具有以下构成。
(1)一种解码装置,包括:
运动补偿单元,当解码目标当前图像的图片被分割成分块并被解码时,所述运动补偿单元通过下述操作来生成预测图像:基于分块可分割信息和运动向量信息,针对每个所述分块来执行同位分块内的参考图像的运动补偿,其中所述分块可分割信息指示针对每个所述分块允许解码,并且所述运动向量信息表示用于生成所述当前图像的编码数据的运动向量;以及
解码单元,其使用所述运动补偿单元生成的所述预测图像来对所述编码数据进行解码。
(2)根据上面的(1)所述的解码装置,还包括:
向量生成单元,其使用位置与所述当前图像邻近并且包含在与所述当前图像的分块相同的分块内的图像的运动向量,根据所述运动向量信息来生成所述编码数据的运动向量,
其中,所述运动补偿单元基于所述分块可分割信息和所述运动向量生成单元所生成的运动向量,针对每个所述分块来执行所述参考图像的运动补偿。
(3)根据上面的(1)或(2)所述的解码装置,还包括:
滤波单元,其针对所述分块的每个单元执行所述参考图像的滤波,
其中,
所述滤波单元基于滤波信息,针对每个所述分块来执行所述参考图像的所述滤波,其中所述滤波信息表示不在所述分块上执行所述参考图像的所述滤波,并且
所述运动补偿单元基于所述分块可分割信息和所述运动向量信息,针对每个所述分块来执行经所述滤波单元滤波后获得的所述参考图像的运动补偿。
(4)根据上面的(3)所述的解码装置,其中,所述滤波单元基于所述滤波信息和参数共享信息,针对每个所述分块使用与包含在相应的分块内的图像相关联的用于滤波的参数,来执行所述参考图像的滤波,所述参数共享信息表示不在所述分块之间共享所述参数。
(5)根据上面的(1)至(4)中任一项所述的解码装置,其中,包含在同一序列内的图片的分块分割是相同的分割。
(6)根据上面的(1)至(5)中任一项所述的解码装置,其中,每个所述分块包括一个或更多个条带。
(7)根据上面的(1)至(6)中任一项所述的解码装置,其中,
所述图片被分割成两个所述分块并被解码,
所述分块中的一个分块的图像是构成三维图像的用于左眼的图像,并且
另一个分块的图像是构成三维图像的用于右眼的图像。
(8)一种解码方法,包括:
由解码装置执行的运动补偿步骤,当解码目标当前图像的图片被分割成分块并被解码时,所述运动补偿步骤通过下述操作来生成预测图像:基于分块可分割信息和运动向量信息,针对每个分块来执行同位分块内的参考图像的运动补偿,其中所述分块可分割信息指示针对每个所述分块允许解码,并且所述运动向量信息表示用于生成所述当前图像的编码数据的运动向量;以及
由解码装置执行的解码步骤,其使用通过所述运动补偿步骤的处理生成的所述预测图像来对所述编码数据进行解码。
(9)一种编码装置,包括:
运动补偿单元,当编码目标当前图像的图片被分割成分块并被编码时,所述运动补偿单元通过下述操作来生成预测图像:基于在所述分块内检测到的运动向量,执行与所述当前图像的时间不同的时间处的参考图像的运动补偿;
编码单元,其使用所述运动补偿单元生成的所述预测图像来对所述当前图像进行编码并生成编码数据;
设置单元,其设置分块可分割信息,所述分块可分割信息指示针对所述分块的每个单元允许解码;以及
传送单元,其传送所述编码单元生成的所述编码数据以及所述设置单元设置的所述分块可分割信息。
(10)根据上面的(9)所述的编码装置,还包括:
向量生成单元,其基于位置与所述当前图像邻近并且包含在与所述当前图像的分块相同的分块内的图像的运动向量、以及所述当前图像的运动向量,来生成所述运动向量信息。
(11)根据上面的(9)或(10)所述的编码装置,还包括:
滤波单元,其针对所述分块的每个单元执行所述参考图像的滤波,
其中,
所述运动补偿单元基于在所述分块内检测到的所述运动向量,使用所述当前图像和所述滤波单元滤波后获得的所述参考图像来执行所述滤波单元滤波后获得的所述参考图像的运动补偿,
所述设置单元设置滤波信息,所述滤波信息表示不在所述分块上执行所述参考图像的所述滤波,并且
所述传送单元传送所述设置单元设置的所述滤波信息。
(12)根据上面的(9)至(11)中任一项所述的编码装置,其中,
所述滤波单元使用包含在相应的分块内的图像的参数,针对每个所述分块来执行所述参考图像的滤波,
所述设置单元设置参数共享信息,所述参数共享信息表示不在所述分块之间共享所述参数,并且
所述传送单元传送所述设置单元设置的所述参数共享信息。
(13)根据上面的(9)至(12)中任一项所述的编码装置,其中,包含在同一序列内的图片的分块分割是相同的分割。
(14)根据上面的(9)至(13)中任一项所述的编码装置,其中,每个所述分块包括一个或更多个条带。
(15)根据上面的(9)至(14)中任一项所述的编码装置,其中,
所述图片被分割成两个所述分块并被编码,
所述分块中的一个分块的图像是构成三维图像的用于左眼的图像,并且
另一个分块的图像是构成三维图像的用于右眼的图像。
(16)一种编码方法,包括:
由编码装置执行的运动补偿步骤,当编码目标当前图像的图片被分割成分块并被编码时,所述运动补偿步骤通过下述操作来生成预测图像:基于在分块内检测到的运动向量,执行与所述当前图像的时间不同的时间处的参考图像的运动补偿;
由编码装置执行的编码步骤,其使用通过所述运动补偿步骤的处理生成的预测图像来对所述当前图像进行编码并生成编码数据;
由编码装置执行的设置步骤,其设置分块可分割信息,所述分块可分割信息指示针对所述分块的每个单元允许解码;以及
由编码装置执行的传送步骤,其传送通过所述编码步骤的处理生成的所述编码数据以及通过所述设置步骤的处理设置的所述分块可分割信息。
附图标记列表
50 编码装置
55 设置单元
56 传送单元
71 计算单元
74 无损编码单元
79 去块滤波器
83A 运动检测单元
83B 运动补偿单元
90 解码装置
91 接收单元
102 无损解码单元
105 加法单元
106 去块滤波器
110 运动补偿单元
140 解码装置
162-1至162-M 编码装置
164-1至164-M 解码装置

Claims (17)

1.一种解码装置,包括:
电路,被配置成:
在以下情况下通过基于表示用于生成当前图像的编码数据的运动向量的运动向量信息执行对同位分块内的参考图像的运动补偿来生成预测图像:当所述当前图像的图片被分割成分块并且被解码时,在序列内设置在所述分块上未执行所述参考图像的滤波;以及
使用所述预测图像解码编码数据。
2.根据权利要求1所述的解码装置,其中,所述电路被配置成:
基于所述运动向量信息和指示所述参考图像被限制在所述同位分块内的分块限制信息生成所述预测图像。
3.根据权利要求2所述的解码装置,其中,所述电路被配置成:
使用位于与所述当前图像邻近的位置并且被包含在与所述当前图像的分块相同的分块内的图像的运动向量,根据所述运动向量信息生成所述编码数据的运动向量;以及
基于所述分块限制信息和所述运动向量执行所述参考图像的运动补偿。
4.根据权利要求2所述的解码装置,其中,所述电路被配置成:
基于表示在所述分块上未执行所述参考图像的滤波的滤波器信息对所述参考图像执行滤波;
基于所述分块限制信息和所述运动向量信息对所述滤波之后获得的所述参考图像执行运动补偿。
5.根据权利要求4所述的解码装置,其中,所述电路被配置成:
基于所述滤波器信息和参数共享信息,使用用于与相应分块内包含的图像相关联的所述滤波的参数对所述参考图像执行滤波,所述参数共享信息表示所述参数不在所述分块之间被共享。
6.根据权利要求2所述的解码装置,其中,所述电路被配置成:
获取所述编码数据和包含所述分块限制信息的附加信息;以及
通过基于所述附加信息对所述参考图像执行运动补偿来生成所述预测图像。
7.根据权利要求4所述的解码装置,其中,所述滤波器信息是指示是否在所述分块上执行所述参考图像的所述滤波的标记。
8.根据权利要求4所述的解码装置,其中,在图片参数集(PPS)中设置所述滤波器信息。
9.一种解码方法,包括:
在以下情况下通过基于表示用于生成当前图像的编码数据的运动向量的运动向量信息执行对同位分块内的参考图像的运动补偿来生成预测图像:当所述当前图像的图片被分割成分块并且被解码时,在序列内设置在所述分块上未执行所述参考图像的滤波;以及
使用所述预测图像解码编码数据。
10.根据权利要求9所述的解码方法,其中,基于所述运动向量信息和指示所述参考图像被限制在所述同位分块内的分块限制信息生成所述预测图像。
11.根据权利要求10所述的解码方法,还包括:
使用位于与所述当前图像邻近的位置并且被包含在与所述当前图像的分块相同的分块内的图像的运动向量,根据所述运动向量信息生成所述编码数据的运动向量;以及
基于所述分块限制信息和所述运动向量执行所述参考图像的运动补偿。
12.根据权利要求10所述的解码方法,还包括:
基于表示在所述分块上未执行所述参考图像的滤波的滤波器信息对所述参考图像执行滤波;
基于所述分块限制信息和所述运动向量信息对所述滤波之后获得的所述参考图像执行运动补偿。
13.根据权利要求12所述的解码方法,其中,基于所述滤波器信息和参数共享信息,使用用于与相应分块内包含的图像相关联的所述滤波的参数对所述参考图像执行滤波,所述参数共享信息表示所述参数不在所述分块之间被共享。
14.根据权利要求10所述的解码方法,还包括:获取所述编码数据和包含所述分块限制信息的附加信息;并且
其中,通过基于所述附加信息对所述参考图像执行运动补偿来生成所述预测图像。
15.根据权利要求12所述的解码方法,其中,所述滤波器信息是指示是否在所述分块上执行所述参考图像的所述滤波的标记。
16.根据权利要求12所述的解码方法,其中,在图片参数集(PPS)中设置所述滤波器信息。
17.一种编码方法,包括:
根据图片组(GOP)结构将按显示顺序定位的各个帧的存储图像重排在使得图像被定位成编码顺序的位置;
基于分块分割信息将每个重排的图像分割成多个分块;
执行编码处理,所述编码处理通过对应于高效视频编码(HEVC)***的***在时间方向上独立地对对应分块的图像进行压缩编码;以及
设置关于自适应参数集(APS)的信息,使得当邻近图像是不同分块的图像时,在不同分块之间不共享取样自适应偏移(SAO)的处理的参数。
CN201810731754.2A 2012-04-06 2013-03-27 解码装置和解码方法以及编码装置和编码方法 Active CN108696758B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012087869 2012-04-06
JP2012-087869 2012-04-06
CN201380018010.1A CN104247428B (zh) 2012-04-06 2013-03-27 解码装置和解码方法以及编码装置和编码方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201380018010.1A Division CN104247428B (zh) 2012-04-06 2013-03-27 解码装置和解码方法以及编码装置和编码方法

Publications (2)

Publication Number Publication Date
CN108696758A true CN108696758A (zh) 2018-10-23
CN108696758B CN108696758B (zh) 2021-02-02

Family

ID=49300433

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201810731474.1A Active CN108696757B (zh) 2012-04-06 2013-03-27 解码装置和解码方法以及编码装置和编码方法
CN201810731755.7A Active CN108696759B (zh) 2012-04-06 2013-03-27 解码装置和解码方法以及编码装置和编码方法
CN201380018010.1A Active CN104247428B (zh) 2012-04-06 2013-03-27 解码装置和解码方法以及编码装置和编码方法
CN201810731754.2A Active CN108696758B (zh) 2012-04-06 2013-03-27 解码装置和解码方法以及编码装置和编码方法

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN201810731474.1A Active CN108696757B (zh) 2012-04-06 2013-03-27 解码装置和解码方法以及编码装置和编码方法
CN201810731755.7A Active CN108696759B (zh) 2012-04-06 2013-03-27 解码装置和解码方法以及编码装置和编码方法
CN201380018010.1A Active CN104247428B (zh) 2012-04-06 2013-03-27 解码装置和解码方法以及编码装置和编码方法

Country Status (15)

Country Link
US (2) US9998734B2 (zh)
EP (3) EP3402192B1 (zh)
JP (4) JP5950169B2 (zh)
KR (2) KR102092822B1 (zh)
CN (4) CN108696757B (zh)
AU (3) AU2013244560B2 (zh)
BR (1) BR112014024270B1 (zh)
CA (1) CA2865747C (zh)
IN (1) IN2014DN08053A (zh)
MX (2) MX367822B (zh)
MY (1) MY168021A (zh)
PH (1) PH12014502194A1 (zh)
RU (2) RU2716060C1 (zh)
SG (2) SG11201406086UA (zh)
WO (1) WO2013150943A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX367822B (es) * 2012-04-06 2019-09-09 Sony Corp Dispositivo de codificación, método de codificación, dispositivo de descodificación y método de descodificación.
KR101649284B1 (ko) * 2012-04-16 2016-08-18 텔레포나크티에볼라게트 엘엠 에릭슨(피유비엘) 압축 화상 시퀀스를 위해 병렬 프로세싱 가능성을 나타내는 고정 타일 구조 플래그
JP6261215B2 (ja) * 2013-07-12 2018-01-17 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
GB2542282B (en) 2013-10-22 2018-08-01 Canon Kk Method, device, and computer program for encapsulating partitioned timed media data in a server
WO2015059880A1 (ja) * 2013-10-22 2015-04-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 動き補償方法、画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
WO2015098020A1 (ja) * 2013-12-27 2015-07-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
JP5973526B2 (ja) * 2014-02-21 2016-08-23 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置及び画像符号化装置
US10205950B2 (en) * 2014-02-21 2019-02-12 Panasonic Corporation Image decoding method, image encoding method, image decoding apparatus, and image encoding apparatus
JP2015173404A (ja) * 2014-03-12 2015-10-01 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
US9626733B2 (en) * 2014-11-24 2017-04-18 Industrial Technology Research Institute Data-processing apparatus and operation method thereof
CN105791837A (zh) * 2014-12-24 2016-07-20 北京数码视讯科技股份有限公司 一种视频数据编码方法、解码方法、转码方法及设备
CN104935933B (zh) * 2015-06-05 2019-11-26 广东中星微电子有限公司 一种视频编解码方法
KR102576630B1 (ko) 2015-12-10 2023-09-08 삼성전자주식회사 디코더의 동작 방법, 및 상기 디코더를 포함하는 어플리케이션 프로세서의 동작 방법
CN106254884B (zh) * 2016-09-30 2019-06-28 福州瑞芯微电子股份有限公司 基于h265编码的帧间预测方法和编码器ip
US20180139464A1 (en) * 2016-11-17 2018-05-17 Mediatek Inc. Decoding system for tile-based videos
WO2018197091A1 (en) 2017-04-27 2018-11-01 Sony Corporation Mobile communications network, infrastructure equipment, communications device and methods
WO2019159820A1 (ja) * 2018-02-14 2019-08-22 シャープ株式会社 動画像符号化装置及び動画像復号装置
JP7437374B2 (ja) * 2018-07-02 2024-02-22 ノキア テクノロジーズ オーユー ビデオコーディングでのタイル関連アドレス指定のための方法および装置
EP3618442B1 (en) * 2018-08-27 2020-09-30 Axis AB An image capturing device, a method and computer program product for forming an encoded image
US10375416B1 (en) * 2018-09-05 2019-08-06 Tencent America LLC Segment types in video coding
CN109714598B (zh) * 2019-01-31 2021-05-14 上海国茂数字技术有限公司 视频的编码方法、解码方法、处理方法以及视频处理***
WO2020157287A1 (en) 2019-02-01 2020-08-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Video codec allowing sub-picture or region wise random access and concept for video composition using the same
US11356698B2 (en) * 2019-12-30 2022-06-07 Tencent America LLC Method for parameter set reference constraints in coded video stream

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010026587A1 (en) * 2000-03-30 2001-10-04 Yasuhiro Hashimoto Image encoding apparatus and method of same, video camera, image recording apparatus, and image transmission apparatus
CN101072348A (zh) * 2006-05-09 2007-11-14 株式会社东芝 图像解码装置以及图像解码方法
US20100226440A1 (en) * 2009-03-05 2010-09-09 Fujitsu Limited Image encoding device, image encoding control method, and program
CN102036067A (zh) * 2009-09-29 2011-04-27 佳能株式会社 运动图像编码设备及其控制方法
JP2012070278A (ja) * 2010-09-24 2012-04-05 Jvc Kenwood Corp 動画像復号装置、動画像復号方法及び動画像復号プログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10234043A (ja) * 1997-02-20 1998-09-02 Toshiba Corp 動画像符号化/復号化装置
EP1670259A3 (en) * 2002-01-23 2010-03-03 Nokia Corporation Grouping of image frames in video coding
EP1617370B1 (en) 2004-07-15 2013-01-23 Samsung Electronics Co., Ltd. Image format transformation
JP2006332985A (ja) * 2005-05-25 2006-12-07 Sharp Corp 立体画像フォーマット判定装置
CN105791864B (zh) * 2007-05-16 2019-01-15 汤姆逊许可Dtv公司 编码及传送多视图视频编码信息中使用码片组的装置
KR20110090511A (ko) * 2010-02-04 2011-08-10 삼성전자주식회사 통신 기기에서 3차원 영상을 위한 영상 처리 방법 및 장치
DK3301648T3 (da) * 2010-04-13 2020-04-06 Ge Video Compression Llc Nedarvning i samplearraymultitræsunderinddeling
JPWO2011158657A1 (ja) * 2010-06-17 2013-08-19 シャープ株式会社 画像フィルタ装置、復号装置、符号化装置、および、データ構造
CN101883286B (zh) * 2010-06-25 2012-12-05 无锡中星微电子有限公司 运动估计中的校准方法及装置、运动估计方法及装置
CN102387358A (zh) * 2010-08-27 2012-03-21 无锡中星微电子有限公司 帧内宏块编码方法、解码方法及其编码器、解码器
US20120106921A1 (en) * 2010-10-25 2012-05-03 Taiji Sasaki Encoding method, display apparatus, and decoding method
US20120170648A1 (en) * 2011-01-05 2012-07-05 Qualcomm Incorporated Frame splitting in video coding
US9300976B2 (en) 2011-01-14 2016-03-29 Cisco Technology, Inc. Video encoder/decoder, method and computer program product that process tiles of video data
US9001883B2 (en) * 2011-02-16 2015-04-07 Mediatek Inc Method and apparatus for slice common information sharing
US8767824B2 (en) * 2011-07-11 2014-07-01 Sharp Kabushiki Kaisha Video decoder parallelization for tiles
KR101912485B1 (ko) 2011-08-25 2018-10-26 선 페이턴트 트러스트 타일 부호화 스킴을 이용한 영상 부호화, 추출 및 복호화 방법 및 장치
US9584819B2 (en) 2011-10-24 2017-02-28 Qualcomm Incorporated Grouping of tiles for video coding
MX367822B (es) 2012-04-06 2019-09-09 Sony Corp Dispositivo de codificación, método de codificación, dispositivo de descodificación y método de descodificación.

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010026587A1 (en) * 2000-03-30 2001-10-04 Yasuhiro Hashimoto Image encoding apparatus and method of same, video camera, image recording apparatus, and image transmission apparatus
CN101072348A (zh) * 2006-05-09 2007-11-14 株式会社东芝 图像解码装置以及图像解码方法
US20100226440A1 (en) * 2009-03-05 2010-09-09 Fujitsu Limited Image encoding device, image encoding control method, and program
CN102036067A (zh) * 2009-09-29 2011-04-27 佳能株式会社 运动图像编码设备及其控制方法
JP2012070278A (ja) * 2010-09-24 2012-04-05 Jvc Kenwood Corp 動画像復号装置、動画像復号方法及び動画像復号プログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHIA-YANG TSAI,ET AL.: "AHG4: Non-cross-tiles loop filtering for independent tiles", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC)》 *
KAZUO SUGIMOTO,ET AL.: "Paralell processing of ALF and SAO for tiles", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC)》 *
MICHAEL HOROWITZ,ET AL.: "Tiles", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC)》 *

Also Published As

Publication number Publication date
EP3402192A1 (en) 2018-11-14
SG10201810667TA (en) 2019-01-30
RU2014139283A (ru) 2016-04-20
JP5950169B2 (ja) 2016-07-13
AU2017204240B2 (en) 2019-02-14
US10630980B2 (en) 2020-04-21
AU2017204240A1 (en) 2017-07-13
KR102092822B1 (ko) 2020-03-24
JP2016178698A (ja) 2016-10-06
RU2606303C2 (ru) 2017-01-10
CN108696759B (zh) 2020-11-17
US20150030074A1 (en) 2015-01-29
CN108696759A (zh) 2018-10-23
KR20200034806A (ko) 2020-03-31
EP3879825A2 (en) 2021-09-15
BR112014024270A2 (zh) 2017-06-20
EP3879825A3 (en) 2022-07-13
RU2716060C1 (ru) 2020-03-05
BR112014024270B1 (pt) 2023-01-17
US20180262755A1 (en) 2018-09-13
CN108696757B (zh) 2021-06-29
EP3402192B1 (en) 2021-06-16
US9998734B2 (en) 2018-06-12
MX2014011730A (es) 2015-10-22
JP2018057008A (ja) 2018-04-05
PH12014502194B1 (en) 2014-12-10
IN2014DN08053A (zh) 2015-05-01
JP2019110566A (ja) 2019-07-04
EP2835970A4 (en) 2015-11-04
AU2013244560A1 (en) 2014-10-02
CN108696758B (zh) 2021-02-02
JP6241504B2 (ja) 2017-12-06
CN104247428A (zh) 2014-12-24
MY168021A (en) 2018-10-11
JPWO2013150943A1 (ja) 2015-12-17
WO2013150943A1 (ja) 2013-10-10
AU2019203367A1 (en) 2019-06-06
CN108696757A (zh) 2018-10-23
EP2835970A1 (en) 2015-02-11
MX367822B (es) 2019-09-09
KR20150005910A (ko) 2015-01-15
AU2013244560B2 (en) 2017-04-06
MX351236B (es) 2017-10-06
CA2865747A1 (en) 2013-10-10
KR102215951B1 (ko) 2021-02-15
CA2865747C (en) 2021-07-20
PH12014502194A1 (en) 2014-12-10
AU2019203367B2 (en) 2021-04-22
JP6670812B2 (ja) 2020-03-25
CN104247428B (zh) 2018-08-07
SG11201406086UA (en) 2014-11-27

Similar Documents

Publication Publication Date Title
CN104247428B (zh) 解码装置和解码方法以及编码装置和编码方法
CN104137552B (zh) 图像处理装置和方法
CN104041034B (zh) 图像处理设备和方法
CN104380739B (zh) 图像处理设备和图像处理方法
CN108293136A (zh) 用于编码360度全景视频的方法、装置和计算机程序产品
CN104604236A (zh) 用于视频编码的方法和装置
CN102396228A (zh) 图像处理设备和方法
CN107408400A (zh) 用于处理视频数据的装置和方法
CN108924563A (zh) 图像处理设备和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant