CN103703778A - 三维视频编解码器中的深度图的切片标头预测 - Google Patents

三维视频编解码器中的深度图的切片标头预测 Download PDF

Info

Publication number
CN103703778A
CN103703778A CN201280036090.9A CN201280036090A CN103703778A CN 103703778 A CN103703778 A CN 103703778A CN 201280036090 A CN201280036090 A CN 201280036090A CN 103703778 A CN103703778 A CN 103703778A
Authority
CN
China
Prior art keywords
section
depth
header
syntactic element
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280036090.9A
Other languages
English (en)
Other versions
CN103703778B (zh
Inventor
陈盈
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN103703778A publication Critical patent/CN103703778A/zh
Application granted granted Critical
Publication of CN103703778B publication Critical patent/CN103703778B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

在一个实例中，视频译码器经配置以对第一切片进行译码，其中所述第一切片包括纹理切片和对应的深度切片中的一者，其中所述第一切片具有切片标头，所述切片标头包括表示所述第一切片的特性的完整语法元素。所述视频译码器进一步经配置以从所述第一切片的所述切片标头确定第二切片的共同语法元素。所述视频译码器还经配置以在对所述第一切片进行译码之后至少部分基于所述所确定的共同语法元素对所述第二切片进行译码，其中所述第二切片包括所述纹理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了与所述第一切片共同的语法元素的值的语法元素的切片标头。

Description

三维视频编解码器中的深度图的切片标头预测
本申请案主张2011年7月22日申请的第61/510,738号美国临时申请案、2011年8月11日申请的第61/522,584号美国临时申请案、2011年11月26日申请的第61/563,772号美国临时申请案以及2012年4月13日申请的第61/624,031号美国临时申请案的权益，所述申请案中的每一者以全文引用的方式并入本文中。
技术领域
本发明涉及视频译码领域，例如，对三维视频数据进行译码。
背景技术
数字视频能力可并入到大范围的装置中，包含数字电视、数字直播***、例如无线电电话手持机等无线通信装置、无线广播***、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、视频游戏装置、视频游戏控制台等。数字视频装置实施若干视频压缩技术，例如MPEG-2、MPEG-4或H.264/MPEG-4第10部分、高级视频译码(AVC)，从而更高效地发射和接收数字视频。视频压缩技术执行空间预测和时间预测以减少或移除视频序列中所固有的冗余。
视频压缩技术执行空间预测和/或时间预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码，可将一视频帧或切片分割成若干宏块。可进一步分割每一宏块。使用关于相邻宏块的空间预测编码经帧内译码的(I)帧或切片中的宏块。经帧间译码的(P或B)帧或切片中的宏块可使用关于同一帧或切片中的相邻宏块的空间预测或关于其它参考帧的时间预测。
在已将视频数据编码之后，可将所述视频数据包化以用于发射或存储。可将所述视频数据组配为符合多种标准中的任一者的视频文件，例如国际标准化组织(ISO)基础媒体文件格式及其扩展形式，例如AVC。
已经作出努力开发基于H.264/AVC的新视频译码标准。一种此类标准是可缩放视频译码(SVC)标准，其为对H.264/AVC的可缩放扩展。另一标准是多视图视频译码(MVC)，其已变为对H.264/AVC的多视图扩展。在2008年7月德国的汉诺威的第28届JVT会议的JVT-AB204“多视图视频译码联合草案8.0(Joint Draft 8.0 on Multiview VideoCoding)”中描述了MVC的联合草案，这在http://wftp3.itu.int/av-arch/jvt-site/2008_07_Hannover/JVT-AB204.zip处可以获得。在2009年2月瑞士的日内瓦的第30届JVT会议的JVT-AD007“对ITU-T Rec.H.264|ISO/IEC14496-10高级视频译码的编辑者的草案修订-为ITU-T SG 16 AAP达成一致做准备(以整合形式)(Editors′draft revision to ITU-T Rec.H.264|ISO/IEC 14496-10 Advanced VideoCoding-in preparation for ITU-T SG 16 AAP  Consent(in integrated form))”中描述了AVC标准的版本，这在http://wftp3.itu.int/av-arch/jvt-site/2009_01_Geneva/JVT-AD007.zip处可以获得。此文献将SVC和MVC整合于AVC规格中。
发明内容
一般来说，本发明描述用于支持三维(3D)视频再现的技术。具体来说，本发明的技术涉及对3D视频内容进行译码和解码。本发明还提出用于视频数据的经译码块单元的信令技术。举例来说，本发明提出将包含于纹理视图分量的切片标头中的语法元素再用于对应的深度视图分量。另外，本发明提出将深度视图分量的切片标头信息中的语法元素再用于纹理视图分量。
在3D编解码器中，特定时刻中的视频解码的每一视图的视图分量可包含纹理视图分量和深度视图分量。纹理视图分量可包含明度(Y)分量和色度(Cb和Cr)分量。明度(亮度)和色度(色彩)分量在本文统称为“纹理”分量。深度视图分量可来自图像的深度图。在3D图像再现中，深度图包含表示例如用于对应的纹理分量的深度值深度分量。深度视图分量可用于从所提供的观看角度产生虚拟视图。
深度分量和纹理分量的语法元素可与经译码块单元一起用信号发送。经译码块单元(在本发明中还被简称为“经译码块”)可对应于ITU-T H.264/AVC(高级视频译码)中的宏块或高效率视频译码(HEVC)的译码单元。
在一方面中，一种解码方法包含接收与表示纹理信息的视频数据的一个或一个以上经译码块相关联的纹理视图分量的纹理切片，所述纹理切片包括经编码的一个或一个以上块以及纹理切片标头，所述纹理切片标头包括表示纹理切片的特性的语法元素。所述方法进一步包含接收与对应于所述纹理视图分量的深度信息的一个或一个以上经译码块相关联的深度视图分量的深度切片，其中所述深度切片包括深度信息的一个或一个以上经译码块以及深度切片标头，所述深度切片标头包括表示深度切片的特性的语法元素，且其中所述深度视图分量和所述纹理视图分量两者都属于视图和存取单元。所述方法进一步包括：对第一切片进行解码，其中所述第一切片包括所述纹理切片和所述深度切片中的一者，其中所述第一切片具有切片标头，所述切片标头包括表示所述第一切片的特性的完整语法元素；以及从所述第一切片的所述切片标头确定第二切片的共同语法元素。所述方法可进一步包含在对所述第一切片进行译码之后至少部分基于所述所确定的共同语法元素对所述第二切片进行解码，其中所述第二切片包括所述纹理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了与所述第一切片共同的语法元素的值的语法元素的切片标头。
在另一方面中，一种用于对数据进行解码的装置包含视频解码器，所述视频解码器经配置以：接收与表示纹理信息的视频数据的一个或一个以上经译码块相关联的纹理视图分量的纹理切片，所述纹理切片包括经编码的一个或一个以上块以及纹理切片标头，所述纹理切片标头包括表示纹理切片的特性的语法元素；接收与对应于所述纹理视图分量的深度信息的一个或一个以上经译码块相关联的深度视图分量的深度切片，其中所述深度切片包括深度信息的一个或一个以上经译码块以及深度切片标头，所述深度切片标头包括表示深度切片的特性的语法元素，且其中所述深度视图分量和所述纹理视图分量两者都属于视图和存取单元；对第一切片进行解码，其中所述第一切片包括所述纹理切片和所述深度切片中的一者，其中所述第一切片具有切片标头，所述切片标头包括表示所述第一切片的特性的完整语法元素；从所述第一切片的所述切片标头确定第二切片的共同语法元素；以及在对所述第一切片进行解码之后至少部分基于所述所确定的共同语法元素对所述第二切片进行解码，其中所述第二切片包括所述纹理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了与所述第一切片共同的语法元素的值的语法元素的切片标头。
在另一方面中，一种计算机程序产品包括计算机可读存储媒体，所述计算机可读存储媒体在其上存储有指令，所述指令在被执行时致使视频解码装置的处理器：接收与表示纹理信息的视频数据的一个或一个以上经译码块相关联的纹理视图分量的纹理切片，所述纹理切片包括经编码的一个或一个以上块以及纹理切片标头，所述纹理切片标头包括表示纹理切片的特性的语法元素。所述指令进一步致使所述视频解码装置的所述处理器：接收与对应于所述纹理视图分量的深度信息的一个或一个以上经译码块相关联的深度视图分量的深度切片，其中所述深度切片包括深度信息的一个或一个以上经译码块以及深度切片标头，所述深度切片标头包括表示深度切片的特性的语法元素，且其中所述深度视图分量和所述纹理视图分量两者都属于视图和存取单元。所述指令进一步致使所述视频解码装置的所述处理器：对第一切片进行解码，其中所述第一切片包括所述纹理切片和所述深度切片中的一者，其中所述第一切片具有切片标头，所述切片标头包括表示所述第一切片的特性的语法元素；以及从所述第一切片的所述切片标头确定第二切片的共同语法元素。所述指令进一步致使所述视频解码装置的所述处理器：在对所述第一切片进行解码之后至少部分基于所述所确定的共同语法元素对所述第二切片进行解码，其中所述第二切片包括所述纹理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了与所述第一切片共同的语法元素的值的语法元素的切片标头。
在另一方面中，提供一种装置，所述装置包括用于接收与表示纹理信息的视频数据的一个或一个以上经译码块相关联的纹理视图分量的纹理切片的装置，所述纹理切片包括经编码的一个或一个以上块以及纹理切片标头，所述纹理切片标头包括表示纹理切片的特性的语法元素。所述装置进一步包括用于接收与对应于所述纹理视图分量的深度信息的一个或一个以上经译码块相关联的深度视图分量的深度切片的装置，其中所述深度切片包括深度信息的一个或一个以上经译码块以及深度切片标头，所述深度切片标头包括表示深度切片的特性的语法元素，且其中所述深度视图分量和所述纹理视图分量两者都属于视图和存取单元。所述装置进一步包括用于对第一切片进行解码的装置，其中所述第一切片包括所述纹理切片和所述深度切片中的一者，其中所述第一切片具有切片标头，所述切片标头包括表示所述第一切片的特性的语法元素。所述装置进一步包括用于在对所述第一切片进行译码之后至少部分基于所述所确定的共同语法元素对所述第二切片进行解码的装置，其中所述第二切片包括所述纹理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了与所述第一切片共同的语法元素的值的语法元素的切片标头。
在一个方面中，一种编码方法包含接收与表示纹理信息的视频数据的一个或一个以上经译码块相关联的纹理视图分量的纹理切片，所述纹理切片包括经编码的一个或一个以上块以及纹理切片标头，所述纹理切片标头包括表示纹理切片的特性的语法元素。所述方法进一步包含接收与对应于所述纹理视图分量的深度信息的一个或一个以上经译码块相关联的深度视图分量的深度切片，其中所述深度切片包括深度信息的一个或一个以上经译码块以及深度切片标头，所述深度切片标头包括表示深度切片的特性的语法元素，且其中所述深度视图分量和所述纹理视图分量两者都属于视图和存取单元。所述方法进一步包括：对第一切片进行编码，其中所述第一切片包括所述纹理切片和所述深度切片中的一者，其中所述第一切片具有切片标头，所述切片标头包括表示所述第一切片的特性的语法元素；以及从所述第一切片的所述切片标头确定第二切片的共同语法元素。所述方法可进一步包含在对所述第一切片进行编码之后至少部分基于所述所确定的共同语法元素对所述第二切片进行编码，其中所述第二切片包括所述纹理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了与所述第一切片共同的语法元素的值的语法元素的切片标头。
在另一方面中，一种用于对数据进行编码的装置包含视频编码器，所述视频编码器经配置以：接收与表示纹理信息的视频数据的一个或一个以上经译码块相关联的纹理视图分量的纹理切片，所述纹理切片包括经编码的一个或一个以上块以及纹理切片标头，所述纹理切片标头包括表示纹理切片的特性的语法元素；接收与对应于所述纹理视图分量的深度信息的一个或一个以上经译码块相关联的深度视图分量的深度切片，其中所述深度切片包括深度信息的一个或一个以上经译码块以及深度切片标头，所述深度切片标头包括表示深度切片的特性的语法元素，且其中所述深度视图分量和所述纹理视图分量两者都属于视图和存取单元。所述视频编码器进一步经配置以对第一切片进行编码，其中所述第一切片包括所述纹理切片和所述深度切片中的一者，其中所述第一切片具有切片标头，所述切片标头包括表示所述第一切片的特性的语法元素；从所述第一切片的所述切片标头确定第二切片的共同语法元素；以及在对所述第一切片进行编码之后至少部分基于所述所确定的共同语法元素对所述第二切片进行编码，其中所述第二切片包括所述纹理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了与所述第一切片共同的语法元素的值的语法元素的切片标头。
在另一方面中，一种计算机程序产品包括计算机可读存储媒体，所述计算机可读存储媒体在其上存储有指令，所述指令在被执行时致使视频编码装置的处理器：接收与表示纹理信息的视频数据的一个或一个以上经译码块相关联的纹理视图分量的纹理切片，所述纹理切片包括经编码的一个或一个以上块以及纹理切片标头，所述纹理切片标头包括表示纹理切片的特性的语法元素。所述指令进一步致使所述视频编码装置的所述处理器：接收与对应于所述纹理视图分量的深度信息的一个或一个以上经译码块相关联的深度视图分量的深度切片，其中所述深度切片包括深度信息的一个或一个以上经译码块以及深度切片标头，所述深度切片标头包括表示深度切片的特性的语法元素，且其中所述深度视图分量和所述纹理视图分量两者都属于视图和存取单元。所述指令进一步致使所述视频编码装置的所述处理器：对第一切片进行编码，其中所述第一切片包括所述纹理切片和所述深度切片中的一者，其中所述第一切片具有切片标头，所述切片标头包括表示所述第一切片的特性的语法元素；以及从所述第一切片的所述切片标头确定第二切片的共同语法元素。所述指令进一步致使所述视频编码装置的所述处理器：在对所述第一切片进行解码之后至少部分基于所述所确定的共同语法元素对所述第二切片进行编码，其中所述第二切片包括所述纹理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了与所述第一切片共同的语法元素的值的语法元素的切片标头。
在另一方面中，提供一种装置，所述装置包括用于接收与表示纹理信息的视频数据的一个或一个以上经译码块相关联的纹理视图分量的纹理切片的装置，所述纹理切片包括经编码的一个或一个以上块以及纹理切片标头，所述纹理切片标头包括表示纹理切片的特性的语法元素。所述装置进一步包括用于接收与对应于所述纹理视图分量的深度信息的一个或一个以上经译码块相关联的深度视图分量的深度切片的装置，其中所述深度切片包括深度信息的一个或一个以上经译码块以及深度切片标头，所述深度切片标头包括表示深度切片的特性的语法元素，且其中所述深度视图分量和所述纹理视图分量两者都属于视图和存取单元。所述装置进一步包括用于对第一切片进行解码的装置，其中所述第一切片包括所述纹理切片和所述深度切片中的一者，其中所述第一切片具有切片标头，所述切片标头包括表示所述第一切片的特性的语法元素。所述装置进一步包括用于从所述第一切片的所述切片标头确定第二切片的共同语法元素的装置。所述装置进一步包括用于在对所述第一切片进行编码之后至少部分基于所述所确定的共同语法元素对所述第二切片进行编码的装置，其中所述第二切片包括所述纹理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了与所述第一切片共同的语法元素的值的语法元素的切片标头。
本发明中所描述的技术的各方面可以硬件、软件、固件，或其任何组合来实施。如果以软件来实施，则可在例如微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或数字信号处理器(DSP)或其它等效集成或离散逻辑电路等可涉及一个或一个以上处理器的处理器中执行软件。可最初将包括用以执行所述技术的指令的软件存储于计算机可读媒体中且在处理器中加载并执行。
因此，本发明还预期包括用以致使处理器执行本发明中所描述的多种技术中的任一者的指令的计算机可读媒体。在一些情况下，所述计算机可读媒体可形成计算机程序产品的一部分，可将所述计算机程序产品出售给制造商和/或用于装置中。所述计算机程序产品可包含计算机可读媒体，且在一些情况下，还可包含封装材料。
本发明还可适用于携载信息的电磁信号。举例来说，电磁信号可包括与用于内插参考样本的子整数像素的值的全像素支持相关的信息。在一些实例中，可从或通过实施本文中所描述的技术的装置来产生或传输信号。在其它实例中，本发明可适用于可在实施本文中所描述的技术的装置处接收的信号。
本发明的一个或一个以上方面的细节在附图及以下描述中陈述。从描述和图式并从权利要求书将明白本发明中所描述的技术的其它特征、目的和优点。
附图说明
图1是说明根据本发明的技术的视频编码和解码***的一个实例的框图。
图2是进一步详细地说明根据本发明的技术的图1的视频编码器的一实例的框图。
图3是根据本发明的技术的用于多视图视频译码的MVC预测结构的一个实例的图。
图4是说明根据本发明的技术的视频编码器的实例性操作的流程图。
图5是进一步详细地说明根据本发明的技术的图1的视频解码器的一实例的框图。
图6是说明根据本发明的技术的视频解码器的实例性操作的流程图。
具体实施方式
本发明描述在视频编码或解码过程的至少帧间预测阶段期间编码器可应用且解码器可使用的信令技术。所描述的技术涉及三维(“3D”)视频内容的译码。可将所述3D视频内容例如表示为多视图视频加深度(“MVD”)经译码块。也就是说，可应用这些技术对类似于多视图视频译码(MVC)位流的位流进行编码或解码，其中MVC位流的任何或所有视图可进一步包含深度信息。
更具体来说，根据本发明的一些技术涉及接收至少一个具有纹理视图分量和深度视图分量的二维图像。一些纹理视图分量和深度视图分量可一起被编码为单个经译码块或单独的块。可将图像分解为若干图像切片。可在切片标头中用信号发送用于对纹理视图分量进行译码的语法元素。可从纹理视图分量的对应于深度视图分量的语法元素来预测深度视图分量的一些语法元素。本发明的技术涉及对用于基于二维视频数据的所估计的深度图数据从二维视频数据再现三维视频数据的数据的编码、解码和信令。在一些实例中，使用与用于对深度信息进行编码的技术不同的技术对纹理视图分量进行编码。在本发明中，术语“译码”可指编码和解码中的任一者或两者。
基于深度估计和虚拟视图合成的视频转换用于产生3D图像，例如用于3D视频应用。具体来说，可使用场景的虚拟视图来产生场景的3D视图。常规上通过在合成场景的虚拟视图之前估计对象深度值而实现基于场景的现有视图产生所述虚拟视图。深度估计是从立体对或单视场内容估计对象与相机平面之间的绝对或相对距离的过程。如本文中所使用，深度信息包含有用于形成三维视频的信息，例如深度图(例如，基于每个像素的深度值)或取景视差图(例如，基于每个像素的水平视差)。
所估计的深度信息(通用通过灰度级图表示)可用于使用基于深度图像的再现(DIBR)技术来产生任意角度的虚拟视图。与其中多视图序列面临着高效的视图间压缩的挑战的传统三维电视(3DTV)***相比，基于深度图的***可通过传输可被高效编码的仅一个或数个视图以及深度图而减少带宽的使用。在将深度图用于视图合成中之前，用于基于深度图的转换中的深度图可为可由终端用户控制的(例如，通过缩放)。可产生具有不同量的感知深度的自定义虚拟视图。而且，可使用单视场视频来执行对深度的估计，其中仅一个视图2D内容可用。
可应用本文中所描述的技术从存储于同一视图的位于同一地点的纹理视图分量的切片标头中的语法元素来预测深度视图分量的语法元素。举例来说，深度切片和纹理切片所共同的语法元素的值可包含于纹理视图分量的切片标头中，而不包含于相关联的深度视图分量的切片中。也就是说，视频编码器或解码器可对纹理视图分量的切片标头中的不存在于深度视图分量的切片标头中的深度切片和纹理切片所共同的语法元素进行译码。举例来说，可为纹理视图分量的切片标头中的第一语法元素提供第一值。深度视图分量的切片标头也共享第一语法元素，从而意味着所述第一语法元素对于纹理切片标头和深度切片标头来说是共同的。深度视图分量的第一语法元素具有第二值。然而，深度视图分量的切片标头不包含所述第一语法元素。根据本文中所描述的技术，可从所述第一值预测所述第一语法元素的第二值。
在一些实例中，仅针对深度视图分量的切片标头用信号发送切片的图片参数集(PPS)id和增量量化参数(QP)。在其它实例中，除了PPS识别和增量QP之外，用信号发送参考图片列表建构的进一步信息。从纹理视图分量的切片标头继承或确定其它语法元素。在一些实例中，将共同语法元素的值设定为与对应的语法元素相同。也就是说，将深度视图分量的切片标头的其它语法元素设定为等于对应的纹理视图分量的切片标头中的对应值。
在其它实例中，进一步用信号发送经译码块(宏块或译码单元)的开始位置。也就是说，深度信息的切片的切片标头用信号发送切片的第一块(例如，第一宏块或CU)的位置，而不用信号发送用于所述切片标头的其它语法数据(其可确定为等于包含对应的纹理信息的切片的对应语法数据)。当不用信号发送切片的开始位置时，在一些实例中可推断其为0。可进一步用信号发送深度视图分量的frame_num和POC值。使用旗标来指示用于深度视图分量的一个或一个以上环路滤波器参数是否与针对纹理视图分量用信号发送的一个或一个以上环路滤波器参数相同。
基于块的帧间译码是依赖于时间预测来减少或移除视频序列的连续经译码单元的视频块之间的时间冗余的译码技术。经译码单元可包括视频帧、视频帧的切片、图片群组，或经编码视频块的另一经定义单元。对于帧间译码，视频编码器执行运动估计和运动补偿以估计一个或一个以上邻近的经译码单元的视频块之间的运动。通过使用用于运动估计的技术，视频编码器产生运动向量，所述运动向量指示视频块相对于一个或一个以上参考帧或其它经译码单元中的对应预测视频块的移位。通过使用用于运动补偿的技术，视频编码器使用运动向量从一个或一个以上参考帧或其它经译码单元产生预测视频块。在运动补偿之后，视频编码器通过从正被译码的原始视频块减去预测视频块来计算残余视频块。
参考视图分量(RVC)可包含多个纹理或深度切片。在其中参考视图分量包括多个切片的一些实例中，在确定当前切片的语法元素时可使用位于同一地点的切片。或者，可使用RVC中的第一切片来确定当前切片的语法元素。在其它实例中，可使用RVC中的另一切片来确定当前切片的共同语法元素。
图1是说明根据本发明的技术的视频编码和解码***10的一个实例的框图。如图1的实例中所示，***10包含源装置12，源装置12经由链路15将经编码的视频发射到目的地装置14。链路16可包括能够将经编码的视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，链路16包括用以使得源装置12能够实时地将经编码的视频数据直接发射到目的地装置14的通信媒体。可根据例如无线通信协议等通信标准来调制经编码的视频数据，且将其发射到目的地装置14。所述通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一条或一条以上物理传输线。通信媒体可形成例如局域网、广域网或例如因特网的全球网络的基于包的网络的部分。通信媒体可包含可用于促进从源装置12到目的地装置14的通信的路由器、交换器、基站或任何其它设备。
源装置12及目的地装置14可包括各种各样的装置中的任一者。在一些实例中，源装置12和目的地装置14可包括无线通信装置，例如无线手持机、所谓的蜂窝式或卫星无线电电话，或可在链路15上(在此情况下，链路15是无线的)传送视频信息的任何无线装置。然而，涉及对包含纹理信息和深度信息两者的视频数据的块进行译码的本发明的技术不一定受限于无线应用或环境。所述技术还可用于广泛范围的其它环境和装置，包含经由物理电线、光纤或其它物理或无线媒体进行通信的装置。另外，所述编码或解码技术还可应用于不一定与任何其它装置进行通信的独立装置中。举例来说，视频解码器28可驻留于数字媒体播放器或其它装置中，且经由流式传输、下载或存储媒体接收经编码的视频数据。因此，出于对实例性实施方案的说明的目的来提供源装置12和目的地装置14彼此通信的描绘，且不应视为对本发明中所描述的技术进行限制，所述技术可通常适用于多种环境、应用或实施方案中的视频译码。
在图1的实例中，源装置12包含视频源20、深度处理单元21、视频编码器22和输出接口24。目的地装置14包含输入接口26、视频解码器28和显示装置30。根据本发明，源装置12的视频编码器22可经配置以应用本发明的技术中的一者或一者以上以作为视频编码过程的部分。类似地，目的地装置14的视频解码器28可经配置以应用本发明的技术中的一者或一者以上以作为视频解码过程的部分。
视频编码器22还可应用变换、量化和熵译码过程以进一步减小与残余块的通信相关联的位率。变换技术可包括离散余弦变换(DCT)或概念上类似的过程。或者，可使用小波变换、整数变换，或其它类型的变换。在DCT过程中，作为一实例，将一组像素值转换为表示频域中的像素值的能量的变换系数。视频编码器22还可量化变换系数，其可一般涉及减少与对应的变换系数相关联的位数目的过程。熵译码可包含共同地压缩数据以供输出到位流的一个或一个以上过程，其中经压缩的数据可包含(例如)译码模式、运动信息、经译码块模式和经量化变换系数的序列。熵译码的实例包含(但不限于)上下文自适应可变长度译码(CAVLC)和上下文自适应二进制算术译码(CABAC)。
经译码视频块可由可用于创建或识别预测块的预测信息以及可应用于预测块以重新创建原始块的残余数据块表示。所述预测信息可包括用于识别预测数据块的一个或一个以上运动向量。通过使用所述运动向量，视频解码器28可能够重构曾用于对残余块进行译码的预测块。因此，给定一组残余块和一组运动向量(以及可能一些额外语法)，视频解码器28可重构曾最初被编码的视频帧。基于帧间译码的运动估计和运动补偿可在不具有过多的数据损失的情况下实现相对高的压缩量，因为连续的视频帧或其它类型的经译码单元常常是类似的。经编码视频序列可包括残余数据块、运动向量(当被帧间预测编码时)、用于帧内预测的帧内预测模式的指示，以及语法元素。
视频编码器22还可利用帧内预测技术相对于共同帧或切片的相邻视频块而对视频块进行编码。以此方式，视频编码器22在空间上预测块。视频编码器22可用多种帧内预测模式进行配置，所述多种帧内预测模式一般对应于各种空间预测方向。与运动估计一样，视频编码器22可经配置以基于块的明度分量来选择帧内预测模式，随后再用所述帧内预测模式对块的深度分量进行编码。另外，根据本发明的技术，视频编码器22可再用帧内预测模式对块的深度分量进行编码。
通过再用运动和帧内预测模式信息对块的深度分量进行编码，这些技术可简化编码深度图的过程。另外，本文中所描述的技术可提高位流效率。也就是说，所述位流仅需要指示一次处于纹理视图分量的切片标头中的一些语法元素，而不是用信号发送深度视图分量的切片的切片标头中的额外的语法元素。
任选地，纹理视图分量可以相同方式再用其对应的深度视图分量。
再者，图1的所说明的***10仅是一个实例。可通过支持基于块的预测编码的任何编码装置，或通过支持基于块的预测解码的任何解码装置来执行本发明的各种技术。源装置12及目的地装置14仅为此些译码装置的实例，其中源装置12产生用于发射到目的地装置14的经译码视频数据。在一些情况下，装置12和16可以大体上对称的方式操作，以使得装置12和16中的每一者包含视频编码和解码组件。因此，***10可支持视频装置12和16之间的单向或双向视频发射，例如用于视频流式传输、视频回放、视频广播或视频电话。
源装置12的视频源20包含视频俘获装置，例如摄像机、含有先前所俘获的视频的视频存档，或来自视频内容提供者的视频馈入。或者，视频源20可产生基于计算机图形的数据作为源视频，或直播视频(live video)、经存档视频和/或计算机产生的视频的组合。在一些情况下，如果视频源20是摄像机，那么源装置12和目的地装置14可形成所谓的相机电话或视频电话，或经配置以操纵视频数据的其它移动装置，例如平板计算装置。在每一情况下，视频编码器22可对所俘获、预俘获或计算机产生的视频进行编码。视频源20俘获视图且将视图提供给深度处理单元21。
视频源20将视图2提供给深度处理单元21以用于计算视图2中的对象的深度图像。在一些实例中，视图2包括一个以上视图。可针对由视频源20俘获的视图2中的对象来确定深度图像。深度处理单元21经配置以自动计算视图2的图像中的对象的深度值。举例来说，深度处理单元21基于明度信息来计算对象的深度值。在一些实例中，深度处理单元21经配置以从用户接收深度信息。在一些实例中，视频源20可以不同角度俘获场景的两个视图，且基于两个视图中的对象之间的视差来计算场景中的对象的深度信息。在各种实例中，视频源20可包括标准的二维相机、提供场景的立体视图的二相机***、俘获场景的多个视图的相机阵列，或俘获一个视图加深度信息的相机。
深度处理单元21将纹理视图分量4和深度视图分量6提供给视频编码器22。深度处理单元21还可将视图2直接提供给视频解码器22。深度信息6包括视图2的深度图图像。深度图可包括与将显示的区域(例如，块、切片或帧)相关联的每一像素区的深度值的图。像素区包含单个像素或一个或一个以上像素的群组。深度图的一些实例针对每个像素具有一个深度分量。在其它实例中，每个像素存在多个深度分量。可以实质上类似于纹理数据的方式，例如相对于其它先前经译码深度数据而使用帧内预测或帧间预测，来对深度图进行译码。在其它实例中，以不同于纹理数据被译码的方式对深度图进行译码。
在一些实例中可估计深度图。当一个以上视图存在时，可使用立体匹配来估计深度图。然而，在2D到3D的转换中，估计深度可更困难。尽管如此，可使用通过各种方法估计的深度图来用于根据基于深度图像的再现(DIBR)的3D再现。
虽然视频源20可提供场景的多个视图，且深度处理单元21可基于所述多个视图来计算深度信息，但源装置12可一般针对场景的每一视图发射一个视图加深度信息。
当视图2是数字静态图片时，视频编码器22可经配置以将视图2编码为(例如)联合照片专家组(JPEG)图像。当视图2是视频数据帧时，视频编码器22经配置以根据视频译码标准对第一视图50进行编码，所述视频译码标准例如为运动图片专家组(MPEG)、国际标准化组织(ISO)/国际电工委员会(IEC)MPEG-1视觉、ISO/IEC MPEG-2视觉、ISO/IEC MPEG-4视觉、国际电信联盟(ITU)H.261、ITU-T H.262、ITU-T H.263、ITU-TH.264/MPEG-4、H.264高级视频译码(AVC)、即将到来的高效率视频译码(HEVC)标准(还被称作H.265)，或其它视频编码标准。视频编码器22可包含深度信息6以及经编码的图像以形成经译码块8，所述经译码块包含经编码的图像数据以及深度信息6。视频编码器22将经译码块8传递到输出接口24。可经由链路15在包含信令信息以及经译码块8的位流中将经译码块8传递到输入接口26。
经编码视频信息包含纹理分量4以及深度信息6。纹理分量4可包含视频信息的明度(luma)和色度(chroma)分量。明度分量一般描述亮度，而色度分量一般描述色调。深度处理单元21从视图2的深度图提取深度信息6。视频编码器22可将纹理视图分量4和深度视图分量6编码为经编码视频数据的单个经译码块8。同样，视频编码器22可对块进行编码以便将明度分量的运动或帧内预测模式信息再用于色度分量和深度分量。用于纹理视图分量的语法元素可用于预测深度视图分量的类似语法元素。
在一些实例中，可不使用视图间预测技术对深度图视图分量进行编码，甚至在使用视图间预测技术对对应的纹理视图分量进行编码时也如此。举例来说，当使用视图间预测来预测对应的纹理视图分量时，可使用视图内预测来预测深度图视图分量。举例来说，对纹理视图分量进行视图间预测会从与对应于所述纹理视图分量的视图不同的视图的数据中预测纹理视图信息。相比而言，对深度视图信息进行视图内预测会从与对应于所述深度视图信息的视图相同的视图的数据中预测深度信息。
尽管使用不同地预测技术，但可从对应的纹理视图分量的切片标头中的对应的语法元素来预测深度图视图分量的一些语法元素。然而，深度图视图分量的切片标头信息可含有与参考图片列表建构相关的信息。也就是说，可在深度图视图分量的切片标头中用信号发送与参考图片列表建构相关的信息。举例来说，可在深度图视图分量的切片标头中用信号发送所使用的参考图片的数目以及使用哪些参考图片来预测深度图视图分量的指示。还可在对应的纹理视图分量的切片标头中用信号发送类似的信息。
在一些实例中，源装置12包含根据例如码分多址(CDMA)或另一通信标准等通信标准来调制经译码块8的调制解调器。调制解调器可包含各种混频器、滤波器、放大器或经设计以用于信号调制的其它组件。输出接口24可包含经设计以用于发射数据的电路，包含放大器、滤波器及一个或一个以上天线。经由输出接口24和链路15将经译码块8发射到目的地装置14。在一些实例中，不经由通信信道进行发射，源装置12将包含具有纹理分量和深度分量的块的经编码视频数据存储到存储装置32中，所述存储装置例如为数字视频光盘(DVD)、蓝光光盘、快闪驱动器等。
目的地装置14的输入接口26经由链路15接收信息。在一些实例中，目的地装置14包含将信息解调的调制解调器。与输出接口24类似，输入接口26可包含经设计以用于接收数据的电路，包含放大器、滤波器及一个或一个以上天线。在一些实例中，输出接口24和/或输入接口26可并入包含接收和发射电路的单个收发器组件内。调制解调器可包含各种混频器、滤波器、放大器或经设计以用于信号解调的其它组件。在一些实例中，调制解调器可包含用于执行调制和解调两者的组件。
而且，由视频编码器22执行的视频编码过程可在可包含运动估计和运动补偿的帧间预测编码以及帧内预测编码期间实施本文中所描述的技术中的一者或一者以上。由视频解码器28执行的视频解码过程还可在解码过程的运动补偿阶段期间执行此些技术。
术语“译码器”在本文中用于指代执行视频编码或视频解码的专用计算机装置或设备。术语“译码器”一般指代任何视频编码器、视频解码器，或组合式编码器/解码器(编解码器)。术语“译码”指代编码或解码。术语“经译码块”、“经译码块单元”或“经译码单元”可指代视频帧的任何可独立解码的单元，例如完整的帧、帧的切片、视频数据块，或根据所使用的译码技术界定的另一可独立解码的单元。
显示装置30向用户显示经解码的视频数据，且可包括多种一个或一个以上显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。在一些实例中，显示装置30对应于能够进行三维回放的装置。举例来说，显示装置30可包括立体显示器，所述立体显示器与观看者佩戴的眼睛佩戴物结合使用。所述眼睛佩戴物可包括主动式眼镜，在此情况下，显示装置30与主动式眼镜的镜片的交替快门同步地在不同视图的图像之间快速交替。或者，所述眼睛佩戴物可包括被动式眼镜，在此情况下，显示装置30同时显示来自不同视图的图像，且被动式眼镜可包含偏光镜片，所述偏光镜片一般在正交方向上偏光以在不同视图之间进行滤波。
在图1的实例中，链路15可包括任一无线或有线通信媒体，例如，射频(RF)频谱或一个或一个以上物理传输线、或无线和有线媒体的任一组合。链路15可形成例如局域网、广域网或例如因特网的全球网络的基于包的网络的部分。链路15一般表示用于将视频数据从源装置12发射到目的地装置14的任何合适的通信媒体或不同通信媒体的集合。链路15可包含可用于促进从源装置12到目的地装置14的通信的路由器、交换器、基站或任何其它设备。
视频编码器22和视频解码器28可根据例如ITU-T H.264标准(或者被描述为MPEG-4第10部分，高级视频译码(AVC))的视频压缩标准而操作。可由视频编码器22和视频解码器28使用的基于ITU H.264/AVC标准的额外视频压缩标准包含可缩放视频译码(SVC)标准，其为对ITU H.264/AVC标准的可缩放扩展。视频编码器22和视频解码器28可根据其而操作的另一标准包含多视图视频译码(MVC)标准，其为对ITUH.264/AVC标准的多视图扩展。然而，本发明的技术不限于任何特定视频译码标准。
在一些方面中，视频编码器22及视频解码器28可各自与音频编码器及解码器集成，且可包含适当的MUX-DEMUX单元或其它硬件及软件，以处置对共同数据流或单独数据流中的音频与视频两者的编码。如果适用，MUX-DEMUX单元可遵照ITU H.223多路复用器协议或例如用户数据报协议(UDP)等其它协议。
视频编码器22及视频解码器28各自可经实施为一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当以软件实施本发明的技术中的任一者或全部时，实施装置可进一步包含用于存储和/或执行用于软件的指令的硬件，例如用于存储指令的存储器以及用于执行指令的一个或一个以上处理单元。视频编码器22和视频解码器28中的每一者可包含在一个或一个以上编码器或解码器中，其任一者可作为提供编码和解码能力的组合式编解码器的部分集成在相应的移动装置、订户装置、广播装置、服务器等中。
视频序列通常包含一连串视频帧(还被称作视频图片)。视频编码器22对个别视频帧内的视频块进行操作以便编码视频数据。所述视频块可具有固定的或变化的大小，且可根据指定的译码标准而大小不同。每一视频帧包含一连串一个或一个以上切片。在ITU-TH.264标准中，举例来说，每一切片包含一连串宏块，所述宏块可布置到子块中。ITU-TH.264标准支持：以用于二维(2D)视频编码的各种块大小进行的帧内预测，例如，针对明度分量的16乘16、8乘8或4乘4以及针对色度分量的8乘8；以及以各种块大小进行的帧间预测，例如，针对明度分量的16乘16、16乘8、8乘16、8乘8、8乘4、4乘8和4乘4以及针对色度分量的对应经缩放大小。视频块可包括像素数据块，或例如在例如离散余弦变换(DCT)或概念上类似的变换过程等变换过程之后的变换系数块。这些技术可扩展到3D视频。
较小的视频块可提供较佳的分辨率，且可用于包含较高细节水平的视频帧的定位。一般来说，宏块和各种子块可被视为视频块。另外，可将切片视为一连串视频块，例如若干宏块和/或若干子块。每一切片可为视频帧的可独立解码单元。或者，帧自身可为可解码单元，或可将帧的其它部分定义为可解码单元。
通过将来自深度图或取景视差图的深度信息连同用于那个视频帧或切片的相关联的明度和色度分量(即，纹理分量)进行编码，ITU-T H.264的2D宏块可扩展到3D。取景视差映射(还被称作虚拟位移映射或偏移映射)基于在一像素位置处的视图角度和高度图的函数来移位所述像素位置处的纹理视图分量。视频编码器22可将深度信息编码为单***。
为了编码视频块(例如，经译码块)，视频编码器22执行帧内预测或帧间预测以产生一个或一个以上预测块。视频编码器22从将被编码的原始视频块减去预测块以产生残余块。因此，残余块可表示正被译码的块与预测块之间的逐像素差。视频编码器22可对残余块执行变换以产生变换系数块。在基于帧内或帧间的预测译码和变换技术之后，视频编码器22可量化变换系数。量化一般指代其中将系数量化以可能地减少用于表示系数的数据量的过程。在量化之后，可根据例如上下文自适应可变长度译码(CAVLC)或上下文自适应二进制算术译码(CABAC)等熵译码方法来执行熵译码。下文关于图2来描述由视频编码器22执行的编码过程的额外细节。
当前正在努力开发新的视频译码标准(当前被称作高效视频译码(HEVC))。即将到来的标准还被称作H.265。标准化工作是基于被称作HEVC测试模型(HM)的视频译码装置模型。HM假设优于根据(例如)ITU-T H.264/AVC的装置的视频译码装置的若干能力。举例来说，尽管H.264提供九种帧内预测编码模式，但HM提供多达三十三种帧内预测编码模式。HEVC可经扩展以支持如本文中所描述的切片标头信息技术。
HM将视频数据块称作译码单元(CU)。位流内的语法数据可定义最大译码单元(LCU)，其为在像素数目方面的最大译码单元。一般来说，CU具有与H.264的宏块类似的目的，只不过CU不具有大小区别。根据HM标准，经译码块可为CU。因此，CU可被***为若干子CU。一般来说，在本发明中对CU的参考可涉及图片的最大译码单元(LCU)或LCU的子CU。LCU可被***成若干子CU，且每一子CU可被***成若干子CU。位流的语法数据可定义LCU可被***的最大倍数，被称作CU深度。因此，位流还可定义最小译码单元(SCU)。本发明还使用术语“块”来指代CU、预测单元(PU)或变换单元(TU)中的任一者。
LCU可与四叉树数据结构相关联。一般来说，四叉树数据结构每个CU包含一个节点，其中根节点对应于LCU。如果将CU***为四个子CU，那么对应于CU的节点包含四个叶节点，所述四个叶节点中的每一者对应于子CU中的一者。所述四叉树数据结构的每一节点可提供对应CU的语法数据。举例来说，四叉树中的节点可包含***旗标，从而指示对应于所述节点的CU是否被***为子CU。可递归地定义CU的语法元素，且所述语法元素可取决于CU是否被***为子CU。
未***的CU可包含一个或一个以上预测单元(PU)。一般来说，PU表示对应CU的全部或一部分，且包含用于检索PU的参考样本的数据。举例来说，在对PU进行帧内模式编码时，PU可包含描述PU的帧内预测模式的数据。作为另一实例，在对PU进行帧间模式编码时，PU可包含界定PU的运动向量的数据。界定运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量指向的参考帧，和/或运动向量的参考列表(例如，列表0或列表1)。还可将运动向量处理为具有用于纹理视图分量和深度视图分量的不同分辨率。界定PU的CU的数据还可描述(例如)将CU分割为一个或一个以上PU。分割模式在CU未被译码、被帧内预测模式编码还是被帧间预测模式编码之间可不同。
具有一个或一个以上PU的CU还可包含一个或一个以上变换单元(TU)。在使用PU进行预测之后，视频编码器22可计算CU的对应于PU的部分的残余值。可变换、扫描和量化所述残余值。TU不一定受限于PU的大小。因此，TU可比同一CU的对应PU更大或更小。在一些实例中，TU的最大大小可对应于对应CU的大小。
如上文所述，帧内预测包含从一图片的先前经译码CU来预测同一图片的当前CU的PU。更具体来说，视频编码器22可使用特定帧内预测模式来对图片的当前CU进行帧内预测。HM编码器可被配置有多达三十三种帧内预测模式。因此，为了支持方向性帧内预测模式与方向性变换之间的一对一映射，HM编码器和解码器将需要针对每一所支持的变换大小来存储66个矩阵。此外，针对其而支持所有三十三种帧内预测模式的块大小可为相对大的块，例如32×32像素、64×64像素，或更大。
在目的地装置14中，视频解码器28接收经编码视频数据8。视频解码器28根据例如CAVLC或CABAC等熵译码方法对例如经译码块等所接收的经编码视频数据8进行熵解码，以获得经量化系数。视频解码器28应用反量化(解量化)和反变换功能以在像素域中重构残余块。视频解码器28还基于经编码视频数据中所包含的控制信息或语法信息(例如，译码模式、运动向量、界定滤波器系数的语法等)而产生预测块。视频解码器28计算预测块与经重构的残余块的总和以产生用于显示的经重构视频块。下文关于图5来描述由视频解码器28执行的实例性解码过程的额外细节。
如本文中所描述，Y可表示明度，Cb和Cr可表示三维YCbCr色彩空间(例如，蓝色和红色色调)的色度的两个不同值，且D可表示深度信息。在一些实例中，每一像素位置可实际上界定用于三维色彩空间的三个像素值以及用于像素位置的深度的一个像素值。在其它实例中，每个色度分量可存在不同数目的明度分量。举例来说，每个深度分量可存在四个明度分量。另外，深度分量和纹理分量可具有不同的分辨率。在此实例中，在纹理视图分量(例如，明度分量)与深度视图分量之间可能不是一对一的关系。然而，本发明的技术可为了简单起见而涉及关于一个维度的预测。在关于一个维度上的像素值来描述技术的程度上，类似技术可扩展到其它维度。具体来说，根据本发明的一个方面，视频编码器22和/或视频解码器28可获得像素块，其中像素块包含纹理视图分量和深度视图分量。
在一些实例中，视频编码器22和视频解码器28可在运动补偿期间使用一种或一种以上内插滤波技术。也就是说，视频编码器22和/或视频解码器28可应用内插滤波器来对包括多组全整数像素位置的支持进行滤波。
目的地装置14的视频解码器28连同包含与纹理视图分量相关的语法信息的额外信息一起接收一个或一个以上经译码块以作为经编码视频位流的部分。视频编码器28可基于经译码块8和语法元素来再现视频数据以供3D回放。根据本发明的技术，且如下文更详细地论述，针对纹理视图分量4用信号发送的语法元素可用于预测深度视图分量6的语法元素。可在纹理视图分量4的切片标头中用信号发送语法元素。可从纹理视图分量4的相关语法元素来确定深度视图分量6的对应语法元素。
可在深度视图分量6的切片标头中用信号发送深度视图分量6的一些语法元素，例如深度图分量与切片的一个或一个以上纹理分量中的一者之间的量化参数差。属性还可为切片层级中的旗标，所述旗标指示用于深度视图分量的环路滤波器参数是否与针对纹理视图分量用信号发送的环路滤波器参数相同。在其它实例中，除了切片层级(例如，在切片标头中)之外，还可在序列层级(例如，在序列参数集(SPS)数据结构中)、图片层级(例如，在图片参数集(PPS)数据结构或帧标头中)或块层级(例如，在块标头中)处用信号发送语法元素。
图2是进一步详细地说明图1的视频编码器22的一实例的方框图。与本发明的技术一致地，视频编码器22对用信号发送可用于预测深度视图分量的语法元素的纹理视图分量的语法元素的块单元进行编码。视频编码器22是在本文被称作“译码器”的专用视频计算机装置或设备的一个实例。如图2中所示，视频编码器22对应于源装置12的视频编码器22。然而，在一个实例中，视频编码器22可对应于不同的装置。在进一步的实例中，其它单元(例如，其它编码器/解码器(CODEC))也可执行与由视频编码器22执行的技术类似的技术。
视频编码器22可执行对视频帧内的块的帧内译码或帧间译码中的至少一者，但为了便于说明，在图2中未展示帧内译码组件。帧内译码依赖于空间预测以减少或移除给定视频帧内的视频中的空间冗余。帧间译码依赖于时间预测以减少或移除视频序列的邻近帧内的视频中的时间冗余。帧内模式(I模式)可指代基于空间的压缩模式。例如预测(P模式)或双向(B模式)等帧间模式可指代基于时间的压缩模式。本发明的技术在帧间译码和帧内译码期间适用。然而，为了说明的简明和便利，在图2中未说明例如空间预测单元等帧内译码单元。
如图2中所示，视频编码器22接收待编码视频帧内的视频块。在一个实例中，视频编码器22接收纹理视图分量4和深度视图分量6。在另一实例中，视频编码器从视频源20接收视图2。
在图2的实例中，视频编码器22包含预测处理单元32、预测译码单元(MCU)、多视图视频加深度(MVD)单元33、存储器34、第一加法器48、变换处理单元38、量化单元40和熵译码单元46。为了视频块重构，视频编码器22还包含反量化单元42、反变换处理单元44、第二加法器51和解块单元43。解块单元43是对块边界进行滤波以从经重构的视频移除成块性假影的解块滤波器。如果包含于视频编码器22中，那么解块单元43将通常对第二加法器51的输出进行滤波。解块单元43可确定一个或一个以上纹理视图分量的解块信息。解块单元43还可确定深度图分量的解块信息。在一些实例中，一个或一个以上纹理分量的解块信息可不同于深度图分量的解块信息。在一个实例中，如图2中所示，变换处理单元38表示与依据HEVC的“TU”相对的功能块。
多视图视频加深度(MVD)单元33接收包括纹理分量和深度信息(例如，纹理视图分量4和深度视图分量6)的一个或一个以上视频块(图2中标记为“视频块”)。MVD单元33向视频编码器22提供对块单元中的深度分量进行编码的功能性。MVD单元33以使得预测处理单元32能够处理深度信息的格式向预测处理单元32组合地或单独地提供纹理视图分量和深度视图分量。MVD单元33还可向变换处理单元38用信号通知深度视图分量与视频块包含在一起。在其它实例中，视频编码器22的每一单元(例如，预测处理单元32、变换处理单元38、量化单元40、熵译码单元46等)包括用以处理除了纹理视图分量之外的深度信息的功能性。
一般来说，视频编码器22以类似于色度信息的方式对深度信息进行编码，原因在于运动补偿单元37经配置以在计算一块的深度分量的预测值时会再用针对同一块的明度分量所计算的运动向量。类似地，视频编码器22的帧内预测单元可经配置以在使用帧内预测编码深度视图分量时使用针对明度分量(即，基于对明度分量的分析)所选择的帧内预测模式。
预测处理单元32包含运动估计(ME)单元35和运动补偿(MC)单元37。预测处理单元32预测像素位置的深度信息以及纹理分量。一个或一个以上内插滤波器39(在本文被称作“滤波器39”)可包含于预测处理单元32中且可由ME单元35和MC单元37中的一者或两者调用来执行内插以作为运动估计和/或运动补偿的部分。内插滤波器39可实际上表示用以促进众多不同类型的内插和内插类型的滤波的多个不同滤波器。因此，预测处理单元32可包含多个内插或类内插滤波器。
在编码过程期间，视频编码器22接收将被译码的视频块(图2中标记为“视频块”)，且预测处理单元32执行帧间预测译码以产生预测块(图2中标记为“预测块”)。预测块包含纹理视图分量和深度视图信息两者。具体来说，ME单元35可执行运动估计来识别存储器34中的预测块，且MC单元37可执行运动补偿来产生预测块。
运动估计通常被视为产生估计视频块的运动的运动向量的过程。运动向量(例如)可指示预测或参考帧(或其它经译码单元，例如切片)内的预测块相对于当前帧(或其它经译码单元)内将被译码的块的位移。运动向量可具有全整数或子整数像素精度。举例来说，运动向量的水平分量和垂直分量两者可具有相应的全整数分量和子整数分量。参考帧(或帧的部分)可在时间上位于当前视频块所属的视频帧(或视频帧的部分)之前或之后。运动补偿通常被视为从存储器34获取预测块或产生预测块的过程，所述过程可包含基于由运动估计确定的运动向量来内插或以其它方式产生预测数据。
ME单元35通过将视频块与一个或一个以上参考帧(例如，前一和/或后一帧)的参考块进行比较来计算将被译码的视频块的至少一个运动向量。参考帧的数据可存储于存储器34中。ME单元35可执行具有分数像素精度的运动估计，其有时被称作分数像素(fractional pixel)、分数像素(fractional pel)、子整数或子像素运动估计。在分数像素运动估计中，ME单元35计算指示到除了整数像素位置之外的位置的位移的运动向量。因此，运动向量可具有分数像素精度，例如，二分之一像素精度、四分之一像素精度、八分之一像素精度，或其它分数像素精度。以此方式，分数像素运动估计允许预测处理单元32估计具有比整数像素(或全像素)位置高的精度的运动，且因此，预测处理单元32产生更准确的预测块。分数像素运动估计允许预测处理单元32以第一分辨率预测深度信息，且以第二分辨率预测纹理分量。举例来说，将纹理分量预测为全像素精度，而将深度信息预测为二分之一像素精度。在其它实例中，可使用运动向量的其它分辨率来用于深度信息和纹理分量。
ME单元35可调用一个或一个以上滤波器39来用于运动估计过程期间的任何必要的内插。在一些实例中，存储器34可存储子整数像素的经内插值，所述经内插值可由(例如)求和器51使用滤波器39来计算。举例来说，求和器51可将滤波器39应用于将存储于存储器34中的经重构块。
一旦预测处理单元32已产生预测块，视频编码器22便通过从正被译码的原始视频块减去预测块来形成残余视频块(图2中标记为“残余块”)。此减法可发生在原始视频块中的纹理分量与预测块中的纹理分量之间，以及针对原始视频块中的深度信息或来自预测块中的深度信息的深度图而发生。加法器48表示执行此减法运算的组件。
变换处理单元38可对残余块应用变换(例如，离散余弦变换(DCT)或概念上类似的变换)，从而产生包括残余变换块系数的视频块。应理解，变换处理单元38表示将变换应用于视频数据块的残余系数(与如由HEVC定义的CU的TU形成对比)的视频编码器22的组件。变换处理单元38可例如执行概念上类似于DCT的其它变换，例如由H.264标准定义的变换。此些变换包含(例如)方向性变换(例如，卡胡南-罗孚(Karhunen-Loeve)法则变换)，小波变换、整数变换、子带变换，或其它类型的变换。在任何情况下，变换处理单元38对残余块应用所述变换，从而产生残余变换系数块。变换处理单元38可将相同类型的变换应用于对应的残余块中的纹理分量和深度信息两者。将存在每一纹理和深度分量的单独残余块。所述变换将残余信息从像素域转换为频域。
量化单元40量化残余变换系数以进一步减小位率。量化过程可减小与系数中的一些或全部相关联的位深度。量化单元40可量化深度图像译码残余值。在量化之后，熵译码单元46对经量化变换系数进行熵译码。举例来说，熵译码单元46可执行CAVLC、CABAC或另一熵译码方法。
熵译码单元46还可对从预测处理单元32或视频编码器22的其它组件(例如，量化单元40)获得的一个或一个以上运动向量和支持信息进行译码。一个或一个以上预测语法元素可包含译码模式、一个或一个以上运动向量的数据(例如，水平分量和垂直分量、参考列表识别符、列表索引，和/或运动向量分辨率信令信息)、所使用的内插技术的指示、一组滤波器系数、深度图像与明度分量的分辨率的相对分辨率的指示、深度图像译码残余值的量化矩阵、深度图像的解块信息，或与预测块的产生相关联的其它信息。可在序列层级中或在图片层级中提供这些预测语法元素。
所述一个或一个以上语法元素还可包含明度分量与深度分量之间的量化参数(QP)差。所述QP差可在切片层级处用信号发送，且可包含于纹理视图分量的切片标头中。还可在经译码块单元层级处用信号发送其它语法元素，包含深度视图分量的经译码块模式、深度视图分量的增量QP、运动向量差，或与预测块的产生相关联的其它信息。可将运动向量差作为目标运动向量与纹理分量的运动向量之间的增量值，或作为目标运动向量(即，正被译码的块的运动向量)与来自块(例如，CU的PU)的相邻运动向量的预测符之间的增量值而用信号发送。在熵译码单元46进行的熵译码之后，可将经编码视频和语法元素发射到另一装置或加以存档(例如，存档在存储器34中)以用于稍后发射或检索。
反量化单元42和反变换处理单元44分别应用反量化和反变换，以在像素域中重构残余块，(例如)以用于稍后用作参考块。经重构残余块(在图2中标记为“经重构残余块”)可表示提供给变换处理单元38的残余块的经重构版本。归因于量化和反量化操作而导致的细节的损失，经重构残余块可能不同于由求和器48产生的残余块。求和器51将所述经重构的残余块与由预测处理单元32产生的经运动补偿的预测块相加，以产生用于存储在存储器34中的经重构视频块。可由预测处理单元32将所述经重构视频块用作参考块，所述参考块可用于随后对后续视频帧或后续经译码单元中的块单元进行译码。
以此方式，视频编码器22表示视频编码器的实例，其经配置以：接收包括指示图像的视图的视图分量的经译码块单元，其中所述视图分量包括一个或一个以上纹理视图分量和深度视图分量；产生包含纹理语法元素的一个或一个以上纹理视图分量的纹理切片标头，其中可从纹理切片标头中的纹理语法元素来确定深度视图分量的深度语法元素。
在一些情况下，可将关于对纹理视图分量和深度视图分量的译码的信息指示为包含于经译码位流中的一个或一个以上语法元素。在一些实例中，深度切片标头包括包含以下各者中的至少一者的语法元素：开始宏块的位置、切片类型、将使用的图片参数集(PPS)、切片的初始QP与在PPS中用信号发送的QP之间的增量QP、参考图片的次序(表示为frame_num)，以及当前图片(POC)的显示次序。深度切片标头还可包括以下各者中的至少一者：参考图片列表建构和相关的语法元素、存储器管理控制操作和相关的语法元素，以及经加权的预测和相关的语法元素。
图3是用于多视图视频译码的MVC(MVC)预测结构的一个实例的图。MVC是H.264/AVC的扩展。MVC预测结构包含每一视图内的图片间预测以及视图间预测两者。在图3中，预测由箭头指示，其中指向对象使用对指对象来用于预测参考。图3的MVC预测结构可与时间优先解码次序布置结合使用。在时间优先解码次序中，可将每一存取单元界定成含有一个输出时刻处的所有视图的经译码图片。存取单元的解码次序可不等同于输出或显示次序。
在MVC中，视图间预测受到视差运动补偿支持，所述视差运动补偿使用H.264/AVC运动补偿的语法，但允许将不同视图中的图片作为参考图片。对两个视图的译码也可受到MVC支持。MVC编码器可将两个以上视图用作3D视频输入，且MVC解码器可解码多视图表示。具有MVC解码器的再现器可解码具有多个视图的3D视频内容。
相同存取单元(即，具有相同时刻)中的图片可在MVC中被视图间预测。当对非基础视图中的一者中的图片进行译码时，如果图片处于不同视图中但具有相同时刻，那么可将所述图片添加到参考图片中。可将视图间预测参考图片置于参考图片列表的任何位置中，正如任何帧间预测参考图片一样。
在MVC中，可如同另一视图中的视图分量是帧间预测参考一般实现视图间预测。可在序列参数集(SPS)MVC扩展中用信号发送潜在的视图间参考。可通过参考图片列表建构过程来修改潜在的视图间参考，所述参考图片列表建构过程实现对帧间预测或视图间预测参考的灵活排序。
相比而言，在HEVC中，切片标头遵循与H.264/AVC中的设计原理类似的设计原理。另外，HEVC切片标头可含有当前HEVC规格中的自适应环路滤波器(ALF)参数语法。在一些实例中，深度切片标头包括一个或一个以上自适应环路滤波器参数。
在3DV编解码器中，特定时刻中的每一视图的视图分量可包含纹理视图分量和深度视图分量。切片结构可用于错误弹性目的，即，提供错误弹性。然而，仅当准确地接收到对应的纹理视图分量时，深度视图分量可能才有意义。通过包含深度视图分量的所有语法元素，深度视图分量的NAL单元的切片标头可能相对大。可通过从纹理视图分量的纹理切片标头中的语法元素中预测一些语法元素来减少深度切片标头的大小。
可使用位流在(例如)图1的源装置12与目的地装置14之间传递多视图视频加深度块单元和语法元素。所述位流可遵照译码标准ITU H.264/AVC，且具体来说，遵循多视图视频译码(MVC)位流结构。也就是说，在一些实例中，所述位流符合H.264/AVC的MVC扩展。在其它实例中，所述位流符合HEVC的多视图扩展或另一标准的多视图扩展。在又其它实例中，使用其它译码标准。
典型的MVC位流次序(解码次序)布置是时间优先译码。将每一存取单元界定为含有一个输出时刻的所有视图的经译码图片。存取单元的解码次序可等同于或可不等同于输出或显示次序。通常，MVC预测可包含每一视图内的图片间预测以及视图间预测两者。在MVC中，视图间预测可受到视差运动补偿支持，所述视差运动补偿使用H.264/AVC运动补偿的语法，但允许将不同视图中的图片用作参考图片。
对两个视图的译码受到MVC支持。MVC的一个优点是，MVC编码器可将两个以上视图用作3D视频输入，且MVC解码器可将两个视图解码为多视图表示。因此，具有MVC解码器的再现器可将3D视频内容视为具有多个视图。先前，MVC未处理具有补充性增强信息(SEI)消息(立体信息或空间交错图片)的深度图输入，类似于H.264/AVC。
在H.264/AVC标准中，将网络抽象层(NAL)单元界定为提供“网络友好的”视频表示，从而解决了例如视频电话、存储或流式传输视频等应用。可将NAL单元归类为视频译码层(VCL)NAL单元和非VCL NAL单元。VCL单元可含有核心压缩引擎且包括块、宏块(MB)和切片层级。其它NAL单元是非VCL NAL单元。
在2D视频编码实例中，每一NAL单元含有一个字节的NAL单元标头和不同大小的有效负载。使用五个位来指定NAL单元类型。三个位用于nal_ref_idc，其指示在被其它图片(NAL单元)参考方面NAL单元有多重要。举例来说，将nal_ref_idc设定为等于0意味着NAL单元不用于帧间预测。随着H.264/AVC扩展到包含3D视频编码，例如可缩放视频译码(SVC)标准，NAL标头可类似于2D情形的NAL标头。举例来说，使用NAL单元标头中的一个或一个以上位来识别NAL单元是四分量NAL单元。
NAL单元标头还可用于MVC NAL单元。然而，在MVC中，可保留NAL单元标头结构，除了前缀NAL单元和经MVC译码的切片NAL单元之外。经MVC译码的切片NAL单元可包括四字节标头和NAL单元有效负载，所述NAL单元有效负载可包含例如图1的经译码块8等块单元。MVC NAL单元标头中的语法元素可包含priority_id、temporal_id、anchor_pic_flag、view_id、non_idr_flag以及inter_view_flag。在其它实例中，其它语法元素包含于MVC NAL单元标头中。
语法元素anchor_pic_flag可指示图片是锚图片还是非锚图片。锚图片以及以输出次序(显示次序)在其后面的所有图片可被正确解码，而不需要以解码次序(即，位流次序)对先前图片进行解码，且因此可用作随机存取点。锚图片和非锚图片可具有不同的相依性，可在序列参数集中用信号发送以上两者。
MVC中所界定的位流结构可通过两个语法元素来表征：view_id和temporal_id。语法元素view_id可指示每一视图的识别符。NAL单元中的此识别符使得能够容易地在解码器处识别NAL单元且快速地存取经解码的视图以进行显示。语法元素temporal_id可指示时间可缩放性分层结构，或间接地指示帧速率。举例来说，包含具有较小的最大temporal_id值的NAL单元的操作点可具有比具有较大的最大temporal_id值的操作点低的帧速率。具有较高的temporal_id值的经译码图片通常取决于视图内的具有较低的temporal_id值的经译码图片，但可不取决于具有较高temporal_id的任何经译码图片。
NAL单元标头中的语法元素view_id和temporal_id可用于位流提取和调适两者。语法元素priority_id可主要用于简单的一路径位流调适过程。语法元素inter_view_flag可指示此NAL单元是否将用于视图间预测不同视图中的另一NAL单元。
MVC还可使用序列参数集(SPS)且包含SPS MVC扩展。参数集用于H.264/AVC中的信令。序列参数集包括序列层级的标头信息。图片参数集(PPS)包括不频繁变化的图片层级的标头信息。通过参数集，未始终针对每一序列或图片来重复此不频繁变化的信息，因此译码效率得到提高。此外，参数集的使用实现了对标头信息的带外发射，从而避免需要冗余发射来用于错误弹性。在带外发射的一些实例中，在与其它NAL单元不同的信道上发射参数集NAL单元。在MVC中，可在SPS MVC扩展中用信号发送视图相依性。可在由SPS MVC扩展指定的范围内进行所有视图间预测。
在一些先前的3D视频编码技术中，以一种方式对内容进行译码，使得在一个或一个以上NAL单元中对色彩分量(例如，在YCbCr色彩空间中)进行译码，而在一个或一个以上单独的NAL单元中对深度图像进行译码。然而，当没有单个NAL单元含有存取单元的纹理和深度图像的经译码样本时，可出现若干问题。举例来说，在3D视频解码器中，预期在对每一帧的纹理和深度图像两者进行解码之后，激活基于深度图和纹理的视图再现以产生虚拟视图。如果以连续方式对存取单元的深度图像的NAL单元和纹理的NAL单元进行译码，视图再现可直到对整个存取单元进行解码时才开始。这可导致再现3D视频所花费的时间的增加。
此外，纹理图像和相关联的深度图图像可共享编解码器中的各个层级中的一些信息，所述层级例如为序列层级、图片层级、切片层级和块层级。当共享或预测此信息时，将所述信息译码到两个NAL单元中可产生额外的实施负担。因此，编码器可必须针对一帧执行两次运动估计，一次用于纹理且还有一次用于深度图。类似地，解码器可需要针对一帧执行两次运动补偿。
如本文中所描述，将若干技术添加到现有标准，例如MVC，以便支持3D视频。可将多视图视频加深度(MVD)添加到MVC以用于3D视频处理。3D视频编码技术可向现有的视频标准提供更多的灵活性和可扩展性，例如，以用于流畅地改变视图角度，或向后或向前调整收敛或深度感知，所述向后或向前调整收敛或深度感知可例如基于装置的规格或用户偏好。还可扩展译码标准以利用深度图来产生3D视频中的虚拟视图。
图4是说明根据本发明的技术的视频译码器的实例性操作的流程图。在一些实例中，视频译码器是视频编码器，例如图1和2中所示的视频编码器22。在其它实例中，视频译码器是视频解码器，例如图1和5中所示的视频解码器28。视频译码器接收包括纹理切片标头的纹理切片，所述纹理切片标头包括表示纹理切片的特性的语法元素(102)。举例来说，视频译码器接收与表示纹理信息的视频数据的一个或一个以上经译码块相关联的纹理视图分量的纹理切片，所述纹理切片包括经编码的一个或一个以上块以及纹理切片标头，所述纹理切片标头包括表示所述纹理切片的特性的语法元素。所述方法进一步包含接收包括深度切片标头的深度切片，所述深度切片标头包括表示深度切片的特性的语法元素(104)。举例来说，视频译码器接收与对应于所述纹理视图分量的深度信息的一个或一个以上经译码块相关联的深度视图分量的深度切片，其中所述深度切片包括深度信息的一个或一个以上经译码块以及深度切片标头，所述深度切片标头包括表示深度切片的特性的语法元素。在一些实例中，所述深度视图分量和所述纹理视图分量两者都属于视图和存取单元。
所述装置进一步包括对第一切片进行译码，其中所述第一切片包括纹理切片和深度切片中的一者，其中所述第一切片具有切片标头，所述切片标头包括表示所述第一切片的特性的语法元素(106)。举例来说，视频编码器22对第一切片进行编码，其中所述第一切片包括纹理切片和深度切片中的一者，其中所述第一切片具有切片标头，所述切片标头包括表示所述第一切片的特性的语法元素。在一个实例中，所述切片标头包括用于对相关联的切片进行译码的所有语法元素。在另一实例中，视频解码器28对第一切片进行解码，其中所述第一切片包括纹理切片和深度切片中的一者，其中所述第一切片具有切片标头，所述切片标头包括表示所述第一切片的特性的语法元素。
所述方法进一步包括从所述第一切片的所述切片标头确定第二切片的共同语法元素(108)。此外，所述方法包括在对所述第一切片进行译码之后至少部分基于所确定的共同语法元素对所述第二切片进行译码，其中所述第二切片具有包括表示所述第二切片的特性、排除了与所述第一切片共同的语法元素的值的语法元素的切片标头(110)。举例来说，视频编码器22在对所述第一切片进行译码之后至少部分基于所述所确定的共同语法元素对所述第二切片进行编码，其中所述第二切片包括所述纹理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了与所述第一切片共同的语法元素的值的语法元素的切片标头。类似地，视频解码器28可在对所述第一切片进行译码之后至少部分基于所述所确定的共同语法元素对所述第二切片进行解码，其中所述第二切片包括所述纹理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了与所述第一切片共同的语法元素的值的语法元素的切片标头。
在其它实例中，所述方法进一步包括在序列参数集中用信号发送在所述第二切片的所述切片标头中明确用信号发送哪些语法元素的指示。
在其它实例中，在深度视图分量的切片标头中确定并用信号发送至少一个深度语法元素。所述至少一个深度语法元素可包含图片参数集识别符、切片的量化参数与在图片参数集中用信号发送的量化参数之间的量化参数差、经译码块单元的开始位置，参考图片的次序，或深度视图分量的当前图片的显示次序。举例来说，第二切片的切片标头至少包括相关图片参数集的识别的用信号发送的语法元素。在另一实例中，第二切片的切片标头至少包括所述第二切片的量化参数与在图片参数集中用信号发送的量化参数之间的量化参数差的用信号发送的语法元素。在另一实例中，第二切片的切片标头至少包括经译码块的开始位置的用信号发送的语法元素。此外，第二切片的切片标头包括所述第二切片的帧编号和图片次序计数中的至少一者。在另一实例中，第二切片的切片标头包括与参考图片列表建构、用于每一列表的有效参考帧的数目、参考图片列表修改语法表以及预测权重表相关的语法元素中的至少一者。
当未在纹理切片标头或深度切片标头中用信号发送经译码块的开始位置时，可将所述经译码块的开始位置确定为零。可用信号发送至少一个纹理视图分量的环路滤波器参数，且用信号发送指示用于深度视图分量的环路滤波器参数与用于至少一个纹理视图分量的环路滤波器参数相同的旗标集。举例来说，第二切片的切片标头包括与用于所述第二切片的解块滤波器参数或自适应环路滤波参数相关的语法元素中的至少一者。
在另一实例中，使用视图间预测对表示纹理信息的视频数据的一个或一个以上块进行编码，而使用视图内预测对帧的对应部分的深度值进行编码。具有纹理视图分量和深度视图分量的视频帧可对应于第一视图。对表示纹理信息的一个或一个以上视频数据块进行编码可包含相对于第二视图的数据来预测表示纹理信息的视频数据块中的至少一者的至少一部分，其中所述第二视图不同于所述第一视图。对表示帧的部分的深度值的深度信息进行编码进一步包括相对于第一视图的数据来预测表示深度值的深度信息的至少一部分。所述深度切片标头可进一步用信号发送表示深度图视图分量的参考图片列表建构的语法元素。
表1展示序列参数集(SPS)MVC扩展。视图间参考可在SPS中用信号发送且可通过参考图片列表建构过程进行修改，所述参考图片列表建构过程实现对帧间预测或视图间预测参考的灵活排序。
Figure BDA0000459511310000271
Figure BDA0000459511310000281
表1
序列层级处的指示符可指定如何从同一视图中的对应纹理视图分量预测深度视图分量。在深度图的序列参数集中，可用信号发送以下语法：
pred_slice_header_colocated_idc ue(v)或u(2)
在其中使用视图间预测对表示纹理信息的视频数据的一个或一个以上块进行编码而使用视图内预测对帧的对应部分的深度值进行编码的实例中，可在深度图视图分量的切片标头中用信号发送num_ref_idx_active_override_flag和ref_pic_list_reordering。
表2提供深度切片的切片标头的实例性语法表。语法元素pre_slice_header_colocated_idc指定通过以下方式在纹理视图分量的切片标头与深度视图分量的切片标头之间再用所述语法元素。将pred_slice_header_colocated_idc设定为等于0指示在纹理视图分量与其对应的深度视图分量的任何切片标头之间不存在预测。应注意，深度图视图分量的对应纹理视图分量指代同一视图内的同一时刻处的纹理视图分量。
将pre_slice_header_colocated_idc设定为等于3指示在切片标头中用信号发送深度视图分量NAL单元的图片参数集和增量QP，而所述深度视图分量NAL单元的其它切片层级语法元素与对应纹理视图分量的语法元素相同，或可以从对应纹理视图分量的语法元素进行预测。
将pred_slice_header_colocated_idc设定为等于2指示在深度切片标头中用信号发送深度视图分量NAL单元的图片参数集和增量QP以及第一MB或CU的位置，而其它语法元素与同一视图的位于同一地点的纹理视图分量的对应语法元素相同或可以从所述对应语法元素进行预测。
将pred_slice_header_colocated_idc设定为等于1指示在切片标头中用信号发送深度视图分量NAL单元的图片参数集和增量QP以及第一MB或CU的位置，和frame_num和POC值，而其它语法元素与同一视图的位于同一地点的纹理视图分量的对应语法元素相同或可以从所述对应语法元素进行预测。在一个实例中，当pred_slice_header_colocated_idc等于3时，推断first_mb_in_slice具有等于0的值。另一方面，当pred_slice_header_colocated_idc小于3时，可明确用信号发送first_mb_in_slice的值，如表2中所示。
如表2中所示，当pred_slice_header_colocated_idc具有小于1的值时，可用信号发送熵切片旗标和切片类型。熵切片旗标具有指示对应的切片是否为熵切片(即，是否在不参考其它切片的上下文的情况下对切片进行熵译码)的值。因此可在每一熵切片的开头处对上下文模型进行初始化或复位。切片类型指示例如1、P或B等切片的类型。此外，当pred_slice_header_colocated_idc具有小于1的值时，切片标头指示切片的块是否被场译码(例如，针对场交错译码)。
Figure BDA0000459511310000291
Figure BDA0000459511310000301
表2
表3提供基于HEVC的深度视图分量的切片标头的一个实例性设计。应注意，在此实例中，当pred_slice_header_colocated_idc等于3时，推断first_tb_in_slice具有等于0的值。
Figure BDA0000459511310000311
Figure BDA0000459511310000321
表3
表4深度切片的切片标头的实例性语法表。表4提供深度切片标头的一个实例性设计以进一步指示用于深度视图分量的语法再用。在此实例中，序列层级处的指示符指定如何从同一视图中的对应纹理视图分量预测深度视图分量。
在深度图的此序列参数集中，可用信号发送以下语法：
pred_slice_header_colocated_idc ue(v)或u(2)
pre_slice_header_colocated_idc语法元素指定纹理视图分量的切片标头与深度视图分量的切片标头之间的语法元素再用。举例来说，将pred_slice_header_colocated_idc设定为等于0指示在纹理视图分量与其对应的深度视图分量的任何切片标头之间不存在预测。将pre_slice_header_colocated_idc设定为等于3指示在切片标头中用信号发送深度视图分量NAL单元的图片参数集和增量QP，而所述深度视图分量NAL单元的其它切片层级语法元素与对应纹理视图分量的语法元素相同，或从对应纹理视图分量的语法元素进行预测。
将pred_slice_header_colocated_idc设定为等于2指示在深度切片标头中用信号发送深度视图分量NAL单元的图片参数集和增量QP以及第一MB或CU的位置，而其它语法元素与同一视图的位于同一地点的纹理视图分量的对应语法元素相同或从所述对应语法元素进行预测。将pred_slice_header_colocated_idc设定为等于1指示在切片标头中用信号发送深度视图分量NAL单元的图片参数集和增量QP以及第一MB或CU的位置，和frame_num和POC值，而其它语法元素与同一视图的位于同一地点的纹理视图分量的对应语法元素相同或从所述对应语法元素进行预测。
语法旗标pred_default_syntax_flag指示是否从位于同一地点的纹理视图分量的语法元素预测深度图视图分量的切片标头的语法元素。在一个实例中，如果pred_slice_header_colocated_idc等于0，那么推断pred_default_syntax_flag为0。当在此实例中pred_slice_header_colocated_idc等于3且pred_default_syntax_flag是1时，first_mb_in_slice等于0。
表4
表5是基于HEVC的深度视图分量的切片标头的实例性语法表。在表5的实例中，pred_default_syntax_flag指示是否从位于同一地点的纹理视图分量的语法元素预测深度图视图分量的切片标头的语法元素。如果pred_slice_header_colocated_idc等于0，那么推新pred_default_syntax_flag为0。当在此实例中pred_slice_header_colocated_idc等于3且pred_default_syntax_flag是1时，first_tb_in_slice等于0。
Figure BDA0000459511310000361
表5
应注意，当启用切片标头预测时，存在一暗示：如果切片A是基于切片B，给定切片A或B是深度切片且另一者是纹理切片且它们属于同一时刻的视图，那么满足以下条件中的一者：含有切片B的图片中的所有切片具有相同的切片标头；切片A中的任何MB具有切片B中的位于同一地点的MB；或如果切片A中的任何MB具有含有切片B的图片的切片C中的位于同一地点的MB，那么切片C必定具有与切片B相同的切片标头。
或者，所描述的技术的不同实施方案可如下用于深度视图分量。表6提供切片标头深度扩展的实例。
Figure BDA0000459511310000362
表6
在此实例中，语法元素sameRefPicList是从SPS或PPS层级导出或在SPS或PPS层级中用信号发送。举例来说，在SPS中用信号发送的disable_depth_inter_view_flag指示是否停用对深度的视图间预测。
对于纹理视图分量，所描述的技术的另一实施方案可如表7中所示。在此实例中，可从深度视图分量的深度切片标头的相关语法元素预测纹理视图分量的纹理切片标头的语法元素。
表7
同样，在此实例中，语法元素sameRefPicList是从SPS或PPS层级导出或在SPS或PPS层级中用信号发送。
或者，可如表8中所示在切片标头中明确用信号发送此类旗标。
Figure BDA0000459511310000372
Figure BDA0000459511310000381
表8
语法元素slice_header_prediction_flag指示是否启动从纹理到深度或从深度到纹理的切片标头预测。也就是说，纹理切片或深度切片中的至少一者包括指示切片标头预测是从纹理切片标头到深度切片标头还是从深度切片标头到纹理切片标头的语法元素。
或者，切片层级旗标或其它指示符指定切片预测应用的程度。这些指示符的实例包含是否预测参考图片列表建构语法元素、是否预测slice_qp_delta，以及是否预测经加权预测语法元素。
在一些实例中，还指示是否预测环路滤波器相关的语法元素。如果未预测环路滤波器相关的语法元素，那么在深度切片标头中包含用以指示那些语法元素是否存在的另一旗标。
或者，可使用用于用信号发送解块滤波器的另一旗标deblocking_pred_flag来取代用于解块滤波器参数的pred_default_syntax_flag或pred_slice_header_colocated_idc。在相同的切片标头或PPS或SPS中用信号发送此旗标。表9展示基于HEVC的深度视图分量的切片标头的实例性语法表。在HEVC的上下文中，深度视图分量的ALF参数不应该与对应的纹理视图分量的ALF参数相同，除非ALF不用于纹理视图分量和深度视图分量两者。
Figure BDA0000459511310000382
Figure BDA0000459511310000391
表9
图5是进一步详细地说明根据本发明的技术的图1的视频解码器28的一实例的框图。视频解码器28是在本文被称作“译码器”的专用视频计算机装置或设备的一个实例。如图5中所示，视频解码器28对应于目的地装置14的视频解码器28。然而，在其它实例中，视频解码器28对应于不同的装置。在进一步的实例中，其它单元(例如，其它编码器/解码器(CODEC))也可执行与视频解码器28类似的技术。
视频解码器28包含熵解码单元52，所述熵解码单元对所接收的位流进行熵解码以产生经量化系数和预测语法元素。所述位流包含具有用于每一像素位置的纹理分量和深度分量的经译码块以便再现3D视频和语法元素。所述预测语法元素包含以下各者中的至少一者：译码模式、一个或一个以上运动向量、识别所使用的内插技术的信息、在内插滤波中使用的系数以及与预测块的产生相关联的其它信息。
将例如系数等预测语法元素转发到预测处理单元55。预测处理单元55包含深度语法预测模块66。如果使用预测相对于固定滤波器的系数或相对于彼此对系数进行译码，那么预测处理单元55对语法元素进行解码以界定实际的系数。深度语法预测模块66从纹理视图分量的纹理语法元素预测深度视图分量的深度语法元素。
如果将量化应用于预测语法元素中的任一者，那么反量化单元56移除此类量化。反量化单元56可不同地处理经编码位流中的经译码块的每一像素位置的深度和纹理分量。举例来说，当深度分量与纹理分量不同地被量化时，反量化单元56单独地处理深度和纹理分量。根据本发明，举例来说，滤波器系数可被预测性地译码和量化，且在此情况下，由视频解码器28使用反量化单元56对此些系数进行预测性地解码和解量化。
预测处理单元55以与上文关于视频编码器22的预测处理单元32所详细描述的方式非常相同的方式，基于存储于存储器62中的预测语法元素和一个或一个以上先前经解码的块来产生预测数据。具体来说，预测处理单元55在运动补偿期间执行本发明的多视图视频加深度技术中的一者或一者以上以产生并入深度分量以及纹理分量的预测块。预测块(以及经译码块)针对深度分量与纹理分量可具有不同的分辨率。举例来说，深度分量具有四分之一像素精度，而纹理分量具有全整数像素精度。因此，由视频解码器28在产生预测块的过程中使用本发明的技术中的一者或一者以上。在一些实例中，预测处理单元55可包含运动补偿单元，所述运动补偿单元包括用于本发明的内插和类内插滤波技术的滤波器。出于说明的简单和便利起见，在图5中未展示运动补偿组件。
反量化单元56将经量化系数反量化，即解量化。反量化过程是针对H.264解码或针对任何其它解码标准而界定的过程。反变换处理单元58对变换系数应用反变换(例如，反DCT或概念上类似的反变换过程)，以便在像素域中产生残余块。求和器64对残余块与由预测处理单元55产生的对应预测块进行求和以形成由视频编码器22编码的原始块的经重构版本。如果需要的话，还应用解块滤波器以对经解码块进行滤波，以便移除成块性假影。经解码视频块随后被存储在存储器62中，所述存储器提供用于后续运动补偿的参考块且还产生经解码视频以驱动显示装置(例如，图1的装置28)。
经解码视频可用于再现3D视频。3D视频可包括三维虚拟视图。深度信息用于确定块中的每一像素的水平偏移(水平视差)。还可执行遮挡处置以产生虚拟视图。可从纹理视图分量的语法元素来预测深度视图分量的语法元素。
图6是说明根据本发明的技术的视频解码器的实例性操作的流程图。可将图6的过程视为与图4的编码过程互逆的解码过程。将从图5的视频解码器28的角度来描述图6，但其它装置可执行类似技术。
例如视频解码器28等视频解码器接收与表示视频数据帧的至少一部分的纹理信息的视频数据的一个或一个以上经译码块相关联的纹理视图分量的纹理切片，所述纹理切片包括经编码的一个或一个以上块以及纹理切片标头，所述纹理切片标头包括表示所述纹理切片的特性的语法元素(122)。所述视频解码器接收对应于纹理视图分量的深度视图分量的深度切片，所述深度切片包括经编码深度信息和深度切片标头，所述深度切片标头包括表示所述深度切片的特性、排除了与深度切片和纹理切片共同的语法元素的值的至少一个语法元素(124)。视频解码器从与深度切片和纹理切片共同的语法元素的值预测深度切片或纹理切片中的至少一者的语法元素(126)。
在其它实例中，在深度视图分量的切片标头中确定并用信号发送至少一个深度语法元素。所述至少一个深度语法元素包含图片以下各者中的至少一者：参数集识别符、切片的量化参数与在图片参数集中用信号发送的量化参数之间的量化参数差、经译码块单元的开始位置，参考图片的次序，以及深度视图分量的当前图片的显示次序。当未在纹理切片标头或深度切片标头中用信号发送经译码块的开始位置时，将所述经译码块的开始位置确定为零。可用信号发送至少一个纹理视图分量的环路滤波器参数，且用信号发送指示用于深度视图分量的环路滤波器参数与用于至少一个纹理视图分量的环路滤波器参数相同的旗标集。
在另一实例中，视频解码器28使用视图间预测技术来预测纹理视图分量，且使用视图内预测技术来预测深度视图分量。视频解码器28接收进一步包括表示深度视图分量的参考图片列表建构的语法元素的深度切片标头。在其中纹理视图分量和深度视图分量对应于第一视图的实例中，解码纹理视图分量包含相对于第二视图的数据来预测纹理视图分量的至少一部分。所述第二视图不同于所述第一视图。在一些实例中，解码深度视图分量可包含相对于第一视图的数据来预测深度视图分量的至少一部分。
在一个或一个以上实例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，那么所述功能可作为一个或一个以上指令或代码存储在计算机可读媒体上或经由计算机可读媒体进行传输且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体(其对应于例如数据存储媒体等有形媒体)或通信媒体，通信媒体包含促进(例如)根据通信协议将计算机程序从一处传递到另一处的任何媒体。以此方式，计算机可读媒体一般可对应于(1)非暂时性的有形计算机可读存储媒体或(2)例如信号或载波等通信媒体。数据存储媒体可为可由一个或一个以上计算机或一个或一个以上处理器存取以检索指令、代码和/或数据结构来用于实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。
举例来说且并非限制，所述计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，快闪存储器，或可用于存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。同样，可适当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波的无线技术从网站、服务器或其它远程源传输软件，则同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波的无线技术包含于媒体的定义中。然而，应理解，计算机可读存储媒体和数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而是针对于非暂时的有形存储媒体。如本文中所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘，其中磁盘通常磁性地再现数据，而光盘使用激光光学地再现数据。以上各者的组合也应包含在计算机可读媒体的范围内。
可由例如一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一个或一个以上处理器来执行所述指令。因此，如本文中所使用的术语“处理器”可指前述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可提供于经配置以用于编码及解码的专用硬件模块和/或软件模块内，或并入组合式编解码器中。并且，可将所述技术完全实施于一个或一个以上电路或逻辑元件中。
本发明的技术可实施于广泛多种装置或设备中，包含无线手持机、集成电路(IC)或IC组(例如，芯片组)。本发明中描述各种组件、模块或单元来强调经配置以执行所揭示的技术的装置的若干功能性方面，但不一定需要通过不同的硬件单元来实现。而是，如上文所描述，各种单元可联合合适的软件和/或固件而组合于编解码器硬件单元中或通过互操作的硬件单元的集合(包含如上文所描述的一个或一个以上处理器)来提供。
已描述了本发明的各种实例。这些及其它实例属于所附权利要求书的范围内。

Claims (54)

1.一种处理视频数据的方法，所述方法包括：
接收与表示纹理信息的视频数据的一个或一个以上经译码块相关联的纹理视图分量的纹理切片，所述纹理切片包括经编码的一个或一个以上块以及纹理切片标头，所述纹理切片标头包括表示所述纹理切片的特性的语法元素；
接收与对应于所述纹理视图分量的深度信息的一个或一个以上经译码块相关联的深度视图分量的深度切片，其中所述深度切片包括深度信息的所述一个或一个以上经译码块以及深度切片标头，所述深度切片标头包括表示所述深度切片的特性的语法元素，且其中所述深度视图分量和所述纹理视图分量两者都属于视图和存取单元；
对第一切片进行解码，其中所述第一切片包括所述纹理切片和所述深度切片中的一者，其中所述第一切片具有切片标头，所述切片标头包括表示所述第一切片的特性的语法元素；
从所述第一切片的所述切片标头确定第二切片的共同语法元素；以及
在对所述第一切片进行译码之后至少部分基于所述所确定的共同语法元素对所述第二切片进行解码，其中所述第二切片包括所述纹理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了与所述第一切片共同的语法元素的值的语法元素的切片标头。
2.根据权利要求1所述的方法，其中所述第二切片的所述切片标头至少包括相关图片参数集的识别的用信号发送的语法元素。
3.根据权利要求1所述的方法，其中所述第二切片的所述切片标头至少包括所述第二切片的量化参数与在图片参数集中用信号发送的量化参数之间的量化参数差的用信号发送的语法元素。
4.根据权利要求1所述的方法，其中所述第二切片的所述切片标头至少包括所述经译码块的开始位置的用信号发送的语法元素。
5.根据权利要求1所述的方法，其中所述第二切片的所述切片标头包括所述第二切片的帧编号和图片次序计数中的至少一者。
6.根据权利要求1所述的方法，其中所述第二切片的所述切片标头包括与参考图片列表建构、用于每一列表的有效参考帧的数目、参考图片列表修改语法表以及预测权重表相关的所述语法元素中的至少一者。
7.根据权利要求1所述的方法，其中所述第一切片包括所述纹理切片且所述第二切片包括所述深度切片，所述方法进一步包括：
当未在所述纹理切片标头或所述深度切片标头中用信号发送所述深度视图分量的开始位置时，将所述深度切片的开始位置确定为零。
8.根据权利要求1所述的方法，其中所述第二切片的所述切片标头包括与用于所述第二切片的解块滤波器参数或自适应环路滤波参数相关的所述语法元素中的至少一者。
9.根据权利要求1所述的方法，其进一步包括：
在序列参数集中用信号发送在所述第二切片的所述切片标头中明确用信号发送哪些语法元素的指示。
10.一种用于对数据进行解码的装置，其包括视频解码器，所述视频解码器经配置以：接收与表示纹理信息的视频数据的一个或一个以上经译码块相关联的纹理视图分量的纹理切片，所述纹理切片包括经编码的一个或一个以上块以及纹理切片标头，所述纹理切片标头包括表示所述纹理切片的特性的语法元素；接收与对应于所述纹理视图分量的深度信息的一个或一个以上经译码块相关联的深度视图分量的深度切片，其中所述深度切片包括深度信息的所述一个或一个以上经译码块以及深度切片标头，所述深度切片标头包括表示所述深度切片的特性的语法元素，且其中所述深度视图分量和所述纹理视图分量两者都属于视图和存取单元；对第一切片进行解码，其中所述第一切片包括所述纹理切片和所述深度切片中的一者，其中所述第一切片具有切片标头，所述切片标头包括表示所述第一切片的特性的语法元素；从所述第一切片的所述切片标头确定第二切片的共同语法元素；以及在对所述第一切片进行解码之后至少部分基于所述所确定的共同语法元素对所述第二切片进行解码，其中所述第二切片包括所述纹理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了与所述第一切片共同的语法元素的值的语法元素的切片标头。
11.根据权利要求10所述的装置，其中所述第二切片的所述切片标头至少包括相关图片参数集的识别的用信号发送的语法元素。
12.根据权利要求10所述的装置，其中所述第二切片的所述切片标头至少包括所述第二切片的量化参数与在图片参数集中用信号发送的量化参数之间的量化参数差的用信号发送的语法元素。
13.根据权利要求10所述的装置，其中所述第二切片的所述切片标头至少包括所述经译码块的开始位置的用信号发送的语法元素。
14.根据权利要求10所述的装置，其中所述第二切片的所述切片标头包括所述第二切片的帧编号和图片次序计数中的至少一者。
15.根据权利要求10所述的装置，其中所述第二切片的所述切片标头包括与参考图片列表建构、用于每一列表的有效参考帧的数目、参考图片列表修改语法表以及预测权重表相关的所述语法元素中的至少一者。
16.根据权利要求10所述的装置，其中所述第一切片包括所述纹理切片且所述第二切片包括所述深度切片，其中所述视频解码器进一步经配置以当未在所述纹理切片标头或所述深度切片标头中用信号发送所述深度视图分量的开始位置时，将所述深度切片的开始位置确定为零。
17.根据权利要求10所述的装置，其中所述第二切片的所述切片标头包括与用于所述第二切片的解块滤波器参数或自适应环路滤波参数相关的所述语法元素中的至少一者。
18.根据权利要求10所述的装置，其中视频译码器进一步经配置以在序列参数集中用信号发送在所述第二切片的所述切片标头中明确用信号发送哪些语法元素的指示。
19.一种计算机程序产品，其包括其上存储有指令的计算机可读存储媒体，所述指令在被执行时致使视频解码装置的处理器：
接收与表示纹理信息的视频数据的一个或一个以上经译码块相关联的纹理视图分量的纹理切片，所述纹理切片包括经编码的一个或一个以上块以及纹理切片标头，所述纹理切片标头包括表示所述纹理切片的特性的语法元素；
接收与对应于所述纹理视图分量的深度信息的一个或一个以上经译码块相关联的深度视图分量的深度切片，其中所述深度切片包括深度信息的所述一个或一个以上经译码块以及深度切片标头，所述深度切片标头包括表示所述深度切片的特性的语法元素，且其中所述深度视图分量和所述纹理视图分量两者都属于视图和存取单元；
对第一切片进行解码，其中所述第一切片包括所述纹理切片和所述深度切片中的一者，其中所述第一切片具有切片标头，所述切片标头包括表示所述第一切片的特性的语法元素；
从所述第一切片的所述切片标头确定第二切片的共同语法元素；以及
在对所述第一切片进行解码之后至少部分基于所述所确定的共同语法元素对所述第二切片进行解码，其中所述第二切片包括所述纹理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了与所述第一切片共同的语法元素的值的语法元素的切片标头。
20.根据权利要求19所述的计算机可读存储媒体，其中所述第二切片的所述切片标头至少包括相关图片参数集的识别的用信号发送的语法元素。
21.根据权利要求19所述的计算机可读存储媒体，其中所述第二切片的所述切片标头至少包括所述第二切片的量化参数与在图片参数集中用信号发送的量化参数之间的量化参数差的用信号发送的语法元素。
22.根据权利要求19所述的计算机可读存储媒体，其中所述第二切片的所述切片标头至少包括所述经译码块的开始位置的用信号发送的语法元素。
23.根据权利要求19所述的计算机可读存储媒体，其中所述第二切片的所述切片标头包括所述第二切片的帧编号和图片次序计数中的至少一者。
24.根据权利要求19所述的计算机可读存储媒体，其中所述第二切片的所述切片标头包括与参考图片列表建构、用于每一列表的有效参考帧的数目、参考图片列表修改语法表以及预测权重表相关的所述语法元素中的至少一者。
25.根据权利要求19所述的计算机可读存储媒体，其中所述第一切片包括所述纹理切片且所述第二切片包括所述深度切片，所述指令进一步致使视频解码装置的处理器：
当未在所述纹理切片标头或所述深度切片标头中用信号发送所述深度视图分量的开始位置时，将所述深度切片的开始位置确定为零。
26.一种用于处理视频数据的装置，其包括：
用于接收与表示纹理信息的视频数据的一个或一个以上经译码块相关联的纹理视图分量的纹理切片的装置，所述纹理切片包括经编码的一个或一个以上块以及纹理切片标头，所述纹理切片标头包括表示所述纹理切片的特性的语法元素；
用于接收与对应于所述纹理视图分量的深度信息的一个或一个以上经译码块相关联的深度视图分量的深度切片的装置，其中所述深度切片包括深度信息的所述一个或一个以上经译码块以及深度切片标头，所述深度切片标头包括表示所述深度切片的特性的语法元素，且其中所述深度视图分量和所述纹理视图分量两者都属于视图和存取单元；
用于对第一切片进行解码的装置，其中所述第一切片包括所述纹理切片和所述深度切片中的一者，其中所述第一切片具有切片标头，所述切片标头包括表示所述第一切片的特性的语法元素；
用于从所述第一切片的所述切片标头确定第二切片的共同语法元素的装置；以及
用于在对所述第一切片进行译码之后至少部分基于所述所确定的共同语法元素对所述第二切片进行解码的装置，其中所述第二切片包括所述纹理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了与所述第一切片共同的语法元素的值的语法元素的切片标头。
27.根据权利要求26所述的装置，其中所述第二切片的所述切片标头至少包括所述第二切片的量化参数与在图片参数集中用信号发送的量化参数之间的量化参数差的用信号发送的语法元素。
28.一种对视频数据进行编码的方法，所述方法包括：
接收与表示纹理信息的视频数据的一个或一个以上经译码块相关联的纹理视图分量的纹理切片，所述纹理切片包括经编码的一个或一个以上块以及纹理切片标头，所述纹理切片标头包括表示所述纹理切片的特性的语法元素；
接收与对应于所述纹理视图分量的深度信息的一个或一个以上经译码块相关联的深度视图分量的深度切片，其中所述深度切片包括深度信息的所述一个或一个以上经译码块以及深度切片标头，所述深度切片标头包括表示所述深度切片的特性的语法元素，且其中所述深度视图分量和所述纹理视图分量两者都属于视图和存取单元；
对第一切片进行编码，其中所述第一切片包括所述纹理切片和所述深度切片中的一者，其中所述第一切片具有切片标头，所述切片标头包括表示所述第一切片的特性的语法元素；
从所述第一切片的所述切片标头确定第二切片的共同语法元素；以及
在对所述第一切片进行编码之后至少部分基于所述所确定的共同语法元素对所述第二切片进行编码，其中所述第二切片包括所述纹理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了与所述第一切片共同的语法元素的值的语法元素的切片标头。
29.根据权利要求28所述的方法，其中所述第二切片的所述切片标头至少包括相关图片参数集的识别的用信号发送的语法元素。
30.根据权利要求28所述的方法，其中所述第二切片的所述切片标头至少包括所述第二切片的量化参数与在图片参数集中用信号发送的量化参数之间的量化参数差的用信号发送的语法元素。
31.根据权利要求28所述的方法，其中所述第二切片的所述切片标头至少包括所述经译码块的开始位置的用信号发送的语法元素。
32.根据权利要求28所述的方法，其中所述第二切片的所述切片标头包括所述第二切片的帧编号和图片次序计数中的至少一者。
33.根据权利要求28所述的方法，其中所述第二切片的所述切片标头包括与参考图片列表建构、用于每一列表的有效参考帧的数目、参考图片列表修改语法表以及预测权重表相关的所述语法元素中的至少一者。
34.根据权利要求28所述的方法，其中所述第一切片包括所述纹理切片且所述第二切片包括所述深度切片，所述方法进一步包括：
当未在所述纹理切片标头或所述深度切片标头中用信号发送所述深度视图分量的开始位置时，将所述深度切片的开始位置确定为零。
35.根据权利要求28所述的方法，其中所述第二切片的所述切片标头包括与用于所述第二切片的解块滤波器参数或自适应环路滤波参数相关的所述语法元素中的至少一者。
36.根据权利要求28所述的方法，其进一步包括：
在序列参数集中用信号发送在所述第二切片的所述切片标头中明确用信号发送哪些语法元素的指示。
37.一种用于对数据进行编码的装置，其包括视频编码器，所述视频编码器经配置以：接收与表示纹理信息的视频数据的一个或一个以上经译码块相关联的纹理视图分量的纹理切片，所述纹理切片包括经编码的一个或一个以上块以及纹理切片标头，所述纹理切片标头包括表示所述纹理切片的特性的语法元素；接收与对应于所述纹理视图分量的深度信息的一个或一个以上经译码块相关联的深度视图分量的深度切片，其中所述深度切片包括深度信息的所述一个或一个以上经译码块以及深度切片标头，所述深度切片标头包括表示所述深度切片的特性的语法元素，且其中所述深度视图分量和所述纹理视图分量两者都属于视图和存取单元；对第一切片进行编码，其中所述第一切片包括所述纹理切片和所述深度切片中的一者，其中所述第一切片具有切片标头，所述切片标头包括表示所述第一切片的特性的语法元素；从所述第一切片的所述切片标头确定第二切片的共同语法元素；以及在对所述第一切片进行编码之后至少部分基于所述所确定的共同语法元素对所述第二切片进行编码，其中所述第二切片包括所述纹理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了与所述第一切片共同的语法元素的值的语法元素的切片标头。
38.根据权利要求37所述的装置，其中所述第二切片的所述切片标头至少包括相关图片参数集的识别的用信号发送的语法元素。
39.根据权利要求37所述的装置，其中所述第二切片的所述切片标头至少包括所述第二切片的量化参数与在图片参数集中用信号发送的量化参数之间的量化参数差的用信号发送的语法元素。
40.根据权利要求37所述的装置，其中所述第二切片的所述切片标头至少包括所述经译码块的开始位置的用信号发送的语法元素。
41.根据权利要求37所述的装置，其中所述第二切片的所述切片标头包括所述第二切片的帧编号和图片次序计数中的至少一者。
42.根据权利要求37所述的装置，其中所述第二切片的所述切片标头包括与参考图片列表建构、用于每一列表的有效参考帧的数目、参考图片列表修改语法表以及预测权重表相关的所述语法元素中的至少一者。
43.根据权利要求37所述的装置，其中所述第一切片包括所述纹理切片且所述第二切片包括所述深度切片，且其中所述视频编码器进一步经配置以：
当未在所述纹理切片标头或所述深度切片标头中用信号发送所述深度视图分量的开始位置时，将所述深度切片的开始位置确定为零。
44.根据权利要求37所述的装置，其中所述第二切片的所述切片标头包括与用于所述第二切片的解块滤波器参数或自适应环路滤波参数相关的所述语法元素中的至少一者。
45.根据权利要求37所述的装置，其中所述视频编码器进一步经配置以：
在序列参数集中用信号发送在所述第二切片的所述切片标头中明确用信号发送哪些语法元素的指示。
46.一种计算机程序产品，其包括其上存储有指令的计算机可读存储媒体，所述指令在被执行时致使视频编码装置的处理器：
接收与表示纹理信息的视频数据的一个或一个以上经译码块相关联的纹理视图分量的纹理切片，所述纹理切片包括经编码的一个或一个以上块以及纹理切片标头，所述纹理切片标头包括表示所述纹理切片的特性的语法元素；
接收与对应于所述纹理视图分量的深度信息的一个或一个以上经译码块相关联的深度视图分量的深度切片，其中所述深度切片包括深度信息的所述一个或一个以上经译码块以及深度切片标头，所述深度切片标头包括表示所述深度切片的特性的语法元素，且其中所述深度视图分量和所述纹理视图分量两者都属于视图和存取单元；
对第一切片进行译码，其中所述第一切片包括所述纹理切片和所述深度切片中的一者，其中所述第一切片具有切片标头，所述切片标头包括表示所述第一切片的特性的语法元素；
从所述第一切片的所述切片标头确定第二切片的共同语法元素；以及
在对所述第一切片进行译码之后至少部分基于所述所确定的共同语法元素对所述第二切片进行译码，其中所述第二切片包括所述纹理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性、排除了与所述第一切片共同的语法元素的值的语法元素的切片标头。
47.根据权利要求46所述的计算机可读存储媒体，其中所述第二切片的所述切片标头至少包括相关图片参数集的识别的用信号发送的语法元素。
48.根据权利要求46所述的计算机可读存储媒体，其中所述第二切片的所述切片标头至少包括所述第二切片的量化参数与在图片参数集中用信号发送的量化参数之间的量化参数差的用信号发送的语法元素。
49.根据权利要求46所述的计算机可读存储媒体，其中所述第二切片的所述切片标头至少包括所述经译码块的开始位置的用信号发送的语法元素。
50.根据权利要求46所述的计算机可读存储媒体，其中所述第二切片的所述切片标头包括所述第二切片的帧编号和图片次序计数中的至少一者。
51.根据权利要求46所述的计算机可读存储媒体，其中所述第二切片的所述切片标头包括与参考图片列表建构、用于每一列表的有效参考帧的数目、参考图片列表修改语法表以及预测权重表相关的所述语法元素中的至少一者。
52.根据权利要求46所述的计算机可读存储媒体，其中所述第一切片包括所述纹理切片且所述第二切片包括所述深度切片，所述指令进一步致使视频编码装置的处理器：
当未在所述纹理切片标头或所述深度切片标头中用信号发送所述深度视图分量的开始位置时，将所述深度切片的开始位置确定为零。
53.一种用于处理视频数据的装置，其包括：
用于接收与表示纹理信息的视频数据的一个或一个以上经译码块相关联的纹理视图分量的纹理切片的装置，所述纹理切片包括经编码的一个或一个以上块以及纹理切片标头，所述纹理切片标头包括表示所述纹理切片的特性的语法元素；
用于接收与对应于所述纹理视图分量的深度信息的一个或一个以上经译码块相关联的深度视图分量的深度切片的装置，其中所述深度切片包括深度信息的所述一个或一个以上经译码块以及深度切片标头，所述深度切片标头包括表示所述深度切片的特性的语法元素，且其中所述深度视图分量和所述纹理视图分量两者都属于视图和存取单元；
用于对第一切片进行编码的装置，其中所述第一切片包括所述纹理切片和所述深度切片中的一者，其中所述第一切片具有切片标头，所述切片标头包括表示所述第一切片的特性的语法元素；
用于从所述第一切片的所述切片标头确定第二切片的共同语法元素的装置；以及
用于在对所述第一切片进行编码之后至少部分基于所述所确定的共同语法元素对所述第二切片进行编码的装置，其中所述第二切片包括所述纹理切片和所述深度切片中的不是所述第一切片的一者，其中所述第二切片具有包括表示所述第二切片的特性的语法元素、不重复与所述第一切片共同的语法元素的值的切片标头。
54.根据权利要求53所述的装置，其中所述第二切片的所述切片标头至少包括所述第二切片的量化参数与在图片参数集中用信号发送的量化参数之间的量化参数差的用信号发送的语法元素。
CN201280036090.9A 2011-07-22 2012-07-20 三维视频编解码器中的深度图的切片标头预测 Active CN103703778B (zh)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US201161510738P 2011-07-22 2011-07-22
US61/510,738 2011-07-22
US201161522584P 2011-08-11 2011-08-11
US61/522,584 2011-08-11
US201161563772P 2011-11-26 2011-11-26
US61/563,772 2011-11-26
US201261624031P 2012-04-13 2012-04-13
US61/624,031 2012-04-13
US13/553,617 US11496760B2 (en) 2011-07-22 2012-07-19 Slice header prediction for depth maps in three-dimensional video codecs
US13/553,617 2012-07-19
PCT/US2012/047690 WO2013016225A1 (en) 2011-07-22 2012-07-20 Slice header prediction for depth maps in three-dimensional video codecs

Publications (2)

Publication Number Publication Date
CN103703778A true CN103703778A (zh) 2014-04-02
CN103703778B CN103703778B (zh) 2017-03-22

Family

ID=47555726

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280036090.9A Active CN103703778B (zh) 2011-07-22 2012-07-20 三维视频编解码器中的深度图的切片标头预测

Country Status (10)

Country Link
US (1) US11496760B2 (zh)
EP (1) EP2735150B1 (zh)
JP (1) JP5805871B2 (zh)
KR (1) KR101733852B1 (zh)
CN (1) CN103703778B (zh)
BR (1) BR112014001461B1 (zh)
CA (1) CA2842554C (zh)
ES (1) ES2548778T3 (zh)
RU (1) RU2562419C1 (zh)
WO (1) WO2013016225A1 (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PT2594077E (pt) 2010-07-15 2016-03-01 Ge Video Compression Llc Codificação de vídeo híbrida para suporte a síntese de visualização intermédia
US20120268551A1 (en) * 2011-04-19 2012-10-25 Ben Wu Image Interaction Device, Interactive Image Operating System, and Interactive Image Operating Method thereof
US9288505B2 (en) 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
US20130083846A1 (en) * 2011-09-29 2013-04-04 JVC Kenwood Corporation Image encoding apparatus, image encoding method, image encoding program, image decoding apparatus, image decoding method, and image decoding program
US9143802B2 (en) * 2011-10-31 2015-09-22 Qualcomm Incorporated Fragmented parameter set for video coding
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
JP5947405B2 (ja) 2012-02-01 2016-07-06 ノキア テクノロジーズ オーユー ビデオ符号化方法および装置
JP2013198059A (ja) * 2012-03-22 2013-09-30 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
US10205961B2 (en) 2012-04-23 2019-02-12 Qualcomm Incorporated View dependency in multi-view coding and 3D coding
PL2901688T3 (pl) * 2012-09-28 2020-05-18 Nokia Technologies Oy Aparat i sposób do kodowania i dekodowania wideo
EP2904773A4 (en) * 2012-10-03 2016-12-07 Hfi Innovation Inc METHOD AND APPARATUS FOR DIMINISHING BUFFER DATA RECORDING FOR THREE-DIMENSIONAL VIDEO ENCODING PURPOSES
US10728565B2 (en) 2013-04-05 2020-07-28 Samsung Electronics Co., Ltd. Video encoding method and apparatus thereof and a video decoding method and apparatus thereof
GB2512658B (en) * 2013-04-05 2020-04-01 British Broadcasting Corp Transmitting and receiving a composite image
US9729875B2 (en) * 2013-07-08 2017-08-08 Sony Corporation Palette coding mode
US20150063455A1 (en) * 2013-09-02 2015-03-05 Humax Holdings Co., Ltd. Methods and apparatuses for predicting depth quadtree in three-dimensional video
CN105684409B (zh) 2013-10-25 2019-08-13 微软技术许可有限责任公司 在视频和图像编码和解码中使用散列值来表示各块
EP3061253A1 (en) 2013-10-25 2016-08-31 Microsoft Technology Licensing, LLC Hash-based block matching in video and image coding
US10110895B2 (en) 2013-12-13 2018-10-23 Qualcomm Incorporated Signaling of simplified depth coding (SDC) for depth intra- and inter-prediction modes in 3D video coding
WO2015101329A1 (en) 2014-01-02 2015-07-09 Mediatek Singapore Pte. Ltd. Method and apparatus for intra prediction coding with boundary filtering control
US10368092B2 (en) * 2014-03-04 2019-07-30 Microsoft Technology Licensing, Llc Encoder-side decisions for block flipping and skip mode in intra block copy prediction
WO2015131325A1 (en) 2014-03-04 2015-09-11 Microsoft Technology Licensing, Llc Hash table construction and availability checking for hash-based block matching
KR102287779B1 (ko) 2014-06-23 2021-08-06 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 해시 기반의 블록 매칭의 결과에 기초한 인코더 결정
EP3416386B1 (en) 2014-09-30 2021-01-13 Microsoft Technology Licensing, LLC Hash-based encoder decisions for video coding
US20160105678A1 (en) * 2014-10-13 2016-04-14 Microsoft Technology Licensing, Llc Video Parameter Techniques
WO2016204479A1 (ko) * 2015-06-16 2016-12-22 엘지전자(주) 영상의 부호화/복호화 방법 및 이를 위한 장치
US11563938B2 (en) 2016-02-15 2023-01-24 Qualcomm Incorporated Geometric transforms for filters for video coding
EP3236657A1 (en) * 2016-04-21 2017-10-25 Ultra-D Coöperatief U.A. Dual mode depth estimator
US10390039B2 (en) 2016-08-31 2019-08-20 Microsoft Technology Licensing, Llc Motion estimation for screen remoting scenarios
CN113891096B (zh) 2016-10-04 2022-12-06 有限公司B1影像技术研究所 图像数据编码/解码方法和装置
US11095877B2 (en) 2016-11-30 2021-08-17 Microsoft Technology Licensing, Llc Local hash-based motion estimation for screen remoting scenarios
US10506230B2 (en) * 2017-01-04 2019-12-10 Qualcomm Incorporated Modified adaptive loop filter temporal prediction for temporal scalability support
US10986354B2 (en) * 2018-04-16 2021-04-20 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
WO2020181073A1 (en) 2019-03-07 2020-09-10 Alibaba Group Holding Limited Method, apparatus, terminal, capturing system and device for setting capturing devices
RU2761768C1 (ru) * 2020-11-10 2021-12-13 Самсунг Электроникс Ко., Лтд. Способ оценки глубины сцены по изображению и вычислительное устройство для его реализации
US11202085B1 (en) 2020-06-12 2021-12-14 Microsoft Technology Licensing, Llc Low-cost hash table construction and hash-based block matching for variable-size blocks
CN113891060B (zh) * 2020-07-03 2024-06-07 阿里巴巴集团控股有限公司 自由视点视频重建方法及播放处理方法、设备及存储介质

Family Cites Families (112)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4758972A (en) 1986-06-02 1988-07-19 Raytheon Company Precision rounding in a floating point arithmetic unit
US5107705A (en) 1990-03-30 1992-04-28 Schlumberger Technology Corporation Video system and method for determining and monitoring the depth of a bottomhole assembly within a wellbore
US5329369A (en) 1990-06-01 1994-07-12 Thomson Consumer Electronics, Inc. Asymmetric picture compression
US5821986A (en) 1994-11-03 1998-10-13 Picturetel Corporation Method and apparatus for visual communications in a scalable network environment
US5852565A (en) 1996-01-30 1998-12-22 Demografx Temporal and resolution layering in advanced television
JP3466032B2 (ja) 1996-10-24 2003-11-10 富士通株式会社 動画像符号化装置および復号化装置
US6125147A (en) 1998-05-07 2000-09-26 Motorola, Inc. Method and apparatus for reducing breathing artifacts in compressed video
US6310919B1 (en) 1998-05-07 2001-10-30 Sarnoff Corporation Method and apparatus for adaptively scaling motion vector information in an information stream decoder
US6665344B1 (en) 1998-06-29 2003-12-16 Zenith Electronics Corporation Downconverting decoder for interlaced pictures
US6452969B1 (en) 1998-09-28 2002-09-17 Thomson Licensing S.A. Transform domain inverse motion compensation having fractional pel accuracy
GB2371625B (en) 2000-09-29 2003-09-10 Baker Hughes Inc Method and apparatus for prediction control in drilling dynamics using neural network
JP2004005373A (ja) 2001-11-27 2004-01-08 Samsung Electronics Co Ltd 深さイメージに基づく３次元物体を表現するためのノード構造
KR100481732B1 (ko) 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
RU2314656C2 (ru) * 2002-06-11 2008-01-10 Нокиа Корпорейшн Внутреннее кодирование, основанное на пространственном прогнозировании
JP4154569B2 (ja) 2002-07-10 2008-09-24 日本電気株式会社 画像圧縮伸長装置
US7801217B2 (en) 2002-10-01 2010-09-21 Thomson Licensing Implicit weighting of reference pictures in a video encoder
US8761252B2 (en) 2003-03-27 2014-06-24 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
US7001065B2 (en) 2003-05-05 2006-02-21 Ray Dishaw Oilfield thread makeup and breakout verification system and method
US20050041736A1 (en) 2003-05-07 2005-02-24 Bernie Butler-Smith Stereoscopic television signal processing method, transmission system and viewer enhancements
KR100586883B1 (ko) 2004-03-04 2006-06-08 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩방법, 프리디코딩방법, 비디오 디코딩방법, 및 이를 위한 장치와, 이미지 필터링방법
KR100596705B1 (ko) 2004-03-04 2006-07-04 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩 방법과 비디오 인코딩 시스템, 및 비디오 디코딩 방법과 비디오 디코딩 시스템
US7079156B1 (en) 2004-05-14 2006-07-18 Nvidia Corporation Method and system for implementing multiple high precision and low precision interpolators for a graphics pipeline
US7006700B2 (en) 2004-06-25 2006-02-28 Avocent Corporation Digital video compression command priority
CN101023672A (zh) 2004-07-12 2007-08-22 诺基亚公司 在可调整视频编码中用于运动预测的***和方法
US20060012719A1 (en) 2004-07-12 2006-01-19 Nokia Corporation System and method for motion prediction in scalable video coding
KR100888963B1 (ko) 2004-12-06 2009-03-17 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
US7616824B2 (en) 2004-12-08 2009-11-10 Ecole Polytechnique Fédérale de Lausanne (EPFL) CM - Ecublens Method for spatially scalable video coding
US7925097B2 (en) 2005-02-18 2011-04-12 Sanyo Electric Co., Ltd. Image display method, image coding apparatus, and image decoding apparatus
US8345762B2 (en) 2005-02-18 2013-01-01 Thomson Licensing Method for deriving coding information for high resolution pictures from low resolution pictures and coding and decoding devices implementing said method
CN101176346A (zh) 2005-04-01 2008-05-07 Lg电子株式会社 可对视频信号缩放地进行编码和解码的方法
US8660180B2 (en) 2005-04-01 2014-02-25 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
US20060233258A1 (en) 2005-04-15 2006-10-19 Microsoft Corporation Scalable motion estimation
CN101053249B (zh) 2005-09-09 2011-02-16 松下电器产业株式会社 图像处理方法、图像存储方法、图像处理装置及文件格式
US8239766B2 (en) 2005-09-27 2012-08-07 Qualcomm Incorporated Multimedia coding techniques for transitional effects
KR100825737B1 (ko) 2005-10-11 2008-04-29 한국전자통신연구원 스케일러블 비디오 코딩 방법 및 그 코딩 방법을 이용하는코덱
CN101292538B (zh) 2005-10-19 2012-11-28 汤姆森特许公司 使用可缩放的视频编码的多视图视频编码
JP4991762B2 (ja) 2006-01-09 2012-08-01 エルジー エレクトロニクス インコーポレイティド 映像信号のエンコーディング／デコーディング方法及び装置
EP1982518A4 (en) 2006-01-12 2010-06-16 Lg Electronics Inc PROCESSING MORE VIEW VIDEO
ITTO20060168A1 (it) 2006-03-07 2007-09-08 Itw Ind Components Srl Dispositivo di accensione e controllo di un fuoco in un elettrodomestico, in particolare un piano barbecue
EP1999967A2 (en) 2006-03-29 2008-12-10 Thomson Licensing Multi-view video coding method and device
WO2007136378A1 (en) 2006-05-23 2007-11-29 Halliburton Energy Services, Inc. Remote logging operations environment
JP4915992B2 (ja) 2006-09-12 2012-04-11 オリンパスイメージング株式会社 ズームレンズ
TWI332799B (en) 2006-09-13 2010-11-01 Realtek Semiconductor Corp A video data source system and an analog back end device
WO2008048499A2 (en) 2006-10-13 2008-04-24 Thomson Licensing Reference picture list management syntax for multiple view video coding
KR100919885B1 (ko) 2006-10-25 2009-09-30 한국전자통신연구원 다시점 비디오의 스케일러블 코딩 및 디코딩 방법과, 코딩및 디코딩 장치
EP1933564A1 (en) 2006-12-14 2008-06-18 Thomson Licensing Method and apparatus for encoding and/or decoding video data using adaptive prediction order for spatial and bit depth prediction
US7606666B2 (en) 2007-01-29 2009-10-20 Schlumberger Technology Corporation System and method for performing oilfield drilling operations using visualization techniques
TW200845758A (en) 2007-05-03 2008-11-16 Nat Univ Chung Cheng Fast intra coding algorithms for dynamic definition adjustment
EP2130374A4 (en) 2007-03-23 2011-03-02 Lg Electronics Inc METHOD AND ARRANGEMENT FOR DECODING / CODING A VIDEO SIGNAL
WO2008140656A2 (en) 2007-04-03 2008-11-20 Gary Demos Flowfield motion compensation for video compression
KR101418627B1 (ko) 2007-04-04 2014-07-15 톰슨 라이센싱 참조 화상 리스트 관리
SI3920538T1 (sl) 2007-04-12 2023-08-31 Dolby International Ab Razpostavljanje pri kodiranju in dekodiranju videa
EP2149262A4 (en) 2007-04-25 2010-09-01 Lg Electronics Inc METHOD AND DEVICE FOR DECODING / CODING A VIDEO SIGNAL
JP2010528555A (ja) 2007-05-29 2010-08-19 エルジー エレクトロニクス インコーポレイティド ビデオ信号の処理方法および装置
CN101785317B (zh) 2007-08-15 2013-10-16 汤姆逊许可证公司 使用区域视差向量的多视角编码视频中的运动跳过模式的方法和装置
BRPI0818444A2 (pt) 2007-10-12 2016-10-11 Qualcomm Inc codificação adaptativa de informação de cabeçalho de bloco de vídeo
DE102007049351A1 (de) * 2007-10-15 2009-04-16 Siemens Ag Verfahren und Vorrichtung zum Erstellen eines kodierten Ausgangsvideostroms aus mindestens zwei kodierten Eingangsvideoströmen, sowie Verwendung der Vorrichtung und kodierter Eingangsvideostrom
US7878268B2 (en) 2007-12-17 2011-02-01 Schlumberger Technology Corporation Oilfield well planning and operation
CN101911700A (zh) 2008-01-11 2010-12-08 汤姆逊许可证公司 视频和深度编码
US8577660B2 (en) 2008-01-23 2013-11-05 Schlumberger Technology Corporation Three-dimensional mechanical earth modeling
DK2279622T3 (en) 2008-04-16 2015-01-12 Fraunhofer Ges Forschung Bit depth scalability
US8527248B2 (en) 2008-04-18 2013-09-03 Westerngeco L.L.C. System and method for performing an adaptive drilling operation
WO2009130561A1 (en) 2008-04-21 2009-10-29 Nokia Corporation Method and device for video coding and decoding
TW200945909A (en) 2008-04-22 2009-11-01 Novatek Microelectronics Corp Synchronization signal extraction device and related method
WO2010043773A1 (en) * 2008-10-17 2010-04-22 Nokia Corporation Sharing of motion vector in 3d video coding
EP2348732A4 (en) 2008-11-10 2012-05-09 Lg Electronics Inc METHOD AND DEVICE FOR PROCESSING VIDEO SIGNAL BY INTER-VIEW PREDICTION
EP2365694B1 (en) 2008-11-18 2017-01-04 LG Electronics Inc. Method and apparatus for processing image signal
KR101158491B1 (ko) 2008-12-08 2012-06-20 한국전자통신연구원 다시점 영상 부호화, 복호화 방법 및 그 장치.
US8750632B2 (en) 2008-12-26 2014-06-10 JVC Kenwood Corporation Apparatus and method for encoding images from multiple viewpoints and associated depth information
US8326538B2 (en) 2008-12-30 2012-12-04 Occidental Permian Ltd. Mobile wellsite monitoring
US8514942B2 (en) 2008-12-31 2013-08-20 Entropic Communications, Inc. Low-resolution video coding content extraction
KR101619450B1 (ko) 2009-01-12 2016-05-10 엘지전자 주식회사 뎁스 정보를 이용한 비디오 신호 처리 방법 및 장치
RU2543954C2 (ru) 2009-01-26 2015-03-10 Томсон Лайсенсинг Упаковка кадров для кодирования видео
CN105376549B (zh) 2009-01-29 2017-08-11 杜比实验室特许公司 视频编码方法及解码视频信号的方法
BRPI1013339B1 (pt) 2009-02-19 2021-09-21 Interdigital Madison Patent Holdings Método e aparelho para codificar vídeo, método e aparelho para decodificar vídeo, sinal de vídeo formatado para incluir informações e mídia legível por processador
US20100246683A1 (en) 2009-03-27 2010-09-30 Jennifer Lois Harmon Webb Error Resilience in Video Decoding
WO2010120804A1 (en) 2009-04-13 2010-10-21 Reald Inc. Encoding, decoding, and distributing enhanced resolution stereoscopic video
CN102598660B (zh) 2009-04-20 2015-04-29 杜比实验室特许公司 用于多层视频传输的自适应内插滤波器
EP2425631B1 (en) 2009-04-27 2015-05-20 LG Electronics Inc. Broadcast receiver and 3d video data processing method thereof
KR20120013966A (ko) 2009-05-01 2012-02-15 톰슨 라이센싱 3ｄｖ를 위한 기준 화상 리스트
WO2011017336A1 (en) 2009-08-03 2011-02-10 General Instrument Corporation Method of encoding video content
KR101624649B1 (ko) 2009-08-14 2016-05-26 삼성전자주식회사 계층적인 부호화 블록 패턴 정보를 이용한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR101636539B1 (ko) 2009-09-10 2016-07-05 삼성전자주식회사 입체영상 압축 처리 방법 및 장치
JP5909187B2 (ja) 2009-10-14 2016-04-26 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ フィルタ処理およびエッジ符号化
KR101631451B1 (ko) 2009-11-16 2016-06-20 엘지전자 주식회사 영상표시장치 및 그 동작방법
KR101703327B1 (ko) 2010-01-14 2017-02-06 삼성전자 주식회사 계층적 데이터 단위의 패턴 정보를 이용하는 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
CN102726046B (zh) 2010-01-27 2015-09-09 杜比实验室特许公司 用于图像和视频编解码中的参考处理的方法和***
WO2011100735A1 (en) 2010-02-15 2011-08-18 Thomson Licensing Apparatus and method for processing video content
KR101752418B1 (ko) 2010-04-09 2017-06-29 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
HUE057597T2 (hu) 2010-04-13 2022-05-28 Ge Video Compression Llc Videó kódolás képek többes fa struktúrájú alosztásainak használatával
CN103155568B (zh) 2010-07-08 2016-07-27 杜比实验室特许公司 用于使用参考处理信号进行多层图像和视频传输的***和方法
US20120079583A1 (en) 2010-09-23 2012-03-29 Microsoft Corporation Offload reads and writes
US20120075436A1 (en) 2010-09-24 2012-03-29 Qualcomm Incorporated Coding stereo video data
WO2012042893A1 (ja) 2010-09-30 2012-04-05 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラムおよび集積回路
US9035939B2 (en) 2010-10-04 2015-05-19 Qualcomm Incorporated 3D video control system to adjust 3D video rendering based on user preferences
WO2012106347A1 (en) 2011-02-01 2012-08-09 Halliburton Energy Services, Inc. Drilling optimization
WO2012108701A2 (ko) 2011-02-09 2012-08-16 엘지전자 주식회사 움직임 정보 저장 방법 및 이를 이용한 시간적 움직임 벡터 예측자 유도 방법
US9565449B2 (en) * 2011-03-10 2017-02-07 Qualcomm Incorporated Coding multiview video plus depth content
JP4893862B1 (ja) 2011-03-11 2012-03-07 オムロン株式会社 画像処理装置、および画像処理方法
US20120274664A1 (en) 2011-04-29 2012-11-01 Marc Fagnou Mobile Device Application for Oilfield Data Visualization
KR20140004209A (ko) 2011-06-15 2014-01-10 미디어텍 인크. 3d 비디오 코딩에서의 텍스처 이미지 압축 방법 및 장치
US9521418B2 (en) 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
US20130188013A1 (en) 2011-07-22 2013-07-25 Qualcomm Incorporated Mvc based 3dvc codec supporting inside view motion prediction (ivmp) mode
JP5749595B2 (ja) 2011-07-27 2015-07-15 日本電信電話株式会社 画像伝送方法、画像伝送装置、画像受信装置及び画像受信プログラム
US9288505B2 (en) 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
EP3739886A1 (en) 2011-11-18 2020-11-18 GE Video Compression, LLC Multi-view coding with efficient residual handling
US20130127987A1 (en) 2011-11-18 2013-05-23 Qualcomm Incorporated Signaling depth ranges for three-dimensional video coding
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
JP5947405B2 (ja) 2012-02-01 2016-07-06 ノキア テクノロジーズ オーユー ビデオ符号化方法および装置
US9584711B2 (en) 2012-04-04 2017-02-28 Schlumberger Technology Corporation Imaging methods and systems for controlling equipment in remote environments
US20130287093A1 (en) 2012-04-25 2013-10-31 Nokia Corporation Method and apparatus for video coding
US20140218473A1 (en) 2013-01-07 2014-08-07 Nokia Corporation Method and apparatus for video coding and decoding

Also Published As

Publication number Publication date
US11496760B2 (en) 2022-11-08
CA2842554A1 (en) 2013-01-31
KR101733852B1 (ko) 2017-05-08
BR112014001461A2 (pt) 2017-02-21
BR112014001461B1 (pt) 2021-08-03
JP5805871B2 (ja) 2015-11-10
ES2548778T3 (es) 2015-10-20
JP2014527336A (ja) 2014-10-09
KR20140046028A (ko) 2014-04-17
CN103703778B (zh) 2017-03-22
RU2014106718A (ru) 2015-08-27
EP2735150A1 (en) 2014-05-28
EP2735150B1 (en) 2015-08-19
WO2013016225A1 (en) 2013-01-31
US20130022113A1 (en) 2013-01-24
RU2562419C1 (ru) 2015-09-10
CA2842554C (en) 2016-09-06

Similar Documents

Publication Publication Date Title
CN103703778B (zh) 三维视频编解码器中的深度图的切片标头预测
JP6022652B2 (ja) スライスヘッダ予測のためのスライスヘッダ三次元映像拡張
KR101521373B1 (ko) 코딩 멀티뷰 비디오 플러스 심도 콘텐츠
CN103703777B (zh) 对具有深度范围变化的运动深度图进行译码
US10567799B2 (en) Simplified sub-prediction unit (sub-PU) motion parameter inheritance (MPI)
US20120236934A1 (en) Signaling of multiview video plus depth content with a block-level 4-component structure
CN104221385A (zh) 基于非对称纹理及深度分辨率的视图合成
CN105874788B (zh) 对3d视频译码中较大预测块的逐段dc译码的简化
TWI551121B (zh) 視訊寫碼中之視差向量改進
CN104025602A (zh) 三维视频译码中用信号通知视图合成预测支持
JP2016537844A (ja) 深度イントラ予測モードのための残差コーディング
CN103733620A (zh) 具有不对称空间分辨率的三维视频
CN104584557A (zh) 构造用于多视图或3dv视频译码的参考图片列表
CN105191317A (zh) 视图内以及跨越视图的深度查找表的预测性译码
CN105308969A (zh) 三维视频中的视图合成
RU2571511C2 (ru) Кодирование карт глубин движения с изменением диапазона глубины
WO2015135174A1 (en) Simplified disparity derived depth coding in three-dimensional (3d) video coding

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant