CN102036065A - 用于视频编码的方法和*** - Google Patents

用于视频编码的方法和*** Download PDF

Info

Publication number
CN102036065A
CN102036065A CN2010102995853A CN201010299585A CN102036065A CN 102036065 A CN102036065 A CN 102036065A CN 2010102995853 A CN2010102995853 A CN 2010102995853A CN 201010299585 A CN201010299585 A CN 201010299585A CN 102036065 A CN102036065 A CN 102036065A
Authority
CN
China
Prior art keywords
picture
video
view
basic view
basic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010102995853A
Other languages
English (en)
Inventor
陈雪敏
萨米尔·赫尔亚尔卡
马库斯·凯勒曼
伊利亚·克莱巴诺夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Broadcom Corp
Zyray Wireless Inc
Original Assignee
Zyray Wireless Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zyray Wireless Inc filed Critical Zyray Wireless Inc
Publication of CN102036065A publication Critical patent/CN102036065A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明涉及一种用于视频编码的方法和***。视频接收器接收包含基本视图视频和优化视图视频的分层并预测的压缩三维视频。选择接收到的压缩三维视频中的一部分进行解码以便按预定的速率显示。接收到的三维视频中的图片是根据层次体系框架生成的，该层次体系框架具有根据相应解码性分层排布的层次。基本视图视频和优化视图视频中的每幅图片分别属于多个层次中的某一层。特定层次中的图片无论是直接还是间接都不依赖于较高层次上的图片。每个层次包括具有相同编码顺序的一幅或多幅图片。视频接收器平行解码这些具有相同编码顺序的的图片，并且根据相应编码层次信息自适应解码选定的图片。选定的图片是根据特定显示速率确定的。

Description

用于视频编码的方法和***
技术领域
本发明涉及视频处理，更具体地说，本发明涉及利用层次体系框架(tier system frame)来进行三维视频解码的方法和***。
背景技术
很多设备都具有数字视频功能，例如，数字电视、数字直播***、数字记录***等。数字视频设备相比传统的模拟视频***在处理和以更高带宽效率传送视频序列方面具有显著的进步。
视频内容可以用二维格式或三维格式记录。在各种应用，例如，DVD电影和数字电视中，一般偏爱三维视频，因为对观看者来说，它通常比二维视频更真实。三维视频包括左视图视频和右视图视频。三维视频帧可以由左视图视频部分和右视图视频部分组合而成。
已经建立了很多视频编码标准来以压缩方式编码数字视频序列，例如，MPEG-1、MPEG-2、MPEG-4、H.263和H.264/AVC。可以将压缩视频中的帧编码为三种可能模式：I-图片、P-图片和B-图片。可以将压缩视频帧分成图片组(GOP)。每个GOP包括一个I-图片、几个P-图片和/或几个B-图片以供发送。
比较本发明后续将要结合附图介绍的***，现有技术的其它局限性和弊端对于本领域的普通技术人员来说是显而易见的。
发明内容
本发明提供了一种利用层次体系框架来进行三维视频解码的方法和***，结合至少一副附图进行详细描述，并在权利要求中得到了更完整的阐述。
根据一个方面，一种用于视频编码的方法，包括：
由视频处理***中的一个或多个处理器和/或电路执行如下步骤：
从分层并预测的压缩三维视频中选择一幅或多幅图片；以及
将所述选定的一幅或多幅图片解码以便按一定显示速率进行显示。
优选地，所述分层并预测的压缩三维视频包括基本视图视频和优化视图视频，并且所述基本视图视频和所述优化视图视频分别包括多个分层图片。
优选地，所述基本视图视频和所述优化视图视频中的所述多个分层图片是基于层次体系框架生成的。
优选地，所述层次体系框架包括多个根据相应解码性分层排布的层次。
优选地，所述基本视图视频和所述优化视图视频中的所述多个分层图片分别与所述多个层次中的一个层次相关。
优选地，所述多个层次中的一个特定层次的图片，无论是直接还是间接，都不依赖于所述多个层次中较高层次的图片。
优选地，所述多个层次中的每一层都包括一幅或多幅具有相同编码顺序的图片。
优选地，所述方法进一步包括平行解码所述一幅或多幅具有相同编码顺序的图片。
优选地，所述方法进一步包括根据相应编码层次自适应解码所述选定的图片。
优选地，所述方法进一步包括根据所述特定的显示速率从所述分层的预测压缩三维视频中选择一幅或多幅图片。
根据一个方面，一种用于视频编码的***，包括：
用于视频处理***的一个或多个处理器和/或电路，其中所述一个或多个处理器和/或电路用于：
从分层并预测的压缩三维视频中选择一幅或多幅图片；以及
将所述选定的一幅或多幅图片解码以便按一定显示速率进行显示。
优选地，所述分层并预测的压缩三维视频包括基本视图视频和优化视图视频，并且所述基本视图视频和所述优化视图视频分别包括多个分层图片。
优选地，所述基本视图视频和所述优化视图视频中的所述多个分层图片是基于层次体系框架生成的。
优选地，所述层次体系框架包括多个根据相应解码性分层排布的层次。
优选地，所述基本视图视频和所述优化视图视频中的所述多个分层图片分别与所述多个层次中的一个层次相关。
优选地，所述多个层次中的一个特定层次的图片，无论是直接还是间接，都不依赖于所述多个层次中较高层次的图片。
优选地，所述多个层次中的每一层都包括一幅或多幅具有相同编码顺序的图片。
优选地，所述一个或多个处理器和/或电路用于平行解码所述一幅或多幅具有相同编码顺序的图片。
优选地，所述一个或多个处理器和/或电路用于根据相应编码层次自适应解码所述选定的图片。
优选地，所述一个或多个处理器和/或电路用于根据所述特定的显示速率从所述分层的预测压缩三维视频中选择一幅或多幅图片。
在下述结合附图对本发明的详细描述中，给出了本发明的各种特点和优点，附图中用相似参考数字指代相似的整个部件。
附图说明
图1是根据本发明实施例的用于利用层次体系框架执行三维视频编码并支持三维视频的技巧模式(trick mode)操作的示范性视频编码***的框图；
图2是根据本发明实施例的用于根据层次体系框架编码三维视频的示范性视频发送单元的框图；
图3是根据本发明实施例的根据层次体系框架生成的示范性压缩三维视频的框图；
图4是根据本发明实施例的用于根据层次体系框架压缩三维视频的示范性步骤的流程图；
图5是根据本发明实施例的用于利用压缩三维视频固有层次体系框架来支持三维视频的技巧模式操作的示范性视频接收单元的框图；
图6是根据本发明实施例的基于层次体系框架生成的可独立解码的支持4xFF技巧模式的压缩三维视频的框图；
图7是根据本发明实施例的基于层次体系框架生成的支持2xFF技巧模式的分层压缩三维视频的框图；
图8是根据本发明实施例的用于按技巧模式展示三维视频的示范性步骤的流程图。
具体实施方式
本发明利用层次体系框架进行三维视频解码的方法和/或***提供了一些实施例。根据本发明的各种实施例，视频接收器可以用于接收包含基本视图视频和优化视图视频的压缩三维视频。压缩三维视频可以是分层并预测的。可以选择压缩三维视频图片的一部分按特定显示速率解码以便随后的显示。压缩三维视频可以包括基本视图视频和优化视图视频，基本视图视频和优化视图视频都包括多个分层图片。基本视图视频和优化视图视频中的这多个图片可以根据层次体系框架生成。层次体系框架可以包括多个根据相应编码/解码性分层排布的层次。基本视图视频和优化视图视频中的每幅图片可以属于多个层次中的一层。多个层次中特定层次的图片无论直接上还是间接上都不依赖于更高层次的图片。每个层次可以包括一幅或多幅带相同编码顺序的图片。视频接收器可以用于平行解码带相同编码顺序的图片。视频接收器还可以用于根据相应编码层次信息自适应解码选定的部分图片。可以根据预定的显示速率确定所要选择的图片和图片数目。
图1是根据本发明实施例的用于利用层次体系框架执行三维视频编码并支持三维视频的技巧模式操作的示范性视频编码***的框图。如图1所示，示出了视频传送单元(VTU)110、通信网络120和视频接收单元(VRU)130。
VTU 110可以包括合适的逻辑、电路、接口和/或代码，用于向VRU 130提供压缩的视频内容。VTU 110可以用于获取包含左视图视频和右视图视频的未压缩的三维视频。VTU 110可以用于利用，例如，MPEG-4多视图视频编码(MVC)标准将获得的未压缩三维视频压缩为两种编码视图，即基本视图和优化视图。基本视图视频和优化视图视频中的图片可以利用各种方法，例如分层编码方法，由获取的三维源视频中生成。分层编码方法可以用于生成带层间图片依赖度的几个编码层中的图片。例如，可以将获取的三维源视频编码或压缩成多个编码层次的基本视图视频和优化视图视频。编码层次可以包括，例如，低编码层、中编码层和高编码层。更高编码层可以是下一个低编码层的延伸。更高编码层中的图片可以由一个和/或多个更低编码层中的图片预测而来。就这一点而言，VTU 110可以用于根据层次体系框架生成基本视图视频和优化视图视频。层次体系框架包括多个根据相应编码/解码性分层排布的层次。基本视图视频和优化视图视频中的每一幅图片属于其中的一层。例如，每个层次可以包括带相同编码顺序的图片。每个层次可以通过层次号码索引，层次号码是通过相关图片的编码顺序确定的。具有特定层次号码的图片无论直接还是间接上都不依赖于具有更高层次号码的图片。依赖于参考图片的图片的层次号码可能不小于参考图片的层次号码。层次体系框架概念上类似于层间图片依赖度并不附加任何编码约束地扩展其灵活性。层次体系框架的灵活的图片依存关系可以用于支持各种应用，例如，完成技巧模式的个人视频录制(PVR)应用。
通信网络120可以包括合适的逻辑、电路、接口和/或代码，用于提供VTU110和VRU 130间的通信平台。通信网络120可以是有线或无线通信网络。通信网络120可以是LAN、WAN、因特网等。
VRU 130可以包括合适的逻辑、电路、接口和/或代码，用于通过通信网络120从VTU 110接收传输流。接收到的传输流可以包括多视频流，例如压缩三维视频的基本视图视频流和优化视图视频流。基本视图和优化视图中的图片可以根据层次体系框架生成。就这一点而言，基本视图视频和优化视图视频中的图片可以根据相关层次进行解码。VRU 130可以用于利用环境切换支持层次体系框架。例如，VRU 130可以用于在层次体系框架的各层间进行环境切换。VRU 130可以根据相应环境例如在相应编码层以不同方式操作图片。VRU 130可以用于利用层次体系框架中层间图片依赖度来选择压缩三维视频中基本视图视频和优化视图视频中的部分图片。VRU 130可以用于解码选定的部分图片以实行技巧模式操作。技巧模式使PVR能够以非一般的速度呈现视频并能以各种速度倒退和/或前进来显示视频。技巧模式可以通过各种类型的功能实施，例如，暂停、快进、快退、跳过和/或跳回功能。VRU 130可以用于提供给用户通过技巧模式操作来改善观看控制的机会。根据技巧模式的类型，VRU 130可以用于，例如，通过跳过高层图片来选择关键图片以便按匀加速显示速率来显示三维视频。VRU 130的例子可以包括，例如，机顶盒、个人电脑等。
在示范性运行中，VTU 110可以用于获取未压缩三维视频。获取的未压缩三维视频可以包括左视图视频和右视图视频。VTU 110可以用于利用MPEG-4MVC标准将获取的未压缩三维视频压缩为基本视图视频和优化视图视频，基本视图视频和优化视图视频分别包括不同编码层的多个图片，例如低编码层、中编码层和高编码层。较高编码层的图片可以根据层次体系框架由较低编码层的相邻图片预测或生成。基本视图视频和优化视图视频中的图片可以属于层次体系框架中的相应层次，并可以复合成单一传输流以供传输。VRU 130可以用于分别解码接收到的基本视图和优化视图视频中的图片。VRU 130可以根据相关层次体系框架的层间图片依赖度来进行环境切换。可以选择基本视图视频和优化视图视频中的部分图片解码显示以支持PVR应用的技巧模式。
图2是根据本发明实施例的用于根据层次体系框架编码三维视频的示范性视频发送单元的框图。如图2所示，示出了视频传送单元(VTU)200。VTU包括三维视频源210、基本视图编码器222、优化视图编码器224以及复用器230。
三维视频源210可以包括合适的逻辑、电路、接口和/或代码，用于捕获未压缩的三维视频内容。捕获的未压缩三维视频包括左视图视频和右视图视频。三维视频源210可以用于向视频编码器，例如基本视图编码器222和优化视图编码器224，传送捕获的未压缩的三维视频，以便将其压缩为基本视图和优化视图。
基本视图编码器222可以包括合适的逻辑、电路、接口和/或代码，用于将，例如，来自三维视频源210的左视图视频以图片为单位编码成基本视图流。基本视图编码器222可以用于利用各种视频压缩算法，例如MPEG-4多视图视频编码(MVC)、AVC、VC1、VP6和/或其它视频格式将来自三维视频源210的左视图视频转化为压缩的或编码的图片。
基本视图视频中的图片可以在多个编码层中生成，例如低编码层、中编码层和高编码层。每个编码层可以包括多个压缩图片，这些压缩图片可以根据层次体系框架生成，层次体系框架包括多个根据相应解码性分层排布的层次。相同编码顺序的图片与相同的层次号码相关联。基本视图视频中每幅生成的图片都属于某个层次。每个层次可以包括相同或不同编码层的基本视图图片和优化视图图片。具有特定层次号码的图片可以不直接或间接参考具有较高层次号码的图片。依赖于参考图片的图片不会具有小于参考图片层次号码的层次号码。就这一点而言，基本视图编码器222可以用于从低编码层开始生成基本视图图片。
对于低编码层的每一幅基本视图图片，基本视图编码器222可以用于在继续预测低编码层的下一幅基本视图图片前跨越整个编码层预测相关的相邻基本视图图片。基本视图编码器222可以用于生成低编码层的基本视图参考图片以预测相同编码层的相应优化视图图片和相邻基本视图图片。中编码层的相邻基本视图图片可以由低编码层中生成的基本视图参考图片和预测的基本视图图片预测而来。高编码层的相邻基本视图图片可以由中编码层中生成的基本视图参考图片和预测的基本视图图片预测而来。这个过程将持续下去以预测低编码层的下一幅基本视图图片和整个编码层的相邻基本视图图片。基本视图编码过程中的信息，例如场景信息，可以传送给优化视图编码器224以供优化视图编码。
优化视图编码器224可以包括合适的逻辑、电路、接口和/或代码，用于将，例如，来自三维视频源210的右视图视频以图片为单位编码成优化视图流。优化视图编码器224可以用于利用各种视频压缩算法，例如MPEG-4MVC、AVC、VC1、VP6和/或其它视频格式将来自三维视频源210的右视图视频转化为压缩的或编码的图片。类似于基本视图编码，优化视图视频中的图片可以在多个编码层生成，例如低编码层、中编码层和高编码层。每个编码层可以包括多个压缩图片，这些压缩图片是根据层次体系框架生成的。
层次体系框架可以由多个分层排布的层次根据相应的编码/解码性而形成。相同编码层的图片可以与相同层次号码相关联。优化视图视频中每幅生成的图片可以属于某个层次。每个层次可以包括相同或不同编码层的基本视图图片和优化视图图片。具有特定层次号码的图片可以不直接或间接参考具有较高层次号码的图片。依赖于参考图片的图片不会具有小于参考图片层次号码的层次号码。例如，优化视图编码器224可以用于开始于低编码层的当前优化视图图片。低编码层的当前优化视图图片可以用于预测相同编码层的相邻优化视图图片。中编码层的相邻优化视图图片可以由低编码层的当前优化视图图片和预测的优化视图图片预测而来。高编码层的相邻优化视图图片可以由中编码层中的当前优化视图参考图片和预测的优化视图图片预测而来。这个过程将持续下去以预测低编码层的下一幅优化视图图片和整个编码层的相关相邻优化视图图片。另外，在每个编码层，优化视图图片还可以由相同编码层的相应基本视图图片预测而来。
复合器230可以包括合适的逻辑、电路、接口和/或代码，用于将基本视图和优化视图中的压缩图片合并成单一传输流(TS)以供发送。
在示范性操作中，三维视频源210可以用于捕获未压缩的三维视频内容，该三维视频包括左视图视频和右视图视频。可以将捕获的未压缩三维视频压缩成基本视图视频和优化视图视频。基本视图视频和优化视图视频中的图片可以在低编码层、中编码层和高编码层生成，每个编码层包括多个压缩图片。基本视图编码器222和优化视图编码器224可以用于根据层次体系框架生成基本视图视频和优化视图视频中的图片。就这一点而言，基本视图和优化视图图片可以从低编码层开始生成。对于低编码层中的每一对基本视图图片和优化视图图片，相关的相邻图片可以在继续预测低编码层的下一幅基本视图和优化视图图片前跨越整个编码层进行预测。另外，在每个编码层，可以通过关联相同编码层的相应基本视图图片来预测优化视图图片。得到的基本视图和优化视图图片可以通过复用器230复合成单一传输流以供传输。
图3是根据本发明实施例的根据层次体系框架生成的示范性压缩三维视频的框图。如图3所示，示出了分层三维视频流300。分层的三维视频流300包括编码层310-330，分别对应于低层(层1)、中层(层2)和高层(层3)。例如，利用MPEG-4 MVC标准在每个编码层生成两种编码视图。在编码层310生成基本视图视频310a和优化视图视频310b。每个视频流包括多个图片，如图所示的图片311-316、321-324以及331-338。可以根据层次体系框架生成或预测分层三维视频流300中的图片。层次体系框架包括根据相应编码/解码性分层排布的多个层次。每个层次包括多个相同编码顺序的图片。同一层次的图片可以来自不同视图视频和/或不同编码层。例如，当基本视图310a中的图片312和优化视图310b中的图片314都具有编码顺序2时，图片312和图片314可以与层次体系框架中编码顺序2的层次相关联。当低编码层310中的图片315和中编码层320中的图片321都具有编码顺序3时，图片315和图片321可以与层次体系框架中编码顺序3的层次相关联。一个层次可以与层次索引号码，即层次号码相关联，层次号码可以根据相关图片的编码顺序确定。每个层次可以包括相同或不同编码层的基本视图图片和优化视图图片。分层三维视频流300中的每幅图片可以属于某一层。具有特定层次号码的图片可以不直接或间接参考具有较高层次号码的图片。依赖于参考图片的图片不会具有小于参考图片层次号码的层次号码。
对于基本视图图片预测，预测过程可以开始于由基本视图图片311来预测优化视图图片314和基本视图图片312。相关的相邻基本视图图片，例如中编码层320中的基本视图图片321和高编码层330中的基本视图图片331可以在预测与低编码层310中下一个基本视图图片(基本视图图片312)相关的相邻基本视图图片前进行预测。特别地，中编码层320中的基本视图图片321可以由基本视图图片311和基本视图图片312预测而来。高编码层330中的基本视图图片331可以由低编码层310中的基本视图图片311和中编码层320中的基本视图图片321预测而来。预测过程可以继续于预测与下一个基本视图图片相关的相邻基本视图图片，下一个基本视图图片可以是，例如，低编码层310中的基本视图图片312。
对于优化视图图片预测，预测过程可以开始于由优化视图图片314来预测相关的相邻优化视图图片例如低编码层310中的优化图片315。其它相关的相邻优化视图图片，例如中编码层320中的优化视图图片323和高编码层330中的优化视图图片335可以在预测与低编码层310中下一个优化视图图片(优化视图图片315)相关的相邻优化视图图片前进行预测。特别地，中编码层320中的优化视图图片323可以由优化视图图片314和优化视图图片315预测而来。高编码层330中的优化视图图片335可以由低编码层310中的优化视图图片314和中编码层320中的优化视图图片323预测而来。预测过程可以继续于预测与下一个优化视图图片相关的相邻优化视图图片，下一个优化视图图片可以是，例如，低编码层310中的优化视图图片315。在每一个编码层，优化视图图片预测可以根据同一编码层中相应的基本视图图片进行。
图4是根据本发明实施例的用于根据层次体系框架压缩三维视频的示范性步骤的流程图。如图4所示，示范性步骤开始于步骤402，其中未压缩三维视频需要编码成基本视图视频和优化视图视频。每个视图可以在多个编码层(低、中和高)中编码。在步骤404，基本视图编码器222可以用于生成低编码层的参考基本视图图片作为低编码层的当前基本视图图片。在步骤406，低编码层的当前基本视图图片可以用于预测低编码层中相应的优化视图图片和相邻基本视图图片。在步骤408，较高编码层中其它相关的相邻基本视图图片可以由下一个低编码层中的当前基本视图图片和相关预测的相邻基本视图图片预测而来。例如，低编码层310中的基本视图图片311的中编码层320中的相邻基本视图图片可以由基本视图图片311和预测的相邻基本视图图片，例如，低编码层310中的基本视图图片312预测而来。在步骤410，可以确定低编码层中的每幅基本视图图片的相邻基本视图图片是否可由预测得到。当低编码层中的每个基本视图图片的相邻基本视图图片确定为不可预测时，接下来在步骤412，低编码层中的当前基本视图图片可以由低编码层中的下一幅可用基本视图图片代替。示范性步骤可以返回到步骤406。
在步骤410，当低编码层中的每个基本视图图片的相邻基本视图图片确定为可以预测时，接下来示范性步骤结束于步骤414。
在步骤416，低编码层中预测的优化视图图片可以用作低编码层中的当前优化视图图片。在步骤418，低编码层中的相邻优化视图图片可以由低编码层中的相应基本视图图片和当前优化视图图片预测而来。在步骤420，较高编码层中的其它相邻优化视图图片可以由同一编码层中的相应基本视图图片、低编码层中的当前优化视图图片以及下一个低编码层中的相关预测的相邻优化视图图片预测而来。在步骤422，可以确定低编码层中的每幅优化视图图片的相邻优化视图图片是否可由预测得到。当低编码层中的每幅优化视图图片的相邻优化视图图片确定为不可预测时，接下来在步骤424，低编码层中的当前优化视图图片可以由低编码层中的下一幅可用优化视图图片代替。示范性步骤可以返回到步骤420。
在步骤422，当低编码层中的每幅优化视图图片的相邻基本视图图片确定为可以预测时，接下来示范性步骤结束于步骤414。
图5是根据本发明实施例的用于利用压缩三维视频固有层次体系框架来支持三维视频的技巧模式操作的示范性视频接收单元的框图。如图5所示，示出了视频接收单元(VRU)500。VRU 500包括传输解复合器502、基本视图Rx缓存区504、优化视图Rx缓存区506、基本视图解码器508、优化视图解码器510、合成器512、视频显示设备514、技巧模式控制器516、主处理器518以及内存520。
传输解复合器502可以包括合适的逻辑、电路、接口和/或代码，用于解复合或解析从VTU 110接收到的传输流。接收到的传输流是一种包含多个流的复合流，这些流可以是，例如压缩三维视频的基本视图流和优化视图流。传输解复合器502可以用于从接收到的传输流中提取基本视图流和优化视图视频流。提取的基本视图流和提取的优化视图流中的图片可以分别缓存在基本视图Rx缓存区504和优化视图Rx缓存区506中以供视频解码。就这一点而言，提取的基本视图流和提取的优化视图流中的图片可以根据层次体系框架生成。固有的层间图片依赖度可以用于在提取的基本视图流和/或提取的优化视图流中选择部分图片以供视频解码，这样就可以实现技巧模式的操作。
基本视图Rx缓存区504和优化视图Rx缓存区506可以包括合适的逻辑、电路、接口和/或代码，分别用于缓冲或存储提取的基本视图以及优化视图图片。基本视图Rx缓存区504和优化视图Rx缓存区506可以选择性地缓存图片以供视频解码。就这一点而言，基本视图Rx缓存区504和优化视图Rx缓存区506可以由技巧模式控制器514管理，以便缓存用于视频解码的选定的部分图片。基本视图Rx缓存区504和优化视图Rx缓存区506可以用于分别向基本视图解码器508和/或优化视图解码器510提供缓存的图片以供视频解码。
基本视图解码器508可以包括合适的逻辑、电路、接口和/或代码，用于解码从基本视图Rx缓存区504接收到的图片。基本视图解码器508可以用于将这些图片解码成，例如，左视图视频。基本视图解码器508可以用于根据相关层次体系框架中表明的具体编码顺序来解码这些图片。基本视图解码器508可以用于根据相应环境信息例如相关编码层来自适应解码这些图片。基本视图解码器508可以用于利用各种视频解压缩算法，例如MPEG-4MVC、AVC、VC1、VP6和/或其它视频格式将来形成解压缩或解码的基本视图视频内容。可以将基本视图解码过程中的信息，例如场景信息，传送给优化视图解码器510以便进行优化视图解码。
优化视图解码器510可以包括合适的逻辑、电路、接口和/或代码，用于解码来自优化视图Rx缓存区506的图片。优化视图解码器510可以用于将这些图片解码成，例如，右视图视频。优化视图解码器510可以用于根据相关层次体系框架中表明的具体编码顺序来解码这些图片。优化视图解码器510可以用于根据相应环境信息例如相关编码层来自适应解码这些图片。优化视图解码器510可以用于利用各种视频解压缩算法，例如MPEG-4MVC、AVC、VC1、VP6和/或其它视频格式将来形成解压缩或解码的优化视图视频内容。
合成器512可以包括合适的逻辑、电路、接口和/或代码，用于将得到的左视图和右视图图片合成三维图片以便按预定速率显示。合成器512可以用于通过视频显示设备514以各种技巧模式向用户展示三维图片，这些技巧模式包括暂停、快进、快退、跳过和/或跳回。
视频显示设备514可以包括合适的逻辑、电路和/或代码，用于显示从合成器512接收的三维视频图片。
技巧模式控制器516可以包括合适的逻辑、电路和/或代码，用于从接收到的基本视图流和优化视图流中选择或识别部分图片。选定的图片可以存储在基本视图Rx缓存区504和/或优化视图缓存区506中以供视频解码来实现相应功能，例如倒退速度。就这一点而言，接收到的基本视图流和优化视图流中的图片可以根据固有层次体系框架来选择。技巧模式控制器516可以用于利用固有的层间图片依赖度来选择用于视频解码的部分图片。技巧模式控制器516可以用于根据，例如，技巧模式类型，来确定倒退速度，以完成技巧模式的有效操作。例如，对于快进(FF)技巧模式，技巧模式控制器516可以用于从基本视图流和优化视图流中优先选择关键图片来解码以供显示或展示。为技巧模式选择的关键图片可以包括，例如，I-图片、P-图片和/或较低编码层图片。
主处理器518可以包括合适的逻辑、电路接口和/或代码，用于操纵及控制相关单元的运行，例如传输解复合器502和/或技巧模式控制器516，以支持各种应用，例如，PVR***中的技巧模式。
内存520可以包括合适的逻辑、电路、接口和/或代码，用于存储VRU 500可能使用的信息，例如可执行指令和数据。可执行指令可以包括各种图像处理函数，这些函数可以由基本视图解码器508和优化视图解码器510用来处理处理解码的视频内容。可执行指令可以包括图片选择算法，该算法可以由技巧模式控制器516用来支持三维视频的技巧模式。数据可以包括接收到的传输流数据和解码的视频内容。内存520可以包括RAM、ROM、以闪存为例的低延迟非易失性内存和/或其它合适的电子数据存储器。
在操作中，VRU 500可以用于通过传输解复合器502从VTU 200接收传输流。传输解复合器502可以用于将接收到的传输流解复合或解析成压缩三维视频的基本视图流和优化视图流。基本视图流和优化视图流中的图片可以分别缓存在基本视图Rx缓存区504和优化视图Rx缓存区506中以供视频解码。为实行技巧模式，基本视图流和优化视图流中的图片可以分别选择性缓存在基本视图Rx缓存区504和优化视图Rx缓存区506中。技巧模式控制器516可以用于从接收到的基本视图流和优化视图流中选择部分图片。选定的图片可以存储在基本视图Rx缓存区504和/或优化视图Rx缓存区506中以供视频解码。技巧模式控制器516可以用于根据技巧模式类型，例如FF技巧模式，来从基本视图流和/或优化视图流中识别具体图片，例如关键图片，以实行有效地技巧模式操作。选定的关键图片可以包括，例如，I-图片、P-图片和/或较低编码层图片。就这一点而言，基本视图编码和优化视图编码可以根据相关的固有层次体系框架来执行。基本视图解码器508和/或优化视图解码器510可以根据相关环境信息例如相关的编码层来自适应解码图片。可以将选定的图片解码成三维视频的左视图视频和右视图视频。得到的左和右视图视频可以通过合成器512结合以通过视频显示设备514向观众显示。
图6是根据本发明实施例的基于层次体系框架生成的可独立解码的支持4xFF技巧模式的压缩三维视频的框图。如图6所示，示出了可独立解码的压缩三维视频600。可独立解码的压缩三维视频600包括基本视图视频610和优化视图视频620。基本视图视频610包括多个基本视图图片，如图所示的基本视图图片612-616。优化视图图片620包括多个优化视图图片，如图所示的优化视图图片622-626。可独立解码的压缩三维视频600中的图片可以根据如图3所示的层次体系框架生成。每一层包括相同编码顺序的图片。例如，如图6所示，第一层可以只包括图片612。图片614和622可以形成第二层。根据应用，可以选择可独立解码的压缩三维视频600中的部分图片来实现技巧模式的相应倒退速度。例如，通过从可独立解码的压缩三维视频600的四幅图片中选择一幅以便解码显示给观众，就可以实现4XFF技巧模式。就这一点而言，可以优先选择关键图片，例如I-图片、P-图片和/或基本视图图片来解码以实行技巧模式。
图7是根据本发明实施例的基于层次体系框架生成的支持2xFF技巧模式的分层压缩三维视频的框图。如图7所示，示出了分层压缩三维视频700。分层压缩三维视频700包括低编码层710和高编码层720。利用MPEG-4MVC标准在每个编码层生成两种编码视图。例如，在低编码层710生成基本视图视频流710a和优化视图视频流710b。每个视图流包括多个图片，分别如图所示的低编码层710中的图片711-716和高编码层720中的图片721-724。基本视图视频流710a可以包括各种类型的图片，例如，I-图片711、P-图片712和713。P-图片712和713可以根据I-图片711编码或预测而来。优化视图视频流710b可以包括各种类型的图片，例如，P-图片714-716。分层压缩三维视频700中的图片可以根据如图3所示的层次体系框架生成。每层包括相同编码顺序的图片。例如，如图7所示，第一层可以只包括图片711。图片712和714可以形成第二层。图片715和721可以形成第三层，以此类推。可以根据应用选择分层压缩三维视频700中的部分图片来实现各个技巧模式的倒退速度。例如，2XFF技巧模式可以通过从分层压缩三维视频700中的两幅图片中选出一幅来解码显示而实现。就这一点而言，可以优先选择关键图片例如I-图片、P-图片、低编码层图片和/或基本视图图片来解码以支持技巧模式。
图8是根据本发明实施例的用于按技巧模式展示三维视频的示范性步骤的流程图。如图8所示，示范性步骤开始于步骤802，其中VRU 500可以用于接收压缩三维视频。接收到的压缩三维视频中的图片可以根据如图3所示的层次体系框架生成。在步骤804，需要确定是否需要技巧模式。当需要技巧模式时，跳向步骤806，识别或选择接收到的压缩三维视频中的基本视图和优化视图的部分图片以便显示。在步骤808，基本视图和优化视图中确定的部分图片可以通过基本视图解码器508和/或优化视图解码器510解码。在步骤810，VRU 500可以用于在视频显示设备514上向观众显示解码的图片。示范性步骤结束于步骤814。
在步骤804，当不需要技巧模式时，跳到步骤812，其中接收到的压缩三维视频中的基本视图和优化视图的图片可以分别通过基本视图解码器508和优化视图解码器510解码。示范性步骤继续于步骤810。
本发明提供了一种利用层次体系框架进行三维视频解码的方法和***。根据本发明的各种实施例，VRU 500可以用于从VTU 200接收压缩的三维视频。接收到的压缩的三维视频可以进行分层并预测。可以选择接收到的压缩三维视频中的部分图片来解码以便按预定速率向观众显示。压缩的三维视频可以包括基本视图视频和优化视图视频，它们分别包括多个分层图片。基本视图视频和优化试图视频中的这多个分层图片可以分别通过如图2和图3所示的层次体系框架生成。层次体系框架可以包括多个根据相应解码性分层排布的层次。就这一点而言，基本视图视频和优化视图视频中的每幅图片可以属于多个层中的某一层。多个层中某一特定层的图片可以不直接或间接依赖于较高层的图片。每层可以包括一幅或多幅具有相同编码顺序的图片。VRU 500可以用于处理，例如平行解码具有相同编码顺序的一幅或多幅图片。VRU 500还可以用于根据相应编码层信息自适应解码选定的部分图片。要选择的图片和图片号码可以根据预定的显示速率确定。
本发明的另一个实施例可以提供一种机器和/或计算机可读存储器和/或媒介，其内存储的机器代码和/或计算机程序包括至少一个代码段，所述至少一个代码段由机器和/或计算机执行，从而使该机器和/或计算机执行上述利用层次体系框架进行三维视频解码的方法和***的步骤。
因此，本发明可以通过硬件、软件，或者软、硬件结合来实现。本发明可以在至少一个计算机***中以集中方式实现，或者由分布在几个互连的计算机***中的不同部分以分散方式实现。任何可以实现方法的计算机***或其它设备都是可适用的。常用软硬件的结合可以是安装有计算机程序的通用计算机***，通过安装和执行程序控制计算机***，使其按方法运行。
本发明还可以通过计算机程序产品进行实施，程序包含能够实现本发明方法的全部特征，当其安装到计算机***中时，可以实现本发明的方法。本文件中的计算机程序所指的是：可以采用任何程序语言、代码或符号编写的一组指令的任何表达式，该指令组使***具有信息处理能力，以直接实现特定功能，或在进行下述一个或两个步骤之后实现特定功能：a)转换成其它语言、解码或符号；b)以不同的格式再现。
虽然本发明是通过具体实施例进行说明的，本领域技术人员应当明白，在不脱离本发明范围的情况下，还可以对本发明进行各种变换及等同替代。另外，针对特定情形或材料，可以对本发明做各种修改，而不脱离本发明的范围。因此，本发明不局限于所公开的具体实施例，而应当包括落入本发明权利要求范围内的全部实施方式。

Claims (10)

1.一种用于视频编码的方法，其特征在于，包括：
由视频处理***中的一个或多个处理器和/或电路执行如下步骤：
从分层并预测的压缩三维视频中选择一幅或多幅图片；以及
将所述选定的一幅或多幅图片解码以便按一定显示速率进行显示。
2.根据权利要求1所述的方法，其特征在于，所述分层并预测的压缩三维视频包括基本视图视频和优化视图视频，并且所述基本视图视频和所述优化视图视频分别包括多个分层图片。
3.根据权利要求2所述的方法，其特征在于，所述基本视图视频和所述优化视图视频中的所述多个分层图片是基于层次体系框架生成的。
4.根据权利要求3所述的方法，其特征在于，所述层次体系框架包括多个根据相应解码性分层排布的层次。
5.根据权利要求4所述的方法，其特征在于，所述基本视图视频和所述优化视图视频中的所述多个分层图片分别与所述多个层次中的一个层次相关。
6.一种用于视频编码的***，其特征在于，包括：
用于视频处理***的一个或多个处理器和/或电路，其中所述一个或多个处理器和/或电路用于：
从分层并预测的压缩三维视频中选择一幅或多幅图片；以及
将所述选定的一幅或多幅图片解码以便按一定显示速率进行显示。
7.根据权利要求6所述的***，其特征在于，所述分层并预测的压缩三维视频包括基本视图视频和优化视图视频，并且所述基本视图视频和所述优化视图视频分别包括多个分层图片。
8.根据权利要求7所述的***，其特征在于，所述基本视图视频和所述优化视图视频中的所述多个分层图片是基于层次体系框架生成的。
9.根据权利要求8所述的***，其特征在于，所述层次体系框架包括多个根据相应解码性分层排布的层次。
10.根据权利要求9所述的***，其特征在于，所述基本视图视频和所述优化视图视频中的所述多个分层图片分别与所述多个层次中的一个层次相关。
CN2010102995853A 2009-10-05 2010-10-08 用于视频编码的方法和*** Pending CN102036065A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/573,746 2009-10-05
US12/573,746 US20110080948A1 (en) 2009-10-05 2009-10-05 Method and system for 3d video decoding using a tier system framework

Publications (1)

Publication Number Publication Date
CN102036065A true CN102036065A (zh) 2011-04-27

Family

ID=43412052

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010102995853A Pending CN102036065A (zh) 2009-10-05 2010-10-08 用于视频编码的方法和***

Country Status (4)

Country Link
US (1) US20110080948A1 (zh)
EP (1) EP2306730A3 (zh)
CN (1) CN102036065A (zh)
TW (1) TW201143443A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108604313A (zh) * 2016-02-12 2018-09-28 微软技术许可有限责任公司 自动化的预测性建模与框架

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8300881B2 (en) 2009-09-16 2012-10-30 Broadcom Corporation Method and system for watermarking 3D content
JP5699566B2 (ja) * 2010-11-29 2015-04-15 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP5802666B2 (ja) * 2010-12-22 2015-10-28 パナソニック株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP5617781B2 (ja) * 2011-07-13 2014-11-05 パナソニック株式会社 制御装置、制御システムおよび制御方法
US9510062B1 (en) 2015-08-13 2016-11-29 This Technology, Inc. In-band trick mode control
KR101895294B1 (ko) * 2017-03-03 2018-09-05 주식회사 칩스앤미디어 프리 스캔을 이용한 블록 기반 동영상 복호화 방법 및 그 장치
US10638165B1 (en) * 2018-11-08 2020-04-28 At&T Intellectual Property I, L.P. Adaptive field of view prediction

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006104326A1 (en) * 2005-04-01 2006-10-05 Industry Academic Cooperation Foundation Kyunghee University Scalable multi-view image encoding and decoding apparatuses and methods
WO2008051041A1 (en) * 2006-10-25 2008-05-02 Electronics And Telecommunications Research Institute Multi-view video scalable coding and decoding

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100565308B1 (ko) * 2003-11-24 2006-03-30 엘지전자 주식회사 에스엔알 스케일러빌리티를 위한 동영상 부호화 및 복호화 장치
WO2005117449A1 (en) * 2004-05-25 2005-12-08 Koninklijke Philips Electronics N.V. Method and device for encoding digital video data
WO2008129500A2 (en) * 2007-04-24 2008-10-30 Nokia Corporation System and method for implementing fast tune-in with intra-coded redundant pictures
EP2326092A4 (en) * 2008-09-18 2012-11-21 Panasonic Corp Image Decoding Device, Image Coding Device, Image Decoding Method, Image Coding Method, and Program Therefor
RU2502214C2 (ru) * 2008-09-30 2013-12-20 Панасоник Корпорэйшн Носитель записи, устройство воспроизведения, системная бис, способ воспроизведения, очки и устройство отображения для трехмерных изображений
US8411746B2 (en) * 2009-06-12 2013-04-02 Qualcomm Incorporated Multiview video coding over MPEG-2 systems

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006104326A1 (en) * 2005-04-01 2006-10-05 Industry Academic Cooperation Foundation Kyunghee University Scalable multi-view image encoding and decoding apparatuses and methods
WO2008051041A1 (en) * 2006-10-25 2008-05-02 Electronics And Telecommunications Research Institute Multi-view video scalable coding and decoding

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A.PURI，ET AL: "Stereoscopic Video Compression Using Temporal Scalability", 《PROCEEDINGS OF SPIE》 *
LUIS HERRANZ，ET AL: "On the use of hierarchical prediction structures for efficient summary generation of H.264/AVC bitstreams", 《SIGNAL PROCESSING: IMAGE COMMUNICATION》 *
PHILIPP MERKLE,ET AL: "Efficient Prediction Structures for Multiview Video Coding", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108604313A (zh) * 2016-02-12 2018-09-28 微软技术许可有限责任公司 自动化的预测性建模与框架

Also Published As

Publication number Publication date
EP2306730A2 (en) 2011-04-06
TW201143443A (en) 2011-12-01
US20110080948A1 (en) 2011-04-07
EP2306730A3 (en) 2011-07-06

Similar Documents

Publication Publication Date Title
CN102036065A (zh) 用于视频编码的方法和***
CN102771125B (zh) 使用树形结构的编码/解码方法和装置
TWI239207B (en) Method and device for coding digital images using intra-mode block prediction
US9426480B2 (en) Image signal decoding apparatus and image signal decoding method
KR101375666B1 (ko) 전역 차이 벡터를 이용한 다시점 영상의 부호화, 복호화방법 및 장치
CN101375594B (zh) 处理多视图视频
CN104685889B (zh) 视频序列图像的解码和编码
EP2600612A1 (en) Image decoding device, image decoding method, image encoding device, and image encoding method
CN102026009A (zh) 用于视频编码的方法和***
KR100903712B1 (ko) 부호화 데이터 출력 방법 및 장치, 재부호화 데이터 생성방법 및 장치, 부호화 데이터 복원 방법 및 장치, 부호화방법 및 장치, 및 컴퓨터 판독 가능한 기록 매체
CN104429083A (zh) 译码用于视频译码的定时信息
CN105247867A (zh) 用于不同层间预测类型的参考图片的独立重新采样及选择
CN104012092A (zh) 高效变换单元编码的方法和设备
US20100220792A1 (en) Encoding device and decoding device
JP2009523356A (ja) 多視点ビデオの処理
CN106031177A (zh) 用于硬件加速的视频编码的主编码器
CN105359511A (zh) 为了自适应位速率流化而利用自适应量化编码多个视频流的***和方法
CN105723712A (zh) 基于多层的图像编码/解码方法和设备
JP2010141821A (ja) ストリーミングプロセッサおよびプロセッサシステム
US9832465B2 (en) Image encoding device and image decoding device
JP4656003B2 (ja) 画像符号化装置及び画像符号化方法
CN101627632A (zh) 用于在通信网络中编码数据的方法及***
CN101895744B (zh) 处理多视图视频
CN104104947B (zh) 一种视频编码方法和装置
JP2008153907A (ja) 画像符号化装置及びそれらを含む情報端末ならびに画像符号化方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1155874

Country of ref document: HK

WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110427

WD01 Invention patent application deemed withdrawn after publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1155874

Country of ref document: HK