CN101069430B - 分级多视角图像编码和解码装置及方法 - Google Patents
分级多视角图像编码和解码装置及方法 Download PDFInfo
- Publication number
- CN101069430B CN101069430B CN2006800012708A CN200680001270A CN101069430B CN 101069430 B CN101069430 B CN 101069430B CN 2006800012708 A CN2006800012708 A CN 2006800012708A CN 200680001270 A CN200680001270 A CN 200680001270A CN 101069430 B CN101069430 B CN 101069430B
- Authority
- CN
- China
- Prior art keywords
- image
- time domain
- high frequency
- spatial domain
- domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2365—Multiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
- H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
- H04N19/635—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4347—Demultiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
提供了分级多视角图像编码和解码方法和装置。分级多视角图像编码和解码方法和装置使用运动补偿时域滤波(MCTF)或分层B-画面,对沿空域轴和时域轴方向的从多个摄像机输入的多视角图像进行滤波,并对滤波后的多视角进行分级编码。
Description
技术领域
本发明涉及图像编码和解码方法及装置。更具体地,本发明涉及使用运动补偿时域滤波(MCTF)或分层B-画面,沿空域轴和时域轴方向对来自多个摄像机的多视角图像输入进行滤波,并使用分级(scalable)视频编码(SVC)技术,对滤波后的多视角图像进行分级编码的分级多视角图像编码和解码方法及装置。
背景技术
期望数字广播服务从高分辨率电视(HDTV)和卫星/地波数字多媒体广播(DMB)服务发展至交互TV和广播服务、发展至三维(3D)TV和广播服务、然后发展至现实广播服务。现实广播服务以不同视点向观看者提供了与场景图像有关的信息。为了实现这种现实广播服务,必须生成全景图像。为了生成全景图像,使用位于不同视点的多个摄像机来获得图像。然后,将所获得的图像进行连接。可选地,可以使用全向摄像机***来获得全景图像。必须使用多个摄像机来收集大量数据,并将它们进行传输,以向用户传递所获得的图像信息。因此,已经对收集与多视角图像有关的信息的不同方法进行了研究。例如,已经研究了多视角摄像机***、立体摄像机***和全向摄像机***。多视角摄像机***使用多(M)个摄像机,同时地拍摄或传输主题或场景,并向用户提供在不同位置处的M个摄像机提供的不同场景或三维(3D)场景。
多视角图像编码涉及同时地对从提供多视角图像的M个摄像机输入的图像进行编码。多视角图像编码还涉及压缩、存储和传输所编码的图像。当未经压缩地存储和传输多视角图像时,由于大量的多视角图像数据,所以需要大的传输带宽,以通过广播网络或有线/无线因特网,实时地向用户传输数据。例如,当以30帧/秒的速率,从16个摄像机输入24比特彩色图像(每个具有1310×1030像素的分辨率)时,必须处理14.4Gb/秒的数据。因此,运动图像专家组(MPEG)中的3D音频和视频子组组织了致力于设计多视角编码方法的小组。该小组尝试创造使用视频压缩的国际标准来对从多视角视频输入的大量图像数据进行编码的方法。
图1A至1C示出了传统多视角摄像机的排列。图2示出了分别和同时输入16个多视角摄像机的图像,这些摄像机在自由视点TV(FTV)***中以4×4并列结构排列。图1A至1C分别示出了以并列结构、收敛结构和发散结构排列的多个摄像机10。
参照图2,分别输入16个摄像机的图像非常相似。换言之,在输入提供多视角图像的摄像机的图像之间,存在高相关性。因此,可以利用与输入摄像机的图像之间的高空域相关性有关的信息来实现在阿多视角视频编码中的高压缩效率。此外,需要空域-时域分级编码在不同的环境中呈现3D或2D图像,并且使用具有不同计算能力的终端。
因此,需要一种改进的装置和方法,用于对从多个摄像机输入的多视角图像沿空域轴和时域轴方向进行滤波,以支持多种空域-时域分级。
发明内容
技术方案
因此,本发明的示例性实施例的方面提供了分级多视角图像编码方法和装置,用于在空域和时域上在预定时间段内对从多个摄像机输入的多视角图像进行滤波,从而支持不同的空域-时域分级。
本发明的示例性实施例还提供了分级多视角图像解码方法和装置,用于对分级编码后的多视角图像的比特流进行解码,从而支持空域-时域分级。
有益效果
本发明在空域和时域上对多视角图像组进行滤波,并使用时域上相邻的图像之间的相关性,对滤波后的多视角图像组进行编码,从而提高了编码效率。此外,本发明提供了时域分级、视角(摄像机)空域分级、大小相关的空域分级和SNR分级。
附图说明
通过参照附图来详细描述本发明的示例性实施例,本发明的特定示例性实施例的以上和其它示例性目的将会变得更加显而易见,其中:
图1A至1C示出了传统多视角摄像机的排列;
图2示出了分别和同时输入在自由视点TV(FTV)***中以4×4并列结构排列的16个多视角摄像机的图像;
图3是根据本发明示例性实施例的、示出了分级图像编码概念的概念性结构框图;
图4是根据本发明示例性实施例的分级图像编码装置的结构框图;
图5是示出了在用于根据本发明示例性实施例的运动补偿时域滤波(MCTF)的提升方案中执行的操作的概念图示;
图6是示出了使用根据本发明示例性实施例的Harr小波,在时域上对在画面组(GOP)中可具有8个画面的图像序列进行滤波的方法的概念图示;
图7是示出了使用根据本发明示例性实施例的5/3样条小波,在时域上对在画面组(GOP)中可具有8个画面的图像序列进行滤波的方法的概念图示;
图8是示出了根据本发明示例性实施例的基于块的MTCF预测操作的概念图示;
图9是示出了根据本发明示例性实施例的基于块的MTCF更新操作的概念图示;
图10是示出了根据本发明示例性实施例,在分级图像编码中实现时域分级过程的概念图示;
图11是示出了根据本发明示例性实施例,实现时域、空域和质量分级的分级结构的概念图示;
图12是示出了根据本发明示例性实施例的具有二进分层结构的分层B画面的概念图示;
图13是示出了根据本发明示例性实施例的没有二进分层结构的分层B画面的概念图示;
图14示出了根据本发明示例性实施例的包括分级多视角图像编码和解码装置的分级多视角图像编解码器的结构;
图15是根据本发明示例性实施例的分级多视角图像编码装置的结构框图;
图16是根据本发明示例性实施例的分级多视角图像编码方法的流程图;
图17示出了根据本发明示例性实施例的二维(2D)图像组;
图18示出了根据本发明示例性实施例,在空域上对多视角图像进行滤波的处理;
图19示出了根据本发明示例性实施例,用于对多视角图像进行分级编码的空域滤波和时域滤波之间的关系;
图20示出了根据本发明示例性实施例,在时域上对在空域滤波处理之后生成的空域低频图像进行滤波的过程;
图21示出了根据本发明示例性实施例,分级多视角图像编码过程;
图22至25示出了根据本发明示例性实施例,在分级多视角图像编码过程中生成的比特流;
图26是根据本发明示例性实施例的分级多视角图像解码装置的结构框图;
图27是示出了根据本发明示例性实施例的分级多视角图像解码方法的流程图;
图28示出了包括在图27的分级多视角图像解码方法中的逆滤波操作;
图29是根据本发明示例性实施例的向空域分级提供不同大小的图像的分级多视角图像编码装置的概念图示;以及
图30示出了根据本发明示例性实施例的完整数据流的配置,该完整数据流在分层结构中包括基于QCIF(四分之一公共中间格式)的2D QCIF核、CIF(公共中间格式)和4-CIF比特流。
在附图中,相同的附图参考数字将会理解为指代相同的元件、特征和结构。
具体实施方式
最佳实施模式
本发明示例性实施例的一方面提供了分级多视角图像编码方法和装置,用于在空域和时域上对在预定时间段内从多个摄像机输入的多视角图像进行滤波,从而支持不同的空域-时域分级。例如,本发明的示例性实施例提供了一种分级多视角图像编码的方法和装置,用于使用运动补偿时域滤波(MCTF)或分层B-画面,沿空域轴和时域轴方向对2D画面组(GOP)(这是沿时域轴和空域轴获得的多个图像的组合)进行滤波,并使用分级视频编码(SVC)技术,对滤波后的2DGOP进行分级编码。
本发明的示例性实施例还提供了分级多视角图像解码的方法和装置,用于对分级编码后的多视角图像的比特流进行解码,从而支持空域-时域分级。
根据本发明示例性实施例的一方面,提供了一种分级多视角图像编码方法。从M个摄像机输入M个图像,并在空域轴上进行滤波。通过使用空域运动补偿时域滤波(MCTF)或分层B-画面来对M图像进行滤波。生成了空域低频图像和(M-1)空域高频图像。使用时域MCTF或分层B-画面,对在N个时间段内生成的N个低频图像进行滤波。生成了时域低频图像和(N-1)个时域高频图像。根据分配给每组M×N二维(2D)图像的传输比特速率,对时域低频图像和(N-1)个时域高频图像进行分级编码。此外,参照分配给时域低频图像和(N-1)个时域高频图像的传输比特速率,对(M-1)个空域高频图像进行分级编码。
根据本发明示例性实施例的另一方面,提供了一种分级多视角图像编码装置。空域图像滤波单元对从M个摄像机输入的空域轴上的M个图像进行滤波。通过使用空域MCTF或分层B-画面,对M个图像进行滤波,并生成了空域低频图像和(M-1)个空域高频图像。通过使用时域MCTF或分层B-画面,时域图像滤波单元对N个时间段内生成的N个空域低频图像进行滤波,并生成了时域低频图像和(N-1)个时域高频图像。时域图像分级编码单元根据分配给每组M×N二维(2D)图像的传输比特速率,对该时域低频图像和(N-1)个时域高频图像进行分级编码。空域图像分级编码单元根据分配给时域低频图像和(N-1)个时域高频图像的传输比特速率,对(M-1)个空域高频图像进行分级编码。
根据本发明示例性实施例的另一方面,提供了一种分级多视角图像解码方法。与空域-时域低频和高频图像相对应地接收分级编码后的比特流,其中,在使用MCTF或分层B-画面,对在N个时间段内从M个摄像机输入2D图像组进行空域和时域上的滤波之后,生成该空域-时域低频和高频图像。对包括在比特流中的分级编码后的时域低频和高频图像进行解码。通过使用时域逆-MCTF或分层B-画面,对解码后的时域低频和高频图像进行逆滤波,并对空域低频图像进行了重构。对包括在比特流中的分级编码空域高频图像进行解码,通过使用时域逆-MCTF或分层M-画面,对所重构的空域低频图像和解码后的空域高频图像进行逆滤波,并对图像进行重构。
根据本发明示例性实施例的另一方面,提供了一种分级多视角图像解码装置。时域图像解码单元接收与空域-时域低频和高频图像相对应的分级编码后的比特流,其中,在使用MCTF或分层B-画面,对在N个时间段内从M个摄像机输入2D图像组进行空域和时域上的滤波之后,生成该空域-时域低频和高频图像。对包括在比特流中的分级编码后的时域低频和高频图像进行解码。时域逆滤波单元使用时域逆-MCTF或分层B-画面,对解码后的时域低频和高频图像进行逆滤波,并对空域低频图像进行了重构。空域图像解码单元对包括在比特流中的分级编码空域高频图像进行解码,空域逆滤波单元使用时域逆-MCTF或分层M-画面,对所重构的空域低频图像和解码后的空域高频图像进行逆滤波,并对图像进行重构。
本发明的其它目的、优点和显著特征将从以下的详细描述中对于本领域技术人员来说变得显而易见,以下的详细描述结合附图,公开了本发明的示例性实施例。
实现本发明的方式
提供在该描述中定义的问题(如,详细构造和元件),以帮助全面理解本发明的实施例。因此,本领域普通技术人员将会理解,可以在不偏离本发明的范围和精神的情况下,做出对这里描述的实施例的不同改变和修改。此外,为了清楚和简明,省略了熟知的描述和构造。现在将对应用于本发明实施例的分级图像编码和分层B-画面进行描述,以促进对本发明的理解。
分级图像编码涉及将具有不同分辨率的图像信息、帧速率和视觉质量转换为一个比特流,并根据不同的环境和具有不同处理能力的终端来提供比特流。
图3是示出了分级图像编码的概念图示。图4是分级图像编码装置的概念性结构框图。图3和4示出了分级图像编码,其中,使用时域变换32在时域上对输入视频31进行分级,并使用2D空域变换33在空域上对输入视频31进行分级。此外,使用纹理编码34在质量上对输入视频31进行分级。运动编码35对实现空域分级时获得的运动信息进行分级编码。结果,生成了比特流36。
在分级图像编码中,使用运动补偿时域滤波(MCTF)和分层B-画面来提供时域分级并提高压缩效率。
MCTF涉及在图像序列中沿时域轴方向的与运动有关的信息,来执行小波变换。使用提升方案来执行小波变换。使用提升方案来有效地执行小波变换。提升方案在没有执行量化时保证了完全重构图像。提升方案包括多相分解操作、预测操作和更新操作。
图5是示出了在用于MCTF中的提升方案中执行的操作的概念图示。在本说明书中,在附图中以下标示出了在方括号内表示的等式部分。参照图5,将输入信号s[k]划分为偶数数字信号s[2k]和奇数数字信号s[2k+1]。从奇数数字信号s[2k+1]中减去偶数数字信号s[2k]的初始组合组成的预测操作符P(s[2k+1]),以获得高频信号h[k]。将由高频信号h[k]的初始组合组成的更新操作符U(s[2k])与偶数数字信号s[2k]相加,以获得低频信号l[k]。该过程由以下定义:
h[k]=s[2k+1]-P(s[2k]),其中
h[k]=s[2k]+U(h[k],其中
,…(1)
在图5中,参考符号F1和Fh分别表示低频信号和高频信号。在逆提升方案中,当对逆分级高频信号h[k]和逆分级低频信号l[k]执行更新操作和预测操作时,可以获得完全重构信号。使用Haar小波的提升方案由以下定义:
h[k]=s[2k+1]-PHaar(s[2k+1])
=s[2k+1]-s[2k]
,…(2)
在这种情况下,在对奇数数字信号s[2k+1]执行的预测操作之后,即,在从奇数数字信号s[2k+1]中减去偶数数字信号s[2k]之后,获得高频信号h[k]。此外,在对偶数数字信号s[2k]执行更新操作之后,即,在将高频信号h[k]与偶数数字信号s[2k]相加之后,获得低频信号l[k]。等式3将逆提升方案定义如下:
s[2k+1]=h[k]+s[2k]
=s[2k+1]-s[2k]+s[2k]
=s[2k+1]
,…(3)
在这种情况下,在对低频信号l[k]执行更新操作之后,即,在从低频信号l[k]中减去高频信号h[k]的一半之后,获得偶数数字信号s[2k]。此外,在针对高频信号h[k]执行预测操作之后,即,在将重新配置的偶数数字信号s[2k]与高频信号h[k]相加之后,获得奇数数字信号s[2k+1]。在提升方案中的这些过程执行之后,可以获得完全重构图像。
当假设图像信号s[x,k]可以具有空域坐标x=(x,y)T和时域坐标k来进行时域上的配置时,使用Harr小波的预测操作和更新操作由以下来定义:
PHaar(s[x,2k+1])=s[x,2k]
,…(4)
图6是示出了使用Harr小波,在时域上对在画面组(GOP)中可具有8个画面的图像序列进行滤波的方法的概念图示。参照图6,L0表示原始图像序列、以及H1表示从第二L0图像中减去第一L0图像之后获得的剩余图像(预测操作)。L1表示通过加上图像而获得的图像(更新操作),其中,所加的图像是在将第一L0图像加在与1/2相乘的H1剩余图像上之后获得的。将这些操作应用于L1图像以生成H2剩余图像和L2图像。还将这些操作应用于L2图像以生成H3剩余图像和L4图像。对所生成的图像(以L3、H3、H2、H2、H1、H1、H1和H1的顺序排列)进行编码,然后传输至解码端。
使用5/3样条小波的预测和更新操作由以下定义:
,…(5)
图7是示出了使用5/3样条小波,在时域上对在画面组(GOP)中可具有8个画面的图像序列进行滤波的方法的概念图示。参照图7,L0表示原始图像序列,以及H 1表示通过从偶数数字L0图像中减去图像所获得的剩余图像。在偶数数字L0图像两侧的奇数数字L0图像分别乘以1/2之后获得所减图像。L1表示通过将图像(该图像在将奇数数字L0图像两侧的H1剩余图像分别乘以1/4之后获得)加在奇数数字L0图像上所获得的图像。对所生成的图像(以L3、H3、H2、H2、H1、H1、H1和H1的顺序排列)进行编码,然后传输至解码端。
如果沿运动方向执行包括在提示方案中的预测和更新操作,则这些操作与MCTF相同。当使用AVC(高级视频编码)的多参考(multiple-reference)时,将使用Harr滤波器和5/3样条小波的预测和更新操作定义为:
PHaar(s[x,2k+1])=s[x+mP0,2k-2rP0]
,…(6),其中,m表示运动向量,以及r(r≥0)表示参考图像的指数。
图8是示出了基于块的MTCF预测操作的概念图示。当对作为帧内(I)块的当前块的预测进行改进时,将当前块作为I块进行编码。当对与双向当前块相对应的高频块的预测进行改进时,如在5/3样条小波中,从当前块中减去分别乘以1/2的参考块。当沿一个方向对与当前块相对应的高频块的预测进行改进时,如在Harr小波中,从当前块中减去参考块。当参考块没有紧邻当前块放置、而是在时域上远离当前块放置,则使用多参考。
图9是示出了基于块的MCTF更新操作的概念图示。当对作为帧内(I)块的当前块的预测时,如在以上描述的基于块的预测操作中所述,将当前块作为I块进行编码。当对与双向当前块相对应的低频块的预测进行改进时,如在5/3样条小波中,将分别乘以1/4的参考块加在当前块上。当沿一个方向对与当前块相对应的低频块的预测进行改进时,如在Harr小波中,将分别乘以1/2的参考块加在当前块上。当参考块远离当前块放置时,使用多参考。
在分级图像编码中,可以使用两种方法来实现分级。一种方法使用比特平面编码技术,以及另一种方法使用通常用于传统分级标准中的分层技术。可以使用这两种方法来实现空域、时域和质量分级。
图10是示出了在分级图像编码中实现时域分级的过程的概念图示。为了实现时域分级,使用MCTF,将基于GOP的原始图像序列分为时域子带图像,并将每个子带指定为层,参照图10,将在执行了三次MTCF之后生成的低频图像L3指定为基础层。因此,可以支持1/12帧速率。在执行了三次MCTF之后生成的高频图像H3和基础层的低频图像L3用于支持1/4帧速率。类似地,将三个高频图像H2和三个低频图像L2用于支持1/2帧速率。最后,将六个高频图像H1和低于这六个高频图像H1的层的层中的图像用于支持完整的帧速率。
可以使用诸如MPEG-2或MPEG-4之类的分层方法来提供空域分级。使用比特平面编码方法来实现质量分级,比特平面编码方法使用了基于块的精细分级(FGS)。在一点切断FGS增强比特流,并将它附在基础层上,以提供增强层的图像。可以使用基于上下文的编码来实现质量分级。
图11是实现了时域、空域和质量分级的分级结构的概念图示。参照图11,空域基础层可以具有QCIF 15Hz的帧速率,并使用分层B-画面结构来实现时域分级。这允许空域基础层支持高达7.5Hz的帧速率。空域基础层的基本比特速率是41Kbps,并根据AVC语法来执行编码。可以使用FGS,在基础层上实现质量分级,从而支持高达80Kbps的比特速率。对QCIF 15Hz和80Kbps图像进行上采样,以用作上空域分级层中的参考点。上空域层可以具有CIF 30Hz的帧速率,通过MCTF编码来实现时域分级,并提供高达1.875Hz的帧速率。上空域层的基本比特速率是115Kbps,以及可以使用FGS,在上空域层上实现质量分级,从而支持高达256Kbps的比特速率。
现在将对用于对多视角图像进行滤波的分层B-画面和MCTF进行描述。
可以使用用于管理解码后的画面缓冲器的存储管理控制操作(MMCO)和参考画面列表重新排序(RPLP)的语法,以不同的方式来实现分层B-画面,其中,该解码后的画面缓冲器(DPB)可以存储用于H.264编码方法中的16个画面。
图12是示出了具有二进分层结构的分层B-画面的概念图示。优选地,GOP包括8个画面。参照图12,如在传统的图像编码标准中,将图像序列中的第一画面编码为I画面或IDR画面。将GOP中的最后画面成为关键画面(key picture),并可以编码为I画面或P画面。在图12中,当对关键画面进行解码时,可以支持1/8帧速率。当对关键画面和B 1画面进行解码时,可以支持1/4帧速率。当对关键画面、B1画面和B2画面进行解码时,可以支持1/2帧速率。当对关键画面、B1画面、B2画面和B3画面进行解码时,可以支持完整的帧速率。
图13是示出了没有二进分层结构的分层B画面的概念图示。由于帧速率随不同情况而改变,所以不可以总是二进地(dyadically)配置GOP。因此,B-画面还应当能够支持非二进GOP结构,以最终支持具有不同帧速率的所有情况。在图13中,当对关键画面进行解码时,可以支持1/12的帧速率。当对关键画面和B1画面进行解码时,可以支持1/6帧速率。当对关键画面、B1画面和B2画面进行解码时,可以支持1/3帧速率。当对关键画面、B1画面、B2画面和B3画面进行解码时,可以支持完整的帧速率。
在本发明的示例性实施例中,使用以上描述的MCTF或分层B-画面对图像进行滤波。现在将描述使用MCTF对图像进行滤波的方法。然而,本领域的普通技术人员将易于理解,可以以类似的方式,使用分层B-画面对多视角图像在空域和时域上进行滤波。
现在将描述根据本发明示例性实施例的分级多视角图像编码方法和装置。
该方法和装置将多视角图像转换为一个比特流,以提供不同的分辨率、帧速率和质量。该方法和装置还根据具有不同处理能力的不同终端,将多视角图像转换为一个比特流来提供比特流。
图14示出了包括分级多视角图像编码和解码装置的分级多视角图像编解码器的结构。参照图14,多视角分级图像编解码器包括多视角图像编码单元1420、部分比特流生成单元1430和多视角图像解码单元1440。多视角图像编码单元1420针对从多个摄像机1410接收的多视角图像来执行分级编码,并生成具有时域、空域和质量分级的完全比特流。部分比特流生成单元1430生成部分比特流,从而可以根据时域、空域和质量分辨率来对完全比特流进行部分解码。通过多视角图像解码单元1440对完全比特流或部分比特流进行重构,并在显示单元1450上显示。
图15是根据本发明示例性实施例的分级多视角图像编码装置1500的结构框图。图16是示出了根据本发明示例性实施例的分级多视角图像编码方法的流程图。参照图15,分级多视角图像编码装置1500包括空域图像滤波单元1510、时域图像滤波单元1520、时域图像分级编码单元1530、空域图像分级编码单元1540、比特速率控制单元1550、以及多路复用单元1560。
空域图像滤波单元1510使用MCTF或分层B-画面,对在N个时间段内从M个摄像机输入的空域轴上的2D图像组进行空域滤波(操作1610)。在空域轴上的2D图像组中,对所输入的图像同时进行空域滤波。在空域滤波之后,生成了空域低频图像和(M-1)个空域高频图像。空域图像滤波单元1510可以具有在其中使用从M个摄像机输入的M个图像的闭环结构,并在N个时间段内重复空域滤波。
时域图像滤波单元1520使用MCTF或分层B-图像结构,对在空域滤波之后生成的N个空域低频图像进行滤波(操作1620)。在对N个时间段内由空域图像滤波单元1510生成的空域低频图像进行时域滤波之后,生成了时域低频图像和(N-1)个时域高频图像。时域图像滤波单元1520可以具有开环结构,其中,使用MCTF或分层B-画面对在先前的2D图像组之后先前生成的时域低频图像进行滤波。
由比特速率控制单元1550来控制时域图像分级编码单元1530。时域图像分级编码单元1530根据分配给2D图像组的传输比特速率和所需的时域分辨率,针对由时域图像滤波单元1530生成的时域低频图像和(N-1)个时域高频图像执行编码(操作1630)。在分级编码中,以与广为人知的分级编码方法相同的方式来执行以上描述的2D空域变换、纹理编码和运动编码。
空域图像分级编码单元1540考虑了分配给时域低频图像和(N-1)个时域高频图像的比特速率、以及所需的空域分辨率,针对由空域图像滤波单元1510生成的(M-1)个空域高频图像来执行分级编码(操作1640)。
多路复用单元1560对由时域图像分级编码单元1530和空域图像分级编码单元1540进行编码的空域-时域低频和高频图像进行多路复用,并输出比特流(操作1650)。
现在将更加详细地描述分级多视角图像编码方法和装置。
图17示出了根据本发明示例性实施例的2D图像组(以下,称为2D GOP)。为了针对从多个摄像机输入的多视角图像来执行分级编码,本发明的示例性实施例使用了不同于在一个时间段内从一个摄像机输入的传统的GOP。2D GOP组包括以预定时间间隔从M个多视角摄像机输入的空域轴上的M个图像、以及在N个时间段内从M个多视角摄像机输入的时域轴上的N个图像。换言之,沿空域轴方向从M个摄像机输入M个图像,以及沿空域轴方向从M个摄像机输入N个图像,以形成M×N 2D图像组。在这种情况下,对于使用MCTF或分层B-画面的滤波操作,M=2m、以及N=2n(其中,m和n是整数)。
作为示例,图17示出了在从包括8个摄像机的多视角摄像机1710输入沿时域轴方向的8个图像时形成的2D GOP 1720。在图17中,在以时域顺序的摄像机下面,示出了分别从8个摄像机输入的沿时域轴方向的顺序图像。Fxy表示在第y时间处从第x个摄像机输入的图像。例如,F00,F10,F20,F30,F40,F50,F60和F70表示从包括在多视角摄像机1710中的摄像机首先输入的图像。此外,F00,F01,F02,F03,F04,F05,F06,F07和F08表示沿时域轴方向,从第一摄像机顺序输入的图像。
本发明的示例性实施例沿空域轴和时域轴方向,针对2D GOP1720来执行MCTF,用于部分空域解码和部分时域解码。传统技术使用MCTF或分层B画面,对时域轴上的多视角图像进行滤波。本发明的示例性实施例不同于传统技术之处在于,包括了空域滤波过程,其中,使用MCTF或分层B画面,对同时从M个摄像机输入的多视角图像进行滤波,以生成空域低频图像和(M-1)个空域高频图像;以及包括了时域滤波过程,其中,使用MCTF或分层B画面,对在空域滤波过程之后生成的M个空域低频图像进行时域滤波,以生成时域低频图像和(N-1)个时域高频图像。
图18示出了根据本发明示例性实施例的空域滤波多视角图像的过程。如上所述,由空域图像滤波单元1510执行的多视角图像的空域滤波涉及将图17中示出的2D GOP 1720中空域轴上同时输入的多视角图像分解为低频和高频图像。可以将以上描述的MCTF或分层B-画面用于空域滤波。空域滤波可以具有闭环结构,其中,使用了从M个摄像机输入的M个图像。在图18中,L0图像1810表示从包括8个摄像机的多视角摄像机1710分别和同时输入的原始图像。换言之,L0图像1810表示在图17中示出的2D GOP 1720中的第i时间处,从摄像机同时输入的F0j,F1i,F2i,F3i,F4i,F5i,F6i和F7i。例如,L0图像1810可以是F01,F11,F21,F31,F41,F51,F61和F71。如以上所述,在MCTF中,可以在从偶数数字摄像机的输入L0图像(从偶数数字摄像机两侧的摄像机输入,并分别乘以1/2)中减去L0图像之后,来获得H1剩余图像(预测操作)。在将H1剩余图像(从奇数数字摄像机两侧的摄像机输入,并分别乘以1/4)加在从奇数数字摄像机输入的图像上之后,获得L1图像(更新操作)。将通过该过程,同时从8个摄像机输入的多视角图像分解为低频图像L3和7个高频图像H1,H2,H1,H3,H1,H2和H1。以预定顺序对空域滤波之后生成的低频图像L3和高频图像H1,H2,H1,H3,H1,H2和H1进行分级编码。
图19示出了根据本发明的示例性实施例,用于对多视角图像进行分级编码的空域滤波和时域滤波之间的关系。如上所述,时域图像滤波单元1510使用MCTF或分层B画面,沿空域轴方向,对空域轴上的图像(同时从多个摄像机输入)进行空域滤波。时域图像滤波单元还将在第i时间处输入的图像分解为空域低频图像和多个空域高频图像。对分别从摄像机输入的第一图像1930中的L0图像进行帧内编码。对空域轴上的其它图像H01,H02,H03,H04,H05,H06,和H07进行空域滤波。对在第一图像1930之后在第i时间处输入的八个图像进行空域滤波,并分解为空域低频图像和七个空域高频图像。针对2D GOP中同时输入的图像重复地执行这种空域滤波过程。因此,将2D GOP中的图像分解为N(=8)个低频图像{L1,L2,L3,L4,L5,L6,L7,L8}和(M-1)×N个高频图像{H11,H12,H13,H14,H15,H16,H17},{H21,H22,H23,H24,H25,H26,H27},{H31,H32,H33,H34,H35,H36,H37},{H41,H42,H43H44,H45,H46,H47},{H51,H52,H53,H54,H55,H56,H57},{H61,H62,H63,H64,H65,H66,H67},{H71,H72,H73,H74,H75,H76,H77}和{H81,H82,H83,H84,H85,H86,H87}。将沿空域轴方向的八个图像(分别从八个摄像机输入)分解为空域低频图像和七个低频图像以生成{Li,Hi1,Hi2,Hi3,Hi4,Hi5,Hi6,Hi7}。
时域图像滤波单元1520使用MCTF或分层B画面,对时域轴上的N(=8)个空域低频图像1911进行时域滤波,并生成时域低频图像LT和时域高频图像{HT1,HT2,HT3,HT4,HT5,HT6,和HT7}组1920。在对2D GOP进行时域滤波时,稍后使用在时域轴上生成的低频图像LT进行时域滤波。
图20示出了根据本发明的示例性实施例,对在空域滤波过程之后生成的空域低频图像进行时域滤波的过程。图20示出了对八个时间单元内分别从八个摄像机输入的2D图像组进行时域滤波的情况。参照图20,第一L0图像1912是之前的2D GOP中的低频图像,这是在时域滤波过程之后最新生成的图像,并在预测操作中被参考。
在多视角图像序列的起始处,从每个摄像机输入的第一组图像1911不包括在2D GOP中,而后续组图像包括在2D GOP中。在从摄像机输入的第一组图像1911中,对从第一摄像机输入的图像进行帧内编码,以及对其它图像进行空域滤波和编码。除了在时域滤波过程中使用在空域滤波过程之后生成的空域低频图像之外,对2D GOP进行时域滤波与MCTF相同。以预定顺序,对在时域滤波过程之后生成的时域低频图像和时域高频图像进行分级编码。
图21示出了根据本发明示例性实施例的分级多视角图像编码过程。现在将参照图21来描述对8×82D图像组进行空域和时域滤波,并对滤波后的图像进行编码的过程。
使用MCTF或分层B画面,对从M(例如,八)个摄像机S0至S7输入的第一组图像中的L01 0图像进行帧内编码,以及沿空域轴方向,对空域轴方向上的其它(M-1)个图像进行空域滤波、然后编码。因此,以H0S 3,H0S 21,H0S 22,H0S 11,H0S 12,H0S 13,H0S 14的顺序生成了比特流。
在对从8个摄像机输入的第一组图像进行编码之后,依次对每个2D GOP中的M×N个图像(在本实施例中,M=8、以及N=8)进行处理。
无论何时沿时域轴方向从M个摄像机输入N(=8)个2D GOP中的每个时,沿空域轴方向执行空域滤波。结果,在每个第i时域轴上生成了包括LiT 0,HiS 11,HiS 21,HiS 12,HiS 3,HiS 13,HiS 22,HiS 14的空域低频图像和(M(=8)-1)个空域高频图像。
对在空域滤波过程之后生成的N(=8)个空域低频图像{L1T 0,L2T 0,...,L8T 0}进行时域滤波,以生成一个时域低频图像L8T 0和(N(=8)-1)个时域高频图像{L1T 11,L2T 21,L3T 12,L4T 3,L5T 13,L6T 22,L7T 14,L8T 0}的图像组。
如上所述,当使用MCTF对M×N图像组进行空域和时域滤波时,将包括在该组中的M×N图像转换为一个低频图像和(M×N-1)个高频图像。然后,根据时域分辨率,对用作参考图像的时域轴上的图像进行分级编码,并对空域轴上相应的图像进行编码。时域图像分级编码单元1530在比特速率控制单元1550的控制下,以分配给M×N图像组的传输比特速率,针对时域低频和高频图像执行时域分级编码,以将该组传输至解码端。以与传统的H.264编码方法类似的方式来执行时域分级编码方法。将作为空域-时域滤波的结果生成的图像确定为帧内块或帧间块。使用纹理编码来对帧内块进行编码,以及使用运动向量和剩余信号来对帧间块进行编码。当对所有图像进行编码时,比特速率控制单元1550控制可以传输从多个摄像机输入的图像的比特速率。例如,当目标比特速率时512Kbps、以及从8个摄像机输入的图像具有总共100个帧时,当对完整的1000个帧进行编码时的平均传输比特速率必须是512kbps。因此,比特速率控制单元1550将一比特的特定大小分配给每个2D GOP、或每个编码图像,从而在对所有图像进行编码时生成平均比特速率,并满足了目标比特速率。可以使用不同的方法来实现比特速率控制单元1550。
空间图像分级编码单元1540考虑了分配给时域高频图像{H1T 11,H2T 21,H3T 12,H4T 3,H5T 13,H6T 22,H7T 14,L8T 0}的比特和所需的空域分辨率,针对每个第i时间轴上的空域高频图像{HiS 11,HiS 21,HiS 12,HiS 3,HiS 13,HiS 22,HiS 14}组来执行空域分级编码。
以{L8T 0,H4T 3,H2T 21,H6T 22,H1T 11,H3T 12,H5T 13,H7T 14}的顺序生成了在时域分级编码之后生成的时域低频和高频图像的比特流,并传输至解码端。传输顺序从在MCTF中最新生成的基础层开始。然后,在基础层之后是上面的增强层。
将空域轴上图像的比特流以相同的传输顺序传输至解码端,作为时域低频和高频图像的比特流。换言之,由于首先传输了时域轴上的L8T的比特流,所以传输了在第8空域轴上的图像{H8S 3,H8S 21,H8S 22,H8S 11,H8S 12,H8S 13,H8S 14}的比特流。此外,由于传输了下一时域轴上的H4T的比特流,所以传输了{H4S 3,H4S 21,H4S 22,H4S 11,H4S 12,H4S 13,H4S 14}的比特流。该过程需要在解码端处的部分时域解码和部分空域解码。将空域轴上的空域高频图像组的比特流以{(H8S 3,H8S 21,H8S 22,H8S 11,H8S 12,H8S 13,H8S 14),(H4S 3,H4S 21,H4S 22,H4S 11,H4S 12,H4S 13,H4S 14),(H2S 3,H2S 21,H2S 22,H2S 11,H2S 12,H2S 13,H2S 14),(H6S 3,H6S 21,H6S 22,H6S 11,H6S 12,H6S 13,H6S 14),(H1S 3,H1S 21,H1S 22,H1S 11,H1S 12,H1S 13,H1S 14),(H3S 3,H3S 21,H3S 22,H3S 11,H3S 12,H3S 13,H3S 14),(H5S 3,H5S 21,H5S 22,H5S 11,H5S 12,H5S 13,H5S 14),(H7S 3,H7S 21,H7S 22,H7S 11,H7S 12,H7S 13,H7S 14)的顺序传输至解码端。对于每个2D GOP的完整图像序列重复上述过程。
可以根据空域和时域分辨率来配置在对多视角图像进行分级编码的过程中生成的比特流。现在将描述根据时域分辨率的比特流配置的示例。
参照图21,具有完全时域分辨率的比特流可以具有与2D GOP中的所有图像{L8T 0,H4T 3,H2T 21,H6T 22,H1T 11,H3T 12,H5T 13,H7T 14},{(H8S 3,H8S 21,H8S 22,H8S 11,H8S 12,H8S 13,H8S 14),(H4S 3,H4S 21,H4S 22,H4S 11,H4S 12,H4S 13,H4S 14),(H2S 3,H2S 21,H2S 22,H2S 11,H2S 12,H2S 13,H2S 14),(H6S 3,H6S 21,H6S 22,H6S 11,H6S 12,H6S 13,H6S 14),(H1S 3,H1S 21,H1S 22,H1S 11,H1S 12,H1S 13,H1S 14),(H3S 3,H3S 21,H3S 22,H3S 11,H3S 12,H3S 13,H3S 14),(H5S 3,H5S 21,H5S 22,H5S 11,H5S 12,H5S 13,H5S 14),(H7S 3,H7S 21,H7S 22,H7S 11,H7S 12,H7S 13,H7S 14)}有关的信息。
具有半时域分辨率的比特流包括与图像{L8T 0,H4T 3,H2T 21,H6T 22},{(H8S 3,H8S 21,H8S 22,H8S 11,H8S 12,H8S 13,H8S 14),(H4S 3,H4S 21,H4S 22,H4S 11,H4S 12,H4S 13,H4S 14),(H2S 3,H2S 21,H2S 22,H2S 11,H2S 12,H2S 13,H2S 14),(H6S 3,H6S 21,H6S 22,H6S 11,H6S 12,H6S 13,H6S 14)}有关的信息。对时域滤波过程之后生成的图像{L8T 0,H4T 3,H2T 21,H6T 22,H1T 11,H3T 12,H5T 13,H7T 14}中时域轴方向上的四个图像进行编码,以及沿空域轴方向的相应高频图像包括在具有半时域分辨率的比特流中。
具有1/4时域分辨率的比特流包括与图像{L8T 0,H4T 3},{(H8S 3,H8S 21,H5S 22,H8S 11,H8S 12,H8S 13,H8S 14),(H4S 3,H4S 21,H4S 22,H4S 11,H4S 12,H4S 13,H4S 14)}有关的信息。换言之,对在时域滤波过程之后生成的{L8T 0,H4T 3,H2T 21,H6T 22,H1T 11,H3T 12,H5T 13,H7T 14}中的时域轴方向上的两个图像进行编码,以及沿空域轴方向的相应高频图像包括在具有1/4时域分辨率的比特流中。
具有1/8时域分辨率的比特流包括与图像{L8T 0},{(H8S 3,H8S 21,H8S 22,H8S 11,H8S 12,H8S 13,H8S 14)}有关的信息。
现在将描述根据空间分辨率的比特流配置的示例。在本发明的示例性实施例中,空域分辨率表示从多个摄像机图像提供给用户的视角分辨率。例如,具有完全视角分辨率的比特流包含所有摄像机的编码图像,具有1/2视角分辨率的比特流包含所有摄像机图像中的所选1/2摄像机图像的编码图像,以及具有1/4视角分辨率的比特流包含所有摄像机图像中的所选1/4摄像机图像的编码图像。
参照图21,类似于具有完全时域分辨率的比特流,具有完全空域分辨率的比特流可以具有与2D GOP中的所有图像{L8T 0,H4T 3,H2T 21,H6T 22,H1T 11,H3T 12,H5T 13,H7T 14},{(H8S 3,H8S 21,H8S 22,H8S 11,H8S 12,H8S 13,H8S 14),(H4S 3,H4S 21,H4S 22,H4S 11,H4S 12,H4S 13,H4S 14),(H2S 3,H2S 21,H2S 22,H2S 11,H2S 12,H2S 13,H2S 14),(H6S 3,H6S 21,H6S 22,H6S 11,H6S 12,H6S 13,H6S 14),(H1S 3,H1S 21,H1S 22,H1S 11,H1S 12,H1S 13,H1S 14),(H3S 3,H3S 21,H3S 22,H3S 11,H3S 12,H3S 13,H3S 14),(H5S 3,H5S 21,H5S 22,H5S 11,H5S 12,H5S 13,H5S 14),(H7S 3,H7S 21,H7S 22,H7S 11,H7S 12,H7S 13,H7S 14)}有关的信息。
具有半空域分辨率的比特流是具有与从8个摄像机中的四个中输入的图像有关的信息的比特流。这包括与图像{L8T 0,H4T 3,H2T 21,H6T 22,H1T 11,H3T 12,H5T 13,H7T 14},{(H8S 3,H8S 21,H8S 22),(H4S 3,H4S 21,H4S 22),(H2S 3,H2S 21,H2S 22),(H6S 3,H6S 21,H6S 22),(H1S 3,H1S 21,H1S 22),(H3S 3,H3S 21,H3S 22),(H5S 3,H5S 21,H5S 22),(H7S 3,H7S 21,H7S 22)}有关的信息。比特流包括与从奇数数字摄像机中输入的图像有关的信息,即,在图21中示出的8个摄像机S0至S7中的S0、S2、S4和S6。
具有1/4空域分辨率的比特流是具有与从8个摄像机中的2个中输入的与图像有关的信息的比特流。这包括与图像{L8T 0,H4T 3,H2T 21,H6T 22,H1T 11,H3T 12,H5T 13,H7T 14},{(H8S 3),(H4S 3),(H2S 3),(H6S 3),(H1S 3),(H3S 3),(H5S 3),(H7S 3)}有关的信息。
具有1/8空域分辨率的比特流是具有与从一个摄像机至输入的图像有关的信息的比特流。这包括与图像{L8T 0,H4T 3,H2T 21,H6T 22,H1T 11,H3T 12,H5T 13,H7T 14}有关的信息。
图22至25示出了在分层多视角图像编码过程中生成的比特流。
图22示出了包括与2D GOP中的所有图像有关的信息的完全比特流,该完全比特流在根据本发明示例性实施例的对多视角图像进行分级编码的过程中生成。参照图21和22,{L0I 0,H0S 3,H0S 21,H0S 22,H0S 11,H0S 12,H0S 13,H0S 14}2200和2210的比特流是从八个摄像机输入的沿空域轴方向的第一2D GOP。在空域轴方向上的第一2D GOP之后,***在时域滤波过程之后生成的时域低频和高频图像{L8T 0,H4T 3,H2T 21,H6T 22,H1T 11,H3T 12,H5T 13,H7T 14}的比特流2215。然后,依次***与时域低频和高频图像相对应的空域高频图像的比特流2220、2225、2230、2240、2245、2250和2255。依次将与时域低频图像L4S 0,L2S 0,L6S 0,L1S 0,L3S 0,L5S 0,L7S 0相对应的编码后的空域高频图像***比特流。
图23示出了根据本发明的示例性实施例,在对多视角图像进行分级编码的过程中,沿空域轴方向部分编码的比特流。在图23中,对从图21中示出的摄像机S0、S1、S2、S4和S6中输入的图像进行处理。参照图21和23,在将从摄像机S0、S1、S2、S4和S6中输入的图像编码为具有半空域分辨率的比特流时,***所有时域低频和高频图像{L8T 0,H4T 3,H2T 21,H6T 22,H1T 11,H3T 12,H5T 13,H7T 14}的完整比特流2315。然而,不用***所有空域高频图像。作为替代,***与从摄像机S0、S1、S2、S4和S6中输入的图像相对应的空域高频图像的比特流2320,2325,2330,235,2340,2345,2350和2355。可以根据空域图像分级编码单元1540所需的空域分辨率来生成这种部分比特流,或者可以从完全比特流中提取这种部分比特流,并通过解码端进行重新配置。
图24示出了根据本发明的示例性实施例,在对多视角图像进行分级编码的过程中,沿时域轴方向部分编码的比特流。在图24中,以从完全时域分辨率降低的半时域分辨率,对比特流进行部分编码。参照图21至24,***在时域滤波过程之后生成的时域低频和高频图像{L8T 0,H4T 3,H2T 21,H6T 22,H1T 11,H3T 12,H5T 13,H7T 14}中的时域低频和高频图像{L8T 0,H4T 3,H2T 21,H6T 22}2415的比特流。此外,***与时域低频和高频图像相对应的空域高频图像的比特流2420,2425,2430和2435。
图25示出了根据本发明的示例性实施例,在对多视角图像进行分级编码的过程中,沿时域轴和空域轴方向进行部分编码的比特流。图25示出了根据部分比特流编码的半时域分辨率来处理从摄像机S0,S1,S2,S4和S6输入的图像的情况。
如上所述,当根据本发明的示例性实施例,使用分级多视角编码方法时,可以沿时域轴和空域轴方向,对空域-时域分辨率进行分级。分辨率的范围与M×N 2D图像组(M=2m,以及N=2n)的大小成反比。换言之,本发明的示例性实施例可以提供高达1/M的空域分辨率和高达1/N的时域分辨率。
现在将描述根据本发明示例性实施例的分级多视角图像解码方法和装置。
图26是根据本发明示例性实施例的分级多视角图像解码装置的结构框图。图27是示出了根据本发明示例性实施例的分级多视角图像解码方法的流程图。
参照图26,该装置包括时域图像解码单元2610、时域逆滤波单元2620、空域图像解码单元2630和空域逆滤波单元2640。
时域图像解码单元2610接收根据以上描述的分级多视角图像编码方法进行编码的比特流(操作2710)。然后,时域图像解码单元2710对所接收的比特流进行解码,并从该比特流中生成时域低频和高频图像(操作2720)。在该解码操作中,如在传统的图像解码操作中,生成了逆离散余弦变换、纹理信息和运动信息。
时域逆滤波单元2620使用MCTF或分层B-画面,针对解码后的时域低频和高频图像来进行逆滤波(即,执行合成操作),并对空域轴上的相应空域低频图像进行重构(操作2730)。
空域图像解码单元2630根据所需的时域和空域分辨率,对包括在比特流中的空域高频图像进行解码(操作2740)。
空域逆滤波单元2640使用MCTF或分层B-画面,对由时域逆滤波单元2620重构的空域低频图像、以及由空域图像解码单元2630解码的空域高频图像进行逆滤波,并对空域轴上的图像进行重构(操作2750)。
图28示出了包括在图27的分级多视角图像解码方法中的逆滤波操作。如上所述,图26中示出的时域逆滤波单元2620和空域逆滤波单元2640对时域滤波后的图像和空域滤波后的图像进行逆滤波,同时图像包括在每个比特流中。在该逆滤波操作中,生成了基础层的低频图像L3。然后,使用第一增强层的高频图像H3、以及所生成的低频图像L3,来生成下一层中的低频图像L2。此外,使用第二增强层的高频图像H2、以及所示出的低频图像L2,来生成下一层中的低频图像L1,以及在对原始图像L0进行滤波之前,使用第三增强层的高频图像H1、以及所生成的低频图像L1,来对原始图像L0进行重构。在该逆滤波操作中,在将原始图像通过MCTF进行分解之前,时域逆滤波单元2620和空域逆滤波单元240对原始信号进行重构。由于逆滤波操作与传统的MCTF操作相同,所以将不再重复对它的详细描述。
现在将参照图22至25,对使用根据本发明示例性实施例的分级多视角图像编码方法生成的比特流进行解码的方法进行描述。
参照图21和22,{L0I 0,H0S 3,H0S 21,H0S 22,H0S 11,H0S 12,H0S 13,H0S 14}2200和2210的比特流是从八个摄像机输入的沿空域轴的第一图像组。沿空域轴方向对{L0I 0,H0S 3,H0S 21,H0S 22,H0S 11,H0S 12,H0S 13,H0S 14}2200和2210的比特流进行解码,以生成低频图像L0I 0和高频图像(H0S 3,H0S 21,H0S 22,H0S 11,H0S 12,H0S 13,H0S 14),在MCTF合成操作之后,将它们重构为与沿空域轴方向上的第一帧图像相对应的八个图像。在对空域轴上的第一图像组的比特流进行解码之后,对于每个2DGOP执行图像解码操作。首先,沿时域轴方向,对时域低频和高频图像{L8T 0,H4T 3,H2T 21,H6T 22,H1T 11,H3T 12,H5T 13,H7T 14}的比特流2215进行解码,以生成低频图像L8T 0和高频图像H4T 3,H2T 21,H6T 22,H1T 11,H3T 12,H5T 13,H7T 14,在MCTF合成操作之后,将它们重构为与8×8图像组相对应的空域轴上的8个图像{L8T 0,H4T 3,H2T 21,H6T 22,H1T 11,H3T 12,H5T 13,H7T 14}。重构的高频图像H4T 3,H2T 21,H6T 22,H1T 11,H3T 12,H5T 13,H7T 14与空域轴上第n(HiT)图像组中的低频图像相对应。换言之,重构的高频图像H4T 3,H2T 21,H6T 22,H1T 11,H3T 12,H5T 13,H7T 14与低频图像L4S 0,L2S 0,L6S 0,L1S 0,L3S 0,L5S 0,L7S 0相对应。此外,使用时域轴上的低频图像L8T 0和重构的高频图像H4T 3,H2T 21,H6T 22,H1T 11,H3T 12,H5T 13,H7T 14,对空域高频图像组进行解码。通过重复以下操作,对空域轴上的第i高频图像组的比特流进行解码。
Array[8]={8,4,2,6,1,3,5,7}
For(index=0;I<8;index++){
i==Array[index];
对{HiS 11,HiS 21,HiS 12,HiS 3,HiS 13,HiS 22,HiS 14}的比特流进行解码,以及针对解码后的比特流和相应的低频图像LiS 0执行MCTF合成操作。因此,对空域轴上的第i组图像进行重构。
针对每个2D GOP的完整图像序列来重复以上操作。
参照图21和23,当使用空域部分解码,对包括与2D GOP中的空域轴上的图像(从摄像机S0,S1,S2,S4和S6输入)有关的信息的比特流进行解码时,对{L01 0,H0S 3,H0S 21,H0S 22,H0S 11,H0S 12,H0S 13,H0S 14}的比特流2300和2310(这是沿空域轴方向的第一图像组,并从摄像机S0,S1,S2,S4和S6输入)进行解码,以生成低频图像L01 0和高频图像H0S 3,H0S 21,H0S 22,H0S 11,在MCFTF合成操作之后,将它们重构为与沿空域轴方向的第一帧图像相对应的五个图像。
在对空域轴上的第一图像组的比特流进行解码之后,在时域轴上,对时域低频和高频图像{L8T 0,H4T 3,H2T 21,H6T 22,H1T 11,H3T 12,H5T 13,H7T 14}的比特流2215进行解码,以生成沿时域轴方向的低频图像L8T 0和高频图像H4T 3,H2T 21,H6T 22,H1T 11,H3T 12,H5T 13,H7T 14,在MCTF合成操作之后,将它们重构为8×8图像组中的时域轴上的八个图像{L8T 0,H4T 3,H2T 21,H6T 22,H1T 11,H3T 12,H5T 13,H7T 14}。当执行空域部分解码时,必须对沿时域轴方向的所有图像进行解码。因此,编码后的比特流包括沿时域轴方向滤波的所有时域低频和高频图像。在针对空域高频图像2320,2325,2330,2335,2340,2350和2355,依次执行解码和MCTF合成操作之后,对从摄像机S0,S1,S2,S4和S6输入的图像进行重构。
参照图21和24,当使用部分时域解码,对可以具有从完全时域分辨率降低的半时域分辨率、以及2D GOP中的时域轴上的图像的比特流进行解码时,对8×82D图像组中的时域轴上的8个图像中的时域低频和高频图像{L8T 0,H4T 3,H2T 21,H6T 22}的比特流2415进行解码和MCTF逆滤波。因此,重构了时域轴方向的空域低频图像{L8T 0,H4T 3,H2T 21,H6T 22}。通过解码和MCTF逆滤波操作,对与重构的空域低频图像相对应的空域高频图像的编码比特流2420,2425,2430和2435进行重构。
参照图21和25,对8×82D图像组中的时域轴上的8个图像中的时域低频和高频图像{L8T 0,H4T 3,H2T 21,H6T 22}的比特流2515进行解码和MCTF逆滤波。当使用部分时域解码,将2D GOP中时域轴上的时域中分布的数据的分辨率从完全时域分辨率降低至半时域分辨率时,以及当使用空域部分解码,将从摄像机S0,S1,S2,S4和S6输入的空域轴上的空域中的图像的比特流进行处理时,对比特流进行滤波。因此,重构了沿时域轴方向的空域低频图像{L8T 0,H4T 3,H2T 21,H6T 22}。对在从摄像机S0,S1,S2,S4和S6输入的图像进行空间滤波之后获得空域高频图像2520,2525,2530和2535,通过解码和MCTF合成操作,对所获得的空域高频图像2520,2525,2530和2535进行重构。
根据本发明示例性实施例的分级多视角图像编码和解码方法和装置可以使用将2D GOP指定为如在SVC编解码器结构中的基础层的分层结构、以及使用FCS方法,来实现分级。该方法和装置可以提供时域分级、视角(摄像机)空域分级、大小相关空域分级、以及SNR分级。
图29是根据本发明示例性实施例,向空域分级提供不同大小的图像的分级多视角图像编码装置的概念图示。
可以使用以上描述的部分时域解码和部分空域解码来实现从所选摄像机输入的用于选择图像的时域分级和空域分级。根据图像大小的时域分级使用用于传统分级图像编码方法中的分层方法,并且可以使用2D抽取滤波器、2D上采样滤波器和与2D GOP基础层相关的空域信息来提供。在这种情况下,可以根据要提供的图像大小,将空域分级缩放至QCIF、CIF和4CIF。
可以使用比特平面编码方法来实现SNR分级,该比特平面编码方法使用用于传统SVC中的基于块的FGS。在这种情况下,在特定点切断FGS增强比特流,并附在基础层上来提供增强层的图像。
图30示出了根据本发明示例性实施例的完整数据流的配置,该完整数据流在分层结构中包括基于QCIF(四分之一公共中间格式)的2D QCIF核、CIF(公共中间格式)和4-CIF比特流。可以将在本发明示例性实施例中提供的分级进行组合。参照图30,在从基于QCIF的多视角摄像机输入的第一帧图像的比特流之后,跟随与2D GOP中的核心比特流相对应的时域图像的比特流、以及在2D GOP中的空间QCIF的比特流。然后,跟随2D GOP中基于CIF的比特流和基于CIP的比特流。
如上所述,本发明的示例性实施例使用时域相邻图像之间的相关性,对多视角图像组进行空域和时域滤波,并对滤波后的多视角图像组进行编码,从而提高了编码效应。此外,本发明的示例性实施例可以提供时域分级、视角(摄像机)空域分级、大小相关空域分级和SNR分级。
本发明的示例性实施例还可以实现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是任何数据存储设备,该设备可以存储可在之后由计算机***读取的数据。计算机可读记录介质的示例包括只读存储器(ROM)、随机访问存储器(RAM)、CD-ROM、磁带、软盘、光数据存储设备和载波(如,通过因特网的数据传输)。
计算机可读记录介质还可以在网络连接计算机***上分布,从而以分布方式来存储和执行计算机可读代码。
尽管参照特定示例性实施例,具体地示出并描述了本发明,但是本领域的技术人员将会理解,可以在不偏离本发明的精神和范围的情况下,在其中做出形式和细节上的各种改变,其中,本发明的精神和范围由所附权利要求及其等同物来限定。
Claims (14)
1.一种分级多视角图像编码方法,包括:
使用空域运动补偿时域滤波MCTF和分层B-画面中的至少一个,对从M个摄像机输入的空域轴上的M个图像进行滤波,并生成空域低频图像和(M-1)个空域高频图像;
使用时域MCTF和分层B-画面中的至少一个,对N个时间段内生成的N个空域低频图像进行滤波,并生成时域低频图像和(N-1)个时域高频图像;
根据分配给每个M×N二维2D图像组的传输比特速率,对所述时域低频图像和(N-1)个时域高频图像进行分级编码;以及
根据分配给所述时域低频图像和(N-1)个时域高频图像的传输比特速率,对所述(M-1)个空域高频图像进行分级编码。
2.如权利要求1所述的编码方法,其中,空域MCTF包括闭环结构,在所述闭环结构中,使用了从M个摄像机输入的M个图像。
3.如权利要求1所述的编码方法,其中,所述时域MCTF包括开环结构,在所述开环结构中,使用了在针对之前处理的M×N 2D图像组执行时域MCTF之后生成的时域低频图像。
4.如权利要求1所述的编码方法,其中,对所述时域低频图像和(N-1)个时域高频图像的分级编码包括:
根据所分配的传输比特速率和时域分辨率,从(N-1)个时域高频图像中选择要编码的时域高频图像;以及
对所生成的时域低频图像和所选择的时域高频图像进行分级编码。
5.如权利要求1所述的编码方法,其中,对所述(M-1)个空域高频图像的分级编码包括:
根据分配给所述时域低频图像和(N-1)个时域高频图像的传输比特速率,从由M个摄像机同时输入的(M-1)空域高频图像中选择要编码的空域高频图像;以及
对所选择的空域高频图像进行分级编码。
6.一种分级多视角图像编码装置,包括:
空域图像滤波单元,用于使用空域MCTF和分层B-画面中的至少一个,对从M个摄像机输入的空域轴上的M个图像进行滤波,并用于生成空域低频图像和(M-1)个空域高频图像;
时域图像滤波单元,用于使用时域MCTF和分层B-画面中的至少一个,对N个时间段内生成的N个空域低频图像进行滤波,并用于生成时域低频图像和(N-1)个时域高频图像;
时域图像分级编码单元,用于根据分配给每个M×N二维2D图像组的传输比特速率,对所述时域低频图像和(N-1)个时域高频图像进行分级编码;以及
空域图像分级编码单元,用于根据分配给所述时域低频图像和(N-1)个时域高频图像的传输比特速率,对所述(M-1)个空域高频图像进行分级编码。
7.如权利要求6所述的编码装置,其中,所述空域图像滤波单元包括闭环结构,在所述闭环结构中,使用了从M个摄像机输入的M个图像。
8.如权利要求6所述的编码装置,其中,所述时域图像滤波单元包括开环结构,在所述开环结构中,使用了在针对之前处理的M×N 2D图像组执行时域MCTF之后生成的时域低频图像。
9.如权利要求6所述的编码装置,其中,所述时域图像分级编码单元根据所分配的传输比特速率和时域分辨率,从(N-1)个时域高频图像中选择要编码的时域高频图像,并对所生成的时域低频图像和所选择的时域高频图像进行分级编码。
10.如权利要求6所述的编码装置,其中,所述空域图像分级编码单元根据分配给所述时域低频图像和(N-1)个时域高频图像的传输比特速率,从由M个摄像机同时输入的(M-1)个空域高频图像中选择要编码的空域高频图像,并对所选择的空域高频图像进行分级编码。
11.一种分级多视角图像解码方法,包括:
接收与空域-时域低频和高频图像相对应的分级编码比特流,其中在使用MCTF和分层B-画面中的至少一个对在N个时间段内从M个摄像机输入的2D图像组进行空域和时域滤波之后,生成所述空域-时域低频和高频图像;
对包含于所述比特流中的分级编码的时域低频和高频图像进行解码;
使用时域逆MCTF和分层B-画面中的至少一个,对解码后的低频和高频图像进行逆滤波,并对所述空域低频图像进行重构;
对包含于所述比特流中的分级编码后的空域高频图像进行解码;以及
使用时域逆MCTF和分层M-画面中的至少一个,对所重构的空域低频图像和解码后的高频图像进行逆滤波,并对图像进行重构。
12.如权利要求11所述的解码方法,其中,通过以下生成所述分级编码比特流:
使用空域MCTF和分层B-画面中的至少一个,对从M个摄像机输入的空域轴上的M个图像进行滤波,并生成空域低频图像和(M-1)个空域高频图像;
使用时域MCTF和分层B-画面中的至少一个,对N个时间段内生成的N个空域低频图像进行滤波,并生成时域低频图像和(N-1)个时域高频图像;
根据分配给每个M×N 2D图像组的传输比特速率,对所述时域低频图像和(N-1)个时域高频图像进行分级编码;以及
根据分配给所述时域低频图像和(N-1)个时域高频图像的传输比特速率,对所述(M-1)个空域高频图像进行分级编码。
13.一种分级多视角图像解码装置,包括:
时域图像解码单元,用于接收与空域-时域低频和高频图像相对应的分级编码比特流,并对包含于所述比特流中的分级编码的时域低频和高频图像进行解码,其中在使用MCTF和分层B-画面中的至少一个对在N个时间段内从M个摄像机输入的2D图像组进行空域和时域滤波之后,生成所述空域-时域低频和高频图像;
时域逆滤波单元,用于使用时域逆MCTF和分层B-画面中的至少一个,对解码后的时域低频和高频图像进行逆滤波,并用于对所述空域低频图像进行重构;
空域图像解码单元,用于对包含于所述比特流中的分级编码后的空域高频图像进行解码;以及
空域逆滤波单元,用于使用时域逆MCTF和分层M-画面中的至少一个,对所重构的空域低频图像和解码后的高频图像进行逆滤波,并用于对图像进行重构。
14.如权利要求13所述的解码装置,其中,通过以下生成所述分级编码比特流:
使用空域MCTF和分层B-画面中的至少一个,对从M个摄像机输入的空域轴上的M个图像进行滤波,并生成空域低频图像和(M-1)个空域高频图像;
使用时域MCTF和分层B-画面中的至少一个,对N个时间段内生成的N个空域低频图像进行滤波,并生成时域低频图像和(N-1)个时域高频图像;
根据分配给每个M×N 2D图像组的传输比特速率,对所述时域低频图像和(N-1)个时域高频图像进行分级编码;以及
根据分配给所述时域低频图像和(N-1)个时域高频图像的传输比特速率,对所述(M-1)个空域高频图像进行分级编码。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2005-0027729 | 2005-04-01 | ||
KR20050027729 | 2005-04-01 | ||
KR1020050027729 | 2005-04-01 | ||
KR10-2006-0025680 | 2006-03-21 | ||
KR20060025680A KR100732961B1 (ko) | 2005-04-01 | 2006-03-21 | 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치 |
KR1020060025680 | 2006-03-21 | ||
PCT/KR2006/001080 WO2006104326A1 (en) | 2005-04-01 | 2006-03-31 | Scalable multi-view image encoding and decoding apparatuses and methods |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101069430A CN101069430A (zh) | 2007-11-07 |
CN101069430B true CN101069430B (zh) | 2010-05-26 |
Family
ID=37053564
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2006800012708A Expired - Fee Related CN101069430B (zh) | 2005-04-01 | 2006-03-31 | 分级多视角图像编码和解码装置及方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US8040952B2 (zh) |
EP (1) | EP1864498B1 (zh) |
JP (1) | JP4611386B2 (zh) |
KR (1) | KR100732961B1 (zh) |
CN (1) | CN101069430B (zh) |
AU (1) | AU2006229490B2 (zh) |
CA (1) | CA2588639C (zh) |
WO (1) | WO2006104326A1 (zh) |
Families Citing this family (73)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8589315B2 (en) * | 2004-08-14 | 2013-11-19 | Hrl Laboratories, Llc | Behavior recognition using cognitive swarms and fuzzy graphs |
KR100668345B1 (ko) * | 2004-10-05 | 2007-01-12 | 삼성전자주식회사 | 움직임 보상된 계층 생성장치 및 방법 |
CN101292538B (zh) | 2005-10-19 | 2012-11-28 | 汤姆森特许公司 | 使用可缩放的视频编码的多视图视频编码 |
KR101245251B1 (ko) * | 2006-03-09 | 2013-03-19 | 삼성전자주식회사 | 균일한 화질을 제공하는 다시점 영상 부호화 및 복호화방법 및 장치 |
US8044994B2 (en) * | 2006-04-04 | 2011-10-25 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for decoding and displaying 3D light fields |
US7912296B1 (en) | 2006-05-02 | 2011-03-22 | Google Inc. | Coverage mask generation for large images |
US7965902B1 (en) | 2006-05-19 | 2011-06-21 | Google Inc. | Large-scale image processing using mass parallelization techniques |
US8762493B1 (en) * | 2006-06-22 | 2014-06-24 | Google Inc. | Hierarchical spatial data structure and 3D index data versioning for generating packet data |
KR101366092B1 (ko) | 2006-10-13 | 2014-02-21 | 삼성전자주식회사 | 다시점 영상의 부호화, 복호화 방법 및 장치 |
FR2907575B1 (fr) * | 2006-10-18 | 2009-02-13 | Canon Res Ct France Soc Par Ac | Procede et dispositif de codage d'images representant des vues d'une meme scene |
EP2080378B1 (en) * | 2006-10-20 | 2012-08-15 | Nokia Corporation | Virtual decoded reference picture marking and reference picture list |
KR100919885B1 (ko) * | 2006-10-25 | 2009-09-30 | 한국전자통신연구원 | 다시점 비디오의 스케일러블 코딩 및 디코딩 방법과, 코딩및 디코딩 장치 |
US8081680B2 (en) * | 2006-11-28 | 2011-12-20 | Microsoft Corporation | Selective inter-layer prediction in layered video coding |
KR100905723B1 (ko) * | 2006-12-08 | 2009-07-01 | 한국전자통신연구원 | 비실시간 기반의 디지털 실감방송 송수신 시스템 및 그방법 |
EP2092748A4 (en) * | 2006-12-14 | 2011-01-05 | Thomson Licensing | METHOD AND DEVICE FOR CODING AND / OR DECODING VIDEO DATA USING EXPANSION LAYER RESTRICTION FOR SOFTENCE SCALINGABILITY |
KR100922275B1 (ko) * | 2006-12-15 | 2009-10-15 | 경희대학교 산학협력단 | 경계 필터링 강도의 결정 방법 및 이를 이용한 디블록킹필터링 방법과 장치 |
KR100968204B1 (ko) * | 2007-01-11 | 2010-07-06 | 전자부품연구원 | 다시점 비디오 코덱에서의 영상 예측 방법 및 이를 위한프로그램을 기록한 컴퓨터로 판독 가능한 기록매체 |
EP1994721A4 (en) | 2007-01-12 | 2013-09-25 | Univ Kyung Hee Univ Ind Coop Group | PACKET FORMAT OF A NETWORK ABSTRACTION LAYER UNIT, ALGORITHM AND VIDEO ENCODING AND DECODING APPARATUS USING THE SAME, QOS CONTROL ALGORITHM AND IPV6 LABEL SWITCHING APPARATUS USING THE FORMAT |
US8155461B2 (en) * | 2007-03-27 | 2012-04-10 | Samsung Electronics Co., Ltd. | Methods and apparatuses for encoding and decoding multi-view image |
JP4861881B2 (ja) * | 2007-03-30 | 2012-01-25 | タカタ株式会社 | シートベルト巻取装置、シートベルト装置及びシートベルト巻取方法 |
KR101418627B1 (ko) * | 2007-04-04 | 2014-07-15 | 톰슨 라이센싱 | 참조 화상 리스트 관리 |
US8548261B2 (en) * | 2007-04-11 | 2013-10-01 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding multi-view image |
KR101301181B1 (ko) * | 2007-04-11 | 2013-08-29 | 삼성전자주식회사 | 다시점 영상의 부호화, 복호화 방법 및 장치 |
US20140072058A1 (en) | 2010-03-05 | 2014-03-13 | Thomson Licensing | Coding systems |
PL2528341T3 (pl) * | 2007-04-18 | 2017-10-31 | Dolby Int Ab | System kodowania, stosujący uzupełniający zestaw parametrów sekwencyjnych do skalowalnego kodowania wideo lub kodowania wielowidokowego |
EP2143278B1 (en) * | 2007-04-25 | 2017-03-22 | Thomson Licensing | Inter-view prediction with downsampled reference pictures |
US8953684B2 (en) * | 2007-05-16 | 2015-02-10 | Microsoft Corporation | Multiview coding with geometry-based disparity prediction |
JP4609457B2 (ja) * | 2007-06-14 | 2011-01-12 | ソニー株式会社 | 画像処理装置、及び、画像処理方法 |
EP2174502A2 (en) * | 2007-06-26 | 2010-04-14 | Nokia Corporation | System and method for indicating temporal layer switching points |
KR101395659B1 (ko) * | 2007-06-28 | 2014-05-19 | 톰슨 라이센싱 | 다시점 코딩된 영상의 단일 루프 디코딩 |
US20090060043A1 (en) * | 2007-08-29 | 2009-03-05 | Geert Nuyttens | Multiviewer based on merging of output streams of spatio scalable codecs in a compressed domain |
JP5144237B2 (ja) * | 2007-12-05 | 2013-02-13 | キヤノン株式会社 | 画像処理装置、その制御方法、プログラム |
WO2009130561A1 (en) * | 2008-04-21 | 2009-10-29 | Nokia Corporation | Method and device for video coding and decoding |
US8135238B2 (en) * | 2008-06-05 | 2012-03-13 | Kia Sha Managment Liability Company | Free view generation in ray-space |
CN101321302B (zh) * | 2008-07-08 | 2010-06-09 | 浙江大学 | 基于摄像机阵列的三维实时获取*** |
US9538176B2 (en) * | 2008-08-08 | 2017-01-03 | Dolby Laboratories Licensing Corporation | Pre-processing for bitdepth and color format scalable video coding |
KR101012760B1 (ko) * | 2008-09-05 | 2011-02-08 | 에스케이 텔레콤주식회사 | 다시점 비디오의 송수신 시스템 및 방법 |
US20100135395A1 (en) * | 2008-12-03 | 2010-06-03 | Marc Paul Servais | Efficient spatio-temporal video up-scaling |
CN101600099B (zh) * | 2009-04-09 | 2010-12-01 | 上海交通大学 | 多视角视频码流的实时传输同步控制方法 |
EP2425631B1 (en) * | 2009-04-27 | 2015-05-20 | LG Electronics Inc. | Broadcast receiver and 3d video data processing method thereof |
CN102461183B (zh) * | 2009-06-16 | 2015-08-19 | Lg电子株式会社 | 广播发射机、广播接收机及其3d视频处理方法 |
US9774882B2 (en) | 2009-07-04 | 2017-09-26 | Dolby Laboratories Licensing Corporation | Encoding and decoding architectures for format compatible 3D video delivery |
KR101144752B1 (ko) * | 2009-08-05 | 2012-05-09 | 경희대학교 산학협력단 | 비디오 인코딩/디코딩 방법 및 그 장치 |
US20110080948A1 (en) * | 2009-10-05 | 2011-04-07 | Xuemin Chen | Method and system for 3d video decoding using a tier system framework |
US8854531B2 (en) | 2009-12-31 | 2014-10-07 | Broadcom Corporation | Multiple remote controllers that each simultaneously controls a different visual presentation of a 2D/3D display |
US8964013B2 (en) | 2009-12-31 | 2015-02-24 | Broadcom Corporation | Display with elastic light manipulator |
US9247286B2 (en) | 2009-12-31 | 2016-01-26 | Broadcom Corporation | Frame formatting supporting mixed two and three dimensional video data communication |
US8823782B2 (en) | 2009-12-31 | 2014-09-02 | Broadcom Corporation | Remote control with integrated position, viewer identification and optical and audio test |
US20110182354A1 (en) * | 2010-01-26 | 2011-07-28 | Wonkap Jang | Low Complexity, High Frame Rate Video Encoder |
US20120075436A1 (en) * | 2010-09-24 | 2012-03-29 | Qualcomm Incorporated | Coding stereo video data |
US20130222539A1 (en) * | 2010-10-08 | 2013-08-29 | Dolby Laboratories Licensing Corporation | Scalable frame compatible multiview encoding and decoding methods |
US8520080B2 (en) | 2011-01-31 | 2013-08-27 | Hand Held Products, Inc. | Apparatus, system, and method of use of imaging assembly on mobile terminal |
US20120229595A1 (en) * | 2011-03-11 | 2012-09-13 | Miller Michael L | Synthesized spatial panoramic multi-view imaging |
KR20120118781A (ko) * | 2011-04-19 | 2012-10-29 | 삼성전자주식회사 | 다시점 비디오를 위한 단일화된 스케일러블 비디오 부호화 방법 및 그 장치, 다시점 비디오를 위한 단일화된 스케일러블 비디오 복호화 방법 및 그 장치 |
KR20120118779A (ko) * | 2011-04-19 | 2012-10-29 | 삼성전자주식회사 | 전처리 필터링을 수반한 계층 간 예측을 수행하는 비디오 부호화 방법 및 그 장치, 후처리 필터링을 수반한 계층 간 예측을 수행하는 비디오 복호화 방법 및 그 장치 |
WO2013049412A2 (en) | 2011-09-29 | 2013-04-04 | Dolby Laboratories Licensing Corporation | Reduced complexity motion compensated temporal processing |
US9131217B2 (en) * | 2011-12-09 | 2015-09-08 | Qualcomm Incorporated | Reference picture list modification for view synthesis reference pictures |
US20140098880A1 (en) * | 2012-10-05 | 2014-04-10 | Qualcomm Incorporated | Prediction mode information upsampling for scalable video coding |
US8976859B2 (en) * | 2012-12-07 | 2015-03-10 | Xerox Corporation | Processing a video for spatial and temporal magnification with minimized image degradation |
US10728565B2 (en) | 2013-04-05 | 2020-07-28 | Samsung Electronics Co., Ltd. | Video encoding method and apparatus thereof and a video decoding method and apparatus thereof |
JP6463900B2 (ja) | 2014-04-17 | 2019-02-06 | キヤノン株式会社 | 画像符号化装置及びその制御方法 |
JP6546658B2 (ja) * | 2015-07-16 | 2019-07-17 | 日本電信電話株式会社 | 衛星信号受信装置、衛星信号受信方法及びプログラム |
CN106851399B (zh) * | 2015-12-03 | 2021-01-22 | 阿里巴巴(中国)有限公司 | 视频分辨率提升方法及装置 |
US10341672B2 (en) | 2017-02-03 | 2019-07-02 | Korea Advanced Institute Of Science And Technology | Method and system for media synchronization |
CN114503573A (zh) * | 2019-03-20 | 2022-05-13 | 威诺瓦国际有限公司 | 低复杂性增强视频编码 |
CN113906746A (zh) * | 2019-06-12 | 2022-01-07 | 索尼集团公司 | 图像处理装置和方法 |
US20220385888A1 (en) * | 2019-09-20 | 2022-12-01 | Electronics And Telecommunications Research Institute | Image encoding/decoding method and device, and recording medium storing bitstream |
CN114710661A (zh) * | 2019-09-20 | 2022-07-05 | 杭州海康威视数字技术股份有限公司 | 一种解码、编码方法、装置及其设备 |
CN112106362A (zh) * | 2019-09-30 | 2020-12-18 | 深圳市大疆创新科技有限公司 | 可移动平台的图像处理方法、装置、可移动平台及介质 |
US20220400287A1 (en) * | 2019-11-15 | 2022-12-15 | Hfi Innovation Inc. | Method and Apparatus for Signaling Horizontal Wraparound Motion Compensation in VR360 Video Coding |
WO2021100863A1 (en) * | 2019-11-22 | 2021-05-27 | Sharp Kabushiki Kaisha | Systems and methods for signaling tiles and slices in video coding |
JP2023524000A (ja) * | 2020-05-19 | 2023-06-08 | グーグル エルエルシー | 品質正規化ビデオコード変換のための動的パラメータ選択 |
CN113259662B (zh) * | 2021-04-16 | 2022-07-05 | 西安邮电大学 | 基于三维小波视频编码的码率控制方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5619256A (en) * | 1995-05-26 | 1997-04-08 | Lucent Technologies Inc. | Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions |
US6057884A (en) * | 1997-06-05 | 2000-05-02 | General Instrument Corporation | Temporal and spatial scaleable coding for video object planes |
US6072831A (en) * | 1996-07-03 | 2000-06-06 | General Instrument Corporation | Rate control for stereoscopic digital video encoding |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6639943B1 (en) * | 1999-11-23 | 2003-10-28 | Koninklijke Philips Electronics N.V. | Hybrid temporal-SNR fine granular scalability video coding |
US6614936B1 (en) * | 1999-12-03 | 2003-09-02 | Microsoft Corporation | System and method for robust video coding using progressive fine-granularity scalable (PFGS) coding |
KR20020026177A (ko) * | 2000-04-11 | 2002-04-06 | 요트.게.아. 롤페즈 | 비디오 엔코딩 및 디코딩 방법 |
WO2002035849A1 (en) * | 2000-10-24 | 2002-05-02 | Eyeball Networks Inc. | Three-dimensional wavelet-based scalable video compression |
US6944225B2 (en) * | 2001-07-24 | 2005-09-13 | Sharp Laboratories Of America, Inc. | Resolution-scalable video compression |
US6925120B2 (en) * | 2001-09-24 | 2005-08-02 | Mitsubishi Electric Research Labs, Inc. | Transcoder for scalable multi-layer constant quality video bitstreams |
KR100481732B1 (ko) * | 2002-04-20 | 2005-04-11 | 전자부품연구원 | 다 시점 동영상 부호화 장치 |
KR20030088541A (ko) * | 2002-05-11 | 2003-11-20 | 주식회사 케이씨이천일 | 신용카드 맞춤정보 제공방법 및 이를 실행하기 위한프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체 |
US7321625B2 (en) * | 2002-12-13 | 2008-01-22 | Ntt Docomo, Inc. | Wavelet based multiresolution video representation with spatially scalable motion vectors |
JP2006521039A (ja) | 2003-02-25 | 2006-09-14 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | オーバコンプリートウェーブレット展開での動き補償時間フィルタリングを使用した3次元ウェーブレットビデオ符号化 |
US7653133B2 (en) * | 2003-06-10 | 2010-01-26 | Rensselaer Polytechnic Institute (Rpi) | Overlapped block motion compression for variable size blocks in the context of MCTF scalable video coders |
WO2005011285A1 (ja) * | 2003-07-24 | 2005-02-03 | Nippon Telegraph And Telephone Corporation | 画像符号化装置,画像復号装置,画像符号化方法,画像復号方法,画像符号化プログラム,画像復号プログラム,画像符号化プログラムを記録した記録媒体,画像復号プログラムを記録した記録媒体 |
KR20050022160A (ko) * | 2003-08-26 | 2005-03-07 | 삼성전자주식회사 | 스케일러블 비디오 코딩 및 디코딩 방법, 및 스케일러블비디오 엔코더 및 디코더 |
KR100987775B1 (ko) * | 2004-01-20 | 2010-10-13 | 삼성전자주식회사 | 영상의 3차원 부호화 방법 |
US20050201468A1 (en) * | 2004-03-11 | 2005-09-15 | National Chiao Tung University | Method and apparatus for interframe wavelet video coding |
US8442108B2 (en) * | 2004-07-12 | 2013-05-14 | Microsoft Corporation | Adaptive updates in motion-compensated temporal filtering |
US7468745B2 (en) * | 2004-12-17 | 2008-12-23 | Mitsubishi Electric Research Laboratories, Inc. | Multiview video decomposition and encoding |
-
2006
- 2006-03-21 KR KR20060025680A patent/KR100732961B1/ko active IP Right Grant
- 2006-03-30 US US11/392,817 patent/US8040952B2/en active Active
- 2006-03-31 CN CN2006800012708A patent/CN101069430B/zh not_active Expired - Fee Related
- 2006-03-31 AU AU2006229490A patent/AU2006229490B2/en not_active Ceased
- 2006-03-31 CA CA2588639A patent/CA2588639C/en not_active Expired - Fee Related
- 2006-03-31 EP EP06732683.5A patent/EP1864498B1/en active Active
- 2006-03-31 WO PCT/KR2006/001080 patent/WO2006104326A1/en active Application Filing
- 2006-03-31 JP JP2007542933A patent/JP4611386B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5619256A (en) * | 1995-05-26 | 1997-04-08 | Lucent Technologies Inc. | Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions |
US6072831A (en) * | 1996-07-03 | 2000-06-06 | General Instrument Corporation | Rate control for stereoscopic digital video encoding |
US6057884A (en) * | 1997-06-05 | 2000-05-02 | General Instrument Corporation | Temporal and spatial scaleable coding for video object planes |
Also Published As
Publication number | Publication date |
---|---|
KR100732961B1 (ko) | 2007-06-27 |
US20060222079A1 (en) | 2006-10-05 |
CN101069430A (zh) | 2007-11-07 |
EP1864498A4 (en) | 2012-09-05 |
CA2588639C (en) | 2012-08-14 |
KR20060105449A (ko) | 2006-10-11 |
AU2006229490A1 (en) | 2006-10-05 |
US8040952B2 (en) | 2011-10-18 |
CA2588639A1 (en) | 2006-10-05 |
JP4611386B2 (ja) | 2011-01-12 |
EP1864498A1 (en) | 2007-12-12 |
AU2006229490B2 (en) | 2009-06-04 |
EP1864498B1 (en) | 2019-05-01 |
WO2006104326A1 (en) | 2006-10-05 |
JP2008521337A (ja) | 2008-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101069430B (zh) | 分级多视角图像编码和解码装置及方法 | |
CA2557294C (en) | Method and apparatus for video coding, predecoding, and video decoding for video streaming service, and image filtering method | |
CN104335585B (zh) | 图像解码方法和使用其的装置 | |
US20050166245A1 (en) | Method and device for transmitting scalable video bitstream | |
JP2004502358A (ja) | ビデオ系列の圧縮のための符号化方法 | |
KR20080037593A (ko) | 다시점 비디오의 스케일러블 코딩 및 디코딩 방법과, 코딩및 디코딩 장치 | |
JP2004524730A (ja) | ビデオのスケーラブル圧縮方法および装置 | |
MX2013003871A (es) | Metodo y aparato para escalabilidad espacial para hevc. | |
CN101820541A (zh) | 使用基础层的可伸缩性视频编码方法和设备 | |
MX2013003868A (es) | Metodo y aparatoo para codificacion de video basado en las caracteristicas. | |
EP2150058A1 (en) | Encoding and decoding methods and apparatus, signal and computer program products therefor | |
CN104620585A (zh) | 图像解码方法和使用其的装置 | |
CN101584220B (zh) | 对视频信号进行编码的方法和***、编码的视频信号、对视频信号进行解码的方法和*** | |
WO2006006764A1 (en) | Video decoding method using smoothing filter and video decoder therefor | |
US8611414B2 (en) | Video signal processing and encoding | |
CN101494778B (zh) | 一种多视点可伸缩编码框架 | |
Tsai et al. | Motion information scalability for MC-EZBC | |
CN100466735C (zh) | 视频编码和解码方法以及视频编码器和解码器 | |
KR100791453B1 (ko) | 움직임보상 시간축 필터링을 이용한 다시점 비디오 부호화및 복호화 방법 및 장치 | |
KR100880639B1 (ko) | 영상신호의 엔코딩과 그 전송, 그리고 디코딩을 위한 방법및 장치 | |
JP4385928B2 (ja) | スケーラブル動画像符号化・復号化方法及びシステム | |
Lopez et al. | Fully scalable video coding with packed stream | |
Danyali et al. | A fully SNR, spatial and temporal scalable 3DSPIHT-based video coding algorithm for video streaming over heterogeneous networks | |
Sablatash et al. | The coding of image sequences by wavelets, wavelet packets and other subband coding schemes | |
Su et al. | A Simplified and Fast Fully Scalable Video Coding Scheme with Hierarchical-B-Picture-Like and DWT |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100526 Termination date: 20210331 |
|
CF01 | Termination of patent right due to non-payment of annual fee |