CN103370934A - 多视点视频编码/解码装置和方法 - Google Patents

多视点视频编码/解码装置和方法 Download PDF

Info

Publication number
CN103370934A
CN103370934A CN2011800675567A CN201180067556A CN103370934A CN 103370934 A CN103370934 A CN 103370934A CN 2011800675567 A CN2011800675567 A CN 2011800675567A CN 201180067556 A CN201180067556 A CN 201180067556A CN 103370934 A CN103370934 A CN 103370934A
Authority
CN
China
Prior art keywords
current block
frame
skip mode
viewpoint
difference vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800675567A
Other languages
English (en)
Inventor
李振荣
朴斗植
魏浩千
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103370934A publication Critical patent/CN103370934A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

公开多视点视频编码/解码装置及方法。多视点视频编码装置将包含于需要编码的第一视点的帧的当前块按照利用第一视点的帧的第一跳过模式或利用第二视点的帧的第二跳过模式进行编码，由此能够提高编码效率。

Description

多视点视频编码/解码装置和方法
技术领域
本发明的一实施例涉及多视点编码/解码装置及方法，涉及根据使用相同视点的帧的跳过模式或者使用其他视点的帧的跳过模式对输入图像进行编码/解码的装置及其方法。
背景技术
立体图像是指同时提供深度和空间的信息的三维图像。不同于给左右眼分别提供不同的视点的图像的立体像，立体图像根据观察者的视点分别提供不同的图像。于是，立体图像由从观察者的视点拍摄的多个图像构成。
在多个视点拍摄的图像具有很大的数据量。在网络基础设施、地面波带宽方面，无法实现对所述在多个视点拍摄的图像以诸如MPEG-2、H.264/AVC、HEVC的单视点视频编码方式进行编码。
因此，需要按照多视点视频编码方式对从多个视点拍摄的图像进行编码。但是，由于网络基础设施和带宽仍有限，因此要求将多视点视频压缩方式改善成更加有效率。
发明内容
根据本发明一实施例的多视点视频编码装置可包括：编码模式确定单元，确定是否将包含于第一视点的帧的当前块按照利用第二视点的帧的跳过模式进行编码；比特流生成单元，当按照跳过模式编码所述当前块时，对表示所述跳过模式的索引进行编码，以生成比特流。
根据本发明另一实施例的多视点视频编码单元可包括：编码模式确定单元，确定按照利用第一视点的帧的第一跳过模式还是按照利用第二视点的帧的第二跳过模式对包含于第一视点的帧的当前块进行编码；比特流生成单元，编码针对所述当前块所确定的跳过模式的索引，以生成比特流。
根据本发明一实施例的多视点视频解码装置可包括：索引解码单元，对于表示包含于第一视点的帧的当前块的跳过模式的经编码的索引进行解码；块恢复单元，根据所述当前块的跳过模式在第二视点的帧提取当前块的预测块，以恢复当前块。
根据本发明另一实施例的多视点视频解码装置可包括：索引解码单元，对于表示包含于第一视点的帧的当前块是按照第一跳过模式还是按照第二跳过模式编码的经编码的索引进行解码；块恢复单元，基于根据解码的所述索引所确定的当前块的跳过模式恢复当前块，所述第一跳过模式可在第一视点的帧中确定当前块的预测块，所述第二跳过模式可在第二视点的帧确定当前块的预测块。
根据本发明一实施例的多视点视频编码方法可包括如下步骤：确定是否将包含于第一视点的帧的当前块按照利用第二视点的帧的跳过模式进行编码；当按照跳过模式编码所述当前块时，对表示所述跳过模式的索引进行编码，以生成比特流。
根据本发明另一实施例的多视点视频编码方法可包括如下步骤：确定按照利用第一视点的帧的第一跳过模式还是按照利用第二视点的帧的第二跳过模式对包含于第一视点的帧的当前块进行编码；编码针对所述当前块所确定的跳过模式的索引，以生成比特流。
根据本发明一实施例的多视点视频解码方法可包括如下步骤：对于表示包含于第一视点的帧的当前块的跳过模式的经编码的索引进行解码；根据所述当前块的跳过模式在第二视点的帧提取当前块的预测块，以恢复当前块。
根据本发明另一实施例的多视点视频解码方法可包括如下步骤：对于表示包含于第一视点的帧的当前块是按照第一跳过模式还是按照第二跳过模式编码的经编码的索引进行解码；基于根据解码的所述索引所确定的当前块的跳过模式恢复当前块，所述第一跳过模式可在第一视点的帧中确定当前块的预测块，所述第二跳过模式可在第二视点的帧中确定当前块的预测块。
技术效果
根据本发明一实施例，不仅可以根据基于相同视点的帧的跳过模式编码当前块，还可以根据基于其他视点的帧跳过模式编码当前帧，从而可以扩展跳过模式而提高编码效率。
附图说明
图1为用于说明根据本发明一实施例的多视点视频编码装置和多视点视频编码装置的操作的图。
图2为示出根据本发明一实施例的多视点视频编码装置的详细构成的框图。
图3为示出根据本发明一实施例的多视点视频解码装置的详细构成的框图。
图4为示出根据本发明一实施例的多视点视频的结构的图。
图5为举例示出根据本发明一实施例的用于对当前块进行编码的帧的图。
图6为用于说明根据本发明一实施例对当前块进行编码时的跳过模式的图。
图7为示出根据本发明第一实施例的多视点视频编码方法的流程图。
图8为示出根据本发明第二实施例的多视点视频编码方法的流程图。
图9为示出根据本发明第一实施例的多视点视频解码方法的流程图。
图10为示出根据本发明第二实施例的多视点视频解码方法的流程图。
具体实施方式
以下，参照附图详细说明本发明的实施例。
图1为用于说明根据本发明一实施例的多视点视频编码装置和多视点视频编码装置的操作的图。
多视点视频编码装置101可考虑在多个视点拍摄的图像之间的冗余而有效地编码图像。具体而言，多视点视频编码装置101可根据多视点视频编码方式进行编码。此时，多视点视频编码方式可以按各种编码模式对图像进行编码。在多种模式之中，跳过模式不会对构成图像的块进行编码而向多视点视频解码装置102仅传送1比特的表示跳过模式的索引，因此编码效率高。于是，在对图像进行编码时，编码模式为跳过模式的当前块越多，则越提高编码效率。直接模式虽然根据是否编码针对相关块的残留信号而有别于通常跳过模式，但本发明中的跳过模式将包括直接模式而进行说明。
为此，多视点视频编码装置101可将跳过模式区分为第一跳过模式或第二跳过模式。此时，第一跳过模式为利用虽然视点与所要编码的当前块的帧相同但时间却不同的其他帧对当前块进行编码的方式。而且，第二跳过模式为利用虽然视点与所要编码的当前块的帧不同但时间却相同的帧对当前块进行编码的方式。在此，第一跳过模式可以被定义为帧间跳过模式(Inter SkipMode)，第二跳过模式可以被定义为视点间跳过模式(Inter View Skip Mode)。本发明的各实施例并不局限于上述例示的定义，包括执行相同的操作的所有跳过模式。而且，本发明的实施例中提及的帧可指参考图像。
于是，根据本发明一实施例，不仅考虑相同视点的帧，还考虑其他视点的帧，据此更多的当前块可按照跳过模式进行编码。
根据本发明一实施例的多视点视频编码装置101可利用第二跳过模式对当前块进行编码。或者，根据本发明的另一实施例的多视点视频编码装置101在确定按照第一跳过模式或第二跳过模式中的哪一跳过模式对当前块进行编码更加有效率之后，将所确定的跳过模式发送给多视点视频解码装置102。如此，多视点视频解码装置102可根据所接收到的跳过模式对当前块进行解码。
图2为示出根据本发明一实施例的多视点视频编码装置的详细构成的框图。
参照图2，多视点视频编码装置101可包括编码模式确定单元201、比特流生成单元202。以下，对于根据两种实施例的多视点视频编码装置101进行说明。尤其，多视点视频编码装置101可以按照帧间2N×2N、帧间2N×N、帧间N×2N、帧间N×N、帧内2N×2N、帧内N×N等帧间模式或帧内模式对当前块进行编码，但以下以按照跳过模式对当前块进行编码为主进行说明。当前已被定义的编码模式并不局限于此，可添加其他方式的编码模式。
<第一实施例>
编码模式确定单元202可确定是否按照利用第二视点的帧的跳过模式对包含于第一视点的帧的当前块进行编码。即，多视点视频编码装置101可确定是否根据视点间跳过模式对当前块进行编码。否则，编码模式确定单元201可按照利用当前块的残差信号的帧间模式或帧内模式对包含于第一视点的帧的当前块进行编码。
作为一例，若当前块按照跳过模式被编码，则多视点解码装置102可利用参考第二视点的帧的周边块的视差矢量（disparity vector），来确定当前块的预测视差矢量（prediction disparity vector），其中，所述参考第二视点的帧的周边块为包括在第一视点的帧中且与当前块相邻的周边块。此时，可通过将中值滤波器应用于至少一个周边块中的每一个的视差矢量而导出预测视差矢量。如此，多视点解码装置102可利用预测视差矢量从第二视点的帧提取预测块，并利用预测块补偿当前块而恢复当前块。
作为另一例，若当前块按照跳过模式被编码，则多视点视频解码装置102可利用在第一视点的帧中的与不同于包含当前块的帧的时间的时间对应的帧中的目标块的视差矢量，来确定当前块的预测视差矢量，其中，所述目标块在所述对应的帧中的位置与当前块的位置相同。于是，多视点视频解码装置102可利用预测视差矢量在第一视点的帧中提取当前块的预测块，并利用预测块补偿当前块而恢复当前块。
作为又一例，若当前块按照跳过模式被编码，则多视点视频解码装置102可利用在第一视点的帧中的与不同于包含当前块的帧的时间的时间对应的帧中的目标块的视差矢量，来确定当前块的预测视差矢量，其中，所述目标块在所述对应的帧中的位置与相邻于当前块的周边块的位置相同。于是，多视点视频解码装置102可利用预测视差矢量在第一视点的帧中提取当前块的预测块，并利用预测块补偿当前块而恢复当前块。
如果按照利用第二视点的帧的跳过模式对包含于第一视点的帧的当前块进行编码，则比特流生成单元202可对表示跳过模式的索引进行编码而生成比特流。例如，若按照跳过模式进行编码则索引可以被设定为1，若不按照跳过模式进行编码则索引可以被设定为0，因此实际对索引进行编码时仅需要1比特。
而且，与帧间模式和帧内模式不同，由于跳过模式不会发送当前块与当前块的预测块之间的残差信号，因此比特流中可仅包括与跳过模式相关的索引。
而且，相邻于当前块的周边块可包括相邻于当前块的左侧的块、相邻于当前块的上侧的块、相邻于当前块的左侧上端的块中的至少一个。
<第二实施例>
与第一实施例不同，编码模式确定单元201可确定按照利用第一视点的帧的第一跳过模式还是利用第二视点的帧的第二跳过模式，对包含于第一视点的帧的当前块进行编码。作为一例，编码模式确定单元201可以将具有按照第一跳过模式和第二跳过模式执行编码的结果的代价函数中的小的代价函数的跳过模式确定为用于对当前块进行编码的编码模式。
在此，第一跳过模式表示如下的编码模式，即，利用在相邻于当前块的周边块中的参照表现出与包含当前块的帧不同的时间的第一视点的帧的周边块的运动矢量来确定当前块的预测运动矢量，并利用预测运动矢量恢复当前块。第二跳过模式已在第一实施例中详细说明，因此在此进行省略。
于是，比特流产生单元202可对表示针对当前块所确定的跳过模式的索引进行编码而生成比特流。
图3为示出根据本发明一实施例的多视点视频解码装置的详细构成的框图。
参照图3，多视点视频解码装置101可包括索引解码单元301、块恢复单元302。以下，对于基于两种实施例的多视点视频解码装置102进行说明。
<第一实施例>
索引解码单元301可对表示包含于第一视点的帧的当前块的跳过模式的经编码的索引进行解码。此时，经编码的索引通过由多视点视频编码装置101生成的比特流传送之后，可通过解复用过程而从比特流中导出。
块恢复单元302可按照当前块的跳过模式从第二视点的帧中提取当前块的预测块而恢复当前块。作为一例，块恢复单元302可利用相邻于当前块的周边块中的参照第二视点的帧的周边块的视差矢量，来确定当前块的预测视差矢量。而且，块恢复单元302可利用预测视差矢量在第二视点的帧确定当前块的预测块。于是，块恢复单元302可利用预测块对当前块进行补偿而恢复当前块。
作为另一例，块恢复单元302可利用在第一视点的帧中的与不同于包含当前块的帧时间的时间对应的帧中的目标块的视差矢量，来确定当前块的预测视差矢量，其中，所述目标块在所述对应的帧中的位置与当前块的位置相同。而且，块恢复单元302可利用预测视差矢量从第二视点的帧中确定当前块的预测块。
<第二实施例>
不同于第一实施例，索引解码单元301可对表示包含于第一视点的帧的当前块是按照第一跳过模式还是第二跳过模式编码的经编码的索引进行解码。在此，第一跳过模式为在第一视点的帧中确定当前块的预测块的编码模式，其中，第一视点为与包含当前块的帧相同的视点。而且，第二跳过模式为在第二视点的帧中确定当前块的预测块的编码模式，其中，第二视点为不同于包含当前块的帧的视点。
作为一例，若当前块按照第一跳过模式被编码，则块恢复单元302可利用相邻于当前块的周边块中的参照表现出与包含当前块的帧不同的时间的第一视点的帧的周边块的运动矢量，来确定所述当前块的预测运动矢量。于是，块恢复单元302可利用预测运动矢量在第一视点的帧中确定当前块的预测块，并利用预测块补偿当前块而恢复当前块。
作为另一例，若当前块按照第二跳过模式被编码，则块恢复单元302可利用相邻于当前块的周边块中参照第二视点的帧的周边块的视差矢量，来确定当前块的预测视差矢量。于是，块恢复单元302可利用预测视差矢量确定当前块的预测块，并利用预测块补偿当前块而恢复当前块。
作为又一例，若当前块按照第二跳过模式被编码，则块恢复单元302可在第一视点的帧中表现出与包含当前块的帧不同时间的第一视点的帧中的目标块的视差矢量来确定当前块的预测视差矢量，其中，所述目标块在所述与包含当前块的帧不同时间的第一视点的帧的位置与当前块的位置相同。于是，块恢复单元302可利用预测视差矢量确定当前块的预测块，并利用预测块补偿当前块而恢复当前块。
图4为示出根据本发明一实施例的多视点视频的结构的图。
参照图4，表示当接收到三个视点（左、中、右）的图像时，利用图像组(Group of Picture，GOP)“8”进行编码的多视点视频编码方式。为了对多视点图像进行编码，基本上以时间轴和视点轴采用分层的B图像(Hierarchical BPicture)，因此可减少图像之间的冗余(Redundancy)。
图1所示的多视点视频的结构在对三个视点的图像进行编码时，可首先对左侧图像进行编码之后，依次对右侧图像和中央图像进行编码。此时，左侧图像可按照通过运动矢量从之前的图像中搜索出类似的区域而去除时间冗余的方式被编码。而且，右侧图像由于将已经被编码的左侧图像作为参考图像而进行编码，因此可按照基于运动估计的时间冗余和基于视察估计(Disparity Estimation)的视点间冗余(View Redundancy)被去除的方式进行编码。
由于中央图像将已经被编码的左侧图像和右侧图像均作为参考图像而进行编码，因此可按照双向的视差估计去除视点间冗余。
参照图1，在多视点视频编码方式中，如左侧图像那样不利用其他视点的参考图像而进行编码的图像被定义为I-视点图（View），如右侧图像那样单方向预测其他视点的参考图像而进行编码的图像被定义为P-视点图（View），如中央图像那样双向预测左右视点的参考图像而进行编码的图像被定义为B-视点图（View）。
图5为示出根据本发明一实施例的用于对当前块进行编码的帧的例的图。
通常，多视点视频编码方式，从相邻于包含当前块的当前图像501的周边图像中搜索出与当前块最为类似的预测块之后，将当前块和预测块之间的残差值(residue)进行编码。但是，几种编码模式中，跳过模式(Skip Mode)不会将当前块的编码信息发送给多视点视频解码装置102，因此编码效率高。此时，根据本发明一实施例的跳过模式可被区分为对于当前帧501利用属于相同视点但具有不同时间的帧1502和帧2503的第一跳过模式和属于不同视点但具有相同时间的帧3504和帧4504的第二跳过模式。
根据本发明一实施例的多视点视频编码装置101可按照第一跳过模式对当前块进行编码。或者，多视点视频编码装置101可按照第二跳过模式对当前块进行编码。而且，多视点视频编码装置101可按照第一跳过模式和第二跳过模式中的编码性能优良的跳过模式对当前模块进行编码。此时，多视点视频编码装置101可对于按照第一跳过模式和第二跳过模式执行编码的结果计算代价函数，据此判断编码性能。此时，代价函数可按照数学式1计算为率-失真。
【数学式1】
RD Cost=SSD（s，r）+λ*R（s，r，mode）
在此，差的平方和(Sum of Square Difference，SSD)为对当前块S和预测块r的差值执行平方后的值，λ为拉格朗日系数。R为当按照第一跳过模式或第二跳过模式进行编码时所需的比特数。
若当前块按照第一跳过模式被编码，则多视点视频解码装置102可基于相邻于当前块的周边块中使用相同视点的帧的周边块的运动矢量(MotionVector，MV)来确定当前块的预测运动矢量(Prediction Motion Vector，PMV)。此时，多视点视频解码装置102可在周边块的运动矢量中使用中值滤波器来确定预测运动矢量。然后，多视点视频解码装置102为了基于预测运动矢量而恢复当前块，可在与包含当前块的帧视点相同的帧中确定当前块的预测块。
若当前块按照第二跳过模式被编码，则多视点视频解码装置102可基于相邻于当前块的周边块中使用其他视点的帧的周边块的视差矢量(DisparityVector，DV)来确定当前块的预测视差矢量(Prediction Disparity Vector，PDV)。此时，多视点视频解码装置102可将中值滤波器应用于相邻块的视差矢量来提取预测视差矢量。而且，多视点视频编码装置101为了基于预测视差矢量来恢复当前块，可在与包括当前块的帧视点不同的帧中确定当前块的预测块。
于是，多视点视频解码装置101可基于按照第一跳过模式导出的预测块或者按照第二跳过模式导出的预测块恢复当前块。
图6为用于说明根据本发明一实施例对当前块进行编码时的跳过模式的图。
为了对包含于帧601的当前块进行编码，两种的跳过模式均可以被采用。第一种为在与帧601视点相同的帧603中提取预测块而补偿当前块的第一跳过模式。第二种为在与帧601视点不同的帧602中提取预测块而补偿当前块的第二跳过模式。
此时，第一跳过模式为，在当前块的周边块b1～b5的运动矢量中采用中值滤波器生成预测运动矢量，并利用预测运动矢量在帧603中确定预测块的方式。
而且，第二跳过模式为，在相邻于当前块的周边块b1～b5的视差矢量中采用中值滤波器生成预测视差矢量，并利用预测视差矢量在帧602中确定预测块的方式。而且，第二跳过模式为，利用与当前块处于相同位置的帧603的目标块的视差矢量生成预测视差矢量，并利用预测视差矢量在帧602中确定预测块的方式。或者，第二跳过模式为，在与当前块处于相同位置的帧603的目标块相邻的周边块的视差矢量中采用中值滤波器来生成预测视差矢量，并利用预测视差矢量在帧602中确定预测块的方式。
前面对于第二跳过模式举出三种例子，通过这些例子导出的预测视差矢量中，指向与当前块最为类似的预测块的视差矢量将被赋予最高的优先顺序。
图7为示出根据本发明一实施例的多视点视频编码方法的流程图。
在步骤S701，多视点视频编码装置101可确定是否以利用第二视点的跳过模式对包含于第一视点的帧的当前块进行编码。
在此，跳过模式是指利用相邻于当前块的周边块中的参照第二视点的帧的周边块的视差矢量确定当前块的预测视差矢量，并利用预测视差矢量恢复当前块的编码模式。
或者，跳过模式是指在利用第一视点的帧中与包含当前块的帧的对应的帧中的目标块的视差矢量来确定当前块的预测视差矢量，并利用预测视差矢量恢复当前块的编码模式，其中，所述对应的帧与所述包含当前块的帧在时间上不同，并且目标块在所述对应的帧中的位置与当前块的位置相同。
或者，跳过模式是指在利用第一视点的帧中与包含当前块的帧对应的帧中的目标块的视差矢量来确定当前块的预测视差矢量，并利用预测视差矢量恢复当前块的编码模式，其中，所述对应的帧与所述包含当前块的帧在时间上不同，并且目标块在所述对应的帧中的位置与相邻于当前块的周边块的位置相同。
在步骤S702中，多视点视频编码装置101按照跳过模式对当前块进行编码时，可对表示跳过模式的索引进行编码而产生比特流。
图8为示出根据本发明第二实施例的多视点视频编码方法的流程图。
在步骤S801，多视点视频编码装置101确定是按照利用第一视点的第一跳过模式还是按照利用第二视点的帧的第二跳过模式对包含于第一视点的帧中的当前块进行编码。作为一例，多视点视频编码装置101可以将具有按照第一跳过模式和第二跳过模式进行编码的结果的代价函数中的小的代价函数的跳过模式确定为用于对当前块进行编码的编码模式。
在此，第一跳过模式是指利用相邻于当前块的周边块中的参照与包括当前块的帧表现出不同的时间的第一视点的帧的周边块的运动矢量来确定当前块的预测运动矢量，并利用预测运动矢量恢复当前块的编码模式。
而且，第二跳过模式是指利用相邻于当前块的周边块中的参照第二视点的帧的周边块的视差矢量，确定当前块的预测视差矢量，并利用预测视差矢量恢复当前块的编码模式。
或者，第二跳过模式是指在利用第一视点的帧中表现出与包含当前块的帧不同时间的第一视点的帧中的目标块的视差矢量来确定当前块的预测视差矢量，并利用预测视差矢量恢复当前块的编码模式，其中，目标块在所述表现出不同时间的帧中的位置与当前块的位置相同。
在步骤S802，多视点视频编码装置101可对于表示针对当前块而确定的跳过模式的索引进行编码而产生比特流。
图9为示出根据本发明第一实施例的多视点视频解码方法的流程图。
在步骤S901，多视点视频解码装置102可对表示包含于第一视点的帧的当前块的跳过模式的经编码的索引进行解码。图9中提及的跳过模式已经在图7中具体进行了说明。
在步骤S902，多视点视频解码装置102可根据当前块的跳过模式在第二视点的帧中提取当前块的预测块来恢复当前块。
图10为示出根据本发明第二实施例的多视点视频解码方法的流程图。
在步骤S1001，多视点视频解码装置102可对表示包含于第一视点的帧的当前块是以第一跳过模式还是第二跳过模式编码的经编码的索引进行解码。图10中提及的跳过模式已经在图8中具体进行了说明。
在步骤S1002中，多视点解码装置102可基于根据经解码之后的索引所确定的当前块的跳过模式恢复当前块。
根据本发明实施例的方法可实现为可通过多种计算机手段执行的程序命令形态而被记录于计算机可读记录介质中。所述计算机可读记录介质可单独包括程序命令、数据文件、数据结构等，或者可以包括程序命令、数据文件、数据结构等的组合。记录于所述介质的程序命令可以是为本发明特别设计并构建的程序命令，或者可以是计算机软件领域的技术人员所公知并能够使用的程序命令。
如上所述，虽然使用有限的实施例和图对本发明进行了说明，但本发明并不局限于上述实施例，只要是本发明所属技术领域中具有通常知识的技术人员，则可基于这些记载执行多种修改和变更。
因此，本发明的范围并不局限于实施例，应根据权利要求书以及与该权利要求书等同的内容来确定。

Claims (24)

1.一种多视点视频编码装置，包括：
编码模式确定单元，确定是否将包含于第一视点的帧的当前块按照利用第二视点的帧的跳过模式进行编码；
比特流生成单元，当按照跳过模式对所述当前块进行编码时，对表示所述跳过模式的索引进行编码，以生成比特流。
2.根据权利要求1所述的多视点视频编码单元，其特征在于，所述跳过模式为利用相邻于所述当前块的周边块中的参照第二视点的帧的周边块的视差矢量来确定所述当前块的预测视差矢量，并利用所述预测视差矢量恢复所述当前块的编码模式。
3.根据权利要求1所述的多视点视频编码单元，其特征在于，所述跳过模式为利用在所述第一视点的帧中的对应的帧中的目标块的视差矢量来确定所述当前块的预测视差矢量，并利用所述预测视差矢量恢复所述当前块的编码模式，其中所述对应的帧在时间上与包括所述当前块的帧不同，并且所述目标块在所述对应的帧中的位置与当前块的位置相同。
4.根据权利要求1所述的多视点视频编码单元，其特征在于，所述跳过模式为利用在所述第一视点的帧中的对应的帧中的目标块的视差矢量来确定所述当前块的预测视差矢量，并利用所述预测视差矢量恢复所述块的编码模式，其中，所述对应的帧在时间上与包括所述当前块的帧不同，并且所述目标块在所述对应的帧中的位置与相邻于当前块的周边块的位置相同。
5.根据权利要求1所述的多视点视频编码单元，其特征在于，在所述当前块被包含于P-帧时，所述比特流生成单元对于表示与所述当前块相关的跳过模式的索引进行编码，
在所述当前块被包含于B-帧时，所述比特流生成单元对于表示与当前块相关的包含于直接模式的直接跳过模式的索引进行编码。
6.根据权利要求1所述的多视点视频编码单元，其特征在于，相邻于所述当前块的周边块包括相邻于所述当前块的左侧的块、相邻于当前块的上侧的块、相邻于所述当前块的左侧上端的块中的至少一个。
7.一种多视点视频编码单元，包括：
编码模式确定单元，确定是按照利用第一视点的帧的第一跳过模式还是按照利用第二视点的帧的第二跳过模式对包含于第一视点的帧的当前块进行编码；
比特流生成单元，编码针对所述当前块所确定的跳过模式的索引，以生成比特流。
8.根据权利要求7所述的多视点视频编码单元，其特征在于，所述第一跳过模式为利用相邻于所述当前块的周边块中的参照表现出与包括所述当前块的帧不同的时间的第一视点的帧的周边块的运动矢量来确定所述当前块的预测视差矢量，并利用所述预测视差矢量恢复所述当前块的编码模式。
9.根据权利要求7所述的多视点视频编码单元，其特征在于，所述第二跳过模式为如下的编码模式，即，利用相邻于所述当前块的周边块中的参照第二视点的帧的周边块的视差矢量来确定所述当前块的预测视差矢量，并利用所述预测视差矢量恢复所述当前块。
10.根据权利要求8所述的多视点视频编码单元，其特征在于，所述第二跳过模式为如下的编码模式，即，利用在所述第一视点的帧中表现出与包括所述当前块的帧不同的时间的第一视点的帧的目标块的视差矢量来确定所述当前块的预测视差矢量，并利用所述预测视差矢量恢复所述当前块，其中，所述目标块在所述表现出与包括所述当前块的帧不同的时间的第一视点的帧中的位置与当前块的位置相同。
11.根据权利要求8所述的多视点视频编码单元，其特征在于，所述编码模式确定单元将具有按照所述第一跳过模式和第二跳过模式进行编码的结果的代价函数中的小的代价函数的跳过模式确定为用于对当前块进行编码的编码模式。
12.一种多视点视频解码装置，包括：
索引解码单元，对表示包含于第一视点的帧的当前块的跳过模式的经编码的索引进行解码；
块恢复单元，根据所述当前块的跳过模式在第二视点的帧提取当前块的预测块，以恢复当前块。
13.根据权利要求12的多视点视频解码装置，其特征在于，所述块恢复单元利用相邻于所述当前块的周边块中的参照第二视点的帧的周边块的视差矢量来确定所述当前块的预测视差矢量，并利用所述预测视差矢量确定所述当前块的预测块。
14.根据权利要求12的多视点视频解码装置，其特征在于，所述块恢复单元利用在所述第一视点的帧中的对应的帧的目标块的视差矢量来确定所述当前块的预测视差矢量，并利用所述预测视差矢量确定所述当前块的预测块，其中，所述对应的帧在时间上与包含所述当前块的帧不同，并且所述目标块在所述对应的帧中的位置与所述当前块的位置相同。
15.根据权利要求12的多视点视频解码装置，其特征在于，在所述当前块被包含于P-帧时，所述索引表示与所述当前块相关的跳过模式；
在所述当前块被包含于B-帧时，所述索引表示与当前块相关的包含于直接模式的直接跳过模式。
16.一种多视点视频解码装置，包括：
索引解码单元，对于表示包含于第一视点的帧的当前块是按照第一跳过模式还是按照第二跳过模式编码的经编码的索引进行解码；
块恢复单元，基于根据解码的所述索引所确定的当前块的跳过模式恢复当前块，
所述第一跳过模式在第一视点的帧中确定当前块的预测块，
所述第二跳过模式在第二视点的帧确定当前块的预测块。
17.根据权利要求16的多视点视频解码装置，其特征在于，当所述当前块按照第一跳过模式被编码时，所述块恢复单元利用相邻于所述当前块的周边块中的参照表现出与包括所述当前块的帧不同的时间的第一视点的帧的周边块的运动矢量来确定所述当前块的预测视差矢量，并利用所述预测视差矢量确定所述当前块的预测块。
18.根据权利要求16的多视点视频解码装置，其特征在于，当所述当前块按照第二跳过模式被编码时，所述块恢复单元利用相邻于所述当前块的周边块中的参照第二视点的帧的周边块的视差矢量来确定所述当前块的预测视差矢量，并利用所述预测视差矢量确定所述当前块的预测块。
19.根据权利要求16的多视点视频解码装置，其特征在于，当所述当前块按照第二跳过模式被编码时，所述块恢复单元利用在所述第一视点的帧中的表现出与包括所述当前块的帧不同的时间的第一视点的帧的目标块的视差矢量来确定所述当前块的预测视差矢量，并利用所述预测视差矢量确定所述当前块的预测块，其中所述目标块在所述表现出与包括所述当前块的帧不同的时间的第一视点的帧中的位置与所述当前块的位置相同。
20.一种多视点视频编码方法，包括如下步骤：
确定是否将包含于第一视点的帧的当前块按照利用第二视点的帧的跳过模式进行编码；
当按照跳过模式编码所述当前块时，对表示所述跳过模式的索引进行编码，以生成比特流。
21.一种多视点视频编码方法，包括如下步骤：
确定按照利用第一视点的帧的第一跳过模式还是按照利用第二视点的帧的第二跳过模式，对包含于第一视点的帧的当前块进行编码；
对针对所述当前块所确定的跳过模式的索引进行编码，以生成比特流。
22.一种多视点视频解码方法，包括如下步骤：
对表示包含于第一视点的帧的当前块的跳过模式的经编码的索引进行解码；
根据所述当前块的跳过模式在第二视点的帧提取当前块的预测块，以恢复当前块。
23.一种多视点视频解码方法，包括如下步骤：
对表示包含于第一视点的帧的当前块是按照第一跳过模式还是按照第二跳过模式编码的经编码的索引进行解码；
基于根据解码的所述索引所确定的当前块的跳过模式恢复当前块，
所述第一跳过模式在第一视点的帧中确定当前块的预测块，
所述第二跳过模式在第二视点的帧中确定当前块的预测块。
24.一种计算机可读记录介质，用于执行权利要求20至23中的任一项所述的方法。
CN2011800675567A 2010-12-14 2011-12-13 多视点视频编码/解码装置和方法 Pending CN103370934A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR20100127456 2010-12-14
KR10-2010-0127456 2010-12-14
KR10-2011-0110588 2011-10-27
KR1020110110588A KR101893559B1 (ko) 2010-12-14 2011-10-27 다시점 비디오 부호화/복호화 장치 및 방법
PCT/KR2011/009559 WO2012081877A2 (ko) 2010-12-14 2011-12-13 다시점 비디오 부호화/복호화 장치 및 방법

Publications (1)

Publication Number Publication Date
CN103370934A true CN103370934A (zh) 2013-10-23

Family

ID=46685914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800675567A Pending CN103370934A (zh) 2010-12-14 2011-12-13 多视点视频编码/解码装置和方法

Country Status (6)

Country Link
US (1) US9615078B2 (zh)
EP (2) EP3024230A1 (zh)
JP (1) JP2014505398A (zh)
KR (1) KR101893559B1 (zh)
CN (1) CN103370934A (zh)
WO (1) WO2012081877A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015188297A1 (zh) * 2014-06-08 2015-12-17 北京大学深圳研究生院 加权跳过模式的视频图像块压缩算术编解码方法及装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2878160C (en) * 2012-07-11 2017-06-20 Lg Electronics Inc. Method and apparatus for processing video signal
KR102186605B1 (ko) 2012-09-28 2020-12-03 삼성전자주식회사 다시점 영상 부호화/복호화 장치 및 방법
SG11201502627QA (en) * 2012-10-05 2015-05-28 Mediatek Singapore Pte Ltd Method and apparatus of motion vector derivation 3d video coding
WO2014065546A1 (ko) * 2012-10-22 2014-05-01 (주)휴맥스 3차원 비디오에서의 뷰간 움직임 예측 방법 및 뷰간 병합 후보 결정 방법
US9596448B2 (en) * 2013-03-18 2017-03-14 Qualcomm Incorporated Simplifications on disparity vector derivation and motion vector prediction in 3D video coding
US9609347B2 (en) * 2013-04-04 2017-03-28 Qualcomm Incorporated Advanced merge mode for three-dimensional (3D) video coding
WO2015006951A1 (en) * 2013-07-18 2015-01-22 Mediatek Singapore Pte. Ltd. Methods for fast encoder decision
CA2921759C (en) * 2013-10-17 2018-05-15 Mediatek Inc. Method of motion information prediction and inheritance in multi-view and three-dimensional video coding

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080273599A1 (en) * 2007-05-02 2008-11-06 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view video data
CN101415115A (zh) * 2007-10-15 2009-04-22 华为技术有限公司 基于运动跳跃模式的视频编解码方法及其编解码器
WO2009088195A2 (ko) * 2008-01-10 2009-07-16 Samsung Electronics Co., Ltd. 색차 보상을 이용한 다시점 비디오 부호화 방법과 그 장치 및 다시점 비디오 복호화 방법과 그 장치
WO2009131688A2 (en) * 2008-04-25 2009-10-29 Thomson Licensing Inter-view skip modes with depth
CN101601304A (zh) * 2007-01-11 2009-12-09 三星电子株式会社 用于对多视图图像进行编码和解码的方法和设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100667830B1 (ko) * 2005-11-05 2007-01-11 삼성전자주식회사 다시점 동영상을 부호화하는 방법 및 장치
ZA200805337B (en) * 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
TWI344792B (en) * 2006-07-12 2011-07-01 Lg Electronics Inc A method and apparatus for processing a signal
JP5249242B2 (ja) * 2007-01-24 2013-07-31 エルジー エレクトロニクス インコーポレイティド ビデオ信号処理方法及び装置
JP2010520697A (ja) * 2007-03-02 2010-06-10 エルジー エレクトロニクス インコーポレイティド ビデオ信号のデコーディング／エンコーディング方法及び装置
CN101816180B (zh) * 2007-08-06 2013-01-16 汤姆森特许公司 利用多个视图间参考画面的运动跳跃模式的方法和装置
KR101158491B1 (ko) * 2008-12-08 2012-06-20 한국전자통신연구원 다시점 영상 부호화, 복호화 방법 및 그 장치.

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101601304A (zh) * 2007-01-11 2009-12-09 三星电子株式会社 用于对多视图图像进行编码和解码的方法和设备
US20080273599A1 (en) * 2007-05-02 2008-11-06 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view video data
CN101415115A (zh) * 2007-10-15 2009-04-22 华为技术有限公司 基于运动跳跃模式的视频编解码方法及其编解码器
WO2009088195A2 (ko) * 2008-01-10 2009-07-16 Samsung Electronics Co., Ltd. 색차 보상을 이용한 다시점 비디오 부호화 방법과 그 장치 및 다시점 비디오 복호화 방법과 그 장치
WO2009131688A2 (en) * 2008-04-25 2009-10-29 Thomson Licensing Inter-view skip modes with depth

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015188297A1 (zh) * 2014-06-08 2015-12-17 北京大学深圳研究生院 加权跳过模式的视频图像块压缩算术编解码方法及装置

Also Published As

Publication number Publication date
KR20120066579A (ko) 2012-06-22
JP2014505398A (ja) 2014-02-27
WO2012081877A2 (ko) 2012-06-21
KR101893559B1 (ko) 2018-08-31
US9615078B2 (en) 2017-04-04
EP3024230A1 (en) 2016-05-25
US20130335526A1 (en) 2013-12-19
EP2654295A2 (en) 2013-10-23
EP2654295A4 (en) 2015-06-10
WO2012081877A3 (ko) 2012-08-09

Similar Documents

Publication Publication Date Title
CN103370934A (zh) 多视点视频编码/解码装置和方法
CN100584004C (zh) 用于视频的三维编码和/或解码的方法及装置
CN103716642B (zh) 用于多视点视频编码/解码的方法
CN102055982B (zh) 三维视频编解码方法及装置
KR20120080122A (ko) 경쟁 기반의 다시점 비디오 부호화/복호화 장치 및 방법
KR101747434B1 (ko) 움직임 정보 및 변이 정보를 부호화／복호화하는 영상 처리 장치 및 방법
US20120189060A1 (en) Apparatus and method for encoding and decoding motion information and disparity information
CN104995916B (zh) 视频数据解码方法和视频数据解码设备
KR100738867B1 (ko) 다시점 동영상 부호화/복호화 시스템의 부호화 방법 및시점간 보정 변이 추정 방법
JP2015525997A (ja) ３ｄビデオ符号化におけるビュー間候補導出の方法と装置
CN102006480A (zh) 基于视间预测的双目立体视频的编码及解码方法
CN101568038B (zh) 基于视差/运动联合估计的多视点容错编码框架
CN102984525A (zh) 一种视频码流错误隐藏方法
US9900620B2 (en) Apparatus and method for coding/decoding multi-view image
CN103220532B (zh) 立体视频的联合预测编码方法及***
US20130100245A1 (en) Apparatus and method for encoding and decoding using virtual view synthesis prediction
WO2007129840A1 (en) Method and apparatus for encoding multi-view moving pictures
KR20080006494A (ko) 비디오 신호의 디코딩 방법 및 장치
KR20080060188A (ko) 비디오 신호 디코딩 방법 및 장치
CN101986713B (zh) 基于视点合成的多视点容错编码框架
KR20110136014A (ko) 다시점 깊이영상을 부호화/복호화 하는 장치 및 방법
KR101078525B1 (ko) 다중시점 영상의 부호화 방법
US20140301455A1 (en) Encoding/decoding device and method using virtual view synthesis and prediction
KR20130116777A (ko) 움직임 벡터와 변이 벡터를 예측하는 영상 처리 방법 및 장치
JP5442688B2 (ja) 動画像符号化装置および方法、並びに動画像復号化装置および方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20131023