CN101390396A - 编码和解码多视角视频以提供均匀画面质量的方法和装置 - Google Patents

编码和解码多视角视频以提供均匀画面质量的方法和装置 Download PDF

Info

Publication number
CN101390396A
CN101390396A CNA2007800063884A CN200780006388A CN101390396A CN 101390396 A CN101390396 A CN 101390396A CN A2007800063884 A CNA2007800063884 A CN A2007800063884A CN 200780006388 A CN200780006388 A CN 200780006388A CN 101390396 A CN101390396 A CN 101390396A
Authority
CN
China
Prior art keywords
referenced viewpoint
video frame
referenced
viewpoint
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800063884A
Other languages
English (en)
Other versions
CN101390396B (zh
Inventor
金明浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN101390396A publication Critical patent/CN101390396A/zh
Application granted granted Critical
Publication of CN101390396B publication Critical patent/CN101390396B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

提供了用于编码和解码多视角视频的方法，以便在不同视点提供均匀的画面质量。该多视角视频编码方法包括：从接收到的多视角视频帧当中选择由不同视点视频帧所参考的基准视点视频帧组；基于基准视点视频帧组来编码多视角视频；确定是否满足改变基准视点视频帧组的条件；以及如果满足所述条件，则改变基准视点视频帧组，并且基于改变后的基准视点视频帧组编码多视角视频。根据本发明，可以提供这样的多视角视频，其中，在不同视点处的视频质量下降程度相对于长时间均匀地分布。

Description

编码和解码多视角视频以提供均匀画面质量的方法和装置
技术领域
本发明涉及用于编码和解码多视角视频(multi-view video)的方法和装置，更具体地，涉及一种用于编码和解码多视角视频以便相对于不同的视点提供均匀画面质量的方法和装置。
背景技术
图1图解说明了多视角视频输入***的示例。
如图1所示，多视角视频是由多个摄像机拍摄并从其接收的多个视频帧，其中每个摄像机处于不同的视点(viewpoint)。因此，用于编码多视角视频的装置从多个摄像机接收在不同视点拍摄的多个视频帧。因此，多视角视频通常需要大量的数据存储空间，并且为了使用多视角视频来有效地提供三维(3D)服务，压缩编码是必须的。
近来，作为多视角编码的标准，提出了运动视频专家组2多视角规范(MPEG-2 multi-view profile，MPEG-2MVP)。而且，MPEG是准备3D-AV标准的工作组。MPEG-2 MVP标准被限制用于立体声视频，而MPEG 3D-AV标准已被预备用来标准化编码对应于摄像机阵列的多视角视频，所述摄像机阵列诸如1-D平行(parallel)、2-D平行、1-D弧(arc)等的。
图2是用于解释应用了MPEG-2 MVP的示例的视图。
根据MPEG-2 MVP标准，当使用左视角视频帧和右视角视频帧编码3D视频时，使用可缩放(scalable)编解码器来编码和再现3D视频，所述可缩放编解码器用于检测该两个视频帧之间的相关性，并根据网络状态可变地编码所述两个视频帧之间的差。这里，所述编码是在左视角视频帧是基本层视频帧而右视角视频帧是增强层视频帧的假设下执行的。基本层视频帧是能够仅使用其自身的信息来编码的视频帧，而增强层视频帧是在网络稳定时被附加编码和发送以便提高基本层视频帧的画面质量的视频帧。如此，使用基本层视频帧和增强层视频帧的编码被称作“可缩放编码”。
在图2中，通过诸如现有主规范(main profile)的方法，而不使用在不同视点拍摄的视频帧的视差(disparity)信息，来编码作为基本层视频帧的左视角视频帧。也就是，使用帧内编码和运动补偿编码来编码左视角视频帧，以便减少空间和时间冗余。同时，通过对左视角视频帧进行视差估计并对右视角视频帧进行运动估计来编码右视角视频帧。然而，由于MPEG-2 MVP规范并没有考虑用于编码多视角视频的编码器，因此MPEG-2 MVP规范实际上不适用于多视角视频。因此，需要一种有效提供多视角视频的编码器来同时向多人提供立体效果和真实性。
发明内容
技术方案
本发明提供有效编码和解码多视角视频的方法和装置，以便相对于在不同视点拍摄的视频帧提供均匀的画面质量。
有利效果
根据本发明，提供了一种编码和解码多视角视频的方法，以便在不同视点处的画面质量下降程度相对于长时间均匀地分布。
因此，当从接收到的多视角视频帧当中选择在任意视点拍摄的视频帧并且对其进行解码时，该视频帧与在不同视点拍摄的视频帧相比，可以具有均匀的画面质量下降程度，而不是与在相应视点处的原始视频帧相比维持较高或者较低的画面质量下降程度。
附图说明
通过参考附图详细描述示例性实施例，本发明的上面和其他特征及优点将变得更加明显，附图中：
图1图解说明了多视角视频输入***的示例；
图2是用于解释应用了MPEG-2 MVP标准的示例的视图；
图3是用于解释编码由6个视点组成的多视角视频的视图；
图4是图解说明根据本发明示例性实施例的、用于提供均匀画面质量的多视角视频编码方法的流程图；
图5是用于解释根据本发明示例性实施例的多视角视频编码的视图；
图6A、图6B和图6C是用于解释根据本发明另一示例性实施例的、用于提供均匀画面质量的多视角视频编码的视图；
图7是根据本发明示例性实施例的、用于提供均匀画面质量的多视角视频编码装置的方框图；
图8是图解说明根据本发明示例性实施例的、用于提供均匀画面质量的多视角视频解码方法的流程图；
图9是根据本发明示例性实施例的、用于提供均匀画面质量的多视角视频解码装置的方框图。
具体实施方式
根据本发明的一方面，提供了一种编码多视角视频的方法，包括：从接收到的多视角视频帧当中选择不同视点视频帧所参考的一基准视点视频帧(reference viewpoint video frame)组；基于该基准视点视频帧组编码多视角视频；确定是否满足改变该基准视点视频帧组的条件；如果满足该条件，则改变该基准视点视频帧组；以及基于改变后的基准视点视频帧组，编码多视角视频。
根据本发明的另一方面，提供了一种用于编码多视角视频的装置，包括：基准视点视频选择单元，用于从接收到的多视角视频帧当中选择不同视点视频帧所参考的一基准视点视频帧组；编码单元，用于基于该基准视点视频帧组来编码多视角视频；和条件确定单元，用于确定是否满足改变该基准视点视频帧组的条件，其中，如果条件确定单元确定满足所述条件，则基准视点视频选择单元改变该基准视点视频帧组，并且编码单元基于改变后的基准视点视频帧组来编码多视角视频。
根据本发明的另一方面，提供了一种用于解码多视角视频的方法，包括：接收基准视点视频位流和包括关于基准视点视频帧的信息的非基准视点视频(non-reference viewpoint video)位流；解码该基准视点视频位流；以及对由关于基准视点视频帧的信息指示的基准视点视频帧进行视差估计，从而解码非基准视点视频位流，其中非基准视点视频位流中包含的关于基准视点视频帧的信息包括各个非基准视点视频帧所参考的基准视点视频帧的基准视点识别符，并且该信息基于预定时间量而改变。
根据本发明的另一方面，提供了一种用于解码多视角视频的装置，包括：基准视点视频解码单元，用于接收和解码基准视点视频位流；和非基准视点视频解码单元，用于接收包括关于基准视点视频帧的信息的非基准视点视频位流，并且对由关于基准视点视频帧的信息指示的基准视点视频帧进行视差估计，从而解码非基准视点视频位流，其中非基准视点视频位流中包含的关于基准视点视频帧的信息包括各个非基准视点视频帧所参考的基准视点视频帧的基准视点识别符，并且该信息基于预定时间量而改变。
发明实施例
下文中，将参考附图来详细描述本发明的实施例。
在说明书中，仅使用关于其自身视点的信息来执行帧内编码和帧间编码的视点处的视频帧被称作基准视点视频帧，而使用相对于基准视点视频帧的视差估计进行编码的视频帧被称作非基准视点视频帧。
图3是用于解释编码由6个视点组成的多视角视频的视图。
参考图3，视点0、2和4处的视频帧是一组基准视点视频帧，该组基准视点视频帧仅使用关于它们自身视点的视频信息通过帧内编码和帧间编码来进行编码。视点1、3和5处的视频帧是一组非基准视点视频帧，该组非基准视点视频帧是从相邻基准视点视频帧通过执行包括视差估计的编码而获得的。参考图3中标示的箭头，视点1处的视频帧是通过执行视差估计并参考视点0和2处的视频帧进行编码而获得的。视点3处的视频帧是通过执行视差估计并参考视点2和4处的视频帧进行编码而获得的。视点5处的视频帧是通过执行视差估计并参考视点4处的视频帧进行编码而获得的。
例如，为了获得视点5处的视频帧，参考相邻视点4处的视频帧来确定视差矢量。然后，使用所确定的视差矢量来生成为视点5处的视频帧重新构造的视频帧，并且可以对在视点5拍摄的原始视频帧与重新构造的视频帧之间的差值进行编码。当编码视点5处的视频帧时，除了使用视差估计以外，还可以对它们自身视点处的视频帧进行进一步的帧间编码。
如此，通过参考在不同视点处拍摄的视频帧，对在预定视点处拍摄的视频帧进行编码，而不是对在各个视点处拍摄的视频帧进行独立编码，可以减少传送所有视点的图像的带宽。多视角视频帧的数目、基准视点视频帧的数目和位置、施行视差估计的非基准视点视频帧的数目、以及为了视差估计而被各个非基准视点视频帧参考的视频帧的视点是可以变化的。
然而，如果基准视点被固定，如图3所示，则在各个视点处的视频帧之间将会出现随时间的峰值信噪比(PSNR)差。尽管正在研究用于提高PSNR的编码方法，但是画面质量仍被限制在可以通过同时联播编码(simulcastencoding)方法而实现的水平，该同时联播编码方法对在不同视点拍摄的视频帧进行独立编码。
如果在各个视点处的视频帧之间的随时间的PSNR差不均匀，则当视点视频帧被编码时，解码后的视点视频帧之间的视频质量下降程度将变得彼此不同。这意味着在不同视点的视频信息的分布变得不平衡。这导致在不同视点的视频信息的不均匀分布。因此，与基准视点视频帧相比，存在视频质量下降程度高、与其原始视频帧的差相对较大的视点视频帧。如果用户从多视角视频帧当中选择这样的视频质量下降程度高的视点，则与基准视点视频帧相比，与其原始视频帧明显不同的视频帧将被提供给用户。
图4是图解说明根据本发明实施例的、用于提供均匀画面质量的多视角视频编码方法的流程图。
参考图4，在操作S410，从接收到的多视角视频帧当中选择一组基准视点视频帧，该组基准视点视频帧将被用作不同视点视频帧的基准视点视频帧。
然后，在操作S420，基于该组基准视点视频帧来编码多视角视频。该组基准视点视频帧使用它们自身视点处的帧进行编码，并且被生成为基准视点视频位流。然后，未被选为该组基准视点视频帧的剩余视点视频帧被选择为一组非基准视点视频帧。该组非基准视点视频帧使用相对于基准视点视频帧的视差矢量进行编码，并且被生成为非基准视点视频位流。当对该组非基准视点视频帧进行编码时，关于各个非基准视点视频帧所参考的基准视点视频帧的信息被添加，以便称为非基准视点视频位流。例如，可以使用将非基准视点视频帧所参考的基准视点信息添加到相应非基准视点视频位流的语法中的方法。因此，该组非基准视点视频帧可以使用非基准视点视频位流中包含的关于基准视点视频帧的信息进行解码。
然后，在操作S430，确定是否满足改变该组基准视点视频帧的条件。执行这一操作是为了防止基准视点视频帧与非基准视点视频帧之间的画面质量不平衡被固定。在操作S430，通过确定是否经过了预定时间量来执行对是否满足改变该组基准视点视频帧的条件的确定。所述预定时间量可以是预定的时间单位、序列(sequence)单位、画面组(Group of Picture，GOP)单位、或画面单位，然而，本发明不限于这些。
如果在操作S430满足所述条件，则在操作S440，改变基准视点视频帧组。在操作S440，该可以顺序地或任意地改变基准视点视频帧组。在基准视点视频帧组改变之后，处理返回到操作S420。也就是，基于改变后的基准视点视频帧组对多视角视频进行编码。
图5是用于解释根据本发明实施例的、用于提供均匀画面质量的多视角视频编码的视图。
如以上参考图4所描述的，根据本发明的实施例，为了使得在不同视点处的多视角视频帧具有均匀的画面质量，使用一种方法对多视角视频帧进行编码，在该方法中，如果满足预定条件，则改变基准视点视频帧组。例如，如果初始的一组基准视点视频帧对应于图3中示出的视点0、2和4，则如果满足预定条件，该组基准视点视频帧变为对应于视点1、3和5的一组基准视点视频帧，如图5所示，并且选择对应于视点1、3和5的该组基准视点视频帧。
例如，如果预定条件是GOP，则在GOP被编码之前不满足预定条件。在这种情况下，基于先前选择的一组基准视点视频帧对多视角视频进行编码。如果完成对GOP的编码，则由于满足预定条件，因此该组基准视点视频帧变为对应于视点0、2和4的一组基准视点视频帧，并且对应于视点0、2和4的一组基准视点视频帧被选择。然后，基于变化后的一组基准视点视频帧对多视角视频进行编码。同时，当对非基准视点视频帧编码时，例如，在图5中，当对视点2处的视频帧进行编码时，编码后的视点2处的视频帧的位流包括指示基准视点是视点1和3的信息。
图6A、图6B和图6C是用于解释根据本发明另一示例性实施例的、用于提供均匀画面质量的多视角视频编码的视图。
图6A、图6B和图6C图解说明了基准视点视频帧的数目为2的示例。参考图6A，初始的一组基准视点视频帧对应于视点0和3。在视点0和3处拍摄的视频帧仅使用它们自身视点的信息通过帧内编码和帧间编码进行编码，而不对在不同视点处拍摄的视频帧进行视差估计。在视点1、2、4和5处拍摄的视频帧通过对在视点0和3处拍摄的视频帧进行视差估计来编码。例如，如图6A所示，通过对在基准视点0和3处拍摄的视频帧进行视差估计来对在视点1处拍摄的视频帧进行编码。
然后，确定是否满足改变该组基准视点视频帧的预定条件。例如，如果预定条件是GOP的时间间隔，则当GOP被完全编码时改变基准视点视频帧组。可以顺序地或者任意地改变基准视点视频帧组，并且选择改变后的结果。当初始的一组基准视点视频帧对应于视点0和3时，该初始的一组基准视点可被任意地改变为视点1和2或者视点1和5，并且选择改变后的视点。
之后，描述用于顺序地改变基准视点视频帧组的方法。参考图6B，视点1和4被选择为基准视点。因此，在基准视点1和4处拍摄的视频帧通过对它们自身的视点视频帧进行帧内和帧间编码进行编码，并且在剩余的视点0、2、3和5处拍摄的视频帧通过对在基准视点1和4处拍摄的视频帧进行视差估计而进行编码。
如果GOP被完全编码，如图6C所示，在视点2和5处拍摄的视频帧被选择作为一组基准视点视频帧。从改变后的一组基准视点视频帧开始对GOP进行编码，在视点2和5处拍摄的视频帧通过对它们自身的视点视频帧进行帧内和帧间编码而被编码，而在剩余的视点0、1、3和4处拍摄的视频帧通过对在基准视点2和5处拍摄的视频帧进行视差估计而被编码。
图7是根据本发明示例性实施例的、用于提供均匀画面质量的多视角视频编码装置700的方框图。
多视角视频编码装置700包括基准视点视频选择器710、编码单元720、条件确定单元730和复用器740。
当进行编码时，基准视点视频选择器710从接收到的多视角视频帧中选择将被用作不同视点视频帧的基准视频帧的一组基准视点视频帧。编码单元720基于所选择的一组基准视点视频帧对多视角视频进行编码。
条件确定单元730确定是否满足改变该组基准视点视频帧的条件。条件确定单元730通过确定是否经过了预定的时间量来确定是否满足所述条件。预定的时间量可以是预定的时间单位、序列单位、GOP单位或者画面单位，然而，本发明不限于这些。
如果条件确定单元730确定满足所述条件，则将指示满足所述条件的信号传送到基准视点视频选择器710。基准视点视频选择器710响应于从条件确定单元730接收到的信号而改变该组基准视点视频帧。基准视点视频选择器710可以包括计数器(未示出)或者随机数发生器(未示出)，以便顺序地或者任意地改变基准视点视频帧。
编码单元720可以包括用于编码基准视点视频帧的基准视点视频编码器721和用于编码非基准视点视频帧的非基准视点视频编码器723。基准视点视频编码器721编码该组基准视点视频帧并且生成基准视点视频位流，其中各个基准视点视频帧使用它们自身视点处的帧来进行编码。非基准视点视频编码器723使用相对于该组基准视点视频帧的视差矢量来编码非基准视点视频帧。当编码非基准视点视频帧时，非基准视点视频编码器723添加有关基准视点视频帧的信息，以便生成非基准视点视频位流。有关基准视点视频帧的信息可以是由各个非基准视点视频帧所参考的基准视点识别符信息。
由基准视点视频编码器721生成的基准视点视频位流和由非基准视点视频编码器723生成的非基准视点视频位流可以被独立地发送到解码端，或者可以在复用器740复用之后发送到解码端。
图8是图解说明根据本发明实施例的、用于提供均匀画面质量的多视角视频解码方法的流程图。
参考图8，在操作S810，接收基准视点视频位流和包括关于基准视点视频帧的信息的非基准视点视频位流。如果基准视点视频位流和非基准视点视频位流是在被复用之后发送的，则在操作S810之前可以进一步执行解复用接收到的多视角视频位流以获得基准视点视频位流和非基准视点视频位流的操作。
然后，在操作S820，解码基准视点视频位流。在操作S830，对由关于基准视点视频帧的信息指示的基准视点视频帧进行视差估计，从而解码非基准视点视频位流。
在预定的时间量的基础上改变非基准视点视频位流中包含的关于基准视点视频帧的信息。预定的时间量可以是预定的时间单位、序列单位、GOP单位或者画面单位。如此，通过每预定时间量改变一次基准视点视频帧，并且对改变后的基准视点视频帧进行视差估计，可以提供相对于接收到的多视角视频帧中的任意视点视频帧具有均匀画面质量下降程度的多视角视频。
图9是根据本发明实施例的、用于提供均匀画面质量的多视角视频解码装置900的方框图。
多视角视频解码装置900包括解复用器910和解码单元920。多视角视频解码器装置900可被安装在自由视角电视机(free view television，FTV)或者三维电视机(3DTV)中。
如果基准视点视频位流和包括关于基准视点视频位流的信息的非基准视点视频位流被复用并发送，则解复用器910将复用的多视角视频位流解复用为基准视点视频位流和非基准视点视频位流。
解码单元920包括用于接收和解码基准视点视频位流的基准视点视频解码器921以及用于接收和解码非基准视点视频位流的非基准视点视频解码器923。当解码非基准视点视频位流时，非基准视点视频解码器923对由关于基准视点视频帧的信息(例如基准视点识别符)指示的基准视点视频帧进行视差估计。非基准视点视频位流中包含的关于基准视点视频帧的信息在预定时间量的基础上进行改变。因此，对于使用包括多视角视频解码装置900的3DTV或FTV的用户选择的所有视点，用户都可以接收到相对于时间具有均匀画面质量的视频。
本发明也可以体现为计算机可读记录介质上的计算机可读代码。本发明所属技术领域的编程人员能够容易地解释用于实现本发明的代码段。该计算机可读记录介质是能够存储数据的任何数据存储设备，该数据之后可由计算机***读取。计算机可读记录介质的例子包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光数据存储设备和载波(诸如通过因特网的数据传输)。计算机可读记录介质也可以分布在耦接计算机***的网络上，以便计算机可读代码以分布式方式被存储和执行。
如上所述，根据本发明，提供了一种用于编码和解码多视角视频的方法，从而在不同视点处的画面质量下降程度相对于长时间均匀地分布。
因此，当从接收到的多视角视频帧中选择在任意视点处拍摄的视频帧并对其进行解码时，该视频帧与在不同视点处拍摄的视频帧相比，可以具有均匀程度的画面质量下降，而不会与在相应视点处的原始视频帧相比维持较高或者较低程度的画面质量下降。
尽管已经参考本发明的示例性实施例具体示出并描述了本发明，但是本领域的普通技术人员将会理解，在不背离由所附权利要求定义的本发明的精神和范围的情况下，可以进行形式和细节上的各种改变。

Claims (20)

1.一种编码多视角视频的方法，包括：
从接收到的多视角视频帧当中选择不同视点视频帧所参考的一组基准视点视频帧；
基于所述一组基准视点视频帧来编码多视角视频；
确定是否满足改变所述一组基准视点视频帧的条件；
如果满足所述条件，则改变所述一组基准视点视频帧；和
基于改变后的一组基准视点视频帧编码多视角视频。
2.如权利要求1所述的方法，其中确定是否满足改变所述一组基准视点视频帧的条件是通过确定是否经过了预定时间量来执行的。
3.如权利要求2所述的方法，其中所述预定时间量是预定时间单位、序列单位、画面组(GOP)单位或者画面单位。
4.如权利要求1所述的方法，其中改变所述一组基准视点视频帧包括：顺序地或者任意地改变所述一组基准视点视频帧。
5.如权利要求1所述的方法，其中编码多视角视频包括：
仅使用关于它们自身视点的视频信息来编码所述一组基准视点视频帧，并且生成基准视点视频位流；和
使用相对于所述一组基准视点视频帧的视差矢量，编码未被选为所述一组基准视点视频帧的一组非基准视点视频帧，并且生成非基准视点视频位流。
6.如权利要求5所述的方法，其中生成非基准视点视频位流包括：将关于由各个非基准视点视频帧所参考的基准视点视频帧的信息添加到非基准视点视频位流，其中关于基准视点视频帧的信息包括基准视点识别符。
7.如权利要求5所述的方法，还包括：复用和发送基准视点视频位流和非基准视点视频位流。
8.一种用于编码多视角视频的装置，包括：
基准视点视频选择单元，用于从接收到的多视角视频帧当中选择由不同视点视频帧所参考的一组基准视点视频帧；
编码单元，用于基于所述一组基准视点视频帧来编码多视角视频；和
条件确定单元，用于确定是否满足改变所述一组基准视点视频帧的条件，
其中，如果条件确定单元确定满足所述条件，则基准视点视频选择单元改变所述一组基准视点视频帧，并且编码单元基于改变后的一组基准视点视频帧来编码多视角视频。
9.如权利要求8所述的装置，其中所述条件确定单元通过确定是否经过了预定时间量来确定是否满足所述条件。
10.如权利要求9所述的装置，其中所述预定时间量是预定时间单位、序列单位、GOP单位或者画面单位。
11.如权利要求8所述的装置，其中当改变所述一组基准视点视频帧时，基准视点视频选择单元顺序地或者任意地改变所述一组基准视点视频帧。
12.如权利要求8所述的装置，其中所述编码单元包括：
基准视点视频编码器，用于仅使用关于它们自身视点的视频信息来编码所述一组基准视点视频帧，并且生成基准视点视频位流；和
非基准视点视频编码器，用于使用相对于所述一组基准视点视频帧的视差矢量，编码未被选择为所述一组基准视点视频帧的一组非基准视点视频帧，并且生成非基准视点视频位流。
13.如权利要求12所述的装置，其中当生成非基准视点视频位流时，所述非基准视点视频编码器将关于由各个非基准视点视频帧所参考的基准视点视频帧的信息添加到非基准视点视频位流，其中关于基准视点视频帧的信息包括基准视点识别符。
14.如权利要求12所述的装置，还包括复用器，用于复用和发送基准视点视频位流和非基准视点视频位流。
15.一种用于解码多视角视频的方法，包括：
接收基准视点视频位流和包括关于基准视点视频帧的信息的非基准视点视频位流；
解码基准视点视频位流；和
对由关于基准视点视频帧的信息所指示的基准视点视频帧进行视差估计，从而解码非基准视点视频位流，
其中，在非基准视点视频位流中包括的关于基准视点视频帧的信息包括由各个非基准视点视频帧所参考的基准视点视频帧的基准视点识别符，并且该信息基于预定时间量而变化。
16.如权利要求15所述的方法，其中所述预定时间量是预定时间单位、序列单位、GOP单位或者画面单位。
17.一种用于解码多视角视频的装置，包括：
基准视点视频解码单元，用于接收和解码基准视点视频位流；和
非基准视点视频解码单元，用于接收包括关于基准视点视频帧的信息的非基准视点视频位流，并且对由关于基准视点视频帧的信息所指示的基准视点视频帧进行视差估计，从而解码非基准视点视频位流，
其中，在非基准视点视频位流中包括的关于基准视点视频帧的信息包括由各个非基准视点视频帧所参考的基准视点视频帧的基准视点识别符，并且该信息基于预定时间量而变化。
18.如权利要求17所述的装置，其中所述预定时间量是预定时间单位、序列单位、GOP单位或者画面单位。
19.一种计算机可读记录介质，其存储用于执行权利要求1所述的方法的程序。
20.一种计算机可读记录介质，其存储用于执行权利要求15所述的方法的程序。
CN2007800063884A 2006-03-09 2007-02-27 编码和解码多视角视频以提供均匀画面质量的方法和装置 Expired - Fee Related CN101390396B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US78035106P 2006-03-09 2006-03-09
US60/780,351 2006-03-09
KR1020060038332 2006-04-27
KR1020060038332A KR101245251B1 (ko) 2006-03-09 2006-04-27 균일한 화질을 제공하는 다시점 영상 부호화 및 복호화방법 및 장치
KR10-2006-0038332 2006-04-27
PCT/KR2007/000985 WO2007102665A1 (en) 2006-03-09 2007-02-27 Method and apparatus for encoding and decoding multi-view video to provide uniform picture quality

Publications (2)

Publication Number Publication Date
CN101390396A true CN101390396A (zh) 2009-03-18
CN101390396B CN101390396B (zh) 2012-07-18

Family

ID=38689898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800063884A Expired - Fee Related CN101390396B (zh) 2006-03-09 2007-02-27 编码和解码多视角视频以提供均匀画面质量的方法和装置

Country Status (6)

Country Link
US (1) US8270482B2 (zh)
EP (1) EP1992168A4 (zh)
JP (1) JP2009529825A (zh)
KR (1) KR101245251B1 (zh)
CN (1) CN101390396B (zh)
WO (1) WO2007102665A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103202021A (zh) * 2011-09-13 2013-07-10 松下电器产业株式会社 编码装置、解码装置、再现装置、编码方法及解码方法
CN103763545A (zh) * 2014-01-02 2014-04-30 青岛海信电器股份有限公司 一种自由立体图像处理方法及装置、电子设备

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8854486B2 (en) 2004-12-17 2014-10-07 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
US7903737B2 (en) * 2005-11-30 2011-03-08 Mitsubishi Electric Research Laboratories, Inc. Method and system for randomly accessing multiview videos with known prediction dependency
WO2008048499A2 (en) * 2006-10-13 2008-04-24 Thomson Licensing Reference picture list management syntax for multiple view video coding
SI3920538T1 (sl) 2007-04-12 2023-08-31 Dolby International Ab Razpostavljanje pri kodiranju in dekodiranju videa
WO2008130528A2 (en) 2007-04-17 2008-10-30 Thomson Licensing Hypothetical reference decoder for multiview video coding
EP2198620A2 (en) * 2007-10-05 2010-06-23 Thomson Licensing Methods and apparatus for incorporating video usability information (vui) within a multi-view video (mvc) coding system
JP5171270B2 (ja) * 2008-01-08 2013-03-27 日本電信電話株式会社 動画像の多重化方法及び装置，並びにそのプログラムとコンピュータ読み取り可能な記録媒体
KR20100030392A (ko) * 2008-09-10 2010-03-18 삼성전자주식회사 컨텐트 전송 방법 및 장치와 컨텐트 기록 방법 및 장치
RU2543954C2 (ru) 2009-01-26 2015-03-10 Томсон Лайсенсинг Упаковка кадров для кодирования видео
US9036700B2 (en) * 2009-07-15 2015-05-19 Google Technology Holdings LLC Simulcast of stereoviews for 3D TV
KR20110007928A (ko) * 2009-07-17 2011-01-25 삼성전자주식회사 다시점 영상 부호화 및 복호화 방법과 장치
US9215445B2 (en) 2010-01-29 2015-12-15 Thomson Licensing Block-based interleaving
WO2012137454A1 (ja) * 2011-04-01 2012-10-11 パナソニック株式会社 立体映像出力装置及び立体映像出力方法
CN107835428B (zh) * 2012-03-02 2021-09-24 太阳专利托管公司 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编码解码装置
KR101629103B1 (ko) * 2014-12-11 2016-06-10 경희대학교 산학협력단 비참조 시점 영상 그룹을 이용한 다시점 영상 부호화 방법
US20200137134A1 (en) * 2018-10-31 2020-04-30 Ati Technologies Ulc Multi-session low latency encoding
CN117596373B (zh) * 2024-01-17 2024-04-12 淘宝（中国）软件有限公司 基于动态数字人形象进行信息展示的方法及电子设备

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3426668B2 (ja) * 1993-11-19 2003-07-14 三洋電機株式会社 動画像符号化方法
JPH09261653A (ja) 1996-03-18 1997-10-03 Sharp Corp 多視点画像符号化装置
US7119805B2 (en) * 2001-02-20 2006-10-10 Canon Kabushiki Kaisha Three-dimensional CAD attribute information presentation
KR100481732B1 (ko) * 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
CN1204757C (zh) 2003-04-22 2005-06-01 上海大学 一种立体视频流编码/解码器及其立体视频编解码***
CN1258925C (zh) 2003-06-27 2006-06-07 中国科学院计算技术研究所 多视角视频编解码预测补偿方法及装置
WO2005011285A1 (ja) 2003-07-24 2005-02-03 Nippon Telegraph And Telephone Corporation 画像符号化装置，画像復号装置，画像符号化方法，画像復号方法，画像符号化プログラム，画像復号プログラム，画像符号化プログラムを記録した記録媒体，画像復号プログラムを記録した記録媒体
DE112004001814T5 (de) * 2003-09-29 2006-08-10 Victor Company of Japan, Ltd., Yokohama Codiervorrichtung und -verfahren, Aufzeichnungsvorrichtung und -verfahren und Decodiervorrichtung und -verfahren
TWI268715B (en) 2004-08-16 2006-12-11 Nippon Telegraph & Telephone Picture encoding method, picture decoding method, picture encoding apparatus, and picture decoding apparatus
JP4562774B2 (ja) * 2004-10-12 2010-10-13 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 映像合成基盤の多視点動映像の符号化及び復号化を行うための方法及び装置
KR100779875B1 (ko) 2005-01-14 2007-11-27 주식회사 휴맥스 다-시점 코딩을 위한 참조 프레임 순서 설정 방법 및 그방법을 기록한 기록매체
KR100732961B1 (ko) * 2005-04-01 2007-06-27 경희대학교 산학협력단 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치
JP2008172282A (ja) * 2005-04-22 2008-07-24 Matsushita Electric Ind Co Ltd 位置保証システム
WO2007043775A1 (en) 2005-10-07 2007-04-19 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding hopping default view for multiple cameras system
JP2007180981A (ja) * 2005-12-28 2007-07-12 Victor Co Of Japan Ltd 画像符号化装置、画像符号化方法、及び画像符号化プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103202021A (zh) * 2011-09-13 2013-07-10 松下电器产业株式会社 编码装置、解码装置、再现装置、编码方法及解码方法
CN103202021B (zh) * 2011-09-13 2017-06-13 松下知识产权经营株式会社 编码装置、解码装置、再现装置、编码方法及解码方法
CN103763545A (zh) * 2014-01-02 2014-04-30 青岛海信电器股份有限公司 一种自由立体图像处理方法及装置、电子设备
CN103763545B (zh) * 2014-01-02 2015-12-30 青岛海信电器股份有限公司 一种自由立体图像处理方法及装置、电子设备

Also Published As

Publication number Publication date
EP1992168A4 (en) 2010-01-27
US20070211796A1 (en) 2007-09-13
EP1992168A1 (en) 2008-11-19
US8270482B2 (en) 2012-09-18
KR20070092566A (ko) 2007-09-13
WO2007102665A1 (en) 2007-09-13
CN101390396B (zh) 2012-07-18
KR101245251B1 (ko) 2013-03-19
JP2009529825A (ja) 2009-08-20

Similar Documents

Publication Publication Date Title
CN101390396B (zh) 编码和解码多视角视频以提供均匀画面质量的方法和装置
KR100943914B1 (ko) 다시점 비디오의 처리 방법 및 장치
CN101248670B (zh) 视差矢量估计方法及对运动图像编码和解码的方法和设备
EP2163103B1 (en) Method and system for encoding a 3d video signal, enclosed 3d video signal, method and system for decoder for a 3d video signal
CN101243692B (zh) 对多视角视频进行编码的方法和设备
CN101888566B (zh) 立体视频编码率失真性能估计方法
US20150063463A1 (en) Method and device for coding multi-layer video, and method and device for decoding multi-layer video
CN109417642A (zh) 用于高分辨率影像流的影像比特流生成方法和设备
EP2538674A1 (en) Apparatus for universal coding for multi-view video
US20110157309A1 (en) Hierarchical video compression supporting selective delivery of two-dimensional and three-dimensional video content
CN101346998A (zh) 视频编码方法及解码方法、其装置及其程序以及记录程序的存储介质
US9743061B2 (en) Multiview video encoding method and device, and multiview video decoding method and device
EP2103143A1 (en) Method and apparatus for encoding and decoding multi-view images based on global disparity vector
EP1927250A1 (en) Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
US20160065983A1 (en) Method and apparatus for encoding multi layer video and method and apparatus for decoding multilayer video
CN102413353A (zh) 立体视频编码过程的多视点视频和深度图的码率分配方法
Drose et al. Extending single-view scalable video coding to multi-view based on H. 264/AVC
KR20070098429A (ko) 비디오 신호의 디코딩 방법
CN103260090B (zh) 一种用于p2p三维流媒体***中的视频段调度及传输方法
CN101986713A (zh) 基于视点合成的多视点容错编码框架
Stefanoski et al. Image quality vs rate optimized coding of warps for view synthesis in 3D video applications
De Silva et al. 3D video communication scheme for error prone environments based on motion vector sharing
KR100780844B1 (ko) 다시점 화상 복호화기, 다시점 화상 데이터 처리 시스템,다시점 화상 데이터 처리 방법 및 이를 수행하는프로그램을 기록한 기록매체
KR100811649B1 (ko) 다시점 부호화 방법과 그에 사용되는 비트율 제어 방법
Shi et al. A Client-Driven Selective Streaming System for Multi-view Video Transmission

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120718

Termination date: 20200227