CN101291434A - 多视编解码方法及装置 - Google Patents

Abstract

一种多视编解码方法及装置，主要包括：在对多个视的视频图像进行编码处理过程中，将参考帧信息的帧号及视点标识写入码流中发送给解码端。以使得在解码端可以解码获得参考帧信息的帧号及视点标识，并可以根据参考帧信息的帧号及视点标识确定当前采用的参考帧信息；进一步地，便可以根据所述的参考帧信息对发生错误的当前帧进行恢复处理。因此，本发明实施例的实现使得在解码端可以根据所述视点标识信息确定在误码恢复过程中可以有效利用的帧间信息，以提高多视点视频编解码的性能。

Description

多视编解码方法及装置

技术领域

本发明涉及编解码技术，尤其涉及一种多视编解码技术。

背景技术

随着多媒体通信技术的快速发展，人们不再满足于传统的固定视点视觉以及2D(二维)平面视觉，在娱乐、教育、观光和外科医学等许多应用领域内出现了对于多视角视频，自由视点视频和3D(三维)视频的需求。

为满足相应需求，可以采用多个摄像机在不同的空间位置以不同的角度同时获取同一场景的一组视频信号，该一组视频信号称为多视点视频，之后，便可以对所获得的一组视频信号进行压缩编码和传输，对该组视频信号进行压缩编码的过程则被称为多视点视频编码。

在多视点视频编码并发送给解码端的过程中，由于信道拥塞、带宽变化等原因可能导致某些数据发生丢失或损坏等错误，这就使得解码端在收到相应的编码数据后无法正确解码。

为了在解码端可以恢复出发生错误的数据，提高多视点视频编解码的性能，便需要采用相应的抗误码方案。

在实现本发明的过程中，发明人发现：在现有技术中，还没有一种可以有效利用帧间信息提高多视点视频编解码的性能的抗误码方案。

发明内容

本发明的实施例提供了一种多视编解码方法及装置，使得在多视编解码过程中，能够有效利用帧间信息提高编解码性能。

本发明实施例提供了一种多视编码方法，用于对多个视的视频图像进行编码处理，在对多个视的视频图像信息进行编码并写入码流的过程中，还包括：将参考帧信息的帧号及视点标识写入码流中发送给解码端。

本发明实施例提供了一种多视编码装置，包括多视图像编码单元，用于对多个视的视频图像进行编码处理，还包括：

参考帧信息编码单元，用于将参考帧信息的帧号及视点标识写入码流；

发送单元，用于将所述多视图像编码单元和所述参考帧信息编码单元编码获得的码流发送给解码端。

本发明实施例提供了一种多视解码方法，用于对多个视的视频图像进行解码处理，在对多个视的视频图像信息进行解码的过程中，还包括：

从接收到的多视点的视频编码码流中，解码获得参考帧信息的帧号及视点标识。

本发明实施例提供了一种多视解码方法，用于对多个视的视频图像进行解码处理，在对多个视的视频图像信息进行解码的过程中，还包括：

从接收到的多视点的视频编码码流中，解码获得参考帧信息的帧号及视点标识；

根据获得的所述参考帧信息的帧号及视点标识，确定当前采用的参考帧信息；

根据所述的参考帧信息对发生错误的当前帧进行恢复处理。

本发明实施例提供了一种多视解码装置，包括多视图像解码单元，用于对多个视的视频图像进行解码处理，还包括：

码流接收单元，用于接收包含参考帧信息的帧号及视点标识的码流；

参考帧信息解码单元，用于从所述码流接收单元接收到的码流中解码获得参考帧信息的帧号及视点标识。

本发明实施例提供了一种多视解码装置，包括多视图像解码单元，用于对多个视的视频图像进行解码处理，且还包括：

码流接收单元，用于接收包含参考帧信息的帧号及视点标识的码流；

参考帧信息解码单元，用于从所述码流接收单元接收到的码流中解码获得参考帧信息的帧号及视点标识；

参考帧信息确定单元，用于根据所述参考帧信息解码单元获得的参考帧信息的帧号及视点标识，确定当前采用的参考帧信息；

错误恢复单元，用于根据所述参考帧信息确定单元确定的参考帧信息对发生错误的当前帧进行恢复处理。

由上述本发明的实施例提供的技术方案可以看出，在多视点视频编解码过程中，解码端可以获知各个帧的视点标识信息，即可以确认各帧所来自的视点，从而使得可以根据所述视点标识信息确定在误码恢复过程中可以有效利用的帧间信息，以提高多视点视频编解码的性能。

附图说明

图1为本发明实施例中的多视解码过程示意图一；

图2为本发明实施例中的多视解码过程示意图二；

图3为本发明实施例提供的装置的结构示意图。

具体实施方式

本发明实施例中，在对多个视的视频图像进行编码处理过程中，将参考帧信息的帧号及视点标识作为辅助增强信息写入码流中发送给解码端。以使得在对多个视的视频图像信息进行解码的过程中，可以从接收到的多视点的视频编码码流中，解码获得参考帧信息的帧号及视点标识。在解码端解码获得所述的参考帧信息的帧号及视点标识后，便可以根据参考帧信息的帧号及视点标识，确定当前采用的参考帧信息；进一步地，则可以根据所述的参考帧信息对发生错误的当前帧进行恢复处理。

其中，所述的辅助增强信息是指解码操作中的非必要的信息，即在解码端收到辅助增强信息后，在不利用该辅助增强信息的情况也可以正常解码，但是，若能够有效利用该辅助增强信息，则可以改善解码的效果，如利用其进行误码恢复处理等。

本发明实施例中，所述的参考帧信息可以包括：重复参考帧标记和/或参考帧，即：在针对多视点的视频编码技术的解码端可以有效利用帧间信息进行误码的恢复，从而改善解码端的解码效果，提高编解码的性能；例如，可以根据确定的重复参考帧标记对发生错误的当前帧进行恢复处理；也可以根据确定已经完成解码的参考帧对发生错误的当前帧进行恢复处理；或者，也可以同时采用上述两种恢复处理方案。

为便于对本发明实施例的理解，下面将结合附图对本发明实施例的具体实现过程进行说明。

(一)基于重复参考帧标记的误码恢复实施例

在多视频编解码处理过程中，采用参考帧标记的作用是标记图像为长期参考帧、短期参考帧、非参考帧，以使得解码端可以根据该参考帧标记有效利用参考帧提高编解码效率。所述的参考帧标记信息是通过码流传输到解码端的，在码流传输过程中，为了避免因参考帧标记的丢失影响视频的正确解码，则可以采用重复参考帧标记的方式，即将某一帧的参考帧标记信息在随后的码流中多次重复传送，以提高解码端的抗误码能力，增强多视点的视频传输性能。

在基于多视点编码对应的解码端(即解码器)中，为了能正确利用重复参考帧标记，则需要获知重复参考帧标记来自于哪一幅图像，则既需要获知其时间方向上的信息(即帧号)，以及对应的视点标识(来自于哪一个视)；因此，需要在编码过程中设置相应的重复参考帧标记的视点标识和帧号等信息，具体实现方式如表1和表2所示：

表1

dec_ref_pic_marking_repetition(payloadSize){	C	Descriptor
			original_idr_flag	5	u(1)
if(svc_mvc_flag&&view_level＞0)
			{
original_view_id(视点标识)	5	ue(v)
			}
original_frame_num(帧号)	5	ue(v)
			if(！frame_mbs_only_flag){
original_field_pic_flag	5	u(1)
			if(original_field_pic_flag)
original_bottom_field_flag	5	u(1)
			}
Dec_ref_pic_marking()	5
			}

表2

dec_ref_pic_marking_repetition(payloadSize){	C	Descriptor
			original_idr_flag	5	u(1)
if(svc_mvc_flag&&view_level＞0)
			{
original_view_id(视点标识)	5	ue(v)
			}
if(！original_idr_flag)
			{
original_frame_num(帧号)	5	ue(v)
			}
if(！frame_mbs_only_flag){
			original_field_pic_flag	5	u(1)
if(original_field_pic_flag)
			original_bottom_field_flag	5	u(1)
}
			dec_ref_pic_marking()	5
}

通过上述表1和表2中可以看出，若采用多视点编码，则需要在码流中编码重复考帧标记所在的视点标识original_view_id。

在表1和表2中的主要参数的含义如下：

originial_idr_flag，用于表示参考帧标记被重复的图像是否为IDR帧；

original_view_id，为参考帧标记的视点标识，用于表示被参考帧标记信息来自哪个视点的信息；

original_frame_num，用于表示参考帧标记被重复图像的帧号；

original_field_pic_flag、original_bottom_field_flag，分别用来表示被重复图像的场信息；

dec_ref_pic_marking()，用于表示被重复的参考帧标记语法结构，包含了具体的标记信息。

因此，在编码端(即编码器)可以将表3中的信息传送给解码端：

表3

original_idr_flag

original_view_id

original_frame num

…

这样，在解码端收到上述表3中的信息后，便可以根据其中的帧号和视点标识等信息来决定重复使用的参考帧标记信息，从而可以利用所述的参考帧标记信息进行误码的恢复操作，以提高多视点的视频编解码的性能。

上述基于重复参考帧标记的误码恢复应用实施例中，若某一帧发生数据丢失，由其对应的参考帧标记信息可以利用后续重复传输的其它帧的参考帧标记确定相应的参考帧，从而实现针对丢失或损坏等原因导致的误码进行有效地恢复处理。参照图1所示，当被重复的参考帧标记的原始图像视点1的帧2发生错误时，则还可以用相邻视点对应的帧2的标记信息进行恢复操作。

(二)基于参考帧的误码恢复实施例

在该实施例中，若当前解码图像(即目标图像)不能正确解码，则利用一个或多个已解码参考图像(即参考帧)对当前解码帧进行误码修复，以掩盖错误，提高解码的性能。例如，当前解码图像可以利用在参考帧中相同位置的条带组来修复其帧内相同位置不能正确解码的条带组，以实现相应的误码修复操作。

在多视点视频编码过程中，为了使得解码器能够获知备用图像(即参考帧)来自于哪一幅图像，则需要将参考帧的时间方向上的信息(即帧号)，以及参考帧来自于哪个视点(即视点标识)发送给解码端。因此，相应的具体解决方法如表4所示：

表4

spare_pic(payloadSize){	C	Descriptor
			target_frame_num(帧号)	5	ue(v)
if(svc_mvc_flag&&view_level＞0){
			target_view_id(视点标识)	5	ue(v)
}
			spare_field_flag	5	u(1)
if(spare_field_flag)
			target_bottom_field_flag	5	u(1)
num_spare_pics_minus1	5	ue(v)
			for(i＝0；i＜num_spare_pics_minus1+1；i++){
if(svc_mvc_flag&&view_level＞0){
			delta_spare_view_id[i]	5	ue(v)
}
			delta_spare_frame_num[i]	5	ue(v)
if(spare_field_flag)
			spare_bottom_field_flag[i]	5	u(1)
spare_area_idc[i]	5	ue(v)
			if(spare_area_idc[i]＝＝1)
for(j＝0；j＜PicSizeInMapUnits；j++)
			spare_unit_flag[i][j]	5	u(1)
else if(spare_area_idc[I]＝＝2){
			mapUnitCnt＝0
for(j＝0；mapUnitCnt＜PicSizeInMapUnits；j++){
			zero_run_length[i][j]	5	ue(v)
mapUnitCnt+＝zero_run_length[i][j]+1
			}
}
			}
}

通过表4可以看出，如果采用多视点编码，则需要在码流中编码目标图像所在的视点以及备用图像视点和目标图像视点的差值，以便解码器能正确利用视点间的参考帧恢复受损的目标图像；

在表4中的主要参数含义如下：

target_frame_num，为目标图像解码帧号；

target_view_id，用于表示目标图像的view_id，即视点标识；

delta_spare_view_id[i]，用于确定参考帧中包含的第i个备用条带组单元的view_id(视点标识)，其中，参考帧的view_id值应在0到1023之间(包括0和1023)。

假设，i的值为由0到num_spare_pics_minus1(包括0和num_spare_pics_minus1)，则第i个参考帧的view_id，即spareViewld[i]是第i个参考帧的视点标识，其推导方式如下：

对于(num_spare_pics_minus1+1)个参考帧，每一个参考帧的视点标识都可以根据目标图像的视点标识值target_view_id和参考图像的视点标识差值delta_spare_view_id[i]得到：

spareViewld[i]＝target_view_id_delta_spare_view_id[i]。

spare_field_flag，用于表示目标图像(当前解码帧)和参考帧的解码模式为解码场或解码帧；

target_bottom_field_flag，用于表示目标图像是属于底场或顶场；

num_spare_pics_minus1，用于表示目标图像可用的参考帧的数目；

delta_spare_frame_num[i]，用于确定参考帧中包含的第i个备用条带组单元，其中，

假设i值从0到num_spare_pics_minus1(包含0和num_spare_pics_minus1)，则确定第[i]个参考帧的解码帧号spareFrameNum[i]的过程为：

首先，根据目标图像的帧号和解码模式标记确定候选备用图像帧号；

然后，由候选备用图像帧号candidateSpareFrameNum和备用图像帧号与目标图像帧号的差值delta_spare_frame_num[i]确定：

spareFrameNum[i]＝candidateSpareFrameNum-delta_spare_frame_num[i]；

相应的参考帧的帧号spareFrameNum[i]的推导过程的伪码如下：

candidateSpareFrameNum＝target_frame_num-！spare_field_flag

for(i＝0；i＜＝num_spare_pics_minus1；i++){

 if(candidateSpareFrameNum＜0)

    candidateSpareFrameNum＝MaxFrameNum-1

 spareFrameNum[i]＝candidateSpareFrameNum-delta_spare_frame_num[i]

 if(spareFrameNum[i]＜0)

    spareFrameNum[i]＝MaxFrameNum+spareFrameNum[i]

 candidateSpareFrameNum＝spareFrameNum[i]-！spare_field_flag

}；

spare_bottom_field_flag[i]，用于表示第[i]个参考帧是属于底场还是属于顶场；

spare_area_idc[i]，用于表示确定在第[i]个参考帧中的备用条带组单元的方式；例如，指出全部在第[i]个图像中的条带组是参考单元(即参考帧用于在恢复误码时的参考信息)，或者，指出用语法元素spare_unit_flag[i][j]的值来确定参考帧条带组单元，或者，指出用语法元素zero_run_length[i][j]确定spareUnitFlaglnBoxOutOrder[i][j]的值；

zero_run_length[i][j]，根据spare_area_idc[i]的值的指示，用于推导spareUnitFlaglnBoxOutOrder[i][j]的值，spareUnitFlaglnBoxOutOrder[i][j]用于指出在第i个参考帧中以逆时针Box-out(以箱子形状由中心向外)扫描顺序的第j个条带组是否为参考单元；

spare_unit_flag[i][j]，用于表示在第i个参考帧中以光栅扫描顺序的第j个条带组是否为参考单元。

因此，在编码端可以将下述表5中的各信息传输到解码端：

表5

target_frame_num

target_view_id

spare_field_flag

num_spare_pies_minus1

delta_spare_view_id

…

这样，在解码端便可以正确标识出参考帧来自于哪个视点及相应的帧号信息，以便于在解码端利用相应的参考帧进行误码恢复操作。

在该实施例中，可以在多视点视频解码过程中有效利用参考帧进行误码恢复处理，以提高多视点视频解码的性能。如图2所示，当解码图像视点1的帧2中某个位置上的条带组不能正确解码的时候，还可以利用相邻视点对应的已解码帧2中相同位置上的条带组进行恢复。

本发明实施例还提供了一种多视编码装置，其具体实现结构如图3所示，具体包括以下处理单元：

多视图像编码单元，用于对多个视的视频图像进行编码处理；

参考帧信息编码单元，用于将需要发送给解码端的参考帧信息的帧号及视点标识写入码流中；

发送单元，用于将所述多视图像编码单元和所述参考帧信息编码单元编码获得的码流发送给解码端。

与所述的多视编码装置对应，本发明实施例还提供了一种多视解码装置，其具体实现结构仍如图3所示，包括以下处理单元：

码流接收单元，用于接收包含参考帧信息的帧号及视点标识的码流；

多视图像解码单元，用于对接收到的码流中的多个视的视频图像进行解码处理，以获得各个视的视频图像信息；

参考帧信息解码单元，用于从所述码流接收单元接收到的码流中解码获得参考帧信息的帧号及视点标识。

在解码过程中还可以利用参考帧信息解码单元获得的参考帧信息的帧号及视点标识对出现错误的帧进行恢复的处理，以改善解码效果，因此，所述的装置还可以包括以下处理单元：

参考帧信息确定单元，用于根据所述参考帧信息解码单元获得的参考帧信息的帧号及视点标识，确定当前采用的参考帧信息；

错误恢复单元，用于根据所述参考帧信息确定单元确定的参考帧信息对发生错误的当前帧进行恢复处理；

可选地，根据采用的错误恢复方式的不同，所述的错误恢复单元具体可以包括以下任一单元或同时包含以下两单元：

基于重复参考帧标记的恢复处理单元，用于根据所述参考帧信息确定单元确定的重复参考帧标记对发生错误的当前帧进行恢复处理；

基于参考帧的恢复处理单元，用于根据所述参考帧信息确定单元确定的已经完成解码的参考帧对发生错误的当前帧进行恢复处理。

通过上述编解码装置，使得在多视点视频编解码过程中，解码端可以获知各个帧的视点标识信息，即可以确认各帧所来自的视点，从而使得可以根据所述视点标识信息确定在误码恢复过程中可以有效利用的帧间信息，以提高多视点视频编解码的性能。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1、一种多视编码方法，用于对多个视的视频图像进行编码处理，其特征在于，在对多个视的视频图像信息进行编码并写入码流的过程中，还包括：

将参考帧信息的帧号及视点标识写入码流中发送给解码端。

2、根据权利要求1所述的方法，其特征在于，所述的参考帧信息包括：重复参考帧标记和/或参考帧。

3、一种多视编码装置，包括多视图像编码单元，用于对多个视的视频图像进行编码处理，其特征在于，还包括：

参考帧信息编码单元，用于将参考帧信息的帧号及视点标识写入码流；

发送单元，用于将所述多视图像编码单元和所述参考帧信息编码单元编码获得的码流发送给解码端。

4、一种多视解码方法，用于对多个视的视频图像进行解码处理，其特征在于，在对多个视的视频图像信息进行解码的过程中，还包括：

从接收到的多视点的视频编码码流中，解码获得参考帧信息的帧号及视点标识。

5、根据权利要求4所述的方法，其特征在于，所述的参考帧信息包括：重复参考帧标记和/或参考帧。

6、一种多视解码方法，用于对多个视的视频图像进行解码处理，其特征在于，在对多个视的视频图像信息进行解码的过程中，还包括：

从接收到的多视点的视频编码码流中，解码获得参考帧信息的帧号及视点标识；

根据获得的所述参考帧信息的帧号及视点标识，确定当前采用的参考帧信息；

根据所述的参考帧信息对发生错误的当前帧进行恢复处理。

7、根据权利要求6所述的方法，其特征在于，根据所述的参考帧信息对发生错误的当前帧进行恢复处理的步骤包括：

根据确定的重复参考帧标记对发生错误的当前帧进行恢复处理；和/或，

根据确定已经完成解码的参考帧对发生错误的当前帧进行恢复处理。

8、一种多视解码装置，包括多视图像解码单元，用于对多个视的视频图像进行解码处理，其特征在于，还包括：

码流接收单元，用于接收包含参考帧信息的帧号及视点标识的码流；

参考帧信息解码单元，用于从所述码流接收单元接收到的码流中解码获得参考帧信息的帧号及视点标识。

9、一种多视解码装置，包括多视图像解码单元，用于对多个视的视频图像进行解码处理，其特征在于，还包括：

码流接收单元，用于接收包含参考帧信息的帧号及视点标识的码流；

参考帧信息解码单元，用于从所述码流接收单元接收到的码流中解码获得参考帧信息的帧号及视点标识；

参考帧信息确定单元，用于根据所述参考帧信息解码单元获得的参考帧信息的帧号及视点标识，确定当前采用的参考帧信息；

错误恢复单元，用于根据所述参考帧信息确定单元确定的参考帧信息对发生错误的当前帧进行恢复处理。

10、根据权利要求9所述的装置，其特征在于，所述的错误恢复单元具体包括：

基于重复参考帧标记的恢复处理单元，用于根据所述参考帧信息确定单元确定的重复参考帧标记对发生错误的当前帧进行恢复处理；和/或，

基于参考帧的恢复处理单元，用于根据所述参考帧信息确定单元确定的已经解码的参考帧对发生错误的当前帧进行恢复处理。

Images