CN104982038B - 处理视频信号的方法和设备 - Google Patents

处理视频信号的方法和设备 Download PDF

Info

Publication number
CN104982038B
CN104982038B CN201480007966.6A CN201480007966A CN104982038B CN 104982038 B CN104982038 B CN 104982038B CN 201480007966 A CN201480007966 A CN 201480007966A CN 104982038 B CN104982038 B CN 104982038B
Authority
CN
China
Prior art keywords
deformation
compensated
information
block
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480007966.6A
Other languages
English (en)
Other versions
CN104982038A (zh
Inventor
许镇
郑志旭
芮世薰
具文模
金兑燮
成宰源
孙银庸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN104982038A publication Critical patent/CN104982038A/zh
Application granted granted Critical
Publication of CN104982038B publication Critical patent/CN104982038B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种用于处理视频信号的方法和设备，更加具体地，涉及一种用于处理视频信号的方法和设备，其应用变形补偿以解码当前纹理块。本发明能够通过借助于使用变形补偿参数信息获得通过当前纹理块参考的参考图片内的块的位置，并且获得从当前纹理块的预测值获得的参考图片内的块的像素值来增加中间预测的精确度。

Description

处理视频信号的方法和设备
技术领域
本发明涉及一种用于处理视频信号的方法和设备。
背景技术
压缩指的是用于通过通信线路来发送数字信息或者以适合于存储介质的形式存储该数字信息的信号处理技术。压缩目的包括音频、视频以及文本。特别地，压缩图像的技术被称作视频压缩。多视图视频有空间冗余、时间冗余以及视图间冗余的特性。
发明内容
技术问题
本发明的目的在于改进视频信号编译效率。
技术方案
本发明使用不同视图的参考图片将变形补偿应用于当前纹理块的解码。
此外，本发明使用相邻的块的变形补偿参数索引信息获取当前纹理块的变形补偿参数索引信息。
有益效果
本发明能够通过变形补偿由于相机位置导致的视图差获取精确的参考图片并且改进解码精确度。
另外，本发明能够通过使用相邻块的变形补偿参数索引信息获取当前纹理块的变形补偿参数索引信息来减少解码复杂性。
附图说明
图1是根据本发明的实施例的深度编译被应用于的广播接收机的框图。
图2是根据本发明的实施例的视频解码器的框图。
图3图示根据本发明被应用的取决于相机位置拍摄不同长度和形状的物体的图片的示例。
图4是图示根据本发明被应用的实施例的在视图合成预测中使用变形补偿方法解码当前纹理图片的示例的流程图。
图5图示根据本发明被应用的实施例的获取虚拟参考图片的示例。
图6是图示根据本发明被应用的在视差补偿预测中的示例性的变形补偿方法的流程图。
图7图示根据本发明被应用的实施例的获取变形补偿应用信息和变形补偿比例信息的示例。
图8图示根据本发明被应用的实施例的获取变形补偿块信息的示例。
图9图示根据本发明被应用的实施例的获取变形补偿参数索引信息的示例。
图10图示根据本发明被应用的实施例的通过重新使用相邻块的变形补偿参数索引信息获取当前纹理块的变形补偿参数索引信息的示例。
图11图示根据本发明被应用的实施例的获取变形补偿合并左标志和变形补偿合并上标志的示例。
图12图示根据本发明被应用的实施例的通过重新使用相邻块的变形补偿参数索引信息获取当前纹理块的变形补偿参数索引信息的示例。
图13图示根据本发明被应用的实施例的获取变形补偿重用信息的示例。
具体实施方式
本发明提供一种视频解码器以及信号处理方法，视频解码器包括中间预测单元，其被配置成解码参考视图纹理图片、参考视图深度图片以及当前视图深度图片中的至少一个，获取当前纹理块的变形补偿参数信息，使用变形补偿信息获取与当前纹理块相对应的在参考图片内的块，并且使用参考图片内的块的像素值和变形补偿参数信息获取当前纹理块的预测值。
中间预测单元可以获取与当前纹理块相对应的深度块，使用深度块的深度值获取视图间运动矢量，并且使用视图间运动矢量获取变形补偿参数信息。
可以使用变形补偿比例信息和变形补偿参数索引信息获取变形补偿参数信息。
可以使用变形补偿合并左标志或者变形补偿合并上标志获取变形补偿参数索引信息。
可以使用变形补偿重用信息获取变形补偿参数索引信息。
可以使用变形补偿应用信息获取变形补偿参数信息。
中间预测单元可以获取变形补偿块信息并且使用变形补偿块信息确定是否变形补偿被应用于当前纹理块。
用于本发明的模式
用于对多视图视频信号数据进行压缩或解码的技术考虑空间冗余、时间冗余以及视图间冗余。在多视图图像的情况下，能够对在两个或更多个视图处捕获的多视图纹理图像进行编译以便生成三维图像。此外，必要时可以对与多视图纹理图像相对应的深度数据进行编译。可以考虑到空间冗余、时间冗余或视图间冗余压缩深度数据。深度数据是关于相机与对应像素之间的距离的信息。在本说明书中深度数据能够被灵活地解释为诸如深度信息、深度图像、深度图片、深度序列以及深度比特流的深度相关信息。此外，编译(coding)在本说明书中能够包括编译(encoding)和解码(decoding)的两个改变并且能够在本发明的技术精神和技术范围内被灵活地解释。
图1是根据本发明应用于的实施例的深度编译被应用于的广播接收机的框图。
根据本实施例的广播接收机接收地面广播信号以再现图像。广播接收机能够使用接收到的深度相关信息来生成三维内容。广播接收机包括调谐器100、解调器/频道解码器102、传输解复用器104、解分组器106、音频解码器108、视频解码器110、PSI/PSIP处理器114、3D 渲染器116、格式化器120以及显示器122。
调谐器100从通过天线(未示出)输入的多个广播信号当中选择由用户调谐到的频道的广播信号并且输出所选择的广播信号。解调器/ 频道解码器102对来自调谐器100的广播信号进行解调并且对已解调信号执行误差校正解码以输出传输流TS。传输解复用器104对传输流进行解复用以便将传输流划分成视频PES和音频PES并且提取 PSI/PSIP信息。解分组器106对视频PES和音频PES进行解分组以恢复视频ES和音频ES。音频解码器108通过对音频ES进行解码来输出音频比特流。音频比特流被数字至模拟转换器(未示出)转换成模拟音频信号，被放大器(未示出)放大并且然后通过扬声器(未示出) 输出。视频解码器110对视频ES进行解码以恢复原始图像。能够基于由PSI/PSIP处理器114所确认的分组ID(PID)执行音频解码器108 和视频解码器110的解码过程。在解码过程期间，视频解码器110能够提取深度信息。此外，视频解码器110能够提取生成虚拟相机视图的图像所必需的附加信息，例如，相机信息或用于估计通过前物体的闭塞的信息(例如，诸如物体轮廓的几何信息、物理透明性信息以及彩色信息)，并且将附加信息提供给3D渲染器116。然而，在本发明的其它实施例中深度信息和/或附加信息可以通过传输解复用器104彼此分离。
PSI/PSIP处理器114从传输解复用器104接收PSI/PSIP信息，解析PSI/PSIP信息并且将经解析的PSI/PSIP信息存储在存储器(未示出) 或寄存器中以便使得能够基于所存储的信息广播。3D渲染器116能够使用经恢复的图像、深度信息、附加信息以及相机参数在虚拟相机位置处生成彩色信号、深度信息等。
此外，3D渲染器116通过使用经恢复的图像和有关经恢复的图像的深度信息来执行3D扭曲而在虚拟相机位置处生成虚拟图像。虽然在本实施例中3D渲染器116被配置为与视频解码器110分离的块，但是这仅仅是示例，并且3D渲染器116可以被包括在视频解码器110中。
格式化器120格式化在解码过程中恢复的图像(即，由相机捕获的实际图像)和由3D渲染器116根据广播接收机的显示模式所生成的虚拟图像，使得3D图像通过显示器122来显示。这里，可以响应于用户命令而选择性地执行深度信息和虚拟图像在虚拟相机位置处通过3D 渲染器116的合成以及通过格式化器120的图像格式化。也就是说，用户可以操纵遥控器(未示出)，使得合成图像未被显示并且指定图像合成时间。
如上所述，用于生成3D图像的深度信息由3D渲染器116使用。然而，在其它实施例中深度信息可以由视频解码器110使用。将给出其中视频解码器110使用深度信息的各种实施例的描述。
图2是根据本发明应用于的实施例的视频解码器的框图。
参考图2，视频解码器110可以包括熵解码单元210、逆量化单元 220、逆变换单元230、去块滤波器单元240、解码图片缓冲单元250、帧间预测单元260以及帧内预测单元270。在图2中，实线表示彩色图片数据的流并且虚线表示深度图片数据的流。虽然在图2中单独地表示了彩色图片数据和深度图片数据，但是彩色图片数据和深度图片数据的单独表示可以指代单独的比特流或一个比特流中的数据的单独流。也就是说，彩色图片数据和深度图片数据能够作为一个比特流或单独的比特流被发送。图2仅示出数据流并且不将操作限于在一个解码器中执行的操作。
首先，为了对接收到的深度比特流200进行解码，按NAL解析深度比特流200。这里，可以将有关深度的各种类型的属性信息包括在 NAL报头区、NAL报头的扩展区、序列报头区(例如序列参数集)、序列报头的扩展区、图片报头区(例如图片参数集)、图片报头的扩展区、片报头区、片报头的扩展区、片数据区或宏块区中。虽然可以使用单独的编解码器来执行深度编译，但是如果实现了与现有编解码器的兼容性，则仅在深度比特流的情况下添加有关深度的属性信息可能是更高效的。例如，能够将用于标识深度比特流的深度标识信息添加到序列报头区(例如序列参数集)或序列报头的扩展区。能够根据深度标识信息仅在输入比特流是深度编译比特流时添加有关深度序列的属性信息。
经解析的深度比特流200通过熵解码单元210而被熵解码并且提取每个宏块的系数、运动矢量等。逆量化单元220将接收到的量化值乘以预定常数以便获得变换系数，并且逆变换单元230对系数进行逆变换以恢复深度图片的深度信息。帧内预测单元270使用经恢复的当前深度图片的深度信息来执行帧内预测。去块滤波器单元240对每个编译宏块应用去块滤波以便降低块失真。去块滤波器单元通过使块的边缘平滑来改进解码帧的纹理。滤波过程是取决于边界强度和在边界周围的图像样本梯度来选择的。滤波的深度图片被输出或者存储在解码图片缓冲单元250中以被用作参考图片。
解码图片缓冲单元250存储或者打开先前编译的深度图片以用于帧间预测。这里，为了将编译深度图片存储在解码图片缓冲单元250 中或者为了打开存储的编译深度图片，使用了每个图片的frame_num 和POC(图片顺序计数)。因为先前编译的图片可以包括与不同于当前深度图片的视图相对应的深度图片，所以能够使用用于标识深度图片的视图的深度视图信息以及frame_num和POC，以便在深度编译中将先前编译的图片用作参考图片。
此外，解码图片缓冲单元250可以使用深度视图信息以便为深度图片的视图间预测生成参考图片列表。例如，解码图片缓冲单元250 能够使用深度视图参考信号。深度视图参考信息指代用来指示深度图片的视图间依赖性的信息。例如，深度视图参考信息可以包括深度视图的数目、深度视图标识号、深度视图参考图片的数目、深度视图参考图片的深度视图标识号等。
解码图片缓冲单元250管理参考图片以便实现更灵活的帧间预测。例如，能够使用存储器管理控制操作方法和滑动窗口方法。参考图片管理将参考图片存储器和非参考图片存储器统一成一个存储器并且管理统一的存储器以便采用小容量存储器实现高效管理。在深度编译中，能够单独地标记深度图片以在解码图片缓冲单元中与彩色图片区分开，并且能够在标记过程中使用用于标识每个深度图片的信息。通过前述过程所管理的参考图片能够被用于帧间预测单元260中的深度编译。
参考图2，帧间预测单元260可以包括运动补偿单元261、虚拟视图合成单元262以及深度图片生成单元263。
运动补偿单元261使用从熵解码单元210发送的信息来补偿当前块的运动。运动补偿单元261从视频信号中提取当前块的邻近块的运动矢量并且获取当前块的运动矢量预测值。运动补偿单元261使用从视频信号中提取的运动矢量预测值和差分矢量来补偿当前块的运动。可以使用一个参考图片或多个图片来执行运动补偿。在深度编译中，在当前深度图片指代不同视图的深度图片时能够对于存储在解码图片缓冲单元250中的深度图片的视图间预测使用关于参考图片列表的信息来执行运动补偿。另外，可以使用用于标识深度图片的视图的深度视图信息来执行运动补偿。
虚拟视图合成单元262使用当前彩色图片的视图的邻近视图的彩色图片来合成虚拟视图的彩色图片。为了使用邻近视图的彩色图片或者为了使用期望的特定视图的彩色图片，能够使用指示彩色图片的视图的视图标识信息。当生成了虚拟视图的彩色图片时，能够定义指示是否生成了虚拟视图的彩色图片的标志信息。当标志信息指示虚拟视图的彩色图片的生成时，能够使用视图标识信息来生成虚拟视图的彩色图片。通过虚拟视图合成单元262获取的虚拟视图的彩色图片可以被用作参考图片。在这种情况下，能够将视图标识信息指配给虚拟视图的彩色图片。
在另一实施例中，虚拟视图合成单元262能够使用与当前深度图片的视图的邻近视图相对应的深度图片来合成虚拟视图的深度图片。在这种情况下，能够使用指示深度图片的视图的深度视图标识信息。这里，能够从对应的彩色图片的视图标识信息得到深度视图标识信息。例如，对应的彩色图片能够具有与当前深度图片的那些相同的图片顺序计数信息和相同的视图标识信息。
深度图片生成单元263能够使用深度编译信息来生成当前路径图片。这里，深度编译信息可以包括指示相机与物体之间的距离参数(例如，相机坐标***上的Z坐标值等)、用于深度编译的宏块类型信息、用于标识深度图片中的边界的信息、指示RBSP中的数据是否包括深度编译数据的信息、指示数据类型是深度图片数据、彩色图片数据还是视差数据的信息等。此外，可以使用深度编译信息来预测当前深度图片。也就是说，能够执行使用当前深度图片的邻近深度图片的帧间预测，并且能够执行使用当前深度图片中的解码深度信息的帧内预测。
将会参考图3给出其中当拍摄多视图图像时取决于相机位置物体被看成具有不同长度和形状的物体的示例的描述。
图3是根据本发明的实施例的取决于相机位置拍摄不同长度和形状的物体的图片的示例。
在多视图图像的拍摄中，当相机位于不同的位置处并且通过相机拍摄物体时，如在图3中所示，根据相机的位置能够不同地拍摄物体。例如，当使用相机C1和C2拍摄相对于其中相机C1和C2被定位的线倾斜布置的第一物体310时，如在图3中所示，具有长度AB的第一物体310通过相机C1被拍摄为具有小于AB的长度ab的图像，并且通过C2被拍摄为具有小于AB并且不同于ab的长度cd的图像。即，根据相机位置可以以不同的长度拍摄第一物体310。另一示例，如在图3 中所示，可以拍摄相对于其中相机C3和C4被定位的线倾斜布置的正方形的第二物体320。在这样的情况下，通过相机C3第二物体320能够被拍摄为钻石形状的图像。另外，通过相机C4第二物体320能够被拍摄为平行四边形的图像。即，根据相机位置可以以不同形状拍摄第二物体。
如在图3中所示，根据相机位置物体可以被看成不同长度或者形状的物体并且因此可以产生长度差或者扭曲。这样的长度差或者扭曲劣化多视图图像的解码精确度。即，当通过相机C1和C3捕获到的图像是参考视图V0的图像并且通过相机C2和C4捕获到的图像是参考视图V1的图像时，当使用参考视图的图像解码当前视图的图像时由于长度差或者扭曲难以获取当前块的精确的参考块，劣化了解码精确度。
因此，本发明提供一种用于通过使用利用变形补偿参数产生的参考图片获取当前纹理块的预测值的方法作为用于根据相机位置补偿长度差和扭曲的变形补偿方法以便于改进多视图图像的精确度。能够在视图合成预测和视差补偿预测中使用变形补偿方法。
将会给出在视图合成预测中的变形补偿方法和视差补偿预测中的变形补偿方法的描述。在此，视图合成预测(VSP)是通过使用参考视图的纹理图片和参考视图或者当前视图的深度图片合成与当前视图相同的视图的虚拟参考图片并且使用虚拟参考图片作为当前纹理块的预测值的方法。将会参考图4给出在这样的视图合成预测中的变形补偿方法的描述。
图4是图示根据本发明的实施例的在视图合成预测中使用变形补偿方法解码当前纹理块的示例的流程图。
可以解码参考视图纹理图片、参考视图深度图片和当前视图深度图片中的至少一个(S410)。在当前视图纹理图片之前可以解码参考视图纹理图片。在此，被解码的深度块可以包括参考视图的深度块和当前视图的深度块中的一个。通过内部预测或者中间预测可以解码参考视图纹理图片并且在没有使用不同视图的纹理图片作为参考图片的情况下可以解码。
可以获取与当前纹理块相对应的深度块(S420)。在此，与当前纹理块相对应的深度块可以是在与当前图片相同的视图中并且具有与当前图片相同的POC的深度图片内的与当前纹理图片相同位置处的深度块。可替选地，与当前纹理块相对应的深度块可以是被布置在与不同于当前图片的视图相对应并且具有与当前图片相同的POC的深度图片内的考虑视图间运动矢量的位置处的深度块。例如，在当前纹理图片的左上点是(px，py)并且视图间运动矢量是(dvx，dvy)时，在参考视图处的与当前纹理块相对应的深度块的左上点能够是(px+dvx, pu+dvy)。可替选地，视图间运动矢量的y值可以被忽略并且(px+dvx, py)可以被确定为与当前纹理块相对应的深度块的左上点。
当前纹理块的变形补偿参数信息可以被获取(S430)。变形补偿参数信息是用于根据相机位置补偿长度差和扭曲的参数，并且可以包括长度差变形补偿参数和扭曲变形补偿参数，并且使用与当前纹理块相对应的深度块的深度值来获取。通过使用在S420中确定的与当前纹理块相对应的深度块的深度值，在当前纹理图片中每个块能够获取变形补偿参数信息。
将会给出用于获取变形补偿参数信息的方法的描述。
1)使用块中的所有像素的变形补偿参数信息的获取
当前纹理块中的所有像素可以被搜寻与当前纹理块相对应的深度块，如上所述，并且从深度块中的深度像素值可以计算视图间运动矢量。然后，通过使用视图间运动矢量可以获取与当前纹理块的各个像素相对应的参考视图像素坐标。使用最小二乘估计(LSE)可以获取最小化通过等式1表示的误差的变形补偿参数信息。
[等式1]
2)使用块中的像素的部分的变形补偿参数信息的获取
仅使用当前纹理块中的像素的部分通过LSE可以获取变形补偿参数信息。像素的部分可以是当前纹理块中的左上像素、右上像素、左下像素以及右下像素。可替选地，像素的部分可以是当前纹理块中的以预定间隔的多个像素。
3)通过简单计算的变形补偿参数信息的获取
根据此方法，从与当前纹理块的中心像素相对应的深度值确定要被应用于当前纹理块的dx。另外，对应于当前纹理块的中心像素的参考视图图片中的像素位置被确定为(0,0)，并且与当前纹理块的四个角相对应的像素的坐标被计算。长度差变形补偿参数α能够被确定为当前纹理图片的上侧的长度与下侧的长度的比率的平均值，并且扭曲变形补偿参数β能够被确定为连接分别对应于上侧的中心和下侧的中心的两个像素的线的斜率。
通过合并参考视图纹理图片和深度图片可以获取虚拟参考图片 (S440)。虚拟参考图片是被用于当前纹理块内的当前纹理块的视图合成预测。通过合并纹理图片和深度图片能够获取虚拟参考图片。即，通过使用对应于虚拟参考图片中的像素的深度图片中的深度值产生视图间运动矢量，并且通过视图间运动矢量移动纹理图片的像素能够获取虚拟参考图片。在当前纹理块的解码之前可以合成虚拟参考图片或者在解码过程期间被合成。例如，仅在当前纹理块是使用视图合成预测解码的块时能够获取虚拟参考图片。稍后将会参考图5详细地描述获取虚拟参考图片的示例。
使用虚拟参考图片和变形补偿参数信息可以获取当前纹理块的预测值(S450)。对应于当前纹理块的在虚拟参考图片中的块的位置可以被获取，并且对应于被获取的位置的虚拟参考图片内的块的像素值可以被获得作为当前纹理块的预测值。可以通过等式2使用变形补偿参数信息获取对应于当前纹理块的虚拟参考图片内的块的位置。
[等式2]
在等式2中，x’指示与长度差有关的变形补偿参数，并且y’指示与扭曲程度有关的变形补偿参数。另外，(cx,cy)表示当前视图内的当前纹理块的中心坐标，(dx,dy)表示对应于当前纹理块的中心坐标的参考视图内的坐标，(x,y)指示基于中心坐标表示的在当前纹理块中的像素的坐标，并且(x’,y’)指示对应于(x,y)的参考视图内的坐标。因为用于拍摄多视图图像的两个相机被定位在水平线上，所以能够假定dy是0，并且y坐标没有被改变。因此，当相对于x坐标排列等式2时，通过等式3能够表示变形补偿参数信息的作用。
[等式3]
x'＝αxi+βyi+cx+dx
在此，下标i被用于识别当前纹理块中的像素。通过等式3使用当前纹理块中的像素和变形补偿参数信息能够获取对应于当前纹理块的参考视图内的像素的坐标。
将会参考图5给出获取虚拟参考图片的示例的描述。
图5图示根据本发明的实施例的获取虚拟参考图片的示例。
图5(a)示出通过向前合成获取虚拟参考图片的示例。当按照纹理图片和深度图片的顺序执行解码时能够使用前向合成。在图5(a)，通过实线指示的参考视图纹理图片512和参考视图深度图片513是已经被解码的图片，通过虚线指示的当前视图当前纹理图片510和当前视图深度图片514是还没有被解码的图片，并且虚拟参考图片511是用于解码当前视图纹理图片510的图片。
使用利用参考视图纹理图片512的像素值和参考视图深度图片 513的深度值获取的视图间运动矢量能够获取通过前向合成的虚拟参考图片511。即，通过使用利用在参考视图深度图片内的相同的位置(x， y)处的深度值获取的视图间运动矢量dv，在参考视图当前纹理图片内的(x，y)处的像素能够对应于虚拟参考图片内的(x+dv,y)处的像素。
图5(b)示出通过反向合成获取虚拟参考图片的示例。当以深度图片和纹理图片的顺序执行解码时能够使用反向合成。在图5(b)中，通过实线指示的参考视图纹理图片512、参考视图深度图片513以及当前视图深度图片514是已经被解码的图片，通过虚线指示的当前视图纹理图片是还没有被解码的图片，并且虚拟参考图片511是用于解码当前视图纹理图片510的图片。
能够使用通过使用参考视图纹理图片512的像素值和当前视图深度图片514的深度值获得的视图间运动矢量获取通过反向合成的虚拟参考图片511。即，通过使用利用在当前视图深度图片内的相同位置(x， y)处的深度值获取的视图间运动矢量dv，在参考视图当前纹理图片内的(x，y)处的像素能够对应于虚拟参考图片内的(x+dv,y)处的像素值。
视差补偿预测指的是使用参考视图的参考图片获取当前纹理块的预测值的方法。将会参考图6给出在视图合成预测中的变形补偿方法和视差补偿预测中的变形补偿方法的描述。
图6是图示根据本发明的实施例的在视差补偿预测中的示例性的变形补偿方法的流程图。
可以解码参考视图纹理图片、参考视图深度图片和当前视图深度图片中的至少一个(S610)。如在步骤S410中一样，在当前视图纹理图片之前参考视图纹理图片可以被解码。在此，被解码的深度块可以包括参考视图的深度块和当前视图的深度块中的一个。通过内部预测或者中间预测可以解码参考视图纹理图片而没有使用不同视图的纹理图片作为参考图片。
可以获取与当前纹理块相对应的深度块(S620)。如在步骤S420 中那样，与当前纹理块相对应的深度块可以是在与当前图片相同的视图相对应的深度图片内的与当前纹理图片相同的位置处并且具有与当前图片相同的POC的深度块。可替选地，与当前纹理块相对应的深度块可以是被布置在与不同于当前图片的视图相对应并且具有与当前图片相同的POC的深度图片内的考虑视图间运动矢量的位置处的深度块。例如，在当前纹理图片的左上点是(px，py)并且视图间运动矢量是(dvx，dvy)时，在参考视图处的与当前纹理块相对应的深度块的左上点能够是(px+dvx，pu+dvy)。可替选地，视图间运动矢量的y 值可以被忽略并且(px+dvx，py)可以被确定为与当前纹理块相对应的深度块的左上点。
可以获取变形补偿参数信息deform_value(S630)。变形补偿参数信息deform_value是被用于获取对应于当前纹理块的参考图片内的块的位置用于变形补偿的信息，并且可以使用变形补偿应用信息 deform_type、变形补偿比例信息deform_scale、变形补偿应用块信息 deform_max_depth、变形补偿参数索引信息deform_param_idx、变形补偿重用信息以及视图间视差矢量中的至少一个获取。稍后将会参考图7 描述获取变形补偿应用信息和变形补偿比例信息的示例。另外，稍后将会参考图8描述获取变形补偿应用块信息的示例。此外，稍后将会参考图10至图13描述变形补偿重用信息的获取和变形补偿参数索引信息的重用。
通过等式4或者5，使用变形补偿应用信息、变形补偿比例信息以及变形补偿参数索引信息能够获取变形补偿参数信息。
[等式4]
deform_value＝precision_value+deform_scale×(deform_param_idx-1)
[等式5]
deform_value＝deform_scale×(deform_param_idx-1)
等式4被用于当变形补偿应用信息是1时获取变形补偿参数信息。在等式4中，precision_value是用于调节变形补偿精确度的变形补偿精确度系数。变形补偿精确度系数能够被设置为32、8以及4中的一个。
等式5被用于当变形补偿应用信息是2时获取变形补偿参数信息。
在等式4和5中，从片报头能够获取变形补偿参数索引信息。稍后将会参考图9描述获得变形补偿参数索引信息的示例。
通过当前纹理块引用的参考图片可以被获取(S640)。使用当前纹理块的参考图片信息refIdx和被包括在比特流中的相邻块的参考图片信息可以获取通过当前纹理块引用的参考图片。
使用参考图片和变形补偿参数可以获取当前纹理块的预测值 (S650)。当前纹理块的参考块内的块的位置可以被获取，并且对应于被获取的位置的参考块内的块的像素值可以被获得作为当前纹理块的预测值。使用在步骤S450中描述的等式1和2可以获取当前纹理块的参考块内的块的位置。当执行长度差变形补偿时，使用等式6能够获取对应于当前纹理块的参考块内的块的位置。
[等式6]
x′＝(deform_value/precision_value)×(x-xc)+xc+dvx
y′＝y+dvy
当执行扭曲变形补偿时，使用等式7能够获取对应于当前纹理块的参考块内的块的位置。
[等式7]
x′＝x+(deform_value/precision_value)×(y-yc)+yc+dvy
y′＝y+dvy
在等式6和7中，deform_value是使用变形补偿比例信息和变形补偿参数索引信息能够获得的变形系数信息，(xc，yc)指示当前纹理块的中心坐标，(x,y)指示当前纹理块的坐标，(x’,y’)表示当前纹理块的参考图片内的块的坐标，并且precision_value是用于调节变形补偿精确度的变形补偿精确度系数。能够从参数集合或者块报头获得变形补偿精确度系数。
将会参考图7给出获取变形补偿应用信息和变形补偿比例信息的示例的描述。
图7图示根据本发明的实施例的获取变形补偿应用和变形补偿比例信息的示例。
从块报头可以获取变形补偿应用信息和变形补偿比例信息，如在图7中所示。变形补偿应用信息能够指示是否应用变形补偿并且将会应用长度差变形应用和扭曲变形补偿中的哪一个。变形补偿比例信息能够指示变形补偿度。
将会给出获取变形补偿块信息的示例的描述。
图8图示根据本发明的实施例的获取变形补偿块信息的示例。
能够从如在图8中所示的序列参数集获取变形补偿块信息。变形补偿块信息能够指示对其应用变形补偿的编译块的大小。例如，当变形补偿块信息是1时，变形补偿块信息能够指示变形补偿被应用于具有0或者1的深度的编译单元和预测单元。因此，变形补偿没有被应用于具有2或者更大的深度的编译单元和预测单元。
将会参考图9给出获取变形补偿参数索引信息的示例的描述。
图9图示根据本发明的实施例的获取变形补偿参数索引信息的示例。
按照编译单元或者预测单元基于当前纹理块的预测模式能够获取变形补偿参数索引信息deform_param_idx。例如，在根据指代一个参考图片的中间预测编译的预测块的情况下，能够获取补偿参数索引信息，如在图9中所示。另外，仅当变形补偿应用信息是1或者2时能够获取变形补偿参数并且从而应用变形补偿，如在表1中所示。
[表1]
deform_type deform_param_idx
0 不发送
1 0,1,2
2 0,1,2
使用相邻块的变形补偿参数索引信息，替代前述的方法，可以获取变形补偿参数信息。将会参考图10至图13给出用于通过重用相邻块的变形补偿参数索引信息获取当前纹理块的变形补偿参数索引信息的方法的描述。
1)重用相邻块的变形补偿参数索引信息的方法1
图10图示根据本发明的实施例的通过重用相邻块的变形补偿参数索引信息获取当前纹理块的变形补偿参数索引信息的示例。
使用当前纹理块1000的左相邻块1010和上相邻块1020的变形补偿参数索引信息可以获取当前纹理块1000的变形补偿参数索引信息。例如，当变形补偿合并左标志deform_merge_left_flag被设置为1时，左相邻块1010的变形补偿参数索引信息作为当前纹理块1000的变形补偿参数索引信息被分配。当变形补偿合并左标志被设置为0时，左相邻块1010的变形补偿参数索引信息没有被使用。当因为左相邻块邻接左边界或者是内部块所以左相邻块不可用时，当前纹理块的变形补偿参数索引能够被确定为1。当变形补偿合并上标志deform_merge_up_flag是1时，上相邻块1020的变形补偿参数索引信息作为当前纹理块1000的变形补偿参数索引信息被分配。当变形补偿合并上标志是0时，上相邻块1010的变形补偿参数索引信息没有被使用。当因为上相邻块邻接上边界或者是内部块所以上相邻块不可用时，当前纹理块的变形补偿参数索引能够被确定为1。
图11图示根据本发明的实施例的获取变形补偿合并左标志和变形补偿合并上标志的示例。
按照编译单元或者预测单元能够获取变形补偿合并左标志和变形补偿合并上标志。变形补偿合并上标志可以被获取并且然后变形补偿合并上标志可以被获得，或者变形补偿合并上标志可以被获取并且然后变形补偿合并左标志可以被获得。
例如，使用当前纹理图片的参考图片的POC和当前纹理块的预测模式能够获取变形补偿合并左标志，如在图11中所示。当变形补偿合并左标志是0时，能够获取变形补偿合并上标志。当变形补偿合并上标志是0时，能够获得变形补偿参数索引导出信息deform_param_idx2。变形补偿参数索引导出信息指示下述情况，其中当前纹理块的变形补偿索引信息不同于相邻块的变形补偿参数索引信息。因此，通过使用变形补偿参数索引导出信息，当前纹理块的变形补偿索引信息能够作为不同于相邻块的变形补偿索引信息的值被导出。
参考图12和图13将会给出通过重用相邻块的变形补偿参数索引信息获取当前纹理块的变形补偿参数索引信息的另一示例的描述。
2)重用相邻块的变形补偿参数索引信息的方法2
图12图示根据本发明的实施例的通过重用相邻块的变形补偿参数索引信息获取当前纹理块的变形补偿参数索引信息的示例。
能够使用相邻块的变形补偿重用信息use_predicted_deform_param 和变形补偿参数索引信息获取当前纹理块1200的变形补偿参数索引信息。左相邻块1210、上相邻块1220、右上相邻块1230、左下相邻块 1240以及左上相邻块1250中的至少一个可以被用作相邻的块。例如，当变形补偿重用信息是1时，在相邻的块1210、1220、1230、1240以及1250中使用的变形补偿参数索引信息能够被获取。然后，根据预先确定的条件，被用于一个相邻的块的变形补偿参数索引信息作为当前纹理块1200的变形补偿参数索引信息被分配。
描述预先确定的条件。首先，从相邻的块获取不是1的变形补偿参数索引信息。当一个相邻的块具有不是1的变形补偿参数索引信息时，相邻的块的变形补偿参数索引信息作为当前纹理块的变形补偿参数索引信息被分配。然而，当多个相邻的块具有不是1的变形补偿参数索引信息时，根据预先确定的优先级能够获取当前纹理块的变形补偿参数索引信息。例如，当左相邻块1210和上相邻块1220具有不是1 的变形补偿参数索引信息并且左相邻块1210具有比上相邻块1220高的优先级时，左相邻块的变形补偿参数索引信息作为当前纹理块的变形补偿参数索引信息被分配。可替选地，从相邻块获取的不是1的变形补偿参数索引信息的中位数可以作为当前纹理块的变形补偿参数索引信息被分配。
图13图示根据本发明的实施例的获取变形补偿重用信息的示例。
按照编译单元或者预测单元能够获取变形补偿重用信息。例如，使用当前纹理块的参考图片的POC和当前纹理块的预测模式能够获得变形补偿重用信息。当变形补偿重用信息是0时，能够获得变形补偿参数索引导出信息deform_param_idx2。变形补偿参数索引导出信息指示下述情况，其中当前纹理块的变形补偿索引信息不同于相邻块的变形补偿参数索引信息。因此，通过使用变形补偿参数索引导出信息，当前纹理块的变形补偿索引信息能够作为不同于相邻块的变形补偿索引信息的值被导出。
如上所述，本发明应用于的解码/编码设备可以被包括在诸如待用来对视频信号、数据信号等进行解码的DMB(数字多媒体广播)***的多媒体广播发送/接收设备中。此外，多媒体广播发送/接收设备可以包括移动通信终端。
本发明应用于的解码/编码方法可以作为计算机可执行程序被实现并且存储在计算机可读介质中，并且具有根据本发明的数据结构的多媒体数据还可以被存储在计算机可读记录介质中。计算机可读记录介质包括存储可由计算机***读取的数据的所有种类的存储装置。计算机可读记录介质的示例包括ROM、RAM、CD-ROM、磁带、软盘、光学数据存储装置以及使用载波(例如，通过因特网的传输)的介质。此外，根据编码方法生成的比特流可以被存储在计算机可读记录介质中或者使用有线/无线通信网络来发送。
工业实用性
本发明能够被用于对视频信号进行编码。

Claims (2)

1.一种由视频解码器处理视频信号的方法，所述方法包括：
解码参考视图纹理图片、参考视图深度图片以及当前视图深度图片中的至少一个；
从所述视频信号获取变形补偿应用信息、变形补偿比例信息和变形补偿参数索引信息；
获取当前纹理块的变形补偿参数信息，
其中，当所述变形补偿应用信息是1时，所述变形补偿参数信息使用deform_value＝precision_value+deform_scale×(deform_param_idx-1)获得，
其中，当所述变形补偿应用信息是2时，所述变形补偿参数信息使用deform_value＝deform_scale×(deform_param_idx-1)获得，以及
其中，deform_value指示变形补偿参数信息，precision_value被设置为32、8、4中的一个,deform_scale指示变形补偿比例信息,以及deform_param_idx指示所述变形补偿参数索引信息；
获取所述当前纹理块的参考图片；以及
使用所述参考图片和所述变形补偿参数信息获取所述当前纹理块的预测值，
其中，使用所述参考图片和所述变形补偿参数信息获取所述当前纹理块的所述预测值包括：
使用所述变形补偿参数信息获取与所述当前纹理块相对应的在所述参考图片内的块；
其中，使用deform_value/precision_value获取在所述参考图片内的所述块的位置；和
获取所述参考图片内的所述块的像素值作为所述当前纹理块的所述预测值。
2.一种用于处理视频信号的视频解码器，包括：
熵解码单元，所述熵解码单元配置为用于从所述视频信号获取变形补偿应用信息、变形补偿比例信息和变形补偿参数索引信息；
中间预测单元，所述中间预测单元被配置成解码参考视图纹理图片、参考视图深度图片以及当前视图深度图片中的至少一个，获取当前纹理块的变形补偿参数信息，其中，当所述变形补偿应用信息是1时，所述变形补偿参数信息使用deform_value＝precision_value+deform_scale×(deform_param_idx-1)获得，其中，当所述变形补偿应用信息是2时，所述变形补偿参数信息使用deform_value＝deform_scale×(deform_param_idx-1)获得，以及其中，deform_value指示变形补偿参数信息，precision_value被设置为32、8、4中的一个,deform_scale指示变形补偿比例信息,以及deform_param_idx指示所述变形补偿参数索引信息；使用所述变形补偿参数获取与所述当前纹理块相对应的在参考图片内的块，其中，使用deform_value/precision_value获取在所述参考图片内的所述块的位置；以及使用所述参考图片内的所述块的像素值和所述变形补偿参数信息获取所述当前纹理块的预测值。
CN201480007966.6A 2013-01-09 2014-01-09 处理视频信号的方法和设备 Expired - Fee Related CN104982038B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361750798P 2013-01-09 2013-01-09
US61/750,798 2013-01-09
PCT/KR2014/000235 WO2014109563A1 (ko) 2013-01-09 2014-01-09 비디오 신호 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
CN104982038A CN104982038A (zh) 2015-10-14
CN104982038B true CN104982038B (zh) 2018-09-28

Family

ID=51167147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480007966.6A Expired - Fee Related CN104982038B (zh) 2013-01-09 2014-01-09 处理视频信号的方法和设备

Country Status (4)

Country Link
US (1) US9998762B2 (zh)
EP (1) EP2945386B1 (zh)
CN (1) CN104982038B (zh)
WO (1) WO2014109563A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10937195B2 (en) * 2013-02-11 2021-03-02 Google Llc Label based approach for video encoding
US11503323B2 (en) * 2020-09-24 2022-11-15 Tencent America LLC Method and apparatus for inter-picture prediction with virtual reference picture for video coding
WO2024126278A1 (en) * 2022-12-12 2024-06-20 Interdigital Ce Patent Holdings, Sas A coding method or apparatus based on camera motion information

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101617537A (zh) * 2007-01-17 2009-12-30 Lg电子株式会社 用于处理视频信号的方法和装置
CN101641954A (zh) * 2007-03-23 2010-02-03 Lg电子株式会社 用于解码/编码视频信号的方法和装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8823821B2 (en) * 2004-12-17 2014-09-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using motion vector predictor list
AU2007232607B2 (en) 2006-03-30 2010-09-16 Lg Electronics Inc. A method and apparatus for decoding/encoding a video signal
JP4786585B2 (ja) * 2007-04-20 2011-10-05 Ｋｄｄｉ株式会社 多視点映像符号化装置
EP2348732A4 (en) 2008-11-10 2012-05-09 Lg Electronics Inc METHOD AND DEVICE FOR PROCESSING VIDEO SIGNAL BY INTER-VIEW PREDICTION
EP2365694B1 (en) 2008-11-18 2017-01-04 LG Electronics Inc. Method and apparatus for processing image signal
KR20120000485A (ko) 2010-06-25 2012-01-02 삼성전자주식회사 예측 모드를 이용한 깊이 영상 부호화 장치 및 방법
US9264691B2 (en) * 2012-09-28 2016-02-16 Mitsubishi Electric Research Laboratories, Inc. Method and system for backward 3D-view synthesis prediction using neighboring blocks

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101617537A (zh) * 2007-01-17 2009-12-30 Lg电子株式会社 用于处理视频信号的方法和装置
CN101641954A (zh) * 2007-03-23 2010-02-03 Lg电子株式会社 用于解码/编码视频信号的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Horizontal Scaling and Shearing-Based Disparity-Compensated Prediction for Stereo Video Coding;Ka-Man Wong;《IEEE Transactions on Circuits and Systems for Video Technology》;20121031;第22卷(第10期);第1457页左栏第1段-第1469页右栏第1段 *

Also Published As

Publication number Publication date
WO2014109563A1 (ko) 2014-07-17
CN104982038A (zh) 2015-10-14
EP2945386A1 (en) 2015-11-18
EP2945386B1 (en) 2020-05-06
US9998762B2 (en) 2018-06-12
EP2945386A4 (en) 2016-08-17
US20150350679A1 (en) 2015-12-03

Similar Documents

Publication Publication Date Title
JP6291032B2 (ja) ビデオ信号処理方法及び装置
CN104798375B (zh) 用于多视点视频编码或解码的方法及装置
JP2015527805A (ja) ビデオ信号処理方法及び装置
CN104982038B (zh) 处理视频信号的方法和设备
WO2015009098A1 (ko) 비디오 신호 처리 방법 및 장치
CN104782127B (zh) 处理视频信号的方法和设备
AU2014205860B2 (en) Method and apparatus for processing video signal
US9955166B2 (en) Method and device for processing video signal
US20160165259A1 (en) Method and apparatus for processing video signal
CN104871541A (zh) 处理视频信号的方法和设备
CN105122813B (zh) 视频信号处理方法和设备
US20160050438A1 (en) Video signal processing method and device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180928

Termination date: 20210109

CF01 Termination of patent right due to non-payment of annual fee