CN103765895A - 使用跳跃模式的编码/解码方法和装置 - Google Patents

使用跳跃模式的编码/解码方法和装置 Download PDF

Info

Publication number
CN103765895A
CN103765895A CN201280040034.2A CN201280040034A CN103765895A CN 103765895 A CN103765895 A CN 103765895A CN 201280040034 A CN201280040034 A CN 201280040034A CN 103765895 A CN103765895 A CN 103765895A
Authority
CN
China
Prior art keywords
information
depth
video unit
picture
distortion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280040034.2A
Other languages
English (en)
Other versions
CN103765895B (zh
Inventor
芮世薰
孙银庸
成宰源
郑志旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN103765895A publication Critical patent/CN103765895A/zh
Application granted granted Critical
Publication of CN103765895B publication Critical patent/CN103765895B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

所公开的是使用跳跃模式的编码/解码方法和装置。该图像解码方法包括:产生扭曲的预测深度图像单元,并且然后对关于要解码的图像单元的跳跃信息进行解码;以及基于跳跃信息对要使用跳跃模式解码的图像单元进行解码。跳跃信息可以基于扭曲的预测深度图像单元的深度信息、要解码的图像单元的深度信息,或者与要解码的图像单元相对应的文字图片图像单元的边缘信息来确定。因此,在图像单元的编码和解码期间不必执行不必要的预测处理,从而改善图像编码和解码效率。

Description

使用跳跃模式的编码/解码方法和装置
技术领域
本发明涉及使用跳跃模式的编码/解码方法和设备,尤其是,涉及用于使用跳跃模式编码/解码多视图视频的方法和设备。
背景技术
随着信号处理技术和网络传输技术的改进,各种多媒体服务已经变为可能,并且对交互式多媒体内容和实现的媒体内容的需要已经日益增长。多视图视频编译方法,作为用于生成多媒体内容和实现的媒体内容的各种技术之一,是在观看从多个视点生成的视频的时候允许观众去感觉立体效果的技术。
多视图视频能够在各种领域中使用,诸如FVV(自由视点视频)、FTV(自由视点TV)、3DTV、监视,和家庭娱乐。近年来,MPEG(运动图像专家组)的JVT(联合视频组)和VCEG(视频编译专家组)已经标准化MVC(多视图视频编译),其是多视图视频编译技术的标准技术。
与单视图视频不同,多视图视频在相邻图像帧之间具有高的相关性,相邻图像帧是存在于相同的POC(图片顺序计数)之中的各种视点的图像。在现有的视频编码方法中,能够使用单视图视频的空间/时间/统计相关性来减少或者除去重复的信息。在多视图视频编码方法中,能够在现有的方法中另外使用视图间相关性以便减少视频的重复信息。由于多视图视频是通过使用彼此邻近的多个相机同时地拍摄相同的场景而获得的,所以除视差和轻微照度差别之外,多视图视频包含几乎相同的信息,并且因此具有非常高的视图间相关性。
发明内容
技术问题
本发明的一个目的是提供一种参考扭曲的预测深度图片或者参考图片使用跳跃模式的编码/解码方法,其能够增强视频的编码效率和解码效率。
本发明的另一个目的是提供一种用于参考扭曲的预测深度图片或者参考图片使用跳跃模式执行编码/解码方法的设备,其能够增强视频的编码效率和解码效率。
问题的解决方案
按照本发明的一个方面,提供了一种视频解码方法,包括步骤:生成扭曲的预测深度视频单元,并且对解码目标视频单元的跳跃信息进行解码;和基于跳跃信息使用跳跃模式对解码目标视频单元进行解码,其中跳跃信息是基于扭曲的预测深度视频单元的深度信息、解码目标视频单元的深度信息,和与解码目标视频单元相对应的纹理图片的视频单元的边缘信息而确定的信息。该扭曲的预测深度视频单元可以是通过在预测目标深度图片的视点上扭曲具有与预测目标深度图片相同的POC(图片顺序计数)的深度图片而获得的图片。该跳跃信息可以是基于以下步骤计算的信息:计算最大深度差值,其是在解码目标视频单元的深度值和扭曲的预测深度视频单元的变换深度值之间的差值的最大值;和确定边缘区域是否存在于与预测目标深度视频单元相对应的纹理图片的视频单元中。该跳跃信息可以是通过以下步骤的至少一个确定的信息:当存在边缘的时候,基于最大深度差值确定使用第一视频渲染质量计算方法计算的值是否大于第一阈值;和当不存在边缘的时候,基于最大深度差值确定使用第二视频渲染质量计算方法计算的值是否大于第二阈值。
按照本发明的另一个方面,提供了一种视频解码方法,包括步骤:生成多个扭曲的预测深度视频单元,并对解码目标视频单元的跳跃信息和要用于执行跳跃模式的扭曲的预测深度视频单元的索引信息进行解码;和基于跳跃信息和索引信息使用跳跃模式对解码目标视频单元进行解码,其中跳跃信息是基于扭曲的预测深度视频单元的深度信息、解码目标视频单元的深度信息,和与解码目标视频单元相对应的纹理图片的视频单元的边缘信息而确定的信息。该扭曲的预测深度视频单元的索引信息可以是在多个扭曲的预测深度视频单元之中具有与解码目标视频单元的深度信息小的差别的扭曲的预测深度图片的索引信息。该跳跃信息可以是基于以下的步骤计算的信息:计算最大深度差值,其是在解码目标视频单元的深度值和扭曲的预测深度视频单元的变换深度值之间的差值的最大值;和确定边缘区域是否存在于与预测目标深度视频单元相对应的纹理图片的视频单元中。该跳跃信息可以是通过以下步骤的至少一个确定的信息:当存在边缘的时候,基于最大深度差值确定使用第一视频渲染质量计算方法计算的值是否大于第一阈值;和当不存在边缘的时候,基于最大深度差值确定使用第二视频渲染质量计算方法计算的值是否大于第二阈值。
按照本发明的再一个方面,提供了一种视频解码方法,包括步骤:生成参考图片,并且对解码目标视频单元的跳跃信息和要用于执行跳跃模式的参考图片的索引信息进行解码;和基于跳跃信息使用跳跃模式对解码目标视频单元进行解码,其中跳跃信息是基于扭曲的预测深度视频单元的深度信息、解码目标视频单元的深度信息,和与解码目标视频单元相对应的纹理图片的视频单元的边缘信息而确定的信息。该参考图片可以包括作为经历扭曲的参考图片的扭曲的预测深度图片,和作为没有经历扭曲的参考图片的非扭曲的预测深度图片。该跳跃信息可以是基于以下步骤计算的信息:计算最大深度差值,其是在解码目标视频单元的深度值和扭曲的预测深度视频单元的变换深度值之间的差值的最大值;和确定边缘区域是否存在于与预测目标深度视频单元相对应的纹理图片的视频单元中。该跳跃信息可以是通过以下步骤的至少一个确定的信息:当存在边缘的时候,基于最大深度差值确定使用第一视频渲染质量计算方法计算的值是否大于第一阈值;和当不存在边缘的时候,基于最大深度差值确定使用第二视频渲染质量计算方法计算的值是否大于第二阈值。
按照本发明的再一个方面,提供了一种视频解码器,包括:熵解码模块,其对解码目标视频单元的跳跃信息进行解码;和预测模块,其生成扭曲的预测深度视频单元,并基于跳跃信息使用跳跃模式对解码目标视频单元进行解码,其中跳跃信息是基于扭曲的预测深度视频单元的深度信息、解码目标视频单元的深度信息,和与解码目标视频单元相对应的纹理图片的视频单元的边缘信息而确定的信息。该熵解码模块可以是当使用多个扭曲的预测深度视频单元,或者多个参考图片的时候,对用于解码目标视频单元的跳跃模式的视频单元或者图片的索引信息进行解码的熵解码模块。该预测模块可以是当解码目标视频单元使用跳跃模式解码的时候,使用基于索引信息确定的扭曲的预测深度视频单元或者参考图片的一个的深度信息作为解码目标视频单元的深度信息的预测模块。该扭曲的预测深度视频单元可以是通过在预测目标深度图片的视点上扭曲具有与预测目标深度图片相同的POC(图片顺序计数)的深度图片而获得的图片。该跳跃信息可以是基于以下步骤计算的信息:计算最大深度差值,其是在解码目标视频单元的深度值和扭曲的预测深度视频单元的变换深度值之间的差值的最大值;和确定边缘区域是否存在于与预测目标深度图片相对应的纹理图片的视频单元中。该跳跃信息可以是通过以下步骤的至少一个确定的信息:当存在边缘的时候,基于最大深度差值确定使用第一视频渲染质量计算方法计算的值是否大于第一阈值;和当不存在边缘的时候,基于最大深度差值确定使用第二视频渲染质量计算方法计算的值是否大于第二阈值。
有益效果
在按照本发明的方面使用跳跃模式的编码/解码方法和设备中,能够基于使用以预测目标深度图片的视点扭曲的扭曲的预测深度图片或者参考图片所计算的视频渲染质量来确定是否使用跳跃模式执行编码/解码处理。因此,由于不执行不必要的预测处理来编码和解码视频单元,所以能够增强视频的编码和解码效率。
附图说明
图1是图示按照本发明一个实施例的VSP(视图合成预测)方法的示意图。
图2是图示按照本发明的一个实施例确定是否使用跳跃模式编码视频单元的方法的流程图。
图3是图示按照本发明的一个实施例具有多个视点的VSP(视图合成预测)方法的示意图。
图4是图示按照本发明的一个实施例,当给出多个参考扭曲的图片的时候,确定是否使用跳跃模式编码视频单元方法的流程图。
图5是图示当两个扭曲的预测深度图片用于使用跳跃模式编码的时候,确定是否使用跳跃模式编码视频单元方法的流程图。
图6是图示按照本发明一个实施例的VSP(视图合成预测)方法的示意图。
图7是图示按照本发明的一个实施例的视频解码方法的流程图。
图8是图示按照本发明的一个实施例的视频解码方法的流程图。
图9是图示按照本发明的一个实施例的视频解码方法的流程图。
图10是图示按照本发明的一个实施例的视频编码器一部分的示意图。
图11是图示按照本发明一个实施例的深度信息预测模块的示意图。
图12是图示按照本发明的一个实施例的视频解码器一部分的示意图。
具体实施方式
在下文中,将参考伴随的附图详细描述本发明的实施例。当确定在本发明中涉及的已知技术或者功能的详细说明使本发明的要点难以理解的时候,将不进行详细说明。
当提及一个元件“耦合”或者“连接”到另一个元件的时候,应该理解,再一个元件可以***在其间,以及两个元件可以彼此直接耦合或者连接。“包括”特定元件的表达指的是不排除其它的元件,并且额外的元件可以包括在本发明的一个实施例或者本发明的技术范围中。
诸如“第一”和“第二”的术语能够用于描述各种元件,但是,元件不局限于该术语。这术语仅仅用于区别一个元件与另一个元件。例如,在不脱离本发明的范围的情况下,第一元件可以称作第二元件,并且第二元件可以类似地称作第一元件。
为了对不同的具体功能解释便利的目的,单独地图示在本发明的实施例中描述的元件,并且这并不意味着分别通过单独的硬件或者单独的软件模块来实施元件。也就是说,为了解释便利的目的,元件被图示和描述为组成模块,元件中的两个或更多个元件可以被组合以形成单个元件,或者一个元件可以分成多个元件。在不脱离本发明的概念的情况下,元件被组合和/或分解的实施例属于本发明的范围。
某些元件可以不必是用于执行本发明的必要功能的必要元件,而可以是仅仅用于改善性能的选择性的元件。本发明可以通过除了仅用于改善性能的元件以外仅仅对实施本发明所必要的元件来实施,并且仅仅包括除了仅用于改善性能的选择性的元件以外所必要的元件的结构属于本发明的范围。
图1是图示按照本发明一个实施例的VSP(视图合成预测)方法的示意图。
参考图1,可以给出具有相同的POC(图片顺序计数)的第一视图视频100和第二视图视频150。具有相同的POC(图片顺序计数)的视频可以是具有相同的视频输出顺序的视频。第一视图视频100可以包括第一纹理图片110和第一深度图片120,并且第二视图视频150可以包括第二纹理图片160和第二深度图片170。
能够使用附加信息,诸如相机参数和深度数据,通过扭曲第一深度图片120生成用于存在于除第一视图以外的视图中的第二深度图片170的预测的深度图片140。在发明以下的实施例中,通过从一个视图到另一个视图执行扭曲操作获得的、并且用作预测的深度图片的深度图片被定义为扭曲的预测深度图片,而且要预测的深度图片被定义为预测目标深度图片。
由于扭曲的预测深度图片140的深度信息是原始第二深度图片170的深度信息的预测值,所以在原始第二深度图片170和扭曲的预测深度图片140的深度信息之间可能存在差别。按照本发明的一个实施例,就编译效率而言,能够通过将扭曲的预测深度图片140的深度信息与第二深度图片170的视频信息比较来确定是否使用跳跃模式编码第二深度图片170。
跳跃模式指的是以相同的方式使用包括在扭曲的预测深度图片140中的视频信息作为预测目标深度图片170的视频信息的值的编码方法。例如,当包括在预测目标深度图片170中的预测目标块175使用跳跃模式的时候,与预测目标块175相对应的、存在于扭曲的预测深度图片140中的块145的深度信息可以被用作预测目标块175的深度信息。
与预测目标块175相对应的块可以是在扭曲的预测深度图片140中的块,其包括在与预测目标块175相同位置上的点,并且其位于预测目标块175的协同定位(col-located)位置上。与预测目标块175相对应的块145可以是相对于预测目标块175的位置在基于预先确定的位置计算方法计算的另一个图片中存在于指定位置的块。
因此,在使用跳跃模式执行编码处理的时候,在对包括在与预测目标块175相同预测目标深度图片170中的视频单元进行编码时,不使用附加信息,诸如残留信息、参考图片信息,和运动矢量信息,并且因此,能够增强视频的编译效率。
在本发明以下的实施例中,为了解释便利的目的,将主要地描述预测包括在预测目标深度图片中的块的方法。但是,按照本发明的一个实施例的使用跳跃模式的视频编码方法可以是预测各种视频单元(例如,CU、PU、TU、LCU、宏块、片、帧和图片)以及块单元的方法。例如,可以使用确定是否对通过以图片为单位执行预测处理获得的值使用跳跃模式编码图片的方法。
在本发明的以下实施例中使用的术语中,术语“视频单元”可以被分析为包括各种视频单元,诸如CU、PU、TU、LCU、宏块、片、帧和图片。
确定是否使用跳跃模式执行编码处理可以对如上所述的各种视频单元执行。例如,为了确定是否使用跳跃模式编码特定的视频单元,可以通过计算在预测目标视频单元175的深度信息和扭曲的预测深度图片(中的对应视频单元145)的深度信息之间的差值来确定是否使用跳跃模式编码预测目标视频单元175。在下面将简单地提及确定是否对特定的视频单元使用跳跃模式执行编码处理的方法。
(1)为了确定是否在编码视频单元的方法中使用跳跃模式,扭曲的预测深度图片的视频单元145的深度值和预测目标深度图片的视频单元175的深度值相比较以计算期间的差值。计算的差值可用于确定是否使用跳跃模式执行编码处理。
(2)作为用于确定是否使用跳跃模式编码视频单元的附加信息,可以另外确定与预测目标深度图片的视频单元170相对应的纹理图片的视频单元165是否包括边缘区域。
例如,计算视频渲染质量的不同的方法可以适用于纹理图片的视频单元165包括边缘的情形,和纹理图片的视频单元165不包括边缘的情形。当视频单元在大小上,例如,从块单元增大到图片单元的时候,可以通过使用边缘数量信息作为用于确定是否使用跳跃模式执行编码处理的信息,来确定是否使用跳跃模式对图片单元执行编码处理。
(3)视频的渲染质量可以基于在扭曲的预测深度视频单元145的深度信息和在步骤(1)中计算的预测目标深度视频单元175的深度信息之间的差值以及在步骤(2)中计算的边缘信息来计算。当计算的渲染质量小于预先确定的阈值的时候,可以对相应的视频单元执行跳跃模式编码处理。
为了解释便利的目的,仅仅存在于相同的POC(图片顺序计数)的两个视点的视频(第一视图视频100和第二视图视频150)在图1中图示,但是,两个或更多个视图的视频可以存在于相同的POC。这种情形另外在图3中图示。
图2是图示按照本发明的一个实施例确定是否使用跳跃模式编码视频单元方法的流程图。
在图2中图示的流程图的步骤不必顺序地执行,而是当步骤能够以变化的编译顺序执行的时候,可以以变化的顺序来执行。
在下文中,在本发明的实施例中使用的表达式是用于执行确定是否使用跳跃模式编码特定的视频单元方法的示例,并且可以使用各种表达式。
参考图2,计算视频单元的深度信息(步骤S200)。
视频单元的深度信息可以采用相对于相机平面计算的视频单元的深度信息。
表达式1是用于在相机的图像平面上计算在坐标(x,y)处深度信息的表达式。
<表达式1>
L ( x , y ) = Round ( 1 Z ( x , y ) - 1 Z far 1 Z near - 1 Z far &times; 225 )
在表达式1中,Z(x,y)表示深度图片的实际的深度值,Zfar表示最大深度值,和Znear表示最小深度值。实际的深度值Z(x,y)可以基于表达式1被转换为关于相机平面的深度信息L(x,y)。
计算在扭曲的预测深度视频单元的深度信息和预测目标深度视频单元的深度信息之间的差值(步骤S210)。
当对于一个视频单元确定是否使用跳跃模式执行编码处理的时候,扭曲的预测深度视频单元的深度信息和预测目标深度视频单元的深度信息可以被比较来计算在其间的差值。该计算的差值可用于在后面的步骤中计算视频的渲染质量。
表达式2是表示使用由表达式1计算的深度信息计算在扭曲的预测深度视频单元的深度信息和预测目标深度视频单元的深度信息之间差值方法的表达式。
<表达式2>
Q depth = man ( x , y ) &Element; MB | L &OverBar; p &prime; ( x , y ) - L p &prime; ( x , y ) |
在表达式2中,
Figure BDA0000466463570000112
表示扭曲的预测深度视频单元的深度信息,和Lp′(x,y)表示预测目标深度视频单元的深度信息。在表达式2中,假设最大差值是通过宏块单元计算的,但是,步骤210的处理可以适用于如上所述的各种视频单元。例如,在深度信息上的差值可以通过图片单元而不是块单元来计算。
判断与预测目标深度视频单元的视频单元相对应的纹理图片的视频单元的边缘信息(步骤S220)。
判断与预测目标视频单元的视频单元相对应的纹理图片的视频单元的边缘信息。
例如,当预测目标图片的视频单元是块单元的时候,各种块边缘确定方法可用于确定对应的纹理图片是否包括边缘信息。例如,当预测目标视频单元是图片单元的时候,可以使用确定图片中存在的边缘数量的信息的方法。
当假设视频单元是块的时候,取决于与预测目标视频单元相对应的纹理视频单元是否包括边缘,不同的视频渲染质量计算方法可以适用。
基于在扭曲的预测深度视频单元的深度值和预测目标深度视频单元的深度值之间的差值以及边缘信息计算视频的渲染质量(步骤S230)。
预测目标视频单元的渲染质量可以基于在扭曲的预测深度视频单元的深度信息和预测目标深度视频单元的深度值之间的差值,以及纹理图片的视频单元的边缘信息来计算。
表达式3表示当假设ΔL(xp,yp)的深度编译误差出现在与相机P相对应的视图视频的坐标(xp,yp)处的时候计算的纹理映射误差Δp′(xp,yp)。
<表达式3>
&Delta; p &prime; ( x p , y p ) = &Delta;L ( x p , y p ) k x k y
在表达式3中,kx和ky可以是在相机视图p和p’之间的距离,Znear和Zfar的函数。
Figure BDA0000466463570000122
可以被定义,这里^表示当存在深度编译误差的时候的坐标。
视频的渲染质量可以基于表达式3的误差计算方法使用纹理视频单元的边缘信息通过表达式4和5来计算。
表达式4和5是用于基于使用表达式2计算的深度信息差别和边缘区域信息来计算视频的渲染质量的表达式。
当视频单元是除块单元以外的视频单元的时候,以下的表达式可以被修改,并且这个修改的实施例也包括在本发明的范围中。
表达式4是当纹理图片的对应的视频单元不包括边缘区域的时候,用于计算预测目标视频单元的渲染质量的表达式。表达式5是当纹理图片的对应的视频单元包括边缘区域的时候,用于计算预测目标视频单元的渲染质量的表达式。
<表达式4>
D rendered(Qdepth)=K·Qdepth
在这里,Qdepth可以使用表达式2来计算,并且K是取决于实施方式设置的常数。
<表达式5>
D 2 rendered ( Q depth ) = 2 ( 1 - &rho; arce C &CenterDot; Q depth ) &sigma; arca 2
在表达式5中,Qdepth可以使用表达式2来计算,
Figure BDA0000466463570000132
表示要编译的区域的纹理视频像素的局部相关值,并且
Figure BDA0000466463570000133
表示要编译的区域的纹理视频像素值的变化值。此外,C是取决于实施方式确定的常数。
确定视频的渲染质量是否小于特定的阈值(步骤S240)。
在步骤S240中,取决于对应的纹理视频单元是否包括边缘区域,可以确定视频的渲染质量是否小于使用不同的阈值的特定的阈值。
当在步骤S240确定计算的渲染质量小于阈值的时候,确定无需很大地牺牲视频质量,甚至通过使用跳跃模式执行编码处理,编译效率能够被增强,并且可以能够使用跳跃模式编码预测目标视频单元。当步骤S240的确定结果是否定的时候,可以使用编码额外的预测信息的另一个编码方法代替跳跃模式。
当对应的纹理视频单元包括边缘区域的时候,以及当对应的纹理视频单元不包括边缘区域的时候,用于确定是否使用跳跃模式用于编码的阈值可以具有不同的值。
关于是否使用跳跃模式编码特定的视频单元的信息可以基于语法元素被编码。表1示出表示是否使用跳跃模式执行编码处理的语法。
<表1>
Figure BDA0000466463570000141
参考表1,关于是否使用跳跃模式执行编码预先确定的视频单元(宏块)的信息可以使用作为新语法元素的depth_skip_mode_flag表示为标记信息。
标记信息标题和标记信息值是任意的,并且可以变化,并且这个变化的实施例包括在本发明的范围中。
语法元素depth_skip_mode_flag是指示是否使用跳跃模式用于编码目标视频单元的信息。例如,当语法元素的标记值是1的时候,这指的是编码目标视频单元被使用跳跃模式编码。因此,当depth_skip_mode_flag的标记值是1的时候,扭曲的预测深度视频单元的深度信息可以用作预测目标深度视频单元的深度信息。当标记值是0的时候,在扭曲的预测深度视频单元的深度值和预测目标视频单元的深度信息之间的差值以及附加信息(诸如,参考图片信息和运动矢量信息)可以被编码和发送。
关于是否使用跳跃模式用于编码的信息可以不由如表1所示的特定的语法元素表示,而是可以是经由解码推导出的值,或者与其它信息组合和编码的值。在以下本发明的实施例中,假设关于是否使用跳跃模式信息和要稍后另外描述的索引信息被使用语法元素编码。
图3是图示按照本发明的一个实施例在多个视点上的VSP(视图合成预测)方法的示意图。
参考图3,可以存在具有相同的POC并且能够用作参考扭曲的图片的n个图片(视图1至视图n)。
具有相同的POC的n个深度图片的至少一个深度图片可以相对于与预测目标深度图片相同的视图被扭曲,以生成扭曲的预测深度图片315-1和335-1。当多个扭曲的预测深度图片315-1和335-1作为用于确定是否使用跳跃模式用于编码的比较图片而存在的时候,可以基于多个扭曲的预测深度图片315-1和335-1确定是否使用跳跃模式编码预测目标视频单元350-1。
甚至当存在如在图3中图示的三个以上视图的时,不使用多个扭曲的预测深度图片,并且仅仅一个扭曲的预测深度图片315-1可以被生成,如在图1中所示。
例如,当考虑到编译顺序存在具有相同的POC,并且在预测目标深度图片以前被编码的其它视图的n个深度图片的时候,最大n-1个扭曲的预测深度图片可以通过相对于预测目标深度图片的视图执行扭曲处理来生成。所有视图的图片可以相对于当前预测目标深度图片的视图被扭曲。在以下本发明的实施例中,假设仅仅二个不同的视图,视图1310和视图3330的深度视频单元用作扭曲的预测深度图片。
通过扭曲存在于当前预测目标深度图片的左侧视图(视图1310)上的深度图片获得的扭曲的预测深度图片可以被定义为第一扭曲的预测深度图片315-1,并且通过扭曲存在于当前预测目标深度图片的右侧视图(视图2330)上的深度图片获得的扭曲的预测深度图片可以被定义为第二扭曲的预测深度图片335-1。第一扭曲的预测图片315-1和第二扭曲的预测深度图片335-1可以使用索引信息来区别。
第一扭曲的预测图片315-1和第二扭曲的预测深度图片335-1的仅仅一个深度图片可以被选择为最终的扭曲的预测深度图片,并且可以确定是否使用跳跃模式用于编码,如在图1中所示。例如,作为选择第一扭曲的预测图片315-1和第二扭曲的预测深度图片335-1中的一个深度图片的方法,在候选的扭曲的预测深度图片315-1和335-1与预测目标深度图片350之间的残留值可以被比较。
对于别的示例,可以使用第一扭曲的预测图片315-1和第二扭曲的预测深度图片335-1两者确定是否使用跳跃模式用于编码。当使用两个扭曲的预测深度图片315-1和335-1两者的时候,两个扭曲的预测深度图片315-1和335-1的视频单元350-2和350-3的深度信息可以与预测目标深度图片350的视频单元350-1的深度信息相比较。基于该比较结果,可以使用类似于原始信息(预测目标深度视频单元的深度信息)的扭曲的预测深度视频单元来确定是否使用跳跃。当使用这个方法的时候,在对于每个预测目标视频单元执行跳跃模式的时候,可以选择不同的扭曲的预测深度视频单元。
图4是图示按照本发明的一个实施例,当给出多个参考扭曲的图片的时候,确定是否使用跳跃模式编码视频单元方法的流程图。
图4图示确定多个扭曲的预测深度图片的一个扭曲的预测深度图片作为最终的扭曲的预测深度图片,并且确定是否使用跳跃模式用于编码的方法。
在图4中图示的流程图的步骤不必顺序地执行,而是当步骤能够以变化的编译顺序执行的时候,可以以改变的顺序执行。
参考图4,生成扭曲的预测深度图片(步骤S400)。
当存在具有相同的POC的n个图片的时候,可以生成相对于预测目标深度图片的视点扭曲的多个扭曲的预测深度图片。例如,可以使用存在于接近预测目标深度图片的视点的视点处的图片生成两个扭曲的预测深度图片。
一个扭曲的预测深度图片被选择为最终的扭曲的预测深度图片(步骤S410)。
当在步骤S400生成多个扭曲的预测深度图片的时候,一个扭曲的预测深度图片可以被选择为最终的扭曲的预测深度图片,并且可用于确定是否使用跳跃模式编码预测目标图片的视频单元。
在一个扭曲的预测深度图片被选择为最终的扭曲的预测深度图片之后,确定是否使用跳跃模式用于编码的处理流程(步骤S420至S460)可以包括相对于一个扭曲的预测深度图片确定是否使用跳跃模式用于编码的处理流程,类似于步骤S200至S240的处理流程。
当两个扭曲的预测深度图片都用于使用跳跃模式编码的时候,是否使用跳跃模式编码视频单元可以使用在图5中图示的处理流程确定,而无需执行确定两个扭曲的预测深度图片的一个图片的步骤。
图5是图示当两个扭曲的预测深度图片被用于使用跳跃模式的编码的时候,确定是否使用跳跃模式编码视频单元方法的流程图。
在图5中图示的流程图的步骤不必顺序地执行,而是当步骤能够以变化的编译顺序执行的时候,可以以改变的顺序执行。
计算视频的深度信息(步骤S500)。
与在步骤S200中使用的相同的方法可用于计算视频的深度信息。
计算在扭曲的预测深度视频单元的深度信息和预测目标深度视频单元的深度信息之间的差值(步骤S510)。
可以计算在多个扭曲的预测深度视频单元的深度信息和预测目标深度视频单元的深度信息之间的差值。例如,当两个图片被用作扭曲的预测深度图片的时候,可以计算在第一扭曲的预测深度视频单元的深度信息和预测目标深度视频单元的深度信息之间的差值,并且可以计算在第二扭曲的预测深度视频单元和预测目标深度视频单元的深度信息之间的差值。
与在图2的步骤S210中使用的相同的方法可以被用作计算该差值的方法。
基于在扭曲的预测深度视频单元和预测目标深度视频单元的深度信息之间的差值选择一个扭曲的预测深度视频单元(步骤S520)。
基于在扭曲的预测深度视频单元和预测目标深度视频单元的深度信息之间的差值,具有较小差值的扭曲的预测深度视频单元可以被选择为用于确定是否使用跳跃模式用于编码的扭曲的预测深度视频单元。
在选择一个扭曲的预测深度视频单元之后的步骤S530至S550可以以与在图2的步骤S220之后的步骤中描述的相同的方式执行。
关于是否使用跳跃模式用于编码的信息可以被编码,并且可以发送语法元素depth_skip_mode_flag,其是指示是否使用跳跃模式编码视频单元的信息。当要使用跳跃模式编码的选择的图片另外如在图3至5中图示的那样被使用的时候,通过发送多个扭曲的预测深度图片的索引信息,关于哪个图片被用于使用跳跃模式预测的信息可以另外被编码和发送。
按照本发明的一个实施例,另一个参考图片(例如,具有相同的POC的先前的深度图片或者后续的深度图片)以及扭曲的预测深度视频单元可用于预测预测目标视频单元。在以下本发明的实施例中,用于预测预测目标视频单元的图片被定义为参考图片。该参考图片可以包括作为经历扭曲处理的参考图片的扭曲的参考图片,和作为没有经历扭曲处理的参考图片的非扭曲的参考图片。
图6是图示按照本发明一个实施例的VSP(视图合成预测)方法的示意图。
具有不同的POC值并且没有经历扭曲处理的参考图片以及扭曲的预测深度图片可用于确定是否使用跳跃模式用于编码。
参考图6,多个参考图片可用于预测预测目标视频单元的深度值。
假设T1图片620-1、D1图片620、T2图片630-1,和D2图片630是比T3图片615-1、D3图片615、T4图片640-1和D4图片640更早编码和解码的图片,并且它们被用作用于预测T3图片615-1、D3图片615、T4图片640-1和D4图片640的参考图片。
参考图片可用于具有包括扭曲的预测深度图片605和610以及非扭曲的预测深度图片615、620和630的概念。扭曲的预测深度图片605和610是用于生成通过执行扭曲处理而生成的预测目标深度图片的预测的深度信息值的图片,并且非扭曲的预测深度图片615、620和630是用于无需执行扭曲处理来预测预测目标视频单元的深度信息的图片。例如,非扭曲的预测深度图片615、620和630可以包括具有与预测目标深度图片640相同视图并且具有与其不同的POC值的深度图片630,具有不同于预测目标深度图片640的视图并且具有与其不同的POC值的深度图片620,和具有不同于预测目标深度图片640的视图并且具有相同的POC值的深度图片615。
扭曲的预测深度图片605和610可以包括通过扭曲具有不同于预测目标深度图片640的视图并且具有与预测目标深度图片640相同的POC值的深度图片615而获得的扭曲的预测深度图片,和通过扭曲具有不同的POC值的深度图片620而获得的扭曲的预测深度图片610。
当存在多个参考图片的时候,非扭曲的预测深度图片615、620和630,和扭曲的预测深度图片605和610可以被索引以生成参考图片列表。例如,索引可以首先赋予扭曲的预测深度图片605和610,然后索引可以赋予非扭曲的预测深度图片615、620和630。小的索引值可以赋予在扭曲的预测深度图片605和610之中存在于接近预测目标深度图片的视点的视点处的深度图片,在非扭曲的预测深度图片615、620和630之中具有相同视点的深度图片可以被标引,然后索引值可以赋予具有小的POC差值的参考图片。各种方法可用于构成参考图片列表。
如在图1和2中图示的,当用于确定是否使用跳跃模式用于编码的参考图片是一个扭曲的预测深度图片的时候,可以仅编码关于是否执行跳跃模式的信息,而无需分别地索引用于确定是否使用跳跃模式用于执行使用跳跃模式的编码处理的参考图片。
但是,当用于确定是否使用跳跃模式用于编码的参考图片的数目是两个或更多个的时候,在使用跳跃模式执行编码处理的时候,除了关于是否执行跳跃模式的信息之外,用于确定是否使用跳跃模式用于编码的参考图片的索引信息可以被另外编码。
也就是说,当各种图片,诸如扭曲的预测深度图片605和610,和非扭曲的预测深度图片615、620和630另外用于确定是否使用跳跃模式用于编码的时候,在使用跳跃模式执行编码处理的时候,除了关于是否执行跳跃模式的信息之外,通过索引关于用于确定是否使用跳跃模式用于编码的参考图片的信息而获得的索引信息可以被编码。
再次参考图6,例如,假设一个扭曲的预测深度图片605和三个非扭曲的预测深度图片(第一参考图片630、第二参考图片615和第三参考图片620)存在于用于供预测预测目标视频单元640-2的参考图片的参考图片列表中。
在这里,作为包括在参考图片列表中的参考图片的索引信息,索引0可以分配给扭曲的预测深度图片605,索引1可以分配给第一参考图片630,索引2可以分配给第二参考图片615,并且索引3可以分配给第三参考图片620。
编码器可以比较在预测目标视频单元和多个参考图片的视频单元,诸如扭曲的预测深度图片605、第一参考图片630、第二首选图片615和第三参考图片620之间的残留值。可以基于作为比较结果具有最小残留值的参考图片确定是否使用跳跃模式编码预测目标视频单元。
例如,当作为残留值的比较结果在预测目标块和包括在第一参考图片630中的对应块之间的残留值是最小的时候,可以使用在第一参考图片630中对应的块在与在图2中图示的相同的处理流程中确定是否使用跳跃模式用于编码。
可以基于标记信息,诸如以上提及的语法元素depth_skip_mode_flag编码关于是否使用跳跃模式执行编码处理的信息,并且可以基于额外的索引信息编码所使用的参考图片的信息。
当不执行跳跃模式的时候,类似于编码预测目标块的现有方法,额外的预测信息,诸如参考图片列表信息、参考图片信息、运动矢量信息,和残留信息可以被编码和发送给解码器。
图7是图示按照本发明的一个实施例的视频解码方法的流程图。
图7图示了一种编码方法,该编码方法使用确定是否使用跳跃模式编码一个扭曲的预测深度视频单元的方法,其在图1和2中图示。在图7中图示的流程图的步骤不必顺序地执行,而是当步骤能够以变化的编译顺序执行的时候,可以以改变的顺序执行。
参考图7,生成扭曲的预测深度图片(步骤S700)。
当扭曲的预测深度图片仅仅用于使用跳跃模式编码的时候,跳跃模式编码信息可以被首先解码,然后可以生成扭曲的预测深度图片。也就是说,步骤S700可以在如下所述的步骤S710之后执行。
由于是否生成扭曲的预测深度图片可以取决于何时跳跃解码目标视频单元确定,但是,除跳跃模式以外的解码方法(例如,合并模式或者AMVP)可用于解码视频单元,所以在解码预测目标深度图片的时候,扭曲的预测深度图片可以存储在参考图片列表中。
通过解码该跳跃信息,确定是否使用跳跃模式用于编码(步骤S710)。
跳跃信息是指示是否执行跳跃模式的标记,诸如depth_skip_mode_flag,并且是关于是否使用跳跃模式来编码解码目标视频单元的信息。
例如,关于是否使用跳跃模式编码视频单元的信息可以通过推理获得而无需解码跳跃信息,或者关于是否使用跳跃模式编码视频单元的信息可以基于通过与另一个语法元素信息组合和编码跳跃信息获得的信息来获得。
当视频单元被使用跳跃模式编码的时候,使用跳跃模式解码该解码目标视频单元(步骤S720)。
当使用跳跃模式执行解码处理的时候,扭曲的预测深度视频单元的深度信息可以直接用作解码目标视频单元的深度信息。
当不使用跳跃模式来编码视频单元的时候,对于解码视频单元所必需的附加信息被解码(步骤S730)。
当不使用跳跃模式来编码视频单元的时候,对于解码视频单元所必需的附加信息(例如,参考图片信息、运动矢量信息和残留信息)被解码。
图8是图示按照本发明的一个实施例的视频解码方法的流程图。
图8图示基于在图3至5中图示的编码方法的解码方法。在图8中图示的流程图的步骤不必顺序地执行,而是当步骤能够以变化的编译顺序执行的时候,可以以改变的顺序执行。
参考图8,生成多个扭曲的预测深度图片(步骤S800)。
当用于执行跳跃模式的图片是多个扭曲的预测深度图片的时候,可以通过执行扭曲处理生成多个扭曲的预测深度图片。生成的扭曲的预测深度图片可以存储在缓存器中,诸如参考图片列表。
解码跳跃信息(步骤S810)。
跳跃信息是指示是否执行跳跃模式的标记,诸如depth_skip_mode_flag,并且是关于是否使用跳跃模式编码解码目标视频单元的信息。
例如,关于是否使用跳跃模式编码视频单元的信息可以通过推理获得而无需解码跳跃信息,或者关于是否使用跳跃模式编码视频单元的信息可以基于通过与另一个语法元素信息组合和编码跳跃信息获得的信息来获得。
解码参考图片索引信息(步骤S820)。
当使用跳跃模式执行解码处理的时候,用于解码目标视频单元的参考图片索引信息可以被解码以获得关于使用多个扭曲的预测深度图片之中什么扭曲的预测深度图片来执行使用跳跃模式的解码处理的信息。当如上所述使用两个扭曲的预测深度视频单元的时候,关于使用什么视频单元用于跳跃模式的索引信息可以被编码,并且这样的索引信息可以被解码,并且用于使用跳跃模式的解码处理。
使用跳跃模式对解码目标视频单元进行解码(步骤S830)。
使用跳跃模式的解码处理可以使用在步骤S820中选择的扭曲的预测深度视频单元执行。
当在步骤S810确定不使用跳跃模式的时候,对于解码视频单元所必需的附加信息被解码(步骤S840)。
当不使用跳跃模式来编码视频单元的时候,对于解码视频单元所必需的附加信息(例如,参考图片信息、运动矢量信息和残留值信息)被解码。
图9是图示按照本发明的一个实施例的视频解码方法的流程图。
图9图示基于在图5中图示的编码方法的解码方法。在图9中图示的流程图的步骤不必顺序地执行,而是当步骤能够以变化的编译顺序执行的时候,可以以改变的顺序执行。
参考图9,构成参考图片列表(步骤S900)。
用于执行跳跃模式的参考图片列表可以包括至少一个扭曲的预测深度图片或者非扭曲的预测深度图片。各种方法可以用作索引扭曲的预测深度图片或者非扭曲的预测深度图片的方法。
解码跳跃信息(步骤S910)。
跳跃信息是指示是否执行跳跃模式的标记,诸如depth_skip_mode_flag,并且是关于是否使用跳跃模式编码解码目标视频单元的信息。
例如,关于是否使用跳跃模式编码视频单元的信息可以通过推理获得而无需解码跳跃信息,或者关于是否使用跳跃模式编码视频单元的信息可以基于通过与另一个语法元素信息组合和编码跳跃信息获得的信息来获得。
解码用于解码目标视频单元的参考图片索引信息(步骤S920)。
当使用跳跃模式执行解码处理的时候,参考图片的索引信息可以被解码以获得关于使用多个参考图片之中的什么参考图片来执行使用跳跃模式的解码处理的信息。
使用跳跃模式对解码目标视频单元进行解码(步骤S930)。
使用跳跃模式的解码处理可以使用在步骤S920中选择的扭曲的预测深度视频单元来执行。
当在步骤S910确定不使用跳跃模式的时候,对于解码视频单元所必需的附加信息被解码(步骤S940)。
当不使用跳跃模式编码视频单元的时候,对于解码视频单元所必需的附加信息(例如,参考图片信息、运动矢量信息和残留值信息)被解码。
图10是图示按照本发明的一个实施例的视频编码器一部分的示意图。
参考图10,该视频编码器可以包括存储器1000和预测模块1005,并且该预测模块1005可以包括深度信息预测模块1010和纹理信息预测模块1020。
预先编码的深度图片和纹理图片可以存储在存储器1000中。存储在存储器1000中的编码的深度图片和纹理图片可以用于预测模块1005预测深度图片和纹理图片。
纹理信息预测模块1020可以预测纹理信息,诸如多视图视频的亮度信息和色度信息。各种预测方法,诸如内部预测方法和中间预测方法可以用作预测纹理信息的方法。
深度信息预测模块1010可以预测视频的深度信息。如上所述,深度信息预测模块1010可以利用使用跳跃模式的另一个图片的视频信息而无需编码预测信息。深度信息预测模块1010可以通过扭曲存储在存储器中的深度图片生成扭曲的预测深度图片,并且可以基于一个扭曲的预测深度图片或者多个扭曲的预测深度图片确定是否执行跳跃模式。
当深度信息预测模块101执行使用跳跃模式的编码处理的时候,指示使用跳跃模式编码预测目标视频单元的信息可以被编码和发送给解码器而无需编码和发送残留信息(在预测深度信息和原始深度信息之间的差值),并且因此,视频解码器可以使用跳跃模式执行解码处理。当使用多个扭曲的预测深度图片或者多个参考图片的时候,用于跳跃模式的图片的索引信息可以被另外编码和发送。
当深度信息预测模块101不执行使用跳跃模式的编码处理的时候,残留信息可以被另外编码,用于预测的附加的预测信息(诸如,运动矢量信息和参考图片索引信息)可以被编码,并且结果信息可以被发送给视频解码器。
深度信息预测模块101可以包括以下的附加元素,以便确定是否使用跳跃模式编码预测目标视频单元。
图11是图示按照本发明一个实施例的深度信息预测模块的示意图。
参考图11,深度信息预测模块1150可以包括扭曲模块1100、差值生成模块1110、边缘信息确定模块1120,和跳跃确定模块1130。
扭曲模块1100可以在预测目标图片的视点上通过扭曲从存储器提供的编码的深度图片执行扭曲处理。扭曲模块1100可以生成扭曲的预测深度图片用于确定是否使用跳跃模式执行预测目标图片的视频单元。
差值生成模块1110可以计算在预测目标深度图片的视频单元和与预测目标深度图片的视频单元相对应的扭曲的预测深度图片的视频单元之间的深度信息差值。由差值生成模块1110生成的差值可以输入给跳跃确定模块1130,并且可以确定是否在其中使用跳跃模式编码预测目标深度图片的视频单元。
边缘信息确定模块1120可以确定与预测目标深度图片的视频单元相对应的纹理图片的视频单元的边缘信息。例如,当边缘信息确定模块1120确定边缘存在于纹理图片的视频单元的时候,对应的信息可以输入给跳跃确定模块1130,并且可以用作确定是否使用跳跃模式用于编码的信息。
图12是图示按照本发明的一个实施例的视频解码器一部分的示意图。
参考图12,视频解码器可以包括预测模块1250和存储器1230,并且预测模块1250可以包括深度信息预测模块1220和纹理信息预测模块1200。
预先解码的深度图片和纹理图片可以存储在存储器1230中。存储在存储器1230中的解码的深度图片和纹理图片可以用于预测模块1230预测深度图片和纹理图片。
纹理信息预测模块1200可以基于从视频编码器发送的预测信息生成纹理信息的预测值,诸如,多视图视频的亮度信息和色度信息。
深度信息预测模块1220可以基于从视频编码器发送的信息预测视频的深度信息。当从视频编码器发送指示使用跳跃模式的信息的时候,深度信息预测模块1220可以从存储器接收参考图片,并且可以使用通过扭曲参考图片生成的扭曲的预测深度图片的深度信息作为预测目标图片的深度信息。
当多个扭曲的预测深度图片或者多个参考图片用于执行使用跳跃模式的解码处理的时候,用于跳跃模式的图片的索引信息可以被另外解码来执行使用跳跃模式的解码处理。经历使用跳跃模式解码处理的视频单元可以被解码而无需使用附加的残留信息。
当编码器使用除跳跃模式以外的预测方法执行预测处理的时候,深度信息预测模块1220可以将预测值与视频单元的解码的残留信息相加,并且可以输出相加的信息。
虽然以上参考许多实施例描述了本发明,本领域技术人员将理解,在不脱离在所附权利要求书中描述的本发明的精神和范围的情况下,本发明可以以各种形式修改和变化。

Claims (18)

1.一种视频解码方法,包括步骤:
生成扭曲的预测深度视频单元,并对解码目标视频单元的跳跃信息进行解码;和
基于所述跳跃信息使用跳跃模式对所述解码目标视频单元进行解码,
其中,所述跳跃信息是基于所述扭曲的预测深度视频单元的深度信息、所述解码目标视频单元的深度信息、和与所述解码目标视频单元相对应的纹理图片的视频单元的边缘信息而确定的信息。
2.根据权利要求1所述的视频解码方法,其中,所述扭曲的预测深度视频单元是通过在所述预测目标深度图片的视点上扭曲具有与预测目标深度图片相同的POC(图片顺序计数)的深度图片而获得的图片。
3.根据权利要求1所述的视频解码方法,其中,所述跳跃信息是基于以下步骤计算的信息:
计算最大深度差值,所述最大深度差值是在所述解码目标视频单元的深度值和所述扭曲的预测深度视频单元的变换深度值之间的差值的最大值;并且
确定边缘区域是否存在于与所述预测目标深度视频单元相对应的纹理图片的视频单元中。
4.根据权利要求3所述的视频解码方法,其中,所述跳跃信息是通过以下步骤的至少一个确定的信息:
当存在边缘的时候,基于所述最大深度差值确定使用第一视频渲染质量计算方法计算的值是否大于第一阈值;以及
当不存在边缘的时候,基于所述最大深度差值确定使用第二视频渲染质量计算方法计算的值是否大于第二阈值。
5.一种视频解码方法,包括步骤:
生成多个扭曲的预测深度视频单元,并对解码目标视频单元的跳跃信息和要用于执行跳跃模式的所述扭曲的预测深度视频单元的索引信息进行解码;和
基于所述跳跃信息和所述索引信息使用跳跃模式对所述解码目标视频单元进行解码,
其中,所述跳跃信息是基于所述扭曲的预测深度视频单元的深度信息、所述解码目标视频单元的深度信息、和与所述解码目标视频单元相对应的纹理图片的视频单元的边缘信息而确定的信息。
6.根据权利要求5所述的视频解码方法,其中,所述扭曲的预测深度视频单元的所述索引信息是在所述多个扭曲的预测深度视频单元之中具有与所述解码目标视频单元的深度信息小的差别的扭曲的预测深度图片的索引信息。
7.根据权利要求5所述的视频解码方法,其中,所述跳跃信息是基于以下步骤计算的信息:
计算最大深度差值,所述最大深度差值是在所述解码目标视频单元的深度值和所述扭曲的预测深度视频单元的变换深度值之间的差值的最大值;以及
确定边缘区域是否存在于与所述预测目标深度视频单元相对应的纹理图片的视频单元中。
8.根据权利要求5所述的视频解码方法,其中,所述跳跃信息是通过以下步骤的至少一个确定的信息:
当存在边缘的时候,基于所述最大深度差值确定使用第一视频渲染质量计算方法计算的值是否大于第一阈值;以及
当不存在边缘的时候,基于所述最大深度差值确定使用第二视频渲染质量计算方法计算的值是否大于第二阈值。
9.一种视频解码方法,包括步骤:
生成参考图片,并且对解码目标视频单元的跳跃信息和要用于执行跳跃模式的所述参考图片的索引信息进行解码;和
基于所述跳跃信息使用跳跃模式对所述解码目标视频单元进行解码,
其中,所述跳跃信息是基于所述扭曲的预测深度视频单元的深度信息、所述解码目标视频单元的深度信息、和与所述解码目标视频单元相对应的纹理图片的视频单元的边缘信息而确定的信息。
10.根据权利要求9所述的视频解码方法,其中,所述参考图片包括扭曲的预测深度图片和非扭曲的预测深度图片,所述扭曲的预测深度图片是经历扭曲的参考图片,所述非扭曲的预测深度图片是没有经历扭曲的参考图片。
11.根据权利要求9所述的视频解码方法,其中,所述跳跃信息是基于以下步骤计算的信息:
计算最大深度差值,所述最大深度差值是在所述解码目标视频单元的深度值和所述扭曲的预测深度视频单元的变换深度值之间的差值的最大值;以及
确定边缘区域是否存在于与所述预测目标深度视频单元相对应的纹理图片的视频单元中。
12.根据权利要求9所述的视频解码方法,其中,所述跳跃信息是通过以下步骤的至少一个确定的信息:
当存在边缘的时候,基于所述最大深度差值确定使用第一视频渲染质量计算方法计算的值是否大于第一阈值;以及
当不存在边缘的时候,基于所述最大深度差值确定使用第二视频渲染质量计算方法计算的值是否大于第二阈值。
13.一种视频解码器,包括:
熵解码模块,所述熵解码模块对解码目标视频单元的跳跃信息进行解码;和
预测模块,所述预测模块生成扭曲的预测深度视频单元,并且基于所述跳跃信息使用跳跃模式对所述解码目标视频单元进行解码,
其中,所述跳跃信息是基于所述扭曲的预测深度视频单元的深度信息、所述解码目标视频单元的深度信息、和与所述解码目标视频单元相对应的纹理图片的视频单元的边缘信息而确定的信息。
14.根据权利要求13所述的视频解码器,其中,所述熵解码模块是当使用多个扭曲的预测深度视频单元或者多个参考图片的时候,对用于所述解码目标视频单元的跳跃模式的视频单元或者图片的索引信息进行解码的熵解码模块。
15.根据权利要求14所述的视频解码器,其中,所述预测模块是当使用跳跃模式解码所述解码目标视频单元的时候,使用基于所述索引信息确定的所述扭曲的预测深度视频单元或者参考图片的一个的深度信息作为所述解码目标视频单元的深度信息的预测模块。
16.根据权利要求13所述的视频解码器,其中,所述扭曲的预测深度视频单元是通过在所述预测目标深度图片的视点上扭曲具有与预测目标深度图片相同的POC(图片顺序计数)的深度图片而获得的图片。
17.根据权利要求13所述的视频解码器,其中,所述跳跃信息是基于以下步骤计算的信息:
计算最大深度差值,所述最大深度差值是在所述解码目标视频单元的深度值和所述扭曲的预测深度视频单元的变换深度值之间的差值的最大值;以及
确定边缘区域是否存在于与所述预测目标深度视频单元相对应的纹理图片的视频单元中。
18.根据权利要求13所述的视频解码器,其中,所述跳跃信息是通过以下步骤的至少一个确定的信息:
当存在边缘的时候,基于所述最大深度差值确定使用第一视频渲染质量计算方法计算的值是否大于第一阈值;和
当不存在边缘的时候,基于所述最大深度差值确定使用第二视频渲染质量计算方法计算的值是否大于第二阈值。
CN201280040034.2A 2011-06-24 2012-06-21 使用跳跃模式的编码/解码方法和装置 Expired - Fee Related CN103765895B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161500616P 2011-06-24 2011-06-24
US61/500,616 2011-06-24
PCT/KR2012/004915 WO2012177063A2 (ko) 2011-06-24 2012-06-21 스킵 모드 부호화 복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
CN103765895A true CN103765895A (zh) 2014-04-30
CN103765895B CN103765895B (zh) 2017-03-08

Family

ID=47423092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280040034.2A Expired - Fee Related CN103765895B (zh) 2011-06-24 2012-06-21 使用跳跃模式的编码/解码方法和装置

Country Status (4)

Country Link
US (1) US9509972B2 (zh)
EP (1) EP2717572B1 (zh)
CN (1) CN103765895B (zh)
WO (1) WO2012177063A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116597062A (zh) * 2023-07-10 2023-08-15 北京麟卓信息科技有限公司 一种基于动态自适应解码的压缩纹理渲染优化方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015000108A1 (en) * 2013-07-01 2015-01-08 Mediatek Singapore Pte. Ltd. An improved texture merging candidate in 3dvc
CN105637871B (zh) * 2013-10-17 2018-08-10 联发科技股份有限公司 三维或多视图视频编码方法
WO2020263499A1 (en) * 2019-06-24 2020-12-30 Alibaba Group Holding Limited Adaptive resolution change in video processing

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1278349A (zh) * 1997-09-02 2000-12-27 动力数字深度研究有限公司 图像处理方法和装置
CN1281569A (zh) * 1997-12-05 2001-01-24 动力数字深度研究有限公司 改进的图像转换和编码技术
US20030202594A1 (en) * 2002-03-15 2003-10-30 Nokia Corporation Method for coding motion in a video sequence
CN1830217A (zh) * 2003-08-05 2006-09-06 皇家飞利浦电子股份有限公司 多视图图像产生
US20110142138A1 (en) * 2008-08-20 2011-06-16 Thomson Licensing Refined depth map

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3745117B2 (ja) * 1998-05-08 2006-02-15 キヤノン株式会社 画像処理装置及び画像処理方法
DE602005018796D1 (de) * 2004-09-16 2010-02-25 Thomson Licensing Verfahren und vorrichtung zur schnelllaufentscheidung für interframes
US8823821B2 (en) * 2004-12-17 2014-09-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using motion vector predictor list
JP4398919B2 (ja) * 2005-08-22 2010-01-13 株式会社東芝 画像マッチング装置、画像マッチング方法および画像マッチングプログラム
US20100091845A1 (en) 2006-03-30 2010-04-15 Byeong Moon Jeon Method and apparatus for decoding/encoding a video signal
KR100934674B1 (ko) 2006-03-30 2009-12-31 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
EP2030450B1 (en) 2006-06-19 2015-01-07 LG Electronics Inc. Method and apparatus for processing a video signal
TW200820791A (en) 2006-08-25 2008-05-01 Lg Electronics Inc A method and apparatus for decoding/encoding a video signal
KR20080022055A (ko) 2006-09-05 2008-03-10 엘지전자 주식회사 비디오 신호 디코딩 방법 및, 비디오 신호 디코딩 장치
KR20080066522A (ko) 2007-01-11 2008-07-16 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
KR101431546B1 (ko) 2007-05-02 2014-08-22 삼성전자주식회사 다시점 동영상의 부호화 및 복호화 방법과 그 장치
US8917775B2 (en) 2007-05-02 2014-12-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view video data
CN101785317B (zh) * 2007-08-15 2013-10-16 汤姆逊许可证公司 使用区域视差向量的多视角编码视频中的运动跳过模式的方法和装置
EP2269378A2 (en) * 2008-04-25 2011-01-05 Thomson Licensing Multi-view video coding with disparity estimation based on depth information
US9066075B2 (en) * 2009-02-13 2015-06-23 Thomson Licensing Depth map coding to reduce rendered distortion
KR101675118B1 (ko) * 2010-01-14 2016-11-10 삼성전자 주식회사 스킵 및 분할 순서를 고려한 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
KR20130139242A (ko) * 2010-09-14 2013-12-20 톰슨 라이센싱 차폐 데이터의 압축 방법 및 장치
US8902982B2 (en) * 2011-01-17 2014-12-02 Samsung Electronics Co., Ltd. Depth map coding and decoding apparatus and method
KR20160003334A (ko) * 2011-06-15 2016-01-08 미디어텍 인크. 3d 비디오 코딩에서의 텍스처 이미지 압축 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1278349A (zh) * 1997-09-02 2000-12-27 动力数字深度研究有限公司 图像处理方法和装置
CN1281569A (zh) * 1997-12-05 2001-01-24 动力数字深度研究有限公司 改进的图像转换和编码技术
US20030202594A1 (en) * 2002-03-15 2003-10-30 Nokia Corporation Method for coding motion in a video sequence
CN1830217A (zh) * 2003-08-05 2006-09-06 皇家飞利浦电子股份有限公司 多视图图像产生
US20110142138A1 (en) * 2008-08-20 2011-06-16 Thomson Licensing Refined depth map

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MEI-JUAN CHEN ET AL: "A NewBlock-Matching Criterion for Motion Estimation and its Implementation", 《IEEE TRANSACTION ON CIRCUITS ANS SYSTEM FOR VIDEO TECHNOLOGY》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116597062A (zh) * 2023-07-10 2023-08-15 北京麟卓信息科技有限公司 一种基于动态自适应解码的压缩纹理渲染优化方法
CN116597062B (zh) * 2023-07-10 2024-02-09 北京麟卓信息科技有限公司 一种基于动态自适应解码的压缩纹理渲染优化方法

Also Published As

Publication number Publication date
US9509972B2 (en) 2016-11-29
CN103765895B (zh) 2017-03-08
US20140146137A1 (en) 2014-05-29
EP2717572A4 (en) 2016-06-29
WO2012177063A3 (ko) 2013-03-28
EP2717572A2 (en) 2014-04-09
EP2717572B1 (en) 2018-08-08
WO2012177063A2 (ko) 2012-12-27

Similar Documents

Publication Publication Date Title
CN105379282B (zh) 用于纹理译码的先进残余预测(arp)的方法和设备
JP2021044832A (ja) パーティション符号化を用いた有効な予測
JP2021022947A (ja) 高い分割自由度を伴う効果的なパーティション符号化
US9918068B2 (en) Method and apparatus of texture image compress in 3D video coding
CN110139108B (zh) 用于将多视点信号编码到多视点数据流中的装置及方法
WO2016054979A1 (en) Method of 3d or multi-view video coding including view synthesis prediction
CN109691106A (zh) 时间运动向量预测符的偏移向量识别
CN104471941B (zh) 3d视频编码中的视图间子分割预测的方法和装置
CN109155855A (zh) 用于视频译码的仿射运动预测
CN104412597A (zh) 用于3d视频编码的统一视差矢量推导的方法及装置
CN104798375B (zh) 用于多视点视频编码或解码的方法及装置
CN104685882A (zh) 用于处理3d场景的一个或更多个视频的方法
CN102939763A (zh) 计算三维图像的视差
CN104718760A (zh) 运动矢量推导三维视频编码的方法和装置
CN104995916B (zh) 视频数据解码方法和视频数据解码设备
CN102598674A (zh) 用于2d视频数据到3d视频数据的转换的深度图产生技术
CN105393541A (zh) 使用基于深度的块分割编解码纹理块的方法和装置
CN105027571A (zh) 三维视频译码中导出的视差向量
CN104412587A (zh) 三维视频编码中视图间候选获取的方法和设备
CN102801995B (zh) 一种基于模板匹配的多视点视频运动和视差矢量预测方法
CN104601976A (zh) 图像处理装置和图像处理方法
CN103748881A (zh) 图像处理设备和图像处理方法
CN104918032B (zh) 简化基于深度的块分割的方法
JP6571646B2 (ja) マルチビュービデオのデコード方法及び装置
CN104919799A (zh) 用于三维视频编解码的从深度到视差矢量转换的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170308

Termination date: 20210621