CN104065964B - 感兴趣区域信息的编解码方法以及视频编解码装置 - Google Patents
感兴趣区域信息的编解码方法以及视频编解码装置 Download PDFInfo
- Publication number
- CN104065964B CN104065964B CN201410276087.5A CN201410276087A CN104065964B CN 104065964 B CN104065964 B CN 104065964B CN 201410276087 A CN201410276087 A CN 201410276087A CN 104065964 B CN104065964 B CN 104065964B
- Authority
- CN
- China
- Prior art keywords
- roi
- macro blocks
- frame
- roi macro
- characteristic information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明实施例提供一种感兴趣区域信息的编解码方法以及视频编解码装置,其中编码方法包括:确定第i帧的感兴趣区域ROI,ROI包括至少一个ROI宏块;提取至少一个ROI宏块的特征信息,特征信息包括至少一个ROI宏块的位置信息和类型信息;确定至少一个ROI宏块中各ROI宏块对应的量化参数QP;根据确定的各ROI宏块对应的QP对至少一个ROI宏块的特征信息进行编码,得到第i帧的ROI特征流;将各ROI宏块对应的QP以及第i帧的ROI特征流携带在第i帧的视频流中发送,其中第i帧的视频流是对第i帧包括的ROI和非ROI进行编码获得的。本发明实施例,可提高解码获取ROI特征信息的准确性。
Description
技术领域
本发明涉及视频编码技术,尤其涉及一种感兴趣区域信息的编解码方法以及视频编解码装置。
背景技术
感兴趣区域(Range of Interesting,简称:ROI)视频编码是低速率视频编码的一个重要研究领域,由于人眼具有视觉感兴趣区的特点,即人眼对一幅图像的不同区域感兴趣的程度不同,比如说视频会议中的人脸以及医疗图像中病变部分都是感兴趣区域,而感兴趣以外的非感兴趣区域则可称为背景区域(Background,简称:BG)。基于感兴趣区域的视频编码方法,可以有效提高低速率编码的图像主观感受质量。感兴趣区域信息,包括感兴趣区域位置和类型信息。
现有的基于ROI的视频编码技术,通常首先通过一些分类判据对视频帧中的宏块进行分类,通过对ROI进行检测或者分析获得分类判据,根据该分类判据,确定ROI宏块和BG宏块,其中感兴趣区域宏块包括位置和类型信息,每个宏块可定义为R={x,y,w,h,t},其中x和y分别表示感兴趣区域左上角的横纵坐标,w表示感兴趣区域的宽,h表示感兴趣区域的长,t代表感兴趣区域的类别(比如:人脸、人手等,可自定义);然后,再根据各宏块的类别分配对应的量化参数(quantization parameter,简称:QP),对感兴趣区域采用小的量化参数,对背景区域采用大的量化参数,量化参数越大,精细度越小;之后,采用各宏块对应的QP对原始视频的各视频帧中的所有宏块进行编码,形成视频比特流发送到解码端,在解码端通过各宏块对应的QP,对视频比特流的各视频帧进行解码处理,还原出原始视频帧数据。
然而,上述基于ROI的视频编码技术,,使得解码端在解码后提取到的ROI位置和类型信息与原始视频帧中的ROI位置和类型信息相比,可能存在偏差。
发明内容
鉴于此,本发明实施例提供一种感兴趣区域信息的编解码方法以及视频编解码装置,以克服现有技术中解码端提取ROI信息可能与原始视频中的ROI信息存在偏差的问题。
第一方面,本发明实施例提供一种感兴趣区域信息的编码方法,包括:
确定第i帧的感兴趣区域ROI,所述ROI包括至少一个ROI宏块;
提取所述至少一个ROI宏块的的特征信息,所述特征信息包括所述至少一个ROI宏块的位置信息和类型信息;
确定所述至少一个ROI宏块中各ROI宏块对应的量化参数QP;
根据确定的各所述ROI宏块对应的QP对所述至少一个ROI宏块的特征信息进行编码,得到所述第i帧的ROI特征流;
将各所述ROI宏块对应的QP以及所述第i帧的ROI特征流携带在第i帧的视频流中发送,其中所述第i帧的视频流是对所述第i帧包括的ROI和非ROI进行编码获得的。
结合第一方面,在第一方面的第一种可能的实现方式中,所述确定所述至少一个ROI宏块中各ROI宏块对应的量化参数QP,包括:
根据所述各ROI宏块的类型信息调整所述至少一个ROI宏块中各ROI宏块对应的QP,其中所述ROI宏块的类型信息对应的优先级越高,则所述ROI宏块对应的QP越小。
结合第一方面或第一方面的第一种可能的实现方式,在第一方面的第二种可能的实现方式中,所述根据确定的所述各ROI宏块对应的QP对所述至少一个ROI宏块的特征信息进行编码,包括:
采用所述至少一个ROI宏块对应的QP中的最小QP,对所述第i帧的视频流进行解码,获得所述第i帧对应的准重建帧;
确定所述准重建帧中的ROI,所述准重建帧中的ROI包括至少一个所述ROI宏块的参考ROI宏块;
提取所述参考ROI宏块的特征信息,所述参考ROI宏块的特征信息,包括所述至少一个所述参考ROI宏块的位置信息和类型信息;
根据所述参考ROI宏块的特征信息,对所述至少一个ROI宏块的特征信息进行差分编码。
结合第一方面的第二种可能的实现方式,在第一方面的第三种可能的实现方式中,所述根据所述参考ROI宏块的特征信息,对所述至少一个ROI宏块的特征信息进行差分编码,包括:
在所述至少一个所述ROI宏块的参考ROI宏块中,确定与各所述ROI宏块对应的参考ROI宏块,所述ROI宏块与所述对应的参考ROI宏块具有最小位置差;
确定各所述参考ROI宏块的对应个数,所述对应个数为与所述参考ROI宏块对应的所述ROI宏块的个数;
以每一个所述参考ROI宏块为基本单元对所述至少一个ROI宏块的特征信息进行差分编码,获得基本单元编码,在所述基本单元编码中编入所述参考ROI宏块的对应个数,以及对应个数个差分编码小段,在所述差分编码小段中编入所述ROI宏块与所述参考ROI宏块的特征信息差分,所述特征信息差分包括所述位置信息差分和所述类型信息差分。
结合第一方面的第三种可能的实现方式,在第一方面的第四种可能的实现方式中,还包括:
确定所述准重建帧中的ROI包括的所述参考ROI宏块的个数;
在所述第i帧的ROI特征流中,编入所述参考ROI宏块的个数,所述第i帧的ROI特征流中包括与所述参考ROI宏块相同个数个所述基本单元编码。
结合第一方面的第三或第四种可能的实现方式,在第一方面的第五种可能的实现方式中,还包括:
在所述差分编码小段中编入标志位,所述标志位用于指示所述特征信息差分包括的所述位置信息差分是否全为零。
结合第一方面的第五种可能的实现方式,在第一方面的第六种可能的实现方式中,若所述位置信息差分全为零,则不执行在所述差分编码小段中编入所述ROI宏块与所述参考ROI宏块的特征信息差分的步骤。
结合第一方面以及第一方面的第一至第六种可能的实现方式中的任一项,在第一方面的第七种可能的实现方式中,所述将各所述ROI宏块对应的QP以及所述第i帧的ROI特征流携带在第i帧的视频流中发送,包括:
将各所述ROI宏块对应的QP以及所述第i帧的ROI特征流携带在所述第i帧的ROI视频流的帧头部分发送。
第二方面,本发明实施例提供一种感兴趣区域信息的解码方法,包括:
接收第i帧的视频流,所述第i帧包括感兴趣区域ROI,所述ROI包括至少一个ROI宏块,所述第i帧的视频流中携带有各所述ROI宏块对应的量化参数QP以及所述第i帧的ROI特征流,所述第i帧的视频流是对所述第i帧包括的ROI和非ROI进行编码获得的,所述第i帧的ROI特征流是根据各所述ROI宏块对应的QP对所述至少一个ROI宏块的特征信息进行编码获得的,其中所述特征信息包括所述至少一个ROI宏块的位置信息和类型信息;
获取所述第i帧的视频流中包括的各所述ROI宏块对应的QP以及所述第i帧的ROI特征流;
根据获取的各所述ROI宏块对应的QP,对获取的所述第i帧的ROI特征流进行解码,获得所述至少一个ROI宏块的特征信息,进而获得所述至少一个ROI宏块的位置信息和类型信息。
结合第二方面,在第二方面的第一种可能的实现方式中,所述第i帧的ROI特征流是根据所述第i帧对应的准重建帧中包括的至少一个所述ROI宏块的参考ROI宏块的特征信息,对所述至少一个ROI宏块的特征信息进行差分编码获得的,其中所述准重建帧为采用所述至少一个ROI宏块对应的QP中的最小QP,对所述第i帧的视频流进行解码获得的;
所述根据各所述ROI宏块对应的QP,对所述第i帧的ROI特征流进行解码,包括:
确定所述至少一个ROI宏块对应的QP中的最小QP;
采用确定的最小QP对所述第i帧视频流进行解码处理,获得所述第i帧对应的准重建帧;
确定所述准重建帧中的ROI,所述准重建帧中的ROI包括至少一个所述参考ROI宏块;
提取所述至少一个所述参考ROI宏块的特征信息,所述参考ROI宏块的特征信息,包括所述至少一个所述参考ROI宏块的位置信息和类型信息;
根据所述参考ROI宏块的特征信息,对所述第i帧的ROI特征流进行差分解码处理。
结合第二方面的第一种可能的实现方式,在第二方面的第二种可能的实现方式中,所述第i帧的ROI特征流包括所述准重建帧的ROI中包括的所述参考ROI宏块的个数,所述第i帧的ROI特征流包括相同个数的基本单元编码,所述基本单元编码是以每一个所述参考ROI宏块为基本单元对所述至少一个ROI宏块的特征信息进行差分编码获得的,所述基本单元编码包括所述参考ROI宏块的对应个数,以及对应个数个差分编码小段,所述差分编码小段包括所述ROI宏块与所述参考ROI宏块的特征信息差分,所述特征信息差分包括所述位置信息差分和所述类型信息差分,所述对应个数为与所述参考ROI宏块具有最小位置差的所述ROI宏块的个数;
所述根据所述参考ROI宏块的特征信息,对所述第i帧的ROI特征流进行差分解码处理,包括:
提取所述第i帧的ROI特征流中包括的所述参考ROI宏块的个数;
根据提取的所述参考ROI宏块的个数,将所述第i帧的ROI特征流拆分成与所述参考ROI宏块相同个数个解码基本单元,所述解码基本单元包括所述参考ROI宏块的对应个数,以及对应个数个差分解码小段,所述差分解码小段包括所述ROI宏块与所述参考ROI宏块的特征信息差分;
从所述解码基本单元中,提取所述参考ROI宏块的对应个数;
根据提取的所述对应个数,将所述解码基本单元拆分成对应个数个所述差分解码小段;
根据所述参考ROI宏块的特征信息对各所述差分解码小段进行解码,获得所述对应个数个所述ROI宏块的特征信息。
结合第二方面的第二种可能的实现方式,在第二方面的第三种可能的实现方式中,所述差分解码小段还包括标志位,所述标志位用于指示所述位置信息差分是否全为零;
所述解码方法,还包括:
提取所述差分解码小段中包括的标志位;
确定提取的所述标志位是否指示所述位置信息差分全为零;
若是,则将所述参考ROI宏块的特征信息作为所述ROI宏块的特征信息,并且不执行根据所述参考ROI宏块的特征信息对所述差分解码小段进行解码的步骤。
结合第二方面以及第二方面的第一或第二种可能的实现方式中的任一项,在第二方面的第三种可能的实现方式中,所述第i帧的视频流的帧头部分携带有各所述ROI宏块对应的量化参数QP以及所述第i帧的ROI特征流;
所述获取所述第i帧的视频流中包括的各所述ROI宏块对应的QP以及所述第i帧的ROI特征流,包括:
从所述第i帧的视频流的帧头部分,获取各所述ROI宏块对应的QP以及所述第i帧的ROI特征流。
第三方面,本发明实施例提供一种视频编码装置,包括:
ROI处理模块,用于确定第i帧的感兴趣区域ROI,所述ROI包括至少一个ROI宏块;以及,提取所述至少一个ROI宏块的的特征信息,所述特征信息包括所述至少一个ROI宏块的位置信息和类型信息;
QP处理模块,用于所述至少一个ROI宏块中各ROI宏块对应的量化参数QP;
第一编码模块,用于根据确定的各所述ROI宏块对应的QP对所述至少一个ROI宏块的特征信息进行编码,得到所述第i帧的ROI特征流;
第二编码模块,用于对所述第i帧包括的ROI和非ROI进行编码获得第i帧的视频流;
发送模块,用于将各所述ROI宏块对应的QP以及所述第i帧的ROI特征流携带在第i帧的视频流中发送。
结合第三方面,在第三方面的第一种可能的实现方式中,所述QP处理模块,具体用于:
根据所述各ROI宏块的类型信息调整所述至少一个ROI宏块中各ROI宏块对应的QP,其中所述ROI宏块的类型信息对应的优先级越高,则所述ROI宏块对应的QP越小。
结合第三方面或第三方面的第一种可能的实现方式,在第三方面的第二种可能的实现方式中,所述第一编码模块,包括解码子单元和编码子单元:
所述解码子单元,用于采用所述至少一个ROI宏块对应的QP中的最小QP,对所述第i帧的视频流进行解码,获得所述第i帧对应的准重建帧;
所述ROI处理模块,还用于确定所述准重建帧中的ROI,所述准重建帧中的ROI包括至少一个所述ROI宏块的参考ROI宏块;以及,提取所述参考ROI宏块的特征信息,所述参考ROI宏块的特征信息,包括所述至少一个所述参考ROI宏块的位置信息和类型信息;
所述编码子单元,用于根据所述参考ROI宏块的特征信息,对所述至少一个ROI宏块的特征信息进行差分编码。
结合第三方面的第二种可能的实现方式,在第三方面的第三种可能的实现方式中,编码子单元,具体用于:
在所述至少一个所述ROI宏块的参考ROI宏块中,确定与各所述ROI宏块对应的参考ROI宏块,所述ROI宏块与所述对应的参考ROI宏块具有最小位置差;
确定各所述参考ROI宏块的对应个数,所述对应个数为与所述参考ROI宏块对应的所述ROI宏块的个数;
以每一个所述参考ROI宏块为基本单元对所述至少一个ROI宏块的特征信息进行差分编码,获得基本单元编码,在所述基本单元编码中编入所述参考ROI宏块的对应个数,以及对应个数个差分编码小段,在所述差分编码小段中编入所述ROI宏块与所述参考ROI宏块的特征信息差分,所述特征信息差分包括所述位置信息差分和所述类型信息差分。
结合第三方面的第三种可能的实现方式,在第三方面的第四种可能的实现方式中,所述ROI处理模块,还用于确定所述准重建帧中的ROI包括的所述参考ROI宏块的个数;
所述编码子单元,还用于在所述第i帧的ROI特征流中,编入所述参考ROI宏块的个数,所述第i帧的ROI特征流中包括与所述参考ROI宏块相同个数个所述基本单元编码。
结合第三方面的第三或第四种可能的实现方式,在第三方面的第五种可能的实现方式中,所述编码子单元,还用于:
在所述差分编码小段中编入标志位,所述标志位用于指示所述特征信息差分包括的所述位置信息差分是否全为零。
结合第三方面的第五种可能的实现方式,在第三方面的第六种可能的实现方式中,若所述位置信息差分全为零,则所述编码子单元不执行在所述差分编码小段中编入所述ROI宏块与所述参考ROI宏块的特征信息差分的步骤。
结合第三方面以及第三方面的第一至第六种可能的实现方式中的任一项,在第三方面的第七种可能的实现方式中,所述发送模块,具体用于:
将所述各ROI宏块对应的QP以及所述第i帧的ROI特征流携带在所述第i帧的ROI视频流的帧头部分发送。
第四方面,本发明实施例提供一种视频解码装置,包括:
接收模块,用于接收第i帧的视频流,所述第i帧包括感兴趣区域ROI,所述ROI包括至少一个ROI宏块,所述第i帧的视频流中携带有各所述ROI宏块对应的量化参数QP以及所述第i帧的ROI特征流,所述第i帧的视频流是对所述第i帧包括的ROI和非ROI进行编码获得的,所述第i帧的ROI特征流是根据各所述ROI宏块对应的QP对所述至少一个ROI宏块的特征信息进行编码获得的,其中所述特征信息包括所述至少一个ROI宏块的位置信息和类型信息;
获取模块,用于获取所述第i帧的视频流中包括的各所述ROI宏块对应的QP以及所述第i帧的ROI特征流;
解码模块,用于根据所述获取模块获取的各所述ROI宏块对应的QP,对所述获取模块获取的所述第i帧的ROI特征流进行解码,获得所述至少一个ROI宏块的特征信息,进而获得所述至少一个ROI宏块的位置信息和类型信息。
结合第四方面,在第四方面的第一种可能的实现方式中,所述第i帧的ROI特征流是根据所述第i帧对应的准重建帧中包括的至少一个所述ROI宏块的参考ROI宏块的特征信息,对所述至少一个ROI宏块的特征信息进行差分编码获得的,其中所述准重建帧为采用所述至少一个ROI宏块对应的QP中的最小QP,对所述第i帧的视频流进行解码获得的;
所述解码模块,包括第一解码子单元,ROI处理子单元和第二解码子单元,其中,
所述第一解码子单元,用于:确定所述获取模块获取的所述至少一个ROI宏块对应的QP中的最小QP;以及,
采用确定的最小QP对所述第i帧视频流进行解码处理,获得所述第i帧对应的准重建帧;
所述ROI处理子单元,用于:确定所述准重建帧中的ROI,所述准重建帧中的ROI包括至少一个所述参考ROI宏块;以及,
提取所述至少一个所述参考ROI宏块的特征信息,所述参考ROI宏块的特征信息,包括所述至少一个所述参考ROI宏块的位置信息和类型信息;
所述第二解码子单元,用于根据所述参考ROI宏块的特征信息,对所述第i帧的ROI特征流进行差分解码处理。
结合第四方面的第一种可能的实现方式,在第四方面的第二种可能的实现方式中,所述第i帧的ROI特征流包括所述准重建帧的ROI中包括的所述参考ROI宏块的个数,所述第i帧的ROI特征流包括相同个数的基本单元编码,所述基本单元编码是以每一个所述参考ROI宏块为基本单元对所述至少一个ROI宏块的特征信息进行差分编码获得的,所述基本单元编码包括所述参考ROI宏块的对应个数,以及对应个数个差分编码小段,所述差分编码小段包括所述ROI宏块与所述参考ROI宏块的特征信息差分,所述特征信息差分包括所述位置信息差分和所述类型信息差分,所述对应个数为与所述参考ROI宏块具有最小位置差的所述ROI宏块的个数;
所述第二解码子单元,具体用于:
提取所述第i帧的ROI特征流中包括的所述参考ROI宏块的个数;
根据提取的所述参考ROI宏块的个数,将所述第i帧的ROI特征流拆分成与所述参考ROI宏块相同个数个解码基本单元,所述解码基本单元包括所述参考ROI宏块的对应个数,以及对应个数个差分解码小段,所述差分解码小段包括所述ROI宏块与所述参考ROI宏块的特征信息差分;
从所述解码基本单元中,提取所述参考ROI宏块的对应个数;
根据提取的所述对应个数,将所述解码基本单元拆分成对应个数个所述差分解码小段;
根据所述参考ROI宏块的特征信息对各所述差分解码小段进行解码,获得所述对应个数个所述ROI宏块的特征信息。
结合第四方面的第二种可能的实现方式,在第四方面的第三种可能的实现方式中,所述差分解码小段还包括标志位,所述标志位用于指示所述位置信息差分是否全为零;
所述第二解码子单元,还用于:
提取所述差分解码小段中包括的标志位;
确定提取的所述标志位是否指示所述位置信息差分全为零;
若是,则将所述参考ROI宏块的特征信息作为所述ROI宏块的特征信息,并且不执行根据所述参考ROI宏块的特征信息对所述差分解码小段进行解码的步骤。
结合第四方面以及第四方面的第一或第二种可能的实现方式中的任一项,在第四方面的第三种可能的实现方式中,所述第i帧的视频流的帧头部分携带有各所述ROI宏块对应的量化参数QP以及所述第i帧的ROI特征流;
所述获取模块,具体用于:从所述第i帧的视频流的帧头部分,获取各所述ROI宏块对应的QP以及所述第i帧的ROI特征流。
基于上述方案,本发明实施例,根据第i帧的ROI宏块的QP,对第i帧中的ROI区域包括的ROI的位置信息和类型信息直接编码后获得第i帧的ROI特征流,将第i帧的ROI特征流以及各ROI宏块的QP携带在第i帧的视频流中发送,使得接收端的解码装置从第i帧的视频流中可直接获取ROI特征流和各ROI宏块的QP,并根据各ROI宏块的QP对ROI特征流进行解码,获得ROI宏块的特征信息,进而获得ROI宏块的位置信息和类型信息,克服了现有技术中解码端提取ROI宏块的位置信息和类型信息可能存在偏差的问题,提高了解码端获取ROI宏块的位置信息和类型信息的准确性,并且有助于提高获取ROI宏块的位置信息和类型信息的解码效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的ROI信息的编码方法实施例一的流程图;
图1a为图1所示方法实施例中ROI宏块分布与QP的示意图;
图2为本发明实施例提供的ROI信息的编码方法实施例二的流程图;
图2a为图2所示方法实施例中确定ROI宏块的对应参考ROI宏块的示意图;
图2b为图2所示方法实施例中ROI宏块与参考ROI宏块的对应关系示意图;
图2c为图2所示方法实施例中基本单元编码的结构示意图;
图3为本发明实施例提供的ROI信息的解码方法实施例一的流程图;
图4为本发明实施例提供的ROI信息的解码方法实施例二的流程图;
图5为本发明实施例提供的视频编码装置实施例一的结构示意图;
图6为本发明实施例提供的视频编码装置实施例二的结构示意图;
图7为本发明实施例提供的视频解码装置实施例一的结构示意图;
图8为本发明实施例提供的视频解码装置实施例二的结构示意图;
图9为本发明实施例提供的视频编解码***实施例的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的ROI信息的编码方法实施例一的流程图,该方法实施例的执行主体可以是编码器,如图1所示,该方法实施例,包括如下步骤:
步骤101、确定第i帧的感兴趣区域ROI,该ROI包括至少一个ROI宏块。
示例性的,一段视频序列中包括多个视频帧,其中,该第i帧指该视频序列中的任意视频帧,i为正整数,对于任意帧均可以包括ROI与非ROI,非ROI也可称为BG。
对于第i帧的ROI,可采用现有技术中已有的自动检测技术来检测,或者,通过现有的运动性或纹理性分析技术来确定,对此,本发明不作限定。
步骤102、提取上述至少一个ROI宏块的的特征信息,该特征信息包括上述至少一个ROI宏块的位置信息和类型信息。
其中,对于ROI宏块的特征信息R,可定义为R={x,y,w,l,t},其中前四项表示位置信息,第五项表示类型信息,前四项中的x和y分别表示感兴趣区域左上角的横纵坐标,w表示感兴趣区域的宽,h表示感兴趣区域的长,第五项t表示感兴趣区域的类型(比如:人脸、人手等,可根据实际需求自定义或调整),可根据ROI的类型信息定义不同的优先级。
步骤103、确定上述至少一个ROI宏块中各ROI宏块对应的QP。
其中,可根据各ROI宏块的类型信息调整至少一个ROI宏块中各ROI宏块对应的QP,其中ROI宏块的类型信息对应的优先级越高,则ROI宏块对应的QP越小。
例如,可通过如下步骤确定ROI宏块对应的QP:
步骤103a、将ROI宏块按其类型信息的类别分配对应的优先级(例如,若类型信息为人脸、人手,则为其分配最高优先级,若类型信息为黑板,则为其分配次高优先级,而非ROI则可分配最低优先级,也即非ROI会被分配最大QP)。
步骤103b、根据各感兴趣区域不同的优先级分配不同的QP(比如最高优先级ROI区域QP设为最精细(即最小),次高优先级区域QP为次小,而背景区域的QP为最大)。在本实施例中,对应每个优先级的量化参数的取值可以预定义。
步骤103c、将步骤101b中分配好的各感兴趣区域QP对应到各个宏块上。由于感兴趣区域边界不一定正好位于宏块的边界,因此在选取对应宏块的量化参数时可选择该宏块中包含的最高一个优先级区域对应的量化参数,即如果一个宏块中包含最高优先级区域的像素,则该宏块的量化参数设为最高优先级的量化参数。如图1a所示,若ROI宏块覆盖不同优先级的区域,如第二行第3个ROI宏块,其中包括类型0区域、类型1区域和背景区域,则采用最高优先级类型0对应的优先级作为当前宏块的优先级,并按照该优先级确定该宏块的QP。
步骤104、根据确定的各ROI宏块对应的QP对上述至少一个ROI宏块的特征信息进行编码,得到第i帧的ROI特征流。
其中,对于第i帧的ROI宏块的特征信息编码,可以采用统一变长度编码(Universal variable length code,简称:UVLC)。
步骤105、将各ROI宏块对应的QP以及第i帧的ROI特征流携带在第i帧的视频流中发送,其中第i帧的视频流是对第i帧包括的ROI和非ROI进行编码获得的。
其中,可根据第i帧的ROI宏块对应的QP以及非ROI宏块对应的QP对第i帧包括的ROI和非ROI进行编码,以获得第i帧的视频流,本发明对获得第i帧的视频流的方法不作限定。
优选地,步骤105中,将各ROI宏块对应的QP以及第i帧的ROI特征流携带在第i帧的视频流中发送,包括:将各ROI宏块对应的QP以及第i帧的ROI特征流携带在第i帧的ROI视频流的帧头部分发送。其中编码时,将本帧所使用的QP携带在帧头部分,而不在每个宏块中编码对应的QP,可以有效节省编码QP的比特量。
通常地,可以是向接收端的解码装置发送携带有各ROI宏块对应的QP以及第i帧的ROI特征流的第i帧的视频流,以使解码装置可以根据各ROI宏块对应的QP,从第i帧的ROI特征流中解码获得第i帧的至少一个ROI宏块的特征信息,进而获得上述至少一个ROI宏块的位置信息和类型信息。
该方法实施例,根据第i帧的ROI宏块的QP,对第i帧中的ROI区域包括的ROI的位置信息和类型信息直接编码后获得第i帧的ROI特征流,将第i帧的ROI特征流以及各ROI宏块的QP携带在第i帧的视频流中发送,使得接收端的解码装置从第i帧的视频流中可直接获取ROI特征流和各ROI宏块的QP,并根据各ROI宏块的QP对ROI特征流进行解码,获得ROI宏块的特征信息,进而获得ROI宏块的位置信息和类型信息,克服了现有技术中解码端提取ROI宏块的位置信息和类型信息可能存在偏差的问题,提高了解码端获取ROI宏块的位置信息和类型信息的准确性,并且有助于提高获取ROI宏块的位置信息和类型信息的解码效率。
图2为本发明实施例提供的ROI信息的编码方法实施例二的流程图,该实施例为图1所示方法实施例步骤104中对第i帧的ROI宏块的特征信息进行编码的一种优选实施方式,该方法实施例采用差分编码,如图2所示,包括如下步骤:
步骤201、采用上述至少一个ROI宏块对应的QP中的最小QP,对第i帧的视频流进行解码,获得第i帧对应的准重建帧。
其中,准重建帧为采用最小QP对第i帧的视频流进行解码获得的,并不是真正的重建帧,重建帧是采用各ROI宏块对应的QP以及非ROI对应的QP对第i帧的视频流进行解码获得,然而准重建帧的视频画面效果和重建帧相近。对准重建帧提取出ROI,得到的ROI信息和重建帧提取出的ROI信息相近。
步骤202、确定准重建帧中的ROI,该准重建帧中的ROI包括至少一个上述ROI宏块的参考ROI宏块。
此处,准重建帧中的ROI,可采用与步骤101中相同的现有技术来确定,此处不再赘述。
步骤203、提取参考ROI宏块的特征信息,该参考ROI宏块的特征信息,包括上述至少一个参考ROI宏块的位置信息和类型信息;
其中该参考ROI宏块的特征信息R*可定义为:R*={x*,y*,w*,l*,t*},其中前四项表示位置信息,第五项表示类型信息,前四项中的x*和y*分别是表示参考ROI宏块的左上角的横纵坐标和纵坐标,w*是表示参考ROI宏块的的宽,h*表示参考ROI宏块的的长,第五项t*表示参考ROI宏块的类型。
步骤204、根据上述参考ROI宏块的特征信息,对上述至少一个ROI宏块的特征信息进行差分编码。
进一步地,步骤204,包括:
在上述至少一个所述ROI宏块的参考ROI宏块中,确定与各ROI宏块对应的参考ROI宏块,ROI宏块与对应的参考ROI宏块具有最小位置差;
确定各参考ROI宏块的对应个数,对应个数为与该参考ROI宏块对应的ROI宏块的个数;
以每一个参考ROI宏块为基本单元对上述至少一个ROI宏块的特征信息进行差分编码,获得基本单元编码,在基本单元编码中编入参考ROI宏块的对应个数,以及对应个数个差分编码小段,在差分编码小段中编入ROI宏块与参考ROI宏块的特征信息差分,该特征信息差分包括位置信息差分和类型信息差分。
其中,上述对应个数可以为0,1或任意大于1的整数。
上述最小位置差,表示参考ROI宏块为与第i帧的ROI宏块接近程度最高的宏块,也即位置差异度最小的宏块,其中位置差可以通过下述公式(1)中的OP表示:
OP(R,R*)=(x-x*)2+(y-y*)2+(w-w*)2+(h-h*)2 (1)。
其中,确定与各ROI宏块对应的参考ROI宏块,可通过将ROI宏块的位置信息分别与准重建帧中的所有参考ROI宏块的位置信息比较,确定其中与该ROI宏块具有最小OP的准重建帧中的参考ROI宏块为该ROI宏块对应的参考ROI宏块。
视频帧的扫描方式可确定各ROI宏块和参考ROI宏块在扫描过程中遇到的顺序。其中该视频帧的扫描方式可以是行扫描,列扫描,或者斜线扫描,并且在接收端采用相同的视频帧扫描方式,以确保解码顺序与编码顺序一致,本发明对扫描方式不作限定。上述以每一个参考ROI宏块为基本单元对上述至少一个ROI宏块的特征信息进行差分编码时,可以按照视频帧扫描遇到各参考ROI宏块的顺序为各参考ROI宏块的编码顺序。
优选地,在基本单元编码中编入参考ROI宏块的对应个数,可以是编入参考ROI宏块的对应个数减一。相应的,在编入时,则可以编入-1,0,或者任意正整数,由于准重建帧与重建帧接近,因此对应个数为1的情况较多,编码时,编入对应个数减一,可以有效的节约编码率。
值得注意的是,若在基本单元编码中编入的是参考ROI宏块的对应个数减一,在解码时,则要先加一以获得正确的与参考ROI宏块对应的ROI宏块的个数,并且根据该与参考ROI宏块对应的ROI宏块的个数来进行正确的拆分。
进一步地,该编码方法实施例,还包括:
确定准重建帧中的ROI包括的参考ROI宏块的个数;
在第i帧的ROI特征流中,编入参考ROI宏块的个数,第i帧的ROI特征流中包括与参考ROI宏块相同个数个基本单元编码。
优选地,该编码方法实施例,还包括:
在差分编码小段中编入标志位,该标志位用于指示特征信息差分包括的位置信息差分是否全为零。
优选地,若位置信息差分全为零,则不执行在差分编码小段中编入ROI宏块与参考ROI宏块的特征信息差分的步骤。
具体的,若位置信息差分全为零,则可仅编入标志位为0;若位置信息差分不全为零,则可编入标志位为1,并且编入特征信息的差分。
需说明的是,上述标志位可以在编码端与解码端约定不同的数值或字符以指示位置信息差分是否全为零,对此本发明不作限定。
具体来说,首先,在编码端可利用虚拟解码器采用第i帧中最小的QP对编码后的视频流解码出“准重建帧”,确定准重建帧的ROI,将该ROI中包括的至少一个宏块作为第i帧ROI宏块的参考ROI宏块,并提取各参考ROI宏块的特征信息,将参考ROI宏块的特征信息作为后续对第i帧的ROI宏块的特征信息进行差分编码的参考特征信息。该参考ROI宏块的特征信息包括参考ROI宏块的位置信息和类型信息。
接着,确定ROI宏块的对应参考ROI宏块:对于任意第i帧中的ROI宏块R,计算其与准重建帧中每一个参考ROI宏块的位置差OP,其中具有最小OP的准重建帧中的参考ROI宏块R*就是ROI宏块在差分编码时的对应参考ROI宏块。
参考图2a所示的ROI宏块与参考ROI宏块分布示意图,在第i帧中包括3个ROI宏块R1-R3,在第i帧对应的准重建帧中包括3个参考ROI宏块R1*-R3*,以确定R1的对应参考ROI宏块为例,将R1的位置信息分别与R1*、R2*以及R3*分别计算获得OP11,OP12以及OP13,根据这三个OP确定其中OP11为最小OP,也即R1与R1*具有最小位置差,R1*即为R1的对应参考ROI宏块,采用类似的步骤,可确定R2和R3的对应参考ROI宏块分别为R2*和R1*,具体不再赘述,确定后的ROI宏块与参考ROI宏块的对应关系如图2b所示。据此,可确定各参考ROI宏块的对应个数,即与参考ROI宏块对应的ROI宏块的个数,对于R1*-R3*,其对应个数分别为2,1,0。由此可见,参考ROI宏块可以对应一个ROI宏块,也可以对应多个ROI宏块甚至没有对应ROI宏块。
然后,以每一个参考ROI宏块为基本单元,根据该参考ROI宏块的特征信息,对与该参考ROI宏块对应的各ROI宏块进行差分编码,在基本单元编码中,编入该参考ROI宏块的对应个数,以及对应个数个差分编码小段,在差分编码小段中包括ROI宏块与该参考ROI宏块的特征信息差分,优选的,还可以在差分编码小段中特征信息差分前包括标志位,用于指示特征信息差分的位置信息差分是否全为零,该实施例中的基本单元编码结构示意图如图2c所示。其中,各基本单元编码在ROI特征流中的顺序,以及差分编码小段在基本单元编码中的顺序,可依照参考ROI宏块以及参考ROI宏块对应的ROI宏块的编码顺序,该编码顺序可根据视频帧的扫描方式确定的参考ROI宏块以及参考ROI宏块对应的ROI宏块在扫描过程中遇到的顺序来确定。
以视频帧扫描为行扫描,图2a中的R1-R3和R1*-R3*为例来说明编码顺序,行扫描的扫描过程为从左到右、从上到下,依次可确定R1-R3的编码顺序为R1、R3、R2,R1*-R3*的编码顺序为R1*、R3*、R2*。
对于特征信息差分部分,可编入下述公式(2)表示的差分:
R-R*={x-x*,y-y*,w-w*,h-h*,t-t*} (2)
其中前四项是ROI宏块与对应参考ROI宏块的位置信息差分,第五项是ROI宏块与对应参考ROI宏块的类型信息差分,若前四项全为0,则可仅编入标志位为“0”,并且跳过特征信息差分的编码;如果前四项不全为0,则首先编入标志位为“1”,再编入特征信息差分。
对于ROI宏块的类型信息差分,若与对应参考ROI宏块类型信息相同,则类型信息差分编入0;如果比对应参考ROI宏块类型信息的优先级低,则类型信息差分编入相应的负数。
最后,根据参考ROI宏块的个数以及经过上述步骤得到的各参考ROI宏块对应的基本单元编码,得到第i帧的ROI特征流,将第i帧的ROI特征流及第i帧的ROI宏块对应的所有QP一起***该第i帧的视频流的帧头部分发送。
以图2b中的ROI宏块为例来说明具体的编码过程,其中第i帧的ROI宏块R1~R3,分别为R1={100,100,100,100,1},R2={199,399,200,100,0},R3={150,150,102,99,1},第i帧对应的准重建帧中的对应参考ROI宏块R1*与R2*,分别为R1*={100,100,100,100,0},以及R2*={200,400,200,100,0}。
以视频帧扫描为行扫描为例,R1*-R3*为基本单元,来说明具体的对R1~R3的特征信息进行差分编码的过程。
首先在确定参考ROI宏块R1*-R3*的个数为3,编入3,接着按照参考ROI宏块的编码顺序R1*、R3*、R2*,以各参考ROI宏块为基本单元对ROI宏块进行编码。
其中,以R1*为基本单元对ROI宏块进行差分编码时,与R1*对应的ROI宏块有2个,为R1和R3。在R1*对应的基本单元编码中,首先编入R1*的对应个数2,然后编入2个差分编码小段。在第一个差分编码小段中编入R1与R1*的特征信息差分,由于R1与R1*的位置信息差分全为零,则仅编入标志位为零,并且跳过R1的特征信息差分编码,然后在第二个差分编码小段中编入R3与R1*的特征信息差分。由于R3与R1*的位置信息差分不全为零,则首先编入标志位为一,接着编入R3与R1*的特征信息差分。由此得到R1*对应的基本单元编码为:|2|0|1|50|50|2|-1|1|。
以R3*为基本单元对ROI宏块进行差分编码时,由于R3*不对应任何ROI宏块,也即差分编码小段的个数为0,此时,仅需在R3*的基本单元编码中编入对应个数为0,由此得到R3*对应的基本单元编码为:|0|。
以R2*为基本单元对ROI宏块进行差分编码时,与R2*对应的ROI宏块有1个,为R2,在R2*对应的基本单元编码中,首先编入对应个数为1,然后由于位置信息差分残差不全为0,编入标志位为1,然后编入特征信息差分,由此得到R2*对应的基本单元编码为:|1|1|-1|-1|0|0|0|。
最后,综合参考ROI的个数以及上述R1*-R3*对应的基本单元编码得到的第i帧的ROI特征流编码为:|3|2|0|1|50|50|2|-1|1|0|1|1|-1|-1|0|0|0|。
需说明的是,也可以在对应个数处编入对应个数减一,由此第i帧的ROI特征流编码为:|3|1|0|1|50|50|2|-1|1|-1|0|1|-1|-1|0|0|0|。编入对应个数减1是考虑到多数情况的对应是一一对应,可以进一步减少码率。
具体实验时,在个人电脑(Personal Computer,简称:PC)上,对不同内容、分辨率及不同ROI宏块个数的视频做了多组实验实验,对该方法实施例的差分编码方法与直接编码方法,即直接将感兴趣区域的位置信息的四个参数用固定长度编码方式写入每一帧的帧头,进行编码率对比。
实验结果表明,该方法实施例中的技术方案对不同分辨率的视频均适用,并且在不同的QP下能提高编码效率,尤其是当ROI宏块的数量较多时,QP差别较大的情况下,相比于直接编码ROI位置及类型的绝对值,能节省15%以上的码率。
该方法实施例,在图1所示方法实施例的基础上,通过在编码端采用最小QP对第i帧的ROI视频流进行解码获得准重建帧,并以准重建帧中的ROI宏块的特征信息为参考特征信息,对第i帧的ROI宏块进行差分编码,获得第i帧的ROI特征流,进一步降低了ROI特征信息的编码率,并且在准重建帧的基础上编码,使得解码端可以直接采用最小QP解码获得准重建帧,在准重建帧上对ROI特征流进行解码,而无需知道第i帧的所有宏块包括各ROI宏块对应的QP和非ROI宏块对应的QP即可实现解码,进一步地提高了解码效率。
图3为本发明实施例提供的ROI信息的解码方法实施例一的流程图,该方法实施例的执行主体通常为解码装置,执行与图1所示方法实施例中的编码装置对应的解码步骤。如图3所示,该解码方法实施例,包括如下步骤:
步骤301、接收第i帧的视频流,该第i帧包括感兴趣区域ROI,该ROI包括至少一个ROI宏块,第i帧的视频流中携带有各ROI宏块对应的量化参数QP以及第i帧的ROI特征流,第i帧的视频流是对第i帧包括的ROI和非ROI进行编码获得的,第i帧的ROI特征流是根据各ROI宏块对应的QP对上述至少一个ROI宏块的特征信息进行编码获得的,其中该特征信息包括上述至少一个ROI宏块的位置信息和类型信息;
步骤302、获取第i帧的视频流中包括的各ROI宏块对应的QP以及第i帧的ROI特征流;
步骤303、根据获取的各ROI宏块对应的QP,对获取的第i帧的ROI特征流进行解码,获得上述至少一个ROI宏块的特征信息,进而获得上述至少一个ROI宏块的位置信息和类型信息。
优选地,第i帧的视频流的帧头部分携带有各ROI宏块对应的量化参数QP以及第i帧的ROI特征流;
相应地,步骤302,包括:
从第i帧的视频流的帧头部分,获取各ROI宏块对应的QP以及第i帧的ROI特征流。
具体实现时,步骤303中,对第i帧的ROI特征流进行解码,可以采用与图1所示方法实施例中UVLC对应的解码方法,具体不再赘述。
需说明的是,在解码获取上述至少一个ROI宏块对应的位置信息和类型信息后,可根据类型信息确定各ROI宏块对应的QP,而非ROI对应的QP可根据编解码端的约定值确定,比如说,可约定非ROI对应的QP为48,ROI对应的QP可根据ROI宏块的类型信息的优先级调整,较高优先级的ROI宏块对应的QP为24,而较低优先级的ROI宏块对应的QP可以为36,从而可根据各ROI宏块对应的QP以及非ROI宏块对应的QP对第i帧的视频流进行解码,获得第i帧的重建帧。
该方法实施例,通过接收第i帧的视频流的同时接收第i帧的ROI特征流以及第i帧各ROI宏块对应的QP,使得可根据各ROI宏块对应的QP对ROI特征流解码,获得ROI宏块的特征信息,进而获得ROI宏块的位置信息和类型信息,提高了解码获取ROI宏块特征信息的准确性,并且通过直接解码获得ROI宏块的特征信息,提高了解码获取ROI信息的效率。
图4为本发明实施例提供的ROI信息的解码方法实施例二的流程图,该实施例为图3所示方法实施例步骤303中对第i帧的ROI特征流进行解码的一种优选实施方式,其中,上述第i帧的ROI特征流是根据第i帧对应的准重建帧中包括的至少一个ROI宏块的参考ROI宏块的特征信息,对至少一个ROI宏块的特征信息进行差分编码获得的,其中准重建帧为采用至少一个ROI宏块对应的QP中的最小QP,对第i帧的视频流进行解码获得的,如图4所示,该方法实施例,包括如下步骤:
步骤401、确定上述至少一个ROI宏块对应的QP中的最小QP;
步骤402、采用确定的最小QP对第i帧视频流进行解码处理,获得第i帧对应的准重建帧;
步骤403、确定准重建帧中的ROI,该准重建帧中的ROI包括至少一个参考ROI宏块;
步骤404、提取上述至少一个参考ROI宏块的特征信息,该参考ROI宏块的特征信息,包括上述至少一个参考ROI宏块的位置信息和类型信息;
步骤405、根据参考ROI宏块的特征信息,对第i帧的ROI特征流进行差分解码处理。
进一步地,第i帧的ROI特征流包括准重建帧的ROI中包括的参考ROI宏块的个数,第i帧的ROI特征流包括相同个数的基本单元编码,该基本单元编码是以每一个参考ROI宏块为基本单元对至少一个ROI宏块的特征信息进行差分编码获得的,该基本单元编码包括参考ROI宏块的对应个数,以及对应个数个差分编码小段,该差分编码小段包括ROI宏块与参考ROI宏块的特征信息差分,上述特征信息差分包括位置信息差分和类型信息差分,上述对应个数为与参考ROI宏块具有最小位置差的ROI宏块的个数;
相应地,步骤405,包括:
提取第i帧的ROI特征流中包括的参考ROI宏块的个数;
根据提取的参考ROI宏块的个数,将第i帧的ROI特征流拆分成与参考ROI宏块相同个数个解码基本单元,该解码基本单元包括参考ROI宏块的对应个数,以及对应个数个差分解码小段,差分解码小段包括ROI宏块与参考ROI宏块的特征信息差分;
从上述解码基本单元中,提取参考ROI宏块的对应个数;
根据提取的对应个数,将解码基本单元拆分成对应个数个差分解码小段;
根据参考ROI宏块的特征信息对各差分解码小段进行解码,获得对应个数个ROI宏块的特征信息。
上述解码过程中,各解码基本单元对应的参考ROI宏块的特征信息,可按照与编码端相同的视频帧扫描方式,依序从解码获得的准重建帧中提取的各参考ROI宏块的特征信息得到。由于编码端和解码端均是对相同的第i帧的视频流采用相同的最小QP来获取准重建帧,因此,可以保证编解码获得的准重建帧中的参考ROI宏块以及其特征信息是一致的,进而可以保证解码获得ROI宏块特征信息的准确性。
优选地,上述差分解码小段还包括标志位,该标志位用于指示位置信息差分是否全为零;
相应的,该方法实施例,还包括:
提取差分解码小段中包括的标志位;
确定提取的标志位是否指示位置信息差分全为零;
若是,则将参考ROI宏块的特征信息作为ROI宏块的特征信息,并且不执行根据参考ROI宏块的特征信息对差分解码小段进行解码的步骤。
优选地,该方法实施例,还包括:
若提取的对应个数为0,则跳过对解码基本单元的解码处理。
需说明的是,若在编码时,对应个数编入的是与参考ROI宏块对应的ROI宏块的个数减一,此时,若提取的对应个数为负数,则跳过对解码基本单元的解码处理。
具体来说,该方法实施例中的解码步骤为图2所示方法实施例中编码步骤的逆过程,技术效果类似,具体不再赘述。
图5为本发明实施例提供的视频编码装置实施例一的结构示意图,如图5所示,该视频编码装置500,包括:ROI处理模块501、QP处理模块502、第一编码模块503、第二编码模块504以及发送模块505,其中,
ROI处理模块501,用于确定第i帧的感兴趣区域ROI,所述ROI包括至少一个ROI宏块;以及,提取所述至少一个ROI宏块的的特征信息,所述特征信息包括所述至少一个ROI宏块的位置信息和类型信息;
QP处理模块502,用于所述至少一个ROI宏块中各ROI宏块对应的量化参数QP;
第一编码模块503,用于根据确定的各所述ROI宏块对应的QP对所述至少一个ROI宏块的特征信息进行编码,得到所述第i帧的ROI特征流;
第二编码模块504,用于对所述第i帧包括的ROI和非ROI进行编码获得第i帧的视频流;
发送模块505,用于将各所述ROI宏块对应的QP以及所述第i帧的ROI特征流携带在第i帧的视频流中发送。
进一步地,QP处理模块502,具体用于:根据所述各ROI宏块的类型信息调整所述至少一个ROI宏块中各ROI宏块对应的QP,其中所述ROI宏块的类型信息对应的优先级越高,则所述ROI宏块对应的QP越小。
优选地,发送模块505,具体用于:将各ROI宏块对应的QP以及第i帧的ROI特征流携带在第i帧的ROI视频流的帧头部分发送。
该实施例提供的视频编码装置500,可用于执行图1所示方法实施例中的编码步骤,其实现原理与技术效果是类似的,具体不再赘述。
图6为本发明实施例提供的视频编码装置实施例二的结构示意图,如图6所示,该视频编码装置600具有与图5所示视频编码装置类似的结构,对于具有相同编号的模块其实现原理相同,具体不再赘述,该视频编码装置600包括的解码子单元601和编码子单元602为图5所示视频编码装置500中包括的第一编码模块503的一种优选实施方式,其中,
解码子单元601,用于采用至少一个ROI宏块对应的QP中的最小QP,对第i帧的视频流进行解码,获得第i帧对应的准重建帧;
ROI处理模块501,还用于确定准重建帧中的ROI,准重建帧中的ROI包括至少一个ROI宏块的参考ROI宏块;以及,提取参考ROI宏块的特征信息,参考ROI宏块的特征信息,包括至少一个参考ROI宏块的位置信息和类型信息;
编码子单元602,用于根据参考ROI宏块的特征信息,对至少一个ROI宏块的特征信息进行差分编码。
进一步地,编码子单元602,具体用于:
在至少一个ROI宏块的参考ROI宏块中,确定与各ROI宏块对应的参考ROI宏块,ROI宏块与对应的参考ROI宏块具有最小位置差;
确定各参考ROI宏块的对应个数,对应个数为与参考ROI宏块对应的ROI宏块的个数;
以每一个参考ROI宏块为基本单元对至少一个ROI宏块的特征信息进行差分编码,获得基本单元编码,在基本单元编码中编入参考ROI宏块的对应个数,以及对应个数个差分编码小段,在差分编码小段中编入ROI宏块与参考ROI宏块的特征信息差分,特征信息差分包括位置信息差分和类型信息差分。
进一步地,ROI处理模块501,还用于确定准重建帧中的ROI包括的参考ROI宏块的个数;
编码子单元602,还用于在第i帧的ROI特征流中,编入参考ROI宏块的个数,第i帧的ROI特征流中包括与参考ROI宏块相同个数个基本单元编码。
优选地,编码子单元602,还用于:
在差分编码小段中编入标志位,标志位用于指示特征信息差分包括的位置信息差分是否全为零。
若所述位置信息差分全为零,则编码子单元602不执行在差分编码小段中编入ROI宏块与参考ROI宏块的特征信息差分的步骤。
该实施例提供的视频编码装置600,可用于执行图2所示方法实施例中的编码步骤,其实现原理和技术效果类似,具体不再赘述。
图7为本发明实施例提供的视频解码装置实施例一的结构示意图,如图7所示,该视频解码装置700,包括:接收模块701、获取模块702以及解码模块703,其中,
接收模块701,用于接收第i帧的视频流,第i帧包括感兴趣区域ROI,ROI包括至少一个ROI宏块,第i帧的视频流中携带有各ROI宏块对应的量化参数QP以及第i帧的ROI特征流,第i帧的视频流是对第i帧包括的ROI和非ROI进行编码获得的,第i帧的ROI特征流是根据各ROI宏块对应的QP对至少一个ROI宏块的特征信息进行编码获得的,其中特征信息包括至少一个ROI宏块的位置信息和类型信息;
获取模块702,用于获取第i帧的视频流中包括的各ROI宏块对应的QP以及第i帧的ROI特征流;
解码模块703,用于根据获取模块获取的各ROI宏块对应的QP,对获取模块获取的第i帧的ROI特征流进行解码,获得至少一个ROI宏块的特征信息,进而获得至少一个ROI宏块的位置信息和类型信息。
优选地,第i帧的视频流的帧头部分携带有各ROI宏块对应的量化参数QP以及第i帧的ROI特征流;
相应地,获取模块702,具体用于:从第i帧的视频流的帧头部分,获取各ROI宏块对应的QP以及第i帧的ROI特征流。
本实施例提供的视频解码装置700,可用于执行图3所示方法实施例中对应的解码步骤,其实现原理和技术效果类似,具体不再赘述。
图8为本发明实施例提供的视频解码装置实施例二的结构示意图,该实施例中,第i帧的ROI特征流是根据第i帧对应的准重建帧中包括的至少一个ROI宏块的参考ROI宏块的特征信息,对至少一个ROI宏块的特征信息进行差分编码获得的,其中准重建帧为采用至少一个ROI宏块对应的QP中的最小QP,对第i帧的视频流进行解码获得的。如图8所示,该视频解码装置800包括第一解码子单元801,ROI处理子单元802和第二解码子单元803,为图7所示视频解码装置中包括的解码模块703的一种优选实施方式,其中,
第一解码子单元801,用于:确定获取模块获取的至少一个ROI宏块对应的QP中的最小QP;以及,采用确定的最小QP对第i帧视频流进行解码处理,获得第i帧对应的准重建帧;
ROI处理子单元802,用于:确定准重建帧中的ROI,准重建帧中的ROI包括至少一个参考ROI宏块;以及,提取至少一个参考ROI宏块的特征信息,参考ROI宏块的特征信息,包括至少一个参考ROI宏块的位置信息和类型信息;
第二解码子单元803,用于根据参考ROI宏块的特征信息,对第i帧的ROI特征流进行差分解码处理。
进一步地,第i帧的ROI特征流包括准重建帧的ROI中包括的参考ROI宏块的个数,第i帧的ROI特征流包括相同个数的基本单元编码,基本单元编码是以每一个参考ROI宏块为基本单元对至少一个ROI宏块的特征信息进行差分编码获得的,基本单元编码包括参考ROI宏块的对应个数,以及对应个数个差分编码小段,差分编码小段包括ROI宏块与参考ROI宏块的特征信息差分,特征信息差分包括位置信息差分和类型信息差分,对应个数为与参考ROI宏块具有最小位置差的ROI宏块的个数;
相应地,第二解码子单元803,具体用于:
提取第i帧的ROI特征流中包括的参考ROI宏块的个数;
根据提取的参考ROI宏块的个数,将第i帧的ROI特征流拆分成与参考ROI宏块相同个数个解码基本单元,解码基本单元包括参考ROI宏块的对应个数,以及对应个数个差分解码小段,差分解码小段包括ROI宏块与参考ROI宏块的特征信息差分;
从解码基本单元中,提取参考ROI宏块的对应个数;
根据提取的对应个数,将解码基本单元拆分成对应个数个差分解码小段;
根据参考ROI宏块的特征信息对各差分解码小段进行解码,获得对应个数个ROI宏块的特征信息。
优选地,差分解码小段还包括标志位,标志位用于指示位置信息差分是否全为零;
相应地,第二解码子单元,还用于:
提取差分解码小段中包括的标志位;
确定提取的标志位是否指示位置信息差分全为零;
若是,则将参考ROI宏块的特征信息作为ROI宏块的特征信息,并且不执行根据参考ROI宏块的特征信息对差分解码小段进行解码的步骤。
本实施例提供的视频解码装置800,可用于执行图4所示方法实施例中对应的解码步骤,其实现原理和技术效果类似,具体不再赘述。
图9为本发明实施例提供的视频编解码***实施例的结构示意图,如图9所示,该视频编解码***,包括视频编码装置901和视频解码装置902,其中,该视频编码装置901可以是图5或者图6所示的视频编码装置,可以用于执行图1或图2所示方法实施例中对应的编码步骤,该视频解码装置902可以是图7或者图8所示的视频编码装置,可以用于执行图3或图4所示方法实施例中对应的解码步骤,其实现原理和技术效果类似,具体不再赘述。
此外,应理解,取决于实施例,本文中所述的方法中的任一者的某些动作或者事件可以按照不同的顺序执行,可以添加、合并或者一起省略(例如,为实现某些特定的目的,并非所有描述的动作或者事件都是必要的)。此外,在某些实施例中,动作或者事件可以经由多线程处理、中断处理或者多个处理器同时处理,上述同时处理可以是非顺序的执行。另外,处于清楚的考虑,本发明的具体实施例经描述为某单个步骤或者模块的功能,但应理解,本发明的技术可以是上述多个步骤或者模块的组合执行。
本文中所说的编码装置或者解码装置,可以包括一个或者一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或者其他等效集成或者离散逻辑电路的一个或者一个以上处理器来执行指令,应理解本文中所说的编码装置或者解码装置可能还包括存储装置、总线等部分。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (30)
1.一种感兴趣区域信息的编码方法,其特征在于,包括:
确定第i帧的感兴趣区域ROI,所述ROI包括至少一个ROI宏块;
提取所述至少一个ROI宏块的的特征信息,所述特征信息包括所述至少一个ROI宏块的位置信息和类型信息;
确定所述至少一个ROI宏块中各ROI宏块对应的量化参数QP;
根据确定的各所述ROI宏块对应的QP对所述至少一个ROI宏块的特征信息进行编码,得到所述第i帧的ROI特征流;
将各所述ROI宏块对应的QP以及所述第i帧的ROI特征流携带在第i帧的视频流中发送,其中所述第i帧的视频流是对所述第i帧包括的ROI和非ROI进行编码获得的。
2.根据权利要求1所述的编码方法,其特征在于,所述确定所述至少一个ROI宏块中各ROI宏块对应的量化参数QP,包括:
根据所述各ROI宏块的类型信息调整所述至少一个ROI宏块中各ROI宏块对应的QP,其中所述ROI宏块的类型信息对应的优先级越高,则所述ROI宏块对应的QP越小。
3.根据权利要求1或2所述的编码方法,其特征在于,所述根据确定的所述各ROI宏块对应的QP对所述至少一个ROI宏块的特征信息进行编码,包括:
采用所述至少一个ROI宏块对应的QP中的最小QP,对所述第i帧的视频流进行解码,获得所述第i帧对应的准重建帧;
确定所述准重建帧中的ROI,所述准重建帧中的ROI包括至少一个所述ROI宏块的参考ROI宏块;
提取所述参考ROI宏块的特征信息,所述参考ROI宏块的特征信息,包括所述至少一个所述参考ROI宏块的位置信息和类型信息;
根据所述参考ROI宏块的特征信息,对所述至少一个ROI宏块的特征信息进行差分编码。
4.根据权利要求3所述的编码方法,其特征在于,所述根据所述参考ROI宏块的特征信息,对所述至少一个ROI宏块的特征信息进行差分编码,包括:
在所述至少一个所述ROI宏块的参考ROI宏块中,确定与各所述ROI宏块对应的参考ROI宏块,所述ROI宏块与所述对应的参考ROI宏块具有最小位置差;
确定各所述参考ROI宏块的对应个数,所述对应个数为与所述参考ROI宏块对应的所述ROI宏块的个数;
以每一个所述参考ROI宏块为基本单元对所述至少一个ROI宏块的特征信息进行差分编码,获得基本单元编码,在所述基本单元编码中编入所述参考ROI宏块的对应个数,以及对应个数个差分编码小段,在所述差分编码小段中编入所述ROI宏块与所述参考ROI宏块的特征信息差分,所述特征信息差分包括所述位置信息差分和所述类型信息差分。
5.根据权利要求4所述的编码方法,其特征在于,还包括:
确定所述准重建帧中的ROI包括的所述参考ROI宏块的个数;
在所述第i帧的ROI特征流中,编入所述参考ROI宏块的个数,所述第i帧的ROI特征流中包括与所述参考ROI宏块相同个数个所述基本单元编码。
6.根据权利要求4或5所述的编码方法,其特征在于,还包括:
在所述差分编码小段中编入标志位,所述标志位用于指示所述特征信息差分包括的所述位置信息差分是否全为零。
7.根据权利要求6所述的编码方法,其特征在于,
若所述位置信息差分全为零,则不执行在所述差分编码小段中编入所述ROI宏块与所述参考ROI宏块的特征信息差分的步骤。
8.根据权利要求1、2、4、5、7中任一项所述的编码方法,其特征在于,所述将各所述ROI宏块对应的QP以及所述第i帧的ROI特征流携带在第i帧的视频流中发送,包括:
将各所述ROI宏块对应的QP以及所述第i帧的ROI特征流携带在所述第i帧的ROI视频流的帧头部分发送。
9.根据权利要求3所述的编码方法,其特征在于,所述将各所述ROI宏块对应的QP以及所述第i帧的ROI特征流携带在第i帧的视频流中发送,包括:
将各所述ROI宏块对应的QP以及所述第i帧的ROI特征流携带在所述第i帧的ROI视频流的帧头部分发送。
10.根据权利要求6所述的编码方法,其特征在于,所述将各所述ROI宏块对应的QP以及所述第i帧的ROI特征流携带在第i帧的视频流中发送,包括:
将各所述ROI宏块对应的QP以及所述第i帧的ROI特征流携带在所述第i帧的ROI视频流的帧头部分发送。
11.一种感兴趣区域信息的解码方法,其特征在于,包括:
接收第i帧的视频流,所述第i帧包括感兴趣区域ROI,所述ROI包括至少一个ROI宏块,所述第i帧的视频流中携带有各所述ROI宏块对应的量化参数QP以及所述第i帧的ROI特征流,所述第i帧的视频流是对所述第i帧包括的ROI和非ROI进行编码获得的,所述第i帧的ROI特征流是根据各所述ROI宏块对应的QP对所述至少一个ROI宏块的特征信息进行编码获得的,其中所述特征信息包括所述至少一个ROI宏块的位置信息和类型信息;
获取所述第i帧的视频流中包括的各所述ROI宏块对应的QP以及所述第i帧的ROI特征流;
根据获取的各所述ROI宏块对应的QP,对获取的所述第i帧的ROI特征流进行解码,获得所述至少一个ROI宏块的特征信息,进而获得所述至少一个ROI宏块的位置信息和类型信息。
12.根据权利要求11所述的解码方法,其特征在于,所述第i帧的ROI特征流是根据所述第i帧对应的准重建帧中包括的至少一个所述ROI宏块的参考ROI宏块的特征信息,对所述至少一个ROI宏块的特征信息进行差分编码获得的,其中所述准重建帧为采用所述至少一个ROI宏块对应的QP中的最小QP,对所述第i帧的视频流进行解码获得的;
所述根据各所述ROI宏块对应的QP,对所述第i帧的ROI特征流进行解码,包括:
确定所述至少一个ROI宏块对应的QP中的最小QP;
采用确定的最小QP对所述第i帧视频流进行解码处理,获得所述第i帧对应的准重建帧;
确定所述准重建帧中的ROI,所述准重建帧中的ROI包括至少一个所述参考ROI宏块;
提取所述至少一个所述参考ROI宏块的特征信息,所述参考ROI宏块的特征信息,包括所述至少一个所述参考ROI宏块的位置信息和类型信息;
根据所述参考ROI宏块的特征信息,对所述第i帧的ROI特征流进行差分解码处理。
13.根据权利要求12所述的解码方法,其特征在于,所述第i帧的ROI特征流包括所述准重建帧的ROI中包括的所述参考ROI宏块的个数,所述第i帧的ROI特征流包括相同个数的基本单元编码,所述基本单元编码是以每一个所述参考ROI宏块为基本单元对所述至少一个ROI宏块的特征信息进行差分编码获得的,所述基本单元编码包括所述参考ROI宏块的对应个数,以及对应个数个差分编码小段,所述差分编码小段包括所述ROI宏块与所述参考ROI宏块的特征信息差分,所述特征信息差分包括所述位置信息差分和所述类型信息差分,所述对应个数为与所述参考ROI宏块具有最小位置差的所述ROI宏块的个数;
所述根据所述参考ROI宏块的特征信息,对所述第i帧的ROI特征流进行差分解码处理,包括:
提取所述第i帧的ROI特征流中包括的所述参考ROI宏块的个数;
根据提取的所述参考ROI宏块的个数,将所述第i帧的ROI特征流拆分成与所述参考ROI宏块相同个数个解码基本单元,所述解码基本单元包括所述参考ROI宏块的对应个数,以及对应个数个差分解码小段,所述差分解码小段包括所述ROI宏块与所述参考ROI宏块的特征信息差分;
从所述解码基本单元中,提取所述参考ROI宏块的对应个数;
根据提取的所述对应个数,将所述解码基本单元拆分成对应个数个所述差分解码小段;
根据所述参考ROI宏块的特征信息对各所述差分解码小段进行解码,获得所述对应个数个所述ROI宏块的特征信息。
14.根据权利要求13所述的解码方法,其特征在于,所述差分解码小段还包括标志位,所述标志位用于指示所述位置信息差分是否全为零;
所述解码方法,还包括:
提取所述差分解码小段中包括的标志位;
确定提取的所述标志位是否指示所述位置信息差分全为零;
若是,则将所述参考ROI宏块的特征信息作为所述ROI宏块的特征信息,并且不执行根据所述参考ROI宏块的特征信息对所述差分解码小段进行解码的步骤。
15.根据权利要求11-14任一项所述的解码方法,其特征在于,所述第i帧的视频流的帧头部分携带有各所述ROI宏块对应的量化参数QP以及所述第i帧的ROI特征流;
所述获取所述第i帧的视频流中包括的各所述ROI宏块对应的QP以及所述第i帧的ROI特征流,包括:
从所述第i帧的视频流的帧头部分,获取各所述ROI宏块对应的QP以及所述第i帧的ROI特征流。
16.一种视频编码装置,其特征在于,包括:
ROI处理模块,用于确定第i帧的感兴趣区域ROI,所述ROI包括至少一个ROI宏块;以及,提取所述至少一个ROI宏块的的特征信息,所述特征信息包括所述至少一个ROI宏块的位置信息和类型信息;
QP处理模块,用于所述至少一个ROI宏块中各ROI宏块对应的量化参数QP;
第一编码模块,用于根据确定的各所述ROI宏块对应的QP对所述至少一个ROI宏块的特征信息进行编码,得到所述第i帧的ROI特征流;
第二编码模块,用于对所述第i帧包括的ROI和非ROI进行编码获得第i帧的视频流;
发送模块,用于将各所述ROI宏块对应的QP以及所述第i帧的ROI特征流携带在第i帧的视频流中发送。
17.根据权利要求16所述的编码装置,其特征在于,所述QP处理模块,具体用于:
根据所述各ROI宏块的类型信息调整所述至少一个ROI宏块中各ROI宏块对应的QP,其中所述ROI宏块的类型信息对应的优先级越高,则所述ROI宏块对应的QP越小。
18.根据权利要求16或17所述的编码装置,其特征在于,所述第一编码模块,包括解码子单元和编码子单元:
所述解码子单元,用于采用所述至少一个ROI宏块对应的QP中的最小QP,对所述第i帧的视频流进行解码,获得所述第i帧对应的准重建帧;
所述ROI处理模块,还用于确定所述准重建帧中的ROI,所述准重建帧中的ROI包括至少一个所述ROI宏块的参考ROI宏块;以及,提取所述参考ROI宏块的特征信息,所述参考ROI宏块的特征信息,包括所述至少一个所述参考ROI宏块的位置信息和类型信息;
所述编码子单元,用于根据所述参考ROI宏块的特征信息,对所述至少一个ROI宏块的特征信息进行差分编码。
19.根据权利要求18所述的编码装置,其特征在于,编码子单元,具体用于:
在所述至少一个所述ROI宏块的参考ROI宏块中,确定与各所述ROI宏块对应的参考ROI宏块,所述ROI宏块与所述对应的参考ROI宏块具有最小位置差;
确定各所述参考ROI宏块的对应个数,所述对应个数为与所述参考ROI宏块对应的所述ROI宏块的个数;
以每一个所述参考ROI宏块为基本单元对所述至少一个ROI宏块的特征信息进行差分编码,获得基本单元编码,在所述基本单元编码中编入所述参考ROI宏块的对应个数,以及对应个数个差分编码小段,在所述差分编码小段中编入所述ROI宏块与所述参考ROI宏块的特征信息差分,所述特征信息差分包括所述位置信息差分和所述类型信息差分。
20.根据权利要求19所述的编码装置,其特征在于,所述ROI处理模块,还用于确定所述准重建帧中的ROI包括的所述参考ROI宏块的个数;
所述编码子单元,还用于在所述第i帧的ROI特征流中,编入所述参考ROI宏块的个数,所述第i帧的ROI特征流中包括与所述参考ROI宏块相同个数个所述基本单元编码。
21.根据权利要求19或20所述的编码装置,其特征在于,所述编码子单元,还用于:
在所述差分编码小段中编入标志位,所述标志位用于指示所述特征信息差分包括的所述位置信息差分是否全为零。
22.根据权利要求21所述的编码装置,其特征在于,若所述位置信息差分全为零,则所述编码子单元不执行在所述差分编码小段中编入所述ROI宏块与所述参考ROI宏块的特征信息差分的步骤。
23.根据权利要求16、17、19、20、22中任一项所述的编码装置,其特征在于,所述发送模块,具体用于:
将所述各ROI宏块对应的QP以及所述第i帧的ROI特征流携带在所述第i帧的ROI视频流的帧头部分发送。
24.根据权利要求18所述的编码装置,其特征在于,所述发送模块,具体用于:
将所述各ROI宏块对应的QP以及所述第i帧的ROI特征流携带在所述第i帧的ROI视频流的帧头部分发送。
25.根据权利要求21所述的编码装置,其特征在于,所述发送模块,具体用于:
将所述各ROI宏块对应的QP以及所述第i帧的ROI特征流携带在所述第i帧的ROI视频流的帧头部分发送。
26.一种视频解码装置,其特征在于,包括:
接收模块,用于接收第i帧的视频流,所述第i帧包括感兴趣区域ROI,所述ROI包括至少一个ROI宏块,所述第i帧的视频流中携带有各所述ROI宏块对应的量化参数QP以及所述第i帧的ROI特征流,所述第i帧的视频流是对所述第i帧包括的ROI和非ROI进行编码获得的,所述第i帧的ROI特征流是根据各所述ROI宏块对应的QP对所述至少一个ROI宏块的特征信息进行编码获得的,其中所述特征信息包括所述至少一个ROI宏块的位置信息和类型信息;
获取模块,用于获取所述第i帧的视频流中包括的各所述ROI宏块对应的QP以及所述第i帧的ROI特征流;
解码模块,用于根据所述获取模块获取的各所述ROI宏块对应的QP,对所述获取模块获取的所述第i帧的ROI特征流进行解码,获得所述至少一个ROI宏块的特征信息,进而获得所述至少一个ROI宏块的位置信息和类型信息。
27.根据权利要求26所述的解码装置,其特征在于,所述第i帧的ROI特征流是根据所述第i帧对应的准重建帧中包括的至少一个所述ROI宏块的参考ROI宏块的特征信息,对所述至少一个ROI宏块的特征信息进行差分编码获得的,其中所述准重建帧为采用所述至少一个ROI宏块对应的QP中的最小QP,对所述第i帧的视频流进行解码获得的;
所述解码模块,包括第一解码子单元,ROI处理子单元和第二解码子单元,其中,
所述第一解码子单元,用于:确定所述获取模块获取的所述至少一个ROI宏块对应的QP中的最小QP;以及,
采用确定的最小QP对所述第i帧视频流进行解码处理,获得所述第i帧对应的准重建帧;
所述ROI处理子单元,用于:确定所述准重建帧中的ROI,所述准重建帧中的ROI包括至少一个所述参考ROI宏块;以及,
提取所述至少一个所述参考ROI宏块的特征信息,所述参考ROI宏块的特征信息,包括所述至少一个所述参考ROI宏块的位置信息和类型信息;
所述第二解码子单元,用于根据所述参考ROI宏块的特征信息,对所述第i帧的ROI特征流进行差分解码处理。
28.根据权利要求27所述的解码装置,其特征在于,所述第i帧的ROI特征流包括所述准重建帧的ROI中包括的所述参考ROI宏块的个数,所述第i帧的ROI特征流包括相同个数的基本单元编码,所述基本单元编码是以每一个所述参考ROI宏块为基本单元对所述至少一个ROI宏块的特征信息进行差分编码获得的,所述基本单元编码包括所述参考ROI宏块的对应个数,以及对应个数个差分编码小段,所述差分编码小段包括所述ROI宏块与所述参考ROI宏块的特征信息差分,所述特征信息差分包括所述位置信息差分和所述类型信息差分,所述对应个数为与所述参考ROI宏块具有最小位置差的所述ROI宏块的个数;
所述第二解码子单元,具体用于:
提取所述第i帧的ROI特征流中包括的所述参考ROI宏块的个数;
根据提取的所述参考ROI宏块的个数,将所述第i帧的ROI特征流拆分成与所述参考ROI宏块相同个数个解码基本单元,所述解码基本单元包括所述参考ROI宏块的对应个数,以及对应个数个差分解码小段,所述差分解码小段包括所述ROI宏块与所述参考ROI宏块的特征信息差分;
从所述解码基本单元中,提取所述参考ROI宏块的对应个数;
根据提取的所述对应个数,将所述解码基本单元拆分成对应个数个所述差分解码小段;
根据所述参考ROI宏块的特征信息对各所述差分解码小段进行解码,获得所述对应个数个所述ROI宏块的特征信息。
29.根据权利要求28所述的解码装置,其特征在于,所述差分解码小段还包括标志位,所述标志位用于指示所述位置信息差分是否全为零;
所述第二解码子单元,还用于:
提取所述差分解码小段中包括的标志位;
确定提取的所述标志位是否指示所述位置信息差分全为零;
若是,则将所述参考ROI宏块的特征信息作为所述ROI宏块的特征信息,并且不执行根据所述参考ROI宏块的特征信息对所述差分解码小段进行解码的步骤。
30.根据权利要求26至29任一项所述的解码装置,其特征在于,所述第i帧的视频流的帧头部分携带有各所述ROI宏块对应的量化参数QP以及所述第i帧的ROI特征流;
所述获取模块,具体用于:从所述第i帧的视频流的帧头部分,获取各所述ROI宏块对应的QP以及所述第i帧的ROI特征流。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410276087.5A CN104065964B (zh) | 2014-06-19 | 2014-06-19 | 感兴趣区域信息的编解码方法以及视频编解码装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410276087.5A CN104065964B (zh) | 2014-06-19 | 2014-06-19 | 感兴趣区域信息的编解码方法以及视频编解码装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104065964A CN104065964A (zh) | 2014-09-24 |
CN104065964B true CN104065964B (zh) | 2017-06-16 |
Family
ID=51553463
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410276087.5A Active CN104065964B (zh) | 2014-06-19 | 2014-06-19 | 感兴趣区域信息的编解码方法以及视频编解码装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104065964B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106791856A (zh) * | 2016-12-28 | 2017-05-31 | 天津天地伟业生产力促进有限公司 | 一种基于自适应感兴趣区域的视频编码方法 |
CN109698957B (zh) * | 2017-10-24 | 2022-03-29 | 腾讯科技(深圳)有限公司 | 图像编码方法、装置、计算设备及存储介质 |
CN108898604A (zh) * | 2018-06-28 | 2018-11-27 | 上海连尚网络科技有限公司 | 用于处理图像的方法和设备 |
CN109005409B (zh) * | 2018-07-27 | 2021-04-09 | 浙江工业大学 | 一种基于目标检测与跟踪的智能视频编码方法 |
CN110858902A (zh) * | 2018-08-22 | 2020-03-03 | 晨星半导体股份有限公司 | 基于输入地理位置的解码图块与显示位置同步方法及相关视频解码装置 |
CN109862356B (zh) * | 2019-01-17 | 2020-11-10 | 中国科学院计算技术研究所 | 一种基于感兴趣区域的视频编码方法及*** |
US10939126B1 (en) * | 2019-12-09 | 2021-03-02 | Guangzhou Zhijing Technology Co., Ltd | Method of adding encoded range-of-interest location, type and adjustable quantization parameters per macroblock to video stream |
CN113453007A (zh) * | 2020-03-24 | 2021-09-28 | 合肥君正科技有限公司 | 一种提高监控场景h264编码效率的方法 |
CN112422969A (zh) * | 2020-10-20 | 2021-02-26 | 西安万像电子科技有限公司 | 一种图像编解码方法及装置 |
CN113573059B (zh) * | 2021-09-23 | 2022-03-01 | 中兴通讯股份有限公司 | 图像显示方法、装置、存储介质及电子装置 |
CN114422788A (zh) * | 2022-03-30 | 2022-04-29 | 浙江智慧视频安防创新中心有限公司 | 数字视网膜视频联合编码方法、译码方法、装置及电子设备 |
CN115314722B (zh) * | 2022-06-17 | 2023-12-08 | 百果园技术(新加坡)有限公司 | 一种视频码率分配方法、***、设备及存储介质 |
CN116886923A (zh) * | 2023-06-19 | 2023-10-13 | 广州开得联软件技术有限公司 | 课堂视频编码方法、装置、存储介质和设备 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8208758B2 (en) * | 2005-10-05 | 2012-06-26 | Qualcomm Incorporated | Video sensor-based automatic region-of-interest detection |
KR100739785B1 (ko) * | 2006-01-09 | 2007-07-13 | 삼성전자주식회사 | 관심 영역 기반 영상 부호화, 복호화 방법 및 장치 |
CN101547351B (zh) * | 2008-03-24 | 2013-05-15 | 展讯通信(上海)有限公司 | 视频数据流生成、处理方法及其设备 |
CN103297754B (zh) * | 2013-05-02 | 2016-06-01 | 上海交通大学 | 一种监控视频自适应感兴趣区域编码*** |
-
2014
- 2014-06-19 CN CN201410276087.5A patent/CN104065964B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN104065964A (zh) | 2014-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104065964B (zh) | 感兴趣区域信息的编解码方法以及视频编解码装置 | |
CN108985181B (zh) | 一种基于检测分割的端对端人脸标注方法 | |
CN111369565B (zh) | 一种基于图卷积网络的数字病理图像的分割与分类方法 | |
JP6149076B2 (ja) | イメージ、および、ビデオ符号化のパレットインデックスシグナリングの方法および装置 | |
CN112651979B (zh) | 肺部x光图像分割方法、***、计算机设备及存储介质 | |
CN108280406A (zh) | 一种基于分段双流模型的行为识别方法、***及装置 | |
CN108573222A (zh) | 基于循环对抗生成网络的行人图像遮挡检测方法 | |
CN109559358A (zh) | 一种基于卷积自编码的图像样本升采样方法 | |
CN109951715A (zh) | 一种基于h.264的yuv444图像编解码方法 | |
CN107451507A (zh) | 一种用于动态图像中的二维码识别方法及装置 | |
CN105979283A (zh) | 视频转码方法和装置 | |
CN103517073A (zh) | 视频编解码方法、装置及*** | |
Du et al. | Perceptual compressive sensing | |
US20210176476A1 (en) | Method of Adding Encoded Range-of-Interest Location, Type, and Adjustable Quantization Parameters Per Macroblock to Video Stream | |
US20190342577A1 (en) | Method and apparatus for encoding and decoding 360-degree image | |
CN115131386A (zh) | 胸腔病灶影像的轮廓提取及检测方法与*** | |
US20220046254A1 (en) | Optimizing memory reads when computing video quality metrics | |
CN109933394A (zh) | 单屏幕多窗口低延迟编码方法和相关装置 | |
CN116091862A (zh) | 一种画质识别方法、装置、设备、存储介质及产品 | |
CN106572351B (zh) | 视频编码中的码率控制方法和装置、电子设备以及计算机可读存储介质 | |
Wang et al. | Infrared and visible Image Fusion with Language-driven Loss in CLIP Embedding Space | |
CN106897975A (zh) | 一种超立方体粒计算的图像去噪方法 | |
CN109102496B (zh) | 基于变分生成对抗模型识别乳腺肿瘤区域的方法及装置 | |
Huang et al. | Segmenting neuronal growth cones using deep convolutional neural networks | |
CN110751158A (zh) | 一种治疗床显示器中的数字识别方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |