CN111669600B - 视频编码方法、装置、编码器及存储装置 - Google Patents
视频编码方法、装置、编码器及存储装置 Download PDFInfo
- Publication number
- CN111669600B CN111669600B CN202010507153.0A CN202010507153A CN111669600B CN 111669600 B CN111669600 B CN 111669600B CN 202010507153 A CN202010507153 A CN 202010507153A CN 111669600 B CN111669600 B CN 111669600B
- Authority
- CN
- China
- Prior art keywords
- frame
- image
- image group
- pixel
- background frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000033001 locomotion Effects 0.000 claims description 24
- 239000013598 vector Substances 0.000 claims description 23
- 238000010586 diagram Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- NUHSROFQTUXZQQ-UHFFFAOYSA-N isopentenyl diphosphate Chemical compound CC(=C)CCO[P@](O)(=O)OP(O)(O)=O NUHSROFQTUXZQQ-UHFFFAOYSA-N 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请公开了一种视频编码方法、装置、编码器及存储装置。该视频编码方法包括：获取待编码视频的第一图像组，其中，第一图像组包括至少一帧图像；对第一图像组进行编码，并由第一图像组的重建帧获取第一背景帧；根据第一背景帧对第一图像组之后的至少一帧图像进行编码；基于第一图像组之后的若干已编码图像获取更新背景帧；根据更新背景帧对后续未编码图像中的至少一帧图像进行编码。通过上述方式，本申请通过选取或生成背景帧，然后以背景帧为基础对后续图像进行编码，有利于提升编码性能。
Description
技术领域
本申请涉及视频编解码领域，特别是涉及一种视频编码方法、装置、编码器及存储装置。
背景技术
因为视频图像的数据量比较大，在进行视频图像交互时，需要对视频图像进行编解码，视频编码的主要作用是将视频像素数据(RGB,YUV等)压缩成为视频码流，从而降低视频的数据量，实现降低传输过程中的网络带宽和减少存储空间的目的。
视频编码***主要分为视频采集、预测、变换量化和熵编码几大部分，其中，预测分为帧内预测和帧间预测两部分，分别是为了去除视频图像在空间和时间上的冗余。
针对如视频监控等应用场景，大多数都是静止不动的场景，现有的传统视频编码方法在编码时经常需要编码大量的背景冗余信息，因此，监控视频等场景视频的压缩效率还有进一步提升的空间。
发明内容
本申请至少提供一种视频编码方法、装置、编码器及存储装置。
本申请第一方面提供了一种视频编码方法，包括：获取待编码视频的第一图像组，其中，所述第一图像组包括至少一帧图像；
对所述第一图像组进行编码，并由所述第一图像组的重建帧获取第一背景帧；
根据所述第一背景帧对所述第一图像组之后的至少一帧图像进行编码；
基于所述第一图像组之后的若干已编码图像获取更新背景帧；
根据所述更新背景帧对后续未编码图像中的至少一帧图像进行编码。
本申请第二方面提供了一种视频编码装置，包括：
获取模块，用于获取待编码视频的第一图像组，其中，所述第一图像组包括至少一帧图像；
背景帧选取模块，用于对所述第一图像组进行编码，并由所述第一图像组的重建帧获取第一背景帧；还用于根据所述第一背景帧对所述第一图像组之后的至少一帧图像进行编码，并基于所述第一图像组之后的若干已编码图像获取更新背景帧；
编码模块，用于根据所述更新背景帧对后续未编码图像中的至少一帧图像进行编码。
本申请第三方面提供了一种编码器，该编码器包括处理器、与处理器耦接的存储器，其中，存储器存储有用于实现上述第一方面所述方法的程序指令；处理器用于执行存储器存储的程序指令以对待编码视频进行编码。
本申请第四方面提供了一种存储装置，存储有能够实现上述第一方面所述方法的程序指令。
上述方案，视频编码装置获取待编码视频的第一图像组，其中，第一图像组包括至少一帧图像；对第一图像组进行编码，并由第一图像组的重建帧获取第一背景帧；根据第一背景帧对第一图像组之后的至少一帧图像进行编码；基于第一图像组之后的若干已编码图像获取更新背景帧；根据更新背景帧对后续未编码图像中的至少一帧图像进行编码。通过上述方式，本申请通过选取或生成背景帧，然后以背景帧为基础对后续图像进行编码，有利于提升编码性能。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
图1是本申请提供的视频编码方法一实施例的流程示意图；
图2是图1中步骤S14一实施例的具体流程示意图；
图3是图1中步骤S14另一实施例的具体流程示意图；
图4是图1中步骤S14又一实施例的具体流程示意图；
图5是图1中步骤S14再一实施例的具体流程示意图
图6是本申请提供的帧参考一实施例的框架示意图；
图7是本申请提供的视频编码装置一实施例的结构示意图；
图8是本申请提供的编码器一实施例的结构示意图；
图9是本申请提供的存储装置一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。需注意的是，对于下述方法实施例，若有实质上相同的结果，本申请的方法并不以图示的流程顺序为限。
下面对本申请各实施例进行说明。
请参阅图1，图1是本申请提供的视频编码方法一实施例的流程示意图。如图1所示，该视频编码方法包括以下步骤：
S11：获取待编码视频的第一图像组，其中，第一图像组包括至少一帧图像。
其中，视频编码装置根据视频时间戳获取待编码视频的首个图像组，即第一图像组。以IPPP编码结构为例，第一图像组即第一个I帧以及后面n1(n1＞＝0)个P帧组成的图像组。在一些可能的实施方式中，视频编码装置可以从待编码视频的起始帧开始获取预设帧数的图像组成第一图像组，其中，预设帧数至少为一帧。
S12：对第一图像组进行编码，并由第一图像组的重建帧获取第一背景帧。
其中，视频编码装置按照传统编码方式对第一图像组中的图像进行编码，例如，视频编码装置首先对第一个I帧进行帧内编码，然后后面的P帧参考前面的已编码帧进行帧间编码。
本公开实施例获取背景帧的方式不需要从一帧重建帧中抠出背景图像，而是把完整的一个重构帧作为背景帧。具体地，本步骤中的第一背景帧的产生可以选用但不限于以下方法：
(1)直接选择第一图像组的第一帧图像，如第一个I帧进行帧内编码，并将编码后的重构帧作为第一背景帧，此时，第一图像组中只包含第一帧图像。
(2)采用第一图像组中的所有图像重建帧的加权平均作为第一背景帧，如第一图像组中包含一个I帧以及后面n2个P帧时，采用第一个I帧以及后面n2(n2＞0)个P帧重建帧的加权平均结果，即加权平均得到的重构帧作为第一背景帧。
例如，本公开实施例采用第一个I帧和后面2个P帧的重建帧进行加权平均运算得到第一背景帧，设第一个I帧的权重为1，第一个P帧的权重为1，第二个P帧的权重为2，则第一背景帧中每个像素都来自于上述I帧和两个P帧中的同位像素的加权，其中，同位像素即在图像中坐标相同的像素。加权平均的具体计算公式如下：
Pixbg(x,y)＝(1*PixI(x,y)+1*PixP1(x,y)+2*PixP2(x,y))/4
其中，Pixbg(x,y)代表第一背景帧中(x,y)位置的像素，PixI(x,y)代表I帧中(x,y)位置的像素，PixP1(x,y)代表第一个P帧中(x,y)位置的像素，PixP2(x,y)代表第二个P帧中(x,y)位置的像素。
S13：根据第一背景帧对第一图像组之后的至少一帧图像进行编码。
S14：基于第一图像组之后的若干已编码图像获取更新背景帧。
其中，在监控视频场景中，监控设备以固定角度拍摄的连续图像背景是几乎不变得，但由于周围环境的影响，实际拍摄的监控视频上背景部分的少数像素还是会发生变化，因此视频编码装置在编码后面的图像时，需要及时对第一背景帧中背景部分的图像进行像素调整。
或者，当监控视频发生彻底转变的时候，如监控设备转动到另一个方向，就需要对背景帧进行彻底的更新。背景帧刷新和背景帧像素调整的区别在于背景帧刷新是把整个背景帧完全替换为新的一帧，而背景帧像素调整是对原背景帧中部分像素进行调整。其中，上述背景帧刷新和背景帧像素调整两种处理方式均为背景帧的更新方式。
其中，已编码图像指的是当前图像已编码后的重建图像。
对此，对背景帧的处理方式可以但不限于以下方式：
A、以像素块的运动矢量作为调整的考虑因素时，步骤S14具体可以由图2所示具体实施例的流程示意图中的子步骤或图3所示具体实施例的流程示意图中的子步骤组成。如图2所示，步骤S14具体包括以下子步骤：
S21：将第一图像组之后的若干已编码图像分别划分成若干像素块。
其中，获取第一图像组之后的若干已编码图像的操作为：视频编码装置将第一图像组之后的M帧(M＞＝1)连续已编码图像作为第二图像组，且第二图像组和第一图像组不重合。第二图像组和第一图像组不重合的情况具体为：第一图像组和第二图像组之间设置有i帧图像，其中，i＞＝0。
S22：获取若干像素块的运动矢量。
其中，视频编码装置对第二图像组中每一帧图像按照像素块进行搜索，获取每个最小预测块的MV(motion vector,运动矢量)信息。需要说明的是，最小预测块指图像可以划分成的尺寸最小的预测单元。
S23：在第一图像组之后的若干已编码图像中相同位置的像素块的运动矢量均小于第一预设阈值的情况下，根据第一图像组之后的若干已编码图像中相同位置的像素块的像素值获取更新背景帧。
其中，当某一像素块的运动矢量小于第一预设阈值TH1时，代表该像素块属于背景部分。
进一步地，背景帧像素调整的具体操作为：当第二图像组的重建图像中每一帧图像的当前空域位置的最小预测块的运动矢量存在且均小于第一预设阈值TH1时，则将第二图像组的重建图像中最后一帧的当前最小预测块的重构像素值拷贝到更新背景帧之前的背景帧，例如第一背景帧中的同位最小预测块中，以获得更新背景帧。或者，第二图像组的重建图像中每一帧图像的当前空域位置的最小预测块的运动矢量存在且均小于第一预设阈值TH1时，则将第二图像组的重建图像中每一帧图像的当前空域位置的像素块进行像素值加权平均后拷贝到更新背景帧之前的背景帧中的同位最小预测块中，以获得更新背景帧。
需要说明的是，上述同位块表示不同帧中空域坐标相同的像素块。
在一些可能的实施方式中，待编码视频还包括第二图像组后面的第三图像组等更多图像组时，视频编码装置获取到第三图像组的所有重建帧后，进一步根据第三图像组的重建帧获取更新背景帧。获取更新背景帧的方式同S23步骤所述。后续有更多图像组时，获取更新背景帧的方式也以此类推。相邻两个图像组之间的间隔可以为统一固定间隔，也可为不同间隔。第二图像组和后面所有图像组中图像帧的个数可以相同也可以不同。
如图3所示，步骤S14具体包括以下子步骤：
S31：将第一图像组之后的每一帧当前正在编码的图像划分成若干像素块。
S32：获取若干像素块的运动矢量。
其中，视频编码装置对第一图像组之后的每一帧当前正在编码的图像按照像素块进行搜索，获取每个最小预测块的MV信息。
S33：在第一图像组之后的每一帧当前正在编码的图像中，预设比例的像素块的运动矢量均大于等于第一预设阈值的情况下，将当前帧图像的重建帧作为更新背景帧。
其中，当某一像素块的运动矢量大于等于第一预设阈值TH1时，代表该像素块属于前景部分。
进一步地，对背景帧刷新的具体操作为：当编码到某一当前帧时，当前帧中有预设比例，即num％的像素块的运动矢量均大于等于第一预设阈值TH1时，则需要对更新背景帧之前的背景帧进行彻底的更新，其中，num％代表运动矢量大于等于第一预设阈值TH1的像素块占所有像素块的比例。对更新背景帧之前的背景帧进行彻底的更新即剔除原来的更新背景帧之前的背景帧，以当前帧编码的重构帧作为更新背景帧。
B、以像素块的像素值作为调整的考虑因素时，步骤S14具体可以由图4所示具体实施例的流程示意图中的子步骤或图5所示具体实施例的流程示意图中的子步骤组成。如图4所示，步骤S14具体包括以下子步骤：
S41：将第一图像组之后的若干已编码图像分别划分成若干像素块。
其中，获取第一图像组之后的若干已编码图像的操作为：视频编码装置将第一图像组之后的M帧(M＞＝1)连续已编码图像作为第二图像组，且第二图像组和第一图像组不重合。第二图像组和第一图像组不重合的情况具体为：第一图像组和第二图像组之间设置有i帧图像，其中，i＞＝0。
其中，视频编码装置将第二图像组中每一帧图像以及更新背景帧之前的背景帧划分成若干宽高为w*h的像素块。
S42：计算第一图像组之后的若干已编码图像中每一帧图像的每个像素块与更新背景帧之前的背景帧中同位像素块的像素差异值。
其中，视频编码装置计算第二图像组的重建图像中每一帧图像的每一个像素块和更新背景帧之前的背景帧中同位像素块的像素差异值，像素差异值可以通过SAD/SATD等计算方式衡量。像素差异值越小，说明像素块和同位像素块越相似。
S43：在第一图像组之后的若干已编码图像中每一帧图像相同位置的像素块与同位像素块的像素差异值均小于第二预设阈值的情况下，根据第一图像组之后的若干已编码图像中每一帧图像相同位置的像素块的像素值获取更新背景帧。
其中，当某一像素块与同位像素块的像素差异值小于第二预设阈值TH2时，代表该像素块属于背景部分。
进一步地，背景帧像素调整的具体操作为：当第二图像组的重建图像的每一帧图像中当前空域位置的像素块与同位像素块的像素差异值均小于第二预设阈值TH2时，则将第二图像组的重建图像中最后一帧图像的当前空域位置的像素块像素值拷贝到更新背景帧之前的背景帧的同位像素块。或者，当第二图像组的重建图像中每一帧图像中当前空域位置的像素块与同位像素块的像素差异值均小于第二预设阈值TH2时，则将第二图像组的重建图像中每一帧图像的当前空域位置的像素块像素值加权平均后拷贝到更新背景帧之前的背景帧中的同位像素块中。
在一些可能的实施方式中，待编码视频还包括第二图像组后面的第三图像组等更多图像组时，视频编码装置获取到第三图像组的所有重建帧后，进一步根据第三图像组的重建帧获取更新背景帧。获取背景帧的方式同S43步骤所述。后续有更多图像组时，获取背景帧的方式也以此类推。相邻两个图像组之间的间隔可以为统一固定间隔，也可为不同间隔。第二图像组和后面所有图像组中图像帧的个数可以相同也可以不同。
如图5所示，步骤S14具体包括以下子步骤：
S51：将第一图像组之后的每一帧当前正在编码的图像划分成若干像素块。
其中，视频编码装置将第一图像组之后的若干已编码图像中每一帧图像以及更新背景帧之前的背景帧划分成若干宽高为w*h的像素块。
S52：计算第一图像组之后的若干已编码图像中每一帧图像的每个像素块与更新背景帧之前的背景帧中同位像素块的像素差异值。
其中，视频编码装置计算第一图像组之后的若干已编码图像中每一帧图像的每一个像素块和更新背景帧之前的背景帧中同位像素块的像素差异值，像素差异值可以通过SAD/SATD等计算方式衡量。像素差异值越小，说明像素块和同位像素块越相似。
S53：在第一图像组之后的若干已编码图像中每一帧图像中预设比例的像素块对应的像素差异值均大于等于第二预设阈值的情况下，将当前帧图像的重建帧作为更新背景帧。
其中，当某一像素块与同位像素块的像素差异值大于等于第二预设阈值TH2时，代表该像素块属于前景部分。
进一步地，对背景帧刷新的具体操作为：当编码到某一当前帧时，当前帧中有预设比例，即num％的像素块与同位像素块的像素差异值均大于等于第二预设阈值TH2时，则需要对更新背景帧之前的背景帧进行彻底的更新，其中，num％代表与同位像素块的像素差异值大于等于第二预设阈值TH2的像素块占所有像素块的比例。对更新背景帧之前的背景帧进行彻底的更新即剔除原来的第更新背景帧之前的背景帧，以当前帧编码的重构帧作为更新背景帧。
需要说明的是，视频编码装置对背景帧进行像素调整或刷新时，可以将像素块的运动矢量和/或像素值作为考虑因素，即视频编码装置可以选择图2～图5中的处理方式，也可以结合图2～图5中的处理方式，在此不再赘述。
在一些可能的实施方式中，视频编码装置也可以不考虑像素块的因素，直接按照图像帧间隔或图像帧的类型进行背景帧的刷新，具体方式如下：
(a)背景帧可以固定帧间间隔N帧更新一次，每次更新用连续的m帧图像进行加权平均，加权平均结果作为更新背景帧；或者，直接选取m帧图像中的一帧作为更新背景帧，如以m帧图像中的第一帧图像作为更新背景帧。
(b)视频编码装置每编码到一个I帧，即将背景帧更新为该I帧的重构帧。
需要说明的是，视频编码装置可以从上述背景帧处理方式中选择一种或数种方式进行组合，在此不再赘述。
确定背景帧后，下面对帧参考机制进行描述，即图像组中每一帧图像的参考关系确定：
具体地，获取到背景帧后，待编码视频中的I帧直接参考背景帧，并采用帧间编码的方式编码；待编码视频中的P帧则需要参考背景帧和/或前面相邻的一个已编码帧，并采用帧间编码的方式编码。
例如，请参阅图6，图6是本申请提供的帧参考一实施例的框架示意图。该实施例采用上述方式(a)中加权平均的方式获取背景帧，其中设m＝4，N＝0，第一图像组中的I帧(帧A1)以及P帧(帧B1)按照传统编码方式进行编码，例如，视频编码装置首先对第一个I帧进行帧内编码，然后后面的3个P帧参考前面的已编码帧进行帧间编码。视频编码装置将编码后的I帧和P帧加权平均后获取第一背景帧(帧C1)，并基于第一背景帧对第一图像组之后的至少一帧图像进行编码。
具体地，第一图像组之后的I帧(帧A2)直接参考第一背景帧，第一图像组之后的P帧(帧B2)参考第一背景帧和前面相邻的一个已重建帧。第一图像组之后的至少一帧图像完成编码后，需要对第一背景帧进行更新，以获取更新背景帧(帧C2)，其中，更新背景帧作为未编码图像中I帧(帧A3)的参考帧。
S15：根据更新背景帧对后续未编码图像中的至少一帧图像进行编码。
其中，在给解码端传输视频码流时，视频编码装置还可以基于本公开实施例的视频编码模式设置对应的句法元素。
具体地，视频编码装置可以为背景帧设置一个句法元素标识，向解码端表明需要进行背景帧刷新操作，并将该句法元素传输给解码端。
上述方案，视频编码装置获取待编码视频的第一图像组，其中，第一图像组包括至少一帧图像；对第一图像组进行编码，并由第一图像组的重建帧获取第一背景帧；根据第一背景帧对第一图像组之后的至少一帧图像进行编码；基于第一图像组之后的若干已编码图像获取更新背景帧；根据更新背景帧对后续未编码图像中的至少一帧图像进行编码。通过上述方式，本申请通过选取或生成背景帧，然后以背景帧为基础对后续图像进行编码，有利于提升编码性能。
请参阅图7，图7是本申请提供的视频编码装置一实施例的结构示意图。如图7所示，该视频编码装置50包括：
获取模块51，用于获取待编码视频的第一图像组，其中，第一图像组包括至少一帧图像。
背景帧选取模块52，用于对所述第一图像组进行编码，并由所述第一图像组的重建帧获取第一背景帧；还用于根据所述第一背景帧对所述第一图像组之后的至少一帧图像进行编码，并基于所述第一图像组之后的若干已编码图像获取更新背景帧。
编码模块53，用于根据所述更新背景帧对后续未编码图像中的至少一帧图像进行编码。
请参阅图8，图8是本申请提供的编码器一实施例的结构示意图。如图8所示，该编码器60包括处理器61及和处理器61耦接的存储器62。
存储器62存储有用于实现上述任一实施例所述的视频编码方法或编码方法的程序指令。处理器61用于执行存储器62存储的程序指令以对待编码视频进行编码。
其中，处理器61还可以称为CPU(Central Processing Unit，中央处理单元)。处理器61可能是一种集成电路芯片，具有信号的处理能力。处理器61还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
参阅图9，图9是本申请提供的存储装置一实施例的结构示意图。本申请实施例的存储装置存储有能够实现上述所有方法的程序指令71，其中，该程序指令71可以以软件产品的形式存储在上述存储装置中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储装置包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (6)
1.一种视频编码方法，其特征在于，所述视频编码方法包括：
获取待编码视频的第一图像组，其中，所述第一图像组包括至少一帧图像；
对所述第一图像组进行编码，并由所述第一图像组的重建帧获取第一背景帧；
根据所述第一背景帧对所述第一图像组之后的至少一帧图像进行编码；
基于所述第一图像组之后的若干已编码图像获取更新背景帧；
根据所述更新背景帧对后续未编码图像中的至少一帧图像进行编码；
所述由所述第一图像组的重建帧获取第一背景帧的步骤，包括：
采用所述第一图像组中的所有帧图像的重建帧的加权平均结果作为所述第一背景帧；
或者，将所述第一图像组的第一帧图像编码后的重建帧作为所述第一背景帧；
所述基于所述第一图像组之后的若干已编码图像获取更新背景帧的步骤，包括：
将所述第一图像组之后的每一帧当前正在编码的图像划分成若干像素块；对所述第一图像组之后的每一帧当前正在编码的图像按照所述像素块进行搜索获取所述若干像素块的运动矢量；在所述第一图像组之后的每一帧当前正在编码的图像中，预设比例的像素块的运动矢量均大于等于第一预设阈值的情况下，对背景帧进行更新，将所述当前帧图像的重建帧作为所述更新背景帧；
或者，将所述第一图像组之后的若干已编码图像分别划分成若干像素块；获取所述若干像素块的运动矢量；在所述第一图像组之后的若干已编码图像中相同位置的像素块的运动矢量均小于第一预设阈值的情况下，根据所述第一图像组之后的若干已编码图像中相同位置的像素块的像素值获取所述更新背景帧；
或者，将所述第一图像组之后的若干已编码图像分别划分成若干像素块；计算所述第一图像组之后的若干已编码图像中每一帧图像的每个像素块与所述更新背景帧之前的背景帧中同位像素块的像素差异值，其中，所述像素块的宽高和所述同位像素块的宽高相同；在所述第一图像组之后的若干已编码图像中每一帧图像相同位置的像素块与所述同位像素块的像素差异值均小于第二预设阈值的情况下，根据所述第一图像组之后的若干已编码图像中每一帧图像相同位置的像素块的像素值获取所述更新背景帧；
或者，将所述第一图像组之后的每一帧当前正在编码的图像划分成若干像素块；计算所述第一图像组之后的若干已编码图像中每一帧图像的每个像素块与所述更新背景帧之前的背景帧中同位像素块的像素差异值，其中，所述像素块的宽高和所述同位像素块的宽高相同；在所述第一图像组之后的若干已编码图像中每一帧图像中预设比例的像素块对应的像素差异值均大于等于第二预设阈值的情况下，将所述当前帧图像的重建帧作为所述更新背景帧。
2.根据权利要求1所述的视频编码方法，其特征在于，
所述在所述第一图像组之后的若干已编码图像中相同位置的像素块的运动矢量均小于第一预设阈值的情况下，根据所述第一图像组之后的若干已编码图像中相同位置的像素块的像素值获取所述更新背景帧的步骤，包括：
在所述第一图像组之后的若干已编码图像的当前空域位置的像素块的运动矢量均小于所述第一预设阈值的情况下，将所述第一图像组之后的若干已编码图像的最后一帧图像的当前空域位置的像素块像素值拷贝到所述更新背景帧之前的背景帧的同位像素块，或者将所述第一图像组之后的若干已编码图像的当前空域位置的像素块像素值加权平均后拷贝到所述更新背景帧之前的背景帧的同位像素块。
3.根据权利要求1所述的视频编码方法，其特征在于，
所述在所述第一图像组之后的若干已编码图像中每一帧图像相同位置的像素块与所述同位像素块的像素差异值均小于第二预设阈值的情况下，根据所述第一图像组之后的若干已编码图像中每一帧图像相同位置的像素块的像素值获取所述更新背景帧的步骤，包括：
在所述第一图像组之后的若干已编码图像中每一帧图像的当前空域位置的像素块与所述同位像素块的像素差异值均小于所述第二预设阈值的情况下，将所述第一图像组之后的若干已编码图像的最后一帧图像的当前空域位置的像素块像素值拷贝到所述更新背景帧之前的背景帧的同位像素块，或者将所述第一图像组之后的若干已编码图像中每一帧图像的当前空域位置的像素块像素值加权平均后拷贝到所述更新背景帧之前的背景帧的同位像素块。
4.一种视频编码装置，其特征在于，包括：
获取模块，用于获取待编码视频的第一图像组，其中，所述第一图像组包括至少一帧图像；
背景帧选取模块，用于对所述第一图像组进行编码，并由所述第一图像组的重建帧获取第一背景帧；还用于根据所述第一背景帧对所述第一图像组之后的至少一帧图像进行编码，并基于所述第一图像组之后的若干已编码图像获取更新背景帧；
所述由所述第一图像组的重建帧获取第一背景帧的步骤，包括：
采用所述第一图像组中的所有帧图像的重建帧的加权平均结果作为所述第一背景帧；
或者，将所述第一图像组的第一帧图像编码后的重建帧作为所述第一背景帧；
所述基于所述第一图像组之后的若干已编码图像获取更新背景帧的步骤，包括：
将所述第一图像组之后的每一帧当前正在编码的图像划分成若干像素块；对所述第一图像组之后的每一帧当前正在编码的图像按照所述像素块进行搜索获取所述若干像素块的运动矢量；在所述第一图像组之后的每一帧当前正在编码的图像中，预设比例的像素块的运动矢量均大于等于第一预设阈值的情况下，对背景帧进行更新，将所述当前帧图像的重建帧作为所述更新背景帧；
或者，将所述第一图像组之后的若干已编码图像分别划分成若干像素块；获取所述若干像素块的运动矢量；在所述第一图像组之后的若干已编码图像中相同位置的像素块的运动矢量均小于第一预设阈值的情况下，根据所述第一图像组之后的若干已编码图像中相同位置的像素块的像素值获取所述更新背景帧；
或者，将所述第一图像组之后的若干已编码图像分别划分成若干像素块；计算所述第一图像组之后的若干已编码图像中每一帧图像的每个像素块与所述更新背景帧之前的背景帧中同位像素块的像素差异值，其中，所述像素块的宽高和所述同位像素块的宽高相同；在所述第一图像组之后的若干已编码图像中每一帧图像相同位置的像素块与所述同位像素块的像素差异值均小于第二预设阈值的情况下，根据所述第一图像组之后的若干已编码图像中每一帧图像相同位置的像素块的像素值获取所述更新背景帧；
或者，将所述第一图像组之后的每一帧当前正在编码的图像划分成若干像素块；计算所述第一图像组之后的若干已编码图像中每一帧图像的每个像素块与所述更新背景帧之前的背景帧中同位像素块的像素差异值，其中，所述像素块的宽高和所述同位像素块的宽高相同；在所述第一图像组之后的若干已编码图像中每一帧图像中预设比例的像素块对应的像素差异值均大于等于第二预设阈值的情况下，将所述当前帧图像的重建帧作为所述更新背景帧；
编码模块，用于根据所述更新背景帧对后续未编码图像中的至少一帧图像进行编码。
5.一种编码器，其特征在于，所述编码器包括处理器、与所述处理器耦接的存储器，其中，
所述存储器存储有用于实现如权利要求1-3中任一项所述方法的程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以对待编码视频进行编码。
6.一种存储装置，其特征在于，存储有能够被处理器运行以实现如权利要求1-3中任一项所述方法的程序指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010507153.0A CN111669600B (zh) | 2020-06-05 | 2020-06-05 | 视频编码方法、装置、编码器及存储装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010507153.0A CN111669600B (zh) | 2020-06-05 | 2020-06-05 | 视频编码方法、装置、编码器及存储装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111669600A CN111669600A (zh) | 2020-09-15 |
| CN111669600B true CN111669600B (zh) | 2024-03-29 |
Family
ID=72386846
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010507153.0A Active CN111669600B (zh) | 2020-06-05 | 2020-06-05 | 视频编码方法、装置、编码器及存储装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111669600B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114697674A (zh) * | 2020-12-30 | 2022-07-01 | 中科寒武纪科技股份有限公司 | 视频编码和解码方法、相关装置、设备以及可读存储介质 |
| CN114245145A (zh) * | 2021-12-18 | 2022-03-25 | 杭州视洞科技有限公司 | 一种基于背景帧的监控设备视频压缩方法 |
| CN117710893B (zh) * | 2023-12-25 | 2024-05-10 | 上海盛煌智能科技有限公司 | 一种多维度数字画像智慧校园数字化*** |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6249613B1 (en) * | 1997-03-31 | 2001-06-19 | Sharp Laboratories Of America, Inc. | Mosaic generation and sprite-based coding with automatic foreground and background separation |
| CN101127912A (zh) * | 2007-09-14 | 2008-02-20 | 浙江大学 | 利用动态背景帧的视频编码方法 |
| CN101465955A (zh) * | 2009-01-05 | 2009-06-24 | 北京中星微电子有限公司 | 背景更新方法和装置 |
| KR20110023468A (ko) * | 2009-08-31 | 2011-03-08 | 주식회사 이미지넥스트 | 적응적 배경 기반의 객체 검출 및 추적 장치 및 방법 |
| CN105847871A (zh) * | 2015-01-16 | 2016-08-10 | 杭州海康威视数字技术股份有限公司 | 视频编解码方法及其装置 |
| CN105847793A (zh) * | 2015-01-16 | 2016-08-10 | 杭州海康威视数字技术股份有限公司 | 视频编解码方法及其装置 |
| CN106851302A (zh) * | 2016-12-22 | 2017-06-13 | 国网浙江省电力公司杭州供电公司 | 一种基于帧内编码压缩域的监控视频运动目标检测方法 |
| CN110062235A (zh) * | 2019-04-08 | 2019-07-26 | 上海大学 | 背景帧生成及更新方法、***、装置及介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106034237B (zh) * | 2015-03-10 | 2020-07-03 | 杭州海康威视数字技术股份有限公司 | 一种基于编码切换的混合编码方法和*** |
-
2020
- 2020-06-05 CN CN202010507153.0A patent/CN111669600B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6249613B1 (en) * | 1997-03-31 | 2001-06-19 | Sharp Laboratories Of America, Inc. | Mosaic generation and sprite-based coding with automatic foreground and background separation |
| CN101127912A (zh) * | 2007-09-14 | 2008-02-20 | 浙江大学 | 利用动态背景帧的视频编码方法 |
| CN101465955A (zh) * | 2009-01-05 | 2009-06-24 | 北京中星微电子有限公司 | 背景更新方法和装置 |
| KR20110023468A (ko) * | 2009-08-31 | 2011-03-08 | 주식회사 이미지넥스트 | 적응적 배경 기반의 객체 검출 및 추적 장치 및 방법 |
| CN105847871A (zh) * | 2015-01-16 | 2016-08-10 | 杭州海康威视数字技术股份有限公司 | 视频编解码方法及其装置 |
| CN105847793A (zh) * | 2015-01-16 | 2016-08-10 | 杭州海康威视数字技术股份有限公司 | 视频编解码方法及其装置 |
| CN106851302A (zh) * | 2016-12-22 | 2017-06-13 | 国网浙江省电力公司杭州供电公司 | 一种基于帧内编码压缩域的监控视频运动目标检测方法 |
| CN110062235A (zh) * | 2019-04-08 | 2019-07-26 | 上海大学 | 背景帧生成及更新方法、***、装置及介质 |
Non-Patent Citations (5)
| Title |
|---|
| An adaptive background-frame based video coding method;Lulu Zhou;"2014 Sixth International Conference on Wireless Communications and Signal Processing (WCSP)";全文 * |
| 基于HEVC的监控视频动态背景模型;胡国庆;;软件导刊(第07期);全文 * |
| 基于HEVC的监控视频动态背景模型;胡国庆;《软件导刊》;20160727(第07期);全文 * |
| 基于背景重建的运动目标检测算法;赵占杰;林小竹;张金燕;;北京石油化工学院学报(第02期);全文 * |
| 面向编码和绘制的多视点图像颜色校正;蒋刚毅;费跃;邵枫;彭宗举;郁梅;;光子学报(第09期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111669600A (zh) | 2020-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11196989B2 (en) | Video encoding method, device and storage medium using resolution information | |
| US10523965B2 (en) | Video coding method, video decoding method, video coding apparatus, and video decoding apparatus | |
| US11412229B2 (en) | Method and apparatus for video encoding and decoding | |
| CN111837397B (zh) | 基于子图像码流的视角相关视频编码中的错误消除的码流指示 | |
| CN104363451B (zh) | 图像预测方法及相关装置 | |
| CN111669600B (zh) | 视频编码方法、装置、编码器及存储装置 | |
| US11102501B2 (en) | Motion vector field coding and decoding method, coding apparatus, and decoding apparatus | |
| CN108924553B (zh) | 视频编码、解码方法、装置、计算机设备和存储介质 | |
| US9560379B2 (en) | Inter-prediction method and video encoding/decoding method using the inter-prediction method | |
| CN118055253A (zh) | 用于视频代码化中的运动补偿预测的光流估计 | |
| CN108848377B (zh) | 视频编码、解码方法、装置、计算机设备和存储介质 | |
| JP2008011455A (ja) | 符号化方法 | |
| KR20120082994A (ko) | 움직임 벡터 부호화/복호화 방법 및 장치 | |
| JP2007036888A (ja) | 符号化方法 | |
| CN115361582B (zh) | 一种视频实时超分辨率处理方法、装置、终端及存储介质 | |
| US20230412796A1 (en) | Systems and methods for hybrid machine learning and dct-based video compression | |
| CN110753231A (zh) | 多通道视频处理***的方法与装置 | |
| CN112218087B (zh) | 图像编码和解码方法、编码和解码装置、编码器及解码器 | |
| US9549205B2 (en) | Method and device for encoding video | |
| US9491483B2 (en) | Inter-prediction method and video encoding/decoding method using the inter-prediction method | |
| KR20190067577A (ko) | 데이터 인코딩 및 디코딩 장치와 방법 | |
| RU2777969C1 (ru) | Способ и устройство взаимного прогнозирования на основе dmvr и bdof | |
| WO2020181540A1 (zh) | 一种视频处理方法、装置、编码设备及解码设备 | |
| Lei et al. | Direct migration motion estimation and mode decision to decoder for a low-complexity decoder Wyner–Ziv video coding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |