CN111586348B - 一种视频背景图像获取方法、存储介质、视频抠像方法和存储设备 - Google Patents
一种视频背景图像获取方法、存储介质、视频抠像方法和存储设备 Download PDFInfo
- Publication number
- CN111586348B CN111586348B CN202010294746.3A CN202010294746A CN111586348B CN 111586348 B CN111586348 B CN 111586348B CN 202010294746 A CN202010294746 A CN 202010294746A CN 111586348 B CN111586348 B CN 111586348B
- Authority
- CN
- China
- Prior art keywords
- image
- video
- median
- rgb values
- background image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域,特别涉及一种视频背景图像获取方法、存储介质、视频抠像方法和存储设备。所述一种视频背景图像获取方法,从视频中获取多帧图像;计算所述多帧图像中所有相同位置像素点的RGB值的中位数;将所述所有像素点的RGB值的中位数作为视频背景图各像素点的RGB值;将所述视频背景图各像素点的RGB值拼接形成所述视频背景图像。该抠像方法,计算简单,不仅大大降低CPU处理图像的时间,且不需要特定的绿布背景,硬件上部署简单方便。
Description
技术领域
本发明涉及图像处理技术领域,特别涉及一种视频背景图像获取方法、存储介质、视频抠像方法和存储设备。
背景技术
随着社会的发展、安全的需要等等,越来越多的场合都需要安装摄像头。如:道路上方需要安装监控摄像头,各大商场、餐厅、公共场所等都需要安装摄像头。
大部分情况下,摄像头都是固定设置的,故摄像头拍摄到的视频中背景图像未做变化,前景图像才是有变化的部分。如道路的监控摄像头,其背景图像就是道路,前景图像则是来来往往的行人和车辆,同样地,如在任一公共场所中安装的摄像头,其背景图像就是摄像头对准的某一处,而在该处来来往往的人、动物或车辆等则是前景图像。
在实际中,当有事故发生时,如车辆违规闯红绿灯或超速等,或公园、商场、公共场所等发生案件需要处理时,则需要从视频中将背景图像和前景图像分离开,进而抠出前景图像,获取到需要的信息。现有技术中,虽然有很多的算法可实现该抠像功能,然而大多数的算法流程复杂,需占用较多的计算机资源,如:利用图像帧差,计算出关键区域的算法,也有一些算法需要依赖特定的颜色背景,如背景必须是绿布等。
发明内容
为此,需要提供一种视频背景图像获取方法,用以解决现有抠像算法流程复杂,计算机资源占用多的问题。具体技术方案如下:
一种视频背景图像获取方法,包括步骤:
从视频中获取多帧图像;
计算所述多帧图像中所有相同位置像素点的RGB值的中位数;
将所述所有像素点的RGB值的中位数作为视频背景图各像素点的RGB值;
将所述视频背景图各像素点的RGB值拼接形成所述视频背景图像。
进一步的,从视频中获取连续的多帧图像;
进一步,所述从视频中获取连续的多帧图像后,还包括步骤:所述视频中前景物图像遮挡背景图像预设数量像素点的时间均小于等于(≤)多帧图像总共播放时间的50%。
进一步的,所述当前景物图像遮挡背景图像预设数量像素点的时间均小于等于(≤)多帧图像总共播放时间的50%,进一步为:
所述前景物图像遮挡背景图像中90%以上的像素点的时间均小于等于(≤)多帧图像总共播放时间的50%。
进一步的,所述“计算所述多帧图像中所有相同位置像素点的RGB值的中位数”,还包括步骤:
将多帧图像中相同位置像素点的RGB值按序排列,若图像帧数为奇数,则取中间的RGB值作为中位数;
若图像帧数为偶数,则取中间两个RGB值的平均值作为中位数。
为解决上述技术问题,还提供了一种存储介质,具体如下:
一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述所述的任意步骤。
为解决上述技术问题,还提供了一种视频抠像方法,具体如下:
一种视频抠像方法,包括步骤:
从视频中获取多帧图像;
计算所述多帧图像中所有相同位置像素点的RGB值的中位数;
将所述所有像素点的RGB值的中位数作为视频背景图各像素点的RGB值;
将所述视频背景图各像素点的RGB值拼接形成所述视频背景图像;
根据所述视频背景图像的RGB值对所述视频进行抠像操作。
进一步的,从视频中获取连续的多帧图像;
进一步的,所述从视频中获取连续的多帧图像后,还包括步骤:所述视频中前景物图像遮挡背景图像预设数量像素点的时间均小于等于(≤)多帧图像总共播放时间的50%;
所述当前景物图像遮挡背景图像预设数量像素点的时间均小于等于多帧图像总共播放时间的50%,进一步为:
所述前景物图像遮挡背景图像中90%以上的像素点的时间均小于等于(≤)多帧图像总共播放时间的50%。
进一步的,所述“计算所述多帧图像中所有相同位置像素点的RGB值的中位数”,还包括步骤:
将多帧图像中相同位置像素点的RGB值按序排列,若图像帧数为奇数,则取中间的RGB值作为中位数;
若图像帧数为偶数,则取中间两个RGB值的平均值作为中位数。
进一步的,所述“根据所述视频背景图像的RGB值对所述视频进行抠像操作”,还包括步骤:
对背景图像和原视频图像帧做差值计算,获得计算结果;
对计算结果做二值化处理,得到所述原视频图像的前景物体的轮廓遮罩图;
根据所述轮廓遮罩图进行抠像操作。
为解决上述技术问题,还提供了一种存储设备,具体如下:
一种存储设备,其中存储有指令集,所述指令集用于执行上述所述的任意步骤。
本发明的有益效果是:通过获取待分析视频内多帧图像,计算所述多帧图像中所有相同位置像素点的RGB值的中位数;将所述所有像素点的RGB值的中位数作为视频背景图各像素点的RGB值;将所述视频背景图各像素点的RGB值拼接形成所述视频背景图像。本发明方法只适应固定摄像头获取的视频,这样视频的背景图像短时间内不会发生很大的变化,根据多帧图片中所有相同位置像素点的RGB的中位值,拼接得到视频背景图像,不需要复杂算法。本发明的视频背景图像计算方法简单,效率高、对视频的拍摄背景没有特别要求,大大降低CPU处理图像的时间。
在获取所述视频背景图像后,根据所述视频背景图像即可对视频图像进行抠像操作,该抠像方法,计算简单,降低CPU占用,且不需要特定的绿布背景,硬件上部署简单方便。
附图说明
图1为具体实施方式所述一种视频背景图像获取方法的流程图;
图2为具体实施方式所述三帧图像划分行列示意图;
图3为具体实施方式所述四帧图像划分行列示意图;
图4为具体实施方式所述一种计算机可读存储介质的模块示意图;
图5为具体实施方式所述一种视频抠像方法的流程图;
图6为具体实施方式所述视频原图示意图;
图7为具体实施方式所述背景图示意图;
图8为具体实施方式所述轮廓遮罩图示意图;
图9为具体实施方式所述一种存储设备的模块示意图。
附图标记说明:
400、计算机可读存储介质;
900、存储设备。
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果,以下结合具体实施例并配合附图详予说明。
请参阅图1,为本发明具体实施方式一种视频背景图像获取方法的流程图。其中,该视频抠像方法可应用在一种计算机可读存储介质上,所述计算机可读存储介质包括但不限于:个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端和摄像设备等。
且该视频抠像方法特别适用于这样一种视频,即固定摄像机拍摄的视频,即拍摄视频的背景图像短时间内不会发生很大变化(随着一天时间的推移,背景图像随光线变化会有一些变化),同时,所述视频中前景物图像遮挡背景图像预设数量像素点的时间均小于等于(≤)多帧图像总共播放时间的50%,进一步为:前景物图像遮挡背景图像中90%以上的像素点的时间均小于等于(≤)多帧图像总共播放时间的50%。当视频满足该条件时,使用该视频抠像方法所得到的背景图可更好的反映实际背景图。
当前景物图像遮挡背景图像中90%以上的像素点的时间均小于等于多帧图像总共播放时间的50%时,各像素点的RGB中位值能拼接得到背景图像的原理如下:
假设大多数情况下,每个像素看到的是同一块背景,因为相机没有移动。偶尔,一个移动的物体出现在前面,模糊了背景。
对于视频序列,我们可以抽取一些帧(比如10帧)。换句话说,对于每个像素,我们现在有10个背景估计值。只要一个像素点在超过50%的时间内不被其他运动物体(前景物)覆盖,则在这10帧上该像素点的中位值将给出该像素处背景的良好估计。若在选择的多帧图像中,每个像素点都存在超过50%的时间内不被其他运动物体(前景物)覆盖,则每个像素点的中位值将给出背景图像的良好估计,各个像素点拼接后即可得到视频背景图像。
举个例子:假设某个像素的背景值是3。如果没有其他运动物体遮挡,那么这10帧图像的像素背景值将是连续的10个3:
3333333333
但是,在有其他运动物体遮挡的情况下,某个时刻,这个背景值讲变为其他值,比如变成:
3557333231
可以看到,这个像素有5次被其他物体遮挡。
我们对这个像素的背景估计值按大小排列,得到如下序列:
1233333557
取其中位数,可以得到这个中位数是3。这个值正好反映了这个像素的真实背景值。我们可以对每个像素重复此操作并恢复整个背景。
具体步骤可如下:
步骤S101:从视频中获取多帧图像。针对需要分析的视频文件,从视频文件中获取多帧图像,在本实施方式中,优选方式为获取连续的多帧图像,因可获取到连续多帧的无前景图遮挡的图像,其所计算得到的像素点的RGB值的中位数可更好地代表视频背景图像素点的RGB值。在其它实施方式中,亦可以是按一定的时间间隔获取的多帧图像,所述间隔的时间不宜过长,主要考虑光线对背景图像的影响。若间隔时间过长,例如,一张照片是在早上获取,一张照片是下午获取,另外两张照片是在晚上获取,由于时间间隔过长,则采用这四张图片相同位置像素点的中位值,未必能得到拼接得到视频背景图像。所以,在光线变化不大的环境中(例如阴天),则多帧图像获取的间隔时间可延长,而在光线变化比较大的环境中(例如晴天),则多帧图像获取的间隔时间可缩短。
在其它实施方式中,亦可随机采集视频中的多帧图像。帧数记为N。
获取多帧图像后,执行步骤S102:计算所述多帧图像中所有相同位置像素点的RGB值的中位数。
在本实施方式中,对于有限个数的数据而言,中位数指的是这样一种数:这群有限个数的数据里一半的数据比它大,另一半的数据比它小。
故可通过将多帧图像中相同位置的RGB值按序排列(根据RGB值从小到大排列,或根据RGB值从大到小排列),若图像帧数为奇数,则取中间的RGB值作为中位数;若图像帧数为偶数,则取中间两个RGB值的平均值作为中位数。
在本实施方式中,其具体的计算可如下:
将所述多帧图像按行列划分成多个子图像;计算多个相同位置的子图像的RGB值的中位数。
在本实施方式中,提取多帧图像在第i行,第j列的子图像的像素点的RGB值,其中每帧图像在第i行,第j列的子图像即相同位置的子图像,计算所述多帧图像在第i行,第j列的子图像RGB值的中位数,将其记为median(i,j)。
如图2所示:三帧图像A\B\C,将其划分成3行4列,则提取这三帧图像在第1行,第1列的子图像的RGB值,其分别为25、54、35,将这三个数值按从小到大的顺序排列(亦可以是从大到小)为25、35、54,则这三帧图像的median(1,1)为35(中位数)。
同样地方法将该三帧图像的3行4列的每个位置的RGB值的中位数均求出来。
如图3所示:四帧图像A\B\C\D,将其划分成3行4列,则提取这四帧图像在第2行,第3列的子图像的RGB值,其分别为25、55、77、35,将这四个数值按从小到大的顺序排列(亦可以是从大到小)为25、35、55、77,则这四帧图像的median(2,3)为(35+55)/2=45(中位数)。
在本实施方式中,可一个一个计算得相同位置像素点的RGB值的中位数,即可一帧一帧图像去计算。亦可多个相同位置像素点的RGB值的中位数并行计算,即多帧图像同时进行计算,充分利用CPU的多核特性。
计算得多个位置的RGB值的中位数后。执行步骤S103:将所述所有像素点的RGB值的中位数作为视频背景图各像素点的RGB值。步骤S104:将所述视频背景图各像素点的RGB值拼接形成所述视频背景图像。
即把每行每列像素点的中位数median(i,j)合并。例如第1行,第1列的像素就是median(1,1);第1行,第2列的像素就是median(1,2);第i行,第j列的像素就是median(i,j),这样就组成了一张新的背景图。
如:三帧图像划分成两行三列,最后得到的median(1,1)=23,median(1,2)=24,median(1,3)=25,median(2,1)=26,median(2,2)=27,median(2,3)=28,则由这些RGB值的像素点重构出一张新的背景图。该新的背景图即所述视频图像的背景图像。
通过获取待分析视频内连续的多帧图像,计算所述多帧图像中所有相同位置像素点的RGB值的中位数;将所述所有像素点的RGB值的中位数作为视频背景图各像素点的RGB值;将所述视频背景图各像素点的RGB值拼接形成所述视频背景图像。根据所述视频背景图像即可对视频图像进行抠像操作,该抠像方法,计算简单,不仅大大降低CPU处理图像的时间,且不需要特定的绿布背景,硬件上部署简单方便。
如图4所示,本发明还提供了一种计算机可读存储介质400。所述计算机可读存储介质400上存储有计算机程序,所述程序被处理器执行时执行以下步骤:
步骤S401:从视频中获取多帧图像。针对需要分析的视频文件,从视频文件中获取多帧图像,在本实施方式中,优选方式为获取连续的多帧图像,其所计算得到的像素点的RGB值的中位数可更好地代表视频背景图像素点的RGB值。其它实施方式中,亦可以是按一定的时间间隔获取的多帧图像,所述间隔的时间不宜过长,主要考虑光线对背景图像的影响。若间隔时间过长,例如,一张照片是在早上获取,一张照片是下午获取,另外两张照片是在晚上获取,由于时间间隔过长,则采用这四张图片相同位置像素点的中位值,未必能得到拼接得到视频背景图像。所以,在光线变化不大的环境中(例如阴天),则多帧图像获取的间隔时间可延长,而在光线变化比较大的环境中(例如晴天),则多帧图像获取的间隔时间可缩短。
在其它实施方式中,亦可随机采集视频中的多帧图像。帧数记为N。
获取多帧图像后,执行步骤S402:计算所述多帧图像中所有相同位置像素点的RGB值的中位数。
在本实施方式中,对于有限个数的数据而言,中位数指的是这样一种数:这群有限个数的数据里一半的数据比它大,另一半的数据比它小。
故可通过将多帧图像中相同位置的RGB值按序排列,若图像帧数为奇数,则取中间的RGB值作为中位数;若图像帧数为偶数,则取中间两个RGB值的平均值作为中位数。
在本实施方式中,其具体的计算可如下:
将所述多帧图像按行列划分成多个子图像;计算多个相同位置的子图像的RGB值的中位数。
在本实施方式中,提取多帧图像在第i行,第j列的子图像的像素点的RGB值,其中每帧图像在第i行,第j列的子图像即相同位置的子图像,计算所述多帧图像在第i行,第j列的子图像RGB值的中位数,将其记为median(i,j)。
如图2所示:三帧图像A\B\C,将其划分成3行4列,则提取这三帧图像在第1行,第1列的子图像的RGB值,其分别为25、54、35,将这三个数值按从小到大的顺序排列(亦可以是从大到小)为25、35、54,则这三帧图像的median(1,1)为35(中位数)。
同样地方法将该三帧图像的3行4列的每个位置的RGB值的中位数均求出来。
如图3所示:四帧图像A\B\C\D,将其划分成3行4列,则提取这四帧图像在第2行,第3列的子图像的RGB值,其分别为25、55、77、35,将这四个数值按从小到大的顺序排列(亦可以是从大到小)为25、35、55、77,则这四帧图像的median(2,3)为(35+55)/2=45(中位数)。
在本实施方式中,可一个一个计算得相同位置像素点的RGB值的中位数,即可一帧一帧图像去计算。亦可多个相同位置像素点的RGB值的中位数并行计算,即多帧图像同时进行计算,充分利用CPU的多核特性。
计算得多个位置的RGB值的中位数后。执行步骤S403:将所述所有像素点的RGB值的中位数作为视频背景图各像素点的RGB值。步骤S404:将所述视频背景图各像素点的RGB值拼接形成所述视频背景图像。
即把每行每列像素点的中位数median(i,j)合并。例如第1行,第1列的像素就是median(1,1);第1行,第2列的像素就是median(1,2);第i行,第j列的像素就是median(i,j),这样就组成了一张新的背景图。
如:三帧图像划分成两行三列,最后得到的median(1,1)=23,median(1,2)=24,median(1,3)=25,median(2,1)=26,median(2,2)=27,median(2,3)=28,则由这些RGB值的像素点重构出一张新的背景图。该新的背景图即所述视频图像的背景图像。
通过获取待分析视频内连续的多帧图像,计算所述多帧图像中所有相同位置像素点的RGB值的中位数;将所述所有像素点的RGB值的中位数作为视频背景图各像素点的RGB值;将所述视频背景图各像素点的RGB值拼接形成所述视频背景图像。根据所述视频背景图像即可对视频图像进行抠像操作,该抠像方法,计算简单,不仅大大降低CPU处理图像的时间,且不需要特定的绿布背景,硬件上部署简单方便。
请参阅图5,为本发明具体实施方式一种视频抠像方法的流程图。其中,该视频抠像方法可应用在一种存储设备上,所述存储设备包括但不限于:个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端和摄像设备等。
且该视频抠像方法特别适用于这样一种视频,即固定摄像机拍摄的视频,即拍摄视频的背景图像短时间内不会发生很大变化(随着一天时间的推移,背景图像随光线变化会有一些变化),同时,所述视频中前景物图像遮挡背景图像预设数量像素点的时间均小于等于(≤)多帧图像总共播放时间的50%,进一步为:前景物图像遮挡背景图像中90%以上的像素点的时间均小于等于(≤)多帧图像总共播放时间的50%。当视频满足该条件时,使用该视频抠像方法所得到的背景图可更好的反映实际背景图。
当前景物图像遮挡背景图像中90%以上的像素点的时间均小于等于多帧图像总共播放时间的50%时,各像素点的RGB中位值能拼接得到背景图像的原理如下:
假设大多数情况下,每个像素看到的是同一块背景,因为相机没有移动。偶尔,一个移动的物体出现在前面,模糊了背景。
对于视频序列,我们可以抽取一些帧(比如10帧)。换句话说,对于每个像素,我们现在有10个背景估计值。只要一个像素在超过50%的时间内不被其他运动物体覆盖,在这10帧上像素的中位值将给出该像素处背景的良好估计。
举个例子:假设某个像素的背景值是3。如果没有其他运动物体遮挡,那么这10帧图像的像素背景值将是连续的10个3:
3333333333
但是,在有其他运动物体遮挡的情况下,某个时刻,这个背景值讲变为其他值,比如变成:
3557333231
可以看到,这个像素有5次被其他物体遮挡。
我们对这个像素的背景估计值按大小排列,得到如下序列:
1233333557
取其中位数,可以得到这个中位数是3。这个值正好反映了这个像素的真实背景值。我们可以对每个像素重复此操作并恢复整个背景。
具体步骤可如下:
步骤S501:从视频中获取多帧图像。针对需要分析的视频文件,从视频文件中获取多帧图像,在本实施方式中,优选方式为获取连续的多帧图像,其所计算得到的像素点的RGB值的中位数可更好地代表视频背景图像素点的RGB值。在其它实施方式中,亦可以是随机获取多帧图像。
在其它实施方式中,亦可随机采集视频中的多帧图像。帧数记为N。
获取多帧图像后,执行步骤S502:计算所述多帧图像中所有相同位置像素点的RGB值的中位数。
在本实施方式中,对于有限个数的数据而言,中位数指的是这样一种数:这群有限个数的数据里一半的数据比它大,另一半的数据比它小。
故可通过将多帧图像中相同位置的RGB值按序排列,若图像帧数为奇数,则取中间的RGB值作为中位数;若图像帧数为偶数,则取中间两个RGB值的平均值作为中位数。
在本实施方式中,其具体的计算可如下:
将所述多帧图像按行列划分成多个子图像;计算多个相同位置的子图像的RGB值的中位数。
在本实施方式中,提取多帧图像在第i行,第j列的子图像的像素点的RGB值,其中每帧图像在第i行,第j列的子图像即相同位置的子图像,计算所述多帧图像在第i行,第j列的子图像RGB值的中位数,将其记为median(i,j)。
如图2所示:三帧图像A\B\C,将其划分成3行4列,则提取这三帧图像在第1行,第1列的子图像的RGB值,其分别为25、54、35,将这三个数值按从小到大的顺序排列(亦可以是从大到小)为25、35、54,则这三帧图像的median(1,1)为35(中位数)。
同样地方法将该三帧图像的3行4列的每个位置的RGB值的中位数均求出来。
如图3所示:四帧图像A\B\C\D,将其划分成3行4列,则提取这四帧图像在第2行,第3列的子图像的RGB值,其分别为25、55、77、35,将这四个数值按从小到大的顺序排列(亦可以是从大到小)为25、35、55、77,则这四帧图像的median(2,3)为(35+55)/2=45(中位数)。
在本实施方式中,可一个一个计算得相同位置像素点的RGB值的中位数,即可一帧一帧图像去计算。亦可多个相同位置像素点的RGB值的中位数并行计算,即多帧图像同时进行计算,充分利用CPU的多核特性。
计算得多个位置的RGB值的中位数后。执行步骤S503:将所述所有像素点的RGB值的中位数作为视频背景图各像素点的RGB值。步骤S504:将所述视频背景图各像素点的RGB值拼接形成所述视频背景图像。
即把每行每列像素点的中位数median(i,j)合并。例如第1行,第1列的像素就是median(1,1);第1行,第2列的像素就是median(1,2);第i行,第j列的像素就是median(i,j),这样就组成了一张新的背景图。
如:三帧图像划分成两行三列,最后得到的median(1,1)=23,median(1,2)=24,median(1,3)=25,median(2,1)=26,median(2,2)=27,median(2,3)=28,则由这些RGB值的像素点重构出一张新的背景图。该新的背景图即所述视频图像的背景图像。
得到新的背景图后,执行步骤S505:根据所述视频背景图像的RGB值对所述视频进行抠像操作。其包括步骤:对背景图像和原视频图像帧做差值计算,获得计算结果;对计算结果做二值化处理,得到所述原视频图像的前景物体的轮廓遮罩图;根据所述轮廓遮罩图进行抠像操作。具体参考图6至图8做详细说明:
如图6所示,为正常的原视频图像,图7为计算后拼接得到的背景图像,把计算出来的背景图像和原视频图像的每个像素的RGB值做差值计算。这个差值的大小反映的就是目前视频图像和背景图的差异大小。
设定一个阈值,对计算的差值进行二值化处理(大于阈值该像素值设置为1,小于阈值则该像素值设置为0),这样就可以得到一个和当前图像同样大小的前景物体的轮廓遮罩图。
根据轮廓遮罩图就可以对视频图像进行抠像操作。
通过获取待分析视频内连续的多帧图像,计算所述多帧图像中所有相同位置像素点的RGB值的中位数;将所述所有像素点的RGB值的中位数作为视频背景图各像素点的RGB值;将所述视频背景图各像素点的RGB值拼接形成所述视频背景图像;根据所述视频背景图像的RGB值对所述视频进行抠像操作。该抠像方法,计算简单,不仅大大降低CPU处理图像的时间,且不需要特定的绿布背景,硬件上部署简单方便。
如图9所示,本发明还提供了一种存储设备900。所述存储设备900上存储有指令集,所述指令集用于执行以下步骤:
步骤S901:从视频中获取多帧图像。针对需要分析的视频文件,从视频文件中获取多帧图像,在本实施方式中,优选方式为获取连续的多帧图像,其所计算得到的像素点的RGB值的中位数可更好地代表视频背景图像素点的RGB值。在其它实施方式中,亦可以是随机获取多帧图像。
在其它实施方式中,亦可随机采集视频中的多帧图像。帧数记为N。
获取多帧图像后,执行步骤S902:计算所述多帧图像中所有相同位置像素点的RGB值的中位数。
在本实施方式中,对于有限个数的数据而言,中位数指的是这样一种数:这群有限个数的数据里一半的数据比它大,另一半的数据比它小。
故可通过将多帧图像中相同位置的RGB值按序排列,若图像帧数为奇数,则取中间的RGB值作为中位数;若图像帧数为偶数,则取中间两个RGB值的平均值作为中位数。
在本实施方式中,其具体的计算可如下:
将所述多帧图像按行列划分成多个子图像;计算多个相同位置的子图像的RGB值的中位数。
在本实施方式中,提取多帧图像在第i行,第j列的子图像的像素点的RGB值,其中每帧图像在第i行,第j列的子图像即相同位置的子图像,计算所述多帧图像在第i行,第j列的子图像RGB值的中位数,将其记为median(i,j)。
如图2所示:三帧图像A\B\C,将其划分成3行4列,则提取这三帧图像在第1行,第1列的子图像的RGB值,其分别为25、54、35,将这三个数值按从小到大的顺序排列(亦可以是从大到小)为25、35、54,则这三帧图像的median(1,1)为35(中位数)。
同样地方法将该三帧图像的3行4列的每个位置的RGB值的中位数均求出来。
如图3所示:四帧图像A\B\C\D,将其划分成3行4列,则提取这四帧图像在第2行,第3列的子图像的RGB值,其分别为25、55、77、35,将这四个数值按从小到大的顺序排列(亦可以是从大到小)为25、35、55、77,则这四帧图像的median(2,3)为(35+55)/2=45(中位数)。
在本实施方式中,可一个一个计算得相同位置像素点的RGB值的中位数,即可一帧一帧图像去计算。亦可多个相同位置像素点的RGB值的中位数并行计算,即多帧图像同时进行计算,充分利用CPU的多核特性。
计算得多个位置的RGB值的中位数后。执行步骤S903:将所述所有像素点的RGB值的中位数作为视频背景图各像素点的RGB值。步骤S904:将所述视频背景图各像素点的RGB值拼接形成所述视频背景图像。
即把每行每列像素点的中位数median(i,j)合并。例如第1行,第1列的像素就是median(1,1);第1行,第2列的像素就是median(1,2);第i行,第j列的像素就是median(i,j),这样就组成了一张新的背景图。
如:三帧图像划分成两行三列,最后得到的median(1,1)=23,median(1,2)=24,median(1,3)=25,median(2,1)=26,median(2,2)=27,median(2,3)=28,则由这些RGB值的像素点重构出一张新的背景图。该新的背景图即所述视频图像的背景图像。
得到新的背景图后,执行步骤S905:根据所述视频背景图像的RGB值对所述视频进行抠像操作。其包括步骤:对背景图像和原视频图像帧做差值计算,获得计算结果;对计算结果做二值化处理,得到所述原视频图像的前景物体的轮廓遮罩图;根据所述轮廓遮罩图进行抠像操作。具体参考图6至图8做详细说明:
如图6所示,为正常的原视频图像,图7为计算后拼接得到的背景图像,把计算出来的背景图像和原视频图像的每个像素的RGB值做差值计算。这个差值的大小反映的就是目前视频图像和背景图的差异大小。
设定一个阈值,对计算的差值进行二值化处理(大于阈值该像素值设置为1,小于阈值则该像素值设置为0),这样就可以得到一个和当前图像同样大小的前景物体的轮廓遮罩图。
根据轮廓遮罩图就可以对视频图像进行抠像操作。
通过获取待分析视频内连续的多帧图像,计算所述多帧图像中所有相同位置像素点的RGB值的中位数;将所述所有像素点的RGB值的中位数作为视频背景图各像素点的RGB值;将所述视频背景图各像素点的RGB值拼接形成所述视频背景图像;根据所述视频背景图像的RGB值对所述视频进行抠像操作。该抠像方法,计算简单,不仅大大降低CPU处理图像的时间,且不需要特定的绿布背景,硬件上部署简单方便。
需要说明的是,尽管在本文中已经对上述各实施例进行了描述,但并非因此限制本发明的专利保护范围。因此,基于本发明的创新理念,对本文所述实施例进行的变更和修改,或利用本发明说明书及附图内容所作的等效结构或等效流程变换,直接或间接地将以上技术方案运用在其他相关的技术领域,均包括在本发明的专利保护范围之内。
Claims (7)
1.一种视频背景图像获取方法,其特征在于,包括步骤:
从视频中获取多帧图像;所述视频为公共场所中安装的摄像头的视频,所述视频中包括前景物图像和背景图像,所述前景物为运动物体,所述前景物图像遮挡背景图像中90%以上的像素点的时间均小于等于多帧图像总共播放时间的50%;
所述多帧图像是按一定的时间间隔获取的,在不同环境中光线变化越大所述时间间隔越小;
计算所述多帧图像中所有相同位置像素点的RGB值的中位数;将所述所有像素点的RGB值的中位数作为视频背景图各像素点的RGB值;
将所述视频背景图各像素点的RGB值拼接形成所述视频背景图像;
包括:将所述多帧图像按行列划分成多个子图像,计算多个相同位置的子图像的RGB值的中位数。
2.根据权利要求1所述的一种视频背景图像获取方法,其特征在于,
所述“计算所述多帧图像中所有相同位置像素点的RGB值的中位数”,还包括步骤:
将多帧图像中相同位置像素点的RGB值按序排列,若图像帧数为奇数,则取中间的RGB值作为中位数;
若图像帧数为偶数,则取中间两个RGB值的平均值作为中位数。
3.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,
所述程序被处理器执行时实现如权利要求1至2任一项所述的步骤。
4.一种视频抠像方法,其特征在于,包括步骤:
从视频中获取多帧图像;所述视频为公共场所中安装的摄像头的视频,所述视频中包括前景物图像和背景图像,所述前景物为运动物体,所述前景物图像遮挡背景图像中90%以上的像素点的时间均小于等于多帧图像总共播放时间的50%;
所述多帧图像是按一定的时间间隔获取的,在不同环境中光线变化越大所述时间间隔越小;
计算所述多帧图像中所有相同位置像素点的RGB值的中位数;
将所述所有像素点的RGB值的中位数作为视频背景图各像素点的RGB值;包括:将所述多帧图像按行列划分成多个子图像,计算多个相同位置的子图像的RGB值的中位数;将所述视频背景图各像素点的RGB值拼接形成所述视频背景图像;
根据所述视频背景图像的RGB值对所述视频进行抠像操作。
5.根据权利要求4所述的一种视频抠像方法,其特征在于,
所述“计算所述多帧图像中所有相同位置像素点的RGB值的中位数”,还包括步骤:
将多帧图像中相同位置像素点的RGB值按序排列,若图像帧数为奇数,则取中间的RGB值作为中位数;
若图像帧数为偶数,则取中间两个RGB值的平均值作为中位数。
6.根据权利要求4所述的一种视频抠像方法,其特征在于,
所述“根据所述视频背景图像的RGB值对所述视频进行抠像操作”,还包括步骤:
对背景图像和原视频图像帧做差值计算,获得计算结果;
对计算结果做二值化处理,得到所述原视频图像的前景物体的轮廓遮罩图;
根据所述轮廓遮罩图进行抠像操作。
7.一种存储设备,其中存储有指令集,其特征在于,所述指令集用于执行权利要求4至6任一项所述的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010294746.3A CN111586348B (zh) | 2020-04-15 | 2020-04-15 | 一种视频背景图像获取方法、存储介质、视频抠像方法和存储设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010294746.3A CN111586348B (zh) | 2020-04-15 | 2020-04-15 | 一种视频背景图像获取方法、存储介质、视频抠像方法和存储设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111586348A CN111586348A (zh) | 2020-08-25 |
CN111586348B true CN111586348B (zh) | 2022-04-12 |
Family
ID=72124431
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010294746.3A Active CN111586348B (zh) | 2020-04-15 | 2020-04-15 | 一种视频背景图像获取方法、存储介质、视频抠像方法和存储设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111586348B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103414855A (zh) * | 2013-08-23 | 2013-11-27 | 北京奇艺世纪科技有限公司 | 一种视频处理方法及*** |
CN104463875A (zh) * | 2014-12-11 | 2015-03-25 | 天津工业大学 | 一种视频背景图片的提取算法 |
CN106056532A (zh) * | 2016-05-20 | 2016-10-26 | 深圳市奥拓电子股份有限公司 | 一种去除背景图像的方法和装置 |
CN107509031A (zh) * | 2017-08-31 | 2017-12-22 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、移动终端及计算机可读存储介质 |
CN108334824A (zh) * | 2018-01-19 | 2018-07-27 | 国网电力科学研究院武汉南瑞有限责任公司 | 基于背景差分和迭代搜索的高压隔离开关状态识别方法 |
CN109903260A (zh) * | 2019-01-30 | 2019-06-18 | 华为技术有限公司 | 图像处理方法及图像处理装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6088468A (en) * | 1995-05-17 | 2000-07-11 | Hitachi Denshi Kabushiki Kaisha | Method and apparatus for sensing object located within visual field of imaging device |
CN102855465B (zh) * | 2012-04-12 | 2016-10-05 | 江苏慧眼数据科技股份有限公司 | 一种移动物体的跟踪方法 |
JP6230268B2 (ja) * | 2013-05-23 | 2017-11-15 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
CN106326821B (zh) * | 2015-07-07 | 2019-08-30 | 北京易车互联信息技术有限公司 | 车牌定位的方法及装置 |
JP2018018425A (ja) * | 2016-07-29 | 2018-02-01 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
CN109636481A (zh) * | 2018-12-19 | 2019-04-16 | 未来电视有限公司 | 面向家庭用户的用户画像构建方法及装置 |
CN110798592B (zh) * | 2019-10-29 | 2022-01-04 | 普联技术有限公司 | 基于视频图像的物体移动侦测方法、装置、设备及存储介质 |
-
2020
- 2020-04-15 CN CN202010294746.3A patent/CN111586348B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103414855A (zh) * | 2013-08-23 | 2013-11-27 | 北京奇艺世纪科技有限公司 | 一种视频处理方法及*** |
CN104463875A (zh) * | 2014-12-11 | 2015-03-25 | 天津工业大学 | 一种视频背景图片的提取算法 |
CN106056532A (zh) * | 2016-05-20 | 2016-10-26 | 深圳市奥拓电子股份有限公司 | 一种去除背景图像的方法和装置 |
CN107509031A (zh) * | 2017-08-31 | 2017-12-22 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、移动终端及计算机可读存储介质 |
CN108334824A (zh) * | 2018-01-19 | 2018-07-27 | 国网电力科学研究院武汉南瑞有限责任公司 | 基于背景差分和迭代搜索的高压隔离开关状态识别方法 |
CN109903260A (zh) * | 2019-01-30 | 2019-06-18 | 华为技术有限公司 | 图像处理方法及图像处理装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111586348A (zh) | 2020-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3220352B1 (en) | Method and device for processing lightfield data | |
CN108694705A (zh) | 一种多帧图像配准与融合去噪的方法 | |
WO2019221013A4 (en) | Video stabilization method and apparatus and non-transitory computer-readable medium | |
Yang | NTIRE 2021 challenge on quality enhancement of compressed video: Methods and results | |
CN111402139A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
CN112802033B (zh) | 图像处理方法及装置、计算机可读存储介质和电子设备 | |
US20220207663A1 (en) | Method for generating an adaptive multiplane image from a single high-resolution image | |
CN103053163A (zh) | 图像生成装置、图像生成***、方法及程序 | |
CN107077742B (zh) | 一种图像处理装置和方法 | |
CN104820966B (zh) | 一种空时配准解卷积的非同步多视频超分辨率方法 | |
EP2458879A1 (en) | Occlusion layer extension | |
TWI741305B (zh) | 圖像處理方法和裝置 | |
CN110689014B (zh) | 感兴趣区域的检测方法、装置、电子设备及可读存储介质 | |
CN110708464B (zh) | 一种数字图像采集*** | |
CN113298707B (zh) | 图像帧拼接方法、视频巡检方法、装置、设备及存储介质 | |
CN114996227A (zh) | 一种监控视频压缩及复原方法 | |
CN113205011B (zh) | 图像掩膜确定方法及装置、存储介质和电子设备 | |
CN111586348B (zh) | 一种视频背景图像获取方法、存储介质、视频抠像方法和存储设备 | |
CN113259594A (zh) | 图像处理方法及装置、计算机可读存储介质、终端 | |
CN113139419A (zh) | 一种无人机检测方法及装置 | |
CN112489103A (zh) | 一种高分辨率深度图获取方法及*** | |
CN115984124A (zh) | 一种神经形态脉冲信号去噪和超分辨方法及装置 | |
Moura et al. | A spatiotemporal motion-vector filter for object tracking on compressed video | |
CN113592801A (zh) | 视频图像的条纹干扰检测方法及其装置 | |
CN109328373B (zh) | 图像处理方法及其相关设备、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |