CN114422720A - 视频浓缩方法、***、装置和存储介质 - Google Patents
视频浓缩方法、***、装置和存储介质 Download PDFInfo
- Publication number
- CN114422720A CN114422720A CN202210039201.7A CN202210039201A CN114422720A CN 114422720 A CN114422720 A CN 114422720A CN 202210039201 A CN202210039201 A CN 202210039201A CN 114422720 A CN114422720 A CN 114422720A
- Authority
- CN
- China
- Prior art keywords
- target
- video
- frame
- file
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000001514 detection method Methods 0.000 claims description 27
- 230000006835 compression Effects 0.000 claims description 19
- 238000007906 compression Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000005484 gravity Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 2
- 230000000903 blocking effect Effects 0.000 abstract description 2
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种视频浓缩方法、***、装置和存储介质,可应用于视频处理技术领域。本发明通过根据像素速度对帧号保存的第一文件内的目标信息进行分组,以缓解压缩视频内重影的情况,然后在根据目标颜色对第二文件内的目标信息进行分类保存至第三文件后,根据碰撞阈值、目标数阈值和时间间隔阈值确定目标在压缩视频内的第一帧位置,再根据第一帧位置将第三文件内的目标信息导入压缩视频的视频流内,并将目标图像融合背景图像生成压缩视频,从而进一步缓解压缩视频重影的问题,并减少发生视频卡顿的情况。
Description
技术领域
本发明涉及视频处理技术领域,尤其是一种视频浓缩方法、***、装置和存储介质。
背景技术
相关技术中,对视频进行压缩时,只是将距离大的分为一类,以减轻重叠问题,但是,最后距离越来越小的目标分为一类很容易出现重叠,且碰撞检测也只检测当前帧没有碰撞,并不能保证后面几帧是否有碰撞。如果考虑速度的影响,速度快的很可能在下一帧就会碰上慢速度的目标而形成碰撞重叠。不考虑速度影响运动目标之间经常存在一些视觉上的碰撞,轨迹容易冲突重叠等问题,如果有大量运动目标出现,浓缩视频必然出现许多运动目标的轨迹重影,还有令视频卡顿等问题。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明提出一种视频浓缩方法、***、装置和存储介质,能够有效缓解压缩视频内重影的现象。
一方面,本发明实施例提供了一种视频浓缩方法,包括以下步骤:
获取原始视频和背景图像;
提取所述原始视频内每帧的目标信息,并根据每帧的帧号将所述目标信息保存至第一文件;
根据像素速度对所述第一文件内的目标信息进行分组保存至第二文件;
根据目标颜色对所述第二文件内的目标信息进行分类保存至第三文件;
根据碰撞阈值、目标数阈值和时间间隔阈值确定目标在压缩视频内的第一帧位置;
根据所述第一帧位置所述第三文件内的目标信息导入压缩视频的视频流内,并将目标图像融合所述背景图像生成压缩视频。
在一些实施例中,所述提取所述原始视频内每帧的目标信息,包括:
对所述原始视频进行监测和跟踪,得到所述原始视频内的视频帧号、当前帧的目标数、目标ID和检测目标的矩形框对应四个顶点的坐标。
在一些实施例中,所述根据像素速度对所述第一文件内的目标信息进行分组,包括:
获取原始视频内真实矩形的四个顶点坐标;
根据所述真实矩形的四个顶点坐标计算图像的透视转换矩阵;
根据所述透视转换矩阵,将所述原始视频内画面上的任意一个点的坐标转换成俯视图中点的坐标;
根据所述俯视图中点的坐标,比较所述第一文件内目标的像素速度;
根据比较结果对所述第一文件内的目标信息进行分组。
在一些实施例中,所述根据目标颜色对所述第二文件内的目标信息进行分类保存至第三文件,包括:
根据所述帧号对所述第二文件内的所有目标进行分析,得到每个目标在原始视频内的运动轨迹信息;
根据目标颜色将所述运动轨迹信息分类保存至第三文件。
在一些实施例中,所述根据碰撞阈值、目标数阈值和时间间隔阈值确定目标在压缩视频内的第一帧位置,包括:
确定两个目标的重心位置坐标距离、同一帧内出现的目标数据、不同批次目标的生成时间间隔;
当重心位置坐标距离大于所述碰撞阈值、同一帧内出现的目标数据小于所述目标数阈值且所述生成时间间隔大于所述时间间隔阈值,确定目标在压缩视频内的第一帧位置。
在一些实施例中,所述根据所述第一帧位置所述第三文件内的目标信息导入压缩视频的视频流内,并将目标图像融合所述背景图像生成压缩视频,包括:
根据所述第一帧位置所述第三文件内的目标信息导入压缩视频的视频流内;
确定同一帧的同一位置上的目标存在重影,对重影位置进行半透明处理,并将目标图像融合所述背景图像生成压缩视频。
在一些实施例中,所述获取原始视频和背景图像,包括:
获取原始视频和背景图像的路径信息;
根据所述路径信息读取原始视频和背景图像。
另一方面,本发明实施例提供了一种视频浓缩***,包括:
获取模块,用于获取原始视频和背景图像;
提取模块,用于提取所述原始视频内每帧的目标信息,并根据每帧的帧号将所述目标信息保存至第一文件;
分组模块,用于根据像素速度对所述第一文件内的目标信息进行分组保存至第二文件;
分类模块,用于根据目标颜色对所述第二文件内的目标信息进行分类保存至第三文件;
确定模块,用于根据碰撞阈值、目标数阈值和时间间隔阈值确定目标在压缩视频内的第一帧位置;
导入模块,用于根据所述第一帧位置所述第三文件内的目标信息导入压缩视频的视频流内,并将目标图像融合所述背景图像生成压缩视频。
另一方面,本发明实施例提供了一种视频浓缩装置,包括:
至少一个存储器,用于存储程序;
至少一个处理器,用于加载所述程序以执行所述的视频浓缩方法。
另一方面,本发明实施例提供了一种存储介质,其中存储有计算机可执行的程序,所述计算机可执行的程序被处理器执行时用于实现所述的视频浓缩方法。
本发明实施例提供的一种视频浓缩方法,具有如下有益效果:
本实施例通过根据像素速度对帧号保存的第一文件内的目标信息进行分组,以缓解压缩视频内重影的情况,然后在根据目标颜色对第二文件内的目标信息进行分类保存至第三文件后,根据碰撞阈值、目标数阈值和时间间隔阈值确定目标在压缩视频内的第一帧位置,再根据第一帧位置将第三文件内的目标信息导入压缩视频的视频流内,并融合背景图像生成压缩视频,从而进一步缓解压缩视频重影的问题,并减少发生视频卡顿的情况。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
下面结合附图和实施例对本发明做进一步的说明,其中:
图1为本发明实施例的一种视频浓缩方法的流程图;
图2为本发明实施例在应用过程的流程图;
图3为本发明实施例在图2应用过程中的数据处理流程图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,若干的含义是一个以上,多个的含义是两个以上,大于、小于、超过等理解为不包括本数,以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中,除非另有明确的限定,设置、安装、连接等词语应做广义理解,所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
本发明的描述中,参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
当前,世界各地无数监控摄像机每天不停地捕捉画面,面对快速增长的海量监控视频,传统方法直接存储并且在原始视频中查找内容,效率非常低下。为了有效提高监控视频的存储、传输和利用效率,视频浓缩技术将视频内容进行浓缩,力求在最短时间内将视频中所有出现的内容展示出来。
视频浓缩技术可以为公安刑警部门减少查看视频的时间,为案情侦破省去更多的时间,如果采用传统的只靠人工去查阅翻看监控来获取线索证据,需要消耗大量人力、物力以及时间,而且容易让人疲劳,导致错看、漏看,效率太低。此外,对于重点、高级安保区域,如监狱、小区、学校、银行、政府机关等,通过视频压缩技术,有利于工作人员提前发现异常情况,对于监控区域的安全性有了更高一层的保障。
首先从原始视频中将对象从背景中分割出来,然后根据目标在三维时空中的位置,以对象重叠最小为基准重新构建视频,能够缩短查看时间或者缩小搜索范围、有效配合人工视频核查。然而,实际应用场景中,由于目标运动复杂、目标过多轨迹重叠、遮挡等诸多因素的干扰,视频浓缩技术仍然面临严峻的挑战。
具体地,目前对视频进行压缩的数据处理过程中,常常采用按照距离矩阵对轨迹进行聚类操作的方法,求出所有轨迹两两距离值并保存在对称矩阵中,寻找矩阵中最大距离值,将轨迹距离最大的分为同一类,然后更新矩阵,循环进行聚类操作直到类别数量小于预先设定的数目,再对聚类的轨迹进行碰撞检测,根据各轨迹的起始帧号与轨迹的重合面积来判断对应轨迹能否***同一帧中。只是将距离大分为一类是减轻了重叠问题,但最后距离越来越小的目标分为一类很容易出现重叠,且碰撞检测也只检测当前帧没有碰撞,并不能保证后面几帧是否有碰撞。如果考虑速度的影响,速度快的很可能在下一帧就会碰上慢速度的目标而形成碰撞重叠。不考虑速度影响运动目标之间经常存在一些视觉上的碰撞,轨迹容易冲突重叠等问题,如果有大量运动目标出现,浓缩视频必然出现许多运动目标的轨迹重影,还有令视频卡顿等问题。
相关技术中没有考虑轨迹重影的原因很多利用目标轨迹重叠面积问题来降低目标重影,那就要考虑检测所有目标的重叠面积问题,计算量大又繁杂,实时性不高,鲁棒性差。本发明新加入目标像素速度的想法,如果设置好目标的第一帧且不会与其它已设置好的目标轨迹有碰撞重叠,那么相同运动速度的目标必不会重叠碰撞。背影上叠加的目标过多,对象上的属性如ID、时间等不好观察,会干扰人工的排查。对于目标重叠部分只是采用不同透明度来产生视觉上的区分,如果应用场景小且目标多必然解决不了问题。
并且在根据运动目标各自对应的聚类特征,将有重叠的目标分为一组,得到各个初始分组,再将这些目标聚类,对于每一聚类结果,都要预设多种不同的聚类个数,聚类特征的选择也是个困难,不同特征的聚类对目标重叠问题有不同的效果,很难得到最佳的聚类方案,当前关于视频浓缩多少都会有运动目标轨迹重影的问题,很难生成令人满意的浓缩视频。
基于此,参照图1,本发明实施例提供了一种视频浓缩方法,本实施例可以应用于服务器、视屏浓缩平台的后台处理器。在应用过程中,服务器或处理器可以与各个终端设备进行交互。例如与录像设备、显示设备等进行交互。
在应用过程中,本实施例包括以下步骤:
S11、获取原始视频和背景图像。
在本实施例中,可以通过获取原始视频和背景图像的路径信息,以根据路径信息读取原始视频。当需要读取背景图像时,还可以同步获取背景图像的路径信息,并根据背景图像的路径信息读取背景图像。原始视频的路径信息和背景图像的路径信息可以是一样的。例如,两个信息保存在同一位置时,则位置信息是相同的。
S12、提取原始视频内每帧的目标信息,并根据每帧的帧号将目标信息保存至第一文件。
在本实施例中,可以通过检测跟踪算法来获取原始视频和背景图像内每帧的目标信息。具体地,通过检测跟踪算法对原始视频进行监测和跟踪,得到原始视频内的视频帧号、当前帧的目标数、目标ID和检测目标的矩形框对应四个顶点的坐标。将视频帧号、当前帧的目标数、目标ID和检测目标的矩形框对应四个顶点的坐标作为目标信息,并根据视频帧号在第一文件中保存对应的信息。检测目标的矩形框对应四个顶点的坐标即目标在原视频的位置信息(一般以视频左上顶点为原点),该步骤页是确定目标索引,该索引是指运动目标在原视频的轨迹,确定原目标轨迹索引,后面才能把原视频目标轨迹放入到新的浓缩的视频中去,确保目标轨迹完整。
S13、根据像素速度对第一文件内的目标信息进行分组保存至第二文件。
在本实施例中,计算运动目标像素速度而不必求其实际速度,按照目标速度分批次,速度差在某一阈值为一批次,避免了其它发明目标跟踪计算目标实际速度难的问题。像素速度为像素距离除以时间,像素距离通过目标在2帧中对应的像素坐标计算得到,视频帧率又比较固定一帧约40ms,而实际速度为像素速度再乘以一个固定值,这个值由像素距离和实际物理距离的映射关系决定,实际情况很难得到这个值。如果通过变换将视频画面变成俯视视角(站在道路上方俯视道路),经过这种变换路面所有运动目标变成2D平面运动,每像素代表的实际物理距离固定不变,说明上述固定值每个目标都一样,此时不用再想方设法求目标的实际速度,只要求出目标的像素速度即可,则任何目标运动的像素速度都可以根据像素位移差和时间差计算得到。本实施例利用OpenCV中透视转换的概念,先获取原视频画面中一个真实矩形的四个顶点坐标,利用图像的四个顶点来计算图像的透视转换矩阵,得到透视转换矩阵后,将原视频画面任意一个点坐标转换成俯视图中的点坐标。而对于矩形顶点坐标很容易得到,因为目标检测的检测框就是矩形且坐标在检测时就可以得到。原本需要计算目标实际速度,而在将视频画面转换为俯视视角后就不要继续计算实际速度,本实施例的目的不是测实际速度而是比较运动目标的速度。由上所述,此时每像素代表的物理距离固定不变即这个固定值不变,所以比较像素速度,并根据比较结果对所述第一文件内的目标信息进行分组,解决了无法测量运动目标实际速度的问题。其中,根据像素速度比较结果分组并保存目标信息,速度相近的判定和分批次情况可以由具体原视频的检测跟踪情况来设定参数。
S14、根据目标颜色对第二文件内的目标信息进行分类保存至第三文件。
在本实施例中,可以先根据帧号对第二文件内的所有目标进行分析,得到每个目标在原始视频内的运动轨迹信息,然后根据目标颜色将运动轨迹信息分类保存至第三文件。具体地,在本实施例中,是根据目标ID来划分的而不是按帧号保存目标信息,将一个目标在每一帧的轨迹坐标保存下来,同时保存所有检测目标在每一帧的图片。在本实施例中,融合运动目标颜色特征将颜色相近的目标分开放置,以免出现大量相同颜色目标让人视觉混乱,容易出错弄混目标,影响工作效率。计算检测到的运动目标的颜色类型,基于上述像素速度分组情况下将颜色相近的目标再分为一组。由检测框内的目标图像计算出其目标颜色直方图,根据检测框中的目标颜色分布,即根据颜色直方图确定目标颜色分布,颜色分布直方图可以用于不同的颜色空间模型如RGB、HSV、YUV、Luv、Lab等,可以根据不同的场景选择合适的颜色空间可以让运动目标颜色更加突出。找到其分布最多的颜色类型为其主色,由设定好的颜色空间模型的颜色数值确定其颜色类型。比较不同目标的颜色数值,差值不大于某一阈值认定为相似颜色类型,这一阈值可以根据具体情况来设置。
S15、根据碰撞阈值、目标数阈值和时间间隔阈值确定目标在压缩视频内的第一帧位置。
在本实施例中,可以先确定两个目标的重心位置坐标距离、同一帧内出现的目标数据、不同批次目标的生成时间间隔;当重心位置坐标距离大于碰撞阈值、同一帧内出现的目标数据小于目标数阈值且生成时间间隔大于所述时间间隔阈值,确定目标在压缩视频内的第一帧位置。具体地,本实施例是确定目标在即将生成的浓缩视频里的出场时间次序,即新的轨迹索引。新的轨迹的生成,重点在于确定所有检测到的目标在新的浓缩视频的第一帧。具体可以根据碰撞阈值、最大目标数阈值和时间间隔阈值来确定。碰撞阈值、最大目标数阈值和时间间隔阈值是并列关系相互约束,由这3个条件相互制约最终确定目标的第一帧,最终同时满足这些条件才能设置好所有目标第一帧,确定目标第一帧则目标轨迹就确定了目标轨迹。
具体地,碰撞阈值的判断可以通过目标碰撞检测窗口进行判断,在将新目标加入到浓缩视频中时,此时对之前已生成视频的一定帧范围进行检测,如检测前10帧内的目标与当前帧的目标是否碰撞,检测已加入的目标与即将加入的新目标是否有碰撞。碰撞的设置为先计算2个目标重心位置坐标,当2个目标横坐标和纵坐标距离分别小于某一阈值时,会被***认定为有碰撞,阈值一般设置为目标检测方框的平均宽度和平均高度的1.5倍到3倍,这个检测帧的范围可以由具体应用场景而定。
浓缩视频同一帧同时新出现的最大目标数,本实施例会限制新加入目标同时出现的数量,即通过设置最大目标数阈值,在生成新的索引模块关键就是给目标设置好第一帧,即目标出现在新视频的哪一帧,此时就会有多少目标会同时出现的问题,如果不加限制参数就有可能出现大量目标同时出现在新的浓缩视频中,必然造成大量重影问题,所以此参数就起控制目标同时出现的数量的作用。
提高不同批目标的生成时间间隔,就是分批将检测的目标加入到新浓缩视频中,而每批目标加入的时间相差多少就是这个时间间隔,浓缩视频变长但浓缩效果变好。
S16、根据第一帧位置将第三文件内的目标信息导入压缩视频的视频流内,并将目标图像融合背景图像生成压缩视频。
在本实施例中,目标图像包括检测框的图像。具体地,本实施例可以根据第一帧位置将颜色分组后的第三文件内的目标信息导入压缩视频的视频流内,然后确定同一帧的同一位置上的目标存在重影,对重影位置进行半透明处理后,得到压缩视频。
综上所述,上述实施例新加入了考虑目标运动速度的影响,速度快的目标会追上速度慢的目标也会造成重影,计算目标的平均速度,将速度相近的分为一组,让目标分批出现,进一步改进重影。
视频浓缩后的重影已得到根本改进,基本不影响对视频的观察分析,效果极佳。
视频效果最终由人眼观察,本实施例考虑新加入融合运动目标颜色特征的算法。让颜色相近的目标在浓缩视频中分开出现,防止同时出现许多颜色相近的目标,如果有碰撞会容易看错目标,造成不必要的错误。促使本实施例在观看浓缩视频有更好的观感,使目标更突出,减少看错的可能性,提高目标排查的正确率,保证工作效率。
在生成新索引模块,新加入了碰撞检测窗口,新的目标加进来的时候,在给目标设置新的第一帧时,本实施例对前面已经设置好的一定帧范围进行检测,比如向前多检测20帧,来检测目标与之前设置好第一帧目标是否出现碰撞,若有碰撞则不在当前帧给目标设置第一帧;
在生成新索引模块,加入了新一帧目标出现的最大数量,即浓缩视频同时出现的目标数量不能超过设置的阈值,防止当前同时出现的目标太多导致目标轨迹重合和碰撞导致重影;
在生成新索引模块,最关键就是给目标设置好浓缩视频的第一帧,本实施例给目标生成时间间隔提高,减少不同批次目标追击问题防止在很短时间内目标出现频率太快,不然目标轨迹重叠会造成大量的重影,影响浓缩视频的观感;
对少量目标重叠部分半透明处理,是为了更好观察区分目标,减轻重影,防止一些重要信息被遮挡而丢失。
将上述实施例应用于具体处理过程时,如图2所示,包括以下步骤:
输入视频文件和背景图片保存路径信息,启动浓缩命令后计算机对要处理的视频文件立马进行处理。
运用目标检测和跟踪算法分别对视频文件每一帧的运动目标进行检测和跟踪,并将检测跟踪的目标轨迹信息存储在第一可读文件中,在所有目标跟踪结束时计算目标像素速度,输入参数设置速度判定参数和分组组数,将速度相近的目标分组并将检测跟踪信息保存在第二可读文件中。
对保存的第一可读文件进行分析处理,得到目标的完整轨迹,保存目标的每一帧的小图片,图片大小比目标检测窗口略大,方便保存目标ID等属性。输入参数选择颜色空间模型和颜色阈值,处理第二可读文件得到速度分组情况,根据颜色特征对目标再分组保存在第三可读文件。
生成新的目标索引,用户输入上述关键参数,碰撞检测窗口的检测帧数、时间间隔帧数,和最大的目标数。这里是改进重影的关键模块,因为它确定了目标在新的视频里的出场方式,主要确定目标在新视频出现的第一帧,第一帧确定了目标轨迹就确定了。如图3经过新加入的速度和颜色特征分组后,读取分析第三可读文件将目标分批经过碰撞检测窗口、时间间隔和最大目标的筛选最终确定目标的第一帧。碰撞检测窗口是将正要在当前帧设置第一帧的目标与设置好第一帧的目标进行是否会有碰撞的检测,这里指当前帧的前面已设置好的一定范围帧内的目标;时间间隔就是帧的步长,每间隔这个步长和其它限制条件来确定是否给目标在当前帧设置第一帧;最大目标就是控制在当前帧设置第一帧的目标数量,这个最大阈值是设置好的,可以根据具体应用场景的实际情况来修改,比如场景较狭窄而目标数量又多,则可以将阈值设的小一点。
设置好视频保存路径,最后根据新的索引将所有目标图片按上述的设定与背景图片进行融合,即把所有图像帧写入到视频流并把重叠部分进行半透明处理,生成浓缩视频。
本发明实施例提供了一种视频浓缩***,包括:
获取模块,用于获取原始视频和背景图像;
提取模块,用于提取所述原始视频内每帧的目标信息,并根据每帧的帧号将所述目标信息保存至第一文件;
分组模块,用于根据像素速度对所述第一文件内的目标信息进行分组保存至第二文件;
分类模块,用于根据目标颜色对所述第二文件内的目标信息进行分类保存至第三文件;
确定模块,用于根据碰撞阈值、目标数阈值和时间间隔阈值确定目标在压缩视频内的第一帧位置;
导入模块,用于根据所述第一帧位置所述第三文件内的目标信息导入压缩视频的视频流内,并将目标图像融合所述背景图像生成压缩视频。
本发明方法实施例的内容均适用于本***实施例,本***实施例所具体实现的功能与上述方法实施例相同,并且达到的有益效果与上述方法达到的有益效果也相同。
本发明实施例提供了一种视频浓缩装置,包括:
至少一个存储器,用于存储程序;
至少一个处理器,用于加载所述程序以执行图1所示的视频浓缩方法。
本发明方法实施例的内容均适用于本***实施例,本***实施例所具体实现的功能与上述方法实施例相同,并且达到的有益效果与上述方法达到的有益效果也相同。
本发明实施例提供了一种存储介质,其中存储有计算机可执行的程序,所述计算机可执行的程序被处理器执行时用于实现图1所示的视频浓缩方法。
本发明实施例还公开了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行图1所示的视频浓缩方法。
上面结合附图对本发明实施例作了详细说明,但是本发明不限于上述实施例,在所属技术领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。此外,在不冲突的情况下,本发明的实施例及实施例中的特征可以相互组合。
Claims (10)
1.一种视频浓缩方法,其特征在于,包括以下步骤:
获取原始视频和背景图像;
提取所述原始视频内每帧的目标信息,并根据每帧的帧号将所述目标信息保存至第一文件;
根据像素速度对所述第一文件内的目标信息进行分组保存至第二文件;
根据目标颜色对所述第二文件内的目标信息进行分类保存至第三文件;
根据碰撞阈值、目标数阈值和时间间隔阈值确定目标在压缩视频内的第一帧位置;
根据所述第一帧位置所述第三文件内的目标信息导入压缩视频的视频流内,并将目标图像融合所述背景图像生成压缩视频。
2.根据权利要求1所述的一种视频浓缩方法,其特征在于,所述提取所述原始视频内每帧的目标信息,包括:
对所述原始视频进行监测和跟踪,得到所述原始视频内的视频帧号、当前帧的目标数、目标ID和检测目标的矩形框对应四个顶点的坐标。
3.根据权利要求1所述的一种视频浓缩方法,其特征在于,所述根据像素速度对所述第一文件内的目标信息进行分组,包括:
获取原始视频内真实矩形的四个顶点坐标;
根据所述真实矩形的四个顶点坐标计算图像的透视转换矩阵;
根据所述透视转换矩阵,将所述原始视频内画面上的任意一个点的坐标转换成俯视图中点的坐标;
根据所述俯视图中点的坐标,比较所述第一文件内目标的像素速度;
根据比较结果对所述第一文件内的目标信息进行分组。
4.根据权利要求1所述的一种视频浓缩方法,其特征在于,所述根据目标颜色对所述第二文件内的目标信息进行分类保存至第三文件,包括:
根据所述帧号对所述第二文件内的所有目标进行分析,得到每个目标在原始视频内的运动轨迹信息;
根据目标颜色将所述运动轨迹信息分类保存至第三文件。
5.根据权利要求1所述的一种视频浓缩方法,其特征在于,所述根据碰撞阈值、目标数阈值和时间间隔阈值确定目标在压缩视频内的第一帧位置,包括:
确定两个目标的重心位置坐标距离、同一帧内出现的目标数据、不同批次目标的生成时间间隔;
当重心位置坐标距离大于所述碰撞阈值、同一帧内出现的目标数据小于所述目标数阈值且所述生成时间间隔大于所述时间间隔阈值,确定目标在压缩视频内的第一帧位置。
6.根据权利要求1所述的一种视频浓缩方法,其特征在于,所述根据所述第一帧位置所述第三文件内的目标信息导入压缩视频的视频流内,并将目标图像融合所述背景图像生成压缩视频,包括:
根据所述第一帧位置所述第三文件内的目标信息导入压缩视频的视频流内;
确定同一帧的同一位置上的目标存在重影,对重影位置进行半透明处理,并将目标图像融合所述背景图像生成压缩视频。
7.根据权利要求1所述的一种视频浓缩方法,其特征在于,所述获取原始视频和背景图像,包括:
获取原始视频和背景图像的路径信息;
根据所述路径信息读取原始视频和背景图像。
8.一种视频浓缩***,其特征在于,包括:
获取模块,用于获取原始视频和背景图像;
提取模块,用于提取所述原始视频内每帧的目标信息,并根据每帧的帧号将所述目标信息保存至第一文件;
分组模块,用于根据像素速度对所述第一文件内的目标信息进行分组保存至第二文件;
分类模块,用于根据目标颜色对所述第二文件内的目标信息进行分类保存至第三文件;
确定模块,用于根据碰撞阈值、目标数阈值和时间间隔阈值确定目标在压缩视频内的第一帧位置;
导入模块,用于根据所述第一帧位置所述第三文件内的目标信息导入压缩视频的视频流内,并将目标图像融合所述背景图像生成压缩视频。
9.一种视频浓缩装置,其特征在于,包括:
至少一个存储器,用于存储程序;
至少一个处理器,用于加载所述程序以执行如权利要求1-7任一项所述的视频浓缩方法。
10.一种存储介质,其特征在于,其中存储有计算机可执行的程序,所述计算机可执行的程序被处理器执行时用于实现如权利要求1-7任一项所述的视频浓缩方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210039201.7A CN114422720B (zh) | 2022-01-13 | 2022-01-13 | 视频浓缩方法、***、装置和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210039201.7A CN114422720B (zh) | 2022-01-13 | 2022-01-13 | 视频浓缩方法、***、装置和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114422720A true CN114422720A (zh) | 2022-04-29 |
CN114422720B CN114422720B (zh) | 2024-03-19 |
Family
ID=81273004
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210039201.7A Active CN114422720B (zh) | 2022-01-13 | 2022-01-13 | 视频浓缩方法、***、装置和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114422720B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116074642A (zh) * | 2023-03-28 | 2023-05-05 | 石家庄铁道大学 | 基于多目标处理单元的监控视频浓缩方法 |
CN116156206A (zh) * | 2023-04-04 | 2023-05-23 | 石家庄铁道大学 | 一种以目标组为处理单元的监控视频浓缩方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103686095A (zh) * | 2014-01-02 | 2014-03-26 | 中安消技术有限公司 | 一种视频浓缩方法和*** |
CN104093001A (zh) * | 2014-07-23 | 2014-10-08 | 山东建筑大学 | 一种在线动态视频浓缩方法 |
CN105141923A (zh) * | 2015-09-08 | 2015-12-09 | 东方网力科技股份有限公司 | 一种视频浓缩方法及装置 |
CN106856577A (zh) * | 2015-12-07 | 2017-06-16 | 北京航天长峰科技工业集团有限公司 | 可解决多目标碰撞及遮挡问题的视频摘要生成方法 |
US20190273845A1 (en) * | 2018-03-05 | 2019-09-05 | Prüftechnik Dieter Busch AG | Vibration monitoring of an object using a video camera |
US20210390309A1 (en) * | 2020-06-10 | 2021-12-16 | Ionetworks Inc. | Video condensation & recognition method and system thereof |
-
2022
- 2022-01-13 CN CN202210039201.7A patent/CN114422720B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103686095A (zh) * | 2014-01-02 | 2014-03-26 | 中安消技术有限公司 | 一种视频浓缩方法和*** |
CN104093001A (zh) * | 2014-07-23 | 2014-10-08 | 山东建筑大学 | 一种在线动态视频浓缩方法 |
CN105141923A (zh) * | 2015-09-08 | 2015-12-09 | 东方网力科技股份有限公司 | 一种视频浓缩方法及装置 |
CN106856577A (zh) * | 2015-12-07 | 2017-06-16 | 北京航天长峰科技工业集团有限公司 | 可解决多目标碰撞及遮挡问题的视频摘要生成方法 |
US20190273845A1 (en) * | 2018-03-05 | 2019-09-05 | Prüftechnik Dieter Busch AG | Vibration monitoring of an object using a video camera |
US20210390309A1 (en) * | 2020-06-10 | 2021-12-16 | Ionetworks Inc. | Video condensation & recognition method and system thereof |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116074642A (zh) * | 2023-03-28 | 2023-05-05 | 石家庄铁道大学 | 基于多目标处理单元的监控视频浓缩方法 |
CN116074642B (zh) * | 2023-03-28 | 2023-06-06 | 石家庄铁道大学 | 基于多目标处理单元的监控视频浓缩方法 |
CN116156206A (zh) * | 2023-04-04 | 2023-05-23 | 石家庄铁道大学 | 一种以目标组为处理单元的监控视频浓缩方法 |
CN116156206B (zh) * | 2023-04-04 | 2023-06-27 | 石家庄铁道大学 | 一种以目标组为处理单元的监控视频浓缩方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114422720B (zh) | 2024-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103824070B (zh) | 一种基于计算机视觉的快速行人检测方法 | |
CN110609920A (zh) | 一种视频监控场景下的行人混合搜索方法及*** | |
CN104978567B (zh) | 基于场景分类的车辆检测方法 | |
CN109086724B (zh) | 一种加速的人脸检测方法及存储介质 | |
CN114422720B (zh) | 视频浓缩方法、***、装置和存储介质 | |
CN103092930B (zh) | 视频摘要生成方法和视频摘要生成装置 | |
CN113808282A (zh) | 一种多通航要素数据融合方法 | |
CN107491748B (zh) | 一种基于视频的目标车辆提取方法 | |
CN112422909B (zh) | 一种基于人工智能的视频行为分析管理*** | |
CN113706584A (zh) | 基于计算机视觉的街景流量信息采集方法 | |
CN113688820A (zh) | 频闪条带信息识别方法、装置和电子设备 | |
CN114885119A (zh) | 一种基于计算机视觉的智能监控报警***及方法 | |
Mousse et al. | People counting via multiple views using a fast information fusion approach | |
CN112464765B (zh) | 一种基于单像素特征放大的安全帽检测方法及其应用 | |
CN117523612A (zh) | 一种基于Yolov5网络的密集行人检测方法 | |
CN112926426A (zh) | 基于监控视频的船舶识别方法、***、设备及存储介质 | |
Piérard et al. | A probabilistic pixel-based approach to detect humans in video streams | |
CN111708907A (zh) | 一种目标人员的查询方法、装置、设备及存储介质 | |
CN111915713A (zh) | 一种三维动态场景的创建方法、计算机设备、存储介质 | |
CN107273804A (zh) | 基于支持向量机和深度特征的行人识别方法 | |
Beleznai et al. | Reliable left luggage detection using stereo depth and intensity cues | |
Nakabayashi et al. | Event-based High-speed Ball Detection in Sports Video | |
Zeng et al. | Human detection using multi-camera and 3D scene knowledge | |
Yang et al. | Research on Target Detection Algorithm for Complex Scenes | |
CN117011785B (zh) | 基于时空关联和高斯热图的烟火检测方法、装置及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |