CN114973065A - 一种基于视频智能分析的物品搬移、遗留检测方法及*** - Google Patents
一种基于视频智能分析的物品搬移、遗留检测方法及*** Download PDFInfo
- Publication number
- CN114973065A CN114973065A CN202210472488.2A CN202210472488A CN114973065A CN 114973065 A CN114973065 A CN 114973065A CN 202210472488 A CN202210472488 A CN 202210472488A CN 114973065 A CN114973065 A CN 114973065A
- Authority
- CN
- China
- Prior art keywords
- image
- video
- frame
- interest
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000008859 change Effects 0.000 claims abstract description 83
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 238000011156 evaluation Methods 0.000 claims description 27
- 238000012544 monitoring process Methods 0.000 claims description 27
- 230000005540 biological transmission Effects 0.000 claims description 23
- 238000012795 verification Methods 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 20
- 230000001052 transient effect Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 7
- 238000013441 quality evaluation Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 description 10
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005260 corrosion Methods 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于视频智能分析的物品搬移、遗留检测方法及***，其方法，包括：步骤1：获取感兴趣区域的视频图像，并在所述视频图像中提取视频序列；步骤2：在所述视频序列中分别设置前一帧、当前帧与关键帧，并分别获取当前帧对应的第一图像、前一帧对应的第二图像以及关键帧对应的第三图像；步骤3：将所述第一图像、第二图像以及所述第三图像根据预设算法进行分析计算，并基于计算结果确定所述感兴趣区域的物品变化情况。通过设置前一帧、当前帧对应图像进行分析，可以精准确定前后帧画面中待检测物品或区域有无发生变动，通过设置关键帧，可以有效避免前后帧图像对比过于灵敏的问题，进而提高了监控的准确性。
Description
技术领域
本发明涉及视频图像处理技术领域，特别涉及一种基于视频智能分析的物品搬移、遗留检测方法及***。
背景技术
目前，在视频监控应用中，物品搬移、遗留逻辑具有广泛的应用场景，如公共场所背包遗留，垃圾丢弃，展览馆等重要物品摆放位置变动、丢失，消防通道杂物阻塞等。在应用深度学习图像处理的智能视频监控中，通常的算法应用，需要针对待检测物品，收集真实场景数据，标注物品类别及位置，训练模型，部署应用。但本文所述场景具有物品种类繁多，样式不一，大小不定，颜色各异等复杂特点，单纯依靠深度学习目标检测算法，需要标注海量图像数据，且实际应用场景的复杂性时刻挑战着网络模型的泛化性能。因此，可将问题简化为按视频序列前后帧对比分析。
上述方法在阈值设置合理的情况下，可检测出视频序列中前一帧和后一帧画面不同的部分。此部分即可作为检测出的搬移或滞留物品的检测结果。但上述方法存在的问题主要是：若待检测物品或区域被短暂遮挡(包括全部被遮挡或部分被遮挡)，由于此时前后帧也发生变化，依然会被认定为发生变动，产生大量误报，而短暂遮挡结束后，待检测物品或区域与遮挡之前相比，并没有发生变动，因此，为了克服上述方法存在的问题，本发明提供了一种基于视频智能分析的物品搬移、遗留检测方法及***。
发明内容
本发明提供一种基于视频智能分析的物品搬移、遗留检测方法及***，通过设置前一帧、当前帧对应图像进行分析，可以精准确定前后帧画面中待检测物品或区域有无发生变动，通过设置关键帧，可以有效避免前后帧图像对比过于灵敏的问题，进而提高了监控的准确性。
一种基于视频智能分析的物品搬移、遗留检测方法，包括：
步骤1：获取感兴趣区域的视频图像，并在所述视频图像中提取视频序列；
步骤2：在所述视频序列中分别设置前一帧、当前帧与关键帧，并分别获取当前帧对应的第一图像、前一帧对应的第二图像以及关键帧对应的第三图像；
步骤3：将所述第一图像、第二图像以及所述第三图像根据预设算法进行分析计算，并基于计算结果确定所述感兴趣区域的物品变化情况。
优选的，一种基于视频智能分析的物品搬移、遗留检测方法，步骤1中，在所述感兴趣区域中提取目标视频的视频序列后，还包括：
在所述视频序列中，设置前一帧P、当前帧C以及关键帧K，且在开始分析计算时设置所述前一帧P、当前帧C与所述关键帧K相等；
对当前帧C所对应的第一图像分析后，将前一帧P更新为当前帧C，作为下一帧C的前一帧；
其中，所述前一帧P跟着所述当前帧C进行动态变化，所述关键帧K基于前一帧P与所述当前帧C中所监测的感兴趣区域中是否有变动而确定是否更新。
优选的，一种基于视频智能分析的物品搬移、遗留检测方法，所述感兴趣区域为监控过程中重点关心的区域。
优选的，一种基于视频智能分析的物品搬移、遗留检测方法，步骤3中，确定所述感兴趣区域的物品变化情况后，还包括：
将所述感兴趣区域的物品变换情况进行整理，确定所述感兴趣区域的物品变换逻辑；
基于所述感兴趣区域的物品变换情况以及所述感兴趣区域的物品变换逻辑生成监控报告；
将所述监控报告上传至智能显示终端进行显示。
优选的，一种基于视频智能分析的物品搬移、遗留检测方法，所述关键帧K是基于前一帧P与所述当前帧C中所监测的感兴趣区域中是否有变动而变化的具体过程，包括：
将所述当前帧C对应的第一图像与所述关键帧K对应的第三图像进行第一比较，生成第一比较结果；
同时，将所述当前帧C对应的第一图像与所述前一帧P对应的第二图像进行第二比较，生成第二比较结果；
基于所述第一比较结果与所述第二比较结果，确定所述感兴趣区域的物品变化情况以及所述关键帧K的更新情况。
优选的，一种基于视频智能分析的物品搬移、遗留检测方法，确定所述感兴趣区域的物品变化情况以及所述关键帧K的更新情况的具体工作过程，包括：
对所述第一比较结果与所述第二比较结果进行分析，获取分析结果，所述分析结果包括：
当所述当前帧C对应的第一图像与所述关键帧K对应的第三图像相比未发生变动，且所述当前帧C所对应的第一图像与所述前一帧P相比未发生变动时，则判定所述感兴趣区域的物品没有发生变动，同时，将所述关键帧K更新为当前帧C；
当所述当前帧C对应的第一图像与所述关键帧K对应的第三图像相比发生变动时，且所述当前帧C对应的第一图像与所述前一帧P对应的图像相比发生变动时，则判定所述感兴趣区域的物品发生变动，同时，所述关键帧K不更新；
当所述感兴趣区域的物品发生变动时：
将所述关键帧K对应的第三图像进行锁定，同时，所述当前帧C与所述前一帧P保持动态变换，此时，所述当前帧C对应的第一图像与所述关键帧K对应的第三图像相比发生变动，且所述当前帧C对应的第一图像与所述前一帧P对应的第二图像相比未发生变动；
将所述当前帧C对应的第一图像与所述关键帧K对应的第三图像相比发生变动以及所述当前帧C对应的第一图像与所述前一帧P对应的第二图像相比未发生变动所持续的目标帧数进行记录；
基于记录结果，将所述目标帧数与预设阈值进行比较，判断所述感兴趣区域发生的物品变动是否为短暂变动；
当所述目标帧数等于或大于所述预设阈值时，则判定所述感兴趣区域发生的物品变动不为短暂变动，同时，在达到所述预设阈值所对应的帧数时，将所述关键帧K更新为所述当前帧C；
当所述目标帧数小于所述预设阈值时，则判定所述感兴趣区域发生的物品变动为短暂变动，此时，在达到所述目标帧数时，所述关键帧K对应的第三图像与所述当前帧C对应的第一图像相比未发生变动，且所述当前帧C对应的第一图像与所述前一帧P对应的第二图像相比发生变动，此时，将所述关键帧K更新为所述当前帧C。
优选的，一种基于视频智能分析的物品搬移、遗留检测方法，还包括：
根据所述目标帧数与所述预设阈值的比较结果，进行告警操作；
其中，当所述目标帧数小于所述预设阈值时，则所述感兴趣区域发生的物品变动为短暂变动，此时，不进行告警操作；
当所述目标帧数等于所述大于所述预设阈值时，则所述感兴趣区域发生的物品变动不为短暂变动，此时，进行告警操作，并当所述关键帧K更新为所述当前帧C时，结束告警操作。
优选的，一种基于视频智能分析的物品搬移、遗留检测方法，步骤1中，获取感兴趣区域的视频图像后，包括对所述视频图像进行处理，具体工作过程，包括：
获取所述视频图像，并将所述视频图像进行灰度化处理，确定所述视频图像的灰度视频图像；
提取所述灰度视频图像的灰度值，并基于所述灰度视频图像的灰度值计算所述灰度视频图像的灰度均值；
基于所述灰度视频图像的灰度值与所述灰度视频图像的灰度均值，计算所述灰度视频图像的灰度方差值；
根据所述视频图像的灰度方差值，确定所述视频图像的对比度；
提取所述视频图像的分辨率与像素值，并基于所述视频图像的分辨率与所述视频图像的像素值对所述视频图像的清晰度进行估计；
将所述视频图像的对比度与所述视频图像的清晰度输入至预设图像质量评估模型中进行图像质量评估，并确定评估分值；
将所述评估分值与预设评估阈值进行比较，判断所述视频图像质量是否合格；
当所述评估分值等于或大于所述预设评估阈值时，则判定所述视频图像质量合格；
否则，则判定所述视频图像质量不合格，同时，确定所述评估分值与所述预设评估阈值的差值，确定图像优化程度；
基于所述图像优化程度对所述视频图像进行图像质量优化。
优选的，一种基于视频智能分析的物品搬移、遗留检测方法，步骤1中，在所述视频图像中提取视频序列后，包括对所述视频序列进行处理，具体工作过程，包括：
获取所述视频序列所对应的视频数据，并将所述视频数据进行打包，生成视频数据包；
确定生成所述视频数据包的生成时间点以及所述视频数据包的包头标识，同时，将所述感兴趣区域作为所述视频图像的监控特征点；
基于所述视频数据包的包头标识与所述监控特征点生成数据传输码，并基于所述数据传输码确定数据传输请求；
将所述数据传输请求上传至数据接收端进行验证，并获取验证反馈；
读取所述验证反馈，并判断所述视频数据包是否可以上传至所述数据接收端；
其中，当所述验证反馈为0时，则判定视频数据包不可以上传至所述数据接收端中；
当所述验证反馈结果为1时，则判定所述视频数据包可以上传至所述数据接收端，并基于所述数据传输请求确定上传至所述数据接收端的数据链路；
基于所述数据链路，将所述视频数据包上传至所述数据接收端。
一种基于视频智能分析的物品搬移、遗留检测***，包括：
视频图像获取模块，用于获取感兴趣区域的视频图像，并在所述视频图像中提取视频序列；
视频序列提取模块，用于在所述视频序列中分别设置前一帧、当前帧与关键帧，并分别获取当前帧对应的第一图像、前一帧对应的第二图像以及关键帧对应的第三图像；
分析模块，用于将所述第一图像、第二图像以及所述第三图像根据预设算法进行分析计算，并基于计算结果确定所述感兴趣区域的物品变化情况。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种基于视频智能分析的物品搬移、遗留检测方法流程图；
图2为本发明实施例中一种基于视频智能分析的物品搬移、遗留检测方法中步骤3的流程图；
图3为本发明实施例中一种基于视频智能分析的物品搬移、遗留检测***结构图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例1：
一种基于视频智能分析的物品搬移、遗留检测方法，如图1所示，包括：
步骤1：获取感兴趣区域的视频图像，并在所述视频图像中提取视频序列；
步骤2：在所述视频序列中分别设置前一帧、当前帧与关键帧，并分别获取当前帧对应的第一图像、前一帧对应的第二图像以及关键帧对应的第三图像；
步骤3：将所述第一图像、第二图像以及所述第三图像根据预设算法进行分析计算，并基于计算结果确定所述感兴趣区域的物品变化情况。
该实施例中，视频序列可以是视频中的帧序列，根据时间顺序确定的。
该实施例中，在开始分析时当前帧、前一帧与关键帧相等。
该实施例中，感兴趣区域为监控过程中重点关心的区域。
该实施例中，感兴趣区域的物品变化情况包括：感兴趣区域的物品没有发生变化，感兴趣区域的物品发生短暂变化，感兴趣区域的物品发生长时间变化。
上述技术方案的有益效果是：通过设置前一帧、当前帧对应图像进行分析，可以精准确定前后帧画面中待检测物品或区域有无发生变动，通过设置关键帧，可以有效避免前后帧图像对比过于灵敏的问题，进而提高了监控的准确性。
实施例2：
在实施例1的基础上，本实施例提供了一种基于视频智能分析的物品搬移、遗留检测方法，步骤1中，在所述感兴趣区域中提取目标视频的视频序列后，还包括：
在所述视频序列中，设置前一帧P、当前帧C以及关键帧K，且在开始分析计算时设置所述前一帧P、当前帧C与所述关键帧K相等；
对当前帧C所对应的第一图像分析后，将前一帧P更新为当前帧C，作为下一帧C的前一帧；
其中，所述前一帧P跟着所述当前帧C进行动态变化，所述关键帧K基于前一帧P与所述当前帧C中所监测的感兴趣区域中是否有变动而确定是否更新。
该实施例中，算法运行开始后，设置K、P、C相等。与此同时，每个C帧分析过后，均将P更新为C。
上述技术方案的有益效果是：通过对当前帧C、关键帧K以及前一帧P进行设置，有利于客观的对监控的视频图像进行分析，从而提高物品搬移、遗留检测的精准性。
实施例3：
在实施例1的基础上，本实施例提供了一种基于视频智能分析的物品搬移、遗留检测方法，如图2所示，步骤3中，确定所述感兴趣区域的物品变化情况后，还包括：
S101：将所述感兴趣区域的物品变换情况进行整理，确定所述感兴趣区域的物品变换逻辑；
S102：基于所述感兴趣区域的物品变换情况以及所述感兴趣区域的物品变换逻辑生成监控报告；
S103：将所述监控报告上传至智能显示终端进行显示。
该实施例中，感兴趣区域的物品变换逻辑可以是物品在感兴趣区域中从一个位置搬移到另一个位置，也可以是物品从感兴趣区域中搬离等。
该实施例中，监控报告可以是基于感兴趣区域的物品变换情况以及物品变换逻辑生成的用来确认感兴趣区域的基本内容的。
上述技术方案的有益效果是：通过确定监控报告可以使得使用者对感兴趣区域的监控有了精准的掌控，使得对视频图像的分析更加直白明了的进行显示。
实施例4：
在实施例2的基础上，本实施例提供了一种基于视频智能分析的物品搬移、遗留检测方法，所述关键帧K是基于前一帧P与所述当前帧C中所监测的感兴趣区域中是否有变动而变化的具体过程，包括：
将所述当前帧C对应的第一图像与所述关键帧K对应的第三图像进行第一比较，生成第一比较结果；
同时，将所述当前帧C对应的第一图像与所述前一帧P对应的第二图像进行第二比较，生成第二比较结果；
基于所述第一比较结果与所述第二比较结果，确定所述感兴趣区域的物品变化情况以及所述关键帧K的更新情况。
上述技术方案的有益效果是：通过确定关键帧K的更新情况，从而有利于确定感兴趣区域的变化情况的监控是否准确，进而提高了对感兴趣区域监控的合理性。
实施例5：
在实施例4的基础上，本实施例提供了一种基于视频智能分析的物品搬移、遗留检测方法，确定所述感兴趣区域的物品变化情况以及所述关键帧K的更新情况的具体工作过程，包括：
对所述第一比较结果与所述第二比较结果进行分析，获取分析结果，所述分析结果包括：
当所述当前帧C对应的第一图像与所述关键帧K对应的第三图像相比未发生变动，且所述当前帧C所对应的第一图像与所述前一帧P相比未发生变动时，则判定所述感兴趣区域的物品没有发生变动，同时，将所述关键帧K更新为当前帧C；
当所述当前帧C对应的第一图像与所述关键帧K对应的第三图像相比发生变动时，且所述当前帧C对应的第一图像与所述前一帧P对应的图像相比发生变动时，则判定所述感兴趣区域的物品发生变动，同时，所述关键帧K不更新；
当所述感兴趣区域的物品发生变动时：
将所述关键帧K对应的第三图像进行锁定，同时，所述当前帧C与所述前一帧P保持动态变换，此时，所述当前帧C对应的第一图像与所述关键帧K对应的第三图像相比发生变动，且所述当前帧C对应的第一图像与所述前一帧P对应的第二图像相比未发生变动；
将所述当前帧C对应的第一图像与所述关键帧K对应的第三图像相比发生变动以及所述当前帧C对应的第一图像与所述前一帧P对应的第二图像相比未发生变动所持续的目标帧数进行记录；
基于记录结果，将所述目标帧数与预设阈值进行比较，判断所述感兴趣区域发生的物品变动是否为短暂变动；
当所述目标帧数等于或大于所述预设阈值时，则判定所述感兴趣区域发生的物品变动不为短暂变动，同时，在达到所述预设阈值所对应的帧数时，将所述关键帧K更新为所述当前帧C；
当所述目标帧数小于所述预设阈值时，则判定所述感兴趣区域发生的物品变动为短暂变动，此时，在达到所述目标帧数时，所述关键帧K对应的第三图像与所述当前帧C对应的第一图像相比未发生变动，且所述当前帧C对应的第一图像与所述前一帧P对应的第二图像相比发生变动，此时，将所述关键帧K更新为所述当前帧C。
该实施例中，设预设阈值为L，设置单次分析的帧数为3帧，分别为关键帧K帧，前一帧P帧，当前帧C帧。三者变化关系如下：
(1)C与K相比未发生变动，C与P相比未发生变动。说明当前场景无变动。K更新为C。
(2)C与K相比未发生变动，C与P相比发生变动。K更新为C。
(3)C与K相比发生变动，C与P相比未发生变动。K不更新。
(4)C与K相比发生变动，C与P相比发生变动。K不更新。
该实施例中，1.当待检测物品或区域确实发生变动时。在确实发生变动的那一帧，将触发条件(4)，此时K不更新，在后续的帧分析过程中，连续触发(3)，当触发(3)次数大于L时，则发生长时间遮挡。2.当待检测物品或区域被短暂遮挡时。首先触发(4)，之后连续触发(3)，由于设置的阈值L已考虑短暂遮挡的情形，在触发(3)次数未大于L之前，遮挡解除，此时触发条件(2)，K更新为C，之后触发条件(1)。***恢复到短暂遮挡发生前的状态。
该实施例中，预设阈值可以是提前设定好的，可以是100帧、1000帧等。
上述技术方案的有益效果是：通过当前帧C对应的第一图像与关键帧K对应的第三图像进行比较，同时，通过当前帧C对应的第一图像与前一帧P对应的第二图像进行比较，有利于精准分析得出感兴趣区域的物品的变动情况，进而提高了对感兴趣区域监控分析的准确性，同时也解决了通过前后帧对比分析过程中算法过于灵敏的问题。
实施例6：
在实施例5的基础上，本实施例提供了一种基于视频智能分析的物品搬移、遗留方法，还包括：
根据所述目标帧数与所述预设阈值的比较结果，进行告警操作；
其中，当所述目标帧数小于所述预设阈值时，则所述感兴趣区域发生的物品变动为短暂变动，此时，不进行告警操作；
当所述目标帧数等于所述大于所述预设阈值时，则所述感兴趣区域发生的物品变动不为短暂变动，此时，进行告警操作，并当所述关键帧K更新为所述当前帧C时，结束告警操作。
该实施例中，告警操作可以是上报到负责业务记录的管理中心，也可以是振动、灯光、声音中的一种或多种。
上述技术方案的有益效果是：当感兴趣区域发生的物品变动为短暂变动时，则不进行告警，当感兴趣区域发生的物品变动不为短暂变动时，则在监控过程中属于可疑行为，进而进行告警，从而提高感兴趣区域的安全性。
实施例7：
在实施例1的基础上，本实施例提供了一种基于视频智能分析的物品搬移、遗留方法，步骤1中，获取感兴趣区域的视频图像后，包括对所述视频图像进行处理，具体工作过程，包括：
获取所述视频图像，并将所述视频图像进行灰度化处理，确定所述视频图像的灰度视频图像；
提取所述灰度视频图像的灰度值，并基于所述灰度视频图像的灰度值计算所述灰度视频图像的灰度均值；
基于所述灰度视频图像的灰度值与所述灰度视频图像的灰度均值，计算所述灰度视频图像的灰度方差值；
根据所述视频图像的灰度方差值，确定所述视频图像的对比度；
提取所述视频图像的分辨率与像素值，并基于所述视频图像的分辨率与所述视频图像的像素值对所述视频图像的清晰度进行估计；
将所述视频图像的对比度与所述视频图像的清晰度输入至预设图像质量评估模型中进行图像质量评估，并确定评估分值；
将所述评估分值与预设评估阈值进行比较，判断所述视频图像质量是否合格；
当所述评估分值等于或大于所述预设评估阈值时，则判定所述视频图像质量合格；
否则，则判定所述视频图像质量不合格，同时，确定所述评估分值与所述预设评估阈值的差值，确定图像优化程度；
基于所述图像优化程度对所述视频图像进行图像质量优化。
该实施例中，灰度视频图像可以是将视频图像进行灰度化处理后确定的灰度视频图像。
该实施例中，评估分值可以是对视频图像质量进行评估的分值。
该实施例中，视频图像质量可以是图像的清晰度、对比度决定的视频图像质量，视频图像质量越高，则视频图像越清晰且对比度适中。
该实施例中，预设评估阈值可以是提前设定的，用来衡量视频图像质量是否合格的标准。
该实施例中，优化程度可以是基于评估分值与预设评估阈值之间的差值确定的。
上述技术方案的有益效果是：通过准确确定视频图像的对比度以及视频图像的清晰度，进而对视频图像进行图像质量评估，通过确定评估分值与预设评估阈值的比较结果进而准确实现对视频图像质量的确定，当视频图像质量不合格时，对视频图像进行图像质量优化，利于实现对视频图像的精准分析。
实施例8：
在实施例1的基础上，本实施例提供了一种基于视频智能分析的物品搬移、遗留检测方法，步骤1中，在所述视频图像中提取视频序列后，包括对所述视频序列进行处理，具体工作过程，包括：
获取所述视频序列所对应的视频数据，并将所述视频数据进行打包，生成视频数据包；
确定生成所述视频数据包的生成时间点以及所述视频数据包的包头标识，同时，将所述感兴趣区域作为所述视频图像的监控特征点；
基于所述视频数据包的包头标识与所述监控特征点生成数据传输码，并基于所述数据传输码确定数据传输请求；
将所述数据传输请求上传至数据接收端进行验证，并获取验证反馈；
读取所述验证反馈，并判断所述视频数据包是否可以上传至所述数据接收端；
其中，当所述验证反馈为0时，则判定视频数据包不可以上传至所述数据接收端中；
当所述验证反馈结果为1时，则判定所述视频数据包可以上传至所述数据接收端，并基于所述数据传输请求确定上传至所述数据接收端的数据链路；
基于所述数据链路，将所述视频数据包上传至所述数据接收端。
该实施例中，监控特征点可以是基于视频数据包的生成时间确认的，用来确定数据传输码。
该实施例中，数据传输码可以是用来生成数据传输请求的请求内容，其中数据传输码中包含视频数据包的包头标识以及视频数据包的监控特征点。
该实施例中，验证反馈可以是将数据传输请求传输至数据接收端进行验证后，生成的反馈结果，其中，验证反馈包括0或1。
该实施例中，将数据传输请求上传至数据接收端进行验证，例如可以是数据接收端中包含请求检测库，其中，请求检测库中包含多个基准请求，且基准请求为与数据接收端相容的请求，将数据传输请求与请求检测库中的基准请求进行匹配，当匹配成功时，则验证反馈为1，当匹配不成功时，则验证反馈为0。
上述技术方案的有益效果是：通过对数据传输请求进行验证，可以确保视频数据的合法性。
实施例9：
一种基于视频智能分析的物品搬移、遗留检测***，如图3所示，包括：
视频图像获取模块，用于获取感兴趣区域的视频图像，并在所述视频图像中提取视频序列；
视频序列提取模块，用于在所述视频序列中分别设置前一帧、当前帧与关键帧，并分别获取当前帧对应的第一图像、前一帧对应的第二图像以及关键帧对应的第三图像；
分析模块，用于将所述第一图像、第二图像以及所述第三图像根据预设算法进行分析计算，并基于计算结果确定所述感兴趣区域的物品变化情况。
上述技术方案的有益效果是：通过设置前一帧、当前帧对应图像进行分析，可以精准确定前后帧画面中待检测物品或区域有无发生变动，通过设置关键帧，可以有效避免前后帧图像对比过于灵敏的问题，进而提高了监控的准确性。
实施例10：
在实施例5的基础上，还包括：
判断当前帧C与前一帧P是否发生变动，包括：
获取所述当前帧C对应的图像A，同时，获取所述前一帧P对应的图像B；
将所述图像A灰度化，得到对应灰度图像A1，同时，将所述图像B灰度化，得到对应灰度图像B1；
根据如下公式，以像素点为单位，计算灰度图像A1各像素及灰度图像B2相应位置像素的灰度差值：
cdiff(x,y)＝|a1(x,y)-b1(x,y)|
其中，a1(x,y)表示灰度图像A1在坐标(x,y)处的灰度值；b1(x,y)表示灰度图像B1在坐标(x,y)处的灰度值；cdiff(x,y)表示在坐标(x,y)处的灰度差值；
基于所述灰度差值cdiff(x,y)确定灰度差图像Cdiff；
对所述灰度差图像Cdiff进行图像二值化处理、腐蚀、膨胀、连通域分析，得到连通区域集合S；
计算连通区域集合S中各连通区域的面积，若面积大于预设连通区域面积阈值，目标连通区域计数加1，其中，所述预设连通区域面积阈值为预设的经验取值，或根据现场情况调整；
若所述目标连通区域计数大于0，则判定所述图像A和所述图像B对比结果为发生变动；
否则，判定所述图像A和所述图像B对比结果为未发生变动。
该实施例中，判断当前帧C与关键帧K是否发生变动的过程相同，这里不再赘述。
上述技术方案的有益效果是；通过利用灰度差值计算分析的方法，将判断图像是否发生变化的方法进行了量化；通过二值化、腐蚀、膨胀、连通域分析等操作，减少了图像噪声的影响，提高了监控的准确率。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种基于视频智能分析的物品搬移、遗留检测方法，其特征在于，包括：
步骤1：获取感兴趣区域的视频图像，并在所述视频图像中提取视频序列；
步骤2：在所述视频序列中分别设置前一帧、当前帧与关键帧，并分别获取当前帧对应的第一图像、前一帧对应的第二图像以及关键帧对应的第三图像；
步骤3：将所述第一图像、第二图像以及所述第三图像根据预设算法进行分析计算，并基于计算结果确定所述感兴趣区域的物品变化情况。
2.根据权利要求1所述的一种基于视频智能分析的物品搬移、遗留检测方法，其特征在于，步骤1中，在所述感兴趣区域中提取目标视频的视频序列后，还包括：
在所述视频序列中，设置前一帧P、当前帧C以及关键帧K，且在开始分析计算时设置所述前一帧P、当前帧C与所述关键帧K相等；
对当前帧C所对应的第一图像分析后，将前一帧P更新为当前帧C，作为下一帧C的前一帧；
其中，所述前一帧P跟着所述当前帧C进行动态变化，所述关键帧K基于前一帧P与所述当前帧C中所监测的感兴趣区域中是否有变动而确定是否更新。
3.根据权利要求1所述的一种基于视频智能分析的物品搬移、遗留检测方法，其特征在于，所述感兴趣区域为监控过程中重点关心的区域。
4.根据权利要求1所述的一种基于视频智能分析的物品搬移、遗留检测方法，其特征在于，步骤3中，确定所述感兴趣区域的物品变化情况后，还包括：
将所述感兴趣区域的物品变换情况进行整理，确定所述感兴趣区域的物品变换逻辑；
基于所述感兴趣区域的物品变换情况以及所述感兴趣区域的物品变换逻辑生成监控报告；
将所述监控报告上传至智能显示终端进行显示。
5.根据权利要求2所述的一种基于视频智能分析的物品搬移、遗留检测方法，其特征在于，所述关键帧K是基于前一帧P与所述当前帧C中所监测的感兴趣区域中是否有变动而变化的具体过程，包括：
将所述当前帧C对应的第一图像与所述关键帧K对应的第三图像进行第一比较，生成第一比较结果；
同时，将所述当前帧C对应的第一图像与所述前一帧P对应的第二图像进行第二比较，生成第二比较结果；
基于所述第一比较结果与所述第二比较结果，确定所述感兴趣区域的物品变化情况以及所述关键帧K的更新情况。
6.根据权利要求5所述的一种基于视频智能分析的物品搬移、遗留检测方法，其特征在于，确定所述感兴趣区域的物品变化情况以及所述关键帧K的更新情况的具体工作过程，包括：
对所述第一比较结果与所述第二比较结果进行分析，获取分析结果，所述分析结果包括：
当所述当前帧C对应的第一图像与所述关键帧K对应的第三图像相比未发生变动，且所述当前帧C所对应的第一图像与所述前一帧P相比未发生变动时，则判定所述感兴趣区域的物品没有发生变动，同时，将所述关键帧K更新为当前帧C；
当所述当前帧C对应的第一图像与所述关键帧K对应的第三图像相比发生变动时，且所述当前帧C对应的第一图像与所述前一帧P对应的图像相比发生变动时，则判定所述感兴趣区域的物品发生变动，同时，所述关键帧K不更新；
当所述感兴趣区域的物品发生变动时：
将所述关键帧K对应的第三图像进行锁定，同时，所述当前帧C与所述前一帧P保持动态变换，此时，所述当前帧C对应的第一图像与所述关键帧K对应的第三图像相比发生变动，且所述当前帧C对应的第一图像与所述前一帧P对应的第二图像相比未发生变动；
将所述当前帧C对应的第一图像与所述关键帧K对应的第三图像相比发生变动以及所述当前帧C对应的第一图像与所述前一帧P对应的第二图像相比未发生变动所持续的目标帧数进行记录；
基于记录结果，将所述目标帧数与预设阈值进行比较，判断所述感兴趣区域发生的物品变动是否为短暂变动；
当所述目标帧数等于或大于所述预设阈值时，则判定所述感兴趣区域发生的物品变动不为短暂变动，同时，在达到所述预设阈值所对应的帧数时，将所述关键帧K更新为所述当前帧C；
当所述目标帧数小于所述预设阈值时，则判定所述感兴趣区域发生的物品变动为短暂变动，此时，在达到所述目标帧数时，所述关键帧K对应的第三图像与所述当前帧C对应的第一图像相比未发生变动，且所述当前帧C对应的第一图像与所述前一帧P对应的第二图像相比发生变动，此时，将所述关键帧K更新为所述当前帧C。
7.根据权利要求6所述的一种基于视频智能分析的物品搬移、遗留方法，其特征在于，还包括：
根据所述目标帧数与所述预设阈值的比较结果，进行告警操作；
其中，当所述目标帧数小于所述预设阈值时，则所述感兴趣区域发生的物品变动为短暂变动，此时，不进行告警操作；
当所述目标帧数等于或大于所述预设阈值时，则所述感兴趣区域发生的物品变动不为短暂变动，此时，进行告警操作，并当所述关键帧K更新为所述当前帧C时，结束告警操作。
8.根据权利要求1所述的一种基于视频智能分析的物品搬移、遗留方法，其特征在于，步骤1中，获取感兴趣区域的视频图像后，包括对所述视频图像进行处理，具体工作过程，包括：
获取所述视频图像，并将所述视频图像进行灰度化处理，确定所述视频图像的灰度视频图像；
提取所述灰度视频图像的灰度值，并基于所述灰度视频图像的灰度值计算所述灰度视频图像的灰度均值；
基于所述灰度视频图像的灰度值与所述灰度视频图像的灰度均值，计算所述灰度视频图像的灰度方差值；
根据所述视频图像的灰度方差值，确定所述视频图像的对比度；
提取所述视频图像的分辨率与像素值，并基于所述视频图像的分辨率与所述视频图像的像素值对所述视频图像的清晰度进行估计；
将所述视频图像的对比度与所述视频图像的清晰度输入至预设图像质量评估模型中进行图像质量评估，并确定评估分值；
将所述评估分值与预设评估阈值进行比较，判断所述视频图像质量是否合格；
当所述评估分值等于或大于所述预设评估阈值时，则判定所述视频图像质量合格；
否则，则判定所述视频图像质量不合格，同时，确定所述评估分值与所述预设评估阈值的差值，确定图像优化程度；
基于所述图像优化程度对所述视频图像进行图像质量优化。
9.根据权利要求1所述的一种基于视频智能分析的物品搬移、遗留检测方法，其特征在于，步骤1中，在所述视频图像中提取视频序列后，包括对所述视频序列进行处理，具体工作过程，包括：
获取所述视频序列所对应的视频数据，并将所述视频数据进行打包，生成视频数据包；
确定生成所述视频数据包的生成时间点以及所述视频数据包的包头标识，同时，将所述感兴趣区域作为所述视频图像的监控特征点；
基于所述视频数据包的包头标识与所述监控特征点生成数据传输码，并基于所述数据传输码确定数据传输请求；
将所述数据传输请求上传至数据接收端进行验证，并获取验证反馈；
读取所述验证反馈，并判断所述视频数据包是否可以上传至所述数据接收端；
其中，当所述验证反馈为0时，则判定视频数据包不可以上传至所述数据接收端中；
当所述验证反馈结果为1时，则判定所述视频数据包可以上传至所述数据接收端，并基于所述数据传输请求确定上传至所述数据接收端的数据链路；
基于所述数据链路，将所述视频数据包上传至所述数据接收端。
10.一种基于视频智能分析的物品搬移、遗留检测***，其特征在于，包括：
视频图像获取模块，用于获取感兴趣区域的视频图像，并在所述视频图像中提取视频序列；
视频序列提取模块，用于在所述视频序列中分别设置前一帧、当前帧与关键帧，并分别获取当前帧对应的第一图像、前一帧对应的第二图像以及关键帧对应的第三图像；
分析模块，用于将所述第一图像、第二图像以及所述第三图像根据预设算法进行分析计算，并基于计算结果确定所述感兴趣区域的物品变化情况。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210472488.2A CN114973065B (zh) | 2022-04-29 | 2022-04-29 | 一种基于视频智能分析的物品搬移、遗留检测方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210472488.2A CN114973065B (zh) | 2022-04-29 | 2022-04-29 | 一种基于视频智能分析的物品搬移、遗留检测方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114973065A true CN114973065A (zh) | 2022-08-30 |
| CN114973065B CN114973065B (zh) | 2023-03-24 |
Family
ID=82980472
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210472488.2A Active CN114973065B (zh) | 2022-04-29 | 2022-04-29 | 一种基于视频智能分析的物品搬移、遗留检测方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114973065B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115409982A (zh) * | 2022-09-19 | 2022-11-29 | 北京优创新港科技股份有限公司 | 一种螺旋输送装置物料状态检测方法及装置 |
| CN117152751A (zh) * | 2023-10-30 | 2023-12-01 | 西南石油大学 | 一种图像分割方法及*** |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080181457A1 (en) * | 2007-01-31 | 2008-07-31 | Siemens Aktiengesellschaft | Video based monitoring system and method |
| CN104811586A (zh) * | 2015-04-24 | 2015-07-29 | 福建星网锐捷安防科技有限公司 | 场景变换视频智能分析方法、装置、网络摄像机及监控*** |
| CN108241837A (zh) * | 2016-12-23 | 2018-07-03 | 亿阳信通股份有限公司 | 一种遗留物检测方法和装置 |
| CN109409238A (zh) * | 2018-09-28 | 2019-03-01 | 深圳市中电数通智慧安全科技股份有限公司 | 一种障碍物检测方法、装置及终端设备 |
| CN111046365A (zh) * | 2019-12-16 | 2020-04-21 | 腾讯科技（深圳）有限公司 | 人脸图像传输方法、数值转移方法、装置及电子设备 |
| CN111369529A (zh) * | 2020-03-04 | 2020-07-03 | 厦门脉视数字技术有限公司 | 一种物品丢失、遗留检测方法及其*** |
| CN112699769A (zh) * | 2020-12-25 | 2021-04-23 | 北京竞业达数码科技股份有限公司 | 一种安防监控中遗留物品的检测方法及*** |
| US20210256266A1 (en) * | 2019-03-18 | 2021-08-19 | Tencent Technology (Shenzhen) Company Limited | Target detection method, system, and apparatus, storage medium, and computer device |
| CN113393482A (zh) * | 2021-06-17 | 2021-09-14 | 中国工商银行股份有限公司 | 一种基于融合算法的遗留物品检测方法和装置 |
| CN113470013A (zh) * | 2021-07-28 | 2021-10-01 | 浙江大华技术股份有限公司 | 一种搬移物品的检测方法及装置 |
-
2022
- 2022-04-29 CN CN202210472488.2A patent/CN114973065B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080181457A1 (en) * | 2007-01-31 | 2008-07-31 | Siemens Aktiengesellschaft | Video based monitoring system and method |
| CN104811586A (zh) * | 2015-04-24 | 2015-07-29 | 福建星网锐捷安防科技有限公司 | 场景变换视频智能分析方法、装置、网络摄像机及监控*** |
| CN108241837A (zh) * | 2016-12-23 | 2018-07-03 | 亿阳信通股份有限公司 | 一种遗留物检测方法和装置 |
| CN109409238A (zh) * | 2018-09-28 | 2019-03-01 | 深圳市中电数通智慧安全科技股份有限公司 | 一种障碍物检测方法、装置及终端设备 |
| US20210256266A1 (en) * | 2019-03-18 | 2021-08-19 | Tencent Technology (Shenzhen) Company Limited | Target detection method, system, and apparatus, storage medium, and computer device |
| CN111046365A (zh) * | 2019-12-16 | 2020-04-21 | 腾讯科技（深圳）有限公司 | 人脸图像传输方法、数值转移方法、装置及电子设备 |
| CN111369529A (zh) * | 2020-03-04 | 2020-07-03 | 厦门脉视数字技术有限公司 | 一种物品丢失、遗留检测方法及其*** |
| CN112699769A (zh) * | 2020-12-25 | 2021-04-23 | 北京竞业达数码科技股份有限公司 | 一种安防监控中遗留物品的检测方法及*** |
| CN113393482A (zh) * | 2021-06-17 | 2021-09-14 | 中国工商银行股份有限公司 | 一种基于融合算法的遗留物品检测方法和装置 |
| CN113470013A (zh) * | 2021-07-28 | 2021-10-01 | 浙江大华技术股份有限公司 | 一种搬移物品的检测方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 张具琴等: "智能视频监控中的遗留物检测技术", 《计算机与现代化》 * |
| 张等: "基于背景差分法的公共场所物品遗留状况检测", 《信息与电脑(理论版)》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115409982A (zh) * | 2022-09-19 | 2022-11-29 | 北京优创新港科技股份有限公司 | 一种螺旋输送装置物料状态检测方法及装置 |
| CN117152751A (zh) * | 2023-10-30 | 2023-12-01 | 西南石油大学 | 一种图像分割方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114973065B (zh) | 2023-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114973065B (zh) | 一种基于视频智能分析的物品搬移、遗留检测方法及*** | |
| US8243987B2 (en) | Object tracking using color histogram and object size | |
| CN104851112B (zh) | 一种基于数据集补偿的运动目标检测跟踪算法的评估方法 | |
| CN110415295B (zh) | 图像数据处理方法和图像数据处理设备 | |
| CN110633675A (zh) | 一种基于卷积神经网络的视频中火灾识别***及方法 | |
| CN108304816B (zh) | 身份识别方法、装置、存储介质及电子设备 | |
| CN108898104A (zh) | 一种物品识别方法、装置、***及计算机存储介质 | |
| CN113743530B (zh) | 一种基于动态视觉的自动售货识别方法 | |
| CN112528716B (zh) | 一种事件信息获取方法及装置 | |
| CN111291707A (zh) | 异常行为的识别方法、装置、存储介质及服务器 | |
| CN101316371A (zh) | 火焰侦测方法及装置 | |
| CN110119675B (zh) | 一种产品识别方法和装置 | |
| CN111753587B (zh) | 一种倒地检测方法及装置 | |
| KR20220004606A (ko) | 신호등 식별 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램 | |
| CN108052949B (zh) | 物品类别统计方法、***、计算机设备和可读存储介质 | |
| US11527091B2 (en) | Analyzing apparatus, control method, and program | |
| CN112749647A (zh) | 基于监控视频的智能收银巡检方法及*** | |
| US20140147011A1 (en) | Object removal detection using 3-d depth information | |
| JP3148187B2 (ja) | パーティクルモニタシステム及びパーティクル検出方法並びにパーティクル検出プログラムを格納した記録媒体 | |
| CN111784750A (zh) | 视频图像中移动物体追踪方法、装置、设备以及存储介质 | |
| CN108537828B (zh) | 一种店铺数据分析方法及*** | |
| US10891491B2 (en) | In-store monitoring device, in-store monitoring method, and recording medium | |
| CN111860261A (zh) | 一种客流值的统计方法、装置、设备及介质 | |
| CN111985423A (zh) | 活体检测方法、装置、设备及可读存储介质 | |
| CN111798237A (zh) | 基于应用日志的异常交易诊断方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |