CN114745528B - 一种高位全景视频安全监控方法 - Google Patents

一种高位全景视频安全监控方法 Download PDF

Info

Publication number
CN114745528B
CN114745528B CN202210658770.XA CN202210658770A CN114745528B CN 114745528 B CN114745528 B CN 114745528B CN 202210658770 A CN202210658770 A CN 202210658770A CN 114745528 B CN114745528 B CN 114745528B
Authority
CN
China
Prior art keywords
projection
panoramic video
panoramic
window
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210658770.XA
Other languages
English (en)
Other versions
CN114745528A (zh
Inventor
刘寒松
王国强
王永
刘瑞
翟贵乾
李贤超
谭连胜
焦安健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sonli Holdings Group Co Ltd
Original Assignee
Sonli Holdings Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sonli Holdings Group Co Ltd filed Critical Sonli Holdings Group Co Ltd
Priority to CN202210658770.XA priority Critical patent/CN114745528B/zh
Publication of CN114745528A publication Critical patent/CN114745528A/zh
Application granted granted Critical
Publication of CN114745528B publication Critical patent/CN114745528B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本发明属于高位安全监控技术领域，涉及一种高位全景视频安全监控方法，先生成全景视频监控物***置粗定位，并基于粗定位进行局部投影以及局部投影基础上的物体检测，同时，基于类别激活映射和CRF精细化物体定位信息，在此基础上，引入分类精确度和帧间一致性进一步精细化投影窗口，并将精细化的窗口作为伪GT，迭代训练实现精细化物体定位，并结合显著性区域检测生成全景视频窗口推荐，能在将重要内容保存下来的同时，实时监控重要内容，极大节省了安保所需要的人力财力物力消耗，便于城市街道管理。

Description

一种高位全景视频安全监控方法
技术领域
本发明属于高位安全监控技术领域，尤其涉及一种高位全景视频安全监控方法。
背景技术
随着社会的快速发展和进步，智慧城市概念逐渐被提出，各种相关应用逐渐大量部署到现实生活，从而提升城市生活质量，智慧城市的付诸实践，一个重要的原因是大规模监控设备的投放，从而实现全方位的监控，街道安全是智慧城市的重要组成部分，因此，街道安全问题变得越来越重要。
传统的城市街道主要监控城市主干道，而车辆作为城市道路的首要组成部分，主要监控目的为规范车辆行驶，以及车辆是否违章，而智慧城市并不仅仅需要保证车辆的安全驾驶，而是以人为主，服务于人，现有城市道路监控设备的主要监控方向为城市道路，对于道路之外的区域往往监控不到，尤其是全景的监控视频非常少，这是由于全景监控检测范围广，占用资源多，且价格昂贵，为节省机器资源，往往清晰度不够，导致目前的全景监视频监控非常少。
全景监控视频能覆盖更多的范围，且无死角，相对于二维视平面视频其内容更加丰富，作为城市安全预警能提供更完备的建议，尤其是元宇宙相关的应用逐渐落地，全景监控内容相关的应用将会迎来大范围的应用，伴随着深度学习技术的快速发展，基于深度学习的方法在各行各业得到快速发展，基于深度学习的推荐算法也不断被提出，取得了非常大的性能提升，然而，针对高位全景视频监控并提升监控安全预测的相关算法及方法没有得到重视。
发明内容
本发明的目的在于克服现有技术存在的缺点，设计提供一种高位全景视频安全监控方法，解决传统城市安全监控方式无法做到全方位无死角的监控，且对于高位监控来说物体过于小而导致的漏检问题，以及对于高位全景安全监控相关研究少的问题，通过该方法实现对城市高位全景视频监控的目的。
为实现上述目的，本发明实现高位全景视频安全监控的具体过程包括如下步骤：
（1）将采集的全景摄像头视频段作为城市高位全景视频监控数据集；
（2）对城市高位全景视频监控数据集中的视频进行投影定位得到定位结果；
（3）对步骤（2）得到的定位结果基于帧间一致性的轨迹平滑进一步精细化投影窗口，将帧间相同物体连接起来并采用坐标平滑的方式形成平滑的运动轨迹，并给每个物体编号；
（4）将步骤（3）进一步精细化的窗口作为伪标注，基于弱监督迭代算法进行迭代训练实现精细化物体定位得到高质量的全景视频窗口；
（5）将高质量全景视频窗口的视频每帧上运动轨迹点进行局部投影，生成单个物体的二维投影面；
（6）根据步骤（4）得到的二维投影面，采用显著性预测模型预测每个物体的显著性，形成全景视频监控内容推荐；
（7）对推荐的全景视频监控内容进行动态调节和人工干预，实现高位全景视频安全监控。
进一步的，步骤（2）投影定位的具体过程为：
（21）采用全景投影（ERP投影）的方式将全景视频转化为平面图像；
（22）将全景投影结果输入到yolov5物体检测算法，得到物体检测结果作为物***置的粗定位；
（23）以粗定位结果中心点坐标为投影坐标进行二次局部投影（LP），得到不失真的矩形区域后利用yolov5物体检测算法，检测到更多的未发现的物体以及小物体得到二次粗定位检测结果；
（24）基于二次粗定位检测结果，通过CAM类别激活映射机制，并配合CRF得到物体区域分割，将定位结果精细化，同时采用置信度的方式将大部分低于阈值的错误分类删除掉得到定位结果。
进一步的，步骤（6）中显著性预测模型为本领域通用模型。
进一步的，步骤（7）进行动态调节和人工干预过程为：推荐的全景视频窗口在大多数情况下是工作人员想要关注的内容，但是，仍然存在部分窗口可能并不是工作人员真正想关注的内容，此时工作人员需要自己控制窗口视角，将鼠标移动到物体上，并点击该关注的物体，则以此鼠标标记点为中心，形成针对中心为投影中心的投影窗口，并基于此窗口提供后续监控。
与现有技术相比，本发明采用基于多阶段的区域推荐算法生成全景视频的区域推荐，从而实现城市全方位无死角的视频监控，能够节省全景监控的视频压缩，节省机器资源消耗，采用高位全景监控代替传统监控需要大量安装费时费力费钱的问题，在将重要内容保存下来的同时，实时监控重要内容，极大节省了安保所需要的人力财力物力消耗，便于城市街道管理，还可以应用于需要监控的其他场合，为智慧城市提供方便。
附图说明
图1为本发明所述高位全景视频安全监控的工作流程框架示意图。
具体实施方式
下面通过实施例并结合附图进一步描述本发明，但不以任何方式限制本发明的范围。
实施例：
本实施例先基于物体检测算法，生成全景视频监控物***置粗定位，并基于粗定位进行局部投影以及局部投影基础上的物体检测，同时，基于类别激活映射和CRF精细化物体定位信息，在此基础上，引入分类精确度和帧间一致性进一步精细化投影窗口，并将精细化的窗口作为伪GT，迭代训练实现精细化物体定位，并结合显著性区域检测生成全景视频窗口推荐，具体包括如下步骤：
S1、构建城市高位全景视频监控数据集：
利用采集的高位全景摄像头视频段（V）构建基于多阶段显著性区域推荐的高位全景视频安全监控视频数据集；
S2、高位全景视频监控投影：
由于高位物体往往是非常小的物体，且存在扭曲形变失真，如果直接定位物体，将会存在非常大的误差，先将全景视频提取为帧（Ii，Ii∈V，i=1…n，n表示一段视频总共n帧），采用全景投影（ERP投影）的方式将全景视频转化为平面图像处理，得到全景投影结果：
PERP = EquirectangularProjection(I)；
S3、基于全景投影（ERP）的物体检测：
基于视频全景投影ERP的帧，将全景投影输入到yolov5物体检测算法，得到全景投影物体检测结果M1 = YoloV5(PERP)，该检测结果为基于ERP全局内容的检测结果，因此其检测仅仅作为物***置的粗定位，虽然这种定位方式能够检测到大多数的物体，但是，由于视频为高位全景视频，且图片分辨率大，小物体可能因为误检而被忽略掉，因此采用基于已有粗定位结果（M1）周围搜寻的方式，即以粗定位结果中心点坐标为投影坐标进行二次局部投影得到二次局部投影结果LP：
LP = LocalProjection(M1)
通过二次局部投影能够得到不失真的矩形区域；
S4、基于二次局部投影的二次局部定位：
基于不失真的矩形区域，利用yolov5物体检测算法，可以检测到更多的未发现的物体以及小物体，得到二次粗定位检测结果M2：
M2 = YoloV5(LP)，
通过二次粗定位检测结果可以得到类别，再通过CAM类别激活映射机制，配合CRF 得到物体区域分割，能够将定位结果精细化，同时为纠正因为分类错误导致的定位结果错 误，采用置信度的方式将大部分低于阈值的错误分类删除掉，得到精细化定位结果
Figure 329113DEST_PATH_IMAGE001
：
Figure 980674DEST_PATH_IMAGE002
，
S5、基于帧间一致性的轨迹平滑：
由于定位结果中掺杂高置信率的错误分类，仅仅通过置信度的方式无法将错误分类过滤掉，而全景监控视频帧间具有非常强的一致性，即摄像头不会发生跳变和剧烈抖动，即前后视频帧间相应区域的类别不会产生巨大变化，基于上述现象，将帧间相同物体连接起来并采用坐标平滑的方式形成平滑的运动轨迹，并给每个物体编号：
Figure 353887DEST_PATH_IMAGE003
Locus代表点的初始轨迹，
Figure 217938DEST_PATH_IMAGE004
代表轨迹求均值平滑，Box
Figure 766731DEST_PATH_IMAGE005
为求物 体***边界框，
Figure 448248DEST_PATH_IMAGE006
分别为框的左上角坐标和***框的长和宽，
Figure 449702DEST_PATH_IMAGE007
代表求***边界 框的中心点；
S6、基于弱监督迭代算法的全景视频物体检测：
将步骤（5）得到的结果作为伪标注提升yolov5物体检测算法在全景视频上检测物体的性能，而Yolov5算法性能的提升又将会带来物体定位的性能，直到算法的性能达到最好，从而实现精细化物体定位得到高质量的全景视频窗口；
S7、基于轨迹点的全景监控投影：
形成不同物体的运动轨迹
Figure 383023DEST_PATH_IMAGE008
之后，需要通过平面的方式提供单窗口（单一物 体）或者多窗口（多个物体）的全景内容安全监控，因此，通过基于高质量的全景视频窗口中 视频每帧上轨迹点进行局部投影，从而生成物体的二维投影面；
S8、基于显著性区域推荐的全景监控内容推荐：
将全景内容转化为平面内容后，采用在显著性数据集训练好的显著性预测模型预测每个物体的显著性，通过这种方式能够形成全景视频内容推荐；
S9、动态调节监控内容和人工干预监控内容：
推荐的全景视频内容窗口在大多数情况下是工作人员想要关注的内容，但是，仍然存在部分窗口可能并不是工作人员真正想关注的内容，如工作人员可能想观看非显著的区域，如，城市建筑物，街道旁边的景色，此时需要工作人员自己控制窗口视角，将鼠标移动到物体上，并点击该关注的物体，以此鼠标标记点为中心形成针对中心为投影中心的投影窗口，并基于此窗口提供后续监控。
需要注意的是，本文中未详细说明的算法、过程均为本领域通用技术，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的，因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (2)

1.一种高位全景视频安全监控方法，其特征在于，具体过程包括如下步骤：
（1）将采集的全景摄像头视频段作为城市高位全景视频监控数据集；
（2）对城市高位全景视频监控数据集中的视频进行投影定位得到定位结果，具体为：
（21）采用全景投影的方式将全景视频转化为平面图像；
（22）将全景投影结果输入到yolov5物体检测算法，得到物体检测结果作为物***置的粗定位；
（23）以粗定位结果中心点坐标为投影坐标进行二次局部投影，得到不失真的矩形区域后利用yolov5物体检测算法，检测到更多的未发现的物体以及小物体得到二次粗定位检测结果；
（24）基于二次粗定位检测结果，通过CAM类别激活映射机制，并配合CRF得到物体区域分割，将定位结果精细化，同时采用置信度的方式将大部分低于阈值的错误分类删除掉得到定位结果；
（3）对步骤（2）得到的定位结果基于帧间一致性的轨迹平滑进一步精细化投影窗口，将帧间相同物体连接起来并采用坐标平滑的方式形成平滑的运动轨迹，并给每个物体编号；
（4）将步骤（3）进一步精细化的窗口作为伪标注，基于弱监督迭代算法进行迭代训练实现精细化物体定位得到高质量的全景视频窗口；
（5）将高质量全景视频窗口的视频每帧上运动轨迹点进行局部投影，生成单个物体的二维投影面；
（6）根据步骤（5）得到的二维投影面，采用显著性预测模型预测每个物体的显著性，形成全景视频监控内容推荐；
（7）对推荐的全景视频监控内容进行动态调节和人工干预，实现高位全景视频安全监控。
2.根据权利要求1所述高位全景视频安全监控方法，其特征在于，步骤（7）进行动态调节和人工干预过程为：推荐的全景视频窗口在大多数情况下是工作人员想关注的内容，但是，仍然存在部分窗口可能并不是工作人员真正想关注的内容，此时工作人员需要将窗口视角决定权力转变为自己控制，将鼠标移动到物体上，并点击该关注的物体，则以此鼠标标记点为中心，形成针对中心为投影中心的投影窗口，并基于此窗口提供后续监控。
CN202210658770.XA 2022-06-13 2022-06-13 一种高位全景视频安全监控方法 Active CN114745528B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210658770.XA CN114745528B (zh) 2022-06-13 2022-06-13 一种高位全景视频安全监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210658770.XA CN114745528B (zh) 2022-06-13 2022-06-13 一种高位全景视频安全监控方法

Publications (2)

Publication Number Publication Date
CN114745528A CN114745528A (zh) 2022-07-12
CN114745528B true CN114745528B (zh) 2022-08-23

Family

ID=82288051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210658770.XA Active CN114745528B (zh) 2022-06-13 2022-06-13 一种高位全景视频安全监控方法

Country Status (1)

Country Link
CN (1) CN114745528B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049935B (zh) * 2022-08-12 2022-11-11 松立控股集团股份有限公司 一种城市违章建筑分割检测方法
CN117319610B (zh) * 2023-11-28 2024-01-30 松立控股集团股份有限公司 基于高位全景相机区域增强的智慧城市道路监控方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103795976A (zh) * 2013-12-30 2014-05-14 北京正安融翰技术有限公司 一种全时空立体可视化方法
CN104301669A (zh) * 2014-09-12 2015-01-21 重庆大学 基于双摄像头协同的可疑目标检测跟踪与识别方法
CN105516654A (zh) * 2015-11-25 2016-04-20 华中师范大学 一种基于场景结构分析的城市监控视频融合方法
CN109509230A (zh) * 2018-11-13 2019-03-22 武汉大学 一种应用于多镜头组合式全景相机的slam方法
CN109670462A (zh) * 2018-12-24 2019-04-23 北京天睿空间科技股份有限公司 基于定位信息的航空器跨全景持续跟踪方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120300020A1 (en) * 2011-05-27 2012-11-29 Qualcomm Incorporated Real-time self-localization from panoramic images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103795976A (zh) * 2013-12-30 2014-05-14 北京正安融翰技术有限公司 一种全时空立体可视化方法
CN104301669A (zh) * 2014-09-12 2015-01-21 重庆大学 基于双摄像头协同的可疑目标检测跟踪与识别方法
CN105516654A (zh) * 2015-11-25 2016-04-20 华中师范大学 一种基于场景结构分析的城市监控视频融合方法
CN109509230A (zh) * 2018-11-13 2019-03-22 武汉大学 一种应用于多镜头组合式全景相机的slam方法
CN109670462A (zh) * 2018-12-24 2019-04-23 北京天睿空间科技股份有限公司 基于定位信息的航空器跨全景持续跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于事件的视觉传感器及其应用综述;孔德磊 等;《信息与控制》;20210131;第50卷(第1期);全文 *

Also Published As

Publication number Publication date
CN114745528A (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN114745528B (zh) 一种高位全景视频安全监控方法
Cao et al. Survey on performance of deep learning models for detecting road damages using multiple dashcam image resources
CN111368687B (zh) 一种基于目标检测和语义分割的人行道车辆违停检测方法
WO2020173056A1 (zh) 交通图像识别方法、装置、计算机设备和介质
CN101916383B (zh) 基于多摄像机的车辆检测跟踪识别***
CN110969160A (zh) 一种基于深度学习的车牌图像校正、识别方法及***
CN104966304A (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
CN113011331B (zh) 机动车是否礼让行人的检测方法、装置、电子设备及介质
CN113449632B (zh) 一种基于融合感知的视觉与雷达感知算法优化方法、***及汽车
CN112818834B (zh) 一种交叉口针对应急车辆的避让判定方法、设备及介质
CN111414861A (zh) 基于深度学习实现行人及非机动车辆检测处理的方法
CN113111722A (zh) 基于改进Mask R-CNN的自动驾驶目标识别方法
CN116434159A (zh) 一种基于改进YOLO V7和Deep-Sort的交通流量统计方法
CN109948433A (zh) 一种嵌入式人脸跟踪方法及装置
CN107247967B (zh) 一种基于r-cnn的车窗年检标检测方法
CN112085018A (zh) 基于神经网络的车牌识别***
CN114694078A (zh) 一种基于多目标跟踪的交通行为判定方法
Ji et al. Lane line detection system based on improved Yolo V3 algorithm
CN116958052A (zh) 一种基于yolo和注意力机制的印刷电路板缺陷检测方法
CN113450385B (zh) 一种夜间工作工程机械视觉跟踪方法、装置及存储介质
CN103258433B (zh) 一种交通视频监控中智能车牌清晰显示方法
CN114694090A (zh) 一种基于改进PBAS算法与YOLOv5的校园异常行为检测方法
Wang et al. Detection of lane lines on both sides of road based on monocular camera
CN113673467A (zh) 一种白光条件下的车辆颜色识别方法
CN111968158A (zh) 一种基于核相关滤波和结构相似性的视频抖动检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant