CN114639171B - 一种停车场全景安全监控方法 - Google Patents

一种停车场全景安全监控方法 Download PDF

Info

Publication number
CN114639171B
CN114639171B CN202210535421.9A CN202210535421A CN114639171B CN 114639171 B CN114639171 B CN 114639171B CN 202210535421 A CN202210535421 A CN 202210535421A CN 114639171 B CN114639171 B CN 114639171B
Authority
CN
China
Prior art keywords
information
motion
data set
panoramic
window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210535421.9A
Other languages
English (en)
Other versions
CN114639171A (zh
Inventor
刘寒松
王永
王国强
刘瑞
翟贵乾
李贤超
焦安健
谭连胜
董玉超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sonli Holdings Group Co Ltd
Original Assignee
Sonli Holdings Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sonli Holdings Group Co Ltd filed Critical Sonli Holdings Group Co Ltd
Priority to CN202210535421.9A priority Critical patent/CN114639171B/zh
Publication of CN114639171A publication Critical patent/CN114639171A/zh
Application granted granted Critical
Publication of CN114639171B publication Critical patent/CN114639171B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明属于停车场安全监控技术领域，涉及一种停车场全景安全监控方法，先基于人眼注意机制，采用基于运动信息、对比信息和声音信息的多模态显著性区域推荐算法检测人眼关注区域，同时结合事件重要性权重制定监控内容处理优先级排名，对非关注区域降低分辨率的方式节省资源占用，从而达到实时全景安全监控的目的，并基于安全检测权重以及监控帧间连续性，制定停车场全景安全监控，加快传输和节省保存空间，节约成本。

Description

一种停车场全景安全监控方法
技术领域
本发明属于停车场安全监控技术领域，涉及一种基于多模态显著性区域推荐的停车场全景安全监控方法。
背景技术
随着社会的发展和经济的进步，家庭轿车逐渐成为家庭必备，有的家庭甚至有多辆汽车，但是，停车问题逐渐成为城市治理需要考虑的问题，如果停车问题得不到根本性的解决，将会对城市治理带来非常大的不便，因此，停车场的建设和安全问题得到越来越多的重视。
传统的停车场监控摄像头只能针对固定视角拍摄，导致非常大的缺陷是如果监控拍摄不到的其他位置出现安全事故，或者是通过监控死角从事违法活动，都无法做到实时监控，实时安全警报，由于通过传统方式监控只能看到固定范围内的事件，这对停车场的全面监控非常不利；即使是采用能够360度范围移动的监控探头，也需要将不断的移动才能看到想要观看的内容，在移动的过程中容易错过大量的可能需要关注的内容，而且这种摄像头在某个时刻仍然属于单一视角，无法做到全面监控。与此同时，停车场的监控受制于电脑硬件内存的限制，为节约成本，不能永久保存，需要隔一段时间就清理，有的停车场甚至只能保存最近4天的监控内容，这会导致大量的重要信息丢失，后期需要监控内容的时候，无法调出相应的监控内容，无法起到监控的作用。
综上所述，现有的监控方式只能监控固定范围，无法根据停车场中内容自动寻找适合的位置，无法做到全范围实时监控，同时传统监控费时、费力、费钱，伴随着深度学习技术的快速发展，基于深度学习的方法在各行各业得到快速发展，基于深度学习的推荐算法也不断被提出，取得了非常大的性能提升，然而，将其用于停车场监控并提升监控安全预测没有得到重视，解决现有停车监控存在的问题。
发明内容
本发明的目的在于克服现有技术存在的缺点，设计提供一种基于多模态显著性区域推荐的停车场全景安全监控方法，先基于人眼注意机制，采用基于运动信息，对比信息和声音信息的多模态显著性区域推荐算法检测人眼关注区域，同时结合事件重要性权重制定监控内容处理优先级排名，同时，对非关注区域降低分辨率的方式节省资源占用，从而达到实时全景安全监控的目的，并基于安全检测权重以及监控帧间连续性，制定停车场全景安全监控。
为实现上述目的，本发明实现停车场全景安全监控的具体过程为：
（1）采集全景摄像头视频段，根据采集到的全景摄像头视频段构建停车场全景安全监控视频数据集；
（2）根据停车场全景监控视频数据集分别基于运动信息、对比信息和声音信息显著性进行检测；
（3）基于运动信息、对比信息和声音信息的显著性检测结果查找出相应的重要物体，对查找出的重要物体进行重要性排名；
（4）对排名后的物体进行全景监控视频帧间一致性平滑，将帧间相同物体连接起来形成平滑的窗口运动轨迹；
（5）根据步骤（4）形成的不同物体运动轨迹，将点转化为平面，通过屏幕的方式提供单窗口（单一物体）或者多窗口（多个物体）的全景安全内容；
（6）针对步骤（5）输出的窗口内容进行动态调节和人工干预监控内容，如窗口内容不是想关注的内容，只需将鼠标移动到需要关注的物体上，并点击该物体，此时以鼠标标记点为中心，形成针对中心为投影中心的投影窗口，并基于此窗口提供后续监控。
具体的，步骤（1）所述停车场全景安全监控视频数据集采用显著性检测数据集作为训练集，在构建训练集的过程中，先在完整数据集上训练，然后再挑选车辆相关的数据集作为微调数据，使得模型关注车辆、行人和障碍物等显著性区域，显著性检测数据集包括最符合人眼视觉特征且最大的视频显著性检测数据集DAVSOD、最符合人眼视觉特征且最大的音对比显著性检测数据集MSRA10K和最符合人眼视觉特征且最大的音频显著性检测数据集AVEDataset。
具体的，步骤（2）所述运动信息显著性（VSOD）基于物体在监控视频中前后帧之间 的位移关系，获得物体相对于背景区域运动的快慢来判断物体状态，通过FlowNet2计算相 邻两帧（I1，I2）之间的光流信息获得视频间的运动信息，光流信息
Figure 516339DEST_PATH_IMAGE001
为计算两个像素点 之间的速度差：
Figure 433479DEST_PATH_IMAGE002
，
Figure 213216DEST_PATH_IMAGE003
，
Figure 608425DEST_PATH_IMAGE004
，
Figure 485115DEST_PATH_IMAGE005
是像素分别沿x轴和y轴移动的距离，
Figure 307577DEST_PATH_IMAGE006
是像素从I1到I2所用的时间，x,y为 初始像素点的坐标位置，t为移动
Figure 574610DEST_PATH_IMAGE004
，
Figure 773510DEST_PATH_IMAGE005
需要的时间；得到光流信息之后，通过设计光流感 知显著性检测网络（
Figure 442389DEST_PATH_IMAGE007
），采用DAVSOD作为运动信息感知训练数据集，将光流特征 转化为运动显著性特征：
Figure 747337DEST_PATH_IMAGE008
，
Flow2Color代表将光流图转化为RGB图，不同颜色表示不同的运动方向，深浅表示 运动的快慢，
Figure 501667DEST_PATH_IMAGE007
将RGB图作为输入，
Figure 238679DEST_PATH_IMAGE009
为输出的运动显著性检测结果图。
具体的，步骤（2）所述对比信息显著性是基于物体所处的位置、颜色和纹理等特征，通过与背景信息以及物体间的对比突出物体，采用MSRA10K作为对比信息感知训练数据集，基于图片的显著性（ISOD）检测算法（ContrastNet）通过网络层的不同层侧输出感知物体的尺度对比信息，
Figure 762064DEST_PATH_IMAGE010
，
Figure 254225DEST_PATH_IMAGE011
分别代表颜色信息、纹理信息、边缘信息，
Figure 495851DEST_PATH_IMAGE012
代表多 尺度信息，
Figure 770974DEST_PATH_IMAGE013
将MSRA10K 的RGB图作为输入，
Figure 414445DEST_PATH_IMAGE014
为输出的对比显著性检测 结果图。
具体的，步骤（2）所述声音信息显著性检测是将声音作为视觉信息的辅助，采用AVEDataset作为声音信息感知训练数据集，将音频信息通过傅立叶变换转化为声谱图，将声谱图输入到网络中，判定当前输入中是否含有声音信息，从而决定当前帧的重要性，具体为：
Figure 828240DEST_PATH_IMAGE015
，
其中，
Figure 557162DEST_PATH_IMAGE016
为傅立叶变换，
Figure 635976DEST_PATH_IMAGE017
将傅立叶变化图作为输入，
Figure 133954DEST_PATH_IMAGE018
为输出声 音显著性检测结果图。
具体的，步骤（3）中物体重要性排名通过以下公式实现：
Figure 905600DEST_PATH_IMAGE019
Figure 856239DEST_PATH_IMAGE020
，
其中
Figure 535482DEST_PATH_IMAGE021
代表第k个物体的排名，N为像素个数，Norm为矩阵最大最小归一化函 数，
Figure 887966DEST_PATH_IMAGE022
为物体置信度，物体置信度
Figure 830514DEST_PATH_IMAGE022
以及物体编号k通过物体检测YoloV5 得到。
具体的，步骤（4）中帧间一致性信息为窗口坐标变化5个像素内，对于超出范围的坐标变化看作超出运动范围的内容，形成的运动轨迹为：
Figure 268449DEST_PATH_IMAGE023
，
Figure 689066DEST_PATH_IMAGE024
’代表点的初始轨迹，
Figure 473220DEST_PATH_IMAGE024
代表点平滑后的轨迹，Smooth代表轨迹求均值 平滑，
Figure 586669DEST_PATH_IMAGE025
为点
Figure 511900DEST_PATH_IMAGE026
周围c=5领域，
Figure 736208DEST_PATH_IMAGE027
为点
Figure 797705DEST_PATH_IMAGE026
周围c=5领域内的像素点。
具体的，步骤（5）中通过下式将点转化为平面
Figure 144373DEST_PATH_IMAGE028
，
其中，windows代表输出窗口，
Figure 556899DEST_PATH_IMAGE029
代表基于点轨迹
Figure 584898DEST_PATH_IMAGE024
的perspective投 影。
与现有技术相比，本发明的有益效果是：采用基于多模态显著性区域推荐算法，增强关注区域，非关注区域降低分辨率，加快传输和节省保存空间，节约成本；采用的视频显著性主要基于人的注意力行为制定规则，同时结合事件重要性制定监控内容处理优先级排名，从而达到实时全景安全监控的目的。
附图说明
图1为本发明提供的基于多模态显著性区域推荐的停车场全景安全监控方法的结构框架示意图。
具体实施方式
下面通过实施例并结合附图对本发明做进一步描述本发明，但不以任何方式限制本发明的范围。
实施例：
本实施例通过采集的视频数据，先基于人眼注意机制采用基于运动信息、对比信息和声音信息的多模态显著性区域推荐算法检测人眼关注区域，同时结合事件重要性权重制定监控内容处理优先级排名，同时，对非关注区域降低分辨率的方式节省资源占用，从而达到实时全景安全监控的目的，并基于安全检测权重以及监控帧间连续性，制定停车场全景安全监控，具体包括如下步骤：
（1）构建停车场全景监控视频数据集
首先，利用采集的全景摄像头视频段构建基于多模态显著性区域推荐的停车场全景安全监控视频数据集，鉴于由于目前大多数停车场并没有大规模普及这种设备，且设备对停车场多模态信息关注较少，导致目前数据集匮乏，本实施例采用显著性检测数据集（最符合人眼视觉特征且最大的视频显著性检测数据集DAVSOD、最符合人眼视觉特征且最大的音对比显著性检测数据集MSRA10K和最符合人眼视觉特征且最大的音频显著性检测数据集AVEDataset）作为训练集，在构建训练集的过程中，先在完整数据集上预训练，然后再挑选车辆相关的数据集作为微调数据，使得模型关注车辆、行人和障碍物等显著性区域；
（2）基于运动信息显著性检测
人眼对于运动物体非常感兴趣，这是因为运动物体往往伴随着事件的发生，基于 这种机理，在停车场中运动物体同样非常重要，如行进中的车辆、驾驶车辆的司机和到处乱 跑的动物，如果能够提前被摄像头捕捉到，则能够针对这些物体做出处理，如清除障碍物， 对动物驱离，等，极大的避免造成交通事故的发生，运动信息显著性（VSOD）基于物体在监控 视频中前后帧之间的位移关系，获得物体相对于背景区域运动的快慢来判断物体状态，为 获得视频间的运动信息，本实施例通过FlowNet2计算相邻两帧（I1，I2）之间的光流信息，光 流信息
Figure 766481DEST_PATH_IMAGE001
为计算两个像素点之间的速度差：
Figure 956154DEST_PATH_IMAGE030
，
Figure 855977DEST_PATH_IMAGE003
，
Figure 235137DEST_PATH_IMAGE004
，
Figure 536805DEST_PATH_IMAGE005
是像素分别沿x轴和y轴移动的距离，
Figure 897379DEST_PATH_IMAGE006
是像素从I1到I2所用的时间，x,y为 初始像素点的坐标位置，t为移动
Figure 284498DEST_PATH_IMAGE004
，
Figure 654299DEST_PATH_IMAGE005
需要的时间；得到光流信息之后将光流特征转化为 运动显著性特征，通过设计光流感知显著性检测网络（
Figure 544895DEST_PATH_IMAGE007
），采用DAVSOD作为运动 信息感知训练数据集，将光流图转化为RGB图作为网络输入，输出的显著性检测图片为：
Figure 669846DEST_PATH_IMAGE008
，
Flow2Color代表将光流图转化为RGB图，不同颜色表示不同的运动方向，深浅表示 运动的快慢，
Figure 278682DEST_PATH_IMAGE007
将RGB图作为输入；
（3）基于对比信息显著性检测
除运动物体外，在通常情况下，摄像头处于拍摄静止状态，但是，仍然存在非常多的情况需要注意，例如标志物出现在道路中间和车辆物体丢失，这些情况下物体往往是静止的，采用运动物体检测往往无法取得好的效果，因此，采用对比信息显著性，对比信息显著性基于物体所处的位置、物体的颜色和纹理等特征，通过与背景信息以及物体间的对比突出物体，为获得视频的对比信息，基于图片RGB（来源于MSRA10K）的显著性（ISOD）检测算法（ContrastNet），采用MSRA10K作为对比信息感知训练数据通过网络层的不同层侧输出感知物体的尺度对比信息，而浅层侧输出更关注颜色、纹理、边缘对比信息，网络深层侧特征则关注高层语义信息对比，输出的对比显著性检测结果图为：
Figure 452174DEST_PATH_IMAGE010
，
Figure 462856DEST_PATH_IMAGE011
分别代表颜色信息，纹理信息和边缘信息，
Figure 430812DEST_PATH_IMAGE012
代表 多尺度信息，
Figure 526944DEST_PATH_IMAGE013
将RGB图作为输入；
（4）基于声音信息显著性检测
声音的出现往往伴随着事件的发生，对于发声的物体人类具有非常强的兴趣，因为大多数情况下，交通事故的发生伴随着声音的出现，例如车祸、车辆报警器警报和车辆喇叭声响，这对于停车场车辆检测具有非常强的研究价值；由于双耳朵效应，人具有听声辨位的能力，主要得益于人的耳朵能根据发声物体距离耳朵的距离辨别方位，因此，本实施例将声音作为视觉信息的辅助，采用AVEDataset作为声音信息感知训练数据集，将音频信息通过傅立叶变换，转化为声谱图，将声谱图输入到网络中，判定当前输入中是否含有声音信息，从而决定当前帧的重要性，输出的声音显著性检测结果图为：
Figure 307990DEST_PATH_IMAGE015
，
其中，
Figure 173178DEST_PATH_IMAGE016
为傅立叶变换，
Figure 312035DEST_PATH_IMAGE017
将傅立叶变化图作为输入；
（4）基于全景监控视频的内容物体级重要性排名
通过运动、对比和声音等信息能够查找出相应的重要物体，但是有些时候可能存 在多个重要物体，这时候需要对多个物体的重要性进行排名，因为不同信息作为主导信息 时，其决定的重要物体不同，通过物体检测（YoloV5）得到物体的置信度（
Figure 895464DEST_PATH_IMAGE022
）以及 物体编号（k），由于像素的显著性值决定了当前物体显著的可能性程度，也就是当前物体的 重要性程度，而声音基本伴随了事件的发生，对于声音决定的事件，权重为2倍权重，得到的 物体排名为：
Figure 145179DEST_PATH_IMAGE019
，
Figure 192770DEST_PATH_IMAGE021
代表第k个物体的排名，N为像素个数，Norm为矩阵最大最小归一化函数；
（5）基于全景监控视频帧间一致性的平滑
将多个物体排名之后，需要将帧间相同物体连接起来形成平滑的窗口运动轨迹，为防止因物体运动导致的窗口位置发生严重跳变，需要将窗口之间的连续滑动建模为帧间一致性，帧间一致性信息为窗口坐标变化在一定范围内（5个像素），对于超出范围的坐标变化看作超出运动范围的内容，得到的点的运动轨迹为：
Figure 502528DEST_PATH_IMAGE031
，
Figure 573252DEST_PATH_IMAGE024
’代表点的初始轨迹，
Figure 626659DEST_PATH_IMAGE024
代表点平滑后的轨迹，Smooth代表轨迹求均值 平滑，
Figure 466439DEST_PATH_IMAGE025
为点
Figure 947099DEST_PATH_IMAGE026
周围c=5领域，
Figure 318169DEST_PATH_IMAGE027
为点
Figure 175266DEST_PATH_IMAGE026
周围c=5领域内的像素点；
（6）基于显著性区域推荐的全景监控内容输出
形成不同物体的运动轨迹之后，需要通过屏幕的方式提供单窗口（单一物体）或者多窗口（多个物体）的全景安全内容，因此，需要将点转化为平面，从而能够显示在显示器中，具体为：
Figure 869553DEST_PATH_IMAGE028
，
其中，windows代表输出窗口，
Figure 521114DEST_PATH_IMAGE029
代表基于点轨迹
Figure 566430DEST_PATH_IMAGE024
的perspective投 影；
（7）动态调节监控内容和人工干预监控内容
通过步骤（6）获得的窗口为程序推荐的窗口，如果直接播放程序推荐的窗口在大多数情况下是符合人眼的，但是，仍然存在部分窗口可能并不是安保人员真正想关注的内容，如安保人员可能想将车库巡视一遍，看车库是否安全，这时候，即使这时候车库没有事情发生，如果安保人员需要将窗口视角决定权力转变为自己控制，则需要将鼠标移动到物体上，并点击该关注的物体，此时以此鼠标标记点为中心，形成针对中心为投影中心的投影窗口，并基于此窗口提供后续监控。
本文中未公开的算法及图像处理过程均为本领域通用或现有技术。
需要注意的是，本实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (4)

1.一种停车场全景安全监控方法，其特征在于，具体包括如下步骤：
(1)采集全景摄像头视频段，根据采集到的全景摄像头视频段构建停车场全景安全监控视频数据集；
(2)根据停车场全景监控视频数据集分别基于运动信息、对比信息和声音信息显著性进行检测；其中运动信息显著性基于物体在监控视频中前后帧之间的位移关系，获得物体相对于背景区域运动的快慢来判断物体状态，通过FlowNet2计算相邻两帧(I1，I2)之间的光流信息获得视频间的运动信息，光流信息(u，v)为计算两个像素点之间的速度差：
I(x，y，t)＝I(x+Δx，y+Δy，t+Δt)，
Figure FDA0003719288990000011
Δx，Δy是像素分别沿x轴和y轴移动的距离，Δt是像素从I1到I2所用的时间，x，y为初始像素点的坐标位置，t为移动Δx，Δy需要的时间；得到光流信息之后，通过设计光流感知显著性检测网络MotionNet，采用DAVSOD作为运动信息感知训练数据集，将光流特征转化为运动显著性特征：
Salmotion＝MotionNet(Flow2Color(u，v))，
Flow2Color代表将光流图转化为RGB图，不同颜色表示不同的运动方向，深浅表示运动的快慢，MotionNet将RGB图作为输入，Salmotion为输出的运动显著性检测结果图；
对比信息显著性是基于物体所处的位置、颜色和纹理特征，通过与背景信息以及物体间的对比突出物体，采用MSRA10K作为对比信息感知训练数据集，基于图片的显著性检测算法ContrastNet通过网络层的不同层侧输出感知物体的尺度对比信息，
Salcontrest＝ContrastNet(Mutiscale(Color，Texture，Edge))，
Color、Texture、Edge分别代表颜色信息、纹理信息、边缘信息，Mutiscale代表多尺度信息，ContrastNet将MSRA10K的RGB图作为输入，Salcontrast为输出的对比显著性检测结果图；
声音信息显著性检测是将声音作为视觉信息的辅助，采用AVEDataset作为声音信息感知训练数据集，将音频信息通过傅立叶变换转化为声谱图，将声谱图输入到网络中，判定当前输入中是否含有声音信息，从而决定当前帧的重要性，具体为：
Salaudio＝AudioNet(MFCC(Audio))，
其中，MFCC为傅立叶变换，AudioNet将傅立叶变化图作为输入，Salaudio为输出声音显著性检测结果图；
(3)基于运动信息、对比信息和声音信息的显著性检测结果查找出相应的重要物体，对查找出的重要物体进行重要性排名；物体重要性排名通过以下公式实现：
Figure FDA0003719288990000021
其中Rankk代表第k个物体的排名，N为像素个数，Norm为矩阵最大最小归一化函数，Confidence为物体置信度，物体置信度Confidence以及物体编号k通过物体检测YoloV5得到；
(4)对排名后的物体进行全景监控视频帧间一致性平滑，将帧间相同物体连接起来形成平滑的窗口运动轨迹；
(5)根据步骤(4)形成的不同物体运动轨迹，将点转化为平面，通过屏幕的方式提供单窗口单一物体或者多窗口的全景安全内容；
(6)针对步骤(5)输出的窗口内容进行动态调节和人工干预监控内容，如窗口内容不是想关注的内容，只需将鼠标移动到需要关注的物体上，并点击该物体，此时以鼠标标记点为中心，形成针对中心为投影中心的投影窗口，并基于此窗口提供后续监控。
2.根据权利要求1所述停车场全景安全监控方法，其特征在于，步骤(1)所述停车场全景安全监控视频数据集采用显著性检测数据集作为训练集，在构建训练集的过程中，先在完整数据集上训练，然后再挑选车辆相关的数据集作为微调数据，使得模型关注车辆、行人和障碍物显著性区域，显著性检测数据集包括最符合人眼视觉特征且最大的视频显著性检测数据集DAVSOD、最符合人眼视觉特征且最大的音对比显著性检测数据集MSRA10K和最符合人眼视觉特征且最大的音频显著性检测数据集AVEDataset。
3.根据权利要求2所述停车场全景安全监控方法，其特征在于，步骤(4)中帧间一致性信息为窗口坐标变化5个像素内，对于超出范围的坐标变化看作超出运动范围的内容，形成的运动轨迹为：
Locus＝Smooth(∑m∈CLocus′(x1，y1，xm，ym))，
Locus’代表点的初始轨迹，Locus代表点平滑后的轨迹，Smooth代表轨迹求均值平滑，C为点x1，y1周围c＝5领域，xm，ym为点x1，y1周围c＝5领域内的像素点。
4.根据权利要求3所述停车场全景安全监控方法，其特征在于，步骤(5)中通过下式将点转化为平面：
Window＝Projection(Locus)，
其中，windows代表输出窗口，Projection代表基于点轨迹Locus的perspective投影。
CN202210535421.9A 2022-05-18 2022-05-18 一种停车场全景安全监控方法 Active CN114639171B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210535421.9A CN114639171B (zh) 2022-05-18 2022-05-18 一种停车场全景安全监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210535421.9A CN114639171B (zh) 2022-05-18 2022-05-18 一种停车场全景安全监控方法

Publications (2)

Publication Number Publication Date
CN114639171A CN114639171A (zh) 2022-06-17
CN114639171B true CN114639171B (zh) 2022-07-29

Family

ID=81952844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210535421.9A Active CN114639171B (zh) 2022-05-18 2022-05-18 一种停车场全景安全监控方法

Country Status (1)

Country Link
CN (1) CN114639171B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115410189B (zh) * 2022-10-31 2023-01-24 松立控股集团股份有限公司 一种复杂场景车牌检测方法
CN116228834B (zh) * 2022-12-20 2023-11-03 阿波罗智联(北京)科技有限公司 图像深度获取方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105303571A (zh) * 2015-10-23 2016-02-03 苏州大学 用于视频处理的时空显著性检测方法
CN106878674A (zh) * 2017-01-10 2017-06-20 哈尔滨工业大学深圳研究生院 一种基于监控视频的停车检测方法及装置
CN113128344A (zh) * 2021-03-19 2021-07-16 杭州电子科技大学 一种多信息融合的立体视频显著性检测方法
CN113920468A (zh) * 2021-12-13 2022-01-11 松立控股集团股份有限公司 一种基于跨尺度特征增强的多分支行人检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10055850B2 (en) * 2014-09-19 2018-08-21 Brain Corporation Salient features tracking apparatus and methods using visual initialization
CN106951870B (zh) * 2017-02-15 2020-07-17 重庆警察学院 主动视觉注意的监控视频显著事件智能检测预警方法
CN110176027B (zh) * 2019-05-27 2023-03-14 腾讯科技（深圳）有限公司 视频目标跟踪方法、装置、设备及存储介质
CN110827193B (zh) * 2019-10-21 2023-05-09 国家广播电视总局广播电视规划院 基于多通道特征的全景视频显著性检测方法
CN114299744A (zh) * 2021-12-22 2022-04-08 广东艾科智泊科技股份有限公司 一种全景停车场***及管理方案

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105303571A (zh) * 2015-10-23 2016-02-03 苏州大学 用于视频处理的时空显著性检测方法
CN106878674A (zh) * 2017-01-10 2017-06-20 哈尔滨工业大学深圳研究生院 一种基于监控视频的停车检测方法及装置
CN113128344A (zh) * 2021-03-19 2021-07-16 杭州电子科技大学 一种多信息融合的立体视频显著性检测方法
CN113920468A (zh) * 2021-12-13 2022-01-11 松立控股集团股份有限公司 一种基于跨尺度特征增强的多分支行人检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Multi-Source Fusion and Automatic Predictor Selection for Zero-Shot Video Object Segmentation;Xiaoqi Zhao et.al;《Proceedings of the 29th ACM International Conference on Multimedia》;20220422;第2645-53页 *
融合运动信息的三维视觉显著性算法研究;卢晶等;《计算机工程》;20181230(第01期);第244-252页 *

Also Published As

Publication number Publication date
CN114639171A (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
CN114639171B (zh) 一种停车场全景安全监控方法
KR102129893B1 (ko) 딥러닝 네트워크 및 평균 이동을 기반으로 하는 선박 자동추적 방법 및 시스템
US11643076B2 (en) Forward collision control method and apparatus, electronic device, program, and medium
US8582816B2 (en) Method and apparatus for video analytics based object counting
JP4919036B2 (ja) 移動物体認識装置
JP4541316B2 (ja) 映像監視検索システム
CN101916383B (zh) 基于多摄像机的车辆检测跟踪识别***
CN107133559B (zh) 基于360度全景的运动物体检测方法
JP4451330B2 (ja) 圧縮ビデオにおいて交通事象を検出する方法
CN111860274B (zh) 基于头部朝向与上半身骨架特征的交警指挥手势识别方法
US10297016B2 (en) Video background removal method
JP5187292B2 (ja) 車両周辺監視装置
KR102253989B1 (ko) 딥러닝 객체 검출기를 이용한 cctv 영상의 객체 추적 방법
KR20080085837A (ko) 비디오에서의 물체 조밀도 판단
US10977947B2 (en) Method for vehicle blind zone detection
Zhang et al. Surveillance video anomaly detection via non-local U-Net frame prediction
JP2010039580A (ja) 移動物体追跡装置
CN111881749A (zh) 基于rgb-d多模态数据的双向人流量统计方法
JP2013093865A (ja) 車両周辺監視装置
JP2024019588A (ja) 地図データ生成装置
US20120189161A1 (en) Visual attention apparatus and control method based on mind awareness and display apparatus using the visual attention apparatus
Miller et al. Intelligent Sensor Information System For Public Transport–To Safely Go…
CN113076851A (zh) 一种车辆违章数据的采集方法、装置以及计算机设备
CN117437808A (zh) 一种地下停车场盲区超视距感知及预警方法
CN114640807B (zh) 基于视频的对象统计方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant