CN114299106A - 一种基于视觉传感与轨迹预测的高空抛物预警***及方法 - Google Patents

Abstract

本发明公开了一种基于视觉传感与轨迹预测的高空抛物预警***及方法，该方法包括：通过双目摄像头视频监控获取图像；接收端应用基于inception v4的基础上再训后的卷积神经网络算法，识别高空坠落物体类别；无威胁模式时***保持待机状态；有威胁模式时，在识别坠物的同时，通过针对其可能的受力模式进行分析所建立的数学模型，对双摄像头所接收到的数据使用卡尔曼滤波法进行联合预测，预测出物体落点坐标并进行传输；接收到坐标的声光预警模块迅速处理数据，在坠物落地前使用醒目的激光灯对落点进行标注并辅以声音报警来对行人进行提醒，并使用拦网进行拦截，避免行人受到伤害。本发明能对高空抛物的状况及时检测并预警，保障人员安全，降低事故发生风险。

Description

一种基于视觉传感与轨迹预测的高空抛物预警***及方法

技术领域

本发明涉及安防监控领域，尤其涉及一种基于视觉传感与轨迹预测的高 空抛物预警***及方法。

背景技术

近年来，高空抛物事件频发，严重危害民众公共安全，侵害人民群众的 合法利益。高空抛物是一种由人为或非人为制造的高楼投物的事件，被称为 “悬在城市上空的痛”。现代化的大厦高楼动辄修筑百米高，居民住宅区不规范 的生活习惯，缺乏公共安全意识的行为都会引发此类事件。物体自几十米至 上百米高空投下，其落到地面的速度可以达到30～45米每秒。对于在街道或 者在楼下行走的人来说，威胁巨大，并且事后对于抛物的回溯极为困难。

为了消除安全隐患，法律法规的颁布很重要，技术上的创新和设计也必 不可少，现有的技术手段正亟需改进和发展。社会对一种可以预警和防范的 技术需求的呼声越来越大。

目前国内外研究聚焦于高空抛物检测的方案少之又少。

国内普遍采用的是多摄像机组对住户面进行联网监控，利用摄像机交叉 部署比例划线定位抛物范围消除盲区。这是一种最传统的高空抛物检测方案， 其缺点也很明显，即不具备识别并抓取视频中动态的抛物的能力，不能够预 测其落点和方位，无法对已经发生的坠落事件做出有效的反应以减少对人的 伤害。

国外方面，根据外文文献来看，国外对于高空抛物的处理手段还是利用传 统的摄像头和抓拍手段，通过对肇事者的追责和记录来做到减少此类事件的发 生。部分发明者采用云联网追踪高空抛物的抛物次数来确定对应的惩罚措施， 缺少对应的事故发生后的预警应急措施。

因此需要一种基于视觉传感与轨迹预测的高空抛物预警***来实现高效 且及时的抛物检测和智能预警。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于视 觉传感与轨迹预测的高空抛物预警***及方法。

本发明解决其技术问题所采用的技术方案是：

本发明提供一种基于视觉传感与轨迹预测的高空抛物预警方法，该方法 包括以下步骤：

步骤1、通过双目摄像头视频监控获取图像，使用灰度化和高斯滤波方法 对初始图像进行形态学处理；

步骤2、通过5G通讯模块传输数据，接收端应用基于inception v4的基 础上再训后的卷积神经网络算法，识别高空坠落物体类别，将其分为无威胁 和有威胁两种模式；

步骤3、无威胁模式时***保持待机状态，减少因环境因素或微小扰动导 致的误触发的情况，减少能源和***本身的损耗；

进入有威胁模式时，在识别坠物的同时，通过针对其可能的受力模式进 行分析所建立的数学模型，对双摄像头所接收到的数据使用卡尔曼滤波法进 行联合预测，预测出物体落点坐标并进行传输；

步骤4、接收到坐标的声光预警模块迅速处理数据，在坠物落地前使用醒 目的激光灯对落点进行标注并辅以声音报警来对行人进行提醒，并使用拦网 进行拦截，避免行人受到伤害。

进一步地，本发明的所述步骤1中对图像进行处理的方法包括：

将RGB彩色三通道图转换为单通道灰度图，进行高斯模糊，其中通过引 入模板运算起到高斯模糊的效果，模板公式为：

其中，M(I,J)为对应的模板中矩阵元素的值，通过构造的模板的移动确定 模板覆盖区域的像素加权运算去替代图像中心点像素的值；再运用OpenCV 的creatBackgroundSubstractorKNN算法API对原始数据流进行处理，得到减 除背景之后的差分图像，在差分图像的基础上再做进一步处理，包括灰度化， 阈值处理在内的数字图像处理方法；最后针对优化后的图像做一个连通域的 分析，获取其最大轮廓；得到用于检测抛物事件的视频数据。

进一步地，本发明的所述步骤2中基于inception v4的基础上再训后的卷 积神经网络算法识别高空坠落物体类别，其方法为：

基于inception v4的基础上的再训练，根据CNN的理论，在图像识别中 使用迁移学习，将每一个滤波器看作一个小的特征抓取器，根据inception v4 训练好的模型的权重，构建了inception v4最上面的softmax层，使用适应使 用环境的训练集重新训练。

进一步地，本发明的所述步骤3中进入有威胁模式时，在识别坠物的同 时所建立的数学模型包括：

信息的采集选择获取抛物轨迹的俯视图和侧视图，俯视图和侧视图分别 由两个方位上的摄像头提供；选取的特殊轨迹点信息为抛物运动抛出点的三 维坐标和时间(x₀,y₀,z₀,t₀)，最高点三维坐标和时间(x₁,y₁,z₁,t₁)，下降过程中 某点三维坐标和时间(x₂,y₂,z₂,t₂)；为了简化运算，选择在将运动轨迹向量分 解到三个平面x,y,z中进行分别求解的基础上，对模型进行简化；x,y,z平面的 确定为楼房正对的平面为y平面，地面为z平面，任意侧面为x平面；

①侧视图轨迹分析：

对于高空抛物，侧视图理解为一个类似于抛物线的轨迹对其进行竖坐标 分析，取向上为正，则在上升阶段对物体进行受力分析：

ma_z＝-mg-v_z ²λ

其中f＝v_z ²λ为空气阻力，令mg＝c²λ，则有

整理并积分即可得到

计算整理得到

最后由竖直方向上速度的积分即为降落高度列出式子：

得到抛物运动的落地时刻t'；

再对其进行y坐标分析，取抛物运动方向为正，则对其进行受力分析：

ma＝-v_y ²λ

其中“-”表示受力方向，f＝v_y ²λ为受到的空气阻力的大小，对其进行变形 积分可得

得到

带入采集轨迹点的数据可以得到v_y1和v_y2关于v_yo的表达式，又因为该变速 过程存在

ma＝-v_y ²λ

三式联立即可解得v_y关于t的表达式，竖直方向分析时已经求得落地时刻 为t'，故最终落点的y坐标为

其中，v_x为x轴方向上物体的运动速度，v_y为y轴方向上物体的运动速 度，v_z为z轴方向上物体的运动速度，(x,y,z)为物体所处位置的坐标，c为常 数，λ为空气阻力系数，m为物体的质量，g为重力加速度，f为空气阻力，(X,Y) 为落点横纵坐标；

②俯视图轨迹分析：

由于在物体抛出的过程中，受力重力不会改变物体在水平方向上的轨迹， 空气阻力一直与运动方向相反，故物体在水平维度上不会发生轨迹的偏移， 所以俯视的轨迹应该是一条线段，根据起始点(x₀,y₀,z₀,t₀)和最高点(x₁,y₁,z₁,t₁) 的数据能够得到抛物坐标x,y之间的线性关系：

带入由侧视图求得的落点的y坐标Y即可得到落点的x坐标X，即可得 到落点的三维坐标及时间(X,Y,Z,t)，达到预测落点的目的，预测出物体落点 坐标后进行传输。

进一步地，本发明的所述步骤3中使用卡尔曼滤波法进行联合预测，其 方法为：

准备过程：

计算i时刻位置真实值和位置预估值之间的误差

是i时刻的预测值,X(i)是i时刻的实际值。误差计算出来后，接着可 以根据误差计算得到协方差矩阵：

建模实施：

首先建立时间更新方程：

其中U(i)是输入量，即输入的位置信息，

是i时刻的预测值；A是一 个状态转移矩阵，B是一个增益矩阵；W(i)是一个设定的噪声；

建立误差相关矩阵P，用来判断估计值是否准确：

Q是一个关于***噪声的协方差矩阵，是一个不断变化的值；P(i)是估计 误差的协方差矩阵，

是预测误差的协方差矩阵；

以上是预测过程；计算得到相应时刻的预测值后，对预测值做矫正；这 个过程是对测量值和真实值做一个比较和进一步的数据更新；

其中

是测量余量，Z(i)是测量值；

计算必要的卡尔曼增益：

卡尔曼滤波本身是一种最小均方差，均方差是P(i)的迹，所以对于求预测 误差协方差的式子求迹得到一个关于K_k的等式，最优估计的K_k值使得P(i)的 求迹最小，对这个等式左右同时对K_k求导，再利用矩阵微分的运算法则，令 微分结果为零得到K_k的计算表达式：

K_k＝P′(i)H^T(HP′(i)H^T+R)^-1

根据得到的卡尔曼增益可以用来求取并且更新预估量。对于i时刻的预估 量，通常可以这样处理，即利用卡尔曼系数做一个运算从而得到卡尔曼预测 值

这样就完成了利用估计值和测量余量对卡尔曼估计值的一个更新；

再更新协方差矩阵，同样的根据推导得到一个用卡尔曼增益表示的与预 测误差协方差：

P(i)＝(I-K_kH)P′(i)

根据不断的迭代和递推，最后一直推算到P(n)和X(n),完成一个完整的对 轨迹上各个位置的估计；

通过该模型根据目标物的情况随时更新其位姿信息，通过有效的回环检 测而得到其修正后的轨迹，根据Matlab工具的仿真获得相关的数据信息，得 到目标物落点区域。

进一步地，本发明的所述步骤4的方法为：

当收到预测出物体落点坐标后，由信号数据的发射和传输模块会将数据 指令传送到单片机***，单片机盒对云台控制，云台上的强光灯会对落点区 域投射红色强光，蜂鸣器警报；在坠物落地前使用醒目的激光灯对落点进行 标注并辅以声音报警来对行人进行提醒，并使用拦网进行拦截，避免行人受 到伤害，从而最大限度地保护行人的人身和财产安全；当预警完毕后，执行 程序使得云台自动初始化归位，继续处于待机状态。

本发明提供一种基于视觉传感与轨迹预测的高空抛物预警***，该*** 包括：

摄像头模块，采用双目摄像头，用于获取监控抛物区的视频帧，并对视 频帧进行图像的预处理，得到用于检测抛物事件的视频数据；预处理包括： 使用灰度化和高斯滤波方法对初始图像进行形态学处理；

通信模块，采用5G通讯模块，用于将摄像头模块采集到的图像发送给接 收端的运动物体目标追踪检测模块；并将落点预测结果及指令传递给联网报 警模块和预警光源投射控制模块；

运动物体目标追踪检测模块，用于应用基于inception v4的基础上再训后 的卷积神经网络算法，识别高空坠落物体类别，将其分为无威胁和有威胁两 种模式；无威胁模式时***保持待机状态，减少因环境因素或微小扰动导致 的误触发的情况，减少能源和***本身的损耗；进入有威胁模式时，在识别 坠物的同时，通过针对其可能的受力模式进行分析所建立的数学模型，对双 摄像头所接收到的数据使用卡尔曼滤波法进行联合预测，预测出物体落点坐 标并进行传输；

联网报警模块，用于在接收到抛物下落的信号时产生相应声音报警；

预警光源投射控制模块，用于对坠落物落点进行标识和提醒，将本*** 警戒的范围划分为精度足够高的区域，预先在***内设置每个区域对应的云 台控制参数，在算法完成对图像的处理后将预测的落点坐标进行反馈，使用 查表的方式得出所需参数，使用激光灯进行照射，完成对行人的预警。

本发明产生的有益效果是：

1.检测高空抛物的来源，建立一个三维物体抛物运动的数学模型，对下落 物体运动轨迹和落点进行预测，并发出警告。

2.通过高速摄像头抓拍大楼的情况，以及通过神经网络运算监视测出物体 的下落，同时将下落的物体数据和视频数据保存到本地，留下高空抛物的有效 物证。

3.根据深度学习判断抛物类型，预测产生影响的大小，发出相应预警，使 行人能做出正确的应对，最大程度上避免坠物引发重大伤亡。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1为本发明一种基于视觉传感与轨迹预测的高空抛物预警***总体设 计框架示意图(二维流程图)；

图2为利用背景减除法对运动的汽车监控视频资源做的单目标追踪时的 范例；

图3为利用背景减除法对运动的汽车监控视频资源做的多目标追踪时的 范例；

图4为训练集的loss和accuracy以及测试集的loss和accuracy的学习曲 线。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将 结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整 地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施 例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下 所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，图1为本发明第一实施例中一种基于视觉传感与轨迹预测的 高空抛物预警方法步骤流程示意图，本发明实施例中，一种基于视觉传感与 轨迹预测的高空抛物预警方法，所述方法包括：

获取双摄像头所记录的抛物区视频图像后，对图像进行预处理，其中包 括：将RGB彩色三通道图转换为单通道灰度图，进行高斯模糊，其中通过引 入模板运算起到高斯滤波的效果，模板公式为：

其中M(I,J)为对应的模板中矩阵元素的值，通过构造的模板的移动确定模 板覆盖区域的像素加权运算去替代图像中心点像素的值，从而达到高斯滤波 的目的。之后使用背景减除的方式获得运动目标的背景减除后的图像，背景 减除法和帧间分差法类似，不过背景减除是在利用原图像和其不断更新的背 景相减而得到的。他是一个利用差分关系获取图像运动目标轮廓的方式。同 时在一定程度上减除背景这种处理方式可以有效地改善和破解帧差法由于亮 度变化而引起的“假目标干扰”。背景减除法计算较为简单，由于背景图像中没 有运动目标，当前图像中有运动目标，将两幅图像相减，显然可以提取出完 整的运动目标，解决了帧间差分法提取的目标内部含有“空洞”的问题。

利用背景减除法实现目标检测主要包括四个环节：背景建模，背景更新， 目标检测，后期处理。其中，背景建模和背景更新是背景减法中的核心问题。 背景模型建立的好坏直接影响到目标检测的效果。背景建模，即通过数学方 法，构建出一种可以表征“背景”的模型。获取背景的最理想方法是在没有运动 目标的情况下获取一帧“纯净”的图像作为背景，图2，图3分别为在利用背景 减除法对运动的汽车监控视频资源做的单目标追踪与多目标追踪时的范例。

再运用OpenCV的creatBackgroundSubstractorKNN算法API对原始数据 流进行处理，得到减除背景之后的图片，在差分图像的基础上再做进一步处 理，包括灰度化，阈值处理等基本的数字图像处理技术。最后针对优化后的 图像做一个连通域的分析，获取其最大轮廓。得到用于检测抛物事件的视频 数据。

抛物事件视频数据截取之后，通过已训练好的卷积神经网络对运动物体 做出判断，根据CNN的理论，在图像识别中可以使用迁移学习，每一个滤波 器都是一个小的特征抓取器。Google的deepmind已经训练好了inception v4 来识别1000种物品，但是他们训练的物品不能很好的贴合本项目中高空抛物 的要求，就比如高空抛物不可能扔汽车。

因此本发明直接使用inception v4训练好的模型的权重，并自己构建 inceptionv4最上面的softmax层，使用自己的训练集重新训练。

本神经网络的练的平台为tensorflow2.0的GPU版本，使用Adam梯度方 法来实现梯度下降。

训练过程使用tensorboard监视，一次训练前10个epoch过程中，训练集 的loss和accuracy以及测试集的loss和accuracy的学习曲线如图4所示。

在利用算法对数据进行判断之后，若判断无抛物则进入无威胁模式，无 威胁模式时***保持待机状态，减少因环境因素或微小扰动导致的误触发的 情况，减少能源和***本身的损耗；在判断出发现抛物后，通过针对其可能 的受力模式进行分析所建立的数学模型，对双摄像头所接收到的数据使用卡 尔曼滤波法进行联合预测，落点的计算得益于对抛物线的轨迹的预测，需要 考虑到风速以及阻尼等情况的影响；

上述数学模型的运动学和力学分析以及求解与建立如下：

(1)建模环境描述

阻力描述：由于该模型旨在尽可能精确地解决高空抛物的轨迹和落点的 求解问题，所以在模型的建立过程中，应该充分考虑到实际中的影响因素， 阻力即是不可忽略的一个因素，该因素让抛物问题不能简单用抛物线模型来 描述和求解，故空气阻力问题同样值得考虑

问题分析方法描述:现实问题中，摄像头的分布足够广泛，可以采用两个 摄像头的数据，用于确定抛出物体的抛储时间与实时三维坐标，将两方面的 模拟计算进行整合，即能得到高空抛物完整的模型

(2)环境假设

假设一：抛物坠落过程中，各种影响因素(例如物体的形状，姿态等) 不会随着坠物的高度发生变化而变化。

假设二：抛物坠落过程中，空气的浮力不会对物体产生影响。(抛物的质 量足够让空气对其的阻力忽略不计。)

假设三：抛物坠落的过程中不会有不确定因素(如鸟类，其他物体等) 对抛物的轨迹有任何影响。

(3)模拟过程中所用符号及其意义

表1模拟过程中所用符号及其意义

(4)模型的建立与求解

信息的采集选择获取抛物轨迹的俯视图和侧视图，俯视图和侧视图分别 由两个方位上的摄像头提供；选取的特殊轨迹点信息为抛物运动抛出点的三 维坐标和时间(x₀,y₀,z₀,t₀)，最高点三维坐标和时间(x₁,y₁,z₁,t₁)，下降过程中 某点三维坐标和时间(x₂,y₂,z₂,t₂)；为了简化运算，选择在将运动轨迹向量分 解到三个平面x,y,z中进行分别求解的基础上，对模型进行简化；x,y,z平面的 确定为楼房正对的平面为y平面，地面为z平面，任意侧面为x平面；

①侧视图轨迹分析：

对于高空抛物，侧视图理解为一个类似于抛物线的轨迹对其进行竖坐标 分析，取向上为正，则在上升阶段对物体进行受力分析：

ma_z＝-mg-v_z ²λ

其中f＝v_z ²λ为空气阻力，令mg＝c²λ，则有

整理并积分即可得到

计算整理得到

最后由竖直方向上速度的积分即为降落高度列出式子：

得到抛物运动的落地时刻t'；

再对其进行y坐标分析，取抛物运动方向为正，则对其进行受力分析：

ma＝-v_y ²λ

其中“-”表示受力方向，f＝v_y ²λ为受到的空气阻力的大小，对其进行变形 积分可得

得到

带入采集轨迹点的数据可以得到v_y1和v_y2关于v_yo的表达式，又因为该变速 过程存在

ma＝-v_y ²λ

三式联立即可解得v_y关于t的表达式，竖直方向分析时已经求得落地时刻 为t'，故最终落点的y坐标为

其中，v_x为x轴方向上物体的运动速度，v_y为y轴方向上物体的运动速 度，v_z为z轴方向上物体的运动速度，(x,y,z)为物体所处位置的坐标，c为常 数，λ为空气阻力系数，m为物体的质量，g为重力加速度，f为空气阻力，(X,Y) 为落点横纵坐标；

②俯视图轨迹分析：

由于在物体抛出的过程中，受力重力不会改变物体在水平方向上的轨迹， 空气阻力一直与运动方向相反，故物体在水平维度上不会发生轨迹的偏移， 所以俯视的轨迹应该是一条线段，根据起始点(x₀,y₀,z₀,t₀)和最高点(x₁,y₁,z₁,t₁) 的数据能够得到抛物坐标x,y之间的线性关系：

带入由侧视图求得的落点的y坐标Y即可得到落点的x坐标X，即可得 到落点的三维坐标及时间(X,Y,Z,t)，达到预测落点的目的，预测出物体落点 坐标后进行传输。

(5)风速对于运动轨迹的影响

在物体下落过程中，风速对其轨迹及落点可能会产生影响，若下落物体 质量很大，则风速对其影响相较于空气阻力对其影响较小，可作忽略处理， 若风速较大且物体质量较轻，则不能忽视风速对于物体下落轨迹的影响。

对于风速成为抛物的影响因素之后的建模，有两种方案，一是像抛物运 动轨迹一样，将风速向三维空间的三个平面上投影，该方案会导致计算量偏 大，且与前文建模有差别。另一种是将风速视为移动的三维空间，而抛物运 动视作相对于上述运动的三维空间运动的抛物运动，相较之下，该方案能够 ***地迁移前文的落点计算体系，比前一方案计算更加简单。

(6)建模评估

该模型能够直接计算出抛物的最终落点，能够满足实际问题对于落点预 测的要求，但是由于该模型并没有将突发情况列入考虑范围，并且有些地方 是对问题进行了最优化处理，故仍有一定的误差，因此通过对所判断的落点 进行扩展来增大警示范围，以达到较高的落点判断的有效性。

在建模完成之后，根据双摄像头落点运动建模数据，得到了一个关于抛 体落点的方程。落点方程可以扩展得到抛点的运动轨迹，抛点的位置可以由 落点以及运动方程反推得到。为了使预测落点的模型更加完善，在抛点的基 础上增加一个回环和反馈的过程，这样就可以在抛体运动的过程中不断修正， 以增加***的稳定性和鲁棒性。

为此，引入卡尔曼滤波算法，卡尔曼滤波应用广泛而且强大，它可以用 来估计信号的过去和当前状态，能够根据已有的状态估计和推测未来的运动 轨迹，以修正落点。

卡尔曼滤波主要完成两个过程，即预估和矫正。其基本思路就是利用最 小均方差为最佳估计准则，利用前一时刻的估计值和当前时刻的观测值来联 合估计更新状态变量，求出当前时刻的估计值，根据算法建立***方程和观 测方程对需要处理的信号做最小均方差的估计。

准备过程：

计算i时刻位置真实值和位置预估值之间的误差

是i时刻的预测值,X(i)是i时刻的实际值。误差计算出来后，接着可 以根据误差计算得到协方差矩阵：

建模实施：

首先建立时间更新方程：

其中U(i)是输入量，即输入的位置信息，

是i时刻的预测值；A是一 个状态转移矩阵，B是一个增益矩阵；W(i)是一个设定的噪声；

建立误差相关矩阵P，用来判断估计值是否准确：

Q是一个关于***噪声的协方差矩阵，是一个不断变化的值；P(i)是估计 误差的协方差矩阵，

是预测误差的协方差矩阵；

以上是预测过程；计算得到相应时刻的预测值后，对预测值做矫正；这 个过程是对测量值和真实值做一个比较和进一步的数据更新；

其中

是测量余量，Z(i)是测量值；

计算必要的卡尔曼增益：

卡尔曼滤波本身是一种最小均方差，均方差是P(i)的迹，所以对于求预测 误差协方差的式子求迹得到一个关于K_k的等式，最优估计的K_k值使得P(i)的 求迹最小，对这个等式左右同时对K_k求导，再利用矩阵微分的运算法则，令 微分结果为零得到K_k的计算表达式：

K_k＝P′(i)H^T(HP′(i)H^T+R)^-1

根据得到的卡尔曼增益可以用来求取并且更新预估量。对于i时刻的预估 量，通常可以这样处理，即利用卡尔曼系数做一个运算从而得到卡尔曼预测 值

这样就完成了利用估计值和测量余量对卡尔曼估计值的一个更新；

再更新协方差矩阵，同样的根据推导得到一个用卡尔曼增益表示的与预 测误差协方差：

P(i)＝(I-K_kH)P′(i)

卡尔曼预测抛体轨迹的过程可以总结为这样：

1步，首先P(0)，X(0)已知，然后由P(0)算出P′(1)，再由P′(1)算出K1， 有了这些参数后，结合观测值就能估计出X(1)，再利用K1更新P(1)。

2步，然后下次更新过程为由P(1)算出P′(2)，再由P′(2)算出K2，有了这 些参数后，结合观测值就能估计出X(2)，再利用K2更新P(2)。

根据不断的迭代和递推，最后一直推算到P(n)和X(n),完成一个完整的对 轨迹上各个位置的估计；

通过该模型根据目标物的情况随时更新其位姿信息，通过有效的回环检 测而得到其修正后的轨迹，根据Matlab工具的仿真获得相关的数据信息，得 到目标物落点区域。

当收到仿真结果后，由信号数据的发射和传输模块会将数据指令传送到 单片机***，单片机盒对云台控制，云台上的强光灯会对落点区域投射红色 强光，蜂鸣器警报。在坠物落地前使用醒目的激光灯对落点进行标注并辅以 声音报警来对行人进行提醒，并使用拦网进行拦截，避免行人受到伤害。从 而最大限度地保护行人的人身和财产安全。当预警完毕后，执行程序使得云 台自动初始化归位，继续处于待机状态。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表 述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描 述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同 时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属 于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有 详述的部分，可以参见其它实施例的相关描述。

以上为对本发明所提供的描述，对于本领域的技术人员，依据本发明实 施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明 书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于视觉传感与轨迹预测的高空抛物预警方法，其特征在于，该方法包括以下步骤：

步骤1、通过双目摄像头视频监控获取图像，使用灰度化和高斯滤波方法对初始图像进行形态学处理；

步骤2、通过5G通讯模块传输数据，接收端应用基于inception v4的基础上再训后的卷积神经网络算法，识别高空坠落物体类别，将其分为无威胁和有威胁两种模式；

步骤3、无威胁模式时***保持待机状态，减少因环境因素或微小扰动导致的误触发的情况，减少能源和***本身的损耗；

进入有威胁模式时，在识别坠物的同时，通过针对其可能的受力模式进行分析所建立的数学模型，对双摄像头所接收到的数据使用卡尔曼滤波法进行联合预测，预测出物体落点坐标并进行传输；

步骤4、接收到坐标的声光预警模块迅速处理数据，在坠物落地前使用醒目的激光灯对落点进行标注并辅以声音报警来对行人进行提醒，并使用拦网进行拦截，避免行人受到伤害。

2.根据权利要求1所述的基于视觉传感与轨迹预测的高空抛物预警方法，其特征在于，所述步骤1中对图像进行处理的方法包括：

将RGB彩色三通道图转换为单通道灰度图，进行高斯模糊，其中通过引入模板运算起到高斯模糊的效果，模板公式为：

其中，M(I,J)为对应的模板中矩阵元素的值，通过构造的模板的移动确定模板覆盖区域的像素加权运算去替代图像中心点像素的值；再运用OpenCV的creatBackgroundSubstractorKNN算法API对原始数据流进行处理，得到减除背景之后的差分图像，在差分图像的基础上再做进一步处理，包括灰度化，阈值处理在内的数字图像处理方法；最后针对优化后的图像做一个连通域的分析，获取其最大轮廓；得到用于检测抛物事件的视频数据。

3.根据权利要求1所述的基于视觉传感与轨迹预测的高空抛物预警方法，其特征在于，所述步骤2中基于inception v4的基础上再训后的卷积神经网络算法识别高空坠落物体类别，其方法为：

基于inception v4的基础上的再训练，根据CNN的理论，在图像识别中使用迁移学习，将每一个滤波器看作一个小的特征抓取器，根据inception v4训练好的模型的权重，构建了inception v4最上面的softmax层，使用适应使用环境的训练集重新训练。

4.根据权利要求1所述的基于视觉传感与轨迹预测的高空抛物预警方法，其特征在于，所述步骤3中进入有威胁模式时，在识别坠物的同时所建立的数学模型包括：

信息的采集选择获取抛物轨迹的俯视图和侧视图，俯视图和侧视图分别由两个方位上的摄像头提供；选取的特殊轨迹点信息为抛物运动抛出点的三维坐标和时间(x₀,y₀,z₀,t₀)，最高点三维坐标和时间(x₁,y₁,z₁,t₁)，下降过程中某点三维坐标和时间(x₂,y₂,z₂,t₂)；为了简化运算，选择在将运动轨迹向量分解到三个平面x,y,z中进行分别求解的基础上，对模型进行简化；x,y,z平面的确定为楼房正对的平面为y平面，地面为z平面，任意侧面为x平面；

①侧视图轨迹分析：

对于高空抛物，侧视图理解为一个类似于抛物线的轨迹对其进行竖坐标分析，取向上为正，则在上升阶段对物体进行受力分析：

ma_z＝-mg-v_z ²λ

其中f＝v_z ²λ为空气阻力，令mg＝c²λ，则有

整理并积分即可得到

计算整理得到

最后由竖直方向上速度的积分即为降落高度列出式子：

得到抛物运动的落地时刻t’；

再对其进行y坐标分析，取抛物运动方向为正，则对其进行受力分析：

ma＝-v_y ²λ

其中“-”表示受力方向，f＝v_y ²λ为受到的空气阻力的大小，对其进行变形积分可得

得到

带入采集轨迹点的数据可以得到v_y1和v_y2关于v_yo的表达式，又因为该变速过程存在

ma＝-v_y ²λ

三式联立即可解得v_y关于t的表达式，竖直方向分析时已经求得落地时刻为t’，故最终落点的y坐标为

其中，v_x为x轴方向上物体的运动速度，v_y为y轴方向上物体的运动速度，v_z为z轴方向上物体的运动速度，(x,y,z)为物体所处位置的坐标，c为常数，λ为空气阻力系数，m为物体的质量，g为重力加速度，f为空气阻力，(X,Y)为落点横纵坐标；

②俯视图轨迹分析：

由于在物体抛出的过程中，受力重力不会改变物体在水平方向上的轨迹，空气阻力一直与运动方向相反，故物体在水平维度上不会发生轨迹的偏移，所以俯视的轨迹应该是一条线段，根据起始点(x₀,y₀,z₀,t₀)和最高点(x₁,y₁,z₁,t₁)的数据能够得到抛物坐标x,y之间的线性关系：

带入由侧视图求得的落点的y坐标Y即可得到落点的x坐标X，即可得到落点的三维坐标及时间(X,Y,Z,t)，达到预测落点的目的，预测出物体落点坐标后进行传输。

5.根据权利要求1所述的基于视觉传感与轨迹预测的高空抛物预警方法，其特征在于，所述步骤3中使用卡尔曼滤波法进行联合预测，其方法为：

准备过程：

计算i时刻位置真实值和位置预估值之间的误差

是i时刻的预测值,X(i)是i时刻的实际值。误差计算出来后，接着可以根据误差计算得到协方差矩阵：

建模实施：

首先建立时间更新方程：

其中U(i)是输入量，即输入的位置信息，

是i时刻的预测值；A是一个状态转移矩阵，B是一个增益矩阵；W(i)是一个设定的噪声；

建立误差相关矩阵P，用来判断估计值是否准确：

Q是一个关于***噪声的协方差矩阵，是一个不断变化的值；P(i)是估计误差的协方差矩阵，

是预测误差的协方差矩阵；

以上是预测过程；计算得到相应时刻的预测值后，对预测值做矫正；这个过程是对测量值和真实值做一个比较和进一步的数据更新；

其中

是测量余量，Z(i)是测量值；

计算必要的卡尔曼增益：

卡尔曼滤波本身是一种最小均方差，均方差是P(i)的迹，所以对于求预测误差协方差的式子求迹得到一个关于K_k的等式，最优估计的K_k值使得P(i)的求迹最小，对这个等式左右同时对K_k求导，再利用矩阵微分的运算法则，令微分结果为零得到K_k的计算表达式：

K_k＝P′(i)H^T(HP′(i)H^T+R)^-1

根据得到的卡尔曼增益可以用来求取并且更新预估量。对于i时刻的预估量，通常可以这样处理，即利用卡尔曼系数做一个运算从而得到卡尔曼预测值

这样就完成了利用估计值和测量余量对卡尔曼估计值的一个更新；

再更新协方差矩阵，同样的根据推导得到一个用卡尔曼增益表示的与预测误差协方差：

P(i)＝(I-K_kH)P′(i)

根据不断的迭代和递推，最后一直推算到P(n)和X(n),完成一个完整的对轨迹上各个位置的估计；

通过该模型根据目标物的情况随时更新其位姿信息，通过有效的回环检测而得到其修正后的轨迹，根据Matlab工具的仿真获得相关的数据信息，得到目标物落点区域。

6.根据权利要求1所述的基于视觉传感与轨迹预测的高空抛物预警方法，其特征在于，所述步骤4的方法为：

当收到预测出物体落点坐标后，由信号数据的发射和传输模块会将数据指令传送到单片机***，单片机盒对云台控制，云台上的强光灯会对落点区域投射红色强光，蜂鸣器警报；在坠物落地前使用醒目的激光灯对落点进行标注并辅以声音报警来对行人进行提醒，并使用拦网进行拦截，避免行人受到伤害，从而最大限度地保护行人的人身和财产安全；当预警完毕后，执行程序使得云台自动初始化归位，继续处于待机状态。

7.一种基于视觉传感与轨迹预测的高空抛物预警***，其特征在于，该***包括：

摄像头模块，采用双目摄像头，用于获取监控抛物区的视频帧，并对视频帧进行图像的预处理，得到用于检测抛物事件的视频数据；预处理包括：使用灰度化和高斯滤波方法对初始图像进行形态学处理；

通信模块，采用5G通讯模块，用于将摄像头模块采集到的图像发送给接收端的运动物体目标追踪检测模块；并将落点预测结果及指令传递给联网报警模块和预警光源投射控制模块；

运动物体目标追踪检测模块，用于应用基于inception v4的基础上再训后的卷积神经网络算法，识别高空坠落物体类别，将其分为无威胁和有威胁两种模式；无威胁模式时***保持待机状态，减少因环境因素或微小扰动导致的误触发的情况，减少能源和***本身的损耗；进入有威胁模式时，在识别坠物的同时，通过针对其可能的受力模式进行分析所建立的数学模型，对双摄像头所接收到的数据使用卡尔曼滤波法进行联合预测，预测出物体落点坐标并进行传输；

联网报警模块，用于在接收到抛物下落的信号时产生相应声音报警；

预警光源投射控制模块，用于对坠落物落点进行标识和提醒，将本***警戒的范围划分为精度足够高的区域，预先在***内设置每个区域对应的云台控制参数，在算法完成对图像的处理后将预测的落点坐标进行反馈，使用查表的方式得出所需参数，使用激光灯进行照射，完成对行人的预警。

8.一种基于视觉传感与轨迹预测的高空抛物预警设备，包括存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1至6任一项所述的方法中的各个步骤。

Images