CN113093162A - 基于aiot与视频联动的人员轨迹追踪*** - Google Patents

Abstract

本发明提供了一种基于AIOT与视频联动的人员轨迹追踪***，包括：节点设置模块，用于设置参考节点和待定位的盲节点。环境衰减计算模块，用于获取盲节点与参考节点间的无遮挡环境衰减指数，对场景图像进行分析得到行人关键点、车辆关键点和第一参考节点，根据各车辆轮廓对传播路径的遮挡获得环境衰减补偿指数n′，并根据测距模型计算盲节点到各第一参考节点的距离。空间矩阵获取模块，用于根据参考节点图像生成参考节点矩阵，根据行人关键点得到第一定位范围图像和第二定位范围图像，为像素赋值得到空间特征矩阵。距离补偿模块，用于对空间特征矩阵进行分析得到距离补偿值，并结合之前得到的d，利用加权质心算法得到盲节点的准确坐标。

Description

基于AIOT与视频联动的人员轨迹追踪***

技术领域

本申请涉及无线定位领域，具体涉及一种基于AIOT与视频联动的人员轨迹追踪***。

背景技术

随着无线通信技术的不断发展，蓝牙、zigbee等短距离无线通信技术越来越成熟，短距离无线通信具有功耗低、易集成的特点。如今AIOT(人工智能物联网)快速崛起，AIoT需要收集终端的定位信息来进行数据的整合处理，所以利用短距离无线通信技术在小范围区域内进行精确定位对AIOT来说是必不可少的。

现有技术通常通过RSSI(接收信号强度指示)来估算待定位的无线信号收发端到多个用于参考的无线信号收发端的距离，并对待定位信号收发端进行定位。在无障碍的环境下利用RSSI进行定位准确率高，但在有障碍物的情况下，发送的信号会受障碍物影响产生阴影衰落，导致RSSI值变化，这时利用RSSI进行定位的精度会很不理想。同时信号传播的距离长短也会影响RSSI的值，传播距离较长时信号会产生多径衰落、路径损耗，如果不考虑信号在路径上的损耗也会降低定位精度。

发明内容

针对以上问题，本发明提出一种基于AIOT与视频联动的人员轨迹追踪***。***包括：节点设置模块，用于设置参考节点和待定位的盲节点。环境衰减计算模块，用于获取盲节点与参考节点间的无遮挡环境衰减指数n，对场景图像进行分析得到行人关键点、车辆关键点和第一参考节点，根据各车辆轮廓对传播路径的遮挡获得环境衰减补偿指数n′，并根据RSSI测距模型计算盲节点到各第一参考节点的距离d。空间矩阵获取模块，用于根据参考节点图像生成参考节点矩阵，以行人关键点为中心得到第一定位范围图像，平移得到第二定位范围图像，为像素赋值得到空间特征矩阵。距离补偿模块，用于对空间特征矩阵进行分析得到距离补偿值，并结合之前得到的d，利用加权质心算法得到盲节点的准确坐标。

一种基于AIOT与视频联动的人员轨迹追踪***，其特征在于，该***包括：

节点设置模块，用于设置参考节点和待定位的盲节点；

环境衰减计算模块，用于获取盲节点与参考节点间的无遮挡环境衰减指数n，对场景图像进行分析得到行人关键点、车辆关键点，选出离行人关键点最近的4个第一参考节点，将车辆关键点连接得到车辆轮廓，根据各车辆轮廓对传播路径的遮挡长度获得环境衰减补偿指数n′，所述传播路径为行人关键点和第一参考节点所连线段，根据n′、n、RSSI测距模型计算盲节点到各第一参考节点的距离；

空间矩阵获取模块，用于根据第一参考节点围成的参考节点图像生成参考节点矩阵，以行人关键点为中心得到第一定位范围图像，对第一定位范围图像进行平移得到第二定位范围图像，利用高斯核为第一定位范围图像和第二定位范围图像中像素赋值，输出第一定位范围矩阵和第二定位范围矩阵，叠加参考节点矩阵、第一定位范围矩阵、第二定位范围矩阵得到空间特征矩阵；

距离补偿模块，用于对空间特征矩阵进行分析得到距离补偿值，并结合盲节点到各第一参考节点的距离，利用加权质心算法得到盲节点的准确坐标。

所述参考节点为网格式分布，所述盲节点由行人携带。

所述无遮挡环境衰减指数的获取方法为：在无遮挡时，根据RSSI测距模型计算两两第一参考节点间传播路径的无遮挡环境衰减指数；将第i个第一参考节点A_i与行人关键点连接得到传播路径l′_i，找到除A_i外离行人关键点最近的两个第一参考节点A_i1、A_i2，连接得到线段A_iA_i1、A_iA_i2，过行人关键点做到A_iA_i1、A_iA_i2垂线l_i1、l_i2，则第i个第一参考节点对应的传播路径A_iA_ij权重为

j取值为1或2。

A_i到行人关键点传播路径的无遮挡环境衰减指数

为传播路径A_iA_ij的无遮挡环境衰减指数。

所述环境衰减补偿指数的获取方法为：对于第i个第一参考节点与行人关键点间的传播路径l′_i，

m_g为场景图像中汽车总数，l_g为第g个车辆遮挡传播路径l′_i的长度，E_g为第g个车辆单位遮挡长度的环境衰减补偿指数；最终获得各个第一参考节点到行人关键点传播路径上的修正环境衰减指数n″＝n+n′。

所述E_g的计算方法为：对所有进入场景图像的车辆进行编号，在第g个车辆遮挡两参考节点之间的传播路径l_A时，计算传播路径l_A的环境衰减指数n″_g，并根据l_A的无遮挡环境衰减指数n_g和车辆轮廓对l_A的遮挡长度l′_A，计算

所述第一定位范围图像的长宽比与参考节点图像的长宽比相同，第一定位范围图像与参考节点图像的周长之比为k，

l_gi为第g个车辆轮廓对第i个第一参考节点与行人关键点间传播路径的遮挡长度，μ为映射因子，m_g为场景图像中汽车总数。

所述对第一定位范围图像进行平移得到第二定位范围图像，具体包括：计算行人关键点(x_e，y_e)与参考节点图像中心点(x₀,y₀)的坐标差值，Δx＝x_e-x₀，Δy＝y_e-y₀；横坐标平移量为Δx′＝kΔx、纵坐标平移量为Δy′＝kΔy，根据横、纵坐标平移量对第一定位范围图像进行平移得到第二定位范围图像。

所述利用高斯核为第一定位范围图像和第二定位范围图像中像素赋值具体为：高斯核尺寸等于第一定位范围图像最长边的边长，分别以两个定位范围图像的中心点为高斯核的中心，将高斯核中的值赋给第一、第二定位范围图像对应的像素。

所述距离补偿模块包括：二维卷积编码器层，用于拟合空间特征矩阵中的空间特征，经过展开操作后得到一维特征向量；全连接网络层，用于处理一维特征向量，得到距离补偿值；定位算法层，用于根据补偿后的距离和第一参考节点的坐标，采用加权质心算法计算盲节点的准确坐标。

加权质心算法为：

(x、y)为盲节点的准确坐标，(x₁，y₁)、(x₂，y₂)、(x₃，y₃)、(x₄，y₄)为第一参考节点的坐标，d₁、d₂、d₃、d₄为环境衰减计算模块得到的盲节点到四个第一参考节点的距离，d′₁、d′₂、d′₃、d′₄为各个第一参考节点的距离补偿值。

本发明和现有技术相比有如下有益效果：

(1)根据图像获得参考节点到盲节点的距离，并对环境衰减系数进行加权，考虑了盲节点到参考节点的距离，提高了无障碍物时定位精度。

(2)通过神经网络识别图像中障碍物，并根据障碍物轮廓对节点间信号传播路径的阻挡调整环境衰减指数，实现了环境衰减指数的动态调整，使定位方法适应性更强，能在不同的遮挡情况下调整环境衰减指数。

(3)通过视频对行人关键点进行粗定位，结合行人关键点到节点区域四个节点的距离生成定位范围矩阵，通过神经网路提取矩阵中误差范围内点和四个节点的空间关系，来对加权质心定位算法进行补偿，能更准确地获得盲节点的定位。

附图说明

图1为***结构图。

图2为第一参考节点围成区域图。

图3为车辆遮挡图。

图4为距离补偿模块结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例一：

本发明的主要目的是实现盲节点的精确定位。

为了实现本发明所述内容，本发明设计了一种基于AIOT与视频联动的人员轨迹追踪***，***结构图如图1所示。

RSSI就是接受信号强度指示，本发明针对的是在有车辆来往的区域对携带信号收发装置的人员进行定位，在实际信号传播中，能够根据接受信号强度来确定传播距离。测距公式为

RSSI为信号接收节点收到信号的强度，d为信号发送节点到信号接收节点的距离，d₀为参考距离，为了计算方便d₀通常取1m。此时A就表示接收节点与发送节点之间距离为1m时接收节点接收到的信号强度值。n为环境衰减指数值，表示环境对信号强度的影响大小，与当前环境的复杂程度有关。在n、A、RSSI值已知后，即可根据测距公式计算节点之间的距离d。

节点设置模块。

所述节点设置模块用于接收盲节点的信号，实际应用场景中将待定位的节点称为盲节点，用于定位盲节点的节点称为参考节点，参考节点的位置是已知的。盲节点为行人携带的无线信号收发装置。要实现盲节点的定位需要获得多个参考节点到盲节点的距离d，满足多个d的位置即为盲节点的位置。

首先设置好参考节点并记录参考节点的位置，需要说明的是，参考节点为网格状分布，按顺序连接参考节点可以组成网格状区域。

环境衰减计算模块。

所述环境衰减计算模块用于根据视频来测算盲节点到参考节点的修正环境衰减指数，以提高RSSI测距的准确性。本发明通过图像数据来检测环境中知否存在遮挡，所以需要设置相机。所述相机为广角相机，拍摄范围较大，广角相机的位姿固定，能覆盖整个监控区域。盲节点由行人携带，所以可以根据图像中行人位置得到盲节点的大概位置。

本发明针对监控区域内有来往车辆的情况，计算环境衰减补偿指数n′。在监控区域内车辆是不停移动的，所以由车辆遮挡造成的阴影衰落是动态变化的，环境衰减补偿指数也应该是动态变化的。本发明通过视频识别来实时检测车辆对信号传输路径的遮挡长度来计算环境衰减补偿指数n′。

广角相机采集场景图像，并通过关键点识别网络检测场景图像中关键点，所述关键点包括行人关键点和车辆关键点，行人关键点为人体两脚中心点连线的中点，车辆关键点为车辆的轮子与地面接触的点。行人关键点即盲节点的粗定位，本发明通过人携带的信号接收装置来接收参考节点发送的信号，所以需要获取各个参考节点与行人关键点间的传播路径上车辆的遮挡长度。

关键点识别网络的训练步骤为：以多张场景图像为数据集；对数据集进行标注，标注为场景图像中行人关键点和各个汽车的车辆关键点，生成标注数据；采用均方误差损失函数进行训练。

训练完成后，将场景图像输入训练好的关键点识别网络，检测行人关键点和各个汽车的车辆关键点，并得到关键点在图像坐标系中的坐标。将属于同一汽车的车辆关键点按顺序连接得到车辆轮廓，输出关键点图像。

通过单应性矩阵进行投影变换，将关键点图像转化为俯视视角的图像。广角相机位姿固定，所以可以通过其内参外参获得单应性矩阵来将关键点图像转化为俯视图。投影变换方法多样且公知，不作为本发明的保护内容。在俯视图中建立图像坐标系，获取关键点和参考节点的坐标。

相同条件下信号传播的路径越短，信号在传播中的损耗就越小，所以根据RSSI对盲节点定位不需要所有的参考节点，只需要离行人关键点较近的参考节点即可。本发明选择离行人关键点最近的4个第一参考节点A，第一参考节点围成区域图像如图2。将行人关键点与各第一参考节点A相连，得到四个信号传播路径l′。

首先根据RSSI数学模型计算无遮挡时两两第一参考节点间的无遮挡环境衰减指数n；再将第i个第一参考节点A_i与行人关键点连接得到连线l′_i，找到除A_i外离行人关键点最近的两个第一参考节点A_i1、A_i2，连接得到传播路径A_iA_i1、A_iA_i2，这两条传播路径上的无遮挡环境衰减指数是已知的，为

本发明对

进行加权运算来得到l′_i对应的无遮挡环境衰减指数。过行人关键点做到A_iA_i1、A_iA_i2垂线段l_i1、l_i2，信号传播路径A_iA_ij权重为

j取1或2。得到两个传播路径的权值后，将权值和对应的无遮挡环境衰减指数相乘并相加得到A_i到行人关键点传播路径的无遮挡环境衰减指数环境衰减指数

在车辆从外部进入摄像机拍摄范围内，即进入场景图像时，就会检测到车辆的轮廓，对每个车辆轮廓进行编号，可以利用目标跟踪技术在后续的场景图像中找到对应编号的车辆轮廓。

每个车辆的长度、宽度和内部的结构不同，对传播路径的遮挡程度也不同，即对应的环境衰减指数不同。参考节点间环境衰减指数是已知的，可以在车辆轮廓遮挡参考节点间传播路径时计算各个车辆单位遮挡长度的环境衰减补偿指数E_g。具体方法为：

对场景图像中所有的车辆进行编号，在第g个车辆遮挡两参考节点之间的传播路径l_A且l_A只被该车辆遮挡时，计算传播路径l_A的环境衰减指数n″_g，同时获取车辆轮廓对l_A的遮挡长度l′_A。已知传播路径l_A的无遮挡环境衰减指数n_g，则可以计算第g个车辆单位遮挡长度的环境衰减补偿指数

对于第i个第一参考节点与行人关键点间的传播路径l′_i，则需要检测各车辆轮廓对l′_i的遮挡长度并结合E_g来算出环境衰减补偿指数n′，车辆遮挡图如图3。

m_g为场景图像中汽车总数，l_g为第g个车辆遮挡传播路径l′_i的长度，E_g为第g个车辆单位遮挡长度的环境衰减补偿指数。最终获得各个第一参考节点到行人关键点传播路径上的修正环境衰减指数n″＝n+n′。

结合行人关键点与各个参考节点之间信号的RSSI值和修正环境衰减指数n″，即可根据RSSI测距模型计算出盲节点到各个节点的距离d，设盲节点到对应第一参考节点的四个距离分别为d₁、d₂、d₃、d₄。

空间矩阵获取模块。

获得各个节点到盲节点的距离d后，即可根据加权质心算法计算盲节点的坐标，但环境衰减计算模块得到的d没有考虑到信号传播过程中的多径衰落，计算出的d不够准确，为了提高加权质心算法的精确度，本发明采用距离补偿模块进行距离补偿。

本发明通过空间特征矩阵表征盲节点和参考节点在空间上的关系，得到空间特征矩阵的步骤为：

将第一参考节点围成矩形的参考节点图像，根据参考节点图像生成参考节点矩阵，参考节点图像中一个像素对应参考节点矩阵中一个元素，给参考节点矩阵中所有元素赋0值。

以行人关键点为中心得到第一定位范围图像，所述第一定位范围图像为矩形。其长宽比和参考节点图像的长宽比相同，第一定位范围图像的长边与参考节点图像的长边平行。第一定位范围图像与参考节点图像的周长之比为k，

l_gi为第g个车辆轮廓对第i个第一参考节点与行人关键点间传播路径的遮挡长度，m_g为场景图像中汽车总数，μ为映射因子，μ的优选值为0.0045。算出k之后即可令参考节点图像的长和宽与k相乘得到第一定位范围矩阵的长和宽。

对第一定位范围图像进行平移得到第二定位范围图像，具体步骤为：计算行人关键点(x_e，y_e)与参考节点图像中心点(x₀,y₀)的坐标差值，Δx＝x_e-x₀，Δy＝y_e-y₀；横坐标平移量为Δx′＝kΔx、纵坐标平移量为Δy′＝kΔy，根据横、纵坐标平移量对第一定位范围图像进行平移后得到第二定位范围图像。

然后利用高斯核为第一定位范围图像和第二定位范围图像中像素赋值，高斯核尺寸等于第一定位范围图像最长边的边长，分别以两个定位范围图像的中心点为高斯核的中心，将高斯核中的值赋给第一、第二定位范围图像对应的像素。输出第一定位范围矩阵和第二定位范围矩阵。

将参考节点矩阵、第一定位范围矩阵、第二定位范围矩阵叠加起来得到空间特征矩阵。

距离补偿模块。包括二维卷积编码器层、全连接网络层、定位算法层，距离补偿模块结构如图4。用于分析空间特征矩阵，计算盲节点的准确坐标。

将空间特征矩阵输入距离补偿网络，运行时通过二维卷积编码器层对特征矩阵中的空间特征进行拟合，经过展开操作后得到一维特征向量；将所述一维特征向量输入全连接网络层，最终输出4个参考节点的距离补偿值d′；将d′输入定位算法层，通过补偿过的加权质心算法得到盲节点的准确坐标。所述加权质心算法为：

(x、y)为盲节点的准确坐标，(x₁，y₁)、(x₂，y₂)、(x₃，y₃)、(x₄，y₄)为第一参考节点的坐标，d₁、d₂、d₃、d₄为环境衰减计算模块得到的盲节点到四个第一参考节点的距离，d′₁、d′₂、d′₃、d′₄为各个第一参考节点的距离补偿值。

距离补偿网络的训练步骤为：以若干张空间特征矩阵为数据集；对数据集进行标注，标注为盲节点的真实坐标，生成标注数据；使用均方误差损失函数进行训练。

完成训练后，将空间特征矩阵输入训练好的距离补偿网络，根据空间特征计算距离补偿值，最终输出盲节点的准确坐标。

将盲节点的准确定位展示在二维GIS地图上，并且可以跟踪指定盲节点，获取盲节点的轨迹，即可以跟踪装备信号接收设备人员的移动轨迹。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于AIOT与视频联动的人员轨迹追踪***，其特征在于，该***包括：

节点设置模块，用于设置参考节点和待定位的盲节点；

环境衰减计算模块，用于获取盲节点与参考节点间的无遮挡环境衰减指数n，对场景图像进行分析得到行人关键点、车辆关键点，选出离行人关键点最近的4个第一参考节点，将车辆关键点连接得到车辆轮廓，根据各车辆轮廓对传播路径的遮挡长度获得环境衰减补偿指数n′，所述传播路径为行人关键点和第一参考节点所连线段，根据n′、n、RSSI测距模型计算盲节点到各第一参考节点的距离；

空间矩阵获取模块，用于根据第一参考节点围成的参考节点图像生成参考节点矩阵，以行人关键点为中心得到第一定位范围图像，对第一定位范围图像进行平移得到第二定位范围图像，利用高斯核为第一定位范围图像和第二定位范围图像中像素赋值，输出第一定位范围矩阵和第二定位范围矩阵，叠加参考节点矩阵、第一定位范围矩阵、第二定位范围矩阵得到空间特征矩阵；

距离补偿模块，用于对空间特征矩阵进行分析得到距离补偿值，并结合盲节点到各第一参考节点的距离，利用加权质心算法得到盲节点的准确坐标。

2.如权利要求1所述的***，其特征在于，所述参考节点为网格式分布，所述盲节点由行人携带。

3.如权利要求1所述的***，其特征在于，所述无遮挡环境衰减指数的获取方法为：

在无遮挡时，根据RSSI测距模型计算两两第一参考节点间传播路径的无遮挡环境衰减指数；

将第i个第一参考节点A_i与行人关键点连接得到传播路径l′_i，找到除A_i外离行人关键点最近的两个第一参考节点A_i1、A_i2，连接得到线段A_iA_i1、A_iA_i2，过行人关键点做到A_iA_i1、A_iA_i2垂线l_i1、l_i2，则第i个第一参考节点对应的传播路径A_iA_ij权重为

j取值为1或2；

A_i到行人关键点传播路径的无遮挡环境衰减指数

为传播路径A_iA_ij的无遮挡环境衰减指数。

4.如权利要求3所述的***，其特征在于，所述环境衰减补偿指数的获取方法为：

对于第i个第一参考节点与行人关键点间的传播路径l′_i，

m_g为场景图像中汽车总数，l_g为第g个车辆遮挡传播路径l′_i的距离，E_g为第g个车辆单位遮挡长度的环境衰减补偿指数；

最终获得各个第一参考节点到行人关键点传播路径上的修正环境衰减指数n″＝n+n′。

5.如权利要求4所述的***，其特征在于，所述E_g的计算方法为：

对所有进入场景图像的车辆进行编号，在第g个车辆遮挡两参考节点之间的传播路径l_A时，计算传播路径l_A的环境衰减指数n″_g，并根据l_A的无遮挡环境衰减指数n_g和车辆轮廓对l_A的遮挡长度l′_A，计算

6.如权利要求1所述的***，其特征在于，所述第一定位范围图像的长宽比与参考节点图像的长宽比相同，第一定位范围图像与参考节点图像的周长之比为k，

l_gi为第g个车辆轮廓对第i个第一参考节点与行人关键点间传播路径的遮挡长度，μ为映射因子，m_g为场景图像中汽车总数。

7.如权利要求6所述的***，其特征在于，所述对第一定位范围图像进行平移得到第二定位范围图像，具体包括：

计算行人关键点(x_e，y_e)与参考节点图像中心点(x₀，y₀)的坐标差值，Δx＝x_e-x₀，Δy＝y_e-y₀；

横坐标平移量为Δx′＝kΔx、纵坐标平移量为Δy′＝kΔy，根据横、纵坐标平移量对第一定位范围图像进行平移得到第二定位范围图像。

8.如权利要求1所述的***，其特征在于，所述利用高斯核为第一定位范围图像和第二定位范围图像中像素赋值具体为：高斯核尺寸等于第一定位范围图像最长边的边长，分别以两个定位范围图像的中心点为高斯核的中心，将高斯核中的值赋给第一、第二定位范围图像对应的像素。

9.如权利要求1所述的***，其特征在于，所述距离补偿模块包括：

二维卷积编码器层，用于拟合空间特征矩阵中的空间特征，经过展开操作后得到一维特征向量；

全连接网络层，用于处理一维特征向量，得到距离补偿值；

定位算法层，用于根据补偿后的距离和第一参考节点的坐标，采用加权质心算法计算盲节点的准确坐标；

加权质心算法为：

(x、y)为盲节点的准确坐标，(x₁，y₁)、(x₂，y₂)、(x₃，y₃)、(x₄，y₄)为第一参考节点的坐标，d₁、d₂、d₃、d₄为环境衰减计算模块得到的盲节点到四个第一参考节点的距离，d′₁、d′₂、d′₃、d′₄为各个第一参考节点的距离补偿值。

Images