CN117237597A - 一种基于北斗卫星数据与ai图形融合的数据处理终端 - Google Patents

Abstract

本发明公开了一种基于北斗卫星数据与AI图形融合的数据处理终端，包括：主控单元、成像模块、北斗定位模块、北斗授时模块、通信模块、短报文模块、存储模块及电源模块，所述终端设置于铁塔塔身，所述成像模块以设定的时间间隔连续获取相邻铁塔的图像，并对图像标注由北斗授时模块生成的时间戳，将附带时间戳的图像发送至主控单元，所述电源模块终端中其他模块供电；主控单元对收到的图像进行预处理，使用稀疏光流算法计算相邻两幅图像中角点的偏移向量，使用偏移向量判断铁塔是否倾斜。本发明结合北斗授时和北斗定位，可以准确快速地识别到铁塔的倾斜，准确报告故障点。

Description

一种基于北斗卫星数据与AI图形融合的数据处理终端

技术领域

本发明属于图像处理技术领域，特别涉及一种基于北斗卫星数据与AI图形融合的数据处理终端。

背景技术

铁塔是指用钢铁材料建成的高塔，传统的铁塔可以用于铁路、电力、通讯等技术领域。铁塔一般建立在深山老林、偏远地区，由于地震、地址灾害等原因，铁塔所在的位置处地质可能会发生变化，容易发生倾斜，使得铁塔随着地基一并倾斜，当倾斜角度达到一定程度时，会使得铁塔的根开和塔腿高差发生变化，塔体结构产生较大的附加应力，严重时会造成塔体局部破坏或整体发生倒塌，在风吹、覆冰等受外力状况下，很容易发生倒塌，直接威胁铁塔安全及线路的稳定运行。传统的对铁塔倾斜状况的检测主要靠人工定期巡线完成，存在检测难度较高的问题。

光流(optical flow)是空间运动物体在观察成像平面上的像素运动的瞬时速度。光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。公布号为“CN105023278B”的中国发明专利提出一种基于光流法的运动目标跟踪方法及***，所述方法包括提供视频图像并对所述图像进行预处理生成预处理图像；对预处理图像进行边缘检测以及利用光流法对预处理图像进行提取目标信息，并根据边缘检测的信息和提取到的目标信息融合生成完整的运动目标；利用光流法对所述运动目标进行估计分析且采用基于特征点轨迹的向前向后误差算法对剔除由于光照产生的错误匹配点；创建模板图像并进行模板图像匹配对运动目标进行跟踪。光流法检测图像中物体的偏移幅度和偏移方向，根据偏移方向可以剔除正常摆动的干扰，但是，常规的光流法需要对灰度图像中所有的像素进行检测，存在检测效率低的问题。

发明内容

本发明提供一种基于北斗卫星数据与AI图形融合的数据处理终端，在进行铁塔倾斜检测时，融合北斗卫星数据和图像处理数据，并对光流法进行改进，旨在解决使用常规光流法进行铁塔倾斜检测时存在的检测效率低、准确率不足的问题。

本发明提出的数据处理终端，包括：主控单元、成像模块、北斗定位模块、北斗授时模块、通信模块、短报文模块、存储模块及电源模块，所述终端设置于铁塔塔身，所述成像模块以设定的时间间隔连续获取相邻铁塔的图像，并对所述图像标注由北斗授时模块生成的时间戳，将附带时间戳的图像发送至主控单元，所述电源模块终端中其他模块供电。

所述主控单元被配置为执行以下铁塔倾斜检测方法：

S1：主控单元接收成像模块发送的图像，对图像进行预处理，生成边缘图像，再将边缘图像按时间顺序保存至存储模块，所述预处理包括依序设置的灰度化、两次下采样及边缘检测，所述边缘检测分别对灰度化、第一次下采样及第二次下采样输出的图像进行检测，输出三个尺度的边缘图像。

S2：主控单元将存储模块中每两幅连续的三个尺度的边缘图像进行比对，比对方法采用稀疏光流算法，首先计算第一幅边缘图像中的角点，计算所述角点在两幅连续边缘图像之间的位移幅度及方向。

S3：主控单元比较被拍摄铁塔上终端的定位偏移值和终端对应角点处位移幅度，首先根据北斗定位模块获取的定位偏移方向与边缘图像的偏移方向之间的夹角，将北斗定位模块获取的偏移幅度转换为边缘图像方向上的偏移幅度，再将转换后的偏移幅度表示为像素单位的偏移值，得到定位偏移值，将定位偏移值与对应角点处位移幅度偏差不超过3个像素的边缘图像作为偏移图像。

S4：主控单元根据偏移图像判定铁塔是否发生倾斜，根据偏移图像所有角点的偏移向量计算对应的偏移距离，再计算偏移距离的标准差，将标准差不小于2的边缘图像判定为倾斜，标准差小于2的边缘图像判定为整体偏移。若判定铁塔发生倾斜，再根据位移方向确定是否为正常摇摆，若判定为非正常摇摆，则分别通过通信模块及短报文模块向管理平台发送告警信息，所述告警信息还包括由北斗定位模块生成的位置信息。

优选的，所述边缘检测采用自适应阈值的Canny算法，根据图像的统计特征自动选择合适的阈值，检测步骤包括：

高斯滤波，用于平滑输入的灰度图像，滤除噪声，得到滤波图像。

使用Sobel算子计算滤波图像中每个像素点的梯度幅值和方向。

对所有梯度幅值应用非极大值抑制，用于消除边缘检测带来的杂散响应。

应用自适应的高低双阈值检测确定强边缘、非边缘及弱边缘。

边缘连接，将弱边缘点与邻近的强边缘点连接起来。

优选的，所述自适应阈值的高低双阈值的获取方法为：首先计算输入图像的灰度直方图，根据灰度直方图计算灰度值中位数，再根据灰度值中位数及预设的sigma值计算高阈值及低阈值，计算公式如下：

min＝(1-σ)×median

max＝(1+σ)×median

式中，min为用于Canny算法的低阈值，max为用于Canny算法的高阈值，σ为预设的sigma值，median为根据灰度直方图计算得到的灰度值中位数。若计算得到高阈值max>255，则将max设置为255。

优选的，所述角点的检测方法为：

S2-1：在边缘图像中选取一个灰度值为255的白色像素点P。

S2-2：以所述白色像素为中心画一个半径为3像素的离散化圆，所述离散化圆的边界上有16个边界像素。

S2-3：若所述离散化圆的16个边界像素存在连续10个灰度值为0的像素，则将点P判定为角点。

S2-4：重复步骤S2-1至S2-3，遍历边缘图像中所有像素点，获得边缘图像中的所有角点。

优选的，所述稀疏光流算法具体为：

对于第一幅边缘图像中一角点，在第一幅边缘图像中以角点为中心定义一个正方形的第一邻域窗口。

构建初始偏移向量(u＝0,v＝0)，使用所述初始偏移向量在第二幅边缘图像获取与第一邻域窗口相同大小的第二邻域窗口，若第二邻域窗口与第一邻域窗口不相同，更改偏移向量重新获取第二邻域窗口，迭代调整偏移向量直至在第二幅边缘图像中获取的第二邻域窗口与第一邻域窗口相同，本次迭代使用的偏移向量作为所述一角点的最佳偏移向量。

遍历第一幅边缘图像所有角点，获取所有角点的最佳偏移向量。

将角点的最佳位移向量可视化为箭头形式。

优选的，所述邻域窗口的大小设置为7×7像素。

优选的，所述通信模块通过移动网络、无线网桥或电力综合数据网与管理平台进行通信，将告警信息或图像发送至管理平台。

优选的，所述通信模块还接收管理平台的控制指令，将控制指令转发至主控单元，由主控单元根据接收的控制指令控制对应模块工作。

优选的，所述电源模块为太阳能供电***，包括太阳能面板以及同所述太阳能面板连接的蓄电池。

与现有技术相比，本发明具有以下技术效果：

1.本发明提出的数据处理终端采用主控单元实时计算输入图像中铁塔的位移，根据计算结果对铁塔倾斜发出告警信息，结合北斗授时模块获取的精确时间，融合图像处理计算得到的计算倾斜幅度和北斗定位的偏移值来综合判定铁塔是否倾斜，有效降低单一手段判定铁塔倾斜的误差，提高铁塔倾斜检测的准确率；采用改进的光流法计算铁塔位移，可有效提高图像处理的效率。

2.本发明提出的铁塔倾斜检测方法对输入的图像进行预处理，包括依序设置的灰度化、两次下采样及边缘检测，边缘检测算法能够有效地检测出图像中的边缘，因此使用边缘图像作为光流法的输入可以提供更准确的边缘信息，有助于光流法更精确地计算像素的运动矢量，从而得到更可靠的运动计算结果；常规的光流法对整个图像进行像素级别的计算，而使用边缘图像可以将光流计算限制在图像的边缘区域，这样可以减少计算量，提高运行速度，并且更集中地关注边缘区域的运动情况；因此，将边缘图像用作光流法的输入可以提供更准确、更快速和更精细的运动计算结果。

3.本发明提出的铁塔倾斜检测方法进行边缘检测时采用自适应的高低阈值，不再需要手动选择阈值并多次调参来决定边缘像素和非边缘像素的划分，不同图像和应用场景可以自动计算得到不同的阈值，根据图像的统计特征或局部像素信息来自动选择合适的阈值，对于不同环境下获取到的图像均有很好的边缘检测效果，可适应铁塔工作环境中的各种不同天气气候，提高对铁塔图像进行边缘检测的鲁棒性。

4.本发明提出的铁塔倾斜检测方法使用稀疏光流算法分别计算铁塔上若干点在两幅连续图像中的位移幅度及位移方向，位移幅度用于判定铁塔是否发生位移，位移方向可用于排除铁塔因为环境因素产生的正常摇摆，减少误报，提高铁塔倾斜检测的准确率。

5.本发明提出的铁塔倾斜检测方法使用稀疏光流算法，只需计算图像中若干角点的位移幅度及方向，相比稠密光流算法对图像中所有像素的位移幅度及方向进行检测，可大大节省计算成本，提高计算效率。

6.本发明提出的数据处理终端之间采用移动网络、无线网桥或电力综合数据网的方式进行通信，可根据铁塔的实际环境选择合适的通信方式，有效提高部署的灵活性。

7.本发明提出的数据处理终端包括北斗短报文模块，可使用北斗短报文模块发送告警信息，在通信模块无法正常工作的状况下，提供冗余的通信链路，保障告警信息的及时发送，提高铁塔倾斜检测***的鲁棒性。

附图说明

图1是本发明实施例的数据处理终端结构示意图；

图2是本发明实施例的成像终端部署及成像模块成像示意图；

图3是本发明实施例的数据处理终端中主控单元处理流程示意图；

图4是本发明实施例的预处理流程示意图；

图5是本发明实施例的灰度化图像的灰度直方图；

图6是本发明实施例的角点检测示意图；

图7是本发明实施例角点检测过程中的离散化圆示意图；

图8是本发明实施例边缘图像的角点示意图；

图9是本发明实施例的邻域窗口示意图；

图10是本发明实施例的部分角点偏移向量示意图；

图11是本发明实施例的部分角点偏移可视化示意图。

附图标记：1、主控单元；2、成像模块；3、北斗定位模块；4、北斗授时模块；5、通信模块；6、短报文模块；7、存储模块；8、电源模块；91、第一铁塔；92、第二铁塔；93、第三铁塔。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例，并参照附图，对本发明的技术方案进行清楚、完整地描述。

如图1所示，一种基于北斗卫星数据与AI图形融合的数据处理终端，包括：主控单元1、成像模块2、北斗定位模块3、北斗授时模块4、通信模块5、短报文模块6、存储模块7及电源模块8。

铁塔及终端的部署如图2所示，第二铁塔92有两座相邻的铁塔：第一铁塔91和第三铁塔93。所述终端设置于铁塔塔身，所述成像模块2以设定的时间间隔连续获取相邻铁塔的图像，所述成像模块2获取图像的时间间隔可设置为1～120分钟之间的任意值，必要时可由主控单元1根据管理平台的指令进行调整。成像模块2还对获取的图像标注上时间戳，时间戳由北斗授时模块4负责生成，标注上时间戳后，成像模块2将附带时间戳的图像发送至主控单元1。第二铁塔92上部署的终端可获取并处理第一铁塔91及第三铁塔93的图像，相应的，第一铁塔91上部署的终端可获取并处理第二铁塔92及与第一铁塔91相邻的另一座铁塔的图像，第三铁塔93上部署的终端可获取并处理第二铁塔92及与第三铁塔93相邻的另一座铁塔的图像。

所述电源模块8终端中其他模块供电，电源模块8为太阳能供电***，包括太阳能面板以及同所述太阳能面板连接的蓄电池。所述通信模块5通过移动网络、无线网桥或电力综合数据网与管理平台进行通信，采用的通信方式可根据铁塔的实际环境选择，有效提高部署的灵活性，将告警信息或图像发送至管理平台。所述通信模块5还接收管理平台的控制指令，将控制指令转发至主控单元1，由主控单元1根据接收的控制指令控制对应模块工作。

如图3所示，所述主控单元1被配置为执行以下铁塔倾斜检测方法：

S1：主控单元1接收成像模块2发送的图像，对图像进行预处理，生成边缘图像，再将边缘图像按时间顺序保存至存储模块7，所述预处理包括依序设置的灰度化、两次下采样及边缘检测，所述边缘检测分别对灰度化、第一次下采样及第二次下采样输出的图像进行检测，输出三个尺度的边缘图像。

S2：主控单元1将存储模块7中每两幅连续的三个尺度的边缘图像进行比对，对于每张图像生成的三个尺度的边缘图像，分别使用稀疏光流算法进行比对，得到三个比对结果，只有在至少两个比对结果相同的情况下，才采用多数的比对结果。比对方法采用稀疏光流算法，首先计算第一幅边缘图像中的角点，计算所述角点在两幅连续边缘图像之间的位移幅度及方向。在计算机视觉中，角点(corner)也称为兴趣点(interest points)、关键点(key points)或特征点(feature points)，广泛用于解决对象识别、图像匹配、视觉跟踪、3D重建等领域的问题。角点通常被定义为两条边的交点，更严格的说法是，角点的局部邻域应该具有两个不同区域的不同方向的边界。在实际的应用中，大多数角点检测方法检测的是拥有特定特征的图像点，而不仅仅是“角点”。这些特征点在图像中有具体的坐标，并具有某些数学特征，如局部最大或最小灰度、某些梯度特征等。

S3：主控单元1比较被拍摄铁塔上终端的定位偏移值和终端对应角点处位移幅度，首先根据北斗定位模块3获取的定位偏移方向与边缘图像的偏移方向之间的夹角，将北斗定位模块获取3的偏移幅度转换为边缘图像方向上的偏移幅度，再将转换后的偏移幅度表示为像素单位的偏移值，得到定位偏移值，将定位偏移值与对应角点处位移幅度偏差不超过3个像素的边缘图像作为偏移图像。

S4：主控单元1根据偏移图像判定铁塔是否发生倾斜，根据偏移图像所有角点的偏移向量计算对应的偏移距离，再计算偏移距离的标准差，将标准差不小于2的边缘图像判定为倾斜，标准差小于2的边缘图像判定为整体偏移。若判定铁塔发生倾斜，再根据位移方向确定是否为正常摇摆，若判定为非正常摇摆，则分别通过通信模块5及短报文模块6向管理平台发送告警信息，所述告警信息还包括由北斗定位模块3生成的位置信息。

在步骤S1中，如图4所示，所述预处理包括依序设置的灰度化、两次下采样及边缘检测。成像模块2采集的铁塔图像传输到主控单元1后，主控单元1首先对输入的图像进行灰度化，将RGB通道的彩色输入图像转换为灰度图像；灰度图像经过一次下采样操作，生成第一下采样图像；第一下采样图像再经过一次下采样操作，生成第二下采样图像。对灰度图像、第一下采样图像及第二下采样图像分别进行边缘检测，获得三个不同尺度的边缘图像。通过对原灰度图像进行下采样，得到第一下采样图像和第二下采样图像，可以获取不同尺度下的图像信息。不同尺度的图像包含了不同尺度的细节和结构信息，在进行边缘检测时，使用多尺度信息可以提供更全面的边缘检测结果，捕捉到不同尺度下的边缘特征。而且图像下采样可以起到平滑图像的作用，减少图像中的高频噪声，可以降低噪声对边缘检测的影响，提高边缘检测的准确性和鲁棒性。

常规的边缘检测需要人工设置两个阈值，分别为高阈值和低阈值，再使用设置的两个阈值采用Canny算法检测图像中的边缘，根据边缘检测的效果对两个阈值进行微调，直至得到最佳检测效果。本实施例采用自适应阈值的Canny算法，根据图像的统计特征自动选择合适的高低阈值，具体检测方法为以下S1-1至S1-5步骤：

S1-1：高斯滤波，用于平滑输入的灰度图像，滤除噪声，得到滤波图像；

使用3×3大小的高斯核构建标准差为0.2的高斯滤波器，将构建好的高斯滤波器与输入的图像进行卷积操作，卷积操作将每个像素周围的邻域像素与高斯核进行加权平均，从而得到模糊后的像素值。高斯模糊可以有效地平滑图像中的噪声，特别是高频噪声。通过减少噪声的细节和不规则性，图像变得更加清晰。高斯模糊能够使图像的细节变得模糊，产生一种平滑的效果，用于图像处理任务和视觉效果可以有效减少图像的锯齿状边缘或减轻纹理的强度。

S1-2：使用Sobel算子计算滤波图像中每个像素点的梯度幅值和方向；

Sobel算子为一个3×3大小的卷积核，使用卷积核对图像中的每个像素进行卷积操作，得到水平方向上的梯度G_x和垂直方向上的梯度G_y，根据水平和垂直方向上的梯度，计算每个像素点的梯度幅值以及每个像素点的梯度方向atan2(G_y,G_x)，梯度方向具体表示为：

S1-3：对所有梯度幅值应用非极大值抑制，抑制非最大值区域的响应，用于消除边缘检测带来的杂散响应；

S1-4：应用自适应的高低双阈值检测确定强边缘、非边缘及弱边缘，如果梯度幅值大于高阈值，则将该像素点标记为强边缘点，如果梯度幅值小于低阈值，则将该像素点排除，认为其不是边缘点，如果梯度幅值在低阈值和高阈值之间，则将该像素点标记为弱边缘点。

S1-5：边缘连接，将弱边缘点与邻近的强边缘点连接起来。

步骤S1-4所述自适应阈值的高低双阈值的获取方法为：首先计算输入图像的灰度直方图，图5为本实施例使用的灰度图像计算得到的灰度直方图，纵轴为像素点个数，横轴为灰度值。根据灰度直方图计算灰度值中位数，再根据灰度值中位数及预设的sigma值计算高阈值及低阈值，计算公式如下：

min＝(1-σ)×median

max＝(1+σ)×median

式中，min为用于Canny算法的低阈值，max为用于Canny算法的高阈值，σ为预设的sigma值，median为根据灰度直方图计算得到的灰度值中位数。若计算得到高阈值max>255，则将max设置为255。在本实施例中σ的值设置为0.3，通过如图5所示的灰度直方图计算出灰度值中位数为152，则低阈值min的值为(1-0.3)×152＝106，高阈值max的值为(1+0.3)×152＝197，遍历灰度图像所有像素，将灰度值不大于106的像素点标记为弱边缘点，将灰度值不小于197的像素点标记为强边缘点，将灰度值处于106至197区间的像素点标记为非边缘点。

经过步骤S1的处理，在边缘图像中，铁塔区域与背景有了明显的区别，由于本实施例使用的光流算法为稀疏光流算法，不计算边缘图像所有像素的偏移向量，仅计算角点的偏移向量，因此在应用稀疏光流算法之前，需要计算出边缘图像的角点，在步骤S2中，所述角点的检测方法为：

S2-1：如图6所示，在边缘图像中选取一个灰度值为255的白色像素点P。

S2-2：如图7所示，以所述白色像素为中心画一个半径为3像素的离散化圆，所述离散化圆的边界上有16个边界像素，分别为P点正上方、正下方、正左边及正右边各3个像素，共12个，以及P点的45°、135°、225°及315°方向上各一个像素，共4个，以上总计16个像素在图中分别标记为1～16。

S2-3：若所述离散化圆的16个边界像素存在连续10个灰度值为0(即黑色)的像素，则将点P判定为角点。在图7中，像素16、1、2～11为连续的12个灰度值为0的像素，符合角点的判定条件：存在连续10个灰度值为0，因此判定P点为角点。

S2-4：重复步骤S2-1至S2-3，遍历边缘图像中所有像素点，获得边缘图像中的所有角点如图8所示。

对于其他两个尺度的边缘图像，也分别选取角点。

所述稀疏光流算法使用存储模块7中相邻的两幅边缘图像进行对比，本实施例中，第一幅边缘图像与第二幅边缘图像为连续拍摄的两张图像预处理得到的，第一幅边缘图像的拍摄时间早于第二幅边缘图像，稀疏光流算法具体为：

对于第一幅边缘图像中一角点，在第一幅边缘图像中以角点为中心定义一个正方形的第一邻域窗口，如图9所示，P点为第一幅边缘图像中的一个角点，以P点为中心在第一幅边缘图像中构建一个大小为7×7像素的邻域窗口。

构建初始偏移向量(u＝0,v＝0)，使用所述初始偏移向量在第二幅边缘图像获取与第一邻域窗口相同大小的第二邻域窗口，若第二邻域窗口与第一邻域窗口不相同，更改偏移向量重新获取第二邻域窗口，迭代调整偏移向量直至在第二幅边缘图像中获取的第二邻域窗口与第一邻域窗口相同，本次迭代使用的偏移向量作为所述一角点的最佳偏移向量。迭代的方法为：

以(u,v)＝(0,0)为初始值，首先在-1≤u≤1及-1≤v≤1的整数范围内，遍历u,v的值；然后再将u,v扩大为-2≤u≤2及-2≤v≤2，继续遍历u,v的值；以此类推，逐渐扩大u,v的范围，直至偏移向量超出第二幅边缘图像的像素范围。在每次迭代过程中，使用偏移向量(u,v)在第二幅边缘图像中获取到大小为7×7的第二邻域窗口，将第二邻域窗口与第一邻域窗口逐像素对比，若第二邻域窗口与第一邻域窗口相同，则停止迭代，本次迭代使用的偏移向量(u,v)作为该角点的偏移向量。

遍历第一幅边缘图像所有角点，获取所有角点的最佳偏移向量，如图10所示，为部分角点计算获得的偏移向量示例，图中列出部分角点的偏移向量，分别为A(9,-2)、B(9,-2)、C(7,-1)、D(7,-1)、E(4,0)、F(3,0)、G(1,0)、H(0,0)。其中A(9,-2)表示相对于第一幅边缘图像，第二幅边缘图像中的A角点往右偏移了9个像素，往下偏移了2个像素。

如图11所示，将角点的最佳位移向量可视化为箭头形式，可保存该可视化图片。

在步骤S3中，定位偏移值为根据北斗定位模块获取到的偏移幅度及偏移方向转换后的偏移值，根据北斗定位模块获取的偏移方向与边缘图像的偏移方向之间的夹角，将北斗定位模块获取的偏移幅度转换为边缘图像方向上的偏移幅度，即定位偏移值。

在步骤S4中，当主控单元1根据偏移图像检测到铁塔发生位移时，首先根据所有角点的偏移向量判断是否为图像的整体偏移。检测整体偏移方法具体为：根据偏移图像所有角点的偏移向量计算相应的偏移距离，再计算偏移距离的标准差，将标准差不小于2的偏移图像判定为倾斜，标准差小于2的偏移图像判定为整体偏移而非倾斜。以示例角点A(9,-2)、B(9,-2)、C(7,-1)、D(7,-1)、E(4,0)、F(3,0)、G(1,0)、H(0,0)点为例，首先计算偏移距离：

…

再计算平均值根据所有偏移距离及平均值计算上述八个示例角点偏移距离标准差为3.3568126040810657，则根据判定规则将该偏移图像判定为倾斜。若计算的标准差小于2，则判定铁塔为整体偏移，不进行处理。

当主控单元1检测到铁塔发生倾斜时，可向成像模块2发出连续拍照的指令，在铁塔的2～4个摆动周期内连续成像，对所述2～4个摆动周期内的连续图像进行比对，若比对结果表现为左右规律性的倾斜，则可判定为铁塔的正常摆动，若未表现出左右规律性的倾斜，则通过通信模块5及短报文模块6向管理平台发出告警信息、偏移数据及可视化图片。正常摆动的判定具体为：以竖直线为对称轴，按偏移方向对称的原则将2～4个摆动周期内的所有连续图像分为两组，计算所有图像中角点的偏移距离，对于一组图像中存在任一图像，获取其所有角点的第一偏移距离矩阵；若可在另一组图像中获取到一图像，其角点的偏移距离矩阵与第一偏移距离矩阵相同，则认为铁塔正常摆动。

在本发明的其他实施例中，可设置偏移向量的幅度阈值，若检测到偏移向量的幅度超过设定的阈值，则通过通信模块5及短报文模块6向管理平台发出告警信息、偏移数据及可视化图片。

以上所述的仅是本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (9)

1.一种基于北斗卫星数据与AI图形融合的数据处理终端，其特征在于，包括：主控单元(1)、成像模块(2)、北斗定位模块(3)、北斗授时模块(4)、通信模块(5)、短报文模块(6)、存储模块(7)及电源模块(8)，所述终端设置于铁塔塔身，所述成像模块(2)以设定的时间间隔连续获取相邻铁塔的图像，并对所述图像标注由北斗授时模块(4)生成的时间戳，将附带时间戳的图像发送至主控单元(1)，所述电源模块(8)终端中其他模块供电；

所述主控单元(1)被配置为执行以下铁塔倾斜检测方法：

S1：主控单元(1)接收成像模块(2)发送的图像，对图像进行预处理，生成边缘图像，再将边缘图像按时间顺序保存至存储模块(7)，所述预处理包括依序设置的灰度化、两次下采样及边缘检测，所述边缘检测分别对灰度化、第一次下采样及第二次下采样输出的图像进行检测，输出三个尺度的边缘图像；

S2：主控单元(1)将存储模块(7)中每两幅连续的三个尺度的边缘图像进行比对，比对方法采用稀疏光流算法，首先计算第一幅边缘图像中的角点，计算所述角点在两幅连续边缘图像之间的位移幅度及方向；

S3：主控单元(1)比较被拍摄铁塔上终端的定位偏移值和终端对应角点处位移幅度，首先根据北斗定位模块(3)获取的定位偏移方向与边缘图像的偏移方向之间的夹角，将北斗定位模块获取(3)的偏移幅度转换为边缘图像方向上的偏移幅度，再将转换后的偏移幅度表示为像素单位的偏移值，得到定位偏移值，将定位偏移值与对应角点处位移幅度偏差不超过3个像素的边缘图像作为偏移图像；

S4：主控单元(1)根据偏移图像判定铁塔是否发生倾斜，根据偏移图像所有角点的偏移向量计算对应的偏移距离，再计算偏移距离的标准差，将标准差不小于2的边缘图像判定为倾斜，标准差小于2的边缘图像判定为整体偏移；若判定铁塔发生倾斜，再根据位移方向确定是否为正常摇摆，若判定为非正常摇摆，则分别通过通信模块(5)及短报文模块(6)向管理平台发送告警信息，所述告警信息还包括由北斗定位模块(3)生成的位置信息。

2.根据权利要求1所述的一种基于北斗卫星数据与AI图形融合的数据处理终端，其特征在于，所述边缘检测采用自适应阈值的Canny算法，根据图像的统计特征自动选择合适的阈值，检测步骤包括：

高斯滤波，用于平滑输入的灰度图像，滤除噪声，得到滤波图像；

使用Sobel算子计算滤波图像中每个像素点的梯度幅值和方向；

对所有梯度幅值应用非极大值抑制，用于消除边缘检测带来的杂散响应；

应用自适应的高低双阈值检测确定强边缘、非边缘及弱边缘；

边缘连接，将弱边缘点与邻近的强边缘点连接起来。

3.根据权利要求2所述的一种基于北斗卫星数据与AI图形融合的数据处理终端，其特征在于，所述自适应阈值的高低双阈值的获取方法为：首先计算输入图像的灰度直方图，根据灰度直方图计算灰度值中位数，再根据灰度值中位数及预设的sigma值计算高阈值及低阈值，计算公式如下：

min＝(1-σ)×mediam

max＝(1+σ)×mediam

式中，min为用于Canny算法的低阈值，max为用于Canny算法的高阈值，σ为预设的sigma值，median为根据灰度直方图计算得到的灰度值中位数；若计算得到高阈值max>255，则将max设置为255。

4.根据权利要求1所述的一种基于北斗卫星数据与AI图形融合的数据处理终端，其特征在于，所述角点的检测方法为：

S2-1：在边缘图像中选取一个灰度值为255的白色像素点P；

S2-2：以所述白色像素为中心画一个半径为3像素的离散化圆，所述离散化圆的边界上有16个边界像素；

S2-3：若所述离散化圆的16个边界像素存在连续10个灰度值为0的像素，则将点P判定为角点；

S2-4：重复步骤S2-1至S2-3，遍历边缘图像中所有像素点，获得边缘图像中的所有角点。

5.根据权利要求1所述的一种基于北斗卫星数据与AI图形融合的数据处理终端，其特征在于，所述稀疏光流算法具体为：

对于第一幅边缘图像中一角点，在第一幅边缘图像中以角点为中心定义一个正方形的第一邻域窗口；

构建初始偏移向量(u＝0,v＝0)，使用所述初始偏移向量在第二幅边缘图像获取与第一邻域窗口相同大小的第二邻域窗口，若第二邻域窗口与第一邻域窗口不相同，更改偏移向量重新获取第二邻域窗口，迭代调整偏移向量直至在第二幅边缘图像中获取的第二邻域窗口与第一邻域窗口相同，本次迭代使用的偏移向量作为所述一角点的最佳偏移向量；

遍历第一幅边缘图像所有角点，获取所有角点的最佳偏移向量；

将角点的最佳位移向量可视化为箭头形式。

6.根据权利要求5所述的一种基于北斗卫星数据与AI图形融合的数据处理终端，其特征在于，所述邻域窗口的大小设置为7×7像素。

7.根据权利要求1所述的一种基于北斗卫星数据与AI图形融合的数据处理终端，其特征在于，所述通信模块(5)通过移动网络、无线网桥或电力综合数据网与管理平台进行通信，将告警信息或图像发送至管理平台。

8.根据权利要求1或7所述的一种基于北斗卫星数据与AI图形融合的数据处理终端，其特征在于，所述通信模块(5)还接收管理平台的控制指令，将控制指令转发至主控单元(1)，由主控单元(1)根据接收的控制指令控制对应模块工作。

9.根据权利要求1所述的一种基于北斗卫星数据与AI图形融合的数据处理终端，其特征在于，所述电源模块(8)为太阳能供电***，包括太阳能面板以及同所述太阳能面板连接的蓄电池。