CN113534832B - 一种基于边缘计算的无人机巡检跟踪配网线飞行方法 - Google Patents
一种基于边缘计算的无人机巡检跟踪配网线飞行方法 Download PDFInfo
- Publication number
- CN113534832B CN113534832B CN202110887027.7A CN202110887027A CN113534832B CN 113534832 B CN113534832 B CN 113534832B CN 202110887027 A CN202110887027 A CN 202110887027A CN 113534832 B CN113534832 B CN 113534832B
- Authority
- CN
- China
- Prior art keywords
- distribution network
- unmanned aerial
- aerial vehicle
- calculation
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009826 distribution Methods 0.000 title claims abstract description 94
- 238000004364 calculation method Methods 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000007689 inspection Methods 0.000 title claims abstract description 43
- 230000004927 fusion Effects 0.000 claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 23
- 230000011218 segmentation Effects 0.000 claims abstract description 16
- 238000009417 prefabrication Methods 0.000 claims abstract description 6
- 230000004044 response Effects 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 19
- 238000010586 diagram Methods 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 238000006073 displacement reaction Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 8
- 238000013135 deep learning Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 4
- 238000013136 deep learning model Methods 0.000 claims description 4
- 238000007726 management method Methods 0.000 claims description 4
- 238000013439 planning Methods 0.000 claims description 4
- 230000002035 prolonged effect Effects 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 10
- 230000008901 benefit Effects 0.000 description 8
- 238000000605 extraction Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 125000004122 cyclic group Chemical group 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005265 energy consumption Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 238000010248 power generation Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000012212 insulator Substances 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于边缘计算的无人机巡检跟踪配网线飞行方法，该方法包括以下步骤：S1、利用终端节点采集配电网图像数据并进行分析计算；S2、采用预设方法将终端节点的计算任务适应性的分配至边缘云；S3、根据预设方案判断终端节点是否丢失配电网目标；S4、通过预制方法将终端节点和边缘云的计算结果进行融合并分析配网情况。有益效果：通过利用任务分割模块将计算任务合理卸载至边缘云并利用信息融合模块对计算结果进行分析融合，从而减轻端节点的计算压力和功耗；另外，通过添加运动检测模块可以进一步降低终端节点的计算压力和功耗，并延长无人机作业时间，从而提高了无人机巡检配网线的效率，保障配网线安全输送电能。
Description
技术领域
本发明涉及边缘计算、无人机巡检配网线领域，具体来说，涉及一种基于边缘计算的无人机巡检跟踪配网线飞行方法。
背景技术
电力能源是一个国家经济发展的支柱，决定经济发展速度和居民生活质量，随着我国经济发展进入新常态，对电能依赖性逐渐增大。据国家***统计数据显示，2014年以来，我国电力生产行业总发电量呈现稳步增长趋势。2019年，我国总发电量为75034.3亿千瓦时，同比增长4.7％。由于我国能源分布不均，集中分布在西部和北部地区，然而电力消费集中在东部和中部地区，因此我国远距离跨区送电量持续增长，大容量、远距离输电是我国电网发展的必然趋势，这对我国电网安全输电提出挑战。
配网设备如绝缘子、塔杆本体、避雷设施和导线等，在安全地向终端用户配电方面起着至关重要的作用。这些设备常年承受恶劣天气，较高的机械张力和极高的电压功率，存在输电安全隐患，需要及时维修或更换，若不及时处理，将导致严重的安全事故，威胁输电线路安全及其稳定运行。传统的人工定期巡检费时、费力又危险，无法满足我国电力行业的发展速度。如今，无人机巡检配电网设备，拍摄电力线、塔杆和绝缘子的高分辨率图片或视频，然后分析潜在缺陷，具有不受地形限制，巡检速度快，效率高的特点，已成为电力设备巡检主流。
目前无人机巡检主要用于采集配电网设备视觉数据，然后将数据拷贝下来，进行离线分析图像。深度学习算法通过图像分类、物体检测、语义分割和实例分割等技术处理和提取有用数据。如利用基于卷积神经网络的深度学习算法来处理从无人机采集的航空图像。无人机巡检配电网途中实时处理大量计算机视觉数据、规划无人机飞行路径、分析设备故障，需要消耗过多能量，但其机载能量的能力有限，因此无人机网络环境下边缘采集数据的实时处理仍然是一个挑战。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了基于边缘计算的无人机巡检跟踪配网线飞行方法，具备降低无人机计算压力与功耗并延长无人机作业时间的优点，进而解决现有无人机作业时间较短的问题。
(二)技术方案
为实现上述降低无人机计算压力与功耗并延长无人机作业时间的优点，本发明采用的具体技术方案如下：
一种基于边缘计算的无人机巡检跟踪配网线飞行方法，该方法包括以下步骤：
S1、利用终端节点采集配电网图像数据并进行分析计算；
S2、采用预设方法将终端节点的计算任务适应性的分配至边缘云；
S3、根据预设方案判断终端节点是否丢失配电网目标；
S4、通过预制方法将终端节点和边缘云的计算结果进行融合并分析配网情况。
进一步的，所述边缘云为边缘计算平台，其设有目标跟踪模块、信息融合模块、信息管理模块和通信模块。
进一步的，所述终端节点为接入边缘计算平台的无人机，每个终端节点均设有目标跟踪模块、计算任务分割模块、信息融合模块和运动检测模块。
进一步的，所述S2中采用预设方法将终端节点的计算任务适应性的分配至边缘云包括对无人机的设备温度、CPU利用率、内存占用率以及能源状态进行判断，并根据实时网络状态和边缘服务器资源占用情况适应性的分配计算任务至边缘云。
进一步的，所述计算任包括处理配电网图像数据、规划飞行路径和分析配电网设备故障。
进一步的，所述边缘云还包括将计算能力强的无人机作为边缘云节点，当无人机与边缘云无法正常连接时，无人机将配电网图像数据移动至边缘云节点。
进一步的，所述S3中根据预设方案判断终端节点是否丢失配电网目标还包括以下步骤：
S31、终端节点采用卡尔曼滤波器对配电网目标的运动情况进行建模；
S32、采用运动模型对配电网目标的位移阈值进行设定；
S33、判断配电网目标位移是否超出阈值范围，若是，则执行S34，否则执行S35；
S34、利用终端节点的运动检测模块判断是否存在运动物体，若是，则执行S35，否则停止计算任务；
S35、继续计算任务。
进一步的，所述终端节点采用相关滤波器算法，所述边缘计算平台采用全卷积孪生神经网络深度学习模型的跟踪算法。
进一步的，所述全卷积孪生神经网络的计算公式为：
其中，x表示当前图片数据样本，z表示下一张图片数据，函数为特征提取器嵌入，函数g用于相似性度量，b1表示偏置量，算法中为互相关运算。
进一步的，所述S4中通过预制方法将终端节点和边缘云的计算结果进行融合并分析配网情况还包括以下步骤：
S41、根据全卷积孪生神经网络算法得出响应图并确定算法融合系数；
S42、将终端节点的相关滤波器算法与边缘云的深度学习算法进行集成以更新算法模型；
S43、利用信息融合模块将终端节点和边缘云返回的计算结果进行融合，并对配电网目标的具***置进行最终预测。
(三)有益效果
与现有技术相比，本发明提供了基于边缘计算的无人机巡检跟踪配网线飞行方法，具备以下有益效果：通过利用任务分割模块将计算任务合理卸载至边缘云并利用信息融合模块对计算结果进行分析融合，从而减轻端节点的计算压力和功耗；另外，通过添加运动检测模块可以进一步降低终端节点的计算压力和功耗，并延长无人机作业时间，从而提高了无人机巡检配网线的效率，保障配网线安全输送电能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的基于边缘计算的无人机巡检跟踪配网线飞行方法的无人机巡检配网跟踪飞行总体设计示意图；
图2是根据本发明实施例的基于边缘计算的无人机巡检跟踪配网线飞行方法的算法框架示意图；
图3是根据本发明实施例的基于边缘计算的无人机巡检跟踪配网线飞行方法的Siam FC跟踪流程；
图4是根据本发明实施例的基于边缘计算的无人机巡检跟踪配网线飞行方法的计算任务处理流程示意图；
图5是根据本发明实施例的基于边缘计算的无人机巡检跟踪配网线飞行方法的计算任务处理流程示意图；
图6是根据本发明实施例的基于边缘计算的无人机巡检跟踪配网线飞行方法的终端节点计算任务处理时间(计算任务完全本地计算)；
图7是根据本发明实施例的基于边缘计算的无人机巡检跟踪配网线飞行方法的边缘云计算任务处理时间(计算任务完全卸载边缘云计算)；
图8是根据本发明实施例的基于边缘计算的无人机巡检跟踪配网线飞行方法的计算任务处理时间；
图9是根据本发明实施例的基于边缘计算的无人机巡检跟踪配网线飞行方法的特征提取时间对比图；
图10是根据本发明实施例的基于边缘计算的无人机巡检跟踪配网线飞行方法的相同计算任务总处理时间；
图11是根据本发明实施例的基于边缘计算的无人机巡检跟踪配网线飞行方法的信息传输时间；
图12是根据本发明实施例的基于边缘计算的无人机巡检跟踪配网线飞行方法的计算任务与信息传输总时间；
图13是根据本发明实施例的基于边缘计算的无人机巡检跟踪配网线飞行方法的追踪任务总体计算时间；
图14是根据本发明实施例的基于边缘计算的无人机巡检跟踪配网线飞行方法的终端节点计算时间；
图15是根据本发明实施例的基于边缘计算的无人机巡检跟踪配网线飞行方法的运动检测时间；
图16是根据本发明实施例的基于边缘计算的无人机巡检跟踪配网线飞行方法的响应图重建时间。
具体实施方式
为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。
根据本发明的实施例，提供了一种基于边缘计算的无人机巡检跟踪配网线飞行方法。
现结合附图和具体实施方式对本发明进一步说明，如图1-16所示，根据本发明实施例的基于边缘计算的无人机巡检跟踪配网线飞行方法，该方法包括以下步骤：
S1、利用终端节点采集配电网图像数据并进行分析计算；
S2、采用预设方法将终端节点的计算任务适应性的分配至边缘云；
S3、根据预设方案判断终端节点是否丢失配电网目标；
S4、通过预制方法将终端节点和边缘云的计算结果进行融合并分析配网情况。
借助于上述方案，通过利用任务分割模块将计算任务合理卸载至边缘云并利用信息融合模块对计算结果进行分析融合，从而减轻端节点的计算压力和功耗；另外，通过添加运动检测模块可以进一步降低终端节点的计算压力和功耗，并延长无人机作业时间。
在一个实施例中，所述边缘云为边缘计算平台，其设有目标跟踪模块、信息融合模块、信息管理模块和通信模块。
在一个实施例中，所述终端节点为接入边缘计算平台的无人机，每个终端节点均设有目标跟踪模块、计算任务分割模块、信息融合模块和运动检测模块。
具体的，无人机巡检跟踪配网算法总体设计方案总体框架分为终端节点、边缘云和云端数据中心三层。终端节点层主要为接入边缘计算平台的无人机，每个节点部署应用包含目标跟踪模块、计算任务分割模块、信息融合模块和运动检测模块等。边缘云层主要为边缘计算平台资源部署层，包含边缘计算服务器和文件服务器等硬件资源设备，部署完成终端节点计算任务所需的必要程序，边缘云主要包含目标跟踪模块、信息融合模块、信息管理模块和通信模块等。云端数据中心为与移动终端节点相距较远的数据中心，该层仅与边缘云进行通信。
在一个实施例中，所述S2中采用预设方法将终端节点的计算任务适应性的分配至边缘云包括对无人机的设备温度、CPU利用率、内存占用率以及能源状态进行判断，并根据实时网络状态和边缘服务器资源占用情况适应性的分配计算任务至边缘云。
具体的，基于计算卸载的无人机跟踪配网算法框架设计主体为基于计算机视觉的目标跟踪算法，输入数据为视频流数据，具体为视频帧图片。任务分割模块根据本地计算负载状态、如设备温度、CPU利用率、内存占用率以及能源状态等，判定是否进行本地计算，与此同时，根据网络状态和边缘服务器资源占用情况，判断是否将发送边缘云进行计算，同时决定计算任务分割点，用以最终决策终端节点和边缘云的任务计算量。由于在野外环境下，网络情况难以长期保证，且设备具体应用环境较为复杂，因此，当移动终端节点与边缘云难以保持畅通连接时，终端节点部署的目标跟踪模块应具备独立作业能力，否则将直接导致跟踪任务失败。终端节点采用基于相关滤波器的算法进行部署，以满足移动节点计算能力较弱且能耗要求较高的特点。
此外，任务分割策略中，后续实验采用两种分割策略，即神经网络模型完整卸载和部分卸载。
(1)模型完整卸载策略：主要将算法的特征提取部分卸载至边缘云进行计算，本地终端节点负责数据的预处理和后处理。其中数据预处理部分的计算任务，主要包括部分与输入图像数据相关的超参数的计算；以前一帧跟踪目标的位置为中心，剪裁不同尺寸的图像以供后续尺度估计计算等。后处理部分主要包括，根据边缘云返回的响应图，对跟踪目标的尺度及具体估测位置进行计算等。
(2)模型部分卸载策略：相比将特征提取任务完全卸载至边缘云计算，将卷积神经网络模型中第一部分，即第一个卷积层、批标准化层及池化层分配至终端节点计算。
另外，任务分割模块主要根据本地计算节点负载情况、硬件设备利用率、网络延迟等状态对计算任务进行划分，将计算任务部分卸载或全部卸载至边缘云，以达到能耗、计算速度和准确度的组合优化目的。计算任务拆分时，一方面考虑本地处理后，数据量更小，从而降低网络传输延迟；另一方面，在网络处于高延迟状态时，通过本地继续处理后续计算任务，从而避开当前高延迟时段，减少不必要的等待延迟。
模块经过环境信息探查后，对所得信息进行融合后判定计算任务分割点，决策本地终端节点和边缘云计算任务量。
计算任务划分主要介于数据预处理或神经网络模型前几层。任务分割模块判定本地终端节点进行预处理及裁剪运算，或继续进行第一层或几层特征提取，处理后数据上传边缘云进行下一步计算。边缘云计算获得响应图后，返回响应图中极值序列，数据交由本地信息融合模块进行响应图重建。融合终端节点目标跟踪算法处理结果后，最终判定目标位置。边缘云仅负责特征提取及响应图相关计算任务，本地终端节点负责数据预处理、浅层特征提取以及获得响应图后的尺度判定等计算任务。
在一个实施例中，所述计算任包括处理配电网图像数据、规划飞行路径和分析配电网设备故障。
在一个实施例中，所述边缘云还包括将计算能力强的无人机作为边缘云节点，当无人机与边缘云无法正常连接时，无人机将配电网图像数据移动至边缘云节点。
具体的，将云端资源下移边缘端或将边缘云层继续拆分，在平台设计中，将计算能力较强的移动终端节点上移边缘云层。野外无人机巡检配网环境下，工作环境可能较差，网络延迟可能使得终端节点设备与边缘云无法畅通连接，为此，将采集的配网图像移动到计算能力更强的节点设备，作为设备的边缘云节点。无人机移动终端节点可自由选择任务卸载位置，从而降低网络环境对计算任务的影响。
在一个实施例中，所述S3中根据预设方案判断终端节点是否丢失配电网目标还包括以下步骤：
S31、终端节点采用卡尔曼滤波器对配电网目标的运动情况进行建模；
S32、采用运动模型对配电网目标的位移阈值进行设定；
S33、判断配电网目标位移是否超出阈值范围，若是，则执行S34，否则执行S35；
S34、利用终端节点的运动检测模块判断是否存在运动物体，若是，则执行S35，否则停止计算任务；
S35、继续计算任务。
具体的，根据算法计算得出的响应图确定算法融合系数，并确定此时终端算法模型是否进行更新。信息融合模块通过融合终端节点和边缘云返回的计算结果对跟踪目标的具***置进行最终预测。此外，终端节点采用卡尔曼滤波器对跟踪目标的运动情况进行建模，另一方面，采用运动模型对跟踪目标的位移阈值进行动态设定，当连续多帧目标位移均超出该阈值范围时，启动运动检测模块以确定是否存在运动物体，以此进一步降低终端计算压力，避免不必要的计算。
此外，由于无人机巡检跟踪配网对计算压力及功耗要求较高，且当跟踪算法丢失目标时，继续计算将造成严重的资源浪费，然而跟踪算法正确跟踪目标或已丢失目标通常是难以判定的，因此采用运动模型对跟踪目标的运动状态进行建模，通过运动模型动态设定位移阈值范围，当跟踪算法预测位置连续多帧超出此阈值范围时，初步判定丢失目标，启动运动检测模块检测是否存在运动物体以确定是否已丢失目标。该模块可辅助算法在丢失目标时进行重检测。
由于跟踪目标的运动轨迹对于目标跟踪具有较强的积极意义，发明采用卡尔曼滤波器对跟踪目标的运动状态进行建模，概述如下。
预测阶段：
①状态预测方程：
其中，表示估计值，符号“-”表示该值根据上一状态推测所得，A为状态转移矩阵，B为控制矩阵，u为控制量。
②误差预测方程：
P为误差相关矩阵，协方差矩阵Q表示模型本身固有噪声。
更新阶段：
③卡尔曼滤波器增益：
K称为卡尔曼系数，H为观测矩阵，R为测量噪声协方差矩阵。
④状态修正方程：
z为真实观测值，表示真实观测值与模型预测值之间的残差。
⑤修正误差相关矩阵：
在目标追踪时，算法可以从第一帧数据中获取追踪物体真实信息，在后续图片数据中，仅能通过算法预测位置获取信息，导致在追踪过程中，前期追踪效果较好，而后期逐渐产生漂移问题直至追踪失败。因此，我们采用前K帧检测位置，进行滤波器模型训练。后期追踪过程中在滤波器响应图中，加入运动模型预测结果，以提高算法追踪效果。
信息融合时，我们以运动模型预测位置为中心，生成二维高斯图谱，峰值高度为相关滤波器响应图谱峰值的s倍。
在相关论文中，当滤波器响应图中出现多峰值时，常见策略为选择与上一帧目标位置最近的坐标值作为追踪结果，如算法LDES，该种方法的问题在于，当目标出现快速移动时，会出现判别失误，即较远的峰值为真实目标，而较近的峰值为误测，从而导致目标追踪失败。相比之下，采用独立的运动模型，同时结合滤波器结果与运动模型结果，当两者均存在较高响应值时才会判别为正确结果。
运动检测算法采用帧差法进行部署以满足计算压力小、运算速度快以及低能耗的要求。此外，建立运动模型以针对不同跟踪目标和该目标在跟踪过程的不同阶段自适应设定位移阈值。
(1)运动模型：
对于目标跟踪算法，物体的运动状态对于模型跟踪具有积极影响，尤其在跟踪过程中存在遮挡和运动模糊等情况时。因此，对跟踪目标运动状态建模以进一步提升算法性能。此外，由于目标在跟踪过程中的动态变化，使得对目标位移设置固定阈值以判断滤波器预测结果是否处于正常范围内并不合适。基于以上原因，采用运动模型对目标位移阈值进行动态设定以适应目标在跟踪过程中的动态变化。
运动模型设置采用卡尔曼滤波器进行建模。
阈值设定如下所示，
(2)运动检测算法：
当跟踪算法连续多帧预测目标位移超出阈值范围时，采用运动检测算法对输入数据进行运动检测以进一步降低模型能耗，提升算法处理速度，减少不必要的计算。常用运动检测算法有帧差法、光流法、背景减除法、ViBe算法等。其中帧差法具有简单快速，对于光照环境不敏感以及对于动态环境适应性较强等特点，适用于终端平台硬件环境以及应用程序运行环境。
帧差法又称帧间差分法，通过对相邻两帧图像做差分运算以检测运动物体，其主要理论依据在于，相邻两帧或三帧进行灰度值差值运算后，运动物体由于灰度值变化将会产生灰度残留，而静止物体则由于灰度不变被差值运算去除。三帧差法基于相邻帧差法进行改进，减轻了两帧差中物体边界轮廓较粗的问题，具有更好的检测性能。算法主要三步：连续输入三帧图像数据，前两帧和后两帧分别计算灰度差值后，结果进行按位与运算得出结果。
运动检测时，获得三帧差法结果后，在目标跟踪算法预测位置，取目标大小区域，通过对该区域内数值进行求和并与阈值比较以确定该处是否存在物体运动。
在一个实施例中，所述终端节点采用相关滤波器算法，所述边缘计算平台采用全卷积孪生神经网络深度学习模型的跟踪算法。
在一个实施例中，所述全卷积孪生神经网络的计算公式为：
其中，x表示当前图片数据样本，z表示下一张图片数据，函数为特征提取器嵌入，函数g用于相似性度量，b1表示偏置量，算法中为互相关运算。
在一个实施例中，所述S4中通过预制方法将终端节点和边缘云的计算结果进行融合并分析配网情况还包括以下步骤：
S41、根据全卷积孪生神经网络算法得出响应图并确定算法融合系数；
S42、将终端节点的相关滤波器算法与边缘云的深度学习算法进行集成以更新算法模型；
S43、利用信息融合模块将终端节点和边缘云返回的计算结果进行融合，并对配电网目标的具***置进行最终预测。
具体的，集成学***台中终端节点和边缘云所部署的不同算法，其集成策略或信息融合策略仍需进一步研究。实际部署中，采用基于峰值置信度指标对不同算法计算所得的响应图谱进行度量，由此确定具体融合系数。与此同时，判定本地基于相关滤波器的跟踪算法是否进行模型更新。
峰值置信度定义如下所示。
其Var()表示方差，Dθ为响应图中极值数据点集合，Dθ\Max Value表示去除响应图中最大值后极值点集合，且集合Dθ中滤除小于阈值θp的极值，以增强鲁棒性，超参数θp预先设置。δ为超参数，用于避免运算中数值溢出而预先定义的极小值。滤波器仅在峰值置信度高于阈值时进行更新。
此外，由于响应图传输时间对算法总体处理时间影响较大，算法仅传输响应图中高于一定阈值的极值集合以降低信息传输量，终端节点通过回传极值信息，对响应图进行重建。
其中G(x,y)为重建后曲面，gi(x,y)为以第i个极值点坐标为中心的二维高斯曲面，Vi为对应极值。
由于高斯函数的指数运算使得计算压力较大，使得上述策略无法满足实时性要求，因此进一步优化，采用平移策略代替创建二维高斯函数的相关运算。
其中G(x,y)为重建后曲面，g(x,y)为预先创建的以(0,0)坐标为为中心的二维高斯曲面，Vi为对应极值，Pg(xi,yi)为将曲面g(x,y)平移(xi,yi)后的高斯曲面。
此外，信息融合模块主要用于信息存储。边缘云对目标在跟踪过程中的状态进行保存，记录物体运动路径以及目标活动，历史记录信息主要用于特定场景下决策判断或后续进一步的信息提取。例如，对于无人机巡检配网，通过分析运动记录，可以确定巡检路径，从而辅助判断下一次的巡检作业。此外，记录配网设备和周围障碍物信息可结合其他应用信息进行更高层信息融合或发送其他终端节点以供其他后续操作。
另外，由于无人机巡检配网工作环境多样化，难以保证网络状态，因此当设备无法与边缘云畅通连接时，应保证终端节点仍具备独立作业能力，避免任务失败造成严重后果。基于以上原因，在终端节点部署计算压力较小的目标跟踪模块。另一方面，由于算法通常专注于解决具体任务一个方面的问题，难以对任务的全部问题进行优化，因此，通常采用集成多个算法的方式以结合不同算法的优点，进而构造一个性能更加优良的算法模型以满足实际需求。例如基于计算机视觉的目标跟踪算法，其主要难点包含光照、变形、尺度变化、背景杂乱等多个问题，不同算法通常针对某一问题进行设计优化，因此，实际应用时，通常采用集成的方式以获得更好的跟踪性能。集成学习通过结合一系列算法模型以获得一个性能更好的算法模型，该策略在工程部署中得到广泛应用。在无人机巡检配网模块中，将移动终端节点的相关滤波器算法与边缘云的深度学习算法进行集成，以获得更加稳定且性能更加优良的算法模型。
(1)终端节点目标跟踪模块
终端节点采用基于相关滤波器CF的目标跟踪算法进行部署以满足移动终端节点计算能力较弱且对续航能力要求较高的特点，算法模型采用双相关滤波器DCF。
DCF是在CSK算法基础上提出的。DCF算法利用循环矩阵特性，通过循环采样解决以往相关滤波器的稀疏采样问题，并引入多通道特征，使得性能相比以往目标跟踪算法大幅提高。
DCF采用岭回归建模，通过最小化采样数据的计算标签与目标真实位置之间的距离求解函数。
minw∑i(f(xi)-yi)2+λ||w||2→f(z)＝wTz；
w＝(XTX+λI)-1XTy→w＝(XHX+λI)-1XHy；
求解后可得W表达式，上式右侧表达式为复数域内形式，XH表示X的复共轭矩阵。引入循环矩阵进行循环采样后，样本带入上式求解可得，
引入核函数并求解可得，
α＝minα||φ(X)φ(X)Tα-y||2+λ∥φ(X)Tα∥2＝(φ(X)φ(X)T+λI)-1y＝(K+λI)-1y；
频域内形式
DCF采用线性核
检测阶段
DCF跟踪算法主要流程：根据当前图片数据样本x计算核函数k(x,x)和参数α值，当下一张图片数据z传入时，计算k(z,x)和f(z)，取f(z)实部作为响应图，其中最大值位置为算法预测目标位置。
DCF算法的主要优点在于其处理速度，适用于计算能力较弱的移动设备。在终端节点部署该类算法，用以保证无人机在无法连接边缘云时仍具备独立作业能力，避免任务失败。
(2)边缘云目标跟踪模块
边缘计算是指在无人机边缘使用带有嵌入式GPU的Jetson Nano、Raspberry Pi设备执行深度学***台从移动核心网络内部迁移到移动接入网络的边缘，从而实现对计算和存储资源的灵活利用。边缘计算将移动计算、网络控制和数据存储推向网络边缘，从而在资源有限的边缘设备上实现计算密集型和延迟关键型应用程序。
与云计算模式相比，边缘计算实际上是云计算的扩展，因为边缘计算可以将云计算范式扩展到网络边缘，以弥补数据存储中缺乏安全性和云计算中服务交付的高延迟。边缘计算具有许多优点和特征，包括无线访问的重要作用、良好的移动性和可伸缩性，较低的延迟和位置感知、更广泛的地理分布和实时应用程序、更高的安全性等。边缘计算可为工业，娱乐，个人计算以及具有计算和存储功能的其他应用程序提供优势。通过其集成的数据收集、计算和存储服务，基于移动边缘的无人机-云端***为个人客户和企业带来多种便利。
利用边缘计算的网络环境，能够实现结点之间信息的传递和调用，并且实现结点并行跟踪的效果。在并行跟踪过程中，根据多个位置结点的响应值来决定目标位置，使得目标跟踪位置的选定更加具有可信性。本算法嵌入到跟踪过程中，在时间复杂度方面，结点的产生与释放需要消耗少量时间，而主结点与生成结点并行处理，因此设计的算法1不影响跟踪的实时性。在空间复杂度上，由于合理的结点产生与释放原则，使得算法的空间复杂度增量不大。
基于边缘计算资源丰富，处理速度快等特点，算法部署无需过多考虑硬件资源开销。采用基于深度学习模型的无人机巡检配网算法进行部署以满足跟踪任务的性能需求，算法模型采用全卷积孪生神经网络Siam FC。
Siam FC比较一个范例图像z和候选图像x，如果两个图片描述相同的对象，则返回一个高分。是关于模板和候选图像全卷积层，用于提取模板和搜索图像x的特征，由于模板和候选图像/>是共享参数，因此也叫孪生网络。孪生网络分别对模板和候选图像提取特征后，最终生成模板的特征图大小为6*6*128，候选图像特征图大小为22*22*128，然后把模板特征图作为卷积核，与候选图像特征图做卷积操作，并输出一个分数映射，它的维数为17*17*1，最后，分数映射响应的最大值就是目标所在位置。在Siam FC中，模板经过裁剪后缩放到127*127*3，并且在跟踪时只使用第一帧的图像。在训练阶段，如果只把目标标签设为1，其余图像部分标签设为0，则会造成样本不平衡问题，为了解决样本不平衡问题，Siam FC在对样本标记时以目标中心点为圆心，r半径内的图像部分标记为1，其余设置为0，一定程度上解决了样本不平衡问题。卷积层使用五层AlexNet网络，为了保持平移不变性，在卷积时没有使用填充技术。
由于目标跟踪任务仅能在初始图片数据获取跟踪目标信息，跟踪目标可以为任何物体并且在当前数据中所表现出的形态可以为目标的任意姿态，甚至仅为跟踪目标的一部分，这使得待跟踪物体具有很强的不确定性，因此无法通过预先准备好目标数据进行模型训练，仅有信息也无法通过算法对目标进行完整全面的建模。基于以上原因，目标跟踪算法通常采用在线更新策略以适应跟踪。
目标在整个跟踪过程中的实时性变化。目标跟踪任务的实时性要求对模型的在线更新或在线学习策略提出了严苛要求，更新策略必须简单有效以保证算法的实时性，这也是基于相关滤波器的目标跟踪算法得以广泛应用的主要原因。
全卷积孪生神经网络创新性的将目标跟踪作为一种相似性学习问题，模型采用大量数据进行离线训练后，实际部署进行跟踪时，无需对模型进行更新，从而避免了跟踪过程中的复杂计算，使得算法性能满足实时跟踪任务要求。
通过相似性度量函数对样本图片和候选图片之间的相似度进行计算可以对两者间的相似程度进行衡量，并返回对相似程度进行评分，相似度越高则分数越高。算法采用全卷积孪生神经网络作为相似性度量函数，具体形式如下。
其中，x表示当前图片数据样本，z表示下一张图片数据，函数可视为特征提取器或一种嵌入，函数g用于相似性度量，b1表示偏置量，算法中具体为互相关运算。
模型采用下式进行训练，
argminθ∑(x，y，z)L(y,f(z,x；θ))；
其中，l(y，v)表示每个点的损失，θ为正则化参数，y∈(-1,+1)为实际真值，v为实际得分，D为最终得分图，u为得分图中的位置。
基于全卷积孪生神经网络的跟踪算法性能在处理速度和跟踪性能上均具有良好表现，算法采用相似性学习的角度解决跟踪问题，算法可采用大量视频序列对模型进行离线训练，因此针对特定场景下的目标跟踪任务可以采取预先收集相似场景数据以更好的训练模型，从而取得更好的性能。
算法预处理过程中，在跟踪目标位置裁剪不同尺度大小的区域进行运算，用以估计目标在跟踪过程中的尺度变化情况。平台实际部署时，我们对裁剪区域的大小及数量进行优化，用以确保原始图片经过预处理后，数据量相比原数据量更小。
综上所述，借助于本发明的上述技术方案，通过利用任务分割模块将计算任务合理卸载至边缘云并利用信息融合模块对计算结果进行分析融合，从而减轻端节点的计算压力和功耗；另外，通过添加运动检测模块可以进一步降低终端节点的计算压力和功耗，并延长无人机作业时间，从而提高了无人机巡检配网线的效率，保障配网线安全输送电能。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于边缘计算的无人机巡检跟踪配网线飞行方法，其特征在于，该方法包括以下步骤：
S1、利用终端节点采集配电网图像数据并进行分析计算；
S2、采用预设方法将终端节点的计算任务适应性的分配至边缘云；
S3、根据预设方案判断终端节点是否丢失配电网目标；
S4、通过预制方法将终端节点和边缘云的计算结果进行融合并分析配网情况；
所述S2中采用预设方法将终端节点的计算任务适应性的分配至边缘云包括对无人机的设备温度、CPU利用率、内存占用率以及能源状态进行判断，并根据实时网络状态和边缘服务器资源占用情况适应性的分配计算任务至边缘云；
所述计算任务包括处理配电网图像数据、规划飞行路径和分析配电网设备故障；
所述S3中根据预设方案判断终端节点是否丢失配电网目标还包括以下步骤：
S31、终端节点采用卡尔曼滤波器对配电网目标的运动情况进行建模；
S32、采用运动模型对配电网目标的位移阈值进行设定；
S33、判断配电网目标位移是否超出阈值范围，若是，则执行S34，否则执行S35；
S34、利用终端节点的运动检测模块判断是否存在运动物体，若是，则执行S35，否则停止计算任务；
S35、继续计算任务；
所述S4中通过预制方法将终端节点和边缘云的计算结果进行融合并分析配网情况还包括以下步骤：
S41、根据全卷积孪生神经网络算法得出响应图并确定算法融合系数；
S42、将终端节点的相关滤波器算法与边缘云的深度学习算法进行集成以更新算法模型；
S43、利用信息融合模块将终端节点和边缘云返回的计算结果进行融合，并对配电网目标的具***置进行最终预测。
2.根据权利要求1所述的一种基于边缘计算的无人机巡检跟踪配网线飞行方法，其特征在于，所述边缘云为边缘计算平台，其设有目标跟踪模块、信息融合模块、信息管理模块和通信模块。
3.根据权利要求1所述的一种基于边缘计算的无人机巡检跟踪配网线飞行方法，其特征在于，所述终端节点为接入边缘计算平台的无人机，每个终端节点均设有目标跟踪模块、计算任务分割模块、信息融合模块和运动检测模块。
4.根据权利要求1所述的一种基于边缘计算的无人机巡检跟踪配网线飞行方法，其特征在于，所述边缘云还包括将计算能力强的无人机作为边缘云节点，当无人机与边缘云无法正常连接时，无人机将配电网图像数据移动至边缘云节点。
5.根据权利要求2所述的一种基于边缘计算的无人机巡检跟踪配网线飞行方法，其特征在于，所述终端节点采用相关滤波器算法，所述边缘计算平台采用全卷积孪生神经网络深度学习模型的跟踪算法。
6.根据权利要求5所述的一种基于边缘计算的无人机巡检跟踪配网线飞行方法，其特征在于，所述全卷积孪生神经网络的计算公式为：
其中，x表示当前图片数据样本，z表示下一张图片数据，函数为特征提取器嵌入，函数g用于相似性度量，b1表示偏置量，算法中为互相关运算。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110887027.7A CN113534832B (zh) | 2021-08-03 | 2021-08-03 | 一种基于边缘计算的无人机巡检跟踪配网线飞行方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110887027.7A CN113534832B (zh) | 2021-08-03 | 2021-08-03 | 一种基于边缘计算的无人机巡检跟踪配网线飞行方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113534832A CN113534832A (zh) | 2021-10-22 |
| CN113534832B true CN113534832B (zh) | 2024-03-15 |
Family
ID=78090328
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110887027.7A Active CN113534832B (zh) | 2021-08-03 | 2021-08-03 | 一种基于边缘计算的无人机巡检跟踪配网线飞行方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113534832B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114527796B (zh) * | 2022-02-25 | 2024-05-28 | 国网山东省电力公司临沂供电公司 | 一种无人机仿输电线飞行的方法和*** |
| CN115545198B (zh) * | 2022-11-25 | 2023-05-26 | 成都信息工程大学 | 一种基于深度学习模型的边缘智能协同推断方法及*** |
| CN116339371B (zh) * | 2023-02-07 | 2024-04-16 | 扬州宇安电子科技股份有限公司 | 一种基于物联网的无人机资源调度控制***及方法 |
| CN116402275B (zh) * | 2023-03-03 | 2023-12-15 | 河海大学 | 面向大坝智能协同巡检的无人载具动态选择方法 |
| CN117389742B (zh) * | 2023-11-10 | 2024-05-31 | 深圳市天鹤科技有限公司 | 一种用于机器视觉的边缘计算方法、装置及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109961460A (zh) * | 2018-12-26 | 2019-07-02 | 国网浙江省电力有限公司 | 一种基于改进YOLOv3模型的多目标巡检方法 |
| CN110287945A (zh) * | 2019-07-04 | 2019-09-27 | 山东浪潮人工智能研究院有限公司 | 一种5g环境下无人机目标检测方法 |
| CN111402253A (zh) * | 2020-04-03 | 2020-07-10 | 华东交通大学 | 融合边缘计算和深度学习的输变电设备状态在线监测方法 |
| WO2020246649A1 (ko) * | 2019-06-07 | 2020-12-10 | 엘지전자 주식회사 | 엣지 컴퓨팅 디바이스에서 음성 인식 방법 |
| CN112668416A (zh) * | 2020-12-17 | 2021-04-16 | 国网山西省电力公司运城供电公司 | 无人机配网巡检视频实时分析识别方法和嵌入式巡检装置 |
| CN112668847A (zh) * | 2020-12-17 | 2021-04-16 | 国网山西省电力公司运城供电公司 | 配网线路无人机自主巡检综合管理*** |
| CN112784718A (zh) * | 2021-01-13 | 2021-05-11 | 上海电力大学 | 一种基于边缘计算与深度学习的绝缘子状态识别方法 |
| CN112904890A (zh) * | 2021-01-15 | 2021-06-04 | 北京国网富达科技发展有限责任公司 | 一种电力线路的无人机自动巡检***及方法 |
| WO2021114661A1 (zh) * | 2019-12-11 | 2021-06-17 | 重庆邮电大学 | 一种基于边云协同的工厂电能管控***及方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11824784B2 (en) * | 2019-12-20 | 2023-11-21 | Intel Corporation | Automated platform resource management in edge computing environments |
| US20210109584A1 (en) * | 2020-12-23 | 2021-04-15 | Francesc Guim Bernat | Adaptive power management for edge device |
-
2021
- 2021-08-03 CN CN202110887027.7A patent/CN113534832B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109961460A (zh) * | 2018-12-26 | 2019-07-02 | 国网浙江省电力有限公司 | 一种基于改进YOLOv3模型的多目标巡检方法 |
| WO2020246649A1 (ko) * | 2019-06-07 | 2020-12-10 | 엘지전자 주식회사 | 엣지 컴퓨팅 디바이스에서 음성 인식 방법 |
| CN110287945A (zh) * | 2019-07-04 | 2019-09-27 | 山东浪潮人工智能研究院有限公司 | 一种5g环境下无人机目标检测方法 |
| WO2021114661A1 (zh) * | 2019-12-11 | 2021-06-17 | 重庆邮电大学 | 一种基于边云协同的工厂电能管控***及方法 |
| CN111402253A (zh) * | 2020-04-03 | 2020-07-10 | 华东交通大学 | 融合边缘计算和深度学习的输变电设备状态在线监测方法 |
| CN112668416A (zh) * | 2020-12-17 | 2021-04-16 | 国网山西省电力公司运城供电公司 | 无人机配网巡检视频实时分析识别方法和嵌入式巡检装置 |
| CN112668847A (zh) * | 2020-12-17 | 2021-04-16 | 国网山西省电力公司运城供电公司 | 配网线路无人机自主巡检综合管理*** |
| CN112784718A (zh) * | 2021-01-13 | 2021-05-11 | 上海电力大学 | 一种基于边缘计算与深度学习的绝缘子状态识别方法 |
| CN112904890A (zh) * | 2021-01-15 | 2021-06-04 | 北京国网富达科技发展有限责任公司 | 一种电力线路的无人机自动巡检***及方法 |
Non-Patent Citations (5)
| Title |
|---|
| Agent-enabled task offloading in UAV-aided mobile edge computing;Rui Wang，等;《Computer Communications》;第149卷;324-331 * |
| 基于边缘计算与强化学习的配电物联网体系架构研究与应用;官国飞;宋庆武;张万生;徐妍;李澄;蒋超;;机械与电子;第38卷(第07期);14-22 * |
| 基于边缘计算和无人机巡检图像的输电杆塔关键部位隐患智能识别;胡志坤;赵超越;王振东;林晨;浙江电力(第010期);21-27 * |
| 基于边缘计算的中低压配电网多类型传感器接入技术;王伏亮;李澄;李春鹏;陆玉军;陈颢;;自动化与仪表(第07期);17-21 * |
| 轻量级边缘计算平台方案设计与应用研究;王健;《中国优秀硕士学位论文全文数据库 信息科技辑》(第09(2019)期);I139-157 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113534832A (zh) | 2021-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113534832B (zh) | 一种基于边缘计算的无人机巡检跟踪配网线飞行方法 | |
| CN109961019B (zh) | 一种时空行为检测方法 | |
| Xu et al. | Inter/intra-category discriminative features for aerial image classification: A quality-aware selection model | |
| CN110532889B (zh) | 基于旋翼无人飞行器和YOLOv3的轨道异物检测方法 | |
| CN108230354B (zh) | 目标跟踪、网络训练方法、装置、电子设备和存储介质 | |
| CN111639571B (zh) | 基于轮廓卷积神经网络的视频动作识别方法 | |
| CN111553950B (zh) | 一种钢卷对中判断方法、***、介质及电子终端 | |
| CN112395972B (zh) | 一种基于无人机图像处理的电力***绝缘子串识别方法 | |
| CN113989716A (zh) | 煤矿井下输送带异物目标检测方法、***、设备及终端 | |
| CN113344967B (zh) | 一种复杂背景下的动态目标识别追踪方法 | |
| CN113284144B (zh) | 一种基于无人机的隧道检测方法及装置 | |
| CN114842363B (zh) | 一种数字孪生台区关键电力设备的识别方法及*** | |
| CN115147383A (zh) | 一种基于轻量化YOLOv5模型的绝缘子状态快速检测方法 | |
| CN110795599B (zh) | 基于多尺度图的视频突发事件监测方法及*** | |
| CN113936034B (zh) | 一种结合帧间光流的表观运动联合弱小运动目标检测方法 | |
| CN111767826A (zh) | 一种定时定点场景异常检测方法 | |
| CN115187884A (zh) | 一种高空抛物识别方法、装置、电子设备及存储介质 | |
| Dai et al. | Cascade centernet: Robust object detection for power line surveillance | |
| CN115019389A (zh) | 一种基于运动显著性和SlowFast的行为识别方法 | |
| CN112069997B (zh) | 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置 | |
| CN114882336A (zh) | 列车制动***故障图像的端到端实时检测方法 | |
| Yang et al. | Locator slope calculation via deep representations based on monocular vision | |
| Damodaran et al. | Extraction of Overhead Transmission Towers from UAV Images | |
| CN113487620A (zh) | 一种铁路绝缘节检测方法及装置 | |
| CN111582251A (zh) | 基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240204 Address after: 225300 No. 2 Fenghuang West Road, Jiangsu, Taizhou Applicant after: STATE GRID JIANGSU ELECTRIC POWER Co.,Ltd. TAIZHOU POWER SUPPLY BRANCH Country or region after: China Address before: 225300 No.2 Fenghuang West Road, Hailing District, Taizhou City, Jiangsu Province Applicant before: STATE GRID JIANGSU ELECTRIC POWER Co.,Ltd. TAIZHOU POWER SUPPLY BRANCH Country or region before: China Applicant before: ZHONGXIN HANCHUANG (BEIJING) TECHNOLOGY CO.,LTD. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |