CN116721339B - 一种输电线路的检测方法、装置、设备和存储介质 - Google Patents

一种输电线路的检测方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN116721339B
CN116721339B CN202310452550.6A CN202310452550A CN116721339B CN 116721339 B CN116721339 B CN 116721339B CN 202310452550 A CN202310452550 A CN 202310452550A CN 116721339 B CN116721339 B CN 116721339B
Authority
CN
China
Prior art keywords
image
target
binocular
target object
transmission line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310452550.6A
Other languages
English (en)
Other versions
CN116721339A (zh
Inventor
张惠荣
廖承就
陈华超
魏莱
黄戬
宋明择
林杰欢
陈奕戈
陈晓儒
钟振鑫
邓小康
邱汉锋
张建锋
吴树宁
李俊杰
王潇潇
蓝钢
王峻
王瑞麟
佘仰腾
钟森淼
张锋
王鹏
袁鼎发
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Power Grid Co Ltd
Huizhou Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Guangdong Power Grid Co Ltd
Huizhou Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Power Grid Co Ltd, Huizhou Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Guangdong Power Grid Co Ltd
Priority to CN202310452550.6A priority Critical patent/CN116721339B/zh
Publication of CN116721339A publication Critical patent/CN116721339A/zh
Application granted granted Critical
Publication of CN116721339B publication Critical patent/CN116721339B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种输电线路的检测方法、装置、设备和存储介质。其中，方法包括：获取双目摄像机针对目标输电线路拍摄的一组双目图像，双目图像包括左目图像和右目图像；针对每帧待处理的双目图像，根据左目图像和右目图像确定双目图像中的目标对象到双目摄像机的实际距离；若实际距离小于或等于预设距离，将双目图像作为第一参考图像，根据第一参考图像和第二参考图像确定目标对象的停留时间；若停留时间大于预设时间，生成关于目标对象的第一提示信息，第一提示信息用于提示目标输电线路处于第一风险等级。解决了现有的输电线路的检测方法对风险检测的准确度较低的问题，提高了对输电线路周边风险检测的准确度，为输电线路的安全提供保障。

Description

一种输电线路的检测方法、装置、设备和存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种输电线路的检测方法、装置、设备和存储介质。
背景技术
外力破坏是造成输电线路事故的主要原因之一，会给电网的安全稳定运行造成极大的安全隐患。其中，外力破坏包括雷击、飓风、覆冰等不可抗力和人为外力破坏。人为外力破坏主要是指由塔吊、吊车、挖掘机或推土机等大型机械在输电线路下施工的过程中破坏输电线路。
相比不可抗力的不可预测性，大型机械违规施工等人为外力破坏是可以避免的。目前，将基于卷积神经网络的目标检测模型用于输电线路外力破坏的隐患检测，能够在提高隐患目标检测准确率的同时也提升检测效率。然而，由于摄像头的视野范围宽广，目标检测模型将距离输电线路远处的施工机械检测出来的误检情况经常发生。
发明内容
本发明提供了一种输电线路的检测方法、装置、设备和存储介质，以提升输电线路的风险检测的准确度。
根据本发明的一方面，提供了一种输电线路的检测方法，该方法包括：
获取双目摄像机针对目标输电线路拍摄的一组双目图像，其中，双目图像包括左目图像和右目图像；
针对每帧待处理的双目图像，根据左目图像和右目图像确定双目图像中的目标对象到双目摄像机的实际距离；
若实际距离小于或等于预设距离，将双目图像作为第一参考图像，根据第一参考图像和第二参考图像确定目标对象的停留时间，第二参考图像为采集时间位于第一参考图像之后的图像，第二参考图像中的目标对象到双目摄像机的实际距离小于或等于预设距离；
若停留时间大于预设时间，生成关于目标对象的第一提示信息，其中，第一提示信息用于提示所述目标输电线路处于第一风险等级。
根据本发明的另一方面，提供了一种输电线路的检测装置，该装置包括：
双目图像获取模块，用于获取双目摄像机针对目标输电线路拍摄的一组双目图像，其中，双目图像包括左目图像和右目图像；
实际距离确定模块，用于针对每帧待处理的双目图像，根据左目图像和右目图像确定双目图像中的目标对象到双目摄像机的实际距离；
停留时间确定模块，用于若实际距离小于或等于预设距离，将双目图像作为第一参考图像，根据第一参考图像和第二参考图像确定目标对象的停留时间，第二参考图像为采集时间位于第一参考图像之后的图像，第二参考图像中的目标对象到双目摄像机的实际距离小于或等于预设距离；
第一提示模块，用于若停留时间大于预设时间，生成关于目标对象的第一提示信息，其中，第一提示信息用于提示目标输电线路处于第一风险等级。
根据本发明的另一方面，提供了一种电子设备，该电子设备包括：
至少一个处理器；以及
与至少一个处理器通信连接的存储器；其中，
存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器能够执行本发明任一实施例的输电线路的检测方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行时实现本发明任一实施例的输电线路的检测方法。
本发明实施例的技术方案，获取双目摄像机针对目标输电线路拍摄的一组双目图像，由于双目图像包括左目图像和右目图像，能够仿真眼睛真实观察的情形，捕获更多的针对输电线路的信息。针对每帧待处理的双目图像，根据左目图像和右目图像确定双目图像中的目标对象到双目摄像机的实际距离，通过双目图像可简单、快速又有效地确定出目标对象的实际距离。若实际距离小于或等于预设距离，将双目图像作为第一参考图像，根据第一参考图像和第二参考图像确定目标对象的停留时间，以有效区分长时间停留的对象和短时路过的对象，排除距离输电线路较远的对象，辅助捕捉可疑对象。若停留时间大于预设时间，生成关于目标对象的第一提示信息，其中，第一提示信息用于提示目标输电线路处于第一风险等级，能够在存在风险时及时提示，解决了现有的输电线路的检测方法对风险检测的准确度较低的问题，提高了对输电线路周边风险检测的准确度，为输电线路的安全提供保障。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例提供的一种输电线路的检测方法的流程图；
图2是根据本发明实施例提供的另一种输电线路的检测方法的流程图；
图3是根据本发明实施例提供的一种在YOLOv4模型引入协同注意力机制计算的示意图；
图4是根据本发明实施例提供的一种实际距离计算的示意图；
图5是根据本发明实施例提供的一种具体的输电线路的检测方法的流程图；
图6是根据本发明实施例提供的一种输电线路的检测装置的结构框图；
图7是根据本发明实施例提供的一种电子设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
图1是根据本发明实施例提供的一种输电线路的检测方法的流程图，本实施例可适用于基于双目图像进行输电线路周边风险检测的场景，可以由输电线路的检测装置来执行，该输电线路的检测装置可以采用硬件和/或软件的形式实现，并配置于电子设备的处理器中。
如图1所示，输电线路的检测方法包括以下步骤：
S110、获取双目摄像机针对目标输电线路拍摄的一组双目图像，其中，双目图像包括左目图像和右目图像。
其中，目标输电线路是待进行风险检测的输电线路，例如，可以是存在外力破坏的隐患的输电线路。
具体的，为了检测目标输电线路附近的大型机械，可将双目摄像机设置在目标输电线路附近。使用双目摄像机针对目标输电线路拍摄一段视频，该视频的每一帧的双目图像包括左目图像和右目图像。其中，左目图像是双目摄像机的左摄像头拍摄的图像，右目图像是双目摄像机的右摄像头拍摄的图像。
S120、针对每帧待处理的双目图像，根据左目图像和右目图像确定双目图像中的目标对象到双目摄像机的实际距离。
其中，目标对象包括可能对目标输电线路造成破坏的设备或工具，例如，可以是塔吊、吊车、挖掘机和推土机等大型机械。
可以理解的是，当目标输电线路附近的大型机械施工时，可能会破坏目标输电线路。但是，大型机械施工的范围有限，认为大型机械对于其施工范围之外的目标输电线路不会造成外力破坏。因此，为了排除距离目标输电线路远处的大型机械，需要确定目标对象到双目摄像机的实际距离。
本实施例基于双目测距原理确定目标对象到双目摄像机的实际距离，对于具体的实施方式不做具体限定。示例性的，根据左目图像和右目图像确定双目摄像机两个摄像头之间的角度差异，基于该角度差异估算目标对象到双目摄像机的实际距离，这样做的好处是，考虑到了空间变形的影响，提高该实际距离的准确性，进一步提高对输电线路周边风险检测的准确度。
S130、若实际距离小于或等于预设距离，将双目图像作为第一参考图像，根据第一参考图像和第二参考图像确定目标对象的停留时间。
其中，第二参考图像为采集时间位于第一参考图像之后的图像，第二参考图像中的目标对象到双目摄像机的实际距离小于或等于预设距离。
可选的，若目标对象距离双目摄像机的实际距离小于或等于预设距离，该目标对象可能会对目标输电线路造成外力破坏。进一步的，为了排除距离目标输电线路远处的大型机械，可以将实际距离大于预设距离的目标对象作为无关目标。
可以理解的是，目标对象可能是路过目标输电线路附近时被双目摄像机拍到，因此，为了排除这种情况造成的误检，还需要确定目标对象的停留时间。为了确定目标对象的停留时间，还需要获取该双目图像之后采集的图像，若该双目图像之后采集的图像中的目标对象到双目摄像机的实际距离小于或等于预设距离，则将其作为第二参考图像。在本发明实施例中，可选地，根据第二参考图像的数量以及双目摄像机的帧率，可以确定该目标对象在目标输电线路附近的停留时间。或者，采用最后一张第二参考图像，即，目标对象到双目摄像机的实际距离小于或等于预设距离的最后一张图像，作为目标参考图像，根据第一参考图像和目标参考图像对应的采集时间，确定该目标对象在目标输电线路附近的停留时间。
在一个具体的实施例中，可选的，还可以进行分段检测。具体的，基于预设时间间隔或者预设帧数将采集的该一组双目图像，分为多个子图像组，以每个子图像组为单位，对每个预设时间段内的双目图像进行目标检测，确定每个预设时间段内是否有目标对象到双目摄像机的实际距离小于或等于预设距离的图像，即第二参考图像，进一步根据存在第二参考图像的子图像组对应的采集时间确定同一目标对象的停留时间。
可以理解的是，在一组连续帧数的图像中，可能出现目标对象的实际距离先小于或等于预设距离，然后大于预设距离，最后持续小于或等于预设距离的情况。针对这种情况，可以在第二参考图像后继续获取设定帧数的图像，若该设定帧数的图像中存在目标对象的实际距离均大于预设距离的图像，则根据第二参考图像和第一参考图像确定该目标对象的停留时间。若该设定帧数的图像中存在目标对象的实际距离小于或等于预设距离的图像，则将该目标对象的实际距离小于或等于预设距离的图像作为第二参考图像，继续获取设定帧数的图像，直到设定帧数的图像中，该目标对象的实际距离均大于预设距离，将最后一张该目标对象的实际距离小于或等于预设距离的图像作为第二参考图像，根据第二参考图像和第一参考图像确定该目标对象的停留时间。
可选的，可以设置帧数上限，当第一参考图像到第二参考图像的帧数差大于或等于设定帧数上限，不再获取第二参考图像的下一张图像，此时，可以将目标对象的停留时间确定为预设数值。
示例性的，帧数上限为90帧，第二参考图像为第一参考图像后的连续90帧的图像，根据第一参考图像中目标对象的位置和第一参考图像之后连续90帧的图像中目标对象的位置，进一步，根据第一参考图像和第二参考图像的帧数和双目摄像机的帧率，确定该目标对象在目标输电线路附近的停留时间。如果该90帧图像中目标对象的实际距离均小于或等于预设距离，则将目标对象的停留时间确定为预设数值，其中，预设数值可以为采集该90帧图像所耗费的时长。
进一步的，根据第一参考图像和第二参考图像确定目标对象的停留时间，包括：通过多目标跟踪算法，根据第一参考图像和第二参考图像确定目标对象的停留时间。
具体的，在一段双目摄像机针对目标输电线路拍摄的视频中，可使用多目标跟踪(Multiple Object Tracking，MOT)算法同时跟踪多个目标对象。可选的，多目标跟踪算法可以是简单在线实时跟踪(Simple Online and Realtime Tracking，SORT)算法、具有深度关联度量的简单在线实时跟踪(simple online and real-time tracking with a deepassociation metric，deepsort)算法、联合检测与嵌入(Joint Detection andEmbedding，JDE)算法或ByteTrack算法。
具体地，在通过deepsort算法，根据第一参考图像和第二参考图像确定目标对象的停留时间的场景中，一种是根据第一参考图像和第二参考图像中目标对象的外观和位置建立数据关联；另一种是通过算法提取第一参考图像和第二参考图像中目标对象的图像特征，然后通过图像特征匹配建立数据关联。
示例性的，通过deepsort算法确定第一参考图像和第二参考图像中各个图像对象的外观确定是否为同一目标对象。进而，针对同一目标对象，根据该目标对象在第一参考图像和第二参考图像中的位置，确定每个目标对象的位置变化/运动轨迹，从而判断每个目标对象是否停留。
S140、若停留时间大于预设时间，生成关于目标对象的第一提示信息，其中，第一提示信息用于提示目标输电线路处于第一风险等级。
可以理解的是，当目标对象在目标输电线路附近停留时间大于预设时间时，该大型机械可能要开始施工，针对这种情况，设置了第一提示信息，第一提示信息可以是任何形式的提示信息，提醒用户有目标对象位于输电线路附近，目标输电线路处于第一风险等级。这样做的好处是，便于用户及时对风险进行干预，提高输电线路的管理效率，增强安全性。
示例性的，针对目标对象的停留时间大于预设时间，可通过预先设置的声/光等形式的提示信息，提示用户目标输电线路处于第一风险等级。
可选的，若停留时间小于或等于预设时间，生成关于目标对象的第二提示信息，第二提示信息用于提示用户目标输电线路处于第二风险等级，第一风险等级高于第二风险等级。具体的，目标对象的停留时间小于或等于预设时间，说明该目标对象在目标输电线路附近停留的时间较短，但也有可能对目标输电线路造成外力破坏，但考虑到目标对象的停留时间与目标输电线路的危险程度在一些场景中可能呈现正相关的关系，因此，可设置不同于第一提示信息的第二提示信息，提示用户目标输电线路处于第二风险等级。
在一个实施例中，设置了报警装置，若实际距离小于或等于预设距离的大型机械的停留时间小于或等于预设时间，控制报警装置发出第一时长的报警信号；若停留时间大于预设时间，控制报警装置发出第二时长的报警信号；第二时长大于第一时长。
示例性的，设置了蜂鸣器，若大型机械的停留时间小于或等于预设时间，蜂鸣器响20秒；当停留时间大于预设时间，蜂鸣器响40秒。
本发明实施例的技术方案，通过获取双目摄像机针对目标输电线路拍摄的一组双目图像，由于双目图像包括左目图像和右目图像，能够仿真眼睛真是观察的情形，捕获更多的输电线路信息。针对每帧待处理的双目图像，根据左目图像和右目图像确定双目图像中的目标对象到双目摄像机的实际距离，通过双目图像即可简单快速有效地确定出目标对象的实际距离。若实际距离小于或等于预设距离，将双目图像作为第一参考图像，根据第一参考图像和第二参考图像确定目标对象的停留时间，以有效区分长时间停留的对象和短时路过的对象，排除距离输电线路较远的目标对象，辅助捕捉可疑对象。若停留时间大于预设时间，生成关于目标对象的第一提示信息，其中，第一提示信息用于提示目标输电线路处于第一风险等级，在存在风险时及时提示，解决了现有的输电线路的检测方法对风险检测的准确度较低的问题，提高了对输电线路周边风险检测的准确度，为输电线路的安全提供保障。
图2是根据本发明实施例提供的另一种输电线路的检测方法的流程图，本实施例可适用于基于双目图像进行输电线路周边风险检测的场景，本实施例与上述实施例中的输电线路的检测方法属于同一个发明构思，在上述实施例的基础上，进一步描述了根据左目图像和右目图像确定双目图像中的目标对象到双目摄像机的实际距离的过程。
如图2所示，该输电线路的检测方法包括：
S210、获取双目摄像机针对目标输电线路拍摄的一组双目图像，其中，双目图像包括左目图像和右目图像。
S220、针对每帧待处理的双目图像，分别确定左目图像和右目图像中与目标对象对应的第一像素点和第二像素点。
其中，第一像素点和第二像素点对应于目标对象的同一位置。
可以理解的是，为了根据双目图像确定目标对象到双目摄像机的实际距离，需要确定每帧双目图像中目标对象到双目摄像机的实际距离。
首先，在左目图像中，确定目标对象的所有像素点，每个像素点均作为第一像素点；然后，在右目图像中，确定与每个第一像素点对应的同一位置的像素点，均作为第二像素点。可选的，在右目图像中，确定目标对象的所有像素点，将每个像素点均作为第一像素点；在左目图像中，确定与每个第一像素点对应的同一位置的像素点，均作为第二像素点。
这样做的好处是，将需要确定实际距离的点限定在目标对象的第一像素点和第二像素点，可以减少下一步基于左目图像和右目图像计算距离的计算量，只针对目标对象的像素点进行实际距离的计算，提高输电线路周边风险检测的速度和准确度。
进一步的，分别确定左目图像和右目图像中与目标对象对应的第一像素点和第二像素点，包括：
首先，将左目图像或右目图像中的其中一目图像作为第一图像，另一目图像作为第二图像。
具体的，为了确定双目图像中是否存在目标对象，需要选择双目图像其中的一目图像，对其进行目标检测。示例性的，将左目图像作为第一图像，将右目图像作为第二图像；也可以将右目图像作为第一图像，将左目图像作为第二图像。
然后，将第一图像输入预训练的目标检测模型，确定目标对象对应的目标区域图像，其中，目标检测模型包括YOLOv4模型。
可选的，目标检测模型用于确定第一图像中目标对象的类型、数量和位置，例如，可以是Faster R-CNN、SSD(Single Shot MultiBox Detector)或单次检测器(you onlylook once，YOLO)系列模型。
在一个具体的实施例中，目标检测模型的具体结构可以包括特征提取网络和预测网络，其中，特征提取网络用于提取第一图像的特征数据，将第一图像的特征数据输入到预测网络中，输出目标对象的类型、数目和位置，实现目标对象的定位和分类。进一步的，可以在目标检测模型中引入注意力机制(attention mechanism)，基于注意力机制选择关注的信息。可选的，注意力机制可以是标准注意力机制(vanilla attention mechanism)、协同注意力机制(coordinate attention mechanism)、自注意力机制(self-attentionmechanism)、层级注意力机制(hierarchical attention mechanism)或多头注意力机制(multi-head attention mechanism)中的一种。
示例性的，目标检测模型是YOLOv4模型，其结构由4大部分组成：主干特征提取网络CSPDarknet53网络、空间金字塔池化层SPP层、路径汇集网络PANet网络以及预测网络。这样做的好处是，利用CSP与Darknet-53残差网络相结合，能够提取图片深层次网络特征数据，同时减小计算量；增加SPP层可以增大感受野，提取更高层次的语义特征，能够适应不同尺寸和背景特征的目标识别。进一步的，在CSPDarknet53网络中的CSP模块中加入协同注意力(coordinate attention，CA)机制，这样做的好处是，可以增强目标对象的特征表达，提高模型对目标对象的检测精度，将传递通道赋予不同的权重，使得在梯度计算过程中，权重较大的通道占主导地位，最终呈现在原始图像中网络能更明显的检测重点关注部分。
图3是根据本发明实施例提供的一种在YOLOv4模型引入协同注意力机制计算的示意图，如图3所示，首先，将左目图像输入改进的YOLOv4模型，CA机制将左目图像的原始输入特征分解为两个一维特征的编码，分别沿着长宽两个空间方向聚合特征进行全局池化，这样做的好处是，在一个空间方向建立依赖关系，同时，在另一方向捕获精准的位置特征，二者相辅相成，共同应用于特征图，以增强左目图像中目标对象的表示。然后，将生成的特征图分别编码，使通道叠加，在经过卷积及非线性函数变换，为空间信息各自在长宽方向进行编码的中间特征映射，将得到的新特征按照H和W的值拆分，在经过激活函数与最原始的输入相乘，得到最终的注意力特征图。
在一个具体的实施例中，首先，以各种类型目标对象的图像作为样本，以目标对象的类型和其在图像中的位置作为标签，对目标检测模型进行训练，得到经过训练的目标检测模型；将第一图像输入经过训练的目标检测模型，通过特征提取网络对第一图像进行特征提取；进一步的，目标检测模型可以包括池化层，用于对进行下采样，这样做的好处是，减少数据量，加快运算速度，从而提高输电线路周边风险检测的效率。可选的，还可以在目标检测模型中设置用于图像缩放的网络结构，该网络具体用于将第一图像缩放到预设尺寸，通过预测网络对预设尺寸图像中的目标对象进行预测，得到关于目标对象的预测结果，该预测结果包括目标对象在预设尺寸图像中的类型、数量和位置，实现第一图像中目标对象的检测。可选的，还可以设置用于进行图像分割的网络结构，将第一图像分割为多个预设尺寸的图像块，对各个预设尺寸图像中的目标对象进行预测，得到各个预设尺寸图像中目标对象的预测结果，最后再将所有图像块的预测结果合并输出，实现目标对象的检测。这样做的好处是，针对第一图像尺寸大于预设尺寸时，对第一图像进行分割或缩放操作，得到预设尺寸的图像，可以减少计算成本和模型的预测时间。
示例性的，首先，以各种大型机械图片作为样本，以大型机械的类型和位置作为标签对改进的YOLOv4模型进行训练，得到预训练的模型；其次，将左目图像输入经过训练的模型，左目图像被不失真地缩放成预设尺寸(如，416×416)的三通道张量并送入CSPDarknet53网络，对隐患目标进行初步特征提取；然后，对最后一层的输出做3次卷积后送入SPP层进行最大池化操作；最后，对经过最大池化的信息进行堆叠和卷积并送入PANet，在PANet中对特征提取网络输出的最后第2层、最后第3层以及SPP层输出的特征图进行融合，最后将融合结果输入到预测网络中实现目标对象的定位和分类。进一步的，在预测网络中，预测网络首先将融合特征图划分为S×S个网格，每个网格负责预测中心落入该网络的对象是否是目标对象，并计算3个预测框。每个预测框对应5+C个值，C代表疑似目标对象的种类数目，5表示预测框的信息，分别是：中心点坐标，疑似目标对象外接矩形框的宽和高以及置信度。最后使用非极大值抑制算法来筛选，将置信度较高的疑似目标对象的外接矩形框作为最终的检测结果进行输出，将该矩形框对应的区域图像作为目标区域图像。这样做的好处是，在CSPDarknet53网络中的CSP模块中加入CA注意力机制，能够将传递通道赋予不同的权重，使得在梯度计算过程中，权重大的通道占主导地位，也就是图像中目标检测重点关注的部分。
最后，基于预设的特征匹配模型将第一图像和第二图像进行配准，以根据目标区域图像确定第一图像和第二图像中的第一像素点和第二像素点。
其中，第一像素点和第二像素点对应于目标对象的同一位置。
特征匹配模型可以是局部特征变换器(Local Feature Transformers，LoFTR)模型或其他基于半全局块匹配(Semi-global block matching，SGBM)、快速鲁棒性特征(Speeded Up Robust Features，SURF)或ORB(Oriented Fast and Rotated Brief)算法的模型。
具体的，首先，采用特征匹配模型对双目图像提取特征；然后，基于双目图像的特征中包含相同或相似的内容对双目图像进行配准，得到配准的双目图像；将第一图像中目标区域图像的所有像素点作为第一像素点，再根据已经配准的双目图像之间的像素点坐标的关系，确定第二图像中与第一像素点对应的第二像素点。这样做的好处是，可以直接从包含相同或相似特征内容的双目图像对中学习到像素级别的匹配关系，提取的特征点匹配对精度较高，且通过GPU并行计算加速，实现高效率配准。
在一个具体的实施例中，特征匹配模型是LoFTR模型。LoFTR模型可以在低纹理和运动模糊的区域产生高质量的特征匹配对，对于运动中的目标对象具有较好的配准效果。进一步的，可导入开源的室外场景模型权重，直接应用在输电线路场景下的图像配准中。这样做的好处是，LoFTR模型无须重新训练就可以配准第一图像和第二图像。
示例性的，首先，将双目图像输入LoFTR模型后生成N个特征匹配对{(a,b)∈Ili，(a,b)∈Iri|i＝1,2,3…N}，其中，(a,b)∈Ili是左目图像中的特征匹配像素点的坐标，(a,b)∈Iri是右目图像中的特征匹配像素点的坐标，i为特征匹配对的序号；然后，以左目图像作为第一图像，根据第一图像中的目标检测模型确定的目标区域图像的坐标范围，对左目图像中目标对象的特征匹配像素点坐标，并根据特征匹配对的序号i获取右目图像中目标对象的特征匹配像素点坐标，即可得到目标区域图像的特征匹配对。
可以理解的是，也可以直接对目标区域图像进行特征匹配，得到目标区域图像的特征匹配对，得到目标对象在目标区域图像中的第一像素点，再根据双目图像的映射关系确定第二像素点。这样做的好处是，可以进一步缩小特征匹配的范围，减少特征匹配的数据量，加快图像配准的速度。
进一步的，在基于预设的特征匹配模型将第一图像和第二图像进行配准之前，还包括：基于双目摄像机的目标参数对第一图像和第二图像进行畸变和立体校正，获取重投影矩阵，将重投影矩阵经过旋转和重新投影映射，得到待匹配的第一图像和第二图像。
可以理解的是，针对双目摄像机拍摄的双目图像存在的畸变现象，在进行配准之前需要对左目图像和右目图像进行校正。
首先，根据双目摄像机的内部参数和外部参数对左目图像和右目图像进行畸变及立体校正，消除双目图像的径向和切向的畸变误差；然后，获取重投影矩阵，计算重投影误差。具体的，由于根据双目摄像机的投影矩阵计算得到的像素点位置与实际像素点位置之间总存在一个距离，计算该距离的累加和，作为重投影误差。经过旋转和重新投影映射，最终得到对准的双目图像，分别为待匹配的第一图像和第二图像。
在一个具体的实施例中，利用图像处理软件根据双目摄像机的内部参数和外部参数对左目图像和右目图像进行畸变和立体校正，以消除双目图像的径向和切向畸变误差；获取重投影矩阵，计算重投影误差，基于重投影误差来构造代价函数，通过最小化代价函数，以优化投影矩阵，经过旋转和重新投影映射，最终得到对准的双目图像，作为待匹配的第一图像和第二图像。这样做的好处是，重投影误差不仅考虑了内部参数和外部参数的计算误差，也考虑了双目图像的测量误差，提高了计算精度，进一步提高对输电线路周边风险检测的准确度。
示例性的，利用OpenCV中Undistort Points()和StereoRectify()函数，根据双目摄像机的内部参数和外部参数对左目图像和右目图像进行畸变和立体校正，以消除双目图像的径向和切向畸变误差；获取重投影矩阵，计算重投影误差，基于重投影误差来构造代价函数，通过最小化代价函数，以优化投影矩阵；基于优化后的投影矩阵对双目图像进行旋转和重新投影映射，得到待匹配的第一图像和第二图像。
S230、根据第一像素点、第二像素点和双目摄像机的目标参数，确定目标对象距离双目摄像机的实际距离。
其中，目标参数包括双目摄像机的两个摄像头之间的映射关系参数。在一个具体的实施例中，映射关系参数包括第一像素点和双目摄像机的基线(b)和焦距(f)以及双目摄像机采集的双目图像之间的映射关系。根据映射关系分别确定每个第一像素点在第一图像中的像素值和每个第二像素点在第二图像中的像素值，以得到每个第一像素点和第二像素点的像素值差，这样做的好处是，根据双目图像之间的映射关系和第一像素可以直接确定第二像素，进而根据他们的像素差、极线和焦距确定实际距离。
示例性的，图4是根据本发明实施例提供的一种实际距离计算的示意图，如图4所示，双目摄像机的两个摄像头是水平放置。首先，根据目标对象在待匹配的第一图像中预设数量的第一像素点，确定第一像素点在水平方向的像素值(XL)；根据双目图像之间的映射关系和第一像素点，在待匹配的第二图像中确定预设数量的第二像素点，得到第二像素点在水平方向的像素值(XR)；确定左目图像目标对象的每个点在水平方向的像素值(XL)和右目图像对应点在水平方向的像素值(XR)之差，根据公式(1)得到目标对象距离双目摄像机的实际距离：
其中，X为预设数量个XL和预设数量个XR之差的均值，目标对象距离双目摄像机的实际距离为Z。
进一步的，对双目摄像机进行标定，以得到目标参数，包括：
首先，通过预设单目标定算法，得到双目摄像机的畸变系数和内部参数。
然后，基于内部参数和畸变系数对双目图像进行图像校正，得到双目摄像机的外部参数。
最后，根据内部参数和外部参数，生成双目摄像机的目标参数。
其中，预设单目标定算法可以包括基于Tsai两步法或张正友标定法等标定算法，通过预设单目标定算法对双目摄像机进行单目标定，得到双目摄像机的内部参数和畸变系数。可选的，若双目图像不存在畸变，还可以通过基于主动视觉、Kruppa方程或分层逐步标定法对双目摄像机进行单目标定，得到双目摄像机的内部参数和外部参数。
在一个具体的实施例中，基于张正友标定法对双目摄像机进行标定。首先，使用双目摄像机对预设参照物拍摄多张不同角度的参考图像；基于多张参考图像，通过预设单目标定算法对分别对双目摄像机的左摄像头和右摄像头进行单目标定，通过提取角点和预估畸变误差等操作得到左摄像头和右摄像头的畸变系数和内部参数；根据左摄像头和右摄像头的畸变系数和内部参数，同时根据左目摄像头和右目摄像头拍摄的同一角度的参考图像，确定左目摄像头和右目摄像头之间的旋转矩阵和平移矩阵，进一步确定左目图像和右目图像中预设参照物的同一位置的坐标点，以对旋转矩阵和平移矩阵进行标定，根据标定后的旋转矩阵和平移矩阵，生成双目摄像机的外部参数矩阵；最后，根据内部参数矩阵和外部参数矩阵，生成双目摄像机的目标参数。
示例性的，以棋盘格为标定参照物，使用双目摄像机拍摄多张不同角度的棋盘格图像；基于多张棋盘格图像，利用matlab软件中camera calibration工具箱分别对双目摄像机的左摄像头和右摄像头进行单目标定，通过提取角点和预估畸变误差等操作得到左摄像头和右摄像头的畸变系数和内部参数矩阵；将上述左摄像头和右摄像头的畸变系数和内部参数矩阵作为输入，再同时利用左目摄像头和右目摄像头拍摄的多张对应的棋盘格图像，调用stereoCalibrate函数，输出左目摄像头和右目摄像头之间的旋转矩阵R和平移向量T；使用stereo camera calibrator工具箱将与棋盘格的真实尺度误差较大的双目图像移除，然后重新计算，对旋转矩阵R和平移向量T进行标定，借助OpenCV的棋盘格检测函数，得到左目图像和右目图像中棋盘格同一位置的坐标点后，通过线性方程求解参数估计，得到双目摄像机的外部参数矩阵；最后，根据内部参数矩阵和外部参数矩阵，生成双目摄像机的目标参数。
进一步的，还可以使用预设的双目标定算法对双目摄像机进行标定，得到双目摄像机的目标参数，本实施例对此不做具体限定。
S240、若实际距离小于或等于预设距离，将双目图像作为第一参考图像，根据第一参考图像和第二参考图像确定目标对象的停留时间。
S250、若停留时间大于预设时间，生成关于目标对象的第一提示信息，其中，第一提示信息用于提示目标输电线路处于第一风险等级。
图5是根据本发明实施例提供的一种具体的输电线路的检测方法的流程图，如图5所示，该方法包括：
S1、获取双目摄像机针对目标输电线路拍摄的一组双目图像，其中，双目图像包括左目图像和右目图像。
S2、采用改进YOLOv4模型检测出左目图像中的目标对象，确定目标区域图像。
将左目图像输入改进YOLOv4模型，输出左目图像中的目标对象的类型、数量、包括目标对象的边缘的矩形框以及该矩形框的左上角和右下角的坐标，将该包括目标对象的矩形框中的图像作为目标区域图像。
S3、对左目图像和右目图像进行校正，得到对准的双目图像，作为待匹配双目图像。
S4、利用LoFTR模型对待匹配双目图像进行特征匹配，得到目标区域的特征匹配对。
具体的，利用LoFTR模型对待匹配双目图像进行特征匹配，得到双目图像中针对同一位置的特征匹配对；根据目标区域图像的矩形框的左上角和右下角的坐标在双目图像中的位置，对上述特征匹配对进行筛选，得到目标区域图像的特征匹配对，作为目标对象的特征匹配对。
S5、基于特征匹配对，确定目标对象在双目图像上的像素点，计算目标对象距离双目摄像机的实际距离。
具体的，基于目标对象的特征匹配对，确定目标对象在左目图像上的像素点；基于双目摄像机的两个摄像头之间的映射关系，确定目标对象在右目图像上的像素点，左目图像和右目图像中的像素点为目标对象的同一位置的像素点；基于上述目标对象的同一位置的像素点和双目摄像机的基线和焦距，确定目标对象距离双目摄像机的实际距离。
S6、结合实际距离和停留帧数进行告警判断，实现防外破监测。
当实际距离大于预设阈值时，将目标对象视为无关目标，而当实际距离小于或等于预设距离时，则通过deepsort算法实时统计该目标对象的停留帧数，若该目标对象在输电线路监控区域中的停留帧数小于或等于90帧，则进行低风险告警，提醒工作人员有隐患目标进入现场；若该目标对象在输电线路监控区域中的停留帧数大于90帧，进行高风险告警，表明该目标有长时间停留的趋势。
本实施例的技术方案，对目标区域图像进行特征匹配，得到目标对象在目标区域图像中的特征匹配的像素点，根据特征匹配的像素点确定目标对象的实际距离，解决了现有的输电线路的检测方法存在准确度低的问题，可对输电线路周边进行实时监测，缩小特征匹配的范围，减少特征匹配的数据量，加快图像配准的速度，进一步加快输电线路检测的速度和准确度。
图6是根据本发明实施例提供的一种输电线路的检测装置的结构框图，本实施例可适用于基于双目图像进行输电线路周边风险检测的场景，该装置可以采用硬件和/或软件的形式实现，集成于具有应用开发功能的电子设备的处理器中。
如图6所示，该输电线路的检测装置包括：
双目图像获取模块501用于获取双目摄像机针对目标输电线路拍摄的一组双目图像，其中，双目图像包括左目图像和右目图像；实际距离确定模块502用于针对每帧待处理的双目图像，根据左目图像和右目图像确定双目图像中的目标对象到双目摄像机的实际距离；停留时间确定模块503用于若实际距离小于或等于预设距离，将双目图像作为第一参考图像，根据第一参考图像和第二参考图像确定目标对象的停留时间，第二参考图像为采集时间位于第一参考图像之后的图像，第二参考图像中的目标对象到双目摄像机的实际距离小于或等于预设距离；第一提示模块504用于若停留时间大于预设时间，生成关于目标对象的第一提示信息，其中，第一提示信息用于提示目标输电线路处于第一风险等级。
可选的，该装置还包括第二提示模块，该第二提示模块具体用于：
若停留时间小于或等于预设时间，生成关于目标对象的第二提示信息，第二提示信息用于提示用户目标输电线路处于第二风险等级，第一风险等级高于第二风险等级。
可选的，实际距离确定模块502还用于：
分别确定左目图像和右目图像中与目标对象对应的第一像素点和第二像素点，其中，第一像素点和第二像素点对应于目标对象的同一位置；
根据第一像素点、第二像素点和双目摄像机的目标参数，确定目标对象距离双目摄像机的实际距离，其中，目标参数包括双目摄像机的两个摄像头之间的映射关系参数。
可选的，实际距离确定模块502还包括像素点确定子模块，该像素点确定子模块具体用于：
将左目图像或右目图像中的其中一目图像作为第一图像，另一目图像作为第二图像；
将第一图像输入预训练的目标检测模型，确定目标对象对应的目标区域图像，其中，目标检测模型包括YOLOv4模型；
基于预设的特征匹配模型将第一图像和第二图像进行配准，以根据目标区域图像确定第一图像和第二图像中的第一像素点和第二像素点，其中，特征匹配模型包括LoFTR模型，第一像素点和第二像素点对应于目标对象的同一位置。
可选的，像素点确定子模块包括图像校正单元，该图像校正单元具体用于：基于双目摄像机的目标参数对第一图像和第二图像进行畸变和立体校正，获取重投影矩阵，将重投影矩阵经过旋转和重新投影映射，得到待匹配的第一图像和第二图像。
可选的，实际距离确定模块502还包括双目标定子模块，该双目标定子模块具体用于：
通过预设单目标定算法，得到双目摄像机的畸变系数和内部参数；
基于内部参数对双目图像进行图像校正，得到双目摄像机的外部参数；
根据内部参数和外部参数，生成双目摄像机的目标参数。
可选的，停留时间确定模块503还用于：通过多目标跟踪算法，根据第一参考图像和第二参考图像确定目标对象的停留时间，多目标跟踪算法包括deepsort算法。
本发明实施例所提供的输电线路的检测装置可执行本发明任一实施例所提供的输电线路的检测方法，具备执行方法相应的功能模块和有益效果。
图7是根据本发明实施例提供的一种电子设备的结构框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图7所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如输电线路的检测方法。
在一些实施例中，输电线路的检测方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的输电线路的检测方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行输电线路的检测方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的***和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (8)

1.一种输电线路的检测方法，其特征在于，包括：
获取双目摄像机针对目标输电线路拍摄的一组双目图像，其中，所述双目图像包括左目图像和右目图像；
针对每帧待处理的所述双目图像，根据所述左目图像和所述右目图像确定所述双目图像中的目标对象到所述双目摄像机的实际距离；
若所述实际距离小于或等于预设距离，将所述双目图像作为第一参考图像，根据所述第一参考图像和第二参考图像确定所述目标对象的停留时间，所述第二参考图像为采集时间位于所述第一参考图像之后的图像，所述第二参考图像中的目标对象到所述双目摄像机的实际距离小于或等于预设距离；
若所述停留时间大于预设时间，生成关于所述目标对象的第一提示信息，其中，所述第一提示信息用于提示所述目标输电线路处于第一风险等级；
其中，所述根据所述左目图像和所述右目图像确定所述双目图像中的目标对象到所述双目摄像机的实际距离，包括：
分别确定所述左目图像和所述右目图像中与所述目标对象对应的第一像素点和第二像素点，其中，所述第一像素点和所述第二像素点对应于目标对象的同一位置；
根据所述第一像素点、所述第二像素点和所述双目摄像机的目标参数，确定所述目标对象距离所述双目摄像机的实际距离，其中，所述目标参数包括所述双目摄像机的两个摄像头之间的映射关系参数；
其中，所述分别确定所述左目图像和所述右目图像中与所述目标对象对应的第一像素点和第二像素点，包括：
将所述左目图像或所述右目图像中的其中一目图像作为第一图像，另一目图像作为第二图像；
将所述第一图像输入预训练的目标检测模型，确定所述目标对象对应的目标区域图像，其中，所述目标检测模型包括YOLOv4模型；
基于预设的特征匹配模型将所述第一图像和所述第二图像进行配准，以根据所述目标区域图像确定所述第一图像和所述第二图像中的第一像素点和第二像素点，其中，所述特征匹配模型包括LoFTR模型。
2.根据权利要求1所述的方法，其特征在于，在所述根据所述第一参考图像和第二参考图像确定所述目标对象的停留时间之后，还包括：
若所述停留时间小于或等于所述预设时间，生成关于所述目标对象的第二提示信息，所述第二提示信息用于提示用户所述目标输电线路处于第二风险等级，所述第一风险等级高于所述第二风险等级。
3.根据权利要求1所述的方法，其特征在于，在所述基于预设的特征匹配模型将所述第一图像和所述第二图像进行配准之前，还包括：
基于所述双目摄像机的目标参数对所述第一图像和所述第二图像进行畸变和立体校正，获取重投影矩阵，将所述重投影矩阵经过旋转和重新投影映射，得到待匹配的第一图像和第二图像。
4.根据权利要求1所述的方法，其特征在于，对所述双目摄像机进行标定，以得到所述目标参数，包括：
通过预设单目标定算法，得到所述双目摄像机的畸变系数和内部参数；
基于所述内部参数和所述畸变系数对所述双目图像进行图像校正，得到所述双目摄像机的外部参数；
根据所述内部参数和外部参数，生成所述双目摄像机的目标参数。
5.根据权利要求1所述的方法，其特征在于，所述根据所述第一参考图像和第二参考图像确定所述目标对象的停留时间，包括：
通过多目标跟踪算法，根据所述第一参考图像和第二参考图像确定所述目标对象的停留时间，所述多目标跟踪算法包括deepsort算法。
6.一种输电线路的检测装置，其特征在于，包括：
双目图像获取模块，用于获取双目摄像机针对目标输电线路拍摄的一组双目图像，其中，所述双目图像包括左目图像和右目图像；
实际距离确定模块，用于针对每帧待处理的所述双目图像，根据所述左目图像和所述右目图像确定所述双目图像中的目标对象到所述双目摄像机的实际距离；
停留时间确定模块，用于若所述实际距离小于或等于预设距离，将所述双目图像作为第一参考图像，根据所述第一参考图像和第二参考图像确定所述目标对象的停留时间，所述第二参考图像为采集时间位于所述第一参考图像之后的图像，所述第二参考图像中的目标对象到所述双目摄像机的实际距离小于或等于预设距离；
第一提示模块，用于若所述停留时间大于预设时间，生成关于所述目标对象的第一提示信息，其中，所述第一提示信息用于提示所述目标输电线路处于第一风险等级；
其中，所述实际距离确定模块具体用于：
分别确定所述左目图像和所述右目图像中与所述目标对象对应的第一像素点和第二像素点，其中，所述第一像素点和所述第二像素点对应于目标对象的同一位置；
根据所述第一像素点、所述第二像素点和所述双目摄像机的目标参数，确定所述目标对象距离所述双目摄像机的实际距离，其中，所述目标参数包括所述双目摄像机的两个摄像头之间的映射关系参数；
其中，所述实际距离确定模块还包括像素点确定子模块，所述像素点确定子模块用于：
将所述左目图像或所述右目图像中的其中一目图像作为第一图像，另一目图像作为第二图像；
将所述第一图像输入预训练的目标检测模型，确定所述目标对象对应的目标区域图像，其中，所述目标检测模型包括YOLOv4模型；
基于预设的特征匹配模型将所述第一图像和所述第二图像进行配准，以根据所述目标区域图像确定所述第一图像和所述第二图像中的第一像素点和第二像素点，其中，所述特征匹配模型包括LoFTR模型。
7.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的输电线路的检测方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-5中任一项所述的输电线路的检测方法。
CN202310452550.6A 2023-04-24 2023-04-24 一种输电线路的检测方法、装置、设备和存储介质 Active CN116721339B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310452550.6A CN116721339B (zh) 2023-04-24 2023-04-24 一种输电线路的检测方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310452550.6A CN116721339B (zh) 2023-04-24 2023-04-24 一种输电线路的检测方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN116721339A CN116721339A (zh) 2023-09-08
CN116721339B true CN116721339B (zh) 2024-04-30

Family

ID=87864893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310452550.6A Active CN116721339B (zh) 2023-04-24 2023-04-24 一种输电线路的检测方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN116721339B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015024407A1 (zh) * 2013-08-19 2015-02-26 国家电网公司 基于电力机器人的双目视觉导航***及方法
CN111899282A (zh) * 2020-07-30 2020-11-06 平安科技（深圳）有限公司 基于双目摄像机标定的行人轨迹跟踪方法及装置
CN115049976A (zh) * 2022-05-24 2022-09-13 国网陕西省电力有限公司电力科学研究院 一种预测输电线路风向和风速的方法、***、设备及介质
WO2023045147A1 (zh) * 2021-09-24 2023-03-30 上海闻泰电子科技有限公司 双目摄像机的标定方法、***、电子设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015024407A1 (zh) * 2013-08-19 2015-02-26 国家电网公司 基于电力机器人的双目视觉导航***及方法
CN111899282A (zh) * 2020-07-30 2020-11-06 平安科技（深圳）有限公司 基于双目摄像机标定的行人轨迹跟踪方法及装置
WO2023045147A1 (zh) * 2021-09-24 2023-03-30 上海闻泰电子科技有限公司 双目摄像机的标定方法、***、电子设备和存储介质
CN115049976A (zh) * 2022-05-24 2022-09-13 国网陕西省电力有限公司电力科学研究院 一种预测输电线路风向和风速的方法、***、设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘昱岗 ; 王卓君 ; 王福景 ; 张祖涛 ; 徐宏 ; .基于双目立体视觉的倒车环境障碍物测量方法.交通运输***工程与信息.2016,(04),全文. *

Also Published As

Publication number Publication date
CN116721339A (zh) 2023-09-08

Similar Documents

Publication Publication Date Title
CN108960211B (zh) 一种多目标人体姿态检测方法以及***
JP7134012B2 (ja) 視差推定装置及び方法
CN111680574B (zh) 一种人脸检测方法、装置、电子设备和存储介质
CN112561879B (zh) 模糊度评价模型训练方法、图像模糊度评价方法及装置
CN110853002A (zh) 一种基于双目视觉的变电站异物检测方法
CN111814776B (zh) 一种图像处理方法、设备、服务器及存储介质
CN114037087B (zh) 模型训练方法及装置、深度预测方法及装置、设备和介质
CN117011772B (zh) 一种输电线路的风险提示方法、装置和存储介质
CN116721339B (zh) 一种输电线路的检测方法、装置、设备和存储介质
CN117132649A (zh) 人工智能融合北斗卫星导航的船舶视频定位方法及装置
CN109741370B (zh) 一种目标跟踪方法和装置
CN116129422A (zh) 单目3d目标检测方法、装置、电子设备和存储介质
CN112907728B (zh) 基于摄像头和边缘计算的船舶场景还原和定位方法及***
CN108629333A (zh) 一种低照度的人脸图像处理方法、装置、设备及可读介质
CN108062741B (zh) 双目图像处理方法、成像装置和电子设备
CN110826455A (zh) 一种目标识别方法及图像处理设备
US20240242377A1 (en) Pose estimation apparatus and method for robotic arm to grasp target based on monocular infrared thermal imaging vision
CN116819229A (zh) 一种输电线路的测距方法、装置、设备和存储介质
CN112164107B (zh) 一种端到端相机建模方法及装置
CN117726666B (zh) 跨相机单目图片度量深度估计方法、装置、设备及介质
CN116071656B (zh) 地下变电站红外图像积水检测智能报警方法及***
CN115205939B (zh) 人脸活体检测模型训练方法、装置、电子设备及存储介质
CN118115540A (zh) 一种三维目标跟踪方法、装置、设备及存储介质
CN110580703B (zh) 一种配电线路的检测方法、装置、设备及存储介质
CN117968624A (zh) 一种双目相机测距方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant