CN111489354A - 电力塔架上鸟巢的检测方法、装置、服务器及存储介质 - Google Patents

电力塔架上鸟巢的检测方法、装置、服务器及存储介质 Download PDF

Info

Publication number
CN111489354A
CN111489354A CN202010419813.XA CN202010419813A CN111489354A CN 111489354 A CN111489354 A CN 111489354A CN 202010419813 A CN202010419813 A CN 202010419813A CN 111489354 A CN111489354 A CN 111489354A
Authority
CN
China
Prior art keywords
image
bird nest
image group
nest detection
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010419813.XA
Other languages
English (en)
Other versions
CN111489354B (zh
Inventor
王彬
张彩友
焦晨骅
丁建
朱迪锋
罗绍青
钟素鹏
杨君佳
黄陆明
林磊
王坚俊
黄建峰
许杨勇
魏文力
姜云土
吴坤祥
苏良智
吴米佳
曹浩楠
安城辉
李博亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Zhejiang Electric Power Co Ltd
Inspection Branch of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
State Grid Zhejiang Electric Power Co Ltd
Inspection Branch of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Zhejiang Electric Power Co Ltd, Inspection Branch of State Grid Zhejiang Electric Power Co Ltd filed Critical State Grid Zhejiang Electric Power Co Ltd
Priority to CN202010419813.XA priority Critical patent/CN111489354B/zh
Publication of CN111489354A publication Critical patent/CN111489354A/zh
Application granted granted Critical
Publication of CN111489354B publication Critical patent/CN111489354B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种电力塔架上鸟巢的检测方法、装置、服务器及存储介质，获取在同一视角同一时间段内拍摄的待进行鸟巢检测的电力塔架的三条视频，不同的视频的图像数据模态不同；对三条视频进行处理得到多个图像组，每个图像组由同一时间同一视角下拍摄的电力塔架的三张图像构成；基于预训练的迁移网络提取图像组中图像的图像特征将图像组转换成满足预设条件的目标图像组；按照拍摄顺序依次将各个目标图像组输入至预训练的鸟巢检测模型得到鸟巢检测模型分别对每个目标图像组的鸟巢检测结果。基于本发明，不仅能够降低检测电力塔架上鸟巢的人工成本，还能够提高对电力塔架上鸟巢的检测效率。

Description

电力塔架上鸟巢的检测方法、装置、服务器及存储介质
技术领域
本发明涉及数字成像技术领域，更具体地说，涉及一种电力塔架上鸟巢的检测方法、装置、服务器及存储介质。
背景技术
电力塔架通常是用金属材料轧制成的型钢和钢板做基本构件，采用焊接或螺栓连接等方法，按照一定结构组成规则连接起来的钢结构构件，在电力输送环节起着重要的作用。
在电力输送环节中，电力塔架上的电力设备的安全至关重要，鸟害是威胁电力塔架上的电力设备安全的重要原因之一。鸟儿衔来的树枝、草茎、铁丝等极易引发带电体短接，导致电力塔架上的电力设备被烧坏，从而引起接触网及电力设备停电。因此，需要对电力塔架是否存在鸟巢进行检测，以防止电力塔架上的电力设备由于电力塔架上用来搭建鸟巢的树枝、草茎、铁丝等引发带电体短接而被烧坏。
现有技术要么是通过巡视人员定期对电力塔架进行检查的方式实现对电力塔架上鸟巢的检测，要么是通过无人机对电力塔架进行录制再通过工作人员进行判读的方式实现对电力塔架上鸟巢的检测。这两种对电力塔架上鸟巢进行检查的方式均依赖于人工操作，不仅人工成本高、而且检测效率低。
发明内容
有鉴于此，本申请提供一种电力塔架上鸟巢的检测方法、装置、服务器及存储介质，以降低检测电力塔架上鸟巢的人工成本、提高对电力塔架上鸟巢的检测效率。技术方案如下所示：
本发明第一方面公开一种电力塔架上鸟巢的检测方法，包括：
获取在同一视角同一时间段内拍摄的待进行鸟巢检测的电力塔架的三条视频，不同的视频的图像数据模态不同；
对三条所述视频进行处理得到多个图像组，每个所述图像组由同一时间同一视角下拍摄的所述电力塔架的三张图像构成；
基于预训练的迁移网络提取所述图像组中图像的图像特征将所述图像组转换成满足预设条件的目标图像组；
按照拍摄顺序依次将各个所述目标图像组输入至预训练的鸟巢检测模型得到所述鸟巢检测模型分别对每个所述目标图像组的鸟巢检测结果。
可选的，还包括：
若所述目标图像组的鸟巢检测结果表征所述目标图像组显示有鸟巢，确定并输出所述目标图像组的拍摄时间。
可选的，还包括：
获取图像组样本，所述图像组样本包括同一时间同一视角下拍摄的三张图像样本，不同的所述图像样本的数据模态不同；
基于待训练迁移网络提取所述图像组样本中图像样本的图像特征将所述图像组样本转换成满足预设条件的目标图像组样本；
将所述目标图像组样本输入至待训练鸟巢检测模型得到所述待训练鸟巢检测模型对所述目标图像组样本的鸟巢检测结果；
以所述鸟巢检测结果趋近于所述图像组样本携带的目标鸟巢检测结果为训练目标，反向调节所述待训练迁移网络和所述待训练鸟巢检测模型中的参数，以生成迁移网络和鸟巢检测模型。
可选的，所述获取图像组样本，包括：
获取第一图像组样本，所述第一图像组样本包括同一时间同一视角下拍摄的三张图像样本，不同的所述图像样本的数据模态不同；
确定至少一种图像增强处理信息；
针对所述至少一种图像增强处理信息中的每种图像增强处理信息，利用该图像增强处理信息指示的图像增强处理方式分别对所述第一图像组样本中的每张图像样本进行图像增强处理得到第二图像组样本；所述第一图像组样本和所述第二图像组样本均为图像组样本。
可选的，还包括：
利用VOC2017数据集对所述待训练鸟巢检测模型进行预训练得到初始鸟巢检测模型；
所述将所述目标图像组样本输入至待训练鸟巢检测模型得到所述待训练鸟巢检测模型对所述目标图像组样本的鸟巢检测结果，包括：
将所述目标图像组样本输入至所述初始鸟巢检测模型得到所述初始鸟巢检测模型对所述目标图像组样本的鸟巢检测结果。
可选的，所述至少一种图像增强处理信息指示的图像增强处理方式包括图像翻转、图像旋转、图像放大、图像裁剪、图像扰动、图像平移中的任意一种或多种。
可选的，所述预设条件与所述鸟巢检测模型的图像输入需求相关，所述图像输入需求包括通道需求和分辨率需求。
本发明第二方面公开一种电力塔架上鸟巢的检测装置，包括：
第一获取单元，用于获取在同一视角同一时间段内拍摄的待进行鸟巢检测的电力塔架的三条视频，不同的视频的图像数据模态不同；
解析单元，用于对三条所述视频进行处理得到多个图像组，每个所述图像组由同一时间同一视角下拍摄的所述电力塔架的三张图像构成；
第一转换单元，用于基于预训练的迁移网络提取所述图像组中图像的图像特征将所述图像组转换成满足预设条件的目标图像组；
检测单元，用于按照拍摄顺序依次将各个所述目标图像组输入至预训练的鸟巢检测模型得到所述鸟巢检测模型分别对每个所述目标图像组的鸟巢检测结果。
本发明第三方面公开一种服务器，包括：至少一种存储器和至少一个处理器；所述存储器存储有程序，所述处理器调用所述存储器存储的程序，所述程序用于实现如上述本发明第一方面任意一项公开的电力塔架上鸟巢的检测方法。
本发明第四方面公开一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行权力要求1-7任意一项所述的电力塔架上鸟巢的检测方法。
本发明提供一种电力塔架上鸟巢的检测方法、装置、服务器及存储介质，获取在同一视角同一时间段内拍摄的待进行鸟巢检测的电力塔架的三条视频，不同的视频的图像数据模态不同；对三条视频进行处理得到多个图像组，每个图像组由同一时间同一视角下拍摄的电力塔架的三张图像构成；基于预训练的迁移网络提取图像组中图像的图像特征将该图像组转换成满足预设条件的目标图像组；按照拍摄顺序依次将各个图像组输入预训练的鸟巢检测模型得到鸟巢检测模型分别对每个目标图像组的鸟巢检测结果。
本发明提供的技术方案，通过对获取的在同一视角同一时间段内拍摄的待进行鸟巢检测的电力塔架的三条视频进行处理得到多个图像组，并通过预训练的迁移网络将解析得到的各个图像组分别转换成满足预设条件的各个目标图像组；按照拍摄顺序依次将各个图像组输入预训练的鸟巢检测模型，便能得到预训练的鸟巢检测模型对各个目标图像组的鸟巢检测结果，无需人工介入便能实现对电力塔架上鸟巢的检测，进而解决了现有的电力塔架上鸟巢的检测的方式由于依赖于人工操作，导致人工成本高且检测效率低的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种鸟巢检测模型的生成过程的方法的流程示意图；
图2为本发明实施例提供的一种对可见光图像样本中的鸟巢检测结果进行标注的示意图；
图3为本发明实施例提供的一种YOLOv3模型的结构示意图；
图4为本发明实施例提供的另一种鸟巢检测模型的生成过程的方法的流程示意图；
图5为本发明实施例提供的一种电力塔架上的鸟巢检测方法的流程示意图；
图6为本发明实施例提供的一种电力塔架上的鸟巢检测装置的结构示意图；
图7为本发明实施例提供的这一种服务器的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
由上述背景技术可知，现有的电力塔架上的鸟巢检测方法要么是通过巡视人员定期对电力塔架进行检查的方式实现对带电力塔架上鸟巢的检测，要么是通过无人机对电力塔架进行录制再通过工作人员进行判读的方式实现对电力塔架上鸟巢的检测。但是，这两种对电力塔架上鸟巢进行检查的方式均依赖于人工操作，不仅人工成本高、而且检测效率低。
因此，本发明提供一种电力塔架上鸟巢的检测方法、装置、服务器及存储介质，通过鸟巢检测模型实现对电力塔架上鸟巢的检测，不仅能够降低检测电力塔架上鸟巢的人工成本，还能提高对电力塔架上鸟巢的检测效率。
参见图1，示出了本发明实施例提供的一种鸟巢检测模型的生成过程的方法的流程示意图，该鸟巢检测模型的生成过程具体包括以下步骤：
S101：获取图像组样本，图像组样本包括同一时间同一视角下拍摄的三张图像样本，不同的视频的图像数据模态不同；
在具体执行步骤S101的过程中，首先，获取第一图像组样本；其次，确定至少一种图像增强处理信息；最后，针对至少一种图像增强处理信息中的每种图像增强处理信息，利用该图像增强处理信息指示的图像增强处理方式分别对第一图像组样本中的每张图像样本进行图像增强处理，得到第一图像组样本中每张图像样本对应的目标图像样本，将第一图像组样本中各个图像样本对应的目标图像样本构成第一图像组样本对应的第二图像组样本。
利用图像增强处理信息指示的图像增强处理方式分别对第一图像组样本中的每张图像样本进行图像增强处理可以得到不同于第一图像组样本的第二图像组样本；本发明可以设置多种图像增强处理方式，进而利用多种图像增强处理方式分别对第一图像组样本中的每张图像样本进行图像增强处理可以得到不同于第一图像组样本的多种第二图像组样本，提高图像组样本的多样性，利用多种图像组样本对待训练鸟巢检测模型进行训练，能够提高鸟巢检测模型的检测精度。其中，第一图像组样本和第二图像组样本均为图像组样本。
在本申请实施例中，至少一种图像增强处理信息包括图像翻转处理信息、图像旋转处理信息、图像放大处理信息、图像裁剪处理信息、图像扰动处理信息、图像平移处理信息中的任意一种或多种。
若图像增强处理信息为图像翻转处理信息，则图像增强处理信息指示的图像增强方式可以为图像翻转；若图像增强处理信息为图像旋转处理信息，则图像增强处理信息指示的图像增强方式可以为图像旋转；若图像增强处理信息为图像放大处理信息，则图像增强处理信息指示的图像增强方式可以为图像放大；若图像增强处理信息为图像剪裁处理信息，则图像增强处理信息指示的图像增强方式可以为图像剪裁；若图像增强处理信息为图像扰动处理信息，则图像增强处理信息指示的图像增强方式可以为图像扰动；若图像增强处理信息为图像平移处理信息，则图像增强处理信息指示的图像增强方式可以为图像平移。
为了便于理解，现分别对图像增强的每种方式进行解释，图像翻转：通过定义filp函数，并根据第一图像组样本的图像路径和文件名打开第一图像组样本，使用PIL库内置函数transpose将第一图像组样本中每张图像样本进行翻转，得到第二图像组样本，并将第二图像组样本保存至指定文件夹；其中，transpose函数翻转模式有FILP_LEFT_RIGHT(水平翻转)和FILP_TOP_BOTTOM(竖直翻转)。
图像旋转：通过定义rotation函数，根据第一图像组样本的图像路径和文件名打开第一图像组样本，利用PIL库内置函数rotation获取旋转角度或者直接输入旋转角度，根据该旋转角度旋转第一图像组样本，得到第二图像组样本，并将第二图像组样本保存至指定文件夹。
图像放大：使用OpenCV库内置函数resize，定义好变化后的大小参数，根据定好的参数将第一图像组样本中的每张图像样本进行放大，并采用imread方法读取图片的shape参数，并根据shape参数再给定裁剪坐标，使用crop函数完成图像裁剪，得到第二图像组样本，并将第二图像组样本保存至指定文件夹。
图像剪裁：先定义好截图窗口的范围之间随机获取窗口大小，根据两者大小之差确定裁剪起点，向右下方向进行裁剪过程；最后用OpenCV库内置函数resize，使用裁剪前的第一图像组样本中每张图像样本的大小数值，放大裁剪后的图像样本，得到第二图像组样本，并将第二图像组样本保存至指定文件夹。
图像扰动：使用skimage库的skimage.util.random_noise函数，设置好添加模式mode为gaussian，将第一图像组样本中每张图像样本输入后转化为浮点数，加噪后将每张图像样本的大小重新调整至[0，255]，得到第二图像组样本，并将第二图像组样本保存至指定文件夹。
图像平移：定立move函数，设置偏移量和偏移方向，在move函数下根据第一图像组样本的图像路径和文件名打开第一图像组样本，使用PIL库内置函数offset将第一图像组样本中的每张图像样本做定义好的偏移过程，得到第二图像组样本，并将第二图像组样本保存至指定文件夹。
在本申请实施例中，获取图像组样本的方式可以为：拍摄同一时间同一视角下的三张图像样本，并将这三张图像样本作为一组图像组样本；使用labelme标注工具分别对这三张图像样本的鸟巢检测结果进行标注，其中对图像样本的鸟巢检测结果进行标注涉及到对图像样本中鸟巢的区域进行标注，为了便于区分将对图像样本标注的鸟巢检测结果称为图像组样本的目标鸟巢检测结果，得到携带有目标鸟巢检测结果的图像组样本。其中，图像组样本包括的同一时间同一视角下拍摄的三张图像样本分别为可见光图像样本、红外图像样本和深度图像样本。以可见光图像样本为例，使用labelme标注工具对可见光图像样本中的鸟巢区域进行标注，得到携带目标鸟巢检测结果的可见光图像样本，如图2所示。
在本申请实施例中，获取图像组样本的方式还可以为：获取在同一视角同一时间段内拍摄的电力塔架的三条视频样本；调用OpenCV库的内置函数VideoCaputure从这三条视频样本中提取的至少一组图像组样本，并将所提取到的至少一组图像组样本保存至指定文件夹中；针对至少一个组图像组样本中的每组图像组样本中的每张图像样本而言，使用labelme标注工具分别对这三张图像样本的鸟巢检测结果进行标注，得到携带有目标鸟巢检测结果的图像组样本。其中对这图像样本的鸟巢检测结果进行标注涉及到对图像样本中鸟巢的区域进行标注。
其中，同一视角同一时间段内拍摄的电力塔架的三条视频样本分别为可见光图像视频样本、红外图像视频样本和深度图像视频样本；相应的，从三条视频样本中提取到的图像组样本包括的同一时间同一视角下拍摄的三张图片样本分别为可见光图像样本、红外图像样本、深度图像样本。
S102：基于待训练迁移网络提取图像组样本中图像样本的图像特征将图像组样本转换成满足预设条件的目标图像组样本；
在本申请实施例中，预先设置有预设条件，预设条件与鸟巢检测模型的图像输入需求相关，图像输入需求包括通道需求和分辨率需求。比如，通道需求可以为3，分辨率需求可以为256*256，即鸟巢检测模型的图像输入需求为256*256*3。
在本申请实施例中，由于所获取的图像组样本的大小为1880*1056*9，而鸟巢模型的图像输入需求为256*256*3，因此要将所获取的图像组样本的大小换成大小为256*256*3的图像组样本，为了便于区分，将大小为256*256*3的图像组样本称为目标图像组样本，进而将目标图像组样本输入待训练的鸟巢检测模型对待训练的鸟巢检测模型进行训练，得到鸟巢检测模型。
在具体执行步骤S102的过程中，可以通过在待训练的鸟巢检测模型的基础上搭建待训练迁移网络，进而将图像组样本输入待训练迁移网络，通过待训练迁移网络提取图像组样本的图像特征将图像组样本转换成满足预设条件的目标图像组样本，并将目标图像组样本输入待训练的鸟巢检测模型，由待训练的鸟巢检测模型输出目标图像组样本的鸟巢检测结果，进而通过该目标图像组样本的鸟巢检测结果对待训练的迁移网络和待训练的鸟巢检测模型进行训练，得到迁移网络和鸟巢检测模型。
在本申请实施例中，待训练迁移网络可以为由三层卷积神经网络构成，其中，第一层卷积神经网络的卷积核的大小为3*3，第二层卷积神经网络为3*3*2的滤波器，第三层卷积神经网络为3*3*1卷积神经网络。通过第一层卷积神经网络提取图像组样本的图像特征对图像组样本缩小得到940*528*6大小的图像组样本，通过第二层卷积神经网络将大小为940*528*6大小的图像组样本再次缩小得到570*264*3的图像组样本，通过第三层卷积神经网络将大小为570*264*3的图像组样本做进一步的增强处理，并使用python PIL库中resize函数，设置目标参数，基于目标参数将进行增强处理的大小为570*264*3的图像组样本转换成大小为256*256*3的目标图像组样本。
S103：将目标图像组样本输入至待训练鸟巢检测模型得到待训练鸟巢检测模型对目标图像组样本的鸟巢检测结果；
在本申请实施例中，待训练鸟巢检测模型可以为YOLOv3模型，YOLOv3模型的特征提取网络darknet-53的基本结构是由一系列卷积单元和残差单元组成，YOLOv3模型结构如图3所示。YOLOv3模型的第一层为conv2D卷积单元，可以对输入的目标图像组样本中每张图像进行步长为2的滑动窗卷积，卷积核大小为3*3，得到大小为128*128的图像；第二层卷积核大小为3*3步长为1的一层网络，可以对第一层输出的图像进行处理得到大小为128*128的图像；第三层卷积核大小为3*3步长为2的一层网络，可以为第二层输出的图像进行处理得到大小为64*64的图像；第四层为卷积核大小为3*3步长为1的两层网络。第五层为卷积核大小为3*3步长为2的一层网络，通过第四层和第五层可以对第三层输出的图像进行处理得到大小为32*32的图像，进入第六层。第六层为卷积核大小为3*3步长为1的八层网络，第七层为卷积核大小为3*3步长为2的一层网络，通过第六层和第七层依次对输入第六层的图像进行处理得到大小为16*16的图像，进入第八层；第八层为卷积核大小为3*3步长为1的八层网络，第九层为卷积核大小为3*3步长为2的一层网络，通过第八层和第九层依次对输入第八层的图像进行处理，进入第十层。第十层是卷积核大小为3*3步长为1的四层网络。其中，每一个卷积层的输出结果都用leakyRelu激活函数进行激活，并且在激活的同时进行批量归一化处理。
待训练YOLOv3网络模型的定义损失函数可以如下式所示：
Figure BDA0002496448570000101
其中，将一张图像分割成k*k个网格，每个网格产生M个bounding box，boundingbox代表预测鸟巢的理想位置和大小情况，预测过程中，通常采用最能体现出鸟巢特征的bounding box来进行检测。w和h分别表示第i个网格的第j个的bounding box的宽和高；Ci表示第i个网格的第j个bounding box的置信度，也就是最能体现出鸟巢特征的boundingbox的置信度；Pi表示这个bounding box的分类概率；loss(object)为内容损失，
Figure BDA0002496448570000102
表示第i个网格的第j个anchor box是否负责预测这个object，如果负责则为1，否则为0。
Figure BDA0002496448570000103
则表示第i个网格的第j个anchor box不负责预测这个object；
Figure BDA0002496448570000104
表示真实值，它的取值是由bounding box有没有负责预测某个鸟巢决定的，如果负责则为1，否则为0；
Figure BDA0002496448570000105
代表产生的bounding box和真实目标的宽高坐标的误差。
Figure BDA0002496448570000106
是存在鸟巢的bounding box的置信度误差。
Figure BDA0002496448570000107
是不存在鸟巢的bounding box的置信度误差。
Figure BDA0002496448570000108
是分类误差，并选择交叉熵作为损失函数。
S104：以鸟巢检测结果趋近于图像组样本携带的目标鸟巢检测结果为训练目标，反向调节待训练迁移网络和待训练鸟巢检测模型中的参数，以生成迁移网络和鸟巢检测模型。
在具体执行步骤S104的过程中，在将目标图像组样本输入至待训练鸟巢检测模型得到待训练鸟巢检测模型对目标图像组样本的鸟巢检测结果，即得到该目标图像样本对应的图像组样本的鸟巢检测结果后，以该图像组样本的鸟巢检测结果趋近于该图像组样本携带的目标鸟巢检测结果为训练目标构建损失函数，基于构建的损失函数反向调节待训练迁移网络的参数和待训练鸟巢检测模型中的参数，以使得待训练迁移网络和待训练鸟巢检测模型达到收敛，得到迁移网络和鸟巢检测模型。
在本申请实施例中，通过基于待训练迁移网络对所获取的图像组样本进行图像特征提取将该图像组样本转换层满足预设条件的目标图像组样本，将目标图像组样本输入待训练鸟巢检测模型中对待训练迁移网络和待训练鸟巢检测模型进行训练，得到迁移网络和鸟巢检测模型。进而可以在对获取的在同一视角同一时间段内拍摄的待进行鸟巢检测的电力塔架的三条视频进行处理后得到多个图像组后，针对每个图像组而言，通过预训练的迁移网络提取图像组中图像的图像特征将所述图像组转换成满足预设条件的目标图像组，进而按照拍摄顺序依次将各个目标图像组输入至预训练的鸟巢检测模型得到鸟巢检测模型分别对每个目标图像组的鸟巢检测结果，无需人工介入便能实现电力塔架上鸟巢的检测，进而解决了现有的电力塔架上鸟巢的检测的方式由于依赖于人工操作，导致人工成本高且检测效率低的问题。
参见图4，示出了本发明实施例提供的另一种鸟巢检测模型的生成过程的方法的流程示意图，该鸟巢检测模型的生成过程具体包括以下步骤：
S401：获取图像组样本，图像组样本包括同一时间同一视角下拍摄的三张图像样本，不同的图像样本的数据模态不同；
在具体执行步骤S401的过程中，步骤S401的具体执行过程和实现原理与上述本发明实施例公开的图1中的步骤S101的具体执行过程和实现原理相同，可参见上述本发明实施例公开的图1中相应部分，在此不再进行赘述。
S402：基于待训练迁移网络提取图像组样本中图像样本的图像特征将图像组样本转换成满足预设条件的目标图像组样本；
在具体执行步骤S402的过程中，步骤S402的具体执行过程和实现原理与上述本发明实施例公开的图1中的步骤S102的具体执行过程和实现原理相同，可参见上述本发明实施例公开的图1中相应部分，在此不再进行赘述。
S403：利用VOC2017数据集对待训练鸟巢检测模型进行预训练得到初始鸟巢检测模型；
在具体执行步骤403的过程中，待训练鸟巢检测模型可以为待训练的YOLOv3模型，可以先下载待训练的YOLOv3模型的工程文件，然后将工程文件中的DarkNet的.weights文件转换成Keras的.h5文件，在cmd中打开工程文件的路径，运行convert.py并告知“weights的输入路径”和“h5的输出路径”；下载VOC2017数据集，将VOC2017数据集放到转成好的工程文件中，制作VOC2017数据集中每个图像对应的同名xml文件，保存xml文件，将把所有xml文件都放置到VOC2017数据集里面的Annotations文件夹中，生成索引文件；利用生成的索引文件生成训练索引文件，修改训练索引文件中的图像类别以及配置文件后，利用修改后的训练索引文件对待训练的YOLOv3模型进行预训练得到初始鸟巢模型。
在本申请实施例中，利用VOC2017数据集对待训练鸟巢检测模型进行预训练能够得到达到一定收敛程度的初始鸟巢模型，进而再利用小样本的图像组样本对初始鸟巢检测模型进行训练时，可以使初始鸟巢检测模型快速达到完全收敛得到鸟巢检测模型。
S404：将目标图像组样本输入至初始鸟巢检测模型得到初始鸟巢检测模型对目标图像组样本的鸟巢检测结果；
在具体执行步骤S404的过程中，在基于待训练迁移神经网络提取图像组样本中图像样本的图像特征将图像组样本转换成满足预设条件的目标图像组样本，以及利用VOC2017数据集对待训练鸟巢检测模型进行预训练得到初始鸟巢检测模型后，将目标图像组样本输入初始鸟巢检测模型，初始鸟巢检测模型根据目标图像组样本进行检测，得到目标图像组样本的鸟巢检测结果，即该图像组样本的鸟巢检测结果。
S405：以鸟巢检测结果趋近于图像组样本携带的目标鸟巢检测结果为训练目标，反向调节待训练迁移网络和初始鸟巢检测模型中的参数，以生成迁移网络和鸟巢检测模型。
在具体执行步骤S405的过程中，将目标图像组样本输入至初始鸟巢检测模型得到初始鸟巢检测模型对目标图像组样本的鸟巢检测结果后，即得到该目标图像组样本对应的图像组样本的鸟巢检测结果，以该图像组样本的鸟巢检测结果趋近于该图像组样本携带的目标鸟巢检测结果为训练目标构建损失函数；基于构建的损失函数反向调节待训练迁移网络的参数和初始鸟巢检测模型中的参数，以使得待训练迁移网络和初始鸟巢检测模型达到收敛，得到迁移网络和鸟巢检测模型。
在本申请实施例中，先利用VOC2017数据集对待训练鸟巢检测模型进行预训练得到达到一定收敛程度的初始鸟巢检测模型，再利用目标图像组样本对初始鸟巢检测模型进行训练，能够使初始鸟巢检测模型快速达到收敛得到鸟巢检测模型；并且，利用目标图像组样本对待训练的迁移网络和初始鸟巢检测模型进行训练，能够提高迁移网络提取图像特征的准确度，提高鸟巢检测模型对电力塔架上的鸟巢的检测精度。
参见图5，示出了本发明实施例提供的一种电力塔架上鸟巢的检测方法的流程示意图，该电力塔架上鸟巢的检测方法具体包括以下步骤：
S501：获取在同一视角同一时间段内拍摄的待进行鸟巢检测的电力塔架的三条视频，不同的视频的图像数据模态不同；
在本申请实施例中，通过绑定有三个摄像头的设备获取在同一视角同一时间段内拍摄的待进行鸟巢检测的电力塔架的三条视频，这三条视频中的每个视频由多张图像构成，且不同的视频的图像数据模态互不相同。其中，获取的在同一视角同一时间段内拍摄的待进行鸟巢检测的电力塔架的三条视频可以为可见光图像视频、红外图像视频、深度图像视频；相应的可见光图像视频中的图像的数据模态为可见光图像数据模态，红外图像视频中的图像的数据模态为红外图像数据模态，深度图像视频中的图像的数据模态为深度图像数据模态。
S502：对三条视频进行处理得到多个图像组，每个图像组由同一时间同一视角下拍摄的电力塔架的三张图像构成；
在具体执行步骤S502的过程中，通过对同一视角同一时间段内拍摄的待进行鸟巢检测的电力塔架的三条视频进行处理得到多个图像组，每个图像组由同一时间同一视角下拍摄的电力塔架的三张图像构成。
比如，获取的在同一视角同一时间段内拍摄的待进行鸟巢检测的电力塔架的三条视频分别为视频1、视频2和视频3，其中，视频1由依次拍摄到的图像1、图像2构成；视频2由依次拍摄到的图像3、图像4构成；视频3由依次拍摄到的图像5、图像6构成；对视频1、视频2和视频3进行处理得到由图像1、图像3和图像5构成的图像组1，以及由图像2、图像4和图像6构成的图像组2。其中，图像1、图像3和图像5的拍摄时间和拍摄视角相同，图像2、图像4和图像6的拍摄时间和拍摄视角相同，且图像组1和图像组2的拍摄顺序为图像组1、图像组2。
S503：基于预训练的迁移网络提取图像组中图像的图像特征将图像组转换成满足预设条件的目标图像组；
在本申请实施例中，预先设置有预设条件，预设条件与鸟巢检测模型的图像输入需求相关，图像输入需求包括通道需求和分辨率需求。比如，通道需求可以为3，分辨率需求可以为256*256，即鸟巢检测模型的图像输入需求为256*256*3。
在本申请实施例中，对所获取的在同一视角同一时间段内拍摄的待进行鸟巢检测的电力塔架的三条视频进行处理得到多个图像组，针对每个图像组而言，通过预训练的迁移网络提取图像组中图像的图像特征将图像组转换成满足预设条件的目标图像组。其中，预训练的迁移网络为上述实施例生成的迁移网络。
比如，鸟巢检测模型的图像输入需求为256*256*3，仍以上述例子中的图像组1和图像组2为例，通过预训练的迁移网络提取图像组1中图像1、图像3和图像5的图像特征将图像组1转换成大小为256*256*3的目标图像组1；通过预训练的迁移网络提取图像组2中图像2、图像4和图像6的图像特征将图像组2转换成大小为256*256*3的目标图像组2。
S504：按照拍摄顺序依次将各个目标图像组输入至预训练的鸟巢检测模型得到鸟巢检测模型分别对每个目标图像组的鸟巢检测结果；
在本申请实施例中，针对每个图像组而言，在基于预训练的迁移网络提取该图像组中图像的图像特征将该图像组转换成满足预设条件的目标图像组后，按照各个目标图像组的播放顺序，依次将各个目标图像组输入至预训练的鸟巢检测模型得到鸟巢检测模型分别对每个目标图像组的鸟巢检测结果。其中，鸟巢检测模型对目标图像组的鸟巢检测结果可以表示显示有鸟巢，或者未显示有鸟巢。其中，预训练的鸟巢检测模型为上述实施例生成的鸟巢检测模型。
比如，仍以上述例子中的图像组1和图像组2为例，已知图像组1和图像组2的拍摄顺序为图像组1、图像组2，进而确定图像组1对应的目标图像组1和图像组2对应的目标图像组2的拍摄顺序为目标图像组1、目标图像组2；将目标图像组1和目标图像组2依次输入至预训练的鸟巢检测模型得到鸟巢检测模型目标图像组1的鸟巢检测结果1和目标图像组2的鸟巢检测结果2。
S505：若目标图像组的鸟巢检测结果表征目标图像组显示有鸟巢，确定并输出目标图像组的拍摄时间。
在本申请实施例中，在按照拍摄顺序依次将各个目标图像组输入至预训练的鸟巢检测模型得到鸟巢检测模型分别对每个目标图像组的鸟巢检测结果后，针对每个目标图像组鸟巢检测结果而言，判断该目标图像组的鸟巢检测结果是否表征目标图像组显示有鸟巢，若该目标图像组的鸟巢检测结果表征目标图像组显示有鸟巢，确定并输出目标图像组的拍摄时间。
比如，仍以上述例子中的图像组1和图像组2为例，若拍摄图像组1的时间为2020.4.28.15.22，拍摄图像组2的时间为2020.4.28.15.23；按照图像组1和图像组2的拍摄时间的先后顺序，将图像组1对应的目标图像组1和图像组2对应的目标图像组2依次输入至预训练的鸟巢检测模型得到鸟巢检测模型目标图像组1的鸟巢检测结果1和目标图像组2的鸟巢检测结果2；若目标图像组1的鸟巢检测结果表征目标图像组1显示有鸟巢，确定该目标图像组1对应的图像组1的拍摄时间为2020.4.28.15.22，并输出图像组1的拍摄时间2020.4.28.15.22。
本发明提供一种电力塔架上鸟巢的检测方法，获取在同一视角同一时间段内拍摄的待进行鸟巢检测的电力塔架的三条视频，不同的视频的图像数据模态不同；对三条所述视频进行解析得到多个图像组，每个图像组由同一时间同一视角下拍摄的电力塔架的三张图像构成；基于预训练的迁移网络提取图像组中图像的图像特征将该图像组转换成满足预设条件的目标图像组；按照拍摄顺序依次将各个图像组输入预训练的鸟巢检测模型得到鸟巢检测模型分别对每个目标图像组的鸟巢检测结果。本发明提供的技术方案，通过鸟巢检测模型便能实现对电力塔架上鸟巢的检测，解决了现有的电力塔架上鸟巢的检测的方式由于依赖于人工操作，导致人工成本高且检测效率低的问题。
并且，通过对获取的在同一视角同一时间段内拍摄的待进行鸟巢检测的电力塔架的三条视频进行处理得到多个图像组，其中，每个图像组是由可见光图像、红外图像以及深度图像三种空域和时域配准后的电力巡检三光融合数据构成；利用预训练的迁移网络将可见光图像、红外图像以及深度图像三种空域和时域配准后的电力巡检三光融合数据构成的图像组转成目标图像组后，进而利用预训练的鸟巢检测模型对输入目标图像组进行鸟巢检测，能够提高鸟巢检测精度。
基于本发明实施例公开的电力塔架上鸟巢的检测方法，本发明实施例还对应公开了一种电力塔架上鸟巢的检测装置，如图6所示，该电力塔架上鸟巢的检测装置包括：
第一获取单元61，用于获取在同一视角同一时间段内拍摄的待进行鸟巢检测的电力塔架的三条视频，不同的视频的图像数据模态不同；
解析单元62，用于对三条视频进行处理得到多个图像组，每个图像组由同一时间同一视角下拍摄的电力塔架的三张图像构成；
第一转换单元63，用于基于预训练的迁移网络提取图像组中图像的图像特征将图像组转换成满足预设条件的目标图像组；
检测单元64，用于按照拍摄顺序依次将各个目标图像组输入至预训练的鸟巢检测模型得到鸟巢检测模型分别对每个目标图像组的鸟巢检测结果。
上述本发明实施例公开的电力塔架上鸟巢的检测装置中各个单元具体的原理和执行过程，与上述本发明实施例公开的电力塔架上鸟巢的检测相同，可参见上述本发明实施例公开的电力塔架上鸟巢的检测中相应的部分，这里不再进行赘述。
本发明提供一种电力塔架上鸟巢的检测装置，获取在同一视角同一时间段内拍摄的待进行鸟巢检测的电力塔架的三条视频，不同的视频的图像数据模态不同；对三条视频进行处理得到多个图像组，每个图像组由同一时间同一视角下拍摄的电力塔架的三张图像构成；基于预训练的迁移网络提取图像组中图像的图像特征将该图像组转换成满足预设条件的目标图像组；按照拍摄顺序依次将各个图像组输入预训练的鸟巢检测模型得到鸟巢检测模型分别对每个目标图像组的鸟巢检测结果。本发明提供的技术方案，通过对获取的在同一视角同一时间段内拍摄的待进行鸟巢检测的电力塔架的三条视频进行处理得到多个图像组，并通过预训练的迁移网络将解析得到的各个图像组分别转换成满足预设条件的各个目标图像组；按照拍摄顺序依次将各个图像组输入预训练的鸟巢检测模型，便能得到预训练的鸟巢检测模型对各个目标图像组的鸟巢检测结果，无需人工介入便能实现电力塔架上鸟巢的检测，进而解决了现有的电力塔架上鸟巢的检测的方式由于依赖于人工操作，导致人工成本高且检测效率低的问题。
进一步的，本申请实施例提供的电力塔架上鸟巢的检测装置，还包括：
第一确定单元，用于若目标图像组的鸟巢检测结果表征目标图像组显示有鸟巢，确定并输出目标图像组的拍摄时间。
进一步的，本申请实施例提供的电力塔架上鸟巢的检测装置，还包括：
第二获取单元，用于获取图像组样本，图像组样本包括同一时间同一视角下拍摄的三张图像样本，不同的图像样本的数据模态不同；
第二转换单元，用于基于待训练迁移网络提取图像组样本中图像样本的图像特征将图像组样本转换成满足预设条件的目标图像组样本；
预测单元，用于将目标图像组样本输入至待训练鸟巢检测模型得到待训练鸟巢检测模型对目标图像组样本的鸟巢检测结果；
第一训练单元，用于以鸟巢检测结果趋近于图像组样本携带的目标鸟巢检测结果为训练目标，反向调节待训练迁移网络和待训练鸟巢检测模型中的参数，以生成迁移网络和鸟巢检测模型。
优选的，在本申请实施例中，第一获取单元，包括：
第三获取单元，用于获取第一图像组样本，第一图像组样本包括同一时间同一视角下拍摄的三张图像样本，不同的图像样本的数据模态不同；
第二确定单元，用于确定至少一种图像增强处理信息；
图像增强处理单元，用于针对至少一种图像增强处理信息中的每种图像增强处理信息，利用该图像增强处理信息指示的图像增强处理方式分别对第一图像组样本中的每张图像样本进行图像增强处理得到第二图像组样本；第一图像组样本和第二图像组样本均为图像组样本。
进一步的，本申请实施例提供的电力塔架上鸟巢的检测装置，还包括：
第二训练单元，用于利用VOC2017数据集对待训练鸟巢检测模型进行预训练得到初始鸟巢检测模型；
预测单元还用于将目标图像组样本输入至初始鸟巢检测模型得到初始鸟巢检测模型对目标图像组样本的鸟巢检测结果。
优选在，在本申请实施例中，至少一种图像增强处理信息指示的图像增强处理方式包括图像翻转、图像旋转、图像放大、图像裁剪、图像扰动、图像平移中的任意一种或多种。
优选在，在本申请实施例中，预设条件与鸟巢检测模型的图像输入需求相关，图像输入需求包括通道需求和分辨率需求。
下面以请求方法应用于服务端为例，对本申请实施例提供的一种电力塔架上鸟巢的检测方法所适用于的服务端的硬件结构进行详细说明。
本申请实施例提供的一种电力塔架上鸟巢的检测方法可应用于服务端，该服务端可以是网络侧为用户提供服务的服务设备，其可能是多台服务器组成的服务器集群，也可能是单台服务器。
可选的，图7示出了本申请实施例提供的一种电力塔架上鸟巢的检测方法所适用于的服务端的硬件结构框图，参照图7，服务端的硬件结构可以包括：处理器71，存储器72，通信接口73和通信总线74；
在本发明实施例中，处理器71、存储器72、通信接口73、通信总线74的数量均可以为至少一个，且处理器71、存储器72、通信接口73通过通信总线74完成相互间的通信；
处理器71可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等；
存储器72可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)等，例如至少一个磁盘存储器；
其中，存储器存储有程序，处理器可调用存储器存储的程序，程序用于：
获取在同一视角同一时间段内拍摄的待进行鸟巢检测的电力塔架的三条视频，不同的视频的图像数据模态不同；
对三条视频进行处理得到多个图像组，每个图像组由同一时间同一视角下拍摄的电力塔架的三张图像构成；
基于预训练的迁移网络提取图像组中图像的图像特征将图像组转换成满足预设条件的目标图像组；
按照拍摄顺序依次将各个目标图像组输入至预训练的鸟巢检测模型得到鸟巢检测模型分别对每个目标图像组的鸟巢检测结果。
有关程序的功能可参见上文对本申请实施例提供的一种电力塔架上鸟巢的检测方法的详细描述，在此不做赘述。
进一步的，本申请实施例还提供一种计算机可读计算机存储介质，该计算机可读存储介质中存储有计算机可执行指令，该计算机可执行指令用于执行上述电力塔架上鸟巢的检测方法。
有关计算机可执行指令的具体内容可参见上文对本申请实施例提供的一种电力塔架上鸟巢的检测方法的详细描述，在此不做赘述。
以上对本发明所提供的一种电力塔架上鸟巢的检测方法、装置、服务器及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素，或者是还包括为这些过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种电力塔架上鸟巢的检测方法，其特征在于，包括：
获取在同一视角同一时间段内拍摄的待进行鸟巢检测的电力塔架的三条视频，不同的视频的图像数据模态不同；
对三条所述视频进行处理得到多个图像组，每个所述图像组由同一时间同一视角下拍摄的所述电力塔架的三张图像构成；
基于预训练的迁移网络提取所述图像组中图像的图像特征将所述图像组转换成满足预设条件的目标图像组；
按照拍摄顺序依次将各个所述目标图像组输入至预训练的鸟巢检测模型得到所述鸟巢检测模型分别对每个所述目标图像组的鸟巢检测结果。
2.根据权利要求1所述的方法，其特征在于，还包括：
若所述目标图像组的鸟巢检测结果表征所述目标图像组显示有鸟巢，确定并输出所述目标图像组的拍摄时间。
3.根据权利要求2所述的方法，其特征在于，还包括：
获取图像组样本，所述图像组样本包括同一时间同一视角下拍摄的三张图像样本，不同的所述图像样本的数据模态不同；
基于待训练迁移网络提取所述图像组样本中图像样本的图像特征将所述图像组样本转换成满足预设条件的目标图像组样本；
将所述目标图像组样本输入至待训练鸟巢检测模型得到所述待训练鸟巢检测模型对所述目标图像组样本的鸟巢检测结果；
以所述鸟巢检测结果趋近于所述图像组样本携带的目标鸟巢检测结果为训练目标，反向调节所述待训练迁移网络和所述待训练鸟巢检测模型中的参数，以生成迁移网络和鸟巢检测模型。
4.根据权利要求3所述的方法，其特征在于，所述获取图像组样本，包括：
获取第一图像组样本，所述第一图像组样本包括同一时间同一视角下拍摄的三张图像样本，不同的所述图像样本的数据模态不同；
确定至少一种图像增强处理信息；
针对所述至少一种图像增强处理信息中的每种图像增强处理信息，利用该图像增强处理信息指示的图像增强处理方式分别对所述第一图像组样本中的每张图像样本进行图像增强处理得到第二图像组样本；所述第一图像组样本和所述第二图像组样本均为图像组样本。
5.根据权利要求3所述的方法，其特征在于，还包括：
利用VOC2017数据集对所述待训练鸟巢检测模型进行预训练得到初始鸟巢检测模型；
所述将所述目标图像组样本输入至待训练鸟巢检测模型得到所述待训练鸟巢检测模型对所述目标图像组样本的鸟巢检测结果，包括：
将所述目标图像组样本输入至所述初始鸟巢检测模型得到所述初始鸟巢检测模型对所述目标图像组样本的鸟巢检测结果。
6.根据权利要求4所述的方法，其特征在于，所述至少一种图像增强处理信息指示的图像增强处理方式包括图像翻转、图像旋转、图像放大、图像裁剪、图像扰动、图像平移中的任意一种或多种。
7.根据权利要求1所述的方法，其特征在于，所述预设条件与所述鸟巢检测模型的图像输入需求相关，所述图像输入需求包括通道需求和分辨率需求。
8.一种电力塔架上鸟巢的检测装置，其特征在于，包括：
第一获取单元，用于获取在同一视角同一时间段内拍摄的待进行鸟巢检测的电力塔架的三条视频，不同的视频的图像数据模态不同；
解析单元，用于对三条所述视频进行处理得到多个图像组，每个所述图像组由同一时间同一视角下拍摄的所述电力塔架的三张图像构成；
第一转换单元，用于基于预训练的迁移网络提取所述图像组中图像的图像特征将所述图像组转换成满足预设条件的目标图像组；
检测单元，用于按照拍摄顺序依次将各个所述目标图像组输入至预训练的鸟巢检测模型得到所述鸟巢检测模型分别对每个所述目标图像组的鸟巢检测结果。
9.一种服务器，其特征在于，包括：至少一个存储器和至少一个处理器；所述存储器存储有程序，所述处理器调用所述存储器存储的程序，所述程序用于实现如权利要求1-7任意一项所述的电力塔架上鸟巢的检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1-7任意一项所述的电力塔架上鸟巢的检测方法。
CN202010419813.XA 2020-05-18 2020-05-18 电力塔架上鸟巢的检测方法、装置、服务器及存储介质 Active CN111489354B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010419813.XA CN111489354B (zh) 2020-05-18 2020-05-18 电力塔架上鸟巢的检测方法、装置、服务器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010419813.XA CN111489354B (zh) 2020-05-18 2020-05-18 电力塔架上鸟巢的检测方法、装置、服务器及存储介质

Publications (2)

Publication Number Publication Date
CN111489354A true CN111489354A (zh) 2020-08-04
CN111489354B CN111489354B (zh) 2023-07-14

Family

ID=71791978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010419813.XA Active CN111489354B (zh) 2020-05-18 2020-05-18 电力塔架上鸟巢的检测方法、装置、服务器及存储介质

Country Status (1)

Country Link
CN (1) CN111489354B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968087A (zh) * 2020-08-13 2020-11-20 中国农业科学院农业信息研究所 一种植物病害区域检测方法
CN112868490A (zh) * 2020-12-31 2021-06-01 重庆市工程管理有限公司 基于bim技术的带鸟巢树木的移栽规划设计方法
CN113192065A (zh) * 2021-05-28 2021-07-30 广东电网有限责任公司 输电线路图像的处理方法、便携式设备及用户终端
CN115345031A (zh) * 2022-10-17 2022-11-15 国网江西省电力有限公司电力科学研究院 一种变电站防鸟方案智能辅助模拟***及模拟方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010193768A (ja) * 2009-02-24 2010-09-09 Tokyo Electric Power Co Inc:The 鳥威嚇装置および風力発電装置
CN106971152A (zh) * 2017-03-16 2017-07-21 天津大学 一种基于航拍图像的检测输电线路中鸟巢的方法
CN109472229A (zh) * 2018-10-30 2019-03-15 福州大学 基于深度学习的杆塔鸟巢检测方法
KR101964433B1 (ko) * 2018-07-19 2019-04-01 한화시스템 주식회사 표적 관찰 방법
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN109829881A (zh) * 2018-12-17 2019-05-31 广东电网有限责任公司 基于深度学习的鸟巢检测方法及***
CN110175538A (zh) * 2019-05-10 2019-08-27 国网福建省电力有限公司龙岩供电公司 一种基于机器学习的变电站鸟巢识别方法及***
WO2019162241A1 (en) * 2018-02-21 2019-08-29 Robert Bosch Gmbh Real-time object detection using depth sensors
WO2019192745A1 (en) * 2018-04-06 2019-10-10 Siemens Aktiengesellschaft Object recognition from images using cad models as prior
CN110322423A (zh) * 2019-04-29 2019-10-11 天津大学 一种基于图像融合的多模态图像目标检测方法
WO2020006963A1 (zh) * 2018-07-06 2020-01-09 北京字节跳动网络技术有限公司 生成图像检测模型的方法和装置
US20200051238A1 (en) * 2018-08-13 2020-02-13 International Business Machines Corporation Anatomical Segmentation Identifying Modes and Viewpoints with Deep Learning Across Modalities

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010193768A (ja) * 2009-02-24 2010-09-09 Tokyo Electric Power Co Inc:The 鳥威嚇装置および風力発電装置
CN106971152A (zh) * 2017-03-16 2017-07-21 天津大学 一种基于航拍图像的检测输电线路中鸟巢的方法
WO2019162241A1 (en) * 2018-02-21 2019-08-29 Robert Bosch Gmbh Real-time object detection using depth sensors
WO2019192745A1 (en) * 2018-04-06 2019-10-10 Siemens Aktiengesellschaft Object recognition from images using cad models as prior
WO2020006963A1 (zh) * 2018-07-06 2020-01-09 北京字节跳动网络技术有限公司 生成图像检测模型的方法和装置
KR101964433B1 (ko) * 2018-07-19 2019-04-01 한화시스템 주식회사 표적 관찰 방법
US20200051238A1 (en) * 2018-08-13 2020-02-13 International Business Machines Corporation Anatomical Segmentation Identifying Modes and Viewpoints with Deep Learning Across Modalities
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN109472229A (zh) * 2018-10-30 2019-03-15 福州大学 基于深度学习的杆塔鸟巢检测方法
CN109829881A (zh) * 2018-12-17 2019-05-31 广东电网有限责任公司 基于深度学习的鸟巢检测方法及***
CN110322423A (zh) * 2019-04-29 2019-10-11 天津大学 一种基于图像融合的多模态图像目标检测方法
CN110175538A (zh) * 2019-05-10 2019-08-27 国网福建省电力有限公司龙岩供电公司 一种基于机器学习的变电站鸟巢识别方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
师飘: "输电线路上鸟巢的检测算法研究", 《硕士电子期刊》, no. 01 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968087A (zh) * 2020-08-13 2020-11-20 中国农业科学院农业信息研究所 一种植物病害区域检测方法
CN111968087B (zh) * 2020-08-13 2023-11-07 中国农业科学院农业信息研究所 一种植物病害区域检测方法
CN112868490A (zh) * 2020-12-31 2021-06-01 重庆市工程管理有限公司 基于bim技术的带鸟巢树木的移栽规划设计方法
CN113192065A (zh) * 2021-05-28 2021-07-30 广东电网有限责任公司 输电线路图像的处理方法、便携式设备及用户终端
CN115345031A (zh) * 2022-10-17 2022-11-15 国网江西省电力有限公司电力科学研究院 一种变电站防鸟方案智能辅助模拟***及模拟方法
CN115345031B (zh) * 2022-10-17 2022-12-20 国网江西省电力有限公司电力科学研究院 一种变电站防鸟方案智能辅助模拟***及模拟方法

Also Published As

Publication number Publication date
CN111489354B (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
CN111489354A (zh) 电力塔架上鸟巢的检测方法、装置、服务器及存储介质
JP7493323B2 (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
Yang et al. Deep learning‐based bolt loosening detection for wind turbine towers
CN110084165B (zh) 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
US11893538B1 (en) Intelligent system and method for assessing structural damage using aerial imagery
Tiede et al. Automated damage indication for rapid geospatial reporting
CN111985455A (zh) 一种光伏组件可见光故障模型的训练和识别方法及装置
CN111126278A (zh) 针对少类别场景的目标检测模型优化与加速的方法
CN113971653A (zh) 面向遥感图像的目标检测方法、装置、设备及存储介质
CN116503318A (zh) 一种融合CAT-BiFPN与注意力机制的航拍绝缘子多缺陷检测方法、***及设备
CN115620141A (zh) 一种基于加权可变形卷积目标检测方法和装置
CN111881984A (zh) 一种基于深度学习的目标检测方法和装置
KR101966750B1 (ko) 이미지 데이터로부터 기계학습에 의한 시정거리 예측 장치, 시스템, 및 방법
CN114005019A (zh) 一种翻拍图像识别方法及其相关设备
CN116229419B (zh) 一种行人检测方法及装置
CN110738229B (zh) 一种细粒度图像分类方法、装置及电子设备
CN114648736B (zh) 基于目标检测的鲁棒工程车辆识别方法及***
CN113902739B (zh) Nut线夹缺陷识别方法、装置及设备、可读存储介质
CN107886049B (zh) 一种基于摄像探头的能见度识别预警方法
CN116977256A (zh) 缺陷检测模型的训练方法、装置、设备及存储介质
CN115311680A (zh) 人体图像质量检测方法、装置、电子设备及存储介质
CN111127327B (zh) 一种图片倾斜检测方法及装置
CN111950343A (zh) 一种基于卫星遥感技术的输电杆塔自动识别方法和***
KR102600548B1 (ko) 구조물 건전성 경보 시스템 및 이를 이용한 경보 방법
CN116310791B (zh) 基于建筑物震害检测的极灾区快速判定方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant