CN110059676B - 一种基于深度学习与多目标分布排序的航空插头孔位识别方法 - Google Patents

一种基于深度学习与多目标分布排序的航空插头孔位识别方法 Download PDF

Info

Publication number
CN110059676B
CN110059676B CN201910264451.9A CN201910264451A CN110059676B CN 110059676 B CN110059676 B CN 110059676B CN 201910264451 A CN201910264451 A CN 201910264451A CN 110059676 B CN110059676 B CN 110059676B
Authority
CN
China
Prior art keywords
plug
hole site
image
plug hole
aviation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910264451.9A
Other languages
English (en)
Other versions
CN110059676A (zh
Inventor
郑联语
李树飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201910264451.9A priority Critical patent/CN110059676B/zh
Publication of CN110059676A publication Critical patent/CN110059676A/zh
Application granted granted Critical
Publication of CN110059676B publication Critical patent/CN110059676B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习与多目标分布排序的航空插头孔位识别方法，包括以下步骤：启动相机并初始化，捕获航空插头图像，训练插头定位网络模型在工业场景图像中定位航空插头目标，判断候选目标是否满足尺寸约束条件，从图像中裁剪插头孔位区域，训练孔位识别网络模型识别插头孔位区域的孔位与防错销钉阵列，根据多目标排序原理编号航空插头孔位阵列，判定航空插头孔位安装状态，匹配数据库并输出识别结果。该基于深度学习与多目标分布排序的航空插头孔位识别方法通过拍摄航空插头图像，视觉识别航空插头与插头孔位，对插头孔位进行排序编号，判定航空插头的安装结果，节省了检验航空插头孔位安装状态的人力成本且效率高。

Description

一种基于深度学习与多目标分布排序的航空插头孔位识别 方法
技术领域
本发明涉及飞机制造智能装配领域，尤其涉及一种基于深度学习与多目标分布排序的航空插头孔位识别方法。
背景技术
在飞机制造中，飞机装配成本和装配工作量约占全机成本与工作量的一半，飞机装配中导线插头装配占有较大比重。航空插头主要用来连接不同设备之间的电气通信，飞机上航空插头种类和数量繁多，每一种航空插头有其独立的安装状态结果，导线从航空插头背面安装至航空插头的孔位内后，需要对航空插头的安装结果进行校验，该过程严重依赖人工，工人需要区分航空插头正面已安装导线的孔位和未安装导线的孔位，搜索该插头在数据库中存储的安装状态结果，通过比对安装结果是否保持一致进而判断该插头中是否存在漏装导线的孔位，或者错装导线的孔位。该过程繁琐复杂、效率低下，难以适应飞机批量的快速生产需求。
发明内容
本发明提供了一种基于深度学习与多目标分布排序的航空插头孔位识别方法。
为了实现上述目的，本发明采用了如下工作流程：
S1、启动相机并初始化，设置相机的对焦模式，调整相机闪光灯的亮度。
S2、相机对焦完成后，在现场工业场景下捕获航空插头正面图像。
S3、将捕获的航空插头图像送入训练完成的插头定位网络模型，输出航空插头的类别及在图像坐标系下的插头坐标，作为航空插头候选目标。
S4、判断航空插头候选目标是否满足尺寸约束条件，若不满足，重复步骤S2与S3，重新捕获航空插头图像。
S5、若航空插头候选目标满足所述S4中的尺寸约束条件，根据所述S3中插头定位网络模型输出的插头坐标从图像中裁剪插头孔位区域。
S6、将插头孔位区域送入训练完成的孔位识别网络模型，输出插头孔位区域中的插头孔位坐标与防错销钉坐标，完成插头孔位区域中的插头孔位与防错销钉的类别识别与位置检测。
S7、根据插头孔位坐标与防错销钉坐标，对插头孔位和防错销钉进行阵列多目标排序，对插头孔位进行编号。
S8、判定每个插头孔位的安装状态，判断该插头孔位中是否安装导线，进而得知整个航空插头的安装结果。
S9、将航空插头的安装结果匹配数据库中的安装结果，输出航空插头安装检验结果，判别航空插头安装结果是否与数据库保持一致。
优选地，所述S3步骤中的插头定位网络模型训练方法包括：
S31、在现场场景中采集大量不同种类的航空插头正面图像，标注每张图像中的航空插头类别与在图像坐标系下的插头坐标，制作航空插头图像数据集D1。
S32、对航空插头图像数据集D1中的每张图像进行图像增强操作，得到增强航空插头图像数据集D2。
S33、构建插头定位深度神经网络，建立插头定位网络模型的训练目标，回归航空插头图像中的插头坐标，分类图像中的航空插头类型。
S34、使用航空插头图像数据集D1和增强航空插头图像数据集D2训练插头定位神经网络，拟合网络模型的参数。
S35、训练完成后，保存插头定位网络模型。
优选地，所述S6步骤中的孔位识别网络模型训练方法包括：
S61、根据航空插头图像数据集D1中标注的插头坐标将每张图像中的航空插头裁剪下来作为新的图像，制作插头孔位区域数据集D3，标注插头孔位区域数据集D3中每张图像中的插头孔位坐标和防错销钉坐标，标注插头孔位的类别和防错销钉的类别。
S62、对插头孔位区域数据集D3中的每张图像进行图像增强操作，得到增强孔位区域数据集D4。
S63、构建孔位识别深度神经网络，建立孔位识别网络模型的训练目标，回归插头孔位区域图像中插头孔位坐标和防错销钉坐标，分类图像中的插头孔位和防错销钉的类型。
S64、使用插头孔位区域数据集D3和增强孔位区域数据集D4训练孔位识别神经网络，拟合网络模型的参数。
S65、训练完成后，保存孔位识别网络模型。
进一步的，所述S32和S62中的图像增强操作包括图像白平衡、图像颜色变换、图像几何伸缩、图像旋转变换及图像随机噪声五种操作。
进一步的，所述S33中插头定位深度神经网络和S63中孔位识别深度神经网络包含特征提取网络、特征融合网络和输出网络，所述特征提取网络包含四层卷积层和池化层，所述特征融合网络包含三层上采样层和级联层，所述输出网络预测检测目标的类别和位置坐标，所述特征提取网络和所述特征融合网络之间连接有1×1的卷积过滤器，所述特征融合网络和所述输出网络之间连接有3×3的卷积过滤器。
优选地，所述S4步骤中的尺寸约束条件为所述S3中航空插头候选目标的长宽比在0.6-1.4，所述S3中航空插头候选目标的长度大于所述S3中航空插头图像长度的四分之一。
优选地，所述S7步骤中的阵列多目标排序方法包括：
S71、根据所述S6中输出的防错销钉的坐标
Figure BDA0002016334710000031
计算插头孔位区域的几何中心点
Figure BDA0002016334710000041
以该点为极点，引向长宽比最大的防错销钉的坐标
Figure BDA0002016334710000042
的射线为极轴建立级坐标系。
S72、计算所述S6中输出的每个插头孔位的坐标Pi＝(xi,yi)在极坐标系中的极角
Figure BDA0002016334710000043
和极径
Figure BDA0002016334710000044
S73、根据极径γi距离极点的距离将插头孔位坐标自外向内分为M个区段，第j个区段上的插头孔位坐标为
Figure BDA0002016334710000045
自外向内根据每一层区段上的插头孔位坐标的极角
Figure BDA0002016334710000046
大小对插头孔位进行排序，依此顺序对插头孔位区域的插头孔位进行编号。
优选地，所述S8步骤中根据插头孔位的像素颜色判别孔位中是否安装导线。
该发明的有益之处是，通过相机拍摄航空插头图像，视觉识别图像中的航空插头与插头孔位，对检测出的插头孔位进行分布排序与编号，判断插头孔位的安装状态，得知航空插头的安装结果，代替人工检验航空插头的安装结果，节省了人力成本且效率高；航空插头的插头孔位尺寸小，难以直接在航空插头图像中识别插头孔位，首先训练插头定位网络模型从图像中检测插头孔位区域，将插头孔位区域从图像中裁剪下来形成新的图像，继而训练孔位识别网络模型从插头孔位区域识别插头孔位，设计合理，能够分别从含有复杂工业背景的图像中检测航空插头和插头孔位，提高了识别结果的准确率；插头定位深度神经网络和孔位识别深度神经网络中特征提取网络的四层卷积层和池化层能够有效提取航空插头和插头孔位的特征，特征融合网络能够融合图像中不同尺度的提取特征，提高了网络的使用性能；航空插头候选目标的尺寸约束条件可以过滤图像中的噪声目标，保证预测的候选目标为航空插头，提高了航空插头定位的可靠性；结合防错销钉和插头孔位的阵列特征，在极坐标系下对插头孔位多目标进行排序编号，简单易行且适应性强；安装有导线的插头孔位为黄铜色，与未安装导线的插头孔位颜色差异明显，采用像素颜色判别插头孔位是否安装有导线的方式效率高且保证了准确率。
附图说明
图1为本发明的航空插头孔位识别流程图；
图2为本发明的典型航空插头的结构示意图；
图3为本发明的典型航空插头的孔位分布示意图；
图4为本发明的航空插头孔位识别过程的示意图；
图5为本发明的深度神经网络的结构示意图；
图6为本发明的单层航空插头孔位排序方法示意图；
图7为本发明的多层航空插头孔位编号方法示意图。
图2中，1、插头孔位，2、插头正面，3、防错销钉。
图4中，31、插头坐标，61、防错销钉坐标，62、插头孔位坐标。
从图2中可看出典型航空插头的形状与结构。
从图3中可看出典型航空插头的插头孔位和防错销钉的排列方式。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
实施例1：
参照图1-2，一种基于深度学习与多目标分布排序的航空插头孔位识别方法，采用了如下工作流程：
S1、启动相机并初始化，设置相机的对焦模式，调整相机闪光灯的亮度。
S2、相机对焦完成后，参考图3，在现场工业场景下捕获航空插头正面2图像。
S3、将捕获的航空插头图像送入训练完成的插头定位网络模型，参考图4，输出航空插头的类别及在图像坐标系下的插头坐标31，作为航空插头候选目标。
S4、判断航空插头候选目标是否满足尺寸约束条件，若不满足，重复步骤S2与S3，重新捕获航空插头图像。
S5、若航空插头候选目标满足所述S4中的尺寸约束条件，参考图4，根据所述S3中插头定位网络模型输出的插头坐标31从图像中裁剪插头孔位区域。
S6、将插头孔位区域送入训练完成的孔位识别网络模型，参考图4，输出插头孔位区域中的插头孔位坐标62与防错销钉坐标61，完成插头孔位区域中的插头孔位1与防错销钉3的类别识别与位置检测。
S7、根据插头孔位坐标62与防错销钉坐标61，参考图6-7，对插头孔位1和防错销钉3进行阵列多目标排序，对插头孔位1进行编号。
S8、判定每个插头孔位1的安装状态，判断该插头孔位1中是否安装导线，进而得知整个航空插头的安装结果。
S9、将航空插头的安装结果匹配数据库中的安装结果，输出航空插头安装检验结果，判别航空插头安装结果是否与数据库保持一致。
为解决难以直接从航空插头图像中识别插头孔位1的问题，参考图1，分别训练插头定位网络模型和孔位识别网络模型，参考图4，首先使用插头定位网络模型检测航空插头在图像中的插头坐标31，根据插头坐标31将插头孔位区域从图像中裁剪下来送入孔位识别网络模型，检测孔位坐标62与防错销钉坐标61。所述插头定位网络模型的训练方法包括，在现场场景中采集大量不同种类的航空插头正面2的图像，标注每张图像中的航空插头类别与在图像坐标系下的插头坐标31，制作航空插头图像数据集D1；对航空插头图像数据集D1中的每张图像进行图像增强操作，得到增强航空插头图像数据集；构建插头定位深度神经网络，建立插头定位网络模型的训练目标，回归航空插头图像中的插头坐标31，分类图像中的航空插头类型；使用航空插头图像数据集D1和增强航空插头图像数据集D2训练插头定位神经网络，拟合网络模型的参数；训练完成后，保存插头定位网络模型。所述孔位识别网络模型训练方法包括，根据航空插头图像数据集D1中标注的插头坐标31将每张图像中的航空插头裁剪下来作为新的图像，制作插头孔位区域数据集D3，标注插头孔位区域数据集D3中每张图像中的插头孔位坐标62和防错销钉坐标61，标注插头孔位1的类别和防错销钉3的类别；对插头孔位区域数据集D3中的每张图像进行图像增强操作，得到增强孔位区域数据集D4；构建孔位识别深度神经网络，建立孔位识别网络模型的训练目标，回归插头孔位区域图像中插头孔位坐标62和防错销钉坐标61，分类图像中的插头孔位1和防错销钉3的类型；使用插头孔位区域数据集D3和增强孔位区域数据集D4训练孔位识别神经网络，拟合网络模型的参数；训练完成后，保存孔位识别网络模型。所述图像增强操作包括图像白平衡、图像颜色变换、图像几何伸缩、图像旋转变换及图像随机噪声五种操作。参考图5，所述插头定位深度神经网络和孔位识别深度神经网络包含特征提取网络、特征融合网络和输出网络，所述特征提取网络包含四层卷积层和池化层，所述特征融合网络包含三层上采样层和级联层，所述输出网络预测检测目标的类别和位置坐标，所述特征提取网络和所述特征融合网络之间连接有1×1的卷积过滤器，所述特征融合网络和所述输出网络之间连接有3×3的卷积过滤器。
所述S4步骤中的尺寸约束条件为所述S3中航空插头候选目标的长宽比在0.6-1.4，所述S3中航空插头候选目标的长度大于所述S3中航空插头图像长度的四分之一。
为解决插头孔位1的阵列多目标排序问题，参考图6，根据所述S6中输出的防错销钉3的坐标
Figure BDA0002016334710000081
计算插头孔位区域的几何中心点
Figure BDA0002016334710000082
Figure BDA0002016334710000083
以该点为极点，引向长宽比最大的防错销钉3的坐标
Figure BDA0002016334710000084
的射线为极轴建立级坐标系。计算所述S6中输出的每个插头孔位1的坐标Pi＝(xi,yi)在极坐标系中的极角
Figure BDA0002016334710000085
Figure BDA0002016334710000086
和极径
Figure BDA0002016334710000087
参考图7，根据极径γi距离极点的距离将插头孔位坐标62自外向内分为M个区段，第j个区段上的插头孔位坐标62为
Figure BDA0002016334710000088
自外向内根据每一层区段上的插头孔位坐标62的极角
Figure BDA0002016334710000089
大小对插头孔位1进行排序，依此顺序对插头孔位区域的插头孔位1进行编号。
安装有导线的插头孔位1为黄铜色，与未安装导线的插头孔位1的颜色差异明显，所述S8步骤中根据插头孔位1的像素颜色判别孔位中是否安装导线，操作简单方便，值得大范围推广。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种基于深度学习与多目标分布排序的航空插头孔位识别方法，其特征在于，该方法包含：
S1、启动相机并初始化，设置相机的对焦模式，调整相机闪光灯的亮度；
S2、相机对焦完成后，在现场工业场景下捕获航空插头正面图像；
S3、将捕获的航空插头图像送入训练完成的插头定位网络模型，输出航空插头的类别及在图像坐标系下的插头坐标，作为航空插头候选目标；
S4、判断航空插头候选目标是否满足尺寸约束条件，若不满足，重复步骤S2与S3，重新捕获航空插头图像；
S5、若航空插头候选目标满足所述S4中的尺寸约束条件，根据所述S3中插头定位网络模型输出的插头坐标从图像中裁剪插头孔位区域；
S6、将插头孔位区域送入训练完成的孔位识别网络模型，输出插头孔位区域中的插头孔位坐标与防错销钉坐标，完成插头孔位区域中的插头孔位与防错销钉的类别识别与位置检测；
S7、根据插头孔位坐标与防错销钉坐标，通过阵列多目标排序方法对插头孔位和防错销钉进行排序，根据排序结果对插头孔位进行编号；
S8、判定每个插头孔位的安装状态，判断该插头孔位中是否安装导线，进而得知整个航空插头的安装结果；
S9、将航空插头的安装结果匹配数据库中的安装结果，输出航空插头安装检验结果，判别航空插头安装结果是否与数据库保持一致。
2.如权利要求1所述的一种基于深度学习与多目标分布排序的航空插头孔位识别方法，其特征在于，所述S3步骤中的插头定位网络模型训练方法包括：
S31、在现场场景中采集大量不同种类的航空插头正面图像，标注每张图像中的航空插头类别与在图像坐标系下的插头坐标，制作航空插头图像数据集D1；
S32、对航空插头图像数据集D1中的每张图像进行图像增强操作，得到增强航空插头图像数据集D2；
S33、构建插头定位深度神经网络，建立插头定位网络模型的训练目标，回归航空插头图像中的插头坐标，分类图像中的航空插头类型；
S34、使用航空插头图像数据集D1和增强航空插头图像数据集D2训练插头定位神经网络，拟合网络模型的参数；
S35、训练完成后，保存插头定位网络模型。
3.如权利要求1所述的一种基于深度学习与多目标分布排序的航空插头孔位识别方法，其特征在于，所述S6步骤中的孔位识别网络模型训练方法包括：
S61、根据航空插头图像数据集D1中标注的插头坐标将每张图像中的航空插头裁剪下来作为新的图像，制作插头孔位区域数据集D3，标注插头孔位区域数据集D3中每张图像中的插头孔位坐标和防错销钉坐标，标注插头孔位的类别和防错销钉的类别；
S62、对插头孔位区域数据集D3中的每张图像进行图像增强操作，得到增强孔位区域数据集D4；
S63、构建孔位识别深度神经网络，建立孔位识别网络模型的训练目标，回归插头孔位区域图像中插头孔位坐标和防错销钉坐标，分类图像中的插头孔位和防错销钉的类型；
S64、使用插头孔位区域数据集D3和增强孔位区域数据集D4训练孔位识别神经网络，拟合网络模型的参数；
S65、训练完成后，保存孔位识别网络模型。
4.如权利要求2或权利要求3所述的一种基于深度学***衡、图像颜色变换、图像几何伸缩、图像旋转变换及图像随机噪声五种操作，所述S33中插头定位深度神经网络和S63中孔位识别深度神经网络包含特征提取网络、特征融合网络和输出网络，所述特征提取网络包含四层卷积层和池化层，所述特征融合网络包含三层上采样层和级联层，所述输出网络预测检测目标的类别和位置坐标，所述特征提取网络和所述特征融合网络之间连接有1×1的卷积过滤器，所述特征融合网络和所述输出网络之间连接有3×3的卷积过滤器。
5.如权利要求1所述的一种基于深度学习与多目标分布排序的航空插头孔位识别方法，其特征在于：所述S4步骤中的尺寸约束条件为所述S3中航空插头候选目标的长宽比在0.6-1.4，所述S3中航空插头候选目标的长度大于所述S3中航空插头图像长度的四分之一。
6.如权利要求1所述的一种基于深度学习与多目标分布排序的航空插头孔位识别方法，其特征在于，所述S7步骤中的阵列多目标排序方法包括：
S71、根据所述S6中输出的防错销钉的坐标
Figure FDA0002741566840000031
计算插头孔位区域的几何中心点
Figure FDA0002741566840000032
以该点为极点，引向长宽比最大的防错销钉的坐标
Figure FDA0002741566840000033
的射线为极轴建立级坐标系；
S72、计算所述S6中输出的每个插头孔位的坐标Pi＝(xi，yi)在极坐标系中的极角
Figure FDA0002741566840000034
和极径
Figure FDA0002741566840000035
S73、根据极径γi距离极点的距离将插头孔位坐标自外向内分为M个区段，第j个区段上的插头孔位坐标为Pi j，自外向内根据每一层区段上的插头孔位坐标的极角
Figure FDA0002741566840000036
大小对插头孔位进行排序，依此顺序对插头孔位区域的插头孔位进行编号。
7.如权利要求1所述的一种基于深度学习与多目标分布排序的航空插头孔位识别方法，其特征在于：所述S8步骤中根据插头孔位的像素颜色判别孔位中是否安装导线。
CN201910264451.9A 2019-04-03 2019-04-03 一种基于深度学习与多目标分布排序的航空插头孔位识别方法 Active CN110059676B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910264451.9A CN110059676B (zh) 2019-04-03 2019-04-03 一种基于深度学习与多目标分布排序的航空插头孔位识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910264451.9A CN110059676B (zh) 2019-04-03 2019-04-03 一种基于深度学习与多目标分布排序的航空插头孔位识别方法

Publications (2)

Publication Number Publication Date
CN110059676A CN110059676A (zh) 2019-07-26
CN110059676B true CN110059676B (zh) 2021-05-07

Family

ID=67318318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910264451.9A Active CN110059676B (zh) 2019-04-03 2019-04-03 一种基于深度学习与多目标分布排序的航空插头孔位识别方法

Country Status (1)

Country Link
CN (1) CN110059676B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753609B (zh) * 2019-08-02 2023-12-26 杭州海康威视数字技术股份有限公司 一种目标识别的方法、装置及摄像机
CN111161227B (zh) * 2019-12-20 2022-09-06 成都数之联科技股份有限公司 一种基于深度神经网络的靶心定位方法及***
CN111242130B (zh) * 2020-01-06 2023-03-03 北京航空航天大学 一种航空插头型谱图自动生成方法
CN112712529B (zh) * 2020-12-25 2023-06-27 明峰医疗***股份有限公司 一种pet探测器晶***置查找表的生成方法及***、pet设备
CN112975929A (zh) * 2021-03-05 2021-06-18 深圳市华艺鑫电子有限公司 基于多特征融合的客机充电插座识别定位对接***与方法
CN113859457B (zh) * 2021-09-18 2022-04-29 慧云新科技股份有限公司 利用区块链存储的动作触发***及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102519387B (zh) * 2011-10-27 2014-03-05 哈尔滨工业大学 一种电子束焊接熔池形状参数的视觉检测方法
CN104330787B (zh) * 2013-12-30 2017-01-18 河南科技大学 水下运动阵列多目标检测和方位估计一体化方法
CN106997466B (zh) * 2017-04-12 2021-05-04 百度在线网络技术（北京）有限公司 用于检测道路的方法和装置
CN108171748B (zh) * 2018-01-23 2021-12-07 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法
CN109087299B (zh) * 2018-08-20 2022-02-08 北京航空航天大学 一种基于单目视觉的航空导线编号识别的图像采集装置
CN109318234B (zh) * 2018-11-09 2021-03-12 哈尔滨工业大学 一种适用于视觉伺服插拔作业的标定方法

Also Published As

Publication number Publication date
CN110059676A (zh) 2019-07-26

Similar Documents

Publication Publication Date Title
CN110059676B (zh) 一种基于深度学习与多目标分布排序的航空插头孔位识别方法
CN106054900B (zh) 基于深度摄像头的机器人临时避障方法
CN112836352B (zh) 一种融合三维设计和激光点云的输电线路模型生成方法
CN108734143A (zh) 一种巡检机器人的基于双目视觉的输电线路在线检测方法
CN109636837B (zh) 一种单目相机与毫米波雷达外参标定准确性的评价方法
CN105427317A (zh) 一种适用于多视角自动化配准多站地面激光点云数据的方法
CN105069843A (zh) 一种面向城市三维建模的密集点云的快速提取方法
CN102074047A (zh) 一种高精细城市三维建模方法
CN110189405B (zh) 一种顾及建筑物密度的实景三维建模方法
CN106355197A (zh) 基于K‑means聚类算法的导航图像匹配过滤方法
CN109211198A (zh) 一种基于三目视觉的智能目标检测和测量***及方法
CN107679458B (zh) 一种基于K-Means的道路彩色激光点云中道路标线的提取方法
CN105447868A (zh) 一种微小型无人机航拍数据的自动检查方法
CN115240093B (zh) 基于可见光和激光雷达点云融合的输电通道自动巡检方法
WO2020258297A1 (zh) 图像语义分割方法、可移动平台及存储介质
CN107885224A (zh) 基于三目立体视觉的无人机避障方法
CN114061548B (zh) 基于无人机遥感的建筑测绘方法及***
CN110940316A (zh) 复杂环境下变电站消防机器人的导航方法及***
CN110032279A (zh) 一种计算机视觉和增强现实眼镜辅助的航空导线插头装配方法与***
CN112528979A (zh) 变电站巡检机器人障碍物判别方法及***
CN114781290A (zh) 一种基于目标检测网络的寄生参数提取方法
CN110276379B (zh) 一种基于视频图像分析的灾情信息快速提取方法
Fang et al. A framework of power pylon detection for UAV-based power line inspection
Kai et al. Research on augmented reality technology of helicopter aided navigation based on lidar
CN111104861B (zh) 用于确定电线位置的方法和设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant