CN114218692A - 基于深度学习与模型仿真的相似零件识别***、介质和方法 - Google Patents

基于深度学习与模型仿真的相似零件识别***、介质和方法 Download PDF

Info

Publication number
CN114218692A
CN114218692A CN202111395775.XA CN202111395775A CN114218692A CN 114218692 A CN114218692 A CN 114218692A CN 202111395775 A CN202111395775 A CN 202111395775A CN 114218692 A CN114218692 A CN 114218692A
Authority
CN
China
Prior art keywords
image
simulation
pose
model
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111395775.XA
Other languages
English (en)
Inventor
张辉
官震
杨育
陈瑶
朱成顺
方喜峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University of Science and Technology
Original Assignee
Jiangsu University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University of Science and Technology filed Critical Jiangsu University of Science and Technology
Priority to CN202111395775.XA priority Critical patent/CN114218692A/zh
Publication of CN114218692A publication Critical patent/CN114218692A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/17—Mechanical parametric or variational design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习与模型仿真的相似零件识别***、介质和方法，该方法包括：获取零件三维模型的静态位姿、生成仿真图像、获取零件图像最小包围盒坐标、生成相似零件识别网络训练集、进行YOLO4神经网络训练、根据测试集结果构建最佳识别视角集、控制相机采集现场零件图像、根据识别结果的置信度判断是否通过运动转台调整相机视角下相似零件位姿，再重新进行识别。本发明利用三维模型的仿真图像生成YOLO4算法的训练集，实现了训练集自生成从而缩减了制作训练样本的时间，并且该方法通过运动转台的方式有效解决了单一视角下零件可区分特征易遮挡的问题，实验结果表明该方法具有高精度的识别结果，具有切实可行的实用价值。

Description

基于深度学习与模型仿真的相似零件识别***、介质和方法
技术领域
本发明涉及相似零件的识别，尤其涉及一种基于深度学习与模型仿真的相似零件识别***、介质和方法。
背景技术
工业生产中往往存在多品种、多批次、高相似零件的分类识别需求。长期以来，机器视觉技术一直备受关注。作为机器视觉的重要组成部分，图像分类与识别技术得到了持续的研究和发展，不仅在理论上不断地出现改进与创新，而且在实际应用中也取得了重大的推广与突破。例如专利文献CN112132783A公开的一种基于数字图像处理技术的零件识别方法。目前，采用机器视觉技术进行目标产品分类、分拣的应用已经在诸多行业里得到了实现。然而传统的机器视觉算法难以应对复杂工业环境下的光源、噪声、对焦等问题。
在机器视觉***中运用深度学***衡，本文基于YOLOv4进行相似零件的分类检测。
然而，深度学习模型所需要的训练集往往包含成千上万张样本图像信息，采用手工标注的方式虽然具有准确性高的优势，但耗时耗力，同时在工业生产中，往往需要定制化的多品种零件分类识别任务，一次将所有可能的零件制作训练集又会导致模型识别准确率的降低，难以满足工业生产中的实际需求。
发明内容
发明目的：针对现有技术的不足，提供一种基于深度学习与模型仿真的相似零件识别***、介质和方法，实现训练集自生从而缩减了制作训练样本的时间，同时快速应对不同批次的相似零件分类识别任务，得到高精度的零件识别结果。
技术方案：一种基于深度学习与模型仿真的相似零件识别方法，步骤包括：
步骤1：利用Bullet物理引擎模拟刚体零件自由落体，获取待识别零件三维模型在虚拟空间中的静态位姿；
步骤2：利用OpenGL库模拟从不同视角、光线下观察的零件静态姿态，保存所有零件在不同视角下的仿真图像；
步骤3：利用仿真图像中零件与周围环境的颜色区分度，使用OpenCV库获取仿真图像中零件的最小包围盒坐标；
步骤4：利用仿真图像、零件名称与包围盒位置信息制作图像数据集，作为YOLO4算法的训练集并进行训练；
步骤5：按照一定的间隔角度抽样提取各个视角下的相似零件仿真图像作为算法测试集，并根据测试结果保存每件相似零件的最佳识别视角图像；
步骤6：现场采集待测零件图像，并将其输入训练好的YOLO4算法；
步骤7：如果识别结果的置信度大于预设值则输出识别结果；否则，计算当前图像与该类相似零件的最佳识别视角图像之间的仿射变换矩阵，将计算结果转换为旋转角度，通过上位机控制运动转台调整零件位姿，重复步骤6，输出识别结果。
进一步地，步骤1包括以下步骤：
步骤1.1：导入待识别零件的三维模型并设置初始高度h0；
步骤1.2：利用Bullet库中的函数设置虚拟空间中包括重力、弹性、刚体属性的参数；
步骤1.3：控制零件模型模拟自由落体，静止后判断该位姿是否为零件检测时常规的摆放姿态，如果不符合则重新设置初始高度重复上述步骤；
步骤1.4：重复上述操作，直到获取所有零件的静态位姿Mi，其中i＝1、2、…、m表示所有零件的序列。
进一步地，步骤2包括以下步骤：
步骤2.1：导入步骤1中获取的零件静态位姿；
步骤2.2：使用OpenGL库模拟零件识别现场光照，并设置虚拟相机视角；
步骤2.3：每隔1度绕模型空间内虚拟Z轴旋转零件静态位姿，并保存此时虚拟相机视角下的零件仿真图像Pij，i＝1、2、…、m，j＝1、2、…、n，其中，i表示零件序列，j表示每件零件生成的仿真图像序列；
步骤2.4：重复上述操作，直到获取所有零件的仿真图像。
进一步地，步骤3包括以下步骤：
步骤3.1：利用零件三维模型颜色与背景颜色的区分，将仿真图像二值化，并提取出二值化后图像的边缘特征；
步骤3.2：利用OpenCV库求解步骤3.1操作后仿真图像中零件的最小包围盒，并返回包围盒左上角像素坐标(Xijt，Yijt)与右下角的像素坐标(Xijd，Yijd)，i＝1、2、…、m，j＝1、2、…、n，其中，i表示零件序列，j表示每件零件生成的仿真图像序列。
进一步地，步骤4包括以下步骤：
步骤4.1：使用VOC数据集格式，生成的仿真图像放入JPEGImages文件夹；
步骤4.2：随机分配训练集、测试集与验证集目录，生成ImageSets文件夹；
步骤4.3：根据仿真图像信息、零件名称与包围盒位置信息，自动生成XML文档，放入Annotations文件夹；
步骤4.4：根据相应的XML文档生成labels文档信息；
步骤4.5：循环上述步骤，直到收集完所有的训练集信息；
步骤4.6：带入YOLO4算法进行网络训练。
进一步地，步骤5包括以下步骤：
步骤5.1：每隔5度抽样提取步骤2中生成的仿真图像Pik作为测试集，i＝1、2、…、m，k∈j；
步骤5.2：将步骤5.1中的测试集带入训练好的YOLO4算法；
步骤5.3：根据步骤5.2中测试结果的置信度Tik，保存识别每件零件的最佳视角图像Pz，z∈i。
进一步地，步骤7包括以下步骤：
步骤7.1：判断YOLO4算法输出的当前零件的识别结果的置信度T0是否大于0.95，如果置信度T0大于0.95，则将识别结果直接输出；
步骤7.2：如果当前零件的识别结果的置信度T0小于0.95，则将其与该零件的最佳视角图像P0进行仿射变换计算，并输出仿射变换矩阵M0；
步骤7.3：将仿射变换矩阵M0转换为平面内运动转盘需要调整的角度θ0；
步骤7.4：通过上位机控制运动转盘带动零件调整位姿至最佳视角，并重复步骤6中操作输出识别结果。
一种计算机可读存储介质，包括供一个或多个处理器执行的一个或多个程序，一个或多个程序包括用于执行如上述的任一方法的指令。
一种适用上述方法的基于深度学习与模型仿真的相似零件识别***，包括：
静态位姿获取模块：用于模拟零件自然摆放时，三维模型的位姿；
零件渲染图像模块：用于将静态位姿获取模块得到的自然摆放的零件模型，生成贴近真实环境的仿真图像，以及生成最佳视角集合；
图像数据集模块：用于自动识别仿真图像中零件的位置，自动生成图像数据集；并用于自动生成YOLO4算法训练所需要的数据集；
运动转台模块：通过上位机控制运动转台，用于将难识别的零件调整至可识别的最佳视角下，便于进行二次识别；
输出模块：用于将识别结果反馈给***。
有益效果：与现有技术相比，本发明具有如下显著的优点：
(1)本方法利用三维模型的仿真图像生成YOLO4算法的训练集，实现了训练集自生从而大大缩减了制作训练样本的时间；
(2)本方法可以快速应对不同批次的相似零件分类识别任务，大大减少人工成本以及流程响应时间；
(3)本方法通过运动转台的方式有效解决了单一视角下零件可区分特征易遮挡的问题；
(4)实验结果表明，相比传统的模板匹配零件识别方法、在迭代10000次的情况下单一视角下使用YOLO4算法以及使用本方法识别准确率分别为65％，78％，96％，使用本方法可以得到高精度的相似零件识别结果。
附图说明
图1为本发明方法的步骤流程图；
图2为本发明中相似零件示例；
图3为本发明***工作硬件示意图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
如图1所示，本发明提供一种基于深度学习与三维模型仿真的相似零件识别：
步骤1：利用Bullet物理引擎模拟刚体零件自由落体过程，从而获取待识别零件三维模型在虚拟空间中的静态位姿；
步骤2：利用OpenGL库模拟从不同视角、光线下观察的零件静态姿态，并保存所有零件在不同视角下的仿真图像；
步骤3：利用仿真图像中零件与周围环境的颜色区分度，使用OpenCV库获取仿真图像中零件的最小包围盒坐标；
步骤4：利用仿真图像、零件名称与包围盒位置信息制作图像数据集，作为YOLO4算法的训练集并进行训练；
步骤5：按照一定的间隔角度抽样提取各个视角下的相似零件仿真图像作为算法测试集，并根据测试结果保存每件相似零件的最佳识别视角图像；
步骤6：现场采集待测零件图像，并将其输入训练好的YOLO4算法；
步骤7：如果识别结果的置信度大于预设值则输出识别结果；否则，计算当前图像与该类相似零件的最佳识别视角图像之间的仿射变换矩阵，并将计算结果转换为旋转角度，通过上位机控制运动转台调整零件位姿，并重复(6)中操作输出识别结果。
下面对本发明提出的相似零件识别方法的具体实施步骤做进一步描述。
步骤1：获取待识别零件三维模型在虚拟空间中的静态位姿。
步骤1.1、在虚拟空间中添加刚体地面在其表面设置世界坐标原点，并导入待识别零件的三维模型，设置初始高度h0；
步骤1.2、利用Bullet库中的相关函数设置虚拟空间中重力、弹性、刚体属性等参数，初始化空间；
步骤1.3、设置零件三维模型在虚拟空间中自由落体运动，静止后判断该位姿是否为零件检测时常规的摆放姿态，并且将虚拟空间中世界坐标中心与三维模型在刚体地面的投影形心重合，如果该姿态不符合常规摆放规则，则重新设置初始高度重复上述步骤；
步骤2：生成不同视角下的零件仿真图像。
步骤2.1、导入步骤1中获取的零件静态位姿；
步骤2.2、使用OpenGL库模拟零件识别现场光照，并设置虚拟相机视角；
步骤2.3、每隔1度绕模型空间内虚拟Z轴旋转零件静态位姿，并保存此时虚拟相机视角下的零件仿真图像Pij，i＝1、2、…、m，j＝1、2、…、n，其中，i表示零件序列，j表示每件零件生成的仿真图像序列；
步骤2.4、重复上述操作，直到获取所有零件的仿真图像；
步骤3：获取仿真图像中零件的最小包围盒。
步骤3.1、利用零件三维模型颜色与背景颜色的区分，将仿真图像二值化，并提取出二值化后图像的边缘特征；
步骤3.2、利用OpenCV库求解步骤3.1操作后仿真图像中零件的最小包围盒，并返回包围盒左上角像素坐标(Xijt，Yijt)与右下角的像素坐标(Xijd，Yijd)，i＝1、2、…、m，j＝1、2、…、n，其中，i表示零件序列，j表示每件零件生成的仿真图像序列。
步骤4：利用仿真图像、零件名称与包围盒位置信息制作图像数据集，作为YOLO4算法的训练集并进行模型训练。
步骤4.1、使用VOC数据集格式，将生成的零件渲染图放入JPEGImages文件夹；
步骤4.2、随机分配训练集、测试集与验证集目录，生成ImageSets文件夹；
步骤4.3、根据仿真图像信息、零件名称与包围盒位置信息，自动生成XML文档，放入Annotations文件夹；
步骤4.4、根据相应的XML文档生成labels文档信息；
步骤4.5、循环上述步骤，直到收集完所有的训练集信息；
步骤4.6、带入YOLO4算法进行网络训练；
步骤5：按照一定的间隔角度抽样提取各个视角下的相似零件仿真图像作为算法测试集，并根据测试结果保存每件相似零件的最佳识别视角图像：
步骤5.1、每隔5度抽样提取步骤2中生成的仿真图像Pik作为测试集，i＝1、2、…、m，k∈j；
步骤5.2、将步骤5.1中的测试集带入训练好的YOLO4算法；
步骤5.3、根据步骤5.2中测试结果的置信度Tik，保存识别每件零件的最佳视角图像Pz，z∈i。
步骤6、现场采集待测零件图像，并将其输入训练好的YOLO4算法；
步骤7、判断识别结果的置信度大于预设值；如果大于则输出识别结果；否则，计算当前图像与该类相似零件的最佳识别视角图像之间的仿射变换矩阵，并将计算结果转换为旋转角度，通过上位机控制运动转台调整零件位姿，并重复步骤6中操作输出识别结果。
步骤7.1、判断YOLO4算法输出的当前零件的识别结果的置信度T0是否大于0.95，如果置信度T0大于0.95，则将识别结果直接输出；
步骤7.2、如果当前零件的识别结果的置信度T0小于0.95，则将其与该类零件的最佳视角图像P0使用OpenCV开源库中的仿射变换API进行仿射变换计算，并输出仿射变换矩阵M0；
Figure BDA0003369869720000071
步骤7.3、当零件摆放位置大致位于转台中央时平移向量tx0，ty0可忽略不计，将仿射变换矩阵M0转换为平面内运动转盘需要调整的角度θ0；
步骤7.4、通过上位机控制运动转盘带动零件调整位姿至最佳视角，并重复步骤6中操作输出识别结果；
实验与验证：针对10对相似零件的分类识别任务，比较：传统的模板匹配零件识别方法、在单一视角下使用YOLO4算法、使用本实施例提出的方法；本实施例中YOLO4模型超参设置如下：学习率设置为0.001，最大迭代次数为10000次，批处理图像数量256。10对相似零件的识别准确率分别为65％，78％，96％，使用实施例提出的方法可以得到精度最高的相识别结果。
上述算法的训练在Windows10的平台下完成，使用VS2017平台，使用C++调用Darknet模型框架以及OpenCV，OpenGL，Bullet等开源库实现，训练使用的电脑的CPU为酷睿i5系列，内存为16GB，显卡为1060MQ显卡。本实施例主要针对图2所示的高相似零件的分类识别任务，其主要区分区域往往出现在局部细节处，极易因观察角度导致可区分信息缺失。
如图3所示，本发明***的工作硬件示意图；主要包括工业相机：由上位机控制，负责现场零件图像的采集；支架：用于支持***硬件结构；待识别零件：通过人工手动放置于运动转台上；运动转台：由上位机控制，用于承载待识别零件以及调整其在相机视角下的位姿。转动工作台由传动***和控制***构成，具体为上位机通过串口(Rx/Tx)与ArduinoUno R3开发板通讯，传递控制工作台转动角度的信息。然后通过在开发版上编译好的程序对信息进行转换，控制对应步进电机脉冲信号的引脚激荡，信号每个上升沿为一次激荡，高电平为5v，低电平为0v。再配合24V直流驱动器，完成对转动工作台的较高精度控制。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明的具体实施方式中，未涉及到的说明属于本领域的公知技术，可参考公知技术加以实施。

Claims (9)

1.一种基于深度学习与模型仿真的相似零件识别方法，其特征在于，包括：
步骤1：利用Bullet物理引擎模拟刚体零件自由落体，获取待识别零件三维模型在虚拟空间中的静态位姿；
步骤2：利用OpenGL库模拟从不同视角、光线下观察的零件静态姿态，保存所有零件在不同视角下的仿真图像；
步骤3：利用仿真图像中零件与周围环境的颜色区分度，使用OpenCV库获取仿真图像中零件的最小包围盒坐标；
步骤4：利用仿真图像、零件名称与包围盒位置信息制作图像数据集，作为YOLO4算法的训练集并进行训练；
步骤5：按照一定的间隔角度抽样提取各个视角下的相似零件仿真图像作为算法测试集，并根据测试结果保存每件相似零件的最佳识别视角图像；
步骤6：现场采集待测零件图像，并将其输入训练好的YOLO4算法；
步骤7：如果识别结果的置信度大于预设值则输出识别结果；否则，计算当前图像与该类相似零件的最佳识别视角图像之间的仿射变换矩阵，将计算结果转换为旋转角度，通过上位机控制运动转台调整零件位姿，重复所述步骤6，输出识别结果。
2.根据权利要求1所述的一种基于深度学习与模型仿真的相似零件识别方法，其特征在于，所述步骤1包括以下步骤：
步骤1.1：导入待识别零件的三维模型并设置初始高度h0；
步骤1.2：利用Bullet库中的函数设置虚拟空间中包括重力、弹性、刚体属性的参数；
步骤1.3：控制零件模型模拟自由落体，静止后判断该位姿是否为零件检测时常规的摆放姿态，如果不符合则重新设置初始高度重复上述步骤；
步骤1.4：重复上述操作，直到获取所有零件的静态位姿Mi，其中i＝1、2、…、m表示所有零件的序列。
3.根据权利要求1所述的一种基于深度学习与模型仿真的相似零件识别方法，其特征在于，所述步骤2包括以下步骤：
步骤2.1：导入步骤1中获取的零件静态位姿；
步骤2.2：使用OpenGL库模拟零件识别现场光照，并设置虚拟相机视角；
步骤2.3：每隔1度绕模型空间内虚拟Z轴旋转零件静态位姿，并保存此时虚拟相机视角下的零件仿真图像Pij，i＝1、2、…、m，j＝1、2、…、n，其中，i表示零件序列，j表示每件零件生成的仿真图像序列；
步骤2.4：重复上述操作，直到获取所有零件的仿真图像。
4.根据权利要求1所述的一种基于深度学习与模型仿真的相似零件识别方法，其特征在于，所述步骤3包括以下步骤：
步骤3.1：利用零件三维模型颜色与背景颜色的区分，将仿真图像二值化，并提取出二值化后图像的边缘特征；
步骤3.2：利用OpenCV库求解步骤3.1操作后仿真图像中零件的最小包围盒，并返回包围盒左上角像素坐标(Xijt，Yijt)与右下角的像素坐标(Xijd，Yijd)，i＝1、2、…、m，j＝1、2、…、n，其中，i表示零件序列，j表示每件零件生成的仿真图像序列。
5.根据权利要求1所述的一种基于深度学习与模型仿真的相似零件识别方法，其特征在于，所述步骤4包括以下步骤：
步骤4.1：使用VOC数据集格式，生成的仿真图像放入JPEGImages文件夹；
步骤4.2：随机分配训练集、测试集与验证集目录，生成ImageSets文件夹；
步骤4.3：根据仿真图像信息、零件名称与包围盒位置信息，自动生成XML文档，放入Annotations文件夹；
步骤4.4：根据相应的XML文档生成labels文档信息；
步骤4.5：循环上述步骤，直到收集完所有的训练集信息；
步骤4.6：带入YOLO4算法进行网络训练。
6.根据权利要求1所述的一种基于深度学习与模型仿真的相似零件识别方法，其特征在于，所述步骤5包括以下步骤：
步骤5.1：每隔5度抽样提取所述步骤2中生成的仿真图像Pik作为测试集，i＝1、2、…、m，k∈j；
步骤5.2：将步骤5.1中的测试集带入训练好的YOLO4算法；
步骤5.3：根据步骤5.2中测试结果的置信度Tik，保存识别每件零件的最佳视角图像Pz，z∈i。
7.根据权利要求1所述的一种基于深度学习与模型仿真的相似零件识别方法，其特征在于，所述步骤7包括以下步骤：
步骤7.1：判断YOLO4算法输出的当前零件的识别结果的置信度T0是否大于0.95，如果置信度T0大于0.95，则将识别结果直接输出；
步骤7.2：如果当前零件的识别结果的置信度T0小于0.95，则将其与该零件的最佳视角图像P0进行仿射变换计算，并输出仿射变换矩阵M0；
步骤7.3：将仿射变换矩阵M0转换为平面内运动转盘需要调整的角度θ0；
步骤7.4：通过上位机控制运动转盘带动零件调整位姿至最佳视角，并重复步骤6中操作输出识别结果。
8.一种计算机可读存储介质，其特征在于，包括供一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如权利要求1-7任一所述方法的指令。
9.一种基于深度学习与模型仿真的相似零件识别***，其特征在于，所述***包括：
静态位姿获取模块：用于模拟零件自然摆放时，三维模型的位姿；
零件渲染图像模块：用于将静态位姿获取模块得到的自然摆放的零件模型，生成贴近真实环境的仿真图像，以及生成最佳视角集合；
图像数据集模块：用于自动识别仿真图像中零件的位置，自动生成图像数据集；并用于自动生成YOLO4算法训练所需要的数据集；
运动转台模块：通过上位机控制运动转台，用于将难识别的零件调整至可识别的最佳视角下，便于进行二次识别；
输出模块：用于将识别结果反馈给***。
CN202111395775.XA 2021-11-23 2021-11-23 基于深度学习与模型仿真的相似零件识别***、介质和方法 Pending CN114218692A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111395775.XA CN114218692A (zh) 2021-11-23 2021-11-23 基于深度学习与模型仿真的相似零件识别***、介质和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111395775.XA CN114218692A (zh) 2021-11-23 2021-11-23 基于深度学习与模型仿真的相似零件识别***、介质和方法

Publications (1)

Publication Number Publication Date
CN114218692A true CN114218692A (zh) 2022-03-22

Family

ID=80697991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111395775.XA Pending CN114218692A (zh) 2021-11-23 2021-11-23 基于深度学习与模型仿真的相似零件识别***、介质和方法

Country Status (1)

Country Link
CN (1) CN114218692A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116681698A (zh) * 2023-07-28 2023-09-01 斯德拉马机械(太仓)有限公司 一种弹簧自动装配质量检测方法及***
CN116740549A (zh) * 2023-08-14 2023-09-12 南京凯奥思数据技术有限公司 车辆零件识别方法及***

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116681698A (zh) * 2023-07-28 2023-09-01 斯德拉马机械(太仓)有限公司 一种弹簧自动装配质量检测方法及***
CN116681698B (zh) * 2023-07-28 2023-10-10 斯德拉马机械(太仓)有限公司 一种弹簧自动装配质量检测方法及***
CN116740549A (zh) * 2023-08-14 2023-09-12 南京凯奥思数据技术有限公司 车辆零件识别方法及***
CN116740549B (zh) * 2023-08-14 2023-11-07 南京凯奥思数据技术有限公司 车辆零件识别方法及***

Similar Documents

Publication Publication Date Title
CN109816725B (zh) 一种基于深度学习的单目相机物***姿估计方法及装置
JP5352738B2 (ja) ３次元モデルを使用した物体認識
US20180260669A1 (en) Image processing apparatus, image processing method, template generation apparatus, object recognition processor, and object recognition processing program
CN110246127A (zh) 基于深度相机的工件识别与定位方法和***、分拣***
CN114218692A (zh) 基于深度学习与模型仿真的相似零件识别***、介质和方法
CN111612880B (zh) 基于二维画作的三维模型构建方法、电子设备及存储介质
CN111482967B (zh) 一种基于ros平台的智能检测与抓取方法
CN104574357B (zh) 定位带有已知图形的基准点的***和方法
CN108818537B (zh) 一种基于云端深度学习的机器人工业分拣方法
CN109816634B (zh) 检测方法、模型训练方法、装置及设备
CN113989944A (zh) 操作动作识别方法、装置及存储介质
Álvarez et al. Junction assisted 3d pose retrieval of untextured 3d models in monocular images
Oumer et al. Appearance learning for 3D pose detection of a satellite at close-range
Filax et al. Data for Image Recognition Tasks: An Efficient Tool for Fine-Grained Annotations.
Byambaa et al. 6D pose estimation of transparent objects using synthetic data
CN117769724A (zh) 使用深度学习的对象检测和分类的合成数据集创建
Piciarelli et al. An augmented reality system for technical staff training
Liang Mechanical parts pose detection system based on orb key frame matching algorithm
Kim et al. Deep representation of industrial components using simulated images
Jiang et al. 6D pose annotation and pose estimation method for weak-corner objects under low-light conditions
Dong et al. A Method for Target Detection Based on Synthetic Samples of Digital Twins
CN111311721A (zh) 一种图像数据集处理方法、***、存储介质、程序、装置
Zhao et al. Research and implementation on key technologies of assembly assistance system based on augmented reality
CN112802049B (zh) 一种家庭物品检测数据集构建方法及***
CN114043484B (zh) 一种基于视觉的工业机器人装配的模仿学习***及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination