CN117218104A - 电子***模块外观检测方法、***、存储介质及电子设备 - Google Patents
电子***模块外观检测方法、***、存储介质及电子设备 Download PDFInfo
- Publication number
- CN117218104A CN117218104A CN202311268634.0A CN202311268634A CN117218104A CN 117218104 A CN117218104 A CN 117218104A CN 202311268634 A CN202311268634 A CN 202311268634A CN 117218104 A CN117218104 A CN 117218104A
- Authority
- CN
- China
- Prior art keywords
- pictures
- electronic detonator
- detonator module
- model
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 142
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 55
- 238000013507 mapping Methods 0.000 claims abstract description 16
- 238000010801 machine learning Methods 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 51
- 238000011156 evaluation Methods 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 21
- 238000007781 pre-processing Methods 0.000 claims description 15
- 238000002372 labelling Methods 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 10
- 238000009877 rendering Methods 0.000 claims description 8
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 14
- 238000012545 processing Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000002159 abnormal effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005474 detonation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种电子***模块外观检测方法、***、存储介质及电子设备,属于电子***模块外观检测技术领域。电子***模块外观检测方法包括:基于不同相机点位对电子***模块进行图像采集,得到电子***模块的多张图片;基于多张图片进行三维建模,得到电子***模块的三维模型;将多张图片输入至预先训练好的图像识别模型,得到多张图片对应的标签信息,其中,图像识别模型为使用多组训练数据通过机器学习训练得到的;将多张图片对应的标签信息绘制到多张图片,并映射到电子***模块的三维模型进行显示。本发明中的电子***模块外观检测方法有利于提高对电子***模块的外观进行检测的检测效率和提高检测的准确性。
Description
技术领域
本发明涉及电子***模块外观检测技术领域,尤其涉及一种电子***模块外观检测方法、***、存储介质及电子设备。
背景技术
目前,为了确保生产形成的电子***模块的品质,在电子***模块生产过程中,需要对生产形成的电子***模块的外观进行外观检测,电子***模块外观检测主要检测电子***模块是正常或断裂、错位、鼓边、毛边等异常情况,需要检测人员依次对电子***模块的外观进行观察以及判断,但,检测人员长时间对电子***模块进行外观检测,容易导致眼睛疲累,进而容易造成误检,容易将不合格的电子***模块当成合格的电子***模块处理,进而影响最终电子***的品质甚至导致最终电子***成为废品或次品。
进一步的,通过检测人员对电子***模块的外形进行检测,即便检测人员经过培训,检测人员在检测的过程中,检测结果容易受到检测人员集中精力程度以及其它的人为因素影响,难以保证检测的准确性,且需要大量的人力资源和成本。
进一步的,电子***模块上设有的桥丝由于其尺寸较小,桥丝是否有断裂、脱落的情况,在需要通过检测人员对电子***模块的外观进行检测时,需要检测人员采用放大镜进行检测,检测效率较低,在需要大批量检测的时候,通过检测人员对对电子***模块的外观进行检测时,难以满足产品生产需求,还降低了产品的生产效率。由此,亟需一种有利于提高对电子***模块的外观进行检测的检测效率和提高检测的准确性的检测方法。
发明内容
本发明的目的在于克服上述现有技术的至少一个不足,提供一种有利于提高对电子***模块的外观进行检测的检测效率和提高检测的准确性的电子***模块外观检测方法;另外,还提供一种用电子***模块外观检测***、一种计算机可读存储介质和一种电子设备。
本发明解决上述技术问题的技术方案如下:
根据本申请的一方面,提供一种电子***模块外观检测方法,所述的方法包括:
基于不同相机点位对电子***模块进行图像采集,得到所述电子***模块的多张图片;
基于多张所述图片进行三维建模,得到所述电子***模块的三维模型;
将多张所述图片输入至预先训练好的图像识别模型,得到多张所述图片对应的标签信息,其中,所述图像识别模型为使用多组训练数据通过机器学习训练得到的,多组训练数据中的每组数据均包括多张所述图片和多张所述图片对应的标签信息;所述标签信息包括目标检测区域以及所述目标检测区域对应的所述电子***模块的外观检测结果;
将多张所述图片对应的标签信息绘制到多张所述图片,并映射到所述电子***模块的三维模型进行显示。
根据本发明的一个实施例,所述基于多张所述图片进行三维建模,得到所述电子***模块的三维模型,包括:
构建虚拟场景下所述电子***模块的立方体模型;
对多张所述图片的相机内参和相机外参进行标定,得到标定后的相机内参和相机外参;
根据标定后的相机内参和相机外参将多张所述图片投影到所述立方体模型,得到所述电子***模块的三维模型。
根据本发明的一个实施例,在所述根据标定后的相机内参和相机外参将多张所述图片投影到所述立方体模型,得到所述电子***模块的三维模型之后,所述的方法还包括:
若多张所述图片存在重叠区域,则融合重叠区域内不同图片的渲染效果。
根据本发明的一个实施例,所述将多张所述图片输入至预先训练好的图像识别模型,得到多张所述图片对应的标签信息,包括:
对多张所述图片进行图像预处理,得到预处理后的多张所述图片;其中,所述图像预处理包括以下至少之一:图像大小调整、归一化像素值、数据增强;
基于所述图像识别模型对预处理后的多张所述图片进行识别,得到多张所述图片对应的标签信息。
根据本发明的一个实施例,在所述将多张所述图片输入至预先训练好的图像识别模型,得到多张所述图片对应的标签信息之前,所述的方法还包括:
对所述电子***模块的多张图片进行标注,得到多张所述图片对应的实际标签信息;
构建所述图像识别模型,使用标注有实际标签信息的多张所述图片对所述图像识别模型进行训练,得到多张所述图片对应的标签信息;
确定多张所述图片对应的标签信息与实际标签信息之间的评估指标;
根据所述评估指标对所述图像识别模型进行模型性能评估,得到所述图像识别模型的评估结果;
根据所述图像识别模型的评估结果对所述图像识别模型的超参数和/或训练策略进行调整,更新所述图像识别模型。
根据本发明的一个实施例,所述构建所述图像识别模型,包括:
构建YOLO v3模型;
基于所述电子***模块的图片特征对所述YOLO v3模型的网络结构和超参数进行定义,得到所述YOLO v3模型的配置文件;
根据所述YOLO v3模型的配置文件生成所述图像识别模型。
根据本发明的一个实施例,所述将多张所述图片对应的标签信息绘制到多张所述图片,并映射到所述电子***模块的三维模型进行显示,包括:
获取标定后的相机内参和相机外参,其中,标定后的相机内参和相机外参是基于对多张所述图片的相机内参和相机外参进行标定得到;
根据标定后的相机内参和相机外参将多张所述图片对应的目标检测区域的坐标投影到所述电子***模块的三维模型对应的坐标,并使用所述目标检测区域对应的所述电子***模块的外观检测结果进行标注,以及将多张所述图片对应的纹理映射到所述电子***模块的三维模型进行显示。
根据本发明的一个实施例,所述基于不同相机点位对电子***模块进行图像采集,得到所述电子***模块的多张图片,包括:
从所述电子***模块的上侧以第一角度和/或第二角度对所述电子***模块进行图像采集,得到第一图像集;
从所述电子***模块的下侧以第三角度和/或第四角度对所述电子***模块进行图像采集,得到第二图像集;
对得到的所述第一图像集和所述第二图像集进行分割,得到所述电子***模块的多张所述图片,其中,多张所述图片对所述电子***模块的外观实现全覆盖。
根据本发明的一个实施例,所述的方法还包括:
根据预设的多个不同相机点位将多个所述电子***模块间隔排列,其中,一个所述电子***模块对应多个所述不同相机点位;
基于多个所述不同相机点位依次对多个所述电子***模块进行图像采集,分别得到多个所述电子***模块的多张图片。
根据本申请的另一方面,还提供一种电子***模块外观检测***,所述的检测***包括:
采集单元,用于基于不同相机点位对电子***模块进行图像采集,得到所述电子***模块的多张图片;
建模单元,用于基于多张所述图片进行三维建模,得到所述电子***模块的三维模型;
检测单元,用于将多张所述图片输入至预先训练好的图像识别模型,得到多张所述图片对应的标签信息,其中,所述图像识别模型为使用多组训练数据通过机器学习训练得到的,多组训练数据中的每组数据均包括多张所述图片和多张所述图片对应的标签信息;所述标签信息包括目标检测区域以及所述目标检测区域对应的所述电子***模块的外观检测结果;
显示单元,用于将多张所述图片对应的标签信息绘制到多张所述图片,并映射到所述电子***模块的三维模型进行显示。
根据本申请的再一方面,还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被处理器执行时实现上述的方法。
根据本申请的再一方面,还提供一种电子设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述的方法。
本申请实施例提供的技术方案至少带来如下有益效果:
在本申请实施例中,采用基于不同相机点位对电子***模块进行图像采集,得到电子***模块的多张图片;基于多张图片进行三维建模,得到电子***模块的三维模型;将多张图片输入至预先训练好的图像识别模型,得到多张图片对应的标签信息,其中,图像识别模型为使用多组训练数据通过机器学习训练得到的,多组训练数据中的每组数据均包括:多张图片和多张图片对应的标签信息;标签信息包括目标检测区域以及目标检测区域对应的电子***模块的外观检测结果;将多张图片对应的标签信息绘制到多张图片,并映射到电子***模块的三维模型进行显示,通过对电子***模块外观的自动检测,降低人力成本,且能够提升检测效率;另外,还避免了检测结果容易受到检测人员集中精力程度以及其它的人为因素影响,进而有利于保证检测的准确性。
附图说明
为了更清楚地说明本发明中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中的电子***模块外观检测方法的流程图;
图2为本发明实施例中的检测仪的示意图;
图3为本发明实施例中的的电子***模块外观检测***的示意图;
图4为本发明实施例中的电子设备的硬件结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先,在对本发明实施例进行描述的过程中出现的部分名词或术语适用于如下解释:
电子***模块:是一种用于控制电子***的电子设备,其主要由电子控制模块和电子***组成,电子控制模块负责接收和处理信号,然后将信号传递给电子***,控制电子***的引爆。
根据本发明实施例,提供了一种电子***模块外观检测方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的电子***模块外观检测方法的流程图,如图1所示,该方法包括如下步骤:
步骤S102,基于不同相机点位对电子***模块进行图像采集,得到电子***模块的多张图片。
可选地,采用工业相机等图像采集设备采集电子***模块的图像。
为了更加全面地获取电子***模块的图片,可以在检测仪2的检测台22上下方安装多个工业相机,每个工业相机处于不同的相机点位。另外,也可以通过驱动位于工业相机依次经过不同的相机点位并在不同的相机点位进行采集电子***模块的图像。
其中,上述相机点位表示工业相机在空间中的位置和方向,通常由工业相机的坐标和姿态来描述。
在具体实施过程中,首先需要调整不同工业相机的位置和视角,使其能够覆盖电子***模块的各个部分;然后使用各工业相机进行图像采集,得到电子***模块的多张图片。通过上述步骤,可以得到电子***模块的多张图片,这些图片可以用于后续的图像处理和分析任务。
步骤S104,基于多张图片进行三维建模,得到电子***模块的三维模型。
上述多张图片均为二维(2D)图片,且每个图片对应一个相机点位。上述电子***模块的三维模型可以以三维(3D)形式对电子***模块进行展示。
步骤S106,将多张图片输入至预先训练好的图像识别模型,得到多张图片对应的标签信息,其中,图像识别模型为使用多组训练数据通过机器学习训练得到的,多组训练数据中的每组数据均包括:多张图片和多张图片对应的标签信息。
上述标签信息包括但不限于目标检测区域以及目标检测区域对应的电子***模块的外观检测结果。
其中,每个图片中包含一个或者多个目标检测区域,对于每个目标检测区域而言,可以使用电子***模块的外观检测结果作为标签对其进行标注。
上述目标检测区域为采用边界框进行标注的图片区域,其包括图片中的整个的电子***模块或者部分的电子***模块。
上述电子***模块的外观检测结果包括正常和异常,其中,异常包括但不限于桥丝断裂、桥丝错位、模块鼓边、模块毛边、模块歪斜以及模块裂纹。
相比于现有技术中依赖于人工检测,在本发明实施例中,采用图像识别模型对电子***模块的多张图片进行处理,得到多张图片对应的标签信息,不仅能够节省大量的人力成本,还大大提升了电子***模块外观检测的效率与准确性。
步骤S108,将多张图片对应的标签信息绘制到多张图片,并映射到电子***模块的三维模型进行显示。
可选地,可以将多张图片对应的标签信息在电子***模块的三维模型上进行显示,使得电子***模块的外观检测结果可视化。
另外,在电子***模块的外观检测结果出现异常的情况下,可以对电子***模块的三维模型进行拉动、旋转、放大等操作,并对照进行人工复检,进而减少人工检测的工作量,有效避免误检。
在本发明实施例中,通过对电子***模块外观的自动检测,替换原来的人工检测,从而实现了降低人力成本,提升检测效率的技术效果,进而解决了相关技术中电子***模块的外观检测存在成本高、效率低的技术问题。
作为一种可选的实施例,基于多张图片进行三维建模,得到电子***模块的三维模型,包括:构建虚拟场景下电子***模块的立方体模型;对多张图片的相机内参和相机外参进行标定,得到标定后的相机内参和相机外参;根据标定后的相机内参和相机外参将多张图片投影到立方体模型,得到电子***模块的三维模型。
上述虚拟场景下电子***模块的立方体模型作为电子***模块的初始三维模型。
可选地,使用OpenTK图形库创建电子***模块的立方体模型,并将其保存成模型格式文件,模型格式文件包括但不限于模块型号.obj。
上述相机内参为工业相机本身的固有属性,包括焦距、光心等参数,可以通过标定板等方法进行估计。
上述相机外参则是工业相机相对于世界坐标系的位置和姿态,可以通过多个已知点的三维坐标和在图像中的二维坐标进行估计。
标定后的相机内参和相机外参可以用于将多张图片投影到立方体模型,从而得到电子***模块的三维模型。
可选地,使用图像处理算法对多张图片进行分析,例如目标检测、特征提取等;使用三维建模算法将分析得到的特征点和线条等信息转化为三维模型;对三维模型进行优化和调整,使其更加真实和准确;使用三维建模软件将优化后的三维模型进行渲染和展示。
在本发明的实施例中,通过构建虚拟场景下电子***模块的立方体模型以及获取标定后的相机内参和相机外参,利用标定后的相机内参和相机外参将多张图片投影到立方体模型,实现建立电子***模块的三维模型,从而使得更加真实和准确地展示电子***模块的外观。
作为一种可选的实施例,在根据标定后的相机内参和相机外参将多张图片投影到立方体模型,得到电子***模块的三维模型之后,上述方法还包括:若多张图片存在重叠区域,则融合重叠区域内不同图片的渲染效果。
由于原始的电子***模块的多张图片有重叠区域,需要重新渲染电子***模块的三维模型,即在根据标定后的相机内参和相机外参将多张图片投影到立方体模型,得到电子***模块的三维模型之后,还可以进行图像融合,其中,上述图像融合为将多张图像的重叠部分进行融合,以得到更加清晰和准确的图像。
可选地,在电子***模块的三维模型中,多张图片可能存在重叠区域,可以使用图像融合算法将重叠区域内不同图片的渲染效果进行融合,从而得到更加清晰和准确的三维模型。
此外,在电子***模块的外观检测结果出现异常时,通过电子***模块的三维模型直观标注出瑕疵在电子***模块的准确位置。
作为一种可选的实施例,将多张图片输入至预先训练好的图像识别模型,得到多张图片对应的标签信息,包括:对多张图片进行图像预处理,得到预处理后的多张图片;其中,图像预处理包括以下至少之一:图像大小调整、归一化像素值、数据增强;基于图像识别模型对预处理后的多张图片进行识别,得到多张图片对应的标签信息。
可选地,使用图像处理算法对多张图片进行预处理,例如图像大小调整、归一化像素值、数据增强等;例如,裁剪形状与模块一致,图像大小为800*48,灰度化图像(减少计算量)、归一化像素值(缩小亮度差异)和平衡处理(消除噪声)。
在本发明的实施例中,首先需要对多张图片进行图像预处理,然后再将预处理后的多张图片输入到预先训练好的图像识别模型进行识别,并输出对应的标签信息。在将多张图片输入到图像识别模型之前进行图像预处理,不仅可以减少计算量、缩小亮度差异以及消除噪声,还能够有效提升后续图像识别的效果,从而获取更加准确的标签信息。
作为一种可选的实施例,在将多张图片输入至预先训练好的图像识别模型,得到多张图片对应的标签信息之前,上述方法还包括:对电子***模块的多张图片进行标注,得到多张图片对应的实际标签信息;构建图像识别模型,使用标注有实际标签信息的多张图片对图像识别模型进行训练,得到多张图片对应的标签信息;确定多张图片对应的标签信息与实际标签信息之间的评估指标;根据评估指标对图像识别模型进行模型性能评估,得到图像识别模型的评估结果;根据图像识别模型的评估结果对图像识别模型的超参数和/或训练策略进行调整,更新图像识别模型。
可选地,对电子***模块的多张图片进行标注,得到多张图片对应的实际标签信息,包括:若图片中电子***模块的外观检测结果为正常,则将正常作为实际标签信息标注到对应的图片中;若图片中电子***模块的外观检测结果为异常,则确定图片中的目标检测区域,将目标检测区域以及异常作为实际标签信息标注到对应的图片中;其中,异常包括但不限于桥丝断裂、桥丝错位、模块鼓边、模块毛边、模块歪斜以及模块裂纹。
上述评估指标包括但不限于准确率、损失值、召回率、精确率等;上述训练策略包括但不限于训练轮数、验证轮数、早停策略等。
在本发明的实施例中,通过计算多张图片对应的标签信息与实际标签信息之间的评估指标,利用评估指标对图像识别模型进行模型性能评估,再根据图像识别模型的评估结果对图像识别模型的超参数和/或训练策略进行调整,从而不断优化图像识别模型,提升模型的性能。
作为一种可选的实施例,构建图像识别模型,包括:构建YOLO v3模型;基于电子***模块的图片特征对YOLO v3模型的网络结构和超参数进行定义,得到YOLO v3模型的配置文件;根据YOLO v3模型的配置文件生成图像识别模型。
上述YOLO v3模型的网络结构包括但不限于层的类型(如卷积层、池化层、全连接层和检测层等)、层数、每层的参数等;上述YOLO v3模型的超参数包括但不限于学习率、批量大小、正则化参数、迭代次数、损失函数和优化器等。
需要说明的是,YOLO v3模型的网络结构和超参数可以根据实际的训练任务和数据集进行调整,以达到最佳的识别效果。
在本发明实施例中,通过YOLO v3模型的配置文件生成图像识别模型,该图像识别模型具有以下优势:提高目标检测的准确率;提高目标检测的速度;支持多标签识别,即一个目标可以被识别为多个标签;支持多尺度识别,即可以识别不同大小的目标;支持实时识别,即可以在实时视频流中进行目标检测;支持高精度识别,即可以识别出非常小的目标;支持多目标识别,即可以同时识别多个目标。
作为一种可选的实施例,将多张图片对应的标签信息绘制到多张图片,并映射到电子***模块的三维模型进行显示,包括:获取标定后的相机内参和相机外参,其中,标定后的相机内参和相机外参是基于对多张图片的相机内参和相机外参进行标定得到;根据标定后的相机内参和相机外参将多张图片对应的目标检测区域的坐标投影到电子***模块的三维模型对应的坐标,并使用目标检测区域对应的电子***模块的外观检测结果进行标注,以及将多张图片对应的纹理映射到电子***模块的三维模型进行显示。
可选地,将包含有多个特征点的标定物安装到检测仪2上能够被工业相机拍摄到的位置,采集的多张图片包含标定物,从多张图片中分别提取多个特征点,利用多个特征点以及其在图片中的位置,计算得到多张图片的相机内参和相机外参;使用多张图片的相机内参和相机外参标定工业相机,得到标定后的相机内参和相机外参。
可选地,使用YOLO v3模型对多张图片进行目标检测,获取目标检测区域的坐标,可以使用Darknet库提供的函数来实现。使用标定后的相机内参和相机外参将目标检测区域的坐标投影到电子***模块的三维模型对应的坐标,可以使用OpenCV库提供的函数来实现。使用电子***模块的外观检测结果对目标检测区域进行标注,可以使用OpenCV库提供的函数来实现。将多张图片对应的纹理映射到电子***模块的三维模型进行显示,可以使用OpenGL库提供的函数来实现。
在本发明实施例中,可以对电子***模块外观的自动检测,还可以准确地在电子***模块的三维模型上展示出标签信息以及图片纹理,更加直观地显示检测结果。
作为一种可选的实施例,基于不同相机点位对电子***模块进行图像采集,得到电子***模块的多张图片,包括:从电子***模块的上侧以第一角度和第二角度对电子***模块进行图像采集,得到第一图像集;从电子***模块的下侧以第三角度和第四角度对电子***模块进行图像采集,得到第二图像集;对得到的第一图像集和第二图像集进行分割,得到电子***模块的多张图片,其中,多张图片对电子***模块的外观实现全覆盖。
在本实施例中,从多个角度对电子***模块进行图像采集,有利于对电子***模块进行全方位采集图像,提高对电子***模块的外观检测的覆盖的全面性。进一步的,也可以从电子***模块的上侧以第一角度和/或第二角度对电子***模块进行图像采集,得到第一图像集;也可以从电子***模块的下侧以第三角度和/或第四角度对电子***模块进行图像采集,得到第二图像集。
作为一种可选的实施例,上述方法还包括:根据预设的多个不同相机点位将多个电子***模块间隔排列,其中,一个电子***模块对应多个不同相机点位;基于多个不同相机点位依次对多个电子***模块进行图像采集,分别得到多个电子***模块的多张图片。本实施例中的根据预设的多个不同相机点位将多个电子***模块间隔排列,有利于对多个电子***模块进行图像采集,提高检测效率。
下面对本发明可选的实施例进行详细说明。
一、检测设备:
图2是根据本发明实施例的检测仪2的示意图,如图2所示,本实施例中的检测仪2包括机体20,机体20的中部安装有检测台23,检测台23为透明玻璃材质,检测台23的后侧连接在机体20上且向前延伸,检测台23上放置有用于放置电子***模块的放置部,本实施例中的放置部上分别放置有电子***模块具体为电子***模块样本231,检测台23下侧设置有第一导向滑槽结构21,第一导向滑槽结构21上安装有第一滑槽电机,检测台23下侧安装有的工业相机具体为第一工业相机24,具体的,第一工业相机24安装在第一滑槽电机上且能够在第一滑槽电机的驱动下沿第一导向滑槽结构21移动,第一工业相机24在第一滑槽电机的驱动下可以移动到的多个图像采集点位分别为第一图像采集点位211,第一工业相机24在多个第一图像采集点位211进行图像采集。
进一步的,如图2所示,检测台23上侧设置有第二导向滑槽结构22,第二导向滑槽结构22上安装有第二滑槽电机,检测台23上侧安装有的工业相机具体为第二工业相机25,具体的,第二工业相机25安装在第二滑槽电机上且能够在第二滑槽电机的驱动下沿第二导向滑槽结构22移动,第二工业相机25在第二滑槽电机的驱动下可以移动到的多个图像采集点位分别为第二图像采集点位221,第二工业相机25在多个第二图像采集点位221进行图像采集。另外,本实施例中的多个第一图像采集点位211和第二图像采集点位221构成本实施例中的多个不同相机点位。
进一步的,如图2所示,本实施例中的检测仪2上还设有显示屏26,显示屏26用于显示图片,本实施例中的显示屏26位于第二导向滑槽结构22的上方。另外,本实施例中的机体20上还设有补光灯,通过补光灯对电子***模块样本231进行照亮。
进一步的,本实施例中的第一滑槽电机与第一导向滑槽结构21的连接方式可参考本领域的现有技术,本实施例中的第二滑槽电机与第二导向滑槽结构22的连接方式也可参考本领域的现有技术,在此不再进行赘述。另外,本实施例中未对第一滑槽电机和第二滑槽电机进行图示,第一滑槽电机和第二滑槽电机的结构也可以参考现有技术中的滑槽电机。
需要说明的是,本实施例中的第一工业相机24和第二工业相机25还可以分别安装在其它的直线驱动装置上,并通过该直线驱动装置分别对第一工业相机24和第二工业相机25进行驱动实现移动,进行实现对多个电子***模块样本231进行图像采集。另外,检测仪2还可以设置成其它结构,便于检测仪2实施本实施例中的电子***模块外观检测方法便可。
可选地,如图2所示,检测台23上方的每个图像采集点位(对应于工业相机)分别从45°方向采集左右两边的电子***模块图像(最边上采集点只采集一个电子***模块图像),检测台23下方的每个采集点则根据需要设置为跟上方一致或从正下方呈90°采集电子***模块图像,然后将采集的图像进行分割,使得每一个电子***模块均有4张或3张图片对电子***模块外观实现全覆盖。
进一步的,本实施例中的检测仪2能够同时完成外观检测与成品电子参数检测的2项检测,缩短产线生产时间。
二、检测方法(操作步骤),其具体实施步骤如下:
步骤1、将20个电子***模块放到检测仪2操作台后,按启动按钮。
步骤2、控制启动补光灯,控制第一滑槽电机和沿第一导向滑槽结构21从当前位置向另外一边匀速移动,并在第一工业相机24到达图像采集点位时控制第一工业相机24采集图像;控制第二滑槽电机和沿第二导向滑槽结构22从当前位置向另外一边匀速移动,并在第二工业相机25到达图像采集点位时控制第二工业相机25采集图像。
步骤3、模块3D建模及显示。将一个电子***模块不同角度的4或3张图片进行重新3D渲染,并结合当前工业相机位置计算模块位置,将当前正检测的电子***模块的图像重新以3D形式直观展示。
由于电子***模块尺寸、形状固定,首先使用OpenTK图形库创建固定模块3D模型并保存成模型格式文件(模块型号.obj)。然后工业相机采集位置、大小也固定,使用计算机视觉库OpenCVSharp对各张图片的相机内参和外参参数进行标定。最后根据已知尺寸的3D模型和标定的相机参数,将图片投影到3D模型上,对于重合部分图像,使用alpha混合和融合不同照片的渲染效果。位置标注则使用投影算法,根据标定后的相机内参和相机外参,将图片上的特征点坐标通过透视变换和仿射变换投影到3D模型坐标并进行标注,并将2D图片纹理映射到3D模型上。
步骤4、图像预处理。首先将工业相机采集的图像分割为左右2个电子***模块的图片并归集到对应模块编号上,然后对每张图片进行固定位置固定大小进行再次裁剪、调整大小、通道颜色顺序的调整及灰度化归一化等标准化处理。
步骤5、图像检测与输出。将1个电子***模块不同角度采集的4或3张预处理好的图片输入至训练好的图像识别模型进行图像检测。根据模型输出的检测结果,使用C#图形库将检测结果绘制在原始图片上,以便用户可以直观地看到检测到的物体。如果正常则在展示在显示屏26中的3D模块标记正常,如果有错件情况,则显示错件原因,并将错件位置用方框进行标记。
步骤6、通过或复检。根据显示屏26的提示,如果全部正常则该20个电子***模块全部进入下一环节,如果有错件,则对提示的错件进行人工复检,并反馈复检结果。
步骤7、模型更新。如果出现误检,根据反馈结果误检的图片进行标记,进行训练模型更新,后续检测时使用更新后的模型,确保***运行越久检测结果越准确。
三、图像识别模型训练:
本发明实施例提供的检测设备所检测的电子***模块可能存在多种错误原因,检测过程中需要给出错件原因和位置提示,使用C#语言、Caffe.Net机器学习库和YOLOv3模型数据集实现电子***模块外观检测方法。
进一步地,图像识别模型训练的具体实施步骤如下:
步骤1、数据采集与标注
设置有模块图片标注功能,具体使用如下:在电子***模块完成人工检测后将其放入检测仪2,启动图片标注,检测仪2按检测拍照方式采集图片并将每个电子***模块的多张图片显示在显示屏26上,操作员对其进行分类标注,正常或各种具体错件原因,并标识出错件位置。运行2周后收集正常图片50万张,异常图片1000余张。
根据车间《模块外观标准定型文件》,模块外观检测结果分类有:正常、桥丝断裂、桥丝错位、模块鼓边、模块毛边、模块歪斜、模块裂纹、U型端子压变形、支架中部外露等30余种。标注程序分为图像区域和操作区域,图像区域用于展示每个电子***模块采集的多张图片和渲染出的3D视图,以及操作员进行区域位置标注;操作区域则分布着每一类错件按钮,供操作员进行标签添加分类标注。
对于正常件,操作员只需点击正常按钮即可,程序自动标注该图片正常。对于桥丝外观的标准采用程序自动标注:操作员识别出桥丝错件问题,直接选择图像并在操作区点击对应错件位置,程序自动对图片进行边界框(桥丝区域)标注,并打上分类标签。对于模块错误,训练过程中操作员需在瑕疵位置拖动鼠标进行边界框标注,同时在操作区域点击对应错件分类按钮。
步骤2、图像预处理
操作员在标注程序界面对图像进行手工操作后,标注程序对操作员标注的图像进行预处理,包括图像大小调整、归一化像素值、数据增强等操作,将标签信息保存到训练数据库供后续模型训练和模型测试使用。
步骤3、模型安装与配置
导入YOLO v3模型,使用C#的机器学习库Caffe.Net加载和使用YOLO v3模型。
步骤4、模型构建
使用学习库Caffe.Net构建YOLO v3模型,根据模块图片特征,在模型配置文件中定义模型的结构(层的类型、层数、每层的参数等)和超参数等,并通过编写网络结构的代码来定义模型的卷积层、池化层、全连接层和检测层结构。最终使用Caffe.Net提供的应用程序编程接口(Application Programming Interface,简称API)根据配置文件生成图像识别模型。
步骤5、模型训练
使用随机初始化权重来初始化上一步构建的YOLO v3模型的参数,使用Caffe.Net的API加载前面标注和预处理步骤中生成的训练数据集,使用反向传播算法和优化器(如SGD、Adam等)来训练YOLO v3模型。
为了提高训练效率、更好地利用硬件资源,训练时将数据集分成多个小批量进行训练。每个批量包含多个样本,使得模型在每个批量上进行前向传播和反向传播。反向传播是深度学习中的核心算法,用于计算模型参数对损失函数的梯度。通过梯度下降法,可以更新模型参数以最小化损失函数。
为了提升模型预测准确性,本发明实施例的训练方法对模型的训练进行了多外轮次的迭代。每个迭代轮次均将整个训练集输入模型进行训练。每个迭代轮次完成后,模型的参数会被更新。
步骤6、模型评估
模型训练结束后,使用数据采集与标注过程中的测试集对模型进行预测评估,计算预测结果与真实标签之间的准确率、损失值、召回率、精确率等指标,评估模型的性能。根据评估结果,调整模型的超参数(如学习率、批量大小、正则化参数等)以及重新定义损失函数及函数参数、优化器(随机梯度下降(SGD)、Adam、Adagrad等)的选择及增加迭代轮次等,以进一步提升模型的性能。
在运行过程中,程序自动检测出的错件需要人工复检,如人工复检结果与预测结果有偏差,程序启动程序标注功能提示操作员对当前实际错误进行标注,并将标注结果保存到训练集,以便云端进行模型训练更新。
步骤7、模型优化与部署
原始模型(结构和参数)在云服务器中进行训练导出,其体积较大,内存占用较高,实际运行的检测程序则在各车间生产线的工业电脑上,配置较低,因此需要将YOLO v3模型进行优化后导出,减小模型的体积和计算资源占用,以便在资源受限的环境下更高效地部署和运行,能够随检测仪程序包一起发布。
优化手段上,本发明实施例根据电子***模块的外形特征和待检区域进行了有用特征提取和噪音减少技术,减少识别计算量;试运行期间根据预测表现对学习率、正则化等参数进行了多种组合尝试并获得了最佳组合;在模型导出时使用量化(Quantization)、低秩近似(Low-rankApproximation)、网络结构设计及运行时优化技术进一步缩小了模型体积。
本发明实施例的另一方面,还提供了一种电子***模块的外观检测***。
图3是根据本发明实施例的电子***模块的外观检测***的示意图,如图3所示,该电子***模块的外观检测***包括:采集单元32、建模单元34、检测单元36和显示单元38。下面对该电子***模块的外观检测***进行详细说明。
采集单元32,用于基于不同相机点位对电子***模块进行图像采集,得到电子***模块的多张图片;
建模单元34,用于基于多张图片进行三维建模,得到电子***模块的三维模型;
检测单元36,用于将多张图片输入至预先训练好的图像识别模型,得到多张图片对应的标签信息,其中,图像识别模型为使用多组训练数据通过机器学习训练得到的,多组训练数据中的每组数据均包括:多张图片和多张图片对应的标签信息;标签信息包括目标检测区域以及目标检测区域对应的电子***模块的外观检测结果;
显示单元38,用于将多张图片对应的标签信息绘制到多张图片,并映射到电子***模块的三维模型进行显示。
在本发明实施例中,该***通过对电子***模块外观的自动检测,替换原来的人工检测,从而实现了降低人力成本,提升检测效率的技术效果,进而解决了相关技术中电子***模块的外观检测存在成本高、效率低的技术问题。
此处需要说明的是,上述采集单元32、建模单元34、检测单元36和显示单元38对应于方法实施例中的步骤S102至S108,上述单元与对应的步骤所实现的示例和应用场景相同,但不限于上述方法实施例所公开的内容。
作为一种可选的实施例,上述建模单元34包括:构建子单元,用于构建虚拟场景下电子***模块的立方体模型;标定子单元,用于对多张图片的相机内参和相机外参进行标定,得到标定后的相机内参和相机外参;投影子单元,用于根据标定后的相机内参和相机外参将多张图片投影到立方体模型,得到电子***模块的三维模型。
作为一种可选的实施例,上述建模单元34还包括:融合子单元,用于在根据标定后的相机内参和相机外参将多张图片投影到立方体模型,得到电子***模块的三维模型之后,若多张图片存在重叠区域,则融合重叠区域内不同图片的渲染效果。
作为一种可选的实施例,上述检测单元36包括:预处理子单元,用于对多张图片进行图像预处理,得到预处理后的多张图片;其中,图像预处理包括以下至少之一:图像大小调整、归一化像素值、数据增强;识别子单元,用于基于图像识别模型对预处理后的多张图片进行识别,得到多张图片对应的标签信息。
作为一种可选的实施例,上述***还包括:标注单元,用于在将多张图片输入至预先训练好的图像识别模型,得到多张图片对应的标签信息之前,对电子***模块的多张图片进行标注,得到多张图片对应的实际标签信息;训练单元,用于构建图像识别模型,使用标注有实际标签信息的多张图片对图像识别模型进行训练,得到多张图片对应的标签信息;确定单元,用于确定多张图片对应的标签信息与实际标签信息之间的评估指标;评估单元,用于根据评估指标对图像识别模型进行模型性能评估,得到图像识别模型的评估结果;调整单元,用于根据图像识别模型的评估结果对图像识别模型的超参数和/或训练策略进行调整,更新图像识别模型。
作为一种可选的实施例,上述训练单元包括:构建子单元,用于构建YOLO v3模型;定义子单元,用于基于电子***模块的图片特征对YOLO v3模型的网络结构和超参数进行定义,得到YOLO v3模型的配置文件;生成子单元,用于根据YOLO v3模型的配置文件生成图像识别模型。
作为一种可选的实施例,上述显示单元38包括:获取子单元,用于获取标定后的相机内参和相机外参,其中,标定后的相机内参和相机外参是基于对多张图片的相机内参和相机外参进行标定得到;显示子单元,用于根据标定后的相机内参和相机外参将多张图片对应的目标检测区域的坐标投影到电子***模块的三维模型对应的坐标,并使用目标检测区域对应的电子***模块的外观检测结果进行标注,以及将多张图片对应的纹理映射到电子***模块的三维模型进行显示。
本发明实施例的另一方面,还提供了一种计算机可读存储介质,该计算机可读存储介质包括存储的程序,其中,在程序运行时控制计算机可读存储介质所在设备执行本发明实施例的方法。
本发明实施例的另一方面,还提供了一种电子设备,该电子设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现本发明实施例的方法。
本发明实施例的另一方面,还提供一种计算机程序产品,该计算机程序产品包括计算机程序,其中,计算机程序在被计算机的处理器执行时用于使计算机执行本发明实施例的方法。
参考图4,现将描述可以作为本发明实施例的服务器或客户端的电子设备的结构框图,其是可以应用于本发明的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图4所示,电子设备包括计算单元401,其可以根据存储在只读存储器(ROM)402中的计算机程序或者从存储单元408加载到随机访问存储器(RAM)403中的计算机程序,来执行各种适当的动作和处理。在RAM 403中,还可存储电子设备操作所需的各种程序和数据。计算单元401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
电子设备中的多个部件连接至I/O接口405,包括:输入单元406、输出单元407、存储单元408以及通信单元409。输入单元406可以是能向电子设备输入信息的任何类型的设备,输入单元406可以接收输入的数字或字符信息,以及产生与电子设备的用户设置和/或功能控制有关的键信号输入。输出单元407可以是能呈现信息的任何类型的设备,并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元408可以包括但不限于磁盘、光盘。通信单元409允许电子设备通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据,并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组,例如蓝牙设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。
计算单元401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元401的一些示例包括但不限于CPU、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元401执行上文所描述的各个方法和处理。例如,在一些实施例中,本发明的方法实施例可被实现为计算机程序,其被有形地包含于机器可读介质,例如存储单元408。在一些实施例中,计算机程序的部分或者全部可以经由ROM 402和/或通信单元409而被载入和/或安装到电子设备上。在一些实施例中,计算单元401可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行上述的方法。
用于实施本发明实施例的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得计算机程序当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明实施例的上下文中,计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读信号介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
另外,除本实施例公开的技术方案以外,对于本发明中滑槽电机、工业相机、检测仪的结构以及其工作原理等可参考本技术领域的常规技术方案,而这些常规技术方案也并非本发明的重点,本发明在此不进行详细陈述。
需要说明的是,本发明实施例使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。本发明实施例中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
“实施例”一词在本说明书中指的是结合实施例描述的具体特征、结构或特性可以包括在本发明的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例,也不意味着与其它实施例相互排斥而具有独立性或可供选择。本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见。尤其,对于装置、设备、***实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明。
以上仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (12)
1.一种电子***模块外观检测方法,其特征在于,所述的方法包括:
基于不同相机点位对电子***模块进行图像采集,得到所述电子***模块的多张图片;
基于多张所述图片进行三维建模,得到所述电子***模块的三维模型;
将多张所述图片输入至预先训练好的图像识别模型,得到多张所述图片对应的标签信息,其中,所述图像识别模型为使用多组训练数据通过机器学习训练得到的,多组训练数据中的每组数据均包括多张所述图片和多张所述图片对应的标签信息;所述标签信息包括目标检测区域以及所述目标检测区域对应的所述电子***模块的外观检测结果;
将多张所述图片对应的标签信息绘制到多张所述图片,并映射到所述电子***模块的三维模型进行显示。
2.根据权利要求1所述的方法,其特征在于,所述基于多张所述图片进行三维建模,得到所述电子***模块的三维模型,包括:
构建虚拟场景下所述电子***模块的立方体模型;
对多张所述图片的相机内参和相机外参进行标定,得到标定后的相机内参和相机外参;
根据标定后的相机内参和相机外参将多张所述图片投影到所述立方体模型,得到所述电子***模块的三维模型。
3.根据权利要求2所述的方法,其特征在于,在所述根据标定后的相机内参和相机外参将多张所述图片投影到所述立方体模型,得到所述电子***模块的三维模型之后,所述的方法还包括:
若多张所述图片存在重叠区域,则融合重叠区域内不同图片的渲染效果。
4.根据权利要求1所述的方法,其特征在于,所述将多张所述图片输入至预先训练好的图像识别模型,得到多张所述图片对应的标签信息,包括:
对多张所述图片进行图像预处理,得到预处理后的多张所述图片;其中,所述图像预处理包括以下至少之一:图像大小调整、归一化像素值、数据增强;
基于所述图像识别模型对预处理后的多张所述图片进行识别,得到多张所述图片对应的标签信息。
5.根据权利要求1所述的方法,其特征在于,在所述将多张所述图片输入至预先训练好的图像识别模型,得到多张所述图片对应的标签信息之前,所述的方法还包括:
对所述电子***模块的多张图片进行标注,得到多张所述图片对应的实际标签信息;
构建所述图像识别模型,使用标注有实际标签信息的多张所述图片对所述图像识别模型进行训练,得到多张所述图片对应的标签信息;
确定多张所述图片对应的标签信息与实际标签信息之间的评估指标;
根据所述评估指标对所述图像识别模型进行模型性能评估,得到所述图像识别模型的评估结果;
根据所述图像识别模型的评估结果对所述图像识别模型的超参数和/或训练策略进行调整,更新所述图像识别模型。
6.根据权利要求5所述的方法,其特征在于,所述构建所述图像识别模型,包括:
构建YOLO v3模型;
基于所述电子***模块的图片特征对所述YOLO v3模型的网络结构和超参数进行定义,得到所述YOLO v3模型的配置文件;
根据所述YOLO v3模型的配置文件生成所述图像识别模型。
7.根据权利要求1至6任一项所述的方法,其特征在于,所述将多张所述图片对应的标签信息绘制到多张所述图片,并映射到所述电子***模块的三维模型进行显示,包括:
获取标定后的相机内参和相机外参,其中,标定后的相机内参和相机外参是基于对多张所述图片的相机内参和相机外参进行标定得到;
根据标定后的相机内参和相机外参将多张所述图片对应的目标检测区域的坐标投影到所述电子***模块的三维模型对应的坐标,并使用所述目标检测区域对应的所述电子***模块的外观检测结果进行标注,以及将多张所述图片对应的纹理映射到所述电子***模块的三维模型进行显示。
8.根据权利要求1至6任一项所述的方法,其特征在于,所述基于不同相机点位对电子***模块进行图像采集,得到所述电子***模块的多张图片,包括:
从所述电子***模块的上侧以第一角度和/或第二角度对所述电子***模块进行图像采集,得到第一图像集;
从所述电子***模块的下侧以第三角度和/或第四角度对所述电子***模块进行图像采集,得到第二图像集;
对得到的所述第一图像集和所述第二图像集进行分割,得到所述电子***模块的多张所述图片,其中,多张所述图片对所述电子***模块的外观实现全覆盖。
9.根据权利要求8所述的方法,其特征在于,所述的方法还包括:
根据预设的多个不同相机点位将多个所述电子***模块间隔排列,其中,一个所述电子***模块对应多个所述不同相机点位;
基于多个所述不同相机点位依次对多个所述电子***模块进行图像采集,分别得到多个所述电子***模块的多张图片。
10.一种电子***模块外观检测***,其特征在于,所述的检测***包括:
采集单元,用于基于不同相机点位对电子***模块进行图像采集,得到所述电子***模块的多张图片;
建模单元,用于基于多张所述图片进行三维建模,得到所述电子***模块的三维模型;
检测单元,用于将多张所述图片输入至预先训练好的图像识别模型,得到多张所述图片对应的标签信息,其中,所述图像识别模型为使用多组训练数据通过机器学习训练得到的,多组训练数据中的每组数据均包括多张所述图片和多张所述图片对应的标签信息;所述标签信息包括目标检测区域以及所述目标检测区域对应的所述电子***模块的外观检测结果;
显示单元,用于将多张所述图片对应的标签信息绘制到多张所述图片,并映射到所述电子***模块的三维模型进行显示。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被处理器执行时实现所述权利要求1至9任一项中所述的方法。
12.一种电子设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现所述权利要求1至9任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311268634.0A CN117218104A (zh) | 2023-09-28 | 2023-09-28 | 电子***模块外观检测方法、***、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311268634.0A CN117218104A (zh) | 2023-09-28 | 2023-09-28 | 电子***模块外观检测方法、***、存储介质及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117218104A true CN117218104A (zh) | 2023-12-12 |
Family
ID=89050979
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311268634.0A Pending CN117218104A (zh) | 2023-09-28 | 2023-09-28 | 电子***模块外观检测方法、***、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117218104A (zh) |
-
2023
- 2023-09-28 CN CN202311268634.0A patent/CN117218104A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11431896B2 (en) | Augmented reality for three-dimensional model reconstruction | |
CN110148130B (zh) | 用于检测零件缺陷的方法和装置 | |
US11341626B2 (en) | Method and apparatus for outputting information | |
CN110910343A (zh) | 路面裂缝检测的方法、装置及计算机设备 | |
CN108010118B (zh) | 虚拟对象处理方法、虚拟对象处理装置、介质和计算设备 | |
CN111476776B (zh) | 胸部病灶位置确定方法、***、可读存储介质和设备 | |
CN110910445B (zh) | 一种物件尺寸检测方法、装置、检测设备及存储介质 | |
US20220327684A1 (en) | Method and device for detecting mechanical equipment parts | |
CN113393448A (zh) | 一种形变检测方法、装置、设备及计算机可读存储介质 | |
CN115311618A (zh) | 一种基于深度学习和对象匹配的装配质量检查方法 | |
CN111899219A (zh) | 一种输电线路机巡的图像识别方法及*** | |
CN114332004A (zh) | 一种瓷砖表面缺陷检测方法、装置、电子设备及存储介质 | |
CN112052730A (zh) | 一种3d动态人像识别监控设备及方法 | |
CN111618833A (zh) | 部件的组装方法、装置、存储介质以及电子设备 | |
US8564594B2 (en) | Similar shader search apparatus and method using image feature extraction | |
CN114445545A (zh) | 一种渲染引擎的测试方法、装置、设备、***和介质 | |
CN112304229A (zh) | 一种纺织品纤维成分自动化分析方法及*** | |
JP2024026316A (ja) | 自動検査および部品登録 | |
CN112529836A (zh) | 高压线路缺陷检测方法、装置、存储介质及电子设备 | |
CN117218104A (zh) | 电子***模块外观检测方法、***、存储介质及电子设备 | |
CN115546824B (zh) | 禁忌图片识别方法、设备及存储介质 | |
CN114972500A (zh) | 查验方法、标注方法、***、装置、终端、设备及介质 | |
CN113706721A (zh) | 一种基于增强现实技术的电梯检验方法及*** | |
CN115375965A (zh) | 一种目标场景识别的预处理方法、目标场景识别方法 | |
CN113920087A (zh) | 基于深度学习的微小元器件缺陷检测***及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |