CN116071365A - 零件检测方法、装置、设备及存储介质 - Google Patents
零件检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116071365A CN116071365A CN202310320587.3A CN202310320587A CN116071365A CN 116071365 A CN116071365 A CN 116071365A CN 202310320587 A CN202310320587 A CN 202310320587A CN 116071365 A CN116071365 A CN 116071365A
- Authority
- CN
- China
- Prior art keywords
- projection direction
- preset
- preset projection
- contour
- identification number
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000007689 inspection Methods 0.000 claims abstract description 24
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 5
- 230000003068 static effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 9
- 238000010276 construction Methods 0.000 abstract description 7
- 238000012545 processing Methods 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000012015 optical character recognition Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19173—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及一种零件检测方法、装置、设备及存储介质。本公开实施例,通过获取待测零件的标识号;获取待测零件在各个预设投影方向上的实际外轮廓,以及标识号对应的目标零件在各个预设投影方向上的标准外轮廓;针对每个预设投影方向,计算预设投影方向的实际外轮廓相对于预设投影方向的标准外轮廓的轮廓相似度;在各预设投影方向对应的轮廓相似度均大于预设阈值时,确定待测零件为目标零件的合格零件,可以提高零件轮廓检测的准确度,并且可以依据零件标识号对相应零件的轮廓进行自动对比检测,极大提高了零件检测的效率,有利于零件检测的规模化管理和全流程的信息化建设。
Description
技术领域
本公开涉及视觉检测技术领域,尤其涉及一种零件检测方法、装置、设备及存储介质。
背景技术
在产品制造业中,一些零件由于品种多样、造型复杂、供应渠道庞杂等因素导致零件的归类和管理存在诸多的问题,给工厂的信息化和智能化带来了极大的挑战。例如,模具镶块,因其功能的特殊性导致其外观造型各不相同,属于模具零件中最大的一类非标件,每个镶块可能来自不同的加工厂,在整个生产周期内的不同时段到货,并在成套模具装配时分流到各个工位,这就造成物料管理的混乱。
目前,对于造型复杂的零件主要通过人工对零件的轮廓进行检测,根据零件的轮廓是否满足要求来确定零件是否能够合格入库,但是,这种方式要求检测者对该零件具有一定的检测经验,检测效率低下,检测的准确度较低,不利于规模化管理和全流程的信息化建设。
发明内容
为了解决上述技术问题,本公开提供了一种零件检测方法、装置、设备及存储介质。
本公开实施例的第一方面提供了一种零件检测方法,该方法包括:
获取待测零件的标识号;
获取待测零件在各个预设投影方向上的实际外轮廓,以及标识号对应的目标零件在各个预设投影方向上的标准外轮廓;
针对每个预设投影方向,计算预设投影方向的实际外轮廓相对于预设投影方向的标准外轮廓的轮廓相似度;
在各预设投影方向对应的轮廓相似度均大于预设阈值时,确定待测零件为目标零件的合格零件。
本公开实施例的第二方面提供了一种零件检测装置,该装置包括:
第一获取模块,用于获取待测零件的标识号;
第二获取模块,用于获取待测零件在各个预设投影方向上的实际外轮廓,以及标识号对应的目标零件在各个预设投影方向上的标准外轮廓;
计算模块,用于针对每个预设投影方向,计算预设投影方向的实际外轮廓相对于预设投影方向的标准外轮廓的轮廓相似度;
第一确定模块,用于在各预设投影方向对应的轮廓相似度均大于预设阈值时,确定待测零件为目标零件的合格零件。
本公开实施例的第三方面提供了一种计算机设备,该设备包括:
存储器和处理器,其中,存储器中存储有计算机程序,当计算机程序被处理器执行时,可以实现上述第一方面的零件检测方法。
本公开实施例的第四方面提供了一种计算机可读存储介质,存储介质中存储有计算机程序,当计算机程序被处理器执行时,可以实现上述第一方面的零件检测方法。
本公开实施例提供的技术方案与现有技术相比具有如下优点:
本公开实施例,通过获取待测零件的标识号;获取待测零件在各个预设投影方向上的实际外轮廓,以及标识号对应的目标零件在各个预设投影方向上的标准外轮廓;针对每个预设投影方向,计算预设投影方向的实际外轮廓相对于预设投影方向的标准外轮廓的轮廓相似度;在各预设投影方向对应的轮廓相似度均大于预设阈值时,确定待测零件为目标零件的合格零件,通过比较待测零件在各个预设投影方向上的实际外轮廓相对于零件的标准外轮廓的轮廓相似度,确定待测零件的轮廓是否合格,可以提高零件轮廓检测的准确度,并且可以依据零件标识号对相应零件的轮廓进行自动对比检测,极大提高了零件检测的效率,有利于零件检测的规模化管理和全流程的信息化建设。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本公开实施例提供的一种零件检测方法的流程图;
图2是本公开实施例提供的另一种零件检测方法的流程图;
图3是本公开实施例提供的又一种零件检测方法的流程图;
图4是本公开实施例提供的一种零件检测装置的结构示意图;
图5是本公开实施例提供的一种计算机设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点,下面将对本公开的方案进行进一步描述。需要说明的是,在不冲突的情况下,本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开,但本公开还可以采用其他不同于在此描述的方式来实施;显然,说明书中的实施例只是本公开的一部分实施例,而不是全部的实施例。
应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
在产品制造业中,一些零件由于品种多样、造型复杂、供应渠道庞杂等因素导致零件的归类和管理存在诸多的问题,给工厂的信息化和智能化带来了极大的挑战。例如,模具镶块,因其功能的特殊性导致其外观造型各不相同,属于模具零件中最大的一类非标件,每个镶块可能来自不同的加工厂,在整个生产周期内的不同时段到货,并在成套模具装配时分流到各个工位,这就造成物料管理的混乱。
目前,对于造型复杂的零件主要通过人工对零件的轮廓进行检测,根据零件的轮廓是否满足要求来确定零件是否能够合格入库,但是,这种方式要求检测者对该零件具有一定的检测经验,检测效率低下,检测的准确度较低,不利于规模化管理和全流程的信息化。
针对相关技术在零件检测方面存在的缺陷,本公开实施例提供了一种零件检测方法、装置、设备及存储介质,通过比较待测零件在各个预设投影方向上的实际外轮廓相对于零件的标准外轮廓的轮廓相似度,确定待测零件的轮廓是否合格,可以提高零件轮廓检测的准确度,并且可以依据零件标识号对相应零件的轮廓进行自动对比检测,极大提高了零件检测的效率,有利于零件检测的规模化管理和全流程的信息化建设。
本公开实施例提供的零件检测方法,可以由一种计算机设备来执行,该设备可以被理解为任意一种具有处理能力和计算能力的设备,该设备可以包括但不限于诸如智能手机、笔记本电脑、个人数字助理(PDA)、平板电脑(PAD)等的移动终端,以及诸如数字TV、台式计算机、服务器等的固定电子设备。
为了更好的理解本公开实施例的发明构思,下面结合示例性的实施例对本公开实施例的技术方案进行说明。
图1是本公开实施例提供的一种零件检测方法的流程图,如图1所示,本实施例提供的零件检测方法可以包括如下步骤:
步骤110、获取待测零件的标识号。
本公开实施例中的待测零件可以理解为任意通过评估轮廓确定是否合格的零件,包括金属零件和非金属零件,例如模具的镶块等。
本公开实施例中,零件的标识号可以理解为能够唯一确定零件身份信息的号码,可以由若干个字母和数字组成。零件的标识号可以根据零件制造时在零件表面刻印的编号来识别确定。在零件设计之时,设计者会根据其所属的部件和安装位置等信息编制每个零件的标识号,为了确保加工不出现错误,通常会将标识号直接刻在零件表面的特定位置。零件的编号中可以包括零件的标识号、生产日期、生产厂家代号、生产批次、零件材质代号等信息。
本公开实施例中,计算机设备可以获取待测零件的标识号。任意可以获取到待测零件标识号的方式都可以应用在本公开实施例中,这里不作限定。
在一些实施例中,获取待测零件的标识号,可以包括步骤1101-1102:
步骤1101、获取待测零件表面的编号图像,编号图像中包括待测零件的标识号。
在一些实施例中,待测零件表面的编号图像中包括待测零件的标识号。零件的检测线上布置有图像采集装置,例如,摄像机、相机等图像采集装置,图像采集装置可以采集待测零件表面的编号图像,计算机设备可以与图像采集装置进行通信,计算机设备可以从图像采集装置中获取待测零件表面的编号图像。
在另一些实施例中,检测人员可以使用图像采集装置(例如移动终端的摄像机等)采集待测零件表面的编号图像,并将编号图像上传至计算机设备,计算机设备可以获取待测零件表面的编号图像。其中,图像采集装置的镜头具有自动对焦和自动调节曝光的功能,使得在手持采集的情况下图像仍能保持较好的拍摄质量,保证了数据的可靠性和稳定性,并且可以通过在采集界面添加目标摄取框和十字准心等方式,帮助现场检测者快速采集有效的图像。
步骤1102、基于预设的字符识别模型对编号图像进行字符识别,得到待测零件的标识号。
本公开实施例中,字符识别模型可以理解为基于光学字符识别(OpticalCharacter Recognition,OCR)算法构建的深度学习模型,可以对图像中的字符形状进行识别,并采用傅里叶滤波的方式对编号图像进行处理,提高字符与背景的对比度,使其更容易被识别,进而获取图像中的文字信息。具体的,可以以开源的OCR模型框架EasyOCR为基础,其中,EasyOCR是一种可以识别多种文字的开源模型,针对零件编号字符的识别,通过傅里叶滤波的方式对编号图像进行处理,提高了字符与背景的对比度,使其更容易被识别,采用了大量的编号图像数据对原模型进行训练,得到一个准确的字符识别模型,具体训练方式可以参考相关技术,这里不作赘述。
本公开实施例中,在获得待测零件表面的编号图像之后,计算机设备可以将编号图像输入预设的字符识别模型,基于字符识别模型识别编号图像中的字符,得到待测零件的标识号。
步骤120、获取待测零件在各个预设投影方向上的实际外轮廓,以及标识号对应的目标零件在各个预设投影方向上的标准外轮廓。
本公开实施例中,预设投影方向可以理解为预先设置的拍摄待测零件的方向,可以包括前视投影方向、后视投影方向、左侧投影方向、右侧投影方向、俯视投影方向、仰视投影方向中的一个或多个方向,预设投影方向可以根据待测零件需要测量的轮廓面确定,需要测量的轮廓面可以包括待测零件上具有特定功能的轮廓面,需要测量的轮廓面可以包括待测零件上主要的成型加工面、待测零件中需要与其它零件的轮廓面配合的轮廓面等,也可以根据需要进行设置,这里不作限定。例如,若待测零件的俯视和左侧投影方向的轮廓面需要与其它零件的轮廓面配合,而其它轮廓面不需要与其它零件的轮廓面配合,则可以将待测零件的预设投影方向确定为俯视投影方向和左侧投影方向。
本公开实施例中,在获得待测零件的标识号之后,零件检测线上的图像采集装置可以采集待测零件在各个预设投影方向上的投影图像,计算机设备可以从图像采集装置中获取各个预设投影方向上的投影图像,通过对投影图像进行轮廓识别,获取待测零件在各个预设投影方向上的实际外轮廓。
本公开实施例中,在获得待测零件的标识号之后,计算机设备可以根据待测零件的标识号,从本地存储空间或服务器(例如云服务器)中获取待测零件的标识号对应的目标零件的二维图纸或三维模型,通过识别二维图纸或三维模型中各个预设投影方向上的轮廓,获取目标零件在各个预设投影方向上的标准外轮廓。其中,待测零件的标识号对应的目标零件指待测零件的设计尺寸要求对应的合格零件。
步骤130、针对每个预设投影方向,计算预设投影方向的实际外轮廓相对于预设投影方向的标准外轮廓的轮廓相似度。
本公开实施例中的轮廓相似度可以理解为两个轮廓之间相似的程度,可以用来评价两个轮廓之间的差异大小。轮廓相似度可以依据轮廓图像不变矩的相关性大小进行计算,具体计算过程可以参考相关技术,这里不再赘述。
本公开实施例中,针对待测零件的每个预设投影方向,计算机设备可以计算预设投影方向的实际外轮廓相对于预设投影方向的标准外轮廓的轮廓相似度。
例如,轮廓相似度φ的定义如下:
其中,Δ为轮廓差异得分,轮廓差异得分越小,轮廓相似度越高;为图像A的轮廓因子,为图像B的轮廓因子。
式(3)、(4)中的hi为图像不变矩Hu的实际定义,图像不变矩Hu是归一化中心矩的线性组合,具体的计算公式如下,ηmn(m,n=0,...,3)为图像的各阶归一化中心距,sign(x)为符号函数,在数学和计算机运算中,其功能是取某个数的符号(正或负):当x>0时,sign(x)=1;当x=0时,sign(x)=0;当x<0时,sign(x)=-1。
步骤140、在各预设投影方向对应的轮廓相似度均大于预设阈值时,确定待测零件为目标零件的合格零件。
本公开实施例中的预设阈值可以理解为目标零件达到合格要求的最低轮廓精度,预设阈值可以根据需要进行设定,例如,0.8,这里不作具体限定。例如,经过前期大量的测试试验发现,当两个视图的外轮廓的轮廓相似度大于80%以上时,零件识别准确率在97.5%以上,能够准确地判定出该零件的轮廓与相对应的二维图纸或三维模型的轮廓是否一致,实现待测零件的轮廓识别,从而确定待测零件是否合格。
本公开实施例中,在计算得到待测零件各预设投影方向的实际外轮廓相对于标准外轮廓的轮廓相似度之后,计算机设备可以判断各预设投影方向对应的轮廓相似度是否大于预设阈值,在各预设投影方向对应的轮廓相似度均大于预设阈值时,说明待测零件的各个轮廓面均满足合格件要求的轮廓精度,计算机设备可以确定待测零件为目标零件的合格零件,并生成检测报告。
在一些实施例中,在各预设投影方向对应的轮廓相似度中存在小于或等于预设阈值的轮廓相似度时,说明待测零件中存在不满足合格件要求的轮廓精度的轮廓面,计算机设备可以确定待测零件为目标零件的不合格零件,并生成检测报告。在一些实施例中,还可以发出告警信息,告警信息中可以包括待测零件不合格。
本公开实施例,通过获取待测零件的标识号;获取待测零件在各个预设投影方向上的实际外轮廓,以及标识号对应的目标零件在各个预设投影方向上的标准外轮廓;针对每个预设投影方向,计算预设投影方向的实际外轮廓相对于预设投影方向的标准外轮廓的轮廓相似度;在各预设投影方向对应的轮廓相似度均大于预设阈值时,确定待测零件为目标零件的合格零件,通过比较待测零件在各个预设投影方向上的实际外轮廓相对于零件的标准外轮廓的轮廓相似度,确定待测零件的轮廓是否合格,可以提高零件轮廓检测的准确度,并且可以依据零件标识号对相应零件的轮廓进行自动对比检测,极大提高了零件检测的效率,有利于零件检测的规模化管理和全流程的信息化建设。
图2是本公开实施例提供的一种零件检测方法的流程图,如图2所示,本实施例提供的零件检测方法可以包括如下步骤:
步骤210、获取待测零件的标识号。
本公开实施例中步骤210可以参考上述步骤110的内容,这里不再赘述。
步骤220、获取待测零件在各个预设投影方向上的投影图像。
本公开实施例中,零件的检测线上布置有图像采集装置,图像采集装置可以采集待测零件在各个预设投影方向上的投影图像,计算机设备可以从图像采集装置中获取待测零件在各个预设投影方向上的投影图像。
在一些实施例中,获取待测零件在各个预设投影方向上的投影图像,可以包括步骤2201-2203:
步骤2201、控制待测零件的移动状态。
本公开实施例中,计算机设备可以通过控制移动运输平台的移动来控制待测零件的移动状态。其中,移动运输平台可以理解为通过传送机构运输物体的平台,移动运输平台属于零件检测线的组成部分。
步骤2202、在待测零件处于移动状态时,控制线阵相机获取待测零件在移动方向对应的第一预设投影方向上的投影图像。
在待测零件处于移动状态时,此时如果使用普通的面阵相机采集待测零件在移动方向对应的第一预设投影方向上的投影图像,投影图像在移动方向和非移动方向上均会产生投影畸变,造成投影图像中的轮廓不清晰或投影失真,其中,面阵相机为一次曝光拍摄一个面的相机。基于此,本公开实施例中,在待测零件处于移动状态时,计算机设备可以向检测线上的线阵相机发出控制指令,通过控制线阵相机的触发信号来控制线阵相机获取待测零件在移动方向对应的第一预设投影方向上的投影图像。具体的,零件检测线的特定位置布设有线阵相机,线阵相机指采用线阵图像传感器的相机,对于移动方向对应的每个预设投影方向,线阵相机每次曝光获取一行图像,通过多次曝光获取该预设投影方向上的多行图像,然后将多行图像按照曝光顺序进行拼接,得到该预设投影方向上的投影图像。由此,采用线阵相机扫描拍摄的方式消除了零件在移动方向上的投影畸变,可以提高投影轮廓的准确度。
步骤2203、在待测零件处于静止状态时,控制面阵相机获取待测零件在第二预设投影方向上的投影图像,第二预设投影方向为除第一预设投影方向之外的其它预设投影方向。
本公开实施例中,在待测零件处于静止状态时,此时零件处于平行光照射状态,投影图像的外轮廓不易产生投影畸变,计算机设备可以向检测线上的面阵相机发出控制指令,通过控制面阵相机的触发信号来控制面阵相机获取待测零件在第二预设投影方向上的投影图像。其中,第二预设投影方向为除第一预设投影方向之外的其它预设投影方向。
在一种实施方式中,在获取待测零件的标识号之后,可以将待测零件放置于移动运输平台,计算机设备可以控制移动运输平台的传送机构匀速运转,进而控制待测零件在移动运输平台上从左向右匀速移动,此时计算机设备可以向检测线上的线阵相机发出控制指令,通过控制线阵相机的触发信号来控制线阵相机获取待测零件在移动方向对应的第一预设投影方向上的投影图像,这里的移动方向为从左向右,第一预设投影方向可以包括俯视投影方向、前视投影方向和后视投影方向,在线阵相机拍摄完成之后,计算机设备可以控制移动运输平台的传送机构停止运转,进而控制待测零件处于静止状态,此时计算机设备可以向检测线上的面阵相机发出控制指令,通过控制面阵相机的触发信号来控制面阵相机获取待测零件在第二预设投影方向上的投影图像,第二预设投影方向可以包括左侧投影方向、右侧投影方向和仰视投影方向。
在本公开的一些实施例中,金属零件加工表面的反光会影响投影图像的清晰度,因此,还可以在检测线上的面阵相机和线阵相机中,将光源设置为偏振光源以及在镜头上加装偏振片,以减少金属反光的影响,提高投影图像的清晰度。
在本公开的另一些实施例中,该可以在投影方向采用背光投影的方式进行投影,可以避免零件表面结构纹理对外轮廓提取产生的影响。
步骤230、对投影图像进行轮廓提取,得到待测零件在各预设投影方向上的实际外轮廓。
本公开实施例中,在获取到待测零件在各个预设投影方向上的投影图像之后,计算机设备可以对各投影图像进行轮廓提取,获取各投影图像中的轮廓图像,即可得到待测零件在各预设投影方向上的实际外轮廓。
步骤240、获取标识号对应的目标零件在各预设投影方向上的投影视图。
本公开实施例中,计算机设备中可以存储各个零件的标识号对应的目标零件的二维图纸或三维数模,服务器中也可以存储各个零件的标识号对应的目标零件的二维图纸或三维数模,零件的标识号与目标零件的二维图纸或三维数模一一对应。在获得待测零件的标识号之后,计算机设备可以根据待测零件的标识号,从计算机设备本地或服务器中获取零件的标识号对应的目标零件的二维图纸或三维数模,然后在目标零件的二维图纸中获取目标零件在各预设投影方向上的投影视图,或在各预设投影方向上对目标零件的三维数模进行投影,得到目标零件在各预设投影方向上的投影视图。
步骤250、对投影视图进行轮廓提取,得到目标零件在各预设投影方向上的标准外轮廓。
本公开实施例中,在获得目标零件在各预设投影方向上的投影视图之后,计算机设备可以对各投影视图进行轮廓提取,获取各投影视图中的轮廓图像,得到目标零件在各预设投影方向上的标准外轮廓。
步骤260、针对每个预设投影方向,计算预设投影方向的实际外轮廓相对于预设投影方向的标准外轮廓的轮廓相似度。
步骤270、在各预设投影方向对应的轮廓相似度均大于预设阈值时,确定待测零件为目标零件的合格零件。
本公开实施例中的步骤260-270的内容可以参考上述步骤130-140的内容,这里不再赘述。
由此,可以通过比较待测零件在各个预设投影方向上的实际外轮廓相对于零件的标准外轮廓的轮廓相似度,确定待测零件的轮廓是否合格,可以提高零件轮廓检测的准确度,并且可以依据零件标识号对相应零件的轮廓进行自动对比检测,极大提高了零件检测的效率,有利于零件检测的规模化管理和全流程的信息化建设。
图3是本公开实施例提供的一种零件检测方法的流程图,如图3所示,本实施例提供的零件检测方法可以包括如下步骤:
步骤310、获取待测零件的标识号。
本公开实施例中的步骤310可以参考上述步骤110的内容,这里不再赘述。
步骤320、判断标识号在预设数据库中是否存在,若存在,则执行步骤330-370,若不存在,则执行步骤380。
本公开实施例中,在获取待测零件的标识号之后,计算机设备可以判断该标识号在预设数据库中是否存在,若存在,则执行步骤330-370,若不存在,则执行步骤380。
其中,预设数据库可以理解为用来存储零件标识号以及零件标识号对应的目标零件的二维图纸和/或三维数模的数据库,预设数据库可以设置在计算机设备的本地存储空间,也可以设置在服务器中,这里不作限定。
步骤330、若存在,则获取待测零件在各个预设投影方向上的实际外轮廓,以及标识号对应的目标零件在各个预设投影方向上的标准外轮廓。
步骤340、针对每个预设投影方向,计算预设投影方向的实际外轮廓相对于预设投影方向的标准外轮廓的轮廓相似度。
步骤350、在各预设投影方向对应的轮廓相似度均大于预设阈值时,确定待测零件为目标零件的合格零件。
本公开实施例中的步骤330-350的内容可以参考上述步骤120-140的内容,这里不再赘述。
步骤360、基于标识号与入库位置之间的映射关系,确定标识号对应的目标入库位置。
本公开实施例中,计算机设备中预先存储有各个零件的标识号与入库位置之间的映射关系,入库位置可以理解为零件在智能化立体仓库中的具体存放位置。在确定待测零件为目标零件的合格零件之后,计算机设备可以基于待测零件的标识号与入库位置之间的映射关系,确定待测零件的标识号对应的目标入库位置。
步骤370、将待测零件输送到目标入库位置。
本公开实施例中,在确定待测零件的标识号对应的目标入库位置之后,计算机设备可以控制零件的移动运输平台的传送路线,将待测零件输送到目标入库位置,将合格的待测零件进行入库。
步骤380、若不存在,则发出提示信息,提示信息包括待测零件的标识号错误。
本公开实施例中,若待测零件的标识号在预设数据库中不存在,则计算机设备可以发出提示信息,提示信息中可以包括待测零件的标识号错误,以及时对检测人员进行提示。
由此,只有在待测零件的标识号在预设数据库中存在的情况下才可以通过比较待测零件在各个预设投影方向上的实际外轮廓相对于零件的标准外轮廓的轮廓相似度,确定待测零件的轮廓是否合格,可以进一步提高零件检测的效率。
图4是本公开实施例提供的一种零件检测装置的结构示意图,该装置可以被理解为上述计算机设备或者上述计算机设备中的部分功能模块。如图4所示,该零件检测装置400可以包括:
第一获取模块410,用于获取待测零件的标识号;
第二获取模块420,用于获取待测零件在各个预设投影方向上的实际外轮廓,以及标识号对应的目标零件在各个预设投影方向上的标准外轮廓;
计算模块430,用于针对每个预设投影方向,计算预设投影方向的实际外轮廓相对于预设投影方向的标准外轮廓的轮廓相似度;
第一确定模块440,用于在各预设投影方向对应的轮廓相似度均大于预设阈值时,确定待测零件为目标零件的合格零件。
可选的,上述第一获取模块410,可以包括:
第一获取子模块,用于获取待测零件表面的编号图像,编号图像中包括待测零件的标识号;
识别子模块,用于基于预设的字符识别模型对编号图像进行字符识别,得到待测零件的标识号。
可选的,上述第二获取模块420,可以包括:
第二获取子模块,用于获取待测零件在各个预设投影方向上的投影图像;
第一提取子模块,用于对投影图像进行轮廓提取,得到待测零件在各预设投影方向上的实际外轮廓;
第三获取子模块,用于获取标识号对应的目标零件在各预设投影方向上的投影视图;
第二提取子模块,用于对投影视图进行轮廓提取,得到目标零件在各预设投影方向上的标准外轮廓。
可选的,上述第二获取子模块,可以包括:
监测单元,用于控制待测零件的移动状态;
第一获取单元,用于在待测零件处于移动状态时,控制线阵相机获取待测零件在移动方向对应的第一预设投影方向上的投影图像;
第二获取单元,用于在待测零件处于静止状态时,控制面阵相机获取待测零件在第二预设投影方向上的投影图像,第二预设投影方向为除第一预设投影方向之外的其它预设投影方向。
可选的,上述零件检测装置400,可以包括:
判断模块,用于判断标识号在预设数据库中是否存在;
第三获取模块,用于若存在,则获取待测零件在各个预设投影方向上的实际外轮廓,以及标识号对应的目标零件在各个预设投影方向上的标准外轮廓;
提示模块,用于若不存在,则发出提示信息,提示信息包括标识号错误。
可选的,上述零件检测装置400,可以包括:
告警模块,用于若各预设投影方向对应的轮廓相似度中存在小于或等于预设阈值的轮廓相似度,则发出告警信息,告警信息包括待测零件不合格。
可选的,上述零件检测装置400,可以包括:
第二确定模块,用于基于标识号与入库位置之间的映射关系,确定标识号对应的目标入库位置;
输送模块,用于将待测零件输送到目标入库位置。
本公开实施例提供的零件检测装置可以实现上述任一实施例的方法,其执行方式和有益效果类似,在这里不再赘述。
本公开实施例还提供一种计算机设备,该计算机设备包括处理器和存储器,其中,存储器中存储有计算机程序,当该计算机程序被该处理器执行时可以实现上述任一实施例的方法,其执行方式和有益效果类似,在这里不再赘述。
本公开实施例中的计算机设备可以被理解为任意一种具有处理能力和计算能力的设备,该设备可以包括但不限于诸如智能手机、笔记本电脑、个人数字助理(PDA)、平板电脑(PAD)等的移动终端,以及诸如数字TV、台式计算机、服务器等的固定电子设备。
图5是本公开实施例提供的一种计算机设备的结构示意图,如图5所示,计算机设备500可以包括处理器510和存储器520,其中,存储器520中存储有计算机程序521,当该计算机程序521被该处理器510执行时可以实现上述任一实施例提供的方法,其执行方式和有益效果类似,在这里不再赘述。
当然,为了简化,图5中仅示出了该计算机设备500中与本发明有关的组件中的一些,省略了诸如总线、输入/输出接口、输入装置和输出装置等的组件。除此之外,根据具体应用情况,计算机设备500还可以包括任何其他适当的组件。
本公开实施例提供了一种计算机可读存储介质,该存储介质中存储有计算机程序,当该计算机程序被处理器执行时,可以实现上述任一实施例的方法,其执行方式和有益效果类似,在这里不再赘述。
上述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
上述计算机程序可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算机设备上部分在远程计算机设备上执行、或者完全在远程计算机设备或服务器上执行。
本公开实施例还提供了一种零件检测***,该***包括计算机设备、移动运输平台、线阵相机成像***、面阵相机成像***、电气控制***和上位机软件***组成,可以通过比较待测零件在各个预设投影方向上的实际外轮廓相对于零件的标准外轮廓的轮廓相似度,确定待测零件的轮廓是否合格,可以提高零件轮廓检测的准确度,并且可以对零件轮廓进行自动检测,极大提高了零件检测的效率,有利于零件检测的规模化管理和全流程的信息化建设。
其中,线阵相机成像***、面阵相机成像***、移动运输平台和计算机设备在同一个局域网内;移动运输平台可以由一组丝杠导轨结合伺服电机和移动滑台组成,主要实现零件运输和配合线阵相机扫描拍摄的功能;线阵相机成像***可以由一台4K高清线阵相机、同轴线性光源和移动平台背景板组成,主要实现零件俯视投影图像的采集;面阵相机成像***可以由一台普通的彩色面阵相机、一组大面积矩形背光源组成,相机位于移动平台的右侧垂直面,光源位于移动平台的左侧垂直面,主要实现零件侧视投影图像的采集;电气控制***主要由供电电路和控制电路组成,控制电路的核心是运动控制卡,用于对移动运输平台进行控制,同时为相机提供拍摄触发信号和光源控制信号;上位机软件以C#为主要的编程语言,以OpenCV图像处理库提供的算法为基础,结合零件图像的特点,开发出了一整套图像处理和轮廓匹配的程序,并且与运动控制卡的控制程序集成在一起,形成了完整的机器视觉软件***。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外,虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
以上所述仅是本公开的具体实施方式,使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下,在其它实施例中实现。因此,本公开将不会被限制于本文所述的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种零件检测方法,其特征在于,包括:
获取待测零件的标识号;
获取所述待测零件在各个预设投影方向上的实际外轮廓,以及所述标识号对应的目标零件在各个所述预设投影方向上的标准外轮廓;
针对每个所述预设投影方向,计算所述预设投影方向的所述实际外轮廓相对于所述预设投影方向的所述标准外轮廓的轮廓相似度;
在各所述预设投影方向对应的所述轮廓相似度均大于预设阈值时,确定所述待测零件为所述目标零件的合格零件。
2.根据权利要求1所述的方法,其特征在于,所述获取待测零件的标识号,包括:
获取所述待测零件表面的编号图像,所述编号图像中包括所述待测零件的标识号;
基于预设的字符识别模型对所述编号图像进行字符识别,得到所述待测零件的标识号。
3.根据权利要求1所述的方法,其特征在于,所述获取所述待测零件在各个预设投影方向上的实际外轮廓,以及所述标识号对应的目标零件在各个所述预设投影方向上的标准外轮廓,包括:
获取所述待测零件在各个预设投影方向上的投影图像;
对所述投影图像进行轮廓提取,得到所述待测零件在各所述预设投影方向上的实际外轮廓;
获取所述标识号对应的目标零件在各所述预设投影方向上的投影视图;
对所述投影视图进行轮廓提取,得到所述目标零件在各所述预设投影方向上的标准外轮廓。
4.根据权利要求3所述的方法,其特征在于,所述获取所述待测零件在各个预设投影方向上的投影图像,包括:
控制所述待测零件的移动状态;
在所述待测零件处于移动状态时,控制线阵相机获取所述待测零件在移动方向对应的第一预设投影方向上的投影图像;
在所述待测零件处于静止状态时,控制面阵相机获取所述待测零件在第二预设投影方向上的投影图像,所述第二预设投影方向为除所述第一预设投影方向之外的其它预设投影方向。
5.根据权利要求1所述的方法,其特征在于,所述获取所述待测零件在各个预设投影方向上的实际外轮廓之前,所述方法还包括:
判断所述标识号在预设数据库中是否存在;
若存在,则获取所述待测零件在各个预设投影方向上的实际外轮廓,以及所述标识号对应的目标零件在各个所述预设投影方向上的标准外轮廓;
若不存在,则发出提示信息,所述提示信息包括所述标识号错误。
6.根据权利要求1所述的方法,其特征在于,所述针对每个所述预设投影方向,计算所述预设投影方向的所述实际外轮廓相对于所述预设投影方向的所述标准外轮廓的轮廓相似度之后,所述方法还包括:
若各所述预设投影方向对应的所述轮廓相似度中存在小于或等于预设阈值的轮廓相似度,则发出告警信息,所述告警信息包括所述待测零件不合格。
7.根据权利要求1所述的方法,其特征在于,所述确定所述待测零件为所述目标零件的合格零件之后,所述方法还包括:
基于所述标识号与入库位置之间的映射关系,确定所述标识号对应的目标入库位置;
将所述待测零件输送到所述目标入库位置。
8.一种零件检测装置,其特征在于,包括:
第一获取模块,用于获取待测零件的标识号;
第二获取模块,用于获取所述待测零件在各个预设投影方向上的实际外轮廓,以及所述标识号对应的目标零件在各个所述预设投影方向上的标准外轮廓;
计算模块,用于针对每个所述预设投影方向,计算所述预设投影方向的所述实际外轮廓相对于所述预设投影方向的所述标准外轮廓的轮廓相似度;
第一确定模块,用于在各所述预设投影方向对应的所述轮廓相似度均大于预设阈值时,确定所述待测零件为所述目标零件的合格零件。
9.一种计算机设备,其特征在于,包括:
存储器和处理器,其中,所述存储器中存储有计算机程序,当所述计算机程序被所述处理器执行时,实现如权利要求1-7中任一项所述的零件检测方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质中存储有计算机程序,当所述计算机程序被处理器执行时,实现如权利要求1-7中任一项所述的零件检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310320587.3A CN116071365A (zh) | 2023-03-29 | 2023-03-29 | 零件检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310320587.3A CN116071365A (zh) | 2023-03-29 | 2023-03-29 | 零件检测方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116071365A true CN116071365A (zh) | 2023-05-05 |
Family
ID=86173468
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310320587.3A Pending CN116071365A (zh) | 2023-03-29 | 2023-03-29 | 零件检测方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116071365A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117455221A (zh) * | 2023-12-25 | 2024-01-26 | 青岛可颂食品有限公司 | 一种适用于烘焙奶油的加工流程管理*** |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108267104A (zh) * | 2018-01-22 | 2018-07-10 | 浙江大学 | 一种基于双目视觉的轴类零件半径尺寸测量方法 |
CN108537887A (zh) * | 2018-04-18 | 2018-09-14 | 北京航空航天大学 | 基于3d打印的草图与模型库三维视图匹配方法 |
CN108764938A (zh) * | 2018-05-07 | 2018-11-06 | 上海博泰悦臻电子设备制造有限公司 | 一种汽车维修零件非正品识别方法及*** |
CN111156923A (zh) * | 2019-12-30 | 2020-05-15 | 上海森松制药设备工程有限公司 | 工件检测方法、装置、计算机设备以及存储介质 |
CN112560613A (zh) * | 2020-12-02 | 2021-03-26 | 北京理工大学 | 零件识别方法、装置和计算机设备 |
CN114549513A (zh) * | 2022-03-02 | 2022-05-27 | 季华实验室 | 零件识别方法、装置、质检方法、电子设备及存储介质 |
-
2023
- 2023-03-29 CN CN202310320587.3A patent/CN116071365A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108267104A (zh) * | 2018-01-22 | 2018-07-10 | 浙江大学 | 一种基于双目视觉的轴类零件半径尺寸测量方法 |
CN108537887A (zh) * | 2018-04-18 | 2018-09-14 | 北京航空航天大学 | 基于3d打印的草图与模型库三维视图匹配方法 |
CN108764938A (zh) * | 2018-05-07 | 2018-11-06 | 上海博泰悦臻电子设备制造有限公司 | 一种汽车维修零件非正品识别方法及*** |
CN111156923A (zh) * | 2019-12-30 | 2020-05-15 | 上海森松制药设备工程有限公司 | 工件检测方法、装置、计算机设备以及存储介质 |
CN112560613A (zh) * | 2020-12-02 | 2021-03-26 | 北京理工大学 | 零件识别方法、装置和计算机设备 |
CN114549513A (zh) * | 2022-03-02 | 2022-05-27 | 季华实验室 | 零件识别方法、装置、质检方法、电子设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
林强强,等: "面向机器人抓取的零散工件识别与测量方法", 西安工程大学学报, no. 02, pages 80 - 85 * |
顾桂鹏,等: "基于机器视觉的零件产品检测***设计", 工业控制计算机, no. 01, pages 24 - 25 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117455221A (zh) * | 2023-12-25 | 2024-01-26 | 青岛可颂食品有限公司 | 一种适用于烘焙奶油的加工流程管理*** |
CN117455221B (zh) * | 2023-12-25 | 2024-03-26 | 青岛可颂食品有限公司 | 一种适用于烘焙奶油的加工流程管理*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12020415B2 (en) | Method for monitoring manufacture of assembly units | |
CN111507976B (zh) | 基于多角度成像的缺陷检测方法及*** | |
CN111310826B (zh) | 样本集的标注异常检测方法、装置及电子设备 | |
CN110415214A (zh) | 摄像头模组的外观检测方法、装置、电子设备及存储介质 | |
CN108993929A (zh) | 一种双机联动工业机器视觉自动检测*** | |
CN113822882A (zh) | 基于深度学习的电路板表面缺陷检测方法与检测装置 | |
CN116071365A (zh) | 零件检测方法、装置、设备及存储介质 | |
Liu et al. | Printed circuit board defect detection based on MobileNet-Yolo-Fast | |
Chao-Ching et al. | Machine vision and deep learning based rubber gasket defect detection | |
Deng et al. | Vison-based 3D shape measurement system for transparent microdefect characterization | |
CN111160450A (zh) | 一种基于神经网络的果蔬称重方法及储存介质、装置 | |
CN117670820B (zh) | 一种塑料薄膜生产缺陷检测方法及*** | |
CN117761060A (zh) | 一种视觉检测***及其检测方法 | |
CN112927190A (zh) | 基于深度学习的Type-C多工位多缺陷统一测量*** | |
CN115272340B (zh) | 工业产品缺陷检测方法和装置 | |
CN116681677A (zh) | 一种锂电池缺陷检测方法、装置及*** | |
Nguyen et al. | Detection of weak micro-scratches on aspherical lenses using a Gabor neural network and transfer learning | |
CN110658215A (zh) | 一种基于机器视觉的pcb板自动拼接检测方法与装置 | |
US11978197B2 (en) | Inspection method for inspecting an object and machine vision system | |
CN112798608A (zh) | 手机摄像头支架内腔侧壁的光学检测装置及光学检测方法 | |
CN113267506A (zh) | 木板ai视觉缺陷检测装置、方法、设备及介质 | |
CN111464743A (zh) | 一种摄影构图匹配方法及*** | |
CN115908952B (zh) | 一种基于改进YOLOv5算法的高铁隧道卡具检测方法 | |
CN117571721B (zh) | 一种电路板焊盘表面缺陷检测方法、装置及存储介质 | |
CN116358834A (zh) | 一种接口组件检测设备及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230505 |
|
RJ01 | Rejection of invention patent application after publication |