CN108109137A - 车辆部件的机器视觉检测***及方法 - Google Patents

车辆部件的机器视觉检测***及方法 Download PDF

Info

Publication number
CN108109137A
CN108109137A CN201711329856.3A CN201711329856A CN108109137A CN 108109137 A CN108109137 A CN 108109137A CN 201711329856 A CN201711329856 A CN 201711329856A CN 108109137 A CN108109137 A CN 108109137A
Authority
CN
China
Prior art keywords
image
vehicle
measured
component
vehicle part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711329856.3A
Other languages
English (en)
Inventor
刘爱香
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Yuechang Automobile Technology Co Ltd
Original Assignee
Chongqing Yuechang Automobile Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Yuechang Automobile Technology Co Ltd filed Critical Chongqing Yuechang Automobile Technology Co Ltd
Priority to CN201711329856.3A priority Critical patent/CN108109137A/zh
Publication of CN108109137A publication Critical patent/CN108109137A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/48Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752Contour matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种车辆部件的机器视觉检测***及方法,该***包括:传送机构,其包括承载台,用于承载待测的车辆,使承载台沿传输机构上的生产线匀速前进,且每个承载台上设唯一标识符;图像获取模块,安装于传送机构两侧的检测工位,用于感应到待测到车辆到达时,利用多个CCD摄像机从多个角度分别获取待测车辆各个部件的表面外观的图像;预处理模块,用于预处理图像按照车辆不同部位生成符合预设规格的图像;定位模块,用于利用轮廓匹配或模板匹配定位图像中待测车辆部件生成部件图像;视觉检测模块,用于将部件图像与其预设图像进行比对并计算两者之间的相似度,根据相似度检测车辆部件是否存在外观缺陷。本发明提高了检测效率和检测精度。

Description

车辆部件的机器视觉检测***及方法
技术领域
本发明涉及机器视觉技术领域,特别是涉及一种车辆部件的机器视觉检测***及方法。
背景技术
机器视觉是人工智能的一个分支。通俗来讲,就是用机器代替人眼来做测量和判断。机器视觉***是通过机器视觉产品(即,图像摄取装置,分CMOS和CCD两种)将被摄取目标转换成图像信号,传送给专用的图像处理***,得到被摄目标的形态信息,根据像素分布和亮度、颜色等信息,转变成数字化信号;图像***对这些信号进行各种运算来抽取目标的特征,进而根据判别的结果来控制现场的设备动作。
现有机器视觉技术被用于产品的质量检测,特别是用于汽车、摩托车的车辆部件或整车的检测。然而,在做整车外观检测时,往往采用静态方式获取整车图像,一辆整车外观检测下来不仅时间花费较长,同时,影响到了后续生产线的检测效率,如果要保持检测效率,又会影响到检测精度,因此,如何确保一种检测效率高且又不降低原有检测精度的车辆部件的机器视觉检测***是刻不容缓的问题。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种车辆部件的机器视觉检测***及方法,用于解决现有技术中机器视觉检测车辆部件质量时,如何在不影响检测精度的同时又提高检测效率的问题。
为实现上述目的及其他相关目的,本申请的第一方面,本发明提供一种车辆部件的机器视觉检测***,用于检测所述车辆部件是否合格,所述***包括:
传送机构,包括承载台,用于承载待测的车辆,使所述承载台沿传输机构上的生产线匀速前进,且每个所述承载台上设置唯一标识符;
图像获取模块,安装于所述传送机构两侧或/和上方的检测工位,用于感应到待测到车辆到达时,利用多个CCD摄像机从多个角度分别获取待测车辆各个部件的表面外观的图像;
预处理模块,用于预处理所述图像按照车辆不同部位生成符合预设规格的图像;
定位模块,用于利用轮廓匹配或模板匹配定位所述图像中待测车辆部件生成部件图像;
视觉检测模块,用于将所述部件图像与其预设图像进行比对并计算两者之间的相似度,根据所述相似度检测所述车辆部件是否存在外观缺陷。
在第一方面的某些实施方式中,所述图像获取模块中每个CCD摄像机均对应设置有触发CDD摄像机拍照的传感器以及识别所述承载台标识符的读取器和天线。
在第一方面的某些实施方式中,所述图像获取模块中每个CCD摄像机设置有用于补偿拍照光线亮度的照明装置。
在第一方面的某些实施方式中,处理识别模块,用于当检测到所述车辆的某部件外观存在缺陷时,按照所述图像阈值进行分割处理,以获取不同阈值所对应区域的缺陷特征,采用神经网络算法识别所述部件的缺陷特征是处于蹦损、错位、端面伤、裂纹、少齿、气孔或沙眼中一种或几种。
在第一方面的某些实施方式中,管理模块,用于根据所述承载台对应的标识符与待测车辆的各个部件检测结果进行关联绑定,且按所述检测结果进行分类,将不合格的部件根据其缺陷类型分别统计予以报告。
在第一方面的某些实施方式中,分拣子***:用于采用射频技术识别每个承载台上待测的车辆,根据所述车辆的检测结果不同将不合格的待测车辆传输到再加工区域。
本申请的第二方面,本发明提供一种车辆部件的机器视觉检测方法,用于检测所述车辆部件是否合格,包括:
感应待测车辆到达时,利用多个CCD摄像机从多个角度分别获取待测车辆各个部件的表面外观的图像;
当感应待测车辆到达时,识别所述待测车辆的标识符,将所述部件对应的图像与车辆的标识符一一关联;
预处理所述图像按照车辆不同部位生成符合预设规格的图像;
利用轮廓匹配或模板匹配定位所述图像中待测车辆部件生成部件图像;
将所述部件图像与其预设图像进行比对并计算两者之间的相似度,根据所述相似度检测所述车辆部件是否存在外观缺陷。
在第二方面的某些实施方式中,所述按将所述部件图像与其预设图像进行比对并计算两者之间的相似度的步骤,包括:
检测所述部件图像是否为图案单一的部件;
当所述待测车辆部件为图案单一的部件时,采用模板匹配、轮廓匹配或颜色RGB值计算所述部件图像与其预设图像之间的相似度;
当所述待测车辆部件不为图案单一的部件时,采用卷积神经网络方式计算所述部件图像与其预设图像之间的相似度。
在第二方面的某些实施方式中,包括:当检测到所述车辆的某部件外观存在缺陷时,按照所述图像阈值进行分割处理,以获取不同阈值所对应区域的缺陷特征,采用神经网络算法识别所述部件的缺陷特征是处于蹦损、错位、端面伤、裂纹、少齿、气孔或沙眼中一种或几种。
在第二方面的某些实施方式中,采用射频技术识别每个承载台上待测的车辆,根据所述车辆的检测结果不同将不合格的待测车辆传输到再加工区域。
如上所述,本发明的车辆部件的机器视觉检测***及方法,具有以下有益效果:
本发明对生产线上待测车辆部件依次进行检测,采用分级检测方式,首先,确定待测车辆部件的外观是否有缺陷;其次,如果无缺陷,则不再检测;相反,如果有缺陷,再进一步检测确定所述缺陷的类型。从本质上减少了检测的工作量,提高了检测效率,同时,细分检测提高了检测精度。
附图说明
图1显示为本发明提供的一种车辆部件的机器视觉检测***结构框图;
图2显示为本发明提供的一种车辆部件的机器视觉检测***完整结构框图;
图3显示为本发明提供的一种车辆部件的机器视觉检测方法流程图;
图4显示为本发明提供一种车辆部件的机器视觉检测方法步骤S5流程图;
图5显示为本发明提供的一种车辆部件的机器视觉检测方法完整流程图。
具体实施方式
以下由特定的具体实施例说明本申请的实施方式,熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本申请的其他优点及功效。
在下述描述中,参考附图,附图描述了本申请的若干实施例。应当理解,还可使用其他实施例,并且可以在不背离本公开的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变.下面的详细描述不应该被认为是限制性的,并且本申请的实施例的范围仅由公布的专利的权利要求书所限定.这里使用的术语仅是为了描述特定实施例,而并非旨在限制本申请。空间相关的术语,例如“上”、“下”、“左”、“右”、“下面”、“下方”、“下部”、“上方”、“上部”等,可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
虽然在一些实例中术语第一、第二等在本文中用来描述各种元件,但是这些元件不应当被这些术语限制。这些术语仅用来将一个元件与另一个元件进行区分。例如,第一预设阈值可以被称作第二预设阈值,并且类似地,第二预设阈值可以被称作第一预设阈值,而不脱离各种所描述的实施例的范围。第一预设阈值和预设阈值均是在描述一个阈值,但是除非上下文以其他方式明确指出,否则它们不是同一个预设阈值。相似的情况还包括第一音量与第二音量。
再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示.应当进一步理解,术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加.此处使用的术语“或”和“和/或”被解释为包括性的,或意味着任一个或任何组合.因此,“A、B或C”或者“A、B和/或C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A、B和C”仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。
请参阅图1,本发明提供一种车辆部件的机器视觉检测***结构框图;用于检测所述车辆部件是否合格,所述***包括:
传送机构1,包括承载台,用于承载待测的车辆,使所述承载台沿传输机构上的生产线匀速前进,且每个所述承载台上设置唯一标识符;
其中,每个待测的车辆部件由于放置在不同的承载台上,因此,相当于每个车载台的车辆部件具有唯一标识符,如:电子标签,或则,序列号等,如果选择序列号,后续对应采用扫码器之类。
图像获取模块2,安装于所述传送机构两侧或/和上方的检测工位,用于感应到待测到车辆到达时,利用多个CCD摄像机从多个角度分别获取待测车辆各个部件的表面外观的图像;
具体地,所述图像获取模块中每个CCD摄像机均对应设置有触发CDD摄像机拍照的传感器以及识别所述承载台标识符的读取器和天线;所述图像获取模块中每个CCD摄像机设置有用于补偿拍照光线亮度的照明装置。
其中,传感器可为光电传感器或位置传感器等,当其触发时,则代表承载台上的车辆部件已经进入到可拍照区域,可以根据现场的具体环境调节所述传感器安装位置,使得刚感应时能够获取待测车辆部件的图像。
CCD摄像机为工业相机,所述读取器用于读取标签信息的设备,可设计为手持式或固定式;所述天线在标签和读取器间传递射频信号,所述照明装置为补光设备,用于CCD摄像机拍照时进行补光。
预处理模块3,用于预处理所述图像按照车辆不同部位生成符合预设规格的图像;
具体地,所述预处理包括滤波去噪、对比度增加处理和边缘化处理,以提高图像的清晰度。
定位模块4,用于利用轮廓匹配或模板匹配定位所述图像中待测车辆部件生成部件图像;
具体地,采用轮廓匹配或模板匹配,对待测的车辆部件图像中待测部件进行定位,以获取局部图样的关键部件的特征,通过初步定位获取到待测部件的图像,从而减少后期计算量,保证部件图像位置的准确性,便于后续图像进行检测或分析,以提高检测效率。
视觉检测模块5,用于将所述部件图像与其预设图像进行比对并计算两者之间的相似度,根据所述相似度检测所述车辆部件是否存在外观缺陷。
相似度的计算方式包括两种:
当对于待测车辆部件的结构单一,即,其对应的图像为简单的部件,采用模板匹配、轮廓匹配、颜色RGB值计算等方式,计算与标准预设值之间的相似度。
例如,汽车中网等部件即为结构单一的简单部件,如果需要检测汽车中网的质量,提取模块,用于提取图像中汽车中网的外轮廓、网格、LOGO图像特征;其具体包括:
定位单元,用于按照标准模板图像搜寻定位图像中汽车中网的位置区域,得到中网图像;其中,采用模板匹配技术搜寻定位图像中的汽车中网,即对比图像的相似度可确定出汽车中网的位置,从而达到定位的目的,提高了得到中网图像的精确度与鲁棒性;如:opencv的模版匹配算法、快速圆匹配、halcon软件的模板匹配。
预处理单元,用于对所述中网图像进行预处理,得到已去噪的中网图像;其中,预处理单元进行去噪,可选择均值滤波、中值滤波、维纳滤波等方式中任意一种进行滤波,去除图像中的高斯噪声,得到已去噪的中网图像。
边缘检测单元,用于采用边缘检测算法对所述已去噪的中网图像进行处理,得到边缘二值图像;其中,边缘检测是利用物体与背景在某种图像特征上的差异来实现检测,差异包括灰度、颜色或纹理特征;目的是在保留原有图像属性的情况下,显著减少图像的数据规模,由于需要考虑检测效果(精度高),在此优选基于Canny边缘检测算法。
提取单元,用于基于hough变换的直线检测算法以及几何形状检测算法处理所述边缘二值图像,得到图像中汽车中网的外轮廓、网格、LOGO图像特征;其中,对边缘检测算法得到的二值图像直接采取hough变换,在具体过程中,需要将变换结果存入hough变换累加值,根据设定阈值大小,将hough变换累加值小于阈值清零(即认为不对应图像域中的一条直线);查找hough变换累加值最大的点,将该点其它的领域清零,继续查找并记录下一个累加值最大的点,直到累加器中所有的累计值都为零,记录这些点即得到图像中的直线。可根据汽车中网的统计特性来调整清零阈值与清零领域值的大小,或利用汽车中网的边缘像素点的位置信息,将共线的边缘点检测出来,然后,去除噪声点和连接由于边缘检测而产生的不连续像素,从而确定汽车中网的线段与形状信息,即,分别提取到图像的外轮廓特征、网格特征、LOGO图像特征。
在本实施例中,通过上述单元依次对采集的包含汽车中网的图像进行处理,提取到外轮廓特征、网格特征、LOGO图像特征,一方面可迅速定位各个特征的位置,另一方面,在提取定位过程中也保证了鲁棒性,确保了检测的外轮廓特征、网格特征、LOGO图像特征的精准度
检测模块,用于检测其外轮廓、网格、LOGO图像的几何形状是否在预设的外轮廓几何形状、网格几何形状、LOGO图像的几何形状范围内,根据检测结果判断汽车中网的质量是否合格。
其中,所述外轮廓几何形状包括外轮廓的上、下边缘、侧边缘各自的长度和角度;所述网格几何形状包括网格的个数、行数与边形网格的大小;所述LOGO图像的几何形状包括LOGO图像的位置、大小、颜色与图案。
在本实施例中,通过直接检测汽车中网的外轮廓、网格、LOGO图像的几何形状是否在预设的外轮廓几何形状、网格几何形状、LOGO图像的几何形状范围内;当所有外轮廓、网格、LOGO图像的几何形状均在对应预设的外轮廓几何形状、网格几何形状、LOGO图像的几何形状范围内,则判断汽车中网的质量合格;当外轮廓、网格、LOGO图像的几何形状其中任意一个或几个在对应预设的外轮廓几何形状、网格几何形状、LOGO图像的几何形状范围内,则判断汽车中网的质量不合格。通过上述图像采集、图像处理、图像识别与检测的方式,相对于现有人工或其它的检测方式,可根据产品需要开发不同的功能,只需对应调整提取的参数与预设的特征参数即可,确保了汽车中网质量检测的通用性,同时,也提高了检测的智能化程度与检测效率。
该检测模块具体包括:
第一检测单元,用于检测所述图像内汽车中网的外轮廓的上、下边缘、侧边缘各自的长度和角度是否在预设的外轮廓的上、下边缘、侧边缘各自的长度和角度的范围内,根据检测结果判断汽车中网的外轮廓几何形状是否合格;
第二检测单元,用于检测所述图像内汽车中网的网格的个数、行数与边形网格的大小是否在预设的网格的个数、行数与边形网格的大小的范围内,根据检测结果判断汽车中网的网格几何形状是否合格;
第三检测单元,用于检测所述图像内汽车中网的LOGO图像的位置、大小、颜色与图案是否在预设的LOGO图像的位置、大小、颜色与图案的范围内,根据检测结果判断汽车中网的LOGO图像的几何形状是否合格;
判断单元,用于根据外轮廓几何形状、网格几何形状、LOGO图像的几何形状是否合格,判断所述汽车中网的质量是否合格。
在本实施例中,第一检测单元、第二检测单元、第三检测单元都对应有各自的检测结果;其分别对应外轮廓几何形状、网格几何形状、LOGO图像的几何形状,其中,每个检测单元都按照其具体包含的特征参数进行检测,在汽车中网的检测过程中,会根据第一检测单元、第二检测单元、第三检测单元的实际检测结果,判断单元只有当各个检测单位中各个特征参数均检测合格后,汽车中网的质量检测结果才为合格。采用上述单元对汽车中网的各个特征进行分别检测,不仅提高了检测的精度性,同时,采用机械智能的检测方式,可大幅度提高检测效率。
当对于待测车辆部件结构复杂,即,该部件包含较多细节,其对应的图像为复杂部件,采用深度学习的方式进行识别和相似度计算,如采用卷积神经网络CNN来实现。方法是:A建立CNN模型,B线下深度学习。
样本准备过程:人工采集部件图样,并做规范性处理,使得图像大小规格一致;人工标记分类图样,通过人工对采集的图样进行合格与不合格的划分,并标记;图像预处理,去噪处理;将标记的图样作为训练样本,对CNN模型进行训练。
具体的,获取车辆待检测的各类部件的图片,对训练是需要使用车辆部件图片按其种类、型号进行标注;构建神经网络模型:多个子网络,用于对车辆的不同特征进行提取,得到初步分类结果,在对子网络分层的初步分类结果进行评分,得到分类结果;训练卷积神经网络模型,获得网络参数:车辆部件输入卷积神经网络模型进行训练,训练过程采用梯度下降方法学习网络参数;
上线检测过程:实时采集图样;预处理;输入CNN模型;使用卷积神经网络进行车型精细分类,将车辆图片输入到已训练的卷积神经网络模型,从而得到车辆部件的检测状况。CNN模型输出合格或不合格的结果判定。根据检测结果确定车辆部件是否存在缺陷,从而体现出了检测快捷性与准确性。
在本实施例中,通过将两者之间的图像相似度与该部件设定的预设值进行比较,准确的判断待测车辆部件是否合格,极大的缩短了某个车辆部件一一检测繁琐流程,提高了检测效率。
请参阅图2,为本发明提供的一种车辆部件的机器视觉检测***完整结构框图,在上述实施例基础上,还包括:
处理识别模块6,用于当检测到所述车辆的某部件外观存在缺陷时,按照所述图像阈值进行分割处理,以获取不同阈值所对应区域的缺陷特征,采用卷积神经网络算法识别所述部件的缺陷特征是处于蹦损、错位、端面伤、裂纹、少齿、气孔或沙眼中一种或几种。
具体地,蹦损、错位、端面伤、裂纹、少齿、气孔或沙眼的检测利用神经网络直接分类,根据训练样本分成七大类,进行二次神经网络的训练和检测,通过这种方式,减小网络的大小,节约训练的时间,增强判别的准确度,训练方法参见上述CNN的训练流程,在此不一一赘述。
通过上述检测可进一步检测到缺陷特征的类型,便于后续安排专业的工作人员进行维护处理,同时,在不降低检测效率的同时,也提高了检测精度。
管理模块7,用于根据所述承载台对应的标识符与待测车辆的各个部件检测结果进行关联绑定,且按所述检测结果进行分类,将不合格的部件根据其缺陷类型分别统计予以报告。
具体地,将采集的承载台标签与拍摄的该车辆部件的图像进行关联绑定,如果检测到某个部件合格或不合格时,调整对应标签所对应的图像,以及某个电子标签的图像所导致的缺陷有哪些,便于后期管理分类,统计成品率、次品率等数据,有利于后续反馈控制调节设备的参数调整以控制车辆部件的加工质量,方便后期分拣子***分别处理。
分拣子***8:用于采用射频技术识别每个承载台上待测的车辆,根据所述车辆的检测结果将不合格的待测车辆分传到再加工区域。
具体地,在本实施例中,每个分拣子***根据标签不同识别不同的待测的车辆,从而区分该车辆部件是否合格,如果合格,则沿着传输机构上生产线继续后续加工;如果不合格,则根据检测的不合格类型将其分传到不同的再加工区域进行反工,直到其检测合格为止。
在生产线上,设置不同安装位置的图像获取模块可以获取待测车辆部件的不同图像,即,检测到不同的车辆部件,同时,依靠分拣子***对不合格的车辆部件分别进行传输,进行单独处理,防止在不合格部件上反复加工,造成资源浪费、费时费力的现象,精确传导便于工作人员分辨处理,减少了人工后续工作的工作量。
请参阅图3,为本发明提供一种车辆部件的机器视觉检测方法流程图,用于检测所述车辆部件是否合格,包括:
步骤S1,感应待测车辆到达时,利用多个CCD摄像机从多个角度分别获取待测车辆各个部件的表面外观的图像;
步骤S2,当感应待测车辆到达时,识别所述待测车辆的标识符,将所述部件对应的图像与车辆的标识符一一关联;
步骤S3,预处理所述图像按照车辆不同部位生成符合预设规格的图像;
步骤S4,利用轮廓匹配或模板匹配定位所述图像中待测车辆部件生成部件图像;
步骤S5,将所述部件图像与其预设图像进行比对并计算两者之间的相似度,根据所述相似度检测所述车辆部件是否存在外观缺陷。
本实施例中,将每个待测部件图像的检测结果均与电子标识符关联,便于实时获悉各个部件在生产线上的状态,有利于后续分工处理。
请参阅图4,为本发明提供一种车辆部件的机器视觉检测方法步骤S5流程图,详述如下:
其中,步骤S5中所述按将所述部件图像与其预设图像进行比对并计算两者之间的相似度的步骤,包括:
步骤S501,检测所述部件图像是否为图案单一的部件;
步骤S502,当所述待测车辆部件为图案单一的部件时,采用模板匹配、轮廓匹配或颜色RGB值计算所述部件图像与其预设图像之间的相似度;
步骤S503,当所述待测车辆部件不为图案单一的部件时,采用卷积神经网络方式计算所述部件图像与其预设图像之间的相似度。
在本实施例中,通过上述方式可精确判断出待测车辆部件是否存在缺陷,还根据待检测的部件的形状结构所表现采用不同计算方式计算相似度,采用分检测对象使用不同算法计算相似度。采用步骤S502时,针对检测结构复杂(图案复杂的图像)的车辆部件,避免了检测精度不高的问题;同时,采用步骤S503时,针对检测结构简单(图案单一的图像)的车辆部件,避免了检测效率不高的问题,因此,本实施例提高了检测效率同时又提高了检测精度。
请参阅图5,为本发明提供一种车辆部件的机器视觉检测方法完整流程图,在上述实施例的基础上,包括:
步骤S6,当检测到所述车辆的某部件外观存在缺陷时,按照所述图像阈值进行分割处理,以获取不同阈值所对应区域的缺陷特征,采用神经网络算法识别所述部件的缺陷特征是处于蹦损、错位、端面伤、裂纹、少齿、气孔或沙眼中一种或几种。
具体地,按照卷积神经网络分别对上述缺陷特征模型进行训练,从而将车辆部件输入到该模型即可判断是否存在相应缺陷,由于检测时图像往往需要经过依次通过多种模型,才能逐一判断该车辆部件到底是存在一种缺陷还是几种缺陷共存,因此,相当于一般流程检测本实施例的检测精度极高。
步骤S7,采用射频技术识别每个承载台上待测的车辆,根据所述车辆的检测结果不同将不合格的待测车辆传输到再加工区域。
具体地,生产线设置多个返工(即再加工)流水线,通过切换生产线上分拣子***的路径,使不合格的车辆部件进入到指定的再加工区域,方便后续生产,从而无需人工检测和参与,提高了流水现的智能检测程度。
综上所述,本发明对生产线上待测车辆部件依次进行检测,采用分级检测方式,首先,确定待测车辆部件的外观是否有缺陷;其次,如果无缺陷,则不再检测;相反,如果有缺陷,再进一步检测确定所述缺陷的类型。从本质上减少了检测工作量,提高了检测效率,同时,细分检测提高了检测精度。所以,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种车辆部件的机器视觉检测***,用于检测所述车辆部件是否合格,其特征在于,所述***包括:
传送机构,包括承载台,用于承载待测的车辆,使所述承载台沿传输机构上的生产线匀速前进,且每个所述承载台上设置唯一标识符;
图像获取模块,安装于所述传送机构两侧或/和上方的检测工位,用于感应到待测到车辆到达时,利用多个CCD摄像机从多个角度分别获取待测车辆各个部件的表面外观的图像;
预处理模块,用于预处理所述图像按照车辆不同部位生成符合预设规格的图像;
定位模块,用于利用轮廓匹配或模板匹配定位所述图像中待测车辆部件生成部件图像;
视觉检测模块,用于将所述部件图像与其预设图像进行比对并计算两者之间的相似度,根据所述相似度检测所述车辆部件是否存在外观缺陷。
2.根据权利要求1所述的***,其特征在于,所述图像获取模块中每个CCD摄像机均对应设置有触发CDD摄像机拍照的传感器,且所述传输机构两侧设置有识别所述承载台标识符的读取器和天线;以及补偿拍照光线亮度的照明装置。
3.根据权利要求1所述的***,其特征在于,所述部件图像与预设图像之间的相似度包括:
检测所述部件的图像是否为图案单一的部件;
当所述待测车辆部件为图案单一的部件时,采用模板匹配、轮廓匹配或颜色RGB值计算所述部件图像与其预设图像之间的相似度;
当所述待测车辆部件不为图案单一的部件时,采用卷积神经网络方式计算所述部件图像与其预设图像之间的相似度。
4.根据权利要求1所述的***,其特征在于,包括:处理识别模块,用于当检测到所述车辆的某部件外观存在缺陷时,按照所述图像阈值进行分割处理,以获取不同阈值所对应区域的缺陷特征,采用神经网络算法识别所述部件的缺陷特征是处于蹦损、错位、端面伤、裂纹、少齿、气孔或沙眼中一种或几种。
5.根据权利要求4所述的***,其特征在于,包括:管理模块,用于根据所述承载台对应的标识符与待测车辆的各个部件检测结果进行关联绑定,且按所述检测结果进行分类,将不合格的部件根据其缺陷类型分别统计予以报告。
6.根据权利要求4所述的***,其特征在于,包括:分拣子***:用于采用射频技术识别每个承载台上待测的车辆,根据所述车辆的检测结果不同将不合格的待测车辆传输到再加工区域。
7.一种车辆部件的机器视觉检测方法,用于检测所述车辆部件是否合格,其特征在于,所述方法包括:
感应待测车辆到达时,利用多个CCD摄像机从多个角度分别获取待测车辆各个部件的表面外观的图像;
当感应待测车辆到达时,识别所述待测车辆的标识符,将所述部件对应的图像与车辆的标识符一一关联;
预处理所述图像按照车辆不同部位生成符合预设规格的图像;
利用轮廓匹配或模板匹配定位所述图像中待测车辆部件生成部件图像;
将所述部件图像与其预设图像进行比对并计算两者之间的相似度,根据所述相似度检测所述车辆部件是否存在外观缺陷。
8.根据权利要求7所述的方法,其特征在于,所述将所述部件图像与其预设图像进行比对并计算两者之间的相似度的步骤,包括:
检测所述部件图像是否为图案单一的部件;
当所述待测车辆部件为图案单一的部件时,采用模板匹配、轮廓匹配或颜色RGB值计算所述部件图像与其预设图像之间的相似度;
当所述待测车辆部件不为图案单一的部件时,采用卷积神经网络方式计算所述部件图像与其预设图像之间的相似度。
9.根据权利要求7所述的方法,其特征在于,包括:当检测到所述车辆的某部件外观存在缺陷时,按照所述图像阈值进行分割处理,以获取不同阈值所对应区域的缺陷特征,采用神经网络算法识别所述部件的缺陷特征是处于蹦损、错位、端面伤、裂纹、少齿、气孔或沙眼中一种或几种。
10.根据权利要求9所述的***,其特征在于,包括:采用射频技术识别每个承载台上待测的车辆,根据所述车辆的检测结果不同将不合格的待测车辆传输到再加工区域。
CN201711329856.3A 2017-12-13 2017-12-13 车辆部件的机器视觉检测***及方法 Pending CN108109137A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711329856.3A CN108109137A (zh) 2017-12-13 2017-12-13 车辆部件的机器视觉检测***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711329856.3A CN108109137A (zh) 2017-12-13 2017-12-13 车辆部件的机器视觉检测***及方法

Publications (1)

Publication Number Publication Date
CN108109137A true CN108109137A (zh) 2018-06-01

Family

ID=62216720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711329856.3A Pending CN108109137A (zh) 2017-12-13 2017-12-13 车辆部件的机器视觉检测***及方法

Country Status (1)

Country Link
CN (1) CN108109137A (zh)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108803518A (zh) * 2018-06-22 2018-11-13 苏州和必尔斯电子科技有限公司 一种用于电子科技的出厂产品检测***
CN108818537A (zh) * 2018-07-13 2018-11-16 南京工程学院 一种基于云端深度学习的机器人工业分拣方法
CN108985803A (zh) * 2018-08-28 2018-12-11 深圳市鼎昇贸易有限公司 电子商务的退货管理方法及相关产品
CN109063708A (zh) * 2018-06-21 2018-12-21 歌尔股份有限公司 基于轮廓提取的工业图像特征识别方法及***
CN109242852A (zh) * 2018-10-30 2019-01-18 长春光华学院 一种汽车发动机油路铜套缺陷视觉检测方法
CN109591917A (zh) * 2018-12-17 2019-04-09 广汽丰田汽车有限公司 车辆识别检测加工方法、车辆检测装置和存储介质
CN109685253A (zh) * 2018-12-07 2019-04-26 上海睿深电子科技有限公司 适用于行星齿轮的品质管理***、方法、终端及存储介质
CN110142230A (zh) * 2019-05-23 2019-08-20 北京阿丘机器人科技有限公司 一种检测外观缺陷的方法及装置
CN110180799A (zh) * 2019-06-28 2019-08-30 中船黄埔文冲船舶有限公司 一种基于机器视觉的零件分拣方法及***
CN110223293A (zh) * 2019-06-21 2019-09-10 中国神华能源股份有限公司 列车车体破损的智能识别方法及识别装置
CN110853060A (zh) * 2019-11-14 2020-02-28 上海眼控科技股份有限公司 车辆外观检测方法、装置、计算机设备和存储介质
CN110910339A (zh) * 2019-07-10 2020-03-24 研祥智能科技股份有限公司 Logo缺陷检测方法及装置
CN110992336A (zh) * 2019-12-02 2020-04-10 东莞西尼自动化科技有限公司 基于图像处理和人工智能的小样本缺陷检测方法
CN111091548A (zh) * 2019-12-12 2020-05-01 哈尔滨市科佳通用机电股份有限公司 基于深度学习的铁路货车承载鞍错位故障图像识别方法及***
CN111102920A (zh) * 2019-12-18 2020-05-05 佛山科学技术学院 一种基于增强现实的机械组件质检方法及***
CN111242951A (zh) * 2020-01-08 2020-06-05 上海眼控科技股份有限公司 车辆检测方法、装置、计算机设备和存储介质
CN111399464A (zh) * 2020-04-08 2020-07-10 中车青岛四方机车车辆股份有限公司 一种车辆质量智能检验方法及***
CN111738367A (zh) * 2020-08-17 2020-10-02 成都中轨轨道设备有限公司 一种基于图像识别的零件分类方法
CN112085709A (zh) * 2020-08-19 2020-12-15 浙江华睿科技有限公司 一种图像对比方法及设备
TWI716923B (zh) * 2018-09-04 2021-01-21 開曼群島商創新先進技術有限公司 基於gan網路的車損影像產生方法和裝置
CN112691920A (zh) * 2020-12-08 2021-04-23 湖北博微瑞天信息技术有限公司 一种多信息融合的机器视觉识别***
CN112819055A (zh) * 2021-01-25 2021-05-18 北京巅峰科技有限公司 车辆缺陷识别方法、装置、设备和存储介质
CN113012157A (zh) * 2021-05-24 2021-06-22 深圳市菲凡数据科技有限公司 一种设备缺陷视觉检测方法及***
CN113192358A (zh) * 2021-04-26 2021-07-30 贵州车秘科技有限公司 一种基于热成像技术在智慧停车领域的停车管理***及其使用方法
CN113554024A (zh) * 2021-07-27 2021-10-26 宁波小遛共享信息科技有限公司 一种车辆的清洁度的确定方法、装置及计算机设备
CN113671907A (zh) * 2020-05-14 2021-11-19 华晨宝马汽车有限公司 用于监控车辆生产的生产监控方法和装置及存储介质
CN114219806A (zh) * 2022-02-22 2022-03-22 成都数联云算科技有限公司 一种汽车雷达检测方法、装置、设备、介质及产品
CN114739293A (zh) * 2022-03-25 2022-07-12 北京博联众睿机器人科技有限公司 车身测量方法、***、装置以及电子设备
CN115082508A (zh) * 2022-08-18 2022-09-20 山东省蓝睿科技开发有限公司 一种海洋浮标生产质量检测方法
US11710158B2 (en) 2020-01-23 2023-07-25 Ford Global Technologies, Llc Vehicle damage estimation
CN117269180A (zh) * 2023-11-24 2023-12-22 成都数之联科技股份有限公司 车辆外观检测方法、装置、服务器和计算机可读存储介质
JP7425032B2 (ja) 2021-10-26 2024-01-30 ダイハツ工業株式会社 物体判定装置および物体判定システム
CN117911411A (zh) * 2024-03-19 2024-04-19 南京认知物联网研究院有限公司 一种基于图片流并行检测的计算机视觉检测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102253048A (zh) * 2011-04-29 2011-11-23 惠州市钧悦科技有限公司 可用于多种产品检测的机器视觉检测方法及***
CN104280406A (zh) * 2014-09-16 2015-01-14 中国科学院广州能源研究所 一种铜件表面缺陷检测的机器视觉***
CN106290392A (zh) * 2016-08-05 2017-01-04 宁波达尔机械科技有限公司 一种小微轴承表面凹痕缺陷在线检测方法及其***
CN107274398A (zh) * 2017-06-16 2017-10-20 重庆越畅汽车科技有限公司 基于汽车中网质量检测***及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102253048A (zh) * 2011-04-29 2011-11-23 惠州市钧悦科技有限公司 可用于多种产品检测的机器视觉检测方法及***
CN104280406A (zh) * 2014-09-16 2015-01-14 中国科学院广州能源研究所 一种铜件表面缺陷检测的机器视觉***
CN106290392A (zh) * 2016-08-05 2017-01-04 宁波达尔机械科技有限公司 一种小微轴承表面凹痕缺陷在线检测方法及其***
CN107274398A (zh) * 2017-06-16 2017-10-20 重庆越畅汽车科技有限公司 基于汽车中网质量检测***及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
彭博: "汽车车灯玻壳视觉检测***的设计与实现", 《万方学位论文库》 *

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063708A (zh) * 2018-06-21 2018-12-21 歌尔股份有限公司 基于轮廓提取的工业图像特征识别方法及***
CN108803518A (zh) * 2018-06-22 2018-11-13 苏州和必尔斯电子科技有限公司 一种用于电子科技的出厂产品检测***
CN108818537A (zh) * 2018-07-13 2018-11-16 南京工程学院 一种基于云端深度学习的机器人工业分拣方法
CN108818537B (zh) * 2018-07-13 2023-04-14 南京工程学院 一种基于云端深度学习的机器人工业分拣方法
CN108985803A (zh) * 2018-08-28 2018-12-11 深圳市鼎昇贸易有限公司 电子商务的退货管理方法及相关产品
TWI716923B (zh) * 2018-09-04 2021-01-21 開曼群島商創新先進技術有限公司 基於gan網路的車損影像產生方法和裝置
CN109242852A (zh) * 2018-10-30 2019-01-18 长春光华学院 一种汽车发动机油路铜套缺陷视觉检测方法
CN109685253A (zh) * 2018-12-07 2019-04-26 上海睿深电子科技有限公司 适用于行星齿轮的品质管理***、方法、终端及存储介质
CN109591917A (zh) * 2018-12-17 2019-04-09 广汽丰田汽车有限公司 车辆识别检测加工方法、车辆检测装置和存储介质
CN110142230A (zh) * 2019-05-23 2019-08-20 北京阿丘机器人科技有限公司 一种检测外观缺陷的方法及装置
CN110223293A (zh) * 2019-06-21 2019-09-10 中国神华能源股份有限公司 列车车体破损的智能识别方法及识别装置
CN110180799A (zh) * 2019-06-28 2019-08-30 中船黄埔文冲船舶有限公司 一种基于机器视觉的零件分拣方法及***
CN110910339A (zh) * 2019-07-10 2020-03-24 研祥智能科技股份有限公司 Logo缺陷检测方法及装置
WO2021004130A1 (zh) * 2019-07-10 2021-01-14 研祥智能科技股份有限公司 Logo缺陷检测方法及装置
CN110910339B (zh) * 2019-07-10 2022-11-22 研祥智能科技股份有限公司 Logo缺陷检测方法及装置
CN110853060A (zh) * 2019-11-14 2020-02-28 上海眼控科技股份有限公司 车辆外观检测方法、装置、计算机设备和存储介质
CN110992336A (zh) * 2019-12-02 2020-04-10 东莞西尼自动化科技有限公司 基于图像处理和人工智能的小样本缺陷检测方法
CN111091548A (zh) * 2019-12-12 2020-05-01 哈尔滨市科佳通用机电股份有限公司 基于深度学习的铁路货车承载鞍错位故障图像识别方法及***
CN111102920A (zh) * 2019-12-18 2020-05-05 佛山科学技术学院 一种基于增强现实的机械组件质检方法及***
CN111242951A (zh) * 2020-01-08 2020-06-05 上海眼控科技股份有限公司 车辆检测方法、装置、计算机设备和存储介质
US11710158B2 (en) 2020-01-23 2023-07-25 Ford Global Technologies, Llc Vehicle damage estimation
CN111399464A (zh) * 2020-04-08 2020-07-10 中车青岛四方机车车辆股份有限公司 一种车辆质量智能检验方法及***
CN113671907A (zh) * 2020-05-14 2021-11-19 华晨宝马汽车有限公司 用于监控车辆生产的生产监控方法和装置及存储介质
CN111738367A (zh) * 2020-08-17 2020-10-02 成都中轨轨道设备有限公司 一种基于图像识别的零件分类方法
CN111738367B (zh) * 2020-08-17 2020-11-13 成都中轨轨道设备有限公司 一种基于图像识别的零件分类方法
CN112085709A (zh) * 2020-08-19 2020-12-15 浙江华睿科技有限公司 一种图像对比方法及设备
CN112085709B (zh) * 2020-08-19 2024-03-22 浙江华睿科技股份有限公司 一种图像对比方法及设备
CN112691920A (zh) * 2020-12-08 2021-04-23 湖北博微瑞天信息技术有限公司 一种多信息融合的机器视觉识别***
CN112819055A (zh) * 2021-01-25 2021-05-18 北京巅峰科技有限公司 车辆缺陷识别方法、装置、设备和存储介质
CN113192358A (zh) * 2021-04-26 2021-07-30 贵州车秘科技有限公司 一种基于热成像技术在智慧停车领域的停车管理***及其使用方法
CN113012157A (zh) * 2021-05-24 2021-06-22 深圳市菲凡数据科技有限公司 一种设备缺陷视觉检测方法及***
CN113012157B (zh) * 2021-05-24 2021-07-20 深圳市菲凡数据科技有限公司 一种设备缺陷视觉检测方法及***
CN113554024A (zh) * 2021-07-27 2021-10-26 宁波小遛共享信息科技有限公司 一种车辆的清洁度的确定方法、装置及计算机设备
JP7425032B2 (ja) 2021-10-26 2024-01-30 ダイハツ工業株式会社 物体判定装置および物体判定システム
CN114219806B (zh) * 2022-02-22 2022-04-22 成都数联云算科技有限公司 一种汽车雷达检测方法、装置、设备、介质及产品
CN114219806A (zh) * 2022-02-22 2022-03-22 成都数联云算科技有限公司 一种汽车雷达检测方法、装置、设备、介质及产品
CN114739293A (zh) * 2022-03-25 2022-07-12 北京博联众睿机器人科技有限公司 车身测量方法、***、装置以及电子设备
CN115082508B (zh) * 2022-08-18 2022-11-22 山东省蓝睿科技开发有限公司 一种海洋浮标生产质量检测方法
CN115082508A (zh) * 2022-08-18 2022-09-20 山东省蓝睿科技开发有限公司 一种海洋浮标生产质量检测方法
CN117269180A (zh) * 2023-11-24 2023-12-22 成都数之联科技股份有限公司 车辆外观检测方法、装置、服务器和计算机可读存储介质
CN117269180B (zh) * 2023-11-24 2024-03-12 成都数之联科技股份有限公司 车辆外观检测方法、装置、服务器和计算机可读存储介质
CN117911411A (zh) * 2024-03-19 2024-04-19 南京认知物联网研究院有限公司 一种基于图片流并行检测的计算机视觉检测方法及装置
CN117911411B (zh) * 2024-03-19 2024-05-24 南京认知物联网研究院有限公司 一种基于图片流并行检测的计算机视觉检测方法及装置

Similar Documents

Publication Publication Date Title
CN108109137A (zh) 车辆部件的机器视觉检测***及方法
Aquino et al. Automated early yield prediction in vineyards from on-the-go image acquisition
CN106875373B (zh) 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN111047655B (zh) 基于卷积神经网络的高清摄像机布料疵点检测方法
US10621717B2 (en) System and method for image-based target object inspection
CN103279765B (zh) 基于图像匹配的钢丝绳表面损伤检测方法
CN109550712A (zh) 一种化纤丝尾丝外观缺陷检测***及方法
CN109886298A (zh) 一种基于卷积神经网络的焊缝质量检测方法
CN108491892A (zh) 基于机器视觉的水果分拣***
CN110084165A (zh) 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
CN104268538A (zh) 一种易拉罐点阵喷码字符在线视觉检测方法
CN108090434B (zh) 一种矿石快速识别方法
Sahu et al. Identification and classification of mango fruits using image processing
CN104268505A (zh) 基于机器视觉的布匹疵点自动检测识别装置及方法
CN103454285A (zh) 基于机器视觉的传动链条质量检测***
CN109741314A (zh) 一种零件的视觉检测方法及***
CN110675395A (zh) 输电线路智能在线监测方法
CN104198497A (zh) 一种基于视觉显著图和支持向量机的表面缺陷检测方法
CN109711322A (zh) 一种基于rfcn的人车分离方法
CN109918971A (zh) 监控视频中人数检测方法及装置
CN107886131A (zh) 一种基于卷积神经网络检测电路板元器件极性方法和装置
CN111199556A (zh) 基于摄像头的室内行人检测和跟踪方法
CN109215015A (zh) 一种基于卷积神经网络的蚕茧在线视觉检测方法
CN106548131A (zh) 一种基于行人检测的施工人员安全帽实时检测方法
CN113324864A (zh) 一种基于深度学习目标检测的受电弓碳滑板磨耗检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180601