CN116324871A - 用于外观检查的模型生成装置以及外观检查装置 - Google Patents

用于外观检查的模型生成装置以及外观检查装置 Download PDF

Info

Publication number
CN116324871A
CN116324871A CN202180063729.1A CN202180063729A CN116324871A CN 116324871 A CN116324871 A CN 116324871A CN 202180063729 A CN202180063729 A CN 202180063729A CN 116324871 A CN116324871 A CN 116324871A
Authority
CN
China
Prior art keywords
image data
model
abnormal
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202180063729.1A
Other languages
English (en)
Inventor
鸿巢有史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN116324871A publication Critical patent/CN116324871A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2433Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0475Generative networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/09Supervised learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

模型生成装置基于正常产品的图像来生成用于外观检查的模型。该模型生成装置首先取得正常图像数据,接着根据该正常图像数据生成异常图像数据,并指令机器学习装置通过基于这些正常图像数据和异常图像数据的机器学习来生成第一模型。然后,指令机器学习装置根据异常图像数据进行修复图像数据的推定,并且,指令机器学习装置生成表示异常部位的标签图像数据,然后通过基于异常图像数据、修复图像数据以及标签图像数据的机器学习来生成第二模型。

Description

用于外观检查的模型生成装置以及外观检查装置
技术领域
本发明涉及一种用于外观检查的模型生成装置以及外观检查装置。
背景技术
在工厂等制造现场,进行在生产线中生产的产品的外观检查(例如,专利文献1)。为了进行产品的外观检查,需要预先生成基于拍摄产品而得到的图像分类是正常产品的图像还是异常产品的图像的机器学习的模型。
在制作这样的机器学习的模型时,预先分别收集大量正常产品的图像和大量异常产品的图像。然后,使用收集到的图像进行机器学习。关于异常产品的图像,多数情况下还想要确定图像中的哪个部分存在异常。在这样的情况下,需要预先生成表示异常产品的图像内的异常部位的标签图像。
现有技术文献
专利文献
专利文献1:日本特开2014-190821号公报
发明内容
发明所要解决的课题
在生产现场生产的产品多为正常产品。因此,容易收集正常产品的图像。与此相对,生产异常产品的频率比较低。因此,难以收集多个异常产品的图像。虽然也不是无法通过有意地生产异常产品来收集大量异常产品的图像,但由于会增加要废弃的产品,因此在成本方面存在问题。
另外,产品的异常例如有切削残留、切削过度、因工具的磨损而导致的表面的品质的降低、局部的破损等多种。但是,如上所述,由于生产异常产品的频度低,所以还是难以收集为了生成能够检测这些各种产品的异常的机器学习的模型而需要的图像。而且,由于也存在这些异常出现在产品的不同位置的情况,因此若考虑收集表示异常产品的异常部位的标签图像,则需要花费大量的劳力。
因此,期望一种基于正常产品的图像来容易地生成用于外观检查的模型的技术。
用于解决课题的手段
本发明的一个方式的模型生成装置根据正常产品的图像自动地生成异常产品的图像。然后,使用所生成的异常产品的图像和原来的正常产品的图像,生成用于外观检查的2个模型。第一模型是从异常产品的图像推定原来的正常产品的图像的模型。第二模型是根据异常产品的图像和由第一模型推定出的原来的正常产品的图像来推定表示异常部位的标签图像的模型。这样使用2个模型是为了再现在现场根据输入图像进行异常部位的推定时,在推定了所输入的图像的正常状态的基础上(第一模型),据此生成表示异常部位的图像,或者推定全部部位的异常概率(第二模型)这样的步骤,本发明的一个方式的模型生成装置通过执行上述工序,能够基于1个或多个正常产品的图像自动生成在外观检查中使用的模型。
并且,本发明的一个方式是一种模型生成装置,其生成用于外观检查的模型,该模型生成装置具备:数据取得部,其取得正常图像数据;异常图像生成部,其通过对正常图像数据进行图像的加工来生成异常图像数据;第一模型生成指令部,其指令机器学习装置根据所述正常图像数据和所述异常图像数据来生成训练数据,并进行基于该训练数据的机器学习,由此生成第一模型;修复图像推定指令部,其指令机器学习装置根据所述异常图像数据进行使用了所述第一模型的修复图像数据的推定;标签图像生成部,其根据由所述异常图像生成部进行的图像的加工内容来生成表示异常部位的标签图像数据;以及第二模型生成指令部,其指令所述机器学习装置根据所述异常图像数据、所述修复图像数据以及所述标签图像数据来生成训练数据,并进行基于该训练数据的机器学习,由此生成第二模型。
并且,本发明的另一方式是一种外观检查装置,其根据产品的图像进行该产品的外观检查,该外观检查装置具有:数据取得部,其取得所述产品的图像数据;修复图像推定指令部,其指令机器学习装置根据所述产品的图像数据进行使用了第一模型的修复图像数据的推定,所述第一模型用于根据异常图像数据推定正常图像数据;以及异常部位推定指令部,其指令机器学习装置根据推定出的所述修复图像数据进行使用了第二模型的表示异常部位的标签图像数据的推定,并输出表示推定出的异常部位的标签图像数据,所述第二模型用于根据异常图像数据和修复图像数据推定表示异常部位的标签图像数据。
发明效果
根据本发明的一个方式,能够大幅削减异常产品的图像的收集成本。因此,能够大幅削减用于外观检查的模型的生成作业所花费的成本。
附图说明
图1是一实施方式的模型生成装置的概要性的硬件结构图。
图2是一实施方式的模型生成装置的概要性的功能框图。
图3是使用规定的几何学图像生成异常图像数据的例子。
图4是表示掩膜的例子的图。
图5是表示对产品的图像进行变形的例子的图。
图6是表示对产品的图像进行变形的另一例的图。
图7是表示标签图像的生成例的图。
图8是一变形例的模型生成装置的概要性的功能框图。
图9是其他变形例的模型生成装置的概要性的功能框图。
图10是其他变形例的模型生成装置的概要性的功能框图。
图11是一实施方式的外观检查装置的概要性的功能框图。
具体实施方式
以下,结合附图对本发明的实施方式进行说明。
图1是表示本发明的一实施方式的模型生成装置的主要部分的概要性的硬件结构图。
本实施方式的模型生成装置1例如能够作为基于控制用程序控制工业机械的控制装置来实现,或者,能够安装在与基于控制用程序控制工业机械的控制装置并列设置的个人计算机、经由有线/无线网络与控制装置连接的个人计算机、单元(cell)计算机、雾计算机6、云服务器7上。在本实施方式中,示出了将模型生成装置1安装在经由网络与控制装置连接的个人计算机上的例子。
本实施方式的模型生成装置1所具备的CPU11是整体地控制模型生成装置1的处理器。CPU11经由总线22读出存储在ROM12中的***程序,并按照该***程序控制模型生成装置1整体。在RAM13中临时存储临时的计算数据、显示数据、以及从外部输入的各种数据等。
非易失性存储器14例如由利用未图示的电池进行备份的存储器、SSD(SolidState Drive:固态硬盘)等构成,即使模型生成装置1的电源断开也保持存储状态。在非易失性存储器14中存储经由接口15从外部设备72读入的数据、经由输入装置71输入的数据、经由网络5从工业机械3取得的数据等。在所存储的数据中,例如可以包含由安装于工业机械3的视觉传感器等传感器4拍摄到的产品的图像数据。存储于非易失性存储器14的数据也可以在执行时/利用时在RAM13中展开。另外,在ROM12中预先写入有公知的解析程序等各种***程序。
接口15是用于连接模型生成装置1的CPU11和USB装置等外部设备72的接口。能够从外部设备72侧读入例如与由各工业机械生产的产品相关的数据(例如,正常产品的图像数据、表示产品的形状的CAD数据等)。另外,在模型生成装置1内编辑后的数据等能够经由外部设备72存储于CF卡等外部存储单元。
接口20是用于连接模型生成装置1的CPU和有线或无线的网络5的接口。在网络5连接有工业机械3、雾计算机、云服务器等,与模型生成装置1之间相互进行数据的交换。
在显示装置70中,经由接口17输入读入到存储器上的各数据、作为执行程序等的结果而得到的数据、从后述的机器学习装置2输出的数据等并显示。另外,由键盘、指示设备等构成的输入装置71将基于作业者的操作的指令、数据等经由接口18传递给CPU11。
接口21是用于连接CPU11和机器学习装置2的接口。机器学习装置2具备统一控制机器学习装置2整体的处理器201、存储有***程序等的ROM202、用于进行机器学习所涉及的各处理中的临时存储的RAM203、以及用于存储学习模型等的非易失性存储器204。机器学习装置2能够经由接口21观测模型生成装置1可取得的数据(例如,正常产品的图像数据、异常产品的图像数据、标签数据等)。另外,模型生成装置1经由接口21取得从机器学习装置2输出的处理结果,存储或显示所取得的结果,或者经由网络5等发送给其他装置。
图2是将本发明的一实施方式的模型生成装置1所具备的功能作为概要性的框图而示出的图。
本实施方式的模型生成装置1所具备的各功能通过图1所示的模型生成装置1所具备的CPU11执行***程序并控制模型生成装置1的各部的动作来实现。
本实施方式的模型生成装置1具备数据取得部100、异常图像生成部110、预处理部120、第一模型生成指令部130、修复图像推定指令部140、标签图像生成部145、第二模型生成指令部150。另外,与模型生成装置1连接的机器学习装置2具备第一学习部206、第一推定部207、第二学习部208。而且,在模型生成装置1的RAM13或非易失性存储器14中,作为用于存储数据取得部100从工业机械3等取得的数据的区域,预先准备有取得数据存储部300。另外,在机器学习装置2的RAM203或非易失性存储器204上,作为用于存储第一学习部206以及第二学习部208生成的学习模型的区域,预先准备了学习模型存储部210。
数据取得部100通过执行图1所示的模型生成装置1所具备的CPU11从ROM12读出的***程序,主要由CPU11进行使用RAM13、非易失性存储器14的运算处理和接口15、18或20的输入控制处理来实现。数据取得部100可以取得由安装于工业机械3的传感器4拍摄到的产品的图像数据,或者,也可以经由网络5从工业机械3直接取得数据,而且,也可以取得由外部设备72、雾计算机6、云服务器7等取得并存储的数据。数据取得部100取得的数据至少包含正常产品的图像数据(以下,设为正常图像数据)。数据取得部100取得的数据也可以包含异常产品的图像数据(以下,设为异常图像数据),但在该情况下,优选对数据取得部100取得的图像数据赋予表示是正常图像数据的标签和表示是异常图像数据的标签。数据取得部100例如可以基于操作员的操作取得操作员通过目视确认的正常图像数据,或者也可以接受操作员的操作,对所取得的图像数据赋予表示是正常图像数据的标签和表示是异常图像数据的标签。数据取得部100取得的产品的图像数据存储在取得数据存储部300中。
异常图像生成部110通过执行图1所示的模型生成装置1所具备的CPU11从ROM12读出的***程序,主要由CPU11进行使用RAM13、非易失性存储器14的运算处理来实现。异常图像生成部110基于存储在取得数据存储部300中的正常图像数据,生成异常图像数据。异常图像生成部110例如可以通过在正常图像数据内的产品的图像的一部分上重叠规定的图形来生成异常图像数据,或者,也可以对正常图像数据进行变更图像的一部分的色相、彩度、亮度或施加马赛克等图像的加工来生成异常图像数据,而且,也可以对正常图像数据内的产品的图像追加或削减(变形)规定的图形来生成异常图像数据。
图3是在正常图像数据内的产品的图像的一部分上重叠规定的图形(几何学图形)来生成异常图像数据的例子。
要重叠的规定的图形可以预先存储在模型生成装置1的RAM13或非易失性存储器14中,也可以在生成异常图像数据的阶段生成几何学形状的图形作为规定的图形。所述规定的图形的颜色只要与产品的颜色不同,则也可以是与产品的颜色类似的颜色。关于在产品的图像的哪个位置重叠规定的图形,例如也可以计算随机数值来决定。这样追加的规定的图形表现产品的加工品质降低的部分、产品内的缺损的部分等。
异常图像生成部110在将规定的图形重叠于产品的图像时,可以以规定的透过度进行半透明合成,或者,也可以代替重叠规定的图形,而变更重叠于产品的图像的规定的图形的范围的色相或再次变更亮度或施加马赛克。无论哪种方法,都能够表现进行了与通常的产品的加工不同的加工的部分(品质降低的部分)。
异常图像生成部110也可以在正常图像数据内的产品的图像的一部分上重叠规定的图形时,考虑产品的形状对所述规定的图形实施掩模处理。例如,如图4所例示的那样,在规定的图形的一部分从产品的图像露出的情况下,也可以对规定的图形实施掩模处理,仅显示与产品的图像重叠的部分。关于正常图像数据内的产品的图像的范围,也可以通过组合了边缘处理等已知的方法从正常图像数据中提取。另外,关于正常图像数据内的产品的图像的范围,也可以通过基于CAD数据等的匹配处理从正常图像数据中提取。
图5是通过对正常图像数据内的产品的图像追加规定的图形来生成异常图像数据的例子。
期望将要追加的规定的图形配置成与正常图像数据内的产品的图像相邻。要追加的规定的图形的形状可以预先存储在模型生成装置1的RAM13或非易失性存储器14中,也可以在生成异常图像数据的阶段生成几何学形状的图形作为规定的图形。期望要追加的规定的图形配置成与正常图像数据内的产品的图像相邻。要追加的规定的图形的颜色可以是与产品的颜色类似的颜色。另外,关于在产品的图像的哪个位置追加规定的图形,例如也可以计算随机数值来决定。这样追加的规定的图形表现产品的切削残余、较大的毛刺等。
图6是通过从正常图像数据内的产品的图像中削减规定的图形来生成异常图像数据的例子。
要削减的规定的图形的形状可以预先存储在模型生成装置1的RAM13或非易失性存储器14中,也可以在生成异常图像数据的阶段生成几何学形状的图形作为规定的图形。期望要削减的规定的图形是削减正常图像数据内的产品的图像的端部的图形。被削减的规定的图形的颜色可以是与正常图像数据内的背景色类似的颜色。另外,关于削减产品的图像的哪个位置,例如也可以计算随机数值来决定。这样削减后的规定的图形表现产品的缺损、切削过度等。
异常图像生成部110可以基于在取得数据存储部300中存储的多个正常图像数据来生成异常图像数据,或者,也可以基于1个正常图像数据来生成使规定的图形的形状、重叠的位置、要追加或削减的图形的形状或位置等变化的多个异常图像数据。异常图像生成部110生成用于机器学习装置2学习异常图像数据内的产品的异常部位的足够数量的异常图像。对于该学习而言足够的数量可以预先由操作员设定。
预处理部120通过执行图1所示的模型生成装置1所具备的CPU11从ROM12读出的***程序,主要由CPU11进行使用RAM13、非易失性存储器14的运算处理来实现。预处理部120对存储在取得数据存储部300中的正常图像数据、异常图像生成部110生成的异常图像数据实施规定的图像处理。预处理部120对异常图像数据实施的规定的图像处理至少包括容易提取正常图像数据/异常图像数据的特征的图像处理方法。例如,预处理部120可以对正常图像数据/异常图像数据实施边缘强调处理,以使得容易识别出现在正常图像数据/异常图像数据中的物体、异常部位的轮廓,或者,也可以实施2维或3维的旋转处理,以使得出现在正常图像数据/异常图像数据中的物体的姿势、朝向大致相同,进而,也可以实施调整正常图像数据/异常图像数据的亮度、彩度的处理,以使得出现在正常图像数据/异常图像数据中的物体的各部位的范围变得明确。这样,通过将人的视觉***(人视觉)自动进行的处理加入到正常图像数据/异常图像数据中,能够在某种程度上提高学习、推定的精度。另外,预处理部120不是必须的结构,但通过设置预处理部120,能够削减基于图像的学习所需的数据的数量。
第一模型生成指令部130通过执行图1所示的模型生成装置1所具备的CPU11从ROM12读出的***程序,主要由CPU11进行使用RAM13、非易失性存储器14的运算处理和使用接口21的输入输出控制处理来实现。第一模型生成指令部130指令机器学习装置2进行基于由预处理部120实施了预处理后的异常图像数据和成为生成该异常图像数据的源的正常图像数据的学习来生成第一模型。第一模型生成指令部130指令机器学习装置2进行如下的学习:例如生成多个将异常图像数据作为输入数据、将成为生成该异常图像数据的源的正常图像数据作为输出数据的训练数据,并根据所生成的训练数据进行学习。根据该指令由机器学习装置2生成的第一模型成为根据异常图像数据来推定原来的正常图像数据的模型。在本说明书中,将根据异常图像数据推定原来的正常图像数据的处理称为修复,将推定出的正常图像数据称为修复图像数据。
修复图像推定指令部140通过执行图1所示的模型生成装置1所具备的CPU11从ROM12读出的***程序,主要由CPU11进行使用RAM13、非易失性存储器14的运算处理和使用接口21的输入输出控制处理来实现。修复图像推定指令部140指令机器学习装置2根据实施了预处理后的异常图像数据来推定修复图像数据。修复图像推定指令部140的指令在第一模型212的学习充分进行、使用了第一模型212的修复图像数据的推定的精度变得足够高之后进行。
标签图像生成部145通过执行图1所示的模型生成装置1所具备的CPU11从ROM12读出的***程序,主要由CPU11进行使用RAM13、非易失性存储器14的运算处理来实现。标签图像生成部145根据在异常图像数据的生成中使用的规定的图形,生成表示异常部位的标签图像数据。关于标签图像数据,如图7所例示的那样,将在图像数据内规定的图形所占的部位生成为第一色彩(例如白色)、将除此以外的部位生成为第二色彩(例如黑色)的图像数据即可。这样生成的标签图像数据中,将由第一色彩表示的部位表示为产品的图像中的异常部位。
第二模型生成指令部150通过执行图1所示的模型生成装置1所具备的CPU11从ROM12读出的***程序,主要由CPU11进行使用RAM13、非易失性存储器14的运算处理和使用接口21的输入输出控制处理来实现。第二模型生成指令部150指令机器学习装置2进行使用了由预处理部120实施了预处理后的异常图像数据、根据修复图像推定指令部140的指令推定出的修复图像数据、以及由标签图像生成部145生成的表示异常部位的标签图像数据的学习,来生成第二模型。在第二模型的学习中,不使用成为异常图像数据的源的正常图像数据,而使用推定出的修复图像数据。第二模型生成指令部150指令机器学习装置2生成多个例如将异常图像数据和修复图像数据作为输入数据、将表示异常部位的标签图像数据作为输出数据的训练数据,并根据该生成的训练数据进行学习。根据该指令由机器学习装置2生成的第二模型是根据异常图像数据和从该异常图像数据修复后的修复图像数据来推定表示异常部位的标签图像数据的模型。
机器学习装置2所具备的第一学习部206通过执行图1所示的机器学习装置2所具备的处理器201从ROM202读出的***程序,主要由处理器201进行使用RAM203、非易失性存储器204的运算处理来实现。第一学习部206根据从第一模型生成指令部130接收到的指令,进行使用了训练数据的机器学习,由此生成第一模型212。第一学习部206将所生成的第一模型212存储于学习模型存储部210。第一学习部206进行的机器学习是公知的监督学习。第一模型212例如可举出多层神经网络等。第一学习部206生成的第一模型212是学习了异常图像数据与原来的正常图像数据的相关性的模型。第一模型212是根据异常图像数据来推定原来的正常图像数据的模型。第一模型212可以使用去除图像的噪声(在本发明中,产品的图像的异常部位)的公知的噪声去除自动编码器(Denoising Autoencoder)的技术来实现,或者,也可以使用作为敌对生成网络(GAN:Generative Adversarial Networks)的一种且进行从图像向图像的转换的公知的Pix2Pix的技术来实现。另外,关于通过机器学习的技术从图像数据推定其他图像数据的技术,由于已经是充分公知的,因此省略本说明书中的详细说明。
机器学习装置2所具备的第一推定部207通过执行图1所示的机器学习装置2所具备的处理器201从ROM202读出的***程序,主要由处理器201进行使用RAM203、非易失性存储器204的运算处理来实现。第一推定部207根据从修复图像推定指令部140接收到的指令,基于异常图像数据执行使用了第一模型212的修复图像数据的推定。第一推定部207例如将从修复图像推定指令部140输入的异常图像数据作为第一模型212的输入数据、将从该第一模型212输出的数据作为推定出的修复图像数据,输出到修复图像推定指令部140。
机器学习装置2所具备的第二学习部208通过执行图1所示的机器学习装置2所具备的处理器201从ROM202读出的***程序,主要由处理器201进行使用RAM203、非易失性存储器204的运算处理来实现。第二学习部208根据从第二模型生成指令部150接收到的指令,进行使用了训练数据的机器学习来生成第二模型214。第二学习部208将所生成的第二模型214存储于学习模型存储部210。第二学习部208进行的机器学习是公知的监督学习。第二模型214例如可举出多层神经网络、多元回归模型等。第二学习部208生成的第二模型214是学习了异常图像数据以及修复图像数据与表示异常部位的标签图像数据的相关性的模型。第二模型214是用于根据异常图像数据和修复图像数据来推定表示异常部位的标签图像数据的模型。第二模型214可以使用对图像数据内的像素关联标签或类别(在本发明中为产品的图像的异常部位)的公知的语义分割(Semantic Segmentation)的技术来实现,或者也可以使用对图像数据内的每个像素计算属于规定的标签或类别(在本发明中为产品的图像的异常部位)的概率的公知的图像回归分析的技术来实现。此外,关于上述的机器学习所涉及的技术,由于已经是充分公知的,因此省略本说明书中的详细说明。
具备上述结构的本实施方式的模型生成装置1基于能够容易收集的正常图像数据来生成异常图像数据,并进行基于所生成的异常图像数据的机器学习,由此能够自动地生成用于外观检查的模型。因此,在进行机器学习时能够大幅削减异常产品的图像的收集成本,能够进行效率良好的机器学习。
作为本实施方式的模型生成装置的一个变形例,如图9所例示的那样,模型生成装置1也可以内置有机器学习装置2。
另外,如图10所例示的那样,也能够采用经由网络5连接模型生成装置1和机器学习装置2的方式。在后者的情况下,机器学习装置2也可以安装在雾计算机6、云服务器7等计算机内。由此,能够在多个操作员之间共享使用机器学习装置2,能够降低机器学习装置2的导入成本。
图11是将使用由本发明的模型生成装置1生成的第一模型212以及第二模型214来进行产品的外观检查的外观检查装置9所具备的功能作为概略性的框图而示出的图。与模型生成装置1同样地,本实施方式的外观检查装置9能够安装在控制装置、个人计算机、单元计算机、雾计算机6、云服务器7等上。以下,与模型生成装置1同样地,对外观检查装置9安装在具备图1所示的硬件的个人计算机上的情况进行说明。
本实施方式的外观检查装置9具备数据取得部100、预处理部120、修复图像推定指令部140、异常部位推定指令部160。另外,与外观检查装置9连接的机器学习装置2具备第一推定部207、第二推定部209。而且,在机器学习装置2的RAM203或非易失性存储器204上,作为存储了由模型生成装置1生成的第一模型212以及第二模型214的区域,预先准备了学习模型存储部210。
本实施方式的外观检查装置9所具备的预处理部120、修复图像推定指令部140分别具备与上述的模型生成装置1所具备的数据取得部100、预处理部120、修复图像推定指令部140相同的功能。
本实施方式的外观检查装置9所具备的数据取得部100通过执行图1所示的模型生成装置1所具备的CPU11从ROM12读出的***程序,主要由CPU11进行使用RAM13、非易失性存储器14的运算处理以及接口15、18或20的输入控制处理来实现。数据取得部100可以取得由安装于工业机械3的传感器4拍摄到的产品的图像数据,或者,也可以经由网络5从工业机械3直接取得数据,而且,也可以取得外部设备72、雾计算机6、云服务器7等取得并存储的数据。数据取得部100取得的数据可以包含正常产品的图像数据和异常产品的图像数据。
异常部位推定指令部160通过执行图1所示的模型生成装置1所具备的CPU11从ROM12读出的***程序,主要由CPU11进行使用RAM13、非易失性存储器14的运算处理和使用接口21的输入输出控制处理来实现。异常部位推定指令部160指令机器学习装置2基于根据修复图像推定指令部140的指令推定出的修复图像数据,推定表示异常部位的标签图像数据。异常部位推定指令部160接收表示根据指令由机器学习装置2推定出的异常部位的标签图像数据。然后,将接收到的标签图像数据显示输出到显示装置70。异常部位推定指令部160也可以将表示推定出的异常部位的标签图像数据经由网络发送输出至其他计算机。
本实施方式的机器学习装置2所具备的第一推定部207具备与上述的第一推定部207同样的功能。
机器学习装置2所具备的第二推定部209通过执行图1所示的机器学习装置2所具备的处理器201从ROM202读出的***程序,主要由处理器201进行使用RAM203、非易失性存储器204的运算处理来实现。第二推定部209根据从异常部位推定指令部160接收到的指令,基于修复图像数据来执行使用了第二模型214的表示异常部位的标签图像数据的推定。第二推定部209例如将从异常部位推定指令部160输入的修复图像数据作为第二模型214的输入数据、将从第二模型214输出的数据作为表示推定出的异常部位的标签图像数据输出到异常部位推定指令部160。
具备上述结构的本实施方式的外观检查装置9通过使用了2个模型的2个步骤的处理,根据产品的图像推定表示异常部位的图像。推定中使用的2个模型是由上述的模型生成装置1生成的模型,但不需要收集异常图像数据所花费的劳力,模型的生成所花费的成本与以往相比大幅削减。这意味着在进行新的部件的生产的情况下等,比较早地生成能够高精度地进行外观检查的模型。因此,能够从产品开发的初始阶段开始进行使用了机器学习的高精度的外观检查。
以上,对本发明的一实施方式进行了说明,但本发明并不仅限定于上述的实施方式的例子,能够通过施加适当的变更而以各种方式实施。
符号说明
1模型生成装置
2机器学习装置
3工业机械
4传感器
5网络
6雾计算机
7云服务器
9外观检查装置
11CPU
12ROM
13RAM
14非易失性存储器
15、17、18、20、21接口
22总线
70显示装置
71输入装置
72外部设备
100数据取得部
110异常图像生成部
120预处理部
130第一模型生成指令部
140修复图像推定指令部
145标签图像生成部
150第二模型生成指令部
160异常部位推定指令部
201处理器
202ROM
203RAM
204非易失性存储器
206第一学习部
207第一推定部
208第二学习部
209第二推定部
210学习模型存储部
212第一模型
214第二模型
300取得数据存储部。

Claims (4)

1.一种模型生成装置,其生成用于外观检查的模型,其特征在于,所述模型生成装置具备:
数据取得部,其取得正常图像数据;
异常图像生成部,其通过对正常图像数据进行图像的加工来生成异常图像数据;
第一模型生成指令部,其指令机器学习装置基于所述正常图像数据和所述异常图像数据来生成训练数据,并进行基于该训练数据的机器学习,由此生成第一模型;
修复图像推定指令部,其指令机器学习装置基于所述异常图像数据来进行使用了所述第一模型的修复图像数据的推定;
标签图像生成部,其基于由所述异常图像生成部进行的图像的加工内容来生成表示异常部位的标签图像数据;以及
第二模型生成指令部,其指令所述机器学习装置基于所述异常图像数据、所述修复图像数据以及所述标签图像数据来生成训练数据,并进行基于该训练数据的机器学习,由此生成第二模型。
2.根据权利要求1所述的模型生成装置,其特征在于,
所述模型生成装置具备所述机器学习装置,
该机器学习装置具备:
第一学习部,其根据第一模型生成指令部的指令来生成所述第一模型;
第二学习部,其根据第二模型生成指令部的指令来生成所述第二模型;以及
第一推定部,其根据所述修复图像推定指令部的指令,基于异常图像数据进行使用了所述第一模型的修复图像数据的推定。
3.根据权利要求2所述的模型生成装置,其特征在于,
所述第二学习部生成通过语义分割或图像回归分析进行推定的第二模型。
4.一种外观检查装置,其根据产品的图像进行该产品的外观检查,其特征在于,所述外观检查装置具备:
数据取得部,其取得所述产品的图像数据;
修复图像推定指令部,其指令机器学习装置根据所述产品的图像数据进行使用了第一模型的修复图像数据的推定,所述第一模型用于根据异常图像数据推定正常图像数据;以及
异常部位推定指令部,其指令机器学习装置根据推定出的所述修复图像数据进行使用了第二模型的表示异常部位的标签图像数据的推定,并输出表示推定出的异常部位的标签图像数据,所述第二模型用于根据异常图像数据和修复图像数据推定表示异常部位的标签图像数据。
CN202180063729.1A 2020-09-25 2021-09-21 用于外观检查的模型生成装置以及外观检查装置 Withdrawn CN116324871A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-160595 2020-09-25
JP2020160595 2020-09-25
PCT/JP2021/034498 WO2022065272A1 (ja) 2020-09-25 2021-09-21 外観検査のためのモデル作成装置及び外観検査装置

Publications (1)

Publication Number Publication Date
CN116324871A true CN116324871A (zh) 2023-06-23

Family

ID=80846491

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180063729.1A Withdrawn CN116324871A (zh) 2020-09-25 2021-09-21 用于外观检查的模型生成装置以及外观检查装置

Country Status (5)

Country Link
US (1) US20230274393A1 (zh)
JP (1) JPWO2022065272A1 (zh)
CN (1) CN116324871A (zh)
DE (1) DE112021005038T5 (zh)
WO (1) WO2022065272A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014190821A (ja) 2013-03-27 2014-10-06 Dainippon Screen Mfg Co Ltd 欠陥検出装置および欠陥検出方法
KR102638267B1 (ko) * 2018-12-03 2024-02-21 삼성전자주식회사 반도체 웨이퍼 불량 분석 시스템 및 그것의 동작 방법
JP7287791B2 (ja) * 2019-02-01 2023-06-06 株式会社キーエンス 画像検査装置
JP7176965B2 (ja) * 2019-02-01 2022-11-22 株式会社キーエンス 画像検査装置
JP7124743B2 (ja) * 2019-02-07 2022-08-24 株式会社明電舎 線状体の異常検出装置及び異常検出方法
JP2020144688A (ja) * 2019-03-07 2020-09-10 株式会社Ihi 学習方法、学習装置、及び当該学習装置を備える溶接欠陥検出装置
JP7095798B2 (ja) * 2019-03-08 2022-07-05 日本電気株式会社 画像処理方法、画像処理装置、プログラム

Also Published As

Publication number Publication date
JPWO2022065272A1 (zh) 2022-03-31
WO2022065272A1 (ja) 2022-03-31
DE112021005038T5 (de) 2023-07-13
US20230274393A1 (en) 2023-08-31

Similar Documents

Publication Publication Date Title
US11722642B2 (en) Machine-vision system and method for remote quality inspection of a product
US9471057B2 (en) Method and system for position control based on automated defect detection feedback
US20160159011A1 (en) Vision System for Selective Tridimensional Repair Using Additive Manufacturing
US10423669B2 (en) Manufacturing process visualization apparatus and method
CN113361539B (zh) 一种井下巡检机器人的仪表读取方法、装置及电子设备
CN115331002A (zh) 一种基于ar眼镜实现热力站故障远程处理方法
JP2023065371A (ja) 製造支援システム,方法,プログラム
CN111435400A (zh) 一种零件的修复方法、修复装置及3d打印机
CN111531580B (zh) 一种基于视觉的多工业机器人故障检测方法及***
CN116324871A (zh) 用于外观检查的模型生成装置以及外观检查装置
CN116194954A (zh) 用于外观检查的模型生成装置以及外观检查装置
KR20210136502A (ko) Rgb-d 데이터와 딥러닝을 이용한 3d객체영역분할 방법과 그 시스템
WO2017218718A1 (en) Method and system for articulation of a visual inspection device
JP2020205027A (ja) データ抽出装置、データ抽出装置の制御方法、情報処理プログラム、および記録媒体
JP2023018016A (ja) 管理システムおよび原因分析システム
CN116001000A (zh) 一种pcb分板机智能化控制方法及***
WO2022065271A1 (ja) 画像作成装置
WO2020250501A1 (ja) データ抽出装置、データ抽出装置の制御方法、情報処理プログラム、および記録媒体
JP2021086219A (ja) 協調作業システム、解析収集装置および解析プログラム
US20200082281A1 (en) Verification device
CN110224994B (zh) 一种按对角装配控制的方法、ar眼镜和***
CN117952983B (zh) 一种基于人工智能的智能制造生产过程监控方法和***
WO2023218537A1 (ja) 対象領域抽出装置、方法、及びシステム
JP7166365B2 (ja) 生産改善支援システム、方法、及びプログラム
US20230316717A1 (en) Teacher data collecting method and collecting device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20230623

WW01 Invention patent application withdrawn after publication