JP2022040531A - Abnormality determination model generation method, abnormality determination model generation device and inspection device - Google Patents

Abnormality determination model generation method, abnormality determination model generation device and inspection device Download PDF

Info

Publication number
JP2022040531A
JP2022040531A JP2020145295A JP2020145295A JP2022040531A JP 2022040531 A JP2022040531 A JP 2022040531A JP 2020145295 A JP2020145295 A JP 2020145295A JP 2020145295 A JP2020145295 A JP 2020145295A JP 2022040531 A JP2022040531 A JP 2022040531A
Authority
JP
Japan
Prior art keywords
abnormality
inspection
abnormality determination
determination model
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020145295A
Other languages
Japanese (ja)
Inventor
研一 中里
Kenichi Nakazato
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to JP2020145295A priority Critical patent/JP2022040531A/en
Priority to DE102021119598.5A priority patent/DE102021119598A1/en
Priority to CN202111002232.7A priority patent/CN114113101A/en
Publication of JP2022040531A publication Critical patent/JP2022040531A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Biochemistry (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

To provide an abnormality determination model generation method, an abnormality determination model generation device and an inspection device which can newly add various types of learning data, and can enhance the reliability of inspection of abnormality which appears in an external appearance, even when there is a small amount of abnormal teacher image data.SOLUTION: An abnormality determination model generation method which generates an abnormality determination model for determining abnormality of an inspection object by considering inspection image data obtained by measuring the inspection object as input data includes steps of: generating a learning dataset (Img_tch) for generating the abnormality determination model on the basis of pseudo data (Img_fak) imitating a feature pattern of the abnormality of the inspection object; and generating the abnormality determination model by using the learning dataset (Img_tch).SELECTED DRAWING: Figure 4

Description

本発明は、異常判定モデル生成方法及び異常判定モデル生成装置並びに検査装置に関する。 The present invention relates to an abnormality determination model generation method, an abnormality determination model generation device, and an inspection device.

近年、ディープラーニング等のＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）技術が発達し、種々の検査にＡＩを活用することが検討されている。一般的なＡＩ技術を適用した検査の自動化手段として、教師ありの機械学習による異常検知、あるいは教師なしの機械学習による異常検知等の手法が考えられる。 In recent years, AI (Artificial Intelligence) technology such as deep learning has been developed, and it is being studied to utilize AI for various inspections. As a means for automating inspections to which general AI technology is applied, methods such as abnormality detection by machine learning with supervised learning or abnormality detection by machine learning without supervised learning can be considered.

外観に現れる異常の検査を教師ありの機械学習を用いて行う場合、機械学習を実施する前に、あらかじめ多数の教師画像データを準備し、正常又は異常、あるいは、異常のレベルごとにラベリングすることが必要となる。その際に、教師画像データが不足していると、未知の異常を検知できず、効果的な学習を行うことができない。このため、実際の異常を撮影した教師画像データを画像処理することにより、新たな教師画像データを生成し、教師画像データ数を増やすことが行われている。 When inspecting abnormalities appearing on the appearance using supervised machine learning, prepare a large number of teacher image data in advance and label each level of normal, abnormal, or abnormal. Is required. At that time, if the teacher image data is insufficient, unknown abnormalities cannot be detected and effective learning cannot be performed. For this reason, new teacher image data is generated and the number of teacher image data is increased by image processing the teacher image data obtained by photographing an actual abnormality.

例えば、特許文献１には、機械学習に用いる教師画像データの数が不足した場合に、質の良い教師画像データを生成する技術が提案されている。具体的に、特許文献１には、複数のパターンに分類された教師画像データを取得し、所定の基準に基づき、属する教師画像データの個数が少ない不足パターンを特定し、ある教師画像データを空間的に反転したり色調を変更したりすることにより、不足パターンに属する新たな教師画像データを生成する機械学習システムが開示されている。 For example, Patent Document 1 proposes a technique for generating high-quality teacher image data when the number of teacher image data used for machine learning is insufficient. Specifically, in Patent Document 1, teacher image data classified into a plurality of patterns are acquired, a shortage pattern in which the number of teacher image data to which the data belongs is small is specified based on a predetermined standard, and a certain teacher image data is spatially used. A machine learning system that generates new teacher image data belonging to a missing pattern by inverting or changing the color tone is disclosed.

特開２０１８－１６９６７２号公報JP-A-2018-169672

ここで、特許文献１に開示された機械学習システムは、実際の教師画像データの色調を変換することにより、教師画像データの数を増やすものである。色調の変換に限らず、実際の教師画像データを反転ないし線形変換させたりすることにより、教師画像データの数を増やすことも可能である。しかしながら、色調の変換や線形変換により教師画像データの数を増やす場合、新たに追加される教師画像データは元の教師画像データの特徴に基づいて創出されるものであるために教師画像データの内容には限界があり、機械学習による異常の検査の精度が低下する虞がある。 Here, the machine learning system disclosed in Patent Document 1 increases the number of teacher image data by converting the color tone of the actual teacher image data. Not limited to color tone conversion, it is also possible to increase the number of teacher image data by inverting or linearly converting the actual teacher image data. However, when increasing the number of teacher image data by color tone conversion or linear conversion, the content of the teacher image data is created because the newly added teacher image data is created based on the characteristics of the original teacher image data. There is a limit to the number of data, and there is a risk that the accuracy of checking for abnormalities by machine learning will decrease.

本発明は、上記問題に鑑みてなされたものであり、異常の検査の精度を向上させることができる異常判定モデル生成方法及び異常判定モデル生成装置並びに検査装置を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide an abnormality determination model generation method, an abnormality determination model generation device, and an inspection device capable of improving the accuracy of abnormality inspection.

上記課題を解決するために、本発明のある観点によれば、検査対象を測定した検査画像データを入力データとして検査対象の異常を判定するための異常判定モデルを生成する異常判定モデル生成方法であって、異常の特徴パターンを擬似して作成される擬似データに基づいて異常判定モデルを生成するための学習用データセットを生成するステップと、学習用データセットを用いて異常判定モデルを生成するステップとを含む異常判定モデル生成方法が提供される。 In order to solve the above problem, according to a certain viewpoint of the present invention, it is an abnormality judgment model generation method for generating an abnormality judgment model for judging an abnormality of an inspection target by using inspection image data obtained by measuring an inspection target as input data. Therefore, a step to generate a training data set for generating an abnormality judgment model based on pseudo data created by simulating an abnormality feature pattern, and a step to generate an abnormality judgment model using the training data set. An abnormality determination model generation method including steps is provided.

また、上記課題を解決するために、本発明の別の観点によれば、検査対象を測定した検査画像データを入力データとして検査対象の異常を判定するための異常判定モデルを生成する異常判定モデル生成装置であって、異常の特徴パターンを擬似して作成される擬似データに基づいて生成された学習用データセットを用いて異常判定モデルを生成する学習部とを含む異常判定モデル生成装置が提供される。 Further, in order to solve the above-mentioned problems, according to another viewpoint of the present invention, an abnormality determination model for generating an abnormality determination model for determining an abnormality of an inspection target by using inspection image data obtained by measuring an inspection target as input data is generated. Provided by an abnormality judgment model generation device including a learning unit that generates an abnormality judgment model using a learning data set generated based on pseudo data created by simulating an abnormality feature pattern. Will be done.

また、上記課題を解決するために、本発明のさらに別の観点によれば、検査対象を測定した検査画像データに基づいて検査対象の検査を行う検査装置であって、異常の特徴パターンを擬似して作成される擬似データに基づいて生成された学習用データセットを用いて生成された異常判定モデルを記憶する記憶部と、検査対象を測定した検査画像データを異常判定モデルに入力して検査対象の異常の有無を判定する判定部とを含む検査装置が提供される。 Further, in order to solve the above problem, according to still another viewpoint of the present invention, it is an inspection device that inspects the inspection target based on the inspection image data obtained by measuring the inspection target, and simulates the characteristic pattern of the abnormality. A storage unit that stores the abnormality judgment model generated using the learning data set generated based on the pseudo data created in the above process, and the inspection image data that measures the inspection target are input to the abnormality judgment model for inspection. An inspection device including a determination unit for determining the presence or absence of an abnormality of the target is provided.

以上説明したように本発明によれば、異常の教師画像データが少ない場合であっても、様々な種類の教師画像データを新たに追加することができ、外観に現れる異常の検査の信頼性を向上させることができる。 As described above, according to the present invention, various types of teacher image data can be newly added even when the amount of abnormal teacher image data is small, and the reliability of the inspection of abnormalities appearing in the appearance can be improved. Can be improved.

本発明の実施の形態に係る検査装置を含む検査システムの構成例を示す模式図である。It is a schematic diagram which shows the structural example of the inspection system including the inspection apparatus which concerns on embodiment of this invention. 同実施形態に係る検査装置の機能構成を示すブロック図である。It is a block diagram which shows the functional structure of the inspection apparatus which concerns on the same embodiment. 同実施形態に係る異常判定モデル生成方法の一例を示すフローチャートである。It is a flowchart which shows an example of the abnormality determination model generation method which concerns on the same embodiment. 学習用データセットの作成方法を示す説明図である。It is explanatory drawing which shows the method of making a data set for training. 同実施形態に係る検査装置による異常判定方法の一例を示すフローチャートである。It is a flowchart which shows an example of the abnormality determination method by the inspection apparatus which concerns on the same embodiment. 同実施形態に係る検査装置を含む検査システムの適用例を示す模式図である。It is a schematic diagram which shows the application example of the inspection system including the inspection apparatus which concerns on the same embodiment. 同実施形態に係る検査装置を含む検査システムの別の適用例を示す模式図である。It is a schematic diagram which shows another application example of the inspection system including the inspection apparatus which concerns on the same embodiment.

以下、添付図面を参照しながら本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the present specification and the drawings, components having substantially the same functional configuration are designated by the same reference numerals, so that duplicate description will be omitted.

＜１．検査装置の概要＞
まず、本発明の一実施形態に係る検査装置の概要を説明する。 <1. Overview of inspection equipment>
First, an outline of the inspection device according to the embodiment of the present invention will be described.

図１は、本実施形態に係る検査装置２０を含む検査システム１００の構成例を示す模式図である。検査システム１００は、検査装置２０、検出器１１、入力部１５及び表示部１３を備える。検査システム１００は、検査対象の画像データに基づき、異常判定モデルを用いて検査対象の異常判定を自動で行うシステムとして構築されている。 FIG. 1 is a schematic diagram showing a configuration example of an inspection system 100 including an inspection device 20 according to the present embodiment. The inspection system 100 includes an inspection device 20, a detector 11, an input unit 15, and a display unit 13. The inspection system 100 is constructed as a system that automatically determines an abnormality of an inspection target by using an abnormality determination model based on the image data of the inspection target.

検出器１１は、検査対象を測定することにより画像データを生成し、当該画像データを検査装置２０に出力する。検出器１１としては、撮像カメラ又はＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ ＲａｎｇｉｎｇあるいはＬｉｇｈｔ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）が例示される。撮像カメラは、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子を備え、撮影対象の画像データを生成する。また、ＬｉＤＡＲは、レーザー光を走査しながら測定対象に照射して当該レーザー光の散乱や反射光を観測することによって測定対象の外観の状態を反映した画像データを生成する。 The detector 11 generates image data by measuring the inspection target, and outputs the image data to the inspection device 20. Examples of the detector 11 include an image pickup camera or LiDAR (Light Detection And Rangeing or Light Imaging Detection And Ringing). The image pickup camera includes, for example, an image pickup element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Sensor), and generates image data to be photographed. Further, LiDAR generates image data reflecting the appearance state of the measurement target by irradiating the measurement target while scanning the laser light and observing the scattered or reflected light of the laser light.

検出器１１は、測定対象の外観の状態を反映した画像データを生成可能な機器であればよく、撮像カメラやＬｉＤＡＲに限定されない。また、検査システム１００に備えられる検出器１１は１台に限られるものではなく、２台以上であってもよい。検出器１１は、撮像カメラ及びＬｉＤＡＲ等、複数の種類の機器を含んでいてもよい。 The detector 11 may be any device that can generate image data that reflects the appearance of the object to be measured, and is not limited to an imaging camera or LiDAR. Further, the number of detectors 11 provided in the inspection system 100 is not limited to one, and may be two or more. The detector 11 may include a plurality of types of devices such as an image pickup camera and LiDAR.

入力部１５は、ユーザによる操作入力を受け付けて、検査装置２０に対して操作信号を送信する。例えば、入力部１５は、ユーザによる操作入力を受け付ける操作ボタン、操作スイッチ等のうちの少なくとも一つの入力手段を含み、例えば、キーボードやタッチパネル、タブレットコンピュータ、スマートホン等により構成される。 The input unit 15 receives the operation input by the user and transmits the operation signal to the inspection device 20. For example, the input unit 15 includes at least one input means such as an operation button and an operation switch for receiving an operation input by a user, and is composed of, for example, a keyboard, a touch panel, a tablet computer, a smart phone, or the like.

表示部１３は、検査装置２０から出力される駆動信号に基づいて駆動され、検査結果等の所定の表示を行う。例えば、表示部１３は、液晶パネル等を備える表示装置により構成される。なお、入力部１５と表示部１３とが一体化され、例えば、タッチパネルにより構成されてもよい。 The display unit 13 is driven based on the drive signal output from the inspection device 20, and displays a predetermined inspection result or the like. For example, the display unit 13 is configured by a display device including a liquid crystal panel or the like. The input unit 15 and the display unit 13 may be integrated and may be configured by, for example, a touch panel.

検査装置２０は、制御部３０、メモリ２１及び記憶装置２３を備える。制御部３０の一部又は全部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサにより構成される。特に、制御部３０は、ＣＰＵと併せてＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含んでもよい。この他、検査装置２０は、検出器１１、入力部１５又は表示部１３との間でそれぞれ信号を送受信するインタフェースを備える。 The inspection device 20 includes a control unit 30, a memory 21, and a storage device 23. A part or all of the control unit 30 is composed of a processor such as a CPU (Central Processing Unit). In particular, the control unit 30 may include a GPU (Graphic Processing Unit) together with the CPU. In addition, the inspection device 20 includes an interface for transmitting and receiving signals to and from the detector 11, the input unit 15, and the display unit 13, respectively.

メモリ２１は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）又はＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の少なくとも一つの記憶素子により構成される。記憶装置２３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）フラッシュ、ストレージ装置等の少なくとも一つの記憶媒体により構成される。メモリ２１又は記憶装置２３は、記憶部として機能し、プロセッサにより実行される演算処理のプログラムや、演算処理に用いられる種々の演算パラメータ、取得したデータ、演算結果等を記憶する。また、メモリ２１又は記憶装置２３は、検査に用いられる異常判定モデルを記憶する。 The memory 21 is composed of at least one storage element such as a RAM (Random Access Memory) or a ROM (Read Only Memory). The storage device 23 is at least one of HDD (Hard Disk Drive), CD (Compact Disc), DVD (Digital Versaille Disc), SSD (Solid State Drive), USB (Universal Serial Bus) flash, storage device, and the like. It is composed. The memory 21 or the storage device 23 functions as a storage unit, and stores a program of arithmetic processing executed by a processor, various arithmetic parameters used in the arithmetic processing, acquired data, an arithmetic result, and the like. Further, the memory 21 or the storage device 23 stores the abnormality determination model used for the inspection.

＜２．検査装置の概略構成＞
ここまで、検査システム１００の全体構成を説明した。続いて、検査装置２０の概略構成例を具体的に説明する。 <2. Outline configuration of inspection equipment>
Up to this point, the overall configuration of the inspection system 100 has been described. Subsequently, a schematic configuration example of the inspection device 20 will be specifically described.

図２は、検査装置２０の機能構成を示すブロック図である。検査装置２０の制御部３０は、画像処理部３１、演算部３３及び表示制御部３９を備える。演算部３３は、学習部３５及び判定部３７を含む。制御部３０が有する各機能は、具体的には、プロセッサによるプログラムの実行により実現されるソフトウェア機能であってもよく、一部がハードウェアの機能により実現されてもよい。 FIG. 2 is a block diagram showing a functional configuration of the inspection device 20. The control unit 30 of the inspection device 20 includes an image processing unit 31, a calculation unit 33, and a display control unit 39. The calculation unit 33 includes a learning unit 35 and a determination unit 37. Specifically, each function of the control unit 30 may be a software function realized by executing a program by the processor, or may be partially realized by a hardware function.

（２－１．画像処理部）
画像処理部３１は、検出器１１から出力された画像データを加工処理し、検査に用いるための検査画像データを生成する。例えば、画像処理部３１は、検出器１１から出力された画像データに対して、膨張フィルタ、収縮フィルタ、平均化フィルタ又はメディアンフィルタのうちの少なくとも一つを用いてコントラストを調整する処理を行ってもよく、エッジ抽出フィルタ又はエッジ強調フィルタを用いてコントラストを調整したりエッジを強調したりする処理を行ってもよい。また、画像処理部３１は、検出器１１から出力された画像データから、所定の大きさ又は範囲等の画像データを抽出するトリミング処理を行ってもよい。なお、画像処理部３１の機能は、検出器１１に備えられていてもよい。 (2-1. Image processing unit)
The image processing unit 31 processes the image data output from the detector 11 to generate inspection image data for use in inspection. For example, the image processing unit 31 performs a process of adjusting the contrast of the image data output from the detector 11 by using at least one of an expansion filter, a contraction filter, an averaging filter, and a median filter. You may also use an edge extraction filter or an edge enhancement filter to adjust the contrast or enhance the edges. Further, the image processing unit 31 may perform a trimming process for extracting image data having a predetermined size or range from the image data output from the detector 11. The function of the image processing unit 31 may be provided in the detector 11.

（２－２．演算部）
演算部３３は、検査対象の異常の判定に用いる異常判定モデルを生成する学習部３５と、生成された異常判定モデルを用いて検査対象の異常の判定を行う判定部３７とを備える。 (2-2. Arithmetic unit)
The calculation unit 33 includes a learning unit 35 that generates an abnormality determination model used for determining an abnormality of an inspection target, and a determination unit 37 that determines an abnormality of the inspection target using the generated abnormality determination model.

学習部３５は、異常判定に用いるための異常判定モデルを生成する。具体的に、学習部３５は、検査対象の異常の特徴パターンを表した画像データ（学習用データ）を入力データとして、異常判定モデルの機械学習を行う。生成された異常判定モデルは、メモリ２１又は記憶装置２３に格納され、判定部３７による異常判定処理に用いられる。本実施形態において、学習部３５を含む検査装置２０が、異常判定モデル生成装置としての機能を兼ねている。 The learning unit 35 generates an abnormality determination model for use in abnormality determination. Specifically, the learning unit 35 performs machine learning of the abnormality determination model using image data (learning data) representing the characteristic pattern of the abnormality to be inspected as input data. The generated abnormality determination model is stored in the memory 21 or the storage device 23, and is used for the abnormality determination process by the determination unit 37. In the present embodiment, the inspection device 20 including the learning unit 35 also functions as an abnormality determination model generation device.

本実施形態において、異常が生じている検査対象を実際に測定して得られた実画像データではなく、検査対象において生じ得る異常の特徴パターンを擬似して作成される擬似データが学習用データとして用いられる。擬似データは、例えば、実際に発生するキズの特徴パターンを参考にして、あるいは、ユーザの過去の知見又は経験則に基づいて、生じ得る異常の特徴パターンを人工的に描画して作成される。また、学習用データは、異常の特徴パターンを人工的に描画して作成された擬似データに基づいて、無作為に画像変換処理を行うことによって生成される擬似データを含んでもよい。これにより、新たな検査システム１００を構築する際に、あるいは、検査対象を新設した場合等において、実際に異常が生じる前に異常判定モデルを生成することができる。このような画像変換処理としては、例えば、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）に代表されるランダム画像生成アルゴリズムを用いることができる。ただし、画像生成アルゴリズムはＧＡＮに限定されない。 In the present embodiment, the learning data is not the actual image data obtained by actually measuring the inspection target in which the abnormality has occurred, but the pseudo data created by simulating the characteristic pattern of the abnormality that can occur in the inspection target. Used. The pseudo data is created by artificially drawing a characteristic pattern of anomalies that may occur, for example, with reference to the characteristic pattern of scratches that actually occur, or based on the past knowledge or empirical rule of the user. Further, the learning data may include pseudo data generated by performing image conversion processing at random based on pseudo data created by artificially drawing an abnormal feature pattern. This makes it possible to generate an abnormality determination model before an abnormality actually occurs when constructing a new inspection system 100 or when an inspection target is newly established. As such an image conversion process, for example, a random image generation algorithm typified by GAN (Generative Adversarial Network) can be used. However, the image generation algorithm is not limited to GAN.

また、異常の判定を行う際に、異常の有無だけでなく異常の種類を判別したい場合、異常の特徴パターンを人工的に描画して擬似データを作成する際に、異常の種類ごとに擬似データを分類してもよい。例えば、検査対象の表面にキズが発生する場合、破損が発生する場合、割れが発生する場合等、異常の種類によって現れる特徴パターンが異なる場合には、異常の種類ごとに擬似データを分類してもよい。 Also, when determining the abnormality, if you want to determine not only the presence or absence of the abnormality but also the type of abnormality, when creating pseudo data by artificially drawing the characteristic pattern of the abnormality, pseudo data for each type of abnormality. May be classified. For example, if the characteristic pattern that appears depends on the type of abnormality, such as when the surface of the inspection target is scratched, damaged, or cracked, the pseudo data is classified according to the type of abnormality. May be good.

学習部３５は、擬似データを学習用データとして用いて、機械学習モデルを利用して異常判定モデルを生成する。当該機械学習モデルは、既存の機械学習モデルのうち、画像データを教師データとする機械学習に利用可能な学習モデルのいずれであってもよい。例えば、機械学習モデルは、線形回帰、カルマンフィルタ等のフィルタ、サポートベクタマシン、ランダムフォレスト、近傍法、ディープラーニング等のニューラルネットワーク又はベイジアンネットワーク等を用いた計算モデルであってよい。 The learning unit 35 uses the pseudo data as learning data and generates an abnormality determination model using a machine learning model. The machine learning model may be any of the existing machine learning models that can be used for machine learning using image data as teacher data. For example, the machine learning model may be a calculation model using a linear regression, a filter such as a Kalman filter, a support vector machine, a random forest, a neighborhood method, a neural network such as deep learning, or a Bayesian network.

さらに、学習部３５は、画像処理部３１により生成された検査画像データと、後述する判定部３７により得られる異常判定結果の情報とに基づいて、異常判定モデルを更新してもよい。これにより、異常の特徴パターンを人工的に描画して作成された擬似データを用いて生成された異常判定モデルを、実際に取得された検査画像データの正常又は異常の判定結果に基づいて自動的に修正することができる。したがって、異常判定モデルを用いた検査結果の精度を向上させることができる。 Further, the learning unit 35 may update the abnormality determination model based on the inspection image data generated by the image processing unit 31 and the information of the abnormality determination result obtained by the determination unit 37 described later. As a result, the abnormality judgment model generated using the pseudo data created by artificially drawing the characteristic pattern of the abnormality is automatically calculated based on the normality or abnormality judgment result of the actually acquired inspection image data. Can be modified to. Therefore, the accuracy of the inspection result using the abnormality determination model can be improved.

判定部３７は、学習部３５により生成されメモリ２１又は記憶装置２３に格納された異常判定モデルを利用して、画像処理部３１により生成された検査画像データに基づき、検査対象の異常の判定を行う。具体的に、判定部３７は、検査画像データを異常判定モデルに入力し、異常判定モデルからの出力に基づいて検査対象の異常の有無を判別する。例えば、異常判定モデルにより、学習用データとして入力された擬似データに含まれる異常の特徴パターンに該当する特徴パターンが検査画像データに含まれる確率が算出される。判定部３７は、異常判定モデルから出力された確率が所定の閾値以上の場合、異常有りと判定する。 The determination unit 37 determines the abnormality of the inspection target based on the inspection image data generated by the image processing unit 31 by using the abnormality determination model generated by the learning unit 35 and stored in the memory 21 or the storage device 23. conduct. Specifically, the determination unit 37 inputs the inspection image data into the abnormality determination model, and determines whether or not there is an abnormality to be inspected based on the output from the abnormality determination model. For example, the abnormality determination model calculates the probability that the inspection image data includes the feature pattern corresponding to the abnormality feature pattern included in the pseudo data input as learning data. When the probability output from the abnormality determination model is equal to or greater than a predetermined threshold value, the determination unit 37 determines that there is an abnormality.

なお、異常判定モデルを利用した異常の判定方法は、上記の例に限られない。また、異常判定モデルにより、異常が発生している確率だけでなく、併せて異常の種類の分類が求められる場合、判定部３７は、検査対象の異常の有無を判定するだけでなく、異常の種類を判別する。 The abnormality determination method using the abnormality determination model is not limited to the above example. Further, when the abnormality determination model requires not only the probability that an abnormality has occurred but also the classification of the type of abnormality, the determination unit 37 not only determines the presence or absence of the abnormality to be inspected, but also determines the presence or absence of the abnormality. Determine the type.

（２－３．表示制御部）
表示制御部３９は、表示部１３に表示させる画像信号を生成し、表示部１３での表示を制御する。表示制御部３９は、少なくとも学習部３５及び判定部３７の処理結果を表示部１３に表示させる。例えば、表示制御部３９は、学習部３５による機械学習の実行時に、機械学習の条件の設定画面や進捗状況を表示部１３に表示させる。また、表示制御部３９は、判定部３７による異常判定処理の実行時に、判定結果を表示部１３に表示させる。ただし、表示部１３での表示内容は特に制限されるものではない。 (2-3. Display control unit)
The display control unit 39 generates an image signal to be displayed on the display unit 13 and controls the display on the display unit 13. The display control unit 39 causes the display unit 13 to display at least the processing results of the learning unit 35 and the determination unit 37. For example, the display control unit 39 causes the display unit 13 to display the setting screen of the machine learning conditions and the progress status when the machine learning is executed by the learning unit 35. Further, the display control unit 39 causes the display unit 13 to display the determination result when the abnormality determination process is executed by the determination unit 37. However, the display content on the display unit 13 is not particularly limited.

＜３．異常判定モデル生成方法＞
異常判定モデルの生成方法について説明する。 <3. Abnormality judgment model generation method>
The method of generating the abnormality judgment model will be described.

図３は、異常判定モデル生成方法の一例を示すフローチャートである。
まず、ユーザは、検査対象に生じ得る異常の特徴パターンを人工的に描画して擬似データを作成する（ステップＳ１１）。例えば、ユーザは、検査対象に生じ得る異常として、ユーザの考え得る異常の特徴パターンを描画し擬似データを生成する。考え得る異常の特徴パターンは、例えば、経験則に基づいて描画されるものであってよい。あるいは、異常の種類によっては、無作為に描画される特徴パターンであってもよい。本実施形態に係る検査装置２０による異常判定の対象は検査対象の外観に現れる異常である。具体的に、異常判定の対象となる異常は、例えば検査対象の表面に発生するキズや擦り傷、破断、変形、汚染物の付着等の少なくとも一つを含む。ユーザは、検査対象の使用環境や使用条件、過去に生じた異常の形状のパターン等を考慮して、考え得る異常の形状のパターンを描画し擬似データを生成する。 FIG. 3 is a flowchart showing an example of an abnormality determination model generation method.
First, the user artificially draws an abnormal feature pattern that may occur in the inspection target to create pseudo data (step S11). For example, the user draws a characteristic pattern of an abnormality that can be considered by the user as an abnormality that can occur in the inspection target, and generates pseudo data. Possible anomalous feature patterns may be, for example, drawn based on empirical rules. Alternatively, depending on the type of abnormality, it may be a feature pattern drawn at random. The target of abnormality determination by the inspection device 20 according to the present embodiment is an abnormality that appears in the appearance of the inspection target. Specifically, the abnormality to be determined for abnormality includes at least one such as scratches, scratches, breaks, deformations, and adhesion of contaminants generated on the surface of the inspection target. The user draws a pattern of a possible abnormal shape and generates pseudo data in consideration of the usage environment and conditions of the inspection target, the pattern of the abnormal shape that has occurred in the past, and the like.

例えば、ユーザは、図形描画ソフトを用いて異常の特徴パターンを描画し、データ変換処理を行って擬似データを生成してもよく、手書きで作成した異常の特徴パターンをデータ作成ソフトを利用して読込むことにより擬似データを生成してもよい。その他、異常の特徴パターンを人工的に描画して擬似データを作成する方法は、特に限定されるものではない。また、生成される擬似データの特徴パターンが過度に具体的に描画されていると、機械学習時にオーバーフィッティングを生じるおそれがある。このため、生成される擬似データの描画パターンは、異常の形状を詳細に描画したものではなく、簡略化されたものであることが好ましい。 For example, the user may draw an abnormal feature pattern using drawing software and perform data conversion processing to generate pseudo data, or use the data creation software to create an abnormal feature pattern by hand. Pseudo data may be generated by reading. In addition, the method of artificially drawing an abnormal feature pattern to create pseudo data is not particularly limited. Further, if the feature pattern of the generated pseudo data is drawn excessively concretely, overfitting may occur during machine learning. Therefore, it is preferable that the drawing pattern of the generated pseudo data is not a detailed drawing of the abnormal shape but a simplified drawing pattern.

次いで、ユーザは、ステップＳ１１で作成した擬似データに基づいて、無作為に画像変換処理を行うことにより新たな擬似データを追加して、機械学習用のデータセットを生成する（ステップＳ１３）。例えば、ユーザは、ＧＡＮ等のランダム画像生成アルゴリズムを実行可能な装置を用いて、ステップＳ１１で作成した擬似データの色調変換、線形変換等を実行し、さらに擬似データを作成する。このとき、擬似データの数が少なすぎると、オーバーフィッティングを生じて、未知の異常の特徴パターンに対応できなくなるおそれがある。このため、異常状態の検査対象を実際に測定して得られた画像データを検証用画像データとして用いて異常判定モデルの有効性を検証しながら、適切な数の学習用データを揃えることが好ましい。 Next, the user randomly performs image conversion processing based on the pseudo data created in step S11 to add new pseudo data and generate a data set for machine learning (step S13). For example, the user executes color tone conversion, linear conversion, and the like of the pseudo data created in step S11 using a device capable of executing a random image generation algorithm such as GAN, and further creates pseudo data. At this time, if the number of pseudo data is too small, overfitting may occur and it may not be possible to deal with the characteristic pattern of an unknown abnormality. Therefore, it is preferable to prepare an appropriate number of learning data while verifying the effectiveness of the abnormality judgment model by using the image data obtained by actually measuring the inspection target in the abnormal state as the verification image data. ..

図４は、機械学習用のデータセットの作成方法を示す説明図である。
例えば、検査対象の表面に発生するキズの検査を行うための異常判定モデルを生成するにあたり、検査対象の表面に発生したキズを実際に測定したときに、図４の上段に示したような特徴パターンを有する画像データＩｍｇ＿ａｃｔが得られるとする。 FIG. 4 is an explanatory diagram showing a method of creating a data set for machine learning.
For example, when generating an abnormality determination model for inspecting scratches on the surface of an inspection target, when the scratches on the surface of the inspection target are actually measured, the features shown in the upper part of FIG. 4 are shown. It is assumed that image data Img_act having a pattern can be obtained.

図４に示す例において、ユーザは、実際に発生するキズの特徴パターンを参考にして、あるいは、ユーザの過去の知見又は経験則に基づいて、生じ得るキズの特徴パターンを描画した擬似データＩｍｇ＿ｆａｋを作成する。さらに、ユーザは、作成した擬似データＩｍｇ＿ｆａｋに基づいて、無作為に画像変換処理を行って擬似データを追加し、所定数の擬似データからなる学習用データセットＩｍｇ＿ｔｃｈを生成する。 In the example shown in FIG. 4, the user draws pseudo data Img_fak in which the characteristic pattern of scratches that may occur is drawn with reference to the characteristic pattern of scratches that actually occurs or based on the user's past knowledge or empirical rules. create. Further, the user randomly performs image conversion processing based on the created pseudo data Img_fak to add pseudo data, and generates a learning data set Img_tic composed of a predetermined number of pseudo data.

なお、ステップＳ１１において作成される擬似データの数が、機会学習用のデータセットとして十分な数である場合、画像変換処理により擬似データを追加するステップＳ１３は省略されてもよい。また、生成される学習用データセットＩｍｇ＿ｔｃｈは、異常を生じている検査対象を実際に測定して得られた画像データを含んでいてもよい。 If the number of pseudo data created in step S11 is sufficient as a data set for opportunity learning, step S13 of adding pseudo data by image conversion processing may be omitted. Further, the generated learning data set Img_tch may include image data obtained by actually measuring an inspection target having an abnormality.

次いで、ユーザは、生成した機械学習用のデータセットを検査装置２０に入力し、学習部３５による機械学習を実行させ、異常判定モデルを生成する（ステップＳ１５）。上述のとおり、学習部３５は、画像データを教師データとする機械学習に利用可能な既存の機械学習モデルを利用して、異常判定モデルの機械学習を実行する。 Next, the user inputs the generated data set for machine learning to the inspection device 20, causes the learning unit 35 to execute machine learning, and generates an abnormality determination model (step S15). As described above, the learning unit 35 executes machine learning of the abnormality determination model by using an existing machine learning model that can be used for machine learning using image data as teacher data.

次いで、ユーザは、検査対象に生じた異常を実際に測定した検証用画像データを用いて、生成された異常判定モデルの有効性を検証する（ステップＳ１７）。有効性の検証に用いられる検証用画像データは、異常判定モデルの機械学習に用いられていない実画像データが使用される。検証用画像データは、例えば、図４に示したような異常を生じている画像データＩｍｇ＿ａｃｔと、異常を生じていない正常な状態の画像データとを含む。検証用画像データの数は、異常判定モデルの機械学習に用いた擬似データの数よりも多くてもよい。ユーザは、検証用画像データを異常判定モデルに入力して出力された判定結果の正答率のデータを取得する。 Next, the user verifies the validity of the generated abnormality determination model using the verification image data that actually measures the abnormality that has occurred in the inspection target (step S17). As the verification image data used for the validity verification, the actual image data not used for the machine learning of the abnormality determination model is used. The verification image data includes, for example, the image data Img_act in which an abnormality has occurred as shown in FIG. 4, and the image data in a normal state in which no abnormality has occurred. The number of verification image data may be larger than the number of pseudo data used for machine learning of the abnormality determination model. The user inputs the verification image data into the abnormality judgment model and acquires the data of the correct answer rate of the output judgment result.

次いで、ユーザは、取得した正答率が、所望の要件をクリアしているか否かを判別する（ステップＳ１９）。正答率が所望の要件をクリアしていない場合（Ｓ１９／Ｎｏ）、ユーザは、ステップＳ１１に戻り、新たに擬似データＩｍｇ＿ｆａｋを作成して、異常判定モデルの生成を再実行する。ステップＳ１１に戻る代わりに、ステップＳ１３に戻って、画像変換処理により擬似データを追加してもよい。これにより、異常判定モデルによる異常判定の結果の精度が高められるように適合される。 Next, the user determines whether or not the acquired correct answer rate satisfies the desired requirement (step S19). If the correct answer rate does not meet the desired requirement (S19 / No), the user returns to step S11, creates new pseudo data Img_fak, and re-executes the generation of the abnormality determination model. Instead of returning to step S11, it is possible to return to step S13 and add pseudo data by image conversion processing. This is adapted so that the accuracy of the result of the abnormality determination by the abnormality determination model is improved.

一方、正答率が所望の要件をクリアしている場合（Ｓ１９／Ｙｅｓ）、ユーザは、異常判定モデルを生成する作業を終了する。生成された異常判定モデルは、メモリ２１又は記憶装置２３に格納される。 On the other hand, when the correct answer rate clears the desired requirement (S19 / Yes), the user ends the work of generating the abnormality determination model. The generated abnormality determination model is stored in the memory 21 or the storage device 23.

なお、異常判定モデルは、異常の有無を判定するだけでなく、異常の種類を分類して出力可能なモデルであってもよい。例えば、異常判定モデルの機械学習に用いる学習用データセットＩｍｇ＿ｔｃｈの擬似データＩｍｇ＿ｆａｋを異常の種類に関連付けて機械学習を行い、異常判定モデルを生成する。これにより、異常判定モデルに検査画像データを入力して得られる判定結果から、検査対象に生じている異常を推定することができ、異常に対する対処や緊急度を選択することができる。 The abnormality determination model may be a model that can not only determine the presence or absence of an abnormality but also classify and output the types of anomalies. For example, the pseudo data Img_fak of the learning data set Img_tch used for machine learning of the abnormality determination model is associated with the type of abnormality to perform machine learning, and an abnormality determination model is generated. As a result, it is possible to estimate the abnormality occurring in the inspection target from the determination result obtained by inputting the inspection image data into the abnormality determination model, and it is possible to select the countermeasure and the urgency for the abnormality.

＜４．検査装置の動作＞
検査装置２０の判定部３７による異常判定処理の動作を説明する。 <4. Operation of inspection device>
The operation of the abnormality determination process by the determination unit 37 of the inspection device 20 will be described.

図５は、主として判定部３７により実行される検査対象の異常判定処理の動作を示すフローチャートである。 FIG. 5 is a flowchart showing the operation of the abnormality determination process of the inspection target mainly executed by the determination unit 37.

まず、画像処理部３１は、検出器１１から出力される検査対象を測定した画像データを取得し、当該画像データを画像処理することにより検査画像データを生成する（ステップＳ２１）。 First, the image processing unit 31 acquires the image data that measures the inspection target output from the detector 11, and generates the inspection image data by performing the image processing on the image data (step S21).

次いで、判定部３７は、生成された検査画像データを異常判定モデルに入力して、検査対象の異常の有無を判定する（ステップＳ２３）。例えば、判定部３７は、異常判定モデルから出力される判定結果として、異常の発生の確率のデータを取得し、異常の発生の確立が所定の閾値以上の場合に異常が発生していると判定する。 Next, the determination unit 37 inputs the generated inspection image data into the abnormality determination model and determines whether or not there is an abnormality in the inspection target (step S23). For example, the determination unit 37 acquires data on the probability of occurrence of an abnormality as a determination result output from the abnormality determination model, and determines that an abnormality has occurred when the probability of occurrence of the abnormality is equal to or greater than a predetermined threshold value. do.

次いで、表示制御部３９は、表示部１３の駆動信号を生成し、判定結果の情報を表示部１３に表示させる（ステップＳ２５）。表示制御部３９は、表示部１３への表示と合わせて、メモリ２１又は記憶装置２３へ判定結果のログを保存してもよい。また、検査対象に異常が発生している場合、表示制御部３９は、警告音等を発生させて、ユーザへの通知を行ってもよい。 Next, the display control unit 39 generates a drive signal for the display unit 13 and causes the display unit 13 to display the information of the determination result (step S25). The display control unit 39 may save the log of the determination result in the memory 21 or the storage device 23 together with the display on the display unit 13. Further, when an abnormality has occurred in the inspection target, the display control unit 39 may generate a warning sound or the like to notify the user.

なお、異常判定モデルが異常の有無だけでなく、生じている異常の種類を分類可能なモデルである場合、表示制御部３９は、異常判定モデルから出力される判定結果のデータに基づいて、異常の種類の情報を表示部１３に表示させてもよい。その際に、表示制御部３９は、異常の種類に応じた対処法や緊急度等の情報を併せて表示させてもよい。 If the abnormality determination model is a model that can classify not only the presence or absence of an abnormality but also the type of abnormality that has occurred, the display control unit 39 has an abnormality based on the determination result data output from the abnormality determination model. Information of the type may be displayed on the display unit 13. At that time, the display control unit 39 may also display information such as a coping method and an urgency according to the type of abnormality.

検査装置２０は、例えば、定点に固定された検出器１１により検査対象を測定した検査画像データを継続的に取得し、ステップＳ２１～ステップＳ２５の処理を繰り返すことにより、検査対象の異常を監視してもよい。あるいは、ユーザが、任意のタイミングで検出器１１により検査対象を測定し、得られた検査画像データに基づいて検査装置２０がステップＳ２１～ステップＳ２５の処理を実行し、検査対象の異常の有無を判定してもよい。 The inspection device 20 monitors, for example, an abnormality of the inspection target by continuously acquiring inspection image data obtained by measuring the inspection target by the detector 11 fixed at a fixed point and repeating the processes of steps S21 to S25. You may. Alternatively, the user measures the inspection target by the detector 11 at an arbitrary timing, and the inspection device 20 executes the processes of steps S21 to S25 based on the obtained inspection image data to determine the presence or absence of an abnormality in the inspection target. You may judge.

また、検査対象が、検出器１１と相対移動可能に構成され、検出器１１の測定範囲を順次通過するように配置された検査対象であり、検査装置２０は、検出器１１により検査対象を測定した検査画像データを継続的に取得し、ステップＳ２１～ステップＳ２５の処理を繰り返すことにより、検査対象の異常を監視してもよい。これにより、長尺の検査対象物であっても、同時に全体を測定することなく、異常判定モデルを用いて異常の有無を判定することができる。 Further, the inspection target is an inspection target configured to be movable relative to the detector 11 and arranged so as to sequentially pass through the measurement range of the detector 11, and the inspection device 20 measures the inspection target by the detector 11. The abnormality of the inspection target may be monitored by continuously acquiring the inspection image data and repeating the processes of steps S21 to S25. As a result, even if the object is long to be inspected, the presence or absence of an abnormality can be determined using the abnormality determination model without measuring the entire object at the same time.

＜５．適用例＞
本実施形態に係る検査装置２０を利用した検査システム１００の適用例について説明する。 <5. Application example>
An application example of the inspection system 100 using the inspection device 20 according to the present embodiment will be described.

（５－１．第１の例）
図６は、製品の製造ラインに適用した検査システム１００Ａの例を示す説明図である。図６に示す例において、２つの検出器１１ａ，１１ｂは、ベルトコンベア５５上を流れる機器に対して複数のアームロボット５１ａ～５１ｃ，５３を用いて部品を組付けて製品を生産する製造ラインを測定可能に設置されている。かかる製造ラインにおいて、例えば、アームロボット５１ａ～５１ｃやベルトコンベア５５の脚部５５ａに、他の物体との接触や摺動によってキズが発生するおそれがあるとする。 (5-1. First example)
FIG. 6 is an explanatory diagram showing an example of an inspection system 100A applied to a product manufacturing line. In the example shown in FIG. 6, the two detectors 11a and 11b are a production line for producing a product by assembling parts to the equipment flowing on the belt conveyor 55 using a plurality of arm robots 51a to 51c and 53. It is installed so that it can be measured. In such a production line, for example, it is assumed that the arm robots 51a to 51c and the legs 55a of the belt conveyor 55 may be scratched by contact with or sliding with other objects.

この場合、ユーザは、あらかじめ考え得るキズの特徴パターンを人工的に描画し、さらに画像変換処理を行って、複数の擬似データＩｍｇ＿ｆａｋを含む学習用データセットＩｍｇ＿ｔｃｈを生成する。また、ユーザは、あらかじめこれらの学習用データセットＩｍｇ＿ｔｃｈを入力データとして機械学習を行って異常判定モデルを生成しておく。そして、検査装置２０は、検出器１１ａ，１１ｂから出力される画像データから生成される検査画像データを異常判定モデルに入力し、異常判定モデルからの出力に基づいて異常の有無を判定する処理を繰り返し実行する。 In this case, the user artificially draws a characteristic pattern of scratches that can be considered in advance, and further performs image conversion processing to generate a learning data set Img_tch including a plurality of pseudo data Img_fak. Further, the user performs machine learning using these learning data sets Img_tch as input data in advance to generate an abnormality determination model. Then, the inspection device 20 inputs the inspection image data generated from the image data output from the detectors 11a and 11b into the abnormality determination model, and performs a process of determining the presence or absence of an abnormality based on the output from the abnormality determination model. Execute repeatedly.

これにより、アームロボット５１ａ～５１ｃ，５５等、検査対象が可動式の部分を含む場合であっても、製造ラインにキズ等の異常が発生していないかを監視することができる。また、キズ等の異常の特徴パターンを人工的に描画して作成した擬似データを学習用データとして用いて学習した異常判定モデルを用いて異常の有無を判定するため、実際に生じた異常の画像データがない場合であっても、あらかじめ想定される異常を検知することができる。図６に示した適用例は、例えば、倉庫内を移動するコンテナ上の箱や、工場又は倉庫内の床又は壁等、様々な検査対象の外観の検査システムとして用いることができる。 This makes it possible to monitor whether or not an abnormality such as a scratch has occurred on the production line even when the inspection target includes a movable portion such as the arm robots 51a to 51c and 55. In addition, in order to determine the presence or absence of anomalies using an anomaly judgment model learned using pseudo data created by artificially drawing a characteristic pattern of anomalies such as scratches as learning data, an image of the anomaly that actually occurred. Even when there is no data, it is possible to detect an abnormality that is expected in advance. The application example shown in FIG. 6 can be used as an inspection system for the appearance of various inspection objects such as a box on a container moving in a warehouse, a floor or a wall in a factory or a warehouse, and the like.

（５－２．第２の例）
図７は、ベルトコンベア６１上に載置されて搬送される検査対象品６３ａ～６３ｅの検査に適用した検査システム１００Ｂの例を示す。図７に示す例において、２つの検出器１１ｃ，１１ｄは、それぞれベルトコンベア６１の特定の測定範囲Ｒａ，Ｒｂに向けて設置されている。検査対象品６３ａ～６３ｅには、キズや擦り傷、汚れの付着、破損等が生じるおそれがあるとする。 (5-2. Second example)
FIG. 7 shows an example of the inspection system 100B applied to the inspection of the inspection target products 63a to 63e mounted on the belt conveyor 61 and conveyed. In the example shown in FIG. 7, the two detectors 11c and 11d are installed toward the specific measurement ranges Ra and Rb of the belt conveyor 61, respectively. It is assumed that the products 63a to 63e to be inspected may be scratched, scratched, soiled, damaged, or the like.

この場合、ユーザは、あらかじめ考え得る外観上の異常の特徴パターンや、正常な検査対象品６３ａ～６３ｅの外観には存在しない形状の特徴パターンを人工的に描画し、さらに画像変換処理を行って、複数の擬似データＩｍｇ＿ｆａｋを含む学習用データセットＩｍｇ＿ｔｃｈを生成する。また、ユーザは、あらかじめこれらの学習用データセットＩｍｇ＿ｔｃｈを入力データとして機械学習を行って異常判定モデルを生成しておく。そして、それぞれの測定範囲Ｒａ，Ｒｂを検査対象品６３ａ～６３ｅが順次通過する状態で、検査装置２０は、検出器１１ｃ，１１ｄから出力される画像データから生成される検査画像データを異常判定モデルに入力し、異常判定モデルからの出力に基づいて検査対象品６３ａ～６３ｅの異常の有無を判定する処理を繰り返し実行する。 In this case, the user artificially draws a characteristic pattern of an abnormal appearance that can be considered in advance and a characteristic pattern of a shape that does not exist in the appearance of the normal inspection target products 63a to 63e, and further performs image conversion processing. , Generate a training data set Img_tch containing a plurality of pseudo data Img_fak. Further, the user performs machine learning using these learning data sets Img_tch as input data in advance to generate an abnormality determination model. Then, in a state where the inspection target products 63a to 63e sequentially pass through the respective measurement ranges Ra and Rb, the inspection device 20 uses the inspection image data generated from the image data output from the detectors 11c and 11d as an abnormality determination model. Is input to, and the process of determining the presence or absence of an abnormality in the inspection target products 63a to 63e is repeatedly executed based on the output from the abnormality determination model.

これにより、検出器１１ｃ，１１ｄの測定範囲Ｒａ，Ｒｂを順次通過する検査対象品６３ａ～６３ｅの検査を自動で継続的に実行することができる。また、異常の特徴パターンを人工的に描画して作成した擬似データを学習用データとして用いて学習した異常判定モデルを用いて異常の有無を判定するため、実際に生じた異常の画像データがない場合であっても、あらかじめ想定される異常や未知の異常を検知することができる。 As a result, the inspection of the inspection target products 63a to 63e that sequentially pass through the measurement ranges Ra and Rb of the detectors 11c and 11d can be automatically and continuously executed. In addition, since the presence or absence of anomalies is determined using the anomaly determination model learned by using the pseudo data created by artificially drawing the characteristic pattern of the anomaly as learning data, there is no image data of the anomaly that actually occurred. Even in this case, it is possible to detect an abnormality expected in advance or an unknown abnormality.

なお、図７に示した適用例では、検出器１１ｃ，１１ｄの測定範囲Ｒａ，Ｒｂが固定され、当該測定範囲Ｒａ，Ｒｂを通過する検査対象品６３ａ～６３ｂを測定した画像データを用いて異常判定を行っていたが、検査対象品が移動することなく、検出器の測定範囲が検査対象品に対して相対移動するように検査システムを構築することもできる。また、検査対象品がベルトコンベア上に載置されて搬送される代わりに、検査対象品自体が検出器の測定範囲に対して相対移動するものであってもよい。図７に示した適用例は、例えば、電車や自動車等の車両の外観の検査システムとしても用いることができる。 In the application example shown in FIG. 7, the measurement ranges Ra and Rb of the detectors 11c and 11d are fixed, and an abnormality is made using image data obtained by measuring the inspection target products 63a to 63b passing through the measurement ranges Ra and Rb. Although the judgment was made, it is possible to construct an inspection system so that the measurement range of the detector moves relative to the inspection target product without moving the inspection target product. Further, instead of the product to be inspected being placed on the belt conveyor and conveyed, the product to be inspected itself may move relative to the measurement range of the detector. The application example shown in FIG. 7 can also be used as, for example, an inspection system for the appearance of a vehicle such as a train or an automobile.

＜６．効果＞
以上説明したように、本実施形態に係る異常判定モデル生成方法及び異常判定モデル生成装置によれば、異常判定に用いる異常判定モデルを生成するための学習用データとして、異常を生じている検査対象を実際に測定して得られた画像データではなく、異常の特徴パターンを擬似して作成される擬似データ（例えば、ユーザにより人工的に作成されたデータ等）が用いられる。したがって、異常の特徴パターンを含む学習用データを自由に生成することができるため、実際に異常を生じる前や特定の異常が生じたサンプル数が少ない場合であっても、知見又は経験則に照らしてあらかじめ想定される異常や、想定外の未知の異常を検知可能な異常判定モデルを生成することができる。また、あらかじめ異常と認識している学習用データを自由に生成することができるため、実際に測定した画像データを正常又は異常に分類したり、異常の種類ごとに分類したりする負担を軽減することができ、コストを低減することもできる。 <6. Effect>
As described above, according to the abnormality judgment model generation method and the abnormality judgment model generation device according to the present embodiment, the inspection target in which the abnormality has occurred is used as learning data for generating the abnormality judgment model used for the abnormality judgment. Instead of the image data obtained by actually measuring the above, pseudo data created by simulating an abnormal feature pattern (for example, data artificially created by a user) is used. Therefore, since learning data including characteristic patterns of anomalies can be freely generated, even before an anomaly actually occurs or even when the number of samples in which a specific anomaly occurs is small, in light of knowledge or empirical rules. It is possible to generate an abnormality determination model that can detect an abnormality that is expected in advance or an unexpected unknown abnormality. In addition, since learning data that is recognized as abnormal in advance can be freely generated, the burden of classifying the actually measured image data into normal or abnormal, or classifying by type of abnormality is reduced. It can be done and the cost can be reduced.

また、本実施形態によれば、擬似データを学習用データとして用いて機械学習により生成された異常判定モデルに対して、検査対象を実際に測定して取得した検証用画像データを用いて有効性を検証する。このため、生成された異常判定モデルの正答率が所望の正答率となるように学習用データを作成しながら、判定精度の高い異常判定モデルを生成することができる。したがって、ユーザが異常の特徴パターンを人工的に描画して作成された擬似データを用いる場合であっても、判定精度の高い異常判定モデルを生成することができる。 Further, according to the present embodiment, it is effective to use the verification image data obtained by actually measuring the inspection target for the abnormality determination model generated by machine learning using the pseudo data as the learning data. To verify. Therefore, it is possible to generate an abnormality determination model with high determination accuracy while creating learning data so that the correct answer rate of the generated abnormality determination model becomes a desired correct answer rate. Therefore, even when the user uses pseudo data created by artificially drawing an abnormality feature pattern, it is possible to generate an abnormality determination model with high determination accuracy.

また、本実施形態によれば、異常の特徴パターンをユーザが人工的に描画して作成された擬似データが学習用データとして用いられ得る。このため、様々な形状のパターンを特徴パターンとする学習用データを作成することができ、様々な異常を検知可能な異常判定モデルを生成することができる。また、異常の特徴パターンをユーザが人工的に描画して作成された擬似データが学習用データとして用いられ得るため、簡略化された形状のパターンを含む学習用データとすることができ、機械学習時にオーバーフィッティングを生じるおそれを低減することができる。 Further, according to the present embodiment, pseudo data created by the user artificially drawing an abnormal feature pattern can be used as learning data. Therefore, it is possible to create learning data having patterns of various shapes as characteristic patterns, and it is possible to generate an abnormality determination model capable of detecting various abnormalities. Further, since pseudo data created by artificially drawing an abnormal feature pattern by a user can be used as learning data, it can be used as learning data including a simplified shape pattern, and machine learning can be performed. It is possible to reduce the risk of overfitting at times.

また、本実施形態に係る検査装置によれば、上記の異常判定モデル生成方法及び異常判定モデル生成装置により生成された異常判定モデルを用いて、検査対象の外観の検査を行うことができる。したがって、実際に異常を生じる前や特定の異常が生じたサンプル数が少ない場合であっても、検査対象の外観に生じた異常が検出されやすくなって、判定精度を高めることができる。また、本実施形態に係る検査装置によれば、簡略化して描画された異常の特徴パターンを含む学習用データを用いて生成された、オーバーフィッティングが抑制された異常判定モデルを利用して異常判定が行われるため、検査対象の外観に生じた異常の判定精度を高めることができる。 Further, according to the inspection apparatus according to the present embodiment, the appearance of the inspection target can be inspected by using the abnormality determination model generation method and the abnormality determination model generated by the abnormality determination model generation apparatus. Therefore, even before an abnormality actually occurs or even when the number of samples in which a specific abnormality has occurred is small, the abnormality that has occurred in the appearance of the inspection target can be easily detected, and the determination accuracy can be improved. Further, according to the inspection apparatus according to the present embodiment, an abnormality determination model using an abnormality determination model in which overfitting is suppressed, which is generated by using learning data including a simplified and drawn abnormality feature pattern, is used for abnormality determination. Therefore, it is possible to improve the accuracy of determining an abnormality that has occurred in the appearance of the inspection target.

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。 Although the preferred embodiments of the present invention have been described in detail with reference to the accompanying drawings, the present invention is not limited to these examples. It is clear that a person having ordinary knowledge in the field of technology to which the present invention belongs can come up with various modifications or modifications within the scope of the technical ideas described in the claims. , These are also naturally understood to belong to the technical scope of the present invention.

例えば、上記本発明に係る異常判定モデル生成方法及び異常判定モデル生成装置並びに検査装置が適用される検査対象は、検査対象の画像データから特徴パターンを抽出可能な検査対象であれば、本発明を適用することができる。 For example, if the inspection target to which the abnormality determination model generation method, the abnormality determination model generation device, and the inspection device according to the present invention are applied is an inspection target capable of extracting a feature pattern from the image data of the inspection target, the present invention can be used. Can be applied.

また、学習用データセットＩｍｇ＿ｔｃｈは、擬似データのみによって構成されていなくてもよく、実際に検査対象を測定して取得した正常データ及び異常データの少なくとも一方を含んでいてもよい。 Further, the learning data set Img_tch does not have to be composed only of pseudo data, and may include at least one of normal data and abnormal data acquired by actually measuring the inspection target.

また、上記実施形態では、検査装置２０が学習部３５及び判定部３７を備える例を説明したが、本発明はかかる例に限定されない。例えば、学習部３５が、別の装置に備えられて、独立した異常判定モデル生成装置として構成されてもよい。この場合、学習部３５を含む異常判定モデル生成装置を用いてあらかじめ機械学習を行うことで異常判定モデルが生成され、判定部３７を含む検査装置２０のメモリ２１又は記憶装置２３に異常判定モデルが記憶される。 Further, in the above embodiment, an example in which the inspection device 20 includes a learning unit 35 and a determination unit 37 has been described, but the present invention is not limited to such an example. For example, the learning unit 35 may be provided in another device and configured as an independent abnormality determination model generation device. In this case, an abnormality determination model is generated by performing machine learning in advance using the abnormality determination model generation device including the learning unit 35, and the abnormality determination model is stored in the memory 21 or the storage device 23 of the inspection device 20 including the determination unit 37. It will be remembered.

さらに、リアルタイムで検査装置２０を用いて異常判定を行うのではなく、オフラインで異常判定を行う場合には、検査装置２０が画像処理部３１を含まずに構成されていてもよい。例えば、検出器１１から出力される画像データから抽出した検査画像データを記憶媒体に記憶させ、当該記憶媒体に記憶された検査画像データを検査装置２０の判定部３７に読み込ませるようにしてもよい。このように構成した場合であっても、検査装置２０は、異常判定モデルに基づいて検査対象の異常判定を行うことができる。 Further, when the abnormality determination is performed offline instead of using the inspection device 20 in real time, the inspection device 20 may be configured not to include the image processing unit 31. For example, the inspection image data extracted from the image data output from the detector 11 may be stored in a storage medium, and the inspection image data stored in the storage medium may be read by the determination unit 37 of the inspection device 20. .. Even in such a configuration, the inspection device 20 can determine the abnormality of the inspection target based on the abnormality determination model.

１…検査装置、３…検出器、７…表示部、１０…制御部、１１…画像処理部、１３…演算部、１５…学習部、１７…判定部、１９…表示制御部、２１…メモリ、２３…記憶装置
1 ... Inspection device, 3 ... Detector, 7 ... Display unit, 10 ... Control unit, 11 ... Image processing unit, 13 ... Calculation unit, 15 ... Learning unit, 17 ... Judgment unit, 19 ... Display control unit, 21 ... Memory , 23 ... Storage device

Claims (6)

検査対象を測定した検査画像データを入力データとして前記検査対象の異常を判定するための異常判定モデルを生成する異常判定モデル生成方法において、
検査対象の異常の特徴パターンを擬似した擬似データ（Ｉｍｇ＿ｆａｋ）に基づいて前記異常判定モデルを生成するための学習用データセット（Ｉｍｇ＿ｔｃｈ）を生成するステップと、
前記学習用データセット（Ｉｍｇ＿ｔｃｈ）を用いて前記異常判定モデルを生成するステップと、
を含むことを特徴とする異常判定モデル生成方法。 In the abnormality judgment model generation method for generating an abnormality judgment model for judging the abnormality of the inspection target by using the inspection image data obtained by measuring the inspection target as input data.
A step of generating a learning data set (Img_tch) for generating the abnormality determination model based on pseudo data (Img_fak) simulating the characteristic pattern of the abnormality to be inspected, and
A step of generating the abnormality determination model using the training data set (Img_tch), and
An abnormality determination model generation method characterized by including. 前記擬似データ（Ｉｍｇ＿ｆａｋ）の異常の特徴パターンは、検査対象を測定した実画像データではなく、ユーザにより作成された異常の特徴パターンであることを特徴とする請求項１に記載の異常判定モデル生成方法。 The abnormality determination model generation according to claim 1, wherein the abnormality characteristic pattern of the pseudo data (Img_fak) is not the actual image data obtained by measuring the inspection target but the abnormality characteristic pattern created by the user. Method. 前記擬似データ（Ｉｍｇ＿ｆａｋ）の異常の特徴パターンは、前記検査対象の表面に形成される異常の形状のパターンであることを特徴とする請求項１又は２に記載の異常判定モデル生成方法。 The abnormality determination model generation method according to claim 1 or 2, wherein the abnormality characteristic pattern of the pseudo data (Img_fak) is a pattern of an abnormality shape formed on the surface of the inspection target. 検査対象を測定した検査画像データを入力データとして前記検査対象の異常を判定するための異常判定モデルを生成する異常判定モデル生成装置（２０）において、
検査対象の異常の特徴パターンを擬似した擬似データ（Ｉｍｇ＿ｆａｋ）に基づいて生成された学習用データセット（Ｉｍｇ＿ｔｃｈ）を用いて前記異常判定モデルを生成する学習部（３５）を含むことを特徴とする異常判定モデル生成装置。 In the abnormality judgment model generator (20) that generates an abnormality judgment model for judging the abnormality of the inspection target by using the inspection image data obtained by measuring the inspection target as input data.
It is characterized by including a learning unit (35) that generates the abnormality determination model using a learning data set (Img_tch) generated based on pseudo data (Img_fak) simulating a characteristic pattern of an abnormality to be inspected. Abnormality judgment model generator. 検査対象を測定した検査画像データに基づいて前記検査対象の検査を行う検査装置（２０）において、
検査対象の異常の特徴パターンを擬似した擬似データ（Ｉｍｇ＿ｆａｋ）に基づいて生成された学習用データセット（Ｉｍｇ＿ｔｃｈ）を用いて生成された異常判定モデルを記憶する記憶部（２１，２３）と、
前記検査対象を測定した検査画像データを前記異常判定モデルに入力して前記検査対象の異常の有無を判定する判定部（３７）と、
を含むことを特徴とする検査装置。 In the inspection device (20) that inspects the inspection target based on the inspection image data obtained by measuring the inspection target.
A storage unit (21, 23) that stores an abnormality determination model generated using a learning data set (Img_tch) generated based on pseudo data (Img_fak) simulating a characteristic pattern of an abnormality to be inspected.
A determination unit (37) for inputting inspection image data obtained by measuring the inspection target into the abnormality determination model to determine the presence or absence of an abnormality in the inspection target, and a determination unit (37).
An inspection device characterized by including. 前記検査対象は、前記検査画像データの検出器（１１）の測定範囲（Ｒａ，Ｒｂ）と相対移動可能に構成され、前記検出器（１１）の測定範囲（Ｒａ，Ｒｂ）を順次通過するように配置された検査対象である、ことを特徴とする請求項５に記載の検査装置。
The inspection target is configured to be movable relative to the measurement range (Ra, Rb) of the detector (11) of the inspection image data, and sequentially passes through the measurement range (Ra, Rb) of the detector (11). The inspection device according to claim 5, wherein the inspection device is arranged in the above.
JP2020145295A 2020-08-31 2020-08-31 Abnormality determination model generation method, abnormality determination model generation device and inspection device Pending JP2022040531A (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020145295A JP2022040531A (en) 2020-08-31 2020-08-31 Abnormality determination model generation method, abnormality determination model generation device and inspection device
DE102021119598.5A DE102021119598A1 (en) 2020-08-31 2021-07-28 Abnormality judgment model generation method, abnormality judgment model generation apparatus and inspection apparatus
CN202111002232.7A CN114113101A (en) 2020-08-31 2021-08-30 Abnormality determination model generation method, abnormality determination model generation device, and inspection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020145295A JP2022040531A (en) 2020-08-31 2020-08-31 Abnormality determination model generation method, abnormality determination model generation device and inspection device

Publications (1)

Publication Number Publication Date
JP2022040531A true JP2022040531A (en) 2022-03-11

Family

ID=80221647

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020145295A Pending JP2022040531A (en) 2020-08-31 2020-08-31 Abnormality determination model generation method, abnormality determination model generation device and inspection device

Country Status (3)

Country Link
JP (1) JP2022040531A (en)
CN (1) CN114113101A (en)
DE (1) DE102021119598A1 (en)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6441980B2 (en) 2017-03-29 2018-12-19 三菱電機インフォメーションシステムズ株式会社 Method, computer and program for generating teacher images
JP6882772B2 (en) * 2017-07-11 2021-06-02 株式会社Ｒｉｓｔ Inspection equipment, inspection method and inspection program
JP6664557B2 (en) * 2017-09-14 2020-03-13 三菱電機株式会社 Deformation detection device
JP7106391B2 (en) * 2018-08-22 2022-07-26 株式会社Ye Digital Image determination method, image determination device, and image determination program
CN110599484B (en) * 2019-09-19 2023-01-10 京东方科技集团股份有限公司 Defect detection method, device and storage medium
CN110658202B (en) * 2019-09-30 2021-01-01 贵州航天云网科技有限公司 Industrial component appearance defect detection method based on deep learning
CN111179261A (en) * 2019-12-31 2020-05-19 深圳市太赫兹科技创新研究院 Defect detection method, system, terminal device and storage medium

Also Published As

Publication number Publication date
CN114113101A (en) 2022-03-01
DE102021119598A1 (en) 2022-03-03

Similar Documents

Publication Publication Date Title
US11715190B2 (en) Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device
KR20190063839A (en) Method and System for Machine Vision based Quality Inspection using Deep Learning in Manufacturing Process
JP7380019B2 (en) Data generation system, learning device, data generation device, data generation method, and data generation program
JP2021140739A (en) Program, method for creating learned model, information processing method and information processing device
JP7059883B2 (en) Learning device, image generator, learning method, and learning program
JP6749655B1 (en) Inspection device, abnormality detection method, computer program, learning model generation method, and learning model
EP3417424B1 (en) Real-time detection of object scanability
KR20160066927A (en) Apparatus and method for supporting computer aided diagnosis
US20220405586A1 (en) Model generation apparatus, estimation apparatus, model generation method, and computer-readable storage medium storing a model generation program
US11521120B2 (en) Inspection apparatus and machine learning method
JP7453813B2 (en) Inspection equipment, inspection methods, programs, learning devices, learning methods, and learned datasets
CN117173461A (en) Multi-visual task filling container defect detection method, system and medium
Xu et al. Tackling small data challenges in visual fire detection: a deep convolutional generative adversarial network approach
JP2022040531A (en) Abnormality determination model generation method, abnormality determination model generation device and inspection device
JPWO2019215746A5 (en)
CN115937991A (en) Human body tumbling identification method and device, computer equipment and storage medium
JP7414629B2 (en) Learning data processing device, learning device, learning data processing method, and program
Taesiri et al. A video game testing method utilizing deep learning
JP7407670B2 (en) Evaluation system, evaluation method, and evaluation program
JP7322560B2 (en) Program, information processing method and information processing apparatus
JP7460391B2 (en) LEARNING DEVICE, IMAGE INSPECTION DEVICE, PROGRAM, AND LEARNING METHOD
JP2023038060A (en) Label generation method, model generation method, label generation device, label generation program, model generation device, and model generation program
JPWO2020031423A1 (en) Object detection method, object detection device and computer program
CN111814764A (en) Lost article determining system
WO2023166776A1 (en) Appearance analysis system, appearance analysis method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230824

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240605