JP6981352B2 - Inspection management system, inspection management device and inspection management method - Google Patents

Inspection management system, inspection management device and inspection management method Download PDF

Info

Publication number
JP6981352B2
JP6981352B2 JP2018081064A JP2018081064A JP6981352B2 JP 6981352 B2 JP6981352 B2 JP 6981352B2 JP 2018081064 A JP2018081064 A JP 2018081064A JP 2018081064 A JP2018081064 A JP 2018081064A JP 6981352 B2 JP6981352 B2 JP 6981352B2
Authority
JP
Japan
Prior art keywords
defect
inspection management
inspection
management system
photographing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018081064A
Other languages
Japanese (ja)
Other versions
JP2019190891A (en
Inventor
清隆 植田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2018081064A priority Critical patent/JP6981352B2/en
Priority to KR1020190037102A priority patent/KR20190122550A/en
Priority to TW108111533A priority patent/TWI693397B/en
Priority to CN201910258395.8A priority patent/CN110390661A/en
Publication of JP2019190891A publication Critical patent/JP2019190891A/en
Application granted granted Critical
Publication of JP6981352B2 publication Critical patent/JP6981352B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/314—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry with comparison of measurements at specific and non-specific wavelengths
    • G01N21/3151—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry with comparison of measurements at specific and non-specific wavelengths using two sources of radiation of different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1765—Method using an image detector and processing of image signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Toxicology (AREA)
  • Textile Engineering (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、シート状の被検査物の異常箇所を検出する技術、特に、検出された異常を分析するための技術に関する。 The present invention relates to a technique for detecting an abnormal portion of a sheet-shaped object to be inspected, particularly a technique for analyzing the detected abnormality.

シート状物品を製造又は加工するための生産ラインでは、可視光や紫外光をシートに照射しその透過光又は反射光をカメラで撮影することにより得られる画像を用いて、シートにおける異常（異物混入、汚れ、シワなど。以下、欠陥ともいう。）を検出する検査装置が利用されている（例えば、特許文献１、特許文献２など）。 In a production line for manufacturing or processing sheet-shaped articles, an abnormality (foreign matter mixed) in the sheet is used by using an image obtained by irradiating the sheet with visible light or ultraviolet light and photographing the transmitted light or reflected light with a camera. , Dirt, wrinkles, etc., hereinafter also referred to as defects) are used (for example, Patent Document 1, Patent Document 2, etc.).

このような装置には、表面反射像、裏面反射像、透過画像、可視光画像、赤外光画像、などのように、異なる複数の撮影方法により被検査物を撮影して各画像で欠陥検出（良否判定）を行うものがあり、これによって、検査の精度を向上する（欠陥の見逃しを低減する）ことが図られている。 In such a device, an object to be inspected is photographed by a plurality of different photographing methods such as a front surface reflection image, a back surface reflection image, a transmitted image, a visible light image, an infrared light image, and defects are detected in each image. (Good / bad judgment) is performed, which improves the accuracy of the inspection (reduces the oversight of defects).

そして、上記のような装置を用いて、製品の欠陥を検出して不良品を除去するだけでなく、その検出された欠陥を発生要因（以下、種別ともいう）ごとに分類し、各欠陥の発生頻度をデータ化して、分析することで、製造商品の品質の状況把握や、製造工程の異常箇所の早期発見、予兆保全などに利用することも期待されている。 Then, using the above-mentioned device, not only the defect of the product is detected and the defective product is removed, but also the detected defect is classified according to the cause (hereinafter, also referred to as the type) of each defect. By converting the frequency of occurrence into data and analyzing it, it is expected that it will be used for grasping the quality status of manufactured products, early detection of abnormal parts in the manufacturing process, and predictive maintenance.

このように、欠陥種別で分類されたデータを有効活用するにあたっては、その発生数、分類などについて、正確であることが重要であるが、上記のように異なる複数の撮影方法（以下、検査方式ともいう）を用いる場合には、得られるデータの正確性を損ねる弊害が生じることもある。 In this way, in order to effectively utilize the data classified by defect type, it is important that the number of occurrences, classification, etc. are accurate, but as described above, a plurality of different imaging methods (hereinafter, inspection methods). When using (also referred to as), there may be an adverse effect that impairs the accuracy of the obtained data.

例えば、欠陥種別ごとの正確な欠陥数を求めようとしても、複数の検査方式を用いる場合には、一つの欠陥に対して複数の検査方式のそれぞれにおいて欠陥を検出することもあるため、各検査方式で得られる欠陥数を単純に合計した場合、その数が製品上の本来の欠陥数と合致しないといった問題が生じる。 For example, even if an attempt is made to obtain an accurate number of defects for each defect type, when a plurality of inspection methods are used, defects may be detected in each of the plurality of inspection methods for one defect, so that each inspection is performed. If the number of defects obtained by the method is simply summed up, there arises a problem that the number does not match the original number of defects on the product.

これに対し、特許文献２では、異なるカメラ装置で撮像された同一の欠陥についての欠陥情報を比較し、決定ルールに従って決定された異なるカメラ装置のうちの１つのカメラ装置で撮像された画像データに基づき抽出した欠陥情報を代表欠陥情報として決定し、表示する機能を備えた検査システムが提案されている。しかしながら、このような方法では、せっかく複数のカメラによって取得された、代表欠陥情報以外の欠陥画像データが間引かれ、有効に活用されないことになってしまう。 On the other hand, in Patent Document 2, defect information about the same defect captured by different camera devices is compared, and image data captured by one of the different camera devices determined according to a determination rule is obtained. An inspection system having a function of determining and displaying defect information extracted based on the defect information as representative defect information has been proposed. However, in such a method, defect image data other than the representative defect information acquired by a plurality of cameras is thinned out and cannot be effectively used.

また、欠陥の種別を分類するにあたって、欠陥画像を教師データとして深層学習させたＡＩを用いることも行われるが、教師データを登録する際に、欠陥種別の識別が困難である欠陥画像について、実際の欠陥種別とは異なる欠陥の種別と紐付けて登録を行ってしまうという人為的ミスも生じうる。さらに、この際には、本来は同一の欠陥を示しているはずの複数の欠陥画像データについて、検査方式ごとに別々の欠陥種別を登録してしまうといったことも生じるおそれもある。そして、このようにして登録された誤った教師データを用いて学習したＡＩによって分類されたデータは、正確性に疑義が生じることになる。 In addition, when classifying the types of defects, AI that has been deep-learned using the defect images as teacher data is also used, but when registering the teacher data, it is actually difficult to identify the defect types. There may be a human error in which the registration is performed in association with the defect type different from the defect type of. Further, in this case, there is a possibility that different defect types are registered for each inspection method for a plurality of defect image data that should originally indicate the same defect. Then, the data classified by AI learned using the erroneous teacher data registered in this way raises doubts about the accuracy.

また、複数の検査方式ごとに欠陥画像を取得し、これらを個別に欠陥種別と紐付けて登録を行うことは、検査方式の種類が多ければ、単純にその分だけ教師データ登録の手間が
増えることになり、非効率的でもあった。 In addition, acquiring defect images for each of multiple inspection methods and individually associating them with the defect type for registration increases the time and effort required to register teacher data if there are many types of inspection methods. As a result, it was also inefficient.

特開２０１５−１７２５１９号公報Japanese Unexamined Patent Publication No. 2015-172519 特許第５３０５００２号公報Japanese Patent No. 5305002

本発明は、上記のような実情に鑑みてなされたものであり、その目的とするところは、複数の異なる方式によって被検査物を撮影し、それぞれの撮影方式ごとに欠陥を検出するシート状物品の外観検査において、同一の欠陥を示す複数の欠陥画像データを個別に管理することによる弊害を低減することができる手段を提供することにある。 The present invention has been made in view of the above circumstances, and an object thereof is a sheet-like article in which an object to be inspected is photographed by a plurality of different methods and defects are detected for each of the photographing methods. It is an object of the present invention to provide a means capable of reducing the harmful effects of individually managing a plurality of defective image data showing the same defect in the visual inspection of the above.

上記の課題を解決するため、本発明に係る検査管理システムは、シート状の被検査物を検査するための検査管理システムであって、前記被検査物の外観を、異なる方式により撮影する２つ以上の撮影手段と、前記複数の撮影手段により撮影されたそれぞれの画像に基づいて、前記被検査物の欠陥を検出する検出手段と、を備える外観検査部と、前記複数の異なる方式の撮影手段ごとに、前記検出手段により検出された欠陥が撮影されている欠陥画像データが記録される記憶部と、前記記憶部に記録された前記欠陥画像データの集合のうち、前記被検査物における同一の欠陥が撮影されている複数の欠陥画像データを、１つの同一欠陥画像セットとして処理する同一欠陥画像統合手段を備える、検査管理部と、を有する。 In order to solve the above problems, the inspection management system according to the present invention is an inspection management system for inspecting a sheet-shaped inspected object, and two images of the appearance of the inspected object are taken by different methods. An appearance inspection unit including the above-mentioned photographing means and a detecting means for detecting a defect of the object to be inspected based on each image taken by the plurality of photographing means, and the plurality of different types of photographing means. For each, the same of the storage unit in which the defect image data in which the defect detected by the detection means is captured is recorded and the set of the defect image data recorded in the storage unit in the inspected object. It has an inspection management unit provided with the same defect image integrating means for processing a plurality of defect image data in which defects are photographed as one same defect image set.

ここで、「異なる方式により撮影」とは、例えば、撮影する被検査物の面が異なるものであってもよいし、検出する光の波長が異なるものであってもよいし、反射光を撮影するものと透過光を撮影するものとの違いであってもよい。また、「前記被検査物における同一の欠陥が撮影されている」ことについては、後述のように、被検査物における欠陥の位置が同一である場合にそのように認定すればよい。なお、システムを構成する各要素は、別体である必要は無く、全てが一体化された筐体に収まっていてもよいし、一部が一体となっていてもよい。 Here, "shooting by a different method" may mean, for example, that the surface of the object to be imaged is different, the wavelength of the light to be detected may be different, or the reflected light is photographed. It may be the difference between what is taken and what is taken with transmitted light. Further, regarding "the same defect in the inspected object is photographed", as will be described later, if the positions of the defects in the inspected object are the same, it may be recognized as such. It should be noted that each element constituting the system does not have to be a separate body, and all of them may be housed in an integrated housing, or some of them may be integrated.

上記のような構成によると、複数の方式によって被検査物を撮影し、被検査物における一つの欠陥について撮影方式の異なる複数の欠陥画像データが記録された場合であっても、同一の欠陥を示す複数のデータを１セットとして管理できる。これによって、同一の欠陥を示す複数の欠陥画像データを個別に管理することによる弊害を低減することができる。 According to the above configuration, the same defect is detected even when the inspected object is photographed by a plurality of methods and a plurality of defect image data having different imaging methods are recorded for one defect in the inspected object. A plurality of indicated data can be managed as one set. This makes it possible to reduce the harmful effects of individually managing a plurality of defective image data showing the same defect.

また、前記検査管理部は、前記同一欠陥画像セットの数を計数して、所定の検査単位ごとに、欠陥数を算出する欠陥計数手段をさらに備えていてもよい。ここで、「所定の検査単位」は、ユーザーが任意のタイミングで設定・変更することもできる。このような構成であると、同一の欠陥について撮影された複数の欠陥画像を個別に計数するのではなく、被検査物における欠陥ごとに欠陥数を計数することになるため、正確な欠陥数を算出することができる。 Further, the inspection management unit may further include a defect counting means for counting the number of the same defect image sets and calculating the number of defects for each predetermined inspection unit. Here, the "predetermined inspection unit" can be set and changed by the user at any time. With such a configuration, the number of defects is counted for each defect in the inspected object, instead of individually counting a plurality of defect images taken for the same defect, so that the exact number of defects can be determined. Can be calculated.

さらに、前記検査管理システムは、出力部をさらに有しており、前記検査管理部は、前記算出された欠陥数が所定の値を超えた場合に、その旨を前記出力部を介して通知する欠陥数警告手段をさらに備えていてもよい。このような構成を取ることによって、欠陥数が所定の値を超えた場合に、ユーザーはそのことを容易に知ることができるため、効率的に
検査管理を行うことが可能になる。 Further, the inspection management system further has an output unit, and when the calculated number of defects exceeds a predetermined value, the inspection management unit notifies to that effect via the output unit. Further, a defect number warning means may be provided. By adopting such a configuration, when the number of defects exceeds a predetermined value, the user can easily know the fact, so that the inspection management can be performed efficiently.

なお、出力部はユーザーが知覚可能な方法で通知を行うものであればよく、例えば、液晶ディスプレイなどの表示装置であってもよいし、スピーカーなどの音声出力装置であってもよいし、印刷装置であってもよい。また、これらを併用して通知を行うものであってもよい。 The output unit may be a display device such as a liquid crystal display, an audio output device such as a speaker, or printing, as long as the output unit gives notification in a manner perceptible to the user. It may be a device. Further, the notification may be performed by using these in combination.

また、前記検査管理部は、前記同一欠陥画像セットごとに、前記欠陥の種別を分類する、欠陥種別分類手段をさらに備えていてもよい。このような構成であると、本来は同一の欠陥を示しているはずの複数の欠陥画像データについて、複数の異なる撮影手段ごとに別々の欠陥種別に分類してしまうといったことを防止することができる。 Further, the inspection management unit may further include a defect type classification means for classifying the type of the defect for each of the same defect image set. With such a configuration, it is possible to prevent a plurality of defective image data that should originally indicate the same defect from being classified into different defect types for each of a plurality of different photographing means. ..

また、前記検査管理部は、前記欠陥種別分類手段によって分類された欠陥種別ごとに前記同一欠陥画像セットの数を計数し、所定の検査単位ごとに、欠陥種別ごとの欠陥数を算出する、欠陥種別計数手段をさらに備えていてもよい。このような構成であると、欠陥種別ごとに、正確な欠陥数を求めることができる。 Further, the inspection management unit counts the number of the same defect image sets for each defect type classified by the defect type classification means, and calculates the number of defects for each defect type for each predetermined inspection unit. Further, the type counting means may be provided. With such a configuration, it is possible to obtain an accurate number of defects for each defect type.

また、前記検査管理システムは、出力部を有しており、前記検査管理部は、前記算出された欠陥種別ごとの欠陥数が、該欠陥種別ごとに定められた所定の値を超えた場合に、その旨を前記出力部を介して通知する欠陥種別欠陥数警告手段をさらに備えていてもよい。なお、欠陥種別欠陥数警告手段は、所定の値を超えた欠陥の種別についても併せて通知するものであってもよい。このような構成であると、ユーザーは欠陥種別ごとに、欠陥数が所定の値を超えた場合にそのことを知ることができ、より詳細な検査管理を行うことが可能になる。 Further, the inspection management system has an output unit, and the inspection management unit has a case where the calculated number of defects for each defect type exceeds a predetermined value determined for each defect type. , A defect type defect number warning means for notifying that fact via the output unit may be further provided. The defect type defect number warning means may also notify the defect type exceeding a predetermined value. With such a configuration, the user can know when the number of defects exceeds a predetermined value for each defect type, and more detailed inspection management can be performed.

なお、検査システムが前記欠陥数警告手段も備える構成である場合には、出力部は前記欠陥数警告手段と共通の構成であってもよい。 If the inspection system is also configured to include the defect number warning means, the output unit may have the same configuration as the defect number warning means.

また、前記欠陥種別分類手段は、深層学習の手法により学習済みの推論手段を含んでいてもよい。近年、深層学習の手法を用いた人工知能による画像認識技術が高い成果を上げており、このような技術を用いることで、欠陥種別の分類を、効率よく自動で行うことができる。 Further, the defect type classification means may include inference means that have been learned by the deep learning method. In recent years, image recognition technology using artificial intelligence using deep learning techniques has achieved high results, and by using such technology, it is possible to efficiently and automatically classify defect types.

また、前記検査管理システムは、表示部をさらに有しており、前記検査管理部は、前記表示部に、前記同一欠陥画像セットごとに該セットを構成する欠陥画像データを同時に表示し、該表示された欠陥画像データのセットに対応する欠陥種別の登録をユーザーに求める、深層学習用教師データ登録手段をさらに備えていてもよい。 Further, the inspection management system further includes a display unit, and the inspection management unit simultaneously displays the defect image data constituting the set for each of the same defect image sets on the display unit, and displays the display unit. Further, a teacher data registration means for deep learning may be provided, which requires the user to register the defect type corresponding to the set of defect image data.

ここで、表示部とは、一般的には液晶ディスプレイなどのディスプレイ装置であるが、プロジェクタによる表示など、他の表示手段を用いるものであっても構わない。上記のような構成によると、同一の欠陥を示す欠陥画像データについては一括で登録を行うことができ、効率的に教師データの登録を行うことができる。また、ユーザーは同一欠陥画像セットに含まれる複数の検査方式による欠陥画像を見比べて欠陥種別を決定、登録する事ができるため、個別の欠陥画像データのみを対象として欠陥種別の登録を行うのに比べ、欠陥種別の選択を誤ったり、判断に時間を要したりすることを低減することができる。 Here, the display unit is generally a display device such as a liquid crystal display, but may use another display means such as a display by a projector. According to the above configuration, defective image data showing the same defect can be collectively registered, and teacher data can be efficiently registered. In addition, since the user can determine and register the defect type by comparing the defect images by multiple inspection methods included in the same defect image set, it is possible to register the defect type only for the individual defect image data. In comparison, it is possible to reduce the mistaken selection of the defect type and the time required for judgment.

また、前記欠陥種別分類手段は、前記同一欠陥画像セットの欠陥種別の分類を、所定の確度以上の正確さで行えない場合には、該同一欠陥画像セットについての欠陥種別を不明として分類してもよい。このような構成によると、確度の高くない欠陥種別の分類を無理に行うことで、結果的に得られるデータの信頼度を下げることを防止することができる。 Further, when the defect type classification means cannot classify the defect type of the same defect image set with an accuracy higher than a predetermined accuracy, the defect type classification means classifies the defect type of the same defect image set as unknown. May be good. According to such a configuration, it is possible to prevent the reliability of the resulting data from being lowered by forcibly classifying the defect types with low accuracy.

また、前記欠陥種別分類手段は、欠陥種別を不明として分類した前記同一欠陥画像セットについて、ユーザーによる欠陥種別の分類を求めるものであってもよい。このような構成によると、欠陥種別が不明として分類された同一欠陥画像セットがそのまま分類不明なデータとして残ることを防止することができる。 Further, the defect type classification means may request the user to classify the defect type for the same defect image set in which the defect type is classified as unknown. According to such a configuration, it is possible to prevent the same defect image set classified as having an unknown defect type from remaining as data of unknown classification.

また、前記被検査物の外観を異なる方式により撮影する２つ以上の撮影手段は、前記被検査物の第１の面で反射した反射光による画像を撮影する表面撮影手段、前記被検査物の第１の面と反対側の第２の面で反射した反射光による画像を撮影する裏面撮影手段、及び、前記被検査物を透過した透過光による画像を撮影する透過光撮影手段のうち、いずれか２つ以上を含むものであってもよい。このような構成によると、多様な欠陥の種類に対応して、欠陥の検出及び／又は分類を行うことができる。 Further, the two or more photographing means for photographing the appearance of the object to be inspected by different methods are a surface photographing means for photographing an image by the reflected light reflected by the first surface of the object to be inspected, and the object to be inspected. Either a back surface photographing means for photographing an image by the reflected light reflected by the second surface opposite to the first surface, or a transmitted light photographing means for photographing an image by the transmitted light transmitted through the object to be inspected. Or may include two or more. With such a configuration, defects can be detected and / or classified according to various types of defects.

また、前記被検査物の外観を異なる方式により撮影する２つ以上の撮影手段は、第１の波長の光によって前記被検査物を撮影する第１波長撮影手段と、前記第１の波長とは異なる波長の光によって前記被検査物を撮影する第２波長撮影手段、とを含むものであってもよい。このような構成によると、多様な欠陥の種類に対応して、欠陥の検出及び／又は分類を行うことができる。 Further, the two or more photographing means for photographing the appearance of the object to be inspected by different methods are the first wavelength photographing means for photographing the object to be inspected by the light of the first wavelength and the first wavelength. It may include a second wavelength photographing means for photographing the object to be inspected by light having a different wavelength. With such a configuration, defects can be detected and / or classified according to various types of defects.

また、前記同一欠陥画像統合手段は、前記被検査物における前記欠陥の位置が同一の範囲内である複数の異なる欠陥画像データを、１つの同一欠陥画像セットとして統合してもよい。 Further, the same defect image integrating means may integrate a plurality of different defect image data in which the positions of the defects in the inspected object are within the same range as one same defect image set.

ここで、「位置が同一の範囲内」とは、完全に位置が一致するものに限らず、所定の許容範囲内にあるものを含む意味である。複数の欠陥画像データにおいて、撮影されている欠陥が同一のものであるか否かを識別する方法として、製品における欠陥の位置が同じであるものは、同一の欠陥が撮影された画像データであると認定する方法を採用することができる。被検査物における欠陥の位置を特定するには、例えば、予め定まっている、各撮影手段の配置場所、撮影範囲、被検査物の搬送速度、などに基づいて、欠陥の位置を算出すればよい。 Here, "within the same range of positions" is not limited to those having completely the same positions, but includes those within a predetermined allowable range. In a plurality of defect image data, as a method of identifying whether or not the defect being photographed is the same, the one having the same defect position in the product is the image data in which the same defect is photographed. It is possible to adopt the method of certifying. In order to specify the position of the defect in the inspected object, for example, the position of the defect may be calculated based on a predetermined arrangement location of each imaging means, an imaging range, a transport speed of the inspected object, and the like. ..

また、上記の課題を解決するため、本発明に係る検査管理装置は、シート状の被検査物の外観を異なる複数の撮影方式により撮影して取得した欠陥画像データを処理する検査管理装置であって、前記欠陥画像データの集合から、前記被検査物における同一の欠陥が撮影されている複数の欠陥画像データを、１つの同一欠陥画像セットとして処理する、同一欠陥画像統合手段を備える。 Further, in order to solve the above problems, the inspection management device according to the present invention is an inspection management device that processes defect image data obtained by photographing the appearance of a sheet-shaped object to be inspected by a plurality of different photographing methods. Further, the same defect image integrating means for processing a plurality of defect image data in which the same defect in the inspected object is photographed as one same defect image set from the set of the defect image data is provided.

また、上記の課題を解決するため、本発明に係る検査管理方法はシート状の被検査物の外観検査を管理する方法であって、前記被検査物を２つ以上の異なる方式により撮影する第１ステップと、前記第１ステップで撮影された複数の異なる撮影方式による被検査物の画像に基づいて、前記被検査物の欠陥を検出する第２ステップと、前記第２ステップで検出された欠陥が撮影されている欠陥画像データを記録する第３ステップと、前記第３ステップで記録された欠陥画像データの集合のうち、前記被検査物における同一の欠陥が撮影されている複数の欠陥画像データを、１つの同一欠陥画像セットとして統合する第４ステップと、所定の検査単位ごとに、前記第４ステップで統合された同一欠陥画像セットの数を計数して、欠陥数を算出する第５のステップと、を有する。 Further, in order to solve the above-mentioned problems, the inspection management method according to the present invention is a method for managing the appearance inspection of a sheet-shaped inspected object, and the inspected object is photographed by two or more different methods. A second step of detecting defects in the inspected object based on one step and images of the inspected object taken by a plurality of different imaging methods taken in the first step, and a defect detected in the second step. Of the third step of recording the defect image data in which the image is taken and the set of defect image data recorded in the third step, a plurality of defect image data in which the same defect in the inspected object is photographed. The fourth step of integrating the same defect image set as one and the fifth step of calculating the number of defects by counting the number of the same defect image sets integrated in the fourth step for each predetermined inspection unit. With steps.

また、前記検査管理方法は、前記第５のステップで算出された欠陥数が所定の値を超えた場合に、その旨を通知する第６のステップをさらに有していてもよい。 Further, the inspection management method may further include a sixth step of notifying when the number of defects calculated in the fifth step exceeds a predetermined value.

なお、上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。 The above processes and means can be freely combined and carried out as long as there is no technical contradiction.

本発明によれば、複数の異なる方式によって被検査物を撮影し、それぞれの撮影方式ごとに欠陥を検出するシート状物品の外観検査において、同一の欠陥を示す複数の欠陥画像データを個別に管理することによる弊害を低減することができる。 According to the present invention, in the visual inspection of a sheet-like article in which an object to be inspected is photographed by a plurality of different methods and defects are detected for each imaging method, a plurality of defect image data showing the same defect are individually managed. It is possible to reduce the harmful effects of doing so.

図１は、適用例に係る検査管理システムの構成例を模式的に示す図である。FIG. 1 is a diagram schematically showing a configuration example of an inspection management system according to an application example. 図２は、適用例に係る検査管理システムにおいて行われる処理の流れを示すフローチャートである。FIG. 2 is a flowchart showing a flow of processing performed in the inspection management system according to the application example. 図３は、実施例に係る検査管理システムの構成例を模式的に示す図である。FIG. 3 is a diagram schematically showing a configuration example of the inspection management system according to the embodiment. 図４は、実施例における欠陥種別分類の処理の流れを示すフローチャートである。FIG. 4 is a flowchart showing the flow of the defect type classification process in the embodiment.

以下、図面を参照して、本発明の実施形態の一例について説明する。 Hereinafter, an example of an embodiment of the present invention will be described with reference to the drawings.

＜適用例＞
本発明は例えば、図１に示すような検査管理システム９として適用することができる。図１は本適用例に係る検査管理システム９の構成例を模式的に示す図である。検査管理システム９は、シート状の物品の欠陥の検出、及び、検査に係る情報の管理を行うシステムであり、主要な構成要素として、照明系の表面反射光源９１１、裏面反射光源９１２、透過光源９１３と、測定系としての表面撮影カメラ９２１、裏面撮影カメラ９２２と、制御端末９３と、搬送機構（図示しない）、とを備えている。 <Application example>
The present invention can be applied, for example, as an inspection management system 9 as shown in FIG. FIG. 1 is a diagram schematically showing a configuration example of an inspection management system 9 according to this application example. The inspection management system 9 is a system that detects defects in sheet-shaped articles and manages information related to inspection, and its main components are a front surface reflection light source 911, a back surface reflection light source 912, and a transmission light source of a lighting system. It includes a 913, a front surface photographing camera 921 as a measurement system, a back surface photographing camera 922, a control terminal 93, and a transfer mechanism (not shown).

図１に示すように、被検査物Ｔは、図示しない搬送機構によって、水平方向（矢印方向）に搬送され、その搬送中に測定系によって被検査物Ｔの外観画像が連続的に取得され、これに基づいて検査が実施される。被検査物Ｔは、シート状に形成されており、例えば、紙、布、フィルム、樹脂、セルロースなどが例示できる。また、単一素材に限られず、フィルムと不織布を貼り合わせた包装紙などのように、複数の層を有するようなシート体であってもよい。さらに、乾燥海苔などの食品であってもよい。 As shown in FIG. 1, the inspected object T is conveyed in the horizontal direction (arrow direction) by a conveying mechanism (not shown), and an external image of the inspected object T is continuously acquired by a measurement system during the conveying. The inspection is carried out based on this. The object T to be inspected is formed in a sheet shape, and examples thereof include paper, cloth, film, resin, and cellulose. Further, the present invention is not limited to a single material, and may be a sheet body having a plurality of layers, such as a wrapping paper in which a film and a non-woven fabric are bonded together. Further, it may be a food such as dried seaweed.

照明系の表面反射光源９１１は可視光（例えば白色光）を被検査物Ｔの表面（第１の面）に対して照射するように配置され、裏面反射光源９１２は同じく可視光を被検査物Ｔの裏面（第２の面）に対して照射するように配置される。また、透過光源９１３は赤外線を、被検査物Ｔの裏面（第２の面）に対して照射するように配置されている。 The front surface reflection light source 911 of the illumination system is arranged so as to irradiate the surface (first surface) of the object T to be inspected with visible light (for example, white light), and the back surface reflection light source 912 also irradiates visible light to the inspected object. It is arranged so as to irradiate the back surface (second surface) of T. Further, the transmission light source 913 is arranged so as to irradiate the back surface (second surface) of the object T to be inspected with infrared rays.

測定系の表面撮影カメラ９２１は、図示しないが、信号出力部、可視光受光センサ、赤外線受光センサ、分光プリズム、レンズを備えており、被検査物Ｔの表面を撮像するように配置される。具体的には、表面反射光源９１１から照射され被検査物Ｔの表面で反射した光（以下、表面反射光という）、透過光源９１３から照射され、被検査物Ｔを透過した赤外線（以下、透過光という）、によって被検査物Ｔを撮影する。分光プリズムはカメラに入光した光を、少なくとも可視光領域の波長の光と、赤外線に分光し、対応する各センサに受光させる。センサには、例えばＣＣＤ又はＣＭＯＳセンサを用いる事ができる。 Although not shown, the surface photographing camera 921 of the measurement system includes a signal output unit, a visible light light receiving sensor, an infrared light receiving sensor, a spectroscopic prism, and a lens, and is arranged so as to image the surface of the object T to be inspected. Specifically, light emitted from the surface reflection light source 911 and reflected on the surface of the object T to be inspected (hereinafter referred to as surface reflected light), infrared rays irradiated from the transmitted light source 913 and transmitted through the object T to be inspected (hereinafter referred to as transmitted light). The object T to be inspected is photographed by light). The spectroscopic prism splits the light entering the camera into light having a wavelength in at least the visible light region and infrared light, and causes each corresponding sensor to receive the light. As the sensor, for example, a CCD or CMOS sensor can be used.

また、裏面撮影カメラ９２２は、図示しないが、信号出力部、可視光領域の光を検知可能な受光センサ、レンズを備えており、被検査物Ｔの裏面を撮像するように配置される。具体的には、裏面反射光源９１２から照射され被検査物Ｔの裏面で反射した光（以下、裏
面反射光という）により被検査物Ｔを撮影する。受光センサには、例えばＣＣＤ又はＣＭＯＳセンサを用いる事ができる。 Although not shown, the back surface photographing camera 922 includes a signal output unit, a light receiving sensor capable of detecting light in the visible light region, and a lens, and is arranged so as to image the back surface of the object T to be inspected. Specifically, the object T to be inspected is photographed by the light emitted from the back surface reflection light source 912 and reflected on the back surface of the object T to be inspected (hereinafter referred to as the back surface reflected light). As the light receiving sensor, for example, a CCD or CMOS sensor can be used.

制御端末９３は、照明系、測定系、搬送機構の制御を行うとともに、検査に係る各種情報の処理を行う。ハードウェア構成としては、各種入出力装置、プロセッサ、記憶装置、などを備えており、機能モジュールとして、欠陥検出部９３１、欠陥位置特定部９３２、欠陥画像記憶部９３３、同一欠陥画像統合部９３４、欠陥計数部９３５、欠陥数警告部９３６、欠陥種別分類部９３７を備えている。 The control terminal 93 controls the lighting system, the measurement system, and the transport mechanism, and processes various information related to the inspection. The hardware configuration includes various input / output devices, processors, storage devices, etc., and as functional modules, defect detection unit 931, defect position identification unit 932, defect image storage unit 933, same defect image integration unit 934, It includes a defect counting unit 935, a defect number warning unit 936, and a defect type classification unit 937.

欠陥検出部９３１は、測定系の各カメラから入力された画像信号に基づいて、被検査物Ｔに含まれる欠陥の検出を行う。欠陥の検出は、例えば撮影された画像から得られる特徴量が所定の閾値から逸脱していないかを判定することによって行われる。特徴量には、例えば、輝度などを用いる事ができ、明度、彩度、色相などを用いてもよい。 The defect detection unit 931 detects the defect contained in the object T to be inspected based on the image signal input from each camera of the measurement system. Defect detection is performed, for example, by determining whether the feature amount obtained from the captured image does not deviate from a predetermined threshold value. For the feature amount, for example, brightness and the like can be used, and lightness, saturation, hue and the like may be used.

本適用例においては、表面撮影カメラ９２１が撮影する、表面反射光による画像（以下、表面反射画像という）、及び透過光による画像（以下、透過画像という）と、裏面撮影カメラ９２２が撮影する、裏面反射光による画像（以下、裏面反射画像という）のそれぞれに対して、特徴量の判定が行われる。 In this application example, an image taken by the front surface photographing camera 921 (hereinafter referred to as a surface reflected image), an image by transmitted light (hereinafter referred to as a transmitted image), and an image taken by the back surface photographing camera 922 are taken. The feature amount is determined for each of the backside reflected light images (hereinafter referred to as backside reflected images).

欠陥位置特定部９３２は、欠陥が検出された場合に、当該欠陥が被検査物Ｔのどの箇所に位置するのかを特定する。位置の特定は例えば、予め定まっている被検査物Ｔの搬送速度、カメラの設置位置、被検査物Ｔの大きさ、及び、検査開始からの経過時間、に基づいて行うことができる。 When a defect is detected, the defect position specifying unit 932 identifies the position of the defect in the inspected object T. The position can be specified, for example, based on a predetermined transfer speed of the object T to be inspected, a camera installation position, a size of the object T to be inspected, and an elapsed time from the start of the inspection.

欠陥画像記憶部９３３は、欠陥が検出された場合に、各カメラによって撮影された当該欠陥の画像（以下、欠陥画像という）を、欠陥位置特定部９３２が特定した当該欠陥の位置の情報と関連づけて記憶装置に記録する。また、欠陥が検出された撮影方式の画像だけで無く、他の撮影方式の対応する箇所の画像も記憶装置に記録する。 When a defect is detected, the defect image storage unit 933 associates the image of the defect taken by each camera (hereinafter referred to as a defect image) with the information on the position of the defect specified by the defect position identification unit 932. And record in the storage device. Further, not only the image of the photographing method in which the defect is detected but also the image of the corresponding portion of the other photographing method is recorded in the storage device.

同一欠陥画像統合部９３４は、欠陥位置特定部９３２が特定した欠陥の位置が同じである複数の異なる欠陥画像が記憶装置に記録された場合に、当該欠陥の位置が同じである複数の画像を、一組の同一欠陥画像セットとして紐付ける。このようにしてセットにされた複数の欠陥画像は、以後、表示装置への表示、各種データ分析などの際に、一体的に処理される。また、当該同一欠陥画像セットを、セットとして改めて記憶装置に記録するようにしてもよい。 The same defect image integration unit 934 displays a plurality of images having the same defect position when a plurality of different defect images having the same defect position specified by the defect position identification unit 932 are recorded in the storage device. , Link as a set of identical defective images. The plurality of defect images set in this way are integrally processed thereafter when displaying on a display device, analyzing various data, and the like. Further, the same defective image set may be recorded in the storage device again as a set.

欠陥計数部９３５は、所定の検査単位ごとに、同一欠陥画像セットの数を計数し、当該検査単位あたりの欠陥数を算出する。ここで、所定の検査単位とは、所定数（例えば、１ロール、１ロット、数ロット）であってもよいし、所定時間（例えば、１日、１週間、１ヶ月）であってもよい。このようにして欠陥数を算出するため、被検査物Ｔにおける同一の欠陥を示す複数の欠陥画像データを重複してカウントしてしまうことがなく、所定の検査単位ごとの正確な欠陥数を得る事ができる。 The defect counting unit 935 counts the number of the same defect image set for each predetermined inspection unit, and calculates the number of defects per inspection unit. Here, the predetermined inspection unit may be a predetermined number (for example, 1 roll, 1 lot, several lots) or a predetermined time (for example, 1 day, 1 week, 1 month). .. Since the number of defects is calculated in this way, a plurality of defect image data showing the same defect in the inspected object T are not counted in duplicate, and an accurate number of defects for each predetermined inspection unit can be obtained. I can do things.

欠陥数警告部９３６は、欠陥計数部９３５が算出する欠陥数が所定の値を超えるか否かを判定し、欠陥数が当該所定の値を超えると判定した場合には、その旨を図示しない出力装置（例えば、液晶ディスプレイ、スピーカーなど）から出力することによってユーザーに通知する。 The defect number warning unit 936 determines whether or not the number of defects calculated by the defect counting unit 935 exceeds a predetermined value, and if it is determined that the number of defects exceeds the predetermined value, that fact is not shown. Notify the user by outputting from an output device (eg, liquid crystal display, speaker, etc.).

欠陥種別分類部９３７は、同一欠陥画像セットとして統合された欠陥画像データを、欠陥の種類別に分類し、当該分類後の種別と欠陥画像データを紐付けて記録する。分類され
る欠陥の種別はユーザーにおいて任意に設定することができ、例えば、異物混入、汚れ、シワ、穴、といった種別を設けてもよいし、さらに細かい種別（例えば、虫、木片、金属異物、油汚れ、水汚れ、大穴、***、など）に分類するのであってもよい。 The defect type classification unit 937 classifies the defect image data integrated as the same defect image set by the type of the defect, and records the type after the classification and the defect image data in association with each other. The type of defect to be classified can be arbitrarily set by the user, and for example, a type such as foreign matter contamination, dirt, wrinkles, or holes may be provided, or a finer type (for example, insect, wood piece, metal foreign matter, etc.) may be provided. It may be classified into oil stains, water stains, large holes, small holes, etc.).

欠陥種別を分類する方法としては、表面反射画像、裏面反射画像、透過画像、のいずれかの画像に対する特徴量に基づいて行ってもよいし、各画像の欠陥箇所の特徴量の対比によって行ってもよいし、また、それぞれの検査方式で欠陥が検出されたか否か、及びその組み合わせ、などによって行ってもよい。また、これらの手法を複合的に用いて分類することもできる。このようにして、同一の欠陥を示す複数の欠陥画像データをセットにして欠陥種別の分類を行うことにより、欠陥が検出された単一の画像に基づいて欠陥種別の分類を行うのに比べて、正確に欠陥種別の分類を行うことができる。 As a method of classifying the defect type, it may be performed based on the feature amount for any one of the front surface reflection image, the back surface reflection image, and the transmission image, or it may be performed by comparing the feature amount of the defect portion of each image. Alternatively, it may be performed depending on whether or not a defect is detected by each inspection method and a combination thereof. It is also possible to classify by using these methods in combination. In this way, by classifying the defect type by setting a plurality of defect image data showing the same defect as a set, the defect type is classified based on a single image in which the defect is detected. , It is possible to accurately classify defect types.

図２は、本適用例に係る検査管理システム９において行われる処理の流れを示すフローチャートである。検査管理システム９は、まず、測定系によって表面反射画像、裏面反射画像、透過画像を取得し（ステップＳ１０１）、当該画像に基づいて、欠陥検出部９３１による欠陥の検出を行う（ステップＳ１０２）。次に、欠陥画像記憶部９３３が、欠陥画像を記憶装置に記録する（ステップＳ１０３）。続けて、同一欠陥画像統合部９３４が、記録された欠陥画像から、被検査物における欠陥の位置が同じである複数の画像を、一組の同一欠陥画像セットとして統合する（ステップＳ１０４）。次に、欠陥計数部９３５は、所定の検査単位ごとに、同一欠陥画像セットの組数を計数し、当該検査単位あたりの欠陥数を算出する（ステップＳ１０５）。ここで、欠陥数警告部９３６は、ステップＳ１０５で算出された欠陥数が所定の値（閾値）を超えるか否かを判定し（ステップＳ１０６）、超えると判定した場合には、その旨を通知し（ステップＳ１０７）、ステップＳ１０８に進む。一方、欠陥数が所定の値を超えないと判定した場合には、そのままステップＳ１０８に進む。そして、ステップＳ１０８において、欠陥種別分類部９３７が、同一欠陥画像セットとして統合された欠陥画像データの欠陥種別を分類、記録して、一連の処理を終了する。なお、欠陥数の計測から欠陥数が所定値を超えた場合の通知（ステップＳ１０５からステップＳ１０７）までの処理と、ステップＳ１０８の処理は順序が入れ替わっても構わない。 FIG. 2 is a flowchart showing a flow of processing performed in the inspection management system 9 according to this application example. The inspection management system 9 first acquires a front surface reflection image, a back surface reflection image, and a transmission image by the measurement system (step S101), and detects defects by the defect detection unit 931 based on the images (step S102). Next, the defective image storage unit 933 records the defective image in the storage device (step S103). Subsequently, the same defect image integration unit 934 integrates a plurality of images having the same defect position in the inspected object from the recorded defect image as a set of the same defect image set (step S104). Next, the defect counting unit 935 counts the number of sets of the same defect image set for each predetermined inspection unit, and calculates the number of defects per inspection unit (step S105). Here, the defect number warning unit 936 determines whether or not the defect number calculated in step S105 exceeds a predetermined value (threshold value) (step S106), and if it is determined to exceed it, notifies that fact. (Step S107), and the process proceeds to step S108. On the other hand, if it is determined that the number of defects does not exceed a predetermined value, the process proceeds to step S108 as it is. Then, in step S108, the defect type classification unit 937 classifies and records the defect types of the defect image data integrated as the same defect image set, and ends a series of processes. The order of the processing from the measurement of the number of defects to the notification (step S105 to step S107) when the number of defects exceeds a predetermined value and the processing of step S108 may be changed.

以上のような本適用例に係る検査管理システム９の構成により、同一の欠陥を示す複数の欠陥画像データをセットにして、計数、欠陥種別分類ができるので、同一の欠陥を示す複数の欠陥画像データを個別に管理することによる弊害（例えば、同一の欠陥を重複して計数する、確度の低い欠陥種別の分類を行う、など）を低減することができる。 With the configuration of the inspection management system 9 according to the present application example as described above, since a plurality of defect image data showing the same defect can be counted and classified by defect type as a set, a plurality of defect images showing the same defect can be obtained. It is possible to reduce the harmful effects of managing the data individually (for example, counting the same defects in duplicate, classifying the defect types with low accuracy, etc.).

＜実施例＞
以下に、この発明を実施するための形態の一例を、さらに詳しく説明する。ただし、この実施例に記載されている構成部品の寸法、材質、形状、その相対配置などは、特に記載がない限りは、この発明の範囲をそれらのみに限定する趣旨のものではない。 <Example>
Hereinafter, an example of a mode for carrying out the present invention will be described in more detail. However, unless otherwise specified, the dimensions, materials, shapes, relative arrangements, etc. of the components described in this embodiment are not intended to limit the scope of the present invention to those alone.

（システム構成）
図３は、本実施例に係る検査管理システム１の構成例を模式的に示す図である。図３に示すように、本実施例に係る検査管理システム１は、主たる構成として、外観検査装置２及び検査管理装置３を有している。 (System configuration)
FIG. 3 is a diagram schematically showing a configuration example of the inspection management system 1 according to the present embodiment. As shown in FIG. 3, the inspection management system 1 according to the present embodiment has a visual inspection device 2 and an inspection management device 3 as main configurations.

（外観検査装置）
外観検査装置２は、シート状の物品の外観画像を取得し、当該画像に基づいて、欠陥の検出を行うための装置であり、主たる構成として、照明系、測定系、搬送機構（図示しない）、制御端末２３を備えている。 (Visual inspection equipment)
The visual inspection device 2 is a device for acquiring an external image of a sheet-shaped article and detecting defects based on the image, and has a lighting system, a measurement system, and a transport mechanism (not shown) as main configurations. , The control terminal 23 is provided.

被検査物Ｔは、図示しない搬送機構によって、水平方向（矢印方向）に搬送され、その搬送中に測定系によって被検査物Ｔの外観画像が連続的に取得され、これに基づいて検査が実施される。被検査物Ｔは、シート状に形成されており、例えば、紙、布、フィルムなどが例示できる。また、単一素材に限られず、フィルムと不織布を貼り合わせた包装紙などのように、複数の層を有するようなシート体であってもよい。また、乾燥海苔などの食品であってもよい。 The object T to be inspected is conveyed in the horizontal direction (arrow direction) by a transfer mechanism (not shown), and the appearance image of the object T to be inspected is continuously acquired by the measurement system during the transfer, and the inspection is performed based on this. Will be done. The object T to be inspected is formed in a sheet shape, and examples thereof include paper, cloth, and film. Further, the present invention is not limited to a single material, and may be a sheet body having a plurality of layers, such as a wrapping paper in which a film and a non-woven fabric are bonded together. Further, it may be a food such as dried seaweed.

照明系は、被検査物Ｔの表面に可視光（例えば白色光）を照射する表面反射光源２１１、被検査物Ｔの表面に可視光を照射する裏面反射光源２１２、被検査物Ｔの裏面に可視光を照射する透過光源２１３を備えている。これらの各光源には、例えばＬＥＤ照明などを用いてもよい。 The illumination system includes a surface reflective light source 211 that irradiates the surface of the inspected object T with visible light (for example, white light), a back surface reflective light source 212 that irradiates the surface of the inspected object T with visible light, and a back surface of the inspected object T. It is provided with a transmitted light source 213 that irradiates visible light. For each of these light sources, for example, LED lighting may be used.

測定系は、表面反射光源２１１から照射され被検査物Ｔの表面で反射した光（以下、表面反射光という）を撮影する表面反射光カメラ２２１と、裏面反射光源２１２から照射され被検査物Ｔの表面で反射した光（以下、表面反射光という）を撮影する裏面反射光カメラ２２２と、透過光源２１３から照射され、被検査物Ｔを透過した光を撮影する透過光カメラ２２３と、を備えている。なお、測定系を構成する各カメラが、本発明における撮影手段に該当する。 The measurement system is a front surface reflected light camera 221 that is irradiated from the front surface reflection light source 211 and captures the light reflected on the surface of the object T to be inspected (hereinafter referred to as surface reflected light), and the surface reflection light source 212 that is irradiated from the back surface reflection light source 212 and is to be inspected. It is provided with a back surface reflected light camera 222 for photographing the light reflected on the surface of the surface (hereinafter referred to as surface reflected light) and a transmitted light camera 223 for photographing the light emitted from the transmitted light source 213 and transmitted through the object T to be inspected. ing. Each camera constituting the measurement system corresponds to the photographing means in the present invention.

各カメラは、それぞれが撮影する光を検知可能な受光センサと、レンズと、信号出力部と、を備えており、レンズを介して受光センサで検知した光を電気信号として出力する。センサとしては、例えばＣＣＤ又はＣＭＯＳセンサを用いる事ができる。 Each camera includes a light receiving sensor capable of detecting the light to be photographed, a lens, and a signal output unit, and outputs the light detected by the light receiving sensor via the lens as an electric signal. As the sensor, for example, a CCD or CMOS sensor can be used.

制御端末２３は、照明系、測定系、搬送機構を制御するとともに、各種情報の処理を行う。ハードウェア構成としては、入出力装置、プロセッサ、記憶装置、などを備えており、機能モジュールとして、欠陥検出部２３１、欠陥位置特定部２３２、欠陥画像記憶部２３３を備えている。 The control terminal 23 controls the lighting system, the measurement system, and the transport mechanism, and processes various information. The hardware configuration includes an input / output device, a processor, a storage device, and the like, and as a functional module, a defect detection unit 231, a defect position identification unit 232, and a defect image storage unit 233 are provided.

欠陥検出部２３１は、測定系の各カメラから入力された画像信号に基づいて、被検査物Ｔに含まれる欠陥の検出を行う。欠陥の検出は、例えば撮影された画像から得られる特徴量が所定の閾値から逸脱していないかを判定することによって行われる。特徴量には、例えば、輝度などを用いる事ができ、明度、彩度、色相などを用いてもよい。 The defect detection unit 231 detects the defect contained in the object T to be inspected based on the image signal input from each camera of the measurement system. Defect detection is performed, for example, by determining whether the feature amount obtained from the captured image does not deviate from a predetermined threshold value. For the feature amount, for example, brightness and the like can be used, and lightness, saturation, hue and the like may be used.

本実施用例においては、表面反射光カメラ２２１が撮影する画像（以下、表面反射画像という）、裏面反射光カメラ２２２が撮影する画像（以下、裏面反射画像という）及び透過光カメラ２２３が撮影する画像（以下、透過画像という）のそれぞれに対して、特徴量の判定が行われる。 In this embodiment, an image taken by the front surface reflected light camera 221 (hereinafter referred to as a front surface reflected image), an image taken by the back surface reflected light camera 222 (hereinafter referred to as a back surface reflected image), and an image taken by the transmitted light camera 223. The feature amount is determined for each of (hereinafter referred to as a transparent image).

欠陥位置特定部２３２は、被検査物Ｔから欠陥が検出された場合に、当該欠陥が被検査物Ｔのどの箇所に位置するのかを特定する。位置の特定は例えば、予め定まっている被検査物Ｔの搬送速度、カメラの設置位置、被検査物Ｔの大きさ、及び、検査開始からの経過時間、に基づいて行うことができる。 When a defect is detected in the inspected object T, the defect position specifying unit 232 identifies the position of the defect in the inspected object T. The position can be specified, for example, based on a predetermined transfer speed of the object T to be inspected, a camera installation position, a size of the object T to be inspected, and an elapsed time from the start of the inspection.

欠陥画像記憶部２３３は、欠陥が検出された場合に、各カメラによって撮影された当該欠陥の画像（以下、欠陥画像という）を、欠陥位置特定部２３２が特定した当該欠陥の位置の情報と関連づけて記憶装置に記録する（以下、記録されたデータを欠陥画像データという）。また、欠陥が検出された撮影方式の画像だけで無く、他の撮影方式の対応する箇所の画像も記憶装置に記録するようにしてもよい。 When a defect is detected, the defect image storage unit 233 associates the image of the defect (hereinafter referred to as a defect image) taken by each camera with the information on the position of the defect specified by the defect position identification unit 232. And record it in the storage device (hereinafter, the recorded data is referred to as defective image data). Further, not only the image of the photographing method in which the defect is detected but also the image of the corresponding portion of the other photographing method may be recorded in the storage device.

（検査管理装置）
上述した外観検査装置２は、ネットワーク（ＬＡＮ）を介して検査管理装置３に接続されている。検査管理装置３は、外観検査装置２から検査に係る情報を取得し、当該情報の処理を行うものであり、ＣＰＵ（プロセッサ）、主記憶装置（メモリ）、補助記憶装置（ハードディスクなど）、入力装置（キーボード、マウス、コントローラ、タッチパネルなど）、出力装置（液晶ディスプレイ、スピーカー、プリンタなど）などを具備する汎用的なコンピュータシステムにより構成される。 (Inspection management device)
The above-mentioned visual inspection device 2 is connected to the inspection management device 3 via a network (LAN). The inspection management device 3 acquires information related to inspection from the visual inspection device 2 and processes the information, and is a CPU (processor), a main storage device (memory), an auxiliary storage device (hard disk, etc.), and an input. It is composed of a general-purpose computer system including devices (keyboard, mouse, controller, touch panel, etc.) and output devices (liquid crystal display, speaker, printer, etc.).

なお、検査管理装置３は、１台のコンピュータにより構成してもよいし、複数のコンピュータにより構成してもよい。あるいは、外観検査装置２の制御端末２３に、検査管理装置３の機能の全部又は一部を実装することも可能である。あるいは、検査管理装置３の機能の一部をネットワーク上のサーバ（クラウドサーバなど）により実現してもよい。 The inspection management device 3 may be configured by one computer or may be configured by a plurality of computers. Alternatively, it is also possible to mount all or part of the functions of the inspection management device 3 on the control terminal 23 of the visual inspection device 2. Alternatively, a part of the functions of the inspection management device 3 may be realized by a server (cloud server or the like) on the network.

本実施例の検査管理装置３のＣＰＵは、機能モジュールとして、同一欠陥画像統合部３１と、欠陥種別分類部３２と、教師データ登録部３３と、欠陥種別計数部３４と、欠陥種別欠陥数警告部３５と、を備えている。 The CPU of the inspection management device 3 of this embodiment has the same defect image integration unit 31, defect type classification unit 32, teacher data registration unit 33, defect type counting unit 34, and defect type defect number warning as functional modules. It is provided with a unit 35.

同一欠陥画像統合部３１は、外観検査装置２から欠陥画像データを取得し、被検査物Ｔにおける欠陥の位置が同一の複数の欠陥画像を、一組の同一欠陥画像セットとして統合する。このようにしてセットにされた複数の欠陥画像は、１セットとして記憶装置に記録され、表示装置への表示、各種データ分析などの際に、一体的に処理される。 The same defect image integration unit 31 acquires defect image data from the visual inspection device 2, and integrates a plurality of defect images having the same defect position in the inspected object T as a set of the same defect image set. The plurality of defective images set in this way are recorded in the storage device as one set, and are integrally processed at the time of display on the display device, analysis of various data, and the like.

欠陥種別分類部３２は、同一欠陥画像セットとして統合された欠陥画像データを、欠陥種別に分類する。分類される欠陥の種別はユーザーにおいて任意に設定することができ、例えば、異物混入、汚れ、シワ、穴、といった種別を設けてもよいし、さらに細かい種別（例えば、虫、木片、金属異物、油汚れ、水汚れ、大穴、***、など）に分類するのであってもよい。 The defect type classification unit 32 classifies the defect image data integrated as the same defect image set into defect types. The type of defect to be classified can be arbitrarily set by the user, and for example, a type such as foreign matter contamination, dirt, wrinkles, or holes may be provided, or a finer type (for example, insect, wood piece, metal foreign matter, etc.) may be provided. It may be classified into oil stains, water stains, large holes, small holes, etc.).

欠陥種別を分類する方法としては、表面反射画像、裏面反射画像、透過画像、のいずれかの画像に対する特徴量に基づいて行ってもよいし、各画像の欠陥箇所の特徴量の対比によって行ってもよいし、また、それぞれの検査方式で欠陥が検出されたか否か、検出のされ方の組み合わせ、などによって行ってもよい。また、これらの手法を組み合わせて、分類することもできる。 As a method of classifying the defect type, it may be performed based on the feature amount for any one of the front surface reflection image, the back surface reflection image, and the transmission image, or it may be performed by comparing the feature amount of the defect portion of each image. Alternatively, it may be performed depending on whether or not a defect is detected by each inspection method, a combination of detection methods, and the like. In addition, these methods can be combined and classified.

本実施例においては、欠陥種別分類部３２は、深層学習の手法で生成した学習済みモデルを利用する推論処理を組み合わせて欠陥種別の分類を行う。なお、欠陥種別分類処理の流れについては後述する。 In this embodiment, the defect type classification unit 32 classifies the defect type by combining inference processing using the trained model generated by the deep learning method. The flow of the defect type classification process will be described later.

教師データ登録部３３は、欠陥種別分類部３２の人工知能に深層学習を行わせるための教師データの登録を受け付ける機能を有しており、表示装置に同一欠陥画像セットを構成する複数の欠陥画像を表示したうえで、当該同一欠陥画像セットに対応する欠陥種別の入力をユーザーに求める。 The teacher data registration unit 33 has a function of accepting registration of teacher data for causing the artificial intelligence of the defect type classification unit 32 to perform deep learning, and a plurality of defect images constituting the same defect image set on the display device. Is displayed, and the user is requested to input the defect type corresponding to the same defect image set.

欠陥種別計数部３４は、欠陥種別分類後の同一欠陥画像セットの数を種別ごとに計数し、所定の検査単位あたりの欠陥種別ごとの欠陥数を算出する。ここで、所定の検査単位とは、所定数（例えば、１ロール、１ロット、数ロット）であってもよいし、所定時間（例えば、１日、１週間、１ヶ月）であってもよい。 The defect type counting unit 34 counts the number of the same defect image sets after the defect type classification for each type, and calculates the number of defects for each defect type per predetermined inspection unit. Here, the predetermined inspection unit may be a predetermined number (for example, 1 roll, 1 lot, several lots) or a predetermined time (for example, 1 day, 1 week, 1 month). ..

欠陥種別欠陥数警告部３５は、欠陥種別計数部が算出する欠陥種別ごとの欠陥数が、該欠陥種別ごとに定められた所定の値を超えるか否かを判定し、当該所定の値を超えて欠陥数が算出された欠陥種別があると判定した場合には、その旨を出力装置から出力すること
によってユーザーに通知する。ここで、出力装置による出力とは、例えば、表示装置によって表示するものであってもよく、スピーカーから警報音を発するものであってもよく、プリンタによって印刷されるものであってもよい。また、これらを併用して通知を行ってもよい。さらに、欠陥種別欠陥数警告部３５は、所定の値を超えた欠陥の種別についても併せて通知するようにしてもよい。 The defect type defect number warning unit 35 determines whether or not the number of defects for each defect type calculated by the defect type counting unit exceeds a predetermined value determined for each defect type, and exceeds the predetermined value. If it is determined that there is a defect type for which the number of defects has been calculated, the user is notified by outputting to that effect from the output device. Here, the output by the output device may be, for example, one that is displayed by a display device, one that emits an alarm sound from a speaker, or one that is printed by a printer. Further, the notification may be given in combination with these. Further, the defect type defect number warning unit 35 may also notify the defect type exceeding a predetermined value.

（欠陥種別分類の処理の流れ）
次に、欠陥種別分類部３２が、欠陥種別を分類する際の処理の流れを、図４に基づいて説明する。図４は本実施例における欠陥種別分類の処理の流れを示すフローチャートである。 (Flow of defect type classification process)
Next, the flow of processing when the defect type classification unit 32 classifies the defect type will be described with reference to FIG. FIG. 4 is a flowchart showing the flow of the defect type classification process in this embodiment.

欠陥種別分類部３２は、まず、対象となる同一欠陥画像セットにおける、表面反射画像、裏面反射画像、透過画像、の欠陥検出有無の組み合わせによって欠陥種別を分類する（ステップＳ２０１）。欠陥種別によっては、必ず特定の検査方式で検出される、又は、特定の検出方式では検出されない、という場合が存在するため、セットに含まれる各検査方式の画像の有無（即ち検査時に欠陥検出されたか否か）の組み合わせ条件で、欠陥種別の判別を行う事ができる。なお、欠陥画像データの記録時に、欠陥が検出された撮影方式の画像だけで無く、他の撮影方式の対応する箇所の画像も記憶装置に記録するようにする場合には、各画像に欠陥検出有無の識別情報を付与するようにすれば、当該識別情報の組み合わせで同様の処理を行うことができる。ステップＳ２０１で欠陥種別の分類ができた場合には処理を終了し、分類ができなかった場合には、ステップＳ２０３に進む（ステップＳ２０２）。 The defect type classification unit 32 first classifies the defect type according to the combination of the presence / absence of defect detection of the front surface reflection image, the back surface reflection image, and the transmission image in the same defect image set to be targeted (step S201). Depending on the defect type, there are cases where it is always detected by a specific inspection method or not detected by a specific detection method. Therefore, the presence or absence of images of each inspection method included in the set (that is, defects are detected at the time of inspection). It is possible to determine the defect type based on the combination condition (whether or not). When recording the defective image data, if the storage device is to record not only the image of the shooting method in which the defect is detected but also the image of the corresponding portion of the other shooting method, the defect is detected in each image. If the presence / absence identification information is added, the same processing can be performed by combining the identification information. If the defect type can be classified in step S201, the process ends, and if the classification cannot be performed, the process proceeds to step S203 (step S202).

ステップＳ２０３では、欠陥種別分類部３２は所定の特徴量による欠陥種別分類を行う。具体的には、同一欠陥画像セットに含まれる欠陥画像のうち、一つでも当該特徴量判定の条件に合う画像が存在した場合、同一欠陥画像セットは当該欠陥種別に該当すると分類する。例えば、透過画像について、輝度のピークレベルが１００以上であって（最高値は２５５）、当該欠陥を示す面積が１ｍｍ２以上である場合には、同一欠陥画像セットの欠陥種別は穴であると分類する。ステップＳ２０３で欠陥種別の分類ができた場合には処理を終了し、分類ができなかった場合には、ステップＳ２０５に進む（ステップＳ２０４）。 In step S203, the defect type classification unit 32 classifies the defect type according to a predetermined feature amount. Specifically, if at least one of the defect images included in the same defect image set meets the conditions for determining the feature amount, the same defect image set is classified as corresponding to the defect type. For example, for a transparent image, when the peak brightness level is 100 or more (the maximum value is 255) and the area showing the defect is 1 mm 2 or more, the defect type of the same defect image set is a hole. Classify. If the defect type can be classified in step S203, the process ends, and if the classification cannot be performed, the process proceeds to step S205 (step S204).

ステップＳ２０５では、欠陥種別分類部３２は、同一欠陥画像セットに対し、事前に検査方式ごとに深層学習の手法で生成した学習済み推論モデルによる欠陥種別分類を行う。具体的には、表面反射画像、裏面反射画像、透過画像の各画像に対応する検査方式の学習済みモデルを利用して推論を行い、各欠陥種別の判定確率（即ち、所定の欠陥種別である確率）を算出する。そして、セットに含まれる全ての画像の各欠陥種別の判定確率の中で、最も値が大きい欠陥種別を、当該同一欠陥画像セットの欠陥種別であると分類する。なお、セットに含まれる画像に、所定の判定確率（例えば５０％）を超える欠陥種別が無い場合には、欠陥種別を「不明」として分類する。ステップＳ２０５で欠陥種別が「不明」として分類された場合には、ステップＳ２０７に進み、それ以外の欠陥種別に分類された場合には、処理を終了する（ステップＳ２０６）。 In step S205, the defect type classification unit 32 classifies the same defect image set by the defect type according to the trained inference model generated in advance by the deep learning method for each inspection method. Specifically, inference is performed using a trained model of the inspection method corresponding to each image of the front surface reflection image, the back surface reflection image, and the transmission image, and the determination probability of each defect type (that is, a predetermined defect type) is obtained. Probability) is calculated. Then, among the determination probabilities of each defect type of all the images included in the set, the defect type having the largest value is classified as the defect type of the same defect image set. If the images included in the set do not have a defect type that exceeds a predetermined determination probability (for example, 50%), the defect type is classified as "unknown". If the defect type is classified as "unknown" in step S205, the process proceeds to step S207, and if the defect type is classified into any other defect type, the process ends (step S206).

ステップＳ２０７では、欠陥種別が不明と分類された同一欠陥画像セットの画像を表示装置に表示した上で、ユーザーに確認を促す警告を行い、分類処理を終了する。以上のような構成により、ユーザーは大量にある画像の中から優先的に確認すべき画像を判断できる。 In step S207, an image of the same defect image set classified as unknown defect type is displayed on the display device, a warning prompting the user to confirm is given, and the classification process is terminated. With the above configuration, the user can determine an image to be confirmed preferentially from a large number of images.

また、上記の分類の結果は、さらに推論モデルの教師データとして活用することもできる。最終的に種別が「不明」として分類された同一欠陥画像セットであっても教師データ
として、活用することができる。具体的には、上記のステップＳ２０７の警告の後、ユーザーが当該セットを確認し、最も判定確率の高かった欠陥種別が実際の欠陥と一致していれば、当該欠陥の教師データとして同一欠陥画像セットに含まれる画像を追加する。一方、最も判定確率の高かった欠陥種別と異なる欠陥種別が実際の欠陥であった場合には、当該他の欠陥の教師データとして同一欠陥画像セットに含まれる画像を登録する。このようにすることで、より正しい教師データを蓄積することができる。 In addition, the result of the above classification can be further utilized as teacher data of the inference model. Even the same defect image set finally classified as "unknown" can be used as teacher data. Specifically, after the warning in step S207, if the user confirms the set and the defect type with the highest determination probability matches the actual defect, the same defect image is used as the teacher data of the defect. Add images included in the set. On the other hand, when the defect type different from the defect type having the highest determination probability is the actual defect, the image included in the same defect image set is registered as the teacher data of the other defect. By doing so, more correct teacher data can be accumulated.

また、教師データ登録部３３の機能により、教師データ登録時には、同一の欠陥を示す複数の検査方式による画像を一度に、並列して表示し、一括で欠陥種別の入力を受け付けるため、正確かつ効率よく欠陥画像データを教師データとして登録することができる。このようにして登録された、正しい教師データに基づいて学習させることで、より判定精度の高い学習済みモデルを作成することができる。 Further, by the function of the teacher data registration unit 33, when the teacher data is registered, images by a plurality of inspection methods showing the same defect are displayed in parallel at a time, and input of the defect type is received collectively, so that it is accurate and efficient. Defect image data can often be registered as teacher data. By training based on the correct teacher data registered in this way, it is possible to create a trained model with higher judgment accuracy.

＜変形例＞
なお、上記実施例の欠陥種別分類の処理では、特徴量による欠陥種別分類を行ってから（ステップＳ２０３）、学習済み推論モデルによる欠陥種別分類を行っていたが（ステップＳ２０５）、これらの処理の順序が入れ替わっても構わない。 <Modification example>
In the defect type classification process of the above embodiment, the defect type classification is performed by the feature amount (step S203), and then the defect type classification is performed by the trained inference model (step S205). The order may be changed.

また、上記実施例では、深層学習の手法で生成した推論モデルを用いていたが、他の機械学習の手法によって生成されたモデルを用いてもよい。さらに、複数の機械学習の手法によって生成されたモデルを組み合わせて分類処理をおこなってもよい。 Further, in the above embodiment, the inference model generated by the deep learning method is used, but a model generated by another machine learning method may be used. Further, the classification process may be performed by combining the models generated by a plurality of machine learning methods.

また、上記の実施例では、検査管理装置３は欠陥種別分類後の同一欠陥画像セットの数を計数する欠陥種別計数部３４を有する構成であったが、これに加えて、欠陥種別分類前の同一欠陥画像セットを計数する欠陥数計測部を備えていてもよい。また、この場合には、当該欠陥数計測部が算出した欠陥数が所定の値を超えているか否かを判定し、超えている場合には、出力装置を介してその旨をユーザーに通知する欠陥数警告部をさらに備えていてもよい。 Further, in the above embodiment, the inspection management device 3 has a configuration having a defect type counting unit 34 for counting the number of the same defect image sets after the defect type classification, but in addition to this, before the defect type classification. It may be provided with a defect number measuring unit that counts the same defect image set. Further, in this case, it is determined whether or not the number of defects calculated by the defect number measuring unit exceeds a predetermined value, and if it exceeds, the user is notified to that effect via the output device. A defect number warning unit may be further provided.

また、上記の実施例では、照明系の光源は全て可視光を照射するものであり、測定系は光源の数と同じ数のカメラを備えるものであったが、照明系、測定系の構成は必ずしもこれに限られない。例えば、光源の一部又は全部を赤外線にしてもよいし、測定系のカメラに分光プリズムを設け、複数の異なる波長の光を一台のカメラで検出可能な構成としてもよい。また、表面反射画像、裏面反射画像、透過画像のいずれかを取得しない構成としてもよい。 Further, in the above embodiment, all the light sources of the lighting system irradiate visible light, and the measurement system is provided with the same number of cameras as the number of light sources, but the configuration of the lighting system and the measurement system is Not necessarily limited to this. For example, a part or all of the light source may be infrared rays, or a spectroscopic prism may be provided in the camera of the measurement system so that light of a plurality of different wavelengths can be detected by one camera. Further, the configuration may be such that no one of the front surface reflection image, the back surface reflection image, and the transmission image is acquired.

＜その他＞
上記の実施例の説明は、本発明を例示的に説明するものに過ぎず、本発明は上記の具体的な形態には限定されない。本発明は、その技術的思想の範囲内で種々の変形が可能である。例えば上記の各例では、照明系及び測定系を固定し、被検査物Ｔを移動させていたが、これに代えて、被検査物Ｔを固定し、照明系及び測定系を移動させてもよい。 <Others>
The description of the above-mentioned examples is merely an example of the present invention, and the present invention is not limited to the above-mentioned specific embodiment. The present invention can be modified in various ways within the scope of its technical idea. For example, in each of the above examples, the lighting system and the measuring system are fixed and the inspected object T is moved, but instead of this, the inspected object T is fixed and the lighting system and the measuring system are moved. good.

本発明の一の態様は、シート状の被検査物を検査するための検査管理システム（１）であって、前記被検査物（Ｔ）の外観を、異なる方式により撮影する複数の撮影手段（２２１；２２２；２２３）と、前記複数の撮影手段により撮影されたそれぞれの画像に基づいて、前記被検査物の欠陥を検出する検出手段（２３１）と、を備える外観検査部（２）と、前記複数の異なる方式の撮影手段ごとに、前記検出手段により検出された欠陥が撮影されている欠陥画像データが記録される記憶部と、前記記憶部に記録された前記欠陥画像データの集合のうち、前記被検査物における同一の欠陥が撮影されている複数の欠陥画像データを、１つの同一欠陥画像セットとして処理する同一欠陥画像統合手段（３１）を備え
る、検査管理部（３）と、を有する、検査管理システムである。 One aspect of the present invention is an inspection management system (1) for inspecting a sheet-shaped object to be inspected, and a plurality of photographing means (1) for photographing the appearance of the object to be inspected (T) by different methods (1). 221; 222; 223), a visual inspection unit (2) including a detection means (231) for detecting a defect of the object to be inspected based on each image taken by the plurality of photographing means. Of the storage unit in which the defect image data in which the defect detected by the detection means is photographed is recorded and the set of the defect image data recorded in the storage unit for each of the plurality of different types of photographing means. The inspection management unit (3) provided with the same defect image integrating means (31) for processing a plurality of defect image data in which the same defect in the inspected object is photographed as one same defect image set. It is an inspection management system that has.

また、本発明の他の一の態様は、シート状の被検査物の外観検査を管理する方法であって、前記被検査物を２つ以上の異なる方式により撮影する第１ステップ（Ｓ１０１）と、前記第１ステップで撮影された複数の異なる撮影方式による被検査物の画像に基づいて、前記被検査物の欠陥を検出する第２ステップ（Ｓ１０２）と、前記第２ステップで検出された欠陥が撮影されている欠陥画像データを記録する第３ステップ（Ｓ１０３）と、前記第３ステップで記録された欠陥画像データの集合のうち、前記被検査物における同一の欠陥が撮影されている複数の欠陥画像データを、１つの同一欠陥画像セットとして統合する第４ステップ（Ｓ１０４）と、所定の検査単位ごとに、前記第４ステップで統合された同一欠陥画像セットの数を計数して、欠陥数を算出する第５のステップ（Ｓ１０５）と、を有する検査管理方法である。 Further, another aspect of the present invention is a method of managing the appearance inspection of a sheet-shaped object to be inspected, the first step (S101) of photographing the inspected object by two or more different methods. A second step (S102) for detecting defects in the inspected object based on images of the inspected object taken by a plurality of different imaging methods taken in the first step, and a defect detected in the second step. Of the set of defect image data recorded in the third step (S103) for recording the defect image data in which the image is taken, and a plurality of sets in which the same defect in the inspected object is photographed. The number of defects is counted by counting the number of the same defect image sets integrated in the fourth step (S104) in which the defect image data is integrated as one identical defect image set and the fourth step for each predetermined inspection unit. It is an inspection management method having a fifth step (S105) of calculating.

１、９・・・検査管理システム
２・・・外観検査装置
２１１、９１１・・・表面反射光源
２１２、９１２・・・裏面反射光源
２１３、９１３・・・透過光源
２２１・・・表面反射光カメラ
２２２・・・表面反射光カメラ
２２３・・・透過光カメラ
２３、９３・・・制御端末
３・・・検査管理装置
９２１・・・表面撮影カメラ
Ｔ・・・被検査物
1, 9 ... Inspection management system 2 ... Appearance inspection device 211, 911 ... Front reflection light source 212, 912 ... Back surface reflection light source 213, 913 ... Transmission light source 221 ... Surface reflection light camera 222 ... Surface reflected light camera 223 ... Transmitted light camera 23, 93 ... Control terminal 3 ... Inspection management device 921 ... Surface photography camera T ... Object to be inspected

Claims (11)

シート状の被検査物の検査を管理するための検査管理システムであって、
前記被検査物の外観を、異なる方式により撮影する複数の撮影手段と、前記複数の撮影手段により撮影されたそれぞれの画像に基づいて、前記被検査物の欠陥を検出する検出手段と、を備える外観検査部と、
前記複数の異なる方式の撮影手段ごとに、前記検出手段により検出された欠陥が撮影されている欠陥画像データが記録される記憶部と、
前記記憶部に記録された前記欠陥画像データの集合のうち、前記被検査物における同一の欠陥が撮影されている複数の欠陥画像データを、１つの同一欠陥画像セットとして処理する同一欠陥画像統合手段を備える、検査管理部と、
表示部と、を有しており、
前記検査管理部は、
前記同一欠陥画像セットごとに前記欠陥の種別を分類する欠陥種別分類手段であって、深層学習の手法により学習済みの推論手段を含む欠陥種別分類手段と、
前記表示部に、前記同一欠陥画像セットごとに該セットを構成する欠陥画像データを同時に表示するとともに、該表示された欠陥画像データのセットに対応する欠陥種別の登録をユーザーに求める深層学習用教師データ登録手段、をさらに備える、
検査管理システム。 It is an inspection management system for managing the inspection of sheet-shaped objects to be inspected.
It is provided with a plurality of photographing means for photographing the appearance of the inspected object by different methods, and a detecting means for detecting defects of the inspected object based on the respective images taken by the plurality of photographing means. Visual inspection department and
For each of the plurality of different types of photographing means, a storage unit in which defect image data in which the defect detected by the detecting means is photographed is recorded, and a storage unit.
The same defect image integrating means for processing a plurality of defect image data in which the same defect in the inspected object is photographed as one same defect image set from the set of the defect image data recorded in the storage unit. With the inspection management department,
And possess a display unit, the,
The inspection management department
Defect type classification means for classifying the types of defects for each same defect image set, including defect type classification means including inference means learned by a deep learning method.
A deep learning teacher who simultaneously displays defect image data constituting the set for each same defect image set on the display unit and requests the user to register a defect type corresponding to the displayed defect image data set. Further equipped with data registration means,
Inspection management system. 前記検査管理部は、
前記同一欠陥画像セットの数を計数して、所定の検査単位ごとに、欠陥数を算出する欠陥計数手段をさらに備える、
ことを特徴とする、請求項１に記載の検査管理システム。 The inspection management department
A defect counting means for counting the number of the same defect image sets and calculating the number of defects for each predetermined inspection unit is further provided.
The inspection management system according to claim 1, wherein the inspection management system is characterized in that. 出力部をさらに有しており、
前記検査管理部は、
前記算出された欠陥数が所定の値を超えた場合に、その旨を前記出力部を介して通知する欠陥数警告手段をさらに備える、
ことを特徴とする、請求項２に記載の検査管理システム。 It also has an output section
The inspection management department
When the calculated number of defects exceeds a predetermined value, the defect number warning means for notifying the fact via the output unit is further provided.
The inspection management system according to claim 2, wherein the inspection management system is characterized in that. 前記検査管理部は、
前記欠陥種別分類手段によって分類された欠陥種別ごとに前記同一欠陥画像セットの数を計数し、所定の検査単位ごとに、欠陥種別ごとの欠陥数を算出する、欠陥種別計数手段をさらに備える、
ことを特徴とする、請求項１から３のいずれか一項に記載の検査管理システム。 The inspection management department
Further provided is a defect type counting means that counts the number of the same defect image sets for each defect type classified by the defect type classification means and calculates the number of defects for each defect type for each predetermined inspection unit.
The inspection management system according to any one of claims 1 to 3, wherein the inspection management system is characterized in that. 出力部を有しており、
前記検査管理部は、前記算出された欠陥種別ごとの欠陥数が、該欠陥種別ごとに定められた所定の値を超えた場合に、その旨を前記出力部を介して通知する欠陥種別欠陥数警告手段をさらに備える、
ことを特徴とする、請求項４に記載の検査管理システム。 Has an output section
When the calculated number of defects for each defect type exceeds a predetermined value determined for each defect type, the inspection management unit notifies the fact via the output unit the number of defects of the defect type. Further warning measures,
The inspection management system according to claim 4 , wherein the inspection management system is characterized in that. 前記欠陥種別分類手段は、
前記同一欠陥画像セットの欠陥種別の分類を、所定の確度以上の正確さで行えない場合には、該同一欠陥画像セットについての欠陥種別を不明として分類する、
ことを特徴とする、請求項１から５のいずれか１項に記載の検査管理システム。 The defect type classification means is
If the defect type of the same defect image set cannot be classified with an accuracy higher than a predetermined accuracy, the defect type of the same defect image set is classified as unknown.
The inspection management system according to any one of claims 1 to 5 , wherein the inspection management system is characterized in that. 前記欠陥種別分類手段は、
欠陥種別を不明として分類した前記同一欠陥画像セットについて、ユーザーによる欠陥種別の分類を求める、
ことを特徴とする、請求項６に記載の検査管理システム。 The defect type classification means is
For the same defect image set classified as unknown defect type, the user is requested to classify the defect type.
The inspection management system according to claim 6 , wherein the inspection management system is characterized in that. 前記被検査物の外観を異なる方式により撮影する２つ以上の撮影手段は、
前記被検査物の第１の面で反射した反射光による画像を撮影する表面撮影手段、前記被検査物の第１の面と反対側の第２の面で反射した反射光による画像を撮影する裏面撮影手段、及び、前記被検査物を透過した透過光による画像を撮影する透過光撮影手段のうち、いずれか２つ以上を含む、
ことを特徴とする、請求項１から７のいずれか１項に記載の検査管理システム。 Two or more photographing means for photographing the appearance of the object to be inspected by different methods are used.
A surface photographing means for taking an image of the reflected light reflected by the first surface of the object to be inspected, and an image of the reflected light reflected by the second surface opposite to the first surface of the object to be inspected. Includes two or more of the back surface photographing means and the transmitted light photographing means for photographing an image by the transmitted light transmitted through the object to be inspected.
The inspection management system according to any one of claims 1 to 7 , wherein the inspection management system is characterized in that. 前記被検査物の外観を異なる方式により撮影する２つ以上の撮影手段は、
第１の波長の光によって前記被検査物を撮影する第１波長撮影手段と、前記第１の波長とは異なる波長の光によって前記被検査物を撮影する第２波長撮影手段、とを含む、
ことを特徴とする請求項１から８のいずれか１項に記載の検査管理システム。 Two or more photographing means for photographing the appearance of the object to be inspected by different methods are used.
It includes a first wavelength photographing means for photographing the inspected object with light having a first wavelength, and a second wavelength photographing means for photographing the inspected object with light having a wavelength different from the first wavelength.
The inspection management system according to any one of claims 1 to 8 , wherein the inspection management system is characterized in that. 前記同一欠陥画像統合手段は、
前記被検査物における前記欠陥の位置が同一である複数の異なる欠陥画像データを、１つの同一欠陥画像セットとして統合する、
ことを特徴とする、請求項１から９のいずれか１項に記載の検査管理システム。 The same defect image integration means
A plurality of different defect image data having the same defect position in the inspected object are integrated into one identical defect image set.
The inspection management system according to any one of claims 1 to 9 , wherein the inspection management system is characterized in that. シート状の被検査物の外観を異なる複数の撮影方式により撮影して取得した欠陥画像データを処理する検査管理装置であって、
前記異なる複数の撮影方式により撮影されたそれぞれの画像に基づいて、前記被検査物の欠陥を検出する検出手段を備える外観検査部と、
前記異なる複数の撮影方式ごとに、前記検出手段により検出された欠陥が撮影されている欠陥画像データが記録される記憶部と、
前記記憶部に記憶された前記欠陥画像データの集合のうち、前記被検査物における同一の欠陥が撮影されている複数の欠陥画像データを、１つの同一欠陥画像セットとして処理する同一欠陥画像統合手段を備える、検査管理部と、
表示部と、を有しており、
前記検査管理部は、
前記同一欠陥画像セットごとに前記欠陥の種別を分類する欠陥種別分類手段であって、
深層学習の手法により学習済みの推論手段を含む欠陥種別分類手段と、
前記表示部に、前記同一欠陥画像セットごとに該セットを構成する欠陥画像データを同時に表示するとともに、該表示された欠陥画像データのセットに対応する欠陥種別の登録をユーザーに求める深層学習用教師データ登録手段、をさらに備える、
検査管理装置。 It is an inspection management device that processes defect image data acquired by photographing the appearance of a sheet-shaped object to be inspected by multiple different imaging methods.
A visual inspection unit including a detection means for detecting a defect of the object to be inspected based on each image taken by a plurality of different photographing methods.
A storage unit in which defect image data in which a defect detected by the detection means is photographed is recorded for each of the plurality of different photographing methods.
Of the set of the defect image data stored in the storage unit, said plurality of defect image data in which the same defects are captured in the inspection object, the same defect image integration means for processing as a single identical defect image set With the inspection management department,
Has a display and
The inspection management department
It is a defect type classification means for classifying the type of the defect for each of the same defect image set.
Defect type classification means including inference means learned by deep learning methods,
A deep learning teacher who simultaneously displays defect image data constituting the set for each same defect image set on the display unit and requests the user to register a defect type corresponding to the displayed defect image data set. Further equipped with data registration means,
Inspection management device.
JP2018081064A 2018-04-20 2018-04-20 Inspection management system, inspection management device and inspection management method Active JP6981352B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018081064A JP6981352B2 (en) 2018-04-20 2018-04-20 Inspection management system, inspection management device and inspection management method
KR1020190037102A KR20190122550A (en) 2018-04-20 2019-03-29 Inspection management system, inspection management apparatus and inspection management method
TW108111533A TWI693397B (en) 2018-04-20 2019-04-01 Inspection management system, inspection management device and inspection management method
CN201910258395.8A CN110390661A (en) 2018-04-20 2019-04-01 It checks management system, check managing device and checks management method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018081064A JP6981352B2 (en) 2018-04-20 2018-04-20 Inspection management system, inspection management device and inspection management method

Publications (2)

Publication Number Publication Date
JP2019190891A JP2019190891A (en) 2019-10-31
JP6981352B2 true JP6981352B2 (en) 2021-12-15

Family

ID=68284892

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018081064A Active JP6981352B2 (en) 2018-04-20 2018-04-20 Inspection management system, inspection management device and inspection management method

Country Status (4)

Country Link
JP (1) JP6981352B2 (en)
KR (1) KR20190122550A (en)
CN (1) CN110390661A (en)
TW (1) TWI693397B (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021060345A (en) * 2019-10-09 2021-04-15 オムロン株式会社 Sheet inspection device
EP4080406A4 (en) * 2019-12-20 2022-12-28 BOE Technology Group Co., Ltd. Distributed product defect analysis system and method, and computer-readable storage medium
JP6924536B1 (en) * 2020-08-13 2021-08-25 株式会社名南製作所 Defect inspection system for plate wood, defect inspection method and program for defect inspection
TWI762271B (en) * 2020-08-13 2022-04-21 日商名南製作所股份有限公司 Defect detection system, defect detection method and defect detection program for panel wood
CN111982929A (en) * 2020-08-14 2020-11-24 加藤义晴 Electronic component detection equipment and electronic component detection method
TWI816060B (en) * 2020-10-28 2023-09-21 友達光電股份有限公司 Monitor system and method thereof
KR102485878B1 (en) * 2021-02-01 2023-01-06 김현식 Plastic Box Packaging Device
CN113960071B (en) * 2021-10-23 2022-08-23 朗升柯式印刷(深圳)有限公司 Quality detection method and system for color printing products
CN115055385B (en) * 2022-06-09 2024-03-22 黄冈师范学院 Automatic defect eliminating method for machine vision sheet
CN117408931A (en) * 2022-07-06 2024-01-16 纬创资通(昆山)有限公司 Image defect detecting system, its producing method and computer readable recording medium

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS535002A (en) 1976-07-06 1978-01-18 Kobe Steel Ltd Sintering method of iron ore
DE19511534C2 (en) * 1995-03-29 1998-01-22 Fraunhofer Ges Forschung Method and device for detecting 3D defects in the automatic inspection of surfaces with the aid of color-capable image evaluation systems
JP4220595B2 (en) * 1998-08-10 2009-02-04 株式会社日立製作所 Defect classification method and teaching data creation method
JP2003262593A (en) * 2002-03-08 2003-09-19 Mitsubishi Rayon Co Ltd Apparatus and method for detection of defect
JP2003329596A (en) * 2002-05-10 2003-11-19 Mitsubishi Rayon Co Ltd Apparatus and method for inspecting defect
JP2004286532A (en) * 2003-03-20 2004-10-14 Olympus Corp Device and method for visual inspection
JP4793266B2 (en) * 2004-11-24 2011-10-12 旭硝子株式会社 Defect inspection method and apparatus for transparent plate
JP2009036747A (en) * 2007-07-06 2009-02-19 Toray Ind Inc Defect inspection device and defect inspection method of circuit pattern
KR101286534B1 (en) * 2008-02-29 2013-07-16 엘지디스플레이 주식회사 inspection apparatus of Liquid crystal display apparatus and inspection method using the same
TWI420098B (en) * 2008-07-18 2013-12-21 Asahi Glass Co Ltd A defect inspection apparatus and method using the image data for defect inspection, a method for manufacturing the same, and a recording medium
JP6314557B2 (en) 2014-03-12 2018-04-25 オムロン株式会社 Sheet inspection device
JP2017215277A (en) * 2016-06-02 2017-12-07 住友化学株式会社 Defect inspection system, film manufacturing device and defect inspection method
CN107656986A (en) * 2017-09-12 2018-02-02 武汉华星光电技术有限公司 Microdefect integrates method for early warning and device

Also Published As

Publication number Publication date
JP2019190891A (en) 2019-10-31
KR20190122550A (en) 2019-10-30
TWI693397B (en) 2020-05-11
CN110390661A (en) 2019-10-29
TW201944059A (en) 2019-11-16

Similar Documents

Publication Publication Date Title
JP6981352B2 (en) Inspection management system, inspection management device and inspection management method
JP6425755B2 (en) Foreign substance inspection method of substrate
TWI484161B (en) Defect inspection system and filming device for defect inspection, image processing device for defect inspection, image processing program for defect inspection, recording media, and image processing method for defect inspection used therein
JP6955211B2 (en) Identification device, identification method and program
CN107209935B (en) For measuring the system and method for mobile document image quality
JP2017215277A (en) Defect inspection system, film manufacturing device and defect inspection method
JP6549396B2 (en) Region detection apparatus and region detection method
CN106446770B (en) Method and system for generating a fingerprint for authenticating a reference object
Liao et al. A flexible PCB inspection system based on statistical learning
JP6616906B1 (en) Detection device and detection system for defective photographing data
WO2024055796A9 (en) Defect detection system, method and apparatus, electronic device, and storage medium
TW202305320A (en) Film inspection apparatus, film inspection method and program wherein detection of defects generated in a film can be easily performed without manual monitoring
TWI753424B (en) Appearance inspection management system, appearance inspection management device, appearance inspection management method, and program
US20210049396A1 (en) Optical quality control
TWM600842U (en) Integrated system for rapid defect detection of sheet materials
TW202100991A (en) Appearance inspection management system, appearance inspection management device, appearance inspection management method and program which can support a user to select a feature amount used as a defect determination index in an appearance inspection device and set a threshold value for each feature amount
TWI823261B (en) Supported devices and support methods
TWI731565B (en) Rapid defect detection integration system for flake materials
US20210407070A1 (en) Methods and systems for non-destructive testing (ndt) with trained artificial intelligence based processing
WO2023243253A1 (en) Wafer assessing method, assessing program, assessing device, wafer manufacturing method, and wafer
CN116046791B (en) Method and device for detecting defect of adhesive dispensing
JP2019120518A (en) Foreign substance detector and method for detecting foreign substance
JP2011145305A (en) Defect inspection system, and photographing device for defect inspection, image processing apparatus for defect inspection, image processing program for defect inspection, recording medium, and image processing method for defect inspection used for the same
JP4729363B2 (en) Photo side detection device, ID card creation device, photo side detection method, and ID card creation method
JP2009092472A (en) Visual inspection device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200305

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210224

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211019

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211101

R150 Certificate of patent or registration of utility model

Ref document number: 6981352

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150