JP7298333B2 - Visual inspection management system, visual inspection management device, visual inspection management method and program - Google Patents

Visual inspection management system, visual inspection management device, visual inspection management method and program Download PDF

Info

Publication number
JP7298333B2
JP7298333B2 JP2019117367A JP2019117367A JP7298333B2 JP 7298333 B2 JP7298333 B2 JP 7298333B2 JP 2019117367 A JP2019117367 A JP 2019117367A JP 2019117367 A JP2019117367 A JP 2019117367A JP 7298333 B2 JP7298333 B2 JP 7298333B2
Authority
JP
Japan
Prior art keywords
feature quantity
defect
feature
visual inspection
items
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019117367A
Other languages
Japanese (ja)
Other versions
JP2021004751A (en
Inventor
雅博 中田
佳昭 宮田
将彦 松井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2019117367A priority Critical patent/JP7298333B2/en
Priority to CN202010371967.6A priority patent/CN112129768B/en
Priority to TW109115595A priority patent/TWI767229B/en
Priority to KR1020200057008A priority patent/KR102284095B1/en
Publication of JP2021004751A publication Critical patent/JP2021004751A/en
Application granted granted Critical
Publication of JP7298333B2 publication Critical patent/JP7298333B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/8914—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the material examined
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/8901—Optical details; Scanning details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8858—Flaw counting
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8861—Determining coordinates of flaws
    • G01N2021/8864—Mapping zones of defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8874—Taking dimensions of defect into account
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8877—Proximity analysis, local statistics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/8901—Optical details; Scanning details
    • G01N2021/8908—Strip illuminator, e.g. light tube
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N2021/8909—Scan signal processing specially adapted for inspection of running sheets
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/8914—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the material examined
    • G01N2021/8917—Paper, also ondulated

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Textile Engineering (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Alarm Systems (AREA)

Description

本発明は、被検査物に照明光を照射して撮影された被検査物の画像に基づいて前記被検査物の検査を行う外観検査に関し、具体的には外観検査管理システム、外観検査管理装置、外観検査管理方法及びプログラムに関する。 TECHNICAL FIELD The present invention relates to a visual inspection for inspecting an object to be inspected based on an image of the object to be inspected which is photographed by irradiating the object with illumination light, and more specifically to a visual inspection management system and a visual inspection management apparatus. , Appearance inspection management method and program.

従来から、被検査物に照明光を照射して撮影された被検査物の画像に基づいて、被検査物の検査を行う外観検査装置が知られている。 2. Description of the Related Art Conventionally, there has been known a visual inspection apparatus that inspects an object to be inspected based on an image of the object to be inspected that is captured by irradiating the object with illumination light.

例えば、特許文献１には、可視光や紫外光をシートに照射しその透過光又は反射光をカメラで撮影することにより得られる画像を分析することにより、シートにおける異常（異物混入、汚れ、シワなど。以下、欠陥ともいう。）を検出する検査装置が開示されている。 For example, in Patent Document 1, by analyzing an image obtained by irradiating a sheet with visible light or ultraviolet light and photographing the transmitted light or reflected light with a camera, abnormalities in the sheet (contamination of foreign matter, dirt, wrinkles, etc.) etc., hereinafter also referred to as defects.) is disclosed.

このような外観検査装置においては、検査の指標となる特徴量をより多く掛け合わせて検査を実行するほど、検査結果におけるノイズは少なくなると考えられるが、その分検査に係る処理が重くなり、検査速度が低下してしまうという問題がある。 In such a visual inspection apparatus, it is thought that the more characteristic quantities that serve as inspection indices are multiplied to perform inspection, the less noise there will be in the inspection results. There is a problem that the speed decreases.

これに対し、欠陥の判定、分類のための指標を、機械学習により生成して、検査の精度を高めることが、近年多く提案されており、例えば、特許文献２には、使用する特徴量の種類を絞り込んで処理速度を速くすることを目的とした、複数種類の特徴量に基づいて画像を分類する画像分類器を機械学習によって生成する分類器生成装置が記載されている。 On the other hand, in recent years, many proposals have been made to improve the accuracy of inspection by generating indices for determining and classifying defects by machine learning. A classifier generation device is described that generates an image classifier that classifies images based on a plurality of types of feature amounts by machine learning, with the aim of narrowing down the types and increasing the processing speed.

特開２０１５－１７２５１９号公報JP 2015-172519 A 特開２０１６－１０９４９５号公報JP 2016-109495 A

ところで、上記のような機械学習によって生成された分類器（いわゆるＡＩ）は、精度のよい結果を出すことができるようになったとしても、どのような指標によって判定処理を行っているのかが、不明となってしまう（いわゆる判断のブラックボックス化）。このため、そのままではＡＩの判断結果を外観検査装置の検査基準の設定に活かすことができない、という問題があった。また、そもそも判断結果の根拠が不明であること自体にも、問題が生じた場合の分析が困難になるなどの問題が存在する。 By the way, even if a classifier (so-called AI) generated by machine learning as described above can produce highly accurate results, what kind of index is used for judgment processing? It becomes unknown (so-called black box of judgment). For this reason, there is a problem that the judgment result of AI cannot be used as it is for setting the inspection standard of the visual inspection apparatus. In addition, the fact that the grounds for the judgment results are unclear in the first place also poses problems such as making it difficult to analyze when a problem arises.

本発明は、上記のような実情に鑑みてなされたものであり、外観検査装置において欠陥判定指標として用いる特徴量の選定、及び特徴量毎の閾値の設定、をユーザーが行うことを支援する技術を提供することを目的とする。 The present invention has been made in view of the actual situation as described above, and is a technology that assists a user in selecting feature amounts to be used as defect determination indices in a visual inspection apparatus and setting threshold values for each feature amount. intended to provide

前記の目的を達成するために、本発明は以下の構成を採用する。 In order to achieve the above objects, the present invention employs the following configurations.

本発明に係る第１の外観検査管理システムは、
被検査物を撮影した画像から取得する特徴量に基づいて、前記被検査物の欠陥を検査す
る外観検査手段と、
表示手段と、
少なくとも、前記外観検査手段により前記被検査物の欠陥と判定された箇所の画像から得られる特徴量の情報を含む欠陥画像データ、を記憶する記憶手段と、
所定の座標系に前記特徴量の情報をマッピングした特徴量分布図、を複数作成する特徴量分布図作成手段と、
前記特徴量分布図作成手段が作成する複数の特徴量分布図を所定の規則に従って配置した特徴量俯瞰図を、前記表示手段に表示させる特徴量選択補助手段と、
を備えることを特徴とする。 The first appearance inspection management system according to the present invention is
visual inspection means for inspecting defects of the object to be inspected based on feature values obtained from an image of the object to be inspected;
display means;
storage means for storing at least defect image data including information on feature amounts obtained from an image of a portion of the object to be inspected determined to be defective by the visual inspection means;
feature quantity distribution map creation means for creating a plurality of feature quantity distribution maps in which information on the feature quantity is mapped in a predetermined coordinate system;
feature quantity selection assisting means for causing the display means to display a feature quantity bird's-eye view in which a plurality of feature quantity distribution maps created by the feature quantity distribution map creation means are arranged according to a predetermined rule;
characterized by comprising

なお、特徴量として用いられる指標には様々なものが考えられ、例えば画像の輝度（濃淡）分布、輝度のピークレベル、面積、幅、長さ、最長最短フェレ径比、丸さ度等、多くの種類のものを適用することができる。
また、以下では前記外観検査手段において撮影された被検査物の画像を被検査物画像ともいう。 In addition, various indexes can be considered as the index used as the feature quantity, for example, the luminance (shading) distribution of the image, the peak level of luminance, the area, the width, the length, the ratio of the longest and shortest Feret diameters, the degree of roundness, etc. can be applied.
Further, hereinafter, the image of the object to be inspected photographed by the appearance inspection means is also referred to as the image of the object to be inspected.

上記のような構成の検査管理システムによれば、ユーザーは前記特徴量俯瞰図を参照しながら、検査装置の判定指標として用いる特徴量の選定を行うことができ、検査ノウハウのない新人なども、検査精度向上のために有効な特徴量を選択できるようになる。 According to the inspection management system configured as described above, the user can select the feature amount to be used as the judgment index of the inspection apparatus while referring to the feature amount bird's-eye view. It becomes possible to select an effective feature amount for improving inspection accuracy.

また、前記欠陥画像データは、前記被検査物の欠陥と判定された箇所の画像から得られる特徴量の種類、値、及び、少なくとも当該欠陥と判定された結果の真偽を示す付記情報を含むものであってもよい。また、前記記憶手段は、前記外観検査手段の検査において欠陥の判定指標として設定可能な複数種類の特徴量の項目と、前記欠陥画像データと、を記憶するものであってもよい。また、前記特徴量分布図は、前記複数種類の特徴量の項目から２種類の項目を抽出し、これらを横軸、縦軸とした座標系に、前記欠陥画像データの特徴量を、前記付記情報を視覚的に識別可能に反映させてマッピングしたものであってもよい。また、前記特徴量俯瞰図は、前記複数種類の特徴量の項目を横軸と縦軸にそれぞれ並べて配列し、さらに横軸に配列された特徴量の項目と、縦軸に配列された特徴量の項目が交差する箇所に、該横軸の項目の特徴量の値を横軸とし、該縦軸の項目の特徴量の値を縦軸とする前記特徴量分布図を配置するという規則に従って、前記複数の特徴量分布図を配置したものであってもよい。また、前記特徴量分布図作成手段は、全種類の特徴量の全ての組み合わせが成立するように、前記特徴量分布図を複数作成する、ものであってもよい。なお、ここでいう全種類の特徴量の全ての組み合わせが成立、とは、横軸と縦軸の項目の入れ替えのパターンも含む趣旨である。 In addition, the defect image data includes the types and values of the feature values obtained from the image of the portion of the inspection object determined to be a defect, and at least additional information indicating the authenticity of the result of the determination of the defect. can be anything. Further, the storage means may store a plurality of types of feature amount items that can be set as defect determination indices in inspection by the appearance inspection means, and the defect image data. In addition, the feature quantity distribution diagram is obtained by extracting two types of items from the plurality of types of feature quantity items, and plotting the feature quantity of the defect image data on a coordinate system having these as the horizontal axis and the vertical axis. Information may be mapped by reflecting it in a visually identifiable manner. In addition, the feature quantity bird's-eye view includes the plurality of types of feature quantity items arranged along the horizontal axis and the vertical axis, respectively, and the feature quantity items arranged along the horizontal axis and the feature quantity arranged along the vertical axis. According to the rule of arranging the feature quantity distribution map with the feature quantity value of the item on the horizontal axis as the horizontal axis and the feature quantity value of the item on the vertical axis as the vertical axis at the intersection of the items of The plurality of feature quantity distribution maps may be arranged. Further, the feature quantity distribution map creation means may create a plurality of the feature quantity distribution maps so that all combinations of all types of feature quantities are established. It should be noted that the phrase "all combinations of all types of feature amounts are established" means that the patterns of items on the horizontal axis and the items on the vertical axis are interchanged.

上記のような特徴を有することにより、ユーザーは複数の特徴量の組み合わせに応じて、どのように欠陥判定の真偽のバラツキが生じるのかを視覚的に把握することができる。これにより、例えば真の欠陥画像データの分布のバラツキが少ない特徴量の組み合わせを、容易に選択することができる。 By having the features as described above, the user can visually grasp how the true/false variations of the defect determination occur according to the combination of the plurality of feature amounts. As a result, it is possible to easily select, for example, a combination of feature amounts with little variation in the distribution of true defect image data.

また、前記検査管理システムは、ユーザーの入力を受け付けて前記外観検査手段における欠陥の判定指標を、特徴量の種類及び閾値を設定することにより一以上作成する、判定指標設定手段をさらに備えていてもよい。なお、ここでいう閾値の「設定」には変更することも含む意味である、以下本明細書においては同様に解する。このような構成であると、ユーザーは前記特徴量俯瞰図を参照しながら判定指標を設定することができるため、精度の高い判定指標を設定することができる。 The inspection management system further comprises determination index setting means for receiving input from a user and creating one or more defect determination indexes in the appearance inspection means by setting types of feature amounts and threshold values. good too. It should be noted that the term "setting" of the threshold used here also includes changing, and is interpreted in the same way in the following specification. With such a configuration, the user can set the determination index while referring to the bird's-eye view of the feature amount, so that the determination index can be set with high accuracy.

また、前記特徴量選択補助手段は、前記判定指標設定手段により設定された特徴量の種類及び閾値を、前記特徴量俯瞰図に対する視覚的な表現として表示してもよい。視覚的な
表現の例としては、例えば、複数の特徴量分布図に対して横断（縦断）的に閾値のラインを引いて表示する、同じく複数の特徴量分布図に対して、フィルタのかかる範囲をハイライト表示する、などとすることもできる。 Further, the feature quantity selection assisting means may display the type and threshold value of the feature quantity set by the determination index setting means as a visual expression with respect to the feature quantity bird's-eye view. As an example of visual expression, for example, multiple feature value distribution maps are displayed by drawing a threshold line across (longitudinal). can also be highlighted, and so on.

また、前記特徴量選択補助手段は、前記欠陥画像データの数量を示す元欠陥数グラフと、前記判定指標設定手段による設定が行われた場合における、前記外観検査手段の検査結果の変化を前記元欠陥数グラフに対して反映させた、新規フィルタ適用欠陥数グラフと、を、前記特徴量俯瞰図と同時又は切り替え可能に、前記表示手段に表示させてもよい。また、前記元欠陥数グラフは、前記付記情報が視覚的に認識可能なように前記欠陥画像データの数量を示すものであってもよい。 In addition, the feature quantity selection assisting means is configured to display the original defect number graph indicating the quantity of the defect image data and the change in the inspection result of the visual inspection means when the setting is performed by the determination index setting means. The newly filtered defect number graph reflected on the defect number graph may be displayed on the display means simultaneously with or switchably with the feature amount bird's-eye view. Further, the original defect count graph may indicate the quantity of the defect image data so that the supplementary information can be visually recognized.

なお、ここでいう検査結果の「変化」には、変化が生じないことも含む意味に用いる。このような構成であると、判定指標設定手段を介して設定した判定指標が、検査結果にどのような影響を及ぼすのかを、容易に認識することができ、特徴量の種類及び閾値の設定をより効率的に行うことができる。 It should be noted that the term "change" in the inspection results used herein includes the meaning of no change. With such a configuration, it is possible to easily recognize how the determination index set via the determination index setting means affects the inspection result, and it is possible to set the type of feature amount and the threshold value. can be done more efficiently.

また、前記判定指標設定手段において、用いる特徴量の種類又は閾値が異なる複数の判定指標を作成する際には、前記特徴量選択補助手段は、それぞれの判定指標に係る特徴量の種類及び閾値の設定が行われる度に、当該設定が反映された前記新規フィルタ適用欠陥数グラフを、段階的に表示してもよい。 Further, in the determination index setting means, when creating a plurality of determination indices with different feature quantity types or thresholds to be used, the feature quantity selection assisting means sets the type of feature quantity and the threshold value for each of the determination indices. Each time a setting is made, the new filter application defect number graph reflecting the setting may be displayed step by step.

このような構成であることによって、複数の判定指標を用いる場合、判定指標の適用の順序まで含めた、最適な特徴量選定を対話的に行うことができる。 With such a configuration, when a plurality of determination indices are used, it is possible to interactively select the optimum feature amount including the order of application of the determination indices.

また、前記付記情報には、欠陥の種類を含むようにしてもよい。このような構成によると、欠陥の種類毎に前記特徴量俯瞰図を作成するなどして、欠陥の種類に応じて有効な特徴量の選定を行うことも可能になる。 Further, the supplementary information may include the type of defect. According to such a configuration, it is also possible to select an effective feature amount according to the defect type, for example, by creating the feature amount bird's-eye view for each defect type.

また、本発明に係る第１の外観検査装置は、少なくとも前記特徴量分布図作成手段と、前記特徴量選択補助手段と、を備える外観検査管理装置である。 A first visual inspection apparatus according to the present invention is a visual inspection management apparatus including at least the feature quantity distribution diagram creating means and the feature quantity selection assisting means.

また、上記の外観検査システムは、シート状の被検査物を連続的に搬送する搬送手段と、搬送中の前記被検査物を連続して撮影する撮影手段と、前記撮影手段により撮影される被検査物画像から得られる特徴量を所定の閾値と対比することによって判定し、前記被検査物の欠陥箇所を検出する外観検査手段と、表示手段と、少なくとも、前記外観検査手段により前記被検査物の欠陥と判定された箇所の画像から得られる特徴量の情報を含む欠陥画像データ、を記憶する記憶手段と、所定の座標系に前記特徴量の情報をマッピングした特徴量分布図、を複数作成する特徴量分布図作成手段と、前記特徴量分布図作成手段が作成する複数の特徴量分布図を所定の規則に従って配置した特徴量俯瞰図を、前記表示手段に表示させる特徴量選択補助手段と、を備えるものであってもよい。 Further, the above visual inspection system includes a conveying means for continuously conveying a sheet-like inspection object, a photographing means for continuously photographing the inspected object being conveyed, and a subject photographed by the photographing means. visual inspection means for determining a feature amount obtained from an image of the inspection object by comparing it with a predetermined threshold value, and detecting a defective portion of the inspection object; display means; A plurality of storage means for storing defect image data including information on feature amounts obtained from an image of a location determined to be a defect, and a plurality of feature amount distribution maps in which the information on the feature amounts is mapped on a predetermined coordinate system. and feature quantity selection assisting means for causing the display means to display, on the display means, a feature quantity bird's-eye view in which the plurality of feature quantity distribution maps created by the feature quantity distribution map creation means are arranged according to a predetermined rule. , may be provided.

また、本発明に係る第２の外観検査管理システムは
被検査物を撮影した画像から取得する特徴量に基づいて、少なくとも前記被検査物の欠陥を検査する外観検査手段と、
表示手段と、
前記外観検査において、欠陥の判定指標として設定可能な複数種類の特徴量の項目と、前記被検査物の欠陥と判定された箇所の画像から得られる特徴量の種類及び値を含む欠陥画像データと、を少なくとも記憶する記憶手段と、
前記外観検査手段における欠陥の判定指標を、特徴量の種類及び閾値を設定することにより一以上作成する、判定指標設定手段と、
前記判定指標設定手段において、用いる特徴量の種類が異なる複数の判定指標が作成される場合には、それぞれの判定指標が重畳して用いられた場合の、前記外観検査手段における検査結果の変化を段階的に示す欠陥分離図を、前記表示手段に表示させる、指標設定補助手段と、を備える。また、前記指標設定補助手段が示す欠陥分離図は、ヒストグラムであってもよい。 A second visual inspection management system according to the present invention includes visual inspection means for inspecting at least defects in an object to be inspected based on a feature quantity obtained from an image of the object to be inspected;
display means;
In the visual inspection, a plurality of types of feature amount items that can be set as a defect determination index, and defect image data including the type and value of the feature amount obtained from the image of the location determined to be a defect of the inspected object. a storage means for storing at least ,
Determination index setting means for creating one or more defect determination indexes in the visual inspection means by setting types of feature amounts and threshold values;
In the case where a plurality of judgment indices with different types of feature amounts to be used are created in the judgment index setting means, the change in the inspection result in the visual inspection means when the respective judgment indices are superimposed and used is and index setting assisting means for causing the display means to display a defect isolation diagram shown step by step. Further, the defect isolation diagram indicated by the index setting assisting means may be a histogram.

このような構成の検査管理システムによると、ユーザーは複数の判定指標を設定する際に、どのような特徴量を有する判定指標をどのような順序で掛け合わせると、どのような絞り込みが行えるのか、を、段階を追って対話的に確認することができる。このため、判定指標の適用の順序を含めた最適な特徴量及びその閾値の選定が可能になる。 According to the inspection management system having such a configuration, when setting a plurality of determination indices, the user can determine what kind of narrowing down can be performed by multiplying the determination indices having what kind of feature amounts in what order. can be checked step by step interactively. Therefore, it is possible to select the optimum feature amount including the order of application of the determination index and the threshold thereof.

また、前記指標設定補助手段は、前記付記情報が視覚的に認識可能なように前記欠陥画像データの数量を示す元欠陥数グラフと、前記判定指標設定手段による設定が行われた場合における、前記外観検査手段の検査結果の変化を前記元欠陥数グラフに対して反映させた、新規フィルタ適用欠陥数グラフと、を、前記欠陥分離図と同時又は切り替え可能に、前記表示手段に表示してもよい。 Further, the index setting assisting means includes an original defect number graph showing the quantity of the defect image data so that the supplementary information can be visually recognized, and the A new filter-applied defect number graph in which a change in the inspection result of the visual inspection means is reflected on the original defect number graph may be displayed on the display means simultaneously or switchably with the defect isolation diagram. good.

このような構成であると、判定指標設定手段を介して設定した判定指標が、検査結果にどのような影響を及ぼすのかを、容易に認識することができ、特徴量の種類及び閾値の設定をより効率的に行うことができる。 With such a configuration, it is possible to easily recognize how the determination index set via the determination index setting means affects the inspection result, and it is possible to set the type of feature amount and the threshold value. can be done more efficiently.

また、前記欠陥画像データには、欠陥の種類の情報を含んでいてもよい。このような構成であると、欠陥の種類の別を反映させて前記欠陥分離図を作成することができる。このため、欠陥の種類応じて有効な判定指標を選択することが可能になる。 Further, the defect image data may include information on the type of defect. With such a configuration, the defect isolation diagram can be created by reflecting the different types of defects. Therefore, it becomes possible to select an effective determination index according to the type of defect.

また、本発明に係る第２の外観検査管理装置は、少なくとも、前記判定指標設定手段と、前記指標設定補助手段と、を備える。 A second visual inspection management apparatus according to the present invention includes at least the determination index setting means and the index setting assisting means.

また、前記の外観検査管理システムは、シート状の被検査物を連続的に搬送する搬送手段と、搬送中の前記被検査物を連続して撮影する撮影手段と、前記撮影手段により撮影される被検査物画像から得られる特徴量を所定の閾値と対比することによって判定し、前記被検査物の欠陥箇所を検出する外観検査手段と、表示手段と、前記外観検査手段における欠陥の判定指標として設定可能な複数種類の特徴量の項目と、前記被検査物の欠陥と判定された箇所の画像から得られる特徴量の種類及び値を含む欠陥画像データと、を少なくとも記憶する記憶手段と、前記外観検査手段における欠陥の判定指標を、特徴量の種類及び閾値を設定することにより一以上作成する、判定指標設定手段と、前記判定指標設定手段において、用いる特徴量の種類が異なる複数の判定指標が作成される場合には、それぞれの判定指標が重畳して用いられた場合の、前記外観検査手段における検査結果の変化を段階的に示す欠陥分離図を、前記表示手段に表示させる、指標設定補助手段と、を備えるものであってもよい。 Further, the visual inspection management system includes a conveying means for continuously conveying a sheet-like inspection object, a photographing means for continuously photographing the inspected object being conveyed, and an image taken by the photographing means. Appearance inspection means for detecting a defective portion of the object to be inspected by comparing a feature amount obtained from the image of the object to be inspected with a predetermined threshold value; storage means for storing at least a plurality of types of feature quantity items that can be set, and defect image data including the types and values of feature quantities obtained from an image of a portion of the inspection object determined to be a defect; Determination index setting means for creating one or more defect determination indexes in visual inspection means by setting types of feature amounts and threshold values; index setting, causing the display means to display, in stages, a defect isolation diagram showing changes in the inspection results of the visual inspection means in stages when each judgment index is superimposed and used. Auxiliary means may be provided.

また、本発明に係る第１の外観検査管理方法は、
被検査物の外観検査を管理する外観検査管理方法であって、
前記外観検査において、欠陥の判定指標として設定可能な複数種類の特徴量の項目と、前記被検査物の欠陥と判定された箇所の画像から得られる特徴量の種類、値及び少なくとも当該欠陥判定結果の真偽を示す付記情報を含む欠陥画像データと、を取得するデータ取得ステップと、
前記データ取得ステップで取得した前記複数の特徴量の項目から２種類の項目を抽出し、これらを横軸、縦軸とする座標系に、前記記憶手段に記憶された各欠陥画像データの特徴量を、前記付記情報を視覚的に反映させてマッピングした特徴量分布図を、全種類の特
徴量の全ての組み合わせが成立するように複数作成する、特徴量分布図作成ステップと
前記複数種類の特徴量の全ての項目を、横軸と縦軸にそれぞれ並べて配列し、さらに横軸に配列された特徴量の項目と、縦軸に配列された特徴量の項目が交差する箇所に、当該横軸の項目の特徴量の値を横軸とし、縦軸の項目の特徴量の値を縦軸とする前記特徴量分布図を配置した、特徴量俯瞰図を表示する、特徴量選択補助ステップと、を有する。 Moreover, the first appearance inspection management method according to the present invention includes:
A visual inspection management method for managing visual inspection of an object to be inspected,
In the visual inspection, a plurality of types of feature amount items that can be set as a defect determination index, the type and value of the feature amount obtained from the image of the portion determined to be a defect of the inspected object, and at least the defect determination result a data acquisition step of acquiring defect image data including additional information indicating the authenticity of
Two types of items are extracted from the plurality of items of the feature amount acquired in the data acquisition step, and the feature amount of each defect image data stored in the storage means is plotted on a coordinate system having these as the horizontal axis and the vertical axis. a feature quantity distribution map creating step of creating a plurality of feature quantity distribution maps in which the additional information is visually reflected and mapped so that all combinations of all types of feature quantities are established; and the plurality of types of features All the items of quantity are arranged side by side on the horizontal axis and the vertical axis, respectively. a feature quantity selection assisting step of displaying a feature quantity bird's eye view in which the feature quantity distribution chart is arranged with the feature quantity value of the item on the horizontal axis and the feature quantity value of the item on the vertical axis on the vertical axis; have

また、本発明に係る第２の検査管理方法は、
被検査物の外観検査を管理する外観検査管理方法であって、
前記外観検査において、欠陥の判定指標として設定可能な複数種類の特徴量の項目と、前記被検査物の欠陥と判定された箇所の画像から得られる特徴量の種類、値及び少なくとも当該欠陥判定結果の真偽を示す付記情報を含む欠陥画像データと、を取得するデータ取得ステップと、
前記外観検査における欠陥の判定指標を、特徴量の種類及び閾値を設定することにより作成する、判定指標作成ステップと、
前記判定指標作成ステップにおいて、判定指標に係る特徴量の種類及び閾値の設定が行われる度に、当該設定が反映された場合の前記外観検査手段における検査結果の変化を段階的に示す欠陥分離図を、前記表示手段に表示させる、指標設定補助ステップと、
を有する。 In addition, a second inspection management method according to the present invention includes:
A visual inspection management method for managing visual inspection of an object to be inspected,
In the visual inspection, a plurality of types of feature amount items that can be set as a defect determination index, the type and value of the feature amount obtained from the image of the portion determined to be a defect of the inspected object, and at least the defect determination result a data acquisition step of acquiring defect image data including additional information indicating the authenticity of
a determination index creating step of creating a defect determination index in the visual inspection by setting a type of feature amount and a threshold value;
Defect isolation diagram showing step by step changes in inspection results in the appearance inspection means when the setting is reflected each time the type of feature amount and the threshold value related to the determination index are set in the determination index creation step. is displayed on the display means; and
have

また、本発明は、上記の各方法を情報処理装置に実行させるためのプログラム、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。 The present invention can also be regarded as a program for causing an information processing apparatus to execute each of the above methods, and a computer-readable recording medium on which such a program is non-temporarily recorded.

また、上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。 Moreover, each of the above configurations and processes can be combined with each other to form the present invention as long as there is no technical contradiction.

本発明によれば、外観検査装置において欠陥判定指標として用いる特徴量の選定、及び特徴量毎の閾値の設定、をユーザーが行うことを支援する技術を提供することができる。 Advantageous Effects of Invention According to the present invention, it is possible to provide a technology that assists a user in selecting a feature quantity to be used as a defect determination index in a visual inspection apparatus and setting a threshold value for each feature quantity.

図１は、本発明の適用例に係る外観検査管理システムの構成を示す模式図である。FIG. 1 is a schematic diagram showing the configuration of an appearance inspection management system according to an application example of the present invention. 図２は、適用例に係る特徴量選択補助部が表示部に表示する画面例を示す図である。FIG. 2 is a diagram illustrating an example of a screen displayed on a display unit by a feature amount selection assistance unit according to an application example; 図３は、実施形態１に係る外観検査管理システムの構成を示す模式図である。FIG. 3 is a schematic diagram showing the configuration of the visual inspection management system according to the first embodiment. 図４は、実施形態１に係る外観検査管理システムの処理の流れを示すフローチャートである。FIG. 4 is a flow chart showing the flow of processing of the visual inspection management system according to the first embodiment. 図５は、実施形態１に係る特徴量選択補助部が表示装置に表示する画面例を示す図である。FIG. 5 is a diagram illustrating an example of a screen displayed on the display device by the feature quantity selection assisting unit according to the first embodiment; 図６は、実施形態２に係る外観検査管理システムの構成を示す模式図である。FIG. 6 is a schematic diagram showing the configuration of a visual inspection management system according to the second embodiment. 図７Ａは、実施形態２に係る指標設定補助部が表示装置に表示する画面例を説明する第１の図である。図７Ｂは、実施形態２に係る指標設定補助部が表示装置に表示する画面例を説明する第２の図である。図７Ｃは、実施形態２に係る指標設定補助部が表示装置に表示する画面例を説明する第３の図である。7A is a first diagram illustrating an example of a screen displayed on a display device by an index setting assisting unit according to the second embodiment; FIG. FIG. 7B is a second diagram illustrating an example of a screen displayed on the display device by the index setting assistance unit according to the second embodiment; 7C is a third diagram illustrating an example of a screen displayed on the display device by the index setting assisting unit according to the second embodiment; FIG. 図８Ａは、実施形態２に係る指標設定補助部が表示装置に表示する画面例を説明する第４の図である。図８Ｂは、実施形態２に係る指標設定補助部が表示装置に表示する画面例を説明する第５の図である。FIG. 8A is a fourth diagram illustrating an example of a screen displayed on the display device by the index setting assisting unit according to the second embodiment; FIG. 8B is a fifth diagram illustrating an example of a screen displayed on the display device by the index setting assisting unit according to the second embodiment; 図９は、実施形態２に係る外観検査管理システムの処理の流れを示すフローチャートである。FIG. 9 is a flow chart showing the flow of processing of the visual inspection management system according to the second embodiment.

以下、図面を参照して、本発明の実施形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

＜適用例＞
（適用例の構成）
本発明は例えば、図１に示すような外観検査管理システム９に適用することができる。図１は本適用例に係る外観検査管理システム９の概略構成を概略模式図である。外観検査管理システム９は外観検査装置９１と、検査管理装置９２とを含んで構成される。 <Application example>
(Configuration of application example)
The present invention can be applied, for example, to a visual inspection management system 9 as shown in FIG. FIG. 1 is a schematic diagram of a schematic configuration of a visual inspection management system 9 according to this application example. The visual inspection management system 9 includes a visual inspection device 91 and an inspection management device 92 .

外観検査装置９１は、検査対象物（図示せず）の画像を撮影し、当該画像に基づいて検査対象物の欠陥の有無を検査する装置であり、図１に示すように主な構成として照明手段としての光源９１１、撮影手段としてのカメラ９１２、検査手段としての制御端末９１３を有している。 The visual inspection apparatus 91 is an apparatus for photographing an image of an inspection object (not shown) and inspecting the presence or absence of defects in the inspection object based on the image. It has a light source 911 as means, a camera 912 as imaging means, and a control terminal 913 as inspection means.

光源９１１は、検査対象物、及び較正用標準板９５に対して照明光を照射可能に構成されている。カメラ９１２は、照明光が照射された状態の検査対象物を撮影し、デジタル画像を出力する撮影手段である。なお、以下では、撮影手段によって撮影された検査対象物の画像を被検査物画像とも表記する。カメラ９１２は例えば、光学系とイメージセンサを有して構成される。 The light source 911 is configured to irradiate the inspection object and the calibration standard plate 95 with illumination light. The camera 912 is a photographing means for photographing an inspection target illuminated with illumination light and outputting a digital image. In addition, below, the image of the inspection object photographed by the photographing means is also referred to as the inspection object image. The camera 912 is configured with, for example, an optical system and an image sensor.

制御端末９１３は、光源９１１及びカメラ９１２の制御、カメラ９１２から取り込まれた画像に対する処理などの機能を有しており、本発明における検査手段に該当する。制御端末９１３は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）
、不揮発性の記憶装置（例えば、ハードディスクドライブ、フラッシュメモリなど）、入力装置（例えば、キーボード、マウス、タッチパネルなど）、を備えるコンピュータにより構成することができる。 The control terminal 913 has functions such as control of the light source 911 and the camera 912, and processing of images captured from the camera 912, and corresponds to inspection means in the present invention. The control terminal 913 includes a CPU (Central Processing Unit), a RAM (Random Access Memory)
, a non-volatile storage device (eg, hard disk drive, flash memory, etc.), and an input device (eg, keyboard, mouse, touch panel, etc.).

以上のような構成を有する外観検査装置９１において検査対象物の外観検査を行う際には、光源９１１から照明光を照射された状態の検査対象物の画像をカメラ９１２によって撮影し、撮影された画像を制御端末９１３が画像処理し、得られた特徴量の値と予め設定されている検査閾値との対比により、閾値から逸脱する特徴量を有する箇所が欠陥として判定される。 When the visual inspection of the inspection object is performed by the visual inspection apparatus 91 having the configuration as described above, an image of the inspection object irradiated with the illumination light from the light source 911 is photographed by the camera 912, and the photographed image is taken. The control terminal 913 performs image processing on the image, and by comparing the obtained feature amount value with a preset inspection threshold value, a location having a feature amount that deviates from the threshold value is determined as a defect.

（制御端末）
続いて、制御端末９１３が有する機能について説明する。制御端末９１３は、外観検査に関わる機能モジュールとして、画像取得部９１３１、特徴量算出部９１３２、欠陥判定部９１３３を含んでいる。 (control terminal)
Next, functions of the control terminal 913 will be described. The control terminal 913 includes an image acquisition unit 9131, a feature quantity calculation unit 9132, and a defect determination unit 9133 as functional modules related to visual inspection.

画像取得部９１３１はカメラ９１２から画像を取り込む機能であり、例えば、照明光が照射された状態の検査対象物の被検査物画像を取得する。特徴量算出部９１３２は、被検査物画像に基づいて、外観検査に用いる特徴量を算出する機能である。なお、特徴量は一つに限られず、例えば、画像の輝度（濃淡）分布、輝度のピークレベル、面積、幅、長さ、最長最短フェレ径比、丸さ度、など様々な種類のものを算出するようにしてもよい。 The image acquisition unit 9131 has a function of acquiring an image from the camera 912, and acquires, for example, an inspection object image of an inspection object irradiated with illumination light. The feature amount calculation unit 9132 has a function of calculating a feature amount used for visual inspection based on the image of the inspection object. In addition, the feature amount is not limited to one, and various types such as image luminance (shading) distribution, luminance peak level, area, width, length, ratio of longest and shortest Feret diameters, roundness, etc. You may make it calculate.

欠陥判定部９１３３は、特徴量算出部９１３２が算出した特徴量を、予め設定されている閾値と対比させ、閾値から逸脱する特徴量を有する箇所を欠陥として判定する。 The defect determination unit 9133 compares the feature amount calculated by the feature amount calculation unit 9132 with a preset threshold value, and determines a portion having a feature amount that deviates from the threshold value as a defect.

検査管理装置９２は、ＣＰＵ、ＲＡＭ、記憶装置９２３、入力装置、表示部９３を備えるコンピュータにより構成することができる。記憶装置９２３には、少なくとも外観検査装置９１から送信される欠陥画像データが記憶される。ここで、欠陥画像データには、被検査物の欠陥と判定された箇所の画像から得られる特徴量の種類、値、及び、目視検査によって判定された一次検査の真偽を示す付記情報が含まれる。 The inspection management device 92 can be configured by a computer having a CPU, a RAM, a storage device 923 , an input device, and a display section 93 . The storage device 923 stores at least the defect image data transmitted from the appearance inspection device 91 . Here, the defect image data includes additional information indicating the types and values of the feature values obtained from the image of the portion of the object to be inspected determined to be defective, and the authenticity of the primary inspection determined by visual inspection. be

検査管理装置９２は、機能モジュールとして、特徴量分布図作成部９２１、特徴量選択補助部９２２を有している。特徴量分布図作成部９２１は、記憶装置９２３に記憶された欠陥画像データを所定の特徴量に従ってマッピングした特徴量分布図を作成する機能である。特徴量分布図とは、予め複数設定されている特徴量の項目の中から２種類の項目を抽出し、このうちの一方を横軸、もう一方を縦軸とする座標系に、画像データをマッピングしたものである。さらに詳細に説明すると、記憶部９２３に記憶された各欠陥画像データの有する特徴量の値に応じて、それぞれの画像を前記座標系にマッピングする。さらに、欠陥画像データのうち、真の欠陥を示す画像データについては、そのことが視覚的に区別できるように、例えば色分けするなどして表示される。特徴量分布図作成部９２１は、このような特徴量分布図を、全種類の特徴量の全ての組み合わせが成立するように、複数作成する。 The inspection management apparatus 92 has a feature quantity distribution diagram creating section 921 and a feature quantity selection assisting section 922 as functional modules. The feature quantity distribution map creation unit 921 has a function of creating a feature quantity distribution map by mapping the defect image data stored in the storage device 923 according to a predetermined feature quantity. A feature quantity distribution map is obtained by extracting two types of items from a plurality of preset feature quantity items, and plotting image data on a coordinate system with one of them on the horizontal axis and the other on the vertical axis. It is mapped. More specifically, each image is mapped on the coordinate system according to the value of the feature amount of each defect image data stored in the storage unit 923 . Furthermore, among the defect image data, the image data indicating the true defect is displayed in different colors, for example, so that it can be visually distinguished. The feature quantity distribution map creation unit 921 creates a plurality of such feature quantity distribution maps so that all combinations of all types of feature quantities are established.

特徴量選択補助部９２２は、前記複数の特徴量分布図を所定の規則に従って格子状に配置した特徴量俯瞰図を、前記表示部９３に表示させる機能である。特徴量俯瞰図は、前記複数設定されている特徴量の項目が、横軸と縦軸にそれぞれ並べて配列され、当該配列された特徴量の項目ごとに、その項目の特徴量を対応する軸に取った前記特徴量分布図が配置されたものである。さらに詳細に説明すると、横軸に配列された一の特徴量の項目と、縦軸に配列された一の特徴量の項目が交差する位置に、当該横軸の項目の特徴量の値を横軸に取り、縦軸の項目の特徴量の値を縦軸に取った前記特徴量分布図が配置される。 The feature amount selection assisting unit 922 has a function of causing the display unit 93 to display a feature amount bird's-eye view in which the plurality of feature amount distribution maps are arranged in a grid according to a predetermined rule. In the feature quantity bird's-eye view, the plurality of set feature quantity items are arranged side by side on the horizontal axis and the vertical axis, respectively, and for each item of the arranged feature quantity, the feature quantity of the item is plotted on the corresponding axis. The feature quantity distribution map taken is arranged. In more detail, at the position where one feature value item arranged on the horizontal axis and one feature value item arranged on the vertical axis intersect, the value of the feature value of the item on the horizontal axis is placed horizontally. The feature amount distribution map is arranged with the axis on the axis and the value of the feature amount of the item on the vertical axis on the vertical axis.

図２に、特徴量選択補助部９２２が表示部９３に表示させる特徴量俯瞰図の一例を示す。図２には、輝度ピークレベル、丸さ度、最長最短フェレ径比の三種類の特徴量を横軸と縦軸に取った特徴量分布図が、同種の特徴量同士の組み合わせも含めて、全ての組み合わせが成立するように、格子状に（いわゆる総当たりリーグ対戦表形式）で配置されている。 FIG. 2 shows an example of a bird's-eye view of the feature amount displayed on the display unit 93 by the feature amount selection assisting unit 922. As shown in FIG. FIG. 2 shows a feature distribution diagram in which the horizontal and vertical axes represent the three types of feature values, i.e., the brightness peak level, the roundness, and the ratio of the longest and shortest Feret diameters. They are arranged in a grid pattern (so-called round-robin league play table format) so that all combinations are established.

各特徴量分布図において、濃い色で示されているドットが、目視検査の結果、真に欠陥であると判定された欠陥画像データの特徴量の値を示している。その他の薄い色のドットは、誤判定された欠陥画像データの特徴量の値である。 In each feature quantity distribution diagram, dark colored dots indicate the value of the feature quantity of defect image data determined to be a true defect as a result of visual inspection. Other light-colored dots are the values of the feature amounts of the defect image data that were erroneously determined.

このような本適用例に係る外観検査管理システム９によれば、特徴量俯瞰図を参照し、濃い色のドット（即ち真の欠陥）のバラツキが少ない特徴量の組み合わせを用いることで、誤判定、即ちノイズが混ざることを極力抑えた閾値を設定することが可能になる。これによって、経験が少ない者であっても、外観検査の判定のために有効な特徴量の選定及び閾値の設定を容易に行うことができる。 According to the appearance inspection management system 9 according to this application example, by referring to the feature amount bird's-eye view and using a combination of feature amounts with little variation in dark-colored dots (that is, true defects), an erroneous determination can be performed. In other words, it becomes possible to set a threshold that minimizes the mixture of noise. As a result, even an inexperienced person can easily select an effective feature amount and set a threshold value for judgment of appearance inspection.

＜実施形態１＞
次に、本発明を実施するための形態の他の例である外観検査管理システム１について説明する。ただし、この実施形態に記載されている構成部品の寸法、材質、形状、その相対配置などは、特に記載がない限りは、この発明の範囲をそれらのみに限定する趣旨のものではない。 <Embodiment 1>
Next, an appearance inspection management system 1, which is another example of the mode for carrying out the present invention, will be described. However, unless otherwise specified, the dimensions, materials, shapes, relative positions, etc. of the components described in this embodiment are not intended to limit the scope of the present invention.

（システム構成）
図３を参照して、本発明の実施形態に係る外観検査管理システムの全体構成について説
明する。図３は外観検査管理システム１のシステム構成を示す模式図である。図３に示すように、本実施形態に係る外観検査管理システム１は、主たる構成として、外観検査装置２及び検査管理装置３を有している。
（外観検査装置）
外観検査装置２は、シート状の物品の外観画像を取得し、当該画像に基づいて、欠陥の検出を行うための装置であり、主たる構成として、照明系、測定系、搬送機構（図示しない）、制御端末２３を備えている。 (System configuration)
The overall configuration of the visual inspection management system according to the embodiment of the present invention will be described with reference to FIG. FIG. 3 is a schematic diagram showing the system configuration of the visual inspection management system 1. As shown in FIG. As shown in FIG. 3, the visual inspection management system 1 according to this embodiment has a visual inspection apparatus 2 and an inspection management apparatus 3 as main components.
(Appearance inspection device)
The appearance inspection apparatus 2 is an apparatus for acquiring an appearance image of a sheet-like article and detecting defects based on the image, and mainly includes an illumination system, a measurement system, and a transport mechanism (not shown). , a control terminal 23 .

被検査物Ｔは、図示しない搬送機構によって、水平方向（矢印方向）に搬送され、その搬送中に測定系によって被検査物Ｔの外観画像が連続的に取得され、これに基づいて検査が実施される。被検査物Ｔは、シート状に形成されており、例えば、紙、布、フィルムなどが例示できる。また、単一素材に限られず、フィルムと不織布を貼り合わせた包装紙などのように、複数の層を有するようなシート体であってもよい。また、乾燥海苔などの食品であってもよい。 The object T to be inspected is transported in the horizontal direction (in the direction of the arrow) by a transport mechanism (not shown). During the transportation, external images of the object T to be inspected are continuously acquired by the measuring system, and the inspection is performed based on these images. be done. The inspected object T is formed in a sheet shape, and examples thereof include paper, cloth, and film. Further, the material is not limited to a single material, and may be a sheet body having a plurality of layers, such as wrapping paper in which a film and a nonwoven fabric are bonded together. It may also be a food such as dried seaweed.

照明系は、被検査物Ｔの表面に可視光（例えば白色光）を照射する光源２１１、を備えている。これらの光源には、例えばＬＥＤ照明などを用いてもよい。 The illumination system includes a light source 211 that irradiates the surface of the object T to be inspected with visible light (for example, white light). For these light sources, for example, LED lighting may be used.

測定系は、光源２１１から照射され被検査物Ｔの表面で反射した光（以下、表面反射光という）を撮影するカメラ２２１を備えている。当該カメラが、本発明における撮影手段に該当する。なお、カメラは、それぞれが撮影する光を検知可能な受光センサと、レンズと、信号出力部と、を備えており、レンズを介して受光センサで検知した光を電気信号として出力する。センサとしては、例えばＣＣＤ又はＣＭＯＳセンサを用いる事ができる。 The measurement system includes a camera 221 that captures the light emitted from the light source 211 and reflected by the surface of the object T to be inspected (hereinafter referred to as surface reflected light). The camera corresponds to the photographing means in the present invention. The camera includes a light receiving sensor capable of detecting light to be captured, a lens, and a signal output unit, and outputs the light detected by the light receiving sensor through the lens as an electrical signal. A CCD or CMOS sensor, for example, can be used as the sensor.

光源２１１から照明光を照射された状態の検査対象物の画像をカメラ２２１によって撮影し、撮影された画像を制御端末２３が画像処理し、得られた特徴量の値と予め設定されている検査閾値との対比により、閾値から逸脱する特徴量を有する箇所が欠陥として判定される。 The camera 221 captures an image of the inspection object illuminated with illumination light from the light source 211, the control terminal 23 performs image processing on the captured image, and the obtained feature amount value and the preset inspection are performed. By comparison with the threshold, a location having a feature amount deviating from the threshold is determined as a defect.

制御端末２３は、画像取得部２３１、特徴量算出部２３２、欠陥判定部２３３、欠陥種別分類部２３４の各機能モジュールを有しているが、制御端末２３の、画像取得部２３１、特徴量算出部２３２、欠陥判定部２３３については、適用例で説明したものと概ね同一であるため、詳細な説明は省略する。 The control terminal 23 has functional modules such as an image acquisition unit 231, a feature amount calculation unit 232, a defect determination unit 233, and a defect type classification unit 234. Since the unit 232 and the defect determination unit 233 are substantially the same as those described in the application example, detailed description thereof will be omitted.

欠陥種別分類部２３４は、欠陥判定部２３３の判定により被検査物から欠陥が検出された際に、当該欠陥の種類を、予め定められた閾値と当該欠陥を示す画像の特徴量とに基づき、分類する。分類される欠陥の種別はユーザーにおいて任意に設定することができ、例えば、異物混入、汚れ、シワ、穴、といった種別を設けてもよいし、さらに細かい種別（例えば、虫、木片、金属異物、油汚れ、水汚れ、大穴、***、など）に分類するのであってもよい。 When a defect is detected from the object to be inspected by the determination of the defect determination unit 233, the defect type classification unit 234 classifies the type of the defect based on a predetermined threshold value and the feature amount of the image showing the defect. Classify. The type of defect to be classified can be arbitrarily set by the user. oil stains, water stains, large holes, small holes, etc.).

（検査管理装置）
上述した外観検査装置２は、ネットワーク（ＬＡＮ）を介して検査管理装置３に接続されており、外観検査装置２と検査管理装置３とは、情報の双方向通信を行う。検査管理装置３は、外観検査装置２から受信した情報の処理を行うとともに、検査に係る情報を外観検査装置２に情報を送信する。検査管理装置３はＣＰＵ（図示せず）、記憶装置３６、入力装置３４、表示装置３５などを具備する汎用的なコンピュータシステムにより構成される。また、記憶装置３６には、少なくとも外観検査装置２から送信される欠陥画像データが記憶される。ここで、欠陥画像データには、被検査物の欠陥と判定された箇所の画像から得られる特徴量の種類、値、及び、目視検査によって判定された一次検査の真偽、欠陥
の種別、などを示す付記情報が含まれる。 (Inspection management device)
The visual inspection apparatus 2 described above is connected to the inspection management apparatus 3 via a network (LAN), and the visual inspection apparatus 2 and the inspection management apparatus 3 perform two-way communication of information. The inspection management device 3 processes the information received from the visual inspection device 2 and transmits information related to the inspection to the visual inspection device 2 . The inspection management device 3 is composed of a general-purpose computer system including a CPU (not shown), a storage device 36, an input device 34, a display device 35, and the like. Further, the storage device 36 stores at least defect image data transmitted from the visual inspection apparatus 2 . Here, the defect image data includes the type and value of the feature amount obtained from the image of the portion of the object to be inspected determined to be defective, the authenticity of the primary inspection determined by visual inspection, the type of defect, and the like. Annotation information indicating the

なお、検査管理装置３は、１台のコンピュータにより構成してもよいし、複数のコンピュータにより構成してもよい。あるいは、外観検査装置２の制御端末２３に、検査管理装置３の機能の全部又は一部を実装することも可能である。あるいは、検査管理装置３の機能の一部をネットワーク上のサーバ（クラウドサーバなど）により実現してもよい。 Note that the inspection management apparatus 3 may be configured by one computer, or may be configured by a plurality of computers. Alternatively, all or part of the functions of the inspection management device 3 can be implemented in the control terminal 23 of the appearance inspection device 2 . Alternatively, part of the functions of the inspection management apparatus 3 may be realized by a server (such as a cloud server) on the network.

本実施形態の検査管理装置３は、機能モジュールとして、特徴量分布図作成部３１と、特徴量選択補助部３２と、判定指標設定部３３と、を備えている。 The inspection management apparatus 3 of the present embodiment includes, as functional modules, a feature quantity distribution diagram creating section 31, a feature quantity selection assisting section 32, and a determination index setting section 33. FIG.

特徴量分布図作成部３１は、記憶装置３６に記憶された欠陥画像データを所定の特徴量に従ってマッピングした特徴量分布図を作成する機能である。特徴量分布図とは、予め複数設定されている特徴量の項目の中から２種類の項目を抽出し、このうちの一方を横軸、もう一方を縦軸とする座標系に、画像データをマッピングしたものである。さらに詳細に説明すると、記憶装置３６に記憶された各欠陥画像データの有する特徴量の値に応じて、それぞれの画像を前記座標系にマッピングする。さらに、欠陥画像データのうち、真の欠陥を示す画像データについては、そのことが視覚的に区別できるように、例えば色分けするなどして表示される。特徴量分布図作成部３１は、このような特徴量分布図を、全種類の特徴量の全ての組み合わせが成立するように、複数作成する。 The feature quantity distribution map creation unit 31 has a function of creating a feature quantity distribution map by mapping the defect image data stored in the storage device 36 according to a predetermined feature quantity. A feature quantity distribution map is obtained by extracting two types of items from a plurality of preset feature quantity items, and plotting image data on a coordinate system with one of them on the horizontal axis and the other on the vertical axis. It is mapped. More specifically, each image is mapped on the coordinate system according to the value of the feature amount of each defect image data stored in the storage device 36 . Furthermore, among the defect image data, the image data indicating the true defect is displayed in different colors, for example, so that it can be visually distinguished. The feature quantity distribution map creation unit 31 creates a plurality of such feature quantity distribution maps so that all combinations of all types of feature quantities are established.

特徴量選択補助部３２は、前記複数の特徴量分布図を所定の規則に従って格子状に配置した特徴量俯瞰図を、前記表示装置３５に表示させる機能である。特徴量俯瞰図は、前記複数設定されている特徴量の項目が、横軸と縦軸にそれぞれ並べて配列され、当該配列された特徴量の項目ごとに、その項目の特徴量を対応する軸に取った前記特徴量分布図が配置されたものである。さらに詳細に説明すると、横軸に配列された一の特徴量の項目と、縦軸に配列された一の特徴量の項目が交差する位置に、当該横軸の項目の特徴量の値を横軸に取り、縦軸の項目の特徴量の値を縦軸に取った前記特徴量分布図が配置される。また、特徴量選択補助部３２は、後述する判定指標設定部３３による判定指標の設定を特徴量俯瞰図に対して視覚的に表示する機能も有する。特徴量選択補助部３２は、さらに、欠陥画像データの数量を示す元欠陥数グラフと、判定指標設定手段による判定指標の設定が行われた場合における、外観検査装置２の検査結果の変化を元欠陥数グラフに対して反映させた新規フィルタ適用欠陥数グラフとを、前記特徴量俯瞰図と同時又は切り替え可能に、表示装置３５に表示させる機能も有する。 The feature amount selection assisting unit 32 has a function of causing the display device 35 to display a feature amount bird's-eye view in which the plurality of feature amount distribution maps are arranged in a grid according to a predetermined rule. In the feature quantity bird's-eye view, the plurality of set feature quantity items are arranged side by side on the horizontal axis and the vertical axis, respectively, and for each item of the arranged feature quantity, the feature quantity of the item is plotted on the corresponding axis. The feature quantity distribution map taken is arranged. In more detail, at the position where one feature value item arranged on the horizontal axis and one feature value item arranged on the vertical axis intersect, the value of the feature value of the item on the horizontal axis is placed horizontally. The feature amount distribution chart is arranged with the axis on the axis and the value of the feature amount of the item on the vertical axis on the vertical axis. The feature amount selection assisting unit 32 also has a function of visually displaying the setting of the determination index by the determination index setting unit 33 (to be described later) on the feature amount bird's-eye view. The feature amount selection assisting unit 32 further includes an original defect number graph showing the amount of defect image data, and a change in the inspection result of the visual inspection apparatus 2 when the determination index is set by the determination index setting means. It also has a function of causing the display device 35 to display the newly filtered defect number graph reflected on the defect number graph on the display device 35 at the same time as or switchably with the above-described feature amount bird's-eye view.

判定指標設定部３３は、入力装置３４を介してユーザーからの入力を受け付け、外観検査装置２での外観検査に用いられる特徴量の種類及びその閾値である判定指標を設定する機能である。 The determination index setting unit 33 has a function of receiving an input from the user via the input device 34 and setting a determination index, which is the type of feature amount used for visual inspection by the visual inspection apparatus 2 and its threshold value.

（検査管理システムでの処理の流れ）
次に、図４を参照して、本実施形態において外観検査管理システム１が行う処理の一例の流れを説明する。図４は、外観検査管理システム１が行う一部の処理の流れを示すフローチャートである。まず外観検査装置２において、被検査物Ｔが撮影され、制御端末２３が画像取得部２３１を介して、被検査物画像を取得する（ステップＳ１０１）。次に、特徴量算出部２３２により被検査物画像から所定の特徴量の値が算出され（ステップＳ１０２）、欠陥判定部２３３、及び欠陥種別分類部２３４によって、算出された特徴量の値と予め設定されている検査閾値との対比による一次検査が実行される（ステップＳ１０３）。この段階で、欠陥の有無及び欠陥の種類についての一次的な判定が下され、当該判定の情報は、被検査物画像データとともに検査管理装置３に送信される。 (Flow of processing in inspection management system)
Next, with reference to FIG. 4, an example flow of processing performed by the visual inspection management system 1 in this embodiment will be described. FIG. 4 is a flow chart showing the flow of part of the processing performed by the visual inspection management system 1. As shown in FIG. First, in the appearance inspection apparatus 2, the inspection object T is photographed, and the control terminal 23 acquires the inspection object image via the image acquisition unit 231 (step S101). Next, the feature amount calculation unit 232 calculates a predetermined feature amount value from the image of the object to be inspected (step S102), and the defect determination unit 233 and the defect type classification unit 234 compare the calculated feature amount value with the previously calculated feature amount value. A primary inspection is performed by comparison with the set inspection threshold (step S103). At this stage, the presence or absence of a defect and the type of defect are determined primarily, and the information about the determination is sent to the inspection management apparatus 3 together with the image data of the object to be inspected.

次に、検査管理装置３において、被検査物画像データのうち、欠陥と判定された欠陥画
像データが記憶装置３６に記憶される（ステップＳ１０４）。そして、当該欠陥画像データに基づき、特徴量分布図作成部３１が、特徴量分布図を作成し（ステップＳ１０５）、特徴量選択補助部３２が、特徴量俯瞰図を表示装置３５に表示させる（ステップＳ１０６）。 Next, in the inspection management device 3, among the image data of the object to be inspected, the defect image data determined to be defective is stored in the storage device 36 (step S104). Then, based on the defect image data, the feature quantity distribution map creation unit 31 creates a feature quantity distribution map (step S105), and the feature quantity selection assisting unit 32 causes the display device 35 to display the feature quantity overhead view ( step S106).

そして、ユーザーが表示装置３５に表示された特徴量俯瞰図を参照し、入力装置３４を介して、外観検査装置２での判定指標を入力すると、判定指標設定部３３が当該入力を受け付けて、特徴量の種類及び閾値を設定する（Ｓ１０７）。次に、特徴量選択補助部３２は表示装置３５に表示されている特徴量俯瞰図に対して、ステップＳ１０７で設定された判定指標を視覚的に表示し（ステップＳ１０８）、一連の処理が終了する。 Then, when the user refers to the bird's-eye view of the feature amount displayed on the display device 35 and inputs the determination index for the visual inspection apparatus 2 via the input device 34, the determination index setting unit 33 receives the input, The type of feature amount and the threshold are set (S107). Next, the feature quantity selection assisting unit 32 visually displays the determination index set in step S107 on the feature quantity bird's-eye view displayed on the display device 35 (step S108), and the series of processing ends. do.

なお、図５は、ステップＳ１０８で特徴量選択補助部３２が表示させる閾値のラインを示す図である。図中のＯ、Ｐ、Ｑ、Ｒの線が、それぞれ特徴量の項目ごとの閾値のラインを示しており、Ｏがピークレベルの下限閾値、Ｐが丸さ度の上限閾値、Ｑが丸さ度の下限閾値、Ｒが最長最短フェレ径比の下限閾値、を示している。 Note that FIG. 5 is a diagram showing threshold lines displayed by the feature quantity selection assisting unit 32 in step S108. The lines O, P, Q, and R in the figure indicate the threshold lines for each item of the feature value. and R is the lower limit threshold of the ratio of the longest to the shortest Feret diameters.

以上のような外観検査管理システム１によると、特徴量俯瞰図を参照し、濃い色のドット（即ち真の欠陥）のバラツキが少ない特徴量の組み合わせを用いることで、誤判定、即ちノイズが混ざることを極力抑えた閾値を設定することが可能になる。また、閾値の設定を、特徴量俯瞰図に視覚的に表示されるラインを見ながら実行することができるため、容易に、効果的な閾値を設定することができる。 According to the appearance inspection management system 1 as described above, by referring to the bird's-eye view of the feature amount and using a combination of feature amounts with little variation in dark-colored dots (that is, true defects), erroneous judgments, that is, noise is mixed. It is possible to set a threshold value that suppresses this as much as possible. Moreover, since the setting of the threshold can be performed while viewing the line visually displayed in the bird's-eye view of the feature amount, the effective threshold can be easily set.

＜実施形態２＞
続けて、本発明の他の実施形態について説明する。図６は本実施形態に係る外観検査管理システム１０のシステム構成を示す模式図である。なお、外観検査管理システム１０は、実施形態１の外観検査管理システム１と略同様のハードウェア構成を有しているため、外観検査管理システム１と同一の構造、機能を有する箇所は同じ符号を用いて説明を省略する。 <Embodiment 2>
Next, another embodiment of the present invention will be described. FIG. 6 is a schematic diagram showing the system configuration of the visual inspection management system 10 according to this embodiment. Since the visual inspection management system 10 has substantially the same hardware configuration as the visual inspection management system 1 of Embodiment 1, parts having the same structures and functions as those of the visual inspection management system 1 are denoted by the same reference numerals. description is omitted.

外観検査管理システム１０が外観検査管理システム１と比べて異なっている点は、検査管理装置５が有する機能である。検査管理装置５は、ハードウェア構成として、ＣＰＵ（図示せず）、入力装置５４、表示装置５５、記憶装置５６等を有する他、指標設定補助部５１と、判定指標設定部５３の機能モジュールを有している。ハードウェア構成及び判定指標設定部５３の機能は外観検査管理システム１のものと同様であるため説明は省略する。 Visual inspection management system 10 differs from visual inspection management system 1 in the functions of inspection management device 5 . The inspection management device 5 has a CPU (not shown), an input device 54, a display device 55, a storage device 56, etc. as a hardware configuration, and also has functional modules of an index setting auxiliary unit 51 and a determination index setting unit 53. have. Since the hardware configuration and the function of the determination index setting unit 53 are the same as those of the visual inspection management system 1, description thereof will be omitted.

指標設定補助部５１は、判定指標設定部５３において、用いる特徴量の種類が異なる複数の判定指標が作成される場合には、それぞれの判定指標が重畳して用いられた場合の、外観検査装置２における検査結果の変化を段階的に示す欠陥分離図を、表示装置５５に表示させる機能を有する。また、欠陥画像データの数量を示す元欠陥数グラフと、判定指標設定部５３による設定が行われた場合における、外観検査装置２の検査結果の変化を前記元欠陥数グラフに対して反映させた、新規フィルタ適用欠陥数グラフと、を前記欠陥分離図と同時又は切り替え可能に、前記表示部に表示させる。 In the case where the determination index setting unit 53 creates a plurality of determination indices with different types of feature amounts to be used, the index setting auxiliary unit 51 is configured to provide a visual inspection apparatus for the case where the respective determination indices are superimposed and used. 2, the display device 55 has a function of displaying a defect isolation diagram showing changes in the inspection results step by step. Also, an original defect number graph showing the quantity of defect image data and a change in the inspection result of the visual inspection apparatus 2 when setting is performed by the judgment index setting unit 53 are reflected on the original defect number graph. , a graph of the number of defects to which a new filter is applied, are displayed on the display unit simultaneously with or switchably with the defect isolation diagram.

図７は欠陥分離図を示す図であり、図７Ａは判定指標が何も設定されていない状態を示す図である。図７Ｂはある特徴量及び閾値による判定指標が設定された際に、欠陥の判定がどのように変わるかを示す図である。図７Ｃはさらに、別の特徴量及び閾値による判定指標が設定された際に、欠陥の判定がさらにどのように変わるかを示す図である。 FIG. 7 is a diagram showing a defect isolation diagram, and FIG. 7A is a diagram showing a state in which no determination index is set. FIG. 7B is a diagram showing how defect determination changes when a determination index based on a certain feature amount and threshold is set. FIG. 7C is a diagram showing how the defect determination is further changed when a determination index based on another feature amount and threshold is set.

図８は、元欠陥数グラフと、新規フィルタ適用欠陥数グラフとを表す図である。図８Ａ
が判定指標の適用前の元欠陥数グラフを表しており、図８Ｂが判定指標を適用した場合における欠陥数の変化を示す新規フィルタ適用欠陥数グラフを示している。図中の黒塗りの棒が真の欠陥を示しており、ハッチングの棒は誤検出される欠陥を示している。有効な判定指標を設定することができれば、図８Ａから図８Ｂのように、誤検出される欠陥の数を大幅に減らすことができる。 FIG. 8 is a diagram showing an original defect number graph and a new filtered defect number graph. Figure 8A
represents the original defect count graph before application of the determination index, and FIG. 8B illustrates the new filtered defect count graph showing changes in the defect count when the determination index is applied. Black bars in the figure indicate true defects, and hatched bars indicate erroneously detected defects. If an effective decision index can be set, the number of erroneously detected defects can be greatly reduced as shown in FIGS. 8A to 8B.

また、図７の欠陥分離図と、図８の欠陥数グラフは、切り替えて或いは同時に表示して参照することもできる。即ち、欠陥分離図を用いて判定指標を設定する場合には、設定後の欠陥数の変化を参照しながら、判定指標を検討することができる。本実施形態では、例えば、図７Ａの状態と図８Ａの状態が対応し、図７Ｃの状態と図８Ｂの状態と対応しているものとする。 Further, the defect isolation diagram of FIG. 7 and the defect number graph of FIG. 8 can be switched or displayed simultaneously for reference. That is, when the determination index is set using the defect isolation diagram, the determination index can be examined while referring to the change in the number of defects after setting. In this embodiment, for example, the state of FIG. 7A corresponds to the state of FIG. 8A, and the state of FIG. 7C corresponds to the state of FIG. 8B.

次に、図９を参照して、本実施形態において外観検査管理システム１０が行う処理の一例を説明する。図９は、外観検査管理システム１０が行う処理の流れの一例を示すフローチャートである。外観検査装置２において、外観検査が実施され、欠陥判定が行われる（Ｓ２０１）。そして、欠陥画像データは検査管理装置５に送られ、記憶装置５６に格納される（ステップＳ２０２）。次に、指標設定補助部５１によって、表示装置５５に、欠陥分離図が表示される（ステップＳ２０３）。続けて、ユーザーの入力により、判定指標設定部５３が判定指標の設定を行った否かの判定が行われる（ステップＳ２０４）。 Next, an example of processing performed by the visual inspection management system 10 in this embodiment will be described with reference to FIG. FIG. 9 is a flowchart showing an example of the flow of processing performed by the visual inspection management system 10. As shown in FIG. In the appearance inspection device 2, appearance inspection is performed and defect determination is performed (S201). Then, the defect image data is sent to the inspection management device 5 and stored in the storage device 56 (step S202). Next, the defect isolation diagram is displayed on the display device 55 by the index setting auxiliary unit 51 (step S203). Subsequently, it is determined whether or not the determination index setting unit 53 has set the determination index according to the user's input (step S204).

ここで、判定指標の設定が行われたと判断された場合には、指標設定補助部５１が欠陥分離図の表示を、当該設定を反映させたものに変更して、表示装置５５に表示させる（ステップＳ２０５）。その後はステップＳ２０４に戻って以後の処理を繰り返す。一方、ステップＳ２０４で判定指標を新たに設定していないと判定された場合には、指標設定補助部５１は、現状の判定指標の設定（設定されていない場合も含む）を反映させた欠陥数グラフを表示装置５５に表示させて、一連の処理を終了する。 Here, when it is determined that the determination index has been set, the index setting auxiliary unit 51 changes the display of the defect isolation diagram to reflect the setting and displays it on the display device 55 ( step S205). After that, the process returns to step S204 to repeat the subsequent processes. On the other hand, if it is determined in step S204 that a new determination index has not been set, the index setting auxiliary unit 51 sets the number of defects reflecting the current determination index setting (including the case where it is not set). The graph is displayed on the display device 55, and the series of processing ends.

以上のような外観検査管理システム１０によると、判定指標として用いる特徴量の種類についてはある程度目途が立っているものの、有効な閾値が分からないと言った場合には、欠陥分離図と、欠陥数グラフを参照しながら、閾値を絞り込むことができる。これにより、ある程度検査のオペレートに習熟した者に対しても、外観検査装置２の欠陥判定に用いる判定指標の設定において、効率的な作業を提供することが可能になる。 According to the visual inspection management system 10 as described above, although the type of feature quantity used as a judgment index is expected to some extent, if an effective threshold value is not known, the defect isolation diagram and the number of defects The threshold can be narrowed down while referring to the graph. As a result, it is possible to provide an efficient work in setting the determination index used for defect determination of the visual inspection apparatus 2 even for a person who is proficient in the inspection operation to some extent.

＜その他＞
上記各実施形態は、本発明を例示的に説明するものに過ぎず、本発明は上記の具体的な形態には限定されない。本発明はその技術的思想の範囲内で種々の変形が可能である。例えば、実施形態１と実施形態２を組み合わせて、実施形態１の検査管理装置に指標設定補助部を設けた検査管理システムを構築してもよい。また、実施形態１の検査管理装置において、図８に示すような欠陥数グラフを表示するような構成となっていてもよい。 <Others>
Each of the above-described embodiments merely exemplifies the present invention, and the present invention is not limited to the specific forms described above. Various modifications are possible within the scope of the technical idea of the present invention. For example, the first embodiment and the second embodiment may be combined to construct an inspection management system in which the inspection management apparatus of the first embodiment is provided with an index setting auxiliary unit. Further, the inspection management apparatus of Embodiment 1 may be configured to display a graph of the number of defects as shown in FIG.

また、上記実施形態では、シート状の被検査物を検査する装置が対象であったが、本発明はこれに限らず、画像処理を行う外観検査装置に広く適用することができる。 Further, in the above-described embodiment, an apparatus for inspecting a sheet-like inspection object is targeted, but the present invention is not limited to this, and can be widely applied to visual inspection apparatuses that perform image processing.

本発明の一の態様は、
被検査物を撮影した画像から取得する特徴量に基づいて、前記被検査物の欠陥を検査する外観検査手段（２）と、
表示手段（３５）と、
少なくとも、前記外観検査手段により前記被検査物の欠陥と判定された箇所の画像から得られる特徴量の情報を含む欠陥画像データ、を記憶する記憶手段（３６）と、
所定の座標系に前記特徴量の情報をマッピングした特徴量分布図、を複数作成する特徴
量分布図作成手段（３１）と、
前記特徴量分布図作成手段が作成する複数の特徴量分布図を所定の規則に従って配置した特徴量俯瞰図を、前記表示手段に表示させる特徴量選択補助手段（３２）と、
を備えることを特徴とする、外観検査管理システム（１）である。 One aspect of the present invention is
Appearance inspection means (2) for inspecting defects of the object to be inspected based on feature values obtained from an image of the object to be inspected;
display means (35);
storage means (36) for storing at least defect image data including information on feature amounts obtained from an image of a portion of the object to be inspected determined to be defective by the visual inspection means;
feature quantity distribution map creation means (31) for creating a plurality of feature quantity distribution maps in which information on the feature quantity is mapped in a predetermined coordinate system;
feature quantity selection assisting means (32) for causing the display means to display a feature quantity bird's-eye view in which a plurality of feature quantity distribution maps created by the feature quantity distribution map creation means are arranged according to a predetermined rule;
A visual inspection management system (1) characterized by comprising:

また、本発明の他の一の態様は、
被検査物を撮影した画像から取得する特徴量に基づいて、少なくとも前記被検査物の欠陥を検査する外観検査手段（２）と、
表示手段（５５）と、
前記外観検査において、欠陥の判定指標として設定可能な複数種類の特徴量の項目と、前記被検査物の欠陥と判定された箇所の画像から得られる特徴量の種類及び値を含む欠陥画像データと、を記憶する記憶手段（５６）と、
前記外観検査手段における欠陥の判定指標を、特徴量の種類及び閾値を設定することにより一以上作成する、判定指標設定手段（５３）と、
前記判定指標設定手段において、用いる特徴量の種類が異なる複数の判定指標が作成される場合には、それぞれの判定指標が重畳して用いられた場合の、前記外観検査手段における検査結果の変化を段階的に示す欠陥分離図を、前記表示部に表示させる、指標設定補助手段（５１）と、
を備えることを特徴とする、外観検査管理システム（１０）である。 Another aspect of the present invention is
visual inspection means (2) for inspecting at least defects of the object to be inspected based on feature amounts obtained from an image of the object to be inspected;
display means (55);
In the visual inspection, a plurality of types of feature amount items that can be set as a defect determination index, and defect image data including the type and value of the feature amount obtained from the image of the location determined to be a defect of the inspected object. a storage means (56) for storing ,
Determination index setting means (53) for creating one or more defect determination indexes in the visual inspection means by setting types of feature amounts and threshold values;
In the case where a plurality of judgment indices with different types of feature amounts to be used are created in the judgment index setting means, the change in the inspection result in the visual inspection means when the respective judgment indices are superimposed and used is index setting assisting means (51) for displaying a stepwise defect isolation diagram on the display unit;
A visual inspection management system (10) characterized by comprising:

また、本発明の他の一の態様は、
被検査物の外観検査を管理する外観検査管理方法であって、
前記外観検査において、欠陥の判定指標として設定可能な複数種類の特徴量の項目と、前記被検査物の欠陥と判定された箇所の画像から得られる特徴量の種類、値及び少なくとも当該欠陥判定結果の真偽を示す付記情報を含む欠陥画像データと、を取得するデータ取得ステップ（Ｓ１０４）と、
前記データ取得ステップで取得した前記複数の特徴量の項目から２種類の項目を抽出し、これらを横軸、縦軸とする座標系に、前記記憶手段に記憶された各欠陥画像データの特徴量を、前記付記情報を視覚的に反映させてマッピングした特徴量分布図を、全種類の特徴量の全ての組み合わせが成立するように、複数作成する、特徴量分布図作成ステップ（Ｓ１０５）と
前記複数種類の特徴量の項目を、横軸と縦軸にそれぞれ並べて配列し、さらに横軸に配列された特徴量の項目と、縦軸に配列された特徴量の項目が交差する箇所に、当該横軸の項目の特徴量の値を横軸とし、縦軸の項目の特徴量の値を縦軸とする前記特徴量分布図を配置した、特徴量俯瞰図を表示する、特徴量選択補助ステップ（Ｓ１０６）と、
を有する、外観検査管理方法である。 Another aspect of the present invention is
A visual inspection management method for managing visual inspection of an object to be inspected,
In the visual inspection, a plurality of types of feature amount items that can be set as a defect determination index, the type and value of the feature amount obtained from the image of the portion determined to be a defect of the inspected object, and at least the defect determination result A data acquisition step (S104) for acquiring defect image data including additional information indicating the authenticity of
Two types of items are extracted from the plurality of items of the feature amount acquired in the data acquisition step, and the feature amount of each defect image data stored in the storage means is plotted on a coordinate system having these as the horizontal axis and the vertical axis. a feature quantity distribution map creation step (S105), wherein a plurality of feature quantity distribution maps are created by visually reflecting the supplementary information and mapped so that all combinations of all types of feature quantities are established; Multiple types of feature quantity items are arranged side by side on the horizontal axis and the vertical axis, respectively. A feature quantity selection assistance step of displaying a feature quantity bird's-eye view in which the feature quantity distribution chart is arranged with the value of the feature quantity of the item on the horizontal axis as the horizontal axis and the value of the feature quantity of the item on the vertical axis as the vertical axis. (S106);
A visual inspection management method having

また、本発明の他の一の態様は、
被検査物の外観検査を管理する外観検査管理方法であって、
前記外観検査において、欠陥の判定指標として設定可能な複数種類の特徴量の項目と、前記被検査物の欠陥と判定された箇所の画像から得られる特徴量の種類及び値を含む欠陥画像データと、を取得するデータ取得ステップ（Ｓ２０２）と、
前記外観検査における欠陥の判定指標を、特徴量の種類及び閾値を設定することにより作成する、判定指標作成ステップ（Ｓ２０４）と、
前記判定指標作成ステップにおいて、判定指標に係る特徴量の種類及び閾値の設定が行われる度に、当該設定が反映された場合の前記外観検査手段における検査結果の変化を段階的に示す欠陥分離図を、前記表示部に表示させる、指標設定補助ステップ（Ｓ２０５）と、
を有する、外観検査管理方法である。 Another aspect of the present invention is
A visual inspection management method for managing visual inspection of an object to be inspected,
In the visual inspection, a plurality of types of feature amount items that can be set as a defect determination index, and defect image data including the type and value of the feature amount obtained from the image of the location determined to be a defect of the inspected object. a data acquisition step (S202) for acquiring
a determination index creation step (S204) for creating a defect determination index in the visual inspection by setting the type of feature amount and a threshold value;
Defect isolation diagram showing step by step changes in inspection results in the appearance inspection means when the setting is reflected each time the type of feature amount and the threshold value related to the determination index are set in the determination index creation step. is displayed on the display unit (S205);
A visual inspection management method having

１、９、１０・・・外観検査管理システム
２、９１・・・外観検査装置
２１１、９１２・・・光源
２２１、９１１・・・カメラ
２３、９１３・・・制御端末
３、５、９２・・・検査管理装置
３４、５４・・・入力装置
３５、５４・・・表示装置
Ｔ・・・被検査物 1, 9, 10 Visual inspection management system 2, 91 Visual inspection device 211, 912 Light source 221, 911 Camera 23, 913 Control terminal 3, 5, 92 Inspection management device 34, 54 Input device 35, 54 Display device T Object to be inspected

Claims (11)

被検査物を撮影した画像から取得する特徴量に基づいて、前記被検査物の欠陥を検査する外観検査手段と、
表示手段と、
少なくとも、前記外観検査手段により前記被検査物の欠陥と判定された箇所の画像から得られる特徴量の種類、値、及び少なくとも当該欠陥と判定された結果の真偽を示す付記情報を含む欠陥画像データと、前記外観検査手段の検査において欠陥の判定指標として設定可能な複数種類の特徴量の項目と、を記憶する記憶手段と、
所定の座標系に前記特徴量の情報をマッピングした特徴量分布図、を複数作成する特徴量分布図作成手段と、
前記特徴量分布図作成手段が作成する複数の特徴量分布図を所定の規則に従って配置した特徴量俯瞰図を、前記表示手段に表示させる特徴量選択補助手段と、
を備え、
前記特徴量分布図は、前記複数種類の特徴量の項目から２種類の項目を抽出し、これらを横軸、縦軸とした座標系に、前記欠陥画像データの特徴量を、前記付記情報を視覚的に識別可能に反映させてマッピングしたものであり、
前記特徴量俯瞰図は、前記複数種類の特徴量の項目を横軸と縦軸にそれぞれ並べて配列し、さらに横軸に配列された特徴量の項目と、縦軸に配列された特徴量の項目が交差する箇所に、該横軸の項目の特徴量の値を横軸とし、該縦軸の項目の特徴量の値を縦軸とする前記特徴量分布図を配置するという規則に従って、前記複数の特徴量分布図を配置したものである、ことを特徴とする、外観検査管理システム。 visual inspection means for inspecting defects of the object to be inspected based on feature values obtained from an image of the object to be inspected;
display means;
A defect image including at least the types and values of feature quantities obtained from an image of a portion of the object to be inspected determined to be a defect by the visual inspection means, and supplementary information indicating at least the authenticity of the result of the determination of the defect. storage means for storing data and items of a plurality of types of feature amounts that can be set as a defect determination index in inspection by the visual inspection means;
feature quantity distribution map creation means for creating a plurality of feature quantity distribution maps in which information on the feature quantity is mapped in a predetermined coordinate system;
feature quantity selection assisting means for causing the display means to display a feature quantity bird's-eye view in which a plurality of feature quantity distribution maps created by the feature quantity distribution map creation means are arranged according to a predetermined rule;
with
The feature quantity distribution diagram is obtained by extracting two types of items from the plurality of types of feature quantity items, and plotting the feature quantity of the defect image data on a coordinate system with these as the horizontal axis and the vertical axis, and the additional information. Visually identifiable reflection and mapping,
In the feature quantity bird's-eye view, the plurality of types of feature quantity items are arranged on the horizontal axis and the vertical axis, respectively, and the feature quantity items arranged on the horizontal axis and the feature quantity items arranged on the vertical axis. The plurality of A visual inspection management system characterized by arranging the feature quantity distribution map of . 前記付記情報には、欠陥の種類を含む、
ことを特徴とする、請求項１に記載の外観検査管理システム。 The additional information includes the type of defect,
The appearance inspection management system according to claim 1 , characterized by: 前記特徴量分布図作成手段は、全種類の特徴量の全ての組み合わせが成立するように、前記特徴量分布図を複数作成する、
ことを特徴とする、請求項１又は２に記載の外観検査管理システム。 The feature quantity distribution map creation means creates a plurality of the feature quantity distribution maps so that all combinations of all types of feature quantities are established.
3. The visual inspection management system according to claim 1 or 2 , characterized by: ユーザーの入力を受け付けて、前記外観検査手段における欠陥の判定指標を、特徴量の種類及び閾値を設定することにより一以上作成する、判定指標設定手段をさらに備えている、
ことを特徴とする、請求項１から３のいずれか一項に記載の外観検査管理システム。 Determination index setting means for receiving input from a user and creating one or more defect determination indexes in the appearance inspection means by setting a type of feature amount and a threshold value,
The visual inspection management system according to any one of claims 1 to 3 , characterized by: 前記特徴量選択補助手段は、前記判定指標設定手段により設定された特徴量の種類及び閾値を、前記特徴量俯瞰図に対する視覚的な表現として表示する、
ことを特徴とする、請求項４に記載の外観検査管理システム。 The feature quantity selection assisting means displays the type and threshold value of the feature quantity set by the determination index setting means as a visual expression with respect to the feature quantity bird's-eye view.
5. The visual inspection management system according to claim 4 , characterized by: 前記特徴量選択補助手段は、
前記欠陥画像データの数量を示す元欠陥数グラフと、
前記判定指標設定手段による設定が行われた場合における、前記外観検査手段の検査結果の変化を前記元欠陥数グラフに対して反映させた、新規フィルタ適用欠陥数グラフと、
を、前記特徴量俯瞰図と同時又は切り替え可能に、前記表示手段に表示させる、
ことを特徴とする、請求項４又は５に記載の外観検査管理システム。 The feature quantity selection auxiliary means is
an original defect count graph showing the quantity of the defect image data;
a new filter-applied defect number graph in which a change in the inspection result of the visual inspection means is reflected on the original defect number graph when the setting is performed by the determination index setting means;
is displayed on the display means simultaneously or switchably with the bird's-eye view of the feature quantity,
6. The visual inspection management system according to claim 4 or 5 , characterized by: 前記判定指標設定手段において、用いる特徴量の種類又は閾値が異なる複数の判定指標を作成する際には、
前記特徴量選択補助手段は、それぞれの判定指標に係る特徴量の種類又は閾値の設定が行われる度に、当該設定が反映された前記新規フィルタ適用欠陥数グラフを表示する、
ことを特徴とする請求項６に記載の外観検査管理システム。 In the determination index setting means, when creating a plurality of determination indices with different types of feature amounts or thresholds to be used,
The feature amount selection assisting means displays the new filter applied defect number graph reflecting the setting every time the type of feature amount or the threshold value related to each determination index is set.
7. The visual inspection management system according to claim 6 , characterized in that: 被検査物を撮影した画像から取得する特徴量に基づいて、前記被検査物の欠陥を検査する外観検査手段と通信可能に構成される外観検査管理装置であって、
表示手段と、
前記外観検査手段から取得する前記外観検査手段により前記被検査物の欠陥と判定された箇所の画像から得られる特徴量の種類、値、及び少なくとも当該欠陥と判定された結果の真偽を示す付記情報を含む欠陥画像データと、前記外観検査手段の検査において欠陥の判定指標として設定可能な複数種類の特徴量の項目と、を記憶する記憶手段と、
所定の座標系に前記特徴量の情報をマッピングした特徴量分布図、を複数作成する特徴量分布図作成手段と、
前記特徴量分布図作成手段が作成する複数の特徴量分布図を所定の規則に従って配置した特徴量俯瞰図を、前記表示手段に表示させる特徴量選択補助手段と備え、
前記特徴量分布図は、前記複数種類の特徴量の項目から２種類の項目を抽出し、これらを横軸、縦軸とした座標系に、前記欠陥画像データの特徴量を、前記付記情報を視覚的に識別可能に反映させてマッピングしたものであり、
前記特徴量俯瞰図は、前記複数種類の特徴量の項目を横軸と縦軸にそれぞれ並べて配列し、さらに横軸に配列された特徴量の項目と、縦軸に配列された特徴量の項目が交差する箇所に、該横軸の項目の特徴量の値を横軸とし、該縦軸の項目の特徴量の値を縦軸とする前記特徴量分布図を配置するという規則に従って、前記複数の特徴量分布図を配置したものである、ことを特徴とする、外観検査管理装置。 A visual inspection management apparatus configured to be able to communicate with visual inspection means for inspecting a defect of an object to be inspected based on a feature amount obtained from an image of the object to be inspected,
display means;
Types and values of feature amounts obtained from the image of the location determined to be a defect of the object to be inspected by the visual inspection means acquired from the visual inspection means, and an additional note indicating at least the truth of the result of determination of the defect. storage means for storing defect image data including information and items of a plurality of types of feature amounts that can be set as a defect determination index in inspection by the visual inspection means;
feature quantity distribution map creation means for creating a plurality of feature quantity distribution maps in which information on the feature quantity is mapped in a predetermined coordinate system ;
a feature quantity selection assisting means for causing the display means to display a feature quantity bird's-eye view in which a plurality of feature quantity distribution maps created by the feature quantity distribution map creation means are arranged according to a predetermined rule,
The feature quantity distribution diagram is obtained by extracting two types of items from the plurality of types of feature quantity items, and plotting the feature quantity of the defect image data on a coordinate system with these as the horizontal axis and the vertical axis, and the additional information. Visually identifiable reflection and mapping,
In the feature quantity bird's-eye view, the plurality of types of feature quantity items are arranged on the horizontal axis and the vertical axis, respectively, and the feature quantity items arranged on the horizontal axis and the feature quantity items arranged on the vertical axis. The plurality of A visual inspection management device characterized in that the feature quantity distribution map of is arranged . シート状の被検査物を連続的に搬送する搬送手段と、
搬送中の前記被検査物を連続して撮影する撮影手段と、
前記撮影手段により撮影される被検査物画像から得られる特徴量を所定の閾値と対比することによって判定し、前記被検査物の欠陥箇所を検出する外観検査手段と、
表示手段と、
少なくとも、前記外観検査手段により前記被検査物の欠陥と判定された箇所の画像から得られる特徴量の種類、値、及び少なくとも当該欠陥と判定された結果の真偽を示す付記情報を含む欠陥画像データと、前記外観検査手段の検査において欠陥の判定指標として設
定可能な複数種類の特徴量の項目と、を記憶する記憶手段と、
所定の座標系に前記特徴量の情報をマッピングした特徴量分布図、を複数作成する特徴量分布図作成手段と、
前記特徴量分布図作成手段が作成する複数の特徴量分布図を所定の規則に従って配置した特徴量俯瞰図を、前記表示手段に表示させる特徴量選択補助手段と、
を備え
前記特徴量分布図は、前記複数種類の特徴量の項目から２種類の項目を抽出し、これらを横軸、縦軸とした座標系に、前記欠陥画像データの特徴量を、前記付記情報を視覚的に識別可能に反映させてマッピングしたものであり、
前記特徴量俯瞰図は、前記複数種類の特徴量の項目を横軸と縦軸にそれぞれ並べて配列し、さらに横軸に配列された特徴量の項目と、縦軸に配列された特徴量の項目が交差する箇所に、該横軸の項目の特徴量の値を横軸とし、該縦軸の項目の特徴量の値を縦軸とする前記特徴量分布図を配置するという規則に従って、前記複数の特徴量分布図を配置したものである、ことを特徴とする、外観検査管理システム。 a conveying means for continuously conveying a sheet-like inspection object;
a photographing means for continuously photographing the inspected object being transported;
appearance inspection means for determining a feature amount obtained from the image of the object to be inspected photographed by the photographing means by comparing it with a predetermined threshold value, and detecting a defective portion of the object to be inspected;
display means;
A defect image including at least the types and values of feature quantities obtained from an image of a portion of the object to be inspected determined to be a defect by the visual inspection means, and supplementary information indicating at least the authenticity of the result of the determination of the defect. data and set as a defect judgment index in the inspection of the visual inspection means
storage means for storing items of a plurality of types of feature amounts that can be determined ;
feature quantity distribution map creation means for creating a plurality of feature quantity distribution maps in which information on the feature quantity is mapped in a predetermined coordinate system;
feature quantity selection assisting means for causing the display means to display a feature quantity bird's-eye view in which a plurality of feature quantity distribution maps created by the feature quantity distribution map creation means are arranged according to a predetermined rule ;
equipped with
The feature quantity distribution diagram is obtained by extracting two types of items from the plurality of types of feature quantity items, and plotting the feature quantity of the defect image data on a coordinate system with these as the horizontal axis and the vertical axis, and the additional information. Visually identifiable reflection and mapping,
In the feature quantity bird's-eye view, the plurality of types of feature quantity items are arranged on the horizontal axis and the vertical axis, respectively, and the feature quantity items arranged on the horizontal axis and the feature quantity items arranged on the vertical axis. The plurality of A visual inspection management system characterized by arranging the feature quantity distribution map of . 被検査物の外観検査を管理する外観検査管理方法であって、
前記外観検査において、欠陥の判定指標として設定可能な複数種類の特徴量の項目と、前記被検査物の欠陥と判定された箇所の画像から得られる特徴量の種類、値及び少なくとも欠陥判定結果の真偽を示す付記情報を含む欠陥画像データと、を取得するデータ取得ステップと、
前記データ取得ステップで取得した前記複数種類の特徴量の項目から２種類の項目を抽出し、これらを横軸、縦軸とする座標系に、前記取得した欠陥画像データの特徴量を、前記付記情報を視覚的に反映させてマッピングした特徴量分布図を、全種類の特徴量の全ての組み合わせが成立するように、複数作成する、特徴量分布図作成ステップと、
前記複数種類の特徴量の項目を、横軸と縦軸にそれぞれ並べて配列し、さらに横軸に配列された特徴量の項目と、縦軸に配列された特徴量の項目が交差する箇所に、当該横軸の項目の特徴量の値を横軸とし、縦軸の項目の特徴量の値を縦軸とする前記特徴量分布図を配置するという規則に従って、複数の前記特徴量分布図を配置した特徴量俯瞰図を表示する、特徴量選択補助ステップと、
を有する、外観検査管理方法。 A visual inspection management method for managing visual inspection of an object to be inspected,
In the visual inspection, a plurality of types of feature amount items that can be set as a defect determination index, the type and value of the feature amount obtained from the image of the location determined to be a defect of the inspected object, and at least the defect determination result a data acquisition step of acquiring defect image data including additional information indicating authenticity;
Two types of items are extracted from the items of the plurality of types of feature amounts acquired in the data acquisition step, and the feature amounts of the acquired defect image data are added to the coordinate system having these as the horizontal axis and the vertical axis. a feature quantity distribution map creation step of creating a plurality of feature quantity distribution maps in which information is visually reflected and mapped so that all combinations of all kinds of feature quantities are established ;
The plurality of types of feature amount items are arranged side by side on the horizontal axis and the vertical axis, respectively, and further, at the intersection of the feature amount items arranged on the horizontal axis and the feature amount items arranged on the vertical axis, A plurality of the feature quantity distribution charts are arranged according to a rule that the feature quantity distribution charts are arranged with the value of the feature quantity of the item on the horizontal axis as the horizontal axis and the value of the feature quantity of the item on the vertical axis as the vertical axis. a feature quantity selection assistance step for displaying the bird's-eye view of the feature quantity;
A visual inspection management method. 請求項１０に記載の各ステップを、情報処理装置に実行させるためのプログラム。 A program for causing an information processing apparatus to execute each step according to claim 10 .
JP2019117367A 2019-06-25 2019-06-25 Visual inspection management system, visual inspection management device, visual inspection management method and program Active JP7298333B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019117367A JP7298333B2 (en) 2019-06-25 2019-06-25 Visual inspection management system, visual inspection management device, visual inspection management method and program
CN202010371967.6A CN112129768B (en) 2019-06-25 2020-05-06 Appearance inspection management system, apparatus, method, and storage medium
TW109115595A TWI767229B (en) 2019-06-25 2020-05-11 Appearance inspection management system, appearance inspection management device, appearance inspection management method, and program
KR1020200057008A KR102284095B1 (en) 2019-06-25 2020-05-13 Appearance inspection management system, appearance inspection management device, appearance inspection management method, and appearance inspection management program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019117367A JP7298333B2 (en) 2019-06-25 2019-06-25 Visual inspection management system, visual inspection management device, visual inspection management method and program

Publications (2)

Publication Number Publication Date
JP2021004751A JP2021004751A (en) 2021-01-14
JP7298333B2 true JP7298333B2 (en) 2023-06-27

Family

ID=73851753

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019117367A Active JP7298333B2 (en) 2019-06-25 2019-06-25 Visual inspection management system, visual inspection management device, visual inspection management method and program

Country Status (4)

Country Link
JP (1) JP7298333B2 (en)
KR (1) KR102284095B1 (en)
CN (1) CN112129768B (en)
TW (1) TWI767229B (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113588488B (en) * 2021-09-29 2022-01-18 国网天津市电力公司电力科学研究院 Cable defect detection method and device, terminal equipment and storage medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009266839A (en) 2008-04-21 2009-11-12 Hitachi High-Technologies Corp Semiconductor inspection apparatus and semiconductor inspection method
JP2011089976A (en) 2009-09-28 2011-05-06 Hitachi High-Technologies Corp Defect inspection device and defect inspection method
JP2014026521A (en) 2012-07-27 2014-02-06 Hitachi High-Technologies Corp Matching processor, matching processing method and inspection apparatus using the same
JP2015172519A (en) 2014-03-12 2015-10-01 オムロン株式会社 Sheet inspection device
JP2019020138A (en) 2017-07-11 2019-02-07 株式会社Ｒｉｓｔ Inspection device, inspection method, and inspection program

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4230838B2 (en) * 2003-06-27 2009-02-25 株式会社日立ハイテクノロジーズ Inspection recipe setting method and defect inspection method in defect inspection apparatus
JP4374303B2 (en) * 2004-09-29 2009-12-02 株式会社日立ハイテクノロジーズ Inspection method and apparatus
JP2006292615A (en) * 2005-04-13 2006-10-26 Sharp Corp Visual examination apparatus, visual inspection method, program for making computer function as visual inspection apparatus, and recording medium
JP4595705B2 (en) * 2005-06-22 2010-12-08 オムロン株式会社 Substrate inspection device, parameter setting method and parameter setting device
JP2007198912A (en) 2006-01-26 2007-08-09 Sharp Corp Image inspection device, image inspection method, program for allowing computer to function as image inspection device and recording medium
JP2008145226A (en) * 2006-12-08 2008-06-26 Olympus Corp Apparatus and method for defect inspection
JP5342606B2 (en) * 2011-06-27 2013-11-13 株式会社日立ハイテクノロジーズ Defect classification method and apparatus
JP5767963B2 (en) * 2011-12-28 2015-08-26 株式会社キーエンス Appearance inspection apparatus, appearance inspection method, and computer program
JP5825278B2 (en) * 2013-02-21 2015-12-02 オムロン株式会社 Defect inspection apparatus and defect inspection method
US9430824B2 (en) * 2013-05-14 2016-08-30 Kla-Tencor Corporation Machine learning method and apparatus for inspecting reticles
JP6403261B2 (en) 2014-12-03 2018-10-10 タカノ株式会社 Classifier generation device, visual inspection device, classifier generation method, and program
JP2017166939A (en) * 2016-03-16 2017-09-21 三菱マテリアル株式会社 Temperature sensor
WO2018105462A1 (en) * 2016-12-08 2018-06-14 東京エレクトロン株式会社 Signal processing method and program
JP7005930B2 (en) * 2017-04-21 2022-01-24 オムロン株式会社 Sheet inspection equipment and inspection system
JP2018204995A (en) 2017-05-31 2018-12-27 株式会社キーエンス Image inspection device
JP7004145B2 (en) * 2017-11-15 2022-01-21 オムロン株式会社 Defect inspection equipment, defect inspection methods, and their programs

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009266839A (en) 2008-04-21 2009-11-12 Hitachi High-Technologies Corp Semiconductor inspection apparatus and semiconductor inspection method
JP2011089976A (en) 2009-09-28 2011-05-06 Hitachi High-Technologies Corp Defect inspection device and defect inspection method
JP2014026521A (en) 2012-07-27 2014-02-06 Hitachi High-Technologies Corp Matching processor, matching processing method and inspection apparatus using the same
JP2015172519A (en) 2014-03-12 2015-10-01 オムロン株式会社 Sheet inspection device
JP2019020138A (en) 2017-07-11 2019-02-07 株式会社Ｒｉｓｔ Inspection device, inspection method, and inspection program

Also Published As

Publication number Publication date
KR20210000656A (en) 2021-01-05
CN112129768A (en) 2020-12-25
TW202100991A (en) 2021-01-01
CN112129768B (en) 2024-06-04
JP2021004751A (en) 2021-01-14
TWI767229B (en) 2022-06-11
KR102284095B1 (en) 2021-07-30

Similar Documents

Publication Publication Date Title
US10489900B2 (en) Inspection apparatus, inspection method, and program
WO2011052332A1 (en) Image processing device for defect inspection and image processing method for defect inspection
KR20170136992A (en) Defect inspection system, film manufacturing device, and defect inspection method
CN110390661A (en) It checks management system, check managing device and checks management method
TW200532162A (en) Inspection system and method for providing feedback
JP2013134666A (en) Binary image generation device, classification device, binary image generation method, and classification method
JP2004177139A (en) Support program for preparation of inspection condition data, inspection device, and method of preparing inspection condition data
JP2018179698A (en) Sheet inspection device
JP7298333B2 (en) Visual inspection management system, visual inspection management device, visual inspection management method and program
JP2020067308A (en) Image processing method and image processing device
TWI607212B (en) Image generation device, defect inspection device, and defect inspection method
JP7293907B2 (en) Visual inspection management system, visual inspection management device, visual inspection management method and program
JP2010139379A (en) Method and device for detecting detect, and method and device for manufacturing film using same
JP2009264882A (en) Visual inspection device
JP2019158711A (en) Image processing system, image processing device, and image processing program
JP2018044828A (en) Object recognition method, program, and optical system
US20230237640A1 (en) Classification condition setting support apparatus
JP6391281B2 (en) Optical inspection method, optical inspection device, and optical member manufacturing method
JP7318907B2 (en) Veneer Judgment System and Veneer Judgment Method
JP2011145305A (en) Defect inspection system, and photographing device for defect inspection, image processing apparatus for defect inspection, image processing program for defect inspection, recording medium, and image processing method for defect inspection used for the same
JP5116038B2 (en) Digital camera with contrast enhancement
CN118014925A (en) Multi-view defect detection method and defect detection device
JP2013003062A (en) Image forming device, and defect inspection device
JP2007178275A (en) Inspection device of stripe-shaped irregularity, inspection method of stripe-shaped irregularity, and manufacturing method of film

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230131

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230529

R150 Certificate of patent or registration of utility model

Ref document number: 7298333

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150