JP2019159770A - Discrimination system, discrimination device, learning device, discrimination method, and program - Google Patents
Discrimination system, discrimination device, learning device, discrimination method, and program Download PDFInfo
- Publication number
- JP2019159770A JP2019159770A JP2018045293A JP2018045293A JP2019159770A JP 2019159770 A JP2019159770 A JP 2019159770A JP 2018045293 A JP2018045293 A JP 2018045293A JP 2018045293 A JP2018045293 A JP 2018045293A JP 2019159770 A JP2019159770 A JP 2019159770A
- Authority
- JP
- Japan
- Prior art keywords
- input data
- learning
- discriminator
- data
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、判別システム、判別装置、学習装置、判別方法及びプログラムに関する。 The present invention relates to a discrimination system, a discrimination device, a learning device, a discrimination method, and a program.
対象データを分類する装置、例えば生産品の欠陥検査装置において、検査対象物を撮影した画像データに基づいて、欠陥があるものとないものを分類する装置が存在している。その中には、機械学習を用いた学習により分類能力を獲得した分類器を用いるものもある。例えば特許文献１には、分類部によって画像を分類する分類装置が記載されている。特許文献１の分類装置では、教師画像と教示結果とを示す教師データセット群を用いた学習によりサブ分類器が構築される。そして、サブ分類器による分類結果が教示結果と相違する誤分類画像を含む新たな教師データセット群を用いて学習を繰り返すことにより分類部の分類性能を向上させている。 2. Description of the Related Art There are devices that classify target data, for example, a defect inspection device for a product, and a device that classifies a defective product and a non-defective device based on image data obtained by photographing the inspection object. Some of them use a classifier that has acquired classification ability by learning using machine learning. For example, Patent Document 1 describes a classification device that classifies images by a classification unit. In the classification device of Patent Document 1, a sub classifier is constructed by learning using a teacher data set group indicating a teacher image and a teaching result. Then, the classification performance of the classification unit is improved by repeating learning using a new teacher data set group including misclassified images in which the classification result by the sub-classifier is different from the teaching result.
ところで、特許文献１の構成の場合、分類器を生成する際に、分類させたいグループに応じた学習データをあらかじめ準備する必要がある。しかし、実際に分類を行う前にすべてのクラスの学習データをあらかじめ準備できない場合がある。例えば欠陥の有無を判別する分類器（判別器）の場合、実際に検査を行う前には発生し得る欠陥の種類をすべて把握することは困難である。よって、分類をした結果、設定したグループ以外にもグループを追加したい状況になることがあるが、その場合はグループの設定を変更した上で、始めから学習をし直す必要があった。そのため、学習完了までの時間がかかったり、コンピュータのリソースを余分に必要とするといった課題が発生していた。このような課題は、画像による欠陥検査装置に限らず、機械学習を用いて何らかのデータを分類する分類装置に広く共通する課題である。 By the way, in the structure of patent document 1, when producing | generating a classifier, it is necessary to prepare the learning data according to the group to classify beforehand. However, there are cases where learning data for all classes cannot be prepared in advance before actual classification. For example, in the case of a classifier (discriminator) that discriminates the presence or absence of defects, it is difficult to grasp all types of defects that can occur before actual inspection. Therefore, as a result of the classification, there may be a situation where it is desired to add a group other than the set group. In this case, it is necessary to change the group setting and perform learning again from the beginning. For this reason, problems such as taking time to complete learning and requiring extra computer resources have occurred. Such a problem is not only limited to a defect inspection apparatus based on images, but is a problem common to classification apparatuses that classify some data using machine learning.
そこで、本発明は、構成された判別器に対し、異なる判別機能を簡易に付加する技術を提供することを目的とする。 Therefore, an object of the present invention is to provide a technique for easily adding different discrimination functions to a configured discriminator.
本発明の一態様に係る判別システムは、入力データを、当該入力データが有する特徴量に基づいて、複数のグループのうち、いずれかのグループに分類する第１判別器を含む判別部と、複数のグループのうち、特定のグループに分類される入力データと、当該特定のグループを細分化する複数のサブグループのうちの特定のサブグループの情報とを対応付けた第２学習データを生成する生成部と、第２学習データを用いて学習させることにより、特定のグループに分類される入力データを、当該入力データが有する特徴量に基づいて、複数のサブグループのうち、いずれかのサブグループに分類する第２判別器を生成する学習部と、を備える。このような判別システムでは、第１判別器が特定のグループの特徴を有すると判別した入力データに基づいて、学習部が第２判別器を新たに学習により生成する。これにより、既存の第１判別器を破棄して、新たに主判別器を生成し直すことなく、第１判別器の判別結果をより詳細に判別可能な機能を追加することができる。この結果、既存の第１判別器の判別能力に影響を与えることなく、判別パターンを拡張することができる。言い換えると、この態様に係る判別システムによると、判別パターンを拡張する際に、第１判別器の学習をやり直す必要がないため、第１判別器の学習結果を活用することができ、学習の手間、時間、コンピュータリソースを減らすことができる。 A discrimination system according to an aspect of the present invention includes: a discriminator including a first discriminator that classifies input data into one of a plurality of groups based on a feature amount of the input data; Generating second learning data in which input data classified into a specific group is associated with information on a specific subgroup among a plurality of subgroups that subdivide the specific group The input data classified into a specific group by learning using the second learning data and any one of the plurality of subgroups based on the feature amount of the input data. A learning unit that generates a second classifier to be classified. In such a discriminating system, the learning unit newly generates a second discriminator through learning based on the input data that is discriminated that the first discriminator has the characteristics of a specific group. Accordingly, it is possible to add a function capable of discriminating the discrimination result of the first discriminator in more detail without discarding the existing first discriminator and newly generating a main discriminator. As a result, the discrimination pattern can be expanded without affecting the discrimination capability of the existing first discriminator. In other words, according to the discrimination system according to this aspect, it is not necessary to redo the learning of the first discriminator when extending the discrimination pattern, so that the learning result of the first discriminator can be utilized, and the learning effort Can reduce time, computer resources.
上記態様において、学習部は、学習により生成した第２判別器を、判別部に提供し、判別部は、第１判別器により特定のグループに分類された入力データに対して第２判別器を適用して、当該入力データを、複数のサブグループのうち、いずれかのサブグループに分類するようにしてもよい。 In the above aspect, the learning unit provides the second discriminator generated by learning to the discriminating unit, and the discriminating unit applies the second discriminator to the input data classified into a specific group by the first discriminator. By applying, the input data may be classified into any one of a plurality of subgroups.
また、上記態様において、入力データに、当該入力データが分類されるグループを対応付けた、第１学習データを記憶する記憶部をさらに備え、学習部は、第１学習データを用いて学習させることにより、入力データを複数のグループのうち、いずれかのグループに分類する第１判別器を生成し、生成した第１判別器を前記判別部に提供するようにしてもよい。 Moreover, in the said aspect, it further has a memory | storage part which memorize | stores the 1st learning data which matched the group by which the said input data is classified with input data, and a learning part is made to learn using 1st learning data Thus, a first discriminator that classifies input data into any one of a plurality of groups may be generated, and the generated first discriminator may be provided to the determination unit.
また、上記態様において、生成部は、複数のサブグループのうち、特定のサブグループに分類される入力データと、当該特定のサブグループをさらに細分化する複数の小グループのうちの特定の小グループの情報とを対応付けた第３学習データをさらに生成し、学習部は、第３学習データを用いて学習させることにより、特定のサブグループに分類される入力データを、当該入力データが有する特徴量に基づいて、複数の小グループのうち、いずれかの小グループに分類する第３判別器を生成し、生成した第３判別器を前記判別部にさらに提供するようにしてもよい。 Further, in the above aspect, the generation unit includes a specific small group of the input data classified into the specific subgroup among the multiple subgroups and the small group further subdividing the specific subgroup. The third learning data in association with the information is further generated, and the learning unit learns using the third learning data, whereby the input data has the input data classified into a specific subgroup. Based on the quantity, a third discriminator for classifying into any one of the plurality of small groups may be generated, and the generated third discriminator may be further provided to the determination unit.
また、上記態様において、入力データは、被検査対象物の画像データを含み、複数のグループは、被検査対象物が良品であることを示すグループと、不良品であることを示すグループとを含むようにしてもよい。さらに、複数のサブグループは、不良品の種類に基づく複数のサブグループを含むようにしてもよい。 In the above aspect, the input data includes image data of the inspection object, and the plurality of groups include a group indicating that the inspection object is a non-defective product and a group indicating that the inspection object is a defective product. You may make it. Further, the plurality of subgroups may include a plurality of subgroups based on the type of defective product.
本発明の一態様に係る判別装置は、入力データを、当該入力データが有する特徴量に基づいて、複数のグループのうち、いずれかのグループに分類する第１判別器を含む主判別部と、複数のグループのうち、特定のグループに分類される入力データと、当該特定のグループを細分化する複数のサブグループのうちの特定のサブグループの情報とを対応付けた第２学習データを生成する生成部と、第２学習データを用いて学習させることにより、特定のグループに分類される入力データを、当該入力データが有する特徴量に基づいて、複数のサブグループのうち、いずれかのサブグループに分類するよう生成された第２判別器を用いて、第１判別器により特定のグループに分類された入力データに対して、当該入力データを、複数のサブグループのうち、いずれかのサブグループに分類する生成する副判別部と、を備える。この態様によると、判別装置が特定のグループの特徴を有すると判別した入力データに基づいて、第２判別器が新たに学習により生成される。これにより、判別装置において、既存の第１判別器を破棄して、新たに主判別器を再度生成し直すことなく、第１判別器の判別結果をより詳細に判別可能な機能を追加することができる。この結果、既存の第１判別器の判別能力に影響を与えることなく判別装置の判別パターンを拡張することができる。 A discriminating device according to one aspect of the present invention includes a main discriminating unit including a first discriminator that classifies input data into one of a plurality of groups based on a feature amount of the input data. Second learning data in which input data classified into a specific group among a plurality of groups and information on a specific subgroup among a plurality of subgroups that subdivide the specific group are associated with each other is generated. Based on the feature amount of the input data, the input unit classified into a specific group by learning using the generation unit and the second learning data is one of the plurality of subgroups. For the input data classified into a specific group by the first discriminator using the second discriminator generated to classify the input data, the input data is divided into a plurality of subgroups. Of includes a secondary determination unit to generate classified into any of the subgroups, a. According to this aspect, the second discriminator is newly generated by learning based on the input data that the discriminating device discriminates as having the characteristics of a specific group. Thereby, in the discriminating apparatus, a function capable of discriminating the discrimination result of the first discriminator in more detail without discarding the existing first discriminator and newly generating the main discriminator again. Can do. As a result, the discrimination pattern of the discrimination device can be expanded without affecting the discrimination capability of the existing first discriminator.
本発明の一態様に係る学習装置は、入力データに、当該入力データが分類されるグループを対応付けた、第１学習データを記憶する第１記憶部と、第１学習データを用いて学習させることにより、入力データを複数のグループのうち、いずれかのグループに分類する第１判別器を生成する第１学習部と、複数のグループのうち、特定のグループに分類される入力データと、当該特定のグループを細分化する複数のサブグループのうちの特定のサブグループの情報とを対応付けた第２学習データを記憶する第２記憶部と、第２学習データを用いて学習させることにより、特定のグループに分類される入力データを、当該入力データが有する特徴量に基づいて、複数のサブグループのうち、いずれかのサブグループに分類する第２判別器を生成する第２学習部と、を備える。この態様によると、第１判別器が特定のグループの特徴を有すると判別した入力データに基づいて、第２判別器が新たに学習により生成される。これにより、既存の第１判別器を破棄して、新たに主判別器を再度生成し直すことなく、第１判別器の判別結果をより詳細に判別可能な機能を追加することができる。この結果、既存の第１判別器の判別能力に影響を与えることなく判別パターンを拡張することができる。 A learning device according to one aspect of the present invention causes input data to be learned using a first storage unit that stores first learning data in which input data is associated with a group into which the input data is classified, and the first learning data. A first learning unit that generates a first discriminator that classifies input data into one of a plurality of groups; input data that is classified into a specific group among the plurality of groups; A second storage unit that stores second learning data that associates information of a specific subgroup among a plurality of subgroups that subdivide a specific group, and learning using the second learning data, Generates a second discriminator that classifies input data classified into a specific group into one of a plurality of subgroups based on a feature amount of the input data. It comprises a second learning section. According to this aspect, the second discriminator is newly generated by learning based on the input data that is discriminated that the first discriminator has the characteristics of the specific group. Accordingly, it is possible to add a function capable of discriminating the discrimination result of the first discriminator in more detail without discarding the existing first discriminator and newly regenerating the main discriminator. As a result, the discrimination pattern can be expanded without affecting the discrimination capability of the existing first discriminator.
本発明の一態様に係る判別方法は、コンピュータが、入力データを、当該入力データが有する特徴量に基づいて、複数のグループのうち、いずれかのグループに分類する第１判別器を含むステップと、複数のグループのうち、特定のグループに分類される入力データと、当該特定のグループを細分化する複数のサブグループのうちの特定のサブグループの情報とを対応付けた第２学習データを生成するステップと、第２学習データを用いて学習させることにより、特定のグループに分類される入力データを、当該入力データが有する特徴量に基づいて、複数のサブグループのうち、いずれかのサブグループに分類する第２判別器を生成するステップと、を実行する。 The discrimination method according to one aspect of the present invention includes a step in which a computer includes a first discriminator that classifies input data into one of a plurality of groups based on a feature amount of the input data. Generating second learning data in which input data classified into a specific group among a plurality of groups and information on a specific subgroup among a plurality of subgroups subdividing the specific group are associated with each other And subtracting any one of the plurality of subgroups based on the feature quantity of the input data by classifying the input data classified into the specific group by learning using the second learning data. Generating a second discriminator to be classified into:
本発明の一態様に係るプログラムは、コンピュータを、入力データを、当該入力データが有する特徴量に基づいて、複数のグループのうち、いずれかのグループに分類する第１判別器を含む手段、複数のグループのうち、特定のグループに分類される入力データと、当該特定のグループを細分化する複数のサブグループのうちの特定のサブグループの情報とを対応付けた第２学習データを生成する手段、及び、第２学習データを用いて学習させることにより、特定のグループに分類される入力データを、当該入力データが有する特徴量に基づいて、複数のサブグループのうち、いずれかのサブグループに分類する第２判別器を生成する手段と、して機能させる。 According to one aspect of the present invention, there is provided a program including: a first discriminator that classifies a computer into one of a plurality of groups based on a feature amount of the input data; Means for generating second learning data in which input data classified into a specific group is associated with information on a specific subgroup among a plurality of subgroups that subdivide the specific group , And by learning using the second learning data, the input data classified into a specific group is assigned to any one of the plurality of subgroups based on the feature amount of the input data. It functions as a means for generating a second discriminator for classification.
本発明によれば、構成された判別器に対し、異なる判別機能を簡易に付加することができる。 According to the present invention, different discrimination functions can be easily added to the configured discriminator.
添付図面を参照して、本発明の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。 A preferred embodiment of the present invention will be described with reference to the accompanying drawings. In addition, in each figure, what attached | subjected the same code | symbol has the same or similar structure.
§１ 適用例
まず、図１を用いて、本発明が適用される場面の一例について説明する。図１は、本実施形態に係る判別システム１の適用場面の一例を模式的に例示する。判別システム１は、例えばベルトコンベア２上を搬送される検査対象であるワーク４を撮像して得られる画像データに対して画像計測処理を実行することで、ワーク４の外観検査または外観計測を行い、良品・不良品の判別を実現する。以下の説明においては、画像計測処理をワーク４の表面における欠陥の有無や欠陥の種類の特定に適用した例を説明するが、これに限らず、外観形状の計測などにも応用が可能である。ここで、欠陥とは、ワークが有する異常であって、例えば、キズ、色等のムラ、汚れ、打痕、欠け、バリ、異物、印字のかすれ、印字等の位置ずれ等を含む。また、判別システム１の適用例は、画像による外観検査に限定されず、機械の故障予知や、自動車のドライバーの集中度判定等、入力データを分類する例に広く適用可能である。
§1 Application Example First, an example of a scene to which the present invention is applied will be described with reference to FIG. FIG. 1 schematically illustrates an example of an application scene of the discrimination system 1 according to the present embodiment. The discrimination system 1 performs an appearance inspection or an appearance measurement of the workpiece 4 by executing an image measurement process on image data obtained by imaging the workpiece 4 to be inspected, for example, conveyed on the belt conveyor 2. Realizes discrimination between non-defective and defective products. In the following description, an example in which the image measurement process is applied to the presence or absence of defects on the surface of the workpiece 4 and the identification of the type of defect will be described. . Here, the defect is an abnormality possessed by the workpiece, and includes, for example, scratches, unevenness of color, dirt, dents, chips, burrs, foreign matter, blurred printing, misalignment of printing, and the like. Further, the application example of the discrimination system 1 is not limited to the appearance inspection based on the image, and can be widely applied to an example of classifying input data such as machine failure prediction and automobile driver concentration determination.
ベルトコンベア２の上部には撮像装置３０が配置されており、撮像装置３０の撮像視野６はベルトコンベア２の所定領域を含むように構成される。撮像装置３０の撮像により生成された画像データ（以下「入力データ」ともいう。）は、判別装置１０及び学習装置２０へ送信される。撮像装置による撮像は、周期的またはイベント的に実行される。 An imaging device 30 is disposed above the belt conveyor 2, and the imaging field 6 of the imaging device 30 is configured to include a predetermined area of the belt conveyor 2. Image data (hereinafter also referred to as “input data”) generated by the imaging of the imaging device 30 is transmitted to the determination device 10 and the learning device 20. Imaging by the imaging device is executed periodically or in an event manner.
判別装置１０及び学習装置２０は上位ネットワーク８を介して、ＰＬＣ（プログラマブルコントローラ）７０およびデータベース装置８０などと接続されている。判別装置１０における計測結果は、ＰＬＣ７０および／またはデータベース装置８０へ送信されてもよい。なお、上位ネットワーク８には、ＰＬＣ７０およびデータベース装置８０に加えて、任意の装置が接続されるようにしてもよい。 The discriminating device 10 and the learning device 20 are connected to a PLC (programmable controller) 70, a database device 80, and the like via the host network 8. The measurement result in the determination device 10 may be transmitted to the PLC 70 and / or the database device 80. In addition to the PLC 70 and the database device 80, an arbitrary device may be connected to the upper network 8.
判別装置１０には、入力データが、複数のグループのうちのいずれのグループの特徴を有するかに基づいて、入力データを特定のグループに分類する主判別器が設定されている。判別装置１０は、主判別器の判別結果をより詳細なグループに分類するための副判別器を事後的に追加することができる。例えば、主判別器が、入力データにおけるワークが欠陥に対応する特徴を含むか否かを判別することにより、入力データを良品グループ（すなわち、欠陥を有さないワークに関する入力データのグループである。）と不良品グループ（すなわち、欠陥を有するワークに関する入力データのグループである。）とに分類する判別器であるとする。この場合、例えば副判別器は、不良品グループに分類された入力データを、欠陥の種類に基づいて、凹みグループや、キズグループ、欠けグループ等のさらに複数のグループに分類することができる。なお、副判別器が分類可能なカテゴリは欠陥の種類に限定されず、例えば、欠陥の要因（作業者名や工程）、入力データの撮像日、ワークの加工日等に基づいて、分類する構成でもよい。 The discriminator 10 is set with a main discriminator that classifies input data into a specific group based on which group of the plurality of groups the input data has. The discriminating apparatus 10 can add a sub discriminator for classifying the discrimination result of the main discriminator into a more detailed group afterwards. For example, the main discriminator determines whether or not the workpiece in the input data includes a feature corresponding to a defect, thereby making the input data a non-defective product group (that is, a group of input data related to a workpiece having no defect). ) And a defective product group (that is, a group of input data relating to a workpiece having a defect). In this case, for example, the sub classifier can classify the input data classified into the defective product group into a plurality of groups such as a dent group, a scratch group, and a missing group based on the type of defect. The category that can be classified by the sub classifier is not limited to the type of defect. For example, the classification is based on the cause of the defect (worker name or process), the date of input data imaging, the date of workpiece processing, etc. But you can.
さらに、判別装置１０は、副判別器の判別結果をさらにより詳細なグループ（サブグループ）に分類する副判別器を追加することも可能である。具体的には、判別装置１０に、入力データを欠陥の種類ついて、凹み、欠け、キズ、その他の４種類に分類する副判別器が設定されていたとする。この場合、当該副判別器が、その他に分類した入力データを、さらに汚れ、その他の２種類に分類するさらなる副判別器を追加することができる。また例えば凹みに分類された入力データを、さらに凹みの大きさに基づいて、大、中、小の３種類に分類するさらなる副判別器を追加してもよい。 Furthermore, the discriminator 10 can also add a sub discriminator that classifies the discrimination result of the sub discriminator into a more detailed group (sub group). Specifically, it is assumed that a sub-classifier that classifies input data into four types, such as dent, chipping, scratch, and the like, is set in the discrimination device 10 according to the type of defect. In this case, it is possible to add a further sub-classifier that classifies the input data classified into the other by the sub-classifier further and categorizes it into the other two types. Further, for example, a further sub-classifier for classifying input data classified as a dent into three types of large, medium, and small based on the size of the dent may be added.
このような副判別器は、主判別器が分類した入力データを、さらに詳細な特徴に基づいて分類して、分類された入力データを学習データとし追加学習を行うことで生成される。 Such a sub-classifier is generated by further classifying the input data classified by the main classifier based on more detailed features and using the classified input data as learning data for additional learning.
このように、本実施形態に係る判別システム１では、判別装置１０が特定のグループの特徴を有すると判別した入力データに基づいて、学習装置２０が副判別器を新たに学習により生成する。これにより、判別装置１０において、既存の主判別器を破棄して、新たに主判別器を再度生成し直すことなく、主判別器の判別結果をより詳細に判別可能な機能を追加することができる。この結果、学習前に入力データが分類されうるすべてのグループ（以下では、入力データと、当該入力データが分類されたグループとの対応関係を「判別パターン」ともいう。）を想定することが難しく、分類の途中で判別パターンを拡張する必要が生じた場合でも、主判別器におけるそれまでの学習を無駄にすることなく、副判別器に対して追加的な学習を行うことにより拡張された分類能力を獲得することができ、効率的な判別器の作成が可能になる。すなわち、既存の主判別器の判別能力に影響を与えることなく判別装置１０の判別パターンを拡張することができる。 As described above, in the discrimination system 1 according to the present embodiment, the learning device 20 newly generates a sub-discriminator through learning based on the input data that the discrimination device 10 has determined to have the characteristics of a specific group. Thereby, in the discriminating apparatus 10, it is possible to add a function capable of discriminating the discrimination result of the main discriminator in more detail without discarding the existing main discriminator and generating a new main discriminator again. it can. As a result, it is difficult to assume all groups in which the input data can be classified before learning (hereinafter, the correspondence between the input data and the group into which the input data is classified is also referred to as “discrimination pattern”). Even if the classification pattern needs to be expanded in the middle of classification, the classification is expanded by performing additional learning on the sub-classifier without wasting the previous learning in the main classifier. Capabilities can be acquired, and an efficient discriminator can be created. That is, the discrimination pattern of the discrimination device 10 can be expanded without affecting the discrimination capability of the existing main discriminator.
§２ 構成例
図２を参照して判別装置１０及び学習装置２０の機能構成の一例について説明する。図２は、本実施形態に係る判別装置１０及び学習装置２０の機能ブロック図である。
§2 Configuration Example An example of functional configurations of the determination device 10 and the learning device 20 will be described with reference to FIG. FIG. 2 is a functional block diagram of the determination device 10 and the learning device 20 according to the present embodiment.
「学習装置２０」
まず、学習装置２０の機能構成について説明する。図２に示すように、学習装置２０は、主判別器ＤＢ２１２と、副判別器ＤＢ２２２と、主判別器用学習データＤＢ２１１と、副判別器用学習データＤＢ２２１と、主判別器学習部２１０と、副判別器学習部２２０と、を有している。
"Learning device 20"
First, the functional configuration of the learning device 20 will be described. As shown in FIG. 2, the learning device 20 includes a main discriminator DB 212, a sub discriminator DB 222, a main discriminator learning data DB 211, a sub discriminator learning data DB 221, a main discriminator learning unit 210, and a sub discriminator. And a device learning unit 220.
主判別器ＤＢ２１２には、主判別器学習部２１０が生成した主判別器（第１判別器の一例である。）が登録されている。主判別器は、入力データを、当該入力データが有する特徴に基づいて分類する機能を有する。一例として、主判別器は、入力データに欠陥に対応する特徴が含まれるか否かに基づいて、良品グループと不良品グループとに分類する。なお、主判別器は、良品の画像データを用いて学習を行い、学習した良品の画像データの特徴量から所定の値以上の外れ値を有する画像データを不良品の画像と判別する構成でもよい。 In the main discriminator DB 212, a main discriminator (an example of a first discriminator) generated by the main discriminator learning unit 210 is registered. The main discriminator has a function of classifying input data based on characteristics of the input data. As an example, the main discriminator classifies the non-defective product group and the defective product group based on whether or not the feature corresponding to the defect is included in the input data. The main discriminator may be configured to perform learning using non-defective image data, and to discriminate image data having an outlier greater than a predetermined value from a feature value of the learned non-defective image data as a defective image. .
副判別器ＤＢ２２２には、副判別器学習部２２０が生成した副判別器（第２判別器の一例である。）が登録されている。副判別器は、主判別器より詳細な分類を行うことが可能な判別器である。つまり、副判別器は、主判別器が特定のグループの特徴を有すると判別した入力データについて、当該入力データをさらに分類する複数のグループ（サブグループ）のうち、特定のサブグループに分類される入力データを判別することができる。 The sub classifier (which is an example of a second classifier) generated by the sub classifier learning unit 220 is registered in the sub classifier DB 222. The sub classifier is a classifier capable of performing more detailed classification than the main classifier. That is, the sub classifier is classified into a specific subgroup among a plurality of groups (subgroups) that further classify the input data with respect to the input data determined that the main classifier has the characteristics of the specific group. Input data can be determined.
本実施形態では、副判別器は、主判別器が不良品グループと判別した入力データについて、さらに詳細な分類を行う。例えば副判別器は、不良品グループの入力データを、欠陥の種類に基づいて、さらに凹みグループ、キズグループ、欠けグループに分類することができる。この場合、副判別器は、学習した種類の欠陥の特徴量と、入力データにおける欠陥の特徴量とが所定の範囲内か否かに基づいて、どのグループに分類される入力データであるかを判別する。 In the present embodiment, the sub classifier performs further detailed classification on the input data that the main classifier has determined to be a defective product group. For example, the sub classifier can further classify the input data of the defective product group into a dent group, a scratch group, and a missing group based on the type of defect. In this case, the sub-classifier determines which group of input data is classified based on whether or not the feature quantity of the learned type of defect and the feature quantity of the defect in the input data are within a predetermined range. Determine.
なお、各判別器は、任意の機械学習モデルに対して学習処理と評価処理とを行うことにより生成された判別器である。機械学習モデルは、所定のモデル構造と、学習処理によって変動する処理パラメータと、を有し、学習データから得られる経験に基づいてその処理パラメータが最適化されることで、認識結果の精度が向上するモデルである。すなわち、本実施形態の主判別器と副判別器は、所定のモデル構造と最適化された処理パラメータとの組合せである、所謂「学習済みモデル」を含むことになる。機械学習モデルのアルゴリズムは、例えば、サポートベクターマシン、ロジスティック回帰、ニューラルネットワーク、ディープニューラルネットワーク等を用いることができるが、その種類は特に限定されない。 Each discriminator is a discriminator generated by performing learning processing and evaluation processing on an arbitrary machine learning model. The machine learning model has a predetermined model structure and processing parameters that vary depending on the learning process, and the processing parameters are optimized based on the experience obtained from the learning data, thereby improving the accuracy of the recognition results. Model. That is, the main discriminator and the sub discriminator of this embodiment include a so-called “learned model” that is a combination of a predetermined model structure and an optimized processing parameter. For example, a support vector machine, logistic regression, a neural network, a deep neural network, or the like can be used as the machine learning model algorithm, but the type is not particularly limited.
主判別器用学習データＤＢ２１１（記憶部の一例である。）には、主判別器学習部２１０が学習を行うための学習データが格納されている。図３は、主判別器用学習データＤＢ２１１に登録される学習データの一例を示す図である。図３に示すように、主判別器用学習データＤＢ２１１には、学習データとして、入力データと、当該入力データを分類した判別結果（欠陥の有無）とが対応付けられて登録されている。なお、主判別器用学習データＤＢ２１１に登録される学習データは図３の例に限定されず、例えば複数種類の良品の入力データでもよい。 The main discriminator learning data DB 211 (an example of a storage unit) stores learning data for the main discriminator learning unit 210 to perform learning. FIG. 3 is a diagram illustrating an example of learning data registered in the main discriminator learning data DB 211. As shown in FIG. 3, in the main discriminator learning data DB 211, as input data, input data and a discrimination result (the presence or absence of a defect) obtained by classifying the input data are registered in association with each other. The learning data registered in the main discriminator learning data DB 211 is not limited to the example in FIG. 3, and may be, for example, a plurality of types of non-defective product input data.
副判別器用学習データＤＢ２２１（記憶部の一例である。）には、副判別器学習部２２０が学習を行うための学習データが格納されている。図４は、副判別器用学習データＤＢ２１１に登録されている学習データの一例を示す図である。図４に示すように、副判別器用学習データＤＢ２２１には、入力データに、欠陥の有無に関する判別結果（主判別器の判別結果）と、当該判別結果が欠陥ありの場合には、さらに詳細なグループへの分類結果とがカテゴリごとに紐付けられて登録されている。図４の例では、カテゴリは欠陥の種別と、欠陥の要因とである。 The sub-classifier learning data DB 221 (an example of a storage unit) stores learning data for the sub-classifier learning unit 220 to perform learning. FIG. 4 is a diagram illustrating an example of learning data registered in the sub-classifier learning data DB 211. As shown in FIG. 4, the sub-classifier learning data DB 221 includes more detailed information when the input data includes a determination result regarding the presence / absence of a defect (a determination result of the main classifier) and the determination result is defective. The classification result into groups is registered in association with each category. In the example of FIG. 4, the category is a defect type and a defect factor.
主判別器学習部２１０は、主判別器用学習データＤＢ２１１に格納された学習データに基づいて主判別器を生成して、主判別器ＤＢ２１２に登録する。 The main discriminator learning unit 210 generates a main discriminator based on the learning data stored in the main discriminator learning data DB 211 and registers it in the main discriminator DB 212.
副判別器学習部２２０は、副判別器用学習データＤＢ２２１に格納された学習データに基づいて副主判別器を生成して、副判別器ＤＢ２２２に登録する。例えば、図４の学習データが与えられた場合、副判別器学習部２２０は、欠陥の種類を判別可能な副判別器と欠陥の要因を判別可能な副判別器とを生成することができる。具体的には、副判別器学習部２２０は、欠陥の種類を判別可能な副判別器として、入力データの欠陥がキズ、欠け、凹みのいずれの特徴を有するかに基づいて分類する副判別器を生成する。さらに、欠陥の要因を判別可能な副判別器として、入力データの欠陥が、工程Ｘで生成された欠陥、作業者αによって生成された欠陥、工程ｙで生成された欠陥のいずれの特徴を有するかに基づいて分類する副判別器を生成する。 The sub classifier learning unit 220 generates a sub main classifier based on the learning data stored in the sub classifier learning data DB 221 and registers the sub main classifier in the sub classifier DB 222. For example, when the learning data of FIG. 4 is given, the sub classifier learning unit 220 can generate a sub classifier that can determine the type of defect and a sub classifier that can determine the cause of the defect. Specifically, the sub-discriminator learning unit 220 classifies as the sub-discriminator capable of discriminating the type of the defect, the sub-classifier that classifies the defect of the input data based on whether the defect has a flaw, a chip, or a dent. Is generated. Further, as a sub-discriminator capable of discriminating the cause of the defect, the defect of the input data has any characteristics of the defect generated in the process X, the defect generated by the worker α, and the defect generated in the process y. A sub-classifier for classifying based on the above is generated.
「判別装置１０」
次に、判別装置１０の機能構成の一例について説明する。図２に示すように判別装置１０は、主判別部１１０と、副判別部１１２と、表示部１１４と、入力部１１６と、生成部１１８とを有している。
"Determination device 10"
Next, an example of a functional configuration of the determination device 10 will be described. As illustrated in FIG. 2, the determination device 10 includes a main determination unit 110, a sub determination unit 112, a display unit 114, an input unit 116, and a generation unit 118.
主判別部１１０には、学習装置２０において生成された主判別器が設定されている。主判別部１１０は、設定された主判別器を用いて、入力された画像データ（入力データ）中のワークが良品か不良品か（欠陥を有するか否か）を判別する。判別結果と入力データとは、例えばデータベース装置８０に登録される。 The main discriminator 110 is set with a main discriminator generated by the learning device 20. The main discriminating unit 110 discriminates whether the workpiece in the input image data (input data) is a non-defective product or a defective product (whether it has a defect) by using the set main discriminator. The determination result and the input data are registered in the database device 80, for example.
副判別部１１２には、学習装置２０において生成された副判別器が設定されている。なお、副判別部１１２に設定される副判別器の数に限定はなく、１つでもよいし、複数でもよい。また副判別部１１２には、異なるカテゴリにおいて入力データを分類可能な副判別器が複数設定される構成でもよい。 The sub discriminator 112 is set with a sub discriminator generated by the learning device 20. The number of sub discriminators set in the sub discriminating unit 112 is not limited and may be one or plural. The sub-discriminating unit 112 may have a configuration in which a plurality of sub-discriminators capable of classifying input data in different categories are set.
本実施形態では、副判別部１１２では、主判別部１１０において不良品と判別された入力データについて、より詳細な判別を行う。具体的には、副判別部１１２は設定された複数の副判別器に順次、入力データを入力する。各副判別器では、入力された入力データに当該副判別器で判別可能なグループの特徴量が含まれるか否かを判別する。副判別部１１２の判別結果は入力データと対応付けられて例えばデータベース装置８０に登録される。なお、いずれの副判別器でもグループを判別できなかった入力データは、不明として判別され、データベース装置８０に登録されてもよい。 In the present embodiment, the sub-discriminating unit 112 performs more detailed discrimination on the input data that is discriminated as defective by the main discriminating unit 110. Specifically, the sub-discriminating unit 112 sequentially inputs input data to a plurality of set sub-discriminators. Each sub discriminator discriminates whether or not the inputted input data includes a group feature quantity that can be discriminated by the sub discriminator. The determination result of the sub determination unit 112 is associated with the input data and registered in the database device 80, for example. It should be noted that input data whose group could not be determined by any of the sub classifiers may be determined as unknown and registered in the database device 80.
さらに副判別部１１２では、副判別器によって判別した入力データをさらに詳細なグループ（子グループ）へ分類を行う副判別器（第３判別器の一例である。）が設定されてもよい。例えば、副判別器によって、欠陥の種類を判別したのち、次の副判別器によって、欠陥の大きさで入力データをさらに分類することができる。また、各グループに入るデータ数が所定の数以下になるまで、同様の手順でグループを詳細なグループに分類してもよい。 Further, the sub discriminator 112 may be set with a sub discriminator (an example of a third discriminator) that classifies input data discriminated by the sub discriminator into a more detailed group (child group). For example, after the type of the defect is determined by the sub classifier, the input data can be further classified by the size of the defect by the next sub classifier. Further, the groups may be classified into detailed groups by the same procedure until the number of data entering each group is equal to or less than a predetermined number.
表示部１１４は、主判別部１１０及び副判別部１１２の判別結果を表示するディスプレイである。例えば表示部１１４は、判別結果と併せて入力データをディスプレイ１０４に表示させることが好ましい。 The display unit 114 is a display that displays the discrimination results of the main discrimination unit 110 and the sub discrimination unit 112. For example, the display unit 114 preferably displays input data on the display 104 together with the determination result.
入力部１１６は、ユーザ操作を受け付けるキーボードやマウスである。 The input unit 116 is a keyboard or a mouse that receives user operations.
生成部１１８は、入力部１１６を介して、ユーザから、入力データを分類する新たなサブグループの名称（ラベル）の入力を受け付ける。具体的には、ユーザは、主判別部１１０が不良品と判別した入力データ、又は副判別部１１２が分類先不明と判別した入力データについて、当該入力データを所定の特徴に基づいて分類したグループに対してラベルを設定する。なお、入力データのグループへの分類は、欠陥の特徴量の類似度に基づいてクラスタリング等の手法により判別装置１０が自動で行う構成でもよい。具体的には、複数の入力データを自動で分類する場合、複数の入力データそれぞれが有する欠陥の特徴量の近さ及び／又は遠さに基づいて、複数の入力データをクラスタに分類する階層的クラスタリグの手法を用いてもよい。また例えば、複数の入力データから、Ｎ個の入力データを任意に抽出し、抽出したＮ個の入力データの特徴量の類似度に応じて残りの入力データをＮ個のクラスタに分類する処理を、最適なＮ個のクラスタができるまで複数回実行する非階層的クラスタリングの手法を用いてもよい。 The generation unit 118 receives an input of a name (label) of a new subgroup for classifying input data from the user via the input unit 116. Specifically, the user classifies the input data that the main determination unit 110 has determined to be defective or the input data that the sub-determination unit 112 has determined that the classification destination is unknown based on predetermined characteristics of the input data. Set the label for. Note that the classification of the input data into groups may be performed automatically by the discriminating apparatus 10 using a technique such as clustering based on the similarity of the feature quantities of defects. Specifically, when a plurality of input data is automatically classified, the hierarchical classification that classifies the plurality of input data into clusters based on the proximity and / or distance of the defect feature amount possessed by each of the plurality of input data. A cluster rig method may be used. Further, for example, a process of arbitrarily extracting N pieces of input data from a plurality of pieces of input data and classifying the remaining input data into N clusters according to the similarity of the feature amounts of the extracted N pieces of input data. Alternatively, a non-hierarchical clustering method may be used that is executed a plurality of times until the optimal N clusters are created.
さらに、分類を自動で行う構成として、具体的には、主判別器で特定のグループ（例えば、欠陥を有するグループである。）に分類された入力データを機械によりさらに分類し、同じグループとして分類された入力データが「新たなサブグループ」に属する入力データとすることができる。このとき、新たなサブグループに対して、ユーザが名称（ラベル）を付与してもよい。また、判別装置１０が、新たなサブグループに対して一意な識別子を採番し、採番した識別子をグループの名称として自動で命名する構成でもよい。なお、機械による分類の一例として、例えば、Ｋ−ｍｅａｎｓ法やその他の教師なし学習による分類が挙げられる。 Furthermore, as a configuration in which classification is performed automatically, specifically, input data classified into a specific group (for example, a group having a defect) by the main discriminator is further classified by a machine and classified as the same group. The input data thus obtained can be input data belonging to the “new subgroup”. At this time, the user may give a name (label) to the new subgroup. Further, the discriminating apparatus 10 may be configured to assign a unique identifier to a new subgroup and automatically assign the assigned identifier as a group name. An example of classification by machine is, for example, classification by K-means method or other unsupervised learning.
また、分類を自動で行う場合の別の例として、特に欠陥の分類を行う場合には、次の構成も考えられる。まず、典型的な欠陥を有する入力データ（写真）をいくつか用意する。このとき最低１種類の欠陥の入力データが複数、必要となる。例えば、「凹み」という欠陥に関する入力データとして、凹みを有するワークの写真を複数枚用意する。用意した入力データを用いた学習により、補助判別器を生成する。このとき、補助判別器は、「凹み」という欠陥を有する入力データを判別可能になる。次に、主判別器が欠陥ありと分類した入力データ群を、この補助判別器に入力し、補助判別器が学習した種類の欠陥の入力データからの近さ及び／又は遠さで、新たなサブグループへ分類する。なお、新たなサブグループに対して、ユーザが名称を付与してもよいし、判別装置１０が、上述のように自動で識別子を採番することで自動で命名する構成でもよい。 As another example of automatic classification, the following configuration is also conceivable particularly when defect classification is performed. First, some input data (photographs) having typical defects are prepared. At this time, a plurality of input data of at least one type of defect is required. For example, a plurality of photographs of a work having a dent are prepared as input data relating to the defect “dent”. An auxiliary discriminator is generated by learning using the prepared input data. At this time, the auxiliary discriminator can discriminate input data having a defect of “dent”. Next, the input data group classified as defective by the main discriminator is input to this auxiliary discriminator, and a new defect is detected by the proximity and / or distance from the input data of the type of defect learned by the auxiliary discriminator. Classify into subgroups. Note that the user may give a name to a new subgroup, or the discriminating apparatus 10 may automatically give an identifier by assigning an identifier as described above.
さらに生成部１１８は、入力データに設定されたラベルを対応付けて、副判別器用学習ＤＢ２２１に登録する。これによって、学習装置２０においては、判別装置１０が実行した外観検査の結果に基づいて、新たな副判別器を生成することができる。 Further, the generation unit 118 associates the label set with the input data and registers it in the sub-discriminator learning DB 221. As a result, the learning device 20 can generate a new sub-discriminator based on the result of the appearance inspection performed by the discrimination device 10.
§３．動作フロー
次に、図５を用いて、上述のように構成された判別システム１の処理の流れについて説明する。図５は、本実施形態に係る判別システム１の処理フローの一例を示すシーケンス図である。
§3. Operational Flow Next, a processing flow of the discrimination system 1 configured as described above will be described with reference to FIG. FIG. 5 is a sequence diagram illustrating an example of a processing flow of the determination system 1 according to the present embodiment.
まず、判別装置１０における外観検査に先立って、学習装置２０の主判別器用学習データＤＢ２１１に、主判別器の学習用の学習データセットが登録され（Ｓ２１）、主判別器学習部２１０によって主判別器が生成される（Ｓ２２）。 First, prior to the appearance inspection in the discriminator 10, a learning data set for learning of the main discriminator is registered in the main discriminator learning data DB 211 of the learning device 20 (S21), and the main discriminator learning unit 210 performs main discrimination. A device is generated (S22).
生成された主判別器は、判別装置０の主判別部１１０に設定される（Ｓ２３）。次に外観検査において、入力データが入力されると、主判別部１１０は、設定された主判別器を用いて、入力データの判別を実行する（Ｓ１１）。判別結果は入力データと併せて表示部１１４に表示される（Ｓ１２）。 The generated main discriminator is set in the main discriminating unit 110 of the discriminating device 0 (S23). Next, in the appearance inspection, when input data is input, the main discriminating unit 110 executes discrimination of the input data using the set main discriminator (S11). The determination result is displayed on the display unit 114 together with the input data (S12).
生成部１１８は、表示部１１４に表示された入力データのうち、不良品（すなわち、欠陥を有するワーク）と判別された入力データを所定の特徴に基づいてさらに詳細に分類するグループのラベルの設定をユーザから受け付ける（Ｓ１３）。なお、自動で分類し、自動で命名する構成の場合は、Ｓ１３の処理はスキップされてもよい。 The generation unit 118 sets a label for a group that further classifies input data that is determined as a defective product (that is, a workpiece having a defect) out of the input data displayed on the display unit 114 based on predetermined characteristics. Is received from the user (S13). Note that in the case of a configuration in which classification is performed automatically and naming is performed automatically, the process of S13 may be skipped.
入力データと、設定されたラベルとは、副判別器の学習用の学習データセットとして、副判別器学習データＤＢ２２１に登録される（Ｓ１４）。 The input data and the set label are registered in the sub classifier learning data DB 221 as a learning data set for learning of the sub classifier (S14).
学習装置２０では、副判別器学習データＤＢ２２１に新たに登録された学習データを用いて、副判別器を生成し（Ｓ２４）、生成した副判別器を判別装置１０の副判別部１１２に設定する（Ｓ２５）。 The learning device 20 generates a sub discriminator using the learning data newly registered in the sub discriminator learning data DB 221 (S24), and sets the generated sub discriminator in the sub discriminator 112 of the discriminator 10. (S25).
判別装置１０は、副判別器が新たに設定されると、入力データの判別を主判別部１１０と副判別部１１２とを用いて行う（Ｓ１５）。例えば副判別部１１２は、主判別部１１０において不良品として判別された入力データについて、不良品の種類について判別を行うことができる。 When the sub classifier is newly set, the determination device 10 determines input data using the main determination unit 110 and the sub determination unit 112 (S15). For example, the sub-determination unit 112 can determine the type of defective product for the input data determined as a defective product by the main determination unit 110.
判別装置１０は、副判別部１１２を用いて判別を行った後、Ｓ１２に戻り、さらなる副判別器の設定を受け付けることも可能である。 After determining using the sub-discriminating unit 112, the discriminating apparatus 10 can return to S12 and accept further sub-discriminator settings.
§４．利点
本実施形態に係る判別システム１では、判別装置１０が特定のグループの特徴を有すると判別した入力データに基づいて、学習装置２０が副判別器を新たに生成する。これにより、判別装置１０において、既存の主判別器を破棄して、新たに主判別器を再度生成し直すことなく、主判別器の判別結果をより詳細に判別可能な機能を追加することができる。この結果、既存の主判別器の判別能力に影響を与えることなく判別装置１０の判別パターンを拡張することができる。
§4. Advantages In the discrimination system 1 according to the present embodiment, the learning device 20 newly generates a sub-discriminator based on the input data that the discrimination device 10 has determined to have the characteristics of a specific group. Thereby, in the discriminating apparatus 10, it is possible to add a function capable of discriminating the discrimination result of the main discriminator in more detail without discarding the existing main discriminator and generating a new main discriminator again. it can. As a result, the discrimination pattern of the discrimination device 10 can be expanded without affecting the discrimination capability of the existing main discriminator.
§５．ハードウェア構成
次に、図６を参照しながら、上述してきた判別装置１０、及び学習装置２０をコンピュータ８００により実現する場合のハードウェア構成の一例を説明する。なお、それぞれの装置の機能は、複数台の装置に分けて実現することもできる。
§5. Hardware Configuration Next, an example of a hardware configuration when the discrimination device 10 and the learning device 20 described above are realized by a computer 800 will be described with reference to FIG. The function of each device can be realized by dividing it into a plurality of devices.
図６に示すように、コンピュータ８００は、プロセッサ８０１、メモリ８０３、記憶装置８０５、入力Ｉ／Ｆ部８０７、データＩ／Ｆ部８０９、通信Ｉ／Ｆ部８１１、及び表示装置８１３を含む。 As illustrated in FIG. 6, the computer 800 includes a processor 801, a memory 803, a storage device 805, an input I / F unit 807, a data I / F unit 809, a communication I / F unit 811, and a display device 813.
プロセッサ８０１は、メモリ８０３に記憶されているプログラムを実行することによりコンピュータ８００における様々な処理を制御する。例えば、判別装置１０の主判別部１１０や、副判別部１１２、表示部１１４、入力部１１６、生成部１１８、学習装置２０の主判別器学習部２１０や、副判別器学習部２２０などは、メモリ８０３に一時記憶された上で、主にプロセッサ８０１上で動作するプログラムとして実現可能である。すなわち、プロセッサ８０１がメモリ８０３に一時記憶されたプログラムを解釈実行することにより、主判別部１１０や、副判別部１１２、表示部１１４、入力部１１６、生成部１１８、学習装置２０の主判別器学習部２１０や、副判別器学習部２２０の働きが実現される。 The processor 801 controls various processes in the computer 800 by executing a program stored in the memory 803. For example, the main discriminating unit 110, the sub discriminating unit 112, the display unit 114, the input unit 116, the generating unit 118, the main discriminator learning unit 210 of the learning device 20, the sub discriminator learning unit 220, etc. The program can be realized as a program mainly operating on the processor 801 after being temporarily stored in the memory 803. In other words, the processor 801 interprets and executes the program temporarily stored in the memory 803, so that the main discriminator 110, the sub discriminator 112, the display unit 114, the input unit 116, the generator 118, and the main discriminator of the learning device 20 The functions of the learning unit 210 and the sub classifier learning unit 220 are realized.
メモリ８０３は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の記憶媒体である。メモリ８０３は、プロセッサ８０１によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となるデータを一時的に記憶する。 The memory 803 is a storage medium such as a RAM (Random Access Memory). The memory 803 temporarily stores a program code of a program executed by the processor 801 and data necessary for executing the program.
記憶装置８０５は、例えばハードディスクドライブ（ＨＤＤ）やフラッシュメモリ等の不揮発性の記憶媒体である。記憶装置８０５は、オペレーティングシステムや、上記各構成を実現するための各種プログラムを記憶する。この他、記憶装置８０５は、主判別器用学習データＤＢ２１１、主判別器ＤＢ２１２、副判別器用学習データＤＢ２２１、副判別器ＤＢ２２２を記憶することも可能である。このようなプログラムやデータは、必要に応じてメモリ８０３にロードされることにより、プロセッサ８０１から参照される。 The storage device 805 is a non-volatile storage medium such as a hard disk drive (HDD) or a flash memory. The storage device 805 stores an operating system and various programs for realizing the above-described configurations. In addition, the storage device 805 can store a main discriminator learning data DB 211, a main discriminator DB 212, a sub discriminator learning data DB 221, and a sub discriminator DB 222. Such programs and data are referred to by the processor 801 by being loaded into the memory 803 as necessary.
入力Ｉ／Ｆ部８０７は、ユーザからの入力を受け付けるためのデバイスである。入力Ｉ／Ｆ部８０７の具体例としては、キーボードやマウス、タッチパネル、各種センサ、ウェアラブル・デバイス等が挙げられる。入力Ｉ／Ｆ部８０７は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のインタフェースを介してコンピュータ８００に接続されても良い。 The input I / F unit 807 is a device for receiving input from the user. Specific examples of the input I / F unit 807 include a keyboard, a mouse, a touch panel, various sensors, and a wearable device. The input I / F unit 807 may be connected to the computer 800 via an interface such as a USB (Universal Serial Bus).
データＩ／Ｆ部８０９は、コンピュータ８００の外部からデータを入力するためのデバイスである。データＩ／Ｆ部８０９の具体例としては、各種記憶媒体に記憶されているデータを読み取るためのドライブ装置等がある。データＩ／Ｆ部８０９は、コンピュータ８００の外部に設けられることも考えられる。その場合、データＩ／Ｆ部８０９は、例えばＵＳＢ等のインタフェースを介してコンピュータ８００へと接続される。 A data I / F unit 809 is a device for inputting data from the outside of the computer 800. Specific examples of the data I / F unit 809 include a drive device for reading data stored in various storage media. The data I / F unit 809 may be provided outside the computer 800. In this case, the data I / F unit 809 is connected to the computer 800 via an interface such as a USB.
通信Ｉ／Ｆ部８１１は、コンピュータ８００の外部の装置と有線又は無線により、インターネットＮを介したデータ通信を行うためのデバイスである。通信Ｉ／Ｆ部８１１は、コンピュータ８００の外部に設けられることも考えられる。その場合、通信Ｉ／Ｆ部８１１は、例えばＵＳＢ等のインタフェースを介してコンピュータ８００に接続される。 The communication I / F unit 811 is a device for performing data communication with the external device of the computer 800 via the Internet N by wire or wireless. The communication I / F unit 811 may be provided outside the computer 800. In that case, the communication I / F unit 811 is connected to the computer 800 via an interface such as a USB.
表示装置８１３は、各種情報を表示するためのデバイスである。表示装置８１３の具体例としては、例えば液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、ウェアラブル・デバイスのディスプレイ等が挙げられる。表示装置８１３は、コンピュータ８００の外部に設けられても良い。その場合、表示装置８１３は、例えばディスプレイケーブル等を介してコンピュータ８００に接続される。 The display device 813 is a device for displaying various information. Specific examples of the display device 813 include a liquid crystal display, an organic EL (Electro-Luminescence) display, and a wearable device display. The display device 813 may be provided outside the computer 800. In that case, the display device 813 is connected to the computer 800 via, for example, a display cable.
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば既述の実施形態では、判別装置１０を画像による欠陥検査に適用する例について説明したが、これに限定されない。判別装置１０は、機械（例えば包装機等の製造機械）の故障予知の他、入力データを分類する判別装置に広く適用可能である。 As mentioned above, although embodiment of this invention has been described in detail, the above description is only illustration of this invention in all the points. It goes without saying that various improvements and modifications can be made without departing from the scope of the present invention. For example, in the above-described embodiment, the example in which the determination device 10 is applied to defect inspection using an image has been described, but the present invention is not limited to this. The discriminating device 10 can be widely applied to discriminating devices that classify input data in addition to predicting failure of a machine (for example, a manufacturing machine such as a packaging machine).
一例として、判別装置１０は、機械の故障予知装置に適用することができる。例えば、故障予知装置は、監視対象となる装置（対象装置）から、当該対象装置の稼働状態を示す稼働状態データを取得することができる。稼働状態データは、例えば、対象装置のモータのトルク変動のデータや、振動データ、対象装置が発する音等の時系列データである。故障予知装置は、例えば、音声センサや画像センサ、モータ回転角センサ、加速度センサ等のセンサを有しており、対象装置から稼働状態データを取得する構成でもよいし、対象装置が、このようなセンサを有しており、取得した稼働状態データを故障予知装置に提供する構成でもよい。 As an example, the determination device 10 can be applied to a machine failure prediction device. For example, the failure prediction device can acquire operating state data indicating the operating state of the target device from the device to be monitored (target device). The operating state data is, for example, time-series data such as torque fluctuation data, vibration data, and sound generated by the target device. The failure prediction device includes, for example, a sensor such as a voice sensor, an image sensor, a motor rotation angle sensor, and an acceleration sensor, and may be configured to acquire operation state data from the target device. It may have a sensor and may be configured to provide the acquired operating state data to the failure prediction device.
故障予知装置は取得した稼働状態データの特徴量に基づいて、対象装置の故障（又は故障の予兆）を検知することができる。例えば、故障予知装置は、対象装置の通常の運転（すなわち、正常運転中）の稼働状態データの特徴量を正常データとして学習する。これにより、正常データから一定量以上逸脱した特徴量を有する稼働状態データが取得された際に、故障または故障の予兆があると判別する主判別器を生成する。 The failure prediction device can detect a failure (or a sign of failure) of the target device based on the feature amount of the acquired operating state data. For example, the failure prediction apparatus learns the feature amount of the operation state data during normal operation (that is, during normal operation) of the target apparatus as normal data. As a result, a main discriminator that discriminates that there is a failure or a sign of a failure when operating state data having a feature amount deviating from a normal amount by a certain amount or more is acquired.
次に、対象装置においてギアの欠け、ベルトの歯こぼれ、ベアリングの異常摩耗等の故障の要因が観測された際に取得される稼働状態データの特徴量に基づいて、学習を行うことで、副判別器を生成する。これによって、故障予知装置は、主判別器において正常でないと判別された稼働状態データを、故障の要因ごとの特徴量からの近さ及び／又は遠さに基づいて、サブグループに分類することができる。
このような故障予知装置によると、対象装置の運転状態を連続的に監視することで、故障の予兆を早期発見し、これにより作業者に事前にメンテナンスを促すことが可能になる。この結果、対象装置の運転中に故障が生じて停止してしまい、作業中の部品が破壊する等の不都合が生じることを防ぐことができる。また、故障予知装置が、副判別器において稼働状態データを故障の要因ごとのサブグループに分類することにより、対象装置のメンテナンス時に作業者がより適切な対応をとることができる。
Next, by performing learning based on the feature value of the operating state data acquired when a failure factor such as gear chipping, belt spillage, and abnormal wear of the bearing is observed in the target device, Generate a discriminator. As a result, the failure prediction apparatus can classify the operation state data determined to be not normal by the main discriminator into subgroups based on the proximity and / or distance from the feature amount for each cause of the failure. it can.
According to such a failure prediction apparatus, it is possible to detect a sign of failure early by continuously monitoring the operating state of the target device, thereby prompting the operator to perform maintenance in advance. As a result, it is possible to prevent the occurrence of inconveniences such as a failure occurring during operation of the target device and the stoppage of the target device, resulting in destruction of the part being worked on. In addition, the failure prediction device classifies the operation state data into subgroups for each cause of failure in the sub-discriminator, so that the worker can take a more appropriate action during maintenance of the target device.
また、上述した判別装置１０は、自動車のドライバーの集中度を判別する集中度判別装置に適用することも可能である。この場合には、例えば、集中度判別装置は、ＤＭＳ（Ｄｒｉｖｅｒ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ）や車両センサからドライバーの状態を取得することができる。具体的には、ＤＭＳは自動車のドライバーの状態を検出するセンサであり、シートセンサや、自動車のドライバーが運転席に座った状態で当該ドライバーの上半身を撮影するカメラ等から構成されてもよい。また、車両センサは、車両の走行状態に関する情報を取得するセンサであり、例えば車速センサ、加速度センサ、及びヨーレートセンサ等から構成されてもよい。集中度判別装置は、これらのセンサから取得される自動車のドライバーの状態や車両の走行状態から、ドライバーの集中の有無を主判別器で判別し、集中度がない状態と判定されたグループ（に入る画像群）に対して、その要因（眠い、食事している、スマホ操作、等々）を判別する副判別器を生成してもよい。 Further, the above-described determination device 10 can also be applied to a concentration level determination device that determines the concentration level of a driver of an automobile. In this case, for example, the concentration degree discriminating apparatus can acquire the driver's state from a DMS (Driver Monitoring System) or a vehicle sensor. Specifically, the DMS is a sensor that detects the state of the driver of the automobile, and may include a seat sensor, a camera that captures the upper body of the driver while the driver of the automobile is sitting on the driver's seat, and the like. Further, the vehicle sensor is a sensor that acquires information related to the traveling state of the vehicle, and may be configured of, for example, a vehicle speed sensor, an acceleration sensor, a yaw rate sensor, and the like. The concentration discriminating device discriminates the presence or absence of the driver's concentration from the state of the driver of the automobile and the running state of the vehicle obtained from these sensors, and the group (N A sub-discriminator for discriminating the factors (sleeping, eating, smartphone operation, etc.) may be generated for the image group to be entered.
（付記１）
入力データを、当該入力データが有する特徴量に基づいて、複数のグループのうち、いずれかのグループに分類する第１判別器を含む判別部（１１０，１１２）と、
前記複数のグループのうち、特定のグループに分類される入力データと、当該特定のグループを細分化する複数のサブグループのうちの特定のサブグループの情報とを対応付けた第２学習データを生成する生成部（１１８）と、
前記第２学習データを用いて学習させることにより、前記特定のグループに分類される入力データを、当該入力データが有する特徴量に基づいて、前記複数のサブグループのうち、いずれかのサブグループに分類する第２判別器を生成する学習部（２１０、２２０）と、
を備える判別システム（１）。
（付記２）
前記学習部（２１０、２２０）は、学習により生成した第２判別器を、前記判別部（１１０，１１２）に提供し、
前記判別部（１１０，１１２）は、前記第１判別器により特定のグループに分類された入力データに対して前記第２判別器を適用して、当該入力データを、複数のサブグループのうち、いずれかのサブグループに分類する、
付記１記載の判別システム（１）。
（付記３）
入力データに、当該入力データが分類されるグループを対応付けた、第１学習データを記憶する記憶部（２１２）をさらに備え、
前記学習部（２１０，２２０）は、前記第１学習データを用いて学習させることにより、入力データを前記複数のグループのうち、いずれかのグループに分類する第１判別器を生成し、生成した前記第１判別器を前記判別部（１１０，１１２）に提供する、
付記１又は２に記載の判別システム（１）。
（付記４）
前記生成部（１１８）は、前記複数のサブグループのうち、特定のサブグループに分類される入力データと、当該特定のサブグループをさらに細分化する複数の小グループのうちの特定の小グループの情報とを対応付けた第３学習データをさらに生成し、
前記学習部（２１０，２２０）は、前記第３学習データを用いて学習させることにより、前記特定のサブグループに分類される入力データを、当該入力データが有する特徴量に基づいて、前記複数の小グループのうち、いずれかの小グループに分類する第３判別器を生成し、生成した第３判別器を前記判別部（１１０，１１２）にさらに提供する、
付記１乃至３の何れか一項に記載の判別システム（１）。
（付記５）
前記入力データは、被検査対象物の画像データを含み、
前記複数のグループは、前記被検査対象物が良品であることを示すグループと、不良品であることを示すグループとを含む、
付記１乃至４の何れか一項に記載の判別システム（１）。
（付記６）
前記複数のサブグループは、不良品の種類に基づく複数のサブグループを含む、
付記５に記載の判別システム（１）。
（付記７）
入力データを、当該入力データが有する特徴量に基づいて、複数のグループのうち、いずれかのグループに分類する第１判別器を含む主判別部（１１０）と、
前記複数のグループのうち、特定のグループに分類される入力データと、当該特定のグループを細分化する複数のサブグループのうちの特定のサブグループの情報とを対応付けた第２学習データを生成する生成部（１１８）と、
前記第２学習データを用いて学習させることにより、前記特定のグループに分類される入力データを、当該入力データが有する特徴量に基づいて、前記複数のサブグループのうち、いずれかのサブグループに分類するよう生成された第２判別器を用いて、前記第１判別器により特定のグループに分類された入力データに対して、当該入力データを、複数のサブグループのうち、いずれかのサブグループに分類する生成する副判別部（１１２）と、
を備える判別装置（１０）。
（付記８）
入力データに、当該入力データが分類されるグループを対応付けた、第１学習データを記憶する第１記憶部（２１１）と、
前記第１学習データを用いて学習させることにより、入力データを複数のグループのうち、いずれかのグループに分類する第１判別器を生成する第１学習部（２１０）と、
前記複数のグループのうち、特定のグループに分類される入力データと、当該特定のグループを細分化する複数のサブグループのうちの特定のサブグループの情報とを対応付けた第２学習データを記憶する第２記憶部（２２１）と、
前記第２学習データを用いて学習させることにより、前記特定のグループに分類される入力データを、当該入力データが有する特徴量に基づいて、前記複数のサブグループのうち、いずれかのサブグループに分類する第２判別器を生成する第２学習部（２２０）と、
を備える学習装置（２０）。
（付記９）
コンピュータ（８００）が、
入力データを、当該入力データが有する特徴量に基づいて、複数のグループのうち、いずれかのグループに分類する第１判別器を含むステップと、
前記複数のグループのうち、特定のグループに分類される入力データと、当該特定のグループを細分化する複数のサブグループのうちの特定のサブグループの情報とを対応付けた第２学習データを生成するステップと、
前記第２学習データを用いて学習させることにより、前記特定のグループに分類される入力データを、当該入力データが有する特徴量に基づいて、前記複数のサブグループのうち、いずれかのサブグループに分類する第２判別器を生成するステップと、
を実行する判別方法。
（付記１０）
コンピュータ（８００）を、
入力データを、当該入力データが有する特徴量に基づいて、複数のグループのうち、いずれかのグループに分類する第１判別器を含む手段、
前記複数のグループのうち、特定のグループに分類される入力データと、当該特定のグループを細分化する複数のサブグループのうちの特定のサブグループの情報とを対応付けた第２学習データを生成する手段、及び
前記第２学習データを用いて学習させることにより、前記特定のグループに分類される入力データを、当該入力データが有する特徴量に基づいて、前記複数のサブグループのうち、いずれかのサブグループに分類する第２判別器を生成する手段と、
して機能させるプログラム。
（付記１１）
前記生成部は、
前記複数のグループのうち、特定のグループに分類された複数の入力データを、当該複数の入力データの特徴量の類似度に基づいて分類して前記特定のサブグループを生成する、
付記１に記載の判別システム。
（付記１２）
付記１に記載の判別システムを用いた不良品検査システムであって、
前記入力データとして、被検査対象物の画像データを適用し、
前記複数のグループは、前記被検査対象物が良品であることを示す良品グループと、不良品であることを示す不良品グループとを含み、
前記特定のグループは、前記不良品グループであり、
前記サブグループは、不良品の種類に基づいて、前記不良品グループを細分化したものである、
不良品検査システム。
（付記１３）
付記１に記載の判別システムを用いた故障判定システムであって、
前記入力データとして、装置の稼働状態を示す稼働状態データを適用し、
前記複数のグループは、前記装置の稼働状態が正常であることを示す正常グループと、前記装置の稼働状態に異常であることを示す異常グループとを含み、
前記特定のグループは、前記異常グループであり、
前記サブグループは、稼働状態の特徴量の種類に基づいて、前記異常グループを細分化したものである、
故障判定システム。
(Appendix 1)
A discriminator (110, 112) including a first discriminator that classifies input data into one of a plurality of groups based on a feature amount of the input data;
Generating second learning data in which input data classified into a specific group among the plurality of groups and information on a specific subgroup among a plurality of subgroups subdividing the specific group are associated with each other A generating unit (118) to perform,
By learning using the second learning data, input data classified into the specific group is assigned to any one of the plurality of subgroups based on the feature amount of the input data. A learning unit (210, 220) for generating a second classifier to be classified;
A discrimination system (1) comprising:
(Appendix 2)
The learning unit (210, 220) provides a second discriminator generated by learning to the discrimination unit (110, 112),
The discriminator (110, 112) applies the second discriminator to the input data classified into a specific group by the first discriminator, and the input data is divided into a plurality of subgroups. Classify into one of the subgroups,
The discrimination system (1) according to appendix 1.
(Appendix 3)
A storage unit (212) for storing first learning data in which input data is associated with a group into which the input data is classified;
The learning unit (210, 220) generates and generates a first discriminator that classifies input data into any one of the plurality of groups by learning using the first learning data. Providing the first discriminator to the discriminator (110, 112);
The discrimination system (1) according to appendix 1 or 2.
(Appendix 4)
The generation unit (118) includes: input data classified into a specific subgroup among the plurality of subgroups; and a specific small group among a plurality of small groups that further subdivide the specific subgroup. Further generating third learning data associated with the information,
The learning unit (210, 220) learns the input data classified into the specific subgroup by learning using the third learning data, based on the feature amount of the input data. Generating a third discriminator for classifying into any one of the small groups, and further providing the generated third discriminator to the discrimination unit (110, 112);
The discrimination system (1) according to any one of appendices 1 to 3.
(Appendix 5)
The input data includes image data of an object to be inspected,
The plurality of groups include a group indicating that the object to be inspected is a non-defective product and a group indicating a defective product.
The discrimination system (1) according to any one of appendices 1 to 4.
(Appendix 6)
The plurality of subgroups includes a plurality of subgroups based on the type of defective product.
The discrimination system (1) according to appendix 5.
(Appendix 7)
A main discriminating unit (110) including a first discriminator that classifies input data into one of a plurality of groups based on a feature amount of the input data;
Generating second learning data in which input data classified into a specific group among the plurality of groups and information on a specific subgroup among a plurality of subgroups subdividing the specific group are associated with each other A generating unit (118) to perform,
By learning using the second learning data, input data classified into the specific group is assigned to any one of the plurality of subgroups based on the feature amount of the input data. Using the second discriminator generated to classify, for the input data classified into a specific group by the first discriminator, the input data is selected from any one of a plurality of subgroups. A sub-discriminating unit (112) that generates and classifies
A discrimination device (10) comprising:
(Appendix 8)
A first storage unit (211) that stores first learning data in which input data is associated with a group into which the input data is classified;
A first learning unit (210) that generates a first discriminator that classifies input data into one of a plurality of groups by learning using the first learning data;
Second learning data in which input data classified into a specific group among the plurality of groups and information on a specific subgroup among a plurality of subgroups subdividing the specific group are stored is stored. A second storage unit (221) to perform,
By learning using the second learning data, input data classified into the specific group is assigned to any one of the plurality of subgroups based on the feature amount of the input data. A second learning unit (220) for generating a second classifier to be classified;
A learning device (20) comprising:
(Appendix 9)
Computer (800)
Including a first discriminator that classifies input data into one of a plurality of groups based on a feature amount of the input data;
Generating second learning data in which input data classified into a specific group among the plurality of groups and information on a specific subgroup among a plurality of subgroups subdividing the specific group are associated with each other And steps to
By learning using the second learning data, input data classified into the specific group is assigned to any one of the plurality of subgroups based on the feature amount of the input data. Generating a second classifier for classification;
How to determine
(Appendix 10)
Computer (800)
Means including a first discriminator for classifying input data into one of a plurality of groups based on a feature amount of the input data;
Generating second learning data in which input data classified into a specific group among the plurality of groups and information on a specific subgroup among a plurality of subgroups subdividing the specific group are associated with each other Means for learning using the second learning data, and input data classified into the specific group is selected from among the plurality of subgroups based on the feature quantity of the input data. Means for generating a second discriminator for classifying into subgroups of
Program to make it work.
(Appendix 11)
The generator is
Of the plurality of groups, a plurality of input data classified into a specific group is classified based on the similarity of the feature quantities of the plurality of input data to generate the specific subgroup,
The discrimination system according to appendix 1.
(Appendix 12)
A defective product inspection system using the discrimination system described in Appendix 1,
As the input data, image data of the inspection object is applied,
The plurality of groups include a non-defective product group indicating that the object to be inspected is a non-defective product, and a defective product group indicating that the target object is a defective product,
The specific group is the defective product group,
The subgroup is a subdivision of the defective product group based on the type of defective product.
Defective product inspection system.
(Appendix 13)
A failure determination system using the determination system according to attachment 1,
As the input data, applying operating state data indicating the operating state of the device,
The plurality of groups includes a normal group indicating that the operating state of the device is normal, and an abnormal group indicating that the operating state of the device is abnormal,
The specific group is the abnormal group;
The subgroup is a subdivision of the abnormal group based on the type of feature quantity in the operating state.
Failure judgment system.
１ 判別システム
２ ベルトコンベア
４ ワーク
６ 撮像視野
８ 上位ネットワーク
１０ 判別装置
２０ 学習装置
３０ 撮像装置
８０ データベース装置
１０４ ディスプレイ
１１０ 主判別部
１１２ 副判別部
１１４ 表示部
１１６ 入力部
１１８ 生成部
２１０ 主判別器学習部
２２０ 副判別器学習部
８００ コンピュータ
８０１ プロセッサ
８０３ メモリ
８０５ 記憶装置
８１３ 表示装置
1 Discriminating System 2 Belt Conveyor 4 Work 6 Imaging Field of View 8 Upper Network 10 Discriminating Device 20 Learning Device 30 Imaging Device 80 Database Device 104 Display 110 Main Discriminating Unit 112 Sub Discriminating Unit 114 Display Unit 116 Input Unit 118 Generating Unit 210 Main Discriminator Learning Unit 220 Sub-classifier learning unit 800 Computer 801 Processor 803 Memory 805 Storage device 813 Display device
Claims (13)
前記複数のグループのうち、特定のグループに分類される入力データと、当該特定のグループを細分化する複数のサブグループのうちの特定のサブグループの情報とを対応付けた第２学習データを生成する生成部と、
前記第２学習データを用いて学習させることにより、前記特定のグループに分類される入力データを、当該入力データが有する特徴量に基づいて、前記複数のサブグループのうち、いずれかのサブグループに分類する第２判別器を生成する学習部と、
を備える判別システム。 A discriminator including a first discriminator that classifies input data into one of a plurality of groups based on a feature amount of the input data;
Generating second learning data in which input data classified into a specific group among the plurality of groups and information on a specific subgroup among a plurality of subgroups subdividing the specific group are associated with each other A generator to
By learning using the second learning data, input data classified into the specific group is assigned to any one of the plurality of subgroups based on the feature amount of the input data. A learning unit for generating a second classifier to be classified;
A discrimination system comprising:
前記判別部は、前記第１判別器により特定のグループに分類された入力データに対して前記第２判別器を適用して、当該入力データを、複数のサブグループのうち、いずれかのサブグループに分類する、
請求項１記載の判別システム。 The learning unit provides the determination unit with a second classifier generated by learning,
The discriminating unit applies the second discriminator to input data classified into a specific group by the first discriminator, and the input data is selected from any one of a plurality of subgroups. Classify
The discrimination system according to claim 1.
前記学習部は、前記第１学習データを用いて学習させることにより、入力データを前記複数のグループのうち、いずれかのグループに分類する第１判別器を生成し、生成した前記第１判別器を前記判別部に提供する、
請求項１又は２に記載の判別システム。 A storage unit for storing first learning data in which input data is associated with a group into which the input data is classified;
The learning unit generates a first discriminator that classifies input data into one of the plurality of groups by learning using the first learning data, and the generated first discriminator Is provided to the determination unit,
The discrimination system according to claim 1 or 2.
前記学習部は、前記第３学習データを用いて学習させることにより、前記特定のサブグループに分類される入力データを、当該入力データが有する特徴量に基づいて、前記複数の小グループのうち、いずれかの小グループに分類する第３判別器を生成し、生成した第３判別器を前記判別部にさらに提供する、
請求項１乃至３の何れか一項に記載の判別システム。 The generation unit includes: input data classified into a specific subgroup among the plurality of subgroups; and information on a specific small group among the plurality of small groups that further subdivide the specific subgroup. Further generating associated third learning data,
The learning unit learns the input data classified into the specific subgroup by learning using the third learning data, based on the feature amount of the input data, among the plurality of small groups. Generating a third discriminator for classifying into any one of the small groups, and further providing the generated third discriminator to the discrimination unit;
The discrimination system according to any one of claims 1 to 3.
前記複数のグループは、前記被検査対象物が良品であることを示すグループと、不良品であることを示すグループとを含む、
請求項１乃至４の何れか一項に記載の判別システム。 The input data includes image data of an object to be inspected,
The plurality of groups include a group indicating that the object to be inspected is a non-defective product and a group indicating a defective product.
The discrimination system according to any one of claims 1 to 4.
請求項５に記載の判別システム。 The plurality of subgroups includes a plurality of subgroups based on the type of defective product.
The discrimination system according to claim 5.
前記複数のグループのうち、特定のグループに分類された複数の入力データを、当該複数の入力データの特徴量の類似度に基づいて分類して前記特定のサブグループを生成する、
請求項１に記載の判別システム。 The generator is
Of the plurality of groups, a plurality of input data classified into a specific group is classified based on the similarity of the feature quantities of the plurality of input data to generate the specific subgroup,
The discrimination system according to claim 1.
前記入力データとして、被検査対象物の画像データを適用し、
前記複数のグループは、前記被検査対象物が良品であることを示す良品グループと、不良品であることを示す不良品グループとを含み、
前記特定のグループは、前記不良品グループであり、
前記サブグループは、不良品の種類に基づいて、前記不良品グループを細分化したものである、
不良品検査システム。 A defective product inspection system using the discrimination system according to claim 1,
As the input data, image data of the inspection object is applied,
The plurality of groups include a non-defective product group indicating that the object to be inspected is a non-defective product, and a defective product group indicating that the target object is a defective product,
The specific group is the defective product group,
The subgroup is a subdivision of the defective product group based on the type of defective product.
Defective product inspection system.
前記入力データとして、装置の稼働状態を示す稼働状態データを適用し、
前記複数のグループは、前記装置の稼働状態が正常であることを示す正常グループと、前記装置の稼働状態に異常であることを示す異常グループとを含み、
前記特定のグループは、前記異常グループであり、
前記サブグループは、稼働状態の特徴量の種類に基づいて、前記異常グループを細分化したものである、
故障判定システム。 A failure determination system using the determination system according to claim 1,
As the input data, applying operating state data indicating the operating state of the device,
The plurality of groups includes a normal group indicating that the operating state of the device is normal, and an abnormal group indicating that the operating state of the device is abnormal,
The specific group is the abnormal group;
The subgroup is a subdivision of the abnormal group based on the type of feature quantity in the operating state.
Failure judgment system.
前記複数のグループのうち、特定のグループに分類される入力データと、当該特定のグループを細分化する複数のサブグループのうちの特定のサブグループの情報とを対応付けた第２学習データを生成する生成部と、
前記第２学習データを用いて学習させることにより、前記特定のグループに分類される入力データを、当該入力データが有する特徴量に基づいて、前記複数のサブグループのうち、いずれかのサブグループに分類するよう生成された第２判別器を用いて、前記第１判別器により特定のグループに分類された入力データに対して、当該入力データを、複数のサブグループのうち、いずれかのサブグループに分類する副判別部と、
を備える判別装置。 A main discriminator including a first discriminator that classifies input data into one of a plurality of groups based on a feature amount of the input data;
Generating second learning data in which input data classified into a specific group among the plurality of groups and information on a specific subgroup among a plurality of subgroups subdividing the specific group are associated with each other A generator to
By learning using the second learning data, input data classified into the specific group is assigned to any one of the plurality of subgroups based on the feature amount of the input data. Using the second discriminator generated to classify, for the input data classified into a specific group by the first discriminator, the input data is selected from any one of a plurality of subgroups. A sub-discriminating unit for classifying into
A discrimination device comprising:
前記第１学習データを用いて学習させることにより、入力データを複数のグループのうち、いずれかのグループに分類する第１判別器を生成する第１学習部と、
前記複数のグループのうち、特定のグループに分類される入力データと、当該特定のグループを細分化する複数のサブグループのうちの特定のサブグループの情報とを対応付けた第２学習データを記憶する第２記憶部と、
前記第２学習データを用いて学習させることにより、前記特定のグループに分類される入力データを、当該入力データが有する特徴量に基づいて、前記複数のサブグループのうち、いずれかのサブグループに分類する第２判別器を生成する第２学習部と、
を備える学習装置。 A first storage unit that stores first learning data in which input data is associated with a group into which the input data is classified;
A first learning unit that generates a first discriminator that classifies input data into one of a plurality of groups by learning using the first learning data;
Second learning data in which input data classified into a specific group among the plurality of groups and information on a specific subgroup among a plurality of subgroups subdividing the specific group are stored is stored. A second storage unit,
By learning using the second learning data, input data classified into the specific group is assigned to any one of the plurality of subgroups based on the feature amount of the input data. A second learning unit that generates a second classifier to be classified;
A learning apparatus comprising:
入力データを、当該入力データが有する特徴量に基づいて、複数のグループのうち、いずれかのグループに分類する第１判別器を含むステップと、
前記複数のグループのうち、特定のグループに分類される入力データと、当該特定のグループを細分化する複数のサブグループのうちの特定のサブグループの情報とを対応付けた第２学習データを生成するステップと、
前記第２学習データを用いて学習させることにより、前記特定のグループに分類される入力データを、当該入力データが有する特徴量に基づいて、前記複数のサブグループのうち、いずれかのサブグループに分類する第２判別器を生成するステップと、
を実行する判別方法。 Computer
Including a first discriminator that classifies input data into one of a plurality of groups based on a feature amount of the input data;
Generating second learning data in which input data classified into a specific group among the plurality of groups and information on a specific subgroup among a plurality of subgroups subdividing the specific group are associated with each other And steps to
By learning using the second learning data, input data classified into the specific group is assigned to any one of the plurality of subgroups based on the feature amount of the input data. Generating a second classifier for classification;
How to determine
入力データを、当該入力データが有する特徴量に基づいて、複数のグループのうち、いずれかのグループに分類する第１判別器を含む手段、
前記複数のグループのうち、特定のグループに分類される入力データと、当該特定のグループを細分化する複数のサブグループのうちの特定のサブグループの情報とを対応付けた第２学習データを生成する手段、及び
前記第２学習データを用いて学習させることにより、前記特定のグループに分類される入力データを、当該入力データが有する特徴量に基づいて、前記複数のサブグループのうち、いずれかのサブグループに分類する第２判別器を生成する手段と、
して機能させるプログラム。 Computer
Means including a first discriminator for classifying input data into one of a plurality of groups based on a feature amount of the input data;
Generating second learning data in which input data classified into a specific group among the plurality of groups and information on a specific subgroup among a plurality of subgroups subdividing the specific group are associated with each other Means for learning using the second learning data, and input data classified into the specific group is selected from among the plurality of subgroups based on the feature quantity of the input data. Means for generating a second discriminator for classifying into subgroups of
Program to make it work.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018045293A JP6997964B2 (en) | 2018-03-13 | 2018-03-13 | Discrimination system, discriminator, learning device, discriminant method and program |
| PCT/JP2019/009074 WO2019176720A1 (en) | 2018-03-13 | 2019-03-07 | Discrimination system, discrimination device, learning device, discrimination method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018045293A JP6997964B2 (en) | 2018-03-13 | 2018-03-13 | Discrimination system, discriminator, learning device, discriminant method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019159770A true JP2019159770A (en) | 2019-09-19 |
| JP6997964B2 JP6997964B2 (en) | 2022-02-04 |
Family
ID=67907753
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018045293A Active JP6997964B2 (en) | 2018-03-13 | 2018-03-13 | Discrimination system, discriminator, learning device, discriminant method and program |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6997964B2 (en) |
| WO (1) | WO2019176720A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023176445A1 (en) * | 2022-03-16 | 2023-09-21 | グローリー株式会社 | Information processing device and information processing method |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110763705A (en) * | 2019-10-30 | 2020-02-07 | 艾偲睿科技(厦门)有限责任公司 | Deep learning identification method and system based on X-ray image and X-ray machine |
| US11989226B2 (en) * | 2020-01-08 | 2024-05-21 | Panasonic Intellectual Property Management Co., Ltd. | Classification system and classification method using lerned model and model including data distribution |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11296496A (en) * | 1998-04-09 | 1999-10-29 | Hitachi Ltd | Pattern recognition device |
| JP2001135692A (en) * | 1999-06-15 | 2001-05-18 | Applied Materials Inc | Adaptive hybrid automatic defect classifying method |
| JP2002014054A (en) * | 2000-06-28 | 2002-01-18 | Hitachi Ltd | Equipment and method for inspection |
| JP2004294360A (en) * | 2003-03-28 | 2004-10-21 | Hitachi High-Technologies Corp | Method and apparatus for classifying defects |
| JP2011048481A (en) * | 2009-08-25 | 2011-03-10 | Fuji Xerox Co Ltd | Image processing apparatus and program |
-
2018
- 2018-03-13 JP JP2018045293A patent/JP6997964B2/en active Active
-
2019
- 2019-03-07 WO PCT/JP2019/009074 patent/WO2019176720A1/en active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11296496A (en) * | 1998-04-09 | 1999-10-29 | Hitachi Ltd | Pattern recognition device |
| JP2001135692A (en) * | 1999-06-15 | 2001-05-18 | Applied Materials Inc | Adaptive hybrid automatic defect classifying method |
| JP2002014054A (en) * | 2000-06-28 | 2002-01-18 | Hitachi Ltd | Equipment and method for inspection |
| JP2004294360A (en) * | 2003-03-28 | 2004-10-21 | Hitachi High-Technologies Corp | Method and apparatus for classifying defects |
| JP2011048481A (en) * | 2009-08-25 | 2011-03-10 | Fuji Xerox Co Ltd | Image processing apparatus and program |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023176445A1 (en) * | 2022-03-16 | 2023-09-21 | グローリー株式会社 | Information processing device and information processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019176720A1 (en) | 2019-09-19 |
| JP6997964B2 (en) | 2022-02-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3499418B1 (en) | Information processing apparatus, identification system, setting method, and program | |
| WO2023071217A1 (en) | Multi-working-condition process industrial fault detection and diagnosis method based on deep transfer learning | |
| EP3502966B1 (en) | Data generation apparatus, data generation method, and data generation program | |
| EP3800588A1 (en) | System and method using knowledge distillation for training a machine learning classifier | |
| WO2019176720A1 (en) | Discrimination system, discrimination device, learning device, discrimination method and program | |
| US9384603B2 (en) | Failure cause classification apparatus | |
| US20180060702A1 (en) | Learning Based Defect Classification | |
| KR20190075707A (en) | Method for sorting products using deep learning | |
| JP2018119924A (en) | Diagnostic device | |
| CN107944563B (en) | Machine learning device and machine learning method | |
| US20190130555A1 (en) | Automated optical inspection (aoi) image classification method, system and computer-readable media | |
| JP2015041164A (en) | Image processor, image processing method and program | |
| JP2019106119A (en) | Detection system, information processing apparatus, evaluation method, and program | |
| JP7434829B2 (en) | Model generation device, estimation device, model generation method, and model generation program | |
| CN115668286A (en) | Method and system for training automatic defect classification detection instrument | |
| WO2022003011A1 (en) | Providing an alarm relating to anomaly scores assigned to input data method and system | |
| CN113597618A (en) | Inference calculation device, model training device, and inference calculation system | |
| Gopalakrishnan et al. | IIoT Framework Based ML Model to Improve Automobile Industry Product. | |
| JP4631809B2 (en) | Defect classification system, image forming apparatus, and defect classification program | |
| JP2021033564A (en) | Image classification method, image classification device and image classification program | |
| KR102437701B1 (en) | Method for estimating condition of elevator | |
| JP7322560B2 (en) | Program, information processing method and information processing apparatus | |
| TW202147051A (en) | Systems, methods, and media for manufacturing processes | |
| JP2021060939A (en) | Information processing apparatus and program | |
| US9928446B2 (en) | Augmented automatic defect classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200310 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210329 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210512 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210729 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210914 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211119 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211202 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6997964 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |