WO2021210413A1 - 判別対象の分類方法、これに用いるプログラム、および、判別装置 - Google Patents
判別対象の分類方法、これに用いるプログラム、および、判別装置 Download PDFInfo
- Publication number
- WO2021210413A1 WO2021210413A1 PCT/JP2021/014130 JP2021014130W WO2021210413A1 WO 2021210413 A1 WO2021210413 A1 WO 2021210413A1 JP 2021014130 W JP2021014130 W JP 2021014130W WO 2021210413 A1 WO2021210413 A1 WO 2021210413A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- feature
- multidimensional
- multidimensional feature
- feature vector
- discrimination
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Definitions
- the present invention relates to a method for classifying discriminating objects, a program used for the classification method, and a discriminating device.
- Patent Document 1 uses a convolutional neural network to perform a calculation by a convolutional layer on an image to be discriminated, and features from the first fully connected layer after the calculation of the convolutional layer is completed.
- a method of extracting a quantity (multidimensional feature vector), executing a multivariate analysis using the extracted multidimensional feature vector, and classifying the discrimination target based on the result of the multivariate analysis is described.
- the multidimensional feature vector extracted from the first fully connected layer after the calculation of the convolution layer is completed is not always effective as a feature quantity used for classification of the discrimination target, and in terms of improving the classification accuracy, it is still possible. There is room for improvement.
- the present invention has been made in view of the above, and one of the objects of the present invention is to provide a technique that contributes to improvement of classification accuracy.
- the classification method of the discrimination target (a) the data of the discrimination target is acquired, and (b) a feature extractor using a neural network including deep learning is used to obtain the data of the discrimination target. A one-dimensional feature vector is extracted, and (c) the extracted first multidimensional feature vector is subjected to a second multidimensional lower dimension than the first multidimensional feature vector by a feature converter using a plurality of fully connected layers. It is converted into a feature vector, and (d) based on the converted second multidimensional feature vector, the discrimination target is classified by a classifier using statistical machine learning.
- the "data to be discriminated” in the present invention typically corresponds to the image data to be discriminated, and the image data to be discriminated literally corresponds to this, but has been learned. In the learning stage of the model, it is a concept that includes sample data with a teacher signal.
- the "statistical machine learning device” in the present invention refers to machine learning other than machine learning using a neural network including deep learning, such as gradient boosting, support vector machine, random forest, neural network, and Gaussian normalization. , Sansamble inspection, etc. correspond to this.
- the classification of the discrimination target is accurate. It can be realized well. It should be noted that a feature extractor for extracting the first multidimensional feature vector, which is a variety of feature quantities of the data to be discriminated, and a plurality of full couplings for converting the first multidimensional feature vector into a low-dimensional second multidimensional feature vector. Since the feature converter using the layer and the classifier that classifies the discrimination target based on the second multidimensional feature vector converted by the feature converter have different configurations, it is necessary to improve the classification accuracy of the discrimination target.
- Learning of feature extractors and feature converters and learning of classifiers can be performed separately. That is, when the cause of the low classification accuracy is the low feature extraction / conversion accuracy by the feature extractor and the feature converter, the feature extractor and the feature converter are trained and the classification accuracy by the classifier is performed. If it is caused by the low level, only the classifier can be trained, and the classification accuracy can be improved efficiently.
- a program for classifying the discrimination target is configured.
- the program is for causing one or a plurality of computers to execute each step of the classification method of the discrimination target according to the present invention in any of the above-described aspects.
- the program may be recorded on a computer-readable recording medium such as a hard disk, ROM, SSD, flash memory (USB memory, SD card, etc.), floppy disk, CD, DVD, or a transmission medium.
- a computer-readable recording medium such as a hard disk, ROM, SSD, flash memory (USB memory, SD card, etc.), floppy disk, CD, DVD, or a transmission medium.
- a communication network such as the Internet or LAN, or may be exchanged in any other manner.
- each step of the discrimination target classification method according to the present invention in any of the above-described embodiments. Is executed, so that the same action and effect as the above-described method for classifying the discrimination target according to the present invention, for example, the effect that the classification of the discrimination target can be accurately realized can be obtained.
- a data acquisition unit for acquiring data to be discriminated and a neural network including deep learning for extracting a first multidimensional feature vector from the acquired data to be discriminated are used.
- a feature extractor and a plurality of fully connected layers that convert the first multidimensional feature vector extracted by the feature extractor into a second multidimensional feature vector having a lower dimension than the first multidimensional feature vector are used. It includes a feature converter and a classifier using statistical machine learning that classifies discrimination targets using a second multidimensional feature vector.
- the "data to be discriminated" in the present invention typically corresponds to the image data to be discriminated, and the image data to be discriminated literally corresponds to this, but feature extraction.
- the "statistical machine learning device" in the present invention refers to machine learning other than machine learning using a neural network including deep learning, such as gradient boosting, support vector machine, random forest, neural network, and Gaussian normalization. , Sansamble inspection, etc. correspond to this.
- the classification of the discrimination target is accurate. It can be realized well.
- a feature extractor that extracts the first multidimensional feature vector, which is a variety of feature quantities of the data to be discriminated, and a plurality of all that convert the first multidimensional feature vector into a low-dimensional second multidimensional feature vector. Since the feature converter using the coupling layer and the classifier that classifies the discrimination target based on the second multidimensional feature vector converted by the feature converter have different configurations, the classification accuracy of the discrimination target is improved.
- the learning of the feature extractor and the feature converter, and the learning of the classifier can be carried out separately. That is, when the cause of the low classification accuracy is the low feature extraction accuracy by the feature extractor and the feature converter, the feature extractor and the feature converter are trained and the classification accuracy by the classifier is low. If this is the case, only the classifier can be trained, and the classification accuracy can be improved efficiently.
- a storage unit that stores the second multidimensional feature vector and a distance value between each of the plurality of second multidimensional feature vectors stored in the storage unit are stored. It also has a calculation department for calculation. Then, in the learning stage, the feature extractor and the feature converter learn by using the error backpropagation method and the gradient descent method based on the distance value calculated by the calculation unit.
- the classification of the discrimination target is effective, and the classification of the discrimination target is performed using the second multidimensional feature vector extracted and converted in the learning stage of the feature extractor and the feature converter. Therefore, the classification accuracy is correct. Can be further improved.
- the classification accuracy can be improved.
- the computer 1 that functions as the discrimination device according to the present embodiment is configured as a microprocessor centered on the CPU 2, and has a ROM 4 that stores various processing programs and temporarily stores data.
- RAM 6, GPU 8 that performs calculation processing and matrix calculation processing necessary for performing image processing hard disk (HDD) 10, which is a large-capacity memory that stores various data including various application programs (simply called applications) and image data, It is provided with an input / output interface (I / F) 12 for inputting / outputting data to / from an external device such as a camera 70.
- I / F input / output interface
- the computer 1 as the discrimination device according to the present embodiment will be described as a device that discriminates whether the discrimination target is an OK product or an NG product.
- the computer 1 is an example of an implementation configuration corresponding to the "discrimination device" in the present invention.
- the computer 1 is provided with an input device 14 such as a keyboard and a mouse for which a user inputs various commands, a display 60 for displaying various information, and the like.
- the CPU 2, ROM 4, RAM 6, GPU 8, HDD 10, I / F 12, input device 14, display 60, and the like are electrically connected by a bus 80 so that various control signals and data can be exchanged with each other.
- the computer 1 has a function of executing an operation corresponding to the input operation when the user inputs the cursor or the like displayed on the display 60 via the input device 14. Further, the computer 1 functions as a discrimination device according to the present embodiment by executing various processes by an application stored in the HDD 10, specifically, a discrimination application that executes the discrimination processing of the discrimination target. .. In the present embodiment, the discriminating device is configured to be feasible by the computer 1, but it may be realized as a dedicated device.
- the computer 1 includes the above-mentioned hardware resources such as CPU2, ROM4, RAM6, GPU8, HDD10, I / F12, input device 14, and display 60, a discrimination application, and the present embodiment.
- Image display control unit 20, image acquisition unit 22, area designation unit 24, feature extractor 26, feature converter 27, classifier 28, distance calculation in collaboration with software such as the visualization program related to The device 29, the two-dimensional graphed data generation unit 30, the storage unit 33, and the like are configured as functional blocks. In other words, each of these parts (image display control unit 20, image acquisition unit 22, area designation unit 24, feature extractor 26, feature converter 27, classifier 28, distance calculator 29, two-dimensional graphing data generation unit).
- the feature extractor 26, the feature converter 27, and the display 60 are examples of an implementation configuration corresponding to the “visualization device” in the present invention.
- the image display control unit 20 displays a predetermined window 62 on the screen 61 of the display 60 as shown in FIG. Further, the image display control unit 20 teaches based on the sample image data 34a with a teacher signal (see FIG. 2) selected by the user inputting the cursor or the like displayed on the display 60 via the input device 14.
- a sample image with a signal is displayed on the window 62
- a discrimination target image is displayed on the window 62 based on the discrimination target image data 34b (see FIG. 2) acquired by the image acquisition unit 22, and the area designation unit 24 is displayed.
- the designated area image is displayed on the window 62 based on the designated area image data 34c (see FIG. 2) acquired by.
- the image display control unit 20 displays a two-dimensional graph on the window 62 based on the model two-dimensional graphed data 36a (see FIG. 2) stored in the storage unit 33, or generates two-dimensional graphed data.
- the discrimination two-dimensional graph is displayed on the window 62 based on the discrimination two-dimensional graphing data 36b generated by the unit 30. Further, the image display control unit 20 displays the discrimination result by the classifier 28 in the window 62.
- the sample image with a teacher signal is an image used for learning the feature extractor 26 and the feature converter 27.
- the discrimination target image typically corresponds to an image of a target whose classification (OK product or NG product) is unknown, but verification and learning of the learning results of the feature extractor 26 and the feature converter 27
- it preferably includes an image of a target whose classification (OK product or NG product) is known, for example, a sample image with a teacher signal arbitrarily selected by the user from a plurality of sample images with a teacher signal.
- the image acquisition unit 22 acquires sample image data 34a with a teacher signal and image data 34b to be discriminated taken by the camera 70 (see FIG. 1), and uses these acquired image data as the image display control unit 20 and the feature extractor 26. , Supply to the storage unit 33 and the like.
- the area designation unit 24 is used when an arbitrary area of the sample image with a teacher signal or the image to be discriminated displayed on the window 62 is clicked or dragged by an input operation via the user's input device 14.
- 34c of the image data (hereinafter referred to as “designated area image data”) 34c is acquired, and the acquired designated area image data 34c (see FIG. 2) is supplied to the image display control unit 20, the feature extractor 26, the storage unit 33, and the like. ..
- the feature extractor 26 extracts the first multidimensional feature vectors 90a, 90b, 90c from the plurality of sample image data 34a with teacher signals, the discriminant target image data 34b, and the designated area image data 34c, and extracts the first multidimensional.
- the feature vectors 90a, 90b, 90c are supplied to the feature converter 27.
- the feature extractor 26 is configured to use a convolutional neural network (CNN) as shown in FIGS. 3 and 4.
- CNN convolutional neural network
- the first multidimensional feature vectors 90a, 90b, and 90c are examples of implementation configurations corresponding to the "first multidimensional feature vector" in the present invention, respectively.
- a plurality of sample image data 34a with teacher signals and discrimination targets are used using a predetermined filter (not shown).
- the so-called convolution process for extracting the features of the image data 34a, 34b, 34c from the image data 34b and the designated area image data 34c without losing the features is performed a plurality of times, and then flattened into a column vector.
- the feature converter 27 has a plurality of fully connected layers 27a and 27b, and the first multidimensional extracted by the feature extractor 26 using the fully connected layers 27a and 27b.
- the process of lowering the dimension of the feature vectors 90a, 90b, 90c is executed.
- the first multidimensional feature vectors 90a, 90b, 90c are converted into the first multidimensional feature vectors 90a, 90b, 90c by Fully Connected processing, and the second multidimensional feature vectors 92a, which are lower in dimension than the first multidimensional feature vectors 90a, 90b, 90c, It is converted into 92b and 92c and supplied to the classifier 28, the distance calculator 29, the two-dimensional graphing data purification unit 30, and the storage unit 33.
- the first multidimensional feature vectors 90a, 90b, 90c are obtained from the first multidimensional feature vectors 90a, 90b, 90c by pooling processing such as Global max Polling or Global Average Polling instead of the Fully Connected processing. May be converted into low-dimensional second multidimensional feature vectors 92a, 92b, 92c.
- the second multidimensional feature vectors 92a, 92b, and 92c are stored in the storage unit 33, respectively.
- the second multidimensional feature vectors 92a, 92b, and 92c are examples of the implementation configurations corresponding to the "second multidimensional feature vector" in the present invention.
- the feature extractor 26 and the feature converter 27 include the first multidimensional feature vectors 90a, 90b, 90c and the second multidimensional feature vectors 92a, 92b, which can accurately discriminate the classification of the discrimination target. Learning is performed in advance so that 92c can be obtained, and the learned model 35 is stored in the storage unit 33. Twice
- the classifier 28 functions when discriminating the classification of the discriminating target.
- the classification of the discrimination target that is, whether the discrimination target is an OK product or an NG product, is based on the second multidimensional feature vectors 92a, 92b, 92c converted by the feature converter 27. Is determined, and the determination result is supplied to the image display control unit 20.
- the classification of the discrimination target is that the second multidimensional feature vectors 92a, 92b, 92c to be discriminated by the arithmetic parameters machine-learned using the second multidimensional feature vectors 92a, 92b, 92c are OK products.
- a one-dimensional numerical value indicating the degree of certainty is calculated, and if it is equal to or more than the set threshold value, it is classified as an OK product, and if it is less than the set threshold value, it is classified as an NG product.
- the classifier 28 is configured to use so-called statistical machine learning such as gradient boosting, support vector machine, random forest, neural network, Gaussian normalization, and ensemble inspection.
- the distance calculator 29 functions when generating the trained model 35, and when verifying the trained model 35 and improving the accuracy.
- the distance calculator 29 calculates the distance between the second multidimensional feature vectors 92a of the sample image data 34a with a plurality of teacher signals, and uses the calculated distance as the distance data 38. It is stored in the storage unit 33. The calculated distance is fed back to the feature extractor 26 and the feature converter 27 (see FIG. 4A).
- the distance calculator 29 uses the second multidimensional feature vector 92a of the sample image data 34a with a plurality of teacher signals, the discriminant image data 34b, and the designation. The distance between the second multidimensional feature vectors 92b and 92c of the area image data 34c is calculated, and the calculated distance is stored in the storage unit 33 as the distance data 38.
- the feedback to the feature extractor 26 and the feature converter 27 is the distance between the second multidimensional feature vectors 92a between the OK products and the second multidimensional feature vector 92a of the OK product and the NG product.
- the configuration was made by modifying the parameters of the vessel 27. In such parameter modification (learning of the feature extractor 26 and the feature converter 27), the second multidimensional feature vector 92a is visualized (two-dimensional graphing), and the trained model 35 (feature extractor 26 and the feature converter 27) is modified.
- the trained model 35 is generated and stored in the storage unit 33.
- the learning of the trained model 35 and the learning of the feature extractor 26 and the feature converter 27 are synonymous.
- deep metric learning is used for modifying the parameters of the feature extractor 26 and the feature converter 27. That is, the first multidimensional feature vector 90a is extracted by the feature extractor 26, and the extracted first multidimensional feature vector 90a is converted into the second multidimensional feature vector 92a by the feature converter 27, and the converted second multi.
- the two-dimensional graphing data generation unit 30 generates the model two-dimensional graphing data 36a based on the second multidimensional feature vector 92a of the plurality of sample image data 34a with teacher signals, and also generates the discrimination target image data 34b and Based on the second multidimensional feature vectors 92b and 92c of the designated area image data 34c, the discriminant two-dimensional graphed data 36b is generated.
- the two-dimensional graphing data 36a for the model and the two-dimensional graphing data 36b for discrimination are generated by using the second multidimensional feature vectors 92a, 92b, and 92c as a set of the feature quantities of the number of dimensions.
- the second multidimensional feature vectors 92a, 92b, 92c are n-dimensional column vectors (f 1 , f 2 , f 3 , ..., f n-1 , f n ), n feature quantities f.
- Data as a set of 1 , f 2 , f 3 , ..., f n-1 , f n , that is, as shown in FIG.
- the sample image data 34a with a plurality of teacher signals stored in the storage unit 33 by the user For the purpose of verifying the learning result of the trained model 35 (feature extractor 26 and feature converter 27) and improving the learning accuracy, the sample image data 34a with a plurality of teacher signals stored in the storage unit 33 by the user.
- the two-dimensional graphing data generation unit 30 has the arbitrary one teacher signal from the model two-dimensional graphed data 36a.
- a model generated based on the second multidimensional feature vector data 92a hereinafter referred to as "arbitrary second multidimensional feature vector 92a'" of the sample image data 34a (hereinafter referred to as "arbitrary sample image data 34a'").
- Two-dimensional graphing data 36a for use hereinafter, referred to as "selected two-dimensional graphing data 36a'" is extracted.
- the storage unit 33 is secured in at least one of the RAM 6 and the HDD 10, and is the sample image data 34a with a teacher signal taken by the camera 70 (see FIG. 1), the image data 34b to be discriminated, and the designation acquired by the area designation unit 24.
- the multidimensional feature vectors 92a, 92b, 92c and the distance data 38 calculated by the distance calculator 29 are stored.
- FIG. 6 is a main flowchart showing an example of the classification determination routine.
- the feature extractor 26 (trained feature extractor 26) using the trained model 35 performs the discrimination target image data 34b, the arbitrary sample image data 34a', or the designated area.
- Image data 34c is read (step S10), and a process of extracting the first multidimensional feature vectors 90a, 90b, 90c from the read discrimination target image data 34b, arbitrary sample image data 34a', or designated area image data 34c is executed. (Step S12).
- the feature converter 27 (trained feature converter 27) using the trained model 35 uses the first multidimensional feature vectors 90a, 90b, 90c extracted by the feature extractor 26 as the second multidimensional feature vector.
- the process of converting to 92a, 92b, 92c is executed (step S14).
- the classifier 28 uses the second multidimensional feature vectors 92a, 92b, 92c converted by the feature converter 27 to discriminate not only the image of the target whose classification is unknown but also the arbitrary sample image.
- the process of classifying the images (designated area images) of arbitrary areas of these images specified by the user is executed (step S16), and the discrimination result (OK product or NG product) according to the classification is output. (Step S18), this routine is terminated.
- the first multidimensional feature vectors 90a, 90b, 90c are converted into the second multidimensional feature vectors 92a, 92b, 92c by the feature converter 27 learned in advance using deep metric learning, and thus discriminated. It is possible to reduce the dimension without losing the features that are effective for classifying the object.
- the learning of the trained model 35 (feature extractor 26 and feature converter 27) using deep metric learning is visualized and the trained model 35 (feature extractor 26 and feature conversion) is performed.
- the second multidimensional feature vector 92a which is effective for classifying the discrimination target, is performed until the learning situation (individuality) of the vessel 27) is visually confirmed and the learning situation (individuality) becomes a desired state. It can be appropriately converted to 92b and 92c.
- FIG. 7A is an explanatory diagram showing a state in which the trained model 35 is in an appropriate learning situation (individuality), and FIG. 7B is a state in which the learning situation (individuality) of the trained model 35 is not appropriate.
- the reference numeral "Og” is a graph generated by the two-dimensional graphing data generation unit 30 based on the second multidimensional feature vector 92a of the sample image data 34a with a plurality of teacher signals of the OK product.
- the symbol “Ng” is a graph generated by the two-dimensional graphing data generation unit 30 based on the second multidimensional feature vector 92a of the sample image data 34a with a plurality of teacher signals of the NG product.
- 7 (a) and 7 (b) are one-dimensional numerical indexes such as a correct answer rate, a precision rate, and a recall rate that are generally used when evaluating the learning status (individuality) of the trained model 35. All are visualizations of the trained model 35 which is the same or has similar numerical indexes.
- the trained model 35 when the trained model 35 is in an appropriate learning situation (individuality), the two-dimensional graph Og for the model and the two-dimensional graph Ng for the model are displayed clearly separated, and the boundary is displayed.
- the second multidimensional feature vectors 92a, 92b, 92c, which are effective for classifying the discrimination target, are appropriate by using the feature converter 27 using the trained model 35, which is clarified and the learning situation (individuality) is appropriate. Can be obtained.
- the two-dimensional graph Og for the model and the two-dimensional graph Ng for the model are displayed close to each other, and the boundary becomes unclear. If the feature converter 27 using the trained model 35 whose situation (individuality) is not appropriate is used, the second multidimensional feature vectors 92a, 92b, 92c effective for classifying the discrimination target cannot be appropriately obtained.
- the trained model 35 By visualizing the learning status (individuality) of the trained model 35 in this way, it is possible to evaluate whether or not the trained model 35 is in a learning status (individuality) that can appropriately discriminate the classification of the discrimination target.
- An appropriate trained model 35 can be generated with a smaller amount of sample data than in the past. Then, by being able to generate an appropriate trained model 35, it is possible to widen the setting range of the threshold value appropriate for the classification of the discrimination target by the classifier 28. As a result, it is possible to suppress erroneous discrimination due to disturbance, for example, the influence of external light when acquiring an image to be discriminated, and it is possible to stably obtain an accurate discriminant result.
- the second multidimensional feature vector 92b to be discriminated in addition to the two-dimensional graphs Og and Ng for the model, the second multidimensional feature vector 92b to be discriminated and the second multidimensional feature of the region specified by the user. Since the state of the vector 92c is displayed as a two-dimensional graph Dg for discrimination, it is possible to visualize the discrimination status of the discrimination target and the classification of the designated area. As a result, it is possible to visually confirm the discrimination status of the discrimination target and the discrimination status of the portion of concern by the user (for example, when there is a scratch on the discrimination target, the scratch can be discriminated as NG.
- the learning of the feature extractor 26 and the feature converter 27, or the learning of the classifier 28 can be redone.
- the classifier 28 classifies the discrimination target using the second multidimensional feature vectors 92a, 92b, 92c having features effective for the classification of the discrimination target, the classification of the discrimination target can be realized with high accuracy.
- the classification of the discrimination target by the classifier 28 is performed by the second multidimensional of the discrimination target based on the calculation parameters machine-learned using the plurality of second multidimensional feature vectors 92a stored in the storage unit 33.
- a one-dimensional numerical value indicating the certainty that the feature vectors 92b and 92c are OK products is calculated and compared with the set threshold value.
- the classification of the discrimination target is performed.
- the cause of the erroneous determination can be easily identified, and the countermeasure can be appropriately taken.
- the shapes of the discriminant two-dimensional graph Dg and the selected two-dimensional graph Cg are separated from the model two-dimensional graph Ng, and it is determined that the product is NG despite the different shapes.
- the shapes of the discriminant two-dimensional graph Dg and the selected two-dimensional graph Cg are different from the model two-dimensional graph Og, and despite the different shapes, the product is OK.
- the two-dimensional graph Dg for discrimination is a graph generated by the two-dimensional graphing data generation unit 30 based on the second multidimensional feature vectors 92b and 92c of the discrimination target image data 34b and the designated area image data 34c. ..
- the selected two-dimensional graph Cg is a graph generated by the two-dimensional graphing data generation unit 30 based on the selected two-dimensional graphing data 36a'.
- the first sample image data 34a with a plurality of teacher signals, the discrimination target image data 34b, and the designated area image data 34c are used by using the trained feature extractor 26.
- the multidimensional feature vectors 90a, 90b, 90c are extracted, and the extracted first multidimensional feature vectors 90a, 90b, 90c are used with the trained feature converter 27 to obtain the first multidimensional feature vectors 90a, 90b, 90c.
- the second multidimensional feature vectors 92a, 92b, 92c which are lower in dimension and effective for classifying the discrimination target, and to classify the discrimination target based on the converted second multidimensional feature vectors 92a, 92b, 92c.
- the classification of the discrimination target can be realized with high accuracy.
- the first sample image data 34a with a plurality of teacher signals to be discriminated, the discriminant target image data 34b, and the designated area image data 34c have various feature quantities.
- the feature extractor 26 for extracting the multidimensional feature vectors 90a, 90b, 90c and the first multidimensional feature vectors 90a, 90b, 90c are converted into the low-dimensional second multidimensional feature vectors 92a, 92b, 92c with the feature converter 27. Since the classifier 28 that classifies the discrimination target based on the second multidimensional feature vectors 92a, 92b, 92c converted by the feature converter 27 has a different configuration, the feature is improved in improving the classification accuracy of the discrimination target.
- Learning of the extractor 26 and the feature converter 27 and learning of the classifier can be carried out separately. That is, when the cause of the low classification accuracy is the low feature extraction / conversion accuracy by the feature extractor 26 and the feature converter 27, the feature extractor 26 and the feature converter 27 are trained and classified. When it is caused by the low classification accuracy of the device 28, only the classifier 28 can be trained, and the classification accuracy can be efficiently improved.
- the discriminating device has been described as a device that discriminates whether the discriminating target is an OK product or an NG product, but the present invention is not limited to this.
- the discriminating device may be applied to a device that discriminates which of a plurality of classifications the discriminating target is classified into.
- the vertical axis has column numbers 1, 2, 3, ..., N-1, n
- the horizontal axis is the feature quantity.
- a coordinate system Cartesian coordinate system
- these feature quantities f 1 , f 2 , f 3 , ..., f n A two-dimensional graph in which -1 and f n are plotted and connected by a curve or a straight line is used, but the present invention is not limited to this.
- the input device 14 has been described as a keyboard and a mouse, but may include a pointing device such as a touch panel, a button, a dial, a touch sensor, a touch pad, and the like.
- the large-capacity memory for storing various data including image data is HDD 10, but the present invention is not limited to this.
- a large-capacity memory for storing various data including image data a flash memory (USB memory, SD card, etc.), SSD, floppy disk, CD, DVD, or the like may be applied.
- various applications including a visualization program are stored in the HDD 10, but the present invention is not limited to this.
- various applications including a visualization program may be configured to be distributed from another computer to the computer 1 as a discrimination device according to the present embodiment via a transmission medium, for example, a communication network such as the Internet or LAN.
- the present embodiment shows an example of a mode for carrying out the present invention. Therefore, the present invention is not limited to the configuration of the present embodiment.
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
【課題】分類精度の向上を図ること。 【解決手段】学習済の特徴抽出器26を用いて複数の教師信号付きサンプル画像データ34aや、判別対象画像データ34b、指定領域画像データ34cから第1多次元特徴ベクトル90a,90b,90cを抽出し、抽出した第1多次元特徴ベクトル90a,90b,90cを、学習済の特徴変換器27を用いて当該第1多次元特徴ベクトル90a,90b,90cよりも低次元かつ判別対象の分類に有効な第2多次元特徴ベクトル92a,92b,92cに変換し、変換した第2多次元特徴ベクトル92a,92b,92cに基づいて判別対象の分類を行う。これにより、判別対象の分類を精度良く実現できる。
Description
本発明は、判別対象の分類方法、これに用いるプログラム、および、判別装置に関するものである。
特開2019-211288号公報(特許文献1)には、畳み込みニューラルネットワークを用いて判別対象の画像について畳み込み層による計算を行い、当該畳み込み層の計算が終了した後の最初の全結合層から特徴量(多次元特徴ベクトル)を抽出し、抽出した多次元特徴ベクトルを用いて多変量解析を実行して、当該多変量解析の結果に基づいて判別対象の分類を行う方法が記載されている。
当該分類方法では、多次元特徴ベクトルの抽出(畳み込みニューラルネットワークを利用)と、判別対象の分類(多変量解析を利用)と、を別構成で実現している。これにより、良品・不良品などの分類基準を容易に変更することができる。
しかしながら、畳み込み層の計算が終了した後の最初の全結合層から抽出した多次元特徴ベクトルは、判別対象の分類に用いる特徴量としては、必ずしも有効ではなく、分類精度の向上という点において、なお改良の余地がある。
本発明は、上記に鑑みてなされたものであり、分類精度の向上に資する技術を提供することを目的の一つとする。
本発明に係る判別対象の分類方法の好ましい形態によれば、(a)判別対象のデータを取得し、(b)深層学習を含むニューラルネットワークを用いた特徴抽出器によって、判別対象のデータから第1多次元特徴ベクトルを抽出し、(c)抽出した第1多次元特徴ベクトルを、複数の全結合層を用いた特徴変換器によって、第1多次元特徴ベクトルよりも次元の低い第2多次元特徴ベクトルに変換し、(d)変換された第2多次元特徴ベクトルに基づいて、統計的機械学習を用いた分類器によって判別対象を分類する。ここで、本発明における「判別対象のデータ」とは、典型的には判別対象の画像データがこれに該当し、文字通りに判別する必要がある対象の画像データがこれに該当するが、学習済モデルの学習段階においては、教師信号付きサンプルデータを含む概念である。さらに、本発明における「統計的機械学習器」とは深層学習を含むニューラルネットワークを用いた機械学習以外の機械学習、例えば、勾配ブースティングや、サポートベクターマシーン、ランダムフォレスト、ニューラルネットワーク、ガウス正規化、サンサンブル検査などがこれに該当する。
本発明によれば、特徴変換器によって変換された特徴であって、判別対象の分類に有効な低次元の第2多次元特徴ベクトルを、判別対象の分類に用いるため、判別対象の分類を精度良く実現できる。なお、判別対象のデータが有する多様な特徴量である第1多次元特徴ベクトルを抽出する特徴抽出器および第1多次元特徴ベクトルを低次元の第2多次元特徴ベクトルに変換する複数の全結合層を用いた特徴変換器と、当該特徴変換器によって変換された第2多次元特徴ベクトルに基づき判別対象を分類する分類器と、が別構成であるため、判別対象の分類精度の向上に際し、特徴抽出器および特徴変換器の学習と、分類器の学習と、を分けて実施することができる。即ち、分類精度の低さの原因が、特徴抽出器および特徴変換器による特徴抽出・変換精度の低さに起因する場合には、特徴抽出器および特徴変換器を学習させ、分類器による分類精度の低さに起因する場合には分類器のみを学習させることができ、分類精度の向上を効率良く行うことができる。
本発明に係るプログラムの好ましい形態によれば、判別対象を分類するためのプログラムが構成される。当該プログラムは、上述したいずれかの態様の本発明に係る判別対象の分類方法の各ステップを1又は複数のコンピュータに実行させるためのものである。当該プログラムは、コンピュータが読み取り可能な記録媒体、例えば、ハードディスクやROM、SSD、フラッシュメモリ(USBメモリ、SDカードなど)、フロッピーディスク、CD、DVDなどに記録されていても良いし、伝送媒体、例えば、インターネットやLANなどの通信網を介してあるコンピュータから別のコンピュータへ配信されても良いし、あるいは、その他如何なる態様で授受されても良い。
本発明によれば、プログラムを一つのコンピュータに実行させるか又は複数のコンピュータに各ステップを分担して実行させることによって、上述したいずれかの態様の本発明に係る判別対象の分類方法の各ステップが実行されるため、上述した本発明に係る判別対象の分類方法と同様の作用効果、例えば、判別対象の分類を精度良く実現できるという効果を得ることができる。
本発明に係る判別装置の好ましい形態によれば、判別対象のデータを取得するデータ取得部と、取得した判別対象のデータから第1多次元特徴ベクトルを抽出する深層学習を含むニューラルネットワークを用いた特徴抽出器と、当該特徴抽出器により抽出された第1多次元特徴ベクトルを、当該第1多次元特徴ベクトルよりも低次元の第2多次元特徴ベクトルに変換する複数の全結合層を用いた特徴変換器と、第2多次元特徴ベクトルを用いて判別対象を分類する統計的機械学習を用いた分類器と、を備えている。ここで、本発明における「判別対象のデータ」とは、典型的には判別対象の画像データがこれに該当し、文字通りに判別する必要がある対象の画像データがこれに該当するが、特徴抽出器および特徴変換器の学習段階においては、教師信号付きサンプルの画像データを含む概念である。また、本発明における「統計的機械学習器」とは深層学習を含むニューラルネットワークを用いた機械学習以外の機械学習、例えば、勾配ブースティングや、サポートベクターマシーン、ランダムフォレスト、ニューラルネットワーク、ガウス正規化、サンサンブル検査などがこれに該当する。
本発明によれば、特徴変換器によって変換された特徴であって、判別対象の分類に有効な低次元の第2多次元特徴ベクトルを、判別対象の分類に用いるため、判別対象の分類を精度良く実現できる。なお、判別対象のデータが有する多様な特徴量である第1多次元特徴ベクトルを抽出する特徴抽出器と、第1多次元特徴ベクトルを低次元の第2多次元特徴ベクトルに変換する複数の全結合層を用いた特徴変換器と、当該特徴変換器によって変換された第2多次元特徴ベクトルに基づき判別対象を分類する分類器と、が別構成であるため、判別対象の分類精度の向上に際し、特徴抽出器および特徴変換器の学習と、分類器の学習と、を分けて実施することができる。即ち、分類精度の低さの原因が、特徴抽出器および特徴変換器による特徴抽出精度の低さに起因する場合には、特徴抽出器および特徴変換器を学習させ、分類器による分類精度の低さに起因する場合には分類器のみを学習させることができ、分類精度の向上を効率良く行うことができる。
本発明に係る判別装置の更なる形態によれば、第2多次元特徴ベクトルを記憶する記憶部と、当該記憶部に記憶された複数の第2多次元特徴ベクトルについて各々の間の距離値を算定する算定部と、をさらに備えている。そして、特徴抽出器および特徴変換器は、学習段階においては、算定部により算定された距離値に基づき誤差逆伝播法および勾配降下法を用いて学習する。
本形態によれば、判別対象の分類に有効、かつ、特徴抽出器および特徴変換器の学習段階において抽出および変換された第2多次元特徴ベクトルを用いて判別対象の分類を行うため、分類精度のより一層の向上を図ることができる。
本発明によれば、分類精度の向上を図ることができる。
次に、本発明を実施するための最良の形態を実施例を用いて説明する。
本実施の形態に係る判別装置として機能するコンピュータ1は、図1に示すように、CPU2を中心とするマイクロプロセッサとして構成されており、各種処理プログラムを記憶するROM4、一時的にデータを記憶するRAM6、画像処理を行う際に必要な計算処理や行列演算処理を行うGPU8、各種アプリケーションプログラム(単にアプリケーションと称する)や画像データを含む各種データを記憶する大容量メモリであるハードディスク(HDD)10、カメラ70などの外部機器とのデータの入出力を行う入出力インターフェイス(I/F)12などを備えている。なお、以下では説明の便宜上、本実施の形態に係る判別装置としてのコンピュータ1が、判別対象がOK品であるかNG品であるかの判別を行う装置として説明する。コンピュータ1は、本発明における「判別装置」に対応する実施構成の一例である。
コンピュータ1は、ユーザが各種指令を入力するキーボードおよびマウス等の入力装置14や、各種情報を表示するディスプレイ60などを備えている。CPU2やROM4、RAM6、GPU8、HDD10、I/F12、入力装置14、ディスプレイ60などは、バス80によって電気的に接続され、互いに各種制御信号やデータのやり取りができるように構成されている。
当該コンピュータ1は、ディスプレイ60に表示されたカーソル等をユーザが入力装置14を介して入力操作すると、その入力操作に応じた動作を実行する機能を有している。また、当該コンピュータ1は、HDD10に格納されたアプリケーション、具体的には、判別対象の判別処理を実行する判別アプリケーションによって各種処理が実行されることで、本実施の形態に係る判別装置として機能する。なお、本実施の形態では、判別装置としてコンピュータ1によって実現可能な構成としたが、専用装置として実現しても良い。
また、コンピュータ1には、図2に示すように、CPU2やROM4、RAM6、GPU8、HDD10、I/F12、入力装置14、ディスプレイ60などの前述したハードウェア資源と、判別アプリケーションや本実施の形態に係る可視化プログラムといったソフトウェアと、の一方または双方の協働により、画像表示制御部20や、画像取得部22、領域指定部24、特徴抽出器26、特徴変換器27、分類器28、距離算定器29、二次元グラフ化データ生成部30、記憶部33等が機能ブロックとして構成されている。換言すれば、これらの各部(画像表示制御部20、画像取得部22、領域指定部24、特徴抽出器26、特徴変換器27、分類器28、距離算定器29、二次元グラフ化データ生成部30、記憶部33)は、HDD10からRAM6上に展開されたアプリケーションを実行するCPU2からの命令によって、図1に示す各構成要素(CPU2やROM4、RAM6、GPU8、HDD10、I/F12、入力装置14、ディスプレイ60など)が単独あるいは協働して動作することにより実現される機能であると言うことができる。なお、画像表示制御部20や、画像取得部22、領域指定部24、特徴抽出器26、特徴変換器27、分類器28、距離算定器29、二次元グラフ化データ生成部30、記憶部33等は、アドレスバスやデータバスなどのバスライン82によって電気的に接続されている。特徴抽出器26、特徴変換器27およびディスプレイ60(後述するウィンドウ62)は、本発明における「可視化装置」に対応する実施構成の一例である。
画像表示制御部20は、判別アプリケーションが起動されると、図1に示すように、ディスプレイ60の画面61に所定のウィンドウ62を表示する。また、画像表示制御部20は、ディスプレイ60に表示されたカーソル等をユーザが入力装置14を介して入力操作することにより選択された教師信号付きサンプル画像データ34a(図2参照)に基づいて教師信号付きサンプル画像をウィンドウ62上に表示させたり、画像取得部22により取得される判別対象画像データ34b(図2参照)に基づいて判別対象画像をウィンドウ62上に表示させたり、領域指定部24により取得される指定領域画像データ34c(図2参照)に基づいて指定領域画像をウィンドウ62上に表示させる。
さらに、画像表示制御部20は、記憶部33に記憶されたモデル用二次元グラフ化データ36a(図2参照)に基づいて二次元グラフをウィンドウ62上に表示させたり、二次元グラフ化データ生成部30によって生成される判別用二次元グラフ化データ36bに基づいて判別用二次元グラフをウィンドウ62上に表示させたりする。また、画像表示制御部20は、分類器28による判別結果をウィンドウ62に表示する。なお、教師信号付きサンプル画像とは、特徴抽出器26および特徴変換器27の学習を行うために使用する画像である。また、判別対象画像とは、典型的には、分類(OK品 or NG品)が不明な対象の画像がこれに該当するが、特徴抽出器26および特徴変換器27の学習結果の検証や学習精度の向上を目的として分類(OK品 or NG品)が既知の対象の画像、例えば、複数の教師信号付きサンプル画像からユーザが任意に選択した教師信号付きサンプル画像を好適に包含する。
画像取得部22は、カメラ70(図1参照)によって撮影された教師信号付きサンプル画像データ34aや判別対象画像データ34bを取得し、取得したこれら画像データを画像表示制御部20や特徴抽出器26、記憶部33などに供給する。
領域指定部24は、ユーザの入力装置14を介した入力操作によって、ウィンドウ62上に表示された教師信号付きサンプル画像や判別対象画像の任意の領域がクリックやドラッグなどされた際に、当該領域の画像データ(以下、「指定領域画像データ」という)34cを取得し、取得した指定領域画像データ34c(図2参照)を画像表示制御部20や特徴抽出器26、記憶部33などに供給する。
特徴抽出器26は、複数の教師信号付きサンプル画像データ34aや、判別対象画像データ34b、指定領域画像データ34cから第1多次元特徴ベクトル90a,90b,90cを抽出し、抽出した第1多次元特徴ベクトル90a,90b,90cを特徴変換器27に供給する。ここで、本実施の形態では、特徴抽出器26には、図3および図4に示すように、畳み込みニューラルネットワーク(CNN)を用いる構成とした。第1多次元特徴ベクトル90a,90b,90cは、それぞれ本発明における「第1多次元特徴ベクトル」に対応する実施構成の一例である。
特徴抽出器26による第1多次元特徴ベクトル90a,90b,90cの抽出は、図3に示すように、所定のフィルタ(図示せず)を用いて複数の教師信号付きサンプル画像データ34aや判別対象画像データ34b、指定領域画像データ34cから、これら画像データ34a,34b,34cの特徴を失うことなく特徴を抽出する所謂畳み込み処理を複数回行った後、列ベクトルにフラット化することにより行う。
特徴変換器27は、図4に示すように、複数の全結合層27a,27bを有しており、当該全結合層27a,27bを用いて、特徴抽出器26によって抽出された第1多次元特徴ベクトル90a,90b,90cを低次元化する処理を実行する。具体的には、全結合(Fully Connected)処理によって第1多次元特徴ベクトル90a,90b,90cを当該第1多次元特徴ベクトル90a,90b,90cよりも低次元の第2多次元特徴ベクトル92a,92b,92cに変換し、分類器28や距離算定器29、二次元グラフ化データ精製部30、記憶部33に供給する。なお、全結合(Fully Connected)処理に替えてGlobal max PoolingやGlobal Average Poolingなどのプーリング処理によって、第1多次元特徴ベクトル90a,90b,90cを当該第1多次元特徴ベクトル90a,90b,90cよりも低次元の第2多次元特徴ベクトル92a,92b,92cに変換しても良い。第2多次元特徴ベクトル92a,92b,92cは、それぞれ記憶部33に記憶される。第2多次元特徴ベクトル92a,92b,92cは、本発明における「第2多次元特徴ベクトル」に対応する実施構成の一例である。
なお、特徴抽出器26および特徴変換器27は、判別対象の分類の判別を精度良く行うことができるような第1多次元特徴ベクトル90a,90b,90cおよび第2多次元特徴ベクトル92a,92b,92cを得ることができるように、予め学習を行って、学習済モデル35として記憶部33に記憶させておく。
分類器28は、図4(b)に示すように、判別対象の分類の判別を行う際に機能する。図4(b)に示すように、特徴変換器27によって変換された第2多次元特徴ベクトル92a,92b,92cに基づいて、判別対象の分類、即ち、判別対象がOK品であるかNG品であるかの判別を行い、当該判別結果を画像表示制御部20に供給する。判別対象の分類は、具体的には、第2多次元特徴ベクトル92a,92b,92cを用いて機械学習した演算パラメータにより判別対象の第2多次元特徴ベクトル92a,92b,92cがOK品である確信度を示す一次元の数値を演算し、設定した閾値以上であればOK品であると分類し、設定した閾値未満であればNG品であると分類する。本実施の形態では、分類器28には、勾配ブースティングや、サポートベクターマシーン、ランダムフォレスト、ニューラルネットワーク、ガウス正規化、アンサンブル検査などの所謂統計的機械学習を用いる構成とした。
距離算定器29は、学習済モデル35を生成する際、および、当該学習済モデル35の検証や精度の向上を図る際に機能する。学習済モデル35を生成する際には、距離算定器29は、複数の教師信号付きサンプル画像データ34aの第2多次元特徴ベクトル92a間の距離を算定し、算定した当該距離を距離データ38として記憶部33に記憶する。算定した当該距離は、特徴抽出器26および特徴変換器27にフィードバックされる(図4(a)参照)。一方、学習済モデル35の検証や精度の向上を図る際には、距離算定器29は、複数の教師信号付きサンプル画像データ34aの第2多次元特徴ベクトル92aと、判別対象画像データ34bや指定領域画像データ34cの第2多次元特徴ベクトル92b,92cと、の間の距離を算定し、算定した当該距離を距離データ38として記憶部33に記憶する。
本実施の形態では、特徴抽出器26および特徴変換器27へのフィードバックは、OK品同士の第2多次元特徴ベクトル92a間の距離と、OK品の第2多次元特徴ベクトル92aおよびNG品の第2多次元特徴ベクトル92a間の距離と、が相対的に最適化されるように、Triplet loss関数などの損失関数を用いて誤差逆伝搬法および勾配降下法により、特徴抽出器26および特徴変換器27のパラメータの修正を行うことにより行う構成とした。このようなパラメータの修正(特徴抽出器26および特徴変換器27の学習)は、第2多次元特徴ベクトル92aの可視化(二次元グラフ化)を行って、学習済モデル35(特徴抽出器26および特徴変換器27)の学習状況(個性)を把握したうえで、当該学習状況(個性)が所望の状態となるまで実施される。こうして、学習済モデル35が生成され、記憶部33に記憶される。なお、本実施の形態では、学習済モデル35の学習と、特徴抽出器26および特徴変換器27の学習と、は同義である。
ここで、本実施の形態では、特徴抽出器26および特徴変換器27のパラメータの修正には、ディープメトリックラーニングを用いる構成とした。即ち、特徴抽出器26によって第1多次元特徴ベクトル90aを抽出し、抽出した第1多次元特徴ベクトル90aを特徴変換器27によって第2多次元特徴ベクトル92aに変換すると共に、変換した第2多次元特徴ベクトル92a間の距離を距離算定器29によって算定して、算定した当該距離に基づき誤差逆伝搬法および勾配降下法により特徴抽出器26および特徴変換器27のパラメータの修正を行う一連の処理にディープメトリックラーニングを適用した。
二次元グラフ化データ生成部30は、複数の教師信号付きサンプル画像データ34aの第2多次元特徴ベクトル92aに基づいて、モデル用二次元グラフ化データ36aを生成すると共に、判別対象画像データ34bや指定領域画像データ34cの第2多次元特徴ベクトル92b,92cに基づいて、判別用二次元グラフ化データ36bを生成する。
具体的には、第2多次元特徴ベクトル92a,92b,92cを次元数の特徴量の集合としてモデル用二次元グラフ化データ36aや判別用二次元グラフ化データ36bを生成する。例えば、第2多次元特徴ベクトル92a,92b,92cがn次元列ベクトル(f1,f2,f3,・・・,fn-1,fn)である場合、n個の特徴量f1,f2,f3,・・・,fn-1,fnの集合としたデータ、即ち、図5に示すように、縦軸に列番号1,2,3,・・・,n-1,nをとり、横軸に特徴量f1,f2,f3,・・・,fn-1,fnをとった座標系(直交座標系)に、これら特徴量f1,f2,f3,・・・,fn-1,fnをプロットして曲線ないし直線で繋いだ二次元グラフを表示可能なデータを生成する。
なお、学習済モデル35(特徴抽出器26および特徴変換器27)の学習結果の検証や学習精度の向上を目的として、ユーザが記憶部33に記憶された複数の教師信号付きサンプル画像データ34aの中から任意の一の教師信号付きサンプル画像データ34aを選択した場合には、二次元グラフ化データ生成部30は、モデル用二次元グラフ化データ36aの中から、当該任意の一の教師信号付きサンプル画像データ34a(以下、「任意サンプル画像データ34a’」という)の第2多次元特徴ベクトルデータ92a(以下、「任意の第2多次元特徴ベクトル92a’」という)に基づいて生成されたモデル用二次元グラフ化データ36a(以下、「選択二次元グラフ化データ36a’」という)を抽出する。
記憶部33は、RAM6およびHDD10の少なくとも一方に確保され、カメラ70(図1参照)によって撮影された教師信号付きサンプル画像データ34aおよび判別対象画像データ34bや、領域指定部24によって取得された指定領域画像データ34c、学習済モデル35、二次元グラフ化データ生成部30によって生成されたモデル用二次元グラフ化データ36aおよび判別用二次元グラフ化データ36b、特徴変換器27によって変換された第2多次元特徴ベクトル92a,92b,92c、および、距離算定器29によって算定された距離データ38を記憶する。
次に、本実施の形態に係る判別装置としてのコンピュータ1の動作、特に、判別対象の分類を判別する際の動作について説明する。図6は、分類判別ルーチンの一例を示すメインフローチャートである。
分類判別ルーチンが実行されると、まず、学習済モデル35を利用した特徴抽出器26(学習済の特徴抽出器26)が、判別対象画像データ34b、任意サンプル画像データ34a’、または、指定領域画像データ34cを読み込み(ステップS10)、読み込んだ判別対象画像データ34b、任意サンプル画像データ34a’、または、指定領域画像データ34cから第1多次元特徴ベクトル90a,90b,90cを抽出する処理を実行する(ステップS12)。
続いて、学習済モデル35を利用した特徴変換器27(学習済の特徴変換器27)が、特徴抽出器26が抽出した第1多次元特徴ベクトル90a,90b,90cを第2多次元特徴ベクトル92a,92b,92cに変換する処理を実行する(ステップS14)。そして、分類器28が、特徴変換器27が変換した第2多次元特徴ベクトル92a,92b,92cを用いて、判別対象(判別が必要な分類が未知の対象の画像のみならず、任意サンプル画像、および、ユーザによって指定されたこれらの画像の任意の領域の画像(指定領域画像))を分類する処理を実行し(ステップS16)、当該分類による判別結果(OK品 or NG品)を出力して(ステップS18)、本ルーチンを終了する。
ここで、第1多次元特徴ベクトル90a,90b,90cは、ディープメトリックラーニングを用いて予め学習された特徴変換器27によって、第2多次元特徴ベクトル92a,92b,92cに変換されるため、判別対象の分類に有効な特徴を失うことなく低次元化することができる。
なお、本実施の形態では、ディープメトリックラーニングを用いた学習済モデル35(特徴抽出器26および特徴変換器27)の学習は、可視化を行って、学習済モデル35(特徴抽出器26および特徴変換器27)の学習状況(個性)を視覚的に確認しながら、当該学習状況(個性)が所望の状態となるまで実施されるため、判別対象の分類に有効な第2多次元特徴ベクトル92a,92b,92cに適切に変換することができる。
図7(a)は、学習済モデル35が適切な学習状況(個性)にある状態を示す説明図であり、図7(b)は、学習済モデル35の学習状況(個性)が適切でない状態を示す説明図である。図中、符号「Og」は、OK品の複数の教師信号付きサンプル画像データ34aの第2多次元特徴ベクトル92aに基づいて、二次元グラフ化データ生成部30によって生成されたグラフであり、図中、符号「Ng」は、NG品の複数の教師信号付きサンプル画像データ34aの第2多次元特徴ベクトル92aに基づいて、二次元グラフ化データ生成部30によって生成されたグラフである。図7(a)および図7(b)は、学習済モデル35の学習状況(個性)の評価を行う際に一般的に用いられる正解率や適合率、再現率などといった一次元の数値指標のいずれもが同じ、あるいは、当該数値指標が近い学習済モデル35について可視化したものである。
図7に示すように、学習済モデル35が適切な学習状況(個性)にあると、モデル用二次元グラフOgと、モデル用二次元グラフNgと、が明確に離隔されて表示され、境界が明確となり、このような学習状況(個性)が適切な学習済モデル35を利用した特徴変換器27を用いることにより、判別対象の分類に有効な第2多次元特徴ベクトル92a,92b,92cを適切に得ることができる。
一方、学習済モデル35の学習状況(個性)が適切でないと、モデル用二次元グラフOgと、モデル用二次元グラフNgと、が近接して表示され、境界が不明確となり、このような学習状況(個性)が適切でない学習済モデル35を利用した特徴変換器27を用いると、判別対象の分類に有効な第2多次元特徴ベクトル92a,92b,92cを適切に得ることができない。
このように、学習済モデル35の学習状況(個性)を可視化することにより、学習済モデル35が判別対象の分類を適切に判別できる学習状況(個性)にあるか否かを評価することができ、従来に比べて少量のサンプルデータで適切な学習済モデル35を生成することができる。そして、適切な学習済モデル35を生成することができることによって、分類器28による判別対象の分類に適切な閾値の設定範囲を広くとることができる。これにより、外乱、例えば、判別対象の画像を取得する際の外光の影響などによる誤判別を抑制でき、正確な判別結果を安定して得ることができる。
もとより、本実施の形態では、図8に示すように、モデル用二次元グラフOg,Ngに加えて、判別対象の第2多次元特徴ベクトル92bやユーザによって指定された領域の第2多次元特徴ベクトル92cの状態を判別用二次元グラフDgとして表示するため、判別対象や指定された領域の分類の判別状況を可視化することができる。これにより、判別対象の判別状況やユーザ自ら気になる箇所の判別状況を視覚的に確認することができると共に(例えば、判別対象に傷などがあった場合に、当該傷をNGとして判別できているのかなど)、当該気になる箇所の判別状況に応じて(OK品であるのにNGであると判別していた場合や、これとは逆に、NG品であるのにOK品であると判別していた場合)、特徴抽出器26および特徴変換器27の学習、あるいは、分類器28の学習をやり直すことができる。
このような判別対象の分類に有効な特徴を有する第2多次元特徴ベクトル92a,92b,92cを用いて、分類器28が判別対象の分類を行うため、判別対象の分類を精度良く実現できる。
なお、分類器28による判別対象の分類は、本実施の形態では、記憶部33に記憶された複数の第2多次元特徴ベクトル92aを用い機械学習した演算パラメータにより、判別対象の第2多次元特徴ベクトル92b,92cがOK品である確信度を示す一次元の数値を演算し、設定した閾値と比較することにより行う構成とした。
また、本実施の形態では、学習済モデル35の学習状況(個性)を可視化すると共に、特徴抽出器26および特徴変換器27と、分類器28と、を別構成として有するため、判別対象の分類の判定において誤判定した場合に、当該誤判定の原因を簡易に特定することができると共に、その対処を適切に行うことができる。
例えば、図9(a)に示すように、判別用二次元グラフDgや選択二次元グラフCgの形状がモデル用二次元グラフNgと離れており、異なる形状にも関わらず、NG品と判断された場合や、図9(b)に示すように、判別用二次元グラフDgや選択二次元グラフCgの形状がモデル用二次元グラフOgと離れており、異なる形状にも関わらず、OK品と判断された場合、即ち、OK品およびNG品の特徴は捉えることができているが、OK品およびNG品の分類を誤っているような場合には、分類器28の演算パラメータの機械学習や閾値の設定が適切でないと判断することができ、この場合、分類器28の演算パラメータの機械学習や閾値の設定をし直すことで対応できる。これにより、簡単かつ迅速に判定装置の判定精度を向上することができ、かつ、学習済モデル35の信頼性の向上を図ることができる。なお、判別用二次元グラフDgは、判別対象画像データ34bや指定領域画像データ34cの第2多次元特徴ベクトル92b,92cに基づいて、二次元グラフ化データ生成部30によって生成されるグラフである。また、選択二次元グラフCgは、選択二次元グラフ化データ36a’に基づいて、二次元グラフ化データ生成部30によって生成されるグラフである。
以上説明した本実施の形態に係る判別装置によれば、学習済の特徴抽出器26を用いて複数の教師信号付きサンプル画像データ34aや、判別対象画像データ34b、指定領域画像データ34cから第1多次元特徴ベクトル90a,90b,90cを抽出し、抽出した第1多次元特徴ベクトル90a,90b,90cを、学習済の特徴変換器27を用いて当該第1多次元特徴ベクトル90a,90b,90cよりも低次元かつ判別対象の分類に有効な第2多次元特徴ベクトル92a,92b,92cに変換し、変換した第2多次元特徴ベクトル92a,92b,92cに基づいて判別対象の分類を行うため、判別対象の分類を精度良く実現できる。
また、本実施の形態に係る判別装置によれば、判別対象である複数の教師信号付きサンプル画像データ34aや、判別対象画像データ34b、指定領域画像データ34cが有する多様な特徴量である第1多次元特徴ベクトル90a,90b,90cを抽出する特徴抽出器26および当該第1多次元特徴ベクトル90a,90b,90cを低次元の第2多次元特徴ベクトル92a,92b,92cに特徴変換器27と、当該特徴変換器27によって変換された第2多次元特徴ベクトル92a,92b,92cに基づき判別対象を分類する分類器28と、が別構成であるため、判別対象の分類精度の向上に際し、特徴抽出器26および特徴変換器27の学習と、分類器の学習と、を分けて実施することができる。即ち、分類精度の低さの原因が、特徴抽出器26および特徴変換器27による特徴抽出・変換精度の低さに起因する場合には、特徴抽出器26および特徴変換器27を学習させ、分類器28による分類精度の低さに起因する場合には分類器28のみを学習させることができ、分類精度の向上を効率良く行うことができる。
本実施の形態では、判別装置が、判別対象がOK品であるかNG品であるかの判別を行う装置として説明したが、これに限らない。例えば、判別装置が、判別対象を複数の分類のうちのいずれに分類されるかの判別を行う装置に適用しても良い。
本実施の形態では、第2多次元特徴ベクトル92a,92b,92cのグラフ化として、縦軸に列番号1,2,3,・・・,n-1,nをとり、横軸に特徴量f1,f2,f3,・・・,fn-1,fnをとった座標系(直交座標系)に、これら特徴量f1,f2,f3,・・・,fn-1,fnをプロットして曲線ないし直線で繋いだ二次元グラフを用いたが、これに限らない。
本実施の形態では、入力装置14は、キーボードおよびマウスとして説明したが、タッチパネル等のポインティングデバイスや、ボタン、ダイヤル、タッチセンサ、タッチパッド等を含んでいても良い。
本実施の形態では、画像データを含む各種データを記憶する大容量メモリをHDD10としたが、これに限らない。画像データを含む各種データを記憶する大容量メモリとして、フラッシュメモリ(USBメモリ、SDカードなど)や、SSD、フロッピーディスク、CD、DVDなどを適用しても良い。
本実施の形態では、可視化プログラムを含む各種アプリケーションをHDD10に記憶する構成としたが、これに限らない。例えば、可視化プログラムを含む各種アプリケーションは、伝送媒体、例えば、インターネットやLANなどの通信網を介して他コンピュータから本実施の形態に係る判別装置としてのコンピュータ1へ配信される構成としても良い。
本実施形態は、本発明を実施するための形態の一例を示すものである。したがって、本発明は、本実施形態の構成に限定されるものではない。
1 コンピュータ1(判別装置)
2 CPU
4 ROM
6 RAM
8 GPU
10 HDD
12 入出力インターフェイス
14 入力装置
20 画像表示制御部
22 画像取得部
24 領域指定部
26 特徴抽出器(特徴抽出器)
27 特徴変換器(特徴変換器)
27a 全結合層(複数の全結合層)
27b 全結合層(複数の全結合層)
28 分類器(分類器)
29 距離算定器
30 二次元グラフ化データ生成部
33 記憶部
34a 教師信号付きサンプル画像データ
34b 判別対象画像データ
34c 指定領域画像データ
35 学習済モデル(学習済モデル)
36a モデル用二次元グラフ化データ
36b 判別用二次元グラフ化データ
38 距離データ
60 ディスプレイ
62 ウィンドウ
80 バス
82 バスライン
90a 第1多次元特徴ベクトル(第1多次元特徴ベクトル)
90b 第1多次元特徴ベクトル(第1多次元特徴ベクトル)
90c 第1多次元特徴ベクトル(第1多次元特徴ベクトル)
92a 第2多次元特徴ベクトル(第2多次元特徴ベクトル)
92a’ 任意の第2多次元特徴ベクトル(第2多次元特徴ベクトル)
92b 第2多次元特徴ベクトル(第2多次元特徴ベクトル)
92c 第2多次元特徴ベクトル(第2多次元特徴ベクトル)
fn 特徴量(特徴量)
n 列番号
Og OK品のモデル用二次元グラフ
Ng NG品のモデル用二次元グラフ
Dg 判別用二次元グラフ
Cg 選択二次元グラフ
2 CPU
4 ROM
6 RAM
8 GPU
10 HDD
12 入出力インターフェイス
14 入力装置
20 画像表示制御部
22 画像取得部
24 領域指定部
26 特徴抽出器(特徴抽出器)
27 特徴変換器(特徴変換器)
27a 全結合層(複数の全結合層)
27b 全結合層(複数の全結合層)
28 分類器(分類器)
29 距離算定器
30 二次元グラフ化データ生成部
33 記憶部
34a 教師信号付きサンプル画像データ
34b 判別対象画像データ
34c 指定領域画像データ
35 学習済モデル(学習済モデル)
36a モデル用二次元グラフ化データ
36b 判別用二次元グラフ化データ
38 距離データ
60 ディスプレイ
62 ウィンドウ
80 バス
82 バスライン
90a 第1多次元特徴ベクトル(第1多次元特徴ベクトル)
90b 第1多次元特徴ベクトル(第1多次元特徴ベクトル)
90c 第1多次元特徴ベクトル(第1多次元特徴ベクトル)
92a 第2多次元特徴ベクトル(第2多次元特徴ベクトル)
92a’ 任意の第2多次元特徴ベクトル(第2多次元特徴ベクトル)
92b 第2多次元特徴ベクトル(第2多次元特徴ベクトル)
92c 第2多次元特徴ベクトル(第2多次元特徴ベクトル)
fn 特徴量(特徴量)
n 列番号
Og OK品のモデル用二次元グラフ
Ng NG品のモデル用二次元グラフ
Dg 判別用二次元グラフ
Cg 選択二次元グラフ
Claims (4)
- (a)判別対象のデータを取得し、
(b)深層学習を含むニューラルネットワークを用いた特徴抽出器によって、前記判別対象のデータから第1多次元特徴ベクトルを抽出し、
(c)抽出した前記第1多次元特徴ベクトルを、複数の全結合層を用いた特徴変換器によって、前記第1多次元特徴ベクトルよりも次元の低い第2多次元特徴ベクトルに変換し、
(d)変換された前記第2多次元特徴ベクトルに基づいて、統計的機械学習を用いた分類器によって前記判別対象を分類する
判別対象の分類方法。 - 判別対象を分類するためのプログラムであって、
請求項1に記載の判別対象の分類方法の各ステップを1又は複数のコンピュータに実行させるためのプログラム。 - 判別対象のデータを取得するデータ取得部と、
取得した前記判別対象のデータから第1多次元特徴ベクトルを抽出する深層学習を含むニューラルネットワークを用いた特徴抽出器と、
該特徴抽出器により抽出された前記第1多次元特徴ベクトルを、該第1多次元特徴ベクトルよりも低次元の第2多次元特徴ベクトルに変換する複数の全結合層を用いた特徴変換器と、
前記第2多次元特徴ベクトルを用いて前記判別対象を分類する統計的機械学習を用いた分類器と、
を備える判別装置。 - 第2多次元特徴ベクトルを記憶する記憶部と、
該記憶部に記憶された複数の第2多次元特徴ベクトルについて各々の間の距離値を算定する算定部と、
をさらに備えており、
前記特徴抽出器および前記特徴変換器は、学習段階においては、前記算定部により算定された前記距離値に基づき誤差逆伝播法および勾配降下法を用いて学習する
請求項3に記載の判別装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022515303A JPWO2021210413A1 (ja) | 2020-04-17 | 2021-04-01 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-073809 | 2020-04-17 | ||
JP2020073809 | 2020-04-17 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021210413A1 true WO2021210413A1 (ja) | 2021-10-21 |
Family
ID=78084280
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/014130 WO2021210413A1 (ja) | 2020-04-17 | 2021-04-01 | 判別対象の分類方法、これに用いるプログラム、および、判別装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2021210413A1 (ja) |
WO (1) | WO2021210413A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014203135A (ja) * | 2013-04-01 | 2014-10-27 | キヤノン株式会社 | 信号処理装置、信号処理方法、及び、信号処理システム |
WO2018170421A1 (en) * | 2017-03-17 | 2018-09-20 | Magic Leap, Inc. | Room layout estimation methods and techniques |
JP2019507935A (ja) * | 2016-03-11 | 2019-03-22 | エヌイーシー ラボラトリーズ アメリカ インクNEC Laboratories America, Inc. | 物体ランドマーク検出のための深層変形ネットワーク |
JP2020060879A (ja) * | 2018-10-05 | 2020-04-16 | オムロン株式会社 | 学習装置、画像生成装置、学習方法、及び学習プログラム |
-
2021
- 2021-04-01 WO PCT/JP2021/014130 patent/WO2021210413A1/ja active Application Filing
- 2021-04-01 JP JP2022515303A patent/JPWO2021210413A1/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014203135A (ja) * | 2013-04-01 | 2014-10-27 | キヤノン株式会社 | 信号処理装置、信号処理方法、及び、信号処理システム |
JP2019507935A (ja) * | 2016-03-11 | 2019-03-22 | エヌイーシー ラボラトリーズ アメリカ インクNEC Laboratories America, Inc. | 物体ランドマーク検出のための深層変形ネットワーク |
WO2018170421A1 (en) * | 2017-03-17 | 2018-09-20 | Magic Leap, Inc. | Room layout estimation methods and techniques |
JP2020060879A (ja) * | 2018-10-05 | 2020-04-16 | オムロン株式会社 | 学習装置、画像生成装置、学習方法、及び学習プログラム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2021210413A1 (ja) | 2021-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Krause et al. | Using visual analytics to interpret predictive machine learning models | |
JP6547275B2 (ja) | 情報処理システム、情報処理装置、情報処理方法、及びプログラム | |
US20020165839A1 (en) | Segmentation and construction of segmentation classifiers | |
US10852245B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP7213701B2 (ja) | 加工装置、加工方法、加工プログラム、及び検査装置 | |
JP6950504B2 (ja) | 異常候補抽出プログラム、異常候補抽出方法および異常候補抽出装置 | |
JP2020042519A (ja) | 異常検知装置、異常検知方法、及び異常検知プログラム | |
Bernard et al. | Combining the Automated Segmentation and Visual Analysis of Multivariate Time Series. | |
Nair et al. | A life cycle on processing large dataset-LCPL | |
JP7506943B2 (ja) | 信号処理方法,信号処理装置および信号処理プログラム | |
JP6602013B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
Mahmoud et al. | Early diagnosis and personalised treatment focusing on synthetic data modelling: novel visual learning approach in healthcare | |
WO2021210413A1 (ja) | 判別対象の分類方法、これに用いるプログラム、および、判別装置 | |
JP2020047010A (ja) | 情報推定装置及び情報推定方法 | |
Hu et al. | Shape-driven coordinate ordering for star glyph sets via reinforcement learning | |
Schwenke et al. | Abstracting Local Transformer Attention for Enhancing Interpretability on Time Series Data. | |
EP3923228B1 (en) | Data analysis method, device and program | |
WO2021210414A1 (ja) | 可視化方法、これに用いるプログラム、および、可視化装置、並びに、これを備える判別装置 | |
Chinnasamy et al. | An outlier based bi-level neural network classification system for improved classification of cardiotocogram data | |
Neshatian et al. | Genetic programming for performance improvement and dimensionality reduction of classification problems | |
CN117574098B (zh) | 一种学习专注度分析方法以及相关装置 | |
JP2018151913A (ja) | 情報処理システム、情報処理方法、及びプログラム | |
Aazi et al. | Feature selection for multiclass support vector machines | |
WO2022172445A1 (ja) | 情報処理装置、情報処理方法、及び、情報処理プログラム | |
KR102236802B1 (ko) | 진단 모델용 데이터의 특징 추출 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21789349 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2022515303 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21789349 Country of ref document: EP Kind code of ref document: A1 |