JP2020107009A - Image processing system, and image processing program - Google Patents
Image processing system, and image processing program Download PDFInfo
- Publication number
- JP2020107009A JP2020107009A JP2018243927A JP2018243927A JP2020107009A JP 2020107009 A JP2020107009 A JP 2020107009A JP 2018243927 A JP2018243927 A JP 2018243927A JP 2018243927 A JP2018243927 A JP 2018243927A JP 2020107009 A JP2020107009 A JP 2020107009A
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- image processing
- individual
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、外観検査の画像処理技術に関し、特に画像から検出対象を見つけ出す画像処理を最適化する画像処理システムに関する。 The present invention relates to an image processing technique for visual inspection, and particularly to an image processing system that optimizes image processing for finding a detection target from an image.
従来、機械による外観検査の画像処理技術において、検査対象物のみの画像を入力画像として画像処理を行い、得られた出力画像を教師画像と比較することによって、画像処理を最適化する方法が行われている。
一方、人による目視外観検査では、検査対象の製品を正常な製品と比較するだけではなく、人が記憶している良品やラインに流れる前後の製品を検査対象の製品と比較するいわゆる周辺視と呼ばれる手法が用いられており、機械による外観検査の画像処理技術では、人による目視外観検査を再現することはできなかった。
Conventionally, in the image processing technology of machine appearance inspection, there is a method of optimizing image processing by performing image processing using an image of only the inspection object as an input image and comparing the obtained output image with a teacher image. It is being appreciated.
On the other hand, in the visual appearance inspection by humans, not only the product to be inspected is compared with a normal product, but also a so-called peripheral vision is used in which a good product memorized by a person and products before and after flowing on a line are compared with a product to be inspected. The so-called technique is used, and the visual appearance inspection by humans cannot be reproduced by the image processing technology of the appearance inspection by the machine.
ここで、画像から検出対象を見つけ出す画像処理技術として、特許文献１に記載の方法を挙げることができる。
この方法では、遺伝的プログラミング（ＧＰ）による並列型画像フィルタ自動生成システムにサイズ依存型交叉を導入して、様々なタイプの画像からクラックの抽出用画像フィルタを自動的に構築し、これを用いて損傷レベルの評価が行われている。
Here, as an image processing technique for finding a detection target from an image, a method described in Patent Document 1 can be cited.
In this method, a size-dependent crossover is introduced into a parallel image filter automatic generation system using genetic programming (GP), and an image filter for extracting cracks from various types of images is automatically constructed and used. Damage level is being evaluated.
また、このようないわゆる進化的計算を用いる技術として、特許文献２〜４に記載の進化的計算システムを挙げることができる。これらの進化的計算システムによれば、それぞれのシステムにおける処理のアルゴリズムの最適化を図ることが可能になっている。
しかしながら、これらの技術においても、検査対象物のみの画像を入力画像として画像処理が行われており、人による目視外観検査のような周辺視を適用可能なものではなかった。
Further, as a technique using such so-called evolutionary calculation, there are evolutionary calculation systems described in Patent Documents 2 to 4. According to these evolutionary computing systems, it is possible to optimize the processing algorithm in each system.
However, even in these techniques, image processing is performed using an image of only the inspection object as an input image, and peripheral vision such as visual appearance inspection by a person cannot be applied.
そこで、本発明者らは、機械による外観検査の画像処理技術において、検査対象物の画像だけではなく、良品画像を併せて入力画像として画像処理を行い、得られた出力情報を教師情報と比較することにより画像処理に周辺視を適用し、進化的計算によって画像処理を最適化することを可能とした。
また、進化的計算において、遺伝的ネットワークプログラミング（ＧＮＰ）の手法を採用することにより、最適化の自由度を向上させることを可能にして、本発明を完成させた。
Therefore, in the image processing technology of the visual inspection by the machine, the present inventors perform image processing not only on the image of the inspection object but also on the non-defective image as an input image, and compare the obtained output information with the teacher information. This makes it possible to apply peripheral vision to image processing and optimize image processing by evolutionary calculation.
Further, by adopting a method of genetic network programming (GNP) in evolutionary calculation, it is possible to improve the degree of freedom in optimization, and the present invention has been completed.
すなわち、本発明は、外観検査の画像処理技術おいて、画像から検出対象要素を見つけ出す画像処理を最適化することが可能な画像処理システム、及び画像処理プログラムの提供を目的とする。 That is, it is an object of the present invention to provide an image processing system and an image processing program capable of optimizing image processing for finding a detection target element from an image in the image processing technique of appearance inspection.
上記目的を達成するため、本発明の画像処理システムは、生物の進化を数学的に模擬した最適化手法である遺伝的操作により、画像から検出対象を検出する画像処理を最適化する画像処理システムであって、有閉路を含み得るネットワーク状に複数の機能単位の実行順序を定義する一又は二以上の個体情報を記憶する個体群記憶部と、検査対象物が表示された学習用又は検証用の検査対象画像を入力する検査対象画像入力部と、検査対象物が正しく表示された良品画像を入力する良品画像入力部と、前記個体情報及び前記良品画像にもとづいて前記検査対象画像を処理し、前記検査対象画像における検出対象要素の画像、個数、及び位置情報の少なくともいずれかを含む出力情報を生成する画像処理部と、前記出力情報を評価するための検出対象要素の情報を含む教師情報を入力する教師情報入力部と、前記出力情報と前記教師情報を比較して評価値を計算し、この評価値にもとづき前記個体情報を順位付けする評価値計算部と、前記個体情報の順位付け情報にもとづき前記個体情報の選択又は変更を行って、前記個体群記憶部を更新する遺伝子操作部とを備えた構成としてある。 In order to achieve the above object, the image processing system of the present invention is an image processing system that optimizes image processing for detecting a detection target from an image by genetic manipulation, which is an optimization method that mathematically simulates the evolution of living things. And an individual group storage unit that stores one or more individual information items that define the execution order of a plurality of functional units in a network that may include a closed loop, and for learning or verification in which the inspection target is displayed. Inspection target image input unit for inputting the inspection target image, a non-defective product image input unit for inputting a non-defective product image in which the inspection target object is correctly displayed, and the inspection target image is processed based on the individual information and the non-defective product image. An image processing unit that generates output information including at least one of an image of the detection target element in the inspection target image, the number, and position information; and teacher information including information of the detection target element for evaluating the output information. A teacher information input unit, an evaluation value calculation unit that compares the output information and the teacher information to calculate an evaluation value, and ranks the individual information based on this evaluation value; and ranking the individual information. A gene manipulating unit for updating or changing the individual group storage unit by selecting or changing the individual information based on the information.
また、本発明の画像処理プログラムは、生物の進化を数学的に模擬した最適化手法である遺伝的操作により、画像から検出対象を検出する画像処理を最適化する画像処理プログラムであって、コンピュータを、有閉路を含み得るネットワーク状に複数の機能単位の実行順序を定義する一又は二以上の個体情報を記憶する個体群記憶部、検査対象物が表示された学習用又は検証用の検査対象画像を入力する検査対象画像入力部、検査対象物が正しく表示された良品画像を入力する良品画像入力部、前記個体情報及び前記良品画像にもとづいて前記検査対象画像を処理し、前記検査対象画像における検出対象要素の画像、個数、及び位置情報の少なくともいずれかを含む出力情報を生成する画像処理部、前記出力情報を評価するための検出対象要素の情報を含む教師情報を入力する教師情報入力部、前記出力情報と前記教師情報を比較して評価値を計算し、この評価値にもとづき前記個体情報を順位付けする評価値計算部、及び、前記個体情報の順位付け情報にもとづき前記個体情報の選択又は変更を行って、前記個体群記憶部を更新する遺伝子操作部として機能させる構成としてある。 Further, the image processing program of the present invention is an image processing program for optimizing image processing for detecting a detection target from an image by a genetic operation, which is an optimization method mathematically simulating evolution of a living being, and is a computer program. , An individual group storage unit that stores one or more individual information items that define the execution order of a plurality of functional units in a network that may include a closed circuit, an inspection target for learning or verification in which the inspection target object is displayed. An inspection target image input unit for inputting an image, a non-defective product image input unit for inputting a non-defective product image in which an inspection target object is correctly displayed, the inspection target image is processed based on the individual information and the non-defective product image, and the inspection target image An image processing unit that generates output information including at least one of an image of the detection target element, the number, and position information, and teacher information input that inputs teacher information including information of the detection target element for evaluating the output information. Unit, an evaluation value calculation unit that compares the output information and the teacher information to calculate an evaluation value, and ranks the individual information based on the evaluation value; and the individual information based on the ranking information of the individual information. Is selected or changed to function as a gene operation unit that updates the population storage unit.
本発明によれば、外観検査の画像処理技術おいて、画像から検出対象を見つけ出す画像処理を最適化することが可能な画像処理システム、及び画像処理プログラムの提供が可能となる。 According to the present invention, it is possible to provide an image processing system and an image processing program capable of optimizing the image processing for finding a detection target from an image in the image processing technique of appearance inspection.
以下、本発明の画像処理システム、及び画像処理プログラムの実施形態について詳細に説明する。ただし、本発明は、以下の実施形態、及び後述する実施例の具体的な内容に限定されるものではない。 Hereinafter, embodiments of the image processing system and the image processing program of the present invention will be described in detail. However, the present invention is not limited to the specific contents of the following embodiments and examples described below.
［第一実施形態］
まず、本発明の第一実施形態に係る画像処理システムについて、図１〜図３を参照して説明する。図１は、本実施形態の画像処理システムに相当する画像処理装置の構成を示すブロック図であり、図２は、同画像処理システムによる処理手順を示すフローチャートである。また、図３は、同画像処理システムによる処理手順における遺伝子操作の処理手順を示すフローチャートである。
[First embodiment]
First, an image processing system according to the first embodiment of the present invention will be described with reference to FIGS. FIG. 1 is a block diagram showing a configuration of an image processing apparatus corresponding to the image processing system of this embodiment, and FIG. 2 is a flowchart showing a processing procedure by the image processing system. Further, FIG. 3 is a flowchart showing a processing procedure of gene manipulation in the processing procedure by the image processing system.
本実施形態の画像処理システムは、生物の進化を数学的に模擬した最適化手法である遺伝的操作により、画像から検出対象を検出する画像処理を最適化する。
具体的には、本実施形態の画像処理システムに相当する画像処理装置１は、図１に示すように、機能単位記憶部１０、個体生成部１１、個体群記憶部１２、検査対象画像入力部１３、検査対象画像記憶部１４、良品画像入力部１５、良品画像記憶部１６、教師情報入力部１７、教師情報記憶部１８、画像処理部１９、出力情報記憶部２０、評価値計算部２１、評価結果記憶部２２、及び遺伝子操作部２３を備えている。
The image processing system according to the present embodiment optimizes image processing for detecting a detection target from an image by a genetic operation, which is an optimization method that mathematically simulates the evolution of living things.
Specifically, as shown in FIG. 1, the image processing apparatus 1 corresponding to the image processing system of the present embodiment has a functional unit storage unit 10, an individual generation unit 11, an individual group storage unit 12, an inspection target image input unit. 13, inspection target image storage unit 14, non-defective item image input unit 15, non-defective item image storage unit 16, teacher information input unit 17, teacher information storage unit 18, image processing unit 19, output information storage unit 20, evaluation value calculation unit 21, The evaluation result storage unit 22 and the gene operation unit 23 are provided.
本実施形態の画像処理装置１におけるこれらの各構成は、図１に示すように一個の情報処理装置に全て備えることができる。また、これらの各構成は、複数の情報処理装置からなる画像処理システムの各装置に分散して備えてもよい。これは、後述する各実施形態についても同様である。 Each of these components in the image processing device 1 of the present embodiment can be provided in one information processing device as shown in FIG. Further, each of these configurations may be distributed and provided in each device of the image processing system including a plurality of information processing devices. This also applies to each embodiment described later.
機能単位記憶部１０は、ある処理を実行する機能単位であるノード（遺伝子に相当する）をノード番号ごとに記憶する。本実施形態において、このノードとして、画像処理を行うための様々なものを用いることができ、後述する実施例では、図６〜図１２に示すものを用いている。
また、これらのノードは、それぞれの処理の実行に用いるパラメータが存在する場合には、そのパラメータと共に機能単位記憶部１０に記憶される。
The functional unit storage unit 10 stores, for each node number, a node (corresponding to a gene) that is a functional unit that executes a certain process. In the present embodiment, various nodes for performing image processing can be used as this node, and the nodes shown in FIGS. 6 to 12 are used in Examples described later.
In addition, these nodes are stored in the functional unit storage unit 10 together with the parameters, if the parameters used to execute the respective processes exist.
さらに、ノードとして、何ら処理を実行しないものを用いてもよく、複数の処理を実行する機能単位をまとめたものを１個のノード（ノードセット）として用いてもよい。ノードとして何ら処理を実行しないものを含めて用いることにより、例えば個体情報を生成するための初期ノード数の設定値が多すぎた場合などに、実質的なノード数を減らすことができる。 Furthermore, as a node, a node that does not execute any process may be used, or a group of functional units that execute a plurality of processes may be used as one node (node set). By using nodes that do not execute any processing, the substantial number of nodes can be reduced, for example, when the set value of the initial number of nodes for generating individual information is too large.
本明細書において、「画像処理」には、ノイズ除去処理のための各種フィルタ処理や、輝度補正などの補正処理、２値化処理、エッジ検出処理、周波数フィルタ処理、四則演算処理、ファジ演算処理等の狭義の画像処理の他、これに伴って実行され得る検出対象の判定処理、及び出力処理などが含まれる。 In the present specification, "image processing" includes various filter processing for noise removal processing, correction processing such as brightness correction, binarization processing, edge detection processing, frequency filter processing, four arithmetic operations processing, fuzzy arithmetic processing. In addition to the image processing in a narrow sense such as, a detection target determination processing and an output processing that may be executed in association therewith are included.
個体生成部１１は、機能単位記憶部１０に記憶されているノードを用いて、複数のノードの配列からなる個体情報を生成する。このとき、個体生成部１１は、複数のノードにもとづいて、複数の個体情報をランダムに生成することができる。
またこのとき、個体生成部１１は、個体情報において、有閉路を含み得るネットワーク状に複数のノードの実行順序を定義することができる。このネットワークは、向きが付いたリンクにより構成される有向ネットワークであり、フィードバックが含まれることがある。また、このネットワークには、直線構造と木構造も含まれ得る。
The individual generation unit 11 uses the nodes stored in the functional unit storage unit 10 to generate individual information including an array of a plurality of nodes. At this time, the individual generation unit 11 can randomly generate a plurality of individual information based on the plurality of nodes.
Further, at this time, the individual generation unit 11 can define the execution order of the plurality of nodes in a network shape that may include closed cycles in the individual information. This network is a directed network composed of directed links and may include feedback. The network may also include a linear structure and a tree structure.
このような個体情報を用いれば、直線構造や木構造のみからなる個体情報を用いる場合に比較して、より柔軟な表現力を持つネットワーク構造を含めて学習を行うことができるため、最適解（実用上の最適解，実用解）を導き出す上で優位性がある。すなわち、問題に対してどの構造体が最適解になるかは人が事前に把握することができないため、機械学習の前に構造体の条件を決定することは難しい。このため、個体情報として、有閉路を含み得るネットワーク状に複数のノードの実行順序を定義するものを使用して、幅広い条件で最適解を探索することは、真の最適解を導き出せる可能性を高める上で有効と考えられる。 By using such individual information, it is possible to perform learning including a network structure having a more flexible expressive power, as compared with the case of using individual information consisting only of a linear structure or a tree structure, and thus an optimal solution ( It has an advantage in deriving a practical optimum solution and a practical solution). That is, since it is not possible for a person to grasp in advance which structure is the optimum solution for the problem, it is difficult to determine the condition of the structure before machine learning. Therefore, using the individual information that defines the execution order of multiple nodes in a network that may include closed cycles, searching for an optimal solution under a wide range of conditions may lead to the possibility of deriving a true optimal solution. It is considered to be effective in raising the level.
個体群記憶部１２は、個体生成部１１によって生成された複数の個体情報からなる個体群を記憶する。この個体群として、一の世代又は複数の世代を個体群記憶部１２に記憶させることができ、世代番号ごとに個体情報を個体群記憶部１２に記憶させることができる。
後述する評価値計算部２１は、世代ごとに個体情報を順位付けして、順位付け情報を評価結果記憶部２２に記憶させることができる。
The individual group storage unit 12 stores an individual group including a plurality of pieces of individual information generated by the individual generation unit 11. As this individual group, one generation or a plurality of generations can be stored in the individual group storage unit 12, and individual information can be stored in the individual group storage unit 12 for each generation number.
The evaluation value calculation unit 21 described later can rank the individual information for each generation and store the ranking information in the evaluation result storage unit 22.
検査対象画像入力部１３は、検査対象物が表示された学習用又は検証用の検査対象画像を画像処理装置１に入力して、画像識別情報ごとに検査対象画像記憶部１４に記憶させる。
良品画像入力部１５は、検査対象物が正しく表示された良品画像を画像処理装置１に入力して、画像識別情報ごとに良品画像記憶部１６に記憶させる。
The inspection target image input unit 13 inputs the learning or verification inspection target image in which the inspection target object is displayed to the image processing apparatus 1, and stores the inspection target image for each image identification information in the inspection target image storage unit 14.
The non-defective image input unit 15 inputs the non-defective image in which the inspection object is correctly displayed to the image processing apparatus 1 and stores the non-defective image storage unit 16 for each image identification information.
ここで、良品画像とは、正常な検査対象物を事前に撮影して得られた画像であり、人による目視外観検査において、人が記憶している良品や、ラインに流れる検査対象物の前後の製品を模擬するものである。
本実施形態の画像処理システムでは、このように良品画像を検査対象画像と共に入力して画像処理を行うことで、周辺視を再現することが可能になっている。
Here, the non-defective image is an image obtained by previously taking a picture of a normal inspection object, and in a visual appearance inspection by a person, a non-defective item memorized by a person and the front and rear of the inspection object flowing in a line. It is a simulated product of.
In the image processing system of this embodiment, peripheral vision can be reproduced by inputting a non-defective image together with an image to be inspected and performing image processing as described above.
教師情報入力部１７は、画像識別情報に対応させて、出力情報を評価するための教師情報として、当該画像識別情報に対応する検査対象画像における検出対象要素の画像を入力し、当該画像識別情報ごとに教師情報記憶部１８に記憶させる。
ここで、検出対象要素とは、検査対象画像における欠陥（クラック、キズ、汚れなど）、特定の部品、特定の柄等とすることができる。なお、検出対象要素が検査対象画像の全体に相当する場合もあり得る。
The teacher information input unit 17 inputs the image of the detection target element in the inspection target image corresponding to the image identification information as the teacher information for evaluating the output information in association with the image identification information, and the image identification information It is stored in the teacher information storage unit 18 for each.
Here, the detection target element can be a defect (crack, scratch, dirt, etc.) in the inspection target image, a specific component, a specific pattern, or the like. Note that the detection target element may correspond to the entire inspection target image.
画像処理部１９は、検査対象画像記憶部１４から検査対象画像を入力すると共に、良品画像記憶部１６から良品画像を入力する。そして、個体群記憶部１２から個体情報を入力し、その個体情報にもとづき当該個体情報に含まれる複数のノードを順次実行することによって、検査対象画像に対して画像処理を行う。
これにより、ノードの実行において良品画像が用いられることによって、検査対象画像に対する画像処理の最適化を、周辺視を模擬したより優れたものにすることが可能となっている。
The image processing unit 19 inputs the inspection target image from the inspection target image storage unit 14 and inputs the non-defective product image from the non-defective product image storage unit 16. Then, the individual information is input from the individual group storage unit 12, and the plurality of nodes included in the individual information are sequentially executed based on the individual information to perform image processing on the inspection target image.
As a result, by using the non-defective image in the execution of the node, it is possible to optimize the image processing for the image to be inspected, which is superior to that of simulating peripheral vision.
このとき、各ノードは、画像から得られる情報を用いて、それぞれの機能に対応する処理を実行する。また、各ノードは、その処理結果にもとづいて、処理結果に対応する次のノードを選択的に実行し得る。したがって、個体情報に含まれるノードであっても、画像処理において、必ずしも全てのノードが実行される訳ではない。勿論、個体情報における全てのノードが実行される場合はある。また、フィードバックが行われることによって、一つの個体情報において１つのみ定義されているノードが、複数回実行されることもあり得る。 At this time, each node uses the information obtained from the image to execute the process corresponding to each function. In addition, each node can selectively execute the next node corresponding to the processing result based on the processing result. Therefore, even if the node is included in the individual information, not all the nodes are necessarily executed in the image processing. Of course, all the nodes in the individual information may be executed. Further, by performing feedback, a node in which only one is defined in one piece of individual information may be executed multiple times.
また、ノードの機能としては、上述したように、ノイズ除去処理のための各種画像フィルタ処理や、輝度補正などの補正処理、２値化処理、エッジ検出処理、周波数フィルタ処理、四則演算処理、ファジ演算処理等の狭義の画像処理がある。これらは、画像処理部１９によって、主として、検出対象要素の候補（検出対象候補）を見つけるための処理として行われる。 Further, as described above, the function of the node includes various image filter processing for noise removal processing, correction processing such as luminance correction, binarization processing, edge detection processing, frequency filter processing, four arithmetic operations processing, fuzzy processing. There is image processing in a narrow sense such as arithmetic processing. These are mainly performed by the image processing unit 19 as a process for finding candidates for detection target elements (detection target candidates).
また、ノードの機能としての検出対象の判定処理は、画像処理部１９によって、画像における一定範囲の検出対象要素の候補をラベリングしてその特徴量を計算し、閾値などにもとづいて、その特徴量を備えた検出対象要素の候補が、正しい検出対象要素であるか否かを判定する処理として行われる。
なお、検出対象の判定処理において、非検出対象要素の候補をラベリングしてその特徴量を計算し、閾値などにもとづきその特徴量を備えていないことにより、検出対象要素でないことを判定する処理を行うこともできる。
Further, in the detection target determination processing as the function of the node, the image processing unit 19 labels the candidates of the detection target element in a certain range in the image, calculates the characteristic amount thereof, and based on the threshold value or the like, the characteristic amount is calculated. It is performed as a process of determining whether or not the candidate of the detection target element including is a correct detection target element.
In the detection target determination process, the candidate of the non-detection target element is labeled to calculate its feature amount, and the feature amount is not provided based on the threshold value, etc. You can also do it.
さらに、画像処理部１９は、出力情報を生成して出力する。
具体的には、検査対象画像における検出対象要素の画像を出力情報として生成する。そして、この出力情報を当該検査対象画像の画像識別情報ごとで、かつ個体情報の識別情報ごとに出力情報記憶部２０に記憶させることができる。
このように、本実施形態における画像処理部１９によって得られる出力情報は、検査対象画像における検出対象要素の画像として生成される。
Further, the image processing unit 19 generates and outputs output information.
Specifically, the image of the detection target element in the inspection target image is generated as output information. Then, the output information can be stored in the output information storage unit 20 for each image identification information of the inspection target image and for each identification information of the individual information.
In this way, the output information obtained by the image processing unit 19 in the present embodiment is generated as an image of the detection target element in the inspection target image.
評価値計算部２１は、出力情報記憶部２０から出力情報を入力すると共に、教師情報記憶部１８からその出力情報に対応する画像識別情報に対応する教師情報を入力する。
そして、出力情報と教師情報を比較して評価値を計算し、得られた評価値を当該検査対象画像の画像識別情報ごとで、かつ個体情報の識別情報ごとに評価結果記憶部２２に記憶させることができる。
このとき、評価値計算部２１は、出力情報と教師情報を用いて、検査対象要素の画像の輝度を１ピクセルごとに比較し、最小二乗法により、平均二乗誤差を評価値として算出することができる。
The evaluation value calculation unit 21 inputs the output information from the output information storage unit 20 and the teacher information corresponding to the image identification information corresponding to the output information from the teacher information storage unit 18.
Then, the evaluation value is calculated by comparing the output information and the teacher information, and the obtained evaluation value is stored in the evaluation result storage unit 22 for each image identification information of the inspection target image and for each identification information of the individual information. be able to.
At this time, the evaluation value calculation unit 21 can compare the brightness of the image of the inspection target element for each pixel using the output information and the teacher information, and calculate the mean square error as the evaluation value by the least square method. it can.
また、評価値計算部２１は、個体群記憶部１２に記憶されている全ての個体情報（又は１世代分の個体情報）につき評価値を計算し終えて評価結果記憶部２２に記憶させた場合などに、これらの評価値にもとづき個体情報を順位付け（ランキング）して、得られた順位付け情報を評価結果記憶部２２に記憶させることができる。 Further, when the evaluation value calculation unit 21 has calculated the evaluation values for all the individual information (or individual generation's worth of individual information) stored in the individual group storage unit 12, and stores the evaluation values in the evaluation result storage unit 22. For example, the individual information can be ranked based on these evaluation values and the obtained ranking information can be stored in the evaluation result storage unit 22.
さらに、評価値計算部２１は、画像処理部１９による画像処理を終了するか否かを判定するための終了判定を行うことができる。終了判定は、終了条件を満たすか否かにもとづき行うことができ、終了条件を満たす場合、画像処理部１９による画像の処理を終了させて、画像処理装置１による処理を終了させることができる。そして、評価結果記憶部２２に記憶された最も評価値の高い個体情報が、画像処理を行うための最適化された個体情報として得られる。 Furthermore, the evaluation value calculation unit 21 can make an end determination for determining whether to end the image processing by the image processing unit 19. The termination determination can be performed based on whether or not the termination condition is satisfied. When the termination condition is satisfied, the image processing unit 19 can terminate the image processing and the image processing apparatus 1 can terminate the processing. Then, the individual information with the highest evaluation value stored in the evaluation result storage unit 22 is obtained as the optimized individual information for performing the image processing.
終了条件としては、予め設定した全ての世代の個体群について画像処理を完了した場合や、一定の世代数以上で進化が発生していない場合などを挙げることができる。
進化が発生していない場合とは、評価値が、比較対象の時点よりも高くなっていない場合である。なお、後述する実施例では、評価値として平均二乗誤差を用いているため、評価値の小さいほうが良い個体情報となる。したがって、一定の世代数について画像処理を行って評価値が小さくなっていなければ、進化していないと判定できる。
The termination condition can be, for example, the case where image processing has been completed for all preset populations of generations, or the case where evolution has not occurred over a certain number of generations.
The case where evolution has not occurred is the case where the evaluation value is not higher than the time point for comparison. In the examples described below, the mean square error is used as the evaluation value. Therefore, the smaller the evaluation value, the better the individual information. Therefore, if the evaluation value is not reduced by performing image processing for a certain number of generations, it can be determined that the evolution has not occurred.
なお、評価値計算部２１からこの終了判定の機能を分離して、本実施形態の画像処理装置１において終了判定を行うための終了判定部を備えてもよい。 It should be noted that the end determination function may be provided in the image processing apparatus 1 of the present embodiment by separating the function of the end determination from the evaluation value calculation unit 21.
遺伝子操作部２３は、評価結果記憶部２２における個体情報の順位付け情報にもとづいて、個体情報の選択又は変更を行って、個体群記憶部１２を更新する。
具体的には、遺伝子操作部２３は、評価値が高い個体情報を次世代に残すエリート個体保存部と、評価値にもとづいて、一定の確率で個体情報を次世代に残す個体選択部と、２つの個体情報の一部を相互に交換する交叉部と、選択された１つの個体情報の一部又は全部をランダムに書き換える突然変異部とを有するものとすることができる。
The gene manipulating unit 23 selects or changes individual information based on the ranking information of the individual information in the evaluation result storage unit 22, and updates the individual group storage unit 12.
Specifically, the gene operation unit 23 includes an elite individual storage unit that leaves individual information with a high evaluation value to the next generation, and an individual selection unit that leaves individual information to the next generation with a certain probability based on the evaluation value. It is possible to have a crossover section for exchanging a part of two pieces of individual information with each other and a mutation section for randomly rewriting a part or all of one selected piece of individual information.
エリート個体保存部は、各世代の個体群において、一番評価値の良い個体情報などを、無条件で次世代に残す処理を行うことができる。
個体選択部は、各世代の個体群において、評価値の順位の高い個体情報を高い確率で選択して、次世代に残す処理を行うことができる。
The elite individual storage unit can unconditionally leave the individual information having the best evaluation value in the individual population of each generation in the next generation.
The individual selection unit can perform a process of selecting, with a high probability, individual information having a higher evaluation value rank in the individual population of each generation and leaving the information for the next generation.
交叉部は、交叉処理として、複数の個体情報の各ノードの配列における同一（ノード番号）の並びについて、ある確率で入れ替える１様交叉を行うことができる。また、交叉部は、交叉処理として、各ノードの配列における同一の並びの１点を境として、一方の配列を相互に入れ替える１点交叉や、同一の並びの複数点を境として配列を相互に入れ替える複数点交叉を行うこともできる。交叉部は、このような交叉処理を、個体選択部により選択された個体情報に対して行うことができる。 As a crossover process, the crossover unit can perform a one-way crossover in which the same (node number) arrangement in the array of each node of a plurality of individual information is replaced with a certain probability. Further, the crossover unit performs a crossover process by using a single point in the array of each node as a boundary and exchanging one array with each other, or a plurality of points in the same array as a boundary. It is also possible to carry out a multi-point crossover to be replaced. The crossover unit can perform such crossover processing on the individual information selected by the individual selection unit.
突然変異部は、突然変異処理として、機能単位記憶部１０に記憶されているノードを用いて、個体情報ごとに一定の確率でその個体情報の一部を書き換えたり、その個体情報の全てを書き換えることができる。突然変異部は、このような突然変異処理を、個体選択部により選択された個体情報に対して行うことができる。また、突然変異部は、突然変異処理として、機能単位記憶部１０に記憶されているノードを用いて、新しい個体情報を生成することもできる。 As a mutation process, the mutation unit uses a node stored in the functional unit storage unit 10 to rewrite a part of the individual information with a certain probability for each individual information, or rewrite all of the individual information. be able to. The mutation unit can perform such mutation processing on the individual information selected by the individual selection unit. The mutation unit can also generate new individual information by using the node stored in the functional unit storage unit 10 as the mutation process.
なお、同じ個体情報にもとづいて生成された同系列個体が増えると、多様性が失われて進化が袋小路（数学的に局所解に陥った状態）に入ってしまう。一方、同系列以外の個体を増やしすぎると、ランダム探索に近づき、効率的な進化が行われない。
そこで、学習初期では多様性を持たせるために、同系列以外の個体を増やすように突然変異部による処理を行い、学習中期では効率的な進化を実施するために、個体選択部により同系列を増やすことが好ましい。また、進化が止まった場合には、再度多様性を持たせるために突然変異部により同系列以外を増やすことなどを好適に行うことができる。
It should be noted that if the number of individuals of the same series that are generated based on the same individual information increases, the diversity is lost and the evolution enters a blind alley (a state where mathematically it falls into a local solution). On the other hand, if the number of individuals other than the same series is increased too much, the random search will be approached and efficient evolution will not be performed.
Therefore, in the early stage of learning, in order to have diversity, processing by the mutation part is performed so as to increase the number of individuals other than the same series, and in the middle stage of learning, the same series is selected by the individual selection part in order to carry out efficient evolution. It is preferable to increase. Further, when the evolution is stopped, it is possible to suitably increase the number other than the same line by the mutation part in order to make the diversity again.
そして、遺伝子操作部２３は、新たな世代の個体群を生成して、個体群記憶部１２に記憶させる。このとき、遺伝子操作部２３は、前の世代の個体群を上書きすることにより、個体群記憶部１２を更新することができる。また、複数世代の個体群を世代ごとに記憶させることにより、個体群記憶部１２を更新することもできる。 Then, the gene operation unit 23 generates a new generation population and stores it in the population storage unit 12. At this time, the gene operation unit 23 can update the population storage unit 12 by overwriting the population of the previous generation. Further, the individual group storage unit 12 can be updated by storing a plurality of individual groups for each generation.
本実施形態の画像処理システムにおいて、検査対象画像入力部１３が検査用の画像を入力し、最も評価値の高い個体情報及び良品画像にもとづき画像処理部１９によって検査用の画像を処理して得られた処理結果情報を記憶する処理結果記憶部（図示しない）を備えた構成とすることも好ましい。
処理結果情報としては、例えば、検出対象要素の画像、個数を示す数値、検出対象として認識された位置、検出対象要素の範囲外において検出対象として認識された数等を用いることができる。
In the image processing system of this embodiment, the inspection target image input unit 13 inputs an inspection image, and the image processing unit 19 processes the inspection image based on the individual information having the highest evaluation value and the non-defective image to obtain the inspection image. It is also preferable to have a configuration including a processing result storage unit (not shown) that stores the obtained processing result information.
As the processing result information, for example, an image of the detection target element, a numerical value indicating the number, a position recognized as the detection target, a number recognized as the detection target outside the range of the detection target element, or the like can be used.
また、このような構成において、検査対象画像入力部１３が、検査対象物を撮影して得られた画像をリアルタイムで検査用の画像として入力すると共に、良品画像入力部１５が、検査対象物と同一種類の他の検査対象物を撮影して得られた画像をリアルタイムで良品画像として入力する構成とすることも好ましい。
検査対象物と同一種類の他の検査対象物としては、例えばラインに流れる検査対象物の前後の製品などを用いることができる。
Further, in such a configuration, the inspection object image input unit 13 inputs the image obtained by photographing the inspection object as an image for inspection in real time, and the non-defective product image input unit 15 detects the inspection object as the inspection object. It is also preferable that an image obtained by photographing another inspection object of the same type is input as a non-defective product image in real time.
As another inspection object of the same type as the inspection object, for example, products before and after the inspection object flowing on the line can be used.
本実施形態をこのような構成にすれば、製品の検査時において、ラインに流れる検査対象物の前後の製品を良品画像として用いることができ、画像処理システムにおいて周辺視を好適に再現することが可能である。 According to this embodiment, when the product is inspected, the products before and after the inspection object flowing in the line can be used as the non-defective image, and the peripheral vision can be appropriately reproduced in the image processing system. It is possible.
次に、本実施形態の画像処理システムによる処理手順について、図２及び図３を参照して説明する。
まず、画像処理装置１における検査対象画像入力部１３が、検査対象画像を入力して検査対象画像記憶部１４に記憶させる（ステップ１０）。また、良品画像入力部１５が、良品画像を入力して、良品画像記憶部１６に記憶させる（ステップ１１）。さらに、教師情報入力部１７が、教師情報としての検出対象要素の画像を入力して、教師情報記憶部１８に記憶させる（ステップ１２）。そして、個体生成部１１によって、初期個体群が生成され、個体群記憶部１２に記憶される（ステップ１３）。なお、これらのステップの順番は入れ替えてもよい。
Next, a processing procedure by the image processing system of this embodiment will be described with reference to FIGS. 2 and 3.
First, the inspection target image input unit 13 of the image processing apparatus 1 inputs the inspection target image and stores it in the inspection target image storage unit 14 (step 10). Further, the non-defective item image input unit 15 inputs the non-defective item image and stores it in the non-defective item image storage unit 16 (step 11). Further, the teacher information input unit 17 inputs the image of the detection target element as the teacher information and stores it in the teacher information storage unit 18 (step 12). Then, the individual generation unit 11 generates an initial population and stores it in the population storage unit 12 (step 13). The order of these steps may be changed.
このとき、個体生成部１１は、機能単位記憶部１０からノードをランダムに選択して配列することにより個体情報を生成して、個体情報の識別情報ごとに個体群記憶部１２に記憶させることができる。また、個体生成部１１は、複数の個体情報からなる個体群を一つの世代として、世代番号ごとに複数の世代の個体群を個体群記憶部１２に記憶させることもできる。 At this time, the individual generation unit 11 may generate individual information by randomly selecting and arranging the nodes from the functional unit storage unit 10, and store the individual information in the individual group storage unit 12 for each identification information of the individual information. it can. Moreover, the individual generation unit 11 can also store the individual group of a plurality of generations for each generation number in the individual group storage unit 12 with the individual group including a plurality of individual information as one generation.
次に、画像処理部１９は、個体群記憶部１２における個体群の世代ごとに、個体群における全ての個体情報について画像処理を実行する（ステップ１４、１５、１６）。
このとき、画像処理部１９は、個体情報ごとに出力情報として、検査対象画像における検出対象要素の画像を出力して、出力情報記憶部２０に記憶させる。
Next, the image processing unit 19 executes image processing for all individual information in the individual group for each generation of the individual group in the individual group storage unit 12 (steps 14, 15, 16).
At this time, the image processing unit 19 outputs the image of the detection target element in the inspection target image as output information for each individual piece of information, and stores it in the output information storage unit 20.
次に、評価値計算部２１は、個体情報ごとに、出力情報と教師情報を比較して、評価値を計算する（ステップ１７）。
このとき、評価値計算部２１による評価値の計算において、例えば最小二乗法を用いて、評価値として平均二乗誤差を算出することができる。
また、評価値計算部２１は、得られた評価値を評価結果記憶部２２に個体情報ごとに記憶させる。
そして、当該世代の全ての個体情報について、画像の処理から評価値の計算及び記憶までの処理を繰り返し実行する。
Next, the evaluation value calculation unit 21 calculates the evaluation value by comparing the output information and the teacher information for each individual information (step 17).
At this time, in the evaluation value calculation by the evaluation value calculation unit 21, the mean square error can be calculated as the evaluation value by using, for example, the least square method.
Further, the evaluation value calculation unit 21 stores the obtained evaluation value in the evaluation result storage unit 22 for each individual information.
Then, the process from image processing to calculation and storage of evaluation values is repeatedly executed for all individual information of the generation.
次に、評価値計算部２１は、評価結果記憶部２２に記憶されている評価値にもとづいて、個体情報の順位付けを行う（ステップ１８）。
また、評価値計算部２１は、終了条件が満たされているか否かの判定処理を行う（ステップ１９）。終了条件が満たされている場合、画像処理装置１による処理を終了する。
Next, the evaluation value calculation unit 21 ranks the individual information based on the evaluation values stored in the evaluation result storage unit 22 (step 18).
In addition, the evaluation value calculation unit 21 performs a determination process of whether or not the end condition is satisfied (step 19). If the termination condition is satisfied, the processing by the image processing apparatus 1 is terminated.
終了条件が満たされていない場合、遺伝子操作部２３は、遺伝子操作処理を実行する（ステップ２０）。
具体的には、図３に示すように、遺伝子操作部２３におけるエリート個体保存部は、最も評価値の高い個体情報を次世代の個体群の個体情報として選択する（ステップ３０）。
また、遺伝子操作部２３における個体選択部は、評価値の順位の高い個体情報ほど高い確率で次世代の個体群の個体情報として選択する（ステップ３１）。
If the termination condition is not satisfied, the gene manipulation unit 23 executes a gene manipulation process (step 20).
Specifically, as shown in FIG. 3, the elite individual storage unit in the gene manipulation unit 23 selects the individual information having the highest evaluation value as the individual information of the next-generation individual group (step 30).
Further, the individual selection unit in the gene operation unit 23 selects the individual information having a higher evaluation value rank as the individual information of the next-generation individual group with a higher probability (step 31).
さらに、遺伝子操作部２３における交叉部は、個体選択部により選択された個体情報に対して、交叉処理を実行して、新たな個体情報を生成する（ステップ３２）。
また、遺伝子操作部２３における突然変異部は、個体選択部により選択された個体情報にもとづいて、またはこれらの個体情報を用いることなく、突然変異処理を行い、新たな個体情報を生成する（ステップ３３）。
なお、エリート個体保存部、個体選択部、交叉部、突然変異部による各処理の順序を、各処理を実行可能な順序の範囲で入れ替えて実行してもよい。
Further, the crossover unit in the gene operation unit 23 performs crossover processing on the individual information selected by the individual selection unit to generate new individual information (step 32).
In addition, the mutation unit in the gene operation unit 23 performs mutation processing based on the individual information selected by the individual selection unit or without using such individual information to generate new individual information (step 33).
It should be noted that the order of each process performed by the elite individual storage unit, individual selection unit, crossover unit, and mutation unit may be changed and executed within a range in which each process can be executed.
このような本実施形態の画像処理装置によれば、外観検査の画像処理技術において、検査対象物の画像だけではなく、良品画像を併せて入力画像として画像処理を行い、得られた出力情報を教師情報と比較することにより画像処理に周辺視を適用し、進化的計算によって画像処理を最適化することができる。
また、進化的計算において、遺伝的ネットワークプログラミング（ＧＮＰ）の手法を採用することにより、最適化の自由度を向上させることが可能になっている。
According to the image processing apparatus of the present embodiment as described above, in the image processing technique of the appearance inspection, not only the image of the inspection object but also the non-defective image is subjected to the image processing as the input image, and the obtained output information is obtained. Peripheral vision can be applied to the image processing by comparing with the teacher information, and the image processing can be optimized by evolutionary calculation.
Further, in evolutionary computation, by adopting a method of genetic network programming (GNP), it is possible to improve the degree of freedom in optimization.
［第二実施形態］
次に、本発明の第二実施形態に係る画像処理システムについて説明する。本実施形態の画像処理システムは、教師情報として、検査対象画像における検出対象要素の個数を示す数値を用いる点で、第一実施形態と相違する。その他の点は、第一実施形態と同様である。
[Second embodiment]
Next, an image processing system according to the second embodiment of the present invention will be described. The image processing system of the present embodiment differs from the first embodiment in that a numerical value indicating the number of detection target elements in the inspection target image is used as the teaching information. Other points are the same as in the first embodiment.
すなわち、本実施形態の画像処理システムに相当する画像処理装置１ａは、図示しないが、機能単位記憶部１０ａ、個体生成部１１ａ、個体群記憶部１２ａ、検査対象画像入力部１３ａ、検査対象画像記憶部１４ａ、良品画像入力部１５ａ、良品画像記憶部１６ａ、教師情報入力部１７ａ、教師情報記憶部１８ａ、画像処理部１９ａ、出力情報記憶部２０ａ、評価値計算部２１ａ、評価結果記憶部２２ａ、及び遺伝子操作部２３ａを備えており、これらは以下の点を除いて、第一実施形態において対応する各構成と同様の機能を備えている。 That is, although not shown, the image processing apparatus 1a corresponding to the image processing system of this embodiment has a functional unit storage unit 10a, an individual generation unit 11a, an individual group storage unit 12a, an inspection target image input unit 13a, and an inspection target image storage. Section 14a, non-defective image input section 15a, non-defective image storage section 16a, teacher information input section 17a, teacher information storage section 18a, image processing section 19a, output information storage section 20a, evaluation value calculation section 21a, evaluation result storage section 22a, And a gene manipulating unit 23a, which have the same functions as the corresponding components in the first embodiment except for the following points.
本実施形態の画像処理装置１ａにおいて、教師情報入力部１７ａは、画像識別情報に対応させて、出力情報を評価するための教師情報として、当該画像識別情報に対応する検査対象画像における検出対象要素の個数を示す数値を入力し、当該画像識別情報ごとに教師情報記憶部１８ａに記憶させる。 In the image processing apparatus 1a of the present embodiment, the teacher information input unit 17a uses the detection target element in the inspection target image corresponding to the image identification information as the teacher information for evaluating the output information in association with the image identification information. A numerical value indicating the number of images is input and stored in the teacher information storage unit 18a for each image identification information.
また、画像処理部１９ａは、検査対象画像記憶部１４ａから検査対象画像を入力すると共に、良品画像記憶部１６ａから良品画像を入力する。そして、個体群記憶部１２ａから個体情報を入力し、その個体情報にもとづき当該個体情報に含まれる複数のノードを順次実行することによって、検査対象画像に対して画像処理を行う。 Further, the image processing unit 19a inputs the inspection target image from the inspection target image storage unit 14a and inputs the non-defective product image from the non-defective product image storage unit 16a. Then, the individual information is input from the individual group storage unit 12a, and the plurality of nodes included in the individual information are sequentially executed based on the individual information to perform the image processing on the inspection target image.
本実施形態において、画像処理部１９ａは、検査対象画像における検出対象要素の個数を示す数値を出力情報として生成する。そして、この出力情報を当該画像の画像識別情報ごとで、かつ個体情報の識別情報ごとに出力情報記憶部２０ａに記憶させることができる。
このように、本実施形態における画像処理部１９ａによって得られる出力情報は、検査対象画像における検出対象要素の個数を示す数値として生成される。
In the present embodiment, the image processing unit 19a generates, as output information, a numerical value indicating the number of detection target elements in the inspection target image. Then, the output information can be stored in the output information storage unit 20a for each image identification information of the image and for each identification information of the individual information.
In this way, the output information obtained by the image processing unit 19a in the present embodiment is generated as a numerical value indicating the number of detection target elements in the inspection target image.
評価値計算部２１ａは、出力情報記憶部２０ａから出力情報を入力すると共に、教師情報記憶部１８ａからその出力情報に対応する画像識別情報に対応する教師情報を入力する。
そして、出力情報と教師情報を比較して評価値を計算し、得られた評価値を当該検査対象画像の画像識別情報ごとで、かつ個体情報の識別情報ごとに評価結果記憶部２２ａに記憶させることができる。
The evaluation value calculation unit 21a inputs the output information from the output information storage unit 20a and the teacher information corresponding to the image identification information corresponding to the output information from the teacher information storage unit 18a.
Then, the output information and the teacher information are compared to calculate an evaluation value, and the obtained evaluation value is stored in the evaluation result storage unit 22a for each image identification information of the inspection target image and for each identification information of the individual information. be able to.
ここで、教師情報を画像にする場合、最小二乗法による評価では、検出対象要素の大きさに評価値が影響を強く受けるため、小さい検出対象要素がない場合よりも、大きい検出対象要素の形状が異なる方が、評価値が悪化し易くなる。
例えば、ある画像において三角形を検出対象要素とした場合に、サイズが１０ピクセルの三角形が検出されなかったとする。
このとき、同じ画像におけるより大きい三角形の出力が教師画像のものよりも一回り小さくなったとすると、その差が１０ピクセル以上であれば、１０ピクセルの三角形が無いことより評価値が悪化することになる。このため、機械学習では小さい三角より大きい三角を教師画像に近づけた方が評価値が良くなる傾向になり、小さい三角形より大きい三角形を一致させるように進化が進み、局所解に陥り易い状態になる。これに対して、本実施形態では検出対象要素の大きさに拘わらず、未検出の誤差が同一になるため、局所解に陥り難くなっている。
Here, when the teacher information is made into an image, in the evaluation by the least squares method, the evaluation value is strongly influenced by the size of the detection target element, so that the shape of the large detection target element is larger than that when there is no small detection target element. If the difference is different, the evaluation value is more likely to deteriorate.
For example, suppose that a triangle having a size of 10 pixels is not detected when a triangle is set as a detection target element in an image.
At this time, if the output of a larger triangle in the same image is slightly smaller than that of the teacher image, if the difference is 10 pixels or more, the evaluation value will be worse due to the absence of a 10-pixel triangle. Become. For this reason, in machine learning, the evaluation value tends to be better when a triangle larger than a small triangle is brought closer to the teacher image, and evolution progresses so that triangles larger than a small triangle are made to coincide with each other, which easily causes a local solution. .. On the other hand, in the present embodiment, the undetected error is the same regardless of the size of the detection target element, and thus it is difficult to fall into a local solution.
このような本実施形態の画像処理システムによれば、画像処理に周辺視を適用することができることに加えて、検査対象画像に画像処理を行って検出対象要素の個数を示す出力情報を作成し、その出力情報を教師情報としての数値と比較することができる。このため、検出対象要素のサイズに拘わらず評価値を同一とすることができ、検出対象要素領域の割合により評価値が悪化する問題を解消することが可能である。 According to the image processing system of this embodiment, in addition to being able to apply peripheral vision to image processing, image processing is performed on an inspection target image to generate output information indicating the number of detection target elements. , The output information can be compared with the numerical value as the teacher information. Therefore, it is possible to make the evaluation value the same regardless of the size of the detection target element, and it is possible to solve the problem that the evaluation value deteriorates depending on the ratio of the detection target element region.
［第三実施形態］
次に、本発明の第三実施形態に係る画像処理システムについて説明する。本実施形態の画像処理システムは、教師情報として、検査対象画像における検出対象要素の位置情報を用いる点で、第一実施形態と相違する。その他の点は、第一実施形態と同様である。
[Third embodiment]
Next, an image processing system according to the third embodiment of the present invention will be described. The image processing system of the present embodiment differs from the first embodiment in that the position information of the detection target element in the inspection target image is used as the teacher information. Other points are the same as in the first embodiment.
すなわち、本実施形態の画像処理システムに相当する画像処理装置１ｂは、図示しないが、機能単位記憶部１０ｂ、個体生成部１１ｂ、個体群記憶部１２ｂ、検査対象画像入力部１３ｂ、検査対象画像記憶部１４ｂ、良品画像入力部１５ｂ、良品画像記憶部１６ｂ、教師情報入力部１７ｂ、教師情報記憶部１８ｂ、画像処理部１９ｂ、出力情報記憶部２０ｂ、評価値計算部２１ｂ、評価結果記憶部２２ｂ、及び遺伝子操作部２３ｂを備えており、これらは以下の点を除いて、第一実施形態において対応する各構成と同様の機能を備えている。 That is, although not shown, the image processing apparatus 1b corresponding to the image processing system of the present embodiment has a functional unit storage unit 10b, an individual generation unit 11b, an individual group storage unit 12b, an inspection target image input unit 13b, and an inspection target image storage. Unit 14b, non-defective item image input unit 15b, non-defective item image storage unit 16b, teacher information input unit 17b, teacher information storage unit 18b, image processing unit 19b, output information storage unit 20b, evaluation value calculation unit 21b, evaluation result storage unit 22b, And a gene manipulating unit 23b, which have the same functions as the corresponding components in the first embodiment except for the following points.
本実施形態の画像処理装置１ｂにおいて、教師情報入力部１７ｂは、画像識別情報に対応させて、出力情報を評価するための教師情報として、当該画像識別情報に対応する検査対象画像における検出対象要素の位置情報を入力し、当該画像識別情報ごとに教師情報記憶部１８ｂに記憶させる。
この位置情報としては、検出対象要素の範囲（検出対象要素が画像内に占めている領域を表す座標）、又は検出対象要素の重心を用いることが好ましい。
検出対象要素の重心としては、検出対象要素自身の重心のほか、検出対象要素の外接矩形の重心や、検出対象要素の内接円の重心などを用いてもよい。
In the image processing apparatus 1b of the present embodiment, the teacher information input unit 17b uses the detection target element in the inspection target image corresponding to the image identification information as the teacher information for evaluating the output information in association with the image identification information. The position information is input and stored in the teacher information storage unit 18b for each image identification information.
As this position information, it is preferable to use the range of the detection target element (coordinates representing the area occupied by the detection target element in the image) or the center of gravity of the detection target element.
As the center of gravity of the detection target element, in addition to the center of gravity of the detection target element itself, the center of gravity of the circumscribed rectangle of the detection target element, the center of gravity of the inscribed circle of the detection target element, or the like may be used.
また、画像処理部１９ｂは、検査対象画像記憶部１４ｂから検査対象画像を入力すると共に、良品画像記憶部１６ｂから良品画像を入力する。そして、個体群記憶部１２ｂから個体情報を入力し、その個体情報にもとづき当該個体情報に含まれる複数のノードを順次実行することによって、検査対象画像に対して画像処理を行う。 Further, the image processing unit 19b inputs the inspection target image from the inspection target image storage unit 14b and inputs the non-defective product image from the non-defective product image storage unit 16b. Then, the individual information is input from the individual group storage unit 12b, and the plurality of nodes included in the individual information are sequentially executed based on the individual information, thereby performing the image processing on the inspection target image.
本実施形態において、画像処理部１９ｂは、検査対象画像における検出対象要素の範囲や重心などの位置情報を出力情報として生成する。そして、この出力情報を当該検査対象画像の画像識別情報ごとで、かつ個体情報の識別情報ごとに出力情報記憶部２０ｂに記憶させることができる。
このように、本実施形態における画像処理部１９ｂによって得られる出力情報は、検査対象画像における検出対象要素の位置情報として生成される。
In the present embodiment, the image processing unit 19b generates position information such as the range of the detection target element and the center of gravity of the inspection target image as output information. Then, this output information can be stored in the output information storage unit 20b for each image identification information of the inspection target image and for each identification information of the individual information.
As described above, the output information obtained by the image processing unit 19b in the present embodiment is generated as the position information of the detection target element in the inspection target image.
本実施形態において、出力情報の検出対象要素の位置情報は、教師情報と同様に、検出対象要素の範囲、又は検出対象要素の重心を用いることが好ましいが、教師情報と出力情報の位置情報の種類は同一である必要はなく、例えば教師情報に範囲を用い、出力情報に重心を用いるというように、異なる種類の位置情報を用いてもよい。 In the present embodiment, as the position information of the detection target element of the output information, it is preferable to use the range of the detection target element or the center of gravity of the detection target element, like the teacher information. The types do not have to be the same, and different types of position information may be used, for example, a range is used for teacher information and a center of gravity is used for output information.
なお、本実施形態でも、教師情報を検出対象要素の画像にする場合に比べて、検出対象要素の大きさに拘わらず、未検出の誤差が同一になるため、局所解に陥り難くなっている。 Also in this embodiment, as compared with the case where the teacher information is an image of the detection target element, the undetected error is the same regardless of the size of the detection target element, and thus it is difficult to fall into a local solution. ..
本実施形態では、画像における検出対象要素の位置情報にもとづいて、評価値を例えば以下の基準で算出することができる。
ここで、ｎはサンプル数であり、画像数である。検出対象要素の位置情報から得られるスコアであるScoreAは、出力情報における検出対象要素の位置情報である重心が、教師情報における当該検出対象要素の範囲内に存在していない検出対象要素（重心が、教師情報における当該検出対象要素の範囲外に存在する検出対象要素）の数に対する平均二乗誤差である。また、ScoreBは、出力情報における検出対象要素の位置情報である重心が、教師情報における検出対象要素の範囲内に存在していない検出対象要素がある場合の、当該教師情報の数に対する平均二乗誤差である。また、ｗは重み付け情報であり、ScoreBの重要度を変更可能にするものである。 Here, n is the number of samples and the number of images. Score A, which is the score obtained from the position information of the detection target element, indicates that the center of gravity that is the position information of the detection target element in the output information does not exist within the range of the detection target element in the teacher information (the center of gravity is , The mean square error with respect to the number of detection target elements existing outside the range of the detection target element in the teacher information. Further, ScoreB is the mean square error for the number of the teacher information when the center of gravity, which is the position information of the detection target element in the output information, does not exist within the range of the detection target element in the teacher information. Is. Further, w is weighting information, which allows the importance of ScoreB to be changed.
例えば、ある画像に対応する教師画像において、検出対象要素１の位置情報（教師範囲１）と検出対象要素２の位置情報（教師範囲２）が存在したとする。また、この画像に対して画像処理部１９ｂによる画像処理で２値化及びラベリングが行われた結果、検出対象要素が２つ見つかり、それぞれの重心を示す検出対象要素の位置情報（１）と検出対象要素の位置情報（２）を含む出力情報が得られたとする。 For example, it is assumed that the position information of the detection target element 1 (teacher range 1) and the position information of the detection target element 2 (teacher range 2) exist in the teacher image corresponding to a certain image. Further, as a result of binarization and labeling performed on this image by image processing by the image processing unit 19b, two detection target elements are found, and position information (1) of the detection target element indicating each centroid is detected. It is assumed that output information including the position information (2) of the target element is obtained.
そして、検出対象要素の位置情報（１）が教師範囲１内に存在し、検出対象要素の位置情報（２）が教師範囲２外に存在しており、教師範囲２内には重心が存在していなかったとする。
この場合、仮にｗ＝５とすると、検出対象要素の位置情報（１）についての評価値は０であり、検出対象要素の位置情報（２）についての評価値は（０−１）２＋５×（１−０）２＝６となり、この出力画像及び個体情報についての評価値は６と算出される。
Then, the position information (1) of the detection target element exists within the teacher range 1, the position information (2) of the detection target element exists outside the teacher range 2, and the center of gravity exists within the teacher range 2. Suppose you didn't.
In this case, if w=5, the evaluation value for the position information (1) of the detection target element is 0, and the evaluation value for the position information (2) of the detection target element is (0-1) 2 +5×. (1-0) 2 =6, and the evaluation value for this output image and individual information is calculated to be 6.
なお、上記のScoreAとScoreBを画像処理部１９ｂにより算出させて、これらを出力情報記憶部２０ｂに記憶させ、評価値計算部２１ｂがこれらを用いて評価値を計算する構成とすることもできる。
また、画像における検出対象要素の範囲や重心などの位置情報を取得する機能を評価値計算部２１ｂに行わせることもできる。すなわち、画像処理部１９ｂにより画像処理された後の画像にもとづいて、評価値計算部２１ｂが位置情報を取得し、これにもとづき評価値を計算する構成とすることも可能である。
The score A and the score B may be calculated by the image processing unit 19b, stored in the output information storage unit 20b, and the evaluation value calculation unit 21b may be used to calculate the evaluation value.
Further, the evaluation value calculation unit 21b can be made to perform the function of acquiring the position information such as the range of the detection target element and the center of gravity in the image. That is, it is also possible to adopt a configuration in which the evaluation value calculation unit 21b acquires position information based on the image that has been subjected to image processing by the image processing unit 19b, and calculates the evaluation value based on this.
このような本実施形態の画像処理システムによれば、画像処理に周辺視を適用することができることに加えて、検査対象画像に画像処理を行って検出対象要素の位置情報を示す出力情報を作成し、その出力情報を教師情報である位置情報と比較することができる。このため、検出対象要素のサイズに拘わらず評価値を同一とすることができ、検出対象要素領域の割合により評価値が悪化する問題を解消することが可能である。 According to such an image processing system of this embodiment, peripheral vision can be applied to image processing, and in addition, image processing is performed on an inspection target image to generate output information indicating position information of a detection target element. Then, the output information can be compared with the position information which is the teacher information. Therefore, it is possible to make the evaluation value the same regardless of the size of the detection target element, and it is possible to solve the problem that the evaluation value deteriorates depending on the ratio of the detection target element region.
［第四実施形態］
次に、本発明の第四実施形態に係る画像処理システムについて、図４及び図５を参照して説明する。図４は、本実施形態の画像処理システムに対応する画像処理装置の構成を示すブロック図であり、図５は、同画像処理システムによる処理手順を示すフローチャートである。
[Fourth Embodiment]
Next, an image processing system according to the fourth embodiment of the present invention will be described with reference to FIGS. 4 and 5. FIG. 4 is a block diagram showing a configuration of an image processing apparatus corresponding to the image processing system of this embodiment, and FIG. 5 is a flowchart showing a processing procedure by the image processing system.
本実施形態の画像処理システムに相当する画像処理装置１ｃは、図４に示すように、機能単位記憶部１０ｃ、個体生成部１１ｃ、個体群記憶部１２ｃ、検査対象画像入力部１３ｃ、検査対象画像記憶部１４ｃ、良品画像入力部１５ｃ、良品画像記憶部１６ｃ、教師情報入力部１７ｃ、教師情報記憶部１８ｃ、画像処理部１９ｃ、出力情報記憶部２０ｃ、評価値計算部２１ｃ、評価結果記憶部２２ｃ、及び遺伝子操作部２３ｃを備えている。また、個体群記憶部１２ｃは、親個体群記憶部１２１ｃと子個体群記憶部１２２ｃを備えている。 As shown in FIG. 4, the image processing apparatus 1c corresponding to the image processing system of the present embodiment has a functional unit storage unit 10c, an individual generation unit 11c, an individual group storage unit 12c, an inspection target image input unit 13c, and an inspection target image. Storage unit 14c, non-defective item image input unit 15c, non-defective item image storage unit 16c, teacher information input unit 17c, teacher information storage unit 18c, image processing unit 19c, output information storage unit 20c, evaluation value calculation unit 21c, evaluation result storage unit 22c. , And the gene operation unit 23c. In addition, the individual group storage unit 12c includes a parent individual group storage unit 121c and a child individual group storage unit 122c.
本実施形態の画像処理装置１ｃにおける機能単位記憶部１０ｃ、検査対象画像入力部１３ｃ、検査対象画像記憶部１４ｃ、良品画像入力部１５ｃ、良品画像記憶部１６ｃ、教師情報入力部１７ｃ、教師情報記憶部１８ｃ、出力情報記憶部２０ｃ、及び評価結果記憶部２２ｃは、第一実施形態と同様のものとすることができる。また、本実施形態の画像処理装置１ｃにおけるその他の構成についても、以下に説明する点を除いて、第一実施形態と同様のものとすることができる。 The functional unit storage unit 10c, the inspection target image input unit 13c, the inspection target image storage unit 14c, the non-defective product image input unit 15c, the non-defective product image storage unit 16c, the teacher information input unit 17c, and the teacher information storage in the image processing apparatus 1c of the present embodiment. The unit 18c, the output information storage unit 20c, and the evaluation result storage unit 22c can be the same as those in the first embodiment. Also, the other configurations of the image processing apparatus 1c of the present embodiment can be the same as those of the first embodiment, except for the points described below.
個体生成部１１ｃは、機能単位記憶部１０に記憶されているノードを用いて、複数のノードの配列からなる個体情報を生成する。このとき、個体生成部１１ｃは、第一実施形態と同様に、個体情報において、有閉路を含み得るネットワーク状に複数のノードの実行順序を定義することができる。
また、本実施形態における個体生成部１１ｃは、個体情報として、複数の親個体情報をランダムに生成し、これら親個体情報からなる初期の親個体群を親個体群記憶部１２１ｃに記憶させることができる。
The individual generation unit 11c uses the nodes stored in the functional unit storage unit 10 to generate individual information including an array of a plurality of nodes. At this time, as in the first embodiment, the individual generation unit 11c can define the execution order of a plurality of nodes in a network shape that may include closed paths in the individual information.
In addition, the individual generation unit 11c in the present embodiment may randomly generate a plurality of parent individual information as the individual information, and store the initial parent individual group composed of these parent individual information in the parent individual group storage unit 121c. it can.
遺伝子操作部２３ｃは、親個体群記憶部１２１ｃにおける親個体情報に対して遺伝子操作を実行する。
具体的には、まず、親個体群記憶部１２１ｃにおける親個体群からランダムに、子個体情報を生成する親個体情報を選択する。
The gene manipulation unit 23c performs gene manipulation on the parent individual information in the parent individual group storage unit 121c.
Specifically, first, the parent individual information for generating the child individual information is randomly selected from the parent individual group in the parent individual group storage unit 121c.
遺伝子操作部２３ｃにおけるエリート個体保存部は、選択された親個体情報と同一の子個体情報からなる子個体群を子個体群記憶部１２２ｃに記憶させることができる。
そして、遺伝子操作部２３ｃにおける交叉部は、選択された親個体情報に対して交叉処理を実行して、複数の子個体情報を生成し、これら子個体情報からなる子個体群を子個体群記憶部１２２ｃに記憶させることができる。
また、遺伝子操作部２３ｃにおける突然変異部は、機能単位記憶部１０に記憶されているノードを用いて、選択された親個体情報に対して突然変異処理を実行して、一定の確率で親個体情報の一部を書き換えたり、その全てを書き換えることによって得られた子個体情報からなる子個体群を子個体群記憶部１２２ｃに記憶させることができる。また、突然変異部は、突然変異処理として、機能単位記憶部１０ｃに記憶されているノードを用いて、新しい個体情報を生成することもできる。
The elite individual storage unit in the gene operation unit 23c can store a child individual group including the same child individual information as the selected parent individual information in the child individual group storage unit 122c.
Then, the crossover unit in the gene operation unit 23c executes crossover processing on the selected parent individual information to generate a plurality of child individual information, and stores a child individual group including these child individual information in a child individual group storage. It can be stored in the unit 122c.
In addition, the mutation unit in the gene operation unit 23c uses the node stored in the functional unit storage unit 10 to execute mutation processing on the selected parent individual information, and with a certain probability, the parent individual It is possible to rewrite a part of the information or a child population including the child individual information obtained by rewriting all of the information in the child population storage unit 122c. The mutation unit can also generate new individual information by using the node stored in the functional unit storage unit 10c as the mutation process.
さらに、遺伝子操作部２３ｃは、評価結果記憶部２２ｃにおける子個体情報の順位付け情報にもとづいて、一番評価値の良い子個体情報及び確率で選択された子個体情報を、親個体群からランダムに選択された上記の親個体情報と入れ替えることなどによって、親個体群記憶部１２１ｃにおける親個体情報を更新することができる。 Further, the gene manipulating unit 23c randomly selects the child individual information having the best evaluation value and the child individual information selected with the probability based on the ranking information of the child individual information in the evaluation result storage unit 22c from the parent individual group. The parent individual information in the parent individual group storage unit 121c can be updated by replacing the parent individual information selected above with the above.
検査対象画像入力部１３ｃは、検査対象物が表示された学習用又は検証用の検査対象画像を画像処理装置１ｃに入力して、画像識別情報ごとに検査対象画像記憶部１４ｃに記憶させる。
良品画像入力部１５ｃは、検査対象物が正しく表示された良品画像を画像処理装置１ｃに入力して、画像識別情報ごとに良品画像記憶部１６ｃに記憶させる。
教師情報入力部１７ｃは、画像識別情報に対応させて、出力情報を評価するための教師情報として、当該画像識別情報に対応する検査対象画像における検出対象要素の画像を入力し、当該画像識別情報ごとに教師情報記憶部１８ｃに記憶させる。
The inspection target image input unit 13c inputs the learning or verification inspection target image in which the inspection target is displayed to the image processing apparatus 1c, and stores the inspection target image for each image identification information in the inspection target image storage unit 14c.
The non-defective item image input unit 15c inputs the non-defective item image in which the inspection object is correctly displayed to the image processing apparatus 1c, and stores the non-defective item image storage unit 16c for each image identification information.
The teacher information input unit 17c inputs the image of the detection target element in the inspection target image corresponding to the image identification information as the teacher information for evaluating the output information in association with the image identification information, and the image identification information It is made to memorize|store in the teacher information storage part 18c for every.
画像処理部１９ｃは、検査対象画像記憶部１４ｃから検出対象要画像を入力すると共に、良品画像記憶部１６ｃから良品画像を入力し、子個体群記憶部１２２ｃから子個体情報を入力して、その子個体情報にもとづき当該子個体情報に含まれる複数のノードを順次実行することによって、検査対象画像に対して画像処理を行う。これにより、ノードの実行において良品画像が用いられることによって、検査対象画像に対する画像処理の最適化を、周辺視を模擬したより優れたものにすることが可能になっている。 The image processing unit 19c inputs the detection target required image from the inspection target image storage unit 14c, the non-defective product image from the non-defective product image storage unit 16c, the child individual information from the child individual group storage unit 122c, and the child Image processing is performed on the inspection target image by sequentially executing the plurality of nodes included in the child individual information based on the individual information. As a result, by using the non-defective image in the execution of the node, it is possible to optimize the image processing for the image to be inspected, which is superior to that of simulating peripheral vision.
そして、画像処理部１９ｃは、検査対象画像における検出対象要素の画像を作成して出力情報を生成し、この出力情報を当該画像の画像識別情報ごとで、かつ子個体情報の識別情報ごとに出力情報記憶部２０ｃに記憶させることができる。 Then, the image processing unit 19c creates an image of the detection target element in the inspection target image to generate output information, and outputs this output information for each image identification information of the image and for each identification information of the child individual information. It can be stored in the storage unit 20c.
評価値計算部２１ｃは、出力情報記憶部２０ｃから出力情報を入力すると共に、教師情報記憶部１８ｃからその出力情報に対応する画像識別情報に対応する教師情報を入力する。
そして、出力情報と教師情報を比較して評価値を計算し、得られた評価値を当該画像の画像識別情報ごとで、かつ子個体情報の識別情報ごとに評価結果記憶部２２ｃに記憶させることができる。
The evaluation value calculation unit 21c inputs the output information from the output information storage unit 20c and the teacher information corresponding to the image identification information corresponding to the output information from the teacher information storage unit 18c.
Then, the evaluation value is calculated by comparing the output information and the teacher information, and the obtained evaluation value can be stored in the evaluation result storage unit 22c for each image identification information of the image and for each identification information of the child individual information. it can.
また、評価値計算部２１ｃは、個体群記憶部１２ｃにおける子個体群記憶部１２２ｃに記憶されている全ての子個体情報（又は１世代分の子個体情報）につき評価値を計算し終えて評価結果記憶部２２ｃに記憶させた場合などに、これらの評価値にもとづき子個体情報を順位付けして、得られた順位付け情報を評価結果記憶部２２ｃに記憶させることができる。
さらに、評価値計算部２１ｃは、画像処理部１９ｃによる画像処理を終了するか否かを判定するための終了判定を行うことができる。
In addition, the evaluation value calculation unit 21c finishes calculating evaluation values for all the child individual information (or one generation of child individual information) stored in the child individual group storage unit 122c in the individual group storage unit 12c, and then evaluates the evaluation values. When the result is stored in the result storage unit 22c, the child individual information can be ranked based on these evaluation values, and the obtained ranking information can be stored in the evaluation result storage unit 22c.
Furthermore, the evaluation value calculation unit 21c can make an end determination for determining whether to end the image processing by the image processing unit 19c.
次に、本実施形態の画像処理システムの処理手順について、図５を参照して説明する。
まず、画像処理装置１ｃにおける検査対象画像入力部１３ｃが、検査対象画像を入力して、検査対象画像記憶部１４ｃに記憶させる（ステップ４０）。また、良品画像入力部１５ｃが、良品画像を入力して、良品画像記憶部１６ｃに記憶させる（ステップ４１）さらに、教師情報入力部１７ｃが、教師情報としての検出対象要素の画像を入力して、教師情報記憶部１８ｃに記憶させる（ステップ４２）。そして、個体生成部１１ｃによって、初期の親個体群が生成され、親個体群記憶部１２１ｃに記憶される（ステップ４３）。
Next, a processing procedure of the image processing system of this embodiment will be described with reference to FIG.
First, the inspection target image input unit 13c in the image processing apparatus 1c inputs the inspection target image and stores it in the inspection target image storage unit 14c (step 40). The non-defective item image input unit 15c inputs the non-defective item image and stores it in the non-defective item image storage unit 16c (step 41). Further, the teacher information input unit 17c inputs the image of the detection target element as the teacher information. , Is stored in the teacher information storage unit 18c (step 42). Then, the individual generation unit 11c generates an initial parent individual group and stores it in the parent individual group storage unit 121c (step 43).
このとき、個体生成部１１ｃは、機能単位記憶部１０ｃからノードをランダムに選択して配列することにより親個体情報を生成して、親個体情報の識別情報ごとに個体群記憶部１２ｃにおける親個体群記憶部１２１ｃに記憶させることができる。この親個体群記憶部１２１ｃにおける親個体群は、後述する親個体群の更新処理によって更新され、設定された世代について以下の処理が繰り返し行われる（ステップ４４）。 At this time, the individual generation unit 11c randomly selects and arranges the nodes from the functional unit storage unit 10c to generate parent individual information, and the parent individual in the individual group storage unit 12c for each identification information of the parent individual information. It can be stored in the group storage unit 121c. The parent individual group in the parent individual group storage unit 121c is updated by the parent individual group update process described later, and the following process is repeated for the set generation (step 44).
遺伝子操作部２３ｃは、親個体群記憶部１２１ｃにおける親個体群からランダムに、子個体情報を生成する親個体情報を選択する。（ステップ４５）。そして、選択された親個体情報に対して遺伝子操作を実行する（ステップ４６）。なお、ステップ４５の親個体情報の選択を、ステップ４６の遺伝子操作の一部として、実行してもよい。 The gene operation unit 23c randomly selects parent individual information for generating child individual information from the parent individual group in the parent individual group storage unit 121c. (Step 45). Then, a genetic operation is performed on the selected parent individual information (step 46). The selection of the parent individual information in step 45 may be executed as part of the genetic manipulation in step 46.
すなわち、遺伝子操作部２３ｃは、ランダムに選択された親個体情報に対してエリート保存、交叉処理や突然変異処理を実行して、複数の子個体情報を生成し、これら子個体情報からなる子個体群を子個体群記憶部１２２ｃに記憶させる。 That is, the gene manipulating unit 23c performs elite storage, crossover processing, and mutation processing on randomly selected parent individual information to generate a plurality of child individual information, and child individual information including these child individual information. The group is stored in the child population storage unit 122c.
次に、画像処理部１９ｃは、子個体群記憶部１２２ｃにおける全ての子個体情報について画像の処理を実行する（ステップ４７、４８）。
このとき、画像処理部１９ｃは、子個体情報ごとに出力情報として、検査対象画像における検出対象要素の画像を出力して、出力情報記憶部２０ｃに記憶させる。
Next, the image processing unit 19c executes image processing for all child individual information in the child individual group storage unit 122c (steps 47 and 48).
At this time, the image processing unit 19c outputs the image of the detection target element in the inspection target image as output information for each child individual information, and stores it in the output information storage unit 20c.
次に、評価値計算部２１ｃは、子個体情報ごとに、出力情報と教師情報を比較して評価値を計算し（ステップ４９）、得られた評価値を評価結果記憶部２２に子個体情報ごとに記憶させる。
そして、子個体群記憶部１２２ｃにおける全ての子個体情報について、画像の処理から評価値の計算及び記憶までの処理を繰り返し実行する。
Next, the evaluation value calculation unit 21c compares the output information and the teacher information for each child individual information to calculate an evaluation value (step 49), and stores the obtained evaluation value in the evaluation result storage unit 22 as the child individual information. Remember each.
Then, the processing from image processing to calculation and storage of evaluation values is repeatedly executed for all child individual information in the child individual group storage unit 122c.
次に、評価値計算部２１ｃは、評価結果記憶部２２ｃに記憶されている評価値にもとづいて、子個体情報の順位付けを行う（ステップ５０）。
そして、遺伝子操作部２３は、評価結果記憶部２２ｃにおける子個体情報の順位付け情報にもとづいて、一番評価値の良い子個体情報及び確率で選択された子個体情報を、親個体群からランダムに選択された上記の親個体情報と入れ替えることにより、個体群記憶部１２における親個体群記憶部１２１ｃの親個体情報を更新する（ステップ５１）。
Next, the evaluation value calculation unit 21c ranks the child individual information based on the evaluation values stored in the evaluation result storage unit 22c (step 50).
Then, the gene manipulating unit 23 randomly selects the child individual information having the best evaluation value and the child individual information selected with the probability based on the ranking information of the child individual information in the evaluation result storage unit 22c from the parent individual group. The parent individual information stored in the parent individual group storage unit 121c in the individual group storage unit 12 is updated by replacing the parent individual information selected above (step 51).
また、評価値計算部２１ｃは、終了条件が満たされているか否かの判定処理を行い（ステップ５２）、終了条件が満たされている場合、画像処理装置１ｃによる処理を終了する。 Further, the evaluation value calculation unit 21c performs a determination process of whether or not the end condition is satisfied (step 52), and when the end condition is satisfied, ends the process by the image processing device 1c.
画像処理装置１cによる処理を終了させる場合、評価値計算部２１cは、最終世代における全ての親個体情報につき評価値を計算し、評価値にもとづき個体情報を順位付けして、得られた順位付け情報を評価結果記憶部２２ｃに記憶させることができる。 When ending the processing by the image processing device 1c, the evaluation value calculation unit 21c calculates evaluation values for all parent individual information in the final generation, ranks individual information based on the evaluation values, and obtains the obtained ranking. Information can be stored in the evaluation result storage unit 22c.
このような本実施形態の画像処理装置によれば、親個体群から親を選択して子個体情報を生成する時に遺伝子操作が実行されると共に、子個体情報を親個体群における親個体情報と入れ替えることで、親個体群を更新することができる。これにより、第一実施形態に比較して、進化の多様性をより保った状態で、最適な個体情報を探すことが可能となっている。 According to the image processing apparatus of the present embodiment as described above, the genetic operation is executed when the parent is selected from the parent individual group and the child individual information is generated, and the child individual information is changed to the parent individual information in the parent individual group. The parent population can be updated by exchanging them. As a result, it is possible to search for optimum individual information in a state where evolutionary diversity is maintained more than in the first embodiment.
また、本発明の第一実施形態に係る画像処理システムに、第二実施形態の構成を組み合わせて、画像処理システムにおいて周辺視の再現を可能にすると共に、教師情報として、検査対象画像における検出対象要素の画像と個数を示す数値を用いる構成とすることも好ましい。
また、本発明の第一実施形態に係る画像処理システムに、第三実施形態の構成を組み合わせて、画像処理システムにおいて周辺視の再現を可能にすると共に、教師情報として、検査対象画像における検出対象要素の画像と位置情報を用いる構成とすることも好ましい。
Further, the configuration of the second embodiment is combined with the image processing system according to the first embodiment of the present invention to enable peripheral vision to be reproduced in the image processing system, and the detection target in the inspection target image is used as teacher information. It is also preferable to use a configuration in which an image of an element and a numerical value indicating the number of elements are used.
Further, the configuration of the third embodiment is combined with the image processing system according to the first embodiment of the present invention to enable peripheral vision to be reproduced in the image processing system, and the detection target in the inspection target image is used as teacher information. It is also preferable to use a configuration that uses an image of an element and position information.
このような本実施形態の画像処理システムによれば、例えば、検出対象要素として太い線と細い線が混在し、その周囲に細かな点のノイズが存在している場合、教師情報として検出対象要素の画像のみを用いる場合には、細い線が消去されてしまう可能性があるが、教師情報として個数や位置情報を用いる場合、このような影響を受けない。一方、検出対象要素が複雑な形状を有しており、その形状を検出することが重要な場合、教師情報として個数や位置情報を用いる場合は、その形状を検出することができない可能性がある。しかし、教師情報として検出対象要素の画像を用いる場合には、このような影響を受けない。そのため、教師情報として検出対象要素の個数や位置情報と画像を組み合わせて教師情報とすることで、より良い個体情報が得られる可能性を高めることが可能である。 According to such an image processing system of the present embodiment, for example, when a thick line and a thin line are mixed as the detection target element and noise of a fine point is present around the detection target element, the detection target element is set as the teacher information. If only the image is used, thin lines may be erased, but if the number and position information are used as the teacher information, such influence is not exerted. On the other hand, when the detection target element has a complicated shape and it is important to detect the shape, when the number or position information is used as teacher information, the shape may not be detected. .. However, when the image of the detection target element is used as the teacher information, it is not affected in this way. Therefore, it is possible to increase the possibility that better individual information can be obtained by combining the number of detection target elements or position information and an image as teacher information to obtain teacher information.
また、本発明の第二実施形態に係る画像処理システムに、第三実施形態の構成を組み合わせて、画像処理システムにおいて周辺視の再現を可能にすると共に、教師情報として、検査対象画像における検出対象要素の個数を示す数値と位置情報を用いる構成とすることも好ましい。
このような本実施形態の画像処理装置によれば、例えば、検出対象要素の周囲にノイズなどの非検出対象要素が存在する場合、教師情報として位置情報のみを用いる場合には、検出対象要素と同時に周囲の非検出対象要素も抽出してしまう可能性があるが、教師情報として個数を用いる場合、このような影響を受けない。一方、検出対象要素に細い部分と太い部分が混在する場合、教師情報として個数を用いる場合は、その細い箇所が検出されなかった場合、太い部分が検出され評価値が大きく悪化する。しかし、教師情報として位置情報を用いる場合には、このような影響を受けない。そのため、教師情報として検出対象要素の位置情報と個数を組み合わせて教師情報とすることで、より良い個体情報が得られる可能性を高めることが可能である。
In addition, the configuration of the third embodiment is combined with the image processing system according to the second embodiment of the present invention to enable peripheral vision to be reproduced in the image processing system, and the detection target in the inspection target image is used as teacher information. It is also preferable to use a configuration that uses a numerical value indicating the number of elements and position information.
According to the image processing apparatus of this embodiment, for example, when a non-detection target element such as noise exists around the detection target element, when only position information is used as teacher information, At the same time, surrounding non-detection target elements may be extracted, but when the number is used as the teacher information, it is not affected by this. On the other hand, when the detection target element includes a thin portion and a thick portion, when the number is used as teacher information, and when the thin portion is not detected, the thick portion is detected and the evaluation value is greatly deteriorated. However, when position information is used as teacher information, such influence is not exerted. Therefore, it is possible to increase the possibility that better individual information can be obtained by combining the position information and the number of detection target elements as the teacher information into the teacher information.
また、本発明の第一実施形態に係る画像処理システムに、第二実施形態及び第三実施形態の構成を組み合わせて、画像処理システムにおいて周辺視の再現を可能にすると共に、教師情報として、検査対象画像における検出対象要素の画像、個数を示す数値、及び位置情報を用いる構成とすることも好ましい。
このような本実施形態の画像処理装置によれば、例えば、境界線がはっきりとしていない検出対象要素について、教師情報として画像のみを用いる場合、与えた教師情報の画像の境界線は人が決定した物であるため決定した人間による差違が発生し、良質な学習が行えない可能性がある。しかし、教師情報に位置情報や個数を用いた場合、このような影響を受けない。そのため、教師情報として検出対象要素の位置情報と個数と画像を組み合わせて教師情報とすることで、より良い個体情報が得られる可能性を高めることが可能である。
Further, the image processing system according to the first embodiment of the present invention is combined with the configurations of the second embodiment and the third embodiment to enable the peripheral vision to be reproduced in the image processing system, and as the teacher information, the inspection is performed. It is also preferable that the image of the detection target element in the target image, a numerical value indicating the number, and position information are used.
According to the image processing apparatus of the present embodiment as described above, for example, when only an image is used as teacher information for a detection target element whose boundary line is not clear, a person determines the boundary line of the image of the given teacher information. Since it is a thing, there is a possibility that it will not be possible to carry out high-quality learning due to the differences caused by the determined human beings. However, when the position information and the number of pieces are used as the teacher information, such influence is not given. Therefore, it is possible to increase the possibility that better individual information can be obtained by combining the position information of the detection target element, the number, and the image as the teacher information to make the teacher information.
さらに、本発明の第四実施形態に係る画像処理システムに、第二実施形態又は第三実施形態の構成を組み合わせて、教師情報を検出対象要素の個数を示す数値又は位置情報に変更して、進化の多様性をより保った状態で、最適な個体情報を探すことを可能にすることも好ましい。 Further, by combining the image processing system according to the fourth embodiment of the present invention with the configuration of the second embodiment or the third embodiment, the teacher information is changed to a numerical value or position information indicating the number of detection target elements, It is also preferable to be able to search for optimal individual information while maintaining evolutionary diversity.
（試験１）
以下、本発明の実施形態に係る画像処理システムを用いて、画像から検出対象を検出する画像処理を最適化した試験について、図６〜図２０を用いて説明する。
実施例１として、本発明の第四実施形態に係る画像処理システムを使用して、検査対象画像内の欠陥を模擬した検出対象要素を検出するアルゴリズムの自動生成（個体情報の最適化）を行った。
また、参考例１として、実施例１の画像処理システムの一部を変更したものを使用した。具体的には、参考例１では良品画像記憶部１６ｃにおける良品画像を画像処理部１９ｃによる画像処理に用いず、検査対象画像のみを用いてアルゴリズムの自動生成を行った。
(Test 1)
Hereinafter, a test in which the image processing system according to the embodiment of the present invention is used to optimize image processing for detecting a detection target from an image will be described with reference to FIGS. 6 to 20.
As Example 1, the image processing system according to the fourth embodiment of the present invention is used to automatically generate an algorithm (optimization of individual information) for detecting a detection target element simulating a defect in an inspection target image. It was
As Reference Example 1, a part of the image processing system of Example 1 was used. Specifically, in Reference Example 1, the non-defective item image in the non-defective item image storage unit 16c is not used in the image processing by the image processing unit 19c, and the algorithm is automatically generated using only the inspection target image.
機能単位記憶部に記憶させたノードを図６〜図１２に示す。図６に示すノードは、画像処理（ノイズ除去）を行うものであり、図７に示すノードは、画像処理（輝度補正、組合せ）を行うものであり、図８に示すノードは、画像処理（２値化）を行うものであり、図９に示すノードは、画像処理（エッジ検出）を行うものであり、図１０に示すノードは、画像処理（エッジ検出、周波数フィルタ）を行うものであり、図１１に示すノードは、画像処理（四則演算、ファジ演算）を行うものであり、図１２に示すノードは、検出対象の判定処理を行うものである。 The nodes stored in the functional unit storage unit are shown in FIGS. The node shown in FIG. 6 performs image processing (noise removal), the node shown in FIG. 7 performs image processing (luminance correction, combination), and the node shown in FIG. The node shown in FIG. 9 performs image processing (edge detection), and the node shown in FIG. 10 performs image processing (edge detection, frequency filter). The node shown in FIG. 11 performs image processing (four arithmetic operations, fuzzy operations), and the node shown in FIG. 12 performs determination processing of a detection target.
実施例１で設定したノードは、入力ノードが２個、処理ノードが５個、出力ノードが１個の合計８ノードである。参考例１で設定したノードは、入力ノードが１個、処理ノードが５個、出力ノードが１個の合計７ノードである。入力ノードは検査対象画像又は良品画像を入力するものであり、出力ノードは検出対象要素の画像を出力するものである。処理ノードの５個は、個体生成部１１ｃにより機能単位記憶部１０ｃからランダムに選択されるノード数を示す。 The number of nodes set in the first embodiment is eight, that is, two input nodes, five processing nodes, and one output node. The nodes set in Reference Example 1 are one input node, five processing nodes, and one output node, for a total of seven nodes. The input node inputs the inspection target image or the non-defective image, and the output node outputs the image of the detection target element. The five processing nodes indicate the number of nodes randomly selected from the function unit storage unit 10c by the individual generation unit 11c.
検査対象画像入力部により入力する検査対象物を表示する学習用の画像、及び検証用の画像は、背景を０〜２５５の輝度を１ピクセルごとにランダムに与えた画像（背景画像）に、検出対象要素を記載し、さらにノイズを与えた画像である。
良品画像入力部により入力する検査対象物を正しく表示する良品画像は、上記の背景画像を良品模擬画像として使用した。
なお、実施例１及び参考例１において、これらの画像の入力処理以外の設定は同一である。
The learning image for displaying the inspection target input by the inspection target image input unit and the verification image are detected as an image (background image) in which a background is randomly given a brightness of 0 to 255 for each pixel. It is an image in which a target element is described and noise is added.
The background image described above was used as the non-defective item simulated image for the non-defective item image input by the non-defective item image input unit to correctly display the inspection object.
In the first embodiment and the reference example 1, the settings other than the input processing of these images are the same.
実施例１及び参考例１ともに、学習で使用した入力画像の数は１０枚であり、検証で使用した入力画像の枚数は５枚である。 In both Example 1 and Reference Example 1, the number of input images used in learning was 10, and the number of input images used in verification was 5.
評価値は、実施例１及び参考例１共に、画像である出力情報と教師情報を用いて、１ピクセルごとの差にもとづき最小二乗法により、平均二乗誤差を計算した。 As for the evaluation value, in both Example 1 and Reference Example 1, the mean square error was calculated by the least square method based on the difference for each pixel using the output information which is an image and the teacher information.
個体生成部により生成させる初期の親個体情報の個数を１００個とし、２個の親個体情報をランダムに選択して親個体群からは削除し、これらの親個体情報に対して遺伝子操作を実行して、７２個の子個体情報を生成した（親と同一個体：２、一様交叉個体：２０、突然変異個体：５０）。 The initial number of parent individual information generated by the individual generation unit is set to 100, two pieces of parent individual information are randomly selected and deleted from the parent individual group, and genetic operation is executed on these parent individual information. Then, 72 pieces of child individual information were generated (identical individual as parent: 2, uniform crossover individual: 20, mutant individual: 50).
また、画像処理を行って、子個体情報の評価結果にもとづき評価値が一番よい子個体情報と確率で選択された子個体情報の２個の子個体情報を選択し、これらの子個体情報を親個体情報として親個体群に戻し、以上の処理を設定した世代数分繰り返し実行した。
最大の世代数を１００００世代に設定し、進化がストップしたと判定された場合（評価値が０になった場合）、処理を終了した。
Also, image processing is performed, and based on the evaluation result of the child individual information, two pieces of child individual information, that is, the child individual information having the best evaluation value and the child individual information selected by the probability are selected, and these child individual information are selected. Was returned to the parent individual group as parent individual information, and the above processing was repeated for the set number of generations.
The maximum number of generations is set to 10,000 generations, and when it is determined that the evolution has stopped (when the evaluation value becomes 0), the processing ends.
その結果を図１３〜図２０に示す。図１３及び図１４は、試験１における学習とその結果を示す図であり、図１５は、試験１における検証結果を示す図である。また、試験１における検証結果の評価値を表１に示す。
また、図１６は、試験１における学習の評価値の遷移を表すグラフを示す図である。
さらに、図１７は、実施例１の学習によって得られた個体情報の構造を示す図であり、図１８は、実施例１の学習によって得られた個体情報で用いられたノードの機能を示す図である。また、図１９は、参考例１の学習によって得られた個体情報の構造を示す図であり、図２０は、参考例１の学習によって得られた個体情報で用いられたノードの機能を示す図である。なお、個体情報の構造における四角の囲みはノードセットを示し、それぞれが１個の処理ノードである。
FIG. 16 is a diagram showing a graph showing the transition of the learning evaluation value in the test 1.
Further, FIG. 17 is a diagram showing a structure of individual information obtained by learning of the first embodiment, and FIG. 18 is a diagram showing functions of nodes used in the individual information obtained by learning of the first embodiment. Is. 19 is a diagram showing a structure of individual information obtained by learning of Reference Example 1, and FIG. 20 is a diagram showing a function of a node used in individual information obtained by learning of Reference Example 1. Is. It should be noted that a square box in the structure of the individual information indicates a node set, and each is one processing node.
図１３〜図１５において、「出力結果」に示された画像は、評価値が一番良い個体情報によるものが示されている。すなわち、これらの出力情報の出力に用いられた個体情報が、各実施例１及び参考例１において最終的に得られた（最適化された）個体情報である。
なお、図１４のNo.9の実施例１及び参考例１における検査対象画像において、検出対象要素が見え難いため、その輪郭を白色で明示することによって示している。これは試験２における図２２のNo.9についても同様である。
13 to 15, the images shown in the "output result" are based on the individual information having the best evaluation value. That is, the individual information used to output the output information is the individual information finally obtained (optimized) in each of Example 1 and Reference Example 1.
Since the detection target element is difficult to see in the inspection target image in Example 1 and Reference Example 1 of No. 9 in FIG. 14, its outline is shown in white. This also applies to No. 9 in FIG.
まず、図１６を参照して進化の推移を確認すると、最終的に評価値は、実施例１の方が良い結果となった。また、実施例１は５０００世代付近で、参考例１は６０００世代付近で進化が頭打ちしていることから、実施例１の方が効率的に進化したと推測される。
これは、実施例１では良品画像を模擬した背景画像を入力画像に加えているため、機械学習が使用できる情報量が多くなったことが要因と推測される。
また、実際に、図１７を参照すると、実施例１では、早い段階で検査対象画像と背景画像を比較する処理を実施している（同図の２ｄ）。また、実施例１は参考例１と比較して簡単な構造が得られている。これは前述したように背景画像を有効に使用できていることに起因すると推測される。
First, when the evolutionary transition was confirmed with reference to FIG. 16, the evaluation value finally became better in Example 1. Further, since the evolution reached a peak in Example 1 near the 5000th generation and the reference example 1 near the 6000th generation, it is presumed that Example 1 evolved more efficiently.
This is probably because the background image simulating the non-defective image is added to the input image in the first embodiment, and therefore the amount of information that can be used by machine learning is increased.
Further, actually referring to FIG. 17, in the first embodiment, the process of comparing the inspection target image with the background image is performed at an early stage (2d in the same figure). In addition, Example 1 has a simpler structure than that of Reference Example 1. It is assumed that this is because the background image can be effectively used as described above.
さらに、図１５に示す検証結果において、参考例１はサンプルNo.4、5においてノイズに反応している。これに対して、実施例１は総じて参考例１よりも良い評価値が得られている（表１）。したがって、本実施形態の画像処理システムによれば、未知のデータに対しても検出対象要素の検出が可能であることが示唆される。 Further, in the verification result shown in FIG. 15, Reference Example 1 responds to noise in Sample Nos. 4 and 5. On the other hand, the evaluation value of Example 1 is generally better than that of Reference Example 1 (Table 1). Therefore, according to the image processing system of the present embodiment, it is suggested that the detection target element can be detected even for unknown data.
ここで、一般に、学習で用いた画像に対して性能が良くても、その結果を実場面で使用すること（＝未知のデータを学習結果に適用すること）に対して性能が良いかは不明であり、学習結果の性能が良くて、実際に使うと性能が悪い「過学習」と言われる現象がある（言い換えるとロバスト性が無いとも言える）。このため、本試験では、学習で用いない検証用の画像を用意して学習結果を評価することにより、未知データに対する性能評価（交差検証）としている。
本試験によれば、実施例１の方が、参考例１に比較して学習結果と検証結果の差が少ないことから、本実施形態の画像処理システムによれば、未知のデータに対しても検出対象要素の検出が可能であることが示唆されると考えられる。
Here, in general, even if the performance is good for the image used for learning, it is unknown whether the performance is good for using the result in a real scene (=applying unknown data to the learning result). There is a phenomenon called "over-learning" in which the performance of the learning result is good and the performance is poor when actually used (in other words, it can be said that there is no robustness). For this reason, in this test, a verification image that is not used in learning is prepared and the learning result is evaluated to perform performance evaluation (cross-verification) on unknown data.
According to this test, the difference between the learning result and the verification result in Example 1 is smaller than that in Reference Example 1. Therefore, according to the image processing system of this embodiment, even for unknown data. It is considered that the detection of the detection target element is possible.
また、実施例１では検査対象画像と良品画像の差分が採られた結果、得られた個体情報（アルゴリズム）が優れたものになったと考えられる。また、このような差分を採った画像処理は、検査対象物が複数品種存在していたとしても、それらの違いがキャンセルされていると言え、複数品種間を一気に検査することも可能である。
このように、本実施形態の画像処理システムは、適用範囲が広く、また汎用性が高いため、例えば、デザイン違いのガラスや缶の模様、ライン替えなどが生じた場合に、画像処理のアルゴリズムを生成し直すことなく適用することが可能である。
Moreover, in Example 1, it is considered that the obtained individual information (algorithm) was excellent as a result of taking the difference between the inspection target image and the non-defective image. Further, in the image processing using such a difference, even if there are a plurality of types of inspection objects, it can be said that the differences are canceled, and it is possible to inspect a plurality of types at once.
As described above, the image processing system of the present embodiment has a wide application range and high versatility, and therefore, for example, when a glass or can pattern having a different design, a line change, or the like occurs, an image processing algorithm is set. It can be applied without regenerating.
（試験２）
次に、本発明の実施形態に係る画像処理システムを用いて、画像から検出対象を検出する画像処理を最適化した実験について、図２１〜図２８を用いて説明する。
実施例２として、本発明の第四実施形態に第二実施形態の構成を組み合わせた画像処理システムを使用して、検査対象画像内の欠陥を模擬した検出対象要素を検出するアルゴリズムの自動生成（個体情報の最適化）を行った。すなわち、試験１では教師情報として、検出対象要素の画像のみを用いたが、本試験では、教師情報として、検出対象要素の画像と個数を示す数値を併せて使用した。
(Test 2)
Next, an experiment in which the image processing system according to the embodiment of the present invention is used to optimize image processing for detecting a detection target from an image will be described with reference to FIGS. 21 to 28.
As Example 2, an image processing system in which the configuration of the second embodiment is combined with the fourth embodiment of the present invention is used to automatically generate an algorithm for detecting a detection target element simulating a defect in an inspection target image ( Optimization of individual information) was performed. That is, in the test 1, only the image of the detection target element was used as the teacher information, but in the present test, the image of the detection target element and the numerical value indicating the number were used as the teacher information.
また、参考例２として、実施例２の画像処理システムの一部を変更したものを使用した。具体的には、参考例２では良品画像記憶部１６ｃにおける良品画像を画像処理部１９ｃによる画像処理に用いず、検査対象画像のみを用いてアルゴリズムの自動生成を行った。 As Reference Example 2, a part of the image processing system of Example 2 was modified. Specifically, in Reference Example 2, the non-defective item image in the non-defective item image storage unit 16c is not used in the image processing by the image processing unit 19c, and the algorithm is automatically generated using only the inspection target image.
機能単位記憶部に記憶させたノードは、試験１と同様である。
実施例２で設定したノードは、入力ノードが２個、処理ノードが５個、出力ノードが１個の合計８ノードである。参考例２で設定したノードは、入力ノードが１個、処理ノードが５個、出力ノードが１個の合計７ノードである。入力ノードは検査対象画像又は良品画像を入力するものであり、出力ノードは検出対象要素の画像と個数を示す数値を出力するものである。処理ノードの５個は、個体生成部１１ｃにより機能単位記憶部１０ｃからランダムに選択されるノード数を示す。
The nodes stored in the functional unit storage unit are the same as in Test 1.
The number of nodes set in the second embodiment is eight, that is, two input nodes, five processing nodes, and one output node. The number of nodes set in the reference example 2 is 1 input node, 5 processing nodes, and 1 output node, for a total of 7 nodes. The input node inputs the inspection target image or the non-defective image, and the output node outputs the image of the detection target element and a numerical value indicating the number. The five processing nodes indicate the number of nodes randomly selected from the function unit storage unit 10c by the individual generation unit 11c.
検査対象画像入力部により入力する検査対象物を表示する学習用の画像、及び検証用の画像は、背景を０〜２５５の輝度を１ピクセルごとにランダムに与えた画像（背景画像）に、検出対象要素を記載し、さらにノイズを与えた画像である。
良品画像入力部により入力する検査対象物を正しく表示する良品画像は、上記の背景画像を良品模擬画像として使用した。
なお、実施例２及び参考例２において、これらの画像の入力処理以外の設定は同一である。
The learning image for displaying the inspection target input by the inspection target image input unit and the verification image are detected as an image (background image) in which a background is randomly given a brightness of 0 to 255 for each pixel. It is an image in which a target element is described and noise is added.
The background image described above was used as the non-defective item simulated image for the non-defective item image input by the non-defective item image input unit to correctly display the inspection object.
In the second embodiment and the second reference example, the settings other than the input processing of these images are the same.
実施例２及び参考例２ともに、学習で使用した入力画像の数は１０枚であり、検証で使用した入力画像の枚数は５枚である。 In both Example 2 and Reference Example 2, the number of input images used in learning was 10, and the number of input images used in verification was 5.
評価値は、実施例２及び参考例２共に、出力情報と教師情報を用いて、検出対象要素の画像（１ピクセルごとの差）と個数に対して重み付けを行い、これらを足し合わせた数値を使用した。具体的には、以下の式により算出した。
教師画像との平均二乗誤差×重み１．０＋教師個数との平均二乗誤差×重み０．１
As for the evaluation value, in both Example 2 and Reference Example 2, the output information and the teacher information were used to weight the image (difference for each pixel) and the number of elements to be detected, and a numerical value obtained by adding these together was used. used. Specifically, it was calculated by the following formula.
Mean square error with teacher image x weight 1.0 + mean square error with number of teachers x weight 0.1
個体生成部により生成させる初期の親個体情報の個数を１００個とし、２個の親個体情報をランダムに選択して親個体群からは削除し、これらの親個体情報に対して遺伝子操作を実行して、７２個の子個体情報を生成した（親と同一個体：２、一様交叉個体：２０、突然変異個体：５０）。 The initial number of parent individual information generated by the individual generation unit is set to 100, two pieces of parent individual information are randomly selected and deleted from the parent individual group, and genetic operation is executed on these parent individual information. Then, 72 pieces of child individual information were generated (identical individual as parent: 2, uniform crossover individual: 20, mutant individual: 50).
また、画像処理を行って、子個体情報の評価結果にもとづき評価値が一番よい子個体情報と確率で選択された子個体情報の２個の子個体情報を選択し、これらの子個体情報を親個体情報として親個体群に戻し、以上の処理を設定した世代数分繰り返し実行した。
最大の世代数を１００００世代に設定し、進化がストップしたと判定された場合（評価値が０になった場合）、処理を終了した。
Also, image processing is performed, and based on the evaluation result of the child individual information, two pieces of child individual information, that is, the child individual information having the best evaluation value and the child individual information selected by the probability are selected, and these child individual information are selected. Was returned to the parent individual group as parent individual information, and the above processing was repeated for the set number of generations.
The maximum number of generations is set to 10,000 generations, and when it is determined that the evolution has stopped (when the evaluation value becomes 0), the processing ends.
その結果を図２１〜図２８に示す。図２１及び図２２は、試験２における学習とその結果を示す図であり、図２３は、試験２における検証結果を示す図である。また、試験２における検証結果の評価値を表２に示す。
また、図２４は、試験２における学習の評価値の遷移を表すグラフを示す図である。
さらに、図２５は、実施例２の学習によって得られた個体情報の構造を示す図であり、図２６は、実施例２の学習によって得られた個体情報で用いられたノードの機能を示す図である。また、図２７は、参考例２の学習によって得られた個体情報の構造を示す図であり、図２８は、参考例２の学習によって得られた個体情報で用いられたノードの機能を示す図である。なお、個体情報の構造における四角の囲みはノードセットを示し、それぞれが１個の処理ノードである。
Further, FIG. 24 is a diagram showing a graph showing the transition of the learning evaluation value in the test 2.
Further, FIG. 25 is a diagram showing the structure of individual information obtained by learning of the second embodiment, and FIG. 26 is a diagram showing functions of nodes used in the individual information obtained by learning of the second embodiment. Is. 27 is a diagram showing a structure of individual information obtained by learning of Reference Example 2, and FIG. 28 is a diagram showing a function of a node used in individual information obtained by learning of Reference Example 2. Is. It should be noted that a square box in the structure of the individual information indicates a node set, and each is one processing node.
図２１〜図２３において、「出力結果」に示された画像は、評価値が一番良い個体情報によるものが示されている。すなわち、これらの出力情報の出力に用いられた個体情報が、各実施例２及び参考例２において最終的に得られた（最適化された）個体情報である。 21 to 23, the images shown in the "output result" are based on the individual information having the best evaluation value. That is, the individual information used to output the output information is the individual information finally obtained (optimized) in each of Example 2 and Reference Example 2.
まず、図２４を参照して進化の推移を確認すると、最終的に評価値は、実施例２の方が良い結果となった。また、実施例２は５００世代付近で、参考例２は３８００世代付近で進化が頭打ちしていることから、試験１と同様に、実施例２の方が効率的に進化したと推測される。 First, when the evolutionary transition was confirmed with reference to FIG. 24, finally, the evaluation value of Example 2 was better. Further, since the evolution reached a peak in Example 2 near 500 generations and the reference example 2 near 3800 generations, it is presumed that Example 2 evolved more efficiently as in Test 1.
さらに、図２３に示す検証結果において、参考例２はサンプルNo.1においてノイズに反応しており、No.5においては一部の特徴点（検出対象要素）を検出できていなかった。これに対して、実施例２は全サンプルにおいて参考例２よりも良い評価値が得られている（表２）。したがって、本実施形態の画像処理システムによれば、未知のデータに対しても検出対象要素の検出が可能であることが示唆される。 Further, in the verification result shown in FIG. 23, in Reference Example 2, sample No. 1 responded to noise, and in No. 5, some feature points (detection target elements) could not be detected. On the other hand, in Example 2, in all the samples, the evaluation value better than that of Reference Example 2 was obtained (Table 2). Therefore, according to the image processing system of the present embodiment, it is suggested that the detection target element can be detected even for unknown data.
ここで、試験１と試験２を比較すると、試験１では参考例２の学習用の画像No.7、9と検証用の画像のNo.4、5と、実施例２の学習用のNo.7において、出力画像にノイズが除去できておらずに出力されている。
これは、教師情報が検出対象要素の画像だけの場合、そのノイズの箇所を除去すると、検出対象要素の境界付近も併せて除去されてしまい、評価値が悪化するため、ノイズを除去するか、又は検出対象要素の境界付近を残すかというトレードオフの関係が生まれ、その結果として機械学習はノイズを除去するノード構造を生成できなかったと考えられる。
Here, comparing Test 1 and Test 2, in Test 1, learning images Nos. 7 and 9 of Reference Example 2, verification images Nos. 4 and 5, and learning No. of Example 2 were obtained. In 7, the output image is output without noise being removed.
This is because when the teacher information is only the image of the detection target element, if the noise location is removed, the vicinity of the boundary of the detection target element is also removed, and the evaluation value deteriorates. Alternatively, it is considered that there is a trade-off relationship of leaving the vicinity of the boundary of the detection target element, and as a result, machine learning could not generate a node structure for removing noise.
これに対し、試験２では、教師情報として検出対象要素の個数を示す数値を補助的に用いたことで、ノイズなどの検出対象要素以外が検出された場合、明確に評価値を悪化させるものの、検出対象要素の境界付近が多少削られても評価値を悪化させることがない。このため、機械学習はノイズを除去するノード構造を生成できたと考えられる。 On the other hand, in the test 2, by using the numerical value indicating the number of detection target elements as the teaching information as an auxiliary, the evaluation value is clearly deteriorated when a non-detection target element such as noise is detected. Even if the vicinity of the boundary of the detection target element is slightly scraped, the evaluation value is not deteriorated. Therefore, it is considered that machine learning was able to generate a node structure that removes noise.
さらに、試験２では、教師情報として検出対象要素の個数を示す数値を補助的に用いたことで、試験１に比べて進化が収束する速度が圧倒的に早くなっている。これは、初期の世代においては、ノイズが多い画像を出力する構造と、検出対象要素の付近を大まかに捉えている構造があると推測される。
教師情報として検出対象要素の画像のみを用い、個数を示す数値を用いない場合、機械学習は両方の構造を追いながら進化している二兎を追っている状態だと推測される一方で、教師情報として検出対象要素の個数を加えることで、ノイズが多い画像の評価値を悪化されるため、探索領域が制限されることにより進化が早く進んだと推測される。
Furthermore, in Test 2, the numerical value indicating the number of detection target elements is used as the teaching information as an auxiliary, so that the speed at which the evolution converges is much faster than in Test 1. It is presumed that this is because in the early generations, there are a structure that outputs an image with a lot of noise and a structure that roughly captures the vicinity of the detection target element.
If only the image of the detection target element is used as the teacher information and the numerical value indicating the number is not used, machine learning is presumed to be in a state of following the two rabbits that are evolving while following both structures, while Since the evaluation value of an image with a lot of noise is deteriorated by adding the number of elements to be detected, it is presumed that the evolution has progressed rapidly by limiting the search area.
上記実施形態の画像処理システムは、本発明の画像処理プログラムに制御されたコンピュータを用いて実現することができる。画像処理システムにおけるコンピュータのＣＰＵは、画像処理プログラムにもとづいてコンピュータの各構成要素に指令を送り、画像処理システムの動作に必要となる所定の処理、例えば、個体生成処理、画像処理、評価値計算処理、遺伝子操作処理等を行わせる。このように、本発明の画像処理システムにおける各処理、動作は、プログラムとコンピュータとが協働した具体的手段により実現できるものである。 The image processing system of the above embodiment can be realized using a computer controlled by the image processing program of the present invention. The CPU of the computer in the image processing system sends a command to each component of the computer based on the image processing program, and performs a predetermined process required for the operation of the image processing system, for example, individual generation process, image process, evaluation value calculation. Processing, gene manipulation processing, etc. are performed. As described above, each processing and operation in the image processing system of the present invention can be realized by a specific means in which a program and a computer cooperate with each other.
プログラムは予めＲＯＭ，ＲＡＭ等の記録媒体に格納され、コンピュータに実装された記録媒体から当該コンピュータにプログラムを読み込ませて実行されるが、例えば通信回線を介してコンピュータに読み込ませることもできる。
また、プログラムを格納する記録媒体は、例えば半導体メモリ、磁気ディスク、光ディスク、その他任意のコンピュータで読取り可能な任意の記録手段により構成できる。
The program is stored in a recording medium such as a ROM or a RAM in advance, and is executed by causing the computer to read the program from the recording medium installed in the computer. However, the program can be also read by the computer via a communication line, for example.
The recording medium for storing the program can be constituted by, for example, a semiconductor memory, a magnetic disk, an optical disk, or any other computer-readable recording means.
以上説明したように、本発明の実施形態に係る画像処理システム、及び画像処理プログラムによれば、画像から検出対象を見つけ出す画像処理技術において画像処理をより最適化することが可能である。 As described above, according to the image processing system and the image processing program according to the embodiment of the present invention, it is possible to further optimize the image processing in the image processing technique of finding the detection target from the image.
本発明は、以上の実施形態及び実施例に限定されるものではなく、本発明の範囲内において、種々の変更実施が可能であることは言うまでもない。
例えば、画像処理装置における各構成を複数の情報処理装置に分散して持たせたり、ノードとして実施例で用いたもの以外のものを含めて使用したりすることができる。
また、実施例では検出対象要素として画像内の欠陥を模擬した検出対象要素を用いたが、検出対象要素は画像であれば特に限定されず、例えば機械部品や細胞の画像、３Ｄキャドなどの立体画像等を対象とすることもできる。
Needless to say, the present invention is not limited to the above embodiments and examples, and various modifications can be made within the scope of the present invention.
For example, each component of the image processing apparatus can be distributed to a plurality of information processing apparatuses, or a node other than those used in the embodiments can be used.
Further, in the embodiment, a detection target element that imitates a defect in an image is used as the detection target element, but the detection target element is not particularly limited as long as it is an image, and for example, an image of a mechanical part or a cell, a stereoscopic image such as 3D CAD, or the like. It is also possible to target an image or the like.
本発明は、設備や製品などの画像データにもとづき検査などを行う場合であって、画像処理が最適化された画像検査用の情報処理装置を得るために、好適に利用することが可能である。 INDUSTRIAL APPLICABILITY The present invention can be suitably used to obtain an information processing apparatus for image inspection in which image processing is optimized, when the inspection is performed based on image data of equipment or products. ..
１，１ｃ 画像処理装置
１０，１０ｃ 機能単位記憶部
１１，１１ｃ 個体生成部
１２，１２ｃ 個体群記憶部
１２１ｃ 親個体群記憶部
１２２ｃ 子個体群記憶部
１３，１３ｃ 検査対象画像入力部
１４，１４ｃ 検査対象画像記憶部
１５，１５ｃ 良品画像入力部
１６，１６ｃ 良品画像記憶部
１７，１７ｃ 教師情報入力部
１８，１８ｃ 教師情報記憶部
１９，１９ｃ 画像処理部
２０，２０ｃ 出力情報記憶部
２１，２１ｃ 評価値計算部
２２，２２ｃ 評価結果記憶部
２３，２３ｃ 遺伝子操作部
1, 1c Image processing device 10, 10c Functional unit storage unit 11, 11c Individual generation unit 12, 12c Individual group storage unit 121c Parent individual group storage unit 122c Child individual group storage unit 13, 13c Inspection target image input unit 14, 14c Inspection Target image storage unit 15, 15c Non-defective image input unit 16, 16c Non-defective image storage unit 17, 17c Teacher information input unit 18, 18c Teacher information storage unit 19, 19c Image processing unit 20, 20c Output information storage unit 21, 21c Evaluation value Calculation unit 22,22c Evaluation result storage unit 23,23c Gene manipulation unit
Claims (10)
有閉路を含み得るネットワーク状に複数の機能単位の実行順序を定義する一又は二以上の個体情報を記憶する個体群記憶部と、
検査対象物が表示された学習用又は検証用の検査対象画像を入力する検査対象画像入力部と、
検査対象物が正しく表示された良品画像を入力する良品画像入力部と、
前記個体情報及び前記良品画像にもとづいて前記検査対象画像を処理し、前記検査対象画像における検出対象要素の画像、個数、及び位置情報の少なくともいずれかを含む出力情報を生成する画像処理部と、
前記出力情報を評価するための検出対象要素の情報を含む教師情報を入力する教師情報入力部と、
前記出力情報と前記教師情報を比較して評価値を計算し、この評価値にもとづき前記個体情報を順位付けする評価値計算部と、
前記個体情報の順位付け情報にもとづき前記個体情報の選択又は変更を行って、前記個体群記憶部を更新する遺伝子操作部と、を備えた
ことを特徴とする画像処理システム。 An image processing system for optimizing image processing for detecting a detection target from an image by a genetic operation that is an optimization method that mathematically simulates the evolution of a living being,
An individual group storage unit that stores one or more individual information items that define the execution order of a plurality of functional units in a network that may include closed circuits;
An inspection object image input unit for inputting an inspection object image for learning or verification in which the inspection object is displayed,
A non-defective image input section for inputting a non-defective image in which the inspection object is correctly displayed,
An image processing unit that processes the inspection target image based on the individual information and the non-defective image, and generates output information including at least one of an image of the detection target element in the inspection target image, the number, and position information,
A teacher information input unit for inputting teacher information including information on a detection target element for evaluating the output information;
An evaluation value calculation unit that compares the output information and the teacher information to calculate an evaluation value, and ranks the individual information based on the evaluation value,
An image processing system, comprising: a gene manipulation unit that updates the individual group storage unit by selecting or changing the individual information based on the ranking information of the individual information.
前記教師情報及び前記出力情報に、前記検査対象画像における検出対象要素の画像が含まれる
ことを特徴とする請求項１記載の画像処理システム。 The process by the image processing unit includes a process of creating an image of a detection target element in the inspection target image,
The image processing system according to claim 1, wherein the teacher information and the output information include an image of a detection target element in the inspection target image.
前記教師情報及び前記出力情報に、前記検査対象画像における検出対象要素の個数を示す数値が含まれる
ことを特徴とする請求項１又は２記載の画像処理システム。 The process by the image processing unit includes a process of counting detection target elements in the inspection target image,
The image processing system according to claim 1, wherein the teacher information and the output information include a numerical value indicating the number of detection target elements in the inspection target image.
前記教師情報及び前記出力情報が、前記検査対象画像における検出対象要素の位置情報である
ことを特徴とする請求項１〜３のいずれかに記載の画像処理システム。 The process by the image processing unit includes a process of acquiring position information of a detection target element in the inspection target image,
The image processing system according to claim 1, wherein the teacher information and the output information are position information of a detection target element in the inspection target image.
前記評価値が高い個体情報を次世代に残すエリート保存部と、
前記評価値にもとづいて、一定の確率で個体情報を次世代に残す選択部と、
２つの個体情報の一部を相互に交換する交叉処理部と、
選択された１つの個体情報の一部又は全部をランダムに書き換える突然変異部と、を有する
ことを特徴とする請求項１〜５のいずれかに記載の画像処理システム。 The genetic operation unit,
An elite storage unit that leaves individual information with a high evaluation value to the next generation,
Based on the evaluation value, a selection unit that leaves the individual information to the next generation with a certain probability,
A crossover processing unit for exchanging a part of two pieces of individual information with each other;
The image processing system according to any one of claims 1 to 5, further comprising: a mutation unit that randomly rewrites a part or all of the selected one piece of individual information.
前記良品画像入力部が、検査対象物と同一種類の他の検査対象物を撮影して得られた画像をリアルタイムで前記良品画像として入力する
ことを特徴とする請求項８記載の画像処理システム。 The inspection target image input unit inputs the image obtained by photographing the inspection target in real time as the image for inspection,
The image processing system according to claim 8, wherein the non-defective image input unit inputs an image obtained by photographing another inspection object of the same type as the inspection object in real time as the non-defective image.
コンピュータを、
有閉路を含み得るネットワーク状に複数の機能単位の実行順序を定義する一又は二以上の個体情報を記憶する個体群記憶部、
検査対象物が表示された学習用又は検証用の検査対象画像を入力する検査対象画像入力部、
検査対象物が正しく表示された良品画像を入力する良品画像入力部、
前記個体情報及び前記良品画像にもとづいて前記検査対象画像を処理し、前記検査対象画像における検出対象要素の画像、個数、及び位置情報の少なくともいずれかを含む出力情報を生成する画像処理部、
前記出力情報を評価するための検出対象要素の情報を含む教師情報を入力する教師情報入力部、
前記出力情報と前記教師情報を比較して評価値を計算し、この評価値にもとづき前記個体情報を順位付けする評価値計算部、及び、
前記個体情報の順位付け情報にもとづき前記個体情報の選択又は変更を行って、前記個体群記憶部を更新する遺伝子操作部として機能させる
ことを特徴とする画像処理プログラム。
An image processing program for optimizing image processing for detecting a detection target from an image by a genetic operation that is an optimization method that mathematically simulates the evolution of a living being,
Computer,
An individual group storage unit that stores one or more individual information items that define the execution order of a plurality of functional units in a network that may include closed circuits,
An inspection object image input unit for inputting an inspection object image for learning or verification in which the inspection object is displayed,
Non-defective image input section that inputs the non-defective image in which the inspection object is correctly displayed,
An image processing unit that processes the inspection target image based on the individual information and the non-defective product image, and generates output information including at least one of an image of the detection target element in the inspection target image, the number, and position information,
A teacher information input unit for inputting teacher information including information on a detection target element for evaluating the output information,
An evaluation value calculation unit that compares the output information and the teacher information to calculate an evaluation value, and ranks the individual information based on the evaluation value, and
An image processing program, characterized by causing the individual information to be selected or changed based on the ranking information of the individual information to function as a gene operation unit for updating the individual group storage unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018243927A JP7247578B2 (en) | 2018-12-27 | 2018-12-27 | Image processing system and image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018243927A JP7247578B2 (en) | 2018-12-27 | 2018-12-27 | Image processing system and image processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020107009A true JP2020107009A (en) | 2020-07-09 |
| JP7247578B2 JP7247578B2 (en) | 2023-03-29 |
Family
ID=71450816
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018243927A Active JP7247578B2 (en) | 2018-12-27 | 2018-12-27 | Image processing system and image processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7247578B2 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002366929A (en) * | 2001-06-11 | 2002-12-20 | Printing Bureau Ministry Of Finance | Method and device for extracting failure and defect of printed matter |
| JP2004239870A (en) * | 2003-02-10 | 2004-08-26 | Seiko Epson Corp | Spatial filter, method and program for generating the same, and method and apparatus for inspecting screen defect |
| JP2007102458A (en) * | 2005-10-04 | 2007-04-19 | Yamaguchi Univ | Method for automatically drawing notice portion by image processing, device therefor and recording medium recording program |
| JP2010032511A (en) * | 2008-06-30 | 2010-02-12 | Denro Corp | Method and device for diagnosing coating degradation |
| JP2015011641A (en) * | 2013-07-02 | 2015-01-19 | 富士通株式会社 | Apparatus and method of creating image processing filter |
| JP2017010475A (en) * | 2015-06-26 | 2017-01-12 | 富士通株式会社 | Program generation device, program generation method, and generated program |
-
2018
- 2018-12-27 JP JP2018243927A patent/JP7247578B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002366929A (en) * | 2001-06-11 | 2002-12-20 | Printing Bureau Ministry Of Finance | Method and device for extracting failure and defect of printed matter |
| JP2004239870A (en) * | 2003-02-10 | 2004-08-26 | Seiko Epson Corp | Spatial filter, method and program for generating the same, and method and apparatus for inspecting screen defect |
| JP2007102458A (en) * | 2005-10-04 | 2007-04-19 | Yamaguchi Univ | Method for automatically drawing notice portion by image processing, device therefor and recording medium recording program |
| JP2010032511A (en) * | 2008-06-30 | 2010-02-12 | Denro Corp | Method and device for diagnosing coating degradation |
| JP2015011641A (en) * | 2013-07-02 | 2015-01-19 | 富士通株式会社 | Apparatus and method of creating image processing filter |
| JP2017010475A (en) * | 2015-06-26 | 2017-01-12 | 富士通株式会社 | Program generation device, program generation method, and generated program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7247578B2 (en) | 2023-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10997711B2 (en) | Appearance inspection device | |
| CN109919934B (en) | Liquid crystal panel defect detection method based on multi-source domain deep transfer learning | |
| JP5815458B2 (en) | Reward function estimation device, reward function estimation method, and program | |
| KR20190063839A (en) | Method and System for Machine Vision based Quality Inspection using Deep Learning in Manufacturing Process | |
| CN111492382A (en) | Training a first neural network model and a second neural network model | |
| JP2019076819A (en) | Sorting system | |
| CN110852316A (en) | Image tampering detection and positioning method adopting convolution network with dense structure | |
| CN110264444B (en) | Damage detection method and device based on weak segmentation | |
| JP6973625B2 (en) | Learning equipment, learning methods and learning programs | |
| CN108334805A (en) | The method and apparatus for detecting file reading sequences | |
| CN112989947A (en) | Method and device for estimating three-dimensional coordinates of human body key points | |
| Pinville et al. | How to promote generalisation in evolutionary robotics: the progab approach | |
| JP6988995B2 (en) | Image generator, image generator and image generator | |
| JP7247578B2 (en) | Image processing system and image processing program | |
| JP2020107008A (en) | Image processing system, and image processing program | |
| CN111753980A (en) | Method for transferring features of a first image to a second image | |
| CN109102486A (en) | Detection method of surface flaw and device based on machine learning | |
| JP7468088B2 (en) | Image processing system and image processing program | |
| JP7314711B2 (en) | Image processing system and image processing program | |
| JP2020071552A (en) | Determination device and determination method | |
| JP2022089430A (en) | Image processing system, and image processing program | |
| JP7206892B2 (en) | Image inspection device, learning method for image inspection, and image inspection program | |
| JP2021051617A (en) | Image processing system and image processing program | |
| JP7314723B2 (en) | Image processing system and image processing program | |
| WO2022239316A1 (en) | Trained model generation method and trained model generation system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211115 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220927 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220930 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20221124 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221223 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230214 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230227 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7247578 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |