JP7017462B2 - Learning image generation device and learning image generation method, as well as image recognition device and image recognition method - Google Patents

Description

本発明は、ＣＡＤデータから学習画像を生成する学習画像生成装置及び学習画像生成方法、並びにその学習画像を用いて画像認識を行う画像認識装置及び画像認識方法に関する。 The present invention relates to a learning image generation device and a learning image generation method for generating a learning image from CAD data, and an image recognition device and an image recognition method for performing image recognition using the learning image.

物体を撮像して得られた画像から当該物体を認識する画像認識において、機械学習が近年利用され始めている。その場合、高い認識精度を達成するためには、認識対象となる物体の撮像画像を学習画像として大量に保有していることが必要になる。しかし、例えば、各種製品の製造工程における各種部品を認識対象とする場合では、新たに製造された部品及び製造数が少ない部品等については撮像画像を十分に用意することができず、学習画像を必要量確保することが困難なことがある。そこで、部品のＣＡＤデータを用いてＣＧ画像である学習画像を生成する技術が提案されている。 In recent years, machine learning has begun to be used in image recognition for recognizing an object from an image obtained by imaging the object. In that case, in order to achieve high recognition accuracy, it is necessary to have a large amount of captured images of the object to be recognized as learning images. However, for example, when various parts in the manufacturing process of various products are to be recognized, it is not possible to sufficiently prepare captured images for newly manufactured parts and parts with a small number of manufactured parts, and a learning image is used. It may be difficult to secure the required amount. Therefore, a technique for generating a learning image, which is a CG image, using the CAD data of a component has been proposed.

上記のようにＣＡＤデータから学習画像を生成する技術として、ＣＡＤデータのポリゴン表現の結合部をエッジとして扱い、そのエッジを用いて学習画像を生成する手法が知られている。その他にも、対象物体の輝度画像及び距離画像から対象物体の輝度分布モデルを推定し、その輝度分布モデルに基づいて学習画像を生成する手法が提案されている（特許文献１及び２を参照。）。 As a technique for generating a learning image from CAD data as described above, a method is known in which a joint portion of polygon representation of CAD data is treated as an edge and a learning image is generated using the edge. In addition, a method of estimating the brightness distribution model of the target object from the luminance image and the distance image of the target object and generating a learning image based on the luminance distribution model has been proposed (see Patent Documents 1 and 2). ).

特許第６１２６４３７号公報Japanese Patent No. 6126437 特開２０１７－１２０６７２号公報Japanese Unexamined Patent Publication No. 2017-120672

しかしながら、上記の従来技術の前者については、対象物体を撮像する環境が変わり、光源位置及びその向きが異なると、エッジ抽出処理の精度が低下するため、良質な学習画像を得ることができないという問題がある。また、後者については、距離画像を取得するために高価な測定装置が必要になることに加え、対象物体との距離が大きく離れている又は対象物体が巨大なものである等の場合は適用することができないという問題がある。 However, the former of the above-mentioned prior art has a problem that if the environment for imaging the target object changes and the position and direction of the light source are different, the accuracy of the edge extraction process is lowered and a good quality learning image cannot be obtained. There is. The latter is applied when an expensive measuring device is required to acquire a distance image, and when the distance to the target object is large or the target object is huge. There is a problem that it cannot be done.

本発明は斯かる事情に鑑みてなされたものであり、その主たる目的は、上記課題を解決することができる学習画像生成装置及び学習画像生成方法、並びに画像認識装置及び画像認識方法を提供することにある。 The present invention has been made in view of such circumstances, and a main object thereof is to provide a learning image generation device and a learning image generation method, and an image recognition device and an image recognition method, which can solve the above problems. It is in.

上述した課題を解決するために、本発明の一の態様の学習画像生成装置は、第１物体の撮像画像及び当該第１物体の３次元ＣＡＤ画像を含む教師データを用いて機械学習を実行し、前記３次元ＣＡＤ画像を入力とし、前記撮像画像を出力とする機械学習モデルを構築するモデル構築手段と、前記第１物体とは異なる形状を有する第２物体の３次元ＣＡＤ画像を入力として前記機械学習モデルに与えることにより、前記第２物体の模倣画像を、前記第２物体の画像認識の学習画像として生成する画像生成手段とを備える。 In order to solve the above-mentioned problems, the learning image generator according to one aspect of the present invention performs machine learning using the teacher data including the captured image of the first object and the three-dimensional CAD image of the first object. , The model building means for constructing a machine learning model that takes the 3D CAD image as an input and outputs the captured image, and the 3D CAD image of a second object having a shape different from that of the first object as an input. It is provided with an image generation means for generating a copycat image of the second object as a learning image for image recognition of the second object by giving it to a machine learning model.

この態様において、前記撮像画像における第１物体の角度と一致するように、前記第１物体の３次元ＣＡＤ画像の角度を調整する調整手段をさらに備え、前記モデル構築手段は、前記調整手段により角度が調整された前記３次元ＣＡＤ画像を用いて前記機械学習を実行するように構成されていてもよい。 In this embodiment, an adjusting means for adjusting the angle of the three-dimensional CAD image of the first object so as to match the angle of the first object in the captured image is further provided, and the model building means is angled by the adjusting means. May be configured to perform the machine learning using the adjusted 3D CAD image.

また、上記態様において、前記第１物体の３次元ＣＡＤ画像における第１物体の表面凹凸のコントラストを強調する凹凸強調手段をさらに備え、前記モデル構築手段は、前記凹凸強調手段により表面凹凸が強調された第１物体の３次元ＣＡＤ画像を用いて前記機械学習を実行するように構成されていてもよい。 Further, in the above aspect, the unevenness enhancing means for enhancing the contrast of the surface unevenness of the first object in the three-dimensional CAD image of the first object is further provided, and the model building means emphasizes the surface unevenness by the unevenness enhancing means. It may be configured to perform the machine learning using a three-dimensional CAD image of the first object.

また、上記態様において、前記第１物体の３次元ＣＡＤ画像における第１物体の輪郭線を強調する輪郭線強調手段をさらに備え、前記モデル構築手段は、前記輪郭線強調手段により輪郭線が強調された第１物体の３次元ＣＡＤ画像を用いて前記機械学習を実行するように構成されていてもよい。 Further, in the above aspect, the contour line enhancing means for emphasizing the contour line of the first object in the three-dimensional CAD image of the first object is further provided, and the model building means emphasizes the contour line by the contour line enhancing means. It may be configured to perform the machine learning using a three-dimensional CAD image of the first object.

また、上記態様において、前記モデル構築手段は、前記機械学習モデルを用いて前記第１物体の模倣画像を生成する生成手段と、生成した模倣画像と前記第１物体の撮像画像とを識別する識別手段とを具備しており、前記識別手段による識別結果を用いて前記機械学習を実行するように構成されていてもよい。 Further, in the above aspect, the model building means identifies the generation means for generating the imitation image of the first object by using the machine learning model, and the generated imitation image and the captured image of the first object. It is provided with means, and may be configured to perform the machine learning using the identification result by the identification means.

また、上記態様において、前記第１物体及び前記第２物体とは異なる形状を有する第３物体の撮像画像及び当該第３物体の３次元ＣＡＤ画像を含む教師データを用いて機械学習を実行し、前記３次元ＣＡＤ画像を入力とし、前記撮像画像を出力とする第２機械学習モデルを構築する第２モデル構築手段をさらに備え、前記画像生成手段は、前記第２物体の形状が前記第１物体よりも前記第３物体の形状に近い場合に、前記取得した３次元ＣＡＤ画像を入力として前記第２機械学習モデルに与えることにより、前記第２物体の模倣画像を生成するように構成されていてもよい。 Further, in the above embodiment, machine learning is executed using the teacher data including the captured image of the first object and the third object having a shape different from the second object and the three-dimensional CAD image of the third object. Further provided with a second model construction means for constructing a second machine learning model that takes the three-dimensional CAD image as an input and outputs the captured image, the image generation means has the shape of the second object as the first object. It is configured to generate a copycat image of the second object by feeding the acquired three-dimensional CAD image as an input to the second machine learning model when the shape is closer to the shape of the third object. May be good.

また、上記態様において、前記機械学習モデルは、畳み込み層及びプーリング層を含む畳み込みニューラルネットワークであってもよい。 Further, in the above aspect, the machine learning model may be a convolutional neural network including a convolutional layer and a pooling layer.

本発明の一の態様の画像認識装置は、上記態様の学習画像生成装置により生成された学習画像及び前記第１物体の撮像画像と、前記第１物体及び前記第２物体の形状に関する形状情報とを含む教師データによって機械学習を実行し、前記学習画像及び前記撮像画像を入力とし、前記形状情報を出力とする機械学習モデルを構築するモデル構築手段と、撮像装置により得られた物体の撮像画像を取得する画像取得手段と、取得した撮像画像を入力として前記機械学習モデルに与え、前記機械学習モデルから出力される形状情報を取得する形状情報取得手段と、取得した形状情報に基づいて、前記撮像画像における物体を認識する画像認識手段とを備える。 The image recognition device according to one aspect of the present invention includes a learning image generated by the learning image generation device according to the above aspect, an image captured by the first object, and shape information regarding the shapes of the first object and the second object. Machine learning is executed by the teacher data including Based on the image acquisition means for acquiring the image, the shape information acquisition means for acquiring the shape information output from the machine learning model by giving the acquired captured image as an input to the machine learning model, and the acquired shape information. It is provided with an image recognition means for recognizing an object in a captured image.

本発明の一の態様の学習画像生成方法は、第１物体の撮像画像及び当該第１物体の３次元ＣＡＤ画像を含む教師データを用いて機械学習を実行し、前記３次元ＣＡＤ画像を入力とし、前記撮像画像を出力とする機械学習モデルを構築するステップと、前記第１物体とは異なる形状を有する第２物体の３次元ＣＡＤ画像を入力として前記機械学習モデルに与えることにより、前記第２物体の模倣画像を、前記第２物体の画像認識の学習画像として生成するステップとを有する。 In the learning image generation method of one aspect of the present invention, machine learning is executed using the teacher data including the captured image of the first object and the three-dimensional CAD image of the first object, and the three-dimensional CAD image is input. The second step is to construct a machine learning model using the captured image as an output, and to give the machine learning model a three-dimensional CAD image of a second object having a shape different from that of the first object as an input. It has a step of generating an imitation image of an object as a learning image of image recognition of the second object.

本発明の一の態様の画像認識方法は、請求項９に記載に記載された学習画像生成方法により生成された学習画像及び前記第１物体の撮像画像と、前記第１物体及び前記第２物体の形状に関する形状情報とを含む教師データによって機械学習を実行し、前記学習画像及び前記撮像画像を入力とし、前記形状情報を出力とする機械学習モデルを構築するステップと、撮像装置により得られた物体の撮像画像を取得するステップと、取得した撮像画像を入力として前記機械学習モデルに与え、前記機械学習モデルから出力される形状情報を取得するステップと、取得した形状情報に基づいて、前記撮像画像における物体を認識するステップとを有する。 The image recognition method according to one aspect of the present invention includes a learning image generated by the learning image generation method according to claim 9, an image captured by the first object, and the first object and the second object. A step of constructing a machine learning model in which machine learning is executed by teacher data including shape information related to the shape of the above, the learning image and the captured image are input, and the shape information is output, and an image pickup device are obtained. The step of acquiring a captured image of an object, the step of giving the acquired captured image as an input to the machine learning model and acquiring the shape information output from the machine learning model, and the step of acquiring the acquired shape information. It has a step of recognizing an object in an image.

本発明によれば、画像認識用の学習画像をＣＡＤデータから生成することができる。 According to the present invention, a learning image for image recognition can be generated from CAD data.

実施の形態に係る画像認識装置を備える画像認識システムの構成を示すブロック図。The block diagram which shows the structure of the image recognition system which comprises the image recognition apparatus which concerns on embodiment. 実施の形態に係る画像認識装置が備える制御部の構成を示すブロック図。The block diagram which shows the structure of the control part provided in the image recognition apparatus which concerns on embodiment. 第１学習モードにおける前処理器の動作の流れを示すフローチャート。The flowchart which shows the flow of operation of the preprocessing device in the 1st learning mode. 第１学習モードにおける画像生成器の動作の流れを示すフローチャート。The flowchart which shows the flow of operation of the image generator in the 1st learning mode. ３次元ＣＡＤ画像の一例を示す図。The figure which shows an example of a 3D CAD image. 撮像画像の一例を示す図。The figure which shows an example of the captured image. 撮像画像に合わせて角度が調整された３次元ＣＡＤ画像の一例を示す図。The figure which shows an example of the 3D CAD image whose angle was adjusted according to the captured image. 第１学習モードにおける画像識別器の動作の流れを示すフローチャート。The flowchart which shows the flow of operation of the image classifier in the 1st learning mode. 画像生成モードにおける画像生成器の動作の流れを示すフローチャート。A flowchart showing the flow of operation of the image generator in the image generation mode. ３次元ＣＡＤ画像の一例。An example of a 3D CAD image. 模倣画像の一例。An example of a copycat image. 第２学習モードにおける学習器の動作の流れを示すフローチャート。The flowchart which shows the flow of operation of the learner in the 2nd learning mode. ３次元ＣＡＤ画像の一例を示す図。The figure which shows an example of a 3D CAD image.

以下、本発明の好ましい実施の形態を、図面を参照しながら説明する。なお、以下では、各種製品の製造工程における部品を画像認識の対象とした場合を例示する。 Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. In the following, a case where parts in the manufacturing process of various products are targeted for image recognition will be illustrated.

［画像認識システムの構成］
図１は、本実施の形態の画像認識装置を備える画像認識システムの構成を示すブロック図である。画像認識システム１は、認識対象の物体の撮像画像を取得する撮像装置２と、撮像装置２にて取得された撮像画像を用いて画像認識を実行する画像認識装置３と、画像認識装置３の処理結果を出力する出力装置４と、各種入力操作を行うための入力装置５とを備えている。 [Configuration of image recognition system]
FIG. 1 is a block diagram showing a configuration of an image recognition system including the image recognition device of the present embodiment. The image recognition system 1 includes an image pickup device 2 that acquires a captured image of an object to be recognized, an image recognition device 3 that executes image recognition using the captured image acquired by the image pickup device 2, and an image recognition device 3. It includes an output device 4 for outputting a processing result and an input device 5 for performing various input operations.

画像認識装置３は、例えばパーソナルコンピュータ等で構成され、制御部３１と、記憶部３２とを備えている。制御部３１は、後述する各処理を実現するコンピュータプログラムを実行するとともに各装置を制御する。記憶部３２は、当該コンピュータプログラム及び各種のデータを記憶する。この記憶部３２には、撮像装置２により取得された各部品の撮像画像を格納する撮像画像データベース（ＤＢ）３２ａと、認識対象の物体である各部品の３次元ＣＡＤ画像を格納する３次元ＣＡＤ画像データベース（ＤＢ）３２ｂとが設けられている。この３次元ＣＡＤ画像は、各部品を設計する際に作成された３次元ＣＡＤデータのスクリーンショットである。 The image recognition device 3 is composed of, for example, a personal computer or the like, and includes a control unit 31 and a storage unit 32. The control unit 31 executes a computer program that realizes each process described later and controls each device. The storage unit 32 stores the computer program and various data. The storage unit 32 contains a captured image database (DB) 32a that stores captured images of each component acquired by the imaging device 2, and a three-dimensional CAD that stores a three-dimensional CAD image of each component that is an object to be recognized. An image database (DB) 32b is provided. This 3D CAD image is a screenshot of 3D CAD data created when designing each component.

図２は、画像認識装置３が備える制御部３１の構成を示す機能ブロック図である。図２に示すように、制御部３１は、３次元ＣＡＤ画像に対して前処理を施す前処理器３１ａと、撮像画像と前処理器３１ａから入力された３次元ＣＡＤ画像とを用いて後述する模倣画像（学習画像）を生成する画像生成器３１ｂと、画像生成器３１ｂによって生成された模倣画像と撮像画像とを識別する画像識別器３１ｃと、画像生成器３１ｂによって生成された学習画像を用いて機械学習を行う学習器３１ｄと、学習器３１ｄによる学習の結果得られた機械学習モデルを用いて画像認識を行う画像認識器３１ｅとを備えている。これらの前処理器３１ａ、画像生成器３１ｂ、画像識別器３１ｃ、学習器３１ｄ、及び画像認識器３１ｅは、コンピュータプログラムのモジュールとして実現される。 FIG. 2 is a functional block diagram showing a configuration of a control unit 31 included in the image recognition device 3. As shown in FIG. 2, the control unit 31 will be described later using a preprocessing device 31a that preprocesses a three-dimensional CAD image, and a captured image and a three-dimensional CAD image input from the preprocessing device 31a. Using an image generator 31b that generates a copycat image (learning image), an image classifier 31c that discriminates between the copycat image and the captured image generated by the image generator 31b, and a training image generated by the image generator 31b. It includes a learning device 31d that performs machine learning, and an image recognizer 31e that performs image recognition using a machine learning model obtained as a result of learning by the learning device 31d. These preprocessing units 31a, image generators 31b, image classifiers 31c, learners 31d, and image recognizers 31e are realized as modules of computer programs.

上述したように構成された画像認識装置３は、本発明の学習画像生成装置としての機能を兼ねている。上記の前処理器３１ａ、画像生成器３１ｂ及び画像識別器３１ｃが、当該学習画像生成装置に相当する。以下では、画像認識装置３の動作の説明を、（１）撮像画像及び３次元ＣＡＤ画像を用いて機械学習を行うことにより、学習画像を生成するための機械学習モデルである画像生成モデルを構築する第１学習モード、（２）その画像生成モデルを用いて学習画像を生成する画像生成モード、（３）生成された学習画像を用いて機械学習を行うことにより、画像認識を行うための機械学習モデルである画像認識モデルを構築する第２学習モード、（４）画像認識を実行する画像認識モードの４つに分けて行う。なお、このうち、（１）第１学習モード及び（２）画像生成モードにおける動作は本発明の学習画像生成装置としての動作に相当し、（３）第２学習モード及び（４）画像認識モードにおける動作が本発明の画像認識装置としての動作に相当する。 The image recognition device 3 configured as described above also has a function as a learning image generation device of the present invention. The preprocessing device 31a, the image generator 31b, and the image classifier 31c correspond to the learning image generator. In the following, the operation of the image recognition device 3 will be explained by (1) constructing an image generation model which is a machine learning model for generating a learning image by performing machine learning using an captured image and a three-dimensional CAD image. 1st learning mode, (2) an image generation mode that generates a learning image using the image generation model, (3) a machine for performing image recognition by performing machine learning using the generated learning image. It is divided into four modes: a second learning mode for constructing an image recognition model which is a learning model, and (4) an image recognition mode for executing image recognition. Of these, the operations in (1) first learning mode and (2) image generation mode correspond to the operation as the learning image generation device of the present invention, and (3) second learning mode and (4) image recognition mode. Corresponds to the operation as the image recognition device of the present invention.

［画像認識装置の動作］
（１）第１学習モード
第１学習モードにおいては、前処理器３１ａ、画像生成器３１ｂ及び画像識別器３１ｃの各モジュールがそれぞれ後述する処理を実行する。これにより、部品の撮像画像及び３次元ＣＡＤ画像を用いた機械学習が行われ、その結果画像生成モデルが構築される。 [Operation of image recognition device]
(1) First Learning Mode In the first learning mode, each module of the preprocessing device 31a, the image generator 31b, and the image classifier 31c executes the processing described later. As a result, machine learning is performed using the captured image of the component and the three-dimensional CAD image, and as a result, an image generation model is constructed.

図３は、第１学習モードにおける前処理器３１ａの動作の流れを示すフローチャートである。図３に示すとおり、前処理器３１ａはまず、撮像画像ＤＢ３２ａに撮像画像が存在する部品の３次元ＣＡＤ画像の入力を、３次元ＣＡＤ画像ＤＢ３２ｂから受け付ける（Ｓ１０１）。 FIG. 3 is a flowchart showing the flow of operation of the preprocessing device 31a in the first learning mode. As shown in FIG. 3, the preprocessing device 31a first accepts the input of the three-dimensional CAD image of the component in which the captured image exists in the captured image DB 32a from the three-dimensional CAD image DB 32b (S101).

次に、前処理器３１ａは、入力された３次元ＣＡＤ画像における部品の表面に設けられている凹凸のコントラストを強調する処理を実行する（Ｓ１０２）。この場合の凹凸には、部品に形成されている貫通／非貫通の孔及び各種形状の突起物等が含まれる。 Next, the preprocessing device 31a executes a process of enhancing the contrast of the unevenness provided on the surface of the component in the input three-dimensional CAD image (S102). The unevenness in this case includes through / non-penetrating holes formed in the component, protrusions of various shapes, and the like.

後に行われる画像認識においては、上記のような部品の表面に設けられている凹凸の位置及び大きさ等のような局所的な特徴に注目して各部品を認識する必要が生じる。そのため、認識性能を高めるために、それらの局所的な特徴が、画像認識に利用される学習画像において正確に再現されることが好ましい。しかし、特に小さな凹凸については潰れてしまい、正確に再現されないことがある。本実施の形態の場合、上記のステップＳ１０２により部品の凹凸のコントラストを強調させることによって、当該凹凸を正確に表現した学習画像を生成することが可能になる。 In the image recognition performed later, it becomes necessary to recognize each part by paying attention to local features such as the position and size of the unevenness provided on the surface of the part as described above. Therefore, in order to improve the recognition performance, it is preferable that those local features are accurately reproduced in the learning image used for image recognition. However, especially small irregularities may be crushed and may not be reproduced accurately. In the case of the present embodiment, by enhancing the contrast of the unevenness of the component by the above step S102, it becomes possible to generate a learning image that accurately expresses the unevenness.

次に、前処理器３１ａは、入力された３次元ＣＡＤ画像における部品の輪郭線を強調する処理を実行する（Ｓ１０３）。この処理は、例えば鮮鋭化フィルタを用いることにより行われる。 Next, the preprocessing device 31a executes a process of emphasizing the contour line of the component in the input three-dimensional CAD image (S103). This process is performed, for example, by using a sharpening filter.

学習画像において部品の輪郭線がぼやける等した場合、認識性能の低下を招くおそれがある。本実施の形態の場合、上記のステップＳ１０３により部品の輪郭線を強調させることによって、当該輪郭線を正確に表現した学習画像を生成し、後に行われる画像認識の精度を高めることができる。 If the contour lines of the parts are blurred in the training image, the recognition performance may be deteriorated. In the case of the present embodiment, by emphasizing the contour line of the component in step S103 above, a learning image that accurately expresses the contour line can be generated, and the accuracy of image recognition performed later can be improved.

最後に、前処理器３１ａは、以上のように前処理が施された３次元ＣＡＤ画像を画像生成器３１ｂに出力し（Ｓ１０４）、処理を終了する。 Finally, the preprocessing device 31a outputs the three-dimensional CAD image subjected to the preprocessing as described above to the image generator 31b (S104), and ends the processing.

画像生成器３１ｂは、上記のとおり前処理が施された３次元ＣＡＤ画像を用いて、次の処理を実行する。図４は、第１学習モードにおける画像生成器３１ｂの動作の流れを示すフローチャートである。図４に示すとおり、画像生成器３１ｂはまず、前処理器３１ａから３次元ＣＡＤ画像の入力を、撮像画像ＤＢ３２ａから当該３次元ＣＡＤ画像の部品に係る撮像画像の入力を、それぞれ受け付ける（Ｓ２０１）。 The image generator 31b executes the following processing using the three-dimensional CAD image that has been preprocessed as described above. FIG. 4 is a flowchart showing the flow of operation of the image generator 31b in the first learning mode. As shown in FIG. 4, the image generator 31b first accepts the input of the three-dimensional CAD image from the preprocessing device 31a and the input of the captured image related to the component of the three-dimensional CAD image from the captured image DB 32a (S201). ..

次に、画像生成器３１ｂは、入力された撮像画像における部品の角度と一致するように、３次元ＣＡＤ画像の角度を調整する（Ｓ２０２）。この処理の詳細について、図５乃至図７を参照しながら説明する。図５は前処理器３１ａから入力された３次元ＣＡＤ画像の一例であり、図６は撮像画像ＤＢ３２ａから入力された撮像画像の一例である。これらの画像に表されている部品は同一部品である。ステップＳ２０２において、画像生成器３１ｂは、図５に示す３次元ＣＡＤ画像の角度を、図６に示す撮像画像の部品の角度と一致するように調整する。その結果、図５に示す３次元ＣＡＤ画像は、図７に示す３次元ＣＡＤ画像へと変換される。これにより、３次元ＣＡＤ画像における部品が、撮像画像における部品と同じ見え方になる。この処理を行うことによって、画像認識の精度向上に寄与する学習構造を生成することができる。 Next, the image generator 31b adjusts the angle of the three-dimensional CAD image so as to match the angle of the component in the input captured image (S202). The details of this process will be described with reference to FIGS. 5 to 7. FIG. 5 is an example of a three-dimensional CAD image input from the preprocessing device 31a, and FIG. 6 is an example of a captured image input from the captured image DB 32a. The parts shown in these images are the same parts. In step S202, the image generator 31b adjusts the angle of the three-dimensional CAD image shown in FIG. 5 so as to match the angle of the component of the captured image shown in FIG. As a result, the three-dimensional CAD image shown in FIG. 5 is converted into the three-dimensional CAD image shown in FIG. 7. As a result, the parts in the 3D CAD image look the same as the parts in the captured image. By performing this process, it is possible to generate a learning structure that contributes to improving the accuracy of image recognition.

上記の３次元ＣＡＤ画像の角度の調整は、オペレータによる操作を介して行われる。具体的には、オペレータが入力装置５を用いて３次元ＣＡＤ画像の角度を操作し、画像生成器３１ｂがその操作に応じて当該３次元ＣＡＤ画像の角度を変更する。但し、オペレータの操作を介することなく、画像生成器３１ｂが自動的に角度の調整を行ってもよい。例えば、３次元ＣＡＤ画像及び撮像画像の両画像における部品の輪郭線の位置等の情報を用いることにより、角度調整を自動的に行うことが可能である。 The adjustment of the angle of the above-mentioned three-dimensional CAD image is performed via an operation by the operator. Specifically, the operator operates the angle of the three-dimensional CAD image using the input device 5, and the image generator 31b changes the angle of the three-dimensional CAD image according to the operation. However, the image generator 31b may automatically adjust the angle without the operation of the operator. For example, it is possible to automatically adjust the angle by using information such as the position of the contour line of the component in both the three-dimensional CAD image and the captured image.

画像生成器３１ｂは、以上のようにして角度が合わせられた撮像画像及び３次元ＣＡＤ画像のペアを複数生成する。これらの画像のペアが、機械学習に用いられる教師データとなる。 The image generator 31b generates a plurality of pairs of the captured image and the three-dimensional CAD image whose angles are adjusted as described above. These image pairs are the teacher data used for machine learning.

なお、ペアとされた両画像を水平／垂直方向に反転させたり、輝度値を調整したりすることにより、教師データの数を増やすようにしてもよい。これによって、より適切な機械学習モデルを得ることが可能になる。 It should be noted that the number of teacher data may be increased by inverting both paired images in the horizontal / vertical direction and adjusting the brightness value. This makes it possible to obtain a more appropriate machine learning model.

次に、画像生成器３１ｂは、上記のようにして用意された教師データを用いて機械学習を実行する（Ｓ２０３）。これにより、学習画像を生成するための機械学習モデルである画像生成モデルが構築される。この画像生成モデルは、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含む畳み込みニューラルネットワーク（Convolutional Neural Network）であって、教師データである３次元ＣＡＤ画像を入力とし、同じく撮像画像を出力とするモデルである。 Next, the image generator 31b executes machine learning using the teacher data prepared as described above (S203). As a result, an image generation model, which is a machine learning model for generating a training image, is constructed. This image generation model is a convolutional neural network including a plurality of convolutional layers, a plurality of pooling layers, and a plurality of fully connected layers, and uses a three-dimensional CAD image as teacher data as an input. It is also a model that outputs captured images.

上記のようにして画像生成モデルが構築された後、画像生成器３１ｂは、学習回数が所定回数に達する等の所定の終了条件を満たすか否かを判定する（Ｓ２０４）。ここで、終了条件を満たしたと判定した場合（Ｓ２０４でＹＥＳ）、画像生成器３１ｂは処理を終了する。 After the image generation model is constructed as described above, the image generator 31b determines whether or not a predetermined end condition such as the number of learning times reaching a predetermined number of times is satisfied (S204). Here, if it is determined that the end condition is satisfied (YES in S204), the image generator 31b ends the process.

他方、終了条件を満たしていないと判定した場合（Ｓ２０４でＮＯ）、画像生成器３１ｂは、教師データとして用いられている３次元ＣＡＤ画像を入力として画像生成モデルに与えることにより、その３次元ＣＡＤ画像に表されている物体の撮像画像を模倣した画像である模倣画像を生成し（Ｓ２０５）、その模倣画像を画像識別器３１ｃに出力する（Ｓ２０６）。 On the other hand, when it is determined that the end condition is not satisfied (NO in S204), the image generator 31b feeds the three-dimensional CAD image used as the training data to the image generation model as an input, so that the three-dimensional CAD thereof is obtained. A copycat image, which is an image that mimics the captured image of the object represented by the image, is generated (S205), and the copy image is output to the image classifier 31c (S206).

図８は、第１学習モードにおける画像識別器３１ｃの動作の流れを示すフローチャートである。図８に示すとおり、画像識別器３１ｃは、画像生成器３１ｂから模倣画像の入力を、撮像画像ＤＢ３２ａから当該模倣画像の部品に係る撮像画像の入力を、それぞれ受け付ける（Ｓ３０１）。 FIG. 8 is a flowchart showing the flow of operation of the image classifier 31c in the first learning mode. As shown in FIG. 8, the image classifier 31c accepts the input of the imitation image from the image generator 31b and the input of the captured image related to the component of the imitation image from the captured image DB 32a (S301).

次に、画像識別器３１ｃは、入力された模倣画像及び撮像画像のペアを用いて機械学習を実行する（Ｓ３０２）。これにより、画像を識別するための機械学習モデルである画像識別モデルが構築される。この画像識別モデルは、上記の画像生成モデルと同様に畳み込みニューラルネットワークであって、模倣画像を入力とし、その模倣画像と撮像画像との識別結果を出力とするモデルである。ここで、入力された模倣画像が画像生成器３１ｂにより生成された画像であると正しく判定できた場合は識別できたことを示す情報が、反対にその模倣画像がペアとなっている撮像画像であると間違って判定した場合は識別できなかったことを示す情報が、識別結果として出力される。 Next, the image classifier 31c executes machine learning using the pair of the input imitation image and the captured image (S302). As a result, an image identification model, which is a machine learning model for identifying images, is constructed. This image identification model is a convolutional neural network similar to the above-mentioned image generation model, and is a model in which a copycat image is input and the discrimination result between the copycat image and the captured image is output. Here, if the input imitation image can be correctly determined to be the image generated by the image generator 31b, the information indicating that the imitation image can be identified is, on the contrary, the captured image in which the imitation image is paired. If it is erroneously determined to be present, information indicating that the identification could not be performed is output as the identification result.

上記のようにして画像識別モデルが構築された後、画像識別器３１ｃは、模倣画像を入力として当該画像識別モデルに与えることにより、その模倣画像と撮像画像との識別結果を生成し（Ｓ３０３）、その識別結果を画像生成器３１ｂに出力する（Ｓ３０４）。 After the image identification model is constructed as described above, the image classifier 31c feeds the imitation image as an input to the image identification model to generate an identification result between the imitation image and the captured image (S303). , The identification result is output to the image generator 31b (S304).

図４に戻り、画像生成器３１ｂは、画像識別器３１ｃから識別結果の入力を受け付け（Ｓ２０７）、ステップＳ２０３に戻り機械学習を繰り返す。このとき、画像生成器３１ｂは、入力された識別結果が模倣画像と撮像画像との識別ができたことを示すものであった場合、画像識別器３１ｃが両画像を識別できなくなるようにパラメータを調整して、機械学習を実行する。この機械学習の繰り返しは、ステップＳ２０４において終了条件を満たしたと判定されるまで行われる。 Returning to FIG. 4, the image generator 31b accepts the input of the identification result from the image classifier 31c (S207), returns to step S203, and repeats machine learning. At this time, if the input identification result indicates that the imitation image and the captured image can be discriminated, the image generator 31b sets a parameter so that the image discriminator 31c cannot discriminate between the two images. Adjust and perform machine learning. This machine learning is repeated until it is determined in step S204 that the end condition is satisfied.

その後、上記と同様にしてステップＳ２０５及びＳ２０６が実行され、画像生成器３１ｂから画像識別器３１ｃに対して模倣画像が出力される。この入力を受け付けた画像識別器３１ｃは、ステップＳ３０２を実行して機械学習を行う。このとき、画像識別器３１ｃは、入力された模倣画像と撮像画像とを識別することができるようにパラメータを調整して、機械学習を実行する。 After that, steps S205 and S206 are executed in the same manner as described above, and the imitation image is output from the image generator 31b to the image classifier 31c. The image classifier 31c that has received this input executes step S302 to perform machine learning. At this time, the image classifier 31c adjusts the parameters so that the input imitation image and the captured image can be discriminated, and executes machine learning.

上記のようにして画像生成器３１ｂ及び画像識別器３１ｃが互いに競い合うようにして機械学習を繰り返すことにより、画像生成器３１ｂは高精度の画像生成モデル、すなわち撮像画像に極めて近い模倣画像を生成可能な画像生成モデルを構築することができる。 By repeating machine learning so that the image generator 31b and the image classifier 31c compete with each other as described above, the image generator 31b can generate a high-precision image generation model, that is, a copycat image very close to the captured image. Image generation model can be constructed.

（２）画像生成モード
画像生成モードにおいては、画像生成器３１ｂが、第１学習モードにおいて構築された画像生成モデルを用いて学習画像を生成する。 (2) Image generation mode In the image generation mode, the image generator 31b generates a training image using the image generation model constructed in the first learning mode.

図９は、画像生成モードにおける画像生成器３１ｂの動作の流れを示すフローチャートである。図９に示すように、画像生成器３１ｂは、３次元ＣＡＤ画像ＤＢ３２ｂから３次元ＣＡＤ画像の入力を受け付ける（Ｓ４０１）。この３次元ＣＡＤ画像は、撮像画像が存在しない部品に係る３次元ＣＡＤ画像である。 FIG. 9 is a flowchart showing the flow of operation of the image generator 31b in the image generation mode. As shown in FIG. 9, the image generator 31b accepts the input of the 3D CAD image from the 3D CAD image DB 32b (S401). This three-dimensional CAD image is a three-dimensional CAD image relating to a component for which a captured image does not exist.

次に、画像生成器３１ｂは、入力された３次元ＣＡＤ画像を入力として画像生成モデルに与えることにより、上記部品の模倣画像を生成する（Ｓ４０２）。 Next, the image generator 31b generates a copycat image of the above component by feeding the input three-dimensional CAD image as an input to the image generation model (S402).

図１０は、ステップＳ４０１にて入力が受け付けられた３次元ＣＡＤ画像の一例であり、図１１は、ステップＳ４０２にて生成された模倣画像の一例である。これらの図１０及び図１１に示すように、３次元ＣＡＤ画像に表されている部品に似た形状の模倣画像が得られる。この模倣画像は、撮像画像が存在しない当該部品の画像認識に利用される学習画像となる。 FIG. 10 is an example of a three-dimensional CAD image for which input is accepted in step S401, and FIG. 11 is an example of a copycat image generated in step S402. As shown in FIGS. 10 and 11, imitation images having a shape similar to the parts shown in the three-dimensional CAD image can be obtained. This imitation image is a learning image used for image recognition of the component in which the captured image does not exist.

次に、画像生成器３１ｂは、生成した学習画像（模倣画像）を学習器３１ｄに対して出力する（Ｓ４０３）。これにより、画像生成モードは終了し、第２学習モードに移行する。 Next, the image generator 31b outputs the generated learning image (imitation image) to the learning device 31d (S403). As a result, the image generation mode ends and the mode shifts to the second learning mode.

（３）第２学習モード
第２学習モードにおいては、学習器３１ｄが、画像生成モードにより生成された学習画像を用いて機械学習を行い、画像認識モデルを構築する。 (3) Second learning mode In the second learning mode, the learning device 31d performs machine learning using the learning image generated by the image generation mode, and constructs an image recognition model.

図１２は、第２学習モードにおける学習器３１ｄの動作の流れを示すフローチャートである。図１２に示すように、学習器３１ｄは、撮像画像ＤＢ３２ａから撮像画像の入力を、画像生成器３１ｂから学習画像の入力を、それぞれ受け付ける（Ｓ５０１）。このとき、これらの画像に表されている部品の形状に関する形状情報の入力も受け付ける（Ｓ５０１）。この形状情報は、当該部品の設計に用いられた３次元ＣＡＤデータから得られたものである。これらの撮像画像及び学習画像並びに部品の形状情報が、機械学習に用いられる教師データとなる。 FIG. 12 is a flowchart showing the flow of operation of the learner 31d in the second learning mode. As shown in FIG. 12, the learning device 31d receives the input of the captured image from the captured image DB 32a and the input of the learning image from the image generator 31b (S501). At this time, input of shape information regarding the shape of the parts shown in these images is also accepted (S501). This shape information is obtained from the three-dimensional CAD data used in the design of the part. These captured images, learning images, and shape information of parts become teacher data used for machine learning.

なお、第１学習モードの場合と同様に、各画像を水平／垂直方向に反転させたり、輝度値を調整したりすることにより、教師データの数を増やすようにしてもよい。これにより、より適切な機械学習モデルを得ることができる。 As in the case of the first learning mode, the number of teacher data may be increased by inverting each image in the horizontal / vertical direction or adjusting the brightness value. This makes it possible to obtain a more appropriate machine learning model.

次に、学習器３１ｄは、上記のようにして用意された教師データを用いて機械学習を実行する（Ｓ５０２）。これにより、画像認識を行うための機械学習モデルである画像認識モデルが構築される。この画像認識モデルは、画像生成モデルの場合と同様に畳み込みニューラルネットワークであって、教師データである撮像画像及び学習画像を入力とし、同じく部品の形状情報を出力とするモデルである。 Next, the learner 31d executes machine learning using the teacher data prepared as described above (S502). As a result, an image recognition model, which is a machine learning model for performing image recognition, is constructed. This image recognition model is a convolutional neural network as in the case of the image generation model, and is a model in which the captured image and the training image, which are teacher data, are input, and the shape information of the component is also output.

上記のようにして画像認識モデルが構築された後、学習器３１ｄは、その画像認識モデルを画像認識器３１ｅに出力する（Ｓ５０３）。これにより、第２学習モードは終了し、画像認識モードに移行する。 After the image recognition model is constructed as described above, the learner 31d outputs the image recognition model to the image recognition device 31e (S503). As a result, the second learning mode ends, and the mode shifts to the image recognition mode.

（４）画像認識モード
画像認識モードにおいては、画像認識器３１ｅが、第２学習モードにより生成された画像認識モデルを用いて画像認識を行い、その認識結果を出力装置４に出力する。より具体的に説明すると、画像認識器３１ｅは、撮像装置２によって取得された部品の撮像画像を入力として画像認識モデルに与え、その部品の形状情報を取得し、その形状情報に基づいて当該部品の認識を行う。当該部品について学習画像としての撮像画像が事前に用意できなかった場合でも、本実施の形態では、その部品の模倣画像を学習画像として利用することができるため、適切な画像認識モデルを構築することができる。そのため、そのような部品についても精度良く認識することが可能になる。 (4) Image recognition mode In the image recognition mode, the image recognition device 31e performs image recognition using the image recognition model generated by the second learning mode, and outputs the recognition result to the output device 4. More specifically, the image recognizer 31e feeds the image recognition image of the component acquired by the image pickup device 2 as an input to the image recognition model, acquires the shape information of the component, and obtains the shape information of the component, and the component is based on the shape information. To recognize. Even if a captured image as a learning image cannot be prepared in advance for the component, in the present embodiment, the imitation image of the component can be used as the learning image, so an appropriate image recognition model should be constructed. Can be done. Therefore, it becomes possible to recognize such parts with high accuracy.

（その他の実施の形態）
上述した実施の形態においては、機械学習モデルを、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含む畳み込みニューラルネットワークとしたが、これに限定されるものではない。これ以外の構成のニューラルネットワークであってもよい。但し、画像認識精度の観点からは、少なくとも１つずつ、畳み込み層及びプーリング層を含む畳み込みニューラルネットワークであることが好ましい。また、サポートベクタマシン、決定木等のニューラルネットワーク以外の機械学習モデルを用いることもできる。 (Other embodiments)
In the above-described embodiment, the machine learning model is a convolutional neural network including a plurality of convolutional layers, a plurality of pooling layers, and a plurality of fully connected layers, but the present invention is not limited thereto. A neural network having a configuration other than this may be used. However, from the viewpoint of image recognition accuracy, it is preferable that the convolutional neural network includes at least one convolutional layer and a pooling layer. It is also possible to use machine learning models other than neural networks such as support vector machines and decision trees.

また、上述した実施の形態においては、画像認識装置が学習画像生成装置の機能を兼ねているが、これに限定されるわけではなく、画像認識装置と学習画像生成装置とが別々のコンピュータで実現されていてもよい。 Further, in the above-described embodiment, the image recognition device also has the function of the learning image generation device, but the present invention is not limited to this, and the image recognition device and the learning image generation device are realized by separate computers. It may have been done.

また、上述した実施の形態においては、画像生成器３１ｂが１つの画像生成モデルを構築しているが、これを複数構築するようにしてもよい。その場合、例えば次のような処理が行われる。まず第１学習モードにおいて、画像生成器３１ｂが、教師データとしての撮像画像及び３次元ＣＡＤ画像のペアを複数生成した後、部品の形状に応じて各ペアを複数のグループに分類する。例えば、図５に示すような平板状の基台を備える部品のグループと、図１３に示すような折り曲げ形状を有する基台を備える部品のグループとに各ペアが分類される。その後、画像生成器３１ｂがグループ毎に機械学習を実行し（Ｓ２０３）、それ以降の処理を上記の実施の形態と同様に行うことにより、グループ毎に画像生成モデルが構築される。その後の画像生成モードにおいては、画像生成器３１ｂが、ステップＳ４０１にて入力を受け付けた３次元ＣＡＤ画像に表されている部品と形状が類似する部品のグループを特定し、その特定したグループに係る画像生成モデルを用いて模倣画像を生成する（Ｓ４０２）。なお、形状が類似しているか否かの判断はオペレータが行ってもよく、また、ＳＩＦＴ（Scaled Invariance Feature Transform）及びＨＯＧ（Histograms of Oriented Gradient）等の局所特徴量のユークリッド距離、又は画像内における部品の充填率等を用いて画像生成器３１ｂが自動的に行ってもよい。このように、認識対象の物体の形状に応じて複数の画像生成モデルを構築し、それらを適切に使い分けることにより、良質な学習画像を生成することが可能になる。 Further, in the above-described embodiment, the image generator 31b constructs one image generation model, but a plurality of image generation models may be constructed. In that case, for example, the following processing is performed. First, in the first learning mode, the image generator 31b generates a plurality of pairs of captured images and three-dimensional CAD images as teacher data, and then classifies each pair into a plurality of groups according to the shape of the component. For example, each pair is classified into a group of parts having a flat plate-shaped base as shown in FIG. 5 and a group of parts having a base having a bent shape as shown in FIG. After that, the image generator 31b executes machine learning for each group (S203), and the subsequent processing is performed in the same manner as in the above embodiment, so that an image generation model is constructed for each group. In the subsequent image generation mode, the image generator 31b identifies a group of parts having a shape similar to that of the parts represented in the three-dimensional CAD image received as input in step S401, and relates to the specified group. An imitation image is generated using the image generation model (S402). The operator may determine whether or not the shapes are similar, and the Euclidean distance of local features such as SIFT (Scaled Invariance Feature Transform) and HOG (Histograms of Oriented Gradient), or in the image. The image generator 31b may automatically perform the process using the filling rate of the component or the like. In this way, it is possible to generate a high-quality learning image by constructing a plurality of image generation models according to the shape of the object to be recognized and using them appropriately.

１ 画像認識システム
２ 撮像装置
３ 画像認識装置
３１ 制御部
３１ａ 前処理器
３１ｂ 画像生成器
３１ｃ 画像識別器
３１ｄ 学習器
３１ｅ 画像認識器
３２ 記憶部
３２ａ 撮像画像データベース
３２ｂ ３次元ＣＡＤ画像データベース
４ 出力装置
５ 入力装置 1 Image recognition system 2 Image recognition device 3 Image recognition device 31 Control unit 31a Preprocessing device 31b Image generator 31c Image classifier 31d Learner 31e Image recognizer 32 Storage unit 32a Image capture image database 32b 3D CAD image database 4 Output device 5 Input device

Claims (9)

第１物体の撮像画像及び当該第１物体の３次元ＣＡＤ画像を含む教師データを用いて機械学習を実行し、前記３次元ＣＡＤ画像を入力とし、前記撮像画像を出力とする機械学習モデルを構築するモデル構築手段と、
前記第１物体とは異なる形状を有する第２物体の３次元ＣＡＤ画像を入力として前記機械学習モデルに与えることにより、前記第２物体の模倣画像を、前記第２物体の画像認識の学習画像として生成する画像生成手段と、
前記第１物体の３次元ＣＡＤ画像における第１物体の輪郭線を強調する輪郭線強調手段と
を備え、
前記モデル構築手段は、前記輪郭線強調手段により輪郭線が強調された第１物体の３次元ＣＡＤ画像を用いて前記機械学習を実行する、
学習画像生成装置。 Machine learning is executed using the captured image of the first object and the teacher data including the three-dimensional CAD image of the first object, and a machine learning model is constructed in which the three-dimensional CAD image is input and the captured image is output. Model building means to do
By feeding a three-dimensional CAD image of a second object having a shape different from that of the first object to the machine learning model as an input, a copycat image of the second object can be used as a learning image for image recognition of the second object. Image generation means to generate ,
As a contour line enhancing means for emphasizing the contour line of the first object in the three-dimensional CAD image of the first object.
Equipped with
The model building means executes the machine learning using a three-dimensional CAD image of the first object whose contour line is emphasized by the contour line enhancing means.
Learning image generator. 前記撮像画像における第１物体の角度と一致するように、前記第１物体の３次元ＣＡＤ画像の角度を調整する調整手段をさらに備え、
前記モデル構築手段は、前記調整手段により角度が調整された前記３次元ＣＡＤ画像を用いて前記機械学習を実行するように構成されている、
請求項１に記載の学習画像生成装置。 Further provided with an adjusting means for adjusting the angle of the three-dimensional CAD image of the first object so as to match the angle of the first object in the captured image.
The model building means is configured to perform the machine learning using the three-dimensional CAD image whose angle is adjusted by the adjusting means.
The learning image generation device according to claim 1. 前記第１物体の３次元ＣＡＤ画像における第１物体の表面凹凸のコントラストを強調する凹凸強調手段をさらに備え、
前記モデル構築手段は、前記凹凸強調手段により表面凹凸が強調された第１物体の３次元ＣＡＤ画像を用いて前記機械学習を実行するように構成されている、
請求項１又は２に記載の学習画像生成装置。 Further provided with unevenness enhancing means for enhancing the contrast of the surface unevenness of the first object in the three-dimensional CAD image of the first object.
The model building means is configured to execute the machine learning using a three-dimensional CAD image of a first object whose surface unevenness is emphasized by the unevenness enhancing means.
The learning image generator according to claim 1 or 2. 前記モデル構築手段は、
前記機械学習モデルを用いて前記第１物体の模倣画像を生成する生成手段と、
生成した模倣画像と前記第１物体の撮像画像とを識別する識別手段と
を具備しており、
前記識別手段による識別結果を用いて前記機械学習を実行するように構成されている、
請求項１乃至３の何れかに記載の学習画像生成装置。 The model building means is
A generation means for generating an imitation image of the first object using the machine learning model,
It is provided with an identification means for discriminating between the generated imitation image and the captured image of the first object.
It is configured to perform the machine learning using the identification result by the identification means.
The learning image generation device according to any one of claims 1 to 3. 前記第１物体及び前記第２物体とは異なる形状を有する第３物体の撮像画像及び当該第３物体の３次元ＣＡＤ画像を含む教師データを用いて機械学習を実行し、前記３次元ＣＡＤ画像を入力とし、前記撮像画像を出力とする第２機械学習モデルを構築する第２モデル構築手段をさらに備え、
前記画像生成手段は、前記第２物体の形状が前記第１物体よりも前記第３物体の形状に近い場合に、前記第２物体の３次元ＣＡＤ画像を入力として前記第２機械学習モデルに与えることにより、前記第２物体の模倣画像を生成するように構成されている、
請求項１乃至４の何れかに記載の学習画像生成装置。 Machine learning is executed using the teacher data including the captured image of the first object and the third object having a shape different from the second object and the three-dimensional CAD image of the third object, and the three-dimensional CAD image is obtained. Further provided with a second model construction means for constructing a second machine learning model that uses the captured image as an input and outputs the captured image.
When the shape of the second object is closer to the shape of the third object than the first object, the image generation means feeds the second machine learning model with a three-dimensional CAD image of the second object as an input. Thereby, it is configured to generate a copycat image of the second object.
The learning image generation device according to any one of claims 1 to 4. 前記機械学習モデルは、畳み込み層及びプーリング層を含む畳み込みニューラルネットワークである、
請求項１乃至５の何れかに記載の学習画像生成装置。 The machine learning model is a convolutional neural network including a convolutional layer and a pooling layer.
The learning image generation device according to any one of claims 1 to 5. 請求項１乃至６に記載された学習画像生成装置により生成された学習画像及び前記第１物体の撮像画像と、前記第１物体及び前記第２物体の形状に関する形状情報とを含む教師データによって機械学習を実行し、前記学習画像及び前記撮像画像を入力とし、前記形状情報を出力とする機械学習モデルを構築するモデル構築手段と、
撮像装置により得られた物体の撮像画像を取得する画像取得手段と、
取得した撮像画像を入力として前記機械学習モデルに与え、前記機械学習モデルから出力される形状情報を取得する形状情報取得手段と、
取得した形状情報に基づいて、前記撮像画像における物体を認識する画像認識手段と
を備える、画像認識装置。 A machine based on teacher data including a learning image generated by the learning image generator according to claims 1 to 6, an image captured by the first object, and shape information regarding the shapes of the first object and the second object. A model construction means for executing learning, inputting the learning image and the captured image, and constructing a machine learning model using the shape information as an output.
An image acquisition means for acquiring an image of an object obtained by an image pickup device, and an image acquisition means.
A shape information acquisition means that receives the acquired captured image as an input to the machine learning model and acquires shape information output from the machine learning model.
An image recognition device including an image recognition means for recognizing an object in the captured image based on the acquired shape information. 第１物体の撮像画像及び当該第１物体の３次元ＣＡＤ画像を含む教師データを用いて機械学習を実行し、前記３次元ＣＡＤ画像を入力とし、前記撮像画像を出力とする機械学習モデルを構築するステップと、
前記第１物体とは異なる形状を有する第２物体の３次元ＣＡＤ画像を入力として前記機械学習モデルに与えることにより、前記第２物体の模倣画像を、前記第２物体の画像認識の学習画像として生成するステップと、
前記第１物体の３次元ＣＡＤ画像における第１物体の輪郭線を強調するステップと
を有し、
前記機械学習モデルを構築するステップにおいて、輪郭線が強調された第１物体の３次元ＣＡＤ画像を用いて前記機械学習を実行する、
学習画像生成方法。 Machine learning is executed using the captured image of the first object and the teacher data including the three-dimensional CAD image of the first object, and a machine learning model is constructed in which the three-dimensional CAD image is input and the captured image is output. Steps to do and
By feeding a three-dimensional CAD image of a second object having a shape different from that of the first object to the machine learning model as an input, a copycat image of the second object can be used as a learning image for image recognition of the second object. Steps to generate and
With the step of emphasizing the contour line of the first object in the three-dimensional CAD image of the first object.
Have,
In the step of constructing the machine learning model, the machine learning is executed using the three-dimensional CAD image of the first object whose contour line is emphasized.
Learning image generation method. 請求項８に記載に記載された学習画像生成方法により生成された学習画像及び前記第１物体の撮像画像と、前記第１物体及び前記第２物体の形状に関する形状情報とを含む教師データによって機械学習を実行し、前記学習画像及び前記撮像画像を入力とし、前記形状情報を出力とする機械学習モデルを構築するステップと、
撮像装置により得られた物体の撮像画像を取得するステップと、
取得した撮像画像を入力として前記機械学習モデルに与え、前記機械学習モデルから出力される形状情報を取得するステップと、
取得した形状情報に基づいて、前記撮像画像における物体を認識するステップと
を有する、画像認識方法。 A machine based on teacher data including a learning image generated by the learning image generation method according to claim 8, an image captured by the first object, and shape information regarding the shapes of the first object and the second object. A step of executing learning, constructing a machine learning model in which the learning image and the captured image are input and the shape information is output.
The step of acquiring the captured image of the object obtained by the imaging device,
The step of giving the acquired image to the machine learning model as an input and acquiring the shape information output from the machine learning model, and
An image recognition method comprising a step of recognizing an object in the captured image based on the acquired shape information.

Images