JP2021157548A

JP2021157548A - Germination determination device and program

Info

Publication number: JP2021157548A
Application number: JP2020057701A
Authority: JP
Inventors: 龍太今村; Ryuta Imamura; 宏明大庭; Hiroaki Oba; 千紘溝根; Chihiro Mizone; 高志森川; Takashi Morikawa; 健太郎木村; Kentaro Kimura; 美貴浅見; Miki Asami
Original assignee: Takii Shubyo KK; NTT TechnoCross Corp
Current assignee: Takii Shubyo KK; NTT TechnoCross Corp
Priority date: 2020-03-27
Filing date: 2020-03-27
Publication date: 2021-10-07

Abstract

To enable efficient germination determination including seed germination assessment.SOLUTION: A germination determination device according to an embodiment comprises input means for inputting a captured image of one or more seeds, and first determination means configured to determine germination states of the seeds in the captured image using model parameters of a first trained neural network.SELECTED DRAWING: Figure 1

Description

本発明は、発芽判定装置及びプログラムに関する。 The present invention relates to a germination determination device and a program.

種苗法の指定種苗の生産等に関する基準では、種子の中で正常に発芽する割合を発芽率と定め、作物ごとに基準となる発芽率を定めている（非特許文献１）。また、正常に発芽する種子は、発芽試験により種子から発芽した芽生を評価することにより判別される。 In the standards for the production of designated seedlings of the Seed and Seedling Law, the ratio of normal germination in seeds is defined as the germination rate, and the standard germination rate is defined for each crop (Non-Patent Document 1). In addition, seeds that germinate normally are determined by evaluating the germination sprouting from the seeds by a germination test.

一般に、発芽試験はシャーレに水を含ませたろ紙を敷いたものや、育苗トレイに土を充てんしたものを培地とし、その上に種子を置床した後、一定期間経過後に検査員がその発芽状況を一つ一つ目視確認し、発芽数の計数と発芽した種子の芽生評価を行う手順で実施される（非特許文献２）。 Generally, in the germination test, a petri dish covered with a filter paper soaked in water or a seedling raising tray filled with soil is used as a medium, and seeds are placed on the medium. Are visually confirmed one by one, and the procedure is carried out by counting the number of germination and evaluating the germination of germinated seeds (Non-Patent Document 2).

指定種苗の生産等に関する基準：農林水産省，インターネット＜ＵＲＬ：https://www.maff.go.jp/j/kokuji_tuti/kokuji/k0000254.html＞Criteria for production of designated seedlings: Ministry of Agriculture, Forestry and Fisheries, Internet <URL: https://www.maff.go.jp/j/kokuji_tuti/kokuji/k0000254.html> 農業生物資源ジーンバンク - 発芽試験マニュアル，インターネット＜ＵＲＬ：https://www.gene.affrc.go.jp/manuals-plant_germination.php＞Agricultural Biological Resources Gene Bank-Germination Test Manual, Internet <URL: https://www.gene.affrc.go.jp/manuals-plant_germination.php>

しかしながら、検査員が発芽して形成された芽生を目視判断するため、検査員個人の経験やスキルによっては芽生が正常であるのか異常であるのかの判定に差が生じるおそれがあった。また、検査員は種子の発芽状況を一つ一つ目視確認する必要があり、その確認作業に多くの時間を要していた。 However, since the inspector visually judges the sprouting formed by germination, there is a possibility that the judgment as to whether the sprouting is normal or abnormal may occur depending on the individual experience and skill of the inspector. In addition, the inspector had to visually check the germination status of the seeds one by one, and it took a lot of time to check the seeds.

本発明の一実施形態は、上記の点に鑑みてなされたもので、種子の芽生評価を含む発芽判定を効率的に行うことを目的とする。 One embodiment of the present invention has been made in view of the above points, and an object of the present invention is to efficiently perform germination determination including evaluation of seed sprouting.

上記目的を達成するため、一実施形態に係る発芽判定装置は、１以上の種子を撮影した撮影画像を入力する入力手段と、学習済みの第１のニューラルネットワークのモデルパラメータを用いて、前記撮影画像中の種子の発芽状況を判定する第１の判定手段と、を有することを特徴とする。 In order to achieve the above object, the germination determination device according to the embodiment uses the input means for inputting the photographed images of one or more seeds and the model parameters of the trained first neural network. It is characterized by having a first determination means for determining the germination status of seeds in an image.

種子の芽生評価を含む発芽判定を効率的に行うことができる。 Germination determination including seed germination evaluation can be efficiently performed.

推論時における発芽判定装置の全体構成の一例を示す図である。It is a figure which shows an example of the whole structure of the germination determination apparatus at the time of inference. 本実施形態に係る発芽率算出処理の一例を示すフローチャートである。It is a flowchart which shows an example of the germination rate calculation process which concerns on this embodiment. 判定対象画像の一例を示す図である。It is a figure which shows an example of the judgment target image. 物体検出及びクラス分類結果の画像の一例を示す図である。It is a figure which shows an example of the image of the object detection and the classification result. 色差分を検出した画像の一例を示す図である。It is a figure which shows an example of the image which detected the color difference. 未検出物体を含む領域を切り出した画像の一例を示す図である。It is a figure which shows an example of the image which cut out the region containing an undetected object. 学習時における発芽判定装置の全体構成の一例を示す図である。It is a figure which shows an example of the whole structure of the germination determination apparatus at the time of learning. 第１のモデルパラメータを学習するための学習用画像の作成を説明する図である。It is a figure explaining the creation of the learning image for learning the 1st model parameter. 第２のモデルパラメータを学習するための学習用画像の作成を説明する図である。It is a figure explaining the creation of the learning image for learning the second model parameter. 本実施形態に係る学習処理の一例を示すフローチャートである。It is a flowchart which shows an example of the learning process which concerns on this Embodiment.

以下、本発明の一実施形態について説明する。本実施形態では、１以上の種子（未発芽の種子及び発芽した種子を総称し、以下、種子と呼ぶ）を撮影した画像からその発芽状況（つまり、正常発芽又は異常発芽のいずれであるか）を判定し、発芽率を算出する発芽判定装置１０について説明する。本実施形態に係る発芽判定装置１０を用いることで、例えば、検査員個人の経験やスキルに依らず画一的に発芽状況を判定することが可能になると共に、種子の発芽状況を一つ一つ目視確認する必要がなくなり効率的に発芽状況を判定することが可能になる。 Hereinafter, an embodiment of the present invention will be described. In the present embodiment, the germination status (that is, whether it is normal germination or abnormal germination) is taken from an image of one or more seeds (ungerminated seeds and germinated seeds are collectively referred to as seeds). The germination determination device 10 for determining the germination rate and calculating the germination rate will be described. By using the germination determination device 10 according to the present embodiment, for example, the germination status can be uniformly determined regardless of the individual experience and skill of the inspector, and the germination status of seeds can be determined one by one. It is not necessary to visually check the germination status, and the germination status can be judged efficiently.

なお、正常発芽とは種子から正常な芽生が形成された状況のことを意味し、異常発芽とは正常発芽以外の状況（未発芽、奇形、正常と判断できる生育段階に至らない場合等も含む。）のことを意味する。 In addition, normal germination means a situation in which normal germination is formed from seeds, and abnormal germination includes situations other than normal germination (ungerminated, malformed, and cases where a growth stage that can be judged to be normal is not reached, etc.). .) Means.

ここで、本実施形態に係る発芽判定装置１０は、ニューラルネットワークでそれぞれ実現される２つの分類モデル（第１の分類モデル及び第２の分類モデル）により、画像中の種子の発芽状況を判定する。このため、本実施形態に係る発芽判定装置１０には、第１の分類モデル及び第２の分類モデルをそれぞれ実現するニューラルネットワークのパラメータを学習する「学習時」と、学習済みのパラメータを用いて第１の分類モデル及び第２の分類モデルにより発芽状況を判定（推論）する「推論時」とがある。そこで、本実施形態では、発芽判定装置１０の学習時と推論時についてそれぞれ説明する。なお、以降では、第１の分類モデルを実現するニューラルネットワークのパラメータを「第１のモデルパラメータ」、第２の分類モデルを実現するニューラルネットワークのパラメータを「第２のモデルパラメータ」と表す。 Here, the germination determination device 10 according to the present embodiment determines the germination status of seeds in the image by two classification models (first classification model and second classification model) realized by neural networks. .. Therefore, the germination determination device 10 according to the present embodiment uses "during learning" for learning the parameters of the neural network that realizes the first classification model and the second classification model, respectively, and the learned parameters. There is a "time of inference" in which the germination status is determined (inferred) by the first classification model and the second classification model. Therefore, in the present embodiment, the learning time and the inference time of the germination determination device 10 will be described respectively. Hereinafter, the parameters of the neural network that realizes the first classification model will be referred to as "first model parameters", and the parameters of the neural network that realizes the second classification model will be referred to as "second model parameters".

［推論時］
まず、第１のモデルパラメータ及び第２のモデルパラメータはそれぞれ学習済みであるものとして、第１のモデルパラメータ及び第２のモデルパラメータを用いて発芽状況を判定する推論時について説明する。 [At the time of inference]
First, assuming that the first model parameter and the second model parameter have already been learned, the time of inference for determining the germination status using the first model parameter and the second model parameter will be described.

＜推論時における発芽判定装置１０の全体構成＞
推論時における発芽判定装置１０の全体構成について、図１を参照しながら説明する。図１は、推論時における発芽判定装置１０の全体構成の一例を示す図である。 <Overall configuration of germination determination device 10 at the time of inference>
The overall configuration of the germination determination device 10 at the time of inference will be described with reference to FIG. FIG. 1 is a diagram showing an example of the overall configuration of the germination determination device 10 at the time of inference.

図１に示すように、推論時における発芽判定装置１０は、入力部１０１と、第１の判定部１０２と、色差分抽出部１０３と、未検出物体特定部１０４と、画像切出部１０５と、第２の判定部１０６と、発芽率算出部１０７とを有する。これら各部は、例えば、発芽判定装置１０にインストールされた１以上のプログラムが、ＣＰＵ（Central Processing Unit）等のプロセッサに実行させる処理により実現される。 As shown in FIG. 1, the germination determination device 10 at the time of inference includes an input unit 101, a first determination unit 102, a color difference extraction unit 103, an undetected object identification unit 104, and an image cutout unit 105. , A second determination unit 106 and a germination rate calculation unit 107. Each of these parts is realized, for example, by a process in which one or more programs installed in the germination determination device 10 are executed by a processor such as a CPU (Central Processing Unit).

入力部１０１は、発芽状況の判定対象となる１以上の種子を撮影した画像（以下、「判定対象画像」という。）を入力する。 The input unit 101 inputs an image of one or more seeds to be determined for the germination status (hereinafter, referred to as “determination target image”).

第１の判定部１０２は判定対象画像に対して物体検出と当該物体のクラス分類とを行う第１の分類モデルであり、第１のモデルパラメータを用いて、判定対象画像中に含まれる種子の検出と当該種子が「正常発芽」又は「異常発芽」のいずれのクラスに属するかのクラス分類とを行う。これにより、判定対象画像に対して物体検出及びクラス分類を行った結果を示す画像（以下、「第１の分類結果画像」という。）が得られる。 The first determination unit 102 is a first classification model that detects an object and classifies the object with respect to the image to be determined, and uses the first model parameter to obtain seeds contained in the image to be determined. Detection and classification of whether the seed belongs to "normal germination" or "abnormal germination" are performed. As a result, an image showing the result of performing object detection and classification on the determination target image (hereinafter, referred to as "first classification result image") can be obtained.

なお、第１のモデルパラメータは、後述するように、１以上の種子が含まれる画像に対して、画像領域指定を行い、それらの種子が「正常発芽」又は「異常発芽」のいずれのクラスに属するかを示すアノテーションを行った学習用画像を第１の分類モデルに入力し、各種子のクラス分類結果とアノテーションとの誤差を最小化するように学習されたものである。 As described later, the first model parameter specifies an image area for an image containing one or more seeds, and the seeds are classified into either "normal germination" or "abnormal germination" class. A training image with annotations indicating whether or not they belong is input to the first classification model, and training is performed so as to minimize the error between the classification result of each child and the annotation.

色差分抽出部１０３は、判定対象画像から地色（背景）と異なる色の部分を抽出した画像（以下、「色差分画像」という。）を作成する。 The color difference extraction unit 103 creates an image (hereinafter, referred to as “color difference image”) in which a portion having a color different from the ground color (background) is extracted from the determination target image.

未検出物体特定部１０４は、第１の分類結果画像と色差分画像とを用いて、判定対象画像中の物体のうち、第１の判定部１０２で検出されなかった物体（つまり、未検出物体）を特定する。 The undetected object identification unit 104 uses the first classification result image and the color difference image, and among the objects in the determination target image, the object not detected by the first determination unit 102 (that is, the undetected object). ) Is specified.

画像切出部１０５は、判定対象画像中の未検出物体を含む部分領域を切り出した画像（以下、「未検出物体画像」という。）を作成する。 The image cutting unit 105 creates an image (hereinafter, referred to as “undetected object image”) obtained by cutting out a partial region including an undetected object in the determination target image.

第２の判定部１０６は未検出物体画像のクラス分類を行う第２の分類モデルであり、第２のモデルパラメータを用いて、未検出物体画像が「正常発芽」、「異常発芽」又は「種子以外」のいずれのクラスに属するかのクラス分類を行う。これにより、未検出物体画像に対してクラス分類を行った結果を示す画像（以下、「第２の分類結果画像」という。）が得られる。 The second determination unit 106 is a second classification model that classifies the undetected object image, and the undetected object image is "normal germination", "abnormal germination", or "seed" by using the second model parameter. Classify which class belongs to "other than". As a result, an image showing the result of classifying the undetected object image (hereinafter, referred to as "second classification result image") can be obtained.

ここで、第２の分類モデルには、未検出物体画像が「正常発芽」又は「正常発芽以外」のいずれのクラスに属するかのクラス分類を行う第３の分類モデルと、未検出物体画像が「異常発芽」又は「異常発芽以外」のいずれのクラスに属するかのクラス分類を行う第４の分類モデルとが含まれる。第２の判定部１０６は、第３の分類モデルにより未検出物体画像に対してクラス分類を行って「正常発芽」又は「正常発芽以外」のいずれであるかを判定し、「正常発芽以外」であると判定された場合は第４の分類モデルにより未検出物体画像に対してクラス分類を行って「異常発芽」又は「異常発芽以外」のいずれであるかを判定し、「異常発芽以外」であると判定された場合は「種子以外」と判定する。これにより、未検出物体画像に含まれる物体が「正常発芽」、「異常発芽」又は「種子以外」のいずれかに分類される。 Here, the second classification model includes a third classification model that classifies whether the undetected object image belongs to the "normal germination" or "non-normal germination" class, and the undetected object image. A fourth classification model for classifying which class "abnormal germination" or "other than abnormal germination" belongs to is included. The second determination unit 106 classifies the undetected object image by the third classification model, determines whether it is "normal germination" or "other than normal germination", and "other than normal germination". If it is determined to be, the undetected object image is classified by the fourth classification model to determine whether it is "abnormal germination" or "other than abnormal germination", and "other than abnormal germination". If it is determined to be "other than seeds". As a result, the object included in the undetected object image is classified into either "normal germination", "abnormal germination" or "other than seed".

また、このとき、第２のモデルパラメータには、第３の分類モデルを実現するニューラルネットワークのパラメータである第３のモデルパラメータと、第４の分類モデルを実現するニューラルネットワークのパラメータである第４のパラメータとが含まれる。 At this time, the second model parameters include a third model parameter, which is a parameter of the neural network that realizes the third classification model, and a fourth model parameter, which is a parameter of the neural network that realizes the fourth classification model. Parameters and is included.

なお、第３のモデルパラメータは、後述するように、１つの種子が含まれる画像に対してその種子が「正常発芽」又は「正常発芽以外」のいずれのクラスに属するか示すラベルを付与した学習用画像を第３の分類モデルに入力し、当該種子のクラス分類結果とラベルとの誤差を最小化するように学習されたものである。同様に、第４のモデルパラメータは、後述するように、１つの種子が含まれる画像に対してその種子が「異常発芽」又は「異常発芽以外」のいずれのクラスに属するか示すラベルを付与した学習用画像を第４の分類モデルに入力し、当該種子のクラス分類結果とラベルとの誤差を最小化するように学習されたものである。 As described later, the third model parameter is learning in which an image containing one seed is given a label indicating whether the seed belongs to a class of "normal germination" or "other than normal germination". The image was input to the third classification model and learned to minimize the error between the classification result of the seed and the label. Similarly, the fourth model parameter, as described below, gave the image containing one seed a label indicating whether the seed belonged to the "abnormal germination" or "non-abnormal germination" class. The training image was input to the fourth classification model and trained so as to minimize the error between the classification result of the seed and the label.

発芽率算出部１０７は、未検出物体特定部１０４により未検出物体が特定されなかった場合は第１の分類結果画像から発芽率を算出し、未検出物体特定部１０４により未検出物体が特定された場合は第１の分類結果画像と第２の分類結果画像から発芽率を算出する。なお、発芽率は、（クラス分類で正常発芽と分類された種子の数）／（クラス分類で正常発芽と分類された種子の数＋クラス分類で異常発芽と分類された種子の数）で算出される。 When the undetected object is not specified by the undetected object identification unit 104, the germination rate calculation unit 107 calculates the germination rate from the first classification result image, and the undetected object identification unit 104 identifies the undetected object. In this case, the germination rate is calculated from the first classification result image and the second classification result image. The germination rate is calculated by (the number of seeds classified as normal germination in the classification) / (the number of seeds classified as normal germination in the classification + the number of seeds classified as abnormal germination in the classification). Will be done.

＜発芽率算出処理＞
次に、本実施形態に係る発芽判定装置１０により判定対象画像中の種子の発芽状況を判定し、その発芽率を算出する処理について、図２を参照しながら説明する。図２は、本実施形態に係る発芽率算出処理の一例を示すフローチャートである。 <Germination rate calculation process>
Next, a process of determining the germination status of seeds in the image to be determined by the germination determination device 10 according to the present embodiment and calculating the germination rate will be described with reference to FIG. FIG. 2 is a flowchart showing an example of the germination rate calculation process according to the present embodiment.

入力部１０１は、判定対象画像を入力する（ステップＳ１０１）。ここで、判定対象画像は少なくとも１以上の種子が含まれる画像であり、例えば、種子の発芽状況を検査するためのトレイやパレットをカメラ等で撮影することで生成された画像である。判定対象画像の一例を図３に示す。図３に示す判定対象画像１０００には種子Ｓ１〜Ｓ９が含まれている。なお、種子は一部が重なっていてもよいし、種子以外の異物（例えば、塵や埃、虫等）が含まれていてもよい。図３に示す例では、種子Ｓ４と種子Ｓ５とが一部重なっている。また、図３に示す例では、種子以外の異物として虫Ｏが含まれている。 The input unit 101 inputs the image to be determined (step S101). Here, the determination target image is an image including at least one or more seeds, and is, for example, an image generated by photographing a tray or palette for inspecting the germination state of seeds with a camera or the like. An example of the image to be judged is shown in FIG. The determination target image 1000 shown in FIG. 3 includes seeds S1 to S9. The seeds may be partially overlapped or may contain foreign substances (for example, dust, dust, insects, etc.) other than the seeds. In the example shown in FIG. 3, the seed S4 and the seed S5 partially overlap. Further, in the example shown in FIG. 3, insect O is contained as a foreign substance other than the seed.

次に、第１の判定部１０２は、第１のモデルパラメータを用いて、判定対象画像に対して物体検出と当該物体のクラス分類とを行って、判定対象画像中の種子を検出した上で、検出した種子が「正常発芽」又は「異常発芽」のいずれのクラスに属するかを分類する（ステップＳ１０２）。これにより、判定対象画像に対して物体検出及びクラス分類を行った結果を示す第１の分類結果画像が得られる。ここで、図３に示す判定対象画像１０００に対して物体検出及びクラス分類を行った結果を示す第１の分類結果画像の一例を図４に示す。図４に示す第１の分類結果画像２０００では、種子Ｓ１〜Ｓ２、Ｓ４〜Ｓ６及びＳ９の画像領域は正常発芽と分類された画像領域であり、種子Ｓ３及びＳ７の画像領域は異常発芽と分類された画像領域である。これにより、種子Ｓ１〜Ｓ２、Ｓ４〜Ｓ６及びＳ９は正常発芽、種子Ｓ３及びＳ７は異常発芽と判定される。なお、種子Ｓ３は未発芽のため異常発芽と判定された種子であり、種子Ｓ７は芽生が形成されているが奇形のため異常発芽と判定された種子である。 Next, the first determination unit 102 uses the first model parameter to detect an object and classify the object for the image to be determined, and then detects seeds in the image to be determined. , The detected seeds are classified into which class of "normal germination" or "abnormal germination" (step S102). As a result, a first classification result image showing the result of performing object detection and classification on the judgment target image can be obtained. Here, FIG. 4 shows an example of a first classification result image showing the results of object detection and classification of the determination target image 1000 shown in FIG. In the first classification result image 2000 shown in FIG. 4, the image regions of seeds S1 to S2, S4 to S6 and S9 are image regions classified as normal germination, and the image regions of seeds S3 and S7 are classified as abnormal germination. This is the image area. As a result, seeds S1 to S2, S4 to S6 and S9 are determined to germinate normally, and seeds S3 and S7 are determined to germinate abnormally. The seed S3 is a seed that is determined to be abnormally germinated because it has not germinated, and the seed S7 is a seed that is determined to be abnormally germinated because of malformation although germination is formed.

一方で、図４に示す第１の分類結果画像２０００では、種子Ｓ８及び虫Ｏは第１の判定部１０２では物体検出及びクラス分類されていない。このように、種子であっても、何等かの原因（例えば、光の当たり方や種子の向き、種子の生育度合いの個体差、学習用画像の不足等）によっては第１の分類モデルで検出できないことがある。また、第１の分類モデルでは種子以外の物体（例えば、塵や埃、虫等の異物）を検出する可能性は極めて低い。 On the other hand, in the first classification result image 2000 shown in FIG. 4, the seed S8 and the insect O are not object-detected and classified by the first determination unit 102. In this way, even seeds are detected by the first classification model depending on some cause (for example, how the light hits, the direction of the seeds, individual differences in the degree of seed growth, lack of learning images, etc.). There are things you can't do. Further, in the first classification model, the possibility of detecting an object other than seeds (for example, foreign matter such as dust, dust, insects) is extremely low.

次に、色差分抽出部１０３は、判定対象画像から地色（背景）と異なる色の抽出した色差分画像を作成する（ステップＳ１０３）。ここで、図３に示す判定対象画像１０００から地色と異なる色を抽出した色差分画像の一例を図５に示す。図５に示す色差分画像３０００では、判定対象画像１０００中の全ての物体（つまり、種子Ｓ１〜Ｓ９、虫Ｏ）の画像領域が色差分領域として抽出される。 Next, the color difference extraction unit 103 creates a color difference image in which a color different from the ground color (background) is extracted from the determination target image (step S103). Here, FIG. 5 shows an example of a color difference image obtained by extracting a color different from the ground color from the determination target image 1000 shown in FIG. In the color difference image 3000 shown in FIG. 5, the image regions of all the objects (that is, seeds S1 to S9, insect O) in the determination target image 1000 are extracted as the color difference regions.

次に、未検出物体特定部１０４は、第１の分類結果画像と色差分画像とを用いて、判定対象画像中の物体のうち、第１の判定部１０２で検出されなかった物体（つまり、未検出物体）を特定する（ステップＳ１０４）。未検出物体特定部１０４は、第１の分類結果画像と色差分画像とを重畳させた場合に、正常発芽の画像領域及び異常発芽の画像領域と全く重ならない色差分領域を未検出物体の画像領域とすることで、未検出物体を特定する。より具体的には、未検出物体特定部１０４は、第１の分類結果画像における正常発芽又は異常発芽の各画像領域中の各画素の位置座標と、色差分画像における各色差分領域中の各画素の位置座標とを比較し、正常発芽又は異常発芽の画像領域に全く重ならない色差分領域を未検出物体の画像領域とすることで、未検出物体を特定する。 Next, the undetected object identification unit 104 uses the first classification result image and the color difference image, and among the objects in the determination target image, the object not detected by the first determination unit 102 (that is, that is). Undetected object) is identified (step S104). When the first classification result image and the color difference image are superimposed, the undetected object identification unit 104 sets a color difference area that does not completely overlap the normal germination image area and the abnormal germination image area as an image of the undetected object. By setting it as an area, an undetected object is specified. More specifically, the undetected object identification unit 104 includes the position coordinates of each pixel in each image region of normal germination or abnormal germination in the first classification result image, and each pixel in each color difference region in the color difference image. The undetected object is specified by comparing with the position coordinates of the above and setting the color difference region that does not completely overlap the image region of normal germination or abnormal germination as the image region of the undetected object.

例えば、図４に示す第１の分類結果画像２０００と図５に示す色差分画像３０００とを重畳させた場合、種子Ｓ８の色差分領域と虫Ｏの色差分領域は共に正常発芽の画像領域及び異常発芽の画像領域と全く重ならない。このため、この場合、種子Ｓ８と虫Ｏとが未検出物体として特定される。 For example, when the first classification result image 2000 shown in FIG. 4 and the color difference image 3000 shown in FIG. 5 are superimposed, the color difference region of seed S8 and the color difference region of insect O are both the image region of normal germination and the color difference region of insect O. It does not overlap with the image area of abnormal germination at all. Therefore, in this case, the seed S8 and the insect O are identified as undetected objects.

上記のステップＳ１０４で未検出物体が特定されなかった場合（ステップＳ１０５でＮＯ）、発芽率算出部１０７は、第１の分類結果画像から発芽率を算出する（ステップＳ１０６）。すなわち、発芽率算出部１０７は、第１の分類結果画像中で正常発芽と分類された種子の数をａ、第１の分類結果画像中で異常発芽と分類された種子の数をｂとして、ａ／（ａ＋ｂ）により発芽率を算出する。 When the undetected object is not specified in step S104 (NO in step S105), the germination rate calculation unit 107 calculates the germination rate from the first classification result image (step S106). That is, the germination rate calculation unit 107 sets the number of seeds classified as normal germination in the first classification result image as a and the number of seeds classified as abnormal germination in the first classification result image as b. The germination rate is calculated by a / (a + b).

一方で、上記のステップＳ１０４で未検出物体が特定された場合（ステップＳ１０５でＹＥＳ）、画像切出部１０５は、判定対象画像中の未検出物体を含む部分領域をそれぞれ切り出して、未検出物体画像を作成する（ステップＳ１０７）。画像切出部１０５は、例えば、判定対象画像中の未検出物体を含み、かつ、所定の大きさ（サイズ）の矩形の画像領域をそれぞれ切り出することで、１以上の未検出物体画像を作成すればよい。具体的には、例えば、判定対象画像１０００中の未検出物体である種子Ｓ８及び虫Ｏをそれぞれ含み、かつ、所定の大きさの矩形の画像領域を切り出すことで、図６（ａ）に示す未検出物体画像４１００と図６（ｂ）に示す未検出物体画像４２００とが作成される。図６（ａ）に示す未検出物体画像４１００は種子Ｓ８を含む所定の大きさの画像であり、図６（ｂ）に示す未検出物体画像４２００は虫Ｏを含む所定の大きさの画像である。 On the other hand, when an undetected object is identified in step S104 above (YES in step S105), the image cutting unit 105 cuts out a partial region including the undetected object in the image to be determined, and cuts out a partial region of the undetected object. Create an image (step S107). The image cutout unit 105 creates one or more undetected object images by, for example, cutting out rectangular image areas of a predetermined size (size) including undetected objects in the image to be determined. do it. Specifically, for example, it is shown in FIG. 6A by cutting out a rectangular image region having a predetermined size and containing seed S8 and insect O, which are undetected objects in the determination target image 1000, respectively. The undetected object image 4100 and the undetected object image 4200 shown in FIG. 6B are created. The undetected object image 4100 shown in FIG. 6A is an image of a predetermined size including the seed S8, and the undetected object image 4200 shown in FIG. 6B is an image of a predetermined size including the insect O. be.

次に、第２の判定部１０６は、第２のモデルパラメータを用いて、各未検出物体画像のクラス分類をそれぞれ行って、これら各未検出物体画像のそれぞれが「正常発芽」、「異常発芽」又は「種子以外」のいずれのクラスに属するかを分類する（ステップＳ１０８）。 Next, the second determination unit 106 classifies each undetected object image by using the second model parameter, and each of these undetected object images is "normal germination" and "abnormal germination". Classify which class belongs to "other than seeds" (step S108).

具体的には、第２の判定部１０６は、まず、第３のモデルパラメータを用いて、未検出物体画像に対してクラス分類を行って、当該未検出物体画像が「正常発芽」又は「正常発芽以外」のいずれのクラスに属するかを分類する。「正常発芽以外」と分類された場合は、第２の判定部１０６は、第４のモデルパラメータを用いて、当該未検出物体画像に対してクラス分類を行って、当該未検出物体画像が「異常発芽」又は「異常発芽以外」のいずれのクラスに属するかを分類する。「異常発芽以外」と分類された場合は、第２の判定部１０６は、当該未検出物体画像を「種子以外」のクラスに属すると分類する。これにより、未検出物体画像中の物体が「正常発芽」、「異常発芽」又は「種子以外」のいずれかのクラスに分類される。具体的には、例えば、図６（ａ）に示す未検出物体画像４１００中の物体（種子Ｓ８）は「正常発芽」のクラスに分類され、図６（ａ）に示す未検出物体画像４２００中の物体（虫Ｏ）は「種子以外」のクラスに分類される。 Specifically, the second determination unit 106 first classifies the undetected object image using the third model parameter, and the undetected object image is "normal germination" or "normal". Classify which class "other than germination" belongs to. When it is classified as "other than normal germination", the second determination unit 106 classifies the undetected object image using the fourth model parameter, and the undetected object image is "". Classify whether it belongs to the class of "abnormal germination" or "other than abnormal germination". When it is classified as "other than abnormal germination", the second determination unit 106 classifies the undetected object image as belonging to the "other than seed" class. As a result, the objects in the undetected object image are classified into one of the classes of "normal germination", "abnormal germination", and "other than seeds". Specifically, for example, the object (seed S8) in the undetected object image 4100 shown in FIG. 6 (a) is classified into the "normal germination" class, and in the undetected object image 4200 shown in FIG. 6 (a). Objects (insects O) are classified in the "non-seed" class.

なお、本実施形態では、一例として、「正常発芽」及び「正常発芽以外」の２クラス分類を行う第３の分類モデルと、「異常発芽」及び「異常発芽以外」の２クラス分類を行う第４の分類モデルとで第２の分類モデルが構成されている場合について説明したが、これに限られず、例えば、第２の分類モデルは「正常発芽」、「異常発芽」及び「種子以外」の３クラス分類を行うモデルであってもよい。 In this embodiment, as an example, a third classification model that classifies two classes of "normal germination" and "other than normal germination" and a second classification model that classifies two classes of "abnormal germination" and "other than abnormal germination". The case where the second classification model is configured with the four classification models has been described, but the present invention is not limited to this, and for example, the second classification model is "normal germination", "abnormal germination" and "other than seed". It may be a model that performs three-class classification.

そして、発芽率算出部１０７は、第１の分類結果画像と第２の分類結果画像から発芽率を算出する（ステップＳ１０９）。すなわち、発芽率算出部１０７は、第１の分類結果画像中で正常発芽と分類された種子の数をａ、第１の分類結果画像中で異常発芽と分類された種子の数をｂ、正常発芽と分類された物体が含まれる第２の分類結果画像の数をｃ、異常発芽と分類された物体が含まれる第２の分類結果画像の数をｄとして、（ａ＋ｃ）／（ａ＋ｂ＋ｃ＋ｄ）により発芽率を算出する。 Then, the germination rate calculation unit 107 calculates the germination rate from the first classification result image and the second classification result image (step S109). That is, the germination rate calculation unit 107 indicates that the number of seeds classified as normal germination in the first classification result image is a, the number of seeds classified as abnormal germination in the first classification result image is b, and is normal. By (a + c) / (a + b + c + d), where c is the number of second classification result images containing objects classified as germinated and d is the number of second classification result images containing objects classified as abnormal germination. Calculate the germination rate.

以上のように、本実施形態に係る発芽判定装置１０は、１以上の種子を撮影した判定対象画像（例えば、１以上の種子を並べたトレイ等を撮影した画像）を入力として、これらの種子の発芽状況（正常発芽又は異常発芽）を判定し、その発芽率を算出することができる。また、本実施形態に係る発芽判定装置１０は、判定対象画像から色差分画像を作成して未検出物体を特定することで、第１の判定部１０２（第１の分類モデル）で検出されなかった物体のみを第２の判定部１０６（第２の分類モデル）で判定することが可能となる。これにより、種子の発芽状況を効率的かつ高い精度で判定することが可能になる（したがって、発芽率も効率的かつ高い精度で算出することが可能になる。）。 As described above, the germination determination device 10 according to the present embodiment receives a determination target image (for example, an image of a tray or the like in which one or more seeds are arranged) obtained by photographing one or more seeds, and these seeds. It is possible to determine the germination status (normal germination or abnormal germination) and calculate the germination rate. Further, the germination determination device 10 according to the present embodiment is not detected by the first determination unit 102 (first classification model) by creating a color difference image from the determination target image and identifying an undetected object. It is possible for the second determination unit 106 (second classification model) to determine only the object. This makes it possible to determine the germination status of seeds efficiently and with high accuracy (therefore, the germination rate can also be calculated efficiently and with high accuracy).

しかも、本実施形態に係る発芽判定装置１０は、ニューラルネットワークで実現される第１の分類モデル及び第２の分類モデルを用いることで、種子の正常発芽又は異常発芽を判定する際に、芽生の評価を含めて正常発芽又は異常発芽のいずれであるかを判定することができる。このため、従来では非効率であったり、困難があったりした芽生の評価も含めた発芽状況の判定を効率的かつ効果的に行うことが可能となる。 Moreover, the germination determination device 10 according to the present embodiment uses the first classification model and the second classification model realized by the neural network to determine the normal germination or abnormal germination of seeds. It is possible to determine whether the germination is normal or abnormal, including evaluation. Therefore, it is possible to efficiently and effectively determine the germination status including the evaluation of germination that has been inefficient or difficult in the past.

更に、本実施形態に係る発芽判定装置１０は、ニューラルネットワークで実現される第１の分類モデル及び第２の分類モデルにより種子の発芽状況を判定するため、例えば、画像中の種子同士の一部が重なっていたとしても高い精度で発芽状況を判定することが可能になると共に、１以上の種子を撮影する際の撮影環境に依存せずに高い精度で発芽状況を判定することが可能にある。このように、本実施形態に係る発芽判定装置１０は、ニューラルネットワークで実現される第１の分類モデル及び第２の分類モデルを用いることで、例えば、種子同士の重なりや撮影環境の変化等に対して高いロバスト性を獲得することができる。 Further, the germination determination device 10 according to the present embodiment determines the germination status of seeds by the first classification model and the second classification model realized by the neural network. Therefore, for example, a part of the seeds in the image. It is possible to determine the germination status with high accuracy even if the seeds overlap, and it is possible to determine the germination status with high accuracy without depending on the imaging environment when photographing one or more seeds. .. As described above, the germination determination device 10 according to the present embodiment uses the first classification model and the second classification model realized by the neural network, for example, for overlapping seeds and changes in the photographing environment. On the other hand, high robustness can be obtained.

［学習時］
次に、第１のモデルパラメータ及び第２のモデルパラメータはそれぞれ学習済みでないものとして、これらの第１のモデルパラメータ及び第２のモデルパラメータを学習する学習時について説明する。 [When learning]
Next, assuming that the first model parameter and the second model parameter have not been trained, the time of learning to learn the first model parameter and the second model parameter will be described.

＜学習時における発芽判定装置１０の全体構成＞
学習時における発芽判定装置１０の全体構成について、図７を参照しながら説明する。図７は、学習時における発芽判定装置１０の全体構成の一例を示す図である。 <Overall configuration of germination determination device 10 during learning>
The overall configuration of the germination determination device 10 during learning will be described with reference to FIG. 7. FIG. 7 is a diagram showing an example of the overall configuration of the germination determination device 10 during learning.

図７に示すように、学習時における発芽判定装置１０は、入力部１０１と、第１の判定部１０２と、第２の判定部１０６と、学習用画像作成部１０８と、学習部１０９とを有する。これら各部は、例えば、発芽判定装置１０にインストールされた１以上のプログラムが、ＣＰＵやＧＰＵ（Graphics Processing Unit）等のプロセッサに実行させる処理により実現される。 As shown in FIG. 7, the germination determination device 10 at the time of learning includes an input unit 101, a first determination unit 102, a second determination unit 106, a learning image creation unit 108, and a learning unit 109. Have. Each of these parts is realized, for example, by a process in which one or more programs installed in the germination determination device 10 are executed by a processor such as a CPU or a GPU (Graphics Processing Unit).

学習用画像作成部１０８は、発芽状況が既知の１以上の種子を撮影した画像（以下、「撮影画像」という。）から学習用画像を作成する。 The learning image creation unit 108 creates a learning image from an image obtained by photographing one or more seeds whose germination status is known (hereinafter, referred to as “photographed image”).

ここで、第１のモデルパラメータを学習する際は、１以上の種子を撮影した撮影画像を用いて、この撮影画像に対して、画像領域指定を行い、これらの種子が「正常発芽」又は「異常発芽」のいずれのクラスに属するかを示すアノテーションを行った第１の学習用画像を作成する。具体的には、例えば、図８に示すように、種子Ｓ１１〜Ｓ１９を撮影した撮影画像５０００を用いて、これらの種子Ｓ１１〜Ｓ１９の画像領域に対して正常発芽又は異常発芽を示すアノテーションを行うことで第１の学習用画像６０００を作成する。図８に示す例では、種子Ｓ１１及びＳ１３〜Ｓ１８の画像領域には正常発芽を示すアノテーションが行われ、種子Ｓ１２及びＳ１９の画像領域には異常発芽を示すアノテーションが行われている。 Here, when learning the first model parameter, an image area is specified for the photographed image using the photographed image of one or more seeds, and these seeds are "normally germinated" or "normal germination" or ". Create a first learning image with annotations indicating which class of "abnormal germination" it belongs to. Specifically, for example, as shown in FIG. 8, using captured images 5000 obtained by photographing seeds S11 to S19, annotations indicating normal germination or abnormal germination are performed on the image regions of these seeds S11 to S19. This creates the first learning image 6000. In the example shown in FIG. 8, the image regions of seeds S11 and S13 to S18 are annotated to indicate normal germination, and the image regions of seeds S12 and S19 are annotated to indicate abnormal germination.

また、第３のモデルパラメータを学習する際は、正常発芽している種子を撮影した撮影画像を用いて、この撮影画像に対して当該種子が「正常発芽」に属することを示すラベルを付与した第２の学習用画像を作成する。同様に、第４のモデルパラメータを学習する際は、異常発芽している種子を撮影した撮影画像を用いて、この撮影画像に対して当該種子が「異常発芽」に属することを示すラベルを付与した第３の学習用画像を作成する。具体的には、図９に示すように、正常発芽している種子Ｓ２１を撮影した撮影画像６１００を用いて、この撮影画像６１００に対して正常発芽を示すラベルを付与することで第２の学習用画像７１００を作成する。同様に、異常発芽している種子Ｓ２２を撮影した撮影画像６２００を用いて、この撮影画像６２００に対して異常発芽を示すラベルを付与することで第３の学習用画像７２００を作成する。 In addition, when learning the third model parameter, a photographed image of normally germinated seeds was used, and a label indicating that the seeds belonged to "normal germination" was given to this photographed image. Create a second learning image. Similarly, when learning the fourth model parameter, a photographed image of an abnormally germinated seed is used, and a label indicating that the seed belongs to "abnormal germination" is given to this photographed image. Create a third learning image. Specifically, as shown in FIG. 9, a second learning is performed by using a photographed image 6100 obtained by photographing a normally germinated seed S21 and assigning a label indicating normal germination to the photographed image 6100. Image 7100 is created. Similarly, the photographed image 6200 obtained by photographing the abnormally germinated seed S22 is used to give a label indicating abnormal germination to the photographed image 6200 to create a third learning image 7200.

なお、アノテーションには、画像領域を指定する処理と、ラベルを付与する処理とを含むが、画像領域を指定する作業は画素単位に手作業で行ってもよいし、正常発芽又は異常発芽のいずれかのラベル付与を手作業で行ってもよい。この際、例えば、正常発芽又は異常発芽のいずれのラベルを付与するかを複数の評価者が判断してもよい。これにより、正常発芽又は異常発芽のいずれであるかを判断する際のばらつきを抑制することができる。また、所定の評価基準に基づいて学習用画像作成部１０８が自動的にアノテーションを行ってもよい。 Note that the annotation includes a process of designating an image area and a process of assigning a label, but the work of designating an image area may be performed manually on a pixel-by-pixel basis, and either normal germination or abnormal germination. The labeling may be done manually. At this time, for example, a plurality of evaluators may determine whether to give a label of normal germination or abnormal germination. Thereby, it is possible to suppress the variation in determining whether the germination is normal germination or abnormal germination. In addition, the learning image creation unit 108 may automatically annotate based on a predetermined evaluation standard.

撮影画像に対してラベルを付与する際も同様であり、手作業でラベルを付与してもよいし、所定の評価基準に基づいて学習用画像作成部１０８が自動的にラベルを付与してもよい。また、ラベルを手作業で付与する際には、同様に、いずれのラベルを付与するかを複数の評価者が判断してもよい。 The same applies to the labeling of the captured image, and the label may be manually assigned, or the learning image creation unit 108 may automatically label the captured image based on a predetermined evaluation standard. good. Further, when the label is manually attached, a plurality of evaluators may similarly determine which label is to be assigned.

また、学習用画像作成部１０８が自動的にアノテーションを行う際の評価基準としては、例えば、種子の根と胚軸の成長バランスを評価基準とすることが考えられる。より具体的には、根と胚軸の成長バランスが所定の条件を満たす場合（例えば、根の長さと胚軸の長さの比が或る所定の範囲内にある等）は正常発芽を示すアノテーションを当該種子の画像領域に対して行い、当該条件を満たさない場合は異常発芽を示すアノテーションを当該種子の画像領域に対して行う、等である。自動的にラベルを付与する際の評価基準も同様である。 Further, as an evaluation standard when the learning image creation unit 108 automatically annotates, for example, it is conceivable to use the growth balance between the seed root and the hypocotyl as the evaluation standard. More specifically, normal germination is indicated when the growth balance between the root and the hypocotyl satisfies a predetermined condition (for example, the ratio of the root length to the hypocotyl length is within a certain predetermined range). Annotation is applied to the image area of the seed, and if the condition is not satisfied, an annotation indicating abnormal germination is applied to the image area of the seed, and so on. The same applies to the evaluation criteria for automatically assigning labels.

入力部１０１は、学習用画像作成部１０８により作成された学習用画像（第１の学習用画像、第２の学習用画像又は第３の学習用画像）を入力する。 The input unit 101 inputs a learning image (a first learning image, a second learning image, or a third learning image) created by the learning image creation unit 108.

第１の判定部１０２は、第１のモデルパラメータを用いて、第１の学習用画像中に含まれる種子の検出と当該種子が「正常発芽」又は「異常発芽」のいずれのクラスに属するかのクラス分類とを行う。 The first determination unit 102 uses the first model parameter to detect the seed contained in the first learning image and whether the seed belongs to the "normal germination" or "abnormal germination" class. Classify and classify.

第２の判定部１０６は、第２のモデルパラメータを用いて、第２の学習用画像又は第３の学習用画像が「正常発芽」又は「異常発芽」のいずれのクラスに属するかのクラス分類を行う。 The second determination unit 106 uses the second model parameter to classify the second learning image or the third learning image into a class of "normal germination" or "abnormal germination". I do.

学習部１０９は、第１の判定部１０２による検出結果及び判定結果と第１の学習用画像に対して行われたアノテーションとの誤差を用いて、この誤差が最小となるように第１のモデルパラメータを更新する。同様に、学習部１０９は、第２の判定部１０６による判定結果と第２の学習用画像又は第３の学習用画像に対して付与されたラベルとの誤差を用いて、この誤差が最小となるように第２のモデルパラメータに含まれる第３のモデルパラメータ又は第４のモデルパラメータを更新する。 The learning unit 109 uses an error between the detection result and the determination result by the first determination unit 102 and the annotation performed on the first learning image, and makes the first model so that this error is minimized. Update the parameters. Similarly, the learning unit 109 uses the error between the determination result by the second determination unit 106 and the label given to the second learning image or the third learning image to minimize this error. The third model parameter or the fourth model parameter included in the second model parameter is updated so as to be.

＜学習処理＞
次に、本実施形態に係る発芽判定装置１０により第１のモデルパラメータ又は第２のモデルパラメータに含まれる第３のモデルパラメータ若しくは第４のモデルパラメータを学習する処理について、図１０を参照しながら説明する。図１０は、本実施形態に係る学習処理の一例を示すフローチャートである。 <Learning process>
Next, with reference to FIG. 10, regarding the process of learning the first model parameter or the third model parameter or the fourth model parameter included in the second model parameter by the germination determination device 10 according to the present embodiment. explain. FIG. 10 is a flowchart showing an example of the learning process according to the present embodiment.

まず、入力部１０１は、学習用画像作成部１０８により作成された学習用画像（第１の学習用画像、第２の学習用画像又は第３の学習用画像）を入力する（ステップＳ２０１）。 First, the input unit 101 inputs a learning image (a first learning image, a second learning image, or a third learning image) created by the learning image creation unit 108 (step S201).

次に、第１の判定部１０２又は第２の判定部１０６は、学習用画像に対してクラス分類を行う（ステップＳ２０２）。すなわち、上記のステップＳ２０１で第１の学習用画像が入力された場合、第１の判定部１０２は、第１のモデルパラメータを用いて、第１の分類モデルにより第１の学習用画像中に含まれる種子の検出と当該種子が「正常発芽」又は「異常発芽」のいずれのクラスに属するかのクラス分類とを行う。また、上記のステップＳ２０１で第２の学習用画像が入力された場合、第２の判定部１０６は、第３のモデルパラメータを用いて、第３の分類モデルにより第２の学習用画像が「正常発芽」又は「正常発芽以外」のいずれのクラスに属するかのクラス分類を行う。同様に、上記のステップＳ２０１で第３の学習用画像が入力された場合、第２の判定部１０６は、第４のモデルパラメータを用いて、第４の分類モデルにより第３の学習用画像が「異常発芽」又は「異常発芽以外」のいずれのクラスに属するかのクラス分類を行う。 Next, the first determination unit 102 or the second determination unit 106 classifies the learning image into classes (step S202). That is, when the first learning image is input in step S201, the first determination unit 102 uses the first model parameter and uses the first classification model in the first learning image. Detecting the contained seeds and classifying whether the seeds belong to the "normal germination" or "abnormal germination" class. Further, when the second learning image is input in step S201, the second determination unit 106 uses the third model parameter to make the second learning image "" by the third classification model. Classify which class belongs to "normal germination" or "other than normal germination". Similarly, when the third learning image is input in step S201, the second determination unit 106 uses the fourth model parameter to generate the third learning image by the fourth classification model. Classify which class belongs to "abnormal germination" or "other than abnormal germination".

そして、学習部１０９は、第１の判定部１０２又は第２の判定部１０６による判定結果（クラス分類結果）と学習用画像に対して行われたアノテーション又は学習用画像に付与されたラベルとの誤差を用いて、この誤差が最小となるように第１のモデルパラメータ又は第２のモデルパラメータを更新する（ステップＳ２０３）。すなわち、上記のステップＳ２０１で第１の学習用画像が入力された場合、学習部１０９は、第１の判定部１０２による各種子のクラス分類結果と当該種子の画像領域に対して行われたアノテーションとの誤差を算出し、算出した誤差が最小となるように第１のモデルパラメータを更新する。また、上記のステップＳ２０１で第２の学習用画像が入力された場合、学習部１０９は、第２の判定部１０６による第２の学習用画像のクラス分類結果と当該第２の学習用画像に付与されたラベルとの誤差を算出し、算出した誤差が最小となるように第３のモデルパラメータを更新する。同様に、上記のステップＳ２０１で第３の学習用画像が入力された場合、学習部１０９は、第２の判定部１０６による第２の学習用画像のクラス分類結果と当該第２の学習用画像に付与されたラベルとの誤差を算出し、算出した誤差が最小となるように第４のモデルパラメータを更新する。なお、第１のモデルパラメータと第２のモデルパラメータに含まれる第３のモデルパラメータ及び第４のモデルパラメータとの更新には既知の最適化手法を用いればよい。 Then, the learning unit 109 combines the determination result (classification result) by the first determination unit 102 or the second determination unit 106 with the annotation performed on the learning image or the label given to the learning image. The error is used to update the first model parameter or the second model parameter so that this error is minimized (step S203). That is, when the first learning image is input in step S201, the learning unit 109 uses the first determination unit 102 to classify the various children into classes and annotate the image area of the seed. The error with and is calculated, and the first model parameter is updated so that the calculated error is minimized. When the second learning image is input in step S201, the learning unit 109 uses the second determination unit 106 for the classification result of the second learning image and the second learning image. The error from the given label is calculated, and the third model parameter is updated so that the calculated error is minimized. Similarly, when the third learning image is input in step S201, the learning unit 109 determines the classification result of the second learning image by the second determination unit 106 and the second learning image. The error with the label given to is calculated, and the fourth model parameter is updated so that the calculated error is minimized. A known optimization method may be used for updating the first model parameter, the third model parameter included in the second model parameter, and the fourth model parameter.

以上により、本実施形態に係る発芽判定装置１０は、第１のモデルパラメータと第２のモデルパラメータを学習することができる。なお、図１０に示す学習処理では、一例として、オンライン学習により第１のモデルパラメータと第２のモデルパラメータを学習する場合について説明したが、これに限られず、例えば、バッチ学習やミニバッチ学習等により第１のモデルパラメータと第２のモデルパラメータが学習されてもよい。 As described above, the germination determination device 10 according to the present embodiment can learn the first model parameter and the second model parameter. In the learning process shown in FIG. 10, as an example, a case where the first model parameter and the second model parameter are learned by online learning has been described, but the present invention is not limited to this, and for example, by batch learning, mini-batch learning, or the like. The first model parameter and the second model parameter may be learned.

なお、入力部１０１は特許請求の範囲に記載の入力手段の一例である。第１の判定部１０２は特許請求の範囲に記載の第１の判定手段の一例である。色差分抽出部１０３は特許請求の範囲に記載の第２の作成手段の一例である。未検出物体特定部１０４は特許請求の範囲に記載の特定手段の一例である。画像切出部１０５は特許請求の範囲に記載の第３の作成手段の一例である。第２の判定部１０６は特許請求の範囲に記載の第２の判定手段の一例である。学習用画像作成部１０８は特許請求の範囲に記載の第１の作成手段及び第４の作成手段の一例である。学習部１０９は特許請求の範囲に記載の第１の学習手段及び第２の学習手段の一例である。 The input unit 101 is an example of the input means described in the claims. The first determination unit 102 is an example of the first determination means described in the claims. The color difference extraction unit 103 is an example of the second creation means described in the claims. The undetected object identification unit 104 is an example of the identification means described in the claims. The image cutout portion 105 is an example of the third creating means described in the claims. The second determination unit 106 is an example of the second determination means described in the claims. The learning image creating unit 108 is an example of the first creating means and the fourth creating means described in the claims. The learning unit 109 is an example of the first learning means and the second learning means described in the claims.

本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲の記載から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。 The present invention is not limited to the above-described embodiment disclosed specifically, and various modifications and modifications, combinations with known techniques, and the like can be made without departing from the description of the scope of claims. be.

１０発芽判定装置
１０１入力部
１０２第１の判定部
１０３色差分抽出部
１０４未検出物体特定部
１０５画像切出部
１０６第２の判定部
１０７発芽率算出部
１０８学習用画像作成部
１０９学習部 10 Germination determination device 101 Input unit 102 First determination unit 103 Color difference extraction unit 104 Undetected object identification unit 105 Image cutout unit 106 Second determination unit 107 Germination rate calculation unit 108 Learning image creation unit 109 Learning unit

Claims

１以上の種子を撮影した撮影画像を入力する入力手段と、
学習済みの第１のニューラルネットワークのモデルパラメータを用いて、前記撮影画像中の種子の発芽状況を判定する第１の判定手段と、
を有することを特徴とする発芽判定装置。 An input means for inputting a photographed image of one or more seeds,
Using the trained model parameters of the first neural network, the first determination means for determining the germination status of the seed in the captured image, and the first determination means.
A germination determination device characterized by having.

前記第１の判定手段は、
前記撮影画像中に含まれる１以上の種子を検出し、検出した種子を、正常発芽を示すクラス又は異常発芽を示すクラスのいずれかに分類することで、前記種子の発芽状況を判定する、請求項１に記載の発芽判定装置。 The first determination means is
A claim for determining the germination status of the seeds by detecting one or more seeds contained in the photographed image and classifying the detected seeds into either a class showing normal germination or a class showing abnormal germination. Item 3. The germination determination device according to Item 1.

少なくとも前記第１の判定手段による判定結果から発芽率を算出する発芽率算出手段、を有することを特徴とする請求項１又は２に記載の発芽判定装置。 The germination determination apparatus according to claim 1 or 2, further comprising a germination rate calculation means for calculating a germination rate from at least a determination result by the first determination means.

前記撮影画像から第１の学習用画像を作成する第１の作成手段と、
前記第１の学習用画像を用いて、前記第１のニューラルネットワークのモデルパラメータを学習する第１の学習手段と、を有し、
前記第１の作成手段は、
前記撮影画像中に含まれる種子が所定の評価基準を満たす場合は前記種子に対して正常発芽を示すアノテーションを行って、前記種子が前記評価基準を満たさない場合は前記種子に対して異常発芽を示すアノテーションを行うことで、前記第１の学習用画像を作成する、ことを特徴とする請求項１乃至３の何れか一項に記載の発芽判定装置。 A first creation means for creating a first learning image from the captured image, and
It has a first learning means for learning model parameters of the first neural network using the first learning image.
The first production means is
When the seeds contained in the photographed image meet the predetermined evaluation criteria, the seeds are annotated to indicate normal germination, and when the seeds do not meet the evaluation criteria, abnormal germination is performed on the seeds. The germination determination device according to any one of claims 1 to 3, wherein the first learning image is created by performing the annotations shown.

前記撮影画像から地色と異なる色を抽出することで色差分画像を作成する第２の作成手段と、
前記第１の判定手段による判定結果と前記色差分画像とを用いて、前記撮影画像中に含まれる物体のうち、前記第１の判定手段で検出されなかった未検出物体を特定する特定手段と、
前記未検出物体を含む所定の大きさの画像領域を前記撮影画像から切り出した未検出物体画像を作成する第３の作成手段と、
学習済みの第２のニューラルネットワークのモデルパラメータを用いて、前記未検出物体画像を、正常発芽を示すクラス、異常発芽を示すクラス又は種子以外を示すクラスのいずれかに分類することで、前記未検出物体画像中に含まれる物体が種子であるか否かと前記物体が種子である場合における発芽状況とを判定する第２の判定手段と、
を有することを特徴とする請求項１乃至４の何れか一項に記載の発芽判定装置。 A second creation means for creating a color difference image by extracting a color different from the ground color from the captured image, and
A specific means for identifying an undetected object that was not detected by the first determination means among the objects included in the captured image by using the determination result by the first determination means and the color difference image. ,
A third creation means for creating an undetected object image obtained by cutting out an image region of a predetermined size including the undetected object from the captured image.
By classifying the undetected object image into one of a class showing normal germination, a class showing abnormal germination, or a class showing something other than seeds, using the model parameters of the second trained neural network, the undetected object image is described. A second determination means for determining whether or not the object included in the detected object image is a seed and the germination status when the object is a seed.
The germination determination device according to any one of claims 1 to 4, wherein the germination determination device is characterized by having.

前記撮影画像から第２の学習用画像を作成する第４の作成手段と、
前記第２の学習用画像を用いて、前記第２のニューラルネットワークのモデルパラメータを学習する第２の学習手段と、を有し、
前記第４の作成手段は、
前記撮影画像中に含まれる種子が所定の評価基準を満たす場合は前記撮影画像に対して正常発芽を示すラベルを付与し、前記種子が前記評価基準を満たさない場合は前記撮影画像に対して異常発芽を示すラベルを付与することで、前記第２の学習用画像を作成する、ことを特徴とする請求項５に記載の発芽判定装置。 A fourth creation means for creating a second learning image from the captured image, and
It has a second learning means for learning the model parameters of the second neural network using the second learning image.
The fourth production means is
When the seeds contained in the photographed image meet the predetermined evaluation criteria, a label indicating normal germination is given to the photographed image, and when the seeds do not meet the evaluation criteria, the photographed image is abnormal. The germination determination device according to claim 5, wherein the second learning image is created by giving a label indicating germination.

前記評価基準は前記種子の根の長さと胚軸の長さの比が所定の範囲内にあるか否かを示す条件である、ことを特徴とする請求項４又は６に記載の発芽判定装置。 The germination determination apparatus according to claim 4 or 6, wherein the evaluation criterion is a condition indicating whether or not the ratio of the root length of the seed to the length of the hypocotyl is within a predetermined range. ..

コンピュータを、請求項１乃至７の何れか一項に記載の発芽判定装置における各手段として機能させるためのプログラム。 A program for causing a computer to function as each means in the germination determination device according to any one of claims 1 to 7.