JP2024079411A - Anomaly detection method, anomaly detection system, and program - Google Patents

Abstract

【課題】 ＡＩモデルによる異常の検出精度の低下を抑制する。【解決手段】一実施形態に係る異常検出方法は、異常検出システムが実行する異常検出方法であって、正常画像を学習することにより画像から異常を検出するように学習された異常検出モデルを利用して、複数の対象画像から異常を検出する検出処理と、前記検出処理により異常が検出されなかった対象画像の中の少なくとも一部を第１再学習用画像として選択する選択処理と、前記第１再学習用画像を前記異常検出モデルに再学習させる再学習処理と、を含む。【選択図】図１９[Problem] Suppressing a decrease in the accuracy of anomaly detection by an AI model. [Solution] An anomaly detection method according to one embodiment is an anomaly detection method executed by an anomaly detection system, and includes a detection process for detecting anomalies from a plurality of target images using an anomaly detection model trained to detect anomalies from images by learning normal images, a selection process for selecting at least some of the target images in which no anomaly was detected by the detection process as first relearning images, and a relearning process for relearning the first relearning images to the anomaly detection model. [Selected Figure] Figure 19

Description

本発明は、異常検出方法、異常検出システム及びプログラムに関する。 The present invention relates to an anomaly detection method, an anomaly detection system, and a program.

近年、ＡＩモデルにより画像から異常を検出する技術が広く利用されている。一般に、検出対象となる異常の画像を学習させたＡＩモデルに異常を検出する対象を撮影した画像を入力すると、ＡＩモデルが画像に含まれる異常を検出する。例えば、引用文献１には、欠陥候補を学習した欠陥候補検出モデルを利用して、金属製品の表面画像から欠陥候補を検出する技術が開示されている。 In recent years, technology that uses AI models to detect anomalies from images has come into widespread use. In general, when an image of a target for which anomalies are to be detected is input to an AI model that has been trained with images of the anomalies to be detected, the AI model detects the anomalies contained in the image. For example, Cited Document 1 discloses a technology that uses a defect candidate detection model that has been trained with defect candidates to detect defect candidates from surface images of metal products.

特開２０２２－１２６６２０号公報JP 2022-126620 A

上記従来技術では、異常を検出する対象となる画像の撮影環境が時間に応じて変化したり、異常を検出する対象が時期により外観が変化するもの（野菜など）であったりした場合、ＡＩモデルによる異常の検出精度が経時的に低下するおそれがあった。 In the above conventional technology, if the shooting environment of the image for which anomalies are to be detected changes over time, or if the object for which anomalies are to be detected is an object whose appearance changes over time (such as vegetables), there is a risk that the accuracy of anomaly detection by the AI model will decrease over time.

本発明は、上記の課題を鑑みてなされたものであり、ＡＩモデルによる異常の検出精度の低下を抑制することを目的とする。 The present invention was made in consideration of the above problems, and aims to prevent a decline in the accuracy of anomaly detection by AI models.

一実施形態に係る異常検出方法は、異常検出システムが実行する異常検出方法であって、正常画像を学習することにより画像から異常を検出するように学習された異常検出モデルを利用して、複数の対象画像から異常を検出する検出処理と、前記検出処理により異常が検出されなかった対象画像の中の少なくとも一部を第１再学習用画像として選択する選択処理と、前記第１再学習用画像を前記異常検出モデルに再学習させる再学習処理と、を含む。 An anomaly detection method according to one embodiment is an anomaly detection method executed by an anomaly detection system, and includes a detection process for detecting anomalies from a plurality of target images using an anomaly detection model trained to detect anomalies from images by learning normal images, a selection process for selecting at least some of the target images in which no anomalies were detected by the detection process as first relearning images, and a relearning process for relearning the first relearning images to the anomaly detection model.

一実施形態によれば、ＡＩモデルによる異常の検出精度の低下を抑制することができる。 According to one embodiment, it is possible to suppress a decrease in the accuracy of anomaly detection by the AI model.

異常検出システム１０００の構成の一例を示す図である。FIG. 1 illustrates an example of the configuration of an anomaly detection system 1000. 情報処理装置１００のハードウェア構成の一例を示す図である。FIG. 2 is a diagram illustrating an example of a hardware configuration of an information processing device 100. 異常検出装置１の機能構成の一例を示す図である。FIG. 2 is a diagram illustrating an example of a functional configuration of the abnormality detection device 1. 対象画像情報１２１の一例を示す図である。FIG. 2 is a diagram showing an example of target image information 121. 対象画像ｉｍの一例を示す図である。FIG. 2 is a diagram showing an example of a target image im. 第１学習用画像情報１２２１の一例を示す図である。A figure showing an example of first learning image information 1221. 第１学習用画像ｉｍＬ１の一例を示す図である。A figure showing an example of a first learning image imL1. 第２学習用画像情報１２２２の一例を示す図である。A figure showing an example of second learning image information 1222. 第２学習用画像ｉｍＬ２の一例を示す図である。A figure showing an example of a second learning image imL2. 第１再学習用画像情報１２３１の一例を示す図である。FIG. 12 is a diagram showing an example of first relearning image information 1231. 第１再学習用画像ｉｍｒＬ１の一例を示す図である。FIG. 13 is a diagram showing an example of a first relearning image imrL1. 第２再学習用画像情報１２３２の一例を示す図である。FIG. 12 is a diagram showing an example of second relearning image information 1232. 第２再学習用画像ｉｍｒＬ２の一例を示す図である。FIG. 13 is a diagram showing an example of a second relearning image imrL2. 検出結果情報１２６の一例を示す図である。FIG. 13 is a diagram showing an example of detection result information 126. 学習処理の一例を示すフローチャートである。13 is a flowchart illustrating an example of a learning process. 選択画面の一例を示す図である。FIG. 13 illustrates an example of a selection screen. 選択画面の一例を示す図である。FIG. 13 illustrates an example of a selection screen. 選択画面の一例を示す図である。FIG. 13 illustrates an example of a selection screen. 異常検出処理の一例を示すフローチャートである。13 is a flowchart illustrating an example of an abnormality detection process. クロッピング方法の一例を示す図である。FIG. 13 is a diagram illustrating an example of a cropping method.

以下、本発明の各実施形態について、添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に関して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。 Each embodiment of the present invention will be described below with reference to the accompanying drawings. Note that in the description of the specification and drawings relating to each embodiment, components having substantially the same functional configuration are designated by the same reference numerals, and redundant description will be omitted.

＜システム構成＞
まず、本実施形態に係る異常検出システム１０００の概要について説明する。本実施形態に係る異常検出システム１０００は、ＡＩモデルを利用して、対象画像ｉｍから異常を検出する情報処理システムである。 <System Configuration>
First, an overview of an anomaly detection system 1000 according to this embodiment will be described. The anomaly detection system 1000 according to this embodiment is an information processing system that uses an AI model to detect an anomaly from a target image im.

対象画像ｉｍは、異常検出対象ｔを撮影した画像である。異常検出対象ｔは、異常を検出する対象となる任意の物体である。異常は、欠陥、不良、異物などの、異常検出対象ｔの正常な状態とは異なる任意の状態又は物体である。情報処理システムは、ネットワークを介して接続された複数の情報処理装置からなるシステムである。 The target image im is an image of the abnormality detection target t. The abnormality detection target t is any object for which an abnormality is to be detected. An abnormality is any state or object that differs from the normal state of the abnormality detection target t, such as a defect, failure, or foreign object. The information processing system is a system consisting of multiple information processing devices connected via a network.

以下、対象画像ｉｍのうち、異常検出対象ｔが異常を含む画像を異常画像、異常検出対象ｔが異常を含まない画像を正常画像という。また、異常画像に含まれる異常の部分をクロッピングした（切り出した）画像を異常部分画像という。 Hereinafter, among the target images im, an image in which the anomaly detection target t contains an abnormality will be referred to as an abnormal image, and an image in which the anomaly detection target t does not contain an abnormality will be referred to as a normal image. In addition, an image in which the abnormal part contained in the abnormal image has been cropped (cut out) will be referred to as an abnormal part image.

異常検出システム１０００は、監視カメラの映像からの異常検出、工場に設置されたベルトコンベアの映像からの異常検出、製品の外観検査のために撮影された画像からの異常検出など、任意の画像からの異常検出に利用できる。 The anomaly detection system 1000 can be used to detect anomalies from any image, such as from surveillance camera footage, from footage of a conveyor belt installed in a factory, or from images taken for the visual inspection of a product.

異常検出システム１０００は、正常画像を学習させることにより、異常を検出するＡＩモデルを学習させる。また、異常検出システム１０００は、所定のタイミングでＡＩモデルに新たな正常画像を再学習させる。これにより、異常検出システム１０００は、異常検出対象ｔや撮影環境の経時的な変化に起因するＡＩモデルの異常の検出精度の経時的な低下を抑制することができる。 The anomaly detection system 1000 trains an AI model to detect anomalies by learning normal images. The anomaly detection system 1000 also causes the AI model to re-learn new normal images at a predetermined timing. This allows the anomaly detection system 1000 to suppress deterioration over time in the detection accuracy of anomalies of the AI model caused by changes over time in the anomaly detection target t or the shooting environment.

したがって、異常検出システム１０００は、異常検出対象ｔや撮影環境が経時的に変化する場合に、好適に利用することができる。例えば、異常検出対象ｔが経時的に変化する場合として、異常検出対象ｔが野菜、果物、鮮魚、精肉などの生鮮食品である場合が挙げられる。また、撮影環境が経時的に変化する場合として、撮影環境が屋外であったり、日照のある屋内であったりする場合が挙げられる。 The anomaly detection system 1000 can therefore be suitably used in cases where the anomaly detection target t or the shooting environment changes over time. For example, an example of a case where the anomaly detection target t changes over time is when the anomaly detection target t is fresh food such as vegetables, fruits, fresh fish, or meat. In addition, an example of a case where the shooting environment changes over time is when the shooting environment is outdoors or indoors in a sunny location.

図１は、異常検出システム１０００の構成の一例を示す図である。図１に示すように、異常検出システム１０００は、ネットワークＮを介して相互に通信可能に接続された、異常検出装置１と、ユーザ端末２と、撮影装置３と、を備える。ネットワークＮは、例えば、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、インターネット、公衆回線網、モバイルデータ通信網、又はこれらの組み合わせである。図１の例では、異常検出システム１０００は、異常検出装置１、ユーザ端末２及び撮影装置３をそれぞれ１つずつ備えるが、それぞれ複数備えてもよい。 FIG. 1 is a diagram showing an example of the configuration of an anomaly detection system 1000. As shown in FIG. 1, the anomaly detection system 1000 includes an anomaly detection device 1, a user terminal 2, and an image capture device 3, which are communicatively connected to each other via a network N. The network N is, for example, a wired LAN (Local Area Network), a wireless LAN, the Internet, a public line network, a mobile data communication network, or a combination of these. In the example of FIG. 1, the anomaly detection system 1000 includes one each of the anomaly detection device 1, the user terminal 2, and the image capture device 3, but may include multiple of each.

異常検出装置１は、対象画像ｉｍから異常を検出する情報処理装置である。異常検出装置１は、例えば、ＰＣ（Personal Computer）、スマートフォン、タブレット端末、サーバ装置、又はマイクロコンピューであるが、これに限られない。異常検出装置１について、詳しくは後述する。 The abnormality detection device 1 is an information processing device that detects abnormalities from a target image im. The abnormality detection device 1 is, for example, but is not limited to, a PC (Personal Computer), a smartphone, a tablet terminal, a server device, or a microcomputer. The abnormality detection device 1 will be described in detail later.

ユーザ端末２は、異常検出システム１０００のユーザが利用する情報処理装置である。ユーザ端末２は、例えば、ＰＣ、スマートフォン、タブレット端末、サーバ装置、又はマイクロコンピューであるが、これに限られない。ユーザ端末２は、撮影装置３と有線又は
無線により接続され、撮影装置３から対象画像ｉｍを受信し、ネットワークＮを介して、対象画像ｉｍを異常検出装置１に送信する。ユーザ端末２は、撮影装置３とネットワークＮを介して接続されてもよい。また、ユーザ端末２は、ネットワークＮや記録メディアから対象画像ｉｍを取得し、対象画像ｉｍを異常検出装置１に送信してもよい。また、ユーザは、ユーザ端末２を操作して、正常画像及び異常画像のアノテーションや、異常部分画像のクリッピングなどを行ってもよい。 The user terminal 2 is an information processing device used by a user of the anomaly detection system 1000. The user terminal 2 is, for example, a PC, a smartphone, a tablet terminal, a server device, or a microcomputer, but is not limited thereto. The user terminal 2 is connected to the photographing device 3 by wire or wirelessly, receives a target image im from the photographing device 3, and transmits the target image im to the anomaly detection device 1 via the network N. The user terminal 2 may be connected to the photographing device 3 via the network N. The user terminal 2 may also acquire a target image im from the network N or a recording medium, and transmit the target image im to the anomaly detection device 1. The user may also operate the user terminal 2 to perform annotation of normal images and abnormal images, clipping of abnormal part images, and the like.

撮影装置３は、異常検出対象ｔを撮影する情報処理装置である。撮影装置３は、デジタルカメラ、監視カメラ、スマートフォン、又はＡＩカメラであるが、これに限られない。撮影装置３は、異常検出対象ｔを撮影した対象画像ｉｍをユーザ端末２に送信する。図１の例では、ベルトコンベアで搬送されるじゃがいも（異常検出対象ｔ）を、固定して設置された撮影装置３で撮影する場合を想定しているが、異常検出対象ｔも撮影装置３もこれに限られない。 The photographing device 3 is an information processing device that photographs the abnormality detection target t. The photographing device 3 is, but is not limited to, a digital camera, a surveillance camera, a smartphone, or an AI camera. The photographing device 3 transmits a target image im of the abnormality detection target t to the user terminal 2. In the example of FIG. 1, it is assumed that potatoes (abnormality detection target t) transported on a conveyer belt are photographed by a fixedly installed photographing device 3, but neither the abnormality detection target t nor the photographing device 3 are limited to this.

＜情報処理装置のハードウェア構成＞
次に、情報処理装置１００のハードウェア構成について説明する。図２は、情報処理装置１００のハードウェア構成の一例を示す図である。図２に示すように、情報処理装置１００は、バスＢを介して相互に接続された、プロセッサ１０１と、メモリ１０２と、ストレージ１０３と、通信Ｉ／Ｆ１０４と、入出力Ｉ／Ｆ１０５と、ドライブ装置１０６と、を備える。 <Hardware configuration of information processing device>
Next, a description will be given of the hardware configuration of the information processing device 100. Fig. 2 is a diagram showing an example of the hardware configuration of the information processing device 100. As shown in Fig. 2, the information processing device 100 includes a processor 101, a memory 102, a storage 103, a communication I/F 104, an input/output I/F 105, and a drive device 106, which are connected to each other via a bus B.

プロセッサ１０１は、ストレージ１０３に記憶されたＯＳ（Operating System）を含む各種のプログラムをメモリ１０２に展開して実行することにより、情報処理装置１００の各構成を制御し、情報処理装置１００の機能を実現する。プロセッサ１０１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、又はこれらの組み合わせである。 The processor 101 controls each component of the information processing device 100 and realizes the functions of the information processing device 100 by expanding into the memory 102 and executing various programs including an OS (Operating System) stored in the storage 103. The processor 101 is, for example, a CPU (Central Processing Unit), an MPU (Micro Processing Unit), a GPU (Graphics Processing Unit), an ASIC (Application Specific Integrated Circuit), a DSP (Digital Signal Processor), or a combination of these.

メモリ１０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、又はこれらの組み合わせである。ＲＯＭは、例えば、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、又はこれらの組み合わせである。ＲＡＭは、例えば、ＤＲＡＭ（Dynamic RAM）、ＳＲＡＭ（Static RAM）、又はこれらの組み合わせである。 The memory 102 is, for example, a read only memory (ROM), a random access memory (RAM), or a combination of these. The ROM is, for example, a programmable ROM (PROM), an erasable programmable ROM (EPROM), an electrically erasable programmable ROM (EEPROM), or a combination of these. The RAM is, for example, a dynamic RAM (DRAM), a static RAM (SRAM), or a combination of these.

ストレージ１０３は、ＯＳを含む各種のプログラム及びデータを記憶する。ストレージ１０３は、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＳＣＭ（Storage Class Memories）、又はこれらの組み合わせである。 Storage 103 stores various programs and data, including the OS. Storage 103 is, for example, a flash memory, a hard disk drive (HDD), a solid state drive (SSD), a storage class memory (SCM), or a combination of these.

通信Ｉ／Ｆ１０４は、情報処理装置１００を、ネットワークＮを介して外部装置に接続し、通信を制御するためのインタフェースである。通信Ｉ／Ｆ１０４は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、ＺｉｇＢｅｅ（登録商標）、Ｅｔｈｅｒｎｅｔ（登録商標）、又は光通信に準拠したアダプタであるが、これに限られない。 The communication I/F 104 is an interface for connecting the information processing device 100 to an external device via the network N and controlling communication. The communication I/F 104 is, for example, an adapter conforming to Bluetooth (registered trademark), Wi-Fi (registered trademark), ZigBee (registered trademark), Ethernet (registered trademark), or optical communication, but is not limited to these.

入出力Ｉ／Ｆ１０５は、情報処理装置１００に入力装置１０７及び出力装置１０８を接続するためのインタフェースである。入力装置１０７は、例えば、マウス、キーボード、タッチパネル、マイク、スキャナ、カメラ、各種センサ、操作ボタン、又はこれらの組み合わせである。出力装置１０８は、例えば、ディスプレイ、プロジェクタ、プリンタ、スピーカ、バイブレータ、又はこれらの組み合わせである。 The input/output I/F 105 is an interface for connecting an input device 107 and an output device 108 to the information processing device 100. The input device 107 is, for example, a mouse, a keyboard, a touch panel, a microphone, a scanner, a camera, various sensors, an operation button, or a combination of these. The output device 108 is, for example, a display, a projector, a printer, a speaker, a vibrator, or a combination of these.

ドライブ装置１０６は、記録メディア１０９のデータを読み書きする。ドライブ装置１０６は、例えば、磁気ディスクドライブ、光学ディスクドライブ、光磁気ディスクドライブ又はＳＤカードリーダである。記録メディア１０９は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＦＤ（Floppy Disk）、ＭＯ（Magneto-Optical disk）、ＢＤ（Blu-ray（登録商標） Disc）、ＵＳＢ（登録商標）メモリ、ＳＤカード、又はこれらの組み合わせである。 The drive device 106 reads and writes data from and to the recording medium 109. The drive device 106 is, for example, a magnetic disk drive, an optical disk drive, a magneto-optical disk drive, or an SD card reader. The recording medium 109 is, for example, a CD (Compact Disc), a DVD (Digital Versatile Disc), a FD (Floppy Disk), an MO (Magneto-Optical disk), a BD (Blu-ray (registered trademark) Disc), a USB (registered trademark) memory, an SD card, or a combination of these.

なお、本実施形態において、プログラムは、情報処理装置１００の製造段階でメモリ１０２又はストレージ１０３に書き込まれてもよいし、ネットワークＮを介して情報処理装置１００に提供されてもよいし、記録メディア１０９などの非一時的でコンピュータ読み取り可能な記録媒体を介して情報処理装置１００に提供されてもよい。 In this embodiment, the program may be written to the memory 102 or storage 103 during the manufacturing stage of the information processing device 100, or may be provided to the information processing device 100 via the network N, or may be provided to the information processing device 100 via a non-transitory computer-readable recording medium such as the recording medium 109.

＜機能構成＞
次に、異常検出装置１の機能構成について説明する。図３は、異常検出装置１の機能構成の一例を示す図である。図３に示すように、異常検出装置１は、通信部１１と、記憶部１２と、制御部１３と、を備える。 <Functional configuration>
Next, a description will be given of the functional configuration of the abnormality detection device 1. Fig. 3 is a diagram showing an example of the functional configuration of the abnormality detection device 1. As shown in Fig. 3, the abnormality detection device 1 includes a communication unit 11, a storage unit 12, and a control unit 13.

通信部１１は、通信Ｉ／Ｆ１０４により実現される。通信部１１は、ネットワークＮを介して、ユーザ端末２との間で情報の送受信を行う。また、通信部１１は、有線又は無線により、撮影装置３から対象画像ｉｍを受信する。 The communication unit 11 is realized by the communication I/F 104. The communication unit 11 transmits and receives information to and from the user terminal 2 via the network N. The communication unit 11 also receives the target image im from the image capture device 3 via a wired or wireless connection.

記憶部１２は、メモリ１０２及びストレージ１０３により実現される。記憶部１２は、対象画像情報１２１と、学習用画像情報１２２と、再学習用画像情報１２３と、異常検出モデル１２４と、異常分類モデル１２５と、検出結果情報１２６と、を記憶する。 The memory unit 12 is realized by the memory 102 and the storage 103. The memory unit 12 stores target image information 121, learning image information 122, re-learning image information 123, anomaly detection model 124, anomaly classification model 125, and detection result information 126.

対象画像情報１２１は、対象画像ｉｍに関する情報である。 Target image information 121 is information about the target image im.

図４は、対象画像情報１２１の一例を示す図である。図４の対象画像情報１２１は、情報項目として、「対象画像ＩＤ」と、「撮影日時」と、「画像データ」と、を含む。 Figure 4 is a diagram showing an example of target image information 121. The target image information 121 in Figure 4 includes the following information items: "target image ID," "photographed date and time," and "image data."

「対象画像ＩＤ」は、対象画像ｉｍの識別情報である。以下では、「対象画像ＩＤ」が「ｉｍＸＸＸ」である対象画像ｉｍを、対象画像ｉｍＸＸＸと称する。 "Target image ID" is identification information for the target image im. In the following, a target image im whose "target image ID" is "imXXX" will be referred to as target image imXXX.

「撮影日時」は、対象画像ｉｍを撮影装置３が撮影した日時である。図４の例では、対象画像ｉｍ００１の「撮影日時」は「２０２２／８／２２ １５：００：５４」である。これは、対象画像ｉｍ００１が２０２２／８／２２の１５：００：５４に撮影されたことを示している。 The "photographing date and time" is the date and time when the target image im was photographed by the photographing device 3. In the example of FIG. 4, the "photographing date and time" of the target image im001 is "2022/8/22 15:00:54." This indicates that the target image im001 was photographed at 2022/8/22 15:00:54.

「画像データ」は、対象画像ｉｍの画像データである。図４の例では、対象画像ｉｍ００１の「画像データ」は「ｉｍ００１．ｐｎｇ」である。これは、対象画像ｉｍ００１の画像データのファイル名がｉｍ００１．ｐｎｇであることを示している。 "Image data" is the image data of the target image im. In the example of Figure 4, the "image data" of the target image im001 is "im001.png". This indicates that the file name of the image data of the target image im001 is im001.png.

なお、対象画像情報１２１は、図４の例に限られない。対象画像情報１２１は、上記の情報項目の一部を含まなくてもよいし、上記以外の情報項目を含んでもよい。例えば、対象画像情報１２１は、対象画像ｉｍを撮影した撮影装置３に関する情報や、その撮影環境に関する情報を含んでもよい。 Note that the target image information 121 is not limited to the example in FIG. 4. The target image information 121 may not include some of the above information items, or may include information items other than those described above. For example, the target image information 121 may include information about the imaging device 3 that captured the target image im, and information about the imaging environment.

図５は、対象画像ｉｍの一例を示す図である。図５の例では、異常検出対象ｔは、じゃがいもであり、じゃがいもの異常として、芽、傷及び変色を想定している。対象画像ｉｍ００１は、正常な（異常のない）じゃがいもを撮影した正常画像である。対象画像ｉｍ００２は、異常な（芽がある）じゃがいもを撮影した異常画像である。対象画像ｉｍ００３は、異常な（変色がある）じゃがいもを撮影した異常画像である。対象画像情報１２１には、このように正常画像及び異常画像の対象画像情報１２１が含まれる。 Figure 5 is a diagram showing an example of a target image im. In the example of Figure 5, the abnormality detection target t is a potato, and potato abnormalities are assumed to be sprouts, scratches, and discoloration. Target image im001 is a normal image of a normal (abnormal) potato. Target image im002 is an abnormal image of an abnormal potato (with sprouts). Target image im003 is an abnormal image of an abnormal potato (with discoloration). In this way, target image information 121 includes target image information 121 of normal images and abnormal images.

学習用画像情報１２２は、ＡＩモデルに学習させる学習用画像に関する情報である。学習用画像情報１２２は、第１学習用画像情報１２２１と、第２学習用画像情報１２２２と、を含む。 The learning image information 122 is information about learning images to be trained by the AI model. The learning image information 122 includes first learning image information 1221 and second learning image information 1222.

第１学習用画像情報１２２１は、第１学習用画像ｉｍＬ１に関する情報である。第１学習用画像ｉｍＬ１は、異常検出モデル１２４に学習させるための学習用画像である。第１学習用画像ｉｍＬ１は、対象画像ｉｍの中から選択された正常画像である。 The first learning image information 1221 is information related to the first learning image imL1. The first learning image imL1 is a learning image for training the anomaly detection model 124. The first learning image imL1 is a normal image selected from the target image im.

図６は、第１学習用画像情報１２２１の一例を示す図である。図６の第１学習用画像情報１２２１は、情報項目として、「第１学習用画像ＩＤ」と、「対象画像ＩＤ」と、「撮影日時」と、「画像データ」と、を含む。 Figure 6 is a diagram showing an example of first learning image information 1221. The first learning image information 1221 in Figure 6 includes the following information items: "first learning image ID", "target image ID", "photographed date and time", and "image data".

「第１学習用画像ＩＤ」は、第１学習用画像ｉｍＬ１の識別情報である。以下では、「第１学習用画像ＩＤ」が「ｉｍＬ１ＸＸ」である第１学習用画像ｉｍＬ１を、第１学習用画像ｉｍＬ１ＸＸと称する。 The "first learning image ID" is identification information for the first learning image imL1. Hereinafter, the first learning image imL1 whose "first learning image ID" is "imL1XX" will be referred to as the first learning image imL1XX.

「対象画像ＩＤ」は、第１学習用画像ｉｍＬ１に対応する対象画像ｉｍの識別情報である。図６の例では、第１学習用画像ｉｍＬ１０１と対象画像ｉｍ００１とが対応する。これは、対象画像ｉｍ００１が第１学習用画像ｉｍＬ１として選択され、「第１学習用画像ＩＤ」として「ｉｍＬ１０１」を割り当てられたことを示している。 "Target image ID" is identification information of the target image im corresponding to the first learning image imL1. In the example of FIG. 6, the first learning image imL101 corresponds to the target image imL001. This indicates that the target image imL01 has been selected as the first learning image imL1 and has been assigned "imL101" as the "first learning image ID."

「撮影日時」は、第１学習用画像ｉｍＬ１を撮影装置３が撮影した日時を示す情報である。図６の例では、第１学習用画像ｉｍＬ１０１の「撮影日時」は「２０２２／８／２２ １５：００：５４」である。これは、第１学習用画像ｉｍＬ１が２０２２／８／２２の１５：００：５４に撮影されたことを示している。第１学習用画像ｉｍＬ１の撮影日時は、対応する対象画像ｉｍの撮影日時と同じである。 "Photographing date and time" is information indicating the date and time when the first learning image imL1 was photographed by the photographing device 3. In the example of FIG. 6, the "Photographing date and time" of the first learning image imL101 is "2022/8/22 15:00:54." This indicates that the first learning image imL1 was photographed on 2022/8/22 at 15:00:54. The photographing date and time of the first learning image imL1 is the same as the photographing date and time of the corresponding target image im.

「画像データ」は、第１学習用画像ｉｍＬ１の画像データである。図６の例では、第１学習用画像ｉｍＬ１０１の「画像データ」は「ｉｍＬ１０１．ｐｎｇ」である。これは、第１学習用画像ｉｍＬ１０１の画像データのファイル名がｉｍＬ１０１．ｐｎｇであることを示している。第１学習用画像ｉｍＬ１の画像自体は、対応する対象画像ｉｍと同じである。 "Image data" is the image data of the first learning image imL1. In the example of FIG. 6, the "image data" of the first learning image imL101 is "imL101.png". This indicates that the file name of the image data of the first learning image imL101 is imL101.png. The image of the first learning image imL1 itself is the same as the corresponding target image im.

なお、第１学習用画像情報１２２１は、図６の例に限られない。第１学習用画像情報１２２１は、上記の情報項目の一部を含まなくてもよいし、上記以外の情報項目を含んでもよい。例えば、第１学習用画像情報１２２１は、第１学習用画像ｉｍＬ１を撮影した撮影装置３に関する情報や、その撮影環境に関する情報を含んでもよい。 The first learning image information 1221 is not limited to the example of FIG. 6. The first learning image information 1221 may not include some of the above information items, or may include information items other than those described above. For example, the first learning image information 1221 may include information about the imaging device 3 that captured the first learning image imL1, and information about the imaging environment.

図７は、第１学習用画像ｉｍＬ１の一例を示す図である。図７の例では、異常検出対象ｔは、じゃがいもであり、じゃがいもの異常として、芽、傷及び変色を想定している。第１学習用画像ｉｍＬ１０１～ｉｍＬ１０３は、正常な（異常のない）じゃがいもを撮影した正常画像である。第１学習用画像情報１２２１には、このように複数の正常画像の第１学習用画像情報１２２１が含まれる。 Figure 7 is a diagram showing an example of the first learning image imL1. In the example of Figure 7, the target t for abnormality detection is a potato, and potato abnormalities are assumed to be sprouts, scratches, and discoloration. The first learning images imL101 to imL103 are normal images of normal (abnormal) potatoes. The first learning image information 1221 thus includes first learning image information 1221 of multiple normal images.

第２学習用画像情報１２２２は、第２学習用画像ｉｍＬ２に関する情報である。第２学習用画像ｉｍＬ２は、異常分類モデル１２５に学習させるための学習用画像である。第２学習用画像ｉｍＬ２は、対象画像ｉｍの中から選択された異常画像から、異常の部分をクリッピングした異常部分画像である。 The second learning image information 1222 is information related to the second learning image imL2. The second learning image imL2 is a learning image for training the anomaly classification model 125. The second learning image imL2 is an abnormal portion image obtained by clipping the abnormal portion from an abnormal image selected from the target image im.

図８は、第２学習用画像情報１２２２の一例を示す図である。図８の第２学習用画像情報１２２２は、情報項目として、「第２学習用画像ＩＤ」と、「対象画像ＩＤ」と、「撮影日時」と、「画像データ」と、「異常種類」と、を含む。 Figure 8 is a diagram showing an example of second learning image information 1222. The second learning image information 1222 in Figure 8 includes the following information items: "second learning image ID", "target image ID", "photographed date and time", "image data", and "type of abnormality".

「第２学習用画像ＩＤ」は、第２学習用画像ｉｍＬ２の識別情報である。以下では、「第２学習用画像ＩＤ」が「ｉｍＬ２ＸＸ」である第２学習用画像ｉｍＬ２を、第２学習用画像ｉｍＬ２ＸＸと称する。 The "second learning image ID" is identification information for the second learning image imL2. Hereinafter, the second learning image imL2 whose "second learning image ID" is "imL2XX" will be referred to as the second learning image imL2XX.

「対象画像ＩＤ」は、第２学習用画像ｉｍＬ２に対応する対象画像ｉｍの識別情報である。図８の例では、第２学習用画像ｉｍＬ２０１と対象画像ｉｍ００２とが対応する。これは、対象画像ｉｍ００２が異常画像として選択され、その異常の部分をクリッピングした画像が第２学習用画像ｉｍＬ２であり、「第２学習用画像ＩＤ」として「ｉｍＬ２０１」を割り当てられたことを示している。 "Target image ID" is identification information of the target image im corresponding to the second learning image imL2. In the example of FIG. 8, the second learning image imL201 corresponds to the target image im002. This indicates that the target image imL02 was selected as an abnormal image, the image obtained by clipping the abnormal portion is the second learning image imL2, and "imL201" has been assigned as the "second learning image ID."

「撮影日時」は、第２学習用画像ｉｍＬ２を撮影装置３が撮影した日時を示す情報である。図８の例では、第２学習用画像ｉｍＬ２０１の「撮影日時」は「２０２２／８／２２ １５：００：５５」である。これは、第２学習用画像ｉｍＬ２が２０２２／８／２２の１５：００：５５に撮影されたことを示している。第２学習用画像ｉｍＬ２の撮影日時は、対応する対象画像ｉｍの撮影日時と同じである。 "Photographing date and time" is information indicating the date and time when the second learning image imL2 was photographed by the photographing device 3. In the example of FIG. 8, the "Photographing date and time" of the second learning image imL201 is "2022/8/22 15:00:55." This indicates that the second learning image imL2 was photographed at 2022/8/22 15:00:55. The photographing date and time of the second learning image imL2 is the same as the photographing date and time of the corresponding target image im.

「画像データ」は、第２学習用画像ｉｍＬ２の画像データである。図８の例では、第２学習用画像ｉｍＬ２０１の「画像データ」は「ｉｍＬ２０１．ｐｎｇ」である。これは、第２学習用画像ｉｍＬ２０１の画像データのファイル名がｉｍＬ２０１．ｐｎｇであることを示している。第２学習用画像ｉｍＬ２の画像自体は、対応する対象画像ｉｍの異常部分と同じである。 "Image data" is the image data of the second learning image imL2. In the example of FIG. 8, the "image data" of the second learning image imL201 is "imL201.png". This indicates that the file name of the image data of the second learning image imL201 is imL201.png. The image of the second learning image imL2 itself is the same as the abnormal part of the corresponding target image im.

「異常種類」は、第２学習用画像ｉｍＬ２に含まれる異常の種類を示す情報である。図８の例では、第２学習用画像ｉｍＬ２０１の「異常種類」は「芽」である。これは、第２学習用画像ｉｍＬ２０１が、じゃがいもの芽の部分を撮影した画像であることを示している。 "Anomaly type" is information indicating the type of anomaly contained in the second learning image imL2. In the example of FIG. 8, the "anomaly type" of the second learning image imL201 is "sprout." This indicates that the second learning image imL201 is an image of the sprout portion of a potato.

なお、第２学習用画像情報１２２２は、図８の例に限られない。第２学習用画像情報１２２２は、上記の情報項目の一部を含まなくてもよいし、上記以外の情報項目を含んでもよい。例えば、第２学習用画像情報１２２２は、第２学習用画像ｉｍＬ２を撮影した撮影装置３に関する情報や、その撮影環境に関する情報を含んでもよい。 The second learning image information 1222 is not limited to the example in FIG. 8. The second learning image information 1222 may not include some of the above information items, or may include information items other than those described above. For example, the second learning image information 1222 may include information about the imaging device 3 that captured the second learning image imL2, and information about the imaging environment.

図９は、第２学習用画像ｉｍＬ２の一例を示す図である。図９の例では、異常検出対象ｔは、じゃがいもであり、じゃがいもの異常として、芽、傷及び変色を想定している。第２学習用画像ｉｍＬ２０１は、じゃがいもの芽を撮影した異常部分画像である。第２学習用画像ｉｍＬ２０２は、じゃがいもの変色した部分を撮影した異常部分画像である。第２学習用画像ｉｍＬ２０３は、じゃがいもの傷を撮影した異常部分画像である。第２学習用画像情報１２２２には、このように複数の異常部分画像の第２学習用画像情報１２２２が含まれる。 Figure 9 is a diagram showing an example of the second learning image imL2. In the example of Figure 9, the target t for abnormality detection is a potato, and potato abnormalities are assumed to be sprouts, blemishes, and discoloration. The second learning image imL201 is an abnormal portion image of a potato sprout. The second learning image imL202 is an abnormal portion image of a discolored portion of a potato. The second learning image imL203 is an abnormal portion image of a blemish on a potato. The second learning image information 1222 thus includes second learning image information 1222 of multiple abnormal portion images.

再学習用画像情報１２３は、ＡＩモデルに再学習させる再学習用画像に関する情報である。再学習用画像情報１２３は、第１再学習用画像情報１２３１と、第２再学習用画像情報１２３２と、を含む。 The relearning image information 123 is information about relearning images to be re-learned by the AI model. The relearning image information 123 includes first relearning image information 1231 and second relearning image information 1232.

第１再学習用画像情報１２３１は、第１再学習用画像ｉｍｒＬ１に関する情報である。第１再学習用画像ｉｍｒＬ１は、異常検出モデル１２４に再学習させるための再学習用画像である。第１再学習用画像ｉｍｒＬ１は、前回の再学習処理（再学習処理がまだ１度も実行されていない場合は学習処理）の実行後に異常検出処理の対象となった対象画像ｉｍの中から選択された正常画像である。 The first relearning image information 1231 is information related to the first relearning image imrL1. The first relearning image imrL1 is a relearning image for re-learning the anomaly detection model 124. The first relearning image imrL1 is a normal image selected from the target images im that were the subject of the anomaly detection process after the previous relearning process (or the learning process if the relearning process has not yet been performed even once).

図１０は、第１再学習用画像情報１２３１の一例を示す図である。図１０の第１再学習用画像情報１２３１は、情報項目として、「第１再学習用画像ＩＤ」と、「対象画像ＩＤ」と、「撮影日時」と、「画像データ」と、を含む。 Figure 10 is a diagram showing an example of first relearning image information 1231. The first relearning image information 1231 in Figure 10 includes the following information items: "first relearning image ID", "target image ID", "capture date and time", and "image data".

「第１再学習用画像ＩＤ」は、第１再学習用画像ｉｍｒＬ１の識別情報である。以下では、「第１再学習用画像ＩＤ」が「ｉｍｒＬ１ＸＸ」である第１再学習用画像ｉｍｒＬ１を、第１再学習用画像ｉｍｒＬ１ＸＸと称する。 The "first relearning image ID" is identification information for the first relearning image imrL1. Hereinafter, the first relearning image imrL1 whose "first relearning image ID" is "imrL1XX" will be referred to as the first relearning image imrL1XX.

「対象画像ＩＤ」は、第１再学習用画像ｉｍｒＬ１に対応する対象画像ｉｍの識別情報である。図１０の例では、第１再学習用画像ｉｍｒＬ１０１と対象画像ｉｍ１０２とが対応する。これは、対象画像ｉｍ１０２が第１再学習用画像ｉｍｒＬ１として選択され、「第１再学習用画像ＩＤ」として「ｉｍｒＬ１０１」を割り当てられたことを示している。 "Target image ID" is identification information of the target image im that corresponds to the first relearning image imrL1. In the example of FIG. 10, the first relearning image imrL101 corresponds to the target image imrL102. This indicates that the target image im102 has been selected as the first relearning image imrL1, and "imrL101" has been assigned as the "first relearning image ID."

「撮影日時」は、第１再学習用画像ｉｍｒＬ１を撮影装置３が撮影した日時を示す情報である。図１０の例では、第１再学習用画像ｉｍｒＬ１０１の「撮影日時」は「２０２２／１１／２３ １３：００：０１」である。これは、第１再学習用画像ｉｍｒＬ１が２０２２／１１／２３の１３：００：０１に撮影されたことを示している。第１再学習用画像ｉｍｒＬ１の撮影日時は、対応する対象画像ｉｍの撮影日時と同じである。 The "photographing date and time" is information indicating the date and time when the first relearning image imrL1 was photographed by the photographing device 3. In the example of FIG. 10, the "photographing date and time" of the first relearning image imrL101 is "2022/11/23 13:00:01." This indicates that the first relearning image imrL1 was photographed on 2022/11/23 13:00:01. The photographing date and time of the first relearning image imrL1 is the same as the photographing date and time of the corresponding target image im.

「画像データ」は、第１再学習用画像ｉｍｒＬ１の画像データである。図１０の例では、第１再学習用画像ｉｍｒＬ１０１の「画像データ」は「ｉｍｒＬ１０１．ｐｎｇ」である。これは、第１再学習用画像ｉｍｒＬ１０１の画像データのファイル名がｉｍｒＬ１０１．ｐｎｇであることを示している。第１再学習用画像ｉｍｒＬ１の画像自体は、対応する対象画像ｉｍと同じである。 "Image data" is the image data of the first relearning image imrL1. In the example of FIG. 10, the "image data" of the first relearning image imrL101 is "imrL101.png". This indicates that the file name of the image data of the first relearning image imrL101 is imrL101.png. The image of the first relearning image imrL1 itself is the same as the corresponding target image im.

なお、第１再学習用画像情報１２３１は、図１０の例に限られない。第１再学習用画像情報１２３１は、上記の情報項目の一部を含まなくてもよいし、上記以外の情報項目を含んでもよい。例えば、第１再学習用画像情報１２３１は、第１再学習用画像ｉｍｒＬ１を撮影した撮影装置３に関する情報や、その撮影環境に関する情報を含んでもよい。 The first relearning image information 1231 is not limited to the example in FIG. 10. The first relearning image information 1231 may not include some of the above information items, or may include information items other than those described above. For example, the first relearning image information 1231 may include information about the imaging device 3 that captured the first relearning image imrL1, and information about the imaging environment.

図１１は、第１再学習用画像ｉｍｒＬ１の一例を示す図である。図１１の例では、異常検出対象ｔは、じゃがいもであり、じゃがいもの異常として、芽、傷及び変色を想定している。第１再学習用画像ｉｍｒＬ１０１～ｉｍｒＬ１０３は、正常な（異常のない）じゃがいもを撮影した正常画像である。第１再学習用画像情報１２３１には、このように複数の正常画像の第１再学習用画像情報１２３１が含まれる。 Figure 11 is a diagram showing an example of the first relearning image imrL1. In the example of Figure 11, the abnormality detection target t is a potato, and potato abnormalities are assumed to be sprouts, scratches, and discoloration. The first relearning images imrL101 to imrL103 are normal images of normal (abnormal) potatoes. The first relearning image information 1231 thus includes first relearning image information 1231 of multiple normal images.

第２再学習用画像情報１２３２は、第２再学習用画像ｉｍｒＬ２に関する情報である。第２再学習用画像ｉｍｒＬ２は、異常分類モデル１２５に再学習させるための再学習用画像である。第２再学習用画像ｉｍｒＬ２は、前回の学習処理又は再学習処理の実行後に異常検出処理の対象となった対象画像ｉｍの中から選択された異常画像から、異常の部分をクリッピングした異常部分画像である。 The second relearning image information 1232 is information related to the second relearning image imrL2. The second relearning image imrL2 is a relearning image for re-learning the anomaly classification model 125. The second relearning image imrL2 is an abnormal portion image obtained by clipping the abnormal portion from an abnormal image selected from the target images im that were the subject of the anomaly detection process after the previous learning process or the relearning process was executed.

図１２は、第２再学習用画像情報１２３２の一例を示す図である。図１２の第２再学習用画像情報１２３２は、情報項目として、「第２再学習用画像ＩＤ」と、「対象画像ＩＤ」と、「撮影日時」と、「画像データ」と、「異常種類」と、を含む。 Figure 12 is a diagram showing an example of second relearning image information 1232. The second relearning image information 1232 in Figure 12 includes the following information items: "second relearning image ID", "target image ID", "photographed date and time", "image data", and "type of abnormality".

「第２再学習用画像ＩＤ」は、第２再学習用画像ｉｍｒＬ２の識別情報である。以下では、「第２再学習用画像ＩＤ」が「ｉｍｒＬ２ＸＸ」である第２再学習用画像ｉｍｒＬ２を、第２再学習用画像ｉｍｒＬ２ＸＸと称する。 The "second relearning image ID" is identification information for the second relearning image imrL2. Hereinafter, the second relearning image imrL2 whose "second relearning image ID" is "imrL2XX" will be referred to as the second relearning image imrL2XX.

「対象画像ＩＤ」は、第２再学習用画像ｉｍｒＬ２に対応する対象画像ｉｍの識別情報である。図１２の例では、第２再学習用画像ｉｍｒＬ２０１と対象画像ｉｍ１０１とが対応する。これは、対象画像ｉｍ１０１が異常画像として選択され、その異常の部分をクリッピングした画像が第２再学習用画像ｉｍｒＬ２であり、「第２再学習用画像ＩＤ」として「ｉｍｒＬ２０１」を割り当てられたことを示している。 "Target image ID" is identification information of the target image im that corresponds to the second relearning image imrL2. In the example of FIG. 12, the second relearning image imrL201 corresponds to the target image im101. This indicates that the target image im101 was selected as an abnormal image, the image obtained by clipping the abnormal portion is the second relearning image imrL2, and "imrL201" has been assigned as the "second relearning image ID."

「撮影日時」は、第２再学習用画像ｉｍｒＬ２を撮影装置３が撮影した日時を示す情報である。図１２の例では、第２再学習用画像ｉｍｒＬ２０１の「撮影日時」は「２０２２／１１／２３ １３：００：００」である。これは、第２再学習用画像ｉｍｒＬ２が２０２２／１１／２３の１３：００：００に撮影されたことを示している。第２再学習用画像ｉｍｒＬ２の撮影日時は、対応する対象画像ｉｍの撮影日時と同じである。 The "photographing date and time" is information indicating the date and time when the second relearning image imrL2 was photographed by the photographing device 3. In the example of FIG. 12, the "photographing date and time" of the second relearning image imrL201 is "2022/11/23 13:00:00." This indicates that the second relearning image imrL2 was photographed at 2022/11/23 13:00:00. The photographing date and time of the second relearning image imrL2 is the same as the photographing date and time of the corresponding target image im.

「画像データ」は、第２再学習用画像ｉｍｒＬ２の画像データである。図１２の例では、第２再学習用画像ｉｍｒＬ２０１の「画像データ」は「ｉｍｒＬ２０１．ｐｎｇ」である。これは、第２再学習用画像ｉｍｒＬ２０１の画像データのファイル名がｉｍｒＬ２０１．ｐｎｇであることを示している。第２再学習用画像ｉｍｒＬ２の画像自体は、対応する対象画像ｉｍの異常部分と同じである。 "Image data" is the image data of the second relearning image imrL2. In the example of FIG. 12, the "image data" of the second relearning image imrL201 is "imrL201.png". This indicates that the file name of the image data of the second relearning image imrL201 is imrL201.png. The image of the second relearning image imrL2 itself is the same as the abnormal part of the corresponding target image im.

「異常種類」は、第２再学習用画像ｉｍｒＬ２に含まれる異常の種類を示す情報である。図１２の例では、第２再学習用画像ｉｍｒＬ２０１の「異常種類」は「変色」である。これは、第２再学習用画像ｉｍｒＬ２０１が、じゃがいもの変色した部分を撮影した画像であることを示している。 "Anomaly type" is information indicating the type of anomaly contained in the second relearning image imrL2. In the example of FIG. 12, the "anomaly type" of the second relearning image imrL201 is "discoloration." This indicates that the second relearning image imrL201 is an image of a discolored part of a potato.

なお、第２再学習用画像情報１２３２は、図１２の例に限られない。第２再学習用画像情報１２３２は、上記の情報項目の一部を含まなくてもよいし、上記以外の情報項目を含んでもよい。例えば、第２再学習用画像情報１２３２は、第２再学習用画像ｉｍｒＬ２を撮影した撮影装置３に関する情報や、その撮影環境に関する情報を含んでもよい。 Note that the second relearning image information 1232 is not limited to the example in FIG. 12. The second relearning image information 1232 may not include some of the above information items, or may include information items other than those described above. For example, the second relearning image information 1232 may include information about the imaging device 3 that captured the second relearning image imrL2, and information about the imaging environment.

図１３は、第２再学習用画像ｉｍｒＬ２の一例を示す図である。図１３の例では、異常検出対象ｔは、じゃがいもであり、じゃがいもの異常として、芽、傷及び変色を想定している。第２再学習用画像ｉｍｒＬ２０１は、じゃがいもの変色した部分を撮影した異常部分画像である。第２再学習用画像ｉｍｒＬ２０２は、じゃがいもの芽の部分を撮影した異常部分画像である。第２再学習用画像ｉｍｒＬ２０３は、じゃがいもの傷を撮影した異常部分画像である。第２再学習用画像情報１２３２には、このように複数の異常部分画像の第２再学習用画像情報１２３２が含まれる。 Figure 13 is a diagram showing an example of the second relearning image imrL2. In the example of Figure 13, the abnormality detection target t is a potato, and potato abnormalities are assumed to be sprouts, blemishes, and discoloration. The second relearning image imrL201 is an abnormal portion image obtained by photographing a discolored portion of a potato. The second relearning image imrL202 is an abnormal portion image obtained by photographing a potato sprout. The second relearning image imrL203 is an abnormal portion image obtained by photographing a blemish on a potato. The second relearning image information 1232 thus includes second relearning image information 1232 of multiple abnormal portion images.

異常検出モデル１２４は、正常画像を学習することにより、対象画像ｉｍから異常検出対象ｔの異常を検出するように学習されたＡＩモデルである。異常検出モデル１２４は、対象画像ｉｍを入力されると、対象画像ｉｍに含まれる異常の有無を出力する。異常検出モデル１２４は、例えば、パッチコア（ＰａｔｃｈＣｏｒｅ）であるが、これに限られない。パッチコアについて、詳しくは後述する。異常検出モデル１２４として、正常画像を学習することにより異常を検出可能となる任意のＡＩモデルを利用できる。 The anomaly detection model 124 is an AI model trained to detect anomalies in the anomaly detection target t from the target image im by learning normal images. When the target image im is input, the anomaly detection model 124 outputs the presence or absence of anomalies contained in the target image im. The anomaly detection model 124 is, for example, a PatchCore, but is not limited to this. PatchCore will be described in detail later. Any AI model that can detect anomalies by learning normal images can be used as the anomaly detection model 124.

異常分類モデル１２５は、異常部分画像を学習することにより、異常部分画像から異常の種類を分類できるように学習されたＡＩモデルである。異常分類モデル１２５は、異常部分画像を入力されると、異常部分画像に含まれる異常の種類を出力する。異常分類モデル１２５は、例えば、ＣＮＮ（Convolutional Neural Network）であるが、これに限られない。異常分類モデル１２５として、異常部分画像を学習することにより異常の種類を分類可能となる任意のＡＩモデルを利用できる。 The anomaly classification model 125 is an AI model that is trained to be able to classify the type of anomaly from an image of an abnormal part by learning from the image of the abnormal part. When an image of an abnormal part is input, the anomaly classification model 125 outputs the type of anomaly contained in the image of the abnormal part. The anomaly classification model 125 is, for example, a CNN (Convolutional Neural Network), but is not limited to this. Any AI model that can classify the type of anomaly by learning from an image of an abnormal part can be used as the anomaly classification model 125.

検出結果情報１２６は、対象画像ｉｍに対する異常の検出処理及び分類処理の結果を示す情報である。 The detection result information 126 is information that indicates the results of the abnormality detection process and classification process for the target image im.

図１４は、検出結果情報１２６の一例を示す図である。図１４の検出結果情報１２６は、情報項目として、「対象画像ＩＤ」と、「撮影日時」と、「画像データ」と、「異常」と、「異常種類」と、を含む。 Figure 14 is a diagram showing an example of detection result information 126. The detection result information 126 in Figure 14 includes the following information items: "target image ID", "photographed date and time", "image data", "abnormality", and "abnormality type".

「対象画像ＩＤ」は、異常の検出対象となった対象画像ｉｍの識別情報である。 "Target image ID" is the identification information of the target image im in which an abnormality was detected.

「撮影日時」は、対象画像ｉｍを撮影装置３が撮影した日時を示す情報である。図１４の例では、対象画像ｉｍ１０１の「撮影日時」は「２０２２／１１／２３ １３：００：００」である。これは、対象画像ｉｍ１０１が２０２２／１１／２３の１３：００：００に撮影されたことを示している。 The "photographing date and time" is information indicating the date and time when the target image im was photographed by the photographing device 3. In the example of FIG. 14, the "photographing date and time" of the target image im101 is "2022/11/23 13:00:00." This indicates that the target image im101 was photographed at 13:00:00 on 2022/11/23.

「画像データ」は、対象画像ｉｍの画像データである。図１４の例では、対象画像ｉｍ１０１の「画像データ」は「ｉｍ１０１．ｐｎｇ」である。これは、対象画像ｉｍ１０１の画像データのファイル名がｉｍ１０１．ｐｎｇであることを示している。 "Image data" is the image data of the target image im. In the example of FIG. 14, the "image data" of the target image im101 is "im101.png". This indicates that the file name of the image data of the target image im101 is im101.png.

「異常」は、対象画像ｉｍに含まれる異常の有無を示す情報である。図１４の例では、対象画像ｉｍ１０１の「異常」は「有」である。これは、対象画像ｉｍ１０１が異常を有する異常検出対象ｔを撮影した画像であることを示している。 "Abnormality" is information indicating whether or not there is an abnormality contained in the target image im. In the example of FIG. 14, the "abnormality" of the target image im101 is "present." This indicates that the target image im101 is an image of an abnormality detection target t that has an abnormality.

「異常種類」は、対象画像ｉｍに含まれる異常の種類を示す情報である。図１４の例では、対象画像ｉｍ１０１の「異常種類」は「変色」である。これは、対象画像ｉｍ１０１が、変色した部分を有する異常検出対象ｔを撮影した画像であることを示している。 "Anomaly type" is information indicating the type of anomaly contained in the target image im. In the example of FIG. 14, the "anomaly type" of the target image im101 is "discoloration." This indicates that the target image im101 is an image of an anomaly detection target t that has a discolored part.

なお、検出結果情報１２６は、図１４の例に限られない。検出結果情報１２６は、上記の情報項目の一部を含まなくてもよいし、上記以外の情報項目を含んでもよい。例えば、検出結果情報１２６は、対象画像ｉｍを撮影した撮影装置３に関する情報や、その撮影環境に関する情報を含んでもよい。また、図１４の例では、検出結果情報１２６は、対象画像情報１２１を含むが、対象画像情報１２１と検出結果情報１２６とは別個に保存されてもよい。 The detection result information 126 is not limited to the example in FIG. 14. The detection result information 126 may not include some of the above information items, or may include information items other than those described above. For example, the detection result information 126 may include information about the imaging device 3 that captured the target image im, and information about the imaging environment. In the example in FIG. 14, the detection result information 126 includes the target image information 121, but the target image information 121 and the detection result information 126 may be stored separately.

制御部１３は、プロセッサ１０１がメモリ１０２からプログラムを読み出して実行し、他のハードウェア構成と協働することにより実現される。制御部１３は、異常検出装置１の動作全体を制御する。制御部１３は、取得部１３１と、学習部１３２と、検出部１３３と、分類部１３４と、選択部１３５と、再学習部１３６と、を備える。 The control unit 13 is realized by the processor 101 reading and executing a program from the memory 102 and working in cooperation with other hardware configurations. The control unit 13 controls the overall operation of the anomaly detection device 1. The control unit 13 includes an acquisition unit 131, a learning unit 132, a detection unit 133, a classification unit 134, a selection unit 135, and a relearning unit 136.

取得部１３１は、ユーザ端末２から対象画像ｉｍを取得し、対象画像情報１２１として記憶部１２に保存する。 The acquisition unit 131 acquires the target image im from the user terminal 2 and stores it in the storage unit 12 as target image information 121.

学習部１３２は、学習用画像をＡＩモデルに学習させる。具体的には、学習部１３２は、第１学習用画像ｉｍＬ１を異常検出モデル１２４に学習させる。また、学習部１３２は、第２学習用画像ｉｍＬ２を異常分類モデル１２５に学習させる。 The learning unit 132 trains the AI model on the training images. Specifically, the learning unit 132 trains the first training image imL1 in the anomaly detection model 124. The learning unit 132 also trains the second training image imL2 in the anomaly classification model 125.

検出部１３３は、異常検出モデル１２４を利用して、対象画像ｉｍに含まれる異常を検出する。具体的には、検出部１３３は、異常検出モデル１２４に対象画像ｉｍを入力し、異常検出モデル１２４が出力した異常の有無を、検出結果として取得し、検出結果情報１２６として記憶部１２に保存する。 The detection unit 133 detects anomalies contained in the target image im using the anomaly detection model 124. Specifically, the detection unit 133 inputs the target image im to the anomaly detection model 124, obtains the presence or absence of anomalies output by the anomaly detection model 124 as a detection result, and stores the result in the storage unit 12 as detection result information 126.

分類部１３４は、検出部１３３により対象画像ｉｍに異常が検出された場合、異常分類モデル１２５を利用して、対象画像ｉｍに含まれる異常の種類を分類する。具体的には、分類部１３４は、異常が検出された対象画像ｉｍから異常の部分をクリッピングして異常部分画像を生成し、異常分類モデル１２５に異常部分画像を入力し、異常分類モデル１２５が出力した異常の種類を、分類結果として取得し、検出結果情報１２６として記憶部１２に保存する。 When the detection unit 133 detects an abnormality in the target image im, the classification unit 134 classifies the type of abnormality contained in the target image im using the anomaly classification model 125. Specifically, the classification unit 134 generates an image of the abnormal part by clipping the abnormal part from the target image im in which the abnormality is detected, inputs the image of the abnormal part to the anomaly classification model 125, obtains the type of abnormality output by the anomaly classification model 125 as a classification result, and stores it in the storage unit 12 as detection result information 126.

選択部１３５は、対象画像ｉｍの中から、第１学習用画像ｉｍＬ１と、第２学習用画像ｉｍＬ２と、第１再学習用画像ｉｍｒＬ１と、第２再学習用画像ｉｍｒＬ２と、を選択する。選択部１３５は、記憶部１２に保存された対象画像ｉｍの中から自動的に第１学習用画像ｉｍＬ１を選択してもよいし、記憶部１２に保存された対象画像ｉｍをユーザに提示し、ユーザにより選択された対象画像ｉｍを第１学習用画像ｉｍＬ１として選択してもよい。第２学習用画像ｉｍＬ２、第１再学習用画像ｉｍｒＬ１及び第２再学習用画像ｉｍｒＬ２についても同様である。 The selection unit 135 selects the first learning image imL1, the second learning image imL2, the first relearning image imrL1, and the second relearning image imrL2 from the target images im. The selection unit 135 may automatically select the first learning image imL1 from the target images im stored in the storage unit 12, or may present the target images im stored in the storage unit 12 to the user and select the target image im selected by the user as the first learning image imL1. The same applies to the second learning image imL2, the first relearning image imrL1, and the second relearning image imrL2.

再学習部１３６は、再学習用画像をＡＩモデルに再学習させる。具体的には、再学習部１３６は、第１再学習用画像ｉｍｒＬ１を異常検出モデル１２４に再学習させる。また、再学習部１３６は、第２再学習用画像ｉｍｒＬ２を異常分類モデル１２５に再学習させる。 The relearning unit 136 causes the AI model to relearn the relearning image. Specifically, the relearning unit 136 causes the anomaly detection model 124 to relearn the first relearning image imrL1. The relearning unit 136 also causes the anomaly classification model 125 to relearn the second relearning image imrL2.

なお、異常検出装置１の機能構成は、上記の例に限られない。例えば、異常検出装置１は、上記の機能構成の一部を備え、残りをユーザ端末２が備えてもよい。また、異常検出装置１は、上記以外の機能構成を備えてもよい。また、異常検出装置１の各機能構成は、上記の通り、ソフトウェアにより実現されてもよいし、ＩＣチップ、ＳｏＣ（System on Chip）、ＬＳＩ（Large Scale Integration）、マイクロコンピュータ等のハードウェアによって実現されてもよい。 The functional configuration of the anomaly detection device 1 is not limited to the above example. For example, the anomaly detection device 1 may have part of the functional configuration described above, with the user terminal 2 having the rest. The anomaly detection device 1 may also have functional configurations other than those described above. Each functional configuration of the anomaly detection device 1 may be realized by software, as described above, or by hardware such as an IC chip, a SoC (System on Chip), an LSI (Large Scale Integration), or a microcomputer.

＜異常検出システム１０００が実行する学習処理＞
次に、異常検出システム１０００が実行する学習処理について説明する。図１５は、学習処理の一例を示すフローチャートである。以下では、異常検出システム１０００がベルトコンベアで搬送されるじゃがいも（異常検出対象ｔ）の異常を検出する場合を例に説明する。じゃがいもの異常は、芽、傷及び変色の３種類であるものとするが、異常はこれに限られない。 <Learning process executed by anomaly detection system 1000>
Next, a learning process executed by the anomaly detection system 1000 will be described. Fig. 15 is a flowchart showing an example of the learning process. In the following, a case where the anomaly detection system 1000 detects anomalies in potatoes (anomaly detection target t) transported on a belt conveyor will be described as an example. Potato anomalies are assumed to be of three types: sprouts, scratches, and discoloration, but the anomalies are not limited to these.

（ステップＳ１０１）
まず、ユーザ端末２が、撮影装置３が予め撮影した複数の対象画像ｉｍを取得する（ステップＳ１０１）。対象画像ｉｍは、ベルトコンベアで搬送されるじゃがいもを撮影装置３で撮影した画像である。ここで取得する対象画像ｉｍは、正常画像及び異常画像を含む。 (Step S101)
First, the user terminal 2 acquires a plurality of target images im captured in advance by the photographing device 3 (step S101). The target images im are images of potatoes being transported on a conveyer belt captured by the photographing device 3. The target images im acquired here include normal images and abnormal images.

（ステップＳ１０２）
次に、ユーザ端末２は、ユーザからの操作に応じて、対象画像ｉｍを選択画面に一覧表示する（ステップＳ１０２）。この選択画面は、対象画像ｉｍの中から、第１学習用画像ｉｍＬ１及び第２学習用画像ｉｍＬ２を選択するための画面である。ユーザは、選択画面に表示された対象画像ｉｍを参照して、これらの中から第１学習用画像ｉｍＬ１及び第２学習用画像ｉｍＬ２を選択する。 (Step S102)
Next, the user terminal 2 displays a list of the target images imL on a selection screen in response to an operation by the user (step S102). This selection screen is a screen for selecting the first learning image imL1 and the second learning image imL2 from among the target images imL. The user refers to the target images imL displayed on the selection screen and selects the first learning image imL1 and the second learning image imL2 from among them.

図１６は、選択画面の一例を示す図である。図１６の選択画面は、対象画像領域Ａ１と、操作領域Ａ２と、を有する。 Figure 16 is a diagram showing an example of a selection screen. The selection screen in Figure 16 has a target image area A1 and an operation area A2.

対象画像領域Ａ１は、対象画像ｉｍを一覧表示する領域である。図１６の例では、対象画像ｉｍ００１～ｉｍ００６が表示されている。対象画像ｉｍ００１，ｉｍ００４，ｉｍ００５は正常画像であり、対象画像ｉｍ００２，ｉｍ００３，ｉｍ００６は異常画像である。 The target image area A1 is an area that displays a list of target images im. In the example of FIG. 16, target images im001 to im006 are displayed. Target images im001, im004, and im005 are normal images, and target images im002, im003, and im006 are abnormal images.

操作領域Ａ２は、選択画面の操作ボタンを表示する領域である。図１６の例では、正常ボタンＢ１と、異常ボタンＢ２～Ｂ４と、送信ボタンＢ５と、が表示されている。 The operation area A2 is an area that displays the operation buttons of the selection screen. In the example of FIG. 16, a normal button B1, abnormal buttons B2 to B4, and a send button B5 are displayed.

正常ボタンＢ１は、正常画像を選択するためのボタンである。異常ボタンＢ２は、芽があるじゃがいもの対象画像ｉｍ（異常画像）を選択するためのボタンである。異常ボタンＢ３は、傷があるじゃがいもの対象画像ｉｍ（異常画像）を選択するためのボタンである。異常ボタンＢ４は、変色があるじゃがいもの対象画像ｉｍ（異常画像）を選択するためのボタンである。送信ボタンＢ５は、選択した対象画像ｉｍを異常検出装置１に送信するためのボタンである。 The normal button B1 is a button for selecting a normal image. The abnormal button B2 is a button for selecting a target image im (abnormal image) of a potato with a sprout. The abnormal button B3 is a button for selecting a target image im (abnormal image) of a potato with a blemish. The abnormal button B4 is a button for selecting a target image im (abnormal image) of a potato with discoloration. The send button B5 is a button for sending the selected target image im to the abnormality detection device 1.

ユーザは、これらのボタンを操作して対象画像ｉｍをアノテーションし、第１学習用画像ｉｍＬ１及び第２学習用画像ｉｍＬ２を選択し、異常検出モデル１２４及び異常分類モデル１２５にそれぞれ学習させる。 The user operates these buttons to annotate the target image im, select the first learning image imL1 and the second learning image imL2, and train the anomaly detection model 124 and the anomaly classification model 125, respectively.

（ステップＳ１０３）
選択画面が表示されると、ユーザは、ユーザ端末２を操作して、対象画像領域Ａ１に表示された対象画像ｉｍの中から正常画像を第１学習用画像ｉｍＬ１として選択する（ステップＳ１０３）。 (Step S103)
When the selection screen is displayed, the user operates the user terminal 2 to select a normal image as the first learning image imL1 from among the target images im displayed in the target image area A1 (step S103).

図１７は、選択画面の一例を示す図である。図１７の例では、正常ボタンＢ１が選択された状態で、対象画像ｉｍ００１，ｉｍ００４，ｉｍ００５が選択されている。これは、ユーザが、対象画像ｉｍ００１，ｉｍ００４，ｉｍ００５を正常画像と判断し、第１学習用画像ｉｍＬ１として選択したことを示している。この状態でユーザが送信ボタンＢ５を選択すると、ユーザ端末２は、対象画像ｉｍ００１，ｉｍ００４，ｉｍ００５を第１学習用画像ｉｍＬ１として異常検出装置１に送信する。 Figure 17 is a diagram showing an example of a selection screen. In the example of Figure 17, the normal button B1 is selected, and the target images im001, im004, and im005 are selected. This indicates that the user has determined that the target images im001, im004, and im005 are normal images, and selected them as the first learning image imL1. When the user selects the send button B5 in this state, the user terminal 2 sends the target images im001, im004, and im005 to the anomaly detection device 1 as the first learning image imL1.

（ステップＳ１０４）
異常検出装置１の取得部１３１は、ユーザ端末２が送信した第１学習用画像ｉｍＬ１を取得すると（ステップＳ１０４）、取得した第１学習用画像ｉｍＬ１に撮影日時などの情報を対応づけて、学習用画像情報１２２として記憶部１２に保存する（図６参照）。 (Step S104)
When the acquisition unit 131 of the anomaly detection device 1 acquires the first learning image imL1 sent by the user terminal 2 (step S104), it associates information such as the shooting date and time with the acquired first learning image imL1 and stores it in the memory unit 12 as learning image information 122 (see Figure 6).

（ステップＳ１０５）
その後、学習部１３２は、記憶部１２に保存された第１学習用画像ｉｍＬ１を異常検出モデル１２４に学習させる（ステップＳ１０５）。 (Step S105)
After that, the learning unit 132 causes the anomaly detection model 124 to learn the first learning image imL1 stored in the storage unit 12 (step S105).

ここで、パッチコアについて説明する。パッチコアは、画像データセット（例えば、ＩｍａｇｅＮｅｔ）を学習済みの画像認識モデル（例えば、ＲｅｓＮｅｔ）に正常画像を入力し、得られた中間層の局所的な特徴量（以下「パッチ特徴量」という。）をメモリバンクに保存し、メモリバンクに保存されたパッチ特徴量と、画像認識モデルに対象画像を入力して得られたパッチ特徴量と、の距離に基づいて、対象画像の異常を検出するものである。パッチ特徴量は、画像における位置情報を保持しているため、対象画像のエリアごとに異常の検出が行われる。すなわち、パッチコアでは、対象画像のエリアごとにパッチ特徴量間の距離が算出され、距離が閾値以上であるエリアが、異常のあるエリアとして検出される。パッチ特徴量間の距離は、エリアの異常度に相当し、対象画像上に異常度のヒートマップを表示することができる。 Here, we will explain patch core. Patch core inputs a normal image to an image recognition model (e.g., ResNet) that has been trained on an image dataset (e.g., ImageNet), stores the obtained local features of the intermediate layer (hereinafter referred to as "patch features") in a memory bank, and detects abnormalities in the target image based on the distance between the patch features stored in the memory bank and the patch features obtained by inputting the target image to the image recognition model. Since the patch features hold position information in the image, abnormalities are detected for each area of the target image. In other words, in patch core, the distance between patch features is calculated for each area of the target image, and areas where the distance is equal to or greater than a threshold are detected as areas with abnormalities. The distance between patch features corresponds to the degree of abnormality of the area, and a heat map of the degree of abnormality can be displayed on the target image.

異常検出モデル１２４がパッチコアである場合、まず、学習済みの画像認識モデルを用意する。既存の学習済みの画像認識モデルを用意してもよいし、既存の画像認識モデルに画像データセットを学習させてもよい。次に、複数の第１学習用画像ｉｍＬ１を画像認識モデルに入力し、各第１学習用画像ｉｍＬ１のパッチ特徴量を取得し、メモリバンクに保存する。以上の工程がパッチコアの学習処理に相当し、画像認識モデル及びメモリバンクがパッチコアのＡＩモデル（異常検出モデル１２４）に相当する。 When the anomaly detection model 124 is a patch core, first, a trained image recognition model is prepared. An existing trained image recognition model may be prepared, or an existing image recognition model may be trained with an image dataset. Next, multiple first training images imL1 are input to the image recognition model, and patch features of each first training image imL1 are obtained and stored in a memory bank. The above process corresponds to the learning process of the patch core, and the image recognition model and memory bank correspond to the AI model (anomaly detection model 124) of the patch core.

学習部１３２は、こうして得られた学習済みの異常検出モデル１２４を、記憶部１２に保存する。 The learning unit 132 stores the trained anomaly detection model 124 thus obtained in the memory unit 12.

（ステップＳ１０６）
次に、ユーザは、ユーザ端末２を操作して、対象画像領域Ａ１に表示された対象画像ｉｍの中から異常画像を異常種類ごとに選択する（ステップＳ１０６）。 (Step S106)
Next, the user operates the user terminal 2 to select abnormal images for each abnormality type from among the target images im displayed in the target image area A1 (step S106).

（ステップＳ１０７）
そして、ユーザは、選択した異常画像の中の、異常を含む少なくとも一部を、第２学習用画像ｉｍＬ２としてクロッピングする（ステップＳ１０７）。 (Step S107)
Then, the user crops at least a portion of the selected abnormal image that includes the abnormality as a second learning image imL2 (step S107).

図１８は、選択画面の一例を示す図である。図１８の例では、異常ボタンＢ２が選択された状態で、対象画像ｉｍ００２が選択され、対象画像ｉｍ００２におけるじゃがいもの芽の部分がクロッピングされている。これは、ユーザが、対象画像ｉｍ００２をじゃがいもに芽がある異常画像と判断し、対象画像ｉｍ００２の芽の部分の画像を、異常種類「芽」の第２学習用画像ｉｍＬ２（異常部分画像）として選択したことを示している。この状態でユーザが送信ボタンＢ５を選択すると、ユーザ端末２は、対象画像ｉｍ００２のクロッピングされた芽の部分の画像を、第２学習用画像ｉｍＬ２として異常検出装置１に送信する。 Figure 18 is a diagram showing an example of a selection screen. In the example of Figure 18, with the abnormal button B2 selected, the target image im002 is selected, and the potato sprout portion in the target image im002 is cropped. This indicates that the user has determined that the target image im002 is an abnormal image in which a potato has a sprout, and has selected the image of the sprout portion of the target image im002 as the second learning image imL2 (abnormal portion image) of the abnormality type "sprout". When the user selects the send button B5 in this state, the user terminal 2 sends the image of the cropped sprout portion of the target image imL2 to the anomaly detection device 1 as the second learning image imL2.

（ステップＳ１０８）
異常検出装置１の取得部１３１は、ユーザ端末２が送信した第２学習用画像ｉｍＬ２を取得すると（ステップＳ１０８）、取得した第２学習用画像ｉｍＬ２に撮影日時や異常種類などの情報を対応づけて、学習用画像情報１２２として記憶部１２に保存する（図８参照）。 (Step S108)
When the acquisition unit 131 of the anomaly detection device 1 acquires the second learning image imL2 sent by the user terminal 2 (step S108), it associates information such as the shooting date and time and the type of anomaly with the acquired second learning image imL2 and stores it in the memory unit 12 as learning image information 122 (see Figure 8).

（ステップＳ１０９）
その後、学習部１３２は、記憶部１２に保存された第２学習用画像ｉｍＬ２（異常部分画像）を異常分類モデル１２５に学習させる（ステップＳ１０９）。具体的には、第２学習用画像ｉｍＬ２の第２学習用画像情報１２２２を利用して、第２学習用画像ｉｍＬ２を入力すると、その異常種類を出力するように、異常分類モデル１２５に教示有り学習させる。異常の種類が芽、傷及び変色の３種類である場合、異常分類モデル１２５は、３種類のいずれかを出力する。異常分類モデル１２５が分類する異常種類の数は、任意に設定可能である。 (Step S109)
Thereafter, the learning unit 132 causes the anomaly classification model 125 to learn the second learning image imL2 (image of an abnormal part) stored in the storage unit 12 (step S109). Specifically, by utilizing the second learning image information 1222 of the second learning image imL2, the anomaly classification model 125 is taught to learn so as to output the type of anomaly when the second learning image imL2 is input. When there are three types of anomalies, namely, buds, scratches, and discolorations, the anomaly classification model 125 outputs one of the three types. The number of types of anomalies classified by the anomaly classification model 125 can be set arbitrarily.

＜異常検出システム１０００が実行する検出処理＞
次に、異常検出システム１０００が実行する検出処理について説明する。図１９は、検出処理の一例を示すフローチャートである。以下では、異常検出システム１０００がベルトコンベアで搬送されるじゃがいも（異常検出対象ｔ）の異常を検出する場合を例に説明する。じゃがいもの異常は、芽、傷及び変色の３種類であるものとするが、異常はこれに限られない。また、記憶部１２には、学習用画像を学習済みの異常検出モデル１２４及び異常分類モデル１２５が保存されているものとする。また、異常検出モデル１２４は、パッチコアであるものとする。 <Detection process executed by anomaly detection system 1000>
Next, the detection process executed by the anomaly detection system 1000 will be described. FIG. 19 is a flowchart showing an example of the detection process. In the following, an example will be described in which the anomaly detection system 1000 detects anomalies in potatoes (anomaly detection target t) transported on a belt conveyor. Potato anomalies are assumed to be of three types: sprouts, scratches, and discoloration, but the anomalies are not limited to these. Also, it is assumed that the storage unit 12 stores an anomaly detection model 124 and an anomaly classification model 125 that have already learned learning images. Also, it is assumed that the anomaly detection model 124 is a patch core.

（ステップＳ２０１）
まず、ユーザ端末２が、撮影装置３から対象画像ｉｍを取得し（ステップＳ２０１）、異常検出装置１に送信する。対象画像ｉｍは、ベルトコンベアで搬送されるじゃがいもを撮影装置３でリアルタイムに撮影した画像である。ここで取得する対象画像ｉｍは、正常画像及び異常画像を含む。撮影装置３が１秒ごとに対象画像ｉｍを撮影する場合、ユーザ端末２は新たに撮影された対象画像ｉｍを１秒ごとに取得し、異常検出装置１に送信する。なお、対象画像ｉｍの撮影間隔は任意に設定可能である。 (Step S201)
First, the user terminal 2 acquires a target image im from the photographing device 3 (step S201) and transmits it to the abnormality detection device 1. The target image im is an image of potatoes transported on a conveyer belt photographed in real time by the photographing device 3. The target images im acquired here include normal images and abnormal images. When the photographing device 3 photographs a target image im every second, the user terminal 2 acquires a newly photographed target image im every second and transmits it to the abnormality detection device 1. The photographing interval of the target image im can be set arbitrarily.

（ステップＳ２０２）
異常検出装置１の取得部１３１は、ユーザ端末２が送信した対象画像ｉｍを取得すると（ステップＳ２０２）、取得した対象画像ｉｍに撮影日時などの情報を対応づけて、検出結果情報１２６として記憶部１２に保存する（図１４参照）。なお、この時点では、「異常」及び「異常種類」の項目は空欄となる。 (Step S202)
When the acquisition unit 131 of the anomaly detection device 1 acquires the target image im transmitted by the user terminal 2 (step S202), it associates information such as the shooting date and time with the acquired target image im, and stores the result as detection result information 126 in the storage unit 12 (see FIG. 14). At this point, the "Abnormality" and "Type of Abnormality" fields are left blank.

（ステップＳ２０３）
新たな対象画像ｉｍが保存されると、検出部１３３は、異常検出モデル１２４を利用して、この対象画像ｉｍから異常を検出する（ステップＳ２０３）。具体的には、検出部１３３は、パッチコアの画像認識モデルに対象画像ｉｍを入力し、この対象画像ｉｍのパッチ特徴量を取得する。次に、検出部１３３は、対象画像ｉｍのパッチ特徴量と、メモリバンクに保存されたパッチ特徴量と、の距離を、対象画像ｉｍのエリアごとに算出する。そして、検出部１３３は、パッチ特徴量間の距離が予め設定された閾値以上のエリアが存在する場合、対象画像ｉｍに異常があると判定する。すなわち、対象画像ｉｍの異常が検出される。距離が閾値以上のエリアが、対象画像ｉｍにおける異常の部分に相当する。 (Step S203)
When a new target image im is saved, the detection unit 133 detects an abnormality from this target image im using the anomaly detection model 124 (step S203). Specifically, the detection unit 133 inputs the target image im into an image recognition model of the patch core, and acquires the patch feature of this target image im. Next, the detection unit 133 calculates the distance between the patch feature of the target image im and the patch feature saved in the memory bank for each area of the target image im. Then, when there is an area where the distance between the patch features is equal to or greater than a preset threshold, the detection unit 133 determines that the target image im has an abnormality. That is, an abnormality in the target image im is detected. The area where the distance is equal to or greater than the threshold corresponds to an abnormal part in the target image im.

（ステップＳ２０４）
対象画像ｉｍに異常が検出されなかった場合（ステップＳ２０４：ＮＯ）、処理はステップＳ２０６に進む。対象画像ｉｍに異常が検出された場合（ステップＳ２０４：ＹＥＳ）、処理はステップＳ２０５に進む。 (Step S204)
If no abnormality is detected in the target image im (step S204: NO), the process proceeds to step S206. If an abnormality is detected in the target image im (step S204: YES), the process proceeds to step S205.

（ステップＳ２０５）
分類部１３４は、異常分類モデル１２５を利用して、異常が検出された対象画像ｉｍに含まれる異常の種類を分類する（ステップＳ２０５）。まず、分類部１３４は、異常が検出された対象画像ｉｍの中から異常部分画像をクロッピングする。分類部１３４は、例えば、ステップＳ２０３で異常と判定されたエリアを覆う矩形の領域を、異常部分画像としてクロッピングすればよい。 (Step S205)
The classification unit 134 classifies the type of abnormality contained in the target image im in which the abnormality is detected, using the anomaly classification model 125 (step S205). First, the classification unit 134 crops an abnormal portion image from the target image im in which the abnormality is detected. For example, the classification unit 134 may crop a rectangular region covering the area determined to be abnormal in step S203 as the abnormal portion image.

図２０は、異常部分画像のクロッピング方法の一例を示す図である。図２０の左図は異常として芽を含む対象画像ｉｍ、中図はステップＳ２０３で算出された距離（異常度）をヒートマップとして可視化した図、右図は異常部分画像を示す図である。 Figure 20 shows an example of a cropping method for an image of an abnormal part. The left diagram in Figure 20 shows a target image im that contains a bud as an abnormality, the middle diagram shows a visualization of the distance (degree of abnormality) calculated in step S203 as a heat map, and the right diagram shows an image of the abnormal part.

図２０に示すように、芽を含む対象画像ｉｍに対して異常検出処理が実行されると、芽を含む部分の距離（異常度）が高くなり、対象画像ｉｍから異常が検出される。中図では、芽を含む部分の色が濃く表示されている。分類部１３４は、異常として検出された部分、すなわち、中図の色が濃く表示された部分を含む矩形の領域を、異常部分画像としてクロッピングする（左図）。これにより、分類部１３４は、異常が検出された対象画像ｉｍから自動的に異常部分画像をクロッピングすることができる。なお、中図では、芽以外の部分の色も濃くなっているが、これらの距離（異常度）は閾値以下であり、異常としては検出されていない。 As shown in FIG. 20, when an anomaly detection process is performed on a target image im that includes a sprout, the distance (degree of anomaly) of the part that includes the sprout increases, and an anomaly is detected in the target image im. In the middle diagram, the part that includes the sprout is displayed in a dark color. The classification unit 134 crops the rectangular area that includes the part detected as an anomaly, i.e., the part displayed in a dark color in the middle diagram, as an abnormal part image (left diagram). This allows the classification unit 134 to automatically crop the abnormal part image from the target image im in which an anomaly was detected. Note that in the middle diagram, the parts other than the sprout are also displayed in a dark color, but the distance (degree of anomaly) of these is below the threshold and is not detected as an anomaly.

分類部１３４は、こうして得られた異常部分画像を異常分類モデル１２５に入力し、異常分類モデル１２５が出力した異常種類を対象画像ｉｍの異常の種類として取得する。これにより、対象画像ｉｍの異常が分類される。図２０の例では、異常種類は芽に分類される。分類部１３４は、 The classification unit 134 inputs the abnormal part image thus obtained to the anomaly classification model 125, and obtains the anomaly type output by the anomaly classification model 125 as the type of anomaly in the target image im. In this way, the anomaly in the target image im is classified. In the example of FIG. 20, the anomaly type is classified as a bud. The classification unit 134

（ステップＳ２０６）
その後、検出部１３３及び分類部１３４は、異常の検出結果及び分類結果を検出結果情報１２６として記憶部１２に保存する（ステップＳ２０６）。これにより、図１４のような検出結果情報１２６が生成される。 (Step S206)
Thereafter, the detection unit 133 and the classification unit 134 store the abnormality detection result and classification result in the storage unit 12 as the detection result information 126 (step S206). As a result, the detection result information 126 as shown in FIG.

（ステップＳ２０７）
次に、再学習部１３６は、異常検出モデル１２４及び異常分類モデル１２５の再学習タイミングが到来したか判定する（ステップＳ２０７）。再学習タイミングは、異常検出モデル１２４及び異常分類モデル１２５の再学習処理を実行するタイミングである。ここでは、異常検出モデル１２４及び異常分類モデル１２５の再学習タイミングが同じである場合を想定しているが、異なってもよい。再学習タイミングは、例えば、所定時間（例えば１時間、１日、１週間）ごとであってもよいし、対象画像ｉｍに対する異常検出処理を所定回数実行するごとであってもよいし、ユーザにより指定されたタイミングでもよいし、異常な対象画像ｉｍの割合又は各異常種類の割合が変化したタイミングであってもよい。割合が変化したタイミングは、例えば、過去の複数の期間でそれぞれ算出された複数の割合に基づいて設定された割合の範囲（以下「標準範囲」という。）を逸脱したタイミングである。例えば、過去の異常な対象画像ｉｍの割合に基づいて、異常な対象画像ｉｍの割合の標準範囲が１０％～２０％に設定された場合、ある期間の異常な対象画像ｉｍの割合が１０％未満又は２０％を超えると、再学習タイミングとなる。なお、標準範囲の設定方法は任意である。 (Step S207)
Next, the re-learning unit 136 determines whether the timing for re-learning the anomaly detection model 124 and the anomaly classification model 125 has arrived (step S207). The re-learning timing is the timing for executing the re-learning process of the anomaly detection model 124 and the anomaly classification model 125. Here, it is assumed that the re-learning timing of the anomaly detection model 124 and the anomaly classification model 125 is the same, but may be different. The re-learning timing may be, for example, every predetermined time (for example, one hour, one day, one week), every time the anomaly detection process is executed a predetermined number of times on the target image im, a timing specified by the user, or a timing when the ratio of abnormal target images im or the ratio of each anomaly type has changed. The timing when the ratio has changed is, for example, the timing when the ratio deviates from a range of ratios (hereinafter referred to as a "standard range") set based on a plurality of ratios calculated in a plurality of past periods. For example, if the standard range of the ratio of abnormal target images im is set to 10% to 20% based on the ratio of abnormal target images im in the past, it is time to re-learn when the ratio of abnormal target images im in a certain period falls below 10% or exceeds 20%. Note that the method for setting the standard range is arbitrary.

再学習タイミングが到来していない場合（ステップＳ２０７：ＮＯ）、処理は終了する。再学習タイミングが到来した場合（ステップＳ２０７：ＹＥＳ）、処理はステップＳ２０８に進む。 If the time to re-learn has not arrived (step S207: NO), the process ends. If the time to re-learn has arrived (step S207: YES), the process proceeds to step S208.

（ステップＳ２０８）
再学習タイミングが到来した場合、選択部１３５は、検出結果情報１２６を参照して、第１再学習用画像ｉｍｒＬ１及び第２再学習用画像ｉｍｒＬ２を選択する（ステップＳ２０８）。 (Step S208)
When the relearning timing arrives, the selection unit 135 refers to the detection result information 126 and selects a first relearning image imrL1 and a second relearning image imrL2 (step S208).

選択部１３５は、前回の再学習処理（再学習処理がまだ１度も実行されていない場合は学習処理）の実行後に異常検出処理の対象となった対象画像ｉｍのうち、異常が検出されなかった対象画像ｉｍ（正常画像）の中から少なくとも一部を第１再学習用画像ｉｍｒＬ１として選択する。図１４の例では、対象画像ｉｍ１０２，ｉｍ１０５，ｉｍ１０６の中から第１再学習用画像ｉｍｒＬ１が選択される。選択部１３５は、全ての正常画像を第１再学習用画像ｉｍｒＬ１として選択してもよいし、一部を第１再学習用画像ｉｍｒＬ１として選択してもよい。例えば、選択部１３５は、その対象画像ｉｍの異常度（パッチ特徴量間の距離）の最大値が閾値以下である対象画像ｉｍを、第１再学習用画像ｉｍｒＬ１として選択する。 The selection unit 135 selects at least a portion of the target images im (normal images) in which no abnormality was detected, as the first relearning image imrL1, from among the target images im that were the subject of the anomaly detection process after the previous relearning process (the learning process if the relearning process has not yet been performed even once). In the example of FIG. 14, the first relearning image imrL1 is selected from the target images im102, im105, and im106. The selection unit 135 may select all normal images as the first relearning image imrL1, or may select a portion of the normal images as the first relearning image imrL1. For example, the selection unit 135 selects the target image im whose maximum value of the degree of anomaly (distance between patch features) is equal to or less than a threshold value, as the first relearning image imrL1.

また、選択部１３５は、前回の再学習処理（再学習処理がまだ１度も実行されていない場合は学習処理）の実行後に異常検出処理の対象となった対象画像ｉｍのうち、異常が検出された対象画像ｉｍ（異常画像）の中から少なくとも一部からクロッピングした異常部分画像を第２再学習用画像ｉｍｒＬ２として選択する。図１４の例では、対象画像ｉｍ１０１，ｉｍ１０３，ｉｍ１０４からクロッピングした異常部分画像が第２再学習用画像ｉｍｒＬ２として選択される。選択部１３５は、全ての異常画像からクロッピングした異常部分画像を第２再学習用画像ｉｍｒＬ２として選択してもよいし、一部を第２再学習用画像ｉｍｒＬ２として選択してもよい。異常部分画像をクロッピングする方法は上述の通りである（図２０参照）。 The selection unit 135 also selects, as the second relearning image imrL2, abnormal portion images cropped from at least a portion of the target images im (abnormal images) in which an abnormality was detected, among the target images im that were the subject of the anomaly detection process after the previous relearning process (learning process if the relearning process has not yet been performed). In the example of FIG. 14, abnormal portion images cropped from the target images im101, im103, and im104 are selected as the second relearning image imrL2. The selection unit 135 may select abnormal portion images cropped from all abnormal images as the second relearning image imrL2, or may select a portion of them as the second relearning image imrL2. The method of cropping the abnormal portion images is as described above (see FIG. 20).

選択部１３５は、こうして選択した第１再学習用画像ｉｍｒＬ１及び第２再学習用画像ｉｍｒＬ２に撮影日時などの情報を対応づけて、再学習画像情報１２３として記憶部１２に保存する。 The selection unit 135 associates information such as the shooting date and time with the first relearning image imrL1 and the second relearning image imrL2 selected in this manner, and stores them in the storage unit 12 as relearning image information 123.

（ステップＳ２０９）
再学習部１３６は、第１再学習用画像ｉｍｒＬ１を異常検出モデル１２４に再学習させる（ステップＳ２０９）。具体的には、再学習部１３６は、複数の第１再学習用画像ｉｍｒＬ１を異常検出モデル１２４の画像認識モデルに入力し、各第１再学習用画像ｉｍｒＬ１のパッチ特徴量を取得し、メモリバンクに追加する。以上の工程が異常検出モデル１２４の再学習に相当し、これにより、異常検出モデル１２４が更新される。再学習部１３６は、再学習された異常検出モデル１２４を記憶部１２に保存する。 (Step S209)
The relearning unit 136 causes the anomaly detection model 124 to relearn the first relearning image imrL1 (step S209). Specifically, the relearning unit 136 inputs the first relearning images imrL1 into the image recognition model of the anomaly detection model 124, acquires patch features of each of the first relearning images imrL1, and adds them to the memory bank. The above process corresponds to the relearning of the anomaly detection model 124, and the anomaly detection model 124 is thereby updated. The relearning unit 136 stores the relearned anomaly detection model 124 in the storage unit 12.

（ステップＳ２１０）
また、再学習部１３６は、第２再学習用画像ｉｍｒＬ２を異常分類モデル１２５に再学習させる（ステップＳ２１０）。具体的には、再学習部１３６は、複数の第２再学習用画像ｉｍｒＬ２と異常種類の組みを異常分類モデル１２５に再学習させる。これにより、異常分類モデル１２５が更新される。再学習部１３６は、再学習された異常分類モデル１２５を記憶部１２に保存する。 (Step S210)
The relearning unit 136 also causes the anomaly classification model 125 to relearn the second relearning images imrL2 (step S210). Specifically, the relearning unit 136 causes the anomaly classification model 125 to relearn pairs of the second relearning images imrL2 and the anomaly types. This updates the anomaly classification model 125. The relearning unit 136 stores the relearned anomaly classification model 125 in the storage unit 12.

＜まとめ＞
以上説明した通り、本実施形態によれば、異常検出システム１０００は、正常画像（第１学習用画像ｉｍＬ１）を学習することにより対象画像ｉｍから異常を検出するように学習された異常検出モデル１２４を利用して、複数の対象画像ｉｍから異常を検出する検出処理と、検出処理により異常が検出されなかった対象画像ｉｍの中の少なくとも一部を第１再学習用画像ｉｍｒＬ１として選択する選択処理と、第１再学習用画像ｉｍｒＬ１を異常検出モデル１２４に再学習させる再学習処理と、を含む異常検出処理を実行する。これにより、異常検出モデル１２４が常に新しい第１再学習用画像ｉｍｒＬ１により再学習されるため、対象画像ｉｍの撮影環境が時間に応じて変化したり、異常検出対象ｔが時期により外観が変化するもの（野菜など）であったりした場合であっても、異常検出モデル１２４による異常の検出精度の経時的な低下を抑制することができる。 <Summary>
As described above, according to this embodiment, the anomaly detection system 1000 executes anomaly detection processing including a detection processing for detecting anomalies from a plurality of target images im using the anomaly detection model 124 that has been trained to detect anomalies from the target image im by learning a normal image (first learning image imL1), a selection processing for selecting at least a part of the target images im in which no anomaly was detected by the detection processing as the first re-learning image imrL1, and a re-learning processing for re-learning the first re-learning image imrL1 to the anomaly detection model 124. As a result, since the anomaly detection model 124 is always re-learned using a new first re-learning image imrL1, even if the shooting environment of the target image im changes over time or the anomaly detection target t is an object whose appearance changes depending on the season (such as a vegetable), it is possible to suppress a decrease over time in the accuracy of anomaly detection by the anomaly detection model 124.

例えば、図７の第１学習用画像ｉｍＬ１と、図１１の第１再学習用画像ｉｍｒＬ１と、はじゃがいもの色が全体的に異なっている。じゃがいものような野菜の場合、収穫する時期により、同じ品種であってもこのような色の変化が生じる場合がある。また、季節によって撮影環境の日照が変化し、このような色の変化が生じることもある。さらに、１日の間でも、時間帯によって日照条件などが変化し、色の変化が生じることもある。このような場合、図７の第１学習用画像ｉｍＬ１を学習した異常検出モデル１２４を利用し続けると、経時的に異常の検出精度が低下するおそれがある。 For example, the potato colors are generally different in the first learning image imL1 in FIG. 7 and the first relearning image imrL1 in FIG. 11. In the case of vegetables such as potatoes, even if they are the same variety, such color changes may occur depending on the harvest time. In addition, such color changes may occur due to changes in sunlight in the shooting environment depending on the season. Furthermore, even within a single day, sunlight conditions may change depending on the time of day, causing color changes. In such cases, if the anomaly detection model 124 trained on the first learning image imL1 in FIG. 7 continues to be used, there is a risk that the accuracy of detecting anomalies will decrease over time.

一方で、このような外観の変化は、徐々に進行することが多い。言い換えると、短時間で急激に異常の検出精度が低下する可能性は低い。このため、本実施形態のように、異常検出モデル１２４を、常に新しい第１再学習用画像ｉｍｒＬ１で再学習することにより、このような外観の変化に応じた異常の検出精度の低下を抑制することができる。 On the other hand, such changes in appearance often occur gradually. In other words, it is unlikely that the accuracy of detecting anomalies will suddenly decrease in a short period of time. For this reason, as in this embodiment, by always relearning the anomaly detection model 124 with a new first relearning image imrL1, it is possible to suppress a decrease in the accuracy of detecting anomalies due to such changes in appearance.

なお、本実施形態では、対象画像ｉｍから異常が検出された場合、その異常の種類を分類したが、異常の種類の分類は行わなくてもよい。 In this embodiment, when an abnormality is detected from the target image im, the type of the abnormality is classified, but classification of the type of abnormality is not required.

また、本実施形態では、第１再学習用画像ｉｍｒＬ１及び第２再学習用画像ｉｍｒＬ２は、異常検出装置１により自動的に選択されたが、第１学習用画像ｉｍＬ１及び第２学習用画像ｉｍＬ２と同様に、ユーザにより選択されてもよい。 In addition, in this embodiment, the first relearning image imrL1 and the second relearning image imrL2 are automatically selected by the anomaly detection device 1, but they may be selected by the user in the same manner as the first learning image imL1 and the second learning image imL2.

例えば、ユーザ端末２は、ユーザからの操作に応じて、前回の再学習処理（再学習処理がまだ１度も実行されていない場合は学習処理）の実行後に異常検出処理の対象となった対象画像ｉｍを選択画面に一覧表示する。この選択画面は、対象画像ｉｍの中から、第１再学習用画像ｉｍｒＬ１及び第２再学習用画像ｉｍｒＬ２を選択するための画面である。ユーザは、選択画面に表示された対象画像ｉｍを参照して、これらの中から第１再学習用画像ｉｍｒＬ１及び第２再学習用画像ｉｍｒＬ２を選択すればよい（図１６～図１８参照）。選択部１３５は、ユーザにより選択された第１再学習用画像ｉｍｒＬ１及び第２再学習用画像ｉｍｒＬ２を、第１再学習用画像ｉｍｒＬ１及び第２再学習用画像ｉｍｒＬ２として選択し、記憶部１２に保存する。これにより、第１再学習用画像ｉｍｒＬ１及び第２再学習用画像ｉｍｒＬ２をユーザが選択することができる。 For example, the user terminal 2 displays a list of target images im that were the subject of the anomaly detection process after the previous relearning process (or the learning process if the relearning process has not yet been performed once) on a selection screen in response to an operation from the user. This selection screen is a screen for selecting the first relearning image imrL1 and the second relearning image imrL2 from the target images im. The user can refer to the target images im displayed on the selection screen and select the first relearning image imrL1 and the second relearning image imrL2 from among them (see Figures 16 to 18). The selection unit 135 selects the first relearning image imrL1 and the second relearning image imrL2 selected by the user as the first relearning image imrL1 and the second relearning image imrL2, and stores them in the storage unit 12. This allows the user to select the first relearning image imrL1 and the second relearning image imrL2.

＜付記＞
本実施形態は、以下の開示を含む。 <Additional Notes>
The present embodiment includes the following disclosure.

（付記１）
異常検出システムが実行する異常検出方法であって、
正常画像を学習することにより画像から異常を検出するように学習された異常検出モデルを利用して、複数の対象画像から異常を検出する検出処理と、
前記検出処理により異常が検出されなかった対象画像の中の少なくとも一部を第１再学習用画像として選択する選択処理と、
前記第１再学習用画像を前記異常検出モデルに再学習させる再学習処理と、
を含む異常検出方法。 (Appendix 1)
An anomaly detection method executed by an anomaly detection system, comprising:
A detection process for detecting anomalies from a plurality of target images using an anomaly detection model trained to detect anomalies from images by learning normal images;
a selection process of selecting, as a first relearning image, at least a part of the target images in which no abnormality is detected by the detection process;
a re-learning process for re-learning the first re-learning image into the anomaly detection model;
The anomaly detection method includes:

（付記２）
前記選択処理は、前回の再学習処理の実行後に検出処理の対象となった対象画像の中から前記第１再学習用画像を選択する
付記１に記載の異常検出方法。 (Appendix 2)
The anomaly detection method according to claim 1, wherein the selection process selects the first relearning image from among target images that were the subject of a detection process after a previous relearning process was executed.

（付記３）
前記選択処理は、異常度が閾値以下の正常画像を前記第１再学習用画像として選択する
付記１に記載の異常検出方法。 (Appendix 3)
The anomaly detection method according to claim 1, wherein the selection process selects normal images having an abnormality degree equal to or less than a threshold as the first relearning images.

（付記４）
前記選択処理は、対象画像を一覧表示し、一覧表示された対象画像の中からユーザにより選択された対象画像を前記第１再学習用画像として選択する
付記１に記載の異常検出方法。 (Appendix 4)
The anomaly detection method according to claim 1, wherein the selection process includes displaying a list of target images and selecting a target image selected by a user from the list of target images as the first re-learning image.

（付記５）
前記再学習処理は、所定時間ごとに実行される
付記１に記載の異常検出方法。 (Appendix 5)
2. The abnormality detection method according to claim 1, wherein the re-learning process is executed at predetermined time intervals.

（付記６）
検出処理により対象画像から異常が検出された場合、異常部分画像を学習することにより異常画像に含まれる異常を分類するように学習された異常分類モデルを利用して、検出された異常を分類する分類処理を更に含む
付記１に記載の異常検出方法。 (Appendix 6)
The anomaly detection method described in Appendix 1 further includes a classification process for classifying the detected anomaly using an anomaly classification model trained to classify anomalies contained in the abnormal image by learning images of abnormal parts when an anomaly is detected in the target image by the detection process.

（付記７）
前記選択処理は、前記検出処理により異常が検出された対象画像の中の少なくとも一部からクロッピングした異常部分画像を第２再学習用画像として選択し、
前記再学習処理は、前記第２再学習用画像を前記異常分類モデルに再学習させる
付記６に記載の異常検出方法。 (Appendix 7)
The selection process includes selecting, as a second re-learning image, an abnormal portion image cropped from at least a portion of a target image in which an abnormality has been detected by the detection process;
The anomaly detection method according to claim 6, wherein the re-learning process re-learns the second re-learning image to the anomaly classification model.

（付記８）
コンピュータに、
正常画像を学習することにより画像から異常を検出するように学習された異常検出モデルを利用して、複数の対象画像から異常を検出する検出処理と、
前記検出処理により異常が検出されなかった対象画像の中の少なくとも一部を第１再学習用画像として選択する選択処理と、
前記第１再学習用画像を前記異常検出モデルに再学習させる再学習処理と、
を含む異常検出方法を実行させるためのプログラム。 (Appendix 8)
On the computer,
A detection process for detecting anomalies from a plurality of target images using an anomaly detection model trained to detect anomalies from images by learning normal images;
a selection process of selecting, as a first relearning image, at least a part of the target images in which no abnormality is detected by the detection process;
a re-learning process for re-learning the first re-learning image into the anomaly detection model;
A program for executing an anomaly detection method including the steps of:

（付記９）
正常画像を学習することにより画像から異常を検出するように学習された異常検出モデルを利用して、複数の対象画像から異常を検出する検出部と、
前記検出部により異常が検出されなかった対象画像の中の少なくとも一部を第１再学習用画像として選択する選択部と、
前記第１再学習用画像を前記異常検出モデルに再学習させる再学習部と、
を含む異常検出システム。 (Appendix 9)
a detection unit that detects anomalies from a plurality of target images using an anomaly detection model that has been trained to detect anomalies from images by learning normal images;
a selection unit that selects at least a portion of target images in which no abnormality has been detected by the detection unit as first relearning images;
a re-learning unit that re-learns the first re-learning image into the anomaly detection model;
An anomaly detection system including:

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The embodiments disclosed herein are illustrative in all respects and should not be considered restrictive. The scope of the present invention is indicated by the claims, not by the meaning described above, and is intended to include all modifications within the meaning and scope of the claims. Furthermore, the present invention is not limited to the above-described embodiments, and various modifications are possible within the scope of the claims, and embodiments obtained by appropriately combining the technical means disclosed in different embodiments are also included in the technical scope of the present invention.

１：異常検出装置
２：ユーザ端末
３：撮影装置
１１：通信部
１２：記憶部
１３：制御部
１２１：対象画像情報
１２２：学習用画像情報
１２３：再学習用画像情報
１２４：異常検出モデル
１２５：異常分類モデル
１２６：検出結果情報
１３１：取得部
１３２：学習部
１３３：検出部
１３４：分類部
１３５：選択部
１３６：再学習部 1: Anomaly detection device 2: User terminal 3: Imaging device 11: Communication unit 12: Storage unit 13: Control unit 121: Target image information 122: Learning image information 123: Re-learning image information 124: Anomaly detection model 125: Anomaly classification model 126: Detection result information 131: Acquisition unit 132: Learning unit 133: Detection unit 134: Classification unit 135: Selection unit 136: Re-learning unit

Claims (9)

異常検出システムが実行する異常検出方法であって、
正常画像を学習することにより画像から異常を検出するように学習された異常検出モデルを利用して、複数の対象画像から異常を検出する検出処理と、
前記検出処理により異常が検出されなかった対象画像の中の少なくとも一部を第１再学習用画像として選択する選択処理と、
前記第１再学習用画像を前記異常検出モデルに再学習させる再学習処理と、
を含む異常検出方法。 An anomaly detection method executed by an anomaly detection system, comprising:
A detection process for detecting anomalies from a plurality of target images using an anomaly detection model trained to detect anomalies from images by learning normal images;
a selection process of selecting, as a first relearning image, at least a part of the target images in which no abnormality is detected by the detection process;
a re-learning process for re-learning the first re-learning image into the anomaly detection model;
The anomaly detection method includes: 前記選択処理は、前回の再学習処理の実行後に検出処理の対象となった対象画像の中から前記第１再学習用画像を選択する
請求項１に記載の異常検出方法。 The anomaly detection method according to claim 1 , wherein the selection process selects the first relearning image from among target images that have been the subject of detection processing after a previous execution of the relearning process. 前記選択処理は、異常度が閾値以下の正常画像を前記第１再学習用画像として選択する
請求項１に記載の異常検出方法。 The anomaly detection method according to claim 1 , wherein the selection process selects normal images whose degree of anomaly is equal to or less than a threshold as the first relearning images. 前記選択処理は、対象画像を一覧表示し、一覧表示された対象画像の中からユーザにより選択された対象画像を前記第１再学習用画像として選択する
請求項１に記載の異常検出方法。 The anomaly detection method according to claim 1 , wherein the selection process includes displaying a list of target images, and selecting a target image selected by a user from the list of target images as the first re-learning image. 前記再学習処理は、所定時間ごとに実行される
請求項１に記載の異常検出方法。 The abnormality detection method according to claim 1 , wherein the re-learning process is executed at predetermined time intervals. 検出処理により対象画像から異常が検出された場合、異常部分画像を学習することにより異常画像に含まれる異常を分類するように学習された異常分類モデルを利用して、検出された異常を分類する分類処理を更に含む
請求項１に記載の異常検出方法。 2. The anomaly detection method according to claim 1, further comprising a classification process for classifying the detected anomaly using an anomaly classification model trained to classify anomalies contained in the abnormal image by learning images of abnormal parts when an anomaly is detected in the target image by the detection process. 前記選択処理は、前記検出処理により異常が検出された対象画像の中の少なくとも一部からクロッピングした異常部分画像を第２再学習用画像として選択し、
前記再学習処理は、前記第２再学習用画像を前記異常分類モデルに再学習させる
請求項６に記載の異常検出方法。 The selection process includes selecting, as a second re-learning image, an abnormal portion image cropped from at least a portion of a target image in which an abnormality has been detected by the detection process;
The anomaly detection method according to claim 6 , wherein the re-learning process re-learns the second re-learning image to the anomaly classification model. コンピュータに、
正常画像を学習することにより画像から異常を検出するように学習された異常検出モデルを利用して、複数の対象画像から異常を検出する検出処理と、
前記検出処理により異常が検出されなかった対象画像の中の少なくとも一部を第１再学習用画像として選択する選択処理と、
前記第１再学習用画像を前記異常検出モデルに再学習させる再学習処理と、
を含む異常検出方法を実行させるためのプログラム。 On the computer,
A detection process for detecting anomalies from a plurality of target images using an anomaly detection model trained to detect anomalies from images by learning normal images;
a selection process of selecting, as a first relearning image, at least a part of the target images in which no abnormality is detected by the detection process;
a re-learning process for re-learning the first re-learning image into the anomaly detection model;
A program for executing an anomaly detection method including the steps of: 正常画像を学習することにより画像から異常を検出するように学習された異常検出モデルを利用して、複数の対象画像から異常を検出する検出部と、
前記検出部により異常が検出されなかった対象画像の中の少なくとも一部を第１再学習用画像として選択する選択部と、
前記第１再学習用画像を前記異常検出モデルに再学習させる再学習部と、
を含む異常検出システム。 a detection unit that detects anomalies from a plurality of target images using an anomaly detection model that has been trained to detect anomalies from images by learning normal images;
a selection unit that selects at least a portion of target images in which no abnormality has been detected by the detection unit as first relearning images;
a re-learning unit that re-learns the first re-learning image into the anomaly detection model;
An anomaly detection system including: