JP7323841B1

JP7323841B1 - Abnormality detection method, abnormality detection system and program

Info

Publication number: JP7323841B1
Application number: JP2022192334A
Authority: JP
Inventors: 山下聖悟
Original assignee: Exa Wizards Inc
Current assignee: Exa Wizards Inc
Priority date: 2022-11-30
Filing date: 2022-11-30
Publication date: 2023-08-09
Anticipated expiration: 2042-11-30
Also published as: JP2024079411A

Abstract

【課題】ＡＩモデルによる異常の検出精度の低下を抑制する。【解決手段】一実施形態に係る異常検出方法は、異常検出システムが実行する異常検出方法であって、正常画像を学習することにより画像から異常を検出するように学習された異常検出モデルを利用して、複数の対象画像から異常を検出する検出処理と、前記検出処理により異常が検出されなかった対象画像の中の少なくとも一部を第１再学習用画像として選択する選択処理と、前記第１再学習用画像を前記異常検出モデルに再学習させる再学習処理と、を含む。【選択図】図１９An object of the present invention is to suppress deterioration in abnormality detection accuracy by an AI model. An anomaly detection method according to an embodiment is an anomaly detection method performed by an anomaly detection system, which uses an anomaly detection model trained to detect an anomaly from an image by learning a normal image. a detection process for detecting an abnormality from a plurality of target images; a selection process for selecting at least a portion of the target images in which no abnormality is detected by the detection process as a first re-learning image; and re-learning processing for re-learning the anomaly detection model with the 1 re-learning image. [Selection drawing] Fig. 19

Description

本発明は、異常検出方法、異常検出システム及びプログラムに関する。 The present invention relates to an anomaly detection method, an anomaly detection system, and a program.

近年、ＡＩモデルにより画像から異常を検出する技術が広く利用されている。一般に、検出対象となる異常の画像を学習させたＡＩモデルに異常を検出する対象を撮影した画像を入力すると、ＡＩモデルが画像に含まれる異常を検出する。例えば、引用文献１には、欠陥候補を学習した欠陥候補検出モデルを利用して、金属製品の表面画像から欠陥候補を検出する技術が開示されている。 In recent years, techniques for detecting anomalies from images using AI models have been widely used. In general, when an image of an abnormality to be detected is input to an AI model trained on an image of an abnormality to be detected, the AI model detects an abnormality contained in the image. For example, Patent Literature 1 discloses a technique of detecting defect candidates from a surface image of a metal product using a defect candidate detection model that has learned defect candidates.

特開２０２２－１２６６２０号公報Japanese Patent Application Laid-Open No. 2022-126620

上記従来技術では、異常を検出する対象となる画像の撮影環境が時間に応じて変化したり、異常を検出する対象が時期により外観が変化するもの（野菜など）であったりした場合、ＡＩモデルによる異常の検出精度が経時的に低下するおそれがあった。 In the above-described conventional technology, when the shooting environment of the image for which an abnormality is to be detected changes with time, or when the object for which an abnormality is to be detected changes in appearance depending on the season (vegetables, etc.), the AI model There was a risk that the accuracy of detection of anomalies by the system would decline over time.

本発明は、上記の課題を鑑みてなされたものであり、ＡＩモデルによる異常の検出精度の低下を抑制することを目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and an object of the present invention is to suppress deterioration in the accuracy of abnormality detection by an AI model.

一実施形態に係る異常検出方法は、異常検出システムが実行する異常検出方法であって、正常画像を学習することにより画像から異常を検出するように学習された異常検出モデルを利用して、複数の対象画像から異常を検出する検出処理と、前記検出処理により異常が検出されなかった対象画像の中の少なくとも一部を第１再学習用画像として選択する選択処理と、前記第１再学習用画像を前記異常検出モデルに再学習させる再学習処理と、を含む。 An anomaly detection method according to an embodiment is an anomaly detection method executed by an anomaly detection system, wherein a plurality of A detection process for detecting an abnormality from the target image of, a selection process for selecting at least a part of the target image in which an abnormality was not detected by the detection process as a first relearning image, and the first relearning for and a retraining process for retraining images to the anomaly detection model.

一実施形態によれば、ＡＩモデルによる異常の検出精度の低下を抑制することができる。 According to one embodiment, it is possible to suppress deterioration in the accuracy of abnormality detection by an AI model.

異常検出システム１０００の構成の一例を示す図である。1 is a diagram showing an example of the configuration of an anomaly detection system 1000; FIG. 情報処理装置１００のハードウェア構成の一例を示す図である。2 is a diagram illustrating an example of a hardware configuration of information processing apparatus 100; FIG. 異常検出装置１の機能構成の一例を示す図である。1 is a diagram showing an example of a functional configuration of an abnormality detection device 1; FIG. 対象画像情報１２１の一例を示す図である。4 is a diagram showing an example of target image information 121. FIG. 対象画像ｉｍの一例を示す図である。FIG. 4 is a diagram showing an example of a target image im; 第１学習用画像情報１２２１の一例を示す図である。FIG. 12 is a diagram showing an example of first learning image information 1221. FIG. 第１学習用画像ｉｍＬ１の一例を示す図である。It is a figure which shows an example of 1st image imL1 for learning. 第２学習用画像情報１２２２の一例を示す図である。FIG. 12 is a diagram showing an example of second learning image information 1222. FIG. 第２学習用画像ｉｍＬ２の一例を示す図である。FIG. 11 is a diagram showing an example of a second learning image imL2; 第１再学習用画像情報１２３１の一例を示す図である。FIG. 12 is a diagram showing an example of first relearning image information 1231. FIG. 第１再学習用画像ｉｍｒＬ１の一例を示す図である。It is a figure which shows an example of the 1st re-learning image imrL1. 第２再学習用画像情報１２３２の一例を示す図である。FIG. 12 is a diagram showing an example of second relearning image information 1232. FIG. 第２再学習用画像ｉｍｒＬ２の一例を示す図である。It is a figure which shows an example of the image imrL2 for 2nd relearning. 検出結果情報１２６の一例を示す図である。FIG. 11 is a diagram showing an example of detection result information 126; 学習処理の一例を示すフローチャートである。6 is a flowchart showing an example of learning processing; 選択画面の一例を示す図である。It is a figure which shows an example of a selection screen. 選択画面の一例を示す図である。It is a figure which shows an example of a selection screen. 選択画面の一例を示す図である。It is a figure which shows an example of a selection screen. 異常検出処理の一例を示すフローチャートである。5 is a flowchart showing an example of anomaly detection processing; クロッピング方法の一例を示す図である。FIG. 4 is a diagram showing an example of a cropping method;

以下、本発明の各実施形態について、添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に関して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。 Hereinafter, each embodiment of the present invention will be described with reference to the accompanying drawings. Regarding the descriptions of the specifications and drawings according to each embodiment, components having substantially the same functional configuration are denoted by the same reference numerals, thereby omitting redundant description.

＜システム構成＞
まず、本実施形態に係る異常検出システム１０００の概要について説明する。本実施形態に係る異常検出システム１０００は、ＡＩモデルを利用して、対象画像ｉｍから異常を検出する情報処理システムである。 <System configuration>
First, an outline of an abnormality detection system 1000 according to this embodiment will be described. An anomaly detection system 1000 according to this embodiment is an information processing system that detects an anomaly from a target image im using an AI model.

対象画像ｉｍは、異常検出対象ｔを撮影した画像である。異常検出対象ｔは、異常を検出する対象となる任意の物体である。異常は、欠陥、不良、異物などの、異常検出対象ｔの正常な状態とは異なる任意の状態又は物体である。情報処理システムは、ネットワークを介して接続された複数の情報処理装置からなるシステムである。 The target image im is a captured image of the abnormality detection target t. An anomaly detection target t is an arbitrary object whose anomaly is to be detected. An anomaly is any state or object that is different from the normal state of an anomaly detection target t, such as a defect, defect, or foreign matter. An information processing system is a system composed of a plurality of information processing devices connected via a network.

以下、対象画像ｉｍのうち、異常検出対象ｔが異常を含む画像を異常画像、異常検出対象ｔが異常を含まない画像を正常画像という。また、異常画像に含まれる異常の部分をクロッピングした（切り出した）画像を異常部分画像という。 Hereinafter, among the target images im, an image that includes an abnormality in the abnormality detection target t is referred to as an abnormal image, and an image that does not include an abnormality in the abnormality detection target t is referred to as a normal image. An image obtained by cropping (cutting out) an abnormal portion included in an abnormal image is called an abnormal partial image.

異常検出システム１０００は、監視カメラの映像からの異常検出、工場に設置されたベルトコンベアの映像からの異常検出、製品の外観検査のために撮影された画像からの異常検出など、任意の画像からの異常検出に利用できる。 The anomaly detection system 1000 detects anomalies from images of surveillance cameras, anomalies from images of belt conveyors installed in factories, anomalies from images taken for visual inspection of products, etc. can be used for anomaly detection.

異常検出システム１０００は、正常画像を学習させることにより、異常を検出するＡＩモデルを学習させる。また、異常検出システム１０００は、所定のタイミングでＡＩモデルに新たな正常画像を再学習させる。これにより、異常検出システム１０００は、異常検出対象ｔや撮影環境の経時的な変化に起因するＡＩモデルの異常の検出精度の経時的な低下を抑制することができる。 The anomaly detection system 1000 learns an AI model for detecting an anomaly by learning normal images. In addition, the anomaly detection system 1000 causes the AI model to re-learn new normal images at a predetermined timing. As a result, the abnormality detection system 1000 can suppress temporal deterioration in the abnormality detection accuracy of the AI model due to temporal changes in the abnormality detection target t and the imaging environment.

したがって、異常検出システム１０００は、異常検出対象ｔや撮影環境が経時的に変化する場合に、好適に利用することができる。例えば、異常検出対象ｔが経時的に変化する場合として、異常検出対象ｔが野菜、果物、鮮魚、精肉などの生鮮食品である場合が挙げられる。また、撮影環境が経時的に変化する場合として、撮影環境が屋外であったり、日照のある屋内であったりする場合が挙げられる。 Therefore, the abnormality detection system 1000 can be suitably used when the abnormality detection target t and the shooting environment change over time. For example, when the abnormality detection target t changes over time, the abnormality detection target t may be perishable foods such as vegetables, fruits, fresh fish, and meat. Further, examples of the case where the shooting environment changes over time include the case where the shooting environment is outdoors or indoors with sunlight.

図１は、異常検出システム１０００の構成の一例を示す図である。図１に示すように、異常検出システム１０００は、ネットワークＮを介して相互に通信可能に接続された、異常検出装置１と、ユーザ端末２と、撮影装置３と、を備える。ネットワークＮは、例えば、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、インターネット、公衆回線網、モバイルデータ通信網、又はこれらの組み合わせである。図１の例では、異常検出システム１０００は、異常検出装置１、ユーザ端末２及び撮影装置３をそれぞれ１つずつ備えるが、それぞれ複数備えてもよい。 FIG. 1 is a diagram showing an example of the configuration of an anomaly detection system 1000. As shown in FIG. As shown in FIG. 1, the anomaly detection system 1000 includes an anomaly detection device 1, a user terminal 2, and a photographing device 3, which are connected via a network N so as to be able to communicate with each other. The network N is, for example, a wired LAN (Local Area Network), a wireless LAN, the Internet, a public line network, a mobile data communication network, or a combination thereof. In the example of FIG. 1, the abnormality detection system 1000 includes one each of the abnormality detection device 1, the user terminal 2, and the imaging device 3, but may include a plurality of each.

異常検出装置１は、対象画像ｉｍから異常を検出する情報処理装置である。異常検出装置１は、例えば、ＰＣ（Personal Computer）、スマートフォン、タブレット端末、サーバ装置、又はマイクロコンピューであるが、これに限られない。異常検出装置１について、詳しくは後述する。 The anomaly detection device 1 is an information processing device that detects an anomaly from a target image im. The abnormality detection device 1 is, for example, a PC (Personal Computer), a smart phone, a tablet terminal, a server device, or a microcomputer, but is not limited thereto. Details of the abnormality detection device 1 will be described later.

ユーザ端末２は、異常検出システム１０００のユーザが利用する情報処理装置である。ユーザ端末２は、例えば、ＰＣ、スマートフォン、タブレット端末、サーバ装置、又はマイクロコンピューであるが、これに限られない。ユーザ端末２は、撮影装置３と有線又は
無線により接続され、撮影装置３から対象画像ｉｍを受信し、ネットワークＮを介して、対象画像ｉｍを異常検出装置１に送信する。ユーザ端末２は、撮影装置３とネットワークＮを介して接続されてもよい。また、ユーザ端末２は、ネットワークＮや記録メディアから対象画像ｉｍを取得し、対象画像ｉｍを異常検出装置１に送信してもよい。また、ユーザは、ユーザ端末２を操作して、正常画像及び異常画像のアノテーションや、異常部分画像のクリッピングなどを行ってもよい。 The user terminal 2 is an information processing device used by the user of the anomaly detection system 1000 . The user terminal 2 is, for example, a PC, smart phone, tablet terminal, server device, or microcomputer, but is not limited thereto. The user terminal 2 is wired or wirelessly connected to the imaging device 3 , receives the target image im from the imaging device 3 , and transmits the target image im to the abnormality detection device 1 via the network N. The user terminal 2 may be connected to the imaging device 3 via the network N. Also, the user terminal 2 may acquire the target image im from the network N or a recording medium and transmit the target image im to the abnormality detection device 1 . Also, the user may operate the user terminal 2 to annotate normal images and abnormal images, clip abnormal partial images, and the like.

撮影装置３は、異常検出対象ｔを撮影する情報処理装置である。撮影装置３は、デジタルカメラ、監視カメラ、スマートフォン、又はＡＩカメラであるが、これに限られない。撮影装置３は、異常検出対象ｔを撮影した対象画像ｉｍをユーザ端末２に送信する。図１の例では、ベルトコンベアで搬送されるじゃがいも（異常検出対象ｔ）を、固定して設置された撮影装置３で撮影する場合を想定しているが、異常検出対象ｔも撮影装置３もこれに限られない。 The photographing device 3 is an information processing device that photographs an abnormality detection target t. The imaging device 3 is a digital camera, a surveillance camera, a smart phone, or an AI camera, but is not limited to this. The imaging device 3 transmits to the user terminal 2 a target image im obtained by capturing an abnormality detection target t. In the example of FIG. 1, it is assumed that a potato (abnormality detection target t) conveyed by a belt conveyor is photographed by an imaging device 3 that is fixedly installed. It is not limited to this.

＜情報処理装置のハードウェア構成＞
次に、情報処理装置１００のハードウェア構成について説明する。図２は、情報処理装置１００のハードウェア構成の一例を示す図である。図２に示すように、情報処理装置１００は、バスＢを介して相互に接続された、プロセッサ１０１と、メモリ１０２と、ストレージ１０３と、通信Ｉ／Ｆ１０４と、入出力Ｉ／Ｆ１０５と、ドライブ装置１０６と、を備える。 <Hardware Configuration of Information Processing Device>
Next, the hardware configuration of the information processing device 100 will be described. FIG. 2 is a diagram showing an example of the hardware configuration of the information processing apparatus 100. As shown in FIG. As shown in FIG. 2, the information processing apparatus 100 includes a processor 101, a memory 102, a storage 103, a communication I/F 104, an input/output I/F 105, and drives, which are interconnected via a bus B. a device 106;

プロセッサ１０１は、ストレージ１０３に記憶されたＯＳ（Operating System）を含む各種のプログラムをメモリ１０２に展開して実行することにより、情報処理装置１００の各構成を制御し、情報処理装置１００の機能を実現する。プロセッサ１０１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、又はこれらの組み合わせである。 The processor 101 expands various programs including an OS (Operating System) stored in the storage 103 into the memory 102 and executes them, thereby controlling each configuration of the information processing apparatus 100 and executing the functions of the information processing apparatus 100 . come true. The processor 101 is, for example, a CPU (Central Processing Unit), MPU (Micro Processing Unit), GPU (Graphics Processing Unit), ASIC (Application Specific Integrated Circuit), DSP (Digital Signal Processor), or a combination thereof.

メモリ１０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、又はこれらの組み合わせである。ＲＯＭは、例えば、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、又はこれらの組み合わせである。ＲＡＭは、例えば、ＤＲＡＭ（Dynamic RAM）、ＳＲＡＭ（Static RAM）、又はこれらの組み合わせである。 The memory 102 is, for example, ROM (Read Only Memory), RAM (Random Access Memory), or a combination thereof. ROM is, for example, PROM (Programmable ROM), EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), or a combination thereof. RAM is, for example, DRAM (Dynamic RAM), SRAM (Static RAM), or a combination thereof.

ストレージ１０３は、ＯＳを含む各種のプログラム及びデータを記憶する。ストレージ１０３は、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＳＣＭ（Storage Class Memories）、又はこれらの組み合わせである。 The storage 103 stores various programs including an OS and data. The storage 103 is, for example, flash memory, HDD (Hard Disk Drive), SSD (Solid State Drive), SCM (Storage Class Memories), or a combination thereof.

通信Ｉ／Ｆ１０４は、情報処理装置１００を、ネットワークＮを介して外部装置に接続し、通信を制御するためのインタフェースである。通信Ｉ／Ｆ１０４は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、ＺｉｇＢｅｅ（登録商標）、Ｅｔｈｅｒｎｅｔ（登録商標）、又は光通信に準拠したアダプタであるが、これに限られない。 The communication I/F 104 is an interface for connecting the information processing device 100 to an external device via the network N and controlling communication. The communication I/F 104 is, for example, Bluetooth (registered trademark), Wi-Fi (registered trademark), ZigBee (registered trademark), Ethernet (registered trademark), or an adapter conforming to optical communication, but is not limited thereto. .

入出力Ｉ／Ｆ１０５は、情報処理装置１００に入力装置１０７及び出力装置１０８を接続するためのインタフェースである。入力装置１０７は、例えば、マウス、キーボード、タッチパネル、マイク、スキャナ、カメラ、各種センサ、操作ボタン、又はこれらの組み合わせである。出力装置１０８は、例えば、ディスプレイ、プロジェクタ、プリンタ、スピーカ、バイブレータ、又はこれらの組み合わせである。 The input/output I/F 105 is an interface for connecting the input device 107 and the output device 108 to the information processing apparatus 100 . The input device 107 is, for example, a mouse, keyboard, touch panel, microphone, scanner, camera, various sensors, operation buttons, or a combination thereof. Output device 108 is, for example, a display, projector, printer, speaker, vibrator, or a combination thereof.

ドライブ装置１０６は、記録メディア１０９のデータを読み書きする。ドライブ装置１０６は、例えば、磁気ディスクドライブ、光学ディスクドライブ、光磁気ディスクドライブ又はＳＤカードリーダである。記録メディア１０９は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＦＤ（Floppy Disk）、ＭＯ（Magneto-Optical disk）、ＢＤ（Blu-ray（登録商標） Disc）、ＵＳＢ（登録商標）メモリ、ＳＤカード、又はこれらの組み合わせである。 The drive device 106 reads and writes data on the recording medium 109 . Drive device 106 is, for example, a magnetic disk drive, an optical disk drive, a magneto-optical disk drive, or an SD card reader. The recording media 109 are, for example, CD (Compact Disc), DVD (Digital Versatile Disc), FD (Floppy Disk), MO (Magneto-Optical disk), BD (Blu-ray (registered trademark) Disc), USB (registered trademark). ) memory, SD card, or a combination thereof.

なお、本実施形態において、プログラムは、情報処理装置１００の製造段階でメモリ１０２又はストレージ１０３に書き込まれてもよいし、ネットワークＮを介して情報処理装置１００に提供されてもよいし、記録メディア１０９などの非一時的でコンピュータ読み取り可能な記録媒体を介して情報処理装置１００に提供されてもよい。 In this embodiment, the program may be written in the memory 102 or the storage 103 at the manufacturing stage of the information processing device 100, may be provided to the information processing device 100 via the network N, or may be stored in a recording medium. 109 or other non-transitory computer-readable recording medium.

＜機能構成＞
次に、異常検出装置１の機能構成について説明する。図３は、異常検出装置１の機能構成の一例を示す図である。図３に示すように、異常検出装置１は、通信部１１と、記憶部１２と、制御部１３と、を備える。 <Functional configuration>
Next, the functional configuration of the abnormality detection device 1 will be described. FIG. 3 is a diagram showing an example of the functional configuration of the abnormality detection device 1. As shown in FIG. As shown in FIG. 3 , the abnormality detection device 1 includes a communication section 11 , a storage section 12 and a control section 13 .

通信部１１は、通信Ｉ／Ｆ１０４により実現される。通信部１１は、ネットワークＮを介して、ユーザ端末２との間で情報の送受信を行う。また、通信部１１は、有線又は無線により、撮影装置３から対象画像ｉｍを受信する。 Communication unit 11 is implemented by communication I/F 104 . The communication unit 11 transmits and receives information to and from the user terminal 2 via the network N. FIG. Also, the communication unit 11 receives the target image im from the imaging device 3 by wire or wirelessly.

記憶部１２は、メモリ１０２及びストレージ１０３により実現される。記憶部１２は、対象画像情報１２１と、学習用画像情報１２２と、再学習用画像情報１２３と、異常検出モデル１２４と、異常分類モデル１２５と、検出結果情報１２６と、を記憶する。 The storage unit 12 is implemented by the memory 102 and storage 103 . The storage unit 12 stores target image information 121 , learning image information 122 , relearning image information 123 , anomaly detection model 124 , anomaly classification model 125 , and detection result information 126 .

対象画像情報１２１は、対象画像ｉｍに関する情報である。 The target image information 121 is information about the target image im.

図４は、対象画像情報１２１の一例を示す図である。図４の対象画像情報１２１は、情報項目として、「対象画像ＩＤ」と、「撮影日時」と、「画像データ」と、を含む。 FIG. 4 is a diagram showing an example of the target image information 121. As shown in FIG. The target image information 121 in FIG. 4 includes “target image ID”, “shooting date and time”, and “image data” as information items.

「対象画像ＩＤ」は、対象画像ｉｍの識別情報である。以下では、「対象画像ＩＤ」が「ｉｍＸＸＸ」である対象画像ｉｍを、対象画像ｉｍＸＸＸと称する。 “Target image ID” is identification information of the target image im. Below, the target image im whose "target image ID" is "imXXX" is referred to as target image imXXX.

「撮影日時」は、対象画像ｉｍを撮影装置３が撮影した日時である。図４の例では、対象画像ｉｍ００１の「撮影日時」は「２０２２／８／２２１５：００：５４」である。これは、対象画像ｉｍ００１が２０２２／８／２２の１５：００：５４に撮影されたことを示している。 “Photographing date and time” is the date and time when the target image im was captured by the imaging device 3 . In the example of FIG. 4, the "shooting date and time" of the target image im001 is "2022/8/22 15:00:54". This indicates that the target image im001 was captured at 15:00:54 on 8/22/2022.

「画像データ」は、対象画像ｉｍの画像データである。図４の例では、対象画像ｉｍ００１の「画像データ」は「ｉｍ００１．ｐｎｇ」である。これは、対象画像ｉｍ００１の画像データのファイル名がｉｍ００１．ｐｎｇであることを示している。 "Image data" is image data of the target image im. In the example of FIG. 4, the "image data" of the target image im001 is "im001.png". This is because the file name of the image data of the target image im001 is im001. png.

なお、対象画像情報１２１は、図４の例に限られない。対象画像情報１２１は、上記の情報項目の一部を含まなくてもよいし、上記以外の情報項目を含んでもよい。例えば、対象画像情報１２１は、対象画像ｉｍを撮影した撮影装置３に関する情報や、その撮影環境に関する情報を含んでもよい。 Note that the target image information 121 is not limited to the example in FIG. The target image information 121 may not include some of the above information items, or may include information items other than the above. For example, the target image information 121 may include information about the imaging device 3 that captured the target image im and information about its imaging environment.

図５は、対象画像ｉｍの一例を示す図である。図５の例では、異常検出対象ｔは、じゃがいもであり、じゃがいもの異常として、芽、傷及び変色を想定している。対象画像ｉｍ００１は、正常な（異常のない）じゃがいもを撮影した正常画像である。対象画像ｉｍ００２は、異常な（芽がある）じゃがいもを撮影した異常画像である。対象画像ｉｍ００３は、異常な（変色がある）じゃがいもを撮影した異常画像である。対象画像情報１２１には、このように正常画像及び異常画像の対象画像情報１２１が含まれる。 FIG. 5 is a diagram showing an example of the target image im. In the example of FIG. 5, the abnormality detection target t is a potato, and buds, scratches, and discoloration are assumed as the abnormality of the potato. A target image im001 is a normal image obtained by photographing a normal (abnormal) potato. The target image im002 is an abnormal image of an abnormal potato (with buds). A target image im003 is an abnormal image of an abnormal (discolored) potato. The target image information 121 thus includes the target image information 121 of the normal image and the abnormal image.

学習用画像情報１２２は、ＡＩモデルに学習させる学習用画像に関する情報である。学習用画像情報１２２は、第１学習用画像情報１２２１と、第２学習用画像情報１２２２と、を含む。 The learning image information 122 is information relating to a learning image for learning by the AI model. The learning image information 122 includes first learning image information 1221 and second learning image information 1222 .

第１学習用画像情報１２２１は、第１学習用画像ｉｍＬ１に関する情報である。第１学習用画像ｉｍＬ１は、異常検出モデル１２４に学習させるための学習用画像である。第１学習用画像ｉｍＬ１は、対象画像ｉｍの中から選択された正常画像である。 The first learning image information 1221 is information about the first learning image imL1. The first learning image imL1 is a learning image for making the abnormality detection model 124 learn. The first learning image imL1 is a normal image selected from the target images im.

図６は、第１学習用画像情報１２２１の一例を示す図である。図６の第１学習用画像情報１２２１は、情報項目として、「第１学習用画像ＩＤ」と、「対象画像ＩＤ」と、「撮影日時」と、「画像データ」と、を含む。 FIG. 6 is a diagram showing an example of the first learning image information 1221. As shown in FIG. The first learning image information 1221 in FIG. 6 includes “first learning image ID”, “target image ID”, “shooting date and time”, and “image data” as information items.

「第１学習用画像ＩＤ」は、第１学習用画像ｉｍＬ１の識別情報である。以下では、「第１学習用画像ＩＤ」が「ｉｍＬ１ＸＸ」である第１学習用画像ｉｍＬ１を、第１学習用画像ｉｍＬ１ＸＸと称する。 “First learning image ID” is identification information of the first learning image imL1. Hereinafter, the first learning image imL1 whose “first learning image ID” is “imL1XX” will be referred to as a first learning image imL1XX.

「対象画像ＩＤ」は、第１学習用画像ｉｍＬ１に対応する対象画像ｉｍの識別情報である。図６の例では、第１学習用画像ｉｍＬ１０１と対象画像ｉｍ００１とが対応する。これは、対象画像ｉｍ００１が第１学習用画像ｉｍＬ１として選択され、「第１学習用画像ＩＤ」として「ｉｍＬ１０１」を割り当てられたことを示している。 The “target image ID” is identification information of the target image im corresponding to the first learning image imL1. In the example of FIG. 6, the first learning image imL101 and the target image im001 correspond. This indicates that the target image im001 has been selected as the first learning image imL1 and has been assigned "imL101" as the "first learning image ID".

「撮影日時」は、第１学習用画像ｉｍＬ１を撮影装置３が撮影した日時を示す情報である。図６の例では、第１学習用画像ｉｍＬ１０１の「撮影日時」は「２０２２／８／２２１５：００：５４」である。これは、第１学習用画像ｉｍＬ１が２０２２／８／２２の１５：００：５４に撮影されたことを示している。第１学習用画像ｉｍＬ１の撮影日時は、対応する対象画像ｉｍの撮影日時と同じである。 “Photographing date and time” is information indicating the date and time when the first learning image imL1 was captured by the imaging device 3 . In the example of FIG. 6, the "shooting date and time" of the first learning image imL101 is "2022/8/22 15:00:54". This indicates that the first learning image imL1 was captured at 15:00:54 on 8/22/2022. The shooting date and time of the first learning image imL1 is the same as the shooting date and time of the corresponding target image im.

「画像データ」は、第１学習用画像ｉｍＬ１の画像データである。図６の例では、第１学習用画像ｉｍＬ１０１の「画像データ」は「ｉｍＬ１０１．ｐｎｇ」である。これは、第１学習用画像ｉｍＬ１０１の画像データのファイル名がｉｍＬ１０１．ｐｎｇであることを示している。第１学習用画像ｉｍＬ１の画像自体は、対応する対象画像ｉｍと同じである。 “Image data” is image data of the first learning image imL1. In the example of FIG. 6, the "image data" of the first learning image imL101 is "imL101.png". This is because the file name of the image data of the first learning image imL101 is imL101. png. The image itself of the first learning image imL1 is the same as the corresponding target image im.

なお、第１学習用画像情報１２２１は、図６の例に限られない。第１学習用画像情報１２２１は、上記の情報項目の一部を含まなくてもよいし、上記以外の情報項目を含んでもよい。例えば、第１学習用画像情報１２２１は、第１学習用画像ｉｍＬ１を撮影した撮影装置３に関する情報や、その撮影環境に関する情報を含んでもよい。 Note that the first learning image information 1221 is not limited to the example in FIG. The first learning image information 1221 may not include some of the above information items, or may include information items other than the above. For example, the first learning image information 1221 may include information about the imaging device 3 that captured the first learning image imL1 and information about its imaging environment.

図７は、第１学習用画像ｉｍＬ１の一例を示す図である。図７の例では、異常検出対象ｔは、じゃがいもであり、じゃがいもの異常として、芽、傷及び変色を想定している。第１学習用画像ｉｍＬ１０１～ｉｍＬ１０３は、正常な（異常のない）じゃがいもを撮影した正常画像である。第１学習用画像情報１２２１には、このように複数の正常画像の第１学習用画像情報１２２１が含まれる。 FIG. 7 is a diagram showing an example of the first learning image imL1. In the example of FIG. 7, the abnormality detection target t is a potato, and buds, scratches, and discoloration are assumed as the abnormality of the potato. The first learning images imL101 to imL103 are normal images of normal (abnormal) potatoes. The first learning image information 1221 thus includes the first learning image information 1221 of a plurality of normal images.

第２学習用画像情報１２２２は、第２学習用画像ｉｍＬ２に関する情報である。第２学習用画像ｉｍＬ２は、異常分類モデル１２５に学習させるための学習用画像である。第２学習用画像ｉｍＬ２は、対象画像ｉｍの中から選択された異常画像から、異常の部分をクリッピングした異常部分画像である。 The second learning image information 1222 is information about the second learning image imL2. The second learning image imL2 is a learning image for making the abnormality classification model 125 learn. The second learning image imL2 is an abnormal partial image obtained by clipping an abnormal portion from an abnormal image selected from the target image im.

図８は、第２学習用画像情報１２２２の一例を示す図である。図８の第２学習用画像情報１２２２は、情報項目として、「第２学習用画像ＩＤ」と、「対象画像ＩＤ」と、「撮影日時」と、「画像データ」と、「異常種類」と、を含む。 FIG. 8 is a diagram showing an example of the second learning image information 1222. As shown in FIG. The second learning image information 1222 in FIG. 8 includes information items such as “second learning image ID”, “target image ID”, “photographing date and time”, “image data”, and “abnormality type”. ,including.

「第２学習用画像ＩＤ」は、第２学習用画像ｉｍＬ２の識別情報である。以下では、「第２学習用画像ＩＤ」が「ｉｍＬ２ＸＸ」である第２学習用画像ｉｍＬ２を、第２学習用画像ｉｍＬ２ＸＸと称する。 “Second learning image ID” is identification information of the second learning image imL2. The second learning image imL2 whose “second learning image ID” is “imL2XX” is hereinafter referred to as a second learning image imL2XX.

「対象画像ＩＤ」は、第２学習用画像ｉｍＬ２に対応する対象画像ｉｍの識別情報である。図８の例では、第２学習用画像ｉｍＬ２０１と対象画像ｉｍ００２とが対応する。これは、対象画像ｉｍ００２が異常画像として選択され、その異常の部分をクリッピングした画像が第２学習用画像ｉｍＬ２であり、「第２学習用画像ＩＤ」として「ｉｍＬ２０１」を割り当てられたことを示している。 “Target image ID” is identification information of the target image im corresponding to the second learning image imL2. In the example of FIG. 8, the second learning image imL201 and the target image im002 correspond. This indicates that the target image im002 is selected as an abnormal image, the image obtained by clipping the abnormal portion is the second learning image imL2, and "imL201" is assigned as the "second learning image ID". ing.

「撮影日時」は、第２学習用画像ｉｍＬ２を撮影装置３が撮影した日時を示す情報である。図８の例では、第２学習用画像ｉｍＬ２０１の「撮影日時」は「２０２２／８／２２１５：００：５５」である。これは、第２学習用画像ｉｍＬ２が２０２２／８／２２の１５：００：５５に撮影されたことを示している。第２学習用画像ｉｍＬ２の撮影日時は、対応する対象画像ｉｍの撮影日時と同じである。 “Photographing date and time” is information indicating the date and time when the imaging device 3 captured the second learning image imL2. In the example of FIG. 8, the "shooting date and time" of the second learning image imL201 is "2022/8/22 15:00:55". This indicates that the second learning image imL2 was captured at 15:00:55 on 8/22/2022. The shooting date and time of the second learning image imL2 is the same as the shooting date and time of the corresponding target image im.

「画像データ」は、第２学習用画像ｉｍＬ２の画像データである。図８の例では、第２学習用画像ｉｍＬ２０１の「画像データ」は「ｉｍＬ２０１．ｐｎｇ」である。これは、第２学習用画像ｉｍＬ２０１の画像データのファイル名がｉｍＬ２０１．ｐｎｇであることを示している。第２学習用画像ｉｍＬ２の画像自体は、対応する対象画像ｉｍの異常部分と同じである。 “Image data” is image data of the second learning image imL2. In the example of FIG. 8, the "image data" of the second learning image imL201 is "imL201.png". This is because the file name of the image data of the second learning image imL201 is imL201. png. The image itself of the second learning image imL2 is the same as the abnormal portion of the corresponding target image im.

「異常種類」は、第２学習用画像ｉｍＬ２に含まれる異常の種類を示す情報である。図８の例では、第２学習用画像ｉｍＬ２０１の「異常種類」は「芽」である。これは、第２学習用画像ｉｍＬ２０１が、じゃがいもの芽の部分を撮影した画像であることを示している。 “Abnormality type” is information indicating the type of abnormality included in the second learning image imL2. In the example of FIG. 8, the "abnormal type" of the second learning image imL201 is "bud". This indicates that the second learning image imL201 is an image of a sprout of a potato.

なお、第２学習用画像情報１２２２は、図８の例に限られない。第２学習用画像情報１２２２は、上記の情報項目の一部を含まなくてもよいし、上記以外の情報項目を含んでもよい。例えば、第２学習用画像情報１２２２は、第２学習用画像ｉｍＬ２を撮影した撮影装置３に関する情報や、その撮影環境に関する情報を含んでもよい。 Note that the second learning image information 1222 is not limited to the example in FIG. The second learning image information 1222 may not include some of the above information items, or may include information items other than the above. For example, the second learning image information 1222 may include information about the imaging device 3 that captured the second learning image imL2 and information about its imaging environment.

図９は、第２学習用画像ｉｍＬ２の一例を示す図である。図９の例では、異常検出対象ｔは、じゃがいもであり、じゃがいもの異常として、芽、傷及び変色を想定している。第２学習用画像ｉｍＬ２０１は、じゃがいもの芽を撮影した異常部分画像である。第２学習用画像ｉｍＬ２０２は、じゃがいもの変色した部分を撮影した異常部分画像である。第２学習用画像ｉｍＬ２０３は、じゃがいもの傷を撮影した異常部分画像である。第２学習用画像情報１２２２には、このように複数の異常部分画像の第２学習用画像情報１２２２が含まれる。 FIG. 9 is a diagram showing an example of the second learning image imL2. In the example of FIG. 9, the abnormality detection target t is a potato, and buds, scratches, and discoloration are assumed as the abnormality of the potato. A second learning image imL201 is an abnormal partial image of a sprout of a potato. The second learning image imL202 is an image of an abnormal portion of a discolored portion of the potato. A second learning image imL203 is an abnormal partial image of a potato wound. The second learning image information 1222 thus includes the second learning image information 1222 of a plurality of abnormal partial images.

再学習用画像情報１２３は、ＡＩモデルに再学習させる再学習用画像に関する情報である。再学習用画像情報１２３は、第１再学習用画像情報１２３１と、第２再学習用画像情報１２３２と、を含む。 The re-learning image information 123 is information related to the re-learning image for re-learning the AI model. The relearning image information 123 includes first relearning image information 1231 and second relearning image information 1232 .

第１再学習用画像情報１２３１は、第１再学習用画像ｉｍｒＬ１に関する情報である。第１再学習用画像ｉｍｒＬ１は、異常検出モデル１２４に再学習させるための再学習用画像である。第１再学習用画像ｉｍｒＬ１は、前回の再学習処理（再学習処理がまだ１度も実行されていない場合は学習処理）の実行後に異常検出処理の対象となった対象画像ｉｍの中から選択された正常画像である。 The first relearning image information 1231 is information about the first relearning image imrL1. The first re-learning image imrL1 is a re-learning image for causing the abnormality detection model 124 to re-learn. The first re-learning image imrL1 is selected from target images im that have been subjected to anomaly detection processing after the previous re-learning process (learning process if the re-learning process has not been performed even once). normal image.

図１０は、第１再学習用画像情報１２３１の一例を示す図である。図１０の第１再学習用画像情報１２３１は、情報項目として、「第１再学習用画像ＩＤ」と、「対象画像ＩＤ」と、「撮影日時」と、「画像データ」と、を含む。 FIG. 10 is a diagram showing an example of the first re-learning image information 1231. As shown in FIG. The first relearning image information 1231 in FIG. 10 includes “first relearning image ID”, “target image ID”, “photographing date and time”, and “image data” as information items.

「第１再学習用画像ＩＤ」は、第１再学習用画像ｉｍｒＬ１の識別情報である。以下では、「第１再学習用画像ＩＤ」が「ｉｍｒＬ１ＸＸ」である第１再学習用画像ｉｍｒＬ１を、第１再学習用画像ｉｍｒＬ１ＸＸと称する。 “First relearning image ID” is identification information of the first relearning image imrL1. Hereinafter, the first relearning image imrL1 whose “first relearning image ID” is “imrL1XX” is referred to as first relearning image imrL1XX.

「対象画像ＩＤ」は、第１再学習用画像ｉｍｒＬ１に対応する対象画像ｉｍの識別情報である。図１０の例では、第１再学習用画像ｉｍｒＬ１０１と対象画像ｉｍ１０２とが対応する。これは、対象画像ｉｍ１０２が第１再学習用画像ｉｍｒＬ１として選択され、「第１再学習用画像ＩＤ」として「ｉｍｒＬ１０１」を割り当てられたことを示している。 “Target image ID” is identification information of the target image im corresponding to the first re-learning image imrL1. In the example of FIG. 10, the first relearning image imrL101 and the target image im102 correspond to each other. This indicates that the target image im102 has been selected as the first re-learning image imrL1, and "imrL101" has been assigned as the "first re-learning image ID".

「撮影日時」は、第１再学習用画像ｉｍｒＬ１を撮影装置３が撮影した日時を示す情報である。図１０の例では、第１再学習用画像ｉｍｒＬ１０１の「撮影日時」は「２０２２／１１／２３１３：００：０１」である。これは、第１再学習用画像ｉｍｒＬ１が２０２２／１１／２３の１３：００：０１に撮影されたことを示している。第１再学習用画像ｉｍｒＬ１の撮影日時は、対応する対象画像ｉｍの撮影日時と同じである。 “Photographing date and time” is information indicating the date and time when the imaging device 3 captured the first re-learning image imrL1. In the example of FIG. 10, the "shooting date and time" of the first relearning image imrL101 is "2022/11/23 13:00:01". This indicates that the first relearning image imrL1 was captured at 13:00:01 on 2022/11/23. The shooting date and time of the first relearning image imrL1 is the same as the shooting date and time of the corresponding target image im.

「画像データ」は、第１再学習用画像ｉｍｒＬ１の画像データである。図１０の例では、第１再学習用画像ｉｍｒＬ１０１の「画像データ」は「ｉｍｒＬ１０１．ｐｎｇ」である。これは、第１再学習用画像ｉｍｒＬ１０１の画像データのファイル名がｉｍｒＬ１０１．ｐｎｇであることを示している。第１再学習用画像ｉｍｒＬ１の画像自体は、対応する対象画像ｉｍと同じである。 "Image data" is the image data of the first relearning image imrL1. In the example of FIG. 10, the "image data" of the first re-learning image imrL101 is "imrL101.png". This is because the file name of the image data of the first re-learning image imrL101 is imrL101. png. The image itself of the first relearning image imrL1 is the same as the corresponding target image im.

なお、第１再学習用画像情報１２３１は、図１０の例に限られない。第１再学習用画像情報１２３１は、上記の情報項目の一部を含まなくてもよいし、上記以外の情報項目を含んでもよい。例えば、第１再学習用画像情報１２３１は、第１再学習用画像ｉｍｒＬ１を撮影した撮影装置３に関する情報や、その撮影環境に関する情報を含んでもよい。 Note that the first relearning image information 1231 is not limited to the example in FIG. The first relearning image information 1231 may not include some of the above information items, or may include information items other than the above. For example, the first relearning image information 1231 may include information about the imaging device 3 that captured the first relearning image imrL1 and information about its imaging environment.

図１１は、第１再学習用画像ｉｍｒＬ１の一例を示す図である。図１１の例では、異常検出対象ｔは、じゃがいもであり、じゃがいもの異常として、芽、傷及び変色を想定している。第１再学習用画像ｉｍｒＬ１０１～ｉｍｒＬ１０３は、正常な（異常のない）じゃがいもを撮影した正常画像である。第１再学習用画像情報１２３１には、このように複数の正常画像の第１再学習用画像情報１２３１が含まれる。 FIG. 11 is a diagram showing an example of the first relearning image imrL1. In the example of FIG. 11, the abnormality detection target t is a potato, and buds, scratches, and discoloration are assumed as the abnormality of the potato. The first relearning images imrL101 to imrL103 are normal images of normal (abnormal) potatoes. The first relearning image information 1231 thus includes the first relearning image information 1231 of a plurality of normal images.

第２再学習用画像情報１２３２は、第２再学習用画像ｉｍｒＬ２に関する情報である。第２再学習用画像ｉｍｒＬ２は、異常分類モデル１２５に再学習させるための再学習用画像である。第２再学習用画像ｉｍｒＬ２は、前回の学習処理又は再学習処理の実行後に異常検出処理の対象となった対象画像ｉｍの中から選択された異常画像から、異常の部分をクリッピングした異常部分画像である。 The second relearning image information 1232 is information about the second relearning image imrL2. The second re-learning image imrL2 is a re-learning image for causing the abnormality classification model 125 to re-learn. The second re-learning image imrL2 is an abnormal partial image obtained by clipping an abnormal portion from an abnormal image selected from the target image im that is the target of the abnormality detection process after the previous learning process or re-learning process is executed. is.

図１２は、第２再学習用画像情報１２３２の一例を示す図である。図１２の第２再学習用画像情報１２３２は、情報項目として、「第２再学習用画像ＩＤ」と、「対象画像ＩＤ」と、「撮影日時」と、「画像データ」と、「異常種類」と、を含む。 FIG. 12 is a diagram showing an example of the second relearning image information 1232. As shown in FIG. The second relearning image information 1232 in FIG. 12 includes information items of “second relearning image ID”, “target image ID”, “photographing date and time”, “image data”, and “abnormality type”. ", including.

「第２再学習用画像ＩＤ」は、第２再学習用画像ｉｍｒＬ２の識別情報である。以下では、「第２再学習用画像ＩＤ」が「ｉｍｒＬ２ＸＸ」である第２再学習用画像ｉｍｒＬ２を、第２再学習用画像ｉｍｒＬ２ＸＸと称する。 “Second relearning image ID” is identification information of the second relearning image imrL2. Below, the second relearning image imrL2 whose “second relearning image ID” is “imrL2XX” is referred to as a second relearning image imrL2XX.

「対象画像ＩＤ」は、第２再学習用画像ｉｍｒＬ２に対応する対象画像ｉｍの識別情報である。図１２の例では、第２再学習用画像ｉｍｒＬ２０１と対象画像ｉｍ１０１とが対応する。これは、対象画像ｉｍ１０１が異常画像として選択され、その異常の部分をクリッピングした画像が第２再学習用画像ｉｍｒＬ２であり、「第２再学習用画像ＩＤ」として「ｉｍｒＬ２０１」を割り当てられたことを示している。 “Target image ID” is identification information of the target image im corresponding to the second re-learning image imrL2. In the example of FIG. 12, the second relearning image imrL201 and the target image im101 correspond. This is because the target image im101 is selected as an abnormal image, the image obtained by clipping the abnormal portion is the second re-learning image imrL2, and "imrL201" is assigned as the "second re-learning image ID". is shown.

「撮影日時」は、第２再学習用画像ｉｍｒＬ２を撮影装置３が撮影した日時を示す情報である。図１２の例では、第２再学習用画像ｉｍｒＬ２０１の「撮影日時」は「２０２２／１１／２３１３：００：００」である。これは、第２再学習用画像ｉｍｒＬ２が２０２２／１１／２３の１３：００：００に撮影されたことを示している。第２再学習用画像ｉｍｒＬ２の撮影日時は、対応する対象画像ｉｍの撮影日時と同じである。 “Photographing date and time” is information indicating the date and time when the imaging device 3 captured the second relearning image imrL2. In the example of FIG. 12, the “picture date and time” of the second relearning image imrL201 is “2022/11/23 13:00:00”. This indicates that the second re-learning image imrL2 was captured at 13:00:00 on 2022/11/23. The shooting date and time of the second relearning image imrL2 is the same as the shooting date and time of the corresponding target image im.

「画像データ」は、第２再学習用画像ｉｍｒＬ２の画像データである。図１２の例では、第２再学習用画像ｉｍｒＬ２０１の「画像データ」は「ｉｍｒＬ２０１．ｐｎｇ」である。これは、第２再学習用画像ｉｍｒＬ２０１の画像データのファイル名がｉｍｒＬ２０１．ｐｎｇであることを示している。第２再学習用画像ｉｍｒＬ２の画像自体は、対応する対象画像ｉｍの異常部分と同じである。 "Image data" is the image data of the second relearning image imrL2. In the example of FIG. 12, the "image data" of the second re-learning image imrL201 is "imrL201.png". This is because the file name of the image data of the second re-learning image imrL201 is imrL201. png. The image itself of the second relearning image imrL2 is the same as the abnormal portion of the corresponding target image im.

「異常種類」は、第２再学習用画像ｉｍｒＬ２に含まれる異常の種類を示す情報である。図１２の例では、第２再学習用画像ｉｍｒＬ２０１の「異常種類」は「変色」である。これは、第２再学習用画像ｉｍｒＬ２０１が、じゃがいもの変色した部分を撮影した画像であることを示している。 “Abnormality type” is information indicating the type of abnormality included in the second re-learning image imrL2. In the example of FIG. 12, the "abnormal type" of the second re-learning image imrL201 is "discoloration". This indicates that the second re-learning image imrL201 is an image of a discolored portion of the potato.

なお、第２再学習用画像情報１２３２は、図１２の例に限られない。第２再学習用画像情報１２３２は、上記の情報項目の一部を含まなくてもよいし、上記以外の情報項目を含んでもよい。例えば、第２再学習用画像情報１２３２は、第２再学習用画像ｉｍｒＬ２を撮影した撮影装置３に関する情報や、その撮影環境に関する情報を含んでもよい。 Note that the second relearning image information 1232 is not limited to the example in FIG. 12 . The second relearning image information 1232 may not include some of the above information items, or may include information items other than the above. For example, the second relearning image information 1232 may include information about the imaging device 3 that captured the second relearning image imrL2 and information about its imaging environment.

図１３は、第２再学習用画像ｉｍｒＬ２の一例を示す図である。図１３の例では、異常検出対象ｔは、じゃがいもであり、じゃがいもの異常として、芽、傷及び変色を想定している。第２再学習用画像ｉｍｒＬ２０１は、じゃがいもの変色した部分を撮影した異常部分画像である。第２再学習用画像ｉｍｒＬ２０２は、じゃがいもの芽の部分を撮影した異常部分画像である。第２再学習用画像ｉｍｒＬ２０３は、じゃがいもの傷を撮影した異常部分画像である。第２再学習用画像情報１２３２には、このように複数の異常部分画像の第２再学習用画像情報１２３２が含まれる。 FIG. 13 is a diagram showing an example of the second relearning image imrL2. In the example of FIG. 13, the abnormality detection target t is a potato, and buds, scratches, and discoloration are assumed as the abnormality of the potato. The second relearning image imrL201 is an abnormal partial image obtained by photographing a discolored portion of the potato. The second re-learning image imrL202 is an abnormal partial image of a sprout of a potato. The second re-learning image imrL203 is an abnormal partial image of a potato flaw. The second relearning image information 1232 thus includes the second relearning image information 1232 of a plurality of abnormal partial images.

異常検出モデル１２４は、正常画像を学習することにより、対象画像ｉｍから異常検出対象ｔの異常を検出するように学習されたＡＩモデルである。異常検出モデル１２４は、対象画像ｉｍを入力されると、対象画像ｉｍに含まれる異常の有無を出力する。異常検出モデル１２４は、例えば、パッチコア（ＰａｔｃｈＣｏｒｅ）であるが、これに限られない。パッチコアについて、詳しくは後述する。異常検出モデル１２４として、正常画像を学習することにより異常を検出可能となる任意のＡＩモデルを利用できる。 The abnormality detection model 124 is an AI model trained to detect an abnormality in the abnormality detection target t from the target image im by learning normal images. When the target image im is input, the abnormality detection model 124 outputs the presence or absence of an abnormality included in the target image im. The anomaly detection model 124 is, for example, PatchCore, but is not limited to this. More on patch cores later. Any AI model that can detect anomalies by learning normal images can be used as the anomaly detection model 124 .

異常分類モデル１２５は、異常部分画像を学習することにより、異常部分画像から異常の種類を分類できるように学習されたＡＩモデルである。異常分類モデル１２５は、異常部分画像を入力されると、異常部分画像に含まれる異常の種類を出力する。異常分類モデル１２５は、例えば、ＣＮＮ（Convolutional Neural Network）であるが、これに限られない。異常分類モデル１２５として、異常部分画像を学習することにより異常の種類を分類可能となる任意のＡＩモデルを利用できる。 The abnormality classification model 125 is an AI model trained so as to classify the type of abnormality from the abnormal partial image by learning the abnormal partial image. When the abnormal partial image is input, the abnormality classification model 125 outputs the type of abnormality included in the abnormal partial image. The abnormality classification model 125 is, for example, a CNN (Convolutional Neural Network), but is not limited to this. As the abnormality classification model 125, any AI model that can classify types of abnormality by learning abnormal partial images can be used.

検出結果情報１２６は、対象画像ｉｍに対する異常の検出処理及び分類処理の結果を示す情報である。 The detection result information 126 is information indicating the results of abnormality detection processing and classification processing for the target image im.

図１４は、検出結果情報１２６の一例を示す図である。図１４の検出結果情報１２６は、情報項目として、「対象画像ＩＤ」と、「撮影日時」と、「画像データ」と、「異常」と、「異常種類」と、を含む。 FIG. 14 is a diagram showing an example of the detection result information 126. As shown in FIG. The detection result information 126 of FIG. 14 includes “target image ID”, “shooting date and time”, “image data”, “abnormality”, and “abnormality type” as information items.

「対象画像ＩＤ」は、異常の検出対象となった対象画像ｉｍの識別情報である。 The “target image ID” is identification information of the target image im that is the abnormality detection target.

「撮影日時」は、対象画像ｉｍを撮影装置３が撮影した日時を示す情報である。図１４の例では、対象画像ｉｍ１０１の「撮影日時」は「２０２２／１１／２３１３：００：００」である。これは、対象画像ｉｍ１０１が２０２２／１１／２３の１３：００：００に撮影されたことを示している。 “Photographing date and time” is information indicating the date and time when the target image im was captured by the imaging device 3 . In the example of FIG. 14, the "shooting date and time" of the target image im101 is "2022/11/23 13:00:00". This indicates that the target image im101 was captured at 13:00:00 on 2022/11/23.

「画像データ」は、対象画像ｉｍの画像データである。図１４の例では、対象画像ｉｍ１０１の「画像データ」は「ｉｍ１０１．ｐｎｇ」である。これは、対象画像ｉｍ１０１の画像データのファイル名がｉｍ１０１．ｐｎｇであることを示している。 "Image data" is image data of the target image im. In the example of FIG. 14, the "image data" of the target image im101 is "im101.png". This is because the file name of the image data of the target image im101 is im101. png.

「異常」は、対象画像ｉｍに含まれる異常の有無を示す情報である。図１４の例では、対象画像ｉｍ１０１の「異常」は「有」である。これは、対象画像ｉｍ１０１が異常を有する異常検出対象ｔを撮影した画像であることを示している。 "Abnormality" is information indicating the presence or absence of an abnormality included in the target image im. In the example of FIG. 14, the "abnormality" of the target image im101 is "presence". This indicates that the target image im101 is a photographed image of the abnormality detection target t having an abnormality.

「異常種類」は、対象画像ｉｍに含まれる異常の種類を示す情報である。図１４の例では、対象画像ｉｍ１０１の「異常種類」は「変色」である。これは、対象画像ｉｍ１０１が、変色した部分を有する異常検出対象ｔを撮影した画像であることを示している。 "Abnormality type" is information indicating the type of abnormality included in the target image im. In the example of FIG. 14, the "abnormal type" of the target image im101 is "discoloration". This indicates that the target image im101 is a photographed image of the abnormality detection target t having a discolored portion.

なお、検出結果情報１２６は、図１４の例に限られない。検出結果情報１２６は、上記の情報項目の一部を含まなくてもよいし、上記以外の情報項目を含んでもよい。例えば、検出結果情報１２６は、対象画像ｉｍを撮影した撮影装置３に関する情報や、その撮影環境に関する情報を含んでもよい。また、図１４の例では、検出結果情報１２６は、対象画像情報１２１を含むが、対象画像情報１２１と検出結果情報１２６とは別個に保存されてもよい。 Note that the detection result information 126 is not limited to the example in FIG. 14 . The detection result information 126 may not include some of the above information items, or may include information items other than the above. For example, the detection result information 126 may include information about the imaging device 3 that captured the target image im and information about its imaging environment. Also, in the example of FIG. 14, the detection result information 126 includes the target image information 121, but the target image information 121 and the detection result information 126 may be stored separately.

制御部１３は、プロセッサ１０１がメモリ１０２からプログラムを読み出して実行し、他のハードウェア構成と協働することにより実現される。制御部１３は、異常検出装置１の動作全体を制御する。制御部１３は、取得部１３１と、学習部１３２と、検出部１３３と、分類部１３４と、選択部１３５と、再学習部１３６と、を備える。 The control unit 13 is implemented by the processor 101 reading and executing a program from the memory 102 and cooperating with other hardware configurations. The control unit 13 controls the overall operation of the abnormality detection device 1 . The control unit 13 includes an acquisition unit 131 , a learning unit 132 , a detection unit 133 , a classification unit 134 , a selection unit 135 and a relearning unit 136 .

取得部１３１は、ユーザ端末２から対象画像ｉｍを取得し、対象画像情報１２１として記憶部１２に保存する。 The acquisition unit 131 acquires the target image im from the user terminal 2 and stores it in the storage unit 12 as target image information 121 .

学習部１３２は、学習用画像をＡＩモデルに学習させる。具体的には、学習部１３２は、第１学習用画像ｉｍＬ１を異常検出モデル１２４に学習させる。また、学習部１３２は、第２学習用画像ｉｍＬ２を異常分類モデル１２５に学習させる。 The learning unit 132 causes the AI model to learn the learning images. Specifically, the learning unit 132 causes the abnormality detection model 124 to learn the first learning image imL1. The learning unit 132 also causes the abnormality classification model 125 to learn the second learning image imL2.

検出部１３３は、異常検出モデル１２４を利用して、対象画像ｉｍに含まれる異常を検出する。具体的には、検出部１３３は、異常検出モデル１２４に対象画像ｉｍを入力し、異常検出モデル１２４が出力した異常の有無を、検出結果として取得し、検出結果情報１２６として記憶部１２に保存する。 The detection unit 133 uses the anomaly detection model 124 to detect an anomaly included in the target image im. Specifically, the detection unit 133 inputs the target image im to the abnormality detection model 124 , acquires the presence or absence of an abnormality output by the abnormality detection model 124 as a detection result, and stores it in the storage unit 12 as detection result information 126 . do.

分類部１３４は、検出部１３３により対象画像ｉｍに異常が検出された場合、異常分類モデル１２５を利用して、対象画像ｉｍに含まれる異常の種類を分類する。具体的には、分類部１３４は、異常が検出された対象画像ｉｍから異常の部分をクリッピングして異常部分画像を生成し、異常分類モデル１２５に異常部分画像を入力し、異常分類モデル１２５が出力した異常の種類を、分類結果として取得し、検出結果情報１２６として記憶部１２に保存する。 When the detection unit 133 detects an abnormality in the target image im, the classification unit 134 uses the abnormality classification model 125 to classify the type of abnormality included in the target image im. Specifically, the classification unit 134 generates an abnormal partial image by clipping an abnormal portion from the target image im in which an abnormality is detected, inputs the abnormal partial image to the abnormality classification model 125, and the abnormality classification model 125 The output type of abnormality is acquired as a classification result and stored in the storage unit 12 as the detection result information 126 .

選択部１３５は、対象画像ｉｍの中から、第１学習用画像ｉｍＬ１と、第２学習用画像ｉｍＬ２と、第１再学習用画像ｉｍｒＬ１と、第２再学習用画像ｉｍｒＬ２と、を選択する。選択部１３５は、記憶部１２に保存された対象画像ｉｍの中から自動的に第１学習用画像ｉｍＬ１を選択してもよいし、記憶部１２に保存された対象画像ｉｍをユーザに提示し、ユーザにより選択された対象画像ｉｍを第１学習用画像ｉｍＬ１として選択してもよい。第２学習用画像ｉｍＬ２、第１再学習用画像ｉｍｒＬ１及び第２再学習用画像ｉｍｒＬ２についても同様である。 The selection unit 135 selects the first learning image imL1, the second learning image imL2, the first relearning image imrL1, and the second relearning image imrL2 from the target images im. The selection unit 135 may automatically select the first learning image imL1 from among the target images im stored in the storage unit 12, or present the target images im stored in the storage unit 12 to the user. , the target image im selected by the user may be selected as the first learning image imL1. The same applies to the second learning image imL2, the first relearning image imrL1, and the second relearning image imrL2.

再学習部１３６は、再学習用画像をＡＩモデルに再学習させる。具体的には、再学習部１３６は、第１再学習用画像ｉｍｒＬ１を異常検出モデル１２４に再学習させる。また、再学習部１３６は、第２再学習用画像ｉｍｒＬ２を異常分類モデル１２５に再学習させる。 The re-learning unit 136 causes the AI model to re-learn the images for re-learning. Specifically, the re-learning unit 136 causes the abnormality detection model 124 to re-learn the first re-learning image imrL1. In addition, the relearning unit 136 causes the abnormality classification model 125 to relearn the second relearning image imrL2.

なお、異常検出装置１の機能構成は、上記の例に限られない。例えば、異常検出装置１は、上記の機能構成の一部を備え、残りをユーザ端末２が備えてもよい。また、異常検出装置１は、上記以外の機能構成を備えてもよい。また、異常検出装置１の各機能構成は、上記の通り、ソフトウェアにより実現されてもよいし、ＩＣチップ、ＳｏＣ（System on Chip）、ＬＳＩ（Large Scale Integration）、マイクロコンピュータ等のハードウェアによって実現されてもよい。 Note that the functional configuration of the abnormality detection device 1 is not limited to the above example. For example, the anomaly detection device 1 may include part of the above functional configuration, and the user terminal 2 may include the rest. Further, the abnormality detection device 1 may have functional configurations other than those described above. In addition, each functional configuration of the abnormality detection device 1 may be realized by software as described above, or by hardware such as an IC chip, SoC (System on Chip), LSI (Large Scale Integration), and microcomputer. may be

＜異常検出システム１０００が実行する学習処理＞
次に、異常検出システム１０００が実行する学習処理について説明する。図１５は、学習処理の一例を示すフローチャートである。以下では、異常検出システム１０００がベルトコンベアで搬送されるじゃがいも（異常検出対象ｔ）の異常を検出する場合を例に説明する。じゃがいもの異常は、芽、傷及び変色の３種類であるものとするが、異常はこれに限られない。 <Learning Processing Executed by Abnormality Detection System 1000>
Next, learning processing executed by the abnormality detection system 1000 will be described. FIG. 15 is a flowchart illustrating an example of learning processing. In the following, an example will be described in which the abnormality detection system 1000 detects an abnormality in a potato (an abnormality detection target t) conveyed by a belt conveyor. Abnormalities of potatoes are assumed to be three types of sprouts, scars, and discoloration, but the abnormalities are not limited to these.

（ステップＳ１０１）
まず、ユーザ端末２が、撮影装置３が予め撮影した複数の対象画像ｉｍを取得する（ステップＳ１０１）。対象画像ｉｍは、ベルトコンベアで搬送されるじゃがいもを撮影装置３で撮影した画像である。ここで取得する対象画像ｉｍは、正常画像及び異常画像を含む。 (Step S101)
First, the user terminal 2 acquires a plurality of target images im previously captured by the imaging device 3 (step S101). A target image im is an image of a potato conveyed by a belt conveyor, which is captured by the imaging device 3 . The target image im acquired here includes a normal image and an abnormal image.

（ステップＳ１０２）
次に、ユーザ端末２は、ユーザからの操作に応じて、対象画像ｉｍを選択画面に一覧表示する（ステップＳ１０２）。この選択画面は、対象画像ｉｍの中から、第１学習用画像ｉｍＬ１及び第２学習用画像ｉｍＬ２を選択するための画面である。ユーザは、選択画面に表示された対象画像ｉｍを参照して、これらの中から第１学習用画像ｉｍＬ１及び第２学習用画像ｉｍＬ２を選択する。 (Step S102)
Next, the user terminal 2 displays a list of the target images im on the selection screen according to the user's operation (step S102). This selection screen is a screen for selecting the first learning image imL1 and the second learning image imL2 from among the target images im. The user refers to the target images im displayed on the selection screen and selects the first learning image imL1 and the second learning image imL2 from among them.

図１６は、選択画面の一例を示す図である。図１６の選択画面は、対象画像領域Ａ１と、操作領域Ａ２と、を有する。 FIG. 16 is a diagram showing an example of a selection screen. The selection screen in FIG. 16 has a target image area A1 and an operation area A2.

対象画像領域Ａ１は、対象画像ｉｍを一覧表示する領域である。図１６の例では、対象画像ｉｍ００１～ｉｍ００６が表示されている。対象画像ｉｍ００１，ｉｍ００４，ｉｍ００５は正常画像であり、対象画像ｉｍ００２，ｉｍ００３，ｉｍ００６は異常画像である。 The target image area A1 is an area for displaying a list of target images im. In the example of FIG. 16, target images im001 to im006 are displayed. The target images im001, im004, and im005 are normal images, and the target images im002, im003, and im006 are abnormal images.

操作領域Ａ２は、選択画面の操作ボタンを表示する領域である。図１６の例では、正常ボタンＢ１と、異常ボタンＢ２～Ｂ４と、送信ボタンＢ５と、が表示されている。 The operation area A2 is an area for displaying the operation buttons of the selection screen. In the example of FIG. 16, a normal button B1, abnormal buttons B2 to B4, and a send button B5 are displayed.

正常ボタンＢ１は、正常画像を選択するためのボタンである。異常ボタンＢ２は、芽があるじゃがいもの対象画像ｉｍ（異常画像）を選択するためのボタンである。異常ボタンＢ３は、傷があるじゃがいもの対象画像ｉｍ（異常画像）を選択するためのボタンである。異常ボタンＢ４は、変色があるじゃがいもの対象画像ｉｍ（異常画像）を選択するためのボタンである。送信ボタンＢ５は、選択した対象画像ｉｍを異常検出装置１に送信するためのボタンである。 The normal button B1 is a button for selecting a normal image. The abnormal button B2 is a button for selecting a target image im (abnormal image) of a potato with sprouts. The abnormal button B3 is a button for selecting a target image im (abnormal image) of a potato with a flaw. The abnormal button B4 is a button for selecting a target image im of discolored potatoes (abnormal image). The send button B5 is a button for sending the selected target image im to the abnormality detection device 1 .

ユーザは、これらのボタンを操作して対象画像ｉｍをアノテーションし、第１学習用画像ｉｍＬ１及び第２学習用画像ｉｍＬ２を選択し、異常検出モデル１２４及び異常分類モデル１２５にそれぞれ学習させる。 The user operates these buttons to annotate the target image im, select the first learning image imL1 and the second learning image imL2, and make the abnormality detection model 124 and the abnormality classification model 125 learn respectively.

（ステップＳ１０３）
選択画面が表示されると、ユーザは、ユーザ端末２を操作して、対象画像領域Ａ１に表示された対象画像ｉｍの中から正常画像を第１学習用画像ｉｍＬ１として選択する（ステップＳ１０３）。 (Step S103)
When the selection screen is displayed, the user operates the user terminal 2 to select a normal image from among the target images im displayed in the target image area A1 as the first learning image imL1 (step S103).

図１７は、選択画面の一例を示す図である。図１７の例では、正常ボタンＢ１が選択された状態で、対象画像ｉｍ００１，ｉｍ００４，ｉｍ００５が選択されている。これは、ユーザが、対象画像ｉｍ００１，ｉｍ００４，ｉｍ００５を正常画像と判断し、第１学習用画像ｉｍＬ１として選択したことを示している。この状態でユーザが送信ボタンＢ５を選択すると、ユーザ端末２は、対象画像ｉｍ００１，ｉｍ００４，ｉｍ００５を第１学習用画像ｉｍＬ１として異常検出装置１に送信する。 FIG. 17 is a diagram showing an example of the selection screen. In the example of FIG. 17, target images im001, im004, and im005 are selected with the normal button B1 selected. This indicates that the user has determined that the target images im001, im004, and im005 are normal images and has selected them as the first learning image imL1. When the user selects the send button B5 in this state, the user terminal 2 sends the target images im001, im004, and im005 to the abnormality detection device 1 as the first learning image imL1.

（ステップＳ１０４）
異常検出装置１の取得部１３１は、ユーザ端末２が送信した第１学習用画像ｉｍＬ１を取得すると（ステップＳ１０４）、取得した第１学習用画像ｉｍＬ１に撮影日時などの情報を対応づけて、学習用画像情報１２２として記憶部１２に保存する（図６参照）。 (Step S104)
When acquiring the first learning image imL1 transmitted by the user terminal 2 (step S104), the acquisition unit 131 of the abnormality detection device 1 associates information such as the shooting date and time with the acquired first learning image imL1 to perform learning. The image information 122 is stored in the storage unit 12 (see FIG. 6).

（ステップＳ１０５）
その後、学習部１３２は、記憶部１２に保存された第１学習用画像ｉｍＬ１を異常検出モデル１２４に学習させる（ステップＳ１０５）。 (Step S105)
After that, the learning unit 132 causes the abnormality detection model 124 to learn the first learning image imL1 stored in the storage unit 12 (step S105).

ここで、パッチコアについて説明する。パッチコアは、画像データセット（例えば、ＩｍａｇｅＮｅｔ）を学習済みの画像認識モデル（例えば、ＲｅｓＮｅｔ）に正常画像を入力し、得られた中間層の局所的な特徴量（以下「パッチ特徴量」という。）をメモリバンクに保存し、メモリバンクに保存されたパッチ特徴量と、画像認識モデルに対象画像を入力して得られたパッチ特徴量と、の距離に基づいて、対象画像の異常を検出するものである。パッチ特徴量は、画像における位置情報を保持しているため、対象画像のエリアごとに異常の検出が行われる。すなわち、パッチコアでは、対象画像のエリアごとにパッチ特徴量間の距離が算出され、距離が閾値以上であるエリアが、異常のあるエリアとして検出される。パッチ特徴量間の距離は、エリアの異常度に相当し、対象画像上に異常度のヒートマップを表示することができる。 Here, the patch core will be explained. The patch core inputs a normal image to an image recognition model (eg, ResNet) that has already learned an image data set (eg, ImageNet), and obtains a local feature value of the intermediate layer (hereinafter referred to as "patch feature value"). ) is stored in a memory bank, and anomalies in the target image are detected based on the distance between the patch feature stored in the memory bank and the patch feature obtained by inputting the target image into the image recognition model. It is. Since the patch feature value holds position information in the image, abnormality detection is performed for each area of the target image. That is, in the patch core, the distance between the patch feature amounts is calculated for each area of the target image, and areas where the distance is equal to or greater than a threshold value are detected as abnormal areas. The distance between the patch feature amounts corresponds to the degree of abnormality of the area, and a heat map of the degree of abnormality can be displayed on the target image.

異常検出モデル１２４がパッチコアである場合、まず、学習済みの画像認識モデルを用意する。既存の学習済みの画像認識モデルを用意してもよいし、既存の画像認識モデルに画像データセットを学習させてもよい。次に、複数の第１学習用画像ｉｍＬ１を画像認識モデルに入力し、各第１学習用画像ｉｍＬ１のパッチ特徴量を取得し、メモリバンクに保存する。以上の工程がパッチコアの学習処理に相当し、画像認識モデル及びメモリバンクがパッチコアのＡＩモデル（異常検出モデル１２４）に相当する。 When the anomaly detection model 124 is a patch core, first, a trained image recognition model is prepared. An existing trained image recognition model may be prepared, or an existing image recognition model may be trained on the image data set. Next, a plurality of first learning images imL1 are input to the image recognition model, patch feature values of each first learning image imL1 are acquired, and stored in a memory bank. The above process corresponds to the learning process of the patch core, and the image recognition model and memory bank correspond to the AI model (abnormality detection model 124) of the patch core.

学習部１３２は、こうして得られた学習済みの異常検出モデル１２４を、記憶部１２に保存する。 The learning unit 132 stores the learned anomaly detection model 124 thus obtained in the storage unit 12 .

（ステップＳ１０６）
次に、ユーザは、ユーザ端末２を操作して、対象画像領域Ａ１に表示された対象画像ｉｍの中から異常画像を異常種類ごとに選択する（ステップＳ１０６）。 (Step S106)
Next, the user operates the user terminal 2 to select an abnormal image for each abnormality type from the target image im displayed in the target image area A1 (step S106).

（ステップＳ１０７）
そして、ユーザは、選択した異常画像の中の、異常を含む少なくとも一部を、第２学習用画像ｉｍＬ２としてクロッピングする（ステップＳ１０７）。 (Step S107)
Then, the user crops at least a portion of the selected abnormal image including the abnormality as a second learning image imL2 (step S107).

図１８は、選択画面の一例を示す図である。図１８の例では、異常ボタンＢ２が選択された状態で、対象画像ｉｍ００２が選択され、対象画像ｉｍ００２におけるじゃがいもの芽の部分がクロッピングされている。これは、ユーザが、対象画像ｉｍ００２をじゃがいもに芽がある異常画像と判断し、対象画像ｉｍ００２の芽の部分の画像を、異常種類「芽」の第２学習用画像ｉｍＬ２（異常部分画像）として選択したことを示している。この状態でユーザが送信ボタンＢ５を選択すると、ユーザ端末２は、対象画像ｉｍ００２のクロッピングされた芽の部分の画像を、第２学習用画像ｉｍＬ２として異常検出装置１に送信する。 FIG. 18 is a diagram showing an example of the selection screen. In the example of FIG. 18, the target image im002 is selected with the abnormality button B2 selected, and the potato sprout portion in the target image im002 is cropped. This is because the user determines that the target image im002 is an abnormal image with sprouts of potatoes, and sets the image of the sprout portion of the target image im002 as the second learning image imL2 (abnormal partial image) of the abnormality type "bud". indicates that you have made a selection. When the user selects the send button B5 in this state, the user terminal 2 sends the image of the cropped bud portion of the target image im002 to the abnormality detection device 1 as the second learning image imL2.

（ステップＳ１０８）
異常検出装置１の取得部１３１は、ユーザ端末２が送信した第２学習用画像ｉｍＬ２を取得すると（ステップＳ１０８）、取得した第２学習用画像ｉｍＬ２に撮影日時や異常種類などの情報を対応づけて、学習用画像情報１２２として記憶部１２に保存する（図８参照）。 (Step S108)
When the acquisition unit 131 of the abnormality detection device 1 acquires the second learning image imL2 transmitted by the user terminal 2 (step S108), it associates the acquired second learning image imL2 with information such as the shooting date and time and the type of abnormality. and stored in the storage unit 12 as the learning image information 122 (see FIG. 8).

（ステップＳ１０９）
その後、学習部１３２は、記憶部１２に保存された第２学習用画像ｉｍＬ２（異常部分画像）を異常分類モデル１２５に学習させる（ステップＳ１０９）。具体的には、第２学習用画像ｉｍＬ２の第２学習用画像情報１２２２を利用して、第２学習用画像ｉｍＬ２を入力すると、その異常種類を出力するように、異常分類モデル１２５に教示有り学習させる。異常の種類が芽、傷及び変色の３種類である場合、異常分類モデル１２５は、３種類のいずれかを出力する。異常分類モデル１２５が分類する異常種類の数は、任意に設定可能である。 (Step S109)
After that, the learning unit 132 causes the abnormality classification model 125 to learn the second learning image imL2 (abnormal partial image) stored in the storage unit 12 (step S109). Specifically, when the second learning image imL2 is input using the second learning image information 1222 of the second learning image imL2, the abnormality classification model 125 is instructed to output the abnormality type. let them learn If there are three kinds of abnormalities, sprout, scar, and discoloration, the abnormality classification model 125 outputs one of the three types. The number of types of anomalies classified by the anomaly classification model 125 can be set arbitrarily.

＜異常検出システム１０００が実行する検出処理＞
次に、異常検出システム１０００が実行する検出処理について説明する。図１９は、検出処理の一例を示すフローチャートである。以下では、異常検出システム１０００がベルトコンベアで搬送されるじゃがいも（異常検出対象ｔ）の異常を検出する場合を例に説明する。じゃがいもの異常は、芽、傷及び変色の３種類であるものとするが、異常はこれに限られない。また、記憶部１２には、学習用画像を学習済みの異常検出モデル１２４及び異常分類モデル１２５が保存されているものとする。また、異常検出モデル１２４は、パッチコアであるものとする。 <Detection Processing Executed by Abnormality Detection System 1000>
Next, detection processing executed by the abnormality detection system 1000 will be described. FIG. 19 is a flowchart illustrating an example of detection processing. In the following, an example will be described in which the abnormality detection system 1000 detects an abnormality in a potato (an abnormality detection target t) conveyed by a belt conveyor. Abnormalities of potatoes are assumed to be three types of sprouts, scars, and discoloration, but the abnormalities are not limited to these. It is also assumed that the storage unit 12 stores an abnormality detection model 124 and an abnormality classification model 125 that have been trained using images for learning. It is also assumed that the anomaly detection model 124 is a patch core.

（ステップＳ２０１）
まず、ユーザ端末２が、撮影装置３から対象画像ｉｍを取得し（ステップＳ２０１）、異常検出装置１に送信する。対象画像ｉｍは、ベルトコンベアで搬送されるじゃがいもを撮影装置３でリアルタイムに撮影した画像である。ここで取得する対象画像ｉｍは、正常画像及び異常画像を含む。撮影装置３が１秒ごとに対象画像ｉｍを撮影する場合、ユーザ端末２は新たに撮影された対象画像ｉｍを１秒ごとに取得し、異常検出装置１に送信する。なお、対象画像ｉｍの撮影間隔は任意に設定可能である。 (Step S201)
First, the user terminal 2 acquires the target image im from the imaging device 3 (step S201) and transmits it to the abnormality detection device 1. FIG. The target image im is an image of a potato conveyed by a belt conveyor, which is captured in real time by the imaging device 3 . The target image im acquired here includes a normal image and an abnormal image. When the imaging device 3 captures a target image im every second, the user terminal 2 acquires a new captured target image im every second and transmits it to the abnormality detection device 1 . Note that the shooting interval of the target image im can be arbitrarily set.

（ステップＳ２０２）
異常検出装置１の取得部１３１は、ユーザ端末２が送信した対象画像ｉｍを取得すると（ステップＳ２０２）、取得した対象画像ｉｍに撮影日時などの情報を対応づけて、検出結果情報１２６として記憶部１２に保存する（図１４参照）。なお、この時点では、「異常」及び「異常種類」の項目は空欄となる。 (Step S202)
When acquiring the target image im transmitted by the user terminal 2 (step S202), the acquisition unit 131 of the abnormality detection device 1 associates the acquired target image im with information such as the shooting date and time, and stores it as the detection result information 126 in the storage unit. 12 (see FIG. 14). At this point, the items "abnormality" and "abnormality type" are blank.

（ステップＳ２０３）
新たな対象画像ｉｍが保存されると、検出部１３３は、異常検出モデル１２４を利用して、この対象画像ｉｍから異常を検出する（ステップＳ２０３）。具体的には、検出部１３３は、パッチコアの画像認識モデルに対象画像ｉｍを入力し、この対象画像ｉｍのパッチ特徴量を取得する。次に、検出部１３３は、対象画像ｉｍのパッチ特徴量と、メモリバンクに保存されたパッチ特徴量と、の距離を、対象画像ｉｍのエリアごとに算出する。そして、検出部１３３は、パッチ特徴量間の距離が予め設定された閾値以上のエリアが存在する場合、対象画像ｉｍに異常があると判定する。すなわち、対象画像ｉｍの異常が検出される。距離が閾値以上のエリアが、対象画像ｉｍにおける異常の部分に相当する。 (Step S203)
When the new target image im is saved, the detection unit 133 detects an abnormality from this target image im using the abnormality detection model 124 (step S203). Specifically, the detection unit 133 inputs the target image im to the image recognition model of the patch core, and acquires the patch feature amount of the target image im. Next, the detection unit 133 calculates the distance between the patch feature amount of the target image im and the patch feature amount stored in the memory bank for each area of the target image im. Then, when there is an area where the distance between the patch feature amounts is equal to or greater than a preset threshold value, the detection unit 133 determines that the target image im is abnormal. That is, an abnormality in the target image im is detected. An area whose distance is equal to or greater than the threshold corresponds to an abnormal portion in the target image im.

（ステップＳ２０４）
対象画像ｉｍに異常が検出されなかった場合（ステップＳ２０４：ＮＯ）、処理はステップＳ２０６に進む。対象画像ｉｍに異常が検出された場合（ステップＳ２０４：ＹＥＳ）、処理はステップＳ２０５に進む。 (Step S204)
If no abnormality is detected in the target image im (step S204: NO), the process proceeds to step S206. If an abnormality is detected in the target image im (step S204: YES), the process proceeds to step S205.

（ステップＳ２０５）
分類部１３４は、異常分類モデル１２５を利用して、異常が検出された対象画像ｉｍに含まれる異常の種類を分類する（ステップＳ２０５）。まず、分類部１３４は、異常が検出された対象画像ｉｍの中から異常部分画像をクロッピングする。分類部１３４は、例えば、ステップＳ２０３で異常と判定されたエリアを覆う矩形の領域を、異常部分画像としてクロッピングすればよい。 (Step S205)
The classification unit 134 uses the abnormality classification model 125 to classify the type of abnormality included in the target image im in which the abnormality is detected (step S205). First, the classification unit 134 crops an abnormal partial image from the target image im in which an abnormality has been detected. For example, the classification unit 134 may crop a rectangular region covering the area determined to be abnormal in step S203 as an abnormal partial image.

図２０は、異常部分画像のクロッピング方法の一例を示す図である。図２０の左図は異常として芽を含む対象画像ｉｍ、中図はステップＳ２０３で算出された距離（異常度）をヒートマップとして可視化した図、右図は異常部分画像を示す図である。 FIG. 20 is a diagram showing an example of a cropping method for an abnormal partial image. In FIG. 20, the left diagram is a target image im including buds as an abnormality, the middle diagram is a diagram visualizing the distance (abnormality degree) calculated in step S203 as a heat map, and the right diagram is a diagram showing an abnormal partial image.

図２０に示すように、芽を含む対象画像ｉｍに対して異常検出処理が実行されると、芽を含む部分の距離（異常度）が高くなり、対象画像ｉｍから異常が検出される。中図では、芽を含む部分の色が濃く表示されている。分類部１３４は、異常として検出された部分、すなわち、中図の色が濃く表示された部分を含む矩形の領域を、異常部分画像としてクロッピングする（左図）。これにより、分類部１３４は、異常が検出された対象画像ｉｍから自動的に異常部分画像をクロッピングすることができる。なお、中図では、芽以外の部分の色も濃くなっているが、これらの距離（異常度）は閾値以下であり、異常としては検出されていない。 As shown in FIG. 20, when the abnormality detection process is performed on the target image im including the sprout, the distance (abnormality degree) of the portion including the sprout increases, and an abnormality is detected from the target image im. In the middle diagram, the color of the part containing the bud is dark. The classification unit 134 crops, as an abnormal partial image, a rectangular area that includes the portion detected as abnormal, that is, the dark colored portion in the middle diagram (left diagram). Thereby, the classification unit 134 can automatically crop the abnormal partial image from the target image im in which the abnormality is detected. In the middle diagram, the color of the part other than the bud is also dark, but the distance (abnormality degree) is below the threshold and is not detected as an abnormality.

分類部１３４は、こうして得られた異常部分画像を異常分類モデル１２５に入力し、異常分類モデル１２５が出力した異常種類を対象画像ｉｍの異常の種類として取得する。これにより、対象画像ｉｍの異常が分類される。図２０の例では、異常種類は芽に分類される。分類部１３４は、 The classification unit 134 inputs the abnormal partial image thus obtained to the abnormality classification model 125, and acquires the abnormality type output by the abnormality classification model 125 as the abnormality type of the target image im. As a result, anomalies in the target image im are classified. In the example of FIG. 20, anomaly types are classified as buds. The classification unit 134

（ステップＳ２０６）
その後、検出部１３３及び分類部１３４は、異常の検出結果及び分類結果を検出結果情報１２６として記憶部１２に保存する（ステップＳ２０６）。これにより、図１４のような検出結果情報１２６が生成される。 (Step S206)
After that, the detection unit 133 and the classification unit 134 store the abnormality detection result and the classification result in the storage unit 12 as the detection result information 126 (step S206). As a result, detection result information 126 as shown in FIG. 14 is generated.

（ステップＳ２０７）
次に、再学習部１３６は、異常検出モデル１２４及び異常分類モデル１２５の再学習タイミングが到来したか判定する（ステップＳ２０７）。再学習タイミングは、異常検出モデル１２４及び異常分類モデル１２５の再学習処理を実行するタイミングである。ここでは、異常検出モデル１２４及び異常分類モデル１２５の再学習タイミングが同じである場合を想定しているが、異なってもよい。再学習タイミングは、例えば、所定時間（例えば１時間、１日、１週間）ごとであってもよいし、対象画像ｉｍに対する異常検出処理を所定回数実行するごとであってもよいし、ユーザにより指定されたタイミングでもよいし、異常な対象画像ｉｍの割合又は各異常種類の割合が変化したタイミングであってもよい。割合が変化したタイミングは、例えば、過去の複数の期間でそれぞれ算出された複数の割合に基づいて設定された割合の範囲（以下「標準範囲」という。）を逸脱したタイミングである。例えば、過去の異常な対象画像ｉｍの割合に基づいて、異常な対象画像ｉｍの割合の標準範囲が１０％～２０％に設定された場合、ある期間の異常な対象画像ｉｍの割合が１０％未満又は２０％を超えると、再学習タイミングとなる。なお、標準範囲の設定方法は任意である。 (Step S207)
Next, the re-learning unit 136 determines whether or not it is time to re-learn the anomaly detection model 124 and the anomaly classification model 125 (step S207). The re-learning timing is the timing at which the anomaly detection model 124 and the anomaly classification model 125 are re-learned. Here, it is assumed that the anomaly detection model 124 and the anomaly classification model 125 are re-learned at the same timing, but they may be different. The re-learning timing may be, for example, every predetermined time (for example, 1 hour, 1 day, 1 week), every time the abnormality detection process for the target image im is executed a predetermined number of times, or depending on the user. It may be a specified timing, or a timing when the ratio of abnormal target images im or the ratio of each type of abnormality changes. The timing at which the ratio changes is, for example, the timing outside the ratio range (hereinafter referred to as “standard range”) set based on a plurality of ratios calculated in a plurality of past periods. For example, when the standard range of the ratio of abnormal target images im is set to 10% to 20% based on the ratio of past abnormal target images im, the ratio of abnormal target images im in a certain period is 10%. When it is less than or exceeds 20%, it is time to re-learn. Note that the method for setting the standard range is arbitrary.

再学習タイミングが到来していない場合（ステップＳ２０７：ＮＯ）、処理は終了する。再学習タイミングが到来した場合（ステップＳ２０７：ＹＥＳ）、処理はステップＳ２０８に進む。 If the re-learning timing has not arrived (step S207: NO), the process ends. If the re-learning timing has arrived (step S207: YES), the process proceeds to step S208.

（ステップＳ２０８）
再学習タイミングが到来した場合、選択部１３５は、検出結果情報１２６を参照して、第１再学習用画像ｉｍｒＬ１及び第２再学習用画像ｉｍｒＬ２を選択する（ステップＳ２０８）。 (Step S208)
When the re-learning timing arrives, the selection unit 135 refers to the detection result information 126 and selects the first re-learning image imrL1 and the second re-learning image imrL2 (step S208).

選択部１３５は、前回の再学習処理（再学習処理がまだ１度も実行されていない場合は学習処理）の実行後に異常検出処理の対象となった対象画像ｉｍのうち、異常が検出されなかった対象画像ｉｍ（正常画像）の中から少なくとも一部を第１再学習用画像ｉｍｒＬ１として選択する。図１４の例では、対象画像ｉｍ１０２，ｉｍ１０５，ｉｍ１０６の中から第１再学習用画像ｉｍｒＬ１が選択される。選択部１３５は、全ての正常画像を第１再学習用画像ｉｍｒＬ１として選択してもよいし、一部を第１再学習用画像ｉｍｒＬ１として選択してもよい。例えば、選択部１３５は、その対象画像ｉｍの異常度（パッチ特徴量間の距離）の最大値が閾値以下である対象画像ｉｍを、第１再学習用画像ｉｍｒＬ１として選択する。 The selection unit 135 determines whether an abnormality is not detected in the target image im subjected to the abnormality detection process after the previous relearning process (learning process if the relearning process has not been executed even once). At least a part of the obtained target images im (normal images) is selected as the first relearning image imrL1. In the example of FIG. 14, the first relearning image imrL1 is selected from the target images im102, im105, and im106. The selection unit 135 may select all normal images as the first relearning images imrL1, or may select some of them as the first relearning images imrL1. For example, the selection unit 135 selects, as the first relearning image imrL1, a target image im whose maximum value of the degree of abnormality (distance between patch feature amounts) of the target image im is equal to or less than a threshold.

また、選択部１３５は、前回の再学習処理（再学習処理がまだ１度も実行されていない場合は学習処理）の実行後に異常検出処理の対象となった対象画像ｉｍのうち、異常が検出された対象画像ｉｍ（異常画像）の中から少なくとも一部からクロッピングした異常部分画像を第２再学習用画像ｉｍｒＬ２として選択する。図１４の例では、対象画像ｉｍ１０１，ｉｍ１０３，ｉｍ１０４からクロッピングした異常部分画像が第２再学習用画像ｉｍｒＬ２として選択される。選択部１３５は、全ての異常画像からクロッピングした異常部分画像を第２再学習用画像ｉｍｒＬ２として選択してもよいし、一部を第２再学習用画像ｉｍｒＬ２として選択してもよい。異常部分画像をクロッピングする方法は上述の通りである（図２０参照）。 In addition, the selection unit 135 detects an abnormality in the target image im that has been subjected to the abnormality detection process after the previous relearning process (learning process if the relearning process has not been executed even once). An abnormal partial image obtained by cropping at least a part of the target image im (abnormal image) is selected as a second relearning image imrL2. In the example of FIG. 14, an abnormal partial image cropped from the target images im101, im103, and im104 is selected as the second re-learning image imrL2. The selection unit 135 may select an abnormal partial image cropped from all abnormal images as the second relearning image imrL2, or may select a part of the abnormal images as the second relearning image imrL2. The method of cropping the abnormal partial image is as described above (see FIG. 20).

選択部１３５は、こうして選択した第１再学習用画像ｉｍｒＬ１及び第２再学習用画像ｉｍｒＬ２に撮影日時などの情報を対応づけて、再学習画像情報１２３として記憶部１２に保存する。 The selection unit 135 associates the first relearning image imrL1 and the second relearning image imrL2 thus selected with information such as the shooting date and time, and stores the information as the relearning image information 123 in the storage unit 12 .

（ステップＳ２０９）
再学習部１３６は、第１再学習用画像ｉｍｒＬ１を異常検出モデル１２４に再学習させる（ステップＳ２０９）。具体的には、再学習部１３６は、複数の第１再学習用画像ｉｍｒＬ１を異常検出モデル１２４の画像認識モデルに入力し、各第１再学習用画像ｉｍｒＬ１のパッチ特徴量を取得し、メモリバンクに追加する。以上の工程が異常検出モデル１２４の再学習に相当し、これにより、異常検出モデル１２４が更新される。再学習部１３６は、再学習された異常検出モデル１２４を記憶部１２に保存する。 (Step S209)
The re-learning unit 136 causes the abnormality detection model 124 to re-learn the first re-learning image imrL1 (step S209). Specifically, the relearning unit 136 inputs the plurality of first relearning images imrL1 to the image recognition model of the abnormality detection model 124, acquires the patch feature amount of each first relearning image imrL1, Add to bank. The above process corresponds to re-learning of the abnormality detection model 124, and thereby the abnormality detection model 124 is updated. The re-learning unit 136 stores the re-learned anomaly detection model 124 in the storage unit 12 .

（ステップＳ２１０）
また、再学習部１３６は、第２再学習用画像ｉｍｒＬ２を異常分類モデル１２５に再学習させる（ステップＳ２１０）。具体的には、再学習部１３６は、複数の第２再学習用画像ｉｍｒＬ２と異常種類の組みを異常分類モデル１２５に再学習させる。これにより、異常分類モデル１２５が更新される。再学習部１３６は、再学習された異常分類モデル１２５を記憶部１２に保存する。 (Step S210)
In addition, the relearning unit 136 causes the abnormality classification model 125 to relearn the second relearning image imrL2 (step S210). Specifically, the re-learning unit 136 causes the abnormality classification model 125 to re-learn groups of a plurality of second re-learning images imrL2 and abnormality types. This updates the anomaly classification model 125 . The relearning unit 136 stores the relearned abnormality classification model 125 in the storage unit 12 .

＜まとめ＞
以上説明した通り、本実施形態によれば、異常検出システム１０００は、正常画像（第１学習用画像ｉｍＬ１）を学習することにより対象画像ｉｍから異常を検出するように学習された異常検出モデル１２４を利用して、複数の対象画像ｉｍから異常を検出する検出処理と、検出処理により異常が検出されなかった対象画像ｉｍの中の少なくとも一部を第１再学習用画像ｉｍｒＬ１として選択する選択処理と、第１再学習用画像ｉｍｒＬ１を異常検出モデル１２４に再学習させる再学習処理と、を含む異常検出処理を実行する。これにより、異常検出モデル１２４が常に新しい第１再学習用画像ｉｍｒＬ１により再学習されるため、対象画像ｉｍの撮影環境が時間に応じて変化したり、異常検出対象ｔが時期により外観が変化するもの（野菜など）であったりした場合であっても、異常検出モデル１２４による異常の検出精度の経時的な低下を抑制することができる。 <Summary>
As described above, according to the present embodiment, the abnormality detection system 1000 uses the abnormality detection model 124 learned to detect an abnormality from the target image im by learning a normal image (first learning image imL1). A detection process for detecting an abnormality from a plurality of target images im, and a selection process for selecting at least a part of the target images im in which no abnormality is detected by the detection process as a first re-learning image imrL1. and re-learning processing for causing the abnormality detection model 124 to re-learn the first re-learning image imrL1. As a result, the abnormality detection model 124 is constantly re-learned with the new first re-learning image imrL1, so that the imaging environment of the target image im changes with time, and the appearance of the abnormality detection target t changes with time. Even in the case of things (vegetables, etc.), it is possible to suppress deterioration in accuracy of abnormality detection by the abnormality detection model 124 over time.

例えば、図７の第１学習用画像ｉｍＬ１と、図１１の第１再学習用画像ｉｍｒＬ１と、はじゃがいもの色が全体的に異なっている。じゃがいものような野菜の場合、収穫する時期により、同じ品種であってもこのような色の変化が生じる場合がある。また、季節によって撮影環境の日照が変化し、このような色の変化が生じることもある。さらに、１日の間でも、時間帯によって日照条件などが変化し、色の変化が生じることもある。このような場合、図７の第１学習用画像ｉｍＬ１を学習した異常検出モデル１２４を利用し続けると、経時的に異常の検出精度が低下するおそれがある。 For example, the first learning image imL1 in FIG. 7 and the first re-learning image imrL1 in FIG. 11 have entirely different colors of potatoes. In the case of vegetables such as potatoes, such a change in color may occur depending on the time of harvest even for the same variety. In addition, the sunlight in the shooting environment changes depending on the season, and such a change in color may occur. Furthermore, even during one day, the sunshine conditions and the like change depending on the time of day, and the color may change. In such a case, if the abnormality detection model 124 that has learned the first learning image imL1 in FIG. 7 is continuously used, the abnormality detection accuracy may decrease over time.

一方で、このような外観の変化は、徐々に進行することが多い。言い換えると、短時間で急激に異常の検出精度が低下する可能性は低い。このため、本実施形態のように、異常検出モデル１２４を、常に新しい第１再学習用画像ｉｍｒＬ１で再学習することにより、このような外観の変化に応じた異常の検出精度の低下を抑制することができる。 On the other hand, such changes in appearance often progress gradually. In other words, it is unlikely that the abnormality detection accuracy will suddenly drop in a short period of time. Therefore, as in the present embodiment, by constantly re-learning the abnormality detection model 124 using the new first re-learning image imrL1, deterioration in the abnormality detection accuracy due to such changes in appearance can be suppressed. be able to.

なお、本実施形態では、対象画像ｉｍから異常が検出された場合、その異常の種類を分類したが、異常の種類の分類は行わなくてもよい。 In this embodiment, when an abnormality is detected from the target image im, the type of abnormality is classified, but the classification of the type of abnormality may not be performed.

また、本実施形態では、第１再学習用画像ｉｍｒＬ１及び第２再学習用画像ｉｍｒＬ２は、異常検出装置１により自動的に選択されたが、第１学習用画像ｉｍＬ１及び第２学習用画像ｉｍＬ２と同様に、ユーザにより選択されてもよい。 Further, in the present embodiment, the first relearning image imrL1 and the second relearning image imrL2 were automatically selected by the abnormality detection device 1, but the first learning image imL1 and the second learning image imL2 may be selected by the user as well.

例えば、ユーザ端末２は、ユーザからの操作に応じて、前回の再学習処理（再学習処理がまだ１度も実行されていない場合は学習処理）の実行後に異常検出処理の対象となった対象画像ｉｍを選択画面に一覧表示する。この選択画面は、対象画像ｉｍの中から、第１再学習用画像ｉｍｒＬ１及び第２再学習用画像ｉｍｒＬ２を選択するための画面である。ユーザは、選択画面に表示された対象画像ｉｍを参照して、これらの中から第１再学習用画像ｉｍｒＬ１及び第２再学習用画像ｉｍｒＬ２を選択すればよい（図１６～図１８参照）。選択部１３５は、ユーザにより選択された第１再学習用画像ｉｍｒＬ１及び第２再学習用画像ｉｍｒＬ２を、第１再学習用画像ｉｍｒＬ１及び第２再学習用画像ｉｍｒＬ２として選択し、記憶部１２に保存する。これにより、第１再学習用画像ｉｍｒＬ１及び第２再学習用画像ｉｍｒＬ２をユーザが選択することができる。 For example, the user terminal 2, in response to an operation from the user, after the execution of the previous re-learning process (learning process if the re-learning process has not been executed even once) target that has been subjected to the abnormality detection process A list of images im is displayed on the selection screen. This selection screen is a screen for selecting the first relearning image imrL1 and the second relearning image imrL2 from among the target images im. The user can select the first relearning image imrL1 and the second relearning image imrL2 from among the target images im displayed on the selection screen (see FIGS. 16 to 18). The selection unit 135 selects the first relearning image imrL1 and the second relearning image imrL2 selected by the user as the first relearning image imrL1 and the second relearning image imrL2, and stores them in the storage unit 12. save. This allows the user to select the first relearning image imrL1 and the second relearning image imrL2.

＜付記＞
本実施形態は、以下の開示を含む。 <Appendix>
This embodiment includes the following disclosure.

（付記１）
異常検出システムが実行する異常検出方法であって、
正常画像を学習することにより画像から異常を検出するように学習された異常検出モデルを利用して、複数の対象画像から異常を検出する検出処理と、
前記検出処理により異常が検出されなかった対象画像の中の少なくとも一部を第１再学習用画像として選択する選択処理と、
前記第１再学習用画像を前記異常検出モデルに再学習させる再学習処理と、
を含む異常検出方法。 (Appendix 1)
An anomaly detection method performed by an anomaly detection system,
detection processing for detecting anomalies from a plurality of target images using an anomaly detection model trained to detect anomalies from images by learning normal images;
a selection process of selecting at least a part of the target images in which no abnormality was detected by the detection process as a first re-learning image;
a re-learning process for re-learning the anomaly detection model with the first re-learning image;
anomaly detection methods including;

（付記２）
前記選択処理は、前回の再学習処理の実行後に検出処理の対象となった対象画像の中から前記第１再学習用画像を選択する
付記１に記載の異常検出方法。 (Appendix 2)
The anomaly detection method according to Supplementary Note 1, wherein the selection process selects the first relearning image from target images that have been subjected to the detection process after execution of the previous relearning process.

（付記３）
前記選択処理は、異常度が閾値以下の正常画像を前記第１再学習用画像として選択する
付記１に記載の異常検出方法。 (Appendix 3)
The abnormality detection method according to Supplementary Note 1, wherein the selection process selects a normal image having a degree of abnormality equal to or less than a threshold as the first re-learning image.

（付記４）
前記選択処理は、対象画像を一覧表示し、一覧表示された対象画像の中からユーザにより選択された対象画像を前記第１再学習用画像として選択する
付記１に記載の異常検出方法。 (Appendix 4)
The abnormality detection method according to Supplementary Note 1, wherein the selection process displays a list of target images, and selects a target image selected by a user from among the target images displayed in the list as the first re-learning image.

（付記５）
前記再学習処理は、所定時間ごとに実行される
付記１に記載の異常検出方法。 (Appendix 5)
The anomaly detection method according to appendix 1, wherein the re-learning process is performed at predetermined time intervals.

（付記６）
検出処理により対象画像から異常が検出された場合、異常部分画像を学習することにより異常画像に含まれる異常を分類するように学習された異常分類モデルを利用して、検出された異常を分類する分類処理を更に含む
付記１に記載の異常検出方法。 (Appendix 6)
When an abnormality is detected from the target image by the detection process, the detected abnormality is classified by using an abnormality classification model trained to classify the abnormality contained in the abnormal image by learning the abnormal partial image. 2. The anomaly detection method according to claim 1, further comprising a classification process.

（付記７）
前記選択処理は、前記検出処理により異常が検出された対象画像の中の少なくとも一部からクロッピングした異常部分画像を第２再学習用画像として選択し、
前記再学習処理は、前記第２再学習用画像を前記異常分類モデルに再学習させる
付記６に記載の異常検出方法。 (Appendix 7)
The selection process selects, as a second relearning image, an abnormal partial image obtained by cropping from at least a part of the target image in which the abnormality is detected by the detection process,
The anomaly detection method according to appendix 6, wherein the re-learning process causes the anomaly classification model to re-learn the second re-learning image.

（付記８）
コンピュータに、
正常画像を学習することにより画像から異常を検出するように学習された異常検出モデルを利用して、複数の対象画像から異常を検出する検出処理と、
前記検出処理により異常が検出されなかった対象画像の中の少なくとも一部を第１再学習用画像として選択する選択処理と、
前記第１再学習用画像を前記異常検出モデルに再学習させる再学習処理と、
を含む異常検出方法を実行させるためのプログラム。 (Appendix 8)
to the computer,
detection processing for detecting anomalies from a plurality of target images using an anomaly detection model trained to detect anomalies from images by learning normal images;
a selection process of selecting at least a part of the target images in which no abnormality was detected by the detection process as a first re-learning image;
a re-learning process for re-learning the anomaly detection model with the first re-learning image;
A program for executing an anomaly detection method including

（付記９）
正常画像を学習することにより画像から異常を検出するように学習された異常検出モデルを利用して、複数の対象画像から異常を検出する検出部と、
前記検出部により異常が検出されなかった対象画像の中の少なくとも一部を第１再学習用画像として選択する選択部と、
前記第１再学習用画像を前記異常検出モデルに再学習させる再学習部と、
を含む異常検出システム。 (Appendix 9)
a detection unit that detects anomalies from a plurality of target images using an anomaly detection model trained to detect anomalies from images by learning normal images;
a selection unit that selects, as a first relearning image, at least a portion of the target images in which no abnormality was detected by the detection unit;
a re-learning unit that causes the anomaly detection model to re-learn the first re-learning image;
anomaly detection system including;

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The embodiments disclosed this time are illustrative in all respects and should be considered not restrictive. The scope of the present invention is indicated by the scope of the claims rather than the above-described meaning, and is intended to include all modifications within the scope and meaning equivalent to the scope of the claims. In addition, the present invention is not limited to the above-described embodiments, but can be modified in various ways within the scope of the claims, and can be obtained by appropriately combining technical means disclosed in different embodiments. Embodiments are also included in the technical scope of the present invention.

１：異常検出装置
２：ユーザ端末
３：撮影装置
１１：通信部
１２：記憶部
１３：制御部
１２１：対象画像情報
１２２：学習用画像情報
１２３：再学習用画像情報
１２４：異常検出モデル
１２５：異常分類モデル
１２６：検出結果情報
１３１：取得部
１３２：学習部
１３３：検出部
１３４：分類部
１３５：選択部
１３６：再学習部 1: Abnormality detection device 2: User terminal 3: Imaging device 11: Communication unit 12: Storage unit 13: Control unit 121: Target image information 122: Learning image information 123: Re-learning image information 124: Abnormality detection model 125: Abnormal classification model 126: Detection result information 131: Acquisition unit 132: Learning unit 133: Detection unit 134: Classification unit 135: Selection unit 136: Re-learning unit

Claims

異常検出システムが実行する異常検出方法であって、
正常画像を学習することにより画像から異常を検出するように学習された異常検出モデルを利用して、複数の対象画像から異常を検出する検出処理と、
前記検出処理により異常が検出されなかった対象画像の中の少なくとも一部を第１再学習用画像として選択する選択処理と、
前記第１再学習用画像を前記異常検出モデルに再学習させる再学習処理と、
を含み、
前記選択処理は、前回の再学習処理の実行後に検出処理の対象となった対象画像の中から前記第１再学習用画像を選択する
異常検出方法。 An anomaly detection method performed by an anomaly detection system,
detection processing for detecting anomalies from a plurality of target images using an anomaly detection model trained to detect anomalies from images by learning normal images;
a selection process of selecting at least a part of the target images in which no abnormality was detected by the detection process as a first re-learning image;
a re-learning process for re-learning the anomaly detection model with the first re-learning image;
including
In the abnormality detection method, the selection process selects the first re-learning image from among the target images subjected to the detection process after the execution of the previous re-learning process.

前記選択処理は、異常度が閾値以下の正常画像を前記第１再学習用画像として選択する
請求項１に記載の異常検出方法。 2. The abnormality detection method according to claim 1, wherein the selection process selects a normal image whose degree of abnormality is equal to or less than a threshold as the first re-learning image.

前記選択処理は、対象画像を一覧表示し、一覧表示された対象画像の中からユーザにより選択された対象画像を前記第１再学習用画像として選択する
請求項１に記載の異常検出方法。 2. The anomaly detection method according to claim 1, wherein the selection process displays a list of target images, and selects a target image selected by a user from among the target images displayed in the list as the first re-learning image.

前記再学習処理は、所定時間ごとに実行される
請求項１に記載の異常検出方法。 2. The abnormality detection method according to claim 1, wherein said re-learning process is executed at predetermined time intervals.

検出処理により対象画像から異常が検出された場合、異常部分画像を学習することにより異常画像に含まれる異常を分類するように学習された異常分類モデルを利用して、検出された異常を分類する分類処理を更に含む
請求項１に記載の異常検出方法。 When an abnormality is detected from the target image by the detection process, the detected abnormality is classified by using an abnormality classification model trained to classify the abnormality contained in the abnormal image by learning the abnormal partial image. 2. The anomaly detection method according to claim 1, further comprising a classification process.

前記選択処理は、前記検出処理により異常が検出された対象画像の中の少なくとも一部からクロッピングした異常部分画像を第２再学習用画像として選択し、
前記再学習処理は、前記第２再学習用画像を前記異常分類モデルに再学習させる
請求項５に記載の異常検出方法。 The selection process selects, as a second relearning image, an abnormal partial image obtained by cropping from at least a part of the target image in which the abnormality is detected by the detection process,
6. The abnormality detection method according to claim 5 , wherein the re-learning process causes the abnormality classification model to re-learn the second re-learning image.

コンピュータに、
正常画像を学習することにより画像から異常を検出するように学習された異常検出モデルを利用して、複数の対象画像から異常を検出する検出処理と、
前記検出処理により異常が検出されなかった対象画像の中の少なくとも一部を第１再学習用画像として選択する選択処理と、
前記第１再学習用画像を前記異常検出モデルに再学習させる再学習処理と、
を含み、
前記選択処理は、前回の再学習処理の実行後に検出処理の対象となった対象画像の中から前記第１再学習用画像を選択する
異常検出方法を実行させるためのプログラム。 to the computer,
detection processing for detecting anomalies from a plurality of target images using an anomaly detection model trained to detect anomalies from images by learning normal images;
a selection process of selecting at least a part of the target images in which no abnormality was detected by the detection process as a first re-learning image;
a re-learning process for re-learning the anomaly detection model with the first re-learning image;
including
The selection process is a program for executing an anomaly detection method of selecting the first re-learning image from among the target images subjected to the detection process after execution of the previous re-learning process.

正常画像を学習することにより画像から異常を検出するように学習された異常検出モデルを利用して、複数の対象画像から異常を検出する検出部と、
前記検出部により異常が検出されなかった対象画像の中の少なくとも一部を第１再学習用画像として選択する選択部と、
前記第１再学習用画像を前記異常検出モデルに再学習させる再学習部と、
を含み、
前記選択部は、前回の再学習処理の実行後に検出処理の対象となった対象画像の中から前記第１再学習用画像を選択する
異常検出システム。 a detection unit that detects anomalies from a plurality of target images using an anomaly detection model trained to detect anomalies from images by learning normal images;
a selection unit that selects, as a first relearning image, at least a portion of the target images in which no abnormality was detected by the detection unit;
a re-learning unit that causes the anomaly detection model to re-learn the first re-learning image;
including
The anomaly detection system, wherein the selection unit selects the first re-learning image from among the target images subjected to the detection processing after the execution of the previous re-learning processing.