JP7473886B2 - Training data creation system, training data creation method, and trained model - Google Patents

Description

本発明は、学習データ作成システム、学習データ作成方法、および学習済みモデルに関する。 The present invention relates to a training data creation system, a training data creation method, and a trained model.

炎を判定する炎検知装置が開発されている（特許文献１参照）。この炎検知装置は、撮像素子によって監視対象を撮像して得られた画像から炎を判定する。 A flame detection device that detects flames has been developed (see Patent Document 1). This flame detection device detects flames from images obtained by capturing an image of a monitored object using an image sensor.

また、近年では人工知能（ＡＩ：Artificial Intelligence）の技術を用いた画像認識手段を取り入れたシステムの開発が様々な分野で進められている。この技術を用いれば、例えば多数の教師データを学習モデルに入力して学習させることで、撮像した画像から火の発生を検知する学習済みモデルを作成することができる。 In recent years, the development of systems that incorporate image recognition methods using artificial intelligence (AI) technology has been progressing in various fields. Using this technology, for example, it is possible to create a trained model that can detect the outbreak of a fire from captured images by inputting a large amount of training data into the learning model and having it learn.

特開２００３－２７００３７号公報JP 2003-270037 A

しかし、精度の高い学習済みモデルを作成するためには膨大な数の教師データが必要であり、そのような膨大な数の教師データを作成するためにはとても多くの労力を要する。そのため、精度の高い学習済みモデルを作成するのが困難であった。 However, creating a highly accurate trained model requires a huge amount of training data, and creating such a huge amount of training data requires a huge amount of effort. This makes it difficult to create a highly accurate trained model.

このような観点から、本発明は、学習データの作成に要する労力を抑えることができる学習データ作成システム、学習データ作成方法、および当該学習データ作成方法によって作成した学習データを用いて作成した学習済みモデルを提供する。 From this perspective, the present invention provides a training data creation system and a training data creation method that can reduce the effort required to create training data, and a trained model created using training data created by the training data creation method.

前記課題を解決するため、本発明に係る学習データ作成システムは、画像データから火の検知を行う学習モデルに入力する教師データを作成する学習データ作成システムである。この学習データ作成システムは、撮像手段と、取得手段と、第一作成手段とを備える。
撮像手段は、監視対象の第一画像および前記第一画像と同時刻に撮影したものであって当該第一画像よりも撮像時の光量を抑えた第二画像を撮像する。
取得手段は、前記監視対象における火の存在を示す存在情報を、画像認識手段を用いて前記第二画像から取得する。
第一作成手段は、前記第一画像に前記存在情報をラベルとして関連付けた第一教師データを作成する。 In order to achieve the above object, a learning data creation system according to the present invention is a learning data creation system that creates teacher data to be input to a learning model for detecting fire from image data. The learning data creation system includes an imaging means, an acquisition means, and a first creation means.
The imaging means captures a first image of the monitored object and a second image that is captured at the same time as the first image and has a lower amount of light than the first image.
The acquisition means acquires presence information indicating the presence of a fire in the monitored object from the second image using the image recognition means.
The first creation means creates first teacher data in which the presence information is associated with the first image as a label.

前記第一画像は、前記監視対象の状況および前記火の範囲を目視可能であるのがよい。また、前記第二画像は、前記火の範囲のみを目視可能であるのがよい。 The first image preferably allows the situation of the monitored object and the extent of the fire to be visually observed. Also, the second image preferably allows only the extent of the fire to be visually observed.

本発明に係る学習データ作成システムにおいては、撮影時に光量を抑えることによって火が第二画像に鮮明に写し出される。そのため、撮影時に光量を抑えていない第一画像から画像認識手段を用いて火の存在を判定するのに比べて、第二画像から火の存在の判定を行うのが容易である。したがって、第二画像から取得した火の存在を示す存在情報の間違いが少なく、存在情報をラベルとして関連付けた第一教師データの精度が高い。その結果、第一教師データの作成に要する労力を抑えることができる。 In the learning data creation system according to the present invention, the fire is clearly depicted in the second image by suppressing the amount of light when photographing. Therefore, it is easier to determine the presence of a fire from the second image compared to determining the presence of a fire using an image recognition means from the first image in which the amount of light is not suppressed when photographing. Therefore, there are fewer errors in the presence information indicating the presence of a fire obtained from the second image, and the accuracy of the first teacher data in which the presence information is associated as a label is high. As a result, the effort required to create the first teacher data can be reduced.

前記取得手段は、火が写る範囲を示す範囲情報を前記第二画像からさらに取得し、前記第一作成手段は、前記第一画像に前記存在情報および前記範囲情報をラベルとして関連付けた第一教師データを作成してもよい。 The acquisition means may further acquire range information indicating the range in which the fire is captured from the second image, and the first creation means may create first teacher data in which the presence information and the range information are associated as labels with the first image.

このようにすると、火が写る範囲を示す範囲情報を付した第一教師データを容易に作成することができる。 In this way, it is easy to create first teacher data that includes range information indicating the range in which the fire is captured.

前記撮像手段は、前記第一画像を撮像する第一カメラと、前記第一カメラの上方または下方に配置されており前記第二画像を撮像する第二カメラと、前記第一カメラの側方に配置されており前記第二画像を撮像する第三カメラと、を有するのがよい。
前記取得手段は、前記第二カメラが撮像した前記第二画像から前記第一画像における火の左右方向の範囲を特定し、前記第三カメラが撮像した前記第二画像から前記第一画像における火の上下方向の範囲を特定する。 The imaging means preferably has a first camera for capturing the first image, a second camera arranged above or below the first camera for capturing the second image, and a third camera arranged to the side of the first camera for capturing the second image.
The acquisition means determines the left-right range of the fire in the first image from the second image captured by the second camera, and determines the up-down range of the fire in the first image from the second image captured by the third camera.

このようにすると、火が写る範囲を簡単な計算によって特定できるので、火が写る範囲を示す範囲情報を付した第一教師データをさらに容易に作成することができる。 In this way, the range in which the fire is reflected can be identified by a simple calculation, making it even easier to create first teaching data that includes range information indicating the range in which the fire is reflected.

前記第二画像に少なくとも前記存在情報をラベルとして関連付けた第二教師データを作成する第二作成手段をさらに備えるのがよい。 It is preferable to further include a second creation means for creating second teacher data in which at least the presence information is associated with the second image as a label.

このようにすると、第一教師データと同様に、存在情報をラベルとして関連付けた第二教師データの作成に要する労力を抑えることができる。 In this way, it is possible to reduce the effort required to create second training data that associates presence information as labels, similar to the first training data.

前記課題を解決するため、本発明に係る学習データ作成方法は、画像データから火の検知を行う学習モデルに入力する教師データを作成する学習データ作成方法である。この学習データ作成方法では、撮像ステップと、取得ステップと、第一作成ステップとを実行する。
撮像ステップでは、監視対象の第一画像および前記第一画像と同時刻に撮影したものであって当該第一画像よりも撮像時の光量を抑えた第二画像を撮像する。
取得ステップでは、前記監視対象における火の存在を示す存在情報を、画像認識手段を用いて前記第二画像から取得する。
第一作成ステップでは、前記第一画像に前記存在情報をラベルとして関連付けた第一教師データを作成する。 In order to solve the above problems, a learning data creation method according to the present invention is a learning data creation method for creating teacher data to be input to a learning model for detecting fire from image data. This learning data creation method includes an imaging step, an acquisition step, and a first creation step.
In the imaging step, a first image of the monitored object and a second image that is taken at the same time as the first image and has a lower amount of light than the first image are captured.
In the acquisition step, presence information indicating the presence of a fire in the monitored object is acquired from the second image using an image recognition means.
In the first creation step, first teacher data is created by associating the presence information with the first image as a label.

本発明に係る学習データ作成方法においては、撮影時に光量を抑えることによって火が第二画像に鮮明に写し出される。そのため、撮影時に光量を抑えていない第一画像から画像認識手段を用いて火の存在を判定するのに比べて、第二画像から火の存在の判定を行うのが容易である。したがって、第二画像から取得した火の存在を示す存在情報の間違いが少なく、存在情報をラベルとして関連付けた第一教師データの精度が高い。その結果、第一教師データの作成に要する労力を抑えることができる。 In the learning data creation method according to the present invention, the fire is clearly depicted in the second image by suppressing the amount of light when photographing. Therefore, it is easier to determine the presence of a fire from the second image compared to determining the presence of a fire using an image recognition means from a first image in which the amount of light is not suppressed when photographing. Therefore, there are fewer errors in the presence information indicating the presence of a fire obtained from the second image, and the accuracy of the first teacher data in which the presence information is associated as a label is high. As a result, the effort required to create the first teacher data can be reduced.

学習データ作成方法によって作成した前記第一教師データを用いて教師あり学習を行って、火の検知を行う処理をコンピュータに実行させるための学習済みモデルを作成するのがよい。 It is preferable to perform supervised learning using the first teacher data created by the learning data creation method to create a trained model for causing a computer to execute a process for detecting fire.

本発明によれば、学習データの作成に要する労力を抑えることができる。 The present invention reduces the effort required to create training data.

本発明の第１実施形態に係る学習データ作成システムを含む総合監視システムの概略構成図である。1 is a schematic configuration diagram of an integrated monitoring system including a learning data creation system according to a first embodiment of the present invention. 本発明の第１実施形態に係る撮像手段を説明するための図であって、（ａ）は第一画像のイメージであり、（ｂ）は第二画像のイメージである。1A and 1B are diagrams for explaining an imaging means according to a first embodiment of the present invention, in which FIG. 1A is an image of a first image, and FIG. 1B is an image of a second image. ローカル端末の機能構成図である。FIG. 2 is a functional configuration diagram of a local terminal. クラウドシステムの機能構成図である。FIG. 2 is a functional configuration diagram of a cloud system. 本発明の第１実施形態に係る学習データ作成方法を説明するための図である。FIG. 2 is a diagram for explaining a learning data creation method according to the first embodiment of the present invention. 本発明の第２実施形態に係る学習データ作成システムを含む総合監視システムの概略構成図である。1 is a schematic configuration diagram of an integrated monitoring system including a learning data creation system according to a second embodiment of the present invention. FIG. 本発明の第２実施形態に係る撮像手段を説明するための図であって、（ａ）は撮像手段の正面図であり、（ｂ）は撮像手段を構成する各カメラの視界のイメージである。11A and 11B are diagrams for explaining an imaging means according to a second embodiment of the present invention, in which FIG. 11A is a front view of the imaging means, and FIG. 11B is an image of the field of view of each camera constituting the imaging means. ローカル端末の機能構成図である。FIG. 2 is a functional configuration diagram of a local terminal. クラウドシステムの機能構成図である。FIG. 2 is a functional configuration diagram of a cloud system. 本発明の第２実施形態に係る学習データ作成方法を説明するための図である。FIG. 11 is a diagram for explaining a learning data creation method according to a second embodiment of the present invention.

以下、本発明の実施をするための形態を、適宜図面を参照しながら詳細に説明する。各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、参照する図面において、本発明を構成する部材の寸法は、説明を明確にするために誇張して表現されている場合がある。なお、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。 Below, the form for implementing the present invention will be described in detail with reference to the drawings as appropriate. Each figure is merely a schematic illustration to the extent that the present invention can be fully understood. Therefore, the present invention is not limited to only the illustrated examples. Also, in the drawings referred to, the dimensions of the components constituting the present invention may be exaggerated in order to clarify the explanation. In addition, in each figure, common or similar components are given the same reference numerals, and duplicate explanations thereof will be omitted.

［第１実施形態］
＜第１実施形態に係る学習データ作成システムを含む総合監視システムの構成＞
図１を参照して、第１実施形態に係る総合監視システムＳＡについて説明する。図１は、総合監視システムＳＡの概略構成図である。総合監視システムＳＡは、各々の現場に設置される消防システム１Ａ－１，１Ａ－２，・・，１Ａ－Ｎ（Ｎ≧２）と、クラウドシステム２Ａと、ユーザ端末３とを備える。消防システム１Ａ－１，１Ａ－２，・・，１Ａ－Ｎの構成は同様であるので、以下ではまとめて「消防システム１Ａ」と称する場合がある。 [First embodiment]
<Configuration of an integrated monitoring system including a learning data creation system according to the first embodiment>
A comprehensive monitoring system SA according to the first embodiment will be described with reference to Fig. 1. Fig. 1 is a schematic configuration diagram of the comprehensive monitoring system SA. The comprehensive monitoring system SA includes firefighting systems 1A-1, 1A-2, ..., 1A-N (N >= 2) installed at each site, a cloud system 2A, and a user terminal 3. Since the firefighting systems 1A-1, 1A-2, ..., 1A-N have the same configuration, they may be collectively referred to as "firefighting system 1A" below.

（消防システムについて）
消防システム１Ａは、火の発生を監視するとともに火が発生した場合に自動で消火するシステムである。消防システム１Ａは、火の発生を監視する監視対象や監視目的を限定せずに、様々な状況における火の発生の監視および消火に利用することができる。ここでの火には、火花や炎などの火災の原因になるものが広く含まれる。火は、光や熱を発生する。 (About the fire protection system)
The firefighting system 1A is a system that monitors the occurrence of a fire and automatically extinguishes the fire when it occurs. The firefighting system 1A can be used to monitor the occurrence of a fire and extinguish the fire in various situations without limiting the monitoring target or monitoring purpose of the fire. The fire here broadly includes things that can cause a fire, such as sparks and flames. Fire generates light and heat.

図１に示すように、本実施形態では、消防システム１Ａを用いて、廃棄物処理施設に設置される破砕機Ｋを監視する場合について説明し、破砕機Ｋにおける火（特に、火花）の発生を検知する。破砕機Ｋにはベルトコンベアを介して廃棄物が搬送されてくる。消防システム１Ａによれば、作業員が破砕機Ｋを目視により常時監視することなしに、破砕機Ｋで発生する火を検知できる。 As shown in FIG. 1, in this embodiment, a fire protection system 1A is used to monitor a crusher K installed in a waste treatment facility, and the occurrence of a fire (particularly sparks) in the crusher K is detected. Waste is transported to the crusher K via a belt conveyor. The fire protection system 1A makes it possible to detect a fire occurring in the crusher K without an operator having to constantly visually monitor the crusher K.

図１に示すように、消防システム１Ａは、撮像手段１０Ａと、ローカル端末２０Ａと、制御装置３０と、消防用設備４０とを備える。なお、図１に示す消防システム１Ａの構成はあくまで例示であり、図１とは異なる構成にすることもできる。 As shown in FIG. 1, the firefighting system 1A includes an imaging means 10A, a local terminal 20A, a control device 30, and firefighting equipment 40. Note that the configuration of the firefighting system 1A shown in FIG. 1 is merely an example, and the configuration may be different from that shown in FIG. 1.

撮像手段１０Ａは、監視対象である破砕機Ｋを撮像し、破砕機Ｋの画像（映像でもよい）を作成する。撮像手段１０Ａは、第一カメラ１１と第二カメラ１２とを備える。第一カメラ１１および第二カメラ１２は、デジタルカメラであって同じ機種であるのがよい。第一カメラ１１および第二カメラ１２は同期しており（同時に撮像することが可能であり）、同時刻の破砕機Ｋの状態を撮像できる。第一カメラ１１および第二カメラ１２は、監視対象を同じ場所（つまり、同じ角度および同じ距離）から撮像できるように設置されるのがよい。第一カメラ１１と第二カメラ１２とは上下方向に並べて配置されている。第一カメラ１１および第二カメラ１２の光軸は、平行である。第一カメラ１１および第二カメラ１２は、監視を行うのに十分な解像度（例えば、８００万画素以上）を有しているのがよい。また、映像を撮影する場合、第一カメラ１１および第二カメラ１２は、監視を行うのに十分な程度の連続撮影が可能であるのがよい（例えば、１秒間に数十枚の撮影が可能であるのがよい）。なお、詳細は後記するが、第１実施形態では火の位置の特定は問題としないので、第一カメラ１１と第二カメラ１２とが必ずしも同じ機種でなくてもよく、また同じ場所に設置されていなくてもよい（つまり、撮影するタイミングの同期が取れていればよい）。 The imaging means 10A captures an image of the crusher K, which is the object of monitoring, and creates an image (or a video) of the crusher K. The imaging means 10A includes a first camera 11 and a second camera 12. The first camera 11 and the second camera 12 are preferably digital cameras of the same model. The first camera 11 and the second camera 12 are synchronized (capable of capturing images simultaneously), and can capture images of the state of the crusher K at the same time. The first camera 11 and the second camera 12 are preferably installed so that they can capture images of the object of monitoring from the same location (i.e., the same angle and the same distance). The first camera 11 and the second camera 12 are arranged side by side in the vertical direction. The optical axes of the first camera 11 and the second camera 12 are parallel. The first camera 11 and the second camera 12 preferably have a resolution sufficient for monitoring (e.g., 8 million pixels or more). In addition, when capturing video, the first camera 11 and the second camera 12 preferably are capable of continuous shooting sufficient for monitoring (e.g., capable of capturing several tens of images per second). Although details will be described later, in the first embodiment, identifying the location of the fire is not an issue, so the first camera 11 and the second camera 12 do not necessarily have to be the same model, and they do not necessarily have to be installed in the same location (in other words, they only need to be synchronized in terms of the timing of taking pictures).

第一カメラ１１は、監視対象の第一画像を撮像する。第一画像は、監視対象の状況が分かる程度に鮮明な画像である。第一画像は、監視対象の状況および火の範囲を目視可能であるのが望ましい。第一カメラ１１は、例えば発生する火の輪郭や色の特徴を出せるように各種のパラメータが設定されている。第一カメラ１１を自動モード（自動補正あり）に設定して第一画像を撮像してもよい。 The first camera 11 captures a first image of the monitored object. The first image is clear enough to allow the situation of the monitored object to be understood. It is desirable that the first image allows the situation of the monitored object and the extent of the fire to be visually observed. Various parameters are set for the first camera 11 so that, for example, the outline and color characteristics of the occurring fire can be captured. The first camera 11 may be set in automatic mode (with automatic correction) to capture the first image.

第二カメラ１２は、監視対象の第二画像を撮像する。第二画像は、発生した火が鮮明な画像である。第二画像は、火の範囲のみを目視可能であるのが望ましい。第二カメラ１２は、例えば光量を抑えるように各種のパラメータが設定されている（例えば、絞り値、露光時間など）。そのため、第二カメラ１２を手動モード（自動補正なし）に設定して第二画像を撮像するのがよい。第二画像は、第一画像に比べて暗い画像になる。以下では、第一画像を「明るい画像」と呼び、「第二画像」を「暗い画像」と呼ぶ場合がある。なお、第一カメラ１１と第二カメラ１２とは、撮像範囲の設定が同じになっているのがよい。 The second camera 12 captures a second image of the monitored object. The second image is a clear image of the fire. It is desirable that only the area of the fire is visible in the second image. Various parameters are set in the second camera 12, for example, to reduce the amount of light (e.g., aperture value, exposure time, etc.). For this reason, it is preferable to set the second camera 12 to manual mode (no automatic correction) and capture the second image. The second image is darker than the first image. In the following, the first image may be referred to as the "bright image" and the "second image" may be referred to as the "dark image". It is desirable that the first camera 11 and the second camera 12 have the same imaging range settings.

図２（ａ）に第一画像Ｐ１のイメージを示し、図２（ｂ）に第二画像Ｐ２のイメージを示す。図２に示す第一画像Ｐ１および第二画像Ｐ２には、破砕機Ｋ、廃棄物Ｈ、発生した火Ｆなどが写っている。明るい画像である第一画像Ｐ１では、破砕機Ｋや廃棄物Ｈが鮮明に写っているので、相対的に火Ｆが分かりづらくなっている。一方、暗い画像である第二画像Ｐ２では、破砕機Ｋや廃棄物Ｈが鮮明に写っていないので（例えば、薄暗い状態）、相対的に火Ｆが分かりやすくなっている。 Figure 2(a) shows an image of the first image P1, and Figure 2(b) shows an image of the second image P2. The first image P1 and second image P2 shown in Figure 2 show the crusher K, waste H, and the fire F that has started. In the first image P1, which is a bright image, the crusher K and waste H are clearly visible, making the fire F relatively difficult to see. On the other hand, in the second image P2, which is a dark image, the crusher K and waste H are not clearly visible (e.g., in a dim state), making the fire F relatively easy to see.

図１に示すローカル端末２０Ａは、情報処理装置であって消防システム１Ａを管理している。ローカル端末２０Ａは、例えばパーソナルコンピュータである。ローカル端末２０Ａは、撮像手段１０Ａに接続されており、撮像手段１０Ａから第一画像および第二画像を受信する。ローカル端末２０Ａには、火を検知するプログラム（例えば、学習済みモデル）が格納されており、第一画像および第二画像の少なくとも何れか一方を用いて火を検知する。どの画像を用いて火の検知を行うかは事前に設定されている。 The local terminal 20A shown in FIG. 1 is an information processing device that manages the firefighting system 1A. The local terminal 20A is, for example, a personal computer. The local terminal 20A is connected to the imaging means 10A and receives a first image and a second image from the imaging means 10A. The local terminal 20A stores a program (for example, a trained model) for detecting fire, and detects fire using at least one of the first image and the second image. It is set in advance which image is to be used to detect fire.

ローカル端末２０Ａは、予め決められた条件に従って（例えば、所定時間内に規定回数を超えて火を検知したなど）、消火や警報などの対応を行うか否かを判定する。ローカル端末２０Ａは、制御装置３０に接続されており、消火や警報などの対応を制御装置３０に対して指示する。また、ローカル端末２０Ａは、Ｅメールの送信機能を有しており、予め決められた相手に火の発生を通知する。また、ローカル端末２０Ａは、クラウドシステム２に接続されており、第一画像および第二画像や火の発生に関する情報をクラウドシステム２Ａに送信する。 The local terminal 20A determines whether to take action such as extinguishing the fire or issuing an alarm according to predetermined conditions (for example, if a fire is detected more than a specified number of times within a specified time). The local terminal 20A is connected to the control device 30, and instructs the control device 30 to take action such as extinguishing the fire or issuing an alarm. The local terminal 20A also has an email sending function, and notifies a predetermined recipient of the outbreak of a fire. The local terminal 20A is also connected to the cloud system 2, and sends the first image, the second image, and information related to the outbreak of a fire to the cloud system 2A.

図１に示す制御装置３０は、例えばＰＬＣ（Programmable Logic Controller）制御盤である。制御装置３０は、ローカル端末２０Ａおよび消防用設備４０に接続されており、ローカル端末２０Ａからの指示に従って、消防用設備４０を動作させる。なお、ローカル端末２０Ａと制御装置３０とが一つの装置として構成されていてもよい。その場合、ローカル端末２０Ａは、例えば消防用設備４０に直接指示を送信する。 The control device 30 shown in FIG. 1 is, for example, a PLC (Programmable Logic Controller) control panel. The control device 30 is connected to the local terminal 20A and the firefighting equipment 40, and operates the firefighting equipment 40 according to instructions from the local terminal 20A. The local terminal 20A and the control device 30 may be configured as a single device. In that case, the local terminal 20A transmits instructions directly to the firefighting equipment 40, for example.

図１に示す消防用設備４０は、火が発生した場合に動作して火災への対応を行う装置である。消防用設備４０は、例えば消火設備４１と、警報設備４２とを備える。消火設備４１は、例えばスプリンクラーであって発生した火を消火する。警報設備４２は、例えばスピーカーや無線機であって、廃棄物処理施設の作業員に対して避難を促す。 The firefighting equipment 40 shown in FIG. 1 is a device that operates when a fire breaks out and responds to the fire. The firefighting equipment 40 includes, for example, a fire extinguishing equipment 41 and an alarm equipment 42. The fire extinguishing equipment 41 is, for example, a sprinkler, and extinguishes the fire that breaks out. The alarm equipment 42 is, for example, a speaker or a walkie-talkie, and alerts workers at the waste treatment facility to evacuate.

図１に示すクラウドシステム２Ａは、総合監視システムＳＡを管理している。クラウドシステム２Ａは、ローカル端末２０Ａおよびユーザ端末３に接続されている。クラウドシステム２Ａは、例えば監視対象ごとにデータベースを構築しており、ローカル端末２０Ａから受信した第一画像および第二画像を管理している。 The cloud system 2A shown in FIG. 1 manages the comprehensive monitoring system SA. The cloud system 2A is connected to a local terminal 20A and a user terminal 3. The cloud system 2A, for example, builds a database for each monitored object, and manages the first image and the second image received from the local terminal 20A.

クラウドシステム２Ａは、第一画像および第二画像を教師データとして教師あり学習によって学習済みモデルを作成する機能を有している。クラウドシステム２Ａで学習された最新の学習済みモデルは、ローカル端末２０Ａに送信され、ローカル端末２０Ａの学習済みモデルは定期的に更新される。学習データの作成方法および学習方法については後述する。 The cloud system 2A has a function of creating a trained model through supervised learning using the first image and the second image as training data. The latest trained model trained in the cloud system 2A is transmitted to the local terminal 20A, and the trained model in the local terminal 20A is periodically updated. The method of creating the training data and the training method will be described later.

図１に示すユーザ端末３は、例えば廃棄物処理施設を管理するユーザが操作する端末である。ユーザ端末３は、クラウドシステム２に接続されており、クラウドシステム２が収集した監視対象の情報を取得可能である。ユーザは、ユーザ端末３を用いて自身が管理する廃棄物処理施設に設置される破砕機Ｋの情報を確認できる。 The user terminal 3 shown in FIG. 1 is, for example, a terminal operated by a user who manages a waste treatment facility. The user terminal 3 is connected to the cloud system 2 and can obtain information on monitored objects collected by the cloud system 2. The user can use the user terminal 3 to check information on the crusher K installed in the waste treatment facility that the user manages.

（ローカル端末について）
図３を参照して、ローカル端末２０Ａが有する機能について説明する。図３は、ローカル端末２０Ａの機能構成図である。
ローカル端末２０Ａは、主に、入力手段２１と、取得手段２２Ａと、火検知手段２３Ａと、制御手段２４と、出力手段２５とを備えている。ローカル端末２０Ａが備えるこれらの機能は、ＣＰＵ（Central Processing Unit）によるプログラム実行処理や、専用回路等により実現される。なお、図３に示すローカル端末２０Ａの各機能の分類は、説明の便宜上のものであって、本発明を限定するものではない。 (Regarding local terminals)
The functions of the local terminal 20A will be described with reference to Fig. 3. Fig. 3 is a functional configuration diagram of the local terminal 20A.
The local terminal 20A mainly includes an input unit 21, an acquisition unit 22A, a fire detection unit 23A, a control unit 24, and an output unit 25. These functions of the local terminal 20A are realized by a program execution process by a CPU (Central Processing Unit), a dedicated circuit, etc. The classification of the functions of the local terminal 20A shown in Fig. 3 is for convenience of explanation and does not limit the present invention.

入力手段２１は、明るい画像である第一画像Ｐ１（図２（ａ）参照）および暗い画像である第二画像Ｐ２（図２（ｂ）参照）をローカル端末２０Ａ内に取り込むための機能である。入力手段２１は、例えば入力インタフェースを含んで構成されており、撮像手段１０Ａから第一画像Ｐ１および第二画像Ｐ２を受信し、受信した第一画像Ｐ１および第二画像Ｐ２を図示しない記憶手段に格納する。 The input means 21 is a function for importing a first image P1 (see FIG. 2(a)), which is a bright image, and a second image P2 (see FIG. 2(b)), which is a dark image, into the local terminal 20A. The input means 21 is configured to include, for example, an input interface, receives the first image P1 and the second image P2 from the imaging means 10A, and stores the received first image P1 and second image P2 in a storage means (not shown).

取得手段２２Ａは、教師データのラベルとなる情報を取得する機能である。取得手段２２Ａは、画像認識手段を用いて第二画像から教師データのラベルとなる情報を取得する。ラベルとなる情報は、検知する火に関する情報であればよく、学習する内容に応じて決定される。本実施形態では、火の検知を行う学習モデルを作成するので、ラベルとなる情報は火の存在を示す存在情報（火のあり／なし情報）である。 The acquisition means 22A is a function for acquiring information that will become the labels of the training data. The acquisition means 22A acquires information that will become the labels of the training data from the second image using the image recognition means. The label information only needs to be information about the fire to be detected, and is determined according to the content to be learned. In this embodiment, a learning model that detects fire is created, so the label information is presence information indicating the presence of a fire (information about whether or not there is a fire).

本実施形態に係る取得手段２２Ａは、画像認識手段を用いて第二画像に火が存在するか否か（火が写っているか否か）を判定する。火の存在を判定する画像認識手段の種類は特に限定されず、様々な方法を用いることができる。例えば火を検知するプログラムを開発してそれを画像認識手段として用いてもよいし、後述する第二画像から火を検知する第二学習済みモデルＭＡｂを画像認識手段として用いてもよい。以下では、学習済みモデルによる画像認識を特に「ＡＩ（Artificial Intelligence）画像認識」と呼び、開発したプログラムによる画像認識を特に「非ＡＩ画像認識」と呼ぶことにする。 The acquisition means 22A according to this embodiment uses image recognition means to determine whether or not a fire exists in the second image (whether or not a fire is captured). The type of image recognition means for determining the presence of a fire is not particularly limited, and various methods can be used. For example, a program for detecting fire may be developed and used as the image recognition means, or a second trained model MAb for detecting fire from the second image, which will be described later, may be used as the image recognition means. Hereinafter, image recognition using a trained model will be specifically referred to as "AI (Artificial Intelligence) image recognition", and image recognition using a developed program will be specifically referred to as "non-AI image recognition".

非ＡＩ画像認識は、従来から知られている一般物体認識の技術を用いたものであってよい。この技術では、例えば画像に写る物体の形状、輪郭、動き、色、飽和度等の物体の状態を特徴量（パラメータ）として読み取り、予め登録しておいた物体の特徴量（パラメータ）と比較することで物体の類似度を算出する。なお、ここで示した物体の状態はあくまで例示であり、表面の凹凸状況、大きさ等を物体の状態として用いてもよい。第二画像では、発生した火が鮮明であるので、特徴量の読み取りが比較的容易であり、取得手段２２Ａが火を検知する精度は、教師データのラベルとなる情報（火のある／なし情報）を取得するのに十分なものになる。教師データのラベルとなる情報（火のある／なし情報）を取得するのに十分な精度とは、例えば火の発生の監視を行うのに十分な精度を要求するものではなく、発光体（例えば、照明や回転灯）を火と判定する程度の誤認識を許容するものであってよい。ただし、監視を行うのに十分な精度を有することを否定するものではない。なお、本実施形態では火の位置の特定は問題としないことにする（つまり、火の正確な位置までも特定するプログラムを作成する必要はない）。また、非ＡＩ画像認識のプログラムは、現場ごと、カメラごと、監視対象ごとに作成したものであってよく、複数の現場で共通するものでなくてもよい。 Non-AI image recognition may use a conventionally known general object recognition technology. In this technology, for example, the state of an object, such as the shape, outline, movement, color, saturation, etc. of an object in an image is read as a feature (parameter), and the similarity of the object is calculated by comparing it with the feature (parameter) of an object registered in advance. Note that the state of the object shown here is merely an example, and the surface unevenness, size, etc. may be used as the state of the object. In the second image, the fire that has occurred is clear, so it is relatively easy to read the feature, and the accuracy with which the acquisition means 22A detects the fire is sufficient to acquire information (information on whether or not there is a fire) that will be the label of the teacher data. The accuracy sufficient to acquire information (information on whether or not there is a fire) that will be the label of the teacher data does not require, for example, accuracy sufficient to monitor the occurrence of a fire, but may allow misrecognition to the extent that a light-emitting object (for example, a light or a rotating light) is determined to be a fire. However, this does not deny the existence of sufficient accuracy for monitoring. Note that in this embodiment, the identification of the position of the fire is not an issue (i.e., there is no need to create a program that identifies the exact position of the fire). Additionally, non-AI image recognition programs can be created for each site, camera, and monitored object, and do not need to be common across multiple sites.

火検知手段２３Ａは、第一学習済みモデルＭＡａと、第二学習済みモデルＭＡｂとを備える。第一学習済みモデルＭＡａおよび第二学習済みモデルＭＡｂは、例えばニューラルネットワークとして構成されており、監視対象において火が発生している可能性を算出する。例えば、ニューラルネットワークは、決められた画素数の画像を入力する入力層と、中間層（隠れ層）と、火のある／なしに応じたノードを有する出力層とによって構成されている。入力層には、第一画像Ｐ１や第二画像Ｐ２が入力される。第一画像Ｐ１、第二画像Ｐ２の入力方法は特に限定されない。出力層からは、火が発生している可能性が確率として出力される。 The fire detection means 23A includes a first trained model MAa and a second trained model MAb. The first trained model MAa and the second trained model MAb are configured, for example, as neural networks, and calculate the possibility that a fire has broken out in the monitored object. For example, the neural network is configured with an input layer that inputs an image with a fixed number of pixels, an intermediate layer (hidden layer), and an output layer that has nodes corresponding to the presence or absence of a fire. The first image P1 and the second image P2 are input to the input layer. There are no particular limitations on the method of inputting the first image P1 and the second image P2. The possibility that a fire has broken out is output as a probability from the output layer.

第一学習済みモデルＭＡａは、明るい画像である第一画像Ｐ１（図２（ａ）参照）から火を検知する。第一学習済みモデルＭＡａは、明るい画像である第一画像Ｐ１（図２（ａ）参照）に火の存在を示す存在情報（火のあり／なし情報）をラベルとして関連付けた第一教師データを入力することによって学習したものである。本実施形態では、クラウドシステム２Ａで第一学習済みモデルＭＡａの学習が行われる。第一学習済みモデルＭＡａを用いた場合における火の検知精度は、例えば火の発生の監視を行うのに十分なものであるのがよく、発光体（例えば、照明や回転灯）を火と区別できるものであるのが望ましい。 The first trained model MAa detects fire from the first image P1 (see FIG. 2(a)), which is a bright image. The first trained model MAa is trained by inputting first teacher data in which presence information (fire presence/absence information) indicating the presence of fire is associated as a label with the first image P1 (see FIG. 2(a)), which is a bright image. In this embodiment, the first trained model MAa is trained in the cloud system 2A. The accuracy of fire detection when the first trained model MAa is used should be sufficient for, for example, monitoring the outbreak of a fire, and it is desirable that the accuracy be such that light-emitting objects (e.g., lighting and rotating lights) can be distinguished from fire.

第二学習済みモデルＭＡｂは、暗い画像である第二画像Ｐ２（図２（ｂ）参照）から火を検知する。第二学習済みモデルＭＡｂは、暗い画像である第二画像Ｐ２（図２（ｂ）参照）に火の存在を示す存在情報（火のあり／なし情報）をラベルとして関連付けた第二教師データを入力することによって学習したものである。本実施形態では、クラウドシステム２Ａで第二学習済みモデルＭＡｂの学習が行われる。第二学習済みモデルＭＡｂを用いた場合における火の検知精度は、例えば火の発生の監視を行うのに十分なものであるのがよく、発光体（例えば、照明や回転灯）を火と区別できるものであるのが望ましい。なお、第二学習済みモデルＭＡｂを用いた場合における火の検知精度は、第一学習済みモデルＭＡａを用いた場合における火の検知精度に比べて一般的に良くなりやすい。 The second trained model MAb detects fire from the second image P2 (see FIG. 2(b)), which is a dark image. The second trained model MAb is trained by inputting second teacher data in which presence information (fire presence/absence information) indicating the presence of fire is associated as a label with the second image P2 (see FIG. 2(b)), which is a dark image. In this embodiment, the second trained model MAb is trained in the cloud system 2A. The fire detection accuracy when the second trained model MAb is used should be sufficient for monitoring the occurrence of a fire, for example, and should be able to distinguish light-emitting objects (e.g., lighting and rotating lights) from fire. Note that the fire detection accuracy when the second trained model MAb is used is generally more likely to be better than the fire detection accuracy when the first trained model MAa is used.

制御手段２４は、予め決められた条件に従って（例えば、所定時間内に規定回数を超えて火を検知したなど）、消火や警報などの対応を行うか否かを判定する。制御手段２４は、対応を行うと判定した場合、制御装置３０を介して消火や警報などの対応を消防用設備４０に指示する。また、制御手段２４は、Ｅメールなどによって予め決められた相手に火の発生を通知する。 The control means 24 determines whether to take action such as extinguishing the fire or issuing an alarm according to predetermined conditions (for example, detecting a fire more than a specified number of times within a specified time). If the control means 24 determines that an action should be taken, it instructs the firefighting equipment 40 to take action such as extinguishing the fire or issuing an alarm via the control device 30. The control means 24 also notifies a predetermined party of the occurrence of the fire by email or the like.

出力手段２５は、教師データの作成に必要な情報や総合監視システムＳＡを管理するのに必要な情報をクラウドシステム２Ａに出力するための機能である。出力手段２５は、例えば出力インタフェースを含んで構成されており、明るい画像である第一画像Ｐ１（図２（ａ）参照）および暗い画像である第二画像Ｐ２（図２（ｂ）参照）や、火の発生に関する情報をクラウドシステム２Ａに送信する。なお、第一画像Ｐ１、第二画像Ｐ２には、火の存在を示す存在情報（火のあり／なし情報）が対応付けられているのがよい。この対応付けは、例えば撮像を行った時刻によって実現されている。 The output means 25 is a function for outputting information required for creating teacher data and information required for managing the comprehensive monitoring system SA to the cloud system 2A. The output means 25 is configured to include, for example, an output interface, and transmits a first image P1 (see FIG. 2(a)), which is a bright image, a second image P2 (see FIG. 2(b)), which is a dark image, and information regarding the outbreak of a fire to the cloud system 2A. It is preferable that the first image P1 and the second image P2 are associated with presence information indicating the presence of a fire (information on whether there is a fire or not). This association is realized, for example, by the time the image was captured.

（クラウドシステムについて）
図４を参照して、クラウドシステム２Ａが有する機能について説明する。図４は、クラウドシステム２Ａの機能構成図である。
クラウドシステム２Ａは、主に、入力手段３１と、作成手段３２Ａと、機械学習手段３３Ａと、更新手段３４とを備えている。クラウドシステム２Ａが備えるこれらの機能は、ＣＰＵ（Central Processing Unit）によるプログラム実行処理や、専用回路等により実現される。なお、図４に示すクラウドシステム２Ａの各機能の分類は、説明の便宜上のものであって、本発明を限定するものではない。 (About the cloud system)
The functions of the cloud system 2A will be described with reference to Fig. 4. Fig. 4 is a functional configuration diagram of the cloud system 2A.
The cloud system 2A mainly includes an input unit 31, a creation unit 32A, a machine learning unit 33A, and an update unit 34. These functions of the cloud system 2A are realized by a program execution process by a CPU (Central Processing Unit), a dedicated circuit, etc. The classification of the functions of the cloud system 2A shown in FIG. 4 is for convenience of explanation and does not limit the present invention.

入力手段３１は、教師データの作成に必要な情報や総合監視システムＳＡを管理するのに必要な情報をクラウドシステム２内に取り込むための機能である。入力手段３１は、例えば入力インタフェースを含んで構成されており、例えば明るい画像である第一画像Ｐ１（図２（ａ）参照）および暗い画像である第二画像Ｐ２（図２（ｂ）参照）や火の発生に関する情報を受信し、受信したこれらの情報を図示しない記憶手段に格納する。 The input means 31 is a function for importing information required for creating teacher data and information required for managing the comprehensive monitoring system SA into the cloud system 2. The input means 31 is configured to include, for example, an input interface, and receives, for example, a first image P1 (see FIG. 2(a)), which is a bright image, a second image P2 (see FIG. 2(b)), which is a dark image, and information regarding the outbreak of a fire, and stores the received information in a storage means (not shown).

作成手段３２Ａは、教師あり学習で学習モデルに入力する教師データを作成する機能である。作成手段３２Ａは、第一作成手段３２Ａａおよび第二作成手段３２Ａｂを備える。 The creation means 32A is a function that creates teacher data to be input to a learning model in supervised learning. The creation means 32A includes a first creation means 32Aa and a second creation means 32Ab.

第一作成手段３２Ａａは、明るい画像である第一画像Ｐ１に火の存在を示す存在情報（火のあり／なし情報）をラベルとして関連付けた第一教師データを作成する。第一教師データには、第一画像Ｐ１に火が写っているものと火が写っていないものとが含まれる。火が写っている第一画像Ｐ１には、「火がある」とのラベルが付与され、また、火が写っていない第一画像Ｐ１には、「火がない」とのラベルが付与される。 The first creation means 32Aa creates first teacher data in which presence information (fire presence/absence information) indicating the presence of fire is associated as a label with the first image P1, which is a bright image. The first teacher data includes first images P1 in which fire is captured and first images P1 in which no fire is captured. The first image P1 in which fire is captured is given the label "there is fire," and the first image P1 in which no fire is captured is given the label "there is no fire."

第二作成手段３２Ａｂは、暗い画像である第二画像Ｐ２に火の存在を示す存在情報（火のあり／なし情報）をラベルとして関連付けた第二教師データを作成する。第二教師データには、第二画像Ｐ２に火が写っているものと火が写っていないものとが含まれる。火が写っている第二画像Ｐ２には、「火がある」とのラベルが付与され、また、火が写っていない第二画像Ｐ２には、「火がない」とのラベルが付与される。 The second creation means 32Ab creates second teacher data in which presence information (fire presence/absence information) indicating the presence of fire is associated as a label with the second image P2, which is a dark image. The second teacher data includes second images P2 in which fire is captured and those in which no fire is captured. The second image P2 in which fire is captured is given the label "there is fire," and the second image P2 in which no fire is captured is given the label "there is no fire."

機械学習手段３３Ａは、教師あり学習によって学習モデルを学習させるための機能である。機械学習手段３３Ａは、第一機械学習手段３３Ａａおよび第二機械学習手段３３Ａｂを備える。 The machine learning means 33A is a function for training a learning model through supervised learning. The machine learning means 33A includes a first machine learning means 33Aa and a second machine learning means 33Ab.

第一機械学習手段３３Ａａは、第一教師データを入力として学習モデルを学習する。第一機械学習手段３３Ａａは、学習済みのモデルを再学習することもできる。なお、第一教師データは、明るい画像である第一画像Ｐ１に火の存在を示す存在情報（火のあり／なし情報）をラベルとして関連付けたデータである。第一機械学習手段３３Ａａの学習によって、第一学習済みモデルＭＡａ（図３参照）が作成される。 The first machine learning means 33Aa learns a learning model using the first teacher data as input. The first machine learning means 33Aa can also re-learn a learned model. The first teacher data is data in which presence information indicating the presence of fire (information on whether there is a fire or not) is associated as a label with the first image P1, which is a bright image. A first learned model MAa (see FIG. 3) is created by the learning of the first machine learning means 33Aa.

第二機械学習手段３３Ａｂは、第二教師データを入力として学習モデルを学習する。第二機械学習手段３３Ａｂは、学習済みのモデルを再学習することもできる。なお、第二教師データは、暗い画像である第二画像Ｐ２に火の存在を示す存在情報（火のあり／なし情報）をラベルとして関連付けたデータである。第二機械学習手段３３Ａｂの学習によって、第二学習済みモデルＭＡｂ（図３参照）が作成される。 The second machine learning means 33Ab learns a learning model using the second teacher data as input. The second machine learning means 33Ab can also re-learn a learned model. The second teacher data is data in which presence information indicating the presence of fire (information on whether there is a fire or not) is associated as a label with the second image P2, which is a dark image. A second learned model MAb (see FIG. 3) is created by learning by the second machine learning means 33Ab.

更新手段３４は、機械学習手段３３Ａによって作成された学習済みモデル（第一学習済みモデルＭＡａおよび第二学習済みモデルＭＡｂ）をローカル端末２０Ａに送信し、既存の学習済みモデルをアップデートする機能である。アップデートするタイミングは特に限定されない。 The update means 34 is a function that transmits the trained models (the first trained model MAa and the second trained model MAb) created by the machine learning means 33A to the local terminal 20A and updates the existing trained models. There are no particular limitations on the timing of the update.

なお、消防システム１Ａが備える機能の中で学習データの作成に関する機能である「撮像手段１０Ａ」、「取得手段２２Ａ」、「作成手段３２Ａ」をまとめたものを特に「学習データ作成システム」と呼ぶ場合がある。 Note that the functions related to creating learning data among the functions of the firefighting system 1A, namely, "imaging means 10A," "acquisition means 22A," and "creation means 32A," may be collectively referred to as the "learning data creation system."

＜第１実施形態に係る学習データ作成方法＞
図５を参照して（適宜、図１ないし図４参照）、第１実施形態に係る学習データ作成方法について説明する。図５は、第１実施形態に係る学習データ作成方法を説明するための図である。ここでは、映像による監視を想定して説明する。 <Learning Data Creation Method According to the First Embodiment>
The learning data creation method according to the first embodiment will be described with reference to Fig. 5 (and Figs. 1 to 4 as appropriate). Fig. 5 is a diagram for explaining the learning data creation method according to the first embodiment. Here, the description will be given assuming video surveillance.

（ステップＳ１０）
各現場で撮像手段１０Ａ（図１参照）が監視対象（例えば、破砕機Ｋ）を撮影し、撮影された第一画像Ｐ１および第二画像Ｐ２は、現場に設置されるローカル端末２０Ａ－１，２０Ａ－２，・・，２０Ａ－Ｎに送られる。 (Step S10)
At each site, an imaging means 10A (see FIG. 1) captures an image of a monitored object (e.g., a crusher K), and the captured first image P1 and second image P2 are sent to local terminals 20A-1, 20A-2, ..., 20A-N installed at the site.

（ステップＳ２０）
各現場のローカル端末２０Ａでは、教師データのラベルとなる情報を取得するために取得手段２２Ａが暗い画像である第二画像Ｐ２を用いて火の検知を行い、火の存在を示す存在情報（火のあり／なし情報）を取得する。なお、この教師データのラベルとなる情報の取得処理は、監視対象を監視する処理の一部として実行されてもよい。ローカル端末２０Ａは、明るい画像である第一画像Ｐ１、暗い画像である第二画像Ｐ２をクラウドシステム２Ａに送信する。ここで、第一画像Ｐ１、第二画像Ｐ２には、火の存在を示す存在情報（火のあり／なし情報）が対応付けられている。なお、これらの情報の送信はリアルタイムで行われなくてもよい。 (Step S20)
In the local terminal 20A at each site, the acquisition means 22A detects fire using the second image P2, which is a dark image, to acquire information that will be the label of the teacher data, and acquires presence information (information on whether there is a fire or not) indicating the presence of a fire. Note that the process of acquiring information that will be the label of the teacher data may be executed as part of the process of monitoring the monitored object. The local terminal 20A transmits the first image P1, which is a bright image, and the second image P2, which is a dark image, to the cloud system 2A. Here, the first image P1 and the second image P2 are associated with presence information (information on whether there is a fire or not) indicating the presence of a fire. Note that the transmission of this information does not have to be performed in real time.

（ステップＳ３０）
クラウドシステム２Ａは、ローカル端末２０Ａから取得した第一画像Ｐ１および第二画像Ｐ２を蓄積し、作成手段３２Ａは、所定のタイミング（例えば、機械学習を行うタイミング）で第一教師データおよび第二教師データを作成する。第一教師データは、明るい画像である第一画像Ｐ１に火の存在を示す存在情報（火のあり／なし情報）をラベルとして関連付けたものである。また、第二教師データは、暗い画像である第二画像Ｐ２に火の存在を示す存在情報（火のあり／なし情報）をラベルとして関連付けたものである。なお、人間がチェックすることによって、第一教師データおよび第二教師データの精度を高めることができる。第一教師データには、第一画像Ｐ１に火が写っているものと火が写っていないものとが含まれる。また、第二教師データには、第二画像Ｐ２に火が写っているものと火が写っていないものとが含まれる。 (Step S30)
The cloud system 2A accumulates the first image P1 and the second image P2 acquired from the local terminal 20A, and the creation means 32A creates the first teacher data and the second teacher data at a predetermined timing (for example, the timing of performing machine learning). The first teacher data is obtained by associating the first image P1, which is a bright image, with presence information (information on whether or not there is a fire) indicating the presence of a fire as a label. The second teacher data is obtained by associating the second image P2, which is a dark image, with presence information (information on whether or not there is a fire) indicating the presence of a fire as a label. The accuracy of the first teacher data and the second teacher data can be improved by human checking. The first teacher data includes images of the first image P1 with and without a fire. The second teacher data includes images of the second image P2 with and without a fire.

（ステップＳ４０）
クラウドシステム２Ａの機械学習手段３３Ａは、学習モデルに第一教師データを入力して第一学習済みモデルＭＡａを作成する。また、機械学習手段３３Ａは、学習モデルに第二教師データを入力して第二学習済みモデルＭＡｂを作成する。なお、それぞれの学習済みモデルを再学習することもできる。これにより、火を検知する精度を向上させることが可能である。 (Step S40)
The machine learning means 33A of the cloud system 2A inputs the first teacher data to the learning model to create a first trained model MAa. The machine learning means 33A also inputs the second teacher data to the learning model to create a second trained model MAb. Note that each trained model can also be retrained. This makes it possible to improve the accuracy of fire detection.

（ステップＳ５０）
クラウドシステム２Ａは、最新の学習済みモデルをローカル端末２０Ａに送信し、ローカル端末２０Ａの学習済みモデルは定期的に更新される。ローカル端末２０Ａは、学習済みモデルを用いることによって、誤検知の少ない精度より火の検知を行うことができる。 (Step S50)
The cloud system 2A transmits the latest trained model to the local terminal 20A, and the trained model of the local terminal 20A is periodically updated. By using the trained model, the local terminal 20A can detect fires with high accuracy and fewer false positives.

学習済みモデル（第一学習済みモデルＭＡａ、第二学習済みモデルＭＡｂ）を用いる利用形態は特に限定されない。学習済みモデルの活用方法は、例えば以下のものがある。
（１）第二学習済みモデルＭＡｂを用いた暗い第二画像Ｐ２からの検知
（２）第一学習済みモデルＭＡａを用いた明るい第一画像Ｐ１からの検知
（３）第二学習済みモデルＭＡｂおよび第一学習済みモデルＭＡａの併用
上記（１）の利用形態では、第一画像Ｐ１を監視対象の確認用として用いてもよい。また、上記（３）の利用形態において、相反する火の検知結果が出た場合における制御は、第二学習済みモデルＭＡｂを優先、第一学習済みモデルＭＡａを優先、火の検知として処理するなどが考えられる。 The usage form of the trained models (the first trained model MAa and the second trained model MAb) is not particularly limited. Examples of the usage method of the trained models include the following.
(1) Detection from a dark second image P2 using the second trained model MAb (2) Detection from a bright first image P1 using the first trained model MAa (3) Use of the second trained model MAb and the first trained model MAa in combination In the above-mentioned (1) usage form, the first image P1 may be used to confirm the monitored object. In addition, in the above-mentioned (3) usage form, when conflicting fire detection results are obtained, the control may be such that the second trained model MAb is given priority, the first trained model MAa is given priority, and the detection is processed as a fire.

以上のように、第１実施形態に係る学習データ作成システムおよび学習データ作成方法では、撮影時に光量を抑えることによって火が第二画像Ｐ２に鮮明に写し出される。そのため、撮影時に光量を抑えていない第一画像Ｐ１から画像認識手段を用いて火の存在を判定するのに比べて、第二画像Ｐ２から火の存在の判定を行うのが容易である。したがって、第二画像Ｐ２から取得した火の存在を示す存在情報の間違いが少なく、存在情報をラベルとして関連付けた第一教師データの精度が高い。その結果、第一教師データの作成に要する労力を抑えることができる。第二教師データの作成につても同様である。 As described above, in the learning data creation system and learning data creation method according to the first embodiment, the fire is clearly depicted in the second image P2 by suppressing the amount of light when photographing. Therefore, it is easier to determine the presence of a fire from the second image P2 compared to determining the presence of a fire using an image recognition means from the first image P1, in which the amount of light is not suppressed when photographing. Therefore, there are fewer errors in the presence information indicating the presence of a fire obtained from the second image P2, and the accuracy of the first teacher data, in which the presence information is associated as a label, is high. As a result, the effort required to create the first teacher data can be reduced. The same applies to the creation of the second teacher data.

［第２実施形態］
第１実施形態では、暗い画像である第二画像Ｐ２から教師データのラベルとなる情報（火のある／なし情報）を取得していた。ここで、第１実施形態では火の位置の特定は問題としていなかった。第２実施形態では、教師データのラベルとなる情報として火のある／なし情報に加えて火が写る範囲を取得する。 [Second embodiment]
In the first embodiment, information (information on whether or not there is a fire) that will be used as a label for the teacher data is obtained from the second image P2, which is a dark image. Here, in the first embodiment, identifying the position of the fire was not an issue. In the second embodiment, the range in which the fire is captured is obtained as information that will be used as a label for the teacher data, in addition to the information on whether or not there is a fire.

図６を参照して、第２実施形態に係る総合監視システムＳＢについて説明する。図６は、総合監視システムＳＢの概略構成図である。以降では、第１実施形態に係る構成との相違点について主に説明する。
総合監視システムＳＢは、各々の現場に設置される消防システム１Ｂ－１，１Ｂ－２，・・，１Ｂ－Ｎ（Ｎ≧２）と、クラウドシステム２Ｂと、ユーザ端末３とを備える。消防システム１Ｂ－１，１Ｂ－２，・・，１Ｂ－Ｎの構成は同様であるので、以下ではまとめて「消防システム１Ｂ」と称する場合がある。 The total monitoring system SB according to the second embodiment will be described with reference to Fig. 6. Fig. 6 is a schematic configuration diagram of the total monitoring system SB. In the following, differences from the configuration according to the first embodiment will be mainly described.
The comprehensive monitoring system SB includes firefighting systems 1B-1, 1B-2, ..., 1B-N (N ≥ 2) installed at the respective sites, a cloud system 2B, and a user terminal 3. Since the firefighting systems 1B-1, 1B-2, ..., 1B-N have the same configuration, they may be collectively referred to as "firefighting system 1B" below.

図６に示すように、消防システム１Ｂは、撮像手段１０Ｂと、ローカル端末２０Ｂと、制御装置３０と、消防用設備４０とを備える。制御装置３０および消防用設備４０の構成は、第１実施形態と同様であるので説明を省略する。なお、図６に示す消防システム１Ｂの構成はあくまで例示であり、図６とは異なる構成にすることもできる。 As shown in FIG. 6, the firefighting system 1B includes an imaging means 10B, a local terminal 20B, a control device 30, and firefighting equipment 40. The configurations of the control device 30 and the firefighting equipment 40 are the same as those in the first embodiment, so a description thereof will be omitted. Note that the configuration of the firefighting system 1B shown in FIG. 6 is merely an example, and the configuration may be different from that shown in FIG. 6.

撮像手段１０Ｂは、監視対象である破砕機Ｋを撮像し、破砕機Ｋの画像（映像でもよい）を作成する。撮像手段１０Ｂは、第一カメラ１１と第二カメラ１２と第三カメラ１３とを備える。第一カメラ１１、第二カメラ１２および第三カメラ１３は、デジタルカメラであって同じ機種である。第一カメラ１１、第二カメラ１２および第三カメラ１３は同期しており（同時に撮像することが可能であり）、同時刻の破砕機Ｋの状態を撮像できる。第一カメラ１１、第二カメラ１２および第三カメラ１３は、監視対象を同じ場所（つまり、同じ角度および同じ距離）から撮像できるように設置されるのがよい。第一カメラ１１と第二カメラ１２とは上下方向に並べて配置されており、第一カメラ１１と第三カメラ１３とは左右方向に並べて配置されている。第一カメラ１１、第二カメラ１２および第三カメラ１３の光軸は、平行である。 The imaging means 10B captures an image of the crusher K, which is the object of monitoring, and creates an image (or a video) of the crusher K. The imaging means 10B includes a first camera 11, a second camera 12, and a third camera 13. The first camera 11, the second camera 12, and the third camera 13 are digital cameras of the same model. The first camera 11, the second camera 12, and the third camera 13 are synchronized (capable of capturing images simultaneously), and can capture images of the state of the crusher K at the same time. It is preferable that the first camera 11, the second camera 12, and the third camera 13 are installed so that they can capture images of the object of monitoring from the same location (i.e., the same angle and the same distance). The first camera 11 and the second camera 12 are arranged side by side in the vertical direction, and the first camera 11 and the third camera 13 are arranged side by side in the horizontal direction. The optical axes of the first camera 11, the second camera 12, and the third camera 13 are parallel.

第一カメラ１１は、監視対象の第一画像を撮像する。第一画像は、監視対象の状況が分かる程度に鮮明な画像である。第一画像は、監視対象の状況および火の範囲を目視可能であるのが望ましい。第一カメラ１１は、例えば発生する火の輪郭や色の特徴を出せるように各種のパラメータが設定されている。第一カメラ１１を自動モード（自動補正あり）に設定して第一画像を撮像してもよい。 The first camera 11 captures a first image of the monitored object. The first image is clear enough to allow the situation of the monitored object to be understood. It is desirable that the first image allows the situation of the monitored object and the extent of the fire to be visually observed. Various parameters are set for the first camera 11 so that, for example, the outline and color characteristics of the occurring fire can be captured. The first camera 11 may be set in automatic mode (with automatic correction) to capture the first image.

第二カメラ１２および第三カメラ１３は、監視対象の第二画像を撮像する。第二画像は、発生した火が鮮明な画像である。第二画像は、火の範囲のみを目視可能であるのが望ましい。第二カメラ１２および第三カメラ１３は、例えば光量を抑えるように各種のパラメータが設定されている（例えば、絞り値、露光時間など）。そのため、第二カメラ１２および第三カメラ１３を手動モード（自動補正なし）に設定して第二画像を撮像するのがよい。第二画像は、第一画像に比べて暗い画像になる。 The second camera 12 and the third camera 13 capture a second image of the monitored object. The second image is a clear image of the fire. It is desirable that only the area of the fire is visible in the second image. The second camera 12 and the third camera 13 are set with various parameters (e.g., aperture value, exposure time, etc.) to, for example, reduce the amount of light. Therefore, it is preferable to set the second camera 12 and the third camera 13 to manual mode (no automatic correction) to capture the second image. The second image will be darker than the first image.

図７（ａ）は撮像手段１０Ｂの正面図であり、（ｂ）は撮像手段１０Ｂを構成する各カメラの視界のイメージ（つまり、撮像した画像イメージ）である。
図７（ａ）に示すように、第二カメラ１２は、第一カメラ１１の下方に配置されており、また、第三カメラ１３は、第一カメラ１１の右側方に配置されている。なお、第二カメラ１２が第一カメラ１１の上方に配置され、第三カメラ１３が第一カメラ１１の左側方に配置されてもよい。図７（ｂ）に示すように、第一カメラ１１の視界と第二カメラ１２の視界とは上下方向にずれており、また、第一カメラ１１の視界と第三カメラ１３の視界とは左右方向にずれている。そのため、第二カメラ１２によって撮像された第二画像Ｐ２１および第三カメラ１３によって撮像された第三画像Ｐ２２に写る火Ｆの位置は、第一カメラ１１によって撮像された第一画像Ｐ１に対してずれる。なお、ずれの方向およびずれの量は、カメラの配置によって決定される。 FIG. 7A is a front view of the imaging means 10B, and FIG. 7B is an image of the field of view of each camera constituting the imaging means 10B (that is, an image of a captured image).
As shown in FIG. 7(a), the second camera 12 is disposed below the first camera 11, and the third camera 13 is disposed to the right of the first camera 11. The second camera 12 may be disposed above the first camera 11, and the third camera 13 may be disposed to the left of the first camera 11. As shown in FIG. 7(b), the field of view of the first camera 11 and the field of view of the second camera 12 are shifted in the vertical direction, and the field of view of the first camera 11 and the field of view of the third camera 13 are shifted in the horizontal direction. Therefore, the position of the fire F in the second image P21 captured by the second camera 12 and the third image P22 captured by the third camera 13 is shifted from the first image P1 captured by the first camera 11. The direction and amount of the shift are determined by the arrangement of the cameras.

（ローカル端末について）
図８を参照して、ローカル端末２０Ｂが有する機能について説明する。図８は、ローカル端末２０Ｂの機能構成図である。
ローカル端末２０Ｂは、主に、入力手段２１と、取得手段２２Ｂと、火検知手段２３Ｂと、制御手段２４と、出力手段２５とを備えている。ローカル端末２０Ｂが備えるこれらの機能は、ＣＰＵ（Central Processing Unit）によるプログラム実行処理や、専用回路等により実現される。なお、図８に示すローカル端末２０Ｂの各機能の分類は、説明の便宜上のものであって、本発明を限定するものではない。 (Regarding local terminals)
The functions of the local terminal 20B will be described with reference to Fig. 8. Fig. 8 is a functional configuration diagram of the local terminal 20B.
The local terminal 20B mainly includes an input unit 21, an acquisition unit 22B, a fire detection unit 23B, a control unit 24, and an output unit 25. These functions of the local terminal 20B are realized by a program execution process by a CPU (Central Processing Unit), a dedicated circuit, etc. The classification of the functions of the local terminal 20B shown in FIG. 8 is for convenience of explanation and does not limit the present invention.

なお、入力手段２１、制御手段２４および出力手段２５は、第１実施形態と同様であるので詳細な説明を省略する。入力手段２１は、明るい画像である第一画像Ｐ１および暗い画像である二つの第二画像Ｐ２１，Ｐ２２をローカル端末２０Ｂ内に取り込む。出力手段２５は、明るい画像である第一画像Ｐ１および暗い画像である二つの第二画像Ｐ２１，Ｐ２２をクラウドシステム２Ｂに出力する。 Note that the input means 21, control means 24 and output means 25 are the same as those in the first embodiment, and therefore detailed description will be omitted. The input means 21 imports a first image P1, which is a bright image, and two second images P21, P22, which are dark images, into the local terminal 20B. The output means 25 outputs the first image P1, which is a bright image, and the two second images P21, P22, which are dark images, to the cloud system 2B.

取得手段２２Ｂは、教師データのラベルとなる情報を取得する機能である。取得手段２２Ｂは、画像認識手段を用いて第二画像Ｐ２から教師データのラベルとなる情報を取得する。本実施形態でのラベルとなる情報は、火の存在を示す存在情報（火のあり／なし情報）および火が写る範囲を示す範囲情報である。範囲情報には、位置情報およびサイズ情報が含まれる。取得手段２２Ｂは、第１実施形態と同様の方法によって火の存在を示す存在情報を取得する。なお、取得手段２２Ｂは、二つの第二画像Ｐ２の内の何れか一方を用いて火のあり／なしを判定してもよいし、二つの第二画像Ｐ２から火のあり／なしを判定してもよい。 The acquisition means 22B is a function for acquiring information that will be the label of the teacher data. The acquisition means 22B acquires information that will be the label of the teacher data from the second image P2 using image recognition means. The label information in this embodiment is presence information (information on whether there is a fire) indicating the presence of a fire and range information indicating the range in which the fire is captured. The range information includes position information and size information. The acquisition means 22B acquires the presence information that indicates the presence of a fire using a method similar to that of the first embodiment. Note that the acquisition means 22B may determine whether there is a fire using either one of the two second images P2, or may determine whether there is a fire from the two second images P2.

取得手段２２Ｂは、二つの第二画像Ｐ２から第一画像Ｐ１に写る火の範囲を特定する。図７（ａ）に示すように、第一カメラ１１および第二カメラ１２の左右方向における光軸の位置および方向は合っている（ずれていない）。そのため、二つのカメラの画角を同じにすることによって、図７（ｂ）に示すように、第一カメラ１１が撮像した第一画像Ｐ１に写る火の左右方向の範囲と、第二カメラ１２が撮像した第二画像Ｐ２１に写る火の左右方向の範囲とは同じになる。同様に、図７（ａ）に示すように、第一カメラ１１および第三カメラ１３の上下方向における光軸の位置および方向は合っている（ずれていない）。そのため、二つのカメラの画角を同じにすることによって、図７（ｂ）に示すように、第一カメラ１１が撮像した第一画像Ｐ１に写る火の上下方向の範囲と、第三カメラ１３が撮像した第三画像Ｐ２２に写る火の上下方向の範囲とは同じになる。取得手段２２Ｂは、この原理を利用して第一画像Ｐ１に写る火の範囲を特定する。なお、取得手段２２Ｂは、ここで説明した以外の方法で第二画像Ｐ２から第一画像Ｐ１に写る火の範囲を特定してもよい。 The acquisition means 22B identifies the range of the fire in the first image P1 from the two second images P2. As shown in FIG. 7(a), the positions and directions of the optical axes in the left-right direction of the first camera 11 and the second camera 12 are aligned (not misaligned). Therefore, by making the angles of view of the two cameras the same, as shown in FIG. 7(b), the left-right range of the fire in the first image P1 captured by the first camera 11 and the left-right range of the fire in the second image P21 captured by the second camera 12 become the same. Similarly, as shown in FIG. 7(a), the positions and directions of the optical axes in the up-down direction of the first camera 11 and the third camera 13 are aligned (not misaligned). Therefore, by making the angles of view of the two cameras the same, as shown in FIG. 7(b), the up-down range of the fire in the first image P1 captured by the first camera 11 and the up-down range of the fire in the third image P22 captured by the third camera 13 become the same. The acquisition means 22B uses this principle to identify the range of the fire in the first image P1. The acquisition means 22B may also identify the range of the fire appearing in the first image P1 from the second image P2 using a method other than that described here.

火検知手段２３Ｂは、第一学習済みモデルＭＢａと、第二学習済みモデルＭＢｂとを備える。第一学習済みモデルＭＢａおよび第二学習済みモデルＭＢｂは、例えばニューラルネットワークとして構成されており、監視対象において火が発生している可能性を算出する。 The fire detection means 23B includes a first trained model MBa and a second trained model MBb. The first trained model MBa and the second trained model MBb are configured, for example, as neural networks, and calculate the possibility that a fire has occurred in the monitored object.

第一学習済みモデルＭＢａは、明るい画像である第一画像Ｐ１（図７（ｂ）参照）から火を検知する。第一学習済みモデルＭＢａは、明るい画像である第一画像Ｐ１（図７（ｂ）参照）に火の存在を示す存在情報（火のあり／なし情報）および火の範囲を示す範囲情報（位置およびサイズ）をラベルとして関連付けた第一教師データを入力することによって学習したものである。本実施形態では、クラウドシステム２Ｂで第一学習済みモデルＭＢａの学習が行われる。 The first trained model MBa detects fire from the first image P1 (see FIG. 7(b)), which is a bright image. The first trained model MBa is trained by inputting first teacher data in which presence information indicating the presence of fire (information on whether or not there is a fire) and range information indicating the range of the fire (position and size) are associated as labels with the first image P1 (see FIG. 7(b)), which is a bright image. In this embodiment, the first trained model MBa is trained in the cloud system 2B.

第二学習済みモデルＭＢｂは、暗い画像である第二画像Ｐ２１，Ｐ２２（図７（ｂ）参照）から火を検知する。なお、第二画像Ｐ２１，Ｐ２２の何れか一方を用いて火を検知することもできる。第二学習済みモデルＭＢｂは、暗い画像である第二画像Ｐ２１，Ｐ２２（図７（ｂ）参照）に火の存在を示す存在情報（火のあり／なし情報）および火の範囲を示す範囲情報（位置およびサイズ）をラベルとして関連付けた第二教師データを入力することによって学習したものである。本実施形態では、クラウドシステム２Ｂで第二学習済みモデルＭＢｂの学習が行われる。 The second trained model MBb detects fire from the second images P21 and P22 (see FIG. 7(b)), which are dark images. It is also possible to detect fire using either one of the second images P21 and P22. The second trained model MBb is trained by inputting second teacher data in which presence information indicating the presence of fire (information on whether or not there is a fire) and range information indicating the range of the fire (position and size) are associated as labels with the second images P21 and P22 (see FIG. 7(b)), which are dark images. In this embodiment, the second trained model MBb is trained in the cloud system 2B.

（クラウドシステムについて）
図９を参照して、クラウドシステム２Ｂが有する機能について説明する。図９は、クラウドシステム２Ｂの機能構成図である。
クラウドシステム２Ｂは、主に、入力手段３１と、作成手段３２Ｂと、機械学習手段３３Ｂと、更新手段３４とを備えている。クラウドシステム２Ｂが備えるこれらの機能は、ＣＰＵ（Central Processing Unit）によるプログラム実行処理や、専用回路等により実現される。なお、図９に示すクラウドシステム２の各機能の分類は、説明の便宜上のものであって、本発明を限定するものではない。 (About the cloud system)
The functions of the cloud system 2B will be described with reference to Fig. 9. Fig. 9 is a functional configuration diagram of the cloud system 2B.
The cloud system 2B mainly includes an input unit 31, a creation unit 32B, a machine learning unit 33B, and an update unit 34. These functions of the cloud system 2B are realized by a program execution process by a CPU (Central Processing Unit), a dedicated circuit, etc. The classification of the functions of the cloud system 2 shown in FIG. 9 is for convenience of explanation and does not limit the present invention.

なお、入力手段３１および更新手段３４は、第１実施形態と同様であるので詳細な説明を省略する。入力手段３１は、明るい画像である第一画像Ｐ１および暗い画像である第二画像Ｐ２１，Ｐ２２や火の発生に関する情報をクラウドシステム２Ｂ内に取り込む。 The input means 31 and the update means 34 are similar to those in the first embodiment, and therefore detailed description will be omitted. The input means 31 imports the first image P1, which is a bright image, the second images P21 and P22, which are dark images, and information regarding the occurrence of a fire into the cloud system 2B.

作成手段３２Ｂは、教師あり学習で学習モデルに入力する教師データを作成する機能である。作成手段３２Ｂは、第一作成手段３２Ｂａおよび第二作成手段３２Ｂｂを備える。 The creation means 32B is a function that creates teacher data to be input to a learning model in supervised learning. The creation means 32B includes a first creation means 32Ba and a second creation means 32Bb.

第一作成手段３２Ｂａは、明るい画像である第一画像Ｐ１に火の存在を示す存在情報（火のあり／なし情報）および火の範囲を示す範囲情報（位置およびサイズ）をラベルとして関連付けた第一教師データを作成する。第一教師データには、第一画像Ｐ１に火が写っているものと火が写っていないものとが含まれる。火が写っている第一画像Ｐ１には、例えば「火がある」および「火の範囲を囲む枠の情報」のラベルが付与され、また、火が写っていない第一画像Ｐ１には、「火がない」とのラベルが付与される。 The first creation means 32Ba creates first teacher data in which presence information indicating the presence of fire (information on whether there is a fire or not) and range information indicating the range of the fire (position and size) are associated as labels with the first image P1, which is a bright image. The first teacher data includes first images P1 in which fire is captured and first images in which no fire is captured. The first image P1 in which fire is captured is given labels such as "there is a fire" and "information on a frame surrounding the range of the fire", and the first image P1 in which no fire is captured is given the label "there is no fire".

第二作成手段３２Ｂｂは、暗い画像である第二画像Ｐ２に火の存在を示す存在情報（火のあり／なし情報）および火の範囲を示す範囲情報（位置およびサイズ）をラベルとして関連付けた第二教師データを作成する。第二教師データには、第二画像Ｐ２に火が写っているものと火が写っていないものとが含まれる。火が写っている第二画像Ｐ２には、例えば「火がある」および「火の範囲を囲む枠の情報」のラベルが付与され、また、火が写っていない第二画像Ｐ２には、「火がない」とのラベルが付与される。 The second creation means 32Bb creates second teacher data in which the second image P2, which is a dark image, is associated with presence information indicating the presence of a fire (information on whether there is a fire or not) and range information indicating the extent of the fire (position and size) as labels. The second teacher data includes second images P2 in which fire is captured and those in which no fire is captured. The second image P2 in which fire is captured is given labels such as "there is a fire" and "information on a frame surrounding the extent of the fire", and the second image P2 in which no fire is captured is given the label "there is no fire".

機械学習手段３３Ｂは、教師あり学習によって学習モデルを学習させるための機能である。機械学習手段３３Ｂは、第一機械学習手段３３Ｂａおよび第二機械学習手段３３Ｂｂを備える。 The machine learning means 33B is a function for training a learning model through supervised learning. The machine learning means 33B includes a first machine learning means 33Ba and a second machine learning means 33Bb.

第一機械学習手段３３Ｂａは、第一教師データを入力として学習モデルを学習する。第一機械学習手段３３Ｂａは、学習済みのモデルを再学習することもできる。なお、第一教師データは、明るい画像である第一画像Ｐ１に火の存在を示す存在情報（火のあり／なし情報）および火の範囲を示す範囲情報（位置およびサイズの情報）をラベルとして関連付けたデータである。第一機械学習手段３３Ｂａの学習によって、第一学習済みモデルＭＢａ（図８参照）が作成される。第一学習済みモデルＭＢａによれば、発生した火の範囲の特定までが可能である。 The first machine learning means 33Ba learns a learning model using the first teacher data as input. The first machine learning means 33Ba can also re-learn a learned model. The first teacher data is data in which presence information (information on whether there is a fire) indicating the presence of a fire and range information (information on the position and size) indicating the range of the fire are associated as labels with the first image P1, which is a bright image. A first learned model MBa (see FIG. 8) is created by learning with the first machine learning means 33Ba. The first learned model MBa makes it possible to identify the range of a fire that has occurred.

第二機械学習手段３３Ｂｂは、第二教師データを入力として学習モデルを学習する。第二機械学習手段３３Ｂｂは、学習済みのモデルを再学習することもできる。なお、第二教師データは、暗い画像である第二画像Ｐ２に火の存在を示す存在情報（火のあり／なし情報）および火の範囲を示す範囲情報（位置およびサイズの情報）をラベルとして関連付けたデータである。第二機械学習手段３３Ｂｂの学習によって、第二学習済みモデルＭＢｂ（図８参照）が作成される。第二学習済みモデルＭＢｂによれば、発生した火の範囲の特定までが可能である。 The second machine learning means 33Bb learns a learning model using the second teacher data as input. The second machine learning means 33Bb can also re-learn a learned model. The second teacher data is data in which presence information indicating the presence of a fire (information on whether there is a fire or not) and range information indicating the range of the fire (information on the position and size) are associated as labels with the second image P2, which is a dark image. A second learned model MBb (see Figure 8) is created by learning with the second machine learning means 33Bb. The second learned model MBb makes it possible to identify the range of a fire that has occurred.

なお、消防システム１Ｂが備える機能の中で学習データの作成に関する機能である「撮像手段１０Ｂ」、「取得手段２２Ｂ」、「作成手段３２Ｂ」をまとめたものを特に「学習データ作成システム」と呼ぶ場合がある。 Note that the functions related to creating learning data among the functions of the firefighting system 1B, namely, "imaging means 10B," "acquisition means 22B," and "creation means 32B," may be collectively referred to as the "learning data creation system."

＜第２実施形態に係る学習データ作成方法＞
図１０を参照して（適宜、図６ないし図９参照）、第２実施形態に係る学習データ作成方法について説明する。図１０は、第２実施形態に係る学習データ作成方法を説明するための図である。ここでは、映像による監視を想定して説明する。 <Learning Data Creation Method According to the Second Embodiment>
A learning data creation method according to the second embodiment will be described with reference to Fig. 10 (see Figs. 6 to 9 as appropriate). Fig. 10 is a diagram for explaining the learning data creation method according to the second embodiment. Here, the description will be given assuming video surveillance.

（ステップＴ１０）
各現場で撮像手段１０Ｂ（図６参照）が監視対象（例えば、破砕機Ｋ）を撮影し、撮影された第一画像Ｐ１および二つの第二画像Ｐ２は、現場に設置されるローカル端末２０Ｂ－１，２０Ｂ－２，・・，２０Ｂ－Ｎに送られる。 (Step T10)
At each site, an imaging means 10B (see Figure 6) photographs the monitored object (e.g., a crusher K), and the captured first image P1 and two second images P2 are sent to local terminals 20B-1, 20B-2, ..., 20B-N installed at the site.

（ステップＴ２０）
各現場のローカル端末２０Ｂでは、教師データのラベルとなる情報を取得するために取得手段２２Ｂが暗い画像である二つの第二画像Ｐ２を用いて火の検知を行い、火の存在を示す存在情報（火のあり／なし情報）および火の範囲を示す範囲情報（位置およびサイズの情報）を取得する。なお、この教師データのラベルとなる情報の取得処理は、監視対象を監視する処理の一部として実行されてもよい。ローカル端末２０Ｂは、明るい画像である第一画像Ｐ１、暗い画像である第二画像Ｐ２をクラウドシステム２Ｂに送信する。ここで、第一画像Ｐ１、第二画像Ｐ２には、火の存在を示す存在情報（火のあり／なし情報）および火の範囲を示す範囲情報（位置およびサイズの情報）が対応付けられている。なお、これらの情報の送信はリアルタイムで行われなくてもよい。 (Step T20)
In the local terminal 20B at each site, the acquisition means 22B detects fire using two second images P2, which are dark images, to acquire information that will be used as labels for teacher data, and acquires presence information (information on whether or not there is a fire) indicating the presence of a fire and range information (information on the location and size) indicating the range of the fire. The process of acquiring information that will be used as labels for teacher data may be executed as part of the process of monitoring the monitored object. The local terminal 20B transmits the first image P1, which is a bright image, and the second image P2, which is a dark image, to the cloud system 2B. Here, the first image P1 and the second image P2 are associated with presence information (information on whether or not there is a fire) indicating the presence of a fire and range information (information on the location and size) indicating the range of the fire. The transmission of this information does not have to be performed in real time.

（ステップＴ３０）
クラウドシステム２Ｂは、ローカル端末２０Ｂから取得した第一画像Ｐ１および第二画像Ｐ２を蓄積し、作成手段３２Ｂは、所定のタイミング（例えば、機械学習を行うタイミング）で第一教師データおよび第二教師データを作成する。第一教師データは、明るい画像である第一画像Ｐ１に火の存在を示す存在情報（火のあり／なし情報）および火の範囲を示す範囲情報（位置およびサイズの情報）をラベルとして関連付けたものである。また、第二教師データは、暗い画像である第二画像Ｐ２に火の存在を示す存在情報（火のあり／なし情報）および火の範囲を示す範囲情報（位置およびサイズの情報）をラベルとして関連付けたものである。なお、人間がチェックすることによって、第一教師データおよび第二教師データの精度を高めることができる。第一教師データには、第一画像Ｐ１に火が写っているものと火が写っていないものとが含まれる。また、第二教師データには、第二画像Ｐ２に火が写っているものと火が写っていないものとが含まれる。 (Step T30)
The cloud system 2B accumulates the first image P1 and the second image P2 acquired from the local terminal 20B, and the creation means 32B creates the first teacher data and the second teacher data at a predetermined timing (for example, the timing of performing machine learning). The first teacher data is obtained by associating the presence information (information on whether or not there is a fire) indicating the presence of a fire and the range information (information on the position and size) indicating the range of the fire as labels with the first image P1, which is a bright image. The second teacher data is obtained by associating the presence information (information on whether or not there is a fire) indicating the presence of a fire and the range information (information on the position and size) indicating the range of the fire as labels with the second image P2, which is a dark image. The accuracy of the first teacher data and the second teacher data can be improved by human checking. The first teacher data includes images of the first image P1 with and without fire. The second teacher data includes images of the second image P2 with and without fire.

（ステップＴ４０）
クラウドシステム２Ｂの機械学習手段３３Ｂは、学習モデルに第一教師データを入力して第一学習済みモデルＭＢａを作成する。また、機械学習手段３３Ｂは、学習モデルに第二教師データを入力して第二学習済みモデルＭＢｂを作成する。なお、それぞれの学習済みモデルを再学習することもできる。これにより、火を検知する精度を向上させることが可能である。 (Step T40)
The machine learning means 33B of the cloud system 2B inputs the first teacher data to the learning model to create a first trained model MBa. The machine learning means 33B also inputs the second teacher data to the learning model to create a second trained model MBb. Note that each trained model can also be retrained. This makes it possible to improve the accuracy of fire detection.

（ステップＴ５０）
クラウドシステム２Ｂは、最新の学習済みモデルをローカル端末２０Ｂに送信し、ローカル端末２０Ｂの学習済みモデルは定期的に更新される。ローカル端末２０Ｂは、学習済みモデルを用いることによって、誤検知の少ない精度より火の検知を行うことができる。 (Step T50)
The cloud system 2B transmits the latest trained model to the local terminal 20B, and the trained model of the local terminal 20B is periodically updated. By using the trained model, the local terminal 20B can detect fires with high accuracy and fewer false positives.

以上のように、第２実施形態に係る学習データ作成システムおよび学習データ作成方法によっても第１実施形態と同等の効果を奏することができる。
また、第２実施形態に係る学習データ作成システムおよび学習データ作成方法によれば、火が写る範囲を示す範囲情報を付した第一教師データおよび第二教師データを容易に作成することができる。 As described above, the learning data creation system and the learning data creation method according to the second embodiment can achieve the same effects as those of the first embodiment.
In addition, according to the learning data creation system and learning data creation method of the second embodiment, it is possible to easily create first teacher data and second teacher data that are accompanied by range information indicating the range within which the fire is captured.

以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を変えない範囲で実施することができる。 The above describes an embodiment of the present invention, but the present invention is not limited to this and can be implemented within the scope of the claims.

各実施形態では、ローカル端末２０Ａ，２０Ｂが明るい画像である第一画像Ｐ１、暗い画像である第二画像Ｐ２の両方をクラウドシステム２Ａ，２Ｂに送信し、クラウドシステム２Ａ，２Ｂで第一学習済みモデルＭＡａ，ＭＢａおよび第二学習済みモデルＭＡｂ，ＭＢｂを作成する場合について説明した。しかしながら、必ずしも第一学習済みモデルＭＡａ，ＭＢａ、第二学習済みモデルＭＡｂ，ＭＢｂの両方を作成しなくてもよい。また、第一学習済みモデルＭＡａ，ＭＢａ、第二学習済みモデルＭＡｂ，ＭＢｂの両方を作成した場合であっても、第一学習済みモデルＭＡａ，ＭＢａおよび第二学習済みモデルＭＡｂ，ＭＢｂの何れか一方を用いて監視を行ってもよい。 In each embodiment, a case has been described in which the local terminals 20A, 20B transmit both the first image P1, which is a bright image, and the second image P2, which is a dark image, to the cloud systems 2A, 2B, and the first trained models MAa, MBa and the second trained models MAb, MBb are created in the cloud systems 2A, 2B. However, it is not necessary to create both the first trained models MAa, MBa and the second trained models MAb, MBb. Furthermore, even if both the first trained models MAa, MBa and the second trained models MAb, MBb are created, monitoring may be performed using either the first trained models MAa, MBa or the second trained models MAb, MBb.

１Ａ，１Ｂ 消防システム
１０Ａ，１０Ｂ 撮像手段
１１ 第一カメラ
１２ 第二カメラ
１３ 第三カメラ
２０Ａ，２０Ｂ ローカル端末
２２Ａ，２２Ｂ 取得手段
２３Ａ，２３Ｂ 火検知手段
３０ 制御装置
３２Ａ，３２Ｂ 作成手段
３２Ａａ，３２Ｂａ 第一作成手段
３２Ａｂ，３２Ｂｂ 第二作成手段
３３Ａ，３３Ｂ 機械学習手段
３３Ａａ，３３Ｂａ 第一機械学習手段
３３Ａｂ，３３Ｂｂ 第二機械学習手段
４０ 消防用設備
ＭＡａ，ＭＢａ 第一学習済みモデル
ＭＡｂ，ＭＢｂ 第二学習済みモデル Reference Signs List 1A, 1B Firefighting system 10A, 10B Imaging means 11 First camera 12 Second camera 13 Third camera 20A, 20B Local terminal 22A, 22B Acquisition means 23A, 23B Fire detection means 30 Control device 32A, 32B Creation means 32Aa, 32Ba First creation means 32Ab, 32Bb Second creation means 33A, 33B Machine learning means 33Aa, 33Ba First machine learning means 33Ab, 33Bb Second machine learning means 40 Firefighting equipment MAa, MBa First trained model MAb, MBb Second trained model

Claims (7)

画像データから火の検知を行う学習モデルに入力する教師データを作成する学習データ作成システムであって、
監視対象の第一画像および前記第一画像と同時刻に撮影したものであって当該第一画像よりも撮像時の光量を抑えた第二画像を撮像する撮像手段と、
前記監視対象における火の存在を示す存在情報を、画像認識手段を用いて前記第二画像から取得する取得手段と、
前記第一画像に前記存在情報をラベルとして関連付けた第一教師データを作成する第一作成手段と、を備える、
ことを特徴とする学習データ作成システム。 A learning data creation system that creates teacher data to be input to a learning model that detects fire from image data, comprising:
an imaging means for capturing a first image of a monitoring object and a second image captured at the same time as the first image and using a smaller amount of light than the first image;
an acquisition means for acquiring presence information indicating the presence of a fire in the monitored object from the second image using an image recognition means;
a first generating means for generating first teacher data in which the presence information is associated with the first image as a label;
A learning data creation system comprising: 前記取得手段は、火が写る範囲を示す範囲情報を前記第二画像からさらに取得し、
前記第一作成手段は、前記第一画像に前記存在情報および前記範囲情報をラベルとして関連付けた第一教師データを作成する、
ことを特徴とする請求項１に記載の学習データ作成システム。 The acquisition means further acquires range information indicating a range in which a fire is captured from the second image,
the first creation means creates first teacher data in which the presence information and the range information are associated with the first image as labels;
2. The learning data creation system according to claim 1 . 前記撮像手段は、前記第一画像を撮像する第一カメラと、前記第一カメラの上方または下方に配置されており前記第二画像を撮像する第二カメラと、前記第一カメラの側方に配置されており前記第二画像を撮像する第三カメラと、を有し、
前記取得手段は、前記第二カメラが撮像した前記第二画像から前記第一画像における火の左右方向の範囲を特定し、前記第三カメラが撮像した前記第二画像から前記第一画像における火の上下方向の範囲を特定する、
ことを特徴とする請求項２に記載の学習データ作成システム。 the imaging means includes a first camera that captures the first image, a second camera that is disposed above or below the first camera and captures the second image, and a third camera that is disposed to the side of the first camera and captures the second image,
The acquisition means determines a horizontal range of the fire in the first image from the second image captured by the second camera, and determines a vertical range of the fire in the first image from the second image captured by the third camera.
3. The learning data creation system according to claim 2. 前記第二画像に少なくとも前記存在情報をラベルとして関連付けた第二教師データを作成する第二作成手段をさらに備える、
ことを特徴とする請求項１ないし請求項３の何れか一項に記載の学習データ作成システム。 A second creation means for creating second teacher data in which at least the presence information is associated with the second image as a label,
4. The learning data creation system according to claim 1, wherein the learning data creation system further comprises: 前記第一画像は、前記監視対象の状況および前記火の範囲を目視可能であるものであり、
前記第二画像は、前記火の範囲のみを目視可能である、
ことを特徴とする請求項１ないし請求項４の何れか一項に記載の学習データ作成システム。 The first image allows the situation of the monitored object and the extent of the fire to be visually observed,
The second image is visible only in the area of the fire.
5. The learning data creation system according to claim 1, wherein the learning data creation system further comprises: 画像データから火の検知を行う学習モデルに入力する教師データを作成する学習データ作成方法であって、
監視対象の第一画像および前記第一画像と同時刻に撮影したものであって当該第一画像よりも撮像時の光量を抑えた第二画像を撮像する撮像ステップと、
前記監視対象における火の存在を示す存在情報を、画像認識手段を用いて前記第二画像から取得する取得ステップと、
前記第一画像に前記存在情報をラベルとして関連付けた第一教師データを作成する第一作成ステップとを実行する、
ことを特徴とする学習データ作成方法。 A learning data creation method for creating teacher data to be input to a learning model for detecting fire from image data, comprising the steps of:
an imaging step of capturing a first image of the monitoring object and a second image captured at the same time as the first image and using a smaller amount of light than the first image;
an acquisition step of acquiring presence information indicating the presence of a fire in the monitored object from the second image using an image recognition means;
a first creation step of creating first teacher data in which the presence information is associated with the first image as a label;
A learning data creation method comprising: 請求項６に記載の学習データ作成方法によって作成した前記第一教師データを用いて教師あり学習を行った、火の検知を行う処理をコンピュータに実行させるための学習済みモデル。 A trained model for causing a computer to execute a process for detecting fire, the trained model being obtained by supervised learning using the first teacher data created by the training data creation method described in claim 6.

Images