JP7486652B1 - Smoke image generating device, smoke detection system, smoke image generating method, abnormality image generating device, and program - Google Patents

Smoke image generating device, smoke detection system, smoke image generating method, abnormality image generating device, and program Download PDF

Info

Publication number
JP7486652B1
JP7486652B1 JP2023145311A JP2023145311A JP7486652B1 JP 7486652 B1 JP7486652 B1 JP 7486652B1 JP 2023145311 A JP2023145311 A JP 2023145311A JP 2023145311 A JP2023145311 A JP 2023145311A JP 7486652 B1 JP7486652 B1 JP 7486652B1
Authority
JP
Japan
Prior art keywords
smoke
image
images
learning
input information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023145311A
Other languages
Japanese (ja)
Inventor
綾菜 谷口
聡志 宮崎
修一 富岡
順也 矢野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Steel Engineering Co Ltd
Original Assignee
Nippon Steel Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Steel Engineering Co Ltd filed Critical Nippon Steel Engineering Co Ltd
Priority to JP2023145311A priority Critical patent/JP7486652B1/en
Application granted granted Critical
Publication of JP7486652B1 publication Critical patent/JP7486652B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】画像生成モデルを用いることにより、より少ない手間で大量の学習用煙画像を生成することができる煙画像生成装置、煙検知システム、煙画像生成方法、煙検知方法、異常画像生成装置、およびプログラムを提供すること。【解決手段】煙発生時の廃棄物貯留ピットの画像である学習用煙画像であって、画像が入力されると煙の画像部分の存在に関する情報を出力する学習モデルの学習に用いられる学習用煙画像を、互いに異なる複数の画像を用いる機械学習によって得られる画像生成モデルにより生成する煙画像生成装置であって、入力情報は前記学習用煙画像における煙の領域を示す情報であって、外部から入力される前記入力情報を取得する取得部と、前記入力情報を画像生成モデルに入力することで、複数の学習用煙画像を画像生成モデルに生成させる生成部と、を備える煙画像生成装置。【選択図】図１[Problem] To provide a smoke image generation device, smoke detection system, smoke image generation method, smoke detection method, abnormality image generation device, and program that can generate a large number of training smoke images with less effort by using an image generation model. [Solution] A smoke image generation device that generates training smoke images, which are images of a waste storage pit when smoke is generated, using an image generation model obtained by machine learning using a plurality of mutually different images to train a learning model that outputs information regarding the presence of image portions of smoke when an image is input, the smoke image generation device comprising: an acquisition unit that acquires input information that is input from outside, the input information being information indicating smoke areas in the training smoke images; and a generation unit that causes the image generation model to generate a plurality of training smoke images by inputting the input information to the image generation model. [Selected Figure] Figure 1

Description

本開示は、煙画像生成装置、煙検知システム、煙画像生成方法、煙検知方法、異常画像生成装置、およびプログラムに関する。 The present disclosure relates to a smoke image generating device, a smoke detection system, a smoke image generating method, a smoke detection method, an abnormality image generating device, and a program.

廃棄物（ごみ）が集められる廃棄物貯留ピットでは、廃棄物が発火することがある。廃棄物が発火する前に煙が発生するため、煙を発火する前に自動的に検知しようとする試みがなされている。これに関連し、特許文献１は、廃棄物貯留ピットにおいて廃棄物と混在する燃焼物から発せられる燃焼煙を、学習モデルを用い、検知することを開示する。特許文献２は、監視カメラで撮像した監視領域の通常状態の画像である通常監視画像に対して火災煙画像を合成し、火災学習画像を生成することを開示する。 In waste storage pits where waste (garbage) is collected, the waste may ignite. Because smoke is generated before the waste ignites, attempts have been made to automatically detect the smoke before it ignites. In this regard, Patent Document 1 discloses the use of a learning model to detect combustion smoke emitted from combustible materials mixed with waste in waste storage pits. Patent Document 2 discloses the generation of a fire learning image by synthesizing a fire smoke image with a normal surveillance image, which is an image of the normal state of the surveillance area captured by a surveillance camera.

特開２０２１－１０３３４５号公報JP 2021-103345 A 特開２０１８－０８８６３０号公報JP 2018-088630 A

しかしながら、特許文献１に開示の技術では、燃焼煙の画像部分が存在する画像を含む教師画像を入力データとする機械学習によって学習モデルを得る必要があるが、廃棄物貯留ピットにおいて燃焼煙が発生する頻度は相対的に少なく、このような教師画像を集めることは、煩雑であった。また、特許文献２に開示の技術では、火災学習画像を得るための合成処理の煩雑さに改善の余地があった。
そこで、本開示は、画像生成モデルを用いることにより、より少ない手間で大量の学習用煙画像を生成することができる煙画像生成装置、煙検知システム、煙画像生成方法、煙検知方法、異常画像生成装置、およびプログラムを提供することを目的とする。 However, in the technology disclosed in Patent Document 1, it is necessary to obtain a learning model by machine learning using teacher images including images containing combustion smoke as input data, but the frequency of combustion smoke generation in waste storage pits is relatively low, and collecting such teacher images is cumbersome. Also, in the technology disclosed in Patent Document 2, there is room for improvement in the complication of the synthesis process for obtaining fire learning images.
Therefore, the present disclosure aims to provide a smoke image generation device, a smoke detection system, a smoke image generation method, a smoke detection method, an abnormality image generation device, and a program that can generate a large number of training smoke images with less effort by using an image generation model.

この開示の一態様は、煙発生時の廃棄物貯留ピットの画像である学習用煙画像であって、画像が入力されると煙の画像部分の存在に関する情報を出力する学習モデルの学習に用いられる学習用煙画像を、互いに異なる複数の画像を用いる機械学習によって得られる画像生成モデルにより生成する煙画像生成装置であって、入力情報は前記学習用煙画像における煙の位置を示す情報であって、外部から入力される前記入力情報を取得する取得部と、前記入力情報を前記画像生成モデルに入力することで、複数の前記学習用煙画像を前記画像生成モデルに生成させる生成部とを備える煙画像生成装置である。 One aspect of this disclosure is a smoke image generating device that generates training smoke images, which are images of a waste storage pit when smoke is generated, using an image generation model obtained by machine learning using a plurality of mutually different images to train a learning model that outputs information regarding the presence of an image portion of smoke when an image is input, the input information being information indicating the position of smoke in the training smoke image, the smoke image generating device including an acquisition unit that acquires the input information input from outside, and a generation unit that inputs the input information to the image generation model to cause the image generation model to generate a plurality of the training smoke images.

上記態様によれば、画像生成モデルを用いることにより、より少ない手間で大量の学習用煙画像を生成することができる。 According to the above aspect, by using an image generation model, a large number of training smoke images can be generated with less effort.

煙画像生成装置１００と画像生成サーバ２００と学習装置３００と煙検知システム４００の構成の一例を示した全体図である。An overall diagram showing an example of the configuration of a smoke image generation device 100, an image generation server 200, a learning device 300, and a smoke detection system 400. 煙の領域を指定の一例を示した図である。FIG. 13 is a diagram showing an example of designating a smoke region. 煙に似た埃、土、砂などの粉じん類や、放水銃による水しぶきが舞い上がっている画像の一例である。This is an example of an image showing dust, dirt, sand, and other particles that resemble smoke, as well as water spray from a water cannon. 煙ではなく炎が発生している画像の一例である。This is an example of an image showing flames instead of smoke. 何も発生していない廃棄物貯留ピットの画像の一例である。An example image of a waste storage pit with nothing happening. 煙以外のものを煙画像として生成した画像の一例である。This is an example of an image in which something other than smoke is generated as a smoke image. クレーンを背景として含む学習用煙画像の一例である。1 is an example of a training smoke image that includes a crane in the background. 第１実施形態の構成の別の一例の構成図である。FIG. 2 is a diagram illustrating another example of the configuration of the first embodiment. 学習モデル３２２の機械学習の一例を示す図である。A diagram showing an example of machine learning of the learning model 322. 第２実施形態の構成図である。FIG. 11 is a configuration diagram of a second embodiment.

＜第１実施形態＞
以下、図面を参照し、本開示の煙画像生成装置、煙検知システム、煙画像生成方法、煙検知方法、異常画像生成装置、およびプログラムの第１実施形態について説明する。本開示の煙画像生成装置、煙検知システム、煙画像生成方法、煙検知方法、およびプログラムは、ごみ処理施設の廃棄物貯留ピットにて、煙が発生したか否かを検知し、煙が発生した位置を検出するためのものである。廃棄物貯留ピットとは、ごみ収集車等が収集したごみを一時的に貯蔵するための施設である。廃棄物貯留ピットは、国内に１５００カ所以上存在するが、ある会社１社が自由に映像を取得できる廃棄物貯留ピットの数は数十カ所程度しか存在しない。煙画像生成するための学習を安定して行うためには、数千枚の教師画像を基に学習することが望ましい。しかし、廃棄物貯留ピットの背景パターンが数十カ所しかないため、同一背景パターンの廃棄物貯留ピットの画像を大量（数百枚レベル）に使用せざるを得ない。その場合、学習の精度が不十分となることがある。煙検知システムに用いる学習モデルを十分に学習させるために、大量の教師画像となる学習用煙画像が必要であるという前提がある。 First Embodiment
Hereinafter, a first embodiment of a smoke image generating device, a smoke detection system, a smoke image generating method, a smoke detection method, an abnormality image generating device, and a program of the present disclosure will be described with reference to the drawings. The smoke image generating device, the smoke detection system, the smoke image generating method, the smoke detection method, and the program of the present disclosure are for detecting whether smoke has been generated in a waste storage pit of a waste treatment facility and detecting the position where the smoke has been generated. A waste storage pit is a facility for temporarily storing waste collected by a garbage truck or the like. There are more than 1,500 waste storage pits in Japan, but there are only about several dozen waste storage pits from which a single company can freely obtain images. In order to stably perform learning for generating a smoke image, it is desirable to learn based on several thousand teacher images. However, since there are only several dozen background patterns for waste storage pits, a large number of images (several hundred images) of waste storage pits with the same background pattern must be used. In that case, the accuracy of learning may be insufficient. There is a premise that a large number of training smoke images that serve as teacher images are necessary to fully learn a learning model used in a smoke detection system.

図１は、煙画像生成装置１００と画像生成サーバ２００と学習装置３００と煙検知システム４００の構成の一例を示した全体図である。以下、各装置、システム、サーバについて概説し、それぞれの構成要素については、後述する。 Figure 1 is an overall diagram showing an example of the configuration of a smoke image generation device 100, an image generation server 200, a learning device 300, and a smoke detection system 400. Below, an overview of each device, system, and server is provided, and each component is described later.

煙画像生成装置１００と、画像生成サーバ２００と、学習装置３００と、煙検知システム４００は、それぞれネットワークＮＷを介して通信する。ネットワークＮＷは、例えば、インターネット、ＬＡＮ（Local Area Network）、無線基地局、プロバイダ装置などを含む。 The smoke image generating device 100, the image generating server 200, the learning device 300, and the smoke detection system 400 each communicate via a network NW. The network NW includes, for example, the Internet, a LAN (Local Area Network), a wireless base station, a provider device, etc.

煙画像生成装置１００は、画像生成サーバ２００に学習用煙画像を生成させる。学習用煙画像は、廃棄物貯留ピットの上部から廃棄物貯留ピットを撮像した画像であり、煙が発生した画像である。学習用煙画像は、学習装置３００に学習させるための画像である。画像生成サーバ２００は、画像生成モデル２１０を用いて学習用煙画像を複数生成する。画像生成サーバ２００は、インターネットサイト等の情報源２２０にアクセスし、「常識知」などのワードを使って、学習モデル２１０に事前に学習をさせ汎用的な知識を習得させる。学習モデル２１０は、内容がテキストなどで指定されると、ＡＩ（人工知能）を用いてそれに見合った画像を自動的に生成することが可能である。学習装置３００は、学習用煙画像を学習して学習モデル３２２を生成する。学習モデル３２２は、更に、後述する入力情報と画像生成モデルが生成したものではない煙画像であって、異なるパターン（種類）の煙画像を用いて追加学習を行う。煙検知システム４００は、ごみ処理施設の廃棄物貯留ピットの上部から廃棄物貯留ピットを撮像し、学習モデル３２２を用いて煙を検知するシステムである。 The smoke image generating device 100 causes the image generating server 200 to generate a learning smoke image. The learning smoke image is an image of the waste storage pit captured from above the waste storage pit, and is an image in which smoke is generated. The learning smoke image is an image for the learning device 300 to learn. The image generating server 200 generates multiple learning smoke images using the image generating model 210. The image generating server 200 accesses an information source 220 such as an Internet site, and uses words such as "common knowledge" to have the learning model 210 learn in advance and acquire general knowledge. When the content is specified by text or the like, the learning model 210 can automatically generate an image that matches the content using AI (artificial intelligence). The learning device 300 learns the learning smoke image to generate a learning model 322. The learning model 322 further performs additional learning using input information described later and smoke images of different patterns (types) that are not generated by the image generating model. The smoke detection system 400 is a system that captures an image of a waste storage pit from above the waste storage pit at a waste treatment facility and detects smoke using the learning model 322.

以下、各部について説明する。煙画像生成装置１００は、例えば、取得部１１０と、アノテーション部１２０と、生成部１３０と、選別部１４０と、記憶部１５０を備える。取得部１１０は、外部から入力される入力情報を取得する。入力情報とは、例えば、煙の位置（座標）、煙を発生させる領域、煙の種類、複数の廃棄物貯留ピットの画像である。外部からの入力は、例えば、煙画像生成装置１００に接続されている入出力装置１６０を用いて行う。 Each unit will be described below. The smoke image generating device 100 includes, for example, an acquisition unit 110, an annotation unit 120, a generation unit 130, a selection unit 140, and a memory unit 150. The acquisition unit 110 acquires input information input from the outside. The input information is, for example, the position (coordinates) of the smoke, the area where the smoke is generated, the type of smoke, and images of multiple waste storage pits. The input from the outside is performed, for example, using an input/output device 160 connected to the smoke image generating device 100.

アノテーション部１２０は、学習用煙画像に煙の位置、煙の領域、煙の種類などの入力情報を用いてアノテーションする。アノテーションとは、例えば、画像に情報や注釈を追加したり、属性を付与して分類したりするものである。煙の領域とは、廃棄物貯留ピットの画像の中で煙を発生させる部分を示す領域を指定する情報である。これを領域情報とする。アノテーション部１２０は、人の操作を受け付けてアノテーションしてもよい。 The annotation unit 120 annotates the training smoke image using input information such as the position of the smoke, the area of the smoke, and the type of smoke. Annotation, for example, involves adding information or annotations to an image, or classifying it by adding attributes. The area of the smoke is information that specifies the area that indicates the part of the image of the waste storage pit that is emitting smoke. This is called area information. The annotation unit 120 may also perform annotations by accepting human operation.

図２は、煙の領域を指定の一例を示した図である。図２は、煙が発生している廃棄物貯留ピットを撮像したものである。領域は、矩形で表現される。点Ａと点Ｂは、煙の位置を示す。点Ａの座標（Ｘ１．Ｙ１）と点Ｂの座標（Ｘ２．Ｙ２）を入力して、それぞれの点から延出した線が交わるところと点Ａ、点Ｂとを頂点とした矩形を描き、囲まれた部分を煙の領域とする。領域情報としては、点Ａまたは点Ｂのみであってもよいし、４つの点の座標であってもよい。アノテーション部１２０は、煙が発生していると判断した領域を図２のように矩形を描いて示す。 Figure 2 shows an example of specifying a smoke area. Figure 2 shows an image of a waste storage pit from which smoke is being generated. The area is represented by a rectangle. Points A and B indicate the position of the smoke. The coordinates of point A (X1.Y1) and point B (X2.Y2) are input, and a rectangle is drawn with points A and B as vertices and the intersection of lines extending from each point, and the enclosed area is designated as the smoke area. The area information may be only point A or point B, or may be the coordinates of four points. The annotation unit 120 indicates the area where it is determined that smoke is being generated by drawing a rectangle as shown in Figure 2.

生成部１３０は、入力情報を画像生成モデル２１０に与えて学習用煙画像を得る。生成部１３０は、学習用煙画像を得る前後に画像生成モデル２１０に実際の煙画像と入力情報を与えてチューニングを行う。更に、画像生成モデル２１０が生成した学習用煙画像を画像生成モデル２１０の追加学習に用いてもよい。追加学習とは、上述したチューニングに加え、火災発生時の煙以外の発酵ガス、埃、土、砂などの粉じん類、放水銃からの水しぶきを含む学習用煙画像を使用して、更に、火災発生時の煙以外の発酵ガス、埃、土、砂などの粉じん類、放水銃からの水しぶきを含む学習用煙画像を生成できるように学習することである。画像生成モデル２１０は、それらの学習用煙画像を用いて学習することで火災による煙を検知できるようになる。図３は、煙に似た埃、土、砂などの粉じん類や、放水銃による水しぶきが舞い上がっている画像の一例である。 The generation unit 130 provides input information to the image generation model 210 to obtain a training smoke image. The generation unit 130 performs tuning by providing the image generation model 210 with actual smoke images and input information before and after obtaining the training smoke image. Furthermore, the training smoke image generated by the image generation model 210 may be used for additional learning of the image generation model 210. Additional learning means, in addition to the above-mentioned tuning, learning smoke images including fermentation gas, dust, soil, sand, and other particles other than smoke at the time of a fire, and water spray from a water cannon are used to learn so that training smoke images including fermentation gas, dust, soil, sand, and other particles other than smoke at the time of a fire, and water spray from a water cannon can be generated. The image generation model 210 can detect smoke caused by a fire by learning using these training smoke images. Figure 3 is an example of an image in which dust, soil, sand, and other particles similar to smoke, and water spray from a water cannon are flying up.

選別部１４０は、画像生成モデル２１０が複数生成した学習用煙画像を選別モデル１５２に選別させる。学習用煙画像は、廃棄物貯留ピットの上部から廃棄物貯留ピットを撮像し煙が発生している状態の画像であるが、煙が発生している画像以外の画像も生成される。煙が発生している状態の画像のみ学習モデル３２２に学習させたいため、選別部１４０は、煙以外が発生している学習用煙画像を選別し、除外する必要がある。選別モデル１５２は、煙や廃棄物貯留ピットに関する画像を大量に学習してある学習モデルである。選別モデル１５２は、煙や廃棄物貯留ピットを含む画像か否かを判定することができ、煙の画像や、廃棄物貯留ピットが含まれていない画像（例えば、平地にゴミが積まれたゴミ置き場の画像）、を除外する。除外する画像は、例えば、図４～図６の画像である。廃棄物貯蔵ピット以外の場所に煙が発生している状態の画像や、廃棄物貯留ピットであっても煙以外のもの（火炎も含む）が発生している画像などである。図４は、煙ではなく炎が発生している画像の一例である。図５は、何も発生していない廃棄物貯留ピットの画像の一例である。図６は、煙以外のものを煙画像として生成した画像の一例である。これらの画像が除外対象となる。画像の選別は、例えば、画像処理アルゴリズムで実現してもよい。 The selection unit 140 causes the selection model 152 to select the learning smoke images generated by the image generation model 210. The learning smoke images are images of the waste storage pit captured from above the waste storage pit with smoke, but images other than images with smoke are also generated. Since it is desired that the learning model 322 learn only images with smoke, the selection unit 140 needs to select and exclude learning smoke images with other than smoke. The selection model 152 is a learning model that has learned a large number of images related to smoke and waste storage pits. The selection model 152 can determine whether an image includes smoke or a waste storage pit, and excludes images of smoke and images that do not include a waste storage pit (for example, an image of a garbage dump with garbage piled up on flat ground). The images to be excluded are, for example, the images in Figures 4 to 6. Examples include images of a state in which smoke is generated in a place other than a waste storage pit, and images of a waste storage pit with something other than smoke (including a flame). Figure 4 is an example of an image in which a flame is generated instead of smoke. FIG. 5 is an example of an image of a waste storage pit where nothing is occurring. FIG. 6 is an example of an image where something other than smoke is generated as a smoke image. These images are subject to rejection. Image selection may be achieved, for example, by an image processing algorithm.

記憶部１５０は、選別モデル１５２を記憶する。選別モデル１５２は、先述した通りである。記憶部１５０は、ＨＤＤ（Hard Disk Drive）、或いはＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、またはＲＡＭ（Random Access Memory）等により実現されてもよい。 The storage unit 150 stores the selection model 152. The selection model 152 is as described above. The storage unit 150 may be realized by a HDD (Hard Disk Drive), an EEPROM (Electrically Erasable Programmable Read Only Memory), a ROM (Read Only Memory), a RAM (Random Access Memory), or the like.

煙画像生成装置１００の記憶部１５０以外の構成要素は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、ＴＰＵ（Tensor Processing Unit） などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤやフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。 The components of the smoke image generating device 100 other than the storage unit 150 are realized by, for example, a hardware processor such as a CPU (Central Processing Unit) executing a program (software). Some or all of these components may be realized by hardware (including circuitry) such as an LSI (Large Scale Integration), ASIC (Application Specific Integrated Circuit), FPGA (Field-Programmable Gate Array), GPU (Graphics Processing Unit), or TPU (Tensor Processing Unit), or may be realized by a combination of software and hardware. The program may be stored in advance in a storage device such as an HDD or flash memory (a storage device with a non-transient storage medium), or may be stored in a removable storage medium such as a DVD or CD-ROM (a non-transient storage medium), and may be installed by inserting the storage medium into a drive device.

画像生成サーバ２００は、画像生成モデル２１０を備える。画像生成モデル２１０は、先述した通り、情報源２２０から取得した情報に基づいて予め学習をして得たモデルである。画像生成モデル２１０は、例えば、第１入力情報として「煙の画像を生成して下さい」と入力すると、煙の画像を生成する。生成した複数の学習用煙画像は、背景がそれぞれ異なる画像である。背景は、廃棄物貯留ピットの壁を含む背景である。画像生成モデル２１０は、学習用煙画像の背景にクレーンを含む学習用煙画像も生成する。図７は、クレーンを背景として含む学習用煙画像の一例である。廃棄物貯留ピットでは、廃棄物を攪拌する作業も行われるため、画像生成モデル２１０は、攪拌された廃棄物を含む学習用煙画像も生成する。画像生成サーバ２００は、画像生成装置、画像生成機能を備える装置、画像生成関数を保持する装置でもよい。 The image generation server 200 includes an image generation model 210. As described above, the image generation model 210 is a model obtained by learning in advance based on information acquired from the information source 220. For example, when the image generation model 210 receives the first input information "Please generate an image of smoke," the image generation model 210 generates an image of smoke. The generated training smoke images each have a different background. The background includes the wall of the waste storage pit. The image generation model 210 also generates a training smoke image including a crane in the background of the training smoke image. FIG. 7 is an example of a training smoke image including a crane as a background. In the waste storage pit, the work of stirring waste is also performed, so the image generation model 210 also generates a training smoke image including the stirred waste. The image generation server 200 may be an image generation device, a device equipped with an image generation function, or a device that holds an image generation function.

学習装置３００は、例えば、モデル生成部３１０と、記憶部３２０を備える。モデル生成部３１０は、学習モデル３２２を生成する。記憶部３２０は、学習モデル３２２を記憶する。記憶部３２０以外の構成要素は、例えば、ＣＰＵなどのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵなどのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤやフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。 The learning device 300 includes, for example, a model generation unit 310 and a storage unit 320. The model generation unit 310 generates a learning model 322. The storage unit 320 stores the learning model 322. The components other than the storage unit 320 are realized, for example, by a hardware processor such as a CPU executing a program (software). Some or all of these components may be realized by hardware (including circuitry) such as an LSI, ASIC, FPGA, or GPU, or may be realized by collaboration between software and hardware. The program may be stored in advance in a storage device such as an HDD or flash memory (a storage device with a non-transient storage medium), or may be stored in a removable storage medium such as a DVD or CD-ROM (a non-transient storage medium), and may be installed by inserting the storage medium into a drive device.

煙検知システム４００は、例えば、撮像部４１０と、判定部４２０と、報知部４３０と、記憶部４４０を備える。撮像部４１０は、廃棄物貯留ピットの上部から廃棄物貯留ピットを撮像する。撮像部４１０は、カメラ（不図示）を無線または有線で接続されていて、撮像した画像を常に連携する。カメラは、例えば、シームレスカメラである。シームレスカメラとは、撮像中に記録媒体の容量がなくなっても、自動的に記録媒体を切り替えてフレーム損失を起こさずに撮像を継続できるカメラである。 The smoke detection system 400 includes, for example, an imaging unit 410, a determination unit 420, an alarm unit 430, and a memory unit 440. The imaging unit 410 captures an image of the waste storage pit from above the waste storage pit. The imaging unit 410 is connected to a camera (not shown) wirelessly or via a wire, and constantly shares captured images. The camera is, for example, a seamless camera. A seamless camera is a camera that can continue capturing images without frame loss by automatically switching recording media even if the capacity of the recording media runs out during capture.

判定部４２０は、撮像部４１０から連携された画像に、学習モデル３２２を用いて煙が発生しているか否かを判定する。判定部４２０は、更に、煙が発生していると判定した場合、どのような種類の煙か判定する。判定部４２０は、判定した結果（判定結果）を、報知部４３０に連携する。 The determination unit 420 uses the learning model 322 to determine whether or not smoke is occurring in the image linked from the imaging unit 410. If the determination unit 420 determines that smoke is occurring, it further determines what type of smoke it is. The determination unit 420 links the result of the determination (determination result) to the notification unit 430.

記憶部４４０は、学習モデル３２２を備える。学習モデル３２２は、学習装置３００から連携した学習モデル３２２である。 The memory unit 440 includes a learning model 322. The learning model 322 is a learning model 322 linked from the learning device 300.

煙検知システム４００の記憶部４４０以外の構成要素は、例えば、ＣＰＵなどのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵなどのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤやフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。 The components of the smoke detection system 400 other than the storage unit 440 are realized, for example, by a hardware processor such as a CPU executing a program (software). Some or all of these components may be realized by hardware (including circuitry) such as an LSI, ASIC, FPGA, or GPU, or may be realized by a combination of software and hardware. The program may be stored in advance in a storage device such as a HDD or flash memory (a storage device with a non-transient storage medium), or may be stored in a removable storage medium (non-transient storage medium) such as a DVD or CD-ROM, and installed by inserting the storage medium into a drive device.

図８は、第１実施形態の構成の別の一例の構成図である。上述した構成の他に、例えば、図８のように煙画像生成装置１００と画像生成サーバ２００の構成は、一つの煙画像生成装置Ａとして実施してもよいし、学習装置３００と煙検知システム４００の判定部４２０と記憶部４４０は、一つの煙検知装置Ｂとして実施してもよい。その場合、撮像部４１０と報知部４３０は、煙検知デバイスＣとして動作する。更に、煙画像生成装置１００と画像生成サーバ２００と学習装置３００と煙検知システム４００の判定部４２０と記憶部４４０は、一つの煙検知装置として実施してもよい。 Figure 8 is a configuration diagram of another example of the configuration of the first embodiment. In addition to the configuration described above, for example, as shown in Figure 8, the configuration of the smoke image generation device 100 and the image generation server 200 may be implemented as one smoke image generation device A, and the learning device 300 and the judgment unit 420 and memory unit 440 of the smoke detection system 400 may be implemented as one smoke detection device B. In that case, the imaging unit 410 and the notification unit 430 operate as a smoke detection device C. Furthermore, the smoke image generation device 100, the image generation server 200, the learning device 300, and the judgment unit 420 and memory unit 440 of the smoke detection system 400 may be implemented as one smoke detection device.

以下、本開示の動作の一例について説明する。取得部１１０は、入力情報と煙の画像を取得する。入力情報は、第１入力情報と第２入力情報がある。第１入力情報は、例えば、「煙の画像を生成して下さい」などのテキストである。第１入力情報は、煙の種類を示す種類情報（パターン）を含んでもよい。第２入力情報は、例えば、「パターン２の煙を生成して下さい」などのテキストｄである。パターンは、例えば、火災発生時の発煙をパターン１とし、発酵ガスが発生時の発煙をパターン２、埃、土、砂などの粉じん類をパターン３、散水銃からの水しぶきをパターン４とする。取得部１１０は、第１入力情報と煙の画像を用いて追加学習をして画像生成モデル２１０を取得する。これを取得ステップとする。 An example of the operation of the present disclosure will be described below. The acquisition unit 110 acquires input information and an image of smoke. The input information includes first input information and second input information. The first input information is, for example, text such as "Please generate an image of smoke." The first input information may include type information (pattern) indicating the type of smoke. The second input information is, for example, text d such as "Please generate smoke of pattern 2." For example, the patterns are pattern 1 for smoke generated when a fire occurs, pattern 2 for smoke generated when fermentation gas occurs, pattern 3 for dust particles such as dirt, soil, and sand, and pattern 4 for water spray from a water gun. The acquisition unit 110 acquires the image generation model 210 by additional learning using the first input information and the image of smoke. This is referred to as an acquisition step.

アノテーション部１２０は、取得した学習用煙画像にアノテーションをする。学習用煙画像のどの部分が、煙が発生している領域なのかアノテーションをする。アノテーション部１２０は、アノテーションに入力情報を用いる。アノテーション部１２０は、アノテーションした学習用煙画像を学習装置３００に送信する（図中の破線矢印（１））。 The annotation unit 120 annotates the acquired training smoke image. It annotates which parts of the training smoke image are areas where smoke is occurring. The annotation unit 120 uses the input information for annotation. The annotation unit 120 transmits the annotated training smoke image to the learning device 300 (dashed arrow (1) in the figure).

生成部１３０は、第２入力情報を入力して、画像生成モデル２１０に学習用煙画像を生成させる（図中の破線矢印（２））。画像生成モデル２１０は、複数の学習用煙画像を生成する。これを生成ステップとする。 The generation unit 130 inputs the second input information and causes the image generation model 210 to generate training smoke images (dashed arrow (2) in the figure). The image generation model 210 generates multiple training smoke images. This is referred to as the generation step.

画像生成モデル２１０は、生成した学習用煙画像を生成部１３０に送信する（図中の破線矢印（３））。 The image generation model 210 transmits the generated training smoke image to the generation unit 130 (dashed arrow (3) in the figure).

生成した学習用煙画像は、煙以外の画像が含まれている場合があるので煙の画像のみに選別する必要がある。選別部１４０は、学習用煙画像から廃棄物貯留ピットに煙が発生している画像のみに選別モデル１５２を用いて選別する。これを、選別ステップとする。 The generated training smoke images may contain images other than smoke, so they need to be sorted to include only smoke images. The sorting unit 140 uses the sorting model 152 to sort the training smoke images to include only images in which smoke is occurring in the waste storage pit. This is called the sorting step.

図９は、学習モデル３２２の機械学習の一例を示す図である。モデル生成部３１０は、複数の学習用煙画像を含む教師画像を入力データ（３２３Ａ）とした場合の機械学習モデルの出力が学習用煙画像の判定結果を出力パラメータ（３２３Ｂ）に近づくように、バックプロパゲーションなどの手法により機械学習モデルのパラメータを学習する。例えば、規定回数、上記の処理を実行した時点での機械学習モデルが、学習モデル３２２として確定する。 Figure 9 is a diagram showing an example of machine learning of the learning model 322. The model generation unit 310 learns the parameters of the machine learning model using a technique such as backpropagation so that the output of the machine learning model when a teacher image including multiple learning smoke images is used as input data (323A) approaches the output parameters (323B) of the judgment result of the learning smoke image. For example, the machine learning model at the point when the above process has been executed a specified number of times is determined as the learning model 322.

学習装置３００は、生成した学習モデル３２２を煙検知システム４００に送信する（図中の破線矢印（４））。 The learning device 300 transmits the generated learning model 322 to the smoke detection system 400 (dashed arrow (4) in the figure).

撮像部４１０は、廃棄物貯留ピットの上部から廃棄物貯留ピットを撮像する。撮像部４１０は、撮像した画像を判定部４２０に連携する。判定部４２０は、学習モデル３２２を用いて廃棄物貯留ピットに煙が発生しているか否かを判定する。判定部４２０は、判定結果を報知部４３０に連携する。判定部４２０は、一つの廃棄物貯留ピットに複数の煙が発生している場合でも検知することができる。 The imaging unit 410 captures an image of the waste storage pit from above the waste storage pit. The imaging unit 410 transmits the captured image to the determination unit 420. The determination unit 420 uses the learning model 322 to determine whether or not smoke is occurring in the waste storage pit. The determination unit 420 transmits the determination result to the notification unit 430. The determination unit 420 can detect even when multiple instances of smoke are occurring in one waste storage pit.

報知部４３０は、判定結果に応じて報知方法を変える。報知部４３０は、例えば、煙が発生しているという判定結果を連携された場合、煙が発生している旨と場所を報知する。報知部４３０は、例えば、端末装置に接続して判定結果を出力してもよい。端末装置は、例えば、タブレット端末などである。 The notification unit 430 changes the notification method depending on the determination result. For example, when the notification unit 430 is linked to a determination result that smoke is being generated, the notification unit 430 notifies the user that smoke is being generated and the location of the smoke. The notification unit 430 may, for example, be connected to a terminal device and output the determination result. The terminal device may, for example, be a tablet terminal.

報知部４３０は、例えば、煙が発生していないという判定結果を連携された場合、特に報知を行わなくてもよい。また、報知部４３０は、タブレット端末に煙が発生していない旨を表示させてもよい。 For example, when the determination result indicates that no smoke is being generated, the notification unit 430 may not need to issue a notification. The notification unit 430 may also display on the tablet device that no smoke is being generated.

以上説明した第１実施形態によれば、アノテーション部１２０がアノテーションを行うことで、学習モデル３２２に学習用煙画像を学習する際に効率的に学習することを可能にする。そして選別モデル１５２は、必要な学習用煙画像を選別できるため、操作の手間を減らすことができる。これらの処理を行った学習用煙画像を学習モデル３２２に学習させることで、より正確に廃棄物貯留ピットでの煙発生を検知することができる。 According to the first embodiment described above, the annotation unit 120 performs annotation, which enables efficient learning when learning smoke images into the learning model 322. The selection model 152 can select the necessary learning smoke images, thereby reducing the amount of work required. By having the learning model 322 learn the learning smoke images that have been subjected to these processes, smoke generation in the waste storage pit can be detected more accurately.

煙画像生成装置は、煙発生時の廃棄物貯留ピットの画像である学習用煙画像であって、画像が入力されると煙の画像部分の存在に関する情報を出力する学習モデルの学習に用いられる学習用煙画像を、互いに異なる複数の画像を用いる機械学習によって得られる画像生成モデルにより生成する画像生成装置であって、外部から入力される煙の量と種類を示す入力情報を取得する取得部と、入力情報を画像生成モデルに入力することで、複数の学習用煙画像を画像生成モデルに生成させる生成部と、を備える。
煙画像生成装置が、画像生成モデルを用いて学習用煙画像を生成することで、大量の学習用煙画像を少ない手間で用意することができる。 The smoke image generating device is an image generating device that generates training smoke images, which are images of a waste storage pit when smoke is generated, using an image generation model obtained by machine learning using multiple different images to train a learning model that outputs information regarding the presence of image portions of smoke when an image is input, and is equipped with an acquisition unit that acquires input information indicating the amount and type of smoke input from the outside, and a generation unit that causes the image generation model to generate multiple training smoke images by inputting the input information into the image generation model.
By having the smoke image generation device generate training smoke images using an image generation model, a large number of training smoke images can be prepared with little effort.

画像生成モデルは、入力情報と画像生成モデルが生成したものでない煙画像とを用いて追加学習される。
追加学習することで、煙画像生成装置は、煙発生時の廃棄物貯留ピットの画像をより確実に生成することができる画像生成モデルを得ることができる。 The image generation model is incrementally trained using input information and smoke images that are not generated by the image generation model.
Through additional learning, the smoke image generation device can obtain an image generation model that can more reliably generate images of the waste storage pit when smoke is generated.

入力情報は、画像生成モデルにより背景画像として用いられる画像であって、煙非発生時の廃棄物貯留ピットの画像と、煙非発生時の廃棄物貯留ピットの画像における領域であって、煙を発生させる領域を示す領域情報と、を含む。
上述した入力情報を入力することで、画像生成モデルに煙非発生時の廃棄物貯留ピットを学習させる負担が軽減され、煙画像生成装置は、様々な位置に煙が発生している煙発生時の廃棄物貯留ピットの学習用煙画像を生成することができる。 The input information is an image used as a background image by the image generation model, and includes an image of the waste storage pit when no smoke is being generated, and area information indicating an area in the image of the waste storage pit when no smoke is being generated that generates smoke.
By inputting the above-mentioned input information, the burden of having the image generation model learn the waste storage pit when no smoke is generated is reduced, and the smoke image generation device can generate learning smoke images of the waste storage pit when smoke is generated, with smoke occurring in various positions.

画像生成モデルは、入力情報と画像生成モデルが生成したものでない煙画像と煙非発生時の廃棄物貯留ピットの画像とを用いて追加学習される。
追加学習することで、画像生成モデルは、様々な煙の画像のみならず、数が限られる廃棄物貯留ピットを含む、煙発生時の廃棄物貯留ピットの学習用煙画像を生成できる。 The image generation model is additionally trained using input information, smoke images not generated by the image generation model, and images of the waste storage pit when no smoke is being generated.
Through additional training, the image generation model can generate training smoke images of waste storage pits during smoke generation, including a limited number of waste storage pits, as well as a variety of smoke images.

入力情報は、画像生成モデルによって生成される学習用煙画像における領域であって、煙を発生させる領域を示す領域情報と、を含む。
上述した入力情報を入力することで、画像生成モデルは、様々な位置に煙が発生している廃棄物貯留ピットの学習用煙画像を生成できる。 The input information includes area information indicating an area in a training smoke image generated by the image generation model that is generating smoke.
By inputting the above-mentioned input information, the image generation model can generate training smoke images of a waste storage pit where smoke is occurring at various positions.

複数種類の廃棄物貯留ピットに対応可能な煙画像生成装置であって、入力情報は、煙非発生時の廃棄物貯留ピットの種類を示すピット種類情報を含む。
上述した入力情報を入力することで、画像生成モデルは、廃棄物貯留ピットの種類に応じた学習用煙画像を生成可能となる。 A smoke image generating device that can handle a plurality of types of waste storage pits, and input information includes pit type information that indicates the type of waste storage pit when no smoke is being generated.
By inputting the above-mentioned input information, the image generation model is able to generate training smoke images according to the type of waste storage pit.

複数種類の煙に対応可能な煙画像生成装置であって、入力情報は、煙の種類を示す煙種類情報を含む。
上述した入力情報を入力することで、画像生成モデルは、廃棄物貯留ピットで発生する煙の種類に応じた学習用煙画像を生成可能となる。 The smoke image generating device is capable of handling a plurality of types of smoke, and the input information includes smoke type information indicating the type of smoke.
By inputting the above-mentioned input information, the image generation model becomes able to generate training smoke images according to the type of smoke generated in the waste storage pit.

複数の領域情報を入力情報として画像生成モデルに入力する。
複数の領域情報を入力することで、画像生成モデルは、複数の位置に煙が発生している廃棄物貯留ピットの画像を生成することができる。 A plurality of pieces of region information are input to an image generation model as input information.
By inputting multiple region information, the image generation model can generate images of the waste pit with smoke occurring in multiple locations.

複数種類の煙に対応可能な煙画像生成装置であって、入力情報は、煙の種類を示す煙種類情報を含み、複数の学習用煙画像において煙が発生している領域を、入力情報と領域情報とを用いて、アノテーションするアノテーション部を更に備える。
アノテーション部を備えることで、アノテーション作業を手作業で実施する手間を軽減できる。 A smoke image generating device capable of handling multiple types of smoke, wherein the input information includes smoke type information indicating the type of smoke, and further comprises an annotation unit that annotates areas where smoke is generated in multiple learning smoke images using the input information and area information.
By providing an annotation section, the effort required for manually performing annotation work can be reduced.

生成部は、複数の学習用煙画像のそれぞれについて、異なる背景を生成する。
生成部が、様々な異なる背景である学習用煙画像を生成することで、背景が同じである学習用煙画像を学習する学習モデルが、背景を特徴部だと判断することを抑制できる。 The generator generates a different background for each of the plurality of training smoke images.
By the generation unit generating training smoke images with a variety of different backgrounds, it is possible to prevent a learning model that learns from training smoke images with the same background from determining that the background is a feature.

生成部は、背景に廃棄物貯留ピットの壁を含む学習用煙画像を生成する。
生成部が、様々な異なる廃棄物貯留ピットの壁が背景である学習用煙画像を生成することで、廃棄物貯留ピットの壁が同じである学習用煙画像を学習する学習モデルが、類似した廃棄物貯留ピットの壁を含む背景を特徴部だと判断することを抑制できる。 The generator generates a training smoke image that includes a wall of a waste storage pit in the background.
By the generation unit generating training smoke images in which the walls of various different waste storage pits are in the background, a learning model that learns from training smoke images in which the waste storage pit walls are the same can be prevented from determining that a background including similar waste storage pit walls is a feature.

生成部は、背景にクレーンを含む学習用煙画像を生成する。
生成部が、燃焼炉に廃棄物を投入する様々なクレーンを背景に含む学習用煙画像を生成することで、同じクレーンを背景として含む学習用煙画像を学習する学習モデルが、クレーンを特徴部だと判断することを抑制できる。 The generator generates a training smoke image including a crane in the background.
By the generation unit generating training smoke images that include various cranes in the background that dump waste into the combustion furnace, a learning model that learns from training smoke images that include the same cranes in the background can be prevented from determining that the cranes are a feature.

生成部は、攪拌された廃棄物の画像を含む複数の学習用煙画像を生成する。
生成部が、攪拌された廃棄物の画像を含む複数の学習用煙画像を生成することで、攪拌された廃棄物の学習用煙画像を生成しやすくなり、攪拌された廃棄物を含む学習用煙画像を学習する学習モデルが攪拌された廃棄物を特徴部だと判断することを抑止することができる。 The generator generates a plurality of training smoke images including an image of the agitated waste.
By the generation unit generating multiple training smoke images including images of agitated waste, it becomes easier to generate training smoke images of agitated waste, and it is possible to prevent a learning model that learns training smoke images including agitated waste from determining that agitated waste is a characteristic feature.

煙検知システムは、可燃性の廃棄物が貯留される廃棄物貯留ピットにおいて発生する煙を検知する煙検知システムであって、廃棄物貯留ピットにおける貯留状態の廃棄物の上面の画像を撮像する撮像部と、撮像部によって撮像された画像に煙の画像部分が存在するか否かを判定する判定部と、判定部による判定結果に応じた報知を行う報知部と、を備え、判定部は、学習モデルに、撮像部にて撮像された画像を入力し、学習モデルから出力された、煙の画像部分の存在の確度を示す確度パラメータによって判定を行い、学習モデルは、廃棄物貯留ピットにおける貯留状態の廃棄物の上面の画像であって、煙の画像部分が存在する画像を含む複数の教師画像を入力データ、教師画像のそれぞれに含まれる煙の画像部分の判定結果を出力パラメータとする入出力データセットを教師データとして、機械学習によって予め生成された学習モデルであって、入力データは、外部からの第１入力情報と煙の画像とを用いる機械学習により得られる画像生成モデルによって生成され、判定結果は、画像生成モデルに入力される情報であって、教師画像のそれぞれは、第１種類の煙の画像部分、第２種類の煙の画像部分、および、第３種類の煙の画像部分、の少なくとも２つ以上を含むものであって、判定結果は、教師データのそれぞれが含む煙の画像部分に対応する煙が第１種類の煙であるのか、第２種類の煙であるのか、第３種類の煙であるのかを判定した結果である。
上述した煙検知システムは、画像生成モデルにより生成される複数の学習用煙画像による機械学習で生成された学習モデルを用い、廃棄物貯留ピットにおいて発生する煙の種別を精度よく判定することができる。 The smoke detection system detects smoke generated in a waste storage pit in which combustible waste is stored, and includes an imaging unit that captures an image of the top surface of waste stored in the waste storage pit, a determination unit that determines whether or not an image portion of smoke is present in the image captured by the imaging unit, and a notification unit that issues a notification in accordance with the determination result by the determination unit. The determination unit inputs the image captured by the imaging unit to a learning model, and makes a determination based on a probability parameter that indicates the probability of the presence of an image portion of smoke output from the learning model. The learning model receives a plurality of teacher images, which are images of the top surface of waste stored in the waste storage pit and include images in which an image portion of smoke is present, as input data, and a teacher image The learning model is generated in advance by machine learning, with input/output datasets as training data, the output parameters of which are judgment results of image portions of smoke contained in each of the training data, the input data being generated by an image generation model obtained by machine learning using first input information from outside and images of smoke, the judgment results being information input to the image generation model, each of the training images including at least two or more of an image portion of a first type of smoke, an image portion of a second type of smoke, and an image portion of a third type of smoke, and the judgment results being a result of judging whether the smoke corresponding to the image portion of the smoke contained in each of the training data is the first type of smoke, the second type of smoke, or the third type of smoke.
The above-mentioned smoke detection system can accurately determine the type of smoke generated in the waste storage pit using a learning model generated by machine learning using multiple training smoke images generated by an image generation model.

煙画像生成方法は、煙画像生成装置が、廃棄物貯留ピットで煙が発生していることを検知可能な学習モデルを、互いに異なる複数の画像を用いる機械学習で得られる画像生成モデルに基づき、生成する煙検知用学習モデルの生成方法であって、外部からの第１入力情報と煙の画像とを用いる追加学習により画像生成モデルを取得する取得ステップを行い、外部からの第２入力情報に基づき、煙が発生している廃棄物貯留ピットの画像である学習用煙画像を、取得ステップにて取得される画像生成モデルを用い、複数生成する生成ステップを行い、生成ステップにて複数生成される学習用煙画像を選別する選別ステップを行い、選別ステップにて選別された学習用煙画像を用いるディープラーニングによって学習モデルを得るディープラーニングステップを行う。
上記ステップを実行することで、画像生成モデルを用いて学習用煙画像を生成するため、大量の煙画像を少ない手間で用意することができ、用意した画像をディープラーニングで学習させることで学習モデルを得ることができる。学習用煙画像を選別し正しい学習用煙画像を学習モデルに学習させることで、検知精度が向上する。 The smoke image generating method is a method for generating a learning model for smoke detection in which a smoke image generating device generates a learning model capable of detecting smoke generation in a waste storage pit based on an image generation model obtained by machine learning using a plurality of mutually different images, and includes an acquisition step of acquiring an image generation model by additional learning using first input information from the outside and smoke images, a generation step of generating multiple learning smoke images, which are images of a waste storage pit from which smoke is generated, based on second input information from the outside using the image generation model acquired in the acquisition step, a selection step of selecting the multiple learning smoke images generated in the generation step, and a deep learning step of obtaining a learning model by deep learning using the learning smoke images selected in the selection step.
By executing the above steps, a large number of smoke images can be prepared with little effort because training smoke images are generated using an image generation model, and a training model can be obtained by training the prepared images using deep learning. By selecting training smoke images and training the training model using the correct training smoke images, detection accuracy can be improved.

煙の種類は、複数あって、第１入力情報および第２入力情報のそれぞれは、煙の種類を示す種類情報を含む。
上述した煙の種類情報を入力することで、ディープラーニングで得られる学習モデルの検知精度が向上する。 There are multiple types of smoke, and each of the first input information and the second input information includes type information indicating the type of smoke.
By inputting the above-mentioned smoke type information, the detection accuracy of the learning model obtained through deep learning is improved.

選別ステップは、生成ステップにて複数生成される学習用煙画像に炎の画像部分が含まれているか否かを判定し、炎の画像部分が含まれていないと判定された学習用煙画像を、生成ステップにて複数生成される学習用煙画像の中から、選別する。
上述した炎の画像部分を含む学習用煙画像を選別することで、ディープラーニングで得られる学習モデルの検知精度が向上する。 The selection step determines whether or not the multiple training smoke images generated in the generation step contain flame image portions, and selects training smoke images determined not to contain flame image portions from among the multiple training smoke images generated in the generation step.
By selecting training smoke images that include the flame image portions described above, the detection accuracy of the learning model obtained by deep learning is improved.

取得ステップは、外部からの第１入力情報と第２入力情報に基づいて廃棄物貯留ピットの画像と煙の画像とを用いる追加学習により画像生成モデルを取得する。
画像生成モデルが、煙の画像のみならず、数が限られる廃棄物貯留ピットの画像も含む学習用煙画像を生成することで、生成される学習用煙画像を学習に用いることができ、ディープラーニングで得られる学習モデルの検知精度が向上する。 The acquisition step acquires an image generation model by additional learning using an image of the waste storage pit and an image of smoke based on first input information and second input information from outside.
By having the image generation model generate training smoke images that include not only images of smoke but also images of waste storage pits, the number of which is limited, the generated training smoke images can be used for learning, improving the detection accuracy of the learning model obtained by deep learning.

＜第２実施形態＞
図１０は、第２実施形態の構成図である。第１実施形態との違いは、煙画像生成装置１００が画像生成モデル２１０を保持していることである。記憶部１５０は、選別モデル１５２と画像生成モデル２１０を記憶する。第１実施形態では、煙画像生成装置１００と、画像生成サーバ２００が通信を行い、画像生成モデル２１０を生成したが、煙画像生成装置１００内で完結することができる。第２実施形態によれば、第１実施形態と同様の効果を奏することができる。 Second Embodiment
10 is a configuration diagram of the second embodiment. The difference from the first embodiment is that the smoke image generation device 100 holds an image generation model 210. The storage unit 150 stores a selection model 152 and the image generation model 210. In the first embodiment, the smoke image generation device 100 and the image generation server 200 communicate with each other to generate the image generation model 210, but the smoke image generation device 100 can be completed within the smoke image generation device 100. According to the second embodiment, the same effects as those of the first embodiment can be achieved.

以上、本開示を実施するための形態について実施形態を用いて説明したが、本開示はこうした実施形態に何等限定されるものではなく、本開示の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。 Although the above describes the form for carrying out the present disclosure using embodiments, the present disclosure is in no way limited to these embodiments, and various modifications and substitutions can be made without departing from the spirit and scope of the present disclosure.

１００ 煙画像生成装置
１１０ 取得部
１２０ アノテーション部
１３０ 生成部
１４０ 選別部
１５０ 記憶部
１５２ 選別モデル
１６０ 入出力装置
２００ 画像生成サーバ
２１０ 画像生成モデル
２２０ 情報源
３００ 学習装置
３１０ モデル生成部
３２０ 記憶部
３２２ 学習モデル
４００ 煙検知システム
４１０ 撮像部
４２０ 判定部
４３０ 報知部
４４０ 記憶部
ＮＷ ネットワーク REFERENCE SIGNS LIST 100 Smoke image generating device 110 Acquisition unit 120 Annotation unit 130 Generation unit 140 Selection unit 150 Storage unit 152 Selection model 160 Input/output device 200 Image generating server 210 Image generating model 220 Information source 300 Learning device 310 Model generating unit 320 Storage unit 322 Learning model 400 Smoke detection system 410 Imaging unit 420 Determination unit 430 Notification unit 440 Storage unit NW Network

Claims (20)

廃棄物貯留ピットであって煙発生時の前記廃棄物貯留ピットの画像である学習用煙画像であって、画像が入力されると煙の画像部分の存在に関する情報を出力する学習モデルの学習に用いられる学習用煙画像を、互いに異なる複数の画像であって前記廃棄物貯留ピット及び煙以外の画像を含む画像を用いる機械学習によって得られる画像生成モデルにより生成する煙画像生成装置であって、
入力情報は前記学習用煙画像における煙の位置を示す情報であって、
外部から入力される前記入力情報を取得する取得部と、
前記入力情報を前記画像生成モデルに入力することで、複数の前記学習用煙画像を前記画像生成モデルに生成させる生成部と、を備え、
前記画像生成モデルは、前記入力情報と前記画像生成モデルが生成したものでない煙画像とを用いて追加学習される、
煙画像生成装置。 A smoke image generating device that generates training smoke images, which are images of a waste storage pit when smoke is generated, using an image generation model obtained by machine learning using a plurality of mutually different images including images other than the waste storage pit and smoke, for use in training a learning model that outputs information regarding the presence of an image portion of smoke when an image is input, the training smoke images being images of the waste storage pit when smoke is generated,
The input information is information indicating a position of smoke in the learning smoke image,
An acquisition unit that acquires the input information input from an external source;
A generation unit that inputs the input information into the image generation model to generate a plurality of the training smoke images in the image generation model ,
The image generation model is additionally trained using the input information and smoke images not generated by the image generation model.
Smoke image generator. 前記入力情報は、前記画像生成モデルにより背景画像として用いられる画像であって、煙非発生時の前記廃棄物貯留ピットの画像と、前記煙非発生時の前記廃棄物貯留ピットの画像における領域であって、煙を発生させる領域を示す領域情報と、を含む、
請求項１に記載の煙画像生成装置。 The input information includes an image used as a background image by the image generation model, the image being of the waste storage pit when no smoke is generated, and area information indicating an area in the image of the waste storage pit when no smoke is generated that generates smoke;
The smoke image generating device according to claim 1 . 前記画像生成モデルは、前記入力情報と前記画像生成モデルが生成したものでない煙画像と煙非発生時の廃棄物貯留ピットの画像とを用いて追加学習される、
請求項１に記載の煙画像生成装置。 The image generation model is additionally trained using the input information, a smoke image not generated by the image generation model, and an image of a waste storage pit when no smoke is generated.
The smoke image generating device according to claim 1 . 前記入力情報は、前記画像生成モデルによって生成される前記学習用煙画像における領域であって、煙を発生させる領域を示す領域情報と、を含む、
請求項３に記載の煙画像生成装置。 The input information includes area information indicating an area in the training smoke image generated by the image generation model that generates smoke.
The smoke image generating device according to claim 3 . 廃棄物貯留ピットであって煙発生時の前記廃棄物貯留ピットの画像である学習用煙画像であって、画像が入力されると煙の画像部分の存在に関する情報を出力する学習モデルの学習に用いられる学習用煙画像を、互いに異なる複数の画像であって前記廃棄物貯留ピット及び煙以外の画像を含む画像を用いる機械学習によって得られる画像生成モデルにより生成する煙画像生成装置であって、複数種類の前記廃棄物貯留ピットに対応可能な煙画像生成装置であって、
入力情報は前記学習用煙画像における煙の位置を示す情報であって、
外部から入力される前記入力情報を取得する取得部と、
前記入力情報を前記画像生成モデルに入力することで、複数の前記学習用煙画像を前記画像生成モデルに生成させる生成部と、を備え、
前記入力情報は、煙非発生時の前記廃棄物貯留ピットの種類を示すピット種類情報を含む、
煙画像生成装置。 A smoke image generating device that generates learning smoke images, which are images of a waste storage pit when smoke is generated, for use in training a learning model that outputs information regarding the presence of an image portion of smoke when an image is input, using an image generation model obtained by machine learning using a plurality of mutually different images including images other than the waste storage pit and smoke, and that is compatible with a plurality of types of the waste storage pit,
The input information is information indicating a position of smoke in the learning smoke image,
an acquisition unit that acquires the input information input from an external source;
A generation unit that inputs the input information into the image generation model to generate a plurality of the training smoke images in the image generation model,
The input information includes pit type information indicating the type of the waste storage pit when smoke is not generated,
Smoke image generator. 複数種類の煙に対応可能な煙画像生成装置であって、
前記入力情報は、前記煙の種類を示す煙種類情報を含む、
請求項１から５のうちいずれか１項に記載の煙画像生成装置。 A smoke image generating device capable of handling a plurality of types of smoke,
The input information includes smoke type information indicating the type of smoke.
A smoke image generating device according to any one of claims 1 to 5 . 複数の領域情報を前記入力情報として前記画像生成モデルに入力する、
請求項１、４、または５に記載の煙画像生成装置。 inputting a plurality of pieces of region information as the input information into the image generation model;
6. A smoke image generating device according to claim 1 , 4 or 5 . 複数種類の前記煙に対応可能な煙画像生成装置であって、
前記入力情報は、前記煙の種類を示す煙種類情報を含み、
複数の前記学習用煙画像において前記煙が発生している領域を、前記入力情報と領域情報とを用いて、アノテーションするアノテーション部を更に備える、
請求項２、４、または５に記載の煙画像生成装置。 A smoke image generating device capable of handling a plurality of types of smoke,
The input information includes smoke type information indicating a type of the smoke,
The method further includes an annotation unit that annotates the areas where the smoke is generated in the plurality of learning smoke images using the input information and area information.
6. A smoke image generating device according to claim 2 , 4 or 5 . 前記生成部は、複数の学習用煙画像のそれぞれについて、異なる背景を生成する、
請求項１から５のうちいずれか１項に記載の煙画像生成装置。 The generating unit generates a different background for each of the plurality of training smoke images.
A smoke image generating device according to any one of claims 1 to 5 . 前記生成部は、前記背景に前記廃棄物貯留ピットの壁を含む前記学習用煙画像を生成する、
請求項９に記載の煙画像生成装置。 The generation unit generates the training smoke image including a wall of the waste storage pit in the background.
The smoke image generating device according to claim 9 . 前記生成部は、前記背景にクレーンを含む前記学習用煙画像を生成する、
請求項９に記載の煙画像生成装置。 The generation unit generates the training smoke image including a crane in the background.
The smoke image generating device according to claim 9 . 前記生成部は、攪拌された廃棄物の画像を含む複数の学習用煙画像を生成する、
請求項１から５のうちいずれか１項に記載の煙画像生成装置。 The generating unit generates a plurality of training smoke images including an image of agitated waste.
A smoke image generating device according to any one of claims 1 to 5 . 可燃性の廃棄物が貯留される廃棄物貯留ピットにおいて発生する煙を検知する煙検知システムであって、
前記廃棄物貯留ピットにおける貯留状態の廃棄物の上面の画像を撮像する撮像部と、
前記撮像部によって撮像された画像に煙の画像部分が存在するか否かを判定する判定部と、
前記判定部による判定結果に応じた報知を行う報知部と、を備え、
前記判定部は、学習モデルに、前記撮像部にて撮像された画像を入力し、前記学習モデルから出力された、前記煙の画像部分の存在の確度を示す確度パラメータによって前記判定を行い、
前記学習モデルは、前記廃棄物貯留ピットにおける前記貯留状態の廃棄物の上面の画像であって、前記煙の画像部分が存在する画像を含む複数の教師画像を入力データ、前記教師画像のそれぞれに含まれる前記煙の画像部分の判定結果を出力パラメータとする入出力データセットを教師データとして、機械学習によって予め生成された学習モデルであって、
前記入力データは、外部からの第１入力情報と前記煙の画像とを用いる機械学習により得られる画像生成モデルによって生成されたものであり、
前記判定結果は、前記画像生成モデルに入力される情報であって、
前記教師画像のそれぞれは、第１種類の煙の画像部分、第２種類の煙の画像部分、および、第３種類の煙の画像部分、の少なくとも２つ以上を含むものであって、
前記判定結果は、前記教師データのそれぞれが含む前記煙の画像部分に対応する煙が前記第１種類の煙であるのか、前記第２種類の煙であるのか、前記第３種類の煙であるのかを判定した結果であり、
前記画像生成モデルは、互いに異なる複数の画像であって前記廃棄物貯留ピット及び煙以外の画像を含む画像を用いる機械学習によって得られ、かつ、入力情報と前記画像生成モデルが生成したものでない煙画像とを用いて追加学習される、
煙検知システム。 A smoke detection system for detecting smoke generated in a waste storage pit in which combustible waste is stored, comprising:
An imaging unit that captures an image of the top surface of the waste stored in the waste storage pit;
a determination unit that determines whether or not an image portion of smoke is present in the image captured by the imaging unit;
a notification unit that performs notification according to a result of the determination by the determination unit,
The determination unit inputs the image captured by the imaging unit into a learning model, and performs the determination based on a probability parameter output from the learning model that indicates a probability of the presence of the image portion of smoke;
The learning model is a learning model that has been generated in advance by machine learning using a plurality of teacher images, which are images of the upper surface of the waste stored in the waste storage pit and include images in which the smoke image portion is present, as input data, and a teacher data set in which the judgment results of the smoke image portion included in each of the teacher images are output parameters,
The input data is generated by an image generation model obtained by machine learning using first input information from an outside source and the image of the smoke,
The determination result is information to be input to the image generation model,
Each of the teacher images includes at least two of an image portion of a first type of smoke, an image portion of a second type of smoke, and an image portion of a third type of smoke,
the determination result is a result of determining whether the smoke corresponding to the image portion of the smoke included in each of the teacher data is the first type of smoke, the second type of smoke, or the third type of smoke,
The image generation model is obtained by machine learning using a plurality of different images including images other than the waste storage pit and smoke, and is additionally trained using input information and smoke images not generated by the image generation model.
Smoke detection system. 煙画像生成装置が、
廃棄物貯留ピットで煙が発生していることを検知可能な学習モデルを、互いに異なる複数の画像であって前記廃棄物貯留ピット及び煙以外の画像を含む画像を用いる機械学習で得られる画像生成モデルに基づき、生成する煙検知用学習モデルの生成方法であって、
外部からの第１入力情報と前記煙の画像とを用いる追加学習により前記画像生成モデルを取得する取得ステップを行い、
外部からの第２入力情報に基づき、前記煙が発生している前記廃棄物貯留ピットの画像である学習用煙画像を、前記取得ステップにて取得される前記画像生成モデルを用い、複数生成する生成ステップを行い、
前記生成ステップにて複数生成される前記学習用煙画像を選別する選別ステップを行い、
前記選別ステップにて選別された前記学習用煙画像を用いるディープラーニングによって前記学習モデルを得るディープラーニングステップを行う、
煙画像生成方法。 A smoke image generating device,
A method for generating a learning model for smoke detection, which generates a learning model capable of detecting smoke generation in a waste storage pit based on an image generation model obtained by machine learning using a plurality of mutually different images including images other than the waste storage pit and smoke, comprising :
performing an acquisition step of acquiring the image generation model by additional learning using first input information from an outside and the image of the smoke;
A generation step is performed to generate a plurality of learning smoke images, which are images of the waste storage pit from which the smoke is generated, using the image generation model acquired in the acquisition step, based on second input information from an external source;
A selection step is performed to select the plurality of learning smoke images generated in the generation step;
A deep learning step is performed to obtain the learning model by deep learning using the learning smoke images selected in the selection step.
A method for generating smoke images. 前記煙の種類は、複数あって、
前記第１入力情報および前記第２入力情報のそれぞれは、前記煙の種類を示す種類情報を含む、
請求項１４に記載の煙画像生成方法。 The type of smoke is multiple,
Each of the first input information and the second input information includes type information indicating the type of smoke.
The method for generating a smoke image according to claim 14 . 前記選別ステップは、前記生成ステップにて複数生成される前記学習用煙画像に炎の画像部分が含まれているか否かを判定し、
前記炎の画像部分が含まれていないと判定された前記学習用煙画像を、前記生成ステップにて複数生成される前記学習用煙画像の中から、選別する、
請求項１５に記載の煙画像生成方法。 The selecting step determines whether or not the training smoke images generated in the generating step include a flame image portion;
The training smoke image that is determined not to include the flame image portion is selected from the training smoke images generated in the generating step.
The method for generating a smoke image according to claim 15 . 前記取得ステップは、外部からの前記第１入力情報と前記第２入力情報に基づいて前記廃棄物貯留ピットの画像と前記煙の画像とを用いる追加学習により画像生成モデルを取得する、
請求項１４から１６のうちいずれか１項に記載の煙画像生成方法。 The acquisition step acquires an image generation model by additional learning using the image of the waste storage pit and the image of the smoke based on the first input information and the second input information from outside.
The method for generating a smoke image according to any one of claims 14 to 16 . 煙画像生成装置が、The smoke image generating device
廃棄物貯留ピットで煙が発生していることを検知可能な学習モデルを、互いに異なる複数の画像であって前記廃棄物貯留ピット及び煙以外の画像を含む画像を用いる機械学習で得られる画像生成モデルに基づき、生成する煙検知用学習モデルの生成方法であって、A method for generating a learning model for smoke detection, which generates a learning model capable of detecting smoke generation in a waste storage pit based on an image generation model obtained by machine learning using a plurality of mutually different images, the images including images other than the waste storage pit and smoke, comprising:
外部からの第１入力情報と前記煙の画像とを用いる追加学習により前記画像生成モデルを取得する取得ステップを行い、performing an acquisition step of acquiring the image generation model by additional learning using first input information from an outside and the image of the smoke;
外部からの第２入力情報に基づき、前記煙が発生している前記廃棄物貯留ピットの画像である学習用煙画像を、前記取得ステップにて取得される前記画像生成モデルを用い、複数生成する生成ステップを行い、A generation step is performed in which a plurality of learning smoke images, which are images of the waste storage pit from which the smoke is generated, are generated using the image generation model acquired in the acquisition step, based on second input information from an external source;
前記生成ステップにて複数生成される前記学習用煙画像を選別する選別ステップを行い、A selection step is performed to select the plurality of learning smoke images generated in the generation step;
前記選別ステップにて選別された前記学習用煙画像を用いるディープラーニングによって前記学習モデルを得るディープラーニングステップを行い、A deep learning step is performed to obtain the learning model by deep learning using the learning smoke image selected in the selection step;
前記選別ステップは、前記生成ステップにて複数生成される前記学習用煙画像に廃棄物貯留ピットの画像部分が含まれているか否かを判定し、The selecting step determines whether or not the learning smoke images generated in the generating step include an image portion of a waste storage pit;
前記廃棄物貯留ピットの画像部分が含まれていると判定された学習用煙画像を、前記生成ステップにて複数生成される前記学習用煙画像の中から、選別する、A learning smoke image determined to include an image portion of the waste storage pit is selected from among the learning smoke images generated in the generating step.
煙画像生成方法。A method for generating smoke images. 被写体であって異常発生時の前記被写体の画像である異常発生時画像を、互いに異なる複数の画像であって前記被写体及び異常以外の画像を含む画像を用いる機械学習により得られる画像生成モデルにより、生成させる異常画像生成装置であって、
外部から入力される入力情報に基づき、前記異常発生時画像を前記画像生成モデルに複数生成させる生成部と、
複数の前記異常発生時画像において異常が発生している領域を、前記入力情報を用いてアノテーションするアノテーション部と、を備え、
前記画像生成モデルは、前記入力情報と前記異常発生時画像と異常非発生時の前記被写体の画像とを用いて追加学習され、
前記入力情報は、前記画像生成モデルによって生成される前記異常発生時画像における領域であって、異常を発生している領域を示す領域情報、を含む、
異常画像生成装置。 An abnormality image generating device that generates an abnormality occurrence image, which is an image of a subject when an abnormality occurs, by an image generation model obtained by machine learning using a plurality of images different from each other, the images including the subject and images other than the abnormality ,
A generation unit that causes the image generation model to generate a plurality of images at the time of occurrence of the abnormality based on input information input from an external source;
an annotation unit that annotates an area where an abnormality occurs in the plurality of images at the time of the abnormality by using the input information,
the image generation model is additionally trained using the input information, the image when an abnormality occurs, and the image of the subject when no abnormality occurs;
The input information includes area information indicating an area in the image when an abnormality occurs, the area being generated by the image generation model, where the abnormality occurs.
Anomaly image generating device. 廃棄物貯留ピットであって煙発生時の前記廃棄物貯留ピットの画像である学習用煙画像であって、画像が入力されると煙の画像部分の存在に関する情報を出力する学習モデルの学習に用いられる学習用煙画像を、互いに異なる複数の画像であって前記廃棄物貯留ピット及び煙以外の画像を含む画像を用いる機械学習によって得られる画像生成モデルにより生成する画像生成装置のプロセッサが、
外部から入力される煙の量と種類を示す入力情報を取得する処理と、
前記入力情報を前記画像生成モデルに入力することで、複数の前記学習用煙画像を前記画像生成モデルに生成させる処理と、
前記画像生成モデルに、前記入力情報と前記画像生成モデルが生成したものでない煙画像とを用いて追加学習させる処理を、
実行するためのプログラム。 a processor of an image generating device that generates training smoke images, which are images of a waste storage pit when smoke is generated, for use in training a learning model that outputs information regarding the presence of an image portion of smoke when an image is input, using an image generation model obtained by machine learning using a plurality of mutually different images including images other than the waste storage pit and smoke ;
obtaining input information indicating the amount and type of smoke input from an external source;
A process of inputting the input information into the image generation model to generate a plurality of the training smoke images in the image generation model;
A process of additionally learning the image generation model using the input information and a smoke image not generated by the image generation model,
The program to run.
JP2023145311A 2023-09-07 2023-09-07 Smoke image generating device, smoke detection system, smoke image generating method, abnormality image generating device, and program Active JP7486652B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023145311A JP7486652B1 (en) 2023-09-07 2023-09-07 Smoke image generating device, smoke detection system, smoke image generating method, abnormality image generating device, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2023145311A JP7486652B1 (en) 2023-09-07 2023-09-07 Smoke image generating device, smoke detection system, smoke image generating method, abnormality image generating device, and program

Publications (1)

Publication Number Publication Date
JP7486652B1 true JP7486652B1 (en) 2024-05-17

Family

ID=91067390

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023145311A Active JP7486652B1 (en) 2023-09-07 2023-09-07 Smoke image generating device, smoke detection system, smoke image generating method, abnormality image generating device, and program

Country Status (1)

Country Link
JP (1) JP7486652B1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018088630A (en) 2016-11-29 2018-06-07 ホーチキ株式会社 Fire monitoring system
JP2018101317A (en) 2016-12-21 2018-06-28 ホーチキ株式会社 Abnormality monitoring system
JP2019079446A (en) 2017-10-27 2019-05-23 ホーチキ株式会社 Fire monitoring system
JP2019092972A (en) 2017-11-27 2019-06-20 ホーチキ株式会社 Water discharge-type fire extinguishing equipment
JP2021018788A (en) 2019-07-19 2021-02-15 ジーワイ ネットワークス カンパニー リミテッドＧｙｎｅｔｗｏｒｋｓ Ｃｏ．，Ｌｔｄ． Learning and detection method of neural network model for flame determination, system performing the same, and recording medium
JP2021103345A (en) 2019-12-24 2021-07-15 Ｊｆｅエンジニアリング株式会社 Smoke detection system, smoke detection method, and program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018088630A (en) 2016-11-29 2018-06-07 ホーチキ株式会社 Fire monitoring system
JP2018101317A (en) 2016-12-21 2018-06-28 ホーチキ株式会社 Abnormality monitoring system
JP2019079446A (en) 2017-10-27 2019-05-23 ホーチキ株式会社 Fire monitoring system
JP2019092972A (en) 2017-11-27 2019-06-20 ホーチキ株式会社 Water discharge-type fire extinguishing equipment
JP2021018788A (en) 2019-07-19 2021-02-15 ジーワイ ネットワークス カンパニー リミテッドＧｙｎｅｔｗｏｒｋｓ Ｃｏ．，Ｌｔｄ． Learning and detection method of neural network model for flame determination, system performing the same, and recording medium
JP2021103345A (en) 2019-12-24 2021-07-15 Ｊｆｅエンジニアリング株式会社 Smoke detection system, smoke detection method, and program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
中島 和樹，Ｄｅｅｐ Ｌｅａｒｎｉｎｇを用いた屋内火災及び煙検知の基礎検討，電気学会研究会資料，日本，電気学会，2018年07月30日，PI-18-051/IIS-18-032，P.11-16

Similar Documents

Publication Publication Date Title
CN100562878C (en) Defect inspecting system and defect detecting method
JP2019106112A (en) Information processing apparatus, identification system, setting method, and program
JP6869490B2 (en) Defect inspection equipment, defect inspection methods, and their programs
US20180365557A1 (en) Information processing method and information processing apparatus
CN102662942B (en) Metadata generates system and method
JP2019091249A (en) Defect inspection device, defect inspecting method, and program thereof
JP2019109563A (en) Data generation device, data generation method, and data generation program
JP4442042B2 (en) Image processing program creation method and system
JP6607261B2 (en) Image processing apparatus, image processing method, and image processing program
JP2006337152A (en) Method and apparatus for forming teaching image, method and apparatus for forming image processing algorithm, image inspecting method, image inspecting device, program and recording medium
JP2020060879A (en) Learning device, image generator, method for learning, and learning program
JP2021086379A (en) Information processing apparatus, information processing method, program, and method of generating learning model
WO2019176989A1 (en) Inspection system, discrimination system, and learning data generator
JP2020042001A (en) Evaluation device, evaluation method, evaluation program, and inspection device
Choudhary et al. Autonomous visual detection of defects from battery electrode manufacturing
JP7486652B1 (en) Smoke image generating device, smoke detection system, smoke image generating method, abnormality image generating device, and program
CN1250205A (en) Document image processing apparatus and its method and recording medium with all program
JP2023127106A (en) Defect discrimination apparatus for printed images and defect discrimination method
JP6177649B2 (en) Data processing apparatus, length measurement system, defect inspection system, image tracking system, and data processing method
JP3869554B2 (en) Inspection data creation method and apparatus, and component mounting board visual inspection apparatus using the same
US11663761B2 (en) Hand-drawn diagram recognition using visual arrow-relation detection
JP2007199865A (en) Image processing algorithm evaluation apparatus, image processing algorithm creation apparatus, image inspection apparatus, method for evaluating image processing algorithm, method for creating image processing algorithm, and method for inspecting image
JP2021182372A (en) Program providing method, program providing device, and computer program
JP2006260410A (en) Evaluation apparatus and method for image processing algorithm, producing system and method, program for making computer function as evaluation system, and program for making computer function as producing system
JP2023003207A (en) Program, information processor, method for processing information, and method for generating learning model

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230908

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231024

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20240201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240305

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240507

R150 Certificate of patent or registration of utility model

Ref document number: 7486652

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150