JP7486652B1 - 煙画像生成装置、煙検知システム、煙画像生成方法、異常画像生成装置、およびプログラム - Google Patents

Abstract

【課題】画像生成モデルを用いることにより、より少ない手間で大量の学習用煙画像を生成することができる煙画像生成装置、煙検知システム、煙画像生成方法、煙検知方法、異常画像生成装置、およびプログラムを提供すること。【解決手段】煙発生時の廃棄物貯留ピットの画像である学習用煙画像であって、画像が入力されると煙の画像部分の存在に関する情報を出力する学習モデルの学習に用いられる学習用煙画像を、互いに異なる複数の画像を用いる機械学習によって得られる画像生成モデルにより生成する煙画像生成装置であって、入力情報は前記学習用煙画像における煙の領域を示す情報であって、外部から入力される前記入力情報を取得する取得部と、前記入力情報を画像生成モデルに入力することで、複数の学習用煙画像を画像生成モデルに生成させる生成部と、を備える煙画像生成装置。【選択図】図１

Description

本開示は、煙画像生成装置、煙検知システム、煙画像生成方法、煙検知方法、異常画像生成装置、およびプログラムに関する。

廃棄物（ごみ）が集められる廃棄物貯留ピットでは、廃棄物が発火することがある。廃棄物が発火する前に煙が発生するため、煙を発火する前に自動的に検知しようとする試みがなされている。これに関連し、特許文献１は、廃棄物貯留ピットにおいて廃棄物と混在する燃焼物から発せられる燃焼煙を、学習モデルを用い、検知することを開示する。特許文献２は、監視カメラで撮像した監視領域の通常状態の画像である通常監視画像に対して火災煙画像を合成し、火災学習画像を生成することを開示する。

特開２０２１－１０３３４５号公報 特開２０１８－０８８６３０号公報

しかしながら、特許文献１に開示の技術では、燃焼煙の画像部分が存在する画像を含む教師画像を入力データとする機械学習によって学習モデルを得る必要があるが、廃棄物貯留ピットにおいて燃焼煙が発生する頻度は相対的に少なく、このような教師画像を集めることは、煩雑であった。また、特許文献２に開示の技術では、火災学習画像を得るための合成処理の煩雑さに改善の余地があった。
そこで、本開示は、画像生成モデルを用いることにより、より少ない手間で大量の学習用煙画像を生成することができる煙画像生成装置、煙検知システム、煙画像生成方法、煙検知方法、異常画像生成装置、およびプログラムを提供することを目的とする。

この開示の一態様は、煙発生時の廃棄物貯留ピットの画像である学習用煙画像であって、画像が入力されると煙の画像部分の存在に関する情報を出力する学習モデルの学習に用いられる学習用煙画像を、互いに異なる複数の画像を用いる機械学習によって得られる画像生成モデルにより生成する煙画像生成装置であって、入力情報は前記学習用煙画像における煙の位置を示す情報であって、外部から入力される前記入力情報を取得する取得部と、前記入力情報を前記画像生成モデルに入力することで、複数の前記学習用煙画像を前記画像生成モデルに生成させる生成部とを備える煙画像生成装置である。

上記態様によれば、画像生成モデルを用いることにより、より少ない手間で大量の学習用煙画像を生成することができる。

煙画像生成装置１００と画像生成サーバ２００と学習装置３００と煙検知システム４００の構成の一例を示した全体図である。 煙の領域を指定の一例を示した図である。 煙に似た埃、土、砂などの粉じん類や、放水銃による水しぶきが舞い上がっている画像の一例である。 煙ではなく炎が発生している画像の一例である。 何も発生していない廃棄物貯留ピットの画像の一例である。 煙以外のものを煙画像として生成した画像の一例である。 クレーンを背景として含む学習用煙画像の一例である。 第１実施形態の構成の別の一例の構成図である。 学習モデル３２２の機械学習の一例を示す図である。 第２実施形態の構成図である。

＜第１実施形態＞
以下、図面を参照し、本開示の煙画像生成装置、煙検知システム、煙画像生成方法、煙検知方法、異常画像生成装置、およびプログラムの第１実施形態について説明する。本開示の煙画像生成装置、煙検知システム、煙画像生成方法、煙検知方法、およびプログラムは、ごみ処理施設の廃棄物貯留ピットにて、煙が発生したか否かを検知し、煙が発生した位置を検出するためのものである。廃棄物貯留ピットとは、ごみ収集車等が収集したごみを一時的に貯蔵するための施設である。廃棄物貯留ピットは、国内に１５００カ所以上存在するが、ある会社１社が自由に映像を取得できる廃棄物貯留ピットの数は数十カ所程度しか存在しない。煙画像生成するための学習を安定して行うためには、数千枚の教師画像を基に学習することが望ましい。しかし、廃棄物貯留ピットの背景パターンが数十カ所しかないため、同一背景パターンの廃棄物貯留ピットの画像を大量（数百枚レベル）に使用せざるを得ない。その場合、学習の精度が不十分となることがある。煙検知システムに用いる学習モデルを十分に学習させるために、大量の教師画像となる学習用煙画像が必要であるという前提がある。

図１は、煙画像生成装置１００と画像生成サーバ２００と学習装置３００と煙検知システム４００の構成の一例を示した全体図である。以下、各装置、システム、サーバについて概説し、それぞれの構成要素については、後述する。

煙画像生成装置１００と、画像生成サーバ２００と、学習装置３００と、煙検知システム４００は、それぞれネットワークＮＷを介して通信する。ネットワークＮＷは、例えば、インターネット、ＬＡＮ（Local Area Network）、無線基地局、プロバイダ装置などを含む。

煙画像生成装置１００は、画像生成サーバ２００に学習用煙画像を生成させる。学習用煙画像は、廃棄物貯留ピットの上部から廃棄物貯留ピットを撮像した画像であり、煙が発生した画像である。学習用煙画像は、学習装置３００に学習させるための画像である。画像生成サーバ２００は、画像生成モデル２１０を用いて学習用煙画像を複数生成する。画像生成サーバ２００は、インターネットサイト等の情報源２２０にアクセスし、「常識知」などのワードを使って、学習モデル２１０に事前に学習をさせ汎用的な知識を習得させる。学習モデル２１０は、内容がテキストなどで指定されると、ＡＩ（人工知能）を用いてそれに見合った画像を自動的に生成することが可能である。学習装置３００は、学習用煙画像を学習して学習モデル３２２を生成する。学習モデル３２２は、更に、後述する入力情報と画像生成モデルが生成したものではない煙画像であって、異なるパターン（種類）の煙画像を用いて追加学習を行う。煙検知システム４００は、ごみ処理施設の廃棄物貯留ピットの上部から廃棄物貯留ピットを撮像し、学習モデル３２２を用いて煙を検知するシステムである。

以下、各部について説明する。煙画像生成装置１００は、例えば、取得部１１０と、アノテーション部１２０と、生成部１３０と、選別部１４０と、記憶部１５０を備える。取得部１１０は、外部から入力される入力情報を取得する。入力情報とは、例えば、煙の位置（座標）、煙を発生させる領域、煙の種類、複数の廃棄物貯留ピットの画像である。外部からの入力は、例えば、煙画像生成装置１００に接続されている入出力装置１６０を用いて行う。

アノテーション部１２０は、学習用煙画像に煙の位置、煙の領域、煙の種類などの入力情報を用いてアノテーションする。アノテーションとは、例えば、画像に情報や注釈を追加したり、属性を付与して分類したりするものである。煙の領域とは、廃棄物貯留ピットの画像の中で煙を発生させる部分を示す領域を指定する情報である。これを領域情報とする。アノテーション部１２０は、人の操作を受け付けてアノテーションしてもよい。

図２は、煙の領域を指定の一例を示した図である。図２は、煙が発生している廃棄物貯留ピットを撮像したものである。領域は、矩形で表現される。点Ａと点Ｂは、煙の位置を示す。点Ａの座標（Ｘ１．Ｙ１）と点Ｂの座標（Ｘ２．Ｙ２）を入力して、それぞれの点から延出した線が交わるところと点Ａ、点Ｂとを頂点とした矩形を描き、囲まれた部分を煙の領域とする。領域情報としては、点Ａまたは点Ｂのみであってもよいし、４つの点の座標であってもよい。アノテーション部１２０は、煙が発生していると判断した領域を図２のように矩形を描いて示す。

生成部１３０は、入力情報を画像生成モデル２１０に与えて学習用煙画像を得る。生成部１３０は、学習用煙画像を得る前後に画像生成モデル２１０に実際の煙画像と入力情報を与えてチューニングを行う。更に、画像生成モデル２１０が生成した学習用煙画像を画像生成モデル２１０の追加学習に用いてもよい。追加学習とは、上述したチューニングに加え、火災発生時の煙以外の発酵ガス、埃、土、砂などの粉じん類、放水銃からの水しぶきを含む学習用煙画像を使用して、更に、火災発生時の煙以外の発酵ガス、埃、土、砂などの粉じん類、放水銃からの水しぶきを含む学習用煙画像を生成できるように学習することである。画像生成モデル２１０は、それらの学習用煙画像を用いて学習することで火災による煙を検知できるようになる。図３は、煙に似た埃、土、砂などの粉じん類や、放水銃による水しぶきが舞い上がっている画像の一例である。

選別部１４０は、画像生成モデル２１０が複数生成した学習用煙画像を選別モデル１５２に選別させる。学習用煙画像は、廃棄物貯留ピットの上部から廃棄物貯留ピットを撮像し煙が発生している状態の画像であるが、煙が発生している画像以外の画像も生成される。煙が発生している状態の画像のみ学習モデル３２２に学習させたいため、選別部１４０は、煙以外が発生している学習用煙画像を選別し、除外する必要がある。選別モデル１５２は、煙や廃棄物貯留ピットに関する画像を大量に学習してある学習モデルである。選別モデル１５２は、煙や廃棄物貯留ピットを含む画像か否かを判定することができ、煙の画像や、廃棄物貯留ピットが含まれていない画像（例えば、平地にゴミが積まれたゴミ置き場の画像）、を除外する。除外する画像は、例えば、図４～図６の画像である。廃棄物貯蔵ピット以外の場所に煙が発生している状態の画像や、廃棄物貯留ピットであっても煙以外のもの（火炎も含む）が発生している画像などである。図４は、煙ではなく炎が発生している画像の一例である。図５は、何も発生していない廃棄物貯留ピットの画像の一例である。図６は、煙以外のものを煙画像として生成した画像の一例である。これらの画像が除外対象となる。画像の選別は、例えば、画像処理アルゴリズムで実現してもよい。

記憶部１５０は、選別モデル１５２を記憶する。選別モデル１５２は、先述した通りである。記憶部１５０は、ＨＤＤ（Hard Disk Drive）、或いはＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、またはＲＡＭ（Random Access Memory）等により実現されてもよい。

煙画像生成装置１００の記憶部１５０以外の構成要素は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、ＴＰＵ（Tensor Processing Unit） などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤやフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。

画像生成サーバ２００は、画像生成モデル２１０を備える。画像生成モデル２１０は、先述した通り、情報源２２０から取得した情報に基づいて予め学習をして得たモデルである。画像生成モデル２１０は、例えば、第１入力情報として「煙の画像を生成して下さい」と入力すると、煙の画像を生成する。生成した複数の学習用煙画像は、背景がそれぞれ異なる画像である。背景は、廃棄物貯留ピットの壁を含む背景である。画像生成モデル２１０は、学習用煙画像の背景にクレーンを含む学習用煙画像も生成する。図７は、クレーンを背景として含む学習用煙画像の一例である。廃棄物貯留ピットでは、廃棄物を攪拌する作業も行われるため、画像生成モデル２１０は、攪拌された廃棄物を含む学習用煙画像も生成する。画像生成サーバ２００は、画像生成装置、画像生成機能を備える装置、画像生成関数を保持する装置でもよい。

学習装置３００は、例えば、モデル生成部３１０と、記憶部３２０を備える。モデル生成部３１０は、学習モデル３２２を生成する。記憶部３２０は、学習モデル３２２を記憶する。記憶部３２０以外の構成要素は、例えば、ＣＰＵなどのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵなどのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤやフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。

煙検知システム４００は、例えば、撮像部４１０と、判定部４２０と、報知部４３０と、記憶部４４０を備える。撮像部４１０は、廃棄物貯留ピットの上部から廃棄物貯留ピットを撮像する。撮像部４１０は、カメラ（不図示）を無線または有線で接続されていて、撮像した画像を常に連携する。カメラは、例えば、シームレスカメラである。シームレスカメラとは、撮像中に記録媒体の容量がなくなっても、自動的に記録媒体を切り替えてフレーム損失を起こさずに撮像を継続できるカメラである。

判定部４２０は、撮像部４１０から連携された画像に、学習モデル３２２を用いて煙が発生しているか否かを判定する。判定部４２０は、更に、煙が発生していると判定した場合、どのような種類の煙か判定する。判定部４２０は、判定した結果（判定結果）を、報知部４３０に連携する。

記憶部４４０は、学習モデル３２２を備える。学習モデル３２２は、学習装置３００から連携した学習モデル３２２である。

煙検知システム４００の記憶部４４０以外の構成要素は、例えば、ＣＰＵなどのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵなどのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤやフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。

図８は、第１実施形態の構成の別の一例の構成図である。上述した構成の他に、例えば、図８のように煙画像生成装置１００と画像生成サーバ２００の構成は、一つの煙画像生成装置Ａとして実施してもよいし、学習装置３００と煙検知システム４００の判定部４２０と記憶部４４０は、一つの煙検知装置Ｂとして実施してもよい。その場合、撮像部４１０と報知部４３０は、煙検知デバイスＣとして動作する。更に、煙画像生成装置１００と画像生成サーバ２００と学習装置３００と煙検知システム４００の判定部４２０と記憶部４４０は、一つの煙検知装置として実施してもよい。

以下、本開示の動作の一例について説明する。取得部１１０は、入力情報と煙の画像を取得する。入力情報は、第１入力情報と第２入力情報がある。第１入力情報は、例えば、「煙の画像を生成して下さい」などのテキストである。第１入力情報は、煙の種類を示す種類情報（パターン）を含んでもよい。第２入力情報は、例えば、「パターン２の煙を生成して下さい」などのテキストｄである。パターンは、例えば、火災発生時の発煙をパターン１とし、発酵ガスが発生時の発煙をパターン２、埃、土、砂などの粉じん類をパターン３、散水銃からの水しぶきをパターン４とする。取得部１１０は、第１入力情報と煙の画像を用いて追加学習をして画像生成モデル２１０を取得する。これを取得ステップとする。

アノテーション部１２０は、取得した学習用煙画像にアノテーションをする。学習用煙画像のどの部分が、煙が発生している領域なのかアノテーションをする。アノテーション部１２０は、アノテーションに入力情報を用いる。アノテーション部１２０は、アノテーションした学習用煙画像を学習装置３００に送信する（図中の破線矢印（１））。

生成部１３０は、第２入力情報を入力して、画像生成モデル２１０に学習用煙画像を生成させる（図中の破線矢印（２））。画像生成モデル２１０は、複数の学習用煙画像を生成する。これを生成ステップとする。

画像生成モデル２１０は、生成した学習用煙画像を生成部１３０に送信する（図中の破線矢印（３））。

生成した学習用煙画像は、煙以外の画像が含まれている場合があるので煙の画像のみに選別する必要がある。選別部１４０は、学習用煙画像から廃棄物貯留ピットに煙が発生している画像のみに選別モデル１５２を用いて選別する。これを、選別ステップとする。

図９は、学習モデル３２２の機械学習の一例を示す図である。モデル生成部３１０は、複数の学習用煙画像を含む教師画像を入力データ（３２３Ａ）とした場合の機械学習モデルの出力が学習用煙画像の判定結果を出力パラメータ（３２３Ｂ）に近づくように、バックプロパゲーションなどの手法により機械学習モデルのパラメータを学習する。例えば、規定回数、上記の処理を実行した時点での機械学習モデルが、学習モデル３２２として確定する。

学習装置３００は、生成した学習モデル３２２を煙検知システム４００に送信する（図中の破線矢印（４））。

撮像部４１０は、廃棄物貯留ピットの上部から廃棄物貯留ピットを撮像する。撮像部４１０は、撮像した画像を判定部４２０に連携する。判定部４２０は、学習モデル３２２を用いて廃棄物貯留ピットに煙が発生しているか否かを判定する。判定部４２０は、判定結果を報知部４３０に連携する。判定部４２０は、一つの廃棄物貯留ピットに複数の煙が発生している場合でも検知することができる。

報知部４３０は、判定結果に応じて報知方法を変える。報知部４３０は、例えば、煙が発生しているという判定結果を連携された場合、煙が発生している旨と場所を報知する。報知部４３０は、例えば、端末装置に接続して判定結果を出力してもよい。端末装置は、例えば、タブレット端末などである。

報知部４３０は、例えば、煙が発生していないという判定結果を連携された場合、特に報知を行わなくてもよい。また、報知部４３０は、タブレット端末に煙が発生していない旨を表示させてもよい。

以上説明した第１実施形態によれば、アノテーション部１２０がアノテーションを行うことで、学習モデル３２２に学習用煙画像を学習する際に効率的に学習することを可能にする。そして選別モデル１５２は、必要な学習用煙画像を選別できるため、操作の手間を減らすことができる。これらの処理を行った学習用煙画像を学習モデル３２２に学習させることで、より正確に廃棄物貯留ピットでの煙発生を検知することができる。

煙画像生成装置は、煙発生時の廃棄物貯留ピットの画像である学習用煙画像であって、画像が入力されると煙の画像部分の存在に関する情報を出力する学習モデルの学習に用いられる学習用煙画像を、互いに異なる複数の画像を用いる機械学習によって得られる画像生成モデルにより生成する画像生成装置であって、外部から入力される煙の量と種類を示す入力情報を取得する取得部と、入力情報を画像生成モデルに入力することで、複数の学習用煙画像を画像生成モデルに生成させる生成部と、を備える。
煙画像生成装置が、画像生成モデルを用いて学習用煙画像を生成することで、大量の学習用煙画像を少ない手間で用意することができる。

画像生成モデルは、入力情報と画像生成モデルが生成したものでない煙画像とを用いて追加学習される。
追加学習することで、煙画像生成装置は、煙発生時の廃棄物貯留ピットの画像をより確実に生成することができる画像生成モデルを得ることができる。

入力情報は、画像生成モデルにより背景画像として用いられる画像であって、煙非発生時の廃棄物貯留ピットの画像と、煙非発生時の廃棄物貯留ピットの画像における領域であって、煙を発生させる領域を示す領域情報と、を含む。
上述した入力情報を入力することで、画像生成モデルに煙非発生時の廃棄物貯留ピットを学習させる負担が軽減され、煙画像生成装置は、様々な位置に煙が発生している煙発生時の廃棄物貯留ピットの学習用煙画像を生成することができる。

画像生成モデルは、入力情報と画像生成モデルが生成したものでない煙画像と煙非発生時の廃棄物貯留ピットの画像とを用いて追加学習される。
追加学習することで、画像生成モデルは、様々な煙の画像のみならず、数が限られる廃棄物貯留ピットを含む、煙発生時の廃棄物貯留ピットの学習用煙画像を生成できる。

入力情報は、画像生成モデルによって生成される学習用煙画像における領域であって、煙を発生させる領域を示す領域情報と、を含む。
上述した入力情報を入力することで、画像生成モデルは、様々な位置に煙が発生している廃棄物貯留ピットの学習用煙画像を生成できる。

複数種類の廃棄物貯留ピットに対応可能な煙画像生成装置であって、入力情報は、煙非発生時の廃棄物貯留ピットの種類を示すピット種類情報を含む。
上述した入力情報を入力することで、画像生成モデルは、廃棄物貯留ピットの種類に応じた学習用煙画像を生成可能となる。

複数種類の煙に対応可能な煙画像生成装置であって、入力情報は、煙の種類を示す煙種類情報を含む。
上述した入力情報を入力することで、画像生成モデルは、廃棄物貯留ピットで発生する煙の種類に応じた学習用煙画像を生成可能となる。

複数の領域情報を入力情報として画像生成モデルに入力する。
複数の領域情報を入力することで、画像生成モデルは、複数の位置に煙が発生している廃棄物貯留ピットの画像を生成することができる。

複数種類の煙に対応可能な煙画像生成装置であって、入力情報は、煙の種類を示す煙種類情報を含み、複数の学習用煙画像において煙が発生している領域を、入力情報と領域情報とを用いて、アノテーションするアノテーション部を更に備える。
アノテーション部を備えることで、アノテーション作業を手作業で実施する手間を軽減できる。

生成部は、複数の学習用煙画像のそれぞれについて、異なる背景を生成する。
生成部が、様々な異なる背景である学習用煙画像を生成することで、背景が同じである学習用煙画像を学習する学習モデルが、背景を特徴部だと判断することを抑制できる。

生成部は、背景に廃棄物貯留ピットの壁を含む学習用煙画像を生成する。
生成部が、様々な異なる廃棄物貯留ピットの壁が背景である学習用煙画像を生成することで、廃棄物貯留ピットの壁が同じである学習用煙画像を学習する学習モデルが、類似した廃棄物貯留ピットの壁を含む背景を特徴部だと判断することを抑制できる。

生成部は、背景にクレーンを含む学習用煙画像を生成する。
生成部が、燃焼炉に廃棄物を投入する様々なクレーンを背景に含む学習用煙画像を生成することで、同じクレーンを背景として含む学習用煙画像を学習する学習モデルが、クレーンを特徴部だと判断することを抑制できる。

生成部は、攪拌された廃棄物の画像を含む複数の学習用煙画像を生成する。
生成部が、攪拌された廃棄物の画像を含む複数の学習用煙画像を生成することで、攪拌された廃棄物の学習用煙画像を生成しやすくなり、攪拌された廃棄物を含む学習用煙画像を学習する学習モデルが攪拌された廃棄物を特徴部だと判断することを抑止することができる。

煙検知システムは、可燃性の廃棄物が貯留される廃棄物貯留ピットにおいて発生する煙を検知する煙検知システムであって、廃棄物貯留ピットにおける貯留状態の廃棄物の上面の画像を撮像する撮像部と、撮像部によって撮像された画像に煙の画像部分が存在するか否かを判定する判定部と、判定部による判定結果に応じた報知を行う報知部と、を備え、判定部は、学習モデルに、撮像部にて撮像された画像を入力し、学習モデルから出力された、煙の画像部分の存在の確度を示す確度パラメータによって判定を行い、学習モデルは、廃棄物貯留ピットにおける貯留状態の廃棄物の上面の画像であって、煙の画像部分が存在する画像を含む複数の教師画像を入力データ、教師画像のそれぞれに含まれる煙の画像部分の判定結果を出力パラメータとする入出力データセットを教師データとして、機械学習によって予め生成された学習モデルであって、入力データは、外部からの第１入力情報と煙の画像とを用いる機械学習により得られる画像生成モデルによって生成され、判定結果は、画像生成モデルに入力される情報であって、教師画像のそれぞれは、第１種類の煙の画像部分、第２種類の煙の画像部分、および、第３種類の煙の画像部分、の少なくとも２つ以上を含むものであって、判定結果は、教師データのそれぞれが含む煙の画像部分に対応する煙が第１種類の煙であるのか、第２種類の煙であるのか、第３種類の煙であるのかを判定した結果である。
上述した煙検知システムは、画像生成モデルにより生成される複数の学習用煙画像による機械学習で生成された学習モデルを用い、廃棄物貯留ピットにおいて発生する煙の種別を精度よく判定することができる。

煙画像生成方法は、煙画像生成装置が、廃棄物貯留ピットで煙が発生していることを検知可能な学習モデルを、互いに異なる複数の画像を用いる機械学習で得られる画像生成モデルに基づき、生成する煙検知用学習モデルの生成方法であって、外部からの第１入力情報と煙の画像とを用いる追加学習により画像生成モデルを取得する取得ステップを行い、外部からの第２入力情報に基づき、煙が発生している廃棄物貯留ピットの画像である学習用煙画像を、取得ステップにて取得される画像生成モデルを用い、複数生成する生成ステップを行い、生成ステップにて複数生成される学習用煙画像を選別する選別ステップを行い、選別ステップにて選別された学習用煙画像を用いるディープラーニングによって学習モデルを得るディープラーニングステップを行う。
上記ステップを実行することで、画像生成モデルを用いて学習用煙画像を生成するため、大量の煙画像を少ない手間で用意することができ、用意した画像をディープラーニングで学習させることで学習モデルを得ることができる。学習用煙画像を選別し正しい学習用煙画像を学習モデルに学習させることで、検知精度が向上する。

煙の種類は、複数あって、第１入力情報および第２入力情報のそれぞれは、煙の種類を示す種類情報を含む。
上述した煙の種類情報を入力することで、ディープラーニングで得られる学習モデルの検知精度が向上する。

選別ステップは、生成ステップにて複数生成される学習用煙画像に炎の画像部分が含まれているか否かを判定し、炎の画像部分が含まれていないと判定された学習用煙画像を、生成ステップにて複数生成される学習用煙画像の中から、選別する。
上述した炎の画像部分を含む学習用煙画像を選別することで、ディープラーニングで得られる学習モデルの検知精度が向上する。

取得ステップは、外部からの第１入力情報と第２入力情報に基づいて廃棄物貯留ピットの画像と煙の画像とを用いる追加学習により画像生成モデルを取得する。
画像生成モデルが、煙の画像のみならず、数が限られる廃棄物貯留ピットの画像も含む学習用煙画像を生成することで、生成される学習用煙画像を学習に用いることができ、ディープラーニングで得られる学習モデルの検知精度が向上する。

＜第２実施形態＞
図１０は、第２実施形態の構成図である。第１実施形態との違いは、煙画像生成装置１００が画像生成モデル２１０を保持していることである。記憶部１５０は、選別モデル１５２と画像生成モデル２１０を記憶する。第１実施形態では、煙画像生成装置１００と、画像生成サーバ２００が通信を行い、画像生成モデル２１０を生成したが、煙画像生成装置１００内で完結することができる。第２実施形態によれば、第１実施形態と同様の効果を奏することができる。

以上、本開示を実施するための形態について実施形態を用いて説明したが、本開示はこうした実施形態に何等限定されるものではなく、本開示の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１００ 煙画像生成装置
１１０ 取得部
１２０ アノテーション部
１３０ 生成部
１４０ 選別部
１５０ 記憶部
１５２ 選別モデル
１６０ 入出力装置
２００ 画像生成サーバ
２１０ 画像生成モデル
２２０ 情報源
３００ 学習装置
３１０ モデル生成部
３２０ 記憶部
３２２ 学習モデル
４００ 煙検知システム
４１０ 撮像部
４２０ 判定部
４３０ 報知部
４４０ 記憶部
ＮＷ ネットワーク

Claims (20)

1. 廃棄物貯留ピットであって煙発生時の前記廃棄物貯留ピットの画像である学習用煙画像であって、画像が入力されると煙の画像部分の存在に関する情報を出力する学習モデルの学習に用いられる学習用煙画像を、互いに異なる複数の画像であって前記廃棄物貯留ピット及び煙以外の画像を含む画像を用いる機械学習によって得られる画像生成モデルにより生成する煙画像生成装置であって、
   入力情報は前記学習用煙画像における煙の位置を示す情報であって、
   外部から入力される前記入力情報を取得する取得部と、
   前記入力情報を前記画像生成モデルに入力することで、複数の前記学習用煙画像を前記画像生成モデルに生成させる生成部と、を備え、
   前記画像生成モデルは、前記入力情報と前記画像生成モデルが生成したものでない煙画像とを用いて追加学習される、
   煙画像生成装置。
2. 前記入力情報は、前記画像生成モデルにより背景画像として用いられる画像であって、煙非発生時の前記廃棄物貯留ピットの画像と、前記煙非発生時の前記廃棄物貯留ピットの画像における領域であって、煙を発生させる領域を示す領域情報と、を含む、
   請求項１に記載の煙画像生成装置。
3. 前記画像生成モデルは、前記入力情報と前記画像生成モデルが生成したものでない煙画像と煙非発生時の廃棄物貯留ピットの画像とを用いて追加学習される、
   請求項１に記載の煙画像生成装置。
4. 前記入力情報は、前記画像生成モデルによって生成される前記学習用煙画像における領域であって、煙を発生させる領域を示す領域情報と、を含む、
   請求項３に記載の煙画像生成装置。
5. 廃棄物貯留ピットであって煙発生時の前記廃棄物貯留ピットの画像である学習用煙画像であって、画像が入力されると煙の画像部分の存在に関する情報を出力する学習モデルの学習に用いられる学習用煙画像を、互いに異なる複数の画像であって前記廃棄物貯留ピット及び煙以外の画像を含む画像を用いる機械学習によって得られる画像生成モデルにより生成する煙画像生成装置であって、複数種類の前記廃棄物貯留ピットに対応可能な煙画像生成装置であって、
   入力情報は前記学習用煙画像における煙の位置を示す情報であって、
   外部から入力される前記入力情報を取得する取得部と、
   前記入力情報を前記画像生成モデルに入力することで、複数の前記学習用煙画像を前記画像生成モデルに生成させる生成部と、を備え、
   前記入力情報は、煙非発生時の前記廃棄物貯留ピットの種類を示すピット種類情報を含む、
   煙画像生成装置。
6. 複数種類の煙に対応可能な煙画像生成装置であって、
   前記入力情報は、前記煙の種類を示す煙種類情報を含む、
   請求項１から５のうちいずれか１項に記載の煙画像生成装置。
7. 複数の領域情報を前記入力情報として前記画像生成モデルに入力する、
   請求項１、４、または５に記載の煙画像生成装置。
8. 複数種類の前記煙に対応可能な煙画像生成装置であって、
   前記入力情報は、前記煙の種類を示す煙種類情報を含み、
   複数の前記学習用煙画像において前記煙が発生している領域を、前記入力情報と領域情報とを用いて、アノテーションするアノテーション部を更に備える、
   請求項２、４、または５に記載の煙画像生成装置。
9. 前記生成部は、複数の学習用煙画像のそれぞれについて、異なる背景を生成する、
   請求項１から５のうちいずれか１項に記載の煙画像生成装置。
10. 前記生成部は、前記背景に前記廃棄物貯留ピットの壁を含む前記学習用煙画像を生成する、
    請求項９に記載の煙画像生成装置。
11. 前記生成部は、前記背景にクレーンを含む前記学習用煙画像を生成する、
    請求項９に記載の煙画像生成装置。
12. 前記生成部は、攪拌された廃棄物の画像を含む複数の学習用煙画像を生成する、
    請求項１から５のうちいずれか１項に記載の煙画像生成装置。
13. 可燃性の廃棄物が貯留される廃棄物貯留ピットにおいて発生する煙を検知する煙検知システムであって、
    前記廃棄物貯留ピットにおける貯留状態の廃棄物の上面の画像を撮像する撮像部と、
    前記撮像部によって撮像された画像に煙の画像部分が存在するか否かを判定する判定部と、
    前記判定部による判定結果に応じた報知を行う報知部と、を備え、
    前記判定部は、学習モデルに、前記撮像部にて撮像された画像を入力し、前記学習モデルから出力された、前記煙の画像部分の存在の確度を示す確度パラメータによって前記判定を行い、
    前記学習モデルは、前記廃棄物貯留ピットにおける前記貯留状態の廃棄物の上面の画像であって、前記煙の画像部分が存在する画像を含む複数の教師画像を入力データ、前記教師画像のそれぞれに含まれる前記煙の画像部分の判定結果を出力パラメータとする入出力データセットを教師データとして、機械学習によって予め生成された学習モデルであって、
    前記入力データは、外部からの第１入力情報と前記煙の画像とを用いる機械学習により得られる画像生成モデルによって生成されたものであり、
    前記判定結果は、前記画像生成モデルに入力される情報であって、
    前記教師画像のそれぞれは、第１種類の煙の画像部分、第２種類の煙の画像部分、および、第３種類の煙の画像部分、の少なくとも２つ以上を含むものであって、
    前記判定結果は、前記教師データのそれぞれが含む前記煙の画像部分に対応する煙が前記第１種類の煙であるのか、前記第２種類の煙であるのか、前記第３種類の煙であるのかを判定した結果であり、
    前記画像生成モデルは、互いに異なる複数の画像であって前記廃棄物貯留ピット及び煙以外の画像を含む画像を用いる機械学習によって得られ、かつ、入力情報と前記画像生成モデルが生成したものでない煙画像とを用いて追加学習される、
    煙検知システム。
14. 煙画像生成装置が、
    廃棄物貯留ピットで煙が発生していることを検知可能な学習モデルを、互いに異なる複数の画像であって前記廃棄物貯留ピット及び煙以外の画像を含む画像を用いる機械学習で得られる画像生成モデルに基づき、生成する煙検知用学習モデルの生成方法であって、
    外部からの第１入力情報と前記煙の画像とを用いる追加学習により前記画像生成モデルを取得する取得ステップを行い、
    外部からの第２入力情報に基づき、前記煙が発生している前記廃棄物貯留ピットの画像である学習用煙画像を、前記取得ステップにて取得される前記画像生成モデルを用い、複数生成する生成ステップを行い、
    前記生成ステップにて複数生成される前記学習用煙画像を選別する選別ステップを行い、
    前記選別ステップにて選別された前記学習用煙画像を用いるディープラーニングによって前記学習モデルを得るディープラーニングステップを行う、
    煙画像生成方法。
15. 前記煙の種類は、複数あって、
    前記第１入力情報および前記第２入力情報のそれぞれは、前記煙の種類を示す種類情報を含む、
    請求項１４に記載の煙画像生成方法。
16. 前記選別ステップは、前記生成ステップにて複数生成される前記学習用煙画像に炎の画像部分が含まれているか否かを判定し、
    前記炎の画像部分が含まれていないと判定された前記学習用煙画像を、前記生成ステップにて複数生成される前記学習用煙画像の中から、選別する、
    請求項１５に記載の煙画像生成方法。
17. 前記取得ステップは、外部からの前記第１入力情報と前記第２入力情報に基づいて前記廃棄物貯留ピットの画像と前記煙の画像とを用いる追加学習により画像生成モデルを取得する、
    請求項１４から１６のうちいずれか１項に記載の煙画像生成方法。
18. 煙画像生成装置が、
    廃棄物貯留ピットで煙が発生していることを検知可能な学習モデルを、互いに異なる複数の画像であって前記廃棄物貯留ピット及び煙以外の画像を含む画像を用いる機械学習で得られる画像生成モデルに基づき、生成する煙検知用学習モデルの生成方法であって、
    外部からの第１入力情報と前記煙の画像とを用いる追加学習により前記画像生成モデルを取得する取得ステップを行い、
    外部からの第２入力情報に基づき、前記煙が発生している前記廃棄物貯留ピットの画像である学習用煙画像を、前記取得ステップにて取得される前記画像生成モデルを用い、複数生成する生成ステップを行い、
    前記生成ステップにて複数生成される前記学習用煙画像を選別する選別ステップを行い、
    前記選別ステップにて選別された前記学習用煙画像を用いるディープラーニングによって前記学習モデルを得るディープラーニングステップを行い、
    前記選別ステップは、前記生成ステップにて複数生成される前記学習用煙画像に廃棄物貯留ピットの画像部分が含まれているか否かを判定し、
    前記廃棄物貯留ピットの画像部分が含まれていると判定された学習用煙画像を、前記生成ステップにて複数生成される前記学習用煙画像の中から、選別する、
    煙画像生成方法。
19. 被写体であって異常発生時の前記被写体の画像である異常発生時画像を、互いに異なる複数の画像であって前記被写体及び異常以外の画像を含む画像を用いる機械学習により得られる画像生成モデルにより、生成させる異常画像生成装置であって、
    外部から入力される入力情報に基づき、前記異常発生時画像を前記画像生成モデルに複数生成させる生成部と、
    複数の前記異常発生時画像において異常が発生している領域を、前記入力情報を用いてアノテーションするアノテーション部と、を備え、
    前記画像生成モデルは、前記入力情報と前記異常発生時画像と異常非発生時の前記被写体の画像とを用いて追加学習され、
    前記入力情報は、前記画像生成モデルによって生成される前記異常発生時画像における領域であって、異常を発生している領域を示す領域情報、を含む、
    異常画像生成装置。
20. 廃棄物貯留ピットであって煙発生時の前記廃棄物貯留ピットの画像である学習用煙画像であって、画像が入力されると煙の画像部分の存在に関する情報を出力する学習モデルの学習に用いられる学習用煙画像を、互いに異なる複数の画像であって前記廃棄物貯留ピット及び煙以外の画像を含む画像を用いる機械学習によって得られる画像生成モデルにより生成する画像生成装置のプロセッサが、
    外部から入力される煙の量と種類を示す入力情報を取得する処理と、
    前記入力情報を前記画像生成モデルに入力することで、複数の前記学習用煙画像を前記画像生成モデルに生成させる処理と、
    前記画像生成モデルに、前記入力情報と前記画像生成モデルが生成したものでない煙画像とを用いて追加学習させる処理を、
    実行するためのプログラム。

Images