JP7419121B2 - 画像生成システム - Google Patents

Description

本発明は、画像生成システムに関する。

従来から、火災状況を示す画像を用いて、監視領域の火災を検出する技術が提案されている。この技術においては、まず、非火災時の監視領域を撮像した２次元の撮像画像の所定位置に、実際の煙を撮像した２次元の煙画像を重ねて合成することで教師用画像を生成する。そして、上記生成した教師用画像をもとに学習した火災判断部が監視領域の２次元の撮像画像を照合し、当該照合結果に基づいて監視領域の火災を検出する（例えば、特許文献１参照）。このような技術により、様々な火災状況を示す教師用画像を用いて、監視領域の火災を検出することが可能となる。

特開２０１８－０８８６３０号公報

ここで、上記従来の技術においては、上述したように、非火災時の監視領域を撮像した２次元の撮像画像の所定位置に、実際の煙を撮像した２次元の煙画像を重ねて合成することで教師用画像を生成するので、例えば、上記撮像画像の撮像方向と煙画像の撮像方向とが一致していない場合には、教師用画像の煙の流れる方向等が不自然になることにより、実際の火災状況を高精度に再現した教師用画像を生成することが難しくなる可能性があることから、教師用画像の生成性を高める観点からは改善の余地があった。

本発明は上記問題に鑑みてなされたもので、教師用画像の生成性を高めることが可能となる、画像生成システムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、請求項１に記載の画像生成システムは、監視領域の火災を検出するための機械学習に用いられる教師用画像を生成するための画像生成システムであって、前記監視領域が撮像された撮像画像を仮想空間内に配置する第１配置手段と、前記仮想空間内において、所定方法で生成された煙画像の向きを変えながら、当該煙画像を配置可能な第２配置手段と、前記仮想空間内に設けられた仮想撮像手段によって撮像された画像であって、前記撮像画像及び前記煙画像を含む画像を、前記教師用画像として生成する生成手段と、を備える。

請求項２に記載の画像生成システムは、請求項１に記載の画像生成システムにおいて、前記撮像画像は、２次元画像であり、前記第１配置手段は、前記仮想空間内において、前記撮像画像を垂直方向に略沿って配置し、前記第２配置手段は、前記仮想空間内において、前記煙画像を前記撮像画像に略直交する仮想の水平軸線上に設けられた前記仮想撮像手段と前記撮像画像との相互間に配置する。

請求項３に記載の画像生成システムは、請求項２に記載の画像生成システムにおいて、前記第１配置手段は、前記撮像画像の外縁と前記教師用画像の外縁とが略一致するように、前記撮像画像を配置する。

請求項４に記載の画像生成システムは、請求項１から３のいずれか一項に記載の画像生成システムにおいて、前記第２配置手段は、所定方法で取得された変更情報であって前記煙画像の向きを変えるための変更情報に基づいて、前記仮想空間内における前記煙画像の向きを変える。

請求項５に記載の画像生成システムは、請求項１から４のいずれか一項に記載の画像生成システムにおいて、前記煙画像の大きさ、形状、色彩、明るさ、位置、又は煙の濃度、上昇速度、若しくは向きを調整する調整手段を備える。

請求項６に記載の画像生成システムは、請求項１から５のいずれか一項に記載の画像生成システムにおいて、前記生成手段にて生成された前記教師用画像に含まれる前記煙画像の位置又は大きさに基づいて、当該教師用画像の適否を判定する判定手段を備える。

請求項７に記載の画像生成システムは、請求項１から６のいずれか一項に記載の画像生成システムにおいて、前記生成手段にて生成された前記教師用画像に基づいて、前記監視領域の火災の検出に関する機械学習を行う機械学習手段を備える。

請求項１に記載の画像生成システムによれば、監視領域が撮像された撮像画像を仮想空間内に配置する第１配置手段と、仮想空間内において、所定方法で生成された煙画像の向きを変えながら、当該煙画像を配置可能な第２配置手段と、仮想空間内に設けられた仮想撮像手段によって撮像された画像であって、撮像画像及び煙画像を含む画像を、教師用画像として生成する生成手段と、を備えるので、撮像画像の撮像方向と煙画像の撮像方向とが一致していない場合に、これら撮像方向が一致するように教師用画像を生成できる。よって、実際の火災状況を高精度に再現した教師用画像を様々なパターンで簡易に生成でき、教師用画像の生成性を高めることが可能となる。

請求項２に記載の画像生成システムによれば、撮像画像が、２次元画像であり、第１配置手段は、仮想空間内において、撮像画像を垂直方向に略沿って配置し、第２配置手段は、仮想空間内において、煙画像を撮像画像に略直交する仮想の水平軸線上に設けられた仮想撮像手段と撮像画像との相互間に配置するので、撮像画像が２次元画像である場合に、実際の火災状況を高精度に再現した教師用画像を生成でき、教師用画像の生成性を高めることができる。

請求項３に記載の画像生成システムによれば、第１配置手段が、撮像画像の外縁と教師用画像の外縁とが略一致するように、撮像画像を配置するので、教師用画像に撮像画像及び煙画像以外のものが含まれることを回避でき、教師用画像の生成性を高めることができる。

請求項４に記載の画像生成システムによれば、第２配置手段が、所定方法で取得された変更情報に基づいて、仮想空間内における煙画像の向きを変えるので、変更情報に基づいて煙画像の向きを変えることができ、例えば画像生成システムのユーザ又は外部ユーザのニーズに応じた煙画像の向きの変更を行うことが可能となる。

請求項５に記載の画像生成システムによれば、煙画像の大きさ、形状、色彩、明るさ、位置、又は煙の濃度、上昇速度、若しくは向きを調整する調整手段を備えるので、煙画像の大きさ、形状、色彩、明るさ、位置、又は煙の濃度、上昇速度、若しくは向きを調整でき、多様なパターンの教師用画像を生成しやすくなる。

請求項６に記載の画像生成システムによれば、生成手段にて生成された教師用画像に含まれる煙画像の位置又は大きさに基づいて、当該教師用画像の適否を判定する判定手段を備えるので、教師用画像に含まれる煙画像の位置又は大きさに基づいて教師用画像の適否を判定でき、当該判定結果に基づいて適当な教師用画像を監視領域の火災検出に用いることが可能となる。

請求項７に記載の画像生成システムによれば、生成手段にて生成された教師用画像に基づいて、監視領域の火災の検出に関する機械学習を行う機械学習手段を備えるので、教師用画像に基づいて監視領域の火災の検出に関する機械学習を行うことができ、当該学習結果を用いることにより監視領域の火災の検出精度を高めることが可能となる。

本発明の実施の形態１に係る画像生成システムを例示するブロック図である。 実施の形態に係る画像生成処理のフローチャートである。 教師用画像の生成状況を概念的に示す斜視図である 煙画像の向きの変更を示す図であり、（ａ）は撮像画像の撮像方向を示す図、（ｂ）は仮想空間内において煙画像の向きを変更した状態を示す図である。 教師用画像を例示した図である。

以下に、本発明に係る画像生成システムの実施の形態を図面に基づいて詳細に説明する。まず、〔Ｉ〕実施の形態の基本的概念を説明した後、〔ＩＩ〕実施の形態の具体的内容について説明し、最後に、〔ＩＩＩ〕実施の形態に対する変形例について説明する。ただし、実施の形態によって本発明が限定されるものではない。

〔Ｉ〕実施の形態の基本的概念
まず、実施の形態の基本的概念について説明する。実施の形態は、概略的に、監視領域の火災を検出するために用いられる教師用画像を生成するための画像生成システムに関するものである。

ここで、「監視領域」とは、監視の対象となる領域であって、例えば、建物の内部の領域、建物の外部の領域等を含む概念である。また、「建物」の具体的な構造や種類は任意であるが、例えば、戸建て住宅、アパートやマンションの如き集合住宅、オフィスビル、イベント施設、工場施設、商業施設、及び公共施設等を含む概念である。以下、実施の形態では、「監視領域」が「工場施設（具体的には、部品の保管施設）の内部の領域」である場合について説明する。

また、「監視領域の火災を検出する」とは、例えば、火災の有無を検出すること、火災の種類（一例として、着炎火災、燻焼火災等）を検出すること等を含む概念である。

また、この画像生成システムとして機能する機器の種類については任意であるが、例えば、端末装置、センタ装置等が該当する。このうち、「端末装置」とは、ユーザによって所持された装置であり、例えば、公知のデスクトップコンピュータ、ノートブックコンピュータ、タブレット型コンピュータ、又はスマートフォン等を含む概念である。また、「センタ装置」とは、管理施設等に設けられた装置であり、例えば、外部装置（例えば、端末装置等）と相互に通信できるように管理施設外に配置された１つのみの据え置き型のサーバコンピュータ、又は、分散配置された複数のクラウドコンピュータ等を含む概念である。以下、実施の形態では、端末装置である「デスクトップコンピュータ」が、「画像生成システム」として機能する場合について説明する。

〔ＩＩ〕実施の形態の具体的内容
次に、実施の形態の具体的内容について説明する。

（構成）
まず、実施の形態に係る画像生成システムの構成について説明する。図１は、本発明の実施の形態に係る画像生成システムを例示するブロック図である。図１に示すように、画像生成システム１は、後述する図５の教師用画像ＤＩ（実施の形態では、２次元の静止画像）を生成するためのシステムであり、概略的に、操作部１０、通信部２０、表示部３０、電源部４０、及び画像生成装置５０を備えている。なお、画像生成システム１は、例えば公知のデスクトップコンピュータによって構成することができるので、その詳細な説明は省略する。

（構成－操作部）
操作部１０は、画像生成装置５０に対する操作入力を受け付ける操作手段である。この操作部１０は、例えば、タッチパッド、リモートコントローラの如き遠隔操作手段、あるいはハードスイッチ等、公知の操作手段を用いて構成されている。

（構成－通信部）
通信部２０は、図示しない外部装置（例えば、管理施設に設けられたサーバ、後述する図３の撮像画像ＣＩを撮像する撮像装置等）との間で通信を行うための通信手段であり、例えば、有線通信網や移動体無線通信網を用いて通信を行う公知の通信手段を用いて構成されている。

（構成－表示部）
表示部３０は、後述する画像生成装置５０の制御部６０の制御に基づいて各種の画像を表示する表示手段である。この表示部３０の具体的な構成は任意であるが、例えば、公知の液晶ディスプレイや有機ＥＬディスプレイの如きフラットパネルディスプレイ等を用いることができる。

（構成－電源部）
電源部４０は、商用電源（図示省略）から供給された電力又は当該電源部４０に蓄電された電力を、画像生成システム１の各部に供給する電力供給手段である。

（構成－画像生成装置）
画像生成装置５０は、教師用画像ＤＩを生成するための装置であり、図１に示すように、制御部６０及びデータ記録部７０を備えている。

（構成－画像生成装置－制御部）
制御部６０は、画像生成装置５０を制御する制御手段であり、具体的には、ＣＰＵ、当該ＣＰＵ上で解釈実行される各種のプログラム（ＯＳなどの基本制御プログラムや、ＯＳ上で起動され特定機能を実現するアプリケーションプログラムを含む）、及びプログラムや各種のデータを格納するためのＲＡＭの如き内部メモリを備えて構成されるコンピュータである。

また、この制御部６０は、図１に示すように、機能概念的に、第１配置部６１、第２配置部６２、生成部６３、及び調整部６４を備えている。

（構成－画像生成装置－制御部－第１配置部）
第１配置部６１は、撮像画像ＣＩを取得し、当該取得した撮像画像ＣＩを仮想空間ＶＳ内に配置する第１配置手段である。

ここで、「撮像画像ＣＩ」とは、監視領域を撮像した画像（静止画像、動画像）を意味する。この「撮像画像ＣＩ」は、例えば、公知の撮像装置（一例として、デジタルカメラ、デジタルビデオカメラ等）を用いて撮像した２次元画像又は３次元画像等を含む概念であるが、実施の形態では、公知の撮像装置を用いて撮像した２次元の静止画像として説明する。また、「仮想空間ＶＳ」とは、画像生成装置５０において構築される３次元空間であって、教師用画像ＤＩを生成するための空間を意味する。

（構成－画像生成装置－制御部－第２配置部）
第２配置部６２は、仮想空間ＶＳ内において、所定方法で生成された後述する図３の煙画像ＳＩの向きを変えながら、当該煙画像ＳＩを配置可能な第２配置手段である。

ここで、「煙画像ＳＩ」とは、煙が映り込んでいる画像（静止画像、動画像）を意味する。この「煙画像ＳＩ」は、例えば、公知の撮像装置を用いて実際の煙を単に撮像された２次元画像又は３次元画像、公知の撮像装置を用いて実際の煙を撮像した後に、公知の画像編集方法（一例として、クロマキー処理等）を用いて編集した２次元画像又は３次元画像、又は公知の画像シミュレーション装置（又はソフト）を用いて仮想の煙をシミュレーションする（模擬的に現出する）ことで形成した２次元画像又は３次元画像等を含む概念であるが、実施の形態では、上記仮想の煙をシミュレーションして形成した３次元の静止画像として説明する。

（構成－画像生成装置－制御部－生成部）
生成部６３は、後述する図３の仮想撮像部６５によって撮像された画像であって、撮像画像ＣＩ及び煙画像ＳＩを含む画像（２次元の静止画像）を、教師用画像ＤＩとして生成する生成手段である。

ここで、「仮想撮像部６５」とは、仮想空間ＶＳ内に配置された撮像画像ＣＩ及び煙画像ＳＩを含む画像を撮像する仮想撮像手段であり、後述する図３に示すように、仮想空間ＶＳ内に設けられる。

（構成－画像生成装置－制御部－調整部）
調整部６４は、煙画像ＳＩの大きさ、形状、色彩、明るさ、位置、又は煙の濃度、上昇速度、若しくは向きを調整する調整手段である。

ここで、「煙画像ＳＩの大きさを調整する」とは、例えば、火災の規模等に応じて煙画像ＳＩの大きさを調整することが該当する。また、「煙画像ＳＩの形状を調整する」とは、例えば、気流の流速（例えば、気流の上昇速度等）又は向き等に応じて煙画像ＳＩの形状を調整することが該当する。また、「煙画像ＳＩの色彩を調整する」とは、例えば、火災の種類（一例として、着炎火災、燻焼火災）等に応じて煙画像ＳＩの色彩を調整することが該当する。また、「煙画像ＳＩの明るさを調整する」とは、例えば、仮想空間ＶＳ内に設けられた仮想の光源（図示省略）を用いて、火災発生の時間帯又は照明の配置状況等に応じて煙画像ＳＩの明るさを調整することが該当する。また、「煙画像ＳＩの位置を調整する」とは、例えば、火災発生位置等に応じて煙画像ＳＩの位置を調整することが該当する。また、「煙画像ＳＩの煙の濃度を調整する」とは、例えば、火災の種類等に応じて煙画像ＳＩの煙の濃度を調整することが該当する。また、「煙画像ＳＩの煙の上昇速度を調整する」とは、例えば、煙画像ＳＩが動画像である場合に、火災の種類又は規模等に応じて煙画像ＳＩの煙の上昇速度を調整することが該当する。また、「煙画像ＳＩの煙の向きを調整する」とは、例えば、気流の向き又は撮像画像ＣＩの撮像方向等に応じて煙画像ＳＩの煙の向きを調整することが該当する。なお、この制御部６０によって実行される処理の詳細については後述する。

（構成－画像生成装置－データ記録部）
データ記録部７０は、画像生成装置５０の動作に必要なプログラム及び各種のデータを記録する記録手段であり、例えば、外部記録装置としてのハードディスク（図示省略）を用いて構成されている。ただし、ハードディスクに代えてあるいはハードディスクと共に、磁気ディスクの如き磁気的記録媒体、ＤＶＤやブルーレイディスクの如き光学的記録媒体、又はＦｌａｓｈ Ｒｏｍ、ＵＳＢメモリ、ＳＤカードの如き電気的記録媒体を含む、その他の任意の記録媒体を用いることができる。

（画像生成処理）
次に、このように構成された画像生成システム１における画像生成装置５０の制御部６０によって実行される画像生成処理について説明する。図２は、実施の形態に係る画像生成処理のフローチャートである（以下の各処理の説明ではステップを「Ｓ」と略記する）。図３は、教師用画像ＤＩの生成状況を概念的に示す斜視図である。図４は、煙画像ＳＩの向きの変更を示す図であり、（ａ）は撮像画像ＣＩの撮像方向を示す図、（ｂ）は仮想空間ＶＳ内において煙画像ＳＩの向きを変更した状態を示す図である。図５は、教師用画像ＤＩを例示した図である。

画像生成処理は、教師用画像ＤＩを生成するための処理である。また、この検索処理を実行するタイミングは任意であるが、実施の形態においては、画像生成システム１に電源が投入された後に起動される。

画像生成処理が起動されると、図２に示すように、ＳＡ１において制御部６０は、初期設定処理を実行する。ここで、「初期設定処理」とは、画像生成処理に関する初期設定を行うための処理である。

この初期設定処理の具体的な処理内容については任意であるが、例えば以下の通りに実行してもよい。

すなわち、まず、画像生成装置５０において構築される仮想空間ＶＳの方向（具体的には、Ｘ方向、Ｙ方向、Ｚ方向）の設定については、データ記録部７０にあらかじめ記録された方向情報、操作部１０を介して受け付けられた方向情報（例えば、デフォルトの方向情報）、又は通信部２０を介して外部装置から取得した方向情報等に基づいて設定してもよい。一例として、Ｘ方向＝左右方向、Ｙ方向＝前後方向、Ｚ方向＝上下方向に設定してもよい。その後、図３に示すように、表示部の画面上に生成された表示領域ＩＡに上記仮想空間ＶＳを表示してもよい。

次に、仮想撮像部６５の設置位置の設定については、表示領域ＩＡに仮想撮像部６５を表示した状態で、データ記録部７０にあらかじめ記録された位置情報（例えば、デフォルトの位置情報）、あるいは、操作部１０又は通信部２０を介して受け付けられた位置情報等に基づいて設定してもよい。一例として、図３に示すように、仮想撮像部６５の撮像方向が前後方向に沿うように、仮想空間ＶＳの中央位置よりも前側の位置に設定してもよい。

図２に戻り、ＳＡ２において第１配置部６１は、撮像画像ＣＩ（具体的には、２次元の静止画像）を取得する。

この撮像画像ＣＩの取得方法については任意であるが、例えば、通信部２０を介して外部装置から取得したり、又はデータ記録部７０からあらかじめ記録された撮像画像ＣＩを取得してもよい。

ＳＡ３において第１配置部６１は、ＳＡ２にて取得した撮像画像ＣＩを、ＳＡ１にて設定された仮想空間ＶＳ内に配置する。

この撮像画像ＣＩの配置方法については任意であるが、実施の形態では、上記仮想空間ＶＳ内において撮像画像ＣＩを垂直方向（上下方向）に略沿って配置すると共に、撮像画像ＣＩの外縁と教師用画像ＤＩの外縁とが略一致するように、撮像画像ＣＩを配置する。

具体的には、図３に示すように、撮像画像ＣＩを表示領域ＩＡに表示した状態で、撮像画像ＣＩが所定位置（例えば、仮想撮像部６５よりも後側の位置等）に位置するように、撮像画像ＣＩを仮想撮像部６５と相互に間隔を隔てて配置すると共に、撮像画像ＣＩに略直交する仮想の水平軸線ＶＨ（例えば、前後方向に沿った仮想の水平軸線ＶＨ）上に、撮像画像ＣＩを配置する（すなわち、撮像画像ＣＩの撮像方向と仮想撮像部６５の撮像方向とが一致するように配置する）。なお、上記間隔の設定方法については、例えば、撮像画像ＣＩの外縁と教師用画像ＤＩの外縁とが略一するように、撮像画像ＣＩの大きさ又は仮想撮像部６５の撮像倍率に基づいて設定してもよく、あるいは、操作部１０を介して受け付けられた間隔情報又は通信部２０を介して外部装置から取得した間隔情報に基づいて設定してもよい。

このような配置により、教師用画像ＤＩに撮像画像ＣＩ及び煙画像ＳＩ以外のものが含まれることを回避でき、教師用画像ＤＩの生成性を高めることができる。

図２に戻り、ＳＡ４において制御部６０は、煙画像ＳＩ（具体的には、３次元の静止画像）を生成する。

この煙画像ＳＩの生成方法については任意であるが、実施の形態では、公知の画像シミュレーション装置（又はソフト）を用いて、ＳＡ１にて設定された仮想空間ＶＳ内において仮想の煙をシミュレーションすることで形成することにより、生成する。これにより、例えば、煙画像ＳＩの煙の向きを仮想撮像部６５の撮像方向に向けて傾斜するような向きにでき、実際の火災状況を再現した教師用画像ＤＩを生成しやすくなる。ただし、これに限らず、例えば、データ記録部７０からあらかじめ記録された煙画像ＳＩ、又は通信部２０を介して外部装置から煙画像ＳＩを取得することにより、生成してもよい。

ＳＡ５において第２配置部６２は、ＳＡ１にて設定された仮想空間ＶＳ内において、ＳＡ４にて生成された煙画像ＳＩの向きを変えながら、当該煙画像ＳＩを配置する。

この煙画像ＳＩの配置方法については任意であるが、実施の形態では、上記仮想空間ＶＳ内において、上記煙画像ＳＩを、仮想撮像部６５とＳＡ３にて配置された撮像画像ＣＩとの相互間に配置すると共に、所定方法で取得された変更情報に基づいて当該撮像画像ＣＩの向きを変える。ここで、「変更情報」とは、煙画像の向きを変えるための変更情報であり、例えば煙画像を所定方向に向けて所定角度だけ傾斜させることを示す情報等が該当する。

具体的には、図３、図４（ｂ）に示すように、煙画像ＳＩを表示領域ＩＡに表示した状態で、上記撮像画像ＣＩの撮像方向が非水平方向である場合（例えば、図４（ａ）に示すように、建物の内部空間ＩＳにおいて、撮像装置Ｃが監視領域を見下ろすように撮像したことで、上記撮像画像ＣＩの撮像方向が水平方向に対して所定角度αだけ傾いた場合）には、当該煙画像ＳＩを上記相互間の略中央位置に配置すると共に、取得された変更情報が煙画像ＳＩを前方斜め下方向に向けて所定角度αだけ傾斜させる旨を示す場合に、上記煙画像ＳＩの向きを上下方向に対して所定角度αだけ前方斜め下方向となる向きに変える。また、上記撮像画像ＣＩの撮像方向が水平方向である場合には、当該煙画像ＳＩを上記相互間の略中央位置に配置すると共に、取得された変更情報が煙画像ＳＩの向きを変更しない旨を示す場合に、上記煙画像ＳＩの向きを上下方向に維持する。

なお、変更情報の取得方法については任意であるが、例えば、操作部１０を介して受け付けられることにより取得してもよく、又は通信部２０を介して外部装置から受信することにより取得してもよい。また、変更情報の設定方法については任意であるが、例えば、画像生成システム１のユーザ又は外部のユーザが撮像画像ＣＩの撮像方向と水平方向とのズレを参照して決定した向きを示す情報を変更情報として設定してもよい。あるいは、公知の角度センサで検出した撮像画像ＣＩの撮像方向を示す情報を変更情報として設定してもよい。

このような配置により、撮像画像ＣＩが２次元画像である場合に、実際の火災状況を高精度に再現した教師用画像ＤＩを生成でき、教師用画像ＤＩの生成性を高めることができる。

図２に戻り、ＳＡ６において調整部６４は、操作部１０を介して煙画像ＳＩを調整する指示（以下、「調整指示」と称する）が受け付けられたか否かを判定する。

そして、調整部６４は、調整指示が受け付けられたと判定された場合（ＳＡ６、Ｙｅｓ）にはＳＡ７に移行し、調整指示が受け付けられていないと判定された場合（ＳＡ６、Ｎｏ）にはＳＡ８に移行する。

ＳＡ７において調整部６４は、煙画像ＳＩの大きさ、形状、色彩、明るさ、位置、又は煙の濃度、上昇速度、若しくは向きを調整する。

この煙画像ＳＩの調整方法については任意であるが、例えば、煙画像ＳＩを表示領域ＩＡに表示した状態で、データ記録部７０からあらかじめ記録された調整情報（例えば、デフォルトの調整情報）、操作部１０を介して受け付けられた調整情報、又は通信部２０を介して外部装置から取得した調整情報に基づいて調整してもよい。

ここで、「調整情報」とは、煙画像ＳＩを調整するための情報であり、実施の形態では、煙画像ＳＩの大きさを調整する第１調整情報、煙画像ＳＩの形状を調整する第２調整情報、煙画像ＳＩの色彩を調整する第３調整情報、煙画像ＳＩの明るさを調整する第４調整情報、煙画像ＳＩの位置を調整する第５調整情報、煙画像ＳＩの煙の濃度を調整する第６調整情報、煙画像ＳＩの煙の上昇速度を調整する第７調整情報、又は煙画像ＳＩの煙の向きを調整する第８調整情報の少なくともいずれか１つを含むもの等が該当する。

このような調整により、煙画像ＳＩの大きさ、形状、色彩、明るさ、位置、又は煙の濃度、上昇速度、若しくは向きを調整でき、多様なパターンの教師用画像ＤＩを生成しやすくなる。

ＳＡ８において生成部６３は、仮想撮像部６５によって、ＳＡ３にて配置された撮像画像ＣＩとＳＡ５にて配置された煙画像ＳＩ（又はＳＡ７にて調整された煙画像ＳＩ）とを含む画像（例えば、図５の画像）を撮像し、当該撮像した画像を教師用画像ＤＩとして生成する。なお、ＳＡ８にて生成された教師用画像ＤＩは、例えば、データ記録部７０に記録されてもよく、あるいは、通信部２０を介して外部装置に送信されてもよい。

ＳＡ９において制御部６０は、画像生成処理を終了するタイミング（以下、「終了タイミング」と称する）が到来したか否かを判定する。

この終了タイミングが到来したか否かの判定方法については任意であるが、例えば、操作部１０を介して所定操作が受け付けられたか否かに基づいて判定し、上記所定操作が行われた場合には終了タイミングが到来したと判定し、上記所定操作が行われていない場合には終了タイミングが到来していないと判定する。

そして、制御部６０は、終了タイミングが到来したと判定された場合（ＳＡ９、Ｙｅｓ）には画像生成処理を終了する。一方で、終了タイミングが到来していないと判定された場合（ＳＡ９、Ｎｏ）にはＳＡ２に移行し、ＳＡ９にて終了タイミングが到来したと判定されるまでＳＡ２からＳＡ９の処理を繰り返し行う。

なお、実施の形態では、ＳＡ２からＳＡ９までのサイクルを繰り返す場合において、次回のサイクルで用いる撮像画像ＣＩ（又は煙画像ＳＩ）を前回のサイクルで用いた撮像画像ＣＩ（又は煙画像ＳＩ）と変更する場合には、操作部１０を介して所定操作が行われることによって、ＳＡ１にて設定された仮想空間ＶＳ内において前回のサイクルで用いた撮像画像ＣＩ（又は煙画像ＳＩ）を削除した後に、ＳＡ２及びＳＡ３（又は、ＳＡ４及びＳＡ５）を実行してもよい。一方で、次回のサイクルで用いる撮像画像ＣＩ又は煙画像ＳＩを前回のサイクルで用いた撮像画像ＣＩ（又は煙画像ＳＩ）と変更しない場合には、操作部１０を介して所定操作が行われることによって、上記仮想空間ＶＳ内において前回のサイクルで用いた撮像画像ＣＩ（又は煙画像ＳＩ）を保持しながら、ＳＡ２及びＳＡ３（又は、ＳＡ４及びＳＡ５）を省略してもよい。

このような画像生成処理により、撮像画像ＣＩの撮像方向と煙画像ＳＩの撮像方向とが一致していない場合に、これら撮像方向が一致するように教師用画像ＤＩを生成できる。よって、実際の火災状況を高精度に再現した教師用画像ＤＩを様々なパターンで簡易に生成でき、教師用画像ＤＩの生成性を高めることが可能となる。

（実施の形態の効果）
このように実施の形態によれば、監視領域が撮像された撮像画像ＣＩを仮想空間ＶＳ内に配置する第１配置部６１と、仮想空間ＶＳ内において、所定方法で生成された煙画像ＳＩの向きを変えながら、当該煙画像ＳＩを配置可能な第２配置部６２と、仮想空間ＶＳ内に設けられた仮想撮像部６５によって撮像された画像であって、撮像画像ＣＩ及び煙画像ＳＩを含む画像を、教師用画像ＤＩとして生成する生成部６３と、を備えるので、撮像画像ＣＩの撮像方向と煙画像ＳＩの撮像方向とが一致していない場合に、これら撮像方向が一致するように教師用画像ＤＩを生成できる。よって、実際の火災状況を高精度に再現した教師用画像ＤＩを様々なパターンで簡易に生成でき、教師用画像ＤＩの生成性を高めることが可能となる。

また、撮像画像ＣＩが、２次元画像であり、第１配置部６１は、仮想空間ＶＳ内において、撮像画像ＣＩを垂直方向に略沿って配置し、第２配置部６２は、仮想空間ＶＳ内において、煙画像ＳＩを撮像画像ＣＩに略直交する仮想の水平軸線ＶＨ上に設けられた仮想撮像部６５と撮像画像ＣＩとの相互間に配置するので、撮像画像ＣＩが２次元画像である場合に、実際の火災状況を高精度に再現した教師用画像ＤＩを生成でき、教師用画像ＤＩの生成性を高めることができる。

また、第１配置部６１が、撮像画像ＣＩの外縁と教師用画像ＤＩの外縁とが略一致するように、撮像画像ＣＩを配置するので、教師用画像ＤＩに撮像画像ＣＩ及び煙画像ＳＩ以外のものが含まれることを回避でき、教師用画像ＤＩの生成性を高めることができる。

また、第２配置部６２が、所定方法で取得された変更情報に基づいて、仮想空間ＶＳ内における煙画像ＳＩの向きを変えるので、変更情報に基づいて煙画像ＳＩの向きを変えることができ、例えば画像生成システム１のユーザ又は外部ユーザのニーズに応じた煙画像ＳＩの向きの変更を行うことが可能となる。

また、煙画像ＳＩの大きさ、形状、色彩、明るさ、位置、又は煙の濃度、上昇速度、若しくは向きを調整する調整部６４を備えるので、煙画像ＳＩの大きさ、形状、色彩、明るさ、位置、又は煙の濃度、上昇速度、若しくは向きを調整でき、多様なパターンの教師用画像ＤＩを生成しやすくなる。

〔ＩＩＩ〕実施の形態に対する変形例
以上、本発明に係る実施の形態について説明したが、本発明の具体的な構成及び手段は、特許請求の範囲に記載した各発明の技術的思想の範囲内において、任意に改変及び改良することができる。以下、このような変形例について説明する。

（解決しようとする課題や発明の効果について）
まず、発明が解決しようとする課題や発明の効果は、上述の内容に限定されるものではなく、発明の実施環境や構成の細部に応じて異なる可能性があり、上述した課題の一部のみを解決したり、上述した効果の一部のみを奏したりすることがある。

（分散や統合について）
上述した各電気的構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散や統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散又は統合して構成できる。本出願における「システム」とは、複数の装置によって構成されたものに限定されず、単一の装置によって構成されたものを含む。また、本出願における「装置」とは、単一の装置によって構成されたものに限定されず、複数の装置によって構成されたものを含む。例えば、画像生成装置５０を、相互に通信可能に構成された複数の装置に分散して構成し、これら複数の装置の一部に制御部６０を設けると共に、これら複数の装置の他の一部にデータ記録部７０を設けてもよい。

（形状、数値、構造、時系列について）
実施の形態や図面において例示した構成要素に関して、形状、数値、又は複数の構成要素の構造若しくは時系列の相互関係については、本発明の技術的思想の範囲内において、任意に改変及び改良することができる。

（撮像画像、煙画像、教師用画像について）
上記実施の形態では、撮像画像ＣＩが２次元の静止画像であると説明したが、これに限らず、例えば、２次元の動画像であってもよい。これにより、撮像画像ＣＩが２次元の静止画像である場合に比べて、教師用画像ＤＩのロバスト性を高めることができ、教師用画像ＤＩの生成性を一層高めることができる。

また、上記実施の形態では、撮像画像ＣＩが２次元画像であると説明したが、これに限らず、例えば、３次元画像であってもよい。この場合には、画像生成処理のＳＡ５において、煙画像ＳＩを、仮想撮像部６５と撮像画像ＣＩとの相互間に配置したり、又は、撮像画像ＣＩ内に配置してもよい。あるいは、撮像画像ＣＩの代わりに、実際の監視範囲以外の画像（２次元（又は３次元）の静止画像又は動画像）を背景として、撮像画像ＣＩと同じ位置に配置してもよい。例えば、さまざまな人工物、自然物を撮像した撮像画像ＣＩを背景として煙画像ＳＩを仮想撮像部６５で撮像することにより、教師用画像ＤＩを生成してもよい。このように生成された教師用画像ＤＩに基づいて機械学習を行い、その学習結果を用いて監視範囲の火災を検出することにより、監視範囲内において元の撮像画像ＣＩと異なる物体が置かれるなどの変化があった場合でも、火災の検出精度を高められることが期待される。

また、上記実施の形態では、煙画像ＳＩが、公知の画像シミュレーション装置（又はソフト）を用いて仮想の煙をシミュレーションすることで形成することにより、生成した３次元画像であると説明したが、これに限らず、例えば、公知の撮像装置を用いて実際の煙を単に撮像された２次元画像又は３次元画像、又は公知の撮像装置を用いて実際の煙を撮像した後に、公知の画像編集方法を用いて編集することにより、生成した２次元画像又は３次元画像であってもよい。この場合には、画像生成処理のＳＡ７において、煙画像ＳＩの大きさ、形状、色彩、明るさ、又は位置を調整することになる。

また、上記実施の形態では、教師用画像ＤＩが、２次元の静止画像であると説明したが、これに限らず、例えば、２次元の動画像、３次元の静止画像、又は３次元の動画像であってもよい。

（画像生成装置について）
上記実施の形態では、画像生成装置５０が、調整部６４を備えていると説明したが、これに限らず、例えば、調整部６４を省略してもよい。この場合には、画像生成処理のＳＡ６、ＳＡ７を省略できる。

また、上記実施の形態では、画像生成装置５０の制御部６０が、第１配置部６１、第２配置部６２、生成部６３、及び調整部６４を備えていると説明したが、これに限らず、例えば、これらの構成要素に加えて、判定部又は機械学習部を備えてもよい。

ここで、判定部は、生成部６３にて生成された教師用画像ＤＩに含まれる煙画像ＳＩの位置又は大きさに基づいて、当該教師用画像ＤＩの適否を判定する判定手段である。この判定部による教師用画像ＤＩの適否を判定する方法については任意であるが、例えば、煙画像ＳＩの中心位置が教師用画像ＤＩ内に含まれているか否か、又は教師用画像ＤＩにおける煙画像ＳＩが占める領域が閾値以下であるか否かに基づいて判定してもよい。そして、上記教師用画像ＤＩ内に含まれている場合、又は上記閾値以下である場合には、教師用画像ＤＩが適当であると判定し、上記教師用画像ＤＩ内に含まれていない場合、及び上記閾値以下でない場合には、教師用画像ＤＩが適当でないと判定してもよい。以上のような判定部により、教師用画像ＤＩに含まれる煙画像ＳＩの位置又は大きさに基づいて教師用画像ＤＩの適否を判定でき、当該判定結果に基づいて適当な教師用画像ＤＩを監視領域の火災検出に用いることが可能となる。

また、機械学習部は、生成部６３にて生成された教師用画像ＤＩに基づいて、監視領域の火災の検出に関する機械学習（例えば、深層学習（ディープラーニング））を行う機械学習手段である。この機械学習部による機械学習を実行する方法については任意であるが、例えば、生成部６３にて生成された教師用画像ＤＩ（火災時の画像）と、撮像画像ＣＩ（非火災時の画像）とを公知の多層式ニューラルネットワーク等に入力し、公知の機械学習方法（例えば、バックプロパゲーション法（誤差逆伝播法）等）を用いて多層式ニューラルネットワークの重みとバイアスを学習させてもよい。ここで、多層式ニューラルネットワークの具体的な構成については任意であるが、例えば、生成部６３にて生成された教師用画像ＤＩから抽出された火災を推定する特徴を示す特徴情報を生成する複数の畳み込み層を備えた畳み込みニューラルネットワークとして機能する特徴抽出部と、特徴抽出部にて生成された特徴情報に基づいて、画像の特徴値（火災か非火災かを推定する推定値）を出力する複数の全結合層を備えた全結合ニューラルネットワークとして機能する認識部とを備えて構成されてもよい。なお、この多層式ニューラルネットワークにより、例えば、監視領域に設けられた図示しない監視カメラで撮像された監視領域の画像を多層式ニューラルネットワークに入力すると、当該監視領域の画像に対応した推定値であって、火災又は非火災を推定する推定値を出力することできる。以上のような機械学習部により、教師用画像ＤＩに基づいて監視領域の火災の検出に関する機械学習を行うことができ、当該学習結果を用いることにより監視領域の火災の検出精度を高めることが可能となる。

（付記）
付記１の画像生成システムは、監視領域の火災を検出するための機械学習に用いられる教師用画像を生成するための画像生成システムであって、前記監視領域が撮像された撮像画像を仮想空間内に配置する第１配置手段と、前記仮想空間内において、所定方法で生成された煙画像の向きを変えながら、当該煙画像を配置可能な第２配置手段と、前記仮想空間内に設けられた仮想撮像手段によって撮像された画像であって、前記撮像画像及び前記煙画像を含む画像を、前記教師用画像として生成する生成手段と、を備える。

付記２の画像生成システムは、付記１に記載の画像生成システムにおいて、前記撮像画像は、２次元画像であり、前記第１配置手段は、前記仮想空間内において、前記撮像画像を垂直方向に略沿って配置し、前記第２配置手段は、前記仮想空間内において、前記煙画像を前記撮像画像に略直交する仮想の水平軸線上に設けられた前記仮想撮像手段と前記撮像画像との相互間に配置する。

付記３の画像生成システムは、付記２に記載の画像生成システムにおいて、前記第１配置手段は、前記撮像画像の外縁と前記教師用画像の外縁とが略一致するように、前記撮像画像を配置する。

付記４の画像生成システムは、付記１から３のいずれか一項に記載の画像生成システムにおいて、前記第２配置手段は、所定方法で取得された変更情報であって前記煙画像の向きを変えるための変更情報に基づいて、前記仮想空間内における前記煙画像の向きを変える。

付記５の画像生成システムは、付記１から４のいずれか一項に記載の画像生成システムにおいて、前記煙画像の大きさ、形状、色彩、明るさ、位置、又は煙の濃度、上昇速度、若しくは向きを調整する調整手段を備える。

付記６の画像生成システムは、付記１から５のいずれか一項に記載の画像生成システムにおいて、前記生成手段にて生成された前記教師用画像に含まれる前記煙画像の位置又は大きさに基づいて、当該教師用画像の適否を判定する判定手段を備える。

付記７の画像生成システムは、付記１から６のいずれか一項に記載の画像生成システムにおいて、前記生成手段にて生成された前記教師用画像に基づいて、前記監視領域の火災の検出に関する機械学習を行う機械学習手段を備える。

（付記の効果）
付記１に記載の画像生成システムによれば、監視領域が撮像された撮像画像を仮想空間内に配置する第１配置手段と、仮想空間内において、所定方法で生成された煙画像の向きを変えながら、当該煙画像を配置可能な第２配置手段と、仮想空間内に設けられた仮想撮像手段によって撮像された画像であって、撮像画像及び煙画像を含む画像を、教師用画像として生成する生成手段と、を備えるので、撮像画像の撮像方向と煙画像の撮像方向とが一致していない場合に、これら撮像方向が一致するように教師用画像を生成できる。よって、実際の火災状況を高精度に再現した教師用画像を様々なパターンで簡易に生成でき、教師用画像の生成性を高めることが可能となる。

付記２に記載の画像生成システムによれば、撮像画像が、２次元画像であり、第１配置手段は、仮想空間内において、撮像画像を垂直方向に略沿って配置し、第２配置手段は、仮想空間内において、煙画像を撮像画像に略直交する仮想の水平軸線上に設けられた仮想撮像手段と撮像画像との相互間に配置するので、撮像画像が２次元画像である場合に、実際の火災状況を高精度に再現した教師用画像を生成でき、教師用画像の生成性を高めることができる。

付記３に記載の画像生成システムによれば、第１配置手段が、撮像画像の外縁と教師用画像の外縁とが略一致するように、撮像画像を配置するので、教師用画像に撮像画像及び煙画像以外のものが含まれることを回避でき、教師用画像の生成性を高めることができる。

付記４に記載の画像生成システムによれば、第２配置手段が、所定方法で取得された変更情報に基づいて、仮想空間内における煙画像の向きを変えるので、変更情報に基づいて煙画像の向きを変えることができ、例えば画像生成システムのユーザ又は外部ユーザのニーズに応じた煙画像の向きの変更を行うことが可能となる。

付記５に記載の画像生成システムによれば、煙画像の大きさ、形状、色彩、明るさ、位置、又は煙の濃度、上昇速度、若しくは向きを調整する調整手段を備えるので、煙画像の大きさ、形状、色彩、明るさ、位置、又は煙の濃度、上昇速度、若しくは向きを調整でき、多様なパターンの教師用画像を生成しやすくなる。

付記６に記載の画像生成システムによれば、生成手段にて生成された教師用画像に含まれる煙画像の位置又は大きさに基づいて、当該教師用画像の適否を判定する判定手段を備えるので、教師用画像に含まれる煙画像の位置又は大きさに基づいて教師用画像の適否を判定でき、当該判定結果に基づいて適当な教師用画像を監視領域の火災検出に用いることが可能となる。

付記７に記載の画像生成システムによれば、生成手段にて生成された教師用画像に基づいて、監視領域の火災の検出に関する機械学習を行う機械学習手段を備えるので、教師用画像に基づいて監視領域の火災の検出に関する機械学習を行うことができ、当該学習結果を用いることにより監視領域の火災の検出精度を高めることが可能となる。

１ 画像生成システム
１０ 操作部
２０ 通信部
３０ 表示部
４０ 電源部
５０ 画像生成装置
６０ 制御部
６１ 第１配置部
６２ 第２配置部
６３ 生成部
６４ 調整部
６５ 仮想撮像部
７０ データ記録部
Ｃ 撮像装置
ＣＩ 撮像画像
ＤＩ 教師用画像
ＩＡ 表示領域
ＩＳ 内部空間
ＳＩ 煙画像
ＶＨ 仮想の水平軸線
ＶＳ 仮想空間
α 所定角度

Claims (7)

1. 監視領域の火災を検出するための機械学習に用いられる教師用画像を生成するための画像生成システムであって、
   前記監視領域が撮像された撮像画像を仮想空間内に配置する第１配置手段と、
   前記仮想空間内において、所定方法で生成された煙画像の向きを変えながら、当該煙画像を配置可能な第２配置手段と、
   前記仮想空間内に設けられた仮想撮像手段によって撮像された画像であって、前記撮像画像及び前記煙画像を含む画像を、前記教師用画像として生成する生成手段と、
   を備える、画像生成システム。
2. 前記撮像画像は、２次元画像であり、
   前記第１配置手段は、前記仮想空間内において、前記撮像画像を垂直方向に略沿って配置し、
   前記第２配置手段は、前記仮想空間内において、前記煙画像を前記撮像画像に略直交する仮想の水平軸線上に設けられた前記仮想撮像手段と前記撮像画像との相互間に配置する、
   請求項１に記載の画像生成システム。
3. 前記第１配置手段は、前記撮像画像の外縁と前記教師用画像の外縁とが略一致するように、前記撮像画像を配置する、
   請求項２に記載の画像生成システム。
4. 前記第２配置手段は、所定方法で取得された変更情報であって前記煙画像の向きを変えるための変更情報に基づいて、前記仮想空間内における前記煙画像の向きを変える、
   請求項１から３のいずれか一項に記載の画像生成システム。
5. 前記煙画像の大きさ、形状、色彩、明るさ、位置、又は煙の濃度、上昇速度、若しくは向きを調整する調整手段を備える、
   請求項１から４のいずれか一項に記載の画像生成システム。
6. 前記生成手段にて生成された前記教師用画像に含まれる前記煙画像の位置又は大きさに基づいて、当該教師用画像の適否を判定する判定手段を備える、
   請求項１から５のいずれか一項に記載の画像生成システム。
7. 前記生成手段にて生成された前記教師用画像に基づいて、前記監視領域の火災の検出に関する機械学習を行う機械学習手段を備える、
   請求項１から６のいずれか一項に記載の画像生成システム。

Images