以下、図面を参照して、本発明の1又は複数の実施形態が説明される。しかし、発明の範囲は、開示された実施形態に限定されない。
各図において、同一符号を付した構成は、同一の構成であることを示し、その構成について、既に説明している内容については、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し(例えば、第2画像Im2)、個別の構成を指す場合には添え字を付した参照符号で示す(例えば、第2画像Im2−1)。
図1Aは、実施形態に係るガス検知システム1の構成を示すブロック図である。ガス検知システム1は、赤外線カメラ2とガス検知用画像処理装置3とを備える。
赤外線カメラ2は、ガス漏れの監視対象(例えば、ガス輸送管どうしが接続されている箇所)を含む被写体について、赤外画像の動画を撮影し、動画を示す動画データMDを生成する。時系列に撮像された複数の赤外画像であればよく、動画に限定されない。赤外線カメラ2は、光学系4、フィルター5、二次元イメージセンサー6及び信号処理部7を備える。
光学系4は、被写体の赤外画像を二次元イメージセンサー6上で結像させる。フィルター5は、光学系4と二次元イメージセンサー6との間に配置され、光学系4を通過した光のうち、特定波長の赤外線のみを通過させる。赤外の波長帯のうち、フィルター5を通過させる波長帯は、検知するガスの種類に依存する。例えばメタンの場合、3.2〜3.4μmの波長帯を通過させるフィルター5が用いられる。二次元イメージセンサー6は、例えば、冷却型インジウムアンチモン(InSb)イメージセンサーであり、フィルター5を通過した赤外線を受光する。信号処理部7は、二次元イメージセンサー6から出力されたアナログ信号を、デジタル信号に変換し、公知の画像処理をする。このデジタル信号が、動画データMDとなる。
ガス検知用画像処理装置3は、パーソナルコンピュータ、スマートフォン、タブレット端末等であり、機能ブロックとして、画像データ入力部8、画像処理部9、表示制御部10、ディスプレイ11及び入力部12を備える。
画像データ入力部8は、赤外線カメラ2の通信部(不図示)と通信する通信インターフェイスである。画像データ入力部8には、赤外線カメラ2の通信部から送られてきた動画データMDが入力される。画像データ入力部8は、動画データMDを画像処理部9へ送る。
画像処理部9は、動画データMDに所定の処理をする。所定の処理とは、例えば、動画データMDから時系列画素データを生成する処理である。
時系列画素データを具体的に説明する。図2は、時系列画素データD1を説明する説明図である。動画データMDで示される動画は、フレームが時系列に複数並べられた構造を有する。複数のフレーム(複数の赤外画像)において、同じ位置にある画素の画素データを時系列に並べたデータを、時系列画素データD1とする。赤外画像の動画のフレーム数をKとする。一つのフレームがM個の画素、すなわち、1番目の画素、2番目の画素、・・・、M−1番目の画素、M番目の画素で構成されている。画素データ(画素値)を基にして、輝度、温度等の物理量が定められる。
複数(K個)のフレームの同じ位置にある画素とは、同じ順番の画素を意味する。例えば、1番目の画素で説明すると、1番目のフレームに含まれる1番目の画素の画素データ、2番目のフレームに含まれる1番目の画素の画素データ、・・・、K−1番目のフレームに含まれる1番目の画素の画素データ、K番目のフレームに含まれる1番目の画素の画素データを、時系列に並べたデータが、1番目の画素の時系列画素データD1となる。また、M番目の画素で説明すると、1番目のフレームに含まれるM番目の画素の画素データ、2番目のフレームに含まれるM番目の画素の画素データ、・・・、K−1番目のフレームに含まれるM番目の画素の画素データ、K番目のフレームに含まれるM番目の画素の画素データを、時系列に並べたデータが、M番目の画素の時系列画素データD1となる。時系列画素データD1の数は、一つのフレームを構成する画素の数と同じである。
図1Aを参照して、画像処理部9は、第1処理部91、第2処理部92、第3処理部93、設定部94、及び、識別部95を備える。これらについては、後で説明する。
表示制御部10は、動画データMDで示される動画、及び、画像処理部9で上記所定の処理がされた動画を、ディスプレイ11に表示させる。
入力部12は、ガス検知に関連する各種入力がされる。実施形態に係るガス検知用画像処理装置3は、表示制御部10、ディスプレイ11及び入力部12を備えるが、これらを備えないガス検知用画像処理装置3でもよい。
図1Bは、図1Aに示すガス検知用画像処理装置3のハードウェア構成を示すブロック図である。ガス検知用画像処理装置3は、CPU(Central Processing Unit)3a、RAM(Random Access Memory)3b、ROM(Read Only Memory)3c、HDD(Hard Disk Drive)3d、液晶ディスプレイ3e、通信インターフェイス3f、キーボード等3g、及び、これらを接続するバス3hを備える。液晶ディスプレイ3eは、ディスプレイ11を実現するハードウェアである。液晶ディスプレイ3eの替わりに、有機ELディスプレイ(Organic Light Emitting Diode display)、プラズマディスプレイ等でもよい。通信インターフェイス3fは、画像データ入力部8を実現するハードウェアである。キーボード等3gは、入力部12を実現するハードウェアである。キーボードの替わりに、タッチパネルでもよい。
HDD3dには、画像処理部9及び表示制御部10について、これらの機能ブロックをそれぞれ実現するためのプログラム、及び、各種データ(例えば、動画データMD)が格納されている。画像処理部9を実現するプログラムは、動画データMDを取得し、動画データMDに上記所定の処理をする処理プログラムである。表示制御部10を実現するプログラムは、例えば、動画データMDで示される動画をディスプレイ11に表示させたり、画像処理部9によって上記所定の処理がされた動画をディスプレイ11に表示させたりする表示制御プログラムである。これらのプログラムは、HDD3dに予め記憶されているが、これに限定されない。例えば、これらのプログラムを記録している記録媒体(例えば、磁気ディスク、光学ディスクのような外部記録媒体)が用意されており、この記録媒体に記憶されているプログラムがHDD3dに記憶されてもよい。また、これらのプログラムは、ガス検知用画像処理装置3とネットワーク接続されたサーバに格納されており、ネットワークを介して、これらのプログラムがHDD3dに送られ、HDD3dに記憶されてもよい。これらのプログラムは、HDD3dの替わりにROM3cに記憶してもよい。ガス検知用画像処理装置3は、HDD3dの替わりに、フラッシュメモリを備え、これらのプログラムはフラッシュメモリに記憶してもよい。
CPU3aは、ハードウェアプロセッサの一例であり、これらのプログラムを、HDD3dから読み出してRAM3bに展開させ、展開されたプログラムを実行することによって、画像処理部9及び表示制御部10が実現される。但し、画像処理部9の機能及び表示制御部10の機能について、各機能の一部又は全部は、CPU3aによる処理に替えて、又は、これと共に、DSP(Digital Signal Processor)による処理によって実現されてもよい。又、同様に、各機能の一部又は全部は、ソフトウェアによる処理に替えて、又は、これと共に、専用のハードウェア回路による処理によって実現されてもよい。
なお、画像処理部9は、図1Aに示す複数の要素によって構成される。従って、HDD3dには、これらの要素を実現するためのプログラムが格納されている。すなわち、HDD3dには、第1処理部91〜第3処理部93、設定部94、及び、識別部95のそれぞれを実現するためのプログラムが格納されている。これらのプログラムは、第1処理プログラム〜第3処理プログラム、設定プログラム、識別プログラムと表現される。
これらのプログラムは、要素の定義を用いて表現される。第1処理部91及び第1処理プログラムを例にして説明する。第1処理部91は、時系列に撮像された複数の赤外画像のそれぞれに対して、ガス候補領域を抽出する処理をすることにより、複数の赤外画像のそれぞれを基にした複数の第1画像を生成する。第1処理プログラムは、時系列に撮像された複数の赤外画像のそれぞれに対して、ガス候補領域を抽出する処理をすることにより、複数の赤外画像のそれぞれを基にした複数の第1画像を生成するプログラムである。
CPU3aによって実行されるこれらのプログラム(第1処理プログラム、第2処理プログラム等)のフローチャートが、後で説明する図12である。
本発明者は、赤外画像を利用したガス検知において、ガス漏れと背景の温度変化とが並行して発生し、背景の温度変化が、漏れたガスによる温度変化よりも大きい場合、背景の温度変化を考慮しなければ、ガスが漏れている様子を画像で表示できないことを見出した。これについて詳しく説明する。
図3は、ガス漏れと背景の温度変化とが並行して発生している状態で、屋外の試験場所を撮影した赤外画像を時系列で示す画像図である。これらは、赤外線カメラで動画を撮影して得られた赤外画像である。試験場所には、ガスを噴出させることができる地点SP1がある。地点SP1と比較するために、ガスが噴出しない地点SP2を示している。
画像I1は、太陽光が雲で遮られる直前の時刻T1に撮影された試験場所の赤外画像である。画像I2は、時刻T1から5秒後の時刻T2に撮影された試験場所の赤外画像である。時刻T2は、太陽光が雲で遮られているので、時刻T1と比べて背景の温度が下がっている。
画像I3は、時刻T1から10秒後の時刻T3に撮影された試験場所の赤外画像である。時刻T2から時刻T3まで、太陽光が雲で遮られた状態が継続されているので、時刻T3は、時刻T2と比べて背景の温度が下がっている。
画像I4は、時刻T1から15秒後の時刻T4に撮影された試験場所の赤外画像である。時刻T3から時刻T4まで、太陽光が雲で遮られた状態が継続されているので、時刻T4は、時刻T3と比べて背景の温度が下がっている。
時刻T1から時刻T4までの15秒間で、背景の温度が約4℃下がっている。このため、画像I4は、画像I1と比べて全体的に暗くなっており、背景の温度が低下していることが分かる。
時刻T1後かつ時刻T2前の時刻に、地点SP1において、ガスの噴出を開始させている。噴出されたガスによる温度変化は、わずかである(約0.5℃)。このため、時刻T2、時刻T3、時刻T4では、地点SP1でガスが噴出しているが、噴出されたガスによる温度変化よりも、背景の温度変化の方がはるかに大きいので、画像I2、画像I3、画像I4を見ても地点SP1からガスが出ている様子が分からない。
図4Aは、試験場所の地点SP1の温度変化を示すグラフであり、図4Bは、試験場所の地点SP2の温度変化を示すグラフである。これらのグラフの縦軸は、温度を示している。これらのグラフの横軸は、フレームの順番を示している。例えば、45とは、45番目のフレームを意味する。フレームレートは、30fpsである。よって、1番目のフレームから450番目のフレームまでの時間は、15秒となる。
地点SP1の温度変化を示すグラフと地点SP2の温度変化を示すグラフとは異なる。地点SP2ではガスが噴出していないので、地点SP2の温度変化は、背景の温度変化を示している。これに対して、地点SP1では、ガスが噴出しているので、地点SP1には、ガスが漂っている。このため、地点SP1の温度変化は、背景の温度変化と漏れたガスによる温度変化とを加算した温度変化を示している。
図4Aに示すグラフからは、地点SP1でガスが噴出していることが分かる(すなわち、地点SP1でガス漏れが発生していることが分かる)。しかし、上述したように、図3に示す画像I2、画像I3、画像I4からは、地点SP1でガスが噴出していることが分からない(すなわち、地点SP1でガス漏れが発生していることが分からない)。
このように、噴出されたガス(漏れたガス)による温度変化よりも、背景の温度変化の方がはるかに大きい場合、図3に示す画像I2、画像I3、画像I4を見ても地点SP1からガスが出ている様子が分からない。
この原因は、動画データMD(図1A)には、漏れたガスによる温度変化を示す周波数成分データに加えて、この周波数成分データよりも周波数が低く、背景温度の変化を示す低周波成分データD2が含まれるからである。低周波成分データD2で示される像(背景の明暗の変化)により、前記周波数成分データで示される像が見えなくなるのである。図4A及び図4Bを参照して、地点SP1の温度変化を示すグラフに含まれる細かい変化が、前記周波数成分データに対応する。地点SP2の温度変化を示すグラフが低周波成分データD2に対応する。
そこで、画像処理部9(図1A)は、画素の位置がそれぞれ異なる複数の時系列画素データD1(すなわち、動画データMDを構成する複数の時系列画素データD1)を、動画データMDから生成し、複数の時系列画素データD1のそれぞれに対して、低周波成分データD2を除く処理をする。画素の位置がそれぞれ異なる複数の時系列画素データとは、図2を参照して、1番目画素の時系列画素データD1、2番目画素の時系列画素データD1、・・・、M−1番目画素の時系列画素データD1、M番目画素の時系列画素データD1を意味する。
漏れたガスによる温度変化を示す周波数成分データの周波数よりも周波数が高く、高周波ノイズを示す周波数成分データを、高周波成分データD3とする。画像処理部9は、動画データMDを構成する複数の時系列画素データD1のそれぞれに対して、低周波成分データD2を除く処理に加えて、高周波成分データD3を除く処理をする。
このように、画像処理部9は、フレームの単位で低周波成分データD2及び高周波成分データD3を除く処理をするのではなく、時系列画素データD1の単位で低周波成分データD2及び高周波成分データD3を除く処理をする。
ガス検知用画像処理装置3は、赤外画像を利用して、監視画像を生成する。ガス漏れが発生している場合、監視画像には、ガス漏れによりガスが出現している領域を示す像が含まれる。ガス検知用画像処理装置3は、監視画像を基にしてガス漏れを検知する。監視画像の生成方法として、様々な方法があるが、ここでは、監視画像の生成方法の一例を説明する。監視画像は、監視対象及び背景の赤外画像を利用して生成される。図5は、監視画像の生成処理を説明するフローチャートである。
図1A、図2及び図5を参照して、画像処理部9は、動画データMDからM個の時系列画素データD1を生成する(ステップS1)。
画像処理部9は、時系列画素データD1に対して、K個のフレームより少ない第1の所定数のフレームを単位とする単純移動平均を算出することにより時系列画素データD1から抽出されたデータを、低周波成分データD2とし、M個の時系列画素データD1のそれぞれに対応するM個の低周波成分データD2を抽出する(ステップS2)。
第1の所定数のフレームは、例えば、21フレームである。内訳は、ターゲットとなるフレーム、これより前の連続する10フレーム、これより後の連続する10フレームである。第1の所定数は、時系列画素データD1から低周波成分データD2を抽出できる数であればよく、21に限らず、21より多くてもよいし、21より少なくてもよい。
画像処理部9は、時系列画素データD1に対して、第1の所定数(例えば、21)より少ない第3の所定数(例えば、3)のフレームを単位とする単純移動平均を算出することにより時系列画素データD1から抽出されたデータを、高周波成分データD3とし、M個の時系列画素データD1のそれぞれに対応するM個の高周波成分データD3を抽出する(ステップS3)。
図6は、地点SP1(図4A)に対応する画素の時系列画素データD1、時系列画素データD1から抽出された低周波成分データD2、時系列画素データD1から抽出された高周波成分データD3を示すグラフである。グラフの縦軸及び横軸は、図4Aのグラフの縦軸及び横軸と同じである。時系列画素データD1で示される温度は、比較的急に変化し(変化の周期が比較的短く)、低周波成分データD2で示される温度は、比較的緩やかに変化している(変化の周期が比較的長い)。高周波成分データD3は、時系列画素データD1とほぼ重なって見える。
第3の所定数のフレームは、例えば、3フレームである。内訳は、ターゲットとなるフレーム、この直前の1フレーム、この直後の1フレームである。第3の所定数は、時系列画素データから第3の周波数成分データを抽出できる数であればよく、3に限定されず、3より多くてもよい。
図1A、図2及び図5を参照して、画像処理部9は、時系列画素データD1とこの時系列画素データD1から抽出された低周波成分データD2との差分を算出して得られるデータを、差分データD4とし、M個の時系列画素データD1のそれぞれに対応するM個の差分データD4を算出する(ステップS4)。
画像処理部9は、時系列画素データD1とこの時系列画素データD1から抽出された高周波成分データD3との差分を算出して得られるデータを、差分データD5とし、M個の時系列画素データD1のそれぞれに対応するM個の差分データD5を算出する(ステップS5)。
図7Aは、差分データD4を示すグラフであり、図7Bは、差分データD5を示すグラフである。これらのグラフの縦軸及び横軸は、図4Aのグラフの縦軸及び横軸と同じである。差分データD4は、図6に示す時系列画素データD1と低周波成分データD2との差分を算出して得られたデータである。図4Aに示す地点SP1でガスの噴出を開始する前において(90番目くらいまでのフレーム)、差分データD4で示される微小な振幅の繰り返しは、主に、二次元イメージセンサー6のセンサーノイズを示している。地点SP1でガスの噴出を開始した後において(90番目以降のフレーム)、差分データD4の振幅及び波形のばらつきが大きくなっている。
差分データD5は、図6に示す時系列画素データD1と高周波成分データD3との差分を算出して得られたデータである。
差分データD4は、漏れたガスによる温度変化を示す周波数成分データ及び高周波成分データD3(高周波ノイズを示すデータ)を含む。差分データD5は、漏れたガスによる温度変化を示す周波数成分データを含まず、高周波成分データD3を含む。
差分データD4は、漏れたガスによる温度変化を示す周波数成分データを含むので、地点SP1でガスの噴出を開始した後において(90番目以降のフレーム)、差分データD4の振幅及び波形のばらつきが大きくなっている。これに対して、差分データD5は、漏れたガスによる温度変化を示す周波数成分データを含まないので、そのようなことはない。差分データD5は、微小な振幅を繰り返している。これが高周波ノイズである。
差分データD4と差分データD5とは、相関しているが、完全に相関していない。すなわち、あるフレームにおいて、差分データD4の値がプラス、差分データD5の値がマイナスとなり、又は、その逆となる場合がある。このため、差分データD4と差分データD5との差分を算出しても、高周波成分データD3を除去できない。高周波成分データD3を除去するには、差分データD4及び差分データD5を引き算できる絶対値のような値に変換する必要がある。
そこで、画像処理部9は、差分データD4に対して、K個のフレームより少ない第2の所定数のフレームを単位とする移動標準偏差を算出して得られるデータを、標準偏差データD6とし、M個の時系列画素データD1のそれぞれに対応するM個の標準偏差データD6を算出する(ステップS6)。なお、移動標準偏差の替わりに、移動分散を算出してもよい。
また、画像処理部9は、差分データD5に対して、K個のフレームより少ない第4の所定数(例えば、21)のフレームを単位とする移動標準偏差を算出して得られるデータを、標準偏差データD7とし、M個の時系列画素データD1のそれぞれに対応するM個の標準偏差データD7を算出する(ステップS7)。移動標準偏差の替わりに、移動分散を用いてもよい。
図8は、標準偏差データD6及び標準偏差データD7を示すグラフである。グラフの横軸は、図4Aのグラフの横軸と同じである。グラフの縦軸は、標準偏差を示している。標準偏差データD6は、図7Aに示す差分データD4の移動標準偏差を示すデータである。標準偏差データD7は、図7Bに示す差分データD5の移動標準偏差を示すデータである。移動標準偏差の算出に用いるフレーム数は、標準偏差データD6及び標準偏差データD7のいずれの場合も、21であるが、統計的に意義がある標準偏差が求められる数であればよく、21に限定されない。
標準偏差データD6及び標準偏差データD7は、標準偏差なので、マイナスの値を含まない。このため、標準偏差データD6及び標準偏差データD7は、差分データD4及差分データD5を引き算できるように変換したデータと見なすことができる。
画像処理部9は、同じ時系列画素データD1から得られた標準偏差データD6と標準偏差データD7との差分を算出して得られるデータを、差分データD8とし、M個の時系列画素データD1のそれぞれに対応するM個の差分データD8を算出する(ステップS8)。
図9は、差分データD8を示すグラフである。グラフの横軸は、図4Aのグラフの横軸と同じである。グラフの縦軸は、標準偏差の差分である。差分データD8は、図8に示す標準偏差データD6と標準偏差データD7との差分を示すデータである。差分データD8は、低周波成分データD2及び高周波成分データD3を除く処理がされたデータである。
画像処理部9は、監視画像を生成する(ステップS9)。すなわち、画像処理部9は、ステップS8で得られたM個の差分データD8で構成される動画を生成する。この動画を構成する各フレームが監視画像である。監視画像は、標準偏差の差分を可視化した画像である。画像処理部9は、ステップS9で得られた動画を表示制御部10に出力する。表示制御部10は、この動画をディスプレイ11に表示させる。この動画に含まれる監視画像として、例えば、図10に示す画像I12及び図11に示す画像I15がある。
図10は、時刻T1のフレームを基にして生成された、画像I10、画像I11及び画像I12を示す画像図である。画像I10は、図5のステップS6で得られたM個の標準偏差データD6で示される動画において、時刻T1のフレームの画像である。画像I11は、図5のステップS7で得られたM個の標準偏差データD7で示される動画において、時刻T1のフレームの画像である。画像I10と画像I11との差分が、画像I12(監視画像)となる。
図11は、時刻T2のフレームを基にして生成された、画像I13、画像I14及び画像I15を示す画像図である。画像I13は、ステップS6で得られたM個の標準偏差データD6で示される動画において、時刻T2のフレームの画像である。画像I14は、ステップS7で得られたM個の標準偏差データD7で示される動画において、時刻T2のフレームの画像である。画像I13と画像I14との差分が、画像I15(監視画像)となる。図10及び図11に示す画像I10〜画像I15のいずれも、いずれも標準偏差を5000倍にした画像である。
図10に示す画像I12は、図4Aに示す地点SP1からガスが噴出される前に撮影された画像なので、画像I12には、地点SP1からガスが出ている様子が現れていない。これに対して、図11に示す画像I15は、地点SP1からガスが噴出されている時刻で撮影された画像なので、画像I15には、地点SP1からガスが出ている様子が現れている。
以上説明したように、実施形態によれば、画像処理部9(図1A)が、赤外画像の動画データMDに含まれる低周波成分データD2を除く処理をして、動画データを生成し、表示制御部10が、この動画データで示される動画(監視画像の動画)をディスプレイ11に表示させる。従って、実施形態によれば、ガス漏れと背景の温度変化とが並行して発生し、背景の温度変化が、漏れたガスによる温度変化よりも大きい場合でも、ガスが漏れている様子を監視画像の動画で表示できる。
センサーノイズは、温度が高くになるに従って小さくなるので、温度に応じて異なる。二次元イメージセンサー6(図1A)において、画素が感知している温度に応じたノイズが、各画素で発生する。すなわち、全ての画素のノイズが同じではない。実施形態によれば、動画から高周波ノイズを除くことができるので、僅かなガス漏れでもディスプレイ11に表示させることができる。
実施形態は、図12に示すステップS100〜ステップS103を実行することにより、ガス候補が、同じ位置から常に出ているガスであるのか、又は、流れているガス状の物質であるのかを識別することができる。図12は、これらを識別するために、実施形態で実行される画像処理を説明するフローチャートである。同じ位置からガスが常に出ている事象と、ガス状の物質が流れている事象とを比較しながら、この画像処理について説明する。
図13Aは、ガス状の物質が流れている事象に関する赤外画像Im0−1を示す画像図である。ガス状の物質は雲であり、背景は空である。図13Aでは、赤外画像Im0−1の全体でなく、赤外画像Im0−1のうち、雲及びこの周辺を含む四角形の部分だけが示されている。雲の温度と背景の温度との差は僅かなので、雲の像がかすかに示されている。図13Bは、同じ位置からガスが常に出ている事象に関する赤外画像Im0−2を示す画像図である。図13Bでは、赤外画像Im0−2の全体でなく、赤外画像Im0−2のうち、塔の像101を含む四角形の部分だけが示されている。この部分に、同じ位置から常に出ているガスが出現している。ガスの温度と背景の温度との差は、僅かなので、ガスの像がかすかに示されている。
図1Aに示す第1処理部91は、同じ位置から常に出ているガスの像(図13B)を含む複数の赤外画像Im0(フレーム)で構成される動画データMDを用いて、監視画像の動画を生成する(図12のステップS100)。詳しく説明すると、第1処理部91は、この動画データMDに対して、図5に示すステップS1〜ステップS9の処理をする。これにより、動画を構成する各フレームは、赤外画像Im0から監視画像となり、監視画像の動画が生成される。監視画像は、例えば、図10に示す画像I12、図11に示す画像I15である。ガス候補が出現していれば、ガス候補が出現している領域を示すガス候補領域が、監視画像に含まれる。同じ位置から常に出ているガスの像が、ガス候補領域になることもあるし、流れているガス状の物質の像が、ガス候補領域になることもある。画像I15は、ガス噴出の開始から2秒後の画像である。画像I15の中央付近に位置する白領域がガス候補領域である。ここでは、ガス候補領域は、同じ位置から常に出ているガスの像である。
図14は、同じ位置から常に出ているガスの像(図13B)を含む赤外画像Im0(フレーム)で構成される動画データMDを用いて生成された監視画像の動画を構成するフレーム群を示す画像図である。このフレーム群は、5秒間の動画に相当する。フレームレートは、30fpsであるので、クレーム群を構成するフレームの数は、150である。
各フレーム(監視画像)が、第1画像Im1となる。図14では、第1画像Im1の全体でなく、第1画像Im1のうち、図13Bに示す赤外画像Im0−2に対応する部分が示されている。5秒間の動画において、第1画像Im1−1が、1番目のフレームであり、第1画像Im1−2が、2番目のフレームであり、第1画像Im1−3が、3番目のフレームであり、第1画像Im1−4が、k番目のフレームであり(3<k<150)、第1画像Im1−5が、150番目のフレーム(最後のフレーム)である。第1画像Im1において、ガス候補領域は、白、グレーで示される。
第1処理部91は、同様にして、流れているガス状の物質の像(図13A)を含む複数の赤外画像Im0(フレーム)で構成される動画データMDを用いて、監視画像の動画を生成する。この動画を構成するフレーム群を示す画像については、図示が省略されている。
実施形態では、図5に示すステップS1〜ステップS9の処理でガス候補領域を得ているが、赤外画像に対して画像処理をしてガス候補領域を得る公知の技術(例えば、特許文献1に開示された画像処理)を用いても良い。
以上説明したように、第1処理部91は、時系列に撮像された複数の赤外画像Im0のそれぞれに対して、ガス候補領域を抽出する処理をすることにより、複数の第1画像Im1を生成する。
次に、第1出現領域の抽出について説明する(図12のステップS101)。第1出現領域とは、第1所定期間の少なくとも一部でガス候補領域が出現していたことを示す領域である。第1所定期間として、5秒間を例にして説明するが、これに限定されない。図1Aに示す第2処理部92は、第1処理部91が生成した複数の第1画像Im1のうち、第1所定期間に対応する2以上の第1画像Im1(ここでは、150個のフレーム)を基にして、第1出現領域を含む第2画像Im2を生成する。
図15Aは、ガス状の物質が流れている事象に関する第2画像Im2−1を示す画像図である。図15Aでは、第2画像Im2−1の全体でなく、第2画像Im2−1のうち、図13Aに示す赤外画像Im0−1に対応する部分が示されている。第2画像Im2−1の生成に用いられた2以上の第1画像Im1は、図示が省略されているが、流れているガス状の物質の像(図13A)を含む赤外画像Im0の動画データMDを用いて生成された2以上の第1画像Im1である。図15Aに含まれる白領域、グレー領域が、第1出現領域103−1である。
図15Bは、同じ位置からガスが常に出ている事象に関する第2画像Im2−2を示す画像図である。図15Bでは、第2画像Im2−2の全体でなく、第2画像Im2−2のうち、図13Bに示す赤外画像Im0−2に対応する部分が示されている。第2画像Im2−2の生成に用いられた2以上の第1画像Im1は、図14に示す5秒間に対応する第1画像Im1である。これらは、同じ位置から常に出ているガスの像(図13B)を含む赤外画像Im0の動画データMDを用いて生成された2以上の第1画像Im1である。図15Bに含まれる白領域、グレー領域が、第1出現領域103−2である。
第2画像Im2の生成の仕方(すなわち、第1出現領域103の抽出の仕方)の一例を説明する。第2処理部92は、2以上の第1画像ImI(例えば、図14に示す5秒間に対応する第1画像Im1)において、同じ順番に位置する画素の中から、画素が示す値(ここでは、標準偏差の差分)の最大値を決定する。第2処理部92は、この最大値を、第2画像Im2の上記順番に位置する画素の値とする。具体的に説明すると、第2処理部92は、2以上の第1画像Im1において、1番目の画素が示す値の最大値を決定し、この値を、第2画像Im2の1番目の画素の値とする。第2処理部92は、2以上の第1画像Im1において、2番目の画素が示す値の最大値を決定し、この値を、第2画像Im2の2番目の画素の値とする。第2処理部92は、3番目以降の画素についても同様の処理をする。
このようにして、第2画像Im2を構成する画素の値が定められると、第1出現領域103が抽出され、第1出現領域103が第2画像Im2に含まれる。
第2処理部92は、複数の第1所定期間(5秒間)のそれぞれについて、ガス状の物質が流れている事象に関する第2画像Im2を生成し、複数の第1所定期間(5秒間)のそれぞれについて、同じ位置からガスが常に出ている事象に関する第2画像Im2を生成する。ここでは、3つの第1所定期間を例にして説明する。
第2処理部92は、図15Aに示す第2画像Im2−1の生成に用いられた2以上の第1画像Im1によって構成される5秒間の動画よりも、前の5秒間の動画を構成する2以上の第1画像Im1を基にして、第2画像Im2を生成し、後の5秒間の動画を構成する2以上の第1画像Im1を基にして、第2画像Im2を生成する。これらの5秒間が3つの第1所定期間である。図16Aは、これら3つの第2画像Im2−3,Im2−1,Im2−4、及び、これらを基にして生成される第3画像Im3−1を示す画像図である。図16Aでは、第2画像Im2−3,Im2−1,Im2−4及び第3画像1m3−1の全体でなく、これらの画像のうち、図13Aに示す赤外画像Im0−1に対応する部分が示されている。第2画像Im2−3は、第1出現領域103−3を含み、第2画像Im2−1は、第1出現領域103−1を含み、第2画像Im2−4は、第1出現領域103−4を含む。第1出現領域103は、白、グレーで示される。
第2処理部92は、図15Bに示す第2画像Im2−2の生成に用いられた2以上の第1画像Im1によって構成される5秒間の動画よりも、前の5秒間の動画を構成する2以上の第1画像Im1を基にして、第2画像Im2を生成し、後の5秒間の動画を構成する2以上の第1画像Im1を用いて、第2画像Im2を生成する。図16Bは、これら3つの第2画像Im2−5,Im2−2,Im2−6、及び、これらを基にして生成される第3画像Im3−2を示す画像図である。図16Bでは、第2画像Im2−5,Im2−2,Im2−6及び第3画像Im3−2の全体でなく、これらの画像のうち、図13Bに示す赤外画像Im0−2に対応する部分が示されている。第2画像Im2−5は、第1出現領域103−5を含み、第2画像Im2−2は、第1出現領域103−2を含み、第2画像Im2−6は、第1出現領域103−6を含む。第1出現領域103は、白、グレーで示される。
図16A及び図16Bに示す例において、3つの第1所定期間が連続していてもよいし、連続していなくてもよい。いずれの場合も、第1出現領域103が第2画像Im2に含まれていればよい。図16Aを用いて、連続している例を説明する。第2処理部92は、15秒間の動画のうち、1〜5秒の動画を構成する2以上の第1画像Im1を用いて第2画像Im2−3を生成し、6〜10秒の動画を構成する2以上の第1画像Im1を用いて第2画像Im2−1を生成し、11〜15秒の動画を構成する2以上の第1画像Im1を用いて第2画像Im2−4を生成する。連続していない例を説明する。第2処理部92は、25秒間の動画のうち、1〜5秒の動画を構成する2以上の第1画像Im1を用いて第2画像Im2−3を生成し、11〜15秒の動画を構成する2以上の第1画像Im1を用いて第2画像Im2−1を生成し、21〜25秒の動画を構成する2以上の第1画像Im1を用いて第2画像Im2−4を生成する。
図16A及び図16Bに示す例では、3つの第1所定期間の長さが、同じであるが、これに限定されず、第1出現領域103が第2画像Im2に含まれていればよい。図16Aを用いて説明する。第2画像Im2−1の生成に用いられた2以上の第1画像Im1に対応する第1所定期間(例えば、10秒)が、第2画像Im2−3の生成に用いられた2以上の第1画像Im1に対応する第1所定期間(例えば、5秒)、及び、第2画像Im2−4の生成に用いられた2以上の第1画像Im1に対応する第1所定期間(例えば、5秒)より長くする。
次に、第2出現領域の抽出について説明する(図12のステップS102)。第2出現領域とは、第2所定期間の少なくとも一部でガス候補領域が出現していたことを示す領域である。第2所定期間として、15秒を例にして説明するが、これに限定されない。図1Aに示す第3処理部93は、3つの第2画像Im2を基にして、第2出現領域105を含む第3画像Im3を生成する。これは、後の説明から分かるように、第3処理部93が、複数の第1画像Im1のうち、第1所定期間と異なる第2所定期間(15秒間)に対応する2以上の第1画像Im1を基にして、第2出現領域105を含む第3画像Im3を生成することである。
図16Aを参照して、図1Aに示す第3処理部93は、第2画像Im2−3,Im2−1,Im2−4を用いて、第2出現領域105−1を抽出する処理をすることにより、第2出現領域105−1を含む第3画像Im3−1を生成する。図16Aに含まれる白領域、グレー領域が、第2出現領域105−1である。
図16Bを参照して、図1Aに示す第3処理部93は、第2画像Im2−5,Im2−2,Im2−6を用いて、第2出現領域105−2を抽出する処理をすることにより、第2出現領域105−2を含む第3画像Im3−2を生成する。図16Bに含まれる白領域、グレー領域が、第2出現領域105−2である。
第3画像Im3の生成の仕方(すなわち、第2出現領域105の抽出の仕方)の一例を説明する。第3処理部93は、3つの第2画像Im2において、同じ順番に位置する画素の中から、画素が示す値の最大値を決定する。第3処理部93は、この最大値を、第3画像Im3の上記順番に位置する画素の値とする。図16Aを用いて具体的に説明すると、第3処理部93は、第2画像Im2−3,Im2−1,Im2−4において、1番目の画素が示す値の最大値を決定し、この値を、第3画像Im3−1の1番目の画素の値とする。第3処理部93は、第2画像Im2−3,Im2−1,Im2−4において、2番目の画素が示す値の最大値を決定し、この値を、第3画像Im3−1の2番目の画素の値とする。第3処理部93は、3番目以降の画素についても同様の処理をする。
このようにして生成された第3画像Im3は、第2所定期間(15秒)に対応する2以上の第1画像Im1を基にして、第2出現領域105を含む第3画像Im3を生成する処理と同じ結果となる(同じ第2出現領域105が抽出される)。図16Aを用いて説明する。第2処理部92は、第1所定期間(前の5秒間)に対応する2以上の第1画像Im1において、同じ順番に位置する画素が示す値の最大値を、第2画像Im2−3のその順番に位置する画素の値として設定して第2画像Im2−3を生成し、第1所定期間(5秒間)に対応する2以上の第1画像Im1において、同じ順番に位置する画素が示す値の最大値を、第2画像Im2−1のその順番に位置する画素の値として設定して第2画像Im2−1を生成し、第1所定期間(後の5秒間)に対応する2以上の第1画像Im1において、同じ順番に位置する画素が示す値の最大値を、第2画像Im2−4のその順番に位置する画素の値として設定して第2画像Im2−4を生成する。第3処理部93は、第2画像Im2−3,Im2−1,Im2−4を用いて、上述した仕方で第3画像Im3−1を生成する。以上説明した処理は、第2所定期間(15秒間)に対応する2以上の第1画像Im1において、同じ順番に位置する画素が示す値の最大値を、第3画像Im3−1のその順番に位置する画素の値にしている処理と同じことである。
次に、同じ位置からガスが常に出ている事象、ガス状の物質が流れている事象のいずれに該当するかの識別について説明する(図12のステップS103)。図17Aは、図16Aに示す第2画像Im2−1と、これを2値化した第2画像Im2−1aと、図16Aに示す第3画像Im3−1と、これを2値化した第3画像Im3−1aと、を示す画像図である。図17Aでは、こられの画像の全体でなく、これらの画像のうち、図13Aに示す赤外画像Im0−1に対応する部分が示されている。
図1Aに示す設定部94は、第2画像Im2−1において、所定のしきい値Th1を超えている画素を、第1出現領域103−1を構成する画素として設定し、第2画像Im2−1を2値化した第2画像Im2−1aを生成する。設定部94は、第2画像Im2−1aにおいて、例えば、モルフォロジーなどの既知の手法を用いて第1出現領域103−1を取り出し(抽出し)、第1出現領域103−1に外接する矩形を設定する。これにより、第2画像Im2−1aの第1出現領域103−1に、外接矩形R1が設定される。外接矩形R1の位置が、第1出現領域103−1の位置とされる。設定部94は、外接矩形R1の外側に、外接矩形R1と接する周辺領域107−1を設定する。
設定部94は、第3画像Im3−1において、所定のしきい値Th2を超えている画素を、第2出現領域105−1を構成する画素として設定し、第3画像Im3−1を2値化した第3画像Im3−1aを生成する。設定部94は、第3画像Im3−1aにおいて、第2画像Im2−1aに設定された周辺領域107−1の位置に相当する位置に、周辺領域107−1を設定する。このように、設定部94は、第3画像Im3−1aにおいて、第2画像1m2−1aの第1出現領域103−1の位置に相当する位置の周辺に周辺領域107−1を設定する。第2画像Im2−1aに設定された周辺領域107−1と第3画像Im3−1aに設定された周辺領域107−1とは、座標位置、形状及び面積が同じである。
図17Bは、図16Bに示す第2画像Im2−2と、これを2値化した第2画像Im2−2aと、図16Bに示す第3画像Im3−2と、これを2値化した第3画像Im3−2aと、を示す画像図である。図17Bでは、こられの画像の全体でなく、これらの画像のうち、図13Bに示す赤外画像Im0−2に対応する部分が示されている。
設定部94は、第2画像Im2−2において、上記しきい値Th1を超えている画素を、第1出現領域103−2を構成する画素として設定し、第2画像Im2−2を2値化した第2画像Im2−2aを生成する。設定部94は、第2画像Im2−2aにおいて、例えば、モルフォロジーなどの既知の手法を用いてガスの第1出現領域103−2を取り出し(抽出し)、第1出現領域103−2に外接する矩形を設定する。これにより、第2画像Im2−2aの第1出現領域103−2に、外接矩形R2が設定される。外接矩形R2の位置が、第1出現領域103−2の位置とされる。設定部94は、外接矩形R2の外側に、外接矩形R2と接する周辺領域107−2を設定する。
設定部94は、第3画像Im3−2において、上記しきい値Th2を超えている画素を、第2出現領域105−2を構成する画素として設定し、第3画像Im3−2を2値化した第3画像Im3−2aを生成する。設定部94は、第3画像Im3−2aにおいて、第2画像Im2−2aに設定された周辺領域107−2の位置に相当する位置に、周辺領域107−2を設定する。このように、設定部94は、第3画像Im3−2aにおいて、第2画像1m2−2aの第1出現領域103−2の位置に相当する位置の周辺に周辺領域107−2を設定する。第2画像Im2−2aに設定された周辺領域107−2と第3画像Im3−2aに設定された周辺領域107−2とは、座標位置、形状及び面積が同じである。
第3画像Im3−1aに設定された周辺領域107−1(図17A)を参照して、周辺領域107について説明する。周辺領域107は、第3画像Im3の縦方向に延びる矩形領域と横方向に延びる矩形領域とを備える。縦方向に延びる矩形領域の幅W1と、横方向に延びる矩形領域の幅W2とは、同じでもよいし、第3画像Im3の横縦比に応じて変えてもよい。後者は、第3画像Im3の横縦比が、例えば、4:3の場合、W1:W2を4:3にする。
幅W1,W2は、任意であるが、ある程度の大きさを有することが好ましい。例えば、外接矩形R1の縦横それぞれの、3割のサイズとして設定する(幅W1は、外接矩形R1の横方向のサイズの3割であり、幅W2は、外接矩形R1の縦方向のサイズの3割である)。実施形態は、同じ位置からガスが常に出ている事象の場合、周辺領域107が第2出現領域105で覆われないことを前提にして(図17B)、同じ位置からガスが常に出ている事象とガス状の物質が流れている事象とを識別している。同じ位置からガスが常に出ている事象でも、ガスがゆらぐことにより、第2出現領域105が周辺領域107に僅かにはみ出すことがある。幅W1,W2が小さすぎると、第2出現領域105が周辺領域107に僅かにはみ出でても、周辺領域107が第2出現領域105で覆われる可能性がある。これを防止するためには、幅W1,W2が、ある程度の大きさを有する必要がある。
図17Aを参照して、識別部95(図1A)は、第2画像Im2−1aの第1出現領域103−1の画素数N1(白画素数)と、第3画像Im3−1aに設定された周辺領域107−1と第2出現領域105−1との重複領域の画素数N2(白画素数)と、において、画素数N2の割合が、所定の第1しきい値(例えば、100%)を超えているとき、ガス状の物質が流れている事象と判定し、第1しきい値以下のとき、同じ位置からガスが常に出ている事象と判定する。ここでは、識別部95は、ガス状の物質が流れている事象と判定する。画素数は、面積と言い換えることができる。以下の画素数も同じである。
図17Bを参照して、識別部95は、第2画像Im2−2aの第1出現領域103−2の画素数N3(白画素数)と、第3画像Im3−2aに設定された周辺領域107−2と第2出現領域105−2との重複領域の画素数N4(白画素数)と、において、画素数N4の割合が、上記第1しきい値(100%)を超えているとき、ガス状の物質が流れている事象と判定し、第1しきい値以下のとき、同じ位置からガスが常に出ている事象と判定する。ここでは、識別部95は、同じ位置からガスが常に出ている事象と判定する。
なお、識別部95は、第3画像Im3に設定された周辺領域107の画素数と、第3画像Im3に設定された周辺領域107と第2出現領域105との重複領域の画素数(白画素数)と、を基にして、上記判定をしてもよい。詳しく説明すると、図17Aを参照して、識別部95は、第3画像Im3−1aに設定された周辺領域107−1の画素数N5と、第3画像Im3−1aに設定された周辺領域107−1と第2出現領域105−1との重複領域の画素数N2(白画素数)と、において、画素数N2の割合が、所定の第2しきい値を超えているとき、ガス状の物質が流れている事象と判定し、第2しきい値以下のとき、同じ位置からガスが常に出ている事象と判定する。図17Bを参照して、識別部95は、第3画像Im3−2aに設定された周辺領域107−2の画素数N6と、第3画像Im3−2aに設定された周辺領域107−2と第2出現領域105−2との重複領域の画素数N4(白画素数)と、において、画素数N4の割合が、第2しきい値を超えているとき、ガス状の物質が流れている事象と判定し、第2しきい値以下のとき、同じ位置からガスが常に出ている事象と判定する。
また、識別部95は、第2出現領域105の画素数(白画素数)と、第3画像Im3に設定された周辺領域107と第2出現領域105との重複領域の画素数(白画素数)と、を基にして、上記判定をしてもよい。詳しく説明すると、図17Aを参照して、識別部95は、第2出現領域105−1の画素数N7(白画素数)と、第3画像Im3−1aに設定された周辺領域107−1と第2出現領域105−1との重複領域の画素数N2(白画素数)と、において、画素数N2の割合が、所定の第3しきい値を超えているとき、ガス状の物質が流れている事象と判定し、第3しきい値以下のとき、同じ位置からガスが常に出ている事象と判定する。図17Bを参照して、識別部95は、第2出現領域105−2の画素数N8(白画素数)と、第3画像Im3−2aに設定された周辺領域107−2と第2出現領域105−2との重複領域の画素数N4(白画素数)と、において、画素数N4の割合が、第3しきい値を超えているとき、ガス状の物質が流れている事象と判定し、第3しきい値以下のとき、同じ位置からガスが常に出ている事象と判定する。
識別部95は、同じ位置からガスが常に出ている事象、ガス状の物質が流れている事象のいずれに該当するかの識別に、2値化画像を用いたが、グレースケールの画像を用いてもよい。図17A及び図17Bを参照して、例えば、識別部95は、第3画像Im3−1に設定された周辺領域107−1(不図示)を構成する画素の輝度値の累積値と、第2画像Im2−1に設定された矩形領域R1(不図示)を構成する画素の輝度値の累積値とにおいて、前者の累積値の割合が所定の第4しきい値を超えているとき、ガス状の物質が流れている事象と判定し、第4しきい値以下のとき、同じ位置からガスが常に出ている事象と判定する。
実施形態の主な作用効果について説明する。ガス状の物質が流れている事象の場合、所定期間(所定期間とは、第1所定期間及び第2所定期間の総称である)の個々の時刻どうしを比較すると、ガス候補領域の位置が一致することはない。このため、出現領域(出現領域とは、第1出現領域103及び第2出現領域105の総称である)を、所定期間の全期間において、ガス候補領域が出現していた領域にしたとき、出現領域が抽出されないか、抽出されても、出現領域の面積が小さくなる。同じ位置からガスが常に出ている事象も同様である。なぜならば、ガスは、不規則にゆらぐので、所定期間の個々の時刻どうしを比較すると、ガス候補領域の位置が一致することはないからである(図14)。
そこで、出現領域は、所定期間の少なくとも一部でガス候補領域が出現していたことを示す領域にする。こうすることにより、ガス状の物質が流れている事象、同じ位置からガスが常に出ている事象のいずれも、出現領域の面積を常に比較的大きくすることができる(図16Aに示す第1出現領域103−3,103−1,103−4、第2出現領域105−1、図16Bに示す第1出現領域103−5,103−2,103−6、第2出現領域105−2)。
図17A及び図17Bを参照して、周辺領域107の位置は、第3画像Im3において、第2画像Im2の第1出現領域103の位置に相当する位置の周辺である。このため、周辺領域107を第2画像Im2に設定した場合、第2画像Im2の第1出現領域103の周辺に周辺領域107があるので、ガス状の物質が流れている事象、同じ位置からガスが常に出ている事象のいずれも、第2画像Im2の第1出現領域103が周辺領域107にはみ出すことはない。
ガス状の物質が流れている事象の場合、第3画像Im3の第2出現領域105は、第3画像Im3に設定された周辺領域107に大きくはみ出す可能性があるが、同じ位置からガスが常に出ている事象の場合、大きくはみ出すことはない。これについて詳しく説明する。図15A及び図15Bに示すように、第2画像Im2の第1出現領域103は、第1所定期間(5秒間)に対応する2以上(150個)の第1画像Im1を用いて抽出され、図16A及び図16Bに示すように、第3画像Im3の第2出現領域105は、3つの第2画像Im2を用いて抽出される(すなわち、第1所定期間と異なる第2所定期間(15秒間)に対応する2以上(450個)の第1画像Im2を用いて抽出される。ガス状の物質が流れている事象では、時間の経過に従って、ガス状の物質の位置が変わるので、図17Aに示すように、第2画像Im2の第1出現領域103と第3画像Im3の第2出現領域105とは、位置及び形状が大きく異なる(第2所定期間が第1所定期間より長い場合、第3画像Im3の第2出現領域105は、第2画像Im2の第1出現領域103より大きく広がる)。このため、第3画像Im3の第2出現領域105が周辺領域107に大きくはみ出す可能性がある(図17Aに示す第2出現領域105−1)。よって、周辺領域107と第3画像Im3の第2出現領域105とが重なる領域(重複領域)の面積が比較的大きくなる。
これに対して、同じ位置からガスが常に出ている事象の場合、時間の経過に従ってガスの出る位置が変わることはないので、第1所定期間と第2所定期間とが異なっていても、図17Bに示すように、第2画像Im2の第1出現領域103と第3画像Im3の第2出現領域105とは、位置及び形状が大きく異なることはない。このため、第3画像Im3の第2出現領域105が周辺領域107にはみ出さないか、はみ出したとしても大きくはみ出すことはない(図17Bに示す第2出現領域105−2)。よって、周辺領域107と第3画像Im3の第2出現領域105とが重なる領域(重複領域)が発生しないか、発生しても、その面積が比較的小さい。
以上より、第3画像Im3に設定された周辺領域107及び第3画像Im3の第2出現領域105に着目すれば、同じ位置からガスが常に出ている事象と、ガス状の物質が流れている事象と、を識別することができる。よって、実施形態によれば、ガスの検知精度を向上させることができる。
実施形態の変形例を説明する。設定部94(図1A)は、第3画像Im3において、第2画像Im2の第1出現領域103の位置に相当する位置の周辺に、中間領域109を介して周辺領域107を設定する。図18Aは、変形例に関する、図16Aに示す第2画像Im2−1と、これを2値化した第2画像Im2−1aと、図16Aに示す第3画像Im3−1と、これを2値化した第3画像Im3−1aと、を示す画像図である。図18Aでは、こられの画像の全体でなく、これらの画像のうち、図13Aに示す赤外画像Im0−1に対応する部分が示されている。図18Aが図17Aと相違する点は、中間領域109−1が設定されていることである。
図18Bは、変形例に関する、図16Bに示す第2画像Im2−2と、これを2値化した第2画像Im2−2aと、図16Bに示す第3画像Im3−2と、これを2値化した第3画像Im3−2aと、を示す画像図である。図18Bでは、こられの画像の全体でなく、これらの画像のうち、図13Bに示す赤外画像Im0−2に対応する部分が示されている。図18Bが図17Bと相違する点は、中間領域109−2が設定されていることである。
同じ位置からガスが常に出ている事象において、風向きや風速の変化でガスが少しゆらぐことがある。中間領域109がないと、第3画像Im3の第2出現領域105が、第3画像Im3に設定された周辺領域107にはみ出す。中間領域109があれば、第3画像Im3の第2出現領域105は、中間領域109にはみ出すが、周辺領域107に届かない。これに対して、ガス状の物質が流れている事象の場合、中間領域109があっても、第3画像Im3の第2出現領域105が、中間領域109を超えて、周辺領域107にはみ出す(図18Aに示す第2出現領域105−1)。流れていくガス状の物質の場合、ガス状の物質が存在する領域が移動していくため、中間領域109を超えて周辺領域107へ移動していくことになる。従って、変形例によれば、同じ位置からガスが常に出ている事象において、ガスが少しゆらぐことがあっても、同じ位置からガスが常に出ている事象と、ガス状の物質が流れている事象と、を識別することができる。
中間領域109は、周辺領域107の周辺に位置し、周辺領域107と同様に、第2画像Im2及び第3画像Im3の縦方向に延びる矩形領域と横方向に延びる矩形領域とを備える。中間領域109の幅は、第2出現領域105の抽出期間(例では、15秒間)での風向きや風速の変化によるゆらぎを想定し、例えば第1出現領域103を囲む外接矩形(外接矩形R1,R2)の縦横1割のサイズに設定する(外接矩形の横方向において、中間領域109の幅は、外接矩形の横方向のサイズの1割であり、外接矩形の縦方向において、中間領域109の幅は、外接矩形の縦方向のサイズの1割である)。
(実施形態の纏め)
実施形態の第1局面に係るガス検知用画像処理装置は、時系列に撮像された複数の赤外画像のそれぞれに対して、ガス候補領域を抽出する処理をすることにより、複数の第1画像を生成する第1処理部と、前記複数の第1画像のうち、第1所定期間に対応する2以上の前記第1画像を基にして、前記第1所定期間の少なくとも一部で前記ガス候補領域が出現していたことを示す第1出現領域を含む第2画像を生成する第2処理部と、前記複数の第1画像のうち、前記第1所定期間と異なる第2所定期間に対応する2以上の前記第1画像を基にして、前記第2所定期間の少なくとも一部で前記ガス候補領域が出現していたことを示す第2出現領域を含む第3画像を生成する第3処理部と、前記第3画像において、前記第2画像の前記第1出現領域の位置に相当する位置の周辺に周辺領域を設定する設定部と、を備える。
同じ位置から常に出ているガスは、検知対象のガスであり、流れているガス状の物質(例えば、雲、蒸気)は、検知対象外のガスである。
ガス状の物質が流れている事象の場合、所定期間(所定期間とは、第1所定期間及び第2所定期間の総称である)の個々の時刻どうしを比較すると、ガス候補領域の位置が一致することはない。このため、出現領域(出現領域とは、第1出現領域及び第2出現領域の総称である)を、所定期間の全期間において、ガス候補領域が出現していた領域にしたとき、出現領域が抽出されないか、抽出されても、出現領域の面積が小さくなる。同じ位置からガスが常に出ている事象も同様である。なぜならば、ガスは、不規則にゆらぐので、所定期間の個々の時刻どうしを比較すると、ガス候補領域の位置が一致することはないからである。
そこで、出現領域は、所定期間の少なくとも一部でガス候補領域が出現していたことを示す領域にする。こうすることにより、ガス状の物質が流れている事象、同じ位置からガスが常に出ている事象のいずれも、出現領域の面積を常に比較的大きくすることができる。
周辺領域の位置は、第3画像において、第2画像の第1出現領域の位置に相当する位置の周辺である。このため、周辺領域を第2画像に設定した場合、第2画像の第1出現領域の周辺に周辺領域があるので、ガス状の物質が流れている事象、同じ位置からガスが常に出ている事象のいずれも、第2画像の第1出現領域が周辺領域にはみ出すことはない。
ガス状の物質が流れている事象の場合、第3画像の第2出現領域は、第3画像に設定された周辺領域に大きくはみ出す可能性があるが、同じ位置からガスが常に出ている事象の場合、大きくはみ出すことはない。これについて詳しく説明する。第2画像の第1出現領域は、第1所定期間に対応する2以上の第1画像を用いて抽出され、第3画像の第2出現領域は、第1所定期間と異なる第2所定期間に対応する2以上の第1画像を用いて抽出される。ガス状の物質が流れている事象では、時間の経過に従って、ガス状の物質の位置が変わるので、第2画像の第1出現領域と第3画像の第2出現領域とは、位置及び形状が大きく異なる(第2所定期間が第1所定期間より長い場合、第3画像の第2出現領域は、第2画像の第1出現領域より大きく広がる)。このため、第3画像の第2出現領域が周辺領域に大きくはみ出す可能性がある。よって、周辺領域と第3画像の第2出現領域とが重なる領域の面積が比較的大きくなる。
これに対して、同じ位置からガスが常に出ている事象の場合、時間の経過に従ってガスの出る位置が変わることはないので、第1所定期間と第2所定期間とが異なっていても、第2画像の第1出現領域と第3画像の第2出現領域とは、位置及び形状が大きく異なることはない。このため、第3画像の第2出現領域が周辺領域にはみ出さないか、はみ出したとしても大きくはみ出すことはない。よって、周辺領域と第3画像の第2出現領域とが重なる領域が発生しないか、発生しても、その面積が比較的小さい。
以上より、第3画像に設定された周辺領域及び第3画像の第2出現領域に着目すれば、同じ位置からガスが常に出ている事象と、ガス状の物質が流れている事象と、を識別することができる。よって、実施形態の第1局面に係るガス検知用画像処理装置によれば、ガスの検知精度を向上させることができる。
なお、第2所定期間は、第1所定期間よりも長い期間として設定する。また、第2所定期間は、少なくとも第1所定期間の一部を含む。好ましくは、第2所定期間は、第1所定期間全てを含む。
上記識別を実行する識別部として、以下の(1)〜(3)がある。
(1)識別部は、第2画像の第1出現領域と、第3画像に設定された周辺領域と第3画像の第2出現領域とが重なる領域(以下、重複領域)と、を基にして、同じ位置からガスが常に出ている事象と、ガス状の物質が流れている事象と、を識別する。例えば、第2画像及び第3画像が2値化画像であれば、以下のように識別される。識別部は、第2画像の第1出現領域の面積と重複領域の面積とにおいて、重複領域の面積の割合が所定の第1しきい値を超えているとき、ガス状の物質が流れている事象と判定し、第1しきい値以下のとき、同じ位置からガスが常に出ている事象と判定する。
(2)識別部は、第3画像に設定された周辺領域と、第3画像に設定された周辺領域と第3画像の第2出現領域とが重なる領域(以下、重複領域)と、を基にして、同じ位置からガスが常に出ている事象と、ガス状の物質が流れている事象と、を識別する。例えば、第3画像が2値化画像であれば、以下のように識別される。識別部は、周辺領域の面積と重複領域の面積とにおいて、重複領域の面積の割合が所定の第2しきい値を超えているとき、ガス状の物質が流れている事象と判定し、第2しきい値以下のとき、同じ位置からガスが常に出ている事象と判定する。
(3)識別部は、第3画像の第2出現領域と、第3画像に設定された周辺領域と第3画像の第2出現領域とが重なる領域(以下、重複領域)と、を基にして、同じ位置からガスが常に出ている事象と、ガス状の物質が流れている事象と、を識別する。例えば、第3画像が2値化画像であれば、以下のように識別される。識別部は、第3画像の第2出現領域の面積と重複領域の面積とにおいて、重複領域の面積の割合が所定の第3しきい値を超えているとき、ガス状の物質が流れている事象と判定し、第3しきい値以下のとき、同じ位置からガスが常に出ている事象と判定する。
上記構成において、前記第3処理部は、前記第1所定期間より長い前記第2所定期間に対応する2以上の前記第1画像を基にして、前記第2出現領域を含む前記第3画像を生成する。
ガス状の物質が流れている事象の場合、時間の経過に従って、ガス状の物質の位置が変わる。このため、第2所定期間が第1所定期間より長いとき、第3画像の第2出現領域は、第2画像の第1出現領域より大きく広がる。よって、第3画像に設定された周辺領域と第3画像の第2出現領域とが重なる領域の面積が大きくなる。これに対して、同じ位置からガスが常に出ている事象の場合、時間の経過に従ってガスの出る位置が変わることはない。このため、第2所定期間が第1所定期間より長くても、第3画像の第2出現領域は、第2画像の第1出現領域より大きく広がることはない。よって、第3画像に設定された周辺領域と第3画像の第2出現領域とが重なる領域が発生しないか、発生しても、その面積は小さい。
以上より、第3画像に設定された周辺領域と第3画像の第2出現領域とが重なる領域に着目すれば、同じ位置からガスが常に出ている事象と、ガス状の物質が流れている事象と、を識別することができる。
上記構成において、前記設定部は、前記第3画像において、前記第2画像の前記第1出現領域の位置に相当する位置の周辺に、中間領域を介して前記周辺領域を設定する。
同じ位置からガスが常に出ている事象において、風向きや風速の変化でガスが少しゆらぐことがある。中間領域がないと、第3画像の第2出現領域が、第3画像に設定された周辺領域にはみ出す。中間領域があれば、第3画像の第2出現領域は、中間領域にはみ出すが、周辺領域に届かない。これに対して、ガス状の物質が流れている事象の場合、中間領域があっても、第3画像の第2出現領域が、中間領域を超えて、周辺領域にはみ出す。流れていくガス状の物質の場合、ガス状の物質が存在する領域が移動していくため、中間領域を超えて周辺領域へ移動していくことになる。従って、この構成によれば、同じ位置からガスが常に出ている事象において、ガスが少しゆらぐことがあっても、同じ位置からガスが常に出ている事象と、ガス状の物質が流れている事象と、を識別することができる。
実施形態の第2局面に係るガス検知用画像処理方法は、時系列に撮像された複数の赤外画像のそれぞれに対して、ガス候補領域を抽出する処理をすることにより、複数の第1画像を生成する第1処理ステップと、前記複数の第1画像のうち、第1所定期間に対応する2以上の前記第1画像を基にして、前記第1所定期間の少なくとも一部で前記ガス候補領域が出現していたことを示す第1出現領域を含む第2画像を生成する第2処理ステップと、前記複数の第1画像のうち、前記第1所定期間と異なる第2所定期間に対応する2以上の前記第1画像を基にして、前記第2所定期間の少なくとも一部で前記ガス候補領域が出現していたことを示す第2出現領域を含む第3画像を生成する第3処理ステップと、前記第3画像において、前記第2画像の前記第1出現領域の位置に相当する位置の周辺に周辺領域を設定する設定ステップと、を備える。
実施形態の第2局面に係るガス検知用画像処理方法は、実施形態の第1局面に係るガス検知用画像処理装置を方法の観点から規定しており、実施形態の第1局面に係るガス検知用画像処理装置と同様の作用効果を有する。
実施形態の第3局面に係るガス検知用画像処理プログラムは、時系列に撮像された複数の赤外画像のそれぞれに対して、ガス候補領域を抽出する処理をすることにより、複数の第1画像を生成する第1処理ステップと、前記複数の第1画像のうち、第1所定期間に対応する2以上の前記第1画像を基にして、前記第1所定期間の少なくとも一部で前記ガス候補領域が出現していたことを示す第1出現領域を含む第2画像を生成する第2処理ステップと、前記複数の第1画像のうち、前記第1所定期間と異なる第2所定期間に対応する2以上の前記第1画像を基にして、前記第2所定期間の少なくとも一部で前記ガス候補領域が出現していたことを示す第2出現領域を含む第3画像を生成する第3処理ステップと、前記第3画像において、前記第2画像の前記第1出現領域の位置に相当する位置の周辺に周辺領域を設定する設定ステップと、をコンピュータに実行させる。
実施形態の第3局面に係るガス検知用画像処理プログラムは、実施形態の第1局面に係るガス検知用画像処理装置をプログラムの観点から規定しており、実施形態の第1局面に係るガス検知用画像処理装置と同様の作用効果を有する。
本発明の実施形態が詳細に図示され、かつ、説明されたが、それは単なる図例及び実例であって限定ではない。本発明の範囲は、添付されたクレームの文言によって解釈されるべきである。
2017年5月2日に提出された日本国特許出願特願2017−091796は、その全体の開示が、その全体において参照によりここに組み込まれる。