JP6579291B2 - ガス検知用画像処理装置、ガス検知用画像処理方法、及び、ガス検知用画像処理プログラム - Google Patents

ガス検知用画像処理装置、ガス検知用画像処理方法、及び、ガス検知用画像処理プログラム Download PDF

Info

Publication number
JP6579291B2
JP6579291B2 JP2019513474A JP2019513474A JP6579291B2 JP 6579291 B2 JP6579291 B2 JP 6579291B2 JP 2019513474 A JP2019513474 A JP 2019513474A JP 2019513474 A JP2019513474 A JP 2019513474A JP 6579291 B2 JP6579291 B2 JP 6579291B2
Authority
JP
Japan
Prior art keywords
image
gas
region
appearance
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019513474A
Other languages
English (en)
Other versions
JPWO2018203480A1 (ja
Inventor
基広 浅野
基広 浅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Publication of JPWO2018203480A1 publication Critical patent/JPWO2018203480A1/ja
Application granted granted Critical
Publication of JP6579291B2 publication Critical patent/JP6579291B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M3/00Investigating fluid-tightness of structures
    • G01M3/38Investigating fluid-tightness of structures by using light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M3/00Investigating fluid-tightness of structures
    • G01M3/002Investigating fluid-tightness of structures by using thermal means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Examining Or Testing Airtightness (AREA)
  • Image Analysis (AREA)

Description

本発明は、赤外画像を利用してガスを検知する技術に関する。
ガス漏れが発生したとき、漏れたガスが漂っている領域では、わずかな温度変化が生じる。この原理を利用してガス検知する技術として、赤外画像を利用したガス検知が知られている。
赤外画像を利用したガス検知として、例えば、特許文献1は、検査対象領域を撮影する赤外線カメラと、赤外線カメラにより撮影された赤外画像を処理する画像処理部と、を有し、画像処理部は、時系列に並べられた複数の赤外画像からガス漏れによる動的なゆらぎを抽出するゆらぎ抽出部を有するガス漏れ検出装置を開示している。
本発明者は、赤外画像を用いるガス検知において、流れているガス状の物質(例えば、雲、蒸気)が、同じ位置から常に出ているガス(例えば、配管等のガス漏洩源から常に出ているガス)と誤検知されることを見出した。なお、同じ位置は、全く同じ位置でもよいし、ほぼ同じ位置でもよい。「ほぼ同じ位置」とは、以下の通りである。例えば、ある配管に発生した漏洩箇所(漏洩源)が、この漏洩源よりも手前にある別の配管等と重なって撮影されている場合、漏洩源から漏洩しているガスの全部が撮影されず、別の配管等と重なっていないガスの一部が撮像される。風等の影響でガスがゆらいだとき、画像上、ガスが同じ漏洩源(同じ位置)から出ているように見えないことがある。このような場合、ほぼ同じ位置からガスが出ていると言う。
特開2012−58093号公報
本発明は、ガスの検知精度を向上させることができるガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラムを提供することを目的とする。
上述した目的を実現するために、本発明の一側面を反映したガス検知用画像処理装置は、第1処理部と、第2処理部と、第3処理部と、設定部と、を備える。前記第1処理部は、時系列に撮像された複数の赤外画像のそれぞれに対して、ガス候補領域を抽出する処理をすることにより、複数の第1画像を生成する。前記第2処理部は、前記複数の第1画像のうち、第1所定期間に対応する2以上の前記第1画像を基にして、前記第1所定期間の少なくとも一部で前記ガス候補領域が出現していたことを示す第1出現領域を含む第2画像を生成する。前記第3処理部は、前記複数の第1画像のうち、前記第1所定期間と異なる第2所定期間に対応する2以上の前記第1画像を基にして、前記第2所定期間の少なくとも一部で前記ガス候補領域が出現していたことを示す第2出現領域を含む第3画像を生成する。前記設定部は、前記第3画像において、前記第2画像の前記第1出現領域の位置に相当する位置の周辺に周辺領域を設定する。
発明の1又は複数の実施形態により与えられる利点及び特徴は以下に与えられる詳細な説明及び添付図面から十分に理解される。これら詳細な説明及び添付図面は、例としてのみ与えられるものであり本発明の限定の定義として意図されるものではない。
実施形態に係るガス検知システムの構成を示すブロック図である。 図1Aに示すガス検知用画像処理装置のハードウェア構成を示すブロック図である。 時系列画素データD1を説明する説明図である。 ガス漏れと背景の温度変化とが並行して発生している状態で、屋外の試験場所を撮影した赤外画像を時系列で示す画像図である。 試験場所の地点SP1の温度変化を示すグラフである。 試験場所の地点SP2の温度変化を示すグラフである。 監視画像の生成処理を説明するフローチャートである。 地点SP1(図3)に対応する画素の時系列画素データD1、時系列画素データD1から抽出された低周波数成分データD2、時系列画素データD1から抽出された高周波数成分データD3を示すグラフである。 差分データD4を示すグラフである。 差分データD5を示すグラフである。 標準偏差データD6及び標準偏差データD7を示すグラフである。 差分データD8を示すグラフである。 時刻T1のフレームを基にして生成された、画像I10、画像I11及び画像I12を示す画像図である。 時刻T2のフレームを基にして生成された、画像I13、画像I14及び画像I15を示す画像図である。 ガス候補が、同じ位置から常に出ているガスであるのか、又は、流れているガス状の物質であるのかを識別するために、実施形態で実行される画像処理を説明するフローチャートである。 ガス状の物質が流れている事象に関する赤外画像を示す画像図である。 同じ位置からガスが常に出ている事象に関する赤外画像を示す画像図である。 同じ位置から常に出ているガスの像を含む赤外画像(フレーム)で構成される動画データを用いて生成された監視画像の動画を構成するフレーム群を示す画像図である。 ガス状の物質が流れている事象に関する第2画像を示す画像図である。 同じ位置からガスが常に出ている事象に関する第2画像を示す画像図である。 ガス状の物質が流れている事象に関する、3つの第2画像、及び、これらの第2画像を基にして生成される第3画像を示す画像図である。 同じ位置からガスが常に出ている事象に関する、3つの第2画像、及び、これらの第2画像を基にして生成される第3画像を示す画像図である。 図16Aに示す第2画像と、これを2値化した第2画像と、図16Aに示す第3画像と、これを2値化した第3画像と、を示す画像図である。 図16Bに示す第2画像と、これを2値化した第2画像と、図16Bに示す第3画像と、これを2値化した第3画像と、を示す画像図である。 変形例に関する、図16Aに示す第2画像と、これを2値化した第2画像と、図16Aに示す第3画像と、これを2値化した第3画像と、を示す画像図である。 変形例に関する、図16Bに示す第2画像と、これを2値化した第2画像と、図16Bに示す第3画像と、これを2値化した第3画像と、を示す画像図である。
以下、図面を参照して、本発明の1又は複数の実施形態が説明される。しかし、発明の範囲は、開示された実施形態に限定されない。
各図において、同一符号を付した構成は、同一の構成であることを示し、その構成について、既に説明している内容については、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し(例えば、第2画像Im2)、個別の構成を指す場合には添え字を付した参照符号で示す(例えば、第2画像Im2−1)。
図1Aは、実施形態に係るガス検知システム1の構成を示すブロック図である。ガス検知システム1は、赤外線カメラ2とガス検知用画像処理装置3とを備える。
赤外線カメラ2は、ガス漏れの監視対象(例えば、ガス輸送管どうしが接続されている箇所)を含む被写体について、赤外画像の動画を撮影し、動画を示す動画データMDを生成する。時系列に撮像された複数の赤外画像であればよく、動画に限定されない。赤外線カメラ2は、光学系4、フィルター5、二次元イメージセンサー6及び信号処理部7を備える。
光学系4は、被写体の赤外画像を二次元イメージセンサー6上で結像させる。フィルター5は、光学系4と二次元イメージセンサー6との間に配置され、光学系4を通過した光のうち、特定波長の赤外線のみを通過させる。赤外の波長帯のうち、フィルター5を通過させる波長帯は、検知するガスの種類に依存する。例えばメタンの場合、3.2〜3.4μmの波長帯を通過させるフィルター5が用いられる。二次元イメージセンサー6は、例えば、冷却型インジウムアンチモン(InSb)イメージセンサーであり、フィルター5を通過した赤外線を受光する。信号処理部7は、二次元イメージセンサー6から出力されたアナログ信号を、デジタル信号に変換し、公知の画像処理をする。このデジタル信号が、動画データMDとなる。
ガス検知用画像処理装置3は、パーソナルコンピュータ、スマートフォン、タブレット端末等であり、機能ブロックとして、画像データ入力部8、画像処理部9、表示制御部10、ディスプレイ11及び入力部12を備える。
画像データ入力部8は、赤外線カメラ2の通信部(不図示)と通信する通信インターフェイスである。画像データ入力部8には、赤外線カメラ2の通信部から送られてきた動画データMDが入力される。画像データ入力部8は、動画データMDを画像処理部9へ送る。
画像処理部9は、動画データMDに所定の処理をする。所定の処理とは、例えば、動画データMDから時系列画素データを生成する処理である。
時系列画素データを具体的に説明する。図2は、時系列画素データD1を説明する説明図である。動画データMDで示される動画は、フレームが時系列に複数並べられた構造を有する。複数のフレーム(複数の赤外画像)において、同じ位置にある画素の画素データを時系列に並べたデータを、時系列画素データD1とする。赤外画像の動画のフレーム数をKとする。一つのフレームがM個の画素、すなわち、1番目の画素、2番目の画素、・・・、M−1番目の画素、M番目の画素で構成されている。画素データ(画素値)を基にして、輝度、温度等の物理量が定められる。
複数(K個)のフレームの同じ位置にある画素とは、同じ順番の画素を意味する。例えば、1番目の画素で説明すると、1番目のフレームに含まれる1番目の画素の画素データ、2番目のフレームに含まれる1番目の画素の画素データ、・・・、K−1番目のフレームに含まれる1番目の画素の画素データ、K番目のフレームに含まれる1番目の画素の画素データを、時系列に並べたデータが、1番目の画素の時系列画素データD1となる。また、M番目の画素で説明すると、1番目のフレームに含まれるM番目の画素の画素データ、2番目のフレームに含まれるM番目の画素の画素データ、・・・、K−1番目のフレームに含まれるM番目の画素の画素データ、K番目のフレームに含まれるM番目の画素の画素データを、時系列に並べたデータが、M番目の画素の時系列画素データD1となる。時系列画素データD1の数は、一つのフレームを構成する画素の数と同じである。
図1Aを参照して、画像処理部9は、第1処理部91、第2処理部92、第3処理部93、設定部94、及び、識別部95を備える。これらについては、後で説明する。
表示制御部10は、動画データMDで示される動画、及び、画像処理部9で上記所定の処理がされた動画を、ディスプレイ11に表示させる。
入力部12は、ガス検知に関連する各種入力がされる。実施形態に係るガス検知用画像処理装置3は、表示制御部10、ディスプレイ11及び入力部12を備えるが、これらを備えないガス検知用画像処理装置3でもよい。
図1Bは、図1Aに示すガス検知用画像処理装置3のハードウェア構成を示すブロック図である。ガス検知用画像処理装置3は、CPU(Central Processing Unit)3a、RAM(Random Access Memory)3b、ROM(Read Only Memory)3c、HDD(Hard Disk Drive)3d、液晶ディスプレイ3e、通信インターフェイス3f、キーボード等3g、及び、これらを接続するバス3hを備える。液晶ディスプレイ3eは、ディスプレイ11を実現するハードウェアである。液晶ディスプレイ3eの替わりに、有機ELディスプレイ(Organic Light Emitting Diode display)、プラズマディスプレイ等でもよい。通信インターフェイス3fは、画像データ入力部8を実現するハードウェアである。キーボード等3gは、入力部12を実現するハードウェアである。キーボードの替わりに、タッチパネルでもよい。
HDD3dには、画像処理部9及び表示制御部10について、これらの機能ブロックをそれぞれ実現するためのプログラム、及び、各種データ(例えば、動画データMD)が格納されている。画像処理部9を実現するプログラムは、動画データMDを取得し、動画データMDに上記所定の処理をする処理プログラムである。表示制御部10を実現するプログラムは、例えば、動画データMDで示される動画をディスプレイ11に表示させたり、画像処理部9によって上記所定の処理がされた動画をディスプレイ11に表示させたりする表示制御プログラムである。これらのプログラムは、HDD3dに予め記憶されているが、これに限定されない。例えば、これらのプログラムを記録している記録媒体(例えば、磁気ディスク、光学ディスクのような外部記録媒体)が用意されており、この記録媒体に記憶されているプログラムがHDD3dに記憶されてもよい。また、これらのプログラムは、ガス検知用画像処理装置3とネットワーク接続されたサーバに格納されており、ネットワークを介して、これらのプログラムがHDD3dに送られ、HDD3dに記憶されてもよい。これらのプログラムは、HDD3dの替わりにROM3cに記憶してもよい。ガス検知用画像処理装置3は、HDD3dの替わりに、フラッシュメモリを備え、これらのプログラムはフラッシュメモリに記憶してもよい。
CPU3aは、ハードウェアプロセッサの一例であり、これらのプログラムを、HDD3dから読み出してRAM3bに展開させ、展開されたプログラムを実行することによって、画像処理部9及び表示制御部10が実現される。但し、画像処理部9の機能及び表示制御部10の機能について、各機能の一部又は全部は、CPU3aによる処理に替えて、又は、これと共に、DSP(Digital Signal Processor)による処理によって実現されてもよい。又、同様に、各機能の一部又は全部は、ソフトウェアによる処理に替えて、又は、これと共に、専用のハードウェア回路による処理によって実現されてもよい。
なお、画像処理部9は、図1Aに示す複数の要素によって構成される。従って、HDD3dには、これらの要素を実現するためのプログラムが格納されている。すなわち、HDD3dには、第1処理部91〜第3処理部93、設定部94、及び、識別部95のそれぞれを実現するためのプログラムが格納されている。これらのプログラムは、第1処理プログラム〜第3処理プログラム、設定プログラム、識別プログラムと表現される。
これらのプログラムは、要素の定義を用いて表現される。第1処理部91及び第1処理プログラムを例にして説明する。第1処理部91は、時系列に撮像された複数の赤外画像のそれぞれに対して、ガス候補領域を抽出する処理をすることにより、複数の赤外画像のそれぞれを基にした複数の第1画像を生成する。第1処理プログラムは、時系列に撮像された複数の赤外画像のそれぞれに対して、ガス候補領域を抽出する処理をすることにより、複数の赤外画像のそれぞれを基にした複数の第1画像を生成するプログラムである。
CPU3aによって実行されるこれらのプログラム(第1処理プログラム、第2処理プログラム等)のフローチャートが、後で説明する図12である。
本発明者は、赤外画像を利用したガス検知において、ガス漏れと背景の温度変化とが並行して発生し、背景の温度変化が、漏れたガスによる温度変化よりも大きい場合、背景の温度変化を考慮しなければ、ガスが漏れている様子を画像で表示できないことを見出した。これについて詳しく説明する。
図3は、ガス漏れと背景の温度変化とが並行して発生している状態で、屋外の試験場所を撮影した赤外画像を時系列で示す画像図である。これらは、赤外線カメラで動画を撮影して得られた赤外画像である。試験場所には、ガスを噴出させることができる地点SP1がある。地点SP1と比較するために、ガスが噴出しない地点SP2を示している。
画像I1は、太陽光が雲で遮られる直前の時刻T1に撮影された試験場所の赤外画像である。画像I2は、時刻T1から5秒後の時刻T2に撮影された試験場所の赤外画像である。時刻T2は、太陽光が雲で遮られているので、時刻T1と比べて背景の温度が下がっている。
画像I3は、時刻T1から10秒後の時刻T3に撮影された試験場所の赤外画像である。時刻T2から時刻T3まで、太陽光が雲で遮られた状態が継続されているので、時刻T3は、時刻T2と比べて背景の温度が下がっている。
画像I4は、時刻T1から15秒後の時刻T4に撮影された試験場所の赤外画像である。時刻T3から時刻T4まで、太陽光が雲で遮られた状態が継続されているので、時刻T4は、時刻T3と比べて背景の温度が下がっている。
時刻T1から時刻T4までの15秒間で、背景の温度が約4℃下がっている。このため、画像I4は、画像I1と比べて全体的に暗くなっており、背景の温度が低下していることが分かる。
時刻T1後かつ時刻T2前の時刻に、地点SP1において、ガスの噴出を開始させている。噴出されたガスによる温度変化は、わずかである(約0.5℃)。このため、時刻T2、時刻T3、時刻T4では、地点SP1でガスが噴出しているが、噴出されたガスによる温度変化よりも、背景の温度変化の方がはるかに大きいので、画像I2、画像I3、画像I4を見ても地点SP1からガスが出ている様子が分からない。
図4Aは、試験場所の地点SP1の温度変化を示すグラフであり、図4Bは、試験場所の地点SP2の温度変化を示すグラフである。これらのグラフの縦軸は、温度を示している。これらのグラフの横軸は、フレームの順番を示している。例えば、45とは、45番目のフレームを意味する。フレームレートは、30fpsである。よって、1番目のフレームから450番目のフレームまでの時間は、15秒となる。
地点SP1の温度変化を示すグラフと地点SP2の温度変化を示すグラフとは異なる。地点SP2ではガスが噴出していないので、地点SP2の温度変化は、背景の温度変化を示している。これに対して、地点SP1では、ガスが噴出しているので、地点SP1には、ガスが漂っている。このため、地点SP1の温度変化は、背景の温度変化と漏れたガスによる温度変化とを加算した温度変化を示している。
図4Aに示すグラフからは、地点SP1でガスが噴出していることが分かる(すなわち、地点SP1でガス漏れが発生していることが分かる)。しかし、上述したように、図3に示す画像I2、画像I3、画像I4からは、地点SP1でガスが噴出していることが分からない(すなわち、地点SP1でガス漏れが発生していることが分からない)。
このように、噴出されたガス(漏れたガス)による温度変化よりも、背景の温度変化の方がはるかに大きい場合、図3に示す画像I2、画像I3、画像I4を見ても地点SP1からガスが出ている様子が分からない。
この原因は、動画データMD(図1A)には、漏れたガスによる温度変化を示す周波数成分データに加えて、この周波数成分データよりも周波数が低く、背景温度の変化を示す低周波成分データD2が含まれるからである。低周波成分データD2で示される像(背景の明暗の変化)により、前記周波数成分データで示される像が見えなくなるのである。図4A及び図4Bを参照して、地点SP1の温度変化を示すグラフに含まれる細かい変化が、前記周波数成分データに対応する。地点SP2の温度変化を示すグラフが低周波成分データD2に対応する。
そこで、画像処理部9(図1A)は、画素の位置がそれぞれ異なる複数の時系列画素データD1(すなわち、動画データMDを構成する複数の時系列画素データD1)を、動画データMDから生成し、複数の時系列画素データD1のそれぞれに対して、低周波成分データD2を除く処理をする。画素の位置がそれぞれ異なる複数の時系列画素データとは、図2を参照して、1番目画素の時系列画素データD1、2番目画素の時系列画素データD1、・・・、M−1番目画素の時系列画素データD1、M番目画素の時系列画素データD1を意味する。
漏れたガスによる温度変化を示す周波数成分データの周波数よりも周波数が高く、高周波ノイズを示す周波数成分データを、高周波成分データD3とする。画像処理部9は、動画データMDを構成する複数の時系列画素データD1のそれぞれに対して、低周波成分データD2を除く処理に加えて、高周波成分データD3を除く処理をする。
このように、画像処理部9は、フレームの単位で低周波成分データD2及び高周波成分データD3を除く処理をするのではなく、時系列画素データD1の単位で低周波成分データD2及び高周波成分データD3を除く処理をする。
ガス検知用画像処理装置3は、赤外画像を利用して、監視画像を生成する。ガス漏れが発生している場合、監視画像には、ガス漏れによりガスが出現している領域を示す像が含まれる。ガス検知用画像処理装置3は、監視画像を基にしてガス漏れを検知する。監視画像の生成方法として、様々な方法があるが、ここでは、監視画像の生成方法の一例を説明する。監視画像は、監視対象及び背景の赤外画像を利用して生成される。図5は、監視画像の生成処理を説明するフローチャートである。
図1A、図2及び図5を参照して、画像処理部9は、動画データMDからM個の時系列画素データD1を生成する(ステップS1)。
画像処理部9は、時系列画素データD1に対して、K個のフレームより少ない第1の所定数のフレームを単位とする単純移動平均を算出することにより時系列画素データD1から抽出されたデータを、低周波成分データD2とし、M個の時系列画素データD1のそれぞれに対応するM個の低周波成分データD2を抽出する(ステップS2)。
第1の所定数のフレームは、例えば、21フレームである。内訳は、ターゲットとなるフレーム、これより前の連続する10フレーム、これより後の連続する10フレームである。第1の所定数は、時系列画素データD1から低周波成分データD2を抽出できる数であればよく、21に限らず、21より多くてもよいし、21より少なくてもよい。
画像処理部9は、時系列画素データD1に対して、第1の所定数(例えば、21)より少ない第3の所定数(例えば、3)のフレームを単位とする単純移動平均を算出することにより時系列画素データD1から抽出されたデータを、高周波成分データD3とし、M個の時系列画素データD1のそれぞれに対応するM個の高周波成分データD3を抽出する(ステップS3)。
図6は、地点SP1(図4A)に対応する画素の時系列画素データD1、時系列画素データD1から抽出された低周波成分データD2、時系列画素データD1から抽出された高周波成分データD3を示すグラフである。グラフの縦軸及び横軸は、図4Aのグラフの縦軸及び横軸と同じである。時系列画素データD1で示される温度は、比較的急に変化し(変化の周期が比較的短く)、低周波成分データD2で示される温度は、比較的緩やかに変化している(変化の周期が比較的長い)。高周波成分データD3は、時系列画素データD1とほぼ重なって見える。
第3の所定数のフレームは、例えば、3フレームである。内訳は、ターゲットとなるフレーム、この直前の1フレーム、この直後の1フレームである。第3の所定数は、時系列画素データから第3の周波数成分データを抽出できる数であればよく、3に限定されず、3より多くてもよい。
図1A、図2及び図5を参照して、画像処理部9は、時系列画素データD1とこの時系列画素データD1から抽出された低周波成分データD2との差分を算出して得られるデータを、差分データD4とし、M個の時系列画素データD1のそれぞれに対応するM個の差分データD4を算出する(ステップS4)。
画像処理部9は、時系列画素データD1とこの時系列画素データD1から抽出された高周波成分データD3との差分を算出して得られるデータを、差分データD5とし、M個の時系列画素データD1のそれぞれに対応するM個の差分データD5を算出する(ステップS5)。
図7Aは、差分データD4を示すグラフであり、図7Bは、差分データD5を示すグラフである。これらのグラフの縦軸及び横軸は、図4Aのグラフの縦軸及び横軸と同じである。差分データD4は、図6に示す時系列画素データD1と低周波成分データD2との差分を算出して得られたデータである。図4Aに示す地点SP1でガスの噴出を開始する前において(90番目くらいまでのフレーム)、差分データD4で示される微小な振幅の繰り返しは、主に、二次元イメージセンサー6のセンサーノイズを示している。地点SP1でガスの噴出を開始した後において(90番目以降のフレーム)、差分データD4の振幅及び波形のばらつきが大きくなっている。
差分データD5は、図6に示す時系列画素データD1と高周波成分データD3との差分を算出して得られたデータである。
差分データD4は、漏れたガスによる温度変化を示す周波数成分データ及び高周波成分データD3(高周波ノイズを示すデータ)を含む。差分データD5は、漏れたガスによる温度変化を示す周波数成分データを含まず、高周波成分データD3を含む。
差分データD4は、漏れたガスによる温度変化を示す周波数成分データを含むので、地点SP1でガスの噴出を開始した後において(90番目以降のフレーム)、差分データD4の振幅及び波形のばらつきが大きくなっている。これに対して、差分データD5は、漏れたガスによる温度変化を示す周波数成分データを含まないので、そのようなことはない。差分データD5は、微小な振幅を繰り返している。これが高周波ノイズである。
差分データD4と差分データD5とは、相関しているが、完全に相関していない。すなわち、あるフレームにおいて、差分データD4の値がプラス、差分データD5の値がマイナスとなり、又は、その逆となる場合がある。このため、差分データD4と差分データD5との差分を算出しても、高周波成分データD3を除去できない。高周波成分データD3を除去するには、差分データD4及び差分データD5を引き算できる絶対値のような値に変換する必要がある。
そこで、画像処理部9は、差分データD4に対して、K個のフレームより少ない第2の所定数のフレームを単位とする移動標準偏差を算出して得られるデータを、標準偏差データD6とし、M個の時系列画素データD1のそれぞれに対応するM個の標準偏差データD6を算出する(ステップS6)。なお、移動標準偏差の替わりに、移動分散を算出してもよい。
また、画像処理部9は、差分データD5に対して、K個のフレームより少ない第4の所定数(例えば、21)のフレームを単位とする移動標準偏差を算出して得られるデータを、標準偏差データD7とし、M個の時系列画素データD1のそれぞれに対応するM個の標準偏差データD7を算出する(ステップS7)。移動標準偏差の替わりに、移動分散を用いてもよい。
図8は、標準偏差データD6及び標準偏差データD7を示すグラフである。グラフの横軸は、図4Aのグラフの横軸と同じである。グラフの縦軸は、標準偏差を示している。標準偏差データD6は、図7Aに示す差分データD4の移動標準偏差を示すデータである。標準偏差データD7は、図7Bに示す差分データD5の移動標準偏差を示すデータである。移動標準偏差の算出に用いるフレーム数は、標準偏差データD6及び標準偏差データD7のいずれの場合も、21であるが、統計的に意義がある標準偏差が求められる数であればよく、21に限定されない。
標準偏差データD6及び標準偏差データD7は、標準偏差なので、マイナスの値を含まない。このため、標準偏差データD6及び標準偏差データD7は、差分データD4及差分データD5を引き算できるように変換したデータと見なすことができる。
画像処理部9は、同じ時系列画素データD1から得られた標準偏差データD6と標準偏差データD7との差分を算出して得られるデータを、差分データD8とし、M個の時系列画素データD1のそれぞれに対応するM個の差分データD8を算出する(ステップS8)。
図9は、差分データD8を示すグラフである。グラフの横軸は、図4Aのグラフの横軸と同じである。グラフの縦軸は、標準偏差の差分である。差分データD8は、図8に示す標準偏差データD6と標準偏差データD7との差分を示すデータである。差分データD8は、低周波成分データD2及び高周波成分データD3を除く処理がされたデータである。
画像処理部9は、監視画像を生成する(ステップS9)。すなわち、画像処理部9は、ステップS8で得られたM個の差分データD8で構成される動画を生成する。この動画を構成する各フレームが監視画像である。監視画像は、標準偏差の差分を可視化した画像である。画像処理部9は、ステップS9で得られた動画を表示制御部10に出力する。表示制御部10は、この動画をディスプレイ11に表示させる。この動画に含まれる監視画像として、例えば、図10に示す画像I12及び図11に示す画像I15がある。
図10は、時刻T1のフレームを基にして生成された、画像I10、画像I11及び画像I12を示す画像図である。画像I10は、図5のステップS6で得られたM個の標準偏差データD6で示される動画において、時刻T1のフレームの画像である。画像I11は、図5のステップS7で得られたM個の標準偏差データD7で示される動画において、時刻T1のフレームの画像である。画像I10と画像I11との差分が、画像I12(監視画像)となる。
図11は、時刻T2のフレームを基にして生成された、画像I13、画像I14及び画像I15を示す画像図である。画像I13は、ステップS6で得られたM個の標準偏差データD6で示される動画において、時刻T2のフレームの画像である。画像I14は、ステップS7で得られたM個の標準偏差データD7で示される動画において、時刻T2のフレームの画像である。画像I13と画像I14との差分が、画像I15(監視画像)となる。図10及び図11に示す画像I10〜画像I15のいずれも、いずれも標準偏差を5000倍にした画像である。
図10に示す画像I12は、図4Aに示す地点SP1からガスが噴出される前に撮影された画像なので、画像I12には、地点SP1からガスが出ている様子が現れていない。これに対して、図11に示す画像I15は、地点SP1からガスが噴出されている時刻で撮影された画像なので、画像I15には、地点SP1からガスが出ている様子が現れている。
以上説明したように、実施形態によれば、画像処理部9(図1A)が、赤外画像の動画データMDに含まれる低周波成分データD2を除く処理をして、動画データを生成し、表示制御部10が、この動画データで示される動画(監視画像の動画)をディスプレイ11に表示させる。従って、実施形態によれば、ガス漏れと背景の温度変化とが並行して発生し、背景の温度変化が、漏れたガスによる温度変化よりも大きい場合でも、ガスが漏れている様子を監視画像の動画で表示できる。
センサーノイズは、温度が高くになるに従って小さくなるので、温度に応じて異なる。二次元イメージセンサー6(図1A)において、画素が感知している温度に応じたノイズが、各画素で発生する。すなわち、全ての画素のノイズが同じではない。実施形態によれば、動画から高周波ノイズを除くことができるので、僅かなガス漏れでもディスプレイ11に表示させることができる。
実施形態は、図12に示すステップS100〜ステップS103を実行することにより、ガス候補が、同じ位置から常に出ているガスであるのか、又は、流れているガス状の物質であるのかを識別することができる。図12は、これらを識別するために、実施形態で実行される画像処理を説明するフローチャートである。同じ位置からガスが常に出ている事象と、ガス状の物質が流れている事象とを比較しながら、この画像処理について説明する。
図13Aは、ガス状の物質が流れている事象に関する赤外画像Im0−1を示す画像図である。ガス状の物質は雲であり、背景は空である。図13Aでは、赤外画像Im0−1の全体でなく、赤外画像Im0−1のうち、雲及びこの周辺を含む四角形の部分だけが示されている。雲の温度と背景の温度との差は僅かなので、雲の像がかすかに示されている。図13Bは、同じ位置からガスが常に出ている事象に関する赤外画像Im0−2を示す画像図である。図13Bでは、赤外画像Im0−2の全体でなく、赤外画像Im0−2のうち、塔の像101を含む四角形の部分だけが示されている。この部分に、同じ位置から常に出ているガスが出現している。ガスの温度と背景の温度との差は、僅かなので、ガスの像がかすかに示されている。
図1Aに示す第1処理部91は、同じ位置から常に出ているガスの像(図13B)を含む複数の赤外画像Im0(フレーム)で構成される動画データMDを用いて、監視画像の動画を生成する(図12のステップS100)。詳しく説明すると、第1処理部91は、この動画データMDに対して、図5に示すステップS1〜ステップS9の処理をする。これにより、動画を構成する各フレームは、赤外画像Im0から監視画像となり、監視画像の動画が生成される。監視画像は、例えば、図10に示す画像I12、図11に示す画像I15である。ガス候補が出現していれば、ガス候補が出現している領域を示すガス候補領域が、監視画像に含まれる。同じ位置から常に出ているガスの像が、ガス候補領域になることもあるし、流れているガス状の物質の像が、ガス候補領域になることもある。画像I15は、ガス噴出の開始から2秒後の画像である。画像I15の中央付近に位置する白領域がガス候補領域である。ここでは、ガス候補領域は、同じ位置から常に出ているガスの像である。
図14は、同じ位置から常に出ているガスの像(図13B)を含む赤外画像Im0(フレーム)で構成される動画データMDを用いて生成された監視画像の動画を構成するフレーム群を示す画像図である。このフレーム群は、5秒間の動画に相当する。フレームレートは、30fpsであるので、クレーム群を構成するフレームの数は、150である。
各フレーム(監視画像)が、第1画像Im1となる。図14では、第1画像Im1の全体でなく、第1画像Im1のうち、図13Bに示す赤外画像Im0−2に対応する部分が示されている。5秒間の動画において、第1画像Im1−1が、1番目のフレームであり、第1画像Im1−2が、2番目のフレームであり、第1画像Im1−3が、3番目のフレームであり、第1画像Im1−4が、k番目のフレームであり(3<k<150)、第1画像Im1−5が、150番目のフレーム(最後のフレーム)である。第1画像Im1において、ガス候補領域は、白、グレーで示される。
第1処理部91は、同様にして、流れているガス状の物質の像(図13A)を含む複数の赤外画像Im0(フレーム)で構成される動画データMDを用いて、監視画像の動画を生成する。この動画を構成するフレーム群を示す画像については、図示が省略されている。
実施形態では、図5に示すステップS1〜ステップS9の処理でガス候補領域を得ているが、赤外画像に対して画像処理をしてガス候補領域を得る公知の技術(例えば、特許文献1に開示された画像処理)を用いても良い。
以上説明したように、第1処理部91は、時系列に撮像された複数の赤外画像Im0のそれぞれに対して、ガス候補領域を抽出する処理をすることにより、複数の第1画像Im1を生成する。
次に、第1出現領域の抽出について説明する(図12のステップS101)。第1出現領域とは、第1所定期間の少なくとも一部でガス候補領域が出現していたことを示す領域である。第1所定期間として、5秒間を例にして説明するが、これに限定されない。図1Aに示す第2処理部92は、第1処理部91が生成した複数の第1画像Im1のうち、第1所定期間に対応する2以上の第1画像Im1(ここでは、150個のフレーム)を基にして、第1出現領域を含む第2画像Im2を生成する。
図15Aは、ガス状の物質が流れている事象に関する第2画像Im2−1を示す画像図である。図15Aでは、第2画像Im2−1の全体でなく、第2画像Im2−1のうち、図13Aに示す赤外画像Im0−1に対応する部分が示されている。第2画像Im2−1の生成に用いられた2以上の第1画像Im1は、図示が省略されているが、流れているガス状の物質の像(図13A)を含む赤外画像Im0の動画データMDを用いて生成された2以上の第1画像Im1である。図15Aに含まれる白領域、グレー領域が、第1出現領域103−1である。
図15Bは、同じ位置からガスが常に出ている事象に関する第2画像Im2−2を示す画像図である。図15Bでは、第2画像Im2−2の全体でなく、第2画像Im2−2のうち、図13Bに示す赤外画像Im0−2に対応する部分が示されている。第2画像Im2−2の生成に用いられた2以上の第1画像Im1は、図14に示す5秒間に対応する第1画像Im1である。これらは、同じ位置から常に出ているガスの像(図13B)を含む赤外画像Im0の動画データMDを用いて生成された2以上の第1画像Im1である。図15Bに含まれる白領域、グレー領域が、第1出現領域103−2である。
第2画像Im2の生成の仕方(すなわち、第1出現領域103の抽出の仕方)の一例を説明する。第2処理部92は、2以上の第1画像ImI(例えば、図14に示す5秒間に対応する第1画像Im1)において、同じ順番に位置する画素の中から、画素が示す値(ここでは、標準偏差の差分)の最大値を決定する。第2処理部92は、この最大値を、第2画像Im2の上記順番に位置する画素の値とする。具体的に説明すると、第2処理部92は、2以上の第1画像Im1において、1番目の画素が示す値の最大値を決定し、この値を、第2画像Im2の1番目の画素の値とする。第2処理部92は、2以上の第1画像Im1において、2番目の画素が示す値の最大値を決定し、この値を、第2画像Im2の2番目の画素の値とする。第2処理部92は、3番目以降の画素についても同様の処理をする。
このようにして、第2画像Im2を構成する画素の値が定められると、第1出現領域103が抽出され、第1出現領域103が第2画像Im2に含まれる。
第2処理部92は、複数の第1所定期間(5秒間)のそれぞれについて、ガス状の物質が流れている事象に関する第2画像Im2を生成し、複数の第1所定期間(5秒間)のそれぞれについて、同じ位置からガスが常に出ている事象に関する第2画像Im2を生成する。ここでは、3つの第1所定期間を例にして説明する。
第2処理部92は、図15Aに示す第2画像Im2−1の生成に用いられた2以上の第1画像Im1によって構成される5秒間の動画よりも、前の5秒間の動画を構成する2以上の第1画像Im1を基にして、第2画像Im2を生成し、後の5秒間の動画を構成する2以上の第1画像Im1を基にして、第2画像Im2を生成する。これらの5秒間が3つの第1所定期間である。図16Aは、これら3つの第2画像Im2−3,Im2−1,Im2−4、及び、これらを基にして生成される第3画像Im3−1を示す画像図である。図16Aでは、第2画像Im2−3,Im2−1,Im2−4及び第3画像1m3−1の全体でなく、これらの画像のうち、図13Aに示す赤外画像Im0−1に対応する部分が示されている。第2画像Im2−3は、第1出現領域103−3を含み、第2画像Im2−1は、第1出現領域103−1を含み、第2画像Im2−4は、第1出現領域103−4を含む。第1出現領域103は、白、グレーで示される。
第2処理部92は、図15Bに示す第2画像Im2−2の生成に用いられた2以上の第1画像Im1によって構成される5秒間の動画よりも、前の5秒間の動画を構成する2以上の第1画像Im1を基にして、第2画像Im2を生成し、後の5秒間の動画を構成する2以上の第1画像Im1を用いて、第2画像Im2を生成する。図16Bは、これら3つの第2画像Im2−5,Im2−2,Im2−6、及び、これらを基にして生成される第3画像Im3−2を示す画像図である。図16Bでは、第2画像Im2−5,Im2−2,Im2−6及び第3画像Im3−2の全体でなく、これらの画像のうち、図13Bに示す赤外画像Im0−2に対応する部分が示されている。第2画像Im2−5は、第1出現領域103−5を含み、第2画像Im2−2は、第1出現領域103−2を含み、第2画像Im2−6は、第1出現領域103−6を含む。第1出現領域103は、白、グレーで示される。
図16A及び図16Bに示す例において、3つの第1所定期間が連続していてもよいし、連続していなくてもよい。いずれの場合も、第1出現領域103が第2画像Im2に含まれていればよい。図16Aを用いて、連続している例を説明する。第2処理部92は、15秒間の動画のうち、1〜5秒の動画を構成する2以上の第1画像Im1を用いて第2画像Im2−3を生成し、6〜10秒の動画を構成する2以上の第1画像Im1を用いて第2画像Im2−1を生成し、11〜15秒の動画を構成する2以上の第1画像Im1を用いて第2画像Im2−4を生成する。連続していない例を説明する。第2処理部92は、25秒間の動画のうち、1〜5秒の動画を構成する2以上の第1画像Im1を用いて第2画像Im2−3を生成し、11〜15秒の動画を構成する2以上の第1画像Im1を用いて第2画像Im2−1を生成し、21〜25秒の動画を構成する2以上の第1画像Im1を用いて第2画像Im2−4を生成する。
図16A及び図16Bに示す例では、3つの第1所定期間の長さが、同じであるが、これに限定されず、第1出現領域103が第2画像Im2に含まれていればよい。図16Aを用いて説明する。第2画像Im2−1の生成に用いられた2以上の第1画像Im1に対応する第1所定期間(例えば、10秒)が、第2画像Im2−3の生成に用いられた2以上の第1画像Im1に対応する第1所定期間(例えば、5秒)、及び、第2画像Im2−4の生成に用いられた2以上の第1画像Im1に対応する第1所定期間(例えば、5秒)より長くする。
次に、第2出現領域の抽出について説明する(図12のステップS102)。第2出現領域とは、第2所定期間の少なくとも一部でガス候補領域が出現していたことを示す領域である。第2所定期間として、15秒を例にして説明するが、これに限定されない。図1Aに示す第3処理部93は、3つの第2画像Im2を基にして、第2出現領域105を含む第3画像Im3を生成する。これは、後の説明から分かるように、第3処理部93が、複数の第1画像Im1のうち、第1所定期間と異なる第2所定期間(15秒間)に対応する2以上の第1画像Im1を基にして、第2出現領域105を含む第3画像Im3を生成することである。
図16Aを参照して、図1Aに示す第3処理部93は、第2画像Im2−3,Im2−1,Im2−4を用いて、第2出現領域105−1を抽出する処理をすることにより、第2出現領域105−1を含む第3画像Im3−1を生成する。図16Aに含まれる白領域、グレー領域が、第2出現領域105−1である。
図16Bを参照して、図1Aに示す第3処理部93は、第2画像Im2−5,Im2−2,Im2−6を用いて、第2出現領域105−2を抽出する処理をすることにより、第2出現領域105−2を含む第3画像Im3−2を生成する。図16Bに含まれる白領域、グレー領域が、第2出現領域105−2である。
第3画像Im3の生成の仕方(すなわち、第2出現領域105の抽出の仕方)の一例を説明する。第3処理部93は、3つの第2画像Im2において、同じ順番に位置する画素の中から、画素が示す値の最大値を決定する。第3処理部93は、この最大値を、第3画像Im3の上記順番に位置する画素の値とする。図16Aを用いて具体的に説明すると、第3処理部93は、第2画像Im2−3,Im2−1,Im2−4において、1番目の画素が示す値の最大値を決定し、この値を、第3画像Im3−1の1番目の画素の値とする。第3処理部93は、第2画像Im2−3,Im2−1,Im2−4において、2番目の画素が示す値の最大値を決定し、この値を、第3画像Im3−1の2番目の画素の値とする。第3処理部93は、3番目以降の画素についても同様の処理をする。
このようにして生成された第3画像Im3は、第2所定期間(15秒)に対応する2以上の第1画像Im1を基にして、第2出現領域105を含む第3画像Im3を生成する処理と同じ結果となる(同じ第2出現領域105が抽出される)。図16Aを用いて説明する。第2処理部92は、第1所定期間(前の5秒間)に対応する2以上の第1画像Im1において、同じ順番に位置する画素が示す値の最大値を、第2画像Im2−3のその順番に位置する画素の値として設定して第2画像Im2−3を生成し、第1所定期間(5秒間)に対応する2以上の第1画像Im1において、同じ順番に位置する画素が示す値の最大値を、第2画像Im2−1のその順番に位置する画素の値として設定して第2画像Im2−1を生成し、第1所定期間(後の5秒間)に対応する2以上の第1画像Im1において、同じ順番に位置する画素が示す値の最大値を、第2画像Im2−4のその順番に位置する画素の値として設定して第2画像Im2−4を生成する。第3処理部93は、第2画像Im2−3,Im2−1,Im2−4を用いて、上述した仕方で第3画像Im3−1を生成する。以上説明した処理は、第2所定期間(15秒間)に対応する2以上の第1画像Im1において、同じ順番に位置する画素が示す値の最大値を、第3画像Im3−1のその順番に位置する画素の値にしている処理と同じことである。
次に、同じ位置からガスが常に出ている事象、ガス状の物質が流れている事象のいずれに該当するかの識別について説明する(図12のステップS103)。図17Aは、図16Aに示す第2画像Im2−1と、これを2値化した第2画像Im2−1aと、図16Aに示す第3画像Im3−1と、これを2値化した第3画像Im3−1aと、を示す画像図である。図17Aでは、こられの画像の全体でなく、これらの画像のうち、図13Aに示す赤外画像Im0−1に対応する部分が示されている。
図1Aに示す設定部94は、第2画像Im2−1において、所定のしきい値Th1を超えている画素を、第1出現領域103−1を構成する画素として設定し、第2画像Im2−1を2値化した第2画像Im2−1aを生成する。設定部94は、第2画像Im2−1aにおいて、例えば、モルフォロジーなどの既知の手法を用いて第1出現領域103−1を取り出し(抽出し)、第1出現領域103−1に外接する矩形を設定する。これにより、第2画像Im2−1aの第1出現領域103−1に、外接矩形R1が設定される。外接矩形R1の位置が、第1出現領域103−1の位置とされる。設定部94は、外接矩形R1の外側に、外接矩形R1と接する周辺領域107−1を設定する。
設定部94は、第3画像Im3−1において、所定のしきい値Th2を超えている画素を、第2出現領域105−1を構成する画素として設定し、第3画像Im3−1を2値化した第3画像Im3−1aを生成する。設定部94は、第3画像Im3−1aにおいて、第2画像Im2−1aに設定された周辺領域107−1の位置に相当する位置に、周辺領域107−1を設定する。このように、設定部94は、第3画像Im3−1aにおいて、第2画像1m2−1aの第1出現領域103−1の位置に相当する位置の周辺に周辺領域107−1を設定する。第2画像Im2−1aに設定された周辺領域107−1と第3画像Im3−1aに設定された周辺領域107−1とは、座標位置、形状及び面積が同じである。
図17Bは、図16Bに示す第2画像Im2−2と、これを2値化した第2画像Im2−2aと、図16Bに示す第3画像Im3−2と、これを2値化した第3画像Im3−2aと、を示す画像図である。図17Bでは、こられの画像の全体でなく、これらの画像のうち、図13Bに示す赤外画像Im0−2に対応する部分が示されている。
設定部94は、第2画像Im2−2において、上記しきい値Th1を超えている画素を、第1出現領域103−2を構成する画素として設定し、第2画像Im2−2を2値化した第2画像Im2−2aを生成する。設定部94は、第2画像Im2−2aにおいて、例えば、モルフォロジーなどの既知の手法を用いてガスの第1出現領域103−2を取り出し(抽出し)、第1出現領域103−2に外接する矩形を設定する。これにより、第2画像Im2−2aの第1出現領域103−2に、外接矩形R2が設定される。外接矩形R2の位置が、第1出現領域103−2の位置とされる。設定部94は、外接矩形R2の外側に、外接矩形R2と接する周辺領域107−2を設定する。
設定部94は、第3画像Im3−2において、上記しきい値Th2を超えている画素を、第2出現領域105−2を構成する画素として設定し、第3画像Im3−2を2値化した第3画像Im3−2aを生成する。設定部94は、第3画像Im3−2aにおいて、第2画像Im2−2aに設定された周辺領域107−2の位置に相当する位置に、周辺領域107−2を設定する。このように、設定部94は、第3画像Im3−2aにおいて、第2画像1m2−2aの第1出現領域103−2の位置に相当する位置の周辺に周辺領域107−2を設定する。第2画像Im2−2aに設定された周辺領域107−2と第3画像Im3−2aに設定された周辺領域107−2とは、座標位置、形状及び面積が同じである。
第3画像Im3−1aに設定された周辺領域107−1(図17A)を参照して、周辺領域107について説明する。周辺領域107は、第3画像Im3の縦方向に延びる矩形領域と横方向に延びる矩形領域とを備える。縦方向に延びる矩形領域の幅W1と、横方向に延びる矩形領域の幅W2とは、同じでもよいし、第3画像Im3の横縦比に応じて変えてもよい。後者は、第3画像Im3の横縦比が、例えば、4:3の場合、W1:W2を4:3にする。
幅W1,W2は、任意であるが、ある程度の大きさを有することが好ましい。例えば、外接矩形R1の縦横それぞれの、3割のサイズとして設定する(幅W1は、外接矩形R1の横方向のサイズの3割であり、幅W2は、外接矩形R1の縦方向のサイズの3割である)。実施形態は、同じ位置からガスが常に出ている事象の場合、周辺領域107が第2出現領域105で覆われないことを前提にして(図17B)、同じ位置からガスが常に出ている事象とガス状の物質が流れている事象とを識別している。同じ位置からガスが常に出ている事象でも、ガスがゆらぐことにより、第2出現領域105が周辺領域107に僅かにはみ出すことがある。幅W1,W2が小さすぎると、第2出現領域105が周辺領域107に僅かにはみ出でても、周辺領域107が第2出現領域105で覆われる可能性がある。これを防止するためには、幅W1,W2が、ある程度の大きさを有する必要がある。
図17Aを参照して、識別部95(図1A)は、第2画像Im2−1aの第1出現領域103−1の画素数N1(白画素数)と、第3画像Im3−1aに設定された周辺領域107−1と第2出現領域105−1との重複領域の画素数N2(白画素数)と、において、画素数N2の割合が、所定の第1しきい値(例えば、100%)を超えているとき、ガス状の物質が流れている事象と判定し、第1しきい値以下のとき、同じ位置からガスが常に出ている事象と判定する。ここでは、識別部95は、ガス状の物質が流れている事象と判定する。画素数は、面積と言い換えることができる。以下の画素数も同じである。
図17Bを参照して、識別部95は、第2画像Im2−2aの第1出現領域103−2の画素数N3(白画素数)と、第3画像Im3−2aに設定された周辺領域107−2と第2出現領域105−2との重複領域の画素数N4(白画素数)と、において、画素数N4の割合が、上記第1しきい値(100%)を超えているとき、ガス状の物質が流れている事象と判定し、第1しきい値以下のとき、同じ位置からガスが常に出ている事象と判定する。ここでは、識別部95は、同じ位置からガスが常に出ている事象と判定する。
なお、識別部95は、第3画像Im3に設定された周辺領域107の画素数と、第3画像Im3に設定された周辺領域107と第2出現領域105との重複領域の画素数(白画素数)と、を基にして、上記判定をしてもよい。詳しく説明すると、図17Aを参照して、識別部95は、第3画像Im3−1aに設定された周辺領域107−1の画素数N5と、第3画像Im3−1aに設定された周辺領域107−1と第2出現領域105−1との重複領域の画素数N2(白画素数)と、において、画素数N2の割合が、所定の第2しきい値を超えているとき、ガス状の物質が流れている事象と判定し、第2しきい値以下のとき、同じ位置からガスが常に出ている事象と判定する。図17Bを参照して、識別部95は、第3画像Im3−2aに設定された周辺領域107−2の画素数N6と、第3画像Im3−2aに設定された周辺領域107−2と第2出現領域105−2との重複領域の画素数N4(白画素数)と、において、画素数N4の割合が、第2しきい値を超えているとき、ガス状の物質が流れている事象と判定し、第2しきい値以下のとき、同じ位置からガスが常に出ている事象と判定する。
また、識別部95は、第2出現領域105の画素数(白画素数)と、第3画像Im3に設定された周辺領域107と第2出現領域105との重複領域の画素数(白画素数)と、を基にして、上記判定をしてもよい。詳しく説明すると、図17Aを参照して、識別部95は、第2出現領域105−1の画素数N7(白画素数)と、第3画像Im3−1aに設定された周辺領域107−1と第2出現領域105−1との重複領域の画素数N2(白画素数)と、において、画素数N2の割合が、所定の第3しきい値を超えているとき、ガス状の物質が流れている事象と判定し、第3しきい値以下のとき、同じ位置からガスが常に出ている事象と判定する。図17Bを参照して、識別部95は、第2出現領域105−2の画素数N8(白画素数)と、第3画像Im3−2aに設定された周辺領域107−2と第2出現領域105−2との重複領域の画素数N4(白画素数)と、において、画素数N4の割合が、第3しきい値を超えているとき、ガス状の物質が流れている事象と判定し、第3しきい値以下のとき、同じ位置からガスが常に出ている事象と判定する。
識別部95は、同じ位置からガスが常に出ている事象、ガス状の物質が流れている事象のいずれに該当するかの識別に、2値化画像を用いたが、グレースケールの画像を用いてもよい。図17A及び図17Bを参照して、例えば、識別部95は、第3画像Im3−1に設定された周辺領域107−1(不図示)を構成する画素の輝度値の累積値と、第2画像Im2−1に設定された矩形領域R1(不図示)を構成する画素の輝度値の累積値とにおいて、前者の累積値の割合が所定の第4しきい値を超えているとき、ガス状の物質が流れている事象と判定し、第4しきい値以下のとき、同じ位置からガスが常に出ている事象と判定する。
実施形態の主な作用効果について説明する。ガス状の物質が流れている事象の場合、所定期間(所定期間とは、第1所定期間及び第2所定期間の総称である)の個々の時刻どうしを比較すると、ガス候補領域の位置が一致することはない。このため、出現領域(出現領域とは、第1出現領域103及び第2出現領域105の総称である)を、所定期間の全期間において、ガス候補領域が出現していた領域にしたとき、出現領域が抽出されないか、抽出されても、出現領域の面積が小さくなる。同じ位置からガスが常に出ている事象も同様である。なぜならば、ガスは、不規則にゆらぐので、所定期間の個々の時刻どうしを比較すると、ガス候補領域の位置が一致することはないからである(図14)。
そこで、出現領域は、所定期間の少なくとも一部でガス候補領域が出現していたことを示す領域にする。こうすることにより、ガス状の物質が流れている事象、同じ位置からガスが常に出ている事象のいずれも、出現領域の面積を常に比較的大きくすることができる(図16Aに示す第1出現領域103−3,103−1,103−4、第2出現領域105−1、図16Bに示す第1出現領域103−5,103−2,103−6、第2出現領域105−2)。
図17A及び図17Bを参照して、周辺領域107の位置は、第3画像Im3において、第2画像Im2の第1出現領域103の位置に相当する位置の周辺である。このため、周辺領域107を第2画像Im2に設定した場合、第2画像Im2の第1出現領域103の周辺に周辺領域107があるので、ガス状の物質が流れている事象、同じ位置からガスが常に出ている事象のいずれも、第2画像Im2の第1出現領域103が周辺領域107にはみ出すことはない。
ガス状の物質が流れている事象の場合、第3画像Im3の第2出現領域105は、第3画像Im3に設定された周辺領域107に大きくはみ出す可能性があるが、同じ位置からガスが常に出ている事象の場合、大きくはみ出すことはない。これについて詳しく説明する。図15A及び図15Bに示すように、第2画像Im2の第1出現領域103は、第1所定期間(5秒間)に対応する2以上(150個)の第1画像Im1を用いて抽出され、図16A及び図16Bに示すように、第3画像Im3の第2出現領域105は、3つの第2画像Im2を用いて抽出される(すなわち、第1所定期間と異なる第2所定期間(15秒間)に対応する2以上(450個)の第1画像Im2を用いて抽出される。ガス状の物質が流れている事象では、時間の経過に従って、ガス状の物質の位置が変わるので、図17Aに示すように、第2画像Im2の第1出現領域103と第3画像Im3の第2出現領域105とは、位置及び形状が大きく異なる(第2所定期間が第1所定期間より長い場合、第3画像Im3の第2出現領域105は、第2画像Im2の第1出現領域103より大きく広がる)。このため、第3画像Im3の第2出現領域105が周辺領域107に大きくはみ出す可能性がある(図17Aに示す第2出現領域105−1)。よって、周辺領域107と第3画像Im3の第2出現領域105とが重なる領域(重複領域)の面積が比較的大きくなる。
これに対して、同じ位置からガスが常に出ている事象の場合、時間の経過に従ってガスの出る位置が変わることはないので、第1所定期間と第2所定期間とが異なっていても、図17Bに示すように、第2画像Im2の第1出現領域103と第3画像Im3の第2出現領域105とは、位置及び形状が大きく異なることはない。このため、第3画像Im3の第2出現領域105が周辺領域107にはみ出さないか、はみ出したとしても大きくはみ出すことはない(図17Bに示す第2出現領域105−2)。よって、周辺領域107と第3画像Im3の第2出現領域105とが重なる領域(重複領域)が発生しないか、発生しても、その面積が比較的小さい。
以上より、第3画像Im3に設定された周辺領域107及び第3画像Im3の第2出現領域105に着目すれば、同じ位置からガスが常に出ている事象と、ガス状の物質が流れている事象と、を識別することができる。よって、実施形態によれば、ガスの検知精度を向上させることができる。
実施形態の変形例を説明する。設定部94(図1A)は、第3画像Im3において、第2画像Im2の第1出現領域103の位置に相当する位置の周辺に、中間領域109を介して周辺領域107を設定する。図18Aは、変形例に関する、図16Aに示す第2画像Im2−1と、これを2値化した第2画像Im2−1aと、図16Aに示す第3画像Im3−1と、これを2値化した第3画像Im3−1aと、を示す画像図である。図18Aでは、こられの画像の全体でなく、これらの画像のうち、図13Aに示す赤外画像Im0−1に対応する部分が示されている。図18Aが図17Aと相違する点は、中間領域109−1が設定されていることである。
図18Bは、変形例に関する、図16Bに示す第2画像Im2−2と、これを2値化した第2画像Im2−2aと、図16Bに示す第3画像Im3−2と、これを2値化した第3画像Im3−2aと、を示す画像図である。図18Bでは、こられの画像の全体でなく、これらの画像のうち、図13Bに示す赤外画像Im0−2に対応する部分が示されている。図18Bが図17Bと相違する点は、中間領域109−2が設定されていることである。
同じ位置からガスが常に出ている事象において、風向きや風速の変化でガスが少しゆらぐことがある。中間領域109がないと、第3画像Im3の第2出現領域105が、第3画像Im3に設定された周辺領域107にはみ出す。中間領域109があれば、第3画像Im3の第2出現領域105は、中間領域109にはみ出すが、周辺領域107に届かない。これに対して、ガス状の物質が流れている事象の場合、中間領域109があっても、第3画像Im3の第2出現領域105が、中間領域109を超えて、周辺領域107にはみ出す(図18Aに示す第2出現領域105−1)。流れていくガス状の物質の場合、ガス状の物質が存在する領域が移動していくため、中間領域109を超えて周辺領域107へ移動していくことになる。従って、変形例によれば、同じ位置からガスが常に出ている事象において、ガスが少しゆらぐことがあっても、同じ位置からガスが常に出ている事象と、ガス状の物質が流れている事象と、を識別することができる。
中間領域109は、周辺領域107の周辺に位置し、周辺領域107と同様に、第2画像Im2及び第3画像Im3の縦方向に延びる矩形領域と横方向に延びる矩形領域とを備える。中間領域109の幅は、第2出現領域105の抽出期間(例では、15秒間)での風向きや風速の変化によるゆらぎを想定し、例えば第1出現領域103を囲む外接矩形(外接矩形R1,R2)の縦横1割のサイズに設定する(外接矩形の横方向において、中間領域109の幅は、外接矩形の横方向のサイズの1割であり、外接矩形の縦方向において、中間領域109の幅は、外接矩形の縦方向のサイズの1割である)。
(実施形態の纏め)
実施形態の第1局面に係るガス検知用画像処理装置は、時系列に撮像された複数の赤外画像のそれぞれに対して、ガス候補領域を抽出する処理をすることにより、複数の第1画像を生成する第1処理部と、前記複数の第1画像のうち、第1所定期間に対応する2以上の前記第1画像を基にして、前記第1所定期間の少なくとも一部で前記ガス候補領域が出現していたことを示す第1出現領域を含む第2画像を生成する第2処理部と、前記複数の第1画像のうち、前記第1所定期間と異なる第2所定期間に対応する2以上の前記第1画像を基にして、前記第2所定期間の少なくとも一部で前記ガス候補領域が出現していたことを示す第2出現領域を含む第3画像を生成する第3処理部と、前記第3画像において、前記第2画像の前記第1出現領域の位置に相当する位置の周辺に周辺領域を設定する設定部と、を備える。
同じ位置から常に出ているガスは、検知対象のガスであり、流れているガス状の物質(例えば、雲、蒸気)は、検知対象外のガスである。
ガス状の物質が流れている事象の場合、所定期間(所定期間とは、第1所定期間及び第2所定期間の総称である)の個々の時刻どうしを比較すると、ガス候補領域の位置が一致することはない。このため、出現領域(出現領域とは、第1出現領域及び第2出現領域の総称である)を、所定期間の全期間において、ガス候補領域が出現していた領域にしたとき、出現領域が抽出されないか、抽出されても、出現領域の面積が小さくなる。同じ位置からガスが常に出ている事象も同様である。なぜならば、ガスは、不規則にゆらぐので、所定期間の個々の時刻どうしを比較すると、ガス候補領域の位置が一致することはないからである。
そこで、出現領域は、所定期間の少なくとも一部でガス候補領域が出現していたことを示す領域にする。こうすることにより、ガス状の物質が流れている事象、同じ位置からガスが常に出ている事象のいずれも、出現領域の面積を常に比較的大きくすることができる。
周辺領域の位置は、第3画像において、第2画像の第1出現領域の位置に相当する位置の周辺である。このため、周辺領域を第2画像に設定した場合、第2画像の第1出現領域の周辺に周辺領域があるので、ガス状の物質が流れている事象、同じ位置からガスが常に出ている事象のいずれも、第2画像の第1出現領域が周辺領域にはみ出すことはない。
ガス状の物質が流れている事象の場合、第3画像の第2出現領域は、第3画像に設定された周辺領域に大きくはみ出す可能性があるが、同じ位置からガスが常に出ている事象の場合、大きくはみ出すことはない。これについて詳しく説明する。第2画像の第1出現領域は、第1所定期間に対応する2以上の第1画像を用いて抽出され、第3画像の第2出現領域は、第1所定期間と異なる第2所定期間に対応する2以上の第1画像を用いて抽出される。ガス状の物質が流れている事象では、時間の経過に従って、ガス状の物質の位置が変わるので、第2画像の第1出現領域と第3画像の第2出現領域とは、位置及び形状が大きく異なる(第2所定期間が第1所定期間より長い場合、第3画像の第2出現領域は、第2画像の第1出現領域より大きく広がる)。このため、第3画像の第2出現領域が周辺領域に大きくはみ出す可能性がある。よって、周辺領域と第3画像の第2出現領域とが重なる領域の面積が比較的大きくなる。
これに対して、同じ位置からガスが常に出ている事象の場合、時間の経過に従ってガスの出る位置が変わることはないので、第1所定期間と第2所定期間とが異なっていても、第2画像の第1出現領域と第3画像の第2出現領域とは、位置及び形状が大きく異なることはない。このため、第3画像の第2出現領域が周辺領域にはみ出さないか、はみ出したとしても大きくはみ出すことはない。よって、周辺領域と第3画像の第2出現領域とが重なる領域が発生しないか、発生しても、その面積が比較的小さい。
以上より、第3画像に設定された周辺領域及び第3画像の第2出現領域に着目すれば、同じ位置からガスが常に出ている事象と、ガス状の物質が流れている事象と、を識別することができる。よって、実施形態の第1局面に係るガス検知用画像処理装置によれば、ガスの検知精度を向上させることができる。
なお、第2所定期間は、第1所定期間よりも長い期間として設定する。また、第2所定期間は、少なくとも第1所定期間の一部を含む。好ましくは、第2所定期間は、第1所定期間全てを含む。
上記識別を実行する識別部として、以下の(1)〜(3)がある。
(1)識別部は、第2画像の第1出現領域と、第3画像に設定された周辺領域と第3画像の第2出現領域とが重なる領域(以下、重複領域)と、を基にして、同じ位置からガスが常に出ている事象と、ガス状の物質が流れている事象と、を識別する。例えば、第2画像及び第3画像が2値化画像であれば、以下のように識別される。識別部は、第2画像の第1出現領域の面積と重複領域の面積とにおいて、重複領域の面積の割合が所定の第1しきい値を超えているとき、ガス状の物質が流れている事象と判定し、第1しきい値以下のとき、同じ位置からガスが常に出ている事象と判定する。
(2)識別部は、第3画像に設定された周辺領域と、第3画像に設定された周辺領域と第3画像の第2出現領域とが重なる領域(以下、重複領域)と、を基にして、同じ位置からガスが常に出ている事象と、ガス状の物質が流れている事象と、を識別する。例えば、第3画像が2値化画像であれば、以下のように識別される。識別部は、周辺領域の面積と重複領域の面積とにおいて、重複領域の面積の割合が所定の第2しきい値を超えているとき、ガス状の物質が流れている事象と判定し、第2しきい値以下のとき、同じ位置からガスが常に出ている事象と判定する。
(3)識別部は、第3画像の第2出現領域と、第3画像に設定された周辺領域と第3画像の第2出現領域とが重なる領域(以下、重複領域)と、を基にして、同じ位置からガスが常に出ている事象と、ガス状の物質が流れている事象と、を識別する。例えば、第3画像が2値化画像であれば、以下のように識別される。識別部は、第3画像の第2出現領域の面積と重複領域の面積とにおいて、重複領域の面積の割合が所定の第3しきい値を超えているとき、ガス状の物質が流れている事象と判定し、第3しきい値以下のとき、同じ位置からガスが常に出ている事象と判定する。
上記構成において、前記第3処理部は、前記第1所定期間より長い前記第2所定期間に対応する2以上の前記第1画像を基にして、前記第2出現領域を含む前記第3画像を生成する。
ガス状の物質が流れている事象の場合、時間の経過に従って、ガス状の物質の位置が変わる。このため、第2所定期間が第1所定期間より長いとき、第3画像の第2出現領域は、第2画像の第1出現領域より大きく広がる。よって、第3画像に設定された周辺領域と第3画像の第2出現領域とが重なる領域の面積が大きくなる。これに対して、同じ位置からガスが常に出ている事象の場合、時間の経過に従ってガスの出る位置が変わることはない。このため、第2所定期間が第1所定期間より長くても、第3画像の第2出現領域は、第2画像の第1出現領域より大きく広がることはない。よって、第3画像に設定された周辺領域と第3画像の第2出現領域とが重なる領域が発生しないか、発生しても、その面積は小さい。
以上より、第3画像に設定された周辺領域と第3画像の第2出現領域とが重なる領域に着目すれば、同じ位置からガスが常に出ている事象と、ガス状の物質が流れている事象と、を識別することができる。
上記構成において、前記設定部は、前記第3画像において、前記第2画像の前記第1出現領域の位置に相当する位置の周辺に、中間領域を介して前記周辺領域を設定する。
同じ位置からガスが常に出ている事象において、風向きや風速の変化でガスが少しゆらぐことがある。中間領域がないと、第3画像の第2出現領域が、第3画像に設定された周辺領域にはみ出す。中間領域があれば、第3画像の第2出現領域は、中間領域にはみ出すが、周辺領域に届かない。これに対して、ガス状の物質が流れている事象の場合、中間領域があっても、第3画像の第2出現領域が、中間領域を超えて、周辺領域にはみ出す。流れていくガス状の物質の場合、ガス状の物質が存在する領域が移動していくため、中間領域を超えて周辺領域へ移動していくことになる。従って、この構成によれば、同じ位置からガスが常に出ている事象において、ガスが少しゆらぐことがあっても、同じ位置からガスが常に出ている事象と、ガス状の物質が流れている事象と、を識別することができる。
実施形態の第2局面に係るガス検知用画像処理方法は、時系列に撮像された複数の赤外画像のそれぞれに対して、ガス候補領域を抽出する処理をすることにより、複数の第1画像を生成する第1処理ステップと、前記複数の第1画像のうち、第1所定期間に対応する2以上の前記第1画像を基にして、前記第1所定期間の少なくとも一部で前記ガス候補領域が出現していたことを示す第1出現領域を含む第2画像を生成する第2処理ステップと、前記複数の第1画像のうち、前記第1所定期間と異なる第2所定期間に対応する2以上の前記第1画像を基にして、前記第2所定期間の少なくとも一部で前記ガス候補領域が出現していたことを示す第2出現領域を含む第3画像を生成する第3処理ステップと、前記第3画像において、前記第2画像の前記第1出現領域の位置に相当する位置の周辺に周辺領域を設定する設定ステップと、を備える。
実施形態の第2局面に係るガス検知用画像処理方法は、実施形態の第1局面に係るガス検知用画像処理装置を方法の観点から規定しており、実施形態の第1局面に係るガス検知用画像処理装置と同様の作用効果を有する。
実施形態の第3局面に係るガス検知用画像処理プログラムは、時系列に撮像された複数の赤外画像のそれぞれに対して、ガス候補領域を抽出する処理をすることにより、複数の第1画像を生成する第1処理ステップと、前記複数の第1画像のうち、第1所定期間に対応する2以上の前記第1画像を基にして、前記第1所定期間の少なくとも一部で前記ガス候補領域が出現していたことを示す第1出現領域を含む第2画像を生成する第2処理ステップと、前記複数の第1画像のうち、前記第1所定期間と異なる第2所定期間に対応する2以上の前記第1画像を基にして、前記第2所定期間の少なくとも一部で前記ガス候補領域が出現していたことを示す第2出現領域を含む第3画像を生成する第3処理ステップと、前記第3画像において、前記第2画像の前記第1出現領域の位置に相当する位置の周辺に周辺領域を設定する設定ステップと、をコンピュータに実行させる。
実施形態の第3局面に係るガス検知用画像処理プログラムは、実施形態の第1局面に係るガス検知用画像処理装置をプログラムの観点から規定しており、実施形態の第1局面に係るガス検知用画像処理装置と同様の作用効果を有する。
本発明の実施形態が詳細に図示され、かつ、説明されたが、それは単なる図例及び実例であって限定ではない。本発明の範囲は、添付されたクレームの文言によって解釈されるべきである。
2017年5月2日に提出された日本国特許出願特願2017−091796は、その全体の開示が、その全体において参照によりここに組み込まれる。
本発明によれば、ガス検知用画像処理装置、ガス検知用画像処理方法、及び、ガス検知用画像処理プログラムを提供することができる。

Claims (7)

  1. ガス検知対象領域を含む被写体について、時系列に撮像された複数の赤外画像に含まれるガス候補領域が、同じ位置から出ているガスであるのか、又は、流れているガスであるのかを識別するガス検知用画像処理装置であって、
    前記複数の赤外画像のそれぞれに対して、前記ガス候補領域を抽出する処理をすることにより、複数の第1画像を生成する第1処理部と、
    前記複数の第1画像のうち、第1所定期間に対応する2以上の前記第1画像を基にして、前記第1所定期間の少なくとも一部で前記ガス候補領域が出現していたことを示す第1出現領域を含む第2画像を生成する第2処理部と、
    前記複数の第1画像のうち、前記第1所定期間に含まれない期間を含む第2所定期間に対応する2以上の前記第1画像を基にして、前記第2所定期間の少なくとも一部で前記ガス候補領域が出現していたことを示す第2出現領域を含む第3画像を生成する第3処理部と、
    前記第3画像において、前記第2画像の前記第1出現領域に相当する領域の周辺に周辺領域を設定する設定部と、
    前記周辺領域における前記第2出現領域の大きさに基づいて、前記ガス候補領域が、同じ位置から出ているガスであるのか、又は、流れているガスであるのかを識別する識別部と、を備える、ガス検知用画像処理装置。
  2. 前記識別部は、前記第1出現領域、前記第2出現領域、前記周辺領域のいずれかの領域に対する、前記周辺領域と前記第2出現領域とが重なる領域の面積割合を示す指標を、所定のしきい値と比較して、前記しきい値を超えていたときに、前記ガス候補領域が流れているガスであると判定し、前記しきい値以下のときに、前記ガス候補領域が同じ位置から出ているガスであると判定する、請求項1に記載のガス検知用画像処理装置。
  3. 前記面積割合を示す指標は、前記第1出現領域、前記第2出現領域、前記周辺領域のいずれかの領域の画素数と、前記周辺領域と前記第2出現領域とが重なる領域の画素数から算出される、請求項2に記載のガス検知用画像処理装置。
  4. 前記面積割合を示す指標は、前記第1出現領域、前記第2出現領域、前記周辺領域のいずれかの領域の画素の輝度値の累積値と、前記周辺領域と前記第2出現領域とが重なる領域の画素の輝度値の累積値から算出される、請求項2に記載のガス検知用画像処理装置。
  5. 前記設定部は、前記第3画像において、前記第2画像の前記第1出現領域の位置に相当する位置の周辺に、中間領域を介して前記周辺領域を設定する、請求項1〜4のいずれか一項に記載のガス検知用画像処理装置。
  6. ガス検知対象領域を含む被写体について、時系列に撮像された複数の赤外画像に含まれるガス候補領域が、同じ位置から出ているガスであるのか、又は、流れているガスであるのかを識別するガス検知用画像処理方法であって、
    前記複数の赤外画像のそれぞれに対して、前記ガス候補領域を抽出する処理をすることにより、複数の第1画像を生成する第1処理ステップと、
    前記複数の第1画像のうち、第1所定期間に対応する2以上の前記第1画像を基にして、前記第1所定期間の少なくとも一部で前記ガス候補領域が出現していたことを示す第1出現領域を含む第2画像を生成する第2処理ステップと、
    前記複数の第1画像のうち、前記第1所定期間に含まれない期間を含む第2所定期間に対応する2以上の前記第1画像を基にして、前記第2所定期間の少なくとも一部で前記ガス候補領域が出現していたことを示す第2出現領域を含む第3画像を生成する第3処理ステップと、
    前記第3画像において、前記第2画像の前記第1出現領域に相当する領域の周辺に周辺領域を設定する設定ステップと、
    前記周辺領域における前記第2出現領域の大きさに基づいて、前記ガス候補領域が、同じ位置から出ているガスであるのか、又は、流れているガスであるのかを識別する識別ステップと、を備える、ガス検知用画像処理方法。
  7. ガス検知対象領域を含む被写体について、時系列に撮像された複数の赤外画像に含まれるガス候補領域が、同じ位置から出ているガスであるのか、又は、流れているガスであるのかを識別するガス検知用画像処理プログラムであって、
    前記複数の赤外画像のそれぞれに対して、前記ガス候補領域を抽出する処理をすることにより、複数の第1画像を生成する第1処理ステップと、
    前記複数の第1画像のうち、第1所定期間に対応する2以上の前記第1画像を基にして、前記第1所定期間の少なくとも一部で前記ガス候補領域が出現していたことを示す第1出現領域を含む第2画像を生成する第2処理ステップと、
    前記複数の第1画像のうち、前記第1所定期間に含まれない期間を含む第2所定期間に対応する2以上の前記第1画像を基にして、前記第2所定期間の少なくとも一部で前記ガス候補領域が出現していたことを示す第2出現領域を含む第3画像を生成する第3処理ステップと、
    前記第3画像において、前記第2画像の前記第1出現領域に相当する領域の周辺に周辺領域を設定する設定ステップと、
    前記周辺領域における前記第2出現領域の大きさに基づいて、前記ガス候補領域が、同じ位置から出ているガスであるのか、又は、流れているガスであるのかを識別する識別ステップと、をコンピュータに実行させるガス検知用画像処理プログラム。
JP2019513474A 2017-05-02 2018-04-18 ガス検知用画像処理装置、ガス検知用画像処理方法、及び、ガス検知用画像処理プログラム Active JP6579291B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017091796 2017-05-02
JP2017091796 2017-05-02
PCT/JP2018/016005 WO2018203480A1 (ja) 2017-05-02 2018-04-18 ガス検知用画像処理装置、ガス検知用画像処理方法、及び、ガス検知用画像処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2018203480A1 JPWO2018203480A1 (ja) 2019-06-27
JP6579291B2 true JP6579291B2 (ja) 2019-09-25

Family

ID=64016612

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019513474A Active JP6579291B2 (ja) 2017-05-02 2018-04-18 ガス検知用画像処理装置、ガス検知用画像処理方法、及び、ガス検知用画像処理プログラム

Country Status (3)

Country Link
US (1) US11393096B2 (ja)
JP (1) JP6579291B2 (ja)
WO (1) WO2018203480A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3136995A1 (en) * 2019-05-07 2020-11-12 Eric Bergeron System and method for determining an indication of a presence of a leak of hazardous material using a trained classification module
WO2021246185A1 (ja) * 2020-06-05 2021-12-09 コニカミノルタ株式会社 ガス移動推測装置、ガス移動推測方法、推測モデル生成装置、推測モデル生成方法、および、プログラム
WO2023060208A1 (en) * 2021-10-06 2023-04-13 Colorado State University Research Foundation Plume identification algorithm for optical natural gas emissions imaging

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63163681A (ja) * 1986-12-26 1988-07-07 Matsushita Electric Ind Co Ltd 自動監視装置
US5656813A (en) * 1995-04-04 1997-08-12 Gmd Systems, Inc. Apparatus for imaging gas
JP3776681B2 (ja) * 2000-06-06 2006-05-17 ホーチキ株式会社 ガス監視装置
JP2006268200A (ja) * 2005-03-22 2006-10-05 Nagasaki Univ 炎・ガス煙検出システムおよび炎・ガス煙検出方法
US7358860B2 (en) * 2005-03-31 2008-04-15 American Air Liquide, Inc. Method and apparatus to monitor and detect cryogenic liquefied gas leaks
US8269171B2 (en) * 2008-09-26 2012-09-18 Bae Systems Information And Electronic Systems Integration Inc. System and method for detecting, tracking and identifying a gas plume
US8165340B2 (en) * 2009-10-07 2012-04-24 Lawrence Livermore National Security, Llc Methods for gas detection using stationary hyperspectral imaging sensors
JP5343054B2 (ja) 2010-09-09 2013-11-13 三菱電機ビルテクノサービス株式会社 ガス漏れ検出装置
KR101131095B1 (ko) * 2011-06-10 2012-04-02 주식회사 창성에이스산업 가스누설감지 시스템 및 방법
EP2590138B1 (en) * 2011-11-07 2019-09-11 Flir Systems AB Gas visualization arrangements, devices, and methods
EP2861411B1 (en) * 2012-06-19 2021-06-23 Convergent Manufacturing Technologies Inc. Detection, monitoring, and management of gas presence, gas flow and gas leaks in composites manufacturing
US9225915B2 (en) * 2012-07-06 2015-12-29 Providence Photonics, Llc Calibration and quantification method for gas imaging camera
WO2015199911A1 (en) 2014-06-23 2015-12-30 Exxonmobil Upstream Research Company Methods and systems for detecting a chemical species
JP2016206139A (ja) 2015-04-28 2016-12-08 コニカミノルタ株式会社 ガス検出装置
WO2016188555A1 (en) * 2015-05-22 2016-12-01 Irnova Ab Infrared imaging detector
CN208060021U (zh) * 2015-06-16 2018-11-06 前视红外***股份公司 气体成像***
CN109937359A (zh) 2016-09-15 2019-06-25 前视红外***股份公司 场景上的气体的检测
TWI598584B (zh) 2016-12-23 2017-09-11 財團法人工業技術研究院 氣體洩漏檢測方法
CN111033231B (zh) * 2017-06-12 2023-11-24 前视红外***股份公司 用于量化气体泄漏的***和方法

Also Published As

Publication number Publication date
US20200082536A1 (en) 2020-03-12
US11393096B2 (en) 2022-07-19
WO2018203480A1 (ja) 2018-11-08
JPWO2018203480A1 (ja) 2019-06-27

Similar Documents

Publication Publication Date Title
JP6245418B2 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム
JP6319527B2 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法、ガス検知用画像処理プログラム、ガス検知用画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、及び、ガス検知システム
JP6579291B2 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法、及び、ガス検知用画像処理プログラム
WO2017101489A1 (zh) 图像滤波方法及装置
JP6579290B2 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法、及び、ガス検知用画像処理プログラム
US20190078966A1 (en) Gas Leak Position Estimation Device, Gas Leak Position Estimation Method And Gas Leak Position Estimation Program
WO2018123197A1 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム
JP7230813B2 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法、及び、ガス検知用画像処理プログラム
JP7156291B2 (ja) ガス検査レポート作成支援装置、ガス検査レポート作成支援方法、及び、ガス検査レポート作成支援プログラム
WO2018211778A1 (ja) ガス漏れ位置推定装置、ガス漏れ位置推定方法及びガス漏れ位置推定プログラム
JP7047638B2 (ja) ガス可視化用画像処理装置、ガス可視化用画像処理方法、ガス可視化用画像処理プログラム、及び、ガス検知システム
JP6604446B2 (ja) ガス状態判別方法とそれに用いる画像処理装置及び画像処理プログラム
WO2018123196A1 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム
JP2015177477A (ja) 画像処理装置、陽炎抑制方法及びプログラム
CN116580049A (zh) 运动目标检测方法及装置、计算机设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190307

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190307

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190307

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190409

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190730

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190812

R150 Certificate of patent or registration of utility model

Ref document number: 6579291

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150