JP2017207883A - 監視システム、カラーカメラ装置及び光学部品 - Google Patents
監視システム、カラーカメラ装置及び光学部品 Download PDFInfo
- Publication number
- JP2017207883A JP2017207883A JP2016099314A JP2016099314A JP2017207883A JP 2017207883 A JP2017207883 A JP 2017207883A JP 2016099314 A JP2016099314 A JP 2016099314A JP 2016099314 A JP2016099314 A JP 2016099314A JP 2017207883 A JP2017207883 A JP 2017207883A
- Authority
- JP
- Japan
- Prior art keywords
- image
- color
- flame
- band
- wavelength
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Blocking Light For Cameras (AREA)
- Fire-Detection Mechanisms (AREA)
- Studio Devices (AREA)
Abstract
Description
このように、従来の技術では、トンネル内や夜間における火や炎の検出に適したカラー画像を得ることができなかった。
すなわち、本発明に係る監視システムでは、監視エリア内の照明から放射されうる波長よりも長波長の所定の赤外域において各カラーチャネルが有意の相似する感度を有するカラー映像を用いて、前記監視エリア内の火炎の検出を行う。このため、監視エリア内の照明と火又は炎とを容易に区別することができる。
更に、本発明に係る監視システムでは、前記カラー映像から、所定の背景画像と比較して高輝度であるような画素又は画素ブロックを抽出し、該画素又は画素ブロックの属性が所定の属性と異なる場合に、火又は炎であると判断する画像処理装置を備える。そして、前記画素又は画素ブロックの属性として、該画素又は画素ブロックの大きさの変化率、輝度、該輝度の変化率、前記大きさと輝度の比、輪郭の強さ、輪郭の不規則さ、時間的に隣接する画素ブロック間での画素値の変化の多さ、色、スペクトル形状、前記カラー映像のフレームにおける位置、速度、及び加速度の内の少なくとも2つを含める構成とした。これにより、火又は炎かそれ以外(他の光源)かを精度よく判別することが可能となる。
このような構成によれば、所定の背景画像と比較して高輝度であるような画素のブロックの移動状況を効率よく追跡することができ、その移動状況から、火又は炎か否かを容易に判別可能となる。
このような構成によれば、監視エリア内の火や炎の検出に適したカラー映像を得ることができ、そのカラー映像を処理して得られるスペクトルに基づいて、火又は炎か否かを精度よく判別することができる。
すなわち、本発明に係るカラーカメラ装置は、帯域遮断光学フィルタと、第一の波長より長波長の近赤外線を遮断するIRカットフィルタと、前記帯域遮断光学フィルタ及び前記IRカットフィルタの挿抜を行うアクチュエータと、前記帯域遮断光学フィルタ若しくは前記IRカットフィルタを通して撮像を行う撮像素子と、を備え、前記帯域遮断光学フィルタは、可視光帯域、及び、前記第一の波長より長波長で且つ前記撮像素子の各色チャネルが略同一の分光感度特性を有する第二の波長において透過特性を有し、前記第一の波長より長波長で且つ第二の波長より短波長の帯域で遮断特性を有する構成とした。
このため、本発明に係るカラーカメラ装置によれば、監視エリア(例えば、トンネル内や夜間)における火や炎の検出に適したカラー画像を得ることができる。
すなわち、本発明に係る光学部品は、帯域遮断光学フィルタと、第一の波長より長波長の近赤外線を遮断するIRカットフィルタと、前記帯域遮断光学フィルタ及び前記IRカットフィルタの挿抜を行うアクチュエータと、を備え、前記帯域遮断光学フィルタは、可視光帯域、及び、前記第一の波長より長波長で且つ前記カラーカメラの撮像素子の各色チャネルが略同一の分光感度特性を有する第二の波長において透過特性を有し、前記第一の波長より長波長で且つ第二の波長より短波長の帯域で遮断特性を有し、前記カラーカメラのフランジ若しくは前記カラーカメラと前記カラーカメラに装着されるレンズとの間に固定的に取り付けられる光学部品である。
トンネル内において発生する火や炎としては、ガソリン等の油系資源の発火等によるものが想定され、具体的には油焚燃焼炎やガス焚燃焼炎が挙げられる。
図1には、油焚燃焼炎及びガス焚燃焼炎の波長帯域を示してある。同図のグラフにおいて、横軸は波長(nm)を表し、縦軸は相対強度を表す。
図1によれば、油焚燃焼炎とガス焚燃焼炎のいずれも、可視光帯域である約400nm〜650nmでは強度が低く、約650nm以上の帯域において徐々に強度が高くなり、約2500nm以上の帯域にピークが現れている。
図2には、トンネル内にあるこれらの光源の波長帯域を示してある。同図のグラフにおいて、横軸は波長(nm)を表し、縦軸は相対強度を表す。
図2によれば、蛍光灯及びLED照明は、約880nm以下の波長帯域に強度を有するが、約880nm以上には波長帯域が延びていない。一方、白熱灯及びハロゲンランプは、約880nm以下の波長帯域だけでなく、約880nm以上の波長帯域においても高い強度を有している。
このような事項を踏まえ、本発明の一実施形態に係る監視システムは、以下のように構成してある。なお、以下の説明では、主にトンネル内における火や炎の検出について説明するが、太陽光(自然光)の存在しない環境(夜間等)に一般化でき、更には自然光存在下においても適用できる可能性がある。
カメラ装置10は、IRカットフィルタ11と、バンドストップフィルタ12と、フィルタ切換え機構13と、撮像素子14と、映像信号処理部15と、を有している。
本例の撮像素子14は、Cy(シアン)、Ye(イエロー)、Mg(マゼンタ)、Gr(グリーン)の色成分のベイヤーフィルタを有し、これらの色成分毎に光を検出する構成となっており、いずれの色成分も約880nm以上の波長帯域にまで分光感度を有している。ここで、ベイヤーフィルタとは、正方格子状の画素配置に対して、縦2画素、横2画素の略正方形内の4画素を単位として周期的に配置されるカラーフィルタアレイを意味し、補色系や色差線順次方式をも含む意味で用いる。オンチップフィルタの材料として主流の色素含有レジストは、880nm以上の長波長光をほぼ一律に透過する。図4にみられる長波長での感度低下は、素子自体の光電変換効率の低下による。Si撮像素子では、分光感度の長波長側の限界は約1000nmである。
画像処理部21は、カメラ装置10から送信される監視エリアの画像を画像処理し、監視エリア内における火や炎の検出を行う。
リモート制御部22は、カメラ装置10に対し、撮影に使用する光学フィルタ(IRカットフィルタ11又はバンドストップフィルタ12)を指示する制御信号を送信する。
画像処理装置20は、トンネル内の火や炎の検出処理を行う場合、リモート制御部22により、バンドストップフィルタ12を撮影に使用する指示を含む制御信号をカメラ装置10に送信する。これにより、カメラ装置10では、バンドストップフィルタ12による火・炎強調カラー撮影モードで監視エリアが撮影され、画像処理装置20に送信されることになる。
まず、画像処理装置20は、火・炎強調カラー撮影モードに切り替える前(望ましくは直前)に、通常カラー撮影モードの最後の画像(通常画像)を保持する。
IBulb = mg・av0+cy・av1+gr・av2+ye・av3+mg’・av4+cy’・av5+gr’・av6+ye’・av7
IFire = mg・ai0+cy・ai1+gr・ai2+ye・ai3+mg’・ai4+cy’・ai5+gr’・ai6+ye’・ai7
により得られる。そしてこの2つの信号IBulb、IFireの比較により、火炎らしさを判断する。予測誤差が保持されている場合は、IBulb < IFireであって、予測誤差が所定値以下の画素を、火炎らしいと判断する。予測誤差が大きい時は、被写体の時間的変化が激しすぎる、或いは動き補償が適切に行われていない可能性があり、その画素では火炎の判断は行わない。
なお、2つの信号IBulb、IFireの算出においては、2次以上の項(mg・ye・a8+mg・cy・a9+…)を加えた計算式やルックアップテーブルを用いたり、対数化やガンマ処理をした輝度値を用いてもよい。また本方式の処理は、画像処理装置20ではなく映像信号処理部15内で行ってもよく、通常画像と強調画像の撮影の順序は逆でもよい。また、上述の動き検出や動き補償は、新たにカメラ装置10から送信された符号化映像を画像処理装置20で復号化する際に通常行われる処理と、共通化してもよい。
まず、火・炎強調カラー撮影モードによる監視エリアの画像から、火や炎の可能性がある画素のブロック(以下、候補画素ブロックという)を抽出する処理を行う。例えば、火や炎が発生しておらず且つ白熱灯やハロゲンランプを灯した車両が走行していない状態で撮影した基準画像を用意しておき、基準画像と比較して明るく撮影された部分を、候補画素ブロックとして抽出する。これにより、トンネル内を走行する車両の灯火の他、トンネル内の火や炎が存在する場合にそれに該当する画素ブロックが候補画素ブロックとして抽出される。候補画素ブロックは、後で輪郭を評価する都合、実際に明るく撮影された部分よりも大きめに切り出される。また、明るいか否かの閾値は、被写体までの距離に応じて、画像内で変化させることが望ましい。また、所定のサイズに満たない画素ブロックは、輪郭等の評価が困難なため、候補画素ブロックにしない。
なお、画像処理装置20により火や炎が検出されたことを他の手法によりオペレータに報知してもよく、例えば、その旨を知らせる音声の出力、所定のLEDの点灯や点滅などにより、オペレータに報知することができる。
本例の画像処理部21は、領域分割器31、背景更新部32、白色ハイライト評価部33、領域抽出部34、関心領域保持部35、動き検出部36、ヒストグラム算出部37、1次火炎識別部38、原画取得部39、2次火炎識別部40を有している。
背景更新部32は、入力画像を十分な時間、平均化して、ヘッドライト等が抑圧された1枚の画像(以下、背景画像という)を生成する。或いは、予めそのような背景画像を生成し、固定的に保持するものでもよい。
Y=0.25×(C+M+Y+G)
U=C+M−(Y+G)
V=−C+M+Y−G
この色分離の方法は単純であるが、暗所における灯火や火炎のように、独立したスポット状の光源であって、一つの光源内ではほぼ同一色であることが期待できる被写体に対して効果的である。なお、もしそのようなデモザイキングが為されていない画像信号をカメラ装置10から受信している場合であっても、計算により補間された画素値を破棄し、本来の画素値を維持している画素から再度デモザイキングを行うことは可能である。
2値化の際のしきい値は、2値化により真となる画素の割合等が所定値以下になるように適応制御され、また、周辺画素での2値化結果に応じて局所的にも調整される。局所的な調整は、周辺に真が無い時に閾値が下げられ、周辺に真がある時に閾値が上げられるような調整である。
動き検出部36は、領域抽出部34からの現在の関心領域情報と、関心領域保持部35からの過去の関心領域情報とを、類似するもの同士を対応付けることで追跡し、各領域の見かけ上の動き、及び動きの時間的変化(つまり加速度)を検出し、関心領域情報に動き情報として付加して出力する。ここで行う追跡は、先に述べた強度比較方式における動き補償に相当する。
2次火炎識別部40は、原画取得部39からの関心領域の原画像に対し、周波数分析を行い、火や炎の揺らぎに起因する高周波成分の強度に基づいて、火や炎か否かを最終判定する。火や炎を含む画像では、高周波領域のスペクトルに特徴的な傾向が現れる。例えば、原画像のフレーム間差分について空間周波数分析を行うと、火や炎に特徴的なスペクトルの傾きが現れるので、特段の学習等を行うことなく、傾きが所定の範囲内であるかを判別するだけで判定することができる。このため、計算コストの高いFFT演算を常時行う必要が無く、安価な画像処理装置で実現することができる。なお周波数分析の代わりに各種の特徴量(テクスチャ特徴の一種であるガボールウェーブレット特徴等)を利用してよく、サポートベクターマシン等の識別器で判定してもよい。
このため、1台のカメラ装置10で、通常の道路監視と火や炎の発生監視とを行うことができ、火災発生の初期段階で火や炎を検出することが容易となる。
また、カメラ装置10は、撮像素子14として通常の単板カラーセンサー素子を用いることができるため、一般的なカメラ装置と同等程度のコストで製造することができる。
このような構成により、トンネル内や夜間における放電灯やLED照明の光を抑えて火や炎の像の振幅が強調された(つまり火や炎に対してS/Nが改善された)カラー画像を得ることができ、画像処理による火や炎の検出精度が従来の技術よりも高められる。
また、約880から1000nmの波長帯域に感度を持たせたことで、920〜950nmにピークを有する水素火炎を可視化し或いは検出することができる。
IRカットフィルタ11、バンドストップフィルタ12、フィルタ切換え機構13は、カメラ装置10内に設けられるものに限らず、レンズ交換式のカメラ装置におけるレンズ装着面であるフランジ若しくはカメラ装置とカメラ装置に装着されるレンズとの間にアダプターとして設けられてもよい。例えば、17.526mmのフランジバックのCマウントレンズに適応したカメラ装置に対し、よりフランジバックの長い一眼レフカメラ用のレンズを装着するようなときに用いられるマウント変換アダプターの内部に、これらの構成を備えることもできる。
20:画像処理装置、 21:画像処理部、 22:リモート制御部、
31:領域分割器、 32:背景更新部、 33:白色ハイライト評価部、 34:領域抽出部、 35:関心領域保持部、 36:動き検出部、 37:ヒストグラム算出部、 38:1次火炎識別部、 39:原画取得部、 40:2次火炎識別部
Claims (8)
- 監視エリア内の照明から放射されうる波長よりも長波長の所定の赤外域において各カラーチャネルが有意の相似する感度を有するカラー映像を用いて、前記監視エリア内の火炎を検出する監視システムであって、
前記カラー映像から、所定の背景画像と比較して高輝度であるような画素又は画素ブロックを抽出し、該画素又は画素ブロックの属性が所定の属性と異なる場合に、火又は炎であると判断する画像処理装置を備えた監視システム。 - 請求項1に記載の監視システムにおいて、
前記画素又は画素ブロックの属性は、該画素又は画素ブロックの大きさの変化率、輝度、該輝度の変化率、前記大きさと輝度の比、輪郭の強さ、輪郭の不規則さ、時間的に隣接する画素ブロック間での画素値の変化の多さ、色、スペクトル形状、前記カラー映像のフレームにおける位置、速度、及び加速度の内の少なくとも2つを含むことを特徴とする監視システム。 - 請求項2に記載の監視システムにおいて、
前記画素又は画素ブロックは、前記画像処理装置によって、所定の背景画像と比較して高輝度であるような画素のブロックとして抽出され、時間的に近接するフレーム間で、前記位置又は前記速度の属性を利用して移動が追跡されることを特徴とする監視システム。 - 請求項1又は2に記載の監視システムにおいて、
前記カラー映像は、前記所定の赤外域において透過特性を有する光学フィルタと、少なくとも前記所定の赤外域を含む近赤外帯域において遮断特性を有するIRカットフィルタとを遠隔制御で択一的に挿入できるカメラで撮影されたカラー映像であることを特徴とする監視システム。 - 請求項4に記載の監視システムにおいて、
前記画像処理装置は、前記光学フィルタの挿抜状態を異ならせて撮像した、時間的に近接する複数の画像から、1枚の画像よりも多い色チャネルを有する画像を合成し、当該合成した画像から、火及び炎に対する感度が異なる複数の信号を計算し、火及び炎とそれ以外の光源との間のスペクトルの違いを判別することを特徴とする監視システム。 - 請求項1乃至5のいずれかに記載の監視システムにおいて、
前記所定の赤外域の短波長側の端は、略880nmであることを特徴とする監視システム。 - 監視エリア内における火及び炎の検出に供される画像を撮影するカラーカメラ装置において、
帯域遮断光学フィルタと、第一の波長より長波長の近赤外線を遮断するIRカットフィルタと、前記帯域遮断光学フィルタ及び前記IRカットフィルタの挿抜を行うアクチュエータと、前記帯域遮断光学フィルタ若しくは前記IRカットフィルタを通して撮像を行う撮像素子と、を備え、
前記帯域遮断光学フィルタは、可視光帯域、及び、前記第一の波長より長波長で且つ前記撮像素子の各色チャネルが略同一の分光感度特性を有する第二の波長において透過特性を有し、前記第一の波長より長波長で且つ第二の波長より短波長の帯域で遮断特性を有することを特徴とするカラーカメラ装置。 - 監視エリア内における火及び炎の検出に供される画像を撮影するカラーカメラのための光学部品であって、
帯域遮断光学フィルタと、第一の波長より長波長の近赤外線を遮断するIRカットフィルタと、前記帯域遮断光学フィルタ及び前記IRカットフィルタの挿抜を行うアクチュエータと、を備え、
前記帯域遮断光学フィルタは、可視光帯域、及び、前記第一の波長より長波長で且つ前記カラーカメラの撮像素子の各色チャネルが略同一の分光感度特性を有する第二の波長において透過特性を有し、前記第一の波長より長波長で且つ第二の波長より短波長の帯域で遮断特性を有し、
前記カラーカメラのフランジ若しくは前記カラーカメラと前記カラーカメラに装着されるレンズとの間に固定的に取り付けられる光学部品。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016099314A JP6722041B2 (ja) | 2016-05-18 | 2016-05-18 | 監視システム |
JP2020081879A JP6906084B2 (ja) | 2016-05-18 | 2020-05-07 | カラーカメラ装置及び光学部品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016099314A JP6722041B2 (ja) | 2016-05-18 | 2016-05-18 | 監視システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020081879A Division JP6906084B2 (ja) | 2016-05-18 | 2020-05-07 | カラーカメラ装置及び光学部品 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017207883A true JP2017207883A (ja) | 2017-11-24 |
JP6722041B2 JP6722041B2 (ja) | 2020-07-15 |
Family
ID=60415565
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016099314A Active JP6722041B2 (ja) | 2016-05-18 | 2016-05-18 | 監視システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6722041B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102088956B1 (ko) * | 2018-10-04 | 2020-03-13 | 국방과학연구소 | 빛 공격 방어를 위한 무인 카메라 및 그 제어 방법 |
JP2020143802A (ja) * | 2019-03-04 | 2020-09-10 | 日立造船株式会社 | 情報処理装置、焼却制御装置、情報処理方法、および情報処理プログラム |
CN111985489A (zh) * | 2020-09-01 | 2020-11-24 | 安徽炬视科技有限公司 | 一种结合目标跟踪及运动分析的夜间灯光与火焰分类判别算法 |
CN114627610A (zh) * | 2022-03-14 | 2022-06-14 | 周瑛 | 一种基于图像识别的灾情处理方法及装置 |
WO2023036034A1 (zh) * | 2021-09-10 | 2023-03-16 | 荣耀终端有限公司 | 图像处理方法及其相关设备 |
-
2016
- 2016-05-18 JP JP2016099314A patent/JP6722041B2/ja active Active
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102088956B1 (ko) * | 2018-10-04 | 2020-03-13 | 국방과학연구소 | 빛 공격 방어를 위한 무인 카메라 및 그 제어 방법 |
JP2020143802A (ja) * | 2019-03-04 | 2020-09-10 | 日立造船株式会社 | 情報処理装置、焼却制御装置、情報処理方法、および情報処理プログラム |
JP7208829B2 (ja) | 2019-03-04 | 2023-01-19 | 日立造船株式会社 | 情報処理装置、焼却制御装置、情報処理方法、および情報処理プログラム |
CN111985489A (zh) * | 2020-09-01 | 2020-11-24 | 安徽炬视科技有限公司 | 一种结合目标跟踪及运动分析的夜间灯光与火焰分类判别算法 |
CN111985489B (zh) * | 2020-09-01 | 2024-04-02 | 安徽炬视科技有限公司 | 一种结合目标跟踪及运动分析的夜间灯光与火焰分类判别算法 |
WO2023036034A1 (zh) * | 2021-09-10 | 2023-03-16 | 荣耀终端有限公司 | 图像处理方法及其相关设备 |
CN114627610A (zh) * | 2022-03-14 | 2022-06-14 | 周瑛 | 一种基于图像识别的灾情处理方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6722041B2 (ja) | 2020-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6722041B2 (ja) | 監視システム | |
KR101747603B1 (ko) | 컬러 나이트 비전 시스템 및 그 동작 방법 | |
JP6394338B2 (ja) | 画像処理装置、画像処理方法、及び撮像システム | |
JP6553624B2 (ja) | 計測機器、及びシステム | |
JP6029954B2 (ja) | 撮像装置 | |
US20120314085A1 (en) | Video image display screen, video image display system, and method for detecting camera used in illegal camcording | |
US10725216B2 (en) | Onboard camera | |
KR102059906B1 (ko) | 장면에서 안개를 검출하기 위한 방법 및 이미지 캡처링 디바이스 | |
CN107820066A (zh) | 一种低照度彩色摄像机 | |
CN108716982A (zh) | 光学元件检测方法、装置、电子设备和存储介质 | |
KR20160047196A (ko) | 고 조도 환경 및 저 조도 환경에서 동작 가능한 시점 추적 장치 및 그 방법 | |
JP2013242686A (ja) | 信号機検出装置及び信号機検出方法 | |
KR101534046B1 (ko) | 환경에 따른 자동 필터체인지 카메라 | |
CN113126252B (zh) | 微光成像*** | |
CN112770021B (zh) | 摄影机与滤片切换方法 | |
JP6906084B2 (ja) | カラーカメラ装置及び光学部品 | |
JP2012010282A (ja) | 撮像装置、露光制御方法及び露光制御プログラム | |
WO2020026561A1 (ja) | 画像処理装置と画像処理方法とプログラムおよび撮像装置 | |
JP2007235760A (ja) | 紫外線画像および赤外線画像を撮像する撮像装置および撮像方法 | |
US11589028B2 (en) | Non-same camera based image processing apparatus | |
JP2012008845A (ja) | 画像処理装置 | |
US10829042B2 (en) | Imaging apparatus with image sensor for detecting light in an atmospheric peak and vehicle having same | |
JP6525723B2 (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
KR20170032158A (ko) | 촬상 장치 | |
WO2017021417A1 (en) | Method for operating a camera system with a plenoptic camera, camera system and motor vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190507 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200305 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200310 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200507 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200526 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200619 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6722041 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |