JPH06294809A - 移動物体検出方法および装置 - Google Patents
移動物体検出方法および装置Info
- Publication number
- JPH06294809A JPH06294809A JP8214093A JP8214093A JPH06294809A JP H06294809 A JPH06294809 A JP H06294809A JP 8214093 A JP8214093 A JP 8214093A JP 8214093 A JP8214093 A JP 8214093A JP H06294809 A JPH06294809 A JP H06294809A
- Authority
- JP
- Japan
- Prior art keywords
- image
- moving
- moving body
- moving object
- signal value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Indicating Or Recording The Presence, Absence, Or Direction Of Movement (AREA)
Abstract
(57)【要約】
【目的】 正常時の基準画像を用いずに多種多様な外乱
や曖昧な情報を含む対象画像を正確に診断する移動物体
検出方法を提供する。 【構成】 監視カメラのような画像情報取出装置により
短い時間間隔を隔てて監視領域について取込んだ第1画
像と第2画像を移動体検知器に伝送する操作を繰り返
し、移動体検出器内では操作ごとの第1画像と第2画像
の差画像を求めることにより、領域内に出現した移動体
を検出し、検出した移動体の画素に対するメモリに所定
の信号値を与え、移動体がほぼ一定の方向に移動してい
ればその信号値を移動時間または移動距離に従って増幅
し、そうでない移動体に対する信号値値は増減を繰り返
すことにより所定値を越えないようにし、所定値を越え
た移動物体についてのみ、その大きさ、形状的特長量を
予め学習したニューラルネットワークのような移動体判
断装置に入力して対象とする移動物体か否か判断する。
や曖昧な情報を含む対象画像を正確に診断する移動物体
検出方法を提供する。 【構成】 監視カメラのような画像情報取出装置により
短い時間間隔を隔てて監視領域について取込んだ第1画
像と第2画像を移動体検知器に伝送する操作を繰り返
し、移動体検出器内では操作ごとの第1画像と第2画像
の差画像を求めることにより、領域内に出現した移動体
を検出し、検出した移動体の画素に対するメモリに所定
の信号値を与え、移動体がほぼ一定の方向に移動してい
ればその信号値を移動時間または移動距離に従って増幅
し、そうでない移動体に対する信号値値は増減を繰り返
すことにより所定値を越えないようにし、所定値を越え
た移動物体についてのみ、その大きさ、形状的特長量を
予め学習したニューラルネットワークのような移動体判
断装置に入力して対象とする移動物体か否か判断する。
Description
【0001】
【産業上の利用分野】本発明は、移動物体検出方法およ
び装置に関り、特に画像情報中に検知対象となる移動体
以外にも移動体があるような場合の、対象とする移動物
体を正確に検出することができる移動物体検出方法およ
び装置に関する。
び装置に関り、特に画像情報中に検知対象となる移動体
以外にも移動体があるような場合の、対象とする移動物
体を正確に検出することができる移動物体検出方法およ
び装置に関する。
【0002】
【従来の技術】火力プラントにおいては、設備の長寿命
化、パトロールの省力化等の要請により、設備監視の自
動化に対する要求が高まっている。そのため重要機器
(例えばボイラへの燃料供給装置、バーナ部、蒸気配管
の主要バルブ等)を監視テレビカメラを用いて、モニタ
ーテレビ上で集中的に監視する方法が広く用いられてい
る。また、近年の画像処理技術および処理装置の進展に
伴い、監視テレビカメラからの画像を画像処理して異常
の有無判断に使用するケースがFA(Factory
Automation)分野からの波及として増加する
傾向にある。
化、パトロールの省力化等の要請により、設備監視の自
動化に対する要求が高まっている。そのため重要機器
(例えばボイラへの燃料供給装置、バーナ部、蒸気配管
の主要バルブ等)を監視テレビカメラを用いて、モニタ
ーテレビ上で集中的に監視する方法が広く用いられてい
る。また、近年の画像処理技術および処理装置の進展に
伴い、監視テレビカメラからの画像を画像処理して異常
の有無判断に使用するケースがFA(Factory
Automation)分野からの波及として増加する
傾向にある。
【0003】しかしながら、テレビカメラでは監視領域
が限られ、ボイラプラント全体をカバーできず、実際に
は巡視員による1日約6〜7回の目視、または聴覚によ
る巡視点検が行われている。この巡視点検業務は異常発
見に対して熟練を要するものであり、かなりの負担とな
っている。また発電所のニーズとして監視の中央集中
化、または省力化に伴う人的な制約があり、現在、巡視
員に代わって現場を巡視点検するロボットが開発されて
いる。
が限られ、ボイラプラント全体をカバーできず、実際に
は巡視員による1日約6〜7回の目視、または聴覚によ
る巡視点検が行われている。この巡視点検業務は異常発
見に対して熟練を要するものであり、かなりの負担とな
っている。また発電所のニーズとして監視の中央集中
化、または省力化に伴う人的な制約があり、現在、巡視
員に代わって現場を巡視点検するロボットが開発されて
いる。
【0004】人間の巡視に対する機能を分析すると、
(1)状態把握、(2)移動、(3)状況判断(正常ま
たは異常)、(4)処理機能に大別され、これに相当す
るシステム機能は、(1)センサ技術、(2)移動機
能、(3)コンピュータ技術、(4)運転ガイダンス表
示となる。
(1)状態把握、(2)移動、(3)状況判断(正常ま
たは異常)、(4)処理機能に大別され、これに相当す
るシステム機能は、(1)センサ技術、(2)移動機
能、(3)コンピュータ技術、(4)運転ガイダンス表
示となる。
【0005】これらのシステムを具体化し、ロボットに
よる点検システムを実現させると、その概略は次の3つ
の部分から構成される。(1)現場を巡回点検する監視
ロボット、(2)監視ロボットからの情報を処理し、異
常の有無を判断する異常判断装置、(3)現場からの生
画像、生音響を提示し、異常判断装置から異常ありの判
断があれば、異常内容の提示を行うマン・マシン・イン
ターフェイス。
よる点検システムを実現させると、その概略は次の3つ
の部分から構成される。(1)現場を巡回点検する監視
ロボット、(2)監視ロボットからの情報を処理し、異
常の有無を判断する異常判断装置、(3)現場からの生
画像、生音響を提示し、異常判断装置から異常ありの判
断があれば、異常内容の提示を行うマン・マシン・イン
ターフェイス。
【0006】監視ロボットには人間の五感のうち視覚、
聴覚、嗅覚および触覚に匹敵するITVカメラ、マイク
ロフォン、ガスセンサおよび非接触型の温度計を搭載し
ている。これらのセンサを用い、現場内を移動し、各情
報を収集する。この情報を異常判断装置にて、画像デー
タであれば画像処理、音響データであれば音響処理とい
ったように処理し、異常の有無を判断する。
聴覚、嗅覚および触覚に匹敵するITVカメラ、マイク
ロフォン、ガスセンサおよび非接触型の温度計を搭載し
ている。これらのセンサを用い、現場内を移動し、各情
報を収集する。この情報を異常判断装置にて、画像デー
タであれば画像処理、音響データであれば音響処理とい
ったように処理し、異常の有無を判断する。
【0007】ここで異常の検出例を述べる。異常項目は
監視対象、監視場所によって異なるが、ボイラプラント
を例にとると、主に油リーク、蒸気リークに絞られる。
これらのリークは放っておくと重大事故につながり、早
期発見が要求されている項目である。油リークは画像変
化のみを伴うもので、画像変化だけに注目し画像処理を
行い、異常を抽出する。以下に、現在行われている異常
検出画像処理手順を、油リーク検出を例にとり説明す
る。
監視対象、監視場所によって異なるが、ボイラプラント
を例にとると、主に油リーク、蒸気リークに絞られる。
これらのリークは放っておくと重大事故につながり、早
期発見が要求されている項目である。油リークは画像変
化のみを伴うもので、画像変化だけに注目し画像処理を
行い、異常を抽出する。以下に、現在行われている異常
検出画像処理手順を、油リーク検出を例にとり説明す
る。
【0008】画像処理フローチャートを図4に示す。同
図中に示すように、ロボットは第1画像として対象とな
る機器や場所の正常時の状態を基準画像Aとしてメモリ
ーに記憶しておく。ボイラでいえば、油リークの発生確
率が高い場所(油配管のフランジ部、バーナ前のオイル
パン(漏れた油を受ける皿状物)等)の正常時の画像で
ある。また2値化処理とは、画像を画素単位でとらえ、
あるしきい値を基準に輝度の高いものを黒、低いものを
白とする処理であり、一般に画像処理の前処理として行
われているものである。
図中に示すように、ロボットは第1画像として対象とな
る機器や場所の正常時の状態を基準画像Aとしてメモリ
ーに記憶しておく。ボイラでいえば、油リークの発生確
率が高い場所(油配管のフランジ部、バーナ前のオイル
パン(漏れた油を受ける皿状物)等)の正常時の画像で
ある。また2値化処理とは、画像を画素単位でとらえ、
あるしきい値を基準に輝度の高いものを黒、低いものを
白とする処理であり、一般に画像処理の前処理として行
われているものである。
【0009】ロボットが巡回を行い、第1画像を記憶し
た場所に再度停止すると、図中のフローチャートのよう
な処理を行う。すなわち、第1画面として取込んだ同じ
対象を第2画面として取込む。この第2画面の取込み
は、短時間間隔で複数枚の画面を取込み、それら画像の
平均値処理を行ったものを第2画面Bとして取込む。こ
の平均化処理は、複数枚の画面中の、例えば1つの画面
内のノイズによるシミなどを薄める効果がある。次に第
1画像と第2画像の減算を行い変化分を差画像として抽
出し、次いで差画像について2値化処理を行い、ノイズ
除去したのち、差画像中の必要部分のみを取出すウイン
ドウ設定を行い、ウインドウ内の画像中の白と黒の部分
の面積割合を表わすヒストグラムを作成する。次いで白
の部分の面積割合のW%によって異常か否かを判定して
いる。この面積計算を行う理由は以下のとおりである。
た場所に再度停止すると、図中のフローチャートのよう
な処理を行う。すなわち、第1画面として取込んだ同じ
対象を第2画面として取込む。この第2画面の取込み
は、短時間間隔で複数枚の画面を取込み、それら画像の
平均値処理を行ったものを第2画面Bとして取込む。こ
の平均化処理は、複数枚の画面中の、例えば1つの画面
内のノイズによるシミなどを薄める効果がある。次に第
1画像と第2画像の減算を行い変化分を差画像として抽
出し、次いで差画像について2値化処理を行い、ノイズ
除去したのち、差画像中の必要部分のみを取出すウイン
ドウ設定を行い、ウインドウ内の画像中の白と黒の部分
の面積割合を表わすヒストグラムを作成する。次いで白
の部分の面積割合のW%によって異常か否かを判定して
いる。この面積計算を行う理由は以下のとおりである。
【0010】画像と画像とのマッチングは、一般的に固
定カメラで同一場所を取込んだ画像同士でも、必ず1画
素分程度のずれを生じる。これは対象機器の振動等、人
間には変化がわからないような微少な変化分のためであ
る。まして現在行っている監視システムにおいては、固
定カメラではなく、ロボットによる移動カメラを利用し
た画像であり、位置決め再現性は常識的に限度がある。
このずれによる変化分を誤判断しないために、判定基準
にしきい値を設けている。この基準は現在3%としてい
る。すなわち面積計算を行い、変化分が3%以内である
とずれによる画像変化であるとみなし、異常なしと判定
し、3%以上であると異常と判定する。
定カメラで同一場所を取込んだ画像同士でも、必ず1画
素分程度のずれを生じる。これは対象機器の振動等、人
間には変化がわからないような微少な変化分のためであ
る。まして現在行っている監視システムにおいては、固
定カメラではなく、ロボットによる移動カメラを利用し
た画像であり、位置決め再現性は常識的に限度がある。
このずれによる変化分を誤判断しないために、判定基準
にしきい値を設けている。この基準は現在3%としてい
る。すなわち面積計算を行い、変化分が3%以内である
とずれによる画像変化であるとみなし、異常なしと判定
し、3%以上であると異常と判定する。
【0011】この種の異常検知手法は一般的であり、製
品としては無人監視用デジタル画像センサ等の異常判断
ロジックで使用されている(ただしカメラは固定)。以
上、プラントにおけるロボットによる監視システムの構
成および画像処理手法を利用した異常検知判定例を述べ
た。しかしながら、前述したように、常に基準画像をメ
モリとして持っていなくてはならないという以下のよう
な問題点がある。 (1)日照変化の影響を受け易い(朝基準画像を取込
み、昼に点検に来たら影ができており、その影を異常と
判定することがある)。 (2)基準画像を点検場所、監視対象物ごとに持たなけ
ればならず、ロボットのメモリが巨大になる。 (3)テレビカメラがとらえた画面内であれば、オイル
パン以外の変化、例えばバーナ交換等の定期的作業中で
あっても異常(基準画像と違うもの)と判断してしま
う。
品としては無人監視用デジタル画像センサ等の異常判断
ロジックで使用されている(ただしカメラは固定)。以
上、プラントにおけるロボットによる監視システムの構
成および画像処理手法を利用した異常検知判定例を述べ
た。しかしながら、前述したように、常に基準画像をメ
モリとして持っていなくてはならないという以下のよう
な問題点がある。 (1)日照変化の影響を受け易い(朝基準画像を取込
み、昼に点検に来たら影ができており、その影を異常と
判定することがある)。 (2)基準画像を点検場所、監視対象物ごとに持たなけ
ればならず、ロボットのメモリが巨大になる。 (3)テレビカメラがとらえた画面内であれば、オイル
パン以外の変化、例えばバーナ交換等の定期的作業中で
あっても異常(基準画像と違うもの)と判断してしま
う。
【0012】以上の問題点を整理してみると、基準画像
を必要とすること、異常と判断するべきもの(油・水蒸
気)とそうでないもの(人・影等)との分類がなされな
いことに集約される。また同じく開発が進められている
ものの中に、屋外、屋内におけるカメラを利用した侵入
者・不審者の検知システムがある。
を必要とすること、異常と判断するべきもの(油・水蒸
気)とそうでないもの(人・影等)との分類がなされな
いことに集約される。また同じく開発が進められている
ものの中に、屋外、屋内におけるカメラを利用した侵入
者・不審者の検知システムがある。
【0013】上記システムは、従来では監視カメラによ
り採取した映像を人間が監視することによって行われて
いたものであるが、従来人間が行っていた侵入者・不審
者の検知を画像処理技術により行い、施設の保守、安
全、防犯の省力化を進めるシステムとしての要求が強ま
っている。上記システム中での適応を考えられている画
像処理手法は、前記したプラント監視技術で使われてい
る手法とほぼ同一のものである。
り採取した映像を人間が監視することによって行われて
いたものであるが、従来人間が行っていた侵入者・不審
者の検知を画像処理技術により行い、施設の保守、安
全、防犯の省力化を進めるシステムとしての要求が強ま
っている。上記システム中での適応を考えられている画
像処理手法は、前記したプラント監視技術で使われてい
る手法とほぼ同一のものである。
【0014】このシステムを屋外で適用するために考え
られる克服すべき問題点を挙げていくと以下のようにな
る。 (1)草木の風による揺れや波、潮の干満等の自然環境
の動きにも、基準画像との違いから、異常と判断してし
まう。 (2)小動物や昆虫等の出現にも、異常と判断してしま
う。
られる克服すべき問題点を挙げていくと以下のようにな
る。 (1)草木の風による揺れや波、潮の干満等の自然環境
の動きにも、基準画像との違いから、異常と判断してし
まう。 (2)小動物や昆虫等の出現にも、異常と判断してしま
う。
【0015】以上の問題点を整理すれば、前記した油リ
ーク監視と同じく基準画像を持つという点に起因してい
るということである。すなわち、人間が巡視点検を行
い、油リーク、侵入者等を見つける場合は、前回に見た
画像を思い出し、比較するような方法は行っていない。
しかし、人間は高度な脳を持っており、異常判断を行う
場合にも、あらゆる情報より判断を行う。
ーク監視と同じく基準画像を持つという点に起因してい
るということである。すなわち、人間が巡視点検を行
い、油リーク、侵入者等を見つける場合は、前回に見た
画像を思い出し、比較するような方法は行っていない。
しかし、人間は高度な脳を持っており、異常判断を行う
場合にも、あらゆる情報より判断を行う。
【0016】
【発明が解決しようとする課題】上記従来技術は、画像
処理方法における異常判定手法に、正常時の基準画像が
必要であり、正常時の数多くの定量化、モデル化が困難
な外乱に対する適切な除去について配慮されておらず、
誤判断または異常検知の限界が低いなどの問題があっ
た。表1は、検知対象とその外乱をまとめたものであ
る。
処理方法における異常判定手法に、正常時の基準画像が
必要であり、正常時の数多くの定量化、モデル化が困難
な外乱に対する適切な除去について配慮されておらず、
誤判断または異常検知の限界が低いなどの問題があっ
た。表1は、検知対象とその外乱をまとめたものであ
る。
【0017】
【表1】 要するに、正常時の基準画像は無限個あるので対応でき
ない。
ない。
【0018】また画像の経時的変化に伴う物体ごとの認
識ができないため、不定期的な正常な変化を誤認識して
しまう。本発明の目的は、上記従来技術の問題点を解決
し、正常時の基準画像を用いずに多種多様な外乱や曖昧
な情報を含む対象画像を正確に診断する移動物体検出方
法および装置を提供することにある。
識ができないため、不定期的な正常な変化を誤認識して
しまう。本発明の目的は、上記従来技術の問題点を解決
し、正常時の基準画像を用いずに多種多様な外乱や曖昧
な情報を含む対象画像を正確に診断する移動物体検出方
法および装置を提供することにある。
【0019】
【課題を解決するための手段】上記目的を達成するため
本願の第1の発明は、監視領域についての画像情報取出
装置からの画像情報による監視領域の移動物体検出方法
において、画像情報取出装置により所定時間間隔を隔て
て監視対象領域について取込んだ第1画像と第2画像を
移動体検出器に伝送する操作を繰返す工程と、移動体検
出器内で上記操作ごとの第1画像と第2画像の差画像を
求めることにより移動体を検出する工程と、検出した移
動体の画素に対応する移動体検出器中のメモリに所定の
信号値を与える工程と、移動体がほぼ一定の方向に移動
していれば該信号値を移動時間または移動距離に従って
増幅し、移動体検出器中のメモリ信号が所定値を超えた
ときその移動体を移動物体と認識する工程と、移動物体
と認識された物体について画像メモリの中からその大き
さおよび/または形状的特徴量を求め、求めたそれらの
情報信号を移動体判断装置に送る工程と、移動体判断装
置にてそれら情報信号に基づき監視対象とする移動物体
のみを抽出する工程とを備えたことを特徴とする移動物
体検出方法に関する。
本願の第1の発明は、監視領域についての画像情報取出
装置からの画像情報による監視領域の移動物体検出方法
において、画像情報取出装置により所定時間間隔を隔て
て監視対象領域について取込んだ第1画像と第2画像を
移動体検出器に伝送する操作を繰返す工程と、移動体検
出器内で上記操作ごとの第1画像と第2画像の差画像を
求めることにより移動体を検出する工程と、検出した移
動体の画素に対応する移動体検出器中のメモリに所定の
信号値を与える工程と、移動体がほぼ一定の方向に移動
していれば該信号値を移動時間または移動距離に従って
増幅し、移動体検出器中のメモリ信号が所定値を超えた
ときその移動体を移動物体と認識する工程と、移動物体
と認識された物体について画像メモリの中からその大き
さおよび/または形状的特徴量を求め、求めたそれらの
情報信号を移動体判断装置に送る工程と、移動体判断装
置にてそれら情報信号に基づき監視対象とする移動物体
のみを抽出する工程とを備えたことを特徴とする移動物
体検出方法に関する。
【0020】本願の第2の発明は、監視領域についての
監視カメラからの画像情報により監視領域の移動物体を
検出する方法において、監視カメラにより所定時間間隔
を隔てて監視領域についての第1画像と第2画像を取込
み、これを移動体検知器に伝送する操作を繰返し、移動
体検知器内で上記操作ごとの第1画像と第2画像の差画
像を求めることにより移動体を検出し、検出した移動体
に対応する移動体検出器中のメモリに所定の信号値を与
え、移動体がほぼ一定の方向に移動しておれば該信号値
を移動時間に従って増加または減少させ、移動体の移動
が振動的である場合は該信号値は増減を繰返して所定値
以上または以下とならない値となし、移動体検出器中の
メモリ信号が所定値以上または以下となったとき、その
移動体を移動物体と認識し、移動物体の形状的特徴量お
よび移動状況についての情報を移動体判断装置に伝送
し、該装置にてそれら情報に基づき監視対象とする移動
物体を検出することを特徴とする移動物体検出方法に関
する。
監視カメラからの画像情報により監視領域の移動物体を
検出する方法において、監視カメラにより所定時間間隔
を隔てて監視領域についての第1画像と第2画像を取込
み、これを移動体検知器に伝送する操作を繰返し、移動
体検知器内で上記操作ごとの第1画像と第2画像の差画
像を求めることにより移動体を検出し、検出した移動体
に対応する移動体検出器中のメモリに所定の信号値を与
え、移動体がほぼ一定の方向に移動しておれば該信号値
を移動時間に従って増加または減少させ、移動体の移動
が振動的である場合は該信号値は増減を繰返して所定値
以上または以下とならない値となし、移動体検出器中の
メモリ信号が所定値以上または以下となったとき、その
移動体を移動物体と認識し、移動物体の形状的特徴量お
よび移動状況についての情報を移動体判断装置に伝送
し、該装置にてそれら情報に基づき監視対象とする移動
物体を検出することを特徴とする移動物体検出方法に関
する。
【0021】本願の第3の発明は、監視領域についての
監視カメラからの画像情報により監視領域の移動物体を
検出する装置において、短い時間間隔を隔てて監視対象
領域について第1画像と第2画像を撮影し、これを移動
体検知器内に伝送する操作を繰返す監視カメラと、移動
体検知器内で上記操作ごとの第1画像と第2画像の差画
像を求めて移動体を検出する手段と、検出した移動体に
対応する移動体検出器中のメモリに所定の信号値を与え
る手段と、移動体の移動状況に応じて上記信号値を変更
して移動体がほぼ一定の方向に移動を続けたときにその
信号値がしきい値以上または以下とする手段と、信号値
がしきい値以上または以下となったときは移動体を移動
物体と認識してその形状的特徴量、大きさ、移動速度、
方向を求めこれら情報をニューラルネットワーク装置に
伝送する手段と、上記伝送された情報に基づき対象とす
る移動物体を検出するニューラルネットワーク装置とを
備えたことを特徴とする移動物体検出装置に関する。
監視カメラからの画像情報により監視領域の移動物体を
検出する装置において、短い時間間隔を隔てて監視対象
領域について第1画像と第2画像を撮影し、これを移動
体検知器内に伝送する操作を繰返す監視カメラと、移動
体検知器内で上記操作ごとの第1画像と第2画像の差画
像を求めて移動体を検出する手段と、検出した移動体に
対応する移動体検出器中のメモリに所定の信号値を与え
る手段と、移動体の移動状況に応じて上記信号値を変更
して移動体がほぼ一定の方向に移動を続けたときにその
信号値がしきい値以上または以下とする手段と、信号値
がしきい値以上または以下となったときは移動体を移動
物体と認識してその形状的特徴量、大きさ、移動速度、
方向を求めこれら情報をニューラルネットワーク装置に
伝送する手段と、上記伝送された情報に基づき対象とす
る移動物体を検出するニューラルネットワーク装置とを
備えたことを特徴とする移動物体検出装置に関する。
【0022】
【作用】本発明では監視対象領域について、短い時間間
隔を隔てて、監視カメラのような画像情報取出装置によ
り第1画像と第2画像を移動体検出器に取込み、その差
画像より監視領域に出現した移動体を検出するようにし
ているので、基準画像を準備する必要がない。また検出
した移動体についても、一定方向に移動している本当の
移動体についてのみ、その移動体の画素に対応するメモ
リの信号値が所定値以上に増幅され、単なる草木の揺れ
や波動については信号値が所定値を超えないようになっ
ているので、本当の移動体のみが移動物体と認識され、
認識された移動物体のみについて、その大きさ、形状的
特徴量、移動の状況を求めて、それら情報に基づいて監
視対象とする移動物体であるかどうかを学習済みのニュ
ーラルネットワークのような移動体判断装置により判断
しているので、検出と判断に要する処理手続きと時間が
短縮され、正確な判断結果が得られる。
隔を隔てて、監視カメラのような画像情報取出装置によ
り第1画像と第2画像を移動体検出器に取込み、その差
画像より監視領域に出現した移動体を検出するようにし
ているので、基準画像を準備する必要がない。また検出
した移動体についても、一定方向に移動している本当の
移動体についてのみ、その移動体の画素に対応するメモ
リの信号値が所定値以上に増幅され、単なる草木の揺れ
や波動については信号値が所定値を超えないようになっ
ているので、本当の移動体のみが移動物体と認識され、
認識された移動物体のみについて、その大きさ、形状的
特徴量、移動の状況を求めて、それら情報に基づいて監
視対象とする移動物体であるかどうかを学習済みのニュ
ーラルネットワークのような移動体判断装置により判断
しているので、検出と判断に要する処理手続きと時間が
短縮され、正確な判断結果が得られる。
【0023】
【実施例】本発明になる侵入者検知システムのアルゴリ
ズムを図1に示す。監視対象領域の情報を取入れるカメ
ラなどの外部情報機器1から得られた画像情報は、コン
ピュータなどを使った移動体検知器2に入力され、ここ
で情報処理され侵入者などの移動体であるか、または単
なる草木の揺れであるかの区分や移動体と判断された場
合の移動体の大きさやその移動物体の形状を分析し、そ
れらの情報を次のニューラルネットワーク3に伝達す
る。
ズムを図1に示す。監視対象領域の情報を取入れるカメ
ラなどの外部情報機器1から得られた画像情報は、コン
ピュータなどを使った移動体検知器2に入力され、ここ
で情報処理され侵入者などの移動体であるか、または単
なる草木の揺れであるかの区分や移動体と判断された場
合の移動体の大きさやその移動物体の形状を分析し、そ
れらの情報を次のニューラルネットワーク3に伝達す
る。
【0024】監視カメラでは短時間の時間間隔を隔てて
監視対象領域について撮影した第1画像と第2画像を移
動体検知器に伝送し、移動体検知器では両者の排他的論
理和を演算することにより差画像を求める。上記した第
1画像と第2画像の取込みとこの2画像の差分の絶対値
の計算は複数回繰返し実行される。ここまでの工程によ
って、移動した物体の像のみが差画像として求められて
いる状態になっている。ここで、差画像についてあるし
きい値により2値化処理したのち、ノイズ除去する。
監視対象領域について撮影した第1画像と第2画像を移
動体検知器に伝送し、移動体検知器では両者の排他的論
理和を演算することにより差画像を求める。上記した第
1画像と第2画像の取込みとこの2画像の差分の絶対値
の計算は複数回繰返し実行される。ここまでの工程によ
って、移動した物体の像のみが差画像として求められて
いる状態になっている。ここで、差画像についてあるし
きい値により2値化処理したのち、ノイズ除去する。
【0025】カメラによってとらえられた移動体の輝度
信号は図2のように変化する(この段階では1次元の移
動としてよい)。図3に示すように、カメラによって撮
られた映画中に移動体が現れたとき、それをとらえた画
素に対応する移動体検知器中のメモリが一定の値αの準
位となる。この移動体が草木の揺れや波などの振動的外
乱であった場合、ある一定の時間tごとに等比級数的変
化で減衰していく(図3の(C))。
信号は図2のように変化する(この段階では1次元の移
動としてよい)。図3に示すように、カメラによって撮
られた映画中に移動体が現れたとき、それをとらえた画
素に対応する移動体検知器中のメモリが一定の値αの準
位となる。この移動体が草木の揺れや波などの振動的外
乱であった場合、ある一定の時間tごとに等比級数的変
化で減衰していく(図3の(C))。
【0026】しかし、移動体が一定時間中にある速度、
方向で移動した場合、最初に与えられた準位αが等比級
数的に増幅され、ある一定の値を超えると、移動体とし
て認識する。すなわち、一定方向へ移動していれば、そ
の輝度信号が増幅され、同じ位置で往復運動している場
合は、ほとんど増幅されないような処理を行う。図3の
(A)は一方向へ移動する侵入者の場合であり、j=1
の位置に現れたt=0の時点で10の値の信号値を与
え、t=1の時点でj=2に進行したとき信号は、最初
の信号10にα=0.8の準位を乗じたものと、新たに
加える信号10(にα=1を乗じた値)の和である18
という値となる。このとき、j=1の位置の輝度信号は
10×0.8=8である。時刻t=2においては、j=
1の信号は10×0.6=6であり、j=2では10×
0.6+18×0.8=20、j=3では18×0.8
+10=25となる。t=3では移動体はj=4の位置
まで移動し、j=1、2、3、4における輝度信号値は
それぞれ4、15、31、30となる。なお、時刻tに
対する準位αの減衰特性の関係を図3の(C)に示す。
方向で移動した場合、最初に与えられた準位αが等比級
数的に増幅され、ある一定の値を超えると、移動体とし
て認識する。すなわち、一定方向へ移動していれば、そ
の輝度信号が増幅され、同じ位置で往復運動している場
合は、ほとんど増幅されないような処理を行う。図3の
(A)は一方向へ移動する侵入者の場合であり、j=1
の位置に現れたt=0の時点で10の値の信号値を与
え、t=1の時点でj=2に進行したとき信号は、最初
の信号10にα=0.8の準位を乗じたものと、新たに
加える信号10(にα=1を乗じた値)の和である18
という値となる。このとき、j=1の位置の輝度信号は
10×0.8=8である。時刻t=2においては、j=
1の信号は10×0.6=6であり、j=2では10×
0.6+18×0.8=20、j=3では18×0.8
+10=25となる。t=3では移動体はj=4の位置
まで移動し、j=1、2、3、4における輝度信号値は
それぞれ4、15、31、30となる。なお、時刻tに
対する準位αの減衰特性の関係を図3の(C)に示す。
【0027】図3の(B)は往復運動をする外乱の場合
を示すもので、t=0ではj=1において信号10が与
えられ、t=1ではj=1は10×0.8=8、j=2
は10×0.8+10=18の信号が与えられ、t=2
では物体はj=1の位置に戻るので、j=1は10×
0.6+10=16、j=2は18×0.8=14の信
号値となる。またt=3ではj=1では16×0.8=
13、j=2では18×0.6+10=21の信号値を
与える。
を示すもので、t=0ではj=1において信号10が与
えられ、t=1ではj=1は10×0.8=8、j=2
は10×0.8+10=18の信号が与えられ、t=2
では物体はj=1の位置に戻るので、j=1は10×
0.6+10=16、j=2は18×0.8=14の信
号値となる。またt=3ではj=1では16×0.8=
13、j=2では18×0.6+10=21の信号値を
与える。
【0028】図3の(D)は画像の中の位置jと輝度信
号値の関係を示し、準位αがある一定の値を超えると移
動物体として認識する。移動物体ありと認識されると、
移動体検知器は監視カメラから逐次的に記録されていく
画像メモリ中から、移動体の速度、方向、絶対的な大き
さ、物体形状の特徴量を解析する。
号値の関係を示し、準位αがある一定の値を超えると移
動物体として認識する。移動物体ありと認識されると、
移動体検知器は監視カメラから逐次的に記録されていく
画像メモリ中から、移動体の速度、方向、絶対的な大き
さ、物体形状の特徴量を解析する。
【0029】移動体の絶対値な大きさは、その画像の外
接長方形の縦横寸法(または画像上の面積)および物体
に対する画像の寸法比によって求まる。また、物体の形
状的特徴量としては次のものがある。 (1)慣性主軸(慣性モーメントが最小となる軸)の傾
き、(2)物体像の外接長方形の縦横比、(3)2値化
された画像中の穴(動物の眼、自動の車輪、窓)の数、
(4)周囲長と面積の比率。
接長方形の縦横寸法(または画像上の面積)および物体
に対する画像の寸法比によって求まる。また、物体の形
状的特徴量としては次のものがある。 (1)慣性主軸(慣性モーメントが最小となる軸)の傾
き、(2)物体像の外接長方形の縦横比、(3)2値化
された画像中の穴(動物の眼、自動の車輪、窓)の数、
(4)周囲長と面積の比率。
【0030】解析されたそれらのデータ(信号)のほか
に、必要に応じて物体または環境の温度、時間、屋外で
は風力、潮の干満などのデータも別のセンサにより取込
みニューラルネットワークに送り込む。ニューラルネッ
トワークは監視装置の設置条件に合わせてあらかじめ学
習をさせており、ニューラルネットワークに入力された
上記信号を判断の材料として、例えば監視対象領域に侵
入してきた自動車、犬、猫などの動物は監視対象から除
外して、画面中に現れた人物である侵入者像を抽出し
て、侵入者の有無を出力する。
に、必要に応じて物体または環境の温度、時間、屋外で
は風力、潮の干満などのデータも別のセンサにより取込
みニューラルネットワークに送り込む。ニューラルネッ
トワークは監視装置の設置条件に合わせてあらかじめ学
習をさせており、ニューラルネットワークに入力された
上記信号を判断の材料として、例えば監視対象領域に侵
入してきた自動車、犬、猫などの動物は監視対象から除
外して、画面中に現れた人物である侵入者像を抽出し
て、侵入者の有無を出力する。
【0031】この発明においては、移動体検知器がカメ
ラより送られた信号によって、移動体が直線的移動を行
っている場合に信号が増幅、振動の場合は減衰していく
よう関数を選んでいる。むろんこの逆の操作も関数中の
係数を変化させることにより可能である。また移動体の
速度が人間の歩行の平均速度の約0.05〜5倍程度に
合わせられるよう、関数の変化を3通り並列に変化さ
せ、どれか1つが移動を検知できるようにセットされて
いる。
ラより送られた信号によって、移動体が直線的移動を行
っている場合に信号が増幅、振動の場合は減衰していく
よう関数を選んでいる。むろんこの逆の操作も関数中の
係数を変化させることにより可能である。また移動体の
速度が人間の歩行の平均速度の約0.05〜5倍程度に
合わせられるよう、関数の変化を3通り並列に変化さ
せ、どれか1つが移動を検知できるようにセットされて
いる。
【0032】また画像処理手法の応用により、物体の形
状等の特性を抽出する方法を用いており、小動物や昆虫
等の外乱も除去できる。本発明の他の適用例としては以
下のようなものが挙げられる。 (1)現在行われている工場、プラントでの異常監視シ
ステムでは、カメラを固定、または定点にロボットを停
止させて画像を取込んでいるが、移動体の検知・分類が
可能なことより、走行中でも画像処理が可能となる。 (2)また、同手法により、定常的な回転・振動する機
器についての異常判断も可能となる。 (3)定量的にある範囲を正常・それ以外を異常とする
機器(例えば化学反応槽、水位計)の定常的な微小変化
についても有効な手法となる。
状等の特性を抽出する方法を用いており、小動物や昆虫
等の外乱も除去できる。本発明の他の適用例としては以
下のようなものが挙げられる。 (1)現在行われている工場、プラントでの異常監視シ
ステムでは、カメラを固定、または定点にロボットを停
止させて画像を取込んでいるが、移動体の検知・分類が
可能なことより、走行中でも画像処理が可能となる。 (2)また、同手法により、定常的な回転・振動する機
器についての異常判断も可能となる。 (3)定量的にある範囲を正常・それ以外を異常とする
機器(例えば化学反応槽、水位計)の定常的な微小変化
についても有効な手法となる。
【0033】
【発明の効果】本発明によれば、監視カメラなどの画像
情報入力機器により短時間間隔で対象領域の第1画像、
第2画像を取込み差画像を求め、この操作を繰返すこと
により移動体または異常の有無を検知しているので、監
視対象の正常時の基準画像をあらかじめ準備しておく必
要がなく、かつ照度変化などの影響による誤判断が生じ
ない。さらに、移動体の検知に際しては、草木の揺れや
物体の振動、波などの動きを外乱として除去し、移動体
の大きさや形状的特徴量を求めることにより、対象外の
移動体を除外し、対象とする侵入者などの移動体のみを
正確に検出し、出力することができる。
情報入力機器により短時間間隔で対象領域の第1画像、
第2画像を取込み差画像を求め、この操作を繰返すこと
により移動体または異常の有無を検知しているので、監
視対象の正常時の基準画像をあらかじめ準備しておく必
要がなく、かつ照度変化などの影響による誤判断が生じ
ない。さらに、移動体の検知に際しては、草木の揺れや
物体の振動、波などの動きを外乱として除去し、移動体
の大きさや形状的特徴量を求めることにより、対象外の
移動体を除外し、対象とする侵入者などの移動体のみを
正確に検出し、出力することができる。
【図1】本発明における移動体(侵入者)検知システム
のアルゴリズムを示す図。
のアルゴリズムを示す図。
【図2】本発明において移動体による輝度信号の画面上
の経時的変化を示す図。
の経時的変化を示す図。
【図3】移動体検知装置の中での侵入者と外乱物に対す
る信号の変化を示す図。
る信号の変化を示す図。
【図4】従来の画像処理フローチャートを示す図。
1…外部情報機器、2…移動体検知器、3…ニューラル
ネットワーク。
ネットワーク。
Claims (3)
- 【請求項1】 監視領域についての画像情報取出装置か
らの画像情報による監視領域の移動物体検出方法におい
て、画像情報取出装置により所定時間間隔を隔てて監視
対象領域について取込んだ第1画像と第2画像を移動体
検出器に伝送する操作を繰返す工程と、移動体検出器内
で上記操作ごとの第1画像と第2画像の差画像を求める
ことにより移動体を検出する工程と、検出した移動体の
画素に対応する移動体検出器中のメモリに所定の信号値
を与える工程と、移動体がほぼ一定の方向に移動してい
れば該信号値を移動時間または移動距離に従って増幅
し、移動体検出器中のメモリ信号が所定値を超えたとき
その移動体を移動物体と認識する工程と、移動物体と認
識された物体について画像メモリの中からその大きさお
よび/または形状的特徴量を求め、求めたそれらの情報
信号を移動体判断装置に送る工程と、移動体判断装置に
てそれら情報信号に基づき監視対象とする移動物体のみ
を抽出する工程とを備えたことを特徴とする移動物体検
出方法。 - 【請求項2】 監視領域についての監視カメラからの画
像情報により監視領域の移動物体を検出する方法におい
て、監視カメラにより所定時間間隔を隔てて監視領域に
ついての第1画像と第2画像を取込み、これを移動体検
知器に伝送する操作を繰返し、移動体検知器内で上記操
作ごとの第1画像と第2画像の差画像を求めることによ
り移動体を検出し、検出した移動体に対応する移動体検
出器中のメモリに所定の信号値を与え、移動体がほぼ一
定の方向に移動しておれば該信号値を移動時間に従って
増加または減少させ、移動体の移動が振動的である場合
は該信号値は増減を繰返して所定値以上または以下とな
らない値となし、移動体検出器中のメモリ信号が所定値
以上または以下となったとき、その移動体を移動物体と
認識し、移動物体の形状的特徴量および移動状況につい
ての情報を移動体判断装置に伝送し、該装置にてそれら
情報に基づき監視対象とする移動物体を検出することを
特徴とする移動物体検出方法。 - 【請求項3】 監視領域についての監視カメラからの画
像情報により監視領域の移動物体を検出する装置におい
て、短い時間間隔を隔てて監視対象領域について第1画
像と第2画像を撮影し、これを移動体検知器内に伝送す
る操作を繰返す監視カメラと、移動体検知器内で上記操
作ごとの第1画像と第2画像の差画像を求めて移動体を
検出する手段と、検出した移動体に対応する移動体検出
器中のメモリに所定の信号値を与える手段と、移動体の
移動状況に応じて上記信号値を変更して移動体がほぼ一
定の方向に移動を続けたときにその信号値がしきい値以
上または以下とする手段と、信号値がしきい値以上また
は以下となったときは移動体を移動物体と認識してその
形状的特徴量、大きさ、移動速度、方向を求めこれら情
報をニューラルネットワーク装置に伝送する手段と、上
記伝送された情報に基づき対象とする移動物体を検出す
るニューラルネットワーク装置とを備えたことを特徴と
する移動物体検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP08214093A JP3295482B2 (ja) | 1993-04-08 | 1993-04-08 | 移動物体検出方法および装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP08214093A JP3295482B2 (ja) | 1993-04-08 | 1993-04-08 | 移動物体検出方法および装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH06294809A true JPH06294809A (ja) | 1994-10-21 |
JP3295482B2 JP3295482B2 (ja) | 2002-06-24 |
Family
ID=13766129
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP08214093A Expired - Fee Related JP3295482B2 (ja) | 1993-04-08 | 1993-04-08 | 移動物体検出方法および装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3295482B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013134186A (ja) * | 2011-12-27 | 2013-07-08 | Sumitomo Electric Ind Ltd | カメラパラメータ測定装置、カメラパラメータ測定方法、及びプログラム |
CN111257592A (zh) * | 2020-03-05 | 2020-06-09 | 广东零偏科技有限公司 | 一种用于检测装置的静态判别的方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102011005764A1 (de) | 2011-03-18 | 2012-09-20 | Robert Bosch Gmbh | Vorrichtung und Verfahren zum Messen von Magnetfeldern |
-
1993
- 1993-04-08 JP JP08214093A patent/JP3295482B2/ja not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013134186A (ja) * | 2011-12-27 | 2013-07-08 | Sumitomo Electric Ind Ltd | カメラパラメータ測定装置、カメラパラメータ測定方法、及びプログラム |
CN111257592A (zh) * | 2020-03-05 | 2020-06-09 | 广东零偏科技有限公司 | 一种用于检测装置的静态判别的方法 |
CN111257592B (zh) * | 2020-03-05 | 2022-04-12 | 广东零偏科技有限公司 | 一种用于检测装置的静态判别的方法 |
Also Published As
Publication number | Publication date |
---|---|
JP3295482B2 (ja) | 2002-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107679471A (zh) | 基于视频监控平台的室内人员空岗检测方法 | |
JP2004535616A (ja) | 対象物の検出 | |
WO2022078182A1 (zh) | 抛出位置获取方法、装置、计算机设备及存储介质 | |
CN111223263A (zh) | 一种全自动综合型火灾预警响应*** | |
CN113283344A (zh) | 一种基于语义分割网络的矿用输送带跑偏检测方法 | |
JP2018073024A (ja) | 監視システム | |
JPH0765152A (ja) | 監視装置および監視方法 | |
CN111899211A (zh) | 基于图像和气味的变压器漏油故障检测***及方法 | |
KR101075550B1 (ko) | 이미지 센싱 에이전트 및 usn 복합형 보안 시스템 | |
CN112084813A (zh) | 异常目标的检测方法、装置及存储介质 | |
CN115953719A (zh) | 一种多目标识别的计算机图像处理*** | |
CN107704818A (zh) | 一种基于视频图像的火灾检测*** | |
JP3295482B2 (ja) | 移動物体検出方法および装置 | |
KR20060041555A (ko) | 화력발전소 화재발생 감지 및 경보 시스템 | |
CN115027904A (zh) | 基于实例分割的皮带撕裂检测方法 | |
JP2012124659A (ja) | 監視システムおよび監視方法 | |
CN114912536A (zh) | 一种基于雷达和双光电的目标识别方法 | |
KR100615672B1 (ko) | Xy축 투영그래프를 이용한 화재 감시시스템 및 이를이용한 화재 감시방법과 화재 감시방법이 구현된 컴퓨터판독가능 기록매체 | |
JP2659080B2 (ja) | 赤外線カメラによる赤外線画像を利用した監視装置に於けるノイズ除去方法 | |
JPH1042274A (ja) | 異常監視方法および装置 | |
JPH06294808A (ja) | 移動体検出方法および装置 | |
JPH0764950A (ja) | 監視装置および監視方法 | |
JPH03252796A (ja) | プラントの異常検知装置 | |
JPH0384698A (ja) | 侵入者監視装置 | |
CN112047057A (zh) | 物料传送设备的安全监控方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
LAPS | Cancellation because of no payment of annual fees |