JP4481432B2

JP4481432B2 - 画像式監視方法、並びに、画像式監視装置およびそれを用いた安全システム

Info

Publication number: JP4481432B2
Application number: JP2000140553A
Authority: JP
Inventors: 白井　　稔人; 坂井　　正善
Original assignee: Nippon Signal Co Ltd
Current assignee: Nippon Signal Co Ltd
Priority date: 2000-05-12
Filing date: 2000-05-12
Publication date: 2010-06-16
Anticipated expiration: 2020-05-12
Also published as: JP2001320698A

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば人等の物体が監視領域内に存在するか否かを画像情報を用いて監視する画像式監視技術に関し、特に、遮蔽物等の陰に物体が隠れてしまっても監視領域内の物体の存在／不在を正しく判定できる、画像式監視方法、並びに、画像式監視装置およびそれを用いた安全システムに関する。
【０００２】
【従来の技術】
例えば、ロボット等の機械装置と人とが協働するような場合に適用される安全システムにおいて、人の受傷事故を防止するための基本的な考え方は、同時刻および同一地点に人と機械が存在するような状況が生じないようにすることとされている。このため、従来の安全システムでは、ロボット等の可動範囲内に人が存在しないことを監視する各種センサが用いられてきた。例えば、カメラ等の撮像装置をセンサとして用いると、かなり広い範囲の領域を1台のカメラで監視することができる。
【０００３】
図９は、撮像装置を用いた安全システムの基本的な構成例を示す図である。
図９の構成例では、ロボット３の可動範囲を含んだ監視領域（危険領域）の様子が撮像装置１により撮像され、得られた画像情報は画像判定装置２に送られる。画像判定装置２では、撮像装置１からの画像情報に基づいて人が監視領域内にいるか否かが判定され、監視領域の安全状態が制御装置４に通報される。制御装置４では、画像判定装置２からの通報に従って、人が監視領域内に存在しないことが確認されるとロボット３の運転を許可し、人が監視領域内に存在することが確認されるとロボット３の運転を停止（または減速）して、監視領域内の人の安全を確保する。図１０には、上記のような監視領域内の人の存在／不在とロボット３の運転状態との関係を示しておく。
【０００４】
図１１は、図１０に示したような関係を実現するための具体的なインタロック構成の一例を示す図である。
図１１において、運転命令は、作業者やシーケンサなどにより発せられる信号であって、例えば、ロボット３の運転開始を指示するときに論理値１をとり、運転停止（または減速）を指示するとき論理値０をとる。一方、信号Ｚは、画像判定装置２の判定結果として出力される信号であって、例えば、人が監視領域内に不在のとき論理値１をとり、存在のとき論理値０をとる２値信号である。運転命令および出力信号Ｚは、ＡＮＤ回路で論理積演算されて、ロボット３の運転を論理値１で開始し、論理値０で停止等する制御信号Ｐｗが生成される。
【０００５】
ここで、撮像装置１および画像判定装置２から構成される従来の画像式監視装置について具体的に説明する。
図１２は、撮像装置１により得られる従来の画像情報の一例を示す図である。また、図１３は、従来の画像判定装置２の判定動作を示すフローチャートである。
【０００６】
図１２において、外枠は撮像装置１の画像フレームであって撮像範囲Ａ（監視領域に相当する）を示し、ここでは、遮蔽物Ｃが撮像範囲内に存在していることがわかる。画像判定装置２では、図１３に示すように、撮像装置１で撮像した画像情報に人が含まれていなければ信号Ｚが論理値１とされる。図１２に示すように、人が左方から撮像範囲内に侵入すると、信号Ｚが論理値０となり、それ以降、人が撮像範囲内で検出される限り、人存在として信号Ｚ＝０が継続する。そして、人が撮像範囲内で検出されなくなると、人不在として信号Ｚが論理値１となる。
【０００７】
なお、画像情報より監視領域内の物体を検出する従来の技術としては、例えば、特開平５−１４８９２号公報等に記載されたものが知られている。
【０００８】
【発明が解決しようとする課題】
ところで、一般的に、ロボット等の機械装置による傷害事故は許容されない事故と見なされることが多く、そのため、上述したようなロボット等に運転の許可／禁止を与える信号Ｚについては、Ｚ＝０側の誤りは許されても、Ｚ＝１側の誤り、いわゆる危険側誤りは許されない。したがって、画像判定装置としては、人存在を人不在と見なす誤りは許されないことになる。
【０００９】
しかしながら、前述の図１２および図１３に示したような従来の画像式監視装置では、侵入してきた人等の物体が遮蔽物Ｃ等の陰に入ってしまうと（図１２）、画像情報上で人は消失するので、画像判定装置２の処理過程では（図１３）、監視領域内に人不在と誤って信号Ｚが論理値１となってしまい、これは許されない危険側誤りであって問題である。このような画像式監視装置を用いた安全システムが適用される、例えば工場内などにおいては、監視領域内に遮蔽物が存在することが多く、また、機械装置の内部へ潜り込んで作業を行う場合もあり、画像情報からの人の消失への対策は安全確保上重要である。
【００１０】
本発明は上記の点に着目してなされたもので、監視領域を撮像した画像情報を用いて、監視領域内における人等の物体の存在を遮蔽物等に関係なく判定し、監視領域内の安全状態を確実に通報できる、画像式監視方法、並びに、画像式監視装置およびそれを用いた安全システムを提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記の目的を達成するため、本発明の画像式監視方法の一態様は、監視領域を撮像する撮像ステップと、該撮像ステップで得られた画像情報に基づいて、監視対象となる物体の前記監視領域内への侵入を検出する侵入検出ステップと、前記画像情報に基づいて、前記物体の監視領域内における移動を追跡することによって、前記物体の監視領域内からの退出を検出する退出検出ステップと、前記侵入検出ステップおよび前記退出検出ステップの各検出結果のみに従って、前記物体が前記監視領域内に存在するか否かを判定し、前記監視領域内の安全状態を外部に通報する安全判定ステップと、を含み、前記安全判定ステップは、前記侵入検出ステップで前記物体の侵入が検出されて以降、前記退出検出ステップで前記物体の退出を検出する以前に、所定時間を超えても前記物体を監視領域内に確認できないときには、それ以降に前記退出検出ステップで前記物体の退出を検出するか否かに拘わらず、前記監視領域内に前記物体が存在すると見なす方法である。
かかる画像式監視方法の一態様によれば、撮像ステップで得られた画像情報を用い、監視領域に対する物体の侵入が検出された後に、該物体の監視領域内における移動が追跡されることで、監視領域内から物体の退出が検出され、該侵入および退出の各検出結果のみに従って、監視領域内の物体の存在または不在が判定される。また、この判定では、物体の侵入が検出されて以降、その退出が検出される以前に、所定時間を超えても該物体が監視領域内で確認されないとき、それ以降に物体の退出が検出される否かに拘わらず、監視領域内に物体が存在すると見なされる。これにより、監視領域内の遮蔽物の陰に物体が入ってしまっても、従来のような誤った判定が行われることがなくなり、監視領域内の安全状態を確実に外部に通報することができると共に、遮蔽物等の陰となった物体が所定時間を超えても確認されないときには、その物体の動作を異常と判断して安全側の判定が強制的に行われるようになる。
【００１２】
また、本発明の画像式監視方法の他の態様は、監視領域の侵入／退出経路に対応する端部から前記監視領域内で監視対象となる物体が遮蔽される遮蔽範囲までの間が、前記物体の移動可能方向について所定の距離を有するように設定した撮像範囲を撮像する撮像ステップと、該撮像ステップで得られた画像情報に基づいて、前記物体の監視領域内への侵入を検出する侵入検出ステップと、前記画像情報に基づいて、前記物体の監視領域内からの退出を検出する退出検出ステップと、前記侵入検出ステップおよび前記退出検出ステップの各検出結果のみに従って、前記物体が前記監視領域内に存在するか否かを判定し、前記監視領域内の安全状態を外部に通報する安全判定ステップと、を含んでなる方法である。
かかる画像式監視方法の他の態様によれば、撮像ステップで、監視領域の侵入／退出経路の端部から遮蔽範囲までの間に所定の距離を持たせた範囲を撮像して得られた画像情報を用い、監視領域に対する物体の侵入および退出の検出結果のみに従って、監視領域内の物体の存在または不在が判定されるようになるため、監視領域内の遮蔽物の陰に物体が入ってしまっても、従来のような誤った判定が行われることがなくなり、監視領域内の安全状態を確実に外部に通報することができるようになる。
【００１３】
本発明の画像式監視装置の一態様は、監視領域を撮像する撮像手段と、該撮像手段で得られた画像情報に基づいて、監視対象となる物体が前記監視領域内に存在するか否かを判定し、前記監視領域内の安全状態を外部に通報する画像判定手段と、を備えた画像式監視装置において、前記画像判定手段が、前記画像情報に基づいて前記物体の監視領域内への侵入を検出した後、前記物体の監視領域内における移動を追跡することによって、前記監視領域内からの退出を検出し、該検出結果のみに従って前記物体が前記監視領域内に存在するか否かを判定すると共に、前記画像情報を基に監視領域内への物体の侵入を検出して以降、当該物体の退出を検出する以前に、所定時間を超えても前記物体を監視領域内に確認できないときには、それ以降に物体の退出を検出するか否かに拘わらず、前記監視領域内に物体が存在すると見なすものである。
かかる画像式監視装置の一態様では、画像判定手段によって、撮像手段で得られた画像情報を用いて監視領域に対する物体の侵入が検出された後に、該物体の監視領域内における移動が追跡されることで、監視領域内から物体の退出が検出され、該侵入および退出の各検出結果のみに従って、監視領域内の物体の存在または不在が判定される。また、画像判定手段では、物体の侵入が検出されて以降、その退出が検出される以前に、所定時間を超えても該物体が監視領域内で確認されないとき、それ以降に物体の退出が検出される否かに拘わらず、監視領域内に物体が存在すると見なされる。これにより、監視領域内の遮蔽物の陰に物体が入ってしまっても、従来のような誤った判定が行われることがなくなり、監視領域内の安全状態を確実に外部に通報することができると共に、遮蔽物等の陰となった物体が所定時間を超えても確認されないときには、その物体の動作を異常と判断して安全側の判定が強制的に行われるようになる。
【００１４】
また、本発明の画像式監視装置の他の態様は、監視領域を撮像する撮像手段と、該撮像手段で得られた画像情報に基づいて、監視対象となる物体が前記監視領域内に存在するか否かを判定し、前記監視領域内の安全状態を外部に通報する画像判定手段と、を備えた画像式監視装置において、前記撮像手段は、前記監視領域の侵入／退出経路に対応する端部から前記監視領域内で前記物体が遮蔽される遮蔽範囲までの間が、前記物体の移動可能方向について所定の距離を有するように、撮像範囲が設定され、前記画像判定手段が、前記画像情報に基づいて前記物体の監視領域内への侵入および監視領域内からの退出を検出し、該検出結果のみに従って前記物体が前記監視領域内に存在するか否かを判定するものである。
かかる画像式監視装置の他の態様では、監視領域の侵入／退出経路の端部から遮蔽範囲までの間に所定の距離を持たせた範囲を撮像手段で撮像して得られた画像情報を用いて、画像判定手段により監視領域に対する物体の侵入および退出が検出され、その検出結果のみに従って、監視領域内の物体の存在または不在が判定されるため、監視領域内の遮蔽物の陰に物体が入ってしまっても、従来のような誤った判定が行われることがなくなり、監視領域内の安全状態を確実に外部に通報することができるようになる。
【００１９】
また、上述したような画像式監視装置を用いた本発明の安全システムは、前記監視領域内に可動範囲を有する機械装置を備え、該機械装置の運転が、少なくとも前記画像式監視装置により監視領域の安全が通報されていることを以って許可される構成としたものである。
【００２０】
かかる構成の安全システムでは、画像式監視装置により監視領域の安全が通報されることで機械装置の運転が許可されるようになるため、機械装置の運転状態を安全側に確実に制御することが可能になる。
【００２１】
さらに、上記の安全システムについては、前記監視領域の侵入／退出経路に、物体の通過を検出する安全装置を設け、該安全装置および前記画像式監視装置の各出力情報に基づいて、前記機械装置の運転が許可されるようにしてもよい。また、前記安全装置は、前記監視領域への物体の侵入および前記監視領域からの物体の退出をそれぞれ検出可能でものとしてもよい。
【００２２】
かかる構成の安全システムでは、画像式監視装置に安全装置を別途設けるようにしたことで、監視領域における物体の侵入および退出が２重系によって監視されるようになるため、安全性のより高い制御が可能になる。
【００２３】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
図１は、本発明の第１実施形態にかかる画像式監視装置により撮像される画像情報を示す図である。なお、本実施形態の画像式監視装置およびそれを用いた安全システムの構成は、上述の図９に示した構成と同様である。具体的には、画像式監視装置が、撮像手段としての撮像装置１および画像判定手段としての画像判定装置２を有し、該画像判定装置２からの出力信号に従って制御装置４によりロボット３（機械装置）の運転状態が制御されるような安全システムである。
【００２４】
図１に示すように、本画像式監視装置により撮像される画像情報は、監視領域に対応した撮像範囲（画像フレーム）Ａが、遮蔽物Ｃ等により画像上で人を確認できない範囲（遮蔽範囲）に対し、人の移動可能方向について所定の距離以上を有するように設定される。ここでは、撮像範囲Ａに対して図で左右方向に人が移動可能であるとすると、上記所定の距離は、点線で示した範囲Ｂの幅に相当し、この範囲Ｂ内に遮蔽物Ｃ等が位置しないように撮像範囲Ａが設定される。この範囲Ｂの幅に相当する距離は、具体的には、人の移動速度と撮像周期に応じて定められる。これは、画像情報を用いて人を検出したり追跡したりする場合、連続して撮像された複数の画像情報に人が存在することが必要となるためである。
【００２５】
上記のようにして撮像範囲Ａを設定することにより、人が遮蔽物Ｃ等の陰になる領域を移動しているときに、監視領域内へ侵入し若しくは監視領域から退出することができなくなる。すなわち、人が遮蔽物Ｃ等の陰になることがあっても、人の監視領域への侵入および監視領域からの退出が範囲Ｂにおいて必ず検出されるようになる。
【００２６】
次に、第１実施形態における判定動作を図２のフローチャートを用いて説明する。
本画像式監視装置では、まず、図２のステップ１０１（図中Ｓ１０１で示し、以下同様とする）において、撮像装置１により監視領域を撮像した画像情報が画像判定装置２に送られる。そして、ステップ１０２では、画像判定装置２において、撮像装置１からの画像情報を用いて、人が監視領域内に侵入したか否かの検出処理が行われる。監視領域への人の侵入は、例えば、画像情報上の範囲Ｂ（図１）について人に相当する画像が検出されることで判断される。監視領域への人の侵入が検出されなかった場合には、ステップ１０３で、上述の図１１に示した画像判定装置２の出力信号Ｚが論理値１となり、該出力信号Ｚが制御装置４に送られ、ステップ１０１に戻る。このとき、ロボット３の運転を許可する運転命令（図１１）が外部から制御装置４に与えられていれば、ロボット３の運転開始を指示する論理値１の制御信号Ｐｗが制御装置４からロボット３に送られる。一方、監視領域への人の侵入が検出された場合には、ステップ１０４で、画像判定装置２の出力信号Ｚが論理値０となって、ロボット３の運転を停止（または減速）させる論理値０の制御信号Ｐｗが制御装置４からロボット３に送られる。
【００２７】
監視領域への人の侵入が検出されると、ステップ１０５に進んで、撮像装置１により監視領域が撮像され、得られた画像情報が画像判定装置２に送られる。そして、ステップ１０６では、画像判定装置２において、撮像装置１からの画像情報を用いて、監視領域への侵入が検出された人が監視領域から退出したか否かの検出処理が行われる。ここでの監視領域からの人の退出とは、単に画像情報上で人が確認されないことを意味するものではなく、人が範囲Ｂ（図１）を通って撮像範囲Ａの外に出たことを意味するものである。すなわち、監視領域への人の侵入が検出された後は、たとえ、その人が遮蔽物の陰になって画像情報上では人不在の状況となっても、範囲Ｂの通過による退出が確認されるまでは、監視領域内に人ありと見なす処理が行われるのである。
【００２８】
具体的には、ステップ１０６において監視領域からの人の退出が検出されなかった場合、画像判定装置２の出力信号Ｚを論理値０に維持してステップ１０５に戻り、再度、監視領域が撮像されて人退出の検出処理が繰り返される。一方、監視領域からの人の退出が検出されると、ステップ１０７で画像判定装置２の出力信号Ｚが論理値１となり、該出力信号Ｚが制御装置４に送られ、ステップ１０１に戻る。このとき、ロボット３の運転を許可する運転命令が制御装置４に与えられていれば、ロボット３の運転を許可する論理値１の制御信号Ｐｗが制御装置４からロボット３に送られる。
【００２９】
このように第１実施形態によれば、画像情報を用いて監視領域に対する人の侵入および退出を検出し、その検出結果のみに従って監視領域内の人の存在／不在を判定するようにしたことで、人が遮蔽物Ｃの陰に入ってしまっても、従来のように人不在という誤った判断が行われることがなくなるため、監視領域内の安全状態を確実に判断することができる。これにより、ロボット３の運転状態を安全側に確実に制御することが可能な安全システムを実現できる。
【００３０】
次に、本発明の第２実施形態について説明する。
前述した第１実施形態では、撮像装置１により得られる画像情報について、図１の範囲Ｂに位置する部分に人に相当する画像が検出されることで、監視領域への人の侵入および監視領域からの人の退出を判定する場合について説明した。第２実施形態では、監視領域内における人の移動を追跡することにより、人の侵入および退出を判定する場合を考える。なお、第２実施形態の画像式監視装置およびそれを用いた安全システムの構成は、第１実施形態の構成と同様であって、画像式監視装置における判定動作のみが第１実施形態の判定動作と異なるため、以下では、その判定動作について具体的に説明することにする。
【００３１】
図３は、第２実施形態の画像式監視装置における具体的な判定動作を示すフローチャートである。
図３において、本画像式監視装置では、撮像装置１により監視領域が撮像され、その画像情報を用いて監視領域への人の侵入が検出されて、画像判定装置の出力信号Ｚが論理値０となるまでの、ステップ２０１〜ステップ２０４の一連の動作は、前述の図２に示したステップ１０１〜ステップ１０４の一連の動作と同様であって、ステップ２０４後の処理動作が、第１実施形態の場合とは異なるものになる。
【００３２】
具体的にステップ２０５では、撮像装置１により監視領域が撮像されて、得られた画像情報が画像判定装置２に送られる。そして、ステップ２０６では、ステップ２０５で得られた画像情報とそれ以前の画像情報とを比較等することにより、人に相当する画像部分が抽出されてその動作（移動）が追跡される。なお、画像情報を用いて人の動作を追跡する具体的な方法は、例えば、上述した特開平５−１４８９２号公報に記載された方法などを利用することが可能である。
【００３３】
次に、ステップ２０７では、ステップ５で得られた画像情報上で人の存在が確認できるか否かの判定が行われる。人の存在が確認できる場合には、ステップ２０６における人の追跡結果には関係なく、監視領域からの人の退出はないものと判断して、ロボット３の運転停止（信号Ｚ＝０）が継続され、ステップ２０５に戻って上記の動作が繰り返される。
【００３４】
一方、ステップ２０７において人の存在が確認できない場合には、前述したように遮蔽物Ｃの陰に人が隠れている状態があり得るため、ステップ２０８に移って、人が遮蔽物Ｃの陰に入ったか否かが判断される。この人が遮蔽物Ｃの陰に入ったか否かの判断は、ステップ２０６における人の追跡結果を用いて行われる。人が遮蔽物Ｃの陰にあると判断された場合には、人は監視領域から退出していないとして、ロボット３の運転停止（信号Ｚ＝０）が継続され、ステップ２０５に戻って上記の動作が繰り返される。一方、人が遮蔽物Ｃの陰にいないと判断された場合には、ステップ２０９に移って、監視領域からの人の退出があったものと判定し、画像判定装置２の出力信号Ｚが論理値１となり、ロボット３の運転を許可する制御が行われ、ステップ２０１に戻って、上記一連の動作が繰り返される。
【００３５】
なお、遮蔽物Ｃの陰に人の一部が入っている場合でも、上述の考え方は同様に有効である。すなわち、人の一部が遮蔽物Ｃに隠れても人の存在が確認される場合には、上述した遮蔽物の陰にある状態と見なさなくてよく、人の一部が遮蔽物Ｃに隠れて人の存在が確認されない場合には、遮蔽物の陰にある状態と見なすことになる。
【００３６】
上記のように第２実施形態によれば、監視領域内における人の移動を追跡することで人の侵入および退出を判定するようにしても、前述の第１実施形態の場合と同様の効果を得ることが可能である。
【００３７】
次に、本発明の第３実施形態について説明する。
第３実施形態は、前述の第２実施形態について、人が遮蔽物Ｃの陰に位置して画像情報上では確認されなくなったときの処理動作の変形例を考える。なお、第３実施形態の画像式監視装置およびそれを用いた安全システムの構成は、第２実施形態の構成と同様であるため説明を省略する。
【００３８】
図４は、第３実施形態の画像式監視装置における判定動作の特徴部分を抜き出して示したフローチャートである。なお、図３のフローチャートと同様の処理ステップについては同じ番号が付してある。
【００３９】
図４において、本画像式監視装置では、図３に示した第２実施形態の場合のステップ２０１〜ステップ２０８の一連の処理動作が実行され、ステップ２０８において、人が遮蔽物Ｃの陰に位置しているか否かが判断された後の処理動作が、第２実施形態の場合とは異なってくる。
【００４０】
具体的には、ステップ２０８で人が遮蔽物Ｃの陰に入ったと判断されると、ステップ３０１において、図示しないタイマーが駆動されて、タイマー時間ｔがΔｔだけ増加される。そして、ステップ３０２では、タイマー時間ｔが予め設定した基準時間Ｔ以上になったか否かの判定が行われる。タイマー時間ｔが基準時間Ｔ未満（ｔ＜Ｔ）であれば、図３のステップ２０５に戻って、再度監視領域の撮像が行われ同様の動作が繰り返される。一方、タイマー時間ｔが基準時間Ｔ以上（ｔ≧Ｔ）であれば、所定の時間以上に亘って人を見失ったことにより、侵入してきた人の動作を異常と見なして、ステップ３０３に移り、画像判定装置２の出力信号Ｚを論理値０に固定してロボット３の運転を停止（または減速）させる。
【００４１】
なお、ステップ２０８で人が遮蔽物Ｃの陰にはいないと判断された場合には、ステップ３０４で、上記のタイマー時間ｔが０にリセットされた後に、ステップ２０９に移って、画像判定装置２の出力信号Ｚを論理値１にしてロボット３の運転を許可する制御が行われる。ただし、タイマー時間ｔを０リセットするステップ３０４は、Ｚ＝０とするステップ２０４の直後としてもよい。
【００４２】
このように第３実施形態によれば、遮蔽物Ｃの陰にいると判断された人が基準時間Ｔ以上に亘って確認されないときには、その人の動作を異常と判断して、ロボット３の運転状態が安全側に固定されるようになるため、より安全性の高い制御を実現することが可能になる。
【００４３】
なお、上述の第２、３実施形態では、遮蔽物Ｃの陰も含めて監視領域内の人移動を追跡することにより、監視領域からの人の退出を判定するようにした。しかし、監視領域からの人の退出は、撮像範囲Ａの周縁部分でのみ人の移動を追跡することでも確認できる。具体的には、図１における範囲Ｂおよびその周辺での人の追跡を行い、撮像範囲Ａからの人の退出、すなわち、監視領域からの人の退出を検出できる。この場合には、遮蔽物Ｃの陰に人がいるか否かを判断することは、必ずしも必要ではなくなる。
【００４４】
次に、本発明の第４実施形態について説明する。
第４実施形態では、上述した第１〜第３実施形態にかかる画像式監視装置の安全性（信頼性）をより一層向上させるための応用例について説明する。
【００４５】
一般に、撮像装置１および画像判定装置２からなる画像式監視装置の安全性が十分でない場合には、危険性の高い安全システムへの適用は控えられる。これは、画像式監視装置に故障などが生じたとき、監視領域から人が退出していないのに退出したとしてしまう危険側の誤りを起こし得るからである。このような危険性の高い安全システムへの適用のためには、画像式監視装置の不足している安全性を補う必要がある。そこで、第４実施形態では、画像式監視装置について別途安全装置を設けた２重系の構成を考えることにする。
【００４６】
図５は、第４実施形態にかかる画像式監視装置の構成を示す図である。なお、図５の上段は監視領域の上面図であって、下段は画像式監視装置の内部構成を示すブロック図である。
【００４７】
図５において、本画像式監視装置は、監視領域の周縁部分に位置する人の侵入／退出経路に光線式安全装置１０を別途設けると共に、該光線式安全装置１０からの出力信号を受けて人の侵入および退出を判定する光ビーム有無判定装置１１と、該光ビーム有無判定装置１１の出力信号Ｑと画像判定装置２の出力信号Ｐとの一致を確認する一致確認回路１２と、光ビーム有無判定装置１１の出力信号Ｑ、画像判定装置２の出力信号Ｚおよび一致確認回路１２の出力信号Ｕの論理積を演算するＡＮＤ回路１３と、を設けた構成である。
【００４８】
光線式安全装置１０は、例えば、人の侵入／退出経路の両サイドに位置する柵にそれぞれ取りつけられた投光器１０ａおよび受光器１０ｂを有し、投光器１０ａから出射される光ビームが受光器１０ｂで受光されるように、投受光器の光軸が調整されている。受光器１０ｂは、投光器１０ａからの光ビームを受光すると、その光ビームのパワーに応じた電気信号を発生し、該電気信号が出力信号として光ビーム有無判定装置１１に送られる。
【００４９】
なお、ここでは、画像式監視装置に別途設けられる安全装置として光線式のものを用いたが、本発明はこれに限定されるものではない。例えば、国際公開公報ＷＯ９７／０１７７３に記載されたマットセンサ等の公知の安全装置を画像式監視装置に別途設けるようにしてもよい。
【００５０】
光ビーム有無判定装置１１は、光線式安全装置１０からの出力信号に応じて論理値が変化する信号Ｑを発生する。信号Ｑは、投光器１０ａからの光ビームが受光器１０ｂで受光されたときを光ビーム有りとして論理値１となり、受光されないときを光ビーム無しとして論理値０となる２値信号である。この信号Ｑは、一致確認回路１２およびＡＮＤ回路１３にそれぞれ送られる。
【００５１】
一致確認回路１２は、光ビーム有無判定装置１１からの出力信号Ｑおよび画像判定装置２からの出力信号Ｐの各論理値が一致しているときに論理値１となり、不一致のときに論理値０となる信号Ｕを発生しＡＮＤ回路１３に出力する。
【００５２】
なお、画像判定装置２からの出力信号Ｐは、撮像装置１で得られた画像情報を用いて、監視領域への人の侵入が検出された時点から所定期間と、監視領域からの人の退出が検出された時点から所定期間とにおいて論理値０となり、その他の期間においては論理値１になる２値信号である。あるいは、画像判定装置２からの出力信号Ｐは、撮像装置１で得られた画像情報を用いて、別途設けられた安全装置で人が検出されていると推定されるときに論理値０となり、人が検出されていないと推定されるときには、論理値１となる２値信号としてもよい。また、画像判定装置２は、上記の信号Ｐとは別に、上述した第１〜第３実施形態の場合と同様の信号Ｚも発生して、該信号ＺはＡＮＤ回路１３に出力される。なお、信号Ｚは、監視領域内に人が存在するとき論理値０となり、不在のときに論理値１となる２値信号である。
【００５３】
ＡＮＤ回路１３は、光ビーム有無判定装置１１、画像判定装置２および一致確認回路１２からの各出力信号の論理積演算を行い、その演算結果を出力信号Ｚ’として、ロボット３の運転状態を制御する制御装置４（図９）に送る。この出力信号Ｚ’は、監視領域内に人が不在でロボット３の運転を許可するときに論理値１となり、監視領域内に人が存在してロボット３の運転を停止（または減速）するときに論理値０となる２値信号である。なお、ここでは、光ビーム有無判定装置１１の出力信号ＱをＡＮＤ回路１３に送るようにしたが、ＡＮＤ回路１３への出力信号Ｑの入力は省略することも可能である。
【００５４】
上記のような構成の画像式監視装置では、図６のタイミング図に示すように、侵入／退出経路を通って、人が監視領域に侵入または監視領域から退出したとき、光線式安全装置１０の光ビームは人により遮断される。したがって、光線式安全装置１０および光ビーム有無判定装置１１並びに撮像装置１および画像判定装置２がそれぞれ正常であれば、光ビーム有無判定装置１１の出力信号Ｑの変化と、画像判定装置２の出力信号Ｐの変化とがほぼ同時に生じるようになる。そこで、一致確認回路１２は、両信号Ｑ，Ｐがほぼ同時に同値になったことを確認して、各装置の正常動作を示す論理値１の信号Ｕを生成する。一方、両信号Ｑ，Ｐに不一致が生じた場合には、いずれかの装置に異常が発生したことを示す論理値０の信号Ｕを生成する。
【００５５】
そして、上記一致確認回路１２の出力信号Ｕと、光ビーム有無判定装置１１の出力信号Ｑおよび画像判定装置２の出力信号ＺとがＡＮＤ回路１３に入力され、論理積演算結果を示す信号Ｚ’が生成される。この信号Ｚ’は、信号Ｕ＝１（正常）の場合、信号Ｚに一致し（Ｚ’＝Ｚ）、信号Ｕ＝０（異常）の場合には、信号Ｚ’＝０となる。このような信号Ｚ’が、ＡＮＤ回路１３から制御装置４に送られることにより、ロボット３の運転状態が信号Ｚ’に従って制御されるようになる。
【００５６】
上記のように第４実施形態によれば、画像式監視装置に光線式安全装置１０等を別途設けるようにしたことで、監視領域における人の侵入および退出が２重系によって監視されるようになるため、画像式監視装置の不足する安全性を補うことができる。これにより、危険性の高い安全システムに対しても本画像式監視装置を適用することが可能になる。
【００５７】
次に、本発明の第５実施形態について説明する。
第４実施形態では、侵入／退出経路の人の通過を光線式安全装置１０を用いて検出する構成について説明した。第５実施形態では、侵入／退出経路を通過する人が、監視領域に侵入するのか、監視領域から退出するのかまでを検出できるようにした応用例について考える。
【００５８】
図７は、第５実施形態にかかる画像式監視装置の監視領域付近の構成を示す上面図である。
図７において、本画像式監視装置の構成が第４実施形態の構成と異なる点は、光線式安全装置１０に代えて、２重の光ビームにより侵入／退出経路を通過する人を検出する光線式安全装置１０’を設けた点である。これ以外の他の部分の構成は、第４実施形態の場合と同様である。
【００５９】
光線式安全装置１０’は、例えば、侵入／退出経路の両サイドに位置する柵に、２組の投光器１０ａ₁，１０ａ₂および受光器１０ｂ₁，１０ｂ₂がそれぞれ設けられる。侵入／退出経路上での人の移動方向（図７で左右の方向）に対して監視領域から離れた側（図７で左側）には、投光器１０ａ₁および受光器１０ｂ₁が配置され、投光器１０ａ₁から出射される第１光ビームが受光器１０ｂ₁で受光されるように投受光器の光軸が調整されている。また、侵入／退出経路上での人の移動方向に対して監視領域に近い側（図７で右側）には、投光器１０ａ₂および受光器１０ｂ₂が配置され、投光器１０ａ₂から出射される第２光ビームが受光器１０ｂ₂で受光されるように投受光器の光軸が調整されている。各受光器１０ｂ₁，１０ｂ₂は、対応する投光器からの光ビームを受光すると、その光ビームのパワーに応じた電気信号をそれぞれ発生し、各々の電気信号が出力信号として光ビーム有無判定装置１１に送られる。
【００６０】
なお、このような構成の光線式安全装置１０’を用いた侵入／退出の検出技術は、例えば特開平１１−０９０６９６号公報等で公知であるので、ここでは、その概要について簡単に説明しておく。
【００６１】
上記のような光線式安全装置１０’では、第１光ビームと第２光ビームの遮光／通光の時刻差により、侵入／退出経路を通る人が、監視領域に侵入するのか、監視領域から退出するのかが検出される。具体的には、図８のタイミング図に示すように、侵入／退出経路を通って監視領域内に人が侵入する場合、まず、第１光ビームが遮光（受光なし）され、その後に第２光ビームが遮光される。そして、第１光ビームが通光（受光あり）した後、第２光ビームが通光する。このような順序で各光ビームの遮光および通光が生じたときを、監視領域への人の侵入と判定して、光ビーム有無判定装置１１は、図８の下段に示すような論理値０の信号Ｑ’を出力する。この出力信号Ｑ’は、その後、監視領域からの人の退出が検出されるまで論理値０が継続される。
【００６２】
監視領域からの人の退出については、上記のような人の侵入の場合とは逆の順序で各光ビームの遮光および通光が生じる。すなわち、図８に示すように、まず第２光ビームが遮光され、次に、第１ビームが遮光される。続いて、第２光ビームが通光し、第１光ビームが通光する。このような順序で各光ビームの遮光および通光が生じたときを、監視領域からの人の退出と判定して、光ビーム有無判定装置１１は、論理値１の信号Ｑ’を出力する。
【００６３】
このような光線式安全装置１０’を用いる場合には、上述の図５に示した第４実施形態について、光ビーム有無判定装置１１から一致確認回路１２に送られる信号Ｑを信号Ｑ’に代えると共に、画像判定装置２から一致確認回路１２に入力される信号Ｐを信号Ｚと同等の信号Ｐ’に代えるようにする。このようにすることで、各装置が正常に動作していれば信号Ｑ’と信号Ｐ’とがほぼ同時に同値をとるため、一致確認回路１２の出力信号Ｕは正常時に論理値１となる。そして、ＡＮＤ回路１３の出力信号Ｚ’は、正常時において、光ビーム有無判定装置１１からの信号Ｑ’と画像判定装置２からの信号Ｚとが共に論理値１（人退出＝人不在）を示したときにのみ論理値１となって、ロボット３の運転を許可する。一方、信号Ｑ’と信号Ｐ’に不一致が生じると、いずれかの装置の動作が異常と見なして、一致確認回路１２の出力信号Ｕが論理値０となり、ＡＮＤ回路１３の出力信号Ｚ’が論理値０に固定されて、ロボットの運転が停止（または減速）される。
【００６４】
このように第５実施形態によれば、光線式安全装置１０’を用いて、侵入／退出経路を通過する人が監視領域に侵入するのか、監視領域から退出するのかまでを検出できるようにしたことで、画像式監視装置の安全性をより一層向上させることができる。これにより、危険性のより高い安全システムに対しても本画像式監視装置を適用することが可能になる。
【００６５】
なお、上述した第４および第５実施形態では、光線式安全装置が設けられた侵入／退出経路以外からの人の侵入／退出があると、光ビーム有無判定装置１１の出力信号と画像判定装置２の出力信号とは不一致を生じてしまう。それを避けるためには、例えば、侵入／退出が行われる経路を１ヵ所に限定すればよい。あるいは、画像判定装置２の出力信号Ｐ（またはＰ’）は、光線式安全装置が設けられた経路についてのみの人の侵入／退出を判定した結果を示す信号とすればよい。このようにすれば、光線式安全装置が設けられていない経路における人の侵入／退出については、出力信号Ｐ（またはＰ’）の変化は生じず、したがって、信号Ｑ（またはＱ’）との不一致は発生しない。ただし、この場合にはＡＮＤ回路への信号Ｑ’の入力は省く方がよい。
【００６６】
また、上述した第１〜第５実施形態では、監視対象を人として説明してきたが、本発明における監視対象は人に限定されるものではなく、ロボット等の機械装置の運転により事故を発生し得る任意の物体を監視対象としてもよい。さらに、画像式監視装置によりロボットの運転状態を制御するようにしたが、制御対象となる機械装置はロボットに限定されるものではない。加えて、撮像装置によって監視領域を側方から撮像するようにしたが、本発明における撮像方向は側方に限られるものではなく、例えば上方等から監視領域を撮像するようにしても構わない。撮像方向を変える際には、周縁部に設定される範囲Ｂ（図１）を、監視領域に人等が侵入／退出する方向に応じて設定する必要があることに注意する。
【００６７】
また、上述した各実施形態では、監視領域内に侵入する人が１人である場合を想定して説明を行ったが、本発明は監視領域内に複数の人が侵入するような場合にも応用可能である。この場合、第１実施形態のように人が範囲Ｂを通過することで侵入／退出を検出する構成のときには、例えば、画像判定装置２において監視領域に侵入した人の人数と、退出した人の人数とを記憶しておき、各々の人数の差を基に監視領域内の人の存在／不在を判定すればよい。また、第２、３実施形態のように侵入した人を追跡することで侵入／退出を検出する構成のときには、例えば、監視領域に侵入した複数の人を個別に追跡して各々の人の退出を検出すればよい。
【００６８】
また、遮蔽物Ｃ（図１）は、移動する場合もあり得る。例えば、侵入者の陰に別の侵入者が入るような場合である。そのような場合でも、移動する遮蔽物として認識することで、移動遮蔽物による遮蔽範囲に人が存在するか否かを、第２または第３実施形態の方法で同様に検出できる。また、第１実施形態でも同様に検出でき、その場合、監視領域の侵入／退出経路に対応する端部と遮蔽物との間が所定距離以上となるように監視領域が（自動的に）変形されることが望ましい。
【００６９】
さらに、本発明による画像式監視装置およびそれを用いた安全システムは、移動体へ搭載する場合にも有効である。すなわち、例えば移動体の進行方向を監視領域として撮像装置により撮像し、画像判定装置により障害物の有無を判定して移動体の進行／停止を図１０および図１１に示した構成と同様な構成により制御するようにすればよい。
【００７０】
また、上述した各実施形態では、画像情報上で設定される監視領域（危険領域）が撮像範囲（画像フレーム）と一致しているものとして説明したが、監視領域は必ずしも撮像範囲と一致するとは限らず、通常は現実の危険領域に応じてフレキシブルに定められる領域である。
【００７１】
【発明の効果】
以上説明したように、本発明の画像式監視技術は、画像情報を用いて、監視領域に対する物体の侵入を検出した後に、該物体の監視領域内における移動を追跡することで監視領域内から物体の退出を検出するか、または、監視領域の侵入／退出経路に対応する端部から遮蔽範囲までの間に所定の距離を持たせた撮像範囲の画像情報を用いて監視領域に対する物体の侵入および退出を検出し、該侵入および退出の各検出結果のみに従って、監視領域内の物体の存在または不在を判定するようにしたことで、監視領域内の安全状態を遮蔽物等に関係なく確実に外部に通報することができる。また、監視領域内における物体の移動追跡を行う場合に、物体の侵入が検出されて以降、その退出が検出される以前に、所定時間を超えても該物体が監視領域内で確認されないときには監視領域内に物体が存在すると見なすことにより、その物体の動作を異常と判断して安全側の判定を強制的に行うことができる。このような画像式監視技術を適用した安全システムにおいては、機械装置の運転状態を安全側に確実に制御することが可能である。
【図面の簡単な説明】
【図１】本発明の第１実施形態かかる画像式監視装置により撮像される画像情報を示す図である。
【図２】同上第１実施形態における判定動作を説明するフローチャートである。
【図３】本発明の第２実施形態における判定動作を説明するフローチャートである。
【図４】本発明の第３実施形態における判定動作の特徴部分を抜き出して示したフローチャートである。
【図５】本発明の第４実施形態にかかる画像式監視装置の構成を示す図である。
【図６】同上第４実施形態の動作を説明するタイミング図である。
【図７】本発明の第５実施形態にかかる画像式監視装置の監視領域付近の構成を示す上面図である。
【図８】同上第５実施形態の動作を説明するタイミング図である。
【図９】撮像装置を用いた安全システムの基本的な構成例を示す図である。
【図１０】図９の安全システムにおいて、監視領域内の人の存在／不在とロボットの運転状態との関係を示す図である。
【図１１】図１０の関係を実現するためのインタロック構成の一例を示す図である。
【図１２】従来の画像式監視装置において用いられる画像情報の一例を示す図である。
【図１３】従来の画像判定装置の判定動作を示すフローチャートである。
【符号の説明】
１撮像装置
２画像判定装置
３ロボット
４制御装置
１０，１０’ 光線式安全装置
１０ａ，１０ａ₁，１０ａ₂ 投光器
１０ｂ，１０ｂ₁，１０ｂ₂ 受光器
１１光ビーム有無判定装置
１２一致確認回路
１３ＡＮＤ回路
Ａ撮像範囲
Ｃ遮蔽物

Claims

監視領域を撮像する撮像ステップと、
該撮像ステップで得られた画像情報に基づいて、監視対象となる物体の前記監視領域内への侵入を検出する侵入検出ステップと、
前記画像情報に基づいて、前記物体の監視領域内における移動を追跡することによって、前記物体の監視領域内からの退出を検出する退出検出ステップと、
前記侵入検出ステップおよび前記退出検出ステップの各検出結果のみに従って、前記物体が前記監視領域内に存在するか否かを判定し、前記監視領域内の安全状態を外部に通報する安全判定ステップと、を含み、
前記安全判定ステップは、前記侵入検出ステップで前記物体の侵入が検出されて以降、前記退出検出ステップで前記物体の退出を検出する以前に、所定時間を超えても前記物体を監視領域内に確認できないときには、それ以降に前記退出検出ステップで前記物体の退出を検出するか否かに拘わらず、前記監視領域内に前記物体が存在すると見なすことを特徴とする画像式監視方法。
監視領域の侵入／退出経路に対応する端部から前記監視領域内で監視対象となる物体が遮蔽される遮蔽範囲までの間が、前記物体の移動可能方向について所定の距離を有するように設定した撮像範囲を撮像する撮像ステップと、
該撮像ステップで得られた画像情報に基づいて、前記物体の監視領域内への侵入を検出する侵入検出ステップと、
前記画像情報に基づいて、前記物体の監視領域内からの退出を検出する退出検出ステップと、
前記侵入検出ステップおよび前記退出検出ステップの各検出結果のみに従って、前記物体が前記監視領域内に存在するか否かを判定し、前記監視領域内の安全状態を外部に通報する安全判定ステップと、
を含んでなることを特徴とする画像式監視方法。
監視領域を撮像する撮像手段と、該撮像手段で得られた画像情報に基づいて、監視対象となる物体が前記監視領域内に存在するか否かを判定し、前記監視領域内の安全状態を外部に通報する画像判定手段と、を備えた画像式監視装置において、
前記画像判定手段が、前記画像情報に基づいて前記物体の監視領域内への侵入を検出した後、前記物体の監視領域内における移動を追跡することによって、前記監視領域内からの前記物体の退出を検出し、該検出結果のみに従って前記物体が前記監視領域内に存在するか否かを判定すると共に、前記画像情報を基に監視領域内への物体の侵入を検出して以降、当該物体の退出を検出する以前に、所定時間を超えても前記物体を監視領域内に確認できないときには、それ以降に物体の退出を検出するか否かに拘わらず、前記監視領域内に物体が存在すると見なすことを特徴とする画像式監視装置。
監視領域を撮像する撮像手段と、該撮像手段で得られた画像情報に基づいて、監視対象となる物体が前記監視領域内に存在するか否かを判定し、前記監視領域内の安全状態を外部に通報する画像判定手段と、を備えた画像式監視装置において、
前記撮像手段は、前記監視領域の侵入／退出経路に対応する端部から前記監視領域内で前記物体が遮蔽される遮蔽範囲までの間が、前記物体の移動可能方向について所定の距離を有するように、撮像範囲が設定され、
前記画像判定手段が、前記画像情報に基づいて前記物体の監視領域内への侵入および監視領域内からの退出を検出し、該検出結果のみに従って前記物体が前記監視領域内に存在するか否かを判定することを特徴とする画像式監視装置。
前記画像判定手段は、前記画像情報を基に監視領域内への物体の侵入を検出した後、前記画像情報上での前記物体に相当する画像部分が、監視領域の侵入／退出経路に対応する所定範囲を通過し、監視領域に相当する画像領域から消失したことによって、監視領域からの物体の退出を検出することを特徴とする請求項４に記載の画像式監視装置。
請求項３〜５のいずれか１つに記載の画像式監視装置を用いた安全システムであって、
前記監視領域内に可動範囲を有する機械装置を備え、該機械装置の運転が、少なくとも前記画像式監視装置により監視領域の安全が通報されていることを以って許可される構成としたことを特徴とする安全システム。
前記監視領域の侵入／退出経路に、物体の通過を検出する安全装置を設け、該安全装置および前記画像式監視装置の各出力情報に基づいて、前記機械装置の運転が許可されることを特徴とする請求項６に記載の安全システム。
前記安全装置が、前記監視領域への物体の侵入および前記監視領域からの物体の退出をそれぞれ検出可能であることを特徴とする請求項７に記載の安全システム。