JP7354461B2 - 監視システム及び監視方法 - Google Patents

Description

本発明は、監視エリアへの侵入物を検知する監視システムに関する。

従来、監視エリアへの侵入物（侵入者や動物も含む）を検知する監視システムが実用されている。例えば、特許文献１には、監視画面上に監視エリアの地図を表示し、地図上に侵入者の移動軌跡線を表示すると共に、移動軌跡線上の任意の位置座標が選択されると、その位置座標に応じた監視カメラの記録映像の再生を行う監視システムが開示されている。

特開２０１７－９２８０８号公報

従来の監視システムは、侵入物の見逃しを極力減らしたいという考えから、監視エリア内に入ってきた物体すべてを検知する方式のものが多い。その一方で、監視エリアには保守作業のために作業員が立ち入ることがあり、侵入物と作業員の区別が難しいため、作業員を侵入物として誤検知しかねない問題がある。そこで、保守作業の間は作業員が作業予定範囲を目視できることを前提として、作業予定範囲全体に対して侵入物検知をＯＦＦにする措置が採られていた。

しかしながら、作業予定範囲が広い場合や周囲の明るさが足りない場合は、作業員の目視可能範囲が作業予定範囲より狭くなってしまうので、侵入物の見逃しが発生する可能性がある。例えば、道路や鉄道軌道の保守作業では、数百ｍ～数ｋｍ程度の長い区間が作業予定範囲となるため、作業員は作業予定範囲全体を目視で監視することは到底できない。

本発明は、上記のような従来の事情に鑑みて為されたものであり、作業員の誤検知を防止しつつ、侵入物の見逃しを低減することが可能な監視システムを提供することを目的とする。

上記の目的を達成するために、本発明では、監視システムを以下のように構成した。
すなわち、監視エリアへの侵入物を検知する監視システムにおいて、監視エリアを撮影するカメラと、カメラの撮影画像を用いて侵入物の検知処理を行う画像処理装置と、監視エリア内で所定作業を行う作業員に携帯される測位端末とを備え、画像処理装置は、カメラの撮影画像における、測位端末により測位された位置に対応する座標を含む領域を、侵入物の検知処理の対象外領域に設定することを特徴とする。

ここで、対象外領域は、測位端末により測位された位置に対応する座標を中心とした、作業員に対して設定された作業範囲又は視認範囲の少なくとも一方に基づく領域としてもよい。

また、対象外領域は、カメラの撮影範囲の照度、作業員の姿勢、作業員の持ち込み機材の１つ以上に基づいて調整されてもよい。

また、画像処理装置は、カメラの撮影画像の範囲から対象外領域がはみ出る場合に、当該カメラに隣接するカメラの撮影画像における前記はみ出た領域に対応する領域を、侵入物の検知処理の対象外領域に設定するようにしてもよい。

本発明によれば、作業員の誤検知を防止しつつ、侵入物の見逃しを低減することが可能な監視システムを提供することができる。

本発明の一実施形態に係る監視システムの概略構成を示す図である。 図１の監視システムにおける画像処理装置の構成例を示す図である。 侵入物検知処理のフローチャート例を示す図である。 マスク画像作成処理のフローチャート例を示す図である。 マスク画像作成処理で作成されるマスク画像について説明する図である。

本発明の一実施形態について図面を参照して説明する。
図１には、本発明の一実施形態に係る監視システムの概略構成を示してある。本例の監視システムは、カメラで撮影された画像の解析により監視を行うシステムであり、カメラ１１と、画像処理装置１２と、表示端末１３を備えるほかに、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）端末１４と、照度計１５を備える。カメラ１１、ＧＰＳ端末１４、照度計１５は、有線又は無線のネットワークを介して画像処理装置１２と通信可能に接続される。

カメラ１１は、監視エリアを撮影するための撮像装置であり、監視エリア全体をカバーできるように複数台が設置される。カメラ１１としては、可視光カメラを用いてもよいし、赤外線カメラを用いてもよいし、これら両方を用いてもよい。カメラ１１は、デジタル信号方式又はアナログ信号方式の画像出力インタフェース（Ｉ／Ｆ）を用いて、撮影した画像を画像処理装置１２に送信する。

画像処理装置１２は、カメラ１１から受信した撮影画像に対して種々の画像処理を施し、処理後の出力用画像を表示端末１３に送信する。また、画像処理装置１２は、カメラ１１から受信した撮影画像に基づいて、監視エリアへの侵入物を検知するための侵入物検知処理を行い、侵入物が検知された場合は警報信号を出力する。

表示端末１３は、ＶＭＳ（ビデオマネージメントシステム）を搭載しており、カメラ１１による撮影画像／画像処理装置１２で画像処理された出力用画像の表示や、画像処理装置１２からの警報出力に応じたアラーム鳴動／アラーム表示などを行う。

ＧＰＳ端末１４は、現在位置を測位するための機器であり、測位した現在位置を定期的に画像処理装置１２に通知する。ＧＰＳ端末１４は、監視エリア内で作業を行う予定の作業員のそれぞれ、または、代表者に携帯される。

照度計１５は、周辺の照度を計測するセンサーであり、計測した照度を定期的に画像処理装置１２に通知する。照度計１５は、それぞれのカメラ１１の撮影範囲に対応するように複数台が設置される。なお、各々のカメラ１１が照度計１５を備えても構わない。

図２には、画像処理装置１２の構成例を示してある。画像処理装置１２は、画像入力Ｉ／Ｆ２１と、処理メモリ２２と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２３と、プログラムメモリ２４と、画像出力Ｉ／Ｆ２５と、通信Ｉ／Ｆ２６を備え、これらはバス２７により接続されている。

画像入力Ｉ／Ｆ２１は、カメラ１１から送信された撮影画像が入力されるインタフェースであり、入力された撮影画像を処理メモリ２２に保存する。

処理メモリ２２は、画像メモリ領域３１と、マスク画像メモリ領域３２と、ワークメモリ領域３３とを有する。画像メモリ領域３１は、画像入力Ｉ／Ｆ２１を通じて入力された撮影画像（例えば、侵入物検知の対象となる画像や次の侵入物検知で必要な背景画像）や、画像処理を施した出力用画像などを、一時的に保存しておくメモリ領域である。マスク画像メモリ領域３２は、侵入物検知の対象領域／対象外領域を規定するマスク画像を保存しておくメモリ領域である。本例では、マスク画像として、侵入物検知の対象領域（非マスク領域）を白値、侵入物検知の対象外領域（マスク領域）を黒値とした二値画像を用いるが、これに限定されない。ワークメモリ領域３３は、侵入物検知処理を行う際に一時的に使用される作業用のメモリ領域である。

ＣＰＵ２３は、プログラムメモリ２４に格納されたプログラムを実行することで、侵入物検知処理を含む種々の処理を行うものである。

プログラムメモリ２４は、侵入物検知処理に関する各機能を実現するためのプログラムを記憶しておくメモリである。本例では、侵入物検知処理に関する機能として、物体検知機能４１、姿勢検知機能４２、ＧＰＳ受信機能４３、照度受信機能４４、行動範囲取得機能４５を有する。

画像出力Ｉ／Ｆ２５は、画像メモリ２０３に保存された出力用映像を、画像処理装置１２のモニタや表示端末１３に表示可能な形に変換して出力するインタフェースである。

通信Ｉ／Ｆ２６は、ＧＰＳ端末１４や照度計１５を含む外部の機器と通信するためのインタフェースである。

図３には、画像処理装置１２により実行される侵入物検知処理のフローチャート例を示してある。ここで、カメラ１１の各々に対して、そのカメラ１１の撮影範囲及び基本マスク画像が予め設定されており、その情報が画像処理装置１２に登録されているものとする。また、保守作業を開始する前に、各作業員に携帯させるＧＰＳ端末１４の情報（例えば、端末ＩＤ）が画像処理装置１２に登録されているものとする。また、保守作業に際して長尺物などの或る程度の大さの機材を持ち込む場合には、持ち込み機材の情報（例えば、大きさ）も画像処理装置１２に登録されているものとする。

画像処理装置１２は、まず、侵入物検知の起動設定がＯＮかＯＦＦかを判定する（ステップＳ１１）。侵入物検知ＯＦＦ、すなわち、侵入者検知を実施しない設定の場合には、特に処理を行わない。一方、侵入物検知ＯＮ、すなわち、侵入者検知を実施する設定の場合には、以下のようにして侵入物検知処理を実施する。

カメラ１１で撮影された画像を画像入力Ｉ／Ｆ２１で取得し、画像メモリ３１に保存する（ステップＳ１２）。また、ＧＰＳ受信機能４３により、保守作業中の作業員が携帯するＧＰＳ端末１４からＧＰＳ情報を取得し、作業員の緯度・経度データをワークメモリ３３に保存する（ステップＳ１３）。なお、ＧＰＳ端末１４からＧＰＳ情報を受信しなかった場合には、緯度・経度データに代えて、「ＧＰＳ情報なし」を表すコードをワークメモリ３３に保存する。また、照度受信機能４４により、カメラ１１の撮影範囲に対応する照度計１５から照度データを取得し、ワークメモリ３３に保存する（ステップＳ１４）。

また、姿勢検知機能４２により、ＧＰＳ情報が示す位置にいる作業員の姿勢を検知する（ステップＳ１５）。本例では、画像メモリ３１に保存されたカメラ１１の画像を解析することで、作業員が下向き姿勢で作業しているか否かを判定する。具体的には、画像処理装置１２内で骨格検知やＡＩ学習で下向き姿勢のサンプルを事前に学習させておき、学習させたサンプルとの類似度が所定値以上であった作業員を下向き姿勢と判定する。作業員が下向き姿勢であると判定された場合には、下向き姿勢の時間（以下、下向き継続時間）を計測する。なお、下向き姿勢でない状態が一定時間を超えた場合には、下向き継続時間はクリアされる。

なお、下向き姿勢か否かの判定は、別の手法で行うようにしてもよい。別の手法としては、例えば、作業員のヘルメットに取り付けておいた視線感知機能付きのカメラで所定角度以上の下向き視線が検出された場合に下向き姿勢と判定する手法や、作業員のヘルメットに取り付けておいたジャイロセンサで所定角度以上の前方向への傾きが検知された場合に下向き姿勢と判定する手法などが挙げられる。

上記の各処理は、システム内の全てのカメラ１１、ＧＰＳ端末１４、照度計１５に対して行われる。その後、カメラ毎にマスク画像作成処理を行う（ステップＳ１６）。マスク画像作成処理では、ＧＰＳ受信機能４３、照度受信機能４４及び姿勢検知機能４２により得られた情報に基づいて、カメラ１１で撮影された画像における侵入物検知の対象領域／対象外領域を決定し、これらの領域を画像で表したマスク画像を作成する。

次に、物体検知機能４１により、それぞれのカメラ１１で撮影された画像を解析して、監視エリアに対する侵入物の有無を判断する（ステップＳ１７）。このとき、カメラ１１で撮影された画像の全体から物体検知を行うのではなく、マスク画像で規定された侵入物検知の対象領域のみから物体検知を行って、検知された物体を侵入物と判定する。すなわち、マスク画像で規定された侵入物検知の対象外領域からは物体検知を行わない。なお、別の手法として、カメラ１１で撮影された画像の全体から物体検知を行い、侵入物検知の対象領域で物体が検知された物体を侵入物と判定する一方で、侵入物検知の対象外領域で物体が検知された物体は侵入物ではないと判定してもよい。ここで、撮影画像に含まれる物体の検知は、背景差分法、フレーム間差分法、学習を用いた物体認識などの、一般的な物体検知手法を使用して判断することができる。

次に、画像処理装置１２のモニタや表示端末１３に表示するための出力用画像を作成する（ステップＳ１８）。出力用画像は、カメラ１１で撮影された画像に、その撮影エリアを示す情報や侵入物の有無を示す情報などの付加情報を重畳した画像である。その後、作成した出力用画像を、画像出力Ｉ／Ｆ２５を通じて画像処理装置１２のモニタや表示端末１３に表示させる（ステップＳ１９）。カメラ毎に得られる出力用画像は、表示領域を複数に分割して同時表示してもよいし、一定時間毎に切り替え表示してもよい。

また、物体検知機能４１による検知結果（侵入物の有無）を判定し（ステップＳ２０）、侵入物ありと判定された場合には、通信Ｉ／Ｆ２６を通じて表示端末１３への警報出力を行う（ステップＳ２１）。これにより、表示端末１３においてアラーム鳴動／アラーム表示などが行われ、侵入物の検知が監視員に通知される。

次に、カメラ毎のマスク画像作成処理（ステップＳ１６）の詳細について、図４を用いて説明する。図４には、マスク画像作成処理のフローチャート例を示してある。以下では、１つのカメラ（以下、対象カメラ）に着目して、マスク画像作成処理を説明する。

まず、保守作業の作業員に携帯させるＧＰＳ端末１４からＧＰＳ情報を受信したか否かを判定する（ステップＳ３１）。ここでは、ワークメモリ３３に保存されたＧＰＳ端末１４（作業員）の緯度・経度データを確認し、緯度・経度データが「ＧＰＳ情報なし」を表すコードか否かを判断する。「ＧＰＳ情報なし」を表すコードの場合には、カメラ毎に事前登録された基本マスク画像を、今タイミングの侵入物検知処理で適用するように設定する（ステップＳ３７）。

一方、ＧＰＳ端末１４の緯度・経度データが「ＧＰＳ情報なし」を表すコードではない場合には、ＧＰＳ端末１４の緯度・経度をＸＹ座標に変換する（ステップＳ３２）。緯度・経度をＸＹ座標に変換する方法としては、例えば、一般的な緯度・経度をワールド座標のＸＹ座標に変換する方式を用いることができる。

次に、座標変換で得られたＸＹ座標が対象カメラの撮影範囲内であるか否か、及び、対象カメラに隣接する他のカメラ（以下、隣接カメラ）に関するマスク位置通知があるか否かを判定する（ステップＳ３３）。マスク位置通知は、隣接カメラの撮影範囲内で作業員が検出された場合に発せられる通知である。

ＸＹ座標が対象カメラの撮影範囲内でなく、隣接カメラに関するマスク位置通知もない場合（つまり、作業員が対象カメラの撮影範囲内におらず、その近くにもいない場合）には、カメラ毎に事前登録された基本マスク画像を、今タイミングの侵入物検知処理で適用するように設定する（ステップＳ３７）。一方、ＸＹ座標が対象カメラの撮影範囲内ある場合（つまり、作業員が対象カメラの撮影範囲内にいる場合）、又は、隣接カメラに関するマスク位置通知がある場合（つまり、作業員が対象カメラの撮影範囲外だが近くにいる場合）には、そのＸＹ座標に応じたマスク画像を以下のようにして作成する。

まず、事前登録された持ち込み機材の情報を確認し、持ち込み機材の大きさに基づいて一定時間の作業範囲を推定し、マスク半径［作業半径］を決定する（ステップＳ３４）。例えば、持ち込み機材が無い場合（つまり、作業員のみで保守作業を行う場合）には、人が所定秒数内に走って移動できる範囲をマスク半径［作業半径］に決定する。例えば、長尺物を持ち込む場合には、長尺物を所定秒数内に移動させることができる範囲をマスク半径［作業半径］に決定する。

また、対象カメラの撮影範囲に対応する照度データ、及び、対象カメラの撮影範囲にいる作業員の姿勢に基づいて、マスク半径［視認半径］を決定する（ステップＳ３５）。作業員が視認できる視野範囲は周囲の明るさで左右されるので、照度が低いほど（つまり、暗いほど）マスク半径［視認半径］が小さくなるように調整し、照度が高いほど（つまり、明るいほど）マスク半径［視認半径］が大きくなるように調整する。また、作業員の下向き継続時間が所定値以上の場合、すなわち、作業員が下向きで作業している場合には、作業員は移動せず且つ遠くに目が届かないので、マスク半径［作業半径］を０とし、マスク半径［視認半径］も小さくなるように調整する。

その後、対象カメラの基本マスク画像に基づいて、現タイミングの侵入物検知処理で使用するマスク画像を生成する（ステップＳ３６）。具体的には、基本マスク画像に対し、作業員のＸＹ座標を中心として、マスク半径［作業半径］とマスク半径［視認半径］の大きい方を半径とした円状のマスク領域を追加する。また、マスク位置通知が発せされている場合には、その通知内容に応じたマスク領域（図５の画像５８を参照）も追加する。なお、複数の作業員のＧＰＳ情報を受信した場合、作業員毎に上述の円状のマスク領域を算出し、それらを重ね合わせた領域を最終的な円状マスク領域とする。

次に、基本マスク画像に追加した円状マスク領域が画像外にはみ出たか否かを判定し、はみ出ている場合には、はみ出し部分に対応するエリアを撮影範囲に含む隣接カメラがあるかを判定する（ステップＳ３８）。はみ出し部分に対応するエリアを撮影範囲に含む隣接カメラがある場合には、作業員のＸＹ座標、マスク半径［作業半径］、マスク半径［視認半径］を含むマスク位置通知を発行する（ステップＳ３９）。これにより、隣接カメラのマスク画像に、上記はみ出し部分に対応するマスク領域が追加されることになる。

マスク画像作成処理で作成されるマスク画像について、図５を用いて説明する。なお、図５に示すマスク画像５２，５４，５６，５８では、白地部分が非マスク領域であり、黒字部分がマスク領域である。
作業員を含まない画像５１が撮影された場合には、事前登録された基本マスク画像５２がそのまま適用される。一方、作業員を含む画像５３が撮影された場合には、基本マスク画像５２に作業員の位置を中心とした円状マスク領域を追加したマスク画像５４が作成される。また、対象カメラの撮影範囲内の外側近くに作業員を含む画像５５が撮影された場合には、部分的にはみ出た円状マスク領域を有するマスク画像５６が作成される。この場合、隣接カメラで作業員を含まない画像５７が撮影されていても、マスク画像５６からのはみ出し部分に対応する領域をマスク領域として追加したマスク画像５８が作成される。

以上のように、本例の監視システムでは、監視エリアを撮影するカメラ１１と、カメラ１１の撮影画像を用いて侵入物の検知処理を行う画像処理装置１２と、監視エリア内で所定作業を行う作業員に携帯されるＧＰＳ端末１４とを備え、画像処理装置１２は、カメラ１１の撮影画像における、ＧＰＳ端末１４により測位された位置に対応する座標を含む領域を、侵入物の検知処理の対象外とするマスク領域に設定するように構成されている。このように、作業員に携帯させたＧＰＳ端末１４により作業員の位置を逐次認識し、その周辺を自動的にマスク領域に設定することで、作業員の誤検知を防止しつつ、侵入物の見逃しを低減することができる。

また、本例の監視システムでは、マスク領域として、ＧＰＳ端末１４により測位された位置に対応する座標を中心とした、作業員に対して設定されたマスク半径［作業半径］とマスク半径［視認半径］の大きい方を適用した円状マスク領域を設定するように構成されている。したがって、作業員の作業範囲及び視認可能な範囲を考慮したマスク領域を簡易に設定することが可能となる。なお、処理の簡易化のために、マスク半径［作業半径］又はマスク半径［視認半径］の一方のみを考慮したマスク領域を設定するようにしても構わない。

また、本例の監視システムでは、対象カメラの撮影範囲の照度に応じてマスク半径［視認半径］を調整するように構成されている、また、作業員の姿勢に応じてマスク半径［作業半径］及びマスク半径［視認半径］を調整するように構成されている。また、作業員の持ち込み機材に応じてマスク半径［作業半径］を調整するように構成されている。このように、作業時の環境や作業の内容などの要因に応じてマスク半径［作業半径］やマスク半径［視認半径］を調整することで、作業の実情に即したマスク領域を設定することが可能となる。

また、本例の監視システムでは、対象カメラの撮影画像の範囲からマスク領域がはみ出る場合に、対象カメラに隣接するカメラの撮影画像に対し、上記のはみ出し領域に対応する領域を、マスク領域に設定するように構成されている。したがって、作業員が対象カメラの撮影範囲外だが近くにいる場合に、その作業員が侵入物として誤検知されることを抑制することができる。

なお、上記の説明では、マスク領域として、作業員の位置を中心とした円状のマスク領域を設定しているが、楕円、四角形、六角形などの他の幾何学的な形状のマスク領域を設定することも可能である。

また、上記の説明では、侵入物検知の対象領域／対象外領域をマスク画像に基づいて判断しているが、マスク画像に基づいて判断するのではなく、ワールド座標上で判断するようにしてもよい。この場合には、物体の位置をワールド座標系で置き換え、マスク半径［作業範囲］、マスク半径［視認範囲］も実距離に変換した上で、物体の位置が侵入物検知の対象外の範囲か否かを判断すればよい。

以上、本発明について一実施形態に基づいて説明したが、本発明はここに記載された構成に限定されるものではなく、他の構成のシステムに広く適用することができることは言うまでもない。
例えば、上述した実施形態では、作業員のＧＰＳ位置情報に基づいて視野半径または作業半径を用いて円状のマスク領域を決定したが、マスク領域は円状に限定されるものではなく、矩形であってもよいし多角形であってもよい。この場合、作業員の位置情報に基づく座標を中心とした、作業員に対して設定された作業範囲（距離）又は視認範囲（距離）の少なくとも一方に基づく所定形状の領域をマスク領域として設定する。
また、本発明は、例えば、上記の処理に関する技術的手順を含む方法や、上記の処理をプロセッサにより実行させるためのプログラム、そのようなプログラムをコンピュータ読み取り可能に記憶する記憶媒体などとして提供することも可能である。

なお、本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらす全ての実施形態をも含む。更に、本発明の範囲は、全ての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画され得る。

本発明は、監視エリアへの侵入物を検知する監視システムに利用することができる。

１１：カメラ、 １２：画像処理装置、 １３：表示端末、 １４：ＧＰＳ端末、 １５：照度計、 ２１：画像入力Ｉ／Ｆ、 ２２：処理メモリ、 ２３：ＣＰＵ、 ２４：プログラムメモリ、 ２５：画像出力Ｉ／Ｆ、 ２６：通信Ｉ／Ｆ、 ２７：バス、 ３１：画像メモリ領域、 ３２：マスク画像メモリ領域、 ３３：ワークメモリ領域、 ４１：物体検知機能、 ４２：姿勢検知機能、 ４３：ＧＰＳ受信機能、 ４４：照度受信機能、 ４５：行動範囲取得機能

Claims (6)

1. 監視エリアへの侵入物を検知する監視システムにおいて、
   前記監視エリアを撮影するカメラと、
   前記カメラの撮影画像を用いて前記侵入物の検知処理を行う画像処理装置と、
   前記監視エリア内で所定作業を行う作業員に携帯される測位端末とを備え、
   前記画像処理装置は、前記カメラの撮影画像における、前記測位端末により測位された位置に対応する座標を含む領域を、前記侵入物の検知処理の対象外領域に設定することを特徴とする監視システム。
2. 請求項１に記載の監視システムにおいて、
   前記対象外領域は、前記測位端末により測位された位置に対応する座標を中心とした、前記作業員に対して設定された作業範囲又は視認範囲の少なくとも一方に基づく領域であることを特徴とする監視システム。
3. 請求項１又は請求項２に記載の監視システムにおいて、
   前記対象外領域は、前記カメラの撮影範囲の照度に応じて調整されることを特徴とする監視システム。
4. 請求項１乃至請求項３のいずれかに記載の監視システムにおいて、
   前記対象外領域は、前記作業員の姿勢に応じて調整されることを特徴とする監視システム。
5. 請求項１乃至請求項４のいずれかに記載の監視システムにおいて、
   前記対象外領域は、前記作業員の持ち込み機材に基づいて調整されることを特徴とする監視システム。
6. 請求項１乃至請求項５のいずれかに記載の監視システムにおいて、
   前記画像処理装置は、前記カメラの撮影画像の範囲から前記対象外領域がはみ出る場合に、当該カメラに隣接するカメラの撮影画像における前記はみ出た領域に対応する領域を、前記侵入物の検知処理の対象外領域に設定することを特徴とする監視システム。

Images