JP7252107B2 - 監視システム及び監視方法 - Google Patents

Description

本発明は、監視映像を表示機器に表示してユーザに確認させる監視システムに関する。

従来、監視システムのユーザである監視者自らが、監視カメラを遠隔的に操作し、監視カメラにより撮影された監視映像で状況確認を行うシステムが実用されている。通常の運用であれば、監視者の判断により緊急性を要する事象であると判断された場合にのみ、次工程（例えば、現場に警備員を派遣）の行為に移行することになる。

このような監視システムに関し、これまでに種々の発明が提案されている。例えば、特許文献１には、表示装置に表示された映像を見るユーザの目の動きを検出し、ユーザの目の動きに応じて監視カメラの撮影態様を制御する発明が開示されている。

特開第６２７６９５４号公報

従来の監視システムで大きな問題となるのは、次工程の行為への移行が「監視者の判断」に一任されている状況があるということである。最初から判断基準が明確に線引きされているシステム運用であれば問題となることは少ないが、ある程度監視者の判断に任されている場合には、どうしても監視者によって判断基準に差が生じてしまう。特に、業務期間の長さ（慣れの問題）によって判断基準に差が生じやすくなる。このため、監視者が誰であろうと、最終的には極力同じ判断結果が得られるような運用を実現することが望まれている。

また近年では、省力化や人員削減の影響で、常時監視するという行為に時間を割く割合は減っている。これを補うために、他設備との連動により、確認すべき事象の発生時に自動でカメラ切り替えや画面上にアラーム表示を行うことで、事象発生のタイミングでのみ監視者が映像を注視するという運用が増えつつある。このように、アラート発報時にだけしか監視を行わない運用になっている場合、業務期間が長い監視者ほど監視に慣れてしまい、次第にいい加減な監視になってしまう可能性がある。特に、誤報が多いシステムでは、運用期間が長くなるにつれて今回も誤報だという意識がより高くなり、重要な事象を見逃しやすくなる可能性がある。監視する行為が重要なシステムであるほど、重要な事象の見逃しを防止するための対策が重要となる。

本発明は、上記のような従来の事情に鑑みて為されたものであり、監視者が映像監視する際に確認すべき事象の見逃しが発生することを抑制することが可能な監視システムを提供することを目的とする。

本発明では、上記目的を達成するために、監視システムを以下のように構成した。
すなわち、本発明に係る監視システムは、表示機器に表示された監視映像を確認したユーザから次工程への移行を指示するユーザ操作を受け付ける操作端末と、前記監視映像を確認するユーザの顔を撮影するカメラと、前記カメラにより撮影された映像に基づいて、前記ユーザによる前記監視映像の確認状況が所定の条件を満たしたか否かを判定し、前記所定の条件を満たしたと判定されるまで、前記ユーザ操作の受け付けを前記操作端末に禁止させる制御装置と、を備えたことを特徴とする。

ここで、前記制御装置は、前記監視映像に対して設定された注視領域に前記ユーザの視線が向けられた時間が所定の確認時間以上となった場合に、前記所定の条件を満たしたと判定するように構成してもよい。

また、前記制御装置は、前記カメラにより撮影された映像内のユーザを識別し、識別されたユーザに応じて前記確認時間の長さを変更するように構成してもよい。

また、前記制御装置は、前記監視映像の表示中に前記カメラにより撮影された映像からユーザが検出されない場合に、アラートを発報するように構成してもよい。

本発明によれば、監視者が映像監視する際に確認すべき事象の見逃しが発生することを抑制することが可能な監視システムを提供することができる。

本発明の一実施形態に係る監視システムの構成例を示す図である。 図１の監視システムの監視端末装置に表示されるユーザインタフェース画面の例を示す図である。 図１の監視システムの監視端末装置に表示されるユーザインタフェース画面の例を示す図である。 図１の監視システムによる要確認イベントの発生時の処理フローの例を示す図である。

本発明の一実施形態に係る監視システムについて、図面を参照して説明する。
図１には、本発明の一実施形態に係る監視システムの構成例を示してある。本例の監視システムは、監視カメラ１０１と、ネットワーク網１０２と、画像処理装置１０３と、管理サーバ１０４と、制御インタフェース装置１０５と、デコーダ１０６と、監視モニタ１０７と、状況把握カメラ１０８と、監視端末装置１０９とを備えている。本例では、監視端末装置１０９が本発明に係る操作端末に対応し、状況把握カメラ１０８が本発明に係るカメラに対応し、画像処理装置１０３及び管理サーバ１０４が、本発明に係る制御装置に対応している。

ネットワーク網１０２は、伝送装置やネットワークスイッチなどで構成され、本システムを構成する装置や機器が相互に通信できるように接続する。
監視カメラ１０１は、監視対象となるエリアや物体を撮像する撮像装置である。図１では、監視カメラ１０１を１台のみ示しているが、一般的には複数の監視カメラ１０１が設置される。監視カメラ１０１には、各々を識別する識別情報（例えば、カメラ番号）が付されている。監視カメラ１０１による撮影された監視映像はデジタル信号に変換され、ネットワーク網１０２を介して他の装置へ送信される。

監視端末装置１０９は、監視カメラ１０１により撮影された監視映像を確認するユーザ（監視者）により操作される操作端末である。監視端末装置１０９は、監視映像を含む各種の情報を表示出力するための表示機器（例えば、ＬＥＤディスプレイ）や、ユーザから各種の入力操作を受け付けるための入力機器（例えば、マウスやキーボード）などを備える。なお、監視端末装置１０９は、表示装置と入力機器を一体化したタッチパネルを備えた装置（例えば、タブレット端末）であってもよい。

監視モニタ１０７は、監視映像を含む各種の情報を表示出力するための追加の表示機器である。監視モニタ１０７として、監視端末装置１０９の表示機器よりも大型の表示機器を用いることで、ユーザが監視映像などを確認しやすくなる。本例では、圧縮符号化された映像データから監視映像を復元するためのデコーダ１０６が監視モニタ１０７の外部にあり、監視モニタ１０７はデコーダ１０６から映像入力を受ける構成となっているが、監視モニタ１０７がデコーダ１０６を内蔵する構成であってもよい。

管理サーバ１０４は、監視端末装置１０９に表示されるユーザインタフェース画面のデータを提供する装置である。本例のユーザインタフェース画面は、図２，３に示すように、映像表示部２０１と、カメラ選択操作部２０２と、カメラ制御操作部２０３と、イベント表示部２０４と、報知部２０５と、確認操作部２０６とを有している。

映像表示部２０１は、監視映像表示対象に選択された監視カメラにより撮影された監視映像を表示する領域である。カメラ選択操作部２０２は、監視映像表示対象の監視カメラを選択する操作をユーザから受け付ける操作部である。カメラ制御操作部２０３は、監視映像表示対象に選択された監視カメラの向き、拡大倍率、焦点距離などを指定する操作をユーザから受け付ける操作部である。

ユーザは、カメラ選択操作部２０２を操作して監視映像表示対象の監視カメラを選択することで、所望の監視カメラによる監視映像を映像表示部２０１に表示させることができる。また、ユーザは、カメラ制御操作部２０３を操作することで、所望の向きや拡大倍率の監視映像を監視カメラに撮影させて、映像表示部２０１に表示させることができる。なお、本例のカメラ選択操作部２０２は、図２に示すように、カメラリストの中から監視映像表示対象の監視カメラを選択するモードと、図３に示すように、カメラの配置位置を示す地図を用いて監視映像表示対象の監視カメラを選択するモードとを有している。

イベント表示部２０４は、本システムと連携して動作する他の設備から制御インタフェース装置１０５を通じて受信したイベントの履歴を表示する領域である。例えば、監視対象のエリアに設置されたセンサ（例えば、フェンスの振動などを検知するフェンスセンサ）からアラームが発報された場合に、アラーム発報のイベントがイベント表示部２０４に表示される。

報知部２０５は、ユーザが監視映像を見て状況確認すべき要確認イベントが発生した場合に、要確認イベントの発生をユーザに報知する表示部である。報知部２０５は、要確認イベントの発生をユーザが認識し易い態様の表示（例えば、点滅表示）を行う。要確認イベントの発生時は、報知部２０５による表示出力とともに、又はこれに代えて、警告音の出力などの他の態様の出力を行ってもよい。

また、要確認イベントの発生時は、そのイベントの発生元及びその近辺を撮影する監視カメラが監視映像表示対象として自動的に選択される。つまり、要確認イベントの発生時には、映像表示部２０１の表示が、要確認イベントの発生元及びその近辺を撮影した監視映像に切り替わる。したがって、ユーザは、要確認イベントの発生元がどのような状況であるかを、速やかに監視映像で確認できるようになる。

確認操作部２０６は、要確認イベントについてユーザが監視映像で確認した場合に操作される操作部である。ユーザは、確認操作部２０６を操作することで、報知部２０５による報知動作を終了させることができる。ただし、後述するように、要確認イベントの発生元付近の監視映像をユーザが確認したと判断されるまで、確認操作部２０６に対するユーザ操作の受け付けが禁止されている。

状況把握カメラ１０８は、監視カメラ１０１により撮影された監視映像を確認するユーザの顔を撮影する撮像装置である。状況把握カメラ１０８は、監視端末装置１０９で監視映像を確認中のユーザの顔を正面から撮影できるように、例えば監視端末装置１０９が有する表示機器の上部に、ユーザの顔方向に向けて設置される。

画像処理装置１０３は、状況把握カメラ１０８により撮影された映像を解析し、監視端末装置１０９に表示された監視映像の確認状況を分析する。具体的には、状況把握カメラ１０８により撮影されたユーザの顔の映像に基づいて、監視端末装置１０９の表示機器に表示されたユーザインタフェース画面上のどの位置にユーザの視線が向けられているかを分析する。ユーザインタフェース画面上の視線位置は、例えば特許文献１に示されるように、画面上の所定位置（中央、右端、左端、上端、下端など）に視線を向けた際の目の映像における瞳孔の位置を事前に測定して登録しておき、この瞳孔位置データを使用して監視時のユーザの映像を解析することで、特定することが可能である。もちろん、他の手法でユーザの視線位置を特定しても構わない。画像処理装置１０３により分析されたユーザインタフェース画面上の視線位置のデータは、管理サーバ１０４へ送信される。

管理サーバ１０４は、要確認イベントに対応する監視カメラ１０１により撮影された監視映像の表示中に、画像処理装置１０３から受信したユーザインタフェース画面上の視線位置のデータに基づいて、ユーザによる監視映像の確認状況が所定の条件を満たしたか否かを判定する。本例では、ユーザインタフェース画面の映像表示部２０１に表示された監視映像に対して注視領域が予め設定されており、この注視領域に対してユーザの視線が向けられた時間が所定の確認時間以上となったか否かを判定する。注視領域は、映像表示部２０１に表示された監視映像全体でもよいし、図２，３に示すように、監視映像内の要確認イベントの発生元付近のエリアＲでもよい。どの監視カメラ１０１による監視映像のどの部分を注視領域とするかは、要確認イベントの発生を検出するセンサ等の機器毎に、予め設定しておけばよい。

管理サーバ１０４は、ユーザインタフェース画面の監視映像上の注視領域に対してユーザの視線が向けられた時間が所定の確認時間以上となった場合に、監視映像の確認状況が所定の条件を満たしたと判断し、確認操作部２０６に対するユーザ操作の受け付け禁止を解除する。つまり、ユーザは、要確認イベントの発生時は、対応する監視カメラ１０１による監視映像上の注視領域をある程度の時間以上見なければ、確認操作部２０６を操作して報知部２０５による報知動作を終了させることはできない。

ここで、上記の確認時間としては、ユーザに応じた長さの時間が用いられる。つまり、状況把握カメラ１０８により撮影された映像内のユーザを識別し、識別されたユーザに対して予め設定された長さの確認時間を適用する構成となっている。各ユーザに対する確認時間の長さは、そのユーザのこれまでの監視状況に基づいて設定することができる。例えば、正確な判断を行ってきたユーザに対しては短い確認時間が設定され、判断ミスが多かったユーザに対しては長い確認時間が設定される。ユーザ毎の確認時間の長さは、過去の監視結果を記録した履歴データに基づいて機械的に算出してもよいし、システム運用者の判断で設定してもよい。なお、ユーザに応じた長さの監視時間を用いずに、ユーザに関わらずに一定の長さの監視時間を用いても構わない。

また、管理サーバ１０４は、要確認イベントに対応する監視カメラ１０１により撮影された監視映像の表示中に、状況把握カメラ１０８により撮影された映像からユーザが検出されない状態が所定時間続いた場合には、監視者不在アラートを発報する。監視者不在アラートは、例えば、上位システムなどの別システムへ送信され、監視映像を確認すべきユーザの不在が通知される。

本例の監視システムによる要確認イベントの発生時の動作について、図４の処理フローを参照して説明する。
管理サーバ１０４は、他の設備から制御インタフェース装置１０５を通じてアラーム発報のイベントを受信すると（ステップＳ１０１）、ユーザが監視映像を見て状況確認すべき要確認イベントか否かを判定する（ステップＳ１０２）。そして、要確認イベントと判定された場合は、イベント発生元を撮影する監視カメラ１０１を監視映像表示対象に選択し、その監視映像を監視端末装置１０９のユーザインタフェース画面に表示させる（ステップＳ１０３）。

このとき、管理サーバ１０４は、報知部２０５による報知動作を開始させる一方で、その終了を指示するための確認操作部２０６に対するユーザ操作を受け付け禁止状態に設定しておく。確認操作部２０６に対するユーザ操作の受け付け許可／禁止の制御は、確認操作部２０６の表示／非表示を切り替えたり、確認操作部２０６の有効化／非有効化を切り替えたりすることで実現が可能である。

その後、要確認イベントに対応する監視カメラ１０１により撮影された監視映像の表示中に、管理サーバ１０４は、ユーザインタフェース画面上の視線位置を分析したデータを画像処理装置１０３から受信し（ステップＳ１０４）、状況把握カメラ１０８により撮影された映像からユーザが検出されているか否かを判定する（ステップＳ１０５）。そして、状況把握カメラ１０８により撮影された映像からユーザが検出されない状態が所定時間続いた場合には、管理サーバ１０４は、監視者不在アラートを発報する（ステップＳ１０９）。

一方、状況把握カメラ１０８により撮影された映像からユーザが検出された場合には、管理サーバ１０４は、ユーザの視線位置がユーザインタフェース画面の監視映像上の注視領域に含まれるかを判定する（ステップＳ１０６）。また、ユーザの視線位置が注視領域内に含まれる場合には、その状態の時間が所定の確認時間以上になったかを判定する（ステップＳ１０７）。

これらの判定の結果、ユーザインタフェース画面の監視映像上の注視領域に対してユーザの視線が向けられた時間が所定の確認時間以上となったと判定された場合に、確認操作部２０６に対して設定したユーザ操作の受け付け禁止状態を解除する（ステップＳ１０８）。つまり、確認操作部２０６をユーザ操作の受け付け許可状態に変更する。ユーザは、受け付け許可状態になった確認操作部２０６を操作することで、報知部２０５による報知動作を終了させる。

以上のように、本例の監視システムでは、要確認イベントの発生時に、監視端末装置１０９が、管理サーバ１０４による制御に従って、イベント発生元を撮影する監視カメラ１０１による監視映像を含むユーザインタフェース画面を表示し、状況把握カメラ１０８が、ユーザインタフェース画面に表示された監視映像を確認するユーザの顔を撮影し、画像処理装置１０３が、状況把握カメラ１０８により撮影された映像に基づいて、ユーザインタフェース画面上の視線位置を分析し、管理サーバ１０４が、視線位置のデータに基づいて、ユーザによる監視映像の確認状況が所定の条件を満たしたか否かを判定し、所定の条件を満たしたと判定されるまでユーザインタフェース画面での確認操作（確認操作部２０６に対するユーザ操作）の受け付けを禁止する構成となっている。

このように、監視映像の確認が適切に行われたと判断されるまでは確認操作の受け付けを禁止することで、監視者が映像監視する際に確認すべき事象の見逃しが発生することを抑制することができる。したがって、監視者の慣れの問題等による見逃しが少なくなる。このため、本例の監視システムによれば、監視者が誰であろうと、最終的には極力同じ判断結果が得られるような運用を実現することが可能となる。つまり、より確実で間違いの少ない正確な監視体制を実現することが可能となる。

また、本例の監視システムでは、管理サーバ１０４が、ユーザインタフェース画面の監視映像上の注視領域に対してユーザの視線が向けられた時間が所定の確認時間以上となったと判定された場合に、所定の条件を満たしたとして、確認操作の受け付け禁止を解除する構成となっている。したがって、監視者が確認操作に進むためには、監視映像上の注視領域をある程度の時間は見る必要があるので、見逃し発生を効果的に防止することが可能である。

また、本例の監視システムでは、管理サーバ１０４が、状況把握カメラ１０８により撮影された映像内のユーザを識別し、識別されたユーザに応じて確認時間の長さを変更する構成となっている。したがって、監視者の個人差を考慮して監視映像の確認時間の長さを変化させることができるので、より安全な監視体制を構築することが可能となる。

また、本例の監視システムでは、管理サーバ１０４が、監視映像の表示中に状況把握カメラ１０８により撮影された映像からユーザが検出されない場合に、アラートを発報する構成となっている。したがって、監視映像を確認すべき監視者が不在の状況を速やかに検知して、監視者不在時の対応を取るように促すことが可能となる。

ここで、上記の説明では、確認操作の受け付けを一時的に禁止する構成について説明したが、操作受け付けを一時的に禁止する対象のユーザ操作は、これに限定されない。すなわち、次工程への移行を指示する種々のユーザ操作、例えば、警備員を現場に派遣させる操作、監視結果について報告する操作、別の監視カメラによる監視映像に表示を切り替える操作などの受け付けを、ユーザによる監視映像の確認状況が所定の条件を満たすまで禁止してもよい。

また、上記の説明では、画像処理装置１０３及び管理サーバ１０４を別装置として構成し、これらが連携して動作することで本発明に係る制御装置を実現しているが、画像処理装置１０３及び管理サーバ１０４を一体の装置として構成してもよいことは言うまでもない。

また、上記の説明では、監視映像を表示する表示機器として、監視端末装置１０９が備える表示機器を用いているが、これに代えて／又はこれと共に、監視モニタ１０７を用いてもよい。監視モニタ１０７に監視映像を表示する場合には、監視モニタ１０７で監視映像を確認する監視者の顔も撮影できるように、監視モニタ１０７の側からユーザの顔方向を撮影する状況把握カメラを追加で設置して、ユーザによる監視映像の確認状況を分析すればよい。監視端末装置１０９と監視モニタ１０７を併用して監視映像を表示する場合には、例えば、監視モニタ１０７に監視映像の全体像に表示させ、その中からユーザに選択された一部の拡大画像を監視端末装置１０９に表示させるなどして、より柔軟で使い勝手のよい監視システムを構築することができる。

また更に、本システムを拡張して、監視者が監視行為にどれだけの時間を割いていたのか（例えば、監視映像をどれだけ注視していたか）を事後的に判断できる材料（例えば、統計データ）を得るようにしてもよい。これにより、監視者の人員配置の再検討や、その配置に応じた監視モニタの台数の再検討などを行うことが可能となり、安易な省力化ではなく適切な省力化を計画することが可能となる。

以上、本発明について詳細に説明したが、本発明は上記のような構成に限定されるものではなく、上記以外の構成により実現してもよいことは言うまでもない。
また、本発明は、例えば、本発明に係る処理を実行する方法や方式、そのような方法や方式をプロセッサやメモリ等のハードウェア資源を有するコンピュータにより実現するためのプログラム、そのようなプログラムを記憶する記憶媒体などとして提供することも可能である。

本発明は、監視映像を表示機器に表示してユーザに確認させる種々の監視システムに利用することができる。

１０１：監視カメラ、 １０２：ネットワーク網、 １０３：画像処理装置、 １０４：管理サーバ、 １０５：制御インタフェース装置、 １０６：デコーダ、 １０７：監視モニタ、 １０８：状況把握カメラ、 １０９：監視端末装置、
２０１：映像表示部、 ２０２：カメラ選択操作部、 ２０３：カメラ制御操作部、 ２０４：イベント表示部、 ２０５：報知部、２０６：確認操作部２０６

Claims (5)

1. 表示機器に表示された監視映像を確認したユーザから次工程への移行を指示するユーザ操作を受け付ける操作端末と、
   前記監視映像を確認するユーザの顔を撮影するカメラと、
   前記カメラにより撮影された映像に基づいて、前記ユーザによる前記監視映像の確認状況が所定の条件を満たしたか否かを判定し、前記所定の条件を満たしたと判定されるまで、前記ユーザ操作の受け付けを前記操作端末に禁止させる制御装置と、を備えたことを特徴とする監視システム。
2. 請求項１に記載の監視システムにおいて、
   前記制御装置は、前記監視映像に対して設定された注視領域に前記ユーザの視線が向けられた時間が所定の確認時間以上となった場合に、前記所定の条件を満たしたと判定することを特徴とする監視システム。
3. 請求項２に記載の監視システムにおいて、
   前記制御装置は、前記カメラにより撮影された映像内のユーザを識別し、識別されたユーザに応じて前記確認時間の長さを変更することを特徴とする監視システム。
4. 請求項１乃至請求項３のいずれかに記載の監視システムにおいて、
   前記制御装置は、前記監視映像の表示中に前記カメラにより撮影された映像からユーザが検出されない場合に、アラートを発報することを特徴とする監視システム。
5. 監視映像を表示機器に表示してユーザに確認させる監視システムにより実施される監視方法において、
   前記ユーザからユーザ操作を受け付ける操作端末と通信可能に接続された制御装置が、前記監視映像を確認するユーザの顔を撮影した映像に基づいて、前記ユーザによる前記監視映像の確認状況が所定の条件を満たしたか否かを判定し、前記所定の条件を満たしたと判定されるまで、次工程への移行を指示するユーザ操作の受け付けを前記操作端末に禁止させることを特徴とする監視方法。

Images