JP2019091395A - Information processing device, monitoring system, control method, and program - Google Patents
Information processing device, monitoring system, control method, and program Download PDFInfo
- Publication number
- JP2019091395A JP2019091395A JP2018042304A JP2018042304A JP2019091395A JP 2019091395 A JP2019091395 A JP 2019091395A JP 2018042304 A JP2018042304 A JP 2018042304A JP 2018042304 A JP2018042304 A JP 2018042304A JP 2019091395 A JP2019091395 A JP 2019091395A
- Authority
- JP
- Japan
- Prior art keywords
- person
- area
- time
- information
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Time Recorders, Dirve Recorders, Access Control (AREA)
- Television Signal Processing For Recording (AREA)
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
Abstract
Description
本発明は、 情報処理装置、監視システム、方法及びプログラムに関する。 The present invention relates to an information processing apparatus, a monitoring system, a method, and a program.
施設に来場した利用者の状態を把握するために、画像認証を利用したシステムが提案されている（特許文献１、特許文献２）。
In order to grasp the state of the user who has visited the facility, a system using image authentication has been proposed (
しかし、例えば研究所の待合所のように、任意の人物が滞在を許容されうる共有エリアにおいて、表向きは用向きを装いながら実際には施設内の人物や来訪者を観察して、機密情報を得ようとするような人物を監視する技術はこれまで提案されていなかった。 However, for example, in a common area where any person can be allowed to stay, such as a research center's waiting area, face-up looks like a courtesy while actually observing the people and visitors in the facility to see confidential information A technique for monitoring a person who wants to obtain it has not been proposed until now.
そこで本発明は、共有エリアにおいて不必要に長期に滞在している人物を特定し通知するための技術を提供すること目的とする。 Therefore, it is an object of the present invention to provide a technique for identifying and notifying a person who has unnecessarily stayed for a long time in a common area.
上記課題を解決するための発明は、情報処理装置であって、
第１のエリアを撮像した処理対象画像に含まれる前記第１のエリアの滞在人物のそれぞれについて、前記第１のエリアに滞在している滞在時間を算出する算出手段と、
前記滞在人物のうちから前記滞在時間が所定時間を超える第１の人物を特定する特定手段と、
前記特定手段が特定した第１の人物に関する通知を出力する出力手段と
を備え、
前記算出手段は、前記滞在時間として、人物が前記第１のエリアとは異なる第２のエリアから前記第１のエリアに退室した後の第１の滞在時間を算出する。
An invention for solving the above problems is an information processing apparatus,
Calculating means for calculating a staying time staying in the first area for each of the staying persons in the first area included in the processing target image obtained by imaging the first area;
Specifying means for specifying, from among the staying persons, a first person whose staying time exceeds a predetermined time;
Outputting means for outputting a notification regarding the first person specified by the specifying means;
The calculation means calculates, as the stay time, a first stay time after a person leaves the second area different from the first area to the first area.
本発明によれば、共有エリアにおいて不必要に長期に滞在している人物を特定し通知するための技術を提供することができる。 According to the present invention, it is possible to provide a technique for identifying and notifying a person who has unnecessarily stayed in a common area for a long time.
以下、添付の図面を参照して、発明の実施形態を説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. In addition, the structure shown in the following embodiment is only an example, and this invention is not limited to the illustrated structure.
図１は、発明の実施形態に対応する監視システム１０の構成例を示す図である。当該監視システム１０は、ネットワークカメラ１００、情報処理装置２００、データベース装置３００、受付端末４００、情報表示装置５００がネットワーク回線であるＬＡＮ６００によって相互接続されて構成されている。図１に示した監視システム１０の構成要素は、あくまで一例であって、これら以外の構成要素が更に追加されても良い。以下、各構成要素について説明する。
FIG. 1 is a diagram showing a configuration example of a
まず、ネットワークカメラ１００は、撮像センサ部１０１、現像処理部１０２、符号化部１０３、人物検出処理部１０４、ＬＡＮインタフェース（Ｉ／Ｆ）部１０５を含むように構成することができる。撮像センサ部１０１は、撮像面に結像された光像を光電変換してアナログ画像信号を出力するＣＭＯＳ等の撮像素子、及び、アナログ画像信号をデジタル画像信号に変換するＡ／Ｄ変換器を含んで構成される。現像処理部１０２は、撮像センサ部１０１から出力されたデジタル画像信号に対して、所定の現像処理を実行する。現像処理には、例えば、ディベイヤ処理、ホワイトバランス処理、階調変換処理、エッジ強調補正処理、キズ補正、ノイズ除去、拡大縮小処理、ＹＣｂＣｒ形式への色変換などの処理を含むことができる。
First, the
符号化部１０３は、現像処理部１０２が出力したデジタル画像信号を圧縮・符号化して、情報処理装置２００に提供する配信用の画像データを生成する。生成される画像データには、ネットワークカメラ１００の識別情報（カメラＩＤ）、設置場所の情報（位置情報）、撮影時刻情報等が含まれる。符号化部１０３は画像データ生成時にフレームレートの設定も行う。ここで、配信用の画像圧縮方式は、例えば、Ｈ．２６４、Ｈ．２６５、ＭＰＥＧまたはＪＰＥＧなどの規格に基づくことができる。さらに、ｍｐ４やａｖｉ形式などを含む任意の形式の画像データを生成しても良い。
The
人物検出処理部１０４は、現像処理部１０２から出力されたデジタル画像を解析して、デジタル画像に含まれる人物に関する情報を検出する。検出対象となる人物情報は、例えば、顔、上半身、下半身、全身、後姿等の画像データが含まれる。当該画像データは、撮像画像から人物の含まれる領域を抽出した画像データであってもよい。領域を抽出する場合には、当該領域の撮像画像における座標情報が画像データに添付される。また人物情報は、画像データそのものではなく、当該画像から所定の演算に基づいて得られた特徴量であってもよいし、画像データと特徴量との両方を含んでいてもよい。人物情報が画像データを含む場合、当該画像データは、符号化部１０３で行うのと同様に圧縮符号化処理が施され、例えば静止画の場合にはＪＰＥＧ画像データが含まれる。検出された人物情報及び撮像画像内におけるその座標情報は、当該人物を撮影したネットワークカメラ１００のカメラＩＤ、位置情報、及び撮影時刻情報等と共に、情報処理装置２００に提供される。ここで生成される情報を「人物検出情報」という。
The person
ここで、人物検出処理部１０４は、ネットワークカメラ１００が備えている構成以外に、外部装置、例えば情報処理装置２００が備えていても良い。その場合、人物検出処理部１０４が実行する機能の一部または全部を情報処理装置２００が実行し、残りの機能をネットワークカメラ１００で実行してもよい。
Here, in addition to the configuration provided to the
ＬＡＮ Ｉ／Ｆ部１０５は、符号化部１０３から出力された画像データや、人物検出処理部１０４が生成した人物検出情報を、ＬＡＮ６００を介して情報処理装置２００に送信するための通信インタフェースである。ＬＡＮ Ｉ／Ｆ部１０５は、例えば、ＮＦＳやＣＩＦＳなどのネットワークファイルシステム、または、ＵＤＰやＴＣＰなどのネットワーク通信プロトコルを使用して、通信相手との間でデータのやり取りの調整を行う。
The LAN I /
次に、情報処理装置２００の構成について説明する。情報処理装置２００は、ＬＡＮ インタフェース（Ｉ／Ｆ）部２０１、復号部２０２、認証部２０３、データベース管理部２０４、判定部２０５、通知部（出力部）２０６を含み、相互にシステムバス２０７で接続されるように構成することができる。
Next, the configuration of the
ＬＡＮ Ｉ／Ｆ部２０１は、ＬＡＮ６００を介してネットワークカメラ１００や情報表示装置５００等と通信する。復号部２０２はネットワークカメラ１００からＬＡＮ６００を介して取得した人物検出情報に含まれる画像データを、伸張し復号してデジタル画像信号を復元する。復号されたデジタル画像信号は認証部２０３に出力される。ここで、情報処理装置２００が人物検出処理部１０４を有するような実施形態では、人物検出処理部１０４がシステムバス２０７と接続されるように設けることができる。人物検出処理部１０４は、復号部２０２が復号した画像データから人物に関する情報を検出し、人物検出情報を認証部２０３に提供する。
The LAN I /
認証部２０３は、人物検出処理部１０４が生成した人物検出情報と、画像データベース３３０や不審人物データベース３４０に登録されている後述の人物特定用情報とに基づき、撮像された人物を特定するための認証処理を行う。この認証処理の詳細は後述する。データベース管理部２０４は、データベース装置３００のデータベース３１０から３４０のそれぞれの登録情報を管理する。例えば、各データベースの登録情報を更新し、各データベースから登録情報を抽出し、必要に応じて各処理部に提供するといった処理を行う。判定部２０５は、データベース装置３００の各データベースの登録情報に基づいて、共有エリアの滞在人物のうちで不審人物に該当する人物を特定するための処理を行う。通知部２０６は、認証部２０３、判定部２０５における判定結果に基づき、情報表示装置５００に対して不審人物に関する情報の通知（出力）を行う。通知情報の詳細は、図７及び図８を参照して後述する。
The
データベース装置３００は、情報処理装置２００が本実施形態に対応する処理を実行するに際して参照する情報が登録されたデータベースであって、来場者データベース３１０、時間情報データベース３２０、画像データベース３３０、不審人物データベース３４０等を含むことができる。データベース装置３００は情報処理装置２００に接続される構成となっているが、ネットワークインターフェースを備え、ＬＡＮ６００上に接続されていてもよい。その場合、情報処理装置２００とデータベース装置３００との通信は、ＬＡＮ Ｉ／Ｆ部２０１を介して行われる。
The
来場者データベース３１０は、本監視システム１０の監視対象区域に滞在する来場者の情報を登録しているデータベースである。時間情報データベース３２０は、来場者が監視対象区域内の所定の位置で確認された時刻等の時間情報を登録するデータベースである。画像データベース３３０は、本監視システム１０で監視対象区域内に配置されたネットワークカメラ１００が撮像した画像を、来場者データベース３１０が登録する来場者の情報と関連づけて登録しているデータベースである。不審人物データベース３４０は、本監視システム１０において、来場者の行動を監視した結果、不審人物と認定された人物に関する情報を、過去の情報を含めて登録しているデータベースである。これらのデータベースにおけるデータ構造の詳細は図３を参照して後述する。
The
受付端末４００は、監視対象区域に来場した来場者が、受付を行う際に利用する端末装置である。来場者は事前に来場の予約をしておくことができ、自分を特定するための所定の情報（社会保障に係る管理番号、ＩＤカード）を提示して、入場するために必要な受付手続を行うことができる。受付端末４００は、受付手続が完了すると、受付を行った来場者の人物を特定し、人物情報を受付完了情報と共に情報処理装置２００に送信する。人物情報は、例えば、ＩＤカード等に基づき、当該人物の氏名やＩＤ番号（社会保障に係る管理番号等の個人を識別可能な番号）を特定して情報処理装置２００に送信することができる。
The
情報表示装置５００は、情報処理装置２００から送信された情報を表示する装置であって、例えばパーソナルコンピュータ（ＰＣ）やタブレット端末、スマートフォン端末等により実現することができる。情報表示装置５００は、ＬＡＮ６００との接続を有線、無線のうち、いずれにおいて行ってもよい。無線は、例えばＩＥＥＥ８０２．１１の無線ＬＡＮの規格に従うことができる。以下に説明する本実施形態では、情報表示装置５００を本監視システム１０が設置された施設内を警備する警備員が、情報処理装置２００からの通知を確認するための表示装置としてのパーソナルコンピュータとする。
The
図１に示す監視システム１０構成において、ネットワークカメラ１００の台数は１台以上の任意の数とすることができ、台数に限定はない。情報処理装置２００、データベース装置３００及び情報表示装置５００は、単一の装置により実現される場合だけでなく、それぞれ複数の装置が協働して各機能を実現してもよい。
In the configuration of the
本実施形態の監視システムは、図２（Ａ）に示すような監視対象区域に対して適用することができる。監視対象区域は、共有エリア１と所定エリア２とに大きく区画されている。共有エリア１は、事前予約や受付等をしなくても任意の人物により自由にアクセスが可能なエリアであって、所定エリア２は、受付をした来場者のみが入室（或いは「入場」、以下同様）を許可されるエリア（部屋、或いは、当該部屋につながる通路等）である。図１では、所定エリア２は１つのエリアとして示しているが、複数の部屋に区画されていても良い。
The monitoring system of this embodiment can be applied to a monitoring target area as shown in FIG. 2 (A). The monitoring target area is broadly divided into a
また、共有エリア１及び所定エリア２を監視する監視員が常駐する監視室７が別途設けられる。監視室７は、共有エリア１や所定エリア２との関係でどのような場所に設置されるかは、実際の実施の態様に依存するものであって発明の実施そのものには特に影響がない。
In addition, a
監視対象区域に入場するためには入退場口３を通る必要があり、入退場口３にはネットワークカメラ１００が設置されていて、入退場口３を通過する人物の画像を撮像して、撮像画像に基づいて人物特定を行うことができる。共有エリア１内には待合所４と受付５とが設置されており、来場者は待合所４において受付や入室まで待機することができる。共有エリア１にはネットワークカメラ１００が複数台設置されており、来場者の行動を監視することができる。ネットワークカメラ１００は、待合所４を含めて共有エリア１内で待機している来場者の様子を撮像し、当該撮像画像に基づいて情報処理装置２００は不必要に長い時間滞在している来場者がいないかどうかを判定することができる。来場者は、受付５において所定エリア２に入室するための受付手続を行う。その際の様子もネットワークカメラ１００により撮像され、受付手続を行った人物を特定することができる。
In order to enter the area to be monitored, it is necessary to pass through the entry /
来場者が所定エリア２に入室するためには入退室口６を通過しなければならず、監視対象区域は所定エリア２には共有エリア１からしか入室できない構造となっている。入退室口６には、ネットワークカメラ１００が設置されており、入室、退室（或いは「退場」、以下同様）する来場者を撮像し、入室、退室した人物を特定することができる。入退室口６は、手続を行なったものだけが通過できるような通用ゲートを設けても良い。当該通用ゲートを利用することで入室、退室が行われたかどうかを確実に検知することができると共に、正確な時刻を特定することが可能となる。同様の通用ゲートは入退場口３に設けることもできる。所定エリア２内にもネットワークカメラ１００が設置されており、所定エリア２内での来場者の行動を監視することができる。
In order for the visitors to enter the
共有エリア１に不必要に長時間滞在している人物が検出された場合は、監視室７内の情報表示装置５００を利用して当該人物の存在が監視員に対して通知される。
When a person who has stayed in the shared
次に、本実施形態に対応する監視システム１０を構成する情報処理装置２００の概略構成を説明する。図２（Ｂ）は、情報処理装置２００のハードウェア構成の一例を示すブロック図である。上述した情報処理装置としてのデータベース装置３００、受付端末４００及び情報表示装置５００も、同様或いは同等のハードウェア構成として構成しても良い。
Next, a schematic configuration of the
図２（Ｂ）において、ＣＰＵ２１０は、ハードディスク装置（以下、ＨＤと呼ぶ）２１５に格納されているアプリケーションプログラム、オペレーティングシステム（ＯＳ）や制御プログラム等を実行し、ＲＡＭ２１２にプログラムの実行に必要な情報、ファイル等を一時的に格納する制御を行う。また、ネットワークカメラ１００から提供され、ＲＡＭ２１２に記憶された検出人物情報、及び、データベース装置３００から取得した情報に基づき本実施形態に対応する処理を実行する。さらには、インタフェース（Ｉ／Ｆ）２１８を介した外部の情報表示装置５００とのデータ送受信を制御する。なお、後述する図５から図７における処理もＣＰＵ２１０が対応する処理プログラムを実行することにより装置全体を制御して実現される。
In FIG. 2B, the
ＲＯＭ２１１は、内部に基本Ｉ／Ｏプログラムの他、所定の処理を実行するアプリケーションプログラム等の各種データを記憶する。ＲＡＭ２１２は各種データを一時記憶し、ＣＰＵ２１０の主メモリ、ワークエリア等として機能する。また、ネットワークカメラ１００やデータベース装置３００から受信した情報を一時的に記憶する。
The
外部記憶ドライブ２１３は、記録媒体へのアクセスを実現するための外部記憶ドライブであり、メディア（記録媒体）２１４に記憶されたプログラム等を本コンピュータシステムにロードすることができる。尚、メディア２１４は、例えば、フロッピー（登録商標）ディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＰＣカード、ＤＶＤ、Ｂｌｕ−ｒａｙ（登録商標）、ＩＣメモリカード、ＭＯ、メモリスティック等を利用することができる。
The
外部記憶装置２１５は、本実施形態では大容量メモリとして機能するＨＤ（ハードディスク）を用いている。ＨＤ２１５には、アプリケーションプログラム、ＯＳ、制御プログラム、関連プログラム等が格納される。なお、ハードディスクの代わりに、フラッシュ（登録商標）メモリ等の不揮発性記憶装置を用いても良い。
In the present embodiment, the
指示入力装置２１６は、キーボードやポインティングデバイス（マウス等）、タッチパネル等がこれに相当する。出力装置２１７は、指示入力装置２１６から入力されたコマンドや、それに対する情報処理装置２００の応答出力等を出力する。出力装置２１７にはディスプレイ、スピーカ、ヘッドフォン端子等を含むことができる。システムバス２１９は、情報処理装置２００内のデータの流れを司る。
The
インタフェース（以下、Ｉ／Ｆという）２１８は、外部装置とのデータのやり取りを仲介する役割を果たす。具体的に、Ｉ／Ｆ２１８は、無線通信モジュールを含むことができ、当該モジュールはアンテナシステム、ＲＦ送受信器、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュールカード、メモリなどを含む、周知の回路機構を含むことができる。また、有線接続のための有線通信モジュールを含むことができる。有線通信モジュールは１つ以上の外部ポートを介して他のデバイスとの通信を可能とする。また、データを処理する様々なソフトウェアコンポーネントを含むことができる。外部ポートは、イーサーネット、ＵＳＢやＩＥＥＥ１３９４等を介して、直接的に、又はネットワークを介して間接的に他のデバイスと結合する。尚、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。
An interface (hereinafter referred to as an I / F) 218 plays a role in mediating exchange of data with an external device. Specifically, the I /
本実施形態に対応する処理を実行するために対応するプログラムを動作させる度に、既にプログラムがインストールされているＨＤ２１５からＲＡＭ２１２にロードするようにしてもよい。また、本実施形態に係るプログラムをＲＯＭ２１１に記録しておき、これをメモリマップの一部をなすように構成し、直接ＣＰＵ２１０で実行することも可能である。さらに、メディア２１４から対応プログラム及び関連データを直接ＲＡＭ２１２にロードして実行させることもできる。
Every time the corresponding program is operated to execute the process corresponding to the present embodiment, the program may be loaded from the
次に、図３を参照して、データベース装置３００における各データベースのデータ構造について説明する。まず、図３（Ａ）は、来場者データベース３１０のデータ構造の一例を示すテーブルである。来場者データベース３１０には、本監視システム１０の監視対象区域に来場した来場者に関する情報として、ＩＤ３１１、氏名３１２、ＩＤ番号３１３、受付３１４、入室３１５、退室３１６、不審人物フラグ３１７の各情報がそれぞれ登録されている。
Next, the data structure of each database in the
ＩＤ３１１には、データベース内で個々の来場者を一意に特定可能とする識別情報が登録される。氏名３１２は、来場者が施設の利用者として登録済みの場合に、その氏名が登録される。ＩＤ番号３１３は、登録済みの来場者に割り当てられたＩＤ番号の情報が登録される。例えば、施設の利用者として登録されている人物には、人物名とＩＤ番号とが、利用履歴と関連づけて登録されている。人物の特定は、受付において提示されるＩＤカードに基づいて行うことができる。受付けが済んだ来場者については、特定された人物情報に基づいて氏名とＩＤ番号が登録される。なお、人物情報（氏名、ＩＤ番号、来場履歴、画像等）を管理するデータベースは別途用意することができる。
In the
受付３１４は、当該来場者が受付５において受付手続を済ませたかどうかを示す情報が登録される。また、入室３１５には、当該来場者が共有エリア１から所定エリア２に入室したかどうかを示す情報が登録される。退室３１６には、当該来場者が所定エリア２を退室し、共有エリア１に戻ったかどうかを示す情報が登録される。不審人物フラグ３１７には、当該来場者が不審人物に該当するかどうかを示す情報が登録される。当該フラグ情報は、来場者の不審度のランクを示すように設定されても良い。例えば、３段階で不審度をランク付けする場合に、フラグ情報が０の場合、当該来場者は不審者ではなく、１、２、３と数字が大きくなるほどに不審度が高くなるようにしても良い。図３（Ａ）に示した情報はあくまで一例であって、ここに示す以外の情報を来場者の情報として登録することができる。
In the
次に、図３（Ｂ）は、時間情報データベース３２０のデータ構造の一例を示すテーブルである。時間情報データベース３２０は、監視対象区域内に設置されたネットワークカメラ１００での撮像時刻等に基づき、来場者データベース３１０で管理する来場者が所定の行動を行った時刻を登録している。
Next, FIG. 3B is a table showing an example of the data structure of the
時間情報データベース３２０は、来場者の時間に関する情報を管理するために、ＩＤ３２１、入場時刻３２２、受付時刻３２３、入室時刻３２４、退室時刻３２５、退場時刻３２６、利用可能時間帯３２７、現在位置３２８、共有エリア滞在時間３２９を登録する。ＩＤ３２１には、各来場者を一意に特定可能とする識別情報が登録される。同一の来場者には、来場者データベース３１０で登録されたＩＤ３１１と同じ識別情報が割り当てられる。入場時刻３２２には、来場者が監視対象区域の入退場口３から入場した時刻が登録される。入場時刻は、入場の際に撮像された撮像画像の撮像時刻に基づき決定することができる。或いは、入場ゲートがある場合にはゲート通過時刻により決定してもよい。受付時刻３２３には、来場者が受付５において受付手続を行った時刻が登録される。受付時刻は、受付時に撮像された撮像画像の撮像時刻、或いは、受付を行った時刻に基づき、決定することができる。本実施形態において、受付の手続は受付担当者により行う人的な手続であっても、受付端末４００を利用した人を介さずに行う手続であってもよい。
The
入室時刻３２４には、来場者が共有エリア１から所定エリア２に移動して、所定エリア２に入室した時刻が登録される。入室時刻は、入退室口６を来場者が通過する際に撮像された撮像画像の撮像時刻、または、入退室口６にゲートが設けられている場合には当該ゲートの通過時刻に基づき決定することができる。退室時刻３２５には、来場者が所定エリア２から共有エリア１に移動して、所定エリア２から退室した時刻が登録される。退室時刻は、入退室口６を来場者が通過する際に撮像された撮像画像の撮像時刻、または、入退室口６にゲートが設けられている場合には当該ゲートの通過時刻に基づき決定することができる。
At the
利用可能時間帯３２７には、来場者に対して所定エリア２の利用（滞在）を許可する時間帯の情報が登録される。例えば、来場者に１４時から１５時の１時間の間において所定エリアに入ることを許可する場合には、「１４時から１５時」という時間帯の情報が登録される。利用可能時間帯の情報は来場者の受付時に指定されて登録されてもよい。現在位置３２８には、監視対象区域内における来場者の現在位置の情報が登録される。現在位置は、例えば当該来場者の最新の撮像画像を生成したネットワークカメラ１００の位置に基づいて決定することができる。共有エリア滞在時間３２９には、来場者が共有エリア１に滞在している滞在時間が登録される。
In the
また、図３（Ｂ）に示した情報はあくまで一例であって、ここに示す以外の情報を時間情報として登録することができる。 The information shown in FIG. 3B is merely an example, and information other than that shown here can be registered as time information.
次に、図３（Ｃ）は、画像データベース３３０のデータ構造の一例を示すテーブルである。画像データベース３３０は、監視対象区域内に設置されたネットワークカメラ１００が撮像した、来場者データベース３１０で管理されている来場者の画像を登録している。画像データベース３３０は、ＩＤ３３１、人物特定用情報３３２、入場画像３３３、受付画像３３４、入室画像３３５、退室画像３３６、退場画像３３７、最新画像３３８を登録する。
Next, FIG. 3C is a table showing an example of the data structure of the
ＩＤ３３１には、各来場者を一意に特定可能とする識別情報が登録される。同一の来場者には、来場者データベース３１０で登録されたＩＤ３１１と同じ識別情報が割り当てられる。人物特定用情報３３２には、来場者を特定するために利用可能な情報が登録される。例えば、撮像画像において人物を特定するために利用可能な来場者の顔の特徴情報（顔画像、及び、顔画像から抽出された特徴量を含む）を登録することができる。当該特徴情報は、本監視システム１０において過去に撮影され、人物特定に使用した顔画像の画像データを含んでいてもよい。また、本実施形態では、顔だけでなく、全身から得られる特徴を利用してもよく、例えば、顔画像の他、全身画像、上半身、下半身等の画像、或いは、そこから抽出された特徴量を含めることができる。さらに、画像データ以外の利用者の個人情報（生年月日、住所、年齢、性別、職業等）を登録することもできる。この人物特定用情報を利用した画像認識処理により、監視対象区域内のネットワークカメラ１００で撮影された画像において個々の来場者の人物特定が可能となる。
In the
入場画像３３３には、来場者が監視対象区域の入退場口３から入場する際に撮像された画像が登録される。受付画像３３４には、来場者が受付を行った際に撮像された画像が登録される。入室画像３３５には、来場者が入退室口６を通過して所定エリア２に入室する際に撮像された画像が登録される。退室画像３３６には、来場者が入退室口６を通過して所定エリア２から退室する際に撮像された画像が登録される。退場画像３３７には、来場者が監視対象区域の入退場口３から退場する際に撮像された画像が登録される。最新画像３３８には、来場者を撮像した最新の画像が登録される。
In the
次に、図３（Ｄ）は、不審人物データベース３４０のデータ構造の一例を示すテーブルである。不審人物データベース３４０は、監視対象区域内において不審な行動をしていると判定された来場者の情報を登録している。不審人物データベース３４０は、ＩＤ３４１、氏名３４２、ＩＤ番号３４３、日時３４４、共有エリア滞在時間３４５、人物特定用情報３４６を登録する。
Next, FIG. 3D is a table showing an example of the data structure of the
ＩＤ３４１には、不審人物として登録された来場者を一意に特定可能とする識別情報が登録される。来場者データベース３１０で登録されたＩＤ３１１とは異なる識別情報が割り当てられてよい。例えば、同一の人物が監視対象区域を複数回訪れ、その都度不審人物と判定されている場合には、当該人物についてそれぞれの判定結果に従い複数回の登録が行われるが、その際には同一の識別情報を割り当てる。
In the
氏名３４２、ＩＤ番号３４３には、当該不審人物が監視対象区域の利用登録を行なっている場合には、当該人物の氏名と割り当てられたＩＤ番号とがそれぞれ登録される。仮に登録を行っていない人物の場合には、氏名３４２、ＩＤ番号３４３は空欄でよい。日時３４４には、当該人物が不審人物と判定された日付の他、総滞在時間、滞在時間帯、その日の利用可能時間帯の情報等の時間情報が登録される。共有エリア滞在時間３４５には、不審と判定された際に当該人物が共有エリアに滞在していた時間の情報が登録される。時間情報には、滞在時間の長さ、滞在時間帯の情報等を含むことができる。
In the
人物特定用情報３４６には、当該人物を特定するために利用可能な情報が登録される。人物特定用情報として、例えば、画像データベース３３０に登録された人物特定用情報３３２のように、不審と判定した際に当該人物を特定するために利用した特徴情報を登録することができる。人物特定用情報３４６は、該当人物が次回監視対象区域を訪れた際に、入場時点で不審人物として登録されている人物かどうかを判定するために利用することができる。また、図３（Ｄ）に示した情報はあくまで一例であって、ここに示す以外の情報を不審人物情報として登録することができる。
In the
次に、本実施形態の監視システム１０における動作の詳細を説明する。図４は、発明の実施形態に対応する監視システム１０におけるネットワークカメラ１００が実行する処理の一例を示すフローチャートである。
Next, details of the operation in the
まず、Ｓ４０１において、ネットワークカメラ１００は、その設置位置において撮像対象となる所定の空間或いは領域の画像を撮像センサ部１０１が撮像し、現像処理部１０２にデジタル画像信号を出力する。現像処理部１０２は所定の現像処理を行った後、処理結果のデジタル画像信号を符号化部１０３及び人物検出処理部１０４に出力する。符号化部１０３は、入力されたデジタル画像信号を圧縮・符号化して画像データを生成し、ＬＡＮ Ｉ／Ｆ部１０５を介して情報処理装置２００に送信する。
First, in S401, in the
続くＳ４０２では、人物検出処理部１０４が処理対象のデジタル画像信号（以下、単に処理対象画像という。）に基づき人物検出を行う。ここでは人物検出処理部１０４が人物の顔を検出することにより人物検出を行う場合を説明する。顔の検出方法は公知の手法を用いることができる。また、人物の顔を検出することができた場合、処理はＳ４０３に進む。一方、人物の顔を検出することができなかった場合、処理はＳ４０１に戻る。
In the subsequent S402, the human
Ｓ４０３では、人物検出処理部１０４は、検出した人物についての情報（検出人物情報）を、ＬＡＮ Ｉ／Ｆ部１０５を介してサーバ装置４００に送信する。このときの検出人物情報のデータ構造の一例を図４（Ｂ）に示す。
In S403, the person
検出人物情報４１０は、当該情報を識別するための識別情報であるＩＤ４１１、画像を検出したネットワークカメラ１００を識別するためのカメラＩＤ４１２、ネットワークカメラ１００の位置情報４１３、画像の撮像時刻を示す時刻情報４１４を含む。また、検出した顔画像、或いは、顔画像から抽出した所定の特徴量を示す人物情報４１５を含む。人物情報４１５が画像データを含む場合、静止画像としてＪＰＥＧ等の形式で圧縮符号化しても良い。また、顔画像の代わりに処理対象のデジタル画像信号において人物の顔が位置する座標の情報を検出人物情報４１０に含めてもよい。検出人物情報４１０は、１枚の撮像画像中に複数の人物が検出された場合には、人物毎に生成してもよいし、或いは、複数の人物についてまとめて１つの情報を生成してもよい。その際、人物毎に画像中に写っている位置を特定するための座標情報が含まれる。
Detected
その後、Ｓ４０１に戻って処理を繰り返す。以上の処理によりネットワークカメラ１００では、撮像対象の領域の画像データを情報処理装置２００に送信すると同時に、人物検出処理を行って、人物が検出された場合には当該人物に関する検出人物情報４１０を情報処理装置２００に送信することができる。
Thereafter, the process returns to S401 to repeat the process. By the above processing, the
人物検出処理部１０４が情報処理装置２００に含まれるような実施形態では、上記Ｓ４０２及びＳ４０３の処理はネットワークカメラ１００側では実行せず、情報処理装置２００において実行する。具体的に、人物検出処理部１０４は、復号部２０２が復号した画像データに対してＳ４０２に対応する人物検出処理を実行し、人物を検出した場合には、検出人物情報を認証部２０３に提供する。
In the embodiment in which the person
次に、図５を参照してネットワークカメラ１００から受信した検出人物情報４１０に基づき情報処理装置２００が実行する処理について説明する。図５は、発明の実施形態に対応する監視システム１０における情報処理装置２００が実行する処理の一例を示すフローチャートである。以下の説明では、人物検出処理をネットワークカメラ１００で行なう場合を説明するが、人物検出処理を情報処理装置２００側で行っても良い。その場合、検出人物情報４１０は、情報処理装置２００内に設けられた人物検出処理部１０４が提供するものとして読み替えればよい。
Next, processing that the
まず、Ｓ５０１において、情報処理装置２００は、ネットワークカメラ１００から撮像画像及び検出人物情報４１０を取得する。続くＳ５０２では、認証部２０３が、認証処理を実行する。具体的には、取得した検出人物情報４１０に基づきデータベース装置３００を検索して、人物を特定する処理を行うと共に、各データベースの登録情報を更新する。Ｓ５０２における認証処理の詳細は図６のフローチャートを参照して後述する。
First, in S501, the
情報処理装置２００は、Ｓ５０１及びＳ５０２における処理を、監視対象区域内に設置されたネットワークカメラ１００から取得した撮像画像及び検出人物情報４１０のそれぞれについて実行する。続くＳ５０３以降の処理については、共有エリア１に現在滞在していると認められる来場者について実行する。共有エリア１に滞在している来場者は、時間情報データベース３２０において現在位置３２８が共有エリア１を示している来場者である。
The
Ｓ５０３では、判定部２０５が共有エリア１における滞在人物に該当する来場者の情報をデータベース装置３００から取得する。続くＳ５０４では、判定部２０５が取得した登録情報に基づき、検出された来場者が既に受付を済ませているかどうかを判定する。例えば、来場者データベース３１０の受付３１４が済になっているかどうかにより判定することができる。受付をまだ済ませていないと判定した場合、処理はＳ５０５に進む。受付を既に済ませていると判定した場合、処理はＳ５０６に進む。
In S503, the
Ｓ５０５では、判定部２０５が共有エリア１の滞在時間が所定時間以上であるかを判定する。当該処理は、例えば、時間情報データベース３２０の共有エリア滞在時間３２９が、所定時間以上の値になっているかどうかを判定することで実行することができる。この時、所定時間をＴｈ１とすることができる。Ｔｈ１の大きさは、受付をするために想定される待機時間を考慮して決定することができる。Ｓ５０５において、所定時間が経過していると判定された場合には、処理はＳ５１０に進む。一方、所定時間が経過していないと判定された場合には、処理はＳ５１１に進む。
In S505, the
Ｓ５０６では、入退室の記録があるか否かを判定する。例えば、来場者データベース３１０の入室３１５、退室３１６が共に済になっているかどうかにより判定することができる。入退室の記録があると判定した場合、処理はＳ５０７に進む。入退室の記録がない判定した場合、処理はＳ５０８に進む。Ｓ５０７では、判定部２０５が共有エリア１の滞在時間が所定時間以上であるかを判定する。当該処理は、例えば、時間情報データベース３２０の共有エリア滞在時間３２９が、所定時間以上の値になっているかどうかを判定することで実行することができる。この時、所定時間をＴｈ２とすることができる。Ｔｈ２の大きさは、受付をするために想定される待機時間を考慮したＴｈ１以下の時間とすることができる。Ｓ５０７において、所定時間が経過していると判定された場合には、処理はＳ５１０に進む。一方、所定時間が経過していないと判定された場合には、処理はＳ５１１に進む。
In S506, it is determined whether there is a record of entering or leaving the room. For example, it can be determined based on whether both the
Ｓ５０８では、判定部２０５が当該来場者に割り当てられた利用可能時間が既に開始しているか否かを判定する。例えば、時間情報データベース３２０の利用可能時間帯３２７の情報に基づき判定することができる。既に、利用可能時間が開始されている場合、処理はＳ５０９に進む。一方、利用可能時間が開始されていない場合、処理はＳ５１１に進む。続くＳ５０９では、判定部２０５が利用可能時間の開始時刻より所定時間以上が経過しているか否かが判定される。当該処理は、例えば、現在時刻と利用可能時間の開始時刻との差分が、所定時間以上の値になっているかどうかを判定することで実行することができる。この時、所定時間をＴｈ３とすることができる。Ｔｈ３は、Ｔｈ１やＴｈ２以下の時間とすることができる。Ｓ５０９において、所定時間以上が経過していると判定された場合、処理はＳ５１０に進む。一方、所定時間以上が経過していないと判定された場合、処理はＳ５１１に進む。
In S508, the
Ｓ５１０では、判定部２０５はデータベース管理部２０４を制御して、該当する来場者を不審人物として、来場者データベース３１０の不審人物フラグに不審人物であることを示す情報を登録する。このとき、判定の根拠になった共有エリア１における滞在時間の長さに応じて、複数の段階で不審度を登録しても良い。例えば、３０分、１時間、２時間の３段階として、３０分を超えれば不審度１、１時間を超えれば不審度２、２時間を超えれば不審度３とすることができる。但し、ここに示すランク付けはあくまで一例であって、実施形態に応じたランク付けが可能である。
In S510, the
また、不審人物データベース３４０に当該人物の情報を登録する。具体的に、当該人物の氏名３４２、ＩＤ番号３４３を来場者データベース３１０から取得し、日時３４４、共有エリア滞在時間３４５を時間情報データベース３２０から取得する。また人物特定用情報３４６を画像データベース３３０から取得する。
In addition, information of the person is registered in the
Ｓ５１１では、判定部２０５が共有エリア１に滞在する来場者の全てについてＳ５０３からＳ５１０までの処理を実行したか否かを判定する。未処理の来場者がいる場合には、Ｓ５０３に戻って処理を繰り返す。一方、未処理の来場者がいない場合には、Ｓ５０１に戻って処理を繰り返す。
In S511, the
なお、不審人物であるかどうかを判定する際、所定エリア２内の人物の目的地に割り当てられた機密度を考慮しても良い。例えば、機密度の高いエリアへ入ることが許可されている人物は信頼性が高いと言えるので、所定時間が経過したかどうかの閾値Ｔｈ１からＴｈ３の値を大きく取ることで、不審人物と判定される可能性を低くすることができる。
When determining whether a person is a suspicious person, the sensitivity assigned to the destination of the person in the
以上により、共有エリア１に滞在する来場者の全員について不審度を判定して、不審人物を特定することができる。
As described above, the suspiciousness degree can be determined for all the visitors who stay in the
次に、図６を参照して、Ｓ５０２における認証処理について説明する。図６は、発明の実施形態に対応する認証処理の一例を示すフローチャートである。 Next, referring to FIG. 6, the authentication process in S502 will be described. FIG. 6 is a flowchart showing an example of an authentication process corresponding to the embodiment of the invention.
まずＳ６０１において、認証部２０３はネットワークカメラ１００から受信した検出人物情報４１０から人物情報４１５を抽出し、検出された人物を特定する。具体的には、検出人物情報４１０には、検出された人物の人物情報４１５が含まれるので、画像データベース３３０に登録されている人物特定用情報３３２の中から、人物情報４１５と最も特徴が一致する人物特定用情報３３２を有する来場者を特定する。例えば、人物情報４１５に顔画像が含まれている場合には、当該顔画像と最も類似する顔画像を含む人物特定用情報３３２を有する来場者を特定する。また、人物情報４１５に、人物の全身画像、上半身の画像等が含まれている場合も、同様にしてそれらの画像と最も類似する画像を含む人物特定用情報３３２を有する来場者を特定する。また、画像から得られる特徴には、人物が着用している衣服やバッグ、装飾品等の情報を含むことができるので、これらの情報を補助的に利用することもできる。ここで、ユーザを特定するための画像の比較処理の方法自体は本発明の特徴ではなく、公知の任意の手法を採用することができるので、これ以上の詳細な説明については省略する。
First, in S601, the
続くＳ６０２において、認証部２０３は、人物の特定ができたかどうか、換言すると、画像データベース３３０に登録済みであるかどうかを判定する。Ｓ６０１における人物特定の処理により、画像データベース３３０では人物を特定できない場合には、処理はＳ６０３に進む。一方、人物が特定でき、登録済みであることが判明した場合には処理はＳ６０４に進む。Ｓ６０３では、認証部２０３は、当該来場者は画像データベース３３０に未登録の人物であるので、当該来場者を識別するための新たなＩＤを付与して、データベース管理部２０４を介して来場者データベース３１０、時間情報データベース３２０、画像データベース３３０に新規エントリを登録する。ここで、Ｓ６０１の人物特定において画像データベース３３０には未登録と判定されたもの、不審人物データベース３４０の人物特定用情報３４６に、検出された人物の人物情報４１５と一致する情報が登録されている場合、当該人物は過去に不審人物と特定された第１の種別の人物である。そこで、Ｓ６０３において当該人物を来場者データベース３１０に新規登録する場合には、不審人物フラグ３１７の値を不審人物を示す値としておく。その際、不審度のランクについては、過去の登録回数に応じて決定することができる。例えば、過去不審人物と認定されている回数が、１回の場合にはランク１、２回から３回ならばランク２、４回以上ならばランク３とすることができる。
In S602, the
例えば、図３（Ａ）の来場者データベース３１０に登録されたＩＤ１１１２の人物は、受付が行われていないのにもかかわらず、不審人物フラグ３１７が１に設定されており、これは、入場時の撮像画像の認証結果に基づき不審人物データベース３４０に登録されているＩＤ０００３の人物と同一人物と特定されたためである。
For example, the
また、Ｓ６０１からＳ６０３では、ネットワークカメラ１００で撮像した画像に含まれる人物全てを人物特定の対象としているが、監視対象区域内で働くスタッフのように、人物を特定する必要のない第２の種別の人物も撮像画像に含まれることがある。そこで、第２の種別の人物については、人物特定の対象から除外する。そのために、第２の種別の人物用の顔画像等の人物特定用情報を予め用意しておき、人物情報４１５に含まれる情報と対比して第２の種別の人物と認められる場合には本発明の適用対象から除外する。
In addition, in S601 to S603, although all persons included in the image captured by the
Ｓ６０４では、認証部２０３は、検出人物情報４１０のカメラＩＤ４１２及び／または位置情報４１３に基づき、撮像画像が共有エリア１の入場口３で撮像された画像であるかを判定する。もし、入場口３で撮像された画像であると判定された場合、処理はＳ６０５に進む。一方、入場口３で撮像された画像ではないと判定された場合、処理はＳ６０７に進む。Ｓ６０５では、認証部２０３は、検出人物情報４１０の時刻情報４１４に含まれる時刻情報に基づいて、データベース管理部２０４を介して時間情報データベース３２０の入場時刻３２２に入場時刻を登録する。また、検出人物情報４１０の位置情報４１３に基づき、現在位置３２８を登録する。この場合、来場者は監視対象区域内に入場したので、現在位置３２８は共有エリア１となる。続くＳ６０６において、認証部２０３はデータベース管理部２０４を介して、検出人物情報４１０の人物情報４１５に含まれる特徴量を、画像データベース３３０の人物特定用情報３３２に登録し、人物情報４１５に含まれる画像を、画像データベース３３０の入場画像３３３と最新画像３３８とに登録する。その後、処理はＳ６２５に進む。
In S604, the
続くＳ６０７では、認証部２０３は、検出人物情報４１０のカメラＩＤ４１２及び／または位置情報４１３に基づき、撮像画像が共有エリア１の受付５で撮像された画像であるかを判定する。もし、受付５で撮像された画像であると判定された場合、処理はＳ６０８に進む。一方、受付５で撮像された画像ではないと判定された場合、処理はＳ６１１に進む。Ｓ６０８では、認証部２０３はデータベース管理部２０４を介して、検出人物情報４１０の時刻情報４１４に含まれる時刻情報に基づいて、時間情報データベース３２０の受付時刻３２３に受付時刻を登録する。このとき、来場者データベース３１０の受付３１４を「未」から「済」に更新する。また、検出人物情報４１０の位置情報４１３に基づき、現在位置３２８を登録する。この場合、来場者は共有エリア１内で受付をしたので現在位置３２８は共有エリア１となる。続くＳ６０９において、認証部２０３はデータベース管理部２０４を介して、検出人物情報４１０の人物情報４１５に含まれる特徴量を、画像データベース３３０の人物特定用情報３３２に登録し、人物情報４１５に含まれる画像を、画像データベース３３０の受付画像３３４と最新画像３３８とに登録する。人物特定用情報３３２は、古い特徴量が新たな特徴量により上書きされても良いし、古い特徴量に追加で新たな特徴量を登録してもよいし、古い情報と新しい情報とを合成（例えば、単純平均や重みづけ平均で新しい特徴量の重みを大きくする）した結果を登録してもよい。人物特定用情報３３２の取り扱いは、これ以降の処理でも同様である。
In
続くＳ６１０では、データベース管理部２０４は、受付端末４００から情報処理装置２００に送信された来場者に関する情報を登録する。例えば、氏名やＩＤ番号が通知された場合には、来場者データベース３１０の氏名３１２及びＩＤ番号３１３に当該情報を登録する。その後、処理はＳ６２５に進む。
In the subsequent S610, the
続くＳ６１１では、認証部２０３は、検出人物情報４１０のカメラＩＤ４１２及び／または位置情報４１３に基づき、撮像画像が入退室口６での入室時に撮像された画像であるかを判定する。もし、入室時に撮像された画像であると判定された場合、処理はＳ６１２に進む。一方、入室時に撮像された画像ではないと判定された場合、処理はＳ６１４に進む。Ｓ６１２では、認証部２０３はデータベース管理部２０４を介して、検出人物情報４１０の時刻情報４１４に含まれる時刻情報に基づいて、時間情報データベース３２０の入室時刻３２４に入室時刻を登録する。このとき、来場者データベース３１０の入室３１５を「未」から「済」に更新する。また、検出人物情報４１０の位置情報４１３に基づき、現在位置３２８を登録する。この場合、来場者は入退室口６から所定エリア２に入室したので、現在位置３２８は所定エリア２となる。続くＳ６１３において、認証部２０３はデータベース管理部２０４を介して、検出人物情報４１０の人物情報４１５に含まれる特徴量を、画像データベース３３０の人物特定用情報３３２に登録し、人物情報４１５に含まれる画像を、画像データベース３３０の入室画像３３５と最新画像３３８とに登録する。その後、処理はＳ６２５に進む。
In the subsequent S611, the
続くＳ６１４では、認証部２０３は、検出人物情報４１０のカメラＩＤ４１２及び／または位置情報４１３に基づき、撮像画像が入退室口６での退室時に撮像された画像であるかを判定する。もし、退室時に撮像された画像であると判定された場合、処理はＳ６１５に進む。一方、退室時に撮像された画像ではないと判定された場合、処理はＳ６１７に進む。Ｓ６１５では、認証部２０３はデータベース管理部２０４を介して、検出人物情報４１０の時刻情報４１４に含まれる時刻情報に基づいて、時間情報データベース３２０の退室時刻３２５に退室時刻を登録する。このとき、来場者データベース３１０の退室３１６を「未」から「済」に更新する。また、検出人物情報４１０の位置情報４１３に基づき、現在位置３２８を登録する。この場合、来場者は入退室口６から所定エリア２を退室したので、現在位置３２８は共有エリア１となる。続くＳ６１６において、認証部２０３はデータベース管理部２０４を介して、検出人物情報４１０の人物情報４１５に含まれる特徴量を、画像データベース３３０の人物特定用情報３３２に登録し、人物情報４１５に含まれる画像を、画像データベース３３０の退室画像３３６と最新画像３３８とに登録する。その後、処理はＳ６２５に進む。
In S614, the
続くＳ６１７では、認証部２０３は、検出人物情報４１０のカメラＩＤ４１２及び／または位置情報４１３に基づき、撮像画像が入退場口３での退場時に撮像された画像であるかを判定する。もし、退場時に撮像された画像であると判定された場合、処理はＳ６１８に進む。一方、退場時に撮像された画像ではないと判定された場合、処理はＳ６２０に進む。Ｓ６１８では、認証部２０３はデータベース管理部２０４を介して、検出人物情報４１０の時刻情報４１４に含まれる時刻情報に基づいて、時間情報データベース３２０の退場時刻３２６に退場時刻を登録する。また、検出人物情報４１０の位置情報４１３に基づき、現在位置３２８を登録する。この場合、来場者は監視対象区域外に退場したので、現在位置３２８は屋外となる。続くＳ６１９において、認証部２０３はデータベース管理部２０４を介して、検出人物情報４１０の人物情報４１５に含まれる特徴量を、画像データベース３３０の人物特定用情報３３２に登録し、人物情報４１５に含まれる画像を、画像データベース３３０の退場画像３３７と最新画像３３８とに登録する。その後、処理はＳ６２２に進む。
In S617, the
Ｓ６２０では、認証部２０３はデータベース管理部２０４を介して、検出人物情報４１０の位置情報４１３に含まれる位置情報に基づいて、時間情報データベース３２０の現在位置３２８に現在位置を登録する。続くＳ６２１において、認証部２０３はデータベース管理部２０４を介して、検出人物情報４１０の人物情報４１５に含まれる特徴量を、画像データベース３３０の人物特定用情報３３２に登録し、人物情報４１５に含まれる画像を、画像データベース３３０の最新画像３３８に登録する。その後、処理はＳ６２５に進む。
In S620, the
Ｓ６２２では、認証部２０３は、退場画像３３７を登録した時点において、来場者データベース３１０の不審人物フラグ３１７の値を参照し、当該人物が不審人物と認定されたか否かを判定する。もし、不審人物と認定されていた場合、処理はＳ６２３に進み、不審人物と認定されていなかった場合、処理はＳ６２４に進む。Ｓ６２３では、認証部２０３はデータベース管理部２０４を介して、不審人物データベース３４０における当該人物の人物情報を更新する。不審人物データベース３４０を更新したら、該当する人物の情報を来場者データベース３１０、時間情報データベース３２０、画像データベース３３０から削除する。また、Ｓ６２４では、認証部２０３はデータベース管理部２０４を介して、不審人物ではないと判定された人物の情報を来場者データベース３１０、時間情報データベース３２０、画像データベース３３０から削除する。その後、図５の処理に戻る。なお、Ｓ６２３、Ｓ６２４では、各データベースから登録情報削除することを記載したが、一定期間が経過するまでは保持しておき、一定期間経過後に削除するようにしても良い。
In S622, at the time of registering the
Ｓ６２５では、時間情報データベース３２０の現在位置３２８が「共有エリア１」を示している来場者の滞在時間を以下の式１から式３を利用して算出し、共有エリア滞在時間３２９を更新する。
In S625, the staying time of the visitor whose
入場から受付までの間：現在時刻−入場時刻 （式１）
受付から入室までの間：現在時刻−利用可能時間の開始時刻 （式２）
退室後：現在時刻−退室時刻 （式３）
いずれの式を使用するかは来場者データベース３１０の受付３１４、入室３１５及び退室３１６の値に基づくことができる。受付３１４が「未」の場合（入室３１５、退室３１６も「未」）には式１を選択する。受付３１４が「済」で入室３１５及び退室３１６が「未」の場合には式２を選択する。受付３１４、入室３１５、退室３１６が全て「済」の場合には式３を選択する。なお、式３において退室時刻が特定できない場合、利用可能時間の終了時刻を利用しても良い。
From entrance to reception: current time-entrance time (Formula 1)
From reception to entrance: Current time-start time of available time (Equation 2)
After leaving: current time-leaving time (Formula 3)
Which formula is used can be based on the values of the
次に、上記の処理結果に基づいて、情報表示装置５００に不審人物に関する情報を表示するための処理を説明する。図７は、発明の実施形態に対応する監視システム１０における情報処理装置２００が実行する処理の一例を示すフローチャートである。
Next, processing for displaying information on a suspicious person on the
まず、Ｓ７０１において、情報処理装置２００は、通知部２０６は、来場者データベース３１０において、不審人物フラグ３１７が設定された人物を特定する。当該人物はＩＤ３１１、氏名３１２、ＩＤ番号３１３等により特定することができるので、通知部２０６は、データベース管理部２０４を介して来場者データベース３１０からこれらの情報を取得する。次にＳ７０２において、通知部２０６は、Ｓ７０１で取得した情報に基づき、データベース管理部２０４を介して画像データベース３３０から不審人物の人物特定用情報３３２を取得する。本実施形態では、同一の人物には共通のＩＤが使用されるので、来場者データベース３１０から取得したＩＤ３１１と同一のＩＤ３３１と対応付けられた人物特定用情報３３２を取得すればよい。
First, in S701, the
次に、Ｓ７０３において、通知部２０６は、共有エリア１内に設置されたネットワークカメラ１００から受信した撮像画像中で不審人物を探索する。ここでは、例えば、各撮像画像において人物特定用情報３３２に含まれる特徴量と一致する人物を探索することができる。また、ネットワークカメラ１００からは検出人物情報４１０が送信されてくるので、当該検出人物情報４１０に含まれる人物情報４１５についてＳ７０２で取得した人物特定用情報３３２を適用して不審人物を特定してもよい。
Next, in S703, the
撮像画像中での不審人物の位置が特定できたならば、続くＳ７０４において通知部２０６は、データベース管理部２０４を介して当該人物に関する情報を来場者データベース３１０、時間情報データベース３２０、画像データベース３３０、不審人物データベース３４０から取得する。続くＳ７０５において、通知部２０６は、ＬＡＮ Ｉ／Ｆ部２０１を介して取得した不審人物に関する情報を、共有エリア１の撮像画像に重畳表示可能な情報として、当該撮像画像と共に情報表示装置５００に送信する。情報表示装置５００側では、情報処理装置２００から送信されてくる画像に不審人物に関する情報を重畳して画面表示することができる。
If the position of the suspicious person in the captured image can be specified, the
このときの表示の一例は、例えば図８に示すようになる。図８は、情報表示装置５００における画面表示の一例を示す図である。まず、図８（Ａ）は、共有エリア１における待合所４を撮像した画像を表示する画面の一例である。画面８００において、画像８０１にはネットワークカメラ１００が待合所４を撮影した画像が表示されている。待合所４を撮像するネットワークカメラ１００は、待合所４を天井側から俯瞰するように撮像し、待合所４の椅子に座っている来場者を正面から撮像することができる。画像８０１において、マーク８０２は不審人物と判定された人物を識別するためのマークである。この時点では、二人の人物が不審人物と認定されている。
An example of the display at this time is, for example, as shown in FIG. FIG. 8 is a diagram showing an example of screen display in the
このような表示状態において、情報表示装置４００の操作部において所定の操作を行うと、画面表示が図８（Ｂ）に示すような形態に切り替る。図８（Ｂ）では、不審人物と認定された人物に関する情報が表示される。当該情報には、例えば、人物の不審度、受付手続が済であるかどうか、利用可能時間帯、総滞在時間、超過時間、過去の検出回数などを含めることができる。このうち超過時間は、例えば、上記の式１から３のいずれかで計算した共有エリア１における滞在時間、あるいは、当該滞在時間と対応する閾値との差分として求めることができる。また、過去の検出回数は、不審人物データベース３４０における同一人物の登録数に基づいて決定することができる。この過去の情報については、例えば画面８００上の過去の検出回数を表示する部分をクリックすることにより詳細を表示できるようにしてもよい。
In such a display state, when a predetermined operation is performed on the operation unit of the
また、上述の実施形態では、ネットワークカメラ１００により撮像した画像に基づき人物を特定する場合について記載したが、人物の特定は画像のみに依らなくても良い。例えば、受付５における受付時にビーコン発信機を貸与して、当該ビーコン発信機から発信されるビーコン信号を受信することにより、人物の存在を検出し、特定を行っても良い。
Moreover, in the above-mentioned embodiment, although described about the case where a person is specified based on the picture picturized by
以上の実施形態によれば、任意の人物が滞在可能な共有エリア１における滞在時間が不必要に長い人物を確実に検出し、監視することができる。特に、本実施形態では、監視対象区域への入場から受付までの間、受付から入室までの間、退室後に共有エリア１に長期に滞在する人物を検知して監視することが可能となる。これにより、表向きは用向きを装いながら実際には共有エリアにおいて施設内の人物や来訪者を観察するような人物を的確に監視するための仕組みを提供することができる。
According to the above embodiment, it is possible to reliably detect and monitor a person whose stay time in the
＜その他の実施形態＞
以上、実施形態を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
<Other Embodiments>
The embodiments have been described in detail, but the present invention can be embodied as, for example, a system, an apparatus, a method, a program, or a recording medium (storage medium). Specifically, the present invention may be applied to a system configured of a plurality of devices (for example, a host computer, interface device, imaging device, web application, etc.), or may be applied to a device including one device. good.
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 In addition, the present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or storage medium, and one or more processors in a computer of the system or apparatus execute the program. It can also be realized by a process of reading and executing. It can also be implemented by a circuit (eg, an ASIC) that implements one or more functions.
１０：監視システム、１００：ネットワークカメラ、２００：情報処理装置、３００：データベース装置、４００：受付端末、５００：情報表示装置、６００：ＬＡＮ 10: monitoring system, 100: network camera, 200: information processing device, 300: database device, 400: reception terminal, 500: information display device, 600: LAN
Claims (17)
前記滞在人物のうちから前記滞在時間が所定時間を超える第１の人物を特定する特定手
段と、
前記特定手段が特定した第１の人物に関する通知を出力する出力手段と
を備え、
前記算出手段は、前記滞在時間として、人物が前記第１のエリアとは異なる第２のエリアから前記第１のエリアに退室した後の第１の滞在時間を算出することを特徴とする情報処理装置。 Calculating means for calculating a staying time staying in the first area for each of the staying persons in the first area included in the processing target image obtained by imaging the first area;
Specifying means for specifying, from among the staying persons, a first person whose staying time exceeds a predetermined time;
Outputting means for outputting a notification regarding the first person specified by the specifying means;
Information processing characterized in that the calculation means calculates, as the stay time, a first stay time after a person leaves the second area different from the first area to the first area. apparatus.
を特徴とする請求項２に記載の情報処理装置。 The calculation means is used for a time zone in which the person is permitted to stay in the second area when the time when the person left the room from the second area to the first area can not be specified. The information processing apparatus according to claim 2, wherein the first stay time is calculated based on a difference between an end time and the current time.
前記人物が前記第２のエリアから前記第１のエリアへ退室する際に撮像された画像の撮像時刻と、
前記人物が前記第２のエリアから前記第１のエリアへの通用ゲートを通過した時刻とのいずれかに基づくことを特徴とする請求項２または３に記載の情報処理装置。 The time when the room left is
An imaging time of an image captured when the person leaves the second area to the first area;
The information processing apparatus according to claim 2, wherein the information processing apparatus is based on any one of the times when the person passes through the gate from the second area to the first area.
前記出力手段は、前記通知に前記ランクに関する情報を含める
ことを特徴とする請求項１から７のいずれか１項に記載の情報処理装置。 The specifying means ranks the person specified as the first person according to the length of the stay time,
The information processing apparatus according to any one of claims 1 to 7, wherein the output unit includes information on the rank in the notification.
前記第２のエリアは許可された人物のみが入場することのできるエリアである
ことを特徴とする請求項１から１３のいずれか１項に記載の情報処理装置。 The first area is an area where any person can stay,
The information processing apparatus according to any one of claims 1 to 13, wherein the second area is an area where only authorized persons can enter.
請求項１から１４のいずれか１項に記載の情報処理装置と、
前記情報処理装置の出力手段が出力した通知を受信して表示する表示装置と
を備える監視システム。 An imaging device that captures a predetermined space including a first area to generate an image, extracts an area of a person included in the image, and generates a processing target image;
An information processing apparatus according to any one of claims 1 to 14.
And a display device for receiving and displaying the notification output by the output unit of the information processing apparatus.
算出手段が、第１のエリアを撮像した処理対象画像に含まれる前記第１のエリアの滞在人物のそれぞれについて、前記第１のエリアに滞在している滞在時間を算出する算出工程と、
特定手段が、前記滞在人物のうちから前記滞在時間が所定時間を超える第１の人物を特定する特定工程と、
出力手段が、前記特定工程において特定された前記第１の人物に関する通知を出力する通信工程と
を含み、
前記算出工程では、前記滞在時間として、人物が前記第１のエリアとは異なる第２のエリアから前記第１のエリアに退室した後の第１の滞在時間が算出されることを特徴とする情報処理装置の制御方法。 A control method of the information processing apparatus,
A calculation step of calculating, for each of the staying persons in the first area included in the processing target image obtained by imaging the first area, the staying time in the first area;
A specifying step of specifying a first person whose stay time exceeds a predetermined time among the stay persons;
A communication step of outputting a notification regarding the first person identified in the identifying step;
In the calculation step, as the stay time, a first stay time after a person has left the second area different from the first area to the first area is calculated. Control method of processing apparatus.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP18205337.1A EP3487151A1 (en) | 2017-11-15 | 2018-11-09 | Information processing apparatus, monitoring system, method, and non-transitory computer-readable storage medium |
| US16/185,321 US20190147251A1 (en) | 2017-11-15 | 2018-11-09 | Information processing apparatus, monitoring system, method, and non-transitory computer-readable storage medium |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017220132 | 2017-11-15 | ||
| JP2017220132 | 2017-11-15 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019091395A true JP2019091395A (en) | 2019-06-13 |
| JP7097721B2 JP7097721B2 (en) | 2022-07-08 |
Family
ID=66836517
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018042304A Active JP7097721B2 (en) | 2017-11-15 | 2018-03-08 | Information processing equipment, methods and programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7097721B2 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021022342A (en) * | 2019-07-30 | 2021-02-18 | パナソニックＩｐマネジメント株式会社 | Identification system, identification method, and program |
| JP2021051596A (en) * | 2019-09-25 | 2021-04-01 | 富士通株式会社 | Detection program, device and method |
| WO2021176593A1 (en) * | 2020-03-04 | 2021-09-10 | 日本電気株式会社 | Stay management device, stay management method, non-transitory computer-readable medium in which program is stored, and stay management system |
| WO2022030547A1 (en) * | 2020-08-07 | 2022-02-10 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | Monitoring information processing device, monitoring information processing method and monitoring information processing program |
| JP2023004657A (en) * | 2021-06-28 | 2023-01-17 | Ｎｔｔリミテッド・ジャパン株式会社 | Track management system, method for tracking, and program |
| JP7479988B2 (en) | 2020-08-07 | 2024-05-09 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | Monitoring information processing device, monitoring information processing method, and monitoring information processing program |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005226413A (en) * | 2004-02-16 | 2005-08-25 | Mitsubishi Electric Corp | Control device for entrance and exit to/from room |
| JP2006011728A (en) * | 2004-06-24 | 2006-01-12 | Omron Corp | Suspicious person countermeasure system and suspicious person detection device |
| JP2009290697A (en) * | 2008-05-30 | 2009-12-10 | Carecom Co Ltd | Nurse call system |
| JP2011215829A (en) * | 2010-03-31 | 2011-10-27 | Hitachi Ltd | Monitoring device and suspicious behavior detection method |
| JP2011227677A (en) * | 2010-04-19 | 2011-11-10 | Secom Co Ltd | Notification device |
| JP2013002083A (en) * | 2011-06-14 | 2013-01-07 | Toyota Home Kk | Management device of housing complex |
| JP2013114553A (en) * | 2011-11-30 | 2013-06-10 | Mitsubishi Electric Building Techno Service Co Ltd | Room entry/exit management system and room entry/exit management program |
| WO2014132841A1 (en) * | 2013-02-28 | 2014-09-04 | 株式会社日立国際電気 | Person search method and platform occupant search device |
| WO2014155922A1 (en) * | 2013-03-29 | 2014-10-02 | 日本電気株式会社 | Target object identifying device, target object identifying method and target object identifying program |
| JP2015232791A (en) * | 2014-06-10 | 2015-12-24 | パナソニックＩｐマネジメント株式会社 | Customer management device, customer management system, and customer management method |
-
2018
- 2018-03-08 JP JP2018042304A patent/JP7097721B2/en active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005226413A (en) * | 2004-02-16 | 2005-08-25 | Mitsubishi Electric Corp | Control device for entrance and exit to/from room |
| JP2006011728A (en) * | 2004-06-24 | 2006-01-12 | Omron Corp | Suspicious person countermeasure system and suspicious person detection device |
| JP2009290697A (en) * | 2008-05-30 | 2009-12-10 | Carecom Co Ltd | Nurse call system |
| JP2011215829A (en) * | 2010-03-31 | 2011-10-27 | Hitachi Ltd | Monitoring device and suspicious behavior detection method |
| JP2011227677A (en) * | 2010-04-19 | 2011-11-10 | Secom Co Ltd | Notification device |
| JP2013002083A (en) * | 2011-06-14 | 2013-01-07 | Toyota Home Kk | Management device of housing complex |
| JP2013114553A (en) * | 2011-11-30 | 2013-06-10 | Mitsubishi Electric Building Techno Service Co Ltd | Room entry/exit management system and room entry/exit management program |
| WO2014132841A1 (en) * | 2013-02-28 | 2014-09-04 | 株式会社日立国際電気 | Person search method and platform occupant search device |
| WO2014155922A1 (en) * | 2013-03-29 | 2014-10-02 | 日本電気株式会社 | Target object identifying device, target object identifying method and target object identifying program |
| JP2015232791A (en) * | 2014-06-10 | 2015-12-24 | パナソニックＩｐマネジメント株式会社 | Customer management device, customer management system, and customer management method |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021022342A (en) * | 2019-07-30 | 2021-02-18 | パナソニックＩｐマネジメント株式会社 | Identification system, identification method, and program |
| JP7281740B2 (en) | 2019-07-30 | 2023-05-26 | パナソニックＩｐマネジメント株式会社 | Identification system, identification method, and program |
| JP2021051596A (en) * | 2019-09-25 | 2021-04-01 | 富士通株式会社 | Detection program, device and method |
| JP7343095B2 (en) | 2019-09-25 | 2023-09-12 | 富士通株式会社 | Detection program, device and method |
| WO2021176593A1 (en) * | 2020-03-04 | 2021-09-10 | 日本電気株式会社 | Stay management device, stay management method, non-transitory computer-readable medium in which program is stored, and stay management system |
| JPWO2021176593A1 (en) * | 2020-03-04 | 2021-09-10 | ||
| JP7439897B2 (en) | 2020-03-04 | 2024-02-28 | 日本電気株式会社 | Stay management device, stay management method, program and stay management system |
| US12039818B2 (en) | 2020-03-04 | 2024-07-16 | Nec Corporation | Stay management apparatus, stay management method, non-transitory computer-readable medium storing program, and stay management system |
| WO2022030547A1 (en) * | 2020-08-07 | 2022-02-10 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | Monitoring information processing device, monitoring information processing method and monitoring information processing program |
| JP7479988B2 (en) | 2020-08-07 | 2024-05-09 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | Monitoring information processing device, monitoring information processing method, and monitoring information processing program |
| JP2023004657A (en) * | 2021-06-28 | 2023-01-17 | Ｎｔｔリミテッド・ジャパン株式会社 | Track management system, method for tracking, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7097721B2 (en) | 2022-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7097721B2 (en) | Information processing equipment, methods and programs | |
| EP3487151A1 (en) | Information processing apparatus, monitoring system, method, and non-transitory computer-readable storage medium | |
| JP5994397B2 (en) | Information processing apparatus, information processing method, and program | |
| JP5766625B2 (en) | Camera device | |
| US11538276B2 (en) | Communication system, distributed processing system, distributed processing method, and recording medium | |
| JP2015072578A (en) | Person identification apparatus, person identification method, and program | |
| CN107924544B (en) | Information processing system and information processing method | |
| JP7238902B2 (en) | Information processing device, information processing method, and program | |
| JPWO2010016175A1 (en) | Object detection apparatus and object detection method | |
| JP2024056872A (en) | Stay management apparatus, stay management method, and program | |
| JP2019082450A (en) | Information processing apparatus, notification system, method and program | |
| JP2015072633A (en) | Image processor and program | |
| JP2012137906A (en) | Staying time measuring device, staying time measuring system and staying time measuring method | |
| JP2014042170A (en) | Photographing system, photographing support method, photographing device and control method of the same, management device and control method of the same, and program | |
| JP2019133566A (en) | Information processing apparatus | |
| JP7304531B2 (en) | PHYSICAL FUNCTION MANAGEMENT SYSTEM AND PHYSICAL FUNCTION MANAGEMENT METHOD | |
| JP6734487B2 (en) | Regional smile level display system, regional smile level display method and program | |
| JP7145589B2 (en) | Information provision system | |
| WO2023084593A1 (en) | Information processing device, information processing system, information processing method, and non-transitory computer-readable medium | |
| KR101626729B1 (en) | visiting site information sharing system | |
| JP7346708B2 (en) | Information management system, information management method, and program | |
| JP6476148B2 (en) | Image processing apparatus and image processing method | |
| JP7400944B2 (en) | Recommended control devices, systems, methods and programs | |
| JP7327571B2 (en) | Information processing system, terminal device, authentication target management method, and program | |
| JP7446806B2 (en) | Information processing device, method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210303 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220304 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220427 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220530 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220628 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7097721 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |