JP5139947B2

JP5139947B2 - 監視画像記憶システム及び監視画像記憶システムの監視画像記憶方法

Info

Publication number: JP5139947B2
Application number: JP2008257998A
Authority: JP
Inventors: 誠之内村
Original assignee: Mitsubishi Electric Information Technology Corp
Current assignee: Mitsubishi Electric Information Technology Corp
Priority date: 2008-10-03
Filing date: 2008-10-03
Publication date: 2013-02-06
Anticipated expiration: 2028-10-03
Also published as: JP2010088072A

Description

本発明は、例えば、所定のエリアにおける物の置き去り・持ち去りを検知するとともに、物の置き去り・持ち去り発生時にそのエリアにいた人物を特定するための画像を記憶・表示する監視画像記憶システムに関する。

例えば、銀行等の金融機関のＡＴＭ（現金自動預け払い機：ＡｕｔｏｍａｔｅｄＴｅｌｌｅｒＭａｃｈｉｎｅ）コーナーには、ＡＴＭエリアの天井等に取り付けられたコーナー全体を撮影する監視カメラと、ＡＴＭを利用する人物の顔を真正面から撮影する顔撮影カメラとが設置されている。従来技術では、監視カメラが撮影した、例えばＡＴＭエリア全体のような所定のエリアのエリア撮影画像を画像解析することにより、そのエリアにおける物体の置き去り・持ち去りを検知する技術がある（特許文献１、特許文献３、特許文献４参照）。また、顔撮影カメラ等が撮影した、例えばＡＴＭを利用する人物の顔画像を画像解析することにより、最も映りのよい瞬間の顔画像を自動的に選択して記録するベストショット顔画像記録技術がある（特許文献２参照）。

また、監視カメラが撮影したエリア撮影画像を画像解析することにより放置物を検知した場合に、放置物が放置された時刻におけるエリア撮影画像から、放置物周辺の人物の画像を画像解析により抽出し、抽出された人物画像を表示する技術がある（特許文献１参照）。
特開２００８−１０４１３０号公報特開２００３−０４６９１１号公報特開２００５−００６１６４号公報特開２００７−２４３３４２号公報

従来では、監視カメラが撮影したエリア撮影画像と顔撮影カメラが撮影した顔撮影画像とを自動的に結びつける手段がないので、エリア撮影カメラにより置き去り・持ち去りを検知しても、顔撮影画像から置き去り・持ち去りを行った人物を特定するのに時間がかかってしまうという課題がある。

監視カメラが撮影したエリア撮影画像から放置物を検知した際に、放置物が検知されたエリア撮影画像から人物画像を抽出する技術はあるが、人物全体像等を検出することはできても人物の顔を大きくはっきりと検出することはできないため、放置した人物を特定することが難しいという課題がある。

本発明は、例えば、上記のような課題を解決するためになされたものであり、不特定多数の人物が出入りするエリアにおいて、物体の置き去り・持ち去りがあった際に、自動的に物体の置き去り・持ち去り等を検知するとともに、当該人物を素早く自動的に特定することができる監視画像記憶システムを提供することを目的とする。

本発明に係る監視画像記憶システムは、
所定のエリアを撮影するエリア撮影カメラと前記所定のエリアに出現する人物の顔を撮影する顔撮影カメラとを備えた監視画像記憶システムであって、
前記エリア撮影カメラが撮影したエリア撮影画像を前記エリア撮影画像が撮影された時刻とともに記憶装置に記憶するエリア撮影画像記憶部と、
前記顔撮影カメラが撮影した顔撮影画像を前記顔撮影画像が撮影された時刻とともに記憶装置に記憶する顔撮影画像記憶部と、
処理装置を用いることにより、前記エリア撮影画像記憶部により記憶されたエリア撮影画像に基づいて前記所定のエリアにおける物体の出現、物体の消失、あるいは物体の状態の変化を検知するとともに、物体の出現、物体の消失、あるいは物体の状態の変化を検知した場合に検知の根拠としたエリア撮影画像を物体検知画像として特定し、かつ、前記物体検知画像が撮影された時刻を物体検知時刻として特定する物体検知部と、
処理装置を用いることにより、前記物体検知部が特定した前記物体検知時刻より所定の時間さかのぼった時刻から前記物体検知時刻までに撮影された顔撮影画像を前記顔撮影画像記憶部により記憶された顔撮影画像の中から抽出するとともに、抽出した顔撮影画像の中から所定の基準を満たす顔撮影画像を基準合致顔画像として選択する顔検知部と、
前記物体検知部により特定された前記物体検知画像と前記物体検知時刻とを入力するとともに、前記顔検知部により選択された前記基準合致顔画像を入力して、前記物体検知時刻と前記物体検知画像と前記基準合致顔画像とを対応付けて記憶装置に記憶する統合記憶部と
を備えたことを特徴とする。

前記物体検知部は、物体の出現あるいは物体の消失の検知結果に応じて前記所定のエリアおける物体の置き去りあるいは物体の持ち去りを判定することを特徴とする。

前記物体検知部は、前記所定のエリアにおける物体の出現、物体の消失、あるいは物体の状態の変化を検知した位置を示すマークを前記物体検知画像に付加することを特徴とする。

前記監視画像記憶システムは、さらに、
前記統合記憶部により記憶された前記物体検知時刻と前記物体検知画像と前記基準合致顔画像とを対応付けて表示装置に表示する統合表示部を備えることを特徴とする。

前記統合表示部は、
前記物体検知画像と前記基準合致顔画像とをサムネイル形式で表示することを特徴とする。

前記統合記憶部は、
前記基準合致顔画像とともに前記基準合致顔画像が撮影された時刻を記憶し、
前記監視画像記憶システムは、さらに、
前記所定のエリアに出現した人物から所定の情報を取得する情報取得部と、
前記情報取得部が取得した情報を、前記情報が取得された時刻とともに記憶装置に記憶する情報記憶部と、
前記統合記憶部により記憶された前記基準合致顔画像と前記基準合致顔画像が撮影された時刻とを入力して、入力した前記基準合致顔画像が撮影された時刻から過去の所定の範囲に取得された情報を前記情報記憶部により記憶された情報の中から抽出し、抽出した情報と前記基準合致顔画像と前記基準合致顔画像が撮影された時刻とを対応付けて記憶装置に記憶する顔画像データベース作成部と
を備えることを特徴とする。

本発明に係る監視画像記憶システムの監視画像記憶方法は、
所定のエリアを撮影するエリア撮影カメラと、前記所定のエリアに出現する人物の顔を撮影する顔撮影カメラと、前記エリア撮影カメラが撮影したエリア撮影画像を前記エリア撮影画像が撮影された時刻とともに記憶装置に記憶するエリア撮影画像記憶部と、前記顔撮影カメラが撮影した顔撮影画像を前記顔撮影画像が撮影された時刻とともに記憶装置に記憶する顔撮影画像記憶部とを備えた監視画像記憶システムの監視画像記憶方法であって、
物体検知部が、処理装置を用いることにより、前記エリア撮影画像記憶部により記憶されたエリア撮影画像に基づいて前記所定のエリアにおける物体の出現、物体の消失、あるいは物体の状態の変化を検知するとともに、物体の出現、物体の消失、あるいは物体の状態の変化を検知した場合に検知の根拠としたエリア撮影画像を物体検知画像として特定し、かつ、前記物体検知画像が撮影された時刻を物体検知時刻として特定する物体検知ステップと、
顔検知部が、処理装置を用いることにより、前記物体検知ステップにより特定された前記物体検知時刻より所定の時間さかのぼった時刻から前記物体検知時刻までに撮影された顔撮影画像を前記顔撮影画像記憶部により記憶された顔撮影画像の中から抽出するとともに、抽出した顔撮影画像の中から所定の基準を満たす顔撮影画像を基準合致顔画像として選択する顔検知ステップと、
統合記憶部が、前記物体検知ステップにより特定された前記物体検知画像と前記物体検知時刻とを入力するとともに、前記顔検知ステップにより選択された前記基準合致顔画像を入力して、前記物体検知時刻と前記物体検知画像と前記基準合致顔画像とを対応付けて記憶装置に記憶する統合記憶ステップと
を備えたことを特徴とする。

本発明に係る監視画像記憶システムであって、所定のエリアを撮影するエリア撮影カメラと前記所定のエリアに出現する人物の顔を撮影する顔撮影カメラとを備えた監視画像記憶システムによれば、
エリア撮影画像記憶部が、前記エリア撮影カメラが撮影したエリア撮影画像を前記エリア撮影画像が撮影された時刻とともに記憶し、顔撮影画像記憶部が、前記顔撮影カメラが撮影した顔撮影画像を前記顔撮影画像が撮影された時刻とともに記憶し、物体検知部が、前記エリア撮影画像記憶部により記憶されたエリア撮影画像に基づいて前記所定のエリアにおける物体の出現、物体の消失、あるいは物体の状態の変化を検知するとともに、物体の出現、物体の消失、あるいは物体の状態の変化を検知した場合に検知の根拠としたエリア撮影画像を物体検知画像として特定し、かつ、前記物体検知画像が撮影された時刻を物体検知時刻として特定し、顔検知部が、前記物体検知部が特定した前記物体検知時刻より所定の時間さかのぼった時刻から前記物体検知時刻までに撮影された顔撮影画像を前記顔撮影画像記憶部により記憶された顔撮影画像の中から抽出するとともに、抽出した顔撮影画像の中から所定の基準を満たす顔撮影画像を基準合致顔画像として選択し、統合記憶部が、前記物体検知部により特定された前記物体検知画像と前記物体検知時刻とを入力するとともに、前記顔検知部により選択された前記基準合致顔画像を入力して、前記物体検知時刻と前記物体検知画像と前記基準合致顔画像とを対応付けて記憶する統合記憶部とを備えているので、不特定多数の人物が出入りするエリアにおいて物体の置き去り・持ち去りがあった場合に、自動的に物体の置き去り・持ち去り等を検知するとともに、自動的にかつ迅速に、置き去り・持ち去り等を行った人物を特定する情報を取得することができるという効果を奏する。

実施の形態１．
図１は、本実施の形態に係る置き去り・持ち去り人物特定システム８００（画面表示システムの一例）のシステム構成図である。本実施の形態に係る置き去り・持ち去り人物特定システム８００は、例えば金融機関等のＡＴＭ（現金自動預け払い機）エリア３０（ＡＴＭコーナーともいう）等において利用されるものである。置き去り・持ち去り人物特定システム８００は、ＡＴＭエリア３０における物体の置き去りや持ち去りを検知するとともに、物体の置き去り（放置）や持ち去りを検知した場合に、置き去りや持ち去りに関連する人物の顔画像を記憶して表示するものである。以下の実施の形態では、金融機関等のＡＴＭエリア３０をエリアの一例として置き去り・持ち去り人物特定システム８００の説明をするが、これに限られるわけではない。エリアとしては、例えば、ビルの入退出装置のあるエリアやチケット等の券売機のエリアなど、後述するエリア撮影カメラ３００と顔撮影カメラ４００とを設置することができる場所であればどこにでも適用することができる。

図１を用いて、置き去り・持ち去り人物特定システム８００のシステム構成について説明する。置き去り・持ち去り人物特定システム８００は、監視画像記憶システムの一例である。また、ＡＴＭエリア３０は、エリアの一例である。

例えば、金融機関のＡＴＭエリア３０には、ＡＴＭエリア３０全体のエリアを撮影するエリア撮影カメラ３００と、ＡＴＭエリア３０に設置されたＡＴＭ４０を利用する人物１０の顔を真正面から撮影する顔撮影カメラ４００が設置されている。

本実施の形態に係る置き去り・持ち去り人物特定システム８００は、ＡＴＭエリア３０全体のエリアを撮影するエリア撮影カメラ３００と、ＡＴＭエリア３０に設置されているＡＴＭ４０を利用する人物１０の顔部分を撮影する顔撮影カメラ４００と、ネットワークカメラ用録画・配信サーバ２００と、置き去り・持ち去り人物特定装置１００（監視画像記憶装置）とから構成される。

エリア撮影カメラ３００は、比較的広画角のカメラであり、対象とするエリア全体の画像を取得するカメラである。エリア撮影カメラ３００は、ＡＴＭエリア３０の天井や壁の上方に、ＡＴＭエリア３０全体を撮影できるように設置される。例えば、ＡＴＭ４０周辺とＡＴＭ４０周辺の床等を上方から撮影できるように設置される。したがって、エリア撮影カメラ３００により撮影されたエリア撮影画像３０１には、ＡＴＭ４０周辺やＡＴＭ４０周辺の床等に置き去りにされた放置物等の物体２０の状況や、放置物等の物体２０が持ち去られた場合の状況等が映ることになる。また、エリア撮影画像３０１には、ＡＴＭエリア３０に設置してある備品等の設置物の持ち去りや、放置物や設置物の毀損・破壊等の状況が映る可能性もある。あるいは、ＡＴＭエリア３０への侵入や、ＡＴＭエリア３０への長時間居座り等の状況も映す可能性がある。エリア撮影カメラ３００が撮影したエリア撮影画像３０１は、ネットワーク５００を介して後述するネットワークカメラ用録画・配信サーバ２００（例えば、ネカ録）に送信される。

顔撮影カメラ４００は、ＡＴＭエリア３０のＡＴＭ４０を利用する人物１０の顔部分を正面から撮影するカメラである。顔撮影カメラ４００は、検知精度向上のために、正面に近い画角から、極力大きく顔を映すことのできるカメラである。顔撮影カメラ４００は、例えば、ＡＴＭ４０を利用する人物１０のほぼ顔の正面であって、ＡＴＭ４０を利用する人物１０の顔付近を撮影することができるような高さに設置される。ＡＴＭ４０を利用する場合には、人物１０は少なくとも数十秒から数分はＡＴＭの前に立って作業する。したがって、顔撮影カメラ４００により撮影された顔撮影画像４０１は、同一の人物１０の顔画像が複数枚撮影されることになる。同一の人物１０の複数枚の顔撮影画像４０１は、どれもが必ず正面を向いて顔が判別できる画像であるとは限らない。横を向いたり、下を向いたり、かがんで撮影箇所から見えなくなったりする場合もある。したがって、後述するように、物体２０の置き去り・持ち去りが発生したときのエリア撮影画像３０１と対応付けて顔撮影画像４０１を表示する場合には、同一の人物１０の複数枚の顔撮影画像４０１の中から、見やすく人物を特定することのできる顔撮影画像（ベストショット画像、基準合致画像）を選択して記憶・表示することが有効である。顔撮影カメラ４００が撮影した顔撮影画像４０１は、ネットワーク５００を介して後述するネットワークカメラ用録画・配信サーバ２００に送信される。

ネットワークカメラ用録画・配信サーバ２００は、エリア撮影カメラ３００が撮影したエリア撮影画像３０１と顔撮影カメラ４００が撮影した顔撮影画像４０１とをネットワーク５００を介して受信して記憶する。エリア撮影画像３０１は、ＡＴＭエリア３０を撮影した時刻（エリア撮影時刻）とともにネットワークカメラ用録画・配信サーバ２００に記憶される。顔撮影画像４０１は、人物１０の顔を撮影した時刻（顔撮影時刻）とともにネットワークカメラ用録画・配信サーバ２００に記憶される。あるいは、エリア撮影画像３０１、顔撮影画像４０１は、ネットワークカメラ用録画・配信サーバ２００に保存された時刻（保存時刻）とともにネットワークカメラ用録画・配信サーバ２００に記憶されるとしてもよい。しかし、ネットワーク５００の障害等により、撮影時刻と保存時刻とが食い違う場合が考えられるので、画像の撮影時刻とともに画像を記憶する方が好ましい。

置き去り・持ち去り人物特定装置１００は、ネットワークカメラ用録画・配信サーバ２００からネットワーク５００を介してエリア撮影画像３０１と顔撮影画像４０１とを入力する。置き去り・持ち去り人物特定装置１００は、エリア撮影画像３０１を画像解析することにより、ＡＴＭエリア３０における物体２０の置き去り・持ち去りを検知する。そして、置き去り・持ち去り人物特定装置１００は、物体２０の物体の出現、物体の消失、あるいは物体の状態の変化（例えば、置き去り・持ち去り等）を検知した場合に、検知の根拠となったエリア撮影画像３０１が撮影された時刻付近（近辺）の時刻に撮影された顔撮影画像４０１を抽出して、抽出した顔撮影画像４０１から所定の基準を満たす顔撮影画像４０１（基準合致顔画像（ベストショット画像ともいう））を選択する。選択するベストショット画像の数（表示数）は、予め、置き去り・持ち去り人物特定装置１００の備える記憶装置に記憶しておき、記憶した表示数分のベストショット画像を選択する。置き去り・持ち去り人物特定装置１００は、物体２０の置き去り・持ち去りを検知した際に検知の根拠となったエリア撮影画像３０１と、そのエリア撮影画像３０１が撮影されたエリア撮影時刻と、選択したベストショット画像とを対応付けて、記憶装置に記憶し、さらに、表示装置に表示する。

図２は、実施の形態１に係るネットワークカメラ用録画・配信サーバ２００の機能ブロック構成図である。図２を用いて、ネットワークカメラ用録画・配信サーバ２００の機能ブロック構成について説明する。

ネットワークカメラ用録画・配信サーバ２００は、エリア撮影画像記憶部２０１、顔撮影画像記憶部２０２、制御部２０３、処理装置２０４（例えば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ））、記憶装置２０５を備えている。エリア撮影画像記憶部２０１は、エリア撮影カメラ３００が撮影したエリア撮影画像３０１を撮影時刻（エリア撮影時刻３０２）とともに記憶装置２０５に記憶する。顔撮影画像記憶部２０２は、顔撮影カメラ４００が撮影した顔撮影画像４０１を撮影時刻（顔撮影時刻４０２）とともに記憶装置２０５に記憶する。以下、「エリア撮影画像記憶部２０１、顔撮影画像記憶部２０２が記憶する」と記載する場合は、エリア撮影画像記憶部２０１、顔撮影画像記憶部２０２が記憶装置２０５に記憶することを意味するものとする。また、エリア撮影画像３０１とエリア撮影時刻３０２との情報を併せてエリア撮影画像情報３０３、顔撮影画像４０１と顔撮影時刻４０２との情報を併せて顔撮影画像情報４０３と呼ぶものとする。

制御部２０３は、エリア撮影画像情報３０３と顔撮影画像情報４０３とを所定の割合で置き去り・持ち去り人物特定装置１００へ送信する。例えば、制御部２０３は、エリア撮影画像情報３０３と顔撮影画像情報４０３とを６ｆｐｓ（ＦｒａｍｅＰｅｒＳｅｃｏｎｄ）の割合で置き去り・持ち去り人物特定装置１００へ送信する。あるいは、エリア撮影画像情報３０３を６ｆｐｓの割合で、顔撮影画像情報４０３を２ｆｐｓの割合で置き去り・持ち去り人物特定装置１００へ送信するとしてもよい。あるいは、制御部２０３は、置き去り・持ち去り人物特定装置１００からの送信要求を受信した場合に、エリア撮影画像情報３０３と顔撮影画像情報４０３とを送信するとしてもよい。

図３は、実施の形態１に係る置き去り・持ち去り人物特定装置１００の機能ブロック構成図である。図３を用いて、置き去り・持ち去り人物特定装置１００の機能ブロック構成について説明する。置き去り・持ち去り人物特定装置１００は、画像取得・デコード部１１０、統合表示アプリ部１２０、物体検知部１３０、顔検知部１４０、記憶装置１５０、処理装置１６０、表示装置１７０を備えている。

画像取得・デコード部１１０は、ネットワークカメラ用録画・配信サーバ２００からエリア撮影画像情報３０３と顔撮影画像情報４０３とを取得してデコード（復号）する。画像取得・デコード部１１０は、入力されたエリア撮影画像情報３０３と顔撮影画像情報４０３とに対し、６ｆｐｓをベースとしたデコードを行う。そして、画像取得・デコード部１１０は、デコードしたエリア撮影画像情報３０３と顔撮影画像情報４０３とを、顔撮影画像情報４０３は毎回（６ｆｐｓ）、エリア撮影画像情報３０３は３回に１回（すなわち、２ｆｐｓ相当）、統合表示アプリ部１２０に出力する。画像取得・デコード部１１０の処理におけるデコードのベースや、画像の出力回数は、上述した数に限られず、システムとして自在に設定可能である。

統合表示アプリ部１２０は、画像取得・デコード部１１０からデコード済みのエリア撮影画像情報３０３（エリア撮影画像３０１とエリア撮影時刻３０２）と顔撮影画像情報４０３（顔撮影画像４０１と顔撮影時刻４０２）とを入力する。上述したように、顔撮影画像情報４０３（顔撮影画像４０１と顔撮影時刻４０２）は６ｆｐｓの割合で、エリア撮影画像情報３０３（エリア撮影画像３０１とエリア撮影時刻３０２）は２ｆｐｓの割合で入力されるものとする。統合表示アプリ部１２０は、例えば、入力したエリア撮影画像３０１と顔撮影画像４０１とをライブ画像として表示装置１７０に表示してもよい。それとともに、統合表示アプリ部１２０は、エリア撮影画像情報３０３（エリア撮影画像３０１とエリア撮影時刻３０２）を物体検知部１３０に出力する。

また、統合表示アプリ部１２０は、顔撮影画像情報４０３（顔撮影画像４０１と顔撮影時刻４０２）を記憶装置１５０に一旦記憶する。統合表示アプリ部１２０は、顔撮影画像情報４０３（顔撮影画像４０１と顔撮影時刻４０２）をすべて記憶する必要はなく、所定の時間分の顔撮影画像情報４０３を記憶しておき、古い時刻の顔撮影画像情報４０３から消去していく。あるいは、統合表示アプリ部１２０は、顔撮影画像情報４０３（顔撮影画像４０１と顔撮影時刻４０２）を顔検知部１４０に出力し、顔検知部１４０において入力した顔撮影画像情報４０３を記憶装置１５０に一旦記憶するとしてもよい。この場合も同様に、顔検知部１４０は、顔撮影画像情報４０３（顔撮影画像４０１と顔撮影時刻４０２）をすべて記憶する必要はなく、所定の時間分の顔撮影画像情報４０３を記憶し、古い時刻の顔撮影画像情報４０３から消去していく。実施の形態１では、統合表示アプリ部１２０が、所定の時間分の顔撮影画像情報４０３を記憶装置１５０に記憶するものとする。

統合表示アプリ部１２０は、例えば、置き去り・持ち去り人物特定処理を行うと同時に、入力したエリア撮影画像３０１と顔撮影画像４０１とをライブ画像として表示装置１７０に表示してもよい。あるいは、統合表示アプリ部１２０は、例えば、置き去り・持ち去り人物特定システム８００のユーザにより指定された過去の時刻からの画像をネットワークカメラ用録画・配信サーバ２００から受信して、過去の画像として表示装置１７０に表示してもよい。

統合表示アプリ部１２０は、例えば、入力したエリア撮影画像３０１と顔撮影画像４０１とをライブ画像として表示装置１７０に表示する際に、現在時刻とエリア撮影時刻３０２と顔撮影時刻４０２とを同期させて表示する。あるいは、統合表示アプリ部１２０は、ユーザにより指定された過去の時刻からの画像を表示させる場合にも、エリア撮影時刻３０２と顔撮影時刻４０２とを同期させて表示する。

物体検知部１３０は、統合表示アプリ部１２０からエリア撮影画像情報３０３（エリア撮影画像３０１とエリア撮影時刻３０２）とを入力して、入力したエリア撮影画像３０１に基づいて、ＡＴＭエリア３０における物体２０の出現、物体２０の消失、あるいは物体２０の状態の変化（例えば、置き去り・持ち去り等）を検知するとともに、物体２０の出現、物体２０の消失、あるいは物体２０の状態の変化を検知した場合に検知の根拠としたエリア撮影画像３０１を物体検知画像１３２として特定し、物体検知画像１３２が撮影された時刻を物体検知時刻１３３として特定して統合表示アプリ部１２０に出力する。

物体検知部１３０は、エリア撮影画像３０１に映された検知エリア（ＡＴＭエリア３０）の画像に対して、背景差分等の手法を用いた画像解析をすることにより、物体２０の置き去り・持ち去り等を検知する。置き去り検知とは、ＡＴＭエリア３０等の検知エリアにおいて、置き去りの条件に合致する物体２０が一定時間同じ場所に止まっている場合に検知するものである。持ち去り検知とは、ＡＴＭエリア３０等の検知エリアから持ち去りの条件に合致する物体が持ち去られて一定時間以上経過した場合に検知するものである。

物体検知部１３０は、物体２０の置き去り・持ち去りを検知すると、検知した際のエリア撮影画像３０１に対して、物体２０の置き去り・持ち去りを検知した位置を示すマークを付加した画像を物体検知画像１３２とし、その画像の撮影時刻を物体検知時刻１３３として、物体検知画像１３２と物体検知時刻１３３とを物体検知結果１３１として統合表示アプリ部１２０に出力する。

記憶装置１５０には、予めディレイタイム１５１が記憶されている。ディレイタイム１５１は、所定の時間の一例である。ディレイタイム１５１は、置き去り・持ち去り人物特定システム８００のシステム値として予め適切な値に設定される必要がある。ディレイタイム１５１を適切な値に設定することにより、検知精度を向上させることができる。ディレイタイム１５１は、例えば、エリアのシチュエーション（ＡＴＭエリア、建物の入退出エリア等）に応じた人物の推定滞在時間と、物体検知部１３０による置き去り・持ち去り検知処理に用いる一定時間とに基づいて、最も適切な値に決められる。したがって、ディレイタイム１５１は、置き去り・持ち去り人物特定システム８００が稼働するエリアのシチュエーションや、置き去り・持ち去り処理の処理内容（主に、一定時間）等の状況により、異なる値が設定されることになる。その他、ディレイタイム１５１の設定方法（算出方法）については、例えば、エリアの時間帯による混雑状況等の影響を数値化してディレイタイム１５１算出のパラメータとしてもよい。

統合表示アプリ部１２０は、物体検知部１３０から物体検知結果１３１として物体検知画像１３２と物体検知時刻１３３を入力すると、入力した物体検知時刻１３３からディレイタイム１５１さかのぼった時刻から物体検知時刻１３３までに撮影された顔撮影画像４０１を含む顔撮影画像情報４０３を記憶装置１５０から抽出する。つまり、物体検知時刻１３３からディレイタイム１５１さかのぼった時刻から物体検知時刻１３３までの時刻の間の時刻と一致する顔撮影時刻４０２を有する顔撮影画像４０１を記憶装置１５０から抽出する。統合表示アプリ部１２０は、抽出した複数の顔撮影画像情報４０３（顔撮影画像４０１と顔撮影時刻４０２）を顔検知用画像情報１４１として顔検知部１４０に出力する。

本実施の形態では、統合表示アプリ部１２０が、物体検知時刻１３３から過去のディレイタイム１５１時間の範囲に撮影された顔撮影画像情報４０３を抽出したが、顔検知部１４０が、物体検知時刻１３３を入力して、入力した物体検知時刻１３３よりディレイタイム１５１（所定の時間）さかのぼった時刻から物体検知時刻１３３までに撮影された複数の顔撮影画像４０１を抽出してもよい。

顔検知部１４０は、抽出した顔撮影画像４０１の中から、所定の基準を満たす顔撮影画像４０１を選択して、選択した顔撮影画像４０１を基準合致顔画像１４２として出力する。顔検知部１４０は、例えば、顔の向きや大きさ、明るさ等を総合的に判断して、最も映りのよい顔画像を高速に選択記録する技術である「ベストショット顔画像記録技術」等を用いて、複数の顔撮影画像４０１のなかから、基準合致顔画像１４２を選択して統合表示アプリ部１２０に出力する。

統合表示アプリ部１２０は、顔検知部１４０から基準合致顔画像１４２を入力すると、物体検知時刻１３３と物体検知画像１３２と基準合致顔画像１４２とを対応付けて、記憶装置１５０に記憶する。統合表示アプリ部１２０は、統合記憶部の一例である。また、統合表示アプリ部１２０は、記憶した物体検知時刻１３３と物体検知画像１３２と基準合致顔画像１４２とを対応付けて表示装置１７０に表示する。統合表示アプリ部１２０は、統合表示部の一例である。表示方法の詳細については後述する。

図４は、実施の形態１に係る置き去り・持ち去り人物特定装置１００の処理を示すフロー図である。図４を用いて置き去り・持ち去り人物特定装置１００の置き去り・持ち去り人物特定処理について説明する。

＜デコード済み画像入力処理＞
統合表示アプリ部１２０は、デコード済みのエリア撮影画像情報３０３（エリア撮影画像３０１とエリア撮影時刻３０２）と顔撮影画像情報４０３（顔撮影画像４０１と顔撮影時刻４０２）とを画像取得・デコード部１１０から入力する。このとき、画像取得・デコード部１１０は、処理装置１６０を用いて、エリア撮影画像情報３０３と顔撮影画像情報４０３とに対し、６ｆｐｓをベースとしたデコードを行う。画像取得・デコード部１１０は、デコード済みの顔撮影画像情報４０３は毎回（６ｆｐｓ相当）、デコード済みのエリア撮影画像情報３０３は３回に１回（すなわち、２ｆｐｓ相当）、統合表示アプリ部１２０にデコードしたエリア撮影画像情報３０３（エリア撮影画像３０１とエリア撮影時刻３０２）と顔撮影画像情報４０３（顔撮影画像４０１と顔撮影時刻４０２）とを出力する。

＜Ｓ１２１：ライブ画像表示処理＞
統合表示アプリ部１２０は、画像取得・デコード部１１０から入力したエリア撮影画像３０１と顔撮影画像４０１とをライブ画像として表示装置１７０に表示する。また、統合表示アプリ部１２０は、置き去り・持ち去り人物特定システム８００のユーザにより指定された時刻（過去の時刻）からの過去のライブ画像として、エリア撮影画像３０１と顔撮影画像４０１とを表示装置１７０に表示するとしてもよい。

図５は、実施の形態１に係る置き去り・持ち去り人物特定装置１００の表示方法の一例を示す図である。図５に示すように、表示装置１７０には、エリア撮影ライブ画像１５４と顔撮影ライブ画像１５２とが表示される。統合表示アプリ部１２０は、入力したエリア撮影画像３０１をエリア撮影ライブ画像１５４として表示装置１７０に表示する。また、統合表示アプリ部１２０は、入力した顔撮影画像４０１を顔撮影ライブ画像１５２として表示装置１７０に表示する。このとき統合表示アプリ部１２０は、入力したエリア撮影時刻３０２と顔撮影時刻４０２とを画像と併せて表示装置１７０に表示してもよい。統合表示アプリ部１２０は、現在時刻とエリア撮影時刻３０２と顔撮影時刻４０２とを処理装置１６０により同期させて表示装置１７０表示する。あるいは、統合表示アプリ部１２０は、ユーザにより指定された過去の時刻のエリア撮影画像３０１と顔撮影画像４０１とを表示装置１７０に表示する場合にも、表示する時刻とエリア撮影時刻３０２と顔撮影時刻４０２とを処理装置１６０により同期させて表示する。物体検知結果リスト１５３の詳細な説明は、後述する。

＜Ｓ１２２：画像情報出力・記憶処理＞
図４に戻り説明を続ける。統合表示アプリ部１２０は、表示装置１７０にエリア撮影ライブ画像１５４と顔撮影ライブ画像１５２とを表示する（Ｓ１２１）とともに、エリア撮影画像情報３０３（エリア撮影画像３０１とエリア撮影時刻３０２）を物体検知部１３０に出力する。また、統合表示アプリ部１２０は、顔撮影画像情報４０３（顔撮影画像４０１と顔撮影時刻４０２）を記憶装置１５０に記憶する。記憶装置１５０には、記憶装置１５０に記憶する顔撮影画像情報４０３の時間の範囲（記録可能時間）が予め設定されている。したがって、統合表示アプリ部１２０は、新たに顔撮影画像情報４０３を記憶装置１５０に記憶する度に、最も古い時刻の顔撮影画像情報４０３を記憶装置１５０から削除する。この記録可能時間は、置き去り・持ち去り人物特定システム８００で予め設定された時間であり、例えば、ディレイタイム１５１と同一の時間でもよい。あるいは、ディレイタイム１５１以上の時間を設定してもよい。

＜Ｓ１３１〜Ｓ１３４：物体検知処理＞
物体検知部１３０は、統合表示アプリ部１２０からエリア撮影画像情報３０３（エリア撮影画像３０１とエリア撮影時刻３０２）を入力して（Ｓ１３１）、物体検知処理（Ｓ１３２）を行う。

物体検知部１３０は、処理装置１６０により物体２０の置き去り・持ち去り（物体の出現、物体の消失、あるいは物体の状態の変化を含む）を検知した場合には、検知に用いた（検知の根拠となった）エリア撮影画像３０１に、物体２０の置き去り・持ち去りを検知した位置を示すマークを処理装置１６０により付加する。例えば、ＡＴＭエリア３０に忘れ物をした人物がいて、その忘れ物を物体検知部１３０が物体２０の置き去りとして検知したとする。この場合、物体検知部１３０は、処理装置１６０により、エリア撮影画像３０１上で、その忘れ物を囲むための枠（マークの一例）の画像をエリア撮影画像３０１に処理装置１６０により付加する。物体検知部１３０は、マークを付加したエリア撮影画像３０１を物体検知画像１３２と特定する。また物体検知部１３０は、物体検知画像１３２が撮影された時刻（すなわち、該当するエリア撮影画像３０１が撮影された時刻（エリア撮影時刻３０２））を物体検知時刻１３３と特定する。

物体検知部１３０は、物体２０の置き去り・持ち去りを検知しない場合は（Ｓ１３３でＮＯ）、Ｓ１３１に戻り処理を続ける。また、物体検知部１３０は、物体２０の置き去り・持ち去りを検知した場合、すなわち、物体検知画像１３２と物体検知時刻１３３とを特定した場合には（Ｓ１３３でＹＥＳ）、Ｓ１３４に処理をすすめる。

物体検知部１３０は、特定した物体検知画像１３２と物体検知時刻１３３とを物体検知結果１３１として統合表示アプリ部１２０に出力する（Ｓ１３４）。

＜Ｓ１２３〜Ｓ１２４：顔検知用画像情報取得処理＞
統合表示アプリ部１２０は、物体検知部１３０より物体検知画像１３２と物体検知時刻１３３とを含む物体検知結果１３１を入力する（Ｓ１２３）。統合表示アプリ部１２０は、入力した物体検知時刻１３３に基づいて、記憶装置１５０に記憶した顔撮影画像情報４０３を取得する。つまり、統合表示アプリ部１２０は、処理装置を用いて、物体検知時刻１３３よりディレイタイム１５１（所定の時間）分過去にさかのぼった時刻から、物体検知時刻１３３までの間に撮影された顔撮影画像情報４０３（顔撮影画像４０１と顔撮影時刻４０２）を記憶装置１５０から抽出する。統合表示アプリ部１２０は、抽出した複数の顔撮影画像情報４０３（顔撮影画像４０１と顔撮影時刻４０２）を顔検知用画像情報１４１として顔検知部１４０に出力する。

＜Ｓ１４２〜Ｓ１４３：基準合致顔画像選択処理（ベストショット顔画像選択処理）＞
顔検知部１４０は、統合表示アプリ部１２０から、物体検知時刻１３３より過去にディレイタイム１５１分だけさかのぼった範囲に撮影された複数の顔撮影画像情報４０３（顔撮影画像４０１と顔撮影時刻４０２）を顔検知用画像情報１４１として入力する。顔検知部１４０は、入力した顔検知用画像情報１４１の中から所定の基準を満たす顔画像を基準合致顔画像１４２として処理装置１６０により選択する。顔検知部１４０は、選択した基準合致顔画像１４２を統合表示アプリ部１２０に出力する。

顔検知部１４０は、例えば、顔の向きや大きさ、明るさ等を総合的に判断して、最も映りのよい顔画像を高速に選択記録する技術である「ベストショット顔画像記録技術」等を用いて、複数の顔撮影画像４０１のなかから、基準合致顔画像１４２（ベストショット顔画像）を選択する。顔検知部１４０は、多くとも所定の数以下の基準合致顔画像１４２を選択する。例えば、置き去り・持ち去り人物特定システム８００として、基準合致顔画像１４２を最大４つ表示すると設定されているとする。顔検知部１４０は、複数の顔撮影画像４０１なかから処理装置１６０によりベストショット顔画像記録技術を用いて、所定に基準を満たし、かつ、最も映りのよい顔画像（最良顔画像）から４番目までに入っている顔撮影画像４０１を選択する。したがって、所定の基準を満たす顔撮影画像が３つしかない場合には、３つの基準合致顔画像１４２を出力する。また、所定の基準を満たす顔撮影画像が４つ以上ある場合には、最良から４番目までの顔撮影画像を選択する。また、所定の基準を満たす顔撮影画像が無かった場合には、例えば、所定の基準から外れてはいるが、その中でも一番所定の基準に近い顔撮影画像を１つ（あるいは数個）選択するとしてもよい。

図６は、実施の形態１に係る放置物Ａ２１の置き去りの物体検知時刻ａ１３３ａと設定したディレイタイム１５１と顔検知処理との関係を模式化した図である。図６において、放置物Ａ２１を検知した場合の顔検知部の処理について説明する。

物体検知部１３０は、エリア撮影画像３０１に放置物Ａ２１を検知すると（Ｓ６０）、そのエリア撮影画像３０１を物体検知画像ａ１３２ａと特定する。そして、その物体検知画像ａ１３２ａにおける放置物Ａ２１の位置を示すための枠２２（マーク）を物体検知画像ａ１３２ａに付与して、物体検知時刻ａ１３３ａとともに統合表示アプリ部１２０に出力する。統合表示アプリ部１２０は、放置物Ａ２１を検知した物体検知時刻ａ１３３ａから過去にディレイタイム１５１（ここでは、２０ｓ（秒）とする）分さかのぼった時刻（抽出開始時刻１３４）から、物体検知時刻ａ１３３ａまでの間に、撮影された顔撮影画像情報４０３（顔撮影画像４０１と顔撮影時刻４０２）を記憶装置１５０から抽出する。

顔撮影画像４０３が６ｆｐｓで撮影されている場合には、ディレイタイム１５１が２０秒であるので１２０個の画像を抽出することになる。統合表示アプリ部１２０は、抽出した１２０個の顔撮影画像情報４０３（顔撮影画像４０１と顔撮影時刻４０２）を顔検知用画像情報１４１として顔検知部１４０に出力する。顔検知部１４０は、統合表示アプリ部１２０から顔検知用画像情報１４１（１２０個の顔撮影画像情報４０３（顔撮影画像４０１と顔撮影時刻４０２））を入力して、入力した顔撮影画像４０１の中から所定の基準に合致する顔撮影画像４０１を選択する。つまり、顔検知部１４０は、顔検知用画像情報１４１に含まれる１２０個の顔撮影画像４０１に対して「ベストショット顔画像記録技術」等を用いて画像解析を行い、顔の向きや大きさ、明るさ等を考慮して映りの良さの順序づけを行う。そして、顔検知部１４０は、予め設定されている数のベストショット画像を、顔検知用画像情報１４１に含まれる１２０個の顔撮影画像４０１の中から選択する。ここでは、予め設定されている数は、４個であるが、ベストショット画像（すなわち、基準合致顔画像）として基準合致顔画像１４２ａと基準合致顔画像１４２ｂとの２枚が選択されている。これは、上述したように所定の基準に満たないものは、選択しないと設定されているためである。顔検知部１４０は、１２０個の顔撮影画像の中から選択した基準合致顔画像１４２ａ，１４２ｂを、当該基準合致顔画像１４２ａ，１４２ｂが撮影された時刻とともに統合表示アプリ部１２０に出力する。

＜Ｓ１２５〜Ｓ１２６：画像情報記憶・表示処理＞
図４に戻り説明を続ける。統合表示アプリ部１２０は、顔検知部１４０から顔検知部１４０により選択された基準合致顔画像１４２ａ，１４２ｂとを入力する。統合表示アプリ部１２０は、Ｓ１３２において特定した物体検知時刻１５６と物体検知画像１５７と、入力した基準合致顔画像１４２（１４２ａ，１４２ｂ）とを対応付けて、物体検知結果情報１５８として記憶装置１５０に記憶する。ここで、統合表示アプリ部１２０は統合記憶部の一例である。

統合表示アプリ部１２０は、記憶装置１５０に記憶されている物体検知結果情報１５８（物体検知時刻１３３と物体検知画像１３２と基準合致顔画像１４２（１４２ａ，１４２ｂ）を表示装置１７０に表示する。

次に、図５を用いて、置き去り・持ち去り人物特定システム８００の表示方法の一例について説明する。図５に示すように、置き去り・持ち去り人物特定装置１００の表示装置１７０では、物体検知結果情報１５８（１５８ａ，１５８ｂ，１５８ｃ）は、物体検知結果リスト１５３として、最大３つまで表示できるように設定されている。物体検知結果情報１５８（１５８ａ，１５８ｂ１５８ｃ）は、表示画面の上から下へと時間が進むように表示される。これは、逆でも構わないし、表示画面の横方向に時間が進むように設定されていても構わない。

上述したように、表示装置１７０の表示画面上部には、エリア撮影ライブ画像１５４と顔撮影ライブ画像１５２とが表示される。例えば、エリア撮影ライブ画像１５４と顔撮影ライブ画像１５２との画像の一部に、それぞれの画像が撮影された時刻を表示してもよい。

図５に示すように、表示装置１７０には、物体検知時刻１３３と物体検知画像１３２と基準合致顔画像１４２（１４２ａ，１４２ｂ）とが対応付けられて物体検知結果情報１５８ａとして表示される。これは、「２００８年９月１２日の１９時４３分５０秒」（物体検知時刻１３３）に放置物Ａ２１が検知され（物体検知画像１３２）、１９時４３分３０秒から１９時４３分５０秒までの間にＡＴＭ４０を利用した人物１０の基準合致顔画像１４２ａ，１４２ｂが表示されていることを意味している。このとき、物体検知画像１３２と基準合致顔画像１４２ａ，１４２ｂとはサムネイル形式で表示されている。表示装置１７０では、スライドスイッチ１５５により画面をスライドして過去の物体検知結果情報１５８から最新の物体検知結果情報１５８までのすべての物体検知結果情報１５８を閲覧できるようになっている。

実施の形態１に係る置き去り・持ち去り人物特定システム８００によれば、ＡＴＭエリア３０のようなエリアを撮影するエリア撮影カメラ３００と、エリアに出現する人物１０の顔を撮影する顔撮影カメラ４００とを備えているので、２台のカメラをそれぞれの用途にあった適切な画角で設置することにより、飛躍的に検知精度を向上することができる。

また、実施の形態１に係る置き去り・持ち去り人物特定システム８００によれば、物体検知時刻１３３と物体検知画像１３２と基準合致顔画像１４２とを対応付けて記憶装置１５０に記憶するので、エリアにおける落とし物、忘れ物、紛失物、設置物の破壊、侵入、居すわり、いたずら等の出来事を自動的に検出するとともに、その時刻付近にＡＴＭ４０を利用していた人物を特定することができる精度の顔画像を検出することができるので、顧客サービスや安全管理を向上させることができる。

また、実施の形態１に係る置き去り・持ち去り人物特定システム８００によれば、物体検知時刻１３３と物体検知画像１３２と基準合致顔画像１４２とを対応付けて表示装置１７０にサムネイル形式で表示するので、システム管理者等は表示装置により迅速に判断することができる。

実施の形態２．
本実施の形態では、実施の形態１において取得した基準合致顔画像１４２に対して、基準合致顔画像１４２の人物１０の情報を対応させて、顔画像データベース１９０を作成する置き去り・持ち去り人物特定システム８００について説明する。

図７は、実施の形態２に係る置き去り・持ち去り人物特定システム８００のシステム構成図である。図７は、実施の形態１で説明した図１の置き去り・持ち去り人物特定システム８００のシステム構成に加えて、人物情報データベース６００を備えている。ここでは、図１で説明したものと同一の構成については同一の符号を付し、その説明を省略する。人物情報データベース６００は、情報記憶部の一例である。また、ＡＴＭ４０は、情報取得部の一例である。

通常、ＡＴＭ４０（情報取得部の一例）では、人物１０はキャッシュカード等をＡＴＭ４０に投入して現金の出し入れや預金の確認等を行う。この際、ＡＴＭ４０では、人物１０の情報として、例えば、カード情報やカード情報に紐付けられたその他の個人情報を取得することができる。以下、これらの情報を人物情報６０２と呼ぶ。

ここで、情報取得部は、ＡＴＭ４０に限られない。例えば、情報取得部は、ＲＦＩＤ（ＲａｄｉｏＦｒｅｑｕｅｎｃｙＩｄｅｎｔｉｆｉｃａｔｉｏｎ）受信装置等から構成される入退出装置などでもよい。情報取得部が建物の入退出装置である場合は、建物の入退出ゲートには、入退出ゲートのエリアを撮影するように配置されたエリア撮影カメラ３００と、入退出する人物の顔部分を撮影するように配置された顔撮影カメラ４００とが設置される。また、予め登録された社員証や会員カードのようなＩＤを発信するＲＦＩＤ等を所持した人物が入退出すると、ゲートに設置されたＲＦＩＤ受信装置が情報取得部として、社員ＩＤや会員ＩＤ等を受信して人物情報を取得することができる。あるいは携帯電話等からＩＤを取得するものとしてもよい。このように、エリアや情報取得部は、ＡＴＭエリア３０やＡＴＭ４０に限られないが、実施の形態２では説明の便利のため、ＡＴＭエリア３０のＡＴＭ４０を利用する人物１０の人物情報を取得する場合について説明する。

ＡＴＭ４０で取得した人物情報６０２は、例えばネットワーク５００を介して人物情報データベース６００に蓄積される。人物情報データベース６００は、例えば、銀行や金融機関の顧客管理ＤＢ等であってもよい。人物情報データベース６００には、人物情報６０２を取得した人物情報取得時刻６０１と人物情報６０２とが対応付けられて蓄積される。

図８は、実施の形態２に係る置き去り・持ち去り人物特定装置１００の機能ブロック図である。図８は、実施の形態１で説明した図３の置き去り・持ち去り人物特定装置１００の機能ブロックに加えて、顔画像データベース作成部１８０と顔画像データベース１９０とを備えている。ここでは、図３で説明した機能ブロックと同一の機能ブロックについては同一の符号を付し、その説明を省略する。

統合表示アプリ部１２０（統合記憶部）は、物体検知結果情報１５８として、物体検知時刻１３３と物体検知画像１３２と基準合致顔画像１４２とを対応付けて物体検知結果情報１５８として記憶装置１５０に記憶する。このとき、それぞれの基準合致顔画像１４２（すなわち、基準合致顔画像１４２ａ，基準合致顔画像１４２ｂ）の撮影された時刻（以下、基準合致顔画像撮影時刻１４３と呼ぶ）も記憶するものとする。

顔画像データベース作成部１８０は、記憶装置１５０に統合表示アプリ部１２０（統合記憶部）により記憶された基準合致顔画像１４２と当該基準合致顔画像１４２が撮影された時刻である基準合致顔画像撮影時刻１４３とを入力する。顔画像データベース作成部１８０は、入力した基準合致顔画像撮影時刻１４３から過去の所定の範囲に取得された人物情報６０２を人物情報データベース６００（情報記憶部）に記憶された人物情報６０２の中から抽出する。顔画像データベース作成部１８０は、抽出した人物情報６０２と基準合致顔画像１４２と基準合致顔画像撮影時刻１４３とを対応付けて顔画像データベース１９０に記憶する。

顔画像データベース作成部１８０は、基準合致顔画像１４２が複数ある場合（例えば、基準合致顔画像１４２として基準合致顔画像１４２ａと基準合致顔画像１４２ｂとが記憶されている場合）は、その中で最良の画像を選択して顔画像データベース１９０に記憶する。顔画像データベース１９０は、記憶装置１５０に顔画像データベース１９０として記憶されてもよいし、置き去り・持ち去り人物特定装置１００の備える別の記憶機器に記憶されても構わない。

実施の形態２に係る置き去り・持ち去り人物特定システム８００によれば、エリアを利用した人物の最良の顔撮影画像とその人物の人物情報とを、顔画像データベースとして蓄積することができるので、顧客サービスを向上させることができる。

上述した実施の形態１〜２の説明において、置き去り・持ち去り人物特定装置１００における画像取得・デコード部１１０、統合表示アプリ部１２０、物体検知部１３０、顔検知部１４０、顔画像データベース部１８０は、それぞれ独立した機能ブロックとして構成されているが、ひとつの機能ブロックとしてもよい。あるいは、画像取得・デコード部１１０と統合表示アプリ部１２０と顔画像データベース作成部１８０とをまとめてひとつの機能ブロックとし、物体検知部１３０と顔検知部１４０とをまとめてひとつの機能ブロックとしてもよい。あるいは、これらの機能ブロックを、他のどのような組み合わせで構成しても構わない。

図９は、置き去り・持ち去り人物特定装置１００の外観の一例を示す図である。
図９において、置き去り・持ち去り人物特定装置１００は、システムユニット９１０、ＣＲＴ（Ｃａｔｈｏｄｅ・Ｒａｙ・Ｔｕｂｅ）やＬＣＤ（液晶）の表示画面を有する表示装置９０１、キーボード９０２（Ｋｅｙ・Ｂｏａｒｄ：Ｋ／Ｂ）、マウス９０３、ＦＤＤ９０４（Ｆｌｅｘｉｂｌｅ・Ｄｉｓｋ・Ｄｒｉｖｅ）、コンパクトディスク装置９０５（ＣＤＤ）、プリンタ装置９０６、スキャナ装置９０７などのハードウェア資源を備え、これらはケーブルや信号線で接続されている。

システムユニット９１０は、コンピュータであり、ファクシミリ機９３２、電話器９３１とケーブルで接続され、また、ローカルエリアネットワーク９４２（ＬＡＮ）、ゲートウェイ９４１を介してインターネット９４０に接続されている。

図１０は、置き去り・持ち去り人物特定装置１００のハードウェア資源の一例を示す図である。
図１０において、置き去り・持ち去り人物特定装置１００は、プログラムを実行するＣＰＵ９１１（Ｃｅｎｔｒａｌ・Ｐｒｏｃｅｓｓｉｎｇ・Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサともいう）を備えている。ＣＰＵ９１１は、バス９１２を介してＲＯＭ９１３、ＲＡＭ９１４、通信ボード９１５、表示装置９０１、キーボード９０２、マウス９０３、ＦＤＤ９０４、ＣＤＤ９０５、プリンタ装置９０６、スキャナ装置９０７、磁気ディスク装置９２０と接続され、これらのハードウェアデバイスを制御する。磁気ディスク装置９２０の代わりに、光ディスク装置、メモリカード読み書き装置などの記憶装置でもよい。
ＲＡＭ９１４は、揮発性メモリの一例である。ＲＯＭ９１３、ＦＤＤ９０４、ＣＤＤ９０５、磁気ディスク装置９２０の記憶媒体は、不揮発性メモリの一例である。これらは、記憶装置あるいは記憶部の一例である。

通信ボード９１５、キーボード９０２、スキャナ装置９０７、ＦＤＤ９０４などは、入力部、入力装置の一例である。
また、通信ボード９１５、表示装置９０１、プリンタ装置９０６などは、出力部、出力装置の一例である。

通信ボード９１５は、ファクシミリ機９３２、電話器９３１、ＬＡＮ９４２等に接続されている。通信ボード９１５は、ＬＡＮ９４２に限らず、インターネット９４０、ＩＳＤＮ等のＷＡＮ（ワイドエリアネットワーク）などに接続されていても構わない。インターネット９４０或いはＩＳＤＮ等のＷＡＮに接続されている場合、ゲートウェイ９４１は不用となる。
磁気ディスク装置９２０には、オペレーティングシステム９２１（ＯＳ）、ウィンドウシステム９２２、プログラム群９２３、ファイル群９２４が記憶されている。プログラム群９２３のプログラムは、ＣＰＵ９１１、オペレーティングシステム９２１、ウィンドウシステム９２２により実行される。

上記プログラム群９２３には、以下に述べる実施の形態の説明において「〜部」、「〜手段」として説明する機能を実行するプログラムが記憶されている。プログラムは、ＣＰＵ９１１により読み出され実行される。
ファイル群９２４には、以下に述べる実施の形態の説明において、「〜の判定結果」、「〜の計算結果」、「〜の処理結果」として説明する情報やデータや信号値や変数値やパラメータが、「〜ファイル」、「〜データベース」、「〜データ」の各項目として記憶されている。「〜ファイル」、「〜データベース」、「〜データ」は、ディスクやメモリなどの記録媒体に記憶される。ディスクやメモリになどの記憶媒体に記憶された情報やデータや信号値や変数値やパラメータは、読み書き回路を介してＣＰＵ９１１によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示などのＣＰＵの動作に用いられる。抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示のＣＰＵの動作の間、情報やデータや信号値や変数値やパラメータは、メインメモリやキャッシュメモリやバッファメモリに一時的に記憶される。
また、以下に述べる実施の形態の説明において説明するフローチャートの矢印の部分は主としてデータや信号の入出力を示し、データや信号値は、ＲＡＭ９１４のメモリ、ＦＤＤ９０４のフレキシブルディスク、ＣＤＤ９０５のコンパクトディスク、磁気ディスク装置９２０の磁気ディスク、その他光ディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ・Ｖｅｒｓａｔｉｌｅ・Ｄｉｓｋ）等の記録媒体に記録される。また、データや信号は、バス９１２や信号線やケーブルその他の伝送媒体によりオンライン伝送される。

また、以下に述べる実施の形態の説明において「〜部」として説明するものは、「〜回路」、「〜装置」、「〜機器」、「手段」であってもよく、また、「〜ステップ」、「〜手順」、「〜処理」であってもよい。すなわち、「〜部」として説明するものは、ＲＯＭ９１３に記憶されたファームウェアで実現されていても構わない。或いは、ソフトウェアのみ、或いは、素子・デバイス・基板・配線などのハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせ、さらには、ファームウェアとの組み合わせで実施されても構わない。ファームウェアとソフトウェアは、プログラムとして、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等の記録媒体に記憶される。プログラムはＣＰＵ９１１により読み出され、ＣＰＵ９１１により実行される。すなわち、プログラムは、以下に述べる「〜部」としてコンピュータを機能させるものである。あるいは、以下に述べる「〜部」の手順や方法をコンピュータに実行させるものである。

本実施の形態に係る置き去り・持ち去り人物特定システム８００（画面表示システムの一例）のシステム構成図である。実施の形態１に係るネットワークカメラ用録画・配信サーバ２００の機能ブロック構成図である。実施の形態１に係る置き去り・持ち去り人物特定装置１００の機能ブロック構成図である。実施の形態１に係る置き去り・持ち去り人物特定装置１００の主な処理を示すフロー図である。実施の形態１に係る置き去り・持ち去り人物特定装置１００の表示方法の一例を示す図である。実施の形態１に係る放置物Ａ２１の置き去りの検知時刻１３３ａと設定したディレイタイム１５１と顔検知処理との関係を模式化した図である。実施の形態２に係る置き去り・持ち去り人物特定システム８００のシステム構成図である。実施の形態２に係る置き去り・持ち去り人物特定装置１００の機能ブロック図である。置き去り・持ち去り人物特定装置１００の外観の一例を示す図である。置き去り・持ち去り人物特定装置１００のハードウェア資源の一例を示す図である。

符号の説明

１０人物、２０物体、２１放置物Ａ、２２枠、３０ＡＴＭエリア、４０ＡＴＭ、１００置き去り・持ち去り人物特定装置、１１０画像取得・デコード部、１２０統合表示アプリ部、１３０物体検知部、１３１物体検知結果、１３２物体検知画像、１３２ａ物体検知画像ａ、１３３物体検知時刻、１３３ａ物体検知時刻ａ、１３４抽出開始時刻、１４０顔検知部、１４１顔検知用画像情報、１４２，１４２ａ，１４２ｂ基準合致顔画像、１４３基準合致顔画像撮影時刻、１５０記憶装置、１５１ディレイタイム、１５２顔撮影ライブ画像、１５３物体検知結果リスト、１５４エリア撮影ライブ画像、１５５スライドスイッチ、１５８，１５８ａ，１５８ｂ，１５８ｃ物体検知結果情報、１６０処理装置、１７０表示装置、１８０顔画像データベース作成部、１９０顔画像データベース、２００ネットワークカメラ用録画・配信サーバ、２０１エリア撮影画像記憶部、２０２顔撮影画像記憶部、２０３制御部、２０４処理装置、２０５記憶装置、３００エリア撮影カメラ、３０１エリア撮影画像、３０２エリア撮影時刻、３０３エリア撮影画像情報、４００顔撮影カメラ、４０１顔撮影画像、４０２顔撮影時刻、４０３顔撮影画像情報、５００ネットワーク、６００人物情報データベース、６０１人物情報取得時刻、６０２人物情報、８００置き去り・持ち去り人物特定システム、９０１表示装置、９０２キーボード、９０３マウス、９０４ＦＤＤ、９０５ＣＤＤ、９０６プリンタ装置、９０７スキャナ装置、９１０システムユニット、９１１ＣＰＵ、９１２バス、９１３ＲＯＭ、９１４ＲＡＭ、９１５通信ボード、９２０磁気ディスク装置、９２１ＯＳ、９２２ウィンドウシステム、９２３プログラム群、９２４ファイル群、９３１電話器、９３２ファクシミリ機、９４０インターネット、９４１ゲートウェイ、９４２ＬＡＮ。

Claims

所定のエリアを撮影するエリア撮影カメラと前記所定のエリアに出現する人物の顔を撮影する顔撮影カメラとを備えた監視画像記憶システムであって、
前記エリア撮影カメラが撮影したエリア撮影画像を前記エリア撮影画像が撮影された時刻とともに記憶装置に記憶するエリア撮影画像記憶部と、
前記顔撮影カメラが撮影した顔撮影画像を前記顔撮影画像が撮影された時刻とともに記憶装置に記憶する顔撮影画像記憶部と、
処理装置を用いることにより、前記エリア撮影画像記憶部により記憶されたエリア撮影画像に基づいて前記所定のエリアにおける物体の出現、物体の消失、あるいは物体の状態の変化を検知するとともに、物体の出現、物体の消失、あるいは物体の状態の変化を検知した場合に検知の根拠としたエリア撮影画像を物体検知画像として特定し、かつ、前記物体検知画像が撮影された時刻を物体検知時刻として特定する物体検知部と、
処理装置を用いることにより、前記物体検知部が特定した前記物体検知時刻より所定の時間さかのぼった時刻から前記物体検知時刻までに撮影された顔撮影画像を前記顔撮影画像記憶部により記憶された顔撮影画像の中から抽出するとともに、抽出した顔撮影画像の中から所定の基準を満たす顔撮影画像を基準合致顔画像として選択する顔検知部と、
前記物体検知部により特定された前記物体検知画像と前記物体検知時刻とを入力するとともに、前記顔検知部により選択された前記基準合致顔画像を入力して、前記物体検知時刻と前記物体検知画像と前記基準合致顔画像とを対応付けて記憶装置に記憶する統合記憶部と
を備え、
前記統合記憶部は、
前記基準合致顔画像とともに前記基準合致顔画像が撮影された時刻を記憶し、
前記監視画像記憶システムは、さらに、
前記所定のエリアに出現した人物から所定の情報を取得する情報取得部と、
前記情報取得部が取得した情報を、前記情報が取得された時刻とともに記憶装置に記憶する情報記憶部と、
前記統合記憶部により記憶された前記基準合致顔画像と前記基準合致顔画像が撮影された時刻とを入力して、入力した前記基準合致顔画像が撮影された時刻から過去の所定の範囲に取得された情報を前記情報記憶部により記憶された情報の中から抽出し、抽出した情報と前記基準合致顔画像と前記基準合致顔画像が撮影された時刻とを対応付けて記憶装置に記憶する顔画像データベース作成部と
を備えたことを特徴とする監視画像記憶システム。
前記物体検知部は、物体の出現あるいは物体の消失の検知結果に応じて前記所定のエリアおける物体の置き去りあるいは物体の持ち去りを判定することを特徴とする請求項１に記載の監視画像記憶システム。
前記物体検知部は、前記所定のエリアにおける物体の出現、物体の消失、あるいは物体の状態の変化を検知した位置を示すマークを前記物体検知画像に付加することを特徴とする請求項１に記載の監視画像記憶システム。
前記監視画像記憶システムは、さらに、
前記統合記憶部により記憶された前記物体検知時刻と前記物体検知画像と前記基準合致顔画像とを対応付けて表示装置に表示する統合表示部を備えることを特徴とする請求項１〜３のいずれかに記載の監視画像記憶システム。
前記統合表示部は、
前記物体検知画像と前記基準合致顔画像とをサムネイル形式で表示することを特徴とする請求項４に記載の監視画像記憶システム。
所定のエリアを撮影するエリア撮影カメラと、前記所定のエリアに出現する人物の顔を撮影する顔撮影カメラと、前記エリア撮影カメラが撮影したエリア撮影画像を前記エリア撮影画像が撮影された時刻とともに記憶装置に記憶するエリア撮影画像記憶部と、前記顔撮影カメラが撮影した顔撮影画像を前記顔撮影画像が撮影された時刻とともに記憶装置に記憶する顔撮影画像記憶部とを備えた監視画像記憶システムの監視画像記憶方法であって、
物体検知部が、処理装置を用いることにより、前記エリア撮影画像記憶部により記憶されたエリア撮影画像に基づいて前記所定のエリアにおける物体の出現、物体の消失、あるいは物体の状態の変化を検知するとともに、物体の出現、物体の消失、あるいは物体の状態の変化を検知した場合に検知の根拠としたエリア撮影画像を物体検知画像として特定し、かつ、前記物体検知画像が撮影された時刻を物体検知時刻として特定する物体検知ステップと、
顔検知部が、処理装置を用いることにより、前記物体検知ステップにより特定された前記物体検知時刻より所定の時間さかのぼった時刻から前記物体検知時刻までに撮影された顔撮影画像を前記顔撮影画像記憶部により記憶された顔撮影画像の中から抽出するとともに、抽出した顔撮影画像の中から所定の基準を満たす顔撮影画像を基準合致顔画像として選択する顔検知ステップと、
統合記憶部が、前記物体検知ステップにより特定された前記物体検知画像と前記物体検知時刻とを入力するとともに、前記顔検知ステップにより選択された前記基準合致顔画像を入力して、前記物体検知時刻と前記物体検知画像と前記基準合致顔画像とを対応付けて記憶装置に記憶する統合記憶ステップと
を備え、
前記統合記憶ステップは、
前記統合記憶部が、前記基準合致顔画像とともに前記基準合致顔画像が撮影された時刻を記憶し、
前記監視画像記憶システムの監視画像記憶方法は、さらに、
情報取得部が、前記所定のエリアに出現した人物から所定の情報を取得する情報取得ステップと、
情報記憶部が、前記情報取得ステップにより取得した情報を、前記情報が取得された時刻とともに記憶装置に記憶する情報記憶ステップと、
顔画像データベース作成部が、前記統合記憶ステップにより記憶された前記基準合致顔画像と前記基準合致顔画像が撮影された時刻とを入力して、入力した前記基準合致顔画像が撮影された時刻から過去の所定の範囲に取得された情報を前記情報記憶ステップにより記憶された情報の中から抽出し、抽出した情報と前記基準合致顔画像と前記基準合致顔画像が撮影された時刻とを対応付けて記憶装置に記憶する顔画像データベース作成ステップと
を備えたことを特徴とする監視画像記憶システムの監視画像記憶方法。