JP6688975B2 - 監視装置及び監視システム - Google Patents

Description

本開示は、カメラに映っている人物を識別して、識別した人物を追跡するための監視装置及び監視システムに関する。

特許文献１は、複数の監視カメラを備えた監視システムを開示する。この監視システムにおいて、監視カメラは映像に映った対象物の特徴情報を抽出して、その特徴情報を他の監視カメラに伝送する。これにより、複数の監視カメラが連携して、同一の特徴情報を持つ対象物を追跡して監視することを可能にしている。

特開２００３−３２４７２０号公報

本開示は、精度良く対象物を追跡するのに有効な監視装置及び監視システムを提供する。

本開示にかかる監視装置は、第一及び第二のカメラを含み所定の位置関係を有する複数のカメラによって撮影された映像から対象物を識別する監視装置であって、複数のカメラから映像を受信する受信部と、対象物の特徴を表す特徴情報と、カメラの配置位置を表すカメラ配置情報とを格納する記憶部と、特徴情報に基づいて映像から対象物を識別する制御部と、を備え、制御部は、第一のカメラで撮影された映像から識別できたが、第二のカメラで撮影された映像から識別できなかった対象物を、カメラ配置情報に基づいて、第二のカメラで撮影された映像において特定する。

本開示における監視装置及び監視システムは、精度良く対象物を追跡するのに有効である。

実施形態１の監視システムの構成を示すブロック図 実施形態１における複数の監視カメラの配置例を示す図 実施形態１における人物の識別と監視カメラ間の移動時間の算出の動作を説明するためのフローチャート （ａ）は人物の特徴抽出を説明するための図、（ｂ）は実施形態１における特徴情報テーブルの一例を示す図 実施形態１における撮影時刻情報テーブルの一例を示す図 実施形態１におけるカメラ配置情報テーブルの一例を示す図 実施形態１における撮影時刻情報テーブルの修正の動作を説明するためのフローチャート 実施形態１における撮影時刻情報の修正を説明するための図 他の実施形態における複数の監視カメラ間を移動する人数の分布のスコア化を説明するための図 他の実施形態における人物の類似度に基づく候補者選択を説明するための図

以下、適宜図面を参照しながら、実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施形態１）
実施形態１について、図面を用いて説明する。本実施形態において、複数の監視カメラのうちの一部において対象物の特徴を抽出できない状況が生じても、その対象物を追跡するのに有効な監視システムを提供する。

［１．構成］
図１は、実施形態１の監視システムの構成を示している。本実施形態の監視システム１００は、複数の監視カメラ１（監視カメラａ，ｂ，ｃ，ｄ）と、複数の監視カメラ１で撮影された映像を使用して、その映像に映っている人物を識別して追跡する監視装置２とを含む。

各監視カメラ１は、それぞれ、映像を撮影する撮影部１１と、撮影部１１が撮影した映像を監視装置２に送信する送信部１２とを有する。撮影部１１は、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ、又はＮＭＯＳイメージセンサなどで実現できる。送信部１２は、所定の通信規格（例えばＬＡＮ、ＷｉＦｉ）に準拠して外部機器との通信を行うためのインタフェース回路を備える。

監視装置２は、各監視カメラ１からの映像を受信する受信部２１と、受信した映像を格納する映像蓄積部２２ａと、映像蓄積部２２ａに蓄積された映像に映っている対象物（本実施形態において、人物）を識別して、識別した対象物を追跡する制御部２３と、を有する。受信部２１は、所定の通信規格（例えばＬＡＮ、ＷｉＦｉ）に準拠して外部機器との通信を行うためのインタフェース回路を備える。

制御部２３は、半導体素子などで実現可能である。制御部２３の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。制御部２３は、例えば、マイコン、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣで構成することができる。

制御部２３は、映像蓄積部２２ａに蓄積された映像に映っている対象物を識別する認識部２３ａを含む。認識部２３ａは、映像蓄積部２２ａに蓄積された映像に映っている対象物の特徴を抽出して、その特徴を表す特徴情報を生成すると共に、抽出した特徴を持つ対象物が監視カメラ１に映っている時間帯を表す撮影時刻情報を生成する。特徴情報と撮影時刻情報は、対象物を認識することによって得られる認識情報である。

監視装置２は、さらに、特徴情報テーブルＴ１と撮影時刻情報テーブルＴ２を格納する認識情報蓄積部２２ｂと、カメラ配置情報テーブルＴ３を格納するカメラ配置情報蓄積部２２ｃと、を有する。特徴情報テーブルＴ１は、認識部２３ａによって生成された対象物の特徴情報を含む。撮影時刻情報テーブルＴ２は、認識部２３ａによって生成された撮影時刻情報を含む。カメラ配置情報テーブルＴ３は、監視カメラ１の配置位置と、対象物が監視カメラ間の移動にかかる時間とを表す情報を含む。

制御部２３は、さらに、撮影時刻情報テーブルＴ２に基づいて、監視カメラ間の移動にかかる時間を算出して、カメラ配置情報テーブルＴ３を更新する移動時間情報更新部２３ｂと、特徴情報テーブルＴ１とカメラ配置情報テーブルＴ３とに基づいて撮影時刻情報テーブルＴ２を修正する認識情報修正部２３ｃとを有する。認識情報修正部２３ｃは、カメラ配置情報テーブルＴ３に基づいて、対象物が映るはずの監視カメラ１を特定し、特定した監視カメラ１に対象物が映っているか否かを判断し、特定した映るはずの監視カメラ１に対象物が映っていないと判断した場合に、監視カメラ間の移動にかかる時間に基づいて、映っていない対象物が監視カメラ１に映るはずの時間帯を算出（推定）し、算出（推定）した時間帯に監視カメラ１に映っている対象物候補の中から一つを、映っていないと判断した対象物として特定して、撮影時刻情報テーブルＴ２を修正する。

映像蓄積部２２ａ、認識情報蓄積部２２ｂ、及びカメラ配置情報蓄積部２２ｃは、例えば、ＤＲＡＭ、強誘電体メモリ、フラッシュメモリ、又は磁気ディスクなどで実現できる、同一の又は別個の記憶部である。

監視装置２は、さらに表示部２４を有する。表示部２４は、映像蓄積部２２ａに蓄積された映像と、特徴情報テーブルＴ１及び撮影時刻情報テーブルＴ２とを表示可能である。表示部２３は、液晶ディスプレイなどで実現できる。

［２．対象物の識別（撮影時刻情報の生成）］
図２に、監視カメラ１の配置例を示す。監視カメラ１は、例えば、店舗に設けられる。４台の監視カメラ１（監視カメラａ，ｂ，ｃ，ｄ）は、それぞれ異なる場所に配置される。図２においては、監視カメラａ，ｂ，ｃが進行方向（図２の左側から右側の方向）の順に配置されている。なお、監視カメラ１の数とその配置箇所は単なる例であって、任意に変更可能である。監視カメラ１はそれぞれ、撮影部１１が撮影した映像を、送信部１２から監視装置２に送信する。送信された映像は、監視装置２の映像蓄積部２２ａに格納される。

図３は、制御部２３による人物の識別と監視カメラ間の移動距離の算出の処理を示している。制御部２３は、図３に示す人物の識別の処理を所定のタイミングで行う。例えば、所定のタイミングは、ユーザが監視装置２に指示したときであっても良いし、所定時間（例えば、２４時間）毎であっても良い。以下、監視カメラ１が、図２の矢印で示す進行方向に移動した人物を撮影した場合を例にして説明する。

認識部２３ａは、映像蓄積部２２ａに蓄積されている映像を読み出して、映像に映っている人物の特徴を抽出する（Ｓ３０１）。認識部２３ａは、例えば、監視カメラａの映像から順に映像を解析する。認識部２３ａは、人物の特徴として、例えば、顔の一部の、形状、色、大きさ、又は位置を抽出する。図４（ａ）に人物の特徴抽出の例を示し、図４（ｂ）に特徴情報テーブルＴ１の一例を示す。認識部２３ａは、人物の特徴として、例えば、図４（ａ）に示すような両目の間の距離（「Ｉ−ＩＩ」間の距離）と一方の目と鼻との距離（「ＩＩ−ＩＩＩ」間の距離）を抽出し、抽出した特徴（距離）を含む特徴情報４１を図４（ｂ）に示すような特徴情報テーブルＴ１に追加する。

このとき、認識部２３ａは、抽出した特徴と一致する特徴を示す特徴情報４１が既に特徴情報テーブルＴ１にあるか否かを判断し（Ｓ３０２）、一致する特徴情報４１がなければ、映像から新たに人物を抽出したと判断して、その人物を識別するための識別情報（ＩＤ）を生成し、生成した識別情報とその人物の特徴（「Ｉ−ＩＩ」間の距離と「ＩＩ−ＩＩＩ」間の距離）とを含む特徴情報４１を特徴情報テーブルＴ１に追加する（Ｓ３０３）。

認識部２３ａは、人物がどの監視カメラ１にいつ映っていたかを表す撮影時刻情報を生成して、撮影時刻情報テーブルＴ２に追加する（Ｓ３０４）。図５に、撮影時刻情報テーブルＴ２の一例を示す。撮影時刻情報５１は、人物の識別情報（ＩＤ）と、その人物を撮影した監視カメラ１の識別情報と、監視カメラ１にその人物が映り始めた時刻（ＩＮ時刻）と映り終える時刻（ＯＵＴ時刻）とを含む。

認識部２３ａは、全ての監視カメラ１からの映像の読み出しが完了したか否かを判断し（Ｓ３０５）、完了していなければ、残りの監視カメラ１の映像について、ステップＳ３０１〜Ｓ３０４の処理を繰り返す。

認識部２３ａが全ての監視カメラ１の映像から人物を抽出し終えると、移動時間情報更新部２３ｂは、認識部２３ａが生成した撮影時刻情報テーブルＴ２に基づいて、カメラ配置情報テーブルＴ３を更新する（Ｓ３０６）。図６に、カメラ配置情報テーブルＴ３の一例を示す。カメラ配置情報テーブルＴ３は、監視カメラ１の配置位置を示す配置情報６１と、監視カメラ１間の移動にかかる時間を示す移動時間情報６２とを含む。配置情報６１は、人物が移動経路に沿って（図２の矢印で示す進行方向に向かって）進んだ場合に映る「現在のカメラ（現）」と「次のカメラ（次）」の識別情報を含む。配置情報６１は、予め入力されている。例えば、監視カメラ１が設置されたときに、ユーザによって配置情報６１が入力される。移動時間情報６２は、「現在のカメラ」から「次のカメラ」の移動にかかる最短の時間と最長の時間の情報を含む。移動時間情報更新部２３ｂは、カメラ配置情報テーブルＴ３の最短時間と最長時間を、撮影時刻情報テーブルＴ２のＩＮ時刻とＯＵＴ時刻に基づいて、更新する。なお、移動時間情報更新部２３ｂは、ステップＳ３０６のタイミングに限らず、定期的に、カメラ配置情報テーブルＴ３の移動時間情報６２の更新を行っても良い。

以上のようにして、監視カメラ１によって撮影された映像から人物の特徴を抽出することによってその人物を識別でき、撮影時刻情報テーブルＴ２を参照することによって識別した人物がどの監視カメラ１にいつ映っていたかを認識することができる。よって、複数の監視カメラ１の映像を使用した人物の追跡が可能になる。

［３．対象物の特定（撮影時刻情報の修正）］
撮影したときの角度や照明条件によって同一人物であっても映像への映り方が異なることがある。そのため、複数の監視カメラ１で撮影した映像から抽出される同一人物の特徴が一致しないことがある。たとえば、明るい場所で高い位置に設置された監視カメラ１と、暗い場所で低い位置に設置された監視カメラ１では、撮影される映像が大きく異なるため、両者で撮影される映像から抽出される人物の特徴は異なる場合がある。この場合、同一人物であっても、抽出した特徴が異なるために、他の人物として認識してしまう。そのため、同一人物が複数の監視カメラ１（例えば、監視カメラａ，ｂ，ｃ）の前を順に通った場合であっても、一部の監視カメラ１（例えば、監視カメラｂ）からはその人物の特徴を抽出できず、その人物の追跡が途切れてしまうことがある。

そこで、本実施形態では、複数の監視カメラ１のうちの一部において人物の特徴を抽出できない状況が生じてもその人物を追跡できるように、特徴が一致せずに別人であると判断した人物の中から、カメラ配置情報テーブルＴ３を使用して、同一人物を抽出し、撮影時刻情報テーブルＴ２を修正する。

図７に、認識情報修正部２３ｃによる撮影時刻情報テーブルＴ２の修正の処理を示す。認識情報修正部２３ｃは、撮影時刻情報テーブルＴ２を読み出して、人物のエントリ数が多い順に並べ替える（Ｓ７０１）。図８に、並べ替えた後の撮影時刻情報テーブルＴ２を示す。認識情報修正部２３ｃは、エントリ数が多い順に、人物を一名抽出し（Ｓ７０２）、カメラ配置情報テーブルＴ３を参照して、抽出した人物に関して撮影時刻情報５１の欠落があるか否かを確認する（Ｓ７０３）。撮影時刻情報５１の欠落の有無は、カメラ配置情報テーブルＴ３の配置情報６１を参照して、人物が映るはずの監視カメラ１を特定することによって、確認する。図２のような監視カメラ１の配置例においては、人物が図２の矢印で示す進行方向に進めば、監視カメラａの次は監視カメラｂ又は監視カメラｄに映り、監視カメラｂの次は監視カメラｃに映る。認識情報修正部２３ｃは、カメラ配置情報テーブルＴ３の配置情報６１を参照することによって、監視カメラｃに映る前に必ず監視カメラｂに映るはずであると判断できる。すなわち、監視カメラｃの撮影時刻情報５１がある場合、監視カメラｂを、映るはずの監視カメラ１として特定して、監視カメラｂの撮影時刻情報５１の有無を確認する。このようにして、撮影時刻情報５１の欠落があるか否かを判断する。

欠落がなければ（Ｓ７０４でＮｏ）、撮影時刻情報テーブルＴ２に記録されている人物の全員についての撮影時刻情報５１の欠落の有無の確認が完了したか否かを判断し（Ｓ７０８）、完了していなければ（Ｓ７０８でＮｏ）、ステップＳ７０２に戻り、撮影時刻情報テーブルＴ２から次の人物を新たに抽出して、撮影時刻情報５１の欠落の有無を確認する。

欠落があれば（Ｓ７０４でＹｅｓ）、認識情報修正部２３ｃは、撮影時刻情報テーブルＴ２とカメラ配置情報テーブルＴ３とを参照して、撮影時刻情報５１が欠落している監視カメラ１に映っているはずの時間帯を推定（算出）する（Ｓ７０５）。例えば、図８に示すように、人物Ｂについては、監視カメラｂの撮影時刻情報５１が欠落している。認識情報修正部２３ｃは、撮影時刻情報テーブルＴ２における人物Ｂの監視カメラａのＯＵＴ時刻（１０時１９分）と、カメラ配置情報テーブルＴ３の監視カメラａから監視カメラｂへの移動にかかる最短時間（１０分）と最長時間（１２分）とから、人物Ｂが監視カメラｂに映り始める時間帯（１０時２９分〜１０時３１分）を推定する。また、認識情報修正部２３ｃは、撮影時刻情報テーブルＴ２の人物Ｂの監視カメラｃのＩＮ時刻（１０時４１分）と、カメラ配置情報テーブルＴ３の監視カメラｂから監視カメラｃへの移動にかかる最短時間（５分）と最長時間（６分）とから、人物Ｂが監視カメラｂに映り終わる時間帯（１０時３５分〜１０時３６分）を推定する。

認識情報修正部２３ｃは、推定した時間帯に映っている人物を撮影時刻情報テーブルＴ２から抽出する（Ｓ７０６）。図８の例では、人物Ｅの監視カメラｂのＩＮ時刻（１０時３１分）が推定した映り始めの時間帯（１０時２９分〜１０時３１分の間）に含まれ、且つ人物Ｅの監視カメラｂのＯＵＴ時刻（１０時３６分）が推定した映り終わりの時間帯（１０時３５分〜１０時３６分の間）に含まれるため、認識情報修正部２３ｃは、人物Ｅを抽出する。このとき、認識情報修正部２３ｃは、撮影時刻情報５１が欠落している人物の中から抽出する。抽出した人物が１人であれば、その人物（人物Ｅ）が同一人物（人物Ｂ）であると判断して、撮影時刻情報テーブルＴ２を修正する。図８の例では、人物Ｅについての「修正後の人物の識別情報（ＩＤ）」に人物Ｂの識別情報を記録する。

推定した時間帯に映っている人物が複数いた場合、認識情報修正部２３ｃは、特徴情報テーブルＴ１に基づいて、特徴情報４１が最も近い人物が同一人物であると判断して、撮影時刻情報テーブルＴ２を修正する（Ｓ７０７）。

撮影時刻情報テーブルＴ２に記録されている人物の全員について、撮影時刻情報５１の欠落の有無の確認が完了したか否かを判断し（Ｓ７０８）、完了していなければ（Ｓ７０８でＮｏ）、ステップＳ７０２に戻り、撮影時刻情報テーブルＴ２から次の人物を新たに抽出して、撮影時刻情報５１の欠落の有無を確認する。撮影時刻情報テーブルＴ２に記録されている人物の全員について、撮影時刻情報５１の欠落の有無の確認が完了すれば、認識情報修正部２３ｃは、撮影時刻情報テーブルＴ２を表示部２４に表示する（Ｓ７０９）。ユーザは、表示部２４に表示された修正後の撮影時刻情報テーブルＴ２を参照することによって、複数の監視カメラ１で撮影された人物の追跡を確認することができる。

このように、認識情報修正部２３ｃは、特徴情報テーブルＴ１と撮影時刻情報テーブルＴ２とカメラ配置情報テーブルＴ３とを使用して、撮影時刻情報５１の欠落を補う。例えば、認識情報修正部２３ｃは、図８のように、人物Ｅを人物Ｂとして修正することによって、人物Ｂについての監視カメラｂの撮影時刻情報５１を補う。これにより、制御部２３は、修正後の撮影時刻情報テーブルＴ２を参照して、監視カメラａ，監視カメラｂ，監視カメラｃの順にそれぞれ撮影された映像から、人物Ｂを追跡することが可能になる。

［４．効果等］
以上のように、本実施形態の監視装置２は、第一のカメラ（監視カメラｃ）及び第二のカメラ（監視カメラｂ）を含み所定の位置関係を有する複数の監視カメラ１によって撮影された映像から対象物を識別する監視装置であって、複数の監視カメラ１から映像を受信する受信部２１と、対象物の特徴を表す特徴情報４１を格納する認識情報蓄積部２２ｂと、カメラの配置位置を表す配置情報６１を格納するカメラ配置情報蓄積部２２ｃと、特徴情報４１に基づいて映像から対象物を識別する制御部２３と、を備え、制御部２３の認識情報修正部２３ｃは、第一のカメラ（監視カメラｃ）で撮影された映像から識別できたが、第二のカメラ（監視カメラｂ）で撮影された映像から識別できなかった対象物を、配置情報６１に基づいて、第二のカメラ（監視カメラｂ）で撮影された映像において特定する。このように、特徴情報４１で識別できなかった対象物を、配置情報６１を使用して特定するため、対象物の追跡を精度良く実現できる。

制御部２３の移動時間情報更新部２３ｂは、第一のカメラと第二のカメラ間の人物の移動時間を算出し、算出した移動時間と、第一のカメラにおいて対象物が撮影された時間とに基づき、第二のカメラの撮影領域を対象物が通過した時間帯を算出し、算出した時間帯に第二のカメラにより撮影された映像において対象物を特定する。具体的には、特徴情報４１に基づいて識別した各対象物が監視カメラ１に映っている時間帯を表す撮影時刻情報５１を生成し、生成した撮影時刻情報５１に基づいて、監視カメラ１間の移動にかかる時間を算出する。さらに、制御部２３は、配置情報６１に基づいて、各対象物が映るはずの監視カメラ１を特定し、対象物が特定した監視カメラ１に映っていない場合に、算出した監視カメラ間の移動にかかる時間に基づいて、映っていない対象物が特定した監視カメラ１に映るはずの時間帯を推定し、撮影時刻情報５１を参照して、推定した時間帯に、特定した監視カメラ１に映っている他の対象物が映っていない対象物であると特定して、撮影時刻情報５１を書き換える。これにより、特徴情報４１が一致せずに、撮影時刻情報５１の欠落が生じた場合であっても、配置情報６１と移動時間情報６２を含むカメラ配置情報テーブルＴ３を参照することによって、欠落が生じた撮影時刻情報５１を補うことができる。そのため、一部の監視カメラ１の映像から取得した対象物（人物）の特徴情報４１が、他の監視カメラ１の映像からは取得されずに、他の監視カメラ１の映像においては別の対象物（人物）として認識した場合であっても、カメラ配置情報テーブルＴ３を参照することによって、同一の対象物（人物）であると認識し直すことができる。よって、対象物（人物）の追跡を精度良く実現できる。

また、制御部２３は、算出した時間帯に第二のカメラにより撮影された映像において２つ以上の対象物候補が映っている場合、特徴情報４１に基づいて、２つ以上の対象物候補の中から一つを対象物として特定する。これにより、２つ以上の対象物候補が映像に映っている場合であっても、その対象物候補の中から、映っていないと判断した対象物を精度良く特定することができる。

さらに、制御部２３は、受信部２１が受信した映像から対象物の特徴を抽出して特徴情報４１を生成して、認識情報蓄積部２２ｂに格納する。これにより、新たに対象物の特徴を抽出した場合でも、その対象物を識別して追跡することが可能になる。

本実施形態の監視システム１００は、第一及び第二のカメラを含み所定の位置関係を有する複数の監視カメラ１と、対象物の特徴を表す特徴情報４１と、監視カメラ１の配置位置を表す配置情報６１とを有し、特徴情報４１に基づいて、複数の監視カメラ１によって撮影された映像から対象物を識別し、第一のカメラで撮影された映像から識別できたが第二のカメラで撮影された映像から識別できなかった対象物を、配置情報６１に基づいて、第二のカメラで撮影された映像において特定する監視装置２と、を有する。本実施形態の監視システム１００を使用すれば、精度良く対象物（人物）を追跡できるため、本実施形態の監視システム１００は動線可視化及び動線分析に有用である。例えば、局所に設けた監視カメラ１の映像を使用して、全体の動線を推測することができる。また、監視システム１００は、動線の変更をシミュレーションしたり、店舗エリアの価値を分析するのにも有用である。

（他の実施形態）
以上のように、本出願において開示する技術の例示として、実施形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。また、上記実施形態１で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。そこで、以下、他の実施形態を例示する。

時間帯推定（Ｓ７０５）及び人物抽出（Ｓ７０６）の他の例について説明する。図８の例において、認識情報修正部２３ｃは、撮影時刻情報テーブルＴ２とカメラ配置情報テーブルＴ３とを参照し、人物Ｂが監視カメラｂに映り始める時間帯の下限の時刻（１０時２９分）から映り終わる時間帯の上限の時刻（１０時３６分）までの間のいずれかの時間帯（例えば、１０時３２分〜１０時３５分）に監視カメラｂに映っている人物を抽出しても良い（Ｓ７０６）。また、この推定した時間帯に人物が抽出できなかった場合には、さらに、推定した映り始めの時間帯の下限の時刻（１０時２９分）から第１の所定時間（例えば、３分）を減算し、推定した映り終わりの時間帯の上限の時刻（１０時３６分）に第２の所定時間（例えば、３分）を加算して、新たな時間帯（１０時２６分〜１０時３９分）を算出し、新たな時間帯（１０時２６分〜１０時３９分）の中のいずれかの時間帯（例えば、１０時２８分〜１０時３４分）に監視カメラｂに映っている人物を抽出しても良い。

複数の人物から最も類似している人物を抽出する処理（Ｓ７０７）の他の例について説明する。例えば、特徴情報４１に基づく類似度と、監視カメラ間の移動にかかる時間の確率分布に基づく出現度との合計に応じて、複数の人物から最も類似している人物を抽出しても良い。以下に、図２の監視カメラｂの映像から人物Ａを検出できずに、監視カメラｂに映った人物Ｂ，Ｃ，Ｄの中から人物Ａを探す場合について説明する。この場合、特徴情報に基づく類似度Ｓ_ｆ（Ａ，ｘ）と監視カメラ間の移動にかかる時間の確率分布に基づく出現度Ｓ_ａｂ（ｔ_１），Ｓ_ｂｃ（ｔ_２）とを関数化して、下記式（１）で示す、それらの合計値（トータルスコア）Ｓ（Ａ，ｘ）が所定の条件を満たす人物が、人物Ａであると判断する。例えば、合計値Ｓ（Ａ，ｘ）が最も高い人物を人物Ａと判断する。
Ｓ（Ａ，ｘ）＝Ｓ_ｆ（Ａ，ｘ）＋αＳ_ａｂ（ｔ_１）＋βＳ_ｂｃ（ｔ_２）・・・（１）
（ｘは、人物Ｂ，Ｃ，Ｄ）
（Ｓ_ｆ（Ａ，ｘ）は、人物Ａの特徴情報と人物ｘの特徴情報の類似度）
（α、βは、所定の重み付けの係数）
（ｔ_１は、人物Ａが監視カメラａに映ってから、人物ｘが監視カメラｂに映るまでの時間）
（ｔ_２は、人物ｘが監視カメラｂに映ってから、人物Ａが監視カメラｃに映るまでの時間）
（Ｓ_ａｂ（ｔ）は、監視カメラａから監視カメラｂへの移動にかかる時間と人物の出現頻度の分布に基づく出現度）
（Ｓ_ｂｃ（ｔ）は、監視カメラｂから監視カメラｃへの移動にかかる時間と人物の出現頻度の分布に基づく出現度）

図９（ａ）に、出現度Ｓ_ａｂ（ｔ）の例を示す。出現度Ｓ_ａｂ（ｔ）は、人物が監視カメラａに映らなくなってから監視カメラｂに映り始めるまでの時間（すなわち、監視カメラａから監視カメラｂへの移動にかかる時間）毎の、人物の出現頻度の分布を関数化したものである。図９（ｂ）に、出現度Ｓ_ｂｃ（ｔ）の例を示す。出現度Ｓ_ｂｃ（ｔ）は、人物が監視カメラｂに映らなくなってから監視カメラｃに映り始めるまでの時間（すなわち、監視カメラｂから監視カメラｃへの移動にかかる時間）毎の、人物の出現頻度の分布を関数化したものである。認識情報修正部２３ｃは、撮影時刻情報テーブルＴ２を参照して、監視カメラ間の移動にかかる時間毎に人物の出現頻度を算出し、監視カメラ間の移動にかかる時間と算出した人物の出現頻度とに基づいて、図９（ａ）及び図９（ｂ）に示すような出現度の関数Ｓ_ａｂ（ｔ），Ｓ_ｂｃ（ｔ）を生成する。

図１０に、人物Ａの特徴情報との類似度Ｓ_ｆ（Ａ，ｘ）、人物Ａが監視カメラａに映ってから人物ｘ（ｘ＝Ｂ，Ｃ，Ｄ）が監視カメラｂに映るまでの時間ｔ_１、人物ｘ（ｘ＝Ｂ，Ｃ，Ｄ）が監視カメラｂに映ってから人物Ａが監視カメラｃに映るまでの時間ｔ_２、及び合計値Ｓ（Ａ，ｘ）の数値例を示す。図１０では、それぞれＳ_ｆ（Ａ，ｘ）、ｔ_１、ｔ_２の数値によって、上記式（１）で示す合計値Ｓ（Ａ，ｘ）の数値が得られた例を示している。図１０の例では、人物Ｄの合計値Ｓ（Ａ，ｘ）が最も高いため、人物Ｄを人物Ａと判断する。

なお、関数Ｓ_ａｂ（ｔ），Ｓ_ｂｃ（ｔ）は、人物、時間帯、及び店舗の状況などで変化するものであってもよい。例えば、関数Ｓ_ａｂ（ｔ）、Ｓ_ｂｃ（ｔ）を、現在時刻に基づく時間帯毎（９時〜１０時など）に生成しても良い。

人物抽出（Ｓ７０６）において、推定した時間帯に映っている人物が１人だけのときに、認識情報修正部２３ｃは、撮影時刻情報５１が欠落している人物（人物Ｂ）と、推定した時間帯に映っている人物（人物Ｅ）との特徴情報４１を比較しても良い。そして、特徴情報４１が類似していない場合は、認識情報修正部２３ｃは、撮影時刻情報５１が欠落している人物（人物Ｂ）と推定した時間帯に映っている人物（人物Ｅ）とが別人であると判断して、撮影時刻情報テーブルＴ２を修正しなくても良い。

本開示の監視システム１００は、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現可能である。

以上のように、本開示における技術の例示として、実施形態を説明した。そのために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、複数の監視カメラを使用して対象物を追跡する監視装置及びその監視装置を有する監視システムに適用可能である。

１ 監視カメラ
２ 監視装置
１１ 撮影部
１２ 送信部
２１ 受信部
２２ａ 映像蓄積部
２２ｂ 認識情報蓄積部
２２ｃ カメラ配置情報蓄積部
２３ 制御部
２３ａ 認識部
２３ｂ 移動時間情報更新部
２３ｃ 認識情報修正部
２４ 表示部
１００ 監視システム
Ｔ１ 特徴情報テーブル
Ｔ２ 撮影時刻情報テーブル
Ｔ３ カメラ配置情報テーブル

Claims (7)

1. 対象物の移動経路に沿った撮影領域を撮影する配置位置に配置される第一及び第二のカメラを含み所定の位置関係を有する複数のカメラによって撮影された映像から前記対象物を識別する監視装置であって、
   前記複数のカメラから映像を受信する受信部と、
   前記対象物の特徴を表す特徴情報と、前記複数のカメラの前記配置位置を表すカメラ配置情報とを格納する記憶部と、
   前記特徴情報に基づいて前記映像から前記対象物を識別する制御部と、
   を備え、
   前記制御部は、
   前記第一のカメラと前記第二のカメラ間の前記対象物の移動時間を算出し、
   前記複数のカメラの配置位置が、前記対象物が前記第二のカメラの撮影領域の次に前記第一のカメラの撮影領域を通過する配置の場合、前記対象物の前記第一のカメラの撮影開始時刻から、前記算出した移動時間を減算して、前記第二のカメラの撮影領域を前記対象物が通過した時間帯を算出し、
   前記算出した時間帯に前記第二のカメラにより撮影された映像において前記対象物を特定する、
   監視装置。
2. 前記制御部は、
   前記複数のカメラの配置位置が、前記対象物が前記第一のカメラの撮影領域の次に前記第二のカメラの撮影領域を通過する配置の場合、前記対象物の前記第一のカメラの撮影終了時刻に、前記算出した移動時間を加算して、前記第二のカメラの撮影領域を前記対象物が通過した時間帯を算出し、
   前記算出した時間帯に前記第二のカメラにより撮影された映像において前記対象物を特定する、
   請求項１に記載の監視装置。
3. 前記制御部は、前記算出した時間帯に前記第二のカメラにより撮影された映像において２つ以上の対象物候補が映っている場合、前記特徴情報に基づいて、前記２つ以上の対象物候補の中から一つを前記対象物として特定する、請求項１に記載の監視装置。
4. 前記制御部は、前記受信部が受信した映像から前記対象物の特徴を抽出して前記特徴情報を生成して、前記記憶部に格納する、請求項１に記載の監視装置。
5. 前記算出した時間帯に、前記第二のカメラにより撮影された映像において対象物候補が映っていない場合、前記制御部は、前記算出した時間帯の開始時刻から第１の所定時間を減算し、又は前記算出した時間帯の終了時刻に第２の所定時間を加算することによって、新たな時間帯を算出する、請求項１に記載の監視装置。
6. 前記制御部は、前記算出した時間帯に前記第二のカメラにより撮影された映像において２つ以上の対象物候補が映っている場合、前記第一のカメラと前記第二のカメラ間の移動時間の確率分布に基づいて、前記２つ以上の対象物候補の中から一つを前記対象物として特定する、請求項１に記載の監視装置。
7. 対象物の移動経路に沿った撮影領域を撮影する配置位置に配置される第一及び第二のカメラを含み所定の位置関係を有する複数のカメラと、
   前記対象物の特徴を表す特徴情報と、前記複数のカメラの前記配置位置を表すカメラ配置情報とを有し、前記特徴情報に基づいて、前記複数のカメラによって撮影された映像から前記対象物を識別し、前記第一のカメラで撮影された映像から識別できたが、前記第二のカメラで撮影された映像から識別できなかった前記対象物を、前記カメラ配置情報に基づいて、前記第二のカメラで撮影された映像において特定する、請求項１から請求項６のいずれかに記載の監視装置と、
   を含む、監視システム。

Images