JP2010067008A - 撮像管理システム、撮像管理方法、認証システム及び認証方法 - Google Patents

Abstract

【課題】全体を撮影する第１の撮像手段の映像から１又は複数の対象を認識し、それに応じて複数の第２の撮像手段を制御することにより、高解像度の対象の画像を取得することができるようにする。
【解決手段】本発明の撮像管理システムは、第１の撮像手段と、複数の第２の撮像手段とを備え、第１の撮像手段の映像に映っている１又は複数の対象の撮像管理を行う撮像管理システムであって、第１の撮像手段の映像に映っている１又は複数の対象を特定する対象特定手段と、特定された１又は複数の対象に対して各第２の撮像手段を割り当て、１又は複数の対象について、第１の撮像手段の映像よりも高解像度の映像を撮像させるように各第２の撮像手段を制御する撮像制御手段と、各第２の撮像手段が撮像した１又は複数の対象の高解像度の画像を同時に取得して管理する高解像度画像管理手段とを備える。
【選択図】 図１

Description

本発明は、撮像管理システム、撮像管理方法、認証システム及び認証方法に関し、例えば、全体を撮像する親カメラの映像から人物を認識し、それに応じて複数の子カメラを制御することにより、高解像度の人物画像を取得し、認証を行うシステムに適用し得るものである。

例えば顔や所持物などの特徴点や特徴情報を認証する認証技術がある。この認証技術を利用したシステムとして、例えば、特許文献１、特許文献２に記載のように、建物などに入退場する人の監視や管理を行い、セキュリティを必要とする部屋や施設等への入退場を管理する入退場管理システムや監視システムなどがある。

例えば入退場者の顔の特徴点を認証する認証技術を入退場管理システムに利用する場合、入退場者がカメラの前に立ち止まり、カメラが入退場者一人ひとりの顔を撮像した画像から顔の特徴点を取得して認証するのが一般的であり、歩行者のように動く人物に対しては、その特徴点や特徴情報を認識することが困難である。

このような課題に対して、特許文献１の記載技術は、生体照合手段による入退場者の生体情報の照合結果に応じて、制御手段が入退場者の施設への入退場を制御するものであり、撮像手段が入退場者の顔画像を撮像し、入退場者の生体照合結果と顔画像などを入退場履歴として管理する技術である。

特許文献２の記載技術は、移動する人物の顔を含む画像を撮像する第１の撮像手段の撮像画像から、顔検出手段が人物の顔領域を検出し、顔領域が複数の場合に、係員が、第２の撮像手段が撮像した撮像画像から登録対象を選別する。そして、係員が選別した顔領域に基づいて特徴点を抽出して、顔特徴情報として辞書登録する技術などである。

特開２００４−７８６８７号公報 特開２００７−２７２８１１号公報

上記のような認証技術を利用したシステムにおいて、認証技術を有効に機能させるためには、次のような課題がある。

複数の人物を同時に認識するには単一のカメラを制御するだけでは困難であるという課題が生じ得る。例えば、特許文献２の記載技術は係員の選別により第１の撮像手段が撮像した顔領域から顔特徴情報を抽出するが、カメラの撮像画像に複数の人物が同時に映っている場合には、各人の顔領域が充分な大きさでないことがあり、顔認識を有効に行うことができない場合がある。

また、顔認証技術など人物の特徴をデータとして取得し、これら特徴データを基に確実に人物を特定するには高解像度の画像が必要となる。

なお、認証技術を利用するシステムとしては、上記のような入退室管理システムだけでなく、例えば駅、空港などでの監視システムなどもあり、このような監視システムにも上記と同様の課題がある。

そこで、本発明では、複数の対象（例えば、人物、物など）を認識できるように全体を撮影する第１の撮像手段を用意し、各対象を複数の第２の撮像手段に割り当て、各々を制御することによって、高解像度の対象の画像を取得し、例えば顔認証技術など高微細の画像が必要となる撮像管理システム、撮像管理方法、認証システム及び認証方法を提供することにある。

かかる課題を解決するために、第１の本発明の撮像管理システムは、第１の撮像手段と、第１の撮像手段の映像よりも狭い範囲を撮像する複数の第２の撮像手段とを備え、第１の撮像手段の映像に映っている１又は複数の対象の撮像管理を行う撮像管理システムであって、（１）第１の撮像手段から取得した映像に基づいて、特定する対象の特徴情報を含む特徴領域を検索して、第１の撮像手段の映像に映っている１又は複数の対象を特定する対象特定手段と、（２）対象特定手段により特定された１又は複数の対象に対して各第２の撮像手段を割り当て、１又は複数の対象について、第１の撮像手段の映像よりも高解像度の映像を撮像させるように各第２の撮像手段を制御する撮像制御手段と、（３）各第２の撮像手段が撮像した１又は複数の対象の高解像度の画像を同時に取得して管理する高解像度画像管理手段とを備えることを特徴とする。

第２の本発明の撮像管理方法は、第１の撮像手段と、第１の撮像手段の映像よりも狭い範囲を撮像する複数の第２の撮像手段とを備え、第１の撮像手段の映像に映っている１又は複数の対象の撮像管理を行う撮像管理方法であって、（１）対象特定手段が、第１の撮像手段から取得した映像に基づいて、特定する対象の特徴情報を含む特徴領域を検索して、第１の撮像手段の映像に映っている１又は複数の対象を特定する対象特定工程と、（２）撮像制御手段が、対象特定手段により特定された１又は複数の対象に対して各第２の撮像手段を割り当て、１又は複数の対象について、第１の撮像手段の映像よりも高解像度の映像を撮像させるように各第２の撮像手段を制御する撮像制御工程と、（３）高解像度画像管理手段が、各第２の撮像手段が撮像した１又は複数の対象の高解像度の画像を同時に取得して管理する高解像度画像管理工程とを有することを特徴とする。

第３の本発明の認証システムは、第１の撮像手段と、第１の撮像手段の映像よりも狭い範囲を撮像する複数の第２の撮像手段とを備え、第１の撮像手段の映像に映っている１又は複数の対象の認証を行う認証システムであって、（１）第１の撮像手段から取得した映像に基づいて、特定する対象の特徴情報を含む特徴領域を検索して、第１の撮像手段の映像に映っている１又は複数の対象を特定する対象特定手段と、（２）対象特定手段により特定された１又は複数の対象に対して各第２の撮像手段を割り当て、１又は複数の対象について、第１の撮像手段の映像よりも高解像度の映像を撮像させるように各第２の撮像手段を制御する撮像制御手段と、（３）各第２の撮像手段が撮像した１又は複数の対象の高解像度の画像を同時に取得する高解像度画像取得手段と、（４）予め認証対象の１又は複数の登録情報を記憶する登録情報記憶手段と、（５）高解像度画像取得手段が取得した１又は複数の対象の高解像度画像と、登録情報記憶手段の各登録情報とに基づいて所定の認証処理を行う認証手段とを備えることを特徴とする。

第４の本発明の認証方法は、第１の撮像手段と、第１の撮像手段の映像よりも狭い範囲を撮像する複数の第２の撮像手段とを備え、第１の撮像手段の映像に映っている１又は複数の対象の認証を行う認証システムであって、（１）予め認証対象の１又は複数の登録情報を記憶する登録情報記憶手段を備え、（２）対象特定手段が、第１の撮像手段から取得した映像に基づいて、特定する対象の特徴情報を含む特徴領域を検索して、第１の撮像手段の映像に映っている１又は複数の対象を特定する対象特定工程と、（３）撮像制御手段が、対象特定手段により特定された１又は複数の対象に対して各第２の撮像手段を割り当て、１又は複数の対象について、第１の撮像手段の映像よりも高解像度の映像を撮像させるように各第２の撮像手段を制御する撮像制御工程と、（４）高解像度画像取得手段が、各第２の撮像手段が撮像した１又は複数の対象の高解像度の画像を同時に取得する高解像度画像取得工程と、（５）認証手段が、高解像度画像取得手段が取得した１又は複数の対象の高解像度画像と、登録情報記憶手段の各登録情報とに基づいて所定の認証処理を行う認証工程とを有することを特徴とする。

本発明によれば、全体を撮影する第１の撮像手段の映像から１又は複数の対象を認識し、それに応じて複数の第２の撮像手段を制御することにより、高解像度の対象の画像を取得することができる。

（Ａ）第１の実施形態
以下では、本発明の撮像管理システム、撮像管理方法、認証システム及び認証方法の第１の実施形態を図面を参照しながら説明する。

第１の実施形態は、本発明を利用して入退場管理システムを実現するものであり、特に会社における出退勤管理システムに適用した場合の実施形態を例示して説明する。

（Ａ−１）第１の実施形態の構成
図２は、第１の実施形態の入退場管理システムにおけるカメラ配置のイメージを説明する説明図である。なお、図２では、入場ゲートＧでのカメラ配置を示しているが、退場ゲートの場合も同様の構成をとることができる。

図２に示すように、第１の実施形態の入退場管理システムでは、入場ゲートＧから入場する人物を撮像する全体カメラ１０１と、全体カメラ１０１の周辺に複数（図２では４台）の子カメラ１０６−１〜１０６−４とが配置されている。図２では、撮影の精度向上、効率化の観点から、入場者がなるべく整列して入場できるように柵などの入場ゲートＧが設けられている。

第１の実施形態の入退場管理システムでは、全体カメラ１０１の撮像画像から１又は複数の被写体（人物）の顔認識を行い、顔認識した各人物を子カメラ１０６−１〜１０６−４に割り当て、１又は複数の子カメラ１０６−１〜１０６−４の撮像画像から、それぞれの被写体（人物）の顔認証を行い、入退場を制御、管理するものである。

図１は、第１の実施形態の入退場管理システムの構成を示す構成図である。

図１において、第１の実施形態の入退場管理システム１００は、全体カメラ１０１、動体検出装置１０２、人物認識装置１０３、カメラ位置算出装置１０４、子カメラ制御装置１０５、複数の子カメラ１０６、顔認識装置１０７、社員データベース１０８、出退勤管理装置１０９を少なくとも有する。

全体カメラ１０１は、入退場ゲート全体を撮像する撮像手段であり、撮像映像を動体検出装置１０２に与えるものである。全体カメラ１０１は、入退場ゲートを通過する１又は複数の人物を撮像できる程度の画角を持ち、その撮像画像から各人物の顔認識ができる程度の解像度で撮像するものである。

動体検出装置１０２は、全体カメラ１０１からリアルタイムに撮像映像を受け取り、その映像から動体を検出するものである。また、動体検出装置１０２は、動体を検出した場合、その動体の位置情報を人物認識装置１０３に与えるものである。

ここで、動体検出方法としては、種々の方法を適用することができるが、例えば動体検出装置１０２が映像フレームを記憶する記憶装置を有しており、過去のフレームと現在のフレームとの比較から差分をとり動きベクトルを検出することにより動体検出を行う方法を適用することができる。

また、動体検出装置１０２は、複数の動体を検出した場合に、それぞれの動体を特定して管理する動体分別機能を有する。この動体分別機能としては、例えば、ラベリング処理により、各動体の領域画素にラベル（番号）を付すことにより、各動体を特定して管理することができる。

人物認識装置１０３は、動体検出装置１０２から動体の位置情報を受け取ると、その動体の位置情報から人物の部位を認識するものである。これにより、被写体の位置情報を取得することができる。ここで、人物認識装置１０３が認識する部位としては、例えば、顔、上半身、下半身、腕、所持物の有無などがある。

第１の実施形態では人物認識装置１０３が顔認識を行う場合を例示する。ここで、人物認識装置１０３による顔認識方法としては、種々の顔認識方法を広く適用することができ、例えば、動体の位置情報に基づく画像領域から人物の顔の特徴情報を含む顔領域を検出することで人物の顔を認識することができる。また、認識する部位が顔以外の場合でも、各部位の特徴情報を含む特定領域を検出することにより、その認識対象部位を検出する方法を適用できる。

また、人物認識装置１０３は、動体の位置情報に基づく領域から人物の部位を検出できず、人物を認識できない場合には、これを無視するようにしてもよい。このとき、人物認識装置１０３は、動体検出装置１０２に対して認識対象としない旨を通知し、ラベリングの解除を促すようにしてもよい。

さらに、人物認識装置１０３は、１又は複数の顔認識を行うと、各顔位置情報をカメラ位置算出装置１０４に与える。

カメラ位置算出装置１０４は、人物認識装置１０３から１又は複数の顔位置情報を受け取ると、全体カメラ１０１の撮像画像上での各被写体の位置情報を求めるものである。カメラ位置算出装置１０４が求める位置情報は、子カメラ１０６を制御するための位置情報として寄与される。なお、全体カメラ１０１を定点カメラとして撮像画像の座標軸を予め定めておくことで、各顔領域の顔位置情報に基づく被写体の位置情報を求めることができる。

子カメラ制御装置１０５は、カメラ位置算出装置１０４から制御情報を受け取ると、この制御情報に基づいて各被写体を子カメラ１０６に割り当てる。また、子カメラ制御装置１０５は、子カメラ１０６と接続しており、各子カメラ１０６の撮像制御を行うものである。子カメラ１０６の制御方法としては、例えば、Ｈ．２２４やＨ．２８１などの制御プロトコルを用いて行う方法を適用する。

図３は、子カメラ制御装置１０５の内部構成を示す内部構成図である。図３において、子カメラ制御装置１０５は、その主な機能として、被写***置解析手段３１、子カメラ割り当て手段３２、子カメラ割り当て管理手段３３、子カメラ撮像制御手段３４を少なくとも有する。

被写***置解析手段３１は、子カメラ位置算出装置１０４から全体カメラ１０１の画像上での各被写体の位置情報や特徴領域に基づいて、各被写体を撮像する子カメラ１０６の割り当てを決めるために、各被写体の位置を解析するものである。

子カメラ割り当て手段３２は、被写***置解析手段３１の解析結果に基づいて、子カメラ１０６に対して被写体を割り当てるものである。

ここで、子カメラ１０６の割り当て方法としては、種々の方法を適用することができる。

例えば、全体カメラ１０１の画像に複数の被写体が映っている場合、被写***置解析手段３１は、子カメラ位置算出装置１０４から取得した各被写体の位置情報や特徴領域に基づいて、全体カメラ１０１の画像上に映る被写体の奥行き方向の距離を求める。子カメラ割り当て手段３２は、子カメラ１０６の割り当て順を予め設定しておき、被写体の奥行き方向の距離が短いものから、予め設定した割り当て順に従って子カメラ１０６を割り当てる方法を適用できる。なお、被写体の奥行き方向の距離の求め方としては、全体カメラ１０１の画像上における人物の特徴領域の大きさを利用して求める方法等を適用できる。これにより、入場ゲートＧを順番に通行してくる被写体に対して予め設定した割り当て順で子カメラ１０６を割り当てることができる。

また例えば、被写***置解析手段３１は、カメラ位置算出装置１０４を介して動体の動きベクトル情報も取得し、入場ゲートＧを通行してくる各被写体の動き方向を解析し、子カメラ割り当て手段３２は、各被写体の動き方向に応じて子カメラ１０６を割り当てる方法を適用できる。例えば、動体の動きベクトル方向が左向きの場合、子カメラ割り当て手段３２は全体カメラ１０１の右側に配置されている子カメラ１０６を選択して割り当てる。これにより、全体カメラ１０１の画像において左側から来た人物が入場ゲートＧを通行する場合に、全体カメラ１０１の右側の子カメラ１０６に割り当てることにより、人物の移動方向に応じて配置された子カメラ１０６が的確に人物の顔を撮像できる。

また、子カメラ割り当て手段３２は、子カメラ１０６に割り当てる被写体を変更できるようにしてもよい。

子カメラ割り当て管理手段３３は、子カメラ割り当て手段３２により被写体に対して割り当てた子カメラ１０６の割り当て状況を管理するものである。例えば、子カメラ割り当て管理手段３３は、被写体の識別情報と子カメラ１０６の識別情報とを対応付けて、どの被写体をどの子カメラ１０６が撮像しているかを管理する。

子カメラ撮像制御手段３４は、子カメラ撮像制御手段３４は、子カメラ１０６に対して撮像位置や倍率や明度などを指示して、子カメラ１０６の撮像処理を制御するものである。また、子カメラ撮像制御手段３４は、子カメラ１０６に対して被写体を追跡させることもできる。

子カメラ１０６（１０６−１〜１０６−４）は、子カメラ制御装置１０５の制御の下、特定領域を高解像度で撮像するものである。つまり、子カメラ１０６は、子カメラ制御装置１０５から被写体の位置情報を受け取ると、その位置情報の被写体を撮像した映像を顔認証装置１０７に与えるものである。また、子カメラ１０６は、被写体の顔認証ができる程度の解像度を備えるものであり、子カメラ制御装置全体カメラ１０１の画角を狭くすることが望ましい。さらに、子カメラ１０６は、追跡機能を備えるようにし、移動する被写体を追跡できる。この追跡機能については、種々の技術を広く適用することができ、例えば、動体検出装置１０２がリアルタイムで取得する動体の動きベクトルに基づいて、子カメラ制御装置１０５被写体の動きベクトルの大きさに応じた速度で、動きベクトル方向に撮影方向を移動させることにより実現できる。

顔認証装置１０７は、子カメラ１０６から撮像映像を受け取ると、各画像を基に社員データベース１０８を参照し、顔認証を行うものである。顔認証方法としては、子カメラ１０６の映像から顔特徴領域を抽出して、この顔特徴領域と社員データベース１０８に登録されている顔登録情報とを比較し、類似度が閾値を超えたとき認証成功とし、類似度が閾値以下のとき認証失敗とする。

また、顔認証装置１０７は、顔認証が成功した場合、その顔認証結果である認証情報を出退勤管理装置１０９に与えるものである。さらに、顔認証装置１０７は、顔認証が失敗した場合、当該子カメラ１０６の撮像画像に不足する情報を子カメラ制御装置１０５にフィードバックさせるものである。情報としては位置の補正、倍率、明度などが挙げられる。

図４は、顔認証装置１０７の内部構成を示す内部構成図である。図４において、顔認証装置１０７は、顔認証手段４１、失敗解析手段４２、通知手段４３を少なくとも有するものである。

顔認証手段４１は、子カメラ１０６が映した画像から顔特徴情報を抽出し、その抽出した顔特徴情報と社員データベース１０８に登録されている顔登録情報とを比較して、類似度を算出し、その類似度に基づいて顔認証を行うものである。

失敗解析手段４２は、顔認証手段４１による認証処理が失敗した場合に、認証失敗に原因を解析し、その解析結果を通知手段４３に与えるものである。この認証失敗の原因としては、子カメラ１０６の画像における顔特徴情報と登録顔情報との比較の際、比較領域の大きさが異なる場合には倍率を補正したり、子カメラ１０６の画像上で顔特徴領域が撮像できていない場合には撮像位置を補正したりする。

通知手段４３は、顔認証成功の際、認証結果としての認証情報を出退勤管理装置１０９に与えるものである。また、通知手段４３は、顔認証失敗の際、失敗解析手段４２からの解析結果を子カメラ制御装置１０５に与えるものである。

社員データベース１０８は、顔認証装置１０７の顔認証に用いる社員の顔登録情報を保持するデータベースである。また、社員データベース１０８は、出退勤管理装置１０９の処理により、各社員の出退勤管理情報を保持するものである。

出退勤管理装置１０９は、顔認証装置１０７から取得した顔認証結果である認証情報を受け取り、所定の出退勤管理を行うものである。

（Ａ−２）第１の実施形態の動作
次に、第１の実施形態の入退場管理システム１００における処理の動作を図面を参照しながら説明する。

図５は、第１の実施形態の入退場管理システム１００における処理を示すフローチャートである。

まず、全体カメラ１０１は入退場ゲートＧを常に撮像する（ステップＳ１０１）。全体カメラ１０１により撮像された映像は動体検出装置１０２に与えられ、動体検出装置１０２において、映像がリアルタイムに監視され、全体カメラ１０１からの映像において移動する１又は複数の動体が検出される（ステップＳ１０２）。

動体検出装置１０２では、全体カメラ１０１からのリアルタイム映像を用いた動体検出により動体を認識し、動体の位置を特定し、またリアルタイムに動体の位置を更新する。また、動体検出装置１０２は、複数の動作を検出した場合には各動体の画素に番号を付してラベリング処理を行い、それぞれの動体の位置を特定して管理する。

動体検出装置１０２により１又は複数の動体が検出されると、各動体の位置情報が人物認識装置１０３に与えられる。人物認識装置１０３では、各動体の位置情報の領域から顔の特徴情報を含む顔領域を検出して人物を認識する（ステップＳ１０３）。

ここで、人物認識装置１０３により検出された動体が人物でないと判断されると、人物認識装置１０３は、動体検出装置１０２にその旨を通知してラベリング処理の解除をさせる（ステップＳ１０４）。

人物認識装置１０３により人物認識されると、各顔位置情報がカメラ位置算出装置１０４に与えられ、カメラ位置算出装置１０４により、全体カメラ１０１の画像上での顔位置情報が求められる（ステップＳ１０５）。

カメラ位置算出装置１０４により各顔位置情報が求められると、全体カメラ１０１の画像上の各顔位置情報が子カメラ制御装置１０５に与えられ、子カメラ制御装置１０５は、各人物の顔に対して各子カメラ１０６−１〜１０６−４を割り当て、各子カメラ１０６−１〜１０６−４の撮像を制御する（ステップＳ１０６）。

各子カメラ１０６−１〜１０６−４は、子カメラ制御装置１０５の制御を受けて、子カメラ制御装置１０５から指示される位置の被写体を撮像し（ステップＳ１０７）、その撮像した映像を顔認証装置１０７に与える。

顔認証装置１０７では、各子カメラ１０６−１〜１０６−４から取得した映像を基に、社員データベース１０８に登録されている顔登録情報を参照して顔認証を行う（ステップＳ１０８）。なお、顔認証装置１０７による顔認証時に、ネットワークなどを介して社員データベース１０９にアクセスできるようにしてもよい。

顔認証装置１０７において顔認証が特定できた場合、認証情報が出退勤管理装置１０９に与えられ（ステップＳ１０９）、出退勤管理装置１０９が当該社員の出退勤管理情報を社員データベース１０８に記録する（ステップＳ１１０）。また、認証後、顔認証装置１０７は動体検出装置１０２に通知し、該当人物のラベリングを解除させる（ステップＳ１１１）。

また、顔認証装置１０７で顔認証が特定できない場合、顔認証装置１０７において、子カメラ１０６−１〜１０６−４からの画像情報を基にして、顔認証成功に不足する情報を解析する（ステップＳ１１２）。

そして、顔認証成功に不足する情報を得た場合、顔認証装置１０７は、その情報を子カメラ制御装置１０５にフィードバックする（ステップＳ１１３）。これにより、子カメラ制御装置１０５は、フィードバックされた情報に基づいて、各子カメラ１０６−１〜１０６−４に指示する撮像位置、倍率、明度などをリアルタイムに補正することできる。

（Ａ−３）第１の実施形態の効果
以上のように、第１の実施形態によれば、以下に示すような効果が期待できる。

第１の実施形態によれば、全体カメラ及び１又は複数の子カメラの連携を図ることにより、全体カメラの撮像映像に映る複数の人物の顔認証を一度に行うことができる。

また、第１の実施形態によれば、全体カメラ及び１又は複数の子カメラの連携を図ることにより、全体カメラの撮像映像に映る人物の高解像度映像を取得することができる。

さらに、第１の実施形態によれば、全体カメラ及び１又は複数の子カメラの連携を図り、動体検出装置が全体カメラから映像に基づいて動***置をリアルタイムに更新するので、被写体が移動した場合でも追跡を行うことができる。

またさらに、第１の実施形態によれば、顔認証に失敗した場合でも、顔認証装置が子カメラ制御装置に対して、失敗した情報を基に制御情報をフィードバックすることにより、即時に再度顔認証ができる。

（Ｂ）第２の実施形態
次に、本発明の撮像管理システム、撮像管理方法、認証システム及び認証方法の第２の実施形態について図面を参照して説明する。

第２の実施形態では、本発明を利用して、例えば空港などのセキュリティゲートを通行する人物を管理する通行人監視システムを実現する実施形態を説明する。

第１の実施形態では、人物認識装置１０３で特定した人物の部位（例えば、顔、上半身、下半身、腕、所持物の有無等）の内、顔認証に用いる顔情報のみを用いていたが、第２の実施形態では、複数の子カメラで１人の人物の顔、上半身、所持物の有無を撮像して認証する。

（Ｂ−１）第２の実施形態の構成
図６は、第２の実施形態の通行人監視システムの構成を示す構成図である。図６において、第２の実施形態の通行人監視システム２００は、全体カメラ１０１、動体検出装置１０２、人物認識装置１０３、カメラ位置算出装置１０４、子カメラ制御装置１０５、子カメラ１０６−１〜１０６−３、顔認証装置２０１、上半身解析装置２０２、所持物解析装置２０３、犯罪者データベース２０４、通報装置２０５、通行人データベース２０６を少なくとも有する。

なお、第２の実施形態において、第１の実施形態で既に説明した、全体カメラ１０１、動体検出装置１０２、人物認識装置１０３、カメラ位置算出装置１０４、子カメラ制御装置１０５、子カメラ１０６の構成の説明については割愛する。

子カメラ制御装置１０５による子カメラ１０６の制御方法としては、各子カメラ１０６が撮像する領域を、例えば、顔、上半身、所持物と決めておき、人物認識装置１０３が人物を認識したときに、子カメラ制御装置１０５が当該人物の特定の領域を撮像するよう各子カメラ１０６に指示する方法を適用できる。

また例えば、子カメラ１０６の撮像領域を予め決めておかず、人物の認識の際に、子カメラ制御装置１０５が任意に子カメラ１０６の撮像領域を決めて撮像処理を制御するようにしてもよい。

顔認証装置２０１は、子カメラ１０６−１の映像を子カメラ１０６−１から取得し、犯罪者データベース２０４を参照しながら、顔認証を行うものである。また、顔認証装置２０１は、犯罪者の顔認証を行った場合に、顔認証に用いた情報や静止画などを通行人情報として通行人データベース２０６に記録する。このとき、通行人情報としては、例えば、子カメラ１０６−１から取得した映像や、犯罪者データベース２０４からマッチングした顔情報や当該犯罪者の照会情報、通行時間情報などである。また、静止画像としては、例えば、ＪＰＥＧなどの静止画符号化器を用いて圧縮処理してもよい。

顔認証装置２０１は、顔認証の前処理として、子カメラ１０６−１の映像から顔特徴領域を抽出し、この顔特徴領域を抽出できたときに抽出成功とし、この顔特徴領域を抽出できなかったときに抽出失敗とする。

また、顔認証装置２０１は、この顔特徴領域の抽出が失敗した場合、当該子カメラ１０６−１の撮像画像に不足する情報を子カメラ制御装置１０５にフィードバックさせるものである。情報としては、位置の補正、倍率、明度などが挙げられる。

上半身解析装置２０２は、子カメラ１０６−２の映像を子カメラ１０６−２から取得し、人物の上半身を解析する装置である。上半身解析装置２０２は、例えば、子カメラ１０６−２の撮像した映像を受け取ると、その映像から人物の衣類の特徴（例えば、色、類推される衣類の種類など）を解析するものである。また、上半身解析装置２０２は、解析結果を通行人情報として通行人データベース２０６に記録する。

上半身解析装置２０２は、子カメラ１０６−２の映像から人物の衣類の特徴を解析し、この人物の衣類の特徴を解析できたときに解析成功とし、この人物の衣類の特徴を解析できなかったときに解析失敗とする。

また、上半身解析装置２０２は、この人物の衣類の特徴の解析が失敗した場合、当該子カメラ１０６−２の撮像画像に不足する情報を子カメラ制御装置１０５にフィードバックさせるものである。情報としては、位置の補正、倍率、明度などが挙げられる。

所持物解析装置２０３は、子カメラ１０６−３の映像を子カメラ１０６−３から取得し、人物の所持物を解析する装置である。所持物解析装置２０３は、例えば、所持物の特徴（例えば、所持物の色、形状、長さ、類推される所持物の種類など）を解析するものである。また、所持物解析装置２０３は、解析結果を通行人情報として通行人データベース１０６に記録する。

所持物解析装置２０３は、子カメラ１０６−３の映像から所持物の特徴を解析し、この所持物の特徴を解析できたときに解析成功とし、この所持物の特徴を解析できなかったときに解析失敗とする。

また、所持物解析装置２０３は、この所持物の特徴の解析が失敗した場合、当該子カメラ１０６−３の撮像画像に不足する情報を子カメラ制御装置１０５にフィードバックさせるものである。情報としては、位置の補正、倍率、明度などが挙げられる。

犯罪者データベース２０４は、犯罪者の顔情報を保持するデータベースであり、顔認証装置２０１による顔認証の際に用いられるものである。

通報装置２０５は、顔認証装置２０１において犯罪者と認証した場合、顔認証装置２０１から通報を受け、警報信号を、例えば警備員やセキュリティ会社、警察などに通知するものである。

通行人データベース２０６は、顔認証装置２０１における認証結果、又は、上半身解析装置２０２、所持物解析装置２０３における解析情報を、通行人情報として記録するデータベースである。

（Ｂ−２）第２の実施形態の動作
次に、第２の実施形態の通行人監視システム２００における処理の動作を説明する。

図７は、第２の実施形態の通行人監視システム２００におけるカメラ配置のイメージを説明する説明図である。

図７において、第２の実施形態の通行人監視システム２００では、セキュリティゲートＳＧを通行する通行人を撮像する全体カメラ１０１と、全体カメラ１０１の周辺に複数（図７では３台）の子カメラ１０６−１〜１０６−３とが配置されている。

図７において、第１の実施形態では、全体カメラ１０１に映る複数の人物ごとに子カメラ１０６を割り当てていたが、第２の実施形態では、１人の人物の特徴領域ごとに子カメラ１０６を割り当てる。

図８は、人物の特徴領域における各子カメラ１０６−１〜１０６−３の割り当て例を示す説明図である。図８では、例えば、子カメラ１０６−１は人物の顔の部位を撮像し、子カメラ１０６−２は人物の上半身の部位を撮像し、子カメラ１０６−３は人物の所持物の有無を撮像する。

第１の実施形態と同様に、セキュリティゲートＳＧを通行する通行人を撮像する全体カメラ１０１の映像を基にして、動体検出装置１０２が動体検出し、人物認識装置１０３が動体の位置情報から人物を認識する。

そして、カメラ位置算出装置１０４により全体カメラ１０１の画像上での位置情報に基づいて、子カメラ制御装置１０５は、当該人物の１又は複数の特徴領域を子カメラ１０６−１〜１０６−３に割り当てる。

以下では、子カメラ１０６−１は人物の顔領域が割り当てられ、子カメラ１０６−２は人物の上半身領域が割り当てられ、子カメラ１０６−３は人物の所持物領域が割り当てられたとする。

子カメラ制御装置１０５により人物の顔に割り当てられた子カメラ１０６−１は、子カメラ制御装置１０５から指示された位置情報に基づいて人物の顔領域を撮像する。

そして、当該子カメラ１０６−１が撮像した映像が顔認証装置２０１に与えられると、顔認証装置２０１は犯罪者データベース２０４を参照して犯罪者の顔認証を行う。

顔認証装置２０１で犯罪者の顔認証を得た場合、顔認証装置２０１は、通行人情報を通行人データベース２０６に記録する。また、顔認証装置２０１は通報装置２０５に通知して、通報装置２０５により、警備員や警察などに通報する。さらに、犯罪者の顔認証を得た場合、図示しないゲート制御装置が、セキュリティゲートＳＧを閉じるようにしてもよい。

また、顔認証装置２０１で顔認証が特定できない場合、顔認証装置２０１において、子カメラ１０６−１からの画像情報を基にして、顔認証成功に不足する情報を解析する。そして、顔認証成功に不足する情報を得た場合、顔認証装置２０１は、その情報を子カメラ制御装置１０５にフィードバックする。これにより、子カメラ制御装置１０５は、フィードバックされた情報に基づいて、子カメラ１０６−１に指示する撮像位置、倍率、明度などをリアルタイムに補正することができる。

また、子カメラ制御装置１０５により人物の上半身に割り当てられた子カメラ１０６−２は、子カメラ制御装置１０５から指示された位置情報に基づいて人物の上半身を撮像する。そして、子カメラ１０６−２が撮像した映像が上半身解析装置２０２に与えられると、上半身解析装置２０２において、子カメラ１０６−２からの映像に基づいて上半身の特徴情報が解析され、その解析結果が通行人情報として通行人データベース２０６に記録される。ここで、上半身解析装置２０２は、上半身の特徴情報として、衣服の特徴(色、類推される種類)や、人物の上半身の大きさ、が挙げられる。

また、上半身解析装置２０２で上半身の特徴情報が特定できない場合、上半身解析装置２０２において、子カメラ１０６−２からの画像情報を基にして、上半身の特徴を特定するために不足する情報を解析する。そして、上半身の特徴を特定するために不足する情報を得た場合、上半身解析装置２０２は、その情報を子カメラ制御装置１０５にフィードバックする。これにより、子カメラ制御装置１０５は、フィードバックされた情報に基づいて、子カメラ１０６−２に指示する撮像位置、倍率、明度などをリアルタイムに補正することができる。

さらに、子カメラ制御装置１０５により人物の所持物の有無の特徴領域を割り当てられた子カメラ１０６−３は、子カメラ制御装置１０５から指示された位置情報に基づいて撮像する。そして、所持物解析装置２０３は、子カメラ１０６−３の映像に基づいて、当該人物の所持物の有無、また所持物を所持している場合に、その所持物の色、形、長さ、類推される種類等を解析する。また、所持物解析装置２０３は、解析情報を通行人情報として通行人データベース２０６に記録する。

また、所持物解析装置２０３で所持物の色、形、長さ、類推される種類等が特定できない場合、所持物解析装置２０３において、子カメラ１０６−３からの画像情報を基にして、所持物の色、形、長さ、類推される種類等の特徴を特定するために不足する情報を解析する。そして、所持物の色、形、長さ、類推される種類等の特徴を特定するために不足する情報を得た場合、所持物解析装置２０３は、その情報を子カメラ制御装置１０５にフィードバックする。これにより、子カメラ制御装置１０５は、フィードバックされた情報に基づいて、子カメラ１０６−２に指示する撮像位置、倍率、明度などをリアルタイムに補正することができる。

なお、顔認証装置２０１、上半身解析装置２０２、所持物解析装置２０３の処理は並列処理で行われても良い。通行人データベース２０６に記録された情報は後に犯罪などが発生した場合の情報に用いることもできる。

（Ｂ−３）第２の実施形態の効果
以上のように、第２の実施形態によれば、以下に示すような効果が期待できる。

第２の実施形態によれば、全体カメラ及び子カメラの連携により、ある人物の複数の特徴領域を一度に撮影することができる。

また、第２の実施形態によれば、全体カメラ及び子カメラの連携により、人物の特徴領域における高解像度映像を撮影することが可能となる。

さらに、第２の実施形態によれば、子カメラから取得した映像に基づく特徴領域の情報（通行人情報）を通行人データベースに保持することができる。

さらにまた、第２の実施形態によれば、特定部位の解析に失敗した場合でも、失敗した情報を基に制御情報をフィードバックすることにより、即時に再度解析が可能。

（Ｃ）他の実施形態
第１の実施形態では入退場管理システムを示したが、第１の実施形態における社員データベース１０８を顧客データベースへ、出退勤管理装置を顧客管理装置に置き換えれば、店舗顧客管理システムにも適用可能である。予約客の管理や登録している顧客に有用な情報を提示するシステムにも適用可能である。

第２の実施形態では通行人監視システムを示したが、通行する人物の特定の部位に注目した統計情報管理システムにも適用可能である。

第１の実施形態の入退場管理システムの構成を示す構成図である。 第１の実施形態の入退場管理システムにおけるカメラ配置のイメージを説明する説明図である。 第１の実施形態の子カメラ制御装置の機能構成を示すブロック図である。 第１の実施形態の顔認証装置の機能構成を示すブロック図である。 第１の実施形態の入退場管理システムにおける処理を示すフローチャートである。 第２の実施形態の通行人監視システムの構成を示す構成図である。 第２の実施形態の通行人監視システムにおけるカメラ配置のイメージを説明する説明図である。 第２の実施形態の子カメラの撮影領域の割り当てを説明する説明図である。

符号の説明

１０１…全体カメラ、１０２…動体検出装置、１０３…人物認識装置、１０４…カメラ位置算出装置、１０５…子カメラ制御装置、１０６（１０６−１〜１０６−４）…子カメラ、１０７…顔認証装置、１０８…社員データベース、１０９…出退勤管理装置、２０１…顔認証装置、２０２…上半身解析装置、２０３…所持物解析装置、２０４…犯罪者データベース、２０５…通報装置、２０６…通行人データベース。

Claims (8)

1. 第１の撮像手段と、上記第１の撮像手段の映像よりも狭い範囲を撮像する複数の第２の撮像手段とを備え、上記第１の撮像手段の映像に映っている１又は複数の対象の撮像管理を行う撮像管理システムであって、
   上記第１の撮像手段から取得した映像に基づいて、特定する対象の特徴情報を含む特徴領域を検索して、上記第１の撮像手段の映像に映っている１又は複数の対象を特定する対象特定手段と、
   上記対象特定手段により特定された上記１又は複数の対象に対して上記各第２の撮像手段を割り当て、上記１又は複数の対象について、上記第１の撮像手段の映像よりも高解像度の映像を撮像させるように上記各第２の撮像手段を制御する撮像制御手段と、
   上記各第２の撮像手段が撮像した上記１又は複数の対象の高解像度の画像を同時に取得して管理する高解像度画像管理手段と
   を備えることを特徴とする撮像管理システム。
2. 上記対象特定手段が、
   上記第１の撮像手段から取得した映像に基づいて、１又は複数の動体を検出する動体検出部と、
   予め上記各対象を認識するための特徴情報を保持しており、上記動体検出手段により検出された上記１又は複数の動体の領域に上記特徴情報を含む特徴領域があるか否かを検索して上記各対象を認識する対象認識部と、
   上記対象認識部により認識された上記各対象について、上記第１の撮像手段の画像上での位置情報を求める位置算出部と
   を備えることを特徴とする請求項１に記載の撮像管理システム。
3. 上記撮像制御手段が、上記対象特定手段の上記位置算出部から取得した、上記第１の撮像手段の画像上における上記各対象の位置情報に基づいて、上記各第２の撮像手段の割り当てを行うものであることを特徴とする請求項２に記載の撮像管理システム。
4. 上記高解像度画像管理手段が、上記各第２の撮像手段の映像の情報を上記撮像制御手段にフィードバックするものであることを特徴とする請求項１〜３のいずれかに記載の撮像管理システム。
5. 第１の撮像手段と、上記第１の撮像手段の映像よりも狭い範囲を撮像する複数の第２の撮像手段とを備え、上記第１の撮像手段の映像に映っている１又は複数の対象の撮像管理を行う撮像管理方法であって、
   対象特定手段が、上記第１の撮像手段から取得した映像に基づいて、特定する対象の特徴情報を含む特徴領域を検索して、上記第１の撮像手段の映像に映っている１又は複数の対象を特定する対象特定工程と、
   撮像制御手段が、上記対象特定手段により特定された上記１又は複数の対象に対して上記各第２の撮像手段を割り当て、上記１又は複数の対象について、上記第１の撮像手段の映像よりも高解像度の映像を撮像させるように上記各第２の撮像手段を制御する撮像制御工程と、
   高解像度画像管理手段が、上記各第２の撮像手段が撮像した上記１又は複数の対象の高解像度の画像を同時に取得して管理する高解像度画像管理工程と
   を有することを特徴とする撮像管理方法。
6. 第１の撮像手段と、上記第１の撮像手段の映像よりも狭い範囲を撮像する複数の第２の撮像手段とを備え、上記第１の撮像手段の映像に映っている１又は複数の対象の認証を行う認証システムであって、
   上記第１の撮像手段から取得した映像に基づいて、特定する対象の特徴情報を含む特徴領域を検索して、上記第１の撮像手段の映像に映っている１又は複数の対象を特定する対象特定手段と、
   上記対象特定手段により特定された上記１又は複数の対象に対して上記各第２の撮像手段を割り当て、上記１又は複数の対象について、上記第１の撮像手段の映像よりも高解像度の映像を撮像させるように上記各第２の撮像手段を制御する撮像制御手段と、
   上記各第２の撮像手段が撮像した上記１又は複数の対象の高解像度の画像を同時に取得する高解像度画像取得手段と、
   予め認証対象の１又は複数の登録情報を記憶する登録情報記憶手段と、
   上記高解像度画像取得手段が取得した上記１又は複数の対象の高解像度画像と、上記登録情報記憶手段の上記各登録情報とに基づいて所定の認証処理を行う認証手段と
   を備えることを特徴とする認証システム。
7. 上記認証手段が、上記各対象の高解像度画像に基づく認証に失敗した際に、認証失敗に係る原因解析を行い、その原因解析情報を上記撮像制御手段にフィードバックするものであることを特徴とする請求項６に記載の認証システム。
8. 第１の撮像手段と、上記第１の撮像手段の映像よりも狭い範囲を撮像する複数の第２の撮像手段とを備え、上記第１の撮像手段の映像に映っている１又は複数の対象の認証を行う認証システムであって、
   予め認証対象の１又は複数の登録情報を記憶する登録情報記憶手段を備え、
   対象特定手段が、上記第１の撮像手段から取得した映像に基づいて、特定する対象の特徴情報を含む特徴領域を検索して、上記第１の撮像手段の映像に映っている１又は複数の対象を特定する対象特定工程と、
   撮像制御手段が、上記対象特定手段により特定された上記１又は複数の対象に対して上記各第２の撮像手段を割り当て、上記１又は複数の対象について、上記第１の撮像手段の映像よりも高解像度の映像を撮像させるように上記各第２の撮像手段を制御する撮像制御工程と、
   高解像度画像取得手段が、上記各第２の撮像手段が撮像した上記１又は複数の対象の高解像度の画像を同時に取得する高解像度画像取得工程と、
   認証手段が、上記高解像度画像取得手段が取得した上記１又は複数の対象の高解像度画像と、上記登録情報記憶手段の上記各登録情報とに基づいて所定の認証処理を行う認証工程と
   を有することを特徴とする認証方法。

Images