JP6339445B2 - 人物識別装置 - Google Patents

Description

本発明は、人物識別装置に関する。

人物の在室状況や室内への入退出管理、遠隔地からの見守り等を行うために、各種センサや会員証等のＩＤカードを用いて人物を認識（識別）する機器や手法が提案されている。
例えば、特許文献１には、顔認証装置を用いた顔認証において、特定のユーザの認証の都度、顔画像データを顔画像データベースに蓄積していき、新たな顔認証の場合は、カメラにより撮像された新たな顔画像データが顔データベースに蓄積されているいずれかの顔画像データに対応する否かを判定し、判定の結果、対応していると認証されたときは、この新たな画像データを顔画像データベースに登録することが記載されている。
また、特許文献２には、ユーザが入場用ゲートに近づくまでにカメラにより撮像されたＮ枚のユーザの顔画像の複数の特徴量を合成して顔認証に用いる特徴量を生成し、顔認証処理を行うことが記載されている。

特開２０１３−７７０６８号公報 特開２００９−１０４５９９号公報

しかしながら、特許文献１に記載の顔認証データベース管理装置では、撮像装置の設置場所、向き、等の設置状態や、撮影範囲内の照度の変動、等の設置環境の変動により、顔画像の認識精度が低下することがあった。また、設置状態、撮影範囲内の照度に応じた顔画像データを取得し、更新するまでに多くの時間を要するために、即座に運用を開始できないことがあった。
特許文献２に記載の顔認証装置も、カメラの設置状態や設置環境が変化する場合には、顔画像の認識精度が低下することがあった。また、カメラの設置場所を変更する場合には、ユーザの操作入力を受け付ける操作入力装置の移設を要するため、設置場所の変更には適さない。また、認証を行う際にユーザの操作入力が要求されるため、ユーザに対する利便性が損なわれていた。

本発明は、上記の点を鑑みてなされたもので、利便性を損なわずに精度よく人物を識別することができる人物識別装置を提供する。

本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、少なくとも１つの撮像部が撮像した映像から前記映像が表す人物を検出する人物検出部と、前記映像から算出した特徴量に基づいて前記人物の状態を検出する情報検出部と、を備え、前記情報検出部は、前記特徴量と予め第１の識別データベースに登録された特徴量とに基づいて人物を識別し、人物の識別に成功したとき、前記特徴量を第２の識別データベースに登録する人物識別装置である。

本発明によれば、利便性を損なわずに精度よく人物を識別することができる。

本発明の第１の実施形態に係る人物識別装置を用いた見守りシステムの一例の概念図である。 本発明の第１の実施形態に係る人物識別システムの構成を示すブロック図である。 本発明の第１の実施形態に係る人物識別装置の構成を示すブロック図である。 本発明の第１の実施形態に係る映像解析部の構成を示すブロック図を示す。 基本顔識別データベースの一構成例を示す概念図である。 設置状態に応じた顔識別データベースの一構成例を示す概念図である。 設置状態に応じた顔識別データベースの他の構成例を示す概念図である。 本発明の第１の実施形態に係る人物識別処理を示すフローチャートである。 本発明の第２の実施形態に係る統合顔識別データベースの一構成例を示す概念図である。 本発明の第２の実施形態に係る顔識別データベース情報の一構成例を示す概念図である。 顔識別データ管理情報の一例を示す図である。 顔の向き、カメラの向き、撮影環境の例を示す図である。 本発明の第２の実施形態に係る人物識別装置の構成を示すブロック図である。 ダウンロードされた顔識別データベースの一例を示す概念図である。 本発明の第２の実施形態に係る人物識別処理を示すフローチャートである。

（第１の実施形態）
以下、図面を参照しながら本発明の第１の実施形態について詳しく説明する。
本実施形態に係る人物識別装置１１は、内蔵された撮像装置が撮像した画像から検出した人物の位置、行動の情報を認識し、認識した情報を撮像装置が設置された宅内又は遠隔地に設置された情報表示端末装置２１に送信する。送信された情報は、見守り、子守り、侵入者の監視、防犯、その他のセキュリティ管理、宅内における電子機器の監視、制御、等、様々な用途に用いることができる。しかし、本発明の実施形態は、これらの用途を必ずしも必須の構成とするものではない。

〔見守りシステム〕
次に、本実施形態に係る人物識別装置１１を応用した見守りシステムについて説明する。
図１は、本発明の第１の実施形態に係る人物識別装置１１を用いた見守りシステムの一例の概念図である。この見守りシステムは、人物識別システム１（後述）の一形態であり、４台の人物識別装置１１と２台の情報表示端末装置２１を含んで構成される。４台の人物識別装置１１は、それぞれ人物識別装置１１−１〜１１−４と呼ぶことにより区別され、２台の情報表示端末装置２１は、それぞれ情報表示端末装置２１−１、２１−２と呼ぶことにより区別することがある。

人物識別装置１１（１１−１〜１１−４）は、それぞれ被写範囲内の被写体を表す映像を撮像し、撮影された映像から人物の有無を検出し、検出された人物が誰であるか、どの位置にいるか、どのような行動をしているか、等、人物の状態に関する情報（以下、「認識情報」と呼ぶ）を認識（取得）する。
人物識別装置１１（１１−１〜１１−４）は、それぞれ撮像した映像を表す映像データと、認識した認識情報を情報表示端末装置２１に送信する。人物識別装置１１が送信するデータは、認識情報のみでもよいし、映像データのみでもよいし、その両方でもよい。
情報表示端末装置２１は、人物識別装置１１から映像データ及び認識情報を受信し、受信した映像データが表す映像や認識情報を表示する表示部を備える。これにより、ユーザは、人物の検出の有無、検出された人物である在室者の状態を把握することができる。

図１は、４台の人物識別装置１１−１〜１１−４が設置された家屋の宅内の平面図と、宅内で用いられている情報表示端末装置２１−１と、家屋から離れた遠隔地に設置された情報表示端末装置２１−２を示す。その家屋は、玄関、廊下、階段、洗面所、ダイニングルーム、居間、及び和室を有する。図１に示す例では、廊下、和室、居間、ダイニングルームの一角（コーナー）に、それぞれ人物識別装置１１−１、１１−２、１１−３、１１−４が設置されている。人物識別装置１１−１〜１１−４にそれぞれ内蔵された撮像装置の水平画角の中線である光学軸の方向が、人物識別装置１１−１〜１１−４のそれぞれが設置された角で交差された部屋の２つの壁面の間の二等分線の方向であってもよい。従って、撮像装置の水平画角が９０°以上である場合に、各撮像装置は、それぞれの部屋の水平方向の全体を撮像できる。
なお、各撮像装置の垂直方向の位置及び向きについては、人物識別装置１１−１〜１１−４が天井に接するように設置された場合、光学軸が水平方向から所定角度（例えば、３０°または真下を示す９０°）だけ下向きであればよい。また、人物識別装置１１−１〜１１−４が床に接するように設置された場合、光学軸が水平方向から所定角度（例えば、３０°）だけ上向きであればよい。さらに、人物識別装置１１−１〜１１−４がテーブルや棚などの設置物上等、人の身長程度の高さに設置された場合、光学軸が水平となるように設置されてもよい。なお、人物識別装置１１−１が、廊下の角のうち、玄関の対角に設置されているのは、玄関から入室する入室者を確実に撮影するためである。

図１に示す例では、人物識別装置１１−２、１１−４によって、和室にいる在室者１の認識情報とダイニングルームにいる在室者２の認識情報が、情報表示端末装置２１−１、２１−２に伝送される。これにより、情報表示端末装置２１−１、２１−２のユーザである見守り者１、２は、在室者１の状態と在室者２の状態を把握することができる。また、人物識別装置１１−３によって、居間にいる見守り者１の認識情報が情報表示端末装置２１−２に伝送されることで、遠隔地にいる見守り者２は、見守り者１の状態も把握することができる。
その他、人物識別装置１１−１は、玄関からの入室者を検出し、検出した入室者が予め登録した登録者であるか否かを判定し、入退出の時刻や登録者であるか否かを示す情報を検出した入室者の認識情報に含めてもよい。これにより、見守り者１、２は、予め登録した登録者の外出、帰宅の有無、それらの時刻を把握することができる。また、人物識別装置１１−１は、未登録者である不審者の入室が検出された場合、直ちにその旨を示す認識情報を情報表示端末装置２１−２に伝送してもよい。人物識別装置１１−１は、さらに、認識情報に追加して不審者の入室を検出した前後の時間に収録された映像を示す映像データを伝送してもよい。
また、人物識別装置１１−１は、人物識別装置１１−１〜１１−４でそれぞれ取得された認識情報を組合せ、見守り者や不審者がいつどの部屋をどのような順序で移動したかを示す情報（入退出の時刻や、どの登録者であるかまたは登録者であるか否かを示す情報など）を検出した入室者の認識情報に含めてもよい。

なお、人物識別装置１１（１１−１〜１１−４）の位置、方向は、内蔵する撮影部により撮影される映像が室内の全体を網羅することで、各部屋の在室者がその画角内に極力含まれる位置であれば、いかなる位置、方向であってもよい。例えば、天井、壁面に設置されてもよいし、それらに設置される照明器具や空調装置に内蔵されてもよい。
また、人物識別装置１１の個数は、４台に限られず、３台以下であってもよいし、５台以上であってもよい。人物識別装置１１の位置は、これに限られたものではなく、洗面所や浴室、屋外の車庫、庭園、等、見守りが必要と考えられる場所であれば、屋内、屋外を問わず、いかなる位置であってもよい。

また、情報表示端末装置２１（２１−１、２１−２）は、ユーザによる操作入力を受け付ける操作入力部とユーザを被写体として撮像する撮像部を備えていてもよい。操作入力部は、撮像されたユーザの動作（ジェスチャ）に基づいて非接触で操作入力を受け付けるジェスチャ入力が可能であってもよい。その場合、情報表示端末装置２１には、その位置を基準とする予め設定された領域であって、ユーザによる操作を受け付ける操作可能領域が予め設定されている。操作可能領域は、例えば、情報表示端末装置２１の中心部からユーザの手の位置までの手前方向の距離である操作可能距離の上限（例えば、３ｍ）である。従って、操作入力部は、操作可能距離の上限よりも遠くに離れたユーザによる操作を受け付けない。但し、操作可能領域の左右方向は、例えば、撮像部の画角内に設定されてもよい。この場合には、左右方向の設定は不要となる。

〔人物識別システム〕
次に、本実施形態に係る人物識別システム１の構成について説明する。
図２は、本実施形態に係る人物識別システム１の構成を示すブロック図である。
人物識別システム１は、人物識別装置１１−１〜１１−４、情報表示端末装置２１−１、２１−２、及びサーバー装置３１を含んで構成される。人物識別装置１１−１〜１１−４、情報表示端末装置２１−１、２１−２、及びサーバー装置３１は、ネットワーク４１に接続され互いにデータを送信及び受信することができる。

ネットワーク４１は、ローカルエリアネットワーク（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、広域ネットワーク（ＷＡＮ：Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）のいずれか、又は両者を含んで構成されることができるが、これに限定されない。例えば、情報表示端末装置２１−１が、人物識別装置１１−１〜１１−４と同一の建造物内（宅内）にあり、情報表示端末装置２１−２が、その建造物から予め定めた距離内にある場合には、ＬＡＮを用いて接続されるようにしてもよい。
ＬＡＮは、例えば、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ）８０２．３、ＩＥＥＥ８０２．１１、ＩＥＥＥ８０２．１５．１等、いずれの通信規格で規定された方式でもよい。
サーバー装置３１は、統合顔識別ＤＢ（ＤＢ：Ｄａｔａｂａｓｅ）を記憶した記憶部を備える。統合顔識別ＤＢについては、後述する。

情報表示端末装置２１−１、２１−２は、人物識別装置１１−１〜１１−４から受信した認識情報に基づく表示用データを生成し、生成した表示用データを表示部（図示せず）に出力するデータ処理部（図示せず）を備えてもよい。このデータ処理部は、認識情報を文字で表示するための表示用データを生成してもよいし、イラストで表示するための表示用データを生成してもよい。また、データ処理部は、認識情報に含まれるテキストデータについてテキスト音声合成処理を行って音声データに変換し、変換した音声データを音声再生部（例えば、スピーカ）に出力してもよい。また、データ処理部は、認識情報に所定の緊急情報が含まれているか否かを判定し、含まれていると判定したとき、さらにユーザの注意を促す情報を表すデータを表示部、音声再生部、又は刺激提示部（例えば、バイブレータ）に出力してもよい。その場合、ユーザの注意を促す情報として、フラッシュ、警告音、又はバイブレーションが、認識情報とともに表示又は提示される。また、データ処理部は、認識情報に所定の緊急情報（在室者の所定の状態、等）が含まれているか否かを判定し、含まれていると判定したとき、その認識情報の送信元の人物識別装置１１−１〜１１−４のいずれかから受信した映像データを表示部に出力してもよい。これにより、ユーザである見守り者は、在室者の容態や安否等の状態を、映像を視ることによって確認することができる。

また、情報表示端末装置２１−１、２１−２は、人物識別装置１１−１〜１１−４とＷＡＮを用いて接続されるようにしてもよい。情報表示端末装置２１−１、２１−２は、人物識別装置１１−１〜１１−４から認識情報や映像データを受信し、受信した認識情報や、映像データが示す映像を上述したように表示する。
ＷＡＮは、公衆通信網、インターネット、あるいはそれらの組み合わせであってもよい。公衆通信網は、光回線、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）などの固定網でもよいし、ＩＭＴ−２０００（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ ２０００）、ＬＴＥ−Ａｄｖａｎｃｅｄ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ Ａｄｖａｎｃｅｄ）などの移動網でもよい。
これにより、いずれかの情報表示端末装置、例えば、情報表示端末装置２１−２のユーザである見守り者２には、人物識別装置１１−１〜１１−４から離れた遠隔地に所在する場合であっても、認識情報や映像が伝達される。

なお、情報表示端末装置２１は、映像を撮像する撮像部を備え、撮像部が撮像した映像を示す映像データを人物識別装置１１に送信してもよい。
また、人物識別装置１１は、映像を表示する表示部に接続され、情報表示端末装置２１から受信した映像データを表示部に出力してもよい。これにより、人物識別装置１１と情報表示端末装置２１との間で双方向の映像通信（いわゆる、テレビ電話）が可能になる。人物識別装置１１に接続される表示部は、ディスプレイ単体でもよいし、ディスプレイが組み込まれた電子機器、例えば、テレビジョン受信装置、携帯電話機（スマートフォンを含む）、タブレット端末装置、パーソナルコンピュータ、などでもよい。

人物識別装置１１−１〜１１−４が備える顔識別ＤＢ１〜４のそれぞれは、予め識別対象の人物を登録者として、各登録者の身体の一部である顔面の特徴を示す特徴データから形成されるデータ群が体系的に構成されたものである。登録者数は、１名であってもよいが、通例、２名以上である。これらの顔識別ＤＢ１〜４を合わせて基本顔識別ＤＢと呼ぶことがある。
人物識別装置１１は、撮像された映像から、画像処理によって人物の顔の特徴量を抽出し、人物の顔を識別する。人物識別装置１１は、顔映像から算出した両目や鼻、口の位置情報、顔の輪郭情報などの特徴量を算出し、基本顔識別ＤＢに予め登録しておいた、これらの特徴量と比較して、算出した特徴量と高い類似度を示す特徴量を検索することにより、撮像した人物がどの登録者であるか識別することができる。人物識別装置１１は、例えば、基本顔識別ＤＢの特徴量と算出した特徴量の類似度として、同一の顔の部位を表す特徴量（例えば目の位置）間の差分を特徴量毎に算出し、それらの差分が最小となる基本顔識別ＤＢ上の人物を撮影映像上の人物であると判定する。人物識別装置１１は、識別した人物を示す情報を含む認識情報を、情報表示端末装置２１−１、２１−２に送信する。なお、人物の顔を識別する方法は、上述した方法に限定されず、人の顔を識別できる方法であれば、特徴量または類似度の算出方法はどのような方法が用いられてもよい。

また、人物識別装置１１−１〜１１−４の記憶部には、基本顔識別ＤＢとは別に設置状態に応じた顔識別ＤＢを記憶している。設置状態に応じた顔識別ＤＢとは、人物識別装置１１−１〜１１−４の空間的状態（設置位置、向き、等）、撮影環境（明るさ、等）の設置状態毎の各登録者の登録データから形成されるデータ群が体系的に構成されたものである。そのため、人物識別装置１１−１〜１１−４の設置状態に応じた顔識別ＤＢは、同一の登録者についても人物識別装置１１−１〜１１−４の設置状態によって登録データの詳細が異なる。そのため、一旦設置された人物識別装置１１が撤去され、再度設置する場合には、設置状態に応じた顔識別ＤＢを復元し、再利用することになる。また、人物識別装置１１は、必ずしも元の位置や向きに設置されるとは限らず、別個の位置や向きや、新たな位置や向きに設置されることがある。また、その都度、撮影環境が異なることがある。そこで、サーバー装置３１が、各人物識別装置１１で記憶されている設置状態に応じた顔識別ＤＢを一括して記憶する。

サーバー装置３１の統合顔識別ＤＢは、基本顔識別ＤＢと各人物識別装置１１で記憶されている設置状態に応じた顔識別ＤＢによって形成される。人物識別装置１１は、自装置の設置状態に応じた顔識別ＤＢをサーバー装置３１に要求し、要求した顔識別ＤＢをサーバー装置３１からダウンロードする。なお、初めて人物識別装置１１が設置された場合など、人物識別装置１１に顔識別ＤＢが登録されていない場合は、人物識別装置１１は、基本顔識別ＤＢについても、サーバー装置３１からダウンロードしてもよい。人物識別装置１１が、自装置の設置状態に応じた顔識別ＤＢを要求するタイミングは、例えば、撤去後再度設置される場合や、保守管理等に伴う交換により使用開始される場合、等である。一般に、設置状態に応じた顔識別ＤＢの情報量は多量であるが、サーバー装置３１からダウンロードすることで、新たに設置状態に応じた顔識別ＤＢをその都度生成する必要がなくなり、容易に復旧することができる。また、復旧にかかる時間を短縮することができる。

なお、ネットワーク４１の構成は、上述した例に限られない。サーバー装置３１は、人物識別装置１１−１〜１１−４と同一の建造物内のＬＡＮに接続されていてもよい。また、人物識別装置１１−１〜１１−４、情報表示端末装置２１−１、２１−２及びサーバー装置３１は、個別にＷＡＮに接続されてもよい。装置間でデータを送受信することができれば、ネットワーク４１は、いかなる構成を有してもよい。また、人物識別装置１１−１〜１１−４のいずれかは、サーバー装置３１と一体化して構成されてもよい。

〔人物識別装置〕
次に、本実施形態に係る人物識別装置１１の構成について説明する。
図３は、本実施形態に係る人物識別装置１１の構成を示すブロック図である。
人物識別装置１１は、撮像部１１０、映像解析部１１１、情報ＤＢ１２０、データ変換部１３０、伝送制御部１４０、及び設置情報取得部１５０を含んで構成される。

撮像部１１０は、映像を撮像し、撮像した映像を表す映像データを映像解析部１１１に出力する。撮像部１１０は、例えば、被写体から入射された光を焦点に集光するレンズを備えた光学系とレンズの焦点に位置して集光された光を電気信号に変換する撮像素子を備える撮像ユニットを含むカメラである。撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）素子、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）素子である。撮像部１１０が備える撮像ユニットは、１個であってもよいし、２個以上であってもよい。２個以上の撮像ユニット間で、それぞれの撮像領域（画角）を分担することで、より広い領域を撮像することや、ある被写体（例えば、家具）によって遮られる領域（オクルージョン領域）を減少することが可能となる。

映像解析部１１１は、撮像部１１０から入力された映像データを解析することにより、映像データが表す映像から被写体である人物やその人物の顔を検出し、検出した人物を識別し、また、その人物がとる行動を検知する。映像解析部１１１は、映像データを解析する際、情報ＤＢ１２０に記憶された各種のデータを参照する。各種のデータには、映像解析部１１１における人物、顔の検出に用いられる人物、顔、等のテンプレート、人物の識別に用いられる特徴量データ（つまり、基本顔識別ＤＢ、設置状態に応じた顔識別ＤＢ）、行動の検出に用いるためのモーション情報、等がある。映像解析部１１１は、人物や顔の検出の有無、検出した人物、顔、識別した人物、検知した行動、のいずれか又はそれらの組み合わせを表す認識情報を生成し、生成した認識情報をデータ変換部１３０に出力する。映像解析部１１１は、認識情報の生成に用いた映像データを、その認識情報とともにデータ変換部１３０に出力してもよい。
また、映像解析部１１１は、映像データを解析する際、さらに、設置情報取得部１５０から入力された設置情報を参照してもよい。映像解析部１１１は、設置情報を認識情報に付加してデータ変換部１３０に出力してもよい。

情報ＤＢ１２０は、映像解析部１１１で用いられる各種のデータを記憶する記憶媒体（メモリ）を含んで構成される記憶部である。また、情報ＤＢ１２０には、映像解析部１１１で生成された中間データ、参照された過去の映像データを一時的に記憶されてもよい。また、映像解析部１１１が生成した認識情報を情報表示端末装置２１で表示するための情報、例えば、表示用フォーマット、等が記憶され、その情報が認識情報とともに情報表示端末装置２１に送信されてもよい。表示用フォーマットには、例えば、認識された人物について検知された行動を情報表示端末装置２１の表示部に表示する際の態様、位置、文字、等を指定する情報が含まれてもよい。

データ変換部１３０は、映像解析部１１１から入力された認識情報、映像データを所定のブロック単位のデータブロックに変換する。データブロックの形式は、情報表示端末装置２１との間の通信方式に適合した形式であればよい。データ変換部１３０は、変換したデータブロックを伝送制御部１４０に出力する。
伝送制御部１４０は、データ変換部１３０から入力されたデータブロックを、ネットワーク４１を介して情報表示端末装置２１に送信する。なお、伝送制御部１４０は、データブロックを、人物識別装置１１に内蔵又は人物識別装置１１に接続された記憶媒体（図示せず）に記憶してもよい。この記憶媒体は、光学ディスク、ＨＤＤ(Ｈａｒｄ−Ｄｉｓｋ Ｄｒｉｖｅ)、半導体メモリ、等のいずれでもよい。伝送制御部１４０は、例えば、通信インタフェース、データ入出力インタフェースである。

設置情報取得部１５０は、撮像部１１０の設置状態を示す設置情報を取得し、取得した設置情報を映像解析部１１１に出力する。設置情報取得部１５０は、例えば、撮像部１１０の高さ、向きを検知する、赤外線センサ、測距センサ、加速度センサ、ジャイロセンサ、電子コンパス等を備え、撮像部１１０の位置や向きを検出してもよい。
また、設置情報取得部１５０は、撮像部１１０の周囲、例えば被写範囲の明るさを検知する輝度センサを備えてもよいし、撮像部１１０から入力された映像データに基づいて明るさを検知してもよい。設置情報取得部１５０は、撮像部１１０の周囲の天候を検知する気象センサ、気温を計測する温度センサ、湿度を計測する湿度センサ、等を備えてもよい。これらのセンサで検出された信号は、設置情報を示す。
なお、設置情報取得部１５０は、これらの設置情報を他の機器から入力されてもよいし、ユーザによる操作入力に応じて入力されてもよい。

〔映像解析部〕
次に、本実施形態に係る映像解析部１１１の構成について説明する。
図４は、本実施形態に係る映像解析部１１１の構成を示すブロック図である。
映像解析部１１１は、ユーザ情報検出部１１２、モーション検出部１１３、行動認識部１１４、人物検出部１１５、及び動きベクトル検出部１１６を含んで構成される。

映像解析部１１１は、情報ＤＢ１２０に記憶された顔識別ＤＢを参照して、撮像部１１０から入力された映像データが示す映像から、後述する画像処理方法を用いて人物の顔を検出する。顔の検出に成功した場合、被写体として人物を検出したと判定する。映像解析部１１１は、異なる撮像時刻間で映像に変化があった領域を人物の領域であると判定してもよい。映像解析部１１１は、人物の顔の検出結果と、撮像時刻が互いに異なる複数の映像から検出した被写体の動きを示す動き情報とから、その人物の顔の位置を追跡する。映像解析部１１１は、人物の有無を示す情報を認識情報の一部としてデータ変換部１３０に出力し、情報ＤＢ１２０に記憶する。また、映像解析部１１１は、撮像部１１０から入力された映像データに基づいて、及び追跡した人物の位置、動き量の検出、人物の性別や年齢等の属性の推定、人物が誰であるかの識別、人物の顔が向いている方向や表情の推定、を行う。映像解析部１１１が、検出、推定した情報を認識情報の一部としてデータ変換部１３０に出力し、情報ＤＢ１２０に記憶する。
また、映像解析部１１１は、検出した人物が行っている行動、例えば、ジェスチャ等のモーションを検出し、検出した行動を表す情報を認識情報の一部としてデータ変換部１３０に出力し、情報ＤＢ１２０に記憶する。映像解析部１１１の機能構成については、後述する。

〔動きベクトル検出部〕
次に、動きベクトル検出部１１６が行う処理について説明する。
動きベクトル検出部１１６は、撮像部１１０から入力された現在の映像データが示す映像と、情報ＤＢ１２０から読み取った所定のフレーム数の過去の映像データが示す映像から、被写体が動いた領域を検出する。動きベクトル検出部１１６は、撮像ユニット毎に現在のフレームの画素毎の画素値と、過去のフレームの対応する画素の画素値との差分値が予め定めた閾値よりも大きい領域を、動いた領域として検出する。動きベクトル検出部１１６は、検出した動いた領域と、その領域の重心座標、移動量ならびに移動方向（動きベクトル）を追跡情報（動きベクトル情報）として、人物検出部１１５及びモーション検出部１１３に出力する。また、動きベクトル検出部１１６は、これらの情報を認識情報としてデータ変換部１３０に出力してもよいし、情報ＤＢ１２０に記憶してもよい。

動きベクトル検出部１１６は、映像データの他、後述の人物検出部１１５から入力される人物情報を参照して映像内で動いた領域を検出してもよい（図示せず）。動きベクトル検出部１１６は、映像データを用いて検出した動いた領域が、人物情報に含まれる位置情報を基準に予め定めた閾値の範囲（領域）内にある場合に、人物が動いたと判定する。動きベクトル検出部１１６は、人物が動いたと判定した領域、その領域の重心座標、移動量ならびに移動方向（動きベクトル）を追跡情報（動きベクトル情報）として、モーション検出部１１３に入力する。また、動きベクトル検出部１１６は、これらの情報を検出情報としてデータ変換部１３０に出力し、情報ＤＢ１２０に記憶してもよい。このように、映像データから検出した領域と人物が検出されたことを示す人物情報を参照することで、人物以外の被写体の動きを検出することを避けることができ、例えば、見守り対象の人物の動きベクトル情報を抽出して、情報表示端末装置２１に送信することができる。

なお、動きベクトル検出部１１６が動いた領域を検出する方法は、上述した方法に限定されない。動きベクトル検出部１１６は、例えば、縦と横の画素数が８×８や１６×１６などの所定の大きさの領域（マクロブロック）の単位で現在のフレームのマクロブロックに対応する領域が過去のフレームのどこにあるかを探索してもよい。対応する領域を探索する際、例えば、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）等の類似度を示す指標を用いることができる。そして、動きベクトル検出部１１６は、過去のフレームで探索した領域から、現在のフレームの対応する領域までの移動量と移動方向を定める。

〔人物検出部〕
次に、人物検出部１１５が行う処理について説明する。
人物検出部１１５は、撮像部１１０から入力された映像データと、動きベクトル検出部１１６から入力された動きベクトル情報とに基づいて検出された人物の顔面の画像を表す領域を検出する。顔の検出に成功した場合に、人物検出部１１５は、人物が室内に入室したと判定する。
人物検出部１１５は、検出した領域における代表点（例えば、重心点）の２次元座標や、その領域の上端、下端、左端、右端の２次元座標を表す２次元顔面領域情報を生成する。なお、撮像部１１０が複数の撮像ユニットを備える場合には、撮像ユニット毎に２次元顔面領域情報を生成し、生成した２次元顔面領域情報が示す２次元座標を組合せ、室内の３次元空間座標系の３次元座標に変換して、３次元の顔位置情報を生成してもよい。顔面の領域を検出するために、人物検出部１１５は、例えば予め設定した顔面の色彩（例えば、肌色）を表す色信号値の範囲にある画素を、入力された画像信号から抽出する。

なお、人物検出部１１５は、予め人間の顔面を表す濃淡（モノクロ）画像信号を記憶した記憶部を備えるようにしてもよい。そこで、人物検出部１１５は、記憶部から読み出した濃淡画像信号と入力された画像信号との相関値を複数の画素を含む画像ブロック毎に算出し、算出した相関値が予め定めた閾値よりも大きい画像ブロックを顔面の領域と検出する。
その他、人物検出部１１５は、入力された画像信号に基づいて顔の特徴量（例えば、Ｈａａｒ−Ｌｉｋｅ特徴量）を算出し、算出した特徴量に基づいて機械学習（例えば、Ａｄａｂｏｏｓｔアルゴリズム）を行い、学習したデータベースと入力映像の特徴量から顔面の領域を検出してもよい。人物検出部１１５が顔面の領域を検出する方法は、上述の方法に限られず、入力された映像データから顔面の領域を検出する方法であれば、いかなる方法を用いてもよい。また、映像中に人物がいる場合でも、必ずしも顔が撮影されるとは限らないため、動きベクトル検出部１１６から入力される動きベクトル情報を用いて、動いた領域に人物がいると判定してもよい。さらに、顔面の領域情報と動きベクトルを組み合わせて人物を検出してもよい。動きベクトル情報と顔面の領域情報とを照合しながら、検出した人物を追跡し、次のフレームでの人物検出精度の向上や顔検出範囲を特定することにより計算量の削減が可能となる。
また、人物を検出する方法は、顔を検出する方法だけに限られない。人物検出部１１５は、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）を用いて、人物の身体のシルエットを特徴量として抽出し、抽出した特徴量を学習（例えばＡｄａｂｏｏｓｔアルゴリズムやＳＶＭなど）することによって、人物を識別してもよい。

人物検出部１１５が画像上の顔を検出する方法はこれには限られない。人物検出部１１５は、入力された映像データから、顔の特性に関する特徴量、例えば、性別や年齢を表す特徴量や、顔の向いている向き、笑い、怒り、泣き、等の表情に係る特徴量（例えば、特徴点の座標、長さ、方向）など、を算出し、情報ＤＢ１２０に予め記憶した特徴量データを参照して、顔と類似していると判定された領域を顔領域として検出してもよい。
また、人物検出部１１５は、情報ＤＢ１２０に予め記憶した特徴量データを参照して、入力された映像データから、顔が表されている顔領域と、その顔の向いている向きを検出してもよい。ここで、情報ＤＢ１２０には、各方向（上、下、横、等）を向いた顔を表す映像から算出した特徴量を示す特徴量データを記憶しておく。
人物検出部１１５は、検出又は識別した人物の顔に関する情報を人物情報として、ユーザ情報検出部１１２およびモーション検出部１１３に出力する。また、人物検出部１１５は、映像データが示す映像から顔が検出された領域を抽出し、この抽出した領域の映像を示す切出映像データをユーザ情報検出部１１２およびモーション検出部１１３に出力する。
なお、上述の切出映像データとなる映像を抽出した領域は、その映像に検出された顔領域が含まれるように抽出されていればよく、抽出した領域の大きさは、例えば、人物の身体全体が含まれる大きさのように、どのような大きさであってもよい。人物検出部１１５は、人物情報及び切出映像データを検出情報としてデータ変換部１３０、行動認識部１１４に出力し、情報ＤＢ１２０に記憶してもよい。また、人物検出部１１５は、人物情報に、算出した特徴量を人物情報に含めて出力することにより、ユーザ情報検出部１１２での処理に利用できるようにしてもよい。

〔ユーザ情報検出部〕
次に、ユーザ情報検出部１１２の構成について説明する。
ユーザ情報検出部１１２は、属性推定部１１２０、表情推定部１１２１、人物識別部１１２２、位置検出部１１２３、及び人体部位検出部１１２４を含んで構成される。この構成により、ユーザ情報検出部１１２は、ユーザである撮像された人物の状態を検出し、検出した人物の状態を示す検出情報として後述する情報を行動認識部１１４に出力する。検出情報には、後述するように人体の特徴量を示す特徴量情報が含まれることがある。

属性推定部１１２０は、人物検出部１１５から入力された切出映像データから情報ＤＢ１２０に予め記憶された特徴量データを参照し、人物情報が示す人物の属性、例えば、年齢、性別を推定する。属性の推定に先立ち、前述の顔の特徴量を学習する際、年齢別や性別毎に特徴量を予め分類して学習データベースを生成しておく。属性推定部１１２０は、映像から抽出した特徴量とこれら学習データベースに含まれる特徴量との類似度を算出することによって、属性を推定する。属性推定部１１２０は、推定した属性を示す属性情報を行動認識部１１４に出力する。
表情推定部１１２１は、人物検出部１１５から入力された切出映像データから情報ＤＢ１２０に予め記憶された特徴量データを参照し、人物情報が示す人物の表情、例えば、笑い、泣き、怒り、等を推定する。表情の推定に先立ち、前述の属性推定部１１２０と同様に、表情毎に顔の特徴量を予め分類して学習データベースを生成しておく。表情推定部１１２１は、映像から抽出した特徴量とこれら学習データベースに含まれる特徴量との類似度を算出することによって、表情を推定する。表情推定部１１２１は、推定した表情を示す表情情報を行動認識部１１４に出力する。

人物識別部１１２２は、前述の方法を用いて、人物検出部１１５から入力された切出映像データが示す映像から顔器官（口、目、等）の表示領域を特定し、特定した顔器官の表示領域毎の特徴量を算出する。人物識別部１１２２は、算出した特徴量と情報ＤＢ１２０に予め記憶された人物（登録者）毎の特徴量データが示す特徴量とを比較し、算出した特徴量との類似性を示す指標値が予め定めた指標値の閾値よりも類似性が高く、類似性が最も高いことを示す特徴量に係る人物を定める。そのような人物の特定に失敗した場合には、人物識別部１１２２は、映像が示す人物が未知の人物であると定める。人物識別部１１２２は、定めた人物を示す人物識別情報を行動認識部１１４に出力する。

位置検出部１１２３は、撮像部１１０から入力された映像データが示す映像のうち、人物検出部１１５から入力された切出映像データが示す顔領域と照合して、顔領域が表されている表示位置を検出する。位置検出部１１２３は、検出した表示位置と、人物識別部１１２２で検出した顔器官の表示領域とに基づいて撮像部１１０の向きを算出する。位置検出部１１２３は、表示位置と算出した顔の向きとを示す位置情報を行動認識部１１４に出力する。
人体部位検出部１１２４は、撮像部１１０から入力された映像データが示す映像から人体の部位（頭、腕、手、足、胴体、等）の表示領域を検出する。人体部位検出部１１２４は、検出した部位毎の表示領域に基づいて、部位毎の代表点（例えば、重心点）を位置として算出し、大きさ（長さ、幅、等）を算出する。人体の部位の検出を行う際、人体部位検出部１１２４は、前述の人物検出部１１５と同様に、人体の各部位毎に前述のＨＯＧ特徴量を算出し、各部位毎に学習を行うことで、入力映像が表す人体の一部分が人体のどの部位に属するかの推定を行う。人体部位検出部１１２４は、定めた部位毎の位置と大きさを示す人体部位情報を行動認識部１１４に出力する。

〔モーション検出部〕
次に、モーション検出部１１３が行う処理について説明する。
モーション検出部１１３は、撮像部１１０から入力される複数の映像データと、人物検出部１１５から入力される人物情報と、動きベクトル検出部１１６から入力される動きベクトル情報から、検出した人のモーション（動作、行動）を検出する。例えば、モーション検出部１１３は、人物情報から求めた顔の３次元位置情報が示す鉛直方向の座標が、予め定めた閾値の座標よりも高い位置を示す場合、その人物が立っていると判定する。
また、情報ＤＢ１２０に人物毎に特徴量データと身長を示す身長情報を対応付けて予め記憶しておき、モーション検出部１１３は、識別情報が示す人物の身長情報を情報ＤＢ１２０から読み取り、読み取った身長情報が示す身長と撮像部１１０の位置に基づいて、立っていると判断するための顔の３次元座標の範囲を設定してもよい。モーション検出部１１３は、設定した範囲内に顔の位置が含まれるか否かにより、その人物が立っているか否かを判定することができる。

また、モーション検出部１１３は、人物情報から求めた顔の３次元位置情報が示す鉛直方向の座標が、床の高さよりも高い位置であって、予め定めた閾値の座標よりも低い位置を示す場合、その人物が寝ている（又は倒れている）と判定する。なお、被写範囲内にベッド、ソファー、等の家具が設置されている場合には、床に代えて、それらの家具の表面の高さに基づいて閾値を設定してもよい。また、モーション検出部１１３は、立っている状態でも、寝ている状態でもない場合、その人物が座っていると判定する。モーション検出部１１３は、判定したモーションを示すモーション情報を行動認識部１１４に出力する。

また、モーション検出部１１３は、人物検出部１１５から入力された人物情報、動きベクトル検出部１１６から入力された動きベクトル、位置検出部１１２３から入力された位置情報、人体部位検出部１１２４から入力された人体部位情報に基づき、検出された人物が室内に在室しているか否か、動いているか否かを判定してもよい。モーション検出部１１３は、室内に在室し、かつ、動いていると判定した場合、検出し人物が起きていると判定してもよい。また、モーション検出部１１３は、起きていると判定した人物が、寝ていると判定された場合、もしくは、寝ていると判定された時間が予め定めた時間の閾値よりも長い時間継続した場合、倒れていると判定してもよい。このような場合には、体調の急変が予想されるため、モーション検出部１１３は、判定した情報をモーション情報として行動認識部１１４に出力する。

また、モーション検出部１１３は、人物検出部１１５から入力された人物情報、動きベクトル検出部１１６から入力された動きベクトル情報、位置検出部１１２３から入力された位置情報、人体部位検出部１１２４から入力された人体部位情報に基づき、検出された人物の部位、例えば、手、足、顔の位置の変動を検出する。モーション検出部１１３は、検出した変動に基づき、ジャンプ等の行動や、予め定めた身体の形や動きのパターンであるジェスチャを検出してもよい。モーション検出部１１３は、検出した行動やジェスチャを示すモーション情報を行動認識部１１４に出力する。
なお、モーション検出部１１３は、上述したモーションに限られず、その他のモーションを検出してもよいし、これらのモーションの組み合わせを検出してもよい。

〔行動認識部〕
次に、行動認識部１１４が行う処理について説明する。
行動認識部１１４は、撮像部１１０から入力された映像データ、ユーザ情報検出部１１２もしくは人物検出部１１５から入力された検出情報、モーション検出部１１３から入力されたモーション情報に基づいて、検出された人物の行動を認識する。行動認識部１１４は、認識した行動を示す認識情報を情報ＤＢ１２０に記憶し、認識情報にユーザ情報検出部１１２から入力された検出情報を付加して認識情報としてデータ変換部１３０に出力する。また、行動認識部１１４は、撮像部１１０から入力された映像データをデータ変換部１３０に出力する。

行動認識部１１４は、例えば、人物が被写範囲である部屋に入室したか否か、入室した入室者が立っているか、座っているか、寝ているか、部屋のどこに位置し、どの方向を向いているか、等を判定する。また、行動認識部１１４は、入室者の位置と向いている方向と、室内に設置されている設置物の位置と範囲に基づいて、入室者の行動を判定してもよい。例えば、行動認識部１１４は、入室者がテレビジョン放送を視聴している、調理をしている、食事をしている、等の行動を判定することができる。

人物識別装置１１が表示部（図示せず）に接続されている場合には、行動認識部１１４は、判定した行動を示す認識情報を表示部に出力して、表示させるようにしてもよい。また、行動認識部１１４は、現在判定した行動を示す認識情報を表示部にリアルタイムに出力してもよいし、情報ＤＢ１２０に記憶した過去の認識情報のうち、ユーザによる操作入力に応じて指示された行動情報を出力してもよい。
また、情報表示端末装置２１に、行動認識部１１４が判定した行動を示す認識情報が送信されることで、情報表示端末装置２１の表示部にその行動が表示される。これにより、例えば、見守り者が、室内の人物の有無やその行動を把握することができる。
また、行動認識部１１４は、判定した行動を示す認識情報を、ネットワーク４１に接続された所定のサーバー装置３１に記憶してもよい。そして、情報表示端末装置２１は、サーバー装置３１から、任意の時点で入力された操作入力に応じてサーバー装置３１から認識情報を読み取り、読みとった認識情報を表示部に出力してもよい。
例えば、行動認識部１１４が、見守り者が関心を有する領域として、浴室や洗濯機設置室を被写範囲に含む映像データに基づいて判定した、小児の行動が情報表示端末装置２１に表示される。見守り者である保護者は、その行動を把握することで閉じ込めや溺れ事故を予防することができる。また、保護者は、調理台でのコンロやストーブのいたずらの有無を把握することで、火災を未然に防ぐことができる。

その他、行動認識部１１４は、セキュリティの監視にも応用することができる。例えば、行動認識部１１４は、人物識別部１１２２から入力された人物識別情報が未知の人物であって、その人物が所定の人物の入室ではないと判定してもよい。その場合、情報表示端末装置２１において、表示部が未知の人物の入室を示す情報（警告文字や情報、警告音、未知の人物画像など）を表示することによって、見守り者は、窃盗犯、その他の不法侵入者を検出することができる。

また、行動認識部１１４は、予め定めたジェスチャ、予め定めた人物の行動を認識し、情報ＤＢ１２０に予め記憶した制御コマンドデータを参照して、認識したジェスチャや行動に対応した制御コマンドを特定してもよい。制御コマンドデータは、予め定めた人物の行動もしくはジェスチャと、制御コマンドとが対応付けて形成される。制御コマンドは、制御対象となる対象機器に対して所定の動作を行うことを指示する信号である。そして、行動認識部１１４は、特定した制御コマンドを、対象機器に送信する。これにより、制御コマンドで指示される対象機器の動作を制御するようにしてもよい。さらに、行動認識部１１４は、予め定めたジェスチャや、予め定めた人物の行動を認識し、緊急を要する状態を検出した場合は、情報表示端末装置２１に対し、緊急情報を送信してもよい。これにより、在室者は、体調が悪くなった場合や怪我をした場合などの緊急を要する場合に、予め定めたジェスチャを示すことで、見守り者に対し救護を求めることが可能になる。また、前述の緊急を要する場合の行動を人物識別装置１１が認識することで、在室者が意識不明の場合のように、在室者からの緊急通報操作がない場合でも、人物識別装置１１が見守り者に対し救護を求めることを示す情報を提供することが可能となる。

〔基本顔識別ＤＢ〕
次に、情報ＤＢ１２０に記憶される基本顔識別ＤＢについて説明する。
図５は、基本顔識別ＤＢの一構成例を示す概念図である。
図５に示す基本顔識別ＤＢは、１人の人物（登録者ＩＤ１）の基本顔識別ＤＢである。基本顔識別ＤＢには、各人物について撮像部１１０の方向を基準とした顔の向き毎の特徴量を示すデータから形成されている。ユーザ情報検出部１１２は、例えば、前述の画像処理を用いて撮像部１１０が撮像した映像から顔の特徴量を算出し、算出した特徴量を情報ＤＢ１２０に記憶する。特徴量として、例えば、検出された人物の顔から特定された目、鼻、口等の器官の領域について、それらの領域間もしくは特徴点の位置関係等を示すデータが含まれる。撮像部１１０の撮影方向が固定されている場合であっても、撮像部１１０と被写体である人物の向きとの関係は、必ずしも一定しておらず、常に変化する可能性がある。そのため、これらの位置関係を表す特徴量を予め登録しておき、人物識別部１１２２は、人物を識別する際、登録した特徴量に基づいて位置関係による類似度を判定してもよい。これにより、人物識別装置１１をいかなる場所に設置されても一定の認識精度が保たれる。

図５に示す例では、人物の顔の正面から、その正面、上向き、下向き、左向き、右向き、左斜めに首をかしげた方向である左傾き、右斜めに首をかしげた方向である右傾きの各方向について撮像された映像に基づく特徴量から基本顔識別ＤＢが形成されていることを示す。顔の向きは、これには限定されず、顔の各器官が表れる方向であれば、いかなる方向について得られた映像データから算出された特徴量が用いられてもよい。また、顔の向きは、各人物について少なくとも１つあればよく、いくつあってもよい。また、特徴量を算出するために用いる映像データは、他の撮像装置で撮像された映像データであってもよい。

なお、ユーザ情報検出部１１２は、上述したように、撮像部１１０から入力された映像データを用いて、複数の方向、位置のそれぞれについて人物の顔について算出した特徴量を体系的に情報ＤＢ１２０に記憶して基本顔識別ＤＢを生成する他、情報ＤＢ１２０に予め生成した基本顔識別ＤＢに記憶してもよい。また、ユーザ情報検出部１１２は、サーバー装置３１に記憶しておいた統合顔識別ＤＢから、設置した人物識別装置１１に対応する基本顔識別ＤＢをダウンロードしてもよい。人物識別装置１１を運用開始する前に、基本顔識別ＤＢを取得することができれば、いかなる登録方法でもよい。

〔設置状態に応じた顔識別ＤＢ〕
なお、図１に示すように、宅内において人物識別装置１１を各部屋に固定して設置することは、室内の美観、設置のための労力、家具等の設置物の移動による撮像環境の変化を鑑みると、不都合なことがある。人物識別装置１１は、必ずしも恒常的に利用されるのではなく、一時的に利用されることがある。例えば、訪問介護において、介護士が介護者宅において、介護者を直接目視で介護できない場合（例えば、清掃中）に、人物識別装置１１を応用することが考えられる。例えば、図１の和室にいる在室者１の映像を人物識別装置１１−２が取得し、見守り者１が、情報表示端末装置２１−１が表示する認識情報、映像を確認しながら清掃をする場合などである。かかる利用状況を想定すると、人物識別装置１１は簡便に設置でき、一時的な移動や、手足やその他の物体が接触することにより設置位置が変わっても問題なく利用できる方が、利用者の利便性が向上することがある。

これらを実現するため、前述の基本顔識別ＤＢを利用することで、人物識別装置１１がいかなる設置状態・撮影環境においても、一定の識別精度を得ることができる。しかし、人物識別装置１１の設置状態、撮影環境は、様々であるため、基本顔識別ＤＢに頼った人物の識別では識別精度に限界がある。そのため、人物識別装置の設置状況、環境、等の設置状態に応じた顔識別ＤＢを情報ＤＢ１２０に記憶し、該設置状態に応じた顔識別ＤＢを人物の識別に用いることで、識別精度をさらに向上させることができる。

図６は、設置状態に応じた顔識別ＤＢの一構成例を示す概念図である。
設置状態に応じた顔識別ＤＢは、人物毎に基本顔識別ＤＢと対応付けて形成されている。図６に示す例は、それぞれの登録者ＩＤに対応付けて、左方に基本顔識別ＤＢ、右方に設置位置に応じた顔識別ＤＢを並べて示すものである。右方に示す顔識別ＤＢは、所定の鉛直方向の位置よりも高い位置（例えば、天井）に撮像部１１０が設置され、上方から斜め下方に撮像した在室者を表す映像を用いて生成した設置状態に応じた顔識別ＤＢである。顔の向きは、それぞれ上方からの正面、少し左向き（弱左）、少し右向き（弱右）、大きく左向き（強左）、大きく右向き（強右）である。ユーザ情報検出部１１２は、顔の向き毎に撮影された映像から顔の特徴量を算出し、算出した特徴量を情報ＤＢ１２０に記憶することで、設置状態に応じた顔識別ＤＢが形成される。また、顔の向きは、これには限定されず、顔の器官が表される方向であれば、いかなる方向について得られた映像データから算出された特徴量が用いられてもよい。また、顔の向きは、各人物について少なくとも１つあればよく、いくつあってもよい。また、特徴量を算出するために用いる映像データは、他の撮像装置で撮像された映像データであってもよい。また、右方に示す設置状態に応じた顔識別ＤＢの特徴量は、左方に示す基本顔識別ＤＢに基づいて生成されうる。

ユーザ情報検出部１１２の人物識別部１１２２は、設置状態に応じた顔識別ＤＢも参照して、撮像部１１０から入力された映像データが示す映像から上述したように顔の特徴量を算出する。ユーザ情報検出部１１２は、算出した特徴量と、情報ＤＢ１２０に記憶した設置状態に応じた顔識別ＤＢを形成する人物毎の特徴量との類似性を示す指標値を算出し、算出した指標値に基づいて人物を識別する。これにより、基本顔識別ＤＢを用いる場合よりも識別率を向上させることができる。

設置状態に応じた顔識別ＤＢを登録する際、ユーザ情報検出部１１２の人物識別部１１２２は、基本顔識別ＤＢを用いて人物の識別に成功した場合、算出した特徴量のうち、位置検出部１１２３が検出した顔の位置、向き、表情推定部１１２１が推定した表情、等によって指示される設置状態に応じた顔識別ＤＢに含まれていない特徴量を特定する。人物識別部１１２２は、特定した特徴量を、その設置状態に応じた顔識別ＤＢに記憶する。この処理を、以下の説明では「自動登録」と呼ぶことがある。位置検出部１１２３が検出した顔の位置、向きも撮像部１１０の設置状態を示す設置情報の一種である。また、人物識別部１１２２は、設置情報取得部１５０から入力された撮像部１１０の向き及び位置を示す設置情報と対応付けて特定した特徴量を、その設置状態に応じた顔識別ＤＢに記憶してもよい。
なお、人物の識別の成否は、算出した特徴量に対応する特徴量が、基本顔識別ＤＢまたは設置状態に応じた顔識別ＤＢに記憶されている特徴量に存在するか否かによって判定される。算出した特徴量に対応する特徴量とは、例えば、算出した特徴量と記憶されている特徴量との類似性を示す指標値が、予め定めた指標値の閾値よりも類似性が高いことを示す特徴量である。

また、顔の向き、位置の他、表情が異なる特徴量を、設置位置に応じた顔識別ＤＢに含めて登録するのは、異常な状況のもとで、表情が変化する場合でも確実に人物を識別するためである。異常な状況での表情には、例えば、検出された人物が転倒して痛みを訴える表情、泣いている表情、睡眠中の表情、等がある。
このように、撮像部１１０と人物との位置関係の例として、上方から見た顔の向き、位置、表情、等の設置状態に応じた特徴量から形成された設置状態に応じた顔識別ＤＢが形成される。この設置状態に応じた顔識別ＤＢを用いることで、設置状態に応じた顔画像に係る特徴量を用いて人物の識別が行えるため、人物識別率が向上する。

なお、人物識別部１１２２は、記憶された特徴量の数（登録数）が予め定めた最大登録数に達した時に、特徴量の記憶を終了してもよいし、予め定めた顔の向き、位置等について全て登録された場合に特徴量の記憶を終了してもよい。また、登録された時刻から、所定の時間よりも時間が経過した場合に、記憶された特徴量は消去されてもよいし、新しい特徴量の値で更新されてもよい。

このように、人物識別部１１２２は、自装置（人物識別装置１１）の設置状況や環境に応じて、基本顔識別ＤＢと設置位置に応じた顔識別ＤＢを、人物毎に情報ＤＢ１２０に記憶する。これに対し、人物識別装置１１を設置する設置状態毎に、様々な顔の方向や大きさ、位置の特徴量や、照度や人物の位置に応じて影などの影響により明るさが変動する等の撮影環境で撮影した映像から算出した特徴量などを全て登録して顔識別ＤＢを形成することができる。したがって、様々な設置状態で設置される人物識別装置１１の顔識別ＤＢを全て１つの共通のデータベースに集積する場合と比較して、顔識別ＤＢのサイズを大幅に削減できるという効果がある。これは、搭載メモリ量削減につながるため、人物識別装置１１をできるだけ小さく、経済的に提供することが可能となる。また、人物識別装置１１の設置状態に合わせ最適化された顔識別ＤＢを人物の識別に用いることで、人物識別精度の低下が抑制される。

また、人物識別部１１２２は、基本顔識別ＤＢを用いて人物の識別に成功した場合に、その映像データから算出した特徴量を設置状態に応じた顔識別ＤＢに記憶する。人物識別部１１２２は、次回の人物の識別より、設置状態に応じた顔識別ＤＢに登録した特徴量を、基本顔識別ＤＢの特徴量より優先して人物の識別処理に用いることにより、人物の識別率が向上する。また、人物識別部１１２２は、算出した特徴量と顔識別ＤＢを形成する各特徴量とのマッチングを行う際、人物の識別に成功した段階で処理を打ち切ってもよい。その場合には、人物識別の処理量を削減することができる。これにより、人物の識別率向上と処理量削減を両立することができる。なお、上述では設置状態に応じた顔識別ＤＢに登録した特徴量が次回の人物の識別に用いられる場合を例としているが、これには限られない。所定の数の特徴量が設置状態に応じた顔識別ＤＢに登録された段階で、次回の人物の識別処理から、設置状態に応じた顔識別ＤＢに登録した特徴量を優先して人物識別処理に用いてもよい。

〔複数人登録者の顔識別ＤＢへの登録〕
上述では、在室者が１人の場合の基本顔識別ＤＢと設置状態に応じた顔識別ＤＢの登録について説明したが、在室者は１人とは限らず、複数人の場合もある。
図７は、設置状態に応じた顔識別ＤＢの他の構成例を示す概念図である。
図７は、在室者の登録者数が複数人（ｎ_０人、ｎ_０は１よりも大きい整数）の場合の顔識別ＤＢを示している。１行目の登録者ＩＤ１については、前述と同様である。２行目に示す２人目の登録者（登録者ＩＤ２）は、登録者ＩＤ１の顔識別ＤＢに続けて登録者ＩＤ２の基本顔識別ＤＢと、設置状態に応じた顔識別ＤＢとが対応付けて登録されている。同様に３人目以降の登録者ＩＤのそれぞれについて順次、基本顔識別ＤＢと、設置状態に応じた顔識別ＤＢとが対応付けて登録される。
図７に示すように、設置状態に応じた顔識別ＤＢが、どの登録者ＩＤの在室者についても上方と表されているは、撮像部１１０が天井等、床面よりも十分に高い位置に設置され、在室者の映像を見下ろすように撮影したためである。また、登録者ＩＤ毎に顔の向きが異なるのは、登録者毎に自動登録される顔の向きや位置、タイミングが様々となるためである。

〔処理フロー〕
次に、本実施形態に係る人物識別処理について説明する。人物識別処理には、認識情報伝送処理と顔識別ＤＢ登録処理が含まれる。
図８は、本実施形態に係る人物識別処理を示すフローチャートである。

（ステップＳ１０１）ユーザ情報検出部１１２は、上述したように、人物及びその向き毎に、撮像部１１０が撮像した映像から算出した特徴量から形成される基本顔識別ＤＢを情報ＤＢ１２０に記録する。その後、ステップＳ１０２に進む。
（ステップＳ１０２）撮像部１１０は、映像を撮影し、映像解析部１１１は、撮像部１１０から現在の映像を表す映像データと、情報ＤＢ１２０から過去の映像を表す映像データを取得する。その後、ステップＳ１０３に進む。

（ステップＳ１０３）動きベクトル検出部１１６は、撮像部１１０、情報ＤＢ１２０から取得した映像データが示す時刻の異なるフレーム映像間で、画素値に変化があった領域を動いた領域として検出し、検出した領域の移動量を算出する。動きベクトル検出部１１６は、算出した移動量ならびに移動方向（移動ベクトル）、動いた領域の重心座標を示す動きベクトル情報を人物検出部１１５及びモーション検出部１１３に出力する。また、動きベクトル検出部１１６は現在のフレーム映像を示す映像信号を情報ＤＢ１２０に記憶する。
人物検出部１１５は、撮像部１１０から取得された映像データと動きベクトル検出部１１６から入力された動きベクトルを用いて、映像データが表す映像から人物の画像を表す領域を検出する。人物検出部１１５は、検出した人物の顔に関する情報を人物情報として、ユーザ情報検出部１１２及びモーション検出部１１３に出力する。
なお、人物検出部１１５が行う処理が動きベクトル検出部１１６が行う処理よりも先に行われてもよいし、両処理が同時に行われてもよい。その後、ステップＳ１０４に進む。

（ステップＳ１０４）ユーザ情報検出部１１２は、撮像部１１０から入力された映像データと、人物検出部１１５が生成した人物情報とに基づき、情報ＤＢ１２０に記憶した情報ＤＢのデータを参照して、その人物の状態を検出し、検出した状態を示す検出情報を生成する。例えば、ユーザ情報検出部１１２は、その人物の属性、表情を推定し、それぞれ属性情報、表情情報を生成する。また、ユーザ情報検出部１１２は、その人物の位置を示す位置情報を生成する。また、ユーザ情報検出部１１２は、撮像部１１０から入力された映像データと、人物検出部１１５が生成した人物情報とに基づき、情報ＤＢ１２０に記憶した情報ＤＢのデータを参照して、その人物の人体の部位を検出し、検出した部位毎の位置や大きさを示す人体部位情報を生成する。また、ユーザ情報検出部１１２は、情報ＤＢ１２０に記憶した顔識別ＤＢ（基本顔識別ＤＢと、情報ＤＢ１２０に形成されている場合は設置状態に応じた顔識別ＤＢ）を参照して入力された映像データが示す人物が登録者のだれであるかを識別し、識別した人物を示す人物識別情報を生成する。ユーザ情報検出部１１２は、これらの生成した情報を検出情報として行動認識部１１４に出力する。その後、ステップＳ１０５に進む。

（ステップＳ１０５）モーション検出部１１３は、撮像部１１０から入力される映像データ、人物検出部１１５から入力される人物情報、及び動きベクトル検出部１１６から入力された動きベクトル情報に基づき、検出された人物の動作を検出し、検出した動作を示すモーション情報を行動認識部１１４に出力する。その後、ステップＳ１０６に進む。
（ステップＳ１０６）行動認識部１１４は、撮像部１１０から入力された映像データ、ユーザ情報検出部から入力された検出情報、モーション検出部１１３から入力されたモーション情報に基づいて、検出された人物の行動に関する行動情報を認識する。行動認識部１１４は、認識した行動情報と入力された検出情報を認識情報としてデータ変換部１３０に出力する。その後、ステップＳ１０７に進む。
（ステップ１０７）ユーザ情報検出部１１２の人物識別部１１２２は、識別した人物と同じ人物を示す登録者ＩＤに対応付けられた顔識別ＤＢを情報ＤＢ１２０から検索し、検索した顔識別ＤＢから設置状態に応じた顔識別ＤＢを読み出す。次に、ステップＳ１０８に進む。

（ステップ１０８）人物識別部１１２２は、人物の識別のために顔の特徴量を算出し、人物識別に成功した顔の特徴量に対応する特徴量を、ステップＳ１０７で読み出した設置状態に応じた顔識別ＤＢにおいて特定する。人物識別部１１２２は、位置検出部１１２３が算出した顔の向き、位置が、特定した特徴量に対応する顔の向き、位置と照合し、それぞれ対応するか否かを判定する。対応するとは、一致する場合と、予め定めた範囲内にある場合とを含む。対応すると判定された場合（ステップＳ１０８ ＮＯ）、ステップＳ１１０に進み、対応していないと判定された場合（ステップＳ１０８ ＹＥＳ）、ステップＳ１０９に進む。

（ステップＳ１０９）人物識別部１１２２は、識別に成功した顔の特徴量が、ステップＳ１０７で検索した登録者ＩＤの設置状態に応じた顔識別ＤＢ内に登録されていないと判定された場合、その特徴量を設置状態に応じた顔識別ＤＢに新たに登録する。その後、ステップＳ１１０に進む。

（ステップＳ１１０）人物識別部１１２２は、上述したステップＳ１０３−Ｓ１０８において生成した検出情報、設置位置に応じた顔識別ＤＢ（登録された顔の特徴量を含む）を情報ＤＢ１２０に保存する。これらの情報は、繰り返されるステップＳ１０３−Ｓ１０８において使用されることがある。その後、ステップＳ１１１に進む。

（ステップＳ１１１）データ変換部１３０は、映像解析部１１１から入力された認識情報を伝送可能な単位のブロックデータに変換し、変換したブロックデータを伝送制御部１４０に出力する。ブロックデータはバイナリ形式のデータフォーマットでもよいし、アスキー形式のテキストデータであってもよい。そして、ステップＳ１１２に進む。
（ステップＳ１１２）伝送制御部１４０は、データ変換部１３０から入力されたブロックデータを、ネットワーク４１を介して情報表示端末装置２１に送信する。伝送制御部１４０が現在の映像データから検出された認識情報の全てを伝送し終えた後、ステップＳ１１３に進む。

（ステップＳ１１３）人物識別装置１１は、本処理を終了するか否かを判定する。例えば、電源ＯＦＦ、見守り終了、等が操作入力に応じて指示された場合、人物識別装置１１は、本処理を終了すると判定し、指示されない場合、本処理を継続すると判定する。継続すると判定された場合（ステップＳ１１３ ＮＯ）、ステップＳ１０２に進み、次の時刻の映像データを取得する。終了すると判定された場合（ステップＳ１１３ ＹＥＳ）、本処理を終了する。

なお、ステップＳ１０４において、ユーザ情報検出部１１２の人物識別部１１２２は、上述したように人物検出部１１５で検出された領域の映像から特徴量を算出し、情報ＤＢ１２０に記憶された人物毎の基本顔識別ＤＢに含まれる特徴量のそれぞれ、及び設置状態に対応した顔識別ＤＢ（形成されている場合）に含まれる特徴量のそれぞれと照合する。人物識別部１１２２は、算出した特徴量とこれら顔識別ＤＢに含まれる特徴量との類似度を示す指標値を算出し、算出した指標値が最も小さい特徴量を対応する特徴量として特定する。人物識別部１１２２は、特定した特徴量が予め定めた特徴量の最低値よりも低い特徴量が発見されたとき、識別に成功したと判定し、発見できなかったとき、識別に失敗したと判定してもよい。人物識別部１１２２は、特定した特徴量を含む顔識別ＤＢに対応する登録者ＩＤを特定することにより、人物を識別する。
また、ステップＳ１０８における設置位置に応じた顔識別ＤＢ内に登録されている顔の特徴量と対応するか否かの判定には、顔の位置や向きの他、顔の大きさや撮影映像の明るさ、顔の色合い、解像度など、異なる撮影状況や環境の要素が考慮されてもよい。

以上、説明したように、本実施形態に係る人物識別装置１１によれば、予め登録した基本顔識別ＤＢを備え、識別した人物の状態に対応した特徴量から形成される設置状態に応じた顔識別ＤＢを人物識別装置に記憶し、撮像された映像から算出した特徴量に基づいて、基本顔識別ＤＢ及び設置状態に応じた顔識別ＤＢを参照して人物を識別する。これにより、人物識別装置１１の設置位置や撮影環境が使用の都度、変わる場合でも顔識別精度の低下を抑制することができるので、撮像装置の設置や利用者の認証方法との利便性と両立することができる。また、人物識別装置１１は、人物の識別において用いられる、設置状態に応じた顔識別ＤＢが、人物の識別に最小限かつ最適化されるので、その情報量を減少することができる。さらに、顔識別ＤＢの情報量が減少することから、検出した人物の顔の特徴量と対応するか否かを判定するための処理量が削減されるため、処理速度が向上するという効果がある。処理量を削減することにより、より経済的（安価）なプロセッサの導入や消費電力の低下に貢献することが可能である。

（第２の実施形態）
次に、本発明の第２の実施形態に係る人物識別システム１ａ（図示せず）について説明する。上述した実施形態と同一の構成については、同一の符号を付して説明を援用する。
人物識別システム１ａは、人物識別システム１（図２）において、人物識別装置１１に代えて人物識別装置１１ａを備え、サーバー装置３１は、次に説明する統合顔識別ＤＢを記憶している。

〔統合顔識別ＤＢ〕
図９は、本実施形態に係る統合顔識別ＤＢの一構成例を示す概念図である。
本実施形態に係る統合顔識別ＤＢも、図２に示す統合顔識別ＤＢと同様に登録者ＩＤと対応付けた基本顔識別ＤＢと、設置状態に応じた顔識別ＤＢの組を含んで形成される。但し、図９に示す設置状態に応じた顔識別ＤＢは、個々の人物識別装置１１ａの設置状態に応じた顔識別ＤＢを含んで形成される。個々の人物識別装置１１ａには、カメラＩＤが割り当てられ、それぞれの人物識別装置１１ａの設置状態に応じた顔識別ＤＢは、そのカメラＩＤと対応付けられている。
カメラＩＤは、それぞれの人物識別装置１１ａに接続された撮像部１１０の識別情報である。なお、以下の説明では、それぞれの人物識別装置１１ａの設置状態に応じた顔識別ＤＢを個別顔識別ＤＢと呼ぶことがある。また、個別顔識別ＤＢから形成される設置状態に応じた顔識別ＤＢを全体顔識別ＤＢと呼ぶことがある。図９に示す全体顔識別ＤＢは、それぞれのカメラＩＤと対応付けられた個別顔識別ＤＢを含む点で、図７に示す設置位置に応じた顔識別ＤＢとは異なる。

図９に示す例では、統合顔識別ＤＢは、ｎ_１人の登録者の基本顔識別ＤＢと全体顔識別ＤＢを含む。登録者ＩＤ１、ＩＤ２にそれぞれ対応する全体顔識別ＤＢは、それぞれカメラＩＤ１、ＩＤ２、ＩＤ３にそれぞれ対応する個別顔識別ＤＢを含んで形成される。登録者ＩＤ３に対応する全体顔識別ＤＢは、カメラＩＤ４に対応する個別顔識別ＤＢを含んで構成される。登録者ＩＤｎ_１に対応する全体顔識別ＤＢは、カメラＩＤ１０、１１からｘまでのそれぞれについて個別顔識別ＤＢを含んで構成される。個別顔識別ＤＢ間で、同一のカメラＩＤは、同一の撮像部１１０を意味し、撮像部１１０の位置、向きが固定されていれば、その位置、向きが同一であることを意味する。例えば、登録者ＩＤ１、ＩＤ２の個別顔識別ＤＢには、その向きが上方である共通のカメラＩＤ１を用いて取得した映像に基づいて算出された特徴量を含む。また、カメラＩＤが同一でも、登録者ＩＤが異なる場合は、顔の特徴量を算出するために用いられる映像の撮影タイミングや顔の位置などが異なるため、顔の向きが一致するとは限らない。このように、統合顔識別ＤＢは、登録者ＩＤ毎に、基本顔識別ＤＢと、カメラＩＤ毎の個別顔識別ＤＢを含んで形成される全体顔識別ＤＢとが対応付けて形成される。カメラＩＤの数は、人物識別が必要となる登録者に対応する人物識別装置１１ａに接続された撮像部１１０の数であればよい。
また、同一のカメラＩＤで指定される撮像部１１０であっても、設置位置や向きが異なる場合は、それぞれ個別顔識別ＤＢも異なることになる。そのため、同一の登録者ＩＤ及び同一のカメラＩＤについて、設置位置や向き等の設置状態がそれぞれ異なる個別顔識別ＤＢが含まれるように全体顔識別データが形成されてもよい。

以上に説明したように、登録者ＩＤ毎に、基本顔識別ＤＢと、カメラＩＤ毎の個別顔識別ＤＢから形成される全体顔識別ＤＢとの組を含んで、統合顔識別ＤＢが形成される。他方、人物識別装置１１ａは、情報ＤＢ１２０において更新され、設置状態に応じた顔識別ＤＢを、識別した人物の登録者ＩＤならびに撮像部１１０のカメラＩＤを対応付けてサーバー装置３１に送信する顔識別ＤＢ処理部１２１ａ（後述）を備える。なお、基本顔識別ＤＢと設置状態に応じた顔識別ＤＢの総称に限らず、これらの組も、単に顔識別ＤＢと呼ぶことがある。

サーバー装置３１は、人物識別装置１１ａから受信した登録者ＩＤと基本顔識別ＤＢを対応付け、さらにカメラＩＤと設置状態に応じた顔識別ＤＢ（個別顔識別ＤＢ）を記憶することにより統合顔識別ＤＢを形成する。そして、顔識別ＤＢ処理部１２１ａは、サーバー装置３１に記憶された統合顔識別ＤＢから、自装置に対応する顔識別ＤＢをダウンロードし、ダウンロードした顔識別ＤＢを情報ＤＢ１２０に記憶する。そのため、人物識別装置１１ａや撮像部１１０を一時的に取り外す場合や移設する場合、故障等により交換、修理する場合などにおいても、迅速に自装置にとり最適化された顔識別ＤＢを取得することにより初期化することができる。取得した顔識別ＤＢを人物の識別処理に用いることにより、人物の識別率低下を抑制し、かつ利便性が向上することが可能になる。

〔顔識別ＤＢ情報〕
次に、サーバー装置３１に記憶される顔識別ＤＢ情報について説明する。顔識別ＤＢ情報は、人物識別装置１１ａに対応する顔識別ＤＢを形成する顔識別ＤＢを検索する際に、統合顔識別ＤＢに含まれる個々の顔識別ＤＢにアクセスするための管理情報である。

図１０は、本実施形態に係る顔識別ＤＢ情報の一構成例を示す概念図である。
図１０の左欄は、顔識別ＤＢ情報の先頭から格納されるデータの順序と内容を示す。格納される情報は、いずれもバイナリ形式のデータである。格納する各情報（以下、フィールド）には、先頭から順に登録者エントリ数、１人目の登録者（０）の顔識別ＤＢ情報、２人目の登録者（１）の顔識別ＤＢ情報の順に記録され、登録者エントリ数（ｎ＋１人）分の情報が記録される。また、各行について、フィールド名、サイズ、内容は、それぞれデータの名称、そのデータの情報量（単位：Ｂｙｔｅ）、内容は、そのデータが表す事物を示す。

（登録者エントリ数）
図１０の左欄第２行のフィールドに格納された登録者エントリ数は、統合顔識別ＤＢに登録された顔識別ＤＢのエントリ数（登録者数を表す）を示す。エントリ数の記録領域は１Ｂｙｔｅの固定長であり、０から２５５までのいずれかの値が格納される。
（登録者ＩＤ）
１人目の登録者エントリの第１行のフィールドに格納された登録者ＩＤは、登録者毎にユニーク（一意）に割り当てたＩＤを示す。この登録者ＩＤによって人物が区別される。登録者ＩＤの記録領域は１Ｂｙｔｅの固定長であり、０から２５５までのいずれかの値が格納される。
（オフセットエントリ数）
１人目の登録者エントリの第２行のフィールドに格納されたオフセットエントリ数は、後述する顔識別ＤＢ情報オフセットのエントリ数である。オフセットエントリ数の記憶領域は、１Ｂｙｔｅの固定長であり、０から２５５までのいずれかの値が格納される。図１０に示す例では、オフセットエントリ数は、ｍ_０＋１個である。

（顔識別ＤＢ情報オフセット）
１人目の登録者エントリの第３行のフィールドに格納された顔識別ＤＢ情報オフセットは、登録者ＩＤの顔識別ＤＢにアクセスするための情報や付加情報が格納されている各顔識別ＤＢ情報へアクセスするための情報である。顔識別ＤＢ情報オフセットのエントリである各オフセット情報は、顔識別ＤＢ情報の先頭（登録者エントリ数フィールドの先頭）からアクセス先の各顔識別ＤＢ情報へのオフセット値が格納され、登録者ＩＤに基づきアクセス先の各顔識別ＤＢ情報を特定することが可能になる。顔識別ＤＢ情報オフセットにおいて、オフセットを算出する基準の位置は、顔識別ＤＢ情報の先頭に限定されるものではなく、顔識別ＤＢ情報の末尾など予め定めた基準位置であれば、いかなる位置であってもよい。顔識別ＤＢ情報オフセットの記憶領域は、１エントリ当たり２Ｂｙｔｅであり、オフセットエントリ数分の領域からなる可変長領域である。１エントリには、０から６５５３５までのいずれかの値が格納される。

図１０の右欄は、それぞれのオフセット情報で指定される登録者ＩＤ毎の顔識別ＤＢにアクセスするための情報や付加情報が格納されている各顔識別データ管理情報にアクセスするための情報を示す。
（カメラＩＤ）
オフセット情報が指している第１行のフィールドに格納されたカメラＩＤは、人物識別装置又は撮像部１１０にユニークに割り当てられた固有のＩＤである。例えば、カメラＩＤが０とは基本顔識別ＤＢに関する情報であることを示し、カメラＩＤが１以上の値とは、設置状態に応じた顔識別ＤＢに関する情報であることを示す。カメラＩＤの記憶領域は、１Ｂｙｔｅの固定長であり、０から２５５までのいずれかの値が格納される。

（付加情報エントリ数）
オフセット情報が指している第２行のフィールドに格納された付加情報エントリ数は、顔識別ＤＢにアクセスするための付加情報である後述する顔識別データ管理情報のエントリ数である。付加情報エントリ数の記憶領域は、１Ｂｙｔｅの固定長であり、０から２５５までのいずれかの値が格納される。
（顔識別データ付加情報）
オフセット情報が指している第３行のフィールドに格納された顔識別データ付加情報は、個々の顔識別ＤＢに付加される付加情報である顔識別データ管理情報である。顔識別データ付加情報の記憶領域は、１エントリ当たり２６Ｂｙｔｅであり、付加情報エントリ数分の領域からなる可変長領域である。

〔顔識別データ管理情報〕
次に、顔識別データ管理情報の一例について説明する。
図１１は、顔識別データ管理情報の一例を示す図である。
また、図１２は、顔の向き、カメラの向き、撮影環境の例を示す図である。
顔識別データ管理情報は、顔の向き、顔位置ｘ、ｙ、顔サイズ横、顔サイズ縦、顔の大きさ横、顔の大きさ縦、顔との距離、顔の明るさ、カメラの向き、カメラ位置、撮影環境、顔識別データアドレス、及び顔識別データサイズを含んで形成される。

（顔の向き）
第２行のフィールドに格納された顔の向きは、人物識別装置１１ａの撮像部１１０であるカメラに対する人物の顔の向きを表すＩＤである。顔の向きの記憶領域は、１Ｂｙｔｅの固定長であり、０から２５５までの値が格納される。格納されるＩＤは、図１２（ａ）に示すＩＤのいずれかである。例えば、ＩＤが０とは正面、ＩＤが１とは右向きを示す。なお、顔の向きの種類はこれに限定されるものではなく、カメラと顔の関係を表すものであればどのようなものであってもよい。

（顔位置ｘ）
第３行のフィールドに格納された顔位置ｘは、撮像部１１０から入力された映像データ（撮影画像）から算出された顔の位置を示す水平方向の座標（ｘ座標）である。顔位置ｘの記憶領域は、２Ｂｙｔｅの固定長であり、０から６５５３５までの値が格納される。
（顔位置ｙ）
第４行のフィールドに格納された顔位置ｙは、撮像部１１０から入力された映像データ（撮影画像）から算出された顔の位置を示す垂直方向の座標（ｙ座標）である。顔位置ｙの記憶領域は、２Ｂｙｔｅの固定長であり、０から６５５３５までのいずれかの値が格納される。

（顔サイズ横）
第５行のフィールドに格納された顔サイズ横は、撮像部１１０から入力された映像データ（撮影画像）における顔領域の水平方向（横方向）の大きさ（幅）をピクセル数で表した値である。顔サイズ横の記憶領域は、２Ｂｙｔｅの固定長であり、０から６５５３５までのいずれかの値が格納される。
（顔サイズ縦）
第６行のフィールドに格納された顔サイズ縦は、撮像部１１０から入力された映像データ（撮影画像）における顔領域の垂直方向（縦方向）の大きさ（高さ）をピクセル数で表したものである。顔サイズ縦の記憶領域は、２Ｂｙｔｅの固定長であり、０から６５５３５までのいずれかの値が格納される。

（顔の大きさ横）
第７行のフィールドに格納された顔の大きさ横は、撮像部１１０から入力された映像データ（撮影画像）が表す人物の顔の水平方向（横方向）の大きさ（幅）を表す値（例えば、単位はｃｍ）である。顔の大きさ横の記憶領域は、１Ｂｙｔｅ固定長であり、０から２５５までのいずれかの値が格納される。
（顔の大きさ縦）
第８行のフィールドに格納された顔の大きさ縦は、撮像部１１０から入力された映像データ（撮影画像）が表す人物の顔の垂直方向（縦方向）の大きさ（高さ）を表す値（例えば、単位はｃｍ）である。顔の大きさ縦の記憶領域は、１Ｂｙｔｅの固定長であり、０から２５５までのいずれかの値が格納される。

（顔との距離）
第９行のフィールドに格納された顔との距離は、撮像部１１０（カメラ）と被写体である人物の顔との距離を表す値（例えば、単位はｃｍ）である。顔との距離の記憶領域は、２Ｂｙｔｅ固定長であり、０から６５５３５までのいずれかの値が格納される。
（顔の明るさ）
第１０行のフィールドに格納された顔の明るさは、撮像部１１０から入力された映像データが示す撮像画像上の顔領域の平均輝度値である。撮像画像を形成するピクセル毎の輝度値が１Ｂｙｔｅで表現されている場合、顔の明るさの記憶領域は、１Ｂｙｔｅ固定長であり、０から２５５までのいずれかの値が格納される。なお、顔の明るさの記憶領域の大きさは、必ずしも１Ｂｙｔｅに限られず、ピクセル毎の輝度値の情報量に応じて定められてもよい。また、撮像画像がカラー画像である場合には、色信号値の種類毎に顔の明るさの記憶領域が設けられてもよい。

（カメラの向き）
第１１行のフィールドに格納されたカメラの向きは、水平方向に対する人物識別装置１１ａの撮像部１１０であるカメラの向きを示すＩＤである。カメラの向きの記憶領域は、１Ｂｙｔｅの固定長であり、０から２５５までのいずれかの値が格納される。格納されるＩＤは、図１２（ｂ）に示すＩＤのいずれかである。例えば、ＩＤが０とは、水平方向に対し平行（水平）を表し、ＩＤが１とは、水平方向に対し下向きなど、水平方向に対するカメラの向きを表す。なお、カメラの向きの種類はこれに限定されるものではなく、カメラの向きを表すものであればどのようなものであってもよい。さらに、カメラの向きの基準方向は水平方向に限られず、垂直方向や斜め方向など、カメラの向きが一意に特定できれば、どのような向きが基準であってもよい。
なお、人物識別装置１１ａは、加速度センサやジャイロセンサなどの水平方向に対するカメラの向きを検出するセンサを備え、センサが検出した向きを示す情報が格納されてもよい。また、ユーザの操作入力により指示されたカメラの向きが格納されてもよい。

（カメラ位置）
第１２行のフィールドに格納されたカメラ位置は、人物識別装置を設置した床面からの高さを示すカメラの設置情報（例えば、単位はｃｍ）を示す。カメラ位置の記憶領域は、２Ｂｙｔｅの固定長であり、０から６５５３５までのいずれかの値が格納される。なお、カメラ位置の基準は床に限定されるものではなく、天井や台など、人物識別装置１１ａの設置位置が一意に特定できれば、どのような位置が基準であってもよい。
なお、人物識別装置１１ａは、ＧＰＳなどの３次元のカメラ位置を検出するセンサを備え、センサが検出した位置を示す情報が格納されてもよい。また、人物識別装置１１ａは、ユーザの操作入力により指示されたカメラ位置を格納してもよい。

（撮影環境）
第１３行のフィールドに格納された撮影環境は、人物識別装置が撮影する周囲の状態を示すフラグを示す。撮影環境の記憶領域は、１Ｂｙｔｅの固定長であり、ビットごとに、異なる撮影環境の要素が示される。例えば、０ビット目のビット値０が屋内、ビット値１が屋外であることを示す。１ビット目のビット値０が明るい状態、ビット値１が暗い状態であることを示す。２ビット目のビット値０が降雨なし、ビット値１が降雨ありを示す。格納されるフラグは、図１２（ｃ）に示すビット位置毎の値のいずれかである。フラグはビットごとに設定できるため、２種類以上の撮影環境の要素を同時に設定することが可能である。なお、撮影環境の種類はこれに限定されるものではなく、気温、湿度、気圧、天気などであってもよい。
なお、撮影環境の検出は、人物識別装置１１ａは、映像データから撮影環境を判定する処理部、明るさセンサ、降雨センサなどの周囲の環境をセンシングする各種センサを備え、取得された情報が格納されてもよい。また、ユーザの操作入力により指示された情報が格納されてもよい。

（顔識別データアドレス）
第１４行のフィールドに格納された顔識別データアドレスは、基本顔識別ＤＢや、特定のカメラＩＤに対応した設置状態に応じた顔識別ＤＢに記録されている１つの顔の特徴量へアクセスするためのアドレスまたはオフセット値を示す。顔識別データアドレスの記憶領域は、４Ｂｙｔｅの固定長であり、０から０ｘＦＦＦＦＦＦＦＦまでのいずれかの値が格納される。
（顔識別データサイズ）
第１５行のフィールドに格納された顔識別データサイズは、基本顔識別ＤＢや、特定のカメラＩＤに対応する設置状態に応じた顔識別ＤＢに記録されている１つの顔の特徴量のサイズを示す。顔識別データサイズの記憶領域は、４Ｂｙｔｅの固定長であり、０から０ｘＦＦＦＦＦＦＦＦまでのいずれかの値を格納する。
なお、これら付加情報である顔識別データ管理情報の一部又は全部として、人物識別装置１１ａのユーザ情報検出部１１２において検出された検出情報、設置情報取得部１５０において取得された設置情報が充てられてもよい。

以上に説明した、顔識別ＤＢ情報を統合顔識別ＤＢとともにサーバー装置３１に記録しておくことにより、登録者ＩＤ毎の顔識別ＤＢへのアクセスや顔識別ＤＢの更新が容易に行えるようになる。そのため、データ処理速度が向上し、利便性が向上する。

〔人物識別装置の構成〕
次に、人物識別装置１１ａの構成について説明する。
図１３は、本実施形態に係る人物識別装置１１ａの構成を示すブロック図である。
人物識別装置１１ａは、撮像部１１０、映像解析部１１１、情報ＤＢ１２０、データ変換部１３０、伝送制御部１４０、設置情報取得部１５０及び顔識別ＤＢ処理部１２１ａを含んで構成される。

顔識別ＤＢ処理部１２１ａは、更新された設置状態に対応した顔識別ＤＢを情報ＤＢ１２０から読み出し、読み出した設置状態に対応した顔識別ＤＢを、カメラＩＤ、識別された人物の登録者ＩＤ、検出された検出情報とともに、伝送制御部１４０を介してサーバー装置３１に送信する。検出情報は、付加情報として顔識別ＤＢに対応付けられる。
サーバー装置３１は、顔識別ＤＢ処理部１２１ａから受信した設置状態に対応した顔識別ＤＢを、カメラＩＤ、登録者ＩＤと対応付けて、上述した領域に格納することにより統合顔認識ＤＢを更新する。
上述したように、設置状態に対応した顔識別ＤＢは、映像解析部１１１の人物識別部１１２２が人物の識別に成功した場合、識別に用いられた特徴量が算出されたその人物の特徴量に置き換えられることにより、更新される。顔識別ＤＢ処理部１２１ａにより、情報ＤＢ１２０に格納された顔識別ＤＢと、統合顔認識ＤＢに含まれる顔識別ＤＢとが整合する。

なお、顔識別ＤＢ処理部１２１ａは、人物識別装置１１ａで行われる、その他の処理（例えば、人物検出、人物識別処理等）への影響を与えない時間帯や、それらの処理の負荷量が所定の負荷量よりも低い場合に、サーバー装置３１への送信を行ってもよい。その他の処理に影響を与えない時間帯とは、撮像部１１０が撮像した映像から人物が検出されないときである。例えば、次のような場合がある。夜間において照明が用いられていない場合など、撮像部１１０が撮像された映像の明るさが所定の明るさよりも暗い場合、人物検出部１１５が撮像された映像から人物を検出しないとき、動きベクトル検出部１１６が撮像された映像から動いている領域（物体）を検出しないとき、などがある。

これにより、情報ＤＢ１２０に登録された顔識別ＤＢをもって、人物識別処理に支障をきたさず、サーバー装置３１に形成された統合顔識別ＤＢ内の対応する顔識別ＤＢが更新される。
なお、送信対象の顔識別ＤＢは、情報ＤＢ１２０に登録された顔識別ＤＢの全体でもよいし、設置状態に応じた顔識別ＤＢ内の更新された特徴量のみであってもよい。これにより、更新に必要なデータ量と更新時間とを削減することができる。

〔統合顔識別ＤＢからの顔識別ＤＢの抽出〕
自装置の顔識別ＤＢを更新又は再構築する場合、顔識別ＤＢ処理部１２１ａは、カメラＩＤを付加した顔識別ＤＢ要求信号をサーバー装置３１に送信する。サーバー装置３１は、人物識別装置１１ａから受信した顔識別ＤＢ要求信号に付加されたカメラＩＤに対応した顔識別ＤＢを統合顔識別ＤＢから抽出し、抽出した顔識別ＤＢを人物識別装置１１ａに送信する。これにより、顔識別ＤＢ処理部１２１ａは、自装置の顔識別ＤＢをダウンロードすることができる。

図１４は、ダウンロードされた顔識別ＤＢの一例を示す概念図である。
図１４が示す顔識別ＤＢは、図９に示す統合顔識別ＤＢのうち、カメラＩＤが１である人物識別装置１１ａのカメラＩＤ１に対応する部分から形成される。登録者数は、ｎ_２名であり、各登録者ＩＤに基本顔識別ＤＢと設置位置に応じた顔識別ＤＢとが対応付けられている。
設置位置に応じた顔識別ＤＢを形成する特徴量に対応する向きは、全て上方である。これは、カメラＩＤの向きが人物に対して上方であることによる。
ここで、サーバー装置３１は、統合顔識別ＤＢ（図９）からカメラＩＤ１に対応する設置位置に対応した顔識別ＤＢが存在する登録者ＩＤを検索する。サーバー装置３１は、発見された登録者ＩＤに対応する基本顔識別ＤＢと設置位置に応じた顔識別ＤＢを抽出する。登録者ＩＤ毎に基本顔識別ＤＢと設置位置に応じた顔識別ＤＢの組を対応付けることで、人物識別装置１１ａに記憶された顔識別ＤＢが再現される。
これにより、人物識別装置１１ａは、一旦取り外された場合や移設（移動）などの後、再度設置された場合でも、取り外しや移設（移動）前の顔識別ＤＢを利用できるため、即座に、取り外しや移設（移動）前と同じ認識精度にて人物識別処理を開始することが可能となる。また、前述の統合顔識別ＤＢから人物識別装置１１ａにダウンロードされた顔識別ＤＢは、カメラＩＤ１を例にしたが、別のカメラＩＤに係る人物識別装置１１ａにおいても同様に形成される。さらに、人物識別装置１１ａにダウンロードされた顔識別ＤＢは、複数の人物識別装置１１ａ間で共通の基本顔識別ＤＢと、それぞれの人物識別装置１１ａの撮像部１１０の設置状態に応じた顔識別ＤＢから形成される。

なお、顔識別ＤＢ処理部１２１ａは、さらに特定の登録者ＩＤを付加した顔識別ＤＢ要求信号をサーバー装置３１に送信してもよい。サーバー装置３１は、受信した顔識別ＤＢ要求信号に付加されたカメラＩＤ及び登録者ＩＤに対応した顔識別ＤＢを統合顔識別ＤＢから抽出し、抽出した顔識別ＤＢを人物識別装置１１ａに送信する。これにより、顔識別ＤＢ処理部１２１ａは、自装置及び特定の登録者の顔識別ＤＢをダウンロードし、更新することができる。
顔識別ＤＢは、更新されたものであっても、登録者ＩＤが同一であれば、複数の人物識別装置１１ａ間で共通の基本顔識別ＤＢと、それぞれの人物識別装置１１ａの撮像部１１０の設置状態に応じた顔識別ＤＢから形成される。

なお、顔識別ＤＢ処理部１２１ａは、さらに差分情報を付加した顔識別ＤＢ要求信号をサーバー装置３１に送信してもよい。差分情報は、情報ＤＢ１２０に記憶された顔識別ＤＢを形成する特徴量のうち、統合顔識別ＤＢの対応する顔識別ＤＢを形成する特徴量との差分を示す情報である。サーバー装置３１は、受信した顔識別ＤＢ要求信号に付加された差分情報に対応した特徴量を統合顔識別ＤＢから抽出し、抽出した特徴量を人物識別装置１１ａに送信する。これにより、顔識別ＤＢ処理部１２１ａは、差分情報で指定される特徴量をダウンロードし、この特徴量をもって情報ＤＢ１２０に記憶した顔識別ＤＢを更新することができる。これにより、更新に要するデータ量と更新時間を削減することができる。

〔処理フロー〕
次に、本実施形態に係る人物識別装置１１ａが行う人物識別処理について説明する。
図１５は、本実施形態に係る人物識別処理を示すフローチャートである。
図１５に示す処理は、ステップＳ１０２からＳ１１３と、ステップＳ２０１−Ｓ２０３を有する。

（ステップＳ２０１）顔識別ＤＢ処理部１２１ａは、カメラＩＤを付加した顔識別ＤＢ要求信号をサーバー装置３１に送信し、サーバー装置３１から自装置の顔識別ＤＢをダウンロードする。顔識別ＤＢ要求信号を送信するタイミングは、例えば、取り外し、移設、保守点検等により再設置した後に人物識別装置１１ａが起動するときである。その後、ステップＳ１０２に進む。
そして、ステップＳ１０２からステップＳ１１２までの処理を実行し、ステップＳ１１２の処理が終了した後、ステップＳ２０２に進む。

（ステップＳ２０２）顔識別ＤＢ処理部１２１ａは、撮像部１１０から入力された映像データ、人物検出部１１５から入力された人物情報、動きベクトル検出部１１６から入力された動きベクトル情報のいずれか又はそれらの組み合わせに基づいて人物が検出されたか否かを判定する。人物が検出されていないと判定された場合には（ステップＳ２０２ ＮＯ）、ステップＳ２０３に進む。人物が検出されたと判定された場合には（ステップＳ２０２ ＹＥＳ）、ステップＳ１１３に進む。

（ステップＳ２０３）顔識別ＤＢ処理部１２１ａは、更新された設置状態に対応した顔識別ＤＢを情報ＤＢ１２０から読み出し、読み出した設置状態に対応した顔識別ＤＢを、カメラＩＤ、識別された人物の登録者ＩＤとともに、伝送制御部１４０を介してサーバー装置３１に送信する。サーバー装置３１は、受信したカメラＩＤ、登録者ＩＤ、及び設置状態に対応した顔識別ＤＢに基づいて統合顔識別ＤＢを更新する。その後、ステップＳ１１３に進む。

以上、説明したように、本実施形態によれば、人物識別装置１１ａの設置状況や撮影環境に応じて最適化された顔識別ＤＢが人物識別装置１１ａ内で更新され、更新した顔識別ＤＢを人物識別装置１１ａで行われる他の処理に支障をきたさない時にサーバー装置３１に送信することができる。種々の原因により、人物識別装置１１ａを再設置した後に動作するときに、サーバー装置３１の統合顔識別ＤＢから自装置の顔識別ＤＢをダウンロードすることができる。そのため、即座に人物識別装置を使用することができ、再設置後の人物識別処理における識別率が再設置前と同等に保たれる。

（第３の実施形態）
次に、本実施形態の第３の実施形態に係る人物識別システム１ｂ（図示せず）について説明する。上述した実施形態と同一の構成について同一の符号を付することにより、説明を援用する。
人物識別システム１ｂは、人物識別システム１ａと同様に、人物識別装置１１ａ、情報表示端末装置２１、及びサーバー装置３１を含んで構成される。サーバー装置３１は、上述した統合顔識別ＤＢを記憶している。

本実施形態では、サーバー装置３１は、人物識別装置１１ａから受信した付加情報を参照して、撮像部１１０の設置状態、例えば、登録者の顔の向き又はカメラの設置位置を特定し、特定した設置状態に対応する特徴量を有する設置状態に応じた顔識別ＤＢを検索する。サーバー装置３１は、検索した顔識別ＤＢを人物識別装置１１ａに送信する。
人物識別装置１１ａの顔識別ＤＢ処理部１２１ａは、サーバー装置３１から受信した顔識別ＤＢを、その登録者ＩＤと対応付けて設置状態に応じた顔識別ＤＢとして情報ＤＢ１２０に記憶する。

図９を参照してサーバー装置３１の処理の具体例を説明する。但し、撮像部１１０のカメラＩＤが５（図示せず）であり、天井付近に設置され、人物が撮影される顔の向きが上方である場合を仮定する。
その場合、サーバー装置３１は、人物識別装置１１ａから受信した付加情報が示す顔の向きが上方であることを特定する。サーバー装置３１は、上方に対応する特徴量を有する設置状態に応じた顔識別ＤＢとして、登録者ＩＤ１及びカメラＩＤ１及びカメラＩＤ３、登録者ＩＤ２及びカメラＩＤ１及びカメラＩＤ３に対応付けられたものを選択し、人物識別装置１１ａに送信する。これにより、選択した設置状態に応じた顔識別ＤＢとして、登録者ＩＤ１及びカメラＩＤ１及びカメラＩＤ３、登録者ＩＤ２及びカメラＩＤ１及びカメラＩＤ３に対応付けられたものが人物識別装置１１ａにダウンロードされる。なお、サーバー装置３１は、前記選択した設置状態に応じた顔識別ＤＢのうち、登録者ＩＤ１、ＩＤ２のいずれか一方に対応するものを送信してもよいし、人物識別装置１１ａから受信した登録者ＩＤと一致する登録者ＩＤに対応するもののみを送信してもよい。さらに、サーバー装置３１は、前記選択した設置状態に応じた顔識別ＤＢのうち、カメラＩＤ１、ＩＤ３のいずれか一方に対応するものを送信してもよい。
これにより、人物識別装置１１ａの情報ＤＢ１２０には、撮像部１１０の向きに応じた顔識別ＤＢが再現される。

なお、人物識別装置１１ａがサーバー装置３１に記録されている統合顔識別ＤＢから、そのカメラＩＤに対応する設置状態に応じた顔識別ＤＢをダウンロードするためには、第２の実施形態に係るサーバー装置３１には、カメラＩＤと対応付けた設置状態に応じた顔識別ＤＢが存在していなければならない。そのため、設置状態に応じた顔識別ＤＢをダウンロードするには、少なくとも１回は、事前にカメラＩＤに対応する設置状態に応じた顔識別ＤＢを統合顔識別ＤＢに記録されていなければならない。または、サーバー装置３１に、カメラＩＤと対応付けた設置状態に応じた顔識別ＤＢが存在していない場合は、人物識別装置１１ａがサーバー装置３１から基本顔識別ＤＢをダウンロードし、人物識別装置１１ａは、設置状態に応じた顔識別ＤＢを初めから登録し直す必要がある。
さらに、人物識別装置１１ａは、設置中であっても他の物体と接触した場合、脱落した場合等、撮像部１１０の位置や向きが変化することがあり、人物識別における識別率が低下することがある。

これに対し、本実施形態では、撮像部１１０の設置状態、例えば、向きが変化した場合や、自装置のカメラＩＤに対応する設置状態に応じた顔識別ＤＢが存在しない場合でも、人物識別装置１１ａは、その向きの設置状態に応じた顔識別ＤＢを取得することができる。そのため、人物識別装置１１ａは、この設置状態に応じた顔識別ＤＢを人物識別に用いることで、識別率の低下を防ぐことができる。

なお、上述ではサーバー装置３１は、人物識別装置１１ａの撮像部１１０と人物との位置関係が全て対応する特徴量を有する顔識別ＤＢを送信すべきものとして選択する場合を例にとったが、これには限られない。例えば、その位置関係のうち少なくとも１つが対応する特徴量を有する顔識別ＤＢを選択してもよい。
また、上述ではサーバー装置３１が、人物識別装置１１ａの撮像部１１０と人物との位置関係に対応する顔識別ＤＢの全てを送信すべきものとして選択する場合を例にとったが、これには限られない。例えば、サーバー装置３１は、上述により選択された顔識別ＤＢにおいて、人物識別装置１１ａから受信した差分情報で指定される特徴量に対応した特徴量のみを人物識別装置１１ａに送信してもよい。そして、顔識別ＤＢ処理部１２１ａは、差分情報で指定された特徴量をサーバー装置３１から受信した特徴量に置き換えることにより、情報ＤＢ１２０に記憶した顔識別ＤＢを更新する。これにより、更新に必要なデータ量と更新時間とを削減することができる。

上述したように、人物識別装置１１、１１ａは、撮影された映像を示す映像データから、人物を識別するとともに、その人物の顔や行動を検出し、検出された認識情報を情報表示端末装置２１に送信する。そのため、小児や高齢者等の見守り、不審者の侵入の検出、家電機器の操作等、様々なアプリケーションに適用することが可能になる。また、本実施形態では人物の識別対象とする場合を例にして説明したが、動物、その他の物体を識別対象としてもよい。

なお、撮像部１１０は、映像データを映像解析部１１１に送信することができれば、人物識別装置１１、１１ａと別体であってもよい。送信方法は、いかなる伝送方式を用いることができ、有線であっても、無線であってもよい。
なお、映像解析部１１１は、撮像部１１０から入力された映像データに代え、記憶媒体に記憶された映像データや、ネットワーク４１に接続された任意のサーバー装置に記憶された映像データを用いてもよい。

なお、本発明は次の態様で実施することができる。
（１）少なくとも１つの撮像部が撮像した映像から前記映像が表す人物を検出する人物検出部と、前記映像から算出した特徴量に基づいて前記人物の状態を検出する情報検出部と、を備え、前記情報検出部は、前記特徴量と予め第１の識別データベースに登録された特徴量とに基づいて人物を識別し、人物の識別に成功したとき、前記特徴量を第２の識別データベースに登録する人物識別装置。

（２）前記情報検出部は、さらに前記第２の識別データベースに登録された特徴量を用いて人物を識別する（１）の人物識別装置。

（３）前記情報検出部は、前記第１の識別データベースに登録された特徴量よりも前記第２の識別データベースに登録された特徴量を優先して用いて人物を識別する（２）の人物識別装置。

（４）前記情報検出部は、前記撮像部の設置状態を示す設置情報を取得し、人物の識別に成功し、かつ、前記算出した特徴量との間で前記第２の識別データベースに登録された前記人物の特徴量のうち、顔に関する特徴量の少なくとも１つが対応していない場合、前記算出した特徴量と前記設置情報とを前記第２の識別データベースに対応づけて登録する（１）から（３）のいずれかの人物識別装置。

（５）前記設置情報は、前記撮像部の高さ、向き、明るさ、天候、気温、湿度のうち少なくとの１つを表す情報である（４）の人物識別装置。

（６）前記第１の識別データベースと前記第２の識別データベースの少なくとも一方の識別データベースと、前記撮像部の識別情報とを対応付けてサーバー装置に送信する識別データベース処理部、を備える（１）から（５）のいずれかの人物識別装置。

（７）前記識別データベース処理部は、前記人物検出部が人物を検出しないとき、前記少なくとも一方の識別データベースを前記サーバー装置に送信する（６）の人物識別装置。

（８）前記識別データベース処理部は、前記撮像部の識別情報に対応する少なくとも一方の識別データベースを、前記サーバー装置から受信する（６）または（７）の人物識別装置。

（９）前記識別データベース処理部は、前記撮像部と前記人物との位置関係が対応する特徴量を含む少なくとも一方の識別データベースを前記サーバー装置から受信する（６）または（７）の人物識別装置。

（１０）人物識別装置における人物識別方法において、少なくとも１つの撮像部が撮像した映像から前記映像が表す人物を検出する人物検出過程と、前記映像から算出した特徴量に基づいて前記人物の状態を検出するユーザ情報検出過程と、を有し、前記ユーザ情報検出過程は前記特徴量と予め第１の識別データベースに登録された特徴量とに基づいて人物を識別し、人物の識別に成功したとき、前記特徴量を第２の識別データベースに登録する人物識別方法。

（１１）人物識別装置のコンピュータに、少なくとも１つの撮像部が撮像した映像から前記映像が表す人物を検出する人物検出手順、前記映像から算出した特徴量に基づいて前記人物の状態を検出するユーザ情報検出手順を実行させるプログラムであって、前記ユーザ情報検出手順は、前記特徴量と予め第１の識別データベースに登録された特徴量とに基づいて人物を識別し、ユーザの識別に成功したとき、人物の識別に成功したとき、前記特徴量を第２の識別データベースに登録するプログラム。

また、上述した実施形態における人物識別装置１１、１１ａの一部、例えばユーザ情報検出部１１２、モーション検出部１１３、行動認識部１１４、人物検出部１１５、動きベクトル検出部１１６、データ変換部１３０、伝送制御部１４０をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、人物識別装置に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における人物識別装置の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。人物識別装置の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれるものである。
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

本発明は、人物識別装置、セキュリティカメラとして利用可能である。

１、１ａ、１ｂ…人物識別システム、
１１、１１ａ（１１−１〜１１−４）…人物識別装置、
１１０…撮像部、１１１…映像解析部、１１２…ユーザ情報検出部、
１１２０…属性推定部、１１２１…表情推定部、１１２２…人物識別部、
１１２３…位置検出部、１１２４…人体部位検出部、
１１３…モーション検出部、１１４…行動認識部、１１５…人物検出部、
１１６…動きベクトル検出部、
１２０…情報ＤＢ、１２１ａ…顔識別ＤＢ処理部、
１３０…データ変換部、１４０…伝送制御部、１５０…設置情報取得部、
２１（２１−１、２１−２）…情報表示端末装置、３１…サーバー装置、
４１…ネットワーク

Claims (5)

1. 少なくとも１つの撮像部が撮像した映像から前記映像が表す人物を検出する人物検出部と、
   前記映像から算出した特徴量に基づいて前記人物の状態を検出する情報検出部と、を備え、
   前記情報検出部は、前記特徴量と予め第１の識別データベースに登録された特徴量とに基づいて人物を識別し、
   人物の識別に成功したとき、前記特徴量を第２の識別データベースに登録する人物識別装置。
2. 前記情報検出部は、
   さらに前記第２の識別データベースに登録された特徴量を用いて人物を識別する請求項１に記載の人物識別装置。
3. 前記情報検出部は、
   前記撮像部の設置状態を示す設置情報を取得し、
   人物の識別に成功し、かつ、前記算出した特徴量との間で前記第２の識別データベースに登録された前記人物の特徴量のうち、顔に関する特徴量の少なくとも１つが対応していない場合、前記算出した特徴量と前記設置情報とを前記第２の識別データベースに対応づけて登録する請求項１または２に記載の人物識別装置。
4. 前記第１の識別データベースと前記第２の識別データベースの少なくとも一方の識別データベースと、前記撮像部の識別情報とを対応付けてサーバー装置に送信する識別データベース処理部、を備え、
   前記識別データベース処理部は、前記撮像部の識別情報に対応する少なくとも一方の識別データベースを、前記サーバー装置から受信する請求項１から３のいずれか一項に記載の人物識別装置。
5. 前記識別データベース処理部は、前記撮像部と前記人物との位置関係が対応する特徴量を含む少なくとも一方の識別データベースを前記サーバー装置から受信する請求項４に記載の人物識別装置。

Images