JP2019023785A - 人物識別装置及びプログラム - Google Patents

Abstract

【課題】顔の特徴量と人体の特徴量とを単に組み合わせて人物の識別をする場合と比較して、精度の高い識別をすることが可能な人物識別装置及びプログラムを提供する。【解決手段】人物識別装置は、人物を含む画像のうち人物の顔に関する第１の特徴量及び体に関する第２の特徴量を抽出する抽出手段１０２、１０３と、抽出された前記第１の特徴量及び前記第２の特徴量にそれぞれ重み付けを付与して算出した第３の特徴量に基づいて前記人物を識別する識別手段１０５と、を備える。【選択図】図１

Description

本発明は、人物識別装置及びプログラムに関する。

近年、人物検出において顔検出フィルタと人体検出フィルタの使い分けを行う人物検出装置が提案されている（例えば、特許文献１参照。）。

特許文献１に記載された人物検出装置は、撮像手段により撮影された映像に含まれる人物を検出する人物検出装置において、前記映像に含まれる時系列の各画像のうち、所定の画像から所定以下の大きさを有する１又は複数の人物に対する人体領域を検出する人体検出手段と、前記所定の画像から所定以上の大きさを有する１又は複数の顔領域を検出する顔検出手段と、前記人体検出手段及び顔検出手段により得られる検出結果に基づいて、複数の画像に含まれる人物に対する同定処理を行う同定手段と、を有する。

特許第５２０３２８１号公報

本発明の課題は、顔の特徴量と人体の特徴量とを単に組み合わせて人物の識別をする場合と比較して、精度の高い識別をすることが可能な人物識別装置及びプログラムを提供することにある。

［１］人物を含む画像のうち人物の顔に関する第１の特徴量及び体に関する第２の特徴量を抽出する抽出手段と、抽出された前記第１の特徴量及び前記第２の特徴量にそれぞれ重み付けを付与して算出した第３の特徴量に基づいて前記人物を識別する識別手段と、を備えた人物識別装置。
［２］時系列上互いに先後する複数の画像のうち前記人物を含む人物領域を時系列の順番に連結した連結画像を生成する生成手段をさらに備え、前記抽出手段は、前記連結画像から前記人物領域に応じた複数の前記第１の特徴量及び複数の前記第２の特徴量を抽出し、前記識別手段は、抽出された前記複数の第１の特徴量及び前記複数の第２の徴量にそれぞれ重み付けを付与して算出した複数の前記第３の特徴量に基づいて前記人物を識別する、前記［１］に記載の人物識別装置。
［３］前記識別手段は、前記複数の画像ごとに設定された重み付けを付与して算出した複数の前記第３の特徴量に基づいて前記人物を識別する、前記［２］に記載の人物識別装置。
［４］前記識別手段は、連結される前記複数の人物領域の時系列上の時間差に応じて設定された重み付けを付与して算出した前記第３の特徴量に基づいて前記人物を識別する、前記［２］又は［３］に記載の人物識別装置。
［５］人物を識別する識別情報に関連付けて前記第１及び第２の特徴量を記憶する記憶手段と、前記抽出手段により抽出された前記第１の特徴量と前記記憶手段に記憶されている前記第１の特徴量に基づいて前記人物を含む画像に前記識別情報を有する特定の人物の顔が含まれる確率を示す第１の評価値を出力するとともに、前記抽出手段により抽出された前記第２の特徴量と前記記憶手段に記憶されている前記第２の特徴量に基づいて前記人物を含む画像に前記特定の人物の体が含まれる確率を示す第２の評価値を出力する出力手段と、をさらに備え、前記識別手段は、前記出力手段により出力された前記第１の評価値及び前記第２の評価値にそれぞれ重み付けを付与して算出した第３の評価値に基づいて前記人物を識別する、前記［１］から［４］のいずれか１つに記載の人物識別装置。
［６］前記識別手段は、前記第１の評価値及び前記第２の評価値に基づいて設定された重み付けを付与して算出した前記第３の評価値に基づいて前記人物を識別する、前記［５］に記載の人物識別装置。
［７］人物を識別する識別情報に関連付けて、前記人物を含む画像と前記第３の特徴量とを記憶する記憶手段と、前記識別手段により算出された前記第３の特徴量に基づいて前記人物を含む画像に前記識別情報を有する特定の人物が含まれる確率を示す評価値を出力する出力手段と、をさらに備え、前記識別手段は、前記第１の特徴量及び第２の特徴量にそれぞれ重み付けを付与して算出した第３の特徴量に基づいて前記出力手段により出力された前記評価値に基づいて前記人物を識別する、前記［１］から［４］のいずれか１つに記載の人物識別装置。
［８］前記画像は、複数の人物を含み、前記抽出手段は、前記画像のうち前記複数の人物のうち一の人物の顔に関する前記第１の特徴量及び前記特定の人物の体に関する第２の特徴量を抽出し、前記識別手段は、前記第１の特徴量及び前記第２の特徴量にそれぞれ重み付けを付与して算出した第３の特徴量に基づいて前記一の人物を識別する、前記［１］から［７］のいずれか１つに記載の人物識別装置。
［９］コンピュータを、人物を含む画像のうち人物の顔に関する第１の特徴量及び体に関する第２の特徴量を抽出する抽出手段と、抽出された前記第１の特徴量及び前記第２の特徴量にそれぞれ重み付けを付与して算出した第３の特徴量に基づいて前記人物を識別する識別手段と、として機能させるためのプログラム。

請求項１、５、７、９に係る発明によれば、顔の特徴量と人体の特徴量とを単に組み合わせて人物の識別をする場合と比較して、精度の高い識別をすることが可能になる。
請求項２に係る発明によれば、時系列上互いに先後する複数の画像を用いて、顔の特徴量及び人体の特徴量を単に組み合わせて人物の識別をすることと比較して、精度の高い識別をすることができる。
請求項３に係る発明によれば、時系列上互いに先後する複数の画像において重み付けを動的に変えて設定することができる。
請求項４に係る発明によれば、時系列上の時間差のある画像においても、顔の特徴量及び人体の特徴量を単に組み合わせて人物の識別をすることと比較して、精度の高い識別をすることができる。
請求項６に係る発明によれば、顔画像及び体画像から得られる評価値に基づいて重み付けを設定することができる。
請求項８に係る発明によれば、複数の人物を含む画像において、顔の特徴量及び人体の特徴量を単に組み合わせて人物の識別をすることと比較して、精度の良くそれぞれの人物を識別することができる。

図１は、本発明の第１の実施の形態に係る人物識別装置の制御系の一例を示すブロック図である。 図２は、撮像部によって撮像された画像の一例を示す図である。 図３は、図１に示す人物識別装置の動作の一例を示すフローチャートである。 図４は、本発明の第２の実施の形態に係る人物識別装置の制御系の一例を示すブロック図である。 図５（ａ）〜（ｄ）は、動画像の一例を示す図である。 図６は、人物セグメントの作成の一例を示す図である。 図７（ａ）〜（ｃ）は、人物セグメントの一例を示す図である。 図８は、図４に示す人物識別装置の動作の一例を示すフローチャートである。

以下、本発明の実施の形態について図面を参照して説明する。なお、各図中、実質的に同一の機能を有する構成要素については、同一の符号を付してその重複した説明を省略する。

［実施の形態の要約］
本実施の形態に係る人物識別装置は、人物を含む画像のうち人物の顔に関する第１の特徴量及び体に関する第２の特徴量を抽出する抽出手段と、抽出された第１の特徴量及び第２の特徴量にそれぞれ重み付けを付与して算出した第３の特徴量に基づいて人物を識別する識別手段と、を備える。

「人物を含む画像」とは、人物の少なくも一部を含む画像をいい、例えば、人物の全てを含む画像の他に、顔のみの画像、人物の顔以外の体のみの画像でもよい。

「第１の特徴量」とは、人物の顔を構成する構成要素（目、鼻、口等）の特徴を客観的に数値化したものをいう。「第２の特徴量」とは、人物の体を構成する構成要素（肩幅、首の太さ、服装等）の特徴を客観的に数値化したものをいう。第１の特徴量及び第２の特徴量には、例えば、ＨＯＧ（Histograms of Oriented Gradient）特徴量、ＳＩＦＴ（Scale-invariant Feature Transform）特徴量、深層学習（Deep Learning）により抽出された特徴量等が含まれる。

「第１の特徴量及び第２の特徴量にそれぞれ重み付けを付与して算出した第３の特徴量」には、例えば、重み付け加算、重み付き平均（加重平均）等により算出した第３の特徴量が含まれる。

「人物を識別する」とは、他の人物と識別することをいう。なお、「人物を識別する」には、その人物の氏名等の識別情報まで特定することを含めてもよい。

［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る人物識別装置の制御系の一例を示すブロック図である。この人物識別装置１は、人物識別装置１の各部を制御する制御部１０と、各種のデータを記憶する記憶部１１と、人物を撮影し画像を生成する撮像部１２と、を備える。記憶部１１は、記憶手段の一例である。

制御部１０は、ＣＰＵ（Central Processing Unit）、インターフェース等から構成されている。ＣＰＵは、記憶部１１に記憶されたプログラム１１０に従って動作することにより、受付手段１００、人物領域検出手段１０１、顔領域情報抽出手段１０２、体領域情報抽出手段１０３、情報統合手段１０４、人物同定手段１０５、更新手段１０６等として機能する。顔領域情報抽出手段１０２及び体領域情報抽出手段１０３は、抽出手段の一例である。人物同定手段１０５は、識別手段の一例である。各手段１００〜１０６の詳細については後述する。

記憶部１１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク等から構成され、プログラム１１０、顔情報１１１、体情報１１２等の各種データを記憶する。

顔情報１１１は、顔を含む複数の画像（「顔を含む画像」を以下、「顔画像」ともいう。）、及びこれら複数の顔画像の特徴量を含むデータである。顔情報１１１は、後述する撮影により生成された画像２０に含まれる人物２００（図２参照）を識別するために照合されるデータである。顔画像及び顔画像の特徴量は、人物を識別するＩＤ（以下、「人物ＩＤ」ともいう。）に関連付けられて記憶されている。なお、顔画像及び顔画像の特徴量は、人物ＩＤの他に、氏名等の識別情報に関連付けられて記憶されていてもよい。

顔画像の特徴量とは、顔画像に含まれる人物の顔の特徴を客観的に数値化したものであり、例えば、顔の輪郭、目、鼻、口、髪型等の特徴量が該当する。また、顔画像の特徴量には、顔の色、髪の色等の色情報や、メガネ、帽子等の装飾物に関する情報を含めてもよい。あるいは、単に色情報のみを顔画像の特徴量としてもよい。顔画像の特徴量は、例えば、ＨＯＧ、ＳＩＦＴ、深層学習により事前に抽出されるものである。

体情報１１２は、体を含む複数の画像（「体を含む画像」を以下、「体画像」ともいう。）及びこれら複数の体画像の特徴量を含むデータである。体情報１１２は、撮影により生成された画像２０に含まれる人物２００を識別するために照合されるデータである。体画像及び体画像の特徴量は、人物ＩＤに関連付けられて記憶されている。なお、体画像及び体画像の特徴量は、人物ＩＤの他に、氏名等の識別情報に関連付けられて記憶されていてもよい。

体画像の特徴量とは、体画像に含まれる人物の体の特徴を客観的に数値化した量のことであり、例えば、体型や身長等人物の属性情報の特徴量や、服装の特徴量が該当する。単に色情報のみを体画像の特徴量としてもよい。体画像の特徴量は、例えば、ＨＯＧ、ＳＩＦＴ、深層学習により事前に抽出されるものである。なお、以下では、特に記載のない限り「体」は、人物の身体のうち顔以外を示すものとするが、顔を含んでもよい。

撮像部１２は、人物を撮影して画像を生成する。画像は、静止画像でも動画像でもよい。また、撮像部１２は、生成した画像を受付手段１００に渡す。撮像部１２は、例えば、カメラである。

次に、制御部１０の各手段１００〜１０６について図２を参照して説明する。図２は、撮像部１２によって撮像された画像２０の一例を示す図である。図２では、３人の人物２００を図示するが、１人、２人でもよく、４人以上でもよい。

（受付手段の構成）
受付手段１００は、撮像部１２が生成した画像２０を受け付ける。画像２０には、少なくとも１人以上の人物が含まれる。

（人物領域検出手段の構成）
人物領域検出手段１０１は、受付手段１００が受け付けた画像２０から人物２００を含む領域２０１（以下、「人物領域２０１」ともいう。）を検出する。具体的には、人物領域検出手段１０１は、例えば、深層学習（Deep Leaning）等の機械学習により事前に学習させた人物の画像に基づいて、人物領域２０１を検出する。本実施の形態では、矩形状の人物領域２０１を例に説明するが、人物領域２０１は、矩形に囲まれた領域に限られるものではなく、例えば、円、楕円、多角形に囲まれる領域、人物の輪郭で囲まれる領域、人物の輪郭に外接する領域でもよい。また、人物領域２０１は、人物領域検出手段１０１による自動検出に限定されるものではなく、例えば、ユーザが目視で人物領域２０１を検出し、人物領域検出手段１０１がユーザにより検出された人物領域２０１の位置情報を受け付けるようにしてもよい。

（顔領域情報抽出手段の構成）
顔領域情報抽出手段１０２は、人物領域検出手段１０１が検出した人物領域２０１から、人物２００の顔を含む領域２０２（以下、「顔領域２０２」ともいう。）を抽出する。具体的には、顔領域情報抽出手段１０２は、例えば、深層学習（Deep Leaning）等の機械学習により事前に学習させた人の顔に関する画像に基づいて顔領域２０２を抽出する。本実施の形態では、矩形状の顔領域２０２を例に説明するが、顔領域２０２は、矩形に囲まれた領域に限られるものではなく、例えば、円、楕円、多角形に囲まれる領域、顔の輪郭で囲まれる領域、顔の輪郭に外接する領域でもよい。また、顔領域２０２は、必ずしも人物の顔全体が含まれるものに限られず、人物の顔の一部（例えば、顔全体の面積のうち予め定められた割合以上の面積）のみが含まれるものでもよい。なお、顔領域２０２の抽出は上述した方法に限られるものではなく、例えば、ユーザによる目視で抽出してもよく、人物領域２０１において予め定められた範囲（例えば、上から１／ｎの範囲）を一律に顔領域２０２として抽出してもよい。

また、顔領域情報抽出手段１０２は、抽出した顔領域２０２から、例えば、ＨＯＧ、ＳＩＦＴ、深層学習により特徴量を抽出する。顔領域２０２から抽出した特徴量は、第１の特徴量の一例である。

また、顔領域情報抽出手段１０２は、顔領域２０２から抽出した特徴量に基づいて、顔領域２０２に含まれる顔画像を記憶部１１に記憶された顔情報１１１に含まれる顔画像と人物ＩＤごとに照合し、顔領域２０２に含まれる顔画像が顔情報１１１に含まれる顔画像と一致する度合いを示す確率（以下、「第１の確率」ともいう。）を人物ＩＤごとに算出する。「確率」には、別名として、「スコア」等を用いてもよい。また、第１の確率は、第１の評価値の一例である。なお、評価値は、確率に限られず、例えば、顔領域２０２に含まる人物が顔情報１１に含まれる人物である確率を示す確信度や、類似の度合いを示す値、関連性の強さを示す値であってもよい。

具体的には、顔領域情報抽出手段１０２は、顔領域２０２から抽出した特徴量に基づいて事前に学習させた識別器から第１の確率を算出する。識別器には、例えば、Support Vector Machine識別器、Ada Boost識別器、Random Forest識別器、Neural Network識別器（deep neural networkを含む）等がある。

第１の確率は、例えば、顔領域２０２に含まれる顔画像と記憶部１１に記憶された顔情報１１１に含まれる顔画像とが完全に一致している場合を１として、０から１の範囲の値で表される。

具体的には、顔領域情報抽出手段１０２は、顔情報１１１に関連付けられた人物ＩＤごとに第１の確率Ｐ_１Ｋ（Ｋ＝１、２、・・・Ｎ）を算出する。ここで、Ｎは、顔情報１１１に関連付けられた人物の人数である。以下、Ｋ（Ｋ＝１、２、・・・Ｎ）を顔情報１１１又は体情報１１２に関連付けられた人物ＩＤとして説明する。

（体領域情報抽出手段の構成）
体領域情報抽出手段１０３は、人物領域検出手段１０１が検出した人物領域２０１から、人物２００の顔以外の体を含む領域２０３（以下、「体領域２０３」ともいう。）を抽出する。具体的には、体領域情報抽出手段１０３は、人物領域２０１から顔領域２０２を除いた領域を体領域２０３として抽出する。体領域２０３は、少なくとも体の一部を含む領域をいい、顔以外の上半身のみを含む領域でもよい。

なお、体領域２０３は、必ずしも人物領域２０１から顔領域２０２を除いた領域に限定されるものではない。例えば、上述した人物領域２０１全体を体領域２０３としてもよい。あるいは、例えば、予め深層学習（Deep Leaning）等の機械学習により人の体に関する画像を事前に学習させ、学習させた当該人の体に関する画像に応じた領域を体領域２０３としてもよい。また、体領域２０３は、矩形状の領域に限られない。なお、体領域２０３の抽出は上述した方法に限られるものではない。

また、体領域情報抽出手段１０３は、抽出した体領域２０３から、例えば、ＨＯＧ、ＳＩＦＴ、深層学習により特徴量を抽出する。体領域２０３から抽出した特徴量は、第２の特徴量の一例である。

また、体領域情報抽出手段１０３は、体領域２０３から抽出した特徴量に基づいて、体領域２０３に含まれる体画像を記憶部１１に記憶された体情報１１２に含まれる体画像と人物ＩＤごとに照合し、体領域２０３に含まれる体画像が体情報１１２に含まれる体画像と一致する度合いを示す確率（以下、「第２の確率」ともいう。）を人物ＩＤごとに算出する。第２の確率は、第２の評価値の一例である。

具体的には、体領域情報抽出手段１０３は、体領域２０３から抽出した特徴量に基づいて事前に学習させた識別器から第２の確率を算出する。識別器には、例えば、Support Vector Machine識別器、Ada Boost識別器、Random Forest識別器、Neural Network識別器（deep neural networkを含む）等がある。

第２の確率は、例えば、体領域２０３に含まれる体画像と記憶部１１に記憶された体情報１１２に含まれる体画像とが完全に一致している場合を１として、０から１の範囲の値で表される。

具体的には、体領域情報抽出手段１０３は、体情報１１２に関連付けられた人物ＩＤごとに第２の確率Ｐ_２Ｋ（Ｋ＝１、２、・・・Ｎ）を算出する。

（情報統合手段の構成）
情報統合手段１０４は、顔領域情報抽出手段１０２が算出した第１の確率及び体領域情報抽出手段１０３が算出した第２の確率をそれぞれ重み付けを付与して統合した統合情報を算出する。

情報統合手段１０４は、例えば、第１の確率に係る係数（以下、「顔に係る係数」ともいう。）をｗ_１、第２の確率に係る係数（以下、「体に係る係数」ともいう。）をｗ_２、第１の確率をＰ_１、第２の確率をＰ_２、統合情報Ｆとした場合に、次の式を用いて統合情報Ｆを求めてもよい。
Ｆ＝ｗ_１ｘＰ_１＋ｗ_２ｘＰ_２
但し、ｗ_１＋ｗ_２＝１

顔に係る係数ｗ_１は、統合情報Ｆに対する顔領域２０２から得られる情報（特徴量や第１の確率等）の重み付けを示す値である。体に係る係数ｗ_２は、統合情報Ｆに対する体領域２０３から得られる情報（特徴量や第１の確率等）の重み付けを示す値である。顔に係る係数ｗ_１、体係る係数ｗ_２は、例えば、０から１の範囲の値で表される。顔に係る係数ｗ_１、体係る係数ｗ_２は、重み付けの一例である。統合情報Ｆは、第３の評価値の一例である。

情報統合手段１０４は、顔領域２０２から得られる情報及び体領域２０３から得られる情報のうち、情報量の多い方の重み付けを大きくする。具体的には、情報統合手段１０４は、例えば、体領域２０３の面積に対する顔領域２０２の面積の比率、人物２００の服装の類似度、撮影した時間、及びこれらの組み合わせに基づいて、顔に係る係数ｗ_１及び体に係る係数ｗ_２のうち情報量の多い方の係数を情報量の少ない方の係数よりも大きい値に設定する。顔領域２０２及び体領域２０３の面積、人物２００の服装の類似度、撮影した時間は一例であり、これらに限定されるものではない。また、顔に係る係数ｗ_１及び体に係る係数ｗ_２は、予め定められた値でもよく、ユーザから入力される値でもよい。以下、具体例を例示的に列挙して説明する。

（１）顔領域から得られる情報量が体領域から得られる情報量よりも多い例
（１−１）面積の比率
例えば、情報統合手段１０４が体領域２０３の面積に対する顔領域２０２の面積の比率が予め定められた比率以上と判断した場合、情報統合手段１０４は、顔に係る係数ｗ_１を体に係る係数ｗ_２以上の値に設定する（例えば、ｗ_１が０．５以上）。

体領域２０３の面積に対する顔領域２０２の面積の比率が予め定められた比率以上の画像には、例えば、上半身のみが撮影された画像のように、人物２００に対して顔の占める割合が顔以外の体が占める割合以上の画像等が含まれる。

（１−２）服装の類似度
また、例えば、情報統合手段１０４が人物２００間の服装が類似していると判断した場合、情報統合手段１０４は、顔に係る係数ｗ_１を体に係る係数ｗ_２以上の値に設定する（例えば、ｗ_１が０．５以上）。人物２００間の服装が類似していると、体領域２０３から得られる情報のみでは人物２００の識別がしにくい場合がある。このような画像については、人物の識別にとって、顔領域２０２から得られる情報量の方が体領域２０３から得られる情報量よりも多いものとして顔に係る係数ｗ_１を体に係る係数ｗ_２以上の値に設定する。

なお、人物２００間の服装が類似しているかどうかは、情報統合手段１０４が事前に人物識別装置１にユーザから入力される情報に基づいて判定しもよく、情報統合手段１０４が体領域２０３から人物２００の服装の類似の度合いを示す類似度を算出し、算出した類似度に基づいて判定してもよい。具体的には、情報統合手段１０４が同一の画像２０や近い時間に得られた画像２０内において、人物間で服装の類似度を算出してもよい。

（１−３）撮像した時間
また、例えば、情報統合手段１０４が画像２０が生成された時間が顔情報１１１又は体情報１１２が記憶部１１に記憶された時間から予め定められた時間（例えば、１日）経過しているものと判断した場合、情報統合手段１０４は、顔に係る係数ｗ_１を体に係る係数ｗ_２以上の値に設定する（例えば、ｗ_１が０．５以上）。画像２０が生成された時間が顔情報１１１又は体情報１１２が記憶部１１に記憶された時間から予め定められた時間（例えば、１日）経過していると、画像情報２０の生成時の人物の服装と体情報１１２が記憶部１１に記憶された時の人物の服装との間の違いが大きいことが見込まれる。このような画像では、体領域２０３から得られる情報のみでは人物２００の識別がしにくい場合があるため、人物の識別にとって、顔領域２０２から得られる情報量の方が体領域２０３から得られる情報量よりも多いものとして顔に係る係数ｗ_１を体に係る係数ｗ_２以上の値に設定する。

（２）顔領域から得られる情報量が体領域から得られる情報量よりも少ない例
（２−１）面積の比率
例えば、情報統合手段１０４が体領域２０３の面積に対する顔領域２０２の面積の比率が予め定められた比率よりも小さいと判断した場合、情報統合手段１０４は、顔に係る係数ｗ_１を体に係る係数ｗ_２未満の値に設定する（例えば、ｗ_１が０．５未満）。

体領域２０３の面積に対する顔領域２０２の面積の比率が予め定められた比率よりも小さい画像には、例えば、撮影範囲が体の大きさと比較して十分に広いことにより顔による人物の同定がしにくいような画像等が含まれる。

（２−２）撮像した時間
また、例えば、情報統合手段１０４が画像２０が生成された時間が体情報１１２が記憶部１１に記憶された時間から予め定められた時間経過してないものと判断とした場合、情報統合手段１０４は、顔に係る係数ｗ_１を体に係る係数ｗ_２未満の値に設定する（例えば、ｗ_１が０．５未満）。画像２０が生成された時間が顔情報１１１又は体情報１１２が記憶部１１に記憶された時間から予め定められた時間経過してないと、画像情報２０の生成時の人物の服装と体情報１１２が記憶部１１に記憶された時の人物の服装との間の違いが小さいことが見込まれる。このような画像については、人物の識別にとって、体領域２０３から得られる情報量の方が顔領域２０２から得られる情報量よりも以上であるものとして体に係る係数ｗ_２を顔に係る係数ｗ_１以上の値（換言すれば、例えば、ｗ_１が０．５未満）に設定する。

（３）その他
また、情報統合手段１０４は、例えば、顔領域情報抽出手段１０２が算出した第１の確率Ｐ_１又は体領域情報抽出手段１０３が算出した第２の確率Ｐ_２に基づいて顔に係る係数ｗ_１及び体に係る係数ｗ_２を設定してもよい。情報統合手段１０４は、例えば、第１の確率Ｐ_１が第２の確率Ｐ_２以上の場合に、顔に係る係数ｗ_１を体に係る係数ｗ_２以上の値（例えば、０．５以上）にしてもよく、第１の確率Ｐ_１が第２の確率Ｐ_２よりも小さい場合に、顔に係る係数ｗ_１を体に係る係数ｗ_２小さい値（例えば、０．５未満）にしてもよい。

情報統合手段１０４は、顔情報１１１又は体情報１１２に関連付けられた人物ＩＤごとに統合情報Ｆを算出する。例えば、情報統合手段１０４は、次の式、
Ｆ_Ｋ＝ｗ_１ＫｘＰ_１Ｋ＋ｗ_２ＫｘＰ_２Ｋ、（Ｋ＝１、２、・・・Ｎ）
に従って、顔情報１１１又は体情報１１２に関連付けられた人物ＩＤごとに統合情報Ｆ_Ｋ（Ｋ＝１、２、・・・Ｎ）を算出してもよい。

ｗ_１ｋ、ｗ_２ｋは、顔情報１１１又は体情報１１２に関連付けられた人物ＩＤごとに設定された重み付けを示す係数である。このように、情報統合手段１０４は、顔情報１１１又は体情報１１２に関連付けられた人物ＩＤごとに各係数ｗ_１Ｋ、ｗ_２Ｋを設定してもよい。なお、各係数ｗ_１Ｋ、ｗ_２Ｋは、顔情報１１１又は体情報１１２に関連付けられた人物ＩＤによらず共通の値としてもよい。

（人物同定手段の構成）
人物同定手段１０５は、情報統合手段１０４により算出された統合情報Ｆ_Ｋに基づいて人物２００を同定する。具体的には、人物同定手段１０５は、情報統合手段１０４により算出された統合情報Ｆ_Ｋ（Ｋ＝１、２、・・・Ｎ）のうちの最大値Ｆ_Ｍ（Ｍ＝１、２、・・・、Ｎ）が予め定められたしきい値以上の場合に、当該人物領域に含まれる人物２００が、人物ＩＤがＫの人物であると同定する。

また、人物同定手段１０５は、統合情報Ｆ_Ｋ（Ｋ＝１、２、・・・Ｎ）のうちの最大値Ｆ_Ｍ（Ｍ＝１、２、・・・、Ｎ）が予め定められたしきい値未満の場合、当該人物領域に含まれる人物が、記憶部１１に記憶されていない新たな人物と同定してもよい。

（更新手段の構成）
更新手段１０６は、人物同定手段１０５により人物２００の同定が行われた人物領域の特徴量、すなわち顔領域２０２及び体領域２０３の特徴量に基づいて、記憶部１１の顔情報１１１及び体情報１１２を更新する。この「更新」には、人物同定手段１０５が同定した人物２００が記憶部１１に記憶されている人物である場合に、当該人物に関連付けられた顔画像及び体画像を別の顔画像及び体画像に変更すること、すなわちデータ更新の他に、人物同定手段１０５が同定した人物２００が記憶部１１に記憶されていない新たな人物である場合に、当該新たな人物を含む顔領域２０２及び体領域２０３の特徴量に基づいて、新たな人物に関連付けられた顔画像及び体画像並びにこれらの特徴量を顔情報１１１及び体情報１１２として追加して記憶部１１に記憶することが含まれる。

このようにして、同定された人物２００の情報が顔情報１１１及び体情報１１２として記憶部１１に取り込まれ、すなわち機械学習が行われ、これにより、次の同定を行うときに今回の同定よりも精度よく人物２００の同定を行うことができる。

（第１の実施の形態の動作）
次に、人物識別装置１の動作の一例について図２、図３を参照して説明する。図３は、図１に示す人物識別装置１の動作の一例を示すフローチャートである。撮像部１２は、人物を撮像し画像２０を生成する（Ｓ１）。撮像部１２は、生成した画像２０を受付手段１００に渡す。

受付手段１００は、撮像部１２から渡された画像２０を受け付ける（Ｓ２）。人物領域検出手段１０１は、図２に示すように、受付手段１００が受け付けた画像２０から人物領域２０１を検出する（Ｓ３）。

顔領域情報抽出手段１０２は、人物領域検出手段１０１が検出した人物領域２０１から顔領域２０２を抽出する（Ｓ４）。顔領域情報抽出手段１０２は、抽出した顔領域２０２から特徴量を抽出する（Ｓ５）。顔領域情報抽出手段１０２は、抽出した特徴量に基づいて、抽出した顔領域２０２に含まれる顔画像が顔情報１１１に含まれる顔画像と一致する確率、すなわち第１の確率Ｐ_１Ｋ（Ｋ＝１、２、・・・Ｎ）を算出する（Ｓ６）。

体領域情報抽出手段１０３は、人物領域検出手段１０１が検出した人物領域２０１から体領域２０３を抽出する（Ｓ７）。体領域情報抽出手段１０３は、抽出した体領域２０３から特徴量を抽出する（Ｓ８）。体領域情報抽出手段１０３は、抽出した特徴量に基づいて、抽出した体領域２０３に含まれる体画像が体情報１１２に含まれる体画像と一致する確率、すなわち第２の確率Ｐ_２Ｋ（Ｋ＝１、２、・・・Ｎ）を算出する（Ｓ９）。

情報統合手段１０４は、上述の第１の確率及び第２の確率を、重み付けを示す各係数ｗ_１及びｗ_２を付与して統合して統合情報Ｆ_Ｋ（Ｋ＝１、２、・・・Ｎ）を算出する（Ｓ１０）。

人物同定手段１０５は、情報統合手段１０４が算出した統合情報Ｆ_Ｋ（Ｋ＝１、２、・・・Ｎ）に基づいて、人物２００を同定する（Ｓ１１）。

更新手段１０６は、人物同定手段１０５により人物２００の同定を行われた顔領域２０２及び体領域２０３の特徴量に基づいて、記憶部１１の顔情報１１１及び体情報１１２を更新する（Ｓ１２）。

以上のように、顔領域２０２から得られる情報と体領域２０３から得られる情報のうち、情報量の多い一方の重み付けを大きくし、他方の重み付けを小さくして統合して算出した情報に基づいて人物２００を同定することができる。これにより、顔領域２０２から得られる情報と体領域２０３から得られる情報とを単に組み合わせて人物２００の識別をすることと比較して、精度の高い識別をすることが可能となる。

＜変形例＞
上述の第１の実施の形態では、情報統合手段１０４は、顔領域情報抽出手段１０２が算出した第１の確率Ｐ_１及び体領域情報抽出手段１０３が算出した第２の確率Ｐ_２を統合して統合情報Ｆを算出したが、これに限定されるものではない。

例えば、情報統合手段１０４は、顔領域情報抽出手段１０２が抽出した第１の特徴量及び体領域情報抽出手段１０３が算出した第２の特徴量を統合して第３の特徴量を算出してもよい。この場合、情報統合手段１０４は、第３の特徴量に応じて、当該人物領域２０１に含まれる人物が記憶部１１に記憶された顔情報１１１又は体情報１１２に関連付けられた人物と一致する確率を示す第３の確率を算出してもよい。また、人物同定手段１０５は、情報統合手段１０４が算出した第３の特徴量に基づいて人物を同定してもよく、第３の特徴量に応じて算出する第３の確率に基づいて人物を同定してもよい。

［第２の実施の形態］
図４は、本発明の第２の実施の形態に係る人物識別装置１の制御系の一例を示すブロック図である。第１の実施の形態では、撮像部１２は、静止画像を取得する機能を有するものであるが、第２の実施の形態では、撮像部１２は、動画像を取得する機能を有するものである。以下、第１の実施の形態と異なる点を中心に説明する。

制御部１０は、第１の実施の形態で説明した機能に加えて、さらに人物セグメント作成手段１０７として機能する。人物セグメント作成手段１０７の詳細については、後述する。

撮像部１２は、予め定められた時間間隔で連続的に人物を撮像して、複数の連続的な静止画像（以下、「動画像」ともいう。）を生成する。動画像は、時系列上互いに先後する複数の画像の一例である。

次に、図５、図６、図７を参照して、各手段について第１の実施の形態と異なる点を中心に説明する。

図５は、動画像の一例を示す図である。受付手段１００は、撮像部１２が生成した動画像２を受け付ける。動画像２は、図５（ａ）から図５（ｄ）に示すように、複数の画像２０（静止画像）を含む。なお、説明の便宜上、図５に示す各画像２０は、図５（ａ）、（ｂ）、（ｃ）、（ｄ）の順に時系列の順番に並べて示している。また、図５では、動画像２が４つの画像２０を含む例を図示するが、画像は、２つ、３つ、５つ以上でもよい。

各画像２０には、それぞれ３人の人物２００Ａ、２００Ｂ、２００Ｃが含まれる。図５では、それぞれ３人の人物を図示するが、１人、２人でもよく、４人以上でもよい。なお、以下では、人物を区別して説明する必要のない場合は、説明の便宜上、単に「人物２００」ともいう。

人物領域検出手段１０１は、受付手段１００が受け付けた動画像２から人物領域を検出する。具体的には、人物領域検出手段１０１は、動画像に含まれる各画像２０のそれぞれから人物領域２０１Ａ、２０１Ｂ、２０１Ｃを検出する。なお、以下では、人物領域を区別して説明する必要のない場合は、説明の便宜上、単に「人物領域２０１」ともいう。

人物セグメント作成手段１０７は、人物領域検出手段１０１が検出した動画像２の人物領域２０１を抽出して、人物２００ごとに時系列の順番に連結した画像３Ａ、３Ｂ、３Ｃ（図７参照）（以下、「人物セグメント３Ａ、３Ｂ、３Ｃ」ともいう。）を作成する。人物セグメント３Ａ、３Ｂ、３Ｃは、連結画像の一例である。

図６を参照して具体的に説明する。図６は、人物セグメントの作成の一例を示す図である。図６は、上側に図５（ａ）から（ｄ）で示した４つの画像２０と、この４つの画像２０から作成される人物セグメント３Ａとを示している。図６は、一例として、各画像２０に含まれる人物２００のうちの一人の人物２００Ａについての人物セグメント３Ａの作成の例を示している。

図６の矢印に示すように、人物セグメント作成手段１０７は、人物領域検出手段１０１が検出した動画像２の人物領域２０１Ａを抽出して、時系列の順番に連結して人物セグメント３Ａを作成する。

なお、人物セグメント３Ａ、３Ｂ、３Ｃは、動画像に含まれる画像２０の全てを含むものでもよく、動画像に含まれる画像２０のうちの一部のみを含むものでもよい。

人物セグメント作成手段１０７は、人物領域検出手段１０１が検出した人物領域２０１Ａ〜２０１Ｃがどの人物セグメント３Ａ〜３Ｃに属するかについて決定する。具体的には、人物セグメント作成手段１０７は、例えば、異なる画像２０において検出された人物領域２０１間で重なり合う領域、当該人物領域２０１の中心間の距離、当該人物領域２０１の特徴量の類似度等に基づいて、人物領域検出手段１０１が検出した人物領域２０１Ａ〜２０１Ｃがどの人物セグメント３Ａ〜３Ｃに属するかについて決定する。

人物セグメント作成手段１０７は、人物領域２０１に含まれる特定の人物２００を追跡することにより、当該人物領域２０１Ａ〜２０１Ｃがどの人物セグメント３Ａ〜３Ｃに属するかを決定してもよい。

図７は、人物セグメントの一例を示す図である。図７（ａ）は、図５に示す各画像２０に含まれる人物２００のうちの一人の人物２００Ａについての人物セグメント３Ａの例を示し、図７（ｂ）は、別の人物２００Ｂについての人物セグメント３Ｂの例を示し、図７（ｃ）は、さらに別の人物２００Ｃについての人物セグメント３Ｃの例を示す。以下、人物ＩＤごとに人物セグメントを区別して説明する必要のない場合は、単に「人物セグメント３」ともいう。

顔領域情報抽出手段１０２は、人物セグメント３に含まれる複数の人物領域２０１Ａ〜２０１Ｃごとにそれぞれ顔領域２０２Ａ、２０２Ｂ、２０２Ｃ（以下、単に「顔領域２０２」ともいう。）を抽出し、抽出した複数の顔領域２０２からそれぞれ特徴量を抽出するとともに、抽出した特徴量に基づいて人物セグメント３に含まれる複数の人物領域２０１Ａ〜２０１Ｃごとに複数の第１の確率を算出する。

また、体領域情報抽出手段１０３は、人物セグメント３に含まれる複数の人物領域２０１Ａ〜２０１Ｃごとにそれぞれ体領域２０３Ａ、２０３Ｂ、２０３Ｃ（以下、単に「体領域２０３」ともいう。）を抽出し、抽出した複数の体領域２０３からそれぞれ特徴量を抽出するとともに、抽出した特徴量に基づいて人物セグメント３に含まれる複数の人物領域２０１Ａ〜２０１Ｃごとに複数の第２の確率を算出する。

具体的には、人物セグメント３の数をＩ、人物セグメント３に含まれる人物領域２０１の数をＪとし、人物セグメント３のＩＤをｉ（ｉ＝１、２、・・・Ｉ）、人物領域２０１のＩＤをｊ（ｊ＝１、２、・・・Ｊ）、記憶部１１に記憶された顔情報１１１又は体情報１１２に関連付けられた人物の人物ＩＤをＫとした場合、顔領域情報抽出手段１０２は、ＩＤがｉの人物セグメント内のＩＤがｊの人物領域における第１の確率Ｐ_１ｉｊＫをそれぞれ算出する。また、体領域情報抽出手段１０３は、ＩＤがｉの人物セグメント内のＩＤがｊの人物領域における第２の確率Ｐ_２ｉｊＫを算出する。なお、図５、図６、図７に示す例では、Ｉ＝３、Ｊ＝４である。

情報統合手段１０４は、第１の実施の形態に示した例の他に、例えば、人物セグメント３に含まれる体領域２０３の数と顔領域２０２の数との割合に基づいて、重み付けを示す各係数ｗ_１、ｗ_２を設定してもよい。

また、情報統合手段１０４は、連結される人物領域２０１の時系列上の時間差に応じて各係数ｗ_１、ｗ_２を設定してもよい。

情報統合手段１０４は、人物セグメント３ごとに統合情報を算出してもよい。具体的には、情報統合手段１０４は、次の式を用いて、ＩＤがｉの人物セグメント３内のＩＤがｊの人物領域２０１における統合情報Ｆ_ｉｊＫを求めてもよい。
Ｆ_ｉｊＫ＝ｗ_１ｉｊＫｘＰ_１ｉｊＫ＋ｗ_２ｉｊＫｘＰ_２ｉｊＫ

ｗ_１ｉｊＫ、ｗ_２ｉｊＫは、人物セグメント３内の人物領域２０１ごとに、かつ、人物ＩＤごとに設定された重み付けを示す係数である。このように、情報統合手段１０４は、人物セグメント３内の人物領域２０１及び人物ＩＤごとに各係数ｗ_１ｉｊＫ、ｗ_２ｉｊＫを設定してもよい。なお、各係数ｗ_１ｉｊＫ、ｗ_２ｉｊＫは、人物セグメント３、人物領域２０１等によらずに共通の値としてもよい。

次に、情報統合手段１０４は、人物セグメント３ごとに統合情報を統計処理する。具体的には、情報統合手段１０４は、次の式を用いて、人物セグメント３内の人物領域２０１ごとに求めた各統合情報Ｆ_ｉｊＫを平均した人物セグメント３ごとの統合情報Ｆ_ｉＫを算出する。
Ｆ_ｉＫ＝（Ｆ_ｉ１Ｋ＋Ｆ_ｉ２Ｋ＋・・・Ｆ_ｉＪＫ）／Ｊ
ｉ＝１、２、・・・Ｉ
Ｋ＝１、２、・・・Ｎ

なお、各統合情報Ｆ_ｉｊＫを平均することに限定されるものではなく、例えば、中央値、最大値、最小値であってもよい。

人物同定手段１０５は、情報統合手段１０４により算出された統合情報Ｆ_ｉＫ（Ｋ＝１、２、・・・Ｎ）のうちの最大値Ｆ_ｉＭ（Ｍ＝１、２、・・・、Ｎ）が予め定められたしきい値以上の場合に、ＩＤがｉの人物セグメント３に含まれる人物が、人物Ｋ（ＩＤがＫの人物）であると同定する。

（第２の実施の形態の動作）
次に、人物識別装置１の動作の一例について図８を参照して説明する。図８は、図４に示す人物識別装置１の動作の一例を示すフローチャートである。撮像部１２は、人物を撮像し動画像２を生成する（Ｓ２０）。撮像部１２は、生成した動画像２を受付手段１００に渡す。

受付手段１００は、撮像部１２から渡された動画像２を受け付ける（Ｓ２１）。人物領域検出手段１０１は、図５に示すように、受付手段１００が受け付けた動画像２に含まれる複数の画像２０からそれぞれ人物領域２０１Ａ〜２０１Ｃを検出する（Ｓ２２）。

人物セグメント作成手段１０７は、図６に示すように、人物領域検出手段１０１が検出した人物領域２０１を人物２００Ａ〜２００Ｃごとに連結して人物セグメント３を作成する（Ｓ２３）。

顔領域情報抽出手段１０２は、図７に示すように、人物セグメント３に含まれる複数の人物領域２０１Ａ〜２０１Ｃのそれぞれから顔領域２０２を抽出する。次に、顔領域情報抽出手段１０２は、抽出した顔領域２０２からそれぞれ特徴量を抽出し、抽出した特徴量に基づいて、抽出した顔領域２０２に含まれる顔画像が顔情報１１１に含まれる顔画像と一致する確率、すなわち第１の確率Ｐ_１ｉｊＫ（Ｋ＝１、２、・・・Ｎ）を算出する（Ｓ２４）。なお、ｉは、人物セグメント３のＩＤ、ｊは、人物セグメント３に含まれる人物領域２０１のＩＤである。

体領域情報抽出手段１０３は、図７に示すように、人物セグメント３に含まれる複数の人物領域２０１のそれぞれから体領域２０３を抽出する。次に、体領域情報抽出手段１０３は、抽出した体領域２０３からそれぞれ特徴量を抽出し、抽出した特徴量に基づいて、抽出した体領域２０３に含まれる体画像が体情報１１２に含まれる体画像と一致する確率、すなわち第２の確率Ｐ_２ｉｊＫ（Ｋ＝１、２、・・・Ｎ）を算出する（Ｓ２５）。

情報統合手段１０４は、上述の第１の確率及び第２の確率を、重み付けを示す値ｗ_ｉｊＫを付与して統合して統合情報Ｆ_ｉｊＫ（Ｋ＝１、２、・・・Ｎ）を算出する。また、情報統合手段１０４は、各統合情報Ｆ_ｉｊＫを平均して人物セグメント３ごとの統合情報Ｆ_ｉＫを算出する（Ｓ２６）。

人物同定手段１０５は、情報統合手段１０４が算出した人物セグメント３ごとの統合情報Ｆ_ｉＫ（Ｋ＝１、２、・・・Ｎ）に基づいて、人物を同定する（Ｓ２７）。

更新手段１０６は、人物同定手段１０５により人物２００Ａ〜２００Ｃの同定を行われた顔領域２０２及び体領域２０３の特徴量に基づいて、記憶部１１の顔情報１１１及び体情報１１２を更新する（Ｓ２８）。

［実施例］
図７に示すような、人物セグメント３内の人物領域２０１の数が４つ（Ｊ＝４）、記憶部１１に記憶された顔情報１１１又は体情報１１２に関連付けられた人物の数が３つ（Ｎ＝３）の例において、図７（ａ）に示す１つの人物セグメント３Ａを例に結果の一例を説明する。なお、説明の便宜上、当該人物セグメント３ＡのＩＤ（ｉ）を１とする。また、当該人物セグメント３Ａに含まれる４つの人物領域２０１Ａについて、左から順に人物領域のＩＤ（ｊ）を１、２、３、４とする。

一例として、以下に示す統合情報Ｆ_１ｊＫ（ｊ＝１、２、３、４。Ｋ＝１、２、３）が得られたとする。なお、以下では、Ｆ_１ｊＫ（Ｋ＝１、２、３）は、説明の便宜上、｛Ｆ_１ｊ１、Ｆ_１ｊ２、Ｆ_１ｊ３｝のように中括弧を用いたベクトル表示で記載する。

（１）図７（ａ）の左端の人物領域２０１Ａの統合情報Ｆ_１１Ｋ（Ｋ＝１、２、３）について
Ｆ_１１Ｋ＝｛０．１、０．７、０．２｝

（２）図７（ａ）の左端から２番目の人物領域２０１Ａの統合情報Ｆ_１２Ｋ（Ｋ＝１、２、３）について
Ｆ_１２Ｋ＝｛０．１、０．２、０．３｝

（３）図７（ａ）の左端から３番目の人物領域２０１Ａの統合情報Ｆ_１３Ｋ（Ｋ＝１、２、３）について
Ｆ_１３Ｋ＝｛０．２、０．３、０．１｝Ｋ＝１、２、３

（４）図７（ａ）の左端から４番目の人物領域２０１Ａの統合情報Ｆ_１４Ｋ（Ｋ＝１、２、３）について
Ｆ_１４Ｋ＝｛０．１、０．８、０．１｝

この場合、当該人物セグメント３Ａの統合情報Ｆ_１Ｋ（Ｋ＝１、２、３）は、
Ｆ_１Ｋ＝｛（０．１＋０．１＋０．２＋０．４）／４、（０．７＋０．２＋０．３＋０．８）／４、（０．２＋０．３＋０．１＋０．１）／４｝
＝｛０．１２５、０．５、０．１７５｝
となる。

上述の例では、Ｋ＝２の場合に、Ｆ_１Ｋ（Ｋ＝１、２、３）は、最大値０．５をとる。以上をまとめると、ＩＤが１の人物セグメント３Ａに含まれる人物２００Ａは、記憶部１１に記憶された顔情報１１１及び体情報１１２に関連付けられたＩＤが２の人物と同定される。

以上のようにして、動画像においても、顔領域から得られる情報と体領域から得られる情報とを単に組み合わせて人物の識別をすることと比較して、精度の高い識別をすることが可能となる。

＜変形例＞
情報統合手段１０４は、顔領域情報抽出手段１０２が抽出した複数の第１の特徴量及び体領域情報抽出手段１０３が抽出した複数の第２の特徴量にそれぞれ重み付けを付与して算出して複数の第３の特徴量を抽出してもよい。例えば、情報統合手段１０４は、各人物セグメント３間での特徴量の類似度や、特徴量の要素同士の差の二乗の合計値（すなわち、「距離」）に応じて、第１の特徴量及び体領域情報抽出手段１０３が抽出した第２の特徴量を統合して第３の特徴量を抽出してもよい。人物同定手段１０５は、情報統合手段１０４により抽出された複数の第３の特徴量に基づいて人物を同定してもよい。

以上、本発明の実施の形態を説明したが、本発明の実施の形態は上記実施の形態に限定されるものではなく、本発明の要旨を変更しない範囲内で種々の変形、実施が可能である。例えば、上記実施の形態では、撮像された画像に含まれる人物が記憶部１１に記憶された顔情報１１１又は体情報１１２に関連付けられた人物ＩＤを有する人物を同定したが、撮像された画像に含まれる複数のうち特定の人物を他の人物と識別するだけでもよい。

また、顔領域情報抽出手段１０２は、顔領域２０２を抽出し、抽出した領域２０２の特徴量を抽出したが、撮像された画像から顔に関する特徴量を抽出してもよい。また、顔領域情報抽出手段１０２と同様に、体領域情報抽出手段１０３は、撮像された画像から体に関する特徴量を抽出してもよい。

制御部１０の各手段は、それぞれ一部又は全部を再構成可能回路（ＦＰＧＡ：Field Programmable Gate Array）、特定用途向け集積回路（ＡＳＩＣ：Application Specific Integrated Circuit）等のハードウエア回路によって構成してもよい。

また、本発明の要旨を変更しない範囲内で、上記実施の形態の構成要素の一部を省くことや変更することが可能である。また、本発明の要旨を変更しない範囲内で、上記実施の形態のフローにおいて、ステップの追加、削除、変更、入替え等が可能である。また、上記実施の形態で用いたプログラムをＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体に記録して提供することができ、クラウドサーバ等の外部サーバに格納しておき、ネットワークを介して利用することもできる。

１…人物識別装置、２…動画像、３、３Ａ、３Ｂ、３Ｂ…人物セグメント、１０…制御部、１１…記憶部、１２…撮像部、２０…画像、１００…受付手段、１０１…人物領域検出手段、１０２…顔領域情報抽出手段、１０３…体領域情報抽出手段、１０４…情報統合手段、１０５…人物同定手段、１０６…更新手段、１０７…人物セグメント作成手段、１１０…プログラム、１１１…顔情報、１１２…体情報、２００、２００Ａ、２００Ｂ、２００Ｃ…人物、２０１、２０１Ａ、２０１Ｂ、２０１Ｃ…人物領域、２０２、２０２Ａ、２０２Ｂ、２０２Ｃ…顔領域、２０３、２０３Ａ、２０３Ｂ、２０３Ｃ…体領域

Claims (9)

1. 人物を含む画像のうち人物の顔に関する第１の特徴量及び体に関する第２の特徴量を抽出する抽出手段と、
   抽出された前記第１の特徴量及び前記第２の特徴量にそれぞれ重み付けを付与して算出した第３の特徴量に基づいて前記人物を識別する識別手段と、
   を備えた人物識別装置。
2. 時系列上互いに先後する複数の画像のうち前記人物を含む人物領域を時系列の順番に連結した連結画像を生成する生成手段をさらに備え、
   前記抽出手段は、前記連結画像から前記人物領域に応じた複数の前記第１の特徴量及び複数の前記第２の特徴量を抽出し、
   前記識別手段は、抽出された前記複数の第１の特徴量及び前記複数の第２の徴量にそれぞれ重み付けを付与して算出した複数の前記第３の特徴量に基づいて前記人物を識別する、
   請求項１に記載の人物識別装置。
3. 前記識別手段は、前記複数の画像ごとに設定された重み付けを付与して算出した複数の前記第３の特徴量に基づいて前記人物を識別する、
   請求項２に記載の人物識別装置。
4. 前記識別手段は、連結される前記複数の人物領域の時系列上の時間差に応じて設定された重み付けを付与して算出した前記第３の特徴量に基づいて前記人物を識別する、
   請求項２又は３に記載の人物識別装置。
5. 人物を識別する識別情報に関連付けて前記第１及び第２の特徴量を記憶する記憶手段と、
   前記抽出手段により抽出された前記第１の特徴量と前記記憶手段に記憶されている前記第１の特徴量に基づいて前記人物を含む画像に前記識別情報を有する特定の人物の顔が含まれる確率を示す第１の評価値を出力するとともに、前記抽出手段により抽出された前記第２の特徴量と前記記憶手段に記憶されている前記第２の特徴量に基づいて前記人物を含む画像に前記特定の人物の体が含まれる確率を示す第２の評価値を出力する出力手段と、をさらに備え、
   前記識別手段は、前記出力手段により出力された前記第１の評価値及び前記第２の評価値にそれぞれ重み付けを付与して算出した第３の評価値に基づいて前記人物を識別する、
   請求項１から４のいずれか１項に記載の人物識別装置。
6. 前記識別手段は、前記第１の評価値及び前記第２の評価値に基づいて設定された重み付けを付与して算出した前記第３の評価値に基づいて前記人物を識別する、
   請求項５に記載の人物識別装置。
7. 人物を識別する識別情報に関連付けて、前記人物を含む画像と前記第３の特徴量とを記憶する記憶手段と、
   前記識別手段により算出された前記第３の特徴量に基づいて前記人物を含む画像に前記識別情報を有する特定の人物が含まれる確率を示す評価値を出力する出力手段と、をさらに備え、
   前記識別手段は、前記第１の特徴量及び第２の特徴量にそれぞれ重み付けを付与して算出した第３の特徴量に基づいて前記出力手段により出力された前記評価値に基づいて前記人物を識別する、
   請求項１から４のいずれか１項に記載の人物識別装置。
8. 前記画像は、複数の人物を含み、
   前記抽出手段は、前記画像のうち前記複数の人物のうち一の人物の顔に関する前記第１の特徴量及び前記特定の人物の体に関する第２の特徴量を抽出し、
   前記識別手段は、前記第１の特徴量及び前記第２の特徴量にそれぞれ重み付けを付与して算出した第３の特徴量に基づいて前記一の人物を識別する、
   請求項１から７のいずれか１項に記載の人物識別装置。
9. コンピュータを、
   人物を含む画像のうち人物の顔に関する第１の特徴量及び体に関する第２の特徴量を抽出する抽出手段と、抽出された前記第１の特徴量及び前記第２の特徴量にそれぞれ重み付けを付与して算出した第３の特徴量に基づいて前記人物を識別する識別手段と、として機能させるためのプログラム。