JP7371806B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents
情報処理装置、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- JP7371806B2 JP7371806B2 JP2023098313A JP2023098313A JP7371806B2 JP 7371806 B2 JP7371806 B2 JP 7371806B2 JP 2023098313 A JP2023098313 A JP 2023098313A JP 2023098313 A JP2023098313 A JP 2023098313A JP 7371806 B2 JP7371806 B2 JP 7371806B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- person
- feature information
- image
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 173
- 238000003672 processing method Methods 0.000 title claims description 29
- 230000001815 facial effect Effects 0.000 claims description 205
- 238000000605 extraction Methods 0.000 claims description 67
- 238000000034 method Methods 0.000 claims description 56
- 238000012545 processing Methods 0.000 claims description 42
- 239000000284 extract Substances 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 27
- 238000003384 imaging method Methods 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 7
- 206010038743 Restlessness Diseases 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 28
- 238000004891 communication Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 6
- 238000012795 verification Methods 0.000 description 4
- 239000000470 constituent Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、情報処理システム、情報処理装置、情報処理方法、およびプログラムに関し、特に、画像認識処理を行う情報処理システム、情報処理装置、情報処理方法、およびプログラムに関する。
近年、画像を用いて所望する条件に合致する人物を検知する技術が開発されている。例えば特許文献1には、映像に含まれる各画像に対して人物特徴情報を蓄積し、蓄積された情報に対して予め設定される条件に該当する人物を検索し、検索結果に対応する情報を抽出することが記載されている。さらに、人物の状態を判定し、各種特徴量を用いて人物を同定する際に、上記した人物の状態を使用することも記載されている。
また、特許文献2には、複数のカメラで撮影された映像群から、検索条件に該当する人物を全て洗い出すシステムが記載されている。また、特許文献3には、離れたフレームや異なるカメラにより得られる人物画像シーケンスから、人物の歩行状態を検出し、歩行状態に基づいて、異なる画像シーケンスに含まれる人物が同一であるか否かを判定することが記載されている。特許文献4には、映像に複数人の顔画像が存在する場合でも、各顔画像についてデータベースとのマッチングにより一致した顔画像の固有情報を取得して、映像中において人物の近傍に固有情報を表示することが記載されている。
本発明者は、画像処理を用いて特定の人物を複数カメラで追跡し続けるための新たな手法を検討した。すなわち本発明が目的とするところは、画像処理を用いて特定の人物を複数カメラで追跡し続けるための新たな手法を提供することにある。
本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。
第一の側面は、情報処理装置に関する。
第一の側面の情報処理装置は、
複数の撮像部から画像を取得し、取得したそれぞれの前記画像に含まれる人物の顔領域から顔特徴情報を抽出する抽出手段と、
抽出した前記顔特徴情報と記憶部に登録者として記憶された顔情報とを照合する照合手段と、
情報を記憶部に記憶させる登録手段と、を備え、
前記抽出手段は、前記顔特徴情報と前記顔情報との照合結果が不一致となった場合、当該人物の顔領域以外を含む人領域から人領域特徴情報を抽出し、
前記登録手段は、抽出された当該人物の前記人領域特徴情報及び前記顔特徴情報を未登録者として互いに関連付けて前記記憶部に記憶させる。
第一の側面の情報処理装置は、
複数の撮像部から画像を取得し、取得したそれぞれの前記画像に含まれる人物の顔領域から顔特徴情報を抽出する抽出手段と、
抽出した前記顔特徴情報と記憶部に登録者として記憶された顔情報とを照合する照合手段と、
情報を記憶部に記憶させる登録手段と、を備え、
前記抽出手段は、前記顔特徴情報と前記顔情報との照合結果が不一致となった場合、当該人物の顔領域以外を含む人領域から人領域特徴情報を抽出し、
前記登録手段は、抽出された当該人物の前記人領域特徴情報及び前記顔特徴情報を未登録者として互いに関連付けて前記記憶部に記憶させる。
第二の側面は、少なくとも1つのコンピュータにより実行される情報処理方法に関する。
第二の側面に係る第1の情報処理方法は、
1以上のコンピュータが、
複数の撮像部から画像を取得し、取得したそれぞれの前記画像に含まれる人物の顔領域から顔特徴情報を抽出し、
抽出した前記顔特徴情報と記憶部に登録者として記憶された顔情報とを照合し、
情報を記憶部に記憶させ、
前記顔特徴情報を抽出する際、前記顔特徴情報と前記顔情報との照合結果が不一致となった場合、当該人物の顔領域以外を含む人領域から人領域特徴情報を抽出し、
前記情報を記憶する際、抽出された当該人物の前記人領域特徴情報及び前記顔特徴情報を未登録者として互いに関連付けて前記記憶部に記憶させる、ことを含む。
第二の側面に係る第1の情報処理方法は、
1以上のコンピュータが、
複数の撮像部から画像を取得し、取得したそれぞれの前記画像に含まれる人物の顔領域から顔特徴情報を抽出し、
抽出した前記顔特徴情報と記憶部に登録者として記憶された顔情報とを照合し、
情報を記憶部に記憶させ、
前記顔特徴情報を抽出する際、前記顔特徴情報と前記顔情報との照合結果が不一致となった場合、当該人物の顔領域以外を含む人領域から人領域特徴情報を抽出し、
前記情報を記憶する際、抽出された当該人物の前記人領域特徴情報及び前記顔特徴情報を未登録者として互いに関連付けて前記記憶部に記憶させる、ことを含む。
なお、本発明の他の側面としては、上記第二の側面の方法を少なくとも1つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。
このコンピュータプログラムは、コンピュータにより実行されたとき、コンピュータに、情報処理装置上で、その制御方法を実施させるコンピュータプログラムコードを含む。
このコンピュータプログラムは、コンピュータにより実行されたとき、コンピュータに、情報処理装置上で、その制御方法を実施させるコンピュータプログラムコードを含む。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。
また、本発明の方法およびコンピュータプログラムには複数の手順を順番に記載してあるが、その記載の順番は複数の手順を実行する順番を限定するものではない。このため、本発明の方法およびコンピュータプログラムを実施するときには、その複数の手順の順番は内容的に支障のない範囲で変更することができる。
さらに、本発明の方法およびコンピュータプログラムの複数の手順は個々に相違するタイミングで実行されることに限定されない。このため、ある手順の実行中に他の手順が発生すること、ある手順の実行タイミングと他の手順の実行タイミングとの一部ないし全部が重複していること、等でもよい。
上記各側面によれば、画像処理を用いて特定の人物を複数カメラで追跡し続けるための新たな手法を提供できる。
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
また、本明細書の各図において、本発明の本質に関わらない部分の構成については省略してあり、図示されていない。
また、本明細書の各図において、本発明の本質に関わらない部分の構成については省略してあり、図示されていない。
(第1の実施の形態)
図1は、本発明の実施の形態に係る画像処理システムの構成を概念的に示す図である。画像処理システム1は、情報処理装置100を備える。情報処理装置100は、複数のカメラ5a,5b,・・・(特に区別する必要がない場合は「カメラ5」と呼ぶ。)に通信ネットワーク3を介して接続されている。情報処理装置100は、詳細を後述するように、画像に追跡対象の人物(以下、追跡対象人物と記載)の顔が写らない状況があったとしても、その人物の追跡を続けることができる。
図1は、本発明の実施の形態に係る画像処理システムの構成を概念的に示す図である。画像処理システム1は、情報処理装置100を備える。情報処理装置100は、複数のカメラ5a,5b,・・・(特に区別する必要がない場合は「カメラ5」と呼ぶ。)に通信ネットワーク3を介して接続されている。情報処理装置100は、詳細を後述するように、画像に追跡対象の人物(以下、追跡対象人物と記載)の顔が写らない状況があったとしても、その人物の追跡を続けることができる。
カメラ5は、レンズとCCD(Charge Coupled Device)イメージセンサといった撮像素子を備え、例えばIP(Internet Protocol)カメラ等のネットワークカメラである。ネットワークカメラは、たとえば、無線LAN(Local Area Network)通信機能を有し、通信ネットワーク、すなわちルータなどの中継装置(不図示)を介して情報処理装置100に接続される。これらのカメラ5は、街中や建物内外に設置されている、所謂、監視カメラであってもよい。そして、カメラ5は、特定の人物の動きに合わせて追従してカメラ本体やメンズの向きの制御、ズーム制御、焦点合わせ等を行う機構を備えてもよい。
カメラ5と情報処理装置100は直接接続されてもよいし、上記したように通信ネットワーク3などを介して接続されてもよい。たとえば、カメラ5で撮像された画像データが情報処理装置100に直接送信され、情報処理装置100がこの画像データを逐次受信してもよい。また、カメラ5及び情報処理装置100の双方がアクセス可能な記憶装置(不図示)を設けてもよい。この場合、カメラ5により撮像された画像データは、記憶装置に記憶される。そして、情報処理装置100は、この記憶装置から画像データを読み出す。
ここで画像データは、静止画および動画の少なくともいずれかであってよい。データ形式、ファイル形式、ファイルサイズ、画像サイズ、画像の解像度、動画のフレームレート等も特に限定されず、カメラ5および情報処理装置100の仕様、規格、性能等、あるいは、画像解析の処理能力、精度等に応じて様々な形式のものを採用し得る。そしてこの画像データの少なくとも一つのフレームが、後述する第1画像及び第2画像の少なくとも一方としてもよい。
また、実施形態において「取得」とは、自装置が他の装置や記憶媒体に格納されているデータまたは情報を取りに行くこと(能動的な取得)、および、自装置に他の装置から出力されるデータまたは情報を入力すること(受動的な取得)の少なくとも一方を含む。能動的な取得の例は、他の装置にリクエストまたは問い合わせしてその返信を受信すること、及び、他の装置や記憶媒体にアクセスして読み出すこと等がある。また、受動的な取得の例は、配信(または、送信、プッシュ通知等)される情報を受信すること等がある。さらに、「取得」とは、受信したデータまたは情報の中から選択して取得すること、または、配信されたデータまたは情報を選択して受信することであってもよい。
また、カメラ5から情報処理装置100への画像の送信のタイミングは、リアルタイム配信、例えば、ストリーミング配信であってもよいし、所定間隔で所定期間分の画像を送信してもよい。この送信タイミングは、カメラ5や情報処理装置100のメモリ容量、通信容量、画像処理能力、及び、カメラ5と情報処理装置100間の通信状況等に基づいて、適宜選択されてもよいし、又は、状況変化に応じて変更されてもよい。
図2は、本実施形態の情報処理装置100の論理的な構成を示す機能ブロック図である。情報処理装置100は、抽出部102と、照合部104と、を備える。
抽出部102は、第1画像10に含まれる人物の顔領域から第1の顔特徴情報を抽出し、人物の顔以外を含む領域から第1人領域特徴情報を抽出する。照合部104は、2以上の特徴情報を照合する。そして、抽出部102は、第2画像20に含まれる人物の顔領域から第2顔特徴情報を抽出できなかった場合、第2画像20に含まれる人物の顔以外を含む領域から第2人領域特徴情報を抽出する。そして、照合部104は、第1人領域特徴情報と第2人領域特徴情報とを照合する。
詳細には、第1画像10は、追跡対象の人物が写っている基準となる画像である。第2画像20は、追跡対象人物を検索する対象となる画像である。第1画像10と第2画像20は、異なるタイミングで撮像されている。第1画像10と第2画像20は同じカメラ5で撮像されていてもよいし、異なるカメラ5で撮像されていてもよい。
そして、抽出部102は、第1画像10を、カメラ5から受信、又は他の記録媒体(不図示)から読み込んで取得する。抽出部102は、取得した第1画像10からまず少なくとも1人の人物を追跡対象人物として、その顔領域を特定し、第1の顔特徴情報を少なくとも1つ抽出する。追跡対象人物は、第1画像10に含まれる少なくとも1人の所定の人物、又は第1画像10に含まれるすべての人物であってもよいし、後述する実施形態のように、顔特徴情報データベースに登録されている特定の少なくとも1人の人物としてもよい。また、追跡対象人物は、第1画像10に含まれる人物、又は、顔特徴情報データベースに登録されている人物の中からオペレータにより少なくとも1人を選択できてもよい。これらの設定は、予め定められていてもよいし、オペレータの指定を受け付けて設定変更できる構成を有していてもよい。
抽出部102は、上記したように、第1画像10から、第1顔領域に繋がっている人領域を特定する。人領域は、人の体及び所持物を示す領域である。そして抽出部102は、当該人領域から第1人領域特徴情報を抽出する。
抽出された第1人領域特徴情報は、記憶装置(不図示)に記憶されてもよい。
第1人領域特徴情報は、抽出部102によって抽出された追跡対象の人物の顔領域に繋がっている人領域から生成される情報であり、当該人物の背格好又は服装等の見た目の特徴を示す特徴情報である。
第1人領域特徴情報は、抽出部102によって抽出された追跡対象の人物の顔領域に繋がっている人領域から生成される情報であり、当該人物の背格好又は服装等の見た目の特徴を示す特徴情報である。
第1人領域特徴情報は、例えば、背丈、肩幅、身体パーツの比率、衣服(形、色、素材等)、髪型(髪色も含む)、装飾品(帽子、眼鏡、アクセサリ等)、所持品(バッグ、傘、杖等)等の特徴を示す情報を含む。また、人領域特徴情報は、その特徴情報の尤度等の情報を含んでもよい。
抽出部102は、さらに、第2画像20に含まれる人物の顔領域から第2顔特徴情報を抽出できなかった場合、第2画像20に含まれる人物の顔以外を含む領域から第2人領域特徴情報を抽出する。そして、照合部104は、抽出された第1人領域特徴情報と第2人領域特徴情報を照合する。第1人領域特徴情報にマッチングする第2人領域特徴情報が抽出された第2画像20の人領域が追跡対象の人物の人領域である。これにより第2画像20内の追跡対象人物の顔が写っていなくても追跡を続けることが可能となる。
ここで、第2顔特徴情報を抽出できない場合とは、第1顔特徴情報とのマッチングの度合いが閾値未満の場合を含む。さらに、第2画像20中で、追跡対象人物の顔の少なくとも一部が遮蔽されていたり、顔を横に向けたりしていて、照合に適した特徴量が抽出できない場合も含む。
なお、情報処理装置100は、オペレータに当該追跡対象人物の顔を見せるために、人物の顔画像データをディスプレイに表示できるようになっていてもよい。
図3は、第1画像10および第2画像20のデータ構造の一例を示す図である。第1画像10および第2画像20は、画像を識別する画像IDと、当該画像を撮像したカメラ5を識別するカメラIDと、画像の撮像日時(又は、保存日時、更新日時でもよい)とを示す情報、及び画像データの本体を含む。画像IDは、ファイル名でもよい。第1画像10及び第2画像20は、当該画像がフレームである場合、そのフレームを特定可能なフレーム番号を示す情報を含んでもよい。
本実施形態において、第2画像20は、第1画像10より後に撮像された画像であり、各カメラ5からリアルタイムに受信したものを用いることができる。しかし、他の実施形態において、第2画像20は、第1画像10より前に撮像された録画データ、すなわち不揮発性の記憶手段に記憶されたデータであってもよい。後述するように、本実施形態では、人物の顔が写っていなくても、衣服等の特徴で当該人物を追跡するため、衣服を着替えてしまうと追跡ができなくなる。このため、第2画像20は、第1画像10の撮像時刻から、衣服を替られないと想定される期間、または、第1画像10の衣服と同じものを着ている期間と想定される期間に撮像されたものになる。
このように構成された本実施形態の情報処理装置100の動作について、以下説明する。
図4は、情報処理装置100の動作の例を示すフローチャートである。
まず、抽出部102は、第1画像10を取得し、第1画像10に含まれる少なくとも1人の人物を追跡対象人物として、その顔領域から第1顔特徴情報を少なくとも1つ抽出する(ステップS101)。
図4は、情報処理装置100の動作の例を示すフローチャートである。
まず、抽出部102は、第1画像10を取得し、第1画像10に含まれる少なくとも1人の人物を追跡対象人物として、その顔領域から第1顔特徴情報を少なくとも1つ抽出する(ステップS101)。
さらに、抽出部102は、第1画像10から当該人物の顔以外を含む領域から第1人領域特徴情報を抽出する(ステップS103)。抽出部102は、例えば、第1顔領域につながる領域のうち当該第1顔領域の下方に位置する部分から、人領域を特定する。また、抽出部102は、第1顔領域につながる領域のうち当該第1顔領域の上方に位置する部分も人領域に含めてもよい。
次に、抽出部102は、カメラ5から第2画像20を取得し、第2画像20に含まれる人物の顔領域から第2顔特徴情報が抽出できたか否かを判定する(ステップS105)。第2顔特徴情報が抽出できなかった場合(ステップS105のNO)、抽出部102は、第2画像20に含まれる人物の顔以外を含む領域から第2人領域特徴情報を抽出する(ステップS107)。
次に、照合部104は、ステップS103で抽出された第1人領域特徴情報とステップS107で抽出された第2人領域特徴情報とを照合する(ステップS109)。第2人領域特徴情報が第1人領域特徴情報と一致した場合、第2画像20内で、当該第2人領域特徴情報が抽出された人領域が追跡対象人物となる。また、ステップS105で、第2顔特徴情報が抽出された場合(ステップS105のYES)、第2画像20から第2人領域特徴情報を抽出し、照合する処理(ステップS107とステップS109)は行わずに処理を終了する。つまり、顔特徴情報の照合結果から、第2画像20内で第2顔特徴情報が抽出された顔領域が追跡対象人物となる。
以上説明したように、本実施形態において、抽出部102により、第1画像10から追跡対象となる人物の第1顔特徴情報と第1人領域特徴情報が抽出される。そして、第2画像20から第2顔特徴情報が抽出されずに、顔特徴情報での追跡ができない場合でも、第2画像20から抽出した第2人領域特徴情報と第1人領域特徴情報とを照合することで追跡対象人物を第2画像20で追跡することができる。
このように、本実施形態によれば、カメラ5から受信した第2画像20において、たとえ追跡対象の人物の顔が写っていなくても、当該人物の追跡を継続することが可能になる。
(第2の実施の形態)
図5は、本実施形態の情報処理装置100の論理的な構成を示す機能ブロック図である。本実施形態の情報処理装置100は、追跡対象となる人物の顔特徴情報が予めブラックリスト等に登録されている点以外は第1の実施形態と同様である。
図5は、本実施形態の情報処理装置100の論理的な構成を示す機能ブロック図である。本実施形態の情報処理装置100は、追跡対象となる人物の顔特徴情報が予めブラックリスト等に登録されている点以外は第1の実施形態と同様である。
情報処理装置100は、さらに顔特徴情報データベース110(図中、「顔特徴情報DB」と示す)を含む。顔特徴情報データベース110は、複数の装置に含まれてもよい。また、顔特徴情報データベース110は、情報処理装置100の本体と一体であってもよいし、別体であってもよい。顔特徴情報データベース110は、データベース構造を有しているが、他のデータ構造を有していてもよい。
本実施形態において、追跡対象の人物は、顔特徴情報データベース110に、その顔の特徴情報が登録されている。
照合部104は、第1画像10に含まれる人物の顔領域から抽出された顔特徴情報と顔特徴情報データベース110に記憶された第1顔情報とを照合する。当該照合結果が一致となった場合、第1画像10に含まれる人物から第1人領域特徴情報を抽出する。
照合部104は、第1画像10に含まれる人物の顔領域から抽出された顔特徴情報と顔特徴情報データベース110に記憶された第1顔情報とを照合する。当該照合結果が一致となった場合、第1画像10に含まれる人物から第1人領域特徴情報を抽出する。
図6は、顔特徴情報データベース110のデータ構造の一例を示す図である。顔特徴情報データベース110には、追跡対象となる少なくとも1人の人物の顔の特徴情報である第1顔情報が登録されている。顔特徴情報データベース110は、登録されている人物を識別する登録者IDと、当該人物の顔特徴情報(第1顔情報相当)と、氏名と、顔画像データとが紐付けられている。なお、顔特徴情報は必ずしも顔特徴情報データベース110に格納されていなくてもよい。この場合、情報処理装置100は、照合処理を行う際に顔画像データから顔特徴情報を抽出する。
顔画像データのファイル形式は特に限定されないが、たとえば、JPEG(Joint Photographic Experts Group)、BMP(Bit MaP)、PNG(Portable Network Graphics)、TIFF(Tagged Image File Format)等が例示される。また、顔特徴情報データベース110には画像データの実体が登録されてもよいし、画像データが保存されている場所とファイル名を示すパスが登録されていてもよい。
図5に戻り、抽出部102は、第1画像10から、顔領域を特定し、顔特徴情報データベース110に登録されている第1顔情報との照合処理(以後、顔認証処理とも呼ぶ。)を行う。照合処理を行う対象人物は、顔特徴情報データベース110に登録されている複数の人物全てとしてもよいし、オペレータにより少なくとも1人を選択できてもよい。これらの設定は、予め定められていてもよいし、オペレータの指定を受け付けて設定変更できる構成を有していてもよい。
本実施形態の情報処理装置100は、図4のフローチャートのステップS101の代わりにステップS111(不図示)を含む以外は同じである。ステップS111で、まず、抽出部102は、第1画像10を取得し、第1画像10に含まれる人物の顔領域から顔特徴情報を抽出する。そして、照合部104は、抽出した顔特徴情報と顔特徴情報データベース110の第1顔情報とを照合する。そして、抽出部102は、顔特徴情報データベース110に記憶されている第1顔情報に一致する顔特徴情報を第1顔特徴情報とする。
そして、抽出部102は、第1画像10の人物の顔以外を含む領域から第1人領域特徴情報を抽出し(ステップS103)、第2画像20から顔特徴情報が抽出できなかった場合(ステップS105のNO)、第2画像20から第2人領域特徴情報を抽出する(ステップS107)。照合部104は、ステップS107で抽出した第2人領域特徴情報とステップS103で抽出した第1人領域特徴情報を照合する(ステップS109)。
以上説明したように、本実施形態において、抽出部102により、第1画像10から顔特徴情報データベース110に登録されている第1顔情報に一致する第1顔特徴情報と、当該顔領域の人物の第1人領域特徴情報とが抽出される。そして、上記実施形態と同様に第2画像20から追跡対象人物の第1顔特徴情報と一致する第2顔特徴情報が抽出されずに、顔特徴情報での追跡ができない場合でも、第2画像20から抽出した第2人領域特徴情報と第1人領域特徴情報とを照合することで追跡対象人物を第2画像20で追跡することができる。
つまり、本実施形態では、上記実施形態同様の効果を奏するとともに、予め顔特徴情報データベース110に登録されている人物を追跡対象人物として追跡することができる。
(第3の実施の形態)
第3の実施の形態の情報処理装置100は、第2画像20に対しても顔認証処理を行った後、顔認証できなかった顔領域に繋がる人領域について、第1人領域特徴情報との照合処理を行う点以外は第1の実施形態と同様である。第3実施形態は、第1実施形態とは動作が異なるが、構成は図2の情報処理装置100と同じであるので、以下の説明では図2の機能ブロック図を用いる。なお、本実施形態はその他の実施形態の情報処理装置100と同じ構成を有してもよく、矛盾のない範囲で組み合わせることができる。
第3の実施の形態の情報処理装置100は、第2画像20に対しても顔認証処理を行った後、顔認証できなかった顔領域に繋がる人領域について、第1人領域特徴情報との照合処理を行う点以外は第1の実施形態と同様である。第3実施形態は、第1実施形態とは動作が異なるが、構成は図2の情報処理装置100と同じであるので、以下の説明では図2の機能ブロック図を用いる。なお、本実施形態はその他の実施形態の情報処理装置100と同じ構成を有してもよく、矛盾のない範囲で組み合わせることができる。
図7は、本実施形態の情報処理装置100の動作の一例を示すフローチャートである。本実施形態では、図4と同じステップS101~ステップS109を有するとともに、さらに、ステップS120を含む。
本実施形態において、照合部104、第2画像20に含まれる人物から第2顔特徴情報を抽出できた場合は(ステップS105のYES)、第1顔特徴情報と第2顔特徴情報とを照合する(ステップS120)。第2画像20に含まれる人物から第2顔特徴情報を抽出できなかった場合は(ステップS105のNO)、ステップS103で抽出された第1人領域特徴情報とステップS107で抽出された第2人領域特徴情報とを照合する(ステップS109)。
本実施形態において、第1画像10に含まれる全ての人物を追跡対象人物とした場合、ステップS105で第2画像20に含まれる人物のうち、第2顔特徴情報が抽出できた人物については(ステップS105のYES)、顔特徴情報で照合を行うことで当該人物を追跡し、第2顔特徴情報が抽出できなかった人物については(ステップS105のNO)、人領域特徴情報で照合を行うことで当該人物を追跡してもよい。つまり、顔が写ってる時は顔で追跡し、顔が写っていない時は服装(人領域)で追跡することができる。
本実施形態において、情報処理装置100は、第1顔情報と一致する顔が第2画像20に見つからなかった場合に、人領域特徴情報を用いた追跡処理を行う。また、情報処理装置100は、顔が見つかった場合は人領域特徴情報を用いた追跡処理を行なわず、人物の顔で追跡を続けることができる。このように本実施形態によれば、第1および第2の実施形態と同様な効果を奏するとともに、さらに、顔が写っていない等、顔認証ができない場合に人領域特徴情報を用いた照合処理を行うので、効率がよい。
(第4の実施の形態)
図8は、本実施形態の情報処理装置100の論理的な構成を示す機能ブロック図である。本実施形態の情報処理装置100は、抽出部102による抽出結果、および抽出部102により抽出された人領域特徴情報、照合部104による人物の追跡情報等を出力する構成を有する以外は上記実施形態と同じである。
図8は、本実施形態の情報処理装置100の論理的な構成を示す機能ブロック図である。本実施形態の情報処理装置100は、抽出部102による抽出結果、および抽出部102により抽出された人領域特徴情報、照合部104による人物の追跡情報等を出力する構成を有する以外は上記実施形態と同じである。
情報処理装置100は、図2に示した構成に加え、さらに、第1登録部120と、出力処理部130とを有する。なお、本実施形態はその他の実施形態の情報処理装置100と同じ構成を有してもよく、矛盾のない範囲で組み合わせることができる。第1登録部120は、第1画像10に含まれる人物から抽出された第1顔特徴情報と第1人領域特徴情報とを人物の識別情報に対応付けて人領域情報記憶部112に記憶させる。言い換えると、第1登録部120は、第1画像10に含まれる人物から抽出された第1顔特徴情報と第1人領域特徴情報とを人物の識別情報に対応付けて人領域情報記憶部112に登録する。出力処理部130は、照合部104による照合結果が一致となった場合、人領域情報記憶部112が記憶する人物の識別情報を出力手段に出力させる。以後、人領域情報記憶部112に登録された第1顔特徴情報および第1人領域特徴情報は、登録顔特徴情報および登録人領域特徴情報とも呼ぶ。
出力手段は、例えば、画面表示を行う表示装置、印字出力する印刷装置、メールを送信する通信装置等である。本実施形態では、出力処理部130は、情報処理装置100に接続された液晶ディスプレイ、有機EL(ElectroLuminescence)ディスプレイ等の表示装置132に各種情報を表示させる。
図9は、人領域特徴情報記憶部112のデータ構造の例を示す図である。
図9(a)の例では、人領域特徴情報記憶部112は、人領域特徴情報を識別する人領域情報IDと、抽出部102により抽出された人領域特徴情報(第1人領域特徴情報に相当)とが紐付けられている。
図9(a)の例では、人領域特徴情報記憶部112は、人領域特徴情報を識別する人領域情報IDと、抽出部102により抽出された人領域特徴情報(第1人領域特徴情報に相当)とが紐付けられている。
また、図9(b)と図9(c)の例は、上記第2の実施形態で、顔特徴情報データベース110の第1顔情報と一致する第1顔特徴情報が抽出された人物の顔領域以外の人領域から抽出された第1人領域特徴情報が登録人領域特徴情報として人領域特徴情報記憶部112に記憶されている。
図9(b)の例では、人領域情報IDと、第1人領域特徴情報と、第1画像10から抽出された第1顔特徴情報と一致した第1顔情報の登録者IDと、が対応付けられている。登録者IDと紐付けておくことで、図6の顔特徴情報データベース110から登録者IDに対応する人物の氏名や顔画像を読み出すことができる。
図9(b)の例では、人領域情報IDと、第1人領域特徴情報と、第1画像10から抽出された第1顔特徴情報と一致した第1顔情報の登録者IDと、が対応付けられている。登録者IDと紐付けておくことで、図6の顔特徴情報データベース110から登録者IDに対応する人物の氏名や顔画像を読み出すことができる。
図9(c)の例では、登録者IDの代わりに第1画像10から抽出された第1顔特徴情報と一致した第1顔情報の登録者の氏名および顔画像データの少なくともいずれか1つと紐付けられている。
本実施形態において、抽出部102は、複数のカメラ5から第2画像20を取得し、取得した第2画像20に対して抽出処理を行う。
図10は、出力処理部130が表示装置132に表示する画面の例を示す図である。図10(a)は、複数のカメラ5の撮像画像を一画面に並べて表示するマルチ画面200である。図10(b)は、図10(a)の中のある1つのカメラ5の操作画像を閲覧するビュー画面210である。図10(b)のビュー画面210の例では、抽出部102によって抽出された追跡対象者の人領域が矩形の枠212で囲まれている。さらに、照合部104により特定された当該人物の氏名214が表示されている。
マルチ画面200およびビュー画面210は、リアルタイムにカメラ5で撮像されている動画像であってもよいし、ある時点で動画像を停止させた少なくとも1つのフレームであってもよい。また、マルチ画面200においても、ビュー画面210と同様に検出された追跡対象人物を示す枠212や氏名214を表示してもよい。マルチ画面200とビュー画面210は、別のウインドウで表示されてもよいし、切り替えて表示されてもよい。また、複数のビュー画面210を同時に表示してもよい。
さらに、マルチ画面200およびビュー画面210には、表示されている画像の撮像日時の情報、撮影場所の情報等を表示してもよい。あるいは、マルチ画面200およびビュー画面210で表示されている画像のプロパティ情報をオペレータの操作に応じて別のウインドウで表示できてもよい。
また、枠212の領域に対するオペレータの操作を受け付けて、当該人物の情報、例えば、顔写真、プロフィール等の情報を表示できてもよい。
本実施形態によれば、出力処理部130によりマルチ画面200又はビュー画面210を表示できるので、上記実施形態と同様な効果を奏するとともに、さらに、追跡状況をリアルタイムに把握できる。
(第5の実施の形態)
図11は、本実施形態の情報処理装置100の論理的な構成を示す機能ブロック図である。本実施形態の情報処理装置100は、顔特徴情報データベース110に登録されていない人物の情報を未登録者情報として登録する構成を有する点以外は上記実施形態と同じである。
図11は、本実施形態の情報処理装置100の論理的な構成を示す機能ブロック図である。本実施形態の情報処理装置100は、顔特徴情報データベース110に登録されていない人物の情報を未登録者情報として登録する構成を有する点以外は上記実施形態と同じである。
情報処理装置100は、図2に示した構成に加え、さらに、第2登録部140を有する。なお、本実施形態はその他の実施形態の情報処理装置100と同じ構成を有してもよく、矛盾のない範囲で組み合わせることができる。抽出部102は、第2画像20に含まれる人物の顔領域から抽出された第2顔特徴情報と顔特徴情報データベース110に記憶された第1顔情報との照合結果が不一致となった場合、当該顔領域に繋がる人領域に対応する第3人領域特徴情報を抽出する。第2登録部140は、抽出された第3人領域特徴情報及び第2顔特徴情報を互いに関連付けて未登録者情報記憶部142に記憶させる。言い換えると、第2登録部140は、抽出された第3人領域特徴情報及び当該第2顔特徴情報を互いに関連付けて未登録者情報記憶部142に登録する。未登録者情報記憶部142はデータベース構造を有していてもよい。
未登録者情報記憶部142は、顔特徴情報データベース110および人領域特徴情報記憶部112の少なくともいずれか一方と同一の装置に含まれてもよいし、互いに異なる装置に含まれていてもよい。また、未登録者情報記憶部142は、顔特徴情報データベース110および人領域特徴情報記憶部112とともに、情報処理装置100の本体と一体であってもよいし、別体であってもよい。
図12は、未登録者情報記憶部142のデータ構造の一例を示す図である。この例では、第1顔情報との照合結果が一致しなかった第2画像20に含まれる人物の顔領域から抽出された第2顔特徴情報には未登録者を識別する未登録者IDが付与されている。そして、第2顔特徴情報及び第3人領域特徴情報は、未登録者IDに紐付けられて未登録者情報記憶部142に登録されている。さらに、未登録者情報記憶部142には、第2画像20に含まれる人物の顔領域の画像データおよび第3人領域特徴情報の人領域の画像データの少なくともいずれか1つが登録されてもよい。
本実施形態においても、上記実施形態で図10(b)に示したビュー画面210の例において、抽出された未登録者について、当該人物の人領域又は顔領域を矩形の枠212で囲むとともに、当該枠212の近傍に未登録者であることを示す情報を画像に重畳表示してもよい。さらに、未登録者IDを表示してもよい。登録者と未登録者の枠212は識別できるように、線の色や線の種類(例えば、実線、破線等)を変えて区別して表示してもよい。また、枠212は必ずしも必要ではない。
図13は、本実施形態の情報処理装置100の動作の一例を示すフローチャートである。図4のステップS103と同様な処理を行い、顔領域が検知できなかった場合(ステップS103のNO)、本処理に進む。第2登録部140は、抽出部102が第1顔情報に一致しないと判断した第2顔領域に繋がる人領域を特定し(ステップS141)、当該人領域に対応する第2人領域特徴情報を生成する(ステップS143)。そして、第2登録部140は、生成された第2人領域特徴情報及び当該第2顔領域を互いに関連付けて未登録者情報記憶部142に登録する(ステップS145)。
以上説明したように、本実施形態において、第2画像20で顔認証できなかった人物を未登録者として、その顔画像および人領域特徴情報を未登録者情報記憶部142に登録できる。これにより、例えば、予め登録されている会員が利用する施設内に、非会員が入場した場合等に、非会員の情報を取得して登録することができる。
図14は、上述した各実施形態の情報処理装置100を実現するコンピュータ80の構成の一例を示す図である。
コンピュータ80は、CPU(Central Processing Unit)82、メモリ84、メモリ84にロードされた図2、図9および図11の各情報処理装置100の構成要素を実現するプログラム90、そのプログラム90を格納するストレージ85、I/O(Input/Output)86、およびネットワーク接続用インタフェース(通信I/F87)を備える。
コンピュータ80は、CPU(Central Processing Unit)82、メモリ84、メモリ84にロードされた図2、図9および図11の各情報処理装置100の構成要素を実現するプログラム90、そのプログラム90を格納するストレージ85、I/O(Input/Output)86、およびネットワーク接続用インタフェース(通信I/F87)を備える。
CPU82、メモリ84、ストレージ85、I/O86、通信I/F87は、バス89を介して互いに接続され、CPU82により情報処理装置全体が制御される。ただし、CPU82などを互いに接続する方法は、バス接続に限定されない。
メモリ84は、RAM(Random Access Memory)やROM(Read Only Memory)などのメモリである。ストレージ85は、ハードディスク、SSD(Solid State Drive)、またはメモリカードなどの記憶装置である。
ストレージ85は、RAMやROMなどのメモリであってもよい。ストレージ85は、コンピュータ80の内部に設けられてもよいし、コンピュータ80がアクセス可能であれば、コンピュータ80の外部に設けられ、コンピュータ80と有線または無線で接続されてもよい。あるいは、コンピュータ80に着脱可能に設けられてもよい。
CPU82が、ストレージ85に記憶されるプログラム90をメモリ84に読み出して実行することにより、各実施形態の情報処理装置100の各ユニットの各機能を実現することができる。
I/O86は、コンピュータ80と他の入出力装置間のデータおよび制御信号の入出力制御を行う。他の入出力装置とは、たとえば、コンピュータ80に接続されるキーボード、タッチパネル、マウス、およびマイクロフォン等の入力装置(不図示)と、ディスプレイ、プリンタ、およびスピーカ等の出力装置(不図示)と、これらの入出力装置とコンピュータ80のインタフェースとを含む。さらに、I/O86は、他の記録媒体の読み取りまたは書き込み装置(不図示)とのデータの入出力制御を行ってもよい。
通信I/F87は、コンピュータ80と外部の装置との通信を行うためのネットワーク接続用インタフェースである。通信I/F87は、有線回線と接続するためのネットワークインタフェースでもよいし、無線回線と接続するためのネットワークインタフェースでもよい。たとえば、情報処理装置100を実現するコンピュータ80は、通信I/F87によりネットワークを介して少なくとも1台のカメラ5と接続される。
各実施形態の情報処理装置100の各構成要素は、本図のコンピュータ80のハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。上述した各実施形態の情報処理装置100を示す機能ブロック図は、ハードウェア単位の構成ではなく、論理的な機能単位のブロックを示している。
情報処理装置100は、複数のコンピュータ80により構成されてもよいし、仮想サーバにより実現されてもよい。
複数のコンピュータ80により構成される例として、以下に例示される情報処理システムとして本発明は実現できるが、これらに限定されない。
(1)抽出部102と照合部104は別の装置(コンピュータ80)で実施する。例えば、情報処理システムは、抽出部102を有する端末装置と、照合部104を有するサーバ装置と備えてもよい。
(2)抽出部102の抽出処理のうち、第1画像10からの特徴情報の抽出処理と、第2画像20からの特徴情報の抽出処理を別の装置(コンピュータ80)で実施する。例えば、情報処理システムは、抽出部102を有する映像を解析する複数の端末装置と、それらからの情報を統合して照合処理を行うサーバ装置とを含んでもよい。複数の端末装置はエリア毎に分かれて配備され、抽出部102は、複数の物理的装置によって実現されてもよい。
(3)映像の解析(抽出部102と照合部104)の対象となる特徴情報の種別(顔特徴情報と人領域特徴情報)で別々の装置(コンピュータ80)に分けてもよい。
(1)抽出部102と照合部104は別の装置(コンピュータ80)で実施する。例えば、情報処理システムは、抽出部102を有する端末装置と、照合部104を有するサーバ装置と備えてもよい。
(2)抽出部102の抽出処理のうち、第1画像10からの特徴情報の抽出処理と、第2画像20からの特徴情報の抽出処理を別の装置(コンピュータ80)で実施する。例えば、情報処理システムは、抽出部102を有する映像を解析する複数の端末装置と、それらからの情報を統合して照合処理を行うサーバ装置とを含んでもよい。複数の端末装置はエリア毎に分かれて配備され、抽出部102は、複数の物理的装置によって実現されてもよい。
(3)映像の解析(抽出部102と照合部104)の対象となる特徴情報の種別(顔特徴情報と人領域特徴情報)で別々の装置(コンピュータ80)に分けてもよい。
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
たとえば、上記実施形態において、抽出部102は、人領域特徴情報登録処理で登録された1つの人領域特徴情報を用いて追跡人物検索処理を行っていたが、他の例において、抽出部102は、複数の第1画像10のそれぞれから複数の第1人領域特徴情報を生成し、これらの第1人領域特徴情報を互いに関連付けて登録人領域特徴情報として人領域特徴情報記憶部112に登録してもよい。
たとえば、上記実施形態において、抽出部102は、人領域特徴情報登録処理で登録された1つの人領域特徴情報を用いて追跡人物検索処理を行っていたが、他の例において、抽出部102は、複数の第1画像10のそれぞれから複数の第1人領域特徴情報を生成し、これらの第1人領域特徴情報を互いに関連付けて登録人領域特徴情報として人領域特徴情報記憶部112に登録してもよい。
そして、照合部104は、少なくとも1つの登録人領域特徴情報、又は複数の登録人領域特徴情報の各々について、照合処理を行うことができる。複数の登録人領域特徴情報のうちのいずれの情報を用いるか、オペレータの指定を受け付けてもよいし、全ての登録人領域特徴情報を用いる指定をオペレータから受け付けてもよい。
図15は、人領域特徴情報記憶部112のデータ構造の例を示す図である。図15の例では、人領域情報IDに、登録者IDと、複数の人領域特徴情報n(nは自然数)が紐付けられて登録されている。
上記したように人領域特徴情報は主に人物の衣服等の特徴に基づいているため、追跡は当該人物が衣服を着替えていないことが前提となる。しかし、着替えた場合も、別の服装に対応する別の人領域特徴情報を用いれば追跡が可能になる。
また、抽出部102は、生成した第1人領域特徴情報に対応する人領域を含む画像を第1人領域特徴情報に関連付けて人領域特徴情報記憶部112に記憶してもよい。図16は、人領域特徴情報記憶部112のデータ構造の例を説明するための概略図である。
図16(a)の例において、人領域特徴情報記憶部112には、1人の人物に対して、当該人物の顔画像データと、氏名と、1つの人領域特徴情報(不図示)と、1つの人領域特徴情報に対応する人領域の画像データとが登録されている。図16(b)の例では、人領域特徴情報記憶部112には、1人の人物に対して、当該人物の顔画像データと、氏名と、複数の人領域特徴情報(不図示)と、当該人領域特徴情報に各々対応する人領域の複数の画像データとが登録されている。
上記実施形態では、情報処理装置100は、図5又は図8のステップS105で顔特徴情報を用いた照合処理の方を図5又は図8のステップS109での人領域特徴情報を用いた照合処理より優先して行っているが、顔特徴情報の照合処理と、人領域特徴情報の照合処理は、どちらを優先して行ってもよい。いずれの処理を優先させるか、オペレータの指示を受け付けて変更できてもよい。
例えば、情報処理装置100は、わざと顔を隠して行動している可能性が高い人物については、第1画像10に含まれる人物の人領域から抽出される第1人領域特徴情報と第2画像20に含まれる人物の人領域から抽出される第2人領域特徴情報との照合処理を先に行い、その後、人領域の照合の結果に依存せずに顔特徴情報を用いた照合処理を行ってもよい。また、情報処理装置100は、例えば、制服等、同じような服装の人物が多い状況では、先に顔認証を行い、顔認証できなかった人物に対してのみ人領域特徴情報を用いた照合処理を行ってもよい。さらに、情報処理装置100は、どちらの処理を優先させるかの指定を受け付け、この指定に従って処理順序を変更できてもよい。さらに、情報処理装置100は、第2画像20内の人領域特徴情報の類似度が基準値を超える場合に、顔認証処理を優先させるように自動的に切り替えてもよい。
また、他の実施形態において、情報処理装置100は、所定の事象を検知したことをトリガとして、顔領域の検出、人領域特徴情報の抽出、人領域特徴情報による人物追跡のうち少なくともいずれか一つを実施してもよい。所定の事象は、例えば、置き去り、キョロキョロする、うろつく、物を振り回す、所定のエリアに侵入する、といった、人物に関する所定の行動、つまり、注視すべき行動でもよい。所定の事象は、監視カメラの撮像画像から情報処理装置100の画像認識処理によって検知されてもよいし、別の情報処理装置やセンサによって検知されてもよい。この場合、抽出部102は、所定の事象が検知された人物を特定し、当該人物を追跡対象人物として顔領域特徴情報、人領域特徴情報を抽出してもよい。
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
なお、本発明において利用者に関する情報を取得、利用する場合は、これを適法に行うものとする。
なお、本発明において利用者に関する情報を取得、利用する場合は、これを適法に行うものとする。
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
1. 第1画像に含まれる人物の顔領域から第1の顔特徴情報を抽出し、前記人物の顔以外を含む領域から第1の人領域特徴情報を抽出する抽出手段と、
2以上の特徴情報を照合する照合手段と、を備え、
前記抽出手段は、第2画像に含まれる人物の顔領域から第2の顔特徴情報を抽出できなかった場合、前記第2画像に含まれる人物の顔以外を含む領域から第2の人領域特徴情報を抽出し、
前記照合手段は、前記第1の人領域特徴情報と前記第2の人領域特徴情報とを照合する、情報処理装置。
2. 1.に記載の情報処理装置において、
前記第2画像は、前記第1画像とは異なる撮像部により生成される情報処理装置。
3. 1.又は2.に記載の情報処理装置において、
前記第2画像は、前記第1画像より後に撮像された画像である情報処理装置。
4. 1.から3.のいずれか一つに記載の情報処理装置において、
前記照合手段は、前記第2画像に含まれる人物から前記第2の顔特徴情報を抽出できた場合は前記第1の顔特徴情報と前記第2の顔特徴情報とを照合し、前記第2画像に含まれる人物から前記第2の顔特徴情報を抽出できなかった場合は前記第1の人領域特徴情報と前記第2の人領域特徴情報とを照合する、情報処理装置。
5. 1.から4.のいずれか一つに記載の情報処理装置において、
前記抽出手段による前記第1の顔特徴情報、前記第2の顔特徴情報、前記第1の人領域特徴情報、および前記第2の人領域特徴情報の抽出処理、ならびに、前記照合手段による前記人領域特徴情報の照合処理のうち少なくともいずれか1つは、所定の事象を検知したことをトリガとして実施される、情報処理装置。
6. 1.から5.のいずれか一つに記載の情報処理装置において、
抽出した前記第1の人領域特徴情報を、当該第1の人領域特徴情報に対応する前記人領域を含む画像に関連付けて登録人領域特徴情報として記憶部に記憶させる登録手段をさらに備え、
前記照合手段は、前記記憶部に記憶された前記登録人領域特徴情報と前記第2の人領域特徴情報とを照合する情報処理装置。
7. 1.から6.のいずれか一つに記載の情報処理装置において、
複数の前記第1画像を用いて複数の前記第1の人領域特徴情報を抽出し、前記複数の第1の人領域特徴情報を登録人領域特徴情報として互いに関連付けて記憶部に記憶させる登録手段をさらに備え、
前記照合手段は、前記記憶部に記憶された少なくとも1つの前記登録人領域特徴情報と前記第2の人領域特徴情報とを照合する情報処理装置。
8. 1.から7.のいずれか一つに記載の情報処理装置において、
前記照合手段は、前記第1画像に含まれる人物の顔領域から抽出された前記第1の顔特徴情報と記憶部に記憶された第1顔情報とを照合し、当該照合結果が一致となった場合、前記第1画像に含まれる前記人物から前記第1の人領域特徴情報を抽出する、情報処理装置。
9. 8.に記載の情報処理装置において、
前記抽出手段は、前記第1画像に含まれる人物の顔領域から抽出された前記第1の顔特徴情報と前記記憶部に記憶された前記第1顔情報との照合結果が不一致となった場合、当該人物の顔領域以外を含む人領域から第3の人領域特徴情報を抽出し、
抽出された前記第3の人領域特徴情報及び当該第1の顔特徴情報を互いに関連付けて第2の記憶部に記憶させる登録手段をさらに備える情報処理装置。
10. 9.に記載の情報処理装置において、
前記登録手段は、前記第1の顔特徴情報が抽出された前記顔領域の画像を前記第1の顔特徴情報および前記第3の人領域特徴情報と関連付けて前記第2の記憶部に記憶させる、情報処理装置。
11. 1.から10.のいずれか一つに記載の情報処理装置において、
前記第1画像に含まれる人物から抽出された前記第1の顔特徴情報と前記第1の人領域特徴情報とを前記人物の識別情報に対応付けて記憶部に記憶させる登録手段と、
前記照合手段による照合結果が一致となった場合、前記記憶部が記憶する前記人物の識別情報を出力部に出力させる出力処理手段と、をさらに備える情報処理装置。
12. 1.から11.のいずれか一つに記載の情報処理装置において、
複数の撮像部とネットワークを介して接続され、
前記抽出手段は、複数の撮像部から前記第2画像を取得し、取得した前記第2画像に対して抽出処理を行う情報処理装置。
1. 第1画像に含まれる人物の顔領域から第1の顔特徴情報を抽出し、前記人物の顔以外を含む領域から第1の人領域特徴情報を抽出する抽出手段と、
2以上の特徴情報を照合する照合手段と、を備え、
前記抽出手段は、第2画像に含まれる人物の顔領域から第2の顔特徴情報を抽出できなかった場合、前記第2画像に含まれる人物の顔以外を含む領域から第2の人領域特徴情報を抽出し、
前記照合手段は、前記第1の人領域特徴情報と前記第2の人領域特徴情報とを照合する、情報処理装置。
2. 1.に記載の情報処理装置において、
前記第2画像は、前記第1画像とは異なる撮像部により生成される情報処理装置。
3. 1.又は2.に記載の情報処理装置において、
前記第2画像は、前記第1画像より後に撮像された画像である情報処理装置。
4. 1.から3.のいずれか一つに記載の情報処理装置において、
前記照合手段は、前記第2画像に含まれる人物から前記第2の顔特徴情報を抽出できた場合は前記第1の顔特徴情報と前記第2の顔特徴情報とを照合し、前記第2画像に含まれる人物から前記第2の顔特徴情報を抽出できなかった場合は前記第1の人領域特徴情報と前記第2の人領域特徴情報とを照合する、情報処理装置。
5. 1.から4.のいずれか一つに記載の情報処理装置において、
前記抽出手段による前記第1の顔特徴情報、前記第2の顔特徴情報、前記第1の人領域特徴情報、および前記第2の人領域特徴情報の抽出処理、ならびに、前記照合手段による前記人領域特徴情報の照合処理のうち少なくともいずれか1つは、所定の事象を検知したことをトリガとして実施される、情報処理装置。
6. 1.から5.のいずれか一つに記載の情報処理装置において、
抽出した前記第1の人領域特徴情報を、当該第1の人領域特徴情報に対応する前記人領域を含む画像に関連付けて登録人領域特徴情報として記憶部に記憶させる登録手段をさらに備え、
前記照合手段は、前記記憶部に記憶された前記登録人領域特徴情報と前記第2の人領域特徴情報とを照合する情報処理装置。
7. 1.から6.のいずれか一つに記載の情報処理装置において、
複数の前記第1画像を用いて複数の前記第1の人領域特徴情報を抽出し、前記複数の第1の人領域特徴情報を登録人領域特徴情報として互いに関連付けて記憶部に記憶させる登録手段をさらに備え、
前記照合手段は、前記記憶部に記憶された少なくとも1つの前記登録人領域特徴情報と前記第2の人領域特徴情報とを照合する情報処理装置。
8. 1.から7.のいずれか一つに記載の情報処理装置において、
前記照合手段は、前記第1画像に含まれる人物の顔領域から抽出された前記第1の顔特徴情報と記憶部に記憶された第1顔情報とを照合し、当該照合結果が一致となった場合、前記第1画像に含まれる前記人物から前記第1の人領域特徴情報を抽出する、情報処理装置。
9. 8.に記載の情報処理装置において、
前記抽出手段は、前記第1画像に含まれる人物の顔領域から抽出された前記第1の顔特徴情報と前記記憶部に記憶された前記第1顔情報との照合結果が不一致となった場合、当該人物の顔領域以外を含む人領域から第3の人領域特徴情報を抽出し、
抽出された前記第3の人領域特徴情報及び当該第1の顔特徴情報を互いに関連付けて第2の記憶部に記憶させる登録手段をさらに備える情報処理装置。
10. 9.に記載の情報処理装置において、
前記登録手段は、前記第1の顔特徴情報が抽出された前記顔領域の画像を前記第1の顔特徴情報および前記第3の人領域特徴情報と関連付けて前記第2の記憶部に記憶させる、情報処理装置。
11. 1.から10.のいずれか一つに記載の情報処理装置において、
前記第1画像に含まれる人物から抽出された前記第1の顔特徴情報と前記第1の人領域特徴情報とを前記人物の識別情報に対応付けて記憶部に記憶させる登録手段と、
前記照合手段による照合結果が一致となった場合、前記記憶部が記憶する前記人物の識別情報を出力部に出力させる出力処理手段と、をさらに備える情報処理装置。
12. 1.から11.のいずれか一つに記載の情報処理装置において、
複数の撮像部とネットワークを介して接続され、
前記抽出手段は、複数の撮像部から前記第2画像を取得し、取得した前記第2画像に対して抽出処理を行う情報処理装置。
13. 第1画像に含まれる人物の顔領域から第1の顔特徴情報を抽出し、前記人物の顔以外を含む領域から第1の人領域特徴情報を抽出する抽出手段と、
2以上の特徴情報を照合する照合手段と、を備え、
前記抽出手段は、第2画像に含まれる人物の顔領域から第2の顔特徴情報を抽出できなかった場合、前記第2画像に含まれる人物の顔以外を含む領域から第2の人領域特徴情報を抽出し、
前記照合手段は、前記第1の人領域特徴情報と前記第2の人領域特徴情報とを照合する、
情報処理システム。
14. 13.に記載の情報処理システムにおいて、
前記第2画像は、前記第1画像とは異なる撮像部により生成される情報処理システム。
15. 13.又は14.に記載の情報処理システムにおいて、
前記第2画像は、前記第1画像より後に撮像された画像である情報処理システム。
16. 13.から15.のいずれか一つに記載の情報処理システムにおいて、
前記照合手段は、前記第2画像に含まれる人物から前記第2の顔特徴情報を抽出できた場合は前記第1の顔特徴情報と前記第2の顔特徴情報とを照合し、前記第2画像に含まれる人物から前記第2の顔特徴情報を抽出できなかった場合は前記第1の人領域特徴情報と前記第2の人領域特徴情報とを照合する、情報処理システム。
17. 13.から16.のいずれか一つに記載の情報処理システムにおいて、
前記抽出手段による前記第1の顔特徴情報、前記第2の顔特徴情報、前記第1の人領域特徴情報、および前記第2の人領域特徴情報の抽出処理、ならびに、前記照合手段による前記人領域特徴情報の照合処理のうち少なくともいずれか1つは、所定の事象を検知したことをトリガとして実施される、情報処理システム。
18. 13.から17.のいずれか一つに記載の情報処理システムにおいて、
抽出した前記第1の人領域特徴情報を、当該第1の人領域特徴情報に対応する前記人領域を含む画像に関連付けて登録人領域特徴情報として記憶部に記憶させる登録手段をさらに備え、
前記照合手段は、前記記憶部に記憶された前記登録人領域特徴情報と前記第2の人領域特徴情報とを照合する情報処理システム。
19. 13.から18.のいずれか一つに記載の情報処理システムにおいて、
複数の前記第1画像を用いて複数の前記第1の人領域特徴情報を抽出し、前記複数の第1の人領域特徴情報を登録人領域特徴情報として互いに関連付けて記憶部に記憶させる登録手段をさらに備え、
前記照合手段は、前記記憶部に記憶された少なくとも1つの前記登録人領域特徴情報と前記第2の人領域特徴情報とを照合する情報処理システム。
20. 13.から19.のいずれか一つに記載の情報処理システムにおいて、
前記照合手段は、前記第1画像に含まれる人物の顔領域から抽出された前記第1の顔特徴情報と記憶部に記憶された第1顔情報とを照合し、当該照合結果が一致となった場合、前記第1画像に含まれる前記人物から前記第1の人領域特徴情報を抽出する、情報処理システム。
21. 20.に記載の情報処理システムにおいて、
前記抽出手段は、前記第1画像に含まれる人物の顔領域から抽出された前記第1の顔特徴情報と前記記憶部に記憶された前記第1顔情報との照合結果が不一致となった場合、当該人物の顔領域以外を含む人領域から第3の人領域特徴情報を抽出し、
抽出された前記第3の人領域特徴情報及び当該第1の顔特徴情報を互いに関連付けて第2の記憶部に記憶させる登録手段をさらに備える情報処理システム。
22. 21.に記載の情報処理システムにおいて、
前記登録手段は、前記第1の顔特徴情報が抽出された前記顔領域の画像を前記第1の顔特徴情報および前記第3の人領域特徴情報と関連付けて前記第2の記憶部に記憶させる、情報処理システム。
23. 13.から22.のいずれか一つに記載の情報処理システムにおいて、
前記第1画像に含まれる人物から抽出された前記第1の顔特徴情報と前記第1の人領域特徴情報とを前記人物の識別情報に対応付けて記憶部に記憶させる登録手段と、
前記照合手段による照合結果が一致となった場合、前記記憶部が記憶する前記人物の識別情報を出力部に出力させる出力処理手段と、をさらに備える情報処理システム。
24. 13.から23.のいずれか一つに記載の情報処理システムにおいて、
複数の撮像部とネットワークを介して接続され、
前記抽出手段は、複数の撮像部から前記第2画像を取得し、取得した前記第2画像に対して抽出処理を行う情報処理システム。
2以上の特徴情報を照合する照合手段と、を備え、
前記抽出手段は、第2画像に含まれる人物の顔領域から第2の顔特徴情報を抽出できなかった場合、前記第2画像に含まれる人物の顔以外を含む領域から第2の人領域特徴情報を抽出し、
前記照合手段は、前記第1の人領域特徴情報と前記第2の人領域特徴情報とを照合する、
情報処理システム。
14. 13.に記載の情報処理システムにおいて、
前記第2画像は、前記第1画像とは異なる撮像部により生成される情報処理システム。
15. 13.又は14.に記載の情報処理システムにおいて、
前記第2画像は、前記第1画像より後に撮像された画像である情報処理システム。
16. 13.から15.のいずれか一つに記載の情報処理システムにおいて、
前記照合手段は、前記第2画像に含まれる人物から前記第2の顔特徴情報を抽出できた場合は前記第1の顔特徴情報と前記第2の顔特徴情報とを照合し、前記第2画像に含まれる人物から前記第2の顔特徴情報を抽出できなかった場合は前記第1の人領域特徴情報と前記第2の人領域特徴情報とを照合する、情報処理システム。
17. 13.から16.のいずれか一つに記載の情報処理システムにおいて、
前記抽出手段による前記第1の顔特徴情報、前記第2の顔特徴情報、前記第1の人領域特徴情報、および前記第2の人領域特徴情報の抽出処理、ならびに、前記照合手段による前記人領域特徴情報の照合処理のうち少なくともいずれか1つは、所定の事象を検知したことをトリガとして実施される、情報処理システム。
18. 13.から17.のいずれか一つに記載の情報処理システムにおいて、
抽出した前記第1の人領域特徴情報を、当該第1の人領域特徴情報に対応する前記人領域を含む画像に関連付けて登録人領域特徴情報として記憶部に記憶させる登録手段をさらに備え、
前記照合手段は、前記記憶部に記憶された前記登録人領域特徴情報と前記第2の人領域特徴情報とを照合する情報処理システム。
19. 13.から18.のいずれか一つに記載の情報処理システムにおいて、
複数の前記第1画像を用いて複数の前記第1の人領域特徴情報を抽出し、前記複数の第1の人領域特徴情報を登録人領域特徴情報として互いに関連付けて記憶部に記憶させる登録手段をさらに備え、
前記照合手段は、前記記憶部に記憶された少なくとも1つの前記登録人領域特徴情報と前記第2の人領域特徴情報とを照合する情報処理システム。
20. 13.から19.のいずれか一つに記載の情報処理システムにおいて、
前記照合手段は、前記第1画像に含まれる人物の顔領域から抽出された前記第1の顔特徴情報と記憶部に記憶された第1顔情報とを照合し、当該照合結果が一致となった場合、前記第1画像に含まれる前記人物から前記第1の人領域特徴情報を抽出する、情報処理システム。
21. 20.に記載の情報処理システムにおいて、
前記抽出手段は、前記第1画像に含まれる人物の顔領域から抽出された前記第1の顔特徴情報と前記記憶部に記憶された前記第1顔情報との照合結果が不一致となった場合、当該人物の顔領域以外を含む人領域から第3の人領域特徴情報を抽出し、
抽出された前記第3の人領域特徴情報及び当該第1の顔特徴情報を互いに関連付けて第2の記憶部に記憶させる登録手段をさらに備える情報処理システム。
22. 21.に記載の情報処理システムにおいて、
前記登録手段は、前記第1の顔特徴情報が抽出された前記顔領域の画像を前記第1の顔特徴情報および前記第3の人領域特徴情報と関連付けて前記第2の記憶部に記憶させる、情報処理システム。
23. 13.から22.のいずれか一つに記載の情報処理システムにおいて、
前記第1画像に含まれる人物から抽出された前記第1の顔特徴情報と前記第1の人領域特徴情報とを前記人物の識別情報に対応付けて記憶部に記憶させる登録手段と、
前記照合手段による照合結果が一致となった場合、前記記憶部が記憶する前記人物の識別情報を出力部に出力させる出力処理手段と、をさらに備える情報処理システム。
24. 13.から23.のいずれか一つに記載の情報処理システムにおいて、
複数の撮像部とネットワークを介して接続され、
前記抽出手段は、複数の撮像部から前記第2画像を取得し、取得した前記第2画像に対して抽出処理を行う情報処理システム。
25. 情報処理装置が、
第1画像に含まれる人物の顔領域から第1の顔特徴情報を抽出し、前記人物の顔以外を含む領域から第1の人領域特徴情報を抽出し、
2以上の特徴情報を照合し、
第2画像に含まれる人物の顔領域から第2の顔特徴情報を抽出できなかった場合、前記第2画像に含まれる人物の顔以外を含む領域から第2の人領域特徴情報を抽出し、
前記第1の人領域特徴情報と前記第2の人領域特徴情報とを照合する、
情報処理方法。
26. 25.に記載の情報処理方法において、
前記第2画像は、前記第1画像とは異なる撮像部により生成される情報処理方法。
27. 25.又は26.に記載の情報処理方法において、
前記第2画像は、前記第1画像より後に撮像された画像である情報処理方法。
28. 25.から27.のいずれか一つに記載の情報処理方法において、
前記情報処理装置が、
前記第2画像に含まれる人物から前記第2の顔特徴情報を抽出できた場合は前記第1の顔特徴情報と前記第2の顔特徴情報とを照合し、前記第2画像に含まれる人物から前記第2の顔特徴情報を抽出できなかった場合は前記第1の人領域特徴情報と前記第2の人領域特徴情報とを照合する、情報処理方法。
29. 25.から28.のいずれか一つに記載の情報処理方法において、
前記情報処理装置が、
前記第1の顔特徴情報、前記第2の顔特徴情報、前記第1の人領域特徴情報、および前記第2の人領域特徴情報の抽出処理、ならびに、前記人領域特徴情報の照合処理のうち少なくともいずれか1つを、所定の事象を検知したことをトリガとして実施する、情報処理方法。
30. 25.から29.のいずれか一つに記載の情報処理方法において、
前記情報処理装置が、さらに、
抽出した前記第1の人領域特徴情報を、当該第1の人領域特徴情報に対応する前記人領域を含む画像に関連付けて登録人領域特徴情報として記憶部に記憶させ、
前記記憶部に記憶された前記登録人領域特徴情報と前記第2の人領域特徴情報とを照合する情報処理方法。
31. 25.から30.のいずれか一つに記載の情報処理方法において、
前記情報処理装置が、さらに、
複数の前記第1画像を用いて複数の前記第1の人領域特徴情報を抽出し、前記複数の第1の人領域特徴情報を登録人領域特徴情報として互いに関連付けて記憶部に記憶させ、
前記記憶部に記憶された少なくとも1つの前記登録人領域特徴情報と前記第2の人領域特徴情報とを照合する情報処理方法。
32. 25.から31.のいずれか一つに記載の情報処理方法において、
前記情報処理装置が、
前記第1画像に含まれる人物の顔領域から抽出された前記第1の顔特徴情報と記憶部に記憶された第1顔情報とを照合し、当該照合結果が一致となった場合、前記第1画像に含まれる前記人物から前記第1の人領域特徴情報を抽出する、情報処理方法。
33. 32.に記載の情報処理方法において、
前記情報処理装置が、
前記第1画像に含まれる人物の顔領域から抽出された前記第1の顔特徴情報と前記記憶部に記憶された前記第1顔情報との照合結果が不一致となった場合、当該人物の顔領域以外を含む人領域から第3の人領域特徴情報を抽出し、
さらに、抽出された前記第3の人領域特徴情報及び当該第1の顔特徴情報を互いに関連付けて第2の記憶部に記憶させる情報処理方法。
34. 33.に記載の情報処理方法において、
前記情報処理装置が、
前記第1の顔特徴情報が抽出された前記顔領域の画像を前記第1の顔特徴情報および前記第3の人領域特徴情報と関連付けて前記第2の記憶部に記憶させる、情報処理方法。
35. 25.から34.のいずれか一つに記載の情報処理方法において、
前記情報処理装置が、さらに、
前記第1画像に含まれる人物から抽出された前記第1の顔特徴情報と前記第1の人領域特徴情報とを前記人物の識別情報に対応付けて記憶部に記憶させ、
照合結果が一致となった場合、前記記憶部が記憶する前記人物の識別情報を出力部に出力させる、情報処理方法。
36. 25.から35.のいずれか一つに記載の情報処理方法において、
複数の撮像部とネットワークを介して接続され、
前記情報処理装置が、
複数の撮像部から前記第2画像を取得し、取得した前記第2画像に対して抽出処理を行う情報処理方法。
第1画像に含まれる人物の顔領域から第1の顔特徴情報を抽出し、前記人物の顔以外を含む領域から第1の人領域特徴情報を抽出し、
2以上の特徴情報を照合し、
第2画像に含まれる人物の顔領域から第2の顔特徴情報を抽出できなかった場合、前記第2画像に含まれる人物の顔以外を含む領域から第2の人領域特徴情報を抽出し、
前記第1の人領域特徴情報と前記第2の人領域特徴情報とを照合する、
情報処理方法。
26. 25.に記載の情報処理方法において、
前記第2画像は、前記第1画像とは異なる撮像部により生成される情報処理方法。
27. 25.又は26.に記載の情報処理方法において、
前記第2画像は、前記第1画像より後に撮像された画像である情報処理方法。
28. 25.から27.のいずれか一つに記載の情報処理方法において、
前記情報処理装置が、
前記第2画像に含まれる人物から前記第2の顔特徴情報を抽出できた場合は前記第1の顔特徴情報と前記第2の顔特徴情報とを照合し、前記第2画像に含まれる人物から前記第2の顔特徴情報を抽出できなかった場合は前記第1の人領域特徴情報と前記第2の人領域特徴情報とを照合する、情報処理方法。
29. 25.から28.のいずれか一つに記載の情報処理方法において、
前記情報処理装置が、
前記第1の顔特徴情報、前記第2の顔特徴情報、前記第1の人領域特徴情報、および前記第2の人領域特徴情報の抽出処理、ならびに、前記人領域特徴情報の照合処理のうち少なくともいずれか1つを、所定の事象を検知したことをトリガとして実施する、情報処理方法。
30. 25.から29.のいずれか一つに記載の情報処理方法において、
前記情報処理装置が、さらに、
抽出した前記第1の人領域特徴情報を、当該第1の人領域特徴情報に対応する前記人領域を含む画像に関連付けて登録人領域特徴情報として記憶部に記憶させ、
前記記憶部に記憶された前記登録人領域特徴情報と前記第2の人領域特徴情報とを照合する情報処理方法。
31. 25.から30.のいずれか一つに記載の情報処理方法において、
前記情報処理装置が、さらに、
複数の前記第1画像を用いて複数の前記第1の人領域特徴情報を抽出し、前記複数の第1の人領域特徴情報を登録人領域特徴情報として互いに関連付けて記憶部に記憶させ、
前記記憶部に記憶された少なくとも1つの前記登録人領域特徴情報と前記第2の人領域特徴情報とを照合する情報処理方法。
32. 25.から31.のいずれか一つに記載の情報処理方法において、
前記情報処理装置が、
前記第1画像に含まれる人物の顔領域から抽出された前記第1の顔特徴情報と記憶部に記憶された第1顔情報とを照合し、当該照合結果が一致となった場合、前記第1画像に含まれる前記人物から前記第1の人領域特徴情報を抽出する、情報処理方法。
33. 32.に記載の情報処理方法において、
前記情報処理装置が、
前記第1画像に含まれる人物の顔領域から抽出された前記第1の顔特徴情報と前記記憶部に記憶された前記第1顔情報との照合結果が不一致となった場合、当該人物の顔領域以外を含む人領域から第3の人領域特徴情報を抽出し、
さらに、抽出された前記第3の人領域特徴情報及び当該第1の顔特徴情報を互いに関連付けて第2の記憶部に記憶させる情報処理方法。
34. 33.に記載の情報処理方法において、
前記情報処理装置が、
前記第1の顔特徴情報が抽出された前記顔領域の画像を前記第1の顔特徴情報および前記第3の人領域特徴情報と関連付けて前記第2の記憶部に記憶させる、情報処理方法。
35. 25.から34.のいずれか一つに記載の情報処理方法において、
前記情報処理装置が、さらに、
前記第1画像に含まれる人物から抽出された前記第1の顔特徴情報と前記第1の人領域特徴情報とを前記人物の識別情報に対応付けて記憶部に記憶させ、
照合結果が一致となった場合、前記記憶部が記憶する前記人物の識別情報を出力部に出力させる、情報処理方法。
36. 25.から35.のいずれか一つに記載の情報処理方法において、
複数の撮像部とネットワークを介して接続され、
前記情報処理装置が、
複数の撮像部から前記第2画像を取得し、取得した前記第2画像に対して抽出処理を行う情報処理方法。
37. コンピュータに、
第1画像に含まれる人物の顔領域から第1の顔特徴情報を抽出し、前記人物の顔以外を含む領域から第1の人領域特徴情報を抽出する手順、
2以上の特徴情報を照合する手順、
第2画像に含まれる人物の顔領域から第2の顔特徴情報を抽出できなかった場合、前記第2画像に含まれる人物の顔以外を含む領域から第2の人領域特徴情報を抽出する手順、
前記第1の人領域特徴情報と前記第2の人領域特徴情報とを照合する手順、
を実行させるためのプログラム。
38. 37.に記載のプログラムにおいて、
前記第2画像は、前記第1画像とは異なる撮像部により生成されるプログラム。
39. 37.又は38.に記載のプログラムにおいて、
前記第2画像は、前記第1画像より後に撮像された画像であるプログラム。
40. 37.から39.のいずれか一つに記載のプログラムにおいて、
前記第2画像に含まれる人物から前記第2の顔特徴情報を抽出できた場合は前記第1の顔特徴情報と前記第2の顔特徴情報とを照合し、前記第2画像に含まれる人物から前記第2の顔特徴情報を抽出できなかった場合は前記第1の人領域特徴情報と前記第2の人領域特徴情報とを照合する手順をコンピュータに実行させるためのプログラム。
41. 37.から40.のいずれか一つに記載のプログラムにおいて、
前記第1の顔特徴情報、前記第2の顔特徴情報、前記第1の人領域特徴情報、および前記第2の人領域特徴情報の抽出処理、ならびに、前記人領域特徴情報の照合処理のうち少なくともいずれか1つを、所定の事象を検知したことをトリガとして実施する手順をコンピュータに実行させるためのプログラム。
42. 37.から41.のいずれか一つに記載のプログラムにおいて、
抽出した前記第1の人領域特徴情報を、当該第1の人領域特徴情報に対応する前記人領域を含む画像に関連付けて登録人領域特徴情報として記憶部に記憶させる手順、
前記記憶部に記憶された前記登録人領域特徴情報と前記第2の人領域特徴情報とを照合する手順をコンピュータに実行させるためのプログラム。
43. 37.から42.のいずれか一つに記載のプログラムにおいて、
複数の前記第1画像を用いて複数の前記第1の人領域特徴情報を抽出し、前記複数の第1の人領域特徴情報を登録人領域特徴情報として互いに関連付けて記憶部に記憶させる手順、
前記記憶部に記憶された少なくとも1つの前記登録人領域特徴情報と前記第2の人領域特徴情報とを照合する手順をコンピュータに実行させるためのプログラム。
44. 37.から43.のいずれか一つに記載のプログラムにおいて、
前記第1画像に含まれる人物の顔領域から抽出された前記第1の顔特徴情報と記憶部に記憶された第1顔情報とを照合し、当該照合結果が一致となった場合、前記第1画像に含まれる前記人物から前記第1の人領域特徴情報を抽出する手順をコンピュータに実行させるためのプログラム。
45. 44.に記載のプログラムにおいて、
前記第1画像に含まれる人物の顔領域から抽出された前記第1の顔特徴情報と前記記憶部に記憶された前記第1顔情報との照合結果が不一致となった場合、当該人物の顔領域以外を含む人領域から第3の人領域特徴情報を抽出する手順、
抽出された前記第3の人領域特徴情報及び当該第1の顔特徴情報を互いに関連付けて第2の記憶部に記憶させる手順をコンピュータに実行させるためのプログラム。
46. 45.に記載のプログラムにおいて、
前記第1の顔特徴情報が抽出された前記顔領域の画像を前記第1の顔特徴情報および前記第3の人領域特徴情報と関連付けて前記第2の記憶部に記憶させる手順をコンピュータに実行させるためのプログラム。
47. 37.から46.のいずれか一つに記載のプログラムにおいて、
前記第1画像に含まれる人物から抽出された前記第1の顔特徴情報と前記第1の人領域特徴情報とを前記人物の識別情報に対応付けて記憶部に記憶させる手順、
照合結果が一致となった場合、前記記憶部が記憶する前記人物の識別情報を出力部に出力させる手順をコンピュータに実行させるためのプログラム。
48. 37.から47.のいずれか一つに記載のプログラムにおいて、
複数の撮像部とネットワークを介して接続され、
複数の撮像部から前記第2画像を取得し、取得した前記第2画像に対して抽出処理を行う手順をコンピュータに実行させるためのプログラム。
第1画像に含まれる人物の顔領域から第1の顔特徴情報を抽出し、前記人物の顔以外を含む領域から第1の人領域特徴情報を抽出する手順、
2以上の特徴情報を照合する手順、
第2画像に含まれる人物の顔領域から第2の顔特徴情報を抽出できなかった場合、前記第2画像に含まれる人物の顔以外を含む領域から第2の人領域特徴情報を抽出する手順、
前記第1の人領域特徴情報と前記第2の人領域特徴情報とを照合する手順、
を実行させるためのプログラム。
38. 37.に記載のプログラムにおいて、
前記第2画像は、前記第1画像とは異なる撮像部により生成されるプログラム。
39. 37.又は38.に記載のプログラムにおいて、
前記第2画像は、前記第1画像より後に撮像された画像であるプログラム。
40. 37.から39.のいずれか一つに記載のプログラムにおいて、
前記第2画像に含まれる人物から前記第2の顔特徴情報を抽出できた場合は前記第1の顔特徴情報と前記第2の顔特徴情報とを照合し、前記第2画像に含まれる人物から前記第2の顔特徴情報を抽出できなかった場合は前記第1の人領域特徴情報と前記第2の人領域特徴情報とを照合する手順をコンピュータに実行させるためのプログラム。
41. 37.から40.のいずれか一つに記載のプログラムにおいて、
前記第1の顔特徴情報、前記第2の顔特徴情報、前記第1の人領域特徴情報、および前記第2の人領域特徴情報の抽出処理、ならびに、前記人領域特徴情報の照合処理のうち少なくともいずれか1つを、所定の事象を検知したことをトリガとして実施する手順をコンピュータに実行させるためのプログラム。
42. 37.から41.のいずれか一つに記載のプログラムにおいて、
抽出した前記第1の人領域特徴情報を、当該第1の人領域特徴情報に対応する前記人領域を含む画像に関連付けて登録人領域特徴情報として記憶部に記憶させる手順、
前記記憶部に記憶された前記登録人領域特徴情報と前記第2の人領域特徴情報とを照合する手順をコンピュータに実行させるためのプログラム。
43. 37.から42.のいずれか一つに記載のプログラムにおいて、
複数の前記第1画像を用いて複数の前記第1の人領域特徴情報を抽出し、前記複数の第1の人領域特徴情報を登録人領域特徴情報として互いに関連付けて記憶部に記憶させる手順、
前記記憶部に記憶された少なくとも1つの前記登録人領域特徴情報と前記第2の人領域特徴情報とを照合する手順をコンピュータに実行させるためのプログラム。
44. 37.から43.のいずれか一つに記載のプログラムにおいて、
前記第1画像に含まれる人物の顔領域から抽出された前記第1の顔特徴情報と記憶部に記憶された第1顔情報とを照合し、当該照合結果が一致となった場合、前記第1画像に含まれる前記人物から前記第1の人領域特徴情報を抽出する手順をコンピュータに実行させるためのプログラム。
45. 44.に記載のプログラムにおいて、
前記第1画像に含まれる人物の顔領域から抽出された前記第1の顔特徴情報と前記記憶部に記憶された前記第1顔情報との照合結果が不一致となった場合、当該人物の顔領域以外を含む人領域から第3の人領域特徴情報を抽出する手順、
抽出された前記第3の人領域特徴情報及び当該第1の顔特徴情報を互いに関連付けて第2の記憶部に記憶させる手順をコンピュータに実行させるためのプログラム。
46. 45.に記載のプログラムにおいて、
前記第1の顔特徴情報が抽出された前記顔領域の画像を前記第1の顔特徴情報および前記第3の人領域特徴情報と関連付けて前記第2の記憶部に記憶させる手順をコンピュータに実行させるためのプログラム。
47. 37.から46.のいずれか一つに記載のプログラムにおいて、
前記第1画像に含まれる人物から抽出された前記第1の顔特徴情報と前記第1の人領域特徴情報とを前記人物の識別情報に対応付けて記憶部に記憶させる手順、
照合結果が一致となった場合、前記記憶部が記憶する前記人物の識別情報を出力部に出力させる手順をコンピュータに実行させるためのプログラム。
48. 37.から47.のいずれか一つに記載のプログラムにおいて、
複数の撮像部とネットワークを介して接続され、
複数の撮像部から前記第2画像を取得し、取得した前記第2画像に対して抽出処理を行う手順をコンピュータに実行させるためのプログラム。
Claims (8)
- 複数の撮像部から画像を取得し、取得したそれぞれの前記画像に含まれる人物の顔領域から顔特徴情報を抽出する抽出手段と、
抽出した前記顔特徴情報と記憶部に登録者として記憶された顔情報とを照合する照合手段と、
情報を記憶部に記憶させる登録手段と、を備え、
前記抽出手段は、前記顔特徴情報と前記顔情報との照合結果が不一致となった場合、当該人物の顔領域以外を含む人領域から人領域特徴情報を抽出し、
前記登録手段は、抽出された当該人物の前記人領域特徴情報及び前記顔特徴情報を未登録者として互いに関連付けて前記記憶部に記憶させる、情報処理装置。 - 請求項1に記載の情報処理装置において、
前記未登録者が抽出された前記画像において、当該未登録者を特定可能な情報を当該未登録者に関連付けて前記画像に重畳表示させる出力処理手段を備える、情報処理装置。 - 請求項1または2に記載の情報処理装置において、
前記登録手段は、前記未登録者に、当該未登録者を識別する識別情報を付与し、当該未登録者の前記人領域特徴情報および前記顔特徴情報に、当該未登録者の前記識別情報を関連付けて前記記憶部に記憶させる、情報処理装置。 - 請求項3に記載の情報処理装置において、
前記未登録者が抽出された前記画像において、当該未登録者の前記識別情報を当該未登録者に関連付けて前記画像に重畳表示させる出力処理手段を備える、情報処理装置。 - 請求項1から4のいずれか一項に記載の情報処理装置において、
前記抽出手段による抽出処理、および前記照合手段による照合処理のうち少なくとも一方は、所定の事象を検知したことをトリガとして実施され、
前記所定の事象は、前記画像を画像処理により検知される、前記画像に含まれる人物の注視すべき所定の行動である、情報処理装置。 - 請求項5に記載の情報処理装置において、
前記所定の行動は、置き去り、キョロキョロする、うろつく、物を振り回す、および所定のエリアに侵入することのうち少なくとも1つを含む、情報処理装置。 - 1以上のコンピュータが、
複数の撮像部から画像を取得し、取得したそれぞれの前記画像に含まれる人物の顔領域から顔特徴情報を抽出し、
抽出した前記顔特徴情報と記憶部に登録者として記憶された顔情報とを照合し、
情報を記憶部に記憶させ、
前記顔特徴情報を抽出する際、前記顔特徴情報と前記顔情報との照合結果が不一致となった場合、当該人物の顔領域以外を含む人領域から人領域特徴情報を抽出し、
前記情報を記憶する際、抽出された当該人物の前記人領域特徴情報及び前記顔特徴情報を未登録者として互いに関連付けて前記記憶部に記憶させる、情報処理方法。 - コンピュータに、
複数の撮像部から画像を取得し、取得したそれぞれの前記画像に含まれる人物の顔領域から顔特徴情報を抽出する抽出処理、
抽出した前記顔特徴情報と記憶部に登録者として記憶された顔情報とを照合する照合処理、
情報を記憶部に記憶させる登録処理、を実行させ、
前記抽出処理において、前記顔特徴情報と前記顔情報との照合結果が不一致となった場合、当該人物の顔領域以外を含む人領域から人領域特徴情報を抽出し、
前記登録処理において、抽出された当該人物の前記人領域特徴情報及び前記顔特徴情報を未登録者として互いに関連付けて前記記憶部に記憶させる、プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023098313A JP7371806B2 (ja) | 2018-12-07 | 2023-06-15 | 情報処理装置、情報処理方法、およびプログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020558792A JP7020567B2 (ja) | 2018-12-07 | 2018-12-07 | 情報処理システム、情報処理装置、情報処理方法、およびプログラム |
JP2022014709A JP7298729B2 (ja) | 2018-12-07 | 2022-02-02 | 情報処理システム、情報処理装置、情報処理方法、およびプログラム |
JP2023098313A JP7371806B2 (ja) | 2018-12-07 | 2023-06-15 | 情報処理装置、情報処理方法、およびプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022014709A Division JP7298729B2 (ja) | 2018-12-07 | 2022-02-02 | 情報処理システム、情報処理装置、情報処理方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023115087A JP2023115087A (ja) | 2023-08-18 |
JP7371806B2 true JP7371806B2 (ja) | 2023-10-31 |
Family
ID=81123536
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023098313A Active JP7371806B2 (ja) | 2018-12-07 | 2023-06-15 | 情報処理装置、情報処理方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7371806B2 (ja) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002279540A (ja) | 2001-03-16 | 2002-09-27 | Victor Co Of Japan Ltd | 画像監視システム及びネットワークを用いた画像監視システム |
JP2005086626A (ja) | 2003-09-10 | 2005-03-31 | Matsushita Electric Ind Co Ltd | 広域監視装置 |
JP2009199322A (ja) | 2008-02-21 | 2009-09-03 | Hitachi Kokusai Electric Inc | 監視システム、人物検索方法 |
JP2013153304A (ja) | 2012-01-25 | 2013-08-08 | Hitachi Kokusai Electric Inc | 監視装置及び監視カメラシステム並びに映像送信方法 |
JP2013196423A (ja) | 2012-03-21 | 2013-09-30 | Glory Ltd | 監視システム、監視装置及び監視方法 |
JP2014149620A (ja) | 2013-01-31 | 2014-08-21 | Secom Co Ltd | 撮影システム |
JP2015002553A (ja) | 2013-06-18 | 2015-01-05 | キヤノン株式会社 | 情報処理システムおよびその制御方法 |
JP2016045742A (ja) | 2014-08-22 | 2016-04-04 | 東芝テック株式会社 | 情報処理装置およびプログラム |
WO2018198373A1 (ja) | 2017-04-28 | 2018-11-01 | 株式会社日立国際電気 | 映像監視システム |
-
2023
- 2023-06-15 JP JP2023098313A patent/JP7371806B2/ja active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002279540A (ja) | 2001-03-16 | 2002-09-27 | Victor Co Of Japan Ltd | 画像監視システム及びネットワークを用いた画像監視システム |
JP2005086626A (ja) | 2003-09-10 | 2005-03-31 | Matsushita Electric Ind Co Ltd | 広域監視装置 |
JP2009199322A (ja) | 2008-02-21 | 2009-09-03 | Hitachi Kokusai Electric Inc | 監視システム、人物検索方法 |
JP2013153304A (ja) | 2012-01-25 | 2013-08-08 | Hitachi Kokusai Electric Inc | 監視装置及び監視カメラシステム並びに映像送信方法 |
JP2013196423A (ja) | 2012-03-21 | 2013-09-30 | Glory Ltd | 監視システム、監視装置及び監視方法 |
JP2014149620A (ja) | 2013-01-31 | 2014-08-21 | Secom Co Ltd | 撮影システム |
JP2015002553A (ja) | 2013-06-18 | 2015-01-05 | キヤノン株式会社 | 情報処理システムおよびその制御方法 |
JP2016045742A (ja) | 2014-08-22 | 2016-04-04 | 東芝テック株式会社 | 情報処理装置およびプログラム |
WO2018198373A1 (ja) | 2017-04-28 | 2018-11-01 | 株式会社日立国際電気 | 映像監視システム |
Non-Patent Citations (1)
Title |
---|
渡邉 裕樹,複数観点特徴を用いた監視映像解析向け人物検索システム,電子情報通信学会技術研究報告 Vol.113 No.493,日本,一般社団法人電子情報通信学会,2014年03月06日,PRMU2013-172 (2014-3),P.25-30 |
Also Published As
Publication number | Publication date |
---|---|
JP2023115087A (ja) | 2023-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4594945B2 (ja) | 人物検索装置および人物検索方法 | |
KR100996066B1 (ko) | 얼굴화상 등록 장치, 얼굴화상 등록 방법, 및 기록 매체 | |
JP5450089B2 (ja) | 対象検出装置および対象検出方法 | |
JP7196932B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US11704934B2 (en) | Information processing apparatus, information processing method, and program | |
JP7484985B2 (ja) | 認証システム、認証方法、及び、プログラム | |
JP5423740B2 (ja) | 映像提供装置、映像利用装置、映像提供システム、映像提供方法、および、コンピュータ・プログラム | |
JP2024045460A (ja) | 情報処理システム、情報処理装置、情報処理方法、およびプログラム | |
JP7020567B2 (ja) | 情報処理システム、情報処理装置、情報処理方法、およびプログラム | |
JP7298729B2 (ja) | 情報処理システム、情報処理装置、情報処理方法、およびプログラム | |
JP2019185205A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP7371806B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP6112346B2 (ja) | 情報収集システム、プログラムおよび情報収集方法 | |
JP7357649B2 (ja) | 識別を容易にするための方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230919 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231002 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7371806 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |