JP7122543B1 - 情報処理装置、情報処理システム、及び、推定方法 - Google Patents

Abstract

【課題】特定の領域を通過しようとする対象の位置の推定精度を向上できる情報処理装置、情報処理システム、及び、推定方法の提供に資する。【解決手段】情報処理装置は、ゲートに進入する人物を第１の方向から撮影した第１画像に含まれる第１の顔画像領域と、人物を前記第１の方向と異なる第２の方向から撮影した第２画像に含まれる第２の顔画像領域とを検出する検出部と、第１の顔画像領域と第２の顔画像領域との間の相対的な位置関係の変化に基づいて、ゲートにおける人物の位置を推定する推定部と、を備える。【選択図】図２Ａ

Description

本開示は、情報処理装置、情報処理システム、及び、推定方法に関する。

駅や空港などに設置されるゲートを通過する人物の入退出を管理する技術が知られている。特許文献１には、人物が、無線カードによるゲート通過の許可を得て、ゲートの入口からゲートへ進入した場合に、当該人物がゲートを通過したか否か（ゲートの入口へ戻ったりしていないか）を無線カードの位置の変化に基づいて追跡する装置が記載されている。

特開平０９－３３０４４０号公報

入退出を管理するゲートでは、どの人物がゲートを通過したか否かを管理することが望まれる。以下では、この管理を「通過管理」又は「追跡管理」とも略称することがある。追跡管理における、人物の位置の推定精度の向上については、検討の余地がある。

本開示の非限定的な実施例は、特定の領域を通過しようとする対象の位置の推定精度を向上できる情報処理装置、情報処理システム、及び、推定方法の提供に資する。

本開示の一実施例に係る情報処理装置は、ゲートに進入する人物を第１の方向から撮影した第１画像に含まれる第１の顔画像領域と、前記人物を前記第１の方向と異なる第２の方向から撮影した第２画像に含まれる第２の顔画像領域とを検出する検出部と、前記第１の顔画像領域と前記第２の顔画像領域との間の相対的な位置関係の変化に基づいて、前記ゲートにおける前記人物の位置を推定する推定部と、を備える。

本開示の一実施例に係る情報処理システムは、ゲートに進入する人物を第１の方向から撮影した第１画像と、前記人物を前記第１の方向と異なる第２の方向から撮影した第２画像との少なくとも１つを用いて、前記人物の認証処理を実行する認証装置と、前記第１画像に含まれる第１の顔画像領域と、前記第２画像に含まれる第２の顔画像領域とを検出し、前記第１の顔画像領域と前記第２の顔画像領域との間の相対的な位置関係の変化に基づいて、前記ゲートにおける前記人物の位置を推定する情報処理装置と、を備える。

本開示の一実施例に係る推定方法は、情報処理装置が、ゲートに進入する人物を第１の方向から撮影した第１画像に含まれる第１の顔画像領域と、前記人物を前記第１の方向と異なる第２の方向から撮影した第２画像に含まれる第２の顔画像領域とを検出し、前記第１の顔画像領域と前記第２の顔画像領域との間の相対的な位置関係の変化に基づいて、前記ゲートにおける前記人物の位置を推定する。

なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、又は、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

本開示の非限定的な実施例は、特定の領域を通過しようとする対象の位置の推定精度を向上できる。

本開示の一実施例における更なる利点及び効果は、明細書及び図面から明らかにされる。かかる利点及び／又は効果は、いくつかの実施形態並びに明細書及び図面に記載された特徴によってそれぞれ提供されるが、１つ又はそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。

一実施の形態に係るゲートの一例を示す図 一実施の形態に係る通過管理システムの構成の概念の一例を示す図 一実施の形態に係る通過管理システムの構成例を示すブロック図 ゲートに規定されるゾーンの例を示す図 ゲートに規定されるゾーンの例を示す図 一実施の形態における顔枠の検知の例を示す図 一実施の形態における人物の位置の検知の例を示す図 人物の位置に対する顔枠のサイズと中心との関係の一例を示す図 位置差分の大きさの推移の第１の例を示す図 位置差分の大きさの推移の第２の例を示す図 一実施の形態における顔枠に基づく人物追跡処理の流れの一例を示す図 画像領域において規定されるエリアの一例を示す図 通過管理の流れの一例を示すフローチャート 顔枠タイムアウト処理の例を示す図 ＦＦＦＡ複数顔枠排除処理の一例を示すフローチャート ２眼方式顔枠位置推定処理の一例を示すフローチャート カメラの配置の差に対する規定エリアの例を示す図 １つのカメラを用いた新たな顔枠検知の例を示すフローチャート １つのカメラを用いた課金ライン越え判定の一例を示すフローチャート

以下に添付図面を参照しながら、本開示の好適な実施形態について詳細に説明する。尚、本明細書及び図面において、実質的に同一の機能を有する構成要素については、同一の符号を付することにより重複説明を省略する。

（一実施の形態）
＜本開示に至った知見＞
駅や空港といった施設に設置され、施設への入退出を管理するゲートでは、どの人物がゲートを通過したか否かを正確に管理する通過管理の利用が検討されている。通過管理が十分でない場合、例えば、ゲートの入口から入ったが、ゲートの出口へ向かわずに、ゲートの入口に引き返してしまった人を通過したと誤判定したり、実際に通過した人を通過していないと誤認識したりしてしまうことがある。このような誤りは、例えば、駅の改札機のようなゲートを通過した人に対価を請求するようなサービスにおいて、費用の誤請求につながり得る。

通過管理を実施するためには、例えば、通過しようとする人を認証する認証処理（例えば、認証不能であると決定する処理が含まれてよい）と、その人の移動の履歴を記録する追跡処理とが実施される。これらの処理は、例えば、人の通過の記録、あるいは扉の開閉といった人の移動を規制するような処理を行う時間を確保するために早期に実施されることが望ましい。

例えば、人及びゲートよりも上方（例えば、天井部）にカメラが設置され、天井部のカメラが人及びゲートを撮影し、撮影した画像の解析によって、撮影された人の追跡処理を行うことが検討される。

しかしながら、天井部へカメラを設置する場合、設置場所の構造あるいは環境によっては、カメラの設置場所が制限され得る。また、設置が可能であっても、設置のために大規模な工事を要するような場合、設置コストが増大する。そのため、天井部へ設置するカメラを用いた通過管理システムの導入が困難となる場合がある。

例えば、ゲートに、ゲートよりも上方に延びるアーチ型、又は、ポール型の支持部を設け、支持部にカメラを設置することが考えられるが、このような支持部を有するゲートは、支持部を有さないゲートよりも高さ方向のサイズが大きいため、ゲートの設置場所が制限され得る。また、デザイン面において、ゲートに支持部を設けることが、好ましくない場合もあり得る。

本実施の形態では、ゲートを通過しようとする人の顔認証処理に用いるカメラが撮影した画像を用いて、追跡処理を行うことによって、認証処理と追跡処理とを含む通過管理処理を実施する。認証処理に用いるカメラを追跡処理と兼用とすることで、追跡処理のための装置（例えば、天井部等のカメラ）を別途設ける必要がない。したがって、通過管理の導入コストの増加を抑制できる。また、追跡処理に専用のカメラといった設備を設ける場合に比して、設置場所の制約が緩和されるので、設置場所の自由度が向上し、通過管理システムの導入が容易になる。

＜ゲートの構成例＞
図１は、本実施の形態に係るゲート１０の一例を示す図である。図１は、ゲート１０を上方から見た図であり、ゲート１０の出入口Ｅ１から人物ｈが進入し、ゲート１０の出入口Ｅ２から当該人物が退出する様子が例示される。なお、図１に示すゲート１０に対して、人物は、出入口Ｅ２から進入し、出入口Ｅ１から退出してもよい。別言すると、ゲート１０は、双方向に人物が通過することを許容する。

ゲート１０は、例えば、互いに向き合う側壁Ｖを有し、側壁Ｖの間に、ゲート１０を通過する人物を誘導する通路Ｌが形成される。高さ１ｍ程度の１つの側壁Ｖの上部には、例えば、側壁Ｖの中央部よりも出入口Ｅ１及びＥ２のそれぞれに近い２つの位置にカメラ１１が設けられ、２つの側壁Ｖに対して合計で４つのカメラ１１（１１－Ｒ１、１１－Ｒ２、１１－Ｌ１、１１－Ｌ２）が設けられる。

カメラ１１－Ｒ１及び１１－Ｌ１は、例えば、ゲート１０の中央部よりも出入口Ｅ２に近い位置の側壁Ｖに設置されて、ゲート１０を反対側の出入口Ｅ１から進入して出入口Ｅ２へ通過する人物の撮影に用いられる。

一方、カメラ１１－Ｒ２及び１１－Ｌ２は、例えば、ゲート１０の中央部よりも出入口Ｅ１に近い位置の側壁Ｖに設置されて、ゲート１０を反対側の出入口Ｅ２から進入して出入口Ｅ１へ通過する人物の撮影に用いられる。

例示的に、カメラ１１－Ｒ１は、出入口Ｅ１から進入する人物の右前方から当該人物を撮影可能な位置に設置される。カメラ１１－Ｌ１は、例えば、出入口Ｅ１から進入する人物の左前方から当該人物を撮影可能な位置に設置される。

カメラ１１－Ｒ２は、例えば、出入口Ｅ１とは反対の出入口Ｅ２から進入する人物の右前方から当該人物を撮影可能な位置に設置される。カメラ１１－Ｌ２は、例えば、出入口Ｅ１とは反対の出入口Ｅ２から進入する人物の左前方から当該人物を撮影可能な位置に設置される。

したがって、ゲート１０を出入口Ｅ１から進入して出入口Ｅ２へ通過する人物は、例えば、２つの側壁Ｖの上部に通路Ｌを挟んで互いに離れた位置に設置された２つのカメラ１１－Ｒ１及び１１－Ｌ１によって２方向（例えば、左右方向）から撮影される。

一方、ゲート１０を逆方向に通過する人物、すなわち、ゲート１０を出入口Ｅ２から進入して出入口Ｅ１へ通過する人物は、例えば、２つの側壁Ｖの上部に通路Ｌを挟んで互いに離れた位置に設置された２つのカメラ１１－Ｒ２及び１１－Ｌ２によって２方向（例えば、左右方向）から撮影される。

なお、図１は、ゲート１０の出入口Ｅ１と出入口Ｅ２との両方から、人物が進入可能な構成例であるが、本開示はこれに限定されない。例えば、ゲート１０は、人物が一方の出入口（例えば、出入口Ｅ１）から進入でき、他方の出入口（例えば、出入口Ｅ２）から進入できない構成であってもよい。ゲート１０が出入口Ｅ２からの人物の進入を許容しない構成の場合、カメラ１１－Ｒ２及びカメラ１１－Ｌ２は設けられなくてよい。ゲート１０が出入口Ｅ１からの人物の進入を許容しない構成の場合、カメラ１１－Ｒ１及びカメラ１１－Ｌ１は設けられなくてよい。

以下では、例示的に、図１に示すゲート１０において、出入口Ｅ１から進入して出入口Ｅ２へ通過する人物の通過管理を、カメラ１１－Ｒ１及びカメラ１１－Ｌ１を使用して行う例について説明する。なお、カメラ１１－Ｒ１及びカメラ１１－Ｌ１は、便宜的に纏めてカメラ１１と記載する場合がある。

また、カメラ１１－Ｒ１は、右カメラ１１と記載され、右カメラ１１によって撮影された画像は、「右画像」と記載される場合がある。同様に、カメラ１１－Ｌ１は、左カメラ１１と記載され、左カメラ１１によって撮影された画像は、「左画像」と記載される場合がある。

また、ゲート１０に進入する人物は、顔認証処理を含む処理対象の人物に相当する。以下、処理対象の人物は、「対象者」と記載する。

なお、図１のゲート１０は、例示であり、本開示はこれに限定されない。例えば、ゲート１０には、５つ以上のカメラ１１が設けられてもよいし、３つ以下のカメラ１１が設けられてよい。カメラ１１の撮影方向及び／又は角度を異ならせることにより、より広い範囲で人物の顔を撮影することができる。

２つのカメラ１１が設けられる場合、一方は、ゲート１０に進入する人物を第１の方向から撮影する位置に設けられ、他方は、ゲート１０に進入する人物を第２の方向から撮影する位置に設けられればよい。カメラ１１は、ゲート１０に進入する人物の顔を正面から撮影する位置に設けられてもよいし、顔の少なくとも一部（例えば、顔の右半分又は左半分）を撮影する位置に設けられてもよい。例えば、カメラ１１は、後述する顔枠検出によって、顔枠が検出可能な画像を撮影する位置に設けられてもよい。

なお、複数のカメラ１１は、互いに同一でなくてもよい。例えば、複数のカメラ１１は、互いに異なる解像度、画角、画質の画像を撮影する構成であってもよい。また、カメラ１１の設置位置及び／又は撮影方向は、固定されてもよいし、調整可能であってもよい。

＜システム構成＞
図２Ａは、本実施の形態に係る通過管理システムの概念的な構成の一例を示す図である。図２Ｂは、本実施の形態に係る通過管理システムの構成例を示すブロック図である。本実施の形態に係る通過管理システム１は、例えば、空港、駅、イベント会場といった施設の出入口に設置されるゲート１０（例えば、入場ゲート、改札ゲートなど）における人物の通過を管理するシステムである。

本実施の形態に係る通過管理システム１では、例示的に、施設を利用する利用者の入退場の管理が、顔認証によって実行される。例えば、利用者がゲート１０を通過して施設内へ入場する場合、利用者が施設内への入場を許可された人物であるか否かが顔認証によって判定される。また、利用者がゲートを通過して施設外へ退場する場合、どの利用者が施設外へ退場するかが顔認証によって判定される。なお、「顔認証」とは、「顔画像を用いた照合」に含まれる概念と捉えてよい。

通過管理システム１は、例えば、図１に例示したゲート１０と、カメラ１１（右カメラ１１及び左カメラ１１）と、顔認証機能部１３と、人物位置推定部１４と、通過管理機能部１５と、顔認証サーバ１６と、通過履歴管理サーバ１７と、を含む。なお、通過管理システム１において、ゲート１０は、１つであってもよいし、複数であってもよい。

ゲート１０は、例えば、空港、駅、イベント会場といった施設に設置される。施設の利用を許可された利用者は、施設へ入場する場合及び／又は施設から退場する場合にゲート１０を通過する。また、ゲート１０は、施設への入場を許可されていない人物の通過を阻止するように制御を行う。

カメラ１１は、図１にて示したように、例えば、ゲート１０の側壁Ｖに設けられる。カメラ１１は、ゲート１０を通過する人物、及び、ゲート１０を通過しようとする人物が存在した場合の当該人物の顔を含む撮影範囲を撮影する。例えば、カメラ１１の撮影範囲は、人物の正面の顔を撮影可能な範囲である。

カメラ１１において撮影された画像は、後述する人物検知処理（又は人物追跡処理）に用いられてもよいし、後述する顔認証処理に用いられてもよい。

顔認証機能部１３は、画像に対して顔認証処理を行う。例えば、顔認証機能部１３は、カメラ制御部１３１と、顔照合処理部１３２とを有する。

カメラ制御部１３１は、例えば、カメラ１１の撮影タイミングを制御する。例えば、カメラ１１は、カメラ制御部１３１の制御によって、５ｆｐｓ程度の速度で撮影する。また、右カメラ１１と左カメラ１１とは、例えば、カメラ制御部１３１の制御によって、同時に、あるいは、許容される範囲内の撮影タイミングの差をもって撮影を行ってよい。別言すると、右カメラ１１の撮影タイミングと左カメラ１１の撮影タイミングとは、例えば、カメラ制御部１３１の制御によって、同期が図られる。

カメラ制御部１３１は、例えば、カメラ１１によって撮影された画像（右画像及び／又は左画像）から、顔枠を検知する。顔枠を検知する方法については、特に限定されないが、例えば、画像から顔に含まれるパーツ（目、鼻及び口）を検知し、検知したパーツの位置と色の情報とに基づいて、顔の領域と顔の外の領域との境界を検知することで、顔の領域を囲む枠（顔枠）を検知する方法であってよい。カメラ制御部１３１は、例えば、顔枠が検知された場合、検知した顔枠に関する情報（顔枠情報）と撮影された画像とを顔照合処理部１３２へ出力する。

顔照合処理部１３２は、例えば、顔枠情報に基づいて、画像に含まれる顔領域を切り出し、切り出した顔領域の情報を含む顔照合要求を顔認証サーバ１６に通知する。顔領域の情報は、例えば、顔領域の画像であってもよいし、顔領域の画像から抽出した特徴点を示す情報であってもよい。

顔認証サーバ１６には、例示的に、ゲート１０の通過を許可する人物の顔画像が登録されている。顔認証サーバ１６に登録された顔画像は、登録顔画像と記載される場合がある。登録顔画像には、例えば、登録された人物のＩＤといった人物を一意に識別あるいは特定することが可能な情報が関連付けられてもよい。また、登録顔画像は、例えば、画像から抽出された特徴点を示す情報であってもよい。

顔認証サーバ１６は、例えば、顔照合処理部１３２から顔照合要求を受けた場合、顔照合要求に含まれる顔領域の顔と同一人物の顔が、登録顔画像の中に含まれるか否かを判定する。顔認証サーバ１６は、例えば、判定結果を含む顔照合結果を顔照合処理部１３２へ通知する。なお、顔照合結果には、例えば、顔領域の顔と同一人物の顔が登録顔画像の中に含まれるか否かを示す情報（例えば、「ＯＫ」又は「ＮＧ」を示すフラグ）と、顔領域の顔と同一人物の顔が登録顔画像の中に含まれる場合には登録顔画像に関連付けられた人物の情報（例えば、ＩＤ）とが含まれてよい。

照合とは、例えば、登録顔画像と、ゲート１０を通過する人の顔画像とを照らし合わせることにより、事前に登録された登録顔画像とゲート１０を通過する人の顔画像とが一致するか否か、あるいは、事前に登録された登録顔画像とゲート１０を通過する人の顔画像とが同一人物の顔画像であるか否かを判定することである。

一方、認証とは、例えば、事前に登録された顔画像に一致する顔画像の人が本人であること（別言すると、ゲート１０の通過を許可してよい人物であること）を外部（例えば、ゲート１０）に証明することである。

ただし、本開示において、「照合」と「認証」とは相互に可換な用語として用いることがある。

例えば、照合処理は、予め登録された登録顔画像の特徴点と、検知された顔領域から抽出された特徴点とを比較して、画像データにおける顔が誰であるかを特定する処理である。この照合処理には、例えば、機械学習を用いた手法が用いられてもよい。また、照合処理は、例えば、顔認証サーバ１６において実施されてよいが、ゲート１０のような他の装置内において実施されてもよいし、あるいは、複数の装置によって分散処理されたりしてもよい。

顔照合処理部１３２は、例えば、照合処理結果を含む情報を、通過管理機能部１５へ出力する。照合処理結果には、例えば、登録顔画像に関する情報、照合スコアが含まれてよい。また、顔照合処理部１３２から出力される情報には、例えば、顔枠検知情報、顔枠を検知した顔撮影カメラ画像の撮影時刻が含まれてよい。

人物位置推定部１４は、例えば、顔枠情報に基づいて、人物追跡処理を行う。人物位置推定部１４は、例えば、人物追跡処理部１４１を含む。

人物追跡処理部１４１は、例えば、顔枠情報に基づいて、ゲート１０に対する人物の位置を推定する。そして、人物追跡処理部１４１は、推定した人物の位置を追跡することによって、人物に対して発生するイベントを判定する。例えば、人物に対して発生するイベントは、新規人物の発生、人物の追跡、人物の消滅を含む。人物追跡処理部１４１は、例えば、人物の位置に基づくイベントを判定し、判定したイベントと、人物の位置の情報と、検知した時刻といった情報とを関連付けることによって、人物の追跡を行う。

人物追跡処理部１４１は、例えば、人物追跡に関する情報を通過管理機能部１５へ出力する。例えば、人物追跡に関する情報には、人物の位置の情報と、検知した時刻といった情報とが含まれる。

通過管理機能部１５は、例えば、顔認証機能部１３から出力される情報と、人物位置推定部１４から出力される情報とを関連付けることによって、ゲート１０の周辺に位置する人物の状態を管理する。ゲート１０の周辺に位置する人物とは、例えば、ゲート１０を通過する人物、通過しようとする人物、及び、ゲート１０の周辺を通りかかる人物を含む。ここで、ゲート１０を通過しようとする人物とは、ゲート１０の通過を許可されている人物（例えば、顔画像が顔認証サーバ１６に登録済みの人物）に限られず、例えば、顔画像が顔認証サーバ１６に未登録であるが、通過を試みる人物であってよい。また、ゲート１０の周辺を通りかかる人物とは、例えば、ゲート１０を通過しようとはしていないが、カメラ１１の撮影範囲を通過したり、ゲート１０を通過しようとはしていないが撮影範囲に進入したりしている人物である。また、人物の状態とは、例えば、人物が移動しているか、静止しているか、及び、人物が移動している場合の移動方向といった人物の動きに関する状態であってよい。

通過管理機能部１５は、例えば、通過管理状態遷移処理部１５１と、履歴管理部１５２と、履歴データベース（ＤＢ）１５３と、を有する。

通過管理状態遷移処理部１５１は、例えば、人物の通過管理処理において、ゲート１０の通過を許可された人物が通過する場合のゲート１０の制御に関する制御情報をゲート１０へ送信する。また、通過管理状態遷移処理部１５１は、例えば、ゲート１０の通過を許可されない人物が通過しようとする場合のゲート１０の制御に関する制御情報をゲート１０へ送信する。

履歴管理部１５２は、例えば、ゲート１０を通過した人物の履歴を示す情報（通過履歴情報）を記憶し、管理する。また、履歴管理部１５２は、例えば、通過履歴情報を履歴ＤＢ１５３に格納し、通過履歴情報を通過履歴管理サーバ１７へ送信する。例えば、鉄道網において、履歴管理部１５２は、１つの駅（又は１箇所の改札）単位のローカルな通過履歴情報を管理してよい。

通過履歴管理サーバ１７は、例えば、ゲート１０を通過した人物の履歴を示す情報（通過履歴情報）を記憶し、管理する。例えば、通過履歴管理サーバ１７は、複数のゲート１０の通過履歴情報を管理してよい。例えば、複数の出入口が存在する大型施設では、複数の出入口のそれぞれに設けられるゲート１０の通過履歴情報が、通過履歴管理サーバ１７に集約されて管理されてよい。また、例えば、鉄道網では、複数の駅の改札に設置されたゲート１０それぞれの通過履歴情報が、通過履歴管理サーバ１７に集約されて管理されてよい。

なお、通過管理機能部１５は、例えば、通過管理に関する情報（通過管理情報）を、図示を省略した表示装置へ出力してもよい。通過管理情報は、例えば、顔認証機能部１３から出力される情報、及び、人物位置推定部１４から出力される情報を含んでよい。表示装置は、例えば、人物の状態（例えば、当該人物の顔認証の結果、及び、移動方向）を表示してよい。例えば、表示装置は、右画像及び／又は左画像を表示し、検知された顔枠を右画像及び／又は左画像に重畳してもよい。また、表示装置は、例えば、顔認証によって得られた当該人物に関する情報（人物のＩＤ）を右画像及び／又は左画像に重畳して表示してもよい。

上述した顔認証機能部１３は、例えば、通過管理機能部１５と同期して動作してもよいし非同期で動作してもよい。非同期の場合、例えば、顔認証機能部１３は、カメラ制御部１３１において顔枠が検知された場合に動作してよい。

上述した顔認証機能部１３、人物位置推定部１４、及び、通過管理機能部１５の３つの構成は、それぞれが１つの情報処理装置（例えば、サーバ装置）の形態を有してもよいし、３つのうち２つ以上が、１つの情報処理装置の中に含まれてもよい。例えば、顔認証機能部１３が１つの情報処理装置の形態を有し、人物位置推定部１４と通過管理機能部１５とが、１つの情報処理装置の中に含まれてもよい。また、情報処理装置の形態を有する顔認証機能部１３、人物位置推定部１４、及び、通過管理機能部１５の少なくとも１つは、ゲート１０に含まれてもよい。

なお、上述した情報処理装置は、プロセッサと、メモリと、各種情報の伝送に利用される入出力インタフェースとを備えてよい。プロセッサは、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）などの演算装置である。メモリは、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などを用いて実現される記憶装置である。プロセッサ、メモリ及び入出力インタフェースは、バスに接続され、バスを介して、各種情報の受け渡しを行う。プロセッサは、例えばＲＯＭに記憶されたプログラム、データなどを、ＲＡＭ上に読み出し、処理を実行することで、情報処理装置に含まれる構成の機能を実現する。

上述した人物位置推定部１４及び通過管理機能部１５では、例えば、ゲート１０に領域（あるいはゾーン）を規定し、規定されたゾーンに基づいて、人物検知及び通過管理を行ってよい。ゲート１０に規定されるゾーンの一例を以下に説明する。

＜ゲート領域管理＞
図３Ａ及び図３Ｂは、ゲート１０に対して規定されるゾーンの例を示す図である。図３Ａ、図３Ｂでは、ゲート１０を上から俯瞰で見た場合の、複数のゾーンの例が示される。なお、図３Ａ及び図３Ｂでは、通路Ｌを形成するゲート１０の側壁Ｖが、紙面の上下方向に沿って延在する例が示される。

なお、図１に示したように、ゲート１０の出入口Ｅ１及びＥ２のうち、例えば、特定の進入方向（例えば、入場方向）に沿った上流側が入口に対応し、下流側が出口に対応する。

図３Ａには、人物が出入口Ｅ１とＥ２との両方から進入できるゲート１０において、人物が出入口Ｅ２から進入する場合に規定されるゾーンの一例が示される。また、図３Ｂには、人物が出入口Ｅ１から進入する場合に規定されるゾーンの一例が示される。

ゲート１０が双方向に進入可能な場合、進入する出入口に応じて、移動方向が正常な方向か否かが異なることが考えられる。例えば、人物の出入口Ｅ１から出入口Ｅ２への移動方向が、出入口Ｅ１から入場した人物の場合には正常な移動方向である一方で、出入口Ｅ２から入場した人物の場合には正常ではない移動方向となる。このような規定の違いに対して、通過管理機能では、例えば、出入口Ｅ１の方を「北側（North側）」と規定し、出入口Ｅ２の方を「南側（South側）」と規定する。

なお、北側及び南側という表現は、一例であり、本開示はこの表現に限定されない。例えば、北側及び南側という表現は、ゲート１０の配置を地理的な南北方向に沿った配置に限定するものではない。例えば、南北方向と異なる方向に沿ってゲート１０の通路Ｌが位置する場合、又は、通路に曲線が含まれる場合でも、一方を「北側」と規定し、他方を「南側」と規定してよい。

例えば、図３Ａは、人物が出入口Ｅ２から進入する場合に規定されるゾーンの一例を示す。図３Ａでは、ゲート１０に対して、「Zone outside-S」（南側ゾーン外エリア）、「Zone A」（ゾーンＡ）、「Zone B」（ゾーンＢ）、「Zone C」（ゾーンＣ）が規定される。

これに対し、図３Ｂは、人物が出入口Ｅ１から進入する場合に規定されるゾーンの一例を示す。図３Ｂでは、ゲート１０に対して、「Zone outside-N」（北側ゾーン外エリア）、「Zone A」（ゾーンＡ）、「Zone B」（ゾーンＢ）、「Zone C」（ゾーンＣ）が規定される。

以下では、図３Ａの例を挙げて各ゾーンについて説明する。なお、図３Ｂの例は、人物が出入口Ｅ１から進入する点、及び、「Zone outside-S」（南側ゾーン外エリア）が「Zone outside-N」（北側ゾーン外エリア）に置き換わっている点を除いて、図３Ａと同様である。

南側ゾーン外エリアとゾーンＡとの間の境界は、例えば、「顔認証開始ライン」と称されてよい。

「顔認証開始ライン」は、例えば、顔認証処理を開始するか否かの判定に用いられる。例えば、人物が「顔認証開始ライン」を越えてゲート１０に進入した場合、顔認証処理が開始される。例えば、顔枠情報から顔照合要求を発行し、照合結果（顔認証ＩＤ）と人物検知情報とのリンク付けを行い、人物の追跡を開始する。なお、「顔認証開始ライン」は、「Ａライン（Ａ ＬＩＮＥ）」と称される場合がある。

「顔認証開始ライン」は、ゲート１０の外（例えば、ゲート１０の経路に沿った上流側）に設けられてもよい。また、「顔認証開始ライン」は、１つの線分に限らず、例えば、コの字型のように、複数の線分を有してもよい。なお、複数の線分を有する形状としては、コの字型のような長方形状の一部の辺に相当する形状に限らず、他の多角形形状の一部の辺に相当する形状であってもよい。あるいは、「顔認証開始ライン」は、円弧を有してもよいし、直線と曲線が混在する形状であってもよい。例えば、「顔認証開始ライン」が複数の線分及び／又は円弧を有することによって、ゲート１０の正面に限らず、側面のように正面からずれた方向から人物が進入する場合に、顔認証処理を開始できる。

ゾーンＡとゾーンＢとの間の境界は、例えば、「閉扉限界ライン」と称されてよい。

「閉扉限界ライン」は、例えば、閉扉指示に応答した出口側ゲート扉の閉扉が、人物が通過するまでに間に合う位置を示す。「閉扉限界ライン」は、例えば、人がゲート１０を通過する速度として想定される最大の速度（例えば、６ｋｍ／ｈ。以下、「最大通過可能速度」）と、ゲート扉を物理的に閉じるまでに要する時間（例えば、０．５秒）とを考慮して決定される。例えば、「閉扉限界ライン」は、物理的なゲート扉の位置（「ゲート扉位置」）より、最大通過速度×ゲート扉を物理的に閉じるまでに要する時間に相当する距離の分、手前に設定される。このようにすることで、ゲート１０の通過が許可されていない人物が、「閉扉限界ライン」を通過し、最大通過可能速度で移動した場合に、当該人物が出口側ゲート扉を通過する前に、出口側ゲート扉が閉じられる。

なお、「閉扉限界ライン」は、「不正侵入検知ライン」又は「Ｂライン（Ｂ ＬＩＮＥ）」と称されてもよい。

ゾーンＢとゾーンＣとの間の境界は、「退場ライン」と称されてよい。

「退場ライン」は、例えば、当該人物がゲート１０を退場したと判定する位置を示す。「退場ライン」は、例えば、上述した「顔認証開始ライン」と同様に、ゲート１０の外に設けられてもよい。また、「退場ライン」は、例えば、１つの線分に限らず、例えば、コの字型のように、複数の線分を有してもよい。あるいは、「退場ライン」は、円弧を有してもよい。なお、「退場ライン」は、例えば、「Ｚライン（Ｚ ＬＩＮＥ）」と称されてもよい。

通過管理において、ゲート扉位置はあくまで通過点であってもよく、この場合、ゲート扉位置は、論理的に設定される「退場ライン」とは異なってもよいし、同一であってもよい。例えば、実運用では、「ゲート扉位置」と「退場ライン」とは同一に設定されてよい。

例えば、通過する人物に対して課金を行うゲート１０の場合、「退場ライン」は、「課金ライン」に相当してよい。

例えば、ゲート１０に進入した人物が課金ラインを越えた場合（例えば、ゾーンＢからゾーンＣに進入した場合）、当該人物に対して課金する。別言すると、人物が課金ラインを越えていない段階（例えば、ゾーンＣに進入していない段階）では、人物に対して課金は行われない。この課金ラインを設けることにより、ゲート１０に進入したが、課金ラインを越える前に引き返した人物に対して課金するという誤りを回避できる。

なお、上述では、「課金ライン」が、「Ｚライン」（「退場ライン」）に相当する例を示したが、例えば、「課金ライン」は、「Ｂライン」に相当してもよい。

なお、上述の例では、北側ゾーン外エリア及び南側ゾーン外エリアを除いて、３つのゾーンが規定される例を示したが、本開示はこれに限定されない。ゾーンの数、サイズ、位置、及び、形状は、本開示を適用するシチュエーションに応じて変更されてよい。

上述したゾーンに対する人物の位置を検知することによって、例えば、ゾーン間の移動が推定される。本実施の形態では、人物の位置を、例えば、右カメラ１１及び左カメラ１１によって撮影された画像を用いて推定する。

図４は、本実施の形態における顔枠の検知の例を示す図である。図４には、右カメラ１１によって撮影された右画像Ｒ_１及びＲ_２と、左カメラ１１によって撮影された左画像Ｌ_１及びＬ_２とが示される。なお、右画像Ｒ_１及び左画像Ｌ_１は、例えば、同じ時刻ｔ_１において撮影された画像である。また、右画像Ｒ_２及び左画像Ｌ_２は、例えば、同じ時刻ｔ_２において撮影された画像である。時刻ｔ_２は、時刻ｔ_１よりも後の時刻である。例えば、時刻ｔ_２における人物の位置は、時刻ｔ_１における人物の位置よりもゲート１０の課金ラインに近い。

右画像Ｒ_１、右画像Ｒ_２、左画像Ｌ_１、及び、左画像Ｌ_２には、例えば、ゲート１０を通過する人物と、人物の顔を囲む枠（顔枠）とが含まれる。

例えば、左画像Ｌ_１と左画像Ｌ_２とを比較した場合、左画像Ｌ_２の顔枠は、左画像Ｌ_１の顔枠よりも、画像領域における左端部に近い。また、右画像Ｒ_１と右画像Ｒ_２とを比較した場合、右画像Ｒ_２の顔枠は、右画像Ｒ_１の顔枠よりも、画像領域における右端部に近い。

別言すると、左画像の顔枠と右画像の顔枠との間の位置関係（例えば、画像領域における左右方向の位置関係）を確認することによって、例えば、人物の位置を検知できる。以下、画像領域における左右方向は、水平方向又はＸ軸方向と規定する。

図５Ａは、本実施の形態における人物の位置の検知の例を示す図である。図５Ａには、図４に示した画像に基づく２つの画像と、２つの画像から顔枠を抽出した抽出画像とが示される。

図５Ａの画像Ｔ_１は、図４に示す時刻ｔ_１における左画像Ｌ_１と右画像Ｒ_１との顔枠の位置関係の比較の例を示す。例えば、画像Ｔ_１の右側は、図４に示した左画像Ｌ_１の顔枠を含む部分領域を示し、画像Ｔ_１の左側は、図４に示した右画像Ｒ_１の顔枠を含む部分領域を示す。画像Ｔ_１では、左画像Ｌ_１の顔枠が、右画像Ｒ_１の顔枠よりも右側に存在する。

図５Ａの画像Ｔ_２は、図４に示す時刻ｔ_２における左画像Ｌ_２と右画像Ｒ_２との顔枠の位置関係の比較の例を示す。例えば、画像Ｔ_２の右側は、図４に示した右画像Ｒ_２の顔枠を含む部分領域を示し、画像Ｔ_２の左側は、図４に示した左画像Ｌ_２の顔枠を含む部分領域を示す。画像Ｔ_２では、左画像Ｌ_２の顔枠が、右画像Ｒ_２の顔枠よりも左側に存在する。

図５Ａに示すように、同一時刻に撮影された右画像と左画像において、右画像の顔枠と左画像の顔枠との位置関係は、人物の位置に応じて変化する。そのため、本実施の形態では、右画像の顔枠の位置と、左画像の顔枠の位置との間の差に基づいて、人物の位置が推定される。

例えば、顔枠の位置は、顔枠の代表点によって表される。以下では、代表点は、顔枠の中心点である例を説明する。顔枠の中心点は顔の大きさが異なっていても大きく変化することがないため、顔枠の中心点を代表点として使用することで、人物の顔の大きさにバラつきがある場合でも人物の位置を安定して推定することができる。ただし、本開示はこれに限定されない。顔枠が矩形である場合、代表点は、矩形の角を示す点であってもよい。顔枠が楕円形の場合、代表点は、楕円の焦点であってもよい。

抽出画像Ｕ_１、Ｕ_２に示すように、右画像の顔枠の中心を示す点Ｐ_Ｒと、左画像の顔枠の中心を示す点Ｐ_Ｌとの間の距離は、例えば、点Ｐ_Ｒを起点にした点Ｐ_Ｒから点Ｐ_Ｌまでのベクトルの水平成分（Ｘ軸に沿った成分）によって表されてよい。以下、右画像の顔枠の点Ｐ_Ｒと、左画像の顔枠の点Ｐ_Ｌとの距離は、水平座標位置差分、又は、位置差分と称される場合がある。

例えば、抽出画像Ｕ_１では、点Ｐ_Ｒが点Ｐ_Ｌよりも左にあるため、ベクトルの水平成分は、正の値を有する。また、抽出画像Ｕ_２では、点Ｐ_Ｒが点Ｐ_Ｌよりも右にあるため、ベクトルの水平成分は、負の値を有する。

図５Ｂは、人物の位置に対する顔枠のサイズと中心との関係の一例を示す図である。図５Ｂには、ゲート１０の課金ラインからの距離の３通りの違い（遠い、中間、近い）に対する顔枠の中心の位置関係と、顔枠のサイズと、顔枠の中心によって規定されるベクトルの方向との関係が示される。

図５Ｂに示すように、課金ラインからの距離が遠いケースでは、画像領域において、右画像の顔枠の中心と左画像の顔枠の中心とを比較すると、右画像の顔枠の中心は、左寄りに存在し、左画像の顔枠の中心は、右寄りに存在する。そして、課金ラインに近づくほど、右画像の顔枠の中心は、右寄りに移動し、左画像の顔枠の中心は、左寄りに移動する。そのため、右画像の顔枠の中心を起点にした左画像の顔枠の中心までのベクトルの向きは、正の方向から負の方向へ変化する、つまり、右画像の顔枠の中心を起点にした左画像の顔枠の中心までの水平方向における距離の極性が反転する。

位置差分と閾値とを比較することによって、人物の位置が推定される。例えば、位置差分が閾値以下の場合、人物が課金ラインを越えた位置に存在する、と判定する。

あるいは、人物がゲートを通過する場合、位置差分が正の値から徐々に小さくなり、負の値に変わる。位置差分が正の値から負の値に変わる（極性が判定する）場合、左画像の顔枠と右画像の顔枠との位置関係が逆転する。別言すると、位置差分がゼロを境にして、左画像の顔枠と右画像の顔枠とがクロスする。そこで、位置差分がゼロになった場合に、人物が課金ラインを越えた位置に存在する、と判定してもよい。

例えば、左画像の顔枠と右画像の顔枠とがクロスする点（クロスポイント）の位置が、課金ラインと一致するように、カメラの画角、ゲートのサイズ、課金ラインの位置が決定されてもよい。

左画像の顔枠と右画像の顔枠とがクロスする点（クロスポイント）の位置は、顔枠のサイズ（つまり、人物の顔の大きさ）に影響を受けにくいため、クロスポイントの位置と課金ラインとが対応している場合、課金ラインの判定精度を向上できる。

また、顔枠の中心を利用し、中心の水平座標の差分を算出して推定を行うため、顔の大きさ、及び／又は、身長による顔枠のサイズの違いの影響を回避でき、推定精度の低下を抑制又は回避できる。

図６Ａは、位置差分の大きさの推移の第１の例を示す図である。図６Ｂは、位置差分の大きさの推移の第２の例を示す図である。図６Ａと図６Ｂとは、右カメラ１１と左カメラ１１との配置が、互いに異なる。図６Ａ、図６Ｂの横軸は、ゲート１０の入口よりも外側の顔認証が可能な位置からの通路に沿った距離を示し、縦軸は、位置差分の大きさを示す。なお、位置差分が正の値の場合、左画像の顔枠の中心が右画像の顔枠よりも右に存在する。また、なお、位置差分が負の値の場合、右画像の顔枠が左画像の顔枠よりも右に存在する。

図６Ａ、図６Ｂに示すように、位置差分は、或る位置においてゼロを採る。また、図６Ａと図６Ｂとを比較した場合、位置差分がゼロとなる位置は、カメラ１１の配置によって異なり得る。

上述したように、ゲート１０の課金ラインが規定されている場合、例えば、カメラ１１の配置及び／又は角度を調整することによって、位置差分がゼロとなる位置と課金ラインとを対応付けることができる。あるいは、位置差分がゼロとなる位置がカメラの配置によって規定されるため、課金ラインを調整できる。

次に、検知された顔枠に基づく人物追跡の流れを説明する。図７は、本実施の形態における顔枠に基づく人物追跡処理の流れの一例を示す図である。

顔枠位置判定ライブラリ２０１は、例えば、顔枠検出情報を取得し、顔枠に相当する人物の位置を検知する機能を有するライブラリである。顔枠位置判定ライブラリ２０１は、例えば、上述したような方法で、画像における顔枠の位置から人物の位置を検知する。

また、顔枠位置判定ライブラリ２０１は、例えば、取得した顔枠検出情報が、時間的及び／又は座標空間的に、過去に取得した顔枠検出情報と連続性が無い場合、当該顔枠検出情報に対して新たな人物ＩＤを付与してよい。

また、顔枠位置判定ライブラリ２０１は、例えば、取得した顔枠検出情報が、時間的及び／又は座標空間的に、過去に取得した顔枠検出情報と連続性がある場合、連続性がある当該顔枠検出情報に基づいて、人物の追跡を継続する。

顔枠位置判定ライブラリ２０１は、例えば、人物追跡情報を通過管理ライブラリ２０２へ出力する。

人物追跡情報には、例えば、人物を識別する人物ＩＤが含まれてよい。また、人物追跡情報には、例えば、人物の位置に関する情報（例えば、人物の発生、人物の追跡、人物の消滅等）が含まれてもよい。人物追跡情報は、例えば、顔枠位置判定ライブラリ２０１と、通過管理ライブラリ２０２との間で互換性があってよい。

通過管理ライブラリ２０２は、例えば、人物追跡情報に基づいて、ゲート１０における通過管理イベントを特定する機能を有する。また、通過管理ライブラリ２０２は、例えば、通過管理イベントを通過管理処理部２０３へ出力する。通過管理イベントとは、例えば、図３Ａ及び図３Ｂに示した複数のゾーンにおいて、人物がゾーンの間を移動したことを表すイベント、ゾーンの間を規定するラインを越えたことを表すイベント、或るゾーンにて出現したことを表すイベント、及び、或るゾーンにて消滅したことを表すイベントといった複数のイベントの少なくとも１つを含む。

通過管理処理部２０３は、例えば、通過管理イベントに基づいて、人物がゲート１０を通過したか否か、あるいは、人物が課金ラインを通過したか否かを示す通過情報を出力する。

結果出力部２０４は、例えば、通過情報が示す人物の追跡結果を出力する。例えば、結果出力部２０４は、結果をディスプレイに表示する。

次に、画像において検知される顔枠に対して規定されるエリアを説明する。

図８は、画像領域において規定されるエリアの一例を示す図である。図８には、左上を原点（０，０）とし、フレームの水平方向（Ｘ軸方向）の長さが「XframeMax」、垂直方向の長さが「YframeMax」と表される画像領域が示される。また、図８には、例示的に、１辺の長さがｗｆであり、左上の座標が（Ｘｆ，Ｙｆ）である顔枠と、顔枠の中心（Ｘｃ，Ｙｃ）とが示される。なお、顔枠を示す情報は、例えば、図８に示すように、顔枠の左上の点を表すＸ，Ｙ座標と、顔枠の１辺を表すＷとによって表現されてよい。

図８に示すように、左画像の画像領域において、３つのエリアが規定されてよい。例えば、３つのエリアのうち、右のエリアは、初期出現エリア（First Face Frame Area（以下、ＦＦＦＡ））を表し、中央のエリアは、中間エリア（Middle Face Frame Area（以下、ＭＦＦＡ））を表し、左のエリアは、通過確認エリア（Passed Face Frame Area（以下、ＰＦＦＡ））を表す。

なお、図８は、左画像の画像領域における３つのエリアを示すが、右画像の画像領域では、３つのエリアの左右が逆転してもよい。別言すると、右画像の画像領域では、左のエリアがＦＦＦＡを表し、右のエリアが、ＰＦＦＡを表しよい。また、図８の３つのエリアのサイズおよび位置は、例示であり、本開示はこれに限定されない。３つのエリアのサイズおよび位置は、カメラ１１毎に異なってもよい。

例えば、顔枠位置判定ライブラリ２０１は、顔枠検出情報に基づいて、検出された顔枠の中心が、画像領域の３つのエリアのうちのどこに含まれるかが判定してよい。

図９は、通過管理の流れの一例を示すフローチャートである。図９に示すフローは、例えば、カメラ１１が撮影した画像の情報を取得する毎に開始されてよい。

顔認証機能部１３は、カメラ１１が撮影した画像の情報を取得し、画像から顔枠を検出する処理を行う（Ｓ１０１）。なお、カメラ１１から取得する画像の情報には、撮影したカメラを識別する情報（以下、カメラＩＤと記載）、撮影されたフレームを識別する情報（以下、フレームＩＤと記載）、撮影日時等が含まれてよい。顔認証機能部１３は、検出された顔枠に関する情報を生成し、顔枠に関する情報と画像の情報とを人物位置推定部１４へ出力する。顔枠に関する情報には、顔枠の位置及びサイズを示す情報が含まれてよい。なお、画像から顔枠が検出されない場合、Ｓ１０２以降の処理は実行されなくてよい。

次に、人物位置推定部１４は、顔枠位置判定ライブラリ２０１に基づいて、以降の処理を行う。

人物位置推定部１４は、顔枠タイムアウト処理を行う（Ｓ１０２）。顔枠タイムアウト処理では、顔枠情報リストに保持している顔枠検出情報に関して、最初に当該顔枠検出情報が取得されたタイミングからの経過時間に基づいて、タイムアウト処理を行う。なお、顔枠タイムアウト処理については、後述する。

次に、人物位置推定部１４は、顔枠検出情報生成処理を行う（Ｓ１０３）。例えば、顔枠検出情報生成処理では、カメラＩＤ、フレームＩＤ、撮影日時、検出された顔枠の座標の情報を含む顔枠検出情報が生成される。また、顔枠検出情報には、顔枠が検出されたエリアに関する情報が含まれてよい。顔枠が検出されたエリアは、例えば、図８に例示したようなエリアの規定に基づいて判定される。エリアの規定については、顔枠出現エリア定義情報に含まれてよい。なお、顔枠検出情報生成処理は、１つの画像に複数の顔枠が検出された場合、複数の顔枠のそれぞれに対して実行される。なお、顔枠検出情報生成処理については、後述する。

次に、人物位置推定部１４は、ＦＦＦＡ複数顔枠排除処理を行う（Ｓ１０４）。ＦＦＦＡ複数顔枠排除処理では、ＦＦＦＡにおいて複数の顔枠が存在しているか否かが判定され、ＦＦＦＡにおいて複数の顔枠が存在している場合には、以降の処理を実行しない。なお、ＦＦＦＡ複数顔枠排除処理については、後述する。

人物位置推定部１４は、時系列顔枠検出評価処理を行う（Ｓ１０５）。時系列顔枠検出評価処理では、顔枠検出テーブルの最新情報と、その直前情報の比較評価により、顔枠検出情報を評価する。例えば、顔枠検出情報に示される顔枠が新たに出現した人物の顔枠である場合、当該人物に対して、新たなＩＤを割り当てる。

次に、人物位置推定部１４は、２眼方式顔枠位置推定処理を行う（Ｓ１０６）。２眼方式顔枠位置推定処理によって、人物追跡情報が生成される。なお、２眼方式顔枠位置推定処理については、後述する。

次に、人物位置推定部１４は、人物追跡データを通過管理機能部１５へ出力する（Ｓ１０６）。そして、図９のフローは終了し、通過管理機能部１５が、通過管理ライブラリに基づいて、通過管理処理を行う。

＜顔枠検出情報生成処理＞
顔枠検出情報生成処理（Ｓ１０３）では、顔枠の検出位置が判定される。例えば、右画像および左画像のそれぞれにおいて、検出された顔枠の位置が、画像領域に規定されたどのエリアに含まれるかを判定する。

例えば、顔枠の情報から１つの顔枠を抽出する。抽出した顔枠の中心を算出し、中心が、ＦＦＦＡ、ＭＦＦＡ、及び、ＰＦＦＡのうち、どのエリアに存在するかを判定する。

例えば、顔枠の中心がどのエリアにも存在しない場合、当該顔枠の情報は破棄される。顔枠の中心がどのエリアにも存在しない場合とは、不正な人物の顔枠の可能性が高いためである。

顔枠の中心が３つのエリアの何れかに存在する場合、存在するエリアに設定される最小顔枠サイズと、当該顔枠のサイズとが比較される。そして、当該顔枠のサイズが、最小顔枠サイズよりも小さい場合、当該顔枠の情報は破棄される。顔枠のサイズが、最小顔枠サイズよりも小さい場合とは、ゲート１０に進入する可能性が低い人物の顔、あるいは、服やポスターに描かれた顔を検知していたり、顔ではない模様等を顔だと誤検知していたりするなど、不正な人物の顔枠の可能性が高いためである。

１つの画像に複数の顔枠が検出された場合、上述した、顔枠が存在するエリアの判定及び顔枠が存在するエリアに設定される最小顔枠サイズとの比較は、複数の顔枠のそれぞれに対して実行される。

顔枠検出情報から時系列判定処理を行うためのリストが生成されてよい。生成されるリストは、顔枠情報リスト（或いは、Queue構造リスト）と称されてよい。

顔枠情報リストは、顔枠の中心座標、画像領域における出現エリアの情報が含まれてよい。

＜顔枠タイムアウト処理＞
次に、顔枠タイムアウト処理（Ｓ１０２）について説明する。図１０は、顔枠タイムアウト処理の例を示す図である。

顔枠タイムアウト処理（Ｓ１０２）では、判定対象の顔枠が最初に検出された時刻、例えば、判定対象の顔枠が最初に出現し、新たなＩＤが付された時刻から、判定対象の顔枠を含む画像の撮影時刻までの保持時間が、顔枠を保持する制限時間（顔枠保持制限時間）と比較される。なお、保持時間は、例えば、顔枠情報リストを参照して決定されてよい。また、顔枠保持制限時間は、予め規定される閾値であり、記憶部等に保持される。

例えば、顔枠タイムアウト処理では、ＩＤが付された顔枠の情報の保持時間が制限時間以上となった場合、当該顔枠の情報を顔枠情報リストから削除する。

この処理によって、顔枠が検出されたが、ゲート１０を通過せずに、カメラ１１の撮影範囲から外れた人物に関する情報が、リストに残ってしまうことを回避できる。

なお、図９では、顔枠タイムアウト処理が、顔枠検出情報生成処理の前に実行される例を示すが、本開示はこれに限定されない。顔枠タイムアウト処理では、顔枠情報にタイムアウトが発生したか否かを常時確認してもよい。

＜ＦＦＦＡ複数顔枠排除処理＞
次に、ＦＦＦＡ複数顔枠排除処理（Ｓ１０４）について説明する。図１１は、ＦＦＦＡ複数顔枠排除処理の一例を示すフローチャートである。例えば、図１１に示すフローは、図９に示したＳ１０３の後に開始される。

人物位置推定部１４は、初期設定において、変数ｉを、検出された顔枠の数に設定する（Ｓ２０１）。なお、図１１におけるｉは、１以上の整数である。また、以下では、検出された顔枠の数がＮ（Ｎは１以上の整数）である場合を説明する。この場合、Ｎ個の検出された顔枠は、顔枠［１］～顔枠［Ｎ］と表される。

人物位置推定部１４は、変数「ｃｏｕｎｔ」を０に設定する（Ｓ２０２）。

人物位置推定部１４は、ｉが０より大きいか否かを判定する（Ｓ２０３）。

ｉが０より大きい場合（Ｓ２０３にてＹＥＳ）、人物位置推定部１４は、顔枠［ｉ］がＦＦＦＡ内で検出されたか否かを判定する（Ｓ２０４）。

顔枠［ｉ］がＦＦＦＡ内で検出された場合（Ｓ２０４にてＹＥＳ）、人物位置推定部１４は、顔枠［ｉ］のサイズが、所定サイズ以上か否かを判定する（Ｓ２０５）。なお、所定サイズは、例えば、顔認証を開始できる顔枠のサイズであってもよいし、顔認証を開始できる顔枠のサイズに基づいて規定されたサイズであってもよい。

顔枠［ｉ］のサイズが、所定サイズ以上の場合（Ｓ２０５にてＹＥＳ）、人物位置推定部１４は、ｃｏｕｎｔに１を加算する（Ｓ２０６）。

そして、人物位置推定部１４は、ｉから１を減算する（Ｓ２０７）。そして、Ｓ２０３の処理が実行される。

顔枠［ｉ］がＦＦＦＡ内で検出されていない場合（Ｓ２０４にてＮＯ）、あるいは、顔枠［ｉ］のサイズが、所定サイズ以上ではない場合（Ｓ２０５にてＮＯ）、人物位置推定部１４は、ｉから１を減算する（Ｓ２０７）。そして、Ｓ２０３の処理が実行される。

ｉが０より大きくない場合（Ｓ２０３にてＮＯ）、例えば、検出された顔枠のそれぞれについて、Ｓ２０４～Ｓ２０６の処理が完了した場合、人物位置推定部１４は、ｃｏｕｎｔが２以上か否かを判定する（Ｓ２０８）。

ｃｏｕｎｔが２以上である場合（Ｓ２０８にてＹＥＳ）、つまり、ＦＦＦＡ内に、所定サイズ以上の顔枠が２つ以上存在する場合、人物位置推定部１４は、ＦＦＦＡ内の顔枠に対応する顔枠の情報を削除する（Ｓ２０９）。そして、図１１に示すフローは終了する。

ｃｏｕｎｔが２以上ではない場合（Ｓ２０８にてＮＯ）、つまり、ＦＦＦＡ内に、所定サイズ以上の顔枠が２つ以上存在しない場合、人物位置推定部１４は、顔枠の情報を削除せずに、処理を終了してよい。

上記の通り、顔認証を開始する顔枠サイズの閾値以上のサイズを有する顔枠が、ＦＦＦＡに複数存在する場合、検出された顔枠のそれぞれに対して顔認証処理は実行されない。検出された顔枠のそれぞれに対して顔認証処理が実行されない場合、ＦＦＦＡに検出された顔枠に対応する顔枠の情報が削除されてよい。また、この場合、顔認証処理が実行できないため、エラー処理を実行する。例えば、ゲート装置の出力制御プロセスには、音声出力装置、及び／又は、表示装置を介して、ゲート装置を通過しようとする人物に対して、警告メッセージを提示する指示を行う。

この処理によって、複数の人の顔枠が縦列に並び、複数の人が一斉にゲート装置を不正に通過しようとする場合であっても、不正通過を排除できる。

＜２眼方式顔枠位置推定処理＞
次に、２眼方式顔枠位置推定処理（Ｓ１０６）について説明する。図１２は、２眼方式顔枠位置推定処理の一例を示すフローチャートである。例えば、図１２に示すフローは、図９に示したＳ１０５の後に開始される。

人物位置推定部１４は、顔枠情報リストに顔枠が存在するか否かを判定する（Ｓ３０１）。

検出された顔枠が存在する場合（Ｓ３０１にてＹＥＳ）、人物位置推定部１４は、左画像が左カメラ１１によって撮影された撮影時刻と、右画像が右カメラ１１によって撮影された撮影時刻との差が、許容範囲内か否かを判定する（Ｓ３０２）。別言すると、Ｓ３０２では、左画像の撮影時刻と右画像の撮影時刻とが、同時、または、ほぼ同時であるか、あるいは、許容されない差を有するかを判定する。別言すると、左画像の撮影時刻と右画像の撮影時刻とが、同期しているか否かを判定する。

撮影時刻の差が、許容範囲内ではない場合（Ｓ３０２にてＮＯ）、人物位置推定部１４は、ログに、同期エラーを記録する（Ｓ３０６）。

撮影時刻の差が、許容範囲内である場合（Ｓ３０２にてＹＥＳ）、人物位置推定部１４は、左画像の顔枠の中心のＸ座標と、右画像の顔枠の中心のＸ座標の差分を算出する（Ｓ３０３）。この顔枠の中心のＸ座標の差分は、以下では、「中心座標差分値」と記載される場合がある。

そして、人物位置推定部１４は、算出した差分を距離情報に変換する（Ｓ３０４）。例えば、この変換には、変換テーブルが用いられてよい。なお、変換テーブルの例については、後述する。

人物位置推定部１４は、変換した結果を格納する（Ｓ３０５）。そして、フローは終了する。

検出された顔枠が存在しなかった場合（Ｓ３０１にてＮＯ）、または、同期エラーを記録した後（Ｓ３０６の後）、人物位置推定部１４は、位置推定を行わなかったことを示す結果を格納する（Ｓ３０７）。例えば、結果格納エリアには、「２眼判定無し」を示す情報が設定されてよい。そして、フローは終了する。

＜変換テーブル＞
次に、図１２のＳ３０４において使用される変換テーブルの例を説明する。

例えば、変換テーブルでは、中心座標差分値と、対象の人物が存在する推定位置とが関連付けられて記録される。例えば、変換テーブルに格納される数値の情報は、画素単位（例えば、１ピクセル単位）で記録されてもよい。また、差分値は、負数を有してもよい。また、対象の人物が存在する推定位置は、ゲート１０に設けられた基準点からの距離によって表されてもよいし、基準点からの２次元座標（例えば、Ｘ座標、及び、Ｙ座標）によって表されてもよい。

例えば、変換テーブルは、例えば、通過管理に係る処理の高速化のために、オンメモリ展開されてもよい。

また、ゲート１０が、両方向から通過可能である場合、変換テーブルは、例えば、各方向に対してそれぞれ設けられてよい。

変換テーブルは、ゲート１０を設置した際に作成されてもよいし、あるいは、外部から提供されてもよい。

以上、本実施の形態では、ゲート１０の入口から進入する人物の右前方から人物の顔を撮影した右画像における顔の領域を示す顔枠の中心と、人物の左前方から顔を撮影した左画像における顔枠の中心とを決定し、右画像における顔枠の中心と、左画像における顔枠の中心との位置関係の変化に基づいて、ゲート１０における人物の位置を推定する。この構成により、ゲートの課金ラインを通過しようとする人物の位置の推定精度を向上できる。

また、本実施の形態によれば、顔認証処理に用いるカメラが撮影した画像を用いて、追跡処理を行うことによって、認証処理と追跡処理とを含む通過管理処理を実施する。これにより、追跡処理のための装置（例えば、天井部等のカメラ）を設けることなく、認証処理に用いるカメラを追跡処理と兼用で用いることができるため、通過管理の導入コストの増加を抑制でき、また、場所を制限することなく、通過管理システムを導入できる。

また、本実施の形態によれば、左画像及び右画像のそれぞれから取得した顔枠の中心の距離に基づいて、人物の位置を推定するため、右カメラ１１と左カメラ１１との間で、設置された位置、画角、画質、解像度に違いがあった場合でも、推定を行うことができる。例えば、ステレオカメラでは、２つのカメラの双方の視差を用いて、被写体までの距離を測定する。そのため、ステレオカメラでは、双方のカメラの角度などを厳密に調整する必要があり、また、ステレオカメラ専用の制御処理が必要である。本実施の形態では、顔認証処理において検出される顔枠の位置関係を利用して位置を推定しているため、カメラの調整を厳密に行うことなく、ステレオカメラの方法よりも簡易に推定できる。

なお、本実施の形態に示した構成は、一例であり、本開示はこれに限定されない。以下では、ゲート１０に設置されるカメラ１１の位置のバリエーションについて説明する。

図１では、ゲート１０の出入口Ｅ１から右カメラ１１（カメラ１１－Ｒ１）までの距離と出入口Ｅ１から左カメラ１１（カメラ１１－Ｌ１）までの距離とが、等しい例を示したが、本開示はこれに限定されない。例えば、右カメラ１１と左カメラ１１の一方が、他方よりもゲート１０の出入口Ｅ１に近い位置に設置されてよい。つまり、この場合、ゲート１０の出入口Ｅ１に対して、右カメラ１１と左カメラ１１の設置位置に差が生じるため、右画像の撮影範囲と、左画像の撮影範囲との間に前後差が生じる。

例えば、左カメラ１１が、右カメラ１１よりも出入口Ｅ１に近い位置に設けられる場合、左画像と右画像とのそれぞれの顔枠を比較すると、左画像における顔枠が、右画像における顔枠よりも先に画像領域の外へ外れ、顔枠が検知されない可能性が高い。このような場合、画像領域に規定されるエリアを変更すればよい。以下では、左カメラ１１が、右カメラ１１よりも出入口Ｅ１に近い位置に設けられる場合を例に挙げて説明する。

図１３は、カメラの配置の差に対する規定エリアの例を示す図である。図１３には、２つの時点において右カメラ１１及び左カメラ１１によって撮影された画像と、各画像において検知された顔枠と、各画像において規定されたエリアとが示される。

図１３の各画像には、ゲート１０に進入する人物Ａと人物Ａよりも後ろからゲート１０に進入する人物Ｂが含まれる。上記の通り、左カメラ１１が、右カメラ１１よりも出入口Ｅ１に近い位置に設けられる場合、左画像における人物Ａの顔枠が、右画像における人物Ａの顔枠よりも先に画像領域の外へ外れる。例えば、図１３の例では、左画像における人物Ａの顔枠が画像領域の外へ外れるため、左画像における人物Ｂの顔枠と、右画像における人物Ａの顔枠とが同一人物である、と誤判定する可能性がある。そのため、図１３に示すように、右カメラ１１の画像におけるＰＦＦＡを、左カメラ１１の画像におけるＰＦＦＡよりも水平方向に狭く設定する。この設定によって、例えば、顔枠の中心がＰＦＦＡから外れるタイミングを、左画像と右画像との間で揃えることができる。

＜１つのカメラから画像が取得できない場合の制御例１＞
例えば、上記の２眼方式において、２つのカメラのうち、一方が撮影した画像において顔枠が検出できない場合があり得る。例えば、顔枠が検出できない場合とは、一方のカメラが撮影した画像において顔枠検出処理が失敗した場合、あるいは、一方のカメラの撮影に不良が生じた場合（例えば、カメラの故障、一時的な動作不良）を含んでよい。以下では、２つのカメラのうち、一方が撮影した画像において顔枠が検出できない場合に、他方のカメラが撮影した画像において検出した顔枠に基づいて通過管理を行う例を説明する。なお、１つのカメラが撮影した画像によって実施される処理方式は、１眼方式と称される場合がある。

例えば、左カメラが撮影した左画像において顔枠の検出が失敗し、右カメラが撮影した右画像において顔枠の検出が成功した場合、右画像における顔枠の移動量に基づいて、人物の位置が推定されてよい。この人物位置推定処理においては、例えば、時系列において新たにゲート１０を通行する人物が現れた場合の人物の顔枠を検知する。以下では、新たな人物の顔枠の検知の例を説明する。

図１４は、１つのカメラを用いた新たな顔枠検知の例を示すフローチャートである。図１４に示すフローは、例えば、右カメラ１１及び左カメラ１１の何れか一方が撮影した画像の情報が取得され、かつ、他方から画像の情報が取得されない場合、あるいは、右カメラ１１及び左カメラ１１の何れか一方が撮影に失敗した場合に実行されてよい。

顔認証機能部１３は、カメラ１１が撮影した画像の情報を取得し、画像から顔枠を検出する処理を行う（Ｓ４０１）。

人物位置推定部１４は、顔枠のサイズが指定サイズ以上か否かを判定する（Ｓ４０２）。

顔枠サイズが指定サイズ以上である場合（Ｓ４０２にてＹＥＳ）、人物位置推定部１４は、同一人物判定処理を行う（Ｓ４０３）。例えば、人物位置推定部１４は、過去の顔枠情報リストに示される顔枠の人物の中に、検出した顔枠の人物と同一人物が存在するか否かを判定する。例えば、この判定は、顔認証処理と同様に、それぞれの特徴点を比較することによって実行されてよい。

同一人物判定処理の結果、人物位置推定部１４は、同一人物ではないか否かを判定する（Ｓ４０４）。

同一人物ではない場合（Ｓ４０４にてＹＥＳ）、人物位置推定部１４は、検知した顔枠の中心位置が新規出現ゾーン（例えば、ＦＦＦＡ）に含まれるか否かを判定する（Ｓ４０５）。

検知した顔枠の中心位置が新規出現ゾーンに含まれる場合（Ｓ４０５にてＹＥＳ）、人物位置推定部１４は、検知した顔枠が新たに出現した人物の顔枠である、と判定し、当該顔枠の情報を登録する（Ｓ４０６）。そして、フローは終了する。

Ｓ４０６では、例えば、検知された顔枠に相当する人物が、これまで検出された顔枠に相当する人物と異なる人物であり、かつ、顔枠が、人物が新たに出現したと判定してよいゾーン内である場合、新たな人物の顔枠である、と認識する。例えば、情報は、顔枠追跡管理テーブルに登録されてよい。この場合、顔照合要求を通知してもよい。

顔枠サイズが指定サイズ以上ではない場合（Ｓ４０２にてＮＯ）、または、検知した顔枠の中心位置が新規出現ゾーンに含まれない場合（Ｓ４０５にてＮＯ）、人物位置推定部１４は、検知した顔枠が管理対象外の顔枠である、と判定する（Ｓ４０７）。そして、フローは終了する。

同一人物である場合（Ｓ４０４にてＮＯ）、人物位置推定部１４は、同一人物の追跡処理を実行する（Ｓ４０８）。そして、フローは終了する。

なお、上記のフローでは、顔枠の中心点が新規出現ゾーンである場合に、新たな人物に対する初期顔枠が出現したと判定したが、例えば、新規出現ゾーンに、所定回数連続して顔枠が検出された場合に、検出された顔枠に相当する人物が新たな人物である、と判定してもよい。連続して検出されたことに基づく判定により、１回の出現で、次に消えてしまう顔枠が登録されることを回避できる。

なお、同一人物判定処理は、特に限定されない。例えば、顔枠の移動量から同一人物であるか否かが判定されてよい。例えば、撮影間隔に基づいて設定される移動量の所定範囲（撮影間隔（例えば、６０ｍｓｅｃ）に対して人物が移動可能な範囲）と、２つの画像間における顔枠の移動量とを比較し、顔枠の移動量が所定範囲内である場合、同一人物であると判定されてよい。

＜１つのカメラから画像が取得できない場合の制御例２＞
上述した例では、２眼方式（２つのカメラが撮影した画像を用いて処理を行う方式）において、２つのカメラのうち、一方が撮影した画像において顔枠が検出されない場合に、新たに出現した人物の顔枠を検知する方法を示した。以下では、２眼方式において、２つのカメラのうち、一方が撮影した画像において顔枠が検出されない場合に、ゲート１０を通過する人物が課金ラインを越えたか否かを判定する例を説明する。

図１５は、１つのカメラを用いた課金ライン越え判定の一例を示すフローチャートである。図１５に示すフローは、例えば、右カメラ１１及び左カメラ１１の何れか一方が撮影した画像の情報を取得し、他方から画像の情報を取得しない場合、あるいは、右カメラ１１及び左カメラ１１の何れか一方が撮影を行えない場合に実行されてよい。

人物位置推定部１４は、顔枠の中心位置を算出する（Ｓ５０１）。

人物位置推定部１４は、顔枠の中心位置が課金ゾーン（例えば、ＰＦＦＡ）内に存在するか否かを判定する（Ｓ５０２）。

顔枠の中心位置が課金ゾーン（例えば、ＰＦＦＡ）内に存在しない場合（Ｓ５０２にてＮＯ）、人物位置推定部１４は、処理を終了してよい。

顔枠の中心位置が課金ゾーン内に存在する場合（Ｓ５０２にてＹＥＳ）、人物位置推定部１４は、顔枠の初期出現が新規出現ゾーン（例えば、ＦＦＦＡ）とは別のゾーンであるか否かを判定する（Ｓ５０３）。例えば、課金ゾーン内に中心位置が存在する顔枠と同一人物であることを示す顔枠の情報のうち、最初に検出された顔枠の情報を参照し、参照した顔枠の検出されたゾーンが新規出現ゾーンであるか否かを判定する。

中心位置の初期出現が新規出現ゾーンとは別のゾーンである場合（Ｓ５０３にてＹＥＳ）、例えば、顔枠の人物が、ゲート１０を通過しようとする人物ではなく、ゲート１０の周囲（例えば、ゲート１０に隣接する別のゲート）を通行する人物である場合、当該人物に対して課金しないため、フローは、終了する。なお、この場合、当該人物に課金しないことを示す判定結果が記録されてもよい。

中心位置の初期出現が新規出現ゾーン（例えば、ＦＦＦＡ）とは別のゾーンではない場合（Ｓ５０３にてＮＯ）、人物位置推定部１４は、顔枠のサイズが課金ゾーンにおいて定義された閾値である顔枠サイズ以上であるか否かを判定する（Ｓ５０４）。

顔枠のサイズが課金ゾーンにおいて定義された顔枠サイズ以上ではない場合（Ｓ５０４にてＮＯ）、人物位置推定部１４は、処理を終了してよい。

顔枠のサイズが課金ゾーンにおいて定義された顔枠サイズ以上である場合（Ｓ５０４にてＹＥＳ）、人物位置推定部１４は、顔枠のサイズが増加方向で推移しているか否かを判定する（Ｓ５０５）。例えば、人物位置推定部１４は、判定対象の顔枠と同一人物であることを示す顔枠の情報を参照し、画像が撮影された撮影時刻が進むに従って、顔枠のサイズが増加するか否かを判定してよい。

顔枠のサイズが増加方向で推移していない場合（Ｓ５０５にてＮＯ）、例えば、顔枠のサイズが変わっていない場合（人物が一定時間移動していない場合）、または、顔枠サイズが小さくなっている場合（人物が課金ゾーンから遠ざかっている場合）、当該人物に対して課金しないため、人物位置推定部１４は、終了してよい。なお、この場合、課金しなかったことを示す判定結果が記録されてもよい。そして、当該人物に対して、一定時間、同様の判定結果が継続した場合、当該人物が、一定時間、ゲート１０内に留まっていることに相当するため、ゲート１０から警告が提示されてもよい。

顔枠のサイズが増加方向で推移している場合（Ｓ５０５にてＹＥＳ）、人物位置推定部１４は、当該人物がゲート１０における課金ゾーン（例えば、ゾーンＣ）に進入したことを確定する（Ｓ５０６）。人物位置推定部１４は、確定した結果を、サーバ（例えば、図２Ａにおける顔認証サーバ１６及び／又は通過履歴管理サーバ１７）に通知することによって、当該人物に対して課金が行われる。そして、フローは、終了する。

上述した処理によって、カメラ１１のうちの１つによって撮影された画像を用いて、人物が課金ゾーンに進入したか否かを判定できるため、一方のカメラ１１が故障した場合、あるいは、一方のカメラ１１が遮蔽物等によって撮影に失敗した場合でも、ゲート１０を通過した人物に対して課金を適切に行うことができる。

なお、上述した実施の形態では、ＦＦＦＡ、ＭＦＦＡ、ＰＦＦＡの各ゾーンは互いに重複していないものとして説明したが、これに限られない。２つ以上のゾーンが互いに重複してもよい。この場合、各ゾーンに顔枠のサイズの閾値を設け、顔枠の中心位置が各ゾーンに属しており、かつ、顔枠のサイズが、属しているゾーンの閾値を超えている場合には、顔枠が、属しているゾーンに位置していると決定してよい。この判定を、最も顔枠のサイズが大きくなるＰＦＦＡから、ＭＦＦＡ、ＦＦＦＡの順番に行うことで、顔枠の中心位置が、ゾーンの重複している領域に存在していた場合でも、顔枠がどのゾーンに属するのかを適切に判定することができる。例えば、顔枠の中心位置が、ＰＦＦＡとＭＦＦＡの両方に属している（ＰＦＦＡとＭＦＦＡとが重複するゾーンに存在する）場合に、顔枠のサイズがＰＦＦＡと対応付けられた閾値を超えているならば、顔枠のサイズがＭＦＦＡと対応付けられた閾値を超えているか否かの判定を省略して、その顔枠は、ＰＦＦＡに属していると決定する。また、顔枠のサイズがＰＦＦＡに対応付けられた閾値以下である場合には、顔枠のサイズがＭＦＦＡに対応付けられた閾値を超えているならば、顔枠がＭＦＦＡに属していると決定する。同様に、顔枠の中心位置がＭＦＦＡとＦＦＦＡとの両方に属している場合には、顔枠がＭＦＦＡに属するか否かの判定を先に行い、顔枠がＭＦＦＡに属していないと判定された場合に、顔枠がＦＦＦＡに属しているかを判定する。一般的には顔枠のサイズはＰＦＦＡが最も大きく、ＦＦＦＡが最も小さくなるので、各ゾーンに対応付ける閾値は、この大小関係に対応する値にしてよい。ただし、全てのゾーンに対応付ける閾値を同じに設定する等、他の値を採用してもよい。

また、上述した実施の形態では、２眼方式において、２つのカメラのうち、一方が撮影した画像において顔枠が検出されない場合に、１つのカメラを用いた課金ライン越え判定（１眼方式）を行っていたが、これに限られない。例えば、２眼方式が正常に動作していても、１眼方式が用いられてもよい。この場合、両方の方式において人物が課金ラインを通過した場合に課金を行い、何れか一方の方式において人物が課金ラインを通過していない場合に課金を行わない制御を行えば、より厳密に課金の判定を行うことができる。また、どちらか一方の方式で課金ラインを通過した場合に課金を行うようにすれば、いずれか一方の方式で判定が誤っていた場合であっても確実に課金を行うことができる。また、１眼方式のみを使用してもよい。

なお、上述した実施の形態では、ゲート１０を通過する人物の通過を管理するシステムについて説明したが、本開示はこれに限定されない。例えば、通行路の側壁、及び、人物の通過を規制する規制部（例えば、扉）を有さない場合に本開示が適用されてもよい。例えば、或るゾーンから、認証処理に応じて人物の進入が許容される別のゾーンに向かう移動経路であれば、本開示が適用されてよい。この場合、移動経路を通過する人物の顔を撮影するカメラが、例えば、移動経路上に設けられた支持部等に設置されてよい。また、上述した実施の形態は、ゲート１０を通過した人物へ課金を行う例を示したものだったが、本開示はこれに限定されない。例えば、本開示は、課金を伴わない通過の記録及び／又は管理に適用されてよい。また、例えば、駅の改札のように、入場時には入場したことが記録され、退場時に入場記録に基づいて課金を行うケースでは、本開示は、入場時と退場時との両方に適用されてよい。

また、実施の形態では、同じ時刻に撮影された右画像と左画像を用いて判定を行っていたが、これに限られない。例えば、同じ時刻ではないが同期している時刻に撮影された右画像と左画像を用いてもよい。この場合、互いに最も近いタイミングで撮影された右画像と左画像とを用いて顔枠の距離が閾値以下になったか否かを判定すれば、上述した実施の形態と同様の判定結果を得ることができる。

また、本実施の形態では、認証対象が人物である例を示したが、本開示はこれに限定されない。例えば、動物、車両等の移動体などに適用されてよい。また、本実施の形態では、顔認証を行う例を示したが、本開示はこれに限定されない。例えば、本開示は、ゲートの通行権を有することを示すＩＤカードを用いた認証、及び、生体認証等の他の認証方法に適用されてよい。

また、顔認証と他の認証方法とが併用されてもよい。上述した実施の形態の開示により顔認証では通過が許可されない場合であっても、ＩＤカードの情報が入力されれば、例外的に通過が許可されてもよい。

また、上述した実施の形態では、カメラ１１が認証処理と追跡処理とで兼用であると説明したが、本開示はこれに限定されない。例えば、カメラ１１によって撮影した画像が人物の追跡処理（位置推定処理）に用いられ、顔認証処理に用いられない構成であってよい。例えば、顔認証処理の代わりに、ゲートの通行権を有することを示すＩＤカードを用いた認証、及び、生体認証等の他の認証が用いられる場合、カメラ１１によって撮影した画像が人物の追跡処理（位置推定処理）に用いられ、顔認証処理に用いられない構成であってよい。

また、上述した実施の形態では、カメラ１１は、側壁Ｖに設けられる例に限られない。例えば、カメラ１１は、ゲート１０に設けられる支持部に取り付けられてよい。支持部は、例えば、ゲート１０から垂直方向に延びるポールであってもよいし、ゲート１０の側壁を覆うように設けられるアーチ形状の部材であってもよい。また、ゲート１０は、２つの側壁Ｖによって通路を構成する例に限定されない。例えば、側壁Ｖは、なくてもよい。側壁Ｖが無い場合、カメラ１１はポール等の部材によって所望の位置に配置されてよい。側壁Ｖが無い構成であっても、上述した実施の形態と同様に、カメラ１１が撮影した画像から検出した顔枠の位置関係によって、人物の追跡を行う。また、上述した実施の形態に示した構成に対して、更に別の角度から撮影を行うカメラを用いた人物追跡が併用されてよい。例えば、天井カメラを用いた人物追跡が併用されてもよい。人物追跡を併用することによって、人物の位置、及び、移動方向の推定精度を高めることができる。例えば、天井カメラとして、駅構内に設置される監視カメラが併用されてもよい。

また、上述した本実施の形態において、顔認証機能部１３による顔認証処理の成否と通過管理機能部１５による退場ラインの通過の判定それぞれの成否が、音声及び／又は画像によって出力されてもよい。この際、顔認証処理の成否と退場ラインの通過の判定の成否とで異なる音声及び／又は画像が出力されてもよい。このようにすることで、ゲート１０を通過しようとする人物に対し、顔認証と課金ラインの通過の両方の判定が行われていることを意識させることができる。また、人物がゲート１０の通過に失敗した場合、ゲート１０を通過する許可を得る段階（顔認証処理の成否）と、ゲートの通過確認の段階（通過の成否）のどちらで失敗したのかを区別して通知することができる。

また、上述した実施の形態では、ゲート１０の通過を規制する手段として扉を用いていたが、他の手段により直接的又は間接的に通過を規制してもよい。例えば、警報を鳴らしたり、警告灯を点灯させたりすることによって、ゲート１０を通過しようとする人物に対して、ゲート１０の通過が規制されたことを提示してよい。また、ゲート１０の近傍にいる従業員の所有する端末等に通知を送ることによって、当該従業員が通過を規制してもよい。

また、混雑状況に応じて、通過を阻止する制御を行うか否か、又は、通過を規制する手段が切り替えられてもよい。例えば、多数の人物が入退場する場合など人物の通過を阻止又は規制すると危険な環境では、ゲート１０の通過は阻止せず、不正な通過があったことを示す情報が記録されるようにしてもよい。この場合、不正な通過を行った人物の顔画像又は顔認証の結果を、不正な通過があったことを示す情報と関連付けて記録されるようにしてもよい。これにより、不正な通過を行った人物を後から追跡して、通行権の対価などを請求することが可能となる。

また、上述した実施の形態では、通過管理システム１は、空港、駅、イベント会場などの施設の出入口における、施設への入場及び施設からの退場の両方を管理していたが、入口又は出口において、施設への入場又は施設からの退場の一方を管理し、他方については管理しなくてもよい。

本開示はソフトウェア、ハードウェア、又は、ハードウェアと連携したソフトウェアで実現することが可能である。

上記実施の形態の説明に用いた各機能ブロックは、部分的に又は全体的に、集積回路であるＬＳＩとして実現され、上記実施の形態で説明した各プロセスは、部分的に又は全体的に、一つのＬＳＩ又はＬＳＩの組み合わせによって制御されてもよい。ＬＳＩは個々のチップから構成されてもよいし、機能ブロックの一部又は全てを含むように一つのチップから構成されてもよい。ＬＳＩはデータの入力と出力を備えてもよい。ＬＳＩは、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

集積回路化の手法はＬＳＩに限るものではなく、専用回路、汎用プロセッサ又は専用プロセッサで実現してもよい。また、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。本開示は、デジタル処理又はアナログ処理として実現されてもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

本開示は、通信機能を持つあらゆる種類の装置、デバイス、システム（通信装置と総称）において実施可能である。通信装置は無線送受信機（トランシーバー）と処理／制御回路を含んでもよい。無線送受信機は受信部と送信部、またはそれらを機能として、含んでもよい。無線送受信機（送信部、受信部）は、ＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）モジュールと１または複数のアンテナを含んでもよい。ＲＦモジュールは、増幅器、ＲＦ変調器／復調器、またはそれらに類するものを含んでもよい。通信装置の、非限定的な例としては、電話機（携帯電話、スマートフォン等）、タブレット、パーソナル・コンピューター（ＰＣ）（ラップトップ、デスクトップ、ノートブック等）、カメラ（デジタル・スチル／ビデオ・カメラ等）、デジタル・プレーヤー（デジタル・オーディオ／ビデオ・プレーヤー等）、着用可能なデバイス（ウェアラブル・カメラ、スマートウオッチ、トラッキングデバイス等）、ゲーム・コンソール、デジタル・ブック・リーダー、テレヘルス・テレメディシン（遠隔ヘルスケア・メディシン処方）デバイス、通信機能付きの乗り物又は移動輸送機関（自動車、飛行機、船等）、及び上述の各種装置の組み合わせがあげられる。

通信装置は、持ち運び可能又は移動可能なものに限定されず、持ち運びできない又は固定されている、あらゆる種類の装置、デバイス、システム、例えば、スマート・ホーム・デバイス（家電機器、照明機器、スマートメーター又は計測機器、コントロール・パネル等）、自動販売機、その他ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）ネットワーク上に存在し得るあらゆる「モノ（Things）」をも含む。

また、近年、ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）技術において、フィジカル空間とサイバー空間の情報連携により新たな付加価値を作りだすという新しいコンセプトであるＣＰＳ（Ｃｙｂｅｒ Ｐｈｙｓｉｃａｌ Ｓｙｓｔｅｍｓ）が注目されている。上記の実施の形態においても、このＣＰＳコンセプトを採用することができる。

すなわち、ＣＰＳの基本構成として、例えば、フィジカル空間に配置されるエッジサーバと、サイバー空間に配置されるクラウドサーバとを、ネットワークを介して接続し、双方のサーバに搭載されたプロセッサにより、処理を分散して処理することが可能である。ここで、エッジサーバまたはクラウドサーバにおいて生成される各処理データは、標準化されたプラットフォーム上で生成されることが好ましく、このような標準化プラットフォームを用いることで、各種多様なセンサ群やＩｏＴアプリケーションソフトウェアを含むシステムを構築する際の効率化を図ることができる。

通信には、セルラーシステム、無線ＬＡＮシステム、通信衛星システム等によるデータ通信に加え、これらの組み合わせによるデータ通信も含まれる。

また、通信装置には、本開示に記載される通信機能を実行する通信デバイスに接続又は連結される、コントローラやセンサ等のデバイスも含まれる。例えば、通信装置の通信機能を実行する通信デバイスが使用する制御信号やデータ信号を生成するような、コントローラやセンサが含まれる。

また、通信装置には、上記の非限定的な各種装置と通信を行う、あるいはこれら各種装置を制御する、インフラストラクチャ設備、例えば、基地局、アクセスポイント、その他あらゆる装置、デバイス、システムが含まれる。

以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、開示の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。

以上、本開示の具体例を詳細に説明したが、これらは例示にすぎず、請求の範囲を限定するものではない。請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。

本開示の一実施例は、顔認証システムに好適である。

１ 通過管理システム
１０ ゲート
１１ カメラ
１３ 顔認証機能部
１３１ カメラ制御部
１３２ 顔照合処理部
１４ 人物位置推定部
１４１ 人物追跡処理部
１５ 通過管理機能部
１５１ 通過管理状態遷移処理部
１５２ 履歴管理部
１５３ 履歴ＤＢ
１６ 顔認証サーバ
１７ 通過履歴管理サーバ

Claims (12)

1. ゲートに進入する人物を第１の方向から撮影した第１画像に含まれる第１の顔画像領域と、前記人物を前記第１の方向と異なる第２の方向から撮影した第２画像に含まれる第２の顔画像領域とを検出する検出部と、
   前記第１の顔画像領域と前記第２の顔画像領域との間の相対的な位置関係の変化に基づいて、前記ゲートにおける前記人物の位置を推定する推定部と、
   を備えた情報処理装置。
2. 前記第１画像の撮影タイミングと前記第２画像の撮影タイミングとは、同期している、
   請求項１に記載の情報処理装置。
3. 前記推定部は、前記第１の顔画像領域の代表点と前記第２の顔画像領域の代表点との間の距離の変化に基づいて、前記ゲートにおける前記人物の位置を推定する、
   請求項１に記載の情報処理装置。
4. 前記推定部は、前記第１の顔画像領域の代表点と前記第２の顔画像領域の代表点との間の水平方向の距離が閾値以下になった場合、前記人物が前記ゲートにおいて規定された位置を超えた、と判定する、
   請求項３に記載の情報処理装置。
5. 前記推定部は、前記第１の顔画像領域の代表点から前記第２の顔画像領域の代表点までの水平方向の距離の極性が反転した場合、前記人物が前記ゲートにおいて規定された位置を超えた、と判定する、
   請求項３に記載の情報処理装置。
6. 前記人物が前記規定された位置を超えるより前に前記人物の顔を照合する顔照合処理部をさらに備え、
   前記情報処理装置は、
   前記人物の顔の照合に成功した場合と、前記人物が規定の位置を超えたと判定された場合とで、異なる音声又は画像を出力する、
   請求項４または５に記載の情報処理装置。
7. 前記検出部は、前記第１画像に対して、前記人物の前記ゲートへの進入に応じて前記第１の顔画像領域の代表点が最初に現れることが予測されるエリアを設定し、
   前記推定部は、前記エリアに、前記第１の顔画像領域の代表点が複数含まれる、と判定した場合、前記人物の位置推定を停止する、
   請求項３に記載の情報処理装置。
8. 前記第１の顔画像領域の代表点および前記第２の顔画像領域の代表点は、それぞれ、前記第１の顔画像領域の中心および前記第２の顔画像領域の中心である、
   請求項３に記載の情報処理装置。
9. 前記推定部は、前記ゲートにおける前記人物の位置推定に、前記第１の顔画像領域と、前記第２の顔画像領域との位置関係を示す情報と、前記ゲートにおける前記人物の位置との関係を表す情報を用いる、
   請求項１に記載の情報処理装置。
10. 前記推定部は、前記第１の顔画像領域が検出されない場合、前記第２の顔画像領域のサイズが閾値以上であるか否かに基づいて、前記人物が前記ゲートの特定の領域に進入したか否かを判定する、
    請求項１に記載の情報処理装置。
11. ゲートに進入する人物を第１の方向から撮影した第１画像と、前記人物を前記第１の方向と異なる第２の方向から撮影した第２画像との少なくとも１つを用いて、前記人物の認証処理を実行する認証装置と、
    前記第１画像に含まれる第１の顔画像領域と、前記第２画像に含まれる第２の顔画像領域とを検出し、前記第１の顔画像領域と前記第２の顔画像領域との間の相対的な位置関係の変化に基づいて、前記ゲートにおける前記人物の位置を推定する情報処理装置と、
    を備えた情報処理システム。
12. 情報処理装置が、
    ゲートに進入する人物を第１の方向から撮影した第１画像に含まれる第１の顔画像領域と、前記人物を前記第１の方向と異なる第２の方向から撮影した第２画像に含まれる第２の顔画像領域とを検出し、
    前記第１の顔画像領域と前記第２の顔画像領域との間の相対的な位置関係の変化に基づいて、前記ゲートにおける前記人物の位置を推定する、
    推定方法。

Images