JPWO2015136938A1 - 情報処理方法および情報処理システム - Google Patents

Abstract

本発明は、通行者が通行する経路の途中で通行者が入れ替わった場合に、通行者の入れ替わりを検知することができる、情報処理方法を提供することを目的とする。本発明における情報処理方法は、第１位置を通過する通行者が所持する媒体から読み取られた第１生体情報と、前記第１位置を通過する通行者を撮像して得られた画像から取得した第２生体情報とを用いて、通行者を認証する第１認証処理を実行する工程と、前記第１認証処理による通行者の認証に成功した場合、前記第１認証処理に用いた前記第１生体情報および前記第２生体情報の少なくとも一方に基づく第３生体情報を記憶部に記憶する工程と、通行者の進行方向において前記第１位置より下流側の第２位置を通過する通行者を撮像して得られた画像から取得した第４生体情報と、前記記憶部に記憶された前記第３生体情報とを用いて、通行者を認証する第２認証処理を実行する工程とを具備する。

Description

本発明の実施形態は、情報処理方法および情報処理システムに関する。

重要施設や公共施設等における多数の通行者に対して、生体情報を用いた認証を行う技術がある。例えば、エスカレータ等の通行者の動きが制限される装置の入口において生体情報を取得し、当該装置の出口に通行者がたどり着くまでに通行者の認証を行う技術がある。また、通行者が多い場合に、通行者の認証を簡潔な処理に切り替えることにより、通行者を漏れなくかつ効率良く認証する技術がある。また、通行者に対して複数回認証を行いかつ通行者の認証精度を段階的に高くする技術がある。

しかしながら、通行者の動きが制限されるエスカレータ等の装置の入口において生体情報を取得して当該通行者が出口にたどり着くまでに認証を行う技術は、生体情報を用いた認証自体を効率化するものではなく、認証に時間的な猶予がある場合に有効である。また、通行者が多い場合に通行者の認証を簡潔なものに切り替える技術は、厳密な認証が適用されない通行者が発生して認証精度が低下する可能性がある。また、通行者に対して複数回認証を行いかつ認証精度を段階的に高くする技術は、通行者の通行経路に制限がない場所においては適用することができず、通行者が通行する経路の途中で通行者が入れ替わった場合に、通行者の入れ替わりを検知することができない。

また、重要施設や公共施設の多数の人物に対して、生体情報を使った人物の認証処理を行う場合に、高精度に人物の認証処理を適用すると、当該認証処理の処理時間が長くなってしまうため、人物の通行が滞ることがある。そこで、出国審査等の第１位置を通過する人物の身体全体の写真撮影を行って得た写真画像を、飛行機の到着先の入国審査等の第２位置に送信して、当該写真画像を目視での入国審査に使用可能とする技術、ゲートや待合室や廊下等を移動している人物を撮像して取得した当該人物の顔画像と、当該人物が所持する個人認証用媒体から読み取った顔画像とを用いて、人物の認証を行う技術等がある。

また、飛行機の到着先の入国審査等の第２位置に写真画像を送信する技術は、当該写真画像を目視での入国審査に使用可能とするものであり、第２位置での人物の自動的な認証を効率化することができない。また、人物がゲートや待合室や廊下等を移動している間に撮像して取得した人物の顔画像と、人物が所持する個人認証用媒体から読み取った顔画像とを用いて人物の認証を行う技術は、個人認証用媒体から読み取った顔画像の経劣化等の変動によって、認証精度の安定化を図ることが難しい。

特開２００３−１８４３８１号公報 特開２００７−１５６５４１号公報 特開２００５−１００３６９号公報 特開２００３−２９６５１７号公報 特開２００７−２４９８１９号公報

本発明の実施形態は、通行者が通行する経路の途中で通行者が入れ替わった場合に、通行者の入れ替わりを検知することができる、情報処理方法および情報処理システムを提供することを目的とする。

本発明の実施形態における情報処理方法は、第１位置を通過する通行者が所持する媒体から読み取られた第１生体情報と、前記第１位置を通過する通行者を撮像して得られた画像から取得した第２生体情報とを用いて、通行者を認証する第１認証処理を実行する工程と、前記第１認証処理による通行者の認証に成功した場合、前記第１認証処理に用いた前記第１生体情報および前記第２生体情報の少なくとも一方に基づく第３生体情報を記憶部に記憶する工程と、通行者の進行する方向において前記第１位置より下流側の第２位置を通過する通行者を撮像して得られた画像から取得した第４生体情報と、前記記憶部に記憶された前記第３生体情報とを用いて、通行者を認証する第２認証処理を実行する工程と、前記第２認証処理により認証された場合、前記第２位置を通行することを許可する認証工程とを備える。

第１の実施形態にかかる情報処理方法を適用した情報処理システムの構成を示す図。 第１の実施形態にかかる情報処理システムの機能的構成を示すブロック図。 第１の実施形態にかかる情報処理システムにおいて、人物の経年変化に対応した照合形態を示す図。 第１の実施形態にかかる情報処理システムが有する第１認証装置における通行者の認証処理の流れを示すフローチャート。 第１の実施形態にかかる情報処理システムが有する第１認証装置における通行者の認証結果の表示例を示す図。 第１の実施形態にかかる情報処理システムが有する第２認証装置における通行者の認証処理の流れを示すフローチャート。 第１の実施形態にかかる情報処理システムが有する第２認証装置における通行者の認証結果の表示例を示す図。 第２の実施形態にかかる情報処理システムの機能的構成を示すブロック図。 第２の実施形態にかかる情報処理システムが有する第２認証装置における通行者の認証処理の流れを示すフローチャート； 第３実施形態にかかる出入管理システムを適用した情報処理システムの構成を示す図。 第３実施形態にかかる出入管理システムを適用した情報処理システムにおいて、カメラで撮影された人物の顔画像と、通過する人物が所持する旅券に保存されている人物の顔画像とを対比して表示する管理者用モニタとしての表示部。 〜 第３実施形態にかかる出入管理システムにおいて、撮影画像として不適切な例を示す図。 第３実施形態にかかる情報処理システムが有する搭乗案内装置、第１認証装置、および第２認証装置の機能的な構成を示す図。 第３実施形態にかかる情報処理システムが有する第３認証装置の機能的な構成を示す図。 第３実施形態にかかる情報処理システムが有する第４認証装置の機能的な構成を示す図。 第３実施形態にかかる情報処理システムが有する搭乗案内装置による生体情報の取得処理の流れを示すフローチャート。 第３実施形態にかかる情報処理システムが有する第１認証装置による認証処理の流れを示すフローチャート。 第３実施形態にかかる情報処理システムが有する第２認証装置による認証処理の流れを示すフローチャート。 第３実施形態にかかる情報処理システムが有する第２認証装置が旅券から識別情報を読取可能な読取部を備える場合の認証処理の流れを示すフローチャート。 第３実施形態にかかる情報処理システムが有する第３認証装置による認証処理の流れを示すフローチャート。 第３実施形態にかかる情報処理システムが有する第４認証装置による認証処理の流れを示すフローチャート。 第４実施形態にかかる歩行中の情報処理システムを示す斜視図。 第４実施形態にかかる情報処理システムによる認証処理の流れを示すフローチャート。

以下、添付の図面を用いて、本実施形態にかかる情報処理方法および情報処理システムについて説明する。

（第１の実施形態）
図１は、第１の実施形態にかかる情報処理方法を適用した情報処理システムの構成を示す図である。本実施形態にかかる情報処理システム１は、図１に示すように、第１位置Ｐ１を通過する通行者が所持する媒体Ｍから読み取られた生体情報（第１生体情報の一例）と、第１位置Ｐ１を通過する通行者を第１撮像部１１により撮像して得られた第１画像Ｇ１から取得した生体情報（第２生体情報の一例）とを用いて、通行者を認証する第１認証処理を実行する第１認証装置１０と、第１認証処理による通過者の認証に成功した場合、第１認証処理に用いられた２つの生体情報の少なくとも一方に基づいて生成された第３生体情報（以下、認証用特徴情報と言う）を記憶する特徴情報記憶部３１を有するサーバ３０と、通行者の進行方向において第１位置Ｐ１より下流側の第２位置Ｐ２を通過する通行者を第２撮像部２１により撮像して得られた第２画像Ｇ２から取得した生体情報（第４生体情報の一例）と、特徴情報記憶部３１に記憶された認証用特徴情報とを用いて、通行者を認証する第２認証処理を実行する第２認証装置２０と、を備えている。更に、第１認証装置１０と第２認証装置２０との認証処理の結果を、管理者向けに表示する管理者モニタとしての第２表示部２６を備えている。

ここで、通行者の進行方向において第１位置Ｐ１より下流側とは、通行者の通行経路において第１位置Ｐ１よりも後に通過する位置である。

すなわち、本実施形態にかかる情報処理システム１は、第１位置Ｐ１を通過する通行者に対して第１認証処理を実行した後、第２位置Ｐ２を通過する通行者を第２撮像部２１により撮像して得られた第２画像Ｇ２から取得した生体情報と特徴情報記憶部３１に記憶された認証用特徴情報とを用いて、通行者を認証する第２認証処理を実行することで、第２位置Ｐ２を通過する通行者が第１位置Ｐ１を通過した通行者と同一人物であるか否かを検出する同定処理を行う。

これにより、第１位置Ｐ１を通過した後、第２位置Ｐ２を通過するまでの間に通行者が入れ替わった場合、第１認証処理による認証に成功したとしても、第２認証処理による認証に失敗するため、通行者の入れ替わりを防止することができる。また、第１位置Ｐ１を通過する通行者が所持する媒体Ｍから読み取られた生体情報を用いて第１認証処理および第２認証処理を実行することにより、サーバ３０等の上位機器が有するデータベースから第１，２認証処理に用いる生体情報を検索したり、第１，２認証処理に要する時間の短縮のために通行者の認証を簡潔なものに切り替えたりする必要がなくなるので、通行者の認証精度の低下を防止しつつ効率的に通行者の認証を行うことができる。

言い換えると、本実施形態にかかる情報処理システム１は、第１認証装置１０において実行される第１認証処理（所謂１：１照合）と、第２認証装置２０において実行される第２認証処理（所謂１：Ｎ照合）とを組み合わせることにより、効率的に通行者の認証を行うシステムである。ここで、第１認証装置１０における１：１照合は、図１に示すように、例えば建物の入口やセキュリティ管理エリアの入口等の第２位置Ｐ２に通行者が到達する前に、第１位置Ｐ１を通過する通行者が所持する媒体Ｍから読み取った生体情報と、第１位置Ｐ１を通過する通過者を第１撮像部１１により撮像して得られた第１画像Ｇ１から取得した生体情報とを用いた通行者の認証処理である。

一方、第２認証装置２０における１：Ｎ照合は、図１に示すように、サーバ３０の特徴情報記憶部３１に記憶されている認証用特徴情報と、第２位置Ｐ２を通過する通行者を第２撮像部２１により撮像して得られた第２画像Ｇ２から取得した生体情報とを用いた通行者の認証処理である。つまり、第２認証装置２０における１：Ｎ照合では、通行者が所持する媒体Ｍからの生体情報の読み取りを行わずに、第２撮像部２１の撮像により得られた第２画像Ｇ２から取得した生体情報が、サーバ３０の特徴情報記憶部３１に記憶されている認証用特徴情報のいずれかと一致すれば、通行者の認証に成功したと判断する。

そして、第２認証装置２０は、１：Ｎ照合による認証結果に従って、通行者の通行を制御するための処理を実行する。具体的には、第２認証装置２０は、１：Ｎ照合による認証に成功した場合、第２位置Ｐ２に設けられた入口ゲートをオープンしたり、第２位置Ｐ２に設けられた扉の鍵を開錠したりして、通行者の通行を許可する処理を実行する。一方、第２認証装置２０は、１：Ｎ照合による認証に失敗した場合、第２位置Ｐ２に設けられた入口ゲートを閉じたり、第２位置Ｐ２に設けられた扉の鍵の開錠を禁止したりして、通行者の通行を禁止する処理を実行する。第２認証装置２０は、第２位置Ｐ２に入口ゲートや扉が設けられていない場合、認証に失敗したことを通知するためのメッセージ（警報）を管理者モニタとしての第２表示部２６（図１及び図７参照）に表示させたり、外部端末に当該警報を通知したり、認証に失敗した通行者の画像（例えば、第２画像Ｇ２に含まれる顔画像）を記憶しておく等の処理を、通行者の通行を禁止する処理として実行する。

本実施形態にかかる情報処理システム１によれば、第２位置Ｐ２を通過する通行者が所持する媒体Ｍからの生体情報の読み取りを行わずに、第２位置Ｐ２を通過する通行者の認証を行うことができ、かつ通行者の認証に要する時間の短縮のために第２認証処理を簡潔なものに切り替える必要がなくなるので、多数の通行者が第２位置Ｐ２を通過する場合に、通行者の滞りの発生および通行者の認証精度の低下を防止することができる。

本実施形態にかかる情報処理システム１は、公共施設、重要施設、オフィスビル、商業施設などの多数の通行者が通行する施設に設置される入退室管理システムや映像監視システム等に適用可能である。以下の説明では、通行者の認証処理に用いる生体情報として通行者の顔画像の特徴情報を用いる例について説明するが、これに限定するものではなく、例えば、虹彩，指紋，静脈，掌紋，耳型などの通行者の身体の情報を生体情報として用いても良い。

次に、図２を用いて、本実施形態にかかる情報処理システム１の機能的構成について説明する。図２は、第１の実施形態にかかる情報処理システムの機能的構成を示すブロック図である。

第１認証装置１０は、図２に示すように、第１位置Ｐ１を通過する通行者を撮像可能に設けられた第１撮像部１１と、後述する識別情報読取部１４により特徴情報が読み取られた際に第１撮像部１１の撮像により得られた第１画像Ｇ１を取得する第１画像取得部１２と、第１画像取得部１２により取得した第１画像Ｇ１から通行者の顔画像の特徴情報（第２生体情報の一例）を取得（抽出）する第１顔特徴抽出部１３と、第１位置Ｐ１を通過する通行者が所持する媒体Ｍから特徴情報（第１生体情報の一例）を読取可能に設けられた識別情報読取部１４（読取部の一例）と、第１顔特徴抽出部１３により取得した特徴情報と識別情報読取部１４により読み取った特徴情報とを用いて、通行者を認証する第１認証処理を実行する第１通行者認証部１５と、当該第１通行者認証部１５による通行者の認証結果を出力する第１出力部１６と、を備えている。

サーバ３０は、図２に示すように、第１認証装置１０（第１通行者認証部１５）による第１認証処理に用いられた２つ特徴情報（第１画像Ｇ１から取得した特徴情報および媒体Ｍから読み取られた特徴情報）の少なくとも一方に基づく第３生体情報の一例である認証用特徴情報（本実施形態では、第１画像Ｇ１から取得した特徴情報または媒体Ｍから読み取られた特徴情報）を記憶する特徴情報記憶部３１（記憶部の一例）を有している。

第２認証装置２０は、図２に示すように、第２位置Ｐ２を通過する通行者を撮像可能に設けられた第２撮像部２１と、当該第２撮像部２１の撮像により得られた第２画像Ｇ２を取得する第２画像取得部２２と、当該第２画像取得部２２により取得した第２画像Ｇ２から通行者の顔画像の特徴情報（第４生体情報の一例）を取得（抽出）する第２顔特徴抽出部２３と、当該第２顔特徴抽出部２３により取得した特徴情報と特徴情報記憶部３１に記憶された認証用特徴情報とを用いて、通行者を認証する第２認証処理を実行する第２通行者認証部２４と、当該第２通行者認証部２４による通行者の認証結果を出力する第２出力部２５と、を備えている。なお、第１認証装置１０の第１出力部１６と、第２認証装置２０の第２出力部２５とは第１表示部１７を介して接続されている。

次に、図２および図４を用いて、本実施形態にかかる情報処理システム１が有する第１認証装置１０における通行者の認証処理について詳細に説明する。図４は、第１の実施形態にかかる情報処理システムが有する第１認証装置における通行者の認証処理の流れを示すフローチャートである。

識別情報読取部１４は、カードリーダ等により構成され、第１位置Ｐ１を通過する通行者が所持する媒体Ｍ（例えば、通行者を識別するためのＩＤカード、ＲＦＩＤ（Radio Frequency Identification）チップを備えたカード、鍵、身分証明書やパスポート等の公的な本人確認用媒体など、通行者の特徴情報を読み取り可能とする媒体）から、１つの特徴情報および通行者を識別可能とする識別情報を読み取る（ステップＳ４０１）。本実施形態では、識別情報には、通行者の識別番号（ＩＤ番号），氏名，性別，年齢，所属，経歴，身長，通行者の顔画像の画像データなど当該通行者を識別可能とする情報が含まれる。

また、本実施形態では、識別情報読取部１４は、第１認証装置１０以外の外部装置によって媒体Ｍに記憶（または印刷）された特徴情報を読み取っているが、媒体Ｍに特徴情報を取得可能な画像（例えば、通行者の顔画像など）が印刷されていたり若しくは媒体Ｍに特徴情報を取得可能な画像の画像データが記憶されていたりする場合には、媒体Ｍに印刷された画像若しくは媒体Ｍに記憶されている画像データに基づく画像から、特徴情報を取得しても良い。その際、識別情報読取部１４は、後述する第１顔特徴抽出部１３と同様にして、媒体Ｍに印刷された画像若しくは媒体Ｍに記憶されている画像データに基づく画像から、特徴情報を取得する。

第１画像取得部１２は、識別情報読取部１４により識別情報が読み取られた際に第１撮像部１１の撮像により得られた第１画像Ｇ１（言い換えると、識別情報読取部１４により特徴情報が読み取られた媒体Ｍを所持する通行者を撮像して得られた画像）を取得する（ステップＳ４０２）。本実施形態では、第１撮像部１１は、例えばＩＴＶ（Industrial Television）カメラ等により構成され、第１位置Ｐ１を通過する通行者の身体のうち特徴情報の取得に必要な部位（本実施形態では、通行者の顔）を撮像可能に設けられている。また、本実施形態では、第１撮像部１１は、レンズを通して得られた光学的な情報を、Ａ／Ｄ変換器によりデジタル化した画像データを所定のフレームレートで生成して第１画像取得部１２に出力する。

第１顔特徴抽出部１３は、第１画像取得部１２により取得された第１画像Ｇ１から、当該第１画像Ｇ１に含まれる通行者の顔画像の特徴情報を取得する（ステップＳ４０３）。本実施形態では、第１顔特徴抽出部１３は、取得した第１画像Ｇ１内において、第１認証装置１０に予め記憶された顔検出用のテンプレートを当該第１画像Ｇ１内で移動させながら当該第１画像Ｇ１とテンプレート間の相関値（相関係数）を求める。そして、第１顔特徴抽出部１３は、第１画像Ｇ１内において、テンプレートとの相関値が最も高い位置を顔画像として検出する。本実施形態では、第１顔特徴抽出部１３は、予め記憶された顔検出用のテンプレートを用いて、第１画像Ｇ１から顔画像を検出しているが、これに限定するものではなく、例えば周知の固有空間法や部分空間法を用いて、第１画像Ｇ１から顔画像を検出しても良い。

また、第１顔特徴抽出部１３は、第１撮像部１１から出力された所定のフレームレートの画像データに基づく複数のフレーム画像（第１画像Ｇ１）に同一の通行者の顔画像が連続して含まれている場合、その顔画像を、同一の通行者の顔画像として検出する追跡処理を行う必要がある。本実施形態では、第１顔特徴抽出部１３は、日本特許第５３５５４４６号等に記載される方法を用いて、一のフレーム画像から検出した顔画像が、次のフレーム画像においてどの位置に存在するかを推定することにより、複数のフレーム画像に連続して含まれる顔画像を、同一の通行者の顔画像として検出する。

次いで、第１顔特徴抽出部１３は、日本特許第３２７９９１３号等に記載される方法を用いて、検出した顔画像から、目や鼻等の顔の部位の位置を検出する。第１顔特徴抽出部１３は、上述した追跡処理によって複数のフレーム画像に連続して含まれる顔画像を同一の通行者の顔画像として検出した場合、同一の通行者の顔画像を含む複数のフレーム画像のうちいずれか若しくは当該複数のフレーム画像の全てから検出された顔画像を用いて、顔の部位の位置を検出する。

第１顔特徴抽出部１３は、顔の部位の位置を検出すると、検出した顔の部位の位置に基づいて、通行者の顔画像の特徴情報を取得し、当該取得した特徴情報を数値化して第１通行者認証部１５に出力する。具体的には、第１顔特徴抽出部１３は、検出した顔の部位に基づいて、第１画像Ｇ１から、所定の大きさおよび所定の形状の顔画像を切り出し、切り出した顔画像の濃淡情報を特徴情報として取得する。例えば、第１顔特徴抽出部１３は、検出した顔の部位の位置に基づいて第１画像Ｇ１から切り出したｍピクセル×ｎピクセルの矩形形状の顔画像の濃淡情報を、ｍ×ｎ次元の特徴ベクトル（特徴情報の一例）として取得する。

また、第１顔特徴抽出部１３は、日本特許第４０８７９５３号等に記載された部分空間方法を用いて、第１画像Ｇ１が含む顔画像の特徴を示す部分空間を特徴情報として取得しても良い。

第１通行者認証部１５は、第１顔特徴抽出部１３により取得された特徴情報と、識別情報読取部１４により読み取られた特徴情報とを用いて、通行者を認証する第１認証処理を実行する（ステップＳ４０４）。言い換えると、第１通行者認証部１５は、第１画像Ｇ１から取得した特徴情報と、識別情報読取部１４により媒体Ｍから読み取った特徴情報とが同一人物の特徴情報であるか否かを判定する。これにより、サーバ３０等の上位機器が有するデータベースから第１認証処理に用いる特徴情報を検索したり、第１認証処理に要する時間の短縮のために通行者の認証を簡潔なものに切り替えたりする必要がなくなるので、通行者の認証精度の低下を防止しつつ効率的に通行者の認証を行うことができる。

本実施形態では、第１通行者認証部１５は、第１顔特徴抽出部１３により取得された特徴情報と、識別情報読取部１４により読み取られた特徴情報との類似度を算出する。具体的には、第１通行者認証部１５は、第１特徴抽出部１３により取得された特徴情報と、識別情報読取部１４により読み取られた特徴情報との類似性指標の算出を行う。ここで、類似性指標とは、第１顔特徴抽出部１３により抽出された特徴ベクトルや部分空間等の特徴情報と、識別情報読取部１４により読み取られた特徴ベクトルや部分空間等の特徴情報とに基づく、単純類似度法による２つの特徴ベクトル間の類似度または部分空間法による部分空間同士の類似度である。

例えば、第１通行者認証部１５は、第１顔特徴抽出部１３により抽出された特徴ベクトルおよび識別情報読取部１４により読み取られた特徴ベクトルそれぞれの長さを「１」とするように正規化し、その内積を特徴ベクトル間の類似度として算出する。また、第１通行者認証部１５は、日本特許第４０８７９５３号に記載の部分空間法，複合類似度法等を用いて、第１顔特徴抽出部１３により取得された部分空間と識別情報読取部１４により読み取られた部分空間のなす角度を類似度として算出する。

また、第１通行者認証部１５は、単純類似度法による２つの特徴ベクトル間の類似度および部分空間法による部分空間同士の類似度以外の類似性指標として、第１顔特徴抽出部１３により取得された特徴情報および識別情報読取部１４により読み取られた特徴情報により構成される特徴空間におけるユークリッド距離やマハラノビス距離等の距離に基づく、２つの特徴情報の類似度を用いることも可能である。特徴空間におけるユークリッド距離やマハラノビス距離等の距離に基づいて、２つの特徴情報の類似度を判断する場合、距離の値が大きくなるに従って類似度が低くなり、距離の値が小さくなるに従い類似度が高くなる。

そして、第１通行者認証部１５は、算出した類似度が所定の第１閾値を超えている場合には、通行者の認証に成功したと判断する（ステップＳ４０５：Ｙｅｓ）。一方、第１通行者認証部１５は、算出した類似度が所定の閾値以下である場合には、通行者の認証に失敗したと判断する（ステップＳ４０５：Ｎｏ）。

第１通行者認証部１５（記憶制御部の一例）は、通行者の認証に成功した場合（ステップＳ４０５：Ｙｅｓ）、第１認証処理に用いた２つの特徴情報の少なくとも一方に基づく認証用特徴情報を、サーバ３０の特徴情報記憶部３１に記憶（保存）する（ステップＳ４０６）。一方、第１通行者認証部１５は、通行者の認証に失敗した場合（ステップＳ４０５：Ｎｏ）、認証用特徴情報の特徴情報記憶部３１への記憶を禁止する。本実施形態では、第１通行者認証部１５は、第１顔特徴抽出部１３により取得された特徴情報または識別情報読取部１４により読み取られた特徴情報を認証用特徴情報として特徴情報記憶部３１に記憶させる。その際、第１通行者認証部１５は、識別情報読取部１４により読み取られた識別情報と対応付けて、認証用特徴情報を特徴情報記憶部３１に記憶させる。本実施形態では、第１通行者認証部１５は、第１顔特徴抽出部１３により取得された特徴情報または識別情報読取部１４により読み取られた特徴情報そのものを認証用特徴情報として特徴情報記憶部３１に記憶させているが、特徴情報の一例である特徴ベクトルや部分空間を算出するための相関行列を認証用特徴情報として特徴情報記憶部３１に記憶させても良い。

また、本実施形態では、第１通行者認証部１５は、識別情報読取部１４により読み取られた識別情報に対応付けて、認証用特徴情報と、第１画像Ｇ１に含まれる通行者の顔画像の画像データと、第１認証処理を実行した時刻に関する時刻情報と、第１認証処理を実行した第１認証装置１０を識別可能とする装置情報と、を特徴情報記憶部３１に記憶させる。

ところで、第１認証処理に用いた２つの特徴情報のうち識別情報読取部１４により読み取られた特徴情報を認証用特徴情報として特徴情報記憶部３１に記憶させた場合、第２認証装置２０は、第１位置Ｐ１を通過した通行者の認証に用いた特徴情報と同一の情報（識別情報読取部１４により読み取られた特徴情報）を用いて、通行者の認証を行うことになる。これにより、第１位置Ｐ１と第２位置Ｐ２との間で通行者の入れ替わりが発生した場合に、第１位置Ｐ１を通過した通行者と第２位置Ｐ２を通過した通行者とが異なることを検出できる可能性を高くすることができるので、通行者の入れ替わりに対するセキュリティ性を高めることができる。

しかしながら、識別情報読取部１４により媒体Ｍから読み取られる特徴情報は、一般的に、第１認証処理が実行された時点よりも前に通行者を撮像して得られた画像から取得した特徴情報である。そのため、通行者の経年変化等の影響によって通行者を撮像して得られる画像から取得される特徴情報が変化した場合、識別情報読取部１４により媒体Ｍから読み取られた特徴情報は、通行者を撮像して得られる画像から取得される特徴情報との類似度が下がる。すなわち、識別情報読取部１４により媒体Ｍから読み取られる特徴情報は、通行者の経年変化等の影響を受けやすい。

よって、この場合、第１通行者認証部１５は、第１顔特徴抽出部１３により取得された特徴情報を認証用特徴情報として特徴情報記憶部３１に記憶させる。これにより、第２認証装置２０における通行者の認証処理が、第１認証処理を実行した際に通行者を撮像して得られた画像（第１画像Ｇ１）から取得した特徴情報を用いて行われ、通行者の経年変化等の影響を軽減することができるので、通行者の認証精度を向上させることができる。

本実施の形態では、通行者の経年変化の影響を軽減するために、図３に示すような経年変化データを旅券に保存された顔画像を紐付してデータとして保存することが出来る。図３に示すように、旅券に保存された顔画像に対して、撮影した時が、１９９０年１月の時の顔の照合画像、それから１０年後の２０００年２月の時の顔の照合画像、更に５０年後の２０５０年３月の時の顔の照合画像が変化してくる。このように人物の経年変化に対応するため、旅券画像と撮影画像とを合わせて履歴として記録する。本人照合時は、類似度を時系列順に算出し、それぞれ閾値以上であれば本人とする。例えば、旅券の顔画像をx(0)、履歴に残された顔画像を時系列順にx(1),・・・・・, x(t)、顔画像ａと顔画像ｂとの類似度をS(a, b)、本人であるかどうかを判定する類似度に対する閾値をθとすると、S(x(0), x(1))>θ, S(x(1), x(2))>θ, S(x(2), x(3)>θ, ・・・, S(x(t-1), x(t))>θのときは本人であると判定する。経年変化によってS(x(0), x(t))<θとなって本人を別人と判定する誤りを低減することができる。

例えば、第１通行者認証部１５は、媒体Ｍに記憶（または印刷）された当該媒体Ｍの発行日が、第１認証処理を実行した日から所定期間遡った日までの日にちである場合、識別情報読取部１４により媒体Ｍから読み取られた特徴情報を認証用特徴情報とする。一方、第１通行者認証部１５は、媒体Ｍの発行日が、第１認証処理を実行した日から所定期間遡った日よりも前の日にちである場合には、第１顔特徴抽出部１３により取得した特徴情報を認証用特徴情報としても良い。また、第１通行者認証部１５は、第１顔特徴抽出部１３により取得された特徴情報および識別情報読取部１４により読み取られた特徴情報の両方を含む認証用特徴情報を特徴情報記憶部３１に記憶させても良い。この場合、第２認証装置２０は、第２位置Ｐ２を通過した通行者を第２撮像部２１により撮像して得られた第２画像Ｇ２から取得される特徴情報（第４生体情報の一例）が、特徴情報記憶部３１に記憶された認証用特徴情報に含まれる２つの特徴情報のうちいずれか一方と一致した場合に、通行者の認証に成功したと判断する。これにより、通行者の認証に失敗する可能性を低くすることができる。

また、第１通行者認証部１５は、識別情報読取部１４により媒体Ｍから読み取った特徴情報を、第１画像取得部１２により取得した第１画像Ｇ１に基づいて更新した情報を認証用情報として特徴情報記憶部３１に記憶させても良い。これにより、特徴情報記憶部３１に記憶された認証用特徴情報を用いた認証処理の際に通行者の経年変化等の影響を軽減することができるので、通行者の認証精度を向上させることができる。

具体的には、第１通行者認証部１５は、識別情報読取部１４により媒体Ｍから読み取った特徴情報に、第１画像Ｇ１から取得した特徴情報を含めることにより、当該媒体Ｍから読み取った特徴情報を更新する。または、第１通行者認証部１５は、識別情報読取部１４により媒体Ｍから読み取られた特徴情報が部分空間である場合には、当該部分空間の作成に用いられた画像に、第１画像Ｇ１を追加して当該部分空間を更新しても良い。または、第１通行者認証部１５は、識別情報読取部１４により媒体Ｍから読み取った特徴情報を、第１画像Ｇ１から取得した特徴情報により置き換えることにより更新しても良い。

また、第１通行者認証部１５は、特徴情報記憶部３１に記憶されている複数の認証用特徴情報に対して、当該認証用特徴情報間の識別に不必要な情報を取り除くための処理を実行する。例えば、第１通行者認証部１５は、日本特許第４０８７９５３号等に記載された制約相互部分空間法を用いて、特徴情報記憶部３１に認証用特徴情報として記憶されている特徴ベクトルを、部分空間に射影または変換することにより、特徴情報記憶部３１に記憶されている認証用特徴情報間の識別精度を高める。これにより、認証用特徴情報に含まれる不必要な情報を用いて、第２認証処理が実行されることを防止できるので、第２認証処理による通行者の認証精度を向上させることができる。

第１出力部１６は、第１通行者認証部１５による通行者の認証に成功した場合（ステップＳ４０５：Ｙｅｓ）、通行者の認証に成功したことを通知するメッセージを、第１認証装置１０が備える第１表示部１７（図２及び５参照）に表示させ管理者が見る（ステップＳ４０７）。一方、第１出力部１６は、第１通行者認証部１５による通行者の認証に失敗した場合（ステップＳ４０５：Ｎｏ）、通行者の認証に失敗したことを通知するメッセージを、第１認証装置１０が備える第１表示部１７（図２及び５参照）に表示させる（ステップＳ４０８）。

図５は、第１の実施形態にかかる情報処理システムが有する第１認証装置における通行者の認証結果の表示例を示す図である。本実施形態では、第１出力部１６は、第１通行者認証部１５による通行者の認証に成功した場合、図５に示すように、通行者の認証成功を通知するためのメッセージ５０１と、第１画像Ｇ１に含まれる顔画像である入力画像５０２と、識別情報読取部１４により読み取った特徴情報の取得元の顔画像（本実施形態では、媒体Ｍから識別情報として読み取った画像データに基づく顔画像）である参照画像５０３と、を含む第１画面Ｄ１を、第１認証装置１０が有する第１表示部１７に表示させる。第１通行者認証部１５による認証に成功した場合、第１画像Ｇ１に含まれる顔画像から取得した特徴情報と、識別情報読取部１４により読み取った特徴情報とが類似するため、入力画像５０２と参照画像５０３も類似する画像となる。

一方、第１出力部１６は、第１通行者認証部１５による通行者の認証に失敗した場合、通行者の認証失敗を通知するためのメッセージ５０４と、入力画像５０２と、参照画像５０３と、を含む第２画面Ｄ２を第１表示部１７に表示させる。第１通行者認証部１５による認証に失敗した場合、第１画像Ｇ１に含まれる顔画像から取得した特徴情報と、識別情報読取部１４により読み取った特徴情報とが類似しないため、入力画像５０２と参照画像５０３も類似しない画像となる。

本実施形態では、第１出力部１６は、第１画面Ｄ１または第２画面Ｄ２を管理者用モニタとしての第１表示部１７に表示させることにより、第１通行者認証部１５による通行者の認証結果を通知しているが、これに限定するものではなく、例えば、第１認証装置１０が備える図示しないスピーカから音を発したり、第１認証装置１０の上位機器（情報処理システム１の管理者が操作する端末）に対して通行者の認証結果を有線または無線通信により送信したりすることにより、通行者の認証結果を通知しても良い。

次に、図２および図５を用いて、本実施形態にかかる情報処理システム１が有する第２認証装置２０における通行者の認証処理について詳細に説明する。図６は、第１の実施形態にかかる情報処理システムが有する第２認証装置における通行者の認証処理の流れを示すフローチャートである。

第２画像取得部２２は、第２認証装置２０が有する図示しない人感センサや赤外線センサ等のセンサによって第２位置Ｐ２を通過する通行者が検知されると、第２撮像部２１の撮像により得られた第２画像Ｇ２を取得する（ステップＳ６０１）。本実施形態では、第２撮像部２１は、第１撮像部１１と同様に、例えばＩＴＶカメラ等により構成され、第２位置Ｐ２を通過する通行者の身体のうち特徴情報の取得に必要な部位（本実施形態では、通行者の顔）を撮像可能に設けられている。また、本実施形態では、第２撮像部２１は、レンズを通して得られた光学的な情報を、Ａ／Ｄ変換器によりデジタル化した画像データを所定のフレームレートで生成して第２画像取得部２２に出力する。

第２顔特徴抽出部２３は、第２画像取得部２２により取得された第２画像Ｇ２から、当該第２画像Ｇ２に含まれる通行者の顔画像の特徴情報を取得する（ステップＳ６０２）。本実施形態では、第２顔特徴抽出部２３は、第１認証装置１０が有する第１顔特徴抽出部１３と同様にして、第２画像Ｇ２に含まれる通行者の顔画像の特徴情報を取得する。

第２通行者認証部２４は、第２顔特徴抽出部２３により取得した特徴情報および特徴情報記憶部３１に記憶された認証用特徴情報を用いて、通行者を認証する第２認証処理を実行する（ステップＳ６０３）。これにより、第２位置Ｐ２を通過する通行者が所持する媒体Ｍからの生体情報の読み取りを行わずに、第２位置Ｐ２を通過する通行者の認証を行うことができ、かつ第２位置Ｐ２を通過する通行者の認証に要する時間の短縮のために第２認証処理を簡潔なものに切り替える必要がなくなるので、多数の通行者が第２位置Ｐ２を通過する場合に、通行者の滞りの発生および通行者の認証精度の低下を防止することができる。

本実施形態では、第２通行者認証部２４は、第２顔特徴抽出部２３により取得した特徴情報が、特徴情報記憶部３１に記憶された認証用特徴情報のいずれかと一致した場合に、通行者の認証に成功したと判断する。ここで、一致とは、第２顔特徴抽出部２３により取得した特徴情報と特徴情報記憶部３１に記憶された認証用特徴情報とが完全に一致する場合および当該２つの特徴情報が類似する場合（本実施形態では、当該２つの特徴情報の類似度が所定の第２閾値を超えた場合）を含むものとする。

具体的には、第２通行者認証部２４は、第１通行者認証部１５と同様にして、第２顔特徴抽出部２３により取得した特徴情報と、特徴情報記憶部３１に記憶された認証用特徴情報それぞれとの類似度を算出する。そして、第２通行者認証部２４は、特徴情報記憶部３１に記憶された認証用特徴情報のうち、第２顔特徴抽出部２３により取得した特徴情報との類似度が最も高い認証用特徴情報を特定する。

そして、第２通行者認証部２４は、第２顔特徴抽出部２３により取得した特徴情報と、特定した認証用特徴情報との類似度が所定の第２閾値を超えている場合には、通行者の認証に成功したと判断する。一方、第２通行者認証部２４は、第２顔特徴抽出部２３により取得した特徴情報と、特定した認証用特徴情報との類似度が第２閾値以下となっている場合には、通行者の認証に失敗したと判断する。第２通行者認証部２４は、第１認証装置１０が有する第１通行者認証部１５と同様にして、通行者の認証を行う。ここで、第２閾値は、第１認証装置１０における通行者の認証に用いた第１閾値と同じ値としても良いし、第１閾値とは異なる値としても良い。

また、第２通行者認証部２４は、通行者の認証に成功した場合、当該第２顔特徴抽出部２３により取得した特徴情報と一致した認証用特徴情報を特徴情報記憶部３１から消去する。その際、第２通行者認証部２４は、第２顔特徴抽出部２３により取得した特徴情報と一致した認証用特徴情報と対応付けて記憶された識別情報や画像データや時刻情報や装置情報等の付帯情報も特徴情報記憶部３１から消去する。

これにより、通行者の認証に成功した場合に、第２顔特徴抽出部２３により取得した特徴情報と一致した認証用特徴情報が、その後に行われる他の通行者の認証に用いられて当該他の通行者の認証が誤って成功することを防止できるので、特徴情報記憶部３１に記憶された認証用特徴情報の信頼性を維持することができる。また、通行者の認証に成功した場合に、第２顔特徴抽出部２３により取得した特徴情報と一致した認証用特徴情報を、他の通行者を撮像して得られた第２画像Ｇ２から取得した特徴情報と一致するか否かの判断対象となることを防止できるので、無駄な判断処理が行われることを防止でき、通行者の認証速度の向上およびリソースの節約を図ることができる。

また、第２通行者認証部２４は、特徴情報記憶部３１に記憶された認証用特徴情報のうち、特徴情報記憶部３１に記憶されてから所定時間経過した認証用特徴情報を特徴情報記憶部３１から消去する。本実施形態では、第２通行者認証部２４は、特徴情報記憶部３１に記憶された認証用特徴情報のうち、当該認証用特徴情報と対応付けて記憶された時刻情報が示す時刻が現在時刻から所定時間遡った時刻までの時刻でない認証用特徴情報を特徴情報記憶部３１から削除する。

これにより、第２顔特徴抽出部２３により取得した特徴情報と一致するか否かの判断対象となる可能性が低い認証用特徴情報を消去することができるので、特徴情報記憶部３１に記憶された認証用特徴情報の信頼性を維持することができる。また、第２顔特徴抽出部２３により取得した特徴情報と一致するか否かの判断する際に、無駄な判断処理が行われることを防止でき、通行者の認証速度の向上およびリソースの節約を図ることができる。

また、第２通行者認証部２４は、特徴情報記憶部３１に記憶された認証用特徴情報のうち、予め設定された第１認証装置１０以外の認証装置における通行者の認証に用いられた認証用特徴情報を特徴情報記憶部３１から消去する。本実施形態では、第２通行者認証部２４は、特徴情報記憶部３１に記憶された認証用特徴情報のうち、当該認証用特徴情報と対応付けて記憶された装置情報が示す認証装置が予め設定された第１認証装置１０でない場合、当該認証用特徴情報を特徴情報記憶部３１から消去する。これにより、予め設定された第１認証装置１０以外の認証装置における認証に成功して、特徴情報記憶部３１に記憶された認証用特徴情報を用いて通行者の第２認証処理が実行されることを防止できるので、特徴情報記憶部３１に記憶された認証用特徴情報の信頼性を維持することができる。

さらに、第２通行者認証部２４は、特徴情報記憶部３１に記憶されてから所定時間経過している認証用特徴情報と第２顔特徴抽出部２３により取得した特徴情報との類似度と比較する第２閾値を、特徴情報記憶部３１に記憶されてから所定時間経過していない認証用特徴情報と第２顔特徴抽出部２３により取得した特徴情報との類似度と比較する第２閾値よりも高くしても良い。これにより、特徴情報記憶部３１に記憶されてから所定時間経過した信頼性の低い認証用特徴情報を用いて通行者の認証が成功する可能性を低くできるので、通行者の認証精度を向上させることができる。

第２出力部２５は、第２通行者認証部２４による通行者の認証に成功した場合（ステップＳ６０４：Ｙｅｓ）、通行者の認証に成功したことを通知するメッセージを、第２表示部２６（図１及び７参照）に管理者が見られるように表示させる（ステップＳ６０５）。一方、第２出力部２５は、第２通行者認証部２４による通行者の認証に失敗した場合（ステップＳ６０４：Ｎｏ）、通行者の認証に失敗したことを通知するメッセージを、管理者に通知するように第２表示部２６（図１及び７参照）に表示させる（ステップＳ６０６）。

図７は、第１の実施形態にかかる情報処理システムが有する第２認証装置における通行者の認証結果の表示例を示す図である。本実施形態では、第２出力部２５は、第２通行者認証部２４による通行者の認証に成功した場合、図７に示すように、通行者の認証成功を通知するためのメッセージ７０１と、第２画像Ｇ２に含まれる顔画像である入力画像７０２と、第２顔特徴抽出部２３により取得した特徴情報との類似度が高い認証用特徴情報から順に所定数（本実施形態では、３つ）の当該認証用特徴情報の取得元の顔画像（本実施形態では、当該認証用特徴情報と対応付けて記憶された識別情報が含む画像データに基づく顔画像）である参照画像７０３〜７０５と、を含む第３画面Ｄ３を管理者モニタとしての第２表示部２６に表示させる。その際、第２出力部２５は、第２顔特徴抽出部２３により取得した特徴情報との類似度が高い認証用特徴情報のうち最も類似度が高い認証用特徴情報の取得元の参照画像７０３を点滅させる等して、他の参照画像７０４，７０５とは異なる表示態様で表示させる。

本実施形態では、第２出力部２５は、第３画面Ｄ３を第２表示部２６に表示させることにより、第２通行者認証部２４による通行者の認証結果を管理者に通知しているが、これに限定するものではなく、例えば、第２認証装置２０が備える図示しないスピーカから音を発したり、第２認証装置２０の上位機器（情報処理システム１の管理者が操作する端末）に対して通行者の認証結果を有線または無線通信により送信したりすることにより、通行者の認証結果を通知しても良い。また、第２出力部２５は、第２通行者認証部２４による通行者の認証に成功した場合には、第２位置Ｐ２に設けられた入口ゲートを開けたり、第２位置Ｐ２に設けられた扉の鍵を開錠したりすることにより、通行者の認証結果を通知しても良い。また、第２出力部２５は、第２通行者認証部２４による通行者の認証に失敗した場合、第２撮像部２１の撮像により得られた第２画像Ｇ２に含まれる顔画像の画像データを、不正な通行者の顔画像の画像データとして上位機器に送信して、当該上位機器に記憶させても良い。

このように、第１の実施形態の情報処理システム１によれば、第１位置Ｐ１を通行者が通過した後、第２位置Ｐ２を通過するまでの間に通行者が入れ替わった場合、第１認証処理による通行者の認証に成功したとしても、第２認証処理における通行者の認証に失敗するため、通行者の入れ替わりを防止することができる。

また、第１の実施形態の情報処理システム１によれば、サーバ３０等の上位機器が有するデータベースから第１，２認証処理に用いる特徴情報を検索したり、第１，２認証処理に要する時間の短縮のために通行者の認証を簡潔なものに切り替えたりする必要がなくなるので、通行者の認証精度の低下を防止しつつ効率的に通行者の認証を行うことができる。

（第２の実施形態）
本実施形態は、第２位置を通過する通行者が所持する媒体から生体情報が読み取られた場合、第２認証処理に代えて、第２位置を通過する通行者が所持する媒体から読み取られた生体情報と、第２位置を通過する通行者を撮像部によって撮像して得られた第２画像から取得した生体情報と、を用いて、通行者を認証する第３認証処理を実行可能とする例である。以下の説明では、第１の実施形態と同様の箇所については説明を省略する。

図８は、第２の実施形態にかかる情報処理システムの機能的構成を示すブロック図である。本実施形態では、第２認証装置７０は、図８に示すように、第２撮像部２１、第２画像取得部２２、第２顔特徴抽出部２３および第２出力部２５に加えて、カードリーダ等により構成され、第２位置Ｐ２を通過する通行者が所持する媒体Ｍから特徴情報（第５生体情報の一例）を読取可能に設けられた第２識別情報読取部７１（第２読取部の一例）と、第２認証処理に代えて、第２顔特徴抽出部２３により取得した特徴情報と第２識別情報読取部７１により読み取った特徴情報とを用いて、通行者を認証する第３認証処理を実行可能な第２通行者認証部７２と、を備えている。

図９は、第２の実施形態にかかる情報処理システムが有する第２認証装置における通行者の認証処理の流れを示すフローチャートである。第２識別情報読取部７１は、第２認証装置７０が有する図示しない操作部（例えば、テンキーやタッチパネル等）によって識別情報の読み取りが指示されたか否かを判断する（ステップＳ９０１）。識別情報の読み取りが指示されなかった場合（ステップＳ９０１：Ｎｏ）、第２認証装置７０は、図６に示すステップＳ６０１〜ステップＳ６０６と同様の処理を実行する。

一方、識別情報の読み取りが指示された場合（ステップＳ９０１：Ｙｅｓ）、第２識別情報読取部７１は、第１認証装置１０が有する識別情報読取部１４と同様にして、第２位置Ｐ２を通過する通行者が所持する媒体Ｍから、特徴情報および通行者を識別可能とする識別情報を読み取る（ステップＳ９０２）。

第２画像取得部２２は、第２識別情報読取部７１により識別情報が読み取られた際、図６に示すステップＳ６０１と同様にして、第２撮像部２１の撮像により得られた第２画像Ｇ２を取得する（ステップＳ９０３）。また、第２顔特徴抽出部２３は、図６に示すステップＳ６０２と同様にして、第２画像Ｇ２から、当該第２画像Ｇ２に含まれる通行者の顔画像の特徴情報を取得する（ステップＳ９０４）。

第２通行者認証部７２は、第２認証処理に代えて、第２識別情報読取部７１により読み取られた特徴情報と第２顔特徴抽出部２３により取得された特徴情報とを用いて、通行者を認証する第３認証処理を行う（ステップＳ９０５）。本実施形態では、第２通行者認証部７２は、第２顔特徴抽出部２３により取得された特徴情報と、第２識別情報読取部７１により読み取られた特徴情報との類似度を算出する。そして、第２通行者認識部７２は、算出した類似度が所定の第３閾値を超えている場合には、通行者の認証に成功したと判断する（ステップＳ６０４：Ｙｅｓ）。一方、第２通行者認識部７２は、算出した類似度が第３閾値以下である場合には、通行者の認証に失敗したと判断する（ステップＳ６０４：Ｎｏ）。第３閾値は、第１認証装置１０における認証に用いる第１閾値よりも高い値にして通行者の認識精度を高くすることが好ましい。

このように、第２の実施形態にかかる情報処理システムによれば、第２識別情報読取部７１が設けられている場合、第２顔特徴抽出部２３により取得した特徴情報と類似する認証用特徴情報が特徴情報記憶部３１に記憶されていなくても、第２認証処理を実行することができるので、著名人等の特別な通行者が第１認証処理を免除されて第１位置Ｐ１を通過せずに、第２位置Ｐ２に到達した場合でも、当該特別な通行者以外の通常の通行者と同様にして第２認証処理を実行することができる。また、前記第１の実施形態と同様に第１位置Ｐ１を通行者が通過した後、第２位置Ｐ２を通過するまでの間に通行者が入れ替わった場合、第１認証処理による通行者の認証に成功したとしても、第２認証処理における通行者の認証に失敗するため、通行者の入れ替わりを防止することができる。

なお、本実施形態の第１認証装置１０および第２認証装置２０（７０）で実行されるプログラムは、ＲＯＭ（Read only Memory）等に予め組み込まれて提供される。

また、本実施形態の第１認証装置１０および第２認証装置２０（７０）で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、本実施形態の第１認証装置１０および第２認証装置２０（７０）で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の第１認証装置１０および第２認証装置２０（７０）で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

本実施形態の第１認証装置１０で実行されるプログラムは、上述した各部（第１画像取得部１２、第１顔特徴抽出部１３、第１通行者認証部１５、第１出力部１６）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（Central Processing Unit）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、第１画像取得部１２、第１顔特徴抽出部１３、第１通行者認証部１５、第１出力部１６が主記憶装置上に生成されるようになっている。

また、本実施形態の第２認証装置２０（７０）で実行されるプログラムは、上述した各部（第２画像取得部２２、第２顔特徴抽出部２３、第２通行者認証部２４（７２）、第２出力部２５）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵが上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、第２画像取得部２２、第２顔特徴抽出部２３、第２通行者認証部２４（７２）、第２出力部２５が主記憶装置上に生成されるようになっている。

また、本実施形態の情報処理システム１では、第１認証装置１０が、第１画像取得部１２、第１顔特徴抽出部１３、第１通行者認証部１５および第１出力部１６を有し、第２認証装置２０（７０）が、第２画像取得部２２、第２顔特徴抽出部２３、第２通行者認証部２４（７２）および第２出力部２５を有する構成となっているが、情報処理システム１内のいずれかの機器が、上述した各部を有していれば良く、例えば、サーバ３０等の１つの機器に上述した各部の全てを備えさせても良いし、情報処理システム１内の３以上の機器のいずれかに上述した各部を分割して備えさせても良い。

（第３の実施形態）
以下、添付の図面を用いて、第３の実施形態にかかる人物認証方法および人物認証システムについて説明する。なお、人物認証方法は情報処理方法に含まれ、人物認証システムは情報処理システムに含まれる。

図１０は、第３の実施形態にかかる人物認証システムを適用した出入国管理システムの構成を示す図である。本実施形態にかかる出入国管理システムは、図１０に示すように、出国時の認証処理における人物の撮像条件に従って、当該人物の行先での認証処理における人物の撮像条件を調整することによって、当該人物の行先での認証処理の精度を向上させることを可能とするシステムである。

ここでは、本実施形態にかかる人物認証方法および人物認証システムとしての情報処理システム１を、出入国管理システムに適用した例について説明するが、公共施設，重要施設，オフィスビル，商業施設等の人物が通行する際に認証処理を実行するシステム（例えば、入退室管理システムや映像監視システムなど）であれば、出力入国管理システム１と同様にして、本実施形態にかかる人物認証方法および人物認証システムを適用可能である。

本実施形態にかかる出入国管理システムは、図１０に示すように、出国審査カウンターＤＣまたは入国審査カウンターＩＣにおける１：１照合と、搭乗ゲートＢＧまたは荷物受取場所ＢＣにおける１：Ｎ照合とを組み合わせることにより、空港等の施設における人物の認証処理を効率的に実施するシステムである。

ここで、１：１照合は、搭乗ゲートＢＧまたは荷物受取場所ＢＣに人物が到達する前に、出国審査カウンターＤＣまたは入国審査カウンターＩＣを通過する人物が所持する旅券Ｐ（媒体の一例）から読み取った当該人物を識別可能とする識別情報と、当該人物を撮像して得られた画像から取得した生体情報とを用いて実行する認証処理である。１：Ｎ照合は、搭乗ゲートＢＧまたは荷物受取場所ＢＣを通過する人物を撮像して得られた画像から取得した生体情報と、予め記憶した複数の生体情報とを用いて実行する認証処理である。

具体的には、本実施形態にかかる出入国管理システムは、図１０に示すように、搭乗案内装置４０と、第１認証装置４１と、第２認証装置４２と、第３認証装置４３と、第４認証装置４４と、第１記憶装置４５と、第２記憶装置４６と、を有している。

搭乗案内装置４０は、第１位置Ｐ１としてのチェックインカウンターに設置され、航空機等に搭乗する人物が所持する航空券Ｔ（媒体の一例）からの行先情報の読み取り、当該人物が所持する旅券Ｐからの識別情報の読み取り、当該人物を撮像可能に設けられたカメラ１０１の撮像により得られた画像からの生体情報の取得等を行う。ここで、行先情報は、第１位置Ｐ１としてのチェックインカウンターを通過する人物の行先を示す情報である。そして、搭乗案内装置４０は、航空券Ｔから読み取った行先情報と、旅券Ｐから読み取った識別情報と、カメラ１０１の撮像により得られた画像から取得した生体情報と、を対応付けて、第１記憶装置４５に保存する。

第１認証装置４１は、出国審査カウンターＤＣに設置され、出国審査カウンターＤＣ（第１位置の一例）を通過する人物が所持する旅券Ｐからの識別情報（第１識別情報の一例）の読み取り、当該人物を撮像可能に設けられたカメラ１１１（第１撮像部の一例）の撮像により得られた画像（第１画像の一例）からの生体情報（第１生体情報の一例）の取得等を行う。次いで、第１認証装置４１は、出国する人物が保持する旅券Ｐから読み取った識別情報と、カメラ１１１の撮像により得られた画像から取得した生体情報とを用いて、当該人物の認証処理（以下、第１認証処理と言う）を実行する。そして、第１認証装置４１は、第１認証処理が成功した場合、当該第１認証処理に用いた識別情報および生体情報を、第１認証装置４１を識別可能とする装置識別情報に対応付けて第１記憶装置４５に保存する。さらに、第１認証装置４１は、第１認証処理が成功した場合、当該第１認証処理に用いた識別情報に対応付けて、カメラ１１１の撮像条件を第２記憶装置４６（記憶装置の一例）に保存する。第１１図に示すようにカメラ１１１で撮影された人物の顔画像と、撮影した場所（どのゲートか）としてのカメラ番号、撮影日時を左側に表示し、通過する人物が所持する旅券Ｐからの識別情報として旅券に保存されている人物の顔画像、その人物の氏名、性別、年齢を右側に対比して表示する管理者用の表示部が設けられている。上記の第１認証処理の結果、すなわち撮影した顔画像と、旅券に保存されている顔画像とを比較しての類似度(Similarity)を、カメラ１１１で撮影された顔画像の下に表示する。類似度が低い場合には通過する人物へ自動的に警告を発する。

なお、識別情報として旅券Ｐに保存されている人物の顔画像に対して、図１２Ａ〜図１２Ｅに示すように、撮影画像として不適切な場合がある。例えば、図１２Ａに示すように、サングラスによって顔を隠ぺいしている。図１２Ｂに示すように、毛髪によって顔を隠ぺいしている。図１２Ｃに示すように口を開くことによって表情が変化している。図１２Ｄに示すように顔が正面でなく横を向いている。図１２Ｅに示すように帽子によって顔を隠ぺいしている。以上のことが検出された場合には、表示部１０５、１１６或いは１２１などで通行者に対して再撮影を指示する。または、管理者への表示部に警告を発する。更に、図示しないが、撮影時の照明が明るすぎる或いは暗すぎる。また、画像を符号化した際に圧縮ノイズが含まれてしまっている場合には、管理者への表示部に警告を発して、撮影時の照明を適切にする調整を行い、圧縮ノイズが含まれないようにカメラ１０１、１１１、或いは１２１の調整を行う。

第２認証装置４２は、搭乗ゲートＢＧに設置され、当該搭乗ゲートＢＧを通過する人物を撮像可能に設けられたカメラ１２１の撮像により得られた画像からの生体情報の取得等を行う。第２認証装置４２は、原則として、搭乗ゲートＢＧを通過する人物が所持する旅券Ｐからの識別情報の読み取りを行わないものとする。次いで、第２認証装置４２は、取得した生体情報と、第１記憶装置４５に記憶された生体情報とを用いて、搭乗ゲートＢＧを通過する人物の認証処理を実行する。これにより、人物が出国する際の当該人物の最終的な認証において、旅券Ｐからの識別情報の読み取りを行うことなく、当該人物の認証を行うことができるので、多数の人物が搭乗ゲートＢＧを通過する場合であっても滞りが発生することなく人物の認証処理を実行することができる。

そして、第２認証装置４２は、搭乗ゲートＢＧを通過する人物を撮像して得られた画像から取得した生体情報が、第１記憶装置４５に記憶された生体情報のいずれかと一致した場合、搭乗ゲートＢＧを通過する人物の認証処理が成功したものとして、搭乗ゲートＢＧをオープンしたり搭乗ゲートＢＧに設置された扉の鍵を開錠したりすることにより、搭乗ゲートＢＧの通過を許可する。一方、第２認証装置４２は、搭乗ゲートＢＧを通過する人物を撮像して得られた画像から取得した生体情報が、第１記憶装置４５に記憶された生体情報のいずれとも一致しなかった場合、搭乗ゲートＢＧを通過する人物の認証処理が失敗したものとして、搭乗ゲートＢＧのオープンまたは搭乗ゲートＢＧに設置された扉の鍵の開錠を行わないことにより、搭乗ゲートＢＧの通過を禁止する。

本実施形態では、第２認証装置４２は、搭乗ゲートＢＧの通過を許可または禁止するためのゲートや扉の鍵等が設置されていない場合には、以下の処理によって搭乗ゲートＢＧの通過の許可または禁止を行う。第２認証装置４２は、搭乗ゲートＢＧを通過する人物の認証処理に成功した場合、第１記憶装置４５に記憶された生体情報のうち、搭乗ゲートＢＧを通過する人物を撮像して得られた画像から取得した生体情報と一致した生体情報に対応付けて、搭乗ゲートＢＧを正常に通過したことを示す情報を保存する。一方、第２認証装置４２は、搭乗ゲートＢＧを通過する人物の認証処理に失敗した場合、当該第２認証装置４２が備える表示部に対して認証が失敗したことを通知するための警告情報を表示させたり、外部端末に対して認証が失敗したことを通知するための警告情報を送信したり、搭乗ゲートＢＧを通過した人物を撮像して得られた画像を保存したりする。

第３認証装置４３は、入国審査カウンターＩＣ（第２位置の一例）に設置され、入国審査カウンターＩＣを通過する人物が所持する旅券Ｐから識別情報（第２識別情報の一例）を読み取る。次いで、第３認証装置４３は、第２記憶装置４６から、旅券Ｐから読み取った識別情報と一致する識別情報と対応付けて記憶された撮像条件を読み出す。次に、第３認証装置４３は、読み出した撮像条件に従って、入国審査カウンターＩＣを通過する人物を撮像可能に設けられたカメラ１３１（第２撮像部の一例）の撮像条件を調整する。

さらに、第３認証装置４３は、撮像条件を調整したカメラ１３１の撮像により得られた画像（第２画像の一例）から生体情報（第２生体情報の一例）を取得する。そして、第３認証装置４３は旅券Ｐから読み取った識別情報と、カメラ１３１の撮像により得られた画像から取得した生体情報とを用いて、当該人物の認証処理（以下、第２認証処理と言う）を実行する。これにより、出国審査カウンターＤＣでの第１認証処理に成功した場合のカメラ１１１の撮像条件と同様の撮像条件の下でのカメラ１３１の撮像により得られた画像から取得した生体情報を用いて第２認証処理を実行できるので、入国審査カウンターＩＣでの人物の認証精度を向上させることができる。そして、第３認証装置４３は、第２認証処理が成功した場合、第２認証処理に用いた識別情報と生体情報とを対応付けて第２記憶装置４６に保存する。

第４認証装置４４は、荷物受取場所ＢＣに設置され、当該荷物受取場所ＢＣを通過する人物を撮像可能に設けられたカメラ１４１の撮像により得られた画像からの生体情報の取得等を行う。次いで、第４認証装置４４は、取得した生体情報と、第２記憶装置４６に記憶された生体情報とを用いて、荷物受取場所ＢＣを通過する人物の認証処理を実行する。これにより、入国時における人物の最終的な認証において、旅券Ｐからの識別情報の読み取りを行うことなく、当該人物の認証を行うことができるので、多数の人物が荷物受取場所ＢＣを通過する場合であっても滞りが発生することなく人物の認証を実行することができる。

そして、第４認証装置４４は、荷物受取場所ＢＣを通過する人物を撮像して得られた画像から取得した生体情報が、第２記憶装置４６に記憶された生体情報のいずれかと一致した場合、荷物受取場所ＢＣを通過する人物の認証処理が成功したものとして、荷物受取場所ＢＣの通過を許可する。一方、第４認証装置４４は、荷物受取場所ＢＣを通過する人物を撮像して得られた画像から取得した生体情報が、第２記憶装置４６に記憶された生体情報のいずれとも一致しなかった場合、荷物受取場所ＢＣを通過する人物の認証処理が失敗したものとして、荷物受取場所ＢＣの通過を禁止する。

次に、図１３を用いて、本実施形態にかかる出入国管理システムが有する搭乗案内装置４０、第１認証装置４１、および第２認証装置４２の機能的な構成について説明する。図１３は、本実施形態にかかる出入国管理システムが有する搭乗案内装置４０、第１認証装置４１、および第２認証装置４２の機能的な構成を示す図である。

搭乗案内装置４０は、図１３に示すように、カメラ１０１の撮像により得られた画像を取得する画像取得部１０２と、当該画像取得部１０２により取得された画像内の顔画像の特徴情報を抽出する顔特徴抽出部１０３と、チェックインカウンターＰ１を通過する人物が所持する航空券Ｔから行先情報の読み取りを行う識別情報読取部１０４と、航空券Ｔからの行先情報の読取結果情報を表示可能な表示部１０５と、を有している。

第１認証装置４１は、図１３に示すように、カメラ１１１の撮像により得られた画像を取得する画像取得部１１２と、当該画像取得部１１２により取得された画像から、当該画像内の顔画像の特徴情報（生体情報の一例）を抽出（取得）する顔特徴抽出部１１３と、出国審査カウンターＤＣを通過する人物が所持する旅券Ｐから識別情報を読み取る識別情報読取部１１４と、顔特徴抽出部１１３により抽出した特徴情報および識別情報読取部１１４により読み取った識別情報を用いて、出国審査カウンターＤＣを通過する人物の第１認証処理を実行し、かつ当該第１認証処理が成功した場合、装置識別情報に対応付けて、第１認証処理に用いた識別情報および特徴情報を第１記憶装置４５に保存する人物認証部１１５と、当該人物認証部１１５による第１認証処理の結果等を表示可能な表示部１１６と、を有している。

本実施形態では、人物認証部１１５は、出国審査カウンターＤＣを通過する人物の第１認証処理が成功した場合、当該第１認証処理に用いた識別情報と対応付けて、当該第１認証処理に用いた画像を得たカメラ１１１の撮像条件（第１撮像条件の一例）を、図１４に示すカメラ１３１の撮像条件（第２撮像条件の一例）として図１４に示す第２記憶装置４６に保存する。本実施形態では、人物認証部１１５は、カメラ１１１の撮像条件を第２記憶装置４６に保存しているが、図１４に示す第３認証装置４３がアクセス可能な記憶装置にカメラ１１１の撮像条件を保存するものであれば、これに限定するものではなく、例えば、カメラ１１１の撮像条件を第１記憶装置４５に保存しても良い。

第２認証装置４２は、図１３に示すように、カメラ１２１の撮像により得られた画像を取得する画像取得部１２２と、当該画像取得部１２２により取得した画像内の顔画像の特徴情報を抽出する顔特徴抽出部１２３と、第１記憶装置４５に記憶された特徴情報および顔特徴抽出部１２３により抽出された特徴情報を用いて、搭乗ゲートＢＧを通過する人物の認証処理を実行する人物検索部１２４と、当該人物検索部１２４による人物の認証結果等を表示可能な表示部１２５と、を有している。

本実施形態では、人物検索部１２４は、顔特徴抽出部１２３により抽出された特徴情報が、第１記憶装置４５に記憶された特徴情報のいずれかと一致した場合、搭乗ゲートＢＧを通過する人物の認証処理に成功したと判断して、搭乗ゲートＢＧの通過を許可する。一方、人物検索部１２４は、顔特徴抽出部１２３により抽出された特徴情報が、第１記憶装置４５に記憶された特徴情報のいずれとも一致しなかった場合、搭乗ゲートＢＧを通過する人物の認証処理に失敗したと判断して、搭乗ゲートＢＧの通過を禁止する。

また、本実施形態では、第２認証装置４２は、第１認証装置４１における認証処理を実行していない人物が搭乗ゲートＢＧを通過する場合であっても、当該人物が搭乗ゲートＢＧを通過できるようにするために、当該人物が所持する旅券Ｐから識別情報を読取可能な図示しない読取部を有していても良い。この場合、第２認証装置４２の人物検索部１２４は、第２認証装置４２が有する図示しない読取部により読み取られた識別情報と、顔特徴抽出部１２３により抽出された特徴情報とを用いて、搭乗ゲートＢＧを通過する人物の認証処理を実行する。

次に、図１４を用いて、本実施形態にかかる出入国管理システムが有する第３認証装置４３の機能的な構成について説明する。図１４は、本実施形態にかかる出入国管理システムが有する第３認証装置の機能的な構成を示す図である。

第３認証装置４３は、図１４に示すように、入国審査カウンターＩＣを通過する人物が所持する旅券Ｐから識別情報を読み取る識別情報読取部１３２と、第２記憶装置４６から、識別情報読取部１３２により読み取られた識別情報と一致する識別情報に対応付けて記憶された撮像条件を読み出し、かつ当該読み出した撮像条件に従ってカメラ１３１の撮像条件を調整する撮像条件調整部１３３と、撮像条件が調整されたカメラ１３１の撮像により得られた画像を取得する画像取得部１３４と、当該画像取得部１３４により取得された画像から、当該画像内の顔画像の特徴情報（生体情報の一例）を抽出（取得）する顔特徴抽出部１３５と、当該顔特徴抽出部１３５により抽出した特徴情報および識別情報読取部１３２により読み取った識別情報とを用いて、入国審査カウンターＩＣを通過する人物の第２認証処理を実行し、かつ当該第２認証処理が成功した場合、当該第２認証処理に用いた識別情報と特徴情報とを対応付けて第２記憶装置４６に保存する人物認証部１３６と、当該人物認証部１３６による第２認証処理の結果を表示する表示部１３７と、を有している。

本実施形態では、撮像条件調整部１３３は、第２記憶装置４６から読み出した撮像条件に近づくように、カメラ１３１の撮像条件を調整する。これにより、出国審査カウンターＤＣでの第１認証処理に成功した場合のカメラ１１１の撮像条件を基準とする、カメラ１３１の撮像条件の変動を抑制することができるので、入国審査カウンターＩＣでの認証精度のロバスト性を向上させることができる。

次に、図１５を用いて、本実施形態にかかる出入国管理システムが有する第４認証装置４４の機能的な構成について説明する。図１５は、本実施形態にかかる出入国管理システムが有する第４認証装置の機能的な構成を示す図である。

第４認証装置４４は、図１５に示すように、荷物受取場所ＢＣを通過する人物を撮像可能に設けられたカメラ１４１の撮像により得られた画像を取得する第１画像取得部１４２と、当該第１画像取得部１４２により取得された画像内の顔画像の特徴情報を抽出する第１顔特徴抽出部１４３と、第２記憶装置４６に記憶された特徴情報および第１顔特徴抽出部１４３により抽出された特徴情報を用いて、荷物受取場所ＢＣを通過する人物の認証処理を実行する人物検索部１４４と、当該人物検索部１４４による認証処理の結果を表示可能な第１表示部１４５と、を有している。

また、第４認証装置４４は、図１５に示すように、荷物受取場所ＢＣにおいて荷物を受け取る人物を撮像可能に設けられたカメラ１４１の撮像により得られた画像を取得する第２画像取得部１４６と、当該第２画像取得部１４６により取得された画像内の顔画像の特徴情報を抽出する第２顔特徴抽出部１４７と、荷物受取場所ＢＣを通過する人物が所持する荷物タグ４００から、荷物の所有者を識別可能とする情報であるタグ情報を読み取るタグ情報読取部１４８と、第２記憶装置４６においてタグ情報読取部１４８により読み取られたタグ情報と一致する識別情報と対応付けて記憶された特徴情報および第２顔特徴抽出部１４７により抽出された特徴情報を用いて、荷物受取場所ＢＣにおいて荷物を受け取った人物の認証処理を実行する人物認証部１４９と、当該人物認証部１４９による認証処理の結果を表示可能な第２表示部１５０と、を有する。

次に、図１６を用いて、本実施形態にかかる出入国管理システムが有する搭乗案内装置４０による生体情報の取得処理について説明する。図１６は、本実施形態にかかる出入国管理システムが有する搭乗案内装置４０による生体情報の取得処理の流れを示すフローチャートである。

まず、識別情報読取部１０４は、チェックインカウンターＰ１を通過する人物が所持する航空券Ｔから、当該人物の行先を示す行先情報を読み取る（ステップＳ１６０１）。さらに、識別情報読取部１０４は、チェックインカウンターＰ１を通過する人物が所持する旅券Ｐに埋め込まれたＩＣチップから、当該旅券Ｐの名義人の顔画像の特徴情報を識別情報として読み取る（ステップＳ１６０２）。

本実施形態では、識別情報読取部１０４は、例えばカードリーダ等により構成され、航空券Ｔからの行先情報の読み取りおよび旅券Ｐに埋め込まれたＩＣチップからの識別情報の読み取りが可能である。本実施形態では、識別情報読取部１０４は、旅券Ｐの名義人の顔画像の特徴情報を識別情報として読み取っているが、旅券Ｐの名義人を識別可能とする識別情報を読み取るものであれば、これに限定するものではない。例えば、旅券Ｐの名義人を一意に特定するためのＩＤ番号、旅券Ｐの名義人の生体情報（例えば、顔画像や指紋や虹彩等）、旅券Ｐの名義人の個人情報（例えば、氏名，生年月日，性別，年齢，所属，経歴等）などを識別情報として読み取っても良い。

本実施形態では、識別情報読取部１０４は、航空券Ｔまたは旅券Ｐから、行先情報や識別情報等の各種情報を読み取っているが、これに限定するものではなく、識別情報読取部１０４を、例えばテンキー，タッチパネル等、行先情報や識別情報等の各種情報を入力可能な入力部により構成することも可能である。この場合、搭乗案内装置４０のユーザ（例えば、チェックインカウンターＰ１を通過する人物など）は、入力部として機能する識別情報読取部１０４を操作して、行先情報や識別情報を入力する。

本実施形態では、識別情報読取部１０４が、旅券Ｐに埋め込まれたＩＣチップから識別情報（例えば、出入国管理システム以外の外部機器によって保存された識別情報）を読み取る例について説明するが、旅券Ｐから識別情報を読み取るものであれば、これに限定するものではない。例えば、識別情報読取部１０４は、旅券Ｐに印刷された顔画像を読み取り、読み取った顔画像の特徴情報を識別情報として読み取ることも可能である。顔画像からの特徴情報の読取方法は、後述する顔特徴抽出部１０３による特徴情報の抽出方法と同様である。

行先情報および識別情報が読み取られると、画像取得部１０２は、カメラ１０１を制御して、チェックインカウンターＰ１を通過する人物を撮像する。そして、画像取得部１０２は、カメラ１０１の撮像により得られた画像を取得する（ステップＳ１６０３）。ここで、カメラ１０１は、例えばビデオカメラ等により構成され、チェックインカウンターＰ１を通過する人物を撮像可能に設けられている。本実施形態では、カメラ１０１は、チェックインカウンターＰ１を通過する人物の顔を撮像可能に設けられている。そして、カメラ１０１は、チェックインカウンターＰ１を通過する人物の撮像により得られた画像を、図示しないＡ／Ｄ変換器によってデジタル化して出力する。

次いで、顔特徴抽出部１０３は、画像取得部１０２により取得された画像から顔画像を検出し、当該検出した顔画像の特徴情報を抽出する（ステップＳ１６０４）。本実施形態では、顔特徴抽出部１０３は、まず、画像取得部１０２により取得された画像内において、予め設定された顔検出用のテンプレートを移動させながら、取得した画像とテンプレート間の相関値を求める。そして、顔特徴抽出部１０３は、取得した画像内において、テンプレートとの相関値が最も高い領域を顔画像として検出する。

本実施形態では、顔特徴抽出部１０３は、画像取得部１０２により取得された画像から、予め設定された顔検出用のテンプレートを用いて顔画像を検出しているが、これに限定するものではなく、例えば周知の固有空間法や部分空間法等を用いて、画像取得部１０２により取得された画像から顔画像を検出することも可能である。また、顔特徴抽出部１０３は、例えば日本特許第５３５５４４６号等に記載される方法を用いて、画像取得部１０２により取得された複数の画像の中から、チェックインカウンターＰ１を通過する人物の複数の顔画像を検出する。次いで、顔特徴抽出部１０３は、検出した複数の顔画像から特徴情報の抽出に必要な顔画像を選択することも可能である。

次に、顔特徴抽出部１０３は、検出した顔画像から、例えば日本特許第３２７９９１３号等に記載される方法を用いて目や鼻等の顔の部位を検出する。その後、顔特徴抽出部１０３は、検出した顔の部位から、チェックインカウンターＰ１を通過する人物を識別可能とする特徴情報を数値化して出力する。具体的には、顔特徴抽出部１０３は、検出した顔の部位の位置に基づいて、画像取得部１０２により取得された画像から検出した顔画像から、所定の大きさおよび所定の形状の領域を切り出す。そして、顔特徴抽出部１０３は、切り出した領域の濃淡情報を、特徴情報として抽出する。顔特徴抽出部１０３は、例えば日本特許第４０８７９５３号等に記載された部分空間法を用いて、顔画像から切り出したｍ×ｎ画素の領域の濃淡情報を、ｍ×ｎ次元の特徴ベクトル（特徴情報）とする。

次いで、顔特徴抽出部１０３は、識別情報読取部１０４により読み取った行先情報および識別情報に対応付けて、抽出した特徴情報を第１記憶装置４５に保存する（ステップＳ１６０５）。

次に、図１７を用いて、本実施形態にかかる出入国管理システムが有する第１認証装置４１による認証処理について説明する。図１７は、本実施形態にかかる出入国管理システムが有する第１認証装置による認証処理の流れを示すフローチャートである。

まず、識別情報読取部１１４は、出国審査カウンターＤＣを通過する人物が所持する旅券Ｐから、旅券Ｐの名義人の識別情報を読み取る（ステップＳ１７０１）。識別情報読取部１１４による旅券Ｐからの識別情報の読取方法は、搭乗案内装置４０が有する識別情報読取部１０４による旅券Ｐからの識別情報の読取方法と同様である。

識別情報が読み取られると、画像取得部１１２は、カメラ１１１を制御して、出国審査カウンターＤＣを通過する人物を撮像する。そして、画像取得部１１２は、カメラ１１１の撮像により得られた画像を取得する（ステップＳ１７０２）。ここで、カメラ１１１は、例えばビデオカメラ等により構成され、出国審査カウンターＤＣを通過する人物を撮像可能に設けられている。本実施形態では、カメラ１１１は、出国審査カウンターＤＣを通過する人物の顔を撮像可能に設けられている。そして、カメラ１１１は、出国審査カウンターＤＣを通過する人物の撮像により得られた画像を、図示しないＡ／Ｄ変換器によってデジタル化して出力する。

次いで、顔特徴抽出部１１３は、画像取得部１１２により取得された画像から顔画像を検出し、当該検出した顔画像の特徴情報を抽出する（ステップＳ１７０３）。顔特徴抽出部１１３による画像からの特徴情報の抽出方法は、搭乗案内装置４０が有する顔特徴抽出部１０３による画像からの特徴情報の抽出方法と同様である。

次に、人物認証部１１５は、識別情報読取部１１４により読み取った識別情報および顔特徴抽出部１１３により抽出した特徴情報を用いて、出国審査カウンターＤＣを通過する人物の第１認証処理（１：１照合）を実行する（ステップＳ１７０４）。本実施形態では、人物認証部１１５は、まず、識別情報読取部１１４によって識別情報として読み取った特徴情報と、顔特徴抽出部１１３により抽出した特徴情報との類似度を算出する。

具体的には、人物認証部１１５は、識別情報読取部１１４により読み取った特徴情報と、顔特徴抽出部１１３により抽出した特徴情報との類似性指標の算出を行う。ここで、類似性指標は、識別情報読取部１１４により読み取った特徴情報の部分空間と、顔特徴抽出部１１３により抽出した特徴情報の部分空間との類似度とする。人物認証部１１５は、例えば日本特許第４０８７９５３号等に記載された部分空間法や複合類似度法等によって、識別情報読取部１１４により読み取った特徴情報の部分空間と、顔特徴抽出部１１３により抽出した特徴情報の部分空間とがなす角度を、当該２つの部分空間同士の類似度として算出する。

または、人物認証部１１５は、識別情報読取部１１４により読み取った特徴情報と顔特徴抽出部１１３により抽出した特徴情報とのユークリッド距離やマハラノビス距離等を用いて、当該２つの特徴情報の類似度を求めても良い。この場合、人物認証部１１５は、識別情報読取部１１４により読み取った特徴情報と顔特徴抽出部１１３により抽出した特徴情報とのユークリッド距離やマハラノビス距離が大きくなるに従って類似度が低くなる。

人物認証部１１５は、算出した類似度が所定の第１閾値以上である場合には、出国審査カウンターＤＣを通過する人物の第１認証処理が成功したと判断する。言い換えると、人物認証部１１５は、算出した類似度が第１閾値以上である場合には、出国審査カウンターＤＣを通過する人物が、旅券Ｐの名義人本人であると判断する（ステップＳ１７０５：Ｙｅｓ）。そして、出国審査カウンターＤＣを通過する人物が旅券Ｐの名義人本人であると判断した場合、人物認証部１１５は、識別情報読取部１１４により読み取った識別情報と対応付けて、カメラ１１１の撮像条件を、カメラ１３１の撮像条件として第２記憶装置４６に保存する（ステップＳ１７０６）。

ここで、撮像条件は、旅券Ｐの名義人本人であると判断した人物を撮像した際のカメラ１１１の撮像条件である。本実施形態では、撮像条件は、カメラ１１１の撮像により得られた画像（すなわち、第１認証処理に用いた特徴情報を取得した画像）に関する情報である。具体的には、撮像条件は、カメラ１１１の撮像により得られた画像に含まれる顔画像、当該画像に基づく人物の身長、および当該画像に基づく照明条件（言い換えると、当該が画像を得た際のカメラ１１１の撮像範囲の照明条件）の少なくとも１つを含む。

また、本実施形態では、人物認証部１１５は、出国審査カウンターＤＣを通過する人物が旅券Ｐの名義人本人であると判断した場合、第１認証装置４１の装置識別情報に対応付けて、識別情報読取部１１４によって読み取った識別情報および顔特徴抽出部１１３により抽出した特徴情報を第１記憶装置４５に保存する。これにより、第１記憶装置４５に記憶された識別情報および特徴情報が、いずれの第１認証装置４１における第１認証処理に用いられた情報であるかを特定することができるので、第２認証装置４２において、第１記憶装置４５に記憶された識別情報および特徴情報を用いて認証処理を実行する際に、所定の第１認証装置４１によって保存された識別情報および特徴情報を用いて認証処理を実行することができる。

本実施形態では、人物認証部１１５は、識別情報読取部１１４によって識別情報として読み取った特徴情報に対応付けて、顔特徴抽出部１１３によって抽出した特徴情報を第１記憶装置４５に保存しているが、これに限定するものではなく、例えば、第１認証処理を実行した時刻を示す時刻、旅券Ｐの名義人の顔画像，氏名，生年月日，性別，年齢，身長などの識別情報に対応付けて、顔特徴抽出部１１３によって抽出した特徴情報を第１記憶装置４５に保存しても良い。また、人物認証部１１５は、識別情報読取部１１４によって読み取った識別情報に対応付けて、顔特徴抽出部１１３によって抽出した特徴情報の特徴ベクトル，部分空間，相関行列等を第１記憶装置４５に保存しても良い。

出国審査カウンターＤＣを通過する人物が旅券Ｐの名義人本人であると判断した場合、表示部１１６は、人物認証部１１５による第１認証処理が成功したことを通知するための情報を表示する（ステップＳ１７０７）。

一方、人物認証部１１５は、算出した類似度が第１閾値未満である場合には、出国審査カウンターＤＣを通過する人物の第１認証処理が失敗したと判断する。言い換えると、人物認証部１１５は、算出した類似度が第１閾値未満である場合、出国審査カウンターＤＣを通過する人物が、旅券Ｐの名義人本人ではないと判断する（ステップＳ１７０５：Ｎｏ）。そして、出国審査カウンターＤＣを通過する人物が旅券Ｐの名義人本人でないと判断した場合、表示部１１６は、人物認証部１１５による第１認証処理が失敗したことを通知するための情報を表示する（ステップＳ１７０８）。

次に、図１８を用いて、本実施形態にかかる出入国管理システムが有する第２認証装置４２による認証処理について説明する。図１８は、本実施形態にかかる出入国管理システムが有する第２認証装置による認証処理の流れを示すフローチャートである。

まず、画像取得部１２２は、カメラ１２１を制御して、搭乗ゲートＢＧを通過する人物を撮像する。そして、画像取得部１２２は、カメラ１２１の撮像により得られた画像を取得する（ステップＳ１８０１）。ここで、カメラ１２１は、例えばビデオカメラ等により構成され、搭乗ゲートＢＧを通過する人物を撮像可能に設けられている。本実施形態では、カメラ１２１は、搭乗ゲートＢＧを通過する人物の顔を撮像可能に設けられている。そして、カメラ１２１は、搭乗ゲートＢＧを通過する人物の撮像により得られた画像を、図示しないＡ／Ｄ変換器によってデジタル化して出力する。

顔特徴抽出部１２３は、画像取得部１２２により取得された画像から顔画像を検出し、当該検出した顔画像の特徴情報を抽出する（ステップＳ１８０２）。顔特徴抽出部１２３による画像からの特徴情報の抽出方法は、搭乗案内装置４０が有する顔特徴抽出部１０３による画像からの特徴情報の抽出方法と同様である。

人物検索部１２４は、顔特徴抽出部１２３により抽出された特徴情報と、第１記憶装置４５に記憶された特徴情報とを用いて、搭乗ゲートＢＧを通過する人物の認証処理（１：Ｎ照合）を実行する（ステップＳ１８０３）。その際、人物検索部１２４は、第１記憶装置４５に記憶された特徴情報のうち、所定の装置識別情報以外の装置識別情報と対応付けて記憶された特徴情報を用いた、認証処理の実行を禁止する。これにより、所定の第１認証装置４１の第１認証処理に使用された特徴情報を用いて、搭乗ゲートＢＧを通過する人物の認証処理を実行することができるので、搭乗ゲートＢＧを通過する人物の認証処理の信頼性を向上させることができる。

本実施形態では、人物検索部１２４は、第１記憶装置４５に記憶された各特徴情報と、顔特徴抽出部１２３により抽出された特徴情報との類似度を算出する。ここで、人物検索部１２４による類似度の算出方法は、第１認証装置４１が有する人物認証部１１５による類似度の算出方法と同様である。次いで、人物検索部１２４は、第１記憶装置４５に記憶された特徴情報のうち、顔特徴抽出部１２３により抽出された特徴情報との類似度が最も高い特徴情報を選択する。そして、人物検索部１２４は、選択した特徴情報と顔特徴抽出部１２３により抽出された特徴情報との類似度が第１閾値以上である場合に、搭乗ゲートＢＧを通過する人物の認証処理が成功したと判断して（言い換えると、顔特徴抽出部１２３により抽出された特徴情報が、第１記憶装置４５に記憶された特徴情報のいずれかと一致したと判断して）、搭乗ゲートＢＧの通過を許可する（ステップＳ１８０４：Ｙｅｓ）。

さらに、搭乗ゲートＢＧを通過する人物の認証処理が成功した場合、表示部１２５は、人物検索部１２４による認証処理が成功したことを通知するための情報を表示する（ステップＳ１８０５）。また、搭乗ゲートＢＧを通過する人物の認証処理が成功した場合、人物検索部１２４は、第１記憶装置４５から、認証処理が成功した人物の識別情報と対応付けて記憶された各種情報（例えば、装置識別情報、特徴情報、行先情報など）を消去する。また、人物検索部１２４は、第１記憶装置４５に保存されてから所定時間経過した識別情報と対応付けて記憶された各種情報も消去する。これにより、搭乗ゲートＢＧを通過する人物の認証処理において、第１記憶装置４５に記憶された特徴情報のうち、ステップＳ１８０２において抽出した特徴情報との類似度を算出する特徴情報の数を減らすことができるので、無駄な算出処理を省略することができ、認証処理の処理速度の向上およびリソースの節約を図ることができる。また、第１記憶装置４５に記憶された特徴情報の信頼性を維持することができる。

一方、人物検索部１２４は、選択した特徴情報と、顔特徴抽出部１２３により抽出された特徴情報との類似度が、第１閾値未満である場合に、搭乗ゲートＢＧを通過する人物の認証処理が失敗したと判断して、搭乗ゲートＢＧの通過を禁止する（ステップＳ１８０４：Ｎｏ）。さらに、搭乗ゲートＢＧを通過する人物の認証処理が失敗した場合、表示部１２５は、人物検索部１２４による認証処理が失敗したことを通知するための情報を表示する（ステップＳ１８０６）。

人物検索部１２４は、第１記憶装置４５に記憶されている複数の特徴情報に対して、当該特徴情報間の識別に不必要な情報を取り除くための処理を実行可能である。例えば、人物検索部１２４は、日本特許第４０８７９５３号等に記載された制約相互部分空間法を用いて、第１記憶装置４５に特徴情報として記憶されている特徴ベクトルを、部分空間に射影または変換することにより、第１記憶装置４５に記憶されている特徴情報間の識別精度を高める。これにより、特徴情報に含まれる不必要な情報を用いて、認証処理が実行されることを防止できるので、認証処理による通行者の認証精度を向上させることができる。

本実施形態では、人物検索部１２４は、第１認証装置４１の識別情報読取部１１４により旅券Ｐから読み取られた識別情報が特徴情報（生体情報の一例）である場合には、第１記憶装置４５に記憶された識別情報と、顔特徴抽出部１２３により抽出された特徴情報とを用いて、搭乗ゲートＢＧを通過する人物の認証処理を実行しても良い。これにより、第１認証装置４１と同様に、旅券Ｐから識別情報として読み取った特徴情報を用いて、搭乗ゲートＢＧを通過する人物の認証処理を実行することになるので、搭乗ゲートＢＧのセキュリティ性を確保することができる。ただし、旅券Ｐから識別情報として読み取られる特徴情報は、一般的に、認証処理を実行する時点よりも古い特徴情報であるため、認証処理が、認証対象の人物の経年変化等の影響を受け易い。

そこで、本実施形態では、人物検索部１２４は、上述したように、第１記憶装置４５に記憶された特徴情報（第１認証装置４１の顔特徴抽出部１１３により抽出された特徴情報）と、顔特徴抽出部１２３により抽出された特徴情報とを用いて、搭乗ゲートＢＧを通過する人物の認証処理を実行することにより、認証処理が、認証対象の人物の経年変化等の影響を受けることを軽減でき、かつ当該人物の認証精度を向上させることができる。

若しくは、人物検索部１２４は、第１記憶装置４５に記憶された識別情報および特徴情報のうち少なくともいずれか一方と、顔特徴抽出部１２３により抽出された特徴情報が一致した場合に、搭乗ゲートＢＧを通過する人物の認証処理に成功したと判断しても良い。これにより、第１記憶装置４５に記憶された情報を用いた、搭乗ゲートＢＧを通過する人物の認証処理の失敗を減らすことができる。

また、人物検索部１２４は、カメラ１２１の撮像により得られた画像等に基づいて、搭乗ゲートＢＧの混雑度を検知し、検知した混雑度に応じて、搭乗ゲートＢＧを通過する人物の認証処理の処理速度を変更（例えば、検出した混雑度が所定値より高い場合には、認証処理の処理速度を上げるなど）することにより、単位時間当たりに、搭乗ゲートＢＧを通過する人物の数を制御することも可能である。さらに、人物検索部１２４は、顔特徴抽出部１２３により抽出された特徴情報が所定の特徴情報（例えば、ファーストクラスの人物の特徴情報など）である場合には、当該所定の特徴情報を有する人物を優先的に搭乗させることを通知するための情報を表示部１２５に表示させても良い。

また、人物検索部１２４は、搭乗ゲートＢＧを通過する人物の認証処理が成功した場合に、第１記憶装置４５において、顔特徴抽出部１２３により抽出された特徴情報と一致する識別情報と対応付けて記憶された行先情報を読み出す。そして、人物検索部１２４は、読み出した行先情報が示す行先が、搭乗ゲートＢＧを通過した人物が搭乗する飛行機の行先と一致しない場合、行先が違う搭乗者が存在することを通知するための情報を表示部１２５に表示させることが可能である。

また、人物検索部１２４は、搭乗ゲートＢＧを通過する人物の認証処理が失敗した場合、搭乗ゲートＢＧを通過する人物が保持する航空券Ｔを用いた搭乗を指示するための情報を表示部１２５に表示させても良い。

次に、図１９を用いて、本実施形態にかかる出入国管理システムが有する第２認証装置４２が旅券Ｐから識別情報を読取可能な読取部を備える場合の認証処理について説明する。図１９は、本実施形態にかかる出入国管理システムが有する第２認証装置が旅券から識別情報を読取可能な読取部を備える場合の認証処理の流れを示すフローチャートである。

まず、画像取得部１２２は、第２認証装置４２が備える図示しない入力部が操作されて、搭乗ゲートＢＧを通過する人物が所持する旅券Ｐからの識別情報の読み取りを指示する読取指示が入力されたか否かを判断する（ステップＳ１９０１）。読取指示が入力されなかった場合（ステップＳ１９０１：Ｎｏ）、第２認証装置４２は、図１８に示すステップＳ１８０１〜ステップＳ１８０６と同様の処理を実行する。

一方、読取指示が入力された場合（ステップＳ１９０１：Ｙｅｓ）、第２認証装置４２が備える図示しない読取部は、搭乗ゲートＢＧを通過する人物が所持する旅券Ｐから、旅券Ｐの名義人の識別情報を読み取る（ステップＳ１９０２）。第２認証装置４２が備える図示しない読取部による旅券Ｐからの識別情報の読取方法は、搭乗案内装置４０が有する識別情報読取部１０４による旅券Ｐからの識別情報の読取方法と同様である。次いで、第２認証装置４２は、図１８に示すステップＳ１８０１〜ステップＳ１８０２と同様の処理を実行する。

次に、人物検索部１２４は、第２認証装置４２が有する図示しない読取部によって旅券Ｐから読み取った識別情報および顔特徴抽出部１２３により抽出した特徴情報を用いて、搭乗ゲートＢＧを通過する人物の認証処理を実行する（ステップＳ１９０３）。本実施形態では、人物検索部１２４は、第１認証装置４１が備える人物認証部１１５による認証処理と同様にして、搭乗ゲートＢＧを通過する人物の認証処理を実行する。

ただし、第２認証装置４２が有する図示しない読取部によって旅券Ｐから識別情報を読み取った場合、第１認証装置４１における認証処理を行っていないため、人物検索部１２４は、旅券Ｐから識別情報として読み取った特徴情報と顔特徴抽出部１２３により抽出した特徴情報との類似度と比較する所定の第２閾値を、第１認証装置４１における認証処理において用いた第１閾値より高くしても良い。若しくは、人物検索部１２４は、搭乗ゲートＢＧを通過する人物の認証処理の効率化を優先する場合には、第２閾値を第１閾値よりも低くしても良い。

次に、図２０を用いて、本実施形態にかかる出入国管理システムが有する第３認証装置４３による認証処理について説明する。図２０は、本実施形態にかかる出入国管理システムが有する第３認証装置４３による認証処理の流れを示すフローチャートである。

まず、識別情報読取部１３２は、入国審査カウンターＩＣを通過する人物が所持する旅券Ｐから、旅券Ｐの名義人の識別情報を読み取る（ステップＳ２００１）。識別情報読取部１３２による旅券Ｐからの識別情報の読取方法は、搭乗案内装置４０が有する識別情報読取部１０４による旅券Ｐからの識別情報の読取方法と同様である。

識別情報が読み取られると、撮像条件調整部１３３は、第２記憶装置４６から、識別情報読取部１３２により読み取った識別情報と一致する識別情報と対応付けて記憶された撮像条件を読み出す。そして、撮像条件調整部１３３は、読み出した撮像条件に従って、カメラ１３１の撮像条件を調整する（ステップＳ２００２）。これにより、出国審査カウンターＤＣでの第１認証処理に成功した場合のカメラ１１１の撮像条件と同様の撮像条件の下でのカメラ１３１の撮像により得られた画像から取得した生体情報を用いて第２認証処理を実行できるので、入国審査カウンターＩＣでの人物の認証精度を向上させることができる。

本実施形態では、撮像条件調整部１３３は、読み出した撮像条件が身長を含む場合、当該身長に従って、入国審査カウンターＩＣを通過する人物の顔が正面から撮像されるように、カメラ１３１の撮像範囲を調整する。また、本実施形態では、撮像条件調整部１３３は、読み出した撮像条件が照明条件を含む場合、当該照明条件に従って、入国審査カウンターＩＣに光を照射可能な光源を調整する。

また、本実施形態では、撮像条件調整部１３３は、読み出した撮像条件が顔画像を含む場合、当該顔画像に近い表情を指示するための第１指示を表示部１３７に表示する。また、撮像条件調整部１３３は、読み出した撮像条件が顔画像を含みかつ当該顔画像が眼鏡をかけた顔画像である場合、眼鏡の着用を指示するための第２指示を表示部１３７に表示する。また、撮像条件調整部１３３は、読み出した撮像条件が顔画像を含む場合、当該顔画像に近い髪型を指示するための第３指示を表示部１３７に表示することも可能である。これにより、出国審査カウンターＤＣでの第１認証処理に成功した場合のカメラ１１１の撮像条件により近い撮像条件の下でのカメラ１３１の撮像により得られた画像から取得した生体情報を用いて第２認証処理を実行できるので、入国審査カウンターＩＣでの人物の認証精度をさらに向上させることができる。

次に、カメラ１３１の撮像条件が調整された後、画像取得部１３４は、カメラ１３１を制御して、入国審査カウンターＩＣを通過する人物を撮像する。そして、画像取得部１３４は、カメラ１３１の撮像により得られた画像を取得する（ステップＳ２００３）。ここで、カメラ１３１は、例えばビデオカメラ等により構成され、入国審査カウンターＩＣを通過する人物を撮像可能に設けられている。本実施形態では、カメラ１３１は、入国審査カウンターＩＣを通過する人物の顔を撮像可能に設けられている。そして、カメラ１３１は、入国審査カウンターＩＣを通過する人物の撮像により得られた画像を、図示しないＡ／Ｄ変換器によってデジタル化して出力する。

次いで、顔特徴抽出部１３５は、画像取得部１３４により取得された画像から顔画像を検出し、当該検出した顔画像の特徴情報を抽出する（ステップＳ２００４）。顔特徴抽出部１３５による画像からの特徴情報の抽出方法は、搭乗案内装置４０が有する顔特徴抽出部１０３による画像からの特徴情報の抽出方法と同様である。

次に、人物認証部１３６は、識別情報読取部１３２により読み取った識別情報および顔特徴抽出部１３５により抽出した特徴情報を用いて、入国審査カウンターＩＣを通過する人物の第２認証処理（１：１照合）を実行する（ステップＳ２００５）。人物認証部１３６による人物の認証方法は、第１認証装置４１が有する人物認証部１１５による人物の認証方法と同様である。

本実施形態では、人物認証部１３６は、読み出した撮像条件が身長を含む場合、識別情報読取部１３２により識別情報として読み取った特徴情報と顔特徴抽出部１３５により抽出した特徴情報との類似度が第１閾値以上であり、かつ読み出した撮像条件が含む身長と画像取得部１３４により取得された画像に基づく人物の身長とが一致した場合に、第２認証処理が成功したと判断することも可能である。これにより、入国審査カウンターＩＣを通過する人物の特徴情報に加えて、当該人物の身長を考慮して第２認証処理が実行されるので、第２認証処理による人物の認証精度を向上させることができる。

人物認証部１３６は、入国審査カウンターＩＣを通過する人物の第２認証処理が成功して、入国審査カウンターＩＣを通過する人物が旅券Ｐの名義人本人であると判断した場合（ステップＳ２００６：Ｙｅｓ）、識別情報読取部１３２により読み取った識別情報と対応付けて、顔特徴抽出部１３５により抽出した特徴情報を第２記憶装置４６に保存する（ステップＳ２００７）。さらに、入国審査カウンターＩＣを通過する人物が旅券Ｐの名義人本人であると判断した場合、表示部１３７は、人物認証部１３６による第２認証処理が成功したことを通知するための情報を表示する（ステップＳ２００８）。

一方、入国審査カウンターＩＣを通過する人物が旅券Ｐの名義人本人でないと判断した場合（ステップＳ２００６：Ｎｏ）、表示部１３７は、人物認証部１３６による第２認証処理が失敗したことを通知するための情報を表示する（ステップＳ２００９）。

次に、図２１を用いて、本実施形態にかかる出入国管理システム１が有する第４認証装置４４による認証処理について説明する。図２１は、本実施形態にかかる出入国管理システムが有する第４認証装置４４による認証処理の流れを示すフローチャートである。

まず、第１画像取得部１４２および第２画像取得部１４６は、第４認証装置４４が備える図示しない入力部が操作されて、荷物受取場所ＢＣを通過する人物が所持する荷物タグ４００からのタグ情報の読み取りを指示する読取指示が入力されたか否かを判断する（ステップＳ２１０１）。

読取指示が入力されなかった場合（ステップＳ２１０１：Ｎｏ）、第１画像取得部１４２は、カメラ１４１を制御して、荷物受取場所ＢＣを通過する人物を撮像する。そして、第１画像取得部１４２は、カメラ１４１の撮像により得られた画像を取得する（ステップＳ２１０２）。ここで、カメラ１４１は、例えばビデオカメラ等により構成され、荷物受取場所ＢＣを通過する人物を撮像可能に設けられている。本実施形態では、カメラ１４１は、荷物受取場所ＢＣを通過する人物の顔を撮像可能に設けられている。そして、カメラ１４１は、荷物受取場所ＢＣを通過する人物の撮像により得られた画像を、図示しないＡ／Ｄ変換器によってデジタル化して出力する。

第１顔特徴抽出部１４３は、第１画像取得部１４２により取得された画像から顔画像を検出し、当該検出した顔画像の特徴情報を抽出する（ステップＳ２１０３）。第１顔特徴抽出部１４３による画像からの特徴情報の抽出方法は、搭乗案内装置４０が有する顔特徴抽出部１０３による画像からの特徴情報の抽出方法と同様である。

人物検索部１４４は、第１顔特徴抽出部１４３により抽出された特徴情報と、第２記憶装置４６に記憶された特徴情報とを用いて、荷物受取場所ＢＣを通過する人物の認証処理（１：Ｎ照合）を実行する（ステップＳ２１０４）。人物検索部１４４による認証処理は、第２認証装置４２が有する人物検索部１２４による認証処理と同様である。

そして、人物検索部１４４は、選択した特徴情報と第１顔特徴抽出部１４３により抽出された特徴情報との類似度が第１閾値以上である場合に、荷物受取場所ＢＣを通過する人物の認証処理が成功したと判断して（言い換えると、第１顔特徴抽出部１４３により抽出された特徴情報が、第２記憶装置４６に記憶された特徴情報のいずれかと一致したと判断して）、荷物受取場所ＢＣの通過を許可する（ステップＳ２１０５：Ｙｅｓ）。

さらに、荷物受取場所ＢＣを通過する人物の認証処理が成功した場合、第１表示部１４５は、人物検索部１４４による認証処理が成功したことを通知するための情報を表示する（ステップＳ２１０６）。また、荷物受取場所ＢＣを通過する人物の認証処理が成功した場合、人物検索部１４４は、第２記憶装置４６から、認証処理が成功した人物の識別情報と対応付けて記憶された各種情報（例えば、特徴情報など）を消去する。または、人物検索部１４４は、第２記憶装置４６に保存されてから所定時間経過した識別情報と対応付けて記憶された各種情報も消去する。

これにより、荷物受取場所ＢＣを通過する人物の認証処理において、第２記憶装置４６に記憶された特徴情報のうち、ステップＳ２１０３において抽出した特徴情報との類似度を算出する特徴情報の数を減らすことができるので、無駄な算出処理を省略することができ、認証処理の処理速度の向上およびリソースの節約を図ることができる。また、第２記憶装置４６に記憶された特徴情報の信頼性を維持することができる。

一方、人物検索部１４４は、選択した特徴情報と、第１顔特徴抽出部１４３により抽出された特徴情報との類似度が、第１閾値未満である場合に、荷物受取場所ＢＣを通過する人物の認証処理が失敗したと判断して、荷物受取場所ＢＣの通過を禁止する。さらに、荷物受取場所ＢＣを通過する人物の認証処理が失敗した場合、第１表示部１４５は、人物検索部１４４による認証処理が失敗したことを通知するための情報を表示する（ステップＳ２１０７）。

読取指示が入力された場合（ステップＳ２１０１：Ｙｅｓ）、タグ情報読取部１４８は、荷物受取場所ＢＣを通過する人物が所持する荷物タグ４００から、タグ情報を読み取る（ステップＳ２１０８）。タグ情報読取部１４８による荷物タグ４００からのタグ情報の読取方法は、搭乗案内装置４０が有する識別情報読取部１０４による旅券Ｐからの識別情報の読取方法と同様である。

識別情報が読み取られると、第２画像取得部１４６は、カメラ１４１を制御して、荷物受取場所ＢＣを通過する人物を撮像する。そして、第２画像取得部１４６は、カメラ１４１を制御して、荷物受取場所ＢＣを通過する人物を撮像する。そして、第２画像取得部１４６は、カメラ１４１の撮像により得られた画像を取得する（ステップＳ２１０９）。

第２顔特徴抽出部１４７は、第２画像取得部１４６により取得された画像から顔画像を検出し、当該検出した顔画像の特徴情報を抽出する（ステップＳ１８２１１０）。第２顔特徴抽出部１４７による画像からの特徴情報の抽出方法は、搭乗案内装置４０が有する顔特徴抽出部１０３による画像からの特徴情報の抽出方法と同様である。

人物認証部１４９は、タグ情報読取部１４８により読み取ったタグ情報および第２顔特徴抽出部１４７により抽出した特徴情報を用いて、荷物受取場所ＢＣを通過する人物の認証処理を実行する（ステップＳ２１１１）。人物認証部１４９による人物の認証方法は、第１認証装置４１が有する人物認証部１１５による人物の認証方法と同様である。

そして、人物認証部１４９は、タグ情報読取部１４８により読み取ったタグ情報と第２顔特徴抽出部１４７により抽出された特徴情報との類似度が第１閾値以上である場合に、荷物受取場所ＢＣを通過する人物の認証処理が成功したと判断して（ステップＳ２１０５：Ｙｅｓ）、荷物受取場所ＢＣを通過する人物の荷物を出荷する（ステップＳ２１０６）。その際、人物認証部１４９は、認証処理を実行した順番が早いものから順に、荷物受取場所ＢＣを通過する人物の荷物を出荷することにより、荷物の受け取りを効率化することも可能である。また、人物認証部１４９は、荷物受取場所ＢＣを通過する人物の認証処理の結果に基づいて、当該人物の荷物の所在や荷物が出荷されるまでの待ち時間を第２表示部１５０に表示させることも可能である。

一方、人物認証部１４９は、タグ情報読取部１４８により読み取ったタグ情報と、第２顔特徴抽出部１４７により抽出された特徴情報との類似度が、第１閾値未満である場合に、荷物受取場所ＢＣを通過する人物の認証処理が失敗したと判断して、荷物受取場所ＢＣを通過する人物への荷物の出荷を禁止する。さらに、荷物受取場所ＢＣを通過する人物の認証処理が失敗した場合、第２表示部１５０は、人物認証部１４９による認証処理が失敗したことを通知するための情報を表示する（ステップＳ２１０７）。

（第４の実施形態）
以上の実施例では、通行者はカメラによる撮影時には立ち止まっていなければならなかったが、第４の実施形態として、図２２に示すように歩行中であっても例えば第２認証装置２０に設置された第２撮像部２１による撮影及び照合が行える。

すなわち、第２３図に示すフローチャートに沿って動作を説明する。歩行者がゲートＧＴ入場時に旅券ＰのＩＣ画像を読み取る（ステップＳ２３０１）。第２撮像部２１によって歩行中の人物の顔を第２撮像部２１によって撮影する（ステップＳ２３０２）。得られた撮影動画像から顔を検出及び追跡を行う（ステップＳ２３０３）。追跡された複数の顔画像から少なくとも１枚の顔画像を用いて本人であるかの照合を行い、その照合による類似度が閾値以上であれば（ステップＳ２３０４；Yes）であれば、ゲートＧＴを開いて歩行者の通過を許可する（ステップＳ２３０５）。照合による類似度が閾値以下である場合（ステップＳ２３０４；Ｎｏ）にはゲートＧＴは閉じる（ステップＳ２３０６）。そして歩行者に対して警告を発する（ステップＳ２３０７）
このように、本実施形態にかかる出入国管理システムによれば、入国審査カウンターＩＣでの人物の認証精度を向上させることができる。

なお、本実施形態の搭乗案内装置４０，第１認証装置４１，第２認証装置４２，第３認証装置４３，第４認証装置４４で実行されるプログラムは、ＲＯＭ（Read Only Memory）等に予め組み込まれて提供される。

本実施形態の搭乗案内装置４０，第１認証装置４１，第２認証装置４２，第３認証装置４３，第４認証装置４４で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成しても良い。

さらに、本実施形態の搭乗案内装置４０，第１認証装置４１，第２認証装置４２，第３認証装置４３，第４認証装置４４で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の搭乗案内装置４０，第１認証装置４１，第２認証装置４２，第３認証装置４３，第４認証装置４４で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

本実施形態の搭乗案内装置４０で実行されるプログラムは、上述した各部（画像取得部１０２、顔特徴抽出部１０３、識別情報読取部１０４）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（Central Processing Unit）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、画像取得部１０２、顔特徴抽出部１０３、識別情報読取部１０４が主記憶装置上に生成されるようになっている。

本実施形態の第１認証装置４１で実行されるプログラムは、上述した各部（画像取得部１１２、顔特徴抽出部１１３、識別情報読取部１１４、人物認証部１１５）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵが上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、画像取得部１１２、顔特徴抽出部１１３、識別情報読取部１１４、人物認証部１１５が主記憶装置上に生成されるようになっている。

本実施形態の第２認証装置４２で実行されるプログラムは、上述した各部（画像取得部１２２、顔特徴抽出部１２３、人物検索部１２４）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵが上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、画像取得部１２２、顔特徴抽出部１２３、人物検索部１２４が主記憶装置上に生成されるようになっている。

本実施形態の第３認証装置４３で実行されるプログラムは、上述した各部（撮像条件調整部１３３、画像取得部１３４、顔特徴抽出部１３５、識別情報読取部１３２、人物認証部１３６）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵが上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、撮像条件調整部１３３、画像取得部１３４、顔特徴抽出部１３５、識別情報読取部１３２、人物認証部１３６が主記憶装置上に生成されるようになっている。

本実施形態の第４認証装置４４で実行されるプログラムは、上述した各部（第１画像取得部１４２、第１顔特徴抽出部１４３、人物検索部１４４、第２画像取得部１４６、第２顔特徴抽出部１４７、タグ情報読取部１４８、人物認証部１４９）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵが上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、第１画像取得部１４２、第１顔特徴抽出部１４３、人物検索部１４４、第２画像取得部１４６、第２顔特徴抽出部１４７、タグ情報読取部１４８、人物認証部１４９が主記憶装置上に生成されるようになっている。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に本実施形態の課題を解決する手段は次の通りである。

[１]
第１位置を通過した人物の第１識別情報と対応付けて、前記第１位置を通過する人物の第１認証処理に用いた第１画像を得た第１撮像部の第１撮像条件を記憶する記憶装置から、前記第１位置とは異なる第２位置を通過する人物が所持する媒体から読み取られた第２識別情報と一致する前記第１識別情報と対応付けて記憶された前記第１撮像条件を読み出す工程と、
読み出した前記第１撮像条件に従って、前記第２位置を通過する人物を撮像可能な第２撮像部の第２撮像条件を調整する工程と、
前記第２識別情報と、前記第２撮像部の撮像により得られた第２画像から取得した生体情報とを用いて、前記第２位置を通過する人物の第２認証処理を実行する工程と、
を具備する情報処理方法。

[２]
前記第１撮像条件は、前記第１画像に関する情報である[１]の情報処理方法。

[３]
前記第１撮像条件は、前記第１画像に含まれる顔画像、前記第１画像に基づく人物の第１身長、および前記第１画像に基づく照明条件の少なくとも１つを含む[２]の情報処理方法。

[４]
前記第１撮像条件が前記第１身長を含む場合、前記第２識別情報としての顔画像の特徴情報と前記第２画像に含まれる顔画像の特徴情報との類似度が所定の閾値以上であり、かつ前記第１身長と前記第２画像に基づく人物の第２身長とが一致した場合に、前記第２認証処理が成功したものとする[３]の情報処理方法。

[５]
前記第１撮像条件が前記第１身長を含む場合、当該第１身長に従って、前記第２位置を通過する人物の顔が正面から撮像されるように、前記第２撮像部の撮像範囲を調整する[３]の情報処理方法。

[６]
前記第１撮像条件が前記照明条件を含む場合、当該照明条件に従って、前記第２撮像部の撮像範囲に光を照射可能な光源を調整する[３]の情報処理方法。

[７]
前記第１撮像条件が前記第１画像に含まれる顔画像を含む場合、当該顔画像に近い表情を指示するための第１指示を表示部に表示する[３]の情報処理方法。

[８]
前記第１撮像条件が前記第１画像に含まれる顔画像を含みかつ当該顔画像が眼鏡をかけた顔画像である場合、眼鏡の着用を指示するための第２指示を表示部に表示する[３]の情報処理方法。

[９]
前記第１撮像条件が前記第１画像に含まれる顔画像を含む場合、当該顔画像に近い髪型を指示するための第３指示を表示部に表示する[３]の情報処理方法。

[１０]
第１位置を通過する人物が所持する媒体から読み取った第１識別情報と当該人物を第１撮像部によって撮像して得られた第１画像から取得した第１生体情報とを用いて、当該人物の第１認証処理を実行する第１認証部と、
前記第１認証処理が成功した場合、前記第１識別情報と対応付けて、前記第１撮像部の第１撮像条件を記憶する記憶部と、
前記記憶部から、前記第１位置とは異なる第２位置を通過する人物が所持する媒体から読み取られた第２識別情報と一致する前記第１識別情報と対応付けて記憶された前記第１撮像条件を読み出し、読み出した前記第１撮像条件に従って、前記第２位置を通過する人物を撮像可能な第２撮像部の第２撮像条件を調整する調整部と、
前記第２識別情報と、前記第２撮像部の撮像により得られた第２画像から取得した生体情報とを用いて、前記第２位置を通過する人物の第２認証処理を実行する第２認証部と、を具備する情報処理システム。

１…情報処理システム
１０…第１認証装置
１１…第１撮像部
１２…第１画像取得部
１３…第１顔特徴抽出部
１４…識別情報読取部
１５…第１通行者認証部
１６…第１出力部
１７…第１表示部
２０…第２認証装置
２１…第２撮像部
２２…第２画像取得部
２３…第２顔特徴抽出部
２４…第２通行者認証部
２５…第２出力部
２６…第２表示部
３０…サーバ
３１…特徴情報記憶部

Claims (16)

1. 第１位置を通過する通行者が所持する媒体から読み取られた第１生体情報と、前記第１位置を通過する通行者を撮像して得られた画像から取得した第２生体情報とを用いて、通行者を認証する第１認証処理を実行する工程と、
   前記第１認証処理による通行者の認証に成功した場合、前記第１認証処理に用いた前記第１生体情報および前記第２生体情報の少なくとも一方に基づく第３生体情報を記憶部に記憶する工程と、
   通行者の進行する方向において前記第１位置より下流側の第２位置を通過する通行者を撮像して得られた画像から取得した第４生体情報と、前記記憶部に記憶された前記第３生体情報とを用いて、通行者を認証する第２認証処理を実行する工程と、
   前記第２認証処理により認証された場合、前記第２位置を通行することを許可する認証工程と
   を具備する情報処理方法。
2. 前記第１認証処理を実行した結果もしくは第２認証処理を実行した結果を管理者用モニタに表示する工程を更に有する請求項１に記載の情報処理方法。
3. 前記第１生体情報または前記第２生体情報を前記第３生体情報として前記記憶部に記憶する工程を有する請求項１に記載の情報処理方法。
4. 前記第２認証処理は、前記第４生体情報が前記記憶部に記憶された前記第３生体情報のいずれかと一致した場合、通行者の認証に成功したと判断する工程を有する請求項１に記載の情報処理方法。
5. 前記第２認証処理による通行者の認証に成功した場合、前記第４生体情報と一致した前記第３生体情報を前記記憶部から消去する工程を有する請求項４に記載の情報処理方法。
6. 前記記憶部に記憶されている複数の前記第３生体情報に対して、前記第３生体情報間の識別に不必要な情報を取り除くための処理を実行する工程を有する請求項１に記載の情報処理方法。
7. 前記第２位置を通過する通行者が所持する媒体から第５生体情報が読み取られた場合、前記第２認証処理に代えて、前記第４生体情報と前記第５生体情報とを用いて、通行者を認証する第３認証処理を実行する工程を有する請求項１に記載の情報処理方法。
8. 前記第２位置を通過する歩行中の通行者を撮像する工程を有する請求項１に記載の情報処理方法。
9. 第１位置を通過する通行者が所持する媒体から第１生体情報を読取可能に設けられた読取部と、
   前記第１位置を通過する通行者を撮像可能に設けられた第１撮像部と、
   前記読取部により読み取られた前記第１生体情報と当該第１生体情報が読み取られた際に前記第１撮像部の撮像により得られた第１画像から取得した第２生体情報とを用いて、通行者を認証する第１認証処理を実行する第１認証部と、
   前記第１認証処理による通行者の認証に成功した場合、前記第１認証処理に用いた前記第１生体情報および前記第２生体情報の少なくとも一方に基づく第３生体情報を記憶部に記憶させ、かつ前記第１認証処理による通行者の認証に失敗した場合、前記第３生体情報の前記記憶部への記憶を禁止する記憶制御部と、
   通行者の進行方向において前記第１位置より下流側の第２位置を通過する通行者を撮像可能に設けられた第２撮像部と、
   前記第２撮像部の撮像により得られた画像から取得した第４生体情報と、前記記憶部に記憶された前記第３生体情報とを用いて、通行者を認証する第２認証処理を実行する第２認証部と、
   を具備する情報処理システム。
10. 前記第１認証処理を実行した結果もしくは第２認証処理を実行した結果を表示する管理者用モニタを更に具備する請求項９記載の情報処理システム。
11. 前記第２撮像部は、前記第２位置を通過する歩行中の通行者を撮像する請求項９に記載の情報処理システム。
12. 第１位置を通過する人物が所持する媒体から読み取った第１識別情報と当該人物を第１撮像部によって撮像して得られた第１画像から取得した第１生体情報とを用いて、当該人物の第１認証処理を実行する工程と、
    前記第１認証処理が成功した場合、前記第１識別情報と対応付けて、前記第１撮像部の第１撮像条件を、前記第１位置とは異なる第２位置を通過する人物の第２認証処理に用いる第２生体情報を取得するための第２画像を得る第２撮像部の第２撮像条件として記憶装置に保存する工程と、
    を具備する情報処理方法。
13. 前記第１撮像条件は、前記第１画像に関する情報である請求項１２に記載の情報処理方法。
14. 前記第１撮像条件は、前記第１画像に含まれる顔画像、前記第１画像に基づく人物の第１身長、および前記第１画像に基づく照明条件の少なくとも１つを含む請求項１３に記載の情報処理方法。
15. 前記第１認証処理を実行した結果もしくは第２認証処理を実行した結果を管理者用モニタに表示する工程を更に具備する請求項１２に記載の情報処理方法。
16. 前記第２撮像部は、前記第２位置を通過する歩行中の通行者を撮像する工程を具備する請求項１２に記載の情報処理方法。
    

Images