JP2015041307A - 照合装置及び照合方法、照合システム、並びにコンピュータ・プログラム - Google Patents

Abstract

【課題】 「本人らしさ」が低下するような粗雑な偽装であっても、その偽装を、より正確に検知すると共に、照合の対象である対象物を照合することが可能な照合装置等を提供する。【解決手段】 照合装置１は、対象物を表す画像を構成する情報を含む画像情報１０１に基づいて、画像情報１０１に所定の動作を含むか否かを検知する検知部２と、検知部２より検知する際に用いた画像情報１０１と、予め保持された特徴量とに基づき照合し、その照合結果に基づいて、対象物が特定の対象物であるか否かを判定する照合部３とを備えることを特徴とする。【選択図】 図１

Description

本発明は、照合の対象である対象物を撮像した画像等に基づき対象物を照合する技術分野に関する。

人の顔や顔の一部を用いて人物を照合するシステムは、本人ではない他人の顔写真や画像表示装置によって表示された顔写真を、カメラに提示するといった、いわゆる「なりすまし」行為によって、本人を他人として照合してしまう場合がある。

このような、「なりすまし」を検知する方法としては、係るシステムに提示された照合の対象物（以降、「照合対象物」と称する）が生体であるか否かを判定することによって、「なりすまし」を検知することが一般的に知られている。そのため、係る方法は、「ライブネスチェック」、または「生体検知」と呼ばれることも多い。

「なりすまし」を検知する方法は、上述した検知方法だけでなく、さまざまな技術が古くから利用されてきた。

例えば、係る検知方法は、顔等の照合対象物と、カメラとの距離に基づいて、顔や口及び目等の顔の部位のサイズを推定する。さらに、検知方法は、サイズを推定した結果、照合対象物が人体として適切か否か判定する。

また、一例として、係る検知方法は、照合対象物の温度を計測する。検知方法は、計測した温度が人体表面の温度か否かを判定する。検知方法は、照合対象物が立体物であるか否かを判定する。

このように、係る検知方法は、照合対象物のサイズや温度等に基づいて、その照合対象物が人体であるか否かを判定することによって、当該照合対象物が生体であると検知する技術が知られている。

一方で、係る検知方法には、照合の対象（以降、「照合対象」と称する）である人物による「所定の動作」を検知することによって、当該照合対象である人物が生体であると検知する技術が存在する。即ち、検知方法は、照合対象である人物が人間らしい動きをしたか否かを判定する。

この「所定の動作」を検知する技術は、カメラ等によって撮像した顔、顔の一部（部位）及び顔の周辺を表す人体画像を、画像処理することによって、「所定の動作」を検知する。

「所定の動作」を検知するに際して、係る「所定の動作」を検知する技術において利用するセンシングデバイスは、カメラのみである。そのため、「所定の動作」を検知する技術は、導入するためのコストを低く抑えることができる。即ち、「所定の動作」を検知する技術は、産業上非常に有用である。

ここで、本願出願に先立って存在する代表的な関連技術としては、例えば、特許文献１乃至特許文献３が知られている。

特許文献１は、個人識別装置、個人識別方法および個人識別プログラムを記録した記録媒体に関する技術を開示する。

特許文献１に開示された個人識別装置は、時系列に撮像された画像を利用して照合対象である人物のまばたき動作を検知する。個人識別装置は、まばたき動作を検知した場合に、「なりすまし」ではないと判定する。

個人識別装置は、「なりすまし」でないと判定した場合に、照合対象である人物を照合する。個人識別装置は、照合対象である人物がまばたき動作をするまで照合対象である人物を照合する処理を完了できないことがデメリットとなる。

特許文献２は、生体照合装置、生体照合システム、生体照合方法及びプログラムに関する技術を開示する。

まばたき動作を検知する特許文献１に対して、特許文献２は、照合対象である人物に対して特定の動作をするように要求する技術が開示されている。

より具体的に、係る生体照合システムは、照合対象である人物が目を閉じた後に目を開けるといった、「所定の動作」を検知した場合に、「なりすまし」ではないと判定する。

係る生体照合システムは、「なりすまし」ではないと判定した場合に、照合対象である人物の照合を開始する。

特許文献１及び特許文献２に開示された技術は、「なりすまし」でないと判定した場合のみに、照合対象である人物を照合する。

一方で、特許文献３に開示された顔認証装置は、「なりすまし」であると判定した場合であっても、照合対象である人物を照合する。

より具体的に、係る顔認証装置は、照合対象である人物を撮像した画像と、テンプレート画像として予め登録された照合対象である人物を表す画像とに基づいて、照合対象である人物が登録された照合対象である人物か否かを判定する。

さらに、係る顔認証装置は、目や口等の顔の部位の変化を検出することによって、照合対象である人物が生体か否かを検知する。

即ち、照合対象である人物が生体でないと検知した場合であっても、係る顔認証装置は、照合対象である人物を照合することができる。その結果、照合対象である人物が登録されている照合対象の人物であると判定した場合に、当該顔認証装置は、生体を識別する際に用いる閾値を高めに設定する。これにより、係る顔認証装置は、誤照合してしまうリスクを低減することができる。

特開平１１−３３９０４８号公報 特開２００２−２５１６１４号公報 特開２００６−３３０９３６号公報

特許文献１に開示された個人識別装置は、時系列に撮像された異なるフレーム画像に基づいて、それらフレーム画像間の差分画像を生成する。個人識別装置は、生成した差分画像に、例えば、照合対象である人物の目、口等を表す顔の部位があるか否かを判定する。

係る個人識別装置は、例えば、紙等の遮蔽物を照合対象である人物の目に被せた場合であっても、顔の部位があると判定する。

特許文献２に開示された生体照合装置は、照合対象である人物を撮像した画像から目を表す部分画像を検出する。さらに、生体照合装置は、検出した目を表す部分画像から抽出された特徴点と、予め記憶された特徴点とに基づいて照合する。

これにより、係る生体照合装置は、目や口等の顔の部位が動作したことを検知することができる。即ち、当該生体照合装置は、「目を開いた状態」と「目を閉じた状態」とを明確に識別することができる。

しかしながら、特許文献２には、顔写真を提示する等の「本人らしさ」が低下するような粗雑な偽装か否かを判別する手法について、考慮されておらず何ら述べられていない。そのため、係る生体照合装置では、例えば、手描きされた目のような模様であっても、目が動作したと検知する虞がある。

特許文献３に開示された顔認証装置は、時系列に撮像された異なる複数のフレーム画像に基づいて、それらフレーム画像間の差分画像を生成する。当該顔認証装置は、差分画像に基づいて、目及び口を表す領域を推定する。

係る顔認証装置は、推定したそれぞれの領域において画素数をカウントする。さらに、当該顔認証装置は、カウントした値が予め設定した閾値を超えた場合に、例えば、目に動き（所定の動作）があったと判定する。

係る顔認証装置は、目、または口の何れか一方のみに動きがあったと判定した場合に、生体であると検知する。また、係る顔認証装置は、撮像された画像を用いて予め登録されたテンプレート画像に対するテンプレートマッチングを行うことによって、照合対象である人物を照合する。

しかしながら、係る顔認証装置は、例えば、紙等の遮蔽物を照合対象である人物の口に被せた場合に、目、または口の何れか一方のみに動きがあったと判定する。即ち、顔認証装置では、依然として、生体であると誤検知する可能性がある。

このように、特許文献１乃至特許文献３に開示された技術は、例えば、顔写真を提示する等の「本人らしさ」が低下するような粗雑な偽装を見逃した場合に、顔写真に含まれる人物を照合する。即ち、係る技術では、「本人らしさ」が低下するような粗雑な偽装を見逃した場合に、誤照合する虞がある。

例えば、目を閉じた後に目を開ける等の「所定の動作」を検知することを利用者が既に知っている場合に、係る偽装の方法（つまり、「なりすまし」が検知されるのを回避する方法）は、考案されやすい。

特に、「なりすまし」される本人と異なる人物の顔を撮像した顔写真を使用する偽装の方法は、容易に考案でき、且つ容易に実施することができる。即ち、「本人らしさ」が低下するような粗雑な偽装は、悪意のある第三者によって、行われやすい。

さらに、上述した偽装方法の他に、例えば、係る偽装の方法としては、「所定の動作」をする第三者を表す画像を利用する。また、当該偽装の方法は、「所定の動作」に見えるように複数の画像を貼り合わせることによって生成した画像を利用する。または、偽装の方法は、照合対象である人物を撮像した顔写真に遮蔽物をかぶせるといった手法が存在する。

より具体的に、一例として、ここでは、照合対象である人物が「目を閉じる動作」を所定の動作として検知する場合について説明する。

例えば、照合対象である人物（つまり、なりすまされる人物）と異なる第三者は、当該照合対象である人物が目を開いた状態を表す顔写真を、容易に入手することができる。さらに、係る第三者にとっては、不特定の人物（照合対象である人物と異なる人物）が目を閉じた状態を表す顔写真を入手することも容易である。

まず、係る第三者は、照合対象である人物が目を開いた状態を表す顔写真を、例えば、照合対象である人物を撮像するカメラに提示する。第三者は、照合対象である人物が目を開いた状態を表す顔写真を、不特定の人物が目を閉じた状態を表す顔写真に差し替える。

さらに、係る第三者は、不特定の人物が目を閉じた状態を表す顔写真を、照合対象である人物が目を開いた状態を表す顔写真に差し替える。即ち、第三者は、係る目を開いた状態を表す顔写真を改めて提示する。

これにより、特許文献１乃至特許文献３に開示された技術は、顔写真の変化を「所定の動作（つまり、目を閉じる動作）」として検知する。即ち、係る技術は、生体であると誤検知する。さらに、係る技術は、改めて提示された照合対象である人物が目を開いた状態を表す顔写真に基づいて、照合対象の人物であると照合する。

このような問題が生じる理由は、係る技術は、生体であると判定した後に照合対象である人物を照合する。このため、偽装によって生体であると誤検知した場合に、係る技術では、照合対象である人物として誤照合してしまうからである。

尚、照合対象である人物を照合後に、照合対象である人物が生体であるか否かを検知する場合であっても、係る技術では、同様の問題を解決することができない。

本発明の主たる目的は、「本人らしさ」が低下するような粗雑な偽装であっても、その偽装を、より正確に検知すると共に、照合の対象である対象物を照合することが可能な照合装置等を提供することを主たる目的とする。

上記の課題を達成すべく、本発明に係る照合装置は、以下の構成を備えることを特徴とする。

即ち、本発明に係る照合装置は、
照合対象である対象物を表す画像を構成する情報を含む画像情報に基づいて、その画像情報に第１動作を含むと検知した場合には、該対象物が生体であると検知し、前記画像情報に前記第１動作を含まないと検知した場合には、前記第１動作をしていない状態であると検知する検知部と、
前記生体であると検知した場合には、前記第１動作を含むと検知した際に用いた画像情報と、記憶部に保持された照合対象として特定の対象物による前記第１動作を表す画像または前記第１動作をしていないことを表す画像の何れかの画像に基づき抽出された特徴量とに基づき前記特定の対象物か否かを照合し、前記第１動作をしていない状態であると検知した場合には、前記第１動作を含まないと検知した際に用いた画像情報と、前記特徴量とに基づき前記特定の対象物か否かを照合し、前記生体であると検知した際に照合した結果と、前記第１動作をしていない状態であると検知した際に照合した結果とに基づいて、前記対象物が前記特定の対象物であるか否かを判定する照合部と、
を備えることを特徴とする。

或いは、同目的は、上記に示す照合装置を含む照合システムによっても達成される。

また、同目的を達成すべく、本発明に係る照合方法は、以下の構成を備えることを特徴とする。

即ち、本発明に係る照合方法は、
情報処理装置によって、
照合対象である対象物を表す画像を構成する情報を含む画像情報に基づいて、その画像情報に第１動作を含むと検知した場合には、該対象物が生体であると検知し、前記画像情報に前記第１動作を含まないと検知した場合には、前記第１動作をしていない状態であると検知し、
前記生体であると検知した場合には、前記第１動作を含むと検知した際に用いた画像情報と、記憶部に保持された照合対象として特定の対象物による前記第１動作を表す画像または前記第１動作をしていないことを表す画像の何れかの画像に基づき抽出された特徴量とに基づき前記特定の対象物か否かを照合し、前記第１動作をしていない状態であると検知した場合には、前記第１動作を含まないと検知した際に用いた画像情報と、前記特徴量とに基づき前記特定の対象物か否かを照合し、前記生体であると検知した際に照合した結果と、前記第１動作をしていない状態であると検知した際に照合した結果とに基づいて、前記対象物が前記特定の対象物であるか否かを判定する、
ことを特徴とする。

尚、同目的は、上記の各構成を有する照合装置及び照合方法を、コンピュータによって実現するコンピュータ・プログラム、及びそのコンピュータ・プログラムが格納されている、読み取り可能な記憶媒体によっても達成される。

本発明によれば、「本人らしさ」が低下するような粗雑な偽装であっても、その偽装を、より正確に検知すると共に、照合の対象である対象物を照合することが可能な照合装置等を提供することができる。

本発明の第１の実施形態における照合装置の構成を示すブロック図である。 本発明の第１の実施形態における照合装置が行う動作を示すフローチャートである。 本発明の第２の実施形態における照合装置の構成を示すブロック図である。 本発明の第２の実施形態における照合装置が行う動作を示すフローチャートである。 本発明の第３の実施形態における照合装置の構成を示すブロック図である。 本発明の第３の実施形態における照合装置が行う動作を示すフローチャートである。 本発明の第４の実施形態における照合装置を含む照合システムの構成を示すブロック図である。 本発明の第４の実施形態における照合装置が行う動作を示すフローチャートである。 本発明に係る各実施形態を実現可能な情報処理装置のハードウェア構成を例示的に説明するブロック図である。

以下、本発明の実施形態について図面を参照して詳細に説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態における照合装置１の構成を示すブロック図である。

図１において、照合装置１は、検知部２と、照合部３とを備える。

より具体的に、検知部２は、照合対象である対象物を表す画像（画像を構成する情報）を含む画像情報１０１に基づいて、その画像情報１０１に所定の動作（以降、説明の便宜上、「第１動作」と称する）を含むと検知した場合に、画像情報１０１が表す画像に含まれた対象物が生体であると検知する。

また、検知部２は、第１動作をしていない状態であることを検知する。即ち、検知部２は、照合の対象である対象物を照合しやすい（自然な）状態であることを検知する。

ここで、照合しやすい（自然な）状態とは、例えば、人物を照合する場合に、人物が目を開き、且つ口を閉じた無表情であることを表す状態を含む。但し、本実施形態を例に説明する本発明は、前述した構成には限定されない（以下、各実施形態においても同様）。

より具体的に、検知部２は、画像情報１０１に基づいて、その画像情報１０１に第１動作を含まないと検知した場合に、第１動作をしていない状態であると検知する。

画像情報１０１は、例えば、カメラ等の撮影機器によって撮像された照合対象である対象物を表す画像を含む時系列な複数の画像フレームによって構成される動画像である。

より具体的に、画像情報１０１は、例えば、人物を照合する場合に、照合対象である人体の顔、または目や口等の顔の部位（一部）を表す部分画像を含む。

尚、上述した本実施形態では、説明の便宜上、一例として、画像情報１０１は、時系列な複数の画像フレームによって構成される動画像を例に説明した。しかしながら本発明に係る実施形態は、係る構成に限定されない。

画像情報１０１は、時系列な複数の画像フレームによって構成される画像を採用してもよい。また、例えば、画像情報１０１は、照合対象である対象物を表す画像から抽出された特徴量を採用してもよい。

第１動作とは、画像情報１０１に基づき検知部２が検知するところの対象物、または対象物の部位の動作である。

より具体的に、第１動作は、例えば、人物を照合する場合に、照合対象である人物の顔、または顔の部位の動作である。

第１動作は、例えば、人物の顔を上下左右に動かす、顔を左右に傾ける、目（瞼）の開閉、眼球（虹彩）の動き、口の開閉動作を採用することができる。

尚、第１動作は、上述した動作の何れか、または１つ以上の動作を組み合わせてもよい。

より具体的に、一例として、目の開閉動作を第１動作に採用する場合に、第１動作は、「目を閉じる」動作を表すこととする。検知部２は、画像情報１０１に「目を閉じる」動作を含むと検知した場合に、画像情報１０１が表す画像に含まれた対象物が生体であると検知する。

また、検知部２は、画像情報１０１に「目を閉じる」動作を含まないと検知した場合に、第１動作をしていない状態であると検知する。例えば、検知部２は、画像情報１０１に「目を開く」動作を検知した場合に、画像情報１０１に「目を閉じる」動作を含まないと検知してもよい。また、例えば、検知部２は、画像情報１０１に「目を開いている」状態を検知した場合に、画像情報１０１に「目を閉じる」動作を含まないと検知してもよい。

また、一例として、口の開閉動作を第１動作に採用する場合に、第１動作は、「口を開く」動作を表すこととする。検知部２は、画像情報１０１に「口を開ける」動作を含むと検知した場合に、画像情報１０１が表す画像に含まれた対象物が生体であると検知する。

また、検知部２は、画像情報１０１に「口を開ける」動作を含まないと検知した場合に、第１動作をしていない状態であると検知する。例えば、検知部２は、画像情報１０１に「口を閉じる」動作を検知した場合に、画像情報１０１に「口を開く」動作を含まないと検知してもよい。また、例えば、検知部２は、画像情報１０１に「口を閉じている」状態を検知した場合に、画像情報１０１に「口を開ける」動作を含まないと検知してもよい。

これにより、検知部２は、画像情報１０１に基づいて、「目を閉じている」と識別した場合には、画像情報１０１に第１動作を含むと検知することができる。

また、検知部２は、画像情報１０１に基づいて、例えば、「目を開いている」と識別した場合には、画像情報１０１に第１動作を含まないと検知することができる。即ち、検知部２は、画像情報１０１に第１動作を含まないと検知することによって、第１動作が終了したと判定することができる。

次に、照合部３は、検知部２により対象物が生体であると検知した場合に、画像情報１０１に第１動作を含むと検知した際に用いた画像情報１０１と、記憶部４に保持された特徴量１０２とに基づいて、画像情報１０１が表す画像に含まれる対象物が照合対象である特定の対象物であるか否かを照合する。

また、照合部３は、検知部２により対象物が第１動作をしていない状態であると検知した場合に、第１動作をしていない状態であると検知した際に用いた画像情報１０１と、特徴量１０２とに基づいて、画像情報１０１が表す画像に含まれる対象物が照合対象である特定の対象物であるか否かを照合する。

ここで、特徴量１０２とは、照合部３が照合の対象である対象物を照合するに際して利用するデータである。即ち、画像により人物を照合する場合に、特徴量１０２は、照合対象である個人を区別しやすいように変換された数値列（ベクトル）である。

より具体的に、特徴量１０２は、予め記憶部４に保持された照合対象である特定の対象物による第１動作をしていないこと（つまり、第１動作と異なる動作及び状態）を表す画像に基づいて抽出された特徴量である。

尚、上述した本実施形態では、説明の便宜上、一例として、特徴量１０２は、照合対象である特定の対象物による第１動作をしていないことを表す画像に基づいて抽出された特徴量を採用する例に説明した。

しかしながら本発明に係る実施形態は、係る構成に限定されない。特徴量１０２は、照合対象である特定の対象物による第１動作を表す画像に基づいて抽出された特徴量を採用してもよい。

また、対象物を表す画像に基づき任意の統計的パターン認識技術を用いて、特徴量を抽出する技術自体は、現在では一般的な技術を採用することができるので、本実施形態における詳細な説明は省略する（以下、各実施形態においても同様）。

照合部３は、検知部２により対象物が生体であると検知した際に照合した結果（以降、説明の便宜上、「第１の照合結果」と称する）と、第１動作をしていない状態であると検知した際に照合した結果（以降、説明の便宜上、「第２の照合結果」と称する）とに基づいて、画像情報１０１が表す画像に含まれる対象物が照合の対象として予め記憶部４に保持された特定の対象物であるか否かを判定する。

記憶部４は、特徴量１０２を保持する。記憶部４は、コンピュータによるデータの読み書きが可能な不揮発性の記憶デバイスである。

より具体的に、一例として、記憶部４は、情報処理装置等の電子機器に搭載されたハードディスクドライブ（Ｈａｒｄ＿ｄｉｓｋ＿ｄｒｉｖｅ：以降、「ＨＤＤ」と称する）等の不揮発性の記憶装置を採用することができる。

また、一例として、記憶部４は、不図示の通信ネットワークに接続されたストレージデバイス（不図示）を採用してもよい。但し、本実施形態を例に説明する本発明は、前述した構成には限定されない（以下の実施形態においても同様）。

以下の説明において、より具体的に、本実施形態における照合装置１の動作について説明する。

図２は、本発明の第１の実施形態における照合装置１が行う動作を示すフローチャートである。係るフローチャートに沿って照合装置１の動作手順を説明する。

ここでは、説明の便宜上、一例として、照合装置１は、照合対象である人物の目の開閉動作を検知することとする。第１動作は、「目を閉じる」動作を表すこととする。また、画像情報１０１は、照合対象である人物を表す部分画像を含むこととする。

尚、説明の便宜上、上述した構成を例に説明するが、本実施形態を例に説明する本発明は、前述した構成にはこれに限定されない（以下の実施形態においても同様）。

ステップＳ１０１：
検知部２は、画像情報１０１に基づいて、画像情報１０１が表す画像に含まれる人物が生体であるか否かを検知する。即ち、検知部２は、画像情報１０１に基づいて、その画像情報１０１に第１動作を含むか否かを検知する。

より具体的に、検知部２は、一般的に知られた任意の統計的パターン認識技術を用いて、生成された識別器によって、画像情報１０１が表す画像に含まれる人物が「第１動作」を表す状態か否かを識別する。検知部２は、「第１動作」を表す状態であると識別した場合に、画像情報１０１に第１動作を含むと検知する。

任意の統計的パターン認識技術としては、一般的に知られたサポートベクトルマシン、ニューラルネットワーク、学習ベクトル量子化及びブースティング等を採用することができる。

例えば、検知対象である人物において「目の開閉」を識別する場合に、識別器は、任意の統計的パターン認識技術によって、目の周辺を含む「目を閉じた状態」及び「目を開けた状態」を表す多数の人体画像を学習することにより生成される（以下、各実施形態においても同様）。

ステップＳ１０２において「ＹＥＳ」：
検知部２は、画像情報１０１が表す画像に含まれる人物が生体であると検知した場合に、処理をステップＳ１０３及びステップＳ１０４に進める。

ステップＳ１０２において「ＮＯ」：
検知部２は、画像情報１０１が表す画像に含まれる人物が生体でないと検知した場合に、次の映像フレームの処理を進める。即ち、検知部２は、処理をステップＳ１０１に戻す。

ステップＳ１０３：
照合部３は、検知部２が生体であると検知した際に用いた画像情報１０１が表す画像に含まれる人物が照合対象である特定の人物であるか否かを照合する。照合部３は、処理をステップＳ１０７に進める。

より具体的に、照合部３は、検知部２が生体であると検知した際に用いた画像情報１０１から抽出した特徴量と、記憶部４に保持された特徴量１０２とに基づいて、当該画像情報１０１が表す画像に含まれる人物が照合対象である特定の人物であるか否かを照合する。

尚、照合部３が画像情報１０１から特徴量を抽出すると共に、抽出した特徴量と特徴量１０２とに基づき照合する技術自体は、現在では一般的な技術を採用することができるので、本実施形態における詳細な説明は省略する（以下、各実施形態においても同様）。

ステップＳ１０４：
検知部２は、画像情報１０１に基づいて、その画像情報１０１に第１動作を含むか否かを検知する。

より具体的に、検知部２は、画像情報１０１が表す画像に含まれる人物が「第１動作」を表す状態か否かを識別する。検知部２は、「第１動作」を表す状態でないと識別した場合に、画像情報１０１に第１動作を含まないと検知する。

尚、ステップＳ１０４において、検知部２が画像情報１０１に第１動作を含むか否かを検知する際に用いる画像情報１０１は、ステップＳ１０１において、検知部２が画像情報１０１に第１動作を含むか否かを検知する際に用いた画像情報１０１と異なる画像情報である。即ち、ステップＳ１０１において用いる画像情報１０１とステップＳ１０４において用いる画像情報１０１とは、別の映像フレームである（以下、各実施形態においても同様）。

尚、検知部２が画像情報１０１に第１動作を含むか否かを検知する手法は、上述したステップＳ１０１において画像情報１０１に第１動作を含むか否か検知した手法を採用することができる。そのため、重複する説明は省略する。

ステップＳ１０５において「ＮＯ」：
検知部２は、画像情報１０１に第１動作を含まないと検知した場合に、処理をステップＳ１０６に進める。

ステップＳ１０５において「ＹＥＳ」：
検知部２は、画像情報１０１に第１動作を含むと検知した場合に、次の映像フレームの処理を進める。即ち、検知部２は、処理をステップＳ１０１に戻す。

ステップＳ１０６：
照合部３は、検知部２が第１動作を含まないと検知した際に用いた画像情報１０１が表す画像に含まれる人物が照合対象である特定の人物であるか否かを照合する。照合部３は、処理をステップＳ１０７に進める。

より具体的に、照合部３は、検知部２が第１動作を含まないと検知した際に用いた画像情報１０１から抽出した特徴量と、記憶部４に保持された特徴量１０２とに基づいて、当該画像情報１０１が表す画像に含まれる人物が照合対象である特定の人物であるか否かを照合する。

ステップＳ１０７：
照合部３は、ステップＳ１０３において照合した結果（第１の照合結果）と、ステップＳ１０６において照合した結果（第２の照合結果）とに基づいて、画像情報１０１が表す画像に含まれる人物が照合対象である特定の人物であるか否かを判定する。

より具体的に、照合部３は、生体であると検知した際に用いた画像情報１０１から抽出した特徴量と、記憶部４に保持された特徴量１０２とに基づき照合した結果（第１の照合結果）と、第１動作を含まないと検知した際に用いた画像情報１０１から抽出した特徴量と、記憶部４に保持された特徴量１０２とに基づき照合した結果（第２の照合結果）とに基づいて、画像情報１０１が表す画像に含まれる人物が照合対象である特定の人物であるか否かを判定する。

尚、上述したステップＳ１０３、ステップＳ１０６及びステップＳ１０７に示す判定結果は、照合対象である特定の対象物であることを示す「真」、または照合対象である特定の対象物でないことを示す「偽」の２値で表してもよい。また、当該判定結果は、照合対象である対象物らしさを表す数値（照合スコア）で表してもよい。

判定結果として「真」、または「偽」を表す２値を採用した場合に、照合部３は、第１の照合結果と、第２の照合結果との論理積（ＡＮＤ）をとり、その結果に応じて判定する。

より具体的に、第１及び第２の照合結果が「真」を表す場合に、照合部３は、「真」、つまり、照合対象である特定の対象物であると判定する。その一方で、第１及び第２の照合結果の何れかが「偽」を表す場合に、照合部３は、「偽」、つまり、照合対象である特定の対象物でないと判定する。

また、判定結果として数値（照合スコア）を採用した場合に、照合部３は、第１の照合結果と第２の照合結果との線形和、または最小値と、所定の閾値との比較結果に応じて、画像情報１０１が表す画像に含まれる対象物が照合対象である特定の対象物であるか否かを判定する。

より具体的に、一例として、照合部３は、係る線形和、または最小値と、所定の閾値とを比較した結果、閾値より小さい場合に、照合対象である特定の対象物でないと判定する。一方で、照合部３は、比較した結果、閾値以上の場合に、照合対象である特定の対象物であると判定してもよい。

また、照合部３は、第１の照合結果と第２の照合結果との照合スコアの値を、確率として扱えるように、例えば、「０．０」から「１．０」の実数としてスケーリングする。

照合部３は、スケーリングされた第１の照合結果の値と、第２の照合結果の値とを乗算する。照合部３は、乗算することによって求めた値と、所定の閾値とを比較した結果に応じて、画像情報１０１が表す画像に含まれる対象物が照合対象である特定の対象物であるか否かを判定する。

また、照合部３は、値「１」からスケーリングされた第１の照合結果の値と、第２の照合結果の値とを乗算することによって求めた値を減算する。照合部３は、減算することによって求めた値を、例えば、ソフトマックス関数を用いて変換する。照合部３は、変換した値と、所定の閾値とを比較した結果に応じて、画像情報１０１が表す画像に含まれる対象物が照合対象である特定の対象物であるか否かを判定する。

所定の閾値は、例えば、管理者によって予め設定される構成を採用してもよい。また、所定の閾値は、照合部３による判定結果に応じて、設定される構成を採用してもよい。

尚、上述した本実施形態では、説明の便宜上、一例として、照合装置１は、ステップＳ１０１において画像情報１０１に第１動作を含むか否かを検知後にステップＳ１０４において画像情報１０１に第１動作を含むか否かを検知する構成を例に説明した。

しかしながら本発明に係る実施形態は、係る構成に限定されない。

より具体的に、例えば、本実施形態において、照合装置１は、図２に示すステップＳ１０４乃至ステップＳ１０６において説明した処理を、ステップＳ１０１乃至ステップＳ１０３において説明した処理よりも先に実行する構成を採用することができる。即ち、検知部２は、画像情報１０１に第１動作を含むと検知する処理、または画像情報１０１に第１動作を含まないと検知する処理の何れか一方の処理を実行すると共に、その何れか一方の処理を実行後に他方の処理を実行する構成を採用することができる。

この場合に、図２に示すステップＳ１０４において、検知部２は、第１動作が終了したことを検知するのではなく、照合対象である対象物が照合可能な状態（第１動作をしていない状態）であることを検知する構成を採用することができる（以下、各実施形態においても同様）。

また、照合装置１は、図２に示すステップＳ１０４、ステップＳ１０３、ステップＳ１０５、ステップＳ１０６の順に処理を実行する構成を採用してもよい。さらに、照合装置１は、ステップＳ１０３、ステップＳ１０４乃至ステップＳ１０６において説明した処理を略並列に実行する構成を採用してもよい。

このように本実施の形態に係る照合装置１によれば、「本人らしさ」が低下するような粗雑な偽装であっても、その偽装を、より正確に検知すると共に、照合の対象である対象物を照合することができる。その理由は、以下に述べる通りである。

即ち、検知部２は、画像情報１０１に基づいて、その画像情報１０１に所定の動作（第１動作）を含むか否かを検知する。これにより、検知部２は、より正確に照合対象である対象物が生体か否かを検知することができる。さらに、照合部３は、検知部２によって、画像情報１０１に所定の動作を含むと検知した際に用いた画像情報１０１と、画像情報１０１に所定の動作を含まないと検知した際に用いた画像情報１０１とに基づいて、画像情報１０１が表す画像に含まれる対象物を照合する。照合部３は、その所定の動作を含むと検知した際の照合結果と、その所定の動作を含まないと検知した際の照合結果とに基づいて、画像情報１０１が表す画像に含まれる対象物が照合対象である特定の対象物であるか否かを判定することができるからである。

このように、照合装置１は、照合対象である対象物（本人）らしさを検証することができる。また、照合装置１は、「本人らしさ」が低下するような粗雑な偽装であっても、なりすまされた対象物を照合する、つまり、誤照合してしまう問題を防ぐことができる。

＜第２の実施形態＞
次に、上述した本発明の第１の実施形態に係る照合装置１を基本とする第２の実施形態について説明する。以下の説明においては、本実施形態に係る特徴的な部分を中心に説明する。その際、上述した各実施形態と同様な構成については、同一の参照番号を付すことにより、重複する説明は省略する。

本発明の第２の実施形態における照合装置１０について、図２乃至図４を参照して説明する。

図３は、本発明の第２の実施形態における照合装置１０の構成を示すブロック図である。

図３において、照合装置１０は、第１の動作検知部１１と、第２の動作検知部１２と、第１の照合部１３と、第２の照合部１４と、判定部１５とを備える。

より具体的に、第１の動作検知部１１と、第２の動作検知部１２とは、第１の実施形態において説明した検知部２に相当する。

第１の動作検知部１１は、図２に示すステップＳ１０１及びステップＳ１０２において説明した処理を実行する。

第２の動作検知部１２は、図２に示すステップＳ１０４及びステップＳ１０５において説明した処理を実行する。

第１の照合部１３と、第２の照合部１４と、判定部１５とは、第１の実施形態において説明した照合部３に相当する。

第１の照合部１３は、図２に示すステップＳ１０３において説明した処理を実行する。第２の照合部１４は、図２に示すステップＳ１０６において説明した処理を実行する。判定部１５は、図２に示すステップＳ１０７において説明した処理を実行する。

より具体的に、第１の照合部１３は、第１の動作検知部１１が生体であると検知した際に用いた画像情報１０１から抽出した特徴量と、記憶部４に保持された第１特徴量１０３とに基づいて、当該画像情報１０１が表す画像に含まれる対象物が照合対象である特定の対象物であるか否かを照合する。第１の照合部１３は、照合結果（第１の照合結果）を判定部１５に与える。

第２の照合部１４は、第２の動作検知部１２が第１動作を含まないと検知した際に用いた画像情報１０１から抽出した特徴量と、記憶部４に保持された第２特徴量１０４とに基づいて、当該画像情報１０１が表す画像に含まれる対象物が照合対象である特定の対象物であるか否かを照合する。第２の照合部１４は、照合結果（第２の照合結果）を判定部１５に与える。

判定部１５は、第１の照合結果と、第２の照合結果とに基づいて、画像情報１０１が表す画像に含まれる対象物が照合の対象として予め記憶部５に保持された特定の対象物であるか否かを判定する。

記憶部４は、第１特徴量１０３と、第２特徴量１０４とを保持する。

本実施形態において、第１特徴量１０３は、照合対象である特定の対象物による第１動作を表す画像に基づいて抽出された特徴量である。第２特徴量１０４は、照合対象である特定の対象物による第１動作をしていないことを表す画像に基づいて抽出された特徴量である。

図４は、本発明の第２の実施形態における照合装置１０が行う動作を示すフローチャートである。係るフローチャートに沿って照合装置１０の動作手順を説明する。

尚、図４に示すステップＳ２０１、ステップＳ２０２、ステップＳ２０４及びステップＳ２０５において実行する処理は、図２に示すステップＳ１０１、ステップＳ１０２、ステップＳ１０４及びステップＳ１０５において説明した処理と同様である。そのため、重複する説明は省略する。

ステップＳ２０３：
第１の照合部１３は、第１の動作検知部１１が生体であると検知した際に用いた画像情報１０１から抽出した特徴量と、記憶部４に保持された第１特徴量１０３とに基づいて、当該画像情報１０１が表す画像に含まれる対象物が照合対象である特定の対象物であるか否かを照合する。

第１の照合部１３は、照合結果（第１の照合結果）を判定部１５に対して与える。第１の照合部１３は、処理をステップＳ２０７に進める。

ステップＳ２０６：
第２の照合部１４は、第２の動作検知部１２が第１動作を含まないと検知した際に用いた画像情報１０１から抽出した特徴量と、記憶部４に保持された第２特徴量１０４とに基づいて、当該画像情報１０１が表す画像に含まれる対象物が照合対象である特定の対象物であるか否かを照合する。

第２の照合部１４は、照合結果（第２の照合結果）を判定部１５に対して与える。第２の照合部１４は、処理をステップＳ２０７に進める。

ステップＳ２０７：
判定部１５は、第１の照合結果と、第２の照合結果とに基づいて、画像情報１０１が表す画像に含まれる対象物が照合対象である特定の対象物であるか否かを判定する。

このように本実施の形態に係る照合装置１０によれば、第１の実施形態において説明した効果を享受できると共に、さらに、より速やかに、精度よく「本人らしさ」が低下するような粗雑な偽装を検知すると共に、照合の対象である対象物を照合することができる。

その理由は、照合装置１０は、第１の実施形態において説明した検知部２が実行する処理を第１の動作検知部１１と、第２の動作検知部１２とに分散して実行する。さらに、照合装置１０は、第１の実施形態において説明した照合部３が実行する処理を第１の照合部１３と、第２の照合部１４と、判定部１５とに分散して実行する。このため、照合装置１０は、それぞれの処理が終了することを待つことなく処理を実行することができるからである。

また、照合装置１０は、第１動作を表す画像及び第１動作をしていないことを表す画像に基づいて抽出された特徴量（第１特徴量１０３及び第２特徴量１０４）と、画像情報１０１から抽出した特徴量とに基づき照合するため、より精度よく照合の対象である特定の対象物を照合することができるからである。

＜第３の実施形態＞
次に、上述した本発明の第２の実施形態に係る照合装置１０を基本とする第３の実施形態について説明する。以下の説明においては、本実施形態に係る特徴的な部分を中心に説明する。その際、上述した各実施形態と同様な構成については、同一の参照番号を付すことにより、重複する説明は省略する。

本発明の第３の実施形態における照合装置２０について、図４乃至図６を参照して説明する。

図５は、本発明の第３の実施形態における照合装置２０の構成を示すブロック図である。

図５において、照合装置２０は、第１の動作検知部２１と、第２の動作検知部１２と、第１の照合部１３と、第２の照合部１４と、判定部１５とを備える。

本実施形態において、照合装置２０は、第１の動作検知部２１の動作が第２の実施形態において説明した第１の動作検知部１１の動作と異なる。

第２の実施形態において説明した第１の動作検知部１１は、画像情報１０１が表す画像に含まれる対象物が「第１動作」を表す状態、または「第１動作をしていない」ことを表す状態の何れかの状態を識別する構成を例に説明した。

本実施形態において、第１の動作検知部２１は、画像情報１０１が表す画像に含まれる対象物が「対象物でない」ことを表す状態、「対象物による第１動作」を表す状態及び「対象物による第１動作をしていない」ことを表す状態の何れかの状態を識別する構成を採用する。

これにより、第１の動作検知部２１は、より精度よく「なりすまし」を検知することができる。

より具体的に、一例として、人物を照合する場合に、第１の動作検知部２１は、画像情報１０１が表す画像に含まれる人物が「人物でない」ことを表す状態、「人物による第１動作」を表す状態及び「人物による第１動作をしていない」ことを表す状態の何れかの状態を識別する。

これにより、第１の動作検知部２１は、画像情報１０１が表す画像に含まれる対象物が生体であるか否かを検知するだけでなく、目、眼球及び口等の人体の各部位が人体であるか否かを識別する。即ち、第１の動作検知部２１は、「目でない」及び「目であるかのように偽装した」場合であっても、その偽装を、より精度よく検知することができる。

以下の説明において、より具体的に、本実施形態における第１の動作検知部２１の動作について説明する。

図６は、本発明の第３の実施形態における照合装置２０が行う動作を示すフローチャートである。係るフローチャートに沿って照合装置２０の動作手順を説明する。

尚、図６に示すステップＳ３０２乃至ステップＳ３０７において実行する処理は、図４に示すステップＳ２０２乃至ステップＳ２０７において説明した処理と同様である。そのため、重複する説明は省略する。

ステップＳ３０１：
第１の動作検知部２１は、画像情報１０１に基づいて、画像情報１０１に対象物による第１動作を含むと検知した場合に、画像情報１０１に含まれた対象物が生体であると判定する。

本実施形態において、第１の動作検知部２１は、統計的パターン認識技術を用いて、生成された識別器によって、画像情報１０１が表す画像に含まれる対象物が「対象物でない」ことを表す状態、「対象物による第１動作」を表す状態、及び「対象物による第１動作をしていない」ことを表す状態の何れかの状態を識別する。

例えば、検知対象である人物において「目の開閉」を識別する場合に、識別器は、任意の統計的パターン認識技術によって、「目でない」及び「目であるかのように偽装した」ことを表す多数の人体画像と、目の周辺を含む「目を閉じた状態」及び「目を開けた状態」を表す多数の人体画像とを学習することにより生成される。

尚、上述した本実施形態では、説明の便宜上、一例として、照合装置２０は、第１の動作検知部２１により３つ（「対象物でない」、「対象物による第１動作」及び「対象物による第１動作をしていない」）の状態を識別する構成を例に説明した。

しかしながら本発明に係る実施形態は、係る構成に限定されない。照合装置２０は、第２の動作検知部１２も３つの状態を識別する構成を採用してもよい（以下、各実施形態においても同様）。

このように本実施の形態に係る照合装置２０によれば、各実施形態において説明した効果を享受できると共に、さらに、より精度よく「なりすまし」を検知することができる。

その理由は、照合装置２０の第１の動作検知部２１は、３つの状態を識別することができるからである。即ち、第１の動作検知部２１は、第１動作を検知するだけでなく、第１動作をした部位が本当に対象物であるか否かを検証するように動作する。そのため、例えば、対象物でないものによって偽装された場合であっても、より精度よく「なりすまし」を検知することができる。これにより、照合装置２０は、なりすまされた対象物を照合する、つまり、誤照合してしまう問題を防ぐことができるからである。

より具体的に、一例として、「なりすまし」の対象である人物を表す顔写真に写った両目を表す部分に細長い紙を被せることによって、目を閉じたように偽装した場合であっても、照合装置２０は、正確に「なりすまし」を検知することができる。

＜第４の実施形態＞
次に、上述した本発明の第２の実施形態に係る照合装置１０を基本とする実施形態について説明する。以下の説明においては、本実施形態に係る特徴的な部分を中心に説明する。その際、上述した各実施形態と同様な構成については、同一の参照番号を付すことにより、重複する説明は省略する。

本発明の第４の実施形態における照合装置３０について、図４、図７、図８を参照して説明する。

図７は、本発明の第４の実施形態における照合装置３０を含む照合システム５０の構成を示すブロック図である。

図７において、照合システム５０は、大別して、照合装置３０を含む第１情報処理装置５１と、第２情報処理装置５２とを備える。

照合装置３０は、第１の動作検知部１１と、第２の動作検知部１２と、第１の照合要求部３１と、第２の照合要求部３２と、判定部１５とを備える。

本実施形態において、第１の照合部３３と、第２の照合部３４と、記憶部４とは、第１情報処理装置５１と異なる（つまり、別体の）第２情報処理装置５２が備える。

第１情報処理装置５１と、第２情報処理装置５２とは、不図示の通信ネットワークを介して、通信可能に接続する。

より具体的に、第１の照合要求部３１は、第１の動作検知部１１によって画像情報１０１が表す画像に含まれる対象物が生体であると検知するのに応じて、第２情報処理装置５２の第１の照合部３３に対して、画像情報１０１が表す画像に含まれる対象物を照合するように要求（以降、単に「照合要求」とも記す）する。

第１の照合要求部３１は、照合要求するに際して、第１の照合部３３に対して第１の動作検知部１１が画像情報１０１に第１動作を含むと検知した際に用いた画像情報１０１を送信する。

また、第１の照合要求部３１は、第１の照合部３３から第１の照合結果を受信すると共に、受信した第１の照合結果を判定部１５に対して与える。

第２の照合要求部３２は、第２の動作検知部１２によって、第１動作をしていない状態であると検知するのに応じて、第２情報処理装置５２の第２の照合部３４に対して、画像情報１０１が表す画像に含まれる対象物を照合するように要求する。

第２の照合要求部３２は、照合要求するに際して、第２の照合部３４に対して第２の動作検知部１２が画像情報１０１に第１動作を含まないと検知した際に用いた画像情報１０１を送信する。

また、第２の照合要求部３２は、第２の照合部３４から第２の照合結果を受信すると共に、受信した第２の照合結果を判定部１５に対して与える。

尚、上述した本実施形態では、説明の便宜上、一例として、第１の照合要求部３１と、第２の照合要求部３２とは、照合要求するに際して、第１の照合部３３、または第２の照合部３４に対して画像情報１０１を送信する構成を例に説明した。

しかしながら本発明に係る実施形態は、係る構成に限定されない。第１の照合要求部３１と、第２の照合要求部３２とは、照合要求するに際して、第１の照合部３３、または第２の照合部３４に対して画像情報１０１に基づいて、抽出した特徴量を送信する構成を採用してもよい。

その場合に、第１の照合要求部３１と、第２の照合要求部３２とは、画像情報１０１に基づいて、特徴量を抽出する構成を採用することができる。

尚、第１の照合要求部３１と、第２の照合要求部３２とが画像情報１０１に基づいて、特徴量を抽出する技術自体は、現在では一般的な技術を採用することができるので、本実施形態における詳細な説明は省略する（以下、各実施形態においても同様）。

第１の照合部３３は、第１の照合要求部３１から照合要求と画像情報１０１とを受信するのに応じて、処理を開始する。

より具体的に、第１の照合部３３は、画像情報１０１から抽出した特徴量と、記憶部４に保持された第１特徴量１０３とに基づいて当該画像情報１０１が表す画像に含まれる対象物が照合対象である特定の対象物であるか否かを照合する。さらに、第１の照合部３３は、第１の照合結果を第１の照合要求部３１に対して送信する。

第２の照合部３４は、第２の照合要求部３２から照合要求と画像情報１０１とを受信するのに応じて、処理を開始する。

第２の照合部３４は、画像情報１０１から抽出した特徴量と、記憶部４に保持された第２特徴量１０４とに基づいて、当該画像情報１０１が表す画像に含まれる対象物が照合対象である特定の対象物であるか否かを照合する。さらに、第２の照合部３４は、第２の照合結果を第２の照合要求部３２に対して送信する。

以下の説明において、より具体的に、本実施形態における照合装置３０の動作について説明する。

図８は、本発明の第４の実施形態における照合装置３０が行う動作を示すフローチャートである。係るフローチャートに沿って照合装置３０の動作手順を説明する。

尚、図８に示すステップＳ４０１、ステップＳ４０２、ステップＳ４０６、ステップＳ４０７及びステップＳ４１１において実行する処理は、図４に示すステップＳ２０１、ステップＳ２０２、ステップＳ２０４、ステップＳ２０５及びステップＳ２０７において説明した処理と同様である。そのため、重複する説明は省略する。

ステップＳ４０３：
第１の照合要求部３１は、照合要求と、第１の動作検知部１１が画像情報１０１に第１動作を含むと検知した際に用いた画像情報１０１とを第１の照合部３３に対して送信する。

ステップＳ４０４：
第１の照合部３３は、第１の照合要求部３１から照合要求と、第１の動作検知部１１が画像情報１０１に第１動作を含むと検知した際に用いた画像情報１０１とを受信する。

第１の照合部３３は、受信した画像情報１０１から抽出した特徴量と、記憶部４に保持された第１特徴量１０３とに基づいて、当該画像情報１０１が表す画像に含まれる対象物が照合対象である特定の対象物であるか否かを照合する。次に、第１の照合部３３は、第１の照合結果を第１の照合要求部３１に対して送信する。

ステップＳ４０５：
第１の照合要求部３１は、第１の照合部３３から第１の照合結果を受信すると共に、受信した第１の照合結果を判定部１５に対して与える。

ステップＳ４０８：
第２の照合要求部３２は、照合要求と、第２の動作検知部１２が画像情報１０１に第１動作を含まないと検知した際に用いた画像情報１０１とを第２の照合部３４に対して送信する。

ステップＳ４０９：
第２の照合部３４は、第２の照合要求部３２から照合要求と、第２の動作検知部１２が画像情報１０１に第１動作を含まないと検知した際に用いた画像情報１０１とを受信する。

第２の照合部３４は、受信した画像情報１０１から抽出した特徴量と、記憶部４に保持された第２特徴量１０４とに基づいて、当該画像情報１０１が表す画像に含まれる対象物が照合対象である特定の対象物であるか否かを照合する。次に、第２の照合部３４は、第２の照合結果を第２の照合要求部３２に対して送信する。

ステップＳ４１０：
第２の照合要求部３２は、第２の照合部３４から第２の照合結果を受信すると共に、受信した第２の照合結果を判定部１５に対して与える。

尚、上述した本実施形態では、説明の便宜上、一例として、照合システム５０は、第１の動作検知部１１、第２の動作検知部１２、第１の照合要求部３１、第２の照合要求部３２及び判定部１５を含む第１情報処理装置５１と、第１の照合部３３、第２の照合部３４及び記憶部４を含む第２情報処理装置５２とによって構成する例を説明した。

しかしながら本発明に係る実施形態は、係る構成に限定されない。照合システム５０は、は、例えば、第２の実施形態において説明した照合装置１０を構成する全ての各部を含む第１情報処理装置５１によって構成してもよい。

このように本実施の形態に係る照合装置３０によれば、各実施形態において説明した効果を享受できると共に、さらに、速やかに「本人らしさ」が低下するような粗雑な偽装を検知すると共に、照合の対象である対象物を照合することができる。

その理由は、第１の照合部３３と、第２の照合部３４とは、照合装置３０と異なる情報処理装置５１において動作する。即ち、照合装置３０は、第１の照合部３３と、第２の照合部３４と、第１の動作検知部１１と、第２の動作検知部１２と、判定部１５とにおいて実行する処理を分散することができる。これにより、例えば、第１情報処理装置５１の演算能力が低い場合であっても、照合装置３０は、速やかにそれぞれの処理を実行することができるからである。

また、本実施形態によれば、複数の照合装置３０においてシステムを運用する場合であっても、そのシステムを導入するためのコストを低く抑えることができる。

その理由は、照合装置３０は、対象物を照合するに際して利用する特徴量（第１特徴量１０３及び第２特徴量１０４）を１つの情報処理装置において管理することができるからである。

さらに、照合装置は、例えば、一般的に知られたパーソナルコンピュータや携帯端末装置、スマーフォン等の情報端末装置に適用することができる。

（ハードウェア構成例）
上述した実施形態において図面に示した各部は、ソフトウェアプログラムの機能（処理）単位（ソフトウェアモジュール）と捉えることができる。これらの各ソフトウェアモジュールは、専用のハードウェアによって実現してもよい。但し、これらの図面に示した各部の区分けは、説明の便宜上の構成であり、実装に際しては、様々な構成が想定されうる。この場合のハードウェア環境の一例を、図９を参照して説明する。

図９は、本発明の模範的な実施形態に係る端末特定装置を実行可能な情報処理装置３００（コンピュータ）の構成を例示的に説明する図である。即ち、図９は、図１に示した照合装置１、或いは、図３に示した照合装置１０、図５に示した照合装置２０及び図７に示した照合装置３０、の全体または一部の照合装置を実現可能なサーバ等のコンピュータ（情報処理装置）の構成であって、上述した実施形態における各機能を実現可能なハードウェア環境を表す。

図９に示した情報処理装置３００は、ＣＰＵ（Ｃｅｎｔｒａｌ＿Ｐｒｏｃｅｓｓｉｎｇ＿Ｕｎｉｔ）３０１、ＲＯＭ（Ｒｅａｄ＿Ｏｎｌｙ＿Ｍｅｍｏｒｙ）３０２、ＲＡＭ（Ｒａｎｄｏｍ＿Ａｃｃｅｓｓ＿Ｍｅｍｏｒｙ）３０３、ハードディスク３０４（記憶装置）、並びに外部装置との通信インタフェース（Ｉｎｔｅｒｆａｃ：以降、「Ｉ／Ｆ」と称する）３０５、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ＿Ｄｉｓｃ＿Ｒｅａｄ＿Ｏｎｌｙ＿Ｍｅｍｏｒｙ）等の記憶媒体３０７に格納されたデータを読み書き可能なリーダライタ３０８を備え、これらの構成がバス３０６（通信線）を介して接続された一般的なコンピュータである。

そして、上述した実施形態を例に説明した本発明は、図９に示した情報処理装置３００に対して、その説明において参照したブロック構成図（図１、図３、図５、図７）或いはフローチャート（図２、図４、図６、図８）の機能を実現可能なコンピュータ・プログラムを供給した後、そのコンピュータ・プログラムを、当該ハードウェアのＣＰＵ３０１に読み出して実行することによって達成される。また、当該装置内に供給されたコンピュータ・プログラムは、読み書き可能な一時記憶メモリ（ＲＡＭ３０３）またはハードディスク３０４等の不揮発性の記憶デバイスに格納すれば良い。

また、前記の場合において、当該ハードウェア内へのコンピュータ・プログラムの供給方法は、ＣＤ−ＲＯＭ等の各種記憶媒体３０７を介して当該装置内にインストールする方法や、インターネット等の通信回線を介して外部よりダウンロードする方法等のように、現在では一般的な手順を採用することができる。そして、このような場合において、本発明は、係るコンピュータ・プログラムを構成するコード或いは、そのコードが格納された記憶媒体によって構成されると捉えることができる。

尚、上述した各実施形態の一部又は全部は、以下の付記のようにも記載されうる。しかしながら、上述した実施形態により例示的に説明した本発明は、以下には限らない。即ち、
（付記１）
照合対象である対象物を表す画像を構成する情報を含む画像情報に基づいて、その画像情報に第１動作を含むと検知した場合には、該対象物が生体であると検知し、前記画像情報に前記第１動作を含まないと検知した場合には、前記第１動作をしていない状態であると検知する検知部と、
前記生体であると検知した場合には、前記第１動作を含むと検知した際に用いた画像情報と、記憶部に保持された照合対象として特定の対象物による前記第１動作を表す画像または前記第１動作をしていないことを表す画像の何れかの画像に基づき抽出された特徴量とに基づき前記特定の対象物か否かを照合し、前記第１動作をしていない状態であると検知した場合には、前記第１動作を含まないと検知した際に用いた画像情報と、前記特徴量とに基づき前記特定の対象物か否かを照合し、前記生体であると検知した際に照合した結果と、前記第１動作をしていない状態であると検知した際に照合した結果とに基づいて、前記対象物が前記特定の対象物であるか否かを判定する照合部と、
を備えることを特徴とする照合装置。
（付記２）
前記検知部は、
前記第１動作を含むと検知する処理、または前記第１動作を含まないと検知する処理の何れか一方の処理を実行し、該何れか一方の処理を実行後に他方の処理を実行することを、
特徴とする付記１に記載の照合装置。
（付記３）
前記照合部は、
さらに前記生体であると検知した場合に、前記第１動作を含むと検知した際に用いた画像情報と、前記特定の対象物による第１動作を表す画像に基づき抽出された第１特徴量とに基づき前記特定の対象物か否かを照合し、前記第１動作をしていない状態であると検知した場合には、前記第１動作を含まないと検知した際に用いた画像情報と、前記特定の対象物による第１動作をしていないことを表す画像に基づき抽出された第２特徴量とに基づき前記特定の対象物か否かを照合する
ことを特徴とする付記１または付記２に記載の照合装置。
（付記４）
前記検知部は、
前記第１動作及び該第１動作をしていないことを表す画像に基づき統計的パターン認識技術を用いて学習することにより生成された識別器によって前記第１動作を表す状態か否か、または前記第１動作をしていないことを表す状態か否かの何れかの状態を識別すると共に、前記第１動作を表す状態であると識別した場合に、前記第１動作を含むと検知し、前記第１動作をしていないことを表す状態であると識別した場合には、前記第１動作を含まないと検知する
ことを特徴とする付記１乃至付記３に記載の照合装置。
（付記５）
前記検知部は、
さらに前記画像情報に基づいて、前記対象物でないことを表す状態、前記対象物による前記第１動作を表す状態及び前記対象物による前記第１動作をしていないことを表す状態の何れかの状態を識別すると共に、該対象物による前記第１動作を表す状態であると識別した場合に、前記生体であると検知することを特徴とする付記４に記載の照合装置。
（付記６）
前記対象物は人物であって、
前記第１動作は、
前記画像情報に基づき前記検知部が検知するところの前記人物の顔を上下左右に動かす、顔を左右に傾ける、顔の部位である目の開閉動作、眼球の動き及び口の開閉動作の何れか、または１つ以上の動作を組み合わせた動作である
ことを特徴とする付記１乃至付記４の何れかに記載の照合装置。
（付記７）
前記検知部は、
前記目の開閉動作を検知し、前記画像情報に前記人物が目を閉じる動作を含むと検知した場合には、該対象物が生体であると検知し、前記画像情報に目を閉じる動作を含まないと検知した場合には、前記第１動作をしていない状態であると検知する
ことを特徴とする付記１乃至付記６の何れかに記載の照合装置。
（付記８）
前記検知部は、
前記口の開閉動作を検知し、前記画像情報に前記人物が口を開ける動作を含むと検知した場合には、該対象物が生体であると検知し、前記画像情報に口を開ける動作を含まないと検知した場合には、前記第１動作をしていない状態であると検知する
ことを特徴とする付記１乃至付記６の何れかに記載の照合装置。
（付記９）
第１情報処理端末と、第２情報処理端末とが通信ネットワークを介して通信可能に接続された照合システムであって、
前記第１情報処理端末は、
照合対象である対象物を表す画像を構成する情報を含む画像情報に基づいて、その画像情報に第１動作を含むと検知した場合には、該対象物が生体であると検知し、前記画像情報に前記第１動作を含まないと検知した場合には、前記第１動作をしていない状態であると検知する検知部と、
前記生体であると検知した場合には、前記第１動作を含むと検知した際に用いた画像情報に基づいて、照合するように要求する第１の照合要求部と、
前記第１動作をしていない状態であると検知した場合には、前記第１動作を含まないと検知した際に用いた画像情報に基づいて、照合するように要求する第２の照合要求部と、
第１の照合結果と第２の照合結果とに基づいて、照合対象として特定の対象物であるか否かを判定する判定部と、を備え
前記第２情報処理端末は、
前記第１の照合要求部からの要求に応じて、前記第１動作を含むと検知した際に用いた画像情報と、前記特定の対象物による第１動作を表す画像に基づき抽出された第１特徴量とに基づいて、前記特定の対象物か否かを照合すると共に前記第１の照合結果を送信する第１の照合部と、
前記第２の照合要求部からの要求に応じて、前記第１動作を含まないと検知した際に用いた画像情報と、前記特定の対象物による第１動作をしていないことを表す画像に基づき抽出された前記第２特徴量とに基づいて、前記特定の対象物か否かを照合すると共に前記第２の照合結果を送信する第２の照合部と、
を備えることを特徴とする照合システム。
（付記１０）
情報処理装置によって、
照合対象である対象物を表す画像を構成する情報を含む画像情報に基づいて、その画像情報に第１動作を含むと検知した場合には、該対象物が生体であると検知し、前記画像情報に前記第１動作を含まないと検知した場合には、前記第１動作をしていない状態であると検知し、
前記生体であると検知した場合には、前記第１動作を含むと検知した際に用いた画像情報と、記憶部に保持された照合対象として特定の対象物による前記第１動作を表す画像または前記第１動作をしていないことを表す画像の何れかの画像に基づき抽出された特徴量とに基づき前記特定の対象物か否かを照合し、前記第１動作をしていない状態であると検知した場合には、前記第１動作を含まないと検知した際に用いた画像情報と、前記特徴量とに基づき前記特定の対象物か否かを照合し、前記生体であると検知した際に照合した結果と、前記第１動作をしていない状態であると検知した際に照合した結果とに基づいて、前記対象物が前記特定の対象物であるか否かを判定する、
ことを特徴とする照合方法。
（付記１１）
照合対象である対象物を表す画像を構成する情報を含む画像情報に基づいて、その画像情報に第１動作を含むと検知した場合には、該対象物が生体であると検知し、前記画像情報に前記第１動作を含まないと検知した場合には、前記第１動作をしていない状態であると検知する機能と、
前記生体であると検知した場合には、前記第１動作を含むと検知した際に用いた画像情報と、記憶部に保持された照合対象として特定の対象物による前記第１動作を表す画像または前記第１動作をしていないことを表す画像の何れかの画像に基づき抽出された特徴量とに基づき前記特定の対象物か否かを照合し、前記第１動作をしていない状態であると検知した場合には、前記第１動作を含まないと検知した際に用いた画像情報と、前記特徴量とに基づき前記特定の対象物か否かを照合し、前記生体であると検知した際に照合した結果と、前記第１動作をしていない状態であると検知した際に照合した結果とに基づいて、前記対象物が前記特定の対象物であるか否かを判定する機能と、
をコンピュータに実現させることを特徴とするコンピュータ・プログラム。

１ 照合装置
２ 検知部
３ 照合部
４ 記憶部
１０ 照合装置
１１ 第１の動作検知部
１２ 第２の動作検知部
１３ 第１の照合部
１４ 第２の照合部
１５ 判定部
２０ 照合装置
２１ 第１の動作検知部
３０ 照合装置
３１ 第１の照合要求部
３２ 第２の照合要求部
３３ 第１の照合部
３４ 第２の照合部
５０ 照合システム
５１ 第１情報処理装置
５２ 第２情報処理装置
１０１ 画像情報
１０２ 特徴量
１０３ 第１特徴量
１０４ 第２特徴量
３００ 情報処理装置
３０１ ＣＰＵ
３０２ ＲＯＭ
３０３ ＲＡＭ
３０４ ハードディスク
３０５ 通信インタフェース
３０６ バス
３０７ 記憶媒体
３０８ リーダライタ

Claims (10)

1. 照合対象である対象物を表す画像を構成する情報を含む画像情報に基づいて、その画像情報に第１動作を含むと検知した場合には、該対象物が生体であると検知し、前記画像情報に前記第１動作を含まないと検知した場合には、前記第１動作をしていない状態であると検知する検知部と、
   前記生体であると検知した場合には、前記第１動作を含むと検知した際に用いた画像情報と、記憶部に保持された照合対象として特定の対象物による前記第１動作を表す画像または前記第１動作をしていないことを表す画像の何れかの画像に基づき抽出された特徴量とに基づき前記特定の対象物か否かを照合し、前記第１動作をしていない状態であると検知した場合には、前記第１動作を含まないと検知した際に用いた画像情報と、前記特徴量とに基づき前記特定の対象物か否かを照合し、前記生体であると検知した際に照合した結果と、前記第１動作をしていない状態であると検知した際に照合した結果とに基づいて、前記対象物が前記特定の対象物であるか否かを判定する照合部と、
   を備えることを特徴とする照合装置。
2. 前記検知部は、
   前記第１動作を含むと検知する処理、または前記第１動作を含まないと検知する処理の何れか一方の処理を実行し、該何れか一方の処理を実行後に他方の処理を実行することを、
   特徴とする請求項１に記載の照合装置。
3. 前記照合部は、
   さらに前記生体であると検知した場合に、前記第１動作を含むと検知した際に用いた画像情報と、前記特定の対象物による第１動作を表す画像に基づき抽出された第１特徴量とに基づき前記特定の対象物か否かを照合し、前記第１動作をしていない状態であると検知した場合には、前記第１動作を含まないと検知した際に用いた画像情報と、前記特定の対象物による第１動作をしていないことを表す画像に基づき抽出された第２特徴量とに基づき前記特定の対象物か否かを照合する
   ことを特徴とする請求項１または請求項２に記載の照合装置。
4. 前記検知部は、
   前記第１動作及び該第１動作をしていないことを表す画像に基づき統計的パターン認識技術を用いて学習することにより生成された識別器によって前記第１動作を表す状態か否か、または前記第１動作をしていないことを表す状態か否かの何れかの状態を識別すると共に、前記第１動作を表す状態であると識別した場合に、前記第１動作を含むと検知し、前記第１動作をしていないことを表す状態であると識別した場合には、前記第１動作を含まないと検知する
   ことを特徴とする請求項１乃至請求項３に記載の照合装置。
5. 前記検知部は、
   さらに前記画像情報に基づいて、前記対象物でないことを表す状態、前記対象物による前記第１動作を表す状態及び前記対象物による前記第１動作をしていないことを表す状態の何れかの状態を識別すると共に、該対象物による前記第１動作を表す状態であると識別した場合に、前記生体であると検知することを特徴とする請求項４に記載の照合装置。
6. 前記対象物は人物であって、
   前記第１動作は、
   前記画像情報に基づき前記検知部が検知するところの前記人物の顔を上下左右に動かす、顔を左右に傾ける、顔の部位である目の開閉動作、眼球の動き及び口の開閉動作の何れか、または１つ以上の動作を組み合わせた動作である
   ことを特徴とする請求項１乃至請求項４の何れかに記載の照合装置。
7. 前記検知部は、
   前記目の開閉動作を検知し、前記画像情報に前記人物が目を閉じる動作を含むと検知した場合には、該対象物が生体であると検知し、前記画像情報に目を閉じる動作を含まないと検知した場合には、前記第１動作をしていない状態であると検知する
   ことを特徴とする請求項１乃至請求項６の何れかに記載の照合装置。
8. 第１情報処理端末と、第２情報処理端末とが通信ネットワークを介して通信可能に接続された照合システムであって、
   前記第１情報処理端末は、
   照合対象である対象物を表す画像を構成する情報を含む画像情報に基づいて、その画像情報に第１動作を含むと検知した場合には、該対象物が生体であると検知し、前記画像情報に前記第１動作を含まないと検知した場合には、前記第１動作をしていない状態であると検知する検知部と、
   前記生体であると検知した場合には、前記第１動作を含むと検知した際に用いた画像情報に基づいて、照合するように要求する第１の照合要求部と、
   前記第１動作をしていない状態であると検知した場合には、前記第１動作を含まないと検知した際に用いた画像情報に基づいて、照合するように要求する第２の照合要求部と、
   第１の照合結果と第２の照合結果とに基づいて、照合対象として特定の対象物であるか否かを判定する判定部と、を備え
   前記第２情報処理端末は、
   前記第１の照合要求部からの要求に応じて、前記第１動作を含むと検知した際に用いた画像情報と、前記特定の対象物による第１動作を表す画像に基づき抽出された第１特徴量とに基づいて、前記特定の対象物か否かを照合すると共に前記第１の照合結果を送信する第１の照合部と、
   前記第２の照合要求部からの要求に応じて、前記第１動作を含まないと検知した際に用いた画像情報と、前記特定の対象物による第１動作をしていないことを表す画像に基づき抽出された前記第２特徴量とに基づいて、前記特定の対象物か否かを照合すると共に前記第２の照合結果を送信する第２の照合部と、
   を備えることを特徴とする照合システム。
9. 情報処理装置によって、
   照合対象である対象物を表す画像を構成する情報を含む画像情報に基づいて、その画像情報に第１動作を含むと検知した場合には、該対象物が生体であると検知し、前記画像情報に前記第１動作を含まないと検知した場合には、前記第１動作をしていない状態であると検知し、
   前記生体であると検知した場合には、前記第１動作を含むと検知した際に用いた画像情報と、記憶部に保持された照合対象として特定の対象物による前記第１動作を表す画像または前記第１動作をしていないことを表す画像の何れかの画像に基づき抽出された特徴量とに基づき前記特定の対象物か否かを照合し、前記第１動作をしていない状態であると検知した場合には、前記第１動作を含まないと検知した際に用いた画像情報と、前記特徴量とに基づき前記特定の対象物か否かを照合し、前記生体であると検知した際に照合した結果と、前記第１動作をしていない状態であると検知した際に照合した結果とに基づいて、前記対象物が前記特定の対象物であるか否かを判定する、
   ことを特徴とする照合方法。
10. 照合対象である対象物を表す画像を構成する情報を含む画像情報に基づいて、その画像情報に第１動作を含むと検知した場合には、該対象物が生体であると検知し、前記画像情報に前記第１動作を含まないと検知した場合には、前記第１動作をしていない状態であると検知する機能と、
    前記生体であると検知した場合には、前記第１動作を含むと検知した際に用いた画像情報と、記憶部に保持された照合対象として特定の対象物による前記第１動作を表す画像または前記第１動作をしていないことを表す画像の何れかの画像に基づき抽出された特徴量とに基づき前記特定の対象物か否かを照合し、前記第１動作をしていない状態であると検知した場合には、前記第１動作を含まないと検知した際に用いた画像情報と、前記特徴量とに基づき前記特定の対象物か否かを照合し、前記生体であると検知した際に照合した結果と、前記第１動作をしていない状態であると検知した際に照合した結果とに基づいて、前記対象物が前記特定の対象物であるか否かを判定する機能と、
    をコンピュータに実現させることを特徴とするコンピュータ・プログラム。

Images