JP2008004050A - 個人情報認証システム、個人情報認証方法、プログラム、及び記録媒体 - Google Patents

Abstract

【課題】発語対象となる語をランダムにすることで、事前に予測不可能とすることができ、成りすましの可能性を低くする個人情報認証システム、個人情報認証方法、この方法を記載している情報記録媒体及びコンピュータプログラムを提供する。
【解決手段】情報処理装置１から送信され且つ認証方法の指示手段２を経由して認証方法の指示を受信する受信手段３と、受信した指示を表示画面に表示する表示手段４と、表示された指示に基づいて身体特徴を読み取る身体特徴読み取り手段５と、この身体特徴読み取り手段５から出力した認証情報を前記情報処理装置１へ送信する送信手段６とを含んでいる個人情報認証システムにおいて、前記指示手段２による前記認証方法の指示はランダムである。
【選択図】図１

Description

本発明は、商取引、書類申請、セキュリティ目的等において各個人情報を認証するのに使用する個人情報認証システム、個人情報認証方法、この方法を記載している記録媒体及びプログラムに関するものである。

従来から、商取引、書類申請、セキュリティ目的等において各個人情報を認証するために様々な個人情報認証システムが提案され且つ利用されている（例えば、特許文献１乃至３参照）。
例えば、特許文献１には、「携帯端末装置」において、個人認証の際、その度ごとにユーザが保管している個人認証装置（例えば、携帯用電子機器など）内で個人生体情報をチェックすることによって本人認証を行うことが提案されている。しかし、個人生体情報が漏洩し、成りすましの可能性がある。
一方、認証に対する精神的な抵抗感の少なさから、顔画像を用いた認証システムが使われ始めている。例えば、特許文献２の「顧客管理システム、該システムの機能を実現するプログラム及び記録媒体」には、顔認証システムによって顧客を認識し、認識結果に基づいて顧客情報を提示することが提案されている。

しかし、１枚の静止した顔画像を使った個人認証では、双子の場合等、誤認証が問題となることがある。よって、特許文献３の「個人認証装置及び方法」では、顔画像認証手段、音声認証手段、ＩＤ番号認証手段、指紋認証手段等の認証手段のうちいずれかを２つ以上組み合わせて用いることを提案している。
こうした組み合せによる認証は有効ではあるが、異なる種類の動作を伴うため煩雑でもある。よって、顔画像だけで認証精度が向上できればその方が望ましく、その方法としては、１枚の静止画ではなく、動画像を用いる方法が考えられる。時系列の顔画像を用いた認証は、１枚の顔画像による認証よりも高い信頼性が期待できるからである。
特開２００４−６４６５０公報 特開２００４−３２６２０８公報 特開２０００−２５９８２８公報

しかしながら、前記動画像による認証では、例えば、登録された笑顔の動画像を利用して認証を行うといったことが考えられるが、動画像の場合、時系列データである性格上、観測される表情自体の再現性が十分でない場合がある。その場合には、動画像を用いたにも拘わらず、認識精度の向上が見られないことがあるという問題がある。
そこで、本出願人は、表情の動画像の再現性を上げるために、或るキーワード等を発語させ、その時の顔の動画像を用いて認証を行う技術を提案している。

しかし、発語対象となるものが特定されている場合、事前に予測可能となるため、認識データを用意しておき易くなり、成りすましの可能性が高くなるという問題もある。
そこで、本発明の目的は、上述した実情を考慮して、発語対象となる語をランダムにすることで、事前に予測不可能とすることができ、成りすましの可能性を低くする個人情報認証システム、個人情報認証方法、この方法を記載している情報記録媒体及びコンピュータプログラムを提供することにある。

上記の課題を解決するために、請求項１に記載の発明は、情報処理装置から送信され且つ認証方法の指示手段を経由して認証方法の指示を受信する受信手段と、受信した指示を表示画面に表示する表示手段と、表示された指示に基づいて身体特徴を読み取る身体特徴読み取り手段と、該身体特徴読み取り手段から出力した認証情報を情報処理装置へ送信する送信手段と、を備え、前記指示手段による前記認証方法の指示がランダムである個人情報認証システムを特徴とする。
また請求項２に記載の発明は、前記身体特徴読み取り手段は、発語時の時系列の顔画像を取得する顔画像取得手段と、前記時系列の顔画像に基づいて人物認証を行う人物認証手段と、を有する請求項１記載の個人情報認証システムを特徴とする。

また請求項３に記載の発明は、前記発語には破裂音を１つ以上含む請求項２記載の個人情報認証システムを特徴とする。
また請求項４に記載の発明は、前記発語は所定回数繰り返す請求項２記載の個人情報認証システムを特徴とする。
また請求項５に記載の発明は、前記認証方法の指示は顔の向きの指示を含む請求項１記載の個人情報認証システムを特徴とする。
また請求項６に記載の発明は、前記発語のスピードが指示される請求項２記載の個人情報認証システムを特徴とする。

また請求項７に記載の発明は、情報処理装置から送信され且つ認証方法の指示手段を経由して認証方法の指示を受信する受信手段と、受信した指示を表示画面に表示する表示手段と、表示された指示に基づいて身体特徴を読み取る身体特徴読み取り手段と、身体特徴読み取り手段から出力した認証情報を情報処理装置へ送信する送信手段とを含んでいる個人情報認証方法において、撮影した動画像から顔を検出する顔検出工程と、該顔検出工程において顔を検出したときに、指定した言葉の発語要求を行いそれに伴って発語された音声を音素に分解して音素フレームを抽出する工程と、前記顔検出工程において検出された顔の特徴点移動量を算出し、その算出結果に基づいて類似度を算出する算出工程と、前記算出工程で算出された類似度が閾値より大きいか否かの判別を行い、類似度が閾値より大きいと判断した場合はユーザを本人と認証し、類似度が閾値より大きくないと判断した場合はユーザを否認する認証工程とを含む個人情報認証方法を特徴とする。

また請求項８に記載の発明は、前記認証工程において、前記類似度が第１の閾値より小さいか否かの判断を行い、第１の閾値より小さい場合は、前記類似度が第２の閾値より大きいか否かの判断を行い、前記類似度が前記第２の閾値より大きい場合はユーザを本人として認証すると共に、前記類似度が前記第１の閾値より大きい場合、又は前記類似度が前記第２の閾値より大きく、且つ、全ての回数の音素フレームについて処理した場合はユーザを否認する請求項７記載の個人情報認証方法を特徴とする。
また請求項９に記載の発明は、請求項７又は８記載の個人情報認証方法を実行可能なプログラムを特徴とする。
また請求項１０に記載の発明は、請求項９記載のプログラムが記載されている情報記録媒体を特徴とする。

本発明によれば、認証方法の指示がランダムに情報処理装置より出されることによって、認証方法を事前に予測することを不可能とすることができるため、成りすましを防止することができる。

以下、図面を参照して、本発明の実施形態を詳細に説明する。図１は本発明に係る個人情報認証システムの構成を示すブロック図である。図２は図１の身体特徴読み取り手段の構成の第１の実施形態を示すブロック図である。
図３は顔領域である実線の矩形中に設定したウィンドウを示す概略図である。図４は図２の点線部であるウィンドウ内の画素値に対して、ラプラシアン等のエッジ検出オペレータを施し、所定閾値で二値化してエッジの線画像を得る眉、目、口を検出するためのウィンドウを示す概略図である。

図１の個人情報認証システムＡには、情報処理装置１から送信され且つ認証方法の指示手段２を経由して認証方法の指示を受信する受信手段３と、受信した指示を表示画面に表示する表示手段４と、表示された指示に基づいて身体特徴を読み取る身体特徴読み取り手段５と、この身体特徴読み取り手段５から出力した認証情報を情報処理装置１へ送信する送信手段６とを含んでいる。
図１の身体特徴読み取り手段５には、顔画像を取得する動画撮像手段７、及び人物認証手段を構成する、顔検出手段８、フレーム検出手段９、顔特徴点変位算出手段１０、類似度評価手段１１を含んでいる。身体特徴読み取り手段５の人物認証手段には、さらに、音声取得手段１２と音声分割手段１３を含んでおり、音声取得手段１２は発語指定手段１４を介して音声分割手段１３と接続されている。

動画撮像手段７は、個人認証システムＡを利用するユーザを撮影可能な場所、例えば、入り口の映像を常時撮影しており、その映像は常に顔検出手段８に入力される（２０）ようになっている。
顔検出手段８は、１フレームの画像中に、顔があるか否かを判断するものであり、顔が含まれている場合には、その領域（主に、顎から額にかけての領域）を切り出すことができるように構成されている。
顔検出手段８は、例えば、「佐部 浩太郎、日台 健一 ピクセル差分特徴を用いた実時間任意姿勢顔検出器の学習、画像センシングシンポジウム２００５論文集」に記載の方法で構成できる。
前記論文集に記載の方法は、教師画像（＝多くの顔画像）内の任意の２点の画素差分値をブースティング学習器に入力して閾値を学習させ、学習後の所定閾値と、検出対象の入力画像の任意の２点の画素差分値を比較して、顔画像が含まれるか否かを判別するようにしている。

顔検出手段８は、フレーム中に顔を検出した場合には、領域情報を付したフレーム画像をフレーム抽出手段９に入力し、検出しなかった場合には、領域情報を付さないフレーム画像をフレーム抽出手段９に入力する（２１）。フレーム抽出手段９は、入力された画像を所定フレーム数だけバッファリングしている。
また、顔検出手段８は、顔を検出すると、この検出を音声取得手段１２に通知し（２２）、音声取得手段１２が動作を開始する。本発明の身体特徴読み取り手段５の第１の実施形態は、発語すべきキーワードがランダムに指定される場合についてである。
音声取得手段１２の動作開始後、この音声取得手段１２はランダム指定を発語指定手段１４に通知し（２３）、この発語指定手段１４はユーザに対して発語対象となるキーワードを表示し、キーワードの発語を促す（２３）。

顔検出後、発語指定手段１４が、ユーザに対して「こんにちは、とおっしゃってください」というように、発語すべきキーワードを指定する。ここで、発語すべきキーワードは或る所定数用意されていて、発語指定する際、ランダムに指定される。
例えば、今回指定されるキーワードが「こんにちは」であった場合、次回指定されるキーワードは「おはよう」というように、指定されるキーワードがユーザによって予測できないようにする。
発語キーワードである前記言葉は、発語指定手段１４から音声分割手段１３に対して入力されるため（２４）、この入力を基にテンプレートとして参照するスペクトルが決定され、やはり最もマッチングが高くなる時間軸伸縮が求められる。

音声取得手段１２がユーザの発語を取得すると、その音声情報が発語指定手段１４を経由して音声分割手段１３に入力され（２４）、この音声情報は音声分割手段１４により、公知のＤＰマッチング（動的計画法マッチング）等を用いて音素に分解される。
ここで音素とは、母音（ａ，ｉ，ｕ，ｅ，ｏ）と濁音等と含む子音（ｋ，ｓ，ｔ，ｎ，ｈ，ｍ，ｙ，ｒ，ｗ，ｇ，ｚ，ｄ，ｂ，ｐ，・・・）等からなる２４種類程の日本語音声の表現単位である。

ＤＰマッチング法とは、予め登録された全ての音素の特徴量（例えば、２０ｍｓ程度の音素のスペクトル）をテンプレートとして、入力された音声情報の時間軸を伸縮させながら、伸縮後の音声情報のスペクトルを算出して各テンプレートとの一致度を評価し、最も高い一致度をみたテンプレートの音素として、入力音声を認識する方法である。
スペクトルは、周波数帯域毎の振幅を要素とするベクトルであるから、スペクトルの一致度は、ベクトル同士の内積が所定値以上であることによって評価することができる。本実施形態では、規定のキーワードを発語することを前提としているため、テンプレートとして使用するスペクトルは最初から決まっており、最もマッチングが高くなる時間軸伸縮を求めることになる。

音声分割手段１３は、音声入力を音素に分割した後、発語直前の時刻、及び各音素が発音されている区間の中央の時刻をフレーム抽出手段３に入力し（２５）、フレーム抽出手段９は、バッファリングしている画像中から、顔領域情報が付された当該時刻のフレームを抽出して、そのフレームを顔特徴点変位算出手段１０に入力する（２６）。
顔特徴点変位算出手段１０は、顔領域（図３の実線の矩形）中に、眉、目、口を検出するためのウィンドウを設定し（図３の点線部）、このウィンドウ内の画素値に対して、ラプラシアン等のエッジ検出オペレータを施し、所定閾値で二値化してエッジの線画像を得る（図４）。

本実施形態におけるウィンドウは、顔領域として検出された矩形を基準として、相対的な位置及び大きさを有するものとして定義されており、顔領域の縦横比と各ウィンドウの縦横比は比例関係にある。従って、検出された顔領域のサイズ自体が大きければ、それに比例してウィンドウも大きく設定される。
上記各ウィンドウ内の線画は、必要に応じて孤立点除去処理を施された後、Ｘ軸及びＹ軸に対して正射影され（図４の矢印が射影を、太線が射影結果を示す）、各射影の両端の点（太線の両端の点）として、眉、目及び口の上下左右端点（図４の丸印）が、合計で２０点検出される。
即ち、顔特徴点変位算出手段１０は、発語直前のフレーム（以下、これを基準フレームと呼ぶ）及び各音素に対応したフレーム（以下、これを音素フレームと呼ぶ）に対して、先ず、上記２０の特徴点の座標を検出する。ここで、Ｘ軸に対して射影された端点はＸ座標のみを有し、Ｙ軸に対して射影された端点はＹ座標のみを有する。

各端点につき、基準フレームと音素フレームにおける座標の差、即ち、Ｘ軸又はＹ軸方向の移動距離を算出し、それを顔画像領域の大きさ（Ｘ軸方向の移動距離はＸ軸方向の顔領域の大きさ、Ｙ軸方向の移動距離はＹ軸方向の顔領域の大きさ）で正規化して、特徴点変位量を算出する。
従って、１つの音素フレームに対して、２０の特徴点移動量が算出される。よって、１つの発語は、２０次元ベクトルの音素数分の配列として表現され、類似度評価手段５に入力される（２７）。

類似度評価手段１１には、テンプレートとして、ユーザ毎に全ての音素に関する上記２０次元ベクトルが予め登録されている。そして、音声分割手段１３によって分割された音素毎にフレームが抽出され、基準フレームに対する特徴点変位量が算出される。
そして発語された各音素について、処理によって算出されたベクトルと、テンプレートのベクトル同士の類似度が内積として算出され、この内積のｎ音素数分の二乗和が算出される。
この「内積の二乗和」が、発語時の表情とテンプレートの類似度指標として評価され、その値が最大となるテンプレートが選択される。そして、その値が所定値以上である場合に、ユーザはテンプレートの登録者として認証される。テンプレートと同一の音素を発している状態の顔画像を抽出するため、認証に用いられる顔画像の再現性が向上し、認証精度を向上させることができる。
なお、上記所定値とは、認証システムが、本人以外の人間を本人として認証してしまう誤認証率の許容値によって決定すべき定数であり、誤認証率と閾値は負の相関関係にある。

図５は本発明の個人情報認証方法の第１の実施形態の動作を示すフローチャートである。図２及び図５を参照して、動画撮像手段７で動画像を撮影し（Ｓ１）、顔検出手段８で顔を検出し（Ｓ２）、顔検出手段８の検出結果を音声取得手段１２で音声取得を開始する（Ｓ３）。
次に、言葉を指定した発語要求を発語指定手段１４で行う（Ｓ４）。発語された音声を音声分割手段１３で音素に分解し（Ｓ５）、音素フレームをフレーム抽出手段９から抽出する（Ｓ６）。
次いで、顔特徴点変位量算出手段１０で特徴点移動量を算出し（Ｓ７）、類似度を類似度評価手段１１で算出し（Ｓ８）、次いで、類似度＞閾値かどうかを判断し（Ｓ９）、類似度＞閾値ならばユーザを本人として認証する（Ｓ１０）。ステップ（Ｓ９）で類似度＞閾値でないならばユーザを否認する（Ｓ１１）。

本発明による個人情報認証方法の第１変形例では、発語対象となるキーワードに破裂音を１つ以上含ませ、破裂音を１つ以上含んでいるキーワードがランダムに指定されるようにしている。
例えば、「こんばんは」等のように破裂音を１つ以上含ませる。このように、破裂音を用いることで、顔の表情を大きく変化させることができるので、顔認識率を高くし、精度よく認証を行うことができる。
また、第１の実施形態では発語するキーワードをランダムに指示させたが、第１の実施形態の第２変形例では顔の向きも含めて指定するようにしている。

例えば、「正面向きで「こんにちは」とおっしゃってください」、「上向きで「こんにちは」とおっしゃってください」というような指示をする。図２の類似度評価手段１１にはテンプレートとして、ユーザ毎に全ての音素に対して、指定され得る全ての向きの２０次元ベクトルが予め登録されている。
通常、正面以外の顔認識は認識率が低くなるため、使用される場合は少ないが、ここでは、正面向きによる顔認識を行い、さらに上向きとなった時の顔認識も行う。このように、いろいろな方向の顔画像を用いることで、成りすましをより防止する効果がある。また、いろいろな顔の向きで認証することにより、セキュリティレベルを高くすることができる。

さらに、第１の実施形態の第３変形例では、発語する際のスピードも指示するようにしている。ユーザが発語するスピードが速い場合、顔認識をしにくく、顔認識率が低くなる。
そのため、例えば一文字ずつ表示していくことで発語するスピードを制御する。「こんにちは」というキーワードである場合、「こ」「ん」「に」「ち」「は」と一定のスピードで表示していく。このように発語のスピードを指示することで、精度よく認証を行うことができる。

図６は本発明に係る個人情報認証システムの身体特徴読み取り手段の構成の第２の実施形態を示すブロック図である。
図２の第１の実施形態の構成における部分と同一部分には同一符号を付してここでの詳細な説明は省略する。
１回目のキーワードにおける、類似度評価手段１１により類似度を評価する。もし、曖昧な語があった場合、顔特徴点変位算出手段１０により、曖昧であった語の特徴点変位量を算出し、類似度評価手段１１により、類似度を評価する（２８）。繰り返し発語をさせることで、同じ語を数回認証することができるため、認証精度を高めることができる。

また、第１の実施形態では、指定されたキーワードを１回発語させるようにしていたが、第２の実施形態では、発語対象となるキーワードを繰り返し発語させるようにしている。ここで、発語対象を繰り返すとは、「こんにちはこんにちは」「おはようおはよう」というようにキーワードを繰り返し発語させることである。
例えば、「こんにちはこんにちは」と２回繰り返し発語させた場合、１回目の「こんにちは」で本人であるかの認証を行う。もし、そのキーワードの中に曖昧な語があった場合、２回目の「こんにちは」と発語したキーワードの中から、曖昧であった語を用いて、再度認証を行う。

図７は本発明の個人情報認証方法の第２の実施形態の動作を示すフローチャートである。図６及び図７を参照して、第１の実施形態の動作の流れと同様に、動画撮像手段７で動画像を撮影し（Ｓ２１）、顔検出手段８で顔を検出し（Ｓ２２）、顔検出手段８の検出結果を音声取得手段１２で音声取得を開始する（Ｓ２３）。
次に、言葉を指定した発語要求を発語指定手段１４で行う（Ｓ２４）。発語された音声を音声分割手段１３で音素に分解し（Ｓ２５）、音素フレームをフレーム抽出手段９から抽出する（Ｓ２６）。
次いで、顔特徴点変位量算出手段１０で特徴点移動量を算出し（Ｓ２７）、類似度を類似度評価手段１１で算出し（Ｓ２８）、次いで、閾値１＞類似度かどうかを判断する（Ｓ２９）。閾値１＞類似度ならば、次に、類似度＞閾値２かどうかを判断し（Ｓ３０）、類似度＞閾値２であるならば、ユーザを本人として認証する（Ｓ３１）。

ステップ（Ｓ２９）で閾値１＞類似度でないならば、ユーザを否認する（Ｓ３２）。ステップ（Ｓ３０）で類似度＞閾値２でないならば、全ての回数の音素フレームについて処理したかどうかを判断し（Ｓ３３）、処理したならば、ユーザを否認し（Ｓ３４）、処理していないならば、繰り返し音素フレームを抽出し（Ｓ３５）、ステップ（Ｓ２７）に戻って動作を繰り返す。
なお、以上で示したフローチャートは、個人情報認証方法の実施形態でもあり、また、図示はしてないが、コンピュータが読み取り可能な情報記録媒体及びプログラムの作成も、以上の実施形態を基に容易に実施できることは明らかである。

本発明に係る個人情報認証システムの構成を示すブロック図である。 図１の身体特徴読み取り手段の構成の第１の実施形態を示すブロック図である。 顔領域である実線の矩形中に設定したウィンドウを示す概略図である。 図２の点線部であるウィンドウ内の画素値に対してラプラシアン等のエッジ検出オペレータを施し、所定閾値で二値化してエッジの線画像を得る眉、目、口を検出するためのウィンドウを示す概略図である。 本発明の個人情報認証方法の第１の実施形態を示すフローチャートである。 本発明に係る個人情報認証システムの身体特徴読み取り手段の構成の第２の実施形態を示すブロック図である。 本発明の個人情報認証方法の第２の実施形態の動作を示すフローチャートである。

符号の説明

Ａ 個人情報認証システム、１ 情報処理装置、２ 認証方法の指示手段、３ 受信手段、４ 表示手段、５ 身体特徴読み取り手段、６ 送信手段、７ 動画撮像手段、８ 人物認証手段（顔検出手段）、９ 人物認証手段（フレーム検出手段）、１０ 人物認証手段（顔特徴点変位算出手段）、１１ 人物認証手段（類似度評価手段）、１２ 人物認証手段（音声取得手段）、１３ 人物認証手段（音声分割手段）、１４ 人物認証手段（発語指定手段）

Claims (10)

1. 情報処理装置から送信され且つ認証方法の指示手段を経由して認証方法の指示を受信する受信手段と、受信した指示を表示画面に表示する表示手段と、表示された指示に基づいて身体特徴を読み取る身体特徴読み取り手段と、該身体特徴読み取り手段から出力した認証情報を情報処理装置へ送信する送信手段と、を備え、前記指示手段による前記認証方法の指示がランダムであることを特徴とする個人情報認証システム。
2. 前記身体特徴読み取り手段は、発語時の時系列の顔画像を取得する顔画像取得手段と、前記時系列の顔画像に基づいて人物認証を行う人物認証手段と、を有することを特徴とする請求項１記載の個人情報認証システム。
3. 前記発語には破裂音を１つ以上含むことを特徴とする請求項２記載の個人情報認証システム。
4. 前記発語は所定回数繰り返すことを特徴とする請求項２記載の個人情報認証システム。
5. 前記認証方法の指示は顔の向きの指示を含むことを特徴とする請求項１記載の個人情報認証システム。
6. 前記発語のスピードが指示されることを特徴とする請求項２記載の個人情報認証システム。
7. 情報処理装置から送信され且つ認証方法の指示手段を経由して認証方法の指示を受信する受信手段と、受信した指示を表示画面に表示する表示手段と、表示された指示に基づいて身体特徴を読み取る身体特徴読み取り手段と、身体特徴読み取り手段から出力した認証情報を情報処理装置へ送信する送信手段とを含んでいる個人情報認証方法において、
   撮影した動画像から顔を検出する顔検出工程と、該顔検出工程において顔を検出したときに、指定した言葉の発語要求を行いそれに伴って発語された音声を音素に分解して音素フレームを抽出する工程と、前記顔検出工程において検出された顔の特徴点移動量を算出し、その算出結果に基づいて類似度を算出する算出工程と、前記算出工程で算出された類似度が閾値より大きいか否かの判別を行い、類似度が閾値より大きいと判断した場合はユーザを本人と認証し、類似度が閾値より大きくないと判断した場合はユーザを否認する認証工程とを含むことを特徴とする個人情報認証方法。
8. 前記認証工程において、前記類似度が第１の閾値より小さいか否かの判断を行い、第１の閾値より小さい場合は、前記類似度が第２の閾値より大きいか否かの判断を行い、前記類似度が前記第２の閾値より大きい場合はユーザを本人として認証すると共に、前記類似度が前記第１の閾値より大きい場合、又は前記類似度が前記第２の閾値より大きく、且つ、全ての回数の音素フレームについて処理した場合は、ユーザを否認することを特徴とする請求項７記載の個人情報認証方法。
9. 請求項７又は８記載の個人情報認証方法を実行可能なプログラム。
10. 請求項９記載のプログラムが記載されている情報記録媒体。

Images