JP2020107218A - 情報処理装置、その制御方法とプログラム - Google Patents

Abstract

【課題】ＰＣ作業者のＰＣリソースをなるべく消費せずに、本人認証中にできるだけ早い時間で写真によるなりすましの不正行為を検出できる情報処理装置、制御方法及びプログラムを提供する。【解決手段】情報処理装置は、ユーザの顔を含む複数画像から繰り返して本人認証し、本人認証された複数画像から、ユーザの顔の動きの有無情報及びユーザの瞬きの有無情報に関する観測結果を検出する。検出した観測結果に従って、観測結果を取得したユーザが本人である確率と、なりすましである確率をそれぞれ推定する。推定されたそれぞれの確率が第１の条件を満たした場合、本人認証された画像のユーザはなりすましであることを通知する。【選択図】図１０

Description

本発明は、本人認証中にできるだけ早い時間で写真によるなりすましの不正行為を検出できる情報処理装置、その制御方法とプログラムの技術に関する。

近年普及し始めているテレワーク（在宅勤務）には、テレワーカが作業をしているかどうか、また、別人が作業をしていないかどうかを保証する必要があるという課題がある。

その課題を解決するため、作業ＰＣに接続されたカメラ（例えばＰＣのインカメラ）により撮影された映像に対して、顔検出頻度を用いて「在席」か「離席」かを推定し、予め登録した本人顔に対する類似度を用いて「本人」か「別人」かを推定する技術が存在する。
また、映った人物が本人かどうか以外に、生体であるか写真等の疑似的なものではないかを判断する必要もある。

特許文献１には、認証しようとする人物の顔が生体の顔が、写真等の擬似的な顔なのかを判断してなりすましを防止しつつ、なりますましの対象となった人物の確認を後でする顔認証装置の技術が開示され、複数フレームの画像から顔面の部位の動きの有無を検出し、目領域の変化から生体識別を行う技術が開示されている。

特開２００６−３３０９３６号公報

テレワーカが作業している裏で、その作業に支障を与えないように常時本人認証するシステムにおいて、目領域の変化、つまり瞬きの有無で写真かどうかを判断するには問題がある。人間は瞬きを１回平均０．１秒、１分間で約２０回行う。監視カメラ等の異常検出にすべてのリソースを注げるユースケースであれば、１回あたりの瞬き時間よりも短い頻度で瞬きの有無を確認することで、写真かどうかの判断を迅速に行うことができる。しかし、テレワーカのＰＣ作業の裏で実施する場合、その作業に支障を与えないよう低リソース、つまり低フレームレートで瞬きの有無を確認せざるをえない。１回あたりの瞬き確認で瞬きの瞬間を捉えられる確率が下がるので、瞬きの有無を判断するのに時間をかける必要がある。例えば秒間１回しか確認しない場合、１分間の間一切瞬きを検出しなかったとしても、瞬きしていない確率は８７％で、１３％の確率で瞬きをしている可能性が残ってしまう。写真であると過って判断しないようにしつつも、早い時間で判断できる仕組みが必要である。

本発明は、ＰＣ作業者のＰＣリソースをなるべく消費せずに、本人認証中にできるだけ早い時間で写真によるなりすましの不正行為を検出できる仕組みを提供することを目的とする。

本発明は、ユーザの顔を含む複数画像から繰り返して本人認証する認証手段と、本人である確率と、なりすましである確率を記憶する記憶手段と、前記本人認証された複数画像から、ユーザの顔の動きの有無情報及びユーザの瞬きの有無情報に関する観測結果を検出する検出手段と、前記検出したユーザの顔の動きの有無及びユーザの瞬きの有無に関する観測結果に従って、前記観測結果を取得したユーザが本人である確率と、なりすましである確率をそれぞれ推定する推定手段と、前記それぞれ推定した確率が第１の条件を満たした場合には、前記本人認証された画像のユーザはなりすましであることを通知する通知手段と、を備えることを特徴とする情報処理装置。

また、前記それぞれ推定した確率が前記第１の条件を満たさない場合には、前記通知手段が前記本人認証された画像のユーザは本人あることを継続して通知することを特徴とする。

また、前記本人認証された複数画像から検出された、ユーザの顔の動きの有無の検出頻度とユーザの瞬きの有無の検出頻度を累積する累積手段と、を更に備え、前記本人認証された後に、前記累積したユーザの顔の動きの有無情報の検出頻度が、ユーザの顔の動きの有無に関する第２の条件よりも低い検出頻度である場合に、前記通知手段が前記本人認証された画像のユーザはなりすましであることを通知することを特徴とする。

また、前記本人認証された複数画像から検出された、ユーザの顔の動きの有無の検出頻度とユーザの瞬きの有無の検出頻度を累積する累積手段と、を更に備え、前記本人認証された後に前記累積したユーザの顔の動きの有無情報の検出頻度が、ユーザの顔の動きに関する第２の条件よりも低い検出頻度である場合であっても、前記累積したユーザの顔の瞬きの有無の検出頻度が、ユーザの顔の瞬きの有無に関する第３の条件よりも高い検出頻度である場合には、前記通知手段が前記本人認証された画像のユーザは本人あることを継続して通知することを特徴とする。

また、前記本人認証された複数画像から検出された、ユーザの顔の動きの有無情報の検出頻度とユーザの瞬きの有無情報の検出頻度を累積する累積手段と、を更に備え、前記本人認証された後に前記累積したユーザの顔の動きの有無情報の検出頻度が、第２の条件よりも低い検出頻度である場合に、前記累積したユーザの顔の瞬きの有無情報の検出頻度が、ユーザの顔の瞬きの有無に関する第３の条件よりも低い検出頻度である場合には、前記通知手段が前記本人認証された画像のユーザはなりすましであることを通知することを特徴とする。

本発明により、ＰＣ作業者が本人であるかを常時認証するシステムにおいて、作業者の本来の作業に支障を与えることなく、本人認証中にできるだけ早い時間で写真によるなりすましの不正行為を検出できる仕組みを提供することが可能となる。

本発明のテレワーク管理システムの構成の一例を示すシステム構成図である。 図１に示した証跡送信端末１００および証跡監査端末１１０，証跡管理サーバ１２０に適用可能な情報処理装置のハードウェア構成を示すブロック図である。 図１に示した証跡送信端末１００および証跡監査端末１１０，証跡管理サーバ１２０に必要な機能構成を示すブロック図である。 図４は図８の隠れマルコフモデルを用いた写真なりすまし推定で用いる遷移確率、推定値、観測値、出力遷移確率の関係を示すイメージである。 現在のユーザの状態の判定結果を出力するための処理を示すフローチャートである。 顔追跡の成否判定処理を示すフローチャートである。 顔選別処理を示すフローチャートである。 隠れマルコフモデルを用いた写真なりすまし推定を示すフローチャートである。 取得されたカメラ画像と、各判定方法、その判定結果から推定されるユーザ状態との関係を示すイメージ図 時間が連続するフォーカス枠 証跡送信端末１００でリアルタイムに表示され更新されるユーザの状態 監査画面の一例を示したもの

まず、本発明の概要について説明する。

本発明のテレワーク管理システムは、顔認識技術を用いてテレワーカのイベント（”在席”や”離席”の労務イベントや、第三者による”なりすまし”や”覗き見”のセキュリティインシデント）を検出・記録し、管理者が閲覧できるようにするシステムである。

以上が本発明におけるテレワーク管理システムの概要である。

以下、図面を参照して、本発明の実施形態を詳細に説明する。

図１は、本発明のテレワーク管理システムの構成の一例を示すシステム構成図である。

図１は、１又は複数の証跡送信端末１００、１又は複数の証跡監査端末１１０、１又は複数の証跡管理サーバ１２０が、ローカルエリアネットワーク（ＬＡＮ）１３０とルータ１４０、およびインターネット１５０を介して接続される構成となっている。

証跡送信端末１００は、使用するテレワーカの労務イベントおよびセキュリティインシデントを検出し、その証跡を証跡管理サーバ１２０に送信する。また、イベント検出に使用するテレワーカの特徴量データ（顔画像とそこから取得した特徴量）を証跡管理サーバ１２０に送信する。

証跡監査端末１１０は、証跡管理サーバ１２０に記録された特徴量データの承認操作と、証跡管理サーバ１２０に記録された証跡の監査操作を行う。

証跡管理サーバ１２０は、証跡送信端末１００から受信した証跡を記録し、その証跡に対する証跡監査端末１１０の監査操作を処理する。また、証跡送信端末１００から受信した特徴量データを記録し、その特徴量データに対する証跡監査端末１１０の承認操作を処理する。

以下、図２を用いて、図１に示した証跡送信端末１００、証跡監査端末１１０、証跡管理サーバ１２０に適用可能な情報処理装置のハードウェア構成について説明する。

図２は、図１に示した証跡送信端末１００、証跡監査端末１１０、証跡管理サーバ１２０に適用可能な情報処理装置のハードウェア構成を示すブロック図である。

図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０３あるいは外部メモリ２１２には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。

２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０３あるいは外部メモリ２１２からＲＡＭ２０２にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。

また、２０５は入力コントローラで、キーボード（ＫＢ）２０９やカメラデバイス２１０（撮像装置）、不図示のマウス等のポインティングデバイス等からの入力を制御する。
２０６はビデオコントローラで、ＣＲＴディスプレイ（ＣＲＴ）２１１等の表示器への表示を制御する。なお、図２では、ＣＲＴ２１１と記載しているが、表示器はＣＲＴだけでなく、液晶ディスプレイ等の他の表示器であってもよい。これらは必要に応じて管理者が使用するものである。

２０７はメモリコントローラで、ブートプログラム，各種のアプリケーション，フォントデータ，ユーザファイル，編集ファイル，各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１２へのアクセスを制御する。

２０８は通信Ｉ／Ｆコントローラで、ネットワーク（例えば、図１に示したＬＡＮ１３０）を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。

なお、ＣＰＵ２０１は、例えばＲＡＭ２０２内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ＣＲＴ２１１上での表示を可能としている。また、ＣＰＵ２０１は、ＣＲＴ２１１上の不図示のマウスカーソル等でのユーザ指示を可能とする。

本発明を実現するための後述する各種プログラムは、外部メモリ２１２に記録されており、必要に応じてＲＡＭ２０２にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル等も、外部メモリ２１２に格納されており、これらについての詳細な説明も後述する。

次に、図３を用いて、本発明の証跡送信端末１００、証跡監査端末１１０および証跡管理サーバ１２０の機能ブロック図について説明する。

尚、各機能ブロックが処理する詳細な制御については、後述するフローチャートにて説明する。

まず、証跡送信端末１００の機能構成について説明する。

映像入力部１０１は、カメラデバイス２１０より映像を取得し、特徴量データ登録部１０２およびイベント検出部１０６にその映像を送信する。

特徴量データ登録部１０２は、映像入力部１０１から送られてきた映像のフレーム（静止画）を顔認識部１０３に与え、顔認識部１０３から得られた特徴量データを、特徴量データ記憶部１０４に記憶する。

顔認識部１０３は、特徴量データ登録部１０２またはイベント検出部１０６から送られてきたフレームに対して顔検出を行う。また、検出された顔に対して特徴量データを算出する。さらに、比較対象の特徴量データを受け取った場合、２つの特徴量データ間の類似度を算出する。
特徴量データ記憶部１０４は、顔画像とその特徴量からなる特徴量データを記憶する。

特徴量データ送信部１０５は、特徴量データ登録部１０２から送られてきた特徴量データを、通信Ｉ／Ｆコントローラ２０８を介して証跡管理サーバ１２０の特徴量データ受信部１２１に送信する。

イベント検出部１０６は、映像入力部１０１から取得した映像のフレームと特徴量データ記憶部１０４から取得した特徴量データを顔認識部１０３に与え、顔認識部１０３から得られた顔検出・識別結果をもとに、在席、離席、なりすまし、覗き見等のイベントを検出する。検出したイベントの証跡は、イベント制御部１０７に送信する。

イベント制御部１０７は、イベント検出部１０６から得られた証跡を証跡記憶部１０８に記憶する。特定の送信条件が満たされた場合（たとえば、離席イベントが発生してから３分経過等）、証跡記憶部１０８に記録された証跡を証跡送信部１０９に送信する。さらに、送信の済んだ、または送信の必要がなくなった（たとえば、離席イベントが発生してから３分以内に在席イベントが発生した等）証跡を証跡記憶部１０８から消去する。また、必要に応じてイベントに対応した制御（なりすましイベント発生時に画面をロックする等）を実施する。

証跡記憶部１０８は、イベントの証跡を記憶する。

証跡送信部１０９は、イベント制御部１０７から得られた証跡を、通信Ｉ／Ｆコントローラ２０８を介して証跡管理サーバ１２０の証跡受信部１２５に送信する。

特徴量データ更新部１０Ａは、証跡管理サーバ１２０の特徴量データ管理操作処理部１２４の結果を受けて、特徴量データ記憶部１０４の特徴量データを更新する。

次に、証跡監査端末１１０の機能構成について説明する。

特徴量データ管理操作部１１１は、証跡管理サーバ１２０の特徴量データ管理操作処理部１２４を介して、特徴量データの閲覧と、その承認状況（承認待ち、承認、否認、差戻し）および識別子との関連（識別ＩＤ）の更新を行う。

証跡監査操作部１１２は、証跡管理サーバ１２０の証跡監査操作処理部１２７を介して、イベントの証跡と、イベントから導かれる労務状況の統計情報を閲覧する。

更新通知受信部１１３は、証跡管理サーバ１２０の更新通知送信部からの更新通知を受信する。最後に、証跡管理サーバ１２０の機能構成について説明する。

特徴量データ受信部１２１は、証跡送信端末１００の特徴量データ送信部１０５から送られてくる特徴量データを受信し、特徴量データ記憶部１２２に記憶する。また、更新通知送信部１２３に、新しい特徴量データの登録があったことを通知するよう要求する。

特徴量データ記憶部１２２は、特徴量データ受信部１２１で受信した特徴量データを記憶する。また、特徴量データの識別ＩＤに紐づいた識別子の情報を記憶する。

更新通知送信部１２３は、特徴量データおよび証跡を受信した際に、証跡監査端末１１０の更新通知受信部１１３に更新通知を送信する。

特徴量データ管理操作受信部１２４は、証跡監査端末１１０の特徴量データ管理操作部１１１の命令を受けて、特徴量データ記憶部１２２の特徴量データを画面に表示したり、特徴量データへの操作を処理したりする。

証跡受信部１２５は、証跡送信端末１００の証跡送信部１０９から送信された証跡を受信し、証跡記憶部１２６に記憶する。また、証跡のイベントが”なりすまし”や”覗き見”であった場合、更新通知送信部１２３に、セキュリティインシデントの証跡の登録があったことを通知するよう要求する。

証跡記憶部１２６は、”在席”、”離席”等の労務イベントや”なりすまし”、”覗き見”等のセキュリティインシデントの証跡を記憶する。

証跡監査操作処理部１２７は、証跡監査端末１１０の証跡監査操作部１１２の命令を受けて、証跡記憶部１２６の証跡や、証跡から算出した労務の統計情報を画面に表示したり、証跡に対する操作を処理したりする。

アカウント記憶部１２８は、テレワーカおよび管理者のアカウント情報を記憶する。

なお、テレワーカおよび管理者がシステムを利用する際に必要なアカウント認証を行う機能および、それらのアカウント情報を登録する機能についても備えているが、本発明の趣旨から外れるため詳細な説明は省略する。

以降、現在のユーザの状態（在席である。離席である。のぞき見がある。他人なりすましである。写真なりすましである。）の判定結果を出力するための処理を示すフローチャートを説明する。なお、実施例では状態の判定に隠れマルコフモデルを採用しているが、それ以外の確率モデルやその他の方式での判定を行っても構わない。

図５から説明する。

図５の各ステップの処理は証跡送信端末（テレワークユーザ用端末）のＣＰＵが実行する。

Ｓ５０１では、出力する現在の状態を不明にセットする。顔追跡状態をＦＡＬＳＥ（無）にセットする。全ての隠れマルコフモデルの状態確率リセットフラグをＴＲＵＥ（有）にセットする。

Ｓ５０２では、現在の状態を出力するための処理の終了イベントの有無を確認する。終了イベントの有（ＴＲＵＥ）では、処理を終了する。終了イベントの無（ＦＡＬＳＥ）では、Ｓ５０３に進む。

Ｓ５０３では、本人認証するためにカメラ画像（静止画）を取得する。

Ｓ５０５では、顔追跡状態（本人認証された顔を追跡することで、低い類似度が検出されても在席状態からなりすまし状態に遷移しにくくなる状態）であるかどうかを確認する。ＦＡＬＳＥ（顔追跡状態でない）場合、Ｓ５０９に進み、ＴＲＵＥ（顔追跡状態である）場合、Ｓ５０６に進む。

Ｓ５０６では、図６に詳細を示す顔追跡の成否判定処理を行う。

図６を説明する。

Ｓ６０１では、一つ前のカメラ画像の追跡領域から、現カメラ画像の追跡領域を計算する。（ＭｅａｎＳｈｉｆｔなどの追跡アルゴリズムを使用）
Ｓ６０２では、一つ前のカメラ画像の追跡領域と現カメラ画像の追跡領域のヒストグラムの差分を計算する。

Ｓ６０３では、計算した差分が、所定の閾値を下回るか否かを判定する。下回る場合にはＳ６０４に進む。下回らない場合にはＳ６０８に進む。

Ｓ６０４では、追跡成功とする肌色領域の割合閾値が０以上か否かを判定する。０以上の場合にはＳ６０５に進む。０の場合にはＳ６０７に進む。

Ｓ６０５では、現カメラ画像の追跡領域の肌色領域の割合を計算する。

Ｓ６０６では、計算した現カメラ画像の追跡領域の肌色領域の割合が、０以上の追跡成功とする肌色領域の割合閾値を超えるか否かを判定する。超える場合にはＳ６０７に進む。超えない場合にはＳ６０８に進む。

Ｓ６０７では、顔追跡が成功したと判定する。また、顔追跡の領域を現カメラ画像の追跡領域に更新する。

Ｓ６０８では、顔追跡が失敗したと判定する。

図５の説明に戻る。

Ｓ５０７では、図６の顔追跡の成否判定処理の結果、顔追跡が成功したか否かを判断する。顔追跡が成功した場合、Ｓ５０９に進む。顔追跡が失敗した場合、Ｓ５０８に進む。

Ｓ５０８では、顔の追跡を止めて、顔追跡状態をＦＡＬＳＥ（無）にセットする。全ての隠れマルコフモデルの状態確率リセットフラグをＴＲＵＥ（有）にセットする。

Ｓ５０９では、現カメラ画像から顔を検出する。顔の位置、大きさ、角度などだけでなく、どの程度目を瞑っているか（目瞑りスコア）を算出する。

Ｓ５１０では、Ｓ５０９で検出した顔のうち、未だ顔識別（本人認証）できていない顔が残っているか否かを判定する。未だ顔識別（本人認証）できていない顔が残っている場合（ＴＲＵＥ）Ｓ５１１に進む。残っていない場合（ＦＡＬＳＥ）Ｓ５１２に進む。

Ｓ５１１では、検出した顔を、登録済みの顔画像（の特徴量データ）を用いて類似度を算出する。登録済みの顔画像は複数あってもよく、その場合類似度は複数算出される。その後、Ｓ５１０に戻る。

Ｓ５１２では、図７に詳細を示す顔選別処理を行う。この処理はＳ５１０の前に行ってもよい。

図７を説明する。

Ｓ７０１では、選別済み顔リストを空の配列にする。

Ｓ７０２では、Ｓ５０９で検出した複数の顔を、サイズ（顔の領域）が大きい順にソートする。

Ｓ７０３では、Ｓ７０２でサイズの大きい順にソートされた検出顔のうち、未だ選別できていない顔が残っているか否かを判定する。残っている場合（ＴＲＵＥ）Ｓ７０４に進む。残っていない場合この処理を終了する。

Ｓ７０４では、検出した顔の大きさが閾値以下であるか否かを判定する。閾値以下である場合Ｓ７０７に進む。閾値以下でない場合Ｓ７０５に進む。

Ｓ７０５では、選別顔のいずれかの推定胴体領域に含まれるか否かを判定する。推定胴体領域とは、顔の下側にあるはずの胴体に位置すると推定される、台形領域または放物線領域のことである。含まれる場合Ｓ７０７に進む。含まれない場合Ｓ７０６に進む。

Ｓ７０６では、選別済み顔リストに選別した顔を追加する。その後、Ｓ７０３に戻る
Ｓ７０７では、検出した顔は選別漏れとされ、選別済み顔リストには追加されない。その後、Ｓ７０３に戻る。

図５の説明に戻る。

Ｓ５１３では、Ｓ５１２で選別された顔を入力として、のぞき見であるか否かの推定（隠れマルコフモデル）を行う。図７の処理結果を使って、選別された複数の顔（検出されたもの）が２つ以上であるか、１以下であるかの観測値を求める。次に求めた観測値に従って、推定値（のぞき見である、のぞき見でない）の各状態の確率を計算し、尤もらしい推定値を選択する。

Ｓ５１４では、Ｓ５１３の推定結果によって、以降の処理を切り替える。のぞき見である場合はＳ５１５に進み、のぞき見でない（それ以外）場合はＳ５２２に進む。

Ｓ５１５では、内部状態を「のぞき見」にセットする。

Ｓ５１６では、今表示している出力状態が、Ｓ５１５でセットした内部状態（のぞき見）と一致するか否かを判定する。一致する場合（ＴＲＵＥ）にはＳ５２１に進む。一致しない場合（ＦＡＬＳＥ）にはＳ５１８に進む。

Ｓ５２２では、Ｓ５１２で選別された顔を入力として、在席か離席か他人なりすましであるか否かの推定（隠れマルコフモデル）を行う。選別された複数の顔（検出されたもの）が０個である、選別された１つの顔（検出されたもの）の特徴が本人である（類似度が閾値を超える、つまり登録された顔画像と似ている）、選別された１つの顔（検出されたもの）の特徴が他人である（類似度が閾値を下回る、つまり登録された顔画像とは似ていない）との各観測値を求める。登録顔画像が複数あり、それぞれ類似度が算出されている場合、最大値のみで判断してもよいし、平均値や中央値などほかの計算方法で判断してもよい。次に求めた観測値に従って、推定値（在席である、他人なりすましである、離席である）の各状態の確率を計算し、尤もらしい推定値を選択する。

Ｓ５２３では、Ｓ５２２の推定結果によって、以降の処理を切り替える。 在席である場合はＳ５２４に進み、他人なりすましである場合はＳ５３４に進む。離席である場合はＳ５３５に進む。

Ｓ５３４では、内部状態を「他人なりすまし」にセットする。

Ｓ５３５では、内部状態を「離席」にセットする。

Ｓ５３６では、顔追跡状態を確認する。追跡状態でない（ＦＡＬＳＥ）場合、Ｓ５３７に進み、追跡状態である（ＴＲＵＥ）場合、Ｓ５３８に進む。

Ｓ５３７では、今表示している出力状態が、今の内部状態の「他人なりすましである又は離席」と一致するか否かを判定する。一致する場合（ＴＲＵＥ）にはＳ５２１に進む。一致しない場合（ＦＡＬＳＥ）にはＳ５２０に進む。

Ｓ５３８では、前回行った追跡時の本人判定（登録された顔画像と似ているかの判定）から一定時間経過したか否かを判定する。経過した場合（ＴＲＵＥ）にはＳ５３９に進む。経過していない場合（ＦＡＬＳＥ）にはＳ５４０に進む。

Ｓ５３９では、顔追跡を継続するか否かを判断するため、検出された顔が本人か他人かを、その類似度が閾値を下回るか否かで判定する。この判定で使われる閾値は、Ｓ５２９で用いられる閾値よりも低く設定しており、明らかに他人であると判断されない限りは顔追跡を継続するようにしている。下回る（ＴＲＵＥ）場合にはＳ５１９に進む。下回らない（ＮＯ）場合にはＳ５４０に進む。

Ｓ５４０では、前回行った追跡顔領域補正から一定時間経過したか否かを判定する。経過した場合（ＴＲＵＥ）はＳ５４１に進む。経過していない場合（ＦＡＬＳＥ）はＳ５２１に進む。

Ｓ５２４では、検出した顔の位置、顔の大きさ、顔の角度等から動きスコアを計算する。また、計算した動きスコアと、目瞑りスコアを連続した複数のカメラ画像分一時保持する。

Ｓ５２５では、一時保持した複数のカメラ画像の動きスコアと目瞑りスコアから、観測値（瞬きした、動いている、動きがない）の有無情報を決定する。例えば、目瞑りスコアの最大値と最小値の差分が閾値以上であれば、瞬きしたとする。例えば、動きスコアの最大値と最小値が同じであれば、動きがないとする。例えば、瞬きしたとも動きがないともいえない場合は、動いているとする。

Ｓ５２６では、図８に詳細を示す隠れマルコフモデルを用いた写真なりすまし推定を行う。前述しているが、隠れマルコフモデル以外の確率モデルを使ったり、別の方式を使ったりして写真なりすましを推定してもよい。

図８を説明する。

Ｓ８０１では、各推定値である状態の確率（在席している確率。写真なりすましである（手持ち）確率、写真なりすまし（固定）である確率）を初期値（初期確率）にリセットするリセットフラグの有無を判定する。リセットフラグ有り（ＴＲＵＥ）の場合に、Ｓ８０５に進み、リセットフラグ無し（ＦＡＬＳＥ）の場合に、Ｓ８０２に進む。

Ｓ８０５では、各推定値である状態の確率（在席している確率。写真なりすましである（手持ち）確率、写真なりすまし（固定）である確率）を初期値（初期確率）にリセットする。

Ｓ８０６では、各推定値である状態の確率（在席している確率。写真なりすましである（手持ち）確率、写真なりすまし（固定）である確率）を初期値（初期確率）にリセットするリセットフラグを無に変更する。

Ｓ８０２では、観測値（瞬きした、動きがある、動きがない）と、状態遷移確率及び出力遷移確率から、各状態の今の推定値（在席しているはず。写真なりすましである（手持ち）はず、写真なりすまし（固定）であるはず）の確率尤度を計算する。

つまり、観測値である観測結果（瞬きを検出した、動きを検出した、動きを検出しない）の検出頻度の累積具合に従って、各状態の今の推定値（在席しているはず。写真なりすましである（手持ち）はず、写真なりすまし（固定）であるはず）の確率尤度が徐々に変化していくことになる。

Ｓ８０３では、計算した確率尤度をもとに、各推定値である状態の確率（在席している確率。写真なりすましである（手持ち）確率、写真なりすまし（固定）である確率）を一時更新する。

Ｓ８０４では、一時更新した各推定値である状態の確率の中で、最大確率の推定値を出力する。場合によっては状態変化を頻繁に起きないようにするため、前回出力した状態の確率が、一定の条件以下にならない場合や、最大確率が一定の条件以上にならない場合に、前回出力した状態を継続して出力するなどしてもよい。

図４を説明する。

図４は図８の隠れマルコフモデルを用いた写真なりすまし推定で用いる遷移確率、推定値、観測値、出力遷移確率の関係を示すイメージである。なお、記述している遷移確率などの値は一つの例であり、必要な性能に応じて他の値を使用しても構わない。

推定値とは、推定したい状態の取りうる値であり、ここでは在席、写真なりすまし（手持ち）、写真なりすまし（固定）の３状態である。

観測値とは、データとして観測できた値であり、ここでは連続した複数枚のカメラ画像から算出した３つの観測状態（瞬きをした、動きがある、動きがない）である。

遷移確率とは、推定値が、別の推定値に切り替わると想定される確率である。ここでは、写真なりすましをしようとする悪意を持った利用者は少ないと想定し、在席、写真なりすまし（手持ち）、写真なりすまし（固定）から別の状態に遷移する確率はかなり低いと想定している。

出力確率とは、仮に推定値が決まっている場合に、観測されると想定される観測値の割合である。在席している場合に瞬きを検出できる確率は低い（１分あたり２〜３秒程度しか瞬きをしている時間がないため）が、動きは高い確率で観測できると想定している。写真なりすまし（手持ち）の場合は、瞬きを観測できることはほぼなく、写真なりすまし（固定）の場合はほぼ動きなしが観測されると想定している。

Ｓ５２７では、Ｓ５２６の写真なりすまし推定を行った結果、今の内部状態が、在席なのか写真なりすましなのかを切り分けるステップである。在席していると推定した場合、Ｓ５２９に進み、写真なりすまし（手持ち、固定問わず）であると推定した場合、Ｓ５２８に進む。

Ｓ５２８では、内部状態を「写真なりすまし」にセットする。

Ｓ５１８では、顔追跡状態を確認する。顔追跡状態でない（ＦＡＬＳＥ）と判断した場合、Ｓ５２０に進み、顔追跡状態である（ＴＲＵＥ）と判断した場合、Ｓ５１９に進む。

Ｓ５１９では、顔追跡を止めて、顔追跡状態をＦＡＬＳＥ（無）にセットする。さらに、全ての隠れマルコフモデルの状態確率リセットフラグをＴＲＵＥ（有）にセットする。

Ｓ５２０では、出力する現在の状態（在席、写真なりすましである、他人のなりすましである、離席、覗き見）を、現在の内部状態（在席、写真なりすましである、他人のなりすましである、離席、覗き見）に合わせる。

Ｓ５２１では、出力する現在の状態（在席、写真なりすましである、他人のなりすましである、離席、覗き見）に表示内容を更新する。その後、Ｓ５０２に戻って、これまでの処理を繰り返し、常時、出力する現在の状態（在席、写真なりすましである、他人のなりすましである、離席、覗き見）を、繰り返し判定する。

Ｓ５２９では、内部状態を「在席」にセットする。

Ｓ５３０では、顔追跡状態であるか確認する。追跡状態でない（ＦＡＬＳＥ）場合、Ｓ５３１に進み、追跡状態である（ＴＲＵＥ）場合、Ｓ５３８に進む。

Ｓ５３１では、今表示している出力状態が、今の内部状態の「在席」と一致するか否かを判定する。一致する場合（ＴＲＵＥ）にはＳ５３２に進む。一致しない場合（ＦＡＬＳＥ）にはＳ５２０に進む。

Ｓ５３２では、現在の顔の最大類似度が閾値以上であるか判定する。この閾値は、Ｓ５２２で本人かどうか判定する際の閾値よりも高い値を設定し、本人である確証がかなり高い場合にのみ顔の追跡を開始するようにする。閾値以上（ＴＲＵＥ）の場合にはＳ５３３に進む。閾値以上でない（ＦＡＬＳＥ）場合にはＳ５２１に進む。

Ｓ５３３では、顔追跡を開始する。検出した顔の領域を顔追跡領域とし、顔追跡状態をＴＲＵＥ（有）にセットする。

Ｓ５４１では、顔として追跡する領域の補正をする。現カメラ画像の追跡領域をＳ５０６で決定した領域ではなく、検出した顔領域に置き換える。

図９は、取得されたカメラ画像と、各判定方法、その判定結果から推定されるユーザ状態との関係を示すイメージ図である。

図１０は、時間が連続する顔領域の検出時における、顔領域内のユーザの顔の動き及び、顔領域内のユーザの瞬きの有無の検出結果から推定されるユーザ状態との関係を示すイメージ図である。

図１０で、顔領域を囲む実線の枠は在席の状態を示し、顔領域を囲む点線の枠は（写真）なりすましの状態を示している。

図１１は、証跡送信端末１００でリアルタイムに表示され更新されるユーザの状態を示し、在席中である表示例と（写真）なりすましである表示例を示している。

図１２は、証跡送信端末１００で（写真）なりすましの状態を検出した場合に、証跡送信端末１００で取得された証跡データ（例えば免許書）と不正な状態（検出内容）とその時間を、証跡監査端末１１０で表示される場合の監査画面の一例を示したものである。

なお、上述した各種データの構成及びその内容はこれに限定されるものではなく、用途や目的に応じて、様々な構成や内容で構成されることは言うまでもない。

また、本発明におけるプログラムは、図５〜図８の処理をコンピュータに実行させるプログラムである。なお、本発明におけるプログラムは、図５〜図８の各処理ごとのプログラムであってもよい。

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

１００ 証跡送信端末（テレワークユーザ用端末）
１１０ 証跡管理サーバ（テレワーク管理装置）
１２０ 証跡監査端末（管理者用端末）

Claims (7)

1. ユーザの顔を含む複数画像から繰り返して本人認証する認証手段と、
   本人である確率と、なりすましである確率を記憶する記憶手段と、
   前記本人認証された複数画像から、ユーザの顔の動きの有無情報及びユーザの瞬きの有無情報に関する観測結果を検出する検出手段と、
   前記検出したユーザの顔の動きの有無及びユーザの瞬きの有無に関する観測結果に従って、前記観測結果を取得したユーザが本人である確率と、なりすましである確率をそれぞれ推定する推定手段と、
   前記それぞれ推定した確率が第１の条件を満たした場合には、前記本人認証された画像のユーザはなりすましであることを通知する通知手段と、
   を備えることを特徴とする情報処理装置。
2. 前記それぞれ推定した確率が前記第１の条件を満たさない場合には、前記通知手段が前記本人認証された画像のユーザは本人あることを継続して通知することを特徴とする請求項１に記載の情報処理装置。
3. 前記本人認証された複数画像から検出された、ユーザの顔の動きの有無の検出頻度とユーザの瞬きの有無の検出頻度を累積する累積手段と、
   を更に備え、
   前記本人認証された後に、前記累積したユーザの顔の動きの有無情報の検出頻度が、ユーザの顔の動きの有無に関する第２の条件よりも低い検出頻度である場合に、前記通知手段が前記本人認証された画像のユーザはなりすましであることを通知することを特徴とする請求項１又は請求項２に記載の情報処理装置。
4. 前記本人認証された複数画像から検出された、ユーザの顔の動きの有無の検出頻度とユーザの瞬きの有無の検出頻度を累積する累積手段と、
   を更に備え、
   前記本人認証された後に前記累積したユーザの顔の動きの有無情報の検出頻度が、ユーザの顔の動きに関する第２の条件よりも低い検出頻度である場合であっても、前記累積したユーザの顔の瞬きの有無の検出頻度が、ユーザの顔の瞬きの有無に関する第３の条件よりも高い検出頻度である場合には、前記通知手段が前記本人認証された画像のユーザは本人あることを継続して通知することを特徴とする請求項１又は請求項２に記載の情報処理装置。
5. 前記本人認証された複数画像から検出された、ユーザの顔の動きの有無情報の検出頻度とユーザの瞬きの有無情報の検出頻度を累積する累積手段と、
   を更に備え、
   前記本人認証された後に前記累積したユーザの顔の動きの有無情報の検出頻度が、第２の条件よりも低い検出頻度である場合に、前記累積したユーザの顔の瞬きの有無情報の検出頻度が、ユーザの顔の瞬きの有無に関する第３の条件よりも低い検出頻度である場合には、前記通知手段が前記本人認証された画像のユーザはなりすましであることを通知することを特徴とする請求項１又は請求項２に記載の情報処理装置。
6. 本人である確率と、なりすましである確率を記憶する記憶手段を備える情報処理装置の制御方法であって、
   ユーザの顔を含む複数画像から繰り返して本人認証する認証工程と、
   前記本人認証された複数画像から、ユーザの顔の動きの有無情報及びユーザの瞬きの有無情報に関する観測結果を検出する検出工程と、
   前記検出したユーザの顔の動きの有無及びユーザの瞬きの有無に関する観測結果に従って、前記観測結果を取得したユーザが本人である確率と、なりすましである確率をそれぞれ推定する推定工程と、
   前記それぞれ推定した確率が第１の条件を満たした場合には、前記本人認証された画像のユーザはなりすましであることを通知する通知工程と、
   を含むことを特徴とする制御方法。
7. 本人である確率と、なりすましである確率を記憶する記憶手段を備える情報処理装置で読み取り実行可能なプログラムであって、
   前記情報処理装置を、
   ユーザの顔を含む複数画像から繰り返して本人認証する認証手段と、
   前記本人認証された複数画像から、ユーザの顔の動きの有無情報及びユーザの瞬きの有無情報に関する観測結果を検出する検出手段と、
   前記検出したユーザの顔の動きの有無及びユーザの瞬きの有無に関する観測結果に従って、前記観測結果を取得したユーザが本人である確率と、なりすましである確率をそれぞれ推定する推定手段と、
   前記それぞれ推定した確率が第１の条件を満たした場合には、前記本人認証された画像のユーザはなりすましであることを通知する通知手段と、
   して機能させるためのプログラム。
   
   

Images