JP6580783B2 - 人物再識別システム及び方法 - Google Patents

Description

本開示は、概して電子デバイスセキュリティの分野に関し、より詳細には、人物再識別の分野に関する。より具体的には、本開示は、ログイン画像及び監視されたセンサデータに基づく安全なセッションの生成及び維持に関する。

ラップトップ、セルラー電話、タブレットデバイス、及び他のタイプのパーソナル電子デバイスなどの電子デバイスは、通常は、デバイスにアクセスするために、あるレベルのログインセキュリティを用意する。例えば、多数のデバイスは、ユーザがデバイスを使用するために必要とされるパスワードを設定することを可能にする。使用することができる他のタイプの認証には、指紋又は顔認識などの生体認証がある。ユーザが認証された後は、デバイスのアプリケーション及び他のデータは、アクセス可能である。

このタイプの認証の１つの欠点は、ユーザが認証された後は、そのユーザがログアウトする、又は安全なセッションが失効するまで、デバイスは誰に対してもアクセス可能になり得るということである。したがって、ユーザがデバイスでセッションを開始した後は、このデバイスは、他の非正規ユーザに対して脆弱なままにされる。

一実施形態では、安全なセッションを管理する方法が、開示される。本方法は、第１のログイン方法を使用する電子デバイスでのログインイベントを検出して安全なセッションを開始することと、このログインイベントと同時に初期画像をキャプチャすることと、このログインイベントと同時に初期センサデータをキャプチャすることと、安全なセッションの間にセンサデータの変化を監視することと、ログインセンサデータ及びセンサデータにおける監視された変化に基づいて安全なセッションを維持することと、安全なセッションの間に、再識別を使用して電子デバイスへのアクセスを許可することと、を含む。

もう１つの実施形態では、本方法は、コンピュータ実行可能プログラムコードにおいて実施し、非一時的記憶装置に記憶することができる。更にもう１つの実施形態では、本方法は、画像キャプチャ能力を有する電子デバイスによって、実装することができる。

ブロック図形式で、１つ以上の実施形態による電子デバイスの簡略化されたブロック図を示す。 フロー図形式で、１つ以上の実施形態による安全なセッションを生成及び監視する方法を示す。 フロー図形式で、１つ以上の実施形態による信頼スコアを使用して安全なセッションを生成及び監視する方法を示す。 フロー図形式で、１つ以上の実施形態による人物再識別方法を示す。 ブロック図形式で、１つ以上の実施形態による簡略化された多機能デバイスを示す。

本開示は、安全なセッションを生成及び監視するシステム、方法、及びコンピュータ可読媒体に関する。概して、ユーザがデバイスで認証されるときに安全なセッションを生成及び維持する技法が開示される。デバイスでログインイベントを検出するとき、実施形態は、初期画像をキャプチャすることと、初期センサデータをキャプチャすることと、センサデータの監視された変化及び更新された画像に基づいて安全なセッションを維持することと、を含む。１つ以上の実施形態では、安全なセッションは、センサデータの変化を監視し、再識別を使用して、例えば顔認識を使用して、ユーザが再認証され得るかどうかを決定することによって、維持される。更に、１つ以上の実施形態では、ユーザは、他のログイン方法を回避し、特定の環境に関する以前の登録データに基づく再識別を使用して、ログインすることができる。

以下の記載において、説明を目的として、本発明の概念の完全な理解を実現するために、多数の具体的な詳細が記載される。この記載の一部として、本開示の図面のいくつかは、開示される主題が不明瞭になるのを避けるために、構造及び装置をブロック図の形式で表す。これに関連して、関連識別子のない番号（例えば、１００）を付された図の要素の参照は、識別子を有する図の要素のすべてのインスタンス（例えば、１００ａ及び１００ｂ）を参照することを理解されたい。更に、本記載の一部として、本開示の図のうちのいくつかは、フロー図の形式で提供されることがある。いずれの特定のフロー図内のボックスも、特定の順番で提示されている。しかしながら、いずれのフロー図の特定のフローも、１つの実施形態を例示するためにのみ使用されることを理解されたい。他の実施形態では、フロー図に示された様々な構成要素のいずれも、削除され得、あるいは、これらの構成要素は、異なる順番で、又は同時にも、実行され得る。加えて、他の実施形態は、フロー図の一部として示されていない追加のステップを含み得る。本明細書において使用される文言は、専ら読みやすさ及び説明の目的で選択されたものであり、本発明の主題を限定又は制限するために選択されたものではない。本開示において「１つの実施形態」又は「一実施形態」を言及することは、実施形態に関して述べる特定の特徴、構造又は特性が本発明の少なくとも１つの実施形態に含まれることを意味し、そして、「１つの実施形態」又は「一実施形態」を何度も言及することは、必ずしも全てが同じ実施形態を又は異なる実施形態を言及することとして理解されるべきではない。

（任意の開発プロジェクトの場合のような）任意の実際の具現化の開発では、開発者特有の目標（例えば、システム及びビジネス関連制約との適合）を達成するために多数の判断をしなければならず、かつ、これらの目標は、具現化ごとに変化し得ることが了解されよう。また、そのような開発努力は複雑で時間がかかることがあるが、それにもかかわらず、本開示の利益を有する画像キャプチャの当業者の日常行うべきものであることも了解されよう。

図１は、１つ以上の実施形態による、人物再識別をサポートする能力を有するシステム図の全体図を、ブロック図の形式で、示す。具体的には、図１は、コンピュータシステムである電子デバイス１００を示す。電子デバイス１００は、モバイルデバイス、タブレットデバイス、デスクトップデバイス、並びにサーバーなどのネットワーク記憶装置など、ネットワークを横断して他のネットワークデバイスに接続され得る。各種実施形態では、電子デバイス１００は、デスクトップコンピュータ、ラップトップコンピュータ、テレビゲーム機、組み込みデバイス、セルラー電話、タブレットコンピュータ、パーソナルデジタルアシスタント、ポータブル音楽／ビデオ再生装置、又は、カメラシステムを含む任意の他の電子デバイスを備え得る。

電子デバイス１００は、中央演算処理装置（central processing unit、ＣＰＵ）１３０を含んでもよい。プロセッサ１３０は、例えば、モバイル機器に見られるようなシステムオンチップでもよく、１つ以上の専用グラフィック処理ユニット（graphics processing unit、ＧＰＵ）を含んでもよい。電子デバイス１００はまた、メモリ１４０及び記憶装置１５０を含んでもよい。メモリ１４０及び記憶装置１５０は、ＣＰＵ１３０と連動してデバイス機能を実行するために使用することができる、１つ以上の異なるタイプのメモリを各々含んでもよい。例えば、メモリ１４０及び記憶装置１５０は、キャッシュ、ＲＯＭ、及び／又はＲＡＭを含み得る。メモリ１４０及び記憶装置１５０は、セキュリティモジュール１５５、再識別モジュール１６０、及び環境検出モジュール１６５を含めて、実行中に様々なプログラミングモジュールを記憶することができる。電子デバイス１００は、カメラ１２０も含んでもよい。カメラ１２０は、画像センサ、レンズスタック、及び、画像をキャプチャするために使用することができる他の構成要素を含んでもよい。１つ以上の実施形態では、カメラは、電子デバイス１００などのユーザデバイスの一部であり、カメラがスクリーンの前のユーザの画像をキャプチャすることができるように前を向いていてもよい。

１つ以上の実施形態では、再識別モジュール１６０は、画像によって１人以上のユーザを識別するように構成される。画像は、例えば、ビデオ、ライブ写真、及び３Ｄキャプチャを含み得る。１つ以上の実施形態では、再識別モジュール１６０は、例えばカメラ１２０によって、キャプチャされた画像を取得し、画像内の１人以上の識別情報を確認する。再識別モジュール１６０は、例えば、キャプチャ画像内の顔の特徴を特定のユーザに属すると以前に判定された顔の特徴と比較することができる。例えば、再識別モジュール１６０は、カメラ１２０によってキャプチャされた画像内の顔の特徴を識別し、識別された顔の特徴を正規ユーザに属すると以前に判定された顔の特徴と比較することができる。１つ以上の実施形態では、顔署名又は顔の特徴ベクトルは、システム１００内の安全なメモリなどに、顔認識のために安全に記憶され得る。１つ以上の実施形態では、顔の特徴又は他の顔認識データと正規ユーザとの間の関連付けが、例えば、正規ユーザストア１７０に、記憶され得る。１つ以上の実施形態では、再識別モジュール１６０は、画像を使用して任意の追加の方式でユーザを識別することができる。

１つ以上の実施形態では、正規ユーザストア１７０は、記憶装置１５０に記憶することができる。記憶装置１５０は、命令及び／又はデータをコンピュータに提供するために使用中にコンピュータによってアクセス可能な任意の記憶媒体を含むことができ、それらが単一物理媒体であるかのように物理媒体の複数のインスタンスを含むことができる。例えば、機械可読記憶媒体は、磁気又は光学媒体、例えば、（固定された又は取り外し可能な）ディスク、テープ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ又はＢｌｕ−Ｒａｙ（登録商標）などの記憶媒体を含み得る。記憶媒体は、ＲＡＭ（例えば、同期型ダイナミックＲＡＭ（synchronous dynamic RAM、ＳＤＲＡＭ）、ダブルデータレート（double data rate、ＤＤＲ、ＤＤＲ２、ＤＤＲ３など）ＳＤＲＡＭ、低電力ＤＤＲ（low-power DDR、ＬＰＤＤＲ２など）ＳＤＲＡＭ、ＲＡＭＢＵＳ ＤＲＡＭ（ＲＤＲＡＭ）（ＲＡＭＢＵＳはＲａｍｂｕｓ Ｉｎｃ．の登録商標である）、スタティックＲＡＭ（static RAM、ＳＲＡＭ））、ＲＯＭ、ＵＳＢインターフェイスなどの周辺インターフェイスを介してアクセス可能な不揮発性メモリ（例えば、フラッシュメモリ）など、揮発性又は不揮発性メモリ媒体を更に含み得る。記憶媒体は、微小電気機械システム（micro-electro-mechanical system、ＭＥＭＳ）、並びにネットワーク及び／又はワイヤレスリンクなどの通信媒体を介してアクセス可能な記憶媒体を含み得る。

１つ以上の実施形態では、正規ユーザストア１７０は、特定の認証特徴がユーザに属することを判定するために使用されるデータを含み得る。１つ以上の実施形態では、正規ユーザストア１７０は、ツリー、表、データベース、又は任意の他の種類のデータ構造物の形で認証データを記憶することができる。正規ユーザストア１７０は、電子デバイス１００の一部として図示されているが、１つ以上の実施形態では、認証データは、ネットワークを横切って電子デバイス１００に接続された、リモートシステム又はネットワーク記憶装置など、ネットワークデバイス内のデータストアに付加的に又は別法として記憶され得る。

環境検出モジュール１６５は、電子デバイス１００内の又は電子デバイス１００に動作可能なように接続された１つ以上のセンサによって取得された環境要因又は他のセンサデータを処理することができる。例えば、１つ以上の実施形態では、環境検出モジュール１６５は、センサ１７５など、電子デバイス１００の一部であるセンサからのセンサデータを考慮することができる。環境検出モジュール１６５はまた、外部デバイス１８０内のセンサ１８５など、電子デバイス１００の外部のデバイス内のセンサからのセンサデータを考慮することができる。例えば、環境検出モジュール１６５は、スマートウォッチ、セルラー電話、活動追跡装置など、電子デバイス１００に接続されたユーザデバイスからのセンサデータを考慮することができる。センサ１７５又は１８５はまた、深度カメラ、赤外線カメラ、又は、２Ｄセンサアレイを有する別の感知デバイスなど、他のカメラも含み得る。

１つ以上の実施形態では、環境検出モジュール１６５は、周辺光、位置情報、時刻、及び、電子デバイス１００に関連する他の環境要因などの環境条件を監視することができる。１つ以上の実施形態では、環境検出モジュール１６５は、ログインイベントなど、電子デバイス１００にユーザが安全にログインする時にセンサデータをキャプチャすることができる。１つ以上の実施形態では、環境検出モジュール１６５は、環境要因のキャプチャデータを、例えば、正規ユーザストア１７０内の正規ユーザに関連するものとして、記憶することができる。

１つ以上の実施形態では、セキュリティモジュール１５５は、ユーザ認証プロセスをサポートすることができる。例えば、セキュリティモジュール１５５は、電子デバイス１００などのデバイスのユーザ認証を管理することができる。１つ以上の実施形態では、セキュリティモジュール１５５は、パスワード認証、バイオメトリック認証、音声認証などを管理することができる。

加えて、セキュリティモジュール１５５はまた、人物再識別を介して認証を管理することができる。すなわち、１つ以上の実施形態では、セキュリティモジュール１５５は、本開示による認証に基づいて安全なセッションを生成、維持、又は再開することができる。セキュリティモジュール１５５は、例えば、ユーザがパスワード又は他のログイン手段などを使用することによって、初期の安全なログインを管理することができる。１つ以上の実施形態では、セキュリティモジュール１５５は、ログイン情報を入力するユーザの初期画像をカメラ１２０がキャプチャするように誘発することができ、環境に関連するセンサデータ又は電子デバイスのコンテキストをキャプチャするように環境検出モジュール１６５を誘発することができる。明確にすることを目的として、以下で使用されるものとしての「画像」という用語は、２Ｄ画像、特徴ベクトル、顔モデル、ビデオ画像など、顔認識に寄与する任意のタイプのデータに対応し得る。１つ以上の実施形態では、安全なセッションの間、セキュリティモジュール１５５は、センサデータの変化を監視することによって、安全なセッションを動的に維持することができる。センサデータは継続的に監視することができ、又はセンサデータを時々又は定期的に監視することができる。１つ以上の実施形態では、セキュリティモジュール１５５は、監視されたセンサデータに基づいて再識別が肯定的一致を示し得ると判定されたときに再識別を使用してユーザがデバイスにアクセスすることを可能にすることによって安全なセッションを維持することができる。すなわち、ログイン画像が、例えば正規ユーザストア１７０に、監視されたセンサデータとかなり類似したセンサデータに関連するものとして、記憶された場合、次いで、再識別が使用され得る。例えば、周辺照明が、正規ユーザストア１７０内の以前のログイン画像に関連させて記憶した周辺照明データと類似する場合、肯定的再識別が、可能になり得る。１つ以上の実施形態では、再識別のために使用される記憶したログイン画像は、現在の安全なセッションの一部として、又は以前の安全なセッションに関連して、記憶され得る。

１つ以上の実施形態では、セキュリティモジュール１５５は、センサデータに基づいて信頼スコアを計算することができる。例えば、１つ以上の実施形態では、セキュリティモジュール１５５は、安全なログインの時に検出されたセンサデータ、及び、１つ以上の実施形態では、以前のキャプチャ画像に関連するものとして正規ユーザストア１７０に記憶されたセンサデータ又は情報に基づいて、信頼スコアを計算することができる。したがって、例えば、周辺光データが、照明が安全なログインの時とは著しく異なることを示す場合、次いで、セキュリティモジュールは、周辺光が類似したままである場合よりも低い信頼スコアを計算し得る。したがって、１つ以上の実施形態では、信頼スコアは、初期画像がキャプチャされた条件及び現在の環境条件に基づいて、例えば顔認識として使用する、再識別を使用するユーザの肯定的識別の確率値を示す。１つ以上の実施形態では、信頼スコアはまた、例えば正規ユーザストア１７０に、他の画像がキャプチャ及び記憶された条件に基づく顔認識を使用するユーザの肯定的識別の確率値を示し得る。

１つ以上の実施形態では、安全なセッションの間又はその後に、セキュリティモジュールは、カメラ１２０を使用し、更新された画像をキャプチャすることができる。セキュリティモジュール１５５は、再識別を使用してユーザを識別することができる。例えば、再識別モジュール１６０は、更新された画像の顔の特徴をログイン画像の顔の特徴と比較して、認証されたユーザが電子デバイス１００を見つめていると判定することができる。認証されたユーザが更新画像内のユーザであるという判定に応答して、セキュリティモジュール１５５は、安全なセッションを維持又は開始することができる。

図２を見ると、安全なセッションを生成及び維持する例示的方法が、フロー図の形式で示される。以下で説明するフロー図の様々な構成要素は、異なる順番で又は同時に実行されてもよく、いくつかの構成要素は、１つ以上の実施形態において、省略すらされ得ることを理解されたい。フロー図は、ログインイベントが検出されたときに、２０５で開始する。１つ以上の実施形態では、検出されるログインイベントは、パスワード、バイオメトリック情報などのログイン方法を使用してデバイスにログインするユーザの認証でもよい。

本方法は、２１０で継続し、そこで、セキュリティモジュールは、日和見的にユーザを登録し、安全なセッションを生成する。１つ以上の実施形態では、ユーザは、すでに登録されていることがあり、そのユーザに関する追加のデータが、日和見的登録の間に記憶され得る。一例として、ユーザは、デバイスの機能へのアクセス権を得るために、ログイン情報をラップトップ又は他のパーソナルデバイスに入力することができる。１つ以上の実施形態では、安全なセッションを開始することは、２１５で、初期画像をキャプチャすることを含む。例えば、デバイスは、ユーザがシステムにログインしているとき、又はユーザがシステムにログインする直後に、ユーザの画像をキャプチャする前を向いたカメラ（すなわち、初期ログイン画面が見られ得る表示デバイスから外方に向いたカメラ）を含んでもよい。１つ以上の実施形態では、セキュリティモジュールが、例えば、前を向いたカメラが安全なログインの時に又はその近くに画像をキャプチャするように誘発することができる。そうすることで、カメラは、安全なログインで認証されたユーザの画像をキャプチャすることができる。

１つ以上の実施形態では、安全なセッションを生成することはまた、２２０で初期センサデータのキャプチャを開始することを含み得る。１つ以上の実施形態では、環境検出モジュールは、例えば、安全なログインの時に又はその近くに初期センサデータをキャプチャすることができる。初期センサデータは、例えば、ＧＰＳデバイスを使用して判定された位置情報、時間情報、ネットワーク接続性情報、周辺光、画像データ、オーディオデータ、温度データ、気圧計データ、高度計データ、ジャイロスコープデータなどを含み得る。センサデータは、電子デバイスの一部である又は電子デバイスに通信可能なように結合されたセンサからキャプチャされ得る。初期ログインセンサデータは、安全なセッションの間に監視されたセンサデータが初期センサデータと比較され得るように、記憶することができる。加えて、初期センサデータは、将来の安全なセッションにおけるセンサデータの比較において使用されるために、記憶され得る。

本方法は、２２５で継続し、センサデータは、継続的に監視される。１つ以上の実施形態では、センサデータは、安全なセッションを介して時々又は定期的に監視され得る。フロー図は、２３０で継続し、安全なセッションが、初期センサデータと監視されたセンサデータとの比較に基づいて維持される。１つ以上の実施形態では、２３５で、安全なセッションの維持は、ユーザが他のログイン技法を回避し、再識別を使用してデバイスにアクセスすることを可能にする。

図３は、１つ以上の実施形態による信頼スコアを使用する安全なセッションの生成及び監視の方法を、フロー図の形式で、示す。図３は、ログインイベントの検出（２０５）と、初期画像のキャプチャ（２１５）及び初期センサデータのキャプチャ（２２０）を含む、安全なセッションの開始（２１０）と、センサデータの変化の監視（２２５）とを含む、図２に含まれる同動作のうちのいくつかを含む。

図３は、センサデータの変化を受けて、フロー図が３３５で継続し、セキュリティモジュールが、ログインセンサデータ及び監視されたセンサデータに基づいて信頼スコアを計算するという点で、図２とは異なる。１つ以上の実施形態では、セキュリティモジュールは、監視されたセンサデータに基づく現在のユーザの承認に関する信頼スコアを計算することができる。例えば、ログインセンサデータと監視されたセンサデータとの差が、所定の閾値を超えた場合、セキュリティモジュールは、監視されたセンサデータがログインセンサデータとより厳密に一致した場合よりも低い信頼スコアを計算し得る。

フロー図は、３４０で継続し、そこで、信頼スコアが許容値であるかどうかに関する判定が行われる。例えば、セキュリティモジュールは、その閾値が定義済みであっても、監視された値に基づいて動的に定義されても、計算された信頼スコアが許容閾値を満たさないと判定することができる。許容閾値は、例えば、初期の計算された信頼値に対する割合若しくは他の比較に基づいて、又はセンサデータからの特定の測定されたパラメータに基づいて、定義され得る。例えば、１つ以上の実施形態では、許容閾値は、１つ以上のタイプのセンサデータの関数として定義されてもよく、監視されたセンサデータのタイプ又は値に基づいて異なっていてもよい。

３４０で、信頼スコアが許容値であると判定された場合、次いで、セキュリティモジュールは、２３５に続き、セキュリティモジュールは、再識別を使用し、デバイスへのアクセスを許可する。再識別を使用するアクセスの許可は、ブロック３４５〜３６０に示されるものなどのアクティブステップを含んでもよい。具体的には、１つ以上の実施形態では、安全なセッションの維持は、３４５で、ユーザがデバイスへのアクセスを試みていることを検出することを含み得る。１つ１以上の実施形態では、ユーザは、デバイスとアクティブにインターフェイスすることができ、又は、デバイスが、ユーザがデバイスを動かしたことを感知することができる。フロー図は、３５０で継続し、カメラ１２０が、現在の画像を取得する。１つ以上の実施形態では、ユーザがカメラを見つめている、又はユーザが識別され得るようにカメラの視界内にいるとき、現在の画像が、キャプチャされ得る。３５５で、再識別が、更新された画像を使用し、誘発される。１つ以上の実施形態では、再識別モジュール１６０は、キャプチャ画像を元のログイン画像と比較してユーザを認証することができる。１つ以上の実施形態では、再識別モジュール１６０は、別法として、又は追加で、キャプチャ画像を類似したセンサデータに関連付けられた他の記憶した画像と比較することができる。フロー図は、３６０で継続し、セキュリティモジュール１５５は、再識別及び現在の画像に基づいてユーザがデバイスにアクセスすることを可能にする。

決定ブロック３４０に戻って、信頼スコアがもはや許容値ではないと判定された場合、次いで、フロー図は、３６５に続き、セキュリティモジュールは、安全性の保証されたセッションを終了する。１つ以上の実施形態によれば、安全なセッションは、ブロック２０５でのログインイベントの初期の方法に関連付けられたログアウト機能にかかわらず、監視されたセンサデータに基づいて終了し得る。例えば、初期ログイン方法が、特定の長さの時間の後にセッションを終了させるタイムアウト機能を示す場合。１つ以上の実施形態では、セキュリティモジュールは、環境要因に基づいて信頼スコアが許容値のままである場合、タイムアウト機能をオーバーライドすることができる。１つ以上の実施形態では、初期ログイン方法の自動ログアウト機能が、信頼スコアを計算するときに考慮され得る。例えば、初期ログイン方法が、ユーザがログアウトされるべきであり、セッションが特定のセットの条件に基づいて終了すべきであると指示する場合、信頼スコアは、それらの条件が満たされるときよりも低くなり得る。本発明の１つ以上の実施形態では、初期ログイン方法のログアウト機能は、センサデータをオーバーライドすることになり、安全なセッションは、信頼スコアにかかわらず、終了することになる。他の実施形態では、３３５に従って判定された信頼スコアが、もう１つの値より少ない場合、安全なセッションは、スケジュールされたタイムアウト機能の前に終了し得る。すなわち、いくつかの実施形態では、複数の閾値が、使用され得る。

１つ以上の実施形態では、安全なセッションが終了したとき、ユーザは、再識別以外の付加的認証方法を使用することを必要とされ得る。例えば、ユーザが、再びログインを試みるとき、ユーザは、認証されるために、パスワード又は指紋などの生体認証を使用することを必要とされ得る。しかしながら、１つ以上の実施形態では、ユーザが、付加的方法を使用して、ログインするとき、ユーザはまた、ログインの時にキャプチャされたセンサデータと共に登録され得、それによって、新しい安全なセッションを生成する。

一例として、ユーザは、パスワードを使用し、地元のコーヒーショップにおいて自身のデバイスにログインすることができる。ユーザが、パスワードを使用し、認証された時間に、又はユーザが、パスワードを使用し、認証された大体の時間の前後に、ユーザの画像が、例えば、自身のデバイスの前を向いたカメラによって、キャプチャされ得る。ユーザが同じ場所（すなわち、コーヒーショップ）に留まる限り、ユーザは、単に顔認識によって、安全なセッションを維持することができる。１つ以上の実施形態によれば、ユーザが、その場所を去った後は、信頼スコアは、恐らくは許容不可能な値まで、下がることになり、その後は安全なセッションは終了することになる。すなわち、１つ以上の実施形態では、ユーザが同じ場所に留まるとき、再識別に影響を及ぼすセンサデータは同様のままであることになるので、再識別方法は、ユーザがその場所を去るときよりもユーザの肯定的一致を見つける可能性がより高いことになる。

もう１つの例として、ユーザは、オフィスで自身のデバイスにログインすることがある。その後の数時間にわたり、ユーザは、デバイスに接続されたカメラによってキャプチャされる更新画像内に単に現れることによって、デバイスにアクセスすることができる。ユーザが、自身のオフィスを去る場合、周辺光が変化し、恐らく許容不可能な値まで、信頼スコアを下げさることが可能であり、その後は安全なセッションは終了することになる。

前述の例は、本発明の主題の実施形態のよりよい理解を読者に与えることを単に意図されており、本発明のいずれかの１つ以上の実施形態を制限することは意図されていない。

図４を参照すると、フロー図は、人物再識別を使用する安全なセッションの開始の例示的方法を示す。１つ以上の実施形態では、信頼スコアがもはや許容値ではなくなった後、ユーザは、カメラを見つめること、又は更新された画像がキャプチャされるときにカメラの正面に単に現れることによって、安全なセッションを再開することができる。時間とともに、ユーザは、いくつかの環境において認証され得る。１つ以上の実施形態では、正規ユーザストア１７０は、いくつかのユーザ画像及び対応するセンサデータを含み得る。したがって、例えば、ユーザが、日中に彼らのオフィスで彼らのコンピュータを使用し、次いで、それを自宅に持ち帰る場合、再識別は、セキュリティモジュール１５５が再識別のみを使用してユーザを認証することを可能にし得る。環境データの最高の一致が、最新の安全なセッションからではなくても、再識別は、前に記憶した環境データ及び対応する画像に基づき得る。図４に示された例は、読者のために明確にすることを単に目的として示され、本開示を制限することは意図されていないことを理解されたい。

本方法は、現在のセンサデータがキャプチャされる、４０５で開始する。１つ以上の実施形態では、センサデータは、ユーザがアクセスを試みているデバイスのセンサ、又はこのデバイスに通信可能なように結合されたセンサに由来してもよい。フロー図は、４１０で継続し、現在のセンサデータが、前のセッションに関連付けられた記憶したセンサデータと比較される。１つ以上の実施形態では、現在のセンサデータが、正規ユーザの以前の安全なセッションに関連するものとして正規ユーザストア１７０に記憶された、以前にキャプチャされたセンサデータと比較され得る。

フロー図は、４１５で継続し、肯定的識別の可能性が高いかどうかに関する判定が行われる。１つ以上の実施形態では、この判定は、前述のような信頼値に基づき得る。更に、１つ以上の実施形態では、肯定的識別の可能性が高いかどうかを判定することは、現在のセンサデータ及び以前の安全なセッションのための以前のログイン画像と同期してキャプチャされたセンサデータに基づいて顔認識が成功し得るかどうかを判定することを含む。

肯定的識別の可能性は低いという判定が４１５で行われた場合、次いで、フロー図は、４２０で継続し、ユーザは再登録される。すなわち、１つ以上の実施形態では、ユーザは、パスワード又はバイオメトリック識別など、第２のログイン方法を使用しなければならず、現在の画像及びセンサデータが、キャプチャ及び記憶され得る。

決定ブロック４１５に戻ると、肯定的識別の可能性が高いと判定された場合、次いで、フロー図は、４２５で継続し、次いで、安全なセッションが、再識別を使用して、開始する。１つ以上の実施形態では、再識別モジュール１６０は、現在の画像をキャプチャし、現在の画像を、現在のセンサデータに類似したセンサデータに関連付けられた記憶した画像と比較する。再識別モジュールは、例えば、現在の画像における顔の特徴を、記憶した画像の顔の特徴と比較することができる。１つ以上の実施形態では、キャプチャされた画像及び現在のセンサデータは、正規ユーザストアに記憶され、ユーザの将来の再識別のために使用することができる。

次に図５を参照すると、一実施形態による、例示的な多機能電子デバイス５００の簡単な機能ブロック図が示される。多機能電子デバイス５００は、プロセッサ５０５、ディスプレイ５１０、ユーザインターフェイス５１５、グラフィックハードウェア５２０、デバイスセンサ５２５（例えば、近接センサ／環境光センサ、加速度計、及び／又はジャイロスコープ）、マイクロフォン５３０、オーディオコーデック５３５、スピーカ５４０、通信回路５４５、デジタル画像キャプチャユニット５５０、ビデオコーデック５５５、メモリ５６０、記憶装置５６５、及び通信バス５７０を含んでもよい。多機能電子デバイス５００は、例えば、デジタルカメラ、あるいは、パーソナルデジタルアシスタント（ＰＤＡ）、パーソナル音楽再生装置、携帯電話、又はタブレットコンピュータなどのパーソナル電子デバイスでもよい。いくつかの実施形態では、多機能電子デバイス５００は、電子デバイス１００に対応する。

プロセッサ５０５は、デバイス５００によって遂行される多数の機能の動作（例えば、本開示による画像の生成及び／又は処理など）を実行又は制御するのに必要な命令を実行することができる。プロセッサ５０５は、例えば、ディスプレイ５１０を駆動し、ユーザインターフェイス５１５からユーザ入力を受信することができる。ユーザインターフェイス５１５は、ユーザがデバイス５００と対話することを可能にし得る。ユーザインターフェイス５１５は、ボタン、キーパッド、ダイヤル、クリックホイール、キーボード、ディスプレイスクリーン及び／又はタッチスクリーンのような種々の形態をとることができる。また、プロセッサ５０５は、例えば、モバイル機器に見られるようなシステムオンチップでもよく、専用のグラフィック処理ユニット（ＧＰＵ）を含むことができる。プロセッサ５０５は、縮小命令セットコンピュータ（ＲＩＳＣ）若しくは複合命令セットコンピュータ（ＣＩＳＣ）アーキテクチャあるいは任意の他の適当なアーキテクチャに基づくことができ、そして１つ以上の処理コアを含み得る。グラフィックハードウェア５２０は、グラフィックを処理するための専用の計算ハードウェアであり得て、及び／又はグラフィック情報を処理するようにプロセッサ５０５を支援し得る。一実施形態では、グラフィックハードウェア５２０は、プログラム可能なグラフィック処理ユニット（ＧＰＵ）を含み得る。

センサ及びカメラ回路５５０は、静止画像及びビデオ画像をキャプチャすることができ、それらは、少なくとも一部分は、ビデオコーデック５５５及び／又はプロセッサ５０５及び／又はグラフィックハードウェア５２０、並びに／あるいは回路５５０内に組み込まれた専用の画像処理ユニットによって処理され得る。そのようにキャプチャされた画像は、メモリ５６０及び／又は記憶装置５６５に記憶され得る。メモリ５６０は、デバイスの機能を遂行するためにプロセッサ５０５及びグラフィックハードウェア５２０により使用される１つ以上の異なるタイプの媒体を含み得る。例えば、メモリ５６０は、メモリキャッシュ、リードオンリメモリ（ＲＯＭ）及び／又はランダムアクセスメモリ（ＲＡＭ）を含むことができる。記憶装置５６５は、媒体（例えば、オーディオファイル、画像ファイル及びビデオファイル）、コンピュータプログラム命令又はソフトウェア、プリファレンス情報、デバイスプロファイル情報、並びに任意の他の適切なデータを記憶することができる。記憶装置５６５には、例えば、（固定、フロッピー、及び取り外し可能な）磁気ディスク及びテープ、ＣＤ−ＲＯＭ及びデジタルビデオディスク（ＤＶＤ）のような光学的媒体、並びに電気的にプログラム可能なリードオンリメモリ（ＥＰＲＯＭ）及び電気的に消去可能なプログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）のような半導体メモリデバイスを含む、１つ以上の永続的記憶媒体を含むことができる。メモリ５６０及び記憶装置５６５は、１つ以上のモジュールへと編成され、かつ、任意の所望のコンピュータプログラミング言語で書かれたコンピュータプログラム命令又はコードを有形に保持するために使用することができる。例えば、プロセッサ５０５によって実行されるとき、そのようなコンピュータプログラムコードは、本明細書中に記載される方法のうちの１つ以上を実行することができる。

実際には、環境検出モジュールは、顔認識などの再識別機能よりも監視するのにより少ない電力を必要とするセンサデータなど、低電力センサデータを監視することができる。したがって、比較されたセンサデータに基づいて再識別が成功する可能性が高いであろうと判定されたときにのみ再識別を使用することで、電力及び他の資源の節約を実現することができる。１つ以上の実施形態では、再識別は、より優れたユーザ体験のために、迅速に、例えば毎秒３０フレームよりも多く、生じ得る。１つ以上の実施形態では、カメラは、顔認識が時間とともにより効率的になるように、同じユーザの複数の初期画像をキャプチャすることができる。例えば、安全なセッションの間、セキュリティモジュールは、高い信頼スコアを計算するので、セキュリティモジュールは、ユーザの１つ以上の追加の画像を時々キャプチャし、これらの画像、又はこれらの画像からの顔の特徴を正規ユーザストア１７０に記憶することができる。もう１つの例として、ユーザが同じログイン情報を使用する度に、セキュリティモジュール１５５は、それらの初期画像をキャプチャし、セキュリティモジュール１５５が特定のログイン情報をそのログイン情報に関連するユーザを含む画像のセットと関連付けることができるように、正規ユーザストア１７０に追加のログイン画像を記憶することができる。したがって、再識別モジュール１６０は、１つ以上の実施形態によれば、顔認識を使用するユーザの認証を画像の全集合に依存し得る。複数の画像における同ユーザの識別を可能にする再識別の任意の方法が、使用され得る。最後に、上述した実施形態の変更形態は、互いに組み合わせて使用することができる。

当業者が以上の説明を検討すれば、多数の他の実施形態が明らかとなるであろう。本発明の範囲は、したがって、添付の特許請求の範囲及びそのような特許請求の範囲が権利を有する同等物の全範囲から決定されなければならない。特許請求の範囲において、「ｉｎｃｌｕｄｉｎｇ」及び「ｉｎ ｗｈｉｃｈ」という語は、それぞれ、「ｃｏｍｐｒｉｓｉｎｇ」及び「ｗｈｅｒｅｉｎ」という用語に相当する平易な英語として使用されている。

Claims (20)

1. 安全なセッションを管理するための電子デバイス上で実行される方法であって、
   前記電子デバイスが、
   第１のログイン方法を使用する前記電子デバイスでのログインイベントを検出してユーザが安全なセッションを開始すること、
   前記ログインイベントと同時に、前記ユーザの初期ログイン画像をキャプチャすることであって、前記初期ログイン画像が前記電子デバイスへ前記ユーザがログインするための生体情報を含み、
   前記ログインイベントと同時に初期センサデータをキャプチャすること、
   前記安全なセッションの間に前記初期センサデータの変化を監視すること、
   前記初期センサデータ及び前記初期センサデータからの前記監視された変化に基づいて前記安全なセッションを維持すること、
   前記安全なセッションの間に、前記初期ログイン画像にキャプチャされた前記生体情報に基づく前記ユーザの再識別を使用して、前記電子デバイスへのアクセスを許可すること、
   を実行する、方法。
2. 前記電子デバイスにより、前記初期センサデータ及び前記監視されたセンサデータに基づいて前記安全なセッションを維持することが、
   前記監視されたセンサデータを前記初期センサデータと比較すること、
   前記比較に基づいて信頼スコアを判定すること、
   前記信頼スコアが許容値を満たすという判定に応答して、前記安全なセッションを維持すること、
   を含む、請求項１に記載の電子デバイス上で実行される方法。
3. 前記信頼スコアが許容値を満たさないという判定に応答して前記安全なセッションを終了することを更に含み、前記安全なセッションが終了した後、再識別は前記電子デバイスにアクセスするのに不十分である、請求項２に記載の電子デバイス上で実行される方法。
4. 安全なセッションが終了したことを識別することに応答して、前記電子デバイスが、
   現在のセンサデータをキャプチャすること、
   前記現在のセンサデータを以前のログイン画像に関連させて前に記憶したセンサデータと比較することと、
   前記現在のセンサデータが、以前のログイン画像に関連付けられた前に記憶したセンサデータと一致するものであるという判定に応答して、前記以前のログイン画像に基づく再識別を使用して前記電子デバイスへのアクセスを許可すること、
   を更に含む、請求項３に記載の電子デバイス上で実行される方法。
5. 前記電子デバイスにより、前記安全なセッションを維持することが、
   現在の画像をキャプチャすること、
   前記現在の画像で再識別を実行すること、
   前記現在の画像を使用する前記再識別に基づいて前記安全なセッションを維持すること、
   を含む、請求項１に記載の電子デバイス上で実行される方法。
6. 前記電子デバイスにより、前記安全なセッションの間にセンサデータを監視することが、前記電子デバイスに動作可能なように接続された１つ以上のセンサからデータを受信することを含む、請求項１に記載の電子デバイス上で実行される方法。
7. セキュアなセッションを管理するシステムであって、
   カメラと、
   １つ以上のプロセッサと、
   前記１つ以上のプロセッサに動作可能なように結合されたメモリと、
   を備え、前記メモリは、前記１つ以上のプロセッサに、
   第１のログイン方法を使用する電子デバイスでのログインイベントを検出してユーザのための安全なセッションを開始させ、
   前記カメラを使用して、前記ログインイベントと同時に、前記電子デバイスへ前記ユーザがログインするための生体情報を含む、前記ユーザの初期ログイン画像をキャプチャさせ、
   前記ログインイベントと同時に初期センサデータをキャプチャさせ、
   前記安全なセッションの間に前記初期センサデータからの変化を監視させ、
   前記初期センサデータ及び前記初期センサデータからの前記監視された変化に基づいて前記安全なセッションを維持させ、及び、
   前記安全なセッションの間に、前記初期ログイン画像にキャプチャされた前記生体情報に基づく前記ユーザの再識別を使用して、前記電子デバイスへのアクセスを許可させる、
   ように構成されたコンピュータコードを含む、
   システム。
8. 前記コンピュータコードが、前記１つ以上のプロセッサに、
   前記監視されたセンサデータを前記初期センサデータと比較させ、
   前記比較に基づいて信頼スコアを判定させ、及び、
   前記信頼スコアが許容値を満たすという判定に応答して前記安全なセッションを維持させる、
   ように更に構成された、請求項７に記載のシステム。
9. 前記１つ以上のプロセッサに、前記信頼スコアが許容値を満たさないという判定に応答して前記安全なセッションを終了させ、前記安全なセッションが終了した後、再識別は前記電子デバイスにアクセスするのに不十分であるように構成された前記コンピュータコードを更に備える、請求項８に記載のシステム。
10. 安全なセッションが終了したことを識別することに応答して、前記１つ以上のプロセッサに、
    現在のセンサデータをキャプチャさせ、
    前記現在のセンサデータを以前のログイン画像に関連させて前に記憶したセンサデータと比較させ、及び、
    前記現在のセンサデータが以前のログイン画像に関連付けられた前に記憶したセンサデータと一致するものであるという判定に応答して、前記以前のログイン画像に基づく再識別を使用して前記電子デバイスへのアクセスを許可させる、
    ように構成された前記コンピュータコードを更に備える、請求項９に記載のシステム。
11. 前記コンピュータコードが、前記１つ以上のプロセッサに、
    現在の画像をキャプチャさせ、
    前記現在の画像で再識別を実行させ、及び、
    前記現在の画像を使用する前記再識別に基づいて前記安全なセッションを維持させる、 ように更に構成された、請求項７に記載のシステム。
12. 前記安全なセッションの間にセンサデータを監視することが、前記電子デバイスに動作可能なように接続された１つ以上のセンサからデータを受信することを含む、請求項７に記載のシステム。
13. 前記初期センサデータが、ＧＰＳデータ、画像データ、オーディオデータ、温度データ、気圧計データ、高度計データ、加速度計データ、及びジャイロスコープデータを含むグループから選択された少なくとも１つを含む、請求項７に記載のシステム。
14. プログラムが記録されたコンピュータ可読記憶媒体であって、前記プログラムが、手順であって、
    第１のログイン方法を使用する電子デバイスでのログインイベントを検出してユーザのための安全なセッションを開始し、
    前記ログインイベントと同時に、前記電子デバイスへ前記ユーザがログインするための生体情報を含む、前記ユーザの初期ログイン画像をキャプチャし、
    前記ログインイベントと同時に初期センサデータをキャプチャし、
    前記安全なセッションの間に前記初期センサデータからの変化を監視し、
    前記初期センサデータ及び前記初期センサデータからの前記監視された変化に基づいて前記安全なセッションを維持し、及び
    前記安全なセッションの間に、前記初期ログイン画像にキャプチャされた前記生体情報に基づく前記ユーザの再識別を使用して前記電子デバイスへのアクセスを許可する、
    手順をコンピュータに実行させる、コンピュータ可読記憶媒体。
15. 前記プログラムが、手順であって、
    前記監視されたセンサデータを前記初期センサデータと比較し、
    前記比較に基づいて信頼スコアを判定し、及び、
    前記信頼スコアが許容値を満たすという判定に応答して前記安全なセッションを維持する、
    手順を前記コンピュータに更に実行させる、請求項１４に記載のコンピュータ可読記憶媒体。
16. 前記信頼スコアが、前記初期センサデータからの前記監視されたセンサデータの変化に基づく肯定的再識別の確率値を示す、請求項１５に記載のコンピュータ可読記憶媒体。
17. 前記プログラムが、手順であって、
    前記信頼スコアが許容値を満たさないという判定に応答して前記安全なセッションを終了させ、前記安全なセッションが終了した後、再識別は前記電子デバイスにアクセスするのに不十分である、手順を前記コンピュータに更に実行させる、請求項１５に記載のコンピュータ可読記憶媒体。
18. 安全なセッションが終了したことを識別することに応答して、前記プログラムが、手順であって、
    現在のセンサデータをキャプチャし、
    前記現在のセンサデータを、以前のログイン画像に関連させて前に記憶したセンサデータと比較し、及び、
    前記現在のセンサデータが、以前のログイン画像に関連付けられた前に記憶したセンサデータと一致するものであるという判定に応答して、前記以前のログイン画像に基づく再識別を使用して前記電子デバイスへのアクセスを許可する、
    手順を前記コンピュータに更に実行させる、請求項１７に記載のコンピュータ可読記憶媒体。
19. 前記プログラムが、手順であって、
    現在の画像をキャプチャし、
    前記現在の画像で再識別を実行し、及び、
    前記現在の画像を使用する前記再識別に基づいて前記安全なセッションを維持する、
    手段を前記コンピュータに更に実行させる請求項１４に記載のコンピュータ可読記憶媒体。
20. 前記安全なセッションの間にセンサデータを監視する前記手順が、前記電子デバイスに動作可能なように接続された１つ以上のセンサからデータを受信することを含む、請求項１４に記載のコンピュータ可読記憶媒体。

Images