JP4928593B2 - ジェスチャ認識を利用するセキュリティシステム - Google Patents

ジェスチャ認識を利用するセキュリティシステム Download PDF

Info

Publication number
JP4928593B2
JP4928593B2 JP2009205350A JP2009205350A JP4928593B2 JP 4928593 B2 JP4928593 B2 JP 4928593B2 JP 2009205350 A JP2009205350 A JP 2009205350A JP 2009205350 A JP2009205350 A JP 2009205350A JP 4928593 B2 JP4928593 B2 JP 4928593B2
Authority
JP
Japan
Prior art keywords
authentication
coordinates
trajectory
input
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009205350A
Other languages
English (en)
Other versions
JP2010160784A (ja
Inventor
ケーラー エイドリアン
Original Assignee
ノースロップ グルムマン スペース アンド ミッション システムズ コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ノースロップ グルムマン スペース アンド ミッション システムズ コーポレイション filed Critical ノースロップ グルムマン スペース アンド ミッション システムズ コーポレイション
Publication of JP2010160784A publication Critical patent/JP2010160784A/ja
Application granted granted Critical
Publication of JP4928593B2 publication Critical patent/JP4928593B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/316User authentication by observing the pattern of computer usage, e.g. typical user behaviour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82Protecting input, output or interconnection devices
    • G06F21/83Protecting input, output or interconnection devices input devices, e.g. keyboards, mice or controllers thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/30Writer recognition; Reading and verifying signatures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2101Auditing as a secondary aspect

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、セキュリティシステムに関し、より具体的には、ジェスチャ認識を利用するセキュリティシステムに関する。
1人以上の許可ユーザに対して、特定のアイテムへのアクセスを制限するという課題は、長年にわたって存在しており、その間に、無許可ユーザから着目アイテムを保護するために、いくつかの方法が開発された。最も広く使用されている手法は、キーまたはキーカードを介して解除することができる機械的または電子ロックである。ユーザの識別を確立するためにキーおよびキーカードに依存することの欠点は、着目アイテムがアクセスしなければならない物体を、ユーザが常に持ち歩く必要があることであり、そのことが保護されたアイテムに要求に応じてアクセするのをより困難にしている。多くのコンピュータシステムおよび金融アカウントは、ユーザを認証するためにパスワードまたはPIN(Personal Identification Number:個人識別番号)を利用するが、これらのシステムは、人間の記憶の予測できない変化に左右され、ブルートフォースの暗号解読攻撃、コンピュータシステム内に隠されたマルウェアキーロガー、ユーザによる平凡な、または弱いパスワードまたはPINの選択、および社会工学を含む、いくつかの手段を通じて障害が生じる可能性がある。より安全なシステムは、ユーザを認証するために、拇印を走査する等の生体認証手法を利用してもよいが、効果的生体認証システムは、実装にコストがかかる傾向にあり、これらのシステムは、これまで広く採用されなかった。
本発明の一側面によれば、着目アイテムを保護するためのセキュリティシステムが提供される。ジェスチャ入力インターフェースは、ユーザからの連続的なジェスチャを入力軌跡に変換するように構成される。正規化構成要素は、入力軌跡を再サンプリングして標準的なサイズを有する再サンプリングされた軌跡を生成するように構成される。基準点発生器は、再サンプリングされた軌跡を一組の基準点のそれぞれの値に換算するように構成される。一組の基準点の値のそれぞれは、少なくとも2つの関連座標を有する。システムは、少なくとも1つの認証領域をさらに含む。少なくとも1つの認証領域のそれぞれは、各認証領域が、認証領域によって表される少なくとも1つの基準点のそれぞれの組の代表的統計からの、認証領域に関連する少なくとも1つの点のそれぞれに関連する、少なくとも2つの座標に対応する次元を有する多次元特徴空間内で画定されるように、一組の基準点のうちの少なくとも1つを表す。検証構成要素は、所与の入力からの一組の基準点の値が、少なくとも1つの認証領域内にあるかどうかを判定するように構成される。アクセス制限機構は、入力からの一組の基準点の値の閾値数が、それらの関連認証領域内にある場合を除いて、着目アイテムへのアクセスを制限するように構成される。
本発明の別の側面によれば、ジェスチャを用いたセキュリティシステムをトレーニングするための方法が提供される。ユーザの特徴的ジェスチャを表す、複数の入力軌跡が発生される。複数の入力軌跡は、標準的な一組の次元を有する一組の正規化軌跡を生成するように正規化される。各正規化軌跡は、標準的な一組の実質的に均一に離間した基準点に換算され、各基準点は、少なくとも2つの関連座標を有する。代表的統計は、複数の入力軌跡にわたって離間した基準点のそれぞれについて計算され、点に関連する少なくとも2つの関連座標のそれぞれの平均、少なくとも2つの関連座標のそれぞれの分散、および少なくとも2つの座標のうちの少なくとも第1と、少なくとも2つの座標のうちの第2との間の共分散を含む。それぞれの認証領域は、ユーザからの入力の認証範囲として、一組の基準点の関連座標によって画定される、少なくとも1つの特徴空間内で画定される。少なくとも1つの特徴空間のそれぞれの認証領域は、それぞれが一組の基準点からの少なくとも1つの関連点を有し、少なくとも1つの関連点のそれぞれに関連する少なくとも2つの関連座標のそれぞれの平均、少なくとも1つの関連点のそれぞれに関連する少なくとも2つの関連座標のそれぞれの分散、および少なくとも1つの関連点のそれぞれに関連する、少なくとも2つの座標のうちの少なくとも第1と、少なくとも2つの座標のうちの第2との間の共分散に従って画定される。
本発明のさらに別の側面によれば、着目アイテムへのアクセスを制御するためのセキュリティシステムが提供される。入力デバイスは、ユーザによるジェスチャを、経時的にユーザの運動を表す軌跡に変換するように構成される。正規化構成要素は、軌跡を再サンプリングして標準的なサイズを有する再サンプリングされた軌跡を生成するように構成される。基準点発生器は、再サンプリングされた軌跡上で標準的な数の実質的に等距離の基準点を画定するように構成され、基準点のそれぞれは、少なくとも2つの関連座標を有する。パラメータ計算構成要素は、基準点に対するユーザからの複数のジェスチャにわたって代表的統計を計算するように構成される。代表的統計は、基準点のうちの1つに関連する第1の座標と第2の座標と間の、少なくとも1つの共分散値を含む。少なくとも1つの認証領域のそれぞれは、各認証領域が、認証に関連する基準点の代表的統計に従って、認証領域に関連する少なくとも1つの点のそれぞれに関連する、少なくとも2つの座標に対応する次元を有する多次元特徴空間内で画定されるように、一組の基準点のうちの少なくとも1つを表す。認証構成要素は、所与の入力からの一組の基準点の座標値が、少なくとも1つの認証領域内にあるかどうかを判定するように構成される。
本発明は、さらに以下の手段を提供する。
(項目1)
着目アイテムへのアクセスを制限するためのセキュリティシステムであって、
ユーザからの連続的なジェスチャを入力軌跡に変換するように構成されるジェスチャ入力インターフェースと、
上記入力軌跡を再サンプリングして標準的なサイズを有する再サンプリングされた軌跡を生成するように構成される正規化構成要素と、
上記再サンプリングされた軌跡を一組の基準点のそれぞれの値に換算するように構成される基準点発生器であって、上記一組の基準点の上記値のそれぞれは、少なくとも2つの関連座標を有する、基準点発生器と、
少なくとも1つの認証領域であって、各認証領域が、上記認証領域によって表される上記少なくとも1つの基準点のそれぞれの組の代表的統計からの、上記認証領域に関連する上記少なくとも1つの点のそれぞれに関連する、上記少なくとも2つの座標に対応する次元を有する多次元特徴空間内で画定されるように、上記少なくとも1つの認証領域のそれぞれは、上記一組の基準点のうちの少なくとも1つを表す、少なくとも1つの認証領域と、
所与の入力からの上記一組の基準点の上記値が上記少なくとも1つの認証領域内にあるかどうかを判定するように構成される検証構成要素と、
上記入力からの上記一組の基準点の値の閾値数がそれらの関連認証領域内にある場合を除いて、上記着目アイテムへのアクセスを制限するように構成されるアクセス制限機構と
を備える、セキュリティシシステム。
(項目2)
上記少なくとも1つの認証領域は、各点に関連する上記少なくとも2つの座標に対応する次元を有する多次元特徴空間内で画定される認証領域を1つだけ備え、上記認証構成要素は、所与の入力軌跡を表す特徴ベクトルが上記認証領域内にあるかどうかを判定するように構成される、上記項目に記載のシステム。
(項目3)
上記少なくとも1つの認証領域は、上記一組の基準点のそれぞれに対する関連認証領域を備え、各認証領域は、各点に関連する上記少なくとも2つの座標に対応する次元を有する多次元特徴空間内で画定され、上記認証構成要素は、再サンプリングされた軌跡からの各基準点を表すそれぞれの特徴ベクトルがその関連認証領域内にあるかどうかを判定するように構成される、上記項目のいずれか一項に記載のシステム。
(項目4)
パラメータ計算構成要素をさらに含み、上記パラメータ計算構成要素は、上記ジェスチャ入力インターフェース、上記正規化構成要素、および上記基準点発生器におけるユーザ入力から導出される上記一組の基準点の値を含む上記ユーザの特徴的ジェスチャを表すトレーニングデータを受信し、かつ、上記一組の基準点のそれぞれの上記一組の代表的統計を計算するように構成され、上記代表的統計は、上記少なくとも2つの関連座標のそれぞれの平均値と、上記少なくとも2つの座標のそれぞれの分散値と、上記少なくとも2つの座標の第1の座標と第2の座標との間の共分散とを含む、上記項目のいずれか一項に記載のシステム。
(項目5)
上記着目アイテムは、クレジットカードアカウントを含む、上記項目のいずれか一項に記載のシステム。
(項目6)
上記アクセス制限機構は、コンピュータプログラムのインスタンスへのアクセスを制限するようにコンピュータによって実行することができる、コンピュータ読み取り可能媒体に記憶される一組の実行可能な命令を含む、上記項目のいずれか一項に記載のシステム。
(項目7)
上記着目アイテムは、コンピュータシステムを含む、上記項目のいずれか一項に記載のシステム。
(項目8)
上記ジェスチャ入力インターフェースは、指定領域内のユーザの動きを追跡する可視および赤外線スペクトルのうちの1つで動作する少なくとも1つのカメラを備える、上記項目のいずれか一項に記載のシステム。
(項目9)
上記ジェスチャ入力インターフェースは、タッチパッドと接触している入力デバイスの位置を追跡するように構成されるタッチパッドを備える、上記項目のいずれか一項に記載のシステム。
(項目10)
上記着目アイテムは、通路であり、上記アクセス制限機構は、電子ロックである、上記項目のいずれか一項に記載のシステム。
(項目11)
ジェスチャを用いたセキュリティシステムをトレーニングするための方法であって、
ユーザの特徴的ジェスチャを表す上記ユーザからの複数の入力軌跡を発生させるステップと、
標準的な一組の次元を有する一組の正規化軌跡を生成するように上記複数の入力軌跡を正規化するステップと、
各正規化軌跡を標準的な一組の実質的に均一に離間した基準点に換算するステップであって、各基準点は、少なくとも2つの関連座標を有する、ステップと、
上記点に関連する上記少なくとも2つの関連座標のそれぞれの平均、上記少なくとも2つの関連座標のそれぞれの分散、および上記少なくとも2つの座標のうちの少なくとも第1の座標と上記少なくとも2つの座標のうちの第2の座標との間の共分散を提供するように、上記複数の入力軌跡にわたって上記離間した基準点のそれぞれについて代表的統計を計算するステップと、
上記ユーザからの入力の認証範囲として、上記一組の基準点の上記関連座標によって画定される少なくとも1つの特徴空間内でそれぞれの認証領域を画定するステップであって、上記少なくとも1つの特徴空間の上記それぞれの認証領域は、それぞれ、上記一組の基準点からの少なくとも1つの関連点を有し、上記少なくとも1つの関連点のそれぞれに関連する上記少なくとも2つの関連座標のそれぞれの上記平均、上記少なくとも1つの関連点のそれぞれに関連する上記少なくとも2つの関連座標のそれぞれの分散、および上記少なくとも1つの関連点のそれぞれに関連する、上記少なくとも2つの座標のうちの少なくとも第1の座標と上記少なくとも2つの座標のうちの第2の座標との間の共分散に従って画定される、ステップと
を含む、方法。
(項目12)
上記特徴的ジェスチャを表す入力軌跡を受信するステップは、タッチスクリーンにわたって入力物体の動きを追跡するステップを含む、上記項目に記載の方法。
(項目13)
上記特徴的ジェスチャを表す入力軌跡を受信するステップは、少なくとも1つのカメラで入力物体の動きを追跡するステップを含む、上記項目のいずれか一項に記載の方法。
(項目14)
少なくとも1つの特徴空間内で画定される上記認証領域のうちの所与の認証領域を画定するステップは、上記領域の上記平均と上記領域内のあらゆる点との間のマハラノビス距離が閾値である特徴空間内の領域を画定するステップを含む、上記項目のいずれか一項に記載の方法。
(項目15)
入力軌跡としてユーザからジェスチャを取得するステップと、
上記標準的な一組の次元を有する正規化入力軌跡を生成するように上記入力軌跡を正規化するステップと、
上記正規化軌跡を上記基準点の座標値に換算するステップと、
上記基準点の上記座標値が上記関連認証領域内にあるかどうかを判定するステップと、
上記基準点の上記座標値が上記関連認証領域内にある場合に、着目アイテムへのアクセスを許可するステップと
を含む、上記項目のいずれか一項に記載の方法。
(項目16)
ユーザを認証するためのセキュリティシステムであって、
ユーザによるジェスチャを経時的に上記ユーザの運動を表す軌跡に変換するように構成される入力デバイスと、
上記軌跡を再サンプリングして標準的なサイズを有する再サンプリングされた軌跡を生成するように構成される正規化構成要素と、
上記再サンプリングされた軌跡上で標準的な数の実質的に等距離の基準点を画定するように構成される基準点発生器であって、上記基準点のそれぞれは、少なくとも2つの関連座標を有する、基準点発生器と、
上記基準点に対するユーザからの複数のジェスチャにわたって代表的統計を計算するように構成されるパラメータ計算構成要素であって、上記代表的統計は、上記基準点のうちの1つに関連する第1の座標と第2の座標と間の少なくとも1つの共分散値を含む、パラメータ計算構成要素と、
少なくとも1つの認証領域であって、各認証領域が、上記認証に関連する上記基準点の上記代表的統計に従って、上記認証領域に関連する上記少なくとも1つの点のそれぞれに関連する、上記少なくとも2つの座標に対応する次元を有する多次元特徴空間内で画定されるように、上記少なくとも1つの認証領域のそれぞれは、上記一組の基準点のうちの少なくとも1つを表す、少なくとも1つの認証領域と、
所与の入力からの上記一組の基準点の上記座標値が上記少なくとも1つの認証領域内にあるかどうかを判定するように構成される、認証構成要素と
を備える、セキュリティシステム。
(項目17)
上記一組の基準点の上記座標値が上記少なくとも1つの認証領域内にある場合を除いて、上記着目アイテムへのアクセスを制限するように構成される、アクセス制限機構をさらに備える、上記項目に記載のシステム。
(項目18)
上記少なくとも1つの認証領域は、各点に関連する上記少なくとも2つの座標に対応する次元を有する多次元特徴空間内で画定される認証領域を1つだけ備え、上記認証構成要素は、所与の入力軌跡を表す特徴ベクトルが上記認証領域内にあるかどうかを判定するように構成される、上記項目のいずれか一項に記載のシステム。
(項目19)
上記少なくとも1つの認証領域は、上記一組の基準点のそれぞれに対する関連認証領域を備え、各認証領域は、各点に関連する上記少なくとも2つの座標に対応する次元を有する多次元特徴空間で画定され、上記認証構成要素は、再サンプリングされた軌跡からの各基準点を表すそれぞれの特徴ベクトルがその関連認証領域内にあるかどうかを判定するように構成される、上記項目のいずれか一項に記載のシステム。
(項目20)
上記着目アイテムは、通路またはアクセスパネルのうちの1つを含む、上記項目のいずれか一項に記載のシステム。
(摘要)
着目アイテムへのアクセスを制限するための、システムおよび方法が提供される。正規化構成要素は、標準的なサイズを有する再サンプリングされた軌跡を生成するように、入力軌跡を再サンプリングする。基準点発生器は、一組の基準点のそれぞれの値に、再サンプリングされた軌跡を換算し、それぞれが少なくとも2つの関連座標を有する。システムは、少なくとも1つの認証領域をさらに含む。少なくとも1つの認証領域のそれぞれは、一組の基準点のうちの少なくとも1つを表す。検証構成要素は、所与の入力からの一組の基準点の値が、少なくとも1つの認証領域内にあるかどうかを判定するように構成される。アクセス制限機構は、入力からの一組の基準点の値の閾値数が、それらの関連認証領域内にある場合を除いて、着目アイテムへのアクセスを制限する。
本発明の一側面による、ジェスチャ認識を利用するセキュリティシステムを示す図である。 本発明の一側面による、ユーザのジェスチャから取り込まれる軌跡から、単位正方形内の一組の基準点を生成するための正規化プロセスを示す図である。 本発明の一側面による、特徴空間内で画定される、許可ユーザの複数の認証領域を備える、例示的二次元特徴空間を示す図である。 本発明の一側面による、着目アイテムへのアクセスを制限するようにジェスチャ認識システムを利用する、アクセス制限システムの例示的実装を示す図である。 本発明の一側面による、許可ユーザを検証するためのジェスチャ認識システムをトレーニングするための例示的方法論を示す図である。 本発明の一側面による、ジェスチャ認識プロセスに従って、着目アイテムへのアクセスを選択的に許可するための方法論を示す図である。 コンピュータシステム上で動作する、コンピュータが実行可能な命令に基づく等の、本願明細書に記述されるシステムおよび方法を実装するように採用することができる、コンピュータシステムを示す図である。
本発明は、着目アイテムへのアクセスを制限するためのセキュリティシステムに関する。「着目アイテム」という句は、本願明細書において広く適用されることを意図しており、例えば、コンピューティングデバイス、建造物または部屋への通路、およびキャビネット、貸金庫、金庫、暗号鍵、文書、デジタル署名ファイル等の格納ユニットのためのアクセス点(例えば、引き出し、ドア、パネル、または蓋)、または銀行アカウント、クレジット/デビットカードアカウント、電子メールアカウント、またはコンピュータシステムのためのユーザアカウント等のアカウントのうちの何らかを包含することができる。本発明の一側面によれば、パターン認識システムは、許可ユーザからの複数の入力ジェスチャによってトレーニングすることができる。これらの入力のそれぞれは、いくつかの代表点に換算され、代表的統計を計算することができ、複数の入力にわたる点の正規化位置を画定する、平均、分散、および共分散を表す。このデータから、許可ユーザからの所与の入力に対する各点の予想される位置だけでなく、ユーザが特定の様態で予想位置から逸脱する傾向も特徴付けることが可能である。したがって、許可ユーザによって所与のジェスチャが行われたという尤度を、かなりの精度で判定することができ、識別、およびシステムの無許可ユーザの拒否を容易にする。
図1は、本発明の一側面による、ジェスチャ認識を利用する、着目アイテムへのアクセスを制限するためのセキュリティシステム10を示している。「ジェスチャ」に関しては、指定の始点(例えば、スタイラスがスクリーン上に配置された点であり、その点において、赤外線カメラ等によって監視される領域内に指が挿入される)から指定の終点まで測定される、ユーザによって操作される、ユーザの体の一部(例えば、四肢または指)またはツール(例えば、スタイラスまたはコンピュータのマウス)等の、入力物体によるあらゆる動きを含むことを意味することを理解されるであろう。システム10の各許可ユーザは、システムによって認識される、関連する特徴的ジェスチャを有することができる。特徴的ジェスチャは、適切なインターフェースによって認識され、デジタル軌跡に換算することができる、ユーザによるあらゆる連続的な二次元または三次元の運動を含むことができる。例えば、ジェスチャは、署名の全てまたは一部、任意の文字の追跡、または他のあらゆる連続的な運動を含むことができる。
システム10は、ユーザによって行われるジェスチャを、連続する一連の点によって画定される軌跡に換算する、ジェスチャ入力インターフェース12を含む。例えば、ジェスチャ入力インターフェース12は、タッチスクリーンと、タッチスクリーン上のスタイラスの位置を追跡するための適切なソフトウェアと、を含むことができる。代替として、ジェスチャ入力インターフェース12は、指定領域内でユーザの動きを追跡する、可視または赤外線スペクトルで動作する1つ以上のカメラの配列を含むことができる。別の実装において、ジェスチャ入力デバイス12は、マウスまたは類似するデバイスを含むことができ、指定の始点および終点を指示する、マウスのクリックを伴う。
ジェスチャ入力インターフェース12によって生成される軌跡は、正規化構成要素14に提供される。正規化構成要素14は、標準的な一組の次元に対する軌跡を含む点を再サンプリングするように構成される。例えば、軌跡を含む点は、標準的なサイズの単位正方形に適合させるように、線形変換を介して再サンプリングすることができる。境界ボックスは、再サンプリングされた軌跡内の最上点、最下点、最左点、最右点のそれぞれが、境界ボックスの所定の距離の対応する境界の範囲内にあり、境界ボックス内の内容を、単位正方形に適合させるように再サンプリングすることができるように画定することができる。
再サンプリングされた軌跡は、次いで、正規化軌跡に沿った均一な間隔で、標準的な数の基準点の値を提供する、基準点発生器16に提供することができる。例えば、再サンプリングされた軌跡は、実質的に長さが等しく、各セグメント対がn個の基準点のうちの1つに位置する、複数(n+1個)のセグメントに分割することができる。基準点の数は、軌跡にわたって一定であるので、2つの軌跡の形状の差は、n個の基準点のうちの対応する相対的位置を比較することによって、比較することができる。これらの基準点の値のそれぞれは、例えば水平および垂直座標である、単位正方形内の関連する第1の座標および第2の座標を含む。したがって、再サンプリングされた軌跡は、2n個の座標によって画定されるn個の均一に離間された点に換算することができ、所与の軌跡は、2n次元空間内の点として概念化することができる。種々の軌跡の類似性および差は、画定された2n次元空間内の点の間の距離として定量化することができる。
本発明の一側面によるシステムの開発において、かなりの程度の相関が、連続するジェスチャの点を表す種々の2n個の座標対の間に存在する可能性があると判断された。例えば、二次元ジェスチャにおいて、軌跡内の所与の点の水平および垂直座標は、特に高い程度の依存性を示す可能性があることを理解されるであろう。したがって、大部分の認識タスクにおいて実質的に正確である、座標間の非依存性の仮定は、必ずしも再サンプリングされた軌跡を画定する種々の座標に当てはまるというわけではない。本発明の一側面によれば、座標間の依存性は、相関する座標の影響を補うように、ジェスチャの分析において少なくとも1つの共分散項を補うことによって、補うことができる。この共分散項の効果は、2n次元空間を表すパラメータの相関性を補うように、2n次元特徴空間の領域の伸長または歪みとして概念化することができる。
この目的を達成するために、所与のユーザについて複数組の1つ以上の基準点の起こり得る変動範囲を表すように、1つ以上の認証領域18を展開することができる。各認証領域は、認証領域に関連する、1つ以上の点のそれぞれに関連する座標に対応する次元を有する多次元特徴空間内で画定される。本発明の一側面によれば、認証領域は、ユーザによって提供される一組のトレーニングデータにわたって計算される、1つ以上の代表的統計に基づいて画定することができる。例えば、二次元ジェスチャ内の単一の基準点を表す認証領域は、代表的統計、すなわち、楕円の重心として表される二次元の平均値、楕円の軸の長さを画定する各座標の分散、そして関連次元内の領域の広がり、次元のうちの1つと相対的な楕円の長軸の角度を決定する2つの変数間の共分散等に従って、二次元の楕円で画定することができる。所与の領域に関連する点の数、および関連座標が増加するにつれて、特徴空間内の認証領域の表現がますます複雑になり、各次元での認証領域の広がりは、所与の座標に沿った分散によって判定され、画定された特徴空間内の領域の配向は、種々のパラメータ間の共分散関数であることを理解されるであろう。
検証構成要素20は、入力基準点に対して判定された一組の値が、1つ以上の認証領域内にあるかどうかを判定する。これは、例えば、種々の座標間の共分散を補うように距離が調整される、領域の平均点に対する距離測定を介して、または単純に、一組の点に関連する座標から形成される特徴ベクトルの位置を、それらの関連特徴空間内の1つ以上の認証領域の境界と比較することによって、達成することができる。例えば、複数の基準点の座標値は、1つ以上の認証領域に対応する1つ以上の特徴ベクトルに分割することができ、また、これらの特徴ベクトルが、関連特徴空間内で画定された認証領域内にどのくらいあるのかを判定することができる。一部の応用に関して、それらの関連認証領域内に全ての特徴ベクトルが無い時であっても、ユーザを認証できることを理解されるであろう。検証構成要素20からの結果は、次いで、保護された着目アイテムへのアクセスを制限する、アクセス制限機構インターフェース22に提供される。例えば、電子ロックによって保護されている戸口またはアクセスパネルは、許可ユーザからの認識されたジェスチャに応答して、デジタル信号を介してアンロックすることができる。同様に、ユーザがコンピュータシステム、プログラム、またはアカウントにアクセスできるように、ローカルまたはリモートコンピュータ読み取り可能媒体に記憶される、コンピュータプログラムに暗号化許可コードを提供することができる。
図2は、タッチスクリーン上の入力物体(例えば、スタイラスまたは指)からの入力等の、ユーザのジェスチャから取り込まれる軌跡36による単位正方形34内に、一組の基準点32を生成するための正規化プロセスを示している。軌跡36が取得された後、特徴の水平および垂直の広がりを画定するように、境界ボックス38を軌跡の周囲に画定することができる。境界ボックス38の内容は、標準的な次元を有する正規化軌跡40を生成するように、単位正方形34への線形変換を介してマップされる。一組の基準点32は、正規化軌跡の長さに沿って代表サンプリングを提供するよう、隣接する基準点が実質的に等しい長さの正規化軌跡によって分割されるように、正規化軌跡40に沿って割り当てられる。各基準点は、単位正方形34内に水平および垂直座標を有することになり、したがって、第2の正規化軌跡(図示せず)に対する正規化軌跡40の類似性を定量化するように、第2の正規化軌跡上の対応する基準点を容易に比較できることを理解されるであろう。
図3は、特徴空間内で画定される許可ユーザの複数の認証領域60、70、および80を備える、例示的二次元特徴空間50を示している。説明の目的として、特徴空間は、二次元として画定され、各認証領域60、70、および80は、一組の基準点のうちの1つの場所の期待値を表すことを理解されるであろう。しかしながら、所与の認証領域は、3つ以上の次元で画定され、また、一組の基準点から2つ以上の点を表すことができ、認証領域に関連する特徴空間は、その関連基準点の各座標次元を表す次元を有することを認識されるであろう。例えば、三次元で画定される2つの基準点を表す認証領域は、六次元の特徴空間内で画定される。各認証領域は、許可ユーザから取り出された一組のトレーニングデータから生成される、説明的な統計によって画定される。このトレーニングデータから、各基準点の座標のそれぞれの平均および共分散値、ならびに同一の点を画定する座標と異なる点を画定する座標との間の種々の分散値を判定することができる。各認証領域の位置および形状は、これらの記述的統計から画定することができる。
図示されている特徴空間50において、第1の認証領域60は、一組の基準点からの第1の基準点を表す。領域の重心62は、ユーザに関連するトレーニングデータ内の領域に関連する座標のそれぞれの平均値として画定される。各座標次元に沿ったトレーニングデータの分散は、特徴空間の関連次元での領域の広がりを画定する。図示されている実装において、基準点の水平座標に関連する分散は、楕円の第1の軸64によって表され、基準点の垂直座標に関連する分散は、楕円の第2の軸66によって表される。図示されている実施例では、第1の認証領域60に関連する特徴点の水平および垂直座標は、認証領域がほぼ円形となるように、独立した、ほぼ等しい分散で示されている。
第2の認証領域70は、水平および垂直座標が独立している基準点を表しているが、垂直座標の分散は、水平座標の分散よりはるかに小さい。したがって、楕円の認証領域70は、重心72の周囲の基準点の水平座標の分散が楕円の長軸74によって表され、重心の周囲の垂直座標の分散が楕円の短軸76によって表されるように、垂直次元が狭くなる。第3の認証領域80は、第2の認証領域70に類似した状況を表し、垂直座標の分散は、水平座標の分散未満である。したがって、重心82の周囲の基準点の水平座標の分散は、楕円の長軸84によって表され、重心の周囲の垂直座標の分散は、楕円の短軸86によって表される。しかしながら、第2の認証領域70とは異なり、第3の認証領域80によって表される基準点の水平座標および垂直座標は、独立して変動せず、したがって、非ゼロ共分散を有する。変数間のこの共分散は、特徴空間の水平軸に対する楕円の認証領域の傾斜によって表される。複数の基準点およびそれらの関連座標を表す、より複雑な認証領域において、変数間の共分散によって、許可ユーザに固有である所与の認証領域の形状および配向に、類似した歪みを生じさせることができ、無許可ユーザが許可ユーザの特徴的ジェスチャを模倣するのを困難にする。
図4は、着目アイテムへのアクセスを制限するように、ジェスチャ認識システムを利用する、アクセス制限システム100の例示的実装を示している。アクセス制限システム100は、ユーザが、例えばユーザの指で、またはハンドヘルドスタイラスを介して、デバイスに特徴的ジェスチャを入力することができるように構成される、タッチスクリーン102を含む。タッチスクリーン102は、アクセス制限システムの種々の構成要素間でデータを搬送するシステムバス106を介して、アクセス制限システム100の少なくとも1つのプロセッサ104に接続される。プロセッサ104は、リードオンリメモリ(ROM)108、およびプロセッサのための作業メモリとして機能するランダムアクセスメモリ(RAM)110に動作可能に接続される。基本入出力システム(BIOS)は、ROM118内に常駐させることができ、概して、例えばリセットまたは電源投入中に、アクセス制限システム100内の要素間での情報の転送を補助する、基本ルーチンを含む。
プロセッサ114は、関連するコンピュータ読み取り可能媒体120に記憶される、コンピュータが実行可能な命令を実行するように構成することができる。コンピュータ読み取り可能媒体120には、媒体上に符号化される種々の組の実行可能な命令によって機能を実行するように、コンピュータシステムによって合理的に読み込まれて実行されるように構成される、あらゆる媒体が挙げられる。したがって、「コンピュータ読み取り可能媒体」という用語は、具体的には、例えば光学、固体状態、および磁気記憶媒体を包含するものと広く解釈されることを意図しているが、具体的には、コンピュータコードの非機能的リストを除外することを意図していることを理解されるであろう。コンピュータ読み取り可能媒体は、ユーザによって提供される軌跡情報を、ユーザの意図を判別するようにアクセス制限システム100によって翻訳することができる、一連の座標点に変換することができる、ジェスチャ入力インターフェース124を格納することができる。例えば、所与のジェスチャは、スタイラスがタッチ感応表面と接触した時に最初に検出される点から始まり、スタイラスがタッチスクリーン102と接触した時に最後に検出される点で終わる、一連の点によって画定される。中間点は、区分線形軌跡を画定する。点の数および間隔は、タッチスクリーン102のサンプリング速度によって決定される。
コンピュータ読み取り可能媒体120は、本発明の一側面による、ジェスチャ認識システム130をさらに格納することができる。ジェスチャ認識システム130は、尺度およびアスペクトの影響を最小化するように、線形組み合わせを一連の点に適用する、正規化要素132を含むことができる。具体的には、ユーザによって入力される軌跡を表す一連の点は、ユーザが提供した軌跡が、各次元で標準的なサイズに拡張または収縮されるように、軌跡の境界ボックスから単位正方形へマップすることができる。基準点発生器134は、マップされた軌跡を表すように、複数の基準点を画定する。具体的には、軌跡を画定する複数の点は、概してユーザのスタイラス速度およびタッチスクリーンのサンプリング速度の変動によって、軌跡に沿って不均一に離間されるが、軌跡に沿って実質的に均一に離間される一連の基準点によって置き換えられる。例えば、軌跡の全長を判定することによって、セグメント長を提供するように、所望の数の基準点よりも大きい値で全長を分割することによって、およびそれぞれがセグメント長とほぼ等しい長さを有する複数のセグメントへの軌跡の分割に応じて、基準点を割り当てることによって、基準点を割り当てることができる。各基準点は、単位正方形内の水平座標および垂直座標として画定することができる。
トレーニング中に、ユーザは、特徴的ジェスチャを複数回入力することができる。基準点発生器134は、特徴的ジェスチャのインスタンスのそれぞれの、一組の基準点の値を計算し、基準点の値を、ユーザの基準データ136として記憶することができる。この参照データ136は、参照データを含む複数の軌跡にわたって代表的統計を計算する、パラメータ計算構成要素138に提供することができる。したがって、各基準点に対しては、複数の軌跡から得ることができる座標対の複数の値が存在する。このデータから、各基準点の水平および垂直座標の平均および分散、ならびに水平および垂直座標の共分散を判定することができる。一実施形態では、異なる基準点の座標間の共分散値を判定することもできる。これらの値から、1つ以上の認証領域140を、それぞれの特徴空間内で画定することができる。各認証領域は、認証領域に関連する、1つ以上の点のそれぞれに関連する座標に対応する次元を有する、多次元特徴空間内で画定される。例えば、認証領域は、領域の重心として表される二次元の平均値と、関連次元での領域の広がりを画定する各座標の分散と、領域の関連する形状および配向を判定する種々の座標間の共分散によって画定することができる。領域は、次式が真となるように、領域の平均点からのマハラノビス距離(Mahalanobis distance)が閾値未満である多次元特徴空間内の一組の全ての点
として数学的に画定することができる。
式中、
は、特徴空間内を表す座標値の全ての平均値を表す特徴空間内の位置であり、Tは、
からの共分散加重距離の定閾値であり、
は、認証領域によって表される種々の座標の分散および共分散値から画定される、共分散マトリクスの逆数である。
前述のように、動作中に、ジェスチャは、ユーザによって行われ、複数の基準点の座標値に換算される。検証構成要素142で、取得したジェスチャからの基準点の複数の値が、1つ以上の画定された認証領域内にあるかどうかが判定される。例えば、複数の基準点の座標値は、1つ以上の認証領域に対応する1つ以上の特徴ベクトルに分割することができ、また、これらの特徴ベクトルが、関連特徴空間内の画定された認証領域内にどのくらいあるのかを判定することができる。一部の応用に関して、それらの関連認証領域内に全ての特徴ベクトルが無い時であっても、ユーザを認証できることを理解されるであろう。例えば、各特徴ベクトルには、関連値を割り当てることができ、それらの関連領域内にある特徴ベクトルに関連する全ての値が閾値を上回る時に、ユーザを認証することができる。一実施形態では、各基準点はそれ自体の認証領域によって表され、各基準点の特徴ベクトルも同様に加重される。検証構成要素142からの結果は、次いで、着目アイテムに関連するロック機構を制御する、ロック機構インターフェース144に提供される。例えば、電子ロックによって保護されている戸口またはアクセスパネルは、許可ユーザからの認識されたジェスチャに応答して、ロック機構インターフェース142からデジタル信号を介してアンロックすることができる。同様に、ロックインターフェース機構インターフェース142は、ユーザがコンピュータシステム、プログラム、またはアカウントにアクセスできるように、ローカルまたはリモートで、コンピュータプログラムに暗号化許可コードを提供することができる。
前述の構造的および機能的特徴に照らして、本発明の種々の側面による方法論は、図5および6を参照して、よりよく認識されよう。説明を簡潔にするために、図5および6の方法論は、連続的に実行するものとして図示および説明されるが、本発明によるいくつかの側面では、異なる順序で、および/または本願明細書に図示および説明されるものによる別の側面と並行して生じ得るので、本発明は、示されている順序によって制限されないことを理解および認識されたい。さらに、本発明の一側面による方法論の実装には、示されている全ての特徴が必要であるとは限らない。
図5は、本発明の一側面による、許可ユーザを検証するためのジェスチャ認識システムをトレーニングするための例示的方法論150を示している。152で、特徴的ジェスチャを表す複数の入力軌跡が、ユーザから取得される。154で、取得された入力軌跡のそれぞれが、標準的な一組の次元に正規化される。一実施形態では、境界ボックスが各軌跡の周囲に画定され、境界ボックスの内容は、線形変換を介して単位正方形にマップすることができる。156で、正規化特徴のそれぞれは、一組の標準的な数の基準点の座標値に換算することができる。基準点は、基準点が正規化軌跡に沿って均一に離間されるよう、正規化特徴を均一な長さの複数のセグメントに分割するように選択される。したがって、複数の軌跡のそれぞれは、軌跡上の実質的に類似した位置の対応する基準点によって表されなければならない。
158で、複数の入力軌跡の代表的統計を計算することができる。例えば、ユーザのデータは、複数の取得された軌跡からの基準点のそれぞれの複数の座標値を含むことができる。このデータから、複数の取得された軌跡にわたって、複数の基準点のそれぞれに対して、平均水平座標および平均垂直座標を計算することができる。同様に、所与の基準点の水平および垂直座標の分散を、複数の取得された軌跡にわたって計算することができ、また、各点ごとの、および点間の水平および垂直座標の共分散値を判定することができる。160で、1つ以上の認証領域を、それぞれの特徴空間内で画定することができる。各認証領域は、認証領域に関連する、1つ以上の点のそれぞれに関連する座標に対応する次元を有する多次元特徴空間内で画定される。例えば、認証領域は、領域の重心として表される二次元の平均値と、関連次元内の領域の広がりを画定する各座標の分散と、領域の関連する形状および配向を判定する種々の座標間の共分散を用いて画定することができる。共分散を分析に組み込むように領域を成形することによって、特定のジェスチャの複数の行為の間で所与のユーザに予想される、特徴の不確実性を確実に補うことが可能である。
図6は、本発明の一側面による、ジェスチャ認識プロセスに従って、着目アイテムへのアクセスを選択的に許可するための方法論200を示している。202で、ユーザから特徴的ジェスチャを表す入力軌跡が受信される。例えば、軌跡は、タッチスクリーン上のスタイラスを追跡することによって、または指定領域内のユーザの動きを追跡することによって受信することができ、入力軌跡を画定する連続する一連の点に換算することができる。204で、入力軌跡が、標準的な一組の次元に正規化される。例えば、軌跡を含む点は、境界ボックスによって囲むことができ、境界ボックスの内容は、標準的なサイズの単位正方形に適合させるように、線形変換を介して再サンプリングすることができる。
206で、正規化軌跡は、標準的な数の実質的に均一に離間された点のそれぞれの座標値に換算される。これらの点のそれぞれは、例えば水平および垂直座標といった、関連する第1および第2の座標を境界ボックス内に有する。したがって、再サンプリングされた軌跡は、2n個の座標によって画定されるn個の均一に離間された点に換算することができ、所与の軌跡は、2n次元の特徴空間内の点として、または2n次元未満であるそれぞれの特徴空間内の複数の点として概念化することができる。1つ以上の特徴空間のそれぞれは、許可ユーザの既知の傾向に従って特徴空間内で画定される、関連認証領域を含むことができる。208で、座標値によって画定される特徴空間内の1つ以上の点が、それらの関連特徴空間内のそれぞれの認証領域内にあるかどうかが判定される。本質的に、入力が許可ユーザからの入力の正規パラメータ内にあるかどうかが判定される。
210で、入力からの、特徴空間内の画定された点の閾値数が認証領域内にあるかどうかが判定される。閾値数は、用途によって変動することになり、閾値が全ての点となる可能性があることを理解されるであろう。1つの特徴空間だけしか利用されない場合、入力全体を表す1つの点が、単一の認証領域と比較され、明らかに、閾値は1つとなる。整合点の数が閾値未満である場合、212で、ユーザは拒否される。整合点の数が閾値に達する場合、214で、ユーザは認証されて着目アイテムへのアクセスが許可される。
図7は、コンピュータシステム上で動作する、コンピュータが実行可能な命令に基づく等の、本願明細書に記述されるシステムおよび方法を実装するように採用することができる、コンピュータシステム300を示している。コンピュータシステム300は、1つ以上の汎用ネットワーク化コンピュータシステム、組み込み型コンピュータシステム、ルータ、スイッチ、サーバデバイス、クライアントデバイス、種々の中間デバイス/ノード、および/またはスタンドアロンのコンピュータシステム上に実装することができる。加えて、コンピュータシステム300は、本願明細書に記載されている方法を行うようにコンピュータが実行可能な命令を実行する、コンピュータ支援エンジニアリング(CAE)ツールの一部として実装することができる。
コンピュータシステム300は、プロセッサ302と、システムメモリ304と、を含む。システムバス306は、プロセッサ302へのシステムメモリ304を含む、種々のシステム構成要素を連結する。デュアルマイクロプロセッサおよび別のマルチプロセッサアーキテクチャを、プロセッサ302として利用することもできる。システムバス306は、メモリバスまたはメモリコントローラ、周辺バス、および種々のバスアーキテクチャのうちの何らかを使用するローカルバスを含む、いくつかのタイプのバス構造のうちの何らかとして実装することができる。システムメモリ304は、リードオンリメモリ(ROM)308と、ランダムアクセスメモリ(RAM)310と、を含む。基本入出力システム(BIOS)312は、ROM308内に常駐させることができ、概して、リセットまたは電源投入中等の、コンピュータシステム300内の要素間での情報の転送を補助する、基本ルーチンを含む。
コンピュータシステム300は、例えばリムーバブルディスク318との読み込みまたは書き込みを行うための、ハードディスクドライブ314、磁気ディスクドライブ316、および、例えばCD−ROMまたはDVDディスク322を読み込むための、または別の光媒体への書き込みを行うための、光ディスクドライブ320を含むことができる。ハードディスクドライブ314、磁気ディスクドライブ316、および光ディスクドライブ320は、それぞれ、ハードディスクドライブインターフェース324、磁気ディスクドライブインターフェース326、および光ドライブインターフェース334によって、システムバス306に接続される。ドライブおよびそれらの関連するコンピュータ読み取り可能媒体は、データ、データ構造、およびコンピュータが実行可能な命令の不揮発性の記憶を、コンピュータシステム300に提供する。上述のコンピュータ読み取り可能媒体の説明は、ハードディスクを指しているが、リムーバブル磁気ディスクおよびCD、コンピュータによる読み取りが可能な別のタイプの媒体を使用してもよい。例えば、本願明細書に記載されている、システムを実装するためのコンピュータが実行可能な命令および方法はまた、磁気カセット、フラッシュメモリカード、デジタルビデオディスク等に記憶させてもよい。
いくつかのプログラムモジュールはまた、ドライブのうちの1つ以上、およびRAM310内に格納してもよく、オペレーティングシステム330、1つ以上のアプリケーションプログラム332、別のプログラムモジュール334、および本発明の一側面として利用されるジェスチャ認識等のプログラムデータ336を含む。
ユーザは、ポインティングデバイス(例えば、マウス)、タッチスクリーン、または1つ以上のカメラ等の、ユーザのジェスチャを認識するためのユーザ入力デバイス340を通じて、コマンドおよび情報をコンピュータシステム300に入力してもよい。別の入力デバイスには、キーボード、マイクロホン、ジョイスティック、ゲームパッド、スキャナ等が挙げられる。これらの、および他の入力デバイスは、しばしば、対応するインターフェース、またはシステムバス306に連結されるバス342を通じて、プロセッサ302に接続される。このような入力デバイスは、代替として、パラレルポート、シリアルポート、またはユニバーサルシリアルバス(USB)等の、別のインターフェースによって、システムバス306に接続される。視覚表示デバイスまたはプリンタ等の1つ以上の出力デバイス344を、インターフェースまたはアダプタ346を介して、システムバス306に接続することもできる。
コンピュータシステム300は、1つ以上のリモートコンピュータ350への論理接続348を使用する、ネットワーク化環境内で動作してもよい。リモートコンピュータ348は、ワークステーション、コンピュータシステム、ルータ、ピアデバイス、または他の共通のネットワークノードであってもよく、典型的には、コンピュータシステム300に関して説明される要素のうちの多く、または全てを含む。論理接続348は、ローカルエリアネットワーク(LAN)、およびワイドエリアネットワーク(WAN)を含むことができる。
LANネットワーク化環境で使用する時には、コンピュータシステム300は、ネットワークインターフェース352を通じてローカルネットワークに接続される。WANネットワーク化環境で使用する時には、コンピュータシステム300は、モデム(図示せず)を含むか、またはLANを介して通信サーバに接続することができる。ネットワーク環境において、コンピュータシステム300に関連して示されるアプリケーションプログラム332およびプログラムデータ336は、リモートコンピュータ350のメモリ354内に記憶されてもよい。
上述したものは、本発明の例示的実装を含む。当然ながら、本発明を説明するために、構成要素または方法論の全ての考えられる組み合わせを記載することは不可能であるが、当業者は、本発明のさらに多くの組み合わせおよび置換が可能であることを認識されるであろう。したがって、本発明は、添付の特許請求の範囲の精神および範囲内にある、そのような変更、修正、および変形を包含することを意図している。

Claims (20)

  1. 着目アイテムへのアクセスを制限するためのセキュリティシステムであって、
    ユーザからの連続的なジェスチャを入力軌跡に変換するように構成されているジェスチャ入力インターフェースと、
    前記入力軌跡を再サンプリングして標準的なサイズを有する再サンプリングされた軌跡を生成するように構成されている正規化構成要素と、
    前記再サンプリングされた軌跡を一組の基準点のそれぞれの値に換算するように構成されている基準点発生器であって、前記一組の基準点の前記値のそれぞれは、少なくとも2つの関連座標を有する、基準点発生器と、
    少なくとも1つの認証領域であって、前記少なくとも1つの認証領域のそれぞれは、前記一組の基準点のうちの少なくとも1つを表し、各認証領域は、多次元特徴空間内で画定され、前記多次元特徴空間は、前記認証領域に関連付けられた前記少なくとも1つの点のそれぞれに関連付けられた前記少なくとも2つの座標に対応する次元を有し、
    各認証領域は、少なくとも、
    前記少なくとも1つの点のそれぞれに対する値の平均によって決定される前記領域の重心と、
    前記少なくとも1つの点のそれぞれに対する値の分散によって決定される前記次元のそれぞれにおける前記領域の広がりと、
    前記少なくとも1つの点のそれぞれの前記少なくとも2つの座標の第1の座標と第2の座標との間の共分散によって決定される前記領域の形状と
    によって画定される、少なくとも1つの認証領域と、
    所与の入力からの前記一組の基準点のうち、前記少なくとも1つの認証領域内にある基準点の値の数を決定するように構成されている検証構成要素と、
    前記入力からの前記一組の基準点のうち、関連認証領域内にある基準点の値の数が所定の閾値よりも大きい場合を除いて、前記着目アイテムへのアクセスを制限するように構成されているアクセス制限機構と
    を備える、セキュリティステム。
  2. 前記少なくとも1つの認証領域は、各点に関連付けられた前記少なくとも2つの座標に対応する次元を有する多次元特徴空間内で画定される認証領域を1つだけ備え、前記検証構成要素は、所与の入力軌跡を表す特徴ベクトルが前記認証領域内にあるかどうかを判定するように構成されている、請求項1に記載のシステム。
  3. 前記少なくとも1つの認証領域は、前記一組の基準点のそれぞれに対する関連認証領域を備え、各認証領域は、各点に関連付けられた前記少なくとも2つの座標に対応する次元を有する多次元特徴空間内で画定され、前記検証構成要素は、再サンプリングされた軌跡からの各基準点を表すそれぞれの特徴ベクトルがその関連認証領域内にあるかどうかを判定するように構成されている、請求項1に記載のシステム。
  4. パラメータ計算構成要素をさらに含み、前記パラメータ計算構成要素は、前記ジェスチャ入力インターフェース、前記正規化構成要素、および前記基準点発生器におけるユーザ入力から導出される前記一組の基準点の値を含む前記ユーザの特徴的ジェスチャを表すトレーニングデータを受信し、かつ、前記一組の基準点のそれぞれの平均、分散、共分散を計算するように構成されている、請求項1に記載のシステム。
  5. 前記着目アイテムは、クレジットカードアカウントを含む、請求項1に記載のシステム。
  6. 前記アクセス制限機構は、コンピュータ読み取り可能媒体に記憶される一組の実行可能な命令を含み、前記命令は、コンピュータによって実行されると、コンピュータプログラムのインスタンスへのアクセスを制限することが可能である、請求項1に記載のシステム。
  7. 前記着目アイテムは、コンピュータシステムを含む、請求項1に記載のシステム。
  8. 前記ジェスチャ入力インターフェースは、指定領域内のユーザの動きを追跡する可視および赤外線スペクトルのうちの1つで動作する少なくとも1つのカメラを備える、請求項1に記載のシステム。
  9. 前記ジェスチャ入力インターフェースは、タッチパッドと接触している入力デバイスの位置を追跡するように構成されているタッチパッドを備える、請求項1に記載のシステム。
  10. 前記着目アイテムは、通路であり、前記アクセス制限機構は、電子ロックである、請求項1に記載のシステム。
  11. ジェスチャに基づくセキュリティシステムをトレーニングするための方法であって、
    ユーザの特徴的ジェスチャを表す前記ユーザからの複数の入力軌跡を発生させることと、
    前記複数の入力軌跡を正規化して標準的な一組の次元を有する一組の正規化軌跡を生成することと、
    各正規化軌跡を標準的な一組の実質的に均一に離間した基準点に換算することであって、各基準点は、少なくとも2つの関連座標を有する、ことと、
    前記点に関連付けられた前記少なくとも2つの関連座標のそれぞれの平均、前記少なくとも2つの関連座標のそれぞれの分散、および前記少なくとも2つの座標のうちの少なくとも第1の座標と前記少なくとも2つの座標のうちの第2の座標との間の共分散計算することと、
    前記ユーザからの入力の認証範囲として、前記一組の基準点の前記関連座標によって画定される少なくとも1つの特徴空間内でそれぞれの認証領域を画定することであって、前記少なくとも1つの特徴空間の前記それぞれの認証領域は、それぞれ、前記一組の基準点からの少なくとも1つの関連点を有し、前記少なくとも1つの関連点のそれぞれに関連付けられた前記少なくとも2つの関連座標のそれぞれ平均と、前記少なくとも1つの関連点のそれぞれに関連付けられた前記少なくとも2つの関連座標のそれぞれの分散と、前記少なくとも1つの関連点のそれぞれに関連付けられた前記少なくとも2つの座標のうちの少なくとも第1の座標と前記少なくとも2つの座標のうちの第2の座標との間の共分散に従って画定される、こと
    を含む、方法。
  12. 前記特徴的ジェスチャを表す入力軌跡を受信することは、タッチスクリーンにわたって入力物体の動きを追跡することを含む、請求項11に記載の方法。
  13. 前記特徴的ジェスチャを表す入力軌跡を受信することは、少なくとも1つのカメラで入力物体の動きを追跡することを含む、請求項11に記載の方法。
  14. 少なくとも1つの特徴空間内で画定される前記認証領域のうちの所与の認証領域を画定することは、前記領域の前記平均と前記領域内のあらゆる点との間のマハラノビス距離が閾値である特徴空間内の領域を画定することを含む、請求項11に記載の方法。
  15. 入力軌跡としてユーザからジェスチャを取得することと、
    前記入力軌跡を正規化して前記標準的な一組の次元を有する正規化入力軌跡を生成することと、
    前記正規化軌跡を前記基準点の座標値に換算することと、
    前記基準点の前記座標値が前記関連認証領域内にあるかどうかを判定することと、
    前記基準点の前記座標値が前記関連認証領域内にある場合に、着目アイテムへのアクセスを許可すること
    さらに含む、請求項11に記載の方法。
  16. ユーザを認証するためのセキュリティシステムであって、
    ユーザによるジェスチャを経時的に前記ユーザの運動を表す軌跡に変換するように構成されている入力デバイスと、
    前記軌跡を再サンプリングして標準的なサイズを有する再サンプリングされた軌跡を生成するように構成されている正規化構成要素と、
    前記再サンプリングされた軌跡上で標準的な数の実質的に等距離の基準点を画定するように構成されている基準点発生器であって、前記基準点のそれぞれは、少なくとも2つの関連座標を有する、基準点発生器と、
    記基準点のうちの1つに関連付けられた第1の座標と第2の座標と間の少なくとも1つの共分散値を計算するように構成されているパラメータ計算構成要素と、
    少なくとも1つの認証領域であって、前記少なくとも1つの認証領域のそれぞれは、前記一組の基準点のうちの少なくとも1つを表し、各認証領域は、前記認証に関連付けられた前記基準点の前記共分散に従って、多次元特徴空間内で画定され、前記多次元特徴空間は、前記認証領域に関連付けられた前記少なくとも1つの点のそれぞれに関連付けられた前記少なくとも2つの座標に対応する次元を有する、少なくとも1つの認証領域と、
    所与の入力からの前記一組の基準点の前記座標値が前記少なくとも1つの認証領域内にあるかどうかを判定するように構成されている検証構成要素と
    を備える、セキュリティシステム。
  17. 前記一組の基準点の前記座標値が前記少なくとも1つの認証領域内にある場合を除いて、前記着目アイテムへのアクセスを制限するように構成されているアクセス制限機構をさらに備える、請求項16に記載のシステム。
  18. 前記少なくとも1つの認証領域は、各点に関連付けられた前記少なくとも2つの座標に対応する次元を有する多次元特徴空間内で画定される認証領域を1つだけ備え、前記検証構成要素は、所与の入力軌跡を表す特徴ベクトルが前記認証領域内にあるかどうかを判定するように構成されている、請求項16に記載のシステム。
  19. 前記少なくとも1つの認証領域は、前記一組の基準点のそれぞれに対する関連認証領域を備え、各認証領域は、各点に関連付けられた前記少なくとも2つの座標に対応する次元を有する多次元特徴空間で画定され、前記検証構成要素は、再サンプリングされた軌跡からの各基準点を表すそれぞれの特徴ベクトルがその関連認証領域内にあるかどうかを判定するように構成されている、請求項16に記載のシステム。
  20. 前記着目アイテムは、通路またはアクセスパネルのうちの1つを含む、請求項16に記載のシステム。
JP2009205350A 2008-09-04 2009-09-04 ジェスチャ認識を利用するセキュリティシステム Expired - Fee Related JP4928593B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/204,509 US9251407B2 (en) 2008-09-04 2008-09-04 Security system utilizing gesture recognition
US12/204,509 2008-09-04

Publications (2)

Publication Number Publication Date
JP2010160784A JP2010160784A (ja) 2010-07-22
JP4928593B2 true JP4928593B2 (ja) 2012-05-09

Family

ID=41429672

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009205350A Expired - Fee Related JP4928593B2 (ja) 2008-09-04 2009-09-04 ジェスチャ認識を利用するセキュリティシステム

Country Status (3)

Country Link
US (1) US9251407B2 (ja)
EP (1) EP2166487A3 (ja)
JP (1) JP4928593B2 (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8941466B2 (en) * 2009-01-05 2015-01-27 Polytechnic Institute Of New York University User authentication for devices with touch sensitive elements, such as touch sensitive display screens
US20110019105A1 (en) * 2009-07-27 2011-01-27 Echostar Technologies L.L.C. Verification of symbols received through a touchpad of a remote control device in an electronic system to allow access to system functions
CN102455806B (zh) * 2010-10-15 2013-12-18 ***通信有限公司 一种带有触摸屏的终端运行方法及终端
US20130047268A1 (en) * 2010-12-07 2013-02-21 Sigza Authentication Systems Methods for Using Biometric Authentication Methods for Securing Files and for Providing Secure Access to Such Files by Originators and/or Authorized Others
WO2012104312A1 (en) * 2011-01-31 2012-08-09 Research In Motion Deutschland Gmbh Method and apparatus for gesture authentication
US9058059B2 (en) 2011-03-03 2015-06-16 Omron Corporation Gesture input device and method for controlling gesture input device
IL213515A0 (en) * 2011-06-13 2011-11-30 Univ Ben Gurion Real-time user identification by hand motion signatures
US20120326966A1 (en) * 2011-06-21 2012-12-27 Qualcomm Incorporated Gesture-controlled technique to expand interaction radius in computer vision applications
US8693726B2 (en) * 2011-06-29 2014-04-08 Amazon Technologies, Inc. User identification by gesture recognition
US9015798B1 (en) * 2012-02-16 2015-04-21 Google Inc. User authentication using pointing device
CN102622174B (zh) * 2012-02-23 2013-12-11 中兴通讯股份有限公司 一种屏幕的解锁***和方法
TW201349017A (zh) * 2012-05-23 2013-12-01 Wistron Corp 使用節奏式點擊以觸控解鎖的方法及其相關電子裝置
US9195813B2 (en) * 2012-10-09 2015-11-24 Lockheed Martin Corporation Secure gesture
US9184921B2 (en) * 2012-12-14 2015-11-10 Microsoft Technology Licensing, Llc Input challenge based authentication
US9252952B2 (en) 2012-12-20 2016-02-02 Lockheed Martin Corporation Gesture-based encryption methods and systems
US20140289806A1 (en) * 2013-03-19 2014-09-25 Tencent Technology (Shenzhen) Company Limited Method, apparatus and electronic device for enabling private browsing
JP5796725B2 (ja) * 2013-03-22 2015-10-21 カシオ計算機株式会社 認証処理装置、認証処理方法及びプログラム
US9445522B2 (en) * 2013-05-03 2016-09-13 Taeho Um Structurally-embedded construction, design, and maintenance record data management system and related method
WO2014186010A1 (en) 2013-05-13 2014-11-20 Ohio University Motion-based identity authentication of an individual with a communications device
US9199609B2 (en) 2013-05-16 2015-12-01 GM Global Technology Operations LLC Start system for a motor vehicle
JP6125333B2 (ja) * 2013-05-31 2017-05-10 株式会社東芝 検索装置、方法及びプログラム
US9104857B2 (en) 2013-06-14 2015-08-11 Microsoft Technology Licensing, Llc Gesture-based authentication without retained credentialing gestures
US9846526B2 (en) * 2013-06-28 2017-12-19 Verizon and Redbox Digital Entertainment Services, LLC Multi-user collaboration tracking methods and systems
CN104424473A (zh) * 2013-09-06 2015-03-18 北京三星通信技术研究有限公司 一种手绘草图识别和编辑的方法及装置
WO2015066274A1 (en) * 2013-10-30 2015-05-07 Ohio University Motion-based identity authentication of an individual
US9223955B2 (en) 2014-01-30 2015-12-29 Microsoft Corporation User-authentication gestures
US9857869B1 (en) 2014-06-17 2018-01-02 Amazon Technologies, Inc. Data optimization
US9811650B2 (en) * 2014-12-31 2017-11-07 Hand Held Products, Inc. User authentication system and method
US10082954B2 (en) * 2015-09-04 2018-09-25 International Business Machines Corporation Challenge generation for verifying users of computing devices
WO2017100318A1 (en) 2015-12-07 2017-06-15 Capital One Services, Llc Electronic access control system
US10594683B2 (en) 2016-06-08 2020-03-17 International Business Machines Corporation Enforce data security based on a mobile device, positioning, augmented reality
US10956545B1 (en) * 2016-11-17 2021-03-23 Alarm.Com Incorporated Pin verification
US10140442B1 (en) * 2017-05-19 2018-11-27 International Business Machines Corporation Impression authentication
US10509922B2 (en) 2017-09-28 2019-12-17 Verizon Patent And Licensing Inc. Systems and methods for masking user input and sensor data at a user device
WO2020177070A1 (zh) * 2019-03-05 2020-09-10 深圳市柔宇科技有限公司 一种基于轨迹执行指令的方法、电子设备及计算机可读存储介质
WO2021190762A1 (en) * 2020-03-27 2021-09-30 Fondation Asile Des Aveugles Joint virtual reality and neurostimulation methods for visuomotor rehabilitation
CN113012266B (zh) * 2021-02-26 2022-07-26 中国科学院软件研究所 一种基于笔交互的图元拓扑构图方法
TWI775524B (zh) * 2021-07-09 2022-08-21 華碩電腦股份有限公司 手勢判斷方法及電子裝置
US20230252118A1 (en) * 2022-02-07 2023-08-10 Northrop Grumman Systems Corporation Machine learning fingerprinting of wireless signals and related systems, methods, and computer-readable media

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4975975A (en) * 1988-05-26 1990-12-04 Gtx Corporation Hierarchical parametric apparatus and method for recognizing drawn characters
GB9119139D0 (en) * 1991-09-06 1991-10-23 Atomic Energy Authority Uk Signature matching
US5491758A (en) * 1993-01-27 1996-02-13 International Business Machines Corporation Automatic handwriting recognition using both static and dynamic parameters
US5596656B1 (en) * 1993-10-06 2000-04-25 Xerox Corp Unistrokes for computerized interpretation of handwriting
AU1674795A (en) * 1993-12-17 1995-07-03 Quintet, Incorporated Method of automated signature verification
US5684892A (en) * 1995-08-22 1997-11-04 Taguchi; Genichi Method for pattern recognition
US6421453B1 (en) * 1998-05-15 2002-07-16 International Business Machines Corporation Apparatus and methods for user recognition employing behavioral passwords
US6636631B2 (en) * 1998-06-04 2003-10-21 Matsushita Electric Industrial Co., Ltd. Optical character reading method and system for a document with ruled lines and its application
US6816632B1 (en) * 2000-02-17 2004-11-09 Wake Forest University Health Sciences Geometric motion analysis
US7225107B2 (en) * 2001-05-24 2007-05-29 Test Advantage, Inc. Methods and apparatus for data analysis
US7706616B2 (en) * 2004-02-27 2010-04-27 International Business Machines Corporation System and method for recognizing word patterns in a very large vocabulary based on a virtual keyboard layout
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
JP2008505383A (ja) * 2004-06-29 2008-02-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 個人ジェスチャ署名
KR100612858B1 (ko) * 2004-08-23 2006-08-14 삼성전자주식회사 로봇을 이용하여 사람을 추적하는 방법 및 장치
US7487461B2 (en) * 2005-05-04 2009-02-03 International Business Machines Corporation System and method for issuing commands based on pen motions on a graphical keyboard
US7809214B2 (en) * 2005-08-22 2010-10-05 Samsung Electronics Co., Ltd. Device and a method for identifying movement patterns
JP4641492B2 (ja) * 2005-11-16 2011-03-02 日本電信電話株式会社 特異映像検出装置、特異映像検出方法およびプログラム
JP4887855B2 (ja) * 2006-03-22 2012-02-29 日本電気株式会社 携帯電子機器及びその制御方法
US8781151B2 (en) * 2006-09-28 2014-07-15 Sony Computer Entertainment Inc. Object detection using video input combined with tilt angle information

Also Published As

Publication number Publication date
JP2010160784A (ja) 2010-07-22
EP2166487A3 (en) 2012-04-04
US20100052851A1 (en) 2010-03-04
US9251407B2 (en) 2016-02-02
EP2166487A2 (en) 2010-03-24

Similar Documents

Publication Publication Date Title
JP4928593B2 (ja) ジェスチャ認識を利用するセキュリティシステム
Wang et al. Friend or foe? Your wearable devices reveal your personal pin
US11461442B2 (en) Systems and methods for user input and authentication using vibration analysis
Buschek et al. Improving accuracy, applicability and usability of keystroke biometrics on mobile touchscreen devices
Liu et al. VibWrite: Towards finger-input authentication on ubiquitous surfaces via physical vibration
Gascon et al. Continuous authentication on mobile devices by analysis of typing motion behavior
EP3497621B1 (en) Identifying one or more users based on typing pattern and/or behaviour
Al-Rubaie et al. Reconstruction attacks against mobile-based continuous authentication systems in the cloud
JP6565230B2 (ja) ユーザ認証方法、システム、及びプログラム
Li et al. Attacks via record multiplicity on cancelable biometrics templates
US9147059B2 (en) Biometric-rich gestures for authentication on multi-touch devices
Meng et al. Design of touch dynamics based user authentication with an adaptive mechanism on mobile phones
JP2007328502A (ja) 生体認証方法及びシステム
Koong et al. A user authentication scheme using physiological and behavioral biometrics for multitouch devices
US9195813B2 (en) Secure gesture
Mahadi et al. A survey of machine learning techniques for behavioral-based biometric user authentication
Xu et al. Challenge-response authentication using in-air handwriting style verification
Ren et al. Critical segment based real-time e-signature for securing mobile transactions
Yang et al. Enabling finger-touch-based mobile user authentication via physical vibrations on IoT devices
Velten et al. User identity verification based on touchscreen interaction analysis in web contexts
Janik et al. Sgfa: A two-factor smartphone authentication mechanism using touch behavioral biometrics
KR101659226B1 (ko) 완전 동형 암호를 이용한 원격 바이오 인증 방법 및 시스템
Chan et al. Touchpad input for continuous biometric authentication
Malallah et al. Irreversible Biometric Template Protection by Trigonometric Function
Poudel et al. On humanoid robots imitating human touch gestures on the smart phone

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101004

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110617

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110815

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120117

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120210

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150217

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4928593

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees