JP6064464B2 - 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、認証システム - Google Patents

頭部装着型表示装置、頭部装着型表示装置の制御方法、および、認証システム Download PDF

Info

Publication number
JP6064464B2
JP6064464B2 JP2012198349A JP2012198349A JP6064464B2 JP 6064464 B2 JP6064464 B2 JP 6064464B2 JP 2012198349 A JP2012198349 A JP 2012198349A JP 2012198349 A JP2012198349 A JP 2012198349A JP 6064464 B2 JP6064464 B2 JP 6064464B2
Authority
JP
Japan
Prior art keywords
user
trajectory
head
mounted display
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012198349A
Other languages
English (en)
Other versions
JP2014052942A (ja
Inventor
由貴 藤巻
由貴 藤巻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2012198349A priority Critical patent/JP6064464B2/ja
Priority to US13/975,799 priority patent/US9317126B2/en
Publication of JP2014052942A publication Critical patent/JP2014052942A/ja
Priority to US15/075,822 priority patent/US10191555B2/en
Application granted granted Critical
Publication of JP6064464B2 publication Critical patent/JP6064464B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/316User authentication by observing the pattern of computer usage, e.g. typical user behaviour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/36User authentication by graphic or iconic representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、頭部装着型表示装置および頭部装着型表示装置の制御方法に関する。
頭部に装着する表示装置である頭部装着型表示装置(ヘッドマウントディスプレイ(Head Mounted Display、HMD))が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイおよび光源を利用して画像を表す画像光を生成し、生成された画像光を投写光学系や導光板を利用して使用者の眼に導くことにより、使用者に虚像を認識させる。
近年では、上述のようなHMDにおける高機能化が進み、パーソナルコンピューターと同等の機能を持つHMDも登場している。高機能なHMDでは、HMD内に個人情報等が記憶されていることも多い。このため、HMDにおいても、パーソナルコンピューターと同様に、セキュリティの向上が求められていた。HMDにおいてセキュリティの向上を図るために、HMDの使用者が正当な使用者であるか否かを認識する技術が知られている。以降では、使用者が正当な使用者であるか否かを認証することを、単に「認証」とも呼ぶ。例えば、特許文献1には、使用者の目の画像を撮影し、撮影された画像が予め登録されている画像と一致するか否かを判定することによって、使用者の認証を行うHMDが記載されている。
特開平6−314259号公報
特許文献1記載の技術では、正当な使用者の目が写っている写真、例えば、記念撮影写真や証明写真等を予め取得しておくことで、第三者が正当な使用者になりすますことが可能であるという問題があった。
このため、頭部装着型表示装置(HMD)において、上述のようななりすましの危険性を低減し、セキュリティをより向上させた認証を実現可能な技術が望まれていた。
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の適用例または形態として実現することが可能である。本発明の適用例は、
使用者が虚像と外景を同時に視認可能な頭部装着型表示装置であって、
前記頭部装着型表示装置を装着した状態における前記使用者の視界方向の少なくとも一部を撮影し、前記使用者の動作を取得する撮影部と、
前記虚像の表示領域と前記撮影部の撮影領域とが重複する重複領域を前記使用者に案内する案内部と、
前記撮影部により撮影された前記動作から、前記使用者の動作の軌跡を取得する軌跡取得部と、
前記軌跡取得部により取得された前記軌跡を用いて、前記使用者が正当な使用者であるか否かを認証する認証処理部と、
を備え、
前記撮影部は、
予め定められた開始トリガーを検出後、予め定められた終了トリガーを検出するまでの間の前記動作を撮影し、
前記案内部は、
前記撮影部の撮影領域に含まれ前記撮影領域よりも小さな領域を、前記重複領域として設定する、頭部装着型表示装置。本発明の他の適用例は、
使用者が虚像と外景を同時に視認可能な頭部装着型表示装置であって、
前記頭部装着型表示装置を装着した状態における前記使用者の視界方向の少なくとも一部を撮影し、前記使用者の動作を取得する撮影部と、
前記撮影部により撮影された前記動作から、前記使用者の動作の軌跡を取得する軌跡取得部と、
前記軌跡取得部により取得された前記軌跡を用いて、前記使用者が正当な使用者であるか否かを認証する認証処理部と、
前記頭部装着型表示装置の正当な使用者によって予め登録された前記軌跡である認証用軌跡を記憶する記憶部と、
を備え、
前記認証処理部は、
前記軌跡取得部により取得された前記軌跡と、前記認証用軌跡との類似度が第1の閾値以上である場合に、前記使用者が正当な使用者であると判定し、
前記軌跡取得部により取得された前記軌跡と、過去に前記軌跡取得部により取得された前記軌跡を等倍、横方向拡大、縦方向拡大、横方向縮小、縦方向縮小の少なくともいずれかの方法を用いて変換した軌跡との類似度が、前記第1の閾値よりも大きな第2の閾値以上である場合、前記使用者は正当な使用者でないと判定する、頭部装着型表示装置。本発明の形態は、次の通りである。
(1)本発明の一形態によれば、使用者が虚像と外景を同時に視認可能な頭部装着型表示装置が提供される。この頭部装着型表示装置は;前記頭部装着型表示装置を装着した状態における前記使用者の視界方向の少なくとも一部を撮影し、前記使用者の動作を取得する撮影部と;前記撮影部により撮影された前記動作から、前記使用者の動作の軌跡を取得する軌跡取得部と;前記軌跡取得部により取得された前記軌跡を用いて、前記使用者が正当な使用者であるか否かを認証する認証処理部と;を備える。この形態の頭部装着型表示装置によれば、認証処理部は、使用者の動作の軌跡を用いて使用者が正当な使用者であるか否かを認証するため、文字列や画像を用いた認証と比較して、認証の鍵とされる情報を複製しづらい。この結果、頭部装着型表示装置において、なりすましの危険性を低減し、セキュリティをより向上させた認証を実現可能である。
(2)上記形態の頭部装着型表示装置は、さらに;前記虚像の表示領域と前記撮影部の撮影領域とが重複する重複領域を前記使用者に案内する案内部を備えていてもよい。この形態の頭部装着型表示装置によれば、案内部は、虚像の表示領域と撮影部の撮影領域とが重複する重複領域を使用者に案内するため、使用者は、どこで動作を行えばよいのかを知ることができる。この結果、使用者の利便性を向上させることができる。
(3)上記形態の頭部装着型表示装置において;前記撮影部は;予め定められた開始トリガーを検出後、予め定められた終了トリガーを検出するまでの間の前記動作を撮影してもよい。この形態の頭部装着型表示装置によれば、撮影部は予め定められた開始トリガーを検出後、予め定められた終了トリガーを検出するまでの間の動作を撮影する。このため、撮影部は、認証の鍵として用いられる軌跡だけを撮影することができる。
(4)上記形態の頭部装着型表示装置において;前記開始トリガーまたは前記終了トリガーの少なくとも一方は、前記使用者の動作の所定時間以上の静止の検出であってもよい。この形態の頭部装着型表示装置によれば、撮影部は、使用者の動作の所定時間以上の静止の検出を、開始トリガーまたは終了トリガーとして使用することができる。
(5)上記形態の頭部装着型表示装置において;前記開始トリガーまたは前記終了トリガーの少なくとも一方は、前記使用者の動作の所定位置の通過の検出であってもよい。この形態の頭部装着型表示装置によれば、撮影部は、使用者の動作の所定位置の通過の検出を、開始トリガーまたは終了トリガーとして使用することができる。
(6)上記形態の頭部装着型表示装置において;前記開始トリガーまたは前記終了トリガーの少なくとも一方は、前記使用者の体の一部の所定形状の検出であってもよい。この形態の頭部装着型表示装置によれば、撮影部は、使用者の体の一部の所定形状の検出を、開始トリガーまたは終了トリガーとして使用することができる。
(7)上記形態の頭部装着型表示装置において;前記頭部装着型表示装置の正当な使用者によって予め登録された前記軌跡である認証用軌跡を記憶する記憶部を備え;前記認証処理部は;前記軌跡取得部により取得された前記軌跡と、前記認証用軌跡との類似度が所定の閾値以上である場合に、前記使用者が正当な使用者であると判定してもよい。この形態の頭部装着型表示装置によれば、認証処理部は、軌跡取得部により取得された軌跡と認証用軌跡との類似度が所定の閾値以上である場合に、使用者が正当な使用者であると判定する。このため、体の動きのゆらぎを許容した認証を実現することができる。
(8)上記形態の頭部装着型表示装置において;前記認証処理部は;前記軌跡取得部により取得された前記軌跡と、過去に前記軌跡取得部により取得された前記軌跡を等倍、横方向拡大、縦方向拡大、横方向縮小、縦方向縮小の少なくともいずれかの方法を用いて変換した軌跡との類似度が、前記第1の閾値よりも大きな第2の閾値以上である場合、前記使用者は正当な使用者でないと判定してもよい。この形態の頭部装着型表示装置によれば、認証処理部は、軌跡取得部により取得された前記軌跡と、過去に軌跡取得部により取得された軌跡に所定の演算を加えた軌跡との類似度が第2の閾値以上である場合、使用者は正当な使用者でないと判定する。この結果、過去に軌跡取得部により取得されて認証に用いられた軌跡を複製して正当な利用者になりすます行為を抑制することができる。
(9)上記形態の頭部装着型表示装置において;前記軌跡取得部は、前記使用者の体の一部の移動方向と移動量との変化によって前記動作の軌跡を特定してもよい。この形態の頭部装着型表示装置によれば、軌跡取得部は、動作の軌跡を、使用者の体の一部の移動方向と移動量との変化によって定量的に特定することができる。
(10)上記形態の頭部装着型表示装置において;前記軌跡取得部は、前記使用者によって保持されている任意の物の移動方向と移動量との変化によって前記動作の軌跡を特定してもよい。この形態の頭部装着型表示装置によれば、軌跡取得部は、動作の軌跡を、使用者によって保持されている任意の物の移動方向と移動量との変化によって定量的に特定することができる。
(11)上記形態の頭部装着型表示装置において;前記軌跡取得部は;前記使用者の体の一部または前記任意の物のうちの任意の場所を特定点とし、所定の時間間隔で繰り返し前記特定点の位置を取得し、n回目に取得した前記特定点の位置と、n+1回目に取得した前記特定点の位置とを仮想的に結んだベクトルの向きを前記移動方向として求め、n回目に取得した前記特定点の位置と、n+1回目に取得した前記特定点の位置とを仮想的に結んだベクトルの大きさを前記移動量として求めてもよい。この形態の頭部装着型表示装置によれば、軌跡取得部は、使用者の体の一部または任意の物の移動方向と移動量とを求めることができる。このため、軌跡取得部は、これらの移動方向と移動量との変化によって動作の軌跡を特定することができる。
(12)本発明の一形態によれば、使用者が虚像と外景を同時に視認可能な頭部装着型表示装置の制御方法が提供される。この制御方法は;(a)前記頭部装着型表示装置を装着した状態における前記使用者の視界方向の少なくとも一部を撮影し、前記使用者の動作を取得する工程と;(b)前記工程(a)により取得された前記動作から、前記使用者の動作の軌跡を取得する工程と;(c)前記工程(b)により取得された前記軌跡を用いて、前記使用者が正当な使用者であるか否かを認証する工程と;を備える。この形態の制御方法によれば、頭部装着型表示装置において、なりすましの危険性を低減し、セキュリティをより向上させた認証を実現可能である。
(13)本発明の一形態によれば、認証システムが提供される。この認証システムは;使用者が虚像と外景を同時に視認可能な頭部装着型表示装置と;前記使用者の認証を行う認証サーバーと;を備え;前記頭部装着型表示装置は;前記頭部装着型表示装置を装着した状態における前記使用者の視界方向の少なくとも一部を撮影し、前記使用者の動作を取得する撮影部と;前記撮影部により取得された前記動作を前記認証サーバーへ送信する送信部と;を備え;前記認証サーバーは;前記頭部装着型表示装置から受信した前記動作から、前記使用者の動作の軌跡を取得する軌跡取得部と;前記軌跡取得部により取得された前記軌跡を用いて、前記使用者が正当な使用者であるか否かを認証する認証処理部と;前記認証処理部による前記認証の結果を、前記頭部装着型表示装置へ送信する送信部と;を備える。この形態の認証システムによれば、頭部装着型表示装置は、使用者の視界方向の少なくとも一部を撮影して使用者の動作を撮影する機能と、送信機能とのみを備えればよく、認証サーバーが、受信した動作から使用者の動作の軌跡を取得し、軌跡を用いて使用者を認証する。このため、簡易な構成の頭部装着型表示装置であっても、なりすましの危険性を低減し、セキュリティをより向上させた認証を実現可能である。
(14)上記形態の認証システムにおいて;前記認証サーバーは、さらに;所定の機能を提供する機能提供部を備え;前記機能提供部は、前記認証処理部によって前記使用者が正当な使用者であると判定されるまでの間、前記使用者に対する前記所定の機能の提供を制限してもよい。この形態の認証システムによれば、機能提供部は、認証処理部によって使用者が正当な使用者であると判定されるまでの間、使用者に対する所定の機能の提供を制限する。このため、認証サーバーが提供する所定の機能が不正な使用者によって利用されることを抑制することができる。
上述した本発明の各形態の有する複数の構成要素は全てが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。
例えば、本発明の一形態は、撮影部と、軌跡取得部と、認証処理部と、の3つの要素のうちの一部または全部の要素を備えた装置として実現可能である。すなわち、この装置は、撮影部を有していてもよく、有していなくてもよい。また、この装置は、軌跡取得部を有していてもよく、有していなくてもよい。また、この装置は、認証処理部を有していてもよく、有していなくてもよい。こうした装置は、例えば頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。
なお、本発明は、種々の態様で実現することが可能であり、例えば、頭部装着型表示装置および頭部装着型表示装置の制御方法、認証システム、これらの方法、装置またはシステムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体等の形態で実現することができる。
本発明の一実施形態における頭部装着型表示装置の外観の構成を示す説明図である。 ヘッドマウントディスプレイHMの構成を機能的に示すブロック図である。 認証用ジェスチャーと軌跡データーについて説明するための説明図である。 画像光生成部によって画像光が射出される様子を示す説明図である。 使用者に認識される虚像の一例を示す説明図である。 認証処理の手順を示すシーケンス図である。 認証処理(図6)のステップS104で表示される入力案内表示画面の他の例を示す説明図である。 認証処理(図6)で用いられるジェスチャー開始操作とジェスチャー終了操作の他の例を示す説明図である。 第2実施形態における認証システムの概略構成を示す説明図である。 第2実施形態における認証処理の手順を示すシーケンス図である。
A.第1実施形態:
A−1.頭部装着型表示装置の構成:
図1は、本発明の一実施形態における頭部装着型表示装置の外観の構成を示す説明図である。頭部装着型表示装置HMは、頭部に装着する頭部装着型表示装置であり、ヘッドマウントディスプレイ(Head Mounted Display、HMD)とも呼ばれる。本実施形態のヘッドマウントディスプレイHMは、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。
ヘッドマウントディスプレイHMは、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部20と、画像表示部20を制御する制御部(コントローラー)10とを備えている。
画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部20は、右保持部21と、右表示駆動部22と、左保持部23と、左表示駆動部24と、右光学像表示部26と、左光学像表示部28と、カメラ61とを含んでいる。
右光学像表示部26および左光学像表示部28は、ヘッドマウントディスプレイHMの装着時における使用者の右および左の眼前に対応する位置に配置されている。右光学像表示部26の一端と、左光学像表示部28の一端は、それぞれ、ヘッドマウントディスプレイHMの装着時における使用者の眉間に対応する位置で接続されている。右光学像表示部26の他端である端部ERからは、右保持部21が延伸している。同様に、左光学像表示部28の他端である端部ELからは、左保持部23が延伸している。
右保持部21は、右光学像表示部26の端部ERから、ヘッドマウントディスプレイHMの装着時における使用者の側頭部に対応する位置にかけて、右光学像表示部26とほぼ直角をなすように延伸して設けられた部材である。同様に、左保持部23は、左光学像表示部28の端部ELから、ヘッドマウントディスプレイHMの装着時における使用者の側頭部に対応する位置にかけて、左光学像表示部28とほぼ直角をなすように延伸して設けられた部材である。右保持部21と、左保持部23は、眼鏡のテンプル(つる)のようにして、使用者の頭部にヘッドマウントディスプレイHMを保持する。
右表示駆動部22は、右保持部21の内側、換言すれば、ヘッドマウントディスプレイHMの装着時における使用者の頭部に対向する側であって、右光学像表示部26の端部ER側に配置されている。また、左表示駆動部24は、左保持部23の内側であって、左光学像表示部28の端部EL側に配置されている。なお、以降では、右保持部21および左保持部23を総称して単に「保持部」と、右表示駆動部22および左表示駆動部24を総称して単に「表示駆動部」と、右光学像表示部26および左光学像表示部28を総称して単に「光学像表示部」とも呼ぶ。
表示駆動部は、図示しないLCD(Liquid Crystal Display:液晶ディスプレイ)や、投写光学系等を含む。詳細は後述する。光学部材としての光学像表示部は、図示しない導光板と、調光板とを含んでいる。導光板は、光透過性の樹脂材料等によって形成され、表示駆動部から取り込んだ画像光を使用者の眼に向けて射出させる。調光板は、薄板状の光学素子であり、ヘッドマウントディスプレイHMの表側、換言すれば、使用者の眼の側とは反対の側を覆うように配置されている。調光板は、導光板を保護し、導光板の損傷や、汚れの付着等を抑制する。また、調光板は、光透過率を調整することによって使用者の眼に入る外光量を調整し、虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。
ディジタルビデオカメラ61は、ヘッドマウントディスプレイHMの装着時における使用者の眉間に対応する位置に配置されている。以降、ディジタルビデオカメラを単に「カメラ」と呼ぶ。カメラ61は、ヘッドマウントディスプレイHMの表側方向、換言すれば、ヘッドマウントディスプレイHMを装着した状態における使用者の視界方向の少なくとも一部の外景を撮像し、使用者の動作を含んだディジタル形式の動画を取得する。カメラ61は、特許請求の範囲における「撮影部」に相当する。なお、本実施形態におけるカメラ61は、1つのディジタルビデオカメラとして例示するが、複数のディジタルビデオカメラからなるステレオビデオカメラを採用してもよい。また、カメラ61は、ヘッドマウントディスプレイHMを装着した状態における使用者の視界方向の少なくとも一部の外景を間欠撮影して、複数の静止画を取得するカメラでもよい。
画像表示部20は、さらに、画像表示部20を制御部10に接続するための接続部40を有している。接続部40は、制御部10に接続される本体コード48と、本体コード48が2本に分岐した右コード42と、左コード44と、分岐点に設けられた連結部材46と、を含んでいる。右コード42は、右保持部21の延伸方向の先端部APから右保持部21の筐体内に挿入され、右表示駆動部22に接続されている。同様に、左コード44は、左保持部23の延伸方向の先端部APから左保持部23の筐体内に挿入され、左表示駆動部24に接続されている。
画像表示部20と制御部10とは、接続部40を介して各種信号の伝送を行う。本体コード48における連結部材46とは反対側の端部と、制御部10とのそれぞれには、互いに嵌合するコネクター(図示省略)が設けられており、本体コード48のコネクターと制御部10のコネクターとの嵌合/嵌合解除により、制御部10と画像表示部20とが接続されたり切り離されたりする。右コード42と、左コード44と、本体コード48には、例えば、金属ケーブルや、光ファイバーを採用することができる。
制御部10は、ヘッドマウントディスプレイHMを操作するための装置である。制御部10は、点灯部12と、タッチパッド14と、十字キー16と、電源スイッチ18とを含んでいる。
点灯部12は、ヘッドマウントディスプレイHMの動作状態を、その発光状態によって通知する。ヘッドマウントディスプレイHMの動作状態とは、例えば、電源のON/OFF等である。点灯部12としては、例えば、LED(Light Emitting Diode)を用いることができる。タッチパッド14は、タッチパッド14の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。十字キー16は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ18は、スイッチのスライド操作を検出することで、ヘッドマウントディスプレイHMの電源投入状態を切り替える。
図2は、ヘッドマウントディスプレイHMの構成を機能的に示すブロック図である。制御部10は、入力情報取得部110と、記憶部120と、電源130と、CPU140と、インターフェイス180と、送信部(Tx)51および52と、を備える。前述の各部はバス(図示省略)により相互に接続されている。
入力情報取得部110は、例えば、タッチパッド14や十字キー16や、電源スイッチ18等に対する操作入力等の使用者による操作入力に応じた信号を取得する。記憶部120は、ROMや、RAMや、DRAMや、ハードディスク等を含む記憶部である。記憶部120には、認証用軌跡データー122が含まれている。認証用軌跡データー122は、正しい認証用ジェスチャーの軌跡の情報であり、正規の使用者によって予め登録されている。認証用軌跡データー122は、認証処理において、使用者が正当な使用者であるか否かを認証するために用いられる。なお、認証用軌跡データー122は、特許請求の範囲における「認証用軌跡」に相当する。以降では、使用者が正当な使用者であるか否かを認証することを、単に「認証」とも呼ぶ。
図3は、認証用ジェスチャーと軌跡データーについて説明するための説明図である。「認証用ジェスチャー」とは、すなわち「使用者の動作」である。本実施形態の例では、使用者の動作を、使用者の体の一部の動きで特定するものとする。認証用ジェスチャーは、正当な使用者によって予め定められ、周知のパスワードの代替手段として用いられる。図3の例では、手の動き(動作)そのものが認証用ジェスチャーである。「軌跡」とは、本実施形態では、使用者の体の一部のうち、任意の場所を特定点とした場合における当該特定点の変化である。特定点は、例えば、指先や、手の関節や、手首等とすることができる。本実施形態では、「人差し指の指先」を特定点としている。「軌跡データー」とは、軌跡をデーター化したものである。
なお、使用者の動作は、使用者によって保持されている任意の物の動きで特定されてもよい。任意の物とは、例えば、ペン等の指示体や、指輪等の装飾品や、運転免許証等の紙片である。なお、ペン等の指示体である場合、軌跡取得の容易化の観点からペン先に赤外線発光体が付いているものが好ましい。このような場合、「軌跡」は、使用者が保持している物のうち、任意の場所を特定点とした場合における当該特定点の変化で表される。特定点は、例えば、ペンの先端部や、ペンの発光体や、指輪の宝石や、運転免許証の写真部分等とすることができる。
また、使用者の動作は、使用者によって仮想的に保持されている任意の物の動きで特定されてもよい。「仮想的に保持されている任意の物」とは、例えば、使用者の手の形がペンを握る形になった場合、その手に沿うように仮想的に想定されるペンを意味する。このような場合であっても、上記と同様に、仮想的に保持されている任意の物の任意の場所を特定点とし、当該特定点の変化で軌跡を表わすことができる。
特定点の変化である「軌跡」は、特定点の移動方向と移動量との変化によって特定することができる。移動方向と移動量とは、例えば、以下のようにして求めることができる。まず、所定の時間間隔で繰り返し特定点の位置を取得する。
・n回目に取得した位置と、n+1回目に取得した位置とを仮想的に結んだベクトル(矢印)の向きが、移動方向である。
・n回目に取得した位置と、n+1回目に取得した位置とを仮想的に結んだベクトル(矢印)の大きさが、移動量である。
・位置は、例えば、映像の最も左上部分の画素を(0,0)座標とした場合のX方向、Y方向の変化として定義することができる。
このようにすれば、軌跡取得部146は、使用者の体の一部の移動方向と移動量とを求めることができる。このため、軌跡取得部146は、これらの移動方向と移動量との変化によって、認証用ジェスチャー(動作)の軌跡を定量的に特定することができる。
図3の例では、認証用ジェスチャーの軌跡TRは、以下の(1)〜(4)の情報の集合で特定される。
(1)1回目に取得した位置SP1と2回目に取得した位置SP2とを結んだベクトルVE1の向きおよび大きさ
(2)2回目に取得した位置SP2と3回目に取得した位置SP3とを結んだベクトルVE2の向きおよび大きさ
(3)3回目〜n−1回目のベクトルVE3〜VEn−1の向きおよび大きさ
(4)n回目に取得した位置SPnとn+1回目に取得した位置SPn+1とを結んだベクトルVEnの向きおよび大きさ
図2に示す電源130は、ヘッドマウントディスプレイHMの各部に電力を供給する。電源130としては、例えば二次電池を用いることができる。
CPU140は、予めインストールされたプログラムを実行することで、オペレーティングシステム(ОS)150としての機能を提供する。また、CPU140は、ROMやハードディスクに格納されているファームウェアやコンピュータープログラムをRAMに展開して実行することにより、認証処理部142、案内部144、軌跡取得部146、画像処理部160、音声処理部170、表示制御部190としても機能する。
認証処理部142は、使用者が正当な使用者であるか否かを認証するための認証処理を実行する。詳細は後述する。案内部144は、認証処理において、使用者による認証用ジェスチャーの入力を補助するための案内表示を行う。詳細は後述する。軌跡取得部146は、認証処理において、カメラ61により撮影された動画から認証用ジェスチャーの軌跡を取得し、軌跡データーを生成する。軌跡を取得する方法は、図3で説明した通りである。
画像処理部160は、インターフェイス180を介して入力されるコンテンツ等に基づいて画像表示部20に供給するための信号を生成し、画像表示部20へ送信する。画像表示部20に供給するための信号は、アナログ形式とディジタル形式の場合で異なる。
例えば、アナログ形式の場合、画像処理部160は、クロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、画像データーDataとを生成し、送信する。具体的には、画像処理部160は、コンテンツに含まれる画像信号を取得する。取得した画像信号は、例えば動画像の場合、一般的に、1秒あたり30枚のフレーム画像から構成されているアナログ信号である。画像処理部160は、取得した画像信号から、垂直同期信号VSyncや水平同期信号HSync等の同期信号を分離する。また、画像処理部160は、分離した垂直同期信号VSyncや水平同期信号HSync等の周期に応じて、図示しないPLL回路等を利用してクロック信号PCLKを生成する。画像処理部160は、同期信号が分離されたアナログ画像信号を、図示しないA/D変換回路等を用いてディジタル画像信号に変換する。その後、画像処理部160は、変換後のディジタル画像信号を、RGBデーターの画像データーDataとして、1フレームごとに記憶部120内のDRAMに格納する。
例えば、ディジタル形式の場合、画像処理部160は、クロック信号PCLKと、画像データーDataとを生成し、送信する。具体的には、コンテンツがディジタル形式の場合、クロック信号PCLKが画像信号に同期して出力される。このため、垂直同期信号VSyncおよび水平同期信号HSyncおよびアナログ画像信号のA/D変換が不要となる。
なお、画像処理部160は、記憶部120に格納された画像データーDataに対して、解像度変換処理や、輝度・彩度の調整といった種々の色調補正処理や、キーストーン補正処理等の画像処理を実行してもよい。
画像処理部160は、上述のように生成されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、記憶部120内のDRAMに格納された画像データーDataとを、送信部51および52を介してそれぞれ送信する。なお、送信部51を介して送信される画像データーDataを「右眼用画像データーData1」とも呼び、送信部52を介して送信される画像データーDataを「左眼用画像データーData2」とも呼ぶ。送信部51、52は、制御部10と、画像表示部20との間におけるシリアル伝送のためのトランシーバーとして機能する。
表示制御部190は、右表示駆動部22および左表示駆動部24を制御する制御信号を生成する。具体的には、表示制御部190は、制御信号により、右LCD制御部211による右LCD241の駆動ON/OFFや、右バックライト制御部201による右バックライト221の駆動ON/OFF、左LCD制御部212による左LCD242の駆動ON/OFFや、左バックライト制御部202による左バックライト222の駆動ON/OFF、などを個別に制御することにより、右表示駆動部22および左表示駆動部24のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部190は、右表示駆動部22および左表示駆動部24の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。
表示制御部190は、右LCD制御部211と左LCD制御部212とに対する制御信号を、送信部51および52を介してそれぞれ送信する。また、表示制御部190は、右バックライト制御部201と左バックライト制御部202とに対する制御信号を、それぞれ送信する。
音声処理部170は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、画像表示部20の右イヤホン32内の図示しないスピーカーおよび左イヤホン34内の図示しないスピーカーに対し、接続部40を介して供給する。なお、例えば、Dolby(登録商標)システムを採用した場合、音声信号に対する処理がなされ、右イヤホン32および左イヤホン34からは、それぞれ、例えば周波数等が変えられた異なる音が出力される。
インターフェイス180は、制御部10に対して、コンテンツの供給元となる種々の外部機器OAを接続するためのインターフェイスである。外部機器ОAとしては、例えば、パーソナルコンピューターPCや携帯電話端末、ゲーム端末等がある。インターフェイス180としては、例えば、USBインターフェイスや、マイクロUSBインターフェイス、メモリーカード用インターフェイス、無線LANインターフェイス等を備えることができる。
画像表示部20は、右表示駆動部22と、左表示駆動部24と、右光学像表示部26としての右導光板261と、左光学像表示部28としての左導光板262と、カメラ61と、右イヤホン32と、左イヤホン34とを備えている。
右表示駆動部22は、受信部(Rx)53と、光源として機能する右バックライト(BL)制御部201および右バックライト(BL)221と、表示素子として機能する右LCD制御部211および右LCD241と、右投写光学系251を含んでいる。なお、右バックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241とを総称して「画像光生成部」とも呼ぶ。
受信部53は、制御部10と、画像表示部20との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部201は、入力された制御信号に基づいて、右バックライト221を駆動する機能を有する。右バックライト221は、例えば、LEDやエレクトロルミネセンス(EL)等の発光体である。右LCD制御部211は、受信部53を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用画像データーData1とに基づいて、右LCD241を駆動する機能を有する。右LCD241は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
図4は、画像光生成部によって画像光が射出される様子を示す説明図である。右LCD241はマトリクス状に配置された各画素位置に対応する液晶を駆動することによって、右LCD241を透過する光の透過率を変化させることにより、右バックライト221から照射される照明光ILを、画像を表す有効な画像光PLへと変調する機能を有する。なお、図4のように、本実施形態ではバックライト方式を採用することとしたが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。
図3の右投写光学系251は、右LCD241から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部26としての右導光板261は、右投写光学系251から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼REに導く。なお、右投写光学系251と右導光板261とを総称して「導光部」とも呼ぶ。なお、導光部は、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。
左表示駆動部24の各部は、右表示駆動部22で説明した各部と同様の構成および動作を有するため詳細な説明は省略する。
図5は、使用者に認識される虚像の一例を示す説明図である。上述のようにして、ヘッドマウントディスプレイHMの使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は虚像を視認することができる。図5に示すように、ヘッドマウントディスプレイHMの使用者の視野VR内には虚像VIが表示される。また、使用者の視野VRのうち、虚像VIが表示された部分については、使用者は、光学像表示部の虚像VIを介して、外景SCを見ることができる。さらに、使用者の視野VRのうち、虚像VIが表示された部分以外については、使用者は、光学像表示部を透過して、外景SCを直接見ることができる。なお、虚像VIが表示される領域を「虚像の表示領域」とも呼ぶ。
A−2.認証処理:
図6は、認証処理の手順を示すシーケンス図である。認証処理は、使用者が正当な使用者であるか否かを認証するための処理である。本実施形態における認証処理は、ヘッドマウントディスプレイHMが起動されたこと、換言すれば、電源のONを検出したことをトリガーとして開始される(ステップS100)。認証処理部142は、カメラ61を起動させる(ステップS102)。
認証処理部142は、案内部144に入力案内表示画面を表示させる(ステップS104)。入力案内表示画面W1は、使用者による認証用ジェスチャーの入力を補助するための画面である。図6の例では、入力案内表示画面W1には、案内メッセージMG1と、案内フレームFM1とが含まれている。案内メッセージMG1は、使用者に認証用ジェスチャーの再現を求める旨を表示する文字列である。案内フレームFM1は、虚像の表示領域と、カメラ61の撮影領域とが重複する重複領域を示す枠の画像である。案内部144は、カメラ61の撮影領域を種々の方法で知ることができる。例えば、ヘッドマウントディスプレイHMの初期設定において、カメラ61の撮影領域をキャリブレーションし、記憶部120に記憶させておいてもよい。また、カメラ61の実際の撮影領域よりも小さな「カメラ61において確実に撮影できる領域」を予め記憶部120に記憶させておいてもよい。
案内部144は、上記のような入力案内表示画面W1の画像データーを生成し、画像処理部160へ送信する。入力案内表示画面W1の画像データーを受信した画像処理部160では、図3で説明した処理が実行される。この結果、ヘッドマウントディスプレイHMの使用者の視野VRには図6の入力案内表示画面W1が虚像VIとして表示される。
使用者は、入力案内表示画面W1に従って、予め定められたジェスチャー開始操作を行う(ステップS106)。本実施形態では、カメラ61による特定点(人差し指の指先)の所定時間以上の静止の検出、換言すれば、使用者の動作の所定時間以上の静止の検出をジェスチャー開始操作としている。このため使用者は、入力案内表示画面W1の案内フレームFM1内に人差し指の指先が写るようにして手を眼前に持ち上げ、指先を静止させる。使用者によるジェスチャー開始操作を検出したカメラ61は、ジェスチャー映像の撮影を開始する(ステップS108)。なお、ステップS108において案内部144は、入力案内表示画面W1にジェスチャー映像の撮影を開始した旨を表示させてもよい。
使用者は、入力案内表示画面W1の案内フレームFM1内で認証用ジェスチャーを再現する(ステップS110)。このとき、使用者は、自らが予め決定して認証用軌跡データー122に登録している認証用ジェスチャーと同じジェスチャーを再現する。カメラ61は、ジェスチャー映像の撮影を継続している(ステップS112)。
使用者は、入力案内表示画面W1の案内フレームFM1内で、予め定められたジェスチャー終了操作を行う(ステップS114)。本実施形態では、カメラ61による特定点(人差し指の指先)の所定時間以上の静止をジェスチャー終了操作としている。このため使用者は、認証用ジェスチャーを再現後、入力案内表示画面W1の案内フレームFM1内で人差し指の指先を静止させる。使用者によるジェスチャー終了操作を検出したカメラ61は、ジェスチャー映像の撮影を終了する(ステップS116)。なお、ステップS116において案内部144は、入力案内表示画面W1にジェスチャー映像の撮影を終了した旨を表示させてもよい。
認証処理部142は、カメラ61により撮影されたジェスチャー映像の動画を取得し、使用者の認証を行う(ステップS118)。具体的には、認証処理部142は、ステップS118で取得したジェスチャー映像の動画に基づいて、軌跡取得部146に軌跡データーを生成させる。そして、認証処理部142は、(i)軌跡取得部146により生成された軌跡データーに含まれる認証用ジェスチャーの軌跡、すなわちステップS112で撮影された認証用ジェスチャーの軌跡と、(ii)認証用軌跡データー122に含まれる認証用ジェスチャーの軌跡とを比較し、両者の類似度を求める。なお、類似度は、コサイン類似度や、ピアソンの相関係数や、偏差パターン類似度等、種々の方法を用いて求めることができる。
認証処理部142は、(i)の軌跡と、(ii)の軌跡との類似度が第1の閾値以上である場合に、使用者の認証が成功したと判定する。使用者の認証が成功したと判定することは、換言すれば、現在ヘッドマウントディスプレイHMを操作している使用者が正当な使用者であると判定することである。一方、認証処理部142は、(i)の軌跡と、(ii)の軌跡との類似度が第1の閾値よりも小さい場合、使用者の認証が失敗したと判定する。なお、ステップS118の第1の閾値とは、ヘッドマウントディスプレイHMにおいて求められるセキュリティレベルに応じて任意に設定することができる。第1の閾値を高く設定すれば、ヘッドマウントディスプレイHMにおける使用者の認証を厳しくすることができる。一方、第1の閾値を低く設定すれば、ヘッドマウントディスプレイHMにおける使用者の認証を緩くすることができる。
ステップS118における認証が成功した場合、認証処理部142は、画像処理部160および表示制御部190に対して、オペレーティングシステムのホーム画面を表示させる(ステップS120)。これにより、使用者はヘッドマウントディスプレイHMの各種機能を使用することができる。なお、ステップS118において認証処理部142は、使用者の認証を行う前に、カメラ61の起動を終了させてもよい。
なお、ステップS118において認証処理部142は、さらに、(i)の軌跡と、過去に(i)の軌跡として認証に用いられた軌跡を等倍、横方向拡大、縦方向拡大、横方向縮小、縦方向縮小の少なくともいずれかの方法を用いて変換した軌跡とを比較して、両者の類似度が第2の閾値以上である場合には、使用者の認証が失敗したと判定してもよい。第2の閾値とは第1の閾値よりも大きい限りにおいて任意に定めることができる。しかし、第2の閾値は、(i)の軌跡が「過去に認証に用いられた軌跡」の複製であるか否かを判断するための閾値であるため、高く設定されることが好ましい。このようにすれば、過去に軌跡取得部146により取得されて認証に用いられた軌跡を複製し、正当な利用者になりすますという行為を抑制することができる。
以上のように、第1実施形態のヘッドマウントディスプレイHM(頭部装着型表示装置)によれば、認証処理部142は、使用者の動作の軌跡(換言すれば、認証用ジェスチャーの軌跡)を用いて使用者が正当な使用者であるか否かを認証する。このため、文字列や画像を用いた認証と比較して、認証の鍵とされる情報を複製しづらい。この結果、ヘッドマウントディスプレイHMにおいて、なりすましの危険性を低減し、セキュリティをより向上させた認証を実現可能である。
さらに、ステップS104では、案内部144は、虚像VIの表示領域とカメラ61(撮影部)の撮影領域とが重複する重複領域を、案内フレームFM1を用いて使用者に案内する。このため、使用者は、どこで認証用ジェスチャーを再現すればよいのかを知ることができる。この結果、使用者の利便性を向上させることができる。
さらに、ステップS108〜S116では、カメラ61(撮影部)は、予め定められたジェスチャー開始操作(開始トリガー)を検出後、予め定められたジェスチャー終了操作(終了トリガー)を検出するまでの間の動画を撮影する。このため、カメラ61は、認証の鍵として用いられる認証用ジェスチャーの軌跡だけを撮影することができる。
さらに、ステップS118では、認証処理部142は、軌跡取得部146により取得された軌跡((i)軌跡取得部146により生成された軌跡データーに含まれる認証用ジェスチャーの軌跡、すなわちステップS112で撮影された認証用ジェスチャーの軌跡)と、認証用軌跡((ii)認証用軌跡データー122に含まれる認証用ジェスチャーの軌跡)との類似度が第1の閾値以上である場合に、使用者が正当な使用者であると判定する。このため、使用者の体の動きのゆらぎを許容した認証を実現することができる。
A−3.認証処理のバリエーション:
以降では、図6に示した認証処理における、種々のバリエーションについて説明する。
A−3−1.バリエーション1:
図7は、認証処理(図6)のステップS104で表示される入力案内表示画面の他の例を示す説明図である。図7(A)は、入力案内表示画面の第1の他の例を示している。入力案内表示画面W2は、入力案内表示画面W1と同様に、使用者による認証用ジェスチャーの入力を補助するための画面である。図7(A)の例では、入力案内表示画面W2には、案内メッセージMG2と、開始地点シンボルSS2と、終了地点シンボルES2とが含まれている。案内メッセージMG2は、使用者に対して、開始地点から始めて終了地点で終わるように認証用ジェスチャーを再現する旨を求める文字列である。開始地点シンボルSS2は、円状の図形に、開始地点である旨の文字列表示を付した図形である。終了地点シンボルES2は、円状の図形に、終了地点である旨の文字列表示を付した図形である。
認証処理(図6)のステップS104では、図6で示した入力案内表示画面W1に代えて、図7(A)の入力案内表示画面W2を用いてもよい。この場合、ステップS106、S108で説明した「予め定められたジェスチャー開始操作」は、特定点(人差し指の指先)が開始地点シンボルSS2を通過したことをカメラ61が検出した場合となる。このため、ステップS106において使用者は、入力案内表示画面W2の開始地点シンボルSS2に人差し指の指先が重なるようにして手を眼前に持ち上げる。同様に、ステップS114、S116の「予め定められたジェスチャー終了操作」は、特定点(人差し指の指先)が終了地点シンボルES2を通過したことをカメラ61が検出した場合となる。このため、ステップS114において使用者は、入力案内表示画面W2の終了地点シンボルES2に人差し指の指先が重なるようにして認証用ジェスチャーを再現する。
このようにしても、入力案内表示画面W1を用いた認証処理と同様の効果を得ることができる。また、入力案内表示画面W2を用いた場合、案内部144は、使用者に対して認証用ジェスチャーの再現を開始する開始地点と、認証用ジェスチャーの再現を終了する終了地点とを視覚的に明確に案内することができる。従って、使用者に対するユーザビリティを向上させることができる。
A−3−2.バリエーション2:
図7(B)は、入力案内表示画面の第2の他の例を示している。入力案内表示画面W3は、入力案内表示画面W1と同様に、使用者による認証用ジェスチャーの入力を補助するための画面である。図7(B)の例では、入力案内表示画面W3には、案内メッセージMG3と、案内フレームFM3とが含まれている。案内メッセージMG3は、使用者に認証用ジェスチャーの再現を求める旨を表示する文字列である。案内フレームFM3は、虚像の表示領域と、カメラ61の撮影領域とが重複する重複領域を示す枠の画像である。案内フレームFM1との違いは、フレーム内がマス目に区切られている点のみである。
認証処理(図6)のステップS104では、図6で示した入力案内表示画面W1に代えて、図7(B)の入力案内表示画面W3を用いてもよい。この場合、ステップS106およびステップS114は、図6で説明した手順と同様である。
このようにしても、入力案内表示画面W1を用いた認証処理と同様の効果を得ることができる。また、入力案内表示画面W3を用いた場合、案内部144は、マス目に区切られた案内フレームFM3を使用者に対して提示する。案内フレームFM3は、使用者による空間内の距離把握を補助し、認証用ジェスチャーの再現を容易化することができる。すなわち、使用者に対するユーザビリティを向上させることができる。
A−3−3.バリエーション3:
図8は、認証処理(図6)で用いられるジェスチャー開始操作とジェスチャー終了操作の他の例を示す説明図である。図8(A)は、使用者の手の第1の形状である。図8(B)は、使用者の手の第2の形状である。
認証処理(図6)では、上述したジェスチャー開始・終了操作に代えて、図8で示すような、使用者の体の一部の所定形状の検出をジェスチャー開始・終了操作にしてもよい。具体的には、認証処理(図6)のステップS106、S108では、カメラ61が、使用者の手が第1の形状であることを検出した場合に、ジェスチャー開始操作がなされたとしてもよい。また、認証処理(図6)のステップS114、S116では、カメラ61が、使用者の手が第2の形状であるであることを検出した場合に、ジェスチャー終了操作がなされたとしてもよい。
このようにしても、図6で説明したジェスチャー開始・終了操作を用いた場合と同様の効果を得ることができる。また、図8で説明したジェスチャー開始・終了操作を用いた場合、使用者は、認証用ジェスチャーの再現開始と、認証用ジェスチャーの再現終了とを、明確に表現することができる。従って、使用者に対するユーザビリティを向上させることができる。
B.第2実施形態:
本発明の第2実施形態では、認証処理を別途設けられたサーバー側で実施する構成について説明する。以下では、第1実施形態と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第1実施形態と同様の構成部分については先に説明した第1実施形態と同様の符号を付し、その詳細な説明を省略する。
B−1.認証システムの構成:
図9は、第2実施形態における認証システムの概略構成を示す説明図である。第2実施形態の認証システム1000は、ヘッドマウントディスプレイHMaと、サーバーSVとを備えている。ヘッドマウントディスプレイHMaは、通信キャリアBSを介して無線通信でインターネットINTに接続されている。サーバーSVは、有線通信でインターネットINTに接続されている。この結果、サーバーSVとヘッドマウントディスプレイHMaとは、互いにインターネットINTによって接続されている。通信キャリアBSは、送受信アンテナや、無線基地局、交換局を含む。なお、サーバーSVは、特許請求の範囲における「認証サーバー」に相当する。
第2実施形態のヘッドマウントディスプレイHMaの構成は、図1および図2で説明した第1実施形態とほぼ同様である。ただし、第2実施形態のヘッドマウントディスプレイHMaは、認証用軌跡データー122および軌跡取得部146を備えない点と、認証処理部142に代えて認証制御部148を備える点と、インターフェイス180として無線LANインターフェイスを備える点とが、第1実施形態と異なる。認証制御部148は、第2実施形態における認証処理を制御する。詳細は後述する。なお、ヘッドマウントディスプレイHMaのインターフェイス180は、特許請求の範囲における「送信部」に相当する。
第2実施形態のサーバーSVは、ROM310と、RAM320と、通信インターフェイス330と、CPU340と、記憶部350とを備える。前述の各部はバスにより相互に接続されている。通信インターフェイス330は、インターネットINTを介してヘッドマウントディスプレイHMa等の他のデバイスと通信を行う。CPU340は、ROM310や記憶部350に格納されているコンピュータープログラムをRAM320に展開して実行することにより、認証処理部342、軌跡取得部346、共有制御部348としても機能する。
認証処理部342は、ヘッドマウントディスプレイHMaの認証制御部148と協働して、使用者が正当な使用者であるか否かを認証するための認証処理を実行する。詳細は後述する。軌跡取得部346は、認証処理において、ヘッドマウントディスプレイHMaから受信した動画から認証用ジェスチャーの軌跡を取得し、軌跡データーを生成する。軌跡を取得する方法は、図3で説明した通りである。共有制御部348は、サーバーSVに接続されている装置の使用者に対して、いわゆるオンラインストレージ機能を提供する。詳細は後述する。なお、サーバーSVの通信インターフェイス330は特許請求の範囲における「送信部」に、共有制御部348は特許請求の範囲における「機能提供部」に、それぞれ相当する。
記憶部350は、例えば、ハードディスクで構成されている。記憶部350には、認証用軌跡データー352と、ユーザーデーター354とが含まれている。認証用軌跡データー352は、正しい認証用ジェスチャーの軌跡の情報であり、詳細は認証用軌跡データー122と同じである。ユーザーデーター354は、オンラインストレージ機能によって保存されているデーターである。ユーザーデーター354には、写真等の静止画コンテンツや、映画等の動画コンテンツ等、種々のコンテンツが含まれている。
B−2.認証処理:
図10は、第2実施形態における認証処理の手順を示すシーケンス図である。本実施形態における認証処理は、ヘッドマウントディスプレイHMaからサーバーSVに対して、オンラインストレージ機能の使用要求が送信されたことをトリガーとして開始される。
ヘッドマウントディスプレイHMaの使用者は、制御部10に対して、オンラインストレージ機能の使用要求操作を行う(ステップS200)。オンラインストレージ機能の使用要求とは、例えば、以下のようなものがある。
・サーバーSVの記憶部350内のファイルやフォルダーを読み取るための「読み取り要求」
・サーバーSVの記憶部350内へファイルやフォルダーを書き込むための「書き込み要求」
・サーバーSVの記憶部350内のファイルやフォルダーを変更するための「変更要求」
使用要求操作を検出したOS150は、検出した操作に応じた使用要求を、インターフェイス180を介してサーバーSVへ送信する(ステップS202)。
使用要求を受信したサーバーSVの認証処理部342は、通信インターフェイス330を介して、ヘッドマウントディスプレイHMaに認証情報を要求する(ステップS204)。なお、本実施形態では、認証情報としてジェスチャー映像の動画を用いる。
認証情報の要求を受信したヘッドマウントディスプレイHMaの認証制御部148は、カメラ61を起動させる(ステップS206)。認証制御部148は、案内部144に入力案内表示画面を表示させる(ステップS208)。この点、制御主体が認証制御部148となることを除いて、詳細は図6のステップS104と同様である。
使用者は、入力案内表示画面W1(図6)に従って、予め定められたジェスチャー開始操作を行う(ステップS106)。使用者によるジェスチャー開始操作を検出したカメラ61は、ジェスチャー映像の撮影を開始する(ステップS108)。使用者は、入力案内表示画面W1の案内フレームFM1内で認証用ジェスチャーを再現する(ステップS110)。このとき、カメラ61は、ジェスチャー映像の撮影を継続している(ステップS112)。使用者は、入力案内表示画面W1の案内フレームFM1内で、予め定められたジェスチャー終了操作を行う(ステップS114)。使用者によるジェスチャー終了操作を検出したカメラ61は、ジェスチャー映像の撮影を終了する(ステップS116)。
認証制御部148は、カメラ61により撮影されたジェスチャー映像の動画を取得する。認証制御部148は、この動画を認証情報として、インターフェイス180を経由させてサーバーSVへ送信する。(ステップS210)。
ジェスチャー映像の動画を受信したサーバーSVの認証処理部342は、受信した動画を用いて、ヘッドマウントディスプレイHMaの使用者の認証を行う(ステップS212)。詳細は、図6のステップS118と同様である。ただし、ステップS212では、認証処理部142を認証処理部342と読み替え、軌跡取得部146を軌跡取得部346と読み替える。認証処理が終了した後、認証処理部342は、認証処理の結果を、通信インターフェイス330を介してヘッドマウントディスプレイHMaへ送信する(ステップS214)。
また、認証が成功した場合、共有制御部348は、ステップS202で受信した使用要求に応じた応答を、通信インターフェイス330を介してヘッドマウントディスプレイHMaへ送信する(ステップS216)。例えば、ステップS202で受信した使用要求が特定ファイルの読み取り要求であった場合、共有制御部348は、読み取り対象である特定ファイルをヘッドマウントディスプレイHMaへ送信する。また、ステップS202で受信した使用要求が特定ファイルの書き込み要求であった場合、共有制御部348は、ファイルのアップロード案内画面をヘッドマウントディスプレイHMaに表示させるための情報をヘッドマウントディスプレイHMaへ送信する。また、ステップS202で受信した使用要求が特定ファイルの変更要求であった場合、共有制御部348は、変更対象である特定ファイルをヘッドマウントディスプレイHMaへ送信する。
以上のように、第2実施形態の認証システム1000によれば、共有制御部348(機能提供部)は、認証処理部342によってヘッドマウントディスプレイHMa(頭部装着型表示装置)使用者が正当な使用者であると判定されるまでの間は、使用者に対するオンラインストレージ機能(所定の機能)の提供を制限する。このため、認証サーバーが提供するオンラインストレージ機能(所定の機能)が不正な使用者によって利用されることを抑制することができる。
B−3.認証処理のバリエーション:
第2実施形態の認証処理(図10)においても、「A−3.認証処理のバリエーション」の説明と同様のバリエーションを採用することができる。詳細な説明は省略する。
C.変形例:
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。
・変形例1:
上記実施形態では、ヘッドマウントディスプレイの構成について例示した。しかし、ヘッドマウントディスプレイの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。
上記実施形態では、説明の便宜上、制御部が送信部を備え、画像表示部が受信部を備えるものとした。しかし、上記実施形態の送信部および受信部は、いずれも、双方向通信が可能な機能を備えており、送受信部として機能することができる。
例えば、接続部を省略し、制御部と画像表示部とが無線通信可能な構成としてもよい。具体的には、制御部にさらに第1の無線通信部を備えると共に、画像表示部にさらに第2の無線通信部と電源とを備える構成とする。この場合、第1の無線通信部が上記実施形態における送信部として機能し、第2の無線通信部が上記実施形態における受信部として機能する。
例えば、図2に示した制御部、画像表示部の構成は任意に変更することができる。具体的には、例えば、制御部からタッチパッドを省略し、十字キーのみで操作する構成としてもよい。また、制御部に操作用スティック等の他の操作用インターフェイスを備えても良い。また、制御部にはキーボードやマウス等のデバイスを接続可能な構成として、キーボードやマウスから入力を受け付けるものとしてもよい。また、制御部にWi−Fi(wireless fidelity)等を用いた通信部を設けてもよい。
例えば、図2に示した制御部は、有線の信号伝送路を介して画像表示部と接続されているものとした。しかし、制御部と、画像表示部とは、無線LANや赤外線通信やBluetooth(登録商標)等の無線の信号伝送路を介した接続により接続されていてもよい。
例えば、ヘッドマウントディスプレイは、両眼タイプの透過型ヘッドマウントディスプレイであるものとしたが、単眼タイプのヘッドマウントディスプレイとしてもよい。また、例えば、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとしてもよい。また、使用者がヘッドマウントディスプレイを装着した状態において外景の透過が遮断される非透過型ヘッドマウントディスプレイとして構成してもよい。
例えば、画像処理部、表示制御部、認証処理部、案内部、軌跡取得部、認証制御部、音声処理部等の機能部は、CPUがROMやハードディスクに格納されているコンピュータープログラムをRAMに展開して実行することにより実現されるものとして記載した。しかし、これら機能部は、当該機能を実現するために設計されたASIC(Application Specific Integrated Circuit:特定用途向け集積回路)を用いて構成されてもよい。
例えば、上記実施形態では、画像表示部を眼鏡のように装着するヘッドマウントディスプレイであるとしているが、画像表示部が通常の平面型ディスプレイ装置(液晶ディスプレイ装置、プラズマディスプレイ装置、有機ELディスプレイ装置等)であるとしてもよい。この場合にも、制御部と画像表示部との間の接続は、有線の信号伝送路を介した接続であってもよいし、無線の信号伝送路を介した接続であってもよい。このようにすれば、制御部を、通常の平面型ディスプレイ装置のリモコンとして利用することもできる。
また、画像表示部として、眼鏡のように装着する画像表示部に代えて、例えば帽子のように装着する画像表示部といった他の形状の画像表示部を採用してもよい。また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略しても良い。また、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。
例えば、上記実施形態では、電源として二次電池を用いることしたが、電源としては二次電池に限らず、種々の電池を使用することができる。例えば、一次電池や、燃料電池、太陽電池、熱電池等を使用してもよい。
例えば、上記実施形態では、画像光生成部は、バックライトと、バックライト制御部と、LCDと、LCD制御部とを用いて構成されるものとした。しかし、上記の態様はあくまで例示である。画像光生成部は、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えていても良い。
例えば、画像光生成部は、有機EL(有機エレクトロルミネッセンス、Organic Electro-Luminescence)のディスプレイと、有機EL制御部とを備える構成としても良い。また、例えば、画像生成部は、LCDに代えてデジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型の頭部装着型表示装置に対して本発明を適用することも可能である。
例えば、ヘッドマウントディスプレイは、カメラに代えて測距センサーを備えることとし、測距センサーを用いて認証用ジェスチャーの軌跡を取得することとしてもよい。
・変形例2:
上記実施形態では、認証処理の一例を示した。しかし、図6、図10に示した処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。
例えば、ステップS104において、案内部が表示させるとしたメッセージ等は、音声処理部から音声により出力されてもよい。この場合、案内部によるメッセージの表示を省略してもよい。
例えば、ステップS104において案内部は、特定点が入力案内表示画面の案内フレームからはみ出た場合に、文字や音声でその旨を案内してもよい。
例えば、ステップS106〜S116では、カメラは、開始トリガーと終了トリガーの間の動画を撮影することとした。しかし、カメラは、カメラが起動された後の動画を継続的に撮影する構成としてもよい。この場合、軌跡取得部が、動画中から開始トリガーと、終了トリガーとを検出する。そして、軌跡取得部が、開始トリガーと終了トリガーの間の使用者の動作を「認証用ジェスチャー」として取り扱えばよい。このような構成にしても、上記実施形態と同様の効果を得ることができる。
例えば、ステップS118において認証処理部は、(i)ステップS112で撮影された認証用ジェスチャーの軌跡と、(ii)認証用軌跡データー122に含まれる認証用ジェスチャーの軌跡と、の類似度が第1の閾値以上である場合に認証が成功したと判定した。しかし、認証処理部は、上記に加えて、さらに、認証が成功したと判定するための追加の条件を判定してもよい。
追加の条件は、例えば、以下のように設定することができる。
・認証処理部は、マイク等から音声入力された合言葉が、予め登録されている言葉と一致するか否かを判定する。
・利用者によって予め指定されたセキュリティ用アイテムを装着または保持した状態で認証用ジェスチャーを再現させる。認証処理部は、ジェスチャー映像の動画に含まれるセキュリティ用アイテムの画像と、予め指定されたセキュリティ用アイテムの画像を比較し、一致するか否かを判定する。セキュリティ用アイテムは、例えば、指輪や、時計や、ブレスレットや、付け爪等を指定することができる。
このようにすれば、複数種類の認証方法を組み合わせて使用者の認証を行うことができるため、ヘッドマウントディスプレイにおけるセキュリティをより強固にすることができる。
・変形例3:
上記実施形態の認証処理(図6、図10)では、動画の撮影を開始する開始トリガーとしてのジェスチャー開始操作と、動画の撮影を終了する終了トリガーとしてのジェスチャー終了操作とのいくつかの組み合わせ例を挙げた。しかし、上記組み合わせはあくまで一例であり、種々の組み合わせが可能である。
例えば、ジェスチャー開始操作を、特定点(人差し指の指先)が所定時間以上静止したことをカメラが検出した場合とし、ジェスチャー終了操作を、特定点(人差し指の指先)が終了地点シンボルを通過したことをカメラが検出した場合とすることができる。また、例えば、ジェスチャー開始操作を、カメラが使用者の手が第1の形状であることを検出した場合とし、ジェスチャー終了操作を、特定点(人差し指の指先)が所定時間以上静止したことをカメラが検出した場合とすることができる。
・変形例4:
上記実施形態の認証処理(図8)では、ジェスチャー開始操作とジェスチャー終了操作の他の例として、使用者の手の形状の一例を示した。しかし、図8に図示した例はあくまで一例であり、種々の変更をすることができる。
例えば、使用者の手の形状は、指を折りたたんで親指だけを立てた形状や、人差し指と中指とを立てて他の指を折りたたんだ形状(ピース)、親指と人差し指と小指を立てて他の指を折りたたんだ形状等、種々の形状とすることができる。
例えば、使用者の手の第1の形状と、使用者の手の第2の形状とは、使用者によって予め指定され、記憶部に格納されていてもよい。こうすれば、使用者は、ジェスチャー開始操作とジェスチャー終了操作を区別するための手の形状を、自分の覚えやすい形状に設定することができる。
・変形例5:
上記第2実施形態では、認証システムの構成について例示した。しかし、認証システムの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、ヘッドマウントディスプレイやサーバー等の装置の追加・削除・変換等を行うことができる。また、ヘッドマウントディスプレイやサーバー等の内部の構成要素の追加・削除・変換等を行うことができる。
例えば、サーバーは、オンラインストレージ機能を提供する共有制御部を備えるものとした。そして、オンラインストレージ機能の使用を許可するために、認証処理において、ヘッドマウントディスプレイの使用者の正当性を確認することとした。しかし、サーバーは、オンラインストレージ機能に代えて、種々の他の機能を提供可能に構成することができる。種々の他の機能とは、例えば、コンテンツダウンロード機能や、ウィルス検出サーバー機能等がある。例えば、オンラインストレージ機能に代えてウィルス検出サーバー機能を実現する構成とした場合、サーバーは、認証処理においてヘッドマウントディスプレイの使用者の正当性を確認した後、ヘッドマウントディスプレイのウィルススキャンを実行することができる。
例えば、サーバーは、オンラインストレージ機能や、種々の他の機能を備えずに、ヘッドマウントディスプレイの使用者の正当性を確認する認証処理のみを実行する構成としてもよい。この場合、例えば、第1実施形態(図6)の認証処理のステップS116終了後、ヘッドマウントディスプレイの送信部がサーバーSVに動画を送信する。サーバーの軌跡取得部と認証処理部とは、受信した動画に基づいてステップS118を実行する。ステップS118実行後、サーバーの送信部は、認証処理の結果をヘッドマウントディスプレイへ送信する。このようにすれば、頭部装着型表示装置(ヘッドマウントディスプレイ)は、使用者の視界方向の少なくとも一部の動画を撮影する機能と、送信機能とのみを備えればよく、サーバーの軌跡取得部が受信した動画から使用者の動作の軌跡を取得し、サーバーの認証処理部が当該軌跡を用いて使用者を認証する。このため、簡易な構成のヘッドマウントディスプレイであっても、なりすましの危険性を低減し、セキュリティをより向上させた認証を実現可能である。
・変形例6:
上記実施形態の認証処理(図6、図10)では、正しい認証用ジェスチャーの軌跡(認証用軌跡データー)を予め登録しておく構成について説明した。しかし、予め登録された正しい認証用ジェスチャーの軌跡に代えて、使用者の筆跡による認証を行ってもよい。この場合、認証用軌跡データーに代えて、筆跡特定情報を記憶部に予め格納しておく。筆跡特定情報とは、使用者の筆跡を特定するために用いられる情報であり、例えば、代表的な文字についての使用者の筆順や、字画構成や、字画形態等が含まれる。
例えば図6の認証処理の場合、ステップS104において案内部は、入力案内表示画面W1の案内メッセージMG1として「○○○という文字を書いてください」等の表示をさせる。なお、○○○には、例えば「りんご」や「田中」のように、任意の文字が入る。そして、ステップS118において認証処理部は、取得したジェスチャー映像の動画に基づいて、軌跡取得部に軌跡データーを生成させる。そして、認証処理部は、生成された軌跡データーから導かれる筆跡と、筆跡特定情報とを比較し、両者の類似度を求める。このようにしても、上記第1、第2実施形態と同様の効果を得ることができる。また、筆跡による認証を行うこととすれば、鍵となる特定のジェスチャーが存在しないため、使用者による認証用ジェスチャー忘れが生じることがない。このため、利便性を向上させることができる。
・変形例7:
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
10…制御部(コントローラー)
12…点灯部
14…タッチパッド
16…十字キー
18…電源スイッチ
20…画像表示部
21…耳掛部
22…右表示駆動部
24…左表示駆動部
26…右光学像表示部
28…左光学像表示部
32…右イヤホン
34…左イヤホン
40…接続部
42…右コード
44…左コード
46…連結部材
48…本体コード
51…送信部
52…送信部
53…受信部
54…受信部
61…ディジタルビデオカメラ(撮影部)
110…入力情報取得部
120…記憶部
122…認証用軌跡データー(認証用軌跡)
130…電源
140…CPU
142…認証処理部(認証処理部)
144…案内部(案内部)
146…軌跡取得部(軌跡取得部)
148…認証制御部(認証制御部)
160…画像処理部
170…音声処理部
180…インターフェイス(送信部)
190…表示制御部
201…右バックライト制御部(画像光生成部)
202…左バックライト制御部(画像光生成部)
211…右LCD制御部(表示素子、画像光生成部)
212…左LCD制御部(表示素子、画像光生成部)
221…右バックライト(画像光生成部)
222…左バックライト(画像光生成部)
241…右LCD(表示素子、画像光生成部)
242…左LCD(表示素子、画像光生成部)
251…右投写光学系(導光部)
252…左投写光学系(導光部)
261…右導光板(導光部)
262…左導光板(導光部)
310…ROM
320…RAM
330…通信インターフェイス
340…CPU
342…認証処理部(認証処理部)
346…軌跡取得部(軌跡取得部)
348…共有制御部(機能提供部)
350…記憶部
352…認証用軌跡データー(認証用軌跡)
354…ユーザーデーター
1000…認証システム
PCLK…クロック信号
VSync…垂直同期信号
HSync…水平同期信号
Data…画像データー
Data1…右眼用画像データー
Data2…左眼用画像データー
OA…外部機器
SC…外景
VI…虚像
IL…照明光
PL…画像光
VR…視野
EL、ER…端部
W1、W2、W3…入力案内表示画面
MG1、MG2、MG3…案内メッセージ
FM1、FM3…案内フレーム
SP1、SP2、SP3…位置
ES2…終了地点シンボル
SS2…開始地点シンボル
TR…軌跡
VE1、VE2、VE3…ベクトル
HM、HMa…頭部装着型表示装置(ヘッドマウントディスプレイ)
SV…サーバー(認証サーバー)
PC…パーソナルコンピューター
BS…通信キャリア

Claims (14)

  1. 使用者が虚像と外景を同時に視認可能な頭部装着型表示装置であって、
    前記頭部装着型表示装置を装着した状態における前記使用者の視界方向の少なくとも一部を撮影し、前記使用者の動作を取得する撮影部と、
    前記虚像の表示領域と前記撮影部の撮影領域とが重複する重複領域を前記使用者に案内する案内部と、
    前記撮影部により撮影された前記動作から、前記使用者の動作の軌跡を取得する軌跡取得部と、
    前記軌跡取得部により取得された前記軌跡を用いて、前記使用者が正当な使用者であるか否かを認証する認証処理部と、
    を備え
    前記撮影部は、
    予め定められた開始トリガーを検出後、予め定められた終了トリガーを検出するまでの間の前記動作を撮影し、
    前記案内部は、
    前記撮影部の撮影領域に含まれ前記撮影領域よりも小さな領域を、前記重複領域として設定する、頭部装着型表示装置。
  2. 請求項記載の頭部装着型表示装置であって、
    前記開始トリガーまたは前記終了トリガーの少なくとも一方は、前記使用者の動作の所定時間以上の静止の検出である、頭部装着型表示装置。
  3. 請求項記載の頭部装着型表示装置であって、
    前記開始トリガーまたは前記終了トリガーの少なくとも一方は、前記使用者の動作の所定位置の通過の検出である、頭部装着型表示装置。
  4. 請求項記載の頭部装着型表示装置であって、
    前記開始トリガーまたは前記終了トリガーの少なくとも一方は、前記使用者の体の一部の所定形状の検出である、頭部装着型表示装置。
  5. 使用者が虚像と外景を同時に視認可能な頭部装着型表示装置であって、
    前記頭部装着型表示装置を装着した状態における前記使用者の視界方向の少なくとも一部を撮影し、前記使用者の動作を取得する撮影部と、
    前記撮影部により撮影された前記動作から、前記使用者の動作の軌跡を取得する軌跡取得部と、
    前記軌跡取得部により取得された前記軌跡を用いて、前記使用者が正当な使用者であるか否かを認証する認証処理部と、
    前記頭部装着型表示装置の正当な使用者によって予め登録された前記軌跡である認証用軌跡を記憶する記憶部と、
    を備え、
    前記認証処理部は、
    前記軌跡取得部により取得された前記軌跡と、前記認証用軌跡との類似度が第1の閾値以上である場合に、前記使用者が正当な使用者であると判定し、
    前記軌跡取得部により取得された前記軌跡と、過去に前記軌跡取得部により取得された前記軌跡を等倍、横方向拡大、縦方向拡大、横方向縮小、縦方向縮小の少なくともいずれかの方法を用いて変換した軌跡との類似度が、前記第1の閾値よりも大きな第2の閾値以上である場合、前記使用者は正当な使用者でないと判定する、頭部装着型表示装置。
  6. 請求項5記載の頭部装着型表示装置であって、
    前記認証用軌跡は、前記使用者の筆跡を特定する筆跡特定情報である、頭部装着型表示装置。
  7. 請求項1からのいずれか一項記載の頭部装着型表示装置であって、
    前記軌跡取得部は、前記使用者の体の一部の移動方向と移動量との変化によって前記動作の軌跡を特定する、頭部装着型表示装置。
  8. 請求項1からのいずれか一項記載の頭部装着型表示装置であって、
    前記軌跡取得部は、前記使用者によって保持されている任意の物の移動方向と移動量との変化によって前記動作の軌跡を特定する、頭部装着型表示装置。
  9. 請求項記載の頭部装着型表示装置であって、
    前記軌跡取得部は、
    前記使用者の体の一部または前記任意の物のうちの任意の場所を特定点とし、所定の時間間隔で繰り返し前記特定点の位置を取得し、n回目に取得した前記特定点の位置と、n+1回目に取得した前記特定点の位置とを仮想的に結んだベクトルの向きを前記移動方向として求め、n回目に取得した前記特定点の位置と、n+1回目に取得した前記特定点の位置とを仮想的に結んだベクトルの大きさを前記移動量として求める、頭部装着型表示装置。
  10. 使用者が虚像と外景を同時に視認可能な頭部装着型表示装置の制御方法であって、
    (a)前記頭部装着型表示装置を装着した状態における前記使用者の視界方向の少なくとも一部を撮影し、前記使用者の動作を取得する工程と、
    (b)前記工程(a)により取得された前記動作から、前記使用者の動作の軌跡を取得する工程と、
    (c)前記工程(b)により取得された前記軌跡を用いて、前記使用者が正当な使用者であるか否かを認証する工程と、
    を備え
    前記制御方法は、さらに、
    (d)前記虚像の表示領域と前記工程(a)により撮影される撮影領域とが重複する重複領域を前記使用者に案内する工程
    を備え、
    前記工程(a)は、
    予め定められた開始トリガーを検出後、予め定められた終了トリガーを検出するまでの間の前記動作を撮影し、
    前記工程(d)は、
    前記工程(a)による撮影領域に含まれ前記撮影領域よりも小さな領域を、前記重複領域として設定する、頭部装着型表示装置の制御方法。
  11. 使用者が虚像と外景を同時に視認可能な頭部装着型表示装置の制御方法であって、
    (a)前記頭部装着型表示装置を装着した状態における前記使用者の視界方向の少なくとも一部を撮影し、前記使用者の動作を取得する工程と、
    (b)前記工程(a)により取得された前記動作から、前記使用者の動作の軌跡を取得する工程と、
    (c)前記工程(b)により取得された前記軌跡を用いて、前記使用者が正当な使用者であるか否かを認証する工程と、
    を備え、
    前記工程(c)は、
    前記工程(b)により取得された前記軌跡と、前記頭部装着型表示装置の正当な使用者によって予め登録された前記軌跡である認証用軌跡との類似度が第1の閾値以上である場合に、前記使用者が正当な使用者であると判定し、
    前記工程(b)により取得された前記軌跡と、過去に前記工程(b)により取得された前記軌跡を等倍、横方向拡大、縦方向拡大、横方向縮小、縦方向縮小の少なくともいずれかの方法を用いて変換した軌跡との類似度が、前記第1の閾値よりも大きな第2の閾値以上である場合、前記使用者は正当な使用者でないと判定する、頭部装着型表示装置の制御方法。
  12. 認証システムであって、
    使用者が虚像と外景を同時に視認可能な頭部装着型表示装置と、
    前記使用者の認証を行う認証サーバーと、
    を備え、
    前記頭部装着型表示装置は、
    前記頭部装着型表示装置を装着した状態における前記使用者の視界方向の少なくとも一部を撮影し、前記使用者の動作を取得する撮影部と、
    前記虚像の表示領域と前記撮影部の撮影領域とが重複する重複領域を前記使用者に案内する案内部と、
    前記撮影部により取得された前記動作を前記認証サーバーへ送信する送信部と、
    を備え、
    前記認証サーバーは、
    前記頭部装着型表示装置から受信した前記動作から、前記使用者の動作の軌跡を取得する軌跡取得部と、
    前記軌跡取得部により取得された前記軌跡を用いて、前記使用者が正当な使用者であるか否かを認証する認証処理部と、
    前記認証処理部による前記認証の結果を、前記頭部装着型表示装置へ送信する送信部と、
    を備え
    前記撮影部は、
    予め定められた開始トリガーを検出後、予め定められた終了トリガーを検出するまでの間の前記動作を撮影し、
    前記案内部は、
    前記撮影部の撮影領域に含まれ前記撮影領域よりも小さな領域を、前記重複領域として設定する、認証システム。
  13. 認証システムであって、
    使用者が虚像と外景を同時に視認可能な頭部装着型表示装置と、
    前記使用者の認証を行う認証サーバーと、
    を備え、
    前記頭部装着型表示装置は、
    前記頭部装着型表示装置を装着した状態における前記使用者の視界方向の少なくとも一部を撮影し、前記使用者の動作を取得する撮影部と、
    前記撮影部により取得された前記動作を前記認証サーバーへ送信する送信部と、
    を備え、
    前記認証サーバーは、
    前記頭部装着型表示装置から受信した前記動作から、前記使用者の動作の軌跡を取得する軌跡取得部と、
    前記頭部装着型表示装置の正当な使用者によって予め登録された前記軌跡である認証用軌跡を記憶する記憶部と、
    前記軌跡取得部により取得された前記軌跡を用いて、前記使用者が正当な使用者であるか否かを認証する認証処理部と、
    前記認証処理部による前記認証の結果を、前記頭部装着型表示装置へ送信する送信部と、
    を備え、
    前記認証処理部は、
    前記軌跡取得部により取得された前記軌跡と、前記認証用軌跡との類似度が第1の閾値以上である場合に、前記使用者が正当な使用者であると判定し、
    前記軌跡取得部により取得された前記軌跡と、過去に前記軌跡取得部により取得された前記軌跡を等倍、横方向拡大、縦方向拡大、横方向縮小、縦方向縮小の少なくともいずれかの方法を用いて変換した軌跡との類似度が、前記第1の閾値よりも大きな第2の閾値以上である場合、前記使用者は正当な使用者でないと判定する、認証システム。
  14. 請求項12または13記載の認証システムであって、
    前記認証サーバーは、さらに、
    所定の機能を提供する機能提供部を備え、
    前記機能提供部は、前記認証処理部によって前記使用者が正当な使用者であると判定されるまでの間、前記使用者に対する前記所定の機能の提供を制限する、認証システム。
JP2012198349A 2012-09-10 2012-09-10 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、認証システム Active JP6064464B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012198349A JP6064464B2 (ja) 2012-09-10 2012-09-10 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、認証システム
US13/975,799 US9317126B2 (en) 2012-09-10 2013-08-26 Head-mounted display device, control method for the head-mounted display device, and authentication system
US15/075,822 US10191555B2 (en) 2012-09-10 2016-03-21 Head-mounted display device, control method for the head-mounted display device, and authentication system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012198349A JP6064464B2 (ja) 2012-09-10 2012-09-10 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、認証システム

Publications (2)

Publication Number Publication Date
JP2014052942A JP2014052942A (ja) 2014-03-20
JP6064464B2 true JP6064464B2 (ja) 2017-01-25

Family

ID=50232760

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012198349A Active JP6064464B2 (ja) 2012-09-10 2012-09-10 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、認証システム

Country Status (2)

Country Link
US (2) US9317126B2 (ja)
JP (1) JP6064464B2 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6064464B2 (ja) * 2012-09-10 2017-01-25 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、認証システム
US8752151B2 (en) * 2012-10-09 2014-06-10 At&T Intellectual Property I, L.P. Methods, systems, and products for authentication of users
US9715282B2 (en) * 2013-03-29 2017-07-25 Microsoft Technology Licensing, Llc Closing, starting, and restarting applications
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9251333B2 (en) * 2013-08-29 2016-02-02 Paypal, Inc. Wearable user device authentication system
US10460096B2 (en) * 2013-10-30 2019-10-29 Ohio University Motion-based identity authentication of an individual
CN106031135B (zh) * 2014-02-21 2020-01-10 索尼公司 可穿戴设备和通信控制方法
US9826400B2 (en) * 2014-04-04 2017-11-21 Qualcomm Incorporated Method and apparatus that facilitates a wearable identity manager
CN105320248B (zh) * 2014-06-03 2018-12-07 深圳Tcl新技术有限公司 空中手势输入方法及装置
US10725533B2 (en) 2014-09-26 2020-07-28 Intel Corporation Systems, apparatuses, and methods for gesture recognition and interaction
US9892249B2 (en) 2014-09-29 2018-02-13 Xiaomi Inc. Methods and devices for authorizing operation
CN104283876A (zh) * 2014-09-29 2015-01-14 小米科技有限责任公司 操作授权方法及装置
US9811650B2 (en) * 2014-12-31 2017-11-07 Hand Held Products, Inc. User authentication system and method
JP6494455B2 (ja) * 2015-07-13 2019-04-03 キヤノン株式会社 映像処理装置、映像処理方法、及びプログラム
WO2017099318A1 (ko) * 2015-12-10 2017-06-15 삼성전자 주식회사 헤드 마운티드 디스플레이 장치의 사용자를 인증하는 방법 및 헤드 마운티드 디스플레이 장치
US10515419B1 (en) * 2016-02-17 2019-12-24 United Services Automobile Association Systems and methods for leveraging remotely captured images
JP6964132B2 (ja) * 2016-09-28 2021-11-10 マジック リープ, インコーポレイテッドMagic Leap, Inc. ウェアラブルデバイスによる顔モデル捕捉
CN106997239A (zh) 2016-10-13 2017-08-01 阿里巴巴集团控股有限公司 基于虚拟现实场景的业务实现方法及装置
US10609018B2 (en) * 2016-12-05 2020-03-31 Google Llc Gesture-based access control in virtual environments
KR102678242B1 (ko) * 2017-02-01 2024-06-26 삼성전자주식회사 인증을 수행하는 전자 장치 및 방법
JP6778150B2 (ja) * 2017-06-15 2020-10-28 株式会社ミクシィ 頭部装着ディスプレイ装置、認証方法、及び認証プログラム
JP7013757B2 (ja) * 2017-09-20 2022-02-01 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム及びプログラム
EP3701408A1 (en) * 2017-10-24 2020-09-02 Orcam Technologies Ltd. Wearable camera systems and methods for authenticating identity
JP2019145009A (ja) 2018-02-23 2019-08-29 セイコーエプソン株式会社 頭部装着型表示装置、認証システム、及び頭部装着型表示装置の制御方法
US10893412B2 (en) 2018-08-27 2021-01-12 Apple Inc. Authenticated device assisted user authentication
JP2020135306A (ja) * 2019-02-18 2020-08-31 セイコーエプソン株式会社 表示システム、情報処理装置の制御プログラム、及び情報処理装置の制御方法
JP6795058B2 (ja) * 2019-06-20 2020-12-02 株式会社ニコン 撮像装置
CN110134197A (zh) * 2019-06-26 2019-08-16 北京小米移动软件有限公司 可穿戴式控制设备、虚拟/增强现实***及控制方法
US11030459B2 (en) 2019-06-27 2021-06-08 Intel Corporation Methods and apparatus for projecting augmented reality enhancements to real objects in response to user gestures detected in a real environment
CN111368268B (zh) * 2020-02-28 2023-12-01 Oppo广东移动通信有限公司 用户识别方法、用户识别装置、存储介质与头戴式设备
JP7045633B2 (ja) * 2020-10-30 2022-04-01 株式会社ミクシィ 頭部装着ディスプレイ装置、認証方法、及び認証プログラム
JP7167973B2 (ja) * 2020-11-10 2022-11-09 株式会社ニコン 電子機器

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06314259A (ja) 1993-04-30 1994-11-08 Casio Comput Co Ltd データ処理装置
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7454717B2 (en) * 2004-10-20 2008-11-18 Microsoft Corporation Delimiters for selection-action pen gesture phrases
KR100713494B1 (ko) * 2005-06-20 2007-04-30 삼성전자주식회사 카메라부를 이용한 사용자 인증 방법 및 이를 위한이동통신단말기
US8902154B1 (en) * 2006-07-11 2014-12-02 Dp Technologies, Inc. Method and apparatus for utilizing motion user interface
JP5228305B2 (ja) * 2006-09-08 2013-07-03 ソニー株式会社 表示装置、表示方法
JP5063118B2 (ja) * 2007-01-09 2012-10-31 京セラドキュメントソリューションズ株式会社 ジェスチャー認証方法及びジェスチャー認証装置
JP5521276B2 (ja) * 2008-03-13 2014-06-11 富士通株式会社 認証装置、認証方法及び認証プログラム
JP5012781B2 (ja) * 2008-12-11 2012-08-29 ブラザー工業株式会社 ヘッドマウントディスプレイ
US8436821B1 (en) * 2009-11-20 2013-05-07 Adobe Systems Incorporated System and method for developing and classifying touch gestures
EP2539759A1 (en) * 2010-02-28 2013-01-02 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US20130120282A1 (en) * 2010-05-28 2013-05-16 Tim Kukulski System and Method for Evaluating Gesture Usability
JP5676982B2 (ja) * 2010-08-31 2015-02-25 キヤノン株式会社 画像生成装置、画像生成方法、及びプログラム
EP2482219B1 (en) * 2011-01-31 2015-10-14 BlackBerry Limited Blacklisting of frequently used gesture passwords
WO2012104312A1 (en) * 2011-01-31 2012-08-09 Research In Motion Deutschland Gmbh Method and apparatus for gesture authentication
US8749485B2 (en) * 2011-12-20 2014-06-10 Microsoft Corporation User control gesture detection
US9202105B1 (en) * 2012-01-13 2015-12-01 Amazon Technologies, Inc. Image analysis for user authentication
US9021270B1 (en) * 2012-05-31 2015-04-28 Google Inc. Combining wake-up and unlock into a single gesture
JP6064464B2 (ja) * 2012-09-10 2017-01-25 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、認証システム

Also Published As

Publication number Publication date
US20160202486A1 (en) 2016-07-14
JP2014052942A (ja) 2014-03-20
US9317126B2 (en) 2016-04-19
US20140071041A1 (en) 2014-03-13
US10191555B2 (en) 2019-01-29

Similar Documents

Publication Publication Date Title
JP6064464B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、認証システム
US10341113B2 (en) Password management
JP6160154B2 (ja) 頭部装着型表示装置を利用した情報表示システム、頭部装着型表示装置を利用した情報表示方法、および、頭部装着型表示装置
JP6232763B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
CN106199963B (zh) 显示装置及其控制方法以及计算机程序
JP6217244B2 (ja) 画像処理装置、これを有する頭部装着型表示装置、画像処理方法およびコンピュータープログラム
KR20160136013A (ko) 이동 단말기 및 그 제어 방법
JP6380091B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
KR20170067058A (ko) 이동 단말기 및 그 제어방법
JP6488786B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2016004340A (ja) 情報配信システム、頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP6303274B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
US20170132406A1 (en) Information processing device, method of controlling information processing device, computer program, and information processing system
JP6252002B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6476673B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP6620417B2 (ja) 表示装置およびその制御方法、並びにコンピュータープログラム
JP6467922B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、情報システム、および、コンピュータープログラム
JP6582374B2 (ja) 表示装置およびその制御方法、並びにコンピュータープログラム
JP6394108B2 (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP2016142966A (ja) 頭部装着型表示装置、情報処理装置、画像表示装置、画像表示システム、頭部装着型表示装置の表示を共有する方法、コンピュータープログラム
JP6394174B2 (ja) 頭部装着型表示装置、画像表示システム、頭部装着型表示装置を制御する方法、および、コンピュータープログラム
JP6375662B2 (ja) 頭部装着型表示装置
KR20180031240A (ko) 이동 단말기 및 그 이동 단말기의 제어 방법
JP2016119544A (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
KR20240014988A (ko) 생체 정보에 기반한 외부 표시 장치와의 연결 방법 및 전자 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150608

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160419

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160530

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161205

R150 Certificate of patent or registration of utility model

Ref document number: 6064464

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150