JP2014044654A - 情報入出力装置 - Google Patents
情報入出力装置 Download PDFInfo
- Publication number
- JP2014044654A JP2014044654A JP2012187720A JP2012187720A JP2014044654A JP 2014044654 A JP2014044654 A JP 2014044654A JP 2012187720 A JP2012187720 A JP 2012187720A JP 2012187720 A JP2012187720 A JP 2012187720A JP 2014044654 A JP2014044654 A JP 2014044654A
- Authority
- JP
- Japan
- Prior art keywords
- user
- data
- authentication
- unit
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
【課題】使用者を正しく認証する認証率を向上させる。
【解決手段】情報入出力装置は、取得した第1の認証データと、予め取得されている第1の認証データである基準データとに基づいて、使用者を認証する第1の認証処理部と、第1の認証部が使用者を認証できない場合に、第1の認証データとは異なる種類の第2の認証データを取得し、取得した第2の認証データに基づいて使用者を認証する第2の認証部と、第1の認証データと相関のある所定の情報を取得する取得部と、第1の認証部が使用者を認証した場合に、情報の入出力処理を実行するとともに、第2の認証部が使用者を認証した場合に、情報の入出力処理を実行する制御部と、第2の認証部が使用者を認証した場合に、基準データとして、取得した第1の認証データを取得部が取得した所定の情報と対応付けて追加する追加部とを備えることを特徴とする。
【選択図】図20
【解決手段】情報入出力装置は、取得した第1の認証データと、予め取得されている第1の認証データである基準データとに基づいて、使用者を認証する第1の認証処理部と、第1の認証部が使用者を認証できない場合に、第1の認証データとは異なる種類の第2の認証データを取得し、取得した第2の認証データに基づいて使用者を認証する第2の認証部と、第1の認証データと相関のある所定の情報を取得する取得部と、第1の認証部が使用者を認証した場合に、情報の入出力処理を実行するとともに、第2の認証部が使用者を認証した場合に、情報の入出力処理を実行する制御部と、第2の認証部が使用者を認証した場合に、基準データとして、取得した第1の認証データを取得部が取得した所定の情報と対応付けて追加する追加部とを備えることを特徴とする。
【選択図】図20
Description
本発明は、情報入出力装置に関する。
近年、ヘッドマウントディスプレイなどの情報入力装置において、使用の際に、正当な使用者であるか否かを判定する認証処理を行う技術が提案されている。例えば、特許文献1に記載の技術では、予め登録されている使用者の虹彩データと、使用の際に取得した使用者の虹彩データとの比較結果に基づいて、正当な使用者であるか否かを判定する認証処理を行っている。
しかしながら、特許文献1に記載の技術では、例えば、屋外で虹彩データを取得した場合に、環境光の明るさに応じて、瞳孔の大きさが変化するために、正しく認証処理を行うことができない場合がある。このように、特許文献1に記載の技術では、例えば、虹彩データなどの認証データを取得する際の条件によっては、使用者を正しく認証する認証率が低下する場合がある。
本発明は、上記問題を解決すべくなされたもので、その目的は、使用者を正しく認証する認証率を向上させることができる情報入出力装置を提供することにある。
上記問題を解決するために、本発明の一態様は、取得した第1の認証データと、予め取得されている前記第1の認証データである基準データとに基づいて、使用者を認証する第1の認証部と、前記第1の認証部が前記使用者を認証できない場合に、前記第1の認証データとは異なる種類の第2の認証データを取得し、取得した前記第2の認証データに基づいて前記使用者を認証する第2の認証部と、前記第1の認証データと相関のある所定の情報を取得する取得部と、前記第1の認証部が前記使用者を認証した場合に、情報の入出力処理を実行するとともに、前記第2の認証部が前記使用者を認証した場合に、前記入出力処理を実行する制御部と、前記第2の認証部が前記使用者を認証した場合に、前記取得した第1の認証データを前記基準データとして、前記取得部が取得した前記所定の情報と対応付けて追加する追加処理部とを備えることを特徴とする情報入出力装置である。
本発明によれば、認証処理における認証率を向上させることができる。
以下、本発明の一実施形態による情報入出力装置について、図面を参照して説明する。
なお、本実施形態では、情報入出力装置の一例としてヘッドマウントディスプレイに適用する例について説明するが、本発明はこれに限られない。
なお、本実施形態では、情報入出力装置の一例としてヘッドマウントディスプレイに適用する例について説明するが、本発明はこれに限られない。
以下の説明においては、必要に応じてXYZ直交座標系を設定し、このXYZ直交座標系を参照しつつ、ヘッドマウントディスプレイの各部の位置関係について説明する。水平面内の所定方向をX軸方向、水平面内においてX軸方向と直交する方向をY軸方向、X軸方向及びY軸方向のそれぞれと直交する方向(すなわち鉛直方向)をZ軸方向とする。また、X軸、Y軸、及びZ軸まわりの回転(傾斜)方向をそれぞれ、θX、θY、及びθZ方向とする。
[第1実施形態]
図1は、本実施形態に係るヘッドマウントディスプレイ1(情報入出力装置)の斜視図である。図2は、本実施形態に係るヘッドマウントディスプレイ1を背面側から見た斜視図である。図3は、本実施形態に係るディスプレイ本体20の水平断面図である。図4は、本実施形態に係るヘッドバンドの動作説明図である。図5は、本実施形態に係るヘッドマウントディスプレイ1の装着形態(第1表示モード)を示す図である。
図1は、本実施形態に係るヘッドマウントディスプレイ1(情報入出力装置)の斜視図である。図2は、本実施形態に係るヘッドマウントディスプレイ1を背面側から見た斜視図である。図3は、本実施形態に係るディスプレイ本体20の水平断面図である。図4は、本実施形態に係るヘッドバンドの動作説明図である。図5は、本実施形態に係るヘッドマウントディスプレイ1の装着形態(第1表示モード)を示す図である。
ヘッドマウントディスプレイ1は、ディスプレイ本体20と、ユーザー(使用者)の頭部に装着されディスプレイ本体20を支持するヘッドバンド40と、を備えた単眼式のヘッドマウントディスプレイである。本実施形態のヘッドマウントディスプレイ1は、図5に示すように、両眼どちらでも使用可能である。図5(A)には、ユーザーが右眼(右目)で表示部60を見ている状態、図5(B)には左眼(左目)で見ている状態が示されている。
また、図2に示すように、ディスプレイ本体20とヘッドバンド40とは、連結ピン41を介して着脱可能に構成されている。なお、図1及び図2では、ディスプレイ本体20の長手方向をY軸方向、ヘッドバンド40がユーザーの頭部を挟持する方向をX軸方向としている。
また、図2に示すように、ディスプレイ本体20とヘッドバンド40とは、連結ピン41を介して着脱可能に構成されている。なお、図1及び図2では、ディスプレイ本体20の長手方向をY軸方向、ヘッドバンド40がユーザーの頭部を挟持する方向をX軸方向としている。
以下、ヘッドマウントディスプレイ1の各部の構成について詳細に説明する。
ディスプレイ本体20は、主要回路を内蔵するとともに操作部や各種インタフェースを備えた装置本体部21と、装置本体部21の先端に連結された表示部60とを有する。
ディスプレイ本体20は、主要回路を内蔵するとともに操作部や各種インタフェースを備えた装置本体部21と、装置本体部21の先端に連結された表示部60とを有する。
装置本体部21は、概略板状の筐体21A(図3参照)を有する。本実施形態では、装置本体部21においてヘッドバンド40との接続部が設けられている側の端部(+Y側の端部)を基端部とし、この基端部と反対側の端部(−Y側の端部)を先端部とする。また、装置本体部21をヘッドバンド40に装着した状態で、装置本体部21のヘッドバンド40側(+X側)を内側、ヘッドバンド40と反対側(−X側)を外側とする。
装置本体部21の外面には、図1に示すように、メインスイッチ28と、タッチスイッチ34と、集音マイク24とが、筐体21Aの長手方向に沿って配置されている。
メインスイッチ28はディスプレイ本体20の電源のオンオフ操作を行うスイッチである。タッチスイッチ34は、表面に手指等で触れることによりヘッドマウントディスプレイ1の各種操作を行うことができるタッチパネルである。集音マイク24は、環境音を収集する外部マイクである。
メインスイッチ28はディスプレイ本体20の電源のオンオフ操作を行うスイッチである。タッチスイッチ34は、表面に手指等で触れることによりヘッドマウントディスプレイ1の各種操作を行うことができるタッチパネルである。集音マイク24は、環境音を収集する外部マイクである。
装置本体部21内面の基端部側に、図2に示すように、耳元スピーカー23と、オーディオコネクター26と、連結孔31を有するヘッドバンドヒンジ32とが設けられている。装置本体部21内面の中央部に心拍数センサー137が設けられている。装置本体部21の内側面の先端部には通話マイク37が設けられている。
耳元スピーカー23は、ユーザーの耳の近傍に配置される。耳元スピーカー23からユーザーに音声情報が伝えられる。オーディオコネクター26は、例えば、図6に示すイヤホンが接続される音声入出力端子である。ヘッドバンドヒンジ32はヘッドバンド40とのジョイント部である。通話マイク37にはユーザーの音声が入力される。
心拍数センサー137は、ユーザーの顔の表面に接触させることでユーザーの心拍数を測定するセンサーである。心拍数センサー137は、発光ダイオード等を備えた発光部と、ユーザーの皮膚内部で反射した光を検知する受光部とを有する。心拍数センサー137は、血流の変化による反射光量の変化を検出することで心拍数をカウントする。心拍数センサー137はユーザーの眼の近くに配置されるが、発光部から赤外域の光を射出させる構成とすればユーザーにまぶしさを感じさせることはない。
装置本体部21の基端部側の側端面には、USBコネクター25と、操作スイッチ30と、ビデオコネクター27とが設けられている。
USBコネクター25はUSB(Universal Serial Bus)デバイスの接続端子である。本実施形態では、例えば不図示のリモコン(リモートコントローラー)が接続される。
操作スイッチ30(操作部)は、例えばトラックボールやスティックなどのポインティングデバイスである。操作スイッチ30は表示部60に表示される画面に正対するように設けられている。これにより、操作スイッチ30における操作の左右方向と、上記画面の左右方向とが一致するので、ユーザーは画面を見ながら直感的に操作スイッチ30を操作することが可能である。
ビデオコネクター27は、映像入出力端子である。
USBコネクター25はUSB(Universal Serial Bus)デバイスの接続端子である。本実施形態では、例えば不図示のリモコン(リモートコントローラー)が接続される。
操作スイッチ30(操作部)は、例えばトラックボールやスティックなどのポインティングデバイスである。操作スイッチ30は表示部60に表示される画面に正対するように設けられている。これにより、操作スイッチ30における操作の左右方向と、上記画面の左右方向とが一致するので、ユーザーは画面を見ながら直感的に操作スイッチ30を操作することが可能である。
ビデオコネクター27は、映像入出力端子である。
図3に示すように、装置本体部21には、筐体21Aの長手方向に沿って延びる板状の回路基板29と、バッテリー33とが内蔵されている。回路基板29には、図示略の制御回路、電源回路等が実装されており、図示略の配線を介してディスプレイ本体20の各部と電気的に接続されている。
装置本体部21の外面に露出するタッチスイッチ34の内側には、液晶パネルからなる表示パネル36と、バックライト35とが配置されている。本実施形態では、表示パネル36の表示画像がタッチスイッチ34を透過して表示される。表示パネル36及びバックライト35を、有機ELパネルや電気泳動パネルとしてもよい。
ヘッドバンドヒンジ32は、筐体21Aに設けられた凹曲面状の収容部32aと、収容部32aに嵌合された球状部32bとからなるボールジョイントである。球状部32bは、球面状の側面部と、この側面部を挟むように互いに平行に形成された2つの平面部を有する。2つの平面部を垂直に貫くように連結孔31が形成されている。連結孔31は軸方向視で六角形状に形成されている。連結孔31にヘッドバンド40の連結ピン41が挿入されることによりディスプレイ本体20とヘッドバンド40とが連結される。
ヘッドバンドヒンジ32を備えていることで、ディスプレイ本体20は、図1に示したA方向(ヘッドバンドヒンジ32を中心とするX軸回り)に回動させることができる。本実施形態において、ディスプレイ本体20の回転可能範囲は270°程度とされる。このX軸回りの回転動作により、図5(A)に示す右眼で画像を観察する形態と、図5(B)に示す左眼で画像を観察する形態との切替機能が実現される。
またヘッドバンドヒンジ32は、ボールジョイントであるため、ディスプレイ本体20は図1に示すB方向(ヘッドバンドヒンジ32を中心とするZ軸回り)に揺動させることもできる。この揺動操作により、ディスプレイ本体20のユーザーの眼や耳に対する位置を調整することができる。
ヘッドバンドヒンジ32近傍の心拍数センサー137は、装置本体部21の内面から突出するように設けられ、ヘッドマウントディスプレイ1の装着時にユーザーの顔の表面に当接可能とされている。バッテリー33は一次電池、二次電池のいずれであってもよい。
表示部60は、図1及び図2に示すように、装置本体部21の先端部に連結されている。本実施形態において、表示部60のヘッドバンド40側を内側、ヘッドバンド40と反対側を外側とする。表示部60は、上面視(Z軸視)において湾曲した形状を有するアーム部材であり、装置本体部21との連結部から先端側へ向かうに従って内側へ湾曲する形状を有する。表示部60の内面に、ファインダー開口部67が設けられている。表示部60の外面には、カメラ64が設けられている。また、図2に示すように、ファインダー開口部67の形状は、長方形である。
表示部60の筐体面には、眼球照明ライト166a〜166dが、ファインダー開口部67の近傍に備えられている。図2では、眼球照明ライト166a及び166bは、ファインダー開口部67の長辺の一方に沿った位置であって、ファインダー開口部67の隅の近傍に備えられている。また、眼球照明ライト166c及び166dは、ファインダー開口部67の長辺の他方に沿った位置であって、ファインダー開口部67の隅の近傍に備えられている。
表示部60の筐体面には、眼球照明ライト166a〜166dが、ファインダー開口部67の近傍に備えられている。図2では、眼球照明ライト166a及び166bは、ファインダー開口部67の長辺の一方に沿った位置であって、ファインダー開口部67の隅の近傍に備えられている。また、眼球照明ライト166c及び166dは、ファインダー開口部67の長辺の他方に沿った位置であって、ファインダー開口部67の隅の近傍に備えられている。
眼球照明ライト166a〜166dは、例えば赤外線の波長領域の光を放射するLED(発光ダイオード)である。眼球照明ライト166a〜166dは、ユーザーと表示部60との位置関係に応じて、点灯または消灯される。以下では、眼球照明ライト166a〜166dを、眼球照明ライト166と総称する。
図3に示すように、表示部60は、ディスプレイヒンジ61を介して装置本体部21と連結されている。ディスプレイヒンジ61は、表示部60の筐体60Aに形成された凹曲面状の収容部61aと、装置本体部21に形成され収容部61aに嵌合された球状部61bとからなるボールジョイントである。
装置本体部21の球状部61bは、装置本体部21の外面先端部に形成された筐体21Aの長手方向に対して斜めに延びる傾斜面21aに、傾斜面21aの法線方向(図3のY’軸方向)に突出するようにして設けられている。
表示部60は、ディスプレイヒンジ61の球状部61bに対してY’軸回りに自由に回転させることができる。本実施形態では、ディスプレイヒンジ61が装置本体部21の傾斜面21aに設けられており、表示部60が内側に湾曲した形状を有している。
また、ディスプレイヒンジ61がボールジョイントであることから、表示部60は、Y’軸回りの回転面に対して直交する方向の揺動も可能である。この揺動動作により、ユーザーによるファインダー開口部67の位置調整が容易になる。表示部60と装置本体部21との間隔を大きくすれば、表示部60の揺動幅を大きくすることができる。
ディスプレイヒンジ61の球状部61bには、球状部61bを高さ方向(Y’軸方向)に貫通する貫通孔61cが形成されている。貫通孔61cを介して、表示部60の内部と装置本体部21の内部とが連通されている。貫通孔61cには不図示のケーブルが挿通される。挿通されたケーブルを介して回路基板29と表示部60の各部とが電気的に接続される。
表示部60の内部には、バックライト62と、表示パネル63と、カメラ64と、プリズム65と、反射ミラー66と、前方ライト68と、前方スピーカー70と、結像レンズ71と、撮像素子72(撮像部)とが設けられている。なお、表示部60の光学系の構成については、後述する。
カメラ64は、例えば500万画素〜1000万画素の撮像素子を有し、オートフォーカス動作が可能に構成される。カメラ64は、その撮像素子の受光面に結像した画像(光学像)を撮像する。カメラ64は、例えば、ユーザーにとっての正面方向を撮像することができる。なお、撮像された画像は、動画形式または静止画形式のいずれで信号処理されてもよい。
前方ライト68は、例えばLEDライトである。前方ライト68は、赤、緑、青の各色の発光素子を有し、任意の色を任意のタイミングで発光させることが可能に構成してもよい。前方ライト68は、発光色や発光タイミングにより外部に対して情報を表示する装置として用いてもよく、カメラ64で撮影する際の照明装置として用いてもよい。
撮像素子72(撮像部)は、その受光面に結像した画像(光学像)を撮像する。撮像素子72は、例えば、ユーザーの顔を撮像することができる。なお、撮像された画像は、動画形式または静止画形式のいずれで信号処理されてもよい。
撮像素子72(撮像部)は、その受光面に結像した画像(光学像)を撮像する。撮像素子72は、例えば、ユーザーの顔を撮像することができる。なお、撮像された画像は、動画形式または静止画形式のいずれで信号処理されてもよい。
また、図3では図示を省略したが、本実施形態に係る表示部60にはレーザー発信器が設けられている。レーザー発信器は、例えば前方ライト68の近傍に設けることができる。レーザー発信器から射出される例えば赤色レーザー光を前方に照射することで、レーザー光によるポインティング(指標の表示)が可能である。
次に、ヘッドバンド40について、図2及び図4を参照しつつ説明する。
ヘッドバンド40は、図2に示すように、ユーザーの頭部を挟持する一対のヘッドパット(装着部材)46、47と、第1ヘッドバンド43と、第2ヘッドバンド44と、回動機構56、57とを備えている。
ヘッドバンド40は、図2に示すように、ユーザーの頭部を挟持する一対のヘッドパット(装着部材)46、47と、第1ヘッドバンド43と、第2ヘッドバンド44と、回動機構56、57とを備えている。
第1ヘッドバンド43は、全体として円弧状を成す弾性部材である。第1ヘッドバンド43の頂部に、第1ヘッドバンド43を折り曲げるためのジョイント部43aが設けられている。第1ヘッドバンド43の両端には、回動機構56、57を構成する軸受部43b、43cがそれぞれ設けられている。軸受部43b、43cよりもさらにバンド先端側に、ヘッドパット46、47が接続される軸受部43d、43eが設けられている。
第2ヘッドバンド44は、全体として円弧状を成す弾性部材である。第2ヘッドバンド44の頂部には、第2ヘッドバンド44を折り曲げるためのジョイント部44aが設けられている。第2ヘッドバンド44の両端には、それぞれ回動機構56、57を構成する軸部材44b、44cが設けられている。
また本実施形態において、第2ヘッドバンド44は、ステンレス等の金属からなるバネ部材48の表面を樹脂等の柔軟な材料で被覆した構成を有する。この第2ヘッドバンド44のバネ部材48においてユーザーの頭部を挟持するバネ力を発生させる。また第2ヘッドバンド44は第1ヘッドバンド43と比較して広い幅に形成されている。ジョイント部44aの形成部分は他のバンド部分よりもさらに広く形成された標章表示部49とされている。標章表示部49には、シールや印刷により製品タグ等が付される。なお、第2ヘッドバンド44の全体を金属で形成してもよい。
ヘッドパット46は、板状の支持板46aと、支持板46aの一面側に設けられた断面アーチ状の弾性部材46bとを有する。支持板46aの弾性部材46bと反対側の面に、当該面に垂直な姿勢で概略六角柱状の連結ピン41が立設されている。連結ピン41は、第1ヘッドバンド43の一方の先端に設けられた軸受部43dに軸支されている。これにより、ヘッドパット46は連結ピン41回りに回転可能である。
ヘッドパット47は、板状の支持板47aと、支持板47aの一方の面に設けられた断面アーチ状の弾性部材47bとを有する。支持板47aの弾性部材47bと反対側の面には、軸部材47cが設けられている。軸部材47cは、第1ヘッドバンド43の先端に設けられた軸受部43eに軸支されている。これにより、ヘッドパット47は、軸部材47c回りに回転可能である。
この構成により、第2ヘッドバンド44は、回動機構56によって第1ヘッドバンド43から離れる方向に回動付勢される一方、回動機構57によって第1ヘッドバンド43に対して所定角度以内の範囲に回動規制される。これにより、第2ヘッドバンド44は第1ヘッドバンド43に対して所定の角度となるように保持される。したがって、回動機構56、57は、ヘッドバンド40における角度保持機構として機能する。
次に、以上の構成を備えたヘッドマウントディスプレイ1におけるヘッドバンドの動作等について、図4、図5を参照しつつ説明する。以下、ユーザーにとっての右側を「ユーザーの右側」と称する。また、ユーザーにとっての左側を「ユーザーの左側」と称する。また、ユーザーにとっての上側を「ユーザーの上側」と称する。また、ユーザーにとっての下側を「ユーザーの下側」と称する。また、ユーザーにとっての時計回り方向を「時計回り方向」と称する。また、ユーザーにとっての反時計回り方向を「反時計回り方向」と称する。
図5に示したように、本実施形態のヘッドマウントディスプレイ1は、図5(A)に示す右眼観察形態と、図5(B)に示す左眼観察形態を切り替えて使用することができる。ここで、右眼観察形態とは、ユーザーが右眼で表示部60を観察する形態である。また、左眼観察形態とは、ユーザーが左眼で表示部60を観察する形態である。以下、図5(A)及び図5(B)示した形態、すなわち、ユーザーから見てファインダー開口部67が横長に配置される形態を、第1表示モードと称する。
例えば、右眼観察形態から左眼観察形態へ切り替えるには、まず、ヘッドバンド40に連結されたディスプレイ本体20を、ヘッドバンドヒンジ32(図2を参照)の回転軸回り(図5では、A方向)に180°程度回転させる。さらに、ヘッドバンド40において、回動機構56及び57(図4を参照)の軸回りに第2ヘッドバンド44を揺動させることで、第2ヘッドバンド44の位置と第1ヘッドバンド43の位置との前後関係を入れ替える。この操作により、図5(B)に示すように、ユーザーの左眼側にディスプレイ本体20が配置され、且つ、第2ヘッドバンド44がユーザーの後頭部側に配置された左眼観察形態に、ヘッドマウントディスプレイ1は切り替えられる。
右眼観察形態では、右眼の近傍にある眼球照明ライト166a及び166bが点灯し、眼球照明ライト166c及び166dが消灯する。一方、左眼観察形態では、左眼の近傍にある眼球照明ライト166c及び166dが点灯し、眼球照明ライト166a及び166bが消灯する。
本実施形態では、図4に示すように、第1ヘッドバンド43の円弧高さr1を、第2ヘッドバンド44の円弧高さr2よりも小さくしている。これにより、第2ヘッドバンド44を第1ヘッドバンド43と交差させるように移動させても、互いに干渉することなく円滑に前後を入れ替えることができる。
図4に示す円弧高さr1は、同軸に配置された回動機構56、57の回転軸Lの中央位置Cから第1ヘッドバンド43までの距離の最大値である。また円弧高さr2は、回転軸Lの中央位置Cから第2ヘッドバンド44までの距離の最大値である。
図4に示す円弧高さr1は、同軸に配置された回動機構56、57の回転軸Lの中央位置Cから第1ヘッドバンド43までの距離の最大値である。また円弧高さr2は、回転軸Lの中央位置Cから第2ヘッドバンド44までの距離の最大値である。
なお、第1ヘッドバンド43の円弧高さr1を第2ヘッドバンド44の円弧高さr2よりも大きくし、第2ヘッドバンド44を第1ヘッドバンド43の内側で揺動させる構成としてもよい。
図6は、本実施形態に係るヘッドマウントディスプレイ1に付属のステレオイヤホンを示す斜視図である。
ステレオイヤホン100は、コネクター101と、ケーブル102と、第1スピーカー103と、第2スピーカー104と、集音マイク105と、複数のクリップ106とを有する。
ステレオイヤホン100は、コネクター101と、ケーブル102と、第1スピーカー103と、第2スピーカー104と、集音マイク105と、複数のクリップ106とを有する。
コネクター101はケーブル102の一方の端部に設けられている。コネクター101は、一般的な4極φ3.5mmのミニプラグである。4極の内訳は、集音マイク105、第1スピーカー103、第2スピーカー104、グランド(GND)である。ケーブル102は、コネクター101の近傍において二分岐され、分岐されたケーブルの先端に第1スピーカー103が設けられている。ケーブル102の他方の端部には、第2スピーカー104と集音マイク105とが設けられている。複数のクリップ106は、ケーブル102上に所定の間隔で配置されている。
ステレオイヤホン100は、コネクター101をディスプレイ本体20のオーディオコネクター26に接続して使用される。ステレオイヤホン100が接続されると、ディスプレイ本体20の耳元スピーカー23と、表示部60の通話マイク37は無効化される。また表示部60の前方スピーカー70も必要に応じて無効化される。そして、ステレオイヤホン100の第1スピーカー103、第2スピーカー104、及び集音マイク105が有効化される。
ステレオイヤホン100の第1スピーカー103は、ディスプレイ本体20が配置された側のユーザーの耳に装着され、第2スピーカー104は第1スピーカー103と反対側の耳に装着される。このとき、ケーブル102は、クリップ106によって第2ヘッドバンド44に固定することができる。
また、ステレオイヤホン100の集音マイク105と、ディスプレイ本体20において筐体21Aの外側面に設けられた集音マイク24とにより、ステレオ録音が可能である。例えば、図5(A)に示すようにディスプレイ本体20が右眼側に配置されているとすれば、ディスプレイ本体20の集音マイク24はユーザーの右側の音を収集し、左耳に装着された集音マイク105はユーザーの左側の音を収集する。
また、右眼観察形態では、ステレオイヤホン100の第1スピーカー103から右チャンネルの音声が出力され、第2スピーカー104からは左チャンネルの音声が出力される。
また、右眼観察形態では、ステレオイヤホン100の第1スピーカー103から右チャンネルの音声が出力され、第2スピーカー104からは左チャンネルの音声が出力される。
一方、図5(B)に示すようにユーザーの左眼側にディスプレイ本体20が配置されている場合には、ディスプレイ本体20の集音マイク24がユーザーの左側の音を収集し、右耳に装着された集音マイク105がユーザーの右側の音を収集する。左眼観察形態では、ステレオイヤホン100の第1スピーカー103から左チャンネルの音声が出力され、第2スピーカー104からは右チャンネルの音声が出力される。
次に、眼球照明ライト166a〜166dの点灯と消灯について説明する。
図7は、本実施形態に係る眼球照明ライト166の点灯と消灯を説明する図である。図7(A)は、右眼観察形態における眼球照明ライト166の点灯と消灯を説明する図である。図7(B)は、左眼観察形態における眼球照明ライト166の点灯と消灯を説明する図である。図7(A)及び図7(B)において、ユーザーの顔の正面方向を、HZと表記する。
図7は、本実施形態に係る眼球照明ライト166の点灯と消灯を説明する図である。図7(A)は、右眼観察形態における眼球照明ライト166の点灯と消灯を説明する図である。図7(B)は、左眼観察形態における眼球照明ライト166の点灯と消灯を説明する図である。図7(A)及び図7(B)において、ユーザーの顔の正面方向を、HZと表記する。
図7(A)に示した例では、表示部60は、右眼の斜め下に配置されている。また、正面方向HZと表示部60の画面の法線とは、角度αを成している。ヘッドマウントディスプレイ1は、眼球照明ライト166a〜166dのうち、ユーザーの眼に近い側の眼球照明ライトを選択し、選択した眼球照明ライトを点灯させる。一方、ヘッドマウントディスプレイ1は、選択した以外の眼球照明ライト、すなわち、ユーザーの眼から遠い側の眼球照明ライトを消灯させる。
図7(A)では、眼球照明ライト166a及び166bは、正面方向HZから角度α1だけ下側に配置されている。一方、眼球照明ライト166c及び166dは、正面方向HZから角度α2だけ下側に配置されている。ここで、角度α1は、角度αより小さく、角度α2は、角度αより大きい。つまり、眼球照明ライト166a及び166bは、眼球照明ライト166c及び166dよりも、ユーザーの右眼の近くに配置されている。
この場合、ヘッドマウントディスプレイ1は、眼球照明ライト166a及び166bを点灯させ、且つ、眼球照明ライト166c及び166dを消灯させる。この点灯状態で、撮像素子72は、ユーザーの右眼の周りを撮像する。以下、ユーザーの右眼の周りが撮像された画像を、「右眼の周辺画像」という。
なお、右眼の周辺画像には、右眼の画像、右眉毛の画像、顔の一部(頭、髪の毛等)の画像が含まれてもよい。また、左眼の周辺画像には、左眼の画像、左眉毛の画像、顔の一部(頭、髪の毛等)が含まれてもよい。以下、右眼の周辺画像、及び左眼の周辺画像を、「眼の周辺画像」と総称する。
図7(A)に示した例では、ユーザーの右眼から遠い側の眼球照明ライト166c及び166dは、ユーザーの頬が邪魔になり、ユーザーの右眼を照明できないこともある。したがって、ヘッドマウントディスプレイ1は、ユーザーの右眼から遠い側の眼球照明ライト166c及び166dを消灯させる。これにより、ヘッドマウントディスプレイ1は、消費電力を低減させることができる。
一方、図7(B)では、眼球照明ライト166c及び166dは、正面方向HZから角度α3だけ下側に配置されている。一方、眼球照明ライト166c及び166dは、正面方向HZから角度α4だけ下側に配置されている。ここで、角度α3は、角度αより小さく、角度α4は、角度αより大きい。つまり、眼球照明ライト166a及び166bは、眼球照明ライト166c及び166dよりも、ユーザーの左眼の近くに配置されている。
この場合、ヘッドマウントディスプレイ1は、眼球照明ライト166c及び166dを点灯させ、且つ、眼球照明ライト166a及び166bを消灯させる。この点灯状態で、撮像素子72は、ユーザーの左眼の周りを撮像する。以下、ユーザーの左眼の周りが撮像された画像を、「左眼の周辺画像」という。
図7(B)に示した例では、ユーザーの左眼から遠い側の眼球照明ライト166a及び166bは、ユーザーの頬が邪魔になり、ユーザーの左眼を照明できないこともある。したがって、ヘッドマウントディスプレイ1は、ユーザーの左眼から遠い側の眼球照明ライト166a及び166bを消灯させる。これにより、ヘッドマウントディスプレイ1は、消費電力を低減させることができる。
つまり、ヘッドマウントディスプレイ1は、ユーザーの眼と表示部60との位置関係に応じて、眼球照明ライト166a〜166dのうち、ユーザーの眼をより正面から照明することができる眼球照明ライトを点灯させ、それ以外の眼球照明ライトを消灯させる。
次に、表示部60の構成及び光学系を説明する。
図8は、本実施形態に係る表示部60の構成及び光学系を説明するための表示部60の断面図である。図8に示すように、本実施形態の表示部60は、バックライト62、表示パネル63、第1プリズム65a、第2プリズム65b、反射ミラー66、ファインダー開口部67、結像レンズ71、撮像素子72、1/4波長板75を含んで構成されている。図8において、符号H、I、J、K、L、M、Nは、各々、光線を表す。
まず、表示部60の構成を説明する。
プリズム65は、上面視(Z軸視)で略三角形状の第1プリズム65aと第2プリズム65bとを互いの面で貼り合わせた構成を有する。この貼り合わせ面以外の第1プリズム65aの他の二面のうち、一方の面に対向する位置に、液晶パネルからなる表示パネル63が設けられている。表示パネル63の背面に表示パネル63を透過照明するバックライト62が配置されている。第1プリズム65aの他方の面に対向する位置に反射ミラー66が配置されている。反射ミラー66は、ファインダー開口部67のほぼ正面に位置する。
図8は、本実施形態に係る表示部60の構成及び光学系を説明するための表示部60の断面図である。図8に示すように、本実施形態の表示部60は、バックライト62、表示パネル63、第1プリズム65a、第2プリズム65b、反射ミラー66、ファインダー開口部67、結像レンズ71、撮像素子72、1/4波長板75を含んで構成されている。図8において、符号H、I、J、K、L、M、Nは、各々、光線を表す。
まず、表示部60の構成を説明する。
プリズム65は、上面視(Z軸視)で略三角形状の第1プリズム65aと第2プリズム65bとを互いの面で貼り合わせた構成を有する。この貼り合わせ面以外の第1プリズム65aの他の二面のうち、一方の面に対向する位置に、液晶パネルからなる表示パネル63が設けられている。表示パネル63の背面に表示パネル63を透過照明するバックライト62が配置されている。第1プリズム65aの他方の面に対向する位置に反射ミラー66が配置されている。反射ミラー66は、ファインダー開口部67のほぼ正面に位置する。
第2プリズム65bの貼り合わせ面以外の他の二面のうち、一方の面はファインダー開口部67に配置されたファインダー接眼面である。第2プリズム65bの他方の面に対向する位置には結像レンズ71を介して撮像素子72が対向配置されている。
次に、表示部60の光学系を説明する。
表示部60において、表示パネル63に表示された画像は、第1プリズム65a、反射ミラー66、第2プリズム65bを介してファインダー開口部67から射出され、ユーザーに観察される。また、ファインダー開口部67を見ている画像は、第2プリズム65b及び結像レンズ71を介して撮像素子72上に結像される。
なお、撮像素子72を介して取得された撮像画像は、ユーザーの視線の方向や瞬き、表情の解析、表示部60の姿勢の解析に用いる。撮像画像には、眼の周辺画像が含まれている。なお、バックライト62は、撮像素子72による眼の周辺画像を撮像する際の補助照明としても利用されてもよい。
表示部60において、表示パネル63に表示された画像は、第1プリズム65a、反射ミラー66、第2プリズム65bを介してファインダー開口部67から射出され、ユーザーに観察される。また、ファインダー開口部67を見ている画像は、第2プリズム65b及び結像レンズ71を介して撮像素子72上に結像される。
なお、撮像素子72を介して取得された撮像画像は、ユーザーの視線の方向や瞬き、表情の解析、表示部60の姿勢の解析に用いる。撮像画像には、眼の周辺画像が含まれている。なお、バックライト62は、撮像素子72による眼の周辺画像を撮像する際の補助照明としても利用されてもよい。
バックライト62が照射した光は、表示パネル63を透過して、第1プリズム65aに入射される。このとき、表示パネル63の液晶の特性上、バックライト62が照射した光が偏光され、偏光された光線HのS偏光が第1プリズム65aに入射される。
光線Hは、第1プリズム65aの裏面65dに設けられた空気層の影響により全反射し、光線Iとして第1プリズム65aと第2プリズム65bの接合面65cに入射する。ここで2つのプリズムの接合面65cには、S偏光が反射し、P偏光が透過する偏光反射膜が蒸着されている。ここで、光線Hは、S偏光であるため、接合面65cで反射して光線Jとなる。光線Jは、裏面65dに入射角0度で入射されるため、裏面65dを透過して1/4波長板75に入射される。
光線Jは、空気層を通った後に1/4波長板75を透過することで、進行方向に対して右回りの円偏光となる。そして反射ミラー66で反射した光線Kは、反射によって左回りの円偏光となる。そして、光線Kは、1/4波長板75を再び透過し、P偏光となる。
光線Kは、P偏光に変換されたため、接合面65cを透過できるので、ファインダー開口部67を通過できる。このような構成により、ユーザーは、表示パネル63上に表示された画像データを、ファインダー開口部67越に観察できる。
光線Kは、P偏光に変換されたため、接合面65cを透過できるので、ファインダー開口部67を通過できる。このような構成により、ユーザーは、表示パネル63上に表示された画像データを、ファインダー開口部67越に観察できる。
一方、ファインダー開口部67から入射した光線Lは、接合面65cで反射してS偏光の光線Mに変換される。光線Mは、第2プリズム65bにおける前面65eの空気層で全反射して光線Nになる。光線Nは、結像レンズ71により集光され、集光した光線Nが撮像素子72に入射する。このような構成により、ユーザーの眼の前面に、ファインダー開口部67が配置された場合、撮像素子72には、ユーザーの眼の周辺画像(光学像)が結像する。
次に、右眼観察形態で、ファインダー開口部67を介してユーザーが観察する画像と、撮像素子72により撮像される画像とについて説明する。
なお、図10、図13及び図15では、光学的に等価になるように、反射ミラー66(図8を参照)は、凸レンズに置き換えられている。また、図10、図13、及び図15において、一点鎖線CTは、結像レンズ71の光軸を表している。
なお、図10、図13及び図15では、光学的に等価になるように、反射ミラー66(図8を参照)は、凸レンズに置き換えられている。また、図10、図13、及び図15において、一点鎖線CTは、結像レンズ71の光軸を表している。
以下、表示部60が、ユーザーの眼から所定距離内に配置されている状態を、「第1観察状態」という。
図9は、第1〜第3観察状態のそれぞれにおける表示領域の違いを説明する図である。第1観察状態では、表示部60がユーザーの眼から所定距離内に配置されているので、表示パネル63の全表示領域は、ユーザーから観察可能である。したがって、表示パネル63は、この全表示領域に画像を表示させることができる。すなわち、表示パネル63の全表示領域が、表示領域Sとなる。
図9は、第1〜第3観察状態のそれぞれにおける表示領域の違いを説明する図である。第1観察状態では、表示部60がユーザーの眼から所定距離内に配置されているので、表示パネル63の全表示領域は、ユーザーから観察可能である。したがって、表示パネル63は、この全表示領域に画像を表示させることができる。すなわち、表示パネル63の全表示領域が、表示領域Sとなる。
以下、表示領域Sの横の長さを、Swと表記する。また。表示領域Sの縦の長さを、Shと表記する。また、以下では、一例として、Swは800画素、Shは600画素として説明を続ける。また、表示領域Tの縦の長さを、Thと表記する。また、表示領域Tの横の長さを、Twと表記する。また、表示領域Uの縦の長さを、Uhと表記する。また、表示領域Uの横の長さを、Uwと表記する。
図10は、第1観察状態における観察範囲と撮像範囲を説明する図である。観察範囲67aにユーザーの眼がある場合、ファインダー開口部67を介して、ユーザーは、表示パネル63の全表示領域に相当する表示領域Sを観察することができる。また、観察範囲67aは、反射ミラー66(図10では、凸レンズ)の光軸上では、ファインダー開口部67から距離Pまでの範囲にある。一方、撮像素子72が撮影することができる撮影範囲67cは、観察範囲67aを含んでいる。つまり、撮像素子72は、観察範囲67aにユーザーの眼がない場合でも、撮影範囲67cにユーザーの眼があれば、ユーザーの眼を眉毛なども含めて撮像することができる。
図11は、第1観察状態における撮像画像の一例を説明する図である。図11の略中心には、撮像素子72によりユーザーの眼が撮像されている。この場合、図9(A)を用いて説明したように、眼球照明ライト166a及び166bが点灯している。右眼観察形態の場合、図11における+Z側が鉛直上方向、−Z側が鉛直下方向、+X側がユーザーの左側、−X側がユーザーの右側となる。なお、左眼観察形態の場合、表示部60が180度反転されているので、右眼観察形態と比較して、眼の周辺画像は左右上下が反転することになる。
図11において、画像601Rは、右眼の画像を示しており、画像602Rは、右眉毛の画像を示している。また、長さL41は、X軸方向におけるユーザーの眼の幅を示している。例えば、第1観察状態において、撮像素子72の解像度が、横方向(X軸方向)に640画素である場合、画像における眼の幅L41は、350画素程度である。
図11では、ユーザーの眼と眉毛の距離が幅L41以下なので、撮像画像には、適切な範囲が撮像されているといえる。このように、ユーザーの眼を下側から撮影することは、有効である。
このように、第1観察状態では、ユーザーが正面を見る際、ファインダー開口部67が邪魔にならない。また、後述するように、第1観察状態では、撮像素子72による撮像画像に撮像された眉毛、目元及び眼球の動きに基づいて、ヘッドマウントディスプレイ1は、ユーザーの視線方向を検出することができる。
このように、第1観察状態では、ユーザーが正面を見る際、ファインダー開口部67が邪魔にならない。また、後述するように、第1観察状態では、撮像素子72による撮像画像に撮像された眉毛、目元及び眼球の動きに基づいて、ヘッドマウントディスプレイ1は、ユーザーの視線方向を検出することができる。
以下、ユーザーの眼が、第1観測状態と比較して表示部60から離れている状態を、「第2観察状態」という。
次に、第2観察状態について、図9、図12、及び図13を用いて説明する。
次に、第2観察状態について、図9、図12、及び図13を用いて説明する。
図12は、第2観察状態における撮像画像の一例を説明する図である。画像601R1は、右眼の画像を示しており、画像602R1は、右眉毛の画像を示している。また、長さL71は、X軸方向におけるユーザーの眼の幅を示している。
第2観察状態では、ユーザーの眼が表示部60から離れているので、第1観察状態よりも、ユーザーの眼の画像が小さく撮像される。撮像画像におけるユーザーの眼の幅L71が、第1観察状態におけるユーザーの眼の幅L41以下(例えば、300画素以下)である場合、ヘッドマウントディスプレイ1は、ユーザーが表示部60から眼を離していると判定する。
第2観察状態では、ユーザーの眼が表示部60から離れているので、第1観察状態よりも、ユーザーの眼の画像が小さく撮像される。撮像画像におけるユーザーの眼の幅L71が、第1観察状態におけるユーザーの眼の幅L41以下(例えば、300画素以下)である場合、ヘッドマウントディスプレイ1は、ユーザーが表示部60から眼を離していると判定する。
図13は、第2観察状態における観察範囲と撮像範囲を説明する図である。図13では、ユーザーの眼eyeは、反射ミラー66(図13では、凸レンズ)の光軸上で、ファインダー開口部67から距離P以上距離P2以内の位置に在り、第1観察状態における観察範囲67b(光軸上で、ファインダー開口部67から距離P以内)には無い。このため、ユーザーは、表示領域S(図9を参照)の一部しか観察することができない。
そこで、第2観察状態では、ヘッドマウントディスプレイ1は、縮小率ηで縮小した画像を、表示領域T(図9を参照)に表示させる。第2観察状態において、表示領域Tに表示される画像の縮小率η(第1観察状態との比率)は、次式(1)により示される。
η = L71/L41 ・・・(1)
例えば、ユーザーの眼の幅L41(図11を参照)が350画素であるのに対して、L71(図12を参照)が220画素である場合、ヘッドマウントディスプレイ1は、約0.63倍(=(L71/L41)=(Th/Sh)=(Tw/Sw))に縦横をそれぞれ縮小した画像を、表示パネル63の表示領域Tに表示させる。表示領域Tに表示された画像(光学像)の全体は、ファインダー開口部67の縁に遮られることなく、ユーザーの眼に届く。なお、第2観察状態において、ヘッドマウントディスプレイ1は、眼球照明ライト166の輝度を、第1観察状態におけるその輝度と比較して高くしてもよい。
以下、表示部60とユーザーの眼との相対位置が、第2観測状態と比較して左右いずれかの方向にずれている状態を、「第3観察状態」という。
次に、第3観察状態について、図9、図14、及び図15を用いて説明する。
図14は、第3観察状態における撮像画像の一例を説明する図である。第3観察状態では、第2観察状態と比較して、ユーザーの眼の画像が、一例として、画像の中心付近から右下方向にベクトルV1だけずれて撮像されているとする。
次に、第3観察状態について、図9、図14、及び図15を用いて説明する。
図14は、第3観察状態における撮像画像の一例を説明する図である。第3観察状態では、第2観察状態と比較して、ユーザーの眼の画像が、一例として、画像の中心付近から右下方向にベクトルV1だけずれて撮像されているとする。
画像601R2は、右眼の画像を示しており、画像602R2は、右眉毛の画像を示している。また、一点鎖線で示した範囲605Aは、ユーザーの眼の位置がずれていない場合に撮像される眼球の外形画像を表す。また、画像605Bは、ユーザーの眼が光軸中心にある場合の眼球の画像を表す。
図15は、第3観察状態における観察範囲と撮像範囲を説明する図である。図15では、ユーザーの眼eyeは、観察範囲67e内、すなわち、ファインダー開口部67から距離P以上離れ、且つ、光軸CTから内側にV1のX成分量(=V1x)だけずれている位置に在る。観察範囲67eに在るユーザーの眼は、第1観察状態における観察範囲67b(光軸上で、ファインダー開口部67から距離P以内)には無いので、表示領域S(図9を参照)の一部しか観察することができない。
そこで、第3観察状態では、ヘッドマウントディスプレイ1は、ユーザーから表示画像の全体が観察できるように、所定の縮小率(=(Uh/Sh)=(Uw/Sw))で画像を縮小する。また、ヘッドマウントディスプレイ1は、この縮小した画像を、表示領域U(図9を参照)に表示させる。ここで、ヘッドマウントディスプレイ1は、表示領域S(図9を参照)における表示領域Uの位置を、ユーザーの眼の位置ずれ量及び方向に応じて定める。第3観察状態では、表示領域Uは、表示領域Sの右上に定められている。
ここで、結像レンズ71及び撮像素子72から成る撮像系の記録画素数は、例えば、横640画素、縦480画素であるとする。また、結像レンズ71及び撮像素子72から成る撮像系の画角は、横60度、縦45度であるとする。この場合、1画素当たりの画角は、約0.094度となる。
したがって、ユーザーの眼の位置の水平方向のずれ量(ベクトルV1のX成分量)が、例えば、50画素であれば、ユーザーの眼の位置は、4.7度(=50画素×0.094度)ほどずれていることになる。表示領域S(図9を参照)の水平方向(Sw:800画素)の視野角が、例えば、35度であれば、ヘッドマウントディスプレイ1は、表示パネル63の中心から、108画素分(=Sw×4.7度÷35度)だけ、水平方向右に表示領域Uの位置を定める。ヘッドマウントディスプレイ1は、垂直方向についても同様に、所定画素数だけずらした位置に表示領域Uを定める。
図14及び図15では、ヘッドマウントディスプレイ1は、表示領域Uの水平方向Uwが500画素、縦方向Uhが375画素となるまで画像を縮小し、表示領域Sの中心から水平方向右に108画素、且つ、ベクトルV1のz成分量(=V1z)に対応する所定画素数だけ垂直方向上にずらした位置に、表示領域Uを定める。表示領域Uには、表示領域Uと同じ縮小率で縮小された画像が表示される。これにより、ユーザーの眼eyeが光軸上からずれた場合でも、ヘッドマウントディスプレイ1は、画像の全体が見えるよう、その画像を表示することができる。
ヘッドマウントディスプレイ1は、撮像画像から、例えば、眼の輪郭の画像を抽出し、抽出した眼の輪郭の画像の位置に基づいて、眼の位置ずれ量及び方向(ベクトルV1)を検出する。ここで、眼の位置ずれ量及び方向の検出は、撮像画像から眼球の画像を抽出し、抽出した眼球の輪郭画像のずれ量に基づいて、その眼の位置ずれ量及び方向を検出してもよい。また、ヘッドマウントディスプレイ1は、眼球照明ライトLED166a〜166d(図2を参照)を適宜点灯させ、それらの眼球照明ライトが投射した光によるスポットを、ユーザーの眼球上で測定することで、ベクトルV1を検出するようにしてもよい。
上述したように、ユーザーの眼が表示部60から離れている、又は、光軸からずれている場合でも、ヘッドマウントディスプレイ1では、ユーザーと表示部60との位置関係に応じて、ユーザーが画像の全領域を観察可能となるように、表示部60に画像を表示することができる。なお、表示領域を定めるタイミングは、ユーザー認証処理(後述)の前後のいずれでもよい。
次に、右眼観察形態と左眼観察形態との切り替えに伴う、撮像素子72の設置角度の調整について説明する。
図16は、本実施形態に係る撮像素子72の画角と選択範囲を説明する図である。図16(A)は、右眼観察形態における撮像素子72の画角と選択範囲を説明する図である。図16(B)は、左眼観察形態における撮像素子72の画角と選択範囲を説明する図である。なお、図16(A)及び図16(B)では、第1ヘッドバンド43、第2ヘッドバンド44、装置本体部21等は、図示が省略されている。
図16は、本実施形態に係る撮像素子72の画角と選択範囲を説明する図である。図16(A)は、右眼観察形態における撮像素子72の画角と選択範囲を説明する図である。図16(B)は、左眼観察形態における撮像素子72の画角と選択範囲を説明する図である。なお、図16(A)及び図16(B)では、第1ヘッドバンド43、第2ヘッドバンド44、装置本体部21等は、図示が省略されている。
図17は、本実施形態に係る撮像領域と選択領域を説明する図である。図17(A)は、ヘッドバンドヒンジ32(図2を参照)が揺動された場合における、撮像素子72(図3を参照)による撮像領域を説明する図である。また、図17(B)は、撮像領域から選択された選択領域を説明する図である。ここで、符号Pは、撮像素子72が撮像可能な範囲を示す符号である。また、撮像素子72は、例えば、4対3のアスペクト比を有する。
右眼観察形態の場合、第1表示モード(図5(A)を参照)では、撮像素子72は、撮像領域のアスペクトが縦長になるように、表示部60内に設けられている。この場合、撮像素子72は、図16(A)及び図17(B)に示すように、符号Pで示した領域(以下、「撮像領域P」という)のうち、符号Qで示された領域(以下、「選択領域Q」という)に撮像される範囲のみの画像データを取り込む。これにより、撮像素子72は、右眼観察形態において、眉毛まで含めて右眼の画像データを適切に取り込むことができる。
一方、左眼観察形態の場合、第1表示モード(図5(B)を参照)では、撮像素子72は、撮像領域のアスペクトが縦長になるように、表示部60内に設けられている。この場合、撮像素子72は、図16(B)及び図17(B)に示すように、撮像領域Pのうち、符号Rで示された領域(以下、「選択領域R」という)に撮像される範囲のみの画像データを取り込む。これにより、撮像素子72は、左眼観察形態において、眉毛まで含めて左眼の画像データを適切に取り込むことができる。
また、ヘッドマウントディスプレイ1は、右眼観察形態又は左眼観察形態のいずれであるかを、加速度センサー132(後述する図19参照)が検出した加速度を示す検出値(後述)の代わりに、撮像素子72による撮像画像に基づいて適切に判定することができる。
図18は、本実施形態に係る選択範囲の選択を機械的に行う機構を説明する図である。撮像素子72の本体72aには、回転軸72bが固定されている。この回転軸72bに対しては、ダイヤル72cが設けられている。ユーザーは、ダイヤル72cを回動可能範囲で回動(図18では、D方向)にさせることで、回転軸72bを軸として、撮像素子72をチルトさせることができる。
結像レンズ71が上を向く方向にチルトされた場合、選択領域Q(図17(B)を参照)は、撮像領域Pにおける上側の領域に定められる。これにより、撮像素子72は、ユーザーの眼及び眉毛を、撮像領域Qで撮像することができる。一方、結像レンズ71の下を向く方向にチルトされた場合、選択領域R(図17(B)を参照)は、撮像領域Pの下側の領域に定められる。これにより、撮像素子72は、ユーザーの眼及び眉毛を、撮像領域Rで撮像することができる。
なお、ヘッドマウントディスプレイ1は、ダイヤル72cにより、撮像領域Q又は選択領域Rの位置を微調節することも可能である。また、撮像素子72による撮像画像が表示部60に表示された場合、ユーザーは、表示部60に表示されている撮像画像を観察しながら、表示部60と眼の位置関係に応じて、撮像素子72の撮像領域を選択することができる。この結果、ヘッドマウントディスプレイ1は、範囲が適切になるよう撮像された撮像画像を用いて、ヘッドマウントディスプレイ1の位置合わせ、及び注視点検出のためのキャリブレーションの精度を高めることができる。
次に、ヘッドマウントディスプレイ1の機能ブロックについて説明する。
図19は、本実施形態に係るヘッドマウントディスプレイ1の機能ブロック図である。
ヘッドマウントディスプレイ1には、処理部123を中心として種々の電気回路が備えられている。処理部123は、例えば、CPU(中央演算装置:Central Processing Unit)であり、ヘッドマウントディスプレイ1の各種回路と接続されるとともに、ヘッドマウントディスプレイ1を総合的に制御する。処理部123の詳細については、後述する。
図19は、本実施形態に係るヘッドマウントディスプレイ1の機能ブロック図である。
ヘッドマウントディスプレイ1には、処理部123を中心として種々の電気回路が備えられている。処理部123は、例えば、CPU(中央演算装置:Central Processing Unit)であり、ヘッドマウントディスプレイ1の各種回路と接続されるとともに、ヘッドマウントディスプレイ1を総合的に制御する。処理部123の詳細については、後述する。
バッテリー33は、電源回路120を介してヘッドマウントディスプレイ1の各部に電力を電源回路120に供給する。
電源回路120は、バッテリー33から供給された電力を、処理部123の制御によりヘッドマウントディスプレイ1の各部に供給する。
電源回路120は、バッテリー33から供給された電力を、処理部123の制御によりヘッドマウントディスプレイ1の各部に供給する。
本実施形態の場合、処理部123には、エンコーダー129、デコーダー121、電源回路120、操作スイッチ30、フラッシュメモリー122、BLドライバ126、BT通信回路130、WiFi通信回路131、加速度センサー132、地磁気センサー133、前方ライト68、3G/LTE通信回路138、レーザー発信器73、角速度センサー134、GPSセンサー135、温湿度センサー136、心拍数センサー137、メモリー127、メインスイッチ28、タッチスイッチ34、及び眼球照明ライト166a〜166dが接続されている。
エンコーダー129は、音声信号及び画像信号を所定方式の音声データ及び画像データにエンコード(符号化)する。エンコーダー129には、カメラ64、撮像素子72、集音マイク24、通話マイク37、オーディオコネクター26、ビデオコネクター27が接続されている。
エンコーダー129には、集音マイク24及び通話マイク37から入力される音声信号、カメラ64から入力される画像信号、オーディオコネクター26から入力される音声信号、ビデオコネクター27から入力される画像信号、及び、眼の周辺画像を撮影する撮像素子72の画像信号が入力される。エンコーダー129に入力された音声信号及び画像信号は音声データ及び画像データにエンコードされた後、処理部123に入力される。入力された音声データ及び画像像データは、処理部123による再生動作に用いられたり、フラッシュメモリー122に記録される。
デコーダー121は、音声データ及び画像データを音声信号及び画像信号にデコード(復号化)する。デコーダー121には、LCDドライバ125、スピーカーアンプ162、オーディオコネクター26、及びビデオコネクター27が接続されている。
LCDドライバ125は、例えば、液晶パネル用の駆動制御装置であり、表示パネル36及び表示パネル63に接続されている。スピーカーアンプ162は音声信号を増幅してスピーカーに出力する装置であり、耳元スピーカー23及び前方スピーカー70に接続されている。
LCDドライバ125は、例えば、液晶パネル用の駆動制御装置であり、表示パネル36及び表示パネル63に接続されている。スピーカーアンプ162は音声信号を増幅してスピーカーに出力する装置であり、耳元スピーカー23及び前方スピーカー70に接続されている。
画像データを再生する場合、フラッシュメモリー122に記録された画像データ、あるいはエンコーダー129から入力される画像データは、処理部123を介してデコーダー121に入力される。デコーダー121に入力された画像データは、画像信号にデコードされた後、LCDドライバ125を介して表示パネル36、63に供給される。そして、画像信号が入力された表示パネル36又は表示パネル63に画像データに基づく画像が表示される。また、デコーダー121からビデオコネクター27に出力される画像信号は、ビデオコネクター27を介して外部機器に出力される。
また画像の表示に際して、処理部123は、必要に応じて表示パネル36用のバックライト35、及び表示パネル63用のバックライト62を点灯させる。BLドライバ126は、バックライト用の駆動制御装置であり、バックライト35及びバックライト62に接続されている。処理部123は、BLドライバ126に駆動信号を送信し、BLドライバ126はバックライト35、62を個々に点灯させる。
音声データを再生する場合、フラッシュメモリー122に記録された音声データ、あるいはエンコーダー129から入力される音声データは、処理部123を介してデコーダー121に入力される。デコーダー121に入力された音声データは、音声信号にデコードされた後、スピーカーアンプ162を介して耳元スピーカー23及び前方スピーカー70のいずれか一方、又は両方に出力される。そして、音声信号を入力された耳元スピーカー23又は前方スピーカー70から音声が出力される。また、デコーダー121からオーディオコネクター26に出力される音声信号は、オーディオコネクター26を介してステレオイヤホン100に出力される。
本実施形態の場合、耳元スピーカー23及び前方スピーカー70は、モノラル音声の使用を想定しており、耳元スピーカー23及び前方スピーカー70からは左右の音声信号が合成された音が発せられる。
一方、ステレオイヤホン100に音声信号が出力される場合、第1スピーカー103及び第2スピーカー104のそれぞれ左チャンネル又は右チャンネルの音が出力される。ここで、本実施形態のヘッドマウントディスプレイ1は、左右両用であるため、装着位置に応じてステレオイヤホン100への音声信号のチャンネルが切り替わる。すなわち、ディスプレイ本体20が右眼に装着されている場合には、第1スピーカー103に右チャンネル、第2スピーカー104に左チャンネルの音が出力される。ディスプレイ本体20が左眼に装着されている場合には第1スピーカー103に左チャンネル、第2スピーカー104に右チャンネルの音が出力される。
メモリー127には、処理部123によって実行される制御プログラムが記憶されている。
全体の電源のオンオフを行うメインスイッチ28や、画面内でのポインティング操作を行うための操作スイッチ30、あるいはタッチ操作により各種操作を行うタッチスイッチ34がユーザーにされると、これらのスイッチから操作に基づく制御信号が処理部123へ出力される。処理部123は、制御信号により操作を検出し、上記の制御プログラムに規定された動作を実行する。
全体の電源のオンオフを行うメインスイッチ28や、画面内でのポインティング操作を行うための操作スイッチ30、あるいはタッチ操作により各種操作を行うタッチスイッチ34がユーザーにされると、これらのスイッチから操作に基づく制御信号が処理部123へ出力される。処理部123は、制御信号により操作を検出し、上記の制御プログラムに規定された動作を実行する。
BT通信回路130は、他の機器とのBluetooth(登録商標)通信を行うための通信回路である。WiFi通信回路131は、他の機器との無線LAN通信(IEEE 802.11)を行うための通信回路である。3G/LTE通信回路138は、他の機器との移動通信を行うための通信回路である。
加速度センサー132は、ヘッドマウントディスプレイ1の傾き検出に用いられる。加速度センサー132は、例えば3軸センサーであり、重力加速度を検出する。加速度センサー132は、例えば、装置本体部21内に取り付けられている。
以下、加速度センサー132の座標は、地表に直立したユーザーがヘッドマウントディスプレイ1を頭に装着している場合における、ユーザーにとっての上下方向をZ軸方向、左右方向をX軸方向、前後方向をY軸方向とする。また、加速度センサー132は、右眼観察形態の場合にZ軸方向の検出値が負値となり、左眼観察形態の場合にZ軸方向の検出値が正値となるように、取り付けられている。
地磁気センサー133は、ヘッドマウントディスプレイ1の方角検出に用いられる。角速度センサー(ジャイロセンサー)134は、ヘッドマウントディスプレイ1の回転検出に用いられる。GPSセンサー135はGPS(Global Positioning System)を利用した測位検出に用いられる。温湿度センサー136は、環境の温度、湿度の検出に用いられる。心拍数センサー137は、ユーザーの頬に接触し、ユーザーの心拍数を検出する。
図20は、第1実施形態における処理部123の機能ブロック図である。
この図において、処理部123は、左右判定部201、照度取得部202、虹彩認証部203、制御部204、パスワード認証部205、及び追加処理部206を備えている。
この図において、処理部123は、左右判定部201、照度取得部202、虹彩認証部203、制御部204、パスワード認証部205、及び追加処理部206を備えている。
左右判定部201(判定部)は、撮像素子72が撮像した画像に含まれるユーザーの眼が右眼及び左眼のうちのいずれかであるかを判定する。すなわち、左右判定部201は、右眼観察形態であるか左眼観察形態であるのかを判定する。左右判定部201は、例えば、加速度センサー132の検出値に基づいて、右眼観察形態であるか左眼観察形態であるのかを判定する。また、左右判定部201は、例えば、加速度センサー132の検出値に基づいて、右眼観察形態であるか左眼観察形態であるのか判定できない場合に、撮像素子72が撮像した画像に基づいて、右眼観察形態であるか左眼観察形態であるのかを判定する。なお、左右判定部201によるこの左右の眼の検出処理の詳細については、後述する。左右判定部201は、判定結果である左右情報を虹彩認証部203及び追加処理部206に出力する。
照度取得部202(取得部)は、後述する虹彩データ(第1の認証データ)と相関のある所定の情報である照度情報を取得する。すなわち、照度取得部202は、自装置の周囲における照度情報を所定の情報として取得する。照度取得部202は、例えば、カメラ64が測定した周囲(環境)の照度情報を取得し、取得した照度情報を虹彩認証部203及び追加処理部206に出力する。
虹彩認証部203(第1の認証部)は、取得した虹彩データ(第1の認証データ)と、予め取得されている虹彩データである基準データとに基づいて、ユーザーを認証する。ここで、「ユーザーを認証する」とは、ユーザー(使用者)が正当なユーザー(正しいユーザー)であると判定することであり、ユーザーの認証が成功したことを示す。また、「ユーザーを認証できない」とは、ユーザー(使用者)が正当なユーザー(正しいユーザー)でないと判定することであり、ユーザーの認証が失敗したことを示す。
また、虹彩データとは、ユーザーの身体的特徴を示す生体データの1つである虹彩の画像を処理した画像データ又は虹彩の特徴を示すデータのことである。
また、虹彩データとは、ユーザーの身体的特徴を示す生体データの1つである虹彩の画像を処理した画像データ又は虹彩の特徴を示すデータのことである。
虹彩認証部203は、例えば、撮像素子72が撮像した画像(撮像画像)に基づく虹彩データを取得し、取得した虹彩データと、フラッシュメモリー122に記憶されている虹彩データ(基準データ)とに基づいて、ユーザーを認証する。すなわち、虹彩認証部203は、取得した虹彩データと基準データとを比較し、比較結果に基づいてユーザーが正当なユーザーであるか否かを判定する。
なお、フラッシュメモリー122には、後述する虹彩データのデータテーブルとして、予め取得されている(登録されている)虹彩データが記憶されている。虹彩データのデータテーブルには、1つ又は複数の虹彩データが、左右判定部201が判定した左右情報と、照度取得部202が取得した照度情報と対応付けられて登録(記憶)されている。
なお、フラッシュメモリー122には、後述する虹彩データのデータテーブルとして、予め取得されている(登録されている)虹彩データが記憶されている。虹彩データのデータテーブルには、1つ又は複数の虹彩データが、左右判定部201が判定した左右情報と、照度取得部202が取得した照度情報と対応付けられて登録(記憶)されている。
また、虹彩認証部203は、照度取得部202が取得した照度情報に基づいて、フラッシュメモリー122に記憶されている基準データ(登録虹彩データ)のうちの、比較する基準データの順番を定める。虹彩認証部203は、当該順番に基づく基準データと、撮像画像から取得した虹彩データとを比較し、当該比較結果に基づいて、ユーザーが正当なユーザーであるか否かを判定する。例えば、虹彩認証部203は、照度取得部202が取得した照度情報と同じ照度に対応する基準データを最初に、取得した虹彩データと比較する。また、例えば、虹彩認証部203は、虹彩データのデータテーブルとして登録されている基準データのうちで、照度取得部202が取得した照度情報に最も近い照度に対応する基準データから順番に取得した虹彩データと比較する。
また、本実施形態のヘッドマウントディスプレイ1は左右両用である。そのため、虹彩認証部203は、フラッシュメモリー122に記憶されている基準データのうちの、左右判定部201の判定結果に基づく左右情報に対応する虹彩データと、取得した虹彩データとに基づいて、ユーザーを認証する。
虹彩認証部203は、ユーザーの認証結果(ユーザーが正当なユーザーであるか否かの結果)を制御部204及びパスワード認証部205に出力する。
また、本実施形態のヘッドマウントディスプレイ1は左右両用である。そのため、虹彩認証部203は、フラッシュメモリー122に記憶されている基準データのうちの、左右判定部201の判定結果に基づく左右情報に対応する虹彩データと、取得した虹彩データとに基づいて、ユーザーを認証する。
虹彩認証部203は、ユーザーの認証結果(ユーザーが正当なユーザーであるか否かの結果)を制御部204及びパスワード認証部205に出力する。
パスワード認証部205(第2の認証部)は、虹彩認証部203がユーザーを認証できない場合に、虹彩データとは異なる種類の第2の認証データであるパスワードを取得し、取得したパスワードに基づいてユーザーを認証する。パスワード認証部205は、例えば、ヘッドマウントディスプレイ1(自装置)を操作する操作スイッチ30によって入力された情報をパスワード(第2の認証データ)として取得する。そして、パスワード認証部205は、例えば、フラッシュメモリー122に記憶(登録)されている登録パスワードと、取得したパスワードとを比較し、当該比較結果に基づいてユーザーが正当なユーザーであるか否かを判定する。
パスワード認証部205は、ユーザーの認証結果(ユーザーが正当なユーザーであるか否かの結果)を制御部204及び追加処理部206に出力する。
パスワード認証部205は、ユーザーの認証結果(ユーザーが正当なユーザーであるか否かの結果)を制御部204及び追加処理部206に出力する。
制御部204は、処理部123により実行される各種処理の制御を行う。
制御部204は、例えば、虹彩認証部203がユーザーを認証した場合(正当なユーザーであると判定した場合)に、各種情報の入出力処理(通常動作)を実行するとともに、パスワード認証部205がユーザーを認証した場合に、各種情報の入出力処理(通常動作)を実行する。すなわち、制御部204は、虹彩データによるユーザー認証処理の結果が正当なユーザーである場合に、通常動作に移行して各種情報の入出力処理を実行する。また、制御部204は、虹彩データによるユーザー認証処理の結果が正当なユーザーでない場合に、パスワード認証部205によるユーザー認証処理を実行し、パスワードによるユーザー認証処理の結果が正当なユーザーである場合に、通常動作に移行して各種情報の入出力処理を実行する。
制御部204は、例えば、虹彩認証部203がユーザーを認証した場合(正当なユーザーであると判定した場合)に、各種情報の入出力処理(通常動作)を実行するとともに、パスワード認証部205がユーザーを認証した場合に、各種情報の入出力処理(通常動作)を実行する。すなわち、制御部204は、虹彩データによるユーザー認証処理の結果が正当なユーザーである場合に、通常動作に移行して各種情報の入出力処理を実行する。また、制御部204は、虹彩データによるユーザー認証処理の結果が正当なユーザーでない場合に、パスワード認証部205によるユーザー認証処理を実行し、パスワードによるユーザー認証処理の結果が正当なユーザーである場合に、通常動作に移行して各種情報の入出力処理を実行する。
追加処理部206は、パスワード認証部205がユーザーを認証した場合(正当なユーザーであると判定した場合)に、取得した虹彩データを基準データとして、照度取得部202が取得した照度情報と対応付けて追加(補充)する。すなわち、追加処理部206は、パスワードによりユーザーを認証できた場合に、ユーザーの認証に失敗した虹彩データと照度情報とを対応付けて、虹彩データのデータテーブルを補充する。具体的に、追加処理部206は、パスワード認証部205がユーザーを認証した場合に、取得した虹彩データと、照度情報と、左右判定部201の判定結果に基づく左右情報とを対応付けてフラッシュメモリー122に記憶させる。
図21は、本実施形態における登録されている虹彩データのデータテーブルの構成の一例を示す図である。
図21に示すデータテーブルTB1は、フラッシュメモリー122に含まれている。フラッシュメモリー122は、データテーブルTB1として、ユーザーの眼が右眼及び左眼のうちのいずれかであるかを示す左右情報と照度情報と虹彩データとを対応付けて記憶している。例えば、データテーブルTB1は、行と列からなる2次元の表形式のデータであり、列の項目として、照度、右目(右眼)用の虹彩データ、及び左目(左眼)用の虹彩データが定められている。
図21に示すデータテーブルTB1は、フラッシュメモリー122に含まれている。フラッシュメモリー122は、データテーブルTB1として、ユーザーの眼が右眼及び左眼のうちのいずれかであるかを示す左右情報と照度情報と虹彩データとを対応付けて記憶している。例えば、データテーブルTB1は、行と列からなる2次元の表形式のデータであり、列の項目として、照度、右目(右眼)用の虹彩データ、及び左目(左眼)用の虹彩データが定められている。
例えば、行データTB10は、照度が75Lux(ルクス)より大きく100Lux以下である場合の登録虹彩データを示しており、この例では、右目用の虹彩データとして、Data(1)が記憶されており、左目用の虹彩データは未登録の状態を示している。なお、行データTB10は、例えば、最初に登録された登録虹彩データである。
また、例えば、行データTB11は、照度が30Luxより大きく50Lux以下である場合の登録虹彩データを示しており、この例では、右目用の虹彩データとして、Data(2)が記憶されており、左目用の虹彩データは未登録の状態を示している。また、例えば、行データTB12は、照度が300Luxより大きく500Lux以下である場合の登録虹彩データを示しており、この例では、右目用の虹彩データとして、Data(5)が記憶されており、左目用の虹彩データとして、Data(5)が記憶されている状態を示している。
また、例えば、行データTB11は、照度が30Luxより大きく50Lux以下である場合の登録虹彩データを示しており、この例では、右目用の虹彩データとして、Data(2)が記憶されており、左目用の虹彩データは未登録の状態を示している。また、例えば、行データTB12は、照度が300Luxより大きく500Lux以下である場合の登録虹彩データを示しており、この例では、右目用の虹彩データとして、Data(5)が記憶されており、左目用の虹彩データとして、Data(5)が記憶されている状態を示している。
このように、フラッシュメモリー122は、2次元の表形式のデータテーブルTB1として、照度情報と左右情報と虹彩データとを対応付けて記憶している。
次に、本実施形態におけるヘッドマウントディスプレイ1の動作について説明する。
図22は、本実施形態に係るヘッドマウントディスプレイ1の電源オン状態後に行う動作の一例を示すフローチャートである。
図22は、本実施形態に係るヘッドマウントディスプレイ1の電源オン状態後に行う動作の一例を示すフローチャートである。
図22において、まず、処理部123は、ヘッドマウントディスプレイ1のシステムの起動の完了を待って、システムの起動が完了した場合に、処理をステップS2に進める(ステップS1)。なお、起動とは、メインスイッチ28が操作されてヘッドマウントディスプレイ1がコールドスタートする場合、ならびにヘッドマウントディスプレイ1が所定時間使われなかった場合などにスリープ状態に至り、その後、タッチスイッチ34などを操作された場合、ウォームスタートした場合などである。
次に、ステップS2において、処理部123は、ユーザーが左右、どちらの眼でヘッドマウントディスプレイ1の表示部60を観察しているか検出する処理(以下、左右の眼の検出処理という)を行う。なお、この「左右の眼の検出処理」の詳細は、後述する。処理部123は、検出した結果に基づいて、例えば、表示部60に表示する画像の向きを切り替える。
次に、処理部123は、ヘッドマウントディスプレイ1のユーザーを認証する処理(以下、ユーザー認証処理という)を行う(ステップS3)。なお、処理部123は、ユーザーを認証できなかった場合(正当なユーザーであると判定できなかった場合)には、処理を次のステップに移行させないか、もしくは処理をすべて終了させる。なお、この「ユーザーの認証処理」の詳細は、後述する。
次に、処理部123は、通常動作を実行する(ステップS4)。すなわち、処理部123は、上述のステップS3のユーザーの認証処理において、ユーザーを認証した場合に、図23に示すように、各種アプリケーションのメニューを表示して、ユーザーの操作を待ち受ける。そして、処理部123は、ユーザーの指示に従って各種アプリケーションを実行する。なお、この通常動作の処理は、本実施形態の主旨ではないので、ここでは詳細な説明は省略する。
図23は、本実施形態におけるヘッドマウントディスプレイ1の通常動作におけるメニュー表示画面の一例を示す図である。
この図において、画面400は、通常動作におけるメニュー表示画面の一例を示している。また、アイコンI1〜I9は、各種アプリケーションのアイコンを示している。この画面400では、9つのアイコンI1〜I9が表示され、アイコンI5が選択されている例を示している。
この図において、画面400は、通常動作におけるメニュー表示画面の一例を示している。また、アイコンI1〜I9は、各種アプリケーションのアイコンを示している。この画面400では、9つのアイコンI1〜I9が表示され、アイコンI5が選択されている例を示している。
次に、上述した図22のステップS2の処理手順である「左右の眼の検出処理」手順について説明する。
図24は、本実施形態に係る左右の眼の検出処理手順のフローチャートである。
図24は、本実施形態に係る左右の眼の検出処理手順のフローチャートである。
処理部123の制御部204は、加速度センサー132が検出した検出値において、Z軸方向の検出値が、X軸方向、Y軸方向より強いか否かを判定する(ステップS101)。制御部204は、Z軸方向の検出値が、X軸方向、Y軸方向より強いと判定された場合(ステップS101:Yes)、処理をステップS102に進める。制御部204は、Z軸方向の検出値が、X軸方向、Y軸方向より強くないと判定された場合(ステップS101:No)、処理をステップS103に進める。
次に、ステップS102において、Z軸方向の検出値が、X軸方向、Y軸方向より強いと判定された場合であるので、表示部60は、図5(A)または図5(B)に示したような第1表示モードの装着形態である。この場合、処理部123の左右判定部201は、加速度センサー132の検出値に基づいて、右眼観察形態であるか左眼観察形態であるのかを判別(判定)する。
また、ステップS103において、Z軸方向の検出値が、X軸方向、Y軸方向より強くないと判別された場合であるので、ユーザーが寝ているか仰向けの状態である。そのため、制御部204は、撮像素子72を駆動する。
ここで、図25は、右眼観察形態の場合の撮像画像の一例を示す図である。また、図26は、左眼観察形態の場合の撮像画像の一例を示す図である。
制御部204は、観察形態を判別するために、図17で説明した撮像領域Pを使って、眼の周辺画像を撮像素子72に撮像させる。例えば、撮像画像は、図5(A)に示した第1表示モードかつ右眼観察形態で使用されるときの撮像画像(以下、第1右眼画像という)を基準としている。このため、図25に示すように、第1右眼画像610Rは、正立画像である。図25に示すように、第1右眼画像610Rでは、右眼の画像601R3に対して、右眉毛の画像602R3が+Z方向にある。
一方、図26に示すように、第1表示モードかつ左眼観察形態で使用されるときの眼の周辺画像(以下、第1左眼画像という)610Lは、倒立画像である。図26に示すように、第1左眼画像610Lでは、左眼の画像601Lに対して、右眉毛の画像602Lが−Z方向にある。
ここで、図25は、右眼観察形態の場合の撮像画像の一例を示す図である。また、図26は、左眼観察形態の場合の撮像画像の一例を示す図である。
制御部204は、観察形態を判別するために、図17で説明した撮像領域Pを使って、眼の周辺画像を撮像素子72に撮像させる。例えば、撮像画像は、図5(A)に示した第1表示モードかつ右眼観察形態で使用されるときの撮像画像(以下、第1右眼画像という)を基準としている。このため、図25に示すように、第1右眼画像610Rは、正立画像である。図25に示すように、第1右眼画像610Rでは、右眼の画像601R3に対して、右眉毛の画像602R3が+Z方向にある。
一方、図26に示すように、第1表示モードかつ左眼観察形態で使用されるときの眼の周辺画像(以下、第1左眼画像という)610Lは、倒立画像である。図26に示すように、第1左眼画像610Lでは、左眼の画像601Lに対して、右眉毛の画像602Lが−Z方向にある。
次に、図24に戻って、制御部204は、撮像画像から眉毛の画像が抽出可能であるか否かを判別する(ステップS104)。制御部204は、眉毛の画像が抽出可能であると判別した場合(ステップS104:Yes)、処理をステップS105に進める。例えば、表示部60が眼に近い場合、または化粧等によって眉毛の判別が難しい場合など、制御部204は、眉毛の画像を抽出ができないと判別した場合(ステップS104:No)に、処理をステップS106に進める。なお、制御部204は、例えば、パターンマッチングの技術を用いて、眉毛の画像を抽出する。
例えば、ユーザーが右眼観察形態で使用している場合、選択領域Q(図17(B)を参照)に撮像された画像は、図25に示すような画像になる。一方、ユーザーが左眼観察形態で使用している場合、選択領域R(図17(B)を参照)に撮像された画像は、図27に示すような画像になる。図27は、左眼観察形態における撮像画像の一例を説明する図である。なお、図27では、選択領域Rの画像を180度回転させて示してある。このため、図27の−Z側がユーザーの上側、+Z側がユーザーの下側、−X側がユーザーの左側、+X側がユーザーの右側となる。また、図27において、符号601L1は、左眼の画像であり、符号602L1は、左眉毛の画像である。
なお、ステップS101〜S108の処理中、制御部204は、眼球照明ライト166を点灯させておいても、消灯させておいてもよい。ステップS101〜S108の処理中、制御部204は、バックライト62を点灯させておいてもよい。
例えば、ユーザーが右眼観察形態で使用している場合、選択領域Q(図17(B)を参照)に撮像された画像は、図25に示すような画像になる。一方、ユーザーが左眼観察形態で使用している場合、選択領域R(図17(B)を参照)に撮像された画像は、図27に示すような画像になる。図27は、左眼観察形態における撮像画像の一例を説明する図である。なお、図27では、選択領域Rの画像を180度回転させて示してある。このため、図27の−Z側がユーザーの上側、+Z側がユーザーの下側、−X側がユーザーの左側、+X側がユーザーの右側となる。また、図27において、符号601L1は、左眼の画像であり、符号602L1は、左眉毛の画像である。
なお、ステップS101〜S108の処理中、制御部204は、眼球照明ライト166を点灯させておいても、消灯させておいてもよい。ステップS101〜S108の処理中、制御部204は、バックライト62を点灯させておいてもよい。
次に、ステップS105において、眉毛の画像が撮像画像から抽出可能である場合、左右判定部201は、眉毛の画像と眼の画像との位置や、眉毛の形状から、例えばパターンマッチングの技術や画像の特徴量による画像比較の技術を用いて、撮像画像が、ユーザーの右眼の画像であるか左眼の画像であるかを判別(判定)する。
例えば、図25に示したように、眼球の画像に対して眉毛の画像が、+Z方向にあると判別した場合、左右判定部201は、ユーザーが右眼で表示部60を観察している右眼観察形態であると判別する。一方、図26に示したように、眼球の画像に対して眉毛の画像が、−Z方向にあると判別した場合、左右判定部201は、ユーザーが左眼で表示部60を観察している左眼観察形態であると判別する。左右判定部201は、撮像画像が、ユーザーの右眼の画像であるか左眼の画像であるかを判別した後に、処理をステップS107に進める。
例えば、図25に示したように、眼球の画像に対して眉毛の画像が、+Z方向にあると判別した場合、左右判定部201は、ユーザーが右眼で表示部60を観察している右眼観察形態であると判別する。一方、図26に示したように、眼球の画像に対して眉毛の画像が、−Z方向にあると判別した場合、左右判定部201は、ユーザーが左眼で表示部60を観察している左眼観察形態であると判別する。左右判定部201は、撮像画像が、ユーザーの右眼の画像であるか左眼の画像であるかを判別した後に、処理をステップS107に進める。
次に、ステップS106において、眉毛の画像が撮像画像から抽出可能ではない場合、左右判定部201は、瞬きでの瞼の挙動から、例えばパターンマッチングの技術や画像の特徴量による画像比較の技術を用いて、ユーザーの右眼であるか左眼であるかを判別(判定)する。
例えば、瞬きは上瞼が動くことから、瞼が図25において+Z方向から−Z方向へ移動し、すぐに−Z方向から+Z方向へ戻った場合、左右判定部201は、ユーザーが右眼で表示部60を観察している右眼観察形態であると判別する。また、瞼の移動開始方向ならびに戻り方向がこの逆となった場合、左右判定部201は、ユーザーが左眼で表示部60を観察している左眼観察形態であると判別する。左右判定部201は、ユーザーの右眼であるか左眼であるかを判別した後に、処理をステップS107に進める。
以上のように、本実施形態によれば、ユーザーが横方向に寝ている様な場合にも、加速度センサー132が検出した重力の方向にたよらずに、眉毛や瞼の動きを検出することでユーザーが観察している眼の方向を判別できる。
例えば、瞬きは上瞼が動くことから、瞼が図25において+Z方向から−Z方向へ移動し、すぐに−Z方向から+Z方向へ戻った場合、左右判定部201は、ユーザーが右眼で表示部60を観察している右眼観察形態であると判別する。また、瞼の移動開始方向ならびに戻り方向がこの逆となった場合、左右判定部201は、ユーザーが左眼で表示部60を観察している左眼観察形態であると判別する。左右判定部201は、ユーザーの右眼であるか左眼であるかを判別した後に、処理をステップS107に進める。
以上のように、本実施形態によれば、ユーザーが横方向に寝ている様な場合にも、加速度センサー132が検出した重力の方向にたよらずに、眉毛や瞼の動きを検出することでユーザーが観察している眼の方向を判別できる。
次に、ステップS107において、制御部204は、ステップS106までの判別結果に基づいて、撮像素子72の選択領域を切り替える。例えば、ステップS106までの判別結果に基づいて、ユーザーが右眼観察形態で使用していると判別された場合、制御部204は、撮像素子72が撮像した撮像領域Pの中から選択領域Qを選択し、処理をステップS108に進める。一方、例えば、ユーザーが左眼観察形態で使用していると判別された場合、制御部204は、撮像領域Pの中から選択領域Rを選択し、処理をステップS108に進める。
次に、ステップS108において、制御部204は、ステップS106までの判別結果に基づいて、表示部60の表示を切り替える。例えば、ステップS106までの判別結果に基づいて、右眼観察形態であると判別された場合、制御部204は、表示部60の表示方向を右眼用に設定する。また、ステレオイヤホン100が接続されている場合、制御部204は、第1スピーカー103を右耳用に、第2スピーカー104を左耳用になるようステレオ音声出力の左右を設定する。
一方、例えば、左眼観察形態であると判別された場合、制御部204は、表示部60の表示方向を左眼用に設定する。なお、左眼用の表示方向とは、右眼用の表示顔面を180度回転させて上下反転させる方向である。また、ステレオイヤホン100が接続されている場合、制御部204は、第1スピーカー103を左耳用に、第2スピーカー104を右耳用になるようステレオ音声出力の左右を設定する。
一方、例えば、左眼観察形態であると判別された場合、制御部204は、表示部60の表示方向を左眼用に設定する。なお、左眼用の表示方向とは、右眼用の表示顔面を180度回転させて上下反転させる方向である。また、ステレオイヤホン100が接続されている場合、制御部204は、第1スピーカー103を左耳用に、第2スピーカー104を右耳用になるようステレオ音声出力の左右を設定する。
なお、上述のステップS101〜S106において、右眼観察形態であるか否かを、加速度センサー132の検出値、撮像画像に基づいて判別する例を説明したが、右眼観察形態であるか否かの判定方法は、これに限られない。
例えば、ヘッドマウントディスプレイ1は、ディスプレイ本体20に取り付けられている不図示のスイッチ等により検出するようにしてもよい。むろんユーザーが、手動で右眼観察形態または左眼観察形態に設定してもよい。
例えば、ヘッドマウントディスプレイ1は、ディスプレイ本体20に取り付けられている不図示のスイッチ等により検出するようにしてもよい。むろんユーザーが、手動で右眼観察形態または左眼観察形態に設定してもよい。
次に、上述した図22のステップS3の処理手順である「ユーザーの認証処理」手順について説明する。
図28は、本実施形態におけるユーザー認証処理手順の一例を示すフローチャートである。
図28は、本実施形態におけるユーザー認証処理手順の一例を示すフローチャートである。
図28において、まず、処理部123の制御部204は、ヘッドマウントディスプレイ1が初回使用であるか(工場出荷後に初めて使われるのか)を判定する(ステップS201)。制御部204は、ヘッドマウントディスプレイ1が初回使用である場合(ステップS201:Yes)に、ユーザーのパスワードの設定(登録)がなされていないことが想定されるので、処理をステップS209に進める。また、制御部204は、ヘッドマウントディスプレイ1が初回使用でない(2回目以降の使用である)場合(ステップS201:No)に、処理をステップS202に進める。
<ヘッドマウントディスプレイ1が初回使用である場合>
ステップS209において、制御部204は、ユーザーのパスワードの登録する処理を行う。ここで、制御部204は、ユーザーにパスワードの登録を要求する表示画面(例えば、後述する図29を参照)を表示部60に表示させる。ユーザーは、例えば、操作スイッチ30を用いて、ヘッドマウントディスプレイ1にパスワードを入力し、制御部204は、操作スイッチ30を介して入力されたパスワードを、例えば、フラッシュメモリー122に記憶させる。
ステップS209において、制御部204は、ユーザーのパスワードの登録する処理を行う。ここで、制御部204は、ユーザーにパスワードの登録を要求する表示画面(例えば、後述する図29を参照)を表示部60に表示させる。ユーザーは、例えば、操作スイッチ30を用いて、ヘッドマウントディスプレイ1にパスワードを入力し、制御部204は、操作スイッチ30を介して入力されたパスワードを、例えば、フラッシュメモリー122に記憶させる。
次に、制御部204は、撮像素子72にユーザーの眼を撮影させ、観察する眼及び虹彩の撮像画像(虹彩画像)を取得する(ステップS210)。
次に、制御部204は、取得した虹彩画像を処理して、虹彩データを取得する(ステップS211)。制御部204は、取得した虹彩画像に基づいて、例えば、ユーザーの虹彩データ(Data(1))を生成する。
次に、制御部204は、取得した虹彩画像を処理して、虹彩データを取得する(ステップS211)。制御部204は、取得した虹彩画像に基づいて、例えば、ユーザーの虹彩データ(Data(1))を生成する。
次に、カメラ64は、周囲の照度(照度情報)を測定する(ステップS212)。例えば、照度取得部202は、カメラ64に周囲の照度を測定させて、カメラ64によって測定された照度情報を取得する。
次に、制御部204は、照度情報、眼の左右情報(左右情報)、及び虹彩データをデータテーブルに登録する(ステップS213)。例えば、制御部204は、追加処理部206に対して、照度情報、左右情報、及び虹彩データを登録させる。すなわち、追加処理部206は、虹彩データと、照度情報と、左右情報とを対応付けてフラッシュメモリー122(データテーブルTB1)に記憶させる。例えば、ユーザーが右目(右眼)でヘッドマウントディスプレイ1を観察しており、さらに照度が75Luxより大きく100Lux以下であった場合には、追加処理部206は、例えば、図21の行データTB10に示すように、100Luxで右目の欄に、Data(1)を虹彩データとして記憶させる。
なお、左右情報は、上述した図22のステップS2において、左右判定部201によって判定されている。
制御部204は、虹彩データをデータテーブルに登録した後、処理を終了させる。
次に、制御部204は、照度情報、眼の左右情報(左右情報)、及び虹彩データをデータテーブルに登録する(ステップS213)。例えば、制御部204は、追加処理部206に対して、照度情報、左右情報、及び虹彩データを登録させる。すなわち、追加処理部206は、虹彩データと、照度情報と、左右情報とを対応付けてフラッシュメモリー122(データテーブルTB1)に記憶させる。例えば、ユーザーが右目(右眼)でヘッドマウントディスプレイ1を観察しており、さらに照度が75Luxより大きく100Lux以下であった場合には、追加処理部206は、例えば、図21の行データTB10に示すように、100Luxで右目の欄に、Data(1)を虹彩データとして記憶させる。
なお、左右情報は、上述した図22のステップS2において、左右判定部201によって判定されている。
制御部204は、虹彩データをデータテーブルに登録した後、処理を終了させる。
次に、ヘッドマウントディスプレイ1が初回使用でない場合のユーザー認証処理手順について説明する。
<ヘッドマウントディスプレイ1が初回使用でない場合>
ステップS202において、制御部204は、撮像素子72にユーザーの眼を撮影させ、観察する眼及び虹彩の撮像画像(虹彩画像)を取得する。
次に、制御部204は、取得した虹彩画像を処理して、虹彩データを取得する(ステップS203)。制御部204は、取得した虹彩画像に基づいて、例えば、虹彩データ(Data(n))を生成する。
次に、カメラ64は、周囲の照度(照度情報)を測定する(ステップS204)。例えば、照度取得部202は、カメラ64に周囲の照度を測定させて、カメラ64によって測定された照度情報を取得する。
<ヘッドマウントディスプレイ1が初回使用でない場合>
ステップS202において、制御部204は、撮像素子72にユーザーの眼を撮影させ、観察する眼及び虹彩の撮像画像(虹彩画像)を取得する。
次に、制御部204は、取得した虹彩画像を処理して、虹彩データを取得する(ステップS203)。制御部204は、取得した虹彩画像に基づいて、例えば、虹彩データ(Data(n))を生成する。
次に、カメラ64は、周囲の照度(照度情報)を測定する(ステップS204)。例えば、照度取得部202は、カメラ64に周囲の照度を測定させて、カメラ64によって測定された照度情報を取得する。
次に、虹彩認証部203は、照度情報、眼の左右情報、及び虹彩データで認証OK(オーケー)か否かを判定する(ステップS205)。虹彩認証部203は、照度情報と左右情報とに基づいて、データテーブルTB1を参照する。虹彩認証部203は、例えば、取得した虹彩データ(Data(n))の左右情報が「右目」であり、照度情報が100Luxであった場合に、データテーブルTB1から読み出した基準データ(Data(1))と、取得した虹彩データ(Data(n))とを比較して、高い相関が得られた場合に、ユーザーを認証(認証OK)と判定する。制御部204は、虹彩認証部203がユーザーを認証した(認証OK)場合(ステップS205:Yes)に、本シーケンス(ユーザー認証処理)を終了して、処理を図22のステップS4に進める。
このように、虹彩認証部203は、同じ照度における基準データ(登録虹彩データ)を最初に検証することで、効率的にユーザーを認証することができ、ユーザー認証処理の期間を短縮することが可能となっている。
このように、虹彩認証部203は、同じ照度における基準データ(登録虹彩データ)を最初に検証することで、効率的にユーザーを認証することができ、ユーザー認証処理の期間を短縮することが可能となっている。
また、ステップS205において、照度取得部202が取得した照度情報が100Luxではない場合に、虹彩認証部203は、データテーブルTB1に登録されている他の虹彩データ(例えば、Data(2)〜Data(5))に基づいて、上述と同様に、認証OKか否かを判定する。この場合も、制御部204は、虹彩認証部203がユーザーを認証した(認証OKである)場合(ステップS205:Yes)に、本シーケンス(ユーザー認証処理)を終了して、処理を図22のステップS4に進める。
一方、制御部204は、虹彩認証部203がユーザーを認証できなかった(認証NG(エヌジー)である)場合(ステップS205:No)に、処理をステップS206に進める。
一方、制御部204は、虹彩認証部203がユーザーを認証できなかった(認証NG(エヌジー)である)場合(ステップS205:No)に、処理をステップS206に進める。
次に、ステップS206において、制御部204は、パスワードを要求する。すなわち、制御部204は、図29に示すような、ユーザーにパスワードの入力を要求する表示画面を表示部60に表示させる。
図29は、本実施形態に係るパスワード入力画面400aの一例である。
図29に示すように、表示パネル63上には、AからZまでのアルファベットキー461、記号キー462、シフトキー463、10キー切り替えキー464、スペースキー465、決定(Done)キー466、キャンセル(Cancel)キー469、入力された文字を表示する領域467、及びカーソル468が表示される。
ユーザーは、例えば、操作スイッチ30を用いて、ヘッドマウントディスプレイ1にパスワードを入力し、パスワード認証部205は、操作スイッチ30を介して入力されたパスワードを取得する。
図29は、本実施形態に係るパスワード入力画面400aの一例である。
図29に示すように、表示パネル63上には、AからZまでのアルファベットキー461、記号キー462、シフトキー463、10キー切り替えキー464、スペースキー465、決定(Done)キー466、キャンセル(Cancel)キー469、入力された文字を表示する領域467、及びカーソル468が表示される。
ユーザーは、例えば、操作スイッチ30を用いて、ヘッドマウントディスプレイ1にパスワードを入力し、パスワード認証部205は、操作スイッチ30を介して入力されたパスワードを取得する。
次に、パスワード認証部205は、パスワードによる照合OKか否かを判定する(ステップS207)。すなわち、パスワード認証部205は、例えば、フラッシュメモリー122に記憶(登録)されている登録パスワードと、取得したパスワードとを比較し、当該比較結果に基づいてユーザーが正当なユーザーであるか(照合OKか)否かを判定する。制御部204は、パスワード認証部205がユーザーを認証した(照合OKである)場合(ステップS207:Yes)に、処理をステップS208に進める。また、制御部204は、パスワード認証部205がユーザーを認証できなかった(照合NGである)場合(ステップS207:No)に、処理をステップS214に進める。
このように、パスワード認証部205は、虹彩認証部203がユーザーを認証できない場合に、パスワードを取得し、取得したパスワードに基づいてユーザーを認証する。
このように、パスワード認証部205は、虹彩認証部203がユーザーを認証できない場合に、パスワードを取得し、取得したパスワードに基づいてユーザーを認証する。
次に、ステップS208において、制御部204は、照度情報、眼の左右情報(左右情報)、及び虹彩データをデータテーブルに登録する。例えば、制御部204は、追加処理部206に対して、照度情報、左右情報、及び虹彩データを登録させる。ここでは、パスワードの照合がOKであったことを受けて、初期に登録を行った同じユーザー(正当なユーザー)であることが判明しているので、追加処理部206は、ステップS203、及びステップS204の処理により、取得した虹彩データ及び周囲の照度情報を、ユーザーの眼の左右の情報(左右情報)と合わせて、データテーブルTB1に追加記録する。
これは、上述のステップS205の処理において、虹彩認証部203が虹彩データによる認証処理を行う際に、周囲の明るさが異なることで、瞳の大きさが変化していたためにユーザーを正しく認証できなかった可能性がある。そこで、本実施形態におけるヘッドマウントディスプレイ1は、異なる明るさ(照度)での虹彩データを蓄積することにより、様々な明るさでも虹彩データによる認証処理を行うことが可能となる。
なお、もしユーザーが表示部60を観察している左右の眼が異なり、例えば、左目で初めて観察する場合には、左右の虹彩のパターンが異なることから正しく認証が出来ない。その場合には、ステップS208において、追加処理部206は、「左目」の条件において、測定した照度に対応した虹彩データが、例えば、行データTB12のData(6)としてデータテーブルTB1に記憶される。
このように、追加処理部206が取得した虹彩データをデータテーブルTB1に追加した後に、制御部204は、本シーケンス(ユーザー認証処理)を終了して、処理を図22のステップS4に進める。
このように、追加処理部206が取得した虹彩データをデータテーブルTB1に追加した後に、制御部204は、本シーケンス(ユーザー認証処理)を終了して、処理を図22のステップS4に進める。
また、ステップS214において、制御部204は、パスワードの再入力を要求する。すなわち、制御部204は、ステップS207においてパスワードの照合ができなかった(照合NGであった)場合において、パスワードの再入力を促す。
次に、制御部204は、ユーザーによってキャンセルが入力されたが否かを判定する(ステップS215)。ユーザーが例えば、図29に示すような(Cancel)キー469を押した場合に、制御部204は、ユーザーによってキャンセルが入力されたと判定する。制御部204は、ユーザーによってキャンセルが入力された場合に、処理をステップS216に進める。また、制御部204は、ユーザーによって再度新たなパスワードが入力された場合(ステップS215:No)に、処理をステップS207に戻し、パスワード認証部205によるパスワードの照合を繰り返す。
次に、ステップS216において、虹彩によるユーザーの認証ができず、パスワードによる認証がキャンセルされたことから、制御部204は、ヘッドマウントディスプレイ1の電源をOFF(オフ)にして、全てのシーケンス(全ての処理)を終了させる。
以上説明したように、本実施形態におけるヘッドマウントディスプレイ1は、虹彩認証部203と、パスワード認証部205と、照度取得部202と、制御部204と、追加処理部206とを備えている。虹彩認証部203は、取得した虹彩データ(第1の認証データ)と、予め取得されている虹彩データである基準データとに基づいて、ユーザー(使用者)を認証する。パスワード認証部205は、虹彩認証部203がユーザーを認証できない場合に、虹彩データとは異なる種類の第2の認証データ(例、パスワード)を取得し、取得したパスワードに基づいてユーザーを認証する。照度取得部202は、虹彩データと相関のある所定の情報(例、照度情報)を取得する。制御部204は、虹彩認証部203がユーザーを認証した場合に、情報の入出力処理を実行するとともに、パスワード認証部205がユーザーを認証した場合に、情報の入出力処理を実行する。そして、追加処理部206は、パスワード認証部205がユーザーを認証した場合に、取得した虹彩データを基準データとして、照度取得部202が取得した所定の情報(例、照度情報)と対応付けて追加する。
これにより、本実施形態におけるヘッドマウントディスプレイ1は、虹彩データなどの第1の認証データを取得する際の条件(上述の所定の情報)とともに、第1の認証データ(例、虹彩データ)の基準データを補充する。そのため、本実施形態におけるヘッドマウントディスプレイ1は、第1の認証データを取得する際の条件(上述の所定の情報)によっては、正しく認証処理を行うことができない可能性を低減することができる。
例えば、屋外で虹彩データを取得した際に、環境光の明るさに応じて、瞳孔の大きさが変化するような場合であっても、周囲の照度情報と、虹彩データとを対応付けて基準データとして補充(追加)するので、本実施形態におけるヘッドマウントディスプレイ1は、ユーザーを正しく認証する認証率を向上させることができる。
このように、本実施形態におけるヘッドマウントディスプレイ1は、ユーザーを正しく認証する認証率を向上させることができる。
例えば、屋外で虹彩データを取得した際に、環境光の明るさに応じて、瞳孔の大きさが変化するような場合であっても、周囲の照度情報と、虹彩データとを対応付けて基準データとして補充(追加)するので、本実施形態におけるヘッドマウントディスプレイ1は、ユーザーを正しく認証する認証率を向上させることができる。
このように、本実施形態におけるヘッドマウントディスプレイ1は、ユーザーを正しく認証する認証率を向上させることができる。
また、本実施形態では、上述の第1の認証データは、ユーザーの身体的特徴を示す生体データ(例、虹彩データ)である。
これにより、本実施形態におけるヘッドマウントディスプレイ1は、パスワードによる認証に比べて、ユーザーによる第1の認証データの入力作業を軽減することができる。よって、本実施形態におけるヘッドマウントディスプレイ1は、単にパスワードによる認証を行う場合に比べて、利便性を向上させることができる。
これにより、本実施形態におけるヘッドマウントディスプレイ1は、パスワードによる認証に比べて、ユーザーによる第1の認証データの入力作業を軽減することができる。よって、本実施形態におけるヘッドマウントディスプレイ1は、単にパスワードによる認証を行う場合に比べて、利便性を向上させることができる。
また、本実施形態におけるヘッドマウントディスプレイ1は、基準データと所定の情報(例、照度情報)とを対応付けて記憶するフラッシュメモリー122(記憶部)を備えている。虹彩認証部203は、照度取得部202が取得した照度情報に基づいて、フラッシュメモリー122に記憶されている基準データ(登録虹彩データ)のうちの、取得した虹彩データと比較する基準データの順番を定める。虹彩認証部203は、当該順番に基づく基準データと取得した虹彩データとを比較し、当該比較結果に基づいて、ユーザーが正当なユーザーであるか否かを判定する。
これにより、虹彩認証部203は、例えば、照度情報に基づいた適切な基準データを優先して比較するので、効率的にユーザーを認証することができる。そのため、本実施形態におけるヘッドマウントディスプレイ1は、ユーザー認証処理の期間を短縮することが可能になる。
これにより、虹彩認証部203は、例えば、照度情報に基づいた適切な基準データを優先して比較するので、効率的にユーザーを認証することができる。そのため、本実施形態におけるヘッドマウントディスプレイ1は、ユーザー認証処理の期間を短縮することが可能になる。
また、本実施形態におけるヘッドマウントディスプレイ1は、画像を撮像する撮像素子72を備えている。また、上述した第1の認証データには、虹彩データが含まれる。虹彩認証部203は、撮像素子72が撮像した画像(虹彩画像)に基づく虹彩データを取得し、取得した虹彩データと、基準データ(登録虹彩データ)とに基づいて、ユーザーを認証する。照度取得部202は、自装置の周囲における照度情報を所定の情報として取得する。追加処理部206は、パスワード認証部205がユーザーを認証した場合に、取得した虹彩データと照度情報とを対応付けてフラッシュメモリー122に記憶させる。
これにより、本実施形態におけるヘッドマウントディスプレイ1は、虹彩データを用いて、簡易な構成によりユーザーを認証することができる。また、虹彩データは、ヘッドマウントディスプレイ1を装着するだけで、撮像素子72から取得できるので、ユーザーはパスワードの入力のような操作を行う必要がない。そのため、本実施形態におけるヘッドマウントディスプレイ1は、利便性を損なうことなく、ユーザーを認証することができる。また、追加処理部206は、パスワード認証部205がユーザーを認証した場合に、取得した虹彩データと照度情報とを対応付けてフラッシュメモリー122に記憶させるので、使用しているうちに、虹彩認証部203が認証に用いる基準データ(登録虹彩データ)が補充される。そのため、本実施形態におけるヘッドマウントディスプレイ1は、ユーザーを正しく認証する認証率を向上させることができる。
また、本実施形態におけるヘッドマウントディスプレイ1は、撮像素子72が撮像した画像に基づいて、画像に含まれる使用者の眼が右眼及び左眼のうちのいずれかであるかを判定する左右判定部201を備えている。フラッシュメモリー122は、ユーザーの眼が右眼及び左眼のうちのいずれかであるかを示す左右情報と、照度情報と、虹彩データ(基準データ)とを対応付けて記憶する。虹彩認証部203は、フラッシュメモリー122に記憶されている基準データのうちの、左右判定部201の判定結果に基づく左右情報に対応する虹彩データと、取得した虹彩データとに基づいて、ユーザーを認証する。
これにより、本実施形態におけるヘッドマウントディスプレイ1は、左右の眼の両方の虹彩によりユーザーを認証することができるので、認証率を向上させることができる。
これにより、本実施形態におけるヘッドマウントディスプレイ1は、左右の眼の両方の虹彩によりユーザーを認証することができるので、認証率を向上させることができる。
また、本実施形態におけるヘッドマウントディスプレイ1は、自装置を操作する操作スイッチ30を備えている。パスワード認証部205は、操作スイッチ30によって入力された情報をパスワード(第2の認証データ)として取得する。なお、パスワード認証部205は、操作スイッチ30を用いてパスワードを取得しているので、ノイズの影響を受け易い生体データ(例、虹彩データ)を用いる場合に比べて、正当なユーザーを正当なユーザーでないと判定する本人拒否率が低い。すなわち、パスワード認証部205は、虹彩認証部203よりも本人拒否率が低い。
これにより、本実施形態におけるヘッドマウントディスプレイ1は、虹彩認証部203においてユーザーを正しく認証できない場合であっても、パスワード認証部205を使用することにより正確にユーザーを認証することができる。そのため、本実施形態におけるヘッドマウントディスプレイ1は、認証処理における利便性を維持しつつ、認証率を向上させることができる。
これにより、本実施形態におけるヘッドマウントディスプレイ1は、虹彩認証部203においてユーザーを正しく認証できない場合であっても、パスワード認証部205を使用することにより正確にユーザーを認証することができる。そのため、本実施形態におけるヘッドマウントディスプレイ1は、認証処理における利便性を維持しつつ、認証率を向上させることができる。
[第2実施形態]
次に、本発明に係る第2実施形態について、図面を参照して説明する。
本実施形態では、第1実施形態における虹彩データによるユーザーの認証に代えて、ユーザーの音声データによるユーザーの認証を実行する場合の一例を説明する。
本実施形態におけるヘッドマウントディスプレイ1は、処理部123の処理が、第1実施形態と異なる。なお、本実施形態におけるヘッドマウントディスプレイ1の構成は、図1〜図6、図18、及び図19に示される第1実施形態と同様であるので、ここでは説明を省略する。
次に、本発明に係る第2実施形態について、図面を参照して説明する。
本実施形態では、第1実施形態における虹彩データによるユーザーの認証に代えて、ユーザーの音声データによるユーザーの認証を実行する場合の一例を説明する。
本実施形態におけるヘッドマウントディスプレイ1は、処理部123の処理が、第1実施形態と異なる。なお、本実施形態におけるヘッドマウントディスプレイ1の構成は、図1〜図6、図18、及び図19に示される第1実施形態と同様であるので、ここでは説明を省略する。
図30は、本実施形態における処理部123aの機能ブロック図である。
この図において、処理部123aは、左右判定部201、音圧取得部202a、音声認証部203a、制御部204a、パスワード認証部205、及び追加処理部206aを備えている。なお、この図において、図19と同一の構成については同一の符号を付し、その説明を省略する。
この図において、処理部123aは、左右判定部201、音圧取得部202a、音声認証部203a、制御部204a、パスワード認証部205、及び追加処理部206aを備えている。なお、この図において、図19と同一の構成については同一の符号を付し、その説明を省略する。
音圧取得部202a(取得部)は、後述する音声データ(第1の認証データ)と相関のある所定の情報である音圧情報を取得する。すなわち、音圧取得部202aは、ユーザーの音声の音圧情報を所定の情報として取得する。音圧取得部202aは、例えば、通話マイク37(集音部)が測定したユーザーの音声に基づいて音圧情報を取得し、取得した音圧情報を音声認証部203a及び追加処理部206aに出力する。
音声認証部203a(第1の認証部)は、取得した音声データ(第1の認証データ)と、予め取得されている音声データである基準データとに基づいて、ユーザーを認証する。
ここで、音声データとは、ユーザーの身体的特徴を示す生体データの1つである声を録音したデータのことである。音声データは、例えば、ユーザーが暗証番号もしくはキーワードとなる言葉を発話した場合のデータである。
ここで、音声データとは、ユーザーの身体的特徴を示す生体データの1つである声を録音したデータのことである。音声データは、例えば、ユーザーが暗証番号もしくはキーワードとなる言葉を発話した場合のデータである。
なお、発話(音声データ)によるユーザーの認証は、手動によってパスワードを入力する場合よりも、手軽で便利であるが、発話された内容を他人が聞いた場合に、暗証番号やキーワードを盗まれる可能性がある。そのため、ユーザーは、小声でささやくように発話する場合がある。ここで、ささやくように発話すると声帯が振るえないために、声帯を振るわせて大きな声で発話した場合と、音声データの波形が大きく異なることになる。そのため、本実施形態では、音声データと相関がある所定の情報として音圧情報を音圧取得部202aが取得する。
また、音声認証部203aは、例えば、通話マイク37が取得した音声データを取得し、取得した音声データと、フラッシュメモリー122に記憶されている音声データ(基準データ)とに基づいて、ユーザーを認証する。すなわち、音声認証部203aは、取得した音声データと基準データとを比較し、比較結果に基づいてユーザーが正当なユーザーであるか否かを判定する。
なお、フラッシュメモリー122には、後述する音声データのデータテーブルとして、予め取得されている(登録されている)音声データが記憶されている。音声データのデータテーブルには、1つ又は複数の音声データが、音圧取得部202aが取得した音圧情報と対応付けられて登録(記憶)されている。
なお、フラッシュメモリー122には、後述する音声データのデータテーブルとして、予め取得されている(登録されている)音声データが記憶されている。音声データのデータテーブルには、1つ又は複数の音声データが、音圧取得部202aが取得した音圧情報と対応付けられて登録(記憶)されている。
また、音声認証部203aは、音圧取得部202aが取得した音圧情報に基づいて、フラッシュメモリー122に記憶されている基準データ(登録音声データ)のうちの、比較する基準データの順番を定める。音声認証部203aは、当該順番に基づく基準データと、通話マイク37が取得した音声データとを比較し、当該比較結果に基づいて、ユーザーが正当なユーザーであるか否かを判定する。例えば、音声認証部203aは、音圧取得部202aが取得した音圧情報と同じに音圧に対応する基準データを最初に、取得した音声データと比較する。また、例えば、音声認証部203aは、音声データのデータテーブルとして登録されている基準データのうちで、音圧取得部202aが取得した音圧情報に最も近い音圧に対応する基準データから順番に取得した音圧データと比較する。
音声認証部203aは、ユーザーの認証結果(ユーザーが正当なユーザーであるか否かの結果)を制御部204a及びパスワード認証部205に出力する。
音声認証部203aは、ユーザーの認証結果(ユーザーが正当なユーザーであるか否かの結果)を制御部204a及びパスワード認証部205に出力する。
制御部204aは、処理部123aにより実行される各種処理の制御を行う。
制御部204aは、照度取得部202、虹彩認証部203、及び追加処理部206の代わりに音圧取得部202a、音声認証部203a、及び追加処理部206aを制御する点が、第1の実施形態における制御部204と異なるが、その他の機能は、制御部204と同様である。
制御部204aは、例えば、音声認証部203aがユーザーを認証した場合(正当なユーザーであると判定した場合)に、各種情報の入出力処理(通常動作)を実行するとともに、パスワード認証部205がユーザーを認証した場合に、各種情報の入出力処理(通常動作)を実行する。すなわち、制御部204aは、音声データによるユーザー認証処理の結果が正当なユーザーである場合に、通常動作に移行して各種情報の入出力処理を実行する。また、制御部204aは、音声データによるユーザー認証処理の結果が正当なユーザーでない場合に、パスワード認証部205によるユーザー認証処理を実行し、パスワードによるユーザー認証処理の結果が正当なユーザーである場合に、通常動作に移行して各種情報の入出力処理を実行する。
制御部204aは、照度取得部202、虹彩認証部203、及び追加処理部206の代わりに音圧取得部202a、音声認証部203a、及び追加処理部206aを制御する点が、第1の実施形態における制御部204と異なるが、その他の機能は、制御部204と同様である。
制御部204aは、例えば、音声認証部203aがユーザーを認証した場合(正当なユーザーであると判定した場合)に、各種情報の入出力処理(通常動作)を実行するとともに、パスワード認証部205がユーザーを認証した場合に、各種情報の入出力処理(通常動作)を実行する。すなわち、制御部204aは、音声データによるユーザー認証処理の結果が正当なユーザーである場合に、通常動作に移行して各種情報の入出力処理を実行する。また、制御部204aは、音声データによるユーザー認証処理の結果が正当なユーザーでない場合に、パスワード認証部205によるユーザー認証処理を実行し、パスワードによるユーザー認証処理の結果が正当なユーザーである場合に、通常動作に移行して各種情報の入出力処理を実行する。
追加処理部206aは、パスワード認証部205がユーザーを認証した場合(正当なユーザーであると判定した場合)に、取得した音声データを基準データとして、音圧取得部202aが取得した音圧情報と対応付けて追加(補充)する。すなわち、追加処理部206aは、パスワードによりユーザーを認証できた場合に、ユーザーの認証に失敗した音声データと音圧情報とを対応付けて、音圧データのデータテーブルを補充する。具体的に、追加処理部206aは、パスワード認証部205がユーザーを認証した場合に、取得した音声データと、音圧情報とを対応付けてフラッシュメモリー122に記憶させる。
図31は、本実施形態における登録されている音声データのデータテーブルの構成の一例を示す図である。
図31に示すデータテーブルTB2は、フラッシュメモリー122に含まれている。フラッシュメモリー122は、データテーブルTB2として、音圧情報とユーザーの音声データとを対応付けて記憶している。例えば、データテーブルTB2は、行と列からなる2次元の表形式のデータであり、列の項目として、音圧、音声データが定められている。
図31に示すデータテーブルTB2は、フラッシュメモリー122に含まれている。フラッシュメモリー122は、データテーブルTB2として、音圧情報とユーザーの音声データとを対応付けて記憶している。例えば、データテーブルTB2は、行と列からなる2次元の表形式のデータであり、列の項目として、音圧、音声データが定められている。
例えば、行データTB20は、音圧が40dB(デシベル)台である場合の登録音声データを示しており、この例では、音声データとして、Data(11)が記憶されている状態を示している。なお、行データTB20は、例えば、最初に登録された登録音声データである。
このように、第2実施形態において、フラッシュメモリー122は、2次元の表形式のデータテーブルTB2として、音圧情報と音声データとを対応付けて記憶している。
次に、本実施形態におけるヘッドマウントディスプレイ1の動作について説明する。
本実施形態に係るヘッドマウントディスプレイ1の電源オン状態後に行う動作は、図22に示す第1実施形態と同様であるのでここでは説明を省略する。
また、本実施形態における左右の眼の検出処理手順は、図24に示す第1実施形態と同様であるのでここでは説明を省略する。
本実施形態に係るヘッドマウントディスプレイ1の電源オン状態後に行う動作は、図22に示す第1実施形態と同様であるのでここでは説明を省略する。
また、本実施形態における左右の眼の検出処理手順は、図24に示す第1実施形態と同様であるのでここでは説明を省略する。
次に、本実施形態における「ユーザーの認証処理」手順について説明する。
図32は、本実施形態におけるユーザー認証処理手順の一例を示すフローチャートである。
図32は、本実施形態におけるユーザー認証処理手順の一例を示すフローチャートである。
図32において、まず、処理部123aの制御部204aは、ヘッドマウントディスプレイ1が初回使用であるか(工場出荷後に初めて使われるのか)を判定する(ステップS301)。制御部204aは、ヘッドマウントディスプレイ1が初回使用である場合(ステップS301:Yes)に、ユーザーのパスワードの設定(登録)がなされていないことが想定されるので、処理をステップS309に進める。また、制御部204aは、ヘッドマウントディスプレイ1が初回使用でない(2回目以降の使用である)場合(ステップS301:No)に、処理をステップS302に進める。
<ヘッドマウントディスプレイ1が初回使用である場合>
ステップS309において、制御部204aは、ユーザーのパスワードの登録する処理を行う。ここで、制御部204aは、ユーザーにパスワードの登録を要求する表示画面(例えば、図29を参照)を表示部60に表示させる。ユーザーは、例えば、操作スイッチ30を用いて、ヘッドマウントディスプレイ1にパスワードを入力し、制御部204aは、操作スイッチ30を介して入力されたパスワードを、例えば、フラッシュメモリー122に記憶させる。
ステップS309において、制御部204aは、ユーザーのパスワードの登録する処理を行う。ここで、制御部204aは、ユーザーにパスワードの登録を要求する表示画面(例えば、図29を参照)を表示部60に表示させる。ユーザーは、例えば、操作スイッチ30を用いて、ヘッドマウントディスプレイ1にパスワードを入力し、制御部204aは、操作スイッチ30を介して入力されたパスワードを、例えば、フラッシュメモリー122に記憶させる。
次に、制御部204aは、ユーザーの暗証番号の音声を取得する(ステップS310)。すなわち、制御部204aは、通話マイク37を介してユーザーが発する暗証番号の音声(音声信号)を取得する。ここで、制御部204aは、表示部60に音声により暗証番号を発話するように促す表示をさせてもよい。また、ここでの暗証番号は、ステップS309において登録したパスワードと同じであってもよいし、異なるものであってよい。
次に、制御部204aは、取得した音声信号を処理して、音声データを取得する(ステップS311)。制御部204aは、取得した音声信号に基づいて、例えば、ユーザーの音声データ(Data(11))を生成する。
次に、音圧取得部202aは、音声データの音圧情報(dB)を算出する(ステップS312)。例えば、音圧取得部202aは、音声データの音圧情報(dB)を算出することにより、音圧情報を取得する。
次に、制御部204aは、音圧情報、及び音声データをデータテーブルに登録する(ステップS313)。例えば、制御部204aは、追加処理部206aに対して、音圧情報、及び音声データを登録させる。すなわち、追加処理部206aは、音声データと、音圧情報とを対応付けてフラッシュメモリー122(データテーブルTB2)に記憶させる。例えば、音圧情報が30dBより大きく40dB以下であった場合には、追加処理部206aは、例えば、図31の行データTB20に示すように、40dBの欄に、Data(11)を音声データとして記憶させる。このように、追加処理部206aは、音圧レベルごとに音声データをフラッシュメモリー122(データテーブルTB2)に記憶させる。
これは、ユーザーが暗証番号をささやいた場合には音圧レベルは低く、声帯を振るわせて明確に発生した場合には音圧レベルが高い。そして、ささやいた場合と、声帯を振るわせた場合とで音声データが異なることから、追加処理部206aは、音声データを蓄積する際に、音圧レベルに従って音声データをソートして記録しておく。
制御部204aは、音声データをデータテーブルに登録した後、処理を終了させる。
これは、ユーザーが暗証番号をささやいた場合には音圧レベルは低く、声帯を振るわせて明確に発生した場合には音圧レベルが高い。そして、ささやいた場合と、声帯を振るわせた場合とで音声データが異なることから、追加処理部206aは、音声データを蓄積する際に、音圧レベルに従って音声データをソートして記録しておく。
制御部204aは、音声データをデータテーブルに登録した後、処理を終了させる。
次に、ヘッドマウントディスプレイ1が初回使用でない場合のユーザー認証処理手順について説明する。
<ヘッドマウントディスプレイ1が初回使用でない場合>
ステップS302において、制御部204aは、ユーザーの暗証番号の音声(音声信号)を取得する。
次に、制御部204aは、取得した音声信号を処理して、音声データを取得する(ステップS303)。制御部204aは、取得した発話の音声信号に基づいて、例えば、音声データ(Data(m))を生成する。
<ヘッドマウントディスプレイ1が初回使用でない場合>
ステップS302において、制御部204aは、ユーザーの暗証番号の音声(音声信号)を取得する。
次に、制御部204aは、取得した音声信号を処理して、音声データを取得する(ステップS303)。制御部204aは、取得した発話の音声信号に基づいて、例えば、音声データ(Data(m))を生成する。
次に、音圧取得部202aは、音声データの音圧情報(dB)を算出する(ステップS304)。例えば、音圧取得部202aは、音声データの音圧情報(dB)を算出することにより、音圧情報を取得する。
次に、音声認証部203aは、音圧情報、及び音声データで認証OKか否かを判定する(ステップS305)。音声認証部203aは、音圧情報に基づいて、データテーブルTB2を参照する。音声認証部203aは、例えば、音圧情報が40dBであった場合に、データテーブルTB2から読み出した基準データ(Data(11))と、取得した音声データ(Data(m))とを比較して、高い相関が得られた場合に、ユーザーを認証(認証OK)と判定する。制御部204aは、音声認証部203aがユーザーを認証した(認証OK)場合(ステップS305:Yes)に、本シーケンス(ユーザー認証処理)を終了して、処理を図22のステップS4に進める。
このように、音声認証部203aは、同じ音圧における基準データ(登録音声データ)を最初に検証することで、効率的にユーザーを認証することができ、ユーザー認証処理の期間を短縮することが可能となっている。
このように、音声認証部203aは、同じ音圧における基準データ(登録音声データ)を最初に検証することで、効率的にユーザーを認証することができ、ユーザー認証処理の期間を短縮することが可能となっている。
また、ステップS305において、音圧取得部202aが取得した音圧情報が40dBではない場合に、音声認証部203aは、データテーブルTB2に登録されている他の音声データ(例えば、Data(12)〜Data(15))に基づいて、上述と同様に、認証OKか否かを判定する。この場合も、制御部204aは、音声認証部203aがユーザーを認証した(認証OKである)場合(ステップS305:Yes)に、本シーケンス(ユーザー認証処理)を終了して、処理を図22のステップS4に進める。
一方、制御部204aは、音声認証部203aがユーザーを認証できなかった(認証NGである)場合(ステップS305:No)に、処理をステップS306に進める。
一方、制御部204aは、音声認証部203aがユーザーを認証できなかった(認証NGである)場合(ステップS305:No)に、処理をステップS306に進める。
続くステップS306〜ステップS307の処理、及びステップS314〜ステップS316の処理は、図28のステップS206〜ステップS207の処理、及びステップS214〜ステップS216の処理と同様であるので、ここでは説明を省略する。
ステップS307において、パスワード認証部205がユーザーを認証した(照合OKである)場合(ステップS307:Yes)に、制御部204aは、処理をステップS308に進める。また、制御部204aは、パスワード認証部205がユーザーを認証できなかった(照合NGである)場合(ステップS307:No)に、処理をステップS314に進める。
このように、パスワード認証部205は、音声認証部203aがユーザーを認証できない場合に、パスワードを取得し、取得したパスワードに基づいてユーザーを認証する。
ステップS307において、パスワード認証部205がユーザーを認証した(照合OKである)場合(ステップS307:Yes)に、制御部204aは、処理をステップS308に進める。また、制御部204aは、パスワード認証部205がユーザーを認証できなかった(照合NGである)場合(ステップS307:No)に、処理をステップS314に進める。
このように、パスワード認証部205は、音声認証部203aがユーザーを認証できない場合に、パスワードを取得し、取得したパスワードに基づいてユーザーを認証する。
次に、ステップS308において、制御部204aは、音圧情報、及び音声データをデータテーブルに登録する。ここでは、パスワードの照合がOKであったことを受けて、初期に登録を行った同じユーザー(正当なユーザー)であることが判明しているので、追加処理部206aは、ステップS303、及びステップS304の処理により、取得した音声データ及び音圧情報を、データテーブルTB2に追加記録する。
これは、上述のステップS305の処理において、音声認証部203aが音声データによる認証処理を行う際に、音圧が異なることで、声帯が一部振るえていなかったりしたためにユーザーを正しく認証できなかった可能性がある。そこで、本実施形態におけるヘッドマウントディスプレイ1は、異なる音圧の音声データを蓄積することにより、様々な音圧の音声データによる認証処理を行うことが可能となる。
例えば、音圧レベルが50dBであれば、音声データ(Data(12))を50dBの欄に基準データとして記憶させる。
このように、追加処理部206aが取得した音声データをデータテーブルTB2に追加した後に、制御部204aは、本シーケンス(ユーザー認証処理)を終了して、処理を図22のステップS4に進める。
このように、追加処理部206aが取得した音声データをデータテーブルTB2に追加した後に、制御部204aは、本シーケンス(ユーザー認証処理)を終了して、処理を図22のステップS4に進める。
以上説明したように、本実施形態におけるヘッドマウントディスプレイ1は、第1実施形態における虹彩認証部203の代わりに音声認証部203a(第1の認証部)を備え、追加処理部206aが、音圧取得部202aが取得した音圧情報と、音声認証部203aが認証に用いる基準データとして、取得した音声データを対応付けて追加するようにした。すなわち、本実施形態におけるヘッドマウントディスプレイ1は、音声データを取得する通話マイク37(集音部)を備えている。また、上述した第1の認証データには、音声データが含まれる。音声認証部203aは、通話マイク37が取得した音声データと、基準データ(登録音声データ)とに基づいてユーザーを認証する。音圧取得部202aは、通話マイク37が取得した音声データに基づいて、音声データの音圧情報を所定の情報として取得する。追加処理部206aは、パスワード認証部205が使用者を認証した場合に、取得した音声データと音圧情報とを対応付けてフラッシュメモリー122(データテーブルTB2)に記憶させる。
これにより、本実施形態におけるヘッドマウントディスプレイ1は、第1実施形態と同様の効果を奏する。すなわち、本実施形態におけるヘッドマウントディスプレイ1は、第1実施形態と同様に、ユーザーを正しく認証する認証率を向上させることができる。
これにより、本実施形態におけるヘッドマウントディスプレイ1は、第1実施形態と同様の効果を奏する。すなわち、本実施形態におけるヘッドマウントディスプレイ1は、第1実施形態と同様に、ユーザーを正しく認証する認証率を向上させることができる。
[第3実施形態]
次に、本発明に係る第3実施形態について、図面を参照して説明する。
本実施形態では、第3実施形態において、さらに瞬きによるユーザーの認証を実行する場合の一例を説明する。
本実施形態におけるヘッドマウントディスプレイ1は、処理部123aの処理が、第2実施形態と異なる。なお、本実施形態におけるヘッドマウントディスプレイ1の構成は、図1〜図6、図18、及び図19に示される第1実施形態と同様であるので、ここでは説明を省略する。
次に、本発明に係る第3実施形態について、図面を参照して説明する。
本実施形態では、第3実施形態において、さらに瞬きによるユーザーの認証を実行する場合の一例を説明する。
本実施形態におけるヘッドマウントディスプレイ1は、処理部123aの処理が、第2実施形態と異なる。なお、本実施形態におけるヘッドマウントディスプレイ1の構成は、図1〜図6、図18、及び図19に示される第1実施形態と同様であるので、ここでは説明を省略する。
図33は、本実施形態における処理部123bの機能ブロック図である。
この図において、処理部123bは、左右判定部201、音圧取得部202a、音声認証部203a、制御部204b、パスワード認証部205、追加処理部206b、及び瞬き認証部207を備えている。なお、この図において、図30と同一の構成については同一の符号を付し、その説明を省略する。
この図において、処理部123bは、左右判定部201、音圧取得部202a、音声認証部203a、制御部204b、パスワード認証部205、追加処理部206b、及び瞬き認証部207を備えている。なお、この図において、図30と同一の構成については同一の符号を付し、その説明を省略する。
瞬き認証部207は、音声認証部203aがユーザーを認証できない場合に、音声データとは異なる種類の第2の認証データである、瞬きパターンに基づく情報(瞬き情報)を取得し、取得した瞬き情報に基づいてユーザーを認証する。瞬き認証部207は、例えば、フラッシュメモリー122に記憶(登録)されている登録瞬き情報と、取得した瞬き情報とを比較し、当該比較結果に基づいてユーザーが正当なユーザーであるか否かを判定する。なお、瞬き情報による認証は、外界の明るさなどに影響されることがなく、とくに測定データを蓄積するなどの必要はない認証方法である。
瞬き認証部207は、ユーザーの認証結果(ユーザーが正当なユーザーであるか否かの結果)を制御部204b、パスワード認証部205、及び追加処理部206bに出力する。
瞬き認証部207は、ユーザーの認証結果(ユーザーが正当なユーザーであるか否かの結果)を制御部204b、パスワード認証部205、及び追加処理部206bに出力する。
また、瞬き認証部207は、瞬きパターンを撮像素子72が撮像した画像(動画)に基づいて取得する。ここで、瞬きパターンは、例えば、時間の経過に伴うユーザーの瞬きパターンであり、瞬きは所定の回数、瞬きをするものでもよいし、瞬きのタイミングを変えて、1回目は長く、2回目、3回目は短くなど行ってもよい。また、瞬き情報は、瞬きパターンそのものであってもよいし、時間の経過とともにユーザーの眼が「閉じている」「開いている」を繰り返す2値的(ディジタル的)な情報であってもよい。例えば、瞬き情報は、パスワード認証部205が認証するパスワードと同一の情報であってもよい。
なお、本実施形態において、パスワード認証部205と、瞬き認証部207とが、サブ認証部210(第2の認証部)に対応する。上述した第2の認証データには、瞬きパターンに基づく情報(瞬き情報)が含まれ、サブ認証部210(第2の認証部)の瞬き認証部207は、時間の経過に伴う使用者の瞬きパターンに基づいて、瞬き情報(第2の認証データ)を取得し、取得した瞬き情報に基づいてユーザーを認証する。また、上述した第2の認証データには、パスワードが含まれ、サブ認証部210のパスワード認証部205は、瞬きパターンに基づいて取得した第2の認証データ(瞬き情報)によって、ユーザーを認証できない場合に、操作スイッチ30によって入力された情報(パスワード)を第2の認証データとして取得し、入力された情報(パスワード)に基づいてユーザーを認証する。このように、本実施形態では、瞬き情報、及びパスワードが、第2の認証データに対応する。
制御部204bは、処理部123bにより実行される各種処理の制御を行う。
制御部204bは、瞬き認証部207の制御が追加されている点が、第2の実施形態における制御部204aと異なるが、その他の機能は、制御部204aと同様である。
制御部204bは、音声データによるユーザー認証処理の結果が正当なユーザーでない場合に、瞬き認証部207によるユーザー認証処理を実行し、瞬き情報によるユーザー認証処理の結果が正当なユーザーである場合に、通常動作に移行して各種情報の入出力処理を実行する。さらに、制御部204bは、瞬き情報によるユーザー認証処理の結果が正当なユーザーでない場合に、パスワード認証部205によるユーザー認証処理を実行し、パスワードによるユーザー認証処理の結果が正当なユーザーである場合に、通常動作に移行して各種情報の入出力処理を実行する。
制御部204bは、瞬き認証部207の制御が追加されている点が、第2の実施形態における制御部204aと異なるが、その他の機能は、制御部204aと同様である。
制御部204bは、音声データによるユーザー認証処理の結果が正当なユーザーでない場合に、瞬き認証部207によるユーザー認証処理を実行し、瞬き情報によるユーザー認証処理の結果が正当なユーザーである場合に、通常動作に移行して各種情報の入出力処理を実行する。さらに、制御部204bは、瞬き情報によるユーザー認証処理の結果が正当なユーザーでない場合に、パスワード認証部205によるユーザー認証処理を実行し、パスワードによるユーザー認証処理の結果が正当なユーザーである場合に、通常動作に移行して各種情報の入出力処理を実行する。
追加処理部206bは、瞬き認証部207又はパスワード認証部205がユーザーを認証した場合(正当なユーザーであると判定した場合)に、取得した音声データを基準データとして、音圧取得部202aが取得した音圧情報と対応付けて追加(補充)する。すなわち、追加処理部206bは、瞬き情報又はパスワードによりユーザーを認証できた場合に、ユーザーの認証に失敗した音声データと音圧情報とを対応付けて、音圧データのデータテーブルを補充する。具体的に、追加処理部206bは、瞬き認証部207又はパスワード認証部205がユーザーを認証した場合に、取得した音声データと、音圧情報とを対応付けてフラッシュメモリー122に記憶させる。
なお、本実施形態における音声データのデータテーブルの構成は、図31に示される第2実施形態におけるデータテーブルTB2と同様である。
なお、本実施形態における音声データのデータテーブルの構成は、図31に示される第2実施形態におけるデータテーブルTB2と同様である。
次に、本実施形態におけるヘッドマウントディスプレイ1の動作について説明する。
本実施形態に係るヘッドマウントディスプレイ1の電源オン状態後に行う動作は、図22に示す第1実施形態と同様であるのでここでは説明を省略する。
また、本実施形態における左右の眼の検出処理手順は、図24に示す第1実施形態と同様であるのでここでは説明を省略する。
本実施形態に係るヘッドマウントディスプレイ1の電源オン状態後に行う動作は、図22に示す第1実施形態と同様であるのでここでは説明を省略する。
また、本実施形態における左右の眼の検出処理手順は、図24に示す第1実施形態と同様であるのでここでは説明を省略する。
次に、本実施形態における「ユーザーの認証処理」手順について説明する。
図34は、本実施形態におけるユーザー認証処理手順の一例を示すフローチャートである。
図34は、本実施形態におけるユーザー認証処理手順の一例を示すフローチャートである。
図34において、まず、処理部123bの制御部204bは、ヘッドマウントディスプレイ1が初回使用であるか(工場出荷後に初めて使われるのか)を判定する(ステップS401)。制御部204bは、ヘッドマウントディスプレイ1が初回使用である場合(ステップS401:Yes)に、ユーザーのパスワードの設定(登録)がなされていないことが想定されるので、処理をステップS410に進める。また、制御部204bは、ヘッドマウントディスプレイ1が初回使用でない(2回目以降の使用である)場合(ステップS401:No)に、処理をステップS402に進める。
<ヘッドマウントディスプレイ1が初回使用である場合>
ステップS410〜ステップS414の処理は、図32のステップS309〜ステップS313の処理に対応し、ここでは説明を省略する。
ステップS410〜ステップS414の処理は、図32のステップS309〜ステップS313の処理に対応し、ここでは説明を省略する。
次に、ステップS415において、制御部204bは、瞬き情報を取得する。すなわち、制御部204bは、ユーザーが瞬きパターンとして複数回瞬きを行った状態の動画データを、撮像素子72を用いて取得する。制御部204bは、取得した動画データに基づいて、暗証パターンを瞬き情報として取得する。このときには、制御部204bは、表示部60に、瞬きを複数回行う旨の表示をおこなってもよい。
次に、制御部204bは、取得した瞬き情報を記録する(ステップS416)。すなわち、制御部204bは、取得した暗証パターン(瞬き情報)をフラッシュメモリー122に記憶させる。制御部204bは、瞬き情報を記録した後、処理を終了させる。
次に、ヘッドマウントディスプレイ1が初回使用でない場合のユーザー認証処理手順について説明する。
<ヘッドマウントディスプレイ1が初回使用でない場合>
ステップS402〜ステップS405の処理は、図32のステップS302〜ステップS305の処理に対応し、ここでは説明を省略する。
<ヘッドマウントディスプレイ1が初回使用でない場合>
ステップS402〜ステップS405の処理は、図32のステップS302〜ステップS305の処理に対応し、ここでは説明を省略する。
次に、ステップS406において、制御部204bは、ユーザーに瞬きを要求する。すなわち、制御部204bは、表示部60に瞬きによる暗証パターンの入力を求める表示を行い、ユーザーに瞬きによる暗証パターンの実行を求める。
次に、制御部204bは、ユーザーの眼の瞬きを検出する(ステップS407)。すなわち、制御部204bは、ユーザーが複数回瞬きを行った状態の動画データを、撮像素子72を用いて取得し、所得した動画データに基づいて、暗証パターンを瞬き情報として取得する。
次に、瞬き認証部207は、瞬きによる照合OKか否かを判定する(ステップS408)。すなわち、瞬き認証部207は、例えば、フラッシュメモリー122に記憶(登録)されている登録暗証パターンと、取得した暗証パターンとを比較し、当該比較結果に基づいてユーザーが正当なユーザーであるか(照合OKか)否かを判定する。制御部204bは、瞬き認証部207がユーザーを認証した(照合OKである)場合(ステップS408:Yes)に、処理をステップS409に進める。また、制御部204bは、瞬き認証部207がユーザーを認証できなかった(照合NGである)場合(ステップS408:No)に、処理をステップS417に進める。
このように、瞬き認証部207は、は、音声認証部203aがユーザーを認証できない場合に、瞬きパターンに基づく暗証パターンを取得し、取得した暗証パターンに基づいてユーザーを認証する。
このように、瞬き認証部207は、は、音声認証部203aがユーザーを認証できない場合に、瞬きパターンに基づく暗証パターンを取得し、取得した暗証パターンに基づいてユーザーを認証する。
続くステップS417〜ステップS421の処理は、図32のステップS306〜ステップS307の処理、及びステップS314〜ステップS316の処理と同様であるので、ここでは説明を省略する。
なお、ステップS418において、パスワード認証部205がユーザーを認証した(照合OKである)場合(ステップS418:Yes)に、制御部204bは、処理をステップS409に進める。また、制御部204bは、パスワード認証部205がユーザーを認証できなかった(照合NGである)場合(ステップS418:No)に、処理をステップS420に進める。
このように、パスワード認証部205は、音声認証部203aがユーザーを認証できない場合で、さらに、瞬き認証部207がユーザーを認証できない場合に、パスワードを取得し、取得したパスワードに基づいてユーザーを認証する。
なお、ステップS418において、パスワード認証部205がユーザーを認証した(照合OKである)場合(ステップS418:Yes)に、制御部204bは、処理をステップS409に進める。また、制御部204bは、パスワード認証部205がユーザーを認証できなかった(照合NGである)場合(ステップS418:No)に、処理をステップS420に進める。
このように、パスワード認証部205は、音声認証部203aがユーザーを認証できない場合で、さらに、瞬き認証部207がユーザーを認証できない場合に、パスワードを取得し、取得したパスワードに基づいてユーザーを認証する。
次に、ステップS409において、制御部204bは、音圧情報、及び音声データをデータテーブルに登録する。ここでは、パスワードの照合がOKであったことを受けて、初期に登録を行った同じユーザー(正当なユーザー)であることが判明しているので、追加処理部206bは、ステップS303、及びステップS304の処理により、取得した音声データ及び音圧情報を、データテーブルTB2に追加記録する。
以上説明したように、サブ認証部210(第2の認証部)は、時間の経過に伴うユーザーの瞬きパターンに基づく情報(例、暗証パターンなどの瞬き情報)を、第2の認証データとして取得し、所得したユーザーの瞬きパターンに基づく情報に基づいてユーザーを認証する。
これにより、本実施形態におけるヘッドマウントディスプレイ1は、第2実施形態と同様の効果を奏する。すなわち、本実施形態におけるヘッドマウントディスプレイ1は、第2実施形態と同様に、ユーザーを正しく認証する認証率を向上させることができる。
これにより、本実施形態におけるヘッドマウントディスプレイ1は、第2実施形態と同様の効果を奏する。すなわち、本実施形態におけるヘッドマウントディスプレイ1は、第2実施形態と同様に、ユーザーを正しく認証する認証率を向上させることができる。
また、本実施形態では、ヘッドマウントディスプレイ1は、自装置を操作する操作スイッチ30を備えている。そして、サブ認証部210は、瞬きパターンに基づく情報(瞬き情報)に基づいて、ユーザーを認証できない場合に、操作スイッチ30によって入力された情報(パスワード)を第2の認証データとして取得し、操作スイッチ30によって入力された情報に基づいてユーザーを認証する。
これにより、瞬き情報は、ヘッドマウントディスプレイ1を装着するだけで、撮像素子72から取得できるので、ユーザーはパスワードの入力のような手動の操作を行う必要がない。そのため、本実施形態におけるヘッドマウントディスプレイ1は、利便性を損なうことなく、ユーザーを認証することができる。
これにより、瞬き情報は、ヘッドマウントディスプレイ1を装着するだけで、撮像素子72から取得できるので、ユーザーはパスワードの入力のような手動の操作を行う必要がない。そのため、本実施形態におけるヘッドマウントディスプレイ1は、利便性を損なうことなく、ユーザーを認証することができる。
このように、本実施形態におけるヘッドマウントディスプレイ1は、簡便ではあるが、誤認証の可能性がある第1の認証方法(音声データによる認証)において、ユーザーを認証できなかった場合に、多少簡便性において劣るが、誤認証の可能性の少ない第2の認証方法(瞬きによる認証、又はパスワードによる認証)により認証を行う。そして、ヘッドマウントディスプレイ1は、第2の認証方法によりユーザーを認証した際には、第1の認証方法のデータテーブルTB2に、認証ができなかった情報を付加することで、第1の認証方法のデータテーブルTB2にデータを蓄積する。これにより、誤認証の少ないヘッドマウントディスプレイ1を提供することが可能となる。
なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、上記の実施形態では、ユーザーの身体的特徴を示す生体データとして、虹彩データ、又は音声データを用いてユーザーを認証する形態を説明したが、これに限定されるものではない。例えば、生体データとして、網膜、指紋、顔、耳の形などを用いてユーザーを認証する形態であってもよい。
また、第1の認証データに相関のある所定の情報は、照度情報又は音圧情報に限定されるものではなく、他の情報(例えば、虹彩データの場合は、瞳孔の大きさ情報など)でもよい。
例えば、上記の実施形態では、ユーザーの身体的特徴を示す生体データとして、虹彩データ、又は音声データを用いてユーザーを認証する形態を説明したが、これに限定されるものではない。例えば、生体データとして、網膜、指紋、顔、耳の形などを用いてユーザーを認証する形態であってもよい。
また、第1の認証データに相関のある所定の情報は、照度情報又は音圧情報に限定されるものではなく、他の情報(例えば、虹彩データの場合は、瞳孔の大きさ情報など)でもよい。
また、上記の実施形態において、虹彩データ、音声データ、パスワード、及び瞬き情報は、フラッシュメモリー122に記憶される形態を説明したが、メモリー127に記憶される形態であってもよい。
また、虹彩データのデータテーブルTB1、及び音声データのデータテーブルTB2は、行と列からなる2次元の表形式のデータである場合を説明したが、これに限定されるものではない。例えば、虹彩データの左右情報は、左右情報に応じて、左右の虹彩データの記憶領域(列の領域)を分けてデータテーブルTB1に記憶される形態を説明したが、左右情報の記憶領域(左右情報の列)と、1つの虹彩データの記憶領域(列の領域)に対して、左右情報と虹彩データとを対応付けて記憶される形態であってもよい。
また、虹彩データのデータテーブルTB1、及び音声データのデータテーブルTB2は、行と列からなる2次元の表形式のデータである場合を説明したが、これに限定されるものではない。例えば、虹彩データの左右情報は、左右情報に応じて、左右の虹彩データの記憶領域(列の領域)を分けてデータテーブルTB1に記憶される形態を説明したが、左右情報の記憶領域(左右情報の列)と、1つの虹彩データの記憶領域(列の領域)に対して、左右情報と虹彩データとを対応付けて記憶される形態であってもよい。
また、上記の第3実施形態では、第2実施形態に適用する一例を説明したが、第1実施形態に適用してもよい。すなわち、ヘッドマウントディスプレイ1は、虹彩データにより、ユーザーを認証できなかった場合に、瞬き情報によるユーザー認証処理を実行してもよい。
また、上記の第1実施形態と第2実施形態とを組み合わせて適用する形態であってもよい。
また、上記の第1実施形態と第2実施形態とを組み合わせて適用する形態であってもよい。
また、上記の第1実施形態において、照度情報に基づいて、認証のための比較に使用する登録虹彩データを選択する形態を説明したが、ヘッドマウントディスプレイ1は、例えば、登録虹彩データに合わせて、バックライト62や眼球照明ライト166a〜166dの発光量を制御してもよい。例えば、虹彩認証部203は、取得した照度の値が、登録虹彩データに対応する照度の値よりも低い場合に、登録虹彩データに対応する照度に近づくように、バックライト62や眼球照明ライト166a〜166の発光量を制御する。これにより、ヘッドマウントディスプレイ1は、環境光の明るさに応じて、瞳孔の大きさが変化した場合であってもユーザーを正しく認証することができる。
また、上記の各実施形態において、情報入出力装置の一例として、ヘッドマウントディスプレイ1に適用する形態を説明したが、これに限定されるものではなく、例えば、カメラ(撮像装置)や携帯電話などの携帯端末などの他の装置において適用してもよい。
なお、上記に説明した情報入出力装置(ヘッドマウントディスプレイ1)を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピュータシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
1…ヘッドマウントディスプレイ、37…通話マイク、30…操作スイッチ、63…表示パネル、64…カメラ、122…フラッシュメモリー、123,123a,123b…処理部、166a〜166d…眼球照明ライト、201…左右判定部、202…照度取得部、202a…音圧取得部、203…虹彩認証部、203a…音声認証部、204,204a,204b…制御部、205…パスワード認証部、206…追加処理部、207…瞬き認証部、210…サブ認証部
Claims (10)
- 取得した第1の認証データと、予め取得されている前記第1の認証データである基準データとに基づいて、使用者を認証する第1の認証部と、
前記第1の認証部が前記使用者を認証できない場合に、前記第1の認証データとは異なる種類の第2の認証データを取得し、取得した前記第2の認証データに基づいて前記使用者を認証する第2の認証部と、
前記第1の認証データと相関のある所定の情報を取得する取得部と、
前記第1の認証部が前記使用者を認証した場合に、情報の入出力処理を実行するとともに、前記第2の認証部が前記使用者を認証した場合に、前記入出力処理を実行する制御部と、
前記第2の認証部が前記使用者を認証した場合に、前記取得した第1の認証データを前記基準データとして、前記取得部が取得した前記所定の情報と対応付けて追加する追加処理部と
を備えることを特徴とする情報入出力装置。 - 前記第1の認証データは、使用者の身体的特徴を示す生体データである
ことを特徴とする請求項1に記載の情報入出力装置。 - 前記基準データと前記所定の情報とを対応付けて記憶する記憶部を備え、
前記第1の認証部は、
前記取得部が取得した前記所定の情報に基づいて、前記記憶部に記憶されている前記基準データのうちの、前記取得した第1の認証データと比較する前記基準データの順番を定め、当該順番に基づく前記基準データと前記取得した第1の認証データとを比較し、当該比較結果に基づいて、前記使用者が正当な使用者であるか否かを判定する
ことを特徴とする請求項1又は請求項2に記載の情報入出力装置。 - 画像を撮像する撮像部を備え、
前記第1の認証データには、虹彩データが含まれ、
前記第1の認証部は、
前記撮像部が撮像した画像に基づく前記虹彩データを取得し、取得した前記虹彩データと、前記基準データとに基づいて、前記使用者を認証し、
前記取得部は、自装置の周囲における照度情報を前記所定の情報として取得し、
前記追加処理部は、
前記第2の認証部が前記使用者を認証した場合に、取得した前記虹彩データと前記照度情報とを対応付けて前記記憶部に記憶させる
ことを特徴とする請求項3に記載の情報入出力装置。 - 前記画像に含まれる前記使用者の眼が右眼及び左眼のうちのいずれかであるかを判定する判定部を備え、
前記記憶部は、前記使用者の眼が右眼及び左眼のうちのいずれかであるかを示す左右情報と前記所定の情報と前記虹彩データとを対応付けて記憶し、
前記第1の認証部は、
前記記憶部に記憶されている前記基準データのうちの、前記判定部の判定結果に基づく前記左右情報に対応する前記虹彩データと、取得した前記虹彩データとに基づいて、前記使用者を認証し、
前記追加処理部は、
前記第2の認証部が前記使用者を認証した場合に、取得した前記虹彩データと、前記照度情報と、前記判定部の判定結果に基づく前記左右情報とを対応付けて前記記憶部に記憶させる
ことを特徴とする請求項4に記載の情報入出力装置。 - 音声データを取得する集音部を備え、
前記第1の認証データには、音声データが含まれ、
前記第1の認証部は、
前記集音部が取得した前記音声データと、前記基準データとに基づいて、前記使用者を認証し、
前記取得部は、前記集音部が取得した前記音声データに基づいて、前記音声データの音圧情報を前記所定の情報として取得し、
前記追加処理部は、
前記第2の認証部が前記使用者を認証した場合に、取得した前記音声データと前記音圧情報とを対応付けて前記記憶部に記憶させる
ことを特徴とする請求項3に記載の情報入出力装置。 - 自装置を操作する操作部を備え、
前記第2の認証部は、
前記操作部によって入力された情報を前記第2の認証データとして取得する
ことを特徴とする請求項1から請求項6のいずれか一項に記載の情報入出力装置。 - 前記第2の認証部は、
時間の経過に伴う前記使用者の瞬きパターンに基づく情報を、前記第2の認証データとして取得し、所得した前記使用者の瞬きパターンに基づく情報に基づいて前記使用者を認証する
ことを特徴とする請求項1から請求項6のいずれか一項に記載の情報入出力装置。 - 自装置を操作する操作部を備え、
前記第2の認証部は、
前記瞬きパターンに基づく情報に基づいて、前記使用者を認証できない場合に、前記操作部によって入力された情報を前記第2の認証データとして取得し、前記入力された情報に基づいて前記使用者を認証する
ことを特徴とする請求項8に記載の情報入出力装置。 - 前記第2の認証部は、
正当な使用者を正当な使用者でないと判定する本人拒否率が前記第1の認証部より低い
ことを特徴とする請求項1から請求項9のいずれか一項に記載の情報入出力装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012187720A JP2014044654A (ja) | 2012-08-28 | 2012-08-28 | 情報入出力装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012187720A JP2014044654A (ja) | 2012-08-28 | 2012-08-28 | 情報入出力装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014044654A true JP2014044654A (ja) | 2014-03-13 |
Family
ID=50395856
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012187720A Pending JP2014044654A (ja) | 2012-08-28 | 2012-08-28 | 情報入出力装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014044654A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015194017A1 (ja) * | 2014-06-19 | 2015-12-23 | 日立マクセル株式会社 | ウェアラブル装置および認証方法 |
JP2016062395A (ja) * | 2014-09-19 | 2016-04-25 | ヤフー株式会社 | 認証装置、認証方法、認証プログラムおよび認証システム |
JP2017049867A (ja) * | 2015-09-03 | 2017-03-09 | 日本電気株式会社 | 認証装置、防犯システム、認証方法およびプログラム |
CN106537412A (zh) * | 2014-06-10 | 2017-03-22 | 虹膜技术公司 | 可在室外及室内进行虹膜识别的手附着型可穿戴设备 |
JP2017526079A (ja) * | 2014-05-09 | 2017-09-07 | グーグル インコーポレイテッド | 眼信号を識別するためのシステムおよび方法、ならびに連続バイオメトリック認証 |
JP2020503578A (ja) * | 2016-10-13 | 2020-01-30 | アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited | 仮想現実を使用したユーザ識別認証 |
-
2012
- 2012-08-28 JP JP2012187720A patent/JP2014044654A/ja active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017526079A (ja) * | 2014-05-09 | 2017-09-07 | グーグル インコーポレイテッド | 眼信号を識別するためのシステムおよび方法、ならびに連続バイオメトリック認証 |
US10156900B2 (en) * | 2014-05-09 | 2018-12-18 | Google Llc | Systems and methods for discerning eye signals and continuous biometric identification |
CN106537412A (zh) * | 2014-06-10 | 2017-03-22 | 虹膜技术公司 | 可在室外及室内进行虹膜识别的手附着型可穿戴设备 |
JP2017526997A (ja) * | 2014-06-10 | 2017-09-14 | イリテック インコーポレイテッド | 室外及び室内で虹彩認識が可能な手付着型ウェアラブル装置 |
WO2015194017A1 (ja) * | 2014-06-19 | 2015-12-23 | 日立マクセル株式会社 | ウェアラブル装置および認証方法 |
JP2016062395A (ja) * | 2014-09-19 | 2016-04-25 | ヤフー株式会社 | 認証装置、認証方法、認証プログラムおよび認証システム |
JP2017049867A (ja) * | 2015-09-03 | 2017-03-09 | 日本電気株式会社 | 認証装置、防犯システム、認証方法およびプログラム |
JP2020503578A (ja) * | 2016-10-13 | 2020-01-30 | アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited | 仮想現実を使用したユーザ識別認証 |
US11227038B2 (en) | 2016-10-13 | 2022-01-18 | Advanced New Technologies Co., Ltd. | User identity authentication using virtual reality |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11755102B2 (en) | User interface interaction paradigms for eyewear device with limited field of view | |
JP6123180B2 (ja) | 表示装置 | |
JP6318462B2 (ja) | 表示装置 | |
US9552060B2 (en) | Radial selection by vestibulo-ocular reflex fixation | |
US9285872B1 (en) | Using head gesture and eye position to wake a head mounted device | |
JP2014021707A (ja) | 情報入出力装置、及び情報入出力方法 | |
US9274599B1 (en) | Input detection | |
JP2014044654A (ja) | 情報入出力装置 | |
US11982809B2 (en) | Electronic device with inner display and externally accessible input-output device | |
US20140152558A1 (en) | Direct hologram manipulation using imu | |
JP6011072B2 (ja) | 制御装置、及びプログラム | |
JP2013190941A (ja) | 情報入出力装置、及び頭部装着表示装置 | |
JP6719418B2 (ja) | 電子機器 | |
JP2017102516A (ja) | 表示装置、通信システム、表示装置の制御方法、及び、プログラム | |
JP6136090B2 (ja) | 電子機器、及び表示装置 | |
JP2014123883A (ja) | 頭部装着型情報入出力装置、及び頭部装着型情報入出力方法 | |
JP6015223B2 (ja) | 電子機器、及び表示装置 | |
JP2014021272A (ja) | 情報入出力装置、及び情報入出力方法 | |
JP2013251813A (ja) | 電子機器、表示制御システム、およびプログラム | |
JP2018206080A (ja) | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 | |
JP2014022937A (ja) | 頭部装着型情報入出力装置、及び頭部装着型情報入出力方法 | |
JP2020077271A (ja) | 表示装置、学習装置、及び、表示装置の制御方法 | |
JP2020071587A (ja) | 表示装置、及び、表示装置の制御方法 | |
JP2013174730A (ja) | 情報表示装置 | |
JP2013175909A (ja) | 頭部装着装置 |