本実施形態に係るヘッドマウントディスプレイ(情報入出力装置)は、表示部がユーザーにより観察可能であるか否かを観察可否判定部により判定し、表示部がユーザーにより観察可能ではないと判定された場合、制御部が報知部から報知するように制御する。これにより、ユーザーは、表示部が観察可能な状況でなくても、報知により表示部を観察することに気づく。従って、ユーザーは、表示部に表示される情報を見逃さずに確認することができる。
以下、情報入出力装置をヘッドマウントディスプレイに適用した例について説明するが、本発明はこれに限られない。
以下、本発明の実施形態について図面を参照しながら説明する。
以下の説明においては、必要に応じてXYZ直交座標系を設定し、このXYZ直交座標系を参照しつつ、ヘッドマウントディスプレイの各部の位置関係について説明する。水平面内の所定方向をX軸方向、水平面内においてX軸方向と直交する方向をY軸方向、X軸方向及びY軸方向のそれぞれと直交する方向(すなわち鉛直方向)をZ軸方向とする。また、X軸、Y軸、及びZ軸まわりの回転(傾斜)方向をそれぞれ、θX、θY、及びθZ方向とする。
[第1実施形態]
図1は、本実施形態に係るヘッドマウントディスプレイ(頭部装着装置、以下、HMDともいう)1の斜視図である。図2は、本実施形態に係るディスプレイ本体とヘッドバンドを取り外した状態でのヘッドマウントディスプレイ1を背面側から見た斜視図である。
図3は、本実施形態に係るディスプレイ本体20の水平断面図である。図4は、本実施形態に係るヘッドバンドの動作説明図である。図5は、本実施形態に係るヘッドマウントディスプレイの装着形態(第1表示モード)を示す図である。
HMD1は、ディスプレイ本体20と、ユーザーの頭部に装着されディスプレイ本体20を支持するヘッドバンド40と、を備えた単眼式のヘッドマウントディスプレイである。本実施形態のHMD1は、図5に示すように、両眼どちらでも使用可能である。図5(A)には、ユーザーが右眼(右目)で表示部60を見ている状態、図5(B)には左眼(左目)で見ている状態が示されている。
また、図2に示すように、ディスプレイ本体20とヘッドバンド40とは、連結ピン41を介して着脱可能に構成されている。なお、図1及び図2では、ディスプレイ本体20の長手方向をY軸方向、ヘッドバンド40がユーザーの頭部を挟持する方向をX軸方向としている。
以下、HMD1の各部の構成について詳細に説明する。
ディスプレイ本体20は、主要回路を内蔵するとともに操作部や各種インタフェースを備えた装置本体部21と、装置本体部21の先端に連結された表示部60とを有する。
装置本体部21は、概略板状の筐体21A(図3参照)を有する。本実施形態では、装置本体部21においてヘッドバンド40との接続部が設けられている側の端部(+Y側の端部)を基端部とし、この基端部と反対側の端部(−Y側の端部)を先端部とする。また、装置本体部21をヘッドバンド40に装着した状態で、装置本体部21のヘッドバンド40側(+X側)を内側、ヘッドバンド40と反対側(−X側)を外側とする。
装置本体部21の外面には、図1に示すように、メインスイッチ28と、タッチスイッチ34と、集音マイク(音響取得部)24とが、筐体21Aの長手方向に沿って配置されている。
メインスイッチ28はディスプレイ本体20の電源のオンオフ操作を行うスイッチである。タッチスイッチ34は、表面に手指等で触れることによりHMD1の各種操作を行うことができるタッチパネルである。集音マイク24は、環境音を収集する外部マイクである。
装置本体部21内面の基端部側に、図2に示すように、耳元スピーカー23と、オーディオコネクター26と、連結孔31を有するヘッドバンドヒンジ32とが設けられている。装置本体部21内面の中央部に心拍数センサー137が設けられている。装置本体部21の内側面の先端部には通話マイク37が設けられている。
耳元スピーカー23は、ユーザーの耳の近傍に配置される。耳元スピーカー23からユーザーに音声情報が伝えられる。オーディオコネクター26は、例えば、図6に示すイヤホンが接続される音声入出力端子である。ヘッドバンドヒンジ32はヘッドバンド40とのジョイント部である。通話マイク37にはユーザーの音声が入力される。
心拍数センサー137は、ユーザーの顔の表面に接触させることでユーザーの心拍数を測定するセンサーである。心拍数センサー137は、発光ダイオード等を備えた発光部と、ユーザーの皮膚内部で反射した光を検知する受光部とを有する。心拍数センサー137は、血流の変化による反射光量の変化を検出することで心拍数をカウントする。心拍数センサー137はユーザーの眼の近くに配置されるが、発光部から赤外域の光を射出させる構成とすればユーザーにまぶしさを感じさせることはない。
装置本体部21の基端部側の側端面には、USBコネクター25と、操作スイッチ30と、ビデオコネクター27とが設けられている。
USBコネクター25はUSB(Universal Serial Bus)デバイスの接続端子である。本実施形態では、例えば不図示のリモコン(リモートコントローラー)が接続される。
操作スイッチ30は、例えばトラックボールやスティックなどのポインティングデバイスである。操作スイッチ30は表示部60に表示される画面に正対するように設けられている。これにより、操作スイッチ30における操作の左右方向と、上記画面の左右方向とが一致するので、ユーザーは画面を見ながら直感的に操作スイッチ30を操作することが可能である。
ビデオコネクター27は映像入出力端子である。
図3に示すように、装置本体部21には、筐体21Aの長手方向に沿って延びる板状の回路基板29と、バッテリー33とが内蔵されている。回路基板29には、図示略の制御回路、電源回路等が実装されており、図示略の配線を介してディスプレイ本体20の各部と電気的に接続されている。
装置本体部21の外面に露出するタッチスイッチ34の内側には、液晶パネルからなる表示パネル36と、バックライト35とが配置されている。本実施形態では、表示パネル36の表示画像がタッチスイッチ34を透過して表示される。表示パネル36及びバックライト35を、有機ELパネルや電気泳動パネルとしてもよい。
ヘッドバンドヒンジ32は、筐体21Aに設けられた凹曲面状の収容部32aと、収容部32aに嵌合された球状部32bとからなるボールジョイントである。球状部32bは、球面状の側面部と、この側面部を挟むように互いに平行に形成された2つの平面部を有する。2つの平面部を垂直に貫くように連結孔31が形成されている。連結孔31は軸方向視で六角形状に形成されている。連結孔31にヘッドバンド40の連結ピン41が挿入されることによりディスプレイ本体20とヘッドバンド40とが連結される。
ヘッドバンドヒンジ32を備えていることで、ディスプレイ本体20は、図1に示したA方向(ヘッドバンドヒンジ32を中心とするX軸回り)に回動させることができる。本実施形態において、ディスプレイ本体20の回転可能範囲は270°程度とされる。このX軸回りの回転動作により、図5(A)に示す右眼で画像を観察する形態と、図5(B)に示す左眼で画像を観察する形態との切替機能が実現される。
またヘッドバンドヒンジ32はボールジョイントであるため、ディスプレイ本体20は図1に示すB方向(ヘッドバンドヒンジ32を中心とするZ軸回り)に揺動させることもできる。この揺動操作により、ディスプレイ本体20のユーザーの眼や耳に対する位置を調整することができる。
ヘッドバンドヒンジ32近傍の心拍数センサー137は、装置本体部21の内面から突出するように設けられ、HMD1の装着時にユーザーの顔の表面に当接可能とされている。バッテリー33は一次電池、二次電池のいずれであってもよい。
表示部60は、図1及び図2に示すように、装置本体部21の先端部に連結されている。本実施形態において、表示部60のヘッドバンド40側を内側、ヘッドバンド40と反対側を外側とする。表示部60は、上面視(Z軸視)において湾曲した形状を有するアーム部材であり、装置本体部21との連結部から先端側へ向かうに従って内側へ湾曲する形状を有する。表示部60の内面に、ファインダー開口部67が設けられている。表示部60の外面には、カメラ64が設けられている。また、図2に示すように、ファインダー開口部67の形状は、長方形である。
表示部60の筐体面には、眼球照明ライト166a〜166dが、ファインダー開口部67の近傍に備えられている。図2では、眼球照明ライト166a及び166bは、ファインダー開口部67の長辺の一方に沿った位置であって、ファインダー開口部67の隅の近傍に備えられている。また、眼球照明ライト166c及び166dは、ファインダー開口部67の長辺の他方に沿った位置であって、ファインダー開口部67の隅の近傍に備えられている。
眼球照明ライト166a〜166dは、例えば赤外線の波長領域の光を放射するLED(発光ダイオード)である。眼球照明ライト166a〜166dは、ユーザーと表示部60との位置関係に応じて、点灯または消灯される。以下では、眼球照明ライト166a〜166dを、眼球照明ライト166と総称する。
図3に示すように、表示部60は、ディスプレイヒンジ61を介して装置本体部21と連結されている。ディスプレイヒンジ61は、表示部60の筐体60Aに形成された凹曲面状の収容部61aと、装置本体部21に形成され収容部61aに嵌合された球状部61bとからなるボールジョイントである。
装置本体部21の球状部61bは、装置本体部21の外面先端部に形成された筐体21Aの長手方向に対して斜めに延びる傾斜面21aに、傾斜面21aの法線方向(図3のY’軸方向)に突出するようにして設けられている。
表示部60は、ディスプレイヒンジ61の球状部61bに対してY’軸回りに自由に回転させることができる。これにより、図3(A)に示す視聴可能状態から表示部60を回転させることで、図3(B)に示す収容状態に移行することができる。本実施形態では、ディスプレイヒンジ61が装置本体部21の上記傾斜面に設けられており、表示部60が内側に湾曲した形状を有している。これにより、図3(B)に示す収容状態において、表示部60は装置本体部21の外面に沿うように配置される。
また、ディスプレイヒンジ61がボールジョイントであることから、表示部60は、Y’軸回りの回転面に対して直交する方向の揺動も可能である。この揺動動作により、ユーザーによるファインダー開口部67の位置調整が容易になる。表示部60と装置本体部21との間隔を大きくすれば、表示部60の揺動幅を大きくすることができる。
ディスプレイヒンジ61の球状部61bには、球状部61bを高さ方向(Y’軸方向)に貫通する貫通孔61cが形成されている。貫通孔61cを介して、表示部60の内部と装置本体部21の内部とが連通されている。貫通孔61cには不図示のケーブルが挿通される。挿通されたケーブルを介して回路基板29と表示部60の各部とが電気的に接続される。
表示部60の内部には、バックライト62と、表示パネル63と、カメラ(第2撮像部)64と、プリズム65と、反射ミラー66と、前方ライト68と、前方スピーカー70と、結像レンズ71と、撮像素子(第1撮像部)72とが設けられている。なお、表示部60の光学系の構成については、後述する。
カメラ64は、例えば500万画素〜1000万画素の撮像素子を有し、オートフォーカス動作が可能に構成される。カメラ64は、その撮像素子の受光面に結像した画像(光学像)を撮像する。カメラ64は、例えば、ユーザーにとっての正面方向を撮像することができる。なお、撮像された画像は、動画形式または静止画形式のいずれで信号処理されてもよい。
前方ライト68は、例えばLEDライトである。前方ライト68は、赤、緑、青の各色の発光素子を有し、任意の色を任意のタイミングで発光させることが可能に構成してもよい。前方ライト68は、発光色や発光タイミングにより外部に対して情報を表示する装置として用いてもよく、カメラ64で撮影する際の照明装置として用いてもよい。
撮像素子72は、その受光面に結像した画像(光学像)を撮像する。撮像素子72は、例えば、ユーザーの顔を撮像することができる。なお、撮像された画像は、動画形式または静止画形式のいずれで信号処理されてもよい。
また、図3では図示を省略したが、本実施形態に係る表示部60にはレーザー発信器が設けられている。レーザー発信器は、例えば前方ライト68の近傍に設けることができる。レーザー発信器から射出される例えば赤色レーザー光を前方に照射することで、レーザー光によるポインティング(指標の表示)が可能である。
次に、ヘッドバンド40について、図2及び図4を参照しつつ説明する。
ヘッドバンド40は、図2に示すように、ユーザーの頭部を挟持する一対のヘッドパット(装着部材)46、47と、第1ヘッドバンド43と、第2ヘッドバンド44と、回動機構56、57とを備えている。
第1ヘッドバンド43は、全体として円弧状を成す弾性部材である。第1ヘッドバンド43の頂部に、第1ヘッドバンド43を折り曲げるためのジョイント部43aが設けられている。第1ヘッドバンド43の両端には、回動機構56、57を構成する軸受部43b、43cがそれぞれ設けられている。軸受部43b、43cよりもさらにバンド先端側に、ヘッドパット46、47が接続される軸受部43d、43eが設けられている。
第2ヘッドバンド44は、全体として円弧状を成す弾性部材である。第2ヘッドバンド44の頂部には、第2ヘッドバンド44を折り曲げるためのジョイント部44aが設けられている。第2ヘッドバンド44の両端には、それぞれ回動機構56、57を構成する軸部材44b、44cが設けられている。
また本実施形態において、第2ヘッドバンド44は、ステンレス等の金属からなるバネ部材48の表面を樹脂等の柔軟な材料で被覆した構成を有する。この第2ヘッドバンド44のバネ部材48においてユーザーの頭部を挟持するバネ力を発生させる。また第2ヘッドバンド44は第1ヘッドバンド43と比較して広い幅に形成されている。ジョイント部44aの形成部分は他のバンド部分よりもさらに広く形成された標章表示部49とされている。標章表示部49には、シールや印刷により製品タグ等が付される。なお、第2ヘッドバンド44の全体を金属で形成してもよい。
ヘッドパット46は、板状の支持板46aと、支持板46aの一面側に設けられた断面アーチ状の弾性部材46bとを有する。支持板46aの弾性部材46bと反対側の面に、当該面に垂直な姿勢で概略六角柱状の連結ピン41が立設されている。連結ピン41は、第1ヘッドバンド43の一方の先端に設けられた軸受部43dに軸支されている。これにより、ヘッドパット46は連結ピン41回りに回転可能である。
ヘッドパット47は、板状の支持板47aと、支持板47aの一方の面に設けられた断面アーチ状の弾性部材47bとを有する。支持板47aの弾性部材47bと反対側の面には、軸部材47cが設けられている。軸部材47cは、第1ヘッドバンド43の先端に設けられた軸受部43eに軸支されている。これにより、ヘッドパット47は、軸部材47c回りに回転可能である。
この構成により、第2ヘッドバンド44は、回動機構56によって第1ヘッドバンド43から離れる方向に回動付勢される一方、回動機構57によって第1ヘッドバンド43に対して所定角度以内の範囲に回動規制される。これにより、第2ヘッドバンド44は第1ヘッドバンド43に対して所定の角度となるように保持される。したがって、回動機構56、57は、ヘッドバンド40における角度保持機構として機能する。
次に、以上の構成を備えたHMD1におけるヘッドバンドの動作等について、図4、図5を参照しつつ説明する。以下、ユーザーにとっての右側を「ユーザーの右側」と称する。また、ユーザーにとっての左側を「ユーザーの左側」と称する。また、ユーザーにとっての上側を「ユーザーの上側」と称する。また、ユーザーにとっての下側を「ユーザーの下側」と称する。また、ユーザーにとっての時計回り方向を「時計回り方向」と称する。
また、ユーザーにとっての反時計回り方向を「反時計回り方向」と称する。
図5に示したように、本実施形態のHMD1は、図5(A)に示す右眼観察形態と、図5(B)に示す左眼観察形態を切り替えて使用することができる。ここで、右眼観察形態とは、ユーザーが右眼で表示部60を観察する形態である。また、左眼観察形態とは、ユーザーが左眼で表示部60を観察する形態である。以下、図5(A)及び図5(B)示した形態、すなわち、ユーザーから見てファインダー開口部67が横長に配置される形態を、第1表示モードと称する。
例えば、右眼観察形態から左眼観察形態へ切り替えるには、まず、ヘッドバンド40に連結されたディスプレイ本体20を、ヘッドバンドヒンジ32(図2を参照)の回転軸回り(図5では、A方向)に180°程度回転させる。さらに、ヘッドバンド40において、回動機構56及び57(図4を参照)の軸回りに第2ヘッドバンド44を揺動させることで、第2ヘッドバンド44の位置と第1ヘッドバンド43の位置との前後関係を入れ替える。この操作により、図5(B)に示すように、ユーザーの左眼側にディスプレイ本体20が配置され、且つ、第2ヘッドバンド44がユーザーの後頭部側に配置された左眼観察形態に、HMD1は切り替えられる。
右眼観察形態では、右眼の近傍にある眼球照明ライト166a及び166bが点灯し、眼球照明ライト166c及び166dが消灯する。一方、左眼観察形態では、左眼の近傍にある眼球照明ライト166c及び166dが点灯し、眼球照明ライト166a及び166bが消灯する。
本実施形態では、図4に示すように、第1ヘッドバンド43の円弧高さr1を、第2ヘッドバンド44の円弧高さr2よりも小さくしている。これにより、第2ヘッドバンド44を第1ヘッドバンド43と交差させるように移動させても、互いに干渉することなく円滑に前後を入れ替えることができる。
図4に示す円弧高さr1は、同軸に配置された回動機構56、57の回転軸Lの中央位置Cから第1ヘッドバンド43までの距離の最大値である。また円弧高さr2は、回転軸Lの中央位置Cから第2ヘッドバンド44までの距離の最大値である。
なお、第1ヘッドバンド43の円弧高さr1を第2ヘッドバンド44の円弧高さr2よりも大きくし、第2ヘッドバンド44を第1ヘッドバンド43の内側で揺動させる構成としてもよい。
図6は、本実施形態に係るヘッドマウントディスプレイに付属のステレオイヤホンを示す斜視図である。
ステレオイヤホン100は、コネクター101と、ケーブル102と、第1スピーカー103と、第2スピーカー104と、集音マイク105と、複数のクリップ106とを有する。
コネクター101はケーブル102の一方の端部に設けられている。コネクター101は、一般的な4極φ3.5mmのミニプラグである。4極の内訳は、集音マイク105、第1スピーカー103、第2スピーカー104、グランド(GND)である。ケーブル102は、コネクター101の近傍において二分岐され、分岐されたケーブルの先端に第1スピーカー103が設けられている。ケーブル102の他方の端部には、第2スピーカー104と集音マイク105とが設けられている。複数のクリップ106は、ケーブル102上に所定の間隔で配置されている。
ステレオイヤホン100は、コネクター101をディスプレイ本体20のオーディオコネクター26に接続して使用される。ステレオイヤホン100が接続されると、ディスプレイ本体20の耳元スピーカー23と、表示部60の通話マイク37は無効化される。また表示部60の前方スピーカー70も必要に応じて無効化される。そして、ステレオイヤホン100の第1スピーカー103、第2スピーカー104、及び集音マイク105が有効化される。
ステレオイヤホン100の第1スピーカー103は、ディスプレイ本体20が配置された側のユーザーの耳に装着され、第2スピーカー104は第1スピーカー103と反対側の耳に装着される。このとき、ケーブル102は、クリップ106によって第2ヘッドバンド44に固定することができる。
また、ステレオイヤホン100の集音マイク105と、ディスプレイ本体20において筐体21Aの外側面に設けられた集音マイク24とにより、ステレオ録音が可能である。
例えば、図5(A)に示すようにディスプレイ本体20が右眼側に配置されているとすれば、ディスプレイ本体20の集音マイク24はユーザーの右側の音を収集し、左耳に装着された集音マイク105はユーザーの左側の音を収集する。
また、右眼観察形態では、ステレオイヤホン100の第1スピーカー103から右チャンネルの音声が出力され、第2スピーカー104からは左チャンネルの音声が出力される。
一方、図5(B)に示すようにユーザーの左眼側にディスプレイ本体20が配置されている場合には、ディスプレイ本体20の集音マイク24がユーザーの左側の音を収集し、右耳に装着された集音マイク105がユーザーの右側の音を収集する。左眼観察形態では、ステレオイヤホン100の第1スピーカー103から左チャンネルの音声が出力され、第2スピーカー104からは右チャンネルの音声が出力される。
次に、眼球照明ライト166a〜166dの点灯と消灯について説明する。
図7は、本実施形態に係る眼球照明ライト166の点灯と消灯を説明する図である。図7(A)は、右眼観察形態における眼球照明ライト166の点灯と消灯を説明する図である。図7(B)は、左眼観察形態における眼球照明ライト166の点灯と消灯を説明する図である。図7(A)及び図7(B)において、ユーザーの顔の正面方向を、HZと表記する。
図7(A)に示した例では、表示部60は、右眼の斜め下に配置されている。また、正面方向HZと表示部60の画面の法線とは、角度αを成している。HMD1は、眼球照明ライト166a〜166dのうち、ユーザーの眼に近い側の眼球照明ライトを選択し、選択した眼球照明ライトを点灯させる。一方、HMD1は、選択した以外の眼球照明ライト、すなわち、ユーザーの眼から遠い側の眼球照明ライトを消灯させる。
図7(A)では、眼球照明ライト166a及び166bは、正面方向HZから角度α1だけ下側に配置されている。一方、眼球照明ライト166c及び166dは、正面方向HZから角度α2だけ下側に配置されている。ここで、角度α1は、角度αより小さく、角度α2は、角度αより大きい。つまり、眼球照明ライト166a及び166bは、眼球照明ライト166c及び166dよりも、ユーザーの右眼の近くに配置されている。
この場合、HMD1は、眼球照明ライト166a及び166bを点灯させ、且つ、眼球照明ライト166c及び166dを消灯させる。この点灯状態で、撮像素子72は、ユーザーの右眼の周りを撮像する。以下、ユーザーの右眼の周りが撮像された画像を、「右眼の周辺画像」という。
なお、右眼の周辺画像には、右眼の画像、右眉毛の画像、顔の一部(頭、髪の毛等)の画像が含まれてもよい。また、左眼の周辺画像には、左眼の画像、左眉毛の画像、顔の一部(頭、髪の毛等)が含まれてもよい。以下、右眼の周辺画像、及び左眼の周辺画像を、「眼の周辺画像」と総称する。
図7(A)に示した例では、ユーザーの右眼から遠い側の眼球照明ライト166c及び166dは、ユーザーの頬が邪魔になり、ユーザーの右眼を照明できないこともある。したがって、HMD1は、ユーザーの右眼から遠い側の眼球照明ライト166c及び166dを消灯させる。これにより、HMD1は、消費電力を低減させることができる。
一方、図7(B)では、眼球照明ライト166c及び166dは、正面方向HZから角度α3だけ下側に配置されている。一方、眼球照明ライト166c及び166dは、正面方向HZから角度α4だけ下側に配置されている。ここで、角度α3は、角度αより小さく、角度α4は、角度αより大きい。つまり、眼球照明ライト166a及び166bは、眼球照明ライト166c及び166dよりも、ユーザーの左眼の近くに配置されている。
この場合、HMD1は、眼球照明ライト166c及び166dを点灯させ、且つ、眼球照明ライト166a及び166bを消灯させる。この点灯状態で、撮像素子72は、ユーザーの左眼の周りを撮像する。以下、ユーザーの左眼の周りが撮像された画像を、「左眼の周辺画像」という。
図7(B)に示した例では、ユーザーの左眼から遠い側の眼球照明ライト166a及び166bは、ユーザーの頬が邪魔になり、ユーザーの左眼を照明できないこともある。したがって、HMD1は、ユーザーの左眼から遠い側の眼球照明ライト166a及び166bを消灯させる。これにより、HMD1は、消費電力を低減させることができる。
つまり、HMD1は、ユーザーと表示部60との位置関係に応じて、眼球照明ライト166a〜166dのうち、ユーザーの眼をより正面から照明することができる眼球照明ライトを点灯させ、それ以外の眼球照明ライトを消灯させる。
次に、表示部60の構成及び光学系を説明する。
図8は、本実施形態に係る表示部60の構成及び光学系を説明するための表示部60の断面図である。図8に示すように、本実施形態の表示部60は、バックライト62、表示パネル(表示部)63、第1プリズム65a、第2プリズム65b、反射ミラー66、ファインダー開口部67、結像レンズ71、撮像素子72、1/4波長板75を含んで構成されている。図8において、符号H、I、J、K、L、M、Nは、各々、光線を表す。
まず、表示部60の構成を説明する。
プリズム65は、上面視(Z軸視)で略三角形状の第1プリズム65aと第2プリズム65bとを互いの面で貼り合わせた構成を有する。この貼り合わせ面以外の第1プリズム65aの他の二面のうち、一方の面に対向する位置に、液晶パネルからなる表示パネル63が設けられている。表示パネル63の背面に表示パネル63を透過照明するバックライト62が配置されている。第1プリズム65aの他方の面に対向する位置に反射ミラー66が配置されている。反射ミラー66は、ファインダー開口部67のほぼ正面に位置する。
第2プリズム65bの貼り合わせ面以外の他の二面のうち、一方の面はファインダー開口部67に配置されたファインダー接眼面である。第2プリズム65bの他方の面に対向する位置には結像レンズ71を介して撮像素子72が対向配置されている。
次に、表示部60の光学系を説明する。
表示部60において、表示パネル63に表示された画像は、第1プリズム65a、反射ミラー66、第2プリズム65bを介してファインダー開口部67から射出され、ユーザーに観察される。また、ファインダー開口部67を見ている画像は、第2プリズム65b及び結像レンズ71を介して撮像素子72上に結像される。
なお、撮像素子72を介して取得された撮像画像は、ユーザーの視線の方向や瞬き、表情の解析、表示部60の姿勢の解析に用いる。撮像画像には、眼の周辺画像が含まれている。なお、バックライト62は、撮像素子72による眼の周辺画像を撮像する際の補助照明としても利用されてもよい。
バックライト62が照射した光は、表示パネル63を透過して、第1プリズム65aに入射される。このとき、表示パネル63の液晶の特性上、バックライト62が照射した光が偏光され、偏光された光線HのS偏光が第1プリズム65aに入射される。
光線Hは、第1プリズム65aの裏面65dに設けられた空気層の影響により全反射し、光線Iとして第1プリズム65aと第2プリズム65bの接合面65cに入射する。ここで2つのプリズムの接合面65cには、S偏光が反射し、P偏光が透過する偏光反射膜が蒸着されている。ここで、光線Hは、S偏光であるため、接合面65cで反射して光線Jとなる。光線Jは、裏面65dに入射角0度で入射されるため、裏面65dを透過して1/4波長板75に入射される。
光線Jは、空気層を通った後に1/4波長板75を透過することで、進行方向に対して右回りの円偏光となる。そして反射ミラー66で反射した光線Kは、反射によって左回りの円偏光となる。そして、光線Kは、1/4波長板75を再び透過し、P偏光となる。
光線Kは、P偏光に変換されたため、接合面65cを透過できるので、ファインダー開口部67を通過できる。このような構成により、ユーザーは、表示パネル63上に表示された画像データを、ファインダー開口部67越に観察できる。
一方、ファインダー開口部67から入射した光線Lは、接合面65cで反射してS偏光の光線Mに変換される。光線Mは、第2プリズム65bにおける前面65eの空気層で全反射して光線Nになる。光線Nは、結像レンズ71により集光され、集光した光線Nが撮像素子72に入射する。このような構成により、ユーザーの眼の前面に、ファインダー開口部67が配置された場合、撮像素子72には、ユーザーの眼の周辺画像(光学像)が結像する。
次に、右眼観察形態で、ファインダー開口部67を介してユーザーが観察する画像と、撮像素子72により撮像される画像とについて説明する。
なお、図10、図13及び図15では、光学的に等価になるように、反射ミラー66(図8を参照)は、凸レンズに置き換えられている。また、図10、図13、及び図15において、一点鎖線CTは、結像レンズ71の光軸を表している。
以下、表示部60が、ユーザーの眼から所定距離内に配置されている状態を、「第1観察状態」という。
図9は、第1〜第3観察状態のそれぞれにおける表示領域の違いを説明する図である。
第1観察状態では、表示部60がユーザーの眼から所定距離内に配置されているので、表示パネル63の全表示領域は、ユーザーから観察可能である。したがって、表示パネル63は、この全表示領域に画像を表示させることができる。すなわち、表示パネル63の全表示領域が、表示領域Sとなる。
以下、表示領域Sの横の長さを、Swと表記する。また。表示領域Sの縦の長さを、Shと表記する。また、以下では、一例として、Swは800画素、Shは600画素として説明を続ける。また、表示領域Tの縦の長さを、Thと表記する。また、表示領域Tの横の長さを、Twと表記する。また、表示領域Uの縦の長さを、Uhと表記する。また、表示領域Uの横の長さを、Uwと表記する。
図10は、第1観察状態における観察範囲と撮像範囲を説明する図である。観察範囲67aにユーザーの眼がある場合、ファインダー開口部67を介して、ユーザーは、表示パネル63の全表示領域に相当する表示領域Sを観察することができる。また、観察範囲67aは、反射ミラー66(図10では、凸レンズ)の光軸上では、ファインダー開口部67から距離Pまでの範囲にある。一方、撮像素子72が撮影することができる撮影範囲67cは、観察範囲67aを含んでいる。つまり、撮像素子72は、観察範囲67aにユーザーの眼がない場合でも、撮影範囲67cにユーザーの眼があれば、ユーザーの眼を眉毛なども含めて撮像することができる。
図11は、第1観察状態における撮像画像の一例を説明する図である。図11の略中心には、撮像素子72によりユーザーの眼が撮像されている。この場合、図7(A)を用いて説明したように、眼球照明ライト166a及び166bが点灯している。右眼観察形態の場合、図11における+Z側が鉛直上方向、−Z側が鉛直下方向、+X側がユーザーの左側、−X側がユーザーの右側となる。なお、左眼観察形態の場合、表示部60が180度反転されているので、右眼観察形態と比較して、眼の周辺画像は左右上下が反転することになる。
図11において、符号601Rは、右眼の画像を示す符号であり、符号602Rは、右眉毛の画像を示す符号である。符号604Aは、眼球照明ライト166a(図2を参照)による輝点の画像を示す符号であり、符号604Bは、眼球照明ライト166b(図2を参照)による輝点の画像を示す符号である。また、符号L41は、X軸方向におけるユーザーの眼の幅を示す符号である。例えば、第1観察状態において、撮像素子72の解像度が、横方向(X軸方向)に640画素である場合、画像における眼の幅L41は、350画素程度である。
図11では、ユーザーの眼と眉毛の距離が幅L41以下なので、撮像画像には、適切な範囲が撮像されているといえる。このように、ユーザーの眼を下側から撮影することは、有効である。
このように、第1観察状態では、ユーザーが正面を見る際、ファインダー開口部67が邪魔にならない。また、後述するように、第1観察状態では、撮像素子72による撮像画像に撮像された眉毛、目元及び眼球の動きに基づいて、HMD1は、ユーザーの視線方向を検出することができる。
以下、ユーザーの眼が、第1観測状態と比較して表示部60から離れている状態を、「第2観察状態」という。
次に、第2観察状態について、図9、図12、及び図13を用いて説明する。
図12は、第2観察状態における撮像画像の一例を説明する図である。符号601R1は、右眼の画像を示す符号であり、符号602R1は、右眉毛の画像を示す符号である。
符号604Cは、眼球照明ライト166aによる輝点の画像を示す符号であり、符号604Dは、眼球照明ライト166bによる輝点の画像を示す符号である。また、符号L71は、X軸方向におけるユーザーの眼の幅を示す符号である。
第2観察状態では、ユーザーの眼が表示部60から離れているので、第1観察状態よりも、ユーザーの眼の画像が小さく撮像される。撮像画像におけるユーザーの眼の幅L71が、第1観察状態におけるユーザーの眼の幅L41以下(例えば、300画素以下)である場合、HMD1は、ユーザーが表示部60から眼を離していると判定する。
図13は、第2観察状態における観察範囲と撮像範囲を説明する図である。図13では、ユーザーの眼eyeは、反射ミラー66(図13では、凸レンズ)の光軸上で、ファインダー開口部67から距離P以上距離P2以内の位置に在り、第1観察状態における観察範囲67b(光軸上で、ファインダー開口部67から距離P以内)には無い。このため、ユーザーは、表示領域S(図9を参照)の一部しか観察することができない。
そこで、第2観察状態では、HMD1は、縮小率ηで縮小した画像を、表示領域T(図9を参照)に表示させる。第2観察状態において、表示領域Tに表示される画像の縮小率η(第1観察状態との比率)は、次式(1)により示される。
η = L71/L41 ・・・(1)
例えば、ユーザーの眼の幅L41(図11を参照)が350画素であるのに対して、L71(図12を参照)が220画素である場合、HMD1は、約0.63倍(=(L71/L41)=(Th/Sh)=(Tw/Sw))に縦横をそれぞれ縮小した画像を、表示パネル63の表示領域Tに表示させる。表示領域Tに表示された画像(光学像)の全体は、ファインダー開口部67の縁に遮られることなく、ユーザーの眼に届く。なお、第2観察状態において、HMD1は、眼球照明ライト166の輝度を、第1観察状態におけるその輝度と比較して高くしてもよい。
以下、表示部60とユーザーの眼との相対位置が、第2観測状態と比較して左右いずれかの方向にずれている状態を、「第3観察状態」という。
次に、第3観察状態について、図9、図14、及び図15を用いて説明する。
図14は、第3観察状態における撮像画像の一例を説明する図である。第3観察状態では、第2観察状態と比較して、ユーザーの眼の画像が、一例として、画像の中心付近から右下方向にベクトルV1だけずれて撮像されているとする。
符号601R2は、右眼の画像を示す符号であり、符号602R2は、右眉毛の画像を示す符号である。符号604Eは、眼球照明ライト166aによる輝点の画像を示す符号であり、符号604Fは、眼球照明ライト166bによる輝点の画像を示す符号である。
また、一点鎖線で示した605Aは、ユーザーの眼の位置がずれていない場合に撮像される眼球の外形画像を表す。また、符号605Bは、ユーザーの眼が光軸中心にある場合の眼球の画像を表す。
図15は、第3観察状態における観察範囲と撮像範囲を説明する図である。図15では、ユーザーの眼eyeは、観察範囲67e内、すなわち、ファインダー開口部67から距離P以上離れ、且つ、光軸CTから内側にV1のX成分量(=V1x)だけずれている位置に在る。観察範囲67eに在るユーザーの眼は、第1観察状態における観察範囲67b(光軸上で、ファインダー開口部67から距離P以内)には無いので、表示領域S(図9を参照)の一部しか観察することができない。
そこで、第3観察状態では、HMD1は、ユーザーから表示画像の全体が観察できるように、所定の縮小率(=(Uh/Sh)=(Uw/Sw))で画像を縮小する。また、HMD1は、この縮小した画像を、表示領域U(図9を参照)に表示させる。ここで、HMD1は、表示領域S(図9を参照)における表示領域Uの位置を、ユーザーの眼の位置ずれ量及び方向に応じて定める。第3観察状態では、表示領域Uは、表示領域Sの右上に定められている。
ここで、結像レンズ71及び撮像素子72から成る撮像系の記録画素数は、例えば、横640画素、縦480画素であるとする。また、結像レンズ71及び撮像素子72から成る撮像系の画角は、横60度、縦45度であるとする。この場合、1画素当たりの画角は、約0.094度となる。
したがって、ユーザーの眼の位置の水平方向のずれ量(ベクトルV1のX成分量)が、例えば、50画素であれば、ユーザーの眼の位置は、4.7度(=50画素×0.094度)ほどずれていることになる。表示領域S(図9を参照)の水平方向(Sw:800画素)の視野角が、例えば、35度であれば、HMD1は、表示パネル63の中心から、108画素分(=Sw×4.7度÷35度)だけ、水平方向右に表示領域Uの位置を定める。HMD1は、垂直方向についても同様に、所定画素数だけずらした位置に表示領域Uを定める。
図14及び図15では、HMD1は、表示領域Uの水平方向Uwが500画素、縦方向Uhが375画素となるまで画像を縮小し、表示領域Sの中心から水平方向右に108画素、且つ、ベクトルV1のz成分量(=V1z)に対応する前記所定画素数だけ垂直方向上にずらした位置に、表示領域Uを定める。表示領域Uには、表示領域Uと同じ縮小率で縮小された画像が表示される。これにより、ユーザーの眼eyeが光軸上からずれた場合でも、HMD1は、画像の全体が見えるよう、その画像を表示することができる。
HMD1は、撮像画像から、例えば、眼の輪郭の画像を抽出し、抽出した眼の輪郭の画像の位置に基づいて、眼の位置ずれ量及び方向(ベクトルV1)を検出する。ここで、眼の位置ずれ量及び方向の検出は、撮像画像から眼球の画像を抽出し、抽出した眼球の輪郭画像のずれ量に基づいて、その眼の位置ずれ量及び方向を検出してもよい。また、HMD1は、眼球照明ライトLED166a〜166d(図2を参照)を適宜点灯させ、それらの眼球照明ライトが投射した光によるスポットを、ユーザーの眼球上で測定することで、ベクトルV1を検出するようにしてもよい。
上述したように、ユーザーの眼が表示部60から離れている、又は、光軸からずれている場合でも、HMD1では、ユーザーと表示部60との位置関係に応じて、ユーザーが画像の全領域を観察可能となるように、表示部60に画像を表示することができる。なお、表示領域を定めるタイミングは、注視点検出のためのキャリブレーション処理(後述)の前後のいずれでもよい。
次に、表示部60の配置と、ユーザーの眼の撮像について説明する。
図16は、眼の正面に表示部60を配置して、眼を含む周辺の画像を撮像する例を説明する図である。図17は、本実施形態に係る眼の下側に表示部60を配置して、眼を下から撮像する例を説明する図である。
図16及び図17において、符号L11は、ユーザーの下瞼から眉毛までの距離を表している。また、図16及び図17において、距離L11は、40[mm]である。また、図16及び図17において、ユーザーの顔を横から見た場合における、上下方向をZ軸方向と、前後方向をY軸方向と称する。
図16に示すように、眼の正面に表示部60を配置した場合、ユーザーの下瞼から眉毛までを撮像するためには、幅L11以上(例えば、幅L31)を撮像できるまで、表示部60の結像レンズ71を、ユーザーの顔から遠ざける必要がある。ここで、幅L31は、例えば、70[mm]である。幅L31の範囲が撮像される場合、ユーザーの眼から結像レンズ71の中心まで、距離L21だけ離される必要がある。ここで、距離L21は、例えば85[mm]である。
なお、距離L21は、図8に示した光学系において、第1プリズム65a、第2プリズム65b等の光路長も含んでいる。仮に、第1プリズム65a、第2プリズム65b等の光路長の合計が20[mm]であるとすると、ユーザーの顔からY軸方向に65(=85−20)[mm]だけ、表示部60を遠ざける必要がある。
従って、眼の正面に表示部60を配置した場合、ユーザーの下瞼から眉毛までを撮像するためには、表示部60は、ユーザーの顔から遠ざけられた位置に配置される必要がある。
一方、図17に示すように、眼の下側に表示部60が配置された場合、ユーザーの下瞼から眉毛までの距離L11の範囲を撮像するためには、幅L61の撮像範囲を撮像する必要がある。ここで、下から煽るように撮像しているため、幅L61は、図16に示した幅L31より短い。例えば、幅L61は、20[mm]である。この撮像範囲20[mm]を確保するために必要な撮影距離(距離L51)は、例えば、45[mm]である。
図16と同様に、第1プリズム65a、第2プリズム65b等の光路長の合計が20[mm]である場合、表示部60は、ユーザーの顔から25[mm]だけ遠ざけられる。また、Y軸方向に対して表示部60が角度β傾けてられている場合、顔から結像レンズ71までのY軸方向の距離は、45[mm]にcosβが乗算された値となる。
HMD1は、眼の下に配置された表示部60が、眼の周辺画像を撮像できるので(図17を参照)、表示部60が眼の正面に配置された場合と比較して(図16を参照)、顔から表示部60までの距離が短い。これにより、HMD1は、大型化してしまうことがない。また、HMD1は、表示部60がユーザーの正面に配置されないため、表示部60がユーザーの正面視野を遮ることもない。さらに、HMD1は、表示部60がユーザーの顔の近傍に配置されることも可能なので、例えば、狭い作業空間などにおいて、表示部60が邪魔になることもない。
また、HMD1は、表示部60が眼の下に配置された場合、表示部60が眼の正面に配置された場合と比較して(図16を参照)、眼球照明ライト166の輝度を低くしてもよい。これにより、HMD1は、消費電力を低減させることができる。
次に、右眼観察形態と左眼観察形態との切り替えに伴う、撮像素子72の設置角度の調整について説明する。
図18は、本実施形態に係る撮像素子72の画角と選択範囲を説明する図である。図18(A)は、右眼観察形態における撮像素子72の画角と選択範囲を説明する図である。
図18(B)は、左眼観察形態における撮像素子72の画角と選択範囲を説明する図である。なお、図18(A)及び図18(B)では、第1ヘッドバンド43、第2ヘッドバンド44、装置本体部21等は、図示が省略されている。
図19は、本実施形態に係る撮像領域と選択領域を説明する図である。図19(A)は、ヘッドバンドヒンジ32(図2を参照)が揺動された場合における、撮像素子72(図3を参照)による撮像領域を説明する図である。また、図19(B)は、撮像領域から選択された選択領域を説明する図である。ここで、符号Pは、撮像素子72が撮像可能な範囲を示す符号である。また、撮像素子72は、例えば、4対3のアスペクト比を有する。
右眼観察形態の場合、第1表示モード(図5(A)を参照)では、撮像素子72は、撮像領域のアスペクトが縦長になるように、表示部60内に設けられている。この場合、撮像素子72は、図18(A)及び図19(B)に示すように、符号Pで示した領域(以下、「撮像領域P」という)のうち、符号Qで示された領域(以下、「選択領域Q」という)に撮像される範囲のみの画像データを取り込む。これにより、撮像素子72は、右眼観察形態において、眉毛まで含めて右眼の画像データを適切に取り込むことができる。
一方、左眼観察形態の場合、第1表示モード(図5(B)を参照)では、撮像素子72は、撮像領域のアスペクトが縦長になるように、表示部60内に設けられている。この場合、撮像素子72は、図18(B)及び図19(B)に示すように、撮像領域Pのうち、符号Rで示された領域(以下、「選択領域R」という)に撮像される範囲のみの画像データを取り込む。これにより、撮像素子72は、左眼観察形態において、眉毛まで含めて左眼の画像データを適切に取り込むことができる。
また、HMD1は、右眼観察形態又は左眼観察形態のいずれであるかを、加速度センサー132が検出した検出値(後述)の代わりに、撮像素子72による撮像画像に基づいて適切に判定することができる。なお、右眼観察形態又は左眼観察形態のいずれであるかを判別する方法は、後述する。
図20は、本実施形態に係る選択範囲の選択を機械的に行う機構を説明する図である。
撮像素子72の本体72aには、回転軸72bが固定されている。この回転軸72bに対しては、ダイヤル72cが設けられている。ユーザーは、ダイヤル72cを回動可能範囲で回動(図20では、D方向)にさせることで、回転軸72bを軸として、撮像素子72をチルトさせることができる。
結像レンズ71が上を向く方向にチルトされた場合、選択領域Q(図19(B)を参照)は、撮像領域Pにおける上側の領域に定められる。これにより、撮像素子72は、ユーザーの眼及び眉毛を、撮像領域Qで撮像することができる。一方、結像レンズ71の下を向く方向にチルトされた場合、選択領域R(図19(B)を参照)は、撮像領域Pの下側の領域に定められる。これにより、撮像素子72は、ユーザーの眼及び眉毛を、撮像領域Rで撮像することができる。
なお、HMD1は、ダイヤル72cにより、撮像領域Q又は選択領域Rの位置を微調節することも可能である。また、撮像素子72による撮像画像が表示部60に表示された場合、ユーザーは、表示部60に表示されている撮像画像を観察しながら、表示部60と眼の位置関係に応じて、撮像素子72の撮像領域を選択することができる。この結果、HMD1は、範囲が適切になるよう撮像された撮像画像を用いて、HMD1の位置合わせ(後述)、及び注視点検出のためのキャリブレーションの精度を高めることができる。
次に、HMD1の機能ブロックについて説明する。
図21は、本実施形態に係るヘッドマウントディスプレイ1の機能ブロック図である。
HMD1には、処理部123を中心として種々の電気回路が備えられている。処理部123は、例えば、CPU(中央演算装置:Central Processing Unit)であり、HMD1の各種回路と接続されるとともに、HMD1を総合的に制御する。処理部123は、例えば、「左右の眼に検出処理」、「装着ガイドの処理」、「眼球照明ライトの選択処理」、「注視点のキャリブレーション処理」、及び「業務ロギングの処理」等を行う。なお、処理部123が行う各処理については、後述する。
バッテリー33は、電力を電源回路120に供給する。
電源回路120は、バッテリー33から供給された電力を、処理部123の制御によりHMD1の各部に供給する。
本実施形態の場合、処理部123には、エンコーダー129及びデコーダー121、電源回路120、操作スイッチ30、フラッシュメモリー122、BLドライバ126、BT通信回路130、WiFi通信回路131、加速度センサー132、地磁気センサー133、前方ライト68、3G/LTE通信回路138、レーザー発信器73、角速度センサー134、GPSセンサー(測位センサー)135、温湿度センサー136、心拍数センサー137、メモリー127、メインスイッチ28、タッチスイッチ34、ヘッドバンドセンサー151、眼球照明ライト166a〜166dが接続されている。
エンコーダー129は音声信号及び画像信号を所定方式の音声データ及び画像データにエンコード(符号化)する。エンコーダー129には、カメラ64、撮像素子72、集音マイク24、通話マイク37、オーディオコネクター26、ビデオコネクター27が接続されている。
エンコーダー129には、集音マイク24及び通話マイク37から入力される音声信号、カメラ64から入力される画像信号、オーディオコネクター26から入力される音声信号、ビデオコネクター27から入力される画像信号、及び、眼の周辺画像を撮影する撮像素子72の画像信号が入力される。エンコーダー129に入力された音声信号及び画像信号は音声データ及び画像データにエンコードされた後、処理部123に入力される。入力された音声データ及び画像像データは、処理部123による再生動作に用いられたり、フラッシュメモリー122に記録される。
デコーダー121は、音声データ及び画像データを音声信号及び画像信号にデコード(復号化)する。デコーダー121には、LCDドライバ125、スピーカーアンプ162、オーディオコネクター26、及びビデオコネクター27が接続されている。LCDドライバ125は液晶パネル用の駆動制御装置であり、表示パネル36及び表示パネル63に接続されている。スピーカーアンプ162は音声信号を増幅してスピーカーに出力する装置であり、耳元スピーカー23及び前方スピーカー70に接続されている。
画像データを再生する場合、フラッシュメモリー122に記録された画像データ、あるいはエンコーダー129から入力される画像データは、処理部123を介してデコーダー121に入力される。デコーダー121に入力された画像データは、画像信号にデコードされた後、LCDドライバ125を介して表示パネル36、63に供給される。そして、画像信号が入力された表示パネル36又は表示パネル63に画像データに基づく画像が表示される。また、デコーダー121からビデオコネクター27に出力される画像信号は、ビデオコネクター27を介して外部機器に出力される。
また画像の表示に際して、処理部123は、必要に応じて表示パネル36用のバックライト35、及び表示パネル63用のバックライト62を点灯させる。BLドライバ126は、バックライト用の駆動制御装置であり、バックライト35及びバックライト62に接続されている。処理部123は、BLドライバ126に駆動信号を送信し、BLドライバ126はバックライト35、62を個々に点灯させる。
音声データを再生する場合、フラッシュメモリー122に記録された音声データ、あるいはエンコーダー129から入力される音声データは、処理部123を介してデコーダー121に入力される。デコーダー121に入力された音声データは、音声信号にデコードされた後、スピーカーアンプ162を介して耳元スピーカー23及び前方スピーカー70のいずれか一方、又は両方に出力される。そして、音声信号を入力された耳元スピーカー23又は前方スピーカー70から音声が出力される。また、デコーダー121からオーディオコネクター26に出力される音声信号は、オーディオコネクター26を介してステレオイヤホン100に出力される。
本実施形態の場合、耳元スピーカー23及び前方スピーカー70は、モノラル音声の使用を想定しており、耳元スピーカー23及び前方スピーカー70からは左右の音声信号が合成された音が発せられる。
一方、ステレオイヤホン100に音声信号が出力される場合、第1スピーカー103及び第2スピーカー104のそれぞれ左チャンネル又は右チャンネルの音が出力される。ここで、本実施形態のHMD1は左右両用であるため、装着位置に応じてステレオイヤホン100への音声信号のチャンネルが切り替わる。すなわち、ディスプレイ本体20が右眼に装着されている場合には、第1スピーカー103に右チャンネル、第2スピーカー104に左チャンネルの音が出力される。ディスプレイ本体20が左眼に装着されている場合には第1スピーカー103に左チャンネル、第2スピーカー104に右チャンネルの音が出力される。
メモリー127には、処理部123によって実行される制御プログラムが記憶されている。
全体の電源のオンオフを行うメインスイッチ28や、画面内でのポインティング操作を行うための操作スイッチ30、あるいはタッチ操作により各種操作を行うタッチスイッチ34がユーザーにされると、これらのスイッチから操作に基づく制御信号が処理部123へ出力される。処理部123は、制御信号により操作を検出し、上記の制御プログラムに規定された動作を実行する。
BT通信回路130は、他の機器とのBluetooth(登録商標)通信を行うための通信回路である。WiFi通信回路131は、他の機器との無線LAN通信(IEEE
802.11)を行うための通信回路である。3G/LTE通信回路138は、他の機器との移動通信を行うための通信回路である。
加速度センサー132は、HMD1の傾き検出に用いられる。加速度センサー132は、例えば3軸センサーであり、重力加速度を検出する。加速度センサー132は、例えば、装置本体部21内に取り付けられている。
以下、加速度センサー132の座標は、地表に直立したユーザーがHMD1を頭に装着している場合における、ユーザーにとっての上下方向をZ軸方向、左右方向をX軸方向、前後方向をY軸方向とする。また、加速度センサー132は、右眼観察形態の場合にZ軸方向の検出値が負値となり、左眼観察形態の場合にZ軸方向の検出値が正値となるように、取り付けられている。
地磁気センサー133は、HMD1の方角検出に用いられる。角速度センサー(ジャイロセンサー)134は、HMD1の回転検出に用いられる。GPSセンサー135はGPS(Global Positioning System)を利用した測位検出に用いられる。温湿度センサー136は、環境の温度、湿度の検出に用いられる。
心拍数センサー137は、ユーザーの頬に接触し、ユーザーの心拍数を検出し、検出した検出値を装着処理部311に出力する。心拍数センサー137は、例えば、赤外線を照射し、この赤外線の反射波に基づいて心拍数を測定し、測定した心拍数を示す情報を検出値として制御部302に出力する。また、心拍数センサー137は、赤外線の反射波に基づいて、HMD1が頭部近傍数センチ以内にあることを検出し制御部302に出力する。
ヘッドバンドセンサー151はヘッドバンド40に設けられた連結ピン41を検出するセンサーである。具体的にヘッドバンドセンサー151は、連結ピン41が連結孔31に挿通された状態、すなわち、ヘッドバンド40とディスプレイ本体20とが連結された状態を検出し、検出した結果を示す検出信号を処理部123へ出力する。なお、ヘッドバンドセンサー151は、ヘッドバンド40の代わりに例えばヘルメットのようなものにディスプレイ本体20が装着される場合を想定して、ヘルメットに設けられた連結ピン41を検出するものであっても良い。
図22は、本実施形態に係る処理部123の機能ブロック図である。処理部123は、入力検出部301、制御部302、記憶部303、眼球照明部304、音響制御部(報知部)305、画像切替部306、画像表示部307、及び送受信部308、行動履歴登録部309、及び観察可否判定部310、を備えている。図22では、WiFi通信回路131及び3G/LTE通信回路138(図21を参照)を、「通信インタフェース(131、138)」と総称する。
入力検出部301は、タッチスイッチ34上で行われた操作の種類を判別し、判別した結果に基づく制御信号を、制御部302、画像切替部306、及び送受信部308に出力する。タッチスイッチ34上で行われた操作の種類とは、発信の指示、及び受信の指示等である。入力検出部301は、タッチスイッチ34上の所定の領域がタッチされた場合、タッチされた領域に基づいて、これらの操作の種類を判別する。
制御部302は、加速度センサー132が検出した検出値、及び撮像素子72による撮像画像の少なくとも一方に基づいて、右眼観察形態又は右眼観察形態を判別する。ここで、制御部302は、撮像素子72による撮像画像については、例えば、眉毛と眼との相対位置、瞬きでの瞼の挙動、眉毛の輪郭、眼の輪郭、眼の左右の目尻の下がり方等に基づいて、撮像画像に映っているユーザーの眼が、左右どちらの眼の画像であるか(右眼観察形態又は右眼観察形態)を判別する。
制御部302は、撮像画像に映っているユーザーの眼が左右どちらの眼の画像であるか判別した結果に基づいて、眼球照明ライト166の点灯及び消灯を制御する。また、制御部302は、判別した結果に基づいて、オーディオコネクター26に接続されているステレオイヤホン100に出力する音声を制御する。また、制御部302は、判別した結果に基づいて、表示部60から投影する画像を制御する。
記憶部303には、検査対象装置に対応する検査位置をカウントするためのカウント用の値i(iは0以上の整数)が記憶されている。なお、検査対象装置とは、ユーザーが検査を行う対象の装置である。記憶部303には、GPSセンサー135が測位した測位情報に基づく情報が記憶される。記憶部303には、ユーザーIDが記憶されている。記憶部303には、制御部302が生成した、視線に基づいて操作するためのパラメータが記憶されている。
眼球照明部304は、制御部302または行動履歴登録部309の制御に基づいて、眼球照明ライト166a〜166dを、点灯または消灯させるように駆動する。
音響制御部305には、エンコーダー129が出力する音声データ(HMD1のユーザーの音声データ)、送受信部308が出力する受信信号が入力される。音響制御部305は、送受信部308が出力する受信信号から、他の端末のユーザーの音声データ(以下、他端末の音声データともいう)を抽出する。音響制御部305は、制御部302が出力する装着状態を示す情報に基づいて、エンコーダー129が出力する音声データ(HMD1のユーザーの音声データ)、又は、他の端末のユーザーの音声データに基づく音声を、ステレオイヤホン100の左右どちらのスピーカーに出力するのかを選択し、左右のスピーカーの各音量等を調整する。
画像切替部306は、入力検出部301が出力した制御信号に基づき、フラッシュメモリー122から読み出した画像データ、またはエンコーダー129が出力した画像データを取得する。画像切替部306は、取得した画像データの表示モードを、制御部302が出力した装着状態を示す情報に基づいて切り替え、切り替えた表示モードで、画像データを画像表示部307に出力する。ここで、表示モードとは、例えば、第1表示モード又は第2表示モード(図43で後述)である。
画像切替部306は、送受信部308が出力した受信信号から、画像切替信号を抽出する。画像切替部306は、画像切替信号が抽出できた場合、抽出した画像切替信号に基づき、フラッシュメモリー122から読み出した画像データ、またはエンコーダー129が出力した画像データを、画像表示部307に出力する。また、画像切替部306は、入力検出部301が出力した制御信号に基づき、エンコーダー129から出力された画像データ、またはフラッシュメモリー122から読み出した画像データの解像度を変換し、変換した画像データを画像表示部307に出力する。
画像切替部306は、観察形態に応じて表示部60に表示するための画像を回転させる角度((以下、表示角度という)例えば、0度、90度、180度、270度)を切り替える。これにより、画像切替部306は、ユーザーの姿勢がいかようにあっても、表示部60とユーザーの眼との関係に応じて、表示部60に表示する画像の表示方向を適切に切り替えて表示することができるなお、観察形態は、撮像画像に含まれるユーザーの片眼を含む領域の画像に基づいて認識される。具体的には、右眼観察形態のときの画像の表示角度を0度とした場合及び左眼観察形態のときの画像の表示角度を180度とした場合、制御部302は、右眼観察形態のときの画像の表示角度を0度に切り替え、左眼観察形態のときの画像の表示角度を180度に切り替える。
画像表示部307には、画像切替部306が出力した画像データが入力される。画像表示部307は、入力されたこれらの画像データに基づき、表示パネル63に表示する画像データを生成する。画像表示部307は、生成した画像データを、送受信部308、ビデオコネクター27、及びLCDドライバ125に出力する。
送受信部308は、入力検出部301が出力した制御信号に基づき、画像表示部307が出力した画像データを、通信インタフェース(131、138)を介して送信する。送受信部308は、通信インタフェース(131、138)を介して受信した受信信号を、画像切替部306に出力する。
行動履歴登録部309は、検査対象装置の検査を行うためにHMD1のユーザーが操作スイッチ30又はタッチスイッチ34を操作して「業務ロギングの処理」を開始したことに応じて、記憶部303に記憶されているユーザーIDを、送受信部308を介してサーバー200(図23参照)に送信する。
行動履歴登録部309は、送信したユーザーIDに応じてサーバー200から送信される検査情報を受信する。なお、検査情報とは、検査対象装置が配置されている位置を示す情報を含む情報である。検査対象装置が複数の場合、検査情報には、複数の検査対象装置が配置されている位置を示す情報、検査を行う順番を示す情報が含まれている。
行動履歴登録部309は、受信した検査情報と地磁気センサー133が検出した検出値とに基づいて、検査対象装置が配置されている方向を示す情報を表示パネル63に表示する。
なお、本発明において「業務ロギングの処理」とは、ユーザーが検査対象装置に対して検査を行っている間における移動ログ、観察ログ、またはスクリプトを実行して取得したデータのうちいずれかを、行動履歴登録部309が送受信部308を介してサーバー200に送信する処理を含む。さらに、「業務ロギングの処理」とは、サーバー200が、HMD1から受信した移動ログ、観察ログ、及びデータを記憶部202(図23参照)に記憶させる処理を含む。
移動ログとは、検査対象装置に対して検査を行っている間におけるHMD1のGPSセンサー135が測位した測位情報(緯度を示す情報、経度を示す情報、高度を示す情報、時刻情報)を含む履歴情報である。行動履歴登録部309は、例えば、予め定められている時間間隔で、移動ログをサーバー200に送信するようにしてもよく、あるいは、ユーザーが操作スイッチ30又はタッチスイッチ34を操作したときに移動ログをサーバー200に送信するようにしてもよい。
観察ログを示す情報とは、検査対象装置を検査している間にHMD1が処理した内容を示す履歴情報である。HMD1が処理した内容には、操作スイッチ30又はタッチスイッチ34が操作されたことを示す情報と操作された時刻情報、行動履歴登録部309がサーバー200に移動ログ、観察ログ、及びデータを送信したことを示す情報と送信した時刻情報、表示部60をユーザーが観察していたか否かを判別した結果を示す情報等が含まれる。行動履歴登録部309は、検査対象装置の検査終了毎に観察ログをサーバー200に送信するようにしてもよく、全ての検査対象装置に検査終了時に観察ログをサーバー200に送信するようにしてもよく、予め定められている時間間隔で観察ログをサーバー200に送信するようにしてもよい。
スクリプトファイルとは、例えば、HMD1に対して所定の動作を実行させるプログラムが記述されているファイルである。スクリプトファイルは、サーバー200がHMD1に送信する検査対象装置に係わる情報に含まれている。なお、検査対象装置に係わる情報については後述する。HMD1に対して実行させる所定の動作とは、HMD1が有する機能部を動作させる動作である。所定の動作の一例として、HMD1は、カメラ64により静止画または動画を撮像し、撮像した画像データをサーバー200に送信する。また、所定の動作の他の例として、HMD1は、集音マイク24により集音した音声をフラッシュメモリー122に記憶させて録音する。また、所定の動作の他の例として、HMD1は、集音マイク24により集音した音声、またはフラッシュメモリー122に記憶させた音声データをサーバー200に送信する。また、所定の動作の他の例として、HMD1は、検査を行う位置の温度及び湿度を温湿度センサー136によって取得し、取得した温度及び湿度を示す情報をサーバー200に送信する。
図22に戻って、行動履歴登録部309は、眼球照明ライト166の点灯及び消灯を制御し、バックライト62の点灯及び消灯を制御する。行動履歴登録部309は、観察可否判定部310が判定した結果に応じて、表示パネル(表示部)63に情報が表示される場合にその表示される情報がユーザーにより観察可能ではない状況の場合、耳元スピーカー23から表示パネル63に表示されている情報を観察するように促す報知を、音響制御部305を制御して行う。
なお、表示パネル63に表示される情報がユーザーにより観察可能な状況とは、以下(a)〜(e)のうちの少なくとも1つの状況である。(a)ユーザーが表示パネル63に表示されている情報を観察している状況。(b)ディスプレイ本体20が図3(B)のように折り畳まれていない状況。(c)図5(A)に示した状態からヘッドバンドヒンジ32(図3(A)参照)がA方向に90度回転させられていず表示部60がユーザーの頭頂部に配置されていない状況。(d)ヘッドバンド40とディスプレイ本体20とが連結された状況。(e)撮像素子72が撮像した撮像画像にユーザーの眼を含む領域が含まれている状況。
また、表示パネル63に表示される情報がユーザーにより観察可能ではない状況とは、以下の(f)〜(j)のうち少なくとも1つの状況である。(f)ユーザーが表示パネル63に表示される情報を観察していない状況。(g)ディスプレイ本体20が図3(B)のように折り畳まれている状況。(h)図5(A)に示した状態からヘッドバンドヒンジ32(図3(A)参照)がA方向に90度回転させられていて表示部60がユーザーの頭頂部に配置されている状況。(i)ヘッドバンド40とディスプレイ本体20とが連結されていない状況。(j)撮像素子72が撮像した撮像画像にユーザーの眼を含む領域が含まれていない状況。
行動履歴登録部309は、カメラ64が撮像した画像データからバーコードの画像を抽出する。行動履歴登録部309は、バーコードの画像が抽出できた場合、抽出したバーコードの画像に埋め込まれている検査対象装置を判別する固有情報(以下、検査対象装置IDという)を抽出する。行動履歴登録部309は、抽出した検査対象装置IDに対応する検査対象装置に係わる情報をサーバー200又はネットワーク上から取得する。例えば、取得されたバーコードに検査対象装置に係わる情報が所在するネットワーク上のアドレスを示すアドレス情報が含まれている場合、行動履歴登録部309は、バーコードからアドレス情報を抽出し、抽出したアドレス情報に基づいて、検査対象装置に係わる情報を、ネットワークを通じて取得する。なお、アドレス情報とは、例えば、Webページの場所を示すURL(Uniform Resource Locator)である。また、アドレス情報とは、検査対象装置を販売しているメーカーのホームページに、検査対象装置に対する注意事項または重点検査項目が記載されている場合、これらの情報が記載されているWebページの場所を示すURLを含んでいてもよい。行動履歴登録部309は、取得した検査対象装置に係わる情報に基づく情報を、表示パネル63に表示する。
行動履歴登録部309は、取得した検査対象装置に係わる情報からHMD1に対して所定の動作を実行するスクリプトファイルを抽出し、スクリプトを実行する。
ここで、検査対象装置に係わる情報を説明する。検査対象装置に係わる情報には、以下の情報のうち、少なくとも1つの情報が含まれている。
(1)検査対象装置の装置名
(2)検査対象装置の番号
(3)検査対象装置に対する検査項目
(4)検査における注意事項
(5)重点検査項目
(6)検査対象装置の検査項目、検査における注意事項、重点検査項目のうちいずれか1つが更新された場合、これらの各検査項目が更新された日時に関する情報(以下、更新日時情報という)
(7)検査対象装置の検査項目、検査における注意事項、重点検査項目のうちいずれか1つが更新された場合、これらの情報が更新されたことを示す情報(以下、更新有り情報という)
(8)注意事項がある場合、注意事項があることを示す情報(以下、注意事項有り情報)(9)チェック項目がある場合、チェック項目があることを示す情報(以下、チェック項目有り情報)
(10)HMD1に所定の動作を行わせるためのスクリプトファイル
検査における注意事項とは、例えば、検査対象装置を管理している管理者により、検査に際して注意する必要がある場合に、検査を行うユーザーに対して注意喚起するための情報である。重点検査項目とは、例えば、同じタイプの装置で検査結果に問題があった場合に、問題のあった箇所を重点的に検査するための検査項目である。
なお、検査対象装置に対する検査項目、検査における注意事項、及び重点検査項目は、管理者が必要に応じて、サーバー200に記憶されている各情報、またはネットワーク上にある各情報を更新する。
図22に戻って、観察可否判定部310は、表示パネル63に表示される情報がユーザーにより観察可能であるか否かを判定し、判定した結果を行動履歴登録部309に出力する。
観察可否判定部310は、表示パネル63に表示される情報がユーザーにより観察可能な状況であるか否かを判別する。観察可否判定部310は、例えば、以下のように表示パネル63に表示される情報がユーザーにより観察可能であるか否かの判定を行う。観察可否判定部310は、「注視点検出のためのキャリブレーション処理」で得られたLCD63上の座標(Dx(i),Dz(i))とユーザーの視線に基づく第2座標(Ex(i),Ez(i))との関係に基づき、上述した(a)の状況であるか否かを判定する。ここで、図39におけるステップS605時点のユーザーの視線に基づく座標を第1座標とする。また、第2座標は、ステップS603において、表示パネル63に表示される情報に表示された検査位置の方位を示す画像の座標を第2座標とする。
観察可否判定部310は、この第1座標と第2座標とを比較し、比較した結果、第1座標と第2座標とが一致すると判定された場合、上述した(a)の状況であると判定する。
一方、観察可否判定部310は、比較した結果、第1座標と第2座標とが一致しないと判定された場合、上述した(f)の状況であると判定する。
観察可否判定部310は、心拍数センサー137が検出した検出値に基づいて、ユーザーが頭部にHMD1を装着している状態であるか否かを判定することで、上述した(a)の状況であるか(f)の状況であるかを判定するようにしてもよい。そして、観察可否判定部310は、(a)の状況であるか(f)の状況であるかを判定した結果に基づいて、表示パネル63に表示される情報がユーザーにより観察可能な状況であるか否かを判定するようにしてもよい。
また、観察可否判定部310は、例えば、加速度センサー132が検出した検出値に基づいて、上述した(b)、(c)、(g)、(h)のいずれかの状況であるかを判定することで、表示パネル63に表示される情報がユーザーにより観察可能な状況であるか否かを判定するようにしてもよい。
また、観察可否判定部310は、例えば、ヘッドバンドセンサー151が検出した検出信号に基づいて、上述した(d)の状況であるか(i)の状況であるかを判定することで、表示パネル63に表示される情報がユーザーにより観察可能な状況であるか否かを判定するようにしてもよい。
また、観察可否判定部310は、撮像画像に基づいて、上述した(e)の状況であるか(j)の状況であるかを判定することで、表示パネル63に表示される情報がユーザーにより観察可能な状況であるか否かを判定するようにしてもよい。
図23は、本実施形態に係るHMD1を含む通信システムのシステム構成図である。図23に示すように、通信システムは、HMD1、HMD500、PC210、PC220、及びサーバー200から構成される。HMD1、HMD500、PC210、PC220、及びサーバー200は、ネットワーク230に接続されている。ネットワーク230は、無線LAN(Local Area Network)、3G回線、LTE回線等を介して接続されているインターネットなどのネットワークである。
図23において、HMD1は、図21で説明した構成であるが、処理手順を説明する上で必要な機能部のみを示している。なお、HMD1の表示パネル63を、以後、LCD63という。
HMD500は、図23に示すように、主にフラッシュメモリー522、処理部523、通信インタフェース(531、538)、地磁気センサー533、タッチスイッチ534、表示パネル(表示部)563(以後、LCD563という)、カメラ564を備えている。HMD500の各機能部は、HMD1の各機能部と同等である。
次に、サーバー200の構成について説明する。図23に示すように、サーバー200は、処理部201、記憶部202、及び通信インタフェース203を備えている。
サーバー200の処理部201は、各端末(HMD1、HMD500、PC210、及びPC220)から通信インタフェース203を介して受信した画像データ(動画、静止画、線画等)、音声データ、各端末の環境情報、及び各端末からの要求等の通信記録を、記憶部202に記録する。処理部201は、各端末の要求に応じて、記憶部202に記録してある画像データを読み出し、読み出した画像データを、各端末に送信する。
記憶部202には、ユーザーIDと検査対象装置に係わる情報が関連付けられて記憶されている。記憶部202には、サーバー200がHMD1から受信した移動ログを示す情報、及び観察ログを示す情報が、ユーザーIDと関連付けられて記憶される。記憶部202には、HMD1から受信した画像データ(静止画、動画)、音声データ、各種センサーが検出した検出値が、ユーザーIDに関連付けられて記憶される。記憶部202には、各端末のユーザーIDに対応するパーソナルデータ、例えば、ユーザーの名前や性別・国籍などのデータが、各端末の電話番号又はIPアドレス等の端末を識別できる情報と関連付けられて記憶されている。
通信インタフェース203は、例えば、WiFi通信回路、3G通信回路、LTE通信回路、有線LAN回路等を備えている。
次に、PC210及びPC220の構成について説明する。PC210及びPC220は、例えば、パーソナルコンピュータである。
PC210は、処理部211、記憶部212、通信インタフェース213、入力部214、表示部215、及びカメラ216を備えている。
PC220は、処理部221、記憶部222、通信インタフェース223、入力部224、表示部225、及びカメラ226を備えている。PC220の各機能部は、PC210の各機能部と同等である。
PC210の処理部211は、CPU(中央演算装置)及びGPU(Graphics
Processing Unit)等である。処理部211は、通信インタフェース213、入力部214、表示部215、及びカメラ216を制御する。処理部211は、記憶部212に記憶されている画像データ、通信インタフェース213を介して取得した画像データ、カメラ216で撮像された画像データを、後述するように通信インタフェース213介して取得した画像切替信号に基づいて切り替える。処理部211は、切り替えた画像データを通信インタフェース213及びネットワーク230に出力する。処理部211は、画像データを表示部215に出力する。処理部211は、入力部214の操作に基づき、表示部215上に、カーソル画像、または線画画像を表示するように制御する。処理部211は、通信インタフェース213を介して取得した受信信号に基づき、表示部215上に、カーソル画像、または線画画像を表示するように制御する。
記憶部212は、例えば、メモリー、HDD(ハードディスク)である。記憶部212には、PC210のOS(オペレーション・システム)、HMD1、HMD500及びPC220と通話を行うためのアプリケーション等が記憶されている。
通信インタフェース213は、例えば、無線LAN、または有線LAN、3G回線、LTE回線等の通信を行うインタフェースである。通信インタフェース213は、ネットワーク230を介して受信した情報を処理部211に出力する。通信インタフェース213は、処理部211が出力した情報を、ネットワーク230を介して、HMD1、HMD500、PC220、及びサーバー200に送信する。
入力部214は、例えば、キーボード、マウス、タブレットと操作ペン等である。入力部214は、入力された情報を、処理部211に出力する。なお、表示部215がタッチパネル機能を有する場合、表示部215は入力部214の機能を兼ねるようにしてもよい。
表示部215は、処理部211が出力した画像データに基づく画像を表示する。
一例として、表示部215には、HMD1が撮像した画像、PC210の入力部214の操作に応じた線画画像が合成されて表示される。
カメラ216は、例えば500万画素〜1000万画素の撮像素子を有するCMOS(相補型金属酸化膜半導体)またはCCD(Charge Coupled Device)である。
次に、HMD1の動作について説明する。図24は、本実施形態に係るHMD1の電源オン状態後に行う動作のフローチャートである。
(ステップS1)処理部123は、HMD1のシステムの起動の完了を待って、システムの起動が完了したらステップS2に進む。なお、起動とは、メインスイッチ28が操作されてHMD1がコールドスタートする場合、ならびにHMD1が所定時間使われなかった場合などにスリープ状態に至り、その後、タッチスイッチ34などを操作された場合、ウォームスタートした場合などである。
(ステップS2)処理部123は、ユーザーが左右、どちらの眼でHMD1の表示部60を観察しているか検出する処理(以下、左右の眼の検出処理という)を行う。なお、この「左右の眼の検出処理」の詳細な処理は、後述する。処理部123は、検出した結果に基づいて、表示部60に表示する画像の向きを切り替える。
(ステップS3)処理部123は、HMD1の表示部60が正しい装着位置に装着されるようにガイドを行う処理(以下、装着ガイドの処理という)を行う。なお、「装着ガイドの処理」の詳細な処理は、後述する。
(ステップS4)処理部123は、点灯させる眼球照明ライト166と、消灯させる眼球照明ライトを選択する処理(以下、眼球照明ライトの選択処理という)を行う。なお、「眼球照明ライトの選択処理」の詳細な処理は後述する。
(ステップS5)処理部123は、注視点検出のためのキャリブレーションを行う。なお、注視点検出のためのキャリブレーションの詳細な処理については、後述する。
(ステップS6)処理部123は、検査対象である検査装置を検査し、検査した結果を観察ログとしてサーバー200に登録する「業務ロギングの処理」を行う。なお、「業務ロギングの処理」の詳細な処理については、後述する。
次に、「左右の眼の検出処理」手順について説明する。
図25は、本実施形態に係る左右の眼の検出処理手順のフローチャートである。
(ステップS101)処理部123の制御部302は、加速度センサー132が検出した検出値において、Z軸方向の検出値が、X軸方向、Y軸方向より強いか否かを判別する。
Z軸方向の検出値が、X軸方向、Y軸方向より強いと判別された場合(ステップS101;Yes)、ステップS102に進む。Z軸方向の検出値が、X軸方向、Y軸方向より強くないと判別された場合(ステップS101;No)、ステップS103に進む。
(ステップS102)Z軸方向の検出値が、X軸方向、Y軸方向より強いと判別された場合、表示部60は、図5(A)または図5(B)に示したような第1表示モードの装着形態である。このため、制御部302は、加速度センサー132の検出値に基づいて、右眼観察形態であるか左眼観察形態であるのかを判別する。次に、制御部302は、判別した結果を示す情報を、画像切替部306に出力する。
(ステップS103)Z軸方向の検出値が、X軸方向、Y軸方向より強くないと判別された場合、ユーザーが寝ているか仰向けの状態であるため、制御部302は、撮像素子72を駆動する。
図26は、右眼観察形態の場合の撮像範囲Pの撮像画像の一例を説明する図である。図27は、左眼観察形態の場合の撮像範囲Pの撮像画像の一例を説明する図である。
制御部302は、観察形態を判別するために、図19で説明した撮像領域Pを使って、眼の周辺画像を撮像素子72により撮像する。例えば、撮像画像は、図5(A)に示した第1表示モードかつ右眼観察形態で使用されるときの撮像画像(以下、第1右眼画像という)を基準としている。このため、図26に示すように、第1右眼画像610Rは、正立画像である。図26に示すように、第1右眼画像610Rでは、右眼の画像601R3に対して、右眉毛の画像602R3が+Z方向にある。
一方、図27に示すように、第1表示モードかつ左眼観察形態で使用されるときの眼の周辺画像(以下、第1左眼画像という)610Lは、倒立画像である。図27に示すように、第1左眼画像610Lでは、左眼の画像601Lに対して、右眉毛の画像602Lが−Z方向にある。
(ステップS104)図25に戻って、制御部302は、撮像画像から眉毛の画像が抽出可能であるか否かを判別する。眉毛の画像が抽出可能であると判別された場合(ステップS104;Yes)、ステップS105に進む。例えば、表示部60が眼に近い場合、または化粧等によって眉毛の判別が難しい場合など、眉毛の画像を抽出ができないと判別された場合(ステップS104;No)、ステップS106に進む。なお、制御部302は、例えばパターンマッチングの技術を用いて、眉毛の画像を抽出する。
例えば、ユーザーが右眼観察形態で使用している場合、選択領域Q(図19(A)を参照)に撮像された画像は、図11に示すような画像になる。一方、ユーザーが左眼観察形態で使用している場合、選択領域R(図19(B)を参照)に撮像された画像は、図28に示すような画像になる。図28は、左眼観察形態における撮像画像の一例を説明する図である。なお、図28では、選択領域Rの画像を180度回転させて示してある。このため、図28の−Z側がユーザーの上側、+Z側がユーザーの下側、−X側がユーザーの左側、+X側がユーザーの右側となる。また、図28において、符号601L1は、左眼の画像であり、符号602L1は、左眉毛の画像である。
なお、ステップS101〜S108の処理中、制御部302は、眼球照明ライト166を点灯させておいても、消灯させておいてもよい。ステップS101〜S108の処理中、制御部302は、バックライト62を点灯させておいてもよい。
(ステップS105)眉毛の画像が撮像画像から抽出可能である場合、制御部302は、眉毛の画像と眼の画像との位置や、眉毛の形状から、例えばパターンマッチングの技術や画像の特徴量による画像比較の技術を用いて、撮像画像が、ユーザーの右眼の画像であるか左眼の画像であるかを判別する。次に、制御部302は、判別した結果を示す情報を、画像切替部306に出力する。
例えば、図26に示したように、眼球の画像に対して眉毛の画像が、+Z方向にあると判別した場合、制御部302は、ユーザーが右眼で表示部60を観察している右眼観察形態であると判別する。一方、図27に示したように、眼球の画像に対して眉毛の画像が、−Z方向にあると判別した場合、制御部302は、ユーザーが左眼で表示部60を観察している左眼観察形態であると判別する。
(ステップS106)眉毛の画像が撮像画像から抽出可能ではない場合、制御部302は、瞬きでの瞼の挙動から、例えばパターンマッチングの技術や画像の特徴量による画像比較の技術を用いて、ユーザーの右眼であるか左眼であるかを判別する。次に、制御部302は、判別した結果を示す情報を、画像切替部306に出力する。
例えば、瞬きは上瞼が動くことから、瞼が図11において+Z方向から−Z方向へ移動し、すぐに−Z方向から+Z方向へ戻った場合、制御部302は、ユーザーが右眼で表示部60を観察している右眼観察形態であると判別する。また、瞼の移動開始方向ならびに戻り方向がこの逆となった場合、制御部302は、ユーザーが左眼で表示部60を観察している左眼観察形態であると判別する。
以上のように、本実施形態によれば、ユーザーが横方向に寝ている様な場合にも、加速度センサー132が検出した重力の方向にたよらずに、眉毛や瞼の動きを検出することでユーザーが観察している眼の方向を判別できる。
(ステップS107)ステップS106までの判別結果に基づいて、ユーザーが右眼観察形態で使用していると判別された場合、制御部302は、撮像素子72が撮像した撮像領域Pから選択領域Qを選択し、ステップS108へ進む。一方、ユーザーが左眼観察形態で使用していると判別された場合、制御部302は、撮像領域Pから選択領域Rを選択し、ステップS108へ進む。
(ステップS108)ステップS106までの判別結果に基づいて、右眼観察形態であると判別された場合、画像切替部306は、表示部60の表示方向を右眼用に設定する。また、ステレオイヤホン100が接続されている場合、音響制御部305は、第1スピーカー103を右耳用に、第2スピーカー104を左耳用になるようステレオ音声出力の左右を設定する。
一方、左眼観察形態であると判別された場合、画像切替部306は、表示部60の表示方向を左眼用に設定する。なお、左眼用の表示方向とは、右眼用の表示顔面を180度回転させて上下反転させる方向である。また、ステレオイヤホン100が接続されている場合、音響制御部305は、第1スピーカー103を左耳用に、第2スピーカー104を右耳用になるようステレオ音声出力の左右を設定する。
なお、ステップS101〜S106において、右眼観察形態であるか否かを、加速度センサー132の検出値、撮像画像に基づいて判別する例を説明したが、右眼観察形態であるか否かの判定方法は、これに限られない。
例えば、HMD1は、ディスプレイ本体20に取り付けられている不図示のスイッチ等により検出するようにしてもよい。むろんユーザーが、手動で右眼観察形態または左眼観察形態に設定してもよい。
次に、「装着ガイドの処理」手順について説明を行う。
図29は、本実施形態に係るHMD1の装着ガイドの処理手順のフローチャートである。なお、以下の説明では、表示パネル63を、LCD63と称する。この処理は、ユーザーがHMD1を使用、LCD63の表示が行われているときに、適宜この処理を行って、ユーザーにLCD63のずれを補正するように注意を促しても良い。あるいは、タッチスイッチ34等の操作により、位置合わせを行うようユーザーが指示したときに行うようにしてもよい。
本実施形態では、図18(A)及び図18(B)で説明したように、ユーザーの眼の斜め下に撮像素子72を備えている表示部60が配置される。このため、撮像素子72は、図17に示したように、ユーザーの眼の周りの画像を斜め下から撮像する。しかしながら、表示部60と眼との間隔が適切でない場合、及び表示部60の画面中心と眼の中心とがずれている場合、ユーザーはLCD63に表示されている画像を適切に観測できない。このため、本実施形態では、制御部302が、撮像素子72が撮像した画像に基づいて、ユーザーの眼の位置に対して表示部60の位置がずれていることを検出して、ユーザーにアナウンスする。なお、制御部302は、表示部60の位置に対してユーザーの眼の位置がずれているか否かの判別を、撮像画像から選択した選択領域(画像領域)Q又はRの画像を用いて行ってもよく、または撮像画像に含まれるユーザーの片眼を含む領域の画像を用いて行ってもよい。以下の説明では、制御部302が、撮像画像から選択した選択領域Q又はRの画像を用いて、表示部60の位置に対してユーザーの眼の位置がずれているか否かの判別を行う例を説明する。このため、以下の説明において、撮像画像とは、ステップS107(図25参照)において選択された選択領域Q又はRの画像である。
(ステップS201)制御部302は、例えば、パターンマッチングの技術を用いて、眼の画像を抽出する。制御部302は、「左右の眼の検出処理」の判別結果に基づいて、ユーザーが右眼観察形態で使用していると判別された場合(ステップS201;Yes)、ステップS202へ進み、ユーザーが左眼観察形態で使用していると判別された場合(ステップS201;No)、ステップS214へ進む。
(ステップS202)制御部302は、撮像画像(例えば、図11を参照)に基づいて、ユーザーの眼の位置が+X方向にずれているか否かの判別を行う。ユーザーの眼の位置が+X方向にずれていると判別された場合(ステップS202;Yes)、ステップS203に進む。ユーザーの眼の位置が+X方向にずれていないと判別した場合(ステップS202;No)、ステップS204に進む。
(ステップS203)ユーザーの眼の位置が+X方向にずれていると判別された場合、ユーザーの眼に対して表示部60が、ユーザーの右側にずれていることになる。このため、このような場合、処理部123は、ユーザーへ表示部60をユーザーの左側にずらすように、例えば耳元スピーカー23からアナウンスを行う。
(ステップS204)制御部302は、撮像画像に基づいて、ユーザーの眼の位置が−X方向にずれているか否かを判別する。ユーザーの眼の位置が−X方向にずれていると判別された場合(ステップS204;Yes)、ステップS205に進む。ユーザーの眼の位置が−X方向にずれていないと判別された場合(ステップS204;No)、ステップS206に進む。
(ステップS205)ユーザーの眼の位置が−X方向にずれていると判別された場合、処理部123は、ユーザーへ表示部60をユーザーの右側にずらすように、例えば耳元スピーカー23からアナウンスを行う。
(ステップS206)制御部302は、撮像画像に基づいて、ユーザーの眼の位置が+Z方向にずれているか否かを判別する。ユーザーの眼が+Z方向にずれていると判別された場合(ステップS206;Yes)、ステップS207に進む。ユーザーの眼の位置が+Z方向にずれていないと判別された場合(ステップS206;No)、ステップS208に進む。
(ステップS207)ユーザーの眼の位置が+Z方向にずれていると判別された場合、処理部123は、ユーザーへ表示部60をユーザーの上側にずらすように、例えば耳元スピーカー23からアナウンスを行う。
(ステップS208)制御部302は、撮像画像に基づいて、ユーザーの眼の位置が−Z方向にずれている否かを判別する。ユーザーの眼の位置が−Z方向にずれていると判別された場合(ステップS208;Yes)、ステップS209に進む。ユーザーの眼の位置が+Z方向にずれていないと判別された場合(ステップS208;No)、ステップS210に進む。
(ステップS209)ユーザーの眼の位置が−Z方向にずれていると判別された場合、処理部123は、ユーザーへ表示部60をユーザーの下側にずらすように、例えば耳元スピーカー23からアナウンスを行う。
(ステップS210)制御部302は、撮像画像に基づいて、ユーザーの眼の画像が所定の大きさより大きいか否かを判別する。ユーザーの眼の画像が所定の大きさより大きいと判別された場合(ステップS210;Yes)、ステップS211に進む。ユーザーの眼の画像が所定の大きさより大きくないと判別された場合(ステップS210;No)、ステップS212に進む。例えば、制御部302は、眼の画像を抽出し、抽出した画像に基づいて、眼の幅を抽出する。制御部302は、抽出した眼の幅が所定の大きさより大きいか否かを判別する。
(ステップS211)ユーザーの眼の画像が所定の大きさより大きいと判別された場合、ユーザーの眼が表示部60に近すぎると推定されるので、処理部123は、表示部60を眼から離すように耳元スピーカー23からアナウンスを行う。
(ステップS212)制御部302は、撮像画像に基づいて、ユーザーの眼の画像が所定の大きさより小さいか否かを判別する。ユーザーの眼の画像が所定の大きさより小さいと判別された場合(ステップS212;Yes)、ステップS213に進む。ユーザーの眼の画像が所定の大きさより小さくないと判別された場合(ステップS212;No)、装着状態の判定処理を終了する。
(ステップS213)ユーザーの眼の画像が所定の大きさより小さいと判別された場合、ユーザーの眼が表示部60から遠すぎると推定されるので、処理部123は、表示部60を眼に近づけるように耳元スピーカー23からアナウンスを行う。
(ステップS214)ユーザーが左眼観察形態で使用していると判別された場合、制御部302は、撮像画像(例えば、図27を参照)に基づいて、ユーザーの眼の位置が+X方向にずれているか否かの判別を行う。ユーザーの眼の位置が+X方向にずれていると判別された場合(ステップS214;Yes)、ステップS215に進む。ユーザーの眼の位置が+X方向にずれていないと判別された場合(ステップS214;No)、ステップS216に進む。
(ステップS215)ユーザーの眼の位置が+X方向にずれていると判別された場合、ユーザーの眼に対して表示部60が、ユーザーの左側にずれていることになる。このため、このような場合、処理部123は、ユーザーへ表示部60をユーザーの右側にずらすように、例えば耳元スピーカー23からアナウンスを行う。
(ステップS216)制御部302は、撮像画像に基づいて、ユーザーの眼の位置が−X方向にずれているか否かを判別する。ユーザーの眼の位置が−X方向にずれていると判別された場合(ステップS216;Yes)、ステップS217に進む。ユーザーの眼の位置が−X方向にずれていないと判別された場合(ステップS216;No)、ステップS218に進む。
(ステップS217)ユーザーの眼の位置が−X方向にずれていると判別された場合、処理部123は、ユーザーへ表示部60をユーザーの左側にずらすように、例えば耳元スピーカー23からアナウンスを行う。
(ステップS218)制御部302は、撮像画像に基づいて、ユーザーの眼の位置が+Z方向にずれているか否かを判別する。ユーザーの眼の位置が+Z方向にずれていると判別された場合(ステップS218;Yes)、ステップS219に進む。ユーザーの眼の位置が+Z方向にずれていないと判別された場合(ステップS218;No)、ステップS220に進む。
(ステップS219)ユーザーの眼の位置が+Z方向にずれていると判別された場合、処理部123は、ユーザーへ表示部60をユーザーの下側にずらすように、例えば耳元スピーカー23からアナウンスを行う。
(ステップS220)制御部302は、撮像画像に基づいて、ユーザーの眼の位置が−Z方向にずれている否かを判別する。ユーザーの眼の位置が−Z方向にずれていると判別された場合(ステップS220;Yes)、ステップS221に進む。ユーザーの眼の位置が+Z方向にずれていないと判別された場合(ステップS220;No)、ステップS210に進む。
(ステップS221)ユーザーの眼の位置が−Z方向にずれていると判別された場合、処理部123は、ユーザーへ表示部60をユーザーの上側にずらすように、例えば耳元スピーカー23からアナウンスを行う。
ステップS221処理後、処理部123は、ステップS211からS213を行い、HMD1の装着ガイドの処理を終了する。
次に、眼球照明ライトの選択処理について説明する。図30は、本実施形態に係るHMD1の眼球照明ライトの選択処理手順のフローチャートである。
(ステップS401)制御部302は、「左右の眼の検出処理」の判別結果に基づいて、ユーザーが右眼観察形態で使用していると判別された場合(ステップS401;Yes)、ステップS402へ進み、ユーザーが左眼観察形態で使用していると判別された場合(ステップS401;No)、ステップS403へ進む。
(ステップS402)ユーザーが右眼観察形態で使用していると判別された場合、制御部302は、眼球照明ライト166a及び166bを選択し、選択した結果を眼球照明ライト選択設定として記憶部303に記憶させる。制御部302は、眼球照明ライト166c及び166dを消灯させて、眼球照明ライトの選択処理を終了する。
(ステップS403)ユーザーが左眼観察形態で使用していると判別された場合、制御部302は、眼球照明ライト166c及び166dを選択し、選択した結果を眼球照明ライト選択設定として記憶部303に記憶させる。制御部302は、眼球照明ライト166c及び166dを消灯させて、眼球照明ライトの選択処理を終了する。
以上のように、本実施形態のHMD1は、表示部60とユーザーとの位置関係に応じて、眼球照明ライト166a〜166dを選択して点灯させるようにした。この結果、本実施形態のHMD1は、眼球を照明するライトを適宜選択可能としたことにより、使用者の眼を的確に照明できるとともに、消費電力を抑えることが可能となった。
次に、注視点検出のキャリブレーションの詳細について説明を行う。
本実施形態に係るHMD1では、キャリブレーション比較例のようにユーザーがキャリブレーション設定を行うのではなく、後述するように表示パネル63に表示される情報を操作しているときに、視線(注視点)に基づいて操作するためのパラメータを取得し、注視点検出のためのキャリブレーションを行う。
図31及び図32は、本実施形態に係る注視点検出のためのキャリブレーションの手順のフローチャートである。図33は、本実施形態に係る右眼観察形態における眼球照明ライト166の点灯、消灯を説明する図である。図34は、本実施形態に係る表示部60の位置と眼球照明ライト166の関係を説明する図であり、ユーザーの顔を水平正面から見た図である。
なお、以下では、図7(A)、図7(B)、及び図34に示すように、右眼観察形態かつ眼の下に表示部60が配置されている状態、または左眼観察形態かつ眼の下に表示部60が配置されている状態を検出して、注視点検出のためのキャリブレーションを行う例について説明する。
図34において、一点鎖線で示した位置600a、及び位置600bは、表示部60が配置される位置の例である。以下の処理で説明するように、HMD1は、位置600aに表示部60がある場合、眼の近傍にある眼球照明ライト166a及び166bを点灯させ、他を消灯させる。一方、HMD1は、位置600bに表示部60がある場合、眼の近傍にある眼球照明ライト166c及び166dを点灯させ、他を消灯させる。
(ステップS501)制御部302は、「左右の眼の検出処理」の判別結果に基づいて、ユーザーが右眼観察形態で使用しているか否かを判別する。制御部302は、ユーザーが右眼観察形態で使用していると判別された場合(ステップS501;Yes)、ステップS502に進み、ユーザーが右眼観察形態で使用していないと判別された場合(ステップS501;No)、ステップS503に進む。
(ステップS502)右眼観察形態であると判別された場合、制御部302は、記憶部303に記憶されている眼球照明ライトの選択設定を読み出す。次に、制御部302は、読み出したる眼球照明ライトの選択設定に基づいて、眼球照明部304を介して眼球照明ライト166aと166bを点灯する。
図33に示すように、ユーザー右眼の下に表示部60を配置して観察する場合、眼球照明ライト166cと166dは、極めて頬の近傍に配置されることになるために眼球を照明できない。このため、本実施形態では、図34の位置600aに示すように、眼球照明部304は、眼球照明ライト166c、及び166dは消費電力を下げるために消灯する。
(ステップS503)左眼観察形態であると判別された場合、制御部302は、記憶部303に記憶されている眼球照明ライトの選択設定を読み出す。次に、制御部302は、読み出したる眼球照明ライトの選択設定に基づいて、眼球照明部304を介して、図34の位置600bに示すように、眼球照明ライト166cと166dを点灯する。眼球照明部304は、消費電力を下げるために、眼球照明ライト166a及び166bを消灯させる。
以上の処理により、本実施形態のHMD1は、ユーザーと表示部60との位置関係に応じて眼球を照明するライトの選択が適宜行うことが可能となる。さらに、本実施形態のHMD1は、使用しない眼球照明ライト166を消灯することで効率的な省電力対策が可能となっている。
(ステップS504)画像切替部306は、ステップS502またはS503終了後、図35に示すようなパスワード入力画面(表示画像)を、LCD63に表示する。これは一般に普及しているモバイル用途のPCや携帯電話で用いられている、ユーザーが設定したパスワードを入力するもので、他人が使用することを防ぐことを目的にしている。
図35は、本実施形態に係るパスワード入力画面400eの一例である。図35において、パスワード入力画面400eの長手方向をX軸方向、短手方向をZ軸方向とする。図35に示すように、LCD63上には、AからZまでのアルファベット・キー(操作画像)461、記号キー(操作画像)462、シフトキー(操作画像)463、10キー切り替えキー(操作画像)464、スペースキー(操作画像)465、決定(Done)キー(操作画像)466、入力された文字を表示する領域467、及びカーソル468が表示される。また、図35において、符号Dxは、X軸方向の座標、符号Dzは、Z軸方向の座標を表す。
表示画像とは、LCD63に表示される画像であり、図35に示したパスワード入力画面、後述するメニュー画面等である。また、操作画像とは、表示画像上に表示され、ユーザーが操作部(操作スイッチ30、タッチスイッチ34)により選択可能な、各々のキー画像、各々のボタン画像、各々のアイコン画像、カーソル画像等である。上述のように、これらの表示画像は、表示されたことに応じて、ユーザーが操作部を操作して、操作画像の選択を行うことを促す画像を含んでいる。
(ステップS505)図31に戻って、制御部302は、パラメータのサフィックス(文字列)となる「i」をゼロに初期化する。
(ステップS506)制御部302は、サフィックス「i」に1を加算する。
(ステップS507)制御部302は、撮像素子72が撮像した撮像画像(含む映像)を取得する。次に、制御部302は、取得した撮像画像に基づいて、眼球に照射されている眼球照明ライト166a〜166dによる輝点の座標(第2座標)(Ex(i),Ez(i))を取得する。第2座標は、眼球の回動動作、すなわち視線の方向に1対1で対応する座標である。
制御部302が取得した撮像画像は、例えば図11である。図11に示すように、眼球照明ライト166aによる輝点604A、及び眼球照明ライト166bによる輝点604Bが画像に映っており、この輝点が眼球の運動に連動して移動する。すなわち、眼球が左側に動く場合、輝点604A及び604Bは、+X側へ移動する。また、眼球が左側に動く場合、同輝点は、−X側へ移動する。また、眼球が上方に動く場合、輝点は、+Z側へ移動し、眼球が下方向に動く場合、輝点が−Z側に移動する。この眼球の動きは、LCD63内の表示で何処を注視するかによって、LCD63内の位置と輝点の位置が一義的に決定される。
図35のパスワード入力画面400eにおいて、カーソル468が表示される。カーソル468は、ユーザーが操作スイッチ30を上下左右に倒して操作することで、カーソル468の位置を上下左右に動かすことが可能となっている。そして、図35に示すように、例えばパスワードの一文字として「P」が選択された場合、カーソル468が「P」の文字の所に移動され、さらに操作スイッチ30が押圧されて、「P」の文字が入力される。
この操作スイッチ30が押圧される直前において、ユーザーは、「P」の文字を注視している確率が非常に高いので、このときの眼の輝点の座標を取り込む。なお、制御部302は、図11における2つの輝点604Aの座標(Xa,Za)、輝点604Bの座標(Xb,Zb)の平均を取った値を用いて、パスワード1文字目を注視したときの眼の輝点のX軸及びY軸の測定値Ex(1)、Ez(1)を、次式(2)及び次式(3)のように算出する。
Ex(1)= (Xa+Xb)/2 ・・・(2)
Ez(1)= (Za+Zb)/2 ・・・(3)
制御部302は、算出した測定値の座標(Ex(i),Ez(i))を、記憶部303に記憶させる。
(ステップS508)図31に戻って、制御部302は、文字が表示されているLCD63上の座標(第1座標)である(Dx(i),Dz(i))を取得する。例えば図35において「P」の文字が選択された場合、制御部302は、文字「P」の座標が取得し、パスワード1文字目の座標として(Dx(1)、Dz(1))を取得する。このように、第1座標は、LCD63に表示される表示画像内における操作画像の座標である。また、操作画像には、各々、予め定められている基準点が記憶部303に記憶されているようにしてもよい。予め定められている基準点は、例えば操作画像の角(左上、右上、左下、または右下)、操作画像の中心等である。制御部302は、選択された操作画像に予め定められている基準点の座標を取得する。または、制御部302は、文字「P」におけるカーソル468の矢印の先端の基準点を座標の代わりに取得し、取得した座標を第1座標としてもよい。
(ステップS509)制御部302は、ユーザーにより設定されているパスワードの認証が完了したか否かを判別する。パスワードの認証が完了したと判別した場合(ステップS509;Yes)、ステップS510に進む。パスワードの認証が完了していないと判別した場合(S509;No)、ステップS506からS509を繰り返す。
なお、ステップS507からS509において、複数のパスワードの文字が選ばれることで眼の輝点の測定座標である(Ex(i),Ez(i))、そしてLCD63上の文字の位置座標である(Dx(i),Dz(i))の値が得られる。また、パスワードの入力が終わったとユーザーが判別した場合、ユーザーは、操作スイッチ30でDoneキー466を選択して押す。このとき、制御部302は、Doneキー466の座標も取得する。
(ステップS510)ステップS312までのパスワードの入力作業によって、眼の輝点の測定値と、これに対応する文字の位置情報が得られる。このため、この後は、取得した輝点の座標を測定すれば、ユーザーがLCD63上のどこを注視しているのかが分かるようになる。すなわち、これらの処理により、視線入力による操作が可能になる。そこで、制御部302は、この測定値(Ex,Ez)に基づいて、表示位置(Dx,Dz)を求める関数式を、次式(4)及び次式(5)のように生成する。
Dx = F1(Ex、Ez) ・・・(4)
Dz = F2(Ex、Ez) ・・・(5)
式(4)及び(5)において、F1は、Dxと(Ex、Ez)の関数、F2は、Dzと(Ex、Ez)の関数である。次に、制御部302は、生成した式(4)及び(5)を、記憶部303に記憶させる。
(ステップS511)パスワードの入力が完了したことを受け、画像切替部306は、図36に示すようなメニューのアイコンを表示する。
図36は、本実施形態に係るメニュー画面(表示画像)400fの一例を示す図である。図36に示した例では、メニュー画面400fに9つのアイコン(操作画像)471から479、及びカーソル(操作画像)480が表示されている。例えば、アイコン471は、動画撮像の指示を示すアイコンである。なお、アイコン471から479、各々をアプリケーションと称する。また、これらの中でアイコン471は、視線によって入力する機能を有するアプリケーションであることから、特に視線入力アプリケーションと称する。
なお、このアイコン471が表す動画撮影を行うアプリケーションでは、カメラ64で動画撮影ならびに記録を行うとともに、後述するように画面に表示されるマーカーの移動や、ボタンの操作を視線入力で行うことが可能となっている。
初期状態では、図36に示したように、アイコン471の位置に、カーソル480が表示される。
なお、図36のメニュー画面は、例えば、処理部123の制御を司るOS(オペレーションシステム)において、各種設定を行うメニュー画面(表示画像)であってもよい。各種設定を行うメニュー画面とは、例えば、表示パネル63の輝度調整、表示パネル63のコントラスト調整、日時設定、スタンバイ状態にするか否かの設定等の各種設定ボタン(またはアイコン、キー等)が表示されている画面である。
また、メニュー画面400fにアイコンが表示されるアプリケーションは、HMD1内部で実行されるアプリケーションに限られない。例えば、アイコンが表示されるアプリケーションは、通信を行っている通話相手が使用しているHMD、PCで実行されるアプリケーションであってもよい。また、アイコンが表示されるアプリケーションは、インターネット等のネットワーク上で実行される、例えばWeb(ウェブ)アプリケーション等であってもよい。
(ステップS512)図31に戻って、制御部302は、メニュー画面において、操作スイッチ30により手動操作でアイコン471が選択されたか否かを判別する。操作スイッチ30により手動操作でアイコン471が選択されていないと判別した場合(ステップS512;No)、ステップS513に進む。操作スイッチ30により手動操作でアイコンが選択されたと判別した場合(ステップS512;Yes)、丸C(図32、ステップS519)に進む。
(ステップS513)制御部302は、アイコン471以外のアプリケーションが選択されたか否かを判別する。アイコン471以外のアプリケーションが選択されたと判別された場合(ステップS513;Yes)、ステップS514に進み、制御部302は、ユーザーの行うメニュー操作の中で、さらに視線入力の精度を高めるべくキャリブレーションを行う。アイコン471以外のアプリケーションが選択されていないと判別された場合(ステップS513;No)、ステップS512に戻る。
(ステップS514)アイコン471以外のアプリケーションが選択されたと判別された場合、制御部302は、サフィックス「i」に1を加算する。
(ステップS515)制御部302は、撮像画像を取得する。次に、制御部302は、取得した撮像画像に基づいて、眼球に照射されている眼球照明ライト166a〜166dによる輝点の座標(Ex(i),Ez(i))を取得する。
(ステップS516)制御部302は、選択されたアイコンが表示されているLCD63上の座標である(Dx(i),Dz(i))を取得する。
(ステップS517)制御部302は、自部に記憶されている関係式(4)及び(5)を再計算して、再計算して生成した関係式を、記憶部303に記憶させる。
(ステップS518)制御部302は、選択されたアプリケーション(またはメニュー)を実行する。アプリケーション実行後、ステップS511に戻る。
すなわち、制御部302は、操作スイッチ30などによってアイコン、チェックボックス等が選択される毎に、輝度の座標を取得し、かつ関係式(4)及び(5)を再計算することで、注視点検出のためのキャリブレーションを行う。なお、メニュー画面400fを含め、各種アプリケーションが実行される中で、アイコンやチェックボックスなどの選択がなされる度に、そのアイコンやチェックボックスを注視点として、注視点検出のためのキャリブレーションを逐次行ってもよい。
(ステップS519)図32に移って、操作スイッチ30により手動操作でアイコン471が選択されたと判別した場合、制御部302は、サフィックス「i」に1を加算する。
(ステップS520)制御部302は、選択されたアイコンが表示されているLCD63上の座標である(Dx(i),Dz(i))を取得する。
(ステップS521)制御部302は、自部に記憶されている関係式(4)及び(5)を再計算して、再計算して生成した関係式を、記憶部303に記憶させる。
(ステップS522)制御部302は、視線入力のアプリを実行する前に、注視点検出のためのキャリブレーションが十分に行われたか否かの判別をする。具体的には、例えばパスワードの登録が一文字であれば、キャリブレーションが十分に行われたとは言えない可能性がある。例えば、少なくとも、パスワード入力画面400e、またはメニュー画面400fにおいて、異なる2つの位置の注視点検出が行われた場合、制御部302は、キャリブレーションが十分に行われたと判別する。なお、異なる2つの位置は、パスワード入力画面400e、またはメニュー画面400f内の対角位置に配置されている位置である。
キャリブレーションが十分に行われたと判別された場合(ステップS522;Yes)、ステップS527に進む。キャリブレーションが十分に行われていないと判別された場合(ステップS522;No)、ステップS523に進む。
(ステップS523〜S526)制御部302は、画像切替部306を介して、図37に示すような再度、ユーザーの入力を促す文章を提示する。制御部302は、図37に示す画面(表示画像)を追加で提示し、この画面をユーザーが操作するとき、LCD63上の座標である(Dx(i),Dz(i))、及び眼球照明ライト166a〜166dによる輝点の座標(Ex(i),Ez(i))を取得して、注視点検出のためのキャリブレーションを行う。
図37は、本実施形態に係るユーザーに入力を促す画面の一例である。図37に示すように、画面400gには、文字列「視線入力モードを使いますか?」481、「はい」ボタン(操作画像)482、及び「いいえ」ボタン(操作画像)483が表示されている。
例えば、図37において、「はい」ボタン482が視線入力により選択された場合、図35において、Doneキー466、図36において動画撮像の指示のアイコン471がすでに選択されているため、画面の互いにはなれた3箇所のボタン(またはキー、アイコン)が押されたことになり、ある程度信頼のおけるキャリブレーションが完了したことになる。そして、制御部302は、ステップS519からS521と同様の処理を、ステップS523からS526の処理で行い、(Dx,Dz)を求める関数式が導き出す。
なお、入力用の表示とは、図35における各キー(461〜466)、図36における各アイコン471〜479、図37における各ボタン(482、483)等である。ここで、キャリブレーションが不足している位置が画面内にある場合、Doneキー466は、表示位置を適宜変更し、キャリブレーションが必要とされる位置に表示されてもよい。
(ステップS527)図32に戻って、制御部302は、画像切替部306を介して、カメラ64が撮像した画像を、図38に示すように、LCD63に表示する。
図38は、本実施形態に係る視線入力のアプリケーションの画面400hの説明を行う図である。図38に示した例では、画面400(表示画像)hには、撮像された画像491、マーカー(操作画像)492、「終了ボタン」(操作画像)493、「記録ボタン」(操作画像)494、及び「メニューボタン」(操作画像)495が表示されている。マーカー492は、ユーザーが画像491において、必要な位置を指し示すマーカーである。「終了ボタン」493は、アプリケーションを終了させ、図36に示したメニュー画面400fに戻るボタンである。また、「記録ボタン」494は、カメラ64が撮像した画像信号を、フラッシュメモリー122に記録開始するボタンである。「メニューボタン」495は、このアプリケーション固有の設定を行うための不図示のメニューを表示させるためのボタンである。
なお、HMD1が、他の端末と通信中の場合、撮像された画像491は、送受信部308を介して、他の端末に送信される。
本実施形態のHMD1は、画面400hに示すように、ユーザーが観察しつつカメラ64で撮影している画像において、商品496をカーソルで指し示す画像を他の端末に送信することで、商品496について具体的に相手に伝えることが可能となっている。
(ステップS528)図32に戻って、制御部302は、ユーザーがボタン493から495を操作スイッチ30で選択したか否かを判別する。ユーザーがボタン493から495を操作スイッチ30で選択したと判別した場合(ステップS528;Yes)、ステップS535に進む。ユーザーがボタン493から495を操作スイッチ30で選択していないと判別した場合(ステップS528;No)、ステップS529に進む。
(ステップS529)ユーザーがボタン493から495を操作スイッチ30で選択していないと判別した場合、制御部302は、ユーザーの眼における輝点の座標(Ex,Ez)を取得する。次に、制御部302は、取得した座標と、式(4)及び(5)の関数を用いて、ユーザーがどこを注視しているのかを算出する。
(ステップS530)制御部302は、算出した座標の位置に、マーカー492を表示する。
なお、HMD1は、マーカー492の画像が重畳された画像として、他の端末に対して送信する。そして、ユーザーが注視点を動かせばマーカー492も動くことから、ハンズフリーで他の端末のユーザーへ、注視点を伝えることが可能となっている。
(ステップS531)制御部302は、マーカー492が、ボタン493、494、及び495の上にあるか否かを判別する。マーカー492が、ボタン493、494、及び495の上にあると判別された場合(ステップS531;Yes)、ステップS532に進む。マーカー492が、ボタン493、494、及び495の上にないと判別された場合(ステップS531;No)、ステップS528に戻る。
(ステップS532)マーカー492が、ボタン493、494、及び495の上にあると判別された場合、制御部302は、撮像画像に基づいて、ユーザーの瞼が短時間に2回連続して瞑られたか否かを判別する。なお、制御部302は、パターンマッチングの技術や画像の特徴量による画像比較の技術を用いて判別を行う。ユーザーの瞼が短時間に2回連続して瞑られたと判別された場合(ステップS532;Yes)、ステップS533に進む。ユーザーの瞼が短時間に2回連続して瞑られていないと判別された場合(ステップS532;No)、ステップS528に戻る。
(ステップS533)ユーザーの瞼が短時間に2回連続して瞑られたと判別された場合、制御部302は、瞬き2回によって「終了ボタン」493が選択されたか否かを判別する。瞬き2回によって「終了ボタン」493が選択されたと判別された場合(ステップS533;Yes)、丸D(図31、ステップS511)に進む。瞬き2回によって「終了ボタン」493が選択されず、すなわち、その他のボタンが選択されたと判別された場合(ステップS533;No)、ステップS534に進む。
(ステップS534)瞬き2回によって「終了ボタン」493が選択されていないと判別された場合、制御部302は、選択されたボタンに対応した操作を行い、ステップS528に戻る。
(ステップS535〜S538)ユーザーがボタン493から495を操作スイッチ30で選択したと判別された場合、制御部302は、ボタン493から495の座標と、ユーザーの眼の輝点を元に、ステップS535からS538の処理を行って、注視点検出のキャリブレーションを行う。
(ステップS539)制御部302は、操作スイッチ30により「終了ボタン」493が選択されたか否かを判別する。操作スイッチ30により「終了ボタン」493が選択されたと判別された場合(ステップS539;Yes)、丸D(図31、ステップS511)に進む。操作スイッチ30により「終了ボタン」493が選択されていないと判別された場合(ステップS539;No)、ステップS540に進む。
(ステップS540)操作スイッチ30により「終了ボタン」493が選択されず、すなわち、その他のボタンが選択されたとていないと判別された場合、制御部302は、選択されたボタンに対応した操作を行い、ステップS331に戻る。
なお、実施形態のHMD1では、視線入力のアプリケーションを開始する前であっても、ならびに同アプリケーションを実行中であっても、操作部の操作によって操作画像が選択されたとき毎に、注視点検出のための計算式のキャリブレーションを行う。この結果、実施形態のHMD1によれば、ユーザーが操作部を操作したタイミングで注視点検出のためのキャリブレーションを、操作画像が選択されたとき毎に自動的に行うため、高い精度で視線入力が可能になっている。また、この注視点検出のためのキャリブレーションにおいて、上述したように、本実施形態のHMD1では、ユーザーの片眼を含む領域の画像を用いて行い、両眼を含む画像を撮影する必要がないため、HMD1を小型化できる。
また、本実施形態のHMD1では、「眼球照明ランプの選択処理」で設定された眼球照明ライト166を点灯及び消灯することで、ユーザーの眼に適切な光線を照射することができる。このため、注視点検出のためのキャリブレーションを精度良く行うことができる。
なお、本実施形態において表示画像の例として、パスワード入力画像、メニュー画像を説明したがこれに限られない。表示画像は、ユーザーが操作部を操作して、操作画像の選択を促す画像であればよい。また、操作画像も、ユーザーが操作部を操作して、該操作画像の選択を促す画像であればよい。
また、図32のステップS522で、キャリブレーションが十分でないと判別された場合、表示画像に表示されている操作画像の表示位置を変更して表示するようにしてもよく、操作画像の大きさを変更して表示するようにしてもよい。あるいは、操作画像を含む新たな表示画像をLCD63に表示するようにしてもよい。
なお、図9〜図15を用いて説明したように、注視点検出のためのキャリブレーションの前に、画像の大きさを縮小させ、位置を移動させた場合、例えば、選択した表示領域Tに、パスワード入力画面400e、メニュー画面400f等を縮小して表示するようにしてもよい。また、注視点検出のためのキャリブレーションを行った後に、画像の大きさを縮小させ、位置を移動させた表示して視線入力を行う場合、表示位置、及び画像の縮小率に基づいて、記憶部303に記憶されている関係式の値を補正することで座標を変換するようにしてもよい。
なお、処理部123は、ユーザーの眼の位置を撮像画像に基づいて検出する場合、眼球照明ライト166を点灯させてもよい。また、処理部123は、ユーザーの眼が表示部60から離れた場合(図12及び図14を参照)、表示領域の縮小率を算出するために、輝点604A及び輝点604Bの間隔(図11を参照)と、輝点604C及び輝点604Dの間隔(図12を参照)との比を測定する。
この処理により、図9に示すところの表示領域Sを表示領域Tに縮小することで、処理部123は、ユーザーが表示全体を見渡せるようにすることが可能である。さらに、輝点604Aと輝点604Bとの中間の位置よりも、輝点604Eと輝点604F(図14を参照)との中間の位置がずれていると判別される場合、処理部123は、ユーザーの眼がベクトルV1だけずれていることがわかる。このようにして、処理部123の画像切替部306(図22を参照)は、図9における表示領域Tを、表示領域Uまでシフトさせることが可能となっている。
なお、本実施形態では、注視点検出のためのキャリブレーションに、図35に示したパスワード入力画面等を用いる例を説明したが、これに限られない。操作スイッチ30により選択可能なキー、ボタン、アイコン等を、表示パネル63に表示させるようにしてもよい。この場合においても、従来技術とは異なり、キャリブレーションのためだけの表示ではなく、ユーザーが操作を行う必然性がある操作に関するキー、ボタン、アイコン等を表示する。ユーザーは、操作時に、これらのキー、ボタン、アイコン等を注視している確率が非常に高いので、操作時の撮像画像に基づいて、注視点検出のためのキャリブレーションを行うことができる。
次に、「業務ロギングの処理」について説明する。
図39は、本実施形態に係るHMD1を用いた業務ロギングの処理の手順のフローチャートである。なお、以下では、ユーザーが頭部にHMD1を装着している場合について説明する。
(ステップS601)HMD1のユーザーは、検査対象装置を検査する業務を行う際、操作スイッチ30又はタッチスイッチ34を操作して、「業務ロギングの処理」を開始する。次に、HMD1の処理部123は、初期動作としてサーバー200にユーザーIDを送信する。次に、サーバー200は、初期動作として、HMD1からのユーザーIDを受信したことに応じて、記憶部202にユーザーIDに関連付けて記憶されている検査情報を、HMD1に送信する。
次に、処理部123の行動履歴登録部309は、記憶部303に記憶されている検査位置をカウントするためのサフィックス「i」を「0」に初期化する。なお、このサフィックスは、各検査位置に関連付けられている。例えば、i=1は、検査位置1に関連付けられ、i=2は、検査位置2に関連付けられている。サフィックスと検査位置との関係は、記憶部303に予め記憶されているようにしてもよく、あるいはサーバー200の記憶部202に予め記憶され、サーバー200が検査情報に含めてHMD1に送信するようにしてもよい。
(ステップS602)行動履歴登録部309は、サフィックス「i」に「1」を加算する。
(ステップS603)行動履歴登録部309は、受信した検査情報から検査位置1に対応する検査対象装置の場所情報を抽出する。次に、行動履歴登録部309は、抽出した検査対象装置の場所情報に基づいて、検査対象装置が設置されている方向(以下、検査位置の方向という)を表示パネル63に表示する。例えば、行動履歴登録部309は、抽出した場所情報に基づいて、検査対象装置IDと関連付けて予め記憶部303に記憶されている検査対象装置が配置されているフロアの平面図を読み出し、読み出した平面図に検査対象装置が設置されている位置を重畳して表示パネル63に表示する。また、行動履歴登録部309は、地磁気センサー133が検出した検出値に基づいて、検査対象装置が、平面図においてどちらの方向(東西南北)に設置されているのか、表示パネル63に表示する。
なお、行動履歴登録部309は、検査対象装置IDと関連付けて予め記憶部303に記憶されている検査対象装置に対応する画像を読み出し、読み出した検査対象装置に対応する画像も平面図に重畳して、表示パネル63に表示するようにしてもよい。
(ステップS604)行動履歴登録部309は、ユーザーが表示パネル63に表示される情報を観察しているか否かを判別するために、眼球照明ライトの選択処理手順(図9を参照)により選択した眼球照明ライト166を点灯させる。
(ステップ605)次に、行動履歴登録部309は、観察可否判定部310にユーザーが表示パネル63に表示されている画像を観察しているか否かを判定する観察可否判定を行う指示を出力する。
次に、観察可否判定部310は、観察可否判定を行う指示が入力されたことに応じて、ユーザーが表示パネル63に表示される情報を観察しているか否かの判定し、判定した結果を行動履歴登録部309に出力する。次に、行動履歴登録部309は、観察可否判定部310が出力した判定した結果に基づいて、ユーザーが表示パネル63に表示される情報を観察しているか否かを判定する。
行動履歴登録部309は、ユーザーが表示パネル63に表示される情報を観察していないと判定した場合(ステップS605;No)、ステップS606に進み、ユーザーが表示パネル63に表示される情報を観察していると判定した場合(ステップ605;Yes)、ステップS607に進む。
(ステップS606)行動履歴登録部309は、観察可否判定部310が出力した判定した結果に基づいて、ユーザーが表示パネル63に表示される情報を観察していないと判定した場合、表示パネル63用のバックライト62を消灯させる。このように、HMD1は、ユーザーが表示パネル63に表示される情報を観察していないと判定した場合、バックライト62を消灯させるため、HMD1の電力を節約できる。
(ステップS607)行動履歴登録部309は、観察可否判定部310が出力した判定した結果に基づいて、ユーザーが表示パネル63に表示される情報を観察していると判定した場合、表示パネル63用のバックライト62を点灯させる。
(ステップS608)行動履歴登録部309は、ユーザーが表示パネル63に表示される情報を観察しているか否かの判別が終了したため、眼球照明ライト166を消灯させる。
(ステップS609)行動履歴登録部309は、GPSセンサー135が測位した測位情報を取得する。取得する測位情報は、緯度を示す情報、経度を示す情報、高度を示す情報、時刻を示す情報である。
(ステップS610)行動履歴登録部309は、取得した測位情報にユーザーIDを関連付けたHMD1の移動のログ(以下、移動ログという)を、送受信部308を介してサーバー200に送信する。行動履歴登録部309は、例えば、予め定められている時間間隔で、この移動ログをサーバー200に送信する。次に、サーバー200は、受信したHMD1の移動ログを記憶部202に記憶させる。
図40は、記憶部202に記憶されている移動ログの一例を示す図である。図40に示すように、記憶部202には、HMD1を使用しているユーザーID、HMD1の識別情報である装置ID、時刻情報、位置情報(緯度を示す情報、経度を示す情報、高度を示す情報)が関連付けられて記憶される。
(ステップS611)行動履歴登録部309は、カメラ64が撮像した画像データを取得する。行動履歴登録部309は、取得した画像データに含まれるバーコードに基づき、ユーザーが検査対象装置の前に到着したか否かを判定する。
行動履歴登録部309は、ユーザーが検査対象装置の前に到着したと判定した場合(ステップS611;Yes)、ステップS612に進み、ユーザーが検査対象装置の前に到着していないと判定した場合(ステップS611;No)、ステップS603に戻る。
図41は、検査対象装置851に添付されるバーコード850の一例を示す図である。
ここで、バーコードは、例えば、同図のバーコード850により示したような2次元バーコード(例えば、QRコード(登録商標))である。同図が示すように、バーコード850は、例えば、検査対象装置851の側面などに張り付けられている。まず、行動履歴登録部309は、画像データにこのようなバーコード850の画像が含まれているか否かを判別する。行動履歴登録部309は、画像データにバーコード850の画像が含まれている場合、画像データからバーコード850の画像を抽出する。次に、行動履歴登録部309は、バーコード850に埋め込まれている検査対象装置IDを抽出する。行動履歴登録部309は、バーコード850から検査対象装置IDを抽出できた場合、ユーザーが検査対象装置の前に到着したと判別する。また、行動履歴登録部309は、画像データからバーコード850を抽出できなかった場合、または画像データからバーコード850を抽出できた場合であってもバーコード850から検査対象装置IDと一致する情報を抽出できなかった場合、ユーザーが検査対象装置の前に到着していないと判別する。
(ステップS612)行動履歴登録部309は、位置に関するパラメータを予め自部に記憶している。パラメータLa(i)は、経度のパラメータであり、パラメータLo(i)は、緯度のパラメータである。パラメータAl(i)は、高度のパラメータであり、パラメータT(i)は、時刻のパラメータである。パラメータV(i)は、平均速度のパラメータであり、パラメータX(i)は、移動距離のパラメータである。パラメータP(i)は、位置情報のパラメータである。
ユーザーが検査対象装置に到着したと判定された場合、行動履歴登録部309は、ステップS609で取得した測位情報に基づき、経度をパラメータLa(i)に入力し、緯度をパラメータLo(i)に入力する。また、行動履歴登録部309は、今回取得した測位情報に基づき、高度をパラメータAl(i)に入力し、時刻をパラメータT(i)に入力する。また、行動履歴登録部309は、各測位情報を入力した各パラメータを記憶部303に記憶させる。また、行動履歴登録部309は、各測位情報を入力した各パラメータを、移動ログに含めてサーバー200に送信する。
次に、サーバー200は、受信した移動ログに含まれている各パラメータを、HMD1の移動ログに関連付けて記憶部202に記憶させる。
(ステップS613)行動履歴登録部309は、バーコードから抽出したアドレス情報を抽出する。次に、行動履歴登録部309は、バーコードから抽出したアドレス情報に基づいて、検査対象装置に係わる情報を、ネットワークを通じて取得する。
(ステップS614)行動履歴登録部309は、ネットワークを通じて取得した検査対象装置に係わる情報を表示パネル63に表示する。
図42は、本実施形態に係る表示パネル63に表示される情報の一例を説明する図である。図42(A)は、視線入力時、操作スイッチ30又はタッチスイッチ34による操作時の表示パネル63に表示される画像800の一例を示す図である。図42(B)は、指さしによる選択項目を選択時の表示パネル63に表示される画像800aの一例を示す図である。
図42(A)及び図42(B)に示すように、画像800及び画像800aには、検査対象装置の番号及び装置名を示す情報の画像801、検査項目(確認項目)を示す情報の画像802、注意事項を示す情報の画像803、検査を行った結果を示す画像804を含んでいる。また、検査を行った結果を示す画像804には、検査を行った結果に問題ないことを示す画像「OK」804a、検査を行った結果に問題があることを示す情報の画像「NG」804bを含んでいる。図42(A)に示すように画像800には、視線入力時のカーソル画像805が含まれている。図42(B)に示すように画像801aには、指差しによる選択項目を選択時のユーザーの指先を含む画像806が含まれている。なお、ユーザーの指先を含む画像806は、カメラ64によって撮影されたユーザーの指先を処理部123によって検出し画像800aに重畳するものである。処理部123の画像表示部307は、画像800及び画像800aにおいて、ユーザーの指先を含む画像806により、各表示されている画像801〜804が遮られないように表示する。
ここで、視線入力、操作スイッチ30又はタッチスイッチ34の操作によって、選択項目を選択する例について説明する。ユーザーは、検査対象装置に対して検査を行った結果に応じて、図42(A)のように、表示パネル63に表示されている画像「□OK」804a、または画像「□NG」804bを視線入力、操作スイッチ30又はタッチスイッチ34の操作によって選択する。
次に、指さしによる選択項目を選択する例について説明する。ユーザーは、図42(B)のように、表示パネル63に表示されている画像内にユーザーの指が映し出されるように、カメラ64が撮像している空間でユーザーの指を動かして、検査を行った結果を示す画像804のいずれかを指さすことで選択する。そして、行動履歴登録部309は、指さしによる項目選択が行われるか否かをカメラ64が撮像した画像に基づいて判別する。
なお、図42(A)及び図42(B)において画像800及び画像800aを、各情報を日本語により表示する例を説明したが、予めユーザーが操作スイッチ30、タッチスイッチ34を操作してHMD1で使用する言語を選択している場合、行動履歴登録部309は、選択された言語で各情報を表示パネル63に表示するようにしてもよい。また、行動履歴登録部309は、表示パネル63に表示される情報を観察するように促すアナウンス等を、選択された言語の音声でアナウンスするようにしてもよい。
(ステップS615)図39に戻って、行動履歴登録部309は、取得した検査対象装置に係わる情報に、報知の対象であることを示す情報が設定されているか否かを判別する。
報知の対象であることを示す情報とは、更新日時情報、更新有り情報、注意事項有り情報、及びチェック項目有り情報のうち、いずれかの情報である。次に、行動履歴登録部309は、更新日時情報が含まれていると判別した場合、例えばステップS609で取得した現在の日時と、更新された日時を比較する。次に、行動履歴登録部309は、比較した結果、更新が、例えば過去3日間行われていないと判別した場合(ステップS615;No)、ステップS621に進む。また、行動履歴登録部309は、更新有り情報、注意事項有り情報、及びチェック項目有り情報のいずれの情報も含まれていないと判別された場合(ステップS615;No)、ステップS621に進む。
ここで、更新が過去3日間行われていない場合、または更新有り情報、注意事項有り情報、及びチェック項目有り情報のいずれの情報も含まれていない場合、ステップS616〜S620をスキップする理由を説明する。ユーザーが、毎日、検査対象装置の検査を行っている場合、検査項目の内容をすでにユーザーが覚えている可能性が高い。このため、検査項目の内容に変更がなかった場合、又は重要な注意事項の追加が行われていない場合、HMD1は、あえてユーザーに対して表示パネル63に表示されている検査対象装置に係わる情報を観察するように促さなくてもよい場合もある。従って、本実施形態のHMD1では、このような場合、ステップS616〜S620をスキップする。なお、ユーザーによる検査を行う頻度が低い場合、又は検査を行うユーザーが検査日によって代わる場合等、HMD1の行動履歴登録部309は、ステップS616〜S620をスキップせずに行うようにしてもよい。
一方、行動履歴登録部309は、更新日時情報、更新有り情報、注意事項有り情報、チェック項目有り情報のうち、いずれかの情報が含まれていると判別した場合(ステップS615;Yes)、ステップS616に進む。
次に、行動履歴登録部309は、例えば、取得した検査対象装置に係わる情報に、チェック項目有り情報が含まれている場合、表示パネル63にチェック項目を確認した結果の判定結果を入力するチェックボックス(以下、チェックボックスという)画像を表示する。例えば、図42(A)に示したように、画像804は、検査した結果、問題がなかったことを示す「□OK」画像804a、検査した結果、問題があったことを示す「□NG」画像804bを含んでいる。各画像のうち、「□」をチェックボックスという。
(ステップS616)ネットワーク経由で取得した情報が更新されていた場合、注意事項がある場合、またはチェック項目がある場合、ユーザーは、表示パネル63に表示されている情報を確認して、検査を行う必要がある。このため、行動履歴登録部309は、ユーザーに対して、表示パネル63に表示される情報を観察するように促すアナウンスを、耳元スピーカー23から音声により出力する。耳元スピーカー23から出力されるアナウンスは、更新されている内容に応じたものであり、例えば「ドキュメントに変更がありました。画面を見てください。」等である。なお、HMD1にステレオイヤホン100が接続されている場合、行動履歴登録部309は、ユーザーに対して、表示パネル63に表示される情報を観察するように促すアナウンスを、ステレオイヤホン100から音声により出力する。
(ステップS617)行動履歴登録部309は、ユーザーが表示パネル63に表示される情報を観察しているか否かを再度、判別するために、眼球照明ライトの選択処理手順(図9を参照)に従い選択した眼球照明ライト166を点灯させる。
(ステップS618)行動履歴登録部309は、バックライト62を点灯させる。ユーザーに表示パネル63に表示される情報を観察するようにアナウンスしたことに応じて、ユーザーが急に目線を表示パネル63に表示される情報に向けてきた場合、そのユーザーの視線を検出した後にバックライト62を点灯させると、ユーザーが表示パネル63に表示される画像を確認するまでにタイムラグが発生する。このため、本実施形態のHMD1は、表示パネル63に表示される画像をユーザーが確認するまでのタイムラグを無くすため、バックライト62をこの時点で点灯させる。
(ステップS619)観察可否判定部310は、ステップS605の処理と同様に、ユーザーが表示パネル63に表示される情報を観察しているか否かの判定を行う。観察可否判定部310は、ユーザーが表示パネル63に表示される情報を観察していると判定した場合(ステップS619;Yes)、ステップS621に進み、ユーザーが表示パネル63に表示される情報を観察していないと判定した場合(ステップS619;No)、ステップS620に進む。
(ステップS620)ユーザーが表示パネル63に表示される情報を観察していないと判定された場合、行動履歴登録部309は、ユーザーが表示パネル63に表示される情報を観察するまでステップS619とS620を繰り返して、ユーザーに対して表示パネル63に表示される情報を観察するように促す警告音を、耳元スピーカー23から出力する。
(ステップS621)行動履歴登録部309は、取得した検査対象装置に係わる情報に、チェック項目有り情報が含まれているか否かを判別する。行動履歴登録部309は、取得した検査対象装置に係わる情報にチェック項目有り情報が含まれていると判別した場合(ステップS621;Yes)、ステップS622に進み、取得した検査対象装置に係わる情報に、チェック項目有り情報が含まれていないと判別した場合(ステップS621;No)、ステップS624に進む。
(ステップS622)取得した検査対象装置に係わる情報にチェック項目有り情報が含まれていると判別された場合、行動履歴登録部309は、ユーザーにチェック項目に関する検査を行い、検査の結果をチェックするように促すアナウンスを、耳元スピーカー23から音声により出力する。
次に、ユーザーは、アナウンスに応じて、検査対象装置に対して検査項目の検査を行い、検査した結果を視線入力により選択する。一例として、ユーザーは、表示パネル63に表示される「□OK」画像804a又は「□NG」画像804bを注視する。行動履歴登録部309は、ユーザーの注視に応じて、「□OK」画像804a又は「□NG」画像804bのチェックボックスにチェックを入力した画像を、表示パネル63に表示する。または、ユーザーは、操作スイッチ30又はタッチスイッチ34を操作する。行動履歴登録部309は、ユーザーの操作に応じて、表示パネル63に表示される「OK」画像804a又は「OK」画像804bのチェックボックスにチェックを入力した画像を、表示パネル63に表示するようにしてもよい。あるいは、ユーザーは、ユーザーの頭部を回動させることにより、表示パネル63に表示されている「□OK」画像804a又は「□NG」画像804bを選択する。行動履歴登録部309は、このようにユーザーの頭部の回動に応じてチェックボックスにチェックを入力し、チェックを入力した画像を表示パネル63に表示するようにしてもよい。
ここで、頭部の回動による「□OK」画像804a又は「□NG」画像804bの選択について説明する。このような場合、「□OK」画像804a及び「□NG」画像804bは、左右方向に同じ位置ではなく、左右にずれて配置されていることが望ましい。ユーザーが例えば右方向に所定値以上の角速度で頭部を回動させた場合、行動履歴登録部309は、この右方向の回動による加速度を角速度センサー134の検出値に基づいて、ユーザーの頭部回動による移動方向と移動量を算出する。次に、行動履歴登録部309は、算出した移動方向と移動量に基づいて、カーソル画像805(図42)を「□OK」画像804a又は「□NG」画像804bに移動させて表示パネル63上に表示する。
このように、行動履歴登録部309は、頭部の回動による選択において、角速度センサー134の検出値に基づいてユーザーの頭部の動きを検出することで、カーソル画像805を移動させ、各項目を選択する。そして、制御部302は、例えば、ユーザーがあたかも頷くかのように前後方向に顔を動かした場合、選択項目が決定されたと判別する。
(ステップS623)行動履歴登録部309は、チェック項目の検査が完了したか否かを判別する。具体的には、行動履歴登録部309は、表示パネル63に表示されている「□OK」画像804a又は「□NG」画像804bのチェックボックスのいずれか一方にチェックが入力されている場合、チェック項目の検査が完了したと判別し、チェックボックスのいずれにもチェックが入力されていない場合、チェック項目の検査が完了していないと判別する。行動履歴登録部309は、チェック項目の検査が完了したと判別した場合(ステップS623;Yes)、ステップS624に進み、チェック項目の検査が完了していないと判別した場合(ステップS623;No)、ステップS622とS623を繰り返す。
(ステップS624)行動履歴登録部309は、バーコードに基づいて取得した検査対象装置に係わる情報から、HMD1に対して所定の動作を実行するスクリプトファイルが含まれているか否かを判別する。検査対象装置に係わる情報にスクリプトファイルが含まれていると判別された場合、行動履歴登録部309は、スクリプトを実行し、実行した結果得られたデータをサーバー200に送信する。
なお、スクリプトファイルは、HMD1内のフラッシュメモリー122に予め記憶させておくようにしてもよい。この場合、行動履歴登録部309は、カメラ64が撮像した画像データからバーコードを抽出し、抽出したバーコードに埋め込まれているスクリプトファイルに対応する情報を抽出する。次に、行動履歴登録部309は、抽出したスクリプトファイルに対応する情報に基づいて、フラッシュメモリー122に記憶されているスクリプトファイルを読み出して、スクリプトを実行するようにしてもよい。
本実施形態では、このようにバーコードに埋め込まれているスクリプトファイルに基づいて、HMD1に所定の動作を行わせる。すなわち、HMD1のユーザーが、検査対象装置に貼ってあるバーコードを、カメラ64を用いて撮像することで、HMD1は、検査対象装置が設置されている位置P(i)に関する情報、及び検査対象装置に対応したデータ等を取得して、サーバー200に自動的に送信することができる。従って、HMD1及びサーバー200を含むシステムの管理者は、検査対象装置が設置されている位置P(i)に関する情報、及び検査対象装置に対応したデータ等を自動的に取得することができる。
なお、HMD1に対して実行させる所定の動作は、前述したように、例えば、カメラ64による静止画または動画の撮像、集音マイク24による集音、温湿度センサー136による検査を行う位置の温度及び湿度の取得、GPSセンサー135による位置P(i)に関する情報の取得等である。
従って、本実施形態のHMD1は、HMD1を使用するユーザーの記憶や勘、及び経験などに頼らずに、検査対象装置が設置されている位置P(i)に関する情報、及び検査対象装置に対応したデータ等を収集できる。さらに、本実施形態のHMD1は、表示される情報に変更があった場合であっても、検査対象装置に貼ってあるバーコードに基づいて、HMD1を使用しているユーザーに更新された情報を通知することができるので、検査を行う環境や状況に応じた検査を行うことが可能になる。なお、サーバー200に記憶されている情報は、例えばシステムの管理者が、PC210を操作して、サーバー200の記憶部202に予め記憶させておくようにしてもよい。
(ステップS625)図39に戻って、行動履歴登録部309は、例えばステップS611〜S624においてHMD1が処理した内容を示す全ての情報を観察ログとして、ユーザーIDと関連付けてサーバー200に送信する。この観察ログには、例えば、ステップS619において、HMD1を使用しているユーザーが表示パネル63に表示される情報を観察していたか否かを示す情報、ステップS620において、警告音を出力していた時間を示す情報等が含まれている。
次に、サーバー200は、観察ログ及びユーザーIDを受信し、受信した観察ログを、ユーザーIDと関連付けて記憶部202に記憶させる。
(ステップS626)行動履歴登録部309は、眼球照明ライト166及びバックライト62を消灯させる。
(ステップS627)行動履歴登録部309は、記憶部303に記憶されているサフィックスの値を確認して、予め定められている全ての検査対象装置に対して検査が終了したか否かを判別する。行動履歴登録部309は、全ての検査対象装置に対して検査が終了していないと判別した場合(ステップS627;No)、ステップS602に戻り、以下、全ての検査対象装置の検査が終了するまで、ステップS602〜S627を繰り返す。行動履歴登録部309は、全ての検査対象装置に対して検査が終了したと判別した場合(ステップS627;Yes)、処理を終了する。
以上説明したように、本実施形態におけるHMD1は、情報を表示する表示部(表示パネル63)と、表示部がユーザーにより観察可能な状況であるか否かを判別する観察可否判定部(観察可否判定部310)と、音により報知を行う報知部(音響制御部305)と、観察可否判定部が判定した結果に基づいて、前記表示部がユーザーにより観察可能ではない状況であると判別された場合、前記報知部から報知するように制御する制御部(行動履歴登録部309)と、を備えている。この構成により、本実施形態におけるHMD1は、ユーザーが表示パネル63に表示される情報を観察可能ではない場合、表示パネル63に表示される情報を観察するようにユーザーに促すことが出来る。そのため、本実施形態のHMD1では、ユーザーは、表示パネル63に表示された情報を確認することができるので、ユーザーが表示部に表示された情報を見落とすことを防げる。
また、本実施形態におけるHMD1において、行動履歴登録部309は、検査対象装置に貼られているバーコードに基づいて、サーバー200から検査対象装置に係わる情報を取得する。行動履歴登録部309は、取得した検査対象装置に係わる情報に基づいて、取得した検査対象装置に係わる情報を表示パネル63に表示する(報知する)必要があるか否かを判別する。取得した検査対象装置に係わる情報を表示パネル63に表示する必要があると判定された場合、かつ観察可否判定部310によりユーザーが表示パネル63に表示される情報を観察していないと判定された場合に、ユーザーに表示パネル63に表示される情報を観察するように促すための報知を行う。
これにより、本実施形態におけるHMD1は、表示パネル63に表示された情報を、ユーザーに観察するように促すことが出来る。そのため、本実施形態のHMD1では、ユーザーは、表示パネル63に表示された情報を見逃すことなく確認することができる。
また、本実施形態におけるHMD1において、行動履歴登録部309は、検査対象装置に係わる情報に基づいてユーザーが表示パネル63に表示された情報を確認する必要がないと判定した場合、かつ観察可否判定部310によりユーザーが表示パネル63を観察していないと判定された場合に、表示パネル63用のバックライト62を消灯する。
これにより、本実施形態におけるHMD1は、ユーザーが表示パネル63に表示される情報を観察している場合にのみ、バックライトを点灯させるので、省電力化できる。
また、本実施形態のHMD1において、行動履歴登録部309は、検査対象装置を検査中のユーザーの移動ログ、及び観察ログをサーバー200に送信する。本実施形態のHMD1において、行動履歴登録部309は、検査対象装置に係わる情報から抽出したスクリプトファイルに応じて、HMD1に所定の動作を行わせ、所定の動作により取得したデータを、サーバー200に送信する。サーバー200は、HMD1から受信した移動ログ、観察ログ、及びデータを、ユーザーIDと関連付けて記憶部202に記憶させる。
これにより、本実施形態におけるHMD1は、ユーザーがいつどこでどの装置を検査したかをサーバー200に記録することができる。そのため、本実施形態のHMD1では、システムの監督者がユーザーの検査作業の進捗状況を監視することができる。
また、本実施形態のHMD1では、まず「左右の眼の検出処理」を行う。これにより、本実施形態のHMD1は、撮像画像に含まれるユーザーの片眼を含む領域の画像を用いて、表示部60に表示された画像を観察している眼が右眼と左眼とのうちいずれであるかを認識する。
この結果、ユーザーの頭部に装着されたHMDの姿勢に係わらず、ユーザーが表示部60に表示された画像を観察している眼が右眼と左眼とのうちいずれであるかを認識できるHMD1を実現できる。また、本実施形態のHMD1は、表示部60に表示された画像を観察している眼が右眼と左眼とのうちいずれであるかを判別するため、ユーザーの顔全体または両眼を含む領域の撮像を行わなくてよい。このため、本実施形態のHMD1は、自装置の大型化を抑えることができる。
さらに、本実施形態のHMD1は、このように表示部60に表示された画像を観察している眼が右眼と左眼とのうちいずれであるかを認識した結果に応じて、表示部60に表示する画像の表示角度を変更する。そして、本実施形態のHMD1は、この表示角度に応じて、表示部60に画像を表示する。この結果、本実施形態のHMD1によれば、ユーザーは、ユーザーの頭部に装着されたHMD1の姿勢に係わらず、適切な表示角度で表示部60に表示されている画像を観察できる。
さらに、本実施形態のHMD1は、「左右の眼の検出処理」の後、「注視点のキャリブレーション処理」を行う。この「注視点のキャリブレーション処理」において、ユーザーは、表示パネル63に表示された表示画像に含まれる操作画像の操作を操作部(操作スイッチ30、タッチスイッチ34)により行う。実施形態のHMD1は、操作部により操作が行われているとき、表示部60に表示されている表示画像に含まれる操作画像を注視している撮像画像を取得する。
また、本実施形態のHMD1は、「左右の眼の検出処理」の判別結果に基づいて、選択された撮像範囲QまたはR(図19参照)の画像を選択する。すなわち、本実施形態のHMD1は、画像を観察している眼が右眼と左眼とのうちいずれであるかを認識した結果に基づいて、撮像画像から「注視点のキャリブレーション処理」に用いるユーザーの眼の領域を含む画像を選択する。そして、本実施形態のHMD1は、この選択された撮像範囲の画像を用いて「注視点のキャリブレーション処理」を行う。そして、本実施形態のHMD1は、ユーザーの視線に基づいて操作するためのパラメータである、操作された操作画像に基づく第1座標と撮像画像に基づく第2座標とを取得する。そして、実施形態のHMD1は、取得した第1座標と第2座標との組み合わせに基づいて、注視点検出のためのキャリブレーションを自動的に行う。
このため、本実施形態のHMD1では、ユーザーがキャリブレーション設定をメニュー等から選択して行わなくても、単に表示画像に含まれる操作画像の操作を行うことで、注視点検出のためのキャリブレーションを行うことができる。また、本実施形態のHMD1では、従来のように、図31に示したような注視点検出のためのキャリブレーション用の画像をユーザーに注視させて行う、注視点検出のためのキャリブレーションを行わなくても、単に表示画像に含まれる操作画像の操作を行うことで、注視点検出のためのキャリブレーションを行うことができる。この結果、本実施形態によれば、利便性を向上することができる。
なお、実施形態のHMD1では、視線入力のアプリケーションを開始する前であっても、ならびに同アプリケーションを実行中であっても、操作部の操作によって操作画像が選択されたとき毎に、注視点検出のための計算式のキャリブレーションを行う。この結果、実施形態のHMD1によれば、ユーザーが操作部を操作したタイミングで注視点検出のためのキャリブレーションを、操作画像が選択されたとき毎に自動的に行うため、高い精度で視線入力が可能になっている。また、この注視点検出のためのキャリブレーションにおいて、上述したように、本実施形態のHMD1では、ユーザーの片眼を含む領域の画像を用いて行い、両眼を含む画像を撮影する必要がないため、HMD1を小型化できる。
また、本実施形態のHMD1では、「眼球照明ランプの選択処理」で設定された眼球照明ライト166を点灯及び消灯することで、ユーザーの眼に適切な光線を照射することができる。このため、注視点検出のためのキャリブレーションを精度良く行うことができる。
なお、図9〜図15を用いて説明したように、注視点検出のためのキャリブレーションの前に、画像の大きさを縮小させ、位置を移動させた場合、例えば、選択した表示領域Tに、パスワード入力画面400e、メニュー画面400f等を縮小して表示するようにしてもよい。また、注視点検出のためのキャリブレーションを行った後に、画像の大きさを縮小させ、位置を移動させた表示して視線入力を行う場合、表示位置、及び画像の縮小率に基づいて、記憶部303に記憶されている関係式の値を補正することで座標を変換するようにしてもよい。
なお、本実施形態では、注視点検出のためのキャリブレーションに、図35に示したパスワード入力画面等を用いる例を説明したが、これに限られない。操作スイッチ30により選択可能なキー、ボタン、アイコン等を、表示パネル63に表示させるようにしてもよい。この場合においても、従来技術とは異なり、キャリブレーションのためだけの表示ではなく、ユーザーが操作を行う必然性がある操作に関するキー、ボタン、アイコン等を表示する。ユーザーは、操作時に、これらのキー、ボタン、アイコン等を注視している確率が非常に高いので、操作時の撮像画像に基づいて、注視点検出のためのキャリブレーションを行うことができる。
なお、処理部123は、ユーザーの眼の位置を撮像画像に基づいて検出する場合、眼球照明ライト166を点灯させてもよい。また、処理部123は、ユーザーの眼が表示部60から離れた場合(図12及び図14を参照)、表示領域の縮小率を算出するために、輝点604A及び輝点604Bの間隔(図11を参照)と、輝点604C及び輝点604Dの間隔(図12を参照)との比を測定する。
この処理により、図9に示すところの表示領域Sを表示領域Tに縮小することで、処理部123は、ユーザーが表示全体を見渡せるようにすることが可能である。さらに、輝点604Aと輝点604Bとの中間の位置よりも、輝点604Eと輝点604F(図14を参照)との中間の位置がずれていると判別される場合、処理部123は、ユーザーの眼がベクトルV1だけずれていることがわかる。このようにして、処理部123の画像切替部306(図22を参照)は、図9における表示領域Tを、表示領域Uまでシフトさせることが可能となっている。
[第2実施形態]
第2実施形態では、表示部60の位置600a及び位置600b(第1実施形態の図34を参照)を含む、表示部60の多くの位置について、眼球照明ライト166の点灯及び消灯を切り替える例を説明する。
図43は、本実施形態に係るヘッドマウントディスプレイ(第2表示モード、待避モード)の装着形態を示す図である。図43では、装置本体部21は、ユーザーの左右の眼を仮想的に結んだ線を含むXY平面に対して、角度αだけ下側に傾いた姿勢となっている。
図43(A)は、右眼観察形態の第1表示モードから、表示部60を時計回り方向に90度回転させた装着形態を示す図である。この装着形態を、第2表示モードと称する。第2表示モードでは、表示部60の先端部が上側に位置するよう、表示部60は、収容部61a及び球状部61bを回転軸として、Y’軸回り(図3を参照)で時計回り方向に90度だけ回転される。これにより、表示部60及びファインダー開口部67は、ユーザー側から見ると、Z軸方向に縦長に配置される。また、表示パネル63は、アスペクト比が縦長の画像を表示する。
つまり、第2表示モードでは、表示部60の表示パネル63に表示される画像は、ユーザーの右眼に対して、斜め右前方向の位置に表示されることになる。また、第2表示モードでは、右眼の近傍にある眼球照明ライト166c及び166dが点灯し、眼球照明ライト166a及び166bが消灯する。
図43(B)は、右眼観察形態の第1表示モードから、表示部60を反時計回り方向に90度回転させた装着形態を示す図である。この装着形態を、待避モードと称する。待避モードでは、表示部60の先端部が下側に位置するよう、収容部61a及び球状部61bを回転軸として、表示部60をY’軸回り(図3を参照)で90度だけ反時計回り方向に回転される。これにより、表示部60及びファインダー開口部67は、ユーザーの右眼の視野から待避することになる。また、待避モードでは、眼球照明ライト166a〜166dは、全て消灯してもよい。
第1表示モード、第2表示モード、及び待避モードにおいて、表示部60の回転軸は共通である。このため、第2表示モード又は待避モードから、表示部60を90度回転させれば、第1表示モードに戻すことができる。すなわち、ユーザーは、HMD1を外したり、装置本体部21の角度を変えたりせずに、表示部60をユーザーの右眼の視野から待避させたり、観察位置に戻したりすることができる。
なお、図43(A)及び図43(B)に示した例では、右眼観察形態の第1表示モードから、表示部60を縦に配置させる例を説明したが、図5(B)に示した左眼観察形態の第1表示モードからも同様に、表示部60を縦に配置させることができる。すなわち、左眼観察形態の第1表示モードから、収容部61a及び球状部61bを中心軸として、XZ平面で反時計回り方向に90度だけ、表示部60を回転させることで、ユーザーは、左眼観察形態の第2表示モードに、HMD1を切り替え可能である。同様に、右眼観察形態の第1表示モードから、収容部61a及び球状部61bを中心軸として、Y’軸回り(図3を参照)で時計回り方向に90度だけ、表示部60を回転させることで、ユーザーは、左眼観察形態の待避モードに、HMD1を切り替え可能である。
制御部302は、加速度センサー132が検出した検出値、及び撮像素子72(以上、図22を参照)による撮像画像(図26、図27参照)に基づいて、右眼観察形態又は右眼観察形態と、第1表示モード、第2表示モード又は待避モードとを判別する。ここで、制御部302は、撮像素子72による撮像画像については、例えば、眉毛と眼との相対位置、瞬きでの瞼の挙動、眉毛の輪郭、眼の輪郭、眼の左右の目尻の下がり方等に基づいて、右眼観察形態又は右眼観察形態と、第1表示モード、第2表示モード又は待避モードとを判別する。また、制御部302は、撮像素子72による撮像画像にユーザーの眼球が撮像されていない場合、待避モードであると判別する。
図44は、本実施形態に係る表示部60の位置と眼球照明ライト166の関係を説明する図であり、ユーザーの顔を正面から水平に見た場合の図である。図44において、一点鎖線の四角形で示された位置600a〜600hは、表示部60が配置される位置の例である。
<第1表示モード>
位置600aは、ユーザーの右眼の下側に、横向きに配置されている表示部60の位置である。また、位置600bは、ユーザーの左眼の下側に、横向きに配置されている表示部60の位置である。また、位置600cは、ユーザーの右眼の上側に、横向きに配置されている表示部60の位置である。また、位置600dは、ユーザーの左眼の上側に、横向きに配置されている表示部60の位置である。
<第2表示モード>
位置600eは、ユーザーの右眼の右側に、縦向きに配置されている表示部60の位置である。また、位置600fは、ユーザーの左眼の左側に、縦向きに配置されている表示部60の位置である。
HMD1の制御部302(図22を参照)は、位置600a、600d又は600fのいずれかに表示部60がある場合、この位置でユーザーの眼のより近傍に位置する眼球照明ライト166a及び166bを点灯させ、眼球照明ライト166c及び166dを消灯させる。一方、位置600b、600c又は600eのいずれかに表示部60がある場合、この位置でユーザーの眼のより近傍に位置する眼球照明ライト166c及び166dを点灯させ、眼球照明ライト166a及び166bを消灯させる。
このように、制御部302は、ファインダー開口部67の隅の近傍(予め定められた距離以内)に配置されている眼球照明ライト166a〜166dのうち、ユーザーの眼をより正面から照射する眼球照明ライトが点灯するように、ユーザーと表示部60との位置関係に応じて点灯状態を制御する。
<待避モード>
位置600gは、ユーザーの右眼の右下側に、縦向きに配置されている表示部60の位置である。また、位置600hは、ユーザーの左眼の左下側に、縦向きに配置されている表示部60の位置である。
位置600g及び600hの位置に表示部60がある場合、制御部302は、眼球照明ライト166a〜166dを、全て消灯させる。
次に、注視点検出のためのキャリブレーション時、又は業務ロギングの処理時に点灯させる眼球照明ライトを選択する選択処理について説明する。
図45は、本実施形態に係るHMD1の眼球照明ライトの選択処理手順のフローチャートである。
(ステップS801)制御部302は、眼球照明部304を介して、眼球照明ライト166a及び166bを点灯させる。次に、制御部302は、撮像素子72を駆動して撮像画像を取得し、取得した撮像画像を記憶部303に記憶させる。
(ステップS802)制御部302は、眼球照明部304を介して、眼球照明ライト166a及び166bを消灯させ、眼球照明ライト166c及び166dを点灯させる。次に、制御部302は、撮像素子72を駆動して撮像画像を取得し、取得した撮像画像を記憶部303に記憶させる。
(ステップS803)制御部302は、ステップS801で記憶させた撮像画像を読み出し、読み出した撮像画像から、眼球照明ライト166a及び166bに対応する輝点の画像を抽出する。次に、制御部302は、抽出した輝点の画像の輝度を算出する。次に、制御部302は、ステップS802で記憶させた撮像画像を読み出し、読み出した撮像画像から、眼球照明ライト166c及び166dに対応する輝点の画像を抽出する。次に、制御部302は、抽出した輝点の画像の輝度を算出する。
次に、制御部302は、眼球照明ライト166a及び166bに対応する輝点の輝度の方が、眼球照明ライト166c及び166dに対応する輝点の輝度より高いか否かを判別する。眼球照明ライト166a及び166bに対応する輝点の輝度の方が、眼球照明ライト166c及び166dに対応する輝点の輝度より高いと判別された場合(ステップS803;Yes)、ステップS804に進む。眼球照明ライト166a及び166bに対応する輝点の輝度の方が、眼球照明ライト166c及び166dに対応する輝点の輝度より高くないと判別された場合(ステップS803;No)、ステップS805に進む。
(ステップS804)眼球照明ライト166a及び166bに対応する輝点の輝度の方が、眼球照明ライト166c及び166dに対応する輝点の輝度より高いと判別された場合、制御部302は、眼球照明ライト166a及び166bを選択し、選択した結果を記憶部303に記憶させる。制御部302は、眼球照明ライト166c及び166dを消灯させて、眼球照明ライトの選択処理を終了する。
(ステップS805)眼球照明ライト166a及び166bに対応する輝点の輝度の方が、眼球照明ライト166c及び166dに対応する輝点の輝度より高くないと判別された場合、制御部302は、眼球照明ライト166c及び166dを選択し、選択した結果を記憶部303に記憶させる。制御部302は、眼球照明ライト166c及び166dを消灯させて、眼球照明ライトの選択処理を終了する。
第2実施形態においても、制御部302は、注視点検出のためのキャリブレーション時、図31のステップS502又はS503の代わりに、上述したようにユーザーと表示部60との位置関係に応じて眼球照明ライト166の点灯と消灯を制御する。また、制御部302は、業務ロギングの処理時、図39のステップS604及びステップS617において、上述したようにユーザーと表示部60との位置関係に応じて眼球照明ライト166の点灯と消灯を制御する。
上述したように、眼球照明ライト166の輝度に基づいて、眼球照明ライト166を制御するようにしたので、本実施形態のHMD1は、ユーザーと表示部60との位置関係に応じて眼球を照明するライトの選択が適宜行うことが可能となる。さらに、本実施形態のHMD1は、使用しない眼球照明ライト166を消灯することで、効率的な省電力対策が可能となっている。
なお、本実施形態では、眼球照明ライト166の輝度と、ユーザーと表示部60との位置関係とに応じて、眼球照明ライト166の点灯及び消灯を制御する例を説明したが、眼球照明ライト166の点灯及び消灯を制御する例は、これに限られない。例えば、制御部302は、取得した撮像画像と記憶部303に記憶されている判別用画像とを、パターンマッチングにより比較し、比較した結果に基づいて、ユーザーと表示部60との位置関係に応じて、眼球照明ライト166の点灯と消灯を制御するようにしてもよい。
以上のように、本実施形態のHMD1は、ユーザーの眼に対してユーザーの下側もしくは上側や外側に表示部60が配置された場合であっても、ユーザーと表示部60との位置関係に応じて、眼球照明ライト166の点灯と消灯を制御する。この結果、本実施形態のHMD1は、ユーザーと表示部60との位置関係に応じて、ユーザーの眼に適切な眼球照明ライト166の光による輝点に基づいてユーザーの視点を精度良く検出できるので、注視点検出のためのキャリブレーションを精度良く行うことができる。従って、第1実施形態と同様に、「業務ロギングの処理」において、本実施形態のHMD1は、ユーザーは表示パネル63に表示されている選択項目を注視により選択することで、両手を使った作業をしながらでも、業務遂行に係るログを記録することができる。
さらに、本実施形態のHMD1は、ユーザーの眼に適切な眼球照明ライト166を点灯させるため、「業務ロギングの処理」において、ユーザーが表示パネル63に表示される情報を観察しているか否かを精度良く判別することができる。この結果、本実施形態のHMD1は、第1実施形態と同様に、ユーザーが表示パネル63に表示される情報を観察可能ではない場合、ユーザーに表示パネル63に表示される情報を観察するように促すことができる。
また、本実施形態のHMD1は、第1実施形態と同様に、ユーザーと表示部60との位置関係に応じて、眼球照明ライト166を消灯できるので、消費電力を削減することができる。
なお、表示部60がユーザーの顔の正面にあり、眼球照明ライト166a〜166dの全てがユーザーの水平視線からほぼ等距離な位置にあると判別される場合、HMD1は、原理的にはどの眼球照明ライト166を点灯してもよい。しかしながら、通常は眼の上方向には、天井の照明や空や太陽などがあり、これらの光源による輝点が眼球上に存在する可能性がある。そして、これらの輝点と眼球照明ライト166の輝点とが識別がしづらくなることから、表示部60がユーザーの顔のほぼ正面にあると判別される場合、HMD1は、眼の鉛直下方向に配置された眼球照明ライト166を点灯するように制御を行うようにしてもよい。
なお、表示部60を含むファインダー開口部67の長辺の近傍に眼球照明ライト166a〜166dを備える例を説明したが(図2を参照)、眼球照明ライト166a〜166dを備える例は、これに限られない。すなわち、眼球照明ライト166は、ファインダー開口部67の短辺の近傍に配置されてもよい。
[第3実施形態]
次に、表示部がシースルー光学系の場合について説明する。
第1及び第2実施形態との差異は、表示部60の構成のみである。
図46は、本実施形態に係る本実施形態に係る光学系を説明するための表示部60aの断面図である。図8と同じ機能の部材には同じ番号を設けてあるので説明は省略する。
図46に示すように、本実施形態の表示部60aは、バックライト62、表示パネル63、第1プリズム65a、第2プリズム65b、反射ミラー66、ファインダー開口部67、結像レンズ71、撮像素子72、1/4波長板75、偏光板90、凹レンズ91、1/4波長板92、液晶93、偏光板94、開口部95を含んで構成されている。図46において、符号H、I、J、K、O、Tは、各々、光線を表し、符号Sは、ユーザーの眼から出た光束を表す。
図46に示すように、ユーザーの前面の景色は、光線Oとなって開口部95に入射する。次に、光線Oは、開口部95を抜けて、偏光板94を透過する。次に、光線Oは、S偏光のみが透過する。
次に、光線Oは、液晶93に入射する。なお、光線Oは、液晶93の働きにより偏光方向が変わる。すなわち、液晶93に通電した場合(オン状態)、光線Oは、液晶93に入射したS偏光がP偏光となって、1/4波長板92に入射する。次に、光線Oは、1/4波長板92の働きにより左回りの偏光となる。
本実施形態において反射ミラー66は、半透過タイプとなっており、例えば、50%の光線を透過し、50%の光を反射する。反射ミラー66が、50%の光線を透過するとして以下を説明する。この結果、光線Oの50%が、1/4波長板75に入射する。
なお、凹レンズ91は、反射ミラー66を構成する凸レンズとペアとなって、パワーゼロの平行平板となるようにするための部材である。
次に、光線Oは、1/4波長板75の作用で、P偏光となり、第1プリズム65aに入射する。次に、光線Oは、接合面65cをそのまま透過して、第2プリズム65bを透過して偏光板90に入射する。偏光板90は、P偏光を透過するように構成されている。
以上の構成により、ユーザーによって外界の画像(開口部95を通して見る画像)が、表示パネル63から投影される画像とともに観察可能となっている。
次に、外界の画像を消し、表示パネル63から投影される画像のみを観察する場合について説明する。
図46において、液晶93を無通電の状態(オフ状態)にすると、光線Oは、液晶93により光線Oの偏光方向が変化されない。このため、光線Oは、偏光板94でS偏光となる。次に、光線Oは、そのままが1/4波長板92に入射する。次に、光線Oは、1/4波長板の働きにより右回りの偏光となる。
次に、反射ミラー66を透過した光線Oの50%が、1/4波長板75に入射する。次に、光線Oは、1/4波長板75の作用で、S偏光となる。次に、S偏光になった光線Oは、第1プリズム65aに入射する。接合面65cに設けられた偏光反射膜は、S偏光を反射する。この結果、ユーザーの眼に外界の光線が、入射しない。
このように、液晶93のオン状態とオフ状態の切り替えによって、外界の画像をファインダー内に透過して使用者によって観察可能か否かを制御することが可能である。なお、液晶93のオン状態とオフ状態の切り替えは、例えば処理部123が行う。
図46において、偏光板90の働きは、反射ミラー66によってユーザーが自分の眼を拡大して観察しないように配置している。ユーザーが自分の眼を拡大して観察しない理由について、説明する。
ユーザーの眼から出た光束Sは、偏光板90でP偏光のみが透過し、第2プリズム65b、接合面65c、第1プリズム65aを透過して、1/4波長板75に入射する。ここで、光線Sは、1/4波長板75の作用により左回りの円偏光となり、反射ミラー66で光線Tとして反射される。次に、光線Tは、反射によって右回りの円偏光となり、1/4波長板75を透過する際にS偏光となる。
次に、光線Tは、第1プリズム65aを透過して接合面65cに入射する。ここで、接合面65cはS偏光を反射して透過しない。従って、ユーザーの眼には、自分自身の眼からでた光束が入射することはなく、表示画面中に自分の眼が見えることは無い。
また、眼の周辺画像を撮影するための結像レンズ71ならびに撮像素子72は、ファインダー開口部67に隣接して設けられている。このため、結像レンズ71ならびに撮像素子72系の光線は、第2プリズム65bを透過せずに、直接ユーザーの眼の近傍を撮影可能となっている。
図47は、本実施形態に係る観察範囲と撮像範囲を説明する図である。図47において、符号67aは、表示パネル63から投影された画像の観察範囲を表している。符号67bは、撮像素子72の撮像範囲を表している。
また、図47は、図10等と同様に、反射ミラー66を凸レンズに置き換えて、等価的に表した図である。
図47において、結像レンズ71の焦点距離は、反射ミラー66の焦点距離より短く作られている。このため、図46を紙面とは垂直に断面を切り取った場合、図47で示すように、ユーザーの眼を含むその周囲の様子が撮影可能となっている。
なお、図47において、結像レンズ71ならびに撮像素子72は、反射ミラー66の光学中心とはオフセットしている。しかしながら、ユーザーは、表示部60aを眼の正面ではなく、口元の方向へ下げることでファインダー開口部67から眼を十分に離すことが可能となっており、図47に示すようにユーザーの眼は観察距離L81の位置にある。このため、ユーザーが表示パネル63を観察している場合、本実施形態によれば、撮像素子72は、問題なくユーザーの眼ならびにその周囲を撮影可能となっている。
上述した構成を備えることで、ユーザーの眼を含む撮像を行い、第1実施形態と同様に、撮像素子72が撮像した画像に基づいて、HMD1の装着状態、視線キャリブレーションを行うことができるシースルー光学系の表示部を備えるヘッドマウントディスプレイを提供することができる。
なお、第2実施形態においても、第1実施形態で説明したように、眼球照明ライトを、ファインダー開口部67の4辺のうち、対向する2辺の近傍に各々配置するようにしてもよい。
第3実施形態のHMD1は、第1実施形態と同様に、ユーザーが表示パネル63に表示される情報を観察可能ではないと判定した場合、ユーザーに表示部を観察するように促すための報知を音により行う。この結果、第3実施形態のHMD1は、第1実施形態と同様に、ユーザーが表示パネル63に表示される情報を観察可能ではない場合、表示パネル63に表示される情報を観察するようにユーザーに音により促すことが出来る。従って、第3実施形態のHMD1は、ユーザーが表示パネル63に表示された情報を確認することができるシースルー光学系の表示部60aを備えるヘッドマウントディスプレイを提供する。
また、第3実施形態のHMD1は、第1実施形態のHMD1の場合と同様に、検査対象装置に係わる情報に基づいてユーザーが表示パネル63に表示された情報を確認する必要があると判定した場合、かつ観察可否判定部310によりユーザーが表示パネル63に表示される情報を観察可能ではないと判定された場合に、ユーザーに表示パネル63に表示される情報を観察するように促すための報知を音により行う。この結果、第3実施形態のHMD1は、第1実施形態と同様に、表示パネル63に表示された情報が重要な場合に、ユーザーに表示パネル63に表示されている情報を観察するように促すことが出来る。従って、第3実施形態のHMD1は、ユーザーが表示パネル63に表示された情報を確認させることができるシースルー光学系の表示部60aを備えるヘッドマウントディスプレイを提供できる。
なお、第1〜第3実施形態では、ヘッドマウントディスプレイの例として、右眼観察形態と左眼観察形態を切り替えて使用できるヘッドマウントディスプレイの例を説明したが、これに限られない。例えば、右眼観察形態専用、または左眼観察形態専用のヘッドマウントディスプレイであってもよい。この場合、本実施形態で説明した処理の内、右眼観察形態、または左眼観察形態に関する処理のみを行うようにしてもよい。
なお、第1〜第3実施形態において、表示部60(または表示部60a)の画像を観察している眼を認識する際に、制御部302は、バックライト62を点灯させるようにしてもよい。これにより、さらに撮像画像に含まれるユーザーの眼の領域を含む画像が鮮明になり、「左右の眼の検出処理」における演算処理が簡単になる。または、制御部302は、バックライト62を消灯させた撮像画像と、バックライト62を点灯させた撮像画像の両方を用いて「左右の眼の検出処理」を行うようにしてもよい。この場合、制御部302は、撮像画像において、ユーザーの眼を含む領域がより鮮明な方を用いて、「左右の眼の検出処理」を行うようにしてもよい。
なお、第1〜第3実施形態では、撮像画像の例として、図11、図12、図14、図26、図27、及び図28に示したように、ユーザーの片眼を含む領域が撮像された例を説明したがこれに限られない。撮像画像にはユーザーの両眼のうち、片眼を含む領域のみならず、ユーザーの他の片眼の一部を含む領域が撮像されていてもよい。この場合、制御部302は、撮像画像において占める面積が多い方の眼の画像領域を抽出して、抽出した画像領域をユーザーの片眼を含む領域とする。そして、制御部302は、この抽出したユーザーの片眼を含む領域に基づいて「左右の眼の検出処理」を行うようにしてもよい。あるいは、制御部302は、撮像画像において眼球の画像が撮像画像の中心により近い方の眼の画像領域を抽出して、抽出した画像領域に基づいて「左右の眼の検出処理」を行うようにしてもよい。また、制御部302は、眉毛の画像を抽出し、抽出した眉毛の画像の近傍にある眼の画像を抽出して、「左右の眼の検出処理」を行う。このように眉毛の画像の近傍にある眼の画像を抽出することで、本発明に係るHMD1では、ユーザーの片眼を含む領域の画像に、ユーザーの両眼のうち他の片眼の一部の画像又はその眼に対応する眉毛の画像が含まれていても、ユーザーの片眼の画像およびその眼に対応する眉毛の画像を適切に抽出できる。この結果、本発明に係るHMD1では、ユーザーの片眼を含む領域に基づいて、表示部60に表示された画像を観察している眼が右眼と左眼とのいずれかであるかを適切に認識できる。
また、第1〜第3実施形態において、図2では、表示部60及びファインダー開口部67が長方形である例を示したが、表示部60及びファインダー開口部67は、正方形、楕円形、円形等であってもよい。表示部60及びファインダー開口部67が、このような形状であっても、複数の眼球照明ライトを、図2に示したように、ファインダー開口部67の4辺のうち、対向する2辺の近傍に各々配置するようにしてもよい。
なお、第1〜第3実施形態では、眼球照明ライト166a〜166d、または166e〜166hを、例えば図2に示したように、ファインダー開口部67の上下または左右に、各々2個ずつ設ける例を説明したが、これに限られない。例えば、ファインダー開口部67の上下または左右に、各々1個ずつ設けるようにしてもよい、ファインダー開口部67の上下または左右に、各々3個以上ずつ設けるようにしてもよい。
さらに、眼球照明ライト166a〜166dを設ける位置は、図2に示したようなファインダー開口部67の上下でなくてもよい。ユーザーの眼球に照射できる位置であればよく、例えば、眼球照明ライト166a〜166dは、ファインダー開口部67の内側の上下に設けるようにしてもよい。すなわち、ユーザーが、HMD1をユーザーの眼の近傍に表示部60が配置したとき、眼球照明ライト166a〜166dのいずれかがユーザーの眼の近傍に配置されればよい。このため、眼球照明ライト166a〜166dは、ファインダー開口部67が配置された表示部60の一面の範囲、または、ファインダー開口部67の内側の範囲に配置されるようにしてもよい。また、表示部60が配置されるユーザーの眼の近傍とは、例えば、図45に示した位置600a〜600fのように、ユーザーの眼の下、上、外側等であり、撮像素子72によりユーザーの眼の周辺画像を撮像できる範囲であればよい。
なお、第1〜第3実施形態では、右眼観察形態であるか左眼観察形態であるかを、加速度センサー132の検出値、または撮像素子72が撮像した画像を用いる例を説明したが、これに限られない。例えば、眼球照明ライト166a〜166dに受光部を備えるタイプを使用し、各眼球照明ライト166a〜166dによる反射光を検出するようにしてもよい。例えば、右眼観察形態の場合、図34に示したように、眼球照明ライト166a及び166bは、眼球照明ライト166c及び166dよりも、ユーザーの眼のより正面に配置される。このため、眼球照明ライト166c及び166dによる反射光の輝度は、眼球照明ライト166a及び166bによる反射光の輝度よりも低い。
このように、処理部123は、各眼球照明ライト166a〜166dによる反射光を検出し、検出した結果に基づいて観察形態を判別するようにしてもよい。
また、撮像素子72は、所定の時間間隔で、撮像画像を撮像してもよい。この場合、処理部123は、メインスイッチ28をオフ状態にせずに、ユーザーがヘッドマウントディスプレイを頭部から外しているのか否かを、撮像素子72が撮像した画像に基づいて判別するようにしてもよい。メインスイッチ28をオフ状態にせずに、所定の時間以上、ユーザーがヘッドマウントディスプレイを頭部から外していると判別した場合、処理部123は、カメラ64及び撮像素子72による撮像を、停止させてもよい。また、処理部123は、眼球照明ライト166a〜166dを消灯させてもよい。さらに、処理部123は、省電力状態になるように、各通信回路等を制御するようにしてもよい。なお、これらの制御を行うか否かは、例えば、タッチスイッチ34を操作することにより、ユーザーが設定してもよい。
または、処理部123は、ヘッドマウントディスプレイが頭部から外されているか否かを、例えば、心拍数センサー137の検出値に基づいて判別するようにしてもよい。
さらに、処理部123は、装置本体部21がヘッドバンド40に装着されていないことを検出スイッチ(不図示)が検出した場合、装置本体部21が頭部から外されていると判別し、眼球照明ライト166a〜166dを全て消灯させてもよい。
これにより、処理部123は、ヘッドマウントディスプレイの消費電力を低減させることができる。
なお、第1〜第3実施形態では、ヘッドマウントディスプレイの例として単眼タイプについて説明したが、ヘッドマウントディスプレイは、両眼タイプでもよい。この場合、処理部123は、撮像素子72が撮像した画像に基づいて、例えば、図45に示したように眼の上の位置600c及び600dに表示部が配置されている状態か、眼の下の位置600a及び600bに表示部が配置されている状態かを判別するようにしてもよい。処理部123は、判別した結果に基づいて、左右の眼に対応した表示部に各々設けられている眼球照明ライト166の点灯または消灯を制御するようにしてもよい。
また、眼球照明ライト166及び撮像素子72は、ヘッドマウントディスプレイが両眼タイプの場合、左右それぞれの表示部のうち、片方の表示部60だけに設けられてもよいし、両方の表示部60に設けられてもよい。片方の表示部60だけに、眼球照明ライト166を設けてもよい理由は、人が物を見る場合、一般的に、両眼の眼球が同じ方向を向くからである。
なお、第1〜第3実施形態では、HMD1は、図21に示した機能を備える例を説明したが、全ての機能を備えていなくてもよい。用途に応じて、例えば、温湿度センサー136、心拍数センサー137等を備えなくてもよい。逆に、HMD1は、必要に応じて、図22に示した以外の他の機能部を備えるようにしてもよい。
なお、第1〜第3実施形態では、ディスプレイ本体20をヘッドバンド40に装着して使用する例を説明したが、これに限られない。ユーザーは、ディスプレイ本体20をヘッドバンド40に装着せずに、用途に応じて単体で使用してもよい。
なお、本発明の技術範囲は上記の実施形態に限定されるものではない。上記の実施形態で説明した要件のうち少なくとも1つの要件は、省略される場合がある。上記の実施形態で説明した各要件は、適宜、組み合わせることができる。
なお、上述のHMD1は、内部にコンピュータシステム(例えば、処理部123)を有している。そして、各機能部の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいうコンピュータシステムとは、CPU及び各種メモリーやOS、周辺機器等のハードウェアを含むものである。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピュータシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。