以下に、図面を参照して、本願に係る発明を実施するための形態について説明する。
[第一実施形態]
まず、本発明の第一実施形態である端末装置について説明する。図1は本発明の第一実施形態である端末装置の概略斜視図、図2(a)は第一実施形態の端末装置の概略平面図、図2(b)はその端末装置の概略右側面図である。また、図3は第一実施形態の端末装置においてディスプレイ装置(表示装置)のホログラムシートに元画面を投影している様子を説明するための概略図、図4は第一実施形態の端末装置の概略ブロック図である。
本発明の端末装置は、ユーザ(使用者)の頭部に装着される装着物と、その装着物に設けられたディスプレイ装置(表示装置)と、装着物と別体に構成された、表示部を搭載する端末とを具備するものである。第一実施形態では、装着物が眼鏡である場合を考える。したがって、第一実施形態の端末装置1Aは、図1及び図2に示すように、装着物としての眼鏡10と、眼鏡10に設けられたディスプレイ装置20と、眼鏡10と別体に構成された、表示部31を搭載する端末30と、眼鏡10に設けられた通信部40とを備える。
眼鏡10は、図1及び図2に示すように、二つのレンズ部11,11を有する一般的なものである。レンズ部11に取り付けるレンズは、視力を矯正するための凸レンズや凹レンズであってもよいし、視力矯正機能を持たないただのガラスやプラスチック等であってもよいし、また、太陽光から目を保護するためのサングラス用のレンズであってもよい。
ディスプレイ装置20は、図1、図2及び図3に示すように、例えば、液晶パネル(表示デバイス)を有する小型プロジェクタ(投影装置)21と、光学系22と、光(映像)の一部を反射するホログラムシート(又はホログラムフィルム)23とを備える。ここで、小型プロジェクタ21としては、例えば、透過型液晶方式(LCD)プロジェクタ又は反射型液晶方式(LCOS)プロジェクタを用いることができる。光学系22としては、例えば、レンズ、反射鏡、プリズム等のうちその一部又は全部から構成されるものを用いることができる。ホログラムシート(又はホログラムフィルム)23は、小型プロジェクタ21の液晶パネルに表示された元画面が光学系を介して投影される投影部としての役割を果たす。小型プロジェクタ21及び光学系22は一つの筐体100の中に配設され、その筐体100は眼鏡10の柄の部分に取り付けられている。第一実施形態では、筐体100は眼鏡10に着脱可能である。すなわち、小型プロジェクタ21及び光学系22は眼鏡10に着脱可能に設けられている。尚、一般にホログラムシートとホログラムフィルムとは厚さの違いによって区別されるが、本明細書においては、ホログラムシート及びホログラムフィルムの両方を含む概念としてホログラムシートを定義し、ホログラムシートという用語を使用することにする。
ホログラムシート23はユーザの顔の前側であってユーザの視野の範囲内に配置される。具体的に、ホログラムシート23は、図1及び図3に示すように、眼鏡10における右眼用のレンズ部11に貼り付けられている。ここでは、ホログラムシート23として長方形状(例えば縦1cm、横1.5cm)のものを用い、そのホログラムシート23を横長の状態にしてレンズ部11の上部であってやや右側に貼り付けている。小型プロジェクタ21の液晶パネルに表示された画像や映像は、図3に示すように、光学系22を介してホログラムシート23に投影される。特に、第一実施形態では、小型プロジェクタ21の液晶パネルに表示された画像や映像をホログラムシート23の全体に投影することにしている。すなわち、ホログラムシート23それ自体が小型プロジェクタ21による画像等の投影範囲となっている。実際、このホログラムシート23には極小な画面が表示される。図2に示すように、ユーザはホログラムシート23によって反射された画像や映像を見ることができる。ユーザは、眼鏡10をかけて第一実施形態の端末装置1Aを使用すると、ホログラムシート23に表示される極小な画面の像である半透明の画面を空中に浮かんでいるように見ることができる。この浮かんでいるように見える半透明の画面は、ユーザにとっては、8フィート離れて視る25インチの画面に相当するものである。第一実施形態では、この浮かんでいるように見える画面が半透明である場合について説明するが、一般に、この画面は半透明でなくてもよい。また、第一実施形態では、この浮かんでいるように見える画面が、図2に示すようにユーザの視野の右上の位置に表示される場合について説明するが、一般に、この画面は、ユーザの視野の中央や左上や右下等の位置に表示するようにしてもよい。尚、以下では、小型プロジェクタ21からの画像をホログラムシート23に投影することによりそのホログラムシート23に表示される極小の画面のことを「元画面」、眼鏡10を使用するユーザに空中に浮かんでいるように見える画面のことを「視認画面」とも称する。この点で、ディスプレイ装置20は、ユーザに空中に浮かんでいるように見える視認画面に対応する元画面を表示するものであるということができる。
また、筐体100には、通信部40と、電池等の電源部(不図示)と、電源スイッチ(不図示)とが設けられている。通信部40は、装着物(眼鏡10)に設けられた各種の装置(第一実施形態ではディスプレイ装置20)が外部と無線通信を行うためのものである。端末30は外部と無線通信を行う機能を有しており、ディスプレイ装置20はこの通信部40を介して端末30と無線通信を行うことができる。ディスプレイ装置20の制御は無線通信で端末30によって行われる。電源部は、装着物(眼鏡10)に設けられた各種の装置(第一実施形態ではディスプレイ装置20と通信部40)に電力を供給するためのものである。また、電源スイッチは電源部からディスプレイ装置20及び通信部40への電力供給をオン・オフするものである。この電源スイッチは筐体100表面の所定箇所に取り付けられている。
第一実施形態では、端末30は、眼鏡10に設けるのではなく、眼鏡10と別体に構成される。このため、端末30として、スマートフォンやタブレット端末等の既存の携帯端末を用いることにする。この端末30は、図4に示すように、表示部31と、通信部32と、記憶部33と、制御部34とを有する。表示部31は端末30の表面に設けられた液晶表示装置である。また、表示部31の画面にはタッチパネルが設けられている。このタッチパネルには、表示部31の画面に対して接触操作(タッチ操作)が行われたときにその接触した位置を検知し、その検知した位置を示す接触位置情報を制御部34に出力する位置検知部が備えられている。表示部31の画面上には、ホーム画面、メニュー画面、アプリケーション画面、文字入力画面等の各種の画面が表示される。ユーザはこれらの画面上でタッチ操作を行うことにより、各種の指示を端末30に与えることができる。ここで、タッチ操作とは、タップ操作、ダブルタップ操作、長押し操作(ロングタップ)、ドラッグ操作、フリック操作、ピンチイン操作、ピンチアウト操作等の各種の操作をいうものとする。
また、端末30は外部との間で無線通信を行う機能を有しており、この機能は通信部32によって実現される。もちろん、端末30は、この通信部32及び筐体100に設けられた通信部40を介してディスプレイ装置20と無線通信を行うことができる。この点で、端末30はディスプレイ装置20と無線で接続されている。ここで、端末30とディスプレイ装置20との間の無線通信の方式としては、例えばBluetoothを用いることができる。また、セキュリティ確保の観点から、端末30及びディスプレイ装置20はそれぞれ、無線通信を行う際に相手から送られる識別情報に基づいて認証を行った後にデータの通信を行うことにしている。
記憶部33には、各種のプログラムやデータ等が記憶されている。例えば、端末30がディスプレイ装置20を制御するための特別なディスプレイ装置制御用プログラムが記憶部33に記憶されている。このディスプレイ装置制御用プログラムは、表示部31に表示されている画面を元画面Mとしてディスプレイ装置20に表示するようにディスプレイ装置20を制御する機能を制御部34に実現させるためのアプリケーションプログラムである。ディスプレイ装置制御用プログラムが制御部34によって実行されると、表示部31に表示されている画面がその表示部31だけでなくディスプレイ装置20にも表示されることになる。
また、ディスプレイ装置制御用プログラムが実行されたときには、当該プログラムの設定画面が表示部31に表示される。この設定画面には、ディスプレイ装置20の画面表示に関する設定を行うための複数のボタンが設けられている。具体的に、ディスプレイ装置20の画面表示に関する設定を行うためのボタンとしては、表示部31に表示されている画面を簡略化した画面をディスプレイ装置20に表示すべきことを指示するボタンB1と、表示部31に表示されている画面の一部をディスプレイ装置20に表示すべきことを指示するボタンB2と、表示部31に表示されている画面において文字や図表(図、写真、表等)を拡大した画面をディスプレイ装置20に表示すべきことを指示するボタンB3とがある。また、ディスプレイ装置制御用プログラムの設定画面には、表示部31に表示されている画面を元画面Mとしてディスプレイ装置20に表示する際に表示部31を消灯すべきことを設定するボタンB4と、当該プログラムを終了することを指示するボタンB5とが設けられている。ボタンB4を用いることにより、表示部31に表示されている画面の内容をディスプレイ装置20に表示する際に、表示部31における当該画面の表示をそのまま維持するか、表示部31を消灯するかを設定することができる。尚、端末30の表示部31が点灯している場合に、ユーザは、端末30の電源ボタンを押すことによって、表示部31を消灯することができる。逆に、端末30の表示部31が消灯している場合、ユーザは、端末30の電源ボタンを押すことによって、表示部31の消灯状態を解除することができる。
このように、ディスプレイ装置制御用プログラムが実行されると、ディスプレイ装置20には、表示部31に表示されている画面が表示されるので、結果として、表示部31とディスプレイ装置20には同じ画面が表示されることになる。しかしながら、ディスプレイ装置制御用プログラムの設定画面を使用すると、ユーザは、ディスプレイ装置20に、表示部31に表示されている画面の内容と異なる内容の画面を表示すべきことを指定することが可能である。例えば、ディスプレイ装置制御用プログラムの設定画面には、ディスプレイ装置20に表示すべき画面を指定する欄が設けられている。ユーザがこの欄を利用してディスプレイ装置20に表示すべき画面を指定すると、制御部34は、表示部31に現在表示されている画面とは別に、ユーザが指定した画面をディスプレイ装置20に表示する。すなわち、この場合、表示部31とディスプレイ装置20にはそれぞれ異なる画面が表示される。
制御部34は、中央演算処理装置(CPU)等を備えており、端末30の全般を制御すると共にディスプレイ装置20をも制御する。例えば、制御部34は、ユーザにより表示部31においてタッチ操作がなされたときに、その操作により指示された内容を認識し、その認識した内容に応じた処理を実行する。また、制御部34は、上記ディスプレイ装置制御用プログラムを実行することにより、表示部31に表示されている画面を元画面Mとしてディスプレイ装置20に表示するようにディスプレイ装置20を制御する。
また、制御部34は、図4に示すように、表示制御部341を有している。この表示制御部341は、表示部31及びディスプレイ装置20での表示に関する制御を行う。具体的に、ユーザがディスプレイ装置制御用プログラムの起動を指示すると、表示制御部341は、記憶部33に記憶されているディスプレイ装置制御用プログラムを実行して、表示部31に表示されている画面を元画面Mとしてディスプレイ装置20に表示する。これにより、眼鏡10をかけたユーザはその元画面Mに対応する視認画面Sを、空中に浮かんでいるように見ることができる。但し、ユーザがディスプレイ装置制御用プログラムの設定画面で各種の設定を行った場合には、表示制御部341はその設定にしたがって表示部31及びディスプレイ装置20の制御を行う。
次に、第一実施形態の端末装置1Aにおいてディスプレイ装置制御用プログラムにしたがってディスプレイ装置20に画面を表示する処理について説明する。図5は第一実施形態の端末装置1Aにおいてディスプレイ装置制御用プログラムにしたがってディスプレイ装置20に画面を表示する処理の手順を説明するためのフローチャートである。
まず、ユーザは、筐体100に設けられた電源スイッチをオンにする。これにより、ディスプレイ装置20及び通信部40は電源オンの状態になる。ここでは、ユーザは眼鏡10をかけた状態で操作を行うものとする。次に、ユーザは、端末30を操作して表示部31にメニュー画面を表示させる。そして、ユーザは、そのメニュー画面においてディスプレイ装置制御用プログラムのアイコンをタップし、そのディスプレイ装置制御用プログラムを選択する。端末30の制御部34は、ディスプレイ装置制御用プログラムが選択された旨の信号を受けると、ディスプレイ装置制御用プログラムを起動する(S11)。ディスプレイ装置制御用プログラムが起動すると、制御部34は、そのディスプレイ装置制御用プログラムにしたがって処理を行う。具体的に、制御部34は、まず、端末30とディスプレイ装置20との接続状態を確認する処理を行う(S12)。接続が確認されると、制御部34は、ディスプレイ装置20に対して識別情報の送信を要求し、ディスプレイ装置20から送られる識別情報に基づいて認証処理を行う(S13)。こうして、ディスプレイ装置20に対する認証がなされると、制御部34は、ディスプレイ装置制御用プログラムの設定画面を表示部31に表示する。そして、現在、表示部31に表示されている画面に関するデータを無線でディスプレイ装置20に送信し、その表示部31に表示されている画面を元画面Mとしてディスプレイ装置20に表示させる(S14)。これにより、ユーザは、眼鏡10を通してその元画面Mに対応する視認画面Sを空中に浮かんでいるような感覚で見ることができる。その後、ユーザが端末30を操作して、例えば、所望のアプリケーションプログラムを選択すると、制御部34はそのアプリケーションプログラムを実行し、そのアプリケーションプログラムの画面を表示部31に表示すると共に、その画面に関するデータを無線でディスプレイ装置20に送信して、表示部31に表示されている画面と同じ画面をディスプレイ装置20に表示する。こうして、ユーザは、眼鏡10を通してそのアプリケーションプログラムの画面に対する視認画面Sを、空中に浮かんでいるように見ることができる。
ところで、表示部31に表示されている画面をディスプレイ装置20に表示したときに、例えば、ユーザは元画面Mに表示された文字等が細かくて、その元画面Mに対応する視認画面Sの内容を認識し難いと感じることがある。この場合、ユーザは、ディスプレイ装置制御用プログラムの設定画面を表示部31に表示し、その設定画面においてボタンB2又はボタンB3をタップすることができる。ユーザがボタンB2をタップすると、制御部34は、表示部31に表示されている画面の一部に関するデータをディスプレイ装置20に送信し、これにより、その表示部31に表示されている画面の一部がディスプレイ装置20に表示されるようになる。図6は表示部31の画面の一部をディスプレイ装置20に表示する場合の視認画面Sの例を示す図である。図6の例では、表示部31に表示されている画面の略半分をディスプレイ装置20に表示しており、ユーザはディスプレイ装置20に表示された略半分の画面を見ると、その略半分の画面に対応する視認画面Sを認識することができる。この場合、ディスプレイ装置20に表示された略半分の画面は、画面の全体がディスプレイ装置20に表示された場合におけるその略半分の画面に比べて大きく表示されるので、ユーザは視認画面Sの内容を認識し易くなる。一方、表示部31に文字や図表を含む画面が表示されている場合、ユーザがボタンB3をタップすると、制御部34は、表示部31に表示されている画面において文字や図表を拡大した画面に関するデータをディスプレイ装置20に送信し、これにより、その表示部31に表示されている画面において文字や図表が拡大された画面がディスプレイ装置20に表示されるようになる。図7は表示部31の画面に表示されている文字を拡大して得られる画面をディスプレイ装置20に表示する場合の視認画面Sの例を示す図である。この場合、図7に示すように、ユーザは、文字が拡大された画面を視認画面Sとして見ることができるので、その画面の文字を正確に認識することができる。尚、図7では文字だけを含む画面の例を示しているが、図表を含む画面が表示部31に表示されている場合には、ユーザは、文字だけでなく図表も拡大された画面を視認画面Sとして見ることができるので、文字と図表の内容を正確に認識することができる。
ディスプレイ装置20への画面表示を終了する場合、ユーザは、端末30の表示部31にディスプレイ装置制御用プログラムの設定画面を表示し、その設定画面上に設けられた、ディスプレイ装置制御用プログラムを終了すべきことを指示するボタンB5をタップする。制御部34は、ディスプレイ装置制御用プログラムを終了する旨の信号を受けると(S15)、そのディスプレイ装置制御用プログラムを終了する(S16)。あるいは、ユーザが視認画面S(ディスプレイ装置制御用プログラムの設定画面)に対して指でボタンB5をタップ操作したときに、制御部34はボタンB5でタッチ操作が行われたことを認識して、ディスプレイ装置制御用プログラムを終了するようにしてもよい。これにより、制御部34は画面に関するデータをディスプレイ装置20に送信するのを停止し、ディスプレイ装置20の画面には何も表示されなくなる。最後に、ユーザは筐体100に設けられた電源スイッチをオフにする。尚、表示部31にアプリケーションプログラムの画面が表示されている場合、その画面上の所定位置(例えば下の隅の位置)に所定のアイコンを表示しておき、ユーザが視認画面Sに対して指でそのアイコンをタップ操作したときに、制御部34が当該アイコンに対してタップ操作が行われたことを認識して、電源部を制御することにより、電源部からディスプレイ装置20及び通信部40への電力供給をオフすることも可能である。
次に、第一実施形態の端末装置1Aの具体的な使用例を説明する。ここでは、端末30が携帯端末であり、その端末30には自らの位置に関する位置情報を取得するGPS(Global Positioning System)機能が備わっている場合を考える。
最初の例では、記憶部33に記憶された地図情報及び上記GPS機能で得られた位置情報に基づいて、ユーザの現在の位置からユーザが設定した目的地に導くための画面を作成して表示部31に表示する機能を制御部34に実現させるための道案内用アプリケーションプログラムが端末30にインストールされているものとする。この場合、ディスプレイ装置制御用プログラムの実行中に、ユーザが端末30を操作して上記道案内用アプリケーションプログラムの実行を指示すると、制御部34は、上記道案内用アプリケーションプログラムを起動し、その道案内用アプリケーションプログラムの画面としてユーザをユーザが設定した目的地に導くための画面を表示部31に表示すると共にディスプレイ装置20に元画面Mとして表示する。図8は道案内用アプリケーションプログラムの画面をディスプレイ装置20に元画面Mとして表示した場合の視認画面Sの例を示す図である。この図8では、ユーザを目的地に導くための画面として、ユーザが進むべき方向を示す矢印の画像が表示される。ユーザは視認画面Sを見て、そこに表示された矢印の向きにしたがって進むことにより目的地に到達することができる。
また、上記の例では、制御部34が、道案内用アプリケーションプログラムを実行した際に、ユーザを目的地に導くための画面(例えば矢印画像の画面)を表示部31及びディスプレイ装置20に表示する場合について説明したが、制御部34は、道案内用アプリケーションプログラムを実行した際に、ユーザの現在地を記した地図情報、又は、ユーザの現在地及び目的地を記した地図情報を表示部31に表示し、ユーザを目的地に導くための画面(例えば矢印画像の画面)をディスプレイ装置20に表示するようにしてもよい。
次の例では、記憶部33に記憶された地図情報及び上記GPS機能で得られた位置情報に基づいて現在の位置の周辺にある店舗を検索し、その検索して得られた店舗に関する情報を表示部31に表示する機能を制御部34に実現させるための店舗検索用アプリケーションプログラムが端末30にインストールされているものとする。この場合、ディスプレイ装置制御用プログラムの実行中に、ユーザが端末30を操作して上記店舗検索用アプリケーションプログラムの実行を指示すると、制御部34は、上記店舗検索用アプリケーションプログラムを起動し、その店舗検索用アプリケーションプログラムの画面として現在位置の周囲にある店舗に関する情報を含む画面を表示部31に表示すると共にディスプレイ装置20に元画面Mとして表示する。ユーザはその元画面Mに対応する視認画面Sを見て、現在位置の周辺にある店舗に関する情報を得ることができる。
尚、上記の各例において、地図情報は必ずしも予め記憶部33に記憶しておく必要はない。例えば、制御部34は、道案内用アプリケーションプログラム又は店舗検索用アプリケーションプログラムを起動した際に、インターネット上の所定のサイトにアクセスして、そのサイトにある地図情報を利用するようにしてもよい。
第一実施形態の端末装置では、端末と装着物としての眼鏡とを別体に構成したので、端末として、例えばスマートフォンやタブレット端末等の既存の携帯端末等を用いることができる。このように端末として既存の携帯端末等を用いることにより、装着物としての眼鏡の部品点数を少なくして、眼鏡の構成を簡易なものとすることができる。また、端末として例えば市販のスマートフォン等を用いることにより、使い慣れているスマートフォン等を使用して操作することができるので、操作性の向上を図ることができる。
尚、第一実施形態では、ディスプレイ装置20におけるホログラムシート23が眼鏡10のレンズ部11に貼り付けられている場合について説明したが、ホログラムシート23は、レンズ部11に埋め込まれ若しくは一体化されていてもよい。
また、第一実施形態では、ディスプレイ装置20におけるホログラムシート23として小さな長方形状のものを用い、そのホログラムシート23を横長の状態にしてレンズ部11の上部であってやや右側に貼り付けており、そして、そのホログラムシート23の全体に小型プロジェクタ21の液晶パネルに表示された画像や映像を投影する場合について説明したが、ホログラムシート23としては、様々な大きさ・形状のものを用いることができる。図9は本発明の端末装置における眼鏡10のレンズ部11に貼り付けられるホログラムシート23の例を示す図である。図9(a)に示す例では、ホログラムシート23として小さな長方形状のものを用いて、そのホログラムシート23を縦長の状態にしてレンズ部11の上部であってやや右側に貼り付けている。図9(b)に示す例では、ホログラムシート23として大きな長方形状(例えば縦1.5cm、横2.5cm)のものを用いて、そのホログラムシート23を横長の状態にしてレンズ部11の上部であってやや右側に貼り付けている。また、図9(c)に示す例では、ホログラムシート23をレンズ部11の全面に貼り付けている。これらの例においても、当該ホログラムシート23の全体に小型プロジェクタ21の液晶パネルに表示された画像や映像が投影される。もちろん、例えば、図9(a)~(c)に示すホログラムシート23の一部に画像や映像を投影するようにしてもよい。
更に、第一実施形態では、ディスプレイ装置20の一部である小型プロジェクタ21及び光学系22が眼鏡10に着脱可能に設けられている場合について説明したが、例えばホログラムシート23としてレンズ部11に繰り返し貼り付けることができるものを用いることにより、小型プロジェクタ21及び光学系22に加えてホログラムシート23も眼鏡10に着脱可能に設けるようにしてもよい。
[第二実施形態]
次に、本発明の第二実施形態である端末装置について説明する。図10は本発明の第二実施形態である端末装置の概略斜視図、図11は第二実施形態の端末装置の概略ブロック図である。尚、本第二実施形態において、上述した第一実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。
第二実施形態である端末装置1Bは、図10及び図11に示すように、ユーザの頭部に装着される装着物としての眼鏡10と、眼鏡10に設けられたディスプレイ装置20と、眼鏡10と別体に構成された、表示部31を有する端末30と、ディスプレイ装置20と端末30との間を接続するケーブル50とを備える。
第二実施形態の端末装置1Bが第一実施形態の端末装置1Aと異なる主な点は、ディスプレイ装置20と端末30とを、ケーブル50を用いて有線で接続している点である。第二実施形態の端末装置1Bのその他の構成は、第一実施形態の端末装置1Aのものと同様である。
ディスプレイ装置20は、図10に示すように、小型プロジェクタ21と、光学系22と、ホログラムシート23とを備える。小型プロジェクタ21及び光学系22は筐体100の中に配設され、その筐体100は眼鏡10の柄の部分に取り付けられている。筐体100は眼鏡に着脱可能である。また、筐体100表面の所定箇所には、ディスプレイ装置20にケーブル50を接続するための接続端子(不図示)が設けられている。第二実施形態では、ディスプレイ装置20の制御は、ケーブル50を用いた有線通信で端末30によって行われる。また、ディスプレイ装置20への電力は、ケーブル50を介して端末30から供給される。このため、第二実施形態では、上記第一実施形態における電源部及び電源スイッチは筐体100に設けられていない。尚、この場合であっても、電源部を筐体100に設けるようにしてもよい。
端末30は、図11に示すように、表示部31と、通信部32と、記憶部33と、制御部34と、インターフェースとしての接続端子(不図示)とを有する。表示部31の画面にはタッチパネルが設けられている。端末30の接続端子にはケーブル50が接続される。ディスプレイ装置20と端末30とはケーブル50で接続されており、端末30はこのケーブル50を介してディスプレイ装置20と通信することができる。例えば、端末30の接続端子及び筐体100に設けられた接続端子としてはHDMI(登録商標)端子を、ケーブル50としてはHDMI(登録商標)ケーブルを用いることができる。また、端末30の接続端子及び筐体100に設けられた接続端子としてはUSB端子を、ケーブル50としてはUSBケーブルを用いることができる。
記憶部33には、各種のプログラムやデータ等が記憶されている。例えば、上記第一実施形態と同様に、端末30がディスプレイ装置20を制御するための特別なディスプレイ装置制御用プログラムが記憶部33に記憶されている。このディスプレイ装置制御用プログラムが制御部34によって実行されると、表示部31に表示されている画面がその表示部31だけでなくディスプレイ装置20にも表示されることになる。尚、ディスプレイ装置制御用プログラムの設定画面は、上記第一実施形態におけるものと同様であるので、ここでは、その詳細な説明を省略する。
制御部34は、端末30の全般を制御すると共にディスプレイ装置20をも制御する。この制御部34は、図11に示すように、表示制御部341を有している。表示制御部341は、表示部31及びディスプレイ装置20での表示に関する制御を行う。具体的に、ユーザがディスプレイ装置制御用プログラムの起動を指示すると、表示制御部341は、記憶部33に記憶されているディスプレイ装置制御用プログラムを実行して、表示部31に表示されている画面の内容を元画面Mの内容としてディスプレイ装置20に表示する。これにより、眼鏡10をかけたユーザはその元画面Mに対応する視認画面Sを、空中に浮かんでいるように見ることができる。
次に、第二実施形態の端末装置1Bにおいてディスプレイ装置制御用プログラムにしたがってディスプレイ装置20に画面を表示する処理について説明する。図12は第二実施形態の端末装置1Bにおいてディスプレイ装置制御用プログラムにしたがってディスプレイ装置20に画面を表示する処理の手順を説明するためのフローチャートである。
ユーザは眼鏡10をかけた状態で次の操作を行う。まず、ユーザは、端末30のホーム画面よりディスプレイ装置20への電力供給を開始するための設定を行う。これにより、端末30からディスプレイ装置20へ電力が供給され、ディスプレイ装置20の電源がオンになる。尚、筐体100に電源部が設けられている場合には、筐体100に設けられた電源部が、ディスプレイ装置20に供給する電力の全部又は一部を賄うことになる。その場合には、電源スイッチを筐体100に設け、その電源スイッチを押すとディスプレイ装置20の電源がオンの状態になるようにしてもよい。次に、ユーザは、端末30を操作して表示部31にメニュー画面を表示させる。そして、ユーザは、そのメニュー画面においてディスプレイ装置制御用プログラムのアイコンをタップし、そのディスプレイ装置制御用プログラムを選択する。端末30の制御部34は、ディスプレイ装置制御用プログラムが選択された旨の信号を受けると、ディスプレイ装置制御用プログラムを起動する(S21)。ディスプレイ装置制御用プログラムが起動すると、制御部34は、そのディスプレイ装置制御用プログラムにしたがって処理を行う。具体的に、制御部34は、まず、端末30とディスプレイ装置20との接続状態を確認する処理を行う(S22)。接続が確認されると、制御部34は、ディスプレイ装置制御用プログラムの設定画面を表示部31に表示する。そして、現在、表示部31に表示されている画面に関するデータを、ケーブル50を介してディスプレイ装置20に送信し、その表示部31に表示されている画面の内容を元画面Mの内容としてディスプレイ装置20に表示させる(S23)。これにより、ユーザは、眼鏡10を通してその元画面Mに対応する視認画面Sを空中に浮かんでいるような感覚で見ることができる。その後、ユーザが端末30を操作して、例えば、所望のアプリケーションプログラムを選択すると、制御部34はそのアプリケーションプログラムを実行し、そのアプリケーションプログラムの画面を表示部31に表示すると共に、その画面に関するデータを、ケーブル50を介してディスプレイ装置20に送信して、表示部31に表示されている画面と同じ画面をディスプレイ装置20に表示する。こうして、ユーザは、眼鏡10を通してそのアプリケーションプログラムの画面に対する視認画面Sを、空中に浮かんでいるように見ることができる。
ディスプレイ装置20への画面表示を終了する場合、ユーザは、端末30の表示部31にディスプレイ装置制御用プログラムの設定画面を表示し、その設定画面上に設けられた、ディスプレイ装置制御用プログラムを終了する旨のボタンB5をタップする。制御部34は、ディスプレイ装置制御用プログラムを終了する旨の信号を受けると(S24)、そのディスプレイ装置制御用プログラムを終了する(S25)。あるいは、ユーザが視認画面S(ディスプレイ装置制御用プログラムの設定画面)に対して指でボタンB5をタップ操作したときに、制御部34はボタンB5でタッチ操作が行われたことを認識して、ディスプレイ装置制御用プログラムを終了するようにしてもよい。これにより、制御部34は画面に関するデータをディスプレイ装置20に送信するのを停止し、ディスプレイ装置20の画面には何も表示されなくなる。最後に、ユーザは端末30のホーム画面よりディスプレイ装置20への電力供給を停止するための設定を行う。これにより、ディスプレイ装置20の電源がオフになる。尚、表示部31にアプリケーションプログラムの画面が表示されている場合、その画面上の所定位置(例えば下の隅の位置)に所定のアイコンを表示しておき、ユーザが視認画面Sに対して指でそのアイコンをタップ操作したときに、制御部34が当該アイコンに対してタップ操作が行われたことを認識して、ケーブル50を介して端末30からディスプレイ装置20への電力供給をオフすることも可能である。特に、筐体100に電源部が設けられている場合にあっては、ユーザが視認画面Sに対して指で上記アイコンをタップ操作し、制御部34が当該アイコンに対してタップ操作が行われたことを認識したときに、制御部34は、ケーブル50を介して端末30からディスプレイ装置20への電力供給をオフすると共に、ケーブル50を介して電源部を制御することにより、筐体100の電源部からディスプレイ装置20への電力供給をオフするようにしてもよい。また、筐体100の電源部がディスプレイ装置20に供給する電力の全部を賄っている場合には、ユーザが視認画面Sに対して指で上記アイコンをタップ操作し、制御部34が当該アイコンに対してタップ操作が行われたことを認識したときに、制御部34は、ケーブル50を介して電源部を制御することにより、筐体100の電源部からディスプレイ装置20への電力供給をオフするようにしてもよい。
第二実施形態の端末装置では、上記第一実施形態と同様に、端末と装着物としての眼鏡とを別体に構成したので、端末として、例えばスマートフォンやタブレット端末等の既存の携帯端末等を用いることができる。このように端末として既存の携帯端末等を用いることにより、装着物としての眼鏡の部品点数を少なくして、眼鏡の構成を簡易なものとすることができる。また、端末として例えば市販のスマートフォン等を用いることにより、使い慣れているスマートフォン等を使用して操作することができるので、操作性の向上を図ることができる。
[第三実施形態]
次に、本発明の第三実施形態である端末装置について説明する。図13は本発明の第三実施形態である端末装置の概略斜視図、図14は第三実施形態の端末装置の概略ブロック図である。尚、本第三実施形態において、上述した第一実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。
第三実施形態である端末装置2Aは、図13及び図14に示すように、ユーザの頭部に装着される装着物としての眼鏡10と、眼鏡10に設けられたディスプレイ装置20と、眼鏡10と別体に構成された、表示部31を有する端末30Aと、通信部40と、ユーザの前方を撮像するための撮像装置60とを備える。
第三実施形態の端末装置2Aが第一実施形態の端末装置1Aと異なる主な点は、この端末装置2Aが撮像装置60を備えている点、端末30Aが撮像装置60を制御する点、ユーザが視認画面に対してタッチ操作を行うことにより当該操作に対応する指示を入力することができる点である。第三実施形態の端末装置2Aのその他の構成は、第一実施形態の端末装置1Aのものと同様である。
ディスプレイ装置20は、図13に示すように、液晶パネル(表示デバイス)を有する小型プロジェクタ21と、光学系22と、光(映像)の一部を反射するホログラムシート23とを備える。小型プロジェクタ21及び光学系22は一つの筐体100の中に配設され、その筐体100は眼鏡10の柄の部分に取り付けられている。ホログラムシート23は、図13に示すように、眼鏡10における右眼用のレンズ部11に貼り付けられている。また、筐体100には、通信部40と、電池等の電源部(不図示)と、電源スイッチ(不図示)とが設けられている。通信部40は、眼鏡10に設けられた各種の装置(第三実施形態ではディスプレイ装置20、撮像装置60)が端末30Aとの間で無線通信を行うためのものである。すなわち、ディスプレイ装置20及び撮像装置60はこの通信部40を介して端末30Aと無線通信を行う。ディスプレイ装置20及び撮像装置60の制御は無線通信で端末30Aによって行われる。電源部は、眼鏡10に設けられた各種の装置(第三実施形態ではディスプレイ装置20、通信部40、撮像装置60)に電力を供給するためのものである。また、電源スイッチは電源部からディスプレイ装置20、通信部40及び撮像装置60への電力供給をオン・オフするものである。この電源スイッチは筐体100表面の所定箇所に取り付けられている。
端末30Aは、図14に示すように、表示部31と、通信部32と、記憶部33と、制御部34Aとを有する。表示部31は端末30Aの表面に設けられた液晶表示装置であり、表示部31の画面にはタッチパネルが設けられている。表示部31の画面上には、ホーム画面、メニュー画面、アプリケーション画面、文字入力画面等の各種の画面が表示される。いま、文字入力画面について説明する。図15は文字入力画面の一例を示す図である。図15に示すように、文字入力画面200は、キーボード画像210と、入力した文字等を表示するための表示領域220とを有する。キーボード画像210には、各文字(記号を含む)と対応付けられた複数の文字キー画像と、特定の機能が付与された複数の機能キー画像とが設けられている。図15の例では、キーボード画像210における文字キー画像の配列として、QWERTY配列を採用している。尚、キーボード画像210は、ひらがな50音配列のキーボード画像、各国の言語のキーボード画像、テンキー画像、或いは携帯電話のキー配列と同様のキー画像等であってもよい。また、表示領域220には、例えば検索画面が表示される。図16は文字入力画面200に表示される検索画面の一例を示す図である。この検索画面221は、インターネットのサイトを検索するためのものであり、キーワード入力部2211と、検索結果を表示する検索結果表示部2212とを有する。ユーザは、表示部31に表示された文字入力画面200を見ているときに、そのキーボード画像210のキー画像を利用して、キーワード入力部2211にキーワードを入力することができる。
表示部31の画面にはタッチパネルが設けられているので、ユーザは表示部31の画面に対して指でタッチ操作を行うことにより、各種の指示を端末30Aの制御部34Aに与えることができる。特に、第三実施形態では、ディスプレイ装置制御用プログラムが実行されて、表示部31に表示されている画面がディスプレイ装置20に表示された場合、ユーザは、その視認画面Sに対して指でタッチ操作を行うことにより、各種の指示を端末30Aの制御部34Aに与えることができる。以下では、制御部34Aが、ユーザによって視認画面Sに対して行われるタッチ操作による指示の内容をどのように認識するかについて詳しく説明する。
撮像装置60は、視認画面Sに対してユーザが指で操作を行ったときにその操作を行った指を撮像し、その撮像して得られた画像データを端末に出力するものである。この撮像装置60は、図13に示すように、ディスプレイ装置20に隣接する眼鏡10の柄の部分に設けられている。また、撮像装置60は、図14に示すように、カメラ部61と、画像処理部62と、カメラ制御部63とを備える。カメラ部61はレンズや撮像素子を有するものである。画像処理部62は、カメラ部61で撮像して得られた画像データに基づいてその撮像した画像の色や階調の補正処理を行ったり、画像データの圧縮等の画像処理を行ったりするものである。カメラ制御部63は、画像処理部62を制御したり、端末30Aの制御部34Aとの間で画像データのやり取りを制御したりする。尚、第三実施形態では、画像処理部62は撮像装置60に設けられている場合について説明するが、この画像処理部62は、撮像装置60ではなく、端末30Aの制御部34Aに設けるようにしてもよい。
また、撮像装置60は、この撮像装置60が撮像することができる範囲である撮像範囲として、ユーザの視野の一部(或いは略全視野)を撮像することができる。特に、第三実施形態では、撮像装置60は、ユーザが認識する視認画面Sの位置、具体的には、例えば、ユーザが手で視認画面Sに触ろうとして手を伸ばすときの手の指の位置であって当該撮像装置60から奥行き方向に沿って略一定の距離だけ離れた位置にある被写体にピントが合うように構成されている。しかも、そのピントが合う範囲(被写界深度)は狭い範囲に制限されている。例えば、ピントが合う位置は撮像装置60から約40cm離れた位置に設定されており、その被写界深度は約5cmの範囲である。但し、第三実施形態では、撮像装置60がこのようにピントの合う範囲を狭い範囲に制限するのは、後述する基準データの設定、文字入力、及び画面表示のための操作を行う場合に限られる。通常のカメラ撮影を行う場合やその他の状況にある場合には、ピントの合う範囲は狭い範囲に制限されない。尚、撮像装置60としては、例えば、通常のカメラと同じように距離リング(ピントリング)を用いて手動で設定を変更することにより、ピントが合う位置を切り替えることができるものを用いるようにしてもよい。
また、第三実施形態では、撮像装置60におけるピントが合う位置を、ユーザが認識する視認画面Sの位置に設定している。このため、ユーザが視認画面Sに対して指で操作を行っている場合、撮像装置60は、その操作を行っている指をピントが合った状態で撮像することになる。撮像装置60で撮像して得られた画像データは無線通信で端末30Aの制御部34Aに送られ、制御部34Aにより記憶部33に記憶される。また、撮像装置60は、静止画像の撮影機能と動画像の撮影機能とを備えており、制御部34Aは必要に応じて画像データとして静止画像データを取得したり、動画像データを取得したりすることができる。
制御部34Aは、中央演算処理装置(CPU)等を備えており、端末30Aの全般を制御すると共にディスプレイ装置20及び撮像装置60をも制御する。例えば、制御部34Aは、ユーザにより表示部31においてタッチ操作がなされたときに、その操作により指示された内容を認識し、その認識した内容に応じた処理を実行する。また、制御部34Aは、ディスプレイ装置制御用プログラムを実行することにより、表示部31に表示されている画面の内容を元画面Mの内容としてディスプレイ装置20に表示するようにディスプレイ装置20を制御する。具体的に、この制御部34Aは、図14に示すように、表示制御部341と、画像データ抽出部342と、操作判定部343と、位置データ生成部344と、基準データ生成部345と、入力制御部346とを備える。
表示制御部341は、表示部31及びディスプレイ装置20での表示に関する制御を行う。具体的に、ユーザがディスプレイ装置制御用プログラムの起動を指示すると、表示制御部341は、記憶部33に記憶されているディスプレイ装置制御用プログラムを実行して、表示部31に表示されている画面の内容を元画面Mの内容としてディスプレイ装置20に表示する。これにより、眼鏡10をかけたユーザはその元画面Mに対応する視認画面Sを、空中に浮かんでいるように見ることができる。
画像データ抽出部342は、ユーザが視認画面Sに対して指で操作を行った際に撮像装置60でピントが合った被写体が撮像されたときに、その撮像して得られた画像データに基づいて当該被写体が指であるかどうかを判断して、指が存在している画像データを抽出するものである。被写体が指であるかどうかを判断するには、一般の画像認識の方法が用いられる。第三実施形態では、撮像装置60の被写界深度を狭い範囲に制限しているので、被写体が指であると判断されれば、当該指は撮像装置60から奥行き方向に沿って略一定の距離だけ離れた位置にあると考えられる。このように、画像データ抽出部342では、当該指が撮像装置60から奥行き方向に沿って略一定の距離だけ離れた位置にある画像データが抽出される。また、操作判定部343、位置データ生成部344、基準データ生成部345では、画像データ抽出部342で抽出された画像データに基づいて処理が行われることになる。
操作判定部343は、ユーザが視認画面Sに対して操作を行った指を撮像装置60が撮像したときに、その撮像して得られた画像データであって画像データ抽出部342で抽出されたものに基づいて当該指による操作が各種の操作のうちどのような内容の操作であるかを判定するものである。この判定に際しては、例えば一般の画像認識の手法が用いられる。これにより、操作判定部343は、当該指による操作が、タップ操作、ダブルタップ操作、長押し操作等のうちいずれの操作であるかを認識することができる。その認識した当該指による操作の内容に関するデータは記憶部33に記憶される。
位置データ生成部344は、ユーザが視認画面Sに対して操作を行った指を撮像装置60が撮像したときに、その撮像して得られた画像データであって画像データ抽出部342で抽出されたものに基づいて撮像装置60の撮像範囲における当該指(指先)の位置データを生成するものである。ここで、第三実施形態では、撮像装置60の撮像範囲内において、図13に示すように、左右方向をX軸方向、上下方向Y軸方向とするXY座標系が設定されている。このXY座標系の原点は、例えば撮像範囲における左下の点である。位置データ生成部344は、このXY座標系において指の位置データを取得する。尚、三次元的な位置データを得る必要がある場合には、このXY座標系において奥行き方向にZ軸方向をとり、これによりXYZ座標系を構成することにする。
基準データ生成部345は、ユーザが視認画面Sにおける一又は複数の所定位置において指で操作を行ったときに、操作判定部343で各所定位置における操作が所定の操作であると判定された画像データに基づいて位置データ生成部344で生成された当該指の位置データを用いて、当該視認画面Sに関するデータを生成するものである。この生成された視認画面Sに関するデータは基準データとして記憶部33に記憶される。基準データとしては、視認画面Sの位置及び大きさを特定できるようなデータが用いられる。例えば、ユーザが視認画面Sの外枠の四隅に対して指で操作を行った場合には、四隅の各位置における指の位置データを基準データとして用いることができる。ここで、画像データ抽出部342が抽出した画像データは、撮像装置60からZ軸方向に沿って略一定の距離だけ離れた位置にある指を撮像したものであるので、この四隅の各位置における指の位置データは、撮像装置60からZ軸方向に沿って略一定の距離だけ離れた位置においてXY平面に平行な(略ユーザの身体と平行な)平面上での指の位置情報を表していると考えることができる。また、ユーザが視認画面Sの外枠の四隅のうち一箇所に対して指で操作を行った場合には、その一箇所における指の位置データと、当該視認画像Sに対応する元画面Mのデータから得られる視認画面Sの大きさ(例えば、予め算出又は測定した縦幅、横幅)に関するデータとを基準データとして用いることができる。
入力制御部346は、ユーザが視認画面Sに対して指で操作を行ったときに、操作判定部343で判定して得られた当該指による操作の内容に関するデータ及び位置データ生成部344で生成された当該指の位置データと、記憶部33に記憶されている当該視認画面Sに関する基準データと、記憶部33に記憶されている当該視認画面Sに対応する元画面Mに関するデータとに基づいて、撮像範囲内で当該視認画面Sの範囲を特定し、当該指による操作がその特定した当該視認範囲Sの範囲内のどの位置で行われたのかを調べることにより、当該指による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、表示部31に表示する画面の制御及びディスプレイ装置20に表示する元画面Mの制御を行う。例えば、視認画面Sが図15に示す文字入力画面200である場合、入力制御部346は、その視認画面Sに関する基準データに基づいて、撮像装置60の撮像範囲内でユーザが見ている当該文字入力画面200の存在する範囲を認識することができる。このとき、入力制御部346は、当該文字入力画面200の構成が予め分かっているので、当該文字入力画面200におけるキーボード画像210の範囲や、各文字キー画像の領域等も認識することができる。したがって、例えばユーザが視認画面Sとしてのキーボード画像210に対して指で文字キー画像のタッチ操作を行った場合、入力制御部346は、その指の位置データから得られる指の位置が、キーボード画像210におけるどの文字キー画像の領域に対応するのかを調べることにより、操作された文字キーを特定することができる。
尚、入力制御部346は、ユーザが視認画面Sに対して指で操作を行った際に当該指による操作に対応する入力指示の内容を認識する場合、まず、記憶部33に記憶されている当該視認画面Sに関する基準データに基づいて、撮像装置60の撮像範囲に相当する仮想平面上に、当該視認画面Sに対応する画面である基準画面を生成し、次に、位置データ抽出部344で生成された当該指の位置データが基準画面のどの位置に対応するのかを調べることにより、当該指で操作された視認画面S上の位置を特定するようにしてもよい。
記憶部33には、上記のディスプレイ装置制御用プログラムに加えて、例えば、基準データの設定処理を行うための基準データ設定処理用プログラムと、視認画面Sが文字入力画面200である場合にその文字入力画面200に対して行われた操作に基づいて文字入力の処理を行うための文字入力処理用プログラムと、視認画面Sに対して行われた操作に基づいて視認画面Sに対応する元画面Mの拡大・縮小や切替等の画面表示の処理を行うための画面表示処理用プログラムとが記憶されている。また、記憶部33に記憶されているデータには、例えば、各種の元画面Mの画像データ、各元画面Mに関するデータ(具体的には、当該元画面Mの大きさ、形状、内容、構成等を示すデータ)や、後述する基準データ設定用の元画面を作成する際に用いる各種の画像データが含まれる。更に、この記憶部33は作業用のメモリとしても使用される。
第三実施形態の端末装置2Aでは、ユーザが視認画面Sに対して指で操作を行ったときに、入力制御部346は、操作判定部343で判定して得られた当該指による操作の内容に関するデータ及び位置データ生成部344で生成された当該指の位置データと、記憶部33に記憶されている当該視認画面Sに対する基準データと、記憶部33に記憶されている当該視認画面Sに対応する元画面Mに関するデータとに基づいて、当該指による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、表示部31に表示する画面の制御及びディスプレイ装置20に表示する元画面Mの制御を行う。このため、ユーザは、自己が見ている視認画面Sに対して、通常のタッチパネルに表示された画面に対して操作するのと同様の操作を行うことにより、当該操作に対応する指示を入力することができる。実際、ユーザが視認画面Sに対して指でタッチ操作を行うと、入力制御部346は、その視認画面Sがタッチパネルに表示されているときと同様に、当該タッチ操作に対応する指示を認識することができる。例えば、入力制御部346は、ユーザが視認画面Sに対して指でダブルタップ操作を行ったときに、その視認画面Sに対応する元画面Mを拡大又は縮小するという指示を認識し、ユーザが視認画面Sに対して指で長押し操作を行うと、元画面Mとしてオプションメニューの画面を表示するという指示を認識し、そして、ユーザが視認画面Sに対して指でドラッグ操作又はフリック操作を行うと、元画面Mをスクロールして表示するという指示を認識する。また、ユーザが文字入力画面200における文字キー画像に対して指でタッチ操作を行えば、入力制御部346は、その文字入力画面200がタッチパネルに表示されているときと同様に、当該操作に対応する指示、すなわち当該文字キーの入力指示を認識し、元画面Mにその入力指示された文字を表示する処理を行う。
尚、第三実施形態では、ユーザは、空中に浮いているように見える視認画面Sに対して指でタッチ操作を行うので、通常のタッチパネルに表示された画面に対してタッチ操作する場合には行うことのできない態様でタッチ操作を行うこともできる。図17及び図18は視認画面Sに対して行われるタッチ操作の態様を説明するための図である。通常、ユーザは、図17(a)に示すように、視認画面Sの正面側から一本の指でタッチ操作を行うが、図17(b)に示すように、視認画面Sの裏面側から一本の指でタッチ操作を行うことができる。また、ユーザは、図18(a)に示すように、視認画面Sの正面側から複数の指でタッチ操作を行ったり、図18(b)に示すように、視認画面Sの裏面側から複数の指でタッチ操作を行ったりすることができる。
第三実施形態では、ユーザが端末30Aを操作してディスプレイ装置制御用プログラムの起動を指示すると、端末30Aの制御部34Aは、そのディスプレイ装置制御用プログラムを実行して、表示部31に表示されている画面の内容を元画面Mの内容としてディスプレイ装置20に表示する。第三実施形態の端末装置2Aにおいてディスプレイ装置制御用プログラムにしたがってディスプレイ装置20に画面を表示する処理は、上記第一実施形態の端末装置1Aにおける処理と同様である。このため、ここでは、その詳細な説明を省略する。
次に、第三実施形態の端末装置2Aにおいて基準データを設定する処理について説明する。図19は第三実施形態の端末装置2Aにおいて基準データの設定処理の手順を説明するためのフローチャートである。ここでは、端末30Aにおいてディスプレイ装置制御用プログラムが実行中である場合を考える。すなわち、ディスプレイ装置20、通信部40及び撮像装置60は電源オンの状態にあり、端末30Aとディスプレイ装置20及び撮像装置60との間の通信が有効であるとする。
ユーザは、端末30Aを操作して表示部31にメニュー画面を表示させる。そして、ユーザは、そのメニュー画面において基準データ設定処理用プログラムのアイコンをタップし、その基準データ設定処理用プログラムを選択する。端末30Aの制御部34Aは、基準データ設定処理用プログラムが選択された旨の信号を受けると、基準データ設定処理用プログラムを記憶部33から読み出し、図19に示す処理フローにしたがって基準データの設定処理を行う。
まず、ユーザは、端末30Aを操作して、基準データを設定しようとする画面(例えば文字入力画面200)を選択し、その画面を元画面Mとしてディスプレイ装置20に表示させる。このとき、表示制御部341は、その元画面Mにおける一又は複数の所定位置に例えば円の画像を追加することにより、新たな元画面M(基準データ設定用の元画面)を作成して、ディスプレイ装置20に表示する(S31)。ここで、円の画像は、ユーザがその円の位置に対して指で操作を行うべきことを示す目印である。図20は基準データを設定する処理の際に表示される元画面Mの例を示す図である。この例では、元画面Mが文字入力画面200である場合を示している。本来の文字入力画面200は図20(a)に示すものであるが、ステップS31の処理が実行されると、図20(b)に示す文字入力画面201(基準データ設定用の元画面)がディスプレイ装置20に表示されることになる。この図20(b)に示す文字入力画面201では、その四隅の位置に、円と数字とを示す画像が追加されている。図20(b)に示す文字入力画面201がディスプレイ装置20に表示されると、ユーザはその文字入力画面201に対応する視認画面S(基準データ設定用の視認画面)、すなわち図20(b)に示す文字入力画面201と同じ内容の画面を見ることになる。尚、図20(b)では、文字入力画面201の四隅に円の画像を表示しているが、図20(c)に示すように、文字入力画面201のキーボード画像210の四隅に円の画像を表示するようにしてもよい。
ステップS31の処理後、制御部34Aは、撮像装置60の撮像動作を開始する(S32)。ユーザは、基準データ設定用の視認画面Sとして図20(b)に示す文字入力画面201を見ると、この基準データ設定用の視認画面Sにおいて、数字が付された各円に対して数字の順番に指で所定の操作、例えばタップ操作を行う。ここで、ユーザが所定の操作を行うのは、制御部34Aに対してユーザが操作している位置を知らせるためである。かかるユーザによる操作は撮像装置60で撮像される。このとき、第三実施形態では、撮像装置60はピントが合った被写体を撮像する。そして、画像処理部62がその撮像して得られた画像データに対して所定の画像処理を施し、その画像処理を施した画像データが無線通信で撮像装置60から端末30Aの制御部34Aに送られる(S33)。
次に、画像データ抽出部342は、撮像装置60で撮像して得られた画像データに基づいて、被写体が指であるかどうかを判断し、指が存在している画像データを抽出する(S34)。ここで、撮像装置60は、ピントが合った被写体を撮像して得られた画像データを画像データ抽出部342に送っている。このため、画像データ抽出部342は、当該指が撮像装置60からZ軸方向に沿って略一定の距離だけ離れた位置にある画像データを抽出することになる。その後、操作判定部343は、画像データ抽出部342で抽出された画像データに基づいて当該指による操作が所定の操作(ここでは、タップ操作)であるかどうかを判定する。操作判定部343は、このような判定処理を行い、四つの円の全てに対する指によるタップ操作が正常に認識されたかどうかを判断する(S35)。例えば、指による操作がタップ操作であるという判定が予め定めた所定の時間内に一回、二回又は三回しかなされなかった場合や、画像データ抽出部342から指が存在している画像データが予め定めた所定の時間内に送られてこなかった場合等には、操作判定部343は、四つの円の全てに対する指によるタップ操作が正常に認識されなかったと判断する。操作判定部343は、四つの円の全てに対する指によるタップ操作が正常に認識されたと判断すると、当該指による操作の内容に関するデータを記憶部33に記憶すると共に、指によるタップ操作が正常に認識された旨の信号を表示制御部341に送る。そして、表示制御部341は、指によるタップ操作が正常に認識されたことを意味する緑色ランプを示す画像を元画面Mに追加して、ディスプレイ装置20に表示する(S36)。尚、このとき、表示制御部341は、緑色ランプを示す画像とともに、或いはその画像に代えて、指によるタップ操作が正常に認識されたことを意味する文字や図形を示す画像を元画面Mに追加するようにしてもよい。
ステップS36の処理の後、位置データ生成部344は、操作判定部343で各円における操作が所定の操作であると判定された画像データに基づいて、撮像装置60の撮像範囲における各指(指先)の位置データ(XY座標)を生成する(S37)。そして、基準データ生成部345は、こうして生成された四つの位置データを、現在表示されている視認画面Sに関する基準データとして記憶部33に記憶する(S38)。かかる基準データは当該視認画面Sの位置及び大きさを特定するものであるので、制御部34Aは、この基準データを用いると、撮像装置60の撮像範囲内でユーザが見ている当該視認画面Sの存在する範囲を認識することができるようになる。ステップS38の処理がなされると、基準データの設定処理が終了する。
一方、ステップS35の処理において、操作判定部343は、四つの円の全てに対する指によるタップ操作が正常に認識されていないと判断すると、その旨の信号を表示制御部341に送る。そして、表示制御部341は、指によるタップ操作が正常に認識されなかったことを意味する赤色ランプを示す画像を元画面Mに追加して、ディスプレイ装置20に表示する(S39)。ユーザは、この赤色ランプを示す画像を見ると、再度、基準データ設定用の視認画面Sにおいて各円に対して指でタップ操作を行わなければならない。尚、このとき、表示制御部341は、赤色ランプを示す画像とともに、或いはその画像に代えて、指によるタップ操作が正常に認識されなかったことを意味する文字や図形を示す画像を元画面Mに追加するようにしてもよい。
ステップS39の処理後、制御部34Aは、今回のステップS35の処理が一回目の処理であるかどうかを判断する(S40)。今回のステップS35の処理が一回目の処理であれば、ステップS32に移行する。これに対し、今回のステップS35の処理が一回目の処理でなければ、制御部34bは、今回のステップS35の処理が二回目の処理であるかどうかを判断する(S41)。今回のステップS35の処理が二回目の処理であれば、ステップS32に移行し、一方、今回のステップS35の処理が二回目の処理でなければ、基準データの設定処理を終了する。すなわち、視認画面S中に赤色ランプが表示された場合、ユーザには、指による操作を行う機会がさらに二回与えられる。尚、それでも指による操作が正常に認識されなかった場合には、再度、基準データの設定処理を実行すればよい。
尚、第三実施形態では、上記のステップS35において、操作判定部343が、各円に対する指による操作がタップ操作であるかどうかを判定し、四つの円の全てに対する指によるタップ操作が正常に認識されたかどうかを判断する場合について説明したが、操作判定部343は、各円に対する指による操作が行われる度に、その操作がタップ操作であるかどうかを判定すると共にそのタップ操作が正常に認識されたかどうかを判断するようにしてもよい。この場合、表示制御部341は、各円に対する指によるタップ操作が正常に認識されたと操作判定部343が判断する度に、当該円に対するタップ操作が正常に認識されたことを意味する画像を元画面Mに表示し、一方、各円に対する指によるタップ操作が正常に認識されなかったと操作判定部343が判断する度に、当該円に対するタップ操作が正常に認識されなかったことを意味する画像を元画面Mに表示することが望ましい。具体的に、各円に対するタップ操作が正常に認識されたことを意味する画像としては、例えば、当該円を反転表示した画像や、当該円の色を緑色で表示した画像等を挙げることができ、各円に対するタップ操作が正常に認識されなかったことを意味する画像としては、例えば、当該円の色を赤色で表示した画像等を挙げることができる。
また、第三実施形態では、ユーザが視認画面Sにおける所定の四箇所に対して指で所定の操作を行い、四つの位置データを取得する場合について説明したが、ユーザが視認画面Sにおける所定の一箇所、二箇所又は三箇所に対して指で所定の操作を行うことにより、それらの位置データを取得するようにしてもよい。但し、この場合、視認画面Sの大きさに関するデータを、その視認画面Sに対応する元画面Mのデータ等から演算により予め算出して、記憶部33に記憶しておく必要がある。そして、その取得した各位置データと視認画面Sの大きさに関するデータとが、基準データを構成することになる。
次に、第三実施形態の端末装置2Aにおいて視認画面Sを用いた文字入力の処理について説明する。図21は第三実施形態の端末装置2Aにおいて視認画面Sを用いた文字入力の処理の手順を説明するためのフローチャートである。ここでは、端末30Aにおいてディスプレイ装置制御用プログラムが実行中である場合を考える。すなわち、ディスプレイ装置20、通信部40及び撮像装置60は電源オンの状態にあり、端末30Aとディスプレイ装置20及び撮像装置60との間の通信が有効であるとする。
ユーザは、端末30Aを操作して表示部31にメニュー画面を表示させる。そして、ユーザは、そのメニュー画面において文字入力処理用プログラムのアイコンをタップし、その文字入力処理用プログラムを選択する。端末30Aの制御部34Aは、文字入力処理用プログラムが選択された旨の信号を受けると、文字入力処理用プログラムを記憶部33から読み出し、図21に示す処理フローにしたがって視認画面Sを用いた文字入力の処理を行う。尚、この文字入力の処理は、元画面Mとして文字入力画面200がディスプレイ装置20に表示されたときに自動的に実行されるようにしてもよい。
まず、制御部34Aは、文字入力画面200を元画面Mとしてディスプレイ装置20に表示すると共に、この元画面Mに対応する視認画面Sに関する基準データが記憶部33に記憶されているかどうかを判断する(S51)。視認画面Sに関する基準データが記憶部33に記憶されていなければ、制御部34Aは、基準データ設定処理用プログラムを記憶部33から読み出し、図19に示す処理フローにしたがって基準データの設定処理を行う(S52)。その後、ステップS51に移行する。尚、第三実施形態では、視認画面Sに関する基準データが記憶部33に記憶されていない場合に基準データの設定処理を実行することにしているが、視認画面Sに関する基準データが記憶部33に記憶されている場合でも、ユーザから指示を受けたときに、基準データの設定処理を実行して、再度、基準データを生成するようにしてもよい。
一方、ステップS51の処理において視認画面Sに関する基準データが記憶部33に記憶されていると判断されると、制御部34Aは、撮像装置60の撮像動作を開始する(S53)。ユーザは、視認画面Sである文字入力画面200のキーボード画像210に対して指で所定の操作、例えばタップ操作を行う。ここで、ユーザが所定の操作を行うのは、制御部34bに対してユーザが操作している位置を知らせるためである。かかるユーザによる操作は撮像装置60で撮像され、その得られた画像データが画像処理部62に送られる。そして、画像処理部62が画像データに対して所定の画像処理を施し、その画像処理を施した画像データが無線通信で撮像装置60から制御部34Aに送られる(S54)。
次に、画像データ抽出部342は、撮像装置60で撮像して得られた画像データに基づいて、被写体が指であるかどうかを判断し、指が存在している画像データを抽出する(S55)。すなわち、画像データ抽出部342は、当該指が撮像装置60からZ軸方向に沿って略一定の距離だけ離れた位置にある画像データを抽出する。次に、操作判定部343は、画像データ抽出部342で抽出された画像データに基づいて当該指による操作が所定の操作(ここでは、タップ操作)であるかどうかを判定する。この判定は予め定めた所定の時間内に行われる。そして、操作判定部343は、当該指による操作がタップ操作であれば、文字入力のための操作が正常に認識されたと判断し、一方、当該指による操作がタップ操作でなければ、文字入力のための操作が正常に認識されなかったと判断する(S56)。操作判定部343は、文字入力のための操作が正常に認識されたと判断すると、当該指による操作の内容に関するデータを記憶部33に記憶すると共に、文字入力のための操作が正常に認識された旨の信号を表示制御部341に送る。表示制御部341は、その信号を受けると、文字入力のための操作が正常に認識されたことを意味する緑色ランプを示す画像を元画面Mに追加して、ディスプレイ装置20に表示する(S58)。尚、表示制御部341は、緑色ランプを示す画像とともに、或いはその画像に代えて、文字入力のための操作が正常に認識されたことを意味する文字や図形を示す画像を元画面Mに追加するようにしてもよい。
一方、操作判定部343は、ステップS56の処理において、予め定めた所定の時間内に文字入力のための操作が正常に認識されなかったと判断すると、その旨の信号を表示制御部341に送る。このとき例えば、画像データ抽出部342から指が存在している画像データが予め定めた所定の時間内に送られてこなかった場合にも、操作判定部343は、タップ操作が正常に認識されなかったと判断する。表示制御部341は、その信号を受けると、文字入力のための操作が正常に認識されなかったことを意味する赤色ランプを示す画像を元画面Mに追加して、ディスプレイ装置20に表示する(S57)。その後は、ステップS62に移行する。尚、このとき、表示制御部341は、赤色ランプを示す画像とともに、或いはその画像に代えて、文字入力のための操作が正常に認識されなかったことを意味する文字や図形を示す画像を元画面Mに追加するようにしてもよい。
ステップS58の処理の後、位置データ生成部344は、操作判定部343で指による操作がタップ操作であると判定された画像データに基づいて、撮像装置60の撮像範囲における当該指(指先)の位置データを生成する(S59)。こうして生成された指の位置データは記憶部33に記憶される。
次に、入力制御部346は、操作判定部343で判定して得られた当該指による操作の内容に関するデータ及び位置データ生成部344で生成された当該指の位置データと、記憶部33に記憶されている当該視認画面Sに関する基準データと、記憶部33に記憶されている当該視認画面Sに対応する元画面Mに関するデータとに基づいて、当該指による操作に対応する入力指示の内容を認識する(S60)。例えば、ユーザがキーボード画像210における文字キー画像に対して指でタップ操作を行った場合には、入力制御部346は、その指の位置データから得られる指の位置が、キーボード画像210におけるどの文字キー画像の領域に対応するのかを調べることにより、今回のタップ操作が行われた文字キーを特定し、その特定した文字キーの入力が指示されたことを認識することができる。その後、入力制御部346は、認識した入力指示の内容に関する信号を表示制御部341に送り、表示制御部341はその入力指示の内容に応じた元画面Mをディスプレイ装置20に表示する(S61)。
ステップS61又はステップS57の処理の後、制御部34Aは、ユーザから視認画面Sを用いた文字入力を終了する旨の指示を受けたかどうかを判断する(S62)。文字入力を終了する旨の指示を受けていれば、視認画面Sを用いた文字入力の処理が終了する。これに対し、文字入力を終了する旨の指示を受けていなければ、ステップS53に移行し、視認画面Sを用いた文字入力の処理を継続する。尚、ユーザは、文字入力を終了する旨の指示を、端末30Aを操作して行う。
次に、第三実施形態の端末装置2Aにおいて視認画面Sを用いた画面表示の処理について説明する。図22は第三実施形態の端末装置2Aにおいて視認画面Sを用いた画面表示の処理の手順を説明するためのフローチャートである。ここでは、端末30Aにおいてディスプレイ装置制御用プログラムが実行中である場合を考える。すなわち、ディスプレイ装置20、通信部40及び撮像装置60は電源オンの状態にあり、端末30Aとディスプレイ装置20及び撮像装置60との間の通信が有効であるとする。
ユーザは、端末30Aを操作して表示部31にメニュー画面を表示させる。そして、ユーザは、そのメニュー画面において画面表示処理用プログラムのアイコンをタップし、その画面表示処理用プログラムを選択する。端末30Aの制御部34Aは、画面表示処理用プログラムが選択された旨の信号を受けると、画面表示処理用プログラムを記憶部33から読み出し、図22に示す処理フローにしたがって視認画面Sを用いた画面表示の処理を行う。尚、この画面表示の処理は、元画面Mがディスプレイ装置20に表示されたときに自動的に実行されるようにしてもよい。
まず、ユーザは、端末30Aを操作して所望の画面をディスプレイ装置20に表示させる。制御部34Aは、その表示された画面(元画面M)に対応する視認画面Sに関する基準データが記憶部33に記憶されているかどうかを判断する(S71)。視認画面Sに関する基準データが記憶部33に記憶されていなければ、制御部34Aは、基準データ設定処理用プログラムを記憶部33から読み出し、図19に示す処理フローにしたがって基準データの設定処理を行う(S72)。その後、ステップS71に移行する。尚、第三実施形態では、視認画面Sに関する基準データが記憶部33に記憶されていない場合に基準データの設定処理を実行することにしているが、視認画面Sに関する基準データが記憶部33に記憶されている場合でも、ユーザから指示を受けたときに、基準データの設定処理を実行して、再度、基準データを生成するようにしてもよい。
一方、ステップS71の処理において視認画面Sに関する基準データが記憶部33に記憶されていると判断されると、制御部34Aは、撮像装置60の撮像動作を開始する(S73)。ユーザは、視認画面Sに対して指で所望の操作を行う。かかるユーザによる操作は撮像装置60で撮像され、その得られた画像データが画像処理部62に送られる。そして、画像処理部62が画像データに対して所定の画像処理を施し、その画像処理を施した画像データが無線通信で撮像装置60から制御部34Aに送られる(S74)。
次に、画像データ抽出部342は、撮像装置60で撮像して得られた画像データに基づいて、被写体が指であるかどうかを判断し、指が存在している画像データを抽出する(S75)。すなわち、画像データ抽出部342は、当該指が撮像装置60からZ軸方向に沿って略一定の距離だけ離れた位置にある画像データを抽出する。次に、操作判定部343は、画像データ抽出部342で抽出された画像データに基づいて当該指による操作の内容を判定する。そして、操作判定部343は、当該指による操作が正常に認識されたかどうかを判断する(S76)。操作判定部343は、当該指による操作が正常に認識されたと判断すると、当該指による操作の内容に関するデータを記憶部33に記憶すると共に、当該指による操作が正常に認識された旨の信号を表示制御部341に送る。表示制御部341は、その信号を受けると、指による操作が正常に認識されたことを意味する緑色ランプを示す画像を元画面Mに追加して、ディスプレイ装置20に表示する(S78)。尚、表示制御部341は、緑色ランプを示す画像とともに、或いはその画像に代えて、指による操作が正常に認識されたことを意味する文字や図形を示す画像を元画面Mに追加するようにしてもよい。
一方、操作判定部343は、ステップS76の処理において、指による操作が正常に認識されなかったと判断すると、その旨の信号を表示制御部341に送る。このとき例えば、画像データ抽出部72から指が存在している画像データが予め定めた所定の時間内に送られてこなかった場合にも、操作判定部343は、タップ操作が正常に認識されなかったと判断する。表示制御部341は、その信号を受けると、指による操作が正常に認識されなかったことを意味する赤色ランプを示す画像を元画面Mに追加して、ディスプレイ装置20に表示する(S77)。その後は、ステップS82に移行する。尚、このとき、表示制御部71は、赤色ランプを示す画像とともに、或いはその画像に代えて、指による操作が正常に認識されなかったことを意味する文字や図形を示す画像を元画面Mに追加するようにしてもよい。
ステップS78の処理の後、位置データ生成部344は、操作判定部343で指による操作の内容が判定された画像データに基づいて、撮像装置60の撮像範囲における当該指(指先)の位置データを生成する(S79)。こうして生成された指の位置データは記憶部33に記憶される。
次に、入力制御部346は、操作判定部343で判定して得られた当該指による操作の内容に関するデータ及び位置データ生成部344で生成された当該指の位置データと、記憶部33に記憶されている当該視認画面Sに関する基準データと、記憶部33に記憶されている当該視認画面Sに対応する元画面Mに関するデータとに基づいて、当該指による操作に対応する指示の内容を認識する(S80)。例えば、ユーザが視認画面Sに対して指でダブルタップ操作を行った場合には、入力制御部346は、今回の操作がダブルタップ操作であることを特定し、元画面Mを拡大(又は縮小)する旨の指示を受けたことを認識する。その後、入力制御部346は、認識した指示の内容に関する信号を表示制御部341に送り、表示制御部341はその指示の内容に応じた元画面Mをディスプレイ装置20に表示する(S81)。
ステップS81又はステップS77の処理の後、制御部34Aは、ユーザから視認画面Sを用いた画面表示のための操作を終了する旨の指示を受けたかどうかを判断する(S82)。画面表示のための操作を終了する旨の指示を受けていれば、視認画面Sを用いた画面表示の処理が終了する。これに対し、画面表示のための操作を終了する旨の指示を受けていなければ、ステップS73に移行し、視認画面Sを用いた画面表示の処理を継続する。尚、ユーザは、視認画面Sを用いた画面表示のための操作を終了する旨の指示を、端末30Aを操作して行う。
第三実施形態の端末装置は、上記第一実施形態のものと同様の作用・効果を奏する。すなわち、第三実施形態の端末装置では、端末と装着物としての眼鏡とを別体に構成したので、端末として、例えばスマートフォンやタブレット端末等の既存の携帯端末等を用いることができる。このように端末として既存の携帯端末等を用いることにより、装着物としての眼鏡の部品点数を少なくして、眼鏡の構成を簡易なものとすることができる。また、端末として例えば市販のスマートフォン等を用いることにより、使い慣れているスマートフォン等を使用して操作することができるので、操作性の向上を図ることができる。
特に、第三実施形態の端末装置では、端末の入力制御部が、ユーザが視認画面に対して指で操作を行ったときに、操作判定部で判定して得られた当該指による操作の内容に関するデータ及び位置データ生成部で生成された当該指の位置データと、記憶部に記憶されている当該視認画面に関する基準データと、記憶部に記憶されている当該視認画面に対応する元画面に関するデータとに基づいて、当該指による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、ディスプレイ装置に表示する元画面の制御を行う。このため、ユーザは、空中に浮かんでいるように見える視認画面に対して、通常のタッチパネルに表示された画面に対して操作するのと同様の操作を行うことにより、当該操作に対応する指示を入力することができる。したがって、第三実施形態の端末装置を用いると、ユーザは、通常のスマートフォン端末やタブレット端末と同様に、視認画面に対して操作を行うことにより、文字入力の操作や拡大・縮小等の各種の画面操作を容易且つ正確に行うことができる。
尚、第三実施形態の端末装置において、端末は、撮像装置を制御して撮像装置の撮像範囲を調整する機能、及び、撮像装置を制御して被写体にピントが合う奥行き方向の範囲である被写界深度を調整する機能を有することが望ましい。これらの機能を利用すると、撮像装置が撮像する対象を視認画面に対して操作する指だけに制限することができるので、他者のプライバシーを守ることができる。
[第四実施形態]
次に、本発明の第四実施形態である端末装置について説明する。図23は本発明の第四実施形態である端末装置の概略ブロック図である。尚、第四実施形態において、上述した第三実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。
第四実施形態である端末装置2Bは、図23に示すように、ユーザの頭部に装着される装着物としての眼鏡10と、眼鏡10に設けられたディスプレイ装置20と、眼鏡10と別体に構成された、表示部31を有する端末30Aと、ケーブル50と、ユーザの前方を撮像するための撮像装置60とを備える。ケーブル50は、ディスプレイ装置20と端末30Aとの間、及び、撮像装置60と端末30Aとの間を接続するものである。
第四実施形態の端末装置2Bが第三実施形態の端末装置2Aと異なる主な点は、ディスプレイ装置20及び撮像装置60と端末30Aとを、無線で接続する代わりに、ケーブル50を用いて有線で接続している点である。第四実施形態の端末装置2Bのその他の構成は、第三実施形態の端末装置2Aのものと同様である。
端末30Aはインターフェースとしての接続端子(不図示)を有しており、この接続端子にケーブル50が接続される。ディスプレイ装置20及び撮像装置60への電力はこのケーブル50を介して端末30Aから供給される。
第四実施形態でも、ユーザが端末30Aを操作してディスプレイ装置制御用プログラムの起動を指示すると、端末30Aの制御部34Aは、そのディスプレイ装置制御用プログラムを実行して、表示部31に表示されている画面の内容を元画面Mの内容としてディスプレイ装置20に表示する。第四実施形態の端末装置2Bにおいてディスプレイ装置制御用プログラムにしたがってディスプレイ装置20に画面を表示する処理は、上記第二実施形態の端末装置1Bにおける処理と同様である。このため、ここでは、その詳細な説明を省略する。
また、ユーザは、基準データを設定する処理、視認画面Sを用いた文字入力の処理、又は視認画面Sを用いた画面表示の処理を、ディスプレイ装置制御用プログラムが実行中に行うことができる。第四実施形態の端末装置2Bにおけるこれらの処理の手順は、第三実施形態における図19、図21、図22に示す処理フローと同じである。このため、ここでは、その詳細な説明を省略する。
第四実施形態の端末装置は、第三実施形態の端末装置と同様の作用・効果を奏する。
[第五実施形態]
次に、本発明の第五実施形態である端末装置について説明する。図24は本発明の第五実施形態である端末装置の概略ブロック図である。尚、本第五実施形態の端末装置の概略斜視図は、一部の構成要素が図示されていない点を除き、図13に示す第三実施形態の端末装置の概略斜視図と略同じである。このため、ここでは、図13を第五実施形態の端末装置の概略斜視図としても用いることにする。また、第五実施形態において、第三実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。
第五実施形態である端末装置3Aは、図13及び図24に示すように、ユーザの頭部に装着される装着物としての眼鏡10と、眼鏡10に設けられたディスプレイ装置20と、眼鏡10と別体に構成された、表示部31を有する端末30Aと、通信部40と、ユーザの前方を撮像するための撮像装置60と、マイク部(音入力装置)70と、スピーカ部(音出力装置)80とを備える。
第五実施形態の端末装置3Aが第三実施形態の端末装置2Aと異なる主な点は、この端末装置3Aがマイク部70とスピーカ部80とを備えている点、端末30Aがマイク部70及びスピーカ部80を制御する点である。端末装置3Aのその他の構成は、第三実施形態のものと同様である。
マイク部70とスピーカ部80は眼鏡10の柄の部分に設けられている。ここで、図13では、マイク部70とスピーカ部80は記載されていない。マイク部70は、ユーザの音声を電気信号に変換してその電気信号を端末30Aに出力するものである。マイク部70を用いることにより、ユーザの音声による指示で端末30Aを操作することができる。マイク部70から入力された音声を表す電気信号は、通信部40を介して端末30Aの制御部34Aに送られ、制御部34Aがその電気信号の内容を解析することになる。また、スピーカ部80は、端末30Aから出力された電気信号を音に変換してその音を骨の振動によりユーザに伝達する骨伝導型のものである。尚、一般に、スピーカ部80としては、骨の振動を利用してユーザに音を伝えるものに限らず、音をユーザの耳を介してユーザに伝達する通常のスピーカ、イヤホン、ヘッドホン等を用いることも可能である。
制御部34Aは、マイク部70から音声が入力されたときに、その入力された音声を表す電気信号の内容を認識し、その認識した内容に応じた処理を実行する。例えば、ユーザが所望の画面を表示する旨をマイク部70から音声で指示したときに、表示制御部341は、その指示された画面を表示部31に表示する。また、ユーザが所望のアプリケーションプログラム(例えば、ディスプレイ装置制御用プログラム、基準データ設定処理用プログラム、文字入力処理用プログラム、画面表示処理用プログラム)を実行する旨をマイク部70から音声で指示したときに、制御部34Aは、その指示されたアプリケーションプログラムを記憶部33から読み出して実行する。更に、ユーザが現在実行されているアプリケーションプログラム(例えば、ディスプレイ装置制御用プログラム、基準データ設定処理用プログラム、文字入力処理用プログラム、画面表示処理用プログラム)を終了する旨をマイク部70から音声で指示したときに、制御部34Aは、その指示されたアプリケーションプログラムの実行を終了する。
また、制御部34Aは、スピーカ部80により発する音を制御する。例えば、あるアプリケーションプログラムの実行中にユーザに報知すべき情報がある場合、制御部34Aは、その情報を表示部31に表示すると共にその情報に対応する音をスピーカ部80から発することができる。
第五実施形態の端末装置は、上記第三実施形態のものと同様の作用・効果を奏する。特に、第五実施形態の端末装置では、マイク部とスピーカ部とを眼鏡に設けたことにより、ユーザは、端末を操作することなくマイク部から端末に指示を与えることができると共に、端末からの情報をスピーカ部から音として得ることができる。
[第六実施形態]
次に、本発明の第六実施形態である端末装置について説明する。図25は本発明の第六実施形態である端末装置の概略ブロック図である。尚、第六実施形態において、上述した第五実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。
第六実施形態である端末装置3Bは、図25に示すように、ユーザの頭部に装着される装着物としての眼鏡10と、眼鏡10に設けられたディスプレイ装置20と、眼鏡10と別体に構成された、表示部31を有する端末30Aと、ケーブル50と、ユーザの前方を撮像するための撮像装置60と、マイク部70と、スピーカ部80とを備える。ケーブル50は、ディスプレイ装置20、撮像装置60、マイク部70及びスピーカ部80と端末30Aとの間を接続するものである。
第六実施形態の端末装置3Bが第五実施形態の端末装置3Aと異なる主な点は、ディスプレイ装置20、撮像装置60、マイク部70及びスピーカ部80と端末30Aとを、無線ではなく、ケーブル50を用いて有線で接続している点である。第六実施形態の端末装置3Bのその他の構成は、第五実施形態の端末装置3Aのものと同様である。
端末30Aはインターフェースとしての接続端子(不図示)を有しており、この接続端子にケーブル50が接続される。ディスプレイ装置20、撮像装置60、マイク部70及びスピーカ部80への電力はこのケーブル50を介して端末30Aから供給される。
第六実施形態の端末装置は、上記第五実施形態のものと同様の作用・効果を奏する。
[第七実施形態]
次に、本発明の第七実施形態である端末装置について説明する。図26は本発明の第七実施形態である端末装置の概略ブロック図である。尚、本第七実施形態の端末装置の概略斜視図は、図13に示す第三実施形態の端末装置の概略斜視図と略同じである。このため、ここでは、図13を第七実施形態の端末装置の概略斜視図としても用いることにする。また、第七実施形態において、第三実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。
第七実施形態の端末装置4Aは、図13及び図26に示すように、眼鏡10と、眼鏡10に設けられたディスプレイ装置20と、眼鏡10と別体に構成された、表示部31を有する端末30Bと、通信部40と、ユーザの前方を撮像するための撮像装置60Aとを備える。また、端末30Bは、表示部31と、通信部32と、記憶部33と、制御部34Bとを備え、制御部34Bは、表示制御部341と、画像データ抽出部342Bと、操作判定部343と、位置データ生成部344と、基準データ生成部345と、入力制御部346とを備える。更に、撮像装置60Aは、カメラ部61と、画像処理部62と、オートフォーカス制御部631を有するカメラ制御部63Aとを備える。
第七実施形態の端末装置4Aが第三実施形態の端末装置2Aと異なる点は、撮像装置60Aのカメラ制御部63Aがオートフォーカス制御部631を備えている点、及び、画像データ抽出部342Bが、無線通信で撮像装置60Aから端末30Bに送られた画像データの中から、被写体が指であってその指が撮像装置60AからZ軸方向に沿って略一定の距離だけ離れた位置にある画像データを抽出する点である。
オートフォーカス制御部631は、撮像範囲内における所定の位置にある被写体に自動的にピントを合わせるようにカメラ部61を制御するものである。ここで、第七実施形態では、撮像装置60Aは、撮像範囲内のどの位置においても、自動的にピントを合わせることができるように、多数のフォーカスポイントを有する。このため、ユーザが視認画面Sに対して指で操作を行っている場合、撮像装置60Aは、その操作を行っている指に自動的にピントを合わせ、当該指をピントが合った状態で撮像することができる。また、オートフォーカス制御部631は、自動的にピントが合わせられた被写体を撮像したときに、その撮像した被写体までの距離データを算出する。この算出した距離データは当該画像データと関連付けられる。そして、撮像装置60Aで撮像して得られた画像データとそれに関連付けられた距離データは端末30Bの制御部34Bに送られる。尚、オートフォーカスの方式としては、被写体に赤外線・超音波などを照射し、その反射波が戻るまでの時間や照射角度により距離を検出するアクティブ方式、或いは、カメラ部61のレンズで捉えた画像を利用して測距を行う位相差検出方式やコントラスト検出方式等のパッシブ方式のいずれであってもよい。
また、画像データ抽出部342Bは、ユーザが視認画面Sに対して指で操作を行った際に撮像装置60Aでピントが合った被写体が撮像されたときに、その撮像して得られた画像データに基づいて当該被写体が指であるかどうかを判断し、且つ、その撮像して得られた画像データに関連付けられた距離データに基づいて当該被写体が撮像装置60AからZ軸方向に沿って予め定められた略一定の距離だけ離れているかどうかどうかを判断することにより、被写体が指であってその指が撮像装置60AからZ軸方向に沿って略一定の距離だけ離れている画像データを抽出するものである。被写体が指であるかどうかを判断するには、第三実施形態の場合と同様に一般の画像認識の方法が用いられる。また、被写体が撮像装置60AからZ軸方向に沿って略一定の距離だけ離れているかどうかを判断する際における略一定の距離というのは、撮像装置60Aからユーザが認識する視認画面Sの位置までのZ軸方向の距離である。例えば、ユーザが視認画面Sを撮像装置60Aから約40cm離れた位置に認識する場合、上記略一定の距離としては、撮像装置60Aから約40cm±5cmの範囲内の距離に設定される。このように、画像データ抽出部342Bは、視認画面Sが表示されている位置から極端に手前の位置や奥の位置で操作を行っている指の画像データを排除して、視認画面Sに対して適正な操作を行っている指の画像データを抽出することができる。尚、操作判定部343、位置データ生成部344、基準データ生成部345では、画像データ抽出部342Bで抽出された画像データに基づいて処理が行われる。
基準データ生成部345は、第三実施形態と同様に、ユーザが視認画面Sにおける一又は複数の所定位置において指で操作を行ったときに、操作判定部343で各所定位置における操作が所定の操作であると判定された画像データに基づいて位置データ生成部344で生成された当該指の位置データを用いて、当該視認画面Sに関するデータを基準データとして生成する。例えば、ユーザが視認画面Sの外枠の四隅に対して指で操作を行った場合には、四隅の各位置における指の位置データを基準データとして用いることができる。上述のように、第七実施形態でも、画像データ抽出部342Bが抽出した画像データは、撮像装置60AからZ軸方向に沿って略一定の距離だけ離れた位置にある指を撮像したものであるので、この四隅の各位置における指の位置データは、撮像装置60AからZ軸方向に沿って略一定の距離だけ離れた位置においてXY平面に平行な(略ユーザの身体と平行な)平面上での指の位置情報を表していると考えることができる。
次に、第七実施形態の端末装置4Aにおいて基準データを設定する処理について説明する。
第七実施形態の端末装置4Aにおける基準データの設定処理の手順を説明するためのフローチャートは、図19に示す第三実施形態のものと略同様である。第七実施形態における基準データの設定処理が第三実施形態における基準データの設定処理と異なるのは、撮像装置60Aでの処理(ステップS32、S33)と、画像データ抽出部342Bによる画像データの抽出処理(ステップS34)とである。したがって、以下では、図19に示すフローチャートを用いて、第七実施形態における基準データの設定処理のうち第三実施形態における基準データの設定処理と異なる事項について説明する。尚、ここでは、端末30Bにおいてディスプレイ装置制御用プログラムが実行中である場合を考える。すなわち、ディスプレイ装置20、通信部40及び撮像装置60Aは電源オンの状態にあり、端末30Bとディスプレイ装置20及び撮像装置60Aとの間の通信が有効であるとする。
ステップS31の処理後、制御部34Bは、撮像装置60Aの撮像動作を開始する(S32)。ユーザは、基準データ設定用の視認画面Sとして図20(b)に示す文字入力画面201を見ると、この基準データ設定用の視認画面Sにおいて、数字が付された各円に対して数字の順番に指で所定の操作、例えばタップ操作を行う。かかるユーザによる操作は撮像装置60Aで撮像される。このとき、オートフォーカス制御部631は、撮像範囲内にある被写体に自動的にピントを合わせるようにカメラ部61を制御し、撮像装置60Aはピントが合った被写体を撮像する。また、オートフォーカス制御部631は、自動的にピントが合わせられた被写体を撮像したときに、その撮像した被写体までの距離データを算出し、この算出した距離データを当該画像データと関連付ける。この撮像して得られた画像データは画像処理部62に送られ、画像処理部62は画像データに対して所定の画像処理を施す。そして、その画像処理を施した画像データとそれに関連付けられた距離データとは無線通信で撮像装置60Aから端末30Bの制御部34Bに送られる(S33)。
ステップS34では、画像データ抽出部342Bは、まず、撮像装置60Aで撮像して得られた画像データに基づいて被写体が指であるかどうかを判断することにより、指が存在している画像データを抽出する。その後、画像データ抽出部342Bは、その抽出した指が存在している画像データに関連付けられた距離データに基づいて当該被写体が撮像装置60AからZ軸方向に沿って略一定の距離だけ離れているかどうかを判断することにより、被写体が指であってその指が撮像装置60AからZ軸方向に沿って略一定の距離だけ離れている画像データを抽出する。尚、第七実施形態の基準データの設定処理において、ステップS35以下の各処理の内容は第三実施形態のものと同様である。
次に、第七実施形態の端末装置4Aにおいて視認画面Sを用いた文字入力の処理について説明する。
第七実施形態の端末装置4Aにおいて視認画面Sを用いた文字入力の処理の手順を説明するためのフローチャートは、図21に示す第三実施形態のものと略同様である。第七実施形態において視認画面Sを用いた文字入力の処理が第三実施形態において視認画面Sを用いた文字入力の処理と異なるのは、撮像装置60Aでの処理(ステップS53、S54)と、画像データ抽出部342Bによる画像データの抽出処理(ステップS55)とである。したがって、以下では、図21に示すフローチャートを用いて、第七実施形態において視認画面Sを用いた文字入力の処理のうち第三実施形態において視認画面Sを用いた文字入力の処理と異なる事項について説明する。尚、ここでは、端末30Bにおいてディスプレイ装置制御用プログラムが実行中である場合を考える。すなわち、ディスプレイ装置20、通信部40及び撮像装置60Aは電源オンの状態にあり、端末30Bとディスプレイ装置20及び撮像装置60Aとの間の通信が有効であるとする。
ステップS51の処理において視認画面Sに関する基準データが記憶部33に記憶されていると判断されると、制御部34Bは、撮像装置60Aの撮像動作を開始する(S53)。ユーザは、視認画面Sである文字入力画面200のキーボード画像210に対して指で所定の操作、例えばタップ操作を行う。かかるユーザによる操作は撮像装置60Aで撮像される。このとき、オートフォーカス制御部631は、撮像範囲内にある被写体に自動的にピントを合わせるようにカメラ部61を制御し、撮像装置60Aはピントが合った被写体を撮像する。また、オートフォーカス制御部631は、自動的にピントが合わせられた被写体を撮像したときに、その撮像した被写体までの距離データを算出し、この算出した距離データを当該画像データと関連付ける。この撮像して得られた画像データは画像処理部62に送られ、画像処理部62は画像データに対して所定の画像処理を施す。そして、その画像処理を施した画像データとそれに関連付けられた距離データとは無線通信で撮像装置60Aから端末30Bの制御部34Bに送られる(S54)。
ステップS55では、画像データ抽出部342Bは、まず、撮像装置60Aで撮像して得られた画像データに基づいて被写体が指であるかどうかを判断することにより、指が存在している画像データを抽出する。その後、画像データ抽出部342Bは、その抽出した指が存在している画像データに関連付けられた距離データに基づいて当該被写体が撮像装置60AからZ軸方向に沿って略一定の距離だけ離れているかどうかを判断することにより、被写体が指であってその指が撮像装置60AからZ軸方向に沿って略一定の距離だけ離れている画像データを抽出する。尚、第七実施形態の文字入力の処理において、ステップS56以下の各処理の内容は第三実施形態のものと同様である。
次に、第七実施形態の端末装置4Aにおいて視認画面Sを用いた画面表示の処理について説明する。
第七実施形態の端末装置4Aにおいて視認画面Sを用いた画面表示の処理の手順を説明するためのフローチャートは、図22に示す第三実施形態のものと略同様である。第七実施形態において視認画面Sを用いた画面表示の処理が第三実施形態において視認画面Sを用いた画面表示の処理と異なるのは、撮像装置60Aでの処理(ステップS73、S74)と、画像データ抽出部342Bによる画像データの抽出処理(ステップS75)とである。したがって、以下では、図22に示すフローチャートを用いて、第七実施形態において視認画面Sを用いた画面表示の処理のうち第三実施形態において視認画面Sを用いた画面表示の処理と異なる事項について説明する。尚、ここでは、端末30Bにおいてディスプレイ装置制御用プログラムが実行中である場合を考える。すなわち、ディスプレイ装置20、通信部40及び撮像装置60Aは電源オンの状態にあり、端末30Bとディスプレイ装置20及び撮像装置60Aとの間の通信が有効であるとする。
ステップS71の処理において視認画面Sに関する基準データが記憶部33に記憶されていると判断されると、制御部34Bは、撮像装置60Aの撮像動作を開始する(S73)。ユーザは、視認画面Sに対して指で所望の操作を行う。かかるユーザによる操作は撮像装置60Aで撮像される。このとき、オートフォーカス制御部631は、撮像範囲内にある被写体に自動的にピントを合わせるようにカメラ部61を制御し、撮像装置60Aはピントが合った被写体を撮像する。また、オートフォーカス制御部631は、自動的にピントが合わせられた被写体を撮像したときに、その撮像した被写体までの距離データを算出し、この算出した距離データを当該画像データと関連付ける。この撮像して得られた画像データは画像処理部62に送られ、画像処理部62は画像データに対して所定の画像処理を施す。そして、その画像処理を施した画像データとそれに関連付けられた距離データとは無線通信で撮像装置60Aから端末30Bの制御部34Bに送られる(S74)。
ステップS75では、画像データ抽出部342Bは、まず、撮像装置60Aで撮像して得られた画像データに基づいて被写体が指であるかどうかを判断することにより、指が存在している画像データを抽出する。その後、画像データ抽出部342Bは、その抽出した指が存在している画像データに関連付けられた距離データに基づいて当該被写体が撮像装置60AからZ軸方向に沿って略一定の距離だけ離れているかどうかを判断することにより、被写体が指であってその指が撮像装置60AからZ軸方向に沿って略一定の距離だけ離れている画像データを抽出する。尚、第七実施形態の画面表示の処理において、ステップS76以下の各処理の内容は第三実施形態のものと同様である。
第七実施形態の端末装置は、第三実施形態の端末装置と同様の作用・効果を奏する。特に、第七実施形態では、撮像装置が、被写体に自動的にピントを合わせることができるオートフォーカス制御部を有し、オートフォーカス制御部により自動的にピントが合わせられた被写体を撮像したときに、その撮像した被写体までの距離データを算出し、その算出した距離データを当該撮像して得られた画像データとともに出力することにより、より正確に被写体である指(指先)にピントを合わせて、その被写体を撮像することができるので、制御部は、その撮像して得られた画像データ及び距離データに基づいて、より正確に基準データを生成したり、文字入力の処理等を行ったりすることができる。
[第八実施形態]
次に、本発明の第八実施形態である端末装置について説明する。図27は本発明の第八実施形態である端末装置の概略ブロック図である。尚、第八実施形態において、上述した第七実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。
第八実施形態である端末装置4Bは、図27に示すように、眼鏡10と、眼鏡10に設けられたディスプレイ装置20と、眼鏡10と別体に構成された、表示部31を有する端末30Bと、ケーブル50と、ユーザの前方を撮像するための撮像装置60Aとを備える。ケーブル50は、ディスプレイ装置20及び撮像装置60Aと端末30Bとの間を接続するものである。
第八実施形態の端末装置4Bが第七実施形態の端末装置4Aと異なる主な点は、ディスプレイ装置20及び撮像装置60Aと端末30Bとを、無線ではなく、ケーブル50を用いて有線で接続している点である。第八実施形態の端末装置4Bのその他の構成は、第七実施形態の端末装置4Aのものと同様である。
端末30Bはインターフェースとしての接続端子(不図示)を有する。この接続端子にケーブル50が接続される。ディスプレイ装置20及び撮像装置60Aへの電力はこのケーブル50を介して端末30Bから供給される。
第八実施形態の端末装置は、上記第七実施形態のものと同様の作用・効果を奏する。
[第九実施形態]
次に、本発明の第九実施形態である端末装置について説明する。図28は本発明の第九実施形態である端末装置の概略ブロック図である。尚、本第九実施形態の端末装置の概略斜視図は、図13に示す第三実施形態の端末装置の概略斜視図と略同じである。このため、ここでは、図13を第九実施形態の端末装置の概略斜視図としても用いることにする。また、第九実施形態において、上記第七実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。
第九実施形態の端末装置5Aは、図13及び図28に示すように、眼鏡10と、眼鏡10に設けられたディスプレイ装置20と、眼鏡10と別体に構成された、表示部31を有する端末30Cと、通信部40と、ユーザの前方を撮像するための撮像装置60Aとを備える。また、端末30Cは、表示部31と、通信部32と、記憶部33と、制御部34Cとを備え、制御部34Cは、表示制御部341と、画像データ抽出部342Bと、操作判定部343と、位置データ生成部344Cと、基準データ生成部345と、入力制御部346と、ずれ補正部347Cとを備える。
この第九実施形態の端末装置5Aが第七実施形態の端末装置4Aと異なる主な点は、制御部34Cがずれ補正部347Cを備えている点である。また、第九実施形態では、記憶部33に記憶されている視認画面Sに関する基準データに基づいて得られる視認画面Sに対応する平面を「基準画面K」と称することにする。
ユーザは、視認画面Sを見て例えば文字入力を行う際に、実際に操作する画面(以下、「操作画面T」とも称する。)を、基準データに基づいて得られる基準画面Kより手前に位置していたり、奥に位置していたりするように認識して、その操作画面Tに対して指による操作を行うことがある。すなわち、操作画面Tと基準画面Kとの間にずれが生ずることがある。このずれが大きいと、制御部34Cは、ユーザが指で操作したときに、その指の位置が基準画面K上でどの位置に対応するのかを正確に判断することができない可能性がある。ずれ補正部347Cは、ユーザが操作画面Tに対して指で操作して得られた指の位置データを基準画面K上での位置データに換算する処理を行うものである。ここで、ユーザが操作画面Tに対して指で操作して得られた指の位置データは位置データ生成部344Cにより生成されたものである。
次に、ずれ補正部347Cによる位置データの換算処理を詳しく説明する。この換算処理は、位置データのX座標、Y座標に対して個別に行われる。図29は第九実施形態においてずれ補正部347Cが位置データのX座標を基準画面K上での位置データのX座標に換算する処理を説明するための図、図30は第九実施形態においてずれ補正部347Cが位置データのY座標を基準画面K上での位置データのY座標に換算する処理を説明するための図である。ここで、図29及び図30では、操作画面Tが基準画面Kよりも奥に位置しているとユーザが認識している場合を示している。
図29及び図30において、点Ccはカメラ部61の中心位置、点Mcは元画面Mの中心位置、点Ecはユーザの瞳の中心位置である。点pcは基準画面Kの中心位置、点Pcは操作画面Tの中心位置である。このとき、点Pc、点pc、点Mc、点Ecは同一直線上にある。また、Wはカメラ部61の中心位置と元画面Mの中心位置とのX軸方向の距離、Hはカメラ部61の中心位置と元画面Mの中心位置とのY軸方向の距離、Lは元画面Mと基準画面KとのZ軸方向の距離、αはユーザの瞳と元画面MとのZ軸方向の距離である。W、H及びαの値は予め記憶部33に記憶されており、Lの値は基準データを生成した際に求められており、記憶部33に記憶されている。
いま、ユーザが操作画面T上の点Pを指で操作したとする。このとき、点Pと点Mcとを結ぶ直線が基準画面Kと交わる点をp0、点Pと点Ccとを結ぶ直線が基準画面Kと交わる点をp1とする。この第九実施形態では、位置データ生成部344Cは、実際の指の位置を基準画面K上に射影したときのXY座標を指の位置データとして取得する。したがって、位置データ生成部344Cは、点Pの位置データとして点p1の位置データを算出している。また、点Pと元画面MとのZ軸方向の距離、すなわち、操作画面Tと元画面MとのZ軸方向の距離Zは、この点Pの位置データを生成した際に用いた画像データと関連付けられている距離データから得られる。点p0は、操作画面T上の点Pに対応する基準画面K上の位置であるので、ずれ補正部347Cが行うべきことは、点p1の位置データから点p0の位置データを求めることである。尚、以下では、点Pの位置座標を(X,Y)、点p0の位置座標を(x0,y0)、点pcの位置座標を(xc,yc)、点Pcの座標を(Xc,Yc)、点p1の位置座標を(x1,y1)とする。ここで、点pcは基準画面Kの中心位置であるので、この位置座標(xc,yc)は既知であり、記憶部33に記憶されている。また、点pcと点Ccとを結ぶ直線が操作画面Tを交わる点をPdとし、点Pdと点PとのX軸方向の距離をdX、点Pdと点PとのY軸方向の距離をdYとする。
x0をXで表す式は次のようにして求めることができる。まず、図29において、三角形pc-Pd-Pcと三角形pc-Cc-Mcに注目すると、dX:W=(Z-L):Lより、
dX=W×(Z-L)/L
である。また、三角形Cc-Pd-Pと三角形Cc-pc-p1に注目すると、{(X-Xc)+dX}:(x1-xc)=Z:Lより、
X-Xc=(x1-xc)×Z/L-dX
=(x1-xc)×Z/L-W×(Z-L)/L
である。更に、三角形Ec-Pc-Pと三角形Ec-pc-p0に注目すると、(X-Xc):(x0-xc)=(Z+α):(L+α)より、
x0-xc=(X-Xc)×(L+α)/(Z+α)
={(x1-xc)×Z/L-W×(Z-L)/L}
×(L+α)/(Z+α)
である。したがって、
x0=(x0-xc)+xc
={(x1-xc)×Z/L-W×(Z-L)/L}
×(L+α)/(Z+α)+xc ・・・・(1)
となる。一方、図30において同様に考えると、y0をYで表す式は、
y0=(y0-yc)+yc
={(y1-yc)×Z/L-H×(Z-L)/L}
×(L+α)/(Z+α)+yc ・・・・(2)
となる。尚、上記(1)式、(2)式はともに、操作画面Tが基準画面Kよりも手前に位置しているとユーザが認識している場合にも成り立つ。
ずれ補正部347Cは、位置データ生成部344Cで生成された点p1の位置データ(x1,y1)の値と、点Pと元画面MとのZ軸方向の距離Zの値とを、上記(1)式、(2)式に代入することにより、点p0の位置データ(x0,y0)を得ることができる。
入力制御部346は、ユーザが指で操作を行ったときに、操作判定部343で判定して得られた当該指による操作の内容に関するデータ、及び、ずれ補正部347Cで求められた当該指の位置データ(x0,y0)と、記憶部33に記憶されている基準画面K(視認画面S)に関する基準データと、記憶部33に記憶されている当該視認画面Sに対応する元画面Mに関するデータとに基づいて、当該指による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、ディスプレイ装置20に表示する元画面Mの制御を行う。
第九実施形態の端末装置は、第七実施形態の端末装置と同様の作用・効果を奏する。特に、第九実施形態では、ユーザが視認画面に対して指で指示を与える際に、ユーザの指の位置が基準画面Kの位置より手前であったり、奥であったりして、ユーザが認識している操作画面Tと、基準画面Kとの間にずれが生じるような場合でも、すれ補正部が、基準画面K上におけるユーザの指の位置を求めて、入力制御部は、その指による指示の内容を正確に認識することができる。
尚、第九実施形態では、位置データ生成部344Cが、実際にユーザが操作した指の位置を基準画面K上に射影したときのXY座標を指の位置データとして取得しているが、上述した各実施形態でも同様に、位置データ生成部344は、実際にユーザが操作した指の位置を基準画面K上に射影したときのXY座標を指の位置データとして取得するようにしてもよい。
[第十実施形態]
次に、本発明の第十実施形態である端末装置について説明する。図31は本発明の第十実施形態である端末装置の概略ブロック図である。尚、第十実施形態において、上述した第九実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。
第十実施形態である端末装置5Bは、図31に示すように、眼鏡10と、眼鏡10に設けられたディスプレイ装置20と、眼鏡10と別体に構成された、表示部31を有する端末30Cと、ケーブル50と、ユーザの前方を撮像するための撮像装置60Aとを備える。ケーブル50は、ディスプレイ装置20及び撮像装置60Aと端末30Cとの間を接続するものである。
第十実施形態の端末装置5Bが第九実施形態の端末装置5Aと異なる主な点は、ディスプレイ装置20及び撮像装置60Aと端末30Cとを、無線ではなく、ケーブル50を用いて有線で接続している点である。第十実施形態の端末装置5Bのその他の構成は、第九実施形態の端末装置5Aのものと同様である。
端末30Cはインターフェースとしての接続端子(不図示)を有する。この接続端子にケーブル50が接続される。ディスプレイ装置20及び撮像装置60Aへの電力はこのケーブル50を介して端末30Cから供給される。
第十実施形態の端末装置は、上記第九実施形態のものと同様の作用・効果を奏する。
[第十一実施形態]
次に、本発明の第十一実施形態である端末装置について説明する。図32は本発明の第十一実施形態である端末装置の概略ブロック図である。尚、第十一実施形態において、第九実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。
第十一実施形態である端末装置6Aは、図32に示すように、眼鏡10と、眼鏡10に設けられたディスプレイ装置20と、眼鏡10と別体に構成された、表示部31を有する端末30Cと、通信部40と、ユーザの前方を撮像するための撮像装置60Aと、マイク部(音入力装置)70と、スピーカ部(音出力装置)80とを備える。ここで、マイク部70、スピーカ部80は第五実施形態におけるものと同様である。
第十一実施形態の端末装置6Aが第九実施形態の端末装置5Aと異なる主な点は、この端末装置6Aがマイク部70とスピーカ部80とを備えている点、端末30Cの制御部34Cがマイク部70から入力された音声を表す電気信号の内容に応じた処理を実行する点、制御部34Cがスピーカ部80より発する音を制御する点である。第十一実施形態の端末装置6Aのその他の構成は、第九実施形態の端末装置5Aのものと同様である。
第十一実施形態の端末装置は、上記第九実施形態のものと同様の作用・効果を奏する。特に、第十一実施形態の端末装置では、マイク部とスピーカ部とを眼鏡に設けたことにより、ユーザは、端末を操作することなくマイク部から端末に指示を与えることができると共に、端末からの情報をスピーカ部から音として得ることができる。
[第十二実施形態]
次に、本発明の第十二実施形態である端末装置について説明する。図33は本発明の第十二実施形態である端末装置の概略ブロック図である。尚、第十二実施形態において、上述した第十一実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。
第十二実施形態である端末装置6Bは、図33に示すように、眼鏡10と、眼鏡10に設けられたディスプレイ装置20と、眼鏡10と別体に構成された、表示部31を有する端末30Cと、ケーブル50と、ユーザの前方を撮像するための撮像装置60Aと、マイク部70と、スピーカ部80とを備える。ケーブル50は、ディスプレイ装置20、撮像装置60A、マイク部70及びスピーカ部80と端末30Cとの間を接続するものである。
第十二実施形態の端末装置6Bが第十一実施形態の端末装置6Aと異なる主な点は、ディスプレイ装置20、撮像装置60A、マイク部70及びスピーカ部80と端末30Cとを、無線ではなく、ケーブル50を用いて有線で接続している点である。第十二実施形態の端末装置6Bのその他の構成は、第十一実施形態の端末装置6Aのものと同様である。
端末30Cはインターフェースとしての接続端子(不図示)を有する。この接続端子にケーブル50が接続される。ディスプレイ装置20、撮像装置60A、マイク部70及びスピーカ部80への電力はこのケーブル50を介して端末30Cから供給される。
第十二実施形態の端末装置は、上記第十一実施形態のものと同様の作用・効果を奏する。
[第十三実施形態]
次に、本発明の第十三実施形態である端末装置について説明する。図34は本発明の第十三実施形態である端末装置の概略ブロック図である。尚、本第十三実施形態の端末装置の概略斜視図は、図13に示す第三実施形態の端末装置の概略斜視図と略同じである。このため、ここでは、図13を第十三実施形態の端末装置の概略斜視図としても用いることにする。また、第十三実施形態において、第三実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。
第十三実施形態の端末装置7Aは、図13及び図34に示すように、眼鏡10と、眼鏡10に設けられたディスプレイ装置20と、眼鏡10と別体に構成された、表示部31を有する端末30Dと、通信部40と、ユーザの前方を撮像するための撮像装置60Aとを備える。また、端末30Dは、表示部31と、通信部32と、記憶部33と、制御部34Dとを備え、制御部34Dは、表示制御部341と、画像データ抽出部342と、操作判定部343と、位置データ生成部344と、基準データ生成部345Dと、入力制御部346Dと、距離判定部348Dを備える。更に、撮像装置60Aは、カメラ部61と、画像処理部62と、カメラ制御部63Aとを有する。この撮像装置60Aは、第七実施形態におけるものと同様である。
第十三実施形態の端末装置7Aが第三実施形態の端末装置2Aと異なる主な点は、カメラ制御部63Aがオートフォーカス制御部631を備えている点、制御部34Dの基準データ生成部345Dが視認画面に関するデータ(基準データ)として空間内における位置及び大きさを特定できるようなデータを生成する点、及び、制御部34Dが、ユーザが視認画面Sに対して指で操作を行ったときに、その指の位置が、基準データを用いて得られる視認画面Sを表す平面から略一定の距離以内だけ離れているかどうかを判定する距離判定部348Dを備えている点である。第十三実施形態の端末装置7Aのその他の構成は、第三実施形態の端末装置2Aのものと同様である。
オートフォーカス制御部631は、第七実施形態におけるオートフォーカス制御部と同じものであり、撮像範囲内における所定の位置にある被写体に自動的にピントを合わせるようにカメラ部61を制御する。このため、ユーザが視認画面Sに対して指で操作を行っている場合、撮像装置60Aは、その操作を行っている指に自動的にピントを合わせ、当該指をピントが合った状態で撮像することができる。また、オートフォーカス制御部631は、自動的にピントが合わせられた被写体を撮像したときに、その撮像した被写体までの距離データを算出する。この算出した距離データは当該画像データと関連付けられる。そして、撮像装置60Aで撮像して得られた画像データとそれに関連付けられた距離データは無線通信で撮像装置60Aから制御部34Dに送られる。
基準データ生成部345Dは、ユーザが視認画面Sにおける三つの所定位置、例えば視認画面Sの三つの隅において指で操作を行ったときに、操作判定部343で各所定位置における操作が所定の操作であると判定した画像データに基づいて位置データ生成部344が生成した当該各位置における指の位置データと、その指の位置データを生成した際に用いた画像データと関連付けられている距離データとを用いて、当該視認画面Sに関するデータとして三次元空間内における位置及び大きさを特定できるようなデータを生成し、基準データとして記憶部33に記憶する。具体的には、上記各位置について、当該指の位置データ(二次元位置データ)と当該距離データ(一次元位置データ)とに基づいてXYZ座標系における座標情報(三次元的なデータ)を構成し、上記三つの位置におけるXYZ座標情報(三次元的なデータ)を基準データとして用いることができる。また、かかる基準データを用いると、XYZ座標系における視認画面Sを表す平面の方程式を算出することもできる。一般に、こうして特定される視認画面Sを表す平面は必ずしもXY平面と平行になっているわけではない。尚、第十三実施形態では、視認画面Sに関する基準データに基づいて得られる視認画面Sに対応する平面を「基準画面」と称することにする。
距離判定部348Dは、ユーザが視認画面Sに対して指で操作を行った際に撮像装置60Aでピントが合った被写体が撮像されたときに、操作判定部343で当該指による操作が所定の操作であると判定された画像データに基づいて位置データ生成部344で生成された指の位置データと、その指の位置データを生成する際に用いた画像データと関連付けられている距離データと、視認画面Sに関する基準データに基づいて得られる視認画面Sに対応する平面(基準画面)とに基づいて、当該指が当該視認画面Sに対応する平面(基準画面)から予め定められた略一定の距離以内に存在するかどうかを判定するものである。指が基準画面から略一定の距離以内に存在するかどうかを判断する際における略一定の距離というのは、ユーザが視認画面Sに対して操作を適正に行っていると認めることができる距離である。ここでは、上記略一定の距離を、例えば約5cmに設定している。これにより、距離判定部348Dは、指が基準画面から略一定の距離よりも離れていると判定すると、ユーザが視認画面Sの位置から極端に手前の位置や奥の位置で操作を行っていると認識し、一方、指が基準画面から略一定の距離以内にあると判定すると、ユーザが視認画面Sに対して適正に操作を行っていると認識することになる。
入力制御部346Dは、ユーザが視認画面Sに対して指で操作を行った場合であって距離判定部348Dで当該指が基準画面から略一定の距離以内に存在すると判定されたときに、操作判定部343で判定して得られた当該指による操作の内容に関するデータと、その判定で用いられた画像データに基づいて位置データ生成部344で生成された当該指の位置データと、その判定で用いられた画像データと関連付けられている距離データと、記憶部33に記憶されている当該視認画面Sに関する基準データと、記憶部33に記憶されている当該視認画面Sに対応する元画面Mに関するデータとに基づいて、当該指による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、ディスプレイ装置20に表示する元画面Mの制御を行う。
次に、第十三実施形態の端末装置7Aにおいて基準データを設定する処理について説明する。ここでは、端末30Dにおいてディスプレイ装置制御用プログラムが実行中である場合を考える。
第十三実施形態の端末装置7Aにおける基準データの設定処理の手順を説明するためのフローチャートは、図19に示す第三実施形態のものと略同様である。第十三実施形態における基準データの設定処理が第三実施形態における基準データの設定処理と異なるのは、撮像装置60Aでの処理(ステップS32、S33)と、基準データ生成部345Dによる基準データの生成処理(ステップS38)とである。したがって、以下では、図19に示すフローチャートを用いて、第十三実施形態における基準データの設定処理のうち第三実施形態における基準データの設定処理と異なる事項について説明する。
まず、ユーザは、端末30Dを操作して、基準データを設定しようとする画面を選択し、その画面を元画面Mとしてディスプレイ装置20に表示させる。このとき、表示制御部341は、基準データ設定用の元画面を作成して、ディスプレイ装置20に表示する(S31)。図35は第十三実施形態において基準データを設定する処理の際に表示される基準データ設定用の元画面Mの例を示す図である。図35(a)の例では、基準データ設定用の元画面Mは文字入力画面201であり、その四隅の位置のうち三つの所定位置に円と数字とを示す画像が追加されている。尚、図35(a)では、文字入力画面201の四隅のうち三つの所定位置に円の画像を表示しているが、図35(b)に示すように、文字入力画面201のキーボード画像210の四隅のうち三つの所定位置に円の画像を表示するようにしてもよい。ステップS31の処理後、制御部34Dは、撮像装置60Aの撮像動作を開始する(S32)。ユーザは、基準データ設定用の視認画面Sとして、図35(a)に示すように、四隅の位置のうち三つの所定位置に円と数字とを示す画像が追加された文字入力画面201を見ると、この基準データ設定用の視認画面Sにおいて、数字が付された各円に対して数字の順番に指で所定の操作、例えばタップ操作を行う。かかるユーザによる操作は撮像装置60Aで撮像される。このとき、オートフォーカス制御部631は、撮像範囲内にある被写体に自動的にピントを合わせるようにカメラ部61を制御し、撮像装置60Aはピントが合った被写体を撮像する。また、オートフォーカス制御部631は、自動的にピントが合わせられた被写体を撮像したときに、その撮像した被写体までの距離データを算出し、この算出した距離データを当該画像データと関連付ける。この撮像して得られた画像データは画像処理部62に送られ、画像処理部62は画像データに対して所定の画像処理を施す。そして、その画像処理を施した画像データとそれに関連付けられた距離データとは無線通信で撮像装置60Aから制御部34Dに送られる(S33)。
ステップS38では、基準データ生成部345Dは、ステップS37の処理において位置データ生成部344で生成された、三つの所定位置における指の位置データと、その指の位置データを生成した際に用いた画像データと関連付けられている距離データとを用いて、現在表示されている視認画面Sに関する基準データを生成して記憶部33に記憶する。
次に、第十三実施形態の端末装置7Aにおいて視認画面Sを用いた文字入力の処理について説明する。図36は第十三実施形態の端末装置7Aにおいて視認画面Sを用いた文字入力の処理の手順を説明するためのフローチャートである。ここでは、端末30Dにおいてディスプレイ装置制御用プログラムが実行中である場合を考える。すなわち、ディスプレイ装置20、通信部40及び撮像装置60Aは電源オンの状態にあり、端末30Dとディスプレイ装置20及び撮像装置60Aとの間の通信が有効であるとする。
ユーザは、端末30Dを操作して表示部31にメニュー画面を表示させる。そして、ユーザは、そのメニュー画面において文字入力処理用プログラムのアイコンをタップし、その文字入力処理用プログラムを選択する。端末30Dの制御部34Dは、文字入力処理用プログラムが選択された旨の信号を受けると、文字入力処理用プログラムを記憶部33から読み出し、図36に示す処理フローにしたがって視認画面Sを用いた文字入力の処理を行う。尚、この文字入力の処理は、元画面Mとして文字入力画面200がディスプレイ装置20に表示されたときに自動的に実行されるようにしてもよい。
まず、制御部34Dは、文字入力画面200を元画面Mとしてディスプレイ装置20に表示すると共に、この元画面Mに対応する視認画面Sに関する基準データが記憶部33に記憶されているかどうかを判断する(S121)。視認画面Sに関する基準データが記憶部33に記憶されていなければ、制御部34Dは、基準データ設定処理用プログラムを記憶部33から読み出し、基準データの設定処理を行う(S122)。その後、ステップS121に移行する。尚、第十三実施形態では、視認画面Sに関する基準データが記憶部33に記憶されていない場合に基準データの設定処理を実行することにしているが、視認画面Sに関する基準データが記憶部33に記憶されている場合でも、ユーザから指示を受けたときに、基準データの設定処理を実行して、再度、基準データを生成するようにしてもよい。
一方、ステップS121の処理において視認画面Sに関する基準データが記憶部33に記憶されていると判断されると、制御部34Dは、撮像装置60Dの撮像動作を開始する(S123)。ユーザは、視認画面Sである文字入力画面200のキーボード画像210に対して指で所定の操作、例えばタップ操作を行う。かかるユーザによる操作は撮像装置60Aで撮像される。このとき、オートフォーカス制御部631は、撮像範囲内にある被写体に自動的にピントを合わせるようにカメラ部61を制御し、撮像装置60Aはピントが合った被写体を撮像する。また、オートフォーカス制御部631は、自動的にピントが合わせられた被写体を撮像したときに、その撮像した被写体までの距離データを算出し、この算出した距離データを当該画像データと関連付ける。この撮像して得られた画像データは画像処理部62に送られ、画像処理部62は画像データに対して所定の画像処理を施す。そして、その画像処理を施した画像データとそれに関連付けられた距離データとは無線通信で撮像装置60Aから制御部34Dに送られる(S124)。
次に、画像データ抽出部342は、撮像装置60Aで撮像して得られた画像データに基づいて、被写体が指であるかどうかを判断し、指が存在している画像データを抽出する(S125)。次に、操作判定部343は、画像データ抽出部342で抽出された画像データに基づいて当該指による操作が所定の操作(ここでは、タップ操作)であるかどうかを判定する。この判定は予め定めた所定の時間内に行われる。そして、操作判定部343は、当該指による操作がタップ操作であれば、文字入力のための操作が正常に認識されたと判断し、一方、当該指による操作がタップ操作でなければ、文字入力のための操作が正常に認識されなかったと判断する(S126)。操作判定部343は、文字入力のための操作が正常に認識されたと判断すると、当該指による操作の内容に関するデータを記憶部33に記憶すると共に、文字入力のための操作が正常に認識された旨の信号を表示制御部341に送る。表示制御部341は、その信号を受けると、文字入力のための操作が正常に認識されたことを意味する緑色ランプを示す画像を元画面Mに追加して、ディスプレイ装置20に表示する(S128)。尚、表示制御部341は、緑色ランプを示す画像とともに、或いはその画像に代えて、文字入力のための操作が正常に認識されたことを意味する文字や図形を示す画像を元画面Mに追加するようにしてもよい。
一方、操作判定部343は、ステップS126の処理において、予め定めた所定の時間内に文字入力のための操作が正常に認識されなかったと判断すると、その旨の信号を表示制御部341に送る。このとき例えば、画像データ抽出部342から指が存在している画像データが予め定めた所定の時間内に送られてこなかった場合にも、操作判定部343は、タップ操作が正常に認識されなかったと判断する。表示制御部341は、その信号を受けると、文字入力のための操作が正常に認識されなかったことを意味する赤色ランプを示す画像を元画面Mに追加して、ディスプレイ装置20に表示する(S127)。その後は、ステップS133に移行する。尚、このとき、表示制御部71は、赤色ランプを示す画像とともに、或いはその画像に代えて、文字入力のための操作が正常に認識されなかったことを意味する文字や図形を示す画像を元画面Mに追加するようにしてもよい。
ステップS128の処理の後、位置データ生成部344は、操作判定部343で指による操作がタップ操作であると判定された画像データに基づいて、撮像装置60Aの撮像範囲における当該指(指先)の位置データを生成する(S129)。こうして生成された指の位置データは記憶部33に記憶される。
次に、距離判定部348Dは、位置データ生成部344で生成された指の位置データと、その指の位置データを生成する際に用いた画像データと関連付けられている距離データと、記憶部33に記憶されている当該視認画面Sに関する基準データとに基づいて、当該指が当該視認画面Sに対応する平面(基準画面)から予め定められた略一定の距離以内に存在するかどうかを判定する(S130)。距離判定部348Dは、指が基準画面から略一定の距離よりも離れていると判定すると、ユーザが視認画面Sに対して適正に操作を行っていないと判断し、その後、ステップS127に移行する。一方、ステップS130の処理において、距離判定部348Dは、指が基準画面から略一定の距離以内にあると判定すると、ユーザが視認画面Sに対して適正に操作を行っていると認識し、その後、ステップS131に移行する。
ステップS131では、入力制御部346Dは、操作判定部343で判定して得られた当該指による操作の内容に関するデータと、位置データ生成部344で生成された当該指の位置データと、その判定で用いられた画像データと関連付けられている距離データと、記憶部33に記憶されている当該視認画面Sに関する基準データと、記憶部33に記憶されている当該視認画面Sに対応する元画面Mに関するデータとに基づいて、当該指による操作に対応する入力指示の内容を認識する。例えば、ユーザがキーボード画像210における文字キー画像に対して指でタップ操作を行った場合には、入力制御部346Dは、その指の位置データから得られる指の位置が、キーボード画像210におけるどの文字キー画像の領域に対応するのかを調べることにより、今回のタップ操作が行われた文字キーを特定し、その特定した文字キーの入力が指示されたことを認識することができる。その後、入力制御部346Dは、認識した入力指示の内容に関する信号を表示制御部341に送り、表示制御部341はその入力指示の内容に応じた元画面Mをディスプレイ装置20に表示する(S132)。
ステップS132又はステップS127の処理の後、制御部34Dは、ユーザから視認画面Sを用いた文字入力を終了する旨の指示を受けたかどうかを判断する(S133)。文字入力を終了する旨の指示を受けていれば、文字入力の処理が終了する。これに対し、文字入力を終了する旨の指示を受けていなければ、ステップS123に移行し、視認画面Sを用いた文字入力の処理を継続する。尚、ユーザは、文字入力を終了する旨の指示を、端末30Dを操作して行う。
次に、第十三実施形態の端末装置7Aにおいて視認画面Sを用いた画面表示の処理について説明する。図37は第十三実施形態の端末装置7Aにおいて視認画面Sを用いた画面表示の処理の手順を説明するためのフローチャートである。ここでは、端末30Dにおいてディスプレイ装置制御用プログラムが実行中である場合を考える。すなわち、ディスプレイ装置20、通信部40及び撮像装置60Dは電源オンの状態にあり、端末30Dとディスプレイ装置20及び撮像装置60Aとの間の通信が有効であるとする。
ユーザは、端末30Dを操作して表示部31にメニュー画面を表示させる。そして、ユーザは、そのメニュー画面において画面表示処理用プログラムのアイコンをタップし、その画面表示処理用プログラムを選択する。端末30Dの制御部34Dは、画面表示処理用プログラムが選択された旨の信号を受けると、画面表示処理用プログラムを記憶部33から読み出し、図37に示す処理フローにしたがって視認画面Sを用いた画面表示の処理を行う。尚、この画面表示の処理は、元画面Mがディスプレイ装置20に表示されたときに自動的に実行されるようにしてもよい。
まず、ユーザは、端末30Dを操作して所望の画面をディスプレイ装置20に表示させる。制御部34Dは、その表示された画面(元画面M)に対応する視認画面Sに関する基準データが記憶部33に記憶されているかどうかを判断する(S141)。視認画面Sに関する基準データが記憶部33に記憶されていなければ、制御部34Dは、基準データ設定処理用プログラムを記憶部33から読み出し、基準データの設定処理を行う(S142)。その後、ステップS141に移行する。尚、第十三実施形態では、視認画面Sに関する基準データが記憶部33に記憶されていない場合に基準データの設定処理を実行することにしているが、視認画面Sに関する基準データが記憶部33に記憶されている場合でも、ユーザから指示を受けたときに、基準データの設定処理を実行して、再度、基準データを生成するようにしてもよい。
一方、ステップS141の処理において視認画面Sに関する基準データが記憶部33に記憶されていると判断されると、制御部34Dは、撮像装置60Aの撮像動作を開始する(S143)。ユーザは、視認画面Sである文字入力画面200のキーボード画像210に対して指で所定の操作、例えばタップ操作を行う。かかるユーザによる操作は撮像装置60Aで撮像される。このとき、オートフォーカス制御部631は、撮像範囲内にある被写体に自動的にピントを合わせるようにカメラ部61を制御し、撮像装置60Aはピントが合った被写体を撮像する。また、オートフォーカス制御部631は、自動的にピントが合わせられた被写体を撮像したときに、その撮像した被写体までの距離データを算出し、この算出した距離データを当該画像データと関連付ける。この撮像して得られた画像データは画像処理部62に送られ、画像処理部62は画像データに対して所定の画像処理を施す。そして、その画像処理を施した画像データとそれに関連付けられた距離データとは無線通信で撮像装置60Aから制御部34Dに送られる(S144)。
次に、画像データ抽出部342は、撮像装置60Aで撮像して得られた画像データに基づいて、被写体が指であるかどうかを判断し、指が存在している画像データを抽出する(S145)。次に、操作判定部343は、画像データ抽出部342で抽出された画像データに基づいて当該指による操作の内容を判定する。そして、操作判定部343は、当該指による操作が正常に認識されたかどうかを判断する(S146)。操作判定部343は、当該指による操作が正常に認識されたと判断すると、当該指による操作の内容に関するデータを記憶部33に記憶すると共に、当該指による操作が正常に認識された旨の信号を表示制御部341に送る。表示制御部341は、その信号を受けると、指による操作が正常に認識されたことを意味する緑色ランプを示す画像を元画面Mに追加して、ディスプレイ装置20に表示する(S148)。尚、表示制御部341は、緑色ランプを示す画像とともに、或いはその画像に代えて、指による操作が正常に認識されたことを意味する文字や図形を示す画像を元画面Mに追加するようにしてもよい。
一方、操作判定部343は、ステップS146の処理において、指による操作が正常に認識されなかったと判断すると、その旨の信号を表示制御部341に送る。このとき例えば、予め定めた所定の時間内に画像データ抽出部342から指が存在している画像データが送られてこなかった場合にも、操作判定部343は、タップ操作が正常に認識されなかったと判断する。表示制御部341は、その信号を受けると、指による操作が正常に認識されなかったことを意味する赤色ランプを示す画像を元画面Mに追加して、ディスプレイ装置20に表示する(S147)。その後は、ステップS153に移行する。尚、このとき、表示制御部341は、赤色ランプを示す画像とともに、或いはその画像に代えて、指による操作が正常に認識されなかったことを意味する文字や図形を示す画像を元画面Mに追加するようにしてもよい。
ステップS148の処理の後、位置データ生成部344は、操作判定部343で指による操作の内容が判定された画像データに基づいて、撮像装置60Aの撮像範囲における当該指(指先)の位置データを生成する(S149)。こうして生成された指の位置データは記憶部33に記憶される。
次に、距離判定部348Dは、位置データ生成部344で生成された指の位置データと、その指の位置データを生成する際に用いた画像データと関連付けられている距離データと、記憶部33に記憶されている当該視認画面Sに関する基準データとに基づいて、当該指が当該視認画面Sに対応する平面(基準画面)から予め定められた略一定の距離以内に存在するかどうかを判定する(S150)。距離判定部348Dは、指が基準画面から略一定の距離よりも離れていると判定すると、ユーザが視認画面Sに対して適正に操作を行っていないと判断し、その後、ステップS147に移行する。一方、ステップS150の処理において、距離判定部348Dは、指が基準画面から略一定の距離以内にあると判定すると、ユーザが視認画面Sに対して適正に操作を行っていると認識し、その後、ステップS151に移行する。
ステップS151では、入力制御部346Dは、操作判定部343で判定して得られた当該指による操作の内容に関するデータと、位置データ生成部344で生成された当該指の位置データと、その判定で用いられた画像データと関連付けられている距離データと、記憶部33に記憶されている当該視認画面Sに関する基準データと、記憶部33に記憶されている当該視認画面Sに対応する元画面Mに関するデータとに基づいて、当該指による操作に対応する入力指示の内容を認識する。例えば、ユーザが視認画面Sに対して指でダブルタップ操作を行った場合には、入力制御部346Dは、今回の操作がダブルタップ操作であることを特定し、元画面Mを拡大(又は縮小)する旨の指示を受けたことを認識する。その後、入力制御部346Dは、認識した指示の内容に関する信号を表示制御部341に送り、表示制御部341はその指示の内容に応じた元画面Mをディスプレイ装置20に表示する(S152)。
ステップS152又はステップS147の処理の後、制御部34Dは、ユーザから視認画面Sを用いた画面表示のための操作を終了する旨の指示を受けたかどうかを判断する(S153)。画面表示のための操作を終了する旨の指示を受けていれば、画面表示の処理が終了する。これに対し、画面表示のための操作を終了する旨の指示を受けていなければ、ステップS143に移行し、視認画面Sを用いた画面表示の処理を継続する。尚、ユーザは、視認画面Sを用いた画面表示のための操作を終了する旨の指示を、端末30Dを操作して行う。
第十三実施形態の端末装置は、第三実施形態の端末装置と同様の作用・効果を奏する。特に、第十三実施形態では、基準データ生成部が、基準データとして、視認画面Sについて空間内における位置及び大きさを特定できるようなデータを生成することにより、ユーザが、視認画面Sに対する指での操作の際に、例えば視認画面Sの左側の二つの隅についてはその手前側の位置を操作し、視認画面Sの右側の二つの隅についてはその奥側の位置を操作するというような習癖を有する者であっても、そのユーザの習癖に合った基準データを生成することができる。
[第十四実施形態]
次に、本発明の第十四実施形態である端末装置について説明する。図38は本発明の第十四実施形態である端末装置の概略ブロック図である。尚、第十四実施形態において、上述した第十三実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。
第十四実施形態である端末装置7Bは、図38に示すように、眼鏡10と、眼鏡10に設けられたディスプレイ装置20と、眼鏡10と別体に構成された、表示部31を有する端末30Dと、ケーブル50と、ユーザの前方を撮像するための撮像装置60Aとを備える。ケーブル50は、ディスプレイ装置20及び撮像装置60Aと端末30Dとの間を接続するものである。
第十四実施形態の端末装置7Bが第十三実施形態の端末装置7Aと異なる主な点は、ディスプレイ装置20及び撮像装置60Aと端末30Dとを、無線ではなく、ケーブル50を用いて有線で接続している点である。第十四実施形態の端末装置7Bのその他の構成は、第十三実施形態の端末装置7Aのものと同様である。
端末30Dはインターフェースとしての接続端子(不図示)を有する。この接続端子にケーブル50が接続される。ディスプレイ装置20及び撮像装置60Aへの電力はこのケーブル50を介して端末30Dから供給される。
第十四実施形態の端末装置は、上記第十三実施形態のものと同様の作用・効果を奏する。
[第十五実施形態]
次に、本発明の第十五実施形態である端末装置について説明する。図39は本発明の第十五実施形態である端末装置の概略ブロック図である。尚、第十五実施形態において、第十三実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。
第十五実施形態である端末装置8Aは、図39に示すように、眼鏡10と、眼鏡10に設けられたディスプレイ装置20と、眼鏡10と別体に構成された、表示部31を有する端末30Dと、通信部40と、ユーザの前方を撮像するための撮像装置60Aと、マイク部70と、スピーカ部80とを備える。ここで、マイク部70、スピーカ部80は第五実施形態におけるものと同様である。
第十五実施形態の端末装置8Aが第十三実施形態の端末装置7Aと異なる主な点は、この端末装置8Aがマイク部70とスピーカ部80とを備えている点、端末30Dの制御部34Dがマイク部70から入力された音声を表す電気信号の内容に応じた処理を実行する点、制御部34Dがスピーカ部80より発する音を制御する点である。第十五実施形態の端末装置8Aのその他の構成は、第十三実施形態の端末装置7Aのものと同様である。
第十五実施形態の端末装置は、上記第十三実施形態のものと同様の作用・効果を奏する。特に、第十五実施形態の端末装置では、マイク部とスピーカ部とを眼鏡に設けたことにより、ユーザは、端末を操作することなくマイク部から端末に指示を与えることができると共に、端末からの情報をスピーカ部から音として得ることができる。
[第十六実施形態]
次に、本発明の第十六実施形態である端末装置について説明する。図40は本発明の第十六実施形態である端末装置の概略ブロック図である。尚、第十六実施形態において、上述した第十五実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。
第十六実施形態である端末装置8Bは、図40に示すように、眼鏡10と、眼鏡10に設けられたディスプレイ装置20と、眼鏡10と別体に構成された、表示部31を有する端末30Dと、ケーブル50と、ユーザの前方を撮像するための撮像装置60Aと、マイク部70と、スピーカ部80とを備える。ケーブル50は、ディスプレイ装置20、撮像装置60A、マイク部70及びスピーカ部80と端末30Dとの間を接続するものである。
第十六実施形態の端末装置8Bが第十五実施形態の端末装置8Aと異なる主な点は、ディスプレイ装置20、撮像装置60A、マイク部70及びスピーカ部80と端末30Dとを、無線ではなく、ケーブル50を用いて有線で接続している点である。第十六実施形態の端末装置8Bのその他の構成は、第十五実施形態の端末装置8Aのものと同様である。
端末30Dはインターフェースとしての接続端子(不図示)を有する。この接続端子にケーブル50が接続される。ディスプレイ装置20、撮像装置60A、マイク部70及びスピーカ部80への電力はこのケーブル50を介して端末30Dから供給される。
第十六実施形態の端末装置は、上記第十五実施形態のものと同様の作用・効果を奏する。
[第十七実施形態]
次に、本発明の第十七実施形態である端末装置について説明する。図41(a)は本発明の第十七実施形態である端末装置の概略平面図、図41(b)はその端末装置の概略右側面図である。図42は第十七実施形態の端末装置の概略斜視図である。また、図43は第十七実施形態の端末装置の概略ブロック図である。尚、本第十七実施形態において、上述した第三実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。
第十七実施形態である端末装置9は、図41、図42及び図43に示すように、ユーザの頭部に装着される装着物としての眼鏡10と、眼鏡10に設けられたディスプレイ装置20と、眼鏡10と別体に構成された、表示部31を有する端末30Eと、通信部40と、ユーザの目を撮像するための撮像装置60Bと、マイク部(音入力装置)70と、スピーカ部(音出力装置)80と、タッチパッド部90とを備える。
第十七実施形態の端末装置9が第三実施形態の端末装置2Aと異なる主な点は、この端末装置9が、ユーザの前方を撮像するための撮像装置60ではなく、ユーザの目を撮像するための撮像装置60Bを備えている点、端末30Eが撮像装置60Bで撮像された画像データに基づいて、ユーザが視認画面Sに対して行った操作の内容を認識する点、マイク部70、スピーカ部80及びタッチパッド部90を備えている点である。第十七実施形態の端末装置9のその他の構成は、第三実施形態の端末装置2Aのものと同様である。
撮像装置60Bは、図41及び図42に示すように、眼鏡10の柄の部分に設けられている。この撮像装置60Bは、ディスプレイ装置20の小型プロジェクタ21及び光学系22とともに筐体100の中に配設されている。また、撮像装置60Bは、図43に示すように、カメラ部61と、画像処理部62と、カメラ制御部63とを備える。
また、撮像装置60Bは、ユーザの目(少なくともその一部)を撮像することにより、ユーザが視認画面Sに対して指で操作を行ったときにユーザの目に映り込んだ元画面及び当該指についての画像を取得するためのものである。ここで、ディスプレイ装置20に表示される元画面や、視認画面に対して操作を行っているユーザの指は、通常、外部から見える目の部分であって、色の付いた虹彩と瞳孔からなる部分に映り込む。このため、実際、撮像装置60Bは、ユーザの目のうち虹彩と瞳孔からなる部分(又はその一部)を撮像して、元画面及び指についての画像を取得している。第十七実施形態では、撮像装置60Bは、予めユーザの目にピントが合うように構成されている。具体的に、カメラ部61のレンズの光軸上にユーザの目が位置するように撮像装置60Bを眼鏡10に取り付け、その目にピントが合うようにピントの位置を調整している。また、この撮像装置60Bが撮像することができる範囲である撮像範囲は、目の少なくとも一部を含む範囲である。図44(a)は目に映り込んだ元画面の例を示す図、図44(b)は第十七実施形態の端末装置9において撮像装置60Bの撮像範囲の例を示す図である。したがって、ユーザが視認画面Sに対して指で操作を行っている場合、撮像装置60Bは、ユーザの目に映り込んだ元画面及び当該指をピントが合った状態で撮像することができる。撮像装置60Bで撮像して得られた画像データは、無線通信で撮像装置60Bから端末30Eに送られ、端末30Eに記憶される。また、第十七実施形態における撮像装置60Bは、静止画像の撮影機能と動画像の撮影機能とを備えており、端末30Eは必要に応じて画像データとして静止画像データを取得したり、動画像データを取得したりすることができる。
眼鏡10には、図43に示すように、マイク部70、骨伝導型のスピーカ部80、タッチパッド部90が設けられている。図41及び図42では、図を簡略化するため、これら各部は省略して示している。マイク部70は、端末30Eに対する入力装置であって、ユーザの音声を電気信号に変換してその電気信号を端末30Eに出力するものである。マイク部70を用いることにより、ユーザの音声による指示で端末30Eを操作することができる。マイク部70から入力された音声を表す電気信号は、通信部40を介して端末30Eの制御部34Eに送られ、制御部34Eがその電気信号の内容を解析することになる。また、スピーカ部80は、端末30Eの出力装置であって、端末30Eから出力された電気信号を音に変換してその音を骨の振動によりユーザに伝達する骨伝導型のものである。一般に、スピーカ部80としては、骨の振動を利用してユーザに音を伝えるものに限らず、音をユーザの耳を介してユーザに伝達する通常のスピーカ、イヤホン、ヘッドホン等を用いることも可能である。タッチパッド部90は、端末30Eに対する入力装置であって、ユーザがタッチ操作を行うことにより、端末30Eに各種の指示を与えるものである。
ここで、第十七実施形態の端末装置9で使用するタッチパッド部90について詳しく説明する。図45はタッチパッド部90の取付け場所を説明するための図であり、図46はタッチパッド部90の構成を説明するための図である。タッチパッド部90は、図45(a)及び(b)に示すように眼鏡10の右側の柄に取り付けられ、又は、図45(c)に示すように右眼用レンズ部11の下部に取り付けられる。ここで、図45(a)は柄に取り付けられたタッチパッド部90を有する端末装置9の概略斜視図、図45(b)はその端末装置9の概略側面図である。また、図45(c)はレンズ部に取り付けられたタッチパッド部90を有する端末装置9の概略斜視図である。このタッチパッド部90は当該部分に固定して取り付けられるが、眼鏡(装着物)10に着脱可能に設けるようにしてもよい。また、タッチパッド部90としては、図46(a)に示すようにマウス機能を有するものを用いることができるが、図46(b)に示すように簡易キーボード機能を有するもの、又は、図46(c)に示すようにマウス機能と簡易キーボード機能の両方を有するものを用いてもよい。更に、タッチパッド部90としては、これらに限らず、番号パネルや操作パネル等を有するものを用いてもよい。
端末30Eは、図43に示すように、表示部31と、通信部32と、記憶部33と、制御部34Eとを有する。記憶部33には、例えば、表示部31に表示されている画面の内容をディスプレイ装置20に表示するようにディスプレイ装置20を制御するためのディスプレイ装置制御用プログラム、視認画面Sが文字入力画面200である場合にその文字入力画面200に対して行われた操作に基づいて文字入力の処理を行うための文字入力処理用プログラム、視認画面Sに対して行われた操作に基づいて視認画面Sに対応する元画面Mの拡大・縮小や切替等の画面表示の処理を行うための画面表示処理用プログラム等が記憶されている。また、記憶部33に記憶されているデータには、例えば、各種の元画面Mの画像データ、各元画面Mに関するデータ(具体的には、当該元画面Mの大きさ、形状、内容、構成等を示すデータ)が含まれる。
制御部34Eは、中央演算処理装置(CPU)等を備えており、端末30Eの全般を制御すると共にディスプレイ装置20及び撮像装置60Bをも制御する。例えば、制御部34Eは、ユーザにより表示部31においてタッチ操作がなされたとき、又は、タッチパッド部90が操作されたときに、その操作により指示された内容を認識し、その認識した内容に応じた処理を実行する。制御部34Eは、マイク部70から音声が入力されたときに、その入力された音声を表す電気信号の内容を認識し、その認識した内容に応じた処理を実行する。また、制御部34Eは、スピーカ部80により発する音を制御する。更に、制御部34Eは、上記ディスプレイ装置制御用プログラムを実行することにより、表示部31に表示されている画面の内容を元画面Mの内容としてディスプレイ装置20に表示するようにディスプレイ装置20を制御する。具体的に、この制御部34Eは、図43に示すように、表示制御部341と、画像データ抽出部342と、操作判定部343と、入力制御部346Eと、操作位置特定部349Eとを備える。
表示制御部341は、表示部31及びディスプレイ装置20での表示に関する制御を行う。具体的に、ユーザがディスプレイ装置制御用プログラムの起動を指示すると、表示制御部341は、記憶部33に記憶されているディスプレイ装置制御用プログラムを実行して、表示部31に表示されている画面の内容を元画面Mの内容としてディスプレイ装置20に表示する。これにより、眼鏡10をかけたユーザはその元画面Mに対応する視認画面Sを空中に浮かんでいるように見ることができる。
画像データ抽出部342は、ユーザの目に映り込んだ元画面Mを撮像装置60Bが撮像したときに、その撮像して得られた一連の画像データの中から、指が存在している画像データを抽出するものである。画像データの中に指が存在しているかどうかの判断には、一般の画像認識の手法が用いられる。また、操作判定部343、操作位置特定部349Eでは、画像データ抽出部342で抽出された画像データに基づいて処理が行われることになる。
操作判定部343は、ユーザの目に映り込んだ元画面M及び指を撮像装置60Eが撮像したときに、その撮像して得られた一連の画像データであって画像データ抽出部342で抽出されたものに基づいて当該指による操作が各種の操作のうちどのような内容の操作であるのかを判定するものである。この判定に際しては、例えば一般の画像認識の手法が用いられる。これにより、操作判定部343は、当該指による操作が、タップ操作、ダブルタップ操作、長押し操作等のうちいずれの操作であるかを認識することができる。その認識した当該指による操作の内容に関するデータは記憶部33に記憶される。尚、操作判定部343が操作内容を正確に認識できるようにするためには、ユーザは視認画面S上で各種のタッチ操作をゆっくりと且つオーバーアクション気味に行うことが望ましい。
操作位置特定部349Eは、ユーザの目に映り込んだ元画面M及び指を撮像装置60Bが撮像したときに、その撮像して得られた一連の画像データであって画像データ抽出部342で抽出されたものに基づいて当該指による操作の対象となった位置が当該元画面M内におけるどの位置であるのかを特定するものである。具体的に、第十七実施形態では、操作位置特定部349Eは、まず、一般の画像認識の手法を用い、画像データに基づいて当該画像に含まれる元画面M及び指を特定する。次に、その特定した元画面Mの範囲内のどこに指が位置しているのかを調べることにより、元画面M内における当該指による操作の対象となった位置を表すデータを作成する。この作成したデータは記憶部33に記憶される。
入力制御部345Eは、ユーザが視認画面Sに対して指で操作を行ったときに、操作判定部343で判定して得られた当該指による操作の内容に関するデータと、操作位置特定部349Eで得られた当該元画面M内における当該指による操作の対象となった位置を表すデータと、記憶部33に記憶されている当該元画面Mに関するデータとに基づいて、当該視認画面Sに対して行われた当該指による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、表示部31に表示する画面の制御及びディスプレイ装置20に表示する元画面Mの制御を行うものである。
実際、入力制御部345Eは、ユーザが視認画面Sに対して指でタッチ操作を行うと、その視認画面Sがタッチパネルに表示されているときと同様に、当該タッチ操作に対応する指示を認識する。例えば、視認画面Sが図15に示す文字入力画面200である場合、ユーザがその文字入力画面200に対して指で所望の文字キー画像をタップする操作を行ったものとする。この場合、入力制御部345Eは、操作判定部343で得られた当該指による操作の内容に関するデータに基づいて、今回の操作がタップ操作であると認識する。また、入力制御部345Eは、その文字入力画面200に対応する元画面Mに関するデータに基づいて、当該文字入力画面200の内容(例えば、当該文字入力画面200におけるキーボード画像210の構成や、各文字キー画像の配置等)を認識することができる。このため、入力制御部345Eは、操作位置特定部349Eで得られた当該元画面M内における当該指による操作の対象となった位置を表すデータに基づいて、そのデータが表す位置が、文字入力画面200におけるどの位置に対応するのかを調べることにより、操作された文字キーを特定することができる。こうして、入力制御部345Eは、ユーザによりタップ操作が行われたこと、及び、その操作の対象が上記特定した文字キーであることから、今回の操作では、当該文字キーが表す文字を入力するという指示が行われたと認識することができる。この結果、入力制御部345Eは、文字入力画面200の表示領域220に当該文字キーが表す文字を入力された元画面Mをティスプレイ装置20に表示することになる。
また、入力制御部345Eは、ユーザが視認画面Sに対して指でダブルタップ操作を行うと、その視認画面Sに対応する元画面Mを拡大又は縮小するという指示を認識し、ユーザが視認画面Sに対して指で長押し操作を行うと、元画面Mとしてオプションメニューの画面を表示するという指示を認識し、そして、ユーザが視認画面Sに対して指でドラッグ操作又はフリック操作を行うと、元画面Mをスクロールして表示するという指示を認識する。
このように、第十七実施形態の端末装置9では、ユーザは、自己が見ている視認画面Sに対して、通常のタッチパネルに表示された画面に対して操作するのと同様の操作を行うことにより、当該操作に対応する指示を入力することができる。
尚、第十七実施形態では、ユーザは、空中に浮いているように見える視認画面Sに対して指でタッチ操作を行うので、通常のタッチパネルに表示された画面に対してタッチ操作する場合には行うことのできない態様でタッチ操作を行うこともできる。通常、ユーザは、図17(a)に示すように、視認画面Sの正面側から一本の指でタッチ操作を行うが、図17(b)に示すように、視認画面Sの裏面側から一本の指でタッチ操作を行うことができる。また、ユーザは、図18(a)に示すように、視認画面Sの正面側から複数の指でタッチ操作を行ったり、図18(b)に示すように、視認画面Sの裏面側から複数の指でタッチ操作を行ったりすることができる。
次に、第十七実施形態の端末装置9において視認画面Sを用いた文字入力の処理について説明する。図47は第十七実施形態の端末装置9において視認画面Sを用いた文字入力の処理の手順を説明するためのフローチャートである。ここでは、端末30Eにおいてディスプレイ装置制御用プログラムが実行中である場合を考える。すなわち、ディスプレイ装置20、通信部40及び撮像装置60Bは電源オンの状態にあり、端末30Eとディスプレイ装置20及び撮像装置60Bとの間の通信が有効であるとする。
ユーザは、端末30Eを操作して表示部31にメニュー画面を表示させる。そして、ユーザは、そのメニュー画面において文字入力処理用プログラムのアイコンをタップし、その文字入力処理用プログラムを選択する。端末30Eの制御部34Eは、文字入力処理用プログラムが選択された旨の信号を受けると、文字入力処理用プログラムを記憶部33から読み出し、図47に示す処理フローにしたがって視認画面Sを用いた文字入力の処理を行う。尚、この文字入力の処理は、元画面Mとして文字入力画面200がディスプレイ装置20に表示されたときに自動的に実行されるようにしてもよい。
まず、制御部34Eは、文字入力画面200を元画面Mとしてディスプレイ装置20に表示すると共に、撮像装置60Bを制御してユーザの目を撮像する撮像動作を開始する(S221)。ユーザは、現在、ディスプレイ装置20に表示されている元画面Mに対応する視認画面Sである文字入力画面200のキーボード画像210に対して指で所定の操作、例えばタップ操作を行う。ここで、ユーザが所定の操作を行うのは、制御部34Eに対してユーザが操作している位置を知らせるためである。かかるユーザによる操作の際、ユーザの目には元画面M、又は元画面M及び操作を行っている指が映り込むことになる。そして、そのユーザの目は撮像装置60Bで撮像され、その撮像装置60Bで得られた画像データが画像処理部62に送られる。そして、画像処理部62が画像データに対して所定の画像処理を施し、その画像処理を施した画像データが無線通信で撮像装置60Bから制御部34Eに送られる(S222)。
次に、画像データ抽出部342は、その送られた画像データについて、一般の画像認識の手法を用いて指が存在しているかどうかを判断し、撮像装置60Bで撮像して得られた一連の画像データの中から指が存在している画像データを抽出する(S223)。すなわち、画像データ抽出部342は、ユーザが指で操作を行っている内容を表す画像データだけを抽出する。次に、操作判定部343は、画像データ抽出部342で抽出された画像データに基づいて当該指による操作が所定の操作(ここでは、タップ操作)であるかどうかを判定する。この判定は予め定めた所定の時間内に行われる。そして、操作判定部343は、当該指による操作がタップ操作であれば、文字入力のための操作が正常に認識されたと判断し、一方、当該指による操作がタップ操作でなければ、文字入力のための操作が正常に認識されなかったと判断する(S224)。操作判定部343は、文字入力のための操作が正常に認識されたと判断すると、当該指による操作の内容に関するデータを記憶部33に記憶すると共に、文字入力のための操作が正常に認識された旨の信号を表示制御部341に送る。表示制御部341は、その信号を受けると、文字入力のための操作が正常に認識されたことを意味する緑色ランプを示す画像を元画面Mに追加して、ディスプレイ装置20に表示する(S226)。尚、表示制御部341は、緑色ランプを示す画像とともに、或いはその画像に代えて、文字入力のための操作が正常に認識されたことを意味する文字や図形を示す画像を元画面Mに追加するようにしてもよい。或いは、制御部34Eは、文字入力のための操作が正常に認識されたことを意味する画像の表示とともに、若しくは当該画像の表示に代えて、特定の報知音をスピーカ部80から発するようにしてもよい。
一方、操作判定部343は、ステップS224の処理において、予め定めた所定の時間内に文字入力のための操作が正常に認識されなかったと判断すると、その旨の信号を表示制御部341に送る。このとき例えば、画像データ抽出部342から指が存在している画像データが予め定めた所定の時間内に送られてこなかった場合にも、操作判定部343は、タップ操作が正常に認識されなかったと判断する。表示制御部341は、その信号を受けると、文字入力のための操作が正常に認識されなかったことを意味する赤色ランプを示す画像を元画面Mに追加して、ディスプレイ装置20に表示する(S225)。その後は、ステップS230に移行する。尚、このとき、表示制御部341は、赤色ランプを示す画像とともに、或いはその画像に代えて、文字入力のための操作が正常に認識されなかったことを意味する文字や図形を示す画像を元画面Mに追加するようにしてもよい。或いは、制御部34Eは、文字入力のための操作が正常に認識されなかったことを意味する画像の表示とともに、若しくは当該画像の表示に代えて、特定の報知音をスピーカ部80から発するようにしてもよい。
ステップS226の処理の後、操作位置特定部349Eは、操作判定部343で指による操作がタップ操作であると判定された画像データに基づいて、当該指による操作の対象となった位置が当該元画面M内におけるどの位置であるのかを特定し、当該元画面内における当該指による操作の対象となった位置を表すデータを生成する(S227)。こうして生成された操作の対象となった位置を表すデータは記憶部33に記憶される。
次に、入力制御部345Eは、操作判定部343で判定して得られた当該指による操作の内容に関するデータと、操作位置特定部349Eで得られた当該元画面M内における当該指による操作の対象となった位置を表すデータと、記憶部33に記憶されている当該元画面Mに関するデータとに基づいて、当該指による操作に対応する入力指示の内容を認識する(S228)。例えば、ユーザがキーボード画像210における文字キー画像に対して指でタップ操作を行った場合には、入力制御部345Eは、その指による操作の対象となった位置を表すデータから得られる指の位置が、キーボード画像210におけるどの文字キー画像の領域に対応するのかを調べることにより、今回のタップ操作が行われた文字キーを特定し、その特定した文字キーの入力が指示されたことを認識することができる。その後、入力制御部345Eは、認識した入力指示の内容に関する信号を表示制御部341に送り、表示制御部341はその入力指示の内容に応じた元画面Mをディスプレイ装置20に表示する(S229)。
ステップS229又はステップS225の処理の後、制御部34Eは、ユーザから視認画面Sを用いた文字入力を終了する旨の指示を受けたかどうかを判断する(S230)。文字入力を終了する旨の指示を受けていれば、視認画面Sを用いた文字入力の処理が終了する。これに対し、文字入力を終了する旨の指示を受けていなければ、ステップS221に移行し、視認画面Sを用いた文字入力の処理を継続する。尚、ユーザは、文字入力を終了する旨の指示を、例えば、端末30Eの操作により、音声での指示により又はタッチパッド部90のタッチ操作により行う。
次に、第十七実施形態の端末装置9において視認画面Sを用いた画面表示の処理について説明する。図48は第十七実施形態の端末装置9において視認画面Sを用いた画面表示の処理の手順を説明するためのフローチャートである。ここでは、端末30Eにおいてディスプレイ装置制御用プログラムが実行中である場合を考える。すなわち、ディスプレイ装置20、通信部40及び撮像装置60Bは電源オンの状態にあり、端末30Eとディスプレイ装置20及び撮像装置60Bとの間の通信が有効であるとする。
ユーザは、端末30Eを操作して表示部31にメニュー画面を表示させる。そして、ユーザは、そのメニュー画面において画面表示処理用プログラムのアイコンをタップし、その画面表示処理用プログラムを選択する。端末30Eの制御部34Eは、画面表示処理用プログラムが選択された旨の信号を受けると、画面表示処理用プログラムを記憶部33から読み出し、図48に示す処理フローにしたがって視認画面Sを用いた画面表示の処理を行う。尚、この画面表示の処理は、元画面Mがディスプレイ装置20に表示されたときに自動的に実行されるようにしてもよい。
まず、ユーザは、端末30Eを操作して所望の画面をディスプレイ装置20に表示させる。一方、制御部34Eは、撮像装置60Bを制御してユーザの目を撮像する撮像動作を開始する(S241)。ユーザは、現在、ディスプレイ装置20に表示されている元画面Mに対応する視認画面Sに対して指で所望の操作を行う。かかるユーザによる操作の際、ユーザの目には元画面M、又は元画面M及び操作を行っている指が映り込むことになる。そして、そのユーザの目は撮像装置60Bで撮像され、その撮像装置60Bで得られた画像データが画像処理部62に送られる。そして、画像処理部62が画像データに対して所定の画像処理を施し、その画像処理を施した画像データが無線通信で撮像装置60Bから制御部34Eに送られる(S242)。
次に、画像データ抽出部342は、その送られた画像データについて、一般の画像認識の手法を用いて指が存在しているかどうかを判断し、撮像装置60Bで撮像して得られた一連の画像データの中から指が存在している画像データを抽出する(S243)。すなわち、画像データ抽出部342は、ユーザが指で操作を行っている内容を表す画像データだけを抽出する。次に、操作判定部343は、画像データ抽出部342で抽出された画像データに基づいて当該指による操作の内容を判定する。この判定は予め定めた所定の時間内に行われる。そして、操作判定部343は、当該指による操作が正常に認識されたかどうかを判断する(S244)。操作判定部343は、当該指による操作が正常に認識されたと判断すると、当該指による操作の内容に関するデータを記憶部33に記憶すると共に、当該指による操作が正常に認識された旨の信号を表示制御部341に送る。表示制御部341は、その信号を受けると、指による操作が正常に認識されたことを意味する緑色ランプを示す画像を元画面Mに追加して、ディスプレイ装置20に表示する(S246)。
尚、表示制御部341は、緑色ランプを示す画像とともに、或いはその画像に代えて、指による操作が正常に認識されたことを意味する文字や図形を示す画像を元画面Mに追加するようにしてもよい。或いは、制御部34Eは、指による操作が正常に認識されたことを意味する画像の表示とともに、若しくは当該画像の表示に代えて、特定の報知音をスピーカ部80から発するようにしてもよい。
一方、操作判定部343は、ステップS244の処理において、指による操作が正常に認識されなかったと判断すると、その旨の信号を表示制御部341に送る。このとき例えば、画像データ抽出部342から指が存在している画像データが予め定めた所定の時間内に送られてこなかった場合にも、操作判定部343は、指による操作が正常に認識されなかったと判断する。表示制御部341は、その信号を受けると、指による操作が正常に認識されなかったことを意味する赤色ランプを示す画像を元画面Mに追加して、ディスプレイ装置20に表示する(S245)。その後は、ステップS250に移行する。尚、このとき、表示制御部341は、赤色ランプを示す画像とともに、或いはその画像に代えて、指による操作が正常に認識されなかったことを意味する文字や図形を示す画像を元画面Mに追加するようにしてもよい。或いは、制御部34Eは、指による操作が正常に認識されなかったことを意味する画像の表示とともに、若しくは当該画像の表示に代えて、特定の報知音をスピーカ部80から発するようにしてもよい。
ステップS246の処理の後、操作位置特定部349Eは、操作判定部343で指による操作の内容が判定された画像データに基づいて、当該指による操作の対象となった位置が当該元画面M内におけるどの位置であるのかを特定し、当該元画面M内における当該指による操作の対象となった位置を表すデータを生成する(S247)。こうして生成された操作の対象となった位置を表すデータは記憶部33に記憶される。
次に、入力制御部345Eは、操作判定部343で判定して得られた当該指による操作の内容に関するデータと、操作位置特定部349Eで得られた当該元画面M内における当該指による操作の対象となった位置を表すデータと、記憶部33に記憶されている当該元画面Mに関するデータとに基づいて、当該指による操作に対応する指示の内容を認識する(S248)。例えば、ユーザが視認画面Sに対して指でダブルタップ操作を行った場合には、入力制御部345Eは、今回の操作がダブルタップ操作であることを特定し、元画面Mを拡大(又は縮小)する旨の指示を受けたことを認識する。その後、入力制御部345Eは、認識した指示の内容に関する信号を表示制御部341に送り、表示制御部341はその指示の内容に応じた元画面Mをディスプレイ装置20に表示する(S249)。
ステップS249又はステップS245の処理の後、制御部34Eは、ユーザから画面表示のための操作を終了する旨の指示を受けたかどうかを判断する(S250)。画面表示のための操作を終了する旨の指示を受けていれば、画面表示の処理が終了する。これに対し、画面表示のための操作を終了する旨の指示を受けていなければ、ステップS241に移行し、画面表示の処理を継続する。尚、ユーザは、視認画面Sを用いた画面表示のための操作を終了する旨の指示を、例えば、端末30Eの操作により、音声での指示により又はタッチパッド部90のタッチ操作により行う。
尚、上記の例では、ユーザが文字入力を行う旨を指示することにより制御部34Eが文字入力の処理を行い、また、ユーザが画面表示のための操作を行う旨を指示することにより制御部34Eが画面表示の処理を行う場合について説明したが、制御部34Eは、文字入力の処理と画面表示の処理とを自動的に切り替えて行うようにしてもよい。
第十七実施形態の端末装置は、上記第一実施形態のものと同様の作用・効果を奏する。すなわち、第十七実施形態の端末装置では、端末と装着物としての眼鏡とを別体に構成したので、端末として、例えばスマートフォンやタブレット端末等の既存の携帯端末等を用いることができる。このように端末として既存の携帯端末等を用いることにより、装着物としての眼鏡の部品点数を少なくして、眼鏡の構成を簡易なものとすることができる。また、端末として例えば市販のスマートフォン等を用いることにより、使い慣れているスマートフォン等を使用して操作することができるので、操作性の向上を図ることができる。
特に、第十七実施形態の端末装置では、ユーザの目を撮像することによりユーザが視認画面に対して指で操作を行ったときにユーザの目に映り込んだ元画面及び当該指についての画像を取得するための撮像装置が本体部に設けられており、操作判定部は、ユーザの目に映り込んだ元画面及び指を撮像装置が撮像したときに、その撮像して得られた一連の画像データに基づいて当該指による操作が各種の操作のうちどのような内容の操作であるのかを判定し、操作位置特定部は、ユーザの目に映り込んだ元画面及び指を撮像装置が撮像したときに、その撮像して得られた一連の画像データに基づいて当該指による操作の対象となった位置が当該元画面内におけるどの位置であるのかを特定する。そして、入力制御部は、ユーザが視認画面に対して指で操作を行ったときに、操作判定部で得られた当該指による操作の内容に関するデータと、操作位置特定部で得られた当該元画面内における当該指による操作の対象となった位置を表すデータと、記憶部に記憶されている当該元画面に関するデータとに基づいて、当該視認画面に対して行われた当該指による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、ディスプレイ装置に表示する元画面の制御を行う。このため、ユーザは、空中に浮かんでいるように見える視認画面に対して、通常のタッチパネルに表示された画面に対して操作するのと同様の操作を行うことにより、当該操作に対応する指示を入力することができる。したがって、第十七実施形態の端末装置を用いると、ユーザは、通常のスマートフォン端末やタブレット端末と同様に、視認画面に対して操作を行うことにより、文字入力の操作や拡大・縮小等の各種の画面操作を容易且つ正確に行うことができる。
尚、上記の第十七実施形態では、ディスプレイ装置及び撮像装置と端末とを無線で接続する場合について説明したが、ディスプレイ装置及び撮像装置と端末とを、ケーブルを用いて有線で接続するようにしてもよい。
また、上記の第十七実施形態では、端末装置がマイク部、スピーカ部及びタッチパッド部を備えている場合について説明したが、端末装置は、マイク部、スピーカ部及びタッチパッド部の全部又は一部を備えていなくてもよい。
また、上記の第十七実施形態では、撮像装置が予めユーザの目にピントが合うように構成されている場合について説明したが、撮像装置としてはオートフォーカス機能を有するものを用いてもよい。この場合、撮像装置のカメラ制御部は、ユーザの目に自動的にピントを合わせるオートフォーカス制御部を有する。このオートフォーカス制御部は、一般に、撮像範囲内における所定の位置にある被写体に自動的にピントを合わせるようにカメラ部を制御するものである。例えば、撮像装置のカメラ部としては、撮像範囲の中央に一つのフォーカスポイントを有するものを用いる。そして、カメラ部のレンズの光軸上にユーザの目が位置するように撮像装置を眼鏡に取り付ける。オートフォーカス制御部は、撮像が開始されると、フォーカスポイント上の被写体、すなわち、ユーザの目にピントが合うようにピントを合わせる。このため、撮像装置は、ユーザの目にピントが合った状態で画像を取得することができる。また、オートフォーカス制御部は、被写体である目を認識し、その認識した目に自動的にピントを合わせるようにしてもよい。
更に、第十七実施形態では、操作位置特定部が、一般の画像認識の手法を用いて、画像データに基づいて当該画像に含まれる元画面及び指を特定し、次に、その特定した元画面の範囲内のどこに指が位置しているのかを調べることにより、元画面内における当該指による操作の対象となった位置を表すデータを作成する場合について説明した。しかしながら、操作位置特定部としては、次のような処理を行うものを用いることもできる。すなわち、操作位置特定部は、ユーザの目に映り込んだ元画面及び指を撮像装置が撮像したときに、その撮像して得られた一連の画像データに基づいて、撮像装置が撮像することができる範囲である撮像範囲内における当該元画面の範囲及び撮像範囲内における当該指の位置を求め、その求めた撮像範囲内における当該元画面の範囲及び撮像範囲内における当該指の位置に基づいて当該元画面内における当該指による操作の対象となった位置を特定するようにしてもよい。
この操作位置特定部が行う処理の内容を詳しく説明する。この場合、撮像装置の撮像範囲内において、図44(b)に示すように、左右方向をX軸方向、上下方向をY軸方向としてXY座標系が設定される。このXY座標系の原点は任意の位置に取られる。操作位置特定部は、まず、画像データに基づいて元画面の画像を認識し、XY座標系において元画面の画像の四隅の各位置についての位置データを取得する。この取得した四隅の各位置についての位置データは撮像範囲内における元画面の範囲を表すデータとなる。ここで、図49に操作位置特定部が元画面の範囲を特定する上で望ましい元画面の例を示す。元画面としては、図49(a)に示すように予め四隅の位置に大きな丸印等を表示したものや、図49(b)に示すように枠を太線で表したものを用いることにより、操作位置特定部が元画面の画像を認識し易くなる。次に、操作位置特定部は、画像データに基づいてユーザの指を認識し、XY座標系におけるユーザの指の位置データを取得する。その後、操作位置特定部は、XY座標系における四隅の各位置についての位置データと、XY座標系におけるユーザの指の位置データとに基づいて、例えば元画面の左下の点を原点とするxy座標系におけるユーザの指の位置データを算出する。こうして算出されたxy座標系におけるユーザの指の位置データが元画面内における指による操作の対象となった位置を特定するデータとなる。
[第十八実施形態]
次に、本発明の第十八実施形態である端末装置について説明する。図50は本発明の第十八実施形態である端末装置の概略ブロック図である。尚、本第十八実施形態において、上述した第十七実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。
第十八実施形態である端末装置9Aは、図50に示すように、眼鏡10と、眼鏡10に設けられたディスプレイ装置20と、眼鏡10と別体に構成された、表示部31を有する端末30Fと、通信部40と、ユーザの目を撮像するための撮像装置60Bと、マイク部70と、スピーカ部80と、タッチパッド部90とを備える。また、端末30Fは、表示部31と、通信部32と、記憶部33と、制御部34Fとを備え、制御部34Fは、表示制御部341と、虹彩・瞳孔画像データ生成部351と、画像差分抽出部352と、画像データ抽出部342と、操作判定部343と、入力制御部346Eと、操作位置特定部349Eとを有する。
この第十八実施形態の端末装置9Aが第十七実施形態の端末装置9と異なる主な点は、端末30Fの制御部34Fが虹彩・瞳孔画像データ生成部351及び画像差分抽出部352を備えている点である。第十八実施形態の端末装置9Aのその他の構成は、第十七実施形態の端末装置9のものと同様である。
虹彩・瞳孔画像データ生成部351は、ディスプレイ装置20に元画面Mを表示する前にユーザの目を撮像装置60Bで撮像したときに、その撮像して得られた画像データに基づいて虹彩及び瞳孔の画像データを生成して記憶部33に記憶するものである。ここで、撮像装置60Bがその画像データを撮像するタイミングは、元画面Mがディスプレイ装置20に表示される直前であるのが望ましい。虹彩・瞳孔画像データ生成部351が生成する虹彩及び瞳孔の画像データに含まれるユーザの虹彩及び瞳孔の状態は、ユーザが視認画面Sに対して操作を行うときの状態とほぼ同じであるようにする必要があるからである。また、画像差分抽出部352は、ユーザの目に映り込んだ元画面M及び指を撮像装置60Bが撮像したときに、その撮像して得られた画像データと、記憶部33に記憶されている虹彩及び瞳孔の画像データとに基づいて、それらの差分を抽出する処理を行うことにより、虹彩及び瞳孔の画像が取り除かれた画像データを生成するものである。すなわち、差分を抽出した画像データは、画像認識を行う上で不要となるユーザの虹彩や瞳孔の画像が除去され、元画面Mと指だけの画像データとなる。第十八実施形態では、画像データ抽出部342は、画像差分抽出部352で生成された一連の画像データを用いて画像データの抽出処理を行う。
次に、第十八実施形態の端末装置9Aにおいて視認画面Sを用いた文字入力の処理について説明する。図51は第十八実施形態の端末装置9Aにおいて視認画面Sを用いた文字入力の処理の手順を説明するためのフローチャートである。尚、図51のフローチャートにおいて、上述した第十七実施形態における図47のフローチャートと同一内容を表す処理については、同一のステップ符号を付すことにより、その詳細な説明を省略する
ここでは、端末30Fにおいてディスプレイ装置制御用プログラムが実行中である場合を考える。すなわち、ディスプレイ装置20、通信部40及び撮像装置60Bは電源オンの状態にあり、端末30Fとディスプレイ装置20及び撮像装置60Bとの間の通信が有効であるとする。
ユーザは、端末30Fを操作して表示部31にメニュー画面を表示させる。そして、ユーザは、そのメニュー画面において文字入力処理用プログラムのアイコンをタップし、その文字入力処理用プログラムを選択する。端末30Fの制御部34Fは、文字入力処理用プログラムが選択された旨の信号を受けると、文字入力処理用プログラムを記憶部33から読み出し、図51に示す処理フローにしたがって視認画面Sを用いた文字入力の処理を行う。
図51に示す処理フローにしたがい、まず、制御部34Fは、例えば、スピーカ部80から「数秒間、元画面が表示される方向を見て下さい。」という音声を発生させる。これにより、ユーザがその音声による指示にしたがい、元画面が表示される方向を見ることになる。このとき、制御部34Fは、ディスプレイ装置20を一時的に何も表示されない状態にすると共に、撮像装置60Bを制御して撮像装置60Bでユーザの目を撮像する。そして、虹彩・瞳孔画像データ生成部351は、撮像装置60Bによりユーザの目を撮像して得られた画像データに基づいて、虹彩及び瞳孔の画像データを生成する(S2201)。この生成された虹彩及び瞳孔の画像データは、記憶部33に記憶される。こうして虹彩及び瞳孔の画像データが作成されると、表示制御部341は、ディスプレイ装置20に元画面Mとして文字入力画面200を表示する(S2202)。これにより、ユーザはその元画面Mに対応する視認画面Sを、空中に浮かんでいるように見ることができる。その後、制御部34Fは、撮像装置60Bを制御してユーザの目を撮像する撮像動作を開始する(S221)。ユーザは、視認画面Sである文字入力画面200のキーボード画像210に対して指で所定の操作、例えばタップ操作を行う。かかるユーザによる操作の際、ユーザの目には元画面M、又は元画面M及び操作を行っている指が映り込むことになる。そして、そのユーザの目は撮像装置60Bで撮像され、その撮像装置60Bで得られた画像データが画像処理部62に送られる。そして、画像処理部62が画像データに対して所定の画像処理を施し、その画像処理を施した画像データが無線通信で撮像装置60Bから制御部34Fに送られる(S222)。
次に、画像差分抽出部352は、撮像装置60Bで撮像して得られた画像データと、記憶部33に記憶されている虹彩及び瞳孔の画像データとに基づいて、それらの差分を抽出する処理を行う(S2203)。これにより、虹彩及び瞳孔の画像が取り除かれた画像データが得られる。次に、画像データ抽出部342は、画像差分抽出部352で作成された画像データについて、一般の画像認識の手法を用いて指が存在しているかどうかを判断し、撮像装置60Bで撮像して得られた一連の画像データの中から指が存在している画像データを抽出する(S223)。ここで、画像データ抽出部342で抽出された画像データには指が存在しているので、その画像データは、ユーザの目に映り込んだ元画面M及び指についての画像を含んでいる。その後は、ステップS224に移行する。ステップS224以降の処理は、第十七実施形態における図47のフローチャートによる処理と同様である。
次に、第十八実施形態の端末装置9Aにおいて視認画面Sを用いた画面表示の処理について説明する。図52は第十八実施形態の端末装置9Aにおいて視認画面Sを用いた画面表示の処理の手順を説明するためのフローチャートである。尚、この図52のフローチャートにおいて、上述した第十七実施形態における図48のフローチャートと同一内容を表す処理については、同一のステップ符号を付すことにより、その詳細な説明を省略する。
ここでは、端末30Fにおいてディスプレイ装置制御用プログラムが実行中である場合を考える。すなわち、ディスプレイ装置20、通信部40及び撮像装置60Bは電源オンの状態にあり、端末30Fとディスプレイ装置20及び撮像装置60Bとの間の通信が有効であるとする。
ユーザは、端末30Fを操作して表示部31にメニュー画面を表示させる。そして、ユーザは、そのメニュー画面において画面表示処理用プログラムのアイコンをタップし、その画面表示処理用プログラムを選択する。端末30Fの制御部34Fは、画面表示処理用プログラムが選択された旨の信号を受けると、画面表示処理用プログラムを記憶部33から読み出し、図52に示す処理フローにしたがって視認画面Sを用いた画面表示の処理を行う。
図52に示す処理フローにしたがい、まず、制御部34Fは、例えば、スピーカ部60から「数秒間、元画面が表示される方向を見て下さい。」という音声を発生させる。これにより、ユーザがその音声による指示にしたがい、元画面が表示される方向を見ることになる。このとき、制御部34Fは、ディスプレイ装置20を一時的に何も表示されない状態にすると共に、撮像装置60Bを制御して撮像装置60Bでユーザの目を撮像する。そして、虹彩・瞳孔画像データ生成部351は、撮像装置60Bによりユーザの目を撮像して得られた画像データに基づいて、虹彩及び瞳孔の画像データを生成する(S2401)。この生成された虹彩及び瞳孔の画像データは、記憶部33に記憶される。次に、ユーザは、端末30Fを操作して所望の画面をディスプレイ装置20に表示させる。これにより、表示制御部341は、ディスプレイ装置20に当該画面を元画面Mとして表示し(S2402)、ユーザはその元画面Mに対応する視認画面Sを、空中に浮かんでいるように見ることができる。その後、制御部34Fは、撮像装置60Bを制御してユーザの目を撮像する撮像動作を開始する(S241)。ユーザは、視認画面Sに対して指で所望の操作を行う。かかるユーザによる操作の際、ユーザの目には元画面M、又は元画面M及び操作を行っている指が映り込むことになる。そして、そのユーザの目は撮像装置60Bで撮像され、その撮像装置60Bで得られた画像データが画像処理部62に送られる。そして、画像処理部62が画像データに対して所定の画像処理を施し、その画像処理を施した画像データが無線通信で撮像装置60Bから制御部34Fに送られる(S242)。
次に、画像差分抽出部352は、撮像装置60Bで撮像して得られた画像データと、記憶部33に記憶されている虹彩及び瞳孔の画像データとに基づいて、それらの差分を抽出する処理を行う(S2403)。これにより、虹彩及び瞳孔の画像が取り除かれた画像データが得られる。次に、画像データ抽出部342は、画像差分抽出部352で作成された画像データについて、一般の画像認識の手法を用いて指が存在しているかどうかを判断し、撮像装置60Bで撮像して得られた一連の画像データの中から指が存在している画像データを抽出する(S243)。ここで、画像データ抽出部342で抽出された画像データには指が存在しているので、その画像データは、ユーザの目に映り込んだ元画面M及び指についての画像を含んでいる。その後は、ステップS244に移行する。ステップS244以降の処理は、第十七実施形態における図48のフローチャートによる処理と同様である。
第十八実施形態の端末装置は上記第十七実施形態のものと同様の作用・効果を奏する。
特に、第十八実施形態の眼鏡型端末には、ディスプレイ装置に元画面を表示する前にユーザの目を撮像装置で撮像したときに、その撮像して得られた画像データに基づいて虹彩及び瞳孔の画像データを生成して記憶部に記憶する虹彩・瞳孔画像データ生成部と、ユーザの目に映り込んだ元画面及び指を撮像装置が撮像したときに、その撮像して得られた画像データと記憶部に記憶されている虹彩及び瞳孔の画像データとに基づいてそれらの差分を抽出する処理を行うことにより、虹彩及び瞳孔の画像が取り除かれた画像データを生成する画像差分抽出部とが備えられており、画像データ抽出部は、その画像差分抽出部で生成された一連の画像データを用いて画像データの抽出処理を行う。これにより、画像差分抽出部で生成された画像データからは、虹彩及び瞳孔の画像が取り除かれているので、画像データ抽出部は、指が存在している画像データを抽出する処理を容易に行うことができる。
ところで、ユーザがコンタクトレンズを装着している場合、画像差分抽出部は虹彩及び瞳孔の画像に加えてコンタクトレンズの画像が取り除かれた画像データを生成するようにしてもよい。すなわち、虹彩・瞳孔画像データ生成部として、ディスプレイ装置に元画面を表示する前に、コンタクトレンズを装着しているユーザの目を撮像装置で撮像したときに、その撮像して得られた画像データに基づいてコンタクトレンズ、虹彩及び瞳孔の画像データを生成して記憶部に記憶するものを用い、画像差分抽出部としては、ユーザの目に映り込んだ元画面及び指を撮像装置が撮像したときに、その撮像して得られた画像データと記憶部に記憶されているコンタクトレンズ、虹彩及び瞳孔の画像データとに基づいてそれらの差分を抽出する処理を行うことにより、コンタクトレンズ、虹彩及び瞳孔の画像が取り除かれた画像データを生成するものを用いるようにしてもよい。これにより、画像差分抽出部で生成された画像データからは、コンタクトレンズ、虹彩及び瞳孔の画像が取り除かれているので、画像データ抽出部は、指が存在している画像データを抽出する処理を容易に行うことができる。
尚、上記の第十八実施形態では、ディスプレイ装置及び撮像装置と端末とを無線で接続する場合について説明したが、ディスプレイ装置及び撮像装置と端末とを、ケーブルを用いて有線で接続するようにしてもよい。
[第十九実施形態]
次に、本発明の第十九実施形態である端末装置について説明する。図53は本発明の第十九実施形態である端末装置の概略ブロック図である。尚、本第十九実施形態において、上述した第十七実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。
第十九実施形態である端末装置9Bは、図53に示すように、眼鏡10と、眼鏡10に設けられたディスプレイ装置20と、眼鏡10と別体に構成された、表示部31を有する端末30Gと、通信部40と、ユーザの目を撮像するための撮像装置60Bと、マイク部70と、スピーカ部80と、タッチパッド部90とを備える。また、端末30Gは、表示部31と、通信部32と、記憶部33と、制御部34Gとを備え、制御部34Gは、表示制御部341と、画像変換部353と、画像データ抽出部342と、操作判定部343と、入力制御部346Eと、操作位置特定部349Eとを有する。
この第十九実施形態の端末装置9Bが第十七実施形態の端末装置9と異なる主な点は、端末30Gの制御部34Gが画像変換部353を備えている点である。第十九実施形態の端末装置9Bのその他の構成は、第十七実施形態の端末装置9のものと同様である。
画像変換部353は、本来球面の形状を持つユーザの目に映り込んだ元画面M及び指についての画像が平面上に映り込んだ画像となるように、撮像装置60Bで撮像して得られた画像データに対して画像変換を行うものである。例えば、この画像変換は、目(眼球表面)の曲率等を用いて予め作成された画像変換式により行われる。第十九実施形態では、画像データ抽出部342は、画像変換部353で画像変換が行われた後の一連の画像データを用いて所定の処理を行う。
次に、第十九実施形態の端末装置9Bにおいて視認画面Sを用いた文字入力の処理について説明する。図54は第十九実施形態の端末装置9Bにおいて視認画面Sを用いた文字入力の処理の手順を説明するためのフローチャートである。尚、この図54のフローチャートにおいて、上述した第十七実施形態における図47のフローチャートと同一内容を表す処理については、同一のステップ符号を付すことにより、その詳細な説明を省略する。
ここでは、端末30Gにおいてディスプレイ装置制御用プログラムが実行中である場合を考える。すなわち、ディスプレイ装置20、通信部40及び撮像装置60Bは電源オンの状態にあり、端末30Gとディスプレイ装置20及び撮像装置60Bとの間の通信が有効であるとする。
ユーザは、端末30Gを操作して表示部31にメニュー画面を表示させる。そして、ユーザは、そのメニュー画面において文字入力処理用プログラムのアイコンをタップし、その文字入力処理用プログラムを選択する。端末30Gの制御部34Gは、文字入力処理用プログラムが選択された旨の信号を受けると、文字入力処理用プログラムを記憶部33から読み出し、図54に示す処理フローにしたがって視認画面Sを用いた文字入力の処理を行う。尚、この文字入力の処理は、元画面Mとして文字入力画面200がディスプレイ装置20に表示されたときに自動的に実行されるようにしてもよい。
図54に示す処理フローにしたがい、まず、制御部34Gは、文字入力画面200を元画面Mとしてディスプレイ装置20に表示すると共に、撮像装置60Bを制御してユーザの目を撮像する撮像動作を開始する(S221)。ユーザは、現在、ディスプレイ装置20に表示されている元画面Mに対応する視認画面Sである文字入力画面200のキーボード画像210に対して指で所定の操作、例えばタップ操作を行う。かかるユーザによる操作の際、ユーザの目には元画面M、又は元画面M及び操作を行っている指が映り込むことになる。そして、ユーザの目は撮像装置60Bで撮像され、その撮像装置60Bで得られた画像データが画像処理部62に送られる。そして、画像処理部62が画像データに対して所定の画像処理を施し、その画像処理を施した画像データが無線通信で撮像装置60Bから制御部34Gに送られる(S222)。
次に、画像変換部353は、撮像装置60Bで撮像して得られた画像データに対して、本来球面の形状を持つユーザの目に映り込んだ元画面M及び指についての画像が平面上に映り込んだ画像となるように画像変換を行う(S2204)。この画像変換後の画像データは画像データ抽出部342に送られる。そして、画像データ抽出部342は、その送られた画像データについて、一般の画像認識の手法を用いて指が存在しているかどうかを判断し、撮像装置60Bで撮像して得られた一連の画像データの中から指が存在している画像データを抽出する(S223)。その後は、ステップS224に移行する。ステップS224以降の処理は、第十七実施形態における図47のフローチャートによる処理と同様である。
次に、第十九実施形態の端末装置9Bにおいて視認画面Sを用いた画面表示の処理について説明する。図55は第十九実施形態の端末装置9Bにおいて視認画面Sを用いた画面表示の処理の手順を説明するためのフローチャートである。尚、この図55のフローチャートにおいて、上述した第十七実施形態における図48のフローチャートと同一内容を表す処理については、同一のステップ符号を付すことにより、その詳細な説明を省略する。
ここでは、端末30Gにおいてディスプレイ装置制御用プログラムが実行中である場合を考える。すなわち、ディスプレイ装置20、通信部40及び撮像装置60Bは電源オンの状態にあり、端末30Gとディスプレイ装置20及び撮像装置60Bとの間の通信が有効であるとする。
ユーザは、端末30Gを操作して表示部31にメニュー画面を表示させる。そして、ユーザは、そのメニュー画面において画面表示処理用プログラムのアイコンをタップし、その画面表示処理用プログラムを選択する。端末30Gの制御部34Gは、画面表示処理用プログラムが選択された旨の信号を受けると、画面表示処理用プログラムを記憶部33から読み出し、図55に示す処理フローにしたがって視認画面Sを用いた画面表示の処理を行う。尚、この画面表示の処理は、元画面Mがディスプレイ装置20に表示されたときに自動的に実行されるようにしてもよい。
まず、ユーザは、端末30Gを操作して所望の画面をディスプレイ装置20に表示させる。一方、制御部34Gは、撮像装置60Bを制御してユーザの目を撮像する撮像動作を開始する(S241)。ユーザは、現在、ディスプレイ装置20に表示されている元画面Mに対応する視認画面Sに対して指で所望の操作を行う。かかるユーザによる操作の際、ユーザの目には元画面M、又は元画面M及び操作を行っている指が映り込むことになる。そして、ユーザの目は撮像装置60Bで撮像され、その撮像装置60Bで得られた画像データが画像処理部62に送られる。そして、画像処理部62が画像データに対して所定の画像処理を施し、その画像処理を施した画像データが無線通信で撮像装置60Bから制御部34Gに送られる(S242)。
次に、画像変換部353は、撮像装置60Bで撮像して得られた画像データに対して、本来球面の形状を持つユーザの目に映り込んだ元画面M及び指についての画像が平面上に映り込んだ画像となるように画像変換を行う(S2404)。この画像変換後の画像データは画像データ抽出部342に送られる。そして、画像データ抽出部342は、その送られた画像データについて、一般の画像認識の手法を用いて指が存在しているかどうかを判断し、撮像装置60Bで撮像して得られた一連の画像データの中から指が存在している画像データを抽出する(S243)。その後は、ステップS244に移行する。ステップS244以降の処理は、第十七実施形態における図48のフローチャートによる処理と同様である。
第十九実施形態の端末装置は上記第十七実施形態のものと同様の作用・効果を奏する。
特に、第十九実施形態の端末装置には、本来球面の形状を持つユーザの目に映り込んだ元画面及び指についての画像が平面上に映り込んだ画像となるように、撮像装置で撮像して得られた画像データに対して画像変換を行う画像変換部が備えられており、画像データ抽出部は、画像変換部で画像変換が行われた一連の画像データを用いて画像データの抽出処理を行う。これにより、画像データ抽出部によって抽出される一連の画像データでは、歪みが補正されているので、操作位置特定部は、元画面内における指による操作の対象となった位置を正確に特定することができるという利点がある。
尚、この第十九実施形態における画像変換部を、上記第十八実施形態における端末装置の端末に設けるようにしてもよい。
また、上記の第十九実施形態では、ディスプレイ装置及び撮像装置と端末とを無線で接続する場合について説明したが、ディスプレイ装置及び撮像装置と端末とを、ケーブルを用いて有線で接続するようにしてもよい。
[第二十実施形態]
次に、本発明の第二十実施形態である端末装置について説明する。図56は本発明の第二十実施形態である端末装置の概略ブロック図である。尚、本第二十実施形態において、上述した第十七実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。
第二十実施形態である端末装置9Cは、図56に示すように、眼鏡10と、眼鏡10に設けられたディスプレイ装置20と、眼鏡10と別体に構成された、表示部31を有する端末30Hと、通信部40と、ユーザの目を撮像するための撮像装置60Bと、マイク部70と、スピーカ部80と、タッチパッド部90とを備える。また、端末30Hは、表示部31と、通信部32と、記憶部33と、制御部34Hとを備え、制御部34Hは、表示制御部341と、目存在・不存在判定部354と、報知制御部355と、画像データ抽出部342と、操作判定部343と、入力制御部346Eと、操作位置特定部349Eとを有する。
この第二十実施形態の端末装置9Cが第十七実施形態の端末装置9と異なる主な点は、端末30Hの制御部34Hが目存在・不存在判定部354と報知制御部355とを備えている点である。第二十実施形態の端末装置9Cのその他の構成は、第十七実施形態の端末装置9のものと同様である。
目存在・不存在判定部354は、一般の画像認識の手法を用いて撮像装置60Bで撮像して得られた画像データにユーザの目の画像が存在しているかどうかを判定し、ユーザの目の画像が存在していない画像データが撮像装置60Bで一定時間継続して取得されたことを検知するものである。また、報知制御部355は、目存在・不存在判定部354によりユーザの目の画像が存在していない画像データが撮像装置60Bで一定時間継続して取得されたことが検知されたときに、スピーカ部(報知装置)80を制御してそのスピーカ部80から音を発生させるものである。ユーザの目が存在していない画像データが撮像装置60Bで一定時間継続して取得されたということは、ユーザが目を閉じている、例えば寝ていると考えられる。このため、例えばユーザが自動車を運転している場合、報知制御部355は、目存在・不存在判定部354での検知結果に基づいてユーザの居眠りを認識し、スピーカ部80から警報音を発生させることにより、居眠り運転防止を図ることができる。
次に、第二十実施形態の端末装置9Cにおいて視認画面Sを用いた文字入力の処理について説明する。図57は第二十実施形態の端末装置9Cにおいて視認画面Sを用いた文字入力の処理の手順を説明するためのフローチャートである。尚、この図57のフローチャートにおいて、上述した第十七実施形態における図47のフローチャートと同一内容を表す処理については、同一のステップ符号を付すことにより、その詳細な説明を省略する。
ここでは、端末30Hにおいてディスプレイ装置制御用プログラムが実行中である場合を考える。すなわち、ディスプレイ装置20、通信部40及び撮像装置60Bは電源オンの状態にあり、端末30Hとディスプレイ装置20及び撮像装置60Bとの間の通信が有効であるとする。
ユーザは、端末30Hを操作して表示部31にメニュー画面を表示させる。そして、ユーザは、そのメニュー画面において文字入力処理用プログラムのアイコンをタップし、その文字入力処理用プログラムを選択する。端末30Hの制御部34Hは、文字入力処理用プログラムが選択された旨の信号を受けると、文字入力処理用プログラムを記憶部33から読み出し、図57に示す処理フローにしたがって視認画面Sを用いた文字入力の処理を行う。尚、この文字入力の処理は、元画面Mとして文字入力画面200がディスプレイ装置20に表示されたときに自動的に実行されるようにしてもよい。
図57に示す処理フローにしたがい、まず、制御部34Hは、文字入力画面200を元画面Mとしてディスプレイ装置20に表示すると共に、撮像装置60Bを制御してユーザの目を撮像する撮像動作を開始する(S221)。ユーザは、現在、ディスプレイ装置20に表示されている元画面Mに対応する視認画面Sである文字入力画面200のキーボード画像210に対して指で所定の操作、例えばタップ操作を行う。かかるユーザによる操作の際、ユーザの目には元画面M、又は元画面M及び操作を行っている指が映り込むことになる。そして、ユーザの目は撮像装置60Bで撮像され、その撮像装置60Bで得られた画像データが画像処理部62に送られる。そして、画像処理部62が画像データに対して所定の画像処理を施し、その画像処理を施した画像データが無線通信で撮像装置60Bから制御部34Hに送られる(S222)。
次に、目存在・不存在判定部354は、その送られた画像データについて、一般の画像認識の手法を用いて目の画像が存在しているかどうかを判断する(S2205)。目存在・不存在判定部354は、目の画像が画像データに存在していると判定すると、当該画像データを画像データ抽出部342に送出する。その後は、ステップS223に移行する。一方、目存在・不存在判定部354は、目の画像が画像データに存在していないと判定すると、当該画像データを画像データ抽出部342に送出しない。そして、この場合、目存在・不存在判定部354は、ユーザの目の画像が存在していない画像データが撮像装置60Bで一定時間継続して取得されたかどうかを判断する(S2206)。ユーザの目の画像が存在していない画像データが撮像装置60Bで一定時間継続して取得されていなければ、ステップS2205に移行する。一方、目存在・不存在判定部354は、ユーザの目の画像が存在していない画像データが撮像装置60Bで一定時間継続して取得されたと判定すると、その旨の信号を報知制御部355に送信する。報知制御部355は、その信号を受け取ると、ユーザが居眠りをしていると認識し、スピーカ部80を制御してスピーカ部80から所定の警告音を発生させる(S2207)。その後は、ステップS223に移行する。
ステップS223では、画像データ抽出部342は、目存在・不存在判定部354から送られた画像データ(ユーザの目の画像が存在している画像データ)について、一般の画像認識の手法を用いて指が存在しているかどうかを判断し、撮像装置60Bで撮像して得られた一連の画像データの中から指が存在している画像データを抽出する。その後は、ステップS224に移行する。ステップS224以降の処理は、第十七実施形態における図47のフローチャートによる処理と同様である。
次に、第二十実施形態の端末装置9Cにおいて視認画面Sを用いた画面表示の処理について説明する。図58は第二十実施形態の端末装置9Cにおいて視認画面Sを用いた画面表示の処理の手順を説明するためのフローチャートである。尚、この図58のフローチャートにおいて、上述した第十七実施形態における図48のフローチャートと同一内容を表す処理については、同一のステップ符号を付すことにより、その詳細な説明を省略する。
ここでは、端末30Hにおいてディスプレイ装置制御用プログラムが実行中である場合を考える。すなわち、ディスプレイ装置20、通信部40及び撮像装置60Bは電源オンの状態にあり、端末30Hとディスプレイ装置20及び撮像装置60Bとの間の通信が有効であるとする。
ユーザは、端末30Hを操作して表示部31にメニュー画面を表示させる。そして、ユーザは、そのメニュー画面において画面表示処理用プログラムのアイコンをタップし、その画面表示処理用プログラムを選択する。端末30Hの制御部34Hは、画面表示処理用プログラムが選択された旨の信号を受けると、画面表示処理用プログラムを記憶部33から読み出し、図58に示す処理フローにしたがって視認画面Sを用いた画面表示の処理を行う。尚、この画面表示の処理は、元画面Mがディスプレイ装置20に表示されたときに自動的に実行されるようにしてもよい。
まず、ユーザは、端末30Hを操作して所望の画面をディスプレイ装置20に表示させる。一方、制御部34Hは、撮像装置60Bを制御してユーザの目を撮像する撮像動作を開始する(S241)。ユーザは、現在、ディスプレイ装置20に表示されている元画面Mに対応する視認画面Sに対して指で所望の操作を行う。かかるユーザによる操作の際、ユーザの目には元画面M、又は元画面M及び操作を行っている指が映り込むことになる。そして、そのユーザの目は撮像装置60Bで撮像され、その撮像装置60Bで得られた画像データが画像処理部62に送られる。そして、画像処理部62が画像データに対して所定の画像処理を施し、その画像処理を施した画像データが無線通信で撮像装置60Bから制御部34Hに送られる(S242)。
次に、目存在・不存在判定部354は、その送られた画像データについて、一般の画像認識の手法を用いて目の画像が存在しているかどうかを判断する(S2405)。目存在・不存在判定部354は、目の画像が画像データに存在していると判定すると、当該画像データを画像データ抽出部342に送出する。その後は、ステップS243に移行する。一方、目存在・不存在判定部354は、目の画像が画像データに存在していないと判定すると、当該画像データを画像データ抽出部342に送出しない。そして、この場合、目存在・不存在判定部354は、ユーザの目の画像が存在していない画像データが撮像装置60Bで一定時間継続して取得されたかどうかを判断する(S2406)。ユーザの目の画像が存在していない画像データが撮像装置60Bで一定時間継続して取得されていなければ、ステップS2405に移行する。一方、目存在・不存在判定部354は、ユーザの目の画像が存在していない画像データが撮像装置60Bで一定時間継続して取得されたと判定すると、その旨の信号を報知制御部355に送信する。報知制御部355は、その信号を受け取ると、ユーザが居眠りをしていると認識し、スピーカ部80を制御してスピーカ部80から所定の警告音を発生させる(S2407)。その後は、ステップS243に移行する。
ステップS243では、画像データ抽出部342は、目存在・不存在判定部354から送られた画像データ(ユーザの目の画像が存在している画像データ)について、一般の画像認識の手法を用いて指が存在しているかどうかを判断し、撮像装置60Bで撮像して得られた一連の画像データの中から指が存在している画像データを抽出する。その後は、ステップS244に移行する。ステップS244以降の処理は、第十七実施形態における図48のフローチャートによる処理と同様である。
第二十実施形態の端末装置は上記第十七実施形態のものと同様の作用・効果を奏する。
特に、第二十実施形態の端末装置には、撮像装置で撮像して得られた画像データにユーザの目の画像が存在しているかどうかを判定し、ユーザの目の画像が存在していない画像データが撮像装置で一定時間継続して取得されたことを検知する目存在・不存在判定部と、目存在・不存在判定部がユーザの目の画像が存在していない画像データが撮像装置で一定時間継続して取得されたことを検知したときに、スピーカ部を制御してそのスピーカ部から音を発生させる報知制御部とが備えられている。これにより、例えば、自動車の運転者が本第二十実施形態の端末装置を利用する場合、報知制御部は、目存在・不存在判定部によりその運転者の目の画像が存在していない画像データが撮像装置で一定時間継続して取得されたことが検知されたときに、スピーカ部からアラームを発生させることによって居眠り運転を防止することができる。
尚、この第二十実施形態における目存在・不存在判定部及び報知制御部を、第十八実施形態又は第十九実施形態における端末装置の端末に設けるようにしてもよい。また、第二十実施形態における目存在・不存在判定部及び報知制御部を、第十九実施形態における画像変換部とともに、第十八実施形態における端末装置の端末に設けるようにしてもよい。
また、上記の第二十実施形態では、ディスプレイ装置及び撮像装置と端末とを無線で接続する場合について説明したが、ディスプレイ装置及び撮像装置と端末とを、ケーブルを用いて有線で接続するようにしてもよい。
[第二十一実施形態]
次に、本発明の第二十一実施形態である端末装置について説明する。図59(a)は本発明の第二十一実施形態である端末装置の概略平面図、図59(b)はその端末装置の概略右側面図である。図60は図59に示す端末装置の概略斜視図である。尚、本第二十一実施形態では、上述した第三実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。
第二十一実施形態の端末装置2Cは、図59及び図60に示すように、眼鏡10と、眼鏡10に設けられたディスプレイ装置20Aと、眼鏡10と別体に構成された、表示部31を有する端末30Aと、通信部40と、ユーザの前方を撮像するための撮像装置60とを備える。
上記の各実施形態では、ディスプレイ装置が、小型プロジェクタと、光学系と、ホログラムシートとを備える場合について説明したが、本第二十一実施形態の端末装置2Cでは、ディスプレイ装置20Aとして、画像を、ホログラムシートの代わりに、ハーフミラーに投影するものを用いる。すなわち、第二十一実施形態の端末装置2Cが上記の第三実施形態の端末装置2Aと異なる点は、ディスプレイ装置の構成だけであり、その他の点については、第二十一実施形態の端末装置2Cは第三実施形態の端末装置2Aと全く同じである。
ディスプレイ装置20Aは、図59及び図60に示すように、液晶パネル(表示デバイス)を有する小型プロジェクタ(不図示)と、光(映像)の一部を反射する光学系(不図示)と、ハーフミラー24とを備える。ハーフミラー24は、ユーザの顔の前側であってユーザの視野の範囲内に配置される。このハーフミラー24としては、様々な大きさ・形状のものを用いることができる。ここでは、ハーフミラー24は、眼鏡10のレンズ部11の前に配置されたプリズムの中に埋め込まれている。この場合、光学系は、このプリズムのみ、又は、このプリズムとレンズ等の組合せにより構成される。また、ディスプレイ装置20Aと撮像装置60はそれぞれ、眼鏡10に着脱可能に設けるようにしてもよい。尚、ハーフミラー24を、眼鏡10のレンズ部11の前に配置されたプリズムと一体化し、又は眼鏡10のレンズ部11の前に配置されたプリズムに貼り付けるようにしてもよい。また、ハーフミラー24は、眼鏡10のレンズ部11に貼り付けられ、又は眼鏡10のレンズ部11に埋め込まれ若しくは一体化されていてもよい。
小型プロジェクタの液晶パネルに表示された画像や映像は、光学系を介してハーフミラー24に投影される。これにより、このハーフミラー24には極小な元画面が表示される。ユーザは、眼鏡10をかけて第二十一実施形態の端末装置2Cを使用すると、図59及び図60に示すように、ハーフミラー24に表示される極小な元画面の像である半透明の視認画面Sを空中に浮かんでいるように見ることができる。尚、ここでは、ハーフミラー24の全体に小型プロジェクタの液晶パネルに表示された画像や映像が投影されるが、ハーフミラー24の一部に画像や映像を投影するようにしてもよい。
第二十一実施形態の端末装置は上記第三実施形態のものと同様の作用・効果を奏する。
尚、本第二十一実施形態で説明した、画像をハーフミラーに投影するディスプレイ装置は、第三実施形態の端末装置に限らず、上述した他の実施形態の端末装置にも適用することができる。特に、画像をハーフミラーに投影するディスプレイ装置20Aを第十七乃至第二十のいずれかの実施形態の端末装置に適用する場合には、撮像装置60Bの撮像レンズを、ディスプレイ装置20Aのハーフミラー24の近傍に取り付けるようにしてもよい。例えば、このような構成を第十七実施形態の端末装置に適用した場合を説明する。図61(a)は画像をハーフミラーに投影するディスプレイ装置を備えると共に撮像レンズがハーフミラーの近傍に取り付けられた第十七実施形態の端末装置の概略平面図、図61(b)はその端末装置の概略右側面図である。図62は図61に示す端末装置の概略斜視図である。図61に示すように、撮像レンズをハーフミラー24の近傍に取り付けたことにより、ユーザの目に向かう撮像レンズの光軸の方向と、ユーザが元画面Mを見るときの視線方向とのずれを最小限に抑えることができる。このため、操作位置特定部による元画面M内における操作位置の特定を正確に行うことができる。尚、この場合も、ディスプレイ装置20Aと撮像装置60Bは、眼鏡10に着脱可能に設けるようにしてもよい。
また、上記の第二十一実施形態では、ディスプレイ装置及び撮像装置と端末とを無線で接続する場合について説明したが、ディスプレイ装置及び撮像装置と端末とを、ケーブルを用いて有線で接続するようにしてもよい。
[第二十二実施形態]
次に、本発明の第二十二実施形態である端末装置について説明する。図63は本発明の第二十二実施形態である端末装置の概略斜視図である。尚、本第二十二実施形態では、上述した第一実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。
第二十二実施形態の端末装置1Cは、図63に示すように、ユーザの頭部に装着される装着物としてのフェイスシールド1000と、フェイスシールド1000に設けられたディスプレイ装置20と、フェイスシールド100と別体に構成された、表示部31を有する端末30と、通信部40とを備える。
上記の各実施形態では、ユーザの頭部に装着される装着物が眼鏡である場合について説明したが、本第二十二実施形態の端末装置1Cでは、装着物としてフェイスシールドを用いる。すなわち、第二十二実施形態の端末装置1Cが上記の第一実施形態の端末装置1Aと異なる点は、眼鏡の代わりにフェイスシールド1000を用いた点だけであり、その他の点については、第二十二実施形態の端末装置1Cは第一実施形態の端末装置1Aと全く同じである。
図63に示すように、フェイスシールド1000は、ユーザの顔の表面の一部又は全部を覆うように構成された透明なシールド部1001と、そのシールド部1001を固定するフレーム1002とを有する。この場合、ディスプレイ装置20のホログラムシート23は、例えば、シールド部1001の所定箇所に貼り付けられ、又はシールド部1001に埋め込まれ若しくは一体化される。図63の例では、ホログラムシート23として小さな長方形状のものを用い、そのホログラムシート23を横長の状態にしてシールド部1001の上部であってやや右側に貼り付けている。
ところで、フェイスシールド1000のシールド部1001は、眼鏡のレンズ部に比べて広い面積を有しているので、ホログラムシート23として大きなサイズのものを用いることにより、画像を投影する範囲を容易に拡大することができる。図64は第二十二実施形態の端末装置に貼り付けられる大きなサイズのホログラムシート23の例を示す図である。この図64に示す例では、ホログラムシート23として大きな長方形状のものを用いて、そのホログラムシート23を横長の状態にしてシールド部1001の下部に貼り付けている。このホログラムシート23の全体に、小型プロジェクタ21の液晶パネルに表示された画像や映像を投影することにより、ユーザは大きな視認画面を空中に浮かんでいるように見ることができる。また、この場合、他者がホログラムシートに投影された大きな投影画面を見ることができないようにするため、ホログラムシート23の取り付け位置を含むシールド部1001の一部を半透明又は非透過性の素材で作製したり、当該シールド部1001の一部に半透明又は非透過性のフィルムを貼り付けたりすることが望ましい。一例として、図65にフェイスシールド1000のシールド部1001の一部が半透明又は非透過性であるように構成された図64の端末装置を示す。図65では、フェイスシールド1000のシールド部1001の下半分に半透明のフィルム1003を貼り付けている。
第二十二実施形態の端末装置は上記第一実施形態のものと同様の作用・効果を奏する。
尚、上記の第二十二実施形態では、ディスプレイ装置と端末とを無線で接続する場合について説明したが、ディスプレイ装置と端末とを、ケーブルを用いて有線で接続するようにしてもよい。
また、第一実施形態の端末装置に限らず、上述した他の実施形態についても、眼鏡の代わりにフェイスシールドを用いることができる。例えば、図66は装着物としてフェイスシールド1000を用いた第二実施形態の端末装置の概略斜視図である。また、図67は装着物としてフェイスシールド1000を用いると共にディスプレイ装置20A及び撮像装置60と端末30Aとを無線で接続した第二十一実施形態の端末装置の概略斜視図であり、図68は装着物としてフェイスシールド1000を用いると共にディスプレイ装置20A及び撮像装置60と端末30Aとを有線で接続した第二十一実施形態の端末装置の概略斜視図である。ここで、図67及び図68に示す端末装置では、ディスプレイ装置20Aと撮像装置60は、フェイスシールド1000に着脱可能に構成することができる。
[他の実施形態]
尚、本発明は上記の各実施形態に限定されるものではなく、その要旨の範囲内において種々の変形が可能である。
例えば、上記の各実施形態における特徴的な構成を他の実施形態に転用するようにしてもよい。すなわち、上記の各実施形態における特徴的な構成を自由に組み合わせることにより構成される端末装置も本発明を構成する。
上記の第三乃至第二十二の各実施形態では、ユーザが視認画面に対して指で操作を行う場合について説明したが、例えば、ユーザはスタイラスやペン等の入力指示具を用いて視認画面に対して操作を行うようにしてもよい。この場合、操作判定部は、ユーザの目に映り込んだ元画面及び入力指示具を撮像装置が撮像したときに、その撮像して得られた一連の画像データに基づいて当該入力指示具による操作が各種の操作のうちどのような内容の操作であるのかを判定し、操作位置特定部は、ユーザの目に映り込んだ元画面及び入力指示具を撮像装置が撮像したときに、その撮像して得られた一連の画像データに基づいて当該入力指示具による操作の対象となった位置が当該元画面内におけるどの位置であるのかを特定することになる。
上記の第三乃至第二十二の各実施形態において、ユーザは、視認画面に対して指でタッチ操作を行う場合に、指先に所定のマークを付しておくようにしてもよい。マークとしては、円や四角形等の単純な図形や記号等を用いることができる。ここで、指先にマークを付す方法としては、マークを直接、指先に描く方法だけでなく、マークを記したシールを指先に貼り付ける方法、マークを記したサック又はリングを指先に装着する方法等を用いることができる。具体的に、図9(a),図10(a)に示すように、視認画面の表側から指でタッチ操作を行う場合には、マークを指の爪側に付しておくようにすればよい。一方、図9(b),図10(b)に示すように、視認画面の表側だけでなく裏側からも指でタッチ操作する場合には、マークを指の爪側と、指先又は指の腹側(指紋のある部分)との両側に付しておくようにすればよい。尚、視認画面の裏側からのみ指でタッチ操作を行う場合には、マークを指先又は指の腹側にだけ付しておくようにしてもよい。この場合、画像データ抽出部は、マークが存在している画像データを、指が存在している画像データとして抽出する。そして、操作判定部は、マークの動きに基づいて指による操作がどのような内容の操作であるかを判定し、操作位置特定部は、マークの位置を指による操作の対象となった位置として特定する。実際、画像データの解析・処理に際しては、指自体の認識よりも単純な図形等のマークの認識の方が容易且つ正確に行うことができるので、画像認識の精度の向上を図ることができる。
上記の各実施形態では、ディスプレイ装置が、表示デバイスを有する小型プロジェクタ(投影装置)と、光学系と、プロジェクタの表示デバイスに表示された元画面が光学系を介して投影される投影部としてのホログラムシート又はハーフミラーとを備える場合について説明したが、ホログラムシート又はハーフミラーの代わりに、例えば、半透明スクリーン、透過型スクリーン、ホログラム光学素子を用いるようにしてもよい。
上記の各実施形態では、ディスプレイ装置が、表示デバイスを有する小型プロジェクタ(投影装置)と、レンズやプリズム等の光学系と、プロジェクタの表示デバイスに表示された元画面が光学系を介して投影される投影部とを備える場合について説明したが、光学系は、導光板や導波路を含むものであってもよい。すなわち、光学系は、レンズ、反射鏡、プリズム、導光板や導波路等のうちその一部又は全部から構成されるものを用いてもよい。また、導光板や導波路の代わりに、その他の光学系を用いてもよい。
上記の各実施形態では、ディスプレイ装置の小型プロジェクタとして液晶パネルを有するものを用いた場合について説明したが、小型プロジェクタとしては、液晶パネルの代わりに、有機EL(Electro-Luminescence)パネルや無機ELパネル等の表示デバイスを有するものを用いてもよい。
また、上記の各実施形態では、ディスプレイ装置として、小型プロジェクタ、光学系、ホログラムシート等を有するものを用いた場合について説明したが、ディスプレイ装置は、小型プロジェクタ、光学系、ホログラムシート等を含まず、透過型又は透明型の表示デバイスのみで構成されていてもよい。この透過型又は透明型の表示デバイスは、ユーザの顔の前側であってユーザの視野の範囲内に配置される。透過型又は透明型の表示デバイスとしては、例えば、透過型若しくは透明型の液晶パネル、透過型若しくは透明型の有機ELパネル、又は、透過型若しくは透明型の無機ELパネルを用いることができる。この場合でも、ユーザは透過型又は透明型の表示デバイスに表示された元画面そのものを見ると、その元画面に対応する視認画面を空中に浮かんでいるように認識することになる。尚、透過型又は透明型の表示デバイスについては、その表示デバイスの画面の背景等の状況によりユーザが画面の内容を認識しにくい場合、または外部から画面が覗かれるのを避けたい場合には、表示デバイスの外側にカバーを付けるようにしてもよい。これにより、表示デバイスの画面を見やすいようにすると共に他人の視線を遮断することができる。また、カバーの代わりに、エレクトロクロミック材料を使った電子カーテンを使用してもよい。
また、上記の各実施形態では、ディスプレイ装置として、小型プロジェクタ、光学系、ホログラムシート等を有するものを用いた場合について説明したが、ディスプレイ装置は、小型プロジェクタ、光学系、ホログラムシート等を含まず、透明型又は透過型ではない表示デバイスのみで構成されていてもよい。この表示デバイスは、ユーザの顔の前側であってユーザの視野の範囲内に配置される。透明型又は透過型ではない表示デバイスとしては、例えば通常の液晶パネル、有機ELパネル、無機ELパネルを用いることができる。
上記の各実施形態において、ディスプレイ装置と撮像装置とはそれぞれ、ユーザの頭部に装着される装着物に着脱可能に設けるようにしてもよい。
また、上記の各実施形態において、ディスプレイ装置が、表示デバイスを有する小型プロジェクタ(投影装置)と、光学系と、プロジェクタの表示デバイスに表示された元画面が光学系を介して投影される投影部(ホログラムシート、ハーフミラー等)とを備える場合、投影部は、ユーザの頭部に装着される装着物に着脱可能に設けるようにしてもよい。図81は眼鏡10のレンズ部11に着脱可能に貼り付けられるホログラムシートの例を示す図である。図81に示すように、ユーザはそのホログラムシートを眼鏡10のレンズ部11の所望の位置に何度でも貼り替えることができる。ここで、図81に示すように、ホログラムシートとしては、様々な大きさ・形状のものを用いることができる。尚、この例では、ホログラムシートを眼鏡10の片眼部分に貼り付けているが、眼鏡10の両眼部分に貼り付けるようにしてもよい。また、図82は眼鏡10のレンズ部11に着脱可能に取り付けられるホログラムシートの例を示す図である。図82の例では、眼鏡10のレンズ部11とほぼ同じ形状のアタッチメントを用い、このアタッチメントの一部の面又は全面にホログラムシートが貼り付けられている。ユーザはそのアタッチメントを眼鏡10に着脱可能に取り付けることができる。すなわち、ホログラムシートはアタッチメントを利用することにより眼鏡10に着脱可能に設けられる。尚、この例では、アタッチメントを眼鏡10の片眼部分に取り付けているが、眼鏡10の両眼部分に取り付けるようにしてもよい。
更に、上記の各実施形態において、ディスプレイ装置が、表示デバイスを有する小型プロジェクタ(投影装置)と、光学系と、プロジェクタの表示デバイスに表示された元画面が光学系を介して投影される投影部(ホログラムシート、ハーフミラー等)とを備える場合、小型プロジェクタ、又は、小型プロジェクタ及び光学系は、ユーザの頭部に装着される装着物に着脱可能に設けるようにしてもよい。また、これらと共に撮像装置も装着物に着脱可能に設けるようにしてもよい。尚、同時に別途、投影部を装着物に着脱可能に設けるようにしてもよい。
上記の各実施形態では、ディスプレイ装置に一つの元画面を表示する場合について説明したが、本発明は、これに限定されるものではなく、ディスプレイ装置に二つの元画面を表示するようにしてもよい。この場合、ユーザは二つの視認画面を空中に浮かんでいるように見ることになる。例えば、文字入力画面のキーボード画像を二つに分け、キーボード画像を右側キーボード画像と左側キーボード画像とから構成する場合には、ユーザは、右側キーボード画像と左側キーボード画像を空中に浮かんでいるように認識し、両手の指で文字の入力を行うことができる。
上記の各実施形態では、本発明の端末装置が一つのディスプレイ装置を備える場合について説明したが、本発明の端末装置は二つのディスプレイ装置を備えていてもよい。図69(a)はホログラムシートを有するタイプの二つのディスプレイ装置を備える端末装置の概略斜視図、図69(b)はハーフミラーを有するタイプの二つのディスプレイ装置を備える端末装置の概略斜視図である。図69(a)では、一方のディスプレイ装置20におけるプロジェクタ21及び光学系22を眼鏡10の右側の柄に取り付け、そのディスプレイ装置20におけるホログラムシート23を右眼用のレンズ部11に貼り付けている。そして、他方のディスプレイ装置20におけるプロジェクタ21及び光学系22を眼鏡10の左側の柄に取り付け、そのディスプレイ装置20におけるホログラムシート23を左眼用のレンズ部11に貼り付けている。ここで、ホログラムシート23としては小さな長方形状のものを用い、二つのホログラムシート23,23をそれぞれ、横長の状態にしてレンズ部11の右上部、左上部に貼り付けている。また、図69(b)では、一方のディスプレイ装置20aにおけるハーフミラーは、眼鏡10の右側のレンズ部11の前に配置されたプリズムの中に埋め込まれ、他方のディスプレイ装置20aにおけるハーフミラーは、眼鏡10の左側のレンズ部11の前に配置されたプリズムの中に埋め込まれている。図69(a)及び(b)のいずれの端末装置でも、ユーザは、一方のディスプレイ装置による視認画面を右眼で認識し、他方のディスプレイ装置による視認画面を左目で認識することになる。また、各ディスプレイ装置に対応して撮像装置を設けている場合には、各撮像装置はそれぞれの側の目を撮像することになる。
また、ディスプレイ装置が二つ設けられている場合、各ディスプレイ装置におけるホログラムシートとしては、様々な大きさ・形状のものを用いることができる。図70は二つのディスプレイ装置を備える端末装置における眼鏡のレンズ部に貼り付けられるホログラムシートの例を示す図である。図70(a)に示す例では、ホログラムシートとして小さな長方形状のものを用いて、二つのホログラムシートをそれぞれ、縦長の状態にしてレンズ部の右上部又は左上部に貼り付けている。図70(b)に示す例では、ホログラムシートとして大きな長方形状のものを用いて、二つのホログラムシートをそれぞれ、横長の状態にしてレンズ部の右上部又は左上部に貼り付けている。また、図70(c)に示す例では、二つのホログラムシートをそれぞれ、右眼用レンズ部又は左眼用レンズ部の全面に貼り付けている。
上記の第四乃至第二十一の各実施形態では、画像処理部が撮像装置に設けられている場合について説明したが、この画像処理部は、撮像装置ではなく、端末の制御部に設けるようにしてもよい。
上記の各実施形態では、筐体に設けられた電池等の電源部からディスプレイ装置等に電力を供給したり、端末からケーブルを介してディスプレイ装置等に電源を供給したりする場合について説明したが、ユーザの頭部に装着される装着物に透過型の太陽電池を取り付け、この太陽電池からディスプレイ装置等に電源を供給するようにしてもよい。この太陽電池を装着物に取り付けるには様々な方法が考えられる。図71乃至図73は装着物としての眼鏡を備える端末装置において太陽電池の取り付け方法を説明するための図、図74及び図75は装着装置としてのフェイスシールドを備える端末装置において太陽電池の取り付け方法を説明するための図である。
図71に示す端末装置では、太陽電池301を眼鏡10のレンズ部11と一体化させている。図72に示す端末装置では、太陽電池302を眼鏡10の二つのレンズ部11,11の形状と同じ形状に形成し、眼鏡10のレンズ部11,11にその前側から取り付けている。この太陽電池302はレンズ部11,11に対して着脱可能である。また、図73に示す端末装置でも、太陽電池303を眼鏡10の二つのレンズ部11,11の形状と同じ形状に形成し、眼鏡10のレンズ部11,11にその前側から取り付けている。この太陽電池303は図73(c)に示すように、跳ね上げ可能である。図73(a)及び(b)では、太陽電池303を跳ね上げた状態が示されている。尚、跳ね上げ式の太陽電池303は、眼鏡10に固定して取り付けられるが、着脱可能に構成してもよい。
図74に示す端末装置では、太陽電池304をフェイスシールド1000のつばの形状に形成し、フェイスシールド1000のフレーム1002に取り付けている。ここで、図74(a)は端末装置を斜め上から見た図を示し、図74(b)は端末装置を横から見た図を示す。また、図75に示す端末装置では、太陽電池305をフェイスシールド1000のシールド部1001の一部に取り付けている。具体的には、太陽電池305をシールド部1001の略半分の大きさに形成し、シールド部1001の下部に取り付けている。
尚、太陽電池を装着物に取り付ける場合、その太陽電池が発電した電気を貯めておく電源部を設けることが必要である。端末とディスプレイ装置とを無線で接続した場合にあっては、電源部は、筐体又は装着物に設けられる。一方、端末とディスプレイ装置とを有線で接続した場合にあっては、電源部は、筐体又は装着物と端末との両方又はいずれか一方に設けられる。特に、電源部が端末のみに設けられたときは、発電の際に端末側に電気を貯めておき、端末からディスプレイ装置に有線で電力を供給することになる。
上記の第十七乃至第二十の各実施形態では、端末装置がタッチパッド部を備える場合について説明したが、そのタッチパッド部を他の実施形態の端末装置に設けるようにしてもよい。例えば、装着物としてフェイスシールドを用いた端末装置に、タッチパッド部を設けることができる。図76は装着物としてフェイスシールド1000を用いた端末装置においてタッチパッド部90の取り付け場所を説明するための図である。タッチパッド部90は、図76(a)に示すようにフレーム1002の右側に取り付けたり、図76(b)に示すようにシールド部1001の右下側に取り付けたりすることができる。尚、タッチパッド部90は当該部分に固定して取り付けられるが、着脱可能に構成してもよい。また、端末装置が二つのディスプレイ装置を備える場合には、タッチパッド部を、簡易キーボード機能を有するものと、操作パネル等の機能を有するものとの二つに分け、それらをそれぞれ、例えばフレーム1002の左側、右側に取り付けるようにしてもよい。
また、上記の第三乃至第二十二の各実施形態において、端末の記憶部に、当該端末以外の他の携帯端末(携帯電話、スマートフォン、スマートウォッチ、タブレット端末、デジタルオーディオプレイヤーやラップトップコンピュータ等)についての操作画面や、当該端末以外の他の情報端末(パーソナルコンピュータ等)についての操作画面や、家庭電気製品(照明、テレビ、エアコンやセキュリティシステム等)についてのリモコン画面や、電装装置(カーステレオ、カーナビゲーション、車載AV機器やエアコン等)についてのコントロールパネル画面を元画面として記憶しておくようにしてもよい。この場合、ユーザが、端末を操作することにより元画面として上記操作画面等をディスプレイ装置に表示させ、その元画面に対応する視認画面に対して指で操作を行ったときに、端末の制御部(遠隔制御部)はその操作の内容を示す指令信号(コマンド)を生成し、通信部を介してその生成した指令信号を上記携帯端末等に無線送信する。これにより、上記携帯端末等をリモートで操作することができる。すなわち、本発明の端末装置はエアコン等の遠隔制御可能な装置についてのリモートコントローラ(リモコン)として使用することもできる。図77は元画面としてエアコンについてのリモートコントローラの操作部に対応する画面(リモコン画面)を用い、そのリモコン画面に対応する視認画面に対してユーザが操作を行うときの様子を示す図である。図77に示すように、ユーザがその視認画面に対して設定温度を下げることを指示するボタンを指で操作すると、端末の制御部は設定温度を下げる旨のコマンドを生成し、通信部を介してそのコマンドを赤外線通信によりエアコンに送信し、これにより、ユーザはエアコンの設定温度を容易に下げることができる。また、図78は、携帯電話で電話をかける際の操作画面についての元画面の例を示す図である。ユーザは、図78(a)又は(b)に示すような電話番号を入力するための元画面に対応する視認画面に対して、所望の電話番号を入力すると、端末の制御部は当該電話番号に対して電話をかける旨のコマンドを生成し、通信部を介してそのコマンドを携帯電話に送信し、これにより、ユーザは携帯電話を手で持たずに電話をかけることができる。
上記の各実施形態では、端末としてスマートフォンやタブレット端末等の携帯端末を用いた場合について説明したが、本発明の端末装置では、端末として、スマートフォンやタブレット端末に限らず、例えば、スマートウォッチ、デジタルオーディオプレイヤー、パーソナルコンピュータ、カーナビゲーション、車載AV機器、専用端末等を用いるようにしてもよい。
上記の各実施形態において、端末を、ディスプレイ装置の画面上での各種の操作(例えば、ポインタの動作、文字の入力等)を指示するためのタッチパッド部として使用するようにしてもよい。すなわち、端末にタッチパッド機能を持たせるようにしてもよい。例えば、端末としてスマートフォンやタブレット端末を用いている場合には、その端末の表示部にタッチパッドの画像を表示し、表示部の画面自体をタッチパッド部として使用することができる。図79は端末としてスマートフォンを用いている場合にその端末の画面をタッチパッド部として使用している様子を示す図である。ここで、ユーザは、指や入力指示具を用いて表示部31の画面(タッチパッド部)を操作する。具体的に、端末30Aには、表示部31の画面に対して接触操作が行われたときにその接触した位置を検知し、その検知した位置を示す接触位置情報を入力制御部346に出力する位置検知部が備えられている。また、端末30Aの記憶部33には、表示部31に表示されるタッチパッドの画像に関するデータが記憶されている。入力制御部346は、ディスプレイ装置20に元画面Mが表示されている場合、表示部31にタッチパッドの画像が表示され、ユーザがタッチパッドの画像上で接触操作を行ったときに、位置検知部から送られる当該接触操作に対する接触位置情報及び記憶部33に記憶されているタッチパッドの画像に関するデータに基づいて当該接触操作の内容を認識し、その認識した接触操作の内容にしたがって、ディスプレイ装置20に表示されている元画面Mの制御を行う。また、端末としてパーソナルコンピュータを用いている場合には、そのパーソナルコンピュータに付帯するタッチパッドやキーボードをタッチパッド部として使用することができる。尚、タッチパッド部としては、マウス機能を有するもの、簡易キーボード機能を有するもの、又は、マウス機能と簡易キーボード機能の両方を有するものを用いることができる。また、タッチパッド部としては、これらに限らず、番号パネルや操作パネル等を有するものを用いてもよい。
上記の各実施形態において、端末を、ディスプレイ装置の画面上に表示されたカーソルを移動したりその画面上に表示された対象を選択したりするマウスとして使用するようにしてもよい。すなわち、端末にマウス機能を持たせるようにしてもよい。この場合、端末には、当該端末の移動方向を検知すると共に当該端末の移動量を計測し、その検知した移動方向及びその計測した移動量を示す移動情報を入力制御部に出力する移動情報出力部が備えられている。また、端末の記憶部には、端末の移動情報とディスプレイ装置に表示されるカーソルに関連する操作との対応関係を表すデータが記憶されている。入力制御部は、ディスプレイ装置に元画面が表示されている場合、ユーザが端末を移動させたときに、移動情報出力部から送られる当該移動に対する移動情報及び記憶部に記憶されている上記対応関係を表すデータに基づいてカーソルに関連する操作の内容を認識し、その認識した操作の内容にしたがって、ディスプレイ装置に表示されている元画面の制御を行う。例えば、上記対応関係を表すデータには、端末を表示部の画面の右(左)方向に動かすことがカーソルを右(左)方向に移動させることに対応すること、端末を表示部の画面の上(下)方向に動かすことがカーソルを上(下)方向に移動させることに対応すること、端末を表示部の画面の垂直方向に短く一回動かすことがタップ操作を行うことに対応すること、端末を表示部の画面の垂直方向に短く二回動かすことがダブルタップ操作を行うことに対応すること、端末を表示部の画面の垂直方向に長く動かすことがスワイプ操作を行うことに対応すること等の内容が含まれている。これにより、ユーザは、端末をその画面の右(左)方向に動かすことにより、カーソルが右(左)方向に移動すべきことを端末に指示し、端末をその画面の上(下)方向に動かことにより、カーソルが上(下)方向に移動すべきことを端末に指示することができる。図80は端末としてスマートフォンを用いている場合にその端末をマウスとして使用してカーソルの移動を指示している様子を示す図である。尚、端末がマウス機能だけでなく、上述のタッチパッド機能を有する場合には、ユーザは、マウス機能を利用してカーソルの移動を端末に指示し、タッチパッド機能を利用してタップ、ダブルタップ、スワイプ、ドラッグ等を端末に指示することも可能である。
上記の各実施形態の端末装置では、ユーザの頭部に装着される装着物として眼鏡又はフェイスシールドを用いた場合について説明したが、本発明の端末装置では、装着物として、例えば、ヘッドセット型端末、ヘッドマウンテッドディスプレイ(HMD)型端末、ゴーグル型端末を用いることも可能である。