−第1の実施の形態−
図面を参照しながら、第1の実施の形態による表示装置について説明する。第1の実施の形態においては、本実施の形態の表示装置が携帯電話に組み込まれた場合を一例に挙げて説明を行う。なお、本実施の形態の表示装置は、携帯電話に限らず、タブレット端末、腕時計型端末等の携帯型情報端末装置、パーソナルコンピュータ、音楽プレイヤ、固定電話機、ウエアラブル装置等の電子機器に組み込むことが可能である。
図1(a)は表示装置1の分解斜視図であり、図1(b)は表示装置1の一部を拡大して示す側面図である。なお、説明の都合上、表示装置1について、X軸、Y軸およびZ軸からなる座標系を図示の通りに設定する。なお、座標系はX軸、Y軸およびZ軸からなる直交座標系に限らず、極座標系や円筒座標系を採用してもよい。即ち、X軸は、表示装置1の矩形表示面の短辺方向に設定され、Y軸は、表示装置1の矩形表示面の長辺方向に設定され、Z軸は、表示面に垂直な方向に設定されている。
表示装置1は、制御部20を内蔵する本体10と、表示器11と、結像光学系12と、操作検出器13とを備える。表示器11と結像光学系12と操作検出器13は、本体10内に配置されている。表示器11は、たとえば、液晶表示器や有機EL表示器等により構成され、二次元状に配列された複数の表示画素配列を有する。表示器11は、制御部20により制御されて、表示用画像データに対応する画像を表示する。結像光学系12は、表示器11の上方(Z方向+側)に、表示器11から所定の間隔を設けて配置される。たとえば、結像光学系12は図1(b)に明示するように、微小な凸レンズ121が二次元状に配列されたマイクロレンズアレイをZ方向に2個重ねて構成される。
結像光学系12は、表示器11に表示された表示画像の空中像30を、表示装置1の上方空間に形成する。即ち、表示装置1の使用者(以下、ユーザという)は、表示器11に表示された表示画像を、表示装置1の上方の空中に浮いた空中像30として観察することができる。空中像30は、表示装置1の各種設定や各種機能の実行を指示するための操作ボタンに対応する複数のアイコン30A(操作ボタン)を含む。本実施の形態にあっては、アイコン30Aは、例えば3行×5列に配列されている。なお、結像光学系としてのマイクロレンズアレイに代えて、ピンホールアレイやスリットアレイを用いることも可能である。
操作検出器13は、結像光学系12の上方(Z方向+側)に設けられ、たとえば、公知の透明静電容量式パネル(以下、静電容量パネルと記載)によって構成される。静電容量パネルからなる操作検出器13は、実質的に透明な部材からなる電極によって電界を形成する。操作検出器13は、ユーザが空中像30の表示位置を操作するために指またはスタイラスを空中像30の方に移動させた場合に、その指またはスタイラスの位置を静電容量の値として検出する。例えば、透明静電容量パネルの四隅で検出された静電容量の値を比較し、四隅で検出した静電容量の値に基づいて、ユーザの指のX軸、Y軸上での位置を検出する。また、操作検出器13は、後に詳述するように自身の上方向の所定範囲に静電容量の検出範囲を有し、この所定の検出範囲内の指またはスタイラスと操作検出器13との間の間隔(Z軸上での位置)を、例えば、透明静電容量パネルの四隅で検出された静電容量の値を比較し、四隅で検出した静電容量の値に基づいて検出する。勿論、空中像30は、操作検出器13の所定の検出範囲内に位置するように、好ましくは所定の検出範囲の上下方向の中頃に位置するように、結像光学系12によって結像される。このように、操作検出器13は、ユーザが空中像30の表示位置を指またはスタイラスで操作することを検出するので、ユーザは、操作検出器13に直接に触れることなく、空中像30に対する操作を実行することができる。なお、以下の説明では、指でもって空中像30の表示位置を操作する例を説明するが、スタイラスなどにより操作する場合も同様である。
図2は、表示装置1の構成のうち、制御部20と、制御部20によって制御される表示器11及び操作検出器13とを示したブロック図である。制御部20は、CPU、ROM、RAMなどを有し、制御プログラムに基づいて表示装置1の表示器11及び操作検出器13を含む種々の構成要素を制御したり、各種のデータ処理を実行したりする演算回路を含む。制御部20は、画像生成部201と、表示制御部202と、キャリブレーション部203と、検出基準制御部204と、記憶部205とを備える。記憶部205は、制御プログラムを格納する不揮発性メモリと、表示器11に表示される画像データなどを記憶する記憶媒体などとを含むものである。なお、操作検出器13の表面から指先までの距離と、操作検出器13がその指先を検出したときの静電容量との間の対応関係は、予め記憶部205に記憶させておく。従って、操作検出器13は、指先が操作検出器13の所定の検出範囲内に位置すると、指先における静電容量を検出し、この検出した静電容量と記憶部205に記憶された上記の対応関係とから、Z方向における指先の位置を検出することができる。
画像生成部201は、記憶媒体に記憶されている画像データに基づいて、表示器11に表示するための表示画像に対応する表示用画像データを生成する。表示制御部202は、画像生成部201により生成された表示用画像データに対応する画像を表示器11に表示させる。また、表示制御部202は、ユーザが空中像30のアイコン30Aの表示位置に操作を行うと、その操作されたアイコン30Aの種類に応じて表示器11の表示画像の切り替え制御を行う。なお、ユーザが空中像30のアイコン30Aの表示位置に操作を行った場合、表示制御部202は表示器11の表示画像の切り替え制御を行うことに限られない。例えば、表示器11は表示画像として動画像を表示し、ユーザが空中像30のアイコン30Aの表示位置に操作を行った場合、表示制御部202は表示器11によって表示されている動画像を再生する制御、または動画像を停止する制御を行っても良い。
キャリブレーション部203は、後に詳述する第1、第2のキャリブレーション処理モードのキャリブレーション処理を実行する。検出基準制御部204は、検出面、即ち検出基準を、表示装置1の上方空間に、具体的には、操作検出器13の所定の検出範囲内であって空中像30の位置(または所定範囲)に設定する。検出基準制御部204は、更に、ユーザの指が検出基準に達したことを操作検出器13によって検出された静電容量の値に基づき判定する。即ち、検出基準制御部204は、操作検出器13によって検出された静電容量の値に対応する指位置(X軸、Y軸、Z軸の各軸での位置)が設定された検出基準の位置と一致した時に、ユーザがアイコン30Aの表示位置を操作したと判定する。また、検出基準制御部204は、検出基準を予め定められた所定の初期位置に設定し、後述のキャリブレーション処理の結果に基づき、検出基準の位置を変更、または修正する。この検出基準の初期位置は、予め記憶部205に記憶されている。なお、検出基準の初期位置は、例えば、全てのユーザに対して共通の位置であってもよいし、ユーザによる表示装置1の使用履歴などに基づき、ユーザ毎に異なる位置を設定してもよい。また、検出基準の初期位置および変更された検出基準の位置は、操作検出器13の平面上(X軸、Y軸上)全体に設定されていてもよいし、平面上の一部に設定されてもよい。更には、検出基準の初期位置は、前回の表示装置1の使用時に設定された検出基準を記憶部205に記憶しておき、それを読み出して使用してもよい。なお、検出基準制御部204は、操作検出器13によって検出された静電容量の値に対応する指位置が検出基準の位置に一致した場合に限らず、指位置が検出基準の位置に略一致した場合にユーザがアイコン30Aの表示位置を操作したと判定してもよい。この略一致したと判定する範囲は、予め設定してもよい。
図3(a)は、表示装置1によって表示される空中像30の一例を示し、図3(b)は、本体10または操作検出器13と空中像30と検出基準40との位置関係を模式的に示す。図3(a)において、空中像30は、上述のように3行×5列に配列された15個のアイコン30Aを含む。図3(b)において、検出基準40は、検出基準制御部204によって、空中像30の位置近傍に、具体的には図示例では空中像30よりも僅かに上方の位置に設定される。図3(b)では、空中像30内のアイコンは、太い点線30Aで示されている。なお、アイコン30Aは、空中像30の一部であるので空中像30の位置と同一高さ位置に位置しているが、図3(b)においては、アイコン30Aを表す太い点線を、空中像30を表す実線と区別するために、太い点線の位置を実線位置からずらして描いている。
図3(b)において、空中像30は、表示装置1の操作検出器13の上方に距離H1だけ離れた位置に形成され、検出基準40は、操作検出器13の上方に距離H2(H1<H2)だけ離れた位置に設定されている。操作検出器13は、上述のように、その表面から上方に静電容量の検出範囲13Aを有する。図3(b)では、操作検出器13の上方の静電容量の検出限界が点線13aで示され、この静電容量の検出限界13aと操作検出器13との間隔が静電容量検出範囲13Aとして示されている。空中像30と検出基準40は、静電容量の検出範囲13A内に位置するように設定されている。なお、検出基準40は、図3(b)では空中像30の上方に設定されているが、操作検出器13の静電容量検出範囲13A内であれば、空中像30の下方でも、または空中像30の位置に一致させてもよい。ここで、検出範囲13A内のうち検出基準40に設定された領域以外の範囲を検出基準外41とする。
なお、図3(b)においては、空中像30と検出基準40は、XY平面に平行な平面として表されているが、これらは共に平面に限定されずに、例えば共に曲面により構成されていてもよい。また、図3(c)に示したように、検出基準40は、平面ではなくアイコン30A毎に段差を持つようにしてよい。換言すると、或るアイコン30Aとそのアイコンに対する検出基準40との間隔が、別のアイコン30Aとその別のアイコンに対する検出基準40との間隔と異なっていてもよい。このように、検出基準40に段差を設けることは、空中像30が立体像であって、複数のアイコン30Aの位置がZ方向、即ち上下方向に互いにずれている場合に特に有効である。例えば、立体の空中像30の複数のアイコン30Aの上下方向のずれに応じて、各アイコン30Aに対応する検出基準40の位置をずらすことによって、アイコン30Aと対応する検出基準40との間の距離を、一定にすることもできる。
操作検出器13は、ユーザの指先が操作検出器13から距離H2に達した時に、距離H2に対応した検出出力を出力する。検出基準制御部204は、操作検出器13による検出出力に基づいて、ユーザの指先が検出基準40に一致したと判定し、指先がアイコン30Aの表示位置を操作したと判定する。このようにして、表示装置1は、ユーザが空中像30のアイコン30Aの表示位置を操作したことを検出し、その操作されたアイコン30Aに対応した機能を実行する。例えば、表示器11の表示画像の切り替えなどを行う。
ところで、アイコン30Aは、操作検出器13から距離H1の位置に位置しているが、空中像30として表示されるので、或るユーザと別のユーザとでは、空中像30のアイコン30Aの表示位置、即ち高さH1を、視覚的に異なって感じることがある。また、同一のユーザでも、この表示装置1を操作する環境によっては、アイコン30Aの表示位置を異なって感じることがある。例えば、検出基準40を空中像30の位置に一致するように設定した場合に、或るユーザが、アイコン30Aの表示位置への操作のために、指を空中像30のアイコン30Aの方に移動した時に、そのユーザは未だ指がアイコン30Aの手前にあると感じているのに、実際には指がアイコン30A、即ち検出基準40に達していた場合には、ユーザの意思とは別に、アイコン操作が実行されてしまう。逆に、別のユーザは、アイコン操作のために、指を空中像30のアイコン30Aの方に移動した時に、そのユーザは指がアイコン30Aに到達してアイコン30Aの表示位置を操作していると思っているのに、実際には指がアイコン30A、即ち検出基準40の手前に位置していた場合には、ユーザの意思とは別に、アイコン操作が実行されない。いずれの場合にも、ユーザは、アイコン操作に違和感を覚えることになる。
そこで、本実施の形態の表示装置1は、上述した空中像30に対する操作を行う空中像操作モードに加えて、上記のアイコン操作の違和感を軽減するためのキャリブレーション処理モードを備えるものである。キャリブレーション処理モードは、空中像30と検出基準40との相対的な位置関係をユーザの操作感覚・操作特性や表示装置の使用環境などに適した関係に設定するものである。本実施の形態の表示装置1は、上述したように第1、及び第2のキャリブレーション処理モードを有する。第1のキャリブレーション処理モードは、空中像操作モードとは別に、即ち、空中像操作モードが実行されていない時にキャリブレーション処理が実行されるものであり、第2のキャリブレーション処理モードは、表示装置1の起動後に空中像操作モードが実行された際にその空中像操作モードの実行中にキャリブレーション処理が実行されるものである。これらの第1〜第2のキャリブレーション処理モードは、図2に示したキャリブレーション部203によって実行される。なお、第1〜第2のキャリブレーション処理モードのいずれを実行するかは、図示を省略した表示装置1に設けたキャリブレーション処理モード選択用の操作ボタンを操作して、選択し、このキャリブレーション処理モード選択用の操作ボタンが第1〜第2のキャリブレーション処理モードのいずれも選択していない場合には、制御部20は、空中像操作モードを選択して実行してもよい。また、キャリブレーション処理モード選択用の操作ボタンを備えておらず、常時第2のキャリブレーション処置モードを行ってもよい。以下に、第1〜第2のキャリブレーション処理モードを順次説明する。なお、第1〜第2のキャリブレーション処理モードの選択は、操作ボタンの他に、空中像のアイコンから選択してもよい。
最初に第1のキャリブレーション処理モードを説明する。表示装置1が起動され、ユーザがキャリブレーション処理モード選択用の操作ボタンを操作して、第1のキャリブレーション処理モードを選択すると、図2のキャリブレーション部203が第1のキャリブレーション処理モードを起動する。画像生成部201は、表示用画像データを生成し、この表示用画像データに基づき表示器11は、キャリブレーション処理に用いる表示画像を表示する。図4及び図5は、このキャリブレーション処理用の表示画像の空中像300を示す。空中像300は、キャリブレーション用アイコン300Aを含み、このキャリブレーション用アイコン300Aは、メッセージ「キャリブレーションを行います。このアイコンにタッチして下さい」が重畳表示されている。また、検出基準制御部204は、図5(a)に示したように、検出基準40を空中像300の近傍位置、例えば、空中像300よりも僅かに上方の位置に初期設定する。勿論、検出基準40の初期位置は、空中像300に一致させてもよいし、空中像300よりも僅かに下方の位置に設定してもよい。なお、上述のメッセージ「キャリブレーションを行います。このアイコンにタッチして下さい」は、キャリブレーション処理の際に必ずしも表示させなくてもよい。例えば、キャリブレーション処理モードを選択したユーザが、キャリブレーション処理モードにおいて何を操作するべきかを予め認識している場合などには、上述のメッセージの表示は不要である。
図5(a)において、ユーザが、空中像300のアイコン300Aに重畳表示されたメッセージに従いアイコン300Aの表示位置を操作するために、指先Fをアイコン300Aの方に下降移動して、指先Fが図2の操作検出器13の静電容量の検出範囲13Aに達すると、操作検出器13は、このアイコン300Aへのユーザの指先Fの接近移動、即ち下方移動を静電容量の変化として検出する。
図5(b)において、指先Fが下降移動して検出基準40よりも僅かに上方の点線位置50に達した時に、ユーザは、指先Fがアイコン300Aの表示位置に到達してアイコン300Aを押下げる操作を実行したと感じて、指先Fを所定距離だけ上方に移動させる。操作検出器13は、指先Fの上記の下降移動、即ち押下げとそれに引き続く所定距離の上方移動とを、静電容量の変化として検出する。検出基準制御部204は、操作検出器13が指先Fの上記の押下げとそれに引き続く所定距離の上方移動とを検出すると、アイコン300Aの表示位置に操作が行われたと判定する。なお、ユーザの指先Fがアイコン300Aの表示位置への操作のために押下げを行った後に所定距離上方に移動した場合に、最も下方移動した位置を到達位置とする。即ち、点線位置50を到達位置と称する。
検出基準制御部204は、指先Fが到達位置50においてアイコン300Aの表示位置への操作を行ったと判定すると、図5(c)に示すように到達位置50の位置に検出基準40を移動、即ち変更すると共に、この変更された検出基準40の位置データを図2の記憶部205に記憶する。なお、検出基準制御部204は、図5(d)に示すように到達位置50から、所定距離d1だけ上方の位置に、検出基準40を移動、即ち変更すると共に、この変更された検出基準40の位置データを図2の記憶部205に記憶してもよい。この所定距離d1は、例えば、1mm〜10mm程度に設定される。また、装置を利用するユーザごとに所定距離d1を変更してもよく、ユーザの指の先端から第1関節までの長さに基づいて設定されてもよい。例えば、所定距離d1をユーザの指の先端から第1関節までの長さの1/4〜1/2程度に含まれる所定の値に設定されてもよい。
以上では、指の到達位置50が検出基準40よりも上方に位置する場合を説明したが、到達位置50が検出基準40よりも下方に位置する場合も、上述と同様に到達位置50を判定し、その到達位置50に基づき検出基準40を変更する。また、到達位置50が検出基準40に一致する場合にも上述と同様に到達位置50を判定するが、到達位置50が検出基準40に一致しているので、検出基準40を変更しない。
なお、到達位置50が検出基準40よりも下方に位置する場合には、指は、到達位置50に到達する前に、検出基準40を通過するので、検出基準制御部204は、操作検出器13の検出出力に基づき、指が検出基準40に達したことを判定するが、第1のキャリブレーション処理モードでは、表示器13の表示の切り替えを行わない。到達位置50が検出基準40に一致する場合も同様に、表示器13の表示の切り替えを行わない。勿論、指が検出基準40に達した時に、例えば、アイコン300Aを点滅させるなどのハイライト表示をして、指が検出基準に到達したことをユーザに告知してもよい。
なお、以上の説明では、アイコン300Aの表示位置への操作の例としてユーザによるアイコン300Aを押し下げる操作を例に挙げたがこれに限られない。ユーザによるアイコン300Aに対する所定の非接触操作が操作検出器13によって検出された場合、所定の非接触操作が行われた場所に基づいて、検出基準40を変更してもよい。所定の非接触操作とは、例えば、アイコン300Aをタッチするようなジェスチャー操作である。アイコン300Aをタッチするような操作を行った位置に基づいて検出基準40を変更してもよい。タッチするような操作とは、例えば、アイコン300Aをユーザの手で振り払うようなジェスチャーなどが挙げられる。また、タッチするような操作を行った位置として、ユーザの手で振り払うようなジェスチャーが終了し、ユーザの手が停止したと判定された位置やユーザの手で振り払うようなジェスチャーが開始された位置に基づいて決定してもよい。
以上のように、第1のキャリブレーション処理モードでは、指が空中像300のアイコン300Aの表示位置を操作したとユーザが感じたことを、指の押下げ移動から所定距離の上方移動への変化を検出することによって判定して、指の到達位置50よりも所定距離d1だけ上方の位置に、そのユーザ用に検出基準40を変更して、検出基準40と空中像300の表示位置との位置関係を変更する。すなわち、装置を使用するユーザの情報の一つであるユーザの操作に基づいて、検出基準40と空中像300の表示位置との位置関係を変更する。なお、ユーザ用に検出基準40を変更する場合、装置を利用するユーザを必ずしも検出する必要はなく、上述した操作を操作検出器13によって検出されたことに基づいて、検出基準40と空中像300の表示位置との位置関係を変更すればよい。
なお、検出基準制御部204が検出基準40の位置を変更する場合、検出基準40全体の位置を移動させてもよいし、検出基準40のうち、ユーザの指によって操作されるアイコン300Aに対応する検出基準40の一部だけを移動させてもよい。
なお、図5(c)に示した例において、検出基準40を、到達位置50よりも所定距離d1だけ上方の位置に変更した理由は、以下のとおりである。即ち、ユーザは、一般にタッチパネルに対して操作を行う際には指をタッチパネルに接触させて指を多少押し下げるので、空中像300のアイコン300Aの表示位置に対して操作を行う際にも指先を空中像300のアイコン300Aの表示位置を操作してもそこで直ちに所定距離上方移動せずに多少押下げた後に所定距離上方移動しがちである。このため、指の到達位置50は、指がアイコン300Aの表示位置を操作したと感じた位置よりも多少下方の位置となりがちであるので、検出基準40が到達位置50よりも所定距離d1だけ上方の位置に変更される。勿論、この押下げ量は、ユーザによって、比較的小さい場合、または殆ど存在しない場合もあるので、検出基準40の位置を到達位置50に略一致するように変更してもよい。
キャリブレーション処理モードは、上述のように、キャリブレーション用の空中像300と検出基準40との相対的な位置関係をユーザの操作特性に適した関係に設定するものであるので、ユーザの操作特性や表示装置に応じて、検出基準40を到達位置50の上方ではなく、上述のように到達位置50に略一致させてもよく、また、到達位置50よりも下方の位置に変更してもよい。例えば、或るユーザの到達位置50が、空中像300の上方に位置し、到達位置50と静電容量の検出範囲13Aの上限13aとの間隔が、到達位置50と空中像300との間隔よりも小さい場合には、検出基準40を到達位置50よりも上方の位置に変更すると、検出基準40が静電容量の検出範囲13Aの上限13aに近づき過ぎるので、検出基準40を到達位置50に一致させるか、到達位置50よりも下方の位置に変更することもできる。
なお、到達位置50を判定する方法は、上述の押下げ移動から所定距離の上方移動への変化に基づき判定する方法に限られず、以下に述べるようにその他の種々の方法によっても、判定することができる。例えば、ユーザは、指がアイコン300Aの表示位置に到達してアイコン300Aへの押下げ操作を実行したと感じて、指の下方移動、即ち押下げ
を停止する。検出基準制御部204は、操作検出器13が検出する静電容量の値が殆ど変化しなくなったことをもって、指の押下げの停止を判定し、この押下げの停止位置を到達位置50と判定、即ち決定する。なお、下方移動の停止は、操作検出器13が検出する静電容量の値が短時間、例えば0.1秒〜1秒程度の間、変化しないことをもって、判定される。更に別の方法としては、ユーザの指の移動の速度ベクトル、即ち、指の移動速度と移動方向とを、静電容量の変化から検出し、指の速度ベクトルの向きが下方向から逆方向に変化したこと及び逆方向の速度ベクトルが所定の大きさになったことに基づき、逆方向の所定の大きさの速度ベクトルを検出した時の指の位置を到達位置と判定してもよい。この方法の場合には、上記の速度ベクトルの所定の大きさを略ゼロに設定すると、速度ベクトルの向きが下向きから逆向きに変化する時点の指の位置、即ち最も下方の位置が到達位置として判定され、所定の大きさをゼロ以外の値に設定すると、指が上述の最も下方の位置から所定距離だけ上方の位置が、到達位置として判定される。以上のように、到達位置は、検出基準制御部405によって指がアイコンの表示位置を操作したと判定された時の指の最下方位置またはその近傍の位置に決定される。
また、上述の例では、指やスタイラスは、空中像300のアイコン300Aに接触する部分、即ち指先部分の位置やスタイラスの最下部の位置を基準として、到達位置を決定したが、その代わりに、ユーザの指の爪先の位置や、指の第1関節の位置を基準にして到達位置を決定してもよい。更には、ユーザの指に限らず、ユーザの足や肘などでアイコンを操作する場合には、足や肘などを基準にして到達位置を決定してもよい。スタイラスを使用する場合には、スタイラスの所定の位置にマークを付け、そのマークの位置を基準に到達位置を決定してもよい。なお、指の第1関節やスタイラスのマークなどを使用して到達位置を決定する場合には、操作検出器13として、静電容量式パネルを用いる代わりに、後述の変形例8において説明する撮像装置などを使用することが望ましい。
上記説明の第1のキャリブレーション処理モードと空中像操作モードとの関係について、図6に示すフローチャートを参照して説明する。図6のフローチャートに示す各処理は、表示装置1が起動された後、制御部20によってプログラムを実行して行われる。このプログラムは、記憶部205に記憶されている。ステップS1において、ユーザによりキャリブレーション処理モード選択用の操作ボタンによって第1のキャリブレーション処理モードが選択されていることを認識すると、ステップS2に進む。ステップS2において、図2に示したキャリブレーション部203が第1のキャリブレーション処理モードを開始して、ステップS3に進む。ステップS3では、画像生成部201がキャリブレーション用の表示用画像データを生成し、表示制御部202は、表示用画像データに基づくキャリブレーション用の画像を表示器11に表示させると共に、検出基準制御部204は、検出基準を初期位置に設定する。表示器11の表示画像は、結像光学系12によって生成される図4に示すキャリブレーション用の空中像300であり、空中像300は、アイコン300Aとメッセージ「キャリブレーションを行います。このアイコンにタッチして下さい」とを含む。ステップS4において、操作検出器13は、ユーザの指先Fの下方への移動を検出し、ステップS5に進む。
ステップS5において、図2に示された検出基準制御部204は、操作検出器13の検出出力に基づき、指が到達位置に達したか否かを判定する。ステップS5において肯定判定された場合、即ち、指が到達位置に達したと判定された場合、ステップS6に進む。ステップS5において否定判定された場合、即ち、指は停止していないと判定された場合、肯定判定されるまで待機する。ステップS6において、検出基準制御部204は、到達位置50に基づき、検出基準40の位置を変更し、その変更した検出基準40の位置データを図2に示した記憶部205に記憶して、ステップS7に進む。ステップS7において、第1のキャリブレーション処理モードを終了して、ステップS8に進む。ステップS8では、空中像操作モードを開始し、ステップS9に進む。ステップS9において、図3に示された空中像操作モード用のアイコン30Aを含む空中像30が表示されると共に、ステップS6において第1のキャリブレーション処理モードにより変更された検出基準40の位置データを記憶部205から読み出し、その位置データに基づき検出基準40を図3(b)に示されたように、空中像30の近傍位置に設定する。このようにして、この空中像操作モードでは、第1のキャリブレーション処理モードにおいて設定されたユーザの操作特性に適した検出基準40が使用される。
ユーザがアイコン30Aの表示位置を操作するために、指を空中像30に向けて下方に移動させると、ステップS10において、図2に示した操作検出器13がユーザの指の下方への移動を検出し、ステップS11に進む。ステップS11において、検出基準制御部204が、操作検出器13の検出出力に基づき指が検出基準40に達したかどうか判定する。ステップS11において肯定判定された場合、即ち、指が検出基準40に達したと判定された場合、ステップS12に進む。ステップS11において否定判定された場合、即ち、指が検出基準40に達していないと判定された場合、肯定判定されるまで待機する。ステップS12において、表示制御部202は表示器13の表示画像を、操作されたアイコン30Aに応じた表示画像に切り替え、ステップS13に進む。ステップS13において、表示装置1の停止操作が行われたかどうか判定する。ステップS13において、肯定判定された場合、即ち、表示装置1の停止操作が行われた場合、表示装置1は停止する。ステップS13において否定判定された場合、ステップS10に戻る。
以上説明したように、第1のキャリブレーションモードでは、ユーザによる操作に基づき検出基準が変更され、空中像と検出基準との位置関係が変更される。この第1のキャリブレーションモードで変更された検出基準の位置に空中像操作モードの検出基準が設定されるので、ユーザの操作特性や表示装置1の使用環境に適した検出基準に基づき空中像操作モードを実行することができる。
以上の説明では、第1のキャリブレーション処理モードは、表示装置1が起動された後、空中像操作モードに先立って、実行されるものであったが、第1のキャリブレーション処理モードは、空中像操作モードの後に実行することもできる。例えば、ユーザは、空中像操作モードの実行中に、例えばアイコン300Aの表示位置への操作に違和感を覚えたときに、表示装置1のキャリブレーション処理モード選択用の操作ボタンを操作して、第1のキャリブレーション処理モードを選択する。この場合には、第1のキャリブレーション処理モードは、実行中の空中像操作モードを中断して、実行され、この第1のキャリブレーション処理の終了後に、空中像操作モードが再開される。なお、上述したユーザによる操作ボタンの操作に従って表示装置1が第1のキャリブレーションモードを選択するものに代えて、アイコン300Aの表示位置への操作に対する違和感からユーザが不快感を抱いている様子を検出したときに、第1のキャリブレーション処理モードを実行しても良い。表示装置1は、たとえばユーザの脈拍数(生体情報)を検出し、検出した脈拍数が所定値を超える場合に、ユーザが不快感を抱いている様子を検出することができる。
次に、第2のキャリブレーション処理モードを図7及び図8を参照して説明する。なお、以下で説明する第2のキャリブレーション処理モードについては、上述の第1のキャリブレーション処理モードで説明した処理を適宜適用してよい。図7は空中像操作モード用の空中像30と初期位置の検出基準40と指の到達位置50とを示した図であり、図8は、第2のキャリブレーション処理モードの動作を表したフローチャートである。図8のフローチャートに示す各処理は、表示装置の起動後、制御部20によってプログラムを実行して行われる。
ステップS41において、第2のキャリブレーション処理モードが選択されていることを認識し、ステップS42に進む。ステップS42において、空中像操作モードと第2のキャリブレーション処理モードとが共に開始され、ステップS43に進む。ステップS43において、図3に示されたアイコン30Aを含む空中像30が表示されると共に、図2に示した検出基準制御部204が、検出基準40を予め定められた初期位置、例えば、空中像30の位置または空中像30の位置よりも僅かに上方の位置に設定し、ステップS44に進む。この時、空中像30には、メッセージ「アイコンの操作中にキャリブレーションが行われます」が短時間だけ表示される。なお、このメッセージは表示されなくてもよい。
ステップS44において、ユーザがアイコン30Aの表示位置への操作のために、指を下方に移動させると、操作検出器13が指の移動の検出を開始し、ステップS45に進む。ステップS45において、検出基準制御部204は、操作検出器13の検出出力に基づき、指が下方移動中に検出基準40を通過したかを判定する。ステップS45において肯定判断された場合、即ち、指が下降移動中に検出基準40を通過して、更に下降移動した場合、ステップS46に進む。図7の指F1は、下降移動中に検出基準40を通過した指を示す。ステップS46では、検出基準制御部204は指F1が検出基準40に達したこと、即ち検出基準40を通過したことを判定して、アイコン表示の切り替えを行い、即ち、空中像30が操作されたアイコン30Aに応じて切り替わり、ステップS47に進む。ステップS47では、検出基準制御部204は、指F1が到達位置50に達したかを判定し、肯定判定の場合にはステップS48に進み、否定判定の場合には、肯定判定されるまで維持する。ステップS48では、検出基準制御部204は、到達位置50に基づき、検出基準40の位置を変更する。なお、検出基準40の位置を変更したとき、変更された検出基準40がユーザの指先に一致する、または、ユーザの指先の位置よりも上方に位置する場合がある。この場合、ステップS46でアイコン表示の切り替えを既に一度行っているため、アイコン表示の切り替えは行わない。
前述のステップS45で否定判定された場合、即ち、指が下降移動中に検出基準40を通過していない場合には、ステップS49に進む。ステップS49では、検出基準制御部204は、操作検出器13の検出出力に基づき、指が到達位置50に達しているかを判定し、肯定判定の場合にはステップS50に進む。否定判定の場合には、肯定判定されるまで維持する。図7の指F2は、到達位置50が検出基準40に一致したことを示している。ステップS50では、検出基準制御部204は、操作検出器13の検出出力に基づき、到達位置50が検出基準40に一致するかを判定し、肯定判定の場合にステップS51に進み、否定判定の場合にステップS52に進む。ステップS51では、到達位置50が検出基準40に一致しているので、アイコン表示の切り替えを行うが、検出基準40の変更は行わない。
ステップS52では、図7の指F3に示したように到達位置50が検出基準40の上方に位置しており、検出基準制御部204は、到達位置50に基づき検出基準40の位置を変更する、具体的には、検出基準40の位置を到達位置50の近傍に変更して、ステップS55に進む。この時、変更された検出基準40がユーザの指先に一致した場合、または、ユーザの指先の位置よりも上方まで移動した場合には、アイコン表示の切り替えが行われる。一方、変更された検出基準40が、ユーザの指先の位置に達しなかった場合には、アイコン表示の切り替え表示は行われない。
ステップS55では、第2のキャリブレーション処理モードの終了操作が行われたかを判定し、肯定判定の場合にステップS55に進み、否定判定の場合にステップS44に戻る。
以上のように、第2のキャリブレーション処理モードは、空中像操作モードを実行中に並行して行われるため、キャリブレーション処理の実行を意識することなく、ユーザに適した検出基準で空中像の表示位置に対する操作を実行することができる。なお、第1〜2のキャリブレーション処理モードは必ずしもユーザが選択しなくてもよい。表示装置1が自動的に第1〜2のキャリブレーション処理モードのうちのいずれか一つを選択するようにしてもよい。また、第1〜2のキャリブレーション処理モードの全てを備えるのではなく、そのうちの一つを備えるものであってもよい。
以上説明した第1の実施の形態による表示装置1は、次のように変形できる。
(第1の実施の形態の変形例1)
変形例1の表示装置1は、操作検出器13の検出出力に基づき、ユーザの指先の速度あるいは加速度を算出し、算出した速度または加速度に基づき指の到達位置を予測し、その予測到達位置に基づいて検出基準を変更するものであってもよい。図9は、本変形例1の表示装置1の構成のうち、制御部20と、制御部20によって制御される表示器11及び操作検出器13とを示したブロック図である。
変形例1の表示装置1は、第1の実施の形態の表示装置に対して相違している構成について説明する。図9において、速度・加速度検出部206は、操作検出器13によって検出される静電容量値を所定の時間毎に読み出し、所定の時間当たりの静電容量値の変化から指の移動速度を算出すると共に、算出した速度から指の移動加速度を算出する。到達位置予測部207は、速度・加速度検出部206から出力される指の移動速度または加速度に基づき指の到達位置を予測する。到達位置予測部207は、例えば、指の移動が加速している状態または略一定速度状態から、減速状態に移行したことを検出し、その減速具合から指の到達位置を予測することができる。検出基準制御部204は、到達位置予測部207によって予測された到達位置に基づき、検出基準を変更する。
次に、変形例1の表示装置1による第1のキャリブレーション処理モードを図10及び図11を参照して説明する。図11のフローチャートにおいて、ステップS103からステップS107以外は、図6のフローチャートと同一であるので、説明を省略する。図10(a)に示したように、指先Fが操作検出器13の所定の検出範囲13A内に入ると、ステップS104において操作検出器13が指先Fの移動を静電容量値の変化として検出する。ステップS105では、速度・加速度検出部206が操作検出器13の検出出力に基づき指先Fの移動速度及び加速度を算出する。ステップS106で、到達位置予測部207が速度・加速度検出部206が算出した移動速度及び加速度に基づき指先Fの到達位置を算出する。図10(b)において、到達位置予測部207が算出した、即ち予測した指の到達位置を点線60で示す。ステップS107において、検出基準制御部204は、図10(c)に示したように予測到達位置60に基づき検出基準40を変更すると共に、その検出基準40の位置データを記憶部205に記憶する。その後のステップS110において、この記憶された検出基準40の位置に空中像操作モードの検出基準が設定される。なお、指の到達位置を予測するためには、指の移動速度と加速度との両方を使用してもよいし、いずれか一方を使用してもよい。
なお、上述の説明では、速度・加速度検出部206は、操作検出器13によって検出される静電容量値を所定の時間毎に読み出し、所定の時間当たりの静電容量値の変化から指の移動速度を算出すると共に、算出した速度から指の移動加速度を算出したが、この方法に限られず、速度・加速度検出部206として撮像装置を用いてもよい。また、上述の説明では、ユーザの指の移動速度または加速度を算出したが、そのほかに、ユーザの足や肘、ユーザが所持しているスタイラスペンであってもよい。
なお、算出したユーザの指の移動速度及び加速度に基づきユーザの指の予測到達位置60を算出し、ユーザの指の予測到達位置60に基づいて検出基準40を変更していたが、操作毎にユーザの指の予測到達位置60を決定する必要はない。ユーザが操作を行う前に意図せず動いてしまった場合、その動きに基づいて予測到達位置60を算出してしまうと、極端に上の位置に検出基準40が設定しまうなど、適切な位置に検出基準を設定することができなくなってしまう。上述のような場合を防ぐため、ユーザの指の移動速度及び加速度を検出した場合に、所定の閾値以上のユーザの指の移動速度及び加速度を検出した場合のみ予測到達位置60を算出し、予測到達位置60に基づいて検出基準40の位置を変更してもよい。
この変形例1によると、指の到達位置が指の移動速度または加速度に基づき、予測されるので、キャリブレーション処理を迅速に行うことができる。
上記の通り、本変形例におけるキャリブレーション処理について、第1の実施の形態における第1のキャリブレーション処理モードに適用した場合について説明したが、第2のキャリブレーション処理モードにも適用できる。本変形例1を第2のキャリブレーション処理モードに適用した場合、空中像操作中のユーザの指先Fが検出基準40に達する前に指先Fの到達位置を事前に予測し、予測した到達位置に基づいて検出基準を変更することが可能になる。そのため、ユーザの指先Fが検出基準40に達せずアイコン表示の切り替えが生じなかったなどの誤操作を未然に防ぎ、ユーザに快適な操作を行わせることができる。
(第1の実施の形態の変形例2)
第1の実施の形態及び変形例1に係る表示装置1は、一回のキャリブレーション処理において、到達位置を検出、または予測し、その到達位置に基づき検出基準を変更し、その検出基準の位置データを記憶部205に記憶し、空中像操作モード時に空中像操作モードの検出基準を記憶部205に記憶された検出基準の位置に設定、または変更するものであったが、その代わりに、変形例2に係る表示装置は、複数回のキャリブレーション処理においてそれぞれ設定された複数の検出基準の位置をそれぞれ記憶部205に記憶し、その記憶された複数の検出基準位置に基づき、空中像操作モードにおける検出基準を変更するものである。第一回目のキャリブレーション処理において検出基準制御部204は、操作検出器13の検出出力に基づき指の到達位置50を判定し、この到達位置50に基づき検出基準40を変更し、その検出基準40の位置データを記憶部205に記憶する。引き続き第2回目のキャリブレーション処理を行い、同様に変更された検出基準の位置データを記憶部205に記憶する。更に、引き続き第三回のキャリブレーション処理を行ってもよい。このようにして連続的に行われた複数回のキャリブレーション処理によって、記憶部205に記憶された複数の検出基準の位置データから一つの検出基準を算出し、その算出された検出基準の位置データを記憶部205に記憶する。その後に実行される空中像操作モードでは検出基準を、記憶部205に記憶された算出検出基準の位置に設定する。
これら複数の検出基準40を用いて一つの検出基準を決定するには、様々な手順が考えられる。例えば、複数の検出基準40を相加平均して一つの検出基準を算出してもよいし、相乗平均して一つの検出基準を算出してもよい。また、複数の検出基準40のそれぞれに適当な重み付けを行って新たな検出基準を決定してもよい。例えば、N回目の操作から求めた検出基準HNと、N+1回目の操作から求めた検出基準の位置HN+1について、3:7の割合で重み付けを行って検出基準を算出してもよい。具体的には、HNとHN+1を用いて(HN×3+HN+1×7)/10の計算を行い、その結果に基づいて検出基準を算出する。重み付けは3:7に限られず、また、操作回数も2回に限られない。勿論、複数回のキャリブレーション処理毎に指の到達位置に基づき検出位置を設定し、それぞれ記憶部205に記憶するのではなく、複数回のキャリブレーション処理毎に検出した指の到達位置をそれぞれ記憶部205に記憶して、その記憶された複数の到達位置に基づき一つの検出基準を算出してもよい。
また、キャリブレーション処理は、到達位置と検出基準との間隔が所定値以下である場合、即ち、到達位置が検出基準の近傍である場合には、検出基準の位置の変更をおこなわなくでもよい。
更に、キャリブレーション処理において、キャリブレーション処理毎に、検出基準の変更を行うのではなく、複数回のキャリブレーション処理において、到達位置を判定した回数と、実際に到達位置が検出基準に達したことを判定した回数と、から、アイコンの表示位置への操作が失敗した回数を算出して、所定の回数以上、失敗したと判定された時に、検出基準を変更するようにしてもよい。
上記の通り、本変形例におけるキャリブレーション処理について、第1の実施の形態における第1のキャリブレーション処理モードに適用した場合について説明したが、第2のキャリブレーション処理モードや上述した変形例1にも適用できる。
上述したキャリブレーション処理では、ユーザが空中像のアイコンの表示位置を操作する際に通常行う自然な操作動作、即ち指でアイコンを押下げてから指を上方向に移動する動作や、指がアイコンに接触するとそれを押下げて短時間停止させる動作などを検出して到達位置を判定しているので、ユーザは、キャリブレーション処理において到達位置の検出・判定が行われていることに気付かず、従ってユーザはキャリブレーション処理を意識することなく実行することができる。
(第1の実施の形態の変形例3)
第1の実施の形態においては、ユーザの指の空中像の表示位置に対する操作を検出して到達位置を判定して、到達位置に基づいて検出基準の変更を行った。しかし、ユーザは、空中像のアイコンの表示位置を操作したと感じた指の位置を指定して、その指定位置を検出基準制御部が判定し、指定位置に基づいて検出基準を変更して、検出基準と空中像との位置関係を変更してもよい。以下に、ユーザが空中像の表示位置を操作する位置を指定位置として指定する変形例を説明する。なお、以下の説明は、第1の実施の形態における第1のキャリブレーション処理モードに適用した場合について説明するが、第2のキャリブレーション処理モードや上述した変形例1、2にも適用できる。
以下に変形例3の表示装置を説明する。表示装置1が起動され、ユーザがキャリブレーション処理モード選択用の操作ボタンを操作して、第1のキャリブレーション処理モードを選択すると、図2のキャリブレーション部203が第1のキャリブレーション処理モードを起動する。画像生成部201は、表示用画像データを生成し、この表示用画像データに基づき表示器11は、キャリブレーション用の表示画像を表示する。図12は、このキャリブレーション用の表示画像の空中像300を示す。空中像300は、キャリブレーション用アイコン300Bを含み、このキャリブレーション用アイコン300Bは、メッセージ「キャリブレーションを行います。このアイコンの位置を指で指し示し、その状態で指を横方向に移動させて下さい」が重畳表示されている。また、検出基準制御部204は、図13(a)に示したように、検出基準40を空中像300の近傍の初期位置に設定する。
図13(a)において、ユーザがアイコン300Bに重畳表示されたメッセージに従いアイコン300Bの表示位置を操作するために、指先Fをアイコン300Bの方に下降移動させ、指先Fが図2の操作検出器13の静電容量検出範囲13Aに達すると、操作検出器13は、このアイコン300Bへのユーザの指Fの接近移動、即ち下方への移動を静電容量の変化として検出する。なお、図13(a)は指を正面から見るように表示したものである。
ユーザは、指をさらに下降移動させ、指先Fが空中像300のアイコン300Bの表示位置に達したと感じた時に、図13(b)に矢印で示したように、指Fを横方向に移動させる。操作検出器13は、この指Fの下降移動及び横方向の移動を検出する。検出基準制御部204は、指の下降移動を検出していた操作検出器13が指の横方向の移動を検出したことを、判定して、下降移動から横方向移動へ変化したときの指の高さ位置を指定位置50Aと判定する。検出基準制御部204は、この指定位置50Aに基づき、検出基準40の位置を変更し、この変更された検出基準40の位置データを記憶部205に記憶する。なお、指定位置50Aは、図13(b)では、空中像300の上方の位置として例示されているが、指定位置50Aは、指先Fが空中像300のアイコン300Bに達したとユーザが感じた時の位置であるから、空中像300に一致した位置に指定されることもあるし、または、空中像300よりも下方の位置に指定されることもある。
なお、検出基準制御部204は、以上の説明では指が下降移動から横方向の移動に変化した時の指の位置、即ち指の高さを指定位置50Aと判定したが、これに限らず、例えば
指が下降移動から横方向の移動に変化し、その横方向移動が終了した時の指の高さを指定位置50Aとして判定してもよい。また、検出基準制御部204は、指の横方向の移動開始から横方向の移動終了までの指の高さの平均値や中央値などを指定位置50Aとしてもよい。
上記説明の変形例3のキャリブレーション処理について、図14に示すフローチャートを参照して説明する。なお、図14のフローチャートはステップS121〜ステップS129を示し、それ以降のステップは省略した。ステップS129以降の処理は、図11に示すフローチャートのステップS109以降の処理と同様である。
ステップS121〜ステップS124の各処理は、図6に示したフローチャートにおけるステップS1〜ステップS4の各処理と同様である。ステップS126において、操作検出器13は、ユーザの指の横方向移動を検出する。ステップS127において、検出基準制御部204は、操作検出器13の検出出力に基づき、指が下降移動から横方向移動に変化したことを判定して、その変化時の指の位置を指定位置50Aと判定し、指定位置50Aに基づき、検出基準40の位置を変更し、その変更された検出基準40の位置データを記憶部205に記憶して、ステップS128に進む。ステップS128において、第1のキャリブレーション処理モードを終了して、ステップS129に進む。ステップS129では、空中像操作モードを開始する。この空中像操作モードでは、記憶部205から読み出された変更された検出基準40の位置データに基づき、検出基準が設定される。
この変形例3では、ユーザは、キャリブレーション処理において指が空中像の表示位置を操作したと感じる位置を指を下降移動から横方向移動に変化させることによって指定している。このように、ユーザは、アイコン300Bの表示位置を操作したと知覚する位置を指定位置として指定してキャリブレーション処理を行うため、正確にキャリブレーション処理を行うことができる。また、指定位置を指の下降移動から横方向移動への変化によって指定することは、操作性がよく、迅速にキャリブレーション処理を行うことができる。
(第1の実施の形態の変形例4)
変形例3の表示装置1においては、ユーザは、指先でアイコンの表示位置を操作したと思った位置を指定位置として、指の下降移動から横方向への移動に変化させることによって指定した。変形例4の表示装置1は、ユーザが、指先でアイコンの表示位置を操作したと思った位置を別のアイコンを操作することによって、指定するものである。このキャリブレーション処理について次に説明する。なお、説明は、第1の実施の形態における第1のキャリブレーション処理モードに適用した場合について説明するが、第2のキャリブレーション処理モードや上述した変形例1〜3にも適用できる。
表示装置1が起動され、ユーザがキャリブレーション処理モード選択用の操作ボタンを操作して、第1のキャリブレーション処理モードを選択すると、図2のキャリブレーション部203が第1のキャリブレーション処理モードを起動する。画像生成部201は、表示用画像データを生成し、この表示用画像データに基づき表示器11は、キャリブレーション用の表示画像を表示する。図15は、このキャリブレーション用の表示画像の空中像300を示す。空中像300は、キャリブレーション用アイコン300Cと300Dとを含み、このキャリブレーション用アイコン300Cは、メッセージ「キャリブレーションを行います。右手の指でこのアイコンの位置を指し示して下さい。右手の指で指し示した状態で、左手の指で左側のアイコンにタッチして下さい」が重畳表示されている。なお、アイコン300Cとアイコン300Dとは、アイコン300Cが右側に、アイコン300Dが左側に位置するように並置されている。
ユーザがアイコン300Cに重畳表示されたメッセージに従いアイコン300Cの表示位置を操作するために、右手の指先をアイコン300Cの方に下降移動させて、指先が操作検出器13の静電容量検出範囲13Aに達すると、操作検出器13は、このアイコン300Cの表示位置へのユーザの指の接近移動、即ち下方への移動を静電容量の変化として検出する。ユーザは指をさらに下降移動させ、指先が空中像300のアイコン300Cの表示位置を操作していると感じた時点で、メッセージに従い、左手の指先でアイコン300Dの表示位置への操作をしようとして、左手の指先をアイコン300Dの方に移動させる。操作検出器13はアイコン300Dに向けた指先の移動を検出する。検出基準制御部204は、ユーザの指がアイコン300Dの上に位置することを操作検出器13が検出したことをもって、その時点における右手の指先の位置を指定位置50Aと判定する。検出基準制御部204は、指定位置50Aに基づき検出基準40を変更すると共に、この変更された検出基準40の位置データを記憶部205に記憶する。
なお、右側のアイコン300Cの表示位置を操作する右手の指は、その操作したと感じた時の位置が指定位置と判定されるので、空中像に接近する下降移動が必要である。しかしながら、左側のアイコン300Dの表示位置への操作をする左側の指は、指をアイコン300Dの上または下に位置付ければよいので、必ずしも左手の指を下降移動させる必要はなく、左手の指は、例えば空中像300の平面に平行な方向、即ち横方向に移動してアイコン300Dの上または下の位置まで横方向移動してもよい。
また、必ずしも左手の指と右手の指とを用いる必要はなく、キャリブレーション用空中像300のアイコン300C上とアイコン300D上との両方において上記の動作が検出されればよい。例えば、一方の手の2本の指を用いてもよい。また、この変形例4は、アイコン300Dの表示位置への操作をする代わりに、表示装置1に設けた不図示の決定ボタンを押すように構成することもできる。
さらに、ユーザがアイコン300Dの表示位置への操作をしたり、不図示の決定ボタンを押したりした時点における右手の指先の位置を指定位置と判定するものに代えて、ユーザがたとえば左手で所定のジェスチャーを行ったことを検出したときにおける右手の指先の位置を指定位置と判定しても良い。この場合、表示装置1は、後述する変形例8の撮像装置18(図22参照)を備え、この撮像装置18により取得された画像を用いてユーザのジェスチャー(たとえば手をグーからパーに変える)が行われたことを検出する。
上記説明のキャリブレーション処理について、図16に示すフローチャートを参照して説明する。なお、図16のフローチャートはステップS131〜ステップS139を示し、それ以降のステップは省略した。ステップS139以降の処理は、図11に示すフローチャートのステップS109以降の処理と同様である。
ステップS131〜ステップS133の各処理は、図6に示したフローチャートにおけるステップS1〜ステップS3の各処理と同様である。ステップS134において、操作検出器13は、ユーザの右手の指先の下方への移動の検出を開始する。ユーザは指をさらに下降移動させて、指先が空中像300のアイコン300Cの表示位置を操作していると感じた時点で、左手の指先でアイコン300Dの表示位置への操作をする。ステップS136においては、ステップS135で、左手がアイコン300Dの表示位置への操作をした時点における右手の指先の位置を指定位置50Aとし、ステップS137に進む。ステップS137において、検出基準制御部204は、指定位置50Aに基づき、検出基準40を変更し、その変更された検出基準40の位置データを記憶部205に記憶して、ステップS138に進む。ステップS138において、第1のキャリブレーション処理モードを終了して、ステップS139に進む。ステップS139では、空中像操作モードを開始する。
上述の変形例4の表示装置1は、ユーザは、キャリブレーション処理において指がアイコンを操作する位置を指定する指定位置を、別のアイコン、または表示装置1の決定ボタンを操作することによって指定している。このようにユーザがアイコン300を知覚する位置をユーザに指定させてキャリブレーション処理を行うため、正確にキャリブレーション処理を行うことができる。また、このような指定位置を、別のアイコンまたは表示装置のボタンの操作によって指定することは、迅速にキャリブレーション処理を行うことができる。
(第1の実施の形態の変形例5)
変形例5の表示装置は、ユーザが指先でアイコンの表示位置を操作したと思ったら、ユーザが指を所定時間停止させることにより指定位置を指定するものである。なお、この本変形例は、第1の実施の形態における第1のキャリブレーション処理モードに適用した場合について説明するが、第2のキャリブレーション処理モードや上述した変形例1〜4にも適用できる。
この場合には、キャリブレーション用の空中像に含まれるアイコンに、メッセージ「キャリブレーションを行います。このアイコンの位置を指し示して下さい。指し示した状態をしばらくキープして下さい。」が重畳表示される。ユーザがアイコンの表示位置を操作したと感じて、しばらくの間、指の移動を停止すると、操作検出器13は指の下降移動が所定時間停止したことを検出する。検出基準制御部204は、このときの操作検出器13の検出出力に基づき、指の停止位置を指定位置として判定する。
この指定位置の判定は、次のように行われる。即ち、下方に移動している指先Fが停止して上下方向の比較的小さい所定の停止範囲内に所定の時間以上、滞在したことをもって、アイコン300Aの表示位置への操作が行われたと判定する。このように、指先Fが所定の時間以上、所定の停止範囲内に留まることをもって、指先Fのアイコン300Aの表示位置への操作と判定する理由は、操作が空中像300のアイコン300Aの表示位置への操作であるため、タッチパネルへの操作とは異なり、指先Fがアイコン300Aの表示位置で完全には停止しない可能性があるからである。なお、指定位置判定のための所定の停止範囲は、操作検出器13の静電容量の検出範囲13Aに比べて十分に小さい値、例えば5mmに設定され、また、所定の時間は、例えば2秒程度に設定される。
(第1の実施の形態の変形例6)
変形例6の表示装置は、ユーザが、指先でアイコンの表示位置を操作したと思った指定位置を発声によって指定するものである。なお、この変形例は、第1の実施の形態における第1のキャリブレーション処理モードに適用した場合について説明するが、第2のキャリブレーション処理モードや上述した変形例1〜5にも適用できる。
図17は、本変形例の表示装置1の構成のうち、制御部20と、制御部20によって制御される表示器11及び操作検出器13とを示したブロック図である。この表示装置1には、集音器14を含み、制御部20には音声検出部208が備えられる。集音器14は、表示装置1の周囲の音を集音し、音声データとして音声検出部208に出力する。集音器14としては市販のマイクロフォンを用いることができる。音声検出部208は、集音器14からの音声データを識別し、その音声データが「ハイ」に相当するか否かを判別する。
図17において、キャリブレーション部203が第1のキャリブレーション処理モードを起動すると、画像生成部201は、表示用画像データを生成し、この表示用画像データに基づき表示器11は、キャリブレーション用の表示画像を表示する。図18は、このキャリブレーション用の表示画像の空中像300を示す。空中像300は、キャリブレーション用アイコン300Eを含み、このキャリブレーション用アイコン300Eには、メッセージ「キャリブレーションを行います。このアイコンにタッチしたところで「ハイ」と声を出して下さい」が重畳表示されている。
ユーザは、アイコン300Eに重畳表示されたメッセージに従いアイコン300Eの表示位置への操作をするために、指先をアイコン300Eの方に押し下げ、アイコン300Eにタッチしたと思ったところで、メッセージに従い「ハイ」と声を出す。操作検出器13は、指先の下降移動を検出し、集音器14は、この声を集音し、音声データとして音声検出部208に出力する。音声検出部208が、音声データが「ハイ」に対応することを判定すると、検出基準制御部204が、その時点における操作検出器13によって検出される指先の位置を指定位置50Aと判定し、指定位置50Aに基づき検出基準40を変更すると共に、この変更された検出基準40の位置データを記憶部205に記憶する。
上記説明のキャリブレーション処理について、図19に示すフローチャートを参照して説明する。なお、図19のフローチャートはステップS141〜ステップS149を示し、それ以降のステップは省略した。ステップS149以降の処理は、図11に示すフローチャートのステップS109以降の処理と同様である。
ステップS141〜ステップS144の各処理は、図6に示したフローチャートにおけるステップS1〜ステップS4の各処理と同様である。ステップS145において、音声検出部208は、集音器14からの出力に基づいて、ユーザが「ハイ」を発声したかどうか判定する。ステップS145において肯定判定された場合、即ち、ユーザがアイコン30Fをタッチしたと思って「ハイ」という声を出したと判定した場合、ステップS146に進む。ステップS145において否定判定された場合は、肯定判定されるまで待機する。ステップS146において、検出基準制御部204が、音声検出部208が音声「ハイ」を判定した時点における指先の位置を指定位置50Aと決定、即ち判定する。ステップS147において、指定位置50Aに基づいて検出基準40を変更すると共に、その変更された検出基準40の位置データを記憶部205に記憶し、ステップS148に進む。ステップS148において、第1のキャリブレーション処理モードを終了して、ステップS149に進む。ステップS149において、空中像操作モードを開始する。
上述の変形例6の表示装置1は、ユーザは、アイコンの表示位置を操作したと思った指の位置、即ち指定位置を、発声によって指定するものである。このような到達位置を、発声によって指定することは、迅速にキャリブレーション処理を行うことができる。
なお、表示装置1が集音器14を備えず、外部の集音装置によって取得された音声データを無線や有線を介して入力し、外部の集音装置から入力した音声データを用いて音声検出部208が音声検出をしても良い。
(第1の実施の形態の変形例7)
上記においては、検出基準を単一の平面または段差を持った平面として説明した。しかし、検出基準は面ではなく、厚みを持った領域であってもよい。このような領域を持った検出基準のキャリブレーション処理について説明する。なお、説明は、第1の実施の形態における第1のキャリブレーション処理モードに適用した場合について説明するが、第2のキャリブレーション処理モードや上述した変形例1〜6にも適用できる。また、上述した変形例1〜6に適用してもよい。
本変形例の表示装置1は第1の実施の形態で説明した表示装置1と同様の装置であり、その構成は図2に示すブロック図により表される。図20(a)は、本変形例の表示装置1によって表示される空中像操作モード時の空中像30の一例を示し、図20(b)は、本体10または操作検出器13と空中像30と検出基準40との位置関係を模式的に示す。図20(a)に示す空中像30は、図3(a)に示す空中像30と同様である。図20(b)において、検出基準40は、上面401と下面402に挟まれて上下方向に厚さd2を有する領域として設定される。
図20(b)において、空中像30は、表示装置1の操作検出器13の上方に距離H1だけ離れた位置に形成され、検出基準40は、上面401と下面402がそれぞれ、操作検出器13の上方に距離H3とH4(H1<H3<H4)だけ離れた位置に設定されている。即ち、d2=H4−H3となる。空中像30と検出基準40は、静電容量の検出範囲13A内に位置するように設定されている。なお、検出基準40は、図3(b)では空中像30の上方に設定されているが、操作検出器13の静電容量検出範囲13A内であれば、空中像30の下方に設定しても、または空中像30の位置を領域d2内に含むように設定してもよい。
操作検出器13は、ユーザの指先が検出基準40に侵入した時に、指先の位置に応じて、距離H3〜H4の間のいずれかに対応した検出出力を出力し、検出基準制御部204は、この操作検出器13の検出出力が距離H3とH4との間に相当する検出出力である場合、指先がアイコン30Aの表示位置を操作したと判定する。このようにして、表示装置1は、ユーザが空中像30のアイコン30Aの表示位置を操作したことを検出し、その操作されたアイコン30Aに対応した機能を実行する。例えば、表示器11の表示画像の切り替えなどを行う。このように、変形例7の表示装置は、空中像操作モードにおいて、指が検出基準40の厚さd2内のどこに位置しても、検出基準制御部204は指がアイコン30Aの表示位置への操作を行っていると判定するので、より確実に表示位置への操作を判定することができる。例えば、指が、たまたまアイコン30Aの真上から下降移動されずに、斜め上方から下降移動された場合には、検出基準40が図3に示したように平面であると、アイコン30Aの真上の検出基準40を通過せず、その横の部分を通過してしまい、指のアイコン30Aの表示位置への操作を判定することができないことが起こり得る。しかし、検出基準40が厚さd2を有していると、指が斜め上方から下降移動された場合にも、指が検出基準40に入ったことを確実に検出することができるので、上述の事態の発生を低減することができる。更には、指が空中像30に並行に移動して、アイコン30Aの表示位置を操作した場合にも変形例7の表示装置は、検出基準40が厚さd2を有しているので、指が検出基準40内に入ったことを確実に検出することができる。
このような厚さd2の検出基準40を有する変形例7の表示装置1に関する第1のキャリブレーション処理モードを、以下に説明する。なお、厚さd2を有する検出基準40に関する第2のキャリブレーション処理モードも同様である。また、以下の説明は、第1の実施の形態と同一部分については、省略する。
図21(a)において、第1のキャリブレーション処理モードでは、図4に示されたアイコン300Aを含む空中像300が表示され、検出基準40が初期設定される。ユーザがアイコン300Aに重畳表示されたメッセージに従いアイコン300Aの表示位置への操作をするために、指先Fをアイコン300Aの方に下方移動して、指先Fが図2の操作検出器13の静電容量検出範囲13Aに達すると、操作検出器13は、このアイコン300Aへのユーザの指Fの接近移動、即ち下方への移動を静電容量の変化として検出する。
図21(b)において、ユーザは、指がアイコン300の表示位置を操作していると感じると、ユーザは例えば、指先Fを所定距離だけ上方に移動させる。操作検出器13は、指先Fの上記の下降移動、即ち押下げとそれに引き続く所定距離の上方移動とを、静電容量の変化として検出する。この静電容量の変化に基づいて、検出基準制御部204は、上述した到達位置50または指定位置50Aを判定する。
検出基準制御部204は、図21(c)に示すように到達位置50または指定位置50Aに基づき、検出基準40を厚さd2を有する3次元領域の検出基準40に変更する。図21(c)では、厚さd2の検出基準40が到達位置50または指定位置50Aを含むように設定されているが、厚さd2の検出基準40は、到達位置50または指定位置50Aよりも上方または下方の位置に設定してもよい。また、到達位置50または指定位置50Aからユーザにより押下する操作により押し込まれた方向とは反対方向に所定距離離れた位置と、到達位置50または指定位置50Aとで挟まれた3次元の領域を厚さd2の検出基準40としてもよい。検出基準制御部204は、厚さd2の検出基準40の位置データを記憶部205に記憶する。その後に、空中像操作モードが実行されると、記憶部205に記憶された位置データに基づき、厚さd2の検出基準40が設定される。
上記説明の第1のキャリブレーション処理モードと空中像操作モードとの関係については、図6に示すフローチャートと次の点を除いて同様の手順で行うことができる。即ち、ステップS6において、第1の実施の形態においては、検出基準制御部204は、到達位置50に基づき、単一の面である検出基準40を設定する手順となっている。これに対して、本変形例7においては、到達位置50または指定位置50Aに基づき、厚さd2の検出基準40が設定されることが異なる。
なお、空中像操作モードにおいて、アイコンが操作される度に、ユーザの指先の到達位置50または指定位置50Aを含む面が検出基準40の上面401と下面402の中間となるように検出基準40を設定するようにキャリブレーション処理を行うことも有効である。
また、指先がキャリブレーション処理用のアイコンの上方に位置している限り、ユーザの指が斜めに、すなわちZ方向に対して角度を有して下降移動した場合であっても、到達位置または指定位置を判定することができる。
(第1の実施の形態の変形例8)
上記説明において、ユーザの指先の下方への移動を、静電容量パネルにより構成される操作検出器13によって検出したが、撮像装置によりユーザの指先の位置を検出してもよい。変形例8の表示装置1は、図22に示すように、操作検出器として撮像装置(例えばデジタルカメラ)18を備え、この撮像装置18は表示装置1の上面に配置される。このような表示装置1のブロック図を図23に示す。
図23にブロック図を示した表示装置1は、制御部20には、画像解析部209を備えている。撮像装置18は、表示器11の上方に位置する物体、即ちユーザの指を撮像し、撮像された撮像画像は、画像解析部209に入力される。画像解析部209は、撮像装置18から入力された撮像画像を解析してユーザの指先の位置を求める。即ち、画像解析部209は、撮像画像内における指の像の位置から、ユーザの指先が複数のアイコンのうちのどのアイコンを操作しているのか判定する。更に、画像解析部209は、撮像画像内における指の像の大きさを、基準の指の大きさ、具体的には事前に撮像した所定高さ位置の指の大きさと比較することによって指の高さ位置、即ち指の降下位置を判定する。これにより、ユーザの指先の3次元空間における位置が求められる。このような構成によって、変形例8の表示装置1は、静電容量パネルを用いた操作検出器13により求めた指先の位置に関する情報と同様の情報を、撮像装置18による撮像画像の解析により得ることができる。従って、変形例8の表示装置は、上述した実施の形態および種々の変形例で説明した静電容量パネルの代わりに撮像装置18を使用して、上述した実施の形態および変形例と同様の処理を行うことができる。
変形例8の表示装置1は、画像解析部209が、撮像画像における指の大きさから指の高さ位置を算出したが、その代わりに、撮像装置18が、デジタルカメラに搭載されている位相差式焦点検出装置と画像認識装置によって、指の高さ位置を検出することもできる。具体的には、画像認識装置が指を認識し、位相差式焦点検出装置が画像認識装置によって認識された指についてデフォーカス量を検出し、このデフォーカス量から指の高さ位置を算出することができる。また、位相差式焦点検出装置の代わりにデジタルカメラに搭載されているコントラスト検出式焦点検出装置を使用しても同様に指の高さ位置を検出することができる。
撮像装置18としては、位相差式焦点検出装置やコントラスト検出式焦点検出装置の代わりに、TOF(Time of Flight)装置を搭載したカメラを好適に用いることができる。TOFカメラは、カメラ本体から赤外線を出射し、対象物に反射してTOFカメラに入射する赤外線を受光して、出射光と受光光の位相変化に基づいて、TOFカメラから対象物までに距離を算出する。従って、測定対象物をユーザの指先として、TOFカメラからユーザの指先に向けて赤外光を出射し、指先からの反射光を受光することで、TOFカメラからユーザの指先までの距離を求めることができる。なお、撮像装置18は、その撮像レンズとしては、空中像30の全体をカバーするために広角レンズであることが好ましく、魚眼レンズであってもよい。また、複数(たとえば、2個)の撮像装置を搭載し、それらの撮像画像によりユーザの指先の位置をより検出してもよい。
TOFカメラを表示装置1に装備した例を図24に示す。図24は、表示装置1の内部構成のみを表しており、表示装置の本体は省略している。図24において、表示器11と結像光学素子12との中央部に、TOFカメラ118’を配置するための空間が設けられており、その空間にTOFカメラ118’が配置されている。TOFカメラ118’は赤外線を所定範囲にスキャンすることで、ユーザの指先に赤外線を照射し、その反射光の位相変化により、TOFカメラ118’からユーザの指先までの距離を測定する。この距離と赤外線の出射方向に基づいて、TOFカメラ118’に対するユーザの指先の3次元空間における位置を求めることができる。即ち、指先の位置が空中像面内のいずれの位置に相当するか、また、指先の位置が表示装置1の表面からどれほど離れているか、が求まる。これにより、静電容量パネルによる指先の位置の検出情報と同様の情報を、TOFカメラ118’による測距結果から得ることができる。なお、上記の説明として、表示器11と結像光学系12との中央部に、TOFカメラ118’を配置するための空間が設けられており、その空間にTOFカメラ118’が配置されているような構成で説明したが、これに限らず、TOFカメラ118’を表示器11の外部に設置するような構成であってもよい。
変形例8の表示装置1においても、図24に示すように、空中像30が表示装置1の結像光学系12の上方に距離H1だけ離れた位置に形成され、検出基準40は、結像光学系12の上方に距離H2(H1<H2)だけ離れた位置に設定される。撮像装置18は、結像光学系12の表面から上方にユーザの指先の位置を検出するための検出範囲13Aを有する。図24では、撮像装置18の上方に撮像可能な範囲の限界を破線13aで示し、この検出限界13aと結像光学系12の表面との間隔が検出範囲13Aとして示される。変形例8においても、上記の第1の実施の形態や変形例1〜7の場合と同様に、空中像30と検出基準40とが検出範囲13A内に位置するように設定される。なお、検出基準24は、図24では空中像30の上方に設定されているが、検出範囲13A内であれば、空中像30の下方でも、または空中像30の位置に一致させてもよい。また、変形例8においても、検出範囲13A内のうち検出基準40に設定された領域以外の範囲は検出基準外41である。なお、検出範囲13Aは、撮像装置18の撮像可能な範囲の限界として設定されるものに限定されず、撮像可能な範囲のうち一部の範囲(たとえば図24中の左右方向の端部の所定範囲)を除いた範囲として設定されてもよい。
上記説明では、本変形例8の表示装置1は、操作検出器としての静電容量パネル13に代えて撮像装置18を備えるものであった。しかし、表示装置1は、操作検出器13と撮像装置18とを共に備えるものであってもよい。この場合には、例えば、図3に示された操作検出器13の検出範囲13Aを上下に二つに分割して下方の検出範囲(表示器11に近い方の検出範囲)と上方の検出範囲(表示器11から遠い方の検出範囲)とを形成し、この下方の検出範囲を静電容量パネル13の検出範囲とし、上方の検出範囲を撮像装置18の検出範囲とすることができる。このような構成によって、ユーザが表示位置への操作のために指を降下移動した時には、撮像装置18がその指の降下移動の前半部分を検出し、静電容量パネル13が指の降下移動の後半部分を検出する。一般に、静電容量パネル13は、表示器13の上方の近傍範囲を高精度に検出することができ、逆に、撮像装置18は、表示器13の上方の極く近傍範囲を撮像することが難しい場合があるので、静電容量パネル13の検出範囲と撮像装置18の検出範囲とを上述のように分担させることは、好ましいことである。なお、検出範囲13Aの2分割は、検出範囲13Aを上下に二等分する場合に限らず、不等分に分割してもよい。また、操作検出器13は、静電容量パネル13や撮像装置18に限らず、他の近接センサなどを使用することができる。従って、検出範囲13Aを分割した場合には、種々の操作検出器13が分割された検出範囲を分担することを可能である。
図9に示した速度・加速度検出部206は、図23の撮像装置18の撮像画像に基づき指の移動速度や加速度を算出することもできる。従って、検出範囲13Aを分割した場合には、上方及び下方の検出範囲毎に、指の移動速度や加速度を算出し、停止位置予測部207が指の到達位置を予測することもできる。
なお、上述の第1の実施の形態とその変形例1〜7では、制御部20と表示器11と操作検出器13とを少なくとも含む表示装置1を例に説明したが、制御部20のみで構成された検出装置や、制御部20と操作検出器13とで構成される検出装置であってもよい。また、制御部20は、少なくともキャリブレーション部203と検出基準制御部204とを備えればよい。上述の第1の実施の形態、または変形例1〜7に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加してもよい。
−第2の実施の形態−
図面を参照しながら、第2の実施の形態に係る表示装置1について説明する。第2の実施の形態においては、本実施の形態の表示装置1が携帯電話に組み込まれた場合を一例に挙げて説明を行う。なお、本実施の形態の表示装置は、携帯電話に限らず、タブレット端末、腕時計型端末等の携帯型情報端末装置、パーソナルコンピュータ、音楽プレイヤ、固定電話、ウエアラブル装置等の電子機器に組み込むことが可能である。
本実施の形態の表示装置1は、図1に示した表示装置1と同様であり、その主要部の構成は、図25に示すブロック図で表される。即ち、制御部20と、制御部20によって制御される表示器11と操作検出器13とを示している。制御部20は、画像生成部201と、表示制御部202と、キャリブレーション部203と、検出基準制御部204と、記憶部205と、ユーザ情報解析部210とを備える。
制御部20の主要構成は、ユーザ情報解析部210を備えたことを除いて、第1の実施の形態の表示装置1と同様なので、異なる部分を除き説明は省略する。検出基準制御部204は、検出基準を初期設定し、後述のキャリブレーション処理の結果に基づき、検出基準を変更する。ユーザ情報解析部210は、入力されたユーザに関する情報を解析する。検出基準制御部204は、キャリブレーション処理の際にユーザ情報解析部210から入力された情報に基づいて検出基準を変更する。
次に、本実施の形態の表示装置1におけるキャリブレーション処理について、図26に示すフローチャートを参照しながら説明する。なお、図26のフローチャートはステップS201〜ステップS207を示し、それ以降のステップは省略した。ステップS207以降の処理は、図11に示すフローチャートのステップS109以降の処理と同様である。図26のフローチャートに示す各処理は、表示装置1が起動された後、制御部20によってプログラムを実行して行われる。このプログラムは、記憶部205に記憶されている。
ステップS201において、ユーザによりユーザ情報入力モードの操作ボタンが操作されたかどうか判定する。ステップS201において肯定判定された場合、即ち、ユーザがユーザ情報入力モードを選択したと判定された場合、ステップS202に進む。ステップS201において否定判定された場合、即ち、ユーザがユーザ情報入力モードを選択しなかったと判定された場合、ステップS206に進む。ステップS202において、ユーザ情報入力モードを開始して、ステップS203に進む。ステップS203において、ユーザ情報の入力が終了したかどうか判定する。この判定は、例えば、ユーザがユーザ情報の入力終了を指示するボタンを操作したかどうかで行われる。ステップS203において肯定判定された場合、即ち、ユーザがユーザ情報の入力終了を指示した場合、ステップS204に進む。ステップS203において否定判定された場合は、肯定判定されるまで待機する。
ステップS204において、ユーザ情報解析部210は、入力されたユーザ情報に基づいて、空中像操作モードにおいて初期設定される検出基準40を変更すると共に、その変更された検出基準40の位置データを記憶部205に記憶し、ステップS205に進む。例えば、到達位置50から、所定距離d1だけ上方の位置に、検出基準40を変更する。ステップS205において、ユーザ情報入力モードを終了して、ステップS206に進む。ステップS206において、空中像操作モードを開始する。
ユーザ情報としては、例えば、ユーザの性別、年齢、体型(身長、腕の長さ)、視力のうちの少なくとも1種類または複数の組み合わせがある。記憶部205には、性別、年齢、体型(身長)、視力の因子のうちの1種類または複数の組み合わせをパラメータとする到達位置50に関する複数のテーブルが予め記憶されている。ユーザがユーザ情報を入力すると、ユーザ情報解析部210は、入力されたユーザ情報の種類と内容に基づいて、該当するテーブルを選択し、そのテーブルから該当する到達位置50を選択する。検出基準制御部204は、選択された到達位置50に基づいて検出基準40を決定する。
テーブルとして記憶された到達位置50は、例えば、男性よりも女性、年齢の高い人より比べて年齢の低い人、身長の高い人よりも身長の低い人が、操作検出器13により近い位置に到達位置50が設定される。
なお、図26のフローチャートのステップS201において、ユーザによりユーザ情報入力モードの操作ボタンが操作されたかどうかを判定していたが、この処理を必ずしも行う必要はなく、装置がユーザ情報を取得した段階でステップS204に移行してもよい。
なお、上記のユーザ情報として、ユーザの性別、年齢、体型(身長、腕の長さ)、視力等の情報を、そのユーザを特定するID(Identification Code)やパスワードと関連付けて記憶部205に記憶してもよい。このようにすることで、使用者は、表示装置1を使用する際に、IDやパスワードを入力するだけで、自身の性別、年齢、体型(身長)、視力等の情報に基づいて検出基準40を設定することができる。このように、ユーザに関連する情報の一つであるユーザ情報によって、そのユーザ用に検出基準40を変更して、検出基準40と空中像300の表示位置との位置関係を変更する。
第1の実施の形態の変形例8において説明したような撮像装置18によってユーザを撮影してその撮像画像を画像解析することにより、ユーザを特定してもよい。例えば、公知の顔認識技術を用いて撮像画像からユーザの年齢や性別などを特定する。検出基準制御部204は、そのユーザの性別や年齢等の情報に基づいて検出基準50を設定する。このようにすれば、ユーザがIDやパスワードを入力することを省略することもできる。このように、ユーザに関連する情報の一つであるユーザを特定する情報によって、そのユーザ用に検出基準40を変更して、検出基準40と空中像300の表示位置との位置関係を変更する。
(第2の実施の形態の変形例1)
第2の実施の形態は次のように変形できる。ユーザによるユーザ情報は、表示装置1に対して行う代わりに、表示装置1とは別の情報入力装置に対して行い、その情報を、インターフェースを介して表示装置1に転送してもよい。また、ユーザ情報は、ICカードに予め記録されていてもよく、その場合には、表示装置1または情報入力装置には、カード情報読み取り機能が備えられることが好ましい。
なお、上述した第2の実施の形態では、制御部20と表示器11と操作検出器13とを少なくとも含む表示装置1を例に説明したが、制御部20のみで構成された検出装置や、制御部20と操作検出器13とで構成される検出装置であってもよい。また、制御部20は、少なくともキャリブレーション部203と検出基準制御部204とユーザ情報解析部210とを備えればよい。なお、上述の第2の実施の形態に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加してもよい。
−第3の実施の形態−
図面を参照しながら、第3の実施の形態に係る表示装置1について説明する。第3の実施の形態においては、本実施の形態の表示装置1が携帯電話に組み込まれた場合を一例に挙げて説明を行う。なお、本実施の形態の表示装置は、携帯電話に限らず、タブレット端末、腕時計型端末等の携帯型情報端末装置、パーソナルコンピュータ、音楽プレイヤ、固定電話機、ウエアラブル装置等の電子機器に組み込むことが可能である。
本実施の形態の表示装置1は、図1に示した表示装置1と同様であり、その主要部の構成は、図27に示すブロック図で表される。本実施の形態の表示装置1は、制御部20と、制御部20によって制御される表示器11と操作検出器13と環境検出部19とを備える。環境検出部19は、表示装置1の周囲の使用環境を検出する。制御部20は、画像生成部201と、表示制御部202と、キャリブレーション部203と、検出基準制御部204と、記憶部205と、環境解析部211とを備える。
環境解析部211は、環境検出部19から入力された環境情報を解析し、環境変化があったか否かを判定し、環境変化があった場合に環境変化情報を検出基準制御部204に出力する。検出基準制御部204は、環境解析部211から入力された環境変化情報に基づいて検出基準のキャリブレーション処理を実行する。
本実施の形態のキャリブレーション処理は、空中像操作モードの実行と並行して実行される。図28に示すフローチャートを参照して本実施の形態のキャリブレーション処理について説明する。図28のフローチャートに示す各処理は、表示装置1が起動された後、制御部20によってプログラムを実行して行われる。このプログラムは、記憶部205に記憶されている。
ステップS211において、空中像操作モードが開始され、ステップS212に進む。ステップS212において、図3に示された空中像操作モード用のアイコン30Aを含む空中像30が表示されると共に、検出基準制御部204は、検出基準40を予め定められた初期位置に設定し、ステップS213に進む。ステップS213において、環境解析部211は、環境検出部19によって検出された使用環境に関する環境情報に基づいて、環境変化があったかどうか判定する。ステップS213において肯定判定された場合、即ち、環境変化があったと判定された場合、ステップS214に進む。ステップS213において、否定判定された場合、即ち、環境変化があったとは判定されなかった場合、ステップS216に進む。ステップS214においては、環境変化情報を検出基準制御部204に出力し、ステップS215に進む。ステップS215において、検出基準制御部204は、空中像操作モードの検出基準を環境変化情報に基づき変更し、ステップS216に進む。即ち、ステップS216において、空中像操作モードが続行される。
環境情報としては、温度、湿度、明るさ等がある。これらの環境の変化に基づいて、検出基準をキャリブレーション処理する理由は次の通りである。ユーザによって表示装置1が使用され、表示装置1の温度または表示装置1の周囲の温度が上昇すると、これに伴って、例えば、表示装置1の内部で、表示器11と結像光学系12とを固定している固定部材(不図示)が延び、これに伴って、表示器11と結像光学系12との間の距離が長くなる。ユーザによって空中像30の近傍における温度が変化する要因としては、携帯電話などのユーザの手に持てる表示装置の場合、ユーザが表示装置を握ることにより表示装置の温度が上昇する場合が挙げられる。その結果、空中像30が生成される位置は、温度上昇前に比べて、ユーザ側に近付く。また、ユーザが表示装置を利用した際に空中像30の近傍における明るさが変化し、ユーザから空中像30の見え方が変化する。その結果、空中像30を実際に明るさが変化する前に比べて遠く感じたりすることも考えられる。空中像30の近傍における明るさが変化する要因としては、ユーザ自らの影が空中像に重なることが考えられる。または表示装置が携帯電話などのユーザの手で持てる装置の場合、ユーザが表示装置を握ることにより、ユーザの手に汗が発生して周囲湿度が変化した場合にも、表示装置1の表示性能が影響を受けることがある。
環境検出部19としては、例えば、表示装置1の本体10内に備えられた、温度センサ、湿度センサ、明るさセンサ等である。なお、明るさについては、カメラの測光機能を用いることができる。
ユーザによる周囲の環境変化情報に基づくキャリブレーションに関する情報について次に説明する。記憶部205には、表示装置1の内部あるいは近傍における温度変化と湿度変化、空中像30近傍における明るさ変化の因子のうちの1種類または複数の組み合わせをパラメータとする検出基準の修正値に関する複数のテーブルが予め記憶されている。環境解析部211により、環境変化があったと判定された場合、環境解析部211は、環境変化があったと判断した場合、変化があった因子に応じて、概要するテーブルを選択し、そのテーブルから該当する検出基準の修正値を選択する。検出基準制御部204は、選択された修正値に基づいて検出基準40を変更する。このように、ユーザに関連する情報の一つであるユーザによる周囲の環境変化情報によって、そのユーザ用に検出基準40を変更して、検出基準40と空中像300の表示位置との位置関係を変更する。
上述の環境検出部19の検出出力は、第1の実施の形態の第1または第2のキャリブレーション処理モードや第1の実施の形態の変形例1〜8において、検出基準を変更する際にも利用することができる。即ち、上述の第1または第2のキャリブレーション処理モードにおいて、ユーザの指の到達位置に基づき検出基準を変更する代わりに、ユーザの指の到達位置または指定位置と環境検出部19の検出出力との両方に基づいて検出基準を変更することもできる。
なお、上述した環境変化としては、ユーザに起因する周囲の環境変化に限らず、窓から日光が差し込むことによる変化や、天候による湿度の変化や、表示装置の起動継続に伴う装置自体の温度上昇などの種々の環境の変化を検出し、この検出結果に基づき検出基準を変更して、検出基準と空中像との位置関係を変更してもよい。
なお、上述の第3の実施の形態では、制御部20と表示器11と操作検出器13とを少なくとも含む表示装置1を例に説明したが、制御部20のみで構成された検出装置や、制御部20と操作検出器13とで構成される検出装置であってもよい。また、制御部20は、少なくともキャリブレーション部203と検出基準制御部204と環境解析部211とを備えればよい。上述の第3の実施の形態に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加してもよい。
−第4の実施の形態−
図面を参照しながら、第4の実施の形態に係る表示装置100について説明する。本実施の形態における表示装置100は、操作検出器の構成が第1の実施における操作検出器13とは異なる。図29は、本実施の形態に係る表示装置を示す図であり、図29(a)は、第4の実施の形態による表示装置100の操作検出器100の概略構成を説明する断面図である。また、図19(b)は表示装置100が組み込まれた電子機器の一例として、現金自動預払機(ATM装置)200の斜視図である。表示装置100は、現金自動預払機200において、ユーザが暗証番号や金額等を入力するための前面パネル上に装備されている。なお、表示装置100は、現金自動預払機に限らず、鉄道やバスの乗車券・定期券等の各種の自動券売機や、図書館や美術館等の各種の情報検索端末装置等に広く組み込むことが可能である。説明の都合上、表示装置100について、X軸、Y軸およびZ軸からなる座標系を図示の通りに設定する。
図29(a)に示す通り、表示装置100は、本体(不図示)内に、表示器111と、結像光学系112と、操作検出器113とを備える。本体の内部に設けられた表示器111は、たとえば、液晶素子や有機EL素子等により構成され、複数の二次元状に配列された表示画素を有する。表示器111は、第1の実施の形態に係る表示装置1の制御部20に類似の制御部(不図示)により制御されて、表示用画像データに対応する画像を表示する。結像光学系112は、表示器111に対して所定の位置関係となるように配置される。結像光学系112としては、透明基板の内部に2種類の帯状反射部を一定間隔で平行に配列された素子を2個重ねて配置した構成とすることができる。
図30は、表示装置100の構成のうち、制御部20と、制御部20によって制御される表示器111及び操作検出器113とを示したブロック図である。図30のブロック図に示した表示装置100は、表示器111および操作検出器113の構成が図2のブロック図に示した表示装置1の表示器11および操作検出器13の構成と異なっている以外は、実質的に同様である。即ち、制御部20は、CPU、ROM、RAMなどを有し、制御プログラムに基づいて表示装置100の表示器111及び操作検出器113を含む種々の構成要素を制御したり、各種のデータ処理を実行したりする演算回路を含む。制御部20は、画像生成部201と、表示制御部202と、キャリブレーション部203と、検出基準制御部204と、記憶部205とを備える。記憶部205は、制御プログラムを格納する不揮発性メモリと、表示器111に表示される画像データなどを記憶する記憶媒体などとを含むものである。
結像光学系112は、表示用画像データに対応して表示器111に表示された画像から射出される光束を偏向して、図29に示したようなアイコンを含む空中像30を生成する。
操作検出器113は、空中像30の近傍に空中像30を囲むように設けられる。図31に操作検出器113の平面図を示す。操作検出器113は、XY平面に平行な断面が矩形の枠状のハウジング115を備える。ハウジング115の内面を構成する4面にうち、隣接する2面には複数の投光素子116が配置され、残る隣接する2面には複数の受光素子117が配置されている。図31においては、枠状のハウジング115の、ZX平面に平行な一対の内面のうち、内面ZX1には投光素子116のみが設けられ、内面ZX2には受光素子117のみが設けられる。同様に、YZ平面に平行な一対の内面のうち、内面YZ1には投光素子116のみが設けられ、内面YZ2には受光素子117のみが設けられる。すなわち、投光素子116と受光素子117は互いに対向して設けられる。投光素子116としては市販のレーザやLED素子等を用いることができる。また、受光素子117としては、市販のフォトダイオードやフォトトランジスタを用いることができる。なお、投光素子と受光素子を一体に構成した投受光素子を用いることも可能であり、この場合には、投光素子に代えて投受光素子を配置し、受光素子に代えてミラーを配置する。
投光素子116と受光素子117とは、1個対1個の対応関係となるようにアレイ状に整然と配列され、1個の投光素子116から出射された光は対応する1個の受光素子117のみに入射するように構成される。投光素子116から出射された光線は空中像Iと平行な面内(すなわち、XY平面に平行な面内)を進んで受光素子117に入射する。受光素子117による光の検出状態は制御部に送られ、制御部では、受光素子117の検出状態は受光素子117の位置と対応させて把握される。これにより、ハウジング115の内部においては、XY平面に平行な複数段の2次元格子状の光路群が形成される。投光素子116から出射する光の波長は赤外域であることが好ましい。
位置検出器113の断面を図32に示す。図32は説明を簡単にするために、投光素子116と受光素子117がそれぞれZ方向に6段ずつ配置された構成を示している。6段の投光素子116を、Z方向+側からそれぞれ116a、116b、116c、116d、116e、116fとする。また、6段の受光素子117を、Z方向+側からそれぞれ117a、117b、117c、117d、117e、117fとする。このように、位置検出器113は、投光素子116aと116fとの間に検出範囲を有し、この検出範囲は、第1の実施の形態における図3の検出範囲13Aに相当するものである。
操作検出器113の機能について、図32を用いて説明する。表示装置100において、表示制御部204は、表示装置100から離れた位置に空中像30を生成する。ここでは、空中像30はアイコン30Aを含み、生成されている上下方向における位置は、投光素子116dと受光素子117dとを含む面であるとする。また、検出基準制御部204は、検出基準40を所定の初期位置に設定する。ここでは、検出基準40は、投光素子116cと受光素子117cとを含む面に設定されるものとする。なお、空中像30および検出基準40をそれぞれきめ細かく設定するためには、投光素子116と受光素子117の上下方向の段数が多いことが好ましい。
ユーザは、空中像30の第1アイコン30Aの操作を行うために、指先をアイコン30Aに向けて下降移動させ、操作検出器113の検出限界(ここでは、投光素子116aと受光素子117aとを含む面)に達すると、操作検出器113は、受光素子117の出力に基づいてユーザの指先の接近を検出する。
指先Fが空中像30のアイコン30Aよりも上方の点線位置50に達した時に、ユーザは、指がアイコン30Bに到達して操作を実行していると感じて、指先Fの下方への移動を停止させる。検出基準制御部204は、受光素子117a、および117bにおいて光が検出されず、かつ、受光素子117cにおいて光が検出される状態が所定時間以上継続したことをもって、指先Fの下方への移動の停止、即ちアイコンへ30Bの表示位置への操作を判定する。このとき、投光素子116bと受光素子117bとを含む面を、指先Fがアイコン30Aの表示位置を操作して移動を停止した位置である到達位置とする。
検出基準制御部204は、到達位置50を判定すると、初期設定の検出基準40の位置を例えば、到達位置50の位置に変更し、この変更された検出基準40の位置データを図2の記憶部205に記憶する。これにより、第1の実施の形態の表示装置1と同様にして、到達位置50に基づいて、そのユーザに適した検出基準40が設定される。即ち、予め複数設置された投光素子116と受光素子117とのうち、投光素子116cと受光素子117cとを含む面を検出基準40として初期設定し、キャリブレーション処理によって、到達位置に基づき検出基準40を例えば投光素子116bと受光素子117bとを含む面に変更することにより、検出基準40と空中像30の表示位置との位置関係が変更される。なお、キャリブレーション処理によって、到達位置50の位置に検出基準40の位置を変更する、すなわち複数設置された投光素子116と受光素子117とのうち、投光素子116bと受光素子117cとを含む面に変更してもよい。勿論、初期設定された検出基準は、到達位置に基づき、到達位置の上方の位置に変更することもできるし、到達位置の下方の位置に変更することもできる。
更には、検出基準は、図21(c)に示したように、幅d2を持つ検出基準に変更することもできる。たとえば到達位置50に対して上方の投光素子116aと受光素子117aとが選択され、投光素子116aと受光素子117aとを含む面を上面401とし、到達位置50に対して下方の投光素子116cと受光素子117cとが選択され、投光素子116cと受光素子117cとを含む面を下面402とする、すなわち複数の投光素子116と受光素子117との組のうち、一組の投光素子116と受光素子117とを含む面で上面401を設定し、他の一組の投光素子116と受光素子117とを含む面で下面402を設定すればよい。
上述したように、本実施の形態は、複数設置された投光素子116と受光素子117により設定可能な複数の検出基準の中から、到達位置に基づいて一組あるいは複数組の投光素子116と受光素子117とを選択することにより検出基準を選択して、検出基準の位置を変更するものである。
以上説明した通り、表示装置100の表示器111と操作検出器113とは、表示装置1の表示器11と操作検出器13とは構成が異なるものの、検出基準40の設定を類似の手順により設定できる。従って、第4の実施の形態の表示装置100による第1および第2のキャリブレーション処理は、それぞれ、図6および図8にフローチャートで示した手順と同様の手順により行うことができる。第4の実施の形態の表示装置100は、上述した種々の変形例にも適用することができる。
なお、表示装置100はアクチュエータとエンコーダとを備え、投光素子116と受光素子117とをZ方向に微小距離移動させてもよい。たとえば、到達位置50から距離d1の位置に検出基準42を変更する場合、到達位置50から距離d1の位置に最も近い位置の投光素子116と受光素子117とが選択される。この選択された投光素子116と受光素子117とが配置された位置と到達位置50から距離d1との差分に基づいて、投光素子116と受光素子117とがアクチュエータにより移動されて、投光素子116と受光素子117との位置が微調整される。すなわち、投光素子116と受光素子117との位置が微調整されることにより、検出基準42を到達位置50から距離d1により接近した位置に変更することができる。
(第4の実施の形態の変形例1)
第4の実施の形態は次のように変形できる。第4の実施の形態の表示装置100においては、操作検出器113がZ方向に複数段の二次元状に配列された投光素子116、受光素子117を有する構成として説明した。しかし、二次元状に配列された投光素子116、受光素子117は1段のみでもよい。このような操作検出器113’を装備した構成の表示装置100を図33に示す。操作検出器113’は枠状のハウジング115’を備え、枠状のハウジング115’の内面、を構成する4面にうち、隣接する2面にはXY平面に平行な一列に複数の投光素子116が配置され、残る隣接する2面にはXY平面に平行な一列に複数の受光素子117が配置されている。すなわち、操作検出器113’は、図32にて説明した6段構成の操作検出器113のうちの1段のみで構成したものである。ハウジング115’にはアクチュエータ119が接続され、Z方向に所定の周期(たとえば、毎秒10サイクル)で往復移動させる。ハウジング115’の位置はアクチェータ119に組み込まれた位置を検出するセンサ、例えばエンコーダ(不図示)、により検出される。この場合、ハウジング115’を往復移動可能な範囲に含まれる所定の位置を検出基準40と設定する。
操作検出器113’を装備した表示装置100による検出基準のキャリブレーション処理について図32を用いて説明する。ユーザが空中像30のアイコン30Aの表示位置を操作するために、指先を空中像30に向けて押し下げる。指先の位置がハウジング115’の移動範囲に入ると、投光素子116から出射した光がユーザの指により遮られて受光素子117に到達しなくなる。このユーザの指により遮られて受光素子117に到達しなくなる位置をエンコーダによって検出し、ユーザの指先の位置が検出される。ユーザは空中像30に含まれるアイコン30Aの表示位置を操作するために、さらに指先を空中像30に向けて押し下げ、ユーザがアイコン30Aに到達してアイコン30Aの表示位置への操作を実行していると感じ、指先を停止する。ユーザの指先が静止したか否かについては、例えば、往復移動するハウジング115’が1往復する間、投光素子116からの光が受光素子117に到達しなくなる位置が略同じ位置で検出された場合、ユーザの指先が静止していると制御部20は判定する。この時、ユーザの指先が静止している位置を到達位置とし、決定された到達位置に基づいて、検出基準40の位置を設定する。各処理を示すフローチャートは図6に示したものと実質的に同じである。
なお、上述の第4の実施の形態、変形例1では、制御部20と表示器111と操作検出器113とを少なくとも含む表示装置1を例に説明したが、制御部20のみで構成された検出装置や、制御部20と操作検出器113とで構成される検出装置であってもよい。また、制御部20は、少なくともキャリブレーション部203と検出基準制御部204とを備えればよい。上述の第4の実施の形態または変形例1に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加すればよい。
第4の実施の形態においては、投光素子・受光素子を用いた操作検出器を用いてユーザの指先の位置を検出している。しかし、操作検出部として撮像部を備えることも可能である。たとえば、表示装置に撮像部としてカメラを装備して、このカメラによりユーザの指先の動きを検出して、その情報に基づいて検出基準40のキャリブレーション処理を行ってもよい。図34は、第4の実施の形態に説明した表示装置100と同様の表示器111と結像光学系112を有する表示装置100’を示す。表示装置100’は、操作検出器113は備えず、その代り、撮像装置(例えばデジタルカメラ)118を備えている点で、表示装置100と異なる。表示装置100’においては、撮像装置118によりユーザの指の位置を把握する。撮像装置118に装着するレンズとしては、空中像30の全体をカバーするために広角レンズであることが好ましく、魚眼レンズであってもよい。また、複数(たとえば、2個)の撮像装置を設け、それらの撮像画像によりユーザの指先の位置をより検出してもよい。
上記第1の実施の形態から第4の実施の形態およびそれらの変形例においては、検出基準40の位置を移動させることにより、検出基準40と空中像30(あるいはアイコン300A等)との位置関係を変更するように制御を行った。しかし、検出基準40と空中像30との相対的位置関係を変更するためには、空中像30を移動させてもよい。また、検出基準40と空中像30との相対的位置関係を変更するためには、検出基準40と空中像30との両方を移動させてもよい。
−第5の実施の形態−
以上の実施の形態及びその変形例は、キャリブレーション処理によって検出基準を制御または変更して、検出基準と空中像の表示位置との位置関係を変更するものであったが、次に、キャリブレーション処理によって空中像の表示位置を変更して、検出基準と空中像の表示位置との位置関係を変更する第5の実施の形態を説明する。
図35及び図36は、第5の実施の形態の表示装置を示すものである。第5の実施の形態の表示装置1は、第1の実施の形態の表示装置と同様に、図35に示すように制御部20を内蔵する本体10と、表示器11と、結像光学系12と、操作検出器13とを備えると共に、図36に示すように画像生成部201と、表示制御部202と、キャリブレーション部203と、検出基準制御部204と、記憶部205とを備える。第5の実施の形態の表示装置1は、上述の構成に加えて更に、表示位置変更部500と、表示位置制御部220とを備える。
表示位置変更部500は、例えばモーターまたはアクチュエータなどの駆動部を有し、結像光学系12を矢印で示すように結像光学系12の光軸方向に移動して、結像光学系12によって形成される空中像30の表示位置をZ軸方向、即ち光軸方向に移動して変更する。空中像30を上方向、即ち表示器11から離れる方向に移動させるには、結像光学系12を下方向、即ち表示器11に近づく方向に移動させ、逆に空中像30を下方向、即ち表示器11に近づく方向に移動させるには、結像光学系12を上方向、即ち表示器11から離れる方向に移動させる。なお、表示位置変更部500は、結像光学系12を移動する代わりに、表示器11を結像光学系12の光軸方向に移動して、空中像30の表示位置を移動し変更することもできる。
表示器11と結像光学系12と操作検出器13とは、図1に示した第1の実施の形態の表示器11と結像光学系12と操作検出器13の各々と同一の構成のものを使用することができるが、本実施の形態の結像光学系12または表示器11は、上述のように結像光学系12の光軸方向に移動可能に構成されている。
なお、以下の説明では、モーターまたはアクチュエータなどの駆動部を有し、結像光学系12を矢印で示すように結像光学系12の光軸方向に移動して、結像光学系12によって形成される空中像30の表示位置をZ軸方向、すなわち光軸方向に移動して変更する例で説明を行うが、これに限定されず、表示位置制御部220は、表示器11を制御し、右目で視認するための表示画像と、右目で視認する画像とは視差を有する左目で視認するための表示画像とを表示させ、空中像30の奥行の表示位置を変更してもよい。
画像生成部201と表示制御部202とキャリブレーション部203と検出基準制御部204と記憶部205とは、図1に示した第1の実施の形態の画像生成部201と表示制御部202とキャリブレーション部203と検出基準制御部204と記憶部205と同一の機能を果たすものである。
制御部20は、上述のように表示位置制御部206を備え、この表示位置制御部220は、キャリブレーション処理モードにおいて検出または判定された指の到達位置や指定位置などに基づき空中像30の移動量を算出または決定して、表示位置変更部500に空中像30の表示位置を変更させる。
第5の実施の形態の表示装置の動作を次に説明する。空中像操作モードは、第1の実施の形態の表示装置と同様であり、空中像操作モードが起動されると、図3(a)に示された空中像操作モード用の空中像30が結像光学系12によって表示され、検出基準制御部204によって検査基準40が所定の初期位置に設定される。指が空中像30のアイコン30Aの表示位置を操作するために下降移動すると、操作検出器13が指の下降移動を検出する。検出基準制御部204は、操作検出器13の検出出力に基づき、指が検出基準40の位置に到達したことを判定して、この判定によって、操作されたアイコン30Aに応じた機能が実行される、例えば、空中像30の表示内容が切り替えられる。
第1のキャリブレーション処理モードが実行されると、表示制御部202と表示器11と結像光学系12とが図4に示したキャリブレーション処理用の空中像300を空中に形成し、検出基準制御部204が検出基準40を空中像300の近傍に初期位置に設定する。ユーザが指を空中像300のアイコン300Aを操作するために、下降移動させると、操作検出器13がその下降移動を検出する。検出基準制御部204は、操作検出器13の検出出力に基づき、指の到達位置50を判定する。この判定は、第1の実施の形態で説明した方法や第1の実施の形態の変形例1、2で説明した方法が使用される。表示位置制御部206は、指の到達位置50に基づき、表示位置変更部500に空中像300の位置を結像光学系12の光軸方向に移動させる。
なお、表示制御部202と表示器11と結像光学系12とは図12、図15、図18に示されたキャリブレーション処理用の空中像300を形成してもよく、この場合には、検出基準制御部204は、操作検出器13の検出出力に基づき、指による指定位置50Aを判定する。表示位置制御部220は、指定位置50Aに基づき、表示位置変更部500に空中像300の位置を結像光学系12の光軸方向に移動させる。この空中像300の表示位置の移動によって第1のキャリブレーション処理が終了し、これに引き続く空中像操作モードでは、移動された表示位置に空中像操作モード用の空中像30が表示される。
表示位置制御部220及び表示位置変更部500による空中像300の表示位置の移動は、次のように行われる。即ち、表示位置制御部220及び表示位置変更部500は、指の到達位置50または指定位置50Aが図37(a)に示したように、検出基準40よりも上方に位置する場合には、到達位置50または指定位置50Aと検出基準40との間隔ΔHを算出して、空中像300の表示位置を例えば間隔ΔHだけ下方である点線で示した表示位置300に移動させる。空中像300は空間に表示しているため、視認性が悪く、ユーザによっては、空中像300の表示位置が異なって見える場合がある。図37(a)で示した例では、ユーザは空中像300の表示位置が実際の位置よりも高い位置に空中像300があると感じている。そのため、ユーザによる到達位置50または指定位置50Aが、空中像300の表示位置よりも上方の位置になっている。そこで、ユーザによる空中像300の表示位置への操作を検出するために、空中像300の表示位置を間隔ΔHだけ下方に移動させる。そのため、ユーザは下方へ移動した空中像300の表示位置を操作するようになり、到達位置50または指定位置50Aがより下方になることが期待できる。到達位置50または指定位置50Aがより下方になるため、到達位置50または指定位置50Aが検出基準に到達し、ユーザによる空中像300の表示位置への操作を検出できるようになる。このように、空中像300の表示位置を移動させることにより、ユーザによる空中像300の表示位置への操作を検出基準40で検出することができるようになる。
また、表示位置制御部220及び表示位置変更部500は、指の到達位置50または指定位置50Aが図37(b)に示したように、検出基準40よりも下方に位置する場合には、到達位置50または指定位置50Aと検出基準40との間隔ΔHを算出して、空中像300の表示位置を例えば間隔ΔHだけ上方である点線の表示位置300に移動させる。
更に、表示位置制御部220及び表示位置変更部500は、指の到達位置50または指定位置50Aが、検出基準40に一致した場合、または検出基準40の近傍位置に存在した場合には、空中像300の表示位置を移動しない。
なお、表示位置制御部220及び表示位置変更部500は、到達位置50または指定位置50Aが検出基準40よりも上方に位置する場合には、空中像300の表示位置を下方向に移動させ、到達位置50または指定位置50Aが検出基準40よりも下方に位置する場合には、空中像300の表示位置を上方向に移動させるが、その移動量は、上述のように到達位置50または指定位置50Aと検出基準40との間隔ΔHに一致させる必要はなく、第1の実施の形態において説明したように、間隔ΔHよりも大きくしてもまたは小さくしてもよい。
なお、空中像の移動量の算出方法の一例としては、多数のユーザに事前にキャリブレーション処理を実行してもらい、到達位置または指定位置と検出基準との距離ΔHに対して空中像300の表示位置を種々移動させたときの空中像の操作上、違和感の少ない空中像300の移動量を求め、その空中像300の移動量に対して統計的な処理を行って、距離ΔHに対する空中像の移動量を決定する。
このような統計的処理による空中像の移動量は、例えば、全てのユーザに共通の値であってもよいし、ユーザの年齢層毎に異なった値であってもよいし、性別毎に異なった値であってもよい。なお、この統計的な処理による空中像の移動量の決定方法は、上述の第1の実施の形態において、到達位置または指定位置に基づいて検出基準を変更する際の検出基準の移動量を決定する場合にも適用することができる。
上記説明のキャリブレーション処理について、第1のキャリブレーション処理モードを例に挙げ、図38に示すフローチャートを参照して説明する。なお、図38のフローチャートはステップS301〜S308を示し、それ以降のステップは省略した。ステップS308以降の処理は、図6のステップS9以降の処理と同様である。
ステップS301〜S305の各処理は、図6に示したフローチャートにおけるステップS1〜S5の各処理と同様である。ステップS306において、表示位置制御部206は、空中像300の表示位置を変更させる。すなわち、表示位置制御部206は、指の到達位置50に基づき、表示位置変更部500に空中像300の表示位置を結像光学系12の光軸方向に移動させてステップS307へ進む。ステップS307において、第1のキャリブレーション処理モードを終了して、ステップS308へ進む。ステップS308において、空中像操作モードを開始する。なお、ステップS303にて図12、図15、図18に示す空中像300を表示させた場合には、ステップS305にて指定位置50Aを判定し、ステップS306において指定位置50Aに基づいて空中像300の表示位置を変更すればよい。
なお、キャリブレーション処理の説明として第1のキャリブレーション処理モードを例として説明したが、第2のキャリブレーション処理モードにも適用できる。
以上のように、第5の実施の形態の表示装置は、キャリブレーション処理において到達位置または指定位置に基づき空中像の表示位置を変更して、空中像の表示位置と検出基準との位置関係を変更するものであり、ユーザの操作特性に適した空中像の表示位置と検出基準との位置関係を得ることができる。
また、キャリブレーション処理において空中像を移動することは、キャリブレーション処理において検出基準を変更する場合に変更後の検出基準が図3に示した操作検出器13の検出範囲13Aの外に出てしまったり、検出範囲13Aの上限または下限付近に位置するといった事態になりそうな場合には、検出基準の変更の代わりに、空中像の移動を行えば、上記の事態を避けることができる。
(第5の実施の形態の変形例1)
次に、第5の実施の形態の表示装置の変形例1を説明する。
第5の実施の形態の表示装置は、キャリブレーション処理において、到達位置または指定位置に基づき空中像の表示位置を変更したが、第5の実施の形態の表示装置の変形例1は、キャリブレーション処理において、到達位置または指定位置に基づき、表示位置制御部220及び表示位置変更部500が空中像の表示位置を変更すると共に、検出基準制御部204が検出基準の位置を変更する。この空中像の表示位置の変更および検出基準の位置の変更によって、ユーザの操作特性に適した空中像の表示位置と検出基準との位置関係をうることができる。表示位置変更部500が、到達位置または指定位置に基づいて決定される適正な表示位置に高精度に空中像を移動することが難しい場合には、表示位置変更部500が空中像の表示位置を粗調整し、検出基準制御部204が検出基準を微調整することによって、空中像の表示位置と検出基準との位置関係を適正に設定することができる。
(第5の実施の形態の変形例2)
第5の実施の形態の表示装置の変形例2を以下に説明する。変形例2の表示装置は、表示位置制御部220及び表示位置変更部500が空中像の表示位置を移動する際に、移動開始から移動終了の間に空中像の表示をフェードアウトしそれからフェードインする。即ち、空中像の移動開始に伴い表示の輝度を徐々に小さくし、その後、空中像の移動終了に向けて表示輝度を徐々に大きくする。キャリブレーション処理として空中像を移動させているが、ユーザが視認可能な空中像が移動すると、ユーザに違和感が生じる場合がある。そこで、空中像の移動開始に伴い表示の輝度を徐々に小さくすることにより、空中像の移動がユーザに視認されづらくなり、ユーザの違和感を軽減できる。
また、表示制御部202は、空中像の移動中、空中像の表示輝度やコントラストを下げたり、輝度やコントラストを下げた状態で空中像の表示を点滅させたり、更には空中像の表示を消したりすることができる。このように、表示位置変更部500による空中像の移動を目立たなくする、即ち視認し難くすることで、ユーザの違和感を軽減できる。
また、逆に、空中像の移動に伴って空中像自体を目立たせるような表示態様を行っても良い。空中像を目立たせるような表示態様とは、空中像の移動中、空中像の表示輝度やコントラストを上げたり、空中像の表示を点滅させたりすること等である。このように、空中像自体を目立たせるような表示態様を行うことによって、空中像の移動を目立たさなくすることができ、ユーザは空中像の移動よりも空中像自体を注目するようになる。そのためユーザは、空中像の移動が気にならなくなり、ユーザの違和感を軽減できる。
上記のように空中像の移動時における空中像の表示態様の変更は、図38のフローチャートにおけるステップS306の処理の最中に行われる。
このような空中像の移動中における空中像の表示を目立たなくしたり、目立つようにしたりすることは、空中像の全体に対して行うのではなく、空中像の一部、例えば、キャリブレーション処理用のアイコンに対して行うようにしてもよい。また、このような空中像の移動を目立たせるか否かは、ユーザの好みに応じて、選択することができるようにしてもよい。
また先ほどの説明とは反対に、キャリブレーション処理の実行中に、空中像の移動をユーザに確認させるため、表示位置変更部500による空中像の移動が目立つようにしてもよい。表示制御部202は、空中像の移動中、空中像の表示輝度やコントラストを上げたり、空中像の表示を点滅させたりしてもよい。上述の説明では、空中像の移動が目立たないようにしていたが、逆にユーザに対して空中像の移動を目立たせることによって、空中像の移動後の位置を明確にさせることができる。
なお上記のように空中像の移動時における空中像の表示輝度の変更は、図38のフローチャートにおけるステップS306の処理の最中に行われる。
(第5の実施の形態の変形例3)
第5の実施の形態の表示装置1の変形例3を以下に説明する。変形例3の表示装置1は、キャリブレーション処理の際にユーザの操作によって空中像の表示位置の変更を開始する。この場合、ユーザの操作が終了した後、表示位置制御部220は表示位置変更部500を制御して、空中像の表示位置の変更を開始させる。
上記説明のキャリブレーション処理について、第1のキャリブレーション処理モードを例に挙げ、図39に示すフローチャートを参照して説明する。なお、図39のフローチャートはステップS311〜S319を示し、それ以降のステップは省略した。ステップS319以降の処理は、図6のステップS9以降の処理と同様である。
ステップS311〜S315の各処理は、図38に示したフローチャートにおけるステップS301〜S305の各処理と同様である。ステップS316において、ユーザによる操作が終了したか否かを判定する。ステップS316において肯定判定された場合、すなわち、ユーザによる操作が終了したと判定された場合には、ステップS317へ進む。ステップS316において否定判定された場合には、ステップS314に戻る。ステップS317〜S319の各処理は、図38に示したフローチャートにおけるステップS306〜S308の各処理と同様である。
なお、ユーザによる操作が終了したか否かを判定するステップS316は、空中像の表示位置を変更するか否かを決定するものである。従って、ユーザによる操作の終了は、到達位置または指定位置を判定したことをもってユーザの操作終了と判断してもよいし、到達位置または指定位置の判定後に、表示位置を変更するための特定のジェスチャー(ユーザの手の形状がパーからグーになるようなジェスチャー)の検出をもってユーザによる操作終了と判断してもよいし、到達位置または指定位置の判定後に、表示位置を変更するためのボタンが空中像に表示され、そのボタンがユーザによって押下されたことが検出されたことをもってユーザによる操作が終了したと判断してもよい。
なお、キャリブレーション処理の説明として第1のキャリブレーション処理モードを例として説明したが、第2のキャリブレーション処理モードにも適用できる。
(第5の実施の形態の変形例4)
第5の実施の形態の表示装置1の変形例4を以下に説明する。変形例4の表示装置1は、キャリブレーション処理の際にユーザが空中像の表示位置の変更を開始するタイミングを発声により指定するものである。図40は、変形例4における表示装置1の構成のうち、制御部20によって制御される表示器11および操作検出器13を示したブロック図である。この表示装置1は、図17に示す第1の実施の形態の変形例6における集音器14を含み、制御部20には音声検出部208が備えられる。
表示装置1は、第1の実施の形態の場合と同様にして到達位置50を判定する。表示制御部202は、空中像300のキャリブレーション用アイコン300Fに、たとえば図41に示すように、メッセージ「キャリブレーションを実行します。「ハイ」と声を出してください」を重畳表示する。ユーザがキャリブレーション用アイコン300Fのメッセージに従って「ハイ」と声を出すと、集音器14はこの音声を集音し、音声データとして音声検出器208に出力する。音声検出器208が、音声データが「ハイ」に対応することを判定すると、表示位置制御部220は、表示位置変更部500を制御して、空中像300の表示位置を変更する。上記のような空中像の表示位置の変更は、図39に示す第5の実施の形態の変形例3のフローチャートにおけるステップS316のユーザによる操作が終了したか否かの代わりに、ユーザが「ハイ」を発声したか否かを判定し、「ハイ」を発声したと判定した場合にはステップS316が肯定判定されてステップS317へ進むようにする。
なお、キャリブレーション処理の説明として第1のキャリブレーション処理モードを例として説明したが、第2のキャリブレーション処理モードにも適用できる。
また、表示装置1が集音器14を備えず、外部の集音装置によって取得された音声データを無線や有線を介して入力し、外部の集音装置から入力した音声データを用いて音声検出部208が音声検出をしてもよい。
なお、以上のように、検出基準制御部204が指の到達位置または指定位置を判定したにも拘わらず、ユーザが「ハイ」と発声するまでは空中像を移動せずに、ユーザが「ハイ」と発声したことを検出して空中像を移動するようにすると、ユーザが「ハイ」と発声するまでの間に、空中像の表示位置に対する操作を複数回繰り返す場合がありうる。このような場合には、ユーザが「ハイ」と発声した時に、例えば、複数回の到達位置または指定位置の相加平均や相乗平均などの平均的な値に基づき、または複数の到達位置50の中央値(メジアン)に基づいて、または複数の到達位置または指定位置のうち、最後の到達位置または指定位置に基づいて、空中像を移動する。
(第5の実施の形態の変形例5)
第5の実施の形態の表示装置の変形例5を以下に説明する。変形例5の表示装置1は、ユーザが空中像を視認している場合には、空中像の移動を中止し、ユーザが空中像から目をそらした場合に、空中像の移動を行う。このために、表示装置1は、第1の実施の形態の変形例8のようにカメラなどの撮像装置を備え、撮像装置がキャリブレーション処理を実行中のユーザを撮影し、制御部20が撮影された画像データを解析して、この解析結果に基づきユーザの顔の向き、またはユーザの身体の向きを判定して、ユーザが空中像を視認しているか否かを判定する。表示位置制御部220および表示位置変更部500は、ユーザが空中像を視認していないときに、空中像を移動する。キャリブレーション処理として空中像を移動させているが、ユーザが視認可能な空中像が移動すると、ユーザに違和感が生じる場合がある。そこで、ユーザが空中像から目をそらした場合に、空中像の移動を行うことにより、空中像の移動がユーザに視認されず、ユーザの違和感を軽減できる。
表示装置1は、撮像装置の代わりに、または撮像装置に加えて、ユーザの視線を検出する視線検出器を備え、この視線検出器の検出出力に基づき、表示位置制御部220および表示位置変更部500は、ユーザが空中像を視認していないときに、ユーザの視線が空中像に向いていないときに空中像を移動する。上記のような空中像の表示位置の変更は、例えば、図39に示す第5の実施の形態の変形例3のフローチャートにおけるステップS316のユーザによる操作が終了したか否かの判定の代わりに、ユーザが空中像を視認しているか否かを判定するようにする。ユーザが空中像を視認していると判定した場合にはステップS316が肯定判定されてステップS317へ進むようにする。
なお、キャリブレーション処理の説明として第1のキャリブレーション処理モードを例として説明したが、第2のキャリブレーション処理モードにも適用できる。
なお、上述の視線検出器または撮像装置は、表示装置1に設けられてなくてもよい。視線線検出器は、表示装置1の外部に設置されていて、視線検出結果を無線通信またはケーブルを介して表示装置1に送信してもよい。また、撮像装置は、表示装置1の外部に設置されていて、撮像データを無線通信またはケーブルを介して表示装置1に送信してもよい。
なお、上述の説明では、ユーザが空中像を視認していると判定した場合に空中像の表示位置の変更をしたが、反対に、ユーザが空中像を視認している場合に、表示位置制御部220および表示位置変更部500は、空中像の表示位置の変更をさせるような制御を行ってもよい。この場合には、ユーザが確実に空中像を視認しているため、どの程度空中像が移動したかをユーザは知覚できるため、ユーザに対して操作する位置の変更を促すことができる。
なお、上述の説明では、ユーザが空中像を視認していない場合に、空中像の表示位置の変更をさせるような制御を行ったが、ユーザの生体情報を取得し、生体情報の値に基づいて空中像の表示位置を変更させるような制御を行ってもよい。例えば、ユーザの生体情報としてユーザの脈拍数を取得する。ユーザの脈拍を取得する方法として、例えば、装置を利用する前にユーザの脈拍数を取得するための装置をユーザに取り付けさせる。そして、表示位置制御部220および表示位置変更部500は、ユーザの脈拍数が大きくなった場合、空中像の表示位置の変更をさせるような制御を行ってもよい。ユーザの脈拍数が大きくなった場合、ユーザは操作がうまくいかずイライラしている場合がある。このような場合に、空中像の表示位置を変更することにより、ユーザに装置を快適に利用させることができる。
なお、以上のように、検出基準制御部が指の到達位置または指定位置を判定したにも拘わらず、ユーザが空中像を視認しているときには空中像を移動せずに、ユーザが空中像を視認しなくなったことを検出して空中像を移動するようにすると、ユーザは、空中像を視認しなくなるまでに、空中像の表示位置に対する操作を複数回繰り返す場合がありうる。このような場合には、ユーザが空中像を視認しなくなった時に、例えば、複数回の到達位置または指定位置の相加平均や相乗平均などの平均的な値に基づき、または複数の到達位置50の中央値(メジアン)に基づいて、または複数の到達位置または指定位置のうち、最後の到達位置または指定位置に基づいて、空中像を移動する。
(第5の実施の形態の変形例6)
第5の実施の形態の表示装置の変形例6を以下に説明する。変形例6の表示装置1は、キャリブレーション処理において、空中像の移動速度を変更することができる。表示装置1は、空中像を極めて高速度で移動させるか、または空中像を低速で移動させることができる。表示位置制御部220と表示位置変更部500は、空中像を第1の所定値以上の極めて高速度で移動させるか、または空中像を第1の所定値よりも小さい第2の所定値以下の低速度で移動させる。このように、空中像を極めて高速度または低速度で移動させることによって、ユーザは、空中像の移動を視認し難くなる。また、空中像を極めて高速で移動させるか、低速度で移動させるかをユーザが選択スイッチなどによって選択することができるようにしてよい。表示位置制御部220と表示位置変更部500とがこのような制御を行うことにより、ユーザは空中像の表示位置の移動を視認しづらくなる。そのため、空中像の移動がユーザに視認されづらくなり、ユーザの違和感を軽減することができる。また、空中像の表示位置を変更する距離が大きい場合、空中像の表示位置の変更がユーザに目立つ場合があるため、変更する距離に基づいて第1の所定値と第2の所定値とを変更してもよい。たとえば、空中像の表示位置を所定距離以上移動させる場合は、空中像の表示位置を所定距離以下移動させる場合と比較して、第1の所定値の速度を速くし、第2の所定値の速度を遅くしてもよい。
なお、上述した第5の実施の形態やその変形例1〜6では、制御部20と表示器11と操作検出器13とを少なくとも含む表示装置1を例に挙げたが、制御部20のみで構成された制御装置や、制御部20と表示器11とで構成される制御装置であってもよい。また、制御部20は、少なくともキャリブレーション部203と表示位置制御部220とを備えればよい。上述の第5の実施の形態または変形例1〜6に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加すればよい。
−第6の実施の形態−
次に第6の実施の形態の表示装置を、図42を参照して説明する。説明する表示装置としては、図35および図36に示した第5の実施の形態の表示装置と同一の構成を備える。上述した第5の実施の形態の表示装置との差異は、図42に示したように、空中像30を挟んで、第1の検出基準40aと第2の検出基準40bとが初期に設定されている点である。なお、図42では、空中像30が、第1および第2の検出基準40a、40bの間の中間に位置するように、即ち空中像30と第1の検出基準40aとの距離が空中像30と第2の検出基準40bとの距離とが等しくなるように定められている。しかし、必ずしも空中像30と第1の検出基準40aとの距離と、空中像30と第2の検出基準40bとの距離とを等しく設定しなくてもよい。また、空中像30にはアイコン30Aが表示されている。
空中像操作モードで、指Fをアイコン30Aの方へ下降移動させると、操作検出器13が指Fの下降移動を検出する。指Fが第1の検出基準40aに達すると、検出基準制御部204は操作検出器13の検出出力に基づき、指Fが第1の検出基準40aに達したことを判定し、この判定に応じて、表示制御部202がアイコン30Aの表示態様を変化させる。この表示態様の変化は、表示の高輝度化や点滅表示などのハイライト表示でもよいし、表示の色を変えてもよい。このようなアイコン30Aの表示態様の変化によって、ユーザは、指がアイコン30Aを選択していることを確認することができる。
ユーザが指Fを更に降下移動させ、第2の検出基準40bに達すると、検出基準制御部204は、操作検出器13の検出出力に基づき、指Fが第2の検出基準40bに達したことを判定し、この判定に応じて、表示制御部202は空中像30の表示内容を切り替える。すなわち、第2の検出基準40bは、上述の第5の実施の形態に記載された検出基準40と同様の機能を果たす。なお、指Fが第2の検出基準40bに達したことを判定し、この判定に応じて、表示制御部202は空中像30の表示内容を切り替える例で説明をしたがこれに限られない。例えば、指Fが第2の検出基準40bに達したことを判定し、この判定に応じて、表示制御部202は空中像30として動画像を表示させ、動画像の再生を行う制御を行っても良い。また、指Fが第2の検出基準40bに達したことを判定し、この判定に応じて、表示制御部202は空中像30をスクロール制御しても良い。
次に、第2のキャリブレーション処理モードを参考にして第6の実施の形態のキャリブレーションを説明する。図43(a)において、第2のキャリブレーション処理で、ユーザは、指Fを空中像30のアイコン30Aの方に下降移動させて、アイコン30Aに対する選択操作をしたと感じると、すなわち指Fが第1の検出基準40aに達しているとユーザが判断した場合、ユーザの指Fの下降が停止するなどが生じる。図36に示した検出基準制御部204は、操作検出器13の検出出力に基づき、ユーザの指Fの下降が停止等から指の到達位置50または指定位置50Aを判定する。到達位置50または指定位置50Aは、第1の検出基準40aよりも距離ΔHだけ上方に位置している。
到達位置50または指定位置50Aが第1の検出基準40aよりも距離ΔHだけ、上方の位置に位置しているので、表示位置制御部220は、空中像30の表示位置を距離ΔHだけ下方の位置に、即ち点線で示した位置30に移動する。
この空中像30の下方移動によって、空中像30と第1の検出基準40aとの位置関係がキャリブレーション処理される。このキャリブレーション処理によって空中像30と第2の検出基準40bとの距離が、空中像30と第1の検出基準40aとの距離に比べて小さくなったので、検出基準制御部204は、図43(b)に示したように、第2の検出基準40bを点線で示した位置40bまで下方向に移動して、空中像30と第2の検出基準40bとの距離を、空中像30と第1の検出基準40aとの距離に等しくする。空中像30の下方移動によって、空中像30の位置から第2の検出基準40bの位置までの距離が短くなる。そのため、ユーザは空中像30に触れたと思った後、すぐに第2の検出基準40bに達してしまうため、操作しづらく感じることがある。このように、空中像30と第2の検出基準40bとの距離を適切な距離にすることにより、ユーザは操作しやすくなる。また、空中像30と第2の検出基準40bとの距離を空中像30と第1の検出基準40aとの距離に等しくすると、空中像30と第1の検出基準40aとの距離に基づいて、空中像30と第2の検出基準40bとの距離をユーザは簡単に把握することができる。
次に、図44(a)に示したように到達位置50または指定位置50Aが第1の検出基準40aよりも距離−ΔHだけ下方の位置に位置する場合には、表示位置制御部220と表示位置変更部500は、図44(b)に示したように空中像30の表示位置を距離ΔHだけ上方に移動する。この空中像30の移動に伴い、検出基準制御部204は、図44(c)に示したように第2の検出基準40bを点線で示した位置40bまで上方移動する。これによって、空中像30と第2の検出基準40bとの距離を、空中像30と第1の検出基準40aとの距離に等しくする。空中像30の上方移動によって、空中像30の位置から第2の検出基準40bの位置までの距離が長くなる。そのため、ユーザは空中像30に触れたと思った後、第2の検出基準40bに達するまで距離があり、操作しづらく感じることがある。このように、空中像30と第2の検出基準40bとの距離を適切な距離にすることにより、ユーザは操作しやすくなる。また、空中像30と第2の検出基準40bとの距離を、空中像30と第1の検出基準40aとの距離に等しくしているため、空中像30と第1の検出基準40aとの距離に基づいて、空中像30と第2の検出基準40bとの距離をユーザは簡単に把握することができる。
第2のキャリブレーション処理モードの説明は、以上の通りであるが、第1のキャリブレーション処理モードも同様である。
(第6の実施の形態の変形例1)
上述した第6の実施の形態の表示装置は、第1の検出基準40aと空中像30との位置関係を空中像30の移動によって変更し、この空中像30の移動に伴い、第2の検出基準40bを、空中像30と第2の検出基準40bとの距離が空中像30と第1の検出基準40aとの距離にほぼ等しくなるように、移動するものであった。次に、この変形例1を説明する。この変形例1では、第1の検出基準40aと空中像30との位置関係は、第6の実施の形態の表示装置と同様に空中像30の移動によって変更するが、空中像30と第2の検出基準40bとの位置関係は、第2の検出基準に対する指の到達位置または指定位置に基づく第2の検出基準40bの移動によって、変更するものである。
この変形例1の表示装置は、第6の実施の形態の表示装置と同様に図42に示した空中像30を表示し、第1および第2の検出基準40a、40bを初期設定する。キャリブレーション処理を図45(a)、(b)、(c)を用いて説明する。なお、図45(a)は、図39(a)と同一である。
図45(a)において、例えば、ユーザは、指Fを空中像30の第1のアイコン30Aの方に下降移動させて、アイコン30Aに対する選択操作をしたと感じると、すなわち指Fが第1の検出基準40aに達しているとユーザが判断した場合、ユーザの指Fの下降が停止するなどが生じる。検出基準制御部204は、操作検出器13の検出出力に基づき、指の到達位置50または指定位置50Aを判定する。到達位置50または指定位置50Aが第1の検出基準40aよりも距離ΔHだけ上方に位置しているので、表示位置制御部220は、空中像30の表示位置を、例えば略距離ΔHだけ下方の位置に、即ち点線で示した位置30に移動する。この空中像30の下方移動によって、空中像30と第1の検出基準40aとの位置関係が変更、即ちキャリブレーション処理される。
ユーザは、キャリブレーション処理を行った後に指Fを更に下降移動させて、アイコン30Aに対する実行操作をしたと感じると、すなわち指Fが第2の検出基準40bに達しているとユーザが判断した場合、ユーザの指Fの下降が停止するなどが生じる。図45(b)に示したように、検出基準制御部204は、操作検出器13の検出出力に基づき、第2の検出基準40bに対する指の到達位置50または指定位置50Aを判定する。この指の到達位置50または指定位置50Aが第2の検出基準40bよりも距離ΔHだけ上方に位置しているので、図36の検出基準制御部204は、指の到達位置50または指定位置50Aに基づき、第2の検出基準40bを上方向に、例えば略距離ΔHだけ、移動させる。こうして、第2の検出基準40bは、図45(c)に示したように、上方向に点線位置40aまで移動される。この第2の検出基準40bの上方向移動によって、空中像30と第2の検出基準40bとの位置関係が変更、即ちキャリブレーションされる。
なお、第1の検出基準40aに対する指の到達位置50または指定位置50Aが、第1の検出基準40aよりも下方の位置である場合には、図44(a)、(b)において説明した第6の実施の形態の表示装置の場合と同様に、表示位置制御部220は、指の到達位置50または指定位置50Aに基づき、空中像30を上方向に移動させる。この空中像30の上方移動によって、空中像30と第1の検出基準40aとの位置関係が、変更、即ちキャリブレーション処理される。
また、第2の検出基準40bに対する指の到達位置50または指定位置50Aが、第2の検出基準40bよりも下方の位置である場合には、検出基準制御部204は指の到達位置50または指定位置50Aに基づき、第2の検出基準40bを下方向に移動する。この第2の検出基準40bの下方向移動によって、空中像30と第2の検出基準40bとの位置関係が変更、キャリブレーションされる。このように、空中像30の移動によって空中像30と第1の検出基準40aとの位置関係を変更した後、第2の検出基準40bの移動によって空中像30と第2の検出基準40bとの位置関係を変更することにより、空中像30と第1の検出基準40aとの位置関係、空中像30と第2の検出基準40bとの位置関係の両方をともに適切な位置関係に変更することができる。
なお、上述の変形例1の制御とは異なり、第1の検出基準40aに対する指の到達位置50または指定位置50Aに基づいて、空中像30を移動させ、空中像30と第1の検出基準40aとの位置関係を変更した後、第2の検出基準40bに対する指の到達位置50または指定位置50Aに基づいて、さらに空中像30を移動させ、空中像30と第2の検出基準40bとの位置関係を変更してもよい。このように、空中像30と第1の検出基準40aとの位置関係、空中像30と第2の検出基準40bとの位置関係を、空中像30のみの移動によって決定できるため、簡単な制御で位置関係の変更をすることができる。
(第6の実施の形態の変形例2)
次に、第6の実施の形態の表示装置の変形例2を説明する。上述の第6の実施の形態および変形例1との差異としては、空中像30の移動のさせ方が異なる。即ち、ユーザの指の下降移動に合わせて、空中像30の表示位置を移動させる。
変形例2は、空中像操作モードにおいてユーザの指がアイコン30Aの方に下降移動され、指が第1の検出基準40aに達し、これによって、アイコン30Aの表示態様が変化した後に、指が更に下降移動させ、空中像30の表示位置に達すると、表示位置制御部220は、操作検出器13の検出出力に基づき、指が空中像30の表示位置に達したことを判定し、指の下降移動に合わせて空中像30の表示位置を移動させる。表示位置制御部220は、空中像の表示位置と下降移動する指の位置とが所定の範囲に含まれるように空中像30の表示位置を制御する。このように制御することによって、下降する指に追随しているように空中像30の表示位置を下降移動させることができる。また、さらに下降する指よりも常に下方に位置するように空中像30の表示位置を設定し、下降する指に合わせて空中像30の表示位置を下降移動するように、表示位置制御部220が空中像30の表示位置を制御することによって、ユーザの指が空中像30を貫通することがなくなる。
指の下降移動およびそれに追随する空中像30の下降移動によって、指と空中像30とが第2の検出基準40bに達すると、検出基準制御部204が指が第2の検出基準40bに達したことを判定し、表示制御部202が再生画像の表示を行う。
このように、指が空中像30に到達すると、空中像30が指の下降移動に追随して下降移動するので、ユーザは、指の下降移動が空中像30によって第2の検出基準40bまで、案内されるように感じられ、第2の検出基準40bに確実に達することができる。
なお、上述した第6の実施の形態や変形例1、変形例2では、制御部20と表示器11と操作検出器13とを少なくとも含む表示装置1を例に説明したが、制御部20のみで構成された制御装置や、制御部20と表示器11とで構成される制御装置であってもよい。また、制御部20は、少なくともキャリブレーション部203と表示位置制御部220と検出基準制御部204とを備えればよい。上述の第6の実施の形態または変形例1または変形例2に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加すればよい。
−第7の実施の形態−
第7の実施の形態の表示装置について説明する。本実施の形態に係る表示装置は、図29、図31、図32に示す第4の実施の形態の表示装置100や、図33、図34に示す第4の実施の形態の変形例1の表示装置100と同様の構成を有している。第7の実施の形態の表示装置100においても、第5の実施の形態やその変形例1〜4や第6の実施の形態やその変形例1の表示装置1と同様に、空中像の表示位置を変更可能に構成される。
図46に示す通り、本実施の形態に係る表示装置100は、図29に示す第4の実施の形態の表示装置100の構成に加えて、表示位置変更部500と表示位置制御部220とを備える。検出基準制御部204は、第5の実施の形態やその変形例1〜4や第6の実施の形態やその変形例1の場合と同様にして、操作検出器13の検出出力に基づき、指の到達位置50を判定する。表示位置制御部206は、指の到達位置50に基づき、表示位置変更部500に空中像300の位置を結像光学系12の光軸方向に移動させる。この場合、表示位置変更部500は、表示器111をX方向に移動させることで、空中像30をZ方向に移動させる。すなわち表示器111をX方向+側へ移動させることで空中像30をZ方向+側へ移動させ、表示器111をX方向−側へ移動させることで空中像30をZ方向−側へ移動させることができる。勿論、表示位置変更部500は、表示器111を移動させず、結像光学系112を平行移動させても良いし、結像光学系112と表示器111とを共に移動させても良い。
上記説明の各実施の形態およびそれらの変形例においては、検出基準40の位置を移動させる、また空中像30の表示位置を移動させることにより、検出基準40と空中像30(あるいはアイコン30A等)との相対的位置関係を調整するようにキャリブレーション処理を行った。しかし、検出基準40と空中像30との相対的位置関係を調整するためには、検出基準40と空中像30との両方を移動させてもよい。
なお、上述の第7の実施の形態では、制御部20と表示器111と操作検出器113とを少なくとも含む表示装置100を例に説明したが、制御部20のみで構成された制御装置や、制御部20と表示器111とで構成される制御装置であってもよい。また、制御部20は、少なくともキャリブレーション部203と表示位置制御部220とを備えればよい。上述の第7の実施の形態に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加すればよい。
−第8の実施の形態−
以上の実施の形態及びその変形例は、キャリブレーション処理における指先の到達位置や指定位置に基づいて検出基準およびまたは空中像を制御または変更して、検出基準と空中像の表示位置との位置関係を変更するものであった。次に、キャリブレーション処理における所定の非接触操作が検出基準で検出されない場合に検出基準を変更する第8の実施の形態を説明する。
本実施の形態の表示装置1は、図1、図2に示す第1の実施の形態の表示装置1と同様の構成を備える。第8の実施の形態の表示装置1は、空中像操作モードにおいて、表示制御部202と表示器11と結像光学系12が図47(a)および(b)に示す空中像操作モード用の空中像30を空中に表示する。図47(a)において、空中像30は、たとえば2個の矩形状のアイコン30D、30Eを含む。
検出基準制御部204は、図47(b)および図47(c)に示したように、空中像30に含まれる2個のアイコン30D、30Eのそれぞれについて、直方体形状の検出基準42を初期設定する。アイコン30Dに対応する検出基準42の横断面の大きさは、図47に明示するように、アイコン30Dの大きさに対応する。上下方向、即ちZ方向の高さはD1である。即ち、直方体状の検出基準42は、横断面の一辺の長さW1がアイコン30Dの一辺の長さW1に等しく、横断面の他の一辺の長さW2がアイコン30Dの他の一辺の長さW2に等しく定められている。
直方体状の検出基準42について、その上面を上部基準面42aとし、下面を下部基準面42bとし、長さW2とD1とで生成される側面を側部基準面42cとし、長さW1とD1とで生成される側面を側部基準面42dと称する。検出基準42の外部を検出基準外41と称する。
また、本実施の形態では、検出基準42を直方体形状として説明するが、これに限定されるものではない。球状、円柱状や角柱状等でもよいし、それ以外の形状でもよい。
空中像30は、検出基準42の上部基準面42aと下部基準面42bとの中間に位置するように、即ち空中像30と上部基準面42aとの距離と、空中像30と下部基準面42bとの距離とが等しくなるように定められている。なお、空中像30は上部基準面42aと下部基準面42bとの中間に位置するものに限定されず、空中像30と上部基準面42aとの距離が空中像30と下部基準面42bとの距離とが等しくないものや、空中像30が上部基準面42aよりも上方に位置するものや、空中像30が下部基準面42bの下方に位置するものでも良い。つまり、Z軸方向から見て、空中像30(アイコン30D、30E)と検出基準42の基準面42a、42bとが重畳された状態であればよい。
なお、アイコン30Eに対応する検出基準42も、アイコン30Dに対応する検出基準42と同様に、横断面がアイコン30Eの形状に対応し所定の高さを有する直方体形状であるとする。
空中像操作モードでは、ユーザが検出基準42に対して、所定の非接触操作を行うことにより表示装置1はアイコン30Dやアイコン30Eに割り当てられた機能を実行する。図48(a)〜(c)に本実施の形態における所定の非接触操作600A〜600C(総称する場合には所定の非接触操作600と称する)の例を示す。図48では、所定の非接触操作600A〜600Cを指Fが移動する際の軌跡として矢印を用いて模式的に示す。図48(a)に示す所定の非接触操作600Aは、ユーザが指Fを距離L1だけ下降移動した後にUターンして、距離L1だけ上方に移動する操作である。即ち、この所定の非接触操作600Aは、下降移動距離と上昇移動距離とが等しいUターン軌跡である。また、所定の非接触操作600Aは、Uターン、即ちU字の軌跡ではなく、V字の軌跡を描くものでも良く、また、指Fが距離L1だけ下降移動した後にその下降軌跡に沿って距離L1だけ上方に移動する操作であってもよい。更には、所定の非接触操作600Aは、下降移動距離L1と上昇移動距離L1とが等しくなく異なっていても良い。本実施の形態における所定の非接触操作600Aとは、指の下降移動に引き続き指の上昇移動がなされる操作であれば良い。
図48(b)の所定の非接触操作600Bは、ユーザが指Fを距離L1だけ下降移動した後、所定時間指Fを停止するものである。図48(c)の所定の非接触操作600Cは、ユーザが指Fを距離L1だけ下降移動した後、指Fを横方向に少なくとも所定距離L2移動させる操作である。
所定の非接触操作600は、上述した種々の指Fの移動軌跡で表されるものに限られず、その移動軌跡(指Fや手の移動軌跡)が操作検出器13で検出することができるものであれば、その他の移動軌跡を描くものであっても良い。
空中像操作モードでは、操作検出器13によって所定の非接触操作600が検出基準で検出されると、このユーザの指Fの移動を検出した操作検出器13の検出出力に基づき、検出基準制御部204は、指Fがアイコンの表示位置を操作したと判定する。
図49は、検出基準制御部204によって、前述の所定の非接触操作600のうち非接触操作600Aが検出基準42で行われたと判定される場合を例示する。所定の非接触操作600A1は、指Fが上部基準面42aから下方に距離L1移動し、引き続きUターンし上方に距離L1移動して、指Fが上部基準面42aに達した場合を示す。所定の非接触操作600A2は、指Fが上部基準面42aと下部基準面42bとの中間で指Fが下方に距離L1移動し、引き続きUターンし上方に距離L1移動した場合を示す。所定の非接触処理600A3は指Fが下方に距離L1移動して下部基準面42bにおいてUターンし上方に距離L1移動した場合を示す。
以上のように、検出基準制御部204は、図49に示されたように、所定の非接触操作600Aの距離L1の下降移動と、Uターンと、距離L1の上昇移動との全てが検出基準42内で行われた場合に、所定の非接触操作600Aが検出基準42で行われたと判定する。即ち、検出基準制御部204は、所定の非接触操作600Aを検出基準42で検出する。
以上では、所定の非接触操作600Aを例として、検出基準制御部204が、所定の非接触操作600が検出基準42で行われたか否かを判定する方法を説明した。他の所定の非接触操作600B、600C等についても同様である。検出基準制御部204は、所定の非接触操作600の全体が検出基準42で行われた場合に、所定の非接触操作600が検出基準42で行われたと判定する。所定の非接触操作600の一部でも検出基準外41で行われた場合には、所定の非接触操作600が検出基準42で行われたと判定しない。所定の非接触操作600が上下方向に距離L1の移動を伴う操作である場合、検出基準42の幅D1、即ち上部基準面42aと下部基準面42bとの間隔(Z方向の長さ)は、少なくとも距離L1以上必要であり、例えば距離L1の1.5倍〜3倍程度に定められる。
なお、図49において検出基準外41とは、検出基準42の外側の外部空間である。詳述すると、図47(c)において、検出基準42の上部基準面42aと、下部基準面42bと、側部基準面42cと、側部基準面42dとで囲まれた空間以外の外側空間である。
次に、所定の非接触操作600が検出基準外41で検出される場合を説明する。所定の非接触操作600が検出基準外41で検出される場合とは、所定の非接触操作600の全体が検出基準外41で検出される場合である。
以降、本実施の形態および変形例の説明においては、代表的に所定の非接触操作600Aを用いて説明するが、他の非接触操作600B、600C等においても同等の技術が適用されるものとする。
図50は、所定の非接触操作600Aの全体が検出基準外41で検出される場合の例を示したものである。図50(a)において、指Fによる所定の非接触操作600Aの全体が検出基準42の上部基準面42aの上方の位置で行われている。この場合には、所定の非接触操作600Aの全体が操作検出器13と検出基準制御部204とによって、検出基準外41で検出される。
図50(b)は、指Fによる所定の非接触操作600Aaの全体が検出基準42の下部基準面42bの下方の位置で行われ、また、指Fによる所定の非接触操作600Abの全体が検出基準42の側部基準面42cよりも外側の位置で行われている。これらの場合にも、所定の非接触操作600Aaの全体、600Abの全体が操作検出器13と検出基準制御部204とによって、それぞれ検出基準外41で検出される。操作検出器13と検出基準制御部204とによって、検出基準外41で所定の非接触操作600を検出する方法を説明する。まず、操作検出器13が指Fの移動を逐次検出する。次に、検出基準制御部204は操作検出器13の検出出力に基づき、指Fの移動軌跡が所定の非接触操作600に対応するか否かと、指Fの移動軌跡の位置(検出基準42又は検出基準外41又は検出基準42と検出基準外41との両方)を判定する。この判定結果に基づき、検出基準外41で所定の非接触操作600を検出できる。
次に、所定の非接触操作600が検出基準外41で検出される場合におけるキャリブレーション処理を図51、図52および図53を参照して説明する。図51は、所定の非接触操作600Aが検出基準外41であって、検出基準42の上部基準面42aよりも上方の位置で検出される場合である。なお、以下のキャリブレーション処理は、空中像操作用の空中像30を使用して行うが、図4等に示したキャリブレーション処理用の空中像300を使用しても良い。
図51(a)において、ユーザが空中像30のアイコン30Dの表示位置を操作するために、指Fを下降移動させ、その指Fが操作検出器13の検出範囲13Aの上限13aに達すると、操作検出器13が指の下降移動を逐次検出し、その指の移動に伴う検出出力を順次、記憶部205に記憶する。検出基準制御部204は、記憶部205に記憶された操作検出器13の検出出力に基づき、指Fの移動軌跡が所定の非接触操作600Aに対応するか否かを判定するとともに、その指Fの移動軌跡の全てが検出基準42に存在するか否かを判定する。
検出基準制御部204が、所定の非接触操作600Aが行われたことを判定し、かつ所定の非接触操作の全てが検出基準外41で行われたと判定すると、検出基準制御部204は、記憶部205に記憶された操作検出器13からの検出出力に基づいて、所定の非接触操作600Aの操作開始位置と上部基準面42aとの間隔ΔH10を算出する。この間隔ΔH10は、上述のように、所定の非接触操作600Aの操作開始位置と上部基準面42aの位置とから算出することができるが、以下の方法によっても算出することができる。即ち、所定の非接触操作600Aの最も低い位置、すなわち所定の非接触操作600Aの到達位置を記憶部205に記憶された操作検出器13からの検出出力に基づいて求め、この所定の非接触操作600Aの到達位置と上部基準面42aの位置との間隔を算出し、この算出された間隔に所定の非接触操作600Aの距離L1を加算することによっても、間隔ΔH10を算出することができる。
間隔ΔH10が算出されると、検出基準制御部204は、図51(b)に示すように距離ΔH10に基づき、検出基準42の全体を図中上方に移動する。移動された検出基準42を一点鎖線で示す。検出基準42の上方への移動量は、図51(b)に示したように距離ΔH10と略等しくいてもよいし、距離ΔH10よりも大きくしても小さくしてもよい。このように、ユーザによる所定の非接触操作が、検出基準外41であって、検出基準42よりも上方の位置で検出された場合には、検出基準42の全体を、その所定の非接触操作がなされた位置に近付けるように上方向に移動させて、検出基準42を変更する。その結果、ユーザの操作が検出基準42に到達していないために操作が利かない場合、そのユーザの操作位置に合わせて検出基準42が変更されるため、ユーザの操作上の違和感を緩和することができる。
図52は、所定の非接触操作600Aが検出基準外41であって、検出基準42の下部基準面42bよりも下方の位置で検出される場合のキャリブレーション処理を説明する図である。図52(a)において、検出基準制御部204が、記憶部205に記憶された操作検出器13の検出出力に基づき所定の非接触操作600Aが行われたことを判定し、かつその所定の非接触操作が検出基準外で行われたと判定すると、検出基準制御部204は、所定の非接触操作600Aの移動軌跡の最も低い位置、すなわち所定の非接触操作600Aの到達位置と検出基準42の下部基準面42bとの間隔ΔH10を算出する。この間隔ΔH10が算出されると、検出基準制御部204は、図52(b)に示すように距離ΔH10に基づき、検出基準42の全体を図中下方に移動する。移動された検出基準42を一点鎖線で示す。検出基準42の下方への移動量は、図52(b)に示したように距離ΔH10と略等しくいてもよいし、距離ΔH10よりも大きくしても小さくしてもよい。このように、ユーザによる所定の非接触操作が、検出基準外41であって、検出基準42よりも下方の位置で検出された場合には、検出基準42の全体を、所定の非接触操作がなされた位置に近付けるように下方向に移動させて、検出基準42を変更する。その結果、ユーザの操作が検出基準42を通り過ぎて操作しているために操作が利かない場合、そのユーザの操作位置に合わせて検出基準42が変更されるので、ユーザの操作上の違和感を緩和することができる。
図53は、非接触操作600Aが検出基準外41であって、検出基準42の側部基準面42cの外側で行われたことが検出された場合のキャリブレーション処理を説明する図である。図53(a)において、検出基準制御部204が、記憶部205に記憶された操作検出器13の検出出力に基づき所定の非接触操作600Aが行われたことを判定し、かつその所定の非接触操作が側部基準面42cの外側で行われたと判定すると、検出基準制御部204は、検出基準42の側部基準面42cと所定の非接触操作600Aの移動軌跡のうち、側部基準面42cから最も離れた部分との距離ΔH10を算出する。この距離ΔH10が算出されると、検出基準制御部204は、図53(b)に示すように距離ΔH10に基づき、検出基準42の全体を図中の横方向、即ち所定の非接触操作600Aに近づく方向に移動させる。移動された検出基準42を一点鎖線で示す。検出基準42の横方向への移動量は、図53(b)に示したように距離ΔH10と略等しくしてもよいし、距離ΔH10よりも大きくしても小さくしてもよい。このように、ユーザによる所定の非接触操作が、検出基準外41であって、検出基準42の側部基準面42cまたは42dの外側の位置で検出された場合には、検出基準42の全体を、所定の非接触操作がなされた位置に近付けるように移動し、検出基準42を変更する。その結果、ユーザの操作が検出基準42から外れて操作しているために操作が利かない場合、そのユーザの操作位置に合わせて検出基準42が変更されるので、ユーザの操作上の違和感を緩和することができる。
なお、図51〜図53においては、算出した変更量ΔH10だけ検出基準42を変更するものとしたが、間隔ΔH10に所定量hを加算した値を変更量として検出基準42を変更してもよい。所定量hは、所定の非接触操作600の到達位置の差分(非接触操作の到達位置から検出基準42の最も近い基準面までの差分)を平均した値や複数の非接触操作600の開始位置の差分(非接触操作の開始位置から検出基準42の最も近い基準面までの差分)を平均した値等があげられる。また、所定量hは、予め設定された固定の値でもよい。その場合、間隔ΔH10にマージンとなる所定量hが加算された分だけ検出基準42が移動することになる。そのため、キャリブレーション処理のときに行った非接触操作と厳密に同一の位置で非接触操作を行うことができない場合でも所定量hの範囲内での誤差であればユーザの非接触操作を検出基準42で検出することができる。ユーザの非接触操作の開始位置や到達位置が操作毎に変動しても、ユーザの非接触操作を検出基準42で検出できる。したがって、間隔ΔH10に所定量hを加算した値を変更量とした場合、間隔ΔH10の値を変更量とした場合よりも非接触操作を検出基準42で検出する割合を高くすることができる。
次に、所定の非接触操作600とは異なる操作が、検出基準外41で検出される場合を説明する。所定の非接触操作600とは異なる操作が、検出基準外41で検出される場合とは、所定の非接触操作600の全てではなく、そのうちの一部分のみが、検出基準外41で検出される場合である。
図54は、所定の非接触操作600Aの一部が検出基準外41で検出される場合の例を示したものである。図54(a)において、指Fによる所定の非接触操作600Aの一部、即ち距離ΔH10に対応する部分が、検出基準42の上部基準面42aよりも上方の位置で行われ、その残部が検出基準42内で行われている。言い換えると、検出基準42で検出された所定の非接触操作600Aの一部と、検出基準外41で検出された所定の非接触操作600Aの一部とを合わせると、所定の非接触操作600Aになる。
この場合、所定の非接触操作600Aの一部が操作検出器13と検出基準制御部204とによって、検出基準外41で検出される。
図54(b)において、指Fによる所定の非接触操作600Aaの一部、即ち距離ΔH10に対応する部分が、検出基準42の下部基準面42bよりも下方の位置で行われ、その残部が検出基準42内で行われている。言い換えると、検出基準42で検出された所定の非接触操作600Aaの一部と、検出基準外41で検出された所定の非接触操作600AのAaの一部とを合わせると、所定の非接触操作600Aaになる。
また、指Fによる所定の非接触操作600Abの一部、即ち距離ΔH10に対応する部分が、検出基準42の側部基準面42cの外側で行われ、その残部が検出基準42内で行われている。言い換えると、検出基準42で検出された所定の非接触操作600Abの一部と、検出基準外41で検出された所定の非接触操作600Abの一部とを合わせると、所定の非接触操作600Abになる。
これらの場合にも、所定の非接触操作600Aaの一部、またはAbの一部が操作検出器13と検出基準制御部204とによって検出基準外41で検出される。
次に、所定の非接触操作600と異なる操作が検出基準外41で検出される場合におけるキャリブレーション処理を図54を参照して説明する。
図54(a)に示す所定の非接触操作600Aのように、所定の非接触操作600Aの一部が検出基準42で行われ、その残部が上部基準面42aよりも上方の位置で行われた場合に関するキャリブレーション処理は、図51の場合と同様である。即ち、距離ΔH10に基づき、検出基準42の全体を図中上方に移動する。
図54(b)に示す所定の非接触操作600Aaのように、所定の非接触操作600Aaの一部が検出基準42で行われ、その残部が下部基準面42bよりも下方の位置で行われた場合に関するキャリブレーション処理は、図52の場合と同様である。即ち、距離ΔH10に基づき、検出基準42の全体を図中下方に移動する。
図54(b)に示す所定の非接触操作600Abのように、所定の非接触操作600Abの一部が検出基準42で行われ、その残部が側部基準面42cの外側の位置で行われた場合に関するキャリブレーション処理は、図53の場合と同様である。即ち、距離ΔH10に基づき、検出基準42の全体を横に移動する。
上記説明のキャリブレーション処理について、第1のキャリブレーション処理モードを例に挙げ、図55に示すフローチャートを参照して説明する。なお、図55のフローチャートはステップS701〜S709を示し、ステップS709以降の処理は、図6のステップS9以降の処理と同様のためここでの記載は省略する。ステップS701〜S703の各処理は、図6に示したフローチャートにおけるステップS1〜S3の各処理と同様である。ステップS704において、操作検出器13からの検出出力に基づいて、ユーザによる操作(より具体的にはユーザによる空中像300のアイコン300Aの表示位置への操作)が所定の非接触操作であるか否かを判定する。所定の非接触操作である場合には、ステップS704が肯定判定されてステップS705へ進み、所定の非接触操作ではない場合には、ステップS704が否定判定されて肯定判定されるまで待機する。
ステップS705では、所定の非接触操作が検出基準42で行われたか否かを判定する。図49に示すように所定の非接触操作が検出基準42で行われた場合には、ステップS705が肯定判定されて、後述するステップS708へ進む。所定の非接触操作が検出基準42で検出されない場合、すなわち(1)所定の非接触操作の全部が検出基準外41で検出された場合、または(2)所定の非接触操作の一部が検出基準42で検出され他の一部が検出基準外41で検出された場合には、ステップS705が否定判定されてステップS706へ進む。ステップS706では、所定の非接触操作と検出基準42との位置関係に基づいて、検出基準42の変更量を算出してステップS707へ進む。
ステップS707では、ステップS706で算出した変更量に基づいて検出基準42の位置を変更してステップS708へ進む。ステップS708において、第1のキャリブレーション処理モードを終了して、ステップS709へ進む。ステップS709において、空中像操作モードを開始する。以上のように、ユーザの所定の非接触操作が検出基準で検出されなかった場合に、検出基準の位置が変更される。つまり、検出基準42の上下方向の中心位置および/または左右方向の中心位置が変更される。この検出基準の位置の変更によって、ユーザにとって適した場所で操作が可能になる。また、検出基準と空中像との位置関係をユーザの操作に適した位置関係に変更することができる。
なお、キャリブレーション処理の説明として第1のキャリブレーション処理モードを例として説明したが、図55のフローチャートは第2のキャリブレーション処理モードにも適用できる。
なお、上述した第8の実施の形態では、検出基準42は、各アイコン30D、30Eのそれぞれに対応して設定されるものとして説明したが、これに限られない。複数のアイコンに共通して検出基準42が設定されるものであってもよいし、空中像30の全域に1個の検出基準42が設定されるものであってもよい。
(第8の実施の形態の変形例1)
第8の実施の形態では、所定の非接触操作600が検出された空間上での位置と検出基準42との位置関係に基づいて、検出基準42を上下方向および/または左右方向に変更した。すなわち検出基準42の上下方向の中心位置および/または左右方向の中心位置を変更するものとして説明した。変形例1の表示装置1は、検出基準42と所定の非接触操作600との空間上における位置関係を変更する際に、検出基準42の幅D1の大きさを変更してもよい。たとえば、図50(a)に示すように、所定の非接触操作600Aが検出基準42の上方の検出基準外41で検出された場合には、下部基準面42bの位置を変更することなく、上部基準面42aのみを変更量ΔH10だけ上方に変更してもよい。すなわち、検出基準42の幅D1を変更することにより、検出基準42の上下方向の中心位置を変更しても良い。または、上部基準面42aを変更量ΔH10だけ上方に変更し、下部基準面42bを変更量ΔH10だけ下方に変更してもよい。すなわち、検出基準42の幅D1を上下方向に同一の変更量ΔH10にて変更することにより、検出基準42の上下方向の中心位置を変更することなく検出基準42を変更しても良い。なお、図50(b)に示すように、検出基準42の下方に所定の非接触操作600Aaが検出された場合には、下部基準面42bの位置を変更量ΔH10だけ下方に変更しても良いし、下部基準面42bの位置を変更量ΔH10だけ下方に変更するとともに上部基準面42aの位置を変更量ΔH10だけ上方に変更しても良い。なお、検出基準42の右側に所定の非接触操作600Abが検出された場合にも、同様に左右方向に側部基準面42cの位置を変更しても良い。すなわち、検出基準42の左右方向の中心位置を変更して検出基準42を変更しても良いし、中心位置を変更することなく検出基準42の幅を変更するようにしても良い。
(第8の実施の形態の変形例2)
変形例2の表示装置1について説明する。変形例2の表示装置1は、キャリブレーション処理のときに行われた所定の非接触操作600が検出基準外41で検出された場合、所定の非接触操作600と検出基準42との距離が所定の値以下の場合に、検出基準42を変更する。図50(a)に示すように所定の非接触操作600Aが検出基準42の上方の検出基準外41で検出された場合を例に挙げる。この場合、間隔ΔH10が所定の値以下であると判定されると、すなわち所定の非接触操作600Aが検出基準42の近傍にて行われたと判定されると、表示装置1はユーザが空中像の表示位置への操作を行う意図を有していたものと見なし、検出基準42を変更する。間隔ΔH10が所定の値より大きいと判定されると、すなわち所定の非接触操作600Aが検出基準42から遠く離れた位置にて行われたと判定されると、表示装置1はユーザが空中像の表示位置への操作を行う意図を有していなかった、誤操作であった、または操作を途中で中断したものと見なし、検出基準42を変更しない。
また、図54に示すように、所定の非接触操作600Aの一部が検出基準外41で検出される場合に、検出基準外41にて検出された所定の非接触操作600の一部の空間上の位置と検出基準42との距離に基づいて、検出基準42の位置を変更しても良い。たとえば、図54(a)に示すように検出基準42の上面基準面42aよりも上方で検出された非接触操作600の一部、すなわち距離ΔH10が所定の閾値以下か否かが判定される。距離ΔH10が所定の閾値以下の場合には、図56(a)に示すように、指Fの所定の非接触操作600Aの全体が検出基準42で行われたものではないものの、所定の非接触操作600Aの大部分が検出基準42で行われる。この場合、表示装置1は、ユーザが空中像の表示位置への操作を行う意図を有していたものと見なし、検出基準42の位置が変更される。距離ΔH10が所定の閾値を超える場合には、図56(b)に示すように、所定の非接触操作600Aの大部分が検出基準外41で行われる。この場合、表示装置1はユーザが空中像の表示位置への操作を行う意図を有していなかった、誤操作であった、または操作を途中で中断したものと見なし、検出基準42の位置を変更しない。
(第8の実施の形態の変形例3)
第8の実施の形態の変形例3は、第1の実施の形態の変形例1のように、操作検出器13の検出出力に基づき、ユーザの指先の速度あるいは加速度を算出し、算出した速度または加速度に基づき検出基準42の位置を変更するものであってもよい。すなわち、所定の非接触操作600の少なくとも一部の速さに基づいて、特に、所定の非接触操作600の一部の速さが所定値よりも小さい場合に検出基準42を変更する。図57は変形例3の表示装置1のうち、制御部20と、制御部20によって制御される表示器11および操作検出器13とを示したブロック図である。
ここで所定の非接触操作600の少なくとも一部の速さ、とは、所定の非接触操作600のうち少なくとも一部の操作の速さ、を示すものである。所定の非接触操作600のうちの少なくとも一部の操作、とは、例えば、所定の非接触操作600が検出基準外41の位置から検出基準42に向けて操作された後、引き続き引き返す操作(所定の非接触操作600A)である場合において、その操作が検出基準外41から検出基準42に向かう際の少なくとも一部区間の操作を示す。あるいは、所定の非接触操作600が検出基準42のある位置から検出基準42の一端に向けて操作された後、引き続き引き返す操作(所定の非接触操作600A)である場合において、その一端に向かう際の少なくとも一部区間を示す。
なお、所定の非接触操作600の全操作(例えば所定の非接触操作600Aにおける下降開始してから引き続き上昇し終えるまでの操作)における速度(加速度)をモニターし、その速度(加速度)の平均値を算出して、その平均値に基づいて操作の強弱を判断し、次回以降の操作検出の際に検出基準42を変更するようにしてもよい。例えば、操作速度が平均的に速い場合には検出基準42を突き抜ける可能性があるので、次回以降の検出基準42の幅を広げるよう制御してもよい。
図57に示す速度・加速度検出部206は、第1の実施の形態の変形例1と同様に、操作検出器13によって検出される静電容量値を所定の時間毎に読み出し、所定の時間当たりの静電容量値の変化から指の移動速度を算出する。また、算出した速度から指の移動加速度を算出し、所定値を超えるか否かを判定する。操作予測部211は、速度・加速度検出部206により算出された移動速度および/または移動加速度が所定値以下の場合には、速度・加速度検出器206から出力される指の移動速度または加速度に基づき、指Fの移動軌跡を算出、すなわち予測する。検出基準制御部204は、操作予測部211により予測された指Fの移動軌跡に基づいて、検出基準42を変更する。すなわち、予測された指Fの移動軌跡が検出基準42にない場合、所定の非接触操作600は検出基準42で検出されないと判断する。その場合、第8の実施の形態の場合と同様にして、算出した変更量ΔH10にて検出基準42を変更する。また、予測された指Fの移動軌跡が検出基準42にある場合、所定の非接触操作600は検出基準42で検出されると判断し、検出基準42を変更しない。
また、操作予測部211は、速度・加速度検出部206により算出された移動速度および/または移動加速度が所定値以上の場合に、指Fの移動軌跡を予測し、検出基準42を変更してもよい。即ち、指Fの移動速度および/または移動加速度が所定値以上の場合に予測された指Fの移動軌跡が、検出基準42にない場合、所定の非接触操作600は検出基準42で検出されないと判断する。その場合、第8の実施の形態の場合と同様にして、算出した変更量ΔH10にて検出基準42を変更する。
次に、変形例3の表示装置1による第1のキャリブレーション処理モードを図58及び図59を参照して説明する。図59のフローチャートにおいて、ステップS764からステップS766は、図56のフローチャートと同一であるので、説明を省略する。図58(a)に示したように、指Fが操作検出器13の所定の検出範囲13A内に入ると、ステップS764において操作検出器13が指Fの移動を静電容量値の変化として検出する。ステップS765では、速度・加速度検出部206が操作検出器13の検出出力に基づき指先Fの移動速度及び加速度を算出する。ステップS765で、操作予測部211が速度・加速度検出部206によって算出された移動速度及び加速度が第1所定値以上第2所定値以下であるか否かを判定する。第1所定値は、検出基準42の上方からの下方への指Fの移動が上部基準面42aに届かないことが予測される速度および加速度に対応して決定され、第2所定値は第1所定値よりも大きな値であって、指Fの下方への移動が下部基準面42bを通過することが予測される速度および加速度に対応して決定されている。指先Fの移動速度及び加速度が第1所定値以上第2所定値以下の場合には、ステップS765が肯定判定されてステップS770へ進む。指Fの移動速度及び加速度が第1所定値より小さいまたは第2所定値より大きい場合には、ステップS765が否定判定されてステップS767へ進む。
ステップS767では、操作予測部211が速度・加速度検出部206が算出した移動速度及び加速度に基づき指先Fの移動軌跡を算出する。図58(b)において、移動速度、移動加速度が第1所定値以下の場合に操作予測部211が算出した、即ち予測した指Fの移動軌跡を破線600Acで示す。ステップS768において、検出基準制御部204は、図51に示した場合と同様にして検出基準42の変更量ΔH10を算出し、検出基準42を変更する。なお、指の到達位置を予測するためには、指の移動速度と加速度との両方を使用してもよいし、いずれか一方を使用してもよい。
なお、キャリブレーション処理の説明として第1のキャリブレーション処理モードを例として説明したが、第2のキャリブレーション処理モードにも適用できる。
なお、上述の説明では、操作予測部211が指先Fの移動軌跡を算出するものとしたが、移動軌跡を算出しなくても良い。即ち、表示装置1の制御部20は操作予測部211を備えず、速度・加速度検出部206によって算出された移動速度および移動加速度が所定値以下の場合には、予め決められた変更量だけ検出基準42を変更しても良い。例えば、検出基準42より所定距離だけ上の位置で、移動速度または移動加速度を検出し、検出された移動速度または移動加速度が所定値以下の場合には、指Fが検出基準42に到達しないと予測し、検出基準42を変更する。
また、なお、上述の説明では、速度・加速度検出部206は、操作検出器13によって検出される静電容量値を所定の時間毎に読み出し、所定の時間当たりの静電容量値の変化から指の移動速度を算出すると共に、算出した速度から指の移動加速度を算出したが、この方法に限られず、速度・加速度検出部206として撮像装置を用いてもよい。また、上述の説明では、ユーザの指の移動速度または加速度を算出したが、そのほかに、ユーザの足や肘、ユーザが所持しているスタイラスペンであってもよい。
(第8の実施の形態の変形例4)
第8の実施の形態およびその変形例1〜3に係る表示装置1は、一回のキャリブレーション処理において、所定の非接触操作600Aの空間上の位置と検出基準42との位置関係に基づいて、検出基準42の位置を変更した。即ち、1回のユーザ操作で、1回のキャリブレーション処理を行った。変形例4に係る表示装置1は、複数回のユーザ操作で、1回のキャリブレーション処理を行う。つまり、所定の非接触操作600Aが検出基準外41で検出された回数又は所定の非接触操作600Aが検出基準42で検出された回数に基づいて検出基準42を変更する。
第1回目のユーザ操作において検出基準制御部204は、操作検出器13の検出出力に基づき指Fが所定の非接触操作600Aを行ったか否かを判定し、所定の非接触操作600Aが行われたことを検出した場合にはその所定の非接触操作600Aが行われた空間上の位置を検出する。所定の非接触操作600Aが検出基準42で行われたことを検出した場合には、検出基準制御部204は、第1回目のキャリブレーション処理は成功と判定し記憶部205に判定結果を記憶する。所定の非接触操作600Aが検出基準外41で検出された場合には、検出基準制御部204は、第1回目のユーザ操作は失敗と判定し、第8の実施の形態と同様にして変更量ΔH10を算出し、記憶部205に判定結果と変更量ΔH10とを記憶する。引き続き、第2回目のユーザ操作において、操作成功または失敗の判定結果および/または変更量ΔH10が記憶部205に記憶される。更に、引き続き第3回目のユーザ操作において、処理を行っても良い。
上記のように、連続的に行われた複数回のユーザ操作において記憶部205に記憶された上述の複数の判定結果および/または変更量ΔH10に基づいて検出基準42を変更する。これら複数回のユーザ操作の判定結果および/または変更量ΔH10に基づいて検出基準42の変更を行うか否かを決定するには、種々の方法が考えられる。たとえば、連続した複数回のユーザ操作において、判定結果として失敗が記憶部205に連続で記憶されている場合、検出基準42を変更する。具体的には、第1回目のユーザ操作と第2回目のユーザ操作とが共に失敗と判定されている場合に、検出基準42を変更する。第1回目のユーザ操作は成功と判定され、第2回目のユーザ操作と第3回目のユーザ操作とが失敗と判定された場合に、検出基準42を変更してもよい。また、複数回のユーザ操作のうち失敗と判定されたユーザ操作が所定回以上存在する場合に、検出基準42を変更しても良い。具体的には、10回のユーザ操作のうち、5回以上のユーザ操作が失敗と判定された場合に、検出基準42を変更する。この場合、5回目にユーザ操作が失敗と判定された時点(失敗判定が5回累積された時点)で検出基準42を変更してもよいし、10回のユーザ操作の全てが終了した後、検出基準42を変更しても良い。なお、検出基準外41で所定の非接触操作600Aが検出される頻度が高い場合には、検出基準42を変更する頻度を高くしても良い。即ち、10回のユーザ操作のうち5回以上のユーザ操作が失敗と判定された場合に、検出基準42を変更すると設定されている場合に、10回のユーザ操作のうち8回のユーザ操作が失敗と判定されたとする。その場合には、次回以降は、5回のユーザ操作のうち3回以上のユーザ操作が失敗と判定された場合に検出基準42を変更するようにしても良い。
複数回のユーザ操作の結果を用いて検出基準42を変更する場合、変更量ΔH10は、第1の実施の形態の変形例2にて検出基準を決定する際の算出方法と同様の処理を行えば良い。すなわち、失敗判定が成されたユーザ操作にて算出された変更量を相加平均や相乗平均することにより、一つの変更量ΔH10が算出されれば良い。この場合も、第1の実施の形態の変形例2にて説明したように、適当な重み付けを行って新たな変更量ΔH10を算出することができる。
なお、複数回のユーザ操作の結果に基づいて検出基準42を変更する場合、それぞれのユーザ操作にて算出された変更量ΔH10の相加平均や相乗平均の値が所定の閾値を超える場合や、それぞれのユーザ操作にて算出された変更量ΔH10が増加傾向にある場合に、検出基準42を変更しても良い。
なお、以上の説明では、所定の非接触操作600Aが検出基準外41で検出された場合の回数に基づいて検出基準42の位置を変更する例を挙げたが、所定の非接触操作600Aと異なる操作、すなわち所定の非接触操作600Aの一部が検出基準外41で検出されたときのユーザ操作も失敗と見なしても良い。すなわち、複数回のユーザ操作のうち、連続して所定の非接触操作600Aの一部が検出基準外41で検出された場合や、所定の非接触操作600Aの一部が検出基準外41で所定回以上検出された場合も、検出基準42が変更されても良い。
(第8の実施の形態の変形例5)
上述の第8の実施の形態では、所定の非接触操作600は、ユーザが表示位置1に向けて指Fを押し込む操作であった。例えば、図48(a)に示すような指FがUターンする操作であったが、これに限られない。所定の非接触操作600は、表示位置において三本の指を出すことでもよいし、身体の前において指Fの表示位置1への移動動作であってもよい。また、所定の非接触操作600は指Fの移動が所定の時間、例えば20秒間停止する動作であってもよい。
上述の実施の形態では、検出基準制御部204が、所定の非接触操作600が行われたか否かを、操作検出器13の検出出力に基づき判定した。ところが、ユーザによっては、所定の非接触操作600を正確に行わない場合、または上手く行うことができない場合がある。例えば、所定の非接触操作600が、指の10cmの下降移動とそれに引き続く10cmの上昇移動である場合に、ユーザによっては、非接触操作として、指の5cmの下降移動とそれに引き続く5cmの上昇移動と、を行う場合がある。また、所定の非接触操作600が表示位置1において三本の指を出すことである場合に、ユーザによっては三本目の指が上手く開かず、二本の指を出すことがある。また、所定の非接触操作600が身体の前において指Fの表示位置への移動動作である場合に、ユーザによっては身体の横で指Fの表示位置への移動を行う場合がある。また、所定の非接触操作600は指Fの移動が所定の時間、例えば20秒間停止するである場合に、ユーザによっては20秒に達する前に、例えば15秒程度で指を動かしてしまう場合がある。
このような場合、例えば検出基準42の中心位置や検出幅を変更することによって、ユーザ操作の全てを検出基準42で検出できるようにしていたとしても、ユーザの実行している操作自体(ユーザの操作として検出される検出値自体)が「所定の非接触操作600」(所定の非接触操作600を示す基準値)と一致しなければ、たとえ検出基準42(上述のような位置や幅)を設定(変更)したとしても、ユーザ操作を認識できない。このような場合、検出基準42の変更として、所定の非接触操作600を示す基準値を変更することによって、ユーザの操作を所定の非接触操作600である、と認識することができる。
従って、ユーザが或る非接触操作を行った時に、その或る非接触操作が所定の非接触操作600と同一ではないが、所定の非接触操作600と類似の動作、または紛らわしい動作等である場合には、表示装置1は、ユーザが、所定の非接触操作600を行っていると推測する。そして、表示装置1は、自身が記憶している、所定の非接触操作600を示す基準値(所定の非接触操作600の定義)を、ユーザの行っている操作そのもの(ユーザの操作として検出される検出値)に変更(更新)する。例えば、検出基準制御部204は、ユーザの非接触操作を検出し、検出したユーザの非接触操作の検出値と、所定の非接触操作600を示す予め記憶されている基準値とを比較する。所定の非接触操作600を示す基準値とは、表示装置1に予め記憶されている所定の非接触操作600の定義やテンプレート等を示すものである。比較の結果、両者の類似度が所定の閾値を越えるとき、所定の非接触操作600の基準値(予め記憶されている値)を、検出したユーザの非接触操作の検出値に基づいて変更する。これにより、ユーザの行っている非接触操作で操作が利くようにする。例えば、所定の非接触操作600を示す基準値として、「指Fが10cm下降する」ことを示す値が記憶されているとする。指Fが5cmしか下降していないことを検出した場合、所定の非接触操作600を示す基準値を「指Fが5cm下降する」ことを示す値に変更する。このように、所定の非接触操作600を示す基準値を変更することで、所定の非接触操作600と類似している非接触操作でも操作できるようになる。また、所定の非接触操作600の基準値を、ユーザの非接触操作の操作量が少なくても操作が利くように変更することで、ユーザの操作の負担を軽減できる。
また、所定の非接触操作を示す基準値として「身体の「前で」指を10cm下降移動しそれに引き続き10cm上昇移動する」という動作を示す値が記憶されているとする。ユーザが身体の「横で」指を10cm下降移動しそれに引き続き10cm上昇移動している場合、上記の所定の非接触操作600を示す基準値を「身体の横で指を10cm下降移動しそれに引き続き10cm上昇移動する」という動作を示す値に変更する。これによって、身体の横で指を10cm下降移動しそれに引き続き10cm上昇移動する動作で表示装置1を操作できるようになる。
なお、ユーザの複数の操作に基づいて検出基準42(所定の非接触操作600を示す基準値)を変更してもよい。つまり、所定の非接触操作600とは異なるが、類似した非接触操作が複数回行われた場合に、上記の所定の非接触操作600を示す基準値を変更してもよい。
このように、所定の非接触操作600を示す基準値を変更することが検出基準42の変更に含まれる。
(第8の実施の形態の変形例6)
第8の実施の形態のおよびその変形例1〜5に係る表示装置1は、所定の非接触操作600や所定の非接触操作600の一部が検出基準外41で検出された場合等に、検出基準42を変更した。
検出基準42の変更を指示する操作が検出基準42で検出された場合に、検出基準42を変更してもよい。この場合の検出基準42の変更には、検出基準42の位置や幅の変更、所定の非接触操作600を示す基準値の変更が含まれる。例えば、変形例6では、キャリブレーションを指示するジェスチャーが表示装置1に記憶されており、ユーザが検出基準42でキャリブレーションを指示するジェスチャーを行った場合、検出基準42を変更してもよい。また、検出基準外41でキャリブレーションを指示するジェスチャーを検出した場合にも、上述と同様にして検出基準42を変更してもよい。
(第8の実施の形態の変形例7)
検出基準制御部204は、音に基づいて、検出基準42を変更してもよい。この場合の検出基準42の変更には、検出基準42の位置や幅の変更、所定の非接触操作600を示す基準値の変更が含まれる。例えば、表示装置1は、第1の実施の形態の変形例6と同様の集音器14を有し、制御部20は、集音器14から入力した音声データを検出する音声検出部208を備える。なお、この場合において、音声検出部208は、「ハイ」以外も音声認識可能な周知の音声認識機能を備えるものである。ユーザが、「実行することができない」旨の発言や会話をした場合や、キャリブレーションして欲しい旨を発言した場合等に、変形例7の表示装置1は、音声認識機能を用いてこの会話や発言を検出して検出基準42を変更する。具体的には、音(発言)を検出したときのユーザの指の位置が含まれるように、検出基準42を移動してもよいし、検出基準42の幅を変更してもよい。あるいは、音(発言)を検出したら、所定量、例えば1cm、ユーザに近づく方向に検出基準42を移動してもよいし、検出基準42の幅を変更してもよい。また、音(発言)を検出したときにユーザの操作として検出された検出値になるよう、所定の非接触操作600を示す基準値を変更してもよい。また、音(発言)を検出したら、所定量だけ所定の非接触操作600を示す基準値を変更してもよい。例えば、所定の非接触操作600を示す基準値として、「10cm下降する」操作を示す値が記憶されていた場合、音(発言)を検出したら「9cm下降する」という操作を示す値を、所定の非接触操作600を示す基準値として変更(更新)してもよい。
なお、表示装置1が集音器14を備えず、外部の集音装置によって取得された音声データを無線や有線を介して入力し、外部の集音装置から入力した音声データを用いて音声検出部208が音声検出をしても良い。
(第8の実施の形態の変形例8)
検出基準制御部204は、時間に基づいて、検出基準42を変更してもよい。この場合の検出基準42の変更には、検出基準42の位置や幅の変更、所定の非接触操作600を示す基準値の変更が含まれる。例えば、所定の非接触操作600が検出基準42で所定の時間内に検出されなかった場合に、変形例8の表示装置1は検出基準42を所定量だけ変更する。このために、制御部20は、計時部を備え、表示装置1の電源スイッチがオンされて、所定の時間、アイコンなどに対する操作がない場合に、所定時間を計時した計時部の出力に基づき検出基準制御部204は検出基準42を所定量だけ変更する。また、或るアイコンなどに対する操作が行われた後に、所定の時間経っても次のアイコンなどに対する操作が行われない場合には、所定の時間を計時した計時部の出力に基づき検出基準制御部204は検出基準42を所定量だけ変更する。
変形例8において所定の時間の計時に基づき検出基準42を変更する場合は、検出基準42をユーザの方に近づく方向に所定量移動するように変更することが望ましい。例えば、所定時間にユーザの操作が検出されなかった場合、所定量、例えば1cm、ユーザに近づく方向に検出基準42の中心位置(全***置)を移動しても良いし、検出基準42の幅を変更しても良い。また、所定時間経過時のユーザの指の位置が含まれるように検出基準42の中心位置を移動しても良いし、検出基準42の幅を変更しても良い。また、所定時間経過時にユーザの操作として検出された検出値になるよう、所定の非接触操作600を示す基準値を変更しても良い。所定時間経過したら、所定量だけ所定の非接触操作600を示す基準値を変更してもよい。例えば、所定の非接触操作600を示す基準値として「10cm下降する」という操作を示す値が記憶されていた場合、所定時間経過したら「9cm下降する」という操作を示す値を、所定の非接触操作600を示す基準値として変更(更新)しても良い。
(第8の実施の形態の変形例9)
検出基準制御部204は、ユーザの顔に基づいて、検出基準42を変更してもよい。この場合の検出基準42の変更には、検出基準42の位置や幅の変更、所定の非接触操作600を示す基準値の変更が含まれる。例えば、変形例9の表示装置1に設けられたカメラによって、ユーザの顔を撮像し、制御部20においてその撮像画像を解析して、ユーザの顔の所定の表情を検出(いわゆる顔認識機能による所定表情の認識)すると、検出基準42を変更する。なお、所定の表情は、例えばユーザが上手く操作を行うことができない場合の困った顔などであり、ユーザの困った顔を検出した場合、検出基準42を変更する。
例えば、表示装置1の顔認識機能を用いて、ユーザが困っていることを検出すると、所定量(例えば1cm)ユーザに近づく方向に検出基準42を移動しても良いし、検出基準42の幅を変更しても良い。また、困っている顔を認識する直前にユーザが行っていた操作を示す検出値を記憶しておき、その記憶しておいた検出値に基づいて、所定の非接触操作600を示す基準値を変更しても良い。
(第8の実施の形態の変形例10)
検出基準制御部204は、ユーザによるジェスチャー操作が検出基準42で検出されない場合に、検出基準42(検出基準42の位置や幅、所定の非接触操作を示す基準値)を変更してもよい。例えば、所定の非接触操作600としてのユーザによるジェスチャー操作が、例えば、手によるグー、チョキ、パーなどの動作、または指Fの下降移動に引き続く横方向移動の動作の何れかであった場合に、変形例10の表示装置1は、それら各動作の特徴情報(特徴を示す基準値)をそれぞれ記憶部205に予め記憶しておく。そして、表示装置1は、ユーザのジェスチャー操作を検出し、その検出されたジェスチャー操作と、記憶部205に記憶されている複数の特徴情報の中から選択された何れか一つの特徴情報とを比較して、そのジェスチャー操作が上記何れか一つの所定の非接触操作に相当するか否かを判定する。表示装置1は、ユーザのジェスチャー操作が検出基準42で検出されなかった場合に、検出基準42を変更する。この場合の検出基準42の変更は、所定の非接触操作600を示す基準値の選択の変更である。すなわち、例えば表示装置1が、最初はグーを示す特徴情報を検出基準42での検出の際に使用する基準値として選択しているとする。表示装置1は、その検出基準42ではユーザ操作を検出できなかった場合に、基準値を、グーを示す特徴情報から、グーとは別の操作(上述の複数のジェスチャー操作における別の操作、例えばチョキ)を示す特徴情報に選択変更する。
(第8の実施の形態の変形例11)
所定の非接触操作600が指Fの位置が所定の位置に一致する動作である場合には、その所定の位置が検出基準42の中にある場合や、所定の位置が検出基準外41にある場合や、所定の位置がアイコンの表示位置に一致する場合や、所定の位置が検出基準42の位置である場合等がある。所定の位置が検出基準42の中にある場合には、指が検出基準42に存在するときに所定の非接触操作600が行われたと判定する。所定の位置が検出基準外41にある場合には、指が検出基準外41にあるときに所定の非接触操作600が行われたと判定する。所定の位置がアイコンの表示位置に一致する場合には、指Fが空中像のアイコンの表示位置に一致したとき、またはアイコンの表示位置を操作したときに所定の非接触操作600が行われたと判定する。所定の位置が検出基準42の位置である場合には、指Fが検出基準42と検出基準外41との境界を通過するときに、または、指が上記の境界を通過し、再度境界を通過するときに、所定の非接触操作600が行われたと判定する。
(第8の実施の形態の変形例12)
第8の実施の形態およびその変形例1〜11では、検出基準42は上下方向に幅D1を有するものとして説明したが、第1の実施の形態の検出基準40のように面で構成されても良い。図60(a)、(b)に示すように、検出基準40から下方に向かって距離L1または距離L1以上の位置にてUターンを行う所定の非接触操作600Aが行われた場合に、検出基準40にて所定の非接触操作600Aが行われたことが検出される。図61(a)に示すように検出基準40の上方(静電容量検出範囲13A内)にて所定の非接触操作600Aが行われた場合には、検出基準外41にて、操作検出器13を用いて所定の非接触操作600Aが検出され、図61(b)に示すように、検出基準40を通過して所定の非接触操作600Aが行われた場合に、所定の非接触操作600Aの一部が検出基準外41にて操作検出器13を用いて検出される。図61(a)、(b)の場合には、検出基準40からの距離に基づいて変位量ΔH10を算出し、この変位量ΔH10にて検出基準40の位置(図61中のZ方向の位置)を変更すれば良い。
第8の実施の形態およびその変形例1〜12を、第4の実施の形態やその変形例1や第7の実施の形態において説明した表示装置100により行うことができる。
また、第8の実施の形態およびその変形例1〜12では、空中像の表示位置への操作に対する所定の非接触操作600を行う場合について説明したが、この例に限定されない。例えば、第8の実施の形態およびその変形例1〜12の表示装置の表示器11に表示された画像に対して空間上で所定の非接触操作600を行う場合にも、所定の非接触操作600の空間上の位置と検出基準42との位置関係に基づいて、検出基準42の位置を変更して良い。
なお、上述の第8の実施の形態とその変形例1〜12では、制御部20と表示器11と操作検出器13とを少なくとも含む表示装置1を例に説明したが、制御部20のみで構成された制御装置、制御部20と表示器11とで構成される制御装置であってもよい。また、制御部20は、少なくともキャリブレーション部203と検出基準制御部204とを備えればよい。
以上で説明した各実施形態とその変形例において、表示装置1については、表示器11に表示された像を結像光学系12により空中像として生成するという構成を説明した。また、表示装置100については、表示器111に表示された像を結像光学系112により空中像として生成するという構成を説明した。しかし、空中像を生成する構成は上記構成に限られず、以下に説明する方法も含まれる。言うまでもなく、以下に説明する構成は一例であり、それ以外の空中像を生成する方法も含まれる。
表示装置において、空中像を生成する構成の例としては、表示装置の表示器に、右目で視認する画像と、右目で視認する画像とは視差を有する左目で視聴する画像とを表示させることにより、ユーザには表示器によって表示されている画像と異なる奥行に感じられる画像を生成方法がある。この方式によれば、ユーザは、表示器に表示された画像に対応する画像が、空中に表示されているように認識する。
また、表示装置として透過型のヘッドマウントディスプレイ(HMD)を用い、これをユーザに装着させることもできる。HMDに画像を表示させると、ユーザは、表示された画像が実際の視界に重畳されることで、HMDに表示された画像があたかも空中に像が表示されているように感じる。
なお、空中像を生成する方法としては、虚像を投影する方法やユーザの網膜に画像を直接結像させる方法なども挙げられる。また、空中像を生成する方法として、レーザ光を空中に集光して空気を構成する分子をプラズマ化して空中で光を発光させ、空中に像を形成するものであってもよい。この場合、レーザ光の集光位置を3次元空間中に自由に制御することで空中に実像として3次元画像が生成される。また、空中像を生成する方法として、プロジェクタ機能に加えて空気中に霧を発生させる機能を有する表示装置を用い、空気中に霧を発生させたてスクリーンを形成し、この霧によるスクリーンに画像を投影する(フォグディスプレイ)ことで、空中に像を生成してもよい。
表示装置1や100を用いてキャリブレーションを実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録しておき、このプログラムをコンピュータシステムに読み込ませて、キャリブレーションを実行してもよい。なお、ここでいう「コンピュータシステム」とは、OS(Operating System)や周辺機器等のハードウェアを含むものであってもよい。
なお、上記「コンピュータシステム」は、WWWシステムを利用したホームページ提供環境(あるいは表示環境)も含む。また、上記「コンピュータ読み取り可能な記録媒体」は、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに上記「コンピュータ読み取り可能な記録媒体」は、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含む。
上記「プログラム」は、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
なお、上述した各実施の形態および各変形例を組み合わせ、空中の表示に対する使用者の操作を検出する検出装置であって、所定の非接触操作を検出基準で検出する検出部と、操作を検出する検出基準と表示との位置関係を変更し、所定の非接触操作が検出基準で検出されない場合、検出基準を変更する制御部とを備え、制御部は位置関係を使用者によって変更可能である検出装置の構成をとっても良い。この検出装置の制御部は、さらに音に基づいて検出基準を変更してもよい。また、この検出装置の制御部はさらに、時間に基づいて検出基準を変更しても良い。また、この検出装置の制御部はさらに、使用者の顔に基づいて検出基準を変更しても良い。また、この検出装置の制御部はさらに、所定の非接触操作として、所定の動きが検出基準で検出されない場合、検出基準を変更してもよい。また、この検出装置の制御部はさらに、所定の非接触操作として押下する操作が検出基準で検出されない場合、検出基準を変更してもよい。また、この検出装置の制御部はさらに、所定の非接触操作としてジェスチャー操作が検出基準で検出されない場合、検出基準を変更してもよい。また、この検出装置の制御部はさらに、所定の非接触操作として、非接触操作を行う操作物体の形が所定の形と一致しなかった場合、検出基準を変更してもよい。また、上述した各実施の形態および各変形例を組み合わせ、空中の表示に対する使用者の操作を検出装置であって、非接触操作を検出する検出基準を備える検出部と、非接触操作を検出する検出基準と表示との位置関係を変更し、検出基準外で検出された非接触操作に基づき、検出基準を変更する制御部とを備え、制御部は位置関係を使用者によって変更可能である検出装置の構成をとっても良い。
なお、上述した各実施の形態および各変形例を組み合わせ、所定の非接触操作を検出基準で検出する検出部と、所定の非接触操作が検出基準で検出されない場合、検出基準を変更する制御部と、を備え、制御部は使用者の操作に基づいて位置関係を変更する検出装置の構成をとっても良い。また、上述した各実施の形態および各変形例を組み合わせ、所定の非接触操作を検出基準で検出する検出部と、所定の非接触操作が検出基準で検出されない場合、検出基準を変更する制御部と、を備え、制御部は使用者の情報に基づいて位置関係を変更する検出装置の構成をとってもよい。また、上述した各実施の形態および各変形例を組み合わせ、所定の非接触操作を検出基準で検出する検出部と、所定の非接触操作が検出基準で検出されない場合、検出基準を変更する制御部と、を備え、制御部は使用者による検出装置の周辺の環境変化に基づいて位置関係を変更する検出装置の構成をとってもよい。
なお、上述した各実施の形態および変形例を組み合わせ、空中の表示に対する使用者の操作を検出する検出装置であって、所定の非接触操作を検出基準で検出する検出部と、所定の非接触操作が検出基準で検出されない場合、検出基準を変更する制御部と、を備え、制御部は表示を制御し位置関係を変更する検出装置の構成をとっても良い。
なお、上述した各実施の形態および変形例を組み合わせ、空中の表示に対する使用者の操作を検出する検出装置と表示との位置関係を、使用者の操作に基づいて、表示を制御して変更する制御部を備え、制御部は、位置関係を使用者によって変更可能である制御装置の構成をとってもよい。また、上述した各実施の形態および変形例を組み合わせ、空中の表示に対する使用者の操作を検出する検出装置と表示との位置関係を、使用者の情報に基づいて、表示を制御して変更する制御部を備え、制御部は、位置関係を使用者によって変更可能である制御装置の構成をとってもよい。また、上述した各実施の形態および変形例を組み合わせ、空中の表示に対する使用者の操作を検出する検出装置と表示との位置関係を、使用者による検出装置の周辺の環境変化に基づいて、表示を制御して変更する制御部を備え、制御部は、位置関係を使用者によって変更可能である制御装置の構成をとってもよい。
なお、上述した各実施の形態および各変形例を組み合わせ、所定の非接触操作を検出基準で検出する検出部と、空中の表示に対する使用者の操作を検出する検出基準と表示との位置関係を表示を制御して変更し、所定の非接触操作が検出基準で検出されない場合、検出基準を変更する制御部と、を備え、制御部は、位置関係を使用者によって変更可能である制御装置の構成をとってもよい。この制御装置の制御部はさらに、音に基づいて検出基準を変更してもよい。また、この制御装置の制御部はさらに、時間に基づいて検出基準を変更してもよい。また、この制御装置の制御部はさらに、使用者の顔に基づいて検出基準を変更してもよい。また、この制御装置の制御部はさらに、所定の非接触操作として、所定の動きが検出基準で検出されない場合、検出基準を変更してもよい。また、この制御装置の制御部はさらに、所定の非接触操作として、押下する操作が検出基準で検出されない場合、検出基準を変更してもよい。また、この制御装置の制御部はさらに、非接触操作としてジェスチャー操作が検出基準で検出されない場合、検出基準を変更してもよい。また、この制御装置の制御部はさらに、所定の非接触操作として、非接触操作を行う操作物体の形が所定の形と一致しなかった場合、検出基準を変更してもよい。また、上述した各実施の形態および各変形例を組み合わせ、非接触操作を検出する検出基準を備える検出部と、空中の表示に対する使用者の操作を検出する検出基準と表示との位置関係を表示を制御して変更し、検出基準外で検出された非接触操作に基づき、検出基準を変更する制御部とを備え、制御部は位置関係を使用者によって変更可能である制御装置の構成をとっても良い。
本発明の特徴を損なわない限り、本発明は上記実施の形態や上記変形例に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。また、本発明は上記実施例の形態や上記変形例を適宜組み合わせてもよい。