JP2008033891A - 表示装置及びその制御方法 - Google Patents

Abstract

【課題】本発明は、低コストの構成を採用しながらも高精度のハンズフリー操作を可能とする表示装置を提供する。
【解決手段】本発明に係る表示装置は、ユーザに対して表示される情報である表示要素を取得する取得手段と、取得された前記表示要素の表示位置として、その表示要素の一部を前記ユーザが見ることができない表示位置を決定する決定手段と、決定された前記表示位置に前記表示要素を表示する表示手段と、前記ユーザの頭部向きが変化すると、その変化方向を検知する検知手段と、検知された前記変化方向に表示されている前記表示要素を選択する選択手段と、選択された前記表示要素に関係する所定の処理を実行する実行手段とを備える。
【選択図】図２

Description

本発明は、情報を表示する表示装置に関し、特に、ＨＭＤ（ヘッドマウントディスプレイ）等の頭部装着型表示装置に対するハンズフリーの操作技術に関する。

従来、ＨＭＤ（ヘッドマウントディスプレイ）等の頭部装着型表示装置に対し、手によるユーザ操作を不要とするハンズフリーの操作方式が提案されている。代表的なハンズフリーの操作方式としては、アイカメラ（眼球撮影カメラ）を用いる方式がある。

例えば、アイカメラでユーザの眼球を撮影し、その動画像を解析することによってユーザの注視点を推定する方式がある（例えば、特許文献１参照）。この方式によると、ＨＭＤ等の画面に表示された複数の表示要素のうち、ユーザが見ている表示要素を推定することができる。これによって、ユーザは、ボタン操作などをしなくても、視線を移動させることでＨＭＤを操作することができる。

また、アイカメラ以外のものを用いて、ユーザが見ている方向を推定する方式もある。
例えば、角速度センサーをユーザの頭部に装着し、その角速度センサーからの出力に基づいて、ユーザが見ている方向を推定する方式がある（例えば、特許文献２参照）。この方式によると、アイカメラを用いなくても、ユーザが見ている領域をある程度推定することができる。
特開平８−２８６１４１号公報 特開平７−２４１４１号公報

このように、ＨＭＤに表示された複数の表示要素の中からユーザが見ている表示要素を判定する方式として、アイカメラを用いる方式と、角速度センサーを用いる方式とがある。この２つの方式を比較した場合、アイカメラを用いる方式は、アイカメラや光源のハードウェアコスト、さらには注視点を推定する画像処理の計算コストが高い課題がある。一方、角速度センサーを用いる方式は、ハードウェアコストや計算コストが比較的低く済む利点があるが、ユーザが見ている方向を推定する精度が比較的低い課題がある。精度が低い原因は、ユーザが頭部を動かさずに眼球のみを動かした場合、その眼球の動きを角速度センサーでは検知することができないためである。このように、角速度センサーを用いる方式によると、ＨＭＤに表示された複数の表示要素の中からユーザが見ている表示要素を判定する際、その判定が精度よくできない課題がある。

本発明は、前記課題を解決するものであって、低コストの構成を採用しながらも高精度のハンズフリー操作を可能とする表示装置を提供することを目的とする。

前記従来の課題を解決するために、本発明に係る表示装置は、ユーザに対して情報を表示する表示装置であって、前記ユーザに対して表示される情報である表示要素を取得する取得手段と、取得された前記表示要素の表示位置として、その表示要素の一部を前記ユーザが見ることができない表示位置を決定する決定手段と、決定された前記表示位置に前記表示要素を表示する表示手段と、前記ユーザの頭部向きが変化すると、その変化方向を検知する検知手段と、検知された前記変化方向に表示されている前記表示要素を選択する選択手段と、選択された前記表示要素に関係する所定の処理を実行する実行手段とを備える。

本構成によって、ユーザは表示要素の一部を見ることができないことになるので、ユーザが表示要素を見ると自然とユーザの頭部も動くことになる。その結果、頭部向きの変化方向に表示されている表示要素が選択され、その選択された表示要素に関係する所定の処理が実行される。これによって、頭部向きの変化方向を検知するだけの低コストの構成を採用しながらも、高精度のハンズフリー操作が可能となる。

ここで、前記表示装置は、さらに、検知された前記変化方向と略逆方向に前記表示要素が移動するように、前記表示要素の表示位置を変更する変更手段を備え、前記表示手段は、変更された前記表示位置に前記表示要素を表示してもよい。

本構成によって、ユーザが例えば右側に表示されている表示要素を見ようとして頭部を右へ動かすと、その表示要素は左側に移動することになり、頭部を正面に向けたときにはその表示要素の内容に注目することができるので、選択間違いを減らすことが可能となる。

また、前記選択手段は、前記表示要素の表示位置がその表示要素の全部を前記ユーザが見ることができる状態になった場合、前記表示要素を選択してもよい。

本構成によって、表示要素の全部をユーザが見ることができる状態となるまでユーザの頭部が動かなければその表示要素は選択されないので、ユーザが全部を見ようとした表示要素だけを選択することが可能となる。

また、前記選択手段は、前記表示要素の表示位置がその表示要素の所定割合以上の部分を前記ユーザが見ることができる状態になった場合、前記表示要素を選択してもよい。

本構成によって、表示要素の所定割合以上の部分（例えば大部分）をユーザが見ることができる状態となるまでユーザの頭部が動かなければその表示要素は選択されないので、ユーザが大部分を見ようとした表示要素だけを選択することが可能となる。

また、前記選択手段は、所定表示状態が所定時間以上継続した場合、前記表示要素を選択してもよい。

本構成によって、所定表示状態が所定時間以上継続しなければその表示要素は選択されないので、ユーザが一瞬だけ見た表示要素は選択されず、選択間違いを減らすことが可能となる。

また、前記決定手段は、前記表示要素が前記ユーザの視野の境界線をまたぐように、前記表示要素の表示位置を決定してもよい。

本構成によって、表示手段の表示領域がユーザの視野より広い場合、表示要素がユーザの視野の境界線をまたいで表示されることになるので、表示要素の一部をユーザが見ることができないようにすることが可能となる。

また、前記決定手段は、前記表示要素が前記表示手段の表示領域の境界線をまたぐように、前記表示要素の表示位置を決定してもよい。

本構成によって、表示手段の表示領域がユーザの視野より狭い場合、表示要素が表示手段の表示領域の境界線をまたいで表示されることになるので、表示要素の一部をユーザが見ることができないようにすることが可能となる。

また、前記決定手段は、前記表示手段の表示領域左端に前記表示要素の右側一部が表示されるように、前記表示手段の表示領域右端に前記表示要素の左側一部が表示されるように、前記表示手段の表示領域上端に前記表示要素の下側一部が表示されるように、または、前記表示手段の表示領域下端に前記表示要素の上側一部が表示されるように、前記表示要素の表示位置を決定してもよい。

本構成によって、容易に、一般的な矩形の表示画面において表示要素の一部をユーザが見ることができないようにすることが可能となる。

また、前記表示装置は、さらに、検知された前記変化方向と略逆方向に前記表示要素が移動するように、前記表示要素の表示位置を変更する変更手段を備え、前記決定手段は、複数の前記表示要素の表示位置が変更された場合でも、選択される前記表示要素の数が１つとなるように、複数の前記表示要素の表示位置を決定してもよい。

本構成によって、全部表示される表示要素の数は１つになるので、複数の表示要素の中からユーザが意図した１つの表示要素を確実に選択することが可能となる。

また、前記検知手段は、前記ユーザの頭部に装着された角速度センサーからの出力に基づいて前記変化方向を検知してもよい。

本構成によって、角速度センサーからの出力に基づいて頭部向きの変化方向を検知するだけで済むので、高価なアイカメラを採用する必要がなく、また、アイカメラによって撮影した動画像から注視点を認識する画像処理コストも不要となるため、全体のコストを大幅に下げることが可能となる。

また、前記実行手段は、前記表示要素がボタンである場合、前記ボタンに割り当てられている処理を実行してもよい。

本構成によって、ユーザがボタンを注視したとき、そのボタンに割り当てられている処理が実行されるので、ボタンの押下をハンズフリーで指示することが可能となる。

また、前記実行手段は、前記表示要素が動画像である場合、前記動画像の再生処理を開始してもよい。

本構成によって、ユーザが動画像を注視したとき、その動画像の再生処理が開始されるので、動画像の再生開始をハンズフリーで指示することが可能となる。

また、前記表示手段は、前記表示要素を選択するための枠である選択枠を所定の表示位置に表示し、前記選択手段は、前記選択枠内に前記表示要素が収まった場合、前記表示要素を選択してもよい。

本構成によって、選択枠という分かり易い手法によって表示要素を選択することができるので、より使い勝手がよくなるという効果がある。

また、前記表示手段は、前記ユーザの頭部に装着されてもよい。
本構成によって、本発明をＨＭＤに適用することが可能となる。

なお、本発明は、このような表示装置として実現することができるだけでなく、このような表示装置が備える特徴的な手段を備える集積回路として実現したり、このような表示装置が備える特徴的な手段をステップとする表示装置の制御方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

以上の説明から明らかなように、本発明に係る表示装置によれば、ユーザは表示要素の一部を見ることができないことになるので、ユーザが表示要素を見ると自然とユーザの頭部も動くことになる。その結果、頭部向きの変化方向に表示されている表示要素が選択され、その選択された表示要素に関係する所定の処理が実行される。これによって、頭部向きの変化方向を検知するだけの低コストの構成を採用しながらも、高精度のハンズフリー操作が可能となる。

以下本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本発明の実施の形態１における表示装置の外観図である。本実施の形態１では、表示装置としてＨＭＤ４０を採用した場合を例示する。

ＨＭＤ４０は、ユーザの頭部に装着される表示装置である。この図に示されるように、普通の眼鏡４１の上に小さな投影装置４２がのっている。投影装置４２には、画像データや電力などがケーブル４３を通して本体４４から送られる。投影装置４２に送られた画像データは、眼鏡４１のレンズに沿って装着される表示プリズムに２７度程度の視野角で投影される。

画像データが投影されていないときは、ごく普通に眼鏡を通してあたりの風景を見ることができる。一方、画像データが投影されているときは、その風景の中に投影中の画像が浮かんで見える。

図２は、本発明の実施の形態１における表示装置の構成図である。この表示装置は、ユーザの頭部に装着される表示装置（例えばＨＭＤ４０）であって、機能的には、表示要素決定部１０１と、表示要素取得部１０２と、境界表示決定部１０３と、検知部１０４と、表示位置変更部１０５と、選択部１１０と、実行部１０８と、表示部１０９とを備えている。選択部１１０には、境界表示判定部１０６と、選択要素判定部１０７とが含まれる。

以下、図２の構成図を用いて、各構成要素とその関係について説明する。
表示要素決定部１０１は、表示要素を決定する。表示要素は、ユーザに対して表示される情報の構成要素であり、アイコンやボタンやウィンドウ等のＧＵＩ（グラフィカルユーザインタフェース）部品や、動画像や静止画像や文字や記号などのコンテンツを含む。また、音声情報など、ユーザに対して表示されない情報を表示要素に組み合わせてもよい。表示要素は、テレビ番組、メール、ホームページ、時計、時刻表、株価、標識、キャラクター、宣伝・広告などでもよい。表示すると決定する表示要素の数は１つでもよいし、複数でもよい。

表示要素取得部１０２は、本発明に係る取得手段の一例であって、表示要素決定部１０１によって決定された表示要素を取得する。取得方法は、有線や無線での通信路や放送路を経由して取得する方法でもよいし、光ディスクや半導体メモリなどの媒体を経由して取得する方法でもよい。また、表示要素決定部１０１の決定に先んじて取得しておいてもよい。複数の表示要素を取得する際には、同時に取得してもよいし、順次取得してもよい。

境界表示決定部１０３は、本発明に係る決定手段の一例であって、表示要素取得部１０２によって取得された表示要素の表示位置として、その表示要素の一部をユーザが見ることができない表示位置を決定する。具体的には、表示要素取得部１０２と境界表示決定部１０３との間には表示要素決定部１０１が介在するので、表示要素決定部１０１によって決定された表示要素の一部をユーザが見ることができない表示位置を決定することになる。ここで、表示要素の一部をユーザが見ることができない表示位置に表示要素を表示することを「境界表示」と呼ぶことにする。言い換えると、境界表示とは、表示要素の一部がユーザから見え、残る部分は見えないように表示することである。例えば、ＨＭＤ画面の右端に表示要素の左半分だけを表示したり、画面の下端に表示要素の上部だけを表示したりすることで、ユーザから一部は見えるが全部は見えないようにすることができる。それに対して、表示要素の全部をユーザが見ることができる表示位置に表示要素を表示することを以下では「全部表示」と呼ぶことにする。

なお、境界表示決定部１０３は、複数の表示要素がある場合は、少なくとも１つの表示要素を境界表示させるように各表示要素の表示位置を決定する。すなわち、必ずしも全ての表示要素が境界表示されなくてもよい。例えば、２つの表示要素がある場合は、どちらか一方のみが境界表示される位置を決定してもよい。あるいは、一方をＨＭＤ画面左端に境界表示させ、他方を画面右端付近に全部表示してもよい。また、複数の表示要素がある場合は、１つのみが全部表示され、それ以外は境界表示されるように、各表示要素の表示位置を決定してもよい。そうすると、最終的に１つの表示要素をユーザに選択させたい場合、後述の選択要素判定部１０７における処理を単純化することができる。

なお、ＨＭＤの表示範囲（表示部１０９の表示領域）は矩形でなくてもよい。例えば、ＨＭＤ画面の上端は横一直線ではなく、中央部を下げた曲線や折れ線でもよい。また、表示要素の前面に表示要素と別の表示をすることによって、表示要素の一部を隠して境界表示を実現してもよい。

なお、ＨＭＤの表示範囲がユーザの視野より広い場合は、表示要素がユーザの視野境界線をまたぐようにしてもよい。このようにすれば、表示要素が表示部１０９の表示領域の境界線をまたぐ場合と同様、境界表示を実現することができる。ここでいう視野境界線は、両眼視野の境界線としてもよいし、単眼視野の境界線としてもよい。例えば、両眼視野の境界線としては、顔面正面から左右６０度、上６０度、下７５度までの視野範囲の境界線を採用することができる。また、単眼視野の境界線としては、顔面正面から左右１００度、上６０度、下７５度までの視野範囲の境界線を採用することができる。視野範囲の個人差を考慮して、ここで例示した具体的角度から２０度以内の範囲で異なる角度を採用してもよい。

なお、前記でいう「視野」は主に周辺視野の意味で用いているが、周辺視野ではなく中心視野について境界線を求めてもよい。すなわち、人間の視野は、中心視野と周辺視野の２つに大別することができる。中心視野では、物の形を細部にわたって判別したり色を認識したりすることができる。一方、周辺視野では、物の形はぼんやりして色もあまりわからない。表示要素がユーザの中心視野の境界線をまたぐようにすれば、ユーザには表示要素の一部がぼんやり見えることになる。その結果、表示要素の全部を細部まで見ようとする意識が働き、ユーザの頭部が自然と動く傾向が強くなる。

検知部１０４は、本発明に係る検知手段の一例であって、ユーザの頭部動作量を検知する。ユーザの頭部動作量は、ユーザの頭部に装着された角速度センサー（当該表示装置に搭載された角速度センサー）からの出力に基づいて検知することができる。角速度センサーに代えて、加速度センサーや地磁気センサーや無線電波センサーや超音波センサー等を採用してもよい。また、頭部に装着されていないものであっても頭部の動きを検知することができるものであればよく、カメラやセンサーや電子タグリーダ等を採用してもよい。半導体素子を利用する半導体センサーを採用することも可能である。ユーザの頭部動作量は、角度変化でも移動量でもそれらの加速度量でもよい。ユーザの頭部が左や右へ動いたかどうかを示すフラグを頭部動作量と考えてもよい。すなわち、頭部移動量は、頭部向きの変化方向を検知することができる値であればよい。

「頭部向き」とは、胴体を基準として頭部が向いている方向をいい、「頭部向きの変化方向」とは、頭部向きが変化した方向をいう。例えば、正面を向いている頭部を左に向けた場合は「左方向」という変化方向が検知され、さらに、その左向きの頭部を元の正面に向けた場合は「右方向」という変化方向が検知されることになる。

表示位置変更部１０５は、本発明に係る変更手段の一例であって、頭部向きの変化方向と略逆方向に表示要素が移動するように、検知部１０４によって検知された頭部動作量に応じて表示要素の表示位置を変更する。これによって、ユーザの頭部が例えば右へ動いたら、ＨＭＤ内の表示は左へ移動することになる。ここで「略逆方向」と表現したのは、完全に逆方向（１８０度異なる方向）でなくてもよいからである。すなわち、頭部向きの変化方向と９０度以上２７０度以下異なる方向に表示要素が移動した場合は、頭部向きの変化方向と略逆方向に表示要素が移動したものとする。

なお、表示要素を左へ移動させる手法は、表示要素の表示サイズや形状を変化させずに表示位置を左へ変更する手法に限定されるものではない。例えば、表示要素の表示サイズを拡大縮小したり変形したりすることによって、表示要素の左端の位置を左へ変更したり、右端の位置を右へ変更したりする手法を採用してもよい。右への移動や上下への移動についても同様である。

選択部１１０は、本発明に係る選択手段の一例であって、検知部１０４によって検知された頭部向きの変化方向に表示されている表示要素を選択する。例えば、表示要素の表示位置がその表示要素の全部をユーザが見ることができる表示位置に変更された場合、その表示要素を選択する。このような選択処理を実現するために、選択部１１０は境界表示判定処理と選択要素判定処理とを行なう。以下、境界表示判定処理を行なう選択部１１０のことを「境界表示判定部１０６」と呼び、選択要素判定処理を行なう選択部１１０のことを「選択要素判定部１０７」と呼ぶことにする。

境界表示判定部１０６は、表示位置変更部１０５によって表示位置が変更された表示要素の境界表示状態を判定する。境界表示状態とは、各表示要素が境界表示されているかどうかを表す状態である。その値は、「境界表示」と「全部表示」の２値としてもよいし、表示されている割合を示す値としてもよい。また、１つの表示要素についての境界表示状態は１つに限定されるものではない。例えば、１つの表示要素を複数の領域に分割してそれぞれの領域について境界表示状態を判定してもよい。また、１つの表示要素について過去の境界表示状態と将来の境界表示状態（予測値）とを判定してもよい。

選択要素判定部１０７は、境界表示判定部１０６によって判定された境界表示状態に基づいて表示要素の選択状態を判定する。例えば、全部表示されている表示要素を「選択状態」と判定し、境界表示されている表示要素を「非選択状態」と判定する。表示部分が多い表示要素を「選択状態」と判定すればよく、その他の判定基準を採用してもよい。また、１つの表示要素を選択するのではなく、複数の表示要素を選択するようにしてもよい。選択状態とは、各表示要素がユーザに選択されているかどうかを表す状態である。その値は、「選択」と「非選択」の２値としてもよいし、選択されている程度を表す値でもよいし、選択されている可能性を表す値でもよい。このように、選択要素判定部１０７によって「選択」と判定された表示要素は、選択部１１０によって選択された表示要素ということができる。

実行部１０８は、本発明に係る実行手段の一例であって、選択部１１０によって選択された表示要素（すなわち、選択要素判定部１０７によって「選択」と判定された表示要素）に関係する所定の処理を実行する。ここでいう所定の処理は様々あり特に限定されるものではないが、典型的には、表示要素の表示動作を変更する処理を意味する。表示動作の変更には、表示するサイズ、形状、位置、色、輝度、奥行き、内容の変更や、再生状態の変更、表示有無の変更が含まれる。また、これらを変更しないことも、表示動作を変更する一形態と考えることにする。また、表示要素自体の表示動作を変更するだけでなく、例えば、表示要素の周辺に枠を表示する等、表示要素以外の情報の表示動作を変更してもよい。

表示部１０９は、本発明に係る表示手段の一例であって、表示要素決定部１０１によって決定された表示位置や、表示位置変更部１０５によって変更された表示位置に表示要素を表示する。また、実行部１０８によって実行された処理結果を表示する。具体的には、ＨＭＤやＦＭＤ（フェイスマウントディスプレイ）やＨＵＤ（ヘッドアップディスプレイ）や眼鏡型ディスプレイなどの表示部がここでいう表示部１０９に相当する。表示部１０９は、前頭部や側頭部や後頭部や鼻や耳や額や顔や髪や口などの頭部に装着されてもよいし、首や肩や胸や背中など上半身に装着されてもよい。表示方式は、透過型液晶や反射型液晶や有機ＥＬ（エレクトロルミネセンス）素子などを用いた表示・投影方式でもよいし、光半導体やレーザーを用いた表示・投影方式でもよい。

なお、図２における各部は、１台のＨＭＤに内蔵されていてもよいし、内蔵されていなくてもよい。例えば、図２各部の全てが１台のＨＭＤに含まれていてもよいし、表示要素取得部１０２が別の装置にあってもよい。また、複数の装置上に各部が分散していてもよい。例えば、検知部１０４と表示部１０９とは別の装置にあってもよい。また、図２における各部は複数存在してもよい。例えば、表示部１０９は２つあってもよい。また、複数ユーザが図２の各部を共有してもよい。

次に、動作について説明する。
図３は、本発明の実施の形態１における表示装置の動作を示す図である。本説明では、４つの動画像（それぞれを、表示要素１、表示要素２、表示要素３、表示要素４、と以下では記す）を４つの表示要素としてＨＭＤに一度に表示する場合を想定して説明する。具体的には、表示される４つの動画像のうち、ユーザが見ている１つの動画像のみを再生状態とし、ユーザが見ていない残り３つの動画像を一時停止状態とする場合の動作について説明する。

（Ｓ１００）動作を開始し、Ｓ１０１の動作へ移る。
（Ｓ１０１）表示要素決定部１０１は、表示部１０９に表示する表示要素を決定し、表示要素取得部１０２は、表示要素決定部１０１によって決定された表示要素を取得し、Ｓ１０２の動作へ移る。本説明では、表示要素１・表示要素２・表示要素３・表示要素４の４つの表示要素を表示すると表示要素決定部１０１が決定したとする。なお、決定基準としては、ユーザの嗜好や、目的への適合性や、ユーザの外界状況や身体状況や心理状況や社会状況や対人状況などのユーザ状況への適合性や、ＨＭＤの表示特性や表示要素取得部１０２または通信路の通信特性や情報記憶特性などの装置特性を用いてもよい。

（Ｓ１０２）境界表示決定部１０３は、各表示要素が境界表示される表示位置を決定し、Ｓ１０３の動作へ移る。各表示要素の表示位置の決定は、ＨＭＤの表示範囲と各表示要素の表示サイズとを比べて決定する。

図４Ａは、本発明の実施の形態１における表示例を示す図である。図４Ｂは、本発明の実施の形態１における表示位置管理表１０を示す図である。表示位置管理表１０は、表示要素ごとに「表示サイズ」「表示位置」「境界表示状態」「選択状態」を管理している表であって、境界表示決定部１０３、表示位置変更部１０５、境界表示判定部１０６、選択要素判定部１０７、および実行部１０８によって参照・更新される表である。本説明では、ＨＭＤの表示範囲は矩形であり、横幅は１００画素で縦幅は７０画素であるとする。一方、各表示要素も矩形であり、表示サイズは横幅４０画素で縦幅３０画素であるとする。境界表示決定部１０３は、ＨＭＤ表示範囲と各表示要素の表示サイズとに基づいて、各表示要素が境界表示されるように表示位置を求め、図４Ｂに示されるように、求めた表示位置を表示位置管理表１０の「表示位置」欄に追記する。本説明では、表示要素１の左上頂点が、ＨＭＤ表示範囲の左上頂点から、右へ−１０画素（つまり左へ１０画素）、下へ０画素の位置となるように、表示要素１の表示位置を決定する。同様に、表示要素２は右へ７０画素、下へ０画素の位置、表示要素３は右へ−１０画素、下へ５０画素の位置、表示要素４は右へ７０画素、下へ５０画素の位置へ表示すると決定する。その結果、図４Ａに示されるように、各表示要素は境界表示されるようになる。

このように、表示要素が境界表示される位置を求めるには、ＨＭＤ表示範囲や表示要素が矩形の場合は、表示要素の左端と右端の間に表示範囲の境界が収まるように表示要素の横方向の位置を求めるか、表示要素の上端と下端の間に表示範囲の境界が収まるように表示要素の縦方向の位置を求めればよい。なお、境界表示決定部１０３が表示位置を決定したら、Ｓ１０３の動作へ移る前に、表示部１０９が表示要素を表示してもよい。

（Ｓ１０３）表示位置変更部１０５は、検知部１０４によって検知された頭部動作量に応じて各表示要素の表示位置を変更し、Ｓ１０４の動作へ移る。本説明では、頭部に装着した角速度センサーを用いて頭部動作量を検知する場合を想定して説明する。角速度センサーからは、頭部の縦方向と横方向の角度変化を取得することができる。表示位置変更部１０５は、検知部１０４を介して角度変化量を取得すると、その角度変化量を表示部１０９の画素間隔に対応するように変換する。例えば、ＨＭＤ表示範囲の横幅が１００画素で横方向視野角が５０度である場合は、角度変化量から画素への変換定数を“表示範囲横幅画素数／横方向視野角×（−１）”として求め、−２が得られる。最後に（−１）を乗じたのは、方向を反転させるためである。例えば、表示位置変更部１０５は、頭部の右方向への角度変化量として１０度を取得すると、上記の変換定数である−２を乗じた、−２０画素右方向へ表示要素を移動させる。つまり、ユーザが右へ１０度首を振ると、表示要素は左へ２０画素移動する。

図５Ａ及び図６Ａは、本発明の実施の形態１における表示例を示す図である。図５Ｂ及び図６Ｂは、本発明の実施の形態１における表示位置管理表１０を示す図である。図５も図６も、想定している場面が異なる点を除き図４と同様である。

すなわち、図４では、頭部角度変化量が０度の場合を想定している。図５では、右方向角度変化量が−５度で表示要素を１０画素右へ移動させる場合を想定している。図６では、図５と比較して右方向角度変化量が１０度、下方向角度変化量が５度で、表示要素を−２０画素右へ、−１０画素下へ移動させる場合を想定している。このように表示位置変更部１０５は、境界表示決定部１０３から表示位置管理表１０を取得し、求めた移動量を表示位置管理表１０の「表示位置」欄に記された表示位置に加えることで表示位置を変更する。

なお、本説明では変換定数を−２の固定値としたが、表示部１０９の形状や画素間隔によっては定数とせずに表示領域に応じた変換定数を個別に求めてもよい。また、表示要素の移動量に関しても、角度変化量に変換定数を乗じた画素数を移動量とする方式ではなく、別の方式を用いてもよい。例えば、一定範囲内の角度変化なら表示要素を移動させない方式や、急激な角度変化なら表示要素の移動量を増加させる方式を用いてもよい。

なお、頭部動作量に応じて表示要素を移動させると、表示要素が完全に表示範囲から外れてしまう場合がある。このように表示要素がユーザから見えなくなる不具合を避けるために、表示要素を一定以上移動させないようにしてもよい。

なお、本説明では４つの表示要素の移動量は全て同一としているが、表示要素毎に異なる移動量としてもよい。

なお、表示位置変更部１０５が表示位置を変更したら、Ｓ１０４の動作へ移る前に、表示部１０９が表示要素を表示してもよい。

（Ｓ１０４）境界表示判定部１０６は、各表示要素が境界表示されているかどうか判定し、Ｓ１０５の動作へ移る。境界表示判定部１０６は、表示位置変更部１０５から表示位置管理表１０を取得し、「境界表示」か「全部表示」かの値を表示位置管理表１０の「境界表示状態」の欄に追記する。本説明では、図４から図６に示されるように、表示要素の全体が表示されている場合は「全部表示」とし、境界表示されている場合は「境界表示」としている。

なお、たとえ表示要素が画面端で部分表示されていても、ユーザ頭部がその端の方向へ向いたことで、画面の端がユーザの視野中央寄りへ移動した場合には、表示要素は境界表示されていない、と判定してもよい。

（Ｓ１０５）選択要素判定部１０７は、各表示要素の選択状態を判定し、Ｓ１０６の動作へ移る。選択要素判定部１０７は、境界表示判定部１０６から表示位置管理表１０を取得し、「選択」か「非選択」かの値を表示位置管理表１０の「選択状態」の欄に追記する。本説明では、図４から図６に示されるように、表示要素の境界表示状態が「境界表示」の場合は「非選択」とし、「全部表示」の場合は「選択」としている。

（Ｓ１０６）実行部１０８は、各表示要素の選択状態に応じて表示部１０９の表示を変化させ、Ｓ１０７の動作へ移る。本説明では、選択状態が「選択」である表示要素については再生を開始し、選択状態が「非選択」である表示要素については再生を停止する。これにより、ユーザが見ている表示要素（動画像）だけを再生させることが可能となる。

（Ｓ１０７）実行部１０８は、動作終了するかどうかを判定し、終了すると判定した場合はＳ１０８の動作へ移り、終了しないと判定した場合はＳ１０１の動作へ移る。

（Ｓ１０８）動作終了する。
以下、具体例を挙げて説明する。

図７Ａ〜図７Ｃは、本発明の実施の形態１における表示部１０９の状態遷移を示す図である。開始ボタン２１は、表示要素の一例であって、各種処理の開始を指示するためのボタンである。終了ボタン２２は、表示要素の一例であって、本装置の使用終了を指示するためのボタンである。図中に示す点線の矩形は、表示部１０９の表示領域１１を表している。

初期状態では、図７Ａに示されるように、開始ボタン２１の一部は表示領域１１の外に表示され、また終了ボタン２２の一部も表示領域１１の外に表示される。この状態では、ユーザは開始ボタン２１の一部を見ることができず、また終了ボタン２２の一部も見ることができない。ここで、ユーザが各種処理の開始を指示したいと考えた場合、ユーザの頭部は自然と左を向くことになる。これによって、開始ボタン２１と終了ボタン２２は、頭部向きの変化方向（左方向）と略逆方向（右方向）に移動することになる。その結果、図７Ｂに示されるように、開始ボタン２１の全部が表示領域１１に収まると、開始ボタン２１が選択される。このように開始ボタン２１が選択されると、図７Ｃに示されるように、映画ボタン２３、音楽ボタン２４、インターネットボタン２５、ゲームボタン２６（以下、これらのボタンを一括して「サブメニューボタン」という場合がある）が表示される。サブメニューボタンの一部は表示領域１１の外に表示され、この状態では、ユーザはサブメニューボタンの一部を見ることができない。

図８Ａ〜図８Ｃは、本発明の実施の形態１における表示部１０９の別の状態遷移を示す図である。図７では、開始ボタン２１の全部が表示領域１１に収まったときに開始ボタン２１が選択される形態を例示したが、ここでは、開始ボタン２１の所定割合以上の部分（例えば９割以上の部分）が表示領域１１に収まったときに開始ボタン２１が選択される形態を例示する。

すなわち、初期状態では、図８Ａに示されるように、開始ボタン２１の一部は表示領域１１の外に表示され、また終了ボタン２２の一部も表示領域１１の外に表示される。この状態では、ユーザは開始ボタン２１の一部を見ることができず、また終了ボタン２２の一部も見ることができない。ここで、ユーザが各種処理の開始を指示したいと考えた場合、ユーザの頭部は自然と左を向くことになる。これによって、開始ボタン２１と終了ボタン２２は、頭部向きの変化方向（左方向）と略逆方向（右方向）に移動することになる。その結果、図８Ｂに示されるように、開始ボタン２１の９割以上の部分が表示領域１１に収まると、開始ボタン２１が選択される。このように開始ボタン２１が選択されると、図８Ｃに示されるように、サブメニューボタンが表示される。サブメニューボタンの一部は表示領域１１の外に表示され、この状態では、ユーザはサブメニューボタンの一部を見ることができない。

図９Ａ〜図９Ｃは、本発明の実施の形態１における表示部１０９の別の状態遷移を示す図である。図中に示す点線の矩形は、表示部１０９の表示領域１１を表しており、図中に実線で示す楕円は、ユーザの視野１２を表している。図７では、表示領域１１の境界線をまたぐように表示要素の表示位置が決定される形態を例示したが、ここでは、ユーザの視野１２の境界線をまたぐように表示要素の表示位置が決定される形態を例示する。表示要素が表示領域１１の境界線をまたいだ場合もユーザの視野１２の境界線をまたいだ場合も、表示要素の一部をユーザが見ることができないという点では同じである。

すなわち、初期状態では、図９Ａに示されるように、開始ボタン２１の一部はユーザの視野１２の外に表示され、また終了ボタン２２の一部もユーザの視野１２の外に表示される。この状態では、ユーザは開始ボタン２１の一部を見ることができず、また終了ボタン２２の一部も見ることができない。ここで、ユーザが各種処理の開始を指示したいと考えた場合、ユーザの頭部は自然と左を向くことになる。これによって、開始ボタン２１と終了ボタン２２は、頭部向きの変化方向（左方向）と略逆方向（右方向）に移動することになる。その結果、図９Ｂに示されるように、開始ボタン２１の全部がユーザの視野１２に収まると、開始ボタン２１が選択される。このように開始ボタン２１が選択されると、図９Ｃに示されるように、サブメニューボタンが表示される。サブメニューボタンの一部はユーザの視野１２の外に表示され、この状態では、ユーザはサブメニューボタンの一部を見ることができない。

図１０Ａ〜図１０Ｃは、本発明の実施の形態１における表示部１０９の別の状態遷移を示す図である。図９では、開始ボタン２１の全部がユーザの視野１２に収まったときに開始ボタン２１が選択される形態を例示したが、ここでは、開始ボタン２１の所定割合以上の部分（例えば９割以上の部分）がユーザの視野１２に収まったときに開始ボタン２１が選択される形態を例示する。

すなわち、初期状態では、図１０Ａに示されるように、開始ボタン２１の一部はユーザの視野１２の外に表示され、また終了ボタン２２の一部もユーザの視野１２の外に表示される。この状態では、ユーザは開始ボタン２１の一部を見ることができず、また終了ボタン２２の一部も見ることができない。ここで、ユーザが各種処理の開始を指示したいと考えた場合、ユーザの頭部は自然と左を向くことになる。これによって、開始ボタン２１と終了ボタン２２は、頭部向きの変化方向（左方向）と略逆方向（右方向）に移動することになる。その結果、図１０Ｂに示されるように、開始ボタン２１の９割以上の部分がユーザの視野１２に収まると、開始ボタン２１が選択される。このように開始ボタン２１が選択されると、図１０Ｃに示されるように、サブメニューボタンが表示される。サブメニューボタンの一部はユーザの視野１２の外に表示され、この状態では、ユーザはサブメニューボタンの一部を見ることができない。

図１１Ａ〜図１１Ｆは、本発明の実施の形態１における表示部１０９の別の状態遷移を示す図である。ここでは、サブメニューボタンが表示された後の状態遷移について説明する。サブメニューボタンは、本発明に係る表示要素の一例であって、具体的には、映画ボタン２３、音楽ボタン２４、インターネットボタン２５、ゲームボタン２６である。

既に説明した通り、開始ボタン２１が選択された直後は、図１１Ａに示されるように、ユーザはサブメニューボタンの一部を見ることができない。ここで、ユーザが映画を観たいと考えた場合、ユーザの頭部は自然と左上を向くことになる。これによって、サブメニューボタンは、頭部向きの変化方向（左上方向）と略逆方向（右下方向）に移動することになる。その結果、図１１Ｂに示されるように、映画ボタン２３の全部が表示領域１１に収まると、映画ボタン２３が選択される。このように映画ボタン２３が選択されると、図１１Ｃに示されるように、停止状態の動画像３１〜３４が表示される。動画像３１〜３４の一部は表示領域１１の外に表示され、この状態では、ユーザは動画像３１〜３４の一部を見ることができない。ここで、ユーザが動画像３４を観たいと考えた場合、ユーザの頭部は自然と右下を向くことになる。これによって、動画像３１〜３４は、頭部向きの変化方向（右下方向）と略逆方向（左上方向）に移動することになる。その結果、図１１Ｄに示されるように、動画像３４の全部が表示領域１１に収まると、動画像３４が選択される。このように動画像３４が選択されると、図１１Ｅに示されるように、動画像３４が例えば表示領域１１全体に表示され、図１１Ｆに示されるように、動画像３４の再生処理が開始される。

図１２Ａ〜図１２Ｆは、本発明の実施の形態１における表示部１０９の別の状態遷移を示す図である。図７の例では、サブメニューに移行するとメインメニューに戻ることができない。ここでいうサブメニューとはサブメニューボタンによって構成されるメニューであり、またメインメニューとは開始ボタン２１および終了ボタン２２によって構成されるメニューである。しかし、誤ってボタンを選択してしまう場合もあり、このような場合に前のメニューに戻れないのは不便である。ここでは、サブメニューボタンに移行しても必要に応じてメインメニューに戻ることができる形態について説明する。

すなわち、初期状態では、図１２Ａに示されるように、開始ボタン２１の一部は表示領域１１の外に表示され、また終了ボタン２２の一部も表示領域１１の外に表示される。この状態では、ユーザは開始ボタン２１の一部を見ることができず、また終了ボタン２２の一部も見ることができない。ここで、ユーザが各種処理の開始を指示したいと考えた場合、ユーザの頭部は自然と左を向くことになる。これによって、開始ボタン２１と終了ボタン２２は、頭部向きの変化方向（左方向）と略逆方向（右方向）に移動することになる。その結果、図１２Ｂに示されるように、開始ボタン２１の全部が表示領域１１に収まった後、図１２Ｃに示されるように、開始ボタン２１が表示領域１１の略中央まで移動すると、開始ボタン２１が選択される。このように開始ボタン２１が選択されると、図１２Ｄに示されるように、開始ボタン２１を中心としてサブメニューボタンが放射状に表示される。サブメニューボタンの一部は表示領域１１の外に表示され、この状態では、ユーザはサブメニューボタンの一部を見ることができない。

ここで、ユーザが映画を観たいと考えた場合、ユーザの頭部は自然と左上を向くことになる。これによって、サブメニューボタンは、頭部向きの変化方向（左上方向）と略逆方向（右下方向）に移動することになる。その結果、図１２Ｄに示されるように、映画ボタン２３の全部が表示領域１１に収まると、映画ボタン２３が選択される。一方、図１２Ｄに示される状態で、ユーザが各種処理の終了を指示したいと考えた場合、ユーザの頭部は自然と右を向くことになる。これによって、サブメニューボタン、開始ボタン２１、および終了ボタン２２は、頭部向きの変化方向（右方向）と略逆方向（左方向）に移動することになる。その結果、図１２Ｆに示されるように、終了ボタン２２の全部が表示領域１１に収まると、終了ボタン２２が選択される。もちろん、終了ボタン２２が選択されるタイミングは、終了ボタン２２の全部が表示領域１１に収まったときでなくてもよい。たとえば、終了ボタン２２の９割以上の部分が表示領域１１に収まったときでもよいし、あるいは、終了ボタン２２が表示領域１１の略中央まで移動したときでもよい。

以上のように、本発明の実施の形態１における表示装置によれば、ユーザは表示要素の一部を見ることができないことになるので、ユーザが表示要素を見ると自然とユーザの頭部も動くことになる。その結果、頭部向きの変化方向に表示されている表示要素が選択され、その選択された表示要素に関係する所定の処理が実行される。これによって、頭部向きの変化方向を検知するだけの低コストの構成を採用しながらも、高精度のハンズフリー操作が可能となる。たとえば、４つの動画像（表示要素１、表示要素２、表示要素３、表示要素４）を４つの表示要素としてＨＭＤに一度に表示する際、表示される４つの動画像のうち、ユーザが見ている１つの動画像のみを再生状態とし、ユーザが見ていない残り３つの動画像を一時停止状態とすることが可能となる。

なお、図３に示したＳ１０１からＳ１０５までの動作は、どちらが先に行われてもよい。例えば、表示要素を取得してから実際に表示する要素を決定してもよいし、境界表示位置を決定してから表示要素を決定してもよい。また、各ステップが繰り返し実行される場合、前回と同じ処理結果を採用するステップがあるときは、そのステップでは何の処理もしなくてよい。例えば、Ｓ１０８を実行後にＳ１０１を再実行するときは、表示要素を特に変更しなくてもよい。さらに、図３に示した各動作は、即時に次々と動作してもよいし、時間をおいて動作してもよいし、並行して動作してもよい。

なお、図３に示したＳ１０１からＳ１０８までの処理は、確率を伴う処理結果としてもよい。例えば、ある表示要素の境界表示状態を「２０％の確率で境界表示されている」と判定してもよいし、選択状態を「１５％の確率で選択されている」と判定してもよい。

なお、前記の説明では、表示要素が表示領域１１に収まると、その表示要素が選択されることとしているが、本発明はこれに限定されるものではない。すなわち、以下に説明するように、表示要素が選択枠内に収まると、その表示要素が選択されることとしてもよい。

図１３Ａ〜図１３Ｃは、選択枠Ｆを設けた場合の表示例を示す図である。この選択枠Ｆは、表示要素を選択するための枠である。すなわち、表示部１０９は、図１３Ａに示されるように、表示領域１１の所定位置（例えば中央）に選択枠Ｆを表示する。選択枠Ｆの表示位置は固定しておく。

ここで、ユーザが頭部を左に向けると、図１３Ｂに示されるように、開始ボタン２１と終了ボタン２２は、頭部向きの変化方向（左方向）と略逆方向（右方向）に移動することになる。その結果、図１３Ｃに示されるように、開始ボタン２１の全部が選択枠Ｆ内に収まると、開始ボタン２１が選択される。

以上のように、選択枠Ｆを用いる構成によっても、前記と同様の効果を得ることができる。しかも、選択枠Ｆという分かり易い手法によって表示要素を選択することができるので、より使い勝手がよくなるという効果がある。

なお、ここでは、開始ボタン２１の全部が選択枠Ｆ内に収まったときに開始ボタン２１が選択されることとしているが、表示要素を選択するタイミングはこれに限定されるものではない。すなわち、開始ボタン２１の所定割合以上の部分が選択枠Ｆ内に収まったときに開始ボタン２１が選択されるようにしてもよい。

図１４Ａ〜図１４Ｃは、選択枠Ｆを設けた場合の別の表示例を示す図である。図１３では、２つの表示要素の中から１つの表示要素を選択する場合を例示したが、図１４では、多数の表示要素の中から１つの表示要素を選択する場合を例示している。この場合、２つ以上の表示要素が同時に選択枠Ｆ内に収まってしまう不具合を回避しなければならない。そこで、選択枠Ｆの大きさは、１つの表示要素を包含することが可能な大きさで且つ２つ以上の表示要素を包含することが不可能な大きさとするのが好ましい。このような選択枠Ｆを用いると、多数の表示要素の中から１つの表示要素を簡便に選択することが可能となる。

なお、ここでは矩形の選択枠Ｆを例示しているが、選択枠Ｆの形状は特に限定されるものではなく、例えば円形の選択枠Ｆを採用してもよい。選択枠Ｆの色彩も特に限定されるものではなく、例えば透明の選択枠Ｆを採用してもよい。

なお、選択枠Ｆの内部領域および外部領域の一方または両方に色彩や模様を付加してもよい。この場合、色彩や模様の境界線を選択枠Ｆと考えることもできる。色彩や模様の透明度を低下させることによって、内部領域または外部領域をユーザが観察できないようにすることも可能である。

（実施の形態２）
前記実施の形態１では、表示装置としてＨＭＤを例示したが、本実施の形態２では、表示装置として大画面のテレビを例示する。以下、本実施の形態２を実施の形態１と異なる点を中心に説明する。

図１５は、本発明の実施の形態２における表示装置の使用状態を示す図である。大画面のテレビ５０は、本発明に係る表示装置の一例である。ユーザＵは、テレビ５０に表示されている映画を視聴している。テレビ５０に対する操作はハンズフリーで行うことができるようになっている。

図１６は、本発明の実施の形態２における表示装置の構成図である。この表示装置は、据え置き型の表示装置（例えばテレビ５０）であって、機能的には、表示要素決定部１０１と、表示要素取得部１０２と、境界表示決定部１０３と、検知部１０４と、選択部１１０と、実行部１０８と、表示部１０９とを備えている。

本実施の形態２における表示部１０９は、ユーザＵの頭部に装着されておらず、室内の壁などに設置されている。そのため、本実施の形態２における表示装置は、実施の形態１でいう表示位置変更部１０５を備えていない。表示位置変更部１０５が不要となる詳しい理由については後述する。その他の点については実施の形態１と同様である。

なお、表示部１０９の表示方式は、液晶でもプラズマでもよく特に限定されるものではない。また、図示は省略しているが、ユーザＵの頭部には角速度センサー（検知部１０４）が装着されているものとする。

図１７は、本発明の実施の形態２における表示装置の動作を示す図である。前記の通り、本実施の形態２における表示装置は、実施の形態１でいう表示位置変更部１０５を備えていない。従って、本実施の形態２では、実施の形態１でいう表示位置変更部１０５の動作（図３のＳ１０３に相当する動作）が不要となる。その他の点については実施の形態１と同様である。

図１８Ａ及び図１８Ｂは、本発明の実施の形態２における表示部１０９の状態遷移を示す図である。ボタン５１は、表示要素の一例であって、テレビ５０の音量を下げるためのボタンである。ボタン５２は、表示要素の一例であって、テレビ５０の音量を上げるためのボタンである。

図中、点線で示す範囲は、ユーザＵの中心視野を表している。図１８Ａに示されるように、ユーザＵが正面を向いている状態では、ユーザＵの中心視野の境界線をまたぐようにボタン５１およびボタン５２が表示される。この場合、ユーザＵの視聴位置をテレビ５０側で把握しておく必要があるが、その手法は特に限定されるものではない。例えば、カメラを室内に設置しておけば、このカメラで撮影した映像を解析することによってユーザＵの視聴位置を求めることができる。

図１８Ａに示される状態では、ユーザＵにはボタン５１およびボタン５２の一部がぼんやり見えている。ここで、ユーザＵがテレビ５０の音量を上げようと思った場合は、ボタン５２の全部を細部まで見ようとする意識が働き、頭部が自然と右を向くことになる。その結果、図１８Ｂに示されるように、ボタン５２の全部がユーザＵの視野に収まると、ボタン５２が選択される。

以上のように、本実施の形態２によっても、ユーザは表示要素の一部を見ることができないことになるので、ユーザが表示要素を見ると自然とユーザの頭部も動くことになる。これによって、頭部向きの変化方向を検知するだけの低コストの構成を採用しながらも、高精度のハンズフリー操作が可能となる。言い換えると、本発明は、据え置き型の表示装置に対しても適用することが可能である。

なお、本実施の形態２では、表示要素がユーザの視野の境界線をまたぐ場合についてのみ例示し、表示領域の境界線をまたぐ場合については例示していない。なぜなら、据え置き型の表示装置を採用した場合は、表示要素が表示領域の境界線をまたぐようにしても、ユーザの頭部が自然と動くことが期待できないからである。以下、この点について詳しく説明する。

図１９Ａ及び図１９Ｂは、ＨＭＤを装着しているユーザＵに見える表示領域１１を概念的に示す図である。ここでは、図１９Ａに示されるように、ユーザＵは、前方やや左側に表示領域１１を観察しているものと仮定する。

この場合、ユーザＵの頭部が動いても、図１９Ｂに示されるように、表示領域１１の相対的な位置は変化しない。そこで、実施の形態１では、あたかも窓１１から見える風景が変化するかのように、表示位置変更部１０５が表示領域１１中の表示要素を移動させていた。このようにすれば、表示領域１１の境界線をまたぐ表示要素を選択したい場合、その表示要素の方にユーザＵの頭部が自然と向くことになる。

それに対して、据え置き型の表示装置を採用した場合は、図１８に示したように、ユーザＵの頭部が動くと、それに応じてテレビ５０の相対的な位置が変化する。言い換えると、この場合のユーザＵは自然画像を観察しているだけである。そのため、表示装置側で表示要素の表示位置を変更する必要がなく、表示位置変更部１０５が不要となる。表示位置変更部１０５を備えない構成によると、頭部を動かしても表示要素の表示位置は変更されない。よって、表示領域１１の境界線をまたぐ表示要素があったとしても、その表示要素を選択するためにユーザＵの頭部が自然と動くという傾向が乏しくなるのである。

なお、本実施の形態２では、ユーザＵの頭部に装着されている角速度センサーを検知部１０４として例示したが、検知部１０４は、ユーザＵの頭部の動きを検知することができるものであればよい。例えば、カメラを室内に設置しておけば、このカメラで撮影した映像を解析することによってユーザＵの頭部の動きを検知することが可能である。この場合、ユーザＵの頭部には何も装着する必要がないので利便性が高まるというメリットがある。

なお、上記した各実施の形態は、記憶装置（ＲＯＭ、ＲＡＭ、ハードディスク等）に格納された上述した処理手順を実行可能な所定のプログラムデータが、ＣＰＵによって解釈実行されることで実現される。この場合、プログラムデータは、記録媒体を介して記憶装置内に導入されてもよいし、記録媒体上から直接実行されてもよい。なお、記録媒体は、ＲＯＭ、ＲＡＭ、フラッシュメモリ等の半導体メモリ、フレキシブルディスクやハードディスク等の磁気ディスクメモリ、ＣＤ−ＲＯＭやＤＶＤやＢＤ等の光ディスクやＳＤカード等のメモリカード等の記録媒体をいう。また、記録媒体は、電話回線や搬送路等の通信媒体も含む概念である。

本発明は、低コストの構成を採用しながらも高精度のハンズフリー操作を必要とするＨＭＤやＦＭＤやＨＵＤや眼鏡型ディスプレイや大画面テレビ等の用途に適用することができる。

図１は、本発明の実施の形態１における表示装置の外観図である。 図２は、本発明の実施の形態１における表示装置の構成図である。 図３は、本発明の実施の形態１における表示装置の動作を示す図である。 図４Ａは、本発明の実施の形態１における表示例を示す図である。 図４Ｂは、本発明の実施の形態１における表示位置管理表を示す図である。 図５Ａは、本発明の実施の形態１における表示例を示す図である。 図５Ｂは、本発明の実施の形態１における表示位置管理表を示す図である。 図６Ａは、本発明の実施の形態１における表示例を示す図である。 図６Ｂは、本発明の実施の形態１における表示位置管理表を示す図である。 図７Ａは、本発明の実施の形態１における表示部の状態遷移を示す図である。 図７Ｂは、本発明の実施の形態１における表示部の状態遷移を示す図である。 図７Ｃは、本発明の実施の形態１における表示部の状態遷移を示す図である。 図８Ａは、本発明の実施の形態１における表示部の別の状態遷移を示す図である。 図８Ｂは、本発明の実施の形態１における表示部の別の状態遷移を示す図である。 図８Ｃは、本発明の実施の形態１における表示部の別の状態遷移を示す図である。 図９Ａは、本発明の実施の形態１における表示部の別の状態遷移を示す図である。 図９Ｂは、本発明の実施の形態１における表示部の別の状態遷移を示す図である。 図９Ｃは、本発明の実施の形態１における表示部の別の状態遷移を示す図である。 図１０Ａは、本発明の実施の形態１における表示部の別の状態遷移を示す図である。 図１０Ｂは、本発明の実施の形態１における表示部の別の状態遷移を示す図である。 図１０Ｃは、本発明の実施の形態１における表示部の別の状態遷移を示す図である。 図１１Ａは、本発明の実施の形態１における表示部の別の状態遷移を示す図である。 図１１Ｂは、本発明の実施の形態１における表示部の別の状態遷移を示す図である。 図１１Ｃは、本発明の実施の形態１における表示部の別の状態遷移を示す図である。 図１１Ｄは、本発明の実施の形態１における表示部の別の状態遷移を示す図である。 図１１Ｅは、本発明の実施の形態１における表示部の別の状態遷移を示す図である。 図１１Ｆは、本発明の実施の形態１における表示部の別の状態遷移を示す図である。 図１２Ａは、本発明の実施の形態１における表示部の別の状態遷移を示す図である。 図１２Ｂは、本発明の実施の形態１における表示部の別の状態遷移を示す図である。 図１２Ｃは、本発明の実施の形態１における表示部の別の状態遷移を示す図である。 図１２Ｄは、本発明の実施の形態１における表示部の別の状態遷移を示す図である。 図１２Ｅは、本発明の実施の形態１における表示部の別の状態遷移を示す図である。 図１２Ｆは、本発明の実施の形態１における表示部の別の状態遷移を示す図である。 図１３Ａは、選択枠を設けた場合の表示例を示す図である。 図１３Ｂは、選択枠を設けた場合の表示例を示す図である。 図１３Ｃは、選択枠を設けた場合の表示例を示す図である。 図１４Ａは、選択枠を設けた場合の別の表示例を示す図である。 図１４Ｂは、選択枠を設けた場合の別の表示例を示す図である。 図１４Ｃは、選択枠を設けた場合の別の表示例を示す図である。 図１５は、本発明の実施の形態２における表示装置の使用状態を示す図である。 図１６は、本発明の実施の形態２における表示装置の構成図である。 図１７は、本発明の実施の形態２における表示装置の動作を示す図である。 図１８Ａは、本発明の実施の形態２における表示部の状態遷移を示す図である。 図１８Ｂは、本発明の実施の形態２における表示部の状態遷移を示す図である。 図１９Ａは、ＨＭＤを装着しているユーザに見える表示領域を概念的に示す図である。 図１９Ｂは、ＨＭＤを装着しているユーザに見える表示領域を概念的に示す図である。

符号の説明

１０１ 表示要素決定部
１０２ 表示要素取得部
１０３ 境界表示決定部
１０４ 検知部
１０５ 表示位置変更部
１０６ 境界表示判定部
１０７ 選択要素判定部
１０８ 実行部
１０９ 表示部
１１０ 選択部

Claims (18)

1. ユーザに対して情報を表示する表示装置であって、
   前記ユーザに対して表示される情報である表示要素を取得する取得手段と、
   取得された前記表示要素の表示位置として、その表示要素の一部を前記ユーザが見ることができない表示位置を決定する決定手段と、
   決定された前記表示位置に前記表示要素を表示する表示手段と、
   前記ユーザの頭部向きが変化すると、その変化方向を検知する検知手段と、
   検知された前記変化方向に表示されている前記表示要素を選択する選択手段と、
   選択された前記表示要素に関係する所定の処理を実行する実行手段と
   を備えることを特徴とする表示装置。
2. 前記表示装置は、さらに、
   検知された前記変化方向と略逆方向に前記表示要素が移動するように、前記表示要素の表示位置を変更する変更手段を備え、
   前記表示手段は、変更された前記表示位置に前記表示要素を表示する
   ことを特徴とする請求項１に記載の表示装置。
3. 前記選択手段は、前記表示要素の全部を前記ユーザが見ることができる状態になった場合、前記表示要素を選択する
   ことを特徴とする請求項１に記載の表示装置。
4. 前記選択手段は、前記表示要素の所定割合以上の部分を前記ユーザが見ることができる状態になった場合、前記表示要素を選択する
   ことを特徴とする請求項１に記載の表示装置。
5. 前記選択手段は、所定表示状態が所定時間以上継続した場合、前記表示要素を選択する
   ことを特徴とする請求項１に記載の表示装置。
6. 前記決定手段は、前記表示要素が前記ユーザの視野の境界線をまたぐように、前記表示要素の表示位置を決定する
   ことを特徴とする請求項１に記載の表示装置。
7. 前記決定手段は、前記表示要素が前記表示手段の表示領域の境界線をまたぐように、前記表示要素の表示位置を決定する
   ことを特徴とする請求項１に記載の表示装置。
8. 前記決定手段は、前記表示手段の表示領域左端に前記表示要素の右側一部が表示されるように、前記表示手段の表示領域右端に前記表示要素の左側一部が表示されるように、前記表示手段の表示領域上端に前記表示要素の下側一部が表示されるように、または、前記表示手段の表示領域下端に前記表示要素の上側一部が表示されるように、前記表示要素の表示位置を決定する
   ことを特徴とする請求項１記載の表示装置。
9. 前記表示装置は、さらに、
   検知された前記変化方向と略逆方向に前記表示要素が移動するように、前記表示要素の表示位置を変更する変更手段を備え、
   前記決定手段は、複数の前記表示要素の表示位置が変更された場合でも、選択される前記表示要素の数が１つとなるように、複数の前記表示要素の表示位置を決定する
   ことを特徴とする請求項１に記載の表示装置。
10. 前記検知手段は、前記ユーザの頭部に装着された角速度センサーからの出力に基づいて前記変化方向を検知する
    ことを特徴とする請求項１記載の表示装置。
11. 前記実行手段は、前記表示要素がボタンである場合、前記ボタンに割り当てられている処理を実行する
    ことを特徴とする請求項１に記載の表示装置。
12. 前記実行手段は、前記表示要素が動画像である場合、前記動画像の再生処理を開始する
    ことを特徴とする請求項１に記載の表示装置。
13. 前記表示手段は、前記表示要素を選択するための枠である選択枠を所定の表示位置に表示し、
    前記選択手段は、前記選択枠内に前記表示要素が収まった場合、前記表示要素を選択する
    ことを特徴とする請求項１に記載の表示装置。
14. 前記表示手段は、前記ユーザの頭部に装着される
    ことを特徴とする請求項１に記載の表示装置。
15. ユーザに対して情報を表示する表示装置の制御方法であって、
    前記ユーザに対して表示される情報である表示要素を取得する取得ステップと、
    取得された前記表示要素の表示位置として、その表示要素の一部を前記ユーザが見ることができない表示位置を決定する表示位置決定ステップと、
    決定された前記表示位置に前記表示要素を表示する表示ステップと、
    前記ユーザの頭部向きが変化すると、その変化方向を検知する検知ステップと、
    検知された前記変化方向に表示されている前記表示要素を選択する選択ステップと、
    選択された前記表示要素に関係する所定の処理を実行する実行ステップと
    を含むことを特徴とする表示装置の制御方法。
16. ユーザに対して情報を表示する表示装置を制御するためのプログラムであって、
    前記ユーザに対して表示される情報である表示要素を取得する取得ステップと、
    取得された前記表示要素の表示位置として、その表示要素の一部を前記ユーザが見ることができない表示位置を決定する表示位置決定ステップと、
    決定された前記表示位置に前記表示要素を表示する表示ステップと、
    前記ユーザの頭部向きが変化すると、その変化方向を検知する検知ステップと、
    検知された前記変化方向に表示されている前記表示要素を選択する選択ステップと、
    選択された前記表示要素に関係する所定の処理を実行する実行ステップと
    をコンピュータに実行させるためのプログラム。
17. ユーザに対して情報を表示する表示装置を制御するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    前記ユーザに対して表示される情報である表示要素を取得する取得ステップと、
    取得された前記表示要素の表示位置として、その表示要素の一部を前記ユーザが見ることができない表示位置を決定する表示位置決定ステップと、
    決定された前記表示位置に前記表示要素を表示する表示ステップと、
    前記ユーザの頭部向きが変化すると、その変化方向を検知する検知ステップと、
    検知された前記変化方向に表示されている前記表示要素を選択する選択ステップと、
    選択された前記表示要素に関係する所定の処理を実行する実行ステップと
    を含むことを特徴とする記録媒体。
18. ユーザに対して情報を表示する表示装置を制御するための集積回路であって、
    前記ユーザに対して表示される情報である表示要素を取得する取得手段と、
    取得された前記表示要素の表示位置として、その表示要素の一部を前記ユーザが見ることができない表示位置を決定する決定手段と、
    決定された前記表示位置に前記表示要素を表示する表示手段と、
    前記ユーザの頭部向きが変化すると、その変化方向を検知する検知手段と、
    検知された前記変化方向に表示されている前記表示要素を選択する選択手段と、
    選択された前記表示要素に関係する所定の処理を実行する実行手段と
    を備えることを特徴とする集積回路。

Images