JP5316453B2 - ヘッドマウントディスプレイおよびプログラム - Google Patents

Description

本発明は、シースルー型のヘッドマウントディスプレイに関するものである。

従来から、音声認識に関する提案がなされている。例えば、位置情報取得手段と、データベース選択手段と、音声認識手段とを備える音声認識装置が提案されている（例えば、特許文献１参照）。特許文献１の音声認識装置において、位置情報取得手段は、位置情報を取得する。データベース選択手段は、位置情報に対応付けられた、音声の特徴量に対応する文字情報を出力するデータベースを選択する。音声認識手段は、選択されたデータベースを用いて音声認識を行う。音声認識装置は、使用するデータベースが決定すると、音声入力を受け付け、音声認識を行う。そして、音声認識の結果である文字情報が、音声認識装置が備える表示部に表示される。

特開２００９−１７５６３０号公報

ところで、所定のオブジェクトに対して所望の情報を得ようとするとき、そのオブジェクトの指定に関し、オブジェクトを示す固有名詞を用いた指定は煩雑で困難な場合がある。例えば、固有名詞を示す文字数が長く、また発音しにくい場合がある。固有名詞による指定が困難な場合、固有名詞によって示されるオブジェクトを対象として、ユーザが要求した処理を好適に実行することができないおそれがある。なお、ユーザが、オブジェクトを示す固有名詞を知らない場合などについても、同様の問題が発生し得る。

本発明は、ユーザが視認している外界に含まれるオブジェクトを好適に指定し、このオブジェクトを対象として要求された処理を好適に実行することが可能なヘッドマントディスプレイおよびプログラムを提供することを目的とする。

上記従来の課題に鑑みなされた本発明の一側面は、ユーザの頭部に装着され、所定の画像を前記ユーザの眼に視認可能に提示し、前記画像を視認している前記ユーザが外界像を前記画像と重ねて視認可能なシースルー型のヘッドマウントディスプレイであって、前記画像を提示する画像提示手段と、前記ユーザの頭部に装着された状態の前記ヘッドマウントディスプレイの位置を示す第１位置情報と、前記ユーザの頭部に装着された状態の前記ヘッドマウントディスプレイが向いている方向を示す方向情報とを検出する検出センサと、所定のオブジェクトを示す提示情報と、前記オブジェクトの位置を示す第２位置情報とが関連付けられて記憶された所定の記憶手段にアクセスし、前記検出センサによって検出された前記第１位置情報および前記方向情報によって特定される所定の範囲に含まれる前記第２位置情報に対応付けられた前記提示情報を検索する検索手段と、前記検索手段によって検索された少なくとも１つの前記提示情報が、前記検出センサによって検出された前記第１位置情報および前記方向情報に対応して配置された提示画像を生成する画像生成手段と、前記画像提示手段から、前記画像生成手段によって生成された前記提示画像が提示されるように制御する画像提示制御手段と、前記ユーザが発声した音声を取得する音声取得手段と、前記音声取得手段によって取得された音声を認識し、認識された音声内容を表すデータに変換する音声認識手段と、前記音声認識手段によってデータ変換された音声内容から、指示代名詞と、所定の処理の実行に関する要求とを特定する第１特定手段と、前記画像提示制御手段によって提示された前記提示画像中の所定の部分に配置された前記提示情報を、前記第１特定手段によって特定された前記指示代名詞に対応する一の提示情報として特定する第２特定手段と、前記第２特定手段によって特定された前記一の提示情報を対象として、前記第１特定手段によって特定された前記要求についての前記所定の処理を実行する処理手段とを備えることを特徴とするヘッドマウントディスプレイである。

これによれば、指示代名詞でオブジェクトを指定することが可能で、指定されたオブジェクトを示す一の提示情報を特定し、これを対象とした所定の処理を実行させることができる。なお、「前記ユーザの頭部に装着された状態の前記ヘッドマウントディスプレイの位置」は、ヘッドマウントディスプレイを頭部に装着しているユーザの位置に一致する。また、「前記ユーザの頭部に装着された状態の前記ヘッドマウントディスプレイが向いている方向」は、ヘッドマウントディスプレイを頭部に装着しているユーザが向いている方向に一致する。

このヘッドマウントディスプレイは、次のような構成とすることもできる。すなわち、前記第２特定手段は、前記提示画像の水平方向の中心部分に配置された前記提示情報を、前記一の提示情報として特定することを特徴としてもよい。これによれば、提示画像の水平方向の中心部分に配置されている一の提示情報を、所定の処理の対象として特定することができる。

また、前記第２特定手段は、前記提示画像の水平方向および鉛直方向の中心部分に配置された前記提示情報を、前記一の提示情報として特定することを特徴としてもよい。これによれば、提示画像の水平方向および鉛直方向の中心部分、換言すれば、ユーザの向いている方向に配置されている一の提示情報を、所定の処理の対象として特定することができる。

また、前記処理手段は、前記第２特定手段によって特定された前記一の提示情報に関連する関連情報を特定し、前記関連情報を含む関連画像を生成し、前記画像提示制御手段は、前記画像提示手段から、前記処理手段によって生成された前記関連画像が提示されるように制御することを特徴としてもよい。これによれば、一の提示情報に関連する関連情報を提示することができる。
本発明の他の側面は、ユーザの頭部に装着され、所定の画像を前記ユーザの眼に視認可能に提示し、前記画像を視認している前記ユーザが外界像を前記画像と重ねて視認可能で、前記画像を提示する画像提示手段と、前記ユーザの頭部に装着された状態の前記ヘッドマウントディスプレイの位置を示す第１位置情報と、前記ユーザの頭部に装着された状態の前記ヘッドマウントディスプレイが向いている方向を示す方向情報とを検出する検出センサとを備えるシースルー型のヘッドマウントディスプレイを制御するコンピュータが実行可能なプログラムであって、前記コンピュータを、所定のオブジェクトを示す提示情報と、前記オブジェクトの位置を示す第２位置情報とが関連付けられて記憶された所定の記憶手段にアクセスし、前記検出センサによって検出された前記第１位置情報および前記方向情報によって特定される所定の範囲に含まれる前記第２位置情報に対応付けられた前記提示情報を検索する検索手段と、前記検索手段によって検索された少なくとも１つの前記提示情報が、前記検出センサによって検出された前記第１位置情報および前記方向情報に対応して配置された提示画像を生成する画像生成手段と、前記画像提示手段から、前記画像生成手段によって生成された前記提示画像が提示されるように制御する画像提示制御手段と、前記ユーザが発声した音声を取得する音声取得手段と、前記音声取得手段によって取得された音声を認識し、認識された音声内容を表すデータに変換する音声認識手段と、前記音声認識手段によってデータ変換された音声内容から、指示代名詞と、所定の処理の実行に関する要求とを特定する第１特定手段と、前記画像提示制御手段によって提示された前記提示画像中の所定の部分に配置された前記提示情報を、前記第１特定手段によって特定された前記指示代名詞に対応する一の提示情報として特定する第２特定手段と、前記第２特定手段によって特定された前記一の提示情報を対象として、前記第１特定手段によって特定された前記要求についての前記所定の処理を実行する処理手段として機能させるプログラムである。

本発明によれば、ユーザが視認している外界に含まれるオブジェクトを好適に指定し、このオブジェクトを対象として要求された処理を好適に実行することが可能なヘッドマントディスプレイおよびプログラムを得ることができる

ユーザの頭部に装着された状態のヘッドマウントディスプレイを示す図である。 ヘッドマウントディスプレイの機能ブロックを示す図である。 メイン処理のフローチャートである。 （ａ）は、ヘッドマウントディスプレイで視認される提示画像を示し、（ｂ）は、図４（ａ）の提示画像が重ねられた外界像を示す図である。 画像提示部の提示範囲における中心部分を説明する図である。 音声認識処理のフローチャートである。

本発明を実施するための実施形態について、図面を用いて以下に詳細に説明する。本発明は、以下に記載の構成に限定されるものではなく、同一の技術的思想において種々の構成を採用することができる。例えば、以下に示す構成の一部は、省略しまたは他の構成などに置換してもよい。また、他の構成を含むようにしてもよい。

（ヘッドマウントディスプレイ）
ヘッドマウントディスプレイ（以下、「ＨＭＤ」ともいう。）１０は、図１に示すようにユーザの頭部に装着され、このユーザに所定の画像を提示する。ユーザは提示された所定の画像を視認する。ＨＭＤ１０は、例えば眼鏡のフレームに類似した形状のフレーム１０２を有し、ユーザの頭部に装着される。ユーザの左眼の前方には、後述する構成が内蔵された筐体１０４が設置されている。筐体１０４は、所定の方法（ネジ止めや所定の係合機構を用いるなど）でフレーム１０２に取り付けられている。筐体１０４には、ハーフミラー１０６が取り付けられている。

ＨＭＤ１０は、筐体１０４内に図２に示される構成を内蔵している。すなわち、ＨＭＤ１０は、ＣＰＵ２２と、ＲＯＭ２４と、ＲＡＭ２６とを備える。また、ＨＭＤ１０は、画像提示部２８と、ＧＰＳ（Global Positioning System）３４と、方位・傾きセンサ３２と、地理情報データベース（以下、「地理情報ＤＢ」ともいう。）３６とを備える。さらに、ＨＭＤ１０は、マイク３８と、辞書データベース（以下、「辞書ＤＢ」ともいう。）４０と、操作部４２とを備える。

ＣＰＵ２２は、ＨＭＤ１０で実行される各種の処理を制御する。ＲＯＭ２４は、ＨＭＤ１０で実行される各種の処理のためのプログラムなどを記憶する。ＲＯＭ２４は、例えばプログラムＲＯＭおよびフラッシュＲＯＭを含む。ＲＡＭ２６は、ＣＰＵ２２が所定の処理を実行するとき作業領域として利用される。画像提示部２８は、ＣＰＵ２２が所定の処理を実行することで生成された所定の画像をユーザに提示する。画像提示部２８は、例えば、網膜走査型のディスプレイを用いて構成することができる。網膜走査型のディスプレイで画像が提示される際には、まず、所定の画像を表す画像光が２次元方向に走査される。そして、その走査された画像光は、ハーフミラー１０６でユーザの左眼方向に反射されて、ユーザの左眼に導かれる。そして、外界像を表す外界光の一部も、ハーフミラー１０６を透過し、ユーザの左眼に導かれる。すなわち、ユーザは、画像光を外界光に重畳した状態で視認する。走査された画像光が網膜上に投影されることで、所定の画像が形成される。画像提示部２８は、この他、液晶ディスプレイ、有機ＥＬ（Organic Electroluminescence）ディスプレイその他の装置を用いた構成としてもよい。

方位・傾きセンサ３２は、図１に示すようにユーザの頭部に装着された状態のＨＭＤ１０が向いている方位を検出する。また、このユーザの頭部に装着された状態のＨＭＤ１０の傾きを検出する。すなわち、方位・傾きセンサ３２は、現在、ユーザの頭部に装着された状態のＨＭＤ１０が向いている方向（図１の「ＨＭＤ方向」参照）を検出する。傾きの検出について、例えば図１では、ＨＭＤ１０は水平な状態となっており、検出される傾きは０°となる。傾きは、例えば加速度センサによって検出することも可能である。方位は、例えば磁気センサなどによって検出することも可能である。方位・傾きセンサ３２が加速度センサおよび磁気センサを含むような構成とすることもできる。ＧＰＳ３４は、ユーザの頭部に装着された状態のＨＭＤ１０が、現在、存在している位置の緯度と経度とで構成される位置情報を検出する。なお、ＨＭＤ１０が向いている方位は、ユーザが向いている方位とみなすことができる。ＨＭＤ１０の傾きは、ユーザの頭部の傾きとみなすことができる。すなわち、ＨＭＤ１０が向いている方向は、ユーザが向いている方向とみなすことができる。また、ＨＭＤ１０が存在している位置は、ユーザが存在している位置とみなすことができる。

地理情報ＤＢ３６は、地理的情報が登録されたデータベースである。例えば、オブジェクトを示す提示情報、そのオブジェクトが存在する位置の緯度と経度とで構成される位置情報と、そのオブジェクトに関する画像（写真）データ、そのオブジェクトに関する説明情報などが関連付けて記憶されている。オブジェクトを示す提示情報には、例えばオブジェクトの名称が含まれる。また、オブジェクトには、例えば、観光スポットなどの所定の場所または建造物、ショップ、道路（街道）などが含まれる。なお、以下の説明では、オブジェクトを示す提示情報として、オブジェクトの名称を例に説明する。

マイク３８は、ユーザが発声した音声の入力を受ける。なお、入力された音声は電気信号に変換される。辞書ＤＢ４０は、マイク３８に入力された音声に対する音声認識によってデータ変換された音声内容を解析（例えばテキスト解析）などするためのデータベースである。操作部４２は、ユーザからの指令を受け付ける。操作部４２は、例えば所定のキーなどによって構成される。

ＨＭＤ１０では、ＣＰＵ２２が、ＲＯＭ２４に記憶された、例えば図３に示すメイン処理のためのプログラムと、図６に示す音声認識処理のためのプログラムとをＲＡＭ２６上で処理することで、所定の機能が実行される。その際、ＣＰＵ２２は、方位・傾きセンサ３２、ＧＰＳ３４、マイク３８によって検出されたデータ、地理情報ＤＢ３６、辞書ＤＢ４０に登録されたデータなどを使用する。また、ＣＰＵ２２は、画像提示部２８を制御する。これによって、所定の機能手段が実現される。

（メイン処理）
ＨＭＤ１０では、図３に示すメイン処理が実行される。この処理は、ユーザが操作部４２を操作し、この処理の開始を指令した場合に開始される。この処理を開始したＣＰＵ２２は、図６に示す音声認識処理を開始する（Ｓ１００）。すなわち、ＣＰＵ２２は、メイン処理と並行して音声認識処理を実行する。音声認識処理については後述する。

次に、ＣＰＵ２２は、方位・傾きセンサ３２で検出された方位および傾きによって特定される方向情報と、ＧＰＳ３４で検出された位置情報とを取得する（Ｓ１０２）。なお、Ｓ１０２で検出された方位と傾きと位置とに基づけば、ユーザの頭部に装着された状態のＨＭＤ１０が、どの位置でどの方向を向いているかを特定することができる。具体的に、ＧＰＳ３４で北緯「４２°」、西経「７５°」が検出され、方位・傾きセンサ３２によって方位「北」および傾き「１５°」（仰角をプラスとする。）が検出された場合、ユーザの頭部に装着された状態のＨＭＤ１０は、北緯４２°、西経７５°の位置で、かつ１５°仰角した状態で北の方向を向いていることが特定される。

Ｓ１０２を実行した後、Ｓ１０４でＣＰＵ２２は、地理情報ＤＢ３６にアクセスする。そして、ＣＰＵ２２は、Ｓ１０２で取得された方向情報と位置情報とを条件として、ユーザの頭部に装着された状態のＨＭＤ１０が存在している位置で、ＨＭＤ１０が向いている方向の所定の範囲に存在しているオブジェクトの名称を、地理情報ＤＢ３６から検索する。Ｓ１０４で実行される検索における所定の範囲は、例えば画像提示部２８で画像を提示することができる範囲である提示範囲（画角範囲）２８２（図４参照）に対応して決定されている。例えば、Ｓ１０２で、方位「北」、傾き「１５°」、北緯「４２°」、西経「７５°」が検出されていた場合、人間が北緯４２°、西経７５°の位置で、頭部を１５°仰角した状態で北の方角を向いたときに視認できる範囲の内、画像提示部２８の提示範囲に対応した範囲であって、ＨＭＤ１０から所定の距離以内（例えば、視点高さ１６０ｃｍにおける地平線までの距離である４．５ｋｍ以内）が所定の範囲となる。そして、その特定された範囲に含まれる緯度と経度とで構成される位置情報に対応付けて地理情報ＤＢ３６に登録されているオブジェクトの名称が検索される。

また、Ｓ１０４でＣＰＵ２２は、検索されたオブジェクトの名称が、ＧＰＳ３４によって検出された位置情報と、方位・傾きセンサ３２によって検出された方向情報とに対応して配置された提示画像を生成する。例えば、図４（ａ）に示すような、所定のビル名、橋名、道路名（街道名）および河川名を含む提示画像が生成される。さらに、Ｓ１０４でＣＰＵ２２は、生成された提示画像が画像提示部２８から提示されるように制御する。Ｓ１０２で取得した方向情報と位置情報とを用いた検索では、地理情報ＤＢ３６からいずれのオブジェクトの名称も検索されなかった場合、Ｓ１０４でＣＰＵ２２は、オブジェクトの名称を含まないブランク状態の提示画像（ブランク画像）を生成する。そして、ＣＰＵ２２は、画像提示部２８からブランク画像が提示されるように制御する。

Ｓ１０４が実行されたときユーザは、例えば図４（ｂ）に示すように、図４（ａ）の提示画像が重ねられた外界像を視認する。なお、図４（ａ），（ｂ）において、破線で示された四角形領域は、画像提示部２８の提示範囲２８２を示すものである。提示画像は、この提示範囲２８２に一致するサイズで生成される。

Ｓ１０６でＣＰＵ２２は、提示範囲２８２に提示されている提示画像がオブジェクトの名称を含むかについて判断する。判断の結果、提示画像がオブジェクトの名称を含まない、すなわちＳ１０４でブランク画像が提示されていた場合、ＣＰＵ２２は判断を否定し（Ｓ１０６：Ｎｏ）、処理をＳ１０８に移行する。一方、提示画像がオブジェクトの名称を含む、すなわちＳ１０４で図４（ａ）に示すような提示画像が提示されていた場合、その判断を肯定し（Ｓ１０６：Ｙｅｓ）、処理をＳ１１０に移行する。

Ｓ１０８でＣＰＵ２２は、変数「Ｆｌａｇ」を、オブジェクトの名称が含まれていないことを示す「ｆａｌｓｅ」に設定する。なお、「ｆａｌｓｅ」は、例えばＲＡＭ２６の所定の領域に記憶される。そして、ＣＰＵ２２は、処理をＳ１０２に戻し、再度、Ｓ１０２以降の処理を実行する。Ｓ１１０でＣＰＵ２２は、提示画像の中心部分に配置されているオブジェクトの名称を取得し、これを例えばＲＡＭ２６の所定領域に記憶する。本実施形態では、図５に示すように、提示範囲２８２の水平方向（左右方向）の中心をとおる鉛直な中心線Ｃ１から水平方向に一定の距離離れた直線Ｌ１，Ｌ２と、鉛直方向（上下方向）の中心をとおる水平な中心線Ｃ２から鉛直方向に一定の距離離れた直線Ｌ３，Ｌ４によって囲まれる範囲Ｓ１に提示される提示画像の部分が、中心部分に設定されている。なお、直線Ｌ１，Ｌ２の間隔は、提示範囲２８２の水平方向の幅の、例えば３分の１以下となるように設定されている。また、直線Ｌ３，Ｌ４の間隔は、提示範囲２８２の鉛直方向の幅の、例えば３分の１以下となるように設定されている。図４（ｂ）に示す例によれば、Ｓ１１０では、オブジェクトの名称として「ＡＡＡビル」が取得され、これがＲＡＭ２６の所定の領域に記憶される。なお、図５に示す範囲Ｓ２，Ｓ３については後述する。

Ｓ１１０を実行した後、Ｓ１１２でＣＰＵ２２は、変数「Ｆｌａｇ」を、オブジェクトの名称が含まれていることを示す「ｔｒｕｅ」に設定し、処理をＳ１１４に移行する。なお、「ｔｒｕｅ」は、例えばＲＡＭ２６の所定の領域に記憶される。Ｓ１１４でＣＰＵ２２は、操作部４２を介して、この処理の終了を示す終了トリガが入力されたかについて判断する。判断の結果、終了トリガが入力されていない場合（Ｓ１１４：Ｎｏ）、ＣＰＵ２２は、処理をＳ１０２に戻し、再度、Ｓ１０２以降の処理を実行する。一方、終了トリガが入力された場合（Ｓ１１４：Ｙｅｓ）、ＣＰＵ２２は、この処理を終了する。

（音声認識処理）
ＨＭＤ１０では、図６に示す音声認識処理が実行される。この処理は、図３に示すメイン処理のＳ１００で開始され、メイン処理と並列して実行される。この処理を開始したＣＰＵ２２は、マイク３８に入力されたユーザが発声した音声を取得する（Ｓ２００）。そして、Ｓ２０２でＣＰＵ２２は、取得した音声を対象として音声認識を行い、取得された音声を、音声認識された音声内容を表すデータ（任意のフォーマットでよいが、例えば、ＡＳＣＩＩ，Ｕｎｉｃｏｄｅ，ＥＵＣなどの文字コードを用いたテキスト）に変換する。また、Ｓ２０２でＣＰＵ２２は、変換された音声内容を解析し、音声内容から、一の意味内容を有するセンテンスを１つまたは複数抽出する。Ｓ２０２でＣＰＵ２２は、辞書ＤＢ４０にアクセスし、これを参照して音声認識およびセンテンスの抽出を実行する。

Ｓ２０２を実行した後、ＣＰＵ２２は、Ｓ２０２によってセンテンスが抽出されたかについて判断する。判断の結果、センテンスが抽出されていない場合（Ｓ２０４：Ｎｏ）、ＣＰＵ２２は、処理をＳ２００に戻し、再度、Ｓ２００以降の処理を実行する。一方、センテンスが抽出された場合（Ｓ２０４：Ｙｅｓ）、ＣＰＵ２２は、抽出されたセンテンスに特定の指示代名詞が含まれているかについて判断する（Ｓ２０６）。ここで、特定の指示代名詞には、例えば場所を示す指示代名詞である「ここ」、「そこ」または「あそこ」などが含まれる。Ｓ２０６でＣＰＵ２２は、辞書ＤＢ４０にアクセスし、これを参照する。例えば、抽出されたセンテンスが、「ＡＡＡビルについて教えて」または「ＡＡＡビルの訪問日時を記憶」などであった場合、Ｓ２０６の判断は否定される（Ｓ２０６：Ｎｏ）。一方、抽出されたセンテンスが「ここについて教えて」または「ここの訪問日時を記憶」であった場合、Ｓ２０６の判断は肯定される（Ｓ２０６：Ｙｅｓ）。

Ｓ２０６の判断の結果、特定の指示代名詞が含まれていない場合（Ｓ２０６：Ｎｏ）、ＣＰＵ２２は、処理をＳ２１４に移行する。一方、指示代名詞が含まれている場合（Ｓ２０６：Ｙｅｓ）、ＣＰＵ２２は、図３に示すメイン処理のＳ１０８またはＳ１１２で設定され、ＲＡＭ２６の所定の領域に記憶された変数「Ｆｌａｇ」の値を判断する（Ｓ２０８）。判断の結果、変数「Ｆｌａｇ」が「ｔｒｕｅ」ではない、すなわち「ｆａｌｓｅ」である場合（Ｓ２０８：Ｎｏ）、ＣＰＵ２２は、処理をＳ２００に戻し、再度、Ｓ２００以降の処理を実行する。一方、変数「Ｆｌａｇ」が「ｔｒｕｅ」である場合（Ｓ２０８：Ｙｅｓ）、ＣＰＵ２２は、処理をＳ２１０に移行する。なお、「Ｆｌａｇ」が「ｔｒｕｅ」である状態は、図３に示すメイン処理のＳ１０４で生成され提示された提示画像にオブジェクトの名称が含まれていた状態である（図３のＳ１０６：Ｙｅｓ，Ｓ１１２参照）。一方、「Ｆｌａｇ」が「ｆａｌｓｅ」である状態は、図３に示すメイン処理のＳ１０４で生成され提示された提示画像がブランク画像であって、オブジェクトの名称が含まれていない状態である（図３のＳ１０６：Ｎｏ，Ｓ１０８参照）。

Ｓ２１０でＣＰＵ２２は、図３に示すメイン処理のＳ１１０でＲＡＭ２６の所定の領域に記憶されたオブジェクトの名称を取得する。そして、ＣＰＵ２２は、Ｓ２０２の音声認識によって抽出されたセンテンスに含まれる特定の指示代名詞を、Ｓ２１０で取得したオブジェクトの名称に置き換える（Ｓ２１２）。さらに、Ｓ２１２でＣＰＵ２２は、新たなセンテンスを生成する。例えば、図３のＳ１１０でオブジェクトの名称として、「ＡＡＡビル」がＲＡＭ２６に記憶され、かつＳ２０２で抽出されたセンテンスが、「ここについて教えて」または「ここの訪問日時を記憶」である場合、ＣＰＵ２２は、指示代名詞「ここ」を「ＡＡＡビル」に置き換える。そして、ＣＰＵ２２は、「ＡＡＡビルについて教えて」または「ＡＡＡビルの訪問日時を記憶」といった新たなセンテンスを生成する。すなわち、Ｓ２１２でＣＰＵ２２は、Ｓ２０６の判断が否定される場合（Ｓ２０６：Ｎｏ）と同一のセンテンスを生成する。そして、ＣＰＵ２２は、処理をＳ２１４に移行する。

Ｓ２１４でＣＰＵ２２は、Ｓ２０２で抽出され、Ｓ２０６の判断が否定（Ｓ２０６：Ｎｏ）されたセンテンスまたはＳ２１２で生成されたセンテンスを対象として、解析を行い、センテンスによって指示された要求を特定する。この際、ＣＰＵ２２は、この解析によって、対象のセンテンスに含まれるオブジェクトの名称についても特定する。Ｓ２１４でＣＰＵ２２は、辞書ＤＢ４０にアクセスし、これを参照してこの解析を実行する。

例えば、センテンスが「ＡＡＡビルについて教えて」または「ＡＡＡビルの訪問日時を記憶」である場合、ＣＰＵ２２は、オブジェクトの名称として「ＡＡＡビル」を特定する。また、センテンスが「ＡＡＡビルについて教えて」である場合、ＣＰＵ２２は、指示された要求が「ＡＡＡビル」に関する情報の提示であることを特定する。一方、センテンスが「ＡＡＡビルの訪問日時を記憶」である場合、ＣＰＵ２２は、指示された要求がオブジェクトの名称「ＡＡＡビル」に対応付けて現在の日時（年月日および時分秒）を記憶することを特定する。

そして、ＣＰＵ２２は、Ｓ２１４で特定されたオブジェクトの名称を対象として、同じくＳ２１４で特定された要求を実行する（Ｓ２１６）。例えば、センテンスが「ＡＡＡビルについて教えて」である場合、ＣＰＵ２２は、地理情報ＤＢ３６にアクセスし、オブジェクトの名称「ＡＡＡビル」を用いて地理情報ＤＢ３６を検索する。そして、ＣＰＵ２２は、オブジェクトの名称「ＡＡＡビル」に関連付けられた画像（写真）データおよび／または説明情報などを取得し、取得した画像データおよび／または説明情報などを含む関連画像を生成する。ＣＰＵ２２は、生成した関連画像が提示画像に代わって画像提示部２８から提示されるように制御する。具体的に、ＣＰＵ２２は、ＡＡＡビルの内部を示す画像、最上階から展望できる景色画像などを含む関連画像が提示されるように制御する。また、ＣＰＵ２２は、ＡＡＡビルが建築された年月、高さ、内部に出店されている店舗情報などを含む関連画像が提示されるように制御する。さらに、ＣＰＵ２２は、景色画像および建築された年月、高さなどを含む関連画像が提示されるように制御する。ユーザは、これらを視認する。

また、センテンスが「ＡＡＡビルの訪問日時を記憶」である場合、図１には図示されていないタイマから現在の日時を取得し、オブジェクトの名称「ＡＡＡビル」に対応付けて現在時刻を例えばＲＯＭ２４に記憶する。ユーザは、後日、ＡＡＡビルを訪問した日時を思い出すことができる。Ｓ２１６を実行した後、ＣＰＵ２２は、処理をＳ２００に戻し、再度、Ｓ２００以降の処理を実行する。なお、この処理は、図３に示すメイン処理の終了（図３のＳ１１４：Ｙｅｓ）にともない終了する。Ｓ２０２、Ｓ２０６およびＳ２１４では、従来から提案されている音声認識技術および解析（例えば、テキスト形式のデータを用いる場合、テキスト解析）技術が用いられる。

以上説明した本実施形態のＨＭＤ１０によれば、特定の指示代名詞で、ユーザが視認している外界像に含まれるオブジェクトを指定することが可能で（図３のＳ１１０，Ｓ１１２、図６のＳ２０６，Ｓ２０８：Ｙｅｓ，Ｓ２１０，Ｓ２１２）、指定されたオブジェクトの名称を特定し（図６のＳ２１４）、これを対象とした所定の処理を実行させることができる（図６のＳ２１６）。なお、本実施形態のＨＭＤ１０では、図３に示すメイン処理のＳ１０４でオブジェクトの名称が検索された場合、同じくＳ１０４で生成され提示される提示画像には、検索されたオブジェクトの名称が含まれる。そのため、この提示画像に含まれるオブジェクトの名称によっても、外界像に含まれるオブジェクトを指定することが可能で（図６のＳ２０６：Ｎｏ）、これを対象とした所定の処理を実行させることができる（図６のＳ２１６）。

（変形例）
本実施形態の構成は、次のようにすることもできる。

（１）上記では、ＨＭＤ１０が、地理情報ＤＢ３６と、辞書ＤＢ４０とを備える構成を例に説明した。そして、ＣＰＵ２２は、図３に示すメイン処理のＳ１０４と、図６に示す音声認識処理のＳ２０２，Ｓ２０６，Ｓ２１４で、地理情報ＤＢ３６および／または辞書ＤＢ４０にアクセスすることとした。この他、地理情報ＤＢ３６および／または辞書ＤＢ４０を、ＨＭＤ１０とは別体のサーバなどの外部装置の記憶領域に記憶させた構成としてもよい。この場合、ＨＭＤ１０は、所定の通信手順を実行するための通信手段を備える。ＣＰＵ２２は、前述の各処理においてこの通信手段を制御し、外部装置にアクセスし、所定のデータ、情報などを取得する。

（２）上記では、図３に示すメイン処理のＳ１０４で、画像提示部２８の提示範囲に対応して特定された範囲に含まれる緯度と経度とで構成される位置情報に対応付けて地理情報ＤＢ３６に登録されているオブジェクトの名称が検索される構成を例に説明した。この他、Ｓ１０４では、ユーザが頭部をわずかに動かした場合を考慮し、画像提示部２８の提示範囲２８２より広い、人間の一般的な視野範囲を所定の範囲として特定する構成としてもよい。この場合、Ｓ１０４では、人間の視野範囲に対応した、画像提示部２８の提示範囲２８２より広い提示画像が生成される。そして、ユーザの頭部が動いた場合、ＣＰＵ２２は、提示範囲２８２より広い提示画像の範囲内で、頭部の動きに対応させて画像提示部２８から提示される範囲をずらすように制御する。

また、地理情報ＤＢ３６に登録された提示情報について、オブジェクトの名称を例とし、Ｓ１０４では、オブジェクトの名称を含む提示画像が提示される構成を例に説明した。この他、地理情報ＤＢ３６に、オブジェクトの名称などに関連付けて、提示情報として、そのオブジェクトを示すアイコンが登録された構成としてもよい。この場合、Ｓ１０４でＣＰＵ２２は、地理情報ＤＢ３６にアクセスし、Ｓ１０２で取得された方向情報と位置情報とを条件として、ユーザの頭部に装着されたＨＭＤ１０が存在している位置で、このＨＭＤ１０が向いている方向の所定の範囲に存在しているオブジェクトを示すアイコンを、上記同様に検索する。そして、ＣＰＵ２２は、検索されたアイコンが上記同様に配置された提示画像を生成する。Ｓ１０６でＣＰＵ２２は、提示画像はアイコンを含むかについて判断する。Ｓ１０８でＣＰＵ２２は、提示画像の中心部分に配置されているアイコンに関連付けられたオブジェクトの名称を、地理情報ＤＢ３６から取得し、記憶する。

（３）上記では、図３に示すメイン処理のＳ１１０で提示画像の中心部分が、図５に示す範囲Ｓ１に設定された構成を例に説明した。この他、提示画像の中心部分は、提示画像の水平方向の中心部分を含む領域としてもよい。すなわち、図５に基づけば、直線Ｌ１と直線Ｌ２との間の範囲であって、範囲Ｓ１と、その上下に配置された範囲Ｓ２，Ｓ３とによる範囲に提示される提示画像の部分としてもよい。

（４）上記では、図６に示す音声認識処理のＳ２１４で、対象となるセンテンスが、Ｓ２１２で新たに作製されたセンテンスである場合についても、再度、解析によってオブジェクトの名称を特定する構成を例に説明した。この他、対象となるセンテンスが、Ｓ２１２で新たに作製されたセンテンスである場合、Ｓ２１４でＣＰＵ２２は、オブジェクトの名称を、図３のＳ１１０でＲＡＭ２６に記憶され、Ｓ２１０で取得されたオブジェクトの名称によって特定するようにしてもよい。

１０ ＨＭＤ
２２ ＣＰＵ
２４ ＲＯＭ
２６ ＲＡＭ
２８ 画像提示部
３２ 方位・傾きセンサ
３４ ＧＰＳ
３６ 地理情報ＤＢ
３８ マイク
４０ 辞書ＤＢ

Claims (5)

1. ユーザの頭部に装着され、所定の画像を前記ユーザの眼に視認可能に提示し、前記画像を視認している前記ユーザが外界像を前記画像と重ねて視認可能なシースルー型のヘッドマウントディスプレイであって、
   前記画像を提示する画像提示手段と、
   前記ユーザの頭部に装着された状態の前記ヘッドマウントディスプレイの位置を示す第１位置情報と、前記ユーザの頭部に装着された状態の前記ヘッドマウントディスプレイが向いている方向を示す方向情報とを検出する検出センサと、
   所定のオブジェクトを示す提示情報と、前記オブジェクトの位置を示す第２位置情報とが関連付けられて記憶された所定の記憶手段にアクセスし、前記検出センサによって検出された前記第１位置情報および前記方向情報によって特定される所定の範囲に含まれる前記第２位置情報に対応付けられた前記提示情報を検索する検索手段と、
   前記検索手段によって検索された少なくとも１つの前記提示情報が、前記検出センサによって検出された前記第１位置情報および前記方向情報に対応して配置された提示画像を生成する画像生成手段と、
   前記画像提示手段から、前記画像生成手段によって生成された前記提示画像が提示されるように制御する画像提示制御手段と、
   前記ユーザが発声した音声を取得する音声取得手段と、
   前記音声取得手段によって取得された音声を認識し、認識された音声内容を表すデータに変換する音声認識手段と、
   前記音声認識手段によってデータ変換された音声内容から、指示代名詞と、所定の処理の実行に関する要求とを特定する第１特定手段と、
   前記画像提示制御手段によって提示された前記提示画像中の所定の部分に配置された前記提示情報を、前記第１特定手段によって特定された前記指示代名詞に対応する一の提示情報として特定する第２特定手段と、
   前記第２特定手段によって特定された前記一の提示情報を対象として、前記第１特定手段によって特定された前記要求についての前記所定の処理を実行する処理手段とを備えることを特徴とするヘッドマウントディスプレイ。
2. 前記第２特定手段は、前記提示画像の水平方向の中心部分に配置された前記提示情報を、前記一の提示情報として特定することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
3. 前記第２特定手段は、前記提示画像の水平方向および鉛直方向の中心部分に配置された前記提示情報を、前記一の提示情報として特定することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
4. 前記処理手段は、前記第２特定手段によって特定された前記一の提示情報に関連する関連情報を特定し、前記関連情報を含む関連画像を生成し、
   前記画像提示制御手段は、前記画像提示手段から、前記処理手段によって生成された前記関連画像が提示されるように制御することを特徴とする請求項１から請求項３のいずれか１項に記載のヘッドマウントディスプレイ。
5. ユーザの頭部に装着され、所定の画像を前記ユーザの眼に視認可能に提示し、前記画像を視認している前記ユーザが外界像を前記画像と重ねて視認可能で、前記画像を提示する画像提示手段と、前記ユーザの頭部に装着された状態の前記ヘッドマウントディスプレイの位置を示す第１位置情報と、前記ユーザの頭部に装着された状態の前記ヘッドマウントディスプレイが向いている方向を示す方向情報とを検出する検出センサとを備えるシースルー型のヘッドマウントディスプレイを制御するコンピュータが実行可能なプログラムであって、
   前記コンピュータを、
   所定のオブジェクトを示す提示情報と、前記オブジェクトの位置を示す第２位置情報とが関連付けられて記憶された所定の記憶手段にアクセスし、前記検出センサによって検出された前記第１位置情報および前記方向情報によって特定される所定の範囲に含まれる前記第２位置情報に対応付けられた前記提示情報を検索する検索手段と、
   前記検索手段によって検索された少なくとも１つの前記提示情報が、前記検出センサによって検出された前記第１位置情報および前記方向情報に対応して配置された提示画像を生成する画像生成手段と、
   前記画像提示手段から、前記画像生成手段によって生成された前記提示画像が提示されるように制御する画像提示制御手段と、
   前記ユーザが発声した音声を取得する音声取得手段と、
   前記音声取得手段によって取得された音声を認識し、認識された音声内容を表すデータに変換する音声認識手段と、
   前記音声認識手段によってデータ変換された音声内容から、指示代名詞と、所定の処理の実行に関する要求とを特定する第１特定手段と、
   前記画像提示制御手段によって提示された前記提示画像中の所定の部分に配置された前記提示情報を、前記第１特定手段によって特定された前記指示代名詞に対応する一の提示情報として特定する第２特定手段と、
   前記第２特定手段によって特定された前記一の提示情報を対象として、前記第１特定手段によって特定された前記要求についての前記所定の処理を実行する処理手段として機能させるプログラム。

Images