WO2016203654A1

WO2016203654A1 - ヘッドマウントディスプレイ装置およびそれを用いた視覚補助方法

Info

Publication number: WO2016203654A1
Application number: PCT/JP2015/067791
Authority: WO
Inventors: 大西　邦一
Original assignee: 日立マクセル株式会社
Priority date: 2015-06-19
Filing date: 2015-06-19
Publication date: 2016-12-22
Also published as: US20210168351A1; CN107636514A; US11350081B2; US20180152694A1; US11606548B2; JP6507241B2; JPWO2016203654A1; US20230199164A1; US10951882B2; US20220256138A1; CN111175978B; CN107636514B; CN111175978A

Abstract

ヘッドマウントディスプレイ（ＨＭＤ）を用い、使用者にとって違和感や不快感が生じない良好な遠近感を確保し、かつ使用者の視認能力の差異やばらつきに影響されず良好な視認状態で外部情景を視認できる視覚補助システムを提供することを目的とする。　上記目的を達成するために、ＨＭＤに付属した外部情景撮影用電子カメラで撮影した外部情景映像を、使用者の視認能力に応じた最適な視認距離を有する虚像映像として使用者の左右眼前に配置された映像表示スクリーンに投影表示する。この際、外部情景映像の虚像内に映し出されている各対象物映像に対して、各対象物の実距離から算出される所定の換算距離に基づき、左右の映像表示スクリーンに投影表示される虚像映像に所定の両眼視差や所定の映像ぼかしを付加するよう虚像映像に加工処理を施すことで、使用者が外部情景の虚像映像に対して違和感や不快感が無い良好な遠近感を感じるようにできる。

Description

ヘッドマウントディスプレイ装置およびそれを用いた視覚補助方法

　本発明は、ウェアラブル型の情報表示システム、特に使用者の頭部に装着し使用者の眼前に所定の映像情報を表示する機能を備えたヘッドマウントディスプレイ装置（以下、ＨＭＤと記す）およびその応用システムに関する。

　近年、使用者の頭部に装着するゴーグル型や眼鏡型のいわゆるＨＭＤによる情報映像表示装置が急速に普及しつつある。

　このＨＭＤは、使用者から見て所定の視認距離を有する虚像を投影する機能を備えており、この機能を用いて必要な情報映像を使用者に虚像として提示することができる。

　一方、人間の視認能力には個々に差異やばらつきがある。例えば、一般に近視の人は、本や新聞など比較的近い距離にある物を視る場合には健常な視認能力と大差は無いが、視認対象が遠く離れるほど急速に視認能力が低下する特性を持ち、逆に遠視の人は、遠距離よりも近距離での視認能力が低いという特性がある。

　さらに昨今の高齢化社会を反映して急激に対象人口が増えている中高年齢層では、中間距離では比較的良好な視認能力は確保されている一方で、近距離および遠距離での視認能力は急速に低下してしまう。すなわち、一般に、若年者に比べある程度以上の視認能力を確保できる視認距離範囲が狭まる傾向にある。これがいわゆる老眼である。

　このような各個人ごとの視認能力の差異やばらつきを考慮して、例えば、特開２０００－８９１５７号公報（特許文献１）では、使用者の視認能力に合わせて適正な視認距離を有する虚像を投影できるよう虚像視認距離を可変できるＨＭＤ構成が開示されている。

特開２０００－８９１５７号公報

　前記特許文献１に開示されているような虚像の視認距離を可変できる機能を備えたＨＭＤを利用すれば、例えば使用者が視ている外部情景をビデオカメラ等で撮影しておき、その撮影外部情景映像を使用者の視認能力に最も適した視認距離を有する虚像として投影表示することで、使用者ごとの視認能力の差異やばらつきに関係なく、使用者にとって常に良好な視認状態で外部情景を視ることができるようになる。よって、あたかも使用者ごとに最適化された視覚矯正眼鏡のような視覚補助機能をＨＭＤに持たせることができる。

　しかしながら、上記のように単純に撮影視野内の全ての対象物映像を同じ虚像位置に投影してしまうと、外部情景を肉眼視した場合に感得する対象物の遠近感感覚が全て抜け落ちてしまい、平板な映像としてしか視認できないので、肉眼視した情景に比較して著しい違和感が生じてしまう。

　本発明の目的は、上記のような問題に鑑みてなされたものであって、ＨＭＤを用いて肉眼視同様の遠近感を保持しつつ同時に良好な視認性能を確保できる高い機能性を持った視覚補助システムを提供することにある。

　上記課題を解決するため、本発明は例えば請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、使用者の頭部に装着し眼前に情報映像を表示するヘッドマウントディスプレイ装置であって、使用者の直接視認視野を含む視野領域で外部情景を撮影する外部情景撮影器と、使用者の眼前に別個に配置された左眼用および右眼用映像表示スクリーン上の各々に外部情景撮影器によって撮影された外部情景映像を所定の視認距離を有する左眼用および右眼用虚像映像として投影表示する虚像投影器と、使用者から外部情景撮影器によって撮影された外部情景映像内に映しこまれている対象物までの実距離を検知する視野内対象物距離検知器と、視野内対象物距離検知器で検知された対象物の実距離情報に基づき、左眼用および右眼用虚像映像に所定の処理を施すことにより遠近感を付加した虚像映像を生成する遠近感映像生成器と、を備えた構成とする。

　本発明によれば、ＨＭＤを用いて遠近感を保持しつつ個々の視認能力に合わせて良好な視認性能を確保できる視覚補助システムを実現することができる。

本発明の前提となるＨＭＤおよびその応用システムの概要を示した斜視図である。本発明の前提となる虚像投影の説明図である。本発明の前提となる注視対象物までの実距離と肉眼視の相対視力の関係を示した線図である。実施例１におけるＨＭＤ応用視覚補助システムのブロック構成図である。実施例１における虚像の両眼視差を説明するための概要平面図である。実施例１における両眼視差を与えた虚像の一例を示した概要正面図である。実施例１における注視対象物までの実距離と対象物を肉眼視した実像に対する相対視力および虚像の相対視力の関係を示した線図である。実施例１における注視対象物までの実距離と虚像内の対象物映像に与える視覚上の換算距離の関係を示す線図である。実施例１における処理フローを示したフローチャートである。実施例２におけるＨＭＤ応用視覚補助システムのブロック構成図である。実施例３におけるＨＭＤ応用視覚補助システムのブロック構成図である。実施例４におけるＨＭＤ応用視覚補助システムのブロック構成図である。

　以下、図面を用いて本発明の実施例について説明する。

　まず、本発明の前提となるＨＭＤおよびその応用システムの概要について説明する。図１は、ＨＭＤおよびその応用システムの概要を示した斜視図である。以下、ＨＭＤ応用システムは、使用者の肉眼での視認性能を補償する視覚補助システムとして説明する。

　図１において、ＨＭＤ１は使用者２０の頭部に装着されている。そして、ＨＭＤ１は、使用者２０の左右両眼前に配置された非透明な映像表示スクリーン（映像表示装置）２に所定の映像を投影表示する機能を備えた、いわゆるビデオシースルー型ＨＭＤである。すなわち、少なくともＨＭＤ１が動作状態の時、映像表示スクリーン２は不透明状態になっているため、使用者２０は肉眼で外部視認することは出来ず映像表示スクリーン２に投影される映像のみを視認するようになっている。

　また、ＨＭＤ１には、映像表示スクリーン２に加え、使用者の肉眼周辺に配置された外部情景撮影用電子カメラ３が具備されている。外部情景撮影用電子カメラ３は、ＨＭＤ１を装着した使用者２０の視線方向とほぼ同一の方向から外部情景を撮影するように設置されており、使用者２０の肉眼視野とほぼ同等もしくはより広い視野で外部情景を撮影できる機能、すなわち直接視認視野を含む視野領域で外部情景を電子映像情報として撮影する機能を備え、かつ使用者の肉眼による視認性能に比べて充分に高い撮影性能（解像度、ＭＴＦなど）を備えている。また電子カメラ３は、肉眼視による被写界深度に比べ充分に深い被写界深度を備えていてもよい。

　なお、電子カメラ３には、撮影視野内の所定対象物に自動的にピントを合わすことができるオートフォーカス機能も具備されている。ピントを合わす対象物としては、撮影視野の中央にある対象物としてもよいし、例えば後述するように使用者の視線方向を検知する何らかの視線検知装置を配備し、その視線方向にある対象物にピントを合わせるようにしてもよい。また撮影視野内にあって使用者からの距離が異なる複数の対象物に対して順次ピントを合わせた複数の映像情報を撮影、蓄積しておき、これらを合成することで、近距離から遠距離の広い距離レンジにわたってピントが合ったいわゆる「パンフォーカス」または「ディープフォーカス」と呼ばれる映像を生成する装置を備えていてもよい。

　更に電子カメラ３には、使用者２０の指示に応じて所定の拡大率でズームアップして外部情景を撮影する機能を備えていてもよい。

　またＨＭＤ１には、外部情景撮影用電子カメラ３で撮影された視野内の各対象物までの距離を測定する測距機能が備わっている。この測距機能の具体的実施手段としては、電子カメラ３のオートフォーカス機能を利用してもよいし、一定距離だけ離間して配置された２個の電子カメラでそれぞれ独立に撮影された対象物映像の視差から距離を検出する手法を用いてもよい。さらには、赤外線あるいは超音波等を用いた測距センサを別途設ける等所定の測距機能を実現できる手段であればどのような手段を用いても構わない。

　以上のように撮影あるいは生成された外部情景映像は、ＨＭＤ1に具備された虚像投影器を用いて映像表示スクリーン２に虚像として投影表示される。

　この時、例えば図２（ａ）に示す交通標識のような比較的遠距離にある対象物３０を注視している場合や、あるいは逆に図２（ｂ）に示す新聞あるいは本などのように比較的近距離にある対象物４０を注視している場合でも、使用者と注視対象物間の距離の大小に関わらず使用者にとって最も良好な視認性能が得られる適正な視認距離ｃを有する虚像３１や４１を投影表示する。これにより、使用者は、肉眼視同様の外部情景を注視対象物３０や４０等の実距離ｄ、ｄ’の大小に伴う使用者２０の視認能力の差異やばたつきに関係なく、常に良好な視認状態で視認することができる。

　ところで、上記した虚像の適正視認距離ｃは以下のように決定すればよい。図３は、注視対象物までの実距離と対象物を肉眼で視認したときの相対視力（対象物視認性能の相対値）の関係をグラフ化した例である。（以下、このようなグラフを相対視力特性図と記す。）両グラフとも横軸には注視対象物までの実距離を、縦軸には距離１ｍ離れた対象物を健常な視力の人が肉眼視した場合の視力を１．０とした場合の相対視力値を取っている。一般に健常な視力での肉眼視の場合、相対視力特性図は各図中の破線１００に示すようにほぼ実距離に対して反比例の関係になる。

　これに対して図３（ａ）中の実線１０１は、近視の人の相対視力特性図の一例を示している。近視の人は対象物間の距離が比較的近い場合は健常な相対視力との差異は小さいが、距離が離れるに従って相対視力が急速に低下する傾向にある。そこで使用者がこのような近視の視力特性を持つ場合は、例えば健常な視力特性での相対視力１．０と同等の相対視力を確保できる点Ｐの対象物実距離（図３（ａ）の例では０．８ｍ）を上記した虚像の適正視認距離ｃとすればよい。

　一方、遠視の人は、図には示さないが、比較的遠距離では健常な相対視力と同等以上の相対視力を持つ一方で、近距離での相対視力は健常な相対視力に比べ顕著に低下する傾向にある。そこで使用者がこのような遠視の視力特性を持つ場合においても、健常な視力特性とほぼ同等の相対視力を確保できる対象物距離（比較的遠距離にある）を虚像の適正視認距離ｃとすればよい。

　更に、図３（ｂ）中の実線は老眼の人の相対視力特性図の一例を示している。老眼視の場合は近距離、遠距離とも健常視力に比べ低下する傾向にあり、中距離近辺（図３（ｂ）の例では０．８ｍ～１．０ｍ）に相対視力が最良となる点Ｑが存在する。そこで、このＱ点の対象物実距離を虚像の適正視認距離ｃとすればよい。

　なお、以上述べた虚像の適正視認距離ｃの決定手法は一例に過ぎず、本実施例は上記の決定手法に限定されるものではない。人間の相対視力特性には、個人差や年齢差、さらには周囲の環境の影響など様々な要因によって大きな差異やばらつきがある。本実施例における虚像の適正視認距離ｃについては、使用者それぞれの視認能力に応じて任意に決めても一向に構わない。

　さらに、表示スクリーン２と使用者２０の眼球の間に所定の視覚補助眼鏡レンズを装着することで、任意の視認距離を適正視認距離にするよう使用者側の視力を矯正する構成にしても一向に構わない。

　なお、上記のように投影される虚像の視認距離を各使用者の適正視認距離に任意に合わせられるようにする為には、虚像の視認距離を適切に可変、調整できる機能が備わっている必要があるが、これには、例えば前記特許文献１に記載されている構成のように、虚像を生成する光学系の少なくとも一部を光軸に沿って機械的に移動させる装置を設けるなど公知の虚像視認距離可変手段を用いればよい。

　以上のような構成を用いることで、使用者はその視認能力の差異やばらつきに関わりなく、良好に外部情景や視認対象物を視認できる高機能性視覚補助システムとしてＨＭＤを活用することができる。

　しかしながら、以上述べたような手法でＨＭＤを視覚補助システムとして活用する場合、以下に示すような重大な問題が生じる怖れがある。

　すなわち、上記のように撮影された外部情景映像を使用者の適正視認距離に合わせて虚像として投影表示した場合、確かに使用者は注視対象物の遠近に関わらず常に良好な視認状態で外部情景を視認することはできるが、反面、視野内の全ての対象物映像が同一の視認距離に虚像表示されるため、各対象物の実距離の大小に伴う遠近感感覚が完全に欠落してしまい平面的な情景としか認識できなくなってしまう。このため使用者は肉眼視に比べて遠近感が欠落することに伴う著しい違和感や不快感が生じてしまう。

　そこで、撮影された外部情景映像を適正視認距離に合わせて虚像を投影することで良好な視認状態を保持しつつ、使用者が外部情景を肉眼視した場合に感じる遠近感を出来るだけ忠実に再現し、使用者から違和感や不快感を払拭させる新たな虚像表示方法または装置が必要である。以下ではその具体的な実施例について説明する。

　図４に本実施例のＨＭＤ応用視覚補助システムのブロック構成図を示す。以下このブロック構成図各部の機能について説明する。

　図４において、外部情景撮影用電子カメラ３で撮影された外部情景映像情報は、視野内対象物距離検知器１０および遠近感映像生成器１１に送られる。

　視野内対象物距離検知器１０では、撮影された外部情景映像内に写しこまれている各対象物の実距離（使用者から対象物までの実際の距離）を検知する機能を備えている。なお、図４の例では、撮影された映像もしくは撮影用電子カメラ３自体に具備されている測距機能を用いて上記距離情報を検知する例を示しているが、勿論前述したように、対象物の距離情報検知には、電子カメラ３以外に専用の測距センサまたは測距装置を用いても一向に構わない。このような場合は、当然前記視野内対象物距離検知器１０は前記測距センサまたは測距装置からの情報信号を受け取るように構成される。なお、電子カメラ３で撮影された映像情報は、必要に応じて視野内対象物距離検知器１０で検知された各対象物の距離情報を付帯した形でメモリ１２内に格納される。

　遠近感映像生成器１１は、本実施例の視覚補助システムの核心部分であり、電子カメラ３で撮影された外部情景映像情報と視野内対象物距離検知器１０で検知された各対象物の距離情報、さらには必要に応じてメモリ１２から抽出された所定の映像情報等を用いて、ＨＭＤ使用者２０の左右眼前に配置された映像表示スクリーン２に各々独立に投影表示される遠近感を持った虚像映像を生成する機能を備えている。なお、この遠近感映像生成器１１における遠近感付与機能の詳細については、後ほど詳細に説明する。

　遠近感映像生成器１１で生成された表示映像は映像表示制御器１３に送られる。この映像表示制御器１３は、遠近感映像生成器１１から送られてきた表示映像をＨＭＤ１内にある投影スクリーン２上に適正に虚像投影するためＨＭＤ１内に具備されている虚像投影装置を制御する機能を備えている。

　更に、この映像表示制御器１３は、虚像の視認距離を所定の距離に可変、調整できるように虚像投影装置内に具備されている虚像生成用光学系の制御を行う機能を備えていてもよい。

　なお、以上述べた、外部情景撮影用電子カメラ３、視野内対象物距離検知器１０、遠近感映像生成器１１、メモリ１２、映像表示制御器１３の各々は、制御器１４により、その機能や動作が適正に制御されている。

　前記したように、図４中の各ブロックの中で遠近感映像生成器１１が本実施例の核心部であり、ここで左右の映像表示スクリーン２に各々独立に投影表示される虚像映像に所定の加工処理が施され、使用者２０から視て所定の遠近感が感じられる虚像映像が生成される。以下ではその遠近感生成の具体的実施例について説明する。

　まず、人が虚像を視認する場合に、その虚像に遠近感を感じさせるためには、以下の３要素が必須となる。　
　（１）両眼視差
　（２）距離に応じた虚像のぼかし
　（３）両眼の輻輳に伴う違和感の緩和

　まず（１）の両眼視差とは、観測者から対象物までの距離に応じて左右それぞれの眼で見える映像（虚像）の位置に面内方向の差異を生じさせることをいう。図５にその一例を示す。今、ＨＭＤ１を装着している使用者２０から該使用者の真正面にある注視実対象物５０までの実距離をｄとし、ＨＭＤ１によりその左右の投影スクリーン２上に投影される対象物５０の虚像５１および５２の視認距離をｃとする。また使用者の両眼の間隔をＷとする。この時、使用者が実対象物５０の虚像５１および５２を視て実対象物５０自体と同様の遠近感を感じるためには、少なくとも実対象物５０と使用者の左右両眼をそれぞれ結んだ直線（図中の破線）と視認距離ｃだけ離れた虚像視認面との交点位置に、左右それぞれの眼で見た実対象物５０の虚像５１および５２が投影されなければならない。

　つまり図６のように、左目における実対象物５０の虚像５１は、虚像中心よりΔｘだけ右側にずれた位置に投影され、右目における虚像５２は、虚像中心よりΔｘだけ左側にずれた位置に投影されなければならない。

　この左右の虚像の相対ずれ量Δｘは、一般に前記実距離ｄおよび虚像視認距離ｃ、観測者両眼の間隔Ｗを用いて以下の式で表される。　
　　　　　　Δｘ＝（Ｗ／２）×（１－ｃ／ｄ）　　　……（１）
　このように、相対ずれ量Δｘは、観測者（本実施例の場合はＨＭＤ使用者）から注視対象物までの距離に応じて略反比例する、左右両眼に投影される虚像映像に所定の面内方向ずれ（視差）を与えることにより、観測者が遠近感を感じるための一助とすることができる。

　次に（２）の距離に応じた虚像のぼかしとは、前記したように人間の視認能力は対象物までの距離にほぼ反比例する事を考慮して、投影された虚像内の個々の対象物映像にその対象物の実距離に応じてその虚像映像に所定の「ぼかし」を付与することをいう。

　図７にその一例を示す。この図は図３と同じく人の相対視力特性を示したもので、図の横軸、縦軸は図３と同様である。前記のように、対象物を直接肉眼視した実像に対する相対視力は、図中の破線１００で示すように、その対象物の実距離にほぼ反比例して低下する。

　一方、カメラで撮影された情景を虚像で見る場合は、虚像の視認位置が対象物の遠近に関わらず一定であるため、対象物の虚像映像に対する相対視力は、図中の実線２００のように、その対象物実距離に関係なく一定値になってしまう。これが虚像の遠近感感覚阻害の大きな要因となっている。

　そこで、あらかじめ虚像で投影される映像内に映し出されている各対象物映像に、その対象物の実距離情報に略比例した量の「ぼかし」を付与することで、同一の視認距離にある虚像であっても肉眼視による実像に対する相対視力特性曲線１００に近づけ、この相対視力特性効果により観測者が遠近感を感じるための一助とすることができる。

　なおこの際、使用者が注視している対象物に対する視認性を最も良好にするため、その注視対象物の実距離における相対視力が最も適正になるように、対象物の実距離に対応する「ぼかし」量を適当に調整しても構わない。

　また上記の注視対象物の特定については、使用者の肉眼視野にほぼ一致させた撮影視野内の中央にある対象物を使用者の注視対象物と特定してもよいし、後述するように使用者の視線方向を検知しその視線方向にある対象物を注視対象物と特定しても構わない。

　最後に（３）の両眼の輻輳による違和感の緩和とは、以下のような内容である。両眼の輻輳とは、特に近距離の対象物を直接視認する場合、その対象物に両眼の焦点を合わせようとするために両眼の眼球が互いに内側に回りこむ運動（内転運動）のことをいう。この眼球の内転動作を脳が検知する事によっても、人は対象物の遠近感をある程度検知している。この輻輳は、対象物が数十ｃｍ程度以内のごく近距離にある場合に顕著に起こる。一方で人が虚像を見る場合、その人の眼の焦点はあくまで虚像の視認距離に合っている。このため視認距離が数十ｃｍ程度以上の離れたところにある虚像を視認する場合には、顕著な輻輳は起こらない。しかし、対象物が観測者のごく近距離にある場合、前記した両眼視差や距離応じた虚像のぼかし等により恣意的に与えられた虚像の遠近感と上記輻輳から検知される距離感に乖離が生じ、観測者に大きな違和感や不快感が生じてしまう。

　本実施例の目的は、このような観測者（ＨＭＤ使用者）の違和感や不快感を払拭する事にある。そこで本実施例においては、対象物の実距離とその対象物の虚像映像に与える視覚上の換算距離に所定の補正をかける手法を提案する。

　図８はその一例を示した図である。この図は注視対象物までの実距離と本実施例において、虚像内の各対象物映像に与える視覚上の換算距離の関係（以下、この関係を距離換算特性と記す。）をプロットしたグラフである。

　本来、対象物までの実距離（横軸）と虚像内の対象物映像に与える視覚上の換算距離（縦軸）は厳密に一致している事が理想である。すなわち前記距離換算特性は、図８中の破線１１０のように傾き（比例係数）が１.０の直線関係にあることが理想である。しかしながら、前記したように、このような正しい距離関係を保持してしまうと、特に近距離領域において、上記したような虚像に恣意的に付与された遠近感と輻輳から検知される距離間に大きな乖離が生じてしまう。

　そこで本実施例では、中距離、遠距離領域においては本来の正しい距離関係を示す直線１１０に沿いつつ、所定のポイントＲ（図の例では実距離１ｍ）より近距離の領域では、対象物までの実距離変化量に対する虚像映像に与える視覚上距離の変化量の比例係数をその対象物実距離が減少するのに応じて１.０から徐々に増加させていき、例えば図中の実線２１０に示すような曲線上の距離換算特性で換算距離を算出する機能を、視野内対象物距離検知器１０または遠近感映像生成器１１内に具備している。

　そして以上のようにして算出した換算距離に基づき、遠近映像生成器１１において、左眼用および右眼用映像表示スクリーン２に夫々投影される左眼用および右眼用の虚像映像に付与される両眼視差量や距離に応じた像のぼかし量を算出し、それらを付与するように映像の加工処理を実施する。そのような処理を施すことで、虚像映像に恣意的与えられた遠近感との前記輻輳との乖離が低減され、観測者（ＨＭＤ使用者）に与える違和感や不快感を良好に払拭することができる。

　ところで、このように近距離領域で実距離の変化量に対する虚像映像に与える視覚上距離の変化量の比例係数を１.０から徐々に減少させていくと、当然その領域では実際の対象物の遠近感に対する虚像映像の遠近感の忠実性が劣化してしまう。しかしながら、特に近距離対象物を注視する場合は、本や新聞等を読む場合のように、その対象物だけを集中的に注視するケースがほとんどで、周囲の情景との遠近感が気になる状況は稀である。したがって対象物の遠近感に対する忠実性を確保するよりも、観測者（ＨＭＤ使用者）の違和感や不快感を出来るだけ払拭する方が視覚矯正システムとしての実用性は高い。

　なお、図８に示した距離換算特性２１０は、あくまで一例であって、当然本実施例はこれに限定されるものではない。使用者個人の特性や嗜好、あるいは周囲の環境や状況に応じて距離換算特性の変曲ポイントＲの位置（実距離）やＲより近距離側での距離換算特性曲線の形状は任意に設定して構わない。所定の距離ポイントより近距離側で、対象物の実距離よりも虚像映像に与える視覚上の換算距離の方が所定量または所定比率だけ大きくなるような距離換算特性であればどのような特性であっても構わない。

　以上述べたように、（１）両眼視差、（２）距離に応じた虚像のぼかし、（３）両眼の輻輳に伴う違和感の緩和をもたらすように使用者の左右眼前に配置されたＨＭＤ１の投影スクリーン２に投影される各映像に所定の処理を施すことにより、使用者は虚像の遠近感に対して違和感や不快感を生じることなく、かつ良好な視認特性で外部情景を視認することができる。

　次に、図９のフローチャートを用いて、本実施例である視覚補助システムの処理フローについて説明する。図９において、まずステップ１（Ｓ１）では、外部情景撮影用電子カメラ３から所定の映像情報を逐次取得する。次のステップ２では、撮影視野内の各対象物の実距離情報を取得する。次のステップ３では、ステップ２で取得した各対象物の実距離情報を用い、前記した距離換算特性に従って、輻輳対策として、虚像内の各対象物映像に与える視覚上換算距離を算出する。次のステップ４では、ステップ３で換算した虚像の視覚上換算距離に基づき、左右両眼の虚像映像に与える「両眼視差量」を例えば前記（１）式に従って算出する。

　同様にステップ５では、ステップ３で換算した前記虚像の視覚上換算距離に基づき、各対象物の虚像映像に与えるべき所定の「ぼかし量」を算出する。

　次のステップ６では、ステップ４およびステップ５で算出した「両眼視差量」や「ぼかし量」などの遠近感構築パラメータを用い、ステップ１で取得した映像情報に加工を施すことで、ＨＭＤ１内にある左右の映像表示スクリーン２の各々に投影するための虚像映像を生成する。

　最後にステップ７では、ＨＭＤ１内にある左右の各映像表示スクリーン２にステップ６で加工、生成された左右の虚像映像が投影表示され、続くステップ８において、上記一連の処理フローを継続するか否かが判定される。もし判定結果が“Ｙｅｓ”であれば、改めてステップ１に戻り、判定結果が“Ｎｏ”であれば、一連の処理フローを終了する。

　ところで、以上の処理フローが終了すると、使用者２０の眼前に配置された映像表示スクリーン２には映像は何も映らない状態になる。この映像表示スクリーン２は基本的には不透明であるので、何も映っていない状態では外部情景を肉眼で視認することも困難となるためＨＭＤをはずさないと大変危険である。そこで例えば、この映像表示スクリーン２を液晶型調光ガラスなどで構成し、電圧のＯＮ／ＯＦＦによって透明状態と不透明状態を切り替えることができるようにしておく。これにより、視覚補助システムとしての機能が動作状態の時は、不透明の映像表示スクリーンとして機能し、前記システムの動作がＯＦＦになると自動的に映像表示スクリーン２が透明または半透明状態になって肉眼で外部情景が視認できるようになり、常時ＨＭＤを装着しておいても安全である。

　なお、図４に示した本実施例のＨＭＤ応用視覚補助システムは、各ブロック構成部分がＨＭＤ１と一体となっていてもよいし、別体でもよい。また、虚像の適正視認距離Cは、可変できるようにユーザが設定してもよい。

　以上のように、本実施例は、使用者の頭部に装着し眼前に情報映像を表示するヘッドマウントディスプレイ装置であって、使用者の直接視認視野を含む視野領域で外部情景を撮影する外部情景撮影器と、使用者の眼前に別個に配置された左眼用および右眼用映像表示スクリーン上の各々に外部情景撮影器によって撮影された外部情景映像を所定の視認距離を有する左眼用および右眼用虚像映像として投影表示する虚像投影器と、使用者から外部情景撮影器によって撮影された外部情景映像内に映しこまれている対象物までの実距離を検知する視野内対象物距離検知器と、視野内対象物距離検知器で検知された対象物の実距離情報に基づき、左眼用および右眼用虚像映像に所定の処理を施すことにより遠近感を付加した虚像映像を生成する遠近感映像生成器と、を備えた構成とする。

　また、使用者の頭部に装着し眼前に情報映像を表示するヘッドマウントディスプレイ装置の映像表示方法であって、使用者の視野領域で外部情景映像を撮影し、使用者から外部情景映像内に映しこまれている対象物までの実距離を検知し、撮影された外部情景映像を使用者の眼前に別個に配置された左眼用および右眼用映像表示スクリーン上の各々に所定の視認距離を有する左眼用および右眼用虚像映像として投影表示し、左眼用および右眼用虚像映像は、検知された対象物の実距離情報に基づき遠近感が付加される構成とする。

　これにより、ＨＭＤを用いて遠近感を保持しつつ個々の視認能力に合わせて良好な視認性能を確保できる視覚補助システムを実現することができる。

　図１０に本実施例のＨＭＤ応用視覚補助システムのブロック構成図を示す。このブロック図において、図４のブロック図と同じ構成要素には同じ番号を付しており、その説明は省略する。

　本実施例では、図４に示した実施例１の構成要素に加え、使用者２０の視線方向を検知するための視線方向検知器１５と、この視線方向検知器１５から得られた視線方向と電子カメラ３で撮影された外部情景映像から使用者が現在注視している対象物を検知、特定する注視対象物検知器１６が具備されている。そして、この注視対象物検知器１６で検知、特定された注視対象物が最も良好な視認性で視認できるよう虚像映像に付与される「ぼかし量」を調整し、遠近感映像生成器１１にて左右の映像表示スクリーン２に投影するための虚像映像を生成する。

　このような構成をとることにより、使用者がその視野の中央から外れたところにある対象物を注視している場合でも、適正な視認特性でその注視対象物の虚像を視ることができる。

　図１１に本実施例のＨＭＤ応用視覚補助システムのブロック構成図を示す。このブロック図において、図４および図１０のブロック図と同じ構成要素には同じ番号を付しており、その説明は省略する。

　本実施例では、図４に示した実施例１の構成要素に加え、使用者２０が発する音声を検知するための集音マイク１７と、この集音マイク１７で集音された使用者２０の音声を分析して、使用者２０が発した言語の内容を認識する音声認識器１８が具備されている。

　本実施例においては、例えば、使用者２０が発する「拡大」あるいは「ズームアップ」等何らかのキーワードを検知すると、そのキーワードを前記音声認識器１８で認識し、外部情景撮影用電子カメラ３での撮影映像を所定の拡大率でズームアップする機能を設けてもよい。　
　あるいは、前記システム内に別途文字認識器や所定の言語自動翻訳器を設け、「翻訳」等のキーワードを検知、認識すると、撮影視野内にある英単語や英文あるいは難読漢字などを自動翻訳して、その翻訳結果を表示スクリーン２に映し出される虚像映像に重畳表示する機能を設けてもよい。

　このように使用者の音声を検知、認識する装置を設けることで、使用者はＨＭＤに関する様々な機能を音声のみで操作でき、完全なフリーハンド操作が可能となる。

　図１２に本実施例のＨＭＤ応用視覚補助システムにおけるブロック構成図を示す。このブロック図において、図４、図１０および図１１のブロック図と同じ構成要素には同じ番号を付しており、その説明は省略する。

　本実施例では、図４に示した実施例１の構成要素に加え、本実施例の視覚補助システムを装着した使用者２０の視力を自動的に計測する機能を備えた小型の自動視力測定器（オートレフラクトメーター）６０と、この自動視力測定装置６０で検知された使用者２０の視力から、該使用者にとって最も良好な視認性を確保できる虚像視認距離を算出する最適虚像視認距離算出器６１を具備している。そして、この最適虚像視認距離算出器６１で算出された最適虚像視認距離情報が、遠近感映像生成器１１および映像表示制御器１３に送られ、最適虚像視認距離を有しかつ使用者に違和感や不快感を与えない良好な遠近感を保持した虚像映像が生成され、かつ映像表示スクリーンに投影表示されるよう映像表示制御器１３を通じてＨＭＤ１内にある虚像生成用光学系が自動調整される。

　このような構成をとることにより、使用者２０が本視覚補助システムを装着する都度、その使用者の視力を自動計測し、使用者にとって最適な視認性能を得られる虚像視認距離になるように虚像位置を自動調整することができる。

　本実施例は、ＨＭＤ応用視覚補助システムにおける遠近感映像生成器１１の処理を外部処理として、ＨＭＤ応用視覚補助システムの処理負担を軽減する例について説明する。

　実施例１の図４で説明したように、遠近感映像生成器１１は、電子カメラ３で撮影された外部情景映像情報と視野内対象物距離検知器１０で検知された各対象物の距離情報、さらには必要に応じてメモリ１２から抽出された所定の映像情報等を用いて、ＨＭＤ使用者２０の左右眼前に配置された映像表示スクリーン２に各々独立に投影表示される遠近感を持った虚像映像を生成する機能を備えており、前記したように、（１）両眼視差、（２）距離に応じた虚像のぼかし、（３）両眼の輻輳に伴う違和感の緩和をもたらすように使用者の左右眼前に配置されたＨＭＤ１の投影スクリーン２に投影される各映像に所定の処理を施す処理を行う。そのため、遠近感映像生成器１１の処理は、例えばプログラム負荷や処理速度負荷が大きく、ＨＭＤ応用視覚補助システムを例えば、ＨＭＤ１と一体化して軽量化を図ろうとした場合にネックとなる場合が考えられる。

　そのため、遠近感映像生成器１１の処理を外部処理として、例えば、外部情景映像情報や対象物の距離情報をネットワークでクラウドに送り、クラウド上で遠近感映像生成器１１の処理を行い、その処理された表示映像を受け取り、ＨＭＤ応用視覚補助システムの映像表示制御器１３で処理してＨＭＤ１の映像表示スクリーン２に表示するように構成する。

　これにより、ＨＭＤ応用視覚補助システムのプログラム負荷や処理負担を軽減することができる。

　なお、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、各実施例の構成、機能を組み合わせたものでもよい。

１…ＨＭＤ、２…映像表示スクリーン、３…外部情景撮影用電子カメラ、
１０…視野内対象物距離検知器、１１…遠近感映像生成器、
１５…視線方向検知器、１６…注視対象物検知器、１７…音声マイク、
２０…使用者、３０、４０、５０…対象物、３１、４１、５１，５２…虚像、６０…自動視力測定器、６１…最適虚像視認距離算出器

Claims

　使用者の頭部に装着し眼前に情報映像を表示するヘッドマウントディスプレイ装置であって、
　前記使用者の直接視認視野を含む視野領域で外部情景を撮影する外部情景撮影器と、
　前記使用者の眼前に別個に配置された左眼用および右眼用映像表示スクリーン上の各々に前記外部情景撮影器によって撮影された外部情景映像を所定の視認距離を有する左眼用および右眼用虚像映像として投影表示する虚像投影器と、
　前記使用者から前記外部情景撮影器によって撮影された外部情景映像内に映しこまれている対象物までの実距離を検知する視野内対象物距離検知器と、
　該視野内対象物距離検知器で検知された前記対象物の実距離情報に基づき、前記左眼用および右眼用虚像映像に所定の処理を施すことにより遠近感を付加した虚像映像を生成する遠近感映像生成器と、
を備えたことを特徴とするヘッドマウントディスプレイ装置。
　請求項１に記載のヘッドマウントディスプレイ装置であって、
　前記遠近感映像生成器は、前記対象物の実距離が所定の設定距離より遠距離の場合は前記実距離と略一致し、前記実距離が前記設定距離より近距離の場合は前記実距離より大きな値となる前記視認距離の換算距離を算出する機能を具備したことを特徴とするヘッドマウントディスプレイ装置。
　請求項１に記載のヘッドマウントディスプレイ装置であって、
　前記遠近感映像生成器は、前記対象物の実距離が所定の設定距離より遠距離の場合は前記実距離と略一致し、前記実距離が前記設定距離より近距離の場合は前記実距離の変化量に対する比例係数が該実距離の減少に応じて１．０から徐々に増加させるような特性を有する前記視認距離の換算距離を算出する機能を具備したことを特徴とするヘッドマウントディスプレイ装置。
　請求項２に記載のヘッドマウントディスプレイ装置であって、
　前記遠近感映像生成器は、前記左眼用および右眼用虚像映像に映しこまれている前記対象物の映像ごとに、前記視認距離の換算距離に基づき該換算距離に略反比例した両眼視差量に相当する面内方向ずれを前記虚像映像に与える機能を備えていることを特徴とするヘッドマウントディスプレイ装置。
　請求項２に記載のヘッドマウントディスプレイ装置であって、
　前記遠近感映像生成器は、前記左眼用および右眼用虚像映像に映しこまれている前記対象物の映像ごとに、前記視認距離の換算距離に基づき該換算距離に略比例した映像ぼかし量を前記虚像映像に付加する機能を備えていることを特徴とするヘッドマウントディスプレイ装置。
　請求項５に記載のヘッドマウントディスプレイ装置であって、
　前記使用者の視線方向を検知する視線方向検知器と、
　該視線方向検知器で検知された視線方向と前記外部情景撮影器によって撮影された外部情景映像から前記使用者が注視している対象物を検知する注視対象物検知器を具備し、該注視対象物検知器で検知した注視対象物が視認性よく視認されるように前記虚像映像の付与される前記映像ぼかし量を調整する機能を備えたことを特徴とする請求項５記載のヘッドマウントディスプレイ装置。
　請求項１に記載のヘッドマウントディスプレイ装置であって、
　前記左眼用および右眼用映像表示スクリーンは、印加電圧に応じて透明性が変化する液晶型調光ガラスであって、前記ヘッドマウントディスプレイ装置が動作状態のときは不透明スクリーンとして機能し、非動作状態の時は、透明または半透明ガラスとして機能することを特徴するヘッドマウントディスプレイ装置。
　請求項１に記載のヘッドマウントディスプレイ装置であって、
　前記左眼用および右眼用映像表示スクリーンと前記使用者の眼球の間に、視力矯正用眼鏡レンズを配置したことを特徴とするヘッドマウントディスプレイ装置。
　請求項１に記載のヘッドマウントディスプレイ装置であって、
　前記使用者が発する音声を検知するための集音マイクと、該集音マイクで集音された使用者の音声から前記使用者が発した所定のキーワードを認識する音声認識器が具備されており、前記キーワードの認識結果に基づき前記外部情景撮影装置における外部情景撮影倍率を所定の拡大率で拡大する機能を備えたことを特徴とするヘッドマウントディスプレイ装置。
　請求項１に記載のヘッドマウントディスプレイ装置であって、
　前記使用者が発する音声を検知するための集音マイクと、該集音マイクで集音された使用者の音声から前記使用者が発した所定のキーワードを認識する音声認識器と、前記外部情景撮影器によって撮影された外部情景映像内に含まれる文字映像から所定の文字認識を行う文字認識器および所定の言語を自動翻訳する自動翻訳器を具備し、前記キーワードの認識結果に基づき前記外部情景映像内に含まれる外国語単語、外国語文もしくは難読漢字の翻訳文を前記映像表示スクリーンに投影表示される虚像映像に重畳表示する機能を備えたことを特徴とするヘッドマウントディスプレイ装置。
　請求項１に記載のヘッドマウントディスプレイ装置であって、
　前記使用者の視力を計測する機能を備えた視力測定器と、該視力測定器で検知された前記使用者の視力から、前記使用者にとって良好な視認性を確保できる虚像視認距離を算出する最適虚像視認距離算出器を具備し、該最適虚像視認距離算出器で算出された最適虚像視認距離情報に基づき、前記映像表示スクリーンに投影表示される虚像映像の視認距離が自動調整される機能を備えたことを特徴とするヘッドマウントディスプレイ装置。
　使用者の頭部に装着し眼前に情報映像を表示するヘッドマウントディスプレイ装置の映像表示方法であって、
　前記使用者の視野領域で外部情景映像を撮影し、
　前記使用者から前記外部情景映像内に映しこまれている対象物までの実距離を検知し、
　前記撮影された外部情景映像を使用者の眼前に別個に配置された左眼用および右眼用映像表示スクリーン上の各々に所定の視認距離を有する左眼用および右眼用虚像映像として投影表示し、
　前記左眼用および右眼用虚像映像は、前記検知された前記対象物の実距離情報に基づき遠近感が付加されることを特徴とするヘッドマウントディスプレイ装置の映像表示方法。
　請求項１２に記載のヘッドマウントディスプレイ装置の映像表示方法を用いた視覚補助方法であって、
　前記使用者の視力を計測し、
　前記使用者の視力から、前記使用者にとって良好な視認性を確保できる前記視認距離を算出し、
　前記算出した視認距離情報に基づき、前記映像表示スクリーンに投影表示される虚像映像の視認距離を自動調整することを特徴とする視覚補助方法。