JP2011197736A - 視界支援装置 - Google Patents

Abstract

【課題】 使用者が頭部装着型の表示装置で視界範囲外の周囲画像を見る場合に、その方向へ頭を向ける必要がない視界支援装置を得る。
【解決手段】 移動体の周囲の画像を撮影する複数の撮像装置１〜３と、複数の撮像装置が撮像した画像から全周囲画像を合成する統合画像生成装置１０と、使用者２０の頭部へ装着できる表示装置１１と、使用者２０の頭部の動きを検出する頭部動作検出装置１２とを備えることで、視界範囲外の周囲画像をスクロールさせて見ることができる。
【選択図】 図１

Description

本発明は、移動体に取り付けられた複数の撮像装置が撮像した画像から生成した、全周囲画像を、使用者の視線情報に基づき表示する頭部装着型の視界支援装置に関するものである。

頭部装着型の画像表示装置（ヘッド・マウント・ディスプレイ）としては、災害時の救助活動に使用されるものや、移動体の操縦者などが使用するものなどが知られている。（例えば、特許文献１、２、３、４参照）

特開２００７−２８６２６９号公報 実開平５−７５８９２号公報 特開２−２７４２４９号公報 特開平７−１３０８４号公報

従来の頭部装着型の表示装置は、使用者が向いている方向の画像を取得し表示することが前提であり、またその視界も狭い範囲内に限られている。このため、使用者が視界範囲外（死角）の周囲画像を見る場合は、その方向へ頭を向ける必要があり、頭部装着型の画像表示装置を装着したまま頭部を動かす動作により、頚部に負担がかかるという問題があった。

また、使用者が直に視界の範囲内にあるものを見ている実体（外界の景色）と、各種情報とを同時に表示するには、透過型の表示装置に画像を重ね合わせる。このため、外界の景色が見えにくくなるという問題があった。

本発明は、係る課題を解決するためになされたものであり、頭部装着型の表示装置を装着して視界範囲外の周囲画像を見る際に、装着者の負担を軽減する視界支援装置を得ることを目的とする。

本発明による視界支援装置は、移動体の周囲の画像を撮影する複数の撮像装置と、上記複数の撮像装置が撮像した画像から全周囲画像を合成する統合画像生成装置と、使用者の頭部へ装着でき使用者から見た視界の中心部に情景を見ることができる透過領域と、上記統合画像生成装置が生成した全周囲画像を表示するための透過領域の周りを囲む非透過領域とを有する表示装置と、上記使用者の頭部の動きを検出する頭部動作検出装置と、を備え、上記表示装置は、上記頭部動作検出装置により検出される上記使用者の頭部の動き情報に基いて、上記非透過領域に表示される全周囲画像をスクロールさせる処理を行うものである。

本発明によれば、使用者は視界の範囲内にあるものが直に見える実体と、統合画像生成した全周囲画像のうち使用者の視界範囲外となる画像とを、頭部に装着した表示装置により同時に見ることができるため、頭部を動かすことなく視界範囲外を見ることができ、使用者の身体、特に頸部にかかる負担を軽減することができる。

本発明の実施の形態１に係る視界支援装置の構成を示すブロック図である。 図１の表示装置の視界の概念を示す図である。 図１の表示装置の使用者から見た視界の概念を示す図である。 本発明の実施の形態２に係る表示画像の動きを示す図である。 本発明の実施の形態３に係る表示画像の動きを示す図である。 本発明の実施の形態４に係る視界界支援装置の構成を示すブロック図である。

実施の形態１．
以下に本発明における一実施の形態を説明する。
図１は本発明に係る実施の形態１による視界支援装置の構成を示すブロック図である。図２は本視界支援装置の表示装置１１による視界の概念を示す図である。図３は本視界支援装置における表示装置１１の使用者２０から見た視界の概念を示す図である。

図１において、視界支援装置は、複数の撮像装置１，２，３と、統合画像生成装置１０と、表示装置１１と、頭部動作検出装置１２を備えている。複数の撮像装置１，２，３、統合画像生成装置１０、表示装置１１、および頭部動作検出装置１２は、頭部装着具２１に設けられており、頭部装着型の画像表示装置（ヘッド・マウント・ディスプレイ）を構成している。頭部装着具２１は、ヘルメットや、ヘッドバンド、帽子などによって構成され、使用者２０の頭部に装着される。

撮像装置１〜３は、それぞれ移動体の周囲の画像を撮影する。撮像装置１〜３の視線軸の方向は、例えば頭囲３６０度周りに１２０度間隔で、前右側方、前左側方、および後方をそれぞれ向くように設置されている。撮像装置１〜３は、例えば使用者２０が搭乗する移動体の外部において、頭部装着具２１の前右側方、前左側方、および後方に取り付けられ、頭囲３６０度周りに１２０度間隔で設置される。また、頭部装着具２１に直接、撮像装置１〜３が設置され、頭部装着具２１の前右側方、前左側方、および後方に取り付けられ、頭囲３６０度周りに１２０度間隔で設けられても良い。なお、隣接する撮像装置１〜３間の視線軸の角度差は、１２０度以外の角度でも良く、その設置角度も他の角度間隔であっても良い。

統合画像生成装置１０は、頭部装着具２１に実装されて、複数の撮像装置１〜３が撮像した画像から、全周囲画像を合成する。当該全周画像は、各撮影装置の視線軸を中心とした所定の視野角内の画像を、使用者２０の全周囲（周囲球面の全周範囲）に貼り付けることによって構成され、隣接する撮像装置１〜３間で画像に部分的な重なりを有していても良い。表示装置１１は、頭部装着具２１の前方に取り付けられ、使用者２０の視線に対向する位置に装着される。頭部動作検出装置１２は、頭部装着具２１に実装され、使用者２０の頭部の動きを検出する。頭部動作検出装置１２は、例えばジャイロや加速度検出器が設けられており、頭部の角速度や基準軸（視線軸）の方向を検出することで使用者２０の頭部の動きを検出する。なお、統合画像生成装置１０は、必ずしも頭部装着具２１に実装されている必要はない。

図１は撮像装置が３つの場合の例を示しているが、これは撮像装置の数を限定するものではなく、２つ以上あれば良い。また、図２において、表示装置１１は、使用者２０から見た視界の中心部（眼前）に設けられた透過（シースルー）領域３０と、透過領域３０の周りを囲む非透過領域３１が形成されている。透過領域３０は、例えば可視光透過性の樹脂部材で設けられたサンバイザによって構成される。非透過領域３１は、ＥＬ素子画像表示デバイスや液晶画像表示デバイスなどの表示画面によって構成される。表示装置１１は、頭部動作検出装置１２により検出される使用者の頭部の動き情報に基いて、非透過領域３１に表示される全周囲画像をスクロールさせるスクロール処理部が設けられている。

本視界支援装置は、以上のように構成されて次のように動作する。
本視界支援装置は、図１に示すように、移動体に取り付けられた複数の撮像装置１〜３が撮像した画像から、統合画像生成装置１０により全周囲画像が生成される。頭部動作検出装置１２により検出された使用者２０の頭部の動き情報を基に、統合画像生成装置１０の生成した全周囲画像のうち使用者２０の視線方向の画像をスクロールし、スクロールした画像を頭部に装着した表示装置１１を通じて使用者２０へ供給する。

本視界支援装置における表示装置１１の視界は、図２に示すようになされている。視界の中心部には、使用者２０が視界の範囲内にあるものを直に見るための透過領域３０が配置される。また、透過領域３０の周囲には、統合画像生成装置１０が生成した全周囲画像のうち、使用者２０の視界の範囲外（死角）となる画像を表示するための透過領域３０の周りを囲む非透過領域３１が配置される。非透過領域３１の範囲は概ね人の視界の範囲と一致するものとする。

図３（ａ）は表示装置１１と移動体の窓４０を通じて移動体の周囲画像が見える様子を示している。図３（ｂ）は表示装置１１の透過領域３０が移動体の窓４０の端面４１に接した場合の透過領域３０の周囲画像の動きを示した図である。

図３では、使用者２０が窓４０の設けられた移動体に搭乗している例が示されている。表示装置１１の使用者２０から見た視界は、移動体の窓４０の窓の端面４１によって制限され、窓の端面４１から外側の領域は使用者２０の目視によって直接見ることができないものとする。また、図３において、表示装置１１によって生成された全周囲画像のうち、透過領域３０の周囲画像５０〜５２が示されている。また、外界の景色５３は使用者２０が透過領域３０越しに見えるものとする。

図３に示すように、使用者２０が表示装置１１の透過領域３０の範囲外を見るために頭部を動かすと、その動きを頭部動作検出装置１２が検出し、方向、角速度などの移動情報として表示装置１１へ出力する。この移動情報を基に、表示装置１１は、視界の中心部に位置する透過領域３０が移動体の窓の端面４１に接するか、または越えたことを認識する。

具体的には、移動情報として、頭部が図の右方向に回転中であるかもしくは回転してから停止し、かつ視線軸の方向が窓の端面４１に接するか、または越えた位置を向いていることを認識する。当該認識に応じて、表示装置１１のスクロール処理部は、使用者２０が透過領域３０越しに見える外界の景色５３を含み、かつ非透過領域３１に表示される透過領域３０の周囲画像５０〜５２を、頭部の動きに応じて移動（スクロール）させる処理を行う。

また、表示装置１１のスクロール処理部は、頭部動作検出装置１２からの使用者２０の頭部の方向、角速度などの移動情報から、頭部が正方向に回転してスクロールが開始した後、逆方向に反転したことを認識すると、非透過領域３１に表示される透過領域３０の周囲画像５０〜５２のスクロールを停止する処理を行う。

図３（ａ）における周囲画像５０と５１は、図３（ｂ）においては表示装置１１の周囲画像を表示するための非透過領域３１から外れるため、見えなくなる。逆に図３（ａ）における周囲画像５２は、図３（ｂ）においては非透過領域３１へ入ってくるため、見えるようになる。

このようにして、透過領域３０が窓の端面４１に接するか越えてしている間、非透過領域３１に表示される周囲画像を移動（スクロール）し続けることで、使用者２０は統合画像生成装置１０が生成した全周囲画像から視界の範囲外（死角）の画像を見ることができる。

以上説明したとおり、実施の形態１による視界支援装置は、移動体の周囲の画像を撮影する複数の撮像装置（１〜３）と、上記複数の撮像装置（１〜３）が撮像した画像から全周囲画像を合成する統合画像生成装置１０と、使用者の頭部へ装着でき使用者から見た視界の中心部に情景を見ることができる透過領域３０と、上記統合画像生成装置１０が生成した全周囲画像の一部を表示するための透過領域３０の周りを囲む非透過領域３１とを有する表示装置１１と、上記使用者２０の頭部の動きを検出する頭部動作検出装置１２と、を備え、上記表示装置１１は、上記頭部動作検出装置１２により検出される上記使用者２０の頭部の動き情報に基いて、上記非透過領域３１に表示される全周囲画像をスクロールさせる処理を行う。

このようにして、非透過領域３１に表示される周囲画像をスクロールし続けることで、使用者２０は統合画像生成装置１０が生成した全周囲画像から、視界の範囲外（死角）の画像を見ることができる。かくして、使用者２０は視界の範囲内にあるものが直に見える実体（外界の景色）と、統合画像生成した全周囲画像のうち使用者の視界範囲外（死角）となる画像とを、頭部に装着した表示装置により同時に見ることができるため、頭部を動かすことなく視界範囲外（死角）を見ることができ、使用者の身体、特に頸部にかかる負担を軽減することができる。

実施の形態２．
図４は使用者２０の眼球の動きに応じて周囲画像を移動させる場合の実施の形態２による視界支援装置の画像の動きを示すものであり、図４（ａ）は表示装置１１の透過領域３０と透過領域３０の周りを囲む非透過領域３１を通じて、外界の景色５３と透過領域３０の周囲画像５０，５１がスクロール前に見える状態を示した図であり、図４（ｂ）は表示装置１１の透過領域３０と透過領域３０の周りを囲む非透過領域３１を通じて、外界の景色５３と透過領域３０の周囲画像５２がスクロールして見える状態を示した図である。本実施の形態２による視界支援装置は、使用者２０の眼球の動きを検出する眼球動作検出装置１３が更に設けられており、眼球動作検出装置１３は表示装置１１に接続されている。

眼球動作検出装置１３は、使用者２０の眼球の動きを検出し、視線方向６０を移動情報として表示装置１１へ出力する。眼球動作検出装置１３は、表示装置１１の外側に設置された図示しない眼球撮像装置（カメラ）が、透過領域３０を介して使用者２０の眼球を撮像し、眼球撮影画像について画像処理を行うことにより、使用者２０の眼球の動きの検出を行う。これによって、眼球の視線方向６０が非透過領域３１内に存在することを認識すると、その視線方向６０の向く方向から正面（透過領域３０を向く）方向に向かって、非透過領域３１に表示される透過領域３０の周囲画像５０〜５２を移動（スクロール）させる。また、眼球動作検出装置１３は、スクロールが開始した後、使用者２０の眼球の動きから、視線方向６０がスクロール開始時点での方向から正面方向に向かう方向に反転したことを検出すると、周囲画像５０〜５２のスクロールを停止する。

図４から容易にわかるとおり、図３で示した表示装置１１は透過領域３０と移動体の窓の端面４１との関係を認識する必要がなくなるほか、使用者２０は視線方向６０を変えるだけで頭部を動かすことなく非透過領域３１に表示される視界範囲外（死角）の周囲画像を移動（スクロール）することができる。このため、身体、特に頸部にかかる負担を更に軽減することができる。

実施の形態３．
図５は非透過領域３１に表示するカーソル（擬似視線）７０の動きに応じて周囲画像を移動させる場合の実施の形態３の画像の動きを示すものである。図５（ａ）は表示装置１１の透過領域３０と透過領域３０の周りを囲む非透過領域３１を通じて、外界の景色５３と透過領域３０の周囲画像５０，５１がスクロール前に見える状態を示した図であり、図５（ｂ）は表示装置１１の透過領域３０と透過領域３０の周りを囲む非透過領域３１を通じて、外界の景色５３と透過領域３０の周囲画像５２がスクロールして見える状態を示した図である。

本実施の形態３による視界支援装置は、表示装置１１において、カーソル（擬似視線）７０を表示装置１１の表示画面に表示させるカーソル表示部（図示せず）が設けられている。カーソル表示部は、カーソル（擬似視線）７０を表示装置１１の表示画面に表示する。また、カーソル表示部は、使用者２０による表示装置１１の入力指示装置（図示せず）への操作入力に基いて、カーソル（擬似視線）７０の位置を表示装置１１の表示画面内で移動することができる。

眼球動作検出装置１３の出力以外の情報を基に、使用者２０が表示装置１１へカーソル（擬似視線）７０の表示位置を提示する。表示装置１１は、カーソル（擬似視線）７０の表示位置に基いて、カーソル（擬似視線）７０が非透過領域３１内に位置することを認識すると、カーソル（擬似視線）７０の存在位置から正面（透過領域３０を向く）方向に向かって、非透過領域３１に表示される透過領域３０の周囲画像５０〜５２を移動（スクロール）させる。また、表示装置１１は、スクロールが開始した後、使用者２０によるカーソルの操作指示により、カーソル（擬似視線）７０がスクロール開始時点での方向から正面方向に向かう方向に反転移動したことを検出すると、周囲画像５０〜５２のスクロールを停止する。

図５によれば、図３で示した使用者２０の頭部の動きを検出する頭部動作検出装置１２、および図４で示した使用者２０の眼球の動きを検出する眼球動作検出装置１３は必要なくなるほか、非透過領域３１に表示される視界範囲外（死角）の周囲画像の移動（スクロール）が使用者２０の身体の動きに依存しなくなるため、使用者２０以外の他者により制御することが可能となる。

実施の形態４．
図６は使用者毎に表示装置１１の非透過領域３１に表示される視界範囲外（死角）の周囲画像の移動（スクロール）を最適化する場合の実施の形態４の構成を示すものである。頭部や眼球の動きの癖や、体格の違いなどによる頭部に装着した表示装置１１と移動体の窓４０や窓の端面４１との距離の違いなど、使用者毎の固有の情報を使用者情報記憶装置１４に記憶する。この図６によれば、使用者に応じた固有の情報を表示装置１１へ伝えることで、視線の位置や動きの癖などを表示制御へ加味することができ、表示精度の向上を図ることが可能となる。

本発明によれば、航空機や車両などの移動体において搭乗者が操縦や監視などのために必要とする視界の範囲外（死角）となる周囲画像を見ることができる。本発明は、航空機や船舶、自動車産業、交通運輸産業に広く利用できる。

１〜３ 撮像装置、１０ 統合画像生成装置、１１ 表示装置、１２ 頭部動作検出装置、１３ 眼球動作検出装置、２０ 使用者、１４ 使用者情報記憶装置、３０ 透過領域、３１ 非透過領域、４０ 移動体の窓、４１ 窓の端面、５０〜５２ 周囲画像、５３ 外界の景色、６０ 使用者の視線方向、７０ カーソル（擬似視線）。

Claims (4)

1. 移動体の周囲の画像を撮影する複数の撮像装置と、
   上記複数の撮像装置が撮像した画像から全周囲画像を合成する統合画像生成装置と、
   使用者の頭部へ装着でき使用者から見た視界の中心部に情景を見ることができる透過領域と、上記統合画像生成装置が生成した全周囲画像を表示するための透過領域の周りを囲む非透過領域とを有する表示装置と、
   上記使用者の頭部の動きを検出する頭部動作検出装置と、
   を備え、
   上記表示装置は、上記頭部動作検出装置により検出される上記使用者の頭部の動き情報に基いて、上記非透過領域に表示される全周囲画像をスクロールさせる処理を行う視界支援装置。
2. 移動体の周囲の画像を撮影する複数の撮像装置と、
   上記複数の撮像装置が撮像した画像から全周囲画像を合成する統合画像生成装置と、
   使用者の頭部へ装着でき使用者から見た視界の中心部に情景を見ることができる透過領域と、上記統合画像生成装置が生成した全周囲画像を表示するための透過領域の周りを囲む非透過領域を有する表示装置と、
   上記使用者の眼球の動きを検出する眼球動作検出装置と、
   を備え、
   上記表示装置は、上記眼球動作検出装置により検出される上記使用者の眼球の動き情報に基いて、上記非透過領域に表示される全周囲画像をスクロールさせる処理を行う視界支援装置。
3. 移動体の周囲の画像を撮影する複数の撮像装置と、
   上記複数の撮像装置が撮像した画像から全周囲画像を合成する統合画像生成装置と、
   使用者の頭部へ装着でき使用者から見た視界の中心部に情景を見ることができる透過領域と、上記統合画像生成装置が生成した全周囲画像を表示するための透過領域の周りを囲む非透過領域を有する表示装置と、
   上記使用者の視線を模擬するカーソル表示部とを備え、
   上記表示装置は、上記カーソル表示部により検出される上記カーソルの位置情報に基いて、上記非透過領域に表示される全周囲画像をスクロールさせる処理を行う視界支援装置。
4. 使用者毎の固有情報を記憶する使用者情報記憶装置を備えたことを特徴とする請求項１〜請求項３のいずれかに記載の視界支援装置。

Images