JP2010256534A

JP2010256534A - 全方位画像表示用ヘッドマウントディスプレイ装置

Info

Publication number: JP2010256534A
Application number: JP2009105134A
Authority: JP
Inventors: Katsuo Kawamura; 佳津男河村
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2009-04-23
Filing date: 2009-04-23
Publication date: 2010-11-11

Abstract

【課題】周囲３６０度のパノラマ画像を広い視野角の基で手軽に観賞することができるヘッドマウントディスプレイ装置を提供する。
【解決手段】観賞者６０の頭部全周囲に設置され３６０度のパノラマ画像を表示する環状表示部５４と、観賞者６０の頭部の回転角を検出するジャイロセンサと、該ジャイロセンサが検出した前記頭部の回転角を打ち消す方向に環状表示部５４を回転させる回転駆動手段（モータ）５２とを備える。
【選択図】図４

Description

本発明は、周囲３６０度の全方位撮像画像を表示するヘッドマウントディスプレイ装置に関する。

複数台のカメラ（撮像部）をリング状に配置して周囲３６０度の画像を撮影できる全方位撮像装置が、下記の特許文献１，２に記載されている。この様な全方位撮像装置により、周囲３６０度のパノラマ画像を撮影するのは容易であるが、このパノラマ画像を表示するのは容易でない。

例えば、全方位撮像装置を監視カメラや定点カメラとして用い、周囲３６０度のパノラマ画像を撮影し、これを監視所設置の巨大な円筒状表示装置の内周面側に表示する構成にすれば、３６０度のパノラマ画像をそのまま表示することができる。しかし、これでは、個人が周囲３６０度のパノラマ画像を手軽に楽しむことはできない。

そこで、下記の特許文献３では、ヘッドマウントディスプレイ装置に表示する技術を提案している。この特許文献３の全方位撮像装置は、特許文献１，２に示される全方位撮像装置と構成が異なり、複数台のカメラの各々が凸面鏡を用いた全方位撮像カメラとなっており、且つ、２台１組とし、各組がステレオカメラとなっている。

そして、撮像された画像を表示するヘッドマウントディスプレイ装置の左目前に置かれた左目用表示部と、右目前に置かれた右目用表示部とに、各組のステレオカメラの映像を切り替えながら表示することとしている。しかし、この切り替えの詳細についての記載はない。

ヘッドマウントディスプレイ装置に関しては、特許文献４にも記載がある。このヘッドマウントディスプレイ装置では、頭部にジャイロセンサを取り付け、使用者の頭部の動きに合わせて、全空間の３６０度の映像を実感できるようにしている。

しかしながら、この特許文献４記載のヘッドマウントディスプレイ装置は、特許文献３と同様に表示部が目の直前部分にしかないため視界が狭く、周囲３６０度の雄大なパノラマ画像を観賞するには不十分である。

特開平１１―９８３４２号公報特開２００４―６１８０８号公報特開２００２―３５４５０５号公報特開平９―１０６３２２号公報

人間の目は、両目だとその視野が２００度程度と広いため、この広い視野を利用して周囲３６０度のパノラマ画像を観賞できる表示装置を提供できれば、全方位撮像装置の更なる普及が図れることになる。

本発明の目的は、人間の視野を最大限利用することができる周囲３６０度のパノラマ画像を観賞するのに好適な全方位画像表示用ヘッドマウントディスプレイ装置を提供することにある。

本発明の全方位画像表示用ヘッドマウントディスプレイ装置は、観賞者の頭部全周囲に設置され３６０度のパノラマ画像を内周面に表示する環状表示部と、観賞者の頭部の回転角を検出するジャイロセンサと、該ジャイロセンサが検出した前記頭部の回転角を打ち消す方向に前記環状表示部を回転させる回転駆動手段とを備えることを特徴とする。

本発明によれば、周囲３６０度のパノラマ画像を広い視界で手軽に観賞することができる。

全方位撮像装置の一例を示す上面図である。図１に示す各カメラの機能ブロック図である。図１に示す各カメラを統括制御する制御部の機能ブロック図である。本発明の一実施形態に係る全方位画像表示用ヘッドマウントディスプレイ装置の外観斜視図である。図４に示す全方位画像表示用ヘッドマウントディスプレイ装置の横断面図である。図４に示す円盤状制御箱内に収納する制御部の機能図である。全方位ステレオ画像撮像装置の一例を示す上面図である。図４に示すヘッドマウントディスプレイ装置で全方位ステレオ画像を表示するときの動作説明図である。図８に続く動作説明図である。本発明の別実施形態に係る全方位画像表示用ヘッドマウントディスプレイ装置の説明図である。本発明の更に別実施形態に係る全方位画像表示用ヘッドマウントディスプレイ装置の説明図である。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、全方位撮像装置の平面図の一例である。この全方位撮像装置２０は、円盤状筐体２１の周壁部に等間隔に複数台のカメラ（撮像部）、この例では１６台のカメラ１，２，３，…，１６がリング状に固設されている。各カメラ１〜１６は、その入射光軸が、円盤状筐体２１の軸２２を中心として放射状となるように取り付けられ、隣接する入射光軸間の角度が３６０度÷１６＝２２．５度に設定される。

そして、隣接するカメラ同士の撮影画角が、端部分で重複するように設けられ、このため周囲３６０度の画像を各カメラが略１６分割して撮影し、各カメラ１〜１６の各撮像画像１６枚を貼り合わせ合成することで、周囲３６０度のパノラマ画像を得る様になっている。

図２は、カメラ１（他のカメラ２〜１６も同一構成）の機能ブロック図である。カメラ１は、固体撮像素子２５を備える。この固体撮像素子２５の前段に、絞り２６が配置され、その前段に、撮影レンズ２７が配置される。

固体撮像素子２５から出力される撮像画像信号は、ＣＤＳＶＧＡ部（ＣＤＳ：相関二重サンプリング処理，ＶＧＡ：可変利得増幅器）２８、アナログ／デジタル（Ａ／Ｄ）変換部２９、ホワイトバランス（ＷＢ）演算部３０を通って、カメラ１の外部に設けられた制御部４０に入力される。

また、カメラ１には、制御部４０からの指示信号に基づいて各種タイミングパルスを生成するタイミングジェネレータ（ＴＧ）３１と、制御部４０からの指示信号に基づいて絞り２６の開口量調整を行う絞り駆動回路３２と、制御部４０からの指示信号に基づいて撮影レンズ２７の焦点位置調整等を行うレンズ駆動回路３３と、タイミングジェネレータ３１から出力される転送指示パルス等によって撮像素子２５を駆動する撮像素子駆動回路３４とを備える。また、ＣＤＳＶＧＡ部２８，Ａ／Ｄ変換部２９，ＷＢ演算部３０は、タイミングジェネレータ３１から出力される各タイミングパルスに従って動作する。

図３は、図２に示す制御部４０のブロック構成図である。制御部４０は、カメラ１〜１６に対して指示信号を与えるＣＰＵ４１と、カメラ１〜１６から出力される各撮像画像信号を取り込むメモリ４２と、メモリ４２に取り込まれた各撮像画像信号に対して周知の画像処理（オフセット処理，ガンマ補正処理，ＲＧＢ／ＹＣ変換処理，同時化処理等）を施すと共に１６枚の画像を貼り合わせ合成して周囲３６０度のパノラマ画像を生成するデジタル信号処理部（ＤＳＰ）４３と、デジタル信号処理部４３によって処理された画像データを例えばＪＰＥＧ画像やＭＰＥＧ画像等に圧縮する圧縮部４４と、パノラマ合成されたＪＰＥＧ画像，ＭＰＥＧ画像等の画像データを記録メディア４５に格納するメディアインタフェース（Ｉ／Ｆ）４６と、１６台のカメラ１〜１６によって撮像された個々の画像やパノラマ画像を表示したり操作メニュー画面を表示する液晶表示部（ＬＣＤ）４７と、これらを相互接続するバス４８と、ＣＰＵ４１に対して操作員が指示を入力する操作部４９とを備える。

本発明の実施形態に係る全方位画像表示用ヘッドマウントディスプレイ装置５０（以下、ＨＭＤ装置５０ともいう。）は、メディアインタフェース４６を介してパノラマ画像が書き込まれた記録メディア４５を装着することで、周囲３６０度のパノラマ画像を表示する。尚、ＨＭＤ装置５０を制御部４０のバス４８にインタフェース装置を介して直接接続し、パノラマ画像データを取り込む構成とすることも可能である。

図４は、ＨＭＤ装置５０の外観斜視図であり、図５は、その横断面図である。ＨＭＤ装置５０は、全方位画像を観賞する観賞者６０の頭頂部に帽子のように被り固定するお椀形状のヘッド部５１と（図５）、ヘッド部５１にモータ５２によって回転可能に取り付けられた円盤状制御箱５３と、環状のディスプレイ装置５４と、このディスプレイ装置５４を円盤状制御箱５３に固定する支柱５５とを備える。円盤状制御箱５３の側面部には、記録メディア４５の挿入口５６が設けられている。

円盤状制御箱５３内には、後述の制御部５７が設けられる。環状のディスプレイ装置５４は、観賞者６０の頭部全周を若干隙間を開けて囲む様に設けられた環状支持材５８と、この環状支持材５８の内周面に３６０度に渡って貼り付けられたフラットパネルディスプレイ（ＦＰＤ）５９とで構成される。

このＨＭＤ装置５０のヘッド部５１を観賞者６０が被ったとき、観賞者６０の目の位置がフラットパネルディスプレイ５９の上下の中央位置に対面するように位置調整が可能になっており、また、モータ５２が回転することで、円盤状制御箱５３と共に環状のフラットパネルディスプレイ５９が観賞者６０の目の位置で回転する様になっている。

図６は、ＨＭＤ装置５０の制御部５７の機能構成図である。制御部５７は、中央演算処理装置（ＣＰＵ）６１と、モータ５２の駆動信号生成部６２と、ジャイロセンサ（角速度検出センサ）６３と、ＣＰＵ６１がプログラム処理するときに使用するメモリ６４と、フラットパネルディスプレイ５９の表示制御を行う表示制御部６５と、記録メディア４５を装着する装着部６６とを備える。

斯かるＨＭＤ装置５０に、パノラマ画像データを格納した記録メディア４５を装着すると、周囲３６０度のパノラマ画像データが読み出され、表示制御部６５により、環状のフラットパネルディスプレイ５９に３６０度の画像が表示される。

観賞者６０が少し右方向の画像を見ようとして頭部を少し右方向に回転させると、ジャイロセンサ６３がこの動きを感知してＣＰＵ６１に通知する。ＣＰＵ６１は、この通知により観賞者６０が右側の画像を見ようとしていると判断してモータ駆動信号生成部６２に環状ディスプレイ装置５４を左方向（反時計方向）に回転させる信号を生成させてモータ５２を駆動させる。

もし、モータ５２が回転しないと、頭部の回転動作に従って環状ディスプレイ装置５４も同じ方向に回転してしまい、観賞者６０は右方向の画像を見ることはできない。しかし、モータ５２が頭部の回転方向を相殺する方向に回転するため、環状ディスプレイ装置５４の対地位置は一定で動かないことになる。この結果、観賞者６０はフラットパネルディスプレイ５９上の右方向の画像を見ることが可能となる。

人間の目の視野は、両目で２００度程度あり、目に正対する位置の画像はハッキリ見え、横方向の位置の画像はぼんやりとしか見えないが、横方向に画像があることで、パノラマ画像の広大さを感じることが可能となる。頭部を回転させて横方向の画像を見た場合でも、本実施形態の全方位画像表示用ヘッドマウントディスプレイ装置５０は周囲３６０度に渡ってパノラマ画像が表示されているため、観賞者６０の両目の視野２００度の範囲内に全てパノラマ画像が存在することになり、視野の広大さを感じることができる。

この様に、観賞者６０の目を中心とした頭部全周囲に表示部を設けることにより、パノラマ画像の観賞に適したディスプレイ装置を提供可能となる。また、観賞者６０は、本能的に見たいと思う方向に頭部を動かすだけで、ジャイロセンサ６３が頭部の回転角速度を感知し、この回転角を打ち消す方向に環状ディスプレイ装置５４を逆回転させるため、操作が容易となる。

上記説明では、モータ５２は頭部の回転角を打ち消す方向に回転して環状ディスプレイ装置５４の対地位置を不動となるように制御している。人間の頭部は、通常、真後ろを見れるまで回転させることはできないので、周囲３６０度のパノラマ画像のうち真後ろの画像まで見ることはできない。

真後ろの画像まで見たい場合には、別の手段で環状ディスプレイ装置５４を対地位置不動の位置から更に回転させる必要が生じる。例えばＨＭＤ装置５０に操作指示入力を行う操作部を取り付け、ここから回転指示を入力する構成としてもよい。また、ジャイロセンサ６３が感知する回転角速度の時間変化を算出し、ある程度以上の回転加速度を検出したとき、モータ５２を過回転させる様にしておけば、頭部の回転動作だけで真後ろの画像まで見ることが可能となる。

図７は、図１と異なる実施形態の全方位撮像装置の平面図である。この全方位撮像装置７０は、図１の全方位撮像装置２０を構成する各カメラ１〜１６のうち、隣接する２台のカメラ（１，２）（３，４）（５，６）（７，８）（９，１０）（１１，１２）（１３，１４）（１５，１６）をステレオカメラとしている点が図１と異なり、他の構成は図１〜図３と同じである。

即ち、図７の全方位撮像装置７０では、ステレオカメラを構成する各２台のカメラの入射光軸は並行となっており、各カメラ対の入射光軸が、軸２２の周りに３６０度÷８＝４５度毎に放射状に配置される。

各組カメラの左目用カメラ１，３，５，７，９，１１，１３，１５の各撮影視野画像をＬ１，Ｌ３，Ｌ５，Ｌ７，Ｌ９，Ｌ１１，Ｌ１３，Ｌ１５とし、右目用カメラ２，４，６，８，１０，１２，１４，１６の各撮影視野画像をＲ２，Ｒ４，Ｒ６，Ｒ８，Ｒ１０，Ｒ１２，Ｒ１４，Ｒ１６としたとき、左目用カメラだけで周囲３６０度の画像が撮影できるように各撮影画角の端部分が重なるように設置され、右目用カメラだけで周囲３６０度の画像が撮影できるように各撮影画角の端部分が重なるように設置される。

この様な全方位撮像装置７０で撮影した画像は、図３の信号処理部４３でパノラマ合成されるが、このとき、右目用カメラの８枚の撮像画像から周囲３６０度のパノラマ画像が合成され、左目用カメラの８枚の撮像画像から周囲３６０度のパノラマ画像が合成され、記録メディア４５に夫々保存される。

このステレオカメラによる撮像画像を、ＨＭＤ装置５０に表示する場合、図８に示す様に、観賞者の正対中心位置Ｐから右側１８０度の範囲７５に渡って、３６０度の右目用パノラマ画像のうち右側１８０度分の画像を表示する。そして、残りの左側１８０度分の画像は、ＨＭＤ装置５０には表示しないが、図６の表示制御部６５内のＶＲＡＭ上に画像データを展開しておき、必要時には直ちに表示可能な状態にしておく。

同様に、正対中心位置Ｐから左側１８０度の範囲７６に渡って、３６０度の左目用パノラマ画像のうち左側１８０度分の画像を表示する。そして、残りの右側１８０度分の画像は、ＨＭＤ装置５０には表示しないが、図６の表示制御部６５内のＶＲＡＭ上に画像データを展開しておき、必要時には直ちに表示可能な状態にしておく。

図８に示す状態では、観賞者の右目直前の画像はカメラ２の撮像視野画像Ｒ２となっており、左目直前の画像は、カメラ１の撮像視野画像Ｌ１になっており、観賞者６０は被写体のステレオ画像（立体画像）を見ることができる状態になっている。

そして、前述した実施形態と同様にして、観賞者６０が左方向の画像を見たいとして頭部を左方向に回転させると、これをジャイロセンサ６３が感知してモータ５２を逆方向に回転させ、図９の状態となる。

即ち、右目用として表示されている３６０度のパノラマ画像から切り出された１８０度の画像部分が回転角に応じて回転移動し、左目用として表示されている３６０のパノラマ画像から切り出された１８０度の画像部分が回転角に応じて回転移動する。

この結果、観賞者６０の右目直前にはカメラ１６の撮像視野画像Ｒ１６が表示され、左目直前にはカメラ１５の撮像視野画像Ｌ１５が来る。この様にして、観賞者６０は、全方位のステレオ画像を容易に本能的な頭部（首）の動作によって見ることが可能となる。

図９に示す撮像視野画像Ｒ１６は、図８の状態ではＨＭＤ装置５０に表示されていないが、上述した様に、ＶＲＡＭ上に画像データが展開されているため、図９の状態に移行するとき、環状ディスプレイ装置５４の回転に従って、正対中心位置Ｐから右側に移動してくるように表示される。

図１０は、本発明の別実施形態に係るＨＭＤ装置８０の説明図である。この実施形態のＨＭＤ装置８０は、図４，図５に示すＨＭＤ装置５０に、図１〜図３に示す全方位撮像装置２０を一体に組み込んだ構成となっている。

即ち、図４，図５の環状ディスプレイ装置５４の外周部に、複数、図示する例では計１６台のカメラ１〜１６を等間隔に設け、図１０では図示していないが、図５の円盤状制御箱５３内に図３に示す制御部４０（この場合、図３のＬＣＤ４７は不要で、フラットパネルディスプレイ５９で代用される。）も収納している。

各カメラ１〜１６内の構成は、図２と同様であるが、図２に示すＣＤＳＶＧＡ２８，Ａ／Ｄ２９，ＷＢ演算部３０，ＴＧ３１，絞り駆動回路３２，レンズ駆動回路３３を、１６台のカメラの共通部品として制御部４０内に設けても良い。これにより、各カメラ１〜１６の小型化を図ると同時に、部品コストの軽減を図ることが可能となる。

図１１は、本発明の更に別実施形態に係るＨＭＤ装置９０の説明図である。本実施形態は、図４，図５に示すＨＭＤ装置５０に、図２，図３，図７に示す全方位撮像装置を一体に組み込んだことを特徴としている。

図１０，図１１の実施形態に示す様に、ＨＭＤ装置に全方位撮像装置を一体に組み込むことで、例えば歩行者がこのＨＭＤ装置８０，９０を装着して歩行するときに、前方ばかりでなく、側方や後方の画像も見ることが可能となる。

以上述べた実施形態によれば、全方位撮像装置が撮影した周囲３６０度のパノラマ画像を、複雑な指示操作を行うことなく手軽に観賞することが可能となる。

以上述べた様に、本実施形態の全方位画像表示用ヘッドマウントディスプレイ装置は、観賞者の頭部全周囲に設置され３６０度のパノラマ画像を内周面に表示する環状表示部と、観賞者の頭部の回転角を検出するジャイロセンサと、該ジャイロセンサが検出した前記頭部の回転角を打ち消す方向に前記環状表示部を回転させる回転駆動手段とを備えることを特徴とする。

また、実施形態の全方位画像表示用ヘッドマウントディスプレイ装置の前記回転駆動手段は、前記環状表示部の対地位置を一定に保つように前記頭部の回転に合わせて前記環状表示部を回転させることを特徴とする。

また、実施形態の全方位画像表示用ヘッドマウントディスプレイ装置は、前記環状表示部のうち前記観賞者が正対する位置から右側１８０度の範囲には右目用の３６０度のパノラマ画像のうち右側１８０度の画像を表示し前記正対する位置から左側１８０度の範囲には左目用の３６０度のパノラマ画像のうち左側１８０度の画像を表示することを特徴とする。

また、実施形態の全方位画像表示用ヘッドマウントディスプレイ装置は、前記頭部の回転に従って前記観賞者の右目直前に来る画像部分と左目直前に来る画像部分とが１対のステレオ画像となる様に前記環状表示部に表示する右目用のパノラマ画像と左目用のパノラマ画像の表示位置を移動させることを特徴とする。

また、実施形態の全方位画像表示用ヘッドマウントディスプレイ装置は、前記環状表示部の外周面側に全方位撮像装置が設けられ該全方位撮像装置が撮影した周囲３６０度のパノラマ画像を該環状表示部に表示することを特徴とする。

また、実施形態の全方位画像表示用ヘッドマウントディスプレイ装置は、２台１組のステレオカメラが複数組等間隔に前記環状表示部の外周面側に設けられた前記全方位撮像装置を搭載することを特徴とする。

実施形態の全方位画像表示用ヘッドマウントディスプレイ装置によれば、手軽な操作により広い視野角で３６０度のパノラマ画像を観賞することが可能となる。

本発明に係る全方位画像表示用ヘッドマウントディスプレイ装置は、全方位撮像装置が撮影した周囲３６０度のパノラマ画像を手軽に観賞することができ、全方位撮像装置を普及させる機器として有用である。

１〜１６撮像部（カメラ）
２０，７０全方位撮像装置
２１円盤状筐体
２５固体撮像素子
２７撮影レンズ
４０制御部
４３信号処理部
４５記録メディア
５０，８０，９０ヘッドマウントディスプレイ（ＨＭＤ）装置
５１ヘッド部
５２モータ
５３円盤状制御箱
５４環状ディスプレイ装置
５５支柱
５８環状支持材
５９フラットパネルディスプレイ
６３ジャイロセンサ（角速度センサ）

Claims

観賞者の頭部全周囲に設置され３６０度のパノラマ画像を内周面に表示する環状表示部と、観賞者の頭部の回転角を検出するジャイロセンサと、該ジャイロセンサが検出した前記頭部の回転角を打ち消す方向に前記環状表示部を回転させる回転駆動手段とを備える全方位画像表示用ヘッドマウントディスプレイ装置。
請求項１に記載の全方位画像表示用ヘッドマウントディスプレイ装置であって、前記回転駆動手段は、前記環状表示部の対地位置を一定に保つように前記頭部の回転に合わせて前記環状表示部を回転させる全方位画像表示用ヘッドマウントディスプレイ装置。
請求項１または請求項２に記載の全方位画像表示用ヘッドマウントディスプレイ装置であって、前記環状表示部のうち前記観賞者が正対する位置から右側１８０度の範囲には右目用の３６０度のパノラマ画像のうち右側１８０度の画像を表示し前記正対する位置から左側１８０度の範囲には左目用の３６０度のパノラマ画像のうち左側１８０度の画像を表示する全方位画像表示用ヘッドマウントディスプレイ装置。
請求項３に記載の全方位画像表示用ヘッドマウントディスプレイ装置であって、前記頭部の回転に従って前記観賞者の右目直前に来る画像部分と左目直前に来る画像部分とが１対のステレオ画像となる様に前記環状表示部に表示する右目用のパノラマ画像と左目用のパノラマ画像の表示位置を移動させる全方位画像表示用ヘッドマウントディスプレイ装置。
請求項１乃至請求項４のいずれかに記載の全方位画像表示用ヘッドマウントディスプレイ装置であって、前記環状表示部の外周面側に全方位撮像装置が設けられ該全方位撮像装置が撮影した周囲３６０度のパノラマ画像を該環状表示部に表示する全方位画像表示用ヘッドマウントディスプレイ装置。
請求項５に記載の全方位画像表示用ヘッドマウントディスプレイ装置であって、２台１組のステレオカメラが複数組等間隔に前記環状表示部の外周面側に設けられた前記全方位撮像装置を搭載する全方位画像表示用ヘッドマウントディスプレイ装置。