JPWO2014077046A1 - 画像表示装置及び画像表示方法、移動体装置、画像表示システム、並びにコンピューター・プログラム - Google Patents

Abstract

ラジコンに搭載したカメラで撮影した一人称視点画像をヘッド・マウント・ディスプレイに表示して楽しむ。模型装置１２０に搭載されたカメラ部６０５によって撮影された全天周画像をヘッド・マウント・ディスプレイ１１０で再生表示する際に、ＣＰＵ６０１が、姿勢・位置検出部６０４が検出したユーザーの頭部の動きを打ち消すように表示画角を移動させることで、ユーザーの頭部の動きに追従した画像を映し出す。また、ヘッド・マウント・ディスプレイ１１０側では、表示画角内の実画像に仮想的な画像情報であるＡＲ画像を重畳した合成画像の表示を行なう。

Description

本明細書で開示する技術は、ユーザーが頭部又は顔部に装着して画像の視聴に利用される画像表示装置及び画像表示方法、移動しながら視聴画像を撮影する移動体装置、画像表示システム、並びにコンピューター・プログラムに係り、特に、全天周画像、魚眼画像、パノラマ画像など、外部カメラで撮影した画像の視聴に利用される画像表示装置及び画像表示方法、移動体装置、画像表示システム、並びにコンピューター・プログラムに関する。

頭部又は顔部に装着して画像の視聴に利用される画像表示装置、すなわち、ヘッド・マウント・ディスプレイが知られている。ヘッド・マウント・ディスプレイは、例えば左右の眼毎に表示部が配置され、虚像光学系により表示画像の拡大虚像を形成することで、ユーザーは臨場感のある画像を観察することができる。また、ユーザーが頭部に装着した際に外界を完全に遮るようにヘッド・マウント・ディスプレイを構成すれば、視聴時の没入感が増す。また、ヘッド・マウント・ディスプレイは、左右の眼に違う映像を映し出すことも可能であり、左右の眼に視差のある画像を表示すれば３Ｄ画像を提示することができる。

ヘッド・マウント・ディスプレイを用いて、広角画像を視聴することができる。例えば、頭部にジャイロ・センサーを取り付け、ユーザーの頭部の動きに合わせて、全空間の３６０度の映像を実感できるようにしたヘッド・マウント・ディスプレイについて提案がなされている（例えば、特許文献１、特許文献２を参照のこと）。ジャイロ・センサーが検出した頭部の動きを打ち消すように表示領域を移動させることで、ユーザーの頭部の動きに追従した画像を提示することができる。

また、外部カメラで撮影したライブ画像をヘッド・マウント・ディスプレイで視聴するというアプリケーションも考えられる。例えば、ラジコンなど人以外の移動体に搭載された撮像装置で実際に撮像された画像を、ユーザーが装着する表示装置で表示する画像表示システムについて提案がなされている（例えば、特許文献３を参照のこと）。

ヘリコプターなどのラジコンに搭載した無線カメラで撮影した一人称視点（パイロット視点）画像を見ながら操縦する、ＦＰＶ（Ｆｉｒｓｔ Ｐｅｒｓｏｎ Ｖｉｅｗｉｎｇ）技術も知られている。

例えば、飛行高度や飛行速度などを飛行制御装置で制御可能な小型ヘリコプターに、周囲を撮影する全方位カメラと、全方位カメラの地上からの高度を測定するレーザ距離計とを配設し、レーザ距離計で測定された高度に基づいて、所定の高度において全方位カメラで空中撮影する空中撮影システムについて提案がなされている（例えば、特許文献４を参照のこと）。全方位カメラで撮影された画像は、通信網を介して外部コンピューターに送信することができる。

また、中長距離用の３次元テレオ・カメラと近距離用の３次元ステレオ・カメラを有するラジコン・カーが３次元合成画像を送信して、コントローラー側で表示するネットワーク・システムについて提案がなされている（例えば、特許文献５を参照のこと）。

また、模型装置が前方を撮影した画像と位置と向き情報を、コントローラー側で受信して、位置と向きに応じたバーチャル画像を生成して表示するネットワーク・システムについて提案がなされている（例えば、特許文献６を参照のこと）。

特開平９−１０６３２２号公報 特開２０１０−２５６５３４号公報 特開２００８−１４７８６５号公報、段落００２４〜００２６ 特開２０１１−１８３８２４号公報 特開２０１２−１５１８００号公報 特開２０１２−１４３４４７号公報

本明細書で開示する技術の目的は、全天周画像、魚眼画像、パノラマ画像など、外部カメラで撮影した画像の視聴に利用することができる、優れた画像表示装置及び画像表示方法、移動体装置、画像表示システム、並びにコンピューター・プログラムを提供することにある。

本明細書で開示する技術のさらなる目的は、ラジコンなどの移動体装置に搭載したカメラで撮影した一人称視点画像を好適に表示することができる、優れた画像表示装置及び画像表示方法、移動体装置、画像表示システム、並びにコンピューター・プログラムを提供することにある。

本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
ユーザーの頭部に取り付けられる表示部と、
前記頭部の姿勢を検出する姿勢検出部と、
移動体装置で撮影した画像の前記表示部への表示を、前記頭部の姿勢に基づいて制御する表示制御部と、
を具備する画像表示装である。

本願の請求項２に記載の技術によれば、請求項１に記載の画像表示装置の前記表示制御部は、前記移動体装置で撮影した広角画像から、前記頭部の姿勢に対応する領域を切り出して前記表示部に表示するように構成されている。

本願の請求項３に記載の技術によれば、請求項１に記載の画像表示装置の前記表示制御部は、複数の視点でパン・フォーカスの平行法により撮影した複数の視点画像を表示する際に、前記移動体の移動速度に基づいて前記視点画像の輻輳位置を調整するように構成されている。

本願の請求項４に記載の技術によれば、請求項１に記載の画像表示装置の前記表示制御部は、ズーム操作に対応した視点間隔の画像を前記表示部に表示させるように構成されている。

本願の請求項５に記載の技術によれば、請求項１に記載の画像表示装置は、前記移動体装置のカメラ部の視線方向を、前記頭部の姿勢に対し、パン、チルト、ロールの少なくとも１方向にオフセットさせるように構成されている。

本願の請求項６に記載の技術によれば、請求項１に記載の画像表示装置は、前記ユーザーに触感又は振動により操作感をフィードバックする操作感フィードバック部をさらに備え、前記移動体装置が移動中に受ける加速度に基づくフィードバックを前記ユーザーに行なうように構成されている。

本願の請求項７に記載の技術によれば、請求項１に記載の画像表示装置の前記表示制御部は、前記移動体装置で撮影した実世界の画像にＡＲ画像を重畳して表示させるように構成されている。

本願の請求項８に記載の技術によれば、請求項７に記載の画像表示装置の前記表示制御部は、前記移動体装置の現在位置、撮影した画像に含まれる物体、又は、前記移動体装置の状態の少なくともいずれかに応じた前記ＡＲ画像を表示させるように構成されている。

本願の請求項９に記載の技術によれば、請求項１に記載の画像表示装置の前記表示制御部は、前記移動体装置と前記ユーザーの位置情報を表示させるように構成されている。

本願の請求項１０に記載の技術によれば、請求項１に記載の画像表示装置の前記表示制御部は、前記移動体装置を追跡しながら撮影するオート・トラッカーの撮影画像をさらに表示させるように構成されている。

本願の請求項１１に記載の技術によれば、請求項１に記載の画像表示装置は、前記ユーザーの目線で見える自分目線画像を取得する自分目線画像取得部をさらに備えている。そして、前記表示制御部は、前記移動体装置で撮影した移動体目線画像と前記自分目線画像を切り替えて表示させるように構成されている。

本願の請求項１２に記載の技術によれば、請求項１に記載の画像表示装置の前記表示制御部は、前記移動体装置の複数の視点位置から撮影された画像を前記頭部の姿勢に応じて切り換えて表示させるように構成されている。

本願の請求項１３に記載の技術によれば、請求項１に記載の画像表示装置の前記表示制御部は、前記移動体装置で撮影した動画像に含まれる揺れを補正して表示させるように構成されている。

また、本願の請求項１４に記載の技術は、
ユーザーの頭部の姿勢を検出する姿勢検出ステップと、
移動体装置で撮影した画像の表示を、前記頭部の姿勢に基づいて制御する表示制御ステップと、
を有する画像表示方法である。

また、本願の請求項１５に記載の技術は、
移動しながら撮影する移動体装置と、
前記移動体装置の撮影画像を、ユーザーの頭部の姿勢に応じて表示する画像表示装置と、
を具備する画像表示システムである。

但し、ここで言う「システム」とは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。

また、本願の請求項１６に記載の技術は、
カメラ部と、
カメラ部の視線方向を制御するカメラ台と、
当該装置を移動させる移動部と、
前記カメラ部による撮影画像を含むデータの通信を行なう通信部と、
を具備し、
前記カメラ部は、パン・フォーカスの平行法により撮影を行なう複数の視点のカメラを備える、
移動体装置である。

本願の請求項１７に記載の技術によれば、請求項１６に記載の移動体装置は、前記複数の視点のカメラ間の視点間距離を変更しながら全天周画像を撮影するように構成されている。

本願の請求項１８に記載の技術によれば、請求項１６に記載の移動体装置は、視点間距離が固定された前記複数の視点のカメラで撮影した画像から、前記カメラの視点の外側の画像を外挿するように構成されている。

また、本願の請求項１９に記載の技術は、
ユーザーの頭部の姿勢を検出する姿勢検出部、
移動体装置で撮影した画像の表示を、前記頭部の姿勢に基づいて制御する表示制御部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラムである。

本願の請求項１９に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項１９に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項１に係る画像表示装置と同様の作用効果を得ることができる。

本明細書で開示する技術によれば、ラジコンなどの移動体装置に搭載したカメラで撮影した一人称視点画像をユーザーの眼の前に配置された画面上に表示して、臨場感のある画像を提示することができる、優れた画像表示装置及び画像表示方法、画像表示システム、移動体装置、並びにコンピューター・プログラムを提供することができる。

本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、本明細書で開示する技術の一実施形態に係る画像表示システム１００の構成を模式的に示した図である。 図２は、ヘッド・マウント・ディスプレイ１１０を装着したユーザーを正面から眺めた様子を示した図である。 図３は、図２に示したヘッド・マウント・ディスプレイ１１０を装着したユーザーを上方から眺めた様子を示した図である。 図４は、ヘッド・マウント・ディスプレイ１１０の内部構成例を示した図である。 図５は、姿勢・位置検出部４０４が検出する姿勢の座標系を示した図である。 図６は、移動体装置１２０の内部構成例を示した図である。 図７は、移動体装置１２０側で撮影された画像をヘッド・マウント・ディスプレイ１１０で表示するための、制御部４０１の機能的構成を模式的に示した図である。 図８Ａは、カメラ台６０６がロール、チルト、パンの各方向に視線を制御できるようにカメラ部６０５を搭載している様子を示した図である。 図８Ｂは、ステレオ・カメラを構成する左眼用カメラと右眼用カメラ間の距離が可変である様子を示した図である。 図８Ｃは、自動車の移動体装置１２０−２の本体に主カメラ８０１と、さらにその後方に副カメラ８０２を搭載している様子を示した図である。 図９は、ユーザーの頭部の運動に応じて、表示パネル４０９に映し出す表示画角の位置及び姿勢を移動させる様子を示した図である。 図１０は、移動体装置１２０側で撮影した全天周画像などの広角画像を、ヘッド・マウント・ディスプレイ１１０側でユーザーの頭部の姿勢に追従させて表示する動作シーケンス例を示した図である。 図１１は、移動体装置１２０側で撮影した全天周画像などの広角画像を、ヘッド・マウント・ディスプレイ１１０側でユーザーの頭部の姿勢に追従させて表示する動作シーケンスの変形例を示した図である。 図１２Ａは、移動体装置１２０の速度情報に基づいて、ヘッド・マウント・ディスプレイ１１０側で３次元の撮影画像を表示する際の輻輳位置の制御方法を説明するための図である。 図１２Ｂは、移動体装置１２０の速度情報に基づいて、ヘッド・マウント・ディスプレイ１１０側で３次元の撮影画像を表示する際の輻輳位置の制御方法を説明するための図である。 図１２Ｃは、移動体装置１２０の速度情報に基づいて、ヘッド・マウント・ディスプレイ１１０側で３次元の撮影画像を表示する際の輻輳位置の制御方法を説明するための図である。 図１３Ａは、ズームに合わせて視点間距離ｄを変えて３次元画像を撮影する方法を説明するための図である。 図１３Ｂは、ズームに合わせて視点間距離ｄを変えて３次元画像を撮影する方法を説明するための図である。 図１４は、頭部を上方向にチルトさせ、移動体装置１２０−２に搭載されたカメラ部６０５も上方向にチルトさせる様子を示した図である。 図１５は、移動体装置１２０−２に搭載されたカメラ部６０５のチルト軸を、ユーザーの頭部のチルト軸よりも上方向にΔθ_yだけ回転させた位置に固定した様子を示した図である。 図１６は、カメラ部６０５の座標系を、ユーザーの頭部の座標系に対し、パン、チルト、ロールの各方向にオフセット設定した様子を示した図である。 図１７は、移動体装置１２０の撮影画像の表示画面の小画面としてユーザーの位置情報を表示する様子を示した図である。 図１８は、ユーザーの位置情報を大画面に表示し、撮影画像を小画面に表示する様子を示した図である。 図１９は、ユーザーの位置情報の表示例を示した図である。 図２０は、ユーザーの位置情報の表示例を示した図である。 図２１は、カメラ２１０１を搭載したオート・トラッカー２１００で、上空を飛翔する移動体装置１２０−１の後方を追跡している様子を示した図である。 図２２は、オート・トラッカー２１００のカメラ２１０１で移動体装置１２０−１を後方から撮影した画像を例示した図である。 図２３は、自動車の移動体装置１２０−２で撮影した車目線画像を例示した図である。 図２４は、ヘッド・マウント・ディスプレイ１１０を装着したユーザーが走行中の移動体装置１２０−３を目で追う様子を例示した図である。 図２４は、外側カメラ４１３によって撮影された、移動体装置１２０−３を目で追うユーザーの自分目線画像を例示した図である。 図２６は、移動体装置１２０で複数の視点位置において撮影した画像の配置例を示した図である。 図２７は、ユーザーの頭部の上下チルトに応じて観察画像が台形歪みを生じる様子を示した図である。 図２８は、移動体装置１２０−２で撮影する車目線画像（リアルな世界）に対して、仮想的な障害物２８０１や、禁止エリア２８０２がＡＲ表示されている様子を示した図である。

以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

Ａ．システム構成
図１には、本明細書で開示する技術の一実施形態に係る画像表示システム１００の構成を模式的に示している。図示の画像表示システム１００は、ユーザーが頭部又は顔部に装着して用いる画像表示装置（ヘッド・マウント・ディスプレイ）１１０と、飛行機（若しくはヘリコプター、その他の飛翔体）、自動車、船舶などの移動する模型からなる移動体装置１２０−１、１２０−２、１２０−３…と、移動体装置１２０を無線で操縦するコントローラー１３０で構成される。移動体装置１２０−１、１２０−２、１２０−３…は、それぞれ無線カメラ（図示しない）を搭載し、移動中に風景を撮影している。コントローラー１３０は、例えばスマートフォンなどの多機能情報端末でもよく、移動体装置１２０の操縦用アプリケーションを起動している。

ヘッド・マウント・ディスプレイ１１０と移動体装置１２０間、コントローラー１３０と移動体装置１２０間は、例えばワイヤレス・ネットワークや赤外線通信などにより無線接続される。

移動体装置１２０は、無線カメラ（図示しない）を、パン、チルト、ヨーの各軸回りに姿勢変更可能なカメラ台（図示しない）を介して搭載している。この無線カメラは、全天周画像若しくは全天球画像、あるいは半天周以下のパノラマ画像を撮影することができる。あるいは、無線カメラは、魚眼レンズを用いて広角撮影することができる。

移動体装置１２０は、無線カメラによる撮影画像を、コントローラー１３０やヘッド・マウント・ディスプレイ１１０に送信する。但し、移動体装置１２０とヘッド・マウント・ディスプレイ１１０の間で撮影画像を直接転送できる場合には、移動体装置１２０がコントローラー１３０に撮影画像を転送することは必須ではなく、また、コントローラー１３０とヘッド・マウント・ディスプレイ１１０間の無線接続も必須ではない。以下では、移動体装置１２０とヘッド・マウント・ディスプレイ１１０の間でデータ通信を直接行なえることを前提として、コントローラー１３０についての詳細な説明を省略する。

なお、図１に示す例では、ヘッド・マウント・ディスプレイ１１０を装着したユーザー自身がコントローラー１３０で移動体装置１２０を操縦しているが、ヘッド・マウント・ディスプレイ１１０で移動体装置１２０からの撮影画像を楽しむユーザーとは別の者がコントローラー１３０で移動体装置１２０を操縦するようにしてもよい。

図２には、ヘッド・マウント・ディスプレイ１１０を装着したユーザーを正面から眺めた様子を示している。図示のヘッド・マウント・ディスプレイ１１０は、眼鏡形状に類似した構造体であり、装着したユーザーの左右の眼を直接覆うように構成されている。ヘッド・マウント・ディスプレイ１１０本体の内側の左右の眼に対向する位置には、ユーザーが観察する表示パネル（図２では図示しない）が配設されている。表示パネルは、例えば有機ＥＬ素子や液晶ディスプレイなどのマイクロ・ディスプレイで構成される。

眼鏡形状をしたヘッド・マウント・ディスプレイ１１０本体前面のほぼ中央には、周囲画像（ユーザーの視界）入力用の外側カメラ４１３が設置されている。また、支持体の左右の両端付近にそれぞれマイクロフォン２０１、２０２が設置されている。マイクロフォン２０１、２０２が２つあることで、中央に定位した音声（ユーザーの声）だけを認識することで、周囲の雑音や他人の話声と分離することができ、例えば音声入力による操作時の誤動作を防止することができる。

図３には、図２に示したヘッド・マウント・ディスプレイ１１０を装着したユーザーを上方から眺めた様子を示している。図示のヘッド・マウント・ディスプレイ１１０は、ユーザーの顔面と対向する側面に、左眼用及び右眼用の表示パネルを持つ。表示パネルは、例えば有機ＥＬ素子や液晶ディスプレイなどのマイクロ・ディスプレイで構成される。左右の表示パネルの表示画像は、それぞれの虚像光学部を通過するにより拡大虚像としてユーザーの左右の眼に観察される。また、眼の高さや眼幅にはユーザー毎に個人差があるため、左右の各表示系と装着したユーザーの眼とを位置合わせする必要がある。図３に示す例では、右眼用の表示パネルと左眼用の表示パネルの間に眼幅調整機構を装備している。

図４には、ヘッド・マウント・ディスプレイ１１０の内部構成例を示している。以下、各部について説明する。

制御部４０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４０１ＡやＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４０１Ｂを備えている。ＲＯＭ４０１Ａ内には、制御部４０１で実行するプログラム・コードや各種データが格納されている。制御部４０１は、ＲＡＭ４０１Ｂへロードしたプログラムを実行することで、画像の表示制御を始め、ヘッド・マウント・ディスプレイ１１０００全体の動作を統括的にコントロールする。ＲＯＭ４０１Ａに格納するプログラムやデータとして、画像の表示制御プログラムや、移動体装置１２０やコントローラー１３０など外部機器との通信処理プログラム、当該装置１１０に固有の識別情報などを挙げることができる。画像の表示制御プログラムは、例えば、移動体装置１２０から受信した撮影画像の表示制御を行なうが、この点の詳細については後述に譲る。

入力操作部４０２は、キーやボタン、スイッチなど、ユーザーが入力操作を行う１以上の操作子を備え、操作子を介したユーザーの指示を受け付けて、制御部４０１に出力する。また、入力操作部４０２は、リモコン受信部４０３で受信したリモコン・コマンドからなるユーザーの指示を同様に受け付けて、制御部４０１に出力する。

姿勢・位置検出部４０４は、当該ヘッド・マウント・ディスプレイ１１０を装着したユーザーの頭部の姿勢を検出するユニットである。姿勢・位置検出部４０４は、ジャイロ・センサー、加速度センサー、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサー、地磁気センサーのいずれか１つ、又は、各センサーの長所及び短所を考慮して２以上のセンサーの組み合わせにより構成される。

図５には、姿勢・位置検出部４０４が検出する姿勢の座標系を示している。表示画像（拡大虚像）の奥行き方向がｚ軸、水平方向がｙ軸、垂直方向がｘ軸であり、このｘｙｚ軸の原点位置を視点位置とする。したがって、ロールθ_zはユーザーの頭部のｚ軸回りの運動、チルトθ_yはユーザーの頭部のｙ軸回りの運動、パンθ_xはユーザーの頭部のｘ軸回りの運動に相当する。姿勢・位置検出部４０４は、ユーザーの頭部のロール、チルト、パンの各方向の動き（θ_z，θ_y，θ_x）や頭部の平行移動を検出すると、制御部４０１に出力する。後述するように、制御部４０１は、移動体装置１２０における撮影画像などを表示パネル４０９の画面に表示する際に、姿勢・位置検出部４０４が検出した頭部の動きを打ち消すように表示画角を移動させることで、ユーザーの頭部の動きに追従した画像を提示することができる。

状態検出部４１１は、ヘッド・マウント・ディスプレイ１１０を装着したユーザーの状態に関する状態情報を取得して、制御部４０１に出力する。状態情報として、例えば、ユーザーの作業状態（ユーザーのヘッド・マウント・ディスプレイ１１０の装着の有無）や、ユーザーの行動状態（静止、歩行、走行などの移動状態、瞼の開閉状態、視線方向）、精神状態（表示画像を観察中に没頭若しくは集中しているかなどの興奮度、覚醒度、感情や情動など）、さらには生理状態を取得する。また、状態検出部４１１は、これらの状態情報をユーザーから取得するために、機械スイッチなどからなる装着センサーや、ジャイロ・センサー、加速度センサー、速度センサー、圧力センサー、体温センサー、発汗センサー、筋電位センサー、眼電位センサー、脳波センサーなどの各種の状態センサー（いずれも図示しない）を備えていてもよい。

操作感フィードバック（ＦＢ）部４１２は、振動発生器などを備え、触感や振動により、ヘッド・マウント・ディスプレイ１１０を装着したユーザーに操作感フィードバックを与える。

外側カメラ４１３は、例えば眼鏡形状又は帽子形状をしたヘッド・マウント・ディスプレイ１１０本体前面のほぼ中央に配置され（図２を参照のこと）、周囲画像を撮影することができる。また、状態情報検出部４１１で検出したユーザーの視線方向に合わせて外側カメラ４１３のパン、チルト、ロール方向の姿勢制御を行なうことで、外側カメラ４１３でユーザーの自分目線の画像を撮影することができる。また、外側カメラ４１３を用いて、移動体装置１２０の相対速度を測定することができる。

通信部４０５は、移動体装置１２０やコントローラー１３０などの外部機器との通信処理、並びに通信信号の変復調並びに符号化復号処理を行なう。例えば、通信部４０５は、無線カメラが撮影した画像を移動体装置１２０から受信する。通信部４０５で受信し復調及び復号処理された画像あるいはその他の受信データは制御部４０１に供給される。また、制御部４０１は、外部機器への送信データを通信部４０５から送出する。

通信部４０５の構成は任意である。例えば、通信相手となる外部機器との送受信動作に使用する通信規格に応じて、通信部４０５を構成することができる。通信規格は、有線、無線のいずれの形態であってもよい。ここで言う通信規格として、ＭＨＬ（Ｍｏｂｉｌｅ Ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ Ｌｉｎｋ）やＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信、赤外線通信などを挙げることができる。

記憶部４０６は、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などからなる大容量記憶装置である。記憶部４０６は、制御部７０１で実行するアプリケーション・プログラムや、移動体装置１２０で撮影された全天周画、魚眼画像、パノラマ画像などのデータを記憶している。

画像処理部４０７は、制御部４０１から出力される画像信号に対して画質補正などの信号処理をさらに行なうとともに、表示パネル４０９の画面に合わせた解像度に変換する。そして、表示駆動部４０８は、表示パネル４０９の画素を行毎に順次選択するとともに線順次走査して、信号処理された画像信号に基づく画素信号を供給する。

表示パネル４０９は、例えば有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子や液晶ディスプレイなどのマイクロ・ディスプレイで構成される。虚像光学部４１０は、表示パネル４０９の表示画像を拡大投影して、ユーザーには拡大虚像として観察させる。

虚像光学部４１０は、例えば、表示パネル４０９の表示画像を１０００倍以上拡大して、ユーザーの瞳から２０メートル先に約７５０インチの虚像を網膜に結像するが、これは表示画素の水平画角にして４５．０９度に相当する。

図６には、移動体装置１２０の内部構成例を示している。図１にも示したように、移動体装置１２０は、飛行機やヘリコプター、自動車、船舶などさまざまな移動体の模型からなるが、基本的には移動機構部６０３が相違するだけで、その他の機能的構成はほぼ同様であるとする。

記憶部６０２は、ＲＡＭやＲＯＭなどのメモリ装置、並びにハード・ディスク・ドライブやＳＳＤなどの大容量記憶装置によって実現される。記憶部６０２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６０１によって実行されるプログラムや、カメラによる撮影画像を保存するのに使用される。ＣＰＵ６０１は、記憶部６０２に記憶されているプログラムを実行することによって、移動体装置１２０内の各部を制御する。

移動機構部６０３は、移動体装置１２０が飛行機又はヘリコプター、自動車、船舶など移動体の種類に応じた機構を備えており、ＣＰＵ６０１からの移動指示に応じて当該機構が動作して、移動体装置１２０本体を移動させる。

位置姿勢速度検出部６０４は、ジャイロ・センサー、加速度センサー、ＧＰＳセンサー、地磁気センサーなどを備えており、移動体装置１２０本体の現在の位置並びに姿勢に関する情報や、移動機構部６０３による移動速度に関する情報を取得する。例えば自動車の移動体装置１２０−２の場合、位置姿勢速度検出部６０４は、車輪を回転するモーターの回転数と、減速機のギア比、及びタイヤの直径から移動速度を計算することが可能である。これらを出荷前に実測しておき、記憶部６０２内にデータを格納しておけば、使用時にはモーターの回転数を測定するだけで速度を導出することができる。

カメラ部６０５は、例えばステレオ・カメラで構成され３次元画像を撮影することができる。カメラ部６０５は、カメラ台６０６を介して移動体装置１２０に搭載される。カメラ部６０５は、移動体装置１２０の正面方向（若しくは、移動機構部６０３の動作によって移動する際の進行方向）に視線を向けた姿勢を基本姿勢とし、主に一人称視点（ＦＰＶ）の画像を撮影する。

カメラ台６０６は、ロール、チルト、パンの各方向に動作可能であり、ＣＰＵ６０１からの視線変更指示に応じてカメラ部６０５の視線を変更し、これによって、カメラ部６０５は、パノラマ画像のような広角画像や、全天周画像を撮影することができる。図８Ａには、カメラ台６０６がロール、チルト、パンの各方向に視線を制御できるようにカメラ部６０５を搭載している様子を示している。

カメラ部６０５は、ステレオ・カメラを構成する２台のカメラの視点間距離ｄを調整することかできる。図８Ｂには、ステレオ・カメラを構成する左眼用カメラと右眼用カメラの視点間距離ｄが可変である様子を示している。本実施形態では、左眼用カメラと右眼用カメラに輻輳はなく、互いの視線はほぼ平行をなしているものとする。より好ましくは、左眼用カメラと右眼用カメラは、パン・フォーカス、すなわち被写体深度を深くして撮影する。

また、カメラ部６０５は、一人称視点画像を撮影する主カメラの他に、移動体装置１２０本体の後方から撮影する副カメラなど、複数のカメラで構成するようにしてもよい。図８Ｃには、自動車の移動体装置１２０−２の本体に主カメラ８０１と、さらにその後方に副カメラ８０２を搭載している様子を示している。

通信部６０７は、ヘッド・マウント・ディスプレイ１１０やコントローラー１３０など外部機器との通信処理、並びに通信信号の変復調並びに符号化復号処理を行なう。例えば、通信部６０７は、コントローラー１３０からの移動命令を受信すると、ＣＰＵ６０１は移動機構部６０３に対して移動を指示する。また、通信部６０７は、カメラ部６０５で撮影した画像や、位置姿勢検出部６０４で検出した移動体装置１２０本体の位置並びに姿勢情報を、ヘッド・マウント・ディスプレイ１１０やコントローラー１３０に送信する。

本実施形態に係る画像表示システム１００では、移動体装置１２０に搭載されたカメラ部６０５による撮影画像が、コントローラー１３０経由で、若しくはヘッド・マウント・ディスプレイ１１０に直接転送されるので、ユーザーは、移動体装置１２０からの撮影画像をヘッド・マウント・ディスプレイ１１０で楽しむことができる。

また、本実施形態に係る画像表示システム１００では、移動体装置１２０に搭載されたカメラ部６０５によって撮影されたパノラマ画像などの広角画像や全天周画像をヘッド・マウント・ディスプレイ１１０で再生表示する際に、ＣＰＵ６０１が、姿勢・位置検出部６０４が検出したユーザーの頭部の動きを打ち消すように表示画角を移動させることで、ユーザーの頭部の動きに追従した画像を映し出すようにする。また、ヘッド・マウント・ディスプレイ１１０側では、必要に応じて、表示画角内の実画像に仮想的な画像情報であるＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）画像を重畳した合成画像の表示を行なう。

図７には、移動体装置１２０側で撮影された画像をヘッド・マウント・ディスプレイ１１０で表示するための、制御部４０１の機能的構成を模式的に示している。図示の機能的構成は、例えば制御部４０１において所定のアプリケーション・プログラムを実行するという形態で実現する。

表示画角制御部７０１は、姿勢・位置検出部４０４を通じて得られるユーザーの頭部の運動に応じて、表示パネル４０９に映し出す表示画角の位置及び姿勢を移動させ（図５を参照のこと）、決定した表示画角を画像切り出し部７０２に出力する。

画像切り出し部７０２は、通信部４０５で受信した移動体装置１２０における撮影画像から、表示画角制御部７０１で決定した表示画角の画像を切り出して、画像合成部７０３に出力する。

画像合成部７０３は、表示画角内の実画像に対し、必要に応じてＡＲ画像を重畳した合成画像を生成して、後段の画像処理部４０７に出力する。例えば、姿勢・位置検出部４０４からユーザーの現在位置を取得し、あるいは、移動体装置１２０の現在位置を取得すると、これらの位置情報に適合する案内や障害物などのＡＲ画像を合成する（後述）。また、障害物との衝突などＡＲ画像に対応した操作感フィードバックをユーザー与えたいときには、画像合成部７０３は、操作感フィードバック部４１２にフィードバックの出力を指示する。

また、画像合成部７０３は、表示画角で切り出した画像を表示パネル４０９に表示出力する際に生じる歪みなどを補正処理する。

図９には、ユーザーの頭部の運動に応じて、表示パネル４０９に映し出す表示画角の位置及び姿勢を移動させる様子を図解している。

姿勢・位置検出部４０４により、ユーザーの頭部すなわち視線が右パン方向に移動したことが検出されると、表示画角制御部７０１は、図中の参照番号９０１で示す矢印方向に、表示画角９１０を移動する。この結果、画像切り出し部７０２が広角画像から切り出し、表示パネル４０９に表示される画像も遷移する。

また、姿勢・位置検出部４０４により、ユーザーの頭部すなわち視線が左パン方向に移動したことが検出されると、表示画角制御部７０１は、図中の参照番号９０２で示す矢印方向に、表示画角９１０を移動する。

また、姿勢・位置検出部４０４により、ユーザーの頭部すなわち視線が上チルト方向に移動したことが検出されると、表示画角制御部７０１は、図中の参照番号９０３で示す矢印方向に、表示画角９１０を移動する。

また、姿勢・位置検出部４０４により、ユーザーの頭部すなわち視線が下チルト方向に移動したことが検出されると、表示画角制御部７０１は、図中の参照番号９０４で示す矢印方向に、表示画角９１０を移動する。

また、姿勢・位置検出部４０４により、ユーザーの頭部すなわち視線が右ロール方向に移動したことが検出されると、表示画角制御部７０１は、図中の参照番号９０５で示す矢印方向に、表示画角９１０を移動する。

また、姿勢・位置検出部４０４により、ユーザーの頭部すなわち視線が左ロール方向に移動したことが検出されると、表示画角制御部７０１は、図中の参照番号９０６で示す矢印方向に、表示画角９１０を移動する。

図１０には、移動体装置１２０側で撮影した全天周画像などの広角画像を、ヘッド・マウント・ディスプレイ１１０側でユーザーの頭部の姿勢に追従させて表示する動作シーケンス例を示している。図示の動作シーケンスでは、ヘッド・マウント・ディスプレイ１１０と移動体装置１２０間で直接データ通信が行なわれるが、コントローラー１３０など他の装置が介在することもある。

ヘッド・マウント・ディスプレイ１１０は、コントローラー１３０からの遠隔操作により移動中の移動体装置１２０に対して、撮影画像の要求を送信する（ＳＥＱ１００１）。

移動体装置１２０は、撮影画像の要求に応答して、カメラ台６０６を駆動させながら、カメラ部６０５で画像撮影処理を実行する（ＳＥＱ１００２）。そして、撮影画像を処理して、全天周画像などの広角画像を生成すると、ヘッド・マウント・ディスプレイ１１０に送信する（ＳＥＱ１００３）。但し、移動体装置１２０は、ヘッド・マウント・ディスプレイ１１０からの要求に応じて撮影を行なうのではなく、常時撮影処理を行ない、所定のタイミングで全天周画像などの広角画像をヘッド・マウント・ディスプレイ１１０に送信するようにしてもよい。

なお、移動体装置１２０は、画像送信時あるいはその他のタイミングで、位置姿勢速度検出部６０４で測定した、移動体装置１２０本体の位置、姿勢、速度の情報を併せて送信するようにしてもよい。

ヘッド・マウント・ディスプレイ１１０側では、姿勢・位置検出部４０４によりユーザーの頭部の運動すなわち視線方向を検出する（ＳＥＱ１００４）。そして、検出した視線方向に応じて、受信した撮影画像から切り出す表示画角の位置を制御し、切り出した画像を表示パネル４０９に表示する（ＳＥＱ１００５）。

図１１には、移動体装置１２０側で撮影した全天周画像などの広角画像を、ヘッド・マウント・ディスプレイ１１０側でユーザーの頭部の姿勢に追従させて表示する動作シーケンスの変形例を示している。図示の動作シーケンスでは、ヘッド・マウント・ディスプレイ１１０と移動体装置１２０間で直接データ通信が行なわれるが、コントローラー１３０など他の装置が介在することもある。

ヘッド・マウント・ディスプレイ１１０側では、姿勢・位置検出部４０４によりユーザーの頭部の運動すなわち視線方向をモニターしている（ＳＥＱ１１０１）。

そして、ヘッド・マウント・ディスプレイ１１０は、コントローラー１３０からの遠隔操作により移動中の移動体装置１２０に対して、撮影画像の要求を送信する（ＳＥＱ１１０２）。その際、ユーザーの視線情報も併せて送信する。

移動体装置１２０は、撮影画像の要求に応答して、カメラ台６０６を駆動させながら、カメラ部６０５で画像撮影処理を実行する（ＳＥＱ１１０３）。そして、撮影画像を処理して、全天周画像などの広角画像を生成すると、ユーザーの視線に応じた表示画角で画像を切り出して（ＳＥＱ１１０４）、ヘッド・マウント・ディスプレイ１１０に送信する（ＳＥＱ１１０５）。

なお、移動体装置１２０は、画像送信時に、位置姿勢速度検出部６０４で測定した、移動体装置１２０本体の位置、姿勢、速度の情報を併せて送信するようにしてもよい。例えば自動車の移動体装置１２０−２の場合、モーターの回転数と、減速機のギア比、及びタイヤの直径から移動速度を計算することが可能である。あるいは、ヘッド・マウント・ディスプレイ１１０側からでも、外側カメラ４１３を用いて、移動体装置１２０の相対速度を測定することができる。

そして、ヘッド・マウント・ディスプレイ１１０は、受信した画像を表示パネル４０９に表示する（ＳＥＱ１１０６）。

移動体装置１２０側で撮影した全天周画像などの広角画像を、ヘッド・マウント・ディスプレイ１１０側でユーザーの頭部の姿勢に追従させて表示する際、図１０又は図１１のいずれの動作シーケンスに従って実現してもよい。以下では、便宜上、図１０に示した動作シーケンスに従うことを前提として説明する。

Ｂ．画像処理アプリケーション
移動体装置１２０側で撮影された画像をヘッド・マウント・ディスプレイ１１０で表示する際の処理の詳細について、以下で説明する。

Ｂ−１．３次元全天周画像の表示方法
カメラ部６０５は、図８Ｂに示したように、ステレオ・カメラで構成される。また、左眼用カメラと右眼用カメラに輻輳はなく、互いの視線はほぼ平行をなし、パン・フォーカスで撮影している。

一方、人は、高速で動いているときには遠くを見るが、低速で動いているときには近くを見る傾向にある。

そこで、ヘッド・マウント・ディスプレイ１１０は、移動体装置１２０における撮影画像を表示するときには、例えば画像合成部７０３の処理として、移動体装置１２０の速度情報に基づいて輻輳位置を調整するようにするとよい。

左眼用カメラと右眼用カメラの各々で、パン・フォーカスの平行法で撮影した画像をＩ_L、Ｉ_Rとおくと（図１２Ａを参照のこと）、移動体装置１２０の速度が増大するに伴い、左右の画像Ｉ_L、Ｉ_Rの重なりが小さくなるようにして、輻輳位置すなわち左右の眼の視線が交差する位置を離して、ユーザーには遠くほどよく見える画像を観察させる（図１２Ｂを参照のこと）。また、輻輳位置の調整と併せて、画面定位（輻輳位置）以外の領域をぼかすようなピンと位置調整を行なうことで、ユーザーには遠くほどよく見せる視覚効果が高まり、速度の速い移動体に乗っているという臨場感が増す。

一方、移動体装置１２０の速度が低下するに伴い、左右の画像Ｉ_L、Ｉ_Rの重なりが大きくなるようにして、輻輳位置すなわち左右の眼の視線が交差する位置を手前にして、ユーザーには近くほどよく見える画像を観察させる（図１２Ｃを参照のこと）。また、輻輳位置の調整と併せて、画面定位以外の領域をぼかすようなピンと位置調整を行なうことで、ユーザーには近くほどよく見せる視覚効果が高まり、速度の遅い移動体に乗っているという臨場感が増す。

要するに、速度による人間の焦点を含めた視点移動と連動させることより、自然にビューイングできるようになるという効果がある。また、移動体装置１２０の速度が上がってきたら、ユーザーはヘッド・マウント・ディスプレイ１１０越しにより遠くが見えるようになり、逆に速度が下がると近くが見えるようになる。

Ｂ−２．３次元全天周画像の撮影方法
全天周表示用の３次元画像を撮影する際、例えば一部のズームを行なうと、望遠鏡で覗いているような、欠き割り的な画像になってしまう。これは視点間距離が一定であるためである。そこで、移動体装置１２０側では、左右のカメラの視点間距離を移動できるステレオ・カメラを用い、ズームの倍率に従って視点間距離を移動させながら撮影することで、自然な３次元の全天周画像を得るようにする。あるいは、左眼用カメラと右眼用カメラの視点間距離が固定されている場合には、カメラの視点の外側を外挿するなどの視点を広げる画像処理を移動体装置１２０又はヘッド・マウント・ディスプレイ１１０のいずれかで行なうようにしてもよい。

具体的には、移動体装置１２０側では、左眼用カメラと右眼用カメラの視点間距離ｄを、例えば５０ｍｍから１００ｍｍの範囲で移動できるようにステレオ・カメラを構成する（図１３Ａを参照のこと）。そして、ズームインに合わせて視点間距離を長くし、逆に、ズームアウトしたときに視点間距離を短くする。これを、ステレオ・カメラの設置状態でズームと連動して視点間を可変にしてこの状態を作り出せるようにする。図１３Ｂには、ズームアウトしたときに左眼用カメラと右眼用カメラの視点間距離ｄを５０ｍｍに短縮した様子を示している。この際、ヘッド・マウント・ディスプレイ１１０又はコントローラー１３０から直接、カメラ部６０５を制御して、３次元画像をライブで閲覧することもある。あるいは、複数の視点間隔を変えた撮影画像を記録しておき、それを閲覧時のズーム操作に連動して再生する画像の視点間隔を切り替え制御する。あるいは、閲覧時に、ズームに連動して、間の視点間の画像を画像処理により生成するようにしてもよい。

また、ステレオ・カメラの視点間距離が固定されている場合、視点間隔を切り替えた視点画像を画像処理により合成し、ズームに連動させてその合成画像に切り替えることによって、視点移動と同様の、自然なズームを行なうことも可能である。

移動体装置１２０側で３次元撮影した全天周画像を、ヘッド・マウント・ディスプレイ１１０で閲覧する際、左右で表示する画像の視点間距離を切り替えていくことにより、視点移動の効果を得ることができる。但し、視点移動による３次元運動視差の効果を得ることはできない。３次元運動視差の効果を得るには、画像処理などさらに他の手段により、運動視差を考慮した視差を生成する必要がある。

Ｂ−３．ユーザーの頭部姿勢と撮影画像の連動
ユーザーの頭部のパン、チルト、ロール座標系（図５を参照のこと）と、カメラ部６０５のパン、チルト、ロール座標系（図８Ａを参照のこと）を一致させる場合、正面を向いているユーザーの頭部の動きに追従した表示画角の画像を映し出すと、移動体装置１２０が移動中は下の方が見えている間隔になる。例えば、自動車の移動体装置１２０−２の場合には、地面ばかりが見えることになる。このため、ユーザーは、正面に見える画像を表示させるには、頭部を上方向にチルトさせることで、移動体装置１２０−２に搭載されたカメラ部６０５も上方向にチルトさせる必要がある（図１４を参照のこと）。しかしながら、移動体装置１２０−２が移動中に、ユーザーが常に上を向いていると首が疲れてしまう。

この対策として、移動体装置１２０−２に搭載されたカメラ部６０５のチルト軸を、ユーザーの頭部のチルト軸よりも上方向にΔθ_yだけオフセットさせた位置に固定する方法が考えられる。

例えば、ユーザーは、ヘッド・マウント・ディスプレイ１１０を装着し、所望の角度Δθ_yだけ上を見上げた状態で、入力操作部４０３を通じて、カメラ部６０５のチルト軸のΔθ_yオフセットを教示するようにすればよい。図１５に示すように、Δθ_yオフセットを教示した後、ユーザーは正面を向き直しても、ユーザーの頭部に連動するカメラ部６０５の姿勢は上チルト方向にΔθ_yオフセットした位置に固定されたままである。

また、ヘッド・マウント・ディスプレイ１１０から直接、あるいはコントローラー１３０を介して、移動体装置１２０にカメラ部６０５のチルト軸のΔθ_yオフセット指示を送信するようにしてもよい。この場合、移動体装置１２０側では、例えばカメラ台６０６に対して座標系のオフセット処理が行なわれる。そして、チルト軸にオフセットを設定した状態で、ユーザーの頭部の動きに追従した撮影画像の切り出し、表示処理が行なわれる。

あるいは、移動体装置１２０に座標系のオフセットを指示するのではなく、ヘッド・マウント・ディスプレイ１１０の内部処理で同様の処理を実現することができる。例えば、表示画角制御部７０１は、ユーザーからチルト軸のΔθ_yオフセットが教示されたことに応じて、姿勢・位置検出部４０４が検出するユーザーの視線のチルト軸よりもΔθ_yだけ上チルト方向にオフセットした表示画角を設定するようにすればよい。

勿論、カメラ部６０５のチルト軸を上方向だけでなく下方向にΔθ_yだけオフセットさせることも可能である。同様に、パン方向の±Δθ_xオフセットや、ロール方向の±Δθ_zオフセットを設定して（図１６を参照のこと）、ユーザーの頭部の動きに追従した撮影画像の切り出し、表示処理を行なうことも可能である。

また、レーシングカーの移動体装置１２０−２が走行中にスピンするなど、移動体装置１２０がコントローラー１３０による操作が不能になったときには、スピン中のカメラ部６０５の撮影画像をそのままヘッド・マウント・ディスプレイ１１０側でライブ表示すると、ユーザーは視線を変えていないにも拘らず、表示される風景が高速に移動して、ユーザーは目を回してしまう。そこで、ユーザーの頭部の動きに拘わらず、撮影画像が目まぐるしく変わらないようにカメラ部６０５の座標系を設定する。あるいは、ある時点（例えば、スピン開始直後）の撮影画像をホールドし、そのときのカメラ部６０５の座標系を基準にして、ユーザーの視線の動きに追従した表示切り換え処理を行なうようにすればよい。

Ｂ−４．ユーザーへのフィードバック
ヘッド・マウント・ディスプレイ１１０が、触感や振動によりユーザーに操作感フィードバックを与える操作感フィードバック部４１２を備えることは既に述べた。ヘッド・マウント・ディスプレイ１１０は、ユーザーが身に付けるデバイスであり、触感や振動を直接与えることができ、有効なフィードバックとなる。

一方、移動体装置１２０は、位置姿勢速度検出部６０４として加速度センサーを装備しており、飛翔中、走行中、又は航行中に機体が受ける揺れや衝撃を検出することができる。

そこで、ヘッド・マウント・ディスプレイ１１０は、移動体装置１２０側で撮影した画像を表示している間、移動体装置１２０の加速度センサーの検出値を常時モニターして、移動体装置１２０が受ける揺れや衝撃に対応したフィードバックの出力を操作感フィードバック部４１２に指示する。

また、画像合成部７０３によりＡＲ表示した、実世界にない障害物などに移動体装置１２０が衝突したときにも、同様に、仮想的な衝撃に対応したフィードバックの出力を操作感フィードバック部４１２に指示する。

Ｂ−５．ＡＲ画像の表示
従来のＦＰＶでは、専ら、ラジコンに搭載したカメラの撮影画像をそのまま表示する。これに対し、本実施形態では、ヘッド・マウント・ディスプレイ１１０は、移動体装置１２０側で撮影した画像を表示する際に、実在しないＡＲ画像を重畳して表示する。

例えば、飛行機やヘリコプターなどの飛翔体の移動体装置１２０−１の場合にはパイロンなどのＡＲ画像、自動車（レーシングカー）などの陸上移動用の移動体装置１２０−２の場合にはサーキットなどのコースのＡＲ画像、ヨットなどの船舶の移動体装置１２０−３の場合にはブイなどのＡＲ画像を、撮影画像に重畳して表示する。

ＡＲ画像の配置場所が事前に位置登録されている場合には、ヘッド・マウント・ディスプレイ１１０は、撮影画像を表示中に、移動体装置１２０の現在位置を常時モニターして、該当する場所に到達したこと（該当する場所が撮影画像に入ってきたこと）により、ＡＲ画像の表示処理が起動する。パイロンやブイなどの移動体装置１２０の移動の指標になるＡＲ画像の他、移動体装置１２０の移動の妨げになる仮想的な障害物、移動体装置１２０が通過するのに危険な領域や他人の敷地内など禁止エリアをＡＲ画像で表示することもできる。図２８には、移動体装置１２０−２で撮影する車目線画像（リアルな世界）に対して、仮想的な障害物２８０１や、禁止エリア２８０２がＡＲ表示されている様子を示している。

また、ＡＲ画像表示の対象物体が事前に登録されている場合には、ヘッド・マウント・ディスプレイ１１０は、移動体装置１２０から送られてくる撮影画像を物体認識して、該当する物体が発見されたときに、ＡＲ画像の表示処理が起動する。対象物体として、ユーザーが探している商品や人、ペットなどの動物、植物、建造物などが挙げられる。

物体に対してＡＲ画像を表示する形態として、探していた商品などを強調する場合と、逆に（ユーザーに見せてはならない）物を画面から消す処理を行なう場合がある。

また、ＡＲ画像表示する状態が事前に登録されている場合には、ヘッド・マウント・ディスプレイ１１０は、移動体装置１２０が現在置かれている状態をモニターして、事前に登録されている状態に入ったことにより、ＡＲ画像の表示処理が起動する。ここで言う状態の一例として、コントローラー１３０からの受信電波が低下して制御不能になる状態が挙げられる。このような場合、電波が届かなくなる領域を「禁止エリア」に設定し、移動体装置１２０が禁止エリアに侵入するのを回避させるための案内をＡＲ画像として表示する。勿論、画像表示システム１００の運用として、禁止エリアを明示する看板など実在の案内も併せて設置してもよい。

さらに、移動体装置１２０が同じ位置や対象物体、状態になったとしても、ユーザー毎の特性（年齢、国籍、性別、性格など）や移動体装置１２０を操縦する技量によって、ＡＲ画像表示を変えるようにしてもよい。例えば、ユーザーが大人化子供かで、必要とするＡＲ画像が異なることが想定される。また、初心者は、高技能者よりも早めに危険を知らせるＡＲ画像を表示した方が好ましい。

Ｂ−６．ユーザーの相対位置表示
本実施形態に係る画像表示システム１００では、ユーザーは、コントローラー１３０を操作して移動体装置１２０を移動させながら、ヘッド・マウント・ディスプレイ１１０で撮影画像を観察することができる。ユーザー自身は移動しなくても、移動体装置１２０が移動した遠隔の場所の風景を楽しむことができる。

このとき、移動体装置１２０の位置姿勢速度検出部６０４が検出する位置情報をモニターすることで、どの場所を撮影しているのかを知ることができる。しかしながら、ユーザーは、撮影画像を見て、自分もそこに行ってみたいと思っても、いずれの方向に歩き出せば辿り着けるのか、瞬時には理解できない。

そこで、ヘッド・マウント・ディスプレイ１１０は、移動体装置１２０から送られてくる撮影画像内に、ユーザーと移動体装置１２０の相対位置関係を表示したＡＲ画像を併せて表示するようにしてもよい。ヘッド・マウント・ディスプレイ１１０は、ユーザーの位置情報を表示することにより、ＦＰＶを楽しむ以外に、ナビゲーション機能も得ることができる。

相対位置の画像表示は、例えば、ヘッド・マウント・ディスプレイ１１０内で、画像合成部７０３が、位置・姿勢検出部４０４が検出したユーザーの位置情報と、移動体装置１２０の位置姿勢速度検出部６０４が検出した移動体装置１２０の位置情報に基づいて、生成することができる。

ユーザーの位置情報を表示する形態として、例えば図１７に示すように、移動体装置１２０の撮影画像の表示画面の小画面としてユーザーの位置情報を表示することが考えられる。小画面は例えば地図画像であり、その画像中に、移動体装置１２０の現在位置やユーザーの現在位置を表す各アイコンが表示される。また、入力操作部４０２を介したユーザー操作などに応じて、図１８に示すように、ユーザーの位置情報を大画面に表示し、撮影画像を小画面に表示することもできる。

また、ユーザーの位置情報を表示する形態として、図１７や図１８に示したように北を上に配置する方法（Ｎｏｒｔｈ Ｕｐ）の他に、図１９に示すように、移動体装置１２０の移動方向を上にする方法や、図２０に示すように、ユーザーの視線方向を上にする方法なども考えられる。移動体装置１２０の移動方向は、位置姿勢速度検出部６０４により検出することができる。また、ユーザーの視線方向は姿勢・位置検出部４０４や状態検出部４１１により検出することができる。

また、図１７〜図２０に示した例では、地図画面上にユーザー並びに移動体装置１２０を配置することで、各々の絶対位置を示すことができるが、地図画面を用いず（例えば無地の画面上に）ユーザーと移動体装置１２０の相対位置を示すようにしてもよい。

なお、移動体装置１２０が潜水艦など水中を移動する場合には、ＧＰＳ信号の受信が困難なことがあるので、水中音響通信など代替手段により絶対位置情報を取得するようにしてもよい。

Ｂ−７．移動体装置のオート・トラッキング
これまでは、移動体装置１２０が撮影する、いわゆるＦＰＶ（一人称視点画像）を、ヘッド・マウント・ディスプレイ１１０に表示して楽しむ実施形態について説明してきた。ユーザーによっては、移動体装置１２０を含んだ風景を楽しみたいという要求がある。

そこで、移動体装置１２０の後方（あるいは、横でも可）を追尾するオート・トラッカーを配備して、オート・トラッカーが撮影する画像をヘッド・マウント・ディスプレイ１１０に表示するようにしてもよい。

図２１には、カメラ２１０１を搭載したオート・トラッカー２１００で、上空を飛翔する移動体装置１２０−１や移動体装置１２０−２の後方を追跡している様子を示している。また、図２２には、オート・トラッカー２１００のカメラ２１０１で移動体装置１２０−１を後方から撮影した画像を例示している。

また、図２１に示したようにオート・トラッカー２１００を飛翔させるのではなく、図８Ｃに示したように、移動体装置１２０の後方から撮影する副カメラを設置することで、安価に運用することもできる。

Ｂ−８．画面切り替え
これまでは、移動体装置１２０で撮影した遠隔地の風景画像（オート・トラッカー２１００の撮影画像を含む）をヘッド・マウント・ディスプレイ１１０に表示して楽しむ実施形態について説明してきた。

他方、外側カメラ４１３は、例えば眼鏡形状又は帽子形状をしたヘッド・マウント・ディスプレイ１１０本体前面のほぼ中央に配置され（図２を参照のこと）、周囲画像を撮影することができる。また、状態情報検出部４１１で検出したユーザーの視線方向に合わせて外側カメラ４１３のパン、チルト、ロール方向の姿勢制御を行なうことで、外側カメラ４１３でユーザーの自分目線の画像を撮影することができる。

そこで、入力操作部４０２を介したユーザー操作などに応じて、表示パネル４０９の画面を、移動体装置１２０からの撮影画像と、外側カメラ４１３による撮影画像に切り替えるようにしてもよい。図２３には、自動車の移動体装置１２０−２で撮影した車目線画像を例示している。図２４には、ヘッド・マウント・ディスプレイ１１０を装着したユーザーが走行中の移動体装置１２０−３を目で追う様子を例示している。また、図２５には、外側カメラ４１３によって撮影された、移動体装置１２０−３を目で追うユーザーの自分目線画像を例示している。

また、移動体装置１２０が搭載するカメラ部６０５は、少なくとも１台のカメラで、操縦者の一人称視点から撮影することを基本とするが、さらに他の視点位置から撮影する複数台のカメラを搭載していてもよい。

例えば、自動車の移動体装置１２０−２の場合、進行方向の正面の車目線で撮影するカメラ、左右それぞれのサイド・ミラーに映る風景を撮影するカメラ、ルーム・ミラーに映る風景を撮影するカメラ、計器類を覗き込んだときに映る風景を撮影するカメラなど、複数台のカメラを設置する。あるいは、カメラは１台であるが、カメラの視点位置を移動させるカメラ台６０６を装備してもよい。

このような場合、各視点位置のカメラの撮影画像を、例えば図２６に示すように配置する。図示の例では、車目線の撮影画像を中央に、その左右に左右それぞれのサイド・ミラー目線の撮影画像、上にルーム・ミラー目線の画像、下に計器類を覗く目線の撮影画像を配置している。そして、ヘッド・マウント・ディスプレイ１１０側では、ユーザーの頭部の動きに追従して表示画角を移動するのではなく、頭部が左を向くと左サイド・ミラー目線画像に、頭部が右を向くと右サイド・ミラー目線画像に、頭部が上を向くとルーム・ミラー目線画像に、頭部が下を向くと計器類を覗く目線画像に、それぞれ表示パネル４０９の画像を切り替える。また、ユーザーが頭部を正面に向き直すと、元の車目線画像に復帰させる。

Ｂ−９．画像補正
全天周など広角な撮影画像をより狭い表示画角で観察しているときに、ユーザーが頭部をチルトさせると、表示画角制御部７０１は、これに追従するように表示画角を上下方向に移動し、画像切り出し部７０２は、移動した後の表示画角で表示画像を切り出す（図９を参照のこと）。ここで、ユーザーが頭部を上方向にチルトして、表示画角を上方向に移動させたときには、表示画角の上端に行くほど射影面から遠くなる。したがって、表示画像は、表示パネル４０９の表示枠に対し、上端が短くなった台形状になる。同様に、ユーザーが頭部を下方向にチルトしたときには、表示画角の下端に行くほど射影眼から遠くなるので、表示画像は表示パネル４０９の表示枠に対し、下端が短くなった台形状になる（図２７を参照のこと）。観察する映像が台形では、ユーザーに違和感を与えてしまう。

そこで、例えば、画像合成部７０３は、ユーザーに観察される画像が常に長方形となるよう、台形歪み補正を行なうようにする。

Ｂ−１０．画像の安定化処理
例えば自動車の移動体装置１２０−２の場合、走行する路面の凹凸の影響などにより、撮影画像が縦揺れ又は横揺れを生じる。また、飛行機やヘリコプターなど飛翔体の移動体装置１２０−１の場合、気流を受けることなどにより、撮影画像に揺れが生じる。ヨットなど船舶の移動体装置１２０−３においても、航行中の水流や波を受けて、撮影画像に揺れが生じる。

一方、人は揺れのある画像を視聴していると、船酔いに似た症状を生じる。一般には、ゆっくりした波で、振幅が大きく、不定期な揺れであると、酔い易いと言われている。

そこで、移動体装置１２０の撮影画像に揺れが含まれているときには、ヘッド・マウント・ディスプレイ１１０側で揺れをキャンセルして表示するようにしてもよい。

例えば、移動体装置１２０側の加速度センサーの検出値をモニターして、ゆっくりした波で、振幅が大きく、不定期な揺れが発生したことを検出すると、ヘッド・マウント・ディスプレイ１１０側で画像の揺れ補正処理を起動する。

例えば、表示画角制御部７０１は、移動体装置１２０側の加速度センサーの検出値を入力して、ユーザーの頭部の姿勢情報に加え、移動体装置１２０の揺れ量をキャンセルするように表示画角の位置及び姿勢を決定して、画像切り出し部７０２に出力する。

あるいは、画像切り出し部７０２は、移動体装置１２０側の加速度センサーの検出値を入力して、表示画角制御部７０１がユーザーの頭部に姿勢情報に基づいて決定した表示画角に対し、さらに移動体装置１２０の揺れ量をキャンセルするように表示画角の位置及び姿勢を補正して、撮影画像から表示画角の画像切り出しを行なう。

また、画像合成部７０３などにおいて、動画をスローモーションにする、フレーム間引きするなどにより、揺れ補正処理を行なうこともできる。動画をスローモーションにする場合、フレーム内で動きのあるところだけスローモーションにするようにしてもよい。

また、揺れ補正処理として、上記のような画像処理の他に、大画面だとより酔い易いという点に着目して、移動体装置１２０の揺れが検出されている期間だけ、画面サイズを縮小して揺れを防止するという方法も考えられる。虚像光学部４１０が表示パネル４０９の表示画像の拡大虚像を形成することは既に述べたが、虚像光学部４１０で拡大率を調整する、あるいは、表示パネル４０９で表示サイズを縮小するようにすればよい。

勿論、移動体装置１２０側に、カメラ部６０５の光学系や画像処理に揺れ補正機能を備えるようにしてもよい。

Ｃ．総括
本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）ユーザーの頭部に取り付けられる表示部と、
前記頭部の姿勢を検出する姿勢検出部と、
移動体装置で撮影した画像の前記表示部への表示を、前記頭部の姿勢に基づいて制御する表示制御部と、
を具備する画像表示装置。
（２）前記表示制御部は、前記移動体装置で撮影した広角画像から、前記頭部の姿勢に対応する領域を切り出して前記表示部に表示する、
上記（１）に記載の画像表示装置。
（３）前記表示制御部は、複数の視点でパン・フォーカスの平行法により撮影した複数の視点画像を表示する際に、前記移動体の移動速度に基づいて前記視点画像の輻輳位置を調整する、
上記（１）に記載の画像表示装置。
（４）前記表示制御部は、ズーム操作に対応した視点間隔の画像を前記表示部に表示させる、
上記（１）に記載の画像表示装置。
（５）前記移動体装置のカメラ部の視線方向を、前記頭部の姿勢に対し、パン、チルト、ロールの少なくとも１方向にオフセットさせる、
上記（１）に記載の画像表示装置。
（６）前記ユーザーに触感又は振動により操作感をフィードバックする操作感フィードバック部をさらに備え、前記移動体装置が移動中に受ける加速度に基づくフィードバックを前記ユーザーに行なう、
上記（１）に記載の画像表示装置。
（７）前記表示制御部は、前記移動体装置で撮影した実世界の画像にＡＲ画像を重畳して表示させる、
上記（１）に記載の画像表示装置。
（８）前記表示制御部は、前記移動体装置の現在位置、撮影した画像に含まれる物体、又は、前記移動体装置の状態の少なくともいずれかに応じた前記ＡＲ画像を表示させる、
上記（７）に記載の画像表示装置。
（９）前記表示制御部は、前記移動体装置と前記ユーザーの位置情報を表示させる、
上記（１）に記載の画像表示装置。
（１０）前記表示制御部は、前記移動体装置を追跡しながら撮影するオート・トラッカーの撮影画像をさらに表示させる、
上記（１）に記載の画像表示装置。
（１１）前記ユーザーの目線で見える自分目線画像を取得する自分目線画像取得部をさらに備え、
前記表示制御部は、前記移動体装置で撮影した移動体目線画像と前記自分目線画像を切り替えて表示させる、
上記（１）に記載の画像表示装置。
（１２）前記表示制御部は、前記移動体装置の複数の視点位置から撮影された画像を前記頭部の姿勢に応じて切り換えて表示させる、
上記（１）に記載の画像表示装置。
（１３）前記表示制御部は、前記移動体装置で撮影した動画像に含まれる揺れを補正して表示させる、
上記（１）に記載の画像表示装置。
（１４）ユーザーの頭部の姿勢を検出する姿勢検出ステップと、
移動体装置で撮影した画像の表示を、前記頭部の姿勢に基づいて制御する表示制御ステップと、
を有する画像表示方法。
（１５）移動しながら撮影する移動体装置と、
前記移動体装置の撮影画像を、ユーザーの頭部の姿勢に応じて表示する画像表示装置と、
を具備する画像表示システム。
（１６）カメラ部と、
カメラ部の視線方向を制御するカメラ台と、
当該装置を移動させる移動部と、
前記カメラ部による撮影画像を含むデータの通信を行なう通信部と、
を具備し、
前記カメラ部は、パン・フォーカスの平行法により撮影を行なう複数の視点のカメラを備える、
移動体装置。
（１７）前記複数の視点のカメラ間の視点間距離を変更しながら全天周画像を撮影する、
上記（１６）に記載の移動体装置。
（１８）視点間距離が固定された前記複数の視点のカメラで撮影した画像から、前記カメラの視点の外側の画像を外挿する、
上記（１６）に記載の移動体装置。
（１９）ユーザーの頭部の姿勢を検出する姿勢検出部、
移動体装置で撮影した画像の表示を、前記頭部の姿勢に基づいて制御する表示制御部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。

以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書では、ユーザーの頭部又は顔部に装着して用いられるヘッド・マウント・ディスプレイとラジコン制御される移動体装置からなるシステムに、本明細書で開示する技術を適用した実施形態を中心に説明してきたが、本明細書で開示する技術の要旨は特定の画像表示装置の構成に限定されるものではない。

例えば、遠隔操作されるさまざまなタイプの移動体装置上に搭載したカメラ、さらには遠隔誘導される鳥類や哺乳類、爬虫類、両生類、魚類、昆虫などの生物に装着したカメラで撮影した広角画像を、ユーザーの視線方向に応じて画面に表示するさまざまなタイプの表示システムに対して、本明細書で開示する技術を同様に適用することができる。

また、移動体装置は、飛行機やヘリコプター、自動車、ヨットなどのラジコンのような模型装置である他、現実の飛行機やヘリコプター、自動車、ヨットなどの移動体装置であってもよい。また、搭載したカメラの姿勢（パン、チルト、ロール）を遠隔操作可能であれば、移動体装置自体は遠隔操作や遠隔誘導ができなくともよい。また、機械装置である移動体ではなく、人や動物などの生物の移動体であってもよい。

要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

１００…画像表示システム
１１０…ヘッド・マウント・ディスプレイ、１２０…移動体装置
１３０…コントローラー
２０１、２０２…マイクロフォン
４０１…制御部、４０１Ａ…ＲＯＭ、４０１Ｂ…ＲＡＭ
４０２…入力操作部、４０３…リモコン受信部
４０４…姿勢・位置検出部、４０５…通信部、４０６…記憶部
４０７…画像処理部、４０８…表示駆動部
４０９…表示パネル、４１０…虚像光学部
４１１…状態検出部、４１２…操作感フィードバック部
４１３…外側カメラ
６０１…制御部、６０２…記憶部
６０３…移動機構部、６０４…位置姿勢速度検出部
６０５…カメラ部、６０６…カメラ台
６０７…通信部
７０１…表示画角制御部、７０２…画像切り出し部
７０３…画像合成部

Claims (19)

1. ユーザーの頭部に取り付けられる表示部と、
   前記頭部の姿勢を検出する姿勢検出部と、
   移動体装置で撮影した画像の前記表示部への表示を、前記頭部の姿勢に基づいて制御する表示制御部と、
   を具備する画像表示装置。
2. 前記表示制御部は、前記移動体装置で撮影した広角画像から、前記頭部の姿勢に対応する領域を切り出して前記表示部に表示する、
   請求項１に記載の画像表示装置。
3. 前記表示制御部は、複数の視点でパン・フォーカスの平行法により撮影した複数の視点画像を表示する際に、前記移動体の移動速度に基づいて前記視点画像の輻輳位置を調整する、
   請求項１に記載の画像表示装置。
4. 前記表示制御部は、ズーム操作に対応した視点間隔の画像を前記表示部に表示させる、
   請求項１に記載の画像表示装置。
5. 前記移動体装置のカメラ部の視線方向を、前記頭部の姿勢に対し、パン、チルト、ロールの少なくとも１方向にオフセットさせる、
   請求項１に記載の画像表示装置。
6. 前記ユーザーに触感又は振動により操作感をフィードバックする操作感フィードバック部をさらに備え、前記移動体装置が移動中に受ける加速度に基づくフィードバックを前記ユーザーに行なう、
   請求項１に記載の画像表示装置。
7. 前記表示制御部は、前記移動体装置で撮影した実世界の画像にＡＲ画像を重畳して表示させる、
   請求項１に記載の画像表示装置。
8. 前記表示制御部は、前記移動体装置の現在位置、撮影した画像に含まれる物体、又は、前記移動体装置の状態の少なくともいずれかに応じた前記ＡＲ画像を表示させる、
   請求項７に記載の画像表示装置。
9. 前記表示制御部は、前記移動体装置と前記ユーザーの位置情報を表示させる、
   請求項１に記載の画像表示装置。
10. 前記表示制御部は、前記移動体装置を追跡しながら撮影するオート・トラッカーの撮影画像をさらに表示させる、
    請求項１に記載の画像表示装置。
11. 前記ユーザーの目線で見える自分目線画像を取得する自分目線画像取得部をさらに備え、
    前記表示制御部は、前記移動体装置で撮影した移動体目線画像と前記自分目線画像を切り替えて表示させる、
    請求項１に記載の画像表示装置。
12. 前記表示制御部は、前記移動体装置の複数の視点位置から撮影された画像を前記頭部の姿勢に応じて切り換えて表示させる、
    請求項１に記載の画像表示装置。
13. 前記表示制御部は、前記移動体装置で撮影した動画像に含まれる揺れを補正して表示させる、
    請求項１に記載の画像表示装置。
14. ユーザーの頭部の姿勢を検出する姿勢検出ステップと、
    移動体装置で撮影した画像の表示を、前記頭部の姿勢に基づいて制御する表示制御ステップと、
    を有する画像表示方法。
15. 移動しながら撮影する移動体装置と、
    前記移動体装置の撮影画像を、ユーザーの頭部の姿勢に応じて表示する画像表示装置と、
    を具備する画像表示システム。
16. カメラ部と、
    カメラ部の視線方向を制御するカメラ台と、
    当該装置を移動させる移動部と、
    前記カメラ部による撮影画像を含むデータの通信を行なう通信部と、
    を具備し、
    前記カメラ部は、パン・フォーカスの平行法により撮影を行なう複数の視点のカメラを備える、
    移動体装置。
17. 前記複数の視点のカメラ間の視点間距離を変更しながら全天周画像を撮影する、
    請求項１６に記載の移動体装置。
18. 視点間距離が固定された前記複数の視点のカメラで撮影した画像から、前記カメラの視点の外側の画像を外挿する、
    請求項１６に記載の移動体装置。
19. ユーザーの頭部の姿勢を検出する姿勢検出部、
    移動体装置で撮影した画像の表示を、前記頭部の姿勢に基づいて制御する表示制御部、
    としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。