JP6428268B2 - 画像表示装置及び画像表示方法、並びに画像表示システム - Google Patents

Description

本明細書で開示する技術は、ユーザーの頭部又は顔部に装着して用いられる画像表示装置及び画像表示方法、並びに画像表示システムに係り、特に、ユーザー同士で情報を共有する画像表示装置及び画像表示方法、並びに画像表示システムに関する。

頭部又は顔部に装着して画像の視聴に利用される画像表示装置、すなわち、ヘッド・マウント・ディスプレイが知られている。ヘッド・マウント・ディスプレイは、例えば左右の眼毎に画像表示部が配置され、虚像光学系により表示画像の拡大虚像を形成することで、ユーザーは臨場感のある画像を観察することができる。また、ユーザーが頭部に装着した際に外界を完全に遮るようにヘッド・マウント・ディスプレイを構成すれば、視聴時の没入感が増す。また、ヘッド・マウント・ディスプレイは、左右の眼に違う映像を映し出すことも可能であり、左右の眼に視差のある画像を表示すれば３Ｄ画像を提示することができる。

ヘッド・マウント・ディスプレイを用いて、ブルーレイ・ディスクなどのメディアからの再生画像だけでなく、さまざまな画像を視聴することができる。例えば、外部機器から送信されるライブ画像をヘッド・マウント・ディスプレイで視聴するというアプリケーションも考えられる。ラジコンなどの移動体に搭載された撮像装置で実際に撮像された画像を、ユーザーが装着する表示装置で表示する画像表示システムについても提案がなされている（例えば、特許文献１を参照のこと）。

ヘッド・マウント・ディスプレイの人気は極めて高い。今後量産が進めば、携帯電話やスマートフォン、携帯ゲーム機のように普及し、１人が１台のヘッド・マウント・ディスプレイを所持するようになるかもしれない。

現在、スマートフォンを介した情報交換が盛んに行なわれている。扱われる情報としては、スマートフォン上で編集したデータ（メールを含む）や撮影した画像、スマートフォンにダウンロードしたコンテンツなどを挙げることができる。これに対し、ヘッド・マウント・ディスプレイは、装着したユーザーの視線方向の画像を、ハンズフリーで容易に取り込めるという特徴がある。眼鏡型ディスプレイカメラを装着したユーザー間で視界の画像を交換する画像表示システムも考えられる。

例えば、他人が装着している撮像表示装置で視覚光景を撮像した画像を受信し、表示する表示装置について提案がなされている（例えば、特許文献２を参照のこと）。撮像表示装置と表示装置からなる表示システム内では、基本的に、（画像提供元である）撮像表示装置が、（画像を受給する）表示装置からの画像要求に応じて画像を提供するように構成されている。そして、表示装置を装着したユーザーは、他人の視覚光景を見ることができる。しかしながら、画像を提供する撮像表示装置側のユーザーが、例えば何か珍しい物や貴重な物を発見したときには、画像要求を待たずに即座に画像を送信したい場合もあると思料される。例えば、走り去っていく動物を見つけたときなど、すぐにシーンが移り変わってしまう場合である。また、表示装置のユーザーは、いずれの撮像表示装置が見る価値のある視界光景を提供しているか分からず、取り敢えずいずれかの撮像表示装置を指定して画像要求しなければならない。

また、一方の撮像表示装置で撮像した使用者の視界方向の画像を他方の撮像表示装置に送信して表示させたり記録させたりし、一方の撮像表示装置で記録した使用者の視界方向の画像を他方の撮像表示装置で再生させる撮像表示システムについて提案がなされている（例えば、特許文献３を参照のこと）。この撮像表示システムでは、一方の撮像表示装置のユーザーがリモート・コントローラーを用いた操作により両撮像表示装置間での視覚交換動作が指示されるようになっている。すなわち、一方の撮像表示装置のユーザーが、自分の視覚画像を他方の撮像表示装置に送信したい、あるいは他方の撮像表示装置における視覚画像を見たいと思ったときには視覚交換動作を指示することができる。しかしながら、リモート・コントローラーを持たない他方の撮像表示装置のユーザーが、例えば何か珍しい物や貴重な物を発見したとき、自分の視覚画像を一方の撮像表示装置に送信したいと思っても、視覚交換動作を指示する術がない。

本明細書で開示する技術の目的は、ユーザーの頭部又は顔部に装着して用いられ、ユーザー同士で情報を好適に共有することができる、優れた画像表示装置及び画像表示方法、並びに画像表示システムを提供することにある。

本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
画像を表示する画像表示部と、
画像を入力する画像入力部と、
前記画像入力部に入力された画像の送信先となる受信端末を設定する受信端末設定部と、
前記画像入力部に入力された画像を前記受信端末に送信する画像送信部と、
を具備する、頭部又は顔部に装着型の画像表示装置である。

本願の請求項２に記載の技術によれば、請求項１に記載の画像表示装置は、前記画像表示装置を使用するユーザーの状態を検出する状態検出部をさらに備えている。そして、前記状態検出部が前記ユーザーの所定の状態を検出したことに応答して、前記画像送信部は前記受信端末への前記画像入力部に入力された画像の送信を開始し又は停止するように構成されている。

本願の請求項３に記載の技術によれば、請求項１に記載の画像表示装置の前記受信端末設定部は、画像開放メッセージを送信し、確認応答メッセージを返信してきた受信端末を設定するように構成されている。

本願の請求項４に記載の技術によれば、請求項１に記載の画像表示装置は、前記受信端末設定部が１つも受信端末を設定できないときには、前記画像送信部は前記画像入力部に入力された画像の送信を行なわないように構成されている。

本願の請求項５に記載の技術によれば、請求項１に記載の画像表示装置は、前記画像入力部に入力された画像とともに送信する付加情報を作成する付加情報作成部をさらに備えている。そして、前記画像送信部は、前記画像入力部に入力された画像とともに前記付加情報を前記受信端末に送信するように構成されている。

本願の請求項６に記載の技術によれば、請求項５に記載の画像表示装置の前記受信端末設定部は、前記受信端末を２区分以上に分類し、前記画像送信部は、所定の区分の前記受信端末にのみ前記付加情報を送信するように構成されている。

本願の請求項７に記載の技術によれば、請求項５に記載の画像表示装置の前記画像入力部は、前記画像表示装置を使用するユーザーの視線方向の画像を入力し、前記付加情報作成部は、前記ユーザーの視線に関する付加情報又は視線方向にある対象物を示す付加情報を作成するように構成されている。

本願の請求項８に記載の技術によれば、請求項１に記載の画像表示装置は、撮像部をさらに備え、前記画像入力部は、前記撮像部が撮影する画像を入力するように構成されている。

本願の請求項９に記載の技術によれば、請求項１に記載の画像表示装置は、撮像部と、前記撮像部の撮像画像を記録する記録部をさらに備え、前記画像入力部は、前記記録部から前記撮像画像を入力するように構成されている。

また、本願の請求項１０に記載の技術は、送信端末から送信された画像を受信処理する画像受信処理部と、
前記受信処理した画像を表示する画像表示部と、
を具備する、頭部又は顔部に装着型の画像表示装置。

本願の請求項１１に記載の技術によれば、請求項１０に記載の画像表示装置は、前記送信端末を設定する送信端末設定部をさらに備えている。そして、前記画像受信処理部は、前記送信端末設定部に設定された前記送信端末からの画像のみ受信するように構成されている。

本願の請求項１２に記載の技術によれば、請求項１１に記載の画像表示装置の前記送信端末設定部は、前記送信端末からの画像開放メッセージに対して確認応答メッセージを返信するように構成されている。

本願の請求項１３に記載の技術によれば、請求項１０に記載の画像表示装置の前記画像受信処理部は、前記画像とともに送られてくる付加情報を選択的に受信するように構成されている。

本願の請求項１４に記載の技術によれば、請求項１０に記載の画像表示装置の前記画像表示部は前記画像表示部を使用するユーザーの左右の眼毎に表示画面を持ち、前記画像表示部は、前記受信処理した画像を左右いずれか一方の表示画面に表示するように構成されている。

本願の請求項１５に記載の技術によれば、請求項１０に記載の画像表示装置の前記画像表示部は、前記受信処理した画像を表示画面に子画面表示、又は、分割画面表示するように構成されている。

本願の請求項１６に記載の技術によれば、請求項１０に記載の画像表示装置の前記画像受信処理部は、前記画像とともに送られてくる付加情報の表示処理も行なうように構成されている。

本願の請求項１７に記載の技術によれば、前記送信端末は、前記送信端末のユーザーの視線方向の画像をユーザーの視線の情報を含んだ付加情報とともに送信するようになっている。そして、請求項１０に記載の画像表示装置の前前記画像受信処理部は、前記付加情報として受信したユーザーの視線に関する情報に基づいて、前記送信端末から受信した画像に特殊処理を行なように構成されている。

また、本願の請求項１８に記載の技術は、
画像を入力する画像入力ステップと、
前記画像入力ステップで入力された画像の送信先となる受信端末を設定する受信端末設定ステップと、
前記画像入力ステップで入力された画像を前記受信端末に送信する画像送信ステップと、
を有する画像表示方法である。

また、本願の請求項１９に記載の技術は、
送信端末から送信された画像を受信処理する画像受信処理ステップと、
前記受信処理した画像を表示出力する画像表示ステップと、
を有する画像表示方法である。

また、本願の請求項２０に記載の技術は、
頭部又は顔部に装着型の、入力した画像を送信する送信側画像表示装置と、
頭部又は顔部に装着型の、前記送信側画像表示装置から送信される画像を表示する受信側画像表示装置と、
を具備する画像表示システムである。

但し、ここで言う「システム」とは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。

本明細書で開示する技術によれば、ユーザーの頭部又は顔部に装着して用いられ、ユーザー同士で情報を好適に共有することができる、優れた画像表示装置及び画像表示方法、並びに画像表示システムを提供することができる。

本明細書で開示する技術によれば、画像表示装置を自分の頭部又は顔部に装着したユーザーは、例えば何か珍しい物や貴重な物を発見したときに、自分の視線方向を撮影した画像を他のユーザーに開放することができる。

本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、透過性の頭部装着型画像表示装置１００を装着したユーザーを正面から眺めた様子を示した図である。 図２は、図１に示した画像表示装置１００を装着したユーザーを上方から眺めた様子を示した図である。 図３は、遮光性の頭部装着型画像表示装置３００を装着したユーザーを正面から眺めた様子を示した図である。 図４は、図３に示した画像表示装置３００を装着したユーザーを上方から眺めた様子を示した図である。 図５は、画像表示装置１００の内部構成例を示した図である。 図６は、画像表示装置１００が視界提供者用に動作するための機能的構成を示した図である。 図７は、画像表示装置１００が視界提供者用に動作するための処理手順を示したフローチャートである。 図８は、画像表示装置１００が視界受給者用に動作するための機能的構成を示した図である。 図９は、画像表示装置１００が視界受給者用に動作するための処理手順を示したフローチャートである。 図１０は、１人のユーザーが頭部又は顔部に装着した画像表示装置１００が、他の複数のユーザーがそれぞれ装着する画像表示装置へ情報を送信している様子を示した図である。 図１１は、視界提供者が提供する画像の一例（池の水面から魚が跳び出したシーン）を示した図である。 図１２は、視界提供者が提供する画像の一例（林の中から珍しい鳥が飛び立ったシーン）を示した図である。 図１３は、視界提供者が提供する画像内の対象物（池から跳び出した魚）にマーカーを付けた様子を示した図である。 図１４は、視界提供者が提供する画像内の対象物（池から跳び出した魚）をズームアップした画像を作成した様子を示した図である。 図１５は、視界提供者が提供する画像内の対象物（林から飛び立った鳥）にマーカーを付けた様子を示した図である。 図１６は、視界提供者が提供する画像内の対象物（林から飛び立った鳥）をズームアップした画像を作成した様子を示した図である。 図１７は、街角を眺めている視界受給者に、視界提供者から送られてきた、池を眺めている視界の画像を小画面で表示している様子を示した図である。 図１８は、親画面である視界受給者の視界の画像と、子画面である視界提供者が提供する画像とを入れ替えた様子を示した図である。 図１９は、視界受給者の視界と視界提供者が提供する画像を画面分割して表示した様子を示した図である。 図２０は、両眼式の画像表示装置１００の左側に視界受給者自身の視界をシースルー表示するとともに、右側に視界提供者から送られてきた画像を表示した様子を示した図である。

以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

Ａ．装置構成
図１には、本明細書で開示する技術の一実施形態に係る画像表示装置１００の外観構成を示している。画像表示装置１００は、ユーザーが頭部又は顔部に装着して用いられ、左右の眼毎に画像を表示する。図示の画像表示装置１００は、透過性すなわちシースルーのタイプであり、画像を表示している間も、ユーザーは、画像越しに現実世界の風景を眺める（すなわち、シースルーする）ことができる。したがって、現実世界の風景に仮想的な表示画像を重ね合わせて見せることができる（例えば、特許文献４を参照のこと）。表示画像は、外側（すなわち他人）からは見えないので、情報表示に際してプライバシーが守られ易い。

図示の画像表示装置１００は、視力矯正用の眼鏡に類似した構造からなる。画像表示装置１００本体のユーザーの左右の眼に対向する位置には、透明な導光部などからなる虚像光学部１０１Ｌ、１０１Ｒが配設され、各虚像光学部１０１Ｌ、１０１Ｒの内側には、ユーザーが観察する画像（図示しない）が表示される。各虚像光学部１０１Ｌ、１０１Ｒは、例えば、眼鏡フレーム状の支持体１０２によって支持されている。

眼鏡フレーム状の支持体１０２のほぼ中央には、周囲画像（ユーザーの視界）入力用の外側カメラ５１２が設置されている。外側カメラ５１２は、例えばユーザーの視線方向の風景を撮影することができる。外側カメラ５１２は、周囲画像の３次元情報を取得できるように構成することが好ましい。例えば、外側カメラ５１２を複数台のカメラで構成すれば、視差情報を利用して周囲画像の３次元情報を取得することができる。また、１台のカメラでも、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）画像認識を用いて、カメラを移動させながら撮影を行ない、時間的に前後する複数のフレーム画像を用いて視差情報を算出し（例えば、特許文献５を参照のこと）、算出した視差情報から周囲画像の３次元情報を取得することもできる。また、支持体１０２の左右の両端付近にそれぞれマイクロフォン１０３Ｌ、１０３Ｒが設置されている。左右ほぼ対称的にマイクロフォン１０３Ｌ、１０３Ｒを持つことで、中央に定位した音声（ユーザーの声）だけを認識することで、周囲の雑音や他人の話声と分離することができ、例えば音声入力による操作時の誤動作を防止することができる。

図２には、ユーザーが装着した状態の画像表示装置１００を上方から眺めた様子を示している。図示のように、画像表示装置１００の左右両端には、左眼用及び右眼用の画像をそれぞれ表示出力する表示パネル１０４Ｌ、１０４Ｒが配設されている。各表示パネル１０４Ｌ、１０４Ｒは、液晶ディスプレイ又は有機ＥＬ素子などのマイクロ・ディスプレイからなる。表示パネル１０４Ｌ、１０４Ｒから出力される左右の表示画像は、虚像光学部１０１Ｌ、１０１Ｒによって左右それぞれの眼付近まで導光され、その拡大虚像がユーザーの瞳に結像される。

また、図３には、本明細書で開示する技術の他の実施形態に係る画像表示装置３００の外観構成を示している。画像表示装置３００は、ユーザーが頭部又は顔部に装着して用いられるが、遮光性であり、頭部に装着した際にユーザーの眼を直接覆い、画像視聴中のユーザーに没入感を与えることができる。また、シースルーのタイプとは相違し、画像表示装置３００を装着したユーザーは現実世界の風景を直接眺めることはできない。但し、ユーザーの視線方向の風景を撮影する外側カメラ５１２を装備し、その撮像画像を表示することにより、ユーザーは間接的に現実世界の風景を眺める（すなわち、ビデオ・シースルーする）ことができる。勿論、ビデオ・シースルー画像に対し、仮想的な表示画像を重ね合わせて見せることができる。表示画像は、外側（すなわち他人）からは見えないので、情報表示に際してプライバシーが守られ易い。

図示の画像表示装置３００は、帽子形状に類似した構造体であり、装着したユーザーの左右の眼を直接覆うように構成されている。画像表示装置３００本体の内側の左右の眼に対向する位置には、ユーザーが観察する表示パネル（図３では図示しない）が配設されている。表示パネルは、例えば有機ＥＬ素子や液晶ディスプレイなどのマイクロ・ディスプレイで構成される。

帽子に類似した形状をした画像表示装置３００本体前面のほぼ中央には、周囲画像（ユーザーの視界）入力用の外側カメラ５１２が設置されている。また、画像表示装置３００本体の左右の両端付近にそれぞれマイクロフォン３０３Ｌ、３０３Ｒが設置されている。左右ほぼ対称的にマイクロフォン３０３Ｌ、３０３Ｒを持つことで、中央に定位した音声（ユーザーの声）だけを認識することで、周囲の雑音や他人の話声と分離することができ、例えば音声入力による操作時の誤動作を防止することができる。

図４には、図３に示した画像表示装置３００を装着したユーザーを上方から眺めた様子を示している。図示の画像表示装置３００は、ユーザーの顔面と対向する側面に、左眼用及び右眼用の表示パネル３０４Ｌ、３０４Ｒを持つ。表示パネル３０４Ｌ、３０４Ｒは、例えば有機ＥＬ素子や液晶ディスプレイなどのマイクロ・ディスプレイで構成される。表示パネル３０４Ｌ、３０４Ｒの表示画像は、虚像光学部３０１Ｌ、３０１Ｒを通過するにより拡大虚像としてユーザーに観察される。また、眼の高さや眼幅にはユーザー毎に個人差があるため、左右の各表示系と装着したユーザーの眼とを位置合わせする必要がある。図４に示す例では、右眼用の表示パネルと左眼用の表示パネルの間に眼幅調整機構３０５を装備している。

図５には、画像表示装置１００の内部構成例を示している。他方の画像表示装置３００の内部構成も同様であると理解されたい。以下、各部について説明する。

制御部５０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０１ＡやＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０１Ｂを備えている。ＲＯＭ５０１Ａ内には、制御部５０１で実行するプログラム・コードや各種データを格納している。制御部５０１は、ＲＡＭ５０１Ｂへロードしたプログラムを実行することで、画像の表示制御を始め、画像表示装置１００全体の動作を統括的にコントロールする。ＲＯＭ５０１Ａに格納するプログラムやデータとして、画像の表示制御プログラムや、外側カメラ５１２で撮影した画像（例えば、ユーザーの視線方向を撮影した画像）の画像処理プログラム、他のユーザーの画像表示装置やインターネット上のサーバー（図示しない）など外部機器との通信処理プログラム、当該装置１００に固有の識別情報などを挙げることができる。

入力操作部５０２は、キーやボタン、スイッチなど、ユーザーが入力操作を行なう１以上の操作子を備え、操作子を介したユーザーの指示を受け付けて、制御部５０１に出力する。また、入力操作部５０２は、リモコン受信部５０３で受信したリモコン・コマンドからなるユーザーの指示を同様に受け付けて、制御部５０１に出力する。

姿勢・位置検出部５０４は、当該画像処理装置１００を装着したユーザーの頭部の姿勢や位置を検出するユニットである。姿勢・位置検出部５０４は、ジャイロ・センサー、加速度センサー、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサー、地磁気センサーのいずれか１つ、又は、各センサーの長所及び短所を考慮して２以上のセンサーの組み合わせにより構成される。

状態検出部５１１は、当該画像表示装置１００を装着したユーザーの状態に関する状態情報を取得して、制御部５０１に出力する。状態情報として、例えば、ユーザーの作業状態（画像表示装置１００の装着の有無）や、ユーザーの行動状態（静止、歩行、走行などの移動状態、瞼の開閉状態、視線方向）、精神状態（ユーザーが表示画像を観察中に没頭若しくは集中しているかなどの感動度、興奮度、覚醒度、感情や情動など）、さらには生理状態を取得する。また、状態検出部５１１は、これらの状態情報をユーザーから取得するために、機械スイッチなどからなる装着センサーや、ユーザーの顔を撮影する内側カメラ、ジャイロ・センサー、加速度センサー、速度センサー、圧力センサー、体温センサー、発汗センサー、筋電位センサー、眼電位センサー、脳波センサーなどの各種の状態センサー（いずれも図示しない）を備えていてもよい。

外側カメラ５１２は、例えば眼鏡形状をした画像表示装置１００本体前面のほぼ中央に配置され（図１を参照のこと）、周囲画像を撮影することができる。また、状態検出部５１１で検出したユーザーの視線方向に合わせて外側カメラ５１２のパン、チルト、ロール方向の姿勢制御を行なうことで、外側カメラ５１２でユーザーの自分目線の画像すなわちユーザーの視線方向の画像を撮影することができる。ユーザーは、入力操作部５０２の操作や音声入力を通じて、外側カメラ５１２のズームを調整することができるものとする。外側カメラ５１２の撮影画像を、表示部５０９に表示出力することができ、また、記録部５０６に格納することもできる。

通信部５０５は、インターネット上のサーバー（図示しない）など外部機器との通信処理、並びに通信信号の変復調並びに符号化復号処理を行なう。また、制御部５０１は、外部機器への送信データを通信部５０５から送出する。通信部５０５の構成は任意である。例えば、通信相手となる外部機器との送受信動作に使用する通信規格に応じて、通信部５０５を構成することができる。通信規格は、有線、無線のいずれの形態であってもよい。ここで言う通信規格として、ＭＨＬ（Ｍｏｂｉｌｅ Ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ Ｌｉｎｋ）やＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信、赤外線通信などを挙げることができる。

あるいは、通信部５０５は、例えばＷ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）などの標準規格に従って動作する、セルラー無線送受信機であってもよい。

記録部５０６は、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などで構成される大容量記憶装置である。記録部５０６は、制御部５０１で実行するアプリケーション・プログラムや、外側カメラ５１２（後述）で撮影した画像や通信部５０５を介してネットワークから取得した画像などのデータを記憶している。

画像処理部５０７は、制御部５０１から出力される画像信号に対して画質補正などの信号処理をさらに行なうとともに、表示部５０９の画面に合わせた解像度に変換する。そして、表示駆動部５０８は、表示部５０９の画素を行毎に順次選択するとともに線順次走査して、信号処理された画像信号に基づく画素信号を供給する。

表示部５０９は、例えば有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子や液晶ディスプレイなどのマイクロ・ディスプレイで構成される表示パネルを有する。虚像光学部５１０は、表示部５０９の表示画像を拡大投影して、ユーザーには拡大虚像として観察させる。

音声処理部５１３は、制御部５０１から出力される音声信号に対して音質補正や音声増幅、入力された音声信号などの信号処理をさらに行なう。そして、音声入出力部５１４は、音声処理後の音声を外部出力、並びにマイクロフォン（前述）からの音声入力を行なう。

Ｂ．画像表示装置を用いた視界交換
画像表示装置１００を装着したユーザーは、表示部５０９の表示画像越しに、自分の視界方向の光景を観察することができる。勿論、画像表示装置３００を装着したユーザーも、外側カメラ５１２で撮影したビデオ・シースルー画像として、自分の視界方向の構成を観察することができる。

また、画像表示装置１００（並びに画像表示装置３００）は、通信部５０５を介して、他のユーザーが装着する画像表示装置とも通信し、情報交換を行なうことができる。図１０には、１人のユーザーが頭部又は顔部に装着した画像表示装置１００が、他の複数のユーザーがそれぞれ装着する画像表示装置へ情報（ユーザーの視線方向を撮影した画像など）を送信している様子を示している。以下では、各々が画像表示装置１００を装着した複数のユーザーが存在するマルチユーザー環境下での情報交換について考察する。

画像や音声、テキスト、プログラムなど、情報の種別を問わず、複数の画像表示装置１００間で交換が可能である。画像表示装置１００がユーザーの頭部又は顔部に装着して用いられることから、外側カメラ５１２でユーザーの視線方向の風景を撮影することができる。画像表示装置１００の設置場所や、ユーザーすなわち外側カメラ５１２の視線方向が変われば、撮影する画像も当然変わる。したがって、あるユーザーの画像表示装置１００の外側カメラ５１２で撮影した画像は、他のユーザーの画像表示装置１００の外側カメラ５１２で撮影できる画像とは相違する、ユニークな情報である。

カメラを搭載した携帯端末であっても、ユーザーの視界方向の光景を撮影することはできる。しかしながら、ユーザーは両手を用いて撮影操作を行なわなければならず（例えば、片方の手で携帯端末を持ち、もう片方の手でシャッターを操作する）、いつでも画像を撮影できる訳ではない（両手がふさがっている状態では撮影できない）。これに対し、画像表示装置１００によれば、外側カメラ５１２を用いてユーザーの視線方向の風景を、ハンズフリーで、いつでも撮影することができる。例えば、状態検出部５１１で検出されるユーザーの状態の変化や、音声入出力部５１４からの音声時時により、外側カメラ５１２のシャッターをきることができる。また、外側カメラ５１２で流し撮りしてもよい。

人は、何か珍しい物や貴重な物を発見したときに、周りに教えたくなる。例えば、夜空に金星などの惑星や流星を発見したとき、池や川で魚や沢蟹を発見したとき、森で高い木の上に鳥やセミ、カブトムシなどを見つけたとき、「見て、見て、あそこ！」という感じになる。例えば、池の水面から魚１１０１が跳び出したシーンや（図１１を参照のこと）、林の中から珍しい鳥１２０１が飛び立ったシーンなどは（図１２を参照のこと）、珍しく若しくは貴重なシーンであり、これを見たユーザーは感動や興奮を覚え、できれば誰かに見せてあげたい（視界を共有したい）と思う。しかも魚は再び水面下に潜って見えなくなり、鳥は飛び去って見えなくなってしまうので、誰かに見せてあげようとすると、即時性が要求される。

このようなとき、画像表示装置１００を装着したユーザーは、ポケットやカバンからカメラを取り出して撮影操作を行なうことなく、即座に、自分の視線方向を外側カメラ５１２で撮影した画像を周囲のユーザーの画像表示装置へ送信し又は開放することができる。

一方、周囲のユーザーは、受け取った画像を見て、「どれどれ？」、「どこどこ？」という感じになる。そして、すぐ見つけて「あった。すごい！」と歓声をあげて共感することができる。

画像表示装置１００を装着した複数のユーザーが存在するマルチユーザー環境において、自分の視線方向を撮影した画像を周囲のユーザーの画像表示装置へ送信し又は開放する役割を果たすユーザーが装着する画像表示装置１００（画像送信側の画像表示装置）のことを「視界提供者」と呼び、視界提供者から受け取った画像を閲覧する役割を果たすユーザーが装着する画像表示装置１００（画像受信側の画像表示装置）のことを「視界受給者」と呼ぶことにする。勿論、画像表示装置１００が視界提供者又は視界受給者のうちいずれの役割を果たすかは固定的ではなく、いずれのユーザーが装着する画像表示装置１００もそのユーザーの視線方向を撮影した画像を周囲に送信し又は開放する時点で視界提供者となり得る。また、ユーザーの視線方向を撮影した画像を提供する必要がなくなった時点で、画像表示装置１００は視界受給者に戻り、他の視界提供者から提供される画像を受信してユーザーに表示することができる。

図６には、画像表示装置１００が視界提供者用に動作するための機能的構成を示している。

画像入力部６０１は、視界受給者に提供する画像を入力する。画像入力部６０１は、例えば外側カメラ５１２が撮影している、ユーザーの視線方向のライブ画像を入力することができる。また、画像入力部６０１は、記録部５０６に格納されている過去の撮影画像を入力することができる。付言すれば、画像入力部６０１は、通信部５０５を介して外部から取り込まれる画像（例えば他のユーザーの視線方向の画像や、ネットワーク上で公開されている画像）を入力することもできる。

上述したように、外側カメラ５１２は、状態検出部５１１で検出したユーザーの視線方向に合わせて姿勢制御することで、ユーザーの視線方向の画像を撮影する。また、ユーザーは、入力操作部５０２の操作や音声入力を通じて、外側カメラ５１２のズームを調整することができる。この場合、画像入力部６０１には、ユーザーの視線方向のライブ画像が入力される。勿論、記憶部５０６に格納された、ユーザーの視線方向の過去の撮影画像を、画像入力部６０１に入力することもできる。

なお、外側カメラ５１２で広角画像を撮影し、画像入力部６０１は、視界受給者の視線方向に従って広角画像から所定の画角サイズで切り出した撮影画像を入力するようにしてもよい。

役割切替部６０２は、当該画像表示装置１００が視界提供者又は視界受給者のいずれとして振る舞うかを切り替える。役割切替部６０２は、初期状態では、当該画像表示装置１００を視界受給者モードに設定して、視界提供者として動作する他の画像表示装置からの画像の提供を待機している。ユーザーが何か珍しい物や貴重な物を発見したときに、役割切替部６０２は画像表示装置１００を視界提供者に切り替える。例えば、役割切替部６０２は、視界提供者が自らリモコンや入力操作部５０２を介して手動で画像の提供を指示した場合や、状態検出部５１１がユーザーの精神状態（ユーザーが表示画像を観察中に没頭若しくは集中しているかなどの感動度、興奮度、覚醒度、感情や情動など）を検出して自動で画像の提供を指示した場合に、当該画像表示装置１００を視界提供者モードに切り替える。役割切替部６０２は、当該画像表示装置１００を視界提供者モードに切り替えると、各部６０１、６０３〜６０５の動作を有効にする。

視界提供者に切り替わった画像表示装置１００は、画像入力部６０１から入力された画像を、視界受給者に送信又は開放する処理を行なう。外側カメラ５１２がユーザーの視線方向の画像を撮影し、画像入力部６０１がその撮影画像を入力している場合、画像表示装置１００は、ユーザーの視界を提供することになる。

例えば、ユーザーが、池の水面から魚が跳び出すシーンや（図１１を参照のこと）、林の中から珍しい鳥が飛び立つシーンに出くわしたとき（図１２を参照のこと）、感動や興奮を覚え、誰かにも見せてあげたいと思う。ユーザーが入力操作部５０２を介して画像の提供を指示したときや、状態検出部５１１がユーザーの感動や興奮を検知したことに応答して、役割切替部６０２は、当該画像表示装置１００を視界提供者モードに切り替える。

また、役割切替部６０２は、画像の送信（すなわち、視界受給者との画像の共有）を終了したときや、ユーザーの視界提供者としてのモチベーションが低下したときには（例えば、ユーザーが表示画像に対する感動や興奮から醒めたことを、状態検出部５１１が検出したとき）、当該画像表示装置１００を視界受給者モードに戻す。

視界受給者設定部６０３は、役割切替部６０２が当該画像表示装置１００を視界提供者に切り替えたことに応じて、視界受給者の設定、すなわち、画像を送信する先となる画像表示装置を設定する。

視界受給者設定部６０３は、視界提供者の周囲で視界受給者となる画像表示装置を探索するようにしてもよい。この場合、視界受給者設定部６０３は、通信部５０５から、受信可能範囲が一定の距離以内となる送信電力で、画像開放メッセージを送信（ブロードキャスト）する。そして、所定時間内に確認応答メッセージを返信してきた画像表示装置を、視界受給者として設定する。但し、通信負荷や、情報やプライバシーの漏洩などを考慮して、視界受給者数を所定値以内（例えば３人まで）にアクセス制限するようにしてもよい。例えば、確認応答メッセージの到着順や、所定時間内に確認応答メッセージを受信した視界受給者の中からくじ引きなどにより選択するようにしてもよい。

また、視界受給者設定部６０３は、視界提供者から見える範囲を視界受給者に設定するようにしてもよい。この場合、視界提供者となるユーザーは、アイ・コンタクトにより視界受給者を指定する。具体的には、視界受給者設定部６０３は、状態検出部５１１が検出したユーザーの視線方向で発見されたユーザーを、視界受給者に設定する。視線方向にいる他のユーザーが目配せするなど所定の合図やジェスチャーを行なったとき、あるいはその他の行為を通じて同意がとれた他のユーザーに限定して、視界受給者に設定するようにしてもよい。

あるいは、ユーザー間の現在位置とは無関係に、あらかじめ視界受給者設定部６０３に視界受給者を登録しておくようにしてもよい。例えば、視界受給者のＭＡＣ（Ｍｅｄｉａ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌ）アドレスやＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アドレスなど、各視界受給者の画像表示装置を一意に識別可能な情報を視界受給者設定部６０３に設定する。また、視界受給者設定部６０３は、事前に登録している視界受給者に対し、画像開放メッセージを送信し、このうち確認応答メッセージを返信した者のみを最終的な視界受給者に設定するようにしてもよい。

視界受給者となり得るユーザーの顔画像を登録しておくようにしてもよい。例えば、視界受給者設定部６０３は、視界受給者となるユーザーの顔画像を外側カメラ５１２で撮影して、認証情報として保存する。顔画像の保存先は、視界受給者設定部６０３内や記録部５０６であってもよい。当該画像表示装置１００が視界提供者モードに切り替わったとき、外側カメラ５１２に撮影された周囲画像に映っているユーザーの顔画像を認識して、事前に登録しておいた顔画像と一致する場合には、視界受給者設定部６０３はそのユーザーを視界受給者に設定するようにすればよい。あるいは、画像開放メッセージに対して確認応答メッセージを返信したユーザーのうち、顔認識できた者のみを視界受給者に設定するようにしてもよい。

視界受給者設定部６０３が視界受給者を動的に設定する場合、あるいは視界受給者を事前登録する場合のいずれにおいても、すべての視界受給者を均一に扱うのではなく、プライバシーやセキュリティーのレベルに応じて視界受給者を２区分以上に分類するようにしてもよい。

なお、視界受給者設定部６０３が、視界提供者の周囲などから視界受給者を動的に設定する場合、当該画像表示装置１００が視界提供者モードに切り替わってから所定時間内に視界受給者を１人も設定できない場合には（例えば、画像開放メッセージを報知しても、所定時間内に確認応答メッセージを受信できない場合）、視界受給者への画像の提供を諦める。この場合、役割切替部６０２は当該表示装置１００を視界受給者モードに切り替えて、他の視界提供者からの画像の提供を待ち受ける状態に戻る。

付加情報作成部６０４は、視界受給者に提供する画像とともに送信する付加情報を、必要に応じて作成する。付加情報として、例えば、状態検出部５１１が検出した視界提供者の視線方向の情報、あるいは、ユーザーが指先で示した方向の情報を挙げることができる。視線方向には、視界提供者が発見した対象物（すなわち、何か珍しい物や貴重な物）がある。視界受給者が受信した画像の中から対象物をなかなか見つけられないときには、視界提供者の視線方向は重要な情報（対象物を見つける手掛かり）になる。

付加情報作成部６０４は、例えばユーザーの視線方向の画像内の対象物に重畳表示するハイライトやマーカーなどのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）情報や、画像内の対象物の場所を指示するテキストや音声などで構成されるナビゲーション情報を、付加情報として作成する。あるいは、付加情報作成部６０４は、ハイライトやマーカーなどの付加情報ではなく、視線方向にあるユーザーの視線方向にある対象物を画像認識して、その対象物だけをズームアップして描画するなどして目立たせるようにしてもよい。

例えば、池の水面から魚が跳び出した様子の撮影画像を提供する場合、付加情報作成部６０４は、外側カメラ５１２が撮影した画像中からユーザー（視界提供者）の視線方向にある魚を認識すると、図１３に示すように、魚に付けるハイライト又はマーカー１３０１を作成したり、図１４に示すように、魚をズームアップした画像１４０１を作成したりする。また、林の中から鳥が飛び立った様子の撮影画像を適用する場合、付加情報作成部６０４は、外側カメラ５１２が撮影した画像中からユーザー（視界提供者）の視線方向にある鳥を認識すると、図１５に示すように、鳥に付けるハイライト又はマーカー１５０１を作成したり、図１６に示すように、鳥をズームアップした画像１６０１を作成したりする。例えば、外側カメラ５１２から得られる周囲画像の３次元情報に基づいて、魚や鳥などの対象物に対してハイライト又はマーカー１３０１、１５０１の表示をしてもよい。

また、付加情報作成部６０４は、視界提供者が音声入出力部５１４から入力した音声をそのまま付加情報にしてもよい。

画像送信部６０５は、画像入力部６０１に入力された画像を、視界受給者設定部６０３が設定した各視界受給者の画像表示装置に向けて、送信する。送信処理には、通信部５０５を用いることができる。送信する画像は、外側カメラ５１２で撮影されるライブ動画であってもよいし、視界提供者が対象物を発見したときに撮影した静止画であってもよい。あるいは、送信する画像は、記録部５０６から再生される動画又は静止画であってもよい。

そして、画像送信部６０５は、付加情報作成部６０４で作成した付加情報も、必要に応じて適宜、視界受給者に送信する。画像送信部６０５は、付加情報作成部６０４で付加情報が作成されたときには、常に画像に付加情報を付けて送信するようにしてもよい。あるいは、視界提供者のユーザーが付加情報の送信を指定したときのみ付加情報を送信し、又は、指定した視界受給者にのみ付加情報を送信するようにしてもよい。

例えば、視界受給者設定部６０３が各視界受給者をプライバシーやセキュリティーのレベルに応じて２区分以上に分類している場合には、画像送信部６０５は、高いレベルに設定されている視界受給者にのみ付加情報を送信するように制限をかけてもよい。何故ならば、ユーザーの視線情報などは、プライバシーにも関わる情報だからである。

要するに、視界提供者用の画像表示装置１００は、貴重な発見をしたユーザーの視界を開放し、伝送することで、自らの貴重な体験を視界受給者と簡単に共有することができる。

図７には、画像表示装置１００が視界提供者用に動作するための処理手順をフローチャートの形式で示している。

画像入力部６０１は、視界受給者に提供する画像を入力している（ステップＳ７０１）。画像入力部６０１は、例えば外側カメラ５１２が撮影している、ユーザーの視線方向のライブ画像を入力することができる。また、画像入力部６０１は、記録部５０６に格納されている過去の撮影画像を入力することができる。処理中の入力画像は、表示部５０９で表示出力される。

ここで、ユーザーが何か珍しい物や貴重な物を発見して、感動したり興奮したりする。状態検出部５１１がユーザーのこのような精神状態の変化を検出し、又は、ユーザーが自らの状態の変化を入力操作部５０２から指示したことに応答して（ステップＳ７０２のＹｅｓ）、役割切替部６０２は、当該画像表示装置１００を視界提供者に切り替え（ステップＳ７０３）、画像の開放を開始する。

視界受給者設定部６０３は、所定時間をかけて、視界受給者の設定を試みる（ステップＳ７０４）。

例えば、視界受給者設定部６０３は、受信可能範囲が一定の距離以内となる送信電力で、画像開放メッセージを送信して、確認応答メッセージの返信を待機する。あるいは、視界受給者設定部６０３は、前に登録している視界受給者に対し、画像開放メッセージを送信して、確認応答メッセージの返信を待機する。

所定時間が経過した後、視界受給者設定部６０３が１人も視界受給者を設定することができなかったときには（ステップＳ７０５のＮｏ）、視界受給者への画像の開放を諦める。この場合、役割切替部６０２は、当該画像表示装置１００を視界受給者モードに戻し（ステップＳ７１０）、処理はステップＳ７０１に復帰する。

一方、視界受給者設定部６０３が１人以上の視界受給者を設定することができたときには（ステップＳ７０５のＹｅｓ）、付加情報作成部６０４が、必要に応じて、視界受給者に提供する画像とともに送信する付加情報の作成を試みる（ステップＳ７０７）。付加情報は、例えばユーザーの視線方向を表示するハイライトやマーカー、あるいは、視線方向で画像認識された事物の拡大画像などである（図１３〜図１６を参照のこと）。

プライバシーやセキュリティーのレベルに応じて視界受給者を２区分以上に分類している場合であって、ステップＳ７０４で、低レベルで付加情報を送ることができない視界受給者しか設定されていない場合には、付加情報作成部６０４は、付加情報の作成を省略するようにしてもよい。

そして、画像送信部６０５は、画像入力部６０１が入力している動画又は静止画を、視界受給者設定部６０３が設定した各視界受給者の画像表示装置に向けて、送信する（ステップＳ７０８）。

また、ステップＳ７０８では、画像送信部６０５は、付加情報作成部６０４で作成した付加情報も、必要に応じて適宜、視界受給者に送信する。但し、プライバシーやセキュリティーのレベルに応じて視界受給者を２区分以上に分類している場合であって、ステップＳ７０４で低レベルに設定された視界受給者に対しては、画像送信部６０５は付加情報を送信しないようにする。

画像の開放を継続する場合は（ステップＳ７０９のＮｏ）、付加情報の作成と（ステップＳ７０７）、画像の送信を（ステップＳ７０８）、繰り返し実行する。

その後、ユーザーが入力操作部５０２を介して画像の開放を終了することを指示したとき、又は、状態検出部５１１がユーザーの感動や興奮が覚めてきたことを検知して、画像を開放する必要がないと判断したときに（ステップＳ７０９のＹｅｓ）、本処理ルーチンを終了する。

また、図８には、画像表示装置１００が視界受給者用に動作するための機能的構成を示している。

画像表示装置１００は、役割切替部６０２が視界提供者に切り替えない限り、基本的には視界受給者として動作している。画像表示装置１００が視界受給者モードに設定されているとき、例えば通信部５０５は、画像開放メッセージの待ち受け状態となっている。視界受給者モードでも、外側カメラ５１２はユーザーの視線方向を撮影した画像を撮影しているが、画像入力部６０１は外側カメラ５１２の撮影画像を取り込もうとしない。役割切替部６０２は、当該画像表示装置１００を視界受給者モードに切り替えると、各部８０１〜８０３の動作を有効にする

視界提供者設定部８０１は、当該画像表示装置１００が画像を受け取る相手、すなわち視界提供者となる画像表示装置を設定する。視界提供者設定部８０１は、通信部５０５で画像開放メッセージを受信すると、このメッセージの送信元を視界提供者として設定するとともに、確認応答メッセージを視界提供者に返信する。

画像表示装置１００を装着したユーザーは誰でも、例えば何か珍しい物や貴重な物を発見すると、視界提供者になり得る。ところが、視界受給者は、すべての視界提供者から提供される画像を無制限に受け付けると、通信負荷が増大する、ユーザーが本来視聴したい画像を視聴できなくなるという弊害がある。そこで、視界提供者設定部８０１は上記のように、視界提供者を制限し、それ以外の画像表示装置からの画像の提供を制限又は拒否する。

視界提供者設定部８０１は、画像の提供を受けてもよい画像表示装置を事前に設定しておき、それ以外の画像表示装置からの画像の提供を制限又は拒否するようにしてもよい。また、視界提供者設定部８０１に視界提供者が事前設定されているときには、画像開放メッセージの送信元が事前設定されている視界提供者である場合に限定して、確認応答メッセージを返信する。勿論、このような制限を設けず、提供されるすべての画像を受け取りたいときには、視界提供者設定部８０１への視界提供者の事前設定を省略することもできる。

また、視界提供者となるユーザーの顔画像を保存しているときには、視界提供者設定部８０１は、画像開放メッセージの受信時に、外側カメラ５１２に撮影された周囲画像に映っているユーザーの顔画像を認識して、事前に登録しておいた顔画像と一致する場合にのみ、確認応答メッセージを返信するようにすればよい。

また、視界受給者となるユーザーは、例えばアイ・コンタクトにより視界提供者を指定するようにしてもよい。具体的には、視界提供者設定部８０１は、状態検出部５１１が検出したユーザーの視線方向で発見されたユーザーを、視界提供者として事前に設定する。視線方向にいるユーザーが目配せするなど所定の合図やジェスチャーを行なったとき、あるいはその他の行為を通じて同意がとれたときに限定して、視界提供者に設定するようにしてもよい。視界提供者となるユーザーの顔画像を外側カメラ５１２で撮影して、保存しておいてもよい。

画像受信処理部８０２は、視界提供者から送信された画像を通信部５０５で受信処理する。また、視界提供者から画像とともに付加情報も送信された場合には、付加情報も併せて受信処理する。但し、視界提供者設定部８０１に視界提供者となるユーザーが事前設定されているときには、画像受信処理部８０２は、事前設定されていないユーザーからの画像の受信を拒否し、又は受信した画像を破棄する。また、視界提供者となるユーザーの顔画像を保存しているときには、画像の受信時に、外側カメラ５１２に撮影された周囲画像に映っているユーザーの顔画像を認識して、事前に登録しておいた顔画像と一致する場合のみ受信処理を行なうようにする。

なお、画像受信処理部８０２は、必要に応じて、受信した画像や付加情報を、記録部５０６に保存するようにしてもよい。

画像表示処理部８０３は、画像受信処理部８０２で受信した画像の表示部５０９への表示出力を処理する。受信した画像を表示する方法として、現在表示中の画像に重畳して表示する方法や、左右いずれか一方にのみ表示する方法（但し、両眼式の場合）、現在表示中の画像の子画面として表示する方法などを挙げることができる（ここで言う「現在表示中の画像」は、視界受給者の視線方向の画像や、視界受給者が視聴中のビデオ画像などである）。また、現在表示中の画像と受信した画像の親画面、子画面を入れ替えたり、親子関係ではなく分割表示に切り替えたりするようにしてもよい。

図１７には、街角１７０１を眺めている視界受給者に、視界提供者から送られてきた、池を眺めている画像１７０２を子画面で表示している様子を示している。また、図１８には、親画面である視界受給者の視線方向の画像１８０１と、子画面である視界提供者から受信した画像１８０２とを入れ替えた様子を示している。また。図１９には、視界受給者の視線方向の画像１９０１と視界提供者から受信した画像１９０２を画面分割して表示した様子を示している。また、図２０には、両眼式の画像表示装置１００の左側に視界受給者自身の視線方向の画像２００１をシースルー表示するとともに、右側に視界提供者から送られてきた画像２００２を表示した様子を示している。

ユーザーは、画像表示処理部８０３に対して、画面の切り替えを、入力操作部５０２を介して指示してもよいし、瞬き動作など目や瞼の運動により指示するようにしてもよい。ここで言う「現在表示中の画像」には、シースルー画像も含まれるものとする。

視界提供者から画像と併せて付加情報も受信した場合には、画像表示処理部８０３は、付加情報に基づいて、受信した画像に対して特殊処理も行なう。

付加情報が視界提供者の視線方向の場合、画像表示処理部８０３は、受信した画像中に視線方向を表示するハイライトやマーカーを表示したりするようにしてもよい。視界受給者は、ハイライトやマーカーに注目して視界提供者が発見した珍しい物や貴重な物が何かを見つけ出し易くなる。例えば、池の水面から魚が跳び出した様子を撮影した画像が提供された場合、画像表示処理部８０３は、受信した画像中からユーザー（視界提供者）の視線方向にある魚を認識すると、図１３に示すように、魚に付けるハイライト又はマーカーを作成する。また、林の中から鳥が飛び立った様子を撮影した画像が提供された場合、画像表示処理部８０３は、受信した画像中からユーザー（視界提供者）の視線方向にある鳥を認識すると、図１５に示すように、鳥に付けるハイライト又はマーカーを作成する。

あるいは、画像表示処理部８０３は、マーカーなどの付加情報ではなく、ユーザーの視線方向にある事物を画像認識して、その事物だけを拡大して描画するなどして目立たせるようにしてもよい。拡大して表示された事物は目立つので、視界受給者は、見つけ出し易くなる。例えば、池の水面から魚が跳び出した様子を撮影した画像が提供された場合、画像表示処理部８０３は、受信した画像中からユーザー（視界提供者）の視線方向にある魚を認識すると、図１４に示すように、魚をズームアップした画像を作成する。また、林の中から鳥が飛び立った様子を撮影した画像が提供された場合、画像表示処理部８０３は、受信した画像中からユーザー（視界提供者）の視線方向にある鳥を認識すると、図１６に示すように、鳥をズームアップした画像を作成する。

また、付加情報が画像内の対象物に重畳するハイライトやマーカーなどのＧＵＩ情報の場合には、画像表示処理部８０３は、現在表示中の画像、又は画像を表示する子画面（親画面、又は分割画面の場合もある）にＧＵＩ情報を重畳表示する。

また、付加情報が視界画像内の対象物の場所を指示するテキストや音声などで構成されるナビゲーション情報である場合には、画像表示処理部８０３は、このナビゲーション情報を表示部５０９に字幕表示したり、音声入出力部５１４から音声出力したりする。

視界受給者は、受信した画像を見ると、「どれどれ？」、「どこどこ？」などと言いながら、視界提供者が発見した物を探し始める。そして、すぐ見つけて「あった。すごい！」と歓声をあげて共感することができる。すぐ見つけることができない視界受給者に対しては、視界提供者の視線のハイライトやマーカー、ズーム、ナビゲーション情報を表示したり音声出力したりすることで、さらなるサポートを提供することができる。これにより、視界提供者が発見した物をなかなか見つけられない視界受給者も、見つけ出すことが容易になり、視界提供者の貴重な体験を共有することができる。

但し、視界受給者の画像表示装置１００が付加情報の演算処理するための負荷を削減したいときには、画像受信処理部８０２は、画像とともに送られてくる付加情報を破棄してもよい。また、画像表示処理部８０３は、付加情報の表示や、視線方向を表示するハイライトやマーカー、ズームアップなどの特殊処理を行なわないようにしてもよい。あるいは、視界提供者設定部８０１は、確認応答メッセージの送信時などに、付加情報の送付を拒否したりするようにしてもよい。

図９には、画像表示装置１００が視界受給者用に動作するための処理手順をフローチャートの形式で示している。

画像入力部６０１は、外側カメラ５１２が撮影している画像を入力している（ステップＳ９０１）。外側カメラ５１２は、例えばユーザーの視線方向の風景を撮影している。

ここで、ユーザーが視線方向の風景に感動したり興奮したりしたことを状態検出部５１１が検出すると（ステップＳ９０２のＹｅｓ）、当該画像表示装置１００を視界提供者に切り替わり、図７に示した処理手順（前述）を実行することになる。一方、ユーザーの精神状態に変化がなかったり、ユーザーが画像の提供を指示したりしなければ（ステップＳ９０２のＮｏ）、当該画像表示装置１００は視界受給者モードのままであり、画像入力部６０１は外側カメラ５１２の撮影画像を取り込もうとしない。

視界提供者から画像開放メッセージを受信すると（ステップＳ９０３のＹｅｓ）、視界提供者設定部８０１は、当該メッセージの送信元から画像の提供を受けるべきかどうかをチェックする（ステップＳ９０４）。

視界提供者設定部８０１は、例えば画像開放メッセージの送信元が自身への視界提供者として事前に登録されているかどうかをチェックする。あるいは、ユーザーがアイ・コンタクトやジェスチャー、その他の行為により同メッセージの送信元を視界提供者として認めたかどうかをチェックする。

ここで、画像開放メッセージの送信元から画像の提供を受ける場合には（ステップＳ９０４のＹｅｓ）、確認応答メッセージを返信する（ステップＳ９０５）。なお、確認応答メッセージには、画像に対する付加情報の要否を記載してもよい。他方、画像の提供を受けない場合には（ステップＳ９０４のＮｏ）、何もしない。

画像開放メッセージの送信元は、確認応答メッセージを受信すると、視界提供者の視界画像を、必要に応じて付加情報とともに送信する。視界受給者側の画像表示装置１００では、画像受信処理部８０２が、視界提供者から送信された画像を通信部５０５で受信処理する（ステップＳ９０６）。また、画像とともに付加情報も送信された場合には、付加情報も併せて受信処理する。

そして、画像表示処理部８０３は、画像受信処理部８０２で受信した画像の表示部５０９への表示出力を処理する。このとき、付加情報の表示や、視線方向を表示するハイライトやマーカー、ズームアップなどの、画像に対する特殊処理を行なうかどうかをチェックする（ステップＳ９０７）。特殊処理を行なうかどうかをユーザーに選択してもらうようにしてもよいし、当該画像表示装置１００の演算付加などを考慮して自動で選択するようにしてもよい。

特殊処理を行なうと決定したときには（ステップＳ９０７のＹｅｓ）、付加情報の表示や、視線方向を表示するハイライトやマーカー、ズームアップなど、いずれか指定された特殊処理を実施してから画像を表示部５０９に表示出力する（ステップＳ９０８）。

また、特殊処理を行なわないと決定したときには（ステップＳ９０７のＮｏ）、ステップＳ９０５で受信した画像をそのまま表示部５０９に表示出力する（ステップＳ９０９）。

なお、ステップＳ９０８並びにＳ９０９で画像を表示する方法は、両眼式の画像表示装置１００での左右いずれか一方にのみ表示する方法や、子画面表示、分割表示などさまざまである。

このように、視界提供者側の画像表示装置１００で図７に示した処理手順を実行するとともに、視界受給者側の画像表示装置１００で図９に示した処理手順を実行することにより、珍しい物や貴重な物を見たという体験をユーザー間で容易に共有することができる。

なお、視界受給者設定部６０３や視界提供者設定部８０１の機能や、視界受給者と視界提供者のペアリングを、サーバーなど画像表示装置１００の外部の装置で行なうようにしてもよい。

特開２００８−１４７８６５号公報、段落００２４〜００２６ 特開２００８−１５４１９２号公報 特開２００９−２１９１４号公報 特開２０１１−２７５３号公報 特開２００８−３０４２６８号公報

以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

ユーザーが頭部又は顔部に装着して用いる画像表示装置は、遮光性のタイプと透過性のタイプに分類することができるが、本明細書で開示する技術はこれらのいずれのタイプにも適用することができる。また、この種の画像表示装置は、左右両方の眼に表示部を備えた両眼タイプと、左右いずれか一方にのみ表示部を備えた単眼タイプに分類することができるが、本明細書で開示する技術はこれらのいずれのタイプにも適用することができる。勿論、ユーザーの頭部や顔部に装着しないタイプの画像表示装置に対して本明細書で開示する技術を適用しても、同様に、ユーザー間で画像を交換することができるようになる。

要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）画像を表示する画像表示部と、
画像を入力する画像入力部と、
前記画像入力部に入力された画像の送信先となる受信端末を設定する受信端末設定部と、
前記画像入力部に入力された画像を前記受信端末に送信する画像送信部と、
を具備する、頭部又は顔部に装着型の画像表示装置。
（２）前記画像表示装置を使用するユーザーの状態を検出する状態検出部をさらに備え、
前記状態検出部が前記ユーザーの所定の状態を検出したことに応答して、前記画像送信部は前記受信端末への前記画像入力部に入力された画像の送信を開始し又は停止する、
上記（１）に記載の画像表示装置。
（３）入力操作部をさらに備え、
前記ユーザーが前記入力操作部を介して指示したことに応答して、前記視界画像送信部は前記視界受給者への前記視界画像の送信を開始し又は停止する、
上記（１）に記載の画像表示装置。
（４）前記受信端末設定部は、画像開放メッセージを送信し、確認応答メッセージを返信してきた受信端末を設定する、
上記（１）に記載の画像表示装置。
（５）前記受信端末設定部は、前記ユーザーが指定した受信端末を設定する、
上記（１）に記載の画像表示装置。
（６）前記受信端末設定部は、受信端末を事前に登録する、
上記（１）に記載の画像表示装置。
（７）前記受信端末設定部が１つも受信端末を設定できないときには、前記画像送信部は前記画像入力部に入力された画像の送信を行なわない、
上記（１）に記載の画像表示装置。
（８）前記画像入力部に入力された画像とともに送信する付加情報を作成する付加情報作成部をさらに備え、
前記画像送信部は、前記画像入力部に入力された画像とともに前記付加情報を前記受信端末に送信する、
上記（１）に記載の画像表示装置。
（９）前記受信端末設定部は、前記受信端末を２区分以上に分類し、
前記画像送信部は、所定の区分の前記受信端末にのみ前記付加情報を送信する、
上記（８）に記載の画像表示装置。
（１０）前記画像入力部は、前記画像表示装置を使用するユーザーの視線方向の画像を入力し、
前記付加情報作成部は、前記ユーザーの視線に関する付加情報又は視線方向にある対象物を示す付加情報を作成する、
上記（８）に記載の画像表示装置。
（１１）撮像部をさらに備え、
前記画像入力部は、前記撮像部が撮影する画像を入力する、
上記（１）に記載の画像表示装置。
（１２）撮像部と、前記撮像部の撮像画像を記録する記録部をさらに備え、
前記画像入力部は、前記記録部から前記撮像画像を入力する、
上記（１）に記載の画像表示装置。
（１３）送信端末から送信された画像を受信処理する画像受信処理部と、
前記受信処理した画像を表示する画像表示部と、
を具備する、頭部又は顔部に装着型の画像表示装置。
（１４）前記送信端末を設定する送信端末設定部をさらに備え、
前記画像受信処理部は、前記送信端末設定部に設定された前記送信端末からの画像のみ受信する、
上記（１３）に記載の画像表示装置。
（１５）前記送信端末設定部は、前記送信端末からの画像開放メッセージに対して確認応答メッセージを返信する、
上記（１４）に記載の画像表示装置。
（１６）前記送信端末設定部は、前記ユーザーが指定した送信端末を設定する、
上記（１４）に記載の画像表示装置。
（１７）前記送信端末設定部は、送信端末を事前に登録する、
上記（１４）に記載の画像表示装置。
（１８）前記画像受信処理部は、前記画像とともに送られてくる付加情報を選択的に受信する、
上記（１３）に記載の画像表示装置。
（１９）前記画像表示部は前記画像表示部を使用するユーザーの左右の眼毎に表示画面を持ち、
前記画像表示部は、前記受信処理した画像を左右いずれか一方の表示画面に表示する、
上記（１３）に記載の画像表示装置。
（２０）前記画像表示部は、前記受信処理した画像を表示画面に子画面表示、又は、分割画面表示する、
上記（１３）に記載の画像表示装置。
（２１）前記画像受信処理部は、前記画像とともに送られてくる付加情報の表示処理も行なう、
上記（１３）に記載の画像表示装置。
（２２）前記送信端末は、前記送信端末のユーザーの視線方向の画像をユーザーの視線の情報を含んだ付加情報とともに送信し、
前記画像受信処理部は、前記付加情報として受信したユーザーの視線に関する情報に基づいて、前記送信端末から受信した画像に特殊処理を行なう、
上記（１３）に記載の画像表示装置。
（２３）前記送信端末から受信した画像又は付加情報を記録する記録部をさらに備える、
上記（１３）に記載の画像表示装置。
（２４）画像を入力する画像入力ステップと、
前記画像入力ステップで入力された画像の送信先となる受信端末を設定する受信端末設定ステップと、
前記画像入力ステップで入力された画像を前記受信端末に送信する画像送信ステップと、
を有する画像表示方法。
（２５）送信端末から送信された画像を受信処理する画像受信処理ステップと、
前記受信処理した画像を表示出力する画像表示ステップと、
を有する画像表示方法。
（２６）頭部又は顔部に装着型の、入力した画像を送信する送信側画像表示装置と、
頭部又は顔部に装着型の、前記送信側画像表示装置から送信される画像を表示する受信側画像表示装置と、
を具備する画像表示システム。
（２７）画像を表示する画像表示部、
画像を入力する画像入力部、
前記画像入力部に入力された画像の送信先となる受信端末を設定する受信端末設定部、
前記画像入力部に入力された画像を前記受信端末に送信する画像送信部、
としてコンピューターを機能させるようにコンピューター可読形式で記述され、ユーザーの頭部又は顔部に装着して用いられる画像表示装置を制御するコンピューター・プログラム。
（２８）送信端末から送信された画像を受信処理する画像受信処理部、
前記受信処理した画像を表示する画像表示部、
としてコンピューターを機能させるようにコンピューター可読形式で記述され、ユーザーの頭部又は顔部に装着して用いられる画像表示装置を制御するコンピューター・プログラム。

１００…画像表示装置（透過型）
１０１Ｌ、１０１Ｒ…虚像光学部、１０２…支持体
１０３Ｌ、１０３Ｒ…マイクロフォン、１０４Ｌ、１０４Ｒ…表示パネル
３００…画像表示装置（没入型）
３０１Ｌ、３０１Ｒ…虚像光学部
３０３Ｌ、３０３Ｒ…マイクロフォン、３０４Ｌ、３０４Ｒ…表示パネル
３０５…眼幅調整機構
５０１…制御部、５０１Ａ…ＲＯＭ、５０１Ｂ…ＲＡＭ
５０２…入力操作部、５０３…リモコン受信部
５０４…姿勢・位置検出部、５０５…通信部、５０６…記録部
５０７…画像処理部、５０８…表示駆動部
５０９…表示部、５１０…虚像光学部
５１１…状態検出部、５１２…外側カメラ
５１３…音声処理部、５１４…音声入出力部
６０１…画像入力部、６０２…役割切替部
６０３…視界受給者設定部、６０４…付加情報作成部
６０５…画像送信部
８０１…視界提供者設定部、８０２…画像受信部
８０３…画像表示処理部

Claims (19)

1. 画像を表示する画像表示部と、
   画像を入力する画像入力部と、
   前記画像入力部に入力された画像の送信先となる受信端末を設定する受信端末設定部と、
   前記画像入力部に入力された画像を前記受信端末に送信する画像送信部と、
   を具備し、
   前記受信端末設定部は、受信可能範囲が一定の距離以内となる送信電力で画像開放メッセージを送信し、所定時間内に確認応答メッセージを返信してきた受信端末を設定する、
   頭部又は顔部に装着型の画像表示装置。
2. 前記画像表示装置を使用するユーザーの状態を検出する状態検出部をさらに備え、
   前記状態検出部が前記ユーザーの所定の状態を検出したことに応答して、前記画像送信部は前記受信端末への前記画像入力部に入力された画像の送信を開始し又は停止する、
   請求項１に記載の画像表示装置。
3. 前記受信端末設定部は、確認応答メッセージを返信してきた所定数以内の受信端末を設定する、
   請求項１に記載の画像表示装置。
4. 前記受信端末設定部が１つも受信端末を設定できないときには、前記画像送信部は前記画像入力部に入力された画像の送信を行なわない、
   請求項１に記載の画像表示装置。
5. 前記画像入力部に入力された画像とともに送信する付加情報を作成する付加情報作成部をさらに備え、
   前記画像送信部は、前記画像入力部に入力された画像とともに前記付加情報を前記受信端末に送信する、
   請求項１に記載の画像表示装置。
6. 前記受信端末設定部は、前記受信端末を２区分以上に分類し、
   前記画像送信部は、所定の区分の前記受信端末にのみ前記付加情報を送信する、
   請求項５に記載の画像表示装置。
7. 前記画像入力部は、前記画像表示装置を使用するユーザーの視線方向の画像を入力し、
   前記付加情報作成部は、前記ユーザーの視線に関する付加情報又は視線方向にある対象物を示す付加情報を作成する、
   請求項５に記載の画像表示装置。
8. 撮像部をさらに備え、
   前記画像入力部は、前記撮像部が撮影する画像を入力する、
   請求項１に記載の画像表示装置。
9. 撮像部と、前記撮像部の撮像画像を記録する記録部をさらに備え、
   前記画像入力部は、前記記録部から前記撮像画像を入力する、
   請求項１に記載の画像表示装置。
10. 受信可能範囲が一定の距離以内となる送信電力で送信された画像開放メッセージを受信すると、所定時間内に確認応答メッセージを返信して、前記画像開放メッセージの送信元を送信端末として設定する送信端末設定部と、
    前記送信端末から送信された画像を受信処理する画像受信処理部と、
    前記受信処理した画像を表示する画像表示部と、
    を具備する、頭部又は顔部に装着型の画像表示装置。
11. 画像を入力する画像入力部と、
    前記画像入力部に入力された画像を受信端末に送信する画像送信部と、
    前記画像表示装置を使用するユーザーの状態を検出する状態検出部をさらに備え、
    前記状態検出部が前記ユーザーの所定の状態を検出したことに応答して、前記画像入力部と画像送信部の動作を開始し又は停止する、
    請求項１０に記載の画像表示装置。
12. 前記画像受信処理部は、前記画像とともに送られてくる付加情報を選択的に受信する、
    請求項１０に記載の画像表示装置。
13. 前記画像表示部は前記画像表示部を使用するユーザーの左右の眼毎に表示画面を持ち、
    前記画像表示部は、前記受信処理した画像を左右いずれか一方の表示画面に表示する、
    請求項１０に記載の画像表示装置。
14. 前記画像表示部は、前記受信処理した画像を表示画面に子画面表示、又は、分割画面表示する、
    請求項１０に記載の画像表示装置。
15. 前記画像受信処理部は、前記画像とともに送られてくる付加情報の表示処理も行なう、
    請求項１０に記載の画像表示装置。
16. 前記送信端末は、前記送信端末のユーザーの視線方向の画像をユーザーの視線の情報を含んだ付加情報とともに送信し、
    前記画像受信処理部は、前記付加情報として受信したユーザーの視線に関する情報に基づいて、前記送信端末から受信した画像に特殊処理を行なう、
    請求項１０に記載の画像表示装置。
17. 画像を入力する画像入力ステップと、
    前記画像入力ステップで入力された画像の送信先となる受信端末を設定する受信端末設定ステップと、
    前記画像入力ステップで入力された画像を前記受信端末に送信する画像送信ステップと、
    を有し、
    前記受信端末設定ステップでは、受信可能範囲が一定の距離以内となる送信電力で画像開放メッセージを送信し、所定時間内に確認応答メッセージを返信してきた受信端末を設定する、
    画像表示方法。
18. 受信可能範囲が一定の距離以内となる送信電力で送信された画像開放メッセージを受信すると、所定時間内に確認応答メッセージを返信して、前記画像開放メッセージの送信元を送信端末として設定する送信端末設定ステップと、
    前記送信端末から送信された画像を受信処理する画像受信処理ステップと、
    前記受信処理した画像を表示出力する画像表示ステップと、
    を有する画像表示方法。
19. 頭部又は顔部に装着型の、入力した画像を送信する送信側画像表示装置と、
    頭部又は顔部に装着型の、前記送信側画像表示装置から送信される画像を表示する受信側画像表示装置と、
    を具備し、
    前記送信側画像表示装置は、受信可能範囲が一定の距離以内となる送信電力で画像開放メッセージを送信し、所定時間内に確認応答メッセージを返信してきた画像表示装置に対して画像を送信する、
    画像表示システム。