JP2018067156A - 通信装置およびその制御方法 - Google Patents

Abstract

【課題】仮想空間におけるユーザ間の通信接続設定を容易にする技術を提供する。【解決手段】ユーザが仮想空間を共有する１以上の他ユーザと通信を行うために使用される通信装置は、現実空間を撮像する撮像手段と、ユーザの発する音声を取得する音声取得手段と、仮想空間におけるユーザ及び１以上の他ユーザの位置を取得する取得手段と、撮像手段により撮像される現実空間の視野に対応する仮想空間の視野内に存在する他ユーザを検出する検出手段と、検出手段により検出された他ユーザを音声取得手段により取得された音声の送信先とする通信接続設定を行う制御手段と、を有する。【選択図】図１

Description

本発明は、仮想空間を共有するユーザ間の通信制御技術に関するものである。

現実空間と仮想空間をリアルタイムに融合させて体験者に提示する技術として、複合現実感（ＭＲ：Mixed Reality）技術や拡張現実感（ＡＲ：Augmented Reality）技術が知られている。これらの技術では、現実空間の映像に、表示装置の位置姿勢に応じた仮想空間の画像（ＣＧ：Computer Graphic）を重畳した合成画像を表示する。また、マイクやスピーカーを搭載したＭＲ・ＡＲシステムも開発されている。例えば、同一の仮想空間を複数ユーザで共有することにより、遠隔地にいるユーザであっても同じ部屋にいるかのようにコミュニケーションすることが可能であり、様々な分野への応用が期待されている。

特許文献１は、実空間における通信相手の相対的な位置および方向を身体感覚として把握可能な音声コミュニケーション・システムを開示している。具体的には、実空間におけるユーザの位置に基づいて算出された仮想空間におけるユーザの位置に基づいて音響効果を制御する手法について述べている。

特開２００５−３４１０９２号公報

しかしながら、上述のように複数ユーザで同一の仮想空間を共有するシステムにおいては、特定の相手とコミュニケーションするための通信接続設定は、ユーザによって手間がかかる又は困難なものとなる。そのため、同一の仮想空間を共有する意図しない相手との通信接続設定がなされた結果、円滑なコミュニケーションが阻害されることになる。このような問題に対しては上述の特許文献１の技術では解決することが出来ない。

本発明はこのような問題を鑑みてなされたものであり、仮想空間におけるユーザ間の通信接続設定を容易にする技術を提供することを目的とする。

上述の問題点を解決するため、本発明に係る通信装置は以下の構成を備える。すなわち、ユーザが仮想空間を共有する１以上の他ユーザと通信を行うために使用される通信装置は、
現実空間を撮像する撮像手段と、
前記ユーザの発する音声を取得する音声取得手段と、
前記仮想空間における前記ユーザ及び前記１以上の他ユーザの位置を取得する取得手段と、
前記撮像手段により撮像される現実空間の視野に対応する前記仮想空間の視野内に存在する他ユーザを検出する検出手段と、
前記検出手段により検出された他ユーザを前記音声取得手段により取得された音声の送信先とする通信接続設定を行う制御手段と、
を有する。

本発明によれば、仮想空間におけるユーザ間の通信接続設定を容易にする技術を提供することができる。

第１実施形態における画像音声処理システムの構成を示すブロック図である。 第１実施形態における通信接続設定の動作フローチャートである。 第２実施形態における画像音声処理システムの構成を示すブロック図である。 第２実施形態における通信接続設定の動作フローチャートである。 第３実施形態における画像音声処理システムの構成を示すブロック図である。 第３実施形態における通信接続設定の動作フローチャートである。 第１実施形態における仮想空間における複数のユーザを示す概念図である。 第２実施形態における仮想空間における複数のユーザを示す概念図である。 第３実施形態における仮想空間における複数のユーザを示す概念図である。

以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。

（第１実施形態）
本発明に係る通信装置の第１実施形態として、画像音声処理システムで利用されるユーザ装置（撮像装置１００及び制御装置１０１）を例に挙げて以下に説明する。

＜装置構成＞
図１は、第１実施形態における画像音声処理システムの構成を示すブロック図である。特に、各ユーザに対して用意されるユーザ装置は、ユーザが仮想空間を共有する１以上の他ユーザと通信を行うために使用される装置であり、撮像装置１００と制御装置１０１とから構成される。各ユーザ装置は、ネットワークを介して相互に通信可能に接続されている。

撮像装置１００は、撮像部１０２、表示部１０３、マイクロフォン部１０４、スピーカー部１０５を含む。撮像装置１００は、外界を撮像しその撮像画像に対してＣＧ（Computer Graphics）を重畳するビデオシースルー型ＨＭＤ（Head Mounted Display）として構成され得る。例えば、撮像部１０２は、撮像装置１００の装着者の視線方向／視野と略一致する現実空間を撮像し、表示部１０３は、撮像画像にＣＧを重畳表示した複合現実（ＭＲ）画像を表示する。なお、ステレオ画像を生成するため、右目用、左目用の２つの表示部を実装してもよい。表示部１０３は、例えば、表示素子、光学系、画像処理部から構成され、画像処理部は、ＤＳＰ（Digital Signal Processor）などにより構成される。

以下の説明においては撮像装置１００はビデオシースルー型ＨＭＤであることを想定するが、ネットワークカメラやその他の撮像装置であってもよい。つまり、持ち運びが可能でかつユーザの視野に相当する画像が撮像できる任意の撮像装置が利用可能である。

ここでは、撮像部１０２は、画像センサが利用される。表示部１０３は、小型の液晶ディスプレイや有機ＥＬディスプレイ、あるいは、ＭＥＭＳによる網膜スキャンタイプのデバイスが利用される。マイクロフォン部１０４は、音声取得のための機能部である。ここでは撮像装置１００内の構成として示しているが、撮像装置１００を装着したユーザが発生する音声を取得できるものであればよく、別体として構成してもよい。スピーカー部１０５は、ここではイヤホン型のスピーカーを想定している。これは、同一の現実空間（例えば部屋）内に撮像装置１００を装着したユーザが複数存在した場合、通常のスピーカーを用いると当該スピーカーからの直接音が近隣の他ユーザに聞こえてしまう可能性があるためである。もちろん、近隣に直接音が聞こえて構わない状況、例えば、部屋内にユーザが１人のみである場合などであれば、他の形態のスピーカーでも構わない。

制御装置１０１は、画像取得部１０６、ユーザ検出部１０７、音声取得部１０８、制御部１０９、音声送信部１１０、を含む。ここでは、制御装置１０１は、パソコンやワークステーション等の高性能な演算処理機能やグラフィック表示機能を有する装置を用いることを想定する。制御装置１０１と撮像装置１００を接続することで、表示装置１００を装着したユーザは、仮想空間の映像を見ることが可能となる。当該仮想空間の映像は、現実世界と仮想世界とがリアルタイムかつシームレスに融合した複合現実世界の映像であってもよい。なお、制御装置１０１と撮像装置１００とを一体構成としてユーザが携帯可能なように構成してもよい。また、複数の撮像装置１００に対する制御を１台の制御装置１００により行うよう構成してもよい。

画像取得部１０６は、撮像部１０２で撮像された撮像画像を取得する。ユーザ検出部１０７は、画像取得部１０６より取得した撮像画像内に存在する他ユーザを検出する。例えば、撮像画像内に存在する撮像装置１００を装着した他ユーザを検出する。ユーザ検出部１０７で他ユーザを検出する手法は、他ユーザに付されたマーカなどの特徴点検出を用いて撮像画像より認識する手法でも構わないし、位置姿勢センサから取得した位置姿勢情報を基に算出する手法でも構わない。音声取得部１０８では、マイクロフォン部１０４より録音した音声データを取得する。

制御部１０９は、音声送信部１１０の通信相手を設定する制御を行う。ユーザ検出部１０７より取得した他ユーザ（撮像装置１００の視野内に存在する他ユーザ）を特定する情報と音声取得部１０８より取得した音声情報に基づいて、他ユーザに対して音声データを送信する設定を行う。制御部１０９は、送信モードとして、以下の３つのモードの何れかが選択設定され動作する。動作の詳細については後述する。

・仮想空間における一部のユーザ（例えば視野内のユーザ）のみと送受信する第１のモード
・仮想空間内の全ユーザと送受信する第２のモード
・送受信を行わない第３のモード
なお、送信モードとして、他のモード、例えば、仮想空間における一部のユーザ（例えば視野内のユーザ）へ優先的に伝送するモードのようなものをさらに設けてもよい。

音声送信部１１０は、制御部１０９から指示を受けた場合に、音声入力部１０４より入力された音声データを他ユーザに送信する。また、撮像装置１００を装着しているユーザ自身のスピーカー部１０５に対して出力してもよい。

＜装置の動作＞
以下では、同一の仮想空間を共有する複数のユーザ間での音声データの送信処理について説明する。図７は、仮想空間における複数のユーザの位置姿勢を示す概念図である。

ユーザ７００、７０１、７０２は、同一の仮想空間を共有し、現実空間においてそれぞれが撮像装置１００を装着しているユーザ（のアバター）である。ユーザ７００、７０１、７０２に対応する現実空間でのユーザは、それぞれが同一の現実空間（例えば同じ部屋）に存在していてもよいし、遠隔地に存在していてもよい。以下では、仮想空間におけるユーザ７００、７０１、７０２に対応する現実空間におけるユーザを、それぞれユーザＡ、Ｂ、Ｃと表現する。また、ユーザＡ、Ｂ、Ｃはそれぞれ遠隔地に存在することを想定して説明を行う。

ここでは、これらの３ユーザ間で映像を通じて仮想物体などを共有し、なおかつ通話を行うことを想定している。具体的には、仮想空間（図７の状況）において、ユーザ７００がユーザ７０１に対して話しかけることを想定する。

画面７０３は、ユーザＡ（ユーザ７００）の装着する撮像装置１００の表示部１０３に表示されている画面（すなわち、ユーザＡの視野）を例示的に示している。すなわち、仮想空間において、ユーザ７００はユーザ７０１の存在する方向を向いていることを示している。そのため、画面７０３においては、ユーザ７０１（ユーザＢ）は含まれるが、ユーザ７０２（ユーザＣ）は含まれない。

このようにユーザ７００の視野内にユーザ７０１のみが映っている場合、ユーザ７００（ユーザＡ）が発した音声を、ユーザ７０１（ユーザＢ）にのみ送信する。つまり、ユーザＡの視野内に存在しないユーザＣ（ユーザ７０２）に対しては、音声データを送信しない。

なお、第１実施形態においては、ユーザ７００の視野内にユーザ７０１以外にも他のユーザが複数いる場合、視野内に存在するユーザ全てに対して音声データが送信される。このように、音声を発したユーザの視野内に存在するユーザに対してのみ音声データを送信する。

なお、上述の動作は、制御部１０９の送信モードとして第１のモードが設定されている場合の動作である。ここでは、ユーザ７０１に対してのみ話しかけるため、制御部１０９が「第１のモード」で動作するようにユーザＡ（ユーザ７００）が事前に設定することを想定している。しかし、全ユーザに音声情報を送信したい場合は、ユーザＡ自身で送信モードを「第２のモード」に変更することで、視野内に存在するか否かにかかわらず全ユーザ全体に音声が送信される。また、何れのユーザとも音声の送受信を行いたくない場合は、ユーザＡ自身で送信モードを「第３のモード」に変更することで、全ての送受信が抑止される。伝送モードの選択は、ユーザが、撮像装置１００に配置された不図示のボタンやスイッチを操作することで行ってもよいし、その他の操作で変更してもよい。

図２は、第１実施形態における通信接続設定の動作フローチャートである。以下の動作は、ユーザＡ（ユーザ７００）の撮像装置１００及び制御装置１０１における動作を示している。

Ｓ２００では、制御装置１０１は、撮像部１０２で撮像された画像を画像処理部１０６に入力する。Ｓ２０１では、制御装置１０１は、Ｓ２００で取得した撮像画像に他ユーザ（ＨＭＤ装着ユーザ）が映っていた場合に、当該他ユーザを検出する。ここで他ユーザを検出する手法は、マーカなどの特徴点を検出するような画像処理による手法でも構わないし、位置姿勢センサの位置情報からユーザを検出する方法でも構わない。また、撮像装置１００の個体識別情報を基に、不図示の位置姿勢取得部が、ネットワークを介して接続される位置姿勢サーバーに問い合わせる方法でも構わない。

ここで、位置姿勢サーバーは、同一の仮想空間を共有する各ユーザの位置姿勢情報を管理する装置である。例えば、各ユーザの制御装置１０１から現実空間における位置姿勢情報を受信し、当該現実空間における位置姿勢に対応する仮想空間における位置姿勢を導出し管理する。例えば、ユーザの存在する現実空間の場所（部屋）を基準とした位置姿勢を、ユーザから指定された所定の仮想空間を基準とした位置姿勢にマッピングする。また、各ユーザの制御装置１０１からの取得要求に基づき、管理している仮想空間における各ユーザの位置姿勢情報を返信する。

Ｓ２０２では、制御装置１０１は、マイクロフォン部１０４で録音した音声データを音声取得部１０８に入力する。Ｓ２０３では、制御装置１０１は、制御部１０９に現在設定されている送信モードを取得する。ここでは。上述のように送信モードとして、第１のモード〜第３のモードの３つがあるものとする。

Ｓ２０４では、制御装置１０１は、Ｓ２０３で取得した送信モードを基に、個別に送信設定を行うか、全体に対して送信設定を行うかを判断する。第１のモードが設定されており個別に送受信設定を行う場合は、Ｓ２０５に進む。第２のモードが設定されており全体に対して送受信設定を行う場合はＳ２１１に進む。

Ｓ２０５では、制御装置１０１は、Ｓ２０１で取得した他ユーザの情報を基に、視野内に他ユーザが映っているかどうかを判断する。ここで、視野内に他ユーザが映っている場合はＳ２０６に進み、個別に音声情報を送受信する設定を行う。一方、視野内に他ユーザが映っていない場合は、Ｓ２１１に進む。

Ｓ２０６では、制御装置１０１は、Ｓ２０１で取得した他ユーザを送信先ユーザとして決定し、当該他ユーザをＳ２０２で取得した音声データに紐付ける。この送信先ユーザと音声データを紐付ける手法はどんなものでも構わない。Ｓ２０７では、制御装置１０１は、視野内に更に他ユーザが検出されているか否かを判断する。そして、検出されている場合は、Ｓ２０６に戻り、同様に当該他ユーザを音声データに紐付ける。視野内の全ての他ユーザに関して音声データへの紐付けが完了するとＳ２０８に進む。

Ｓ２０８では、制御装置１０１は、送信先として決定された他ユーザに対する通信接続設定を行う。なお、複数の他ユーザに送信する場合は、個別に通信接続設定を行うとよい。通信接続設定の内容としては、音声データの圧縮、タイムスタンプなどを用いた時間制御、通信状況による送信制御など、様々な設定が含まれ得る。Ｓ２０９では、制御装置１０１は、Ｓ２０８で設定された通信接続設定に基づいて音声データを送信する。また、自身のスピーカー部１０５に対しても音声データを送信し、スピーカー部１０５から音声を出力させる。

Ｓ２１０では、制御装置１０１は、Ｓ２００で取得した撮像画像を表示部１０３へ表示させる。また、仮想空間における他ユーザのアバターや仮想物体を併せて表示部１０３において表示するよう構成してもよい。ここで、表示部１０３で表示する画像と、スピーカー部１０５で出力する音声と、をタイムスタンプなどを用いて同期制御を行ってもよい。もちろん、同期制御を行わずに出力してもよい。また、音声データを送信する他ユーザに関する情報を併せて表示するよう構成してもよい。

Ｓ２１１では、制御装置１０１は、音声データを全ユーザに対して送信するか否かを、設定されている送信モードを基に決定する。第２のモードが設定されており全ユーザへ送信する場合は、Ｓ２１２に進む。一方、第３のモードが設定されており誰にも音声データを送信しない場合は、通信接続設定を行うことなくＳ２１０に進む。

Ｓ２１２では、制御装置１０１は、全ユーザに対する通信接続設定を行う。すなわち、Ｓ２０１における検出結果にかかわらず全ユーザに送信する。なお、マルチキャスト・ブロードキャスト伝送を用いるよう設定してもよい。具体的な処理についてはＳ２０８と同様であるため説明は省略する。Ｓ２１３では、制御装置１０１は、Ｓ２１２で設定された通信接続設定に基づいて、音声データを全ての他ユーザに送信する。また、自身のスピーカー部１０５に対しても音声データを送信し、スピーカー部１０５から音声を出力させる。

以上説明したとおり第１実施形態によれば、ユーザ７００（ユーザＡ）は、仮想空間における視野内に存在する他ユーザに対してのみ音声データを送信する通信接続設定を容易に行うことが可能となる。すなわち、ユーザ７００は、制御部１０９の送信モードとして第１のモードを設定し、仮想空間においてユーザ７０１の存在する方向を向くだけで足りる。

（第２実施形態）
第２実施形態では、視野内に他ユーザが存在するか否かだけでなく、ユーザからの音声コマンドも併せて考慮し、通信接続設定を行う形態について説明する。すなわち、第１実施形態では、視野内に複数の他ユーザが存在する状況においては、当該複数の他ユーザ全てに対して音声データを送信することになる。一方で、ユーザの意図によっては、特定のユーザに対してのみ音声データを送受信したい場合も考えられる。そこで、第２実施形態では、ユーザが発声した音声に含まれる音声コマンドを考慮して、音声データの送信先を決定する形態について説明する。

＜装置構成＞
図３は、第２実施形態における画像音声処理システムの構成を示すブロック図である。第１実施形態（図１）に対して、音声コマンド取得部３００を追加した構成となっている。第１実施形態と同様の機能部については説明を省略する。

音声コマンド取得部３００は、音声取得部１０８から音声データを取得し、取得した音声データから「音声コマンド」を検出し抽出する。そして、検出した音声コマンド（あるいは当該音声コマンドに基づく他ユーザを特定する情報）を制御部１０９に送信する。

ここで音声コマンドとは、ユーザ名（ここでは「ユーザＢ」「ユーザＣ」）などの、ユーザを特定する用語（キーワード）を含む。以下の説明では、撮像装置１００のユーザが表示部１０３に表示されている視野画像を視認し、当該視野画像内に存在する１人のユーザ名を「音声コマンド」として発声することを想定する。

＜装置の動作＞
以下では、同一の仮想空間を共有する複数のユーザ間での音声データの伝送処理について説明する。図８は、仮想空間における複数のユーザの位置姿勢を示す概念図である。

ユーザ７００、７０１、７０２、は第１実施形態と同様、同一仮想空間を共有する撮像装置１００を装着したユーザである。第２実施形態（図８）では、仮想空間においてユーザ８００（現実空間でのユーザＤ）が更に追加されている。

ここでは、これらの４ユーザ間で映像を通じて仮想物体などを共有し、なおかつ通話を行うことを想定している。具体的には、仮想空間（図８の状況）において、ユーザ７００がユーザ７０１に対して話しかけることを想定する。ここでは仮想空間内のユーザ数が４人の構成を想定するが、これは５人以上の構成であっても構わない。

画面８０１は、ユーザＡ（ユーザ７００）の装着する撮像装置１００の表示部１０３に表示されている画面（すなわち、ユーザＡの視野）を例示的に示している。すなわち、仮想空間において、ユーザ７００は、ユーザ７０１及びユーザ７０２の存在する方向を向いていることを示している。そのため、画面８０１においては、ユーザ７０１（ユーザＢ）及びユーザ７０２（ユーザＣ）は含まれるが、ユーザ８００（ユーザＤ）は含まれない。

第２実施形態では、この状況において、ユーザ７００がユーザ７０１（ユーザＢ）に対してのみ話しかける（音声を送信する）ことを、ユーザ７００による「音声コマンド」により実現する。例えば、図８に示すように、ユーザ７００（ユーザＡ）が、音声コマンドとしてのユーザ名「Ｂさん」を含む「Ｂさん Ｈｅｌｌｏ」と発声することにより実現する。

音声コマンド取得部３００は、「Ｂさん Ｈｅｌｌｏ」から音声コマンドとしての「Ｂさん」を検出し、「ユーザＢ」を送信先ユーザとして特定する。その結果、ユーザＡが発声した音声は、ユーザＢにのみ送信される。そのため、ユーザＣとユーザＤにはユーザＡの音声は送信されない。

図４は、第２実施形態における通信接続設定の動作フローチャートである。当該フローチャートは、第１実施形態（図２）に対して、Ｓ４００及びＳ４０１を追加したものに相当する。図４のＳ２００〜Ｓ２１３は図２のＳ２００〜Ｓ２１３と実質的に同様の処理であるため説明は省略する。

Ｓ４００では、制御装置１０１は、Ｓ２０２で取得した音声データを解析し、音声コマンドを検出し保存する。例えば、事前に画面８０１の中に存在するユーザのユーザ名一覧を取得しておき、「Ｂさん Ｈｅｌｌｏ」という発声から「Ｂさん」というユーザ名を音声コマンドとして検出する。なお、ユーザの発声から音声コマンドを検出できなかった場合は、そのままＳ２０３に進む。

Ｓ４０１では、制御装置１０１は、Ｓ４００で検出した音声コマンドに基づいて、音声データの送信先となる他ユーザを決定する。ここでは、「Ｂさん」という音声コマンドに基づき、「ユーザＢ」を送信先として決定する。

以上説明したとおり第２実施形態によれば、ユーザ７００は、特定の他ユーザに対してのみ音声データを送信する通信接続設定を容易に行うことが可能となる。すなわち、ユーザ７００は、制御部１０９の送信モードとして第１のモードを設定し、仮想空間においてユーザ７０１を視野に入れると共にユーザ７０１のユーザ名を発声するたけで足りる。

（第３実施形態）
第３実施形態では、仮想空間において話しかけられた（音声を送信された）ユーザ側での制御装置１０１の動作について説明する。上述の第１又は第２実施形態の手法で話しかけられた側のユーザは、必ずしも話しかけた側のユーザの方向を向いているとは限らない。この状況においては、上述の第１又は第２実施形態の手法では、返答のための通信接続設定を適切に行うことが出来ない。

そこで、第３実施形態では、話しかけられたユーザ側の制御装置１０１は、話しかけたユーザ（送信元のユーザ）における通信接続設定を検出し、検出した設定を返答のための通信接続設定に利用する形態について説明する。

＜装置構成＞
図５は、第３実施形態における画像音声処理システムの構成を示すブロック図である。第１実施形態（図１）に対して、音声受信部５００を追加した構成となっている。第１実施形態と同様の機能部については説明を省略する。

音声受信部５００は、他ユーザから送信された音声データを受信する。そして、受信した音声データをユーザ検出部１０７に送信する。ユーザ検出部１０７は、音声データに基づいて、送信元のユーザ及び送信設定（通信接続設定）を検出する。また、音声受信部５００は、受信した音声データをスピーカー部１０５に送信する。

＜装置の動作＞
以下では、同一の仮想空間を共有する複数のユーザ間での音声データの伝送処理について説明する。図９は、仮想空間における複数のユーザの位置姿勢を示す概念図である。

ユーザ７００、７０１、７０２は、第１実施形態と同様、同一仮想空間を共有する撮像装置１００を装着したユーザである。ここでは、これらの３ユーザ間で映像を通じて仮想物体などを共有し、なおかつ通話を行うことを想定している。特に、仮想空間（図９の状況）において、ユーザ７０１（ユーザＢ）の発呼に基づく、ユーザ７０１とユーザ７００（ユーザＡ）との会話を想定する。

画面９００は、ユーザＢ（ユーザ７０１）の装着する撮像装置１００の表示部１０３に表示されている画面（すなわち、ユーザＢの視野）を例示的に示している。また、画面９０１は、ユーザＡ（ユーザ７００）の装着する撮像装置１００の表示部１０３に表示されている画面（すなわち、ユーザＡの視野）を例示的に示している。すなわち、仮想空間において、発呼側のユーザ７０１はユーザ７００の存在する方向を向いているが、着呼側のユーザ７００はユーザ７０１の存在する方向を向いていないことを示している。

まず、ユーザ７０１は、第１又は第２実施形態の方法に従って、ユーザ７００に対してのみ音声データを送信する。ユーザ７００の制御装置１０１は、音声データを受信すると当該受信した音声データから送信元のユーザがユーザ７０１であることを認識する。例えば、受信した音声データと共に送信される送信元ユーザ情報に基づき送信元ユーザを認識してもよい。また、受信した音声データを含むパケットの情報（送信元アドレスなど）に基づいて、ユーザ情報を管理するサーバに問い合わせることにより送信元ユーザを認識してもよい。

さらに、ユーザ７００の制御装置１０１は、送信元ユーザの制御装置１０１における送信モードも検出する。ここでは、第１実施形態と同様の第１〜第３のモードの何れかが設定されることを想定する。すなわち、送信元での送信モードを検出することにより、送信元のユーザが個別の通信を意図しているのか、全ユーザに対する通信を意図しているのかを判定するのである。送信モードを検出する手法としては、前述した送信元ユーザを認識する手法と同等のもので構わない。

ここでは、送信元において個別の通信を行う第１のモードが設定されていた場合に、返答においても個別の通信を行う第１のモードを設定する。これにより、ユーザ７００は、ユーザ７０１の存在を認識していない（ユーザ７００の視野内にユーザ７０１がいない）場合であっても、容易に返答することが可能となる。

図６は、第３実施形態における通信接続設定の動作フローチャートである。上述のように、当該動作は、ユーザ７０１（ユーザＢ）がユーザ７００（ユーザＡ）に対して話しかけたことによる通話の場合の、ユーザ７００（ユーザＡ）の制御装置１０１の動作である。図６のＳ２０２〜Ｓ２０８は、図２のＳ２０２〜Ｓ２０８と実質的に同様の処理であるため説明は省略する。

Ｓ６００では、制御装置１０１は、他ユーザ（ここではユーザ７０１）からの音声データを受信する。受信した音声データはユーザ検出部１０７に送信され、送信元ユーザの検出に利用される。

Ｓ６０１では、制御装置１０１は、受信した音声データに基づいて、送信元ユーザの検出を行う。検出された送信元ユーザのユーザ情報、受信した音声データ、音声取得部１０８で取得した返答用の音声データを送信方法設定部１０９に送付する。そして、送信方法設定部１０９では送信元ユーザの送信モードの検出と返答用の送信設定を行う。なお、同時に複数の他ユーザから音声データを受信した場合、それぞれの他ユーザに対して音声データを紐づけるとよい。

以上説明したとおり第３実施形態によれば、仮想空間において話しかけられたユーザは、送信元のユーザを認識していない場合であっても、容易に返答することが可能となる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像装置； １０１ 制御装置； １０２ 撮像部； １０３ 表示部； １０４ マイクロフォン部； １０５ スピーカー部； １０６ 画像取得部； １０７ ユーザ検出部； １０８ 音声取得部； １０９ 制御部； １１０ 音声送信部

Claims (12)

1. ユーザが仮想空間を共有する１以上の他ユーザと通信を行うために使用される通信装置であって、
   現実空間を撮像する撮像手段と、
   前記ユーザの発する音声を取得する音声取得手段と、
   前記仮想空間における前記ユーザ及び前記１以上の他ユーザの位置を取得する取得手段と、
   前記撮像手段により撮像される現実空間の視野に対応する前記仮想空間の視野内に存在する他ユーザを検出する検出手段と、
   前記検出手段により検出された他ユーザを前記音声取得手段により取得された音声の送信先とする通信接続設定を行う制御手段と、
   を有することを特徴とする通信装置。
2. 前記取得手段は、前記仮想空間に存在する各ユーザの該仮想空間における位置を、該位置を管理するサーバーから取得する
   ことを特徴とする請求項１に記載の通信装置。
3. 前記検出手段は、前記撮像手段により撮像される現実空間の視野内に存在する他ユーザに基づいて、前記仮想空間の視野内に存在する他ユーザを検出する
   ことを特徴とする請求項１又は２に記載の通信装置。
4. 前記通信装置は、
   現実空間における前記ユーザの位置姿勢を取得する位置姿勢取得手段と、
   前記位置姿勢取得手段で取得された位置姿勢を前記サーバーに送信する送信手段と、
   を更に有し、
   前記サーバーは、前記ユーザから受信した該ユーザの前記現実空間における位置姿勢に基づいて該ユーザの前記仮想空間における位置姿勢を導出し、該ユーザの前記仮想空間における位置姿勢として管理する
   ことを特徴とする請求項２に記載の通信装置。
5. 前記取得手段は、前記仮想空間における前記ユーザ及び前記１以上の他ユーザの位置姿勢を取得し、
   前記検出手段は、前記仮想空間における前記ユーザの位置姿勢に基づき該ユーザの前記仮想空間における視野を決定し、前記仮想空間における前記１以上の他ユーザの位置姿勢に基づき該視野内に存在する他ユーザを検出する
   ことを特徴とする請求項４に記載の通信装置。
6. 前記取得手段によって取得された前記仮想空間における前記ユーザ及び前記１以上の他ユーザの位置姿勢に基づいて、前記仮想空間の映像を生成する生成手段と、
   前記生成手段により生成された映像を表示する表示手段と、
   を更に有することを特徴とする請求項５に記載の通信装置。
7. 前記生成手段は、前記撮像手段により撮像された映像に前記仮想空間に配置された物体の映像を重畳することにより前記仮想空間の映像を生成する
   ことを特徴とする請求項６に記載の通信装置。
8. 前記音声取得手段により取得された音声からキーワードを抽出する抽出手段を更に有し、
   前記制御手段は、前記検出手段により検出された他ユーザに前記抽出されたキーワードが示す他ユーザが含まれる場合、該他ユーザを前記音声取得手段により取得された音声の送信先とする通信接続設定を行う
   ことを特徴とする請求項１乃至７の何れか１項に記載の通信装置。
9. 前記制御手段は、他ユーザからの音声を受信した場合、該他ユーザを前記音声取得手段により取得された音声の送信先とする通信接続設定を行う
   ことを特徴とする請求項１乃至８の何れか１項に記載の通信装置。
10. 前記制御手段が、前記仮想空間内の一部のユーザに対してデータを送信する第１のモードで動作するか、前記仮想空間内の全ユーザに対してデータを送信する第２のモードで動作するか、を選択する選択手段を更に有し、
    前記制御手段は、前記選択手段により前記第２のモードでの動作が選択されている場合、前記検出手段による検出結果にかかわらず、前記仮想空間内の全ユーザを前記音声取得手段により取得された音声の送信先とする通信接続設定を行う
    ことを特徴とする請求項１乃至９の何れか１項に記載の通信装置。
11. ユーザが仮想空間を共有する１以上の他ユーザと通信を行うために使用される通信装置の制御方法であって、
    現実空間を撮像部で撮像する撮像工程と、
    前記ユーザの発する音声を取得する音声取得工程と、
    前記仮想空間における前記ユーザ及び前記１以上の他ユーザの位置を取得する取得工程と、
    前記撮像工程により撮像された現実空間の視野に対応する前記仮想空間の視野内に存在する他ユーザを検出する検出工程と、
    前記検出工程により検出された他ユーザを前記音声取得工程により取得された音声の送信先とする通信接続設定を行う制御工程と、
    を含むことを特徴とする通信装置の制御方法。
12. 撮像装置と接続されたコンピュータを、請求項１乃至１０の何れか１項に記載の通信装置の各手段として機能させるためのプログラム。

Images