JP2018067156A - 通信装置およびその制御方法 - Google Patents
通信装置およびその制御方法 Download PDFInfo
- Publication number
- JP2018067156A JP2018067156A JP2016205465A JP2016205465A JP2018067156A JP 2018067156 A JP2018067156 A JP 2018067156A JP 2016205465 A JP2016205465 A JP 2016205465A JP 2016205465 A JP2016205465 A JP 2016205465A JP 2018067156 A JP2018067156 A JP 2018067156A
- Authority
- JP
- Japan
- Prior art keywords
- user
- virtual space
- users
- voice
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
Abstract
【課題】仮想空間におけるユーザ間の通信接続設定を容易にする技術を提供する。【解決手段】ユーザが仮想空間を共有する1以上の他ユーザと通信を行うために使用される通信装置は、現実空間を撮像する撮像手段と、ユーザの発する音声を取得する音声取得手段と、仮想空間におけるユーザ及び1以上の他ユーザの位置を取得する取得手段と、撮像手段により撮像される現実空間の視野に対応する仮想空間の視野内に存在する他ユーザを検出する検出手段と、検出手段により検出された他ユーザを音声取得手段により取得された音声の送信先とする通信接続設定を行う制御手段と、を有する。【選択図】図1
Description
本発明は、仮想空間を共有するユーザ間の通信制御技術に関するものである。
現実空間と仮想空間をリアルタイムに融合させて体験者に提示する技術として、複合現実感(MR:Mixed Reality)技術や拡張現実感(AR:Augmented Reality)技術が知られている。これらの技術では、現実空間の映像に、表示装置の位置姿勢に応じた仮想空間の画像(CG:Computer Graphic)を重畳した合成画像を表示する。また、マイクやスピーカーを搭載したMR・ARシステムも開発されている。例えば、同一の仮想空間を複数ユーザで共有することにより、遠隔地にいるユーザであっても同じ部屋にいるかのようにコミュニケーションすることが可能であり、様々な分野への応用が期待されている。
特許文献1は、実空間における通信相手の相対的な位置および方向を身体感覚として把握可能な音声コミュニケーション・システムを開示している。具体的には、実空間におけるユーザの位置に基づいて算出された仮想空間におけるユーザの位置に基づいて音響効果を制御する手法について述べている。
しかしながら、上述のように複数ユーザで同一の仮想空間を共有するシステムにおいては、特定の相手とコミュニケーションするための通信接続設定は、ユーザによって手間がかかる又は困難なものとなる。そのため、同一の仮想空間を共有する意図しない相手との通信接続設定がなされた結果、円滑なコミュニケーションが阻害されることになる。このような問題に対しては上述の特許文献1の技術では解決することが出来ない。
本発明はこのような問題を鑑みてなされたものであり、仮想空間におけるユーザ間の通信接続設定を容易にする技術を提供することを目的とする。
上述の問題点を解決するため、本発明に係る通信装置は以下の構成を備える。すなわち、ユーザが仮想空間を共有する1以上の他ユーザと通信を行うために使用される通信装置は、
現実空間を撮像する撮像手段と、
前記ユーザの発する音声を取得する音声取得手段と、
前記仮想空間における前記ユーザ及び前記1以上の他ユーザの位置を取得する取得手段と、
前記撮像手段により撮像される現実空間の視野に対応する前記仮想空間の視野内に存在する他ユーザを検出する検出手段と、
前記検出手段により検出された他ユーザを前記音声取得手段により取得された音声の送信先とする通信接続設定を行う制御手段と、
を有する。
現実空間を撮像する撮像手段と、
前記ユーザの発する音声を取得する音声取得手段と、
前記仮想空間における前記ユーザ及び前記1以上の他ユーザの位置を取得する取得手段と、
前記撮像手段により撮像される現実空間の視野に対応する前記仮想空間の視野内に存在する他ユーザを検出する検出手段と、
前記検出手段により検出された他ユーザを前記音声取得手段により取得された音声の送信先とする通信接続設定を行う制御手段と、
を有する。
本発明によれば、仮想空間におけるユーザ間の通信接続設定を容易にする技術を提供することができる。
以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。
(第1実施形態)
本発明に係る通信装置の第1実施形態として、画像音声処理システムで利用されるユーザ装置(撮像装置100及び制御装置101)を例に挙げて以下に説明する。
本発明に係る通信装置の第1実施形態として、画像音声処理システムで利用されるユーザ装置(撮像装置100及び制御装置101)を例に挙げて以下に説明する。
<装置構成>
図1は、第1実施形態における画像音声処理システムの構成を示すブロック図である。特に、各ユーザに対して用意されるユーザ装置は、ユーザが仮想空間を共有する1以上の他ユーザと通信を行うために使用される装置であり、撮像装置100と制御装置101とから構成される。各ユーザ装置は、ネットワークを介して相互に通信可能に接続されている。
図1は、第1実施形態における画像音声処理システムの構成を示すブロック図である。特に、各ユーザに対して用意されるユーザ装置は、ユーザが仮想空間を共有する1以上の他ユーザと通信を行うために使用される装置であり、撮像装置100と制御装置101とから構成される。各ユーザ装置は、ネットワークを介して相互に通信可能に接続されている。
撮像装置100は、撮像部102、表示部103、マイクロフォン部104、スピーカー部105を含む。撮像装置100は、外界を撮像しその撮像画像に対してCG(Computer Graphics)を重畳するビデオシースルー型HMD(Head Mounted Display)として構成され得る。例えば、撮像部102は、撮像装置100の装着者の視線方向/視野と略一致する現実空間を撮像し、表示部103は、撮像画像にCGを重畳表示した複合現実(MR)画像を表示する。なお、ステレオ画像を生成するため、右目用、左目用の2つの表示部を実装してもよい。表示部103は、例えば、表示素子、光学系、画像処理部から構成され、画像処理部は、DSP(Digital Signal Processor)などにより構成される。
以下の説明においては撮像装置100はビデオシースルー型HMDであることを想定するが、ネットワークカメラやその他の撮像装置であってもよい。つまり、持ち運びが可能でかつユーザの視野に相当する画像が撮像できる任意の撮像装置が利用可能である。
ここでは、撮像部102は、画像センサが利用される。表示部103は、小型の液晶ディスプレイや有機ELディスプレイ、あるいは、MEMSによる網膜スキャンタイプのデバイスが利用される。マイクロフォン部104は、音声取得のための機能部である。ここでは撮像装置100内の構成として示しているが、撮像装置100を装着したユーザが発生する音声を取得できるものであればよく、別体として構成してもよい。スピーカー部105は、ここではイヤホン型のスピーカーを想定している。これは、同一の現実空間(例えば部屋)内に撮像装置100を装着したユーザが複数存在した場合、通常のスピーカーを用いると当該スピーカーからの直接音が近隣の他ユーザに聞こえてしまう可能性があるためである。もちろん、近隣に直接音が聞こえて構わない状況、例えば、部屋内にユーザが1人のみである場合などであれば、他の形態のスピーカーでも構わない。
制御装置101は、画像取得部106、ユーザ検出部107、音声取得部108、制御部109、音声送信部110、を含む。ここでは、制御装置101は、パソコンやワークステーション等の高性能な演算処理機能やグラフィック表示機能を有する装置を用いることを想定する。制御装置101と撮像装置100を接続することで、表示装置100を装着したユーザは、仮想空間の映像を見ることが可能となる。当該仮想空間の映像は、現実世界と仮想世界とがリアルタイムかつシームレスに融合した複合現実世界の映像であってもよい。なお、制御装置101と撮像装置100とを一体構成としてユーザが携帯可能なように構成してもよい。また、複数の撮像装置100に対する制御を1台の制御装置100により行うよう構成してもよい。
画像取得部106は、撮像部102で撮像された撮像画像を取得する。ユーザ検出部107は、画像取得部106より取得した撮像画像内に存在する他ユーザを検出する。例えば、撮像画像内に存在する撮像装置100を装着した他ユーザを検出する。ユーザ検出部107で他ユーザを検出する手法は、他ユーザに付されたマーカなどの特徴点検出を用いて撮像画像より認識する手法でも構わないし、位置姿勢センサから取得した位置姿勢情報を基に算出する手法でも構わない。音声取得部108では、マイクロフォン部104より録音した音声データを取得する。
制御部109は、音声送信部110の通信相手を設定する制御を行う。ユーザ検出部107より取得した他ユーザ(撮像装置100の視野内に存在する他ユーザ)を特定する情報と音声取得部108より取得した音声情報に基づいて、他ユーザに対して音声データを送信する設定を行う。制御部109は、送信モードとして、以下の3つのモードの何れかが選択設定され動作する。動作の詳細については後述する。
・仮想空間における一部のユーザ(例えば視野内のユーザ)のみと送受信する第1のモード
・仮想空間内の全ユーザと送受信する第2のモード
・送受信を行わない第3のモード
なお、送信モードとして、他のモード、例えば、仮想空間における一部のユーザ(例えば視野内のユーザ)へ優先的に伝送するモードのようなものをさらに設けてもよい。
・仮想空間内の全ユーザと送受信する第2のモード
・送受信を行わない第3のモード
なお、送信モードとして、他のモード、例えば、仮想空間における一部のユーザ(例えば視野内のユーザ)へ優先的に伝送するモードのようなものをさらに設けてもよい。
音声送信部110は、制御部109から指示を受けた場合に、音声入力部104より入力された音声データを他ユーザに送信する。また、撮像装置100を装着しているユーザ自身のスピーカー部105に対して出力してもよい。
<装置の動作>
以下では、同一の仮想空間を共有する複数のユーザ間での音声データの送信処理について説明する。図7は、仮想空間における複数のユーザの位置姿勢を示す概念図である。
以下では、同一の仮想空間を共有する複数のユーザ間での音声データの送信処理について説明する。図7は、仮想空間における複数のユーザの位置姿勢を示す概念図である。
ユーザ700、701、702は、同一の仮想空間を共有し、現実空間においてそれぞれが撮像装置100を装着しているユーザ(のアバター)である。ユーザ700、701、702に対応する現実空間でのユーザは、それぞれが同一の現実空間(例えば同じ部屋)に存在していてもよいし、遠隔地に存在していてもよい。以下では、仮想空間におけるユーザ700、701、702に対応する現実空間におけるユーザを、それぞれユーザA、B、Cと表現する。また、ユーザA、B、Cはそれぞれ遠隔地に存在することを想定して説明を行う。
ここでは、これらの3ユーザ間で映像を通じて仮想物体などを共有し、なおかつ通話を行うことを想定している。具体的には、仮想空間(図7の状況)において、ユーザ700がユーザ701に対して話しかけることを想定する。
画面703は、ユーザA(ユーザ700)の装着する撮像装置100の表示部103に表示されている画面(すなわち、ユーザAの視野)を例示的に示している。すなわち、仮想空間において、ユーザ700はユーザ701の存在する方向を向いていることを示している。そのため、画面703においては、ユーザ701(ユーザB)は含まれるが、ユーザ702(ユーザC)は含まれない。
このようにユーザ700の視野内にユーザ701のみが映っている場合、ユーザ700(ユーザA)が発した音声を、ユーザ701(ユーザB)にのみ送信する。つまり、ユーザAの視野内に存在しないユーザC(ユーザ702)に対しては、音声データを送信しない。
なお、第1実施形態においては、ユーザ700の視野内にユーザ701以外にも他のユーザが複数いる場合、視野内に存在するユーザ全てに対して音声データが送信される。このように、音声を発したユーザの視野内に存在するユーザに対してのみ音声データを送信する。
なお、上述の動作は、制御部109の送信モードとして第1のモードが設定されている場合の動作である。ここでは、ユーザ701に対してのみ話しかけるため、制御部109が「第1のモード」で動作するようにユーザA(ユーザ700)が事前に設定することを想定している。しかし、全ユーザに音声情報を送信したい場合は、ユーザA自身で送信モードを「第2のモード」に変更することで、視野内に存在するか否かにかかわらず全ユーザ全体に音声が送信される。また、何れのユーザとも音声の送受信を行いたくない場合は、ユーザA自身で送信モードを「第3のモード」に変更することで、全ての送受信が抑止される。伝送モードの選択は、ユーザが、撮像装置100に配置された不図示のボタンやスイッチを操作することで行ってもよいし、その他の操作で変更してもよい。
図2は、第1実施形態における通信接続設定の動作フローチャートである。以下の動作は、ユーザA(ユーザ700)の撮像装置100及び制御装置101における動作を示している。
S200では、制御装置101は、撮像部102で撮像された画像を画像処理部106に入力する。S201では、制御装置101は、S200で取得した撮像画像に他ユーザ(HMD装着ユーザ)が映っていた場合に、当該他ユーザを検出する。ここで他ユーザを検出する手法は、マーカなどの特徴点を検出するような画像処理による手法でも構わないし、位置姿勢センサの位置情報からユーザを検出する方法でも構わない。また、撮像装置100の個体識別情報を基に、不図示の位置姿勢取得部が、ネットワークを介して接続される位置姿勢サーバーに問い合わせる方法でも構わない。
ここで、位置姿勢サーバーは、同一の仮想空間を共有する各ユーザの位置姿勢情報を管理する装置である。例えば、各ユーザの制御装置101から現実空間における位置姿勢情報を受信し、当該現実空間における位置姿勢に対応する仮想空間における位置姿勢を導出し管理する。例えば、ユーザの存在する現実空間の場所(部屋)を基準とした位置姿勢を、ユーザから指定された所定の仮想空間を基準とした位置姿勢にマッピングする。また、各ユーザの制御装置101からの取得要求に基づき、管理している仮想空間における各ユーザの位置姿勢情報を返信する。
S202では、制御装置101は、マイクロフォン部104で録音した音声データを音声取得部108に入力する。S203では、制御装置101は、制御部109に現在設定されている送信モードを取得する。ここでは。上述のように送信モードとして、第1のモード〜第3のモードの3つがあるものとする。
S204では、制御装置101は、S203で取得した送信モードを基に、個別に送信設定を行うか、全体に対して送信設定を行うかを判断する。第1のモードが設定されており個別に送受信設定を行う場合は、S205に進む。第2のモードが設定されており全体に対して送受信設定を行う場合はS211に進む。
S205では、制御装置101は、S201で取得した他ユーザの情報を基に、視野内に他ユーザが映っているかどうかを判断する。ここで、視野内に他ユーザが映っている場合はS206に進み、個別に音声情報を送受信する設定を行う。一方、視野内に他ユーザが映っていない場合は、S211に進む。
S206では、制御装置101は、S201で取得した他ユーザを送信先ユーザとして決定し、当該他ユーザをS202で取得した音声データに紐付ける。この送信先ユーザと音声データを紐付ける手法はどんなものでも構わない。S207では、制御装置101は、視野内に更に他ユーザが検出されているか否かを判断する。そして、検出されている場合は、S206に戻り、同様に当該他ユーザを音声データに紐付ける。視野内の全ての他ユーザに関して音声データへの紐付けが完了するとS208に進む。
S208では、制御装置101は、送信先として決定された他ユーザに対する通信接続設定を行う。なお、複数の他ユーザに送信する場合は、個別に通信接続設定を行うとよい。通信接続設定の内容としては、音声データの圧縮、タイムスタンプなどを用いた時間制御、通信状況による送信制御など、様々な設定が含まれ得る。S209では、制御装置101は、S208で設定された通信接続設定に基づいて音声データを送信する。また、自身のスピーカー部105に対しても音声データを送信し、スピーカー部105から音声を出力させる。
S210では、制御装置101は、S200で取得した撮像画像を表示部103へ表示させる。また、仮想空間における他ユーザのアバターや仮想物体を併せて表示部103において表示するよう構成してもよい。ここで、表示部103で表示する画像と、スピーカー部105で出力する音声と、をタイムスタンプなどを用いて同期制御を行ってもよい。もちろん、同期制御を行わずに出力してもよい。また、音声データを送信する他ユーザに関する情報を併せて表示するよう構成してもよい。
S211では、制御装置101は、音声データを全ユーザに対して送信するか否かを、設定されている送信モードを基に決定する。第2のモードが設定されており全ユーザへ送信する場合は、S212に進む。一方、第3のモードが設定されており誰にも音声データを送信しない場合は、通信接続設定を行うことなくS210に進む。
S212では、制御装置101は、全ユーザに対する通信接続設定を行う。すなわち、S201における検出結果にかかわらず全ユーザに送信する。なお、マルチキャスト・ブロードキャスト伝送を用いるよう設定してもよい。具体的な処理についてはS208と同様であるため説明は省略する。S213では、制御装置101は、S212で設定された通信接続設定に基づいて、音声データを全ての他ユーザに送信する。また、自身のスピーカー部105に対しても音声データを送信し、スピーカー部105から音声を出力させる。
以上説明したとおり第1実施形態によれば、ユーザ700(ユーザA)は、仮想空間における視野内に存在する他ユーザに対してのみ音声データを送信する通信接続設定を容易に行うことが可能となる。すなわち、ユーザ700は、制御部109の送信モードとして第1のモードを設定し、仮想空間においてユーザ701の存在する方向を向くだけで足りる。
(第2実施形態)
第2実施形態では、視野内に他ユーザが存在するか否かだけでなく、ユーザからの音声コマンドも併せて考慮し、通信接続設定を行う形態について説明する。すなわち、第1実施形態では、視野内に複数の他ユーザが存在する状況においては、当該複数の他ユーザ全てに対して音声データを送信することになる。一方で、ユーザの意図によっては、特定のユーザに対してのみ音声データを送受信したい場合も考えられる。そこで、第2実施形態では、ユーザが発声した音声に含まれる音声コマンドを考慮して、音声データの送信先を決定する形態について説明する。
第2実施形態では、視野内に他ユーザが存在するか否かだけでなく、ユーザからの音声コマンドも併せて考慮し、通信接続設定を行う形態について説明する。すなわち、第1実施形態では、視野内に複数の他ユーザが存在する状況においては、当該複数の他ユーザ全てに対して音声データを送信することになる。一方で、ユーザの意図によっては、特定のユーザに対してのみ音声データを送受信したい場合も考えられる。そこで、第2実施形態では、ユーザが発声した音声に含まれる音声コマンドを考慮して、音声データの送信先を決定する形態について説明する。
<装置構成>
図3は、第2実施形態における画像音声処理システムの構成を示すブロック図である。第1実施形態(図1)に対して、音声コマンド取得部300を追加した構成となっている。第1実施形態と同様の機能部については説明を省略する。
図3は、第2実施形態における画像音声処理システムの構成を示すブロック図である。第1実施形態(図1)に対して、音声コマンド取得部300を追加した構成となっている。第1実施形態と同様の機能部については説明を省略する。
音声コマンド取得部300は、音声取得部108から音声データを取得し、取得した音声データから「音声コマンド」を検出し抽出する。そして、検出した音声コマンド(あるいは当該音声コマンドに基づく他ユーザを特定する情報)を制御部109に送信する。
ここで音声コマンドとは、ユーザ名(ここでは「ユーザB」「ユーザC」)などの、ユーザを特定する用語(キーワード)を含む。以下の説明では、撮像装置100のユーザが表示部103に表示されている視野画像を視認し、当該視野画像内に存在する1人のユーザ名を「音声コマンド」として発声することを想定する。
<装置の動作>
以下では、同一の仮想空間を共有する複数のユーザ間での音声データの伝送処理について説明する。図8は、仮想空間における複数のユーザの位置姿勢を示す概念図である。
以下では、同一の仮想空間を共有する複数のユーザ間での音声データの伝送処理について説明する。図8は、仮想空間における複数のユーザの位置姿勢を示す概念図である。
ユーザ700、701、702、は第1実施形態と同様、同一仮想空間を共有する撮像装置100を装着したユーザである。第2実施形態(図8)では、仮想空間においてユーザ800(現実空間でのユーザD)が更に追加されている。
ここでは、これらの4ユーザ間で映像を通じて仮想物体などを共有し、なおかつ通話を行うことを想定している。具体的には、仮想空間(図8の状況)において、ユーザ700がユーザ701に対して話しかけることを想定する。ここでは仮想空間内のユーザ数が4人の構成を想定するが、これは5人以上の構成であっても構わない。
画面801は、ユーザA(ユーザ700)の装着する撮像装置100の表示部103に表示されている画面(すなわち、ユーザAの視野)を例示的に示している。すなわち、仮想空間において、ユーザ700は、ユーザ701及びユーザ702の存在する方向を向いていることを示している。そのため、画面801においては、ユーザ701(ユーザB)及びユーザ702(ユーザC)は含まれるが、ユーザ800(ユーザD)は含まれない。
第2実施形態では、この状況において、ユーザ700がユーザ701(ユーザB)に対してのみ話しかける(音声を送信する)ことを、ユーザ700による「音声コマンド」により実現する。例えば、図8に示すように、ユーザ700(ユーザA)が、音声コマンドとしてのユーザ名「Bさん」を含む「Bさん Hello」と発声することにより実現する。
音声コマンド取得部300は、「Bさん Hello」から音声コマンドとしての「Bさん」を検出し、「ユーザB」を送信先ユーザとして特定する。その結果、ユーザAが発声した音声は、ユーザBにのみ送信される。そのため、ユーザCとユーザDにはユーザAの音声は送信されない。
図4は、第2実施形態における通信接続設定の動作フローチャートである。当該フローチャートは、第1実施形態(図2)に対して、S400及びS401を追加したものに相当する。図4のS200〜S213は図2のS200〜S213と実質的に同様の処理であるため説明は省略する。
S400では、制御装置101は、S202で取得した音声データを解析し、音声コマンドを検出し保存する。例えば、事前に画面801の中に存在するユーザのユーザ名一覧を取得しておき、「Bさん Hello」という発声から「Bさん」というユーザ名を音声コマンドとして検出する。なお、ユーザの発声から音声コマンドを検出できなかった場合は、そのままS203に進む。
S401では、制御装置101は、S400で検出した音声コマンドに基づいて、音声データの送信先となる他ユーザを決定する。ここでは、「Bさん」という音声コマンドに基づき、「ユーザB」を送信先として決定する。
以上説明したとおり第2実施形態によれば、ユーザ700は、特定の他ユーザに対してのみ音声データを送信する通信接続設定を容易に行うことが可能となる。すなわち、ユーザ700は、制御部109の送信モードとして第1のモードを設定し、仮想空間においてユーザ701を視野に入れると共にユーザ701のユーザ名を発声するたけで足りる。
(第3実施形態)
第3実施形態では、仮想空間において話しかけられた(音声を送信された)ユーザ側での制御装置101の動作について説明する。上述の第1又は第2実施形態の手法で話しかけられた側のユーザは、必ずしも話しかけた側のユーザの方向を向いているとは限らない。この状況においては、上述の第1又は第2実施形態の手法では、返答のための通信接続設定を適切に行うことが出来ない。
第3実施形態では、仮想空間において話しかけられた(音声を送信された)ユーザ側での制御装置101の動作について説明する。上述の第1又は第2実施形態の手法で話しかけられた側のユーザは、必ずしも話しかけた側のユーザの方向を向いているとは限らない。この状況においては、上述の第1又は第2実施形態の手法では、返答のための通信接続設定を適切に行うことが出来ない。
そこで、第3実施形態では、話しかけられたユーザ側の制御装置101は、話しかけたユーザ(送信元のユーザ)における通信接続設定を検出し、検出した設定を返答のための通信接続設定に利用する形態について説明する。
<装置構成>
図5は、第3実施形態における画像音声処理システムの構成を示すブロック図である。第1実施形態(図1)に対して、音声受信部500を追加した構成となっている。第1実施形態と同様の機能部については説明を省略する。
図5は、第3実施形態における画像音声処理システムの構成を示すブロック図である。第1実施形態(図1)に対して、音声受信部500を追加した構成となっている。第1実施形態と同様の機能部については説明を省略する。
音声受信部500は、他ユーザから送信された音声データを受信する。そして、受信した音声データをユーザ検出部107に送信する。ユーザ検出部107は、音声データに基づいて、送信元のユーザ及び送信設定(通信接続設定)を検出する。また、音声受信部500は、受信した音声データをスピーカー部105に送信する。
<装置の動作>
以下では、同一の仮想空間を共有する複数のユーザ間での音声データの伝送処理について説明する。図9は、仮想空間における複数のユーザの位置姿勢を示す概念図である。
以下では、同一の仮想空間を共有する複数のユーザ間での音声データの伝送処理について説明する。図9は、仮想空間における複数のユーザの位置姿勢を示す概念図である。
ユーザ700、701、702は、第1実施形態と同様、同一仮想空間を共有する撮像装置100を装着したユーザである。ここでは、これらの3ユーザ間で映像を通じて仮想物体などを共有し、なおかつ通話を行うことを想定している。特に、仮想空間(図9の状況)において、ユーザ701(ユーザB)の発呼に基づく、ユーザ701とユーザ700(ユーザA)との会話を想定する。
画面900は、ユーザB(ユーザ701)の装着する撮像装置100の表示部103に表示されている画面(すなわち、ユーザBの視野)を例示的に示している。また、画面901は、ユーザA(ユーザ700)の装着する撮像装置100の表示部103に表示されている画面(すなわち、ユーザAの視野)を例示的に示している。すなわち、仮想空間において、発呼側のユーザ701はユーザ700の存在する方向を向いているが、着呼側のユーザ700はユーザ701の存在する方向を向いていないことを示している。
まず、ユーザ701は、第1又は第2実施形態の方法に従って、ユーザ700に対してのみ音声データを送信する。ユーザ700の制御装置101は、音声データを受信すると当該受信した音声データから送信元のユーザがユーザ701であることを認識する。例えば、受信した音声データと共に送信される送信元ユーザ情報に基づき送信元ユーザを認識してもよい。また、受信した音声データを含むパケットの情報(送信元アドレスなど)に基づいて、ユーザ情報を管理するサーバに問い合わせることにより送信元ユーザを認識してもよい。
さらに、ユーザ700の制御装置101は、送信元ユーザの制御装置101における送信モードも検出する。ここでは、第1実施形態と同様の第1〜第3のモードの何れかが設定されることを想定する。すなわち、送信元での送信モードを検出することにより、送信元のユーザが個別の通信を意図しているのか、全ユーザに対する通信を意図しているのかを判定するのである。送信モードを検出する手法としては、前述した送信元ユーザを認識する手法と同等のもので構わない。
ここでは、送信元において個別の通信を行う第1のモードが設定されていた場合に、返答においても個別の通信を行う第1のモードを設定する。これにより、ユーザ700は、ユーザ701の存在を認識していない(ユーザ700の視野内にユーザ701がいない)場合であっても、容易に返答することが可能となる。
図6は、第3実施形態における通信接続設定の動作フローチャートである。上述のように、当該動作は、ユーザ701(ユーザB)がユーザ700(ユーザA)に対して話しかけたことによる通話の場合の、ユーザ700(ユーザA)の制御装置101の動作である。図6のS202〜S208は、図2のS202〜S208と実質的に同様の処理であるため説明は省略する。
S600では、制御装置101は、他ユーザ(ここではユーザ701)からの音声データを受信する。受信した音声データはユーザ検出部107に送信され、送信元ユーザの検出に利用される。
S601では、制御装置101は、受信した音声データに基づいて、送信元ユーザの検出を行う。検出された送信元ユーザのユーザ情報、受信した音声データ、音声取得部108で取得した返答用の音声データを送信方法設定部109に送付する。そして、送信方法設定部109では送信元ユーザの送信モードの検出と返答用の送信設定を行う。なお、同時に複数の他ユーザから音声データを受信した場合、それぞれの他ユーザに対して音声データを紐づけるとよい。
以上説明したとおり第3実施形態によれば、仮想空間において話しかけられたユーザは、送信元のユーザを認識していない場合であっても、容易に返答することが可能となる。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100 撮像装置; 101 制御装置; 102 撮像部; 103 表示部; 104 マイクロフォン部; 105 スピーカー部; 106 画像取得部; 107 ユーザ検出部; 108 音声取得部; 109 制御部; 110 音声送信部
Claims (12)
- ユーザが仮想空間を共有する1以上の他ユーザと通信を行うために使用される通信装置であって、
現実空間を撮像する撮像手段と、
前記ユーザの発する音声を取得する音声取得手段と、
前記仮想空間における前記ユーザ及び前記1以上の他ユーザの位置を取得する取得手段と、
前記撮像手段により撮像される現実空間の視野に対応する前記仮想空間の視野内に存在する他ユーザを検出する検出手段と、
前記検出手段により検出された他ユーザを前記音声取得手段により取得された音声の送信先とする通信接続設定を行う制御手段と、
を有することを特徴とする通信装置。 - 前記取得手段は、前記仮想空間に存在する各ユーザの該仮想空間における位置を、該位置を管理するサーバーから取得する
ことを特徴とする請求項1に記載の通信装置。 - 前記検出手段は、前記撮像手段により撮像される現実空間の視野内に存在する他ユーザに基づいて、前記仮想空間の視野内に存在する他ユーザを検出する
ことを特徴とする請求項1又は2に記載の通信装置。 - 前記通信装置は、
現実空間における前記ユーザの位置姿勢を取得する位置姿勢取得手段と、
前記位置姿勢取得手段で取得された位置姿勢を前記サーバーに送信する送信手段と、
を更に有し、
前記サーバーは、前記ユーザから受信した該ユーザの前記現実空間における位置姿勢に基づいて該ユーザの前記仮想空間における位置姿勢を導出し、該ユーザの前記仮想空間における位置姿勢として管理する
ことを特徴とする請求項2に記載の通信装置。 - 前記取得手段は、前記仮想空間における前記ユーザ及び前記1以上の他ユーザの位置姿勢を取得し、
前記検出手段は、前記仮想空間における前記ユーザの位置姿勢に基づき該ユーザの前記仮想空間における視野を決定し、前記仮想空間における前記1以上の他ユーザの位置姿勢に基づき該視野内に存在する他ユーザを検出する
ことを特徴とする請求項4に記載の通信装置。 - 前記取得手段によって取得された前記仮想空間における前記ユーザ及び前記1以上の他ユーザの位置姿勢に基づいて、前記仮想空間の映像を生成する生成手段と、
前記生成手段により生成された映像を表示する表示手段と、
を更に有することを特徴とする請求項5に記載の通信装置。 - 前記生成手段は、前記撮像手段により撮像された映像に前記仮想空間に配置された物体の映像を重畳することにより前記仮想空間の映像を生成する
ことを特徴とする請求項6に記載の通信装置。 - 前記音声取得手段により取得された音声からキーワードを抽出する抽出手段を更に有し、
前記制御手段は、前記検出手段により検出された他ユーザに前記抽出されたキーワードが示す他ユーザが含まれる場合、該他ユーザを前記音声取得手段により取得された音声の送信先とする通信接続設定を行う
ことを特徴とする請求項1乃至7の何れか1項に記載の通信装置。 - 前記制御手段は、他ユーザからの音声を受信した場合、該他ユーザを前記音声取得手段により取得された音声の送信先とする通信接続設定を行う
ことを特徴とする請求項1乃至8の何れか1項に記載の通信装置。 - 前記制御手段が、前記仮想空間内の一部のユーザに対してデータを送信する第1のモードで動作するか、前記仮想空間内の全ユーザに対してデータを送信する第2のモードで動作するか、を選択する選択手段を更に有し、
前記制御手段は、前記選択手段により前記第2のモードでの動作が選択されている場合、前記検出手段による検出結果にかかわらず、前記仮想空間内の全ユーザを前記音声取得手段により取得された音声の送信先とする通信接続設定を行う
ことを特徴とする請求項1乃至9の何れか1項に記載の通信装置。 - ユーザが仮想空間を共有する1以上の他ユーザと通信を行うために使用される通信装置の制御方法であって、
現実空間を撮像部で撮像する撮像工程と、
前記ユーザの発する音声を取得する音声取得工程と、
前記仮想空間における前記ユーザ及び前記1以上の他ユーザの位置を取得する取得工程と、
前記撮像工程により撮像された現実空間の視野に対応する前記仮想空間の視野内に存在する他ユーザを検出する検出工程と、
前記検出工程により検出された他ユーザを前記音声取得工程により取得された音声の送信先とする通信接続設定を行う制御工程と、
を含むことを特徴とする通信装置の制御方法。 - 撮像装置と接続されたコンピュータを、請求項1乃至10の何れか1項に記載の通信装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016205465A JP2018067156A (ja) | 2016-10-19 | 2016-10-19 | 通信装置およびその制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016205465A JP2018067156A (ja) | 2016-10-19 | 2016-10-19 | 通信装置およびその制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018067156A true JP2018067156A (ja) | 2018-04-26 |
Family
ID=62086095
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016205465A Pending JP2018067156A (ja) | 2016-10-19 | 2016-10-19 | 通信装置およびその制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018067156A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020004392A (ja) * | 2019-05-08 | 2020-01-09 | 株式会社バーチャルキャスト | データ送信装置、端末およびプログラム |
JP2020086630A (ja) * | 2018-11-19 | 2020-06-04 | 株式会社ポケット・クエリーズ | 作業補助システム、及びプログラム |
JP2021531923A (ja) * | 2018-08-06 | 2021-11-25 | アマゾン テクノロジーズ インコーポレイテッド | ネットワークアプリケーションを制御するためのシステムおよびデバイス |
-
2016
- 2016-10-19 JP JP2016205465A patent/JP2018067156A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021531923A (ja) * | 2018-08-06 | 2021-11-25 | アマゾン テクノロジーズ インコーポレイテッド | ネットワークアプリケーションを制御するためのシステムおよびデバイス |
JP2020086630A (ja) * | 2018-11-19 | 2020-06-04 | 株式会社ポケット・クエリーズ | 作業補助システム、及びプログラム |
JP2020004392A (ja) * | 2019-05-08 | 2020-01-09 | 株式会社バーチャルキャスト | データ送信装置、端末およびプログラム |
JP7166983B2 (ja) | 2019-05-08 | 2022-11-08 | 株式会社バーチャルキャスト | 端末およびプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11531518B2 (en) | System and method for differentially locating and modifying audio sources | |
US11825012B2 (en) | Server, client terminal, control method, and storage medium | |
US9843678B2 (en) | Visual assistance systems and related methods | |
US11250636B2 (en) | Information processing device, information processing method, and program | |
US11361497B2 (en) | Information processing device and information processing method | |
JPWO2016002445A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US20220224735A1 (en) | Information processing apparatus, non-transitory computer readable medium storing program, and method | |
JP2015515701A (ja) | Asrおよびht入力を有する補助ディスプレイとしてのヘッドセットコンピュータ(hsc) | |
JP2019061557A (ja) | 情報処理装置、情報処理システム及びプログラム | |
JP2018067156A (ja) | 通信装置およびその制御方法 | |
JPWO2019155735A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2020003876A (ja) | データ送信装置、およびプログラム | |
ES2692828T3 (es) | Procedimiento de asistencia en el seguimiento de una conversación para una persona con problemas de audición | |
JP2018067157A (ja) | 通信装置およびその制御方法 | |
JPWO2020095639A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US20240031759A1 (en) | Information processing device, information processing method, and information processing system | |
JP7166983B2 (ja) | 端末およびプログラム | |
JP6071006B2 (ja) | 通信装置および方法、並びにプログラム | |
CN116583841A (zh) | 使用超声信号触发协作增强现实环境 | |
WO2019138682A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6840548B2 (ja) | 情報処理装置およびゲーム画音生成方法 | |
US11900013B2 (en) | Information processing apparatus, non-transitory computer readable medium storing program, and information processing method | |
JP7428189B2 (ja) | 情報処理装置、制御方法及び制御プログラム | |
WO2024134736A1 (ja) | ヘッドマウントディスプレイ装置および立体音響の制御方法 | |
JP2024038605A (ja) | 情報処理システム |