JP7163908B2 - 情報処理装置、情報処理方法、および記録媒体 - Google Patents
情報処理装置、情報処理方法、および記録媒体 Download PDFInfo
- Publication number
- JP7163908B2 JP7163908B2 JP2019513233A JP2019513233A JP7163908B2 JP 7163908 B2 JP7163908 B2 JP 7163908B2 JP 2019513233 A JP2019513233 A JP 2019513233A JP 2019513233 A JP2019513233 A JP 2019513233A JP 7163908 B2 JP7163908 B2 JP 7163908B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- user
- adjustment parameter
- users
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/152—Multipoint control units therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
- Information Transfer Between Computers (AREA)
Description
1.はじめに
1.1.概要
1.2.関連技術
2.情報処理装置の構成
3.動作処理
4.出力情報の具体例
5.切り替え処理
6.ハードウェア構成例
7.まとめ
<1.1.概要>
本開示の一実施形態に係るコミュニケーションシステム1の概要について図1及び図2を参照して説明する。
(1)呼び出し方式
本方式は、発呼側が着呼側を呼び出す方式である。本方式は、電話、インターネット電話、又はテレビ会議システム等で採用される。着呼側の事前の承認を受けてから呼び出す場合も、本方式に含む。
本方式は、監視者が監視対象者(即ち、被監視者)を一方的に監視する方式である。本方式は、例えば介護対象となる高齢者、幼児又はペットとその保護者、従業員と雇い主のように、関係性に非対称性があるユーザ/空間同士を接続する際に採用される。
本方式は、ユーザ間でテキストメッセージを常時送受信する方式である。
本方式は、上記特許文献1に開示された方式であり、各地点の接続要求度に応じて、情報開示レベル(即ち、プライバシー開示レベル)を調整する方式である。しかしながら、本方式では、各地点の情報開示レベルを均一に調整するものに過ぎなかった。
図3は、本実施形態に係る情報処理装置10の構成の一例を示すブロック図である。図3に示すように、情報処理装置10は、入力部110、出力部120、通信部130、記憶部140及び制御部150を含む。
入力部110は、空間情報を入力する機能を有する。具体的には、入力部110は、第1のユーザに関する第1の空間情報を入力する。入力部110により入力される第1の空間情報としては、例えば、第1のユーザの/第1のユーザがいる又は第1のユーザに関連付けられた空間(居室等。不在でもよい)の映像、音声、環境データ、テキスト、触覚、及び匂いといった情報が含まれる。具体的には、空間情報は、空間の明るさ、温度、湿度、環境音、空間の広さ、及び情報処理装置10の状態等の、空間の状態を示す情報を含み得る。また、空間情報は、第1のユーザの位置、第1のユーザと出力情報の表示領域との距離、第1のユーザの動き、第1のユーザの注視点、同一空間にいる第1のユーザの人数及び構成、並びに第1のユーザの姿勢等の、第1のユーザの状態を示す情報を含む。
出力部120は、出力制御部155による制御に基づいて、各デバイスを用いて出力情報を出力する。例えば出力部120は、ディスプレイ又はプロジェクタ等の表示装置、スピーカ等の音声出力装置、及びLEDランプ又はインジゲータ等の通知装置を含み、表示出力、音声出力、及び通知出力を行う。表示装置は、出力制御部155により生成された空間画像情報を表示する。また、音声出力装置は、出力制御部155により生成された空間音声情報を出力する。
通信部130は、情報処理装置10と他の装置との情報の送受信を行う。例えば、通信部130は、第2のユーザ、即ち通信相手の情報処理装置10との間で空間情報の送受信を行う。
記憶部140は、情報処理装置10による動作のための情報を一時的に又は恒久的に記憶する。例えば、記憶部140は、空間情報及び接続要求設定を記憶する。
制御部150は、演算処理装置及び制御装置として機能し、各種プログラムに従って情報処理装置10内の動作全般を制御する。制御部150は、設定部151、決定部153及び出力制御部155を含む。なお、制御部150は、これら以外の構成要素も含み得る。即ち、制御部150は、これらの構成要素による動作以外の動作も行い得る。以下、これらの構成要素について詳しく説明する。
設定部151は、接続要求設定を設定する機能を有する。接続要求設定とは、空間の接続に関する設定情報である。接続要求設定は、接続要求レベル、プライバシー設定、通信量抑制設定、及び個別設定等を含む。接続要求レベルとは、空間の接続度合いをレベル(即ち、数字)で規定する設定情報である。プライバシー設定とは、見せたい/見せたくない/見たい/見たくない情報の設定である。通信量抑制設定とは、通信量を抑制するための設定である。個別設定とは、ユーザの趣味趣向を出力情報に反映させるための設定である。
決定部153は、通信する複数のユーザの接続要求設定に基づいて、各々のユーザに関する空間情報の加工に関する調整パラメータを決定する機能を有する。即ち、決定部153は、第1の接続要求設定及び第2の接続要求設定に基づいて、第1の空間情報の加工及び第2の空間情報の加工に関する調整パラメータを決定する機能を有する。ここでの加工は、情報処理装置10における第1の空間情報の加工及び第2に空間情報の加工、並びに通信相手の情報処理装置10における第1の空間情報の加工及び第2に空間情報の加工を指す。
例えば、接続要求レベルと決定すべき調整パラメータとは、1対1で対応付けられていてもよく、決定部153は、かかる対応表を参照して調整パラメータを決定してもよい。
決定部153は、第1の接続要求レベル及び第2の接続要求レベルに差がある場合、差を埋めるように接続要求レベルの補正を行ってもよい。接続要求レベルの補正も、調整パラメータの決定に含まれる処理である。もちろん、調整マップを用いた補正は行われなくてもよい。例えば、決定部153は、第1の接続要求レベル及び第2の接続要求レベルの各々を、平均値若しくは中央値に補正してもよいし、最も高い接続要求レベル又は最も低い接続要求レベルに補正してもよい。補正には、調整マップが適用され得る。その一例を、図4を参照して説明する。
決定部153は、プライバシー設定に基づいて、調整パラメータを決定してもよい。プライバシー設定の一例を、下記の表1に示す。
情報処理装置10は、通信量抑制設定に基づいて、調整パラメータを決定してもよい。通信量抑制設定の一例を、下記の表2に示す。
情報処理装置10は、個別設定に基づいて、調整パラメータを決定してもよい。個別設定とは、第1のユーザの趣味趣向に基づく設定である。個別設定は、通信相手ごとに設定されてもよい。
出力制御部155は、通信部130による第2のユーザへの情報の公開を制御し、出力部120による第1のユーザへの情報の出力を制御する機能を有する。
出力制御部155は、決定された調整パラメータに基づいて第1の空間情報を加工し、加工された第1の空間情報を第2のユーザへ、即ち通信相手の情報処理装置10へ送信するよう通信部130を制御する。詳しくは、出力制御部155は、公開に関する調整パラメータに従い、第1の空間情報から公開することが許容された情報チャネル及び情報量を抽出し、適用すべき画像処理を適用し、適用すべき送信処理を適用する。その際、出力制御部155は、調整パラメータに基づいて、映像サイズ、フレームレート、音声フォーマット等のモジュール別の設定データを生成し、かかる設定データに基づいて加工を行ってもよい。
出力制御部155は、出力情報を生成して第1のユーザへ出力するよう出力部120を制御する。
以下、図5及び図6を参照して、本実施形態に係る動作処理を説明する。
以下、図7~図18を参照しながら、出力情報の具体例を説明する。
図7は、本実施形態に係る出力情報の一例を説明するための図である。図7では、ユーザAがいる空間において、出力情報200が表示されている。出力情報200は、通信先のユーザB1及びB2を含む空間映像情報210を含んでいる。なお、空間映像情報のアスペクト比は任意である。
調整パラメータ決定ステータスは、図7に示した以外にも多様な表現がなされ得る。その一例を、図8~図10を参照して説明する。
図8は、本実施形態に係る調整パラメータ決定ステータスの第1の表示例を説明するための図である。本図では、調整パラメータ決定ステータス240は、通信する複数のユーザの公開設定を示す情報(即ち、第1の接続要求設定を示す情報、及び第2の接続要求設定を示す情報)、及び決定された調整パラメータを示す情報を、グラフ表現した情報である。第1の接続要求設定を示す情報241によれば、ユーザAの接続要求レベルは3である。第2の接続要求設定を示す情報242及び243によれば、ユーザB及びCの接続要求レベルは1及び2である。補正後の接続要求レベルを示す情報244によれば、ユーザA、B及びCの接続要求レベルの各々が1に補正されたことが示されている。また、この補正に関し補正量を示す情報245及び246が表示されている。
図9は、本実施形態に係る調整パラメータ決定ステータスの第2の表示例を説明するための図である。本図では、調整パラメータ決定ステータス250は、通信する複数のユーザの公開設定を示す情報(即ち、第1の接続要求設定を示す情報、及び第2の接続要求設定を示す情報)、及び決定された調整パラメータを示す情報を、2次元平面にマッピングした情報である。本図では、第1のユーザであるユーザAは原点に配置され、第2のユーザであるユーザB、C及びDが、決定された調整パラメータに対応する位置に配置されている。接続要求設定を示す情報としては、接続要求レベルが各々のユーザを起点とする矢印の長さとして表現されており、矢印が長いほど接続要求レベルが低い。そして、2次元平面上のユーザ間の距離は、補正後の接続要求レベルを示している。
図10は、本実施形態に係る調整パラメータ決定ステータスの第3の表示例を説明するための図である。本図では、調整パラメータ決定ステータス260は、通信する複数のユーザの公開設定を示す情報(即ち、第1の接続要求設定を示す情報、及び第2の接続要求設定を示す情報)、及び決定された調整パラメータを項目ごとに列挙した情報を含む。詳しくは、調整パラメータ決定ステータス260は、ユーザA及びユーザBの接続要求レベルを示す情報261A及び261Bを含む。また、調整パラメータ決定ステータス260は、ユーザA及びユーザBの接続要求レベルの各々に対応する映像、音声及びテキスト等の項目ごとの調整パラメータを示す情報262A及び262B、及びこれらに基づいて補正された調整パラメータを示す情報263を含む。補正された調整パラメータを示す情報263によれば、ユーザA及びユーザBの空間情報は、映像の40%、音声の65%、及びテキストの70%が、互いに公開される。
空間映像情報は、図7に示した以外にも多様な表現がなされ得る。その一例を、図11~図18を参照して説明する。なお、下記に説明する表示例は、適宜組み合わせて用いられてよい。
図11は、本実施形態に係る空間映像情報の第1の表示例を説明するための図である。図11に示した空間映像情報300は、仮想的な三次元空間内に第2のユーザの映像302が配置された映像である。この空間映像情報300では、ユーザBの映像302が、調整パラメータに応じた奥行き方向の距離にある仮想的な家オブジェクトの中に配置されている。例えば、接続性が高い調整パラメータが決定された場合にはユーザBの映像302が近い距離に配置され、接続性が低い調整パラメータが決定された場合にはユーザBの映像302が遠い距離に配置される。遠くに配置されている場合、ユーザAは、ユーザBを遠くに感じるので、プライバシーが守られていると感じ、安心することが可能である。また、情報処理装置10は、ユーザBの映像302を遠くの距離に配置することで、表示サイズを小さくし、通信量を抑制することが可能である。また、空間映像情報300では、ユーザBの映像302が、ドーム状の囲い表示303で覆われており、これ以上近づくことができないこと(即ち、接続性を高められないこと)を明示的に表現している。また、情報処理装置10は、この三次元空間において、通信元または通信先からの情報をリアルタイムで反映したり、指定されたオブジェクト(仮想物体)を配置したりしてもよい。また、三次元空間の背景等のシーンも自動またはユーザによる設定により様々に適用され得る。例えば森の中、街中、宇宙、海底等々、様々なシーンの設定が可能である。
図12は、本実施形態に係る空間映像情報の第2の表示例を説明するための図である。図12に示した空間映像情報310は、調整パラメータに応じて第2のユーザの映像を時間積分した映像である。接続性が高いほど積分区間が短く、接続性が低いほど積分区間が長い。そのため、接続性が低いほど、動く物体はぼやけて又は消えて表示される。本図においては、静止しているユーザB1は明確に表示され、歩いているユーザB2はぼやけて表示されている。積分区間が長いほど、映像のフレームレートを下げることができ、通信量がより抑制される。積分区間の長さは、個別設定により柔軟に設定可能である。
図13は、本実施形態に係る空間映像情報の第3の表示例を説明するための図である。図13に示した空間映像情報320は、調整パラメータに応じて特定の第2のユーザが消された映像であり、地点BにいるユーザB1、ユーザB2及びユーザB3のうち、ユーザB1が消されている。例えば、ユーザAは母であり、ユーザB1はユーザAの息子の妻であり、ユーザB2及びユーザB2はユーザAの孫である。この場合、ユーザAは、ユーザB1を消すよう個別設定しておくことで、仲の悪いユーザB1のいない空間映像情報の提供を受けて、心地よくつながり感を得ることが可能である。ただし、このような非対称な表示は、双方のユーザにとって、誰がその場にいるのか、という認識にずれが生じ、不適切な発言が出てトラブルになる可能性がある。そこで、空間映像情報320においては、個別設定により調整パラメータが非対称に決定されたことを示す情報321が表示されている。これにより、認識のずれに基づく不適切な発言を防止することが可能である。また、ユーザB1に関する映像を消してから送信するよう調整パラメータを決定することで、通信量を抑制することが可能である。
図14は、本実施形態に係る空間映像情報の第4の表示例を説明するための図である。図14に示した空間映像情報330は、調整パラメータに応じて、第2のユーザの映像の少なくとも一部を仮想的な物体で遮蔽し、第2のユーザの映像をぼかした映像である。例えば、接続性が低いほど大きな面積が遮蔽(隠ぺい)され、第2のユーザが強くぼかされる。なお、ぼかし表現は、例えば、輪郭をあいまいにする、モザイク処理を適用する、又は解像度を下げる処理により実現される。このような遮蔽及びぼかし表現により、ユーザのプライバシーは守られる。遮蔽される領域に対応するデータの送信は不要であるし、解像度を低める等により送信するデータ量が削減されるので、通信量が抑制される。また、第2のユーザの映像をぼかす表現として、例えば映像の輝度を落とす(電灯を落として暗くするエフェクト)表現も可能である。本図についてより詳しく説明すると、空間映像情報330では、出窓のような仮想的な中間領域を挟んでユーザBがぼやけて表示されている。ここで、空間映像情報330では、ユーザA側に仮想的なカーテンのオブジェクト331Aが表示され、ユーザB側に仮想的なカーテンのオブジェクト331Bが表示されている。ユーザAは、カーテンのオブジェクト331Aを開け閉めして、遮蔽範囲を調節することが可能である。同様に、ユーザBは、カーテンのオブジェクト331Bを開け閉めして、遮蔽範囲を調節することが可能である。即ち、各々のユーザは、カーテンを開け閉めする操作を行うことで、接続性(例えば、公開設定)を容易に調節することが可能である。さらに、各々のユーザは、相手の接続性をカーテンのかかり方に基づいて容易に認識することが可能である。空間映像情報332は、ユーザAの接続性が高く、ユーザBの接続性が低い場合に表示されるものであり、カーテンのオブジェクト331Aが開け放たれており、カーテンのオブジェクト331Bが閉め切られている。一方で、空間映像情報333では、ユーザAの接続性が低く、ユーザBの接続性が高い場合に表示されるものであり、カーテンのオブジェクト331Aが閉め切られており、カーテンのオブジェクト331Bが開け放たれている。このような表現により、各々のユーザは、カーテンを閉めることで見せたくない映像を非公開としつつ見たくない映像を遮蔽することが可能となり、カーテンを開けることで見せたい映像を公開しつつ見たい映像を見ることが可能となる。また、各々のユーザは、通信相手のユーザにぼかし表現を適用することで、通信相手のユーザの存在感を薄くして、見られていないという安心感を得ることが可能となる。
空間映像情報は、第2のユーザを模した仮想的な人間オブジェクトを含む映像であってもよい。換言すると、空間映像情報に、第2のユーザそのものの映像が含まれておらずとも、例えば、第2のユーザに対応する人間の3DCG(Three-dimensional computer graphics)が第2のユーザと同様の状態や動作を再現する映像が、空間映像情報として第1のユーザに提供されてもよい。ユーザの状態や動作の再現は、例えば生体情報のセンシングやモーションキャプチャ技術により得られた情報を、デプスセンサ等により取得され予め受信されたユーザの3Dモデル情報に組み合わせることで行われ得る。これにより、映像をそのまま送信する場合と比較して、通信量を抑制することが可能である。また、調整パラメータの接続性に応じて、例えば顔や表情を似せるか否か、及び動作を似せるか否か等の第2のユーザを模す度合いが調整されてもよい。
図15は、本実施形態に係る空間映像情報の第6の表示例を説明するための図である。図15に示した空間映像情報340は、調整パラメータに応じた大きさで表示される複数の第2のユーザの映像を含む映像である。例えば、接続性が高いユーザの映像ほど大きく表示され、接続性が低いユーザの映像ほど小さく表示される。空間映像情報340によれば、最も接続性が高いユーザBの映像341が最も大きく表示され、2番目に接続性が高いユーザCの映像342が2番目に大きく表示され、3番目に接続性が高いユーザDの映像343が3番目に大きく表示され、最も接続性が低いユーザEの映像344が最も小さく表示されている。なお、ユーザEからの音声はミュートされている。このように、多地点の映像を並列的に、且つ調整パラメータに応じた大きさで出力することで、心地よいつながり感を並列的に提供することが可能となる。
図16は、本実施形態に係る空間映像情報の第7の表示例を説明するための図である。図16に示した空間映像情報350は、調整パラメータに応じた大きさで表示される複数の第2のユーザの映像を含む映像である。例えば、接続性が高いユーザの映像ほど大きく表示され、接続性が低いユーザの映像ほど小さく表示される。とりわけ、本図では、縦方向いっぱいの長さを有する複数の第2のユーザの映像が横方向に並べて表示される。個々の第2のユーザの映像は、顔又は映像中央を軸に切り出され、横方向に圧縮された映像である。空間映像情報350によれば、最も接続性が高いユーザBの映像351が最も大きく表示され、2番目に接続性が高いユーザCの映像352が2番目に大きく表示され、3番目に接続性が高いユーザDの映像353が3番目に大きく表示され、最も接続性が低いユーザEの映像354が最も小さく表示されている。なお、ユーザEからの音声はミュートされている。このように、多地点の映像を並列的に、且つ調整パラメータに応じた大きさで出力することで、心地よいつながり感を並列的に提供することが可能となる。
図17は、本実施形態に係る空間映像情報の第8の表示例を説明するための図である。図17に示した空間映像情報360は、仮想的な三次元空間内に、複数の第2のユーザの映像302が、調整パラメータに応じた奥行き方向の距離に配置された映像である。最も接続性が高いユーザBの映像361は、仮想的な三次元空間においてユーザBに対応する人間の3DCGがたき火にあたっている様子として表現されている。このような表現により、ユーザAは、よりユーザBに親近感を覚え、心地よいつながり感を得ることが可能である。その他のユーザC、D及びEの映像362、363及び364は、接続性に応じた距離にある仮想的な家オブジェクトの中に配置されている。このように、第8の表示例は、第1の表示例を多地点接続に拡張しつつ、第5の表示例を組み合わせたものである。
図18は、本実施形態に係る空間映像情報の第9の表示例を説明するための図である。
図18に示した空間映像情報370は、仮想的な三次元空間内に第2のユーザの映像が調整パラメータに応じた奥行き方向の距離に配置された映像と、所定の条件を満たす第2のユーザの映像とを並べた映像である。最も接続性が高いユーザBの映像371は、縦方向いっぱいの長さを有し、他のユーザの映像を配置した仮想的な三次元空間の映像372と並べて表示される。一方で、仮想的な三次元空間の映像372においては、ユーザC、D及びEの映像373、374及び375が、接続性に応じた距離にある家オブジェクトの中に配置されている。このように、第9の表示例は、第1の表示例と第7の表示例の組み合わせである。
上記説明したように、コミュニケーションシステム1による空間接続処理により、遠隔地にいるユーザ同士が、あたかも同じ空間にいるかのように、自然で身体的な感覚や方法でお互いの存在や状態を感じ取り、伝え合うことが可能となる。
最後に、図19を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図19は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図19に示す情報処理装置900は、例えば、図3に示した情報処理装置10を実現し得る。本実施形態に係る情報処理装置10による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
以上、図1~図19を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、情報処理装置10は、通信する複数のユーザの各々に関する空間情報の公開設定に基づいて、空間情報の調整パラメータを複数のユーザ間での双方向の公開に関し非対称に決定する。そして、情報処理装置10は、調整パラメータに基づいて加工された通信相手のユーザに関する前記空間情報、及び調整パラメータの決定理由を示す情報を含む出力情報を、ユーザへ出力する。調整パラメータが非対称に決定されることで、接続されるユーザ双方の、見せたい/見せたくない/見たい/見たくないといった要望に沿った空間接続サービスを提供することが可能となり、双方に心地よいつながり感を提供することが可能となる。さらには、調整パラメータの決定理由を示す情報が出力されることで、ユーザは、自身の要望が反映されていることを確認し、調整結果に納得感及び安心感を持つことが可能となる。
(1)
通信する複数のユーザの各々に関する空間情報の公開設定に基づいて、前記空間情報の調整パラメータを前記複数のユーザ間での双方向の公開に関し非対称に決定する決定部と、
前記調整パラメータに基づいて加工された通信相手のユーザに関する前記空間情報、及び前記調整パラメータの決定理由を示す情報を含む出力情報を、前記ユーザへ出力する出力制御部と、
を備える情報処理装置。
(2)
前記調整パラメータの決定理由を示す情報は、前記複数のユーザの公開設定を示す情報、及び決定された前記調整パラメータを示す情報を含む、前記(1)に記載の情報処理装置。
(3)
前記調整パラメータの決定理由を示す情報は、前記複数のユーザの公開設定を示す情報、及び前記調整パラメータを示す情報をグラフ表現した情報である、前記(2)に記載の情報処理装置。
(4)
前記調整パラメータの決定理由を示す情報は、前記複数のユーザの公開設定を示す情報、及び前記調整パラメータを示す情報を2次元平面にマッピングした情報である、前記(2)に記載の情報処理装置。
(5)
前記調整パラメータの決定理由を示す情報は、前記複数のユーザの公開設定を示す情報、及び前記調整パラメータを項目ごとに列挙した情報を含む、前記(2)に記載の情報処理装置。
(6)
前記出力情報は、前記調整パラメータが非対称に決定されたことを示す情報を含む、前記(1)~(5)のいずれか一項に記載の情報処理装置。
(7)
前記出力制御部は、前記調整パラメータに基づいて加工され前記通信相手のユーザへ送信される前記ユーザに関する空間情報を前記ユーザに出力する、前記(1)~(6)のいずれか一項に記載の情報処理装置。
(8)
前記出力制御部は、前記複数のユーザの公開設定の少なくともいずれかに変更があった場合、前記調整パラメータを逐次的に更新する、前記(1)~(7)のいずれか一項に記載の情報処理装置。
(9)
前記出力情報は、仮想的な三次元空間内で前記調整パラメータに応じた奥行き方向の距離に前記通信相手のユーザの映像が配置された映像を含む、前記(1)~(8)のいずれか一項に記載の情報処理装置。
(10)
前記仮想的な三次元空間に配置された複数の前記通信相手のユーザの映像間の距離は、前記通信相手のユーザ間の前記調整パラメータに応じた距離である、前記(9)に記載の情報処理装置。
(11)
前記出力情報は、前記調整パラメータに応じて前記通信相手のユーザの映像を時間積分した映像を含む、前記(1)~(10)のいずれか一項に記載の情報処理装置。
(12)
前記出力情報は、前記調整パラメータに応じて特定の前記通信相手のユーザが消された映像を含む、前記(1)~(11)のいずれか一項に記載の情報処理装置。
(13)
前記出力情報は、前記調整パラメータに応じて前記通信相手のユーザの映像の一部を仮想的な物体で遮蔽した映像を含む、前記(1)~(12)のいずれか一項に記載の情報処理装置。
(14)
前記出力情報は、前記調整パラメータに応じて前記通信相手のユーザをぼかした映像を含む、前記(1)~(13)のいずれか一項に記載の情報処理装置。
(15)
前記出力情報は、前記通信相手のユーザを模した仮想的な人間オブジェクトを含む映像を含む、前記(1)~(14)のいずれか一項に記載の情報処理装置。
(16)
前記出力情報は、前記調整パラメータに応じた大きさで表示される複数の前記通信相手のユーザの映像を含む、前記(1)~(15)のいずれか一項に記載の情報処理装置。
(17)
前記決定部は、通信する複数のユーザの各々に関する空間情報の出力設定に基づいて、前記調整パラメータを決定する、前記(1)~(16)のいずれか一項に記載の情報処理装置。
(18)
通信する複数のユーザの各々に関する空間情報の公開設定に基づいて、前記空間情報の調整パラメータを前記複数のユーザ間での双方向の公開に関し非対称に決定することと、
前記調整パラメータに基づいて加工された通信相手のユーザに関する前記空間情報、及び前記調整パラメータの決定理由を示す情報を含む出力情報を、出力装置により前記ユーザへ出力することと、
を含む情報処理方法。
(19)
コンピュータを、
通信する複数のユーザの各々に関する空間情報の公開設定に基づいて、前記空間情報の調整パラメータを前記複数のユーザ間での双方向の公開に関し非対称に決定する決定部と、
前記調整パラメータに基づいて加工された通信相手のユーザに関する前記空間情報、及び前記調整パラメータの決定理由を示す情報を含む出力情報を、前記ユーザへ出力する出力制御部と、
として機能させるためのプログラムを記録した記録媒体。
10 情報処理装置
20 ネットワーク
30 処理サーバ
110 入力部
120 出力部
130 通信部
140 記憶部
150 制御部
151 設定部
153 決定部
155 出力制御部
Claims (19)
- 通信する複数のユーザの各々に関する空間情報の公開設定に基づいて、前記空間情報の調整パラメータを前記複数のユーザ間での双方向の公開に関し非対称に決定する決定部と、
前記調整パラメータに基づいて加工された通信相手のユーザに関する前記空間情報、及び前記調整パラメータの決定理由を示す情報を含む出力情報を、前記ユーザへ出力する出力制御部と、
を備え、
前記調整パラメータの決定理由を示す情報は、前記複数のユーザの公開設定を示す情報、及び決定された前記調整パラメータを示す情報を含む、情報処理装置。 - 前記調整パラメータの決定理由を示す情報は、前記複数のユーザの公開設定を示す情報、及び前記調整パラメータを示す情報をグラフ表現した情報である、請求項1に記載の情報処理装置。
- 前記調整パラメータの決定理由を示す情報は、前記複数のユーザの公開設定を示す情報、及び前記調整パラメータを示す情報を2次元平面にマッピングした情報である、請求項1に記載の情報処理装置。
- 前記調整パラメータの決定理由を示す情報は、前記複数のユーザの公開設定を示す情報、及び前記調整パラメータを項目ごとに列挙した情報を含む、請求項1に記載の情報処理装置。
- 通信する複数のユーザの各々に関する空間情報の公開設定に基づいて、前記空間情報の調整パラメータを前記複数のユーザ間での双方向の公開に関し非対称に決定する決定部と、
前記調整パラメータに基づいて加工された通信相手のユーザに関する前記空間情報、及び前記調整パラメータの決定理由を示す情報を含む出力情報を、前記ユーザへ出力する出力制御部と、
を備え、
前記出力情報は、前記調整パラメータが非対称に決定されたことを示す情報を含む、情報処理装置。 - 前記出力制御部は、前記調整パラメータに基づいて加工され前記通信相手のユーザへ送信される前記ユーザに関する空間情報を前記ユーザに出力する、請求項1から5のいずれか一項に記載の情報処理装置。
- 前記出力制御部は、前記複数のユーザの公開設定の少なくともいずれかに変更があった場合、前記調整パラメータを逐次的に更新する、請求項1から6のいずれか一項に記載の情報処理装置。
- 前記出力情報は、仮想的な三次元空間内で前記調整パラメータに応じた奥行き方向の距離に前記通信相手のユーザの映像が配置された映像を含む、請求項1から7のいずれか一項に記載の情報処理装置。
- 前記仮想的な三次元空間に配置された複数の前記通信相手のユーザの映像間の距離は、前記通信相手のユーザ間の前記調整パラメータに応じた距離である、請求項8に記載の情報処理装置。
- 前記出力情報は、前記調整パラメータに応じて前記通信相手のユーザの映像を時間積分した映像を含む、請求項1から9のいずれか一項に記載の情報処理装置。
- 前記出力情報は、前記調整パラメータに応じて特定の前記通信相手のユーザが消された映像を含む、請求項1から10のいずれか一項に記載の情報処理装置。
- 前記出力情報は、前記調整パラメータに応じて前記通信相手のユーザの映像の一部を仮想的な物体で遮蔽した映像を含む、請求項1から11のいずれか一項に記載の情報処理装置。
- 前記出力情報は、前記調整パラメータに応じて前記通信相手のユーザをぼかした映像を含む、請求項1から12のいずれか一項に記載の情報処理装置。
- 前記出力情報は、前記通信相手のユーザを模した仮想的な人間オブジェクトを含む映像を含む、請求項1から13のいずれか一項に記載の情報処理装置。
- 前記出力情報は、前記調整パラメータに応じた大きさで表示される複数の前記通信相手のユーザの映像を含む、請求項1から14のいずれか一項に記載の情報処理装置。
- 通信する複数のユーザの各々に関する空間情報の公開設定に基づいて、前記空間情報の調整パラメータを前記複数のユーザ間での双方向の公開に関し非対称に決定することと、
前記調整パラメータに基づいて加工された通信相手のユーザに関する前記空間情報、及び前記調整パラメータの決定理由を示す情報を含む出力情報を、出力装置により前記ユーザへ出力することと、
を含み、
前記調整パラメータの決定理由を示す情報は、前記複数のユーザの公開設定を示す情報、及び決定された前記調整パラメータを示す情報を含む、情報処理方法。 - 通信する複数のユーザの各々に関する空間情報の公開設定に基づいて、前記空間情報の調整パラメータを前記複数のユーザ間での双方向の公開に関し非対称に決定することと、
前記調整パラメータに基づいて加工された通信相手のユーザに関する前記空間情報、及び前記調整パラメータの決定理由を示す情報を含む出力情報を、出力装置により前記ユーザへ出力することと、
を含み、
前記出力情報は、前記調整パラメータが非対称に決定されたことを示す情報を含む、情報処理方法。 - コンピュータを、
通信する複数のユーザの各々に関する空間情報の公開設定に基づいて、前記空間情報の調整パラメータを前記複数のユーザ間での双方向の公開に関し非対称に決定する決定部と、
前記調整パラメータに基づいて加工された通信相手のユーザに関する前記空間情報、及び前記調整パラメータの決定理由を示す情報を含む出力情報を、前記ユーザへ出力する出力制御部と、
として機能させるためのプログラムを記録した、
前記調整パラメータの決定理由を示す情報は、前記複数のユーザの公開設定を示す情報、及び決定された前記調整パラメータを示す情報を含む、記録媒体。 - コンピュータを、
通信する複数のユーザの各々に関する空間情報の公開設定に基づいて、前記空間情報の調整パラメータを前記複数のユーザ間での双方向の公開に関し非対称に決定する決定部と、
前記調整パラメータに基づいて加工された通信相手のユーザに関する前記空間情報、及び前記調整パラメータの決定理由を示す情報を含む出力情報を、前記ユーザへ出力する出力制御部と、
として機能させるためのプログラムを記録した、
前記出力情報は、前記調整パラメータが非対称に決定されたことを示す情報を含む、記録媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017082062 | 2017-04-18 | ||
JP2017082062 | 2017-04-18 | ||
PCT/JP2018/003673 WO2018193687A1 (ja) | 2017-04-18 | 2018-02-02 | 情報処理装置、情報処理方法、および記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018193687A1 JPWO2018193687A1 (ja) | 2020-02-27 |
JP7163908B2 true JP7163908B2 (ja) | 2022-11-01 |
Family
ID=63857039
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019513233A Active JP7163908B2 (ja) | 2017-04-18 | 2018-02-02 | 情報処理装置、情報処理方法、および記録媒体 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10834361B2 (ja) |
EP (1) | EP3614271A4 (ja) |
JP (1) | JP7163908B2 (ja) |
CN (1) | CN110494850B (ja) |
WO (1) | WO2018193687A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2020116060A1 (ja) * | 2018-12-05 | 2021-10-14 | ソニーグループ株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
JP7501524B2 (ja) | 2019-04-17 | 2024-06-18 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US11557093B1 (en) * | 2019-09-10 | 2023-01-17 | Meta Platforms Technologies, Llc | Using social connections to define graphical representations of users in an artificial reality setting |
JP7358919B2 (ja) * | 2019-11-07 | 2023-10-11 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
JP2022003498A (ja) * | 2020-06-23 | 2022-01-11 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、方法、プログラム及び情報処理システム |
US20210406542A1 (en) * | 2020-06-30 | 2021-12-30 | Ilteris Canberk | Augmented reality eyewear with mood sharing |
JP7334686B2 (ja) * | 2020-07-03 | 2023-08-29 | トヨタ自動車株式会社 | 制御装置、プログラム、及び制御システム |
US11538214B2 (en) * | 2020-11-09 | 2022-12-27 | Meta Platforms Technologies, Llc | Systems and methods for displaying stereoscopic rendered image data captured from multiple perspectives |
WO2023095531A1 (ja) * | 2021-11-25 | 2023-06-01 | ソニーグループ株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
US20240004968A1 (en) * | 2022-06-30 | 2024-01-04 | Bank Of America Corporation | Audio and/or Physical Electronic Privacy System |
US20240203075A1 (en) * | 2022-12-14 | 2024-06-20 | Microsoft Technology Licensing, Llc | Collaborative system |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006140747A (ja) | 2004-11-11 | 2006-06-01 | Nippon Telegr & Teleph Corp <Ntt> | 映像コミュニケーション装置および映像コミュニケーション装置の制御方法 |
US20100080374A1 (en) | 2008-09-29 | 2010-04-01 | Avaya Inc. | Method and apparatus for identifying and eliminating the source of background noise in multi-party teleconferences |
US20140368604A1 (en) | 2011-06-07 | 2014-12-18 | Paul Lalonde | Automated privacy adjustments to video conferencing streams |
JP2015012369A (ja) | 2013-06-27 | 2015-01-19 | 沖電気工業株式会社 | 情報処理システム、情報処理装置、及びプログラム |
WO2016072118A1 (ja) | 2014-11-07 | 2016-05-12 | ソニー株式会社 | 情報処理システム、記憶媒体、および制御方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7564476B1 (en) * | 2005-05-13 | 2009-07-21 | Avaya Inc. | Prevent video calls based on appearance |
JP4645355B2 (ja) | 2005-08-11 | 2011-03-09 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
US8253770B2 (en) * | 2007-05-31 | 2012-08-28 | Eastman Kodak Company | Residential video communication system |
US8537196B2 (en) * | 2008-10-06 | 2013-09-17 | Microsoft Corporation | Multi-device capture and spatial browsing of conferences |
US8667402B2 (en) * | 2010-03-10 | 2014-03-04 | Onset Vi, L.P. | Visualizing communications within a social setting |
US8963987B2 (en) * | 2010-05-27 | 2015-02-24 | Microsoft Corporation | Non-linguistic signal detection and feedback |
US20180032997A1 (en) * | 2012-10-09 | 2018-02-01 | George A. Gordon | System, method, and computer program product for determining whether to prompt an action by a platform in connection with a mobile device |
KR101491963B1 (ko) * | 2014-10-30 | 2015-02-09 | 권오형 | 모바일 단말의 아웃 포커싱 영상 통화 방법 및 장치 |
-
2018
- 2018-02-02 CN CN201880024701.5A patent/CN110494850B/zh active Active
- 2018-02-02 JP JP2019513233A patent/JP7163908B2/ja active Active
- 2018-02-02 WO PCT/JP2018/003673 patent/WO2018193687A1/ja unknown
- 2018-02-02 US US16/483,751 patent/US10834361B2/en active Active
- 2018-02-02 EP EP18788183.4A patent/EP3614271A4/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006140747A (ja) | 2004-11-11 | 2006-06-01 | Nippon Telegr & Teleph Corp <Ntt> | 映像コミュニケーション装置および映像コミュニケーション装置の制御方法 |
US20100080374A1 (en) | 2008-09-29 | 2010-04-01 | Avaya Inc. | Method and apparatus for identifying and eliminating the source of background noise in multi-party teleconferences |
US20140368604A1 (en) | 2011-06-07 | 2014-12-18 | Paul Lalonde | Automated privacy adjustments to video conferencing streams |
JP2015012369A (ja) | 2013-06-27 | 2015-01-19 | 沖電気工業株式会社 | 情報処理システム、情報処理装置、及びプログラム |
WO2016072118A1 (ja) | 2014-11-07 | 2016-05-12 | ソニー株式会社 | 情報処理システム、記憶媒体、および制御方法 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2018193687A1 (ja) | 2020-02-27 |
US10834361B2 (en) | 2020-11-10 |
CN110494850A (zh) | 2019-11-22 |
CN110494850B (zh) | 2023-09-12 |
WO2018193687A1 (ja) | 2018-10-25 |
EP3614271A4 (en) | 2020-04-15 |
EP3614271A1 (en) | 2020-02-26 |
US20200195889A1 (en) | 2020-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7163908B2 (ja) | 情報処理装置、情報処理方法、および記録媒体 | |
US11290688B1 (en) | Web-based videoconference virtual environment with navigable avatars, and applications thereof | |
US10952006B1 (en) | Adjusting relative left-right sound to provide sense of an avatar's position in a virtual space, and applications thereof | |
US10776070B2 (en) | Information processing device, control method, and program | |
US11343471B2 (en) | Information processing device and information processing method for communication using three-dimensional space | |
US20230128659A1 (en) | Three-Dimensional Modeling Inside a Virtual Video Conferencing Environment with a Navigable Avatar, and Applications Thereof | |
AU2021366657B2 (en) | A web-based videoconference virtual environment with navigable avatars, and applications thereof | |
CN105681728A (zh) | 一种视频处理方法及装置 | |
US11030879B2 (en) | Environment-aware monitoring systems, methods, and computer program products for immersive environments | |
CN117597916A (zh) | 保护虚拟会议中的私人音频和其应用 | |
US9350909B2 (en) | Remotely controlled crowd-sourced media capture | |
US20240031759A1 (en) | Information processing device, information processing method, and information processing system | |
EP2216975A1 (en) | Telecommunication device | |
JP7501632B2 (ja) | ユーザ入力に基づく複数出力制御 | |
US20160316054A1 (en) | Communication device, method, and program | |
JP2006339869A (ja) | 映像信号と音響信号の統合装置 | |
WO2020158440A1 (ja) | 情報処理装置、情報処理方法、及びプログラムを記載した記録媒体 | |
US11989404B1 (en) | Time-based visualization of content anchored in time | |
US20240031531A1 (en) | Two-dimensional view of a presentation in a three-dimensional videoconferencing environment | |
EP4309361A1 (en) | Securing private audio in a virtual conference, and applications thereof | |
WO2011158493A1 (ja) | 音声通信システム、音声通信方法及び音声通信機器 | |
WO2020148978A1 (ja) | 情報処理装置及び情報処理方法 | |
KR20220157436A (ko) | 원격 단말들을 위한 원격회의 및 텔레프레즌스에서 뷰포트 공유할 때 멀미를 진정시키기 위한 기법 | |
JP2022032697A (ja) | 情報処理装置およびプログラム | |
JP2011039924A (ja) | 外出先の身代りシステム及び擬似体験システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220329 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220516 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220920 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221003 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7163908 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |