JP7279646B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP7279646B2 JP7279646B2 JP2019570313A JP2019570313A JP7279646B2 JP 7279646 B2 JP7279646 B2 JP 7279646B2 JP 2019570313 A JP2019570313 A JP 2019570313A JP 2019570313 A JP2019570313 A JP 2019570313A JP 7279646 B2 JP7279646 B2 JP 7279646B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- information
- control unit
- communication
- users
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 103
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000004891 communication Methods 0.000 claims description 182
- 230000033001 locomotion Effects 0.000 claims description 50
- 238000000034 method Methods 0.000 claims description 19
- 230000014509 gene expression Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 25
- 238000003384 imaging method Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 12
- 238000000926 separation method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000009471 action Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 230000006996 mental state Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 4
- 230000001755 vocal effect Effects 0.000 description 4
- 239000000470 constituent Substances 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/10—Architectures or entities
- H04L65/1059—End-user terminal functionalities specially adapted for real-time communication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1083—In-session procedures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/52—Network services specially adapted for the location of the user terminal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/024—Multi-user, collaborative environment
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
<<構成>>
<<動作>>
<動作例1>
<動作例2>
<<ハードウェア構成>>
<<結び>>
まず、図1及び図2を参照して本開示の一実施形態に係る情報処理装置10の構成を説明する。図1は、本開示の一実施形態に係る情報処理装置10の構成例を示すブロック図である。図2は、本開示の一実施形態に係る情報処理システム5の構成例を示すブロック図である。
本実施形態に係る情報処理装置10は、情報取得部110を備える。情報取得部110は、ユーザが実施しているコミュニケーションの空間を円滑に切り替えるための情報を取得する。この情報取得部110は、ユーザ情報取得部112を少なくとも備え、動作情報取得部114と、音声情報取得部116とを更に有していてもよい。取得する情報内容に応じて、ユーザ情報取得部112と、動作情報取得部114と、音声情報取得部116の少なくともいずれかが機能することで、ユーザが実施しているコミュニケーションの空間を円滑に切り替えるための各種の情報が取得される。
ユーザ情報取得部112は、実空間におけるユーザの位置に関する位置情報及びユーザ間の親密度に関する情報を少なくとも含む属性情報を、所定のタイミングで取得する。詳細には、ユーザ情報取得部112は、そのユーザ情報取得部112が備えられる情報処理装置10の位置情報を取得してもよい。また、ユーザ情報取得部112は、後述する通信制御部150を介して、他のユーザの位置情報及び属性情報を取得する機能を有してもよい。
動作情報取得部114は、ユーザの身振りや手振り等の動作に関する動作情報を取得する。動作情報取得部114で取得される動作情報は、後述する切替制御部120に送信され、ユーザ間で実施されるコミュニケーションの空間を切り替えるトリガーの一種として用いられてもよい。また、この動作情報は、複数のユーザの中から通信を接続するユーザを選択してコミュニケーションを開始する際のトリガーとして用いられてもよい。
音声情報取得部116は、ユーザが発する音声に関する音声情報を取得する。音声情報取得部116で取得された音声情報は、後述するコミュニケーション制御部130を介して、他のユーザに提供されてもよい。また、音声情報取得部116は、公知の音声認識技術を利用して音声情報を解析し、その音声情報の内容を認識する音声認識をすることで音声認識情報を取得してもよい。音声情報取得部116で取得された音声情報は、後述する切替制御部120に送信され、ユーザ間で実施されるコミュニケーションの空間を切り替えるトリガーの一種として用いられてもよい。音声情報取得部116の機能は、収音マイク等の音声収音装置により実現されてもよいし、情報処理装置10に別途設けられた撮像装置に備えられた収音装置によって実現されてもよい。また、音声情報取得部116は、情報処理装置10の周辺で発生する音声を取得してもよい。
本実施形態に係る情報処理装置10は、切替制御部120を備える。切替制御部120は、情報取得部110から送信された位置情報及び属性情報の少なくともいずれか一方に応じて、実空間上で実施されるコミュニケーションと仮想空間で実施されるコミュニケーションとの切り替えを制御する。切替制御部120は、例えば、実空間上でコミュニケーションを実施している複数のユーザ間の離隔距離が所定の閾値以上となったときに、そのユーザ間の通信を接続し、仮想空間上でのコミュニケーションを実施可能としてもよい。切替制御部120は、ユーザ間の離隔距離と時間情報とに応じてコミュニケーション空間を切り替えることができる。例えば、ユーザ間の離隔距離が所定の閾値以上となった場合でも、その離隔距離が所定の閾値以上である状態が維持される時間が、所定の時間より短い場合は、実空間でのコミュニケーションが維持されてもよい。また、例えば、切替制御部120は、仮想空間上でコミュニケーションを実施している複数のユーザ間の離隔距離が所定の閾値以下となったときに、ユーザ間の通信の接続を解除し、実空間上でのコミュニケーションを実施可能としてもよい。
本実施形態に係る情報処理装置10は、コミュニケーション制御部130を備える。コミュニケーション制御部130は、実空間に存在するユーザの実像に対応する仮想像が生成される仮想空間上において、ユーザの仮想像を介してユーザ間で相互に実施されるコミュニケーションの接続状態をはじめ、コミュニケーションにおける各種の機能を統括的に制御する。コミュニケーション制御部130は、例えば、情報処理装置10に備えられるディスプレイにコミュニケーション相手の映像やアバタを表示させながら、ユーザ同士の会話を可能にする機能を有する。また、コミュニケーション制御部130は、情報取得部110で取得される、ユーザ情報、動作情報や音声情報によっては、コミュニケーション空間を仮想空間に切り替えることなく、通信を終了してもよい。
本実施形態に係る情報処理装置10は、認識判断部140を備えていてもよく、認識判断部140は、実空間上で、ユーザが相互に通信が接続された他のユーザの実像を認識したか否かを判断する機能を有していてもよい。認識判断部140による、他のユーザの実像の認識判断は、公知の視点認識技術を利用して行われてもよい。認識判断部140は、例えば、視点認識技術を利用してユーザの視点位置が検出され、その視点位置に関する視点位置情報と、ユーザ情報取得部112により取得された他のユーザの位置情報途に基づき、ユーザが他のユーザの実像を認識したか否かを判断してもよい。
通信制御部150は、ネットワーク20を介したユーザ間の通信を制御し、コミュニケーション制御部130の制御指示に応じて、所定の他のユーザとの通信を接続し、又は接続を解除する処理を実行する。また、通信制御部150は、情報取得部110により取得された、ユーザの位置情報や属性情報、動作情報、音声情報等を通信が接続された他のユーザに提供する処理を実行する。
記憶部160は、本実施形態に係る情報処理装置10が備える記憶装置の一例である。記憶部160には、情報処理装置10が、上記のような各種の処理を実施する際に利用する各種のプログラムやデータベース等が適宜記録されている。記憶部160には、上記のような情報取得部が取得した各種の情報が履歴情報として記録されていてもよい。更に、記憶部160には、例えば、情報取得部110や認識判断部140等がそれぞれの処理を行う際に、保存する必要が生じた様々な処理の途中経過等が適宜記録されてもよい。情報取得部110や認識判断部140が実行する処理に限られず、本実施形態に係る情報処理装置10が何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等が適宜記録されてもよい。この記憶部160は、情報取得部110、切替制御部120、コミュニケーション制御部130、認識判断部140等が、自由にリード/ライト処理を実施することが可能である。
<動作例1>
本実施形態に係る情報処理装置10の動作について、図10を参照しながら説明する。図10は、本実施形態に係る情報処理装置10の動作の流れの一例を示す流れ図である。まず、仮想空間で実施されているコミュニケーションが実空間で実施されるコミュニケーションに切り替えられる動作について説明する。本動作例では、ユーザU1とユーザU2とが離れた場所に存在し、ユーザU1及びユーザU2が本実施形態に係る情報処理装置10を利用しながら、実空間において待ち合わせ場所で合流する場合を例に挙げて説明する。
続いて、本実施形態に係る情報処理装置10の別の動作について、図11を参照しながら説明する。図11は、本実施形態に係る情報処理装置10の動作の流れの一例を示す流れ図である。実空間上で実施されているコミュニケーションが仮想空間上で実施されるコミュニケーションに切り替えられる動作について説明する。本動作例では、実空間上の同一の場所に存在するユーザU1とユーザU2とが、それぞれ異なる場所に移動する場合を例に挙げて説明する。
以上、本開示に係る実施形態について説明した。上述した情報処理は、ソフトウェアと、以下に説明する情報処理装置のハードウェアとの協働により実現される。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
(1)
実空間に存在するユーザの実像に対応する仮想像が生成される仮想空間上において、前記ユーザの仮想像を介してユーザ間で相互に実施されるコミュニケーションを制御するコミュニケーション制御部と、
実空間における前記ユーザの位置に関する位置情報及び前記ユーザ間の親密度に関する情報を少なくとも含む属性情報を、所定のタイミングで取得するユーザ情報取得部と、
前記位置情報及び前記属性情報の少なくともいずれか一方に応じて、前記実空間で実施されるコミュニケーションと、前記仮想空間で実施されるコミュニケーションとの切り替えを制御する切替制御部と、を備える情報処理装置。
(2)
前記ユーザの動作に関する動作情報を取得する動作情報取得部をさらに備え、
前記切替制御部は、前記ユーザの前記動作情報又は相互に接続された他のユーザの前記動作情報の少なくともいずれか一方に応じて、前記ユーザ間のネットワーク接続を確立させて、前記コミュニケーション空間を前記実空間から前記仮想空間へ切り替える、(1)に記載の情報処理装置。
(3)
前記ユーザが発する音声に関する音声情報を取得する音声情報取得部をさらに備え、
前記切替制御部は、前記ユーザの前記音声情報又は相互に接続された他のユーザの前記音声情報の少なくともいずれか一方に応じて、前記ユーザ間のネットワーク接続を確立させて、前記コミュニケーション空間を前記実空間から前記仮想空間へ切り替える、(1)又は(2)に記載の情報処理装置。
(4)
前記ユーザの動作に関する動作情報を取得する動作情報取得部を更に備え、
前記切替制御部は、動作情報取得部により取得された前記動作情報に応じて、複数の前記ユーザの中から他のユーザの少なくとも1人を選択して、前記実空間で実施されるコミュニケーションから前記仮想空間で実施されるコミュニケーションに切り替える、(1)~(3)のいずれか1つに記載の情報処理装置。
(5)
前記コミュニケーション制御部は、前記位置情報及び前記属性情報の少なくともいずれかに応じて、前記仮想空間に出力させる内容を制御する出力制御部を更に備える、(1)~(4)のいずれか1つに記載の情報処理装置。
(6)
前記出力制御部は、前記ユーザが相互に接続された他のユーザの前記仮想像を、所定の表示方法で出力させる、(1)~(5)のいずれか1つに記載の情報処理装置。
(7)
相互に接続された他のユーザを認識し、ユーザ認識に関するユーザ認識情報を取得する認識判断部をさらに備え、
前記出力制御部は、前記認識判断部から送信された前記ユーザ認識情報を受信した後、前記他のユーザの前記仮想像を所定の表現方法で出力させて、前記他のユーザの前記実像と、前記他のユーザの前記仮想像を同期させる、(1)~(6)のいずれか1つに記載の情報処理装置。
(8)
前記出力制御部は、相互に接続された他のユーザの前記仮想像が、前記他のユーザの実像方向を示すように出力させる、(1)~(7)のいずれか1つに記載の情報処理装置。
(9)
前記出力制御部は、相互に接続された他のユーザの前記仮想像を前記実像の位置で消去させ、
前記切替制御部は、仮想空間において確立している前記ユーザ間の接続を解除する、(1)~(8)のいずれか1つに記載の情報処理装置。
(10)
前記出力制御部は、相互に接続された他のユーザにより予め設定された仮想像を出力させる、(1)~(9)のいずれか1つに記載の情報処理装置。
(11)
前記出力制御部は、相互に接続された他のユーザの前記仮想像であり、前記実空間の態様と異なる態様で出力された前記仮想像を、前記他のユーザの実像に重畳して表示させる、(1)~(10)のいずれか1つに記載の情報処理装置。
(12)
前記出力制御部は、前記ユーザが相互に接続された他のユーザと実空間でコミュニケーションを行っている間、前記他のユーザの前記仮想像を、実空間の態様とは異なる態様で表示させる、(1)~(11)のいずれか1つに記載の情報処理装置。
(13)
前記ユーザが発する音声に関する音声情報を取得する音声情報取得部を更に備え、
前記コミュニケーション制御部は、前記位置情報と前記属性情報とに応じて、前記仮想空間に出力させる内容を制御する出力制御部を更に備え、
前記出力制御部は、前記音声情報取得部により取得された前記音声情報の出力位置を制御する、(1)~(12)のいずれか1つに記載の情報処理装置。
(14)
実空間に存在するユーザの実像に対応する仮想像が生成される仮想空間上において、前記ユーザの仮想像を介してユーザ間で相互に実施されるコミュニケーションを制御することと、
実空間における前記ユーザの位置に関する位置関連情報及び前記ユーザ間の親密度に関する情報を少なくとも含む属性情報を、所定のタイミングで取得することと、
前記位置関連情報及び前記属性情報の少なくともいずれか一方に応じて、前記実空間で実施されるコミュニケーションと、前記仮想空間で実施されるコミュニケーションとの切り替えを制御すること、を含む情報処理方法。
(15)
コンピュータに、
実空間に存在するユーザの実像に対応する仮想像が生成される仮想空間上において、前記ユーザの仮想像を介してユーザ間で相互に実施されるコミュニケーションを制御するコミュニケーション制御部、
実空間における前記ユーザの位置に関する位置関連情報及び前記ユーザ間の親密度に関する情報を少なくとも含む属性情報を、所定のタイミングで取得する情報取得部、
前記位置関連情報及び前記属性情報の少なくともいずれか一方に応じて、前記実空間で実施されるコミュニケーションと、前記仮想空間で実施されるコミュニケーションとの切り替えを制御する切替制御部、として機能させるためのプログラム。
10 情報処理装置
20 ネットワーク
110 情報取得部
112 ユーザ情報取得部
114 動作情報取得部
116 音声情報取得部
120 切替制御部
130 コミュニケーション制御部
140 認識判断部
150 通信制御部
160 記憶部
550 表示制御装置
Claims (12)
- 実空間に存在するユーザの実像に対応する仮想像が生成される仮想空間において、前記ユーザの仮想像を介してユーザ間で相互に実施されるコミュニケーションを制御するコミュニケーション制御部と、
実空間における前記ユーザの位置に関する位置情報及び前記ユーザ間の親密度に関する情報を少なくとも含む属性情報を、所定のタイミングで取得するユーザ情報取得部と、
前記位置情報及び前記属性情報の少なくともいずれか一方に応じて、前記実空間で実施されるコミュニケーションと、前記仮想空間で実施されるコミュニケーションとの切り替えを制御する切替制御部と、
前記ユーザの動作に関する動作情報を取得する動作情報取得部と、
を備え、
前記切替制御部は、前記動作情報取得部により取得された前記動作情報に応じて、複数の前記ユーザの中から他のユーザの少なくとも1人を選択して、前記実空間で実施されるコミュニケーションから前記仮想空間で実施されるコミュニケーションに切り替える、
情報処理装置。 - 前記ユーザが発する音声に関する音声情報を取得する音声情報取得部をさらに備え、
前記切替制御部は、前記ユーザの前記音声情報又は相互に接続された他のユーザの前記音声情報の少なくともいずれか一方に応じて、前記ユーザ間のネットワーク接続を確立させて、コミュニケーションが実施される空間を前記実空間から前記仮想空間へ切り替える、請求項1に記載の情報処理装置。 - 実空間に存在するユーザの実像に対応する仮想像が生成される仮想空間において、前記ユーザの仮想像を介してユーザ間で相互に実施されるコミュニケーションを制御するコミュニケーション制御部と、
実空間における前記ユーザの位置に関する位置情報及び前記ユーザ間の親密度に関する情報を少なくとも含む属性情報を、所定のタイミングで取得するユーザ情報取得部と、
前記位置情報及び前記属性情報の少なくともいずれか一方に応じて、前記実空間で実施されるコミュニケーションと、前記仮想空間で実施されるコミュニケーションとの切り替えを制御する切替制御部と、
相互に接続された他のユーザを認識し、ユーザ認識に関するユーザ認識情報を取得する認識判断部と、
を備え、
前記コミュニケーション制御部は、前記位置情報及び前記属性情報の少なくともいずれかに応じて、前記仮想空間に出力させる内容を制御する出力制御部を更に備え、
前記出力制御部は、前記認識判断部から送信された前記ユーザ認識情報を受信した後、前記他のユーザの前記仮想像を所定の表現方法で出力させて、前記他のユーザの前記実像と、前記他のユーザの前記仮想像を同期させる、
情報処理装置。 - 前記出力制御部は、前記ユーザが相互に接続された他のユーザの前記仮想像を、所定の表示方法で出力させる、請求項3に記載の情報処理装置。
- 実空間に存在するユーザの実像に対応する仮想像が生成される仮想空間において、前記ユーザの仮想像を介してユーザ間で相互に実施されるコミュニケーションを制御するコミュニケーション制御部と、
実空間における前記ユーザの位置に関する位置情報及び前記ユーザ間の親密度に関する情報を少なくとも含む属性情報を、所定のタイミングで取得するユーザ情報取得部と、
前記位置情報及び前記属性情報の少なくともいずれか一方に応じて、前記実空間で実施されるコミュニケーションと、前記仮想空間で実施されるコミュニケーションとの切り替えを制御する切替制御部と、
を備え、
前記コミュニケーション制御部は、前記位置情報及び前記属性情報の少なくともいずれかに応じて、前記仮想空間に出力させる内容を制御する出力制御部を更に備え、
前記出力制御部は、相互に接続された他のユーザの前記仮想像が、前記他のユーザの実像方向を示すように出力させる、
情報処理装置。 - 実空間に存在するユーザの実像に対応する仮想像が生成される仮想空間において、前記ユーザの仮想像を介してユーザ間で相互に実施されるコミュニケーションを制御するコミュニケーション制御部と、
実空間における前記ユーザの位置に関する位置情報及び前記ユーザ間の親密度に関する情報を少なくとも含む属性情報を、所定のタイミングで取得するユーザ情報取得部と、
前記位置情報及び前記属性情報の少なくともいずれか一方に応じて、前記実空間で実施されるコミュニケーションと、前記仮想空間で実施されるコミュニケーションとの切り替えを制御する切替制御部と、
を備え、
前記コミュニケーション制御部は、前記位置情報及び前記属性情報の少なくともいずれかに応じて、前記仮想空間に出力させる内容を制御する出力制御部を更に備え、
前記出力制御部は、相互に接続された他のユーザの前記仮想像を前記実像の位置で消去させ、
前記切替制御部は、前記仮想空間において確立している前記ユーザ間の接続を解除する、
情報処理装置。 - 前記出力制御部は、前記相互に接続された他のユーザにより予め設定された仮想像を出力させる、請求項4又は5に記載の情報処理装置。
- 実空間に存在するユーザの実像に対応する仮想像が生成される仮想空間において、前記ユーザの仮想像を介してユーザ間で相互に実施されるコミュニケーションを制御するコミュニケーション制御部と、
実空間における前記ユーザの位置に関する位置情報及び前記ユーザ間の親密度に関する情報を少なくとも含む属性情報を、所定のタイミングで取得するユーザ情報取得部と、
前記位置情報及び前記属性情報の少なくともいずれか一方に応じて、前記実空間で実施されるコミュニケーションと、前記仮想空間で実施されるコミュニケーションとの切り替えを制御する切替制御部と、
を備え、
前記コミュニケーション制御部は、前記位置情報及び前記属性情報の少なくともいずれかに応じて、前記仮想空間に出力させる内容を制御する出力制御部を更に備え、
前記出力制御部は、相互に接続された他のユーザの前記仮想像であり、前記実空間の態様と異なる態様で出力された前記仮想像を、前記他のユーザの実像に重畳して表示させる、
情報処理装置。 - 実空間に存在するユーザの実像に対応する仮想像が生成される仮想空間において、前記ユーザの仮想像を介してユーザ間で相互に実施されるコミュニケーションを制御するコミュニケーション制御部と、
実空間における前記ユーザの位置に関する位置情報及び前記ユーザ間の親密度に関する情報を少なくとも含む属性情報を、所定のタイミングで取得するユーザ情報取得部と、
前記位置情報及び前記属性情報の少なくともいずれか一方に応じて、前記実空間で実施されるコミュニケーションと、前記仮想空間で実施されるコミュニケーションとの切り替えを制御する切替制御部と、
を備え、
前記コミュニケーション制御部は、前記位置情報及び前記属性情報の少なくともいずれかに応じて、前記仮想空間に出力させる内容を制御する出力制御部を更に備え、
前記出力制御部は、前記実空間において前記ユーザが相互に接続された他のユーザとコミュニケーションを行っている間、前記他のユーザの前記仮想像を、前記実空間の態様とは異なる態様で表示させる、
情報処理装置。 - 前記ユーザが発する音声に関する音声情報を取得する音声情報取得部を更に備え、
前記出力制御部は、
前記位置情報と前記属性情報とに応じて、前記仮想空間に出力させる内容を制御し、
前記音声情報取得部により取得された前記音声情報の出力位置を制御する、
請求項5に記載の情報処理装置。 - 情報処理装置が、
実空間に存在するユーザの実像に対応する仮想像が生成される仮想空間において、前記ユーザの仮想像を介してユーザ間で相互に実施されるコミュニケーションを制御することと、
実空間における前記ユーザの位置に関する位置関連情報及び前記ユーザ間の親密度に関する情報を少なくとも含む属性情報を、所定のタイミングで取得することと、
前記位置関連情報及び前記属性情報の少なくともいずれか一方に応じて、前記実空間で実施されるコミュニケーションと、前記仮想空間で実施されるコミュニケーションとの切り替えを制御することと、
前記ユーザの動作に関する動作情報を取得することと、
を含み、
取得された前記動作情報に応じて、複数の前記ユーザの中から他のユーザの少なくとも1人を選択して、前記実空間で実施されるコミュニケーションから前記仮想空間で実施されるコミュニケーションに切り替えることを含む、
情報処理方法。 - コンピュータに、
実空間に存在するユーザの実像に対応する仮想像が生成される仮想空間において、前記ユーザの仮想像を介してユーザ間で相互に実施されるコミュニケーションを制御するコミュニケーション制御部、
実空間における前記ユーザの位置に関する位置関連情報及び前記ユーザ間の親密度に関する情報を少なくとも含む属性情報を、所定のタイミングで取得する情報取得部、
前記位置関連情報及び前記属性情報の少なくともいずれか一方に応じて、前記実空間で実施されるコミュニケーションと、前記仮想空間で実施されるコミュニケーションとの切り替えを制御する切替制御部、及び、
前記ユーザの動作に関する動作情報を取得する動作情報取得部、
として機能させるためのプログラムであって、
前記切替制御部は、前記動作情報取得部により取得された前記動作情報に応じて、複数の前記ユーザの中から他のユーザの少なくとも1人を選択して、前記実空間で実施されるコミュニケーションから前記仮想空間で実施されるコミュニケーションに切り替える、
プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018020439 | 2018-02-07 | ||
JP2018020439 | 2018-02-07 | ||
PCT/JP2018/043825 WO2019155735A1 (ja) | 2018-02-07 | 2018-11-28 | 情報処理装置、情報処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019155735A1 JPWO2019155735A1 (ja) | 2021-02-18 |
JP7279646B2 true JP7279646B2 (ja) | 2023-05-23 |
Family
ID=67548875
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019570313A Active JP7279646B2 (ja) | 2018-02-07 | 2018-11-28 | 情報処理装置、情報処理方法及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11553009B2 (ja) |
EP (1) | EP3751422A4 (ja) |
JP (1) | JP7279646B2 (ja) |
CN (1) | CN111670431B (ja) |
WO (1) | WO2019155735A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10846898B2 (en) * | 2019-03-28 | 2020-11-24 | Nanning Fugui Precision Industrial Co., Ltd. | Method and device for setting a multi-user virtual reality chat environment |
US20200410764A1 (en) * | 2019-06-28 | 2020-12-31 | Snap Inc. | Real-time augmented-reality costuming |
US11759711B2 (en) * | 2021-09-28 | 2023-09-19 | Sony Group Corporation | Method for quasi-random placement of virtual items in an extended reality (XR) space |
JP7133257B1 (ja) | 2022-01-14 | 2022-09-08 | 株式会社キッズプレート | プログラム、情報処理方法、情報処理装置、および情報処理システム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008270913A (ja) | 2007-04-16 | 2008-11-06 | Ntt Docomo Inc | 制御装置、移動通信システム及び通信端末 |
JP2010268305A (ja) | 2009-05-15 | 2010-11-25 | Nippon Telegr & Teleph Corp <Ntt> | ビデオメール通信方法、装置およびプログラム |
JP2015080120A (ja) | 2013-10-17 | 2015-04-23 | コニカミノルタ株式会社 | 画像処理システム、画像処理装置及び携帯端末装置 |
JP2017102897A (ja) | 2016-09-20 | 2017-06-08 | 株式会社コロプラ | アバター表示システム、ユーザ端末、及びプログラム |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001154966A (ja) | 1999-11-29 | 2001-06-08 | Sony Corp | コンピュータ・ネットワーク上で構築・提供される共有仮想空間上で複数ユーザが参加可能な仮想会話を支援する会話支援システム及び会話支援方法、並びに、プログラム記憶媒体 |
JP2002259318A (ja) | 2001-02-27 | 2002-09-13 | Victor Co Of Japan Ltd | 仮想現実空間での人物画像表示方法 |
SE519929C2 (sv) * | 2001-07-26 | 2003-04-29 | Ericsson Telefon Ab L M | Förfarande, system och terminal för att under pågående samtal ändra eller uppdatera tex. avatarer på andra användares terminaler i ett mobiltelekommunikationssystem |
US7003040B2 (en) * | 2002-09-24 | 2006-02-21 | Lg Electronics Inc. | System and method for multiplexing media information over a network using reduced communications resources and prior knowledge/experience of a called or calling party |
US20080215994A1 (en) * | 2007-03-01 | 2008-09-04 | Phil Harrison | Virtual world avatar control, interactivity and communication interactive messaging |
JP4990234B2 (ja) | 2008-07-07 | 2012-08-01 | オリンパス株式会社 | 測距装置、測距方法、測距プログラム又は撮像装置 |
US9480919B2 (en) * | 2008-10-24 | 2016-11-01 | Excalibur Ip, Llc | Reconfiguring reality using a reality overlay device |
JP5423379B2 (ja) * | 2009-08-31 | 2014-02-19 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
US8773570B2 (en) | 2010-06-17 | 2014-07-08 | Panasonic Corporation | Image processing apparatus and image processing method |
JP5765019B2 (ja) * | 2011-03-31 | 2015-08-19 | ソニー株式会社 | 表示制御装置、表示制御方法、およびプログラム |
US20150312561A1 (en) * | 2011-12-06 | 2015-10-29 | Microsoft Technology Licensing, Llc | Virtual 3d monitor |
JP2013205983A (ja) | 2012-03-27 | 2013-10-07 | Sony Corp | 情報入力装置及び情報入力方法、並びにコンピューター・プログラム |
JP2014071499A (ja) * | 2012-09-27 | 2014-04-21 | Kyocera Corp | 表示装置および制御方法 |
US9448404B2 (en) * | 2012-11-13 | 2016-09-20 | Qualcomm Incorporated | Modifying virtual object display properties to increase power performance of augmented reality devices |
US9256072B2 (en) * | 2013-10-02 | 2016-02-09 | Philip Scott Lyren | Wearable electronic glasses that detect movement of a real object copies movement of a virtual object |
US9898844B2 (en) * | 2013-12-31 | 2018-02-20 | Daqri, Llc | Augmented reality content adapted to changes in real world space geometry |
US9990774B2 (en) * | 2014-08-08 | 2018-06-05 | Sony Interactive Entertainment Inc. | Sensory stimulus management in head mounted display |
US20170061700A1 (en) * | 2015-02-13 | 2017-03-02 | Julian Michael Urbach | Intercommunication between a head mounted display and a real world object |
JP6596883B2 (ja) * | 2015-03-31 | 2019-10-30 | ソニー株式会社 | ヘッドマウントディスプレイ及びヘッドマウントディスプレイの制御方法、並びにコンピューター・プログラム |
US10775878B2 (en) * | 2015-04-10 | 2020-09-15 | Sony Interactive Entertainment Inc. | Control of personal space content presented via head mounted display |
KR101830657B1 (ko) * | 2015-04-27 | 2018-02-21 | 엘지전자 주식회사 | 이동 단말기 및 그것의 제어방법 |
WO2016203792A1 (ja) * | 2015-06-15 | 2016-12-22 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2017047178A1 (ja) * | 2015-09-16 | 2017-03-23 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP6569452B2 (ja) | 2015-10-08 | 2019-09-04 | 富士通株式会社 | 画像生成システム、画像生成プログラム及び画像生成方法 |
JP6017008B1 (ja) * | 2015-12-01 | 2016-10-26 | 株式会社コロプラ | アバター表示システム、ユーザ端末、及びプログラム |
US10176636B1 (en) * | 2015-12-11 | 2019-01-08 | A9.Com, Inc. | Augmented reality fashion |
JP2017182739A (ja) | 2016-03-31 | 2017-10-05 | 富士通株式会社 | 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム |
US9883144B2 (en) | 2016-05-12 | 2018-01-30 | Fuji Xerox Co., Ltd. | System and method for replacing user media streams with animated avatars in live videoconferences |
US10521947B2 (en) * | 2017-09-29 | 2019-12-31 | Sony Interactive Entertainment Inc. | Rendering of virtual hand pose based on detected hand input |
US10500496B2 (en) * | 2018-01-12 | 2019-12-10 | International Business Machines Corporation | Physical obstacle avoidance in a virtual reality environment |
-
2018
- 2018-11-28 EP EP18905387.9A patent/EP3751422A4/en active Pending
- 2018-11-28 WO PCT/JP2018/043825 patent/WO2019155735A1/ja unknown
- 2018-11-28 JP JP2019570313A patent/JP7279646B2/ja active Active
- 2018-11-28 US US16/966,701 patent/US11553009B2/en active Active
- 2018-11-28 CN CN201880088237.6A patent/CN111670431B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008270913A (ja) | 2007-04-16 | 2008-11-06 | Ntt Docomo Inc | 制御装置、移動通信システム及び通信端末 |
JP2010268305A (ja) | 2009-05-15 | 2010-11-25 | Nippon Telegr & Teleph Corp <Ntt> | ビデオメール通信方法、装置およびプログラム |
JP2015080120A (ja) | 2013-10-17 | 2015-04-23 | コニカミノルタ株式会社 | 画像処理システム、画像処理装置及び携帯端末装置 |
JP2017102897A (ja) | 2016-09-20 | 2017-06-08 | 株式会社コロプラ | アバター表示システム、ユーザ端末、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN111670431A (zh) | 2020-09-15 |
EP3751422A4 (en) | 2021-04-21 |
JPWO2019155735A1 (ja) | 2021-02-18 |
EP3751422A1 (en) | 2020-12-16 |
US11553009B2 (en) | 2023-01-10 |
CN111670431B (zh) | 2024-04-26 |
US20210037063A1 (en) | 2021-02-04 |
WO2019155735A1 (ja) | 2019-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7279646B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7127645B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP5898378B2 (ja) | 情報処理装置およびアプリケーション実行方法 | |
US11170580B2 (en) | Information processing device, information processing method, and recording medium | |
US10466777B2 (en) | Private real-time communication between meeting attendees during a meeting using one or more augmented reality headsets | |
CN111158469A (zh) | 视角切换方法、装置、终端设备及存储介质 | |
TW201733345A (zh) | 使用互動化身的通訊技術(二) | |
CN111045511B (zh) | 基于手势的操控方法及终端设备 | |
KR102463806B1 (ko) | 이동이 가능한 전자 장치 및 그 동작 방법 | |
WO2019206186A1 (zh) | 唇语识别方法及其装置、增强现实设备以及存储介质 | |
WO2018139203A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2017076202A (ja) | 反応出力システム、反応出力プログラム、反応出力方法 | |
WO2019054037A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
WO2019138682A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7094759B2 (ja) | システム、情報処理方法及びプログラム | |
US20210385101A1 (en) | Information processing apparatus and information processing method | |
US11740773B2 (en) | Information processing device and method | |
WO2022003912A1 (ja) | 情報処理システムおよび情報処理端末 | |
US20240012599A1 (en) | Information processing apparatus, information processing method, and program | |
WO2023079847A1 (ja) | 情報処理装置、情報処理方法および記憶媒体 | |
WO2023090163A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
KR20220013235A (ko) | 영상 통화 수행 방법, 그 방법을 수행하는 디스플레이 기기, 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체 | |
JP2022148263A (ja) | ロボット、コミュニケーションシステム、コミュニケーション方法及びプログラム | |
TW201924321A (zh) | 使用互動化身的通訊技術(五) | |
TW201440529A (zh) | 使用互動化身的通訊技術 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230411 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230424 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7279646 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |