CN111670431B - 信息处理装置、信息处理方法以及程序 - Google Patents
信息处理装置、信息处理方法以及程序 Download PDFInfo
- Publication number
- CN111670431B CN111670431B CN201880088237.6A CN201880088237A CN111670431B CN 111670431 B CN111670431 B CN 111670431B CN 201880088237 A CN201880088237 A CN 201880088237A CN 111670431 B CN111670431 B CN 111670431B
- Authority
- CN
- China
- Prior art keywords
- user
- information
- users
- virtual
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 114
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 238000004891 communication Methods 0.000 claims abstract description 170
- 238000000034 method Methods 0.000 claims description 35
- 230000009471 action Effects 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 28
- 230000014509 gene expression Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 13
- 238000000926 separation method Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000008921 facial expression Effects 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 5
- 230000006996 mental state Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/10—Architectures or entities
- H04L65/1059—End-user terminal functionalities specially adapted for real-time communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1083—In-session procedures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/52—Network services specially adapted for the location of the user terminal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/024—Multi-user, collaborative environment
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
[问题]提供了用于使得能够在虚拟空间与真实空间之间顺利地切换通信空间的信息处理装置、信息处理方法以及程序。[解决方案]提供了一种信息处理装置,包括:通信控制部,其用于控制其中生成与真实空间中存在的用户的实际图像相关联的虚拟图像的虚拟空间中经由用户的虚拟图像在用户之间相互地进行的通信;用户信息获取部,其用于在规定定时获取与用户在真实空间中的位置有关的位置信息和至少包括与用户之间的熟悉度有关的信息的属性信息;以及切换控制部,其用于根据位置信息和/或属性信息来控制在真实空间中进行的通信与在虚拟空间中进行的通信之间的切换。
Description
技术领域
本公开内容涉及信息处理装置、信息处理方法以及计算机程序。
背景技术
已经进行了在具有建立在计算机网络例如因特网上的预定空间扩展的虚拟世界中实现多个用户同时参与并实真实时通信的技术的开发。
例如,下面的专利文献1公开了一种对话支持***,该对话支持***通过利用可由登录至虚拟世界中的用户的化身使用的虚拟移动电话执行呼叫操作来实现与其他用户的通信。
引用列表
专利文献
专利文献1:JP 2001-154966 A
发明内容
技术问题
然而,对于如专利文献1中所公开的那样的对话支持***,当通信中的用户的化身从虚拟世界中注销时,不能继续真实空间中存在的与用户的通信。因此,在用户之间切换通信空间方面还存在改进的空间。
因此,鉴于上述情况,本公开内容提出了能够在虚拟空间与真实空间之间顺利地切换用户之间的通信的领域的信息处理装置、信息处理方法以及计算机程序。
问题的解决方案
根据本公开内容,提供了一种信息处理装置,其包括:通信控制单元,其控制其中创建与真实空间中存在的用户的真实图像对应的虚拟图像的虚拟空间中通过用户的虚拟图像在用户之间交互式地进行的通信;用户信息获取单元,其在预定定时获取与用户在真实空间中的位置有关的位置信息和至少包括与用户之间的亲密度有关的信息的属性信息;切换控制单元,其根据位置信息和属性信息中的至少任一个来控制在真实空间中进行的通信与在虚拟空间中进行的通信之间的切换。
此外,根据本公开内容,提供了一种信息处理方法,其包括:控制其中创建与真实空间中存在的用户的真实图像对应的虚拟图像的虚拟空间中通过用户的虚拟图像在用户之间交互式地进行的通信;在预定定时获取与用户在真实空间中的位置有关的位置信息和至少包括与用户之间的亲密度有关的信息的属性信息;以及根据位置信息和属性信息中的至少任一个来控制在真实空间中进行的通信与在虚拟空间中进行的通信之间的切换。
此外,根据本公开内容,提供了一种计算机程序,其使计算机执行以下功能:通信控制单元,其控制其中创建与真实空间中存在的用户的真实图像对应的虚拟图像的虚拟空间中通过所述用户的所述虚拟图像在用户之间交互式地进行的通信;用户信息获取单元,其在预定定时获取与用户在真实空间中的位置有关的位置信息和至少包括与用户之间的亲密度有关的信息的属性信息;以及切换控制单元,其根据位置信息和属性信息中的至少任一个来控制在真实空间中进行的通信与在虚拟空间中进行的通信之间的切换。
根据本公开内容,根据属性信息来控制要输出至虚拟空间的内容,该属性信息至少包括与用户在真实世界中的位置有关的位置信息和与用户之间的亲密度有关的信息。
发明的有益效果
如上面所描述的,根据本公开内容,可以在虚拟世界与真实世界之间顺利地切换通信空间。
注意,上述效果不必受到限制,但是本发明中描述的任何效果或者可以从本申请中理解的其他效果可以与上述效果一起产生或者替代上述效果。
附图说明
图1是示出根据本公开内容的实施方式的信息处理装置的配置的示例的框图。
图2是示出根据实施方式的信息处理***的配置的示例的框图。
图3是用于说明根据实施方式的信息处理装置的操作的说明图。
图4是用于说明根据实施方式的信息处理装置的操作的说明图。
图5是用于说明根据实施方式的信息处理装置的操作的说明图。
图6是用于说明根据实施方式的信息处理装置的操作的说明图。
图7是用于说明根据实施方式的信息处理装置的操作的说明图。
图8是用于说明根据实施方式的信息处理装置的操作的说明图。
图9是用于说明根据实施方式的信息处理装置的操作的说明图。
图10是用于说明根据实施方式的信息处理装置的操作流程的示例的流程图。
图11是用于说明根据实施方式的信息处理装置的操作流程的示例的流程图。
图12是示出根据实施方式的信息处理装置的硬件配置示例的框图。
具体实施方式
在下文中,将参照附图详细地描述本公开内容的示例性实施方式。注意,相同的附图标记被分配至具有基本相同的功能元件的部件,并且从而在本申请和附图中省略重复的说明。
此外,在一些情况下,通过在本申请和附图中的相同附图标记的末尾处添加不同的字母,将具有基本相同的功能元件的多个部件彼此区分开。注意,当不需要将具有基本相同的功能配置的各个功能元件彼此区分开时,仅将相同的附图标记分配至各个功能元件。
将按照以下顺序给出说明。
配置
操作
操作示例1
操作示例2
硬件配置
结论
配置
首先,将参照图1和图2描述根据本公开内容的实施方式的信息处理装置10的配置。图1是示出根据本公开内容的实施方式的信息处理装置10的配置示例的框图。图2是示出根据本公开内容的实施方式的信息处理***5的配置示例的框图。
根据实施方式的信息处理装置10是用于在彼此的通信伙伴的图像或化身在显示屏上显示的同时多个用户彼此通信的装置。在根据本实施方式的信息处理***5中,信息处理装置10的多个单元通过如图2所示出的网络20彼此连接,并且在虚拟空间中进行交互式通信。信息处理装置10是在虚拟空间中创建与真实空间中存在的用户的实际图像对应的虚拟图像并通过虚拟图像实现用户之间的通信的装置。根据本实施方式的信息处理装置10是被配置成在移动时可由用户使用的装置,并且可以是通过被用户佩戴而用作例如眼镜型显示器、头戴式显示器(HMD)等,并且可以为具有显示装置的移动通信装置例如智能电话。
网络20通过使用公知信息通信技术例如因特网等来实现,并且网络20能够将信息处理装置10的多个单元彼此连接并使得多个用户能够同时进行通信。
根据本实施方式的信息处理装置10至少包括:信息获取单元110,其获取信息例如与用户有关的用户信息、与用户的动作有关的动作信息以及与由用户说出的语音有关的语音信息;切换控制单元120,其根据由信息获取单元110获取的信息来切换其中进行通信的空间;以及通信控制单元130,其控制通信方面的各种功能例如如图2所示出的用户之间交互式地进行的通信的连接状态。此外,根据本实施方式的信息处理装置10优选地包括识别确定单元140、通信控制单元150和存储单元160。
信息获取单元110
根据本实施方式的信息处理装置10包括信息获取单元110。信息获取单元110获取信息以顺利地切换由用户进行的通信的空间。该信息获取单元110至少包括用户信息获取单元112,并且还可以包括动作信息获取单元114和语音信息获取单元116。作为用户信息获取单元112中的至少任一个,在动作信息获取单元114和语音信息获取单元116起作用的情况下,获取各种信息以顺利地切换由用户进行的通信的空间。
用户信息获取单元112
用户信息获取单元112在预定定时获取与用户在真实空间中的位置有关的位置信息以及至少包括与用户之间的亲密度有关的信息的属性信息。更具体地,用户信息获取单元112可以获取配备有用户信息获取单元112的信息处理装置10的位置信息。此外,用户信息获取单元112可以具有通过稍后描述的通信控制单元150获取其他用户的位置信息和属性信息的功能。
用户信息获取单元112可以通过使用公知位置信息获取***来获取用户的位置信息。作为公知位置信息获取***,例如,诸如全球导航卫星***(GNSS)、室内定位***、以及移动网络和Wi-Fi(注册商标)的基站定位***的位置获取***可以被使用。此外,可以将用于位置检测的标签例如信标添加至信息处理装置10,并且用户信息获取单元112可以接收与该标签有关的信息而作为位置信息。此外,信息处理装置10可以具有使得能够识别用户的方向的通信功能,并且用户信息获取单元112可以获取与用户的该方向有关的信息而作为位置信息。
此外,如先前所说明的,可以通过通信控制单元150从其他用户获取其他用户的位置信息,但是另外的公知位置信息获取技术也可以用于获取其他用户的位置信息。例如,根据本实施方式的信息处理装置10可以包括对真实空间的环境图像进行成像的成像装置,并且可以通过使用由该成像装置生成的拍摄图像来获取其他用户的位置信息。为了获取其他用户的位置信息,可以适当地使用例如在JP-A-2010-16743、日本专利第5898693号、JP-A-2017-182739等中公开的各种位置估计技术。信息处理装置10中配备的成像装置可以为具有成像功能的公知成像装置例如诸如数字静态摄像装置和数字视频摄像装置。此外,用户信息获取单元112可以通过公知网络等获取基于由布置在真实空间中的外部摄像装置等成像的其他用户的图像而获取的其他用户的位置信息。
用户信息获取单元112可以被配置成:当彼此通信的用户之间的间隔距离大时,通过GNSS或室内定位***获取其他用户的大致位置信息;并且当用户之间的间隔距离变小时且当用户通过成像装置成像时,通过图像处理获取其他用户的位置信息。
此外,位置信息还包括基于多个用户的位置获取的二次信息例如用户之间的间隔距离。
此外,作为由用户信息获取单元112获取的属性信息之一的与用户之间的亲密度有关的信息包括例如通过使用根据本实施方式的信息处理装置10进行的通信的频率、与时间、对话内容等有关的信息、在存储单元160中存储的联系人列表中是否存在用户信息等。与通信的频率、时间、对话内容等有关的该信息可以被存储在信息处理装置10中提供的存储单元160中而作为历史信息。
此外,属性信息可以包括在根据本实施方式的信息处理装置10的使用期间获取的非语言通信信息,例如用户的面部表情、姿势和语音类型(下文简称为“非语言通信信息(non-verbal communication information)”)。用户信息获取单元112的一部分功能可以通过例如如先前所描述的成像装置的成像装置来实现。优选的是,所要使用的成像装置具有收集根据由本实施方式的信息处理装置10的用户说出的语音的功能,并且可以通过这样的成像装置获取非语言通信信息。此外,如果已经预先设置了根据非语言通信信息的用户的精神状态,则用户信息获取单元112可以获取与用户精神状态有关的精神状态信息。该精神状态信息也包括在属性信息中。可以通过信息处理装置10通过机器学习从非语言通信信息自动地生成精神状态信息。此外,对于根据本实施方式的信息处理装置10,可以添加例如与用户的属性有关的标签,并且用户信息获取单元112可以获取与该标签有关的信息而作为属性信息。
如先前所说明的,用户信息获取单元112可以通过通信控制单元150获取其他用户的属性信息。此外,用户信息获取单元112可以通过单独地设置在信息处理装置10中的成像装置或者通过如上面所描述的布置在真实空间中的成像装置获取的图像和声音来获取信息。
用户信息获取单元112在预定定时获取用户的位置信息和属性信息以及其他用户的位置信息和属性信息。例如,用户信息获取单元112可以在任何需要的时候获取位置信息和属性信息,或者可以在由用户预先设置的时间获取位置信息和属性信息。此外,用户信息获取单元112可以在任何需要的时候将位置信息和属性信息发送至稍后描述的切换控制单元120和通信控制单元130中的至少任一个,或者可以在预先设置的时间发送位置信息和属性信息。
动作信息获取单元114
动作信息获取单元114获取与用户的动作例如身体姿势和手势有关的动作信息。由动作信息获取单元114获取的动作信息可以被发送至稍后描述的切换控制单元120,以用作用于切换用户之间进行的通信的空间的触发之一。此外,该动作信息可以用作用于开始通信的触发,从而从多个用户中选择与通信连接的用户。
动作信息获取单元114的功能可以例如通过具有如上面所描述的成像功能的公知成像装置来实现。更具体地,对于动作信息的获取,例如可以使用公知姿势识别技术,并且例如可以适当地使用在JP-A-2013-205983等中公开的技术。
语音信息获取单元116
语音信息获取单元116获取与由用户说出的语音有关的语音信息。可以通过稍后描述的通信控制单元130将由语音信息获取单元116获取的语音信息提供至其他用户。此外,语音信息获取单元116可以通过使用公知语音识别技术来分析语音信息,从而通过执行识别语音信息的内容的语音识别来获取语音识别信息。由语音信息获取单元116获取的语音信息可以被发送至稍后描述的切换控制单元120,以用作用于切换用户之间进行的通信的空间的触发之一。语音信息获取单元116的功能可以由语音收集装置例如语音拾取麦克风来实现,或者可以由单独地设置在信息处理装置10中的成像装置中配备的语音拾取装置来实现。此外,语音信息获取单元116可以获取在信息处理装置10周围生成的语音。
切换控制单元120
根据本实施方式的信息处理装置10包括切换控制单元120。切换控制单元120根据从信息获取单元110发送的位置信息和属性信息中的至少任一个来控制在真实空间中进行的通信与在虚拟空间中进行的通信之间的切换。切换控制单元120可以被配置成:例如当用户之间的间隔距离变得等于或大于预定阈值时建立用户之间的通信;并且使得能够在虚拟空间中进行通信。切换控制单元120可以根据用户之间的间隔距离和时间信息来切换通信空间。例如,即使当用户之间的间隔距离变得等于或大于预定阈值时,如果其中间隔距离等于或大于预定阈值的状态的持续时间短于预定时间,则在真实空间中的通信可以保持。此外,例如切换控制单元120可以被配置成:当在虚拟空间中进行通信的用户之间的间隔距离变得等于或小于预定阈值时,使用户之间的通信的连接终止;并且使得能够在真实空间中进行通信。
此外,切换控制单元120可以根据用户之间的作为属性信息之一的亲密度来切换通信空间。例如,当特定用户之间通过使用信息处理装置10进行的通信的频率和时间等于或大于预定频率或时间时,通信空间可以从真实空间切换至虚拟空间。
切换控制单元120还可以被配置成:根据由动作信息获取单元124获取的动作信息来建立用户之间的网络连接;并且将用户之间的通信的空间从真实空间切换至虚拟空间。更具体地,在切换控制单元120中预先设置了与根据动作信息进行切换有关的控制,并且从而使得切换控制单元120能够根据所获取的动作信息来切换通信空间。例如,在真实空间中进行通信的任何用户在现场处做出旨在告别的动作(例如挥手动作等),切换控制单元120可以基于由动作信息获取单元114获取的动作信息将通信空间从真实空间切换至虚拟空间。因此,当将通信空间从真实空间切换至虚拟空间时,使得用户能够自然地继续对话而不会受到打断。注意,可以通过信息处理装置10的机器学习来进行用户的动作意图与动作信息之间的关联,并且切换控制单元120可以基于动作信息将通信空间从真实空间切换至虚拟空间。
切换控制单元120还可以被配置成:根据由语音信息获取单元116获取的语音识别信息来建立用户之间的网络连接,以将用户之间的通信的空间从真实空间切换至虚拟空间。更具体地,预先设置与根据从语音信息获取单元116获取的语音识别信息进行切换有关的控制,并且从而使得切换控制单元120能够根据语音识别信息来切换通信空间。具体地,在真实空间中进行通信的任一用户的语音信息获取单元116拾取预定语音信息例如在现场处的告别问候、分析语音信息的内容,以获取与语音信息对应的语音识别信息。切换控制单元120可以基于从语音信息获取单元116获取的语音识别信息来将通信空间从真实空间切换至虚拟空间。类似地,当语音信息获取单元116获取预定语音信息时,切换控制单元120可以将通信空间从虚拟空间切换至真实空间。
切换控制单元120还可以被配置成:从多个用户中选择其他用户中的至少一个,以根据由动作信息获取单元114获取的动作信息来将通信空间从真实空间切换至虚拟空间。具体地,在虚拟空间中显示真实空间中的具有通信的多个用户的虚拟图像,当切换控制单元120接收与选择虚拟图像的动作对应的动作信息时,切换控制单元120可以根据动作信息将与其他用户进行的通信从真实空间切换至虚拟空间。
通信控制单元130
根据本实施方式的信息处理装置10包括通信控制单元130。通信控制单元130通常控制通信方面的各种功能,所述通信方面的各种功能包括通过用户在其中创建与用户的真实空间中存在的真实图像对应的虚拟图像的虚拟空间中的虚拟图像来控制用户之间进行的交互式通信的连接状态。通信控制单元130具有例如以下功能:在作为通信伙伴的用户的图像或化身在安装在信息处理装置10上的显示器上显示的同时使得用户之间能够进行对话。此外,通信控制单元130可以根据由信息获取单元110获取的用户信息、动作信息和语音信息来结束通信而不需要将通信空间切换至虚拟空间。
通信控制单元130包括输出控制单元132,所述输出控制单元132根据由信息获取单元110获取的各种信息来控制输出内容,用户识别信息包括由识别确定单元140获取的在真实空间中通信伙伴的真实图像的识别确认信息。
参照图3,将描述输出控制单元132的功能。输出控制单元132在虚拟空间中显示与在真实空间中其他用户的真实图像对应的虚拟图像。例如,如图3所示出的,设置在由用户U1使用的信息处理装置10中的输出控制单元132可以向用户U1提供虚拟空间U1V和通信伙伴的用户U2的虚拟图像。类似地,设置在由用户U2使用的信息处理装置10中的输出控制单元132可以向用户U2提供虚拟空间U2V和通信伙伴的用户U1的虚拟图像。
输出控制单元132可以通过始终获取由信息获取单元110获取的其他用户的用户信息以将该用户信息反映到虚拟图像,来显示与该其他用户的最新真实图像对应的虚拟图像。例如,由于其他用户的虚拟图像是实时更新的,因此,如图4所示出的,用户U2的面部表情改变为生气的面部,与用户U2的面部表情从微笑的面部向生气的面部的改变同步,并且用户U1可以识别该状态。
在虚拟空间中显示的虚拟图像可以是由另外地设置在信息处理装置10中的其他用户的成像装置成像的图像,并且具有对真实空间中的外部环境进行成像的功能,或者在虚拟空间中显示的虚拟图像可以是通过对其他用户的拍摄图像进行预定变换处理而获得的图像。此外,作为其他用户的图像,由另外地设置在信息处理装置10中的成像装置获取的图像,并且对信息处理装置10的用户的面部的至少一部分进行成像的图像可以被使用。具体地,可以将由成像装置拍摄的用户的面部的一部分的图像信息用作用于转化为预先准备的三维模型的参数,以创建虚拟图像。
输出控制单元132还可以根据由用户信息获取单元112获取的用户的位置信息和属性信息中的至少任一个来控制要输出至虚拟空间的内容。输出控制单元132可以被配置成:当在真实空间中进行通信的用户之间的间隔距离变得等于或大于预定阈值时,在虚拟空间中显示其他用户的虚拟图像。此外,输出控制单元132可以被配置成:输出,使得刚好在已经在真实空间中的相同地点处进行通信的多个用户开始移动至各个不同地点之前,根据用户的所获取的属性信息例如面部表情和语音类型来显示虚拟图像。
此外,输出控制单元132可以被配置成在进行真实空间中的通信的同时通过使用由成像装置拍摄的其他用户的图像信息来控制其他用户的虚拟图像。具体地,输出控制单元132可以响应于其他用户的成像外观而改变其他用户的虚拟图像。当其他用户的所显示的虚拟图像与其他用户的真实图像不同时并当在通信在虚拟空间中进行的同时由用户信息获取单元112获取其他用户的用户信息时,输出控制单元132可以执行对逐渐减小真实图像与虚拟图像之间的差异例如变形的处理。
此外,输出控制单元132可以通过使用已经上传在现有网络例如因特网上的其他用户的照片、视频数据等的图像信息来控制其他用户的虚拟图像。具体地,输出控制单元132可以通过应用已经上传在网络上的其他用户的照片等的图像信息作为用于转化为预先准备的三维模型的参数,来创建虚拟图像。
输出控制单元132还可以被配置成输出通过预定显示方法交互式地连接的其他用户的虚拟图像。例如当用户U2的真实图像RI2如图5所示出的戴上帽子时,类似于真实图像RI2,输出控制单元132可以将该真实图像RI2改变为佩戴着帽子的虚拟图像VI2,从而使虚拟图像VI2做出戴上帽子的动作。此外,例如输出控制单元132可以输出虚拟图像,使得虚拟图像移动至真实图像的位置。虚拟图像的移动的表达方法可以是例如表达步行的表达方法。然而,虚拟图像移动至真实图像的位置的表达方法没有特别地限制,只要该虚拟图像与真实图像一致即可,例如如图6的下部所示出的,可以使用好像虚拟图像已经朝向真实图像移动的路径的表达。
在本文中要注意的是,实际情况下的真实图像的移动与输出至虚拟空间的虚拟图像的移动之间可能存在差异,并且如果通过朝向真实空间行走的表达方法输出了虚拟图像,则可能会给用户造成尴尬。然而,通过如上面所描述的由输出控制单元132控制虚拟图像,减少了由真实图像的移动与虚拟图像的移动之间可能引起的移动差异使该用户烦恼的机会。因此,输出控制单元132还可以被配置成:接收由稍后描述的识别确定单元140获取的用户识别信息,识别确定单元140具有确定用户是否已经在真实空间中识别了其他用户的真实图像的功能;并且通过基于所接收到的用户识别信息的表达方法来显示虚拟图像。例如如图6所示出的,在识别确定单元140确定用户U1已经识别出用户U2的真实图像RI2之后,输出控制单元132可以控制显示好像虚拟图像VI2已经朝向真实图像RI2移动的路径。输出控制单元132可以被配置成能够通过各种表达方法来输出虚拟图像,不限于上面所描述的表达方法,只要所述表达方法是表达虚拟图像的移动的表达方法即可。
输出控制单元132还可以被配置成:在显示与交互式通信连接的其他用户的虚拟图像已经移动至真实图像的位置之后,控制虚拟图像消失。在控制其他用户的虚拟图像消失之后,切换控制单元120可以使在虚拟空间中建立的用户之间的连接终止。用于将虚拟图像移动至真实图像的位置的表达方法可以是如先前所描述的好像虚拟图像VI2已经朝向真实图像RI2移动的路径的表达,例如如图6的下部所示出的。通过由输出控制单元132控制其他用户的虚拟图像已经移动至真实图像的位置之后虚拟图像的消失,用户可以容易地掌握其他用户的真实图像的位置。
输出控制单元132可以被配置成输出与交互式通信连接的其他用户的虚拟图像指示其他用户的真实图像方向。在在虚拟空间中进行通信的同时当真实空间中用户之间的间隔距离变得等于或小于预定阈值时,输出控制单元132可以基于由用户信息获取单元112获取的用户信息,例如显示为使得用户U2的虚拟图像VI2如图7所示出的面向真实图像RI2的位置。通过显示其他用户的虚拟图像以面向真实图像方向,用户可以容易地掌握其他用户在真实空间中的位置(即真实图像)。
输出控制单元132还可以被配置成输出已经由交互式地连接的其他用户预先设置的虚拟图像。具体地,用户信息获取单元112仅将由其他用户设置的预定用户信息发送至输出控制单元132,而无需将通过其他方法获取的用户信息发送至输出控制单元132。此时,用户信息还可以是由其他用户设置的信息,并且作为反映用户信息的结果,输出控制单元132可以控制显示与真实图像的外观不同的虚拟图像。
输出控制单元132还可以被配置成通过叠加在其他用户的真实图像上来控制显示虚拟图像,该虚拟图像是交互式地连接的其他用户的虚拟图像并且以与真实空间中的外观不同的外观输出。更具体地,输出控制单元132可以输出用户U2的虚拟图像VI2,以在由用户U1设置的外观中显示,使得该外观不同于用户U2的真实图像RI2,例如如图8所示出的。通过由输出控制单元132通过将其他用户的虚拟图像叠加在其他用户的真实图像上来控制以与真实图像不同的外观显示其他用户的虚拟图像,其他用户只能在虚拟空间中显示这样的外观,如果它存在于真实空间中,则可能会显得格格不入。因此,用户可以具有其中不涉及周围存在的其他人的有限的通信,而不会在真实空间中引起其他用户周围存在的人对其他用户的不必要的注意。因此,通过使用根据本实施方式的信息处理装置10进行通信的用户仅可以在用户之间获得例如好像他们正在举行化妆舞会等的感觉。
输出控制单元132还可以被配置成在与已经连接了交互式通信的其他用户在真实空间中进行通信的同时以与真实图像的外观不同的外观显示其他用户的虚拟图像。当也在真实空间中在用户之间进行通信时,输出控制单元132可以在保持虚拟图像VI2的显示的同时以指示功能被暂停的外观显示例如如图9所示出的虚拟图像VI2。此后,当用户之间的通信从真实空间切换至虚拟空间时,输出控制单元132可以控制显示以与真实图像不同的外观已经显示的虚拟图像以与真实图像一致。从而可以继续用户之间的通信。
根据本实施方式的信息处理装置10可以包括具有输出语音功能的语音输出单元,并且可以从语音输出单元输出输出至用户的语音信息。输出控制单元132还可以被配置成控制输出由语音信息获取单元116从预定位置人工地获取的语音信息。也就是说,输出控制单元132可以被配置成使得声音图像的位置逐渐接近真实图像的位置,并且当声音图像的位置与真实图像的位置一致时语音信息的输出被停止,使得用户可以在真实空间中识别其他用户即真实图像的声音。此外,当通信空间从真实空间切换至虚拟空间时,输出控制单元132可以输出语音信息,以使真实图像的位置与声音图像的位置匹配。此外,输出控制单元132可以根据用户之间的分隔距离来改变音量。更具体地,输出控制单元132可以例如通过使用公知语音输出技术等来控制声像的位置。因此,用户可以获得好像在虚拟空间中实际上与其他用户会面并与其他用户对话的感觉。
在实际情况下,可以在输出语音信息的输出定时与从真实图像输出的语音的生成定时之间生成时间间隙。因此,输出控制单元132可以例如通过使用作为公知技术之一的声音分离技术来控制取消从真实图像输出的语音并从虚拟图像输出相关语音信息。此外,输出控制单元132可以配置成不仅截断真实图像输出的语音,而且截断真实空间中的整个声音,并且根据需要来重构语音信息以从虚拟空间输出。此外,输出控制单元132可以控制用于输出虚拟空间的输出装置图像输出条件和声音输出条件。
输出控制单元132可以控制不仅显示与之进行通信的其他用户的虚拟图像,而且还显示例如由用户指定的任何种类的对象例如将由该用户拥有的宠物显示为虚拟空间中的虚拟图像。用户通过指定创建的虚拟图像可以被提供至进行通信的多个用户或者可以仅被提供至指定对象的用户。
此外,输出控制单元132可以控制用于输出虚拟空间的输出装置图像输出条件和声音输出条件。
识别确定单元140
根据本实施方式的信息处理装置10可以包括识别确定单元140,并且识别确定单元140可以具有确定用户是否已经识别出在真实空间中与该用户交互式地连接的其他用户的真实图像的功能。识别确定单元140可以通过使用公知视点识别技术来执行对其他用户的真实图像的识别确定。识别确定单元140可以被配置成:例如通过使用视点识别技术来检测用户的视点的位置;并且基于由用户信息获取单元112获取的其他用户的位置信息和与视点的位置有关的视点位置信息来确定用户是否已经识别其他用户的真实图像。
此外,识别确定单元140可以通过使用公知语音识别技术来确定用户是否已经识别了其他用户的真实图像。例如,当通过使用语音识别技术检测到用于用户确定的语音信息例如当用户向其他用户呼唤时使用的话语时,识别确定单元140可以确定其他用户的真实图像已经被识别。此时,除了语音信息以外,通过使用由用户信息获取单元112获取的位置信息,与不使用位置信息的情况相比,识别确定单元140可以高精度地执行对其他用户的真实图像的识别确定。
通信控制单元150
通信控制单元150响应于通信控制单元130的控制指令而通过网络20控制用户之间的通信,并且执行对连接与预定的其他用户的通信的处理或对使连接终止的处理。此外,通信控制单元150执行对将由信息获取单元110获取的位置信息、属性信息、动作信息、语音信息等提供至与通信连接的另一用户的处理。
存储单元160
存储单元160是包括在根据本实施方式的信息处理装置10中的存储装置的示例。当执行如上面所描述的各种处理时,存储单元160适当地存储所要使用的各种程序、数据库等。存储单元160可以将如上面所描述的由信息获取单元获取的各种信息存储为历史信息。此外,存储单元160可以存储例如当信息获取单元110、识别确定单元140等适当地执行各个处理时有必要保存的各种处理的进度等。不限于由信息获取单元110和识别确定单元140执行的处理,可以适当地存储当根据本实施方式的信息处理装置10执行任何种类的处理时有必要保存的各种参数、处理的进度等。信息获取单元110、切换控制单元120、通信控制单元130、识别确定单元140等可以相对于该存储单元160自由地执行读/写处理。
上文已经详细地描述了信息处理装置10的配置的一个示例。可以通过使用通用部件和电路来配置上面所描述的各个部件,或者可以通过在各个部件的功能中指定的硬件来配置上面所描述的各个部件。此外,各个部件的全部功能可以由CPU等执行。因此,可以根据本实施方式的每个实现方式的技术水平适当地改变所要使用的配置。随后,将详细地描述信息处理装置10的操作的一个示例。
运作方式
操作示例1
将参照图10描述根据本实施方式的信息处理装置10的操作。图10是示出根据实施方式的信息处理装置的操作的流程的示例的流程图。首先,将描述将在虚拟空间中进行的通信切换至在真实空间中进行的通信的操作。在该操作示例中,将以如下情况作为示例进行说明:在用户U1和用户U2存在于遥远的地方且用户U1和用户U2在真实空间中的会面地点彼此会面,同时使用根据本实施方式的信息处理装置10。
首先,在连接了用户U1与用户U2之间的通信的状态下开始根据本实施方式的操作,并且获取用户U1和用户U2的用户信息以进行交换(S101)。更具体地,由用户U1和用户U2使用的信息处理装置10的用户信息获取单元112获取用户U1和用户U2的用户信息例如各个位置信息和属性信息。各个所获取的用户信息通过通信控制单元150彼此发送和接收。随后,基于所获取的用户信息显示用户U1和用户U2的虚拟图像(S103)。更具体地,如图2所示出的,在用户U1的信息处理装置10中创建虚拟空间U1V,并且在虚拟空间U1V中创建用户U2的虚拟图像VI2。类似地,在用户U2的信息处理装置10中创建虚拟空间U2V,并且在虚拟空间U2V中创建用户U1的虚拟图像VI1。所创建的虚拟空间是在真实空间中显示其他用户的图像,但是例如用户指定的任何种类的对象(例如由用户拥有的宠物)都可以作为虚拟图像显示在虚拟空间中。用户U1可以与虚拟空间U1V中的虚拟图像VI2进行对话,并且用户U2可以与虚拟空间U2V中的虚拟图像VI1进行对话。
S101和S103始终被重复,并且由用户信息获取单元112获取用户U1和用户U2的最新用户信息,并且虚拟图像U1V和虚拟图像U2V始终根据最新的用户信息来被更新为虚拟图像U1V和虚拟图像U2V。随后,识别确定单元140确定用户是否已经识别了其他用户(S105)。更具体地,例如,当用户U1与用户U2之间的间隔距离变得等于或小于预定阈值时,以及当用户U1和用户U2例如如图5的上部所示出的存在于相同的环境中时,用户U2的虚拟图像VI2可以面对用户U2的真实图像RI2的方向。此外,当用户U1在真实空间中找到用户U2(即,用户U2的真实图像RI2)时,识别确定单元140可以基于通过用户U1的发现而获取的识别信息来确定已经识别出用户U2的真实图像RI2。此时,当尽管在S101和S103处用户信息已经被更新为最新的,但是用户U2的真实图像RI2和虚拟图像VI2的外观彼此不同时,输出控制单元132可以改变虚拟图像VI2的外观以对应于真实图像RI2。例如如图5的下部所示出的,当真实图像RI2戴上帽子时,输出控制单元132可以控制虚拟图像VI2,使得虚拟图像VI2做出戴帽子的动作以佩戴帽子。
尽管在步骤S101和S103处用户信息已由用户信息获取单元112将用户信息更新为最新信息,但是如果仅由用户U2预先设置的用户信息被反映至虚拟图像VI2,则显示与真实图像RI2的外观不同的虚拟图像VI2。因此,用户U1仅当看到用户U2的真实图像RI2时才第一次看到用户U2的实际图形。
随后,输出控制单元132可以将用户U2的虚拟图像VI2移动至用户U2的真实图像RI2的位置(S107)。输出控制单元132可以移动虚拟图像VI2,以朝向真实图像RI2的位置行走。当真实图像RI2和虚拟图像VI2的外观彼此显著地不同时,用户U1可能具有尴尬的感觉。因此,输出控制单元132可以输出任何种类的动画以输出示出虚拟图像VI2已经朝向真实图像RI2移动的内容。输出控制单元132可以输出例如表达式,诸如表达如图6的下部所示出的朝向真实图像RI2的位置移动的路径等。此外,在用户U2的虚拟图像VI2已经移动至用户U2的真实图像RI2的位置之后,输出控制单元132使虚拟图像VI2消失(S109),并且通信控制单元150可以使所建立的通信(S111)终止。当根据本实施方式的信息处理装置10如上面所描述地操作时,用户U1和用户U2进行通信的空间可以以不间断且自然的方式从虚拟空间切换至真实空间。
在S109处,例如输出控制单元132可以控制显示,使得具有与用户U2的真实图像RI2不同的外观的虚拟图像VI2如图8所示出的叠加在真实图像RI2上。此外,输出控制单元132不需要使虚拟图像VI2消失,而是例如可以以指示功能被暂停的外观如图9所示出的继续显示虚拟图像VI2。
操作示例2
随后,将参照图11描述根据本实施方式的信息处理装置10的另外的操作。图11是示出根据实施方式的信息处理装置10的操作的流程的示例的流程图。将描述将在真实空间中进行的通信切换至在虚拟空间中进行的通信的操作。在该操作示例中,将以其中存在于真实空间中相同位置的用户U1和用户U2移动至各自不同位置的情况作为示例进行说明。
首先,在连接了用户U1与用户U2之间的通信的状态下开始根据本实施方式的操作。设置在用户U1所使用的信息处理装置10中的信息获取单元110获取用户U1的用户信息(S201)。此时,信息获取单元110不仅可以获取用户U1的用户信息,而且可以获取用户U1的动作信息和语音信息。随后,设置在用户U1所使用的信息处理装置10中的通信控制单元130根据用户U1的指令来创建要提供至用户U1的虚拟空间U1V(S203)。通信控制单元130不仅可以根据用户U1的指示,还可以根据由信息获取单元110等获取的用户U1的用户信息来自动地创建虚拟空间U1V。例如,通信控制单元130可以被配置成使得当用户U1与用户U2之间的间隔距离等于或大于预定阈值时,自动地创建虚拟空间U1V。此外,可以在用户U1和用户U2开始移动至各自不同的位置之前,根据诸如用户U2的面部表情和声音类型的属性信息来自动地创建虚拟空间U1V。当用户U1期望与多个用户进行通信时,可以通过用户U1的预定操作来选择那些用户,并且可以在虚拟空间U1V中创建其他用户的虚拟图像。随后,交换用户U1和用户U2的用户信息(S205),并且创建用户U2的虚拟图像VI2(S207)。由于S205和S207与在操作示例1中先前说明的S101和S103相同,因此省略S205和S207的详细说明。
最后,通信控制单元130执行对通信的终止处理(S209)。关于通信的终止处理,例如当语音信息获取单元116获取诸如告别问候语的预定语音信息时,语音信息获取单元116执行语音识别以生成语音识别信息。通信控制单元130可以基于语音识别信息来使通信终止。此外,例如当信息处理装置10由诸如增强真实(AR)眼镜的可穿戴装置实现时,可以通过从用户的身体移除用户所穿戴的可穿戴装置来使通信终止。
上文已经详细地描述了根据本实施方式的信息处理装置10的操作示例。随后,将详细地描述另外的操作示例。
硬件配置
上文已经描述了根据本公开内容的实施方式。通过以下描述的信息处理装置的软件和硬件的协作来实现上面所描述的信息处理。
图12是示出根据实施方式的信息处理装置的硬件配置的框图。信息处理装置包括中央处理单元(CPU)180、只读存储器(ROM)181、随机存取存储器(RAM)182、主机总线183、桥184、外部总线185、接口186、显示装置188、语音输出装置189、存储装置(HDD)190和网络接口913。根据本实施方式的信息处理装置可以包括输入装置187和驱动器191。
CPU 180用作算术处理装置和控制装置,并且根据各种程序控制信息处理装置中的整体操作。此外,CPU 180可以是微处理器。ROM 181存储CPU 180所使用的程序、算术参数等。RAM 182临时地存储CPU 180在执行中所使用的程序、在执行中适当变化的参数等。它们通过由CPU总线等构成的主机总线183彼此连接。通过CPU 180、ROM 181和RAM 182以及软件的协作,信息获取单元110、切换控制单元120、通信控制单元130、识别确定单元140等的功能被实现。
主机总线183通过桥接器184连接到诸如***部件互连/接口(PCI)总线的外部总线185。注意,主机总线183、桥接器184和外部总线185不必分开配置,而是这些部件的功能可以通过一条总线来实现。
输入装置187可以包括用于输入信息的构件的输入装置例如触摸面板、按钮、麦克风、传感器、开关和操纵杆,输入控制电路基于构件的输入来生成输入信号并将该输入信号输出至CPU 180等。
显示装置188包括例如显示装置,例如阴极射线管(CRT)显示装置、液晶显示(LCD)装置和有机发光二极管(OLED)装置等。
存储装置190是用于数据存储的装置,存储装置190包括根据本实施方式的信息处理装置的存储单元的一个示例。存储装置190可以包括存储介质、在该存储介质上记录数据的记录装置、从该存储介质读取数据的读取器装置、删除在该存储介质上记录的数据的删除装置等。存储装置190例如包括硬盘驱动器(HDD)、固态存储驱动器(SSD)或具有等效功能的存储器等构成。该存储装置190驱动存储器并存储由CPU 180执行的程序和各种数据。
驱动器191是用于存储介质的读取器/写入器,并且被配备在信息处理装置中或者被外部提供。驱动器191读取记录在***其中的可移动存储介质193例如磁盘、光盘、磁光盘和半导体存储器上的信息,并且将该信息输出至RAM 182或存储装置190。此外,驱动器191还可以在可移动存储介质193上写入信息。
网络接口192是例如包括用于连接至网络20的通信装置等的通信接口。此外,网络接口192可以是支持无线局域网(LAN)的终端或进行有线通信的有线通信终端。
结论
上文已经参照附图详细地描述了本公开内容的示例性实施方式,但是本公开内容的技术范围不限于那些示例。显然地,本发明的技术领域中的普通技术人员可以在权利要求书所描述的技术的思想范围内想到各种变更示例和修正示例,并且这些自然地应当理解为也属于本公开内容的技术范围。
此外,本申请中描述的效果仅用于说明和示例,而不受限制。也就是说,根据本公开内容的技术可以与上述效果一起或者代替上述效果产生其他效果,这些效果对于本领域技术人员而言是明显的。
注意,如下面所描述的配置也属于本公开内容的技术范围。
(1)一种信息处理装置,包括:
通信控制单元,其控制其中创建与真实空间中存在的用户的真实图像对应的虚拟图像的虚拟空间中通过所述用户的所述虚拟图像在用户之间交互式地进行的通信;
用户信息获取单元,其在预定定时获取与所述用户在所述真实空间中的位置有关的位置信息和至少包括与所述用户之间的亲密度有关的信息的属性信息;以及
切换控制单元,其根据所述位置信息和所述属性信息中的至少任一个来控制在所述真实空间中进行的通信与在所述虚拟空间中进行的通信之间的切换。
(2)根据(1)所述的信息处理装置,还包括:
动作信息获取单元,其获取与所述用户的动作有关的动作信息,其中,
所述切换控制单元根据所述用户的所述动作信息以及与所述用户交互式地连接的其他用户的所述动作信息中的至少任一个来建立所述用户之间的网络连接,并且所述切换控制单元将进行通信的空间从所述真实空间切换至所述虚拟空间。
(3)根据(1)或(2)所述的信息处理装置,还包括:
语音信息获取单元,其获取与由所述用户说出的语音有关的语音信息,其中,
所述切换控制单元根据所述用户的所述语音信息以及与所述用户交互式地连接的所述语其他用户的所述语音信息中的至少任一个来建立所述用户之间的网络连接,并且所述切换控制单元将进行通信的空间从所述真实空间切换至所述虚拟空间。
(4)根据(1)至(3)中任一项所述的信息处理装置,还包括:
动作信息获取单元,其获取与所述用户的动作有关的动作信息,其中,
所述切换控制单元根据由所述动作信息获取单元获取的所述动作信息来从多个用户中选择至少一个其他用户,并且所述切换控制单元从在所述真实空间中进行的通信切换至在所述虚拟空间中进行的通信。
(5)根据(1)至(4)中任一项所述的信息处理装置,其中,所述通信控制单元还包括输出控制单元,所述输出控制单元根据所述位置信息和所述属性信息中的至少任一个来控制要输出至所述虚拟空间的内容。
(6)根据(1)至(5)中任一项所述的信息处理装置,其中,
所述输出控制单元以预定显示方法输出所述用户交互式地连接至的所述其他用户的所述虚拟图像。
(7)根据(1)至(6)中任一项所述的信息处理装置,还包括:
识别确定单元,其识别交互式地连接的另外的用户,并且获取与用户识别有关的用户识别信息,其中,
所述输出控制单元接收从所述识别确定单元发送的所述用户识别信息,并且然后以预定表达方法输出所述其他用户的所述虚拟图像并同步所述其他用户的所述真实图像和所述其他用户的所述虚拟图像。
(8)根据(1)至(7)中任一项所述的信息处理装置,其中,
所述输出控制单元输出交互式地连接的所述其他用户的所述虚拟图像,以指示所述其他用户的真实图像方向。
(9)根据(1)至(8)中任一项所述的信息处理装置,其中,
所述输出控制单元使交互式地连接的所述其他用户的所述虚拟图像在所述真实图像的位置处消失,以及
所述切换控制单元使在所述虚拟空间中建立的所述用户之间的连接终止。
(10)根据(1)至(9)中任一项所述的信息处理装置,其中,
所述输出控制单元输出由交互式地连接的所述其他用户预先设置的虚拟图像。
(11)根据(1)至(10)中任一项所述的信息处理装置,其中,
所述输出控制单元显示作为交互式地连接的所述其他用户的所述虚拟图像的虚拟图像,并且所述虚拟图像以与所述真实空间中的外观不同的外观以叠加在所述其他用户的所述真实图像上的方式输出。
(12)根据(1)至(11)中任一项所述的信息处理装置,其中,
所述输出控制单元在所述用户正在与交互式地连接的所述其他用户在所述真实空间中进行通信期间以与所述真实空间中的外观不同的外观显示所述其他用户的所述虚拟图像。
(13)根据(1)至(12)中任一项所述的信息处理装置,还包括:
语音信息获取单元,其获取与由所述用户说出的语音有关的语音信息,其中,
所述通信控制单元还包括输出控制单元,所述输出控制单元根据所述位置信息和所述属性信息来控制要输出至所述虚拟空间的内容;以及
所述输出控制单元控制由所述语音信息获取单元获取的所述语音信息的输出位置。
(14)一种信息处理方法,包括:
控制其中创建与真实空间中存在的用户的真实图像对应的虚拟图像的虚拟空间中通过所述用户的所述虚拟图像在用户之间交互式地进行的通信;
在预定定时获取与所述用户在所述真实空间中的位置有关的位置信息和至少包括与所述用户之间的亲密度有关的信息的属性信息;以及
根据所述位置信息和所述属性信息中的至少任一个来控制在所述真实空间中进行的通信与在所述虚拟空间中进行的通信之间的切换。
(15)一种计算机程序,其使计算机执行以下功能:
信控制单元,其控制其中创建与真实空间中存在的用户的真实图像对应的虚拟图像的虚拟空间中通过所述用户的所述虚拟图像在用户之间交互式地进行的通信;
用户信息获取单元,其在预定定时获取与所述用户在所述真实空间中的位置有关的位置信息和至少包括与所述用户之间的亲密度有关的信息的属性信息;以及
切换控制单元,其根据所述位置信息和所述属性信息中的至少任一个来控制在所述真实空间中进行的通信与在所述虚拟空间中进行的通信之间的切换。
附图标记列表
5 信息处理***
10 信息处理装置
20 网络
110 信息获取单元
112 用户信息获取单元
114 行动信息获取单元
116 语音信息获取单元
120 切换控制单元
130 通信控制单元
140 识别确定单元
150 通信控制单元
160 存储单元
550 显示控制装置
Claims (10)
1.一种信息处理装置,包括:
通信控制单元,其控制其中创建与真实空间中存在的用户的真实图像对应的虚拟图像的虚拟空间中通过所述用户的所述虚拟图像在用户之间交互式地进行的通信;
用户信息获取单元,其在预定定时获取与所述用户在所述真实空间中的位置有关的位置信息和至少包括与所述用户之间的亲密度有关的信息的属性信息;
切换控制单元,其根据所述位置信息和所述属性信息中的至少任一个来控制在所述真实空间中进行的通信与在所述虚拟空间中进行的通信之间的切换;以及
识别确定单元,其识别交互式地连接的其他用户,并且获取与用户识别有关的用户识别信息;
其中,所述通信控制单元包括输出控制单元,所述输出控制单元根据所述位置信息和所述属性信息中的至少任一个来控制要输出至所述虚拟空间的内容;
所述输出控制单元接收从所述识别确定单元发送的所述用户识别信息,并且然后以预定表达方法输出所述其他用户的所述虚拟图像并同步所述其他用户的所述真实图像和所述其他用户的所述虚拟图像;并且
同步所述其他用户的所述真实图像和所述其他用户的所述虚拟图像包括:
输出示出所述其他用户的虚拟图像朝向所述其他用户的真实图像移动的动画;
在所述其他用户的虚拟图像已经移动至所述其他用户的真实图像的位置之后,使所述其他用户的虚拟图像消失;以及
终止在所述虚拟空间中建立的所述用户与所述其他用户之间的连接。
2.根据权利要求1所述的信息处理装置,还包括:
动作信息获取单元,其获取与所述用户的动作有关的动作信息,其中,
所述切换控制单元根据所述用户的所述动作信息以及与所述用户交互式地连接的其他用户的所述动作信息中的至少任一个来建立所述用户之间的网络连接,并且所述切换控制单元将进行通信的空间从所述真实空间切换至所述虚拟空间。
3.根据权利要求1所述的信息处理装置,还包括:
语音信息获取单元,其获取与由所述用户说出的语音有关的语音信息,其中,
所述切换控制单元根据所述用户的所述语音信息以及与所述用户交互式地连接的其他用户的所述语音信息中的至少任一个来建立所述用户之间的网络连接,并且所述切换控制单元将进行通信的空间从所述真实空间切换至所述虚拟空间。
4.根据权利要求1所述的信息处理装置,还包括:
动作信息获取单元,其获取与所述用户的动作有关的动作信息,其中,
所述切换控制单元根据由所述动作信息获取单元获取的所述动作信息来从多个所述用户中选择其他用户中的至少一个,并且所述切换控制单元从在所述真实空间中进行的通信切换至在所述虚拟空间中进行的通信。
5.根据权利要求1所述的信息处理装置,其中,
所述输出控制单元以预定显示方法输出所述用户交互式地连接至的所述其他用户的所述虚拟图像。
6.根据权利要求1所述的信息处理装置,其中,
所述输出控制单元输出由交互式地连接的其他用户预先设置的虚拟图像。
7.根据权利要求1所述的信息处理装置,其中,
所述输出控制单元在所述用户正在与交互式地连接的所述其他用户在所述真实空间中进行通信期间以与所述真实空间中的外观不同的外观显示所述其他用户的所述虚拟图像。
8.根据权利要求1所述的信息处理装置,还包括:
语音信息获取单元,其获取与由所述用户说出的语音有关的语音信息,其中,
所述通信控制单元还包括输出控制单元,所述输出控制单元根据所述位置信息和所述属性信息来控制要输出至所述虚拟空间的内容;并且
所述输出控制单元控制由所述语音信息获取单元获取的所述语音信息的输出位置。
9.一种信息处理方法,包括:
控制其中创建与真实空间中存在的用户的真实图像对应的虚拟图像的虚拟空间中通过所述用户的所述虚拟图像在用户之间交互式地进行的通信;
在预定定时获取与所述用户在所述真实空间中的位置有关的位置信息和至少包括与所述用户之间的亲密度有关的信息的属性信息;
根据所述位置信息和所述属性信息中的至少任一个来控制在所述真实空间中进行的通信与在所述虚拟空间中进行的通信之间的切换;
识别交互式地连接的其他用户;
获取与所述其他用户有关的用户识别信息;以及
以预定表达方法输出所述其他用户的所述虚拟图像并同步所述其他用户的所述真实图像和所述其他用户的所述虚拟图像;
其中,同步所述其他用户的所述真实图像和所述其他用户的所述虚拟图像包括:
输出示出所述其他用户的虚拟图像朝向所述其他用户的真实图像移动的动画;
在所述其他用户的虚拟图像已经移动至所述其他用户的真实图像的位置之后,使所述其他用户的虚拟图像消失;以及
终止在所述虚拟空间中建立的所述用户与所述其他用户之间的连接。
10.一种存储介质,其上记录有计算机程序,所述计算机程序使计算机执行以下功能:
通信控制单元,其控制其中创建与真实空间中存在的用户的真实图像对应的虚拟图像的虚拟空间中通过所述用户的虚拟图像在用户之间交互式地进行的通信;
用户信息获取单元,其在预定定时获取与所述用户在所述真实空间中的位置有关的位置信息和至少包括与所述用户之间的亲密度有关的信息的属性信息;
切换控制单元,其根据所述位置信息和所述属性信息中的至少任一个来控制在所述真实空间中进行的通信与在所述虚拟空间中进行的通信之间的切换;以及
识别确定单元,其识别交互式地连接的其他用户,并且获取与用户识别有关的用户识别信息;
其中,所述通信控制单元还包括输出控制单元,所述输出控制单元根据所述位置信息和所述属性信息中的至少任一个来控制要输出至所述虚拟空间的内容;
所述输出控制单元接收从所述识别确定单元发送的所述用户识别信息,并且然后以预定表达方法输出所述其他用户的所述虚拟图像并同步所述其他用户的所述真实图像和所述其他用户的所述虚拟图像;并且
同步所述其他用户的所述真实图像和所述其他用户的所述虚拟图像包括:
输出示出所述其他用户的虚拟图像朝向所述其他用户的真实图像移动的动画;
在所述其他用户的虚拟图像已经移动至所述其他用户的真实图像的位置之后,使所述其他用户的虚拟图像消失;以及
终止在所述虚拟空间中建立的所述用户与所述其他用户之间的连接。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-020439 | 2018-02-07 | ||
JP2018020439 | 2018-02-07 | ||
PCT/JP2018/043825 WO2019155735A1 (ja) | 2018-02-07 | 2018-11-28 | 情報処理装置、情報処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111670431A CN111670431A (zh) | 2020-09-15 |
CN111670431B true CN111670431B (zh) | 2024-04-26 |
Family
ID=67548875
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880088237.6A Active CN111670431B (zh) | 2018-02-07 | 2018-11-28 | 信息处理装置、信息处理方法以及程序 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11553009B2 (zh) |
EP (1) | EP3751422A4 (zh) |
JP (1) | JP7279646B2 (zh) |
CN (1) | CN111670431B (zh) |
WO (1) | WO2019155735A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10846898B2 (en) * | 2019-03-28 | 2020-11-24 | Nanning Fugui Precision Industrial Co., Ltd. | Method and device for setting a multi-user virtual reality chat environment |
US20200410764A1 (en) * | 2019-06-28 | 2020-12-31 | Snap Inc. | Real-time augmented-reality costuming |
US11759711B2 (en) * | 2021-09-28 | 2023-09-19 | Sony Group Corporation | Method for quasi-random placement of virtual items in an extended reality (XR) space |
JP7133257B1 (ja) | 2022-01-14 | 2022-09-08 | 株式会社キッズプレート | プログラム、情報処理方法、情報処理装置、および情報処理システム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101291414A (zh) * | 2007-04-16 | 2008-10-22 | 株式会社Ntt都科摩 | 控制装置、移动通信***以及通信终端 |
JP2015080120A (ja) * | 2013-10-17 | 2015-04-23 | コニカミノルタ株式会社 | 画像処理システム、画像処理装置及び携帯端末装置 |
JP6017008B1 (ja) * | 2015-12-01 | 2016-10-26 | 株式会社コロプラ | アバター表示システム、ユーザ端末、及びプログラム |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001154966A (ja) | 1999-11-29 | 2001-06-08 | Sony Corp | コンピュータ・ネットワーク上で構築・提供される共有仮想空間上で複数ユーザが参加可能な仮想会話を支援する会話支援システム及び会話支援方法、並びに、プログラム記憶媒体 |
JP2002259318A (ja) * | 2001-02-27 | 2002-09-13 | Victor Co Of Japan Ltd | 仮想現実空間での人物画像表示方法 |
SE519929C2 (sv) * | 2001-07-26 | 2003-04-29 | Ericsson Telefon Ab L M | Förfarande, system och terminal för att under pågående samtal ändra eller uppdatera tex. avatarer på andra användares terminaler i ett mobiltelekommunikationssystem |
US7003040B2 (en) * | 2002-09-24 | 2006-02-21 | Lg Electronics Inc. | System and method for multiplexing media information over a network using reduced communications resources and prior knowledge/experience of a called or calling party |
US20080215975A1 (en) * | 2007-03-01 | 2008-09-04 | Phil Harrison | Virtual world user opinion & response monitoring |
JP4990234B2 (ja) | 2008-07-07 | 2012-08-01 | オリンパス株式会社 | 測距装置、測距方法、測距プログラム又は撮像装置 |
US9480919B2 (en) * | 2008-10-24 | 2016-11-01 | Excalibur Ip, Llc | Reconfiguring reality using a reality overlay device |
JP5235162B2 (ja) * | 2009-05-15 | 2013-07-10 | 日本電信電話株式会社 | ビデオメール通信方法、装置およびプログラム |
JP5423379B2 (ja) * | 2009-08-31 | 2014-02-19 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
US8773570B2 (en) | 2010-06-17 | 2014-07-08 | Panasonic Corporation | Image processing apparatus and image processing method |
JP5765019B2 (ja) * | 2011-03-31 | 2015-08-19 | ソニー株式会社 | 表示制御装置、表示制御方法、およびプログラム |
US20150312561A1 (en) * | 2011-12-06 | 2015-10-29 | Microsoft Technology Licensing, Llc | Virtual 3d monitor |
JP2013205983A (ja) | 2012-03-27 | 2013-10-07 | Sony Corp | 情報入力装置及び情報入力方法、並びにコンピューター・プログラム |
JP2014071499A (ja) * | 2012-09-27 | 2014-04-21 | Kyocera Corp | 表示装置および制御方法 |
US9448404B2 (en) * | 2012-11-13 | 2016-09-20 | Qualcomm Incorporated | Modifying virtual object display properties to increase power performance of augmented reality devices |
US9256072B2 (en) * | 2013-10-02 | 2016-02-09 | Philip Scott Lyren | Wearable electronic glasses that detect movement of a real object copies movement of a virtual object |
US9898844B2 (en) * | 2013-12-31 | 2018-02-20 | Daqri, Llc | Augmented reality content adapted to changes in real world space geometry |
US9990774B2 (en) * | 2014-08-08 | 2018-06-05 | Sony Interactive Entertainment Inc. | Sensory stimulus management in head mounted display |
US20170061700A1 (en) * | 2015-02-13 | 2017-03-02 | Julian Michael Urbach | Intercommunication between a head mounted display and a real world object |
JP6596883B2 (ja) * | 2015-03-31 | 2019-10-30 | ソニー株式会社 | ヘッドマウントディスプレイ及びヘッドマウントディスプレイの制御方法、並びにコンピューター・プログラム |
US10775878B2 (en) | 2015-04-10 | 2020-09-15 | Sony Interactive Entertainment Inc. | Control of personal space content presented via head mounted display |
KR101830657B1 (ko) * | 2015-04-27 | 2018-02-21 | 엘지전자 주식회사 | 이동 단말기 및 그것의 제어방법 |
WO2016203792A1 (ja) * | 2015-06-15 | 2016-12-22 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
EP3352050A4 (en) * | 2015-09-16 | 2019-05-22 | Sony Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM |
JP6569452B2 (ja) * | 2015-10-08 | 2019-09-04 | 富士通株式会社 | 画像生成システム、画像生成プログラム及び画像生成方法 |
US10176636B1 (en) * | 2015-12-11 | 2019-01-08 | A9.Com, Inc. | Augmented reality fashion |
JP2017182739A (ja) | 2016-03-31 | 2017-10-05 | 富士通株式会社 | 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム |
US9883144B2 (en) | 2016-05-12 | 2018-01-30 | Fuji Xerox Co., Ltd. | System and method for replacing user media streams with animated avatars in live videoconferences |
JP6707429B2 (ja) * | 2016-09-20 | 2020-06-10 | 株式会社コロプラ | アバター表示システム、ユーザ端末、及びプログラム |
US10521947B2 (en) * | 2017-09-29 | 2019-12-31 | Sony Interactive Entertainment Inc. | Rendering of virtual hand pose based on detected hand input |
US10500496B2 (en) * | 2018-01-12 | 2019-12-10 | International Business Machines Corporation | Physical obstacle avoidance in a virtual reality environment |
-
2018
- 2018-11-28 EP EP18905387.9A patent/EP3751422A4/en active Pending
- 2018-11-28 WO PCT/JP2018/043825 patent/WO2019155735A1/ja unknown
- 2018-11-28 JP JP2019570313A patent/JP7279646B2/ja active Active
- 2018-11-28 CN CN201880088237.6A patent/CN111670431B/zh active Active
- 2018-11-28 US US16/966,701 patent/US11553009B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101291414A (zh) * | 2007-04-16 | 2008-10-22 | 株式会社Ntt都科摩 | 控制装置、移动通信***以及通信终端 |
JP2015080120A (ja) * | 2013-10-17 | 2015-04-23 | コニカミノルタ株式会社 | 画像処理システム、画像処理装置及び携帯端末装置 |
JP6017008B1 (ja) * | 2015-12-01 | 2016-10-26 | 株式会社コロプラ | アバター表示システム、ユーザ端末、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN111670431A (zh) | 2020-09-15 |
JPWO2019155735A1 (ja) | 2021-02-18 |
US20210037063A1 (en) | 2021-02-04 |
EP3751422A4 (en) | 2021-04-21 |
US11553009B2 (en) | 2023-01-10 |
EP3751422A1 (en) | 2020-12-16 |
WO2019155735A1 (ja) | 2019-08-15 |
JP7279646B2 (ja) | 2023-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111670431B (zh) | 信息处理装置、信息处理方法以及程序 | |
US11398067B2 (en) | Virtual reality presentation of body postures of avatars | |
CN112911182B (zh) | 游戏互动方法、装置、终端及存储介质 | |
WO2020203999A1 (ja) | コミュニケーション支援システム、コミュニケーション支援方法、および画像制御プログラム | |
US20210132686A1 (en) | Storage medium, augmented reality presentation apparatus, and augmented reality presentation method | |
US20170236330A1 (en) | Novel dual hmd and vr device with novel control methods and software | |
CN111445583B (zh) | 增强现实处理方法及装置、存储介质和电子设备 | |
CN111158469A (zh) | 视角切换方法、装置、终端设备及存储介质 | |
CN111045511B (zh) | 基于手势的操控方法及终端设备 | |
CN113262465A (zh) | 一种虚拟现实交互方法、设备及*** | |
CN111583355B (zh) | 面部形象生成方法、装置、电子设备及可读存储介质 | |
WO2018139203A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2023017832A (ja) | 映像表示装置及び映像表示方法 | |
CN114648624A (zh) | 显示***、显示装置及程序 | |
CN111796740A (zh) | 基于可穿戴智能设备的无人车控制方法、装置及*** | |
US20230360264A1 (en) | Identifying a position of a controllable device using a wearable device | |
CN112927293A (zh) | Ar场景展示方法及装置、电子设备和存储介质 | |
JP7090116B2 (ja) | プログラム、記録媒体、拡張現実感提示装置及び拡張現実感提示方法 | |
WO2023090163A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US20240073402A1 (en) | Multi-perspective augmented reality experience | |
WO2023079847A1 (ja) | 情報処理装置、情報処理方法および記憶媒体 | |
US20240079031A1 (en) | Authoring tools for creating interactive ar experiences | |
CN113270101A (zh) | 一种虚拟人物自动讲解的方法、***、装置和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |