CN110637274A - 信息处理设备、信息处理方法以及程序 - Google Patents

信息处理设备、信息处理方法以及程序 Download PDF

Info

Publication number
CN110637274A
CN110637274A CN201880032589.XA CN201880032589A CN110637274A CN 110637274 A CN110637274 A CN 110637274A CN 201880032589 A CN201880032589 A CN 201880032589A CN 110637274 A CN110637274 A CN 110637274A
Authority
CN
China
Prior art keywords
user
information processing
processing apparatus
information
virtual space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880032589.XA
Other languages
English (en)
Other versions
CN110637274B (zh
Inventor
石川毅
高桥慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110637274A publication Critical patent/CN110637274A/zh
Application granted granted Critical
Publication of CN110637274B publication Critical patent/CN110637274B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

[问题]提供一种信息处理设备、信息处理方法以及程序。[解决方案]该信息处理设备设置有显示控制单元，该显示控制单元基于以下来控制第一用户显示：以第一用户在虚拟空间中的位置为基准布置在虚拟空间中的背景图像；以及为了维持虚拟空间中的第一用户与第二用户之间的相对位置关系而布置在虚拟空间中的与第二用户有关的对象。

Description

信息处理设备、信息处理方法以及程序
技术领域
本公开涉及信息处理设备、信息处理方法以及程序。
背景技术
近年来，已经显示了通过用于在上、下、右和左的全部方向上捕获图像的全向摄像装置等获取的所谓的全向图像(360度图像)(例如，下面的专利文献1)。例如，通过观看这样的图像，用户可以感觉好像他/她存在于图像内的空间中。
引用列表
专利文献
专利文献1：日本专利申请公开第2016-105593号
发明内容
本发明要解决的问题
已经存在对用于虚拟地与其他用户共享如上所述的图像的同时观看该图像的技术。
问题的解决方案
根据本公开，提供了一种信息处理设备，包括显示控制器，其基于以第一用户在虚拟空间中的位置为基准布置在虚拟空间中的背景图像以及与布置在虚拟空间中的第二用户有关的对象来控制用于第一用户的显示，以便维持虚拟空间中的在第一用户与第二用户之间的相对位置关系。
此外，根据本公开，提供了一种信息处理方法，包括：基于参考第一用户在虚拟空间中的位置布置在虚拟空间中的背景图像以及与布置在虚拟空间中的第二用户有关的对象来控制用于第一用户的显示，以便维持虚拟空间中的在第一用户与第二用户之间的相对位置关系。
此外，根据本公开，提供了一种用于使计算机实现以下功能的程序，所述功能是基于参考第一用户在虚拟空间中的位置布置在虚拟空间中的背景图像以及与布置在虚拟空间中的第二用户有关的对象来控制用于第一用户的显示，以便维持虚拟空间中的在第一用户与第二用户之间的相对位置关系。
本发明的有益效果
如上所述，根据本公开，可以在与其他用户虚拟地共享图像的同时观看该图像。
注意，上述效果不必然是限制性的，并且除了上述效果之外或替代上述效果，可以发挥本说明书中所示的任何效果或者可以从本说明书中理解的其他效果。
附图说明
图1是用于描述在HMD上显示全向图像时视场区域的识别的说明图。
图2是用于描述在多个用户之间虚拟地共享全向图像的同时进行观看的体验的示例的说明图。
图3是用于描述其中所有化身(avatar)和所有虚拟摄像装置被布置在优选观看位置的示例的说明图。
图4是示出本公开的实施方式的信息处理***的配置示例的框图。
图5是示出相对位置管理坐标系的具体示例的说明图。
图6是示出实施方式的HMD1的配置示例的框图。
图7是示出实施方式的虚拟空间中的化身和虚拟圆顶状屏幕的布置的示例的说明图。
图8是示出实施方式的虚拟空间中的化身和虚拟圆顶状屏幕的配置的示例的说明图。
图9是示出根据图7所示的虚拟摄像装置VC1的视点生成的视场图像V1的示例的说明图。
图10是示出实施方式的HMD1的操作示例的流程图。
图11是用于描述修改例1的说明图。
图12是用于描述修改例1的说明图。
图13是用于描述修改例1的说明图。
图14是用于描述修改例1的说明图。
图15是用于描述修改例1的说明图。
图16是示出修改例2中设置的虚拟空间的说明图。
图17是示出在修改例3中的显示单元17上显示的俯视图像V2的示例的说明图。
图18是示出硬件配置示例的说明图。
具体实施方式
在下文中，将参照附图详细描述本公开的优选实施方式。注意，在本说明书和附图中，为具有基本相同的功能配置的部件分配相同的附图标记并且将省略冗余的描述。
此外，在本说明书和附图中，有时通过在相同的附图标记之后分配不同的字母来区分具有基本上相同的功能配置的多个部件。然而，注意，在不需要区分具有基本上相同的功能配置的多个部件中的每个部件的情况下，仅分配相同的附图标记。
注意，将按如下顺序给出描述。
<<1.背景>>
<<2.配置>>
<2-1.整体配置>
<2-2.HMD的配置>
<<3.操作>>
<<4.修改例>>
<4-1.修改例1>
<4-2.修改例2>
<4-3.修改例3>
<<5.硬件配置示例>>
<<6.结论>>
<<1.背景>>
在描述本公开的实施方式的信息处理***之前，首先，将描述创建实施方式的信息处理***的背景。
近年来，已经显示了通过用于在上、下、右和左的全部方向上捕获图像的全向摄像装置等获取的全向图像。注意，在本说明书中，图像不限于静止图像，并且图像用作包括动态图像的表达。此外，全向图像不限于通过图像捕获所获得的图像，并且可以是计算机生成的图像(计算机图形)。
例如，通过投影仪将全向图像投影并且显示在圆顶状(球形或半球形)的屏幕(圆顶状屏幕)上。在这样的情况下，中心位置(球体或半球体的中心位置)对应于捕获全向图像时的摄像装置位置，并且因此中心位置是优选的观看位置。
此外，还可以在例如头戴式显示器(HMD)的由用户安装的显示设备上显示全向图像。例如，通过从全向图像中剪切出与根据用户的移动信息等识别的用户的视场对应的图像(下文中称为视场图像)，并且在HMD上显示视场图像，用户可以在改变视点的情况下观看全向图像。在这样的情况下，为了从全向图像中剪切出视场图像，可以在虚拟空间中布置虚拟的圆顶状屏幕(虚拟圆顶状屏幕)和虚拟摄像装置，并且例如可以剪切出由虚拟摄像装置捕获的图像作为视场图像。
注意，在本说明书中，由虚拟摄像装置捕获的图像有时表达为根据虚拟摄像装置的视点生成(呈现)的图像。此外，在本说明书中，虚拟摄像装置VC10的位置和取向有时分别被称为视点的位置和方向。
图1是用于描述在HMD上显示全向图像时视场区域的识别的说明图。在图1所示的示例中，虚拟圆顶状屏幕VD10被布置在虚拟空间中，并且虚拟摄像装置VC10被布置在虚拟圆顶状屏幕VD10的中心位置。全向图像被虚拟地投影在虚拟圆顶状屏幕VD10上。注意，在以下描述中，将全向图像虚拟地投影在虚拟空间中的虚拟圆顶状屏幕VD10上有时表达为将全向图像布置在虚拟空间中。此外，虽然为了简单起见在平面图中示出图1，但是虚拟圆顶状屏幕VD10可以是球形或半球形。
在图1所示的布置中，在虚拟圆顶状屏幕VD10上虚拟地投影的全向图像中的根据虚拟摄像装置VC10的视点生成的图像被识别为视场图像，并且视场图像被显示在HMD上。此外，虚拟摄像装置VC10的取向(视点方向)可以根据佩戴HMD的用户的移动信息而改变，并且可以根据例如用户的取向(例如，用户的面部的取向)而改变。因此，由虚拟摄像装置VC10成像的与用户的视场对应的区域(下文中称为视场区域)根据佩戴HMD的用户的取向而改变。
此外，即使在使用HMD观看全向图像的情况下，由于如图1所示的那样虚拟圆顶状屏幕VD10的中心位置对应于在捕获全向图像时的摄像装置位置，因此利用如图1所示的虚拟摄像装置VC10的布置，用户可以很好地观看全向图像。在下文中，这样的虚拟圆顶状屏幕的中心位置有时被称为优选观看位置。
根据这样的配置，即使在观看在HMD上显示的全向图像的情况下，也可以获得与在上述实际圆顶状屏幕的中心位置处观看的情况下的效果类似的效果。此外，允许用户感觉好像他/她移动到被全向图像包围的空间。
此处，假设期望更真实的体验，例如其中多个用户虚拟地共享并且观看全向图像的体验，或者例如其中多个用户移动到由全向图像包围的空间并且进行对话。
为了实现这样的体验，例如，指示每个用户的对象(下文中称为化身)可以与全向图像一起显示在每个用户佩戴的HMD上，例如使得可以识别其他用户的存在。此外，还可以通过响应于用户的操作或实际生成而执行显示和声音输出以使得对应于用户的化身发出消息，来实现用户之间的对话。
图2是用于描述在多个用户之间虚拟地共享全向图像的同时进行观看的体验的示例的说明图。在图2所示的示例中，类似于图1所示的示例，虚拟圆顶状屏幕VD20被布置在虚拟空间中，并且虚拟地投影全向图像。此外，在图2所示的示例中，各自表示用户的多个化身A21至A23被布置在虚拟圆顶状屏幕VD20内，并且虚拟摄像装置VC21至VC23被布置在与相应化身对应的位置(例如，相应化身的头部位置)。化身A21至A23和虚拟摄像装置VC21至VC23的取向可以根据用户的取向而改变。根据这样的配置，例如，用户可以通过看向旁边而看到其他用户的化身。也就是说，全向图像可以用作背景图像，并且可以生成包括全向图像的部分区域和其他用户的化身的视场图像。注意，虽然虚拟摄像装置VC21至VC23在图2中示出，但是虚拟摄像装置VC21至VC23是不可见的，并且虚拟摄像装置VC21至VC23不包括在呈现给每个用户的视场图像中。
然而，在图2所示的示例中，仅虚拟摄像装置VC22被布置在虚拟圆顶状屏幕VD20的中心位置(优选观看位置)处，并且虚拟摄像装置VC21和虚拟摄像装置VC23被布置在其他位置。因此，根据虚拟摄像装置VC21和虚拟摄像装置VC23的视点生成的视场图像可能发生失真等。这可能使被呈现有这样的视场图像的用户的观看质量劣化。
因此，可以考虑将所有化身和所有虚拟摄像装置布置在优选观看位置。图3是用于描述其中所有化身和所有虚拟摄像装置被布置在优选观看位置的示例的说明图。
如图3所示，在所有化身A31至A33和所有虚拟摄像装置被布置在虚拟圆顶状屏幕VD30的中心位置的情况下，所有用户可以观看根据布置在优选观看位置的视点生成的视场图像。然而，由于所有用户的化身被布置在同一位置，因此例如用户不能通过看向旁边而看到其他用户的化身，并且不能充分感受到与其他用户共享全向图像的感觉。
因此，已经鉴于上述情况做出了本公开的实施方式。根据本实施方式，在维持用户之间的相对位置关系的情况下布置化身，并且向每个用户呈现根据布置在优选观看位置的视点生成的视场图像。利用该配置，用户可以在充分感受到与其他用户共享全向图像的感觉的同时观看到高质量的图像。在下文中，将依次描述具有这样的效果的本公开的实施方式的信息处理***的配置和操作。
<<2.配置>>
<2-1.整体配置>
首先，将参照图4描述本公开的实施方式的信息处理***的整体配置。图4是示出本公开的实施方式的信息处理***的配置示例的框图。
如图4所示，本实施方式的信息处理***9包括HMD1、分发服务器2、化身管理服务器3、分发器终端4和通信网络5。
HMD1是用户佩戴的信息处理设备。在下文中，佩戴HMD1的用户有时被称为HMD1的佩戴用户。在图1所示的示例中，由于用户UA佩戴HMD1A并且用户UB佩戴HMD1B，因此HMD1A的佩戴用户是用户UA并且HMD1B的佩戴用户是用户UB。
HMD1连接至通信网络5，从分发服务器2接收全向图像(背景图像的示例)，并且从化身管理服务器3接收关于包括其他用户的用户的信息(用户信息)。此外，HMD1向化身管理服务器3传送关于佩戴HMD1的用户的信息。
此外，HMD1基于布置在虚拟空间中的全向图像(背景图像的示例)和基于用户信息布置在虚拟空间中的化身，显示根据优选观看位置的视点生成的视场图像。稍后将参照图6描述HMD1的更详细配置。
如图4所示，分发服务器2是具有图像存储单元22的信息处理设备。分发服务器2通过通信网络5将全向图像分发(发送)到HMD1A和HMD1B。例如，分发服务器2可以将通过通信网络5从分发器终端4接收到的全向图像分发至HMD1，或者可以将在图像存储单元22中存储的全向图像分发至HMD1。
注意，图像存储单元22可以存储(累积)通过通信网络5从分发器终端4接收的全向图像，或者可以存储预先准备的全向图像。此外，虽然图4示出分发服务器2具有图像存储单元22的示例，但是实施方式不限于这样的示例，并且图像存储单元22可以被包括在例如连接至通信网络5的另外的设备中。
如图4所示，化身管理服务器3具有用户信息存储单元32。化身管理服务器3基于由HMD1获取的并且通过通信网络5从HMD1接收的信息来管理用户信息，并且将用户信息存储在例如用户信息存储单元32中。注意，虽然图4示出化身管理服务器3具有用户信息存储单元32的示例，但是实施方式不限于这样的示例，并且用户信息存储单元32可以被包括在例如连接至通信网络5的另外的设备中。
此外，化身管理服务器3通过通信网络5向HMD1传送关于包括除了HMD1的佩戴用户之外的用户的用户的用户信息。化身管理服务器3可以将实时用户信息传送到HMD1，或者可以将过去用户信息(用户信息的历史)传送到HMD1。注意，本文中使用的实时用户信息是指关于当前正在进行观看的用户的信息，并且不严格限于关于当前时间处的用户的信息。因此，实时用户信息可以包括例如在通过通信的延迟或者由化身管理服务器3的处理引起的延迟之后获取的用户信息。
用户信息可以包括由HMD 1获取的、关于HMD1的佩戴用户的行为的行为信息、指示用户之间的相对的位置关系(相对位置关系)的相对位置管理坐标系以及由用户传送的消息。用户信息可以按时间顺序存储在用户信息存储单元32中，并且这样的配置允许化身管理服务器3将过去用户信息传送到HMD1。
行为信息可以包括关于HMD1的佩戴用户的姿势的姿势信息。例如，姿势信息包括关于佩戴用户的头部、手臂、手部和足部的姿势以及佩戴用户的面部表情的信息。
此外，行为信息可以包括关于HMD1的佩戴用户的位置移动的信息。例如，化身管理服务器3基于关于用户的位置移动的信息来管理相对位置管理坐标系。
相对位置管理坐标系是用于独立于由每个HMD1管理的虚拟空间来管理用户之间的相对位置关系的坐标系。注意，相对位置管理坐标系不仅包括用户之间的相对位置，还包括关于用户之间的相对取向的信息。此外，如稍后将描述的，HMD1基于相对位置管理坐标系来布置用户的化身。
图5是示出相对位置管理坐标系的具体示例的说明图。如图5所示，由化身管理服务器3在相对位置管理坐标系中管理用户UA的位置和取向以及用户UB的位置和取向。
例如，化身管理服务器3可以根据例如从HMD1接收的关于佩戴用户的位置移动的信息来更新相对位置管理坐标系。因此，用户UA(第一用户)与用户UB(第二用户)之间的相对位置关系可以例如根据用户UA或用户UB的位置移动而改变。
此外，化身管理服务器3可以例如基于存储在用户信息存储单元32中的用户信息，即过去用户信息，来确定每个用户在相对位置管理坐标系中的初始位置和初始取向。因此，例如，可以基于过去用户信息来识别用户UA(第一用户)与用户UB(第二用户)之间的相对位置关系。
例如，化身管理服务器3可以基于过去用户信息将用户在上一次观看时他/她在相对位置管理坐标系中的位置和取位设置为用户在相对位置管理坐标系中的初始位置和初始取向。此外，化身管理服务器3可以基于过去用户信息将所有过去用户的平均位置和平均取向设置为用户的初始位置和初始取向。根据这样的配置，可以将过去许多用户一直活跃的位置和取向设置为初始位置和初始取向。
注意，实施方式不限于这样的示例，并且化身管理服务器3可以随机设置每个用户在相对位置管理坐标系中的初始位置和初始取向，或者可以通过使用预定的位置和取向来设置初始位置和初始取向。
例如，用户发送的消息可以是文本数据或语音数据。注意，可以通过语音合成技术将文本数据转换为语音数据，或者可以通过语音识别技术将语音数据转换为文本数据。
用户发送的消息从HMD1传送到化身管理服务器3，并且然后从化身管理服务器3传送到作为传送目标的用户所拥有的HMD1。注意，还可以向所有用户发送消息，并且还可以向特定用户发送消息。注意，可以在不经过化身管理服务器3的情况下将消息直接从HMD1传送到另外的HMD1。
分发器终端4获取全向图像，并且通过通信网络5将全向图像传送到分发服务器2。例如，分发器终端4可以具有成像单元并且基于成像单元的成像来获取全向图像，或者可以基于连接至分发器终端4的未示出的成像设备的成像来获取全向图像。此外，分发器终端4可以通过对通过成像获得的图像执行诸如缝合的图像处理来获取全向图像。
通信网络5是从连接至通信网络5的设备或***传送的信息的有线或无线传输路径。例如，通信网络5可以包括因特网、诸如电话网络和卫星通信网络的公共网络、包括以太网(注册商标)的各种LAN(局域网)、WAN(广域网)等。此外，通信网络5还可以包括租用线路网络，例如IP-VPN(因特网协议-虚拟专用网络)。
<2-2.HMD的配置>
在上文中，已经描述了实施方式的信息处理***9的总体配置。随后，将参照图6描述在信息处理***9中包括的HMD1的配置。图6是示出实施方式的HMD1的配置示例的框图。
如图6所示，HMD1是包括传感器单元11、通信单元13、控制器15、显示单元17和声音输出单元19的信息处理设备。
传感器单元11通过感测获取关于HMD1的佩戴用户的行为的行为信息。传感器单元11可以包括例如，加速度传感器、陀螺仪传感器、摄像装置、麦克风、地磁传感器、距离测量传感器、力传感器等。
例如，传感器单元11可以获取关于佩戴用户的头部姿势(面部取向、头部角度等)、手臂、手部、足部姿势和面部表情的姿势信息作为行为信息。注意，佩戴用户的面部表情可以由布置在HMD1内部的摄像装置(传感器单元11的示例)获取。此外，传感器单元11可以获取用户的语音作为行为信息。传感器单元11可以获取关于用户的位置移动的信息作为行为信息。
注意，行为信息不限于由HMD1的传感器单元11获取的示例，并且可以由连接至HMD1的外部传感器或输入设备(例如控制器)获取。例如，关于用户的位置移动的信息可以通过布置在HMD1外部的由佩戴用户操作的输入设备或摄像装置获取。此外，可以通过布置在HMD1外部的摄像装置或距离测量传感器获取关于用户的手臂、手部和足部的姿势的姿势信息。
通信单元13是协调HMD1与其他设备之间的通信的通信接口。通信单元13支持任何无线通信协议或有线通信协议，并且例如直接或通过参照图4描述的通信网络5与其他设备建立通信连接。例如，通信单元13将由传感器单元11或者连接至HMD1的其他传感器或输入设备获取的用户信息传送到化身管理服务器3。此外，通信单元13从分发服务器2接收全向图像。此外，通信单元13从化身管理服务器3接收还包括关于其他用户(除了HMD1的佩戴用户之外的用户)的信息的用户。注意，通信单元13从化身管理服务器3接收的用户信息可以包括关于其他用户的行为信息、相对位置管理坐标系和由其他用户发送的消息。
此外，通信单元13可以从HMD1外部的传感器或输入设备接收信息并且将接收的信息传送到化身管理服务器3。例如，通信单元13可以从外部传感器或输入设备接收关于用户的位置移动的信息，并且将该信息传送到化身管理服务器3。此外，通信单元13可以接收HMD1的用户期望从外部输入设备发送的消息，并且将该消息传送到化身管理服务器3或其他HMD1。
控制器15控制HMD1的每个配置的操作。此外，如图6所示，控制器15还用作显示控制器151和声音输出控制器153。
显示控制器151基于由通信单元13接收到的全向图像(背景图像)和用户信息控制用于HMD1的佩戴用户(第一用户)的显示，即显示单元17的显示。
例如，显示控制器151将全向图像和每个用户的化身(表示每个用户的对象)布置在虚拟空间中，并且根据布置在与佩戴用户(第一用户)在虚拟空间中的位置对应的位置(例如头部位置)的视点生成视场图像。然后，显示控制器151使显示单元17显示视场图像。
显示控制器151基于由通信单元13从化身管理服务器3接收的相对位置管理坐标系将每个用户的化身布置在虚拟空间中，以便维持虚拟空间中的用户之间的相对位置关系。注意，由显示控制器151布置的化身不仅可以包括其他用户的化身，还可以包括佩戴用户的化身。也就是说，显示控制器151还可以基于佩戴用户(第一用户)的化身来控制显示。根据这样的配置，佩戴用户可以观看他自己/她自己的化身，并且例如改善沉浸感。
此外，显示控制器151可以基于用户信息控制与用户信息对应的用户的化身。例如，显示控制器151可以基于每个用户的姿势信息来控制每个用户的化身的姿势。此处，每个用户的姿势信息可以包括例如上述头部姿势(面部取向、头部角度等)以及手臂、手部和足部姿势。根据这样的配置，用户可以获得与其他用户共享全向图像和虚拟空间的更强的感觉。
此外，显示控制器151以佩戴用户在虚拟空间中的位置(即，佩戴用户的化身的位置)为基准将全向图像布置在虚拟空间中。注意，例如，可以通过布置用于在虚拟空间中投影全向图像的虚拟圆顶状屏幕来执行全向图像在虚拟空间中的布置。
图7和图8是示出虚拟空间中的化身和虚拟圆顶状屏幕的布置的示例的说明图。注意，图7示出由用户UA佩戴的HMD1A的显示控制器151设置的虚拟空间，并且图8示出由用户UB佩戴的HMD1B的显示控制器151设置的虚拟空间。也就是说，图7中的佩戴用户(第一用户)是用户UA，并且图8中的佩戴用户(第一用户)是用户UB。
如图7所示，HMD1A的显示控制器151基于参照图5描述的相对位置管理坐标系布置用户UA的化身AA和用户UB的化身AB，以便维持虚拟空间中的用户之间的相对位置关系。此外，HMD1A的显示控制器151以作为佩戴用户(第一用户)的用户UA的位置(化身AA的位置)为基准来布置全向图像(即，布置虚拟圆顶状屏幕VD1)。
更具体地，HMD1A的显示控制器151布置全向图像，使得作为视点的虚拟摄像装置VC1的位置是预定的优选观看位置。在实施方式中，由于优选观看位置是虚拟圆顶状屏幕VD1的中心位置，因此虚拟圆顶状屏幕VD1被布置成使得根据用户UA在虚拟空间中的位置指定的虚拟摄像装置VC1的位置(例如，化身AA的头部位置)位于中心。注意，优选观看位置不限于虚拟圆顶状屏幕VD1的中心位置，并且可以适当地设置优选观看位置。
此外，如图8所示，HMD1B的显示控制器151类似地基于参照图5描述的相对位置管理坐标系将用户UA的化身AA和用户UB的化身AB布置在虚拟空间中，以便维持虚拟空间中的用户之间的相对位置关系。此外，HMD1B的显示控制器151以作为佩戴用户(第一用户)的用户UB的位置(化身AB的位置)为基准来在虚拟空间中布置全向图像(即，布置虚拟圆顶状屏幕VD2)。
此外，类似于HMD1A的显示控制器151，HMD1B的显示控制器151将全向图像布置在虚拟空间中，使得作为视点的虚拟摄像装置VC2的位置是预定的优选观看位置。例如，虚拟圆顶状屏幕VD2被布置成使得根据用户UB在虚拟空间中的位置指定的虚拟摄像装置VC2的位置(例如，化身AB的头部位置)位于中心。
根据这样的配置，每个用户可以观看根据优选观看位置的视点生成的视场图像，并且还可以观看其他用户的化身。
另外，显示控制器151可以根据佩戴用户(第一用户)的取向来控制视点的方向(虚拟摄像装置VC1的取向)。注意，可以从传感器单元11提供关于佩戴用户的取向的信息，或者可以从化身管理服务器3提供关于佩戴用户的取向的信息。
图9是示出根据图7所示的虚拟摄像装置VC1的视点生成的视场图像V1的示例的说明图。也就是说，图9的视场图像V1被显示在用户UA佩戴的HMD1A上。
如图9所示，视场图像V1包括用户UB的化身AB和全向图像E10的一部分。此外，如图9所示，视场图像V1可以包括作为佩戴用户的用户UA的化身AA的一部分(手部)。
注意，虽然在图7至图9中已经描述了除了佩戴用户之外仅存在一个用户的示例，但是类似地处理存在其他多个用户的情况。也就是说，其他多个用户的化身可以被布置在虚拟空间中，并且视场图像可以包括其他多个用户的化身。
此外，显示控制器151可以基于从化身管理服务器3接收的过去用户信息将化身布置和显示在虚拟空间中。例如，在全向图像是动态图像的情况下，可以基于未同时观看但是运动图像的再现时间是相同的过去用户信息将化身布置和显示在虚拟空间中。根据这样的配置，由于还可以显示未同时在观看的用户的化身，因此即使在同时观看的用户很少的情况下也可以获得与其他用户的统一感。
注意，显示控制器151可以控制显示使得基于实时用户信息的化身(同时在观看的用户的化身)与基于过去用户信息的化身区分开。例如，显示控制器151可以控制显示使得强调基于实时用户信息的化身。例如，显示控制器151可以通过增强基于过去用户信息的化身的透明度来强调基于实时用户信息的化身，或者可以通过在基于实时用户信息的化身周围显示效果来强调基于实时用户信息的化身。此外，显示控制器151可以控制显示使得强调基于实时用户信息的化身。此外，显示控制器151可以在基于实时用户信息的化身和基于过去用户信息的化身中的一者或两者附近显示可区分信息(例如，图标)。
根据这样的配置，可以容易地区分同时在观看的用户的化身。如稍后将描述的，由于可以与同时在观看的用户进行通信，因此强调的显示使得可以确定是否可以与对应于化身的用户进行通信。
此外，显示控制器151可以执行关于用户之间的通信的显示控制。例如，显示控制器151可以显示由其他用户(第二用户)发送的消息。例如，显示控制器151可以在与发送消息的用户的位置对应的位置处(例如，用户的化身的面部附近)显示消息。
另外，显示控制器151可以控制显示使得当其他用户(第二用户)向佩戴用户(第一用户)发送消息时，强调发送消息的其他用户(第二用户)的化身(下文中称为消息发送化身)。例如，显示控制器151可以通过增强除消息发送化身之外的化身的透明度或者在消息发送化身周围显示效果来强调消息发送化身。根据这样的配置，例如，即使在显示许多化身的情况下，也可以容易地识别发送消息的化身。特别地，在如上所述的那样基于过去用户信息显示化身的情况下，容易显示许多化身，并且因此，这样的强调的显示变得更有效。
声音输出控制器153控制声音输出单元19输出的声音。例如，声音输出控制器153可以控制声音输出单元19以按声学方式输出由其他用户(第二用户)发送的消息。此外，声音输出控制器153可以控制声音输出单元19输出的声音使得可以从发送消息的其他用户(第二用户)的化身的位置听到消息。根据这样的配置，佩戴用户可以更强烈地感觉到附近好像存在其他用户。
显示单元17由显示控制器151控制以执行用于HMD1的佩戴用户的显示。例如，显示单元17可能能够向佩戴用户的每只眼睛呈现不同的图像，并且可能能够呈现上述虚拟空间的三维视图。
声音输出单元19由声音输出控制器153控制以执行声音输出。声音输出单元19可以包括例如多个扬声器，并且声音输出单元19可能能够以三维方式输出声音(三维声音)。
<<3.操作>>
在上文中，已经描述了实施方式的信息处理***9和HMD1的配置示例。接下来，将参照图10描述实施方式的HMD1的操作。图10是示出实施方式的HMD1的操作示例的流程图。
如图10所示，首先，传感器单元11或连接至HMD1的传感器通过感测获取关于佩戴用户的行为的行为信息(S102)。随后，通信单元13将所获取的行为信息传送到化身管理服务器3(S104)，并且从化身管理服务器3接收关于包括其他用户的用户的用户信息(S106)。此外，通信单元13从分发服务器2接收全向图像(S108)。
随后，显示控制器151基于用户信息将用户的化身和全向图像布置在虚拟空间中(S110)。此处，如果其他用户发送消息(S112中的“是”)，则显示控制器151强调发送消息的用户的化身(消息发送化身)的显示，并且将消息显示在显示单元17上(S114)。注意，代替显示单元17输出的显示或者除了显示单元17输出的显示之外，可以从声音输出单元19按声学方式输出消息。
另一方面，如果不存在其他用户发送的消息(S112中的“否”)，则显示控制器151使全部化身均等地显示(S116)。注意，在步骤S114和S116中，如上所述，显示控制器151使得根据布置在虚拟空间中的优选观看位置的视点生成的视场图像被显示。
在上文中，已经描述了实施方式的HMD1的操作示例。注意，可以适当地重复图10中所示的处理。
<<4.修改例>>
在上文中，已经描述了本公开的实施方式。以下，将描述实施方式的一些修改例。注意，下面描述的每个修改例可以独立地应用于本实施方式，或者可以通过组合应用于实施方式。此外，可以代替实施方式中描述的配置应用每个修改例，或者可以除了实施方式中描述的配置之外应用每个修改例。
<4-1.修改例1>
在上述实施方式中，已经描述了显示控制器151基于用户的姿势信息来控制用户的化身的姿势的示例。然而，本技术不限于这样的示例。例如，在关于其他用户(第二用户)的姿势的姿势信息满足预定条件的情况下，显示控制器151还可以基于布置在虚拟空间中的全向图像来控制其他用户的化身的姿势。将参照图11至图15描述这样的示例作为修改例1。图11至图15是用于描述修改例1的说明图。
首先，将考虑由用户UA佩戴的HMD1A设置的虚拟空间。在图11中，佩戴用户(第一用户)是用户UA，并且根据用户UA的位置布置虚拟摄像装置VC3。如图11所示，当用户UA的化身AA的指部FA沿指向方向DA指引时，佩戴用户被认为想要指向投射在圆顶状屏幕VD3上的全向图像的点P3处。
此处，将考虑在不执行根据本修改例的控制的情况下由用户UB佩戴的HMD1B设置的虚拟空间。在图12中，佩戴用户是用户UB，并且根据用户UB的位置布置虚拟摄像装置VC40。如图12所示，当根据用户UA的姿势布置用户UA的化身AA时，化身AA的指部FA沿如图12所示的方向DA指引。因此，用户UB识别出用户UA指向投影在圆顶状屏幕VD40上的全向图像的点P40处，并且用户UB的化身AB的视线GB(即，用户UB的视线)朝向点P40。
然而，比较图11和图12，可以看出用户UB正在观看与用户UA最初想要指向的点不同的点。因此，在确定其他用户(第二用户)正在指向的情况下(预定条件的示例)，显示控制器151还可以基于全向图像来控制其他用户的姿势。注意，不仅是通过指部指向全向图像的特定位置的情况，还类似地处理通过物体、手臂等指向全向图像的特定位置的情况。
例如，本修改例的显示控制器151可以基于关于其他用户的姿势信息和布置的全向图像，来控制其他用户的化身的姿势使得其他用户的化身指向其他用户想要指向的位置。注意，例如，可以通过由其他用户佩戴的HMD设置的虚拟空间中的指向方向与圆顶状屏幕的交点来识别其他用户想要指向的位置。
图13示出根据上述修改例的显示控制器151进行的对其他用户的化身的控制示例。注意，在图13中，佩戴用户是用户UB，并且根据用户UB的位置布置虚拟摄像装置VC4。如图13所示，用户UB的化身AB的视线GB(即，用户UB的视线)指向圆顶状的屏幕VD4的点P4。此处，点P4对应于图11中所示的点P3，并且用户UB可以观看用户UA想要指向的全向图像中的位置。
此外，显示控制器151可以类似地控制化身的视线方向(或化身的面部的取向)。图14示出在不执行这样的控制的情况下由用户UA佩戴的HMD1A基于图13中的用户UB的姿势设置的虚拟空间。也就是说，在图14中，佩戴用户是用户UA，并且根据用户UA的位置布置虚拟摄像装置VC5。在图14的示例中，用户UA想要指向的圆顶状屏幕VD50的点P50与在用户UB的化身AB的视线GB前方的点P51不相同。
因此，在确定其他用户(第二用户)将他的/她的视线指向全向图像的点的情况下(预定条件的示例)，显示控制器151还可以基于全向图像来控制其他用户的姿势。例如，如图15所示，本修改例的显示控制器151可以控制化身AB的姿势使得用户UB的化身AB的视线GB朝向用户UA想要指向的圆顶状屏幕VD5的点P5。注意，类似于图14，图15示出由用户UA佩戴的HMD1A设置的虚拟空间。
如上所述，根据本修改例，可以通过视线方向或指向方向在用户之间共享全向图像的相同位置。特别地，在虚拟空间中从化身至虚拟圆顶状屏幕的距离较短的情况下，如图14所示，视线方向或指向方向的前方的点趋于因用户而异。因此，本修改例变得更加有效。
<4-2.修改例2>
此外，在上述实施方式中，已经描述了虚拟空间中的视点是与佩戴用户的位置对应的位置(例如，佩戴用户的化身的头部位置)的示例。然而，本技术不限于这样的示例。例如，显示控制器151可以将视点布置在虚拟空间中的预定俯视位置。将参照图16和图17描述这样的示例作为修改示例2。
图16是示出本修改例中设置的虚拟空间的说明图。注意，在图16中，佩戴用户可以是用户UA或用户UB。
如图16所示，虚拟摄像装置VC6被布置在俯视位置，佩戴用户还可以从该俯视位置俯视，并且根据本修改例的显示控制器151可以根据虚拟摄像装置VC6的视点生成俯视图像并且将该图像显示在显示单元17上。注意，同样在本修改例中，圆顶状屏幕VD6被布置成使得视点的位置是优选观看位置。
注意，视点可以根据用户操作等从与佩戴用户的位置对应的位置移动到俯视位置。
图17是示出在本修改例中的显示单元17上显示的俯视图像V2的示例的说明图。如图17所示，俯视图像V2可以包括包含佩戴用户的化身的许多用户的化身AA至AE。因此，可以俯视多个化身的位置关系。
<4-3.修改例3>
在上述实施方式中，已经描述了使用全向图像作为背景图像的示例。然而，本技术不限于这样的示例。可以使用各种图像作为背景图像。例如，还可以使用具有高分辨率的高分辨率图像，例如所谓的4K图像或8K图像，作为背景图像。
在这样的情况下，显示控制器可以将化身布置在虚拟空间中，并且以佩戴用户的位置为基准将高分辨率图像布置在虚拟空间中，使得视点是预设的优选观看位置，并且例如根据该视点生成视场图像。
此外，背景图像可以是由计算机(计算机绘图)渲染(生成)的图像。在这样的情况下，可以基于关于用户的位置移动的信息来执行背景图像的渲染。
<<5.硬件配置示例>>
在上文中，已经描述了本公开的实施方式。最后，将参照图18描述实施方式的信息处理设备的硬件配置。图18是示出实施方式的信息处理设备的硬件配置的示例的框图。注意，图18所示的信息处理设备900可以实现例如上述HMD1、分发服务器2、化身管理服务器3和分发器终端4。通过下面描述的硬件和软件的协作来实现由实施方式的HMD1、分发服务器2、化身管理服务器3和分发器终端4进行的信息处理。
如图18所示，信息处理设备900包括CPU(中央处理单元)901、ROM(只读存储器)902、RAM(随机存取存储器)903和主机总线904a。此外，信息处理设备900包括桥接器904、外部总线904b、接口905、输入设备906、输出设备907、存储设备908、驱动器909、连接端口911、通信设备913和传感器915。代替CPU 901或除了CPU 901之外，信息处理设备900可以具有处理电路，例如DSP或ASIC。
CPU 901用作算术处理单元和控制器，并且根据各种程序来控制信息处理设备900中的整体操作。此外，CPU 901可以是微处理器。ROM 902存储由CPU 901使用的程序、计算参数等。RAM 903临时存储在CPU 901执行时使用的程序以及在执行时适当变化的参数等。CPU901可以形成例如控制器15。
CPU 901、ROM 902和RAM 903通过包括CPU总线等的主机总线904a来互相连接。主机总线904a通过桥接器904连接到外部总线904b，例如PCI(***部件互连/接口)总线。注意，主机总线904a、桥接器904和外部总线904b不必然需要单独配置，并且可以在一个总线上实现这些功能。
例如，输入设备906由用户对其输入信息的设备，例如鼠标、键盘、触摸面板、按钮、麦克风、开关和控制杆来实现。此外，例如，输入设备906可以是使用红外线或其他无线电波的遥控设备，或者可以是与信息处理设备900的操作对应的外部连接设备，例如移动电话或PDA。此外，输入设备906可以包括例如基于由用户使用上述输入单元输入的信息来生成输入信号并且将所生成的输入信号输出至CPU 901的输入控制电路等。信息处理设备900的用户可以通过操作输入设备906来将各种数据输入到信息处理设备900中并且指示处理操作。
输出设备907包括能够在视觉上或听觉上向用户通知所获取的信息的设备。这样的设备包括：显示设备，例如CRT显示设备、液晶显示设备、等离子显示设备、EL显示设备和灯；声音输出设备，例如扬声器和耳机；打印机设备等。例如，输出设备907输出从通过信息处理设备900执行的各种处理获得的结果。具体地，显示设备以各种格式(例如，文本、图像、表格和图形等)在视觉上显示从通过信息处理设备900执行的各种处理获得的结果。另一方面，声音输出设备将包括再现的语音数据、声音数据等的音频信号转换成模拟信号，并且在听觉上输出模拟信号。例如，输出设备907可以形成显示单元17和声音输出单元19。
存储设备908是形成为信息处理设备900的存储单元的示例的用于数据存储的设备。例如，存储设备908由诸如HDD的磁存储单元设备、半导体存储设备、光学存储设备、磁光存储设备等来实现。存储设备908可以包括存储介质、在存储介质中记录数据的记录设备、从存储介质读取数据的读取设备、删除记录在存储介质中的数据的删除设备等。存储设备908存储有由CPU 901执行的程序、各种数据、从外部获取的各种数据等。例如，存储设备908可以形成图像存储单元22和用户信息存储单元32。
驱动器909是针对存储介质的读取器/写入器，并且被内置在信息处理设备900中或者从外部附接至信息处理设备900。驱动器909读出记录在诸如安装的磁盘、光盘、磁光盘或半导体存储器的可移除存储介质中的信息，并且将该信息输出至RAM 903。此外，驱动器909还可以将信息写入可移除存储介质。
例如，连接端口911是连接至外部设备的接口，并且是能够通过USB(通用串行总线)等进行数据传输的至外部设备的连接端口。
例如，通信设备913是包括用于连接至网络920的通信设备等的通信接口。例如，通信设备913是用于有线或无线LAN(局域网)、LTE(长期演进)、蓝牙(注册商标)、WUSB(无线USB)等的通信卡。此外，通信设备913可以是用于光通信的路由器、用于ADSL(非对称数字用户线路)的路由器、用于各种通信的调制解调器等。例如，通信设备913可以根据诸如TCP/IP的预定协议与因特网或其他通信设备传送和接收信号等。通信设备913例如可以形成通信单元13。
例如，传感器915是诸如加速度传感器、陀螺仪传感器、地磁传感器、光学传感器、声音传感器、距离测量传感器和力传感器的各种传感器。传感器915获取关于信息处理设备900的状态、例如信息处理设备900的姿势和移动速度的信息，以及关于信息处理设备900的周围环境、例如信息处理设备900周围的亮度和噪声的信息。此外，传感器915可以包括接收GPS信号并且测量设备的纬度、经度和海拔的GPS传感器。传感器915例如可以形成传感器单元11。
注意，网络920是从连接至网路920的设备传送的信息的无线或有线传输路径。例如，网络920可以包括因特网、诸如电话网络和卫星通信网络的公共网络、包括以太网(注册商标)的各种LAN(局域网)、WAN(广域网)等。此外，网络920可以包括诸如IP-VPN(因特网协议-虚拟专用网络)的租用线路网络。
在上文中，已经示出了能够实现实施方式的信息处理设备900的功能的硬件配置的示例。上述部件中的每一个可以使用通用构件实现，或者可以由专用于每个部件的功能的硬件实现。因此，可以根据每次执行实施方式时的技术水平，适当地改变要使用的硬件配置。
注意，可以在PC机等上准备和实现用于实现如上所述的实施方式的信息处理设备900的每个功能的计算机程序。此外，可以提供存储有这样的计算机程序的计算机可读记录介质。记录介质例如是磁盘、光盘、磁光盘、闪速存储器等。此外，例如，可以在不使用记录介质的情况下通过网络来分发上述计算机程序。
<<6.结论>>
如上所述，根据本公开的实施方式，可以在与其他用户虚拟地共享图像的同时观看图像。
在上文中，已经参照附图详细描述了本公开的优选实施方式。然而，本公开的技术范围不限于这样的示例。对于本公开的本领域技术人员将明显的是，可以在权利要求中描述的技术构思的范围内构思出各种变化或修改。应当理解，这些自然也属于本公开的技术范围。
例如，虽然在上述实施方式中已经描述了包括显示单元的信息处理设备(HMD1)执行显示控制处理的示例，但是本技术不限于这样的示例。例如，生成要在其他设备的显示单元上显示的图像的功能可以被理解成作为显示控制器的功能。
例如，通过通信网络连接至设置有显示单元的显示设备的信息处理设备(例如，图4中所示的分发服务器2、化身管理服务器3等)可以具有作为显示控制器的上述功能。在这样的情况下，可以通过信息处理设备的显示控制器生成包括背景图像和化身的图像并且将该图像传送到显示设备，并且显示设备可以显示接收的图像。
注意，通过通信网络连接至设置有显示单元的显示设备的信息处理设备以及显示设备可以按分布式方式具有作为显示控制器的上述功能。例如，信息处理设备可以将化身和全向图像布置在虚拟空间中以控制显示设备的显示。在这样的情况下，显示设备可以接收关于虚拟空间的信息并且根据依据感测到的用户的取向的视点生成视场图像。
此外，显示单元不必然必须是HMD。例如，显示单元可以是由用户持有的显示器、安装的显示器，或者由投影仪在上面投影图像的屏幕(包括圆顶状屏幕)。在这样的情况下，显示器或投影仪可以具有作为显示控制器的上述功能，或者连接至显示器或投影仪的信息处理设备或通过通信网络连接至该信息处理设备的其他信息处理设备可以具有作为上述显示控制单元的功能。
此外，本说明书中描述的效果仅是说明性或示例性的，而不是限制性的。也就是说，除了上述效果之外或代替上述效果，根据本公开的技术可以呈现根据本说明书的描述对于本领域技术人员而言明显的其他效果。
注意，以下配置也在本公开的技术范围内。
(1)一种信息处理设备，包括：显示控制器，其基于以第一用户在虚拟空间中的位置为基准布置在所述虚拟空间中的背景图像以及为了维持在所述虚拟空间中所述第一用户与第二用户之间的相对位置关系而布置在所述虚拟空间中的与所述第二用户有关的对象，来控制用于所述第一用户的显示。
(2)根据(1)所述的信息处理设备，其中，所述显示控制器根据布置在与所述第一用户在所述虚拟空间中的位置对应的位置的视点生成视场图像，并且使得所述视场图像被显示。
(3)根据(2)所述的信息处理设备，其中，所述背景图像被布置成使得所述视点的位置是预定的优选观看位置。
(4)根据(2)和(3)中任一项所述的信息处理设备，其中，所述显示控制器根据所述第一用户的取向控制所述视点的方向。
(5)根据(1)至(4)中任一项所述的信息处理设备，其中，所述显示控制器使得由所述第二用户发送的消息被显示。
(6)根据(1)至(5)中任一项所述的信息处理设备，还包括：使得由所述第二用户发送的消息以声学方式被输出的声音输出控制器。
(7)根据(6)所述的信息处理设备，其中，所述声音输出控制器控制声音输出使得所述消息能够从与所述第二用户有关的对象的位置听到。
(8)根据(5)至(7)中任一项所述的信息处理设备，其中，所述显示控制器控制所述显示使得在所述第二用户将所述消息发送给所述第一用户的情况下强调与所述第二用户有关的对象。
(9)根据(1)至(8)中任一项所述的信息处理设备，其中，所述显示控制器还基于与所述第一用户有关的对象来控制所述显示。
(10)根据(1)和(9)中任一项所述的信息处理设备，其中，所述显示控制器基于用户信息控制与对应于所述用户信息的用户有关的对象。
(11)根据(10)所述的信息处理设备，其中，
所述用户信息包括关于所述用户中的每一个的姿势的姿势信息，并且
所述显示控制器基于所述姿势信息控制与对应于所述姿势信息的用户有关的对象的姿势。
(12)根据(11)所述的信息处理设备，其中，在关于所述第二用户的姿势的所述姿势信息满足预定条件的情况下，所述显示控制器还基于布置在所述虚拟空间中的所述背景图像来控制与所述第二用户有关的对象的姿势。
(13)根据(10)至(12)中任一项所述的信息处理设备，其中，所述显示控制器使得基于过去的所述用户信息的对象被显示。
(14)根据(13)所述的信息处理设备，其中，所述显示控制器控制所述显示使得基于实时的所述用户信息的对象与基于所述过去的所述用户信息的对象被区分开。
(15)根据(13)和(14)中任一项的信息处理设备，其中，基于所述过去的所述用户信息识别所述第一用户与第二用户之间的所述相对位置关系。
(16)根据(1)至(15)中任一项所述的信息处理设备，其中，所述第一用户与第二用户之间的所述相对位置关系根据所述第一用户或所述第二用户的位置移动而改变。
(17)根据(1)至(16)中任一项所述的信息处理设备，其中，所述显示控制器根据布置在所述虚拟空间中的预定俯视位置的视点生成俯视图像，并且显示所述俯视图像。
(18)根据(1)至(17)中任一项所述的信息处理设备，其中，所述显示控制器控制所述第一用户佩戴的设备的显示。
(19)一种信息处理方法，包括：通过处理器基于以第一用户在虚拟空间中的位置为基准布置在所述虚拟空间中的背景图像以及为了维持在所述虚拟空间中所述第一用户与第二用户之间的相对位置关系而布置在所述虚拟空间中的与所述第二用户有关的对象，来控制用于所述第一用户的显示。
(20)一种用于使得计算机实现以下功能的程序：基于以第一用户在虚拟空间中的位置为基准布置在所述虚拟空间中的背景图像以及为了维持在所述虚拟空间中所述第一用户与第二用户之间的相对位置关系而布置在所述虚拟空间中的与所述第二用户有关的对象，来控制用于所述第一用户的显示。
附图标记列表
1 HMD
2 分发服务器
3 化身管理服务器
4 分发器终端
5 通信网络
9 信息处理***
11 传感器单元
13 通信单元
15 控制器
17 显示单元
19 声音输出单元
22 图像存储单元
32 用户信息存储单元
151 显示控制器
153 声音输出控制器

Claims (20)

1.一种信息处理设备，包括：显示控制器，其基于以第一用户在虚拟空间中的位置为基准布置在所述虚拟空间中的背景图像以及为了维持在所述虚拟空间中所述第一用户与第二用户之间的相对位置关系而布置在所述虚拟空间中的与所述第二用户有关的对象，来控制用于所述第一用户的显示。
2.根据权利要求1所述的信息处理设备，其中，所述显示控制器根据布置在与所述第一用户在所述虚拟空间中的位置对应的位置的视点生成视场图像，并且使得所述视场图像被显示。
3.根据权利要求2所述的信息处理设备，其中，所述背景图像被布置成使得所述视点的位置是预定的优选观看位置。
4.根据权利要求2所述的信息处理设备，其中，所述显示控制器根据所述第一用户的取向控制所述视点的方向。
5.根据权利要求1所述的信息处理设备，其中，所述显示控制器使得由所述第二用户发送的消息被显示。
6.根据权利要求1所述的信息处理设备，还包括：使得由所述第二用户发送的消息以声学方式被输出的声音输出控制器。
7.根据权利要求6所述的信息处理设备，其中，所述声音输出控制器控制声音输出使得所述消息能够从与所述第二用户有关的对象的位置听到。
8.根据权利要求5所述的信息处理设备，其中，所述显示控制器控制所述显示使得在所述第二用户将所述消息发送给所述第一用户的情况下强调与所述第二用户有关的对象。
9.根据权利要求1所述的信息处理设备，其中，所述显示控制器还基于与所述第一用户有关的对象来控制所述显示。
10.根据权利要求1所述的信息处理设备，其中，所述显示控制器基于用户信息控制与对应于所述用户信息的用户有关的对象。
11.根据权利要求10所述的信息处理设备，其中，
所述用户信息包括关于所述用户中的每一个的姿势的姿势信息，并且
所述显示控制器基于所述姿势信息控制与对应于所述姿势信息的用户有关的对象的姿势。
12.根据权利要求11所述的信息处理设备，其中，在关于所述第二用户的姿势的所述姿势信息满足预定条件的情况下，所述显示控制器还基于布置在所述虚拟空间中的所述背景图像来控制与所述第二用户有关的对象的姿势。
13.根据权利要求10所述的信息处理设备，其中，所述显示控制器使得基于过去的所述用户信息的对象被显示。
14.根据权利要求13所述的信息处理设备，其中，所述显示控制器控制所述显示使得基于实时的所述用户信息的对象与基于所述过去的所述用户信息的对象被区分开。
15.根据权利要求13所述的信息处理设备，其中，基于所述过去的所述用户信息识别所述第一用户与第二用户之间的所述相对位置关系。
16.根据权利要求1所述的信息处理设备，其中，所述第一用户与第二用户之间的所述相对位置关系根据所述第一用户或所述第二用户的位置移动而改变。
17.根据权利要求1所述的信息处理设备，其中，所述显示控制器根据布置在所述虚拟空间中的预定俯视位置的视点生成俯视图像，并且显示所述俯视图像。
18.根据权利要求1所述的信息处理设备，其中，所述显示控制器控制所述第一用户佩戴的设备的显示。
19.一种信息处理方法，包括：通过处理器基于以第一用户在虚拟空间中的位置为基准布置在所述虚拟空间中的背景图像以及为了维持在所述虚拟空间中所述第一用户与第二用户之间的相对位置关系而布置在所述虚拟空间中的与所述第二用户有关的对象，来控制用于所述第一用户的显示。
20.一种用于使得计算机实现以下功能的程序：基于以第一用户在虚拟空间中的位置为基准布置在所述虚拟空间中的背景图像以及为了维持在所述虚拟空间中所述第一用户与第二用户之间的相对位置关系而布置在所述虚拟空间中的与所述第二用户有关的对象，来控制用于所述第一用户的显示。
CN201880032589.XA 2017-05-24 2018-03-30 信息处理设备、信息处理方法以及程序 Active CN110637274B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-102868 2017-05-24
JP2017102868 2017-05-24
PCT/JP2018/013713 WO2018216355A1 (ja) 2017-05-24 2018-03-30 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN110637274A true CN110637274A (zh) 2019-12-31
CN110637274B CN110637274B (zh) 2022-05-03

Family

ID=64396744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880032589.XA Active CN110637274B (zh) 2017-05-24 2018-03-30 信息处理设备、信息处理方法以及程序

Country Status (5)

Country Link
US (1) US11361497B2 (zh)
EP (1) EP3633497A1 (zh)
JP (1) JPWO2018216355A1 (zh)
CN (1) CN110637274B (zh)
WO (1) WO2018216355A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020213088A1 (ja) * 2019-04-17 2020-10-22 楽天株式会社 表示制御装置、表示制御方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
CN114342367A (zh) * 2019-09-13 2022-04-12 索尼集团公司 再现装置、再现方法和记录介质
KR102676846B1 (ko) * 2021-12-31 2024-06-20 경북대학교 산학협력단 메타버스 환경에서 돔 디스플레이 운영 방법
DE102022201351A1 (de) * 2022-02-09 2023-08-10 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zu einer Nutzeraktivitätserkennung für Datenbrillen und Datenbrille
WO2024004398A1 (ja) * 2022-06-29 2024-01-04 ソニーグループ株式会社 情報処理装置、プログラム、及び情報処理システム
US11700354B1 (en) * 2022-07-21 2023-07-11 Katmai Tech Inc. Resituating avatars in a virtual environment

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060008117A1 (en) * 2004-07-09 2006-01-12 Yasusi Kanada Information source selection system and method
JP2007188310A (ja) * 2006-01-13 2007-07-26 Nec Biglobe Ltd 仮想チャット空間システム、端末、方法及びプログラム
US20080207323A1 (en) * 2007-02-28 2008-08-28 Kabushiki Kaisha Square Enix (Also Trading As Square Enix Co., Ltd.) Game apparatus, character and virtual camera control method, program and recording medium
US20140171195A1 (en) * 2011-05-30 2014-06-19 Auckland Uniservices Limited Interactive gaming system
US20150052479A1 (en) * 2012-04-11 2015-02-19 Sony Corporation Information processing apparatus, display control method, and program
US20150279081A1 (en) * 2014-03-25 2015-10-01 Google Inc. Shared virtual reality
CN105190513A (zh) * 2013-03-08 2015-12-23 索尼公司 信息处理设备、***、信息处理方法和程序
US20160042570A1 (en) * 2012-02-14 2016-02-11 Sony Corporation Display control device, display control method, and program
US20160093108A1 (en) * 2014-09-30 2016-03-31 Sony Computer Entertainment Inc. Synchronizing Multiple Head-Mounted Displays to a Unified Space and Correlating Movement of Objects in the Unified Space
US20160260251A1 (en) * 2015-03-06 2016-09-08 Sony Computer Entertainment Inc. Tracking System for Head Mounted Display
US20170024932A1 (en) * 2015-07-24 2017-01-26 Optim Corporation Server and method for three-dimensional output
US20170102766A1 (en) * 2015-10-13 2017-04-13 Fujitsu Limited Reaction output apparatus, reaction output system, and non-transitory computer-readable storage medium
US20170123744A1 (en) * 2015-11-02 2017-05-04 Lg Electronics Inc. Tethering type head mounted display and method for controlling the same

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE503067C2 (sv) 1994-07-06 1996-03-18 Rolf Blomdahl Styrdon för datorer eller industriella processer
US7925703B2 (en) * 2000-12-26 2011-04-12 Numedeon, Inc. Graphical interactive interface for immersive online communities
JP5004777B2 (ja) * 2007-12-06 2012-08-22 インターナショナル・ビジネス・マシーンズ・コーポレーション 仮想空間における行動履歴の効率的記録方法および再生方法
JP6548203B2 (ja) * 2013-03-18 2019-07-24 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、パノラマ動画表示方法
JP6110704B2 (ja) * 2013-03-29 2017-04-05 任天堂株式会社 プログラム、情報処理装置、情報処理方法及び情報処理システム
EP3005195A4 (en) * 2013-05-24 2017-05-24 Awe Company Limited Systems and methods for a shared mixed reality experience
EP3219098B1 (en) * 2014-11-14 2021-10-06 PCMS Holdings, Inc. System and method for 3d telepresence
US20160150212A1 (en) 2014-11-26 2016-05-26 Sony Corporation Live selective adaptive bandwidth
CN108028964B (zh) * 2015-09-14 2021-06-29 索尼公司 信息处理装置以及信息处理方法
JP6569452B2 (ja) * 2015-10-08 2019-09-04 富士通株式会社 画像生成システム、画像生成プログラム及び画像生成方法
JP5996814B1 (ja) * 2016-02-08 2016-09-21 株式会社コロプラ 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム
JP6754678B2 (ja) * 2016-11-18 2020-09-16 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
JP6298523B1 (ja) * 2016-12-26 2018-03-20 株式会社コロプラ 仮想空間を介して通信するためにコンピュータによって実行される方法、当該方法をコンピュータに実行させるためのプログラム、およびコンピュータ装置
JP6306765B1 (ja) * 2017-02-27 2018-04-04 株式会社コロプラ 仮想空間を移動するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラムおよび情報処理装置
JP6298558B1 (ja) * 2017-05-11 2018-03-20 株式会社コロプラ 仮想空間を提供するための方法、および当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
JP6276882B1 (ja) * 2017-05-19 2018-02-07 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060008117A1 (en) * 2004-07-09 2006-01-12 Yasusi Kanada Information source selection system and method
JP2007188310A (ja) * 2006-01-13 2007-07-26 Nec Biglobe Ltd 仮想チャット空間システム、端末、方法及びプログラム
US20080207323A1 (en) * 2007-02-28 2008-08-28 Kabushiki Kaisha Square Enix (Also Trading As Square Enix Co., Ltd.) Game apparatus, character and virtual camera control method, program and recording medium
US20140171195A1 (en) * 2011-05-30 2014-06-19 Auckland Uniservices Limited Interactive gaming system
US20160042570A1 (en) * 2012-02-14 2016-02-11 Sony Corporation Display control device, display control method, and program
US20150052479A1 (en) * 2012-04-11 2015-02-19 Sony Corporation Information processing apparatus, display control method, and program
CN105190513A (zh) * 2013-03-08 2015-12-23 索尼公司 信息处理设备、***、信息处理方法和程序
US20150279081A1 (en) * 2014-03-25 2015-10-01 Google Inc. Shared virtual reality
US20160093108A1 (en) * 2014-09-30 2016-03-31 Sony Computer Entertainment Inc. Synchronizing Multiple Head-Mounted Displays to a Unified Space and Correlating Movement of Objects in the Unified Space
US20160260251A1 (en) * 2015-03-06 2016-09-08 Sony Computer Entertainment Inc. Tracking System for Head Mounted Display
US20170024932A1 (en) * 2015-07-24 2017-01-26 Optim Corporation Server and method for three-dimensional output
US20170102766A1 (en) * 2015-10-13 2017-04-13 Fujitsu Limited Reaction output apparatus, reaction output system, and non-transitory computer-readable storage medium
US20170123744A1 (en) * 2015-11-02 2017-05-04 Lg Electronics Inc. Tethering type head mounted display and method for controlling the same

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ROAD TO VR: "Facebook Social VR Demo-Oculus Connect 2016", 《HTTP://WWW.YOUTUBE.COM/WATCH?V=YULGYKLPT3S》 *

Also Published As

Publication number Publication date
JPWO2018216355A1 (ja) 2020-05-21
EP3633497A4 (en) 2020-04-08
US11361497B2 (en) 2022-06-14
EP3633497A1 (en) 2020-04-08
CN110637274B (zh) 2022-05-03
US20210110596A1 (en) 2021-04-15
WO2018216355A1 (ja) 2018-11-29

Similar Documents

Publication Publication Date Title
CN110637274B (zh) 信息处理设备、信息处理方法以及程序
KR102662947B1 (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
US11250636B2 (en) Information processing device, information processing method, and program
JPWO2016203792A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN111045511B (zh) 基于手势的操控方法及终端设备
JP6822410B2 (ja) 情報処理システム及び情報処理方法
WO2017061890A1 (en) Wireless full body motion control sensor
CN111459432B (zh) 虚拟内容的显示方法、装置、电子设备及存储介质
CN111178306A (zh) 一种显示控制方法及电子设备
US10503278B2 (en) Information processing apparatus and information processing method that controls position of displayed object corresponding to a pointing object based on positional relationship between a user and a display region
JP6208910B1 (ja) 動画像処理装置、動画像処理システム、動画像処理方法及び動画像処理プログラム
CN111462335B (zh) 基于虚拟对象交互的设备控制方法及装置、介质和设备
JP2018067157A (ja) 通信装置およびその制御方法
JP6779715B2 (ja) 情報処理システム
WO2018216327A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN111208903B (zh) 信息传输方法、穿戴式设备及介质
CN110807826B (zh) 虚拟场景中的地图显示方法、装置、设备及存储介质
WO2024004398A1 (ja) 情報処理装置、プログラム、及び情報処理システム
US11934627B1 (en) 3D user interface with sliding cylindrical volumes
CN111246014B (zh) 通话方法、头戴式设备及介质
US11449192B2 (en) Apparatus, method, computer program for enabling access to mediated reality content by a remote user
JPWO2017098999A1 (ja) 情報処理装置、情報処理システム、情報処理装置の制御方法、及び、コンピュータープログラム
CN113597632A (zh) 信息处理装置、信息处理方法和记录介质
CN117115237A (zh) 虚拟现实的位置切换方法、装置、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant