CN111344776A - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN111344776A
CN111344776A CN201880073831.8A CN201880073831A CN111344776A CN 111344776 A CN111344776 A CN 111344776A CN 201880073831 A CN201880073831 A CN 201880073831A CN 111344776 A CN111344776 A CN 111344776A
Authority
CN
China
Prior art keywords
information
user
dimensional image
information processing
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880073831.8A
Other languages
English (en)
Other versions
CN111344776B (zh
Inventor
泷祐平
稻谷壮一郎
岩濑广
山野郁男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111344776A publication Critical patent/CN111344776A/zh
Application granted granted Critical
Publication of CN111344776B publication Critical patent/CN111344776B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

提供了使得可以提高在多个用户正在共享并浏览三维图像的情况下的舒适度的信息处理装置、信息处理方法和程序。该信息处理装置设置有控制单元，该控制单元执行用于基于以下信息来确定三维图像信息的发送起始点的控制：第一用户的位置信息和视线信息，第二用户的位置信息和视线信息，以及由第一用户和第二用户共享并观看的三维图像信息的显示位置信息。

Description

信息处理装置、信息处理方法和程序
技术领域
本公开涉及信息处理装置、信息处理方法和程序。
背景技术
近年来，由于信息处理技术和通信技术的发展，已经开发了增强现实(AR)环境和虚拟现实(VR)环境，在增强现实(AR)环境和虚拟现实(VR)环境中，人们可以对虚拟世界产生真实的体感。
例如，以下专利文献1公开了与所谓的AR相关的技术，该AR技术用于在真实空间上叠加显示可以经由透射式头戴显示器(HMD)观看的显示对象。
引用列表
专利文献
专利文献1:JP 2017-120550 A
发明内容
技术问题
然而，在试图观看具有高分辨率或包括动画的大容量3D模型的情况下，模型数据的下载不能跟上观看的步伐，并且产生长的等待时间，因此难以进行舒适的观看。特别是在由多个用户同时观看共同的3D模型(三维图像)的情况下，在等待下载期间与3D模型有关的自由通信被抑制。
因此，本公开提供了一种可以在多个用户共享并观看三维图像时提高舒适度的信息处理装置、信息处理方法和程序。
问题的解决方案
根据本公开，提供了一种信息处理装置，其包括：控制单元，其被配置成执行用于基于以下信息来确定三维图像信息的发送起始点的控制：第一用户的位置信息和视线信息，第二用户的位置信息和视线信息，以及由第一用户和第二用户共享并观看的三维图像信息的显示位置信息。
根据本公开，提供了一种信息处理方法，该信息处理方法包括：由处理器执行用于基于以下信息确定三维图像信息的发送起始点的控制：第一用户的位置信息和视线信息，第二用户的位置信息和视线信息，以及由第一用户和第二用户共享并观看的三维图像信息的显示位置信息。
根据本公开，提供了一种程序，该程序使得计算机用作控制单元，该控制单元被配置成执行用于基于以下信息确定三维图像信息的发送起始点的控制：第一用户的位置信息和视线信息，第二用户的位置信息和视线信息，以及由第一用户和第二用户共享并观看的三维图像信息的显示位置信息。
发明的有益效果
如上所述，根据本公开，可以提高多个用户共享并观看三维图像时的舒适度。
上述效果不必然是限制性的，并且除上述效果之外或代替上述效果，可以呈现本说明书中描述的任何一种效果或可以从本说明书中理解的其他效果。
附图说明
图1是用于说明根据本公开的一个实施方式的信息处理***的概要的图。
图2是示出根据本实施方式的信息处理终端的配置的示例的框图。
图3是示出根据本实施方式的服务器的配置的示例的框图。
图4是用于说明根据本实施方式的针对下载起始点的第一确定方法的概要的图。
图5是用于说明根据本实施方式的3D模型数据的尺寸概要信息(size outlineinformation)的图。
图6是用于说明在根据本实施方式的针对下载起始点的第一确定方法中通过参考尺寸概要图(size outline figure)和基准点来对下载起始点进行确定的图。
图7是用于说明在根据本实施方式的针对下载起始点的第二确定方法中在3D模型数据上设置大量的下载可起始点(download startable point)的情况的图。
图8是用于说明在针对下载起始点的第二确定方法中通过参考下载可起始点来对下载起始点进行确定的图。
图9是用于说明根据本实施方式的使用下载可起始点的对下载进行方向的确定的图。
图10是用于说明根据本实施方式的使用高频注视点的对下载进行方向的确定的图。
图11是用于说明根据本实施方式的对多个下载起始点的确定的图。
图12是示出根据本实施方式的信息处理***的处理过程的序列图。
图13是示出根据本公开的一个实施方式的信息处理装置的硬件配置示例的框图。
具体实施方式
下面参照附图详细描述本公开的优选实施方式。在本说明书和附图中，具有基本上相同的功能配置的构成元件由相同的附图标记表示，并且将不再重复多余的描述。
将按照以下顺序进行描述。
1.根据本公开的一个实施方式的信息处理***的概要
2.配置
2-1.信息处理终端1的配置
2-2.服务器2的配置
3.操作处理
4.硬件配置
5.总结
<<1.根据本公开的一个实施方式的信息处理***的概要>>
图1是用于说明根据本公开的一个实施方式的信息处理***的概要的图。如图1所示，根据本实施方式的信息处理***包括服务器2、信息处理终端1A和信息处理终端1B。
信息处理终端1是所谓的增强现实(AR)终端，具体地，例如眼镜型可穿戴装置，该眼镜型可穿戴装置执行控制以用于在透射式显示单元上显示虚拟对象以使其看起来像被叠加在真实空间上，以实现增强现实。
(背景)
假设以下情况：佩戴信息处理终端1A的用户A和佩戴信息处理终端1B的用户B存在于同一空间中，并且基于从服务器2接收的数据来共享并观看相同的虚拟对象。在多个用户同时观看共同的虚拟对象并在当前地点处彼此进行通信的情况下，当花费时间下载数据时产生等待时间，并且用户之间的自由通信被抑制。
尤其在显示与2D数据相比具有更高分辨率和更大量的数据的3D模型数据(三维图像信息)等的情况下，数据量非常大，使得利用简单地在从服务器2完全下载全部数据之后显示该数据的方法导致用户等待很长时间，并且可能抑制舒适的AR体验。
因此，在本实施方式中，通过基于用户的位置和视线方向确定下载起始点以使得优先下载从用户可以观看的部分，在不引起各个用户的观看状态差异的情况下减少等待时间，以实现舒适观看，并且使观看体验能够改善。用户可以立即开始针对他们自己开始观看的共同部分彼此自由地进行通信。
上面已经描述了根据本公开的一个实施方式的信息处理***。下面参照附图描述包括在根据本实施方式的信息处理***中的每个装置的具体配置。
<<2.配置>>
<2-1.信息处理终端1的配置>
图2是示出根据本实施方式的信息处理终端1的配置的示例的框图。如图2所示，信息处理终端1包括传感器单元11、控制单元12、显示单元13、扬声器14、通信单元15、操作输入单元16和存储单元17。
(传感器单元11)
传感器单元11具有获取关于用户或周围环境的各种类型的信息的功能。例如，传感器单元11包括向外相机110、向内相机111、麦克风112、陀螺仪传感器113、加速度传感器114、方位角传感器115、位置测量单元116和生物传感器117。本文所描述的传感器单元11的具体示例仅仅是示例，并且本实施方式不限于此。各个传感器的数目可以是多个。
图2所示的传感器单元11的具体示例被例示为优选示例，但是不必然提供其所有部件。例如，传感器单元11可以具有包括图2所示的传感器单元11的具体示例的一部分的配置，例如仅包括向外相机110、加速度传感器114和位置测量单元116的配置，或者传感器单元11还可以包括另外的传感器。
向外相机110和向内相机111中的每一个包括：透镜***，其由成像透镜、光圈、变焦透镜、聚焦透镜等构成；使透镜***执行聚焦操作和变焦操作的驱动***；固态成像元件阵列，其对由透镜***获得的成像光执行光电转换以生成成像信号，等等。固态成像元件阵列可以例如通过电荷耦合器件(CCD)传感器阵列或互补金属氧化物半导体(CMOS)传感器阵列来实现。
在本实施方式中，优选地，向外相机110的视角和定向被设置为对与真实空间中的用户的视野对应的区域进行成像。
麦克风112收集用户的语音和周围环境的声音以将其作为语音数据输出至控制单元12。
陀螺仪传感器113例如由三轴陀螺仪传感器实现，并且检测角速度(旋转速度)。
加速度传感器114例如由三轴加速度传感器(也称为G传感器)实现，并且检测移动时的加速度。
方位角传感器115例如由三轴地磁传感器(罗盘)实现，并且检测绝对方向(方位角)。
位置测量单元116具有基于从外部获取的信号来检测信息处理终端1的当前位置的功能。具体地，例如，位置测量单元116由全球定位***(GPS)测量单元实现，并且接收来自GPS卫星的无线电波，检测信息处理终端1所在的位置，并且将所检测到的位置信息输出至控制单元12。例如，除了GPS之外，位置测量单元116还可以经由Wi-Fi(注册商标)、Bluetooth(蓝牙，注册商标)、向/从蜂窝电话、PHS、智能电话等的发送/接收、短程通信等来检测位置。
生物传感器117检测用户的生物信息。具体地，例如，生物传感器117可以检测心跳、体温、出汗、血压、出汗、脉搏、呼吸、眨眼、眼运动、注视时间、瞳孔直径大小、血压、脑电波、身体运动、姿势、皮肤温度、皮肤电阻、微振动(MV)、肌电位、血氧饱和度(SPO2)等。
(控制单元12)
控制单元12用作算术处理单元和控制装置，并且根据各种计算机程序来控制信息处理终端1中的整体操作。例如，控制单元12可以由诸如中央处理单元(CPU)和微处理器的电子电路来实现。控制单元12还可以包括：只读存储器(ROM)，其存储要使用的计算机程序、算术参数等；以及随机存取存储器(RAM)，其临时存储适当变化的参数等。
例如，根据本实施方式的控制单元12控制每个配置的启动或停止。控制单元12还可以向显示单元13和扬声器14输入控制信号。如图2所示，根据本实施方式的控制单元12还可以用作视线检测单元120、自身位置指定单元122、共享控制单元124和显示处理单元126。
视线检测单元120基于由传感器单元11获取的传感器数据来检测用户的视线信息。具体地，例如，视线检测单元120基于由包括在传感器单元11中的向外相机110、向内相机111、陀螺仪传感器113、加速度传感器114或方位角传感器115获取的传感器数据来分析用户的面部的定向或注视位置，并检测用户的视线方向作为视线信息。检测到的视线信息通过控制单元12从通信单元15被发送至服务器2。
自身位置指定单元122基于由传感器单元11获取的传感器数据来指定信息处理终端1的三维位置，即佩戴信息处理终端1的用户的三维位置。具体地，例如，自身位置指定单元122可以基于由包括在传感器单元11中的位置测量单元116获取的位置信息来指定自身位置。自身位置指定单元122还可以基于由传感器单元11获取的传感器数据来识别三维空间，以指定自身位置。指定的自身位置通过控制单元12从通信单元15被发送至服务器2。
共享控制单元124执行用于与共享并观看相同3D模型数据的其他信息处理终端共享3D模型数据的控制。具体地，共享控制单元124执行用于将从服务器2接收的3D模型数据发送至共享人的信息处理终端的控制。共享控制单元124还可以执行用于从共享人的信息处理终端接收3D模型数据的控制。
显示处理单元126执行在显示单元13上显示3D模型数据的处理。具体地，显示处理单元126在指定的显示位置(真实空间中的三维位置)处显示经由通信单元15从服务器2接收的3D模型数据以及从共享人的信息处理终端接收的3D模型数据。
(显示单元13)
显示单元13例如由使用全息光学技术执行显示的透镜单元(透射显示单元的示例)、液晶显示器(LCD)装置、有机发光二极管(OLED)装置等实现。显示单元13可以是透射型、透反射型或非透射型。
(扬声器14)
扬声器14根据控制单元12的控制来再现语音信号。
(通信单元15)
通信单元15是用于以有线/无线方式将数据发送至其他装置/从其他装置接收数据的通信模块。例如，通信单元15使用诸如有线局域网(LAN)、无线LAN、无线保真(Wi-Fi，注册商标)、红外通信、Bluetooth(蓝牙，注册商标)、短距离/非接触式通信和便携式通信网络(长期演进(LTE)、第三代移动对象通信方案(3G))的方案直接或经由网络接入点与外部设备进行无线通信。
(操作输入单元16)
操作输入单元16由具有诸如开关、按钮或操纵杆的物理结构的操作构件实现。
(存储单元17)
存储单元17由只读存储器(ROM)和随机存取存储器(RAM)实现，只读存储器(ROM)存储用于由上述控制单元12执行的处理的计算机程序、算术参数等，随机存取存储器(RAM)临时存储适当变化的参数等。例如，根据本实施方式的存储单元17可以存储各种类型的传感器信息、识别结果和连接信息。
上面已经具体地描述了根据本实施方式的信息处理终端1的配置。上面已经参照图2描述的配置仅是示例，并且根据本实施方式的信息处理终端1的功能配置不限于此。
例如，根据本实施方式的信息处理终端1不必然包括图2所示的全部配置。信息处理终端1可以具有例如不包括麦克风112或生物传感器117的配置。信息处理终端1可以由多个装置构成。例如，信息处理终端1可以由用户佩戴的眼镜型可佩戴终端、诸如智能手环的可佩戴终端、智能电话等构成。传感器单元11的至少一部分可以是周围环境传感器(例如，设置在房间中的监视摄像机、麦克风、红外传感器、超声传感器等)。
例如，信息处理终端1的控制单元12的功能的至少一部分可以存在于经由通信单元15与其连接以进行通信的其他装置中。例如，信息处理终端1的控制单元12的功能的至少一部分可以被设置到中间服务器、因特网上的云服务器等。可替选地，该配置可以使得由控制单元12执行的处理的级别变得简单，并且由例如诸如用户拥有的智能电话的其他移动装置、家用服务器、边缘服务器、中间服务器或云服务器的外部装置执行高级别的处理。通过将处理分发至多个装置，可以减轻负荷。通过在信息处理终端1中或通过具有相对接近信息处理终端1的通信距离的外部装置(例如，其他移动装置、家用服务器、边缘服务器等)执行处理，可以提高实时性能并且可以确保安全性。
根据本实施方式的信息处理终端1的功能配置可以根据规格和操作而灵活地修改。
<2-2.服务器2的配置>
图3是示出根据本实施方式的服务器2的配置的示例的框图。如图3所示，服务器2(信息处理装置)包括控制单元20、通信单元21和存储单元22。
(控制单元20)
控制单元20用作算术处理装置和控制装置，并且根据各种计算机程序来控制服务器2中的整体操作。控制单元20例如由诸如中央处理单元(CPU)和微处理器的电子电路实现。控制单元20还可以包括：只读存储器(ROM)，其存储要使用的计算机程序、算术参数等；以及随机存取存储器(RAM)，其临时存储适当变化的参数等。
根据本实施方式的控制单元20还用作下载起始点确定单元201、发送数据确定单元202和数据发送控制单元203。
下载起始点确定单元201响应于来自信息处理终端1的用于下载3D模型数据的请求来确定3D模型数据的下载起始点(即，三维图像信息的发送起始点)。具体地，下载起始点确定单元201基于从多个信息处理终端1接收的用户的位置和视线信息以及感兴趣的3D模型数据的显示位置(真实空间中的三维位置)来确定用户共同的下载起始点。例如，下载起始点确定单元201估计在用户看相同的3D模型数据的情况下各个用户的注视点，并且将注视点的重心(centroid)确定为下载起始点。注视点是视线方向与尺寸概要图32相交的点。下载起始点确定单元201可以将用户可以观看的3D模型数据的区域的中心确定为下载起始点。下载起始点不限于严格的点，并且可以包括例如平面。稍后将描述关于根据本实施方式的下载起始点的确定处理的细节。
发送数据确定单元202基于所确定的下载起始点来确定感兴趣的3D模型数据中的要发送至已经做出请求的信息处理终端1的数据。例如，发送数据确定单元202可以确定以下载起始点为中心的预定区域中的数据，或者可以确定包括下载起始点的部分(例如，在车辆的3D模型数据的情况下，轮胎、引擎盖、保险杠等)。在本实施方式中，优先从所确定的下载起始点依次发送3D模型数据，使得发送数据确定单元202确定下载进行方向，并且还确定感兴趣的3D模型数据中的接下来要发送的发送数据。例如，发送数据确定单元202可以从下载起始点放射状地、均匀地扩大发送范围，或者可以针对每个相邻部分来扩大发送范围。发送数据确定单元202在特定条件下在特定时间内依次发送剩余的3D模型数据(下载起始点周围的数据)。例如，在用户移动并且视线方向在较大程度上改变的情况下，更新下载起始点，使得发送数据确定单元202基于新的下载起始点从尚未被发送的3D模型数据中确定发送数据。
在使信息处理终端1共享相同的3D模型数据的情况下，发送数据确定单元202计算数据量的分配，并且确定针对信息处理终端1中的每一个的发送数据。通过使信息处理终端1共享3D模型数据，可以防止相同的数据被发送至信息处理终端1，从而减轻了由服务器2执行的发送处理的负荷，并且可以防止数据带长时间内被占用。
数据发送控制单元203执行用于将由发送数据确定单元202确定的数据从通信单元21发送至信息处理终端1的控制。
(通信单元21)
通信单元21以有线或无线方式连接至网络，并且经由网络向信息处理终端1中的每一个发送数据/从信息处理终端1中的每一个接收数据。通信单元21例如经由有线/无线局域网(LAN)、无线保真(Wi-Fi，注册商标)等连接至信息处理终端1，以进行通信。
(存储单元22)
存储单元22由ROM和RAM实现，ROM存储用于由控制单元20执行的处理的计算机程序、算术参数等，RAM临时存储适当变化的参数等。例如，根据本实施方式的存储单元22存储3D模型数据和用户信息。用户信息包括从信息处理终端1发送的自身位置信息和视线信息。存储单元22还可以与3D模型数据相关联地积累已经观看了3D模型数据的用户的历史(观看历史和操作历史。观看历史包括观看时的位置和视线方向的历史)。
上面已经具体地描述了根据本实施方式的服务器2的配置。图3所示的服务器2的配置仅是示例，并且本实施方式不限于此。例如，服务器2的配置的至少一部分可以被设置在外部装置中，或者控制单元20的功能的至少一部分可以由信息处理终端1或具有相对接近信息处理终端1的通信距离的信息处理装置(例如，所谓的边缘服务器)来实现。通过适当地分发服务器2的配置，可以提高实时性能并且可以减轻处理负荷。
(关于3D模型数据的下载起始点的确定)
下面使用具体示例描述由上述下载起始点确定单元201执行的下载起始点的确定处理。
·第一确定方法
图4是用于说明根据本实施方式的针对下载起始点的第一确定方法的概要的图。如图4所示，下载起始点确定单元201可以基于共享并观看相同的3D模型数据30的用户的位置v1和v2和视线方向以及3D模型数据30在真实空间中的显示位置来估计每个用户在3D模型上的注视点41a和41b，并将注视点41a和41b的重心(用户基准点42)确定为下载起始点。在这种情况下，优先下载并显示下载起始点(用户基准点42)周围的数据，使得首先完成对可以由用户A和用户B观看的部分的下载，并且显示高清3D模型数据。下载起始点确定单元201可以将用户在某种程度上彼此接近作为条件。
下面参照图5和图6详细描述第一确定方法。
首先，下面参照图5描述包括在根据本实施方式的3D模型数据中的信息。图5是用于说明3D模型数据的尺寸概要信息的图。如图5所示，根据本实施方式的3D模型数据包括尺寸概要图32的信息(包括3D模型数据的半径和大小的尺寸信息)，该尺寸概要图32具有表示3D模型数据30的示意性形状的简单形状(例如，圆锥、圆柱或球体)。尺寸概要图32具有比高清3D模型数据30的数据量小的数据量。
对于3D模型数据，设置用于下载的基准点50。可以在尺寸概要图32上或在3D模型数据30上设置用于下载的基准点50。基准点50是预定的优先点，例如3D模型数据的重要部分或期望被观看的部分，并且可以由3D模型数据的创建者预先设置。可替选地，基准点50可以是3D模型数据30的正面方向(该方向可以由创建者在创建时进行设置)，并且可以被自动设置。基准点50可以设置在3D模型数据内部。例如，在3D模型数据是“房屋”的情况下，房屋内的室内可能是重要的，使得可以将用于下载的基准点50设置在例如打开门的部分或通过窗户观看的部分处。
另外，3D模型数据可以具有指示数据是否可以旋转的标志。例如，在3D模型数据是“车辆”并被显示在真实空间中的道路上的情况下，如果在水平方向上或垂直方向上对“车辆”进行旋转以进行显示，则车辆相对于道路的显示方向变得奇怪，因此假定设置指示数据不能被旋转的标志。然而，根据模型数据的内容或显示环境，创建者等可以预先允许显示时的3D模型数据的旋转显示。
根据本实施方式的下载起始点确定单元201通过参考上述3D模型数据的尺寸概要信息和基准点来确定下载起始点。图6是用于说明在根据本实施方式的用于下载起始点的第一确定方法中通过参考尺寸概要图32和基准点50来对下载起始点进行确定的图。
如图6所示，下载起始点确定单元201基于用户的位置和视线方向以及3D模型数据30的显示位置来估计3D模型数据30的尺寸概要图32上的注视点41a和41b。可替选地，可以将3D模型数据30的尺寸概要图32发送至信息处理终端1侧，并且可以在信息处理终端1侧估计注视点41。
随后，下载起始点确定单元201获得注视点41a和41b的重心(在下文中，被称为“用户基准点42”)。下载起始点确定单元201然后旋转3D模型数据，使得限定在3D模型数据上的基准点50与用户基准点42之间的距离最小，并且在旋转状态下将3D模型数据上最接近基准点50或用户基准点42的顶点确定为下载起始点。由此，用户可以优先共享对观看体验更重要的部分，以开始舒适地观看数据。
在对3D模型数据设置了指示数据不能被旋转的标志的情况下，下载起始点确定单元201可以在不旋转3D模型数据的状态下将3D模型数据上最接近用户基准点42的顶点坐标确定为下载起始点。由此，用户可以共享3D模型数据并开始舒适地观看3D模型数据。另外，在未设置旋转标志的情况下，或者在设置有指示数据可以被旋转的标志的情况下，也可以在不旋转3D模型数据的状态下将3D模型数据上最接近用户基准点42的顶点坐标确定为下载起始点。
·第二确定方法
下面参照图7至图8描述根据本实施方式的针对下载起始点的第二确定方法。
图7是用于说明在针对下载起始点的第二确定方法中在3D模型数据上设置大量的下载可起始点52的情况的图。下载可起始点52可以设置在3D模型数据30的尺寸概要图32上，或者可以设置在其中的3D模型数据30上。例如，下载可起始点52可以设置在3D模型数据30上的均匀点(equal point)处，或者可以针对3D模型数据30的各个部分而设置。
图8是用于说明在针对下载起始点的第二确定方法中通过参考下载可起始点来对下载起始点进行确定的图。如图8所示，下载起始点确定单元201基于用户的位置和视线方向以及3D模型数据30的显示位置来估计3D模型数据30的尺寸概要图32上的注视点41a和41b。可替选地，可以将3D模型数据30的尺寸概要图32发送至信息处理终端1侧，并且可以在信息处理终端1侧估计注视点41。
随后，下载起始点确定单元201获得注视点41a和41b的重心(用户基准点42)。下载起始点确定单元201然后将限定在3D模型数据上的大量下载可起始点52中的最接近用户基准点42的下载可起始点52a确定为下载起始点。由此，用户可以优先共享对观看体验更重要的部分，以开始舒适地观看数据。
根据与信息处理终端1进行数据通信的带的类型、要发送的3D模型数据的量等，下载起始点确定单元201可以将下载可起始点52a周围的三个或四个下载可起始点确定为下载起始点，如果其对处理负荷或下载时间的影响小的话。在这种情况下，优先开始对下载可起始点52a和下载可起始点52a周围的这三个或四个下载可起始点进行下载。
(关于下载进行方向)
根据本实施方式的发送数据确定单元202确定从所确定的下载起始点开始要依次发送(下载)的数据。此时的下载进行方向可以是例如从下载起始点放射状地且均匀地扩展的方向。
在对3D模型数据设置了大量的下载可起始点52的情况下，发送数据确定单元202可以将下载进行方向确定为包括在所确定的下载起始点周围的下载可起始点的方向。图9是用于说明根据本实施方式的使用下载可起始点的对下载进行方向的确定的图。
如图9所示，发送数据确定单元202可以将下载进行方向确定为从所确定的下载起始点(下载可起始点52a)放射状地扩展的、包括周围的下载可起始点52b至52e的方向。即使在对3D模型数据设置了大量下载可起始点52的情况下，发送数据确定单元202也可以将下载进行方向确定为从所确定的下载起始点放射状地且均匀地扩展的方向。
发送数据确定单元202可以通过参考基于与3D模型数据相关联的其他用户的观看历史或操作历史计算的高频注视点(例如，数据观看的数目等于或大于预定值的注视点)来确定下载进行方向。由此，可以优先下载在移动后用户观看的可能性高的地点。
图10是用于说明根据本实施方式的使用高频注视点的对下载进行方向的确定的图。如图10所示，在基于3D模型数据的观看历史来计算高频注视点52u的情况下，发送数据确定单元202可以将下载进行方向确定为从下载起始点(下载可起始点52a)开始的包括高频注视点52u的方向。
作为操作历史，例示了关于例如打开作为3D模型数据的“车辆”的门、打开其后备箱的操作以及诸如“按钮”或“PC”(所谓的虚拟按钮、虚拟PC等)的3D模型数据的操作的信息。在门或后备箱被打开的可能性高的情况下(在高频注视点是门或后备箱的内部的情况下)，发送数据确定单元202确定下载进行方向，使得优先发送门或后备箱内部的内容的显示数据。可替选地，发送数据确定单元202可以将下载进行方向确定为朝向高频注视点的方向以及包括周围的下载可起始点的方向。
在用户移动并且用户的移动距离在预定范围内的情况下，发送数据确定单元202可以基于用户的新位置和视线方向将下载进行方向确定为朝向视线方向与尺寸概要图或3D模型数据相交处的点(注视点)或用户的新注视点的重心(用户基准点)行进的方向。
发送数据确定单元202还可以基于3D模型数据的显示位置确定不发送来自用户不能移动的方向的显示数据，或者最后发送这样的显示数据。例如，在“车辆”的3D模型数据被显示在墙附近的情况下，用户不能从墙侧观看该车辆，因此不需要墙侧的显示数据，或者墙侧的显示数据具有低的优先级。
(多个下载起始点的确定)
已经描述了基于用户的位置和视线方向以及要由用户共享并观看的3D模型数据的显示位置来确定下载起始点的处理、通过根据本实施方式的下载起始点确定单元201执行的处理。例如，该处理可以将以下情况作为条件：用户在某种程度上彼此接近(用户之间的距离在一定范围内)，每个用户的注视点在预定距离内，包括每个用户的注视点的部分是相同的，每个用户的注视点存在于3D模型数据的相同方向上(正侧、侧表面、后侧等)。也就是说，如图11所示，例如，在共享并观看相同3D模型数据30的用户的位置v1和v2以及视线方向在较大程度上不同的情况下，在3D模型数据的可观看范围内不存在共同部分(或者共同部分的数目小)，使得即使在使用户的注视点44a和44b的重心成为下载起始点的情况下，也难以在无需等待时间的情况下舒适地观看两个用户均可以观看的部分。因此，在不满足上述条件的情况下，如图11所示，根据本实施方式的下载起始点确定单元201可以将用户的注视点44a和44b分别确定为下载起始点。由此，从注视点中每一个开始下载。
如图11所示，在将用户的注视点44a和44b分别确定为下载起始点的情况下，发送数据确定单元202可以将下载方向确定为朝向另一个下载起始点的方向。
<<3.操作处理>>
下面参照图12具体地描述由根据本实施方式的信息处理***执行的操作处理。图12是示出根据本实施方式的信息处理***的处理过程的序列图。
如图12所示，信息处理终端1A和信息处理终端1B中的每一个检测用户的视线(步骤S103和S105)，指定自身位置(步骤S106和S118)，并且指定用户在3D模型上的注视点(步骤S109和S121)。可以在服务器2侧指定用户的注视点。
接下来，信息处理终端1A和信息处理终端1B向服务器2发送用于显示3D模型数据的请求(步骤S112和S124)。具体地，信息处理终端1A和信息处理终端1B将例如用户的视线信息、用户的指定位置信息以及注视点信息发送至服务器2。信息处理终端1A和信息处理终端1B可以同时发送终端信息。终端信息包括用于计算稍后描述的数据量的分配的关于终端信息的处理能力的信息和数据带信息。
从信息处理终端1发送至服务器2的请求可以包括相对于要下载的对象(即，3D模型数据)的偏移和诸如垂直或水平角度的参数(三维位置信息和视线方向的参数)，如下面所描述的那样。
·访问URL的格式示例
https：//···？offset x＝100&offset y＝200&angle v＝125&angle h＝90&multipoint＝0
随后，服务器2基于用户的注视点信息来计算用户基准点(步骤S127)。
接下来，服务器2计算3D模型数据的下载起始点(步骤S130)。
接下来，服务器2基于所计算的下载起始点来计算要发送至信息处理终端1A和1B中的每一个的数据量的分配(步骤S133)。
随后，服务器2将基于下载起始点所确定的3D模型数据的一部分发送至信息处理终端1A和1B中的每一个(步骤S136和S139)。
接下来，信息处理终端1A和1B执行接收到的数据的共享处理(步骤S142和S145)。
随后，信息处理终端1A和1B执行3D模型数据的显示处理(步骤S148和S151)。在信息处理终端1A和1B侧从用户共同观看的部分开始下载数据，使得缩短了等待时间，并且使用户能够立即观看3D模型数据。
另一方面，服务器2确定是否已经经过了特定时间或满足特定条件(步骤S154)。特定时间例如是从数据开始被发送的时间起的特定时间(例如，几秒、几十秒等)。特定条件例如是用户移动并且视线方向在较大程度上改变的情况。为了避免下载起始点的频繁更新，重复上述从步骤S133至S151的处理，直到经过特定时间或满足特定条件为止，并且执行控制以便优先从下载起始点发送数据并依次发送周围数据。
在已经经过了特定时间或满足特定条件的情况下(在步骤S154处，为“是”)，重复从上述步骤S103起的处理。也就是说，计算新的下载起始点，并且优先从新的下载起始点连续对剩余的3D模型数据执行发送控制。
上面描述了根据本实施方式的操作处理的示例。图12所示的操作处理仅是示例，并且本公开不限于图12所示的示例。例如，本公开不限于图12所示的步骤的顺序。步骤中的至少一些可以并行执行，或者可以按相反的顺序执行。例如，步骤S103处的处理和步骤S106处的处理可以并行执行，或者可以按相反的顺序执行。
不必然执行图12所示的所有的处理。例如，可以跳过步骤S133处的分配计算处理以及步骤S142和S145处的数据共享。
不必然由图12所示的装置执行图12所示的所有的处理。例如，步骤S109和步骤S121处的处理可以由服务器2或中间服务器(未示出)执行。
可以在不执行步骤S133处的分配计算的情况下将数据发送至共享人的信息处理终端1中的任一个，并且可以使数据被信息处理终端1和其他共享人的信息处理终端1所共享。
作为示例，在本实施方式中使用两个信息处理终端1A和1B，但是本实施方式不限于此。信息处理终端1的数目可以是三个或更多个(即，共享人的数目可以是三个或更多个)。
<<4.硬件配置>>
接下来，下面描述根据本公开的一个实施方式的信息处理终端1和服务器2共同的信息处理装置的硬件配置示例。图13是示出根据本公开的一个实施方式的信息处理终端1和服务器2共同的信息处理装置的硬件配置示例的框图。在图13中，信息处理装置800包括例如CPU 871、ROM872、RAM 873、主机总线874、桥接器875、外部总线876、接口877、输入装置878、输出装置879、存储器880、驱动器881、连接端口882和通信装置883。本文描述的硬件配置仅是示例，并且可以省略其构成元件的一部分。硬件配置还可以包括除了本文描述的构成元件之外的构成元件。
(CPU 871)
CPU 871例如用作算术处理装置或控制装置，并且基于记录在ROM872、RAM 873、存储器880或可移除记录介质901中的各种计算机程序来控制构成元件的全部或部分操作。
具体地，CPU 871实现信息处理终端1中的控制单元12的操作。
(ROM 872,RAM 873)
ROM 872是存储由CPU 871读取的计算机程序、用于算术运算的数据等的单元。例如，RAM 873临时或永久地存储由CPU 871读取的计算机程序、在执行计算机程序时适当地变化的各种参数等。
(主机总线874、桥接器875、外部总线876、接口877)
CPU 871、ROM 872和RAM 873经由例如可以执行快速数据传输的主机总线874彼此连接。另一方面，主机总线874例如经由桥接器875连接至数据传输速度相对低的外部总线876。外部总线876经由接口877连接至各种构成元件。
(输入装置878)
使用例如鼠标、键盘、触摸面板、按钮、开关和操纵杆作为输入装置878。另外，可以使用远程控制器(在下文中，被称为“远程控件”)作为输入装置878，该远程控件能够通过利用红外线或其他无线电波来发送控制信号。输入装置878还可以包括诸如麦克风的语音输入装置。
(输出装置879)
输出装置879例如是可以以视觉或听觉方式向用户通知所获取的信息的装置，即，诸如阴极射线管(CRT)、LCD或有机EL的显示装置、诸如扬声器和耳机的音频输出装置、打印机、蜂窝电话、传真机等。根据本公开的输出装置879包括可以输出触觉刺激的各种振动装置。
(存储器880)
存储器880是用于存储各种类型的数据的装置。例如，使用诸如硬盘驱动器(HDD)的磁存储装置、半导体存储装置、光存储装置、磁光存储装置等作为存储器880。
(驱动器881)
驱动器881例如是读取记录在诸如磁盘、光盘、磁光盘或半导体存储器的可移除记录介质901中的信息或将信息写入可移除记录介质901中的装置。
(可移除记录介质901)
可移除记录介质901例如是DVD介质、Blu-ray(蓝光，注册商标)介质、HD DVD介质、各种类型的半导体存储介质等。显然，例如，可移除记录介质901可以是上面安装有非接触式IC芯片的IC卡、电子设备等。
(连接端口882)
连接端口882是例如用于连接外部连接设备902的端口，例如通用串行总线(USB)端口、IEEE1394端口、小型计算机***接口(SCSI)、RS-232C端口或光学音频端子。
(外部连接设备902)
外部连接设备902是例如打印机、便携式音乐播放器、数字相机、数字摄像机、IC记录器等。
(通信装置883)
通信装置883是用于连接至网络的通信装置，并且其示例包括用于有线或无线LAN、Wi-Fi(注册商标)、Bluetooth(蓝牙，注册商标)或无线USB(WUSB)的通信卡、用于光学通信的路由器、用于非对称数字用户线路(ADSL)的路由器、用于各种类型的通信的调制解调器等。
<<5.总结>>
上面已经参照附图详细描述了本公开的优选实施方式，但是本技术不限于此。在不背离权利要求书中公开的技术思想的情况下，本公开的领域的普通技术人员显然可以设想各种变型或修改的示例，并且这些变型或修改显然包括在本公开的技术范围内。
例如，可以创建用于使诸如并入上述信息处理终端1中的CPU、ROM和RAM的硬件用作信息处理终端1的计算机程序。另外，提供了存储有该计算机程序的计算机可读存储介质。
在本说明书中描述的效果仅作为说明或示例而被提供，而非作为限制而被提供。即，除了上述效果之外，或者代替上述效果，根据本公开的技术可以呈现本领域技术人员基于本文的描述显然可以设想到的其他效果。
本技术还可以采用以下配置。
(1)
一种信息处理装置，包括：
控制单元，其被配置成执行用于基于以下信息来确定三维图像信息的发送起始点的控制：
第一用户的位置信息和视线信息，
第二用户的位置信息和视线信息，以及
由所述第一用户和所述第二用户共享并观看的所述三维图像信息的显示位置信息。
(2)
根据(1)所述的信息处理装置，其中，所述控制单元执行用于将所述三维图像信息优先从所确定的所述发送起始点发送至信息处理终端的控制。
(3)
根据(1)或(2)所述的信息处理装置，其中，
所述控制单元
基于所述第一用户的位置信息和视线信息以及所述三维图像信息的所述显示位置信息来估计所述第一用户在所述三维图像信息中的第一注视点；
基于所述第二用户的位置信息和视线信息以及所述三维图像信息的所述显示位置信息来估计所述第二用户在所述三维图像信息中的第二注视点；以及
将所述第一注视点和所述第二注视点的重心确定为所述发送起始点。
(4)
根据(1)或(2)所述的信息处理装置，其中，
所述三维图像信息包括尺寸概要信息，并且
所述控制单元
基于所述第一用户的位置信息和视线信息以及所述三维图像信息的所述显示位置信息来估计所述第一用户在所述尺寸概要信息中的第一注视点；
基于所述第二用户的位置信息和视线信息以及所述三维图像信息的所述显示位置信息来估计所述第二用户在所述尺寸概要信息中的第二注视点；以及
将所述三维图像信息的最接近所述第一注视点和所述第二注视点的重心的顶点确定为所述发送起始点。
(5)
根据(3)或(4)所述的信息处理装置，其中,
所述三维图像信息包括预先设置的基准点，并且
所述控制单元对所述三维图像信息进行旋转，以使所述基准点最接近所述第一注视点和所述第二注视点的重心，并且所述控制单元将所述重心确定为所述发送起始点。
(6)
根据(1)或(2)所述的信息处理装置，其中，
所述三维图像信息包括预先设置的多个发送可起始点(transmission startablepoint)，并且
所述控制单元
基于所述第一用户的位置信息和视线信息以及所述三维图像信息的所述显示位置信息来估计所述第一用户在所述三维图像信息或所述三维图像信息的尺寸概要信息中的第一注视点；
基于所述第二用户的位置信息和视线信息以及所述三维图像信息的所述显示位置信息来估计所述第二用户在所述三维图像信息或所述尺寸概要信息中的第二注视点；以及
将所述发送可起始点中的最接近所述第一注视点和所述第二注视点的重心的发送可起始点确定为所述发送起始点。
(7)
根据(1)至(6)中任一项所述的信息处理装置，其中，所述控制单元执行用于将所述三维图像信息从所确定的所述发送起始点沿放射状地且均匀地扩展的方向依次发送至信息处理终端的控制。
(8)
根据(1)至(6)中任一项所述的信息处理装置，其中，所述控制单元执行用于将所述三维图像信息从所确定的所述发送起始点沿包括所述三维图像信息中预先设置的在所述发送起始点的周围的多个发送可起始点的方向依次发送至信息处理终端的控制。
(9)
根据(1)至(6)中任一项所述的信息处理装置，其中，
所述控制单元
基于与所述三维图像信息有关的其他用户的观看历史和操作历史中至少任意之一来估计所述三维图像信息中的第三注视点；以及
执行用于将所述三维图像信息从所确定的所述发送起始点沿包括所述第三注视点的方向依次发送至信息处理终端的控制。
(10)
根据(1)至(6)中任一项所述的信息处理装置，其中，
所述控制单元
计算要被发送至所述第一用户的第一信息处理终端和所述第二用户的第二信息处理终端的数据的分配；以及
执行用于在将所述三维图像信息优先从所确定的所述发送起始点发送至所述第一信息处理终端和所述第二信息处理终端时发送针对所述第一信息处理终端和所述第二信息处理终端的不同的数据的控制。
(11)
根据(1)至(10)中任一项所述的信息处理装置，其中，
所述控制单元
确定所述第一用户与所述第二用户之间的距离是否在预定范围内；以及
在所述距离在所述预定范围内的情况下，执行基于所述第一用户的位置信息和视线信息、所述第二用户的位置信息和视线信息以及所述三维图像信息的所述显示位置信息的所述发送起始点的确定控制。
(12)
一种信息处理方法，所述信息处理方法包括：
由处理器执行用于基于以下信息确定三维图像信息的发送起始点的控制：
第一用户的位置信息和视线信息，
第二用户的位置信息和视线信息，以及
由所述第一用户和所述第二用户共享并观看的所述三维图像信息的显示位置信息。
(13)
一种程序，所述程序用于使得计算机用作控制单元，所述控制单元被配置成执行用于基于以下信息确定三维图像信息的发送起始点的控制：
第一用户的位置信息和视线信息，
第二用户的位置信息和视线信息，以及
由所述第一用户和所述第二用户共享并观看的所述三维图像信息的显示位置信息。
附图标记列表
1 信息处理终端
2 服务器
11 传感器单元
12 控制单元
13 显示单元
14 扬声器
15 通信单元
16 操作输入单元
17 存储单元
20 控制单元
21 通信单元
22 存储单元
110 向外相机
111 向内相机
112 麦克风
113 陀螺仪传感器
114 加速度传感器
115 方位角传感器
116 位置测量单元
117 生物传感器
120 视线检测单元
122 自身位置指定单位
124 共享控制单元
126 显示处理单元
201 下载起始点确定单元
202 发送数据确定单元
203 数据发送控制单元

Claims (13)

1.一种信息处理装置，包括：
控制单元，所述控制单元被配置成执行用于基于以下信息来确定三维图像信息的发送起始点的控制：
第一用户的位置信息和视线信息，
第二用户的位置信息和视线信息，以及
由所述第一用户和所述第二用户共享并观看的所述三维图像信息的显示位置信息。
2.根据权利要求1所述的信息处理装置，其中，所述控制单元执行用于将所述三维图像信息优先从所确定的所述发送起始点发送至信息处理终端的控制。
3.根据权利要求1所述的信息处理装置，其中，
所述控制单元
基于所述第一用户的位置信息和视线信息以及所述三维图像信息的所述显示位置信息来估计所述第一用户在所述三维图像信息中的第一注视点；
基于所述第二用户的位置信息和视线信息以及所述三维图像信息的所述显示位置信息来估计所述第二用户在所述三维图像信息中的第二注视点；以及
将所述第一注视点和所述第二注视点的重心确定为所述发送起始点。
4.根据权利要求1所述的信息处理装置，其中，
所述三维图像信息包括尺寸概要信息，并且
所述控制单元
基于所述第一用户的位置信息和视线信息以及所述三维图像信息的所述显示位置信息来估计所述第一用户在所述尺寸概要信息中的第一注视点；
基于所述第二用户的位置信息和视线信息以及所述三维图像信息的所述显示位置信息来估计所述第二用户在所述尺寸概要信息中的第二注视点；以及
将所述三维图像信息的最接近所述第一注视点和所述第二注视点的重心的顶点确定为所述发送起始点。
5.根据权利要求3所述的信息处理装置，其中，
所述三维图像信息包括预先设置的基准点，并且
所述控制单元对所述三维图像信息进行旋转，以使所述基准点最接近所述第一注视点和所述第二注视点的重心，并且所述控制单元将所述重心确定为所述发送起始点。
6.根据权利要求1所述的信息处理装置，其中，
所述三维图像信息包括预先设置的多个发送可起始点，并且
所述控制单元
基于所述第一用户的位置信息和视线信息以及所述三维图像信息的所述显示位置信息来估计所述第一用户在所述三维图像信息或所述三维图像信息的尺寸概要信息中的第一注视点；
基于所述第二用户的位置信息和视线信息以及所述三维图像信息的所述显示位置信息来估计所述第二用户在所述三维图像信息或所述尺寸概要信息中的第二注视点；以及
将所述发送可起始点中的最接近所述第一注视点和所述第二注视点的重心的发送可起始点确定为所述发送起始点。
7.根据权利要求1所述的信息处理装置，其中，所述控制单元执行用于将所述三维图像信息从所确定的所述发送起始点沿放射状地且均匀地扩展的方向依次发送至信息处理终端的控制。
8.根据权利要求1所述的信息处理装置，其中，所述控制单元执行用于将所述三维图像信息从所确定的所述发送起始点沿包括所述三维图像信息中预先设置的在所述发送起始点的周围的多个发送可起始点的方向依次发送至信息处理终端的控制。
9.根据权利要求1所述的信息处理装置，其中，
所述控制单元
基于与所述三维图像信息有关的其他用户的观看历史和操作历史中至少任意之一来估计所述三维图像信息中的第三注视点；以及
执行用于将所述三维图像信息从所确定的所述发送起始点沿包括所述第三注视点的方向依次发送至信息处理终端的控制。
10.根据权利要求1所述的信息处理装置，其中，
所述控制单元
计算要被发送至所述第一用户的第一信息处理终端和所述第二用户的第二信息处理终端的数据的分配；以及
执行用于在将所述三维图像信息优先从所确定的所述发送起始点发送至所述第一信息处理终端和所述第二信息处理终端时发送针对所述第一信息处理终端和所述第二信息处理终端的不同的数据的控制。
11.根据权利要求1所述的信息处理装置，其中，
所述控制单元
确定所述第一用户与所述第二用户之间的距离是否在预定范围内；以及
在所述距离在所述预定范围内的情况下，执行基于所述第一用户的位置信息和视线信息、所述第二用户的位置信息和视线信息以及所述三维图像信息的所述显示位置信息的所述发送起始点的确定控制。
12.一种信息处理方法，所述信息处理方法包括：
由处理器执行用于基于以下信息确定三维图像信息的发送起始点的控制：
第一用户的位置信息和视线信息，
第二用户的位置信息和视线信息，以及
由所述第一用户和所述第二用户共享并观看的所述三维图像信息的显示位置信息。
13.一种程序，所述程序用于使得计算机用作控制单元，所述控制单元被配置成执行用于基于以下信息确定三维图像信息的发送起始点的控制：
第一用户的位置信息和视线信息，
第二用户的位置信息和视线信息，以及
由所述第一用户和所述第二用户共享并观看的所述三维图像信息的显示位置信息。
CN201880073831.8A 2017-11-21 2018-08-30 信息处理装置、信息处理方法和程序 Active CN111344776B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-223491 2017-11-21
JP2017223491 2017-11-21
PCT/JP2018/032247 WO2019102676A1 (ja) 2017-11-21 2018-08-30 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN111344776A true CN111344776A (zh) 2020-06-26
CN111344776B CN111344776B (zh) 2023-06-02

Family

ID=66631408

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880073831.8A Active CN111344776B (zh) 2017-11-21 2018-08-30 信息处理装置、信息处理方法和程序

Country Status (5)

Country Link
US (1) US11240482B2 (zh)
JP (1) JP7196856B2 (zh)
CN (1) CN111344776B (zh)
DE (1) DE112018005954T5 (zh)
WO (1) WO2019102676A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113138734A (zh) * 2020-01-20 2021-07-20 北京芯海视界三维科技有限公司 用于显示的方法、装置和产品

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002149581A (ja) * 2000-11-09 2002-05-24 Nippon Telegr & Teleph Corp <Ntt> 複数のユーザによる仮想空間共有システム
JP2002197016A (ja) * 2000-12-25 2002-07-12 Mitsubishi Electric Corp ３次元空間データ送信表示システム、３次元空間データ送信方法、３次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体、３次元空間データ表示方法、３次元空間表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体、３次元空間データ送信及び表示方法、及び３次元空間データ送信及び表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2002279449A (ja) * 2001-03-19 2002-09-27 Mitsubishi Electric Corp ３次元空間データ送信表示装置、３次元空間データ送信方法、３次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2006054830A (ja) * 2004-08-16 2006-02-23 Sony Corp 画像圧縮通信方法及び装置
US20110063293A1 (en) * 2009-09-15 2011-03-17 Kabushiki Kaisha Toshiba Image processor
CN105452994A (zh) * 2013-06-18 2016-03-30 微软技术许可有限责任公司 虚拟物体的同时优选观看
CN106445129A (zh) * 2016-09-14 2017-02-22 乐视控股（北京）有限公司 全景图像信息显示方法、装置及***
US20170108922A1 (en) * 2015-10-19 2017-04-20 Colopl, Inc. Image generation device, image generation method and non-transitory recording medium storing image generation program
US20170150230A1 (en) * 2014-07-03 2017-05-25 Sony Corporation Information processing apparatus, information processing method, and program

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10275247A (ja) * 1997-02-03 1998-10-13 Fujitsu Ltd 仮想世界記述データ表示方法
JPH11237867A (ja) * 1998-02-20 1999-08-31 Shimadzu Corp 仮想空間表示装置
JP2005050081A (ja) * 2003-07-28 2005-02-24 Matsushita Electric Ind Co Ltd ３次元仮想空間情報を共有する通信装置
US9348141B2 (en) * 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
CN108605148B (zh) * 2016-02-09 2022-02-11 索尼互动娱乐股份有限公司 视频显示***
CN106997281A (zh) * 2017-04-10 2017-08-01 北京小米移动软件有限公司 共享虚拟对象的方法及智能设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002149581A (ja) * 2000-11-09 2002-05-24 Nippon Telegr & Teleph Corp <Ntt> 複数のユーザによる仮想空間共有システム
JP2002197016A (ja) * 2000-12-25 2002-07-12 Mitsubishi Electric Corp ３次元空間データ送信表示システム、３次元空間データ送信方法、３次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体、３次元空間データ表示方法、３次元空間表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体、３次元空間データ送信及び表示方法、及び３次元空間データ送信及び表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2002279449A (ja) * 2001-03-19 2002-09-27 Mitsubishi Electric Corp ３次元空間データ送信表示装置、３次元空間データ送信方法、３次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2006054830A (ja) * 2004-08-16 2006-02-23 Sony Corp 画像圧縮通信方法及び装置
US20110063293A1 (en) * 2009-09-15 2011-03-17 Kabushiki Kaisha Toshiba Image processor
CN105452994A (zh) * 2013-06-18 2016-03-30 微软技术许可有限责任公司 虚拟物体的同时优选观看
US20170150230A1 (en) * 2014-07-03 2017-05-25 Sony Corporation Information processing apparatus, information processing method, and program
US20170108922A1 (en) * 2015-10-19 2017-04-20 Colopl, Inc. Image generation device, image generation method and non-transitory recording medium storing image generation program
CN106445129A (zh) * 2016-09-14 2017-02-22 乐视控股（北京）有限公司 全景图像信息显示方法、装置及***

Also Published As

Publication number Publication date
US11240482B2 (en) 2022-02-01
DE112018005954T5 (de) 2020-08-20
WO2019102676A1 (ja) 2019-05-31
CN111344776B (zh) 2023-06-02
JPWO2019102676A1 (ja) 2020-12-24
US20200396438A1 (en) 2020-12-17
JP7196856B2 (ja) 2022-12-27

Similar Documents

Publication Publication Date Title
US10551834B2 (en) Method and electronic device for controlling unmanned aerial vehicle
US11068050B2 (en) Method for controlling display of virtual image based on eye area size, storage medium and electronic device therefor
CN110954083B (zh) 移动设备的定位
KR102349716B1 (ko) 영상 공유 방법 및 이를 수행하는 전자 장치
US20130120224A1 (en) Recalibration of a flexible mixed reality device
JP2015095802A (ja) 表示制御装置、表示制御方法、およびプログラム
JP2018522324A (ja) 拡張現実システムに結合されるプライバシーセンシティブ消費者カメラ
US20210099639A1 (en) Automated eyewear device sharing system
US11228737B2 (en) Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium
US10521013B2 (en) High-speed staggered binocular eye tracking systems
US20200286276A1 (en) Electronic device and method for displaying and generating panoramic image
EP3342162B1 (en) Electronic device and method for displaying and generating panoramic image
JP2016045874A (ja) 情報処理装置、情報処理方法、及びプログラム
EP3528024B1 (en) Information processing device, information processing method, and program
CN111712780A (zh) 用于增强现实的***和方法
CN118103799A (zh) 与远程设备的用户交互
US20200143774A1 (en) Information processing device, information processing method, and computer program
CN111344776B (zh) 信息处理装置、信息处理方法和程序
JPWO2020044949A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20210232219A1 (en) Information processing apparatus, information processing method, and program
CN111566597A (zh) 信息处理设备、信息处理方法和程序
US11448884B2 (en) Image based finger tracking plus controller tracking
US20170155892A1 (en) Wearable stereoscopic camera system for 3d virtual reality imaging and networked area learning
JP6941715B2 (ja) 表示装置、表示プログラム、表示方法及び表示システム
US11176375B2 (en) Smart glasses lost object assistance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant