CN113875227A - 信息处理设备、信息处理方法和程序 - Google Patents

信息处理设备、信息处理方法和程序 Download PDF

Info

Publication number
CN113875227A
CN113875227A CN201980096271.2A CN201980096271A CN113875227A CN 113875227 A CN113875227 A CN 113875227A CN 201980096271 A CN201980096271 A CN 201980096271A CN 113875227 A CN113875227 A CN 113875227A
Authority
CN
China
Prior art keywords
content
display
control unit
information processing
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980096271.2A
Other languages
English (en)
Inventor
德武健司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN113875227A publication Critical patent/CN113875227A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

为了更安全地观看与现实空间融合的AR内容。提供一种信息处理设备，包括控制单元，所述控制单元控制布置在用户眼前的显示装置进行的AR内容的显示，其中所述控制单元控制AR内容的显示方式，使得与显示原始内容的情况相比，用户对现实空间的观察水平的降低程度减小。此外，提供一种信息处理方法，包括通过处理器，控制布置在用户眼前的显示装置进行的AR内容的显示，其中所述控制还包括控制AR内容的显示方式，使得与显示原始内容的情况相比，用户对现实空间的观察水平的降低程度减小。

Description

信息处理设备、信息处理方法和程序
技术领域
本公开涉及信息处理设备、信息处理方法和程序。
背景技术
近年来，开发了利用增强现实(AR)技术的服务，以及用于实现所述服务的装置。例如，专利文献1公开了用于实现AR技术的头戴式显示器。
引文列表
专利文献
专利文献1：JP 2011-2753 A
发明内容
技术问题
顺便提及，在穿戴了头戴式显示器(诸如专利文献1中所公开的头戴式显示器)的用户在进行诸如步行之类的动作的同时观看AR内容的情况下，对存在于现实空间中的物体等的观察水平有可能由于所显示的AR内容而降低。
问题的解决方案
按照本公开，提供一种信息处理设备，所述信息处理设备包括：控制单元，所述控制单元控制布置在用户眼前的显示装置进行的AR内容的显示，其中所述控制单元控制AR内容的显示方式，使得与显示原始内容的情况相比，用户对现实空间的观察水平的降低程度减小。
此外，按照本公开，提供一种信息处理方法，所述方法包括通过处理器控制布置在用户眼前的显示装置进行的AR内容的显示，其中所述控制还包括控制AR内容的显示方式，使得与显示原始内容的情况相比，用户对现实空间的观察水平的降低程度减小。
此外，按照本公开，提供一种程序，所述程序使计算机起信息处理设备的作用，所述信息处理设备包括控制单元，所述控制单元控制布置在用户眼前的显示装置进行的AR内容的显示，其中所述控制单元控制AR内容的显示方式，使得与显示原始内容的情况相比，用户对现实空间的观察水平的降低程度减小。
附图说明
图1是用于说明一般的头戴式显示器进行的AR内容的显示的示图。
图2是图示按照本公开的实施例的AR内容显示的例子的示图。
图3是图示按照实施例的信息处理***的构成例子的示图。
图4是图示按照实施例的信息处理终端10和头戴式显示器20的功能构成例子的方框图。
图5是图示在按照实施例的头戴式显示器20独立进行AR内容的显示控制的情况下的详细构成的例子的方框图。
图6是图示按照实施例的用于实现SLAM的软件的构成例子的示图。
图7是图示按照实施例的在信息处理终端10进行SLAM和AR内容的显示控制的情况下的详细构成的例子的方框图。
图8是用于说明按照实施例的根据包含主要被摄体的再现场景的AR内容的显示控制的示图。
图9是用于说明按照实施例的与每个再现场景的代表图像对应的AR内容的显示控制的示图。
图10是用于说明按照实施例的基于再现场景或用户的动作状态的AR内容的显示位置控制的示图。
图11是图示按照实施例的基于乐曲数据指定再现场景特性和基于再现场景特性的AR内容的显示控制的流程的流程图。
图12是图示按照实施例的基于乐曲数据的聚类的例子的示图。
图13是用于说明按照实施例的基于存在于现实空间中的物体的识别结果的AR内容的显示控制的示图。
图14是图示按照实施例的基于用户的手势的AR内容的显示控制的例子的示图。
图15是图示按照实施例的基于用户的手势的AR内容的显示控制的例子的示图。
图16是用于说明按照实施例的基于VR内容的AR内容的生成的示图。
图17是用于说明按照实施例的基于AR内容的VR内容的生成的示图。
图18是用于说明按照实施例的采用VR格式的图像信息的存储的示图。
图19是用于说明按照实施例的采用VR格式的图像信息的存储的示图。
图20是图示按照本公开的实施例的硬件构成例子的示图。
具体实施方式
下面将参考附图详细说明本公开的优选实施例。在本说明书和附图中，功能构成实质相同的组成元件被赋予相同的附图标记，并省略其重复的说明。
将按照以下顺序进行说明。
1.实施例
1.1.概述
1.2.***构成例子
1.3.功能构成例子
1.4.详细构成例子
1.5.AR内容的显示控制
2.总结
<1.实施例>
<<1.1.概述>>
首先，将说明本公开的实施例的概况。如上所述，近年来，开发了利用AR技术的许多服务以及用于实现服务的装置。装置的例子包括头戴式显示器，诸如在专利文献1中公开的头戴式显示器。
通过使用透视型(包括视频透视型和光学透视型)头戴式显示器，诸如在专利文献1中公开的头戴式显示器，用户可以在视觉上识别现实空间的同时，观看显示在显示器上的AR内容。
然而，例如，在用户在移动的同时(例如在步行的同时)观看AR内容的情况下，对存在于现实空间中的物体等的观察水平有可能由于所显示的AR内容而降低。
图1是用于说明一般的头戴式显示器进行的AR内容的显示的示图。图1图示穿戴一般的头戴式显示器90的用户的视野的例子。注意，在图1中所图示的例子中，用户通过使用头戴式显示器90，观看由视频流服务提供的作为AR内容C的视频内容。
如图1中所图示的例子中那样，在头戴式显示器90在用户视野的中央部分显示AR内容C的情况下，用户的大部分视野被AR内容C占据，因此用户对现实空间(即，通过透视型显示器可以视觉识别的物体、景色等)的观察水平显著降低。
在用户进行诸如步行或者驾驶车辆之类的动作的情况下，用户受显示的AR内容C妨碍，无法在视觉上识别存在于移动方向上的物体、地形等，从而例如可能会撞到某物或者跌倒。
按照本公开的技术思想是着眼于上述几点来构思的，并且使与现实空间融合的AR内容的更安全观看成为可能。为此，按照本公开的实施例的信息处理设备包括控制单元，该控制单元控制布置在用户眼前的显示装置进行的AR内容的显示。此外，按照本公开的实施例的控制单元的特征之一是控制AR内容的显示方式，使得与显示原始内容的情况相比，用户对现实空间的观察水平的降低程度减小。
图2是图示按照本实施例的显示的AR内容的例子的示图。图2图示了穿戴按照本实施例的头戴式显示器20的用户的视野的例子。注意，头戴式显示器是按照本公开的信息处理设备的例子。
在图2中，和在图1中一样，用户正观看由视频流服务提供的作为AR内容的视频内容。同时，在图2中所图示的例子中，按照本实施例的头戴式显示器20显示其中从所述视频内容(称为原始内容)中除去了不包括对应于三个人的主要被摄体MS1～MS3的背景的AR内容C。
按照上述控制，能够减小AR内容C叠加在现实空间上的区域，因此能够有效地使用户对现实空间的观察水平的降低程度保持较小。
按照本实施例的主要被摄体例如可以是认为用户在诸如视频内容之类的原始内容中更关注的被摄体。例如，在原始内容是乐曲推广视频、戏剧、电影等的情况下，按照本实施例的主要被摄体可以是人物(表演者)，如图2中所图示。
如上所述，根据按照本实施例的信息处理方法，能够从原始内容中提取与认为用户更关注的被摄体(即，认为用户更想观看的被摄体)对应的区域，并将该区域显示为AR内容。
这使得能够减小AR内容叠加在现实空间上的区域，从而提高安全性并且因为能够显示保持用户的兴趣的内容而提供高品质的AR体验。
注意，图2中所图示的显示控制仅仅是例子，按照本实施例的AR内容的显示控制不限于这样的例子。下面将详细说明按照本实施例的显示控制的具体例子以及用于实现各种显示控制的构成。
<<1.2.***构成例子>>
首先，将说明按照本实施例的信息处理***的构成例子。图3是图示按照本实施例的信息处理***的构成例子的示图。如图3中所图示的，按照本实施例的信息处理***包括信息处理终端10和头戴式显示器20。此外，信息处理终端10和头戴式显示器20通过网络30连接以便与彼此可通信。
(信息处理终端10)
信息处理终端10是实现按照本实施例的信息处理方法的信息处理设备的例子。按照本实施例的信息处理终端10经由网络30控制头戴式显示器20进行的AR显示。按照本实施例的信息处理终端10例如可以是易于随身携带的小型电子装置，诸如智能电话。可替代的，按照本实施例的信息处理终端10可以是服务器。
(头戴式显示器20)
按照本实施例的头戴式显示器20是包括透视型显示器并且使用户能够在视觉上识别现实空间和观看AR内容的装置。按照本实施例的头戴式显示器20例如可以基于信息处理终端10的控制来显示AR内容。
按照本实施例的头戴式显示器20例如可以是眼镜式装置或预防性装置。可替代地，头戴式显示器20例如可以是可以安装在普通眼镜等上的外部装置。
(网络30)
网络30具有连接信息处理终端10和头戴式显示器20的功能。网络30可以包括诸如Wi-Fi(注册商标)或蓝牙(注册商标)之类的无线通信网络。此外，网络30可以包括诸如长期演进(LTE)之类的移动通信网络。
上面说明了按照本实施例的信息处理***的构成例子。注意，上面参考图3说明的构成仅仅是例子，按照本实施例的信息处理***的构成不限于这样的例子。例如，上面说明了信息处理终端10通过网络30控制头戴式显示器20进行的AR内容的显示的情况作为例子。另一方面，不一定需要信息处理终端10的控制，按照本实施例的头戴式显示器20可以独立实现按照本实施例的信息处理方法。
<<1.3.功能构成例子>>
接下来，将说明按照本实施例的信息处理终端10和头戴式显示器20的功能构成例子。图4是图示按照本实施例的信息处理终端10和头戴式显示器20的功能构成例子的方框图。注意，在下文中，将说明信息处理终端10控制头戴式显示器20进行的AR显示的情况作为主要例子。
(信息处理终端10)
((拍摄单元110))
按照本实施例的拍摄单元110具有拍摄现实空间的功能。例如，在头戴式显示器20不具有拍摄功能的情况下，将在后面说明的控制单元130可以基于由拍摄单元110拍摄的现实空间的图像信息来控制头戴式显示器20进行的AR显示。这种情况下，拍摄单元110被布置成能够拍摄与用户通过头戴式显示器20视觉识别现实空间的方向相同的方向。
((传感器单元120))
按照本实施例的传感器单元120具有收集各种传感器信息(诸如加速度和角速度)的功能。例如，在头戴式显示器20不具有收集诸如上述那些的传感器信息的功能的情况下，将在后面说明的控制单元130可以基于由传感器单元120收集的传感器信息来控制头戴式显示器20进行的AR显示。
((控制单元130))
按照本实施例的控制单元130整体控制包含在信息处理终端10中的组成元件。此外，按照本实施例的控制单元130具有基于拍摄的图像信息和收集的传感器信息来控制头戴式显示器20进行的AR显示的功能。按照本实施例的控制单元130的特征之一是控制头戴式显示器20的输出单元240显示AR内容的方式，使得与输出单元240显示原始内容的情况相比，用户对现实空间的观察水平的降低程度减小。
例如，如图2中所图示，按照本实施例的控制单元130可以使输出单元240显示通过从原始内容中除去不包括主要被摄体的背景而获得的AR内容。
注意，上述显示方式可以包括AR内容的显示内容、显示位置、显示定时等。按照本实施例的控制单元130的功能的细节将在后面说明。
((输出单元140))
按照本实施例的输出单元140基于控制单元130的控制输出各种信息。为此，按照本实施例的输出单元140包括显示装置、扬声器等。
((通信单元150))
按照本实施例的通信单元150通过网络30进行与头戴式显示器20的信息通信。
((头戴式显示器20))
((拍摄单元210))
按照本实施例的拍摄单元210具有拍摄现实空间的功能。按照本实施例的拍摄单元210被布置成能够拍摄与用户通过输出单元240视觉识别现实空间的方向相同的方向，这将在后面说明。
((传感器单元220))
按照本实施例的传感器单元220具有收集各种传感器信息(诸如加速度和角速度)的功能。
((控制单元230))
按照本实施例的控制单元230共同地控制包含在头戴式显示器20中的组成元件。此外，控制单元230基于信息处理终端10的控制，进行与AR内容的显示相关的处理。例如，控制单元230可以将与信息处理终端10的控制单元130生成的AR内容相关的图像信息、控制信号等传递给输出单元240。
此外，在头戴式显示器20不受信息处理终端10的控制而独立地显示AR内容的情况下，按照本实施例的控制单元230可以具有与信息处理终端10的控制单元130等同的显示控制功能。即，在这种情况下，控制单元230可以控制AR内容的显示方式，使得与显示原始内容的情况相比，用户对现实空间的观察水平的降低程度减小。
((输出单元240))
按照本实施例的输出单元240基于控制单元130或控制单元230的控制来显示AR内容。为此，按照本实施例的输出单元240至少包括布置在穿戴头戴式显示器20的用户的眼前的显示装置。此外，输出单元240可以包括用于输出伴随AR内容的声音的扬声器等。
((通信单元250))
按照本实施例的通信单元250通过网络30进行与信息处理终端10的信息通信。
上面说明了按照本实施例的信息处理终端10和头戴式显示器20的功能构成例子。注意，上面参考图4说明的构成仅仅是例子，按照本实施例的信息处理终端10和头戴式显示器20的功能构成不限于这样的例子。如上所述，按照本实施例的头戴式显示器20可以不受信息处理终端10的控制而独立地显示AR内容。
<<1.4.详细构成例子>>
接下来，将以具体例子来说明按照本实施例的信息处理终端10和头戴式显示器20的详细构成。
如上所述，按照本实施例的头戴式显示器20可以独立地或者基于信息处理终端10的控制来显示AR内容。首先，将说明在按照本实施例的头戴式显示器20独立显示AR内容的情况下的详细构成例子。图5是图示在按照本实施例的头戴式显示器20独立进行AR内容的显示控制的情况下的详细构成的例子的方框图。
这种情况下，控制单元230包括片上***(SoC)、OS、AR框架、应用等。控制单元230通过基于由包含在拍摄单元210中的摄像头拍摄的图像信息和从包含在传感器单元220中的惯性测量单元(IMU)接收的传感器信息(加速度信息和角速度信息)进行即时定位与地图构建(SLAM)来生成环境地图和姿势图(姿态图)。
即，控制单元230可以基于图像信息和传感器信息来识别包括物体的空间(环境地图)，并且可以掌握摄像头在识别的空间中的位置和姿态(姿势图)。
下面将详细说明实现SLAM的软件构成的例子。图6是图示按照本实施例的用于实现SLAM的软件的构成例子的示图。如图6中所图示，按照本实施例的实现SLAM的软件可以分为前端和后端。
在前端，顺序输入拍摄单元210获取的图像信息和传感器单元220获取的传感器信息，进行数据的关联、环境地图的实时更新以及姿势图的生成。
由于SLAM是基于传感器信息的估计技术，因此误差会随着环境地图的变大而累积。于是，当通过循环同一路径观察同一点时，重要的是通过检测所述循环并闭合所述循环来显著减少累积误差。于是，在前端，可以执行用于检测此类循环的循环检测。
在后端，执行诸如使环境地图与服务器同步之类的大幅更新环境地图的批处理。此外，在后端，执行伴随循环检测的姿势校正等。由于环境地图的更新和使用增大了计算量，因此通过使用基于头戴式显示器20的运动来估计位置的姿势图，能够减少计算量并确保性能。注意，可以在与前端不同的线程中执行后端。这使得能够在不影响实时性的情况下进行处理。
控制单元230可以基于如上所述生成的环境地图和姿势图来确定AR内容的显示方式，诸如AR内容的显示内容、显示位置、大小、以及显示定时，并且可以使包含在输出单元240中的显示装置输出确定的方式。
按照上述构成，AR内容可以由头戴式显示器20单独显示。另一方面，这种情况下，由于控制单元230进行与SLAM和AR内容的显示控制相关的所有处理，因此控制单元230需要具有充裕的计算资源，这会招致头戴式显示器20的尺寸的增大。
鉴于此，根据按照本实施例的信息处理方法，与SLAM和AR内容的显示控制相关的处理由信息处理终端10进行，使得能够减轻头戴式显示器20侧的处理负荷，并且能够进一步减小头戴式显示器20的尺寸。
图7是图示按照本实施例的在信息处理终端10进行SLAM和AR内容的显示控制的情况下的详细构成的例子的方框图。
这种情况下，如图7中所图示，控制单元130具有与图5中所图示的控制单元230类似的构成。控制单元130可以通过通信单元150和通信单元250中包含的无线通信装置，分别从头戴式显示器20的拍摄单元210和传感器单元220接收图像信息和传感器信息，并执行与SLAM和AR内容显示相关的处理。
注意，控制单元230可以通过使用手势识别装置从接收的图像信息识别用户的手势，并基于识别结果来控制AR内容的显示。按照本实施例的控制单元230的手势识别功能将在后面说明。
此外，这种情况下，头戴式显示器20的控制单元230可以通过使用运动检测器，检测按时间序列从拍摄单元210输入的多条图像信息之间的差异，并且只有在检测到差异的情况下，即，只有在图像信息中存在变化的情况下，才将图像信息发送给信息处理终端10。按照这种控制，可以减少发送的图像信息的量，从而可以有效地抑制通信量。
<<1.5.AR内容的显示控制>>
接下来，将以具体例子详细说明按照本实施例的AR内容的显示控制。尽管图2中说明了按照本实施例的头戴式显示器20显示通过从原始内容中除去不包括主要被摄体的背景而获得的AR内容的情况作为例子，不过，按照本实施例的头戴式显示器20不限于上述例子，而是可以以各种方式显示AR内容。注意，下面将说明信息处理终端10的控制单元130控制由头戴式显示器20的输出单元240进行的AR内容的显示的情况为主要例子。
例如，在原始内容是视频内容的情况下，按照本实施例的控制单元130可以按照原始内容的再现场景来控制AR内容的显示方式。例如，按照本实施例的控制单元130可以只有在原始内容的再现场景包含主要被摄体的情况下才使输出单元240显示与再现场景对应的AR内容。
图8是用于说明按照本实施例的根据包含主要被摄体的再现场景的AR内容的显示控制的示图。例如，在诸如乐曲推广视频之类的视频内容中，经常使用不包含诸如艺术家之类的主要被摄体的再现场景。在持续不断地原样显示此类视频内容作为AR内容的情况下，设想由于频繁变化的再现场景而使用户从现实空间分心的状况。
于是，如图8中所图示，按照本实施例的控制单元130可以只在再现场景包含主要被摄体MS的情况下，才使输出单元240显示与再现场景对应的AR内容C。按照这种控制，通过将AR内容C的显示内容限定为用户想要注视的被摄体，能够缩短AR内容C的显示时间，并且能够有效地使用户对现实空间的观察水平的降低程度保持较小。
注意，例如，控制单元130可以将出现在视频内容中的人物设定为主要被摄体，并通过进行面部检测处理等，提取包含主要被摄体的再现场景。此外，控制单元130还可以基于伴随视频内容的元数据，提取包含主要被摄体的再现场景。例如，在元数据中包含每个再现场景(帧)的被摄体信息的情况下，可以允许用户指定用户想要观看的主要被摄体(例如，仅人物之中的主唱(vocal))。
此外，按照本实施例的控制单元130可以从原始视频内容中提取每个再现场景的代表图像，并使输出单元240输出该代表图像作为AR内容。图9是用于说明按照本实施例的与每个再现场景的代表图像对应的AR内容的显示控制的示图。
如上所述，在诸如乐曲推广视频之类的其显示内容显著变化的视频内容被原样显示为AR内容的情况下，频繁变化的再现场景有可能使用户分心。
于是，按照本实施例的控制单元130可以针对每个再现场景提取代表图像(静止图像)，并使输出单元240在同一再现场景继续的时候，连续不断地输出该代表图像作为AR内容。
例如，在图9中所图示的例子中，在再现场景“前奏”继续的时候，控制单元130继续使输出单元240显示“前奏”的代表图像作为AR内容C1。
另一方面，在再现场景被切换到“主歌(Verse)”的情况下，控制单元130使输出单元240显示“主歌”的代表图像作为AR内容C，并继续该显示直到“主歌”结束为止。
按照这样的显示控制，通过使AR内容的变化不太频繁，在减小用户对现实空间的观察水平的降低程度的同时，向用户呈现代表再现场景的视觉信息，从而能够确保用户的满足度。
接下来，将说明按照本实施例的根据再现场景和用户的动作状态的AR内容的显示控制。在正常情况下，例如，如图8和9中所图示，控制单元130可以在用户的视野的周边显示AR内容C。按照这样的显示控制，用户的视野的中央部分不被遮挡，因此能够减小用户对现实空间的观察水平的降低程度。
另一方面，在总是进行这种显示的情况下，还设想想要观看AR内容的用户的满意度降低。鉴于此，按照本实施例的控制单元130可以基于视频内容的再现场景或用户的动作状态来动态地控制AR内容的显示位置。
图10是用于说明按照本实施例的基于再现场景或用户的动作状态的AR内容的显示位置控制的示图。
图10的上部图示在用户进行诸如步行之类的动作的情况下的AR内容的显示例子。这种情况下，如上所述，控制单元130可以在用户的视野的周边部分显示AR内容C。按照这样的显示控制，能够使用户的视野的中央部分不被占据，从而减小用户对现实空间的观察水平的降低程度。
注意，在如图10中所图示的AR内容C包括多个主要被摄体MS1～MS3的情况下，控制单元130可以进行控制使得在用户的视野的周边部分中分别地显示主要被摄体MS1～MS3。
另一方面，图10的下部图示在用户静止的情况下或者在再现场景是原始内容中的主要场景的情况下的AR内容的显示例子。
例如，在用户静止的情况下，设想即使如图10中所图示的在用户的视野的中央部分显示AR内容C，用户将碰撞其他物体或者被绊倒的可能性也显著地低。
因此，按照本实施例的控制单元130可以在用户正在移动的情况下，在用户的视野的周边部分显示AR内容，并且可以在用户静止的情况下，在用户的视野的中央部分显示AR内容。
此外，例如，在再现场景是原始内容中的主要场景(诸如乐曲推广视频中的副歌部分)的情况下，设想与其他再现场景相比，用户期望看到更多。
因此，按照本实施例的控制单元130可以在再现场景不是原始内容中的主要场景的情况下，在用户的视野的周边部分显示AR内容，并且可以在再现场景是原始内容中的主要场景的情况下，在用户的视野的中央部分显示AR内容。
如上所述，按照本实施例的控制单元130可以基于原始内容的再现场景或用户的动作状态来动态控制AR内容的显示位置。按照这样的控制，通过按照状况改变确保用户的视野或观看AR内容的优先级程度，能够实现质量更高的AR体验。
注意，控制单元130可以通过分析原始内容来指定包含在原始内容中的各个再现场景的特性。例如，在原始内容是乐曲推广视频的情况下，控制单元130可以基于包含在原始内容中的乐曲数据来指定各个再现场景的特性。
图11是图示按照本实施例的基于乐曲数据指定再现场景特性和基于再现场景特性的AR内容的显示控制的流程的流程图。
参考图11，首先，控制单元130载入原始内容(S1101)。
接下来，控制单元130判定该内容是否是首次再现(S1102)。
在该内容是首次再现的情况下(S1101：是)，控制单元130随后判定是否存在乐曲数据(S1103)。
在不存在乐曲数据的情况下(S1103：否)，控制单元130结束例子的处理。
同时，在存在乐曲数据的情况下(S1103：是)，控制单元130解码乐曲数据(S1104)。
接下来，控制单元130使包含在输出单元240中的扬声器输出通过步骤S1104的解码而获取的脉冲编码调制(PCM)数据(S1105)。
此外，控制单元130对PCM数据进行傅里叶变换，并执行基于由此获取的功率谱图的聚类(S1106)。
按照上述的聚类，例如，能够将在是否存在乐器或声乐的输出、或者曲调、节奏等方面相似的片段分类为群集，即，再现场景。
图12是图示按照本实施例的基于乐曲数据的聚类的例子的示图。图12的上部图示一首乐曲“ABC”的片段构成。在图12中所图示的例子中，乐曲ABC包括前奏、主歌、桥段、副歌、间奏和尾奏。
在进行聚类的情况下，可以如在图12的下部所图示的那样，对乐曲数据“ABC”的再现场景分类。注意，图12中的数字分别指示从内容的开始起过去的时间。这样的聚类数据可以用于内容的第二次再现或后续再现。
再次参考图11，将说明基于再现场景的特性的AR内容的显示控制的流程。在步骤S1102中内容不是首次再现的情况下，即，在内容是第二次再现或后续再现的情况下，控制单元130判定是否存在乐曲数据(S1107)。
在不存在乐曲数据的情况下(S1107：否)，控制单元130结束一系列的处理。
同时，在存在乐曲数据的情况下(S1107：是)，控制单元130解码乐曲数据(S1108)。
接下来，控制单元130使包含在输出单元240中的扬声器输出通过步骤S1108的解码而获取的PCM数据(S1109)。
此外，控制单元130基于在内容的首次再现时在步骤S1106获取的聚类数据控制AR内容的显示(S1110)。
例如，在再现场景对应于群集“速度：快，音：声”的情况下，控制单元130可以判定再现场景是原始内容中的主要场景，并在用户的视野的中央部分显示AR内容C，如在图10的下部所图示。如上所述，根据按照本实施例的聚类，能够按照乐曲的速度改变AR内容的移动，或者按照声音的性质改变AR内容的表现。例如，在“音：声”的情况下，可以进行主要显示人物的叠加显示，而在“音：乐器”的情况下，聚焦于对背景的效果，使得它可以用作增强音乐场景的表现力的输入。
如上所述，按照本实施例的控制单元130可以通过分析乐曲数据等来指定包含在原始内容中的再现场景的特性，并基于所述特性进行AR内容的显示控制。注意，上述方法仅仅是例子，可以按照原始内容的类型，适当地选择与再现场景相关的分析方法。此外，控制单元130还可以从伴随原始内容的元数据等中获取再现场景的特性。
尽管上面说明了由信息处理终端10进行乐曲数据的聚类的例子，不过乐曲数据的聚类也可以由单独设置的服务器进行。这种情况下，在服务器中预先进行乐曲数据的聚类，并存储聚类数据。当再现AR内容时，各个用户可以通过经由与服务器的通信接收聚类数据来观看根据再现场景的特性的AR内容。
这种情况下，可以只对代表性的多条内容准备聚类数据，而不是对包括乐曲数据的所有条的内容预先生成聚类数据。例如，可以将已经由用户再现达预定次数或更多次的多条内容设定为代表性内容，或者可以将在预定时期内位于总再现次数顶部的多条内容设定为代表性内容。
接下来，将说明按照本实施例的基于存在于现实空间中的物体的识别结果的AR内容的显示控制。例如，在识别到存在于现实空间中的广告媒体的情况下，按照本实施例的控制单元130可以在与该广告媒体对应的位置显示AR内容。
图13是用于说明按照本实施例的基于存在于现实空间中的物体的识别结果的AR内容的显示控制的示图。图13图示了存在于现实空间中的建筑物B1～B3。广播媒体A1和A2分别安装在建筑物B1和B2中。广告媒体A1例如可以是招牌广告，而广告媒体A2例如可以是大型显示器。
控制单元130可以基于由头戴式显示器20的拍摄单元210拍摄的图像信息来识别广告媒体A1和A2。例如，控制单元130可以通过使用检测矩形区域的检测器来识别广告媒体A1和A2。
这种情况下，控制单元130可以分别在与所识别的广告媒体A1和A2对应的位置显示AR内容C1和AR内容C2。按照这样的控制，存在于现实空间中的广告媒体可以用作AR内容的显示媒体，并且能够实现在不缩小用户的视野的情况下融入景色的自然AR显示。
注意，控制单元130不仅可以使用广告媒体，而且可以使用各种矩形区域来显示AR内容。例如，控制单元130可以检测建筑物B3的多个窗户作为矩形区域并且在矩形区域中显示AR内容。
此外，按照本实施例的控制单元130可以基于诸如在用户前面的墙壁之类的平面的检测来控制AR内容的显示。例如，在图14中所图示的例子中，控制单元130基于由头戴式显示器20的拍摄单元210拍摄的图像信息，检测在用户前面的墙壁W。
这种情况下，控制单元130可以显示与在墙壁W的检测之前接收的消息的通知相关的AR内容C1，从而在墙壁W上具有叠加的显示。
例如，在步行期间接收到诸如SNS消息之类消息的情况下，不考虑状况地将与该消息相关的通知显示为即时AR内容可能会引起用户不必要的关注，从而降低用户对现实空间的观察水平。
因此，控制单元130在检测到诸如墙壁或屏幕之类的平面，并且用户已停止步行的情况下，进行与消息的通知相关的AR显示，从而允许用户在更安全的状况下查看消息。
这同样适用于例如视频通话等，在检测到诸如墙壁W之类的平面的情况下，在所述检测之前显示在用户的视野的周边部分的AR内容C2可以显示在用户的视野的中央部分。如上所述，按照本实施例的控制单元130可以基于存在于现实空间中的各种物体的识别结果来控制AR内容的显示方式。
注意，除了这种控制之外，控制单元130还可以基于例如识别的物体或平面的颜色来控制AR内容的显示方式。例如，AR内容在背景为黑色时易于视觉识别，但是在背景颜色为浅色时难以视觉识别。鉴于此，例如，控制单元130可以校正整个图像，使得AR内容相对于所识别的物体或平面的亮度变得易于视觉识别，或者可以在更容易看得见的位置显示AR内容。
接下来，将说明按照本实施例的基于手势识别的AR内容的显示控制。按照本实施例的控制单元130可以基于由头戴式显示器20的拍摄单元210拍摄的图像信息来识别用户的手势，并基于所述手势控制AR内容的显示方式。
例如，在图14中所图示的例子中，用户通过使用手UH进行捏住AR内容C1的手势。这种情况下，例如，控制单元130可以判定输入与信息处理终端10上的轻击动作类似，并按照该输入控制显示AR内容C1的方式。
此外，例如，在用户在捏住AR内容C1的同时，向上、向下、向左、向右等移动手UH的情况下，控制单元130可以判定输入类似于信息处理终端10上的拖动动作，并按照该输入控制显示AR内容C1的方式。
按照这样的控制，用户无需每次取出信息处理终端10，即可轻松且直观地操作应用，可以提供更加便利的AR体验。
此外，按照本实施例的控制单元130还可以使输出单元140显示用于接受与用户的按键输入对应的手势的AR内容。例如，在图15中所图示的例子中，控制单元130识别出用户注视手UH，并在手UH上显示用于接受数字键的输入的AR内容C。
这种情况下，当用户进行用另一只手按压叠加在他或她的手UH上的AR内容C的手势时，用户可以在获得与按压位置相关的触觉反馈的同时，输入期望的数字。通过使AR内容C的显示位置与用户的手势位置关联，控制单元130可以指定用户期望输入的数字。
上面说明了按照本实施例的基于手势识别的AR内容的显示控制。接下来，将说明按照本实施例的基于虚拟实现(VR)内容的AR内容的生成。
不同于AR内容，在VR内容的情况下，图像显示在用户的整个视野中，因此在室外移动的同时欣赏VR内容是非常困难的。于是，在本实施例中，通过将VR内容重建为AR内容，允许用户轻松地在室外欣赏喜欢的内容。
图16是用于说明按照本实施例的基于VR内容的AR内容的生成的示图。图16的左侧图示用户U使用VR装置40观看360度VR内容VC的状态。
例如，控制单元130从VR内容VC中提取运动物体，并除去不包括该物体的背景。接下来，如在图的右侧所图示，控制单元130将提取的物体作为AR内容C叠加在视野FV上，使得物体被布置在与用户的VR内容VC的方向对应的方向上。
按照这样的控制，用户可以轻松地在室外欣赏喜欢的内容。如上所述，按照本实施例的原始内容可以是VR内容。
相反，按照本实施例的控制单元130也可以基于AR内容生成VR内容。图17是用于说明按照本实施例的基于AR内容的VR内容的生成的示图。
图17的左侧图示用户U通过使用头戴式显示器20观看叠加在视野FV上的AR内容C的状态。这种情况下，控制单元130以VR格式存储由头戴式显示器20的拍摄单元210拍摄的图像信息和显示在输出单元240上的AR内容C的图像信息，以及显示位置信息(头戴式显示器20的姿态信息)。
此外，图17的右侧图示用户U通过使用VR装置40观看如上所述存储的VR内容VC的状态。VR装置40可以通过使用例如使用机器学习方法的图像生成器来补充未被头戴式显示器20的拍摄单元210拍摄的方向上的图像信息。
下面将更详细地说明以VR格式存储与用户的视野FV相关的图像信息的处理。图18和19是用于说明按照本实施例的图像信息的VR格式存储的示图。
如在图18的上部所图示，控制单元130首先分析内容。控制单元130首先对从头戴式显示器20的拍摄单元210输入的图像进行分离处理。具体地，控制单元130将包含在图像中的要素分离成诸如背景之类的静止物体和包括人在内的运动物体。此外，控制单元130进一步从提取的静止物体中检测诸如地面之类的平面。
接下来，控制单元130测量检测到的运动物体与平面之间的距离，并估计平面的位置和尺寸。
随后，控制单元130根据测量的运动物体与平面之间的距离，以及估计的平面的位置和尺寸，使平面与运动物体之间的位置和尺寸关联。
接下来，如在图18的下部所图示，控制单元130进行将如上所述获取的运动物体布置在用于VR内容的背景图像上的处理。
首先，控制单元130从背景图像中检测平面，并估计该平面的位置和尺寸。接下来，控制单元130基于估计的平面的位置和尺寸，以及在上述内容分析中获取的平面与运动物体之间的位置和尺寸的关系，将运动物体布置在背景图像上。按照这样的处理，可以相对于背景的位置和尺寸自然地定位诸如人之类的运动物体的位置和尺寸。
随后，如在图19的上部所图示，控制单元130进行布置的运动物体的体素化和数据压缩。控制单元130通过使运动物体的位置信息与图像信息关联来执行体素化。体素指的是三维空间中的规则网格数据。即，控制单元130将运动物体的图像信息转换成3D点云数据。此外，控制单元130生成用于平滑3D点云数据的著色器。
接下来，控制单元130压缩并存储如上所述获取的3D点云数据、著色器、位置信息和颜色信息。如上所述，按照本实施例的控制单元130可以生成基于AR内容和通过拍摄现实空间而获得的图像信息的VR内容。
接下来，将说明通过VR装置40对VR内容的再现。如在图的下部所图示，VR装置40首先进行压缩数据的扩展处理。接下来，VR装置40通过撤消体素化并使用著色器进行渲染处理，可以获取与运动物体相关的位置信息和图像信息，并且可以在体积空间中表现运动物体。
接下来，将说明按照本实施例的使用AR云的AR体验的共享。在上面的说明中，主要说明了在用户他或她自己欣赏AR内容的情况下的构成和控制。另一方面，根据按照本实施例的信息处理方法，通过经由云共享关于现实空间中的物体的信息，也可以在多个用户之间共享AR体验。
图20是图示按照本实施例的通过AR云实现AR体验的共享的***构成的例子的示图。图20中，以装置、平台和应用这3个层次例示了用于实现通过AR云的AR体验的共享的***构成。
装置层是用于与AR内容的显示相关的输入/输出的层，例如包括调制解调器、GNSS信号接收器、IMU、地磁传感器、摄像头(RGB、ToF)、显示器、GPU等。
平台层是在装置层和应用层之间进行中继的层，包括各种服务。
应用层是用于SLAM和AR内容的显示控制的层，并使存储在AR云中的数据与本地存储的数据关联。具体地，在应用层，使存储在AR云中的三维空间的点云数据与本地获取的SLAM数据关联，从而指定本地终端在三维空间中的位置和姿态。
通过高精度地获取用户自己的终端显示的AR内容在三维空间中的坐标并将获取的坐标信息上传到AR云，能够在其他终端上显示所述AR内容。
相反，通过下载从其他终端上传到AR云的AR内容的图像信息和坐标信息并使该坐标信息与用户自己的终端的SLAM数据关联，能够在正确的位置显示由其他终端上传的AR内容。
如上所述，根据按照本实施例的信息处理方法，通过经由云共享关于现实空间中的物体的信息，能够在多个用户之间共享AR体验。
<2.总结>
如上所述，按照本公开的实施例的信息处理设备包括控制单元，所述控制单元控制布置在用户眼前的显示装置进行的AR内容的显示。此外，按照本公开的实施例的控制单元的特征之一是控制AR内容的显示方式，使得与显示原始内容的情况相比，用户对现实空间的观察水平的降低程度减小。按照这样的构成，能够更安全地观看与现实空间融合的AR内容。
尽管上面参考附图，详细说明了本公开的优选实施例，不过本公开的技术范围不限于这样的例子。显然本公开所属的领域的技术人员可以在权利要求书中所记载的技术思想范围内作出各种变化或修改，并且应理解的是这样的变化或修改也属于本公开的技术范围。
另外，本文所说明的效果仅仅是说明性或例证性的，而不是限制性的。即，除了上述效果之外或者代替上述效果，按照本公开的技术可以表现出根据本说明书的描述对本领域技术人员来说明显的其他效果。
此外，还可以创建用于使诸如内置于计算机中的CPU、ROM和RAM之类的硬件发挥与信息处理终端10和头戴式显示器20的构成等同的功能的程序，并且还可以提供记录所述程序的非临时性计算机可读记录介质。
此外，与本说明书中的信息处理终端10的处理相关的各个步骤不一定要按照记载在流程图中的顺序以时间序列进行。例如，与信息处理终端10的处理相关的各个步骤可以按照与记载在流程图中的顺序不同的顺序进行，或者可以并行地进行。
注意，以下构成也属于本公开的技术范围。
(1)一种信息处理设备，包括：
控制单元，所述控制单元控制布置在用户眼前的显示装置进行的AR内容的显示，
其中所述控制单元控制AR内容的显示方式，使得与显示原始内容的情况相比，用户对现实空间的观察水平的降低程度减小。
(2)按照(1)所述的信息处理设备，其中
显示方式包括显示内容、显示位置和显示定时中的至少一个。
(3)按照(2)所述的信息处理设备，其中
所述控制单元使所述显示装置显示其中已从所述原始内容中除去不包括主要被摄体的背景的所述AR内容。
(4)按照(2)或(3)所述的信息处理设备，其中
所述控制单元使所述AR内容显示在用户的视野的周边部分。
(5)按照(3)所述的信息处理设备，其中
在所述原始内容包括多个主要被摄体的情况下，所述控制单元进行控制，使得所述多个主要被摄体分别显示在用户的视野的周边部分。
(6)按照(2)-(5)任意之一所述的信息处理设备，其中
所述控制单元基于用户的动作状态来控制所述AR内容的显示位置。
(7)按照(6)所述的信息处理设备，其中
所述控制单元在用户正在移动的情况下，使所述AR内容显示在用户的视野的周边部分，并且在用户静止的情况下，使所述AR内容显示在用户的视野的中央部分。
(8)按照(2)-(7)任意之一所述的信息处理设备，其中
所述原始内容是视频内容，和
所述控制单元按照所述原始内容的再现场景，控制所述AR内容的显示方式。
(9)按照(8)所述的信息处理设备，其中
所述控制单元只在所述再现场景包含主要被摄体的情况下，才使与再现场景对应的所述AR内容被显示。
(10)按照(8)所述的信息处理设备，其中
所述控制单元使每个再现场景的代表图像被显示为AR内容。
(11)按照(8)所述的信息处理设备，其中
所述控制单元在再现场景不是所述原始内容中的主要场景的情况下，使所述AR内容显示在用户的视野的周边部分，而在再现场景是所述原始内容中的主要场景的情况下，使所述AR内容显示在用户的视野的中央部分。
(12)按照(2)-(11)任意之一所述的信息处理设备，其中
所述控制单元基于存在于现实空间中的物体的识别结果来控制所述AR内容的显示方式。
(13)按照(12)所述的信息处理设备，其中
在检测到存在于现实空间中的矩形区域的情况下，所述控制单元使所述AR内容被显示在与所述矩形区域对应的位置。
(14)按照(12)或(13)所述的信息处理设备，其中
在识别出存在于现实空间中的广告媒体的情况下，所述控制单元使所述AR内容被显示在与所述广告媒体对应的位置。
(15)按照(3)所述的信息处理设备，其中
所述原始内容是VR内容。
(16)按照(2)-(15)任意之一所述的信息处理设备，其中
所述控制单元基于用户的手势来控制所述AR内容的显示方式。
(17)按照(2)-(16)任意之一所述的信息处理设备，其中
所述控制单元生成基于所述AR内容和通过拍摄现实空间而获得的图像信息的VR内容。
(18)按照(1)-(17)任意之一所述的信息处理设备，还包括进行与头戴式显示器的无线通信的通信单元，
其中
所述通信单元接收由包含在所述头戴式显示器中的拍摄单元拍摄的现实空间的图像信息和由包含在所述头戴式显示器中的传感器单元获取的传感器信息，和
所述控制单元使包含在所述头戴式显示器中的所述显示装置显示基于所述图像信息和所述传感器信息的AR内容。
(19)一种信息处理方法，包括通过处理器控制布置在用户眼前的显示装置进行的AR内容的显示，
其中所述控制还包括控制AR内容的显示方式，使得与显示原始内容的情况相比，用户对现实空间的观察水平的降低程度减小。
(20)一种程序，所述程序使计算机起信息处理设备的作用，所述信息处理设备包括控制单元，所述控制单元控制布置在用户眼前的显示装置进行的AR内容的显示，
其中所述控制单元控制AR内容的显示方式，使得与显示原始内容的情况相比，用户对现实空间的观察水平的降低程度减小。
附图标记列表
10 信息处理终端
130 控制单元
150 通信单元
20 头戴式显示器
210 拍摄单元
220 传感器单元
230 控制单元
240 输出单元
250 通信单元

Claims (20)

1.一种信息处理设备，包括：
控制单元，所述控制单元控制由布置在用户眼前的显示装置进行的AR内容的显示，
其中所述控制单元控制AR内容的显示方式，使得与显示原始内容的情况相比，用户对现实空间的观察水平的降低程度减小。
2.按照权利要求1所述的信息处理设备，其中
所述显示方式包括显示内容、显示位置和显示定时中的至少一个。
3.按照权利要求2所述的信息处理设备，其中
所述控制单元使所述显示装置显示其中已从所述原始内容中除去不包括主要被摄体的背景的AR内容。
4.按照权利要求2所述的信息处理设备，其中
所述控制单元使所述AR内容显示在用户的视野的周边部分。
5.按照权利要求3所述的信息处理设备，其中
在所述原始内容包括多个主要被摄体的情况下，所述控制单元进行控制，使得所述多个主要被摄体分别显示在用户的视野的周边部分。
6.按照权利要求2所述的信息处理设备，其中
所述控制单元基于用户的动作状态来控制所述AR内容的显示位置。
7.按照权利要求6所述的信息处理设备，其中
所述控制单元在用户正在移动的情况下使所述AR内容显示在用户的视野的周边部分，而在用户静止的情况下使所述AR内容显示在用户的视野的中央部分。
8.按照权利要求2所述的信息处理设备，其中
所述原始内容是视频内容，和
所述控制单元按照所述原始内容的再现场景来控制所述AR内容的显示方式。
9.按照权利要求8所述的信息处理设备，其中
所述控制单元只在所述再现场景包含主要被摄体的情况下，才使与再现场景对应的所述AR内容被显示。
10.按照权利要求8所述的信息处理设备，其中
所述控制单元使每个再现场景的代表图像被显示为AR内容。
11.按照权利要求8所述的信息处理设备，其中
所述控制单元在再现场景不是所述原始内容中的主要场景的情况下，使所述AR内容显示在用户的视野的周边部分，而在再现场景是所述原始内容中的主要场景的情况下，使所述AR内容显示在用户的视野的中央部分。
12.按照权利要求2所述的信息处理设备，其中
所述控制单元基于存在于现实空间中的物体的识别结果，控制所述AR内容的显示方式。
13.按照权利要求12所述的信息处理设备，其中
在检测到存在于现实空间中的矩形区域的情况下，所述控制单元使所述AR内容被显示在与所述矩形区域对应的位置。
14.按照权利要求12所述的信息处理设备，其中
在识别出存在于现实空间中的广告媒体的情况下，所述控制单元使所述AR内容被显示在与所述广告媒体对应的位置。
15.按照权利要求3所述的信息处理设备，其中
所述原始内容是VR内容。
16.按照权利要求2所述的信息处理设备，其中
所述控制单元基于用户的手势来控制所述AR内容的显示方式。
17.按照权利要求2所述的信息处理设备，其中
所述控制单元生成基于所述AR内容和通过拍摄现实空间而获得的图像信息的VR内容。
18.按照权利要求1所述的信息处理设备，还包括进行与头戴式显示器的无线通信的通信单元，
其中
所述通信单元接收由包含在所述头戴式显示器中的拍摄单元拍摄的现实空间的图像信息，和由包含在所述头戴式显示器中的传感器单元获取的传感器信息，和
所述控制单元基于所述图像信息和所述传感器信息，使包含在所述头戴式显示器中的所述显示装置显示所述AR内容。
19.一种信息处理方法，包括通过处理器控制布置在用户眼前的显示装置进行的AR内容的显示，
其中所述控制还包括控制AR内容的显示方式，使得与显示原始内容的情况相比，用户对现实空间的观察水平的降低程度减小。
20.一种程序，所述程序使计算机起信息处理设备的作用，所述信息处理设备包括控制单元，所述控制单元控制由布置在用户眼前的显示装置进行的AR内容的显示，
其中所述控制单元控制AR内容的显示方式，使得与显示原始内容的情况相比，用户对现实空间的观察水平的降低程度减小。
CN201980096271.2A 2019-05-17 2019-05-17 信息处理设备、信息处理方法和程序 Pending CN113875227A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/019776 WO2020234939A1 (ja) 2019-05-17 2019-05-17 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
CN113875227A true CN113875227A (zh) 2021-12-31

Family

ID=73459237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980096271.2A Pending CN113875227A (zh) 2019-05-17 2019-05-17 信息处理设备、信息处理方法和程序

Country Status (4)

Country Link
US (1) US11846783B2 (zh)
EP (1) EP3972241A4 (zh)
CN (1) CN113875227A (zh)
WO (1) WO2020234939A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220146822A1 (en) * 2019-08-15 2022-05-12 Ostendo Technologies, Inc. Wearable Display Systems and Design Methods Thereof
WO2022264377A1 (ja) * 2021-06-17 2022-12-22 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
JP5402293B2 (ja) 2009-06-22 2014-01-29 ソニー株式会社 頭部装着型ディスプレイ、及び、頭部装着型ディスプレイにおける画像表示方法
US20110213664A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US9317133B2 (en) * 2010-10-08 2016-04-19 Nokia Technologies Oy Method and apparatus for generating augmented reality content
US9081177B2 (en) * 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
JP2015037242A (ja) * 2013-08-13 2015-02-23 ソニー株式会社 受信装置、受信方法、送信装置、及び、送信方法
US10146057B2 (en) 2014-02-20 2018-12-04 Sony Corporation Display control device, display control method, and computer program
JP2015166816A (ja) * 2014-03-04 2015-09-24 富士通株式会社 表示装置，表示制御プログラム及び表示制御方法
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10529359B2 (en) 2014-04-17 2020-01-07 Microsoft Technology Licensing, Llc Conversation detection
CN107615214B (zh) 2015-05-21 2021-07-13 日本电气株式会社 界面控制***、界面控制装置、界面控制方法及程序
JP2017181842A (ja) * 2016-03-31 2017-10-05 拓志 船木 広告方法、広告用車両及び広告システム
WO2018198499A1 (ja) * 2017-04-27 2018-11-01 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
US20180336591A1 (en) * 2017-05-16 2018-11-22 Philip Neumeier Virtually projected augmented ad display
US20180349946A1 (en) * 2017-05-31 2018-12-06 Telefonaktiebolaget Lm Ericsson (Publ) System, method and architecture for real-time native advertisement placement in an augmented/mixed reality (ar/mr) environment

Also Published As

Publication number Publication date
US11846783B2 (en) 2023-12-19
EP3972241A4 (en) 2022-07-27
EP3972241A1 (en) 2022-03-23
US20220171202A1 (en) 2022-06-02
WO2020234939A1 (ja) 2020-11-26

Similar Documents

Publication Publication Date Title
CN109819313B (zh) 视频处理方法、装置及存储介质
CN109191549B (zh) 显示动画的方法及装置
KR101995958B1 (ko) 스마트 글래스 기반 영상 처리 장치 및 방법
US20190180788A1 (en) Apparatus and method for editing content
CN111163274A (zh) 一种视频录制方法及显示设备
US20210165481A1 (en) Method and system of interactive storytelling with probability-based personalized views
CN113064684B (zh) 一种虚拟现实设备及vr场景截屏方法
KR20190024249A (ko) 광고를 제공하는 방법 및 전자 장치
CN112218136B (zh) 视频处理方法、装置、计算机设备及存储介质
WO2013097160A1 (en) Interactive media systems
CN112866773B (zh) 一种显示设备及多人场景下摄像头追踪方法
US20120301030A1 (en) Image processing apparatus, image processing method and recording medium
CN111800569B (zh) 拍照处理方法、装置、存储介质及电子设备
CN112188228A (zh) 直播方法及装置、计算机可读存储介质和电子设备
KR101791917B1 (ko) 일반 영상을 가상 현실 영상으로 자동 변환하는 방법 및 이를 이용한 장치
CN113875227A (zh) 信息处理设备、信息处理方法和程序
CN111291219A (zh) 一种改变界面背景颜色的方法及显示设备
CN112073770A (zh) 显示设备及视频通讯数据处理方法
CN113066189B (zh) 一种增强现实设备及虚实物体遮挡显示方法
CN112866577B (zh) 图像的处理方法、装置、计算机可读介质及电子设备
CN111464869B (zh) 一种运动位置检测方法、屏幕亮度调节方法及智能设备
CN116977884A (zh) 视频切分模型的训练方法、视频切分方法及装置
CN112053688A (zh) 一种语音交互方法及交互设备、服务器
CN112399235A (zh) 一种智能电视的摄像头拍照效果增强方法及显示设备
CN114449179B (zh) 显示设备及人像混合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination