CN109116977A - 虚拟体验内容提供方法及用于其的装置 - Google Patents

Abstract

本发明公开虚拟体验内容提供方法及用于其的装置。本发明一实施例的虚拟体验内容提供方法包括：生成与远离用户的现实世界空间相关的实时三维可视化数据，基于体验场景，与利用多个结构物构成的体验空间相对应地生成三维虚拟空间，基于在体验空间内所具有的多个传感器，测定在体验空间中的用户动作来获取用户对象数据，整合三维虚拟空间和实时三维可视化数据来生成三维体验空间，利用用户对象数据、三维体验空间及体验空间向用户提供与现实世界空间相对应的实时虚拟体验内容的步骤。

Description

虚拟体验内容提供方法及用于其的装置

技术领域

本发明涉及虚拟体验内容提供技术，尤其，涉及使实际环境和虚拟环境在统一的空间内共存从而实现在实际环境内中很难经历的体验的虚拟体验内容提供方法及用于其的装置。

背景技术

在利用以往的头戴式显示器(HMD，Head Mounted Display)的体验内容的情况下，以坐或站立的形态为主，即便是支持行走的动作，也相应于在没有受限的结构物的开放空间进行体验的形态，因此，用户感受到的现实感或存在感方面水平明显较低。

并且，以往的HMD形态的虚拟现实内容大部分依赖于视觉部分，脱离了实际体验环境，因而存在较大的背离感。

因此，以往头戴式显示器内容，其众多用户在内容初期因新颖而有良好的反应，但在反复体验的情况下，因与现实部分的背离感，导致容易厌倦和失望。

现有技术文献

专利文献

(专利文献)韩国公开专利第10-2016-0127695号，2016年11月04日公开(名称：利用实感数据的虚拟高尔夫游戏提供***及方法)

发明内容

本发明的目的在于，超越用户之间的时间、空间上的制约，提供如同远距离的用户存在于同一空间内的体验。

此外，本发明的目的在于，提供与智能虚拟形象等配合而实现逼真的互动的实际和虚拟的空间共存的融合型虚拟现实***。

此外，本发明的目的在于，提供一种***，可自由建立符合内容的现实空间，并且重建符合现实空间的虚拟空间，从而可提供如同实际和虚拟共存的体验。

用于实现上述目的的本发明的虚拟体验内容提供方法包括：生成与远离用户的现实世界空间相关的实时三维可视化数据的步骤；基于体验场景，与利用多个结构物构成的体验空间相对应地生成三维虚拟空间的步骤；基于在上述体验空间内所具有的多个传感器，测定在上述体验空间中的用户动作来获取用户对象数据的步骤；以及整合上述三维虚拟空间和上述实时三维可视化数据来生成三维体验空间，利用上述用户对象数据、上述三维体验空间及上述体验空间向上述用户提供与上述现实世界空间相对应的实时虚拟体验内容的步骤。

在此情况下，用户对象数据、上述三维体验空间及上述体验空间在时间、空间及视觉上可以实现同步。

在此情况下，提供的步骤可包括：在通过上述用户所佩戴的佩戴型显示器来输出上述三维体验空间时，基于上述用户对象数据，向上述佩戴型显示器输出考虑了上述三维体验空间中上述用户的位置及视线中的至少一个的区域的步骤。

在此情况下，提供的步骤还可包括：基于上述用户对象数据来分析上述用户的倾向的步骤；以及生成与符合上述用户的倾向的脸部表情及全身运动中的至少一个相对应的虚拟形象并输出到上述三维体验空间的步骤。

在此情况下，提供的步骤可包括：通过使与至少一个特征点相对应的坐标一致的方式来整合上述三维虚拟空间和上述实时三维可视化数据的步骤。

在此情况下，生成实时三维可视化数据的步骤可包括：在实时捕获上述现实世界空间的图像中分离背景和人的步骤；以及生成与上述背景相对应的三维背景可视化数据，并以点云数据的形态来生成与上述人相对应的三维人体可视化数据的步骤。

在此情况下，整合的步骤可包括：基于上述坐标，在上述三维体验空间中采用上述三维背景可视化数据的步骤；以及基于上述点云数据，在上述三维体验空间中生成与上述人相对应的人物对象的步骤。

在此情况下，多个结构物可包括人形木结构物、平面模块、移动旋转模块类型框架、隧道类型可拆卸透明框架及可根据上述用户动作而活动的被动式运动平台和能动式运动平台中的至少一种。

在此情况下，提供的步骤还可包括：考虑上述体验场景，基于上述三维体验空间来生成至少一个触觉事件的步骤；以及在基于上述用户动作而执行上述触觉事件的情况下，利用多个结构物向上述用户提供触觉上的反馈的步骤。

在此情况下，体验空间能够根据与上述现实世界空间相对应地设计的体验场景来变更形态及构造。

并且，本发明一实施例的虚拟体验内容提供装置包括：生成部，生成与远离用户的现实世界空间有关的实时三维可视化数据，基于体验场景，与利用多个结构物构成的体验空间相应地生成三维虚拟空间；传感器部，基于在上述体验空间内所具有的多个传感器，测定在上述体验空间中的用户动作来获取用户对象数据；以及控制部，整合上述三维虚拟空间和上述实时三维可视化数据来生成三维体验空间，利用上述用户对象数据、上述三维体验空间及上述体验空间向上述用户提供与上述现实世界空间相对应的实时虚拟体验内容。

在此情况下，用户对象数据、上述三维体验空间及上述体验空间在时间、空间及视觉上可实现同步。

在此情况下，控制部可以在通过上述用户所佩戴的佩戴型显示器来输出上述三维体验空间时，基于上述用户对象数据，向上述佩戴型显示器输出考虑了上述三维体验空间中上述用户的位置及视线中的至少一个的区域。

在此情况下，控制部可以基于上述用户对象数据来分析上述用户的倾向，生成与符合上述用户的倾向的脸部表情及全身运动中的至少一个相对应的虚拟形象并输出到上述三维体验空间。

在此情况下，控制部可通过使与至少一个特征点相对应的坐标一致的方式来整合上述三维虚拟空间和上述三维可视化数据。

在此情况下，生成部可以在实时捕获上述现实世界空间的图像中分离背景和人，生成与上述背景相对应的三维背景可视化数据，并以点云数据的形态生成与上述人相对应的三维人体可视化数据。

在此情况下，控制部可以基于上述坐标，在上述三维体验空间中采用上述三维背景可视化数据，并基于上述点云数据，在上述三维体验空间中生成与上述人相对应的人物对象。

在此情况下，上述多个结构物可包括人形木结构物、平面模块、移动旋转模块类型框架、隧道类型可拆卸透明框架及可根据上述用户动作而活动的被动式运动平台和能动式运动平台中的至少一种。

在此情况下，控制部可以考虑上述体验场景，基于上述三维体验空间来生成至少一个触觉事件，在基于上述用户动作而执行上述触觉事件的情况下，利用多个结构物向上述用户提供触觉上的反馈。

在此情况下，体验空间能够根据与上述现实世界空间相对应地设计的体验场景来变更形态及构造。

根据本发明，能够超越用户之间的时间、空间上的制约，提供如同远距离的用户存在于同一空间内的体验。

并且，本发明能够提供功能与智能虚拟形象等配合而实现逼真的互动的实际和虚拟的空间共存的融合型虚拟现实***。

并且，本发明可自由建立符合内容的现实空间，并且重建符合现实空间的虚拟空间，从而可提供如同实际和虚拟共存的体验。

附图说明

图1为示出本发明一实施例的虚拟体验内容提供方法的动作流程图。

图2至图7为示出通过本发明的体验空间和三维体验空间提供虚拟体验内容的一例的图。

图8为示出通过本发明的虚拟体验内容而输出位于现实世界空间的其他用户的一例的图。

图9为示出提供本发明的虚拟形象的一例的图。

图10为示出通过本发明的触觉事件提供触觉性反馈的一例的图。

图11至图19为示出构成本发明的体验空间的多个结构物的一例的图。

图20至图40为示出本发明的体验场景的一例的图。

图41为示出本发明一实施例的虚拟体验内容提供装置的框图。

标号说明

400：用户

410：佩戴型显示器

1210、1310：液压缸

4110：通信部

4120：生成部

4130：传感器部

4140：控制部

4150：存储部

具体实施方式

参照附图，详细说明本发明如下。其中，省略反复的说明、可能使本发明的主旨变得不清楚的公知功能及结构的详细说明。本发明的实施形态是为了使本领域技术人员更充分地理解本发明而提供。因此，图中要素的形状及大小等可能会被夸大以便更加清楚地说明。

以下，参照附图，详细说明本发明优选实施例。

图1为示出本发明一实施例的虚拟体验内容提供方法的动作流程图。

参照图1，本发明一实施例的虚拟体验内容提供方法生成与远离用户的现实世界空间相关的实时三维可视化数据(步骤S110)。

在此情况下，实时三维可视化数据可能是为了使存在于本地或远程的实际空间与虚拟环境整合成一个空间而生成。例如，对在中国的秦始皇墓的兵马俑坑生成实时三维可视化数据，并在远离兵马俑坑的韩国设置的体验空间内使相应数据可视化，由此，利用体验空间的用户可以感觉到如同实际处于兵马俑坑。

在此情况下，可以在实时捕获现实世界空间的图像中分离背景和人，生成与背景相对应的三维背景可视化数据，并以点云(Point Cloud)数据的形态来生成与人相对应的三维人体可视化数据。

在上述例中，为了对兵马俑坑生成实时三维可视化数据，可以在实时捕获了兵马俑坑的图像中，对实际体验兵马俑坑时被捕获的人和背景进行分离。在此情况下，可以以包含三维信息的点云数据的形态获取与分离后的人相对应的图像区域。

在此情况下，可以在实际设置于兵马俑坑的虚拟内容提供装置中生成点云数据，并传送给位于体验空间的另一个虚拟内容提供装置或另外的服务器。因此，本发明的虚拟内容提供装置可分别设置于现实世界空间和体验空间。

此外，本发明一实施例的虚拟体验内容提供方法基于体验场景，与利用多个结构物来构成的体验空间相应地生成三维虚拟空间(步骤S120)。

在此情况下，根据体验场景或虚拟体验内容的规划，多个结构物可以对应于与现实相对应的体验空间中呈现的实际结构物。

在此情况下，多个结构物可包括在人形木结构物、平面模块、移动旋转模块类型框架、隧道类型可拆卸透明框架及能够根据用户动作而活动的被动式运动平台和能动式运动平台中的至少一种。

在此情况下，被动式运动平台或能动式运动平台等相应于根据动态用户输入而活动的结构物，因而能够使用户进行更加戏剧性的体验。

在此情况下，体验空间能够根据与现实世界空间相应设计的体验场景来改变形态及构造。

在此情况下，由于需要基于与体验空间相对应的实际环境，在后期用户所佩戴的佩戴型显示器中提供虚拟体验内容，因此，可以以3D空间来生成与体验空间相对应的实际环境从而生成三维虚拟空间。

并且，本发明一实施例的虚拟体验内容提供方法基于在体验空间内所具有的多个传感器，测定在体验空间中的用户动作来获取用户对象数据(步骤S130)。

在此情况下，由于体验空间为用户实际移动或活动的空间，因此，为了将用户的动作反映到三维虚拟空间中，可在体验空间内设置多个传感器。例如，多个传感器可以为动作传感器、触摸传感器、压力传感器、方向传感器等能够测定用户的动作或视线方向等的多种传感器。

并且，本发明一实施例的虚拟体验内容提供方法整合三维虚拟空间和实时三维可视化数据来生成三维体验空间，利用用户对象数据、三维体验空间及体验空间来向用户提供与现实世界空间相对应的实时体验内容(步骤S140)。

在此情况下，用户对象数据、三维体验空间及体验空间在时间、空间及视觉上可以实现同步。通过执行上述同步，能够将响应于用户的动作的事件、根据用户的位置提供的虚拟画面、与用户正在体验时相对应的现实世界空间的状态等逼真地提供给用户。

即，用户戴上佩戴型显示器并以视觉观察三维体验空间，由于在体验空间内移动的同时体会到与视觉反馈一致的听觉、嗅觉、触觉等多种感觉，因此，感觉如同实际处于与体验场景相对应的现实世界空间内。

在此情况下，在通过用户所佩戴的佩戴型显示器输出三维体验空间时，可以基于用户对象数据，向佩戴型显示器输出考虑了在三维体验空间中用户的位置及视线中的至少一个的区域。

例如，可以利用设置于体验空间的多个传感器和设置于佩戴型显示器的另外的传感器来检测用户的当前位置和视线方向，并输出与用户的位置和用户的视线方向相对应的三维体验空间的数据。

在此情况下，佩戴型显示器可以与本发明的虚拟体验内容提供装置建立联动，通过有线或无线来收发用于虚拟体验内容的数据。

在此情况下，可以基于用户对象数据来分析用户的倾向，生成与符合用户的倾向的脸部表情及全身运动中的至少一个相对应的虚拟形象来向三维体验空间输出。

例如，可以在用户戴上佩戴型显示器开始体验之后，收集与用户的动作有关的数据来分析用户的倾向。即，对于积极活动并体验的用户，可输出与之匹配的活跃且动作或手势多的虚拟形象，对于比较冷静地体验的用户可以输出动作或手势并不大的虚拟形象。

在此情况下，虚拟形象能够帮助用户进行符合体验场景的体验。例如，通过指引路线或者告知与在当前位置提供的事件有关的信息等，由此能够引导用户进行基于体验场景的多种体验。

在此情况下，能够通过使与至少一个特征点相对应的坐标一致的方式，整合三维虚拟空间和实时三维可视化数据。例如，可以在三维虚拟空间和实时三维可视化数据中获取与共同特征点有关的坐标，通过使各个坐标一致的方式执行整合。

在此情况下，基于坐标，在三维体验空间适用三维背景可视化数据，基于点云数据，在三维体验空间生成与人相对应的人物对象。即，能够在三维体验空间中，与背景分离来输出并呈现实际位于现实世界空间的体验者及用户。

在此情况下，考虑体验场景，基于三维体验空间而生成至少一个触觉事件，在基于用户动作而执行触觉事件的情况下，可以利用多个结构物向用户提供触觉上的反馈。

通过提供上述触觉事件，除了偏重于视觉部分的虚拟体验之外，还能够提供用户可以直接感受的体感上的体验，从而可强化体验所带来的临场感。

在此情况下，可以执行触觉事件，使得用户的身体与提供触觉事件的多个结构物之间的反馈与视觉信息一致。

例如，在用户体验壁画洞穴的体验场景中可以生成触觉事件，使得当用户触摸了壁画时，壁画的内容呈现为动画。

作为另一例，也可以生成触觉事件，使得当用户在三维体验空间中触摸了与特定人物相对应的人形木结构物的情况下，产生细微的活动。

并且，虽然未在图1中示出，但本发明一实施例的虚拟内容提供方法在另外的存储模块存储在上述过程中产生的多种信息。

通过上述虚拟体验内容提供方法，能够超越用户之间的视觉、空间上的限制，提供如同远距离的用户存在于同一空间内的体验。

并且，本发明能够提供与智能虚拟形象等配合而实现逼真的互动的实际和虚拟的空间共存的融合型虚拟现实***。

并且，本发明提供可自由建立符合内容的现实空间，并且重建符合现实空间的虚拟空间，从而可提供如同实际和虚拟共存的体验。

图2至图7为示出通过本发明的体验空间和三维体验空间提供虚拟体验内容的一例的图。

参照图2至图7，通过本发明的体验空间和三维体验空间提供虚拟体验内容，可确认在实际空间构成的组装型实际结构物框架所导致的路线结构和框架的组装例示。

例如，图2至图3所示的结构物所形成的空间可以与本发明一实施例的体验空间相应。在此情况下，如图2所示，能够利用多个结构物来构成基于体验场景的路线。

因此，如图4所示，利用虚拟体验内容的用户400在体验空间中按照由多个结构物构成的路线移动的同时，佩戴型显示器410可视觉接收三维体验空间。

在此情况下，如图5所示，多名用户可同时利用体验空间，为了防止各个用户之间的路线发生重叠，在通过各个佩戴型显示器输出的三维体验空间中也可以虚拟地输出其他用户。

在此情况下，如图6所示，当用户戴上佩戴型显示器在体验空间中移动的情况下，可向用户视觉显示如图7的三维体验空间。因此，用户通过由佩戴型显示器输出的三维体验空间进行视觉体验，同时能够实现通过多个结构物而感受到的空间或触觉体验，从而能够感觉如同处于实际正在体验的空间。

图8为示出通过本发明的虚拟体验内容来输出位于现实世界空间的其他用户的一例的图。

参照图8，本发明的虚拟体验内容实时将位于远程的现实世界空间可视化，因而也可以输出实际远离用户而正在体验现实世界空间的其他用户。

在此情况下，与位于现实世界空间的用户的身体有关的信息可以以点云数据被传送而在三维体验空间中得以可视化。由此，体验本发明的虚拟体验内容的用户能够与其他用户共享如同自身存在于体验空间以外的远程的现实世界空间的感受。

例如，如图8所示，在体验空间中戴上佩戴型显示器并视觉体验三维体验空间的用户，能够以三维对象的形状来视觉确认其他用户。

图9为示出提供本发明的虚拟形象的一例的图。

参照图9，本发明的虚拟形象可根据戴上佩戴型显示器来进行体验的用户的倾向而生成。

例如，在移动活跃的用户的情况下，虚拟形象的脸部表情或动作及手势也可以与用户相应地明亮而活跃地呈现。

作为另一例，在体验空间内缓慢移动并仔细地进行体验的用户的情况下，可以冷静地呈现虚拟形象的脸部表情，动作或手势也不会太大。

在此情况下，本发明的虚拟形象可以在用户进行体验的期间对体验提供帮助或者实现有助于体验场景的进行的作用。

例如，可以指引用户的下一个路线，或者提供与用户正在体验的空间有关的说明。

图10为示出通过本发明的触觉事件来提供触觉上的反馈的一例的图。

参照图10，本发明的触觉事件在用户触摸或接触了在与输出到三维体验空间的虚拟的结构物相同的实际体验空间内形成的结构物的情况下执行。

因此，在本发明的虚拟体验内容中，使输出到三维体验空间的虚拟的结构物和位于体验空间内的实际结构物准确地同步，与视觉、空间、时间的变化相应地给出触觉反应，从而能够使用户感受到的真实感极大化。

例如，如图10所示，若用户的手接触到与触觉事件相对应的结构物，则提供用户的手可感受的振动或触觉上的反馈，由此，用户不仅可以进行视觉体验，还能够经历触觉体验。

图11至图19为示出构成本发明的体验空间的多个结构物的一例的图。

参照图11至图19，本发明的体验空间可如图11所示那样构成为通过多种结构物来生成路线。

在此情况下，图11中所包含的各个结构物也可以起到如下作用，即，与用户在体验空间内移动着进行体验的情况相比，进一步使真实感极大化。

例如，如图12至图13所示的运动平台与用户移动至相应平台或者触摸等的输入建立了联动，因而在检测到输入的情况下，可以通过液压缸1210、1310以特定动作来移动。即，若在图11所示的晃动的桥或悬崖底部等设置运动平台，则在用户移动到了相应位置的情况下，运动平台能够进行移动并向用户提供更加感官的反馈，由此，用户可进行更加逼真的体验。

作为另一例，图14至图15所示的移动旋转模块类型框架可设置为直接由用户使其进行旋转或根据体验场景而旋转。即，若在如图11所示的旋转壁那样的位置上设置移动旋转模块类型框架，则能够使用户进行如同堵塞的墙壁旋转并形成新的路径的体验。

作为另一例，设置图16至图19所示的隧道类型可拆卸透明框架是为了根据体验场景而体现洞穴或狭窄的空间。即，与通过佩戴型显示器仅从视觉上体验洞穴的情况相比，通过采用隧道类型可拆卸透明框架使用户进行移动，从而可进行更加身临其境的体验。

在此情况下，如图12至图19所示的多种结构物可根据体验场景重新配置，在重新配置的情况下，能够与三维体验空间相应地自动整合。

图20至图40为示出本发明的体验场景的一例的图。

参照图20至图40，可通过本发明的体验场景来设计体验的整体情节或路线及结构物。

在此情况下，图20至图40示出与在秦始皇陵墓的兵马俑坑中发生的情节有关的体验场景。在此情况下，用户能够体验对地下迷宫进行探险的虚拟体验内容。

例如，开往地下的兵马俑列车能够通过基于用户输入的运动平台而同步，迷宫等地下洞穴的要素中，壁、门、隧道等可通过配置移动旋转模块类型的框架、平面框架、隧道类型可拆卸透明框架等来整合。并且，在探索迷宫的过程中，作为事件要素，也可以是实际正在体验兵马俑坑的用户以全息图的形态出现在特定场所。并且，在用户触摸壁画的情况下，可以如墙壁在移动那样，壁画的内容呈现为动画，由此，还同步触觉性的元素，从而在体验过程中能够使戏剧性的要素最大化。

图41为示出本发明一实施例的虚拟体验内容提供装置的框图。

参照图41，本发明一实施例的虚拟体验内容提供装置包括通信部4110、生成部4120、传感器部4130、控制部4140及存储部4150。

通信部4110具有收发通过网络等通信网来提供虚拟体验内容所需要的信息及数据的作用。尤其，本发明一实施例的通信部4110可收发对于现实世界空间的捕获图像或通过捕获图像生成的点云数据。

生成部4120生成与远离用户的现实世界空间有关的实时三维可视化数据，并基于体验场景，与利用多个结构物构成的体验空间相应地生成三维虚拟空间。

在此情况下，实时三维可视化数据可能是为了使存在于本地或远程的实际空间与虚拟环境整合成一个空间而生成。例如，对在中国的秦始皇墓的兵马俑坑生成实时三维可视化数据，并在远离兵马俑坑的韩国设置的体验空间内使相应数据可视化，由此，利用体验空间的用户可以感觉到如同实际处于兵马俑坑。

在此情况下，可以在实时捕获现实世界空间的图像中分离背景和人，生成与背景相对应的三维背景可视化数据，并以点云(Point Cloud)数据的形态来生成与人相对应的三维人体可视化数据。

在上述例中，为了对兵马俑坑生成实时三维可视化数据，可以在实时捕获了兵马俑坑的图像中，对实际体验兵马俑坑时被捕获的人和背景进行分离。在此情况下，可以以包含三维信息的点云数据的形态来获取与分离后的人相对应的图像区域。

在此情况下，可以在实际设置于兵马俑坑的虚拟内容提供装置中生成点云数据，并传送给位于体验空间的另一个虚拟内容提供装置或另外的服务器。因此，本发明的虚拟内容提供装置可分别设置于现实世界空间和体验空间。

在此情况下，根据体验场景或虚拟体验内容的规划，多个结构物可以对应于与现实相对应的体验空间中呈现的实际结构物。

在此情况下，多个结构物可包括在人形木结构物、平面模块、移动旋转模块类型框架、隧道类型可拆卸透明框架及能够根据用户的移动而移动的被动式运动平台和能动式运动平台中的至少一种。

在此情况下，被动式运动平台或能动式运动平台等相应于根据动态用户输入而移动的结构物，因而能够使用户进行更加戏剧性的体验。

在此情况下，体验空间能够根据与现实世界空间相应设计的体验场景来改变形态及构造。

在此情况下，由于需要基于与体验空间相对应的实际环境，在后期用户所佩戴的佩戴型显示器中提供虚拟体验内容，因此，可以以3D空间来生成与体验空间相对应的实际环境从而生成三维虚拟空间。

传感器部4130基于在体验空间内所具有的多个传感器，测定体验空间中的用户动作来获取用户对象数据。

在此情况下，由于体验空间为用户实际移动或活动的空间，因此，为了将用户的动作反映到三维虚拟空间中，可在体验空间内设置多个传感器。例如，多个传感器可以为动作传感器、触摸传感器、压力传感器、方向传感器等能够测定用户的动作或视线方向等的多种传感器。

控制部4140整合三维虚拟空间和实时三维可视化数据来生成三维体验空间，利用用户对象数据、三维体验空间及体验空间来向用户提供与现实世界空间相对应的实时体验内容。

在此情况下，用户对象数据、三维体验空间及体验空间可在时间、空间及视觉上实现同步。通过执行上述同步，能够将响应于用户的动作的事件、根据用户的位置提供的虚拟画面、与用户正在体验时相对应的现实世界空间的状态等逼真地提供给用户。

即，用户戴上佩戴型显示器并以视觉观察三维体验空间，在体验空间内移动的同时体会到与视觉反馈一致的听觉、嗅觉、触觉等多种感觉，因此，感觉如同实际处于与体验场景相对应的现实世界空间内。

在此情况下，通过用户所佩戴的佩戴型显示器输出三维体验空间，此时可以基于用户对象数据，向佩戴型显示器输出考虑了在三维体验空间中用户的位置及视线中的至少一个的区域。

例如，可以利用设置于体验空间的多个传感器和设置于佩戴型显示器的另外的传感器来检测用户的当前位置和视线方向，并输出与用户的位置和用户的视线方向相对应的三维体验空间的数据。

在此情况下，佩戴型显示器可以与本发明的虚拟体验内容提供装置建立联动，通过有线或无线来收发用于虚拟体验内容的数据。

在此情况下，可以基于用户对象数据来分析用户的倾向，生成与符合用户的倾向的脸部表情及全身运动中的至少一个相对应的虚拟形象来向三维体验空间输出。

例如，可以在用户戴上佩戴型显示器开始体验之后，收集与用户的动作有关的数据来分析用户的倾向。即，对于积极活动并体验的用户，可输出与之匹配的活跃且动作或手势多的虚拟形象，对于比较冷静地体验的用户可以输出动作或手势并不大的虚拟形象。

在此情况下，虚拟形象能够帮助用户进行符合体验场景的体验。例如，通过指引路线或者告知与在当前位置提供的事件有关的信息等，由此能够引导用户进行基于体验场景的多种体验。

在此情况下，能够通过使与至少一个特征点相对应的坐标一致的方式，整合三维虚拟空间和实时三维可视化数据。例如，可以在三维虚拟空间和实时三维可视化数据中获取与共同特征点有关的坐标，通过使各个坐标一致的方式执行整合。

在此情况下，基于坐标，在三维体验空间适用三维背景可视化数据，基于点云数据，在三维体验空间中生成与人相对应的人物对象。即，能够在三维体验空间中，与背景分离来输出并呈现实际位于现实世界空间的体验者及用户。

在此情况下，考虑体验场景，基于三维体验空间而生成至少一个触觉事件，在基于用户动作而执行触觉事件的情况下，可以利用多个结构物向用户提供触觉上的反馈。

通过提供上述触觉事件，除了偏重于视觉部分的虚拟体验之外，还能够提供用户可以直接感受的体感上的体验，从而可强化体验所带来的临场感。

在此情况下，可以执行触觉事件，使得用户的身体与提供触觉事件的多个结构物之间的反馈与视觉信息一致。

例如，在用户体验壁画洞穴的体验场景中可以生成触觉事件，使得当用户触摸了壁画时，壁画的内容呈现为动画。

作为另一例，也可以生成触觉事件，使得当用户在三维体验空间中触摸了与特定人物相对应的人形木结构物的情况下，产生细微的活动。

如上所述，存储部4150存储本发明一实施例的虚拟体验内容提供过程中产生的多种信息。

根据实施例，存储部4150可以与虚拟体验内容提供装置独立构成，并支持用于提供虚拟体验内容的功能。在此情况下，存储部4150可以作为另外的大容量储存器进行操作，可包括用于执行操作的控制功能。

另一方面，虚拟体验内容提供装置可以搭载有存储器，从而在其装置内存储信息。在一实例的情况下，存储器是计算机可读取介质。在一实例中，存储器可以为易失性存储器单元，在另一实例中，存储器可以为非易失性存储器单元。在一实例的情况下，存储装置是计算机可读取介质。在多种不同实例中，存储装置例如可包括硬盘装置、光盘装置或任何其他大容量存储装置。

通过利用上述虚拟体验内容提供装置，能够超越用户之间的时间、空间上的限制，提供如同远距离的用户存在于同一空间内的体验。

并且，能够提供与智能虚拟形象等配合而实现逼真的互动的实际和虚拟的空间共存的融合型虚拟现实***。

并且，可自由建立符合内容的现实空间，并且重建符合现实空间的虚拟空间，从而可提供如同实际和虚拟共存的体验。

如上所述，本发明的虚拟体验内容提供方法及用于其的装置不限于上述说明的实施例的结构和方法，各个实施例的全部或一部分可选择性地进行组合，使得上述实施例实现多种变形。

Claims (20)

1.一种虚拟体验内容提供方法，其特征在于，包括：

生成与远离用户的现实世界空间相关的实时三维可视化数据的步骤；

基于体验场景，与利用多个结构物构成的体验空间相对应地生成三维虚拟空间的步骤；

基于在上述体验空间内所具有的多个传感器，测定在上述体验空间中的用户动作来获取用户对象数据的步骤；以及

整合上述三维虚拟空间和上述实时三维可视化数据来生成三维体验空间，利用上述用户对象数据、上述三维体验空间及上述体验空间来向上述用户提供与上述现实世界空间相对应的实时虚拟体验内容的步骤。

2.根据权利要求1所述的虚拟体验内容提供方法，其特征在于，

上述用户对象数据、上述三维体验空间及上述体验空间在时间、空间及视觉上进行同步。

3.根据权利要求2所述的虚拟体验内容提供方法，其特征在于，

上述提供的步骤包括：

在通过上述用户所佩戴的佩戴型显示器来输出上述三维体验空间时，基于上述用户对象数据，向上述佩戴型显示器输出考虑了上述三维体验空间中上述用户的位置及视线中的至少一个的区域的步骤。

4.根据权利要求3所述的虚拟体验内容提供方法，其特征在于，

上述提供的步骤还包括：

基于上述用户对象数据来分析上述用户的倾向的步骤；以及

生成与符合上述用户的倾向的脸部表情及全身运动中的至少一个相对应的虚拟形象，并输出到上述三维体验空间的步骤。

5.根据权利要求1所述的虚拟体验内容提供方法，其特征在于，

上述提供的步骤包括：

通过使与至少一个特征点相对应的坐标一致的方式，整合上述三维虚拟空间和上述实时三维可视化数据的步骤。

6.根据权利要求5所述的虚拟体验内容提供方法，其特征在于，

上述生成实时三维可视化数据的步骤包括：

在实时捕获上述现实世界空间的图像中分离背景和人的步骤；以及

生成与上述背景相对应的三维背景可视化数据，以点云数据的形态来生成与上述人相对应的三维人体可视化数据的步骤。

7.根据权利要求6所述的虚拟体验内容提供方法，其特征在于，

上述整合的步骤包括：

基于上述坐标，在上述三维体验空间中应用上述三维背景可视化数据的步骤；以及

基于上述点云数据，在上述三维体验空间生成与上述人相对应的人物对象的步骤。

8.根据权利要求1所述的虚拟体验内容提供方法，其特征在于，

上述多个结构物包括人形木结构物、平面模块、移动旋转模块类型框架、隧道类型可拆卸透明框架及能够根据上述用户动作而活动的被动式运动平台和能动式运动平台中的至少一种。

9.根据权利要求1所述的虚拟体验内容提供方法，其特征在于，

上述提供的步骤还包括：

考虑上述体验场景，基于上述三维体验空间来生成至少一个触觉事件的步骤；以及

在基于上述用户动作而执行上述触觉事件的情况下，利用多个结构物向上述用户提供触觉上的反馈的步骤。

10.根据权利要求1所述的虚拟体验内容提供方法，其特征在于，

上述体验空间能够根据与上述现实世界空间相对应地设计的体验场景来变更形态及构造。

11.一种虚拟体验内容提供装置，其特征在于，包括：

生成部，生成与远离用户的现实世界空间有关的实时三维可视化数据，并基于体验场景，与利用多个结构物构成的体验空间相应地生成三维虚拟空间；

传感器部，基于在上述体验空间内所具有的多个传感器，测定在上述体验空间中的用户动作来获取用户对象数据；以及

控制部，整合上述三维虚拟空间和上述实时三维可视化数据来生成三维体验空间，利用上述用户对象数据、上述三维体验空间及上述体验空间向上述用户提供与上述现实世界空间相对应的实时虚拟体验内容。

12.根据权利要求11所述的虚拟体验内容提供装置，其特征在于，

上述用户对象数据、上述三维体验空间及上述体验空间在时间、空间及视觉上进行同步。

13.根据权利要求12所述的虚拟体验内容提供装置，其特征在于，

上述控制部在通过上述用户所佩戴的佩戴型显示器来输出上述三维体验空间时，基于上述用户对象数据，向上述佩戴型显示器输出考虑了在上述三维体验空间中上述用户的位置及视线中的至少一个的区域。

14.根据权利要求13所述的虚拟体验内容提供装置，其特征在于，

上述控制部基于上述用户对象数据来分析上述用户的倾向，生成与符合上述用户的倾向的脸部表情及全身运动中的至少一个相对应的虚拟形象并输出到上述三维体验空间。

15.根据权利要求11所述的虚拟体验内容提供装置，其特征在于，

上述控制部通过使与至少一个特征点相对应的坐标一致的方式来整合上述三维虚拟空间和上述实时三维可视化数据。

16.根据权利要求15所述的虚拟体验内容提供装置，其特征在于，

上述生成部在实时捕获上述现实世界空间的图像中分离背景和人，生成与上述背景相对应的三维背景可视化数据，并以点云数据的形态生成与上述人相对应的三维人体可视化数据。

17.根据权利要求16所述的虚拟体验内容提供装置，其特征在于，

上述控制部基于上述坐标，在上述三维体验空间中采用上述三维背景可视化数据，基于上述点云数据，在上述三维体验空间生成与上述人相对应的人物对象。

18.根据权利要求11所述的虚拟体验内容提供装置，其特征在于，

上述多个结构物包括人形木结构物、平面模块、移动旋转模块类型框架、隧道类型可拆卸透明框架及能够根据上述用户动作而活动的被动式运动平台和能动式运动平台中的至少一种。

19.根据权利要求11所述的虚拟体验内容提供装置，其特征在于，

上述控制部考虑上述体验场景，基于上述三维体验空间来生成至少一个触觉事件，在基于上述用户动作而执行上述触觉事件的情况下，利用多个结构物向上述用户提供触觉上的反馈。

20.根据权利要求11所述的虚拟体验内容提供装置，其特征在于，

上述体验空间能够根据与上述现实世界空间相对应地设计的体验场景来变更形态及构造。