CN105279354A - 用户可融入剧情的情境建构*** - Google Patents

Abstract

一种用户可融入剧情的情境建构***，适用播放一包含至少一场景及至少一角色的情境信息供一用户观看。该情境建构***包含一储存该情境信息的储存装置、一显示器、一撷取该用户外貌并产生一影像信息的立体影像捕获设备、一供该用户穿戴并包括一第一感测单元、一第二感测单元与一回馈单元的穿戴式装置，及一处理器。所述感测单元侦测该用户体型而产生一体型信息，及一有关该用户动作状态的动作参数。该处理器接受该影像信息、该体型信息及通过该动作参数运算出的动作信息，建构出一呈现该用户外型及动作的拟真影像并与该情境信息的角色外观结合后，传送至该显示器。该处理器亦可根据该场景的环境信息给予该用户触觉及嗅觉的回馈，以增加互动性。

Description

用户可融入剧情的情境建构***

技术领域

本发明涉及一种情境建构***，特别是涉及一种用户可融入剧情的情境建构***。

背景技术

现有的情境建构***，例如应用于电玩、电影及数字影音教学等领域，通常包含一储存装置及一显示器，该储存装置通常预存有多个不同的情境信息，通过该显示器播放且供一用户观看。

该显示器播放影像内容时，该用户仅能通过观看该情境信息而被动想象参与其中的感受，无法置身于该情境信息中，亲身体验该情境信息的主角实际的感受。

另，市面上有一些能与现有的情境建构***连结并侦测该用户动作的影像捕获设备，例如MicrosoftKinect，虽然这些以往影像捕获设备具有能撷取3D影像的功能，但由于处理3D彩色影像需耗费较高的运算成本，所以以往的影像捕获设备大多只撷取具有深度信息的3D深浅灰阶图，作为辨识动作的根据，但无法通过现有技术，使得该用户能融入该情境建构***中达到拟真的目的，互动性较差。

发明内容

本发明的目的在于提供一种提升拟真及互动效果的用户可融入剧情的情境建构***。

本发明一种用户可融入剧情的情境建构***，适用于播放一情境信息供一用户观看，且该情境信息包含至少一场景及至少一角色，该情境建构***包含一预先储存前述情境信息的储存装置，及一播放该情境信息的显示器。该情境建构***还包含：一储存装置、一显示器、一3D绘图引擎、一立体影像捕获设备、一穿戴式装置，及一处理器。

该3D绘图引擎用于处理影像间的合成与替换；

该立体影像捕获设备撷取该用户不同角度的3D外貌，并通过该3D绘图引擎将其合成而产生一该用户体型的360°三维模型，且该立体影像捕获设备撷取该用户的实时姿势而产生一姿势信息；

该穿戴式装置供该用户穿戴，并包括一第一感测单元及第二感测单元，该第一感测单元侦测该用户的身体各部位肌肉收缩或松弛的细部体态变化，而产生一体态信息，且该第二感测单元侦测该用户动作状态获得一动作参数。

该处理器与该3D绘图引擎、该储存装置、该显示器、该立体影像捕获设备及该穿戴式装置电信连结，并包含一可接受该三维模型、该姿势信息及该体态信息的图像处理单元，及一动作处理单元，该动作处理单元接受来自该第二感测单元的动作参数后，转换为一动作信息并传送至该图像处理单元，该图像处理单元通过该三维模型、该姿势信息、该体态信息及该动作信息建构出一呈现该用户外型及动作特征的拟真影像，并与该情境信息的角色结合后，产生一输出影像信息传送至该显示器。

本案的一实施例，该立体影像捕获设备在一初始设定阶段产生该用户体型的360°三维模型作为该三维模型的根据，且该穿戴式装置在该初始设定阶段感测并产生单笔体态信息，该图像处理单元辨识该情境信息中角色的角度变化，且该3D绘图引擎将该三维模型通过运算产生该用户的该相对应角度的外观并随该角色的外貌角度变化实时贴图置换，以替换该情境信息的角色的全部外型或部分外型。

本案的另一实施例，该3D绘图引擎搭配该立体影像捕获设备在一初始设定阶段产生该用户体型的360°三维模型；之后，该立体影像捕获设备不断撷取该用户姿势产生多笔该姿势信息，且该穿戴式装置亦不断侦测该用户体态以产生多笔体态信息并搜集动作参数供该动作处理单元运算出该动作信息，该3D绘图引擎通过该三维模型、该姿势信息、该体态信息及该动作信息运算辨识该用户的相对应角度的外观并实时贴图置换，以替换该情境信息的角色的全部外型或部分外型。

本案的另一实施例，该穿戴式装置还包括一具有一触感回馈器的回馈单元；该处理器还包括一与该回馈单元电信连接的回馈处理单元；该情境信息还包含一代表该场景环境的环境参数；该回馈处理单元根据该环境参数发送一触感回馈讯号至该穿戴式装置的回馈单元，以控制该触感回馈器给予该用户触觉回馈。

本案的另一实施例，该穿戴式装置的回馈单元还具有一气味回馈器，该处理器的回馈处理单元亦根据该环境参数，发送一气味回馈讯号至该穿戴式装置的回馈单元，以控制该气味回馈器给予该用户嗅觉回馈。

本案的另一实施例，该穿戴式装置还包括一侦测该用户的生理信息的感知器，该感知器根据该用户的生理信息，当侦测到的生理信息超过一标准值，发出一警示讯号至该处理器，该处理器将通过该显示器输出一警示信息并自动控制该情境信息暂停播放。

本发明的有益效果在于：该处理器通过该三维模型、该姿势信息、该体态信息及该动作信息，建构出呈现该使用外型及各种动作特征的拟真影像，并与该情境信息的角色结合后，产生一输出影像信息传送至该显示器。另，该穿戴式装置的回馈单元受控于该处理器的回馈处理单元，使该回馈单元可依照该环境参数控制该触感回馈器及该气味回馈器，给予该用户触感及嗅觉的回馈，以增加该用户的参与性及互动性。

附图说明

图1是一方框图，说明本发明的用户可融入剧情的情境建构***的一第一实施例各元件的连接关系；

图2是一流程图，说明该第一实施例于一设定阶段时撷取单笔该用户相关数据，并如何令用户融入该情境建构***中；及

图3是一流程图，说明该第二实施例不断撷取该用户相关数据，并实时贴图置换更新一角色的外观。

具体实施方式

下面结合附图及实施例对本发明进行详细说明。为了方便说明,在以下的实施例中，相同的元件以相同的编号表示。

参阅图1与图2，说明本发明用户可融入剧情的情境建构***的第一实施例。

该用户可融入剧情的情境建构***，可适用于播放一情境信息供一用户观看，且该情境信息包含至少一场景及至少一角色。该情境建构***包含一储存装置1、一显示器2、一立体影像捕获设备3、一穿戴式装置4、一处理器5及一3D绘图引擎6。

该处理器5与该储存装置1、该显示器2、该立体影像捕获设备3及该穿戴式装置4电信连结，并根据所执行的编程指令运作而包括一图像处理单元、一动作处理单元及一回馈处理单元。在本较佳实施例中，该电信连结系指可采用有线或无线的方式连结。在本实施例，该处理器5、该立体影像捕获设备3(该项可为外部设备)及该储存装置1设计在一机壳(图未示)内，而与该显示器2实体电连接。该穿戴式装置4与该处理器5以RFID、ANT+、ZigBee、蓝牙或Wi-Fi方式无线连接，但不限于此。

在一初始设定阶段，该立体影像捕获设备3可撷取足够数量的该用户不同角度的3D外貌(至少4张各间隔90°的3D外貌)，并且通过一3D绘图引擎6将其合成而产生一该用户体型的360°三维模型作为一三维模型的根据(步骤S01)，并传送至该处理器5的图像处理单元。在本较佳实施例中，该立体影像捕获设备3可以是MicrosoftKinect、SoftKinetic3Dcamera、Stereoscopiccameras等。

该穿戴式装置4供该用户穿戴，例如为衣裤、帽、头带、手环、手套、指环、鞋等型态，并包括一例如为以软性压电纤维制成的穿戴式装置可以根据装置变形量感测颈部、身体、手臂及腿部等肌肉收缩或松弛的细部体态变化的第一感测单元41，一例如为加速度计、磁力计及陀螺仪等可以感测运动状态的第二感测单元42，以及一例如具有血压计、血氧计等可持续量测该用户的血压、脉搏及血氧浓度等的生理信息的感知器45。该第一感测单元41在该初始设定阶段时，侦测该用户的实际体态而产生一体态信息(步骤S02)，并传送至该处理器5的图像处理单元。此处所产生的体态信息搭配步骤S01所产生的三维模型，可供该3D绘图引擎6绘制细部特征更为真实的用户拟真影像。

该第二感测单元42不断侦测获得多笔有关该用户动作状态的动作参数，例如手部抬起的幅度、方向、加速度等(步骤S02)，并传送至该处理器5的动作处理单元。

该图像处理单元通过运算辨识出预储在该储存装置1的情境信息的角色，根据情境信息中该角色的姿势及画面拍摄角度，该3D绘图引擎6根据上述步骤S01产生的该三维模型及步骤S02产生的该体态信息建构出一符合情境信息中该角色姿势及画面拍摄角度并呈现该用户外型的拟真影像(步骤S03)，与预储在该储存装置1的情境信息的角色结合，并替换该角色的全部外型或部分外型，例如可选择仅置换脸部、头部、部分肢体或全身，以产生一角色影像，且该角色影像与该场景结合成一输出影像信息后，即通过该显示器2播放以供该用户观赏(步骤S04)。

该穿戴式装置4还包括一具有一触感回馈器43，及一气味回馈器44的回馈单元，且该处理器5的回馈处理单元与该穿戴式装置4的回馈单元相互电信连结。该情境信息还包含一代表该场景环境的环境参数，并于该情境信息播放时不断传送至该回馈处理单元。随着场景变换，该回馈处理单元根据该环境参数，分别发送一触感回馈讯号至该触感回馈器43，及一气味回馈讯号至该气味回馈器44，以控制该触感回馈器43与该气味回馈器44给予该用户触觉和嗅觉的回馈(步骤S05)。

该穿戴式装置4的感知器45通过持续监控该用户的血压、脉搏及血氧浓度等的生理信息，当侦测到的生理信息超过一标准值，例如：当侦测到该用户血压过高或脉搏过快时，判断该用户处于过度激动亢奋状态，或当侦测到该用户血氧浓度过低时，判断该用户处于疲劳状态，如果发生上述任一种状况时，该感知器45会发出一警示讯号至该处理器5，该处理器5将通过该显示器2输出一警示信息，或自动控制该情境信息暂停播放(步骤S05)。

在本实施例中，该触感回馈器43是一以软性压电纤维制成的穿戴式装置并内含一微电流放电的电极及一较高电阻的加热回路，可提供例如：电击、震动、压力及温度等触觉变化，值得一提的是，该触感回馈器43的电击功能，系通过极微弱的电流电击该用户的肢体末端，例如：手指头或脚趾头，以达到融入该场景的效果，且不会对该用户造成伤害。

在本实施例中，该气味回馈器44是一头带或帽子，内含数个可重复充填预设气味且可电动启闭的密封袋及一喷雾装置，可根据气味回馈讯号暂时开启相对应的密封袋，通过喷雾装置释放例如：花香、土、海水、食物、调味料及香水等简单气味，使该用户于该情境信息播放期间，能更加融入该场景的环境当中。

该处理器5的动作处理单元还具有一预存有阵列动作指令集。当该情境信息播放至一分支点时(步骤S06)，判定用户是否做出默认指令，具体来说，通过判定该第二感测单元回传该用户的动作参数，该指令集可控制触发该情境信息接下来播放的剧情分支(步骤S07)。举例来说，若此情境信息是一教学情境，该教学情境播放告一段落，确认是否有疑问时，该用户可通过举手、点头或摇头等动作，决定是否触发进一步说明或播放下一阶段教学。除此之外，该指令集亦可通过判别该用户于播放该情境信息时所做的手势，控制该情境信息的播放。在本较佳实施例中，该用户可通过前举双手交互往身体侧转数圈，触发该情境信息的关键片段特写慢动作回放；单手顺时针方向转动数圈，触发该情境信息往前数秒播放；单手逆时针方向转动数圈，则触动该情境信息倒转数秒播放；双手握拳呈L形举起则该情境信息呈静止画面；往前平举双手、双掌朝前、由左往右滑动则触发该情境信息往前数倍速快速播放；高举双手、双掌朝前、由上往下滑动则触发该情境信息往前数倍慢速播放；往前平举单手、手掌朝前、由左往右滑动，则触发正常播放或由静止画面恢复播放。

需说明的是，图式仅为示意说明，有关前述步骤S05、S06及S07是没有顺序性的，***随时都在执行S05及S07，且随时都在进行S06的判断。

参阅图3，本发明用户可融入剧情的情境建构***的第二实施例，与第一实施例的差别在于初始设定阶段产生该用户体型的360°三维模型之后，该立体影像捕获设备3不断撷取用户实时姿势产生多笔该姿势信息(步骤S01’)，该穿戴式装置4亦不断侦测该用户体态以产生多笔体态信息并搜集动作参数供该动作处理单元运算出该动作参数(步骤S02’)。该动作处理单元接受来自该第二感测单元42的动作参数后，转换成一动作信息并传送至该图像处理单元，该图像处理单元可通过该动作信息控制该角色影像，在该场景中做出与该用户于现实中所做一样的动作，例如：起立、蹲下、挥手及跑步等各种动作(步骤S08)。

该3D绘图引擎6通过该三维模型、该姿势信息、该体态信息及该动作信息运算辨识该用户的相对应角度的外观并实时贴图置换，以替换该情境信息的角色的全部外型或部分外型(步骤S04’)。

与第一实施例相比较差异之处为，第一实施例中，角色影像的拟真部分在一初始设定之后即不再变化，用户是以观众的立场，观看拟真的用户演出的内容。而本较佳实施例用户的姿势、体态及动作则可持续随内容情境对应着变化，且情境信息的角色外观可随该用户进行同步变动(步骤S08)，例如：原先该用户头上有戴一顶帽子，则该情境信息的角色亦戴一顶一模一样的帽子，当该用户将帽子脱下时，该情境信息的角色亦将该顶帽子脱下，用户是以演员的立场，一边演出一边观看拟真的用户演出的内容，如此较第一实施例更有融入该情境信息并提高互动性。

综上所述，通过该三维模型、该姿势信息、该体态信息及该动作信息，该处理器5得以建构出呈现该使用外型及各种动作特征的拟真影像，与该情境信息的角色结合后，产生一输出影像信息传送至该显示器2，且该处理器5还能配合该情境信息的场景的环境参数，控制该回馈单元对该用户作出触觉与嗅觉回馈，以增进该用户的参与性及身历其境的感受，更能通过预设的手势动作控制该情境信息的剧情发展而加强互动性，故确实能达成本发明的目的。

惟以上所述者，仅为本发明的较佳实施例而已，当不能以此限定本发明实施的范围，即大凡依本发明权利要求书及专利说明书内容所作的简单的等效变化与修饰，皆仍属本发明专利涵盖的范围内。

Claims (6)

1.一种用户可融入剧情的情境建构***，适用于播放一情境信息供一用户观看，且该情境信息包含至少一场景及至少一角色，该情境建构***包含一预先储存前述情境信息的储存装置，及一播放该情境信息的显示器；其特征在于：该情境建构***还包含：

一3D绘图引擎，用于处理影像间的合成与替换；

一立体影像捕获设备，撷取该用户不同角度的3D外貌并通过该3D绘图引擎将其合成而产生一用户体型的360°三维模型，且该立体影像捕获设备撷取该用户的实时姿势而产生一姿势信息；

一穿戴式装置，供该用户穿戴并包括一第一感测单元及第二感测单元，该第一感测单元侦测该用户的身体各部位肌肉收缩或松弛的细部体态变化，而产生一体态信息，且该第二感测单元侦测该用户动作状态获得一动作参数；及

一处理器，与该3D绘图引擎、该储存装置、该显示器、该立体影像捕获设备及该穿戴式装置电信连结，并包含一可接受该三维模型、该姿势信息及该体态信息的图像处理单元，及一动作处理单元，该动作处理单元接受来自该第二感测单元的动作参数后，转换为一动作信息并传送至该图像处理单元，该图像处理单元通过该三维模型、该姿势信息、该体态信息及该动作信息建构出一呈现该用户外型及动作特征的拟真影像，并与该情境信息的角色结合后，产生一输出影像信息传送至该显示器。

2.根据权利要求1所述的用户可融入剧情的情境建构***，其特征在于：该立体影像捕获设备在一初始设定阶段产生该用户体型的360°三维模型作为该三维模型的根据，且该穿戴式装置在该初始设定阶段感测并产生单笔体态信息，该图像处理单元辨识该情境信息中角色的角度变化，且该3D绘图引擎将该三维模型通过运算产生该用户的该相对应角度的外观并随该角色的外貌角度变化实时贴图置换，以替换该情境信息的角色的全部外型或部分外型。

3.根据权利要求1所述的用户可融入剧情的情境建构***，其特征在于：该3D绘图引擎搭配该立体影像捕获设备在一初始设定阶段产生该用户体型的360°三维模型；之后，该立体影像捕获设备不断撷取该用户姿势产生多笔该姿势信息，且该穿戴式装置亦不断侦测该用户体态以产生多笔体态信息并搜集动作参数供该动作处理单元运算出该动作信息，该3D绘图引擎通过该三维模型、该姿势信息、该体态信息及该动作信息运算辨识该用户的相对应角度的外观并实时贴图置换，以替换该情境信息的角色的全部外型或部分外型。

4.根据权利要求2或3所述的用户可融入剧情的情境建构***，其特征在于：该穿戴式装置还包括一具有一触感回馈器的回馈单元；该处理器还包括一与该回馈单元电信连接的回馈处理单元；该情境信息还包含一代表该场景环境的环境参数；该回馈处理单元根据该环境参数发送一触感回馈讯号至该穿戴式装置的回馈单元，以控制该触感回馈器给予该用户触觉回馈。

5.根据权利要求4所述的用户可融入剧情的情境建构***，其特征在于：该穿戴式装置的回馈单元还具有一气味回馈器，该处理器的回馈处理单元亦根据该环境参数，发送一气味回馈讯号至该穿戴式装置的回馈单元，以控制该气味回馈器给予该用户嗅觉回馈。

6.根据权利要求5所述的用户可融入剧情的情境建构***，其特征在于：该穿戴式装置还包括一侦测该用户的生理信息的感知器，该感知器根据该用户的生理信息，当侦测到的生理信息超过一标准值，发出一警示讯号至该处理器，该处理器将通过该显示器输出一警示信息并自动控制该情境信息暂停播放。