CN114063784A - 一种模拟化虚拟xr box体感互动***及方法 - Google Patents
一种模拟化虚拟xr box体感互动***及方法 Download PDFInfo
- Publication number
- CN114063784A CN114063784A CN202111385857.6A CN202111385857A CN114063784A CN 114063784 A CN114063784 A CN 114063784A CN 202111385857 A CN202111385857 A CN 202111385857A CN 114063784 A CN114063784 A CN 114063784A
- Authority
- CN
- China
- Prior art keywords
- information
- interaction
- instruction
- user
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 188
- 230000003238 somatosensory effect Effects 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012795 verification Methods 0.000 claims abstract description 23
- 230000002452 interceptive effect Effects 0.000 claims abstract description 19
- 238000005516 engineering process Methods 0.000 claims abstract description 17
- 238000003384 imaging method Methods 0.000 claims abstract description 14
- 238000009877 rendering Methods 0.000 claims abstract description 14
- 230000009471 action Effects 0.000 claims description 44
- 238000001914 filtration Methods 0.000 claims description 16
- 230000006399 behavior Effects 0.000 claims description 7
- 230000008676 import Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000004088 simulation Methods 0.000 claims description 3
- 230000003190 augmentative effect Effects 0.000 abstract description 4
- 230000000694 effects Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000013178 mathematical model Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种模拟化虚拟XR BOX体感互动***及方法，涉及扩展现实交互技术领域。该***包括登录验证模块，用于进行登录验证，验证完成后启动XR BOX体感交互设备；指令识别模块，用于根据各个类别的指令信息提取对应类别的预置的指令分析模型，生成指令识别信息；体感互动模块，用于根据指令识别信息和预置的互动场景数据采用虚幻引擎或实时渲染技术生成并发送反馈信息给成像模块；成像模块，用于根据反馈信息生成并实时显示最终交互画面内容。本发明可针对用户多种形式指令进行快速精准的分析反馈，大大提高了用户交互体验感，使得用户置身于XR BOX空间，通过体感互动装置，与3D影像丰富互动体验超强趣味性和参与感。
Description
技术领域
本发明涉及扩展现实交互技术领域，具体而言，涉及一种模拟化虚拟XR BOX体感互动***及方法。
背景技术
XR是指由计算机技术和可穿戴设备生成的所有真实和虚拟组合环境以及人机交互，其包含了虚拟现实(VR)、增强现实(AR)以及混合现实(MR)等多种形式。XR BOX是指一个物理空间，空间内包含一系列设备，基于XR BOX可实现裸眼3D内容交互沉浸式体验，真正沉浸式体验，在有限空间内打造无限视觉可能实现虚拟世界与现实世界之间的融合和交互。虚拟现实技术利用头戴设备模拟真实世界的3D互动环境；增强现实则是通过电子设备(如手机、平板、眼镜等)将各种信息和影像叠加到现实世界中；混合现实介于VR和AR之间，在虚拟世界、现实世界和用户之间，利用数字技术实现实时交互的复杂环境。
现有的人机互动***无法很好的结合用户的多种形式的指令及时精准的分析反馈，进而导致用户体验感不好，交互效果低。因此，针对上述问题，本发明提出一种交互效果好的模拟化虚拟XR BOX体感互动***及方法。
发明内容
为了克服上述问题或者至少部分地解决上述问题，本发明实施例提供一种模拟化虚拟XR BOX体感互动***及方法，可针对用户多种形式指令进行快速精准的分析反馈，大大提高了用户交互体验感，使得用户置身于XR BOX空间，通过体感互动装置，与3D影像丰富互动体验超强趣味性和参与感。
本发明的实施例是这样实现的：
第一方面，本发明实施例提供一种模拟化虚拟XR BOX体感互动***，包括登录验证模块、指令获取模块、指令识别模块、体感互动模块以及成像模块，其中：
登录验证模块，用于获取用户登录信息并进行登录验证，验证完成后启动XR BOX体感交互设备；
指令获取模块，用于获取并对用户指令信息进行分类，以得到多个类别的指令信息；
指令识别模块，用于根据各个类别的指令信息提取对应类别的预置的指令分析模型，并将各个类别的指令信息分别导入至对应的指令分析模型中，生成指令识别信息；
体感互动模块，用于根据指令识别信息和预置的互动场景数据采用虚幻引擎或实时渲染技术生成并发送反馈信息给成像模块；
成像模块，用于根据反馈信息生成并实时显示最终交互画面内容。
为了解决现有技术中交互***无法很好的结合用户的多种形式的指令及时精准的分析反馈，进而导致用户体验感不好，交互效果低的技术问题，本***结合XR BOX体感交互设备实现人机体感互动，确定交互区域范围，然后在该交互区域范围内指令获取模块通过语音识别、位置***、红外线摄像头等设备实时的获取互动中的用户的相关指令信息，然后指令识别模块对指令信息进行分类，再对不同类别的指令信息进行分析识别，得到指令识别信息后通过体感互动模块及时的将信息进行反馈，反馈内容通过实时渲染技术传递到XR BOX体感交互设备的LED屏幕上，至此交互完成。本发明可针对用户多种形式指令进行快速精准的分析反馈，大大提高了用户交互体验感，使得用户置身于XR BOX空间，通过体感互动装置，与3D影像丰富互动体验超强趣味性和参与感。
基于第一方面，在本发明的一些实施例中，上述指令获取模块包括语音子模块和动作子模块，其中：
语音子模块，用于通过音频采集设备实时获取实时交互区域范围内的用户语音指令信息并进行信息过滤，以得到语音类别指令信息；
动作子模块，用于通过体感设备实时获取实时交互区域范围内的用户动作指令信息并进行信息过滤，以得到动作类别指令信息。
基于第一方面，在本发明的一些实施例中，该模拟化虚拟XR BOX体感互动***还包括动作追踪模块，用于对用户肢体进行定位追踪，实时获取并导入实时交互区域范围内的用户动作姿态行为信息至预置的动作识别模型中，生成动作指令识别信息。
基于第一方面，在本发明的一些实施例中，该模拟化虚拟XR BOX体感互动***还包括喜好交互模块，用于获取并导入用户基础喜好信息至预置的交互模型中，生成并发送喜好推荐内容。
第二方面，本发明实施例提供一种模拟化虚拟XR BOX体感互动方法，包括以下步骤：
获取用户登录信息并进行登录验证，验证完成后启动XR BOX体感交互设备；
获取并对用户指令信息进行分类，以得到多个类别的指令信息；
根据各个类别的指令信息提取对应类别的预置的指令分析模型，并将各个类别的指令信息分别导入至对应的指令分析模型中，生成指令识别信息；
根据指令识别信息和预置的互动场景数据采用虚幻引擎或实时渲染技术生成并发送反馈信息；
根据反馈信息生成并实时显示最终交互画面内容。
为了解决现有技术中交互***无法很好的结合用户的多种形式的指令及时精准的分析反馈，进而导致用户体验感不好，交互效果低的技术问题，本***结合XR BOX体感交互设备实现人机体感互动，确定实时的交互区域范围，然后在该交互区域范围内通过语音识别、位置***、红外线摄像头等设备实时的获取互动中的用户的相关指令信息，然后对指令信息进行分类，再对不同类别的指令信息进行分析识别，得到指令识别信息后及时的将信息进行反馈，反馈内容通过实时渲染技术传递到XR BOX体感交互设备的LED屏幕上，至此交互完成。本发明可针对用户多种形式指令进行快速精准的分析反馈，大大提高了用户交互体验感，使得用户置身于XR BOX空间，通过体感互动装置，与3D影像丰富互动体验超强趣味性和参与感。
基于第二方面，在本发明的一些实施例中，上述获取并对用户指令信息进行分类，以得到多个类别的指令信息的方法包括以下步骤：
通过音频采集设备实时获取实时交互区域范围内的用户语音指令信息并进行信息过滤，以得到语音类别指令信息；
通过体感设备实时获取实时交互区域范围内的用户动作指令信息并进行信息过滤，以得到动作类别指令信息。
基于第二方面，在本发明的一些实施例中，该模拟化虚拟XR BOX体感互动方法还包括以下步骤：
对用户肢体进行定位追踪，实时获取并导入实时交互区域范围内的用户动作姿态行为信息至预置的动作识别模型中，生成动作指令识别信息。
基于第二方面，在本发明的一些实施例中，该模拟化虚拟XR BOX体感互动方法还包括以下步骤：
获取并导入用户基础喜好信息至预置的交互模型中，生成并发送喜好推荐内容。
第三方面，本申请实施例提供一种电子设备，其包括存储器，用于存储一个或多个程序；处理器。当一个或多个程序被处理器执行时，实现如上述第二方面中任一项的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第二方面中任一项的方法。
本发明实施例至少具有如下优点或有益效果：
本发明实施例提供一种模拟化虚拟XR BOX体感互动***及方法，解决了现有技术中交互***无法很好的结合用户的多种形式的指令及时精准的分析反馈，进而导致用户体验感不好，交互效果低的技术问题，本发明结合XR BOX体感交互设备实现人机体感互动，确定实时的交互区域范围，然后在该交互区域范围内通过语音识别、位置***、红外线摄像头等设备实时的获取互动中的用户的相关指令信息，然后对指令信息进行分类，再对不同类别的指令信息进行分析识别，得到指令识别信息后及时的将信息进行反馈，反馈内容通过实时渲染技术传递到XR BOX体感交互设备的LED屏幕上，至此交互完成。本发明可针对用户多种形式指令进行快速精准的分析反馈，大大提高了用户交互体验感，使得用户置身于XR BOX空间，通过体感互动装置，与3D影像丰富互动体验超强趣味性和参与感。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例一种模拟化虚拟XR BOX体感互动***的原理框图；
图2为本发明实施例一种模拟化虚拟XR BOX体感互动方法的流程图；
图3为本发明实施例提供的一种电子设备的结构框图。
图标：100、登录验证模块；200、指令获取模块；210、语音子模块；220、动作子模块；300、指令识别模块；400、体感互动模块；500、成像模块；600、动作追踪模块；700、喜好交互模块；101、存储器；102、处理器；103、通信接口。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
实施例
如图1所示，第一方面，本发明实施例提供一种模拟化虚拟XR BOX体感互动***，包括登录验证模块100、指令获取模块200、指令识别模块300、体感互动模块400以及成像模块500，其中：
登录验证模块100，用于获取用户登录信息并进行登录验证，验证完成后启动XRBOX体感交互设备；用户使用手机扫描二维码或者下载APP登录的方式开启体验，登录过程中本***会自动获取用户的登录信息，并通过文字问答获取用户的年龄、性别、喜好等其他相关信息。
指令获取模块200，用于获取并对用户指令信息进行分类，以得到多个类别的指令信息；
进一步地，上述指令获取模块200包括语音子模块210和动作子模块220，其中：
语音子模块210，用于通过音频采集设备实时获取实时交互区域范围内的用户语音指令信息并进行信息过滤，以得到语音类别指令信息；动作子模块220，用于通过体感设备实时获取实时交互区域范围内的用户动作指令信息并进行信息过滤，以得到动作类别指令信息。
在本发明的一些实施例中，为了进一步提高用户的体验感，提高交互效果，在体验过程中，用户处于MOTO XR BOX搭建的空间范围内，可以用过语音识别***、***、红外线摄像头识别***三个***实现内容交互。语音子模块210通过音频采集设备实时获取实时交互区域范围内的用户语音指令信息并进行信息过滤，以得到更为精准的用户语音指令信息，以便后续进行精准的语音识别。动作子模块220通过体感设备实时获取实时交互区域范围内的用户动作指令信息并进行信息过滤，基于预置的动作参考数据对一些干扰动作进行过滤，得到一个更为精准的动作类别指令信息。在语音识别***中，用户通过与***语音对话的方式与内容产生交互；在******中，用户佩戴具有跟踪功能的可穿戴设备，可完成用户定位追踪，通过传感器面板可完成手势识别；在红外摄像头识别***中，通过空间内红外摄像头捕捉用户位置信息。结合多个外接设备和***对交互体验中的用户的交互数据进行全面获取。
指令识别模块300，用于根据各个类别的指令信息提取对应类别的预置的指令分析模型，并将各个类别的指令信息分别导入至对应的指令分析模型中，生成指令识别信息；上述指令识别信息包括位置信息、语音信息、动作(包括不限于手势、抬腿、摆手)信息等。
体感互动模块400，用于根据指令识别信息和预置的互动场景数据采用虚幻引擎或实时渲染技术生成并发送反馈信息给成像模块500；
成像模块500，用于根据反馈信息生成并实时显示最终交互画面内容。
在本发明的一些实施例中，在交互过程中，体感互动模块400基于语音识别、***或者红外摄像头捕捉到用户实时位置信息和指令，做出相应反馈，反馈内容通过实时渲染技术传递到XR BOX体感交互设备的LED屏幕上，即传递至成像模块500，通过成像模块500实时显示最终交互画面内容，至此交互完成。其中，用户移动位置的同时，LED屏幕中现实的内容将会随之改变角度和位置变化，通过模拟现实，达到裸眼3D沉浸式体验。
为了解决现有技术中交互***无法很好的结合用户的多种形式的指令及时精准的分析反馈，进而导致用户体验感不好，交互效果低的技术问题，本***结合XR BOX体感交互设备实现人机体感互动，确定交互区域范围，然后在该交互区域范围内指令获取模块200通过语音识别、位置***、红外线摄像头等设备实时的获取互动中的用户的相关指令信息，然后指令识别模块300对指令信息进行分类，再对不同类别的指令信息进行分析识别，得到指令识别信息后通过体感互动模块400及时的将信息进行反馈，反馈内容通过实时渲染技术传递到XR BOX体感交互设备的LED屏幕上，至此交互完成。本发明可针对用户多种形式指令进行快速精准的分析反馈，大大提高了用户交互体验感，使得用户置身于XR BOX空间，通过体感互动装置，与3D影像丰富互动体验超强趣味性和参与感。交互完成后，自动留存交互过程中用户的身份信息和偏好，以便后续进行喜好推荐。本发明可针对用户多种形式指令进行快速精准的分析反馈，大大提高了用户交互体验感，使得用户置身于XR BOX空间，通过体感互动装置，与3D影像丰富互动体验超强趣味性和参与感。1：1还原产品细节在虚拟/真实的世界中用不同的感受体验产品，产品信息互动展示，深入的沉浸感雪山、公路、森林、海边、城市、沙漠等多场景切换，营造沉浸感场景氛围。
如图1所示，基于第一方面，在本发明的一些实施例中，该模拟化虚拟XR BOX体感互动***还包括动作追踪模块600，用于对用户肢体进行定位追踪，实时获取并导入实时交互区域范围内的用户动作姿态行为信息至预置的动作识别模型中，生成动作指令识别信息。
为了进一步提高互动效果，本***还设置有动作追踪模块600，动作追踪模块600采用手掌模块设备可完成用户手部定位追踪，柔性传感器面板可完成“抓握”等手势识别。实时获取并导入实时交互区域范围内的用户手部手势信息至预置的手势识别模型中，通过手势识别模型对手部手势进行识别分析，得到精准的手部手势指令识别信息。上述手势识别模型是指结合历史手部手势数据进行数据训练，以得到一个可进行快速精准识别手部手势的数学模型。
如图1所示，基于第一方面，在本发明的一些实施例中，该模拟化虚拟XR BOX体感互动***还包括喜好交互模块700，用于获取并导入用户基础喜好信息至预置的交互模型中，生成并发送喜好推荐内容。
为了进一步提高用户体验感，通过喜好交互模块700对用户喜好进行分析，结合预置的交互模型对用户的喜好进行精准分析，进而匹配出对应的交互内容，然后生成喜好推荐内容，并对喜好推荐内容进行实时渲染并发送至XR BOX体感交互设备中，通过XR BOX体感交互设备进行相关内容呈现，实现交互。上述交互模型是指结合历史喜好及其推荐内容进行数据训练，以得到的一个可根据喜好关键词匹配对应喜好内容的数学模型。上述用户基础喜好信息包括选择次数、类别、喜好交互时间、基础年龄、职业等数据。
如图2所示，第二方面，本发明实施例提供一种模拟化虚拟XR BOX体感互动方法，包括以下步骤：
S1、获取用户登录信息并进行登录验证，验证完成后启动XR BOX体感交互设备；
S2、获取并对用户指令信息进行分类，以得到多个类别的指令信息；
S3、根据各个类别的指令信息提取对应类别的预置的指令分析模型，并将各个类别的指令信息分别导入至对应的指令分析模型中，生成指令识别信息；
S4、根据指令识别信息和预置的互动场景数据采用虚幻引擎或实时渲染技术生成并发送反馈信息；
S5、根据反馈信息生成并实时显示最终交互画面内容。
在本发明的一些实施例中，在交互过程中，***通过语音识别、***或者红外摄像头捕捉到用户实时位置信息和指令，做出相应反馈，反馈内容通过实时渲染技术传递到XR BOX体感交互设备的LED屏幕上，至此交互完成。其中，用户移动位置的同时，LED屏幕中现实的内容将会随之改变角度和位置变化，通过模拟现实，达到裸眼3D沉浸式体验。
为了解决现有技术中交互***无法很好的结合用户的多种形式的指令及时精准的分析反馈，进而导致用户体验感不好，交互效果低的技术问题，本***结合XR BOX体感交互设备实现人机体感互动，确定实时的交互区域范围，建空间的时候就确定好的，一般默认为，进去此物理空间范围内，用户的位置信息皆可被设备采集到，然后在该交互区域范围内通过语音识别、位置***、红外线摄像头等设备实时的获取互动中的用户的相关指令信息，然后对指令信息进行分类，再对不同类别的指令信息进行分析识别，得到指令识别信息后及时的将信息进行反馈，反馈内容通过实时渲染技术传递到XR BOX体感交互设备的LED屏幕上，至此交互完成。本发明可针对用户多种形式指令进行快速精准的分析反馈，大大提高了用户交互体验感，使得用户置身于XR BOX空间，通过体感互动装置，与3D影像丰富互动体验超强趣味性和参与感。
基于第二方面，在本发明的一些实施例中，上述获取并对用户指令信息进行分类，以得到多个类别的指令信息的方法包括以下步骤：
通过音频采集设备实时获取实时交互区域范围内的用户语音指令信息并进行信息过滤，以得到语音类别指令信息；
通过体感设备实时获取实时交互区域范围内的用户动作指令信息并进行信息过滤，以得到动作类别指令信息。
为了进一步提高用户的体验感，提高交互效果，在体验过程中，用户处于MOTO XRBOX搭建的空间范围内，可以用过语音识别***、***、红外线摄像头识别***三个***实现内容交互。通过音频采集设备实时获取实时交互区域范围内的用户语音指令信息并进行信息过滤，以得到更为精准的用户语音指令信息，以便后续进行精准的语音识别。通过体感设备实时获取实时交互区域范围内的用户动作指令信息并进行信息过滤，基于预置的动作参考数据对一些干扰动作进行过滤，得到一个更为精准的动作类别指令信息。在语音识别***中，用户通过与***语音对话的方式与内容产生交互；在******中，用户佩戴具有跟踪功能的可穿戴设备，可完成用户定位追踪，通过传感器面板可完成手势识别；在红外摄像头识别***中，通过空间内红外摄像头捕捉用户位置信息。结合多个外接设备和***对交互体验中的用户的交互数据进行全面获取。
基于第二方面，在本发明的一些实施例中，该模拟化虚拟XR BOX体感互动方法还包括以下步骤：
对用户肢体进行定位追踪，实时获取并导入实时交互区域范围内的用户动作姿态行为信息至预置的动作识别模型中，生成动作指令识别信息。
为了进一步提高互动效果，采用手掌模块设备可完成用户手部定位追踪，柔性传感器面板可完成“抓握”等手势识别。实时获取并导入实时交互区域范围内的用户手部手势信息至预置的手势识别模型中，对手部手势进行识别分析，得到精准的手部手势指令识别信息。上述手势识别模型是指结合历史手部手势数据进行数据训练，以得到一个可进行快速精准识别手部手势的数学模型。还会有其他的方式来通过动作实现交互，手持***只是一种方式，还会包括其他穿戴设备。并不仅限于捕捉手势信息和动作，还包括其他动作姿态行为的捕捉，比如抬手，踢腿之类的。
基于第二方面，在本发明的一些实施例中，该模拟化虚拟XR BOX体感互动方法还包括以下步骤：
获取并导入用户基础喜好信息至预置的交互模型中，生成并发送喜好推荐内容。
为了进一步提高用户体验感，结合预置的交互模型对用户的喜好进行分析，进而匹配出对应的交互内容，然后生成喜好推荐内容，并对喜好推荐内容进行实时渲染并发送至XR BOX体感交互设备中，通过XR BOX体感交互设备中的LED屏幕进行相关内容呈现，实现交互。上述交互模型是指结合历史喜好及其推荐内容进行数据训练，以得到的一个可根据喜好关键词匹配对应喜好内容的数学模型。上述用户基础喜好信息包括选择次数、类别、喜好交互时间、基础年龄、职业等数据。
如图3所示，第三方面，本申请实施例提供一种电子设备，其包括存储器101，用于存储一个或多个程序；处理器102。当一个或多个程序被处理器102执行时，实现如上述第二方面中任一项的方法。
还包括通信接口103，该存储器101、处理器102和通信接口103相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器101可用于存储软件程序及模块，处理器102通过执行存储在存储器101内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口103可用于与其他节点设备进行信令或数据的通信。
其中，存储器101可以是但不限于，随机存取存储器101(Random Access Memory，RAM)，只读存储器101(Read Only Memory，ROM)，可编程只读存储器101(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器101(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器101(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。
处理器102可以是一种集成电路芯片，具有信号处理能力。该处理器102可以是通用处理器102，包括中央处理器102(Central Processing Unit，CPU)、网络处理器102(Network Processor，NP)等；还可以是数字信号处理器102(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请所提供的实施例中，应该理解到，所揭露的方法及***和方法，也可以通过其它的方式实现。以上所描述的方法及***实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的方法及***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器102执行时实现如上述第二方面中任一项的方法。所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器101(ROM，Read-Only Memory)、随机存取存储器101(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (10)
1.一种模拟化虚拟XR BOX体感互动***，其特征在于，包括登录验证模块、指令获取模块、指令识别模块、体感互动模块以及成像模块，其中：
登录验证模块，用于获取用户登录信息并进行登录验证，验证完成后启动XR BOX体感交互设备；
指令获取模块，用于获取并对用户指令信息进行分类，以得到多个类别的指令信息；
指令识别模块，用于根据各个类别的指令信息提取对应类别的预置的指令分析模型，并将各个类别的指令信息分别导入至对应的指令分析模型中，生成指令识别信息；
体感互动模块，用于根据指令识别信息和预置的互动场景数据采用虚幻引擎或实时渲染技术生成并发送反馈信息给成像模块；
成像模块，用于根据反馈信息生成并实时显示最终交互画面内容。
2.根据权利要求1所述的一种模拟化虚拟XR BOX体感互动***，其特征在于，所述指令获取模块包括语音子模块和动作子模块，其中：
语音子模块，用于通过音频采集设备实时获取实时交互区域范围内的用户语音指令信息并进行信息过滤，以得到语音类别指令信息；
动作子模块，用于通过体感设备实时获取实时交互区域范围内的用户动作指令信息并进行信息过滤，以得到动作类别指令信息。
3.根据权利要求1所述的一种模拟化虚拟XR BOX体感互动***，其特征在于，还包括动作追踪模块，用于对用户肢体进行定位追踪，实时获取并导入实时交互区域范围内的用户动作姿态行为信息至预置的动作识别模型中，生成动作指令识别信息。
4.根据权利要求1所述的一种模拟化虚拟XR BOX体感互动***，其特征在于，还包括喜好交互模块，用于获取并导入用户基础喜好信息至预置的交互模型中，生成并发送喜好推荐内容。
5.一种模拟化虚拟XR BOX体感互动方法，其特征在于，包括以下步骤：
获取用户登录信息并进行登录验证，验证完成后启动XR BOX体感交互设备；
获取并对用户指令信息进行分类，以得到多个类别的指令信息；
根据各个类别的指令信息提取对应类别的预置的指令分析模型，并将各个类别的指令信息分别导入至对应的指令分析模型中，生成指令识别信息；
根据指令识别信息和预置的互动场景数据采用虚幻引擎或实时渲染技术生成并发送反馈信息；
根据反馈信息生成并实时显示最终交互画面内容。
6.根据权利要求5所述的一种模拟化虚拟XR BOX体感互动方法，其特征在于，所述获取并对用户指令信息进行分类，以得到多个类别的指令信息的方法包括以下步骤：
通过音频采集设备实时获取实时交互区域范围内的用户语音指令信息并进行信息过滤，以得到语音类别指令信息；
通过体感设备实时获取实时交互区域范围内的用户动作指令信息并进行信息过滤，以得到动作类别指令信息。
7.根据权利要求5所述的一种模拟化虚拟XR BOX体感互动方法，其特征在于，还包括以下步骤：
对用户肢体进行定位追踪，实时获取并导入实时交互区域范围内的用户动作姿态行为信息至预置的动作识别模型中，生成动作指令识别信息。
8.根据权利要求5所述的一种模拟化虚拟XR BOX体感互动方法，其特征在于，还包括以下步骤：
获取并导入用户基础喜好信息至预置的交互模型中，生成并发送喜好推荐内容。
9.一种电子设备，其特征在于，包括：
存储器，用于存储一个或多个程序；
处理器；
当所述一个或多个程序被所述处理器执行时，实现如权利要求5-8中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求5-8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111385857.6A CN114063784A (zh) | 2021-11-22 | 2021-11-22 | 一种模拟化虚拟xr box体感互动***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111385857.6A CN114063784A (zh) | 2021-11-22 | 2021-11-22 | 一种模拟化虚拟xr box体感互动***及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114063784A true CN114063784A (zh) | 2022-02-18 |
Family
ID=80278822
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111385857.6A Withdrawn CN114063784A (zh) | 2021-11-22 | 2021-11-22 | 一种模拟化虚拟xr box体感互动***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114063784A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115393551A (zh) * | 2022-07-26 | 2022-11-25 | 合壹(上海)展览有限公司 | 具有增强现实效果的展示***、方法、设备及存储介质 |
| CN116071134A (zh) * | 2023-03-07 | 2023-05-05 | 网思科技股份有限公司 | 一种智能用户体验显示方法、***和存储介质 |
-
2021
- 2021-11-22 CN CN202111385857.6A patent/CN114063784A/zh not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115393551A (zh) * | 2022-07-26 | 2022-11-25 | 合壹(上海)展览有限公司 | 具有增强现实效果的展示***、方法、设备及存储介质 |
| CN116071134A (zh) * | 2023-03-07 | 2023-05-05 | 网思科技股份有限公司 | 一种智能用户体验显示方法、***和存储介质 |
| CN116071134B (zh) * | 2023-03-07 | 2023-10-13 | 网思科技股份有限公司 | 一种智能用户体验显示方法、***和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109085966B (zh) | 一种基于云计算的三维展示***及方法 | |
| CN109635621B (zh) | 用于第一人称视角中基于深度学习识别手势的***和方法 | |
| CN108875633B (zh) | 表情检测与表情驱动方法、装置和***及存储介质 | |
| CN110716645A (zh) | 一种增强现实数据呈现方法、装置、电子设备及存储介质 | |
| US9501140B2 (en) | Method and apparatus for developing and playing natural user interface applications | |
| JP2019535055A (ja) | ジェスチャに基づく操作の実施 | |
| CN106355153A (zh) | 一种基于增强现实的虚拟对象显示方法、装置以及*** | |
| CN114063784A (zh) | 一种模拟化虚拟xr box体感互动***及方法 | |
| CN109035415B (zh) | 虚拟模型的处理方法、装置、设备和计算机可读存储介质 | |
| CN113870395A (zh) | 动画视频生成方法、装置、设备及存储介质 | |
| CN111401318A (zh) | 动作识别方法及装置 | |
| CN109582122A (zh) | 增强现实信息提供方法、装置及电子设备 | |
| CN106293099A (zh) | 手势识别方法及*** | |
| CN113128368A (zh) | 一种人物交互关系的检测方法、装置及*** | |
| CN109918005A (zh) | 一种基于移动终端的展示控制***及方法 | |
| WO2017042070A1 (en) | A gazed virtual object identification module, a system for implementing gaze translucency, and a related method | |
| CN109739353A (zh) | 一种基于手势、语音、视线追踪识别的虚拟现实交互*** | |
| CN111078005A (zh) | 一种虚拟伙伴创建方法及虚拟伙伴*** | |
| Morillas-Espejo et al. | Sign4all: A low-cost application for deaf people communication | |
| CN112637692B (zh) | 互动方法、装置、设备 | |
| CN117789306A (zh) | 图像处理方法、装置及存储介质 | |
| CN108170278A (zh) | 沟通辅助方法及装置 | |
| Tong et al. | ARFurniture: augmented reality interior decoration style colorization | |
| CN109426336A (zh) | 一种虚拟现实辅助选型设备 | |
| CN113407031B (zh) | Vr交互方法、***、移动终端及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220218 |
|
| WW01 | Invention patent application withdrawn after publication |