CN110362199A - 一种体感ar及vr互动控制管理*** - Google Patents

一种体感ar及vr互动控制管理*** Download PDF

Info

Publication number
CN110362199A
CN110362199A CN201910540292.0A CN201910540292A CN110362199A CN 110362199 A CN110362199 A CN 110362199A CN 201910540292 A CN201910540292 A CN 201910540292A CN 110362199 A CN110362199 A CN 110362199A
Authority
CN
China
Prior art keywords
module
sensing
input terminal
output end
connect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910540292.0A
Other languages
English (en)
Inventor
李春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Guowei Science And Technology Service Co Ltd
Original Assignee
Anhui Guowei Science And Technology Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Guowei Science And Technology Service Co Ltd filed Critical Anhui Guowei Science And Technology Service Co Ltd
Priority to CN201910540292.0A priority Critical patent/CN110362199A/zh
Publication of CN110362199A publication Critical patent/CN110362199A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种体感AR及VR互动控制管理***，包括视频采集模块、VR虚拟模块、语音采集模块、体感手势预设***和体感采集模块，视频采集模块的输出端与图像识别模块的输入端连接，图像识别模块的输出端与AR融合模块的输入端连接，本发明涉及虚拟现实和增强现实技术领域。该体感AR及VR互动控制管理***，利用AR技术和VR技术的相互配合，将虚拟环境与真实环境进行融合，提高了使用者的观看体验，使得使用者能够快速的沉浸在虚拟环境中，能够实时采集使用者的手势，能将使用者的手势在虚拟视频中实时模拟出来，并根据使用者手势转化为相应的命令，从而对虚拟视频中的动画做出相应的变换，***能够跟使用者进行实时对话。

Description

一种体感AR及VR互动控制管理***
技术领域
本发明涉及虚拟现实和增强现实技术领域，具体为一种体感AR及VR互动控制管理***。
背景技术
虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真***，它利用计算机生成一种模拟环境，是一种多源信息融合的交互式的三维动态视景和实体行为的***仿真，使用户沉浸到该环境中，增强现实，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动，随着随身电子产品运算能力的提升，预期增强现实的用途将会越来越广，随着AR技术及VR技术的发展，目前也出现了供于娱乐的AR技术及VR技术体验馆，在虚拟视频播放时，一般会通过AR及VR控制管理***对其进行管理。
现有的AR及VR控制管理***，没有将AR技术和VR技术的进行很好的整合，使得虚拟环境与真实环境不能进行很好的融合，降低了使用者的观看体验，使得使用者不能够完全沉浸在虚拟环境中，不能够实时采集使用者的手势使虚拟视频中的动画做出相应的变换，导致使用者与虚拟环境不能够进行很好的互动，***不能够跟使用者进行实时对话，降低了娱乐性。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种体感AR及VR互动控制管理***，解决了AR及VR控制管理***没有将虚拟环境与真实环境进行很好融合，不能够与使用者进行很好的互动，娱乐性不高的问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：一种体感AR及VR互动控制管理***，包括视频采集模块、VR虚拟模块、语音采集模块、体感手势预设***和体感采集模块，所述视频采集模块的输出端与图像识别模块的输入端连接，所述图像识别模块的输出端与AR融合模块的输入端连接，并且AR融合模块的输出端与视频接收模块的输入端连接，所述视频接收模块的输出端与中央处理模块的输入端连接，并且中央处理模块的输出端分别与AR眼镜和语音接收模块的输入端连接，所述VR虚拟模块的输出端与AR融合模块的输入端连接。
优选的，所述语音采集模块的输出端与语音识别模块的输入端连接，所述语音识别模块的输出端与中央处理模块的输入端连接。
优选的，所述中央处理模块与语音反馈模块实现双向连接，并且语音反馈模块与话术库实现双向连接。
优选的，所述体感手势预设***的输出端与中央处理模块的输入端连接，所述中央处理模块的输出端与体感反馈***的输入端连接，并且体感反馈***的输出端与AR融合模块的输入端连接。
优选的，所述体感采集模块的输出端与虚拟手势对接模块的输入端连接，并且虚拟手势对接模块的输出端与AR融合模块的输入端连接，所述体感采集模块的输出端与体感反馈***的输入端连接。
优选的，所述体感反馈***包括体感手势接收模块、体感手势对比模块和命令启动模块，所述体感手势接收模块的输出端与体感手势对比模块的输入端连接，并且体感手势对比模块的输出端与命令启动模块的输入端连接，所述命令启动模块的输出端与AR融合模块的输入端连接，所述体感手势对比模块的输入端与中央处理模块的输出端连接，所述体感手势接收模块的输入端与体感采集模块的输出端连接。
优选的，所述体感手势预设***包括体感图像上传模块和图像指令设定模块，所述体感图像上传模块的输出端与图像指令设定模块的输入端连接，并且图像指令设定模块的输出端与中央处理模块的输入端连接。
(三)有益效果
本发明提供了一种体感AR及VR互动控制管理***。与现有技术相比具备以下有益效果：
(1)、该体感AR及VR互动控制管理***，通过图像识别模块的输出端与AR融合模块的输入端连接，并且AR融合模块的输出端与视频接收模块的输入端连接，视频接收模块的输出端与中央处理模块的输入端连接，并且中央处理模块的输出端分别与AR眼镜和语音接收模块的输入端连接，VR虚拟模块的输出端与AR融合模块的输入端连接，利用AR技术和VR技术的相互配合，将虚拟环境与真实环境进行融合，提高了使用者的观看体验，使得使用者能够快速的沉浸在虚拟环境中。
(2)、该体感AR及VR互动控制管理***，通过体感反馈***包括体感手势接收模块、体感手势对比模块和命令启动模块，体感手势接收模块的输出端与体感手势对比模块的输入端连接，并且体感手势对比模块的输出端与命令启动模块的输入端连接，命令启动模块的输出端与AR融合模块的输入端连接，体感手势对比模块的输入端与中央处理模块的输出端连接，体感手势接收模块的输入端与体感采集模块的输出端连接，能够实时采集使用者的手势，能将使用者的手势在虚拟视频中实时模拟出来，并根据使用者手势转化为相应的命令，从而对虚拟视频中的动画做出相应的变换，使得体验者能够与虚拟环境进行很好的互动。
(3)、该体感AR及VR互动控制管理***，通过语音采集模块的输出端与语音识别模块的输入端连接，语音识别模块的输出端与中央处理模块的输入端连接，中央处理模块与语音反馈模块实现双向连接，并且语音反馈模块与话术库实现双向连接，能够对使用者说出的话进行实时采集，根据采集的语音***能够跟使用者进行实时对话，提高了娱乐性。
附图说明
图1为本发明***的结构原理框图；
图2为本发明体感反馈***的结构原理框图；
图3为本发明体感手势预设***的结构原理框图。
图中，1、视频采集模块；2、VR虚拟模块；3、语音采集模块；4、体感手势预设***；5、体感采集模块；6、图像识别模块；7、AR融合模块；8、视频接收模块；9、中央处理模块；10、AR眼镜；11、语音接收模块；12、语音识别模块；13、语音反馈模块；14、体感反馈***；15、话术库；16、虚拟手势对接模块；141、体感手势接收模块；142、体感手势对比模块；143、命令启动模块；41、体感图像上传模块；42、图像指令设定模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-3，本发明实施例提供一种技术方案：一种体感AR及VR互动控制管理***，包括视频采集模块1、VR虚拟模块2、语音采集模块3、体感手势预设***4和体感采集模块5，视频采集模块1的输出端与图像识别模块6的输入端连接，图像识别模块6的输出端与AR融合模块7的输入端连接，并且AR融合模块7的输出端与视频接收模块8的输入端连接，视频接收模块8的输出端与中央处理模块9的输入端连接，并且中央处理模块9的输出端分别与AR眼镜10和语音接收模块11的输入端连接，语音接收模块11即为耳机，VR虚拟模块2的输出端与AR融合模块7的输入端连接，语音采集模块3的输出端与语音识别模块12的输入端连接，语音识别模块12的输出端与中央处理模块9的输入端连接，中央处理模块9与语音反馈模块13实现双向连接，并且语音反馈模块13与话术库15实现双向连接，体感手势预设***4的输出端与中央处理模块9的输入端连接，中央处理模块9的输出端与体感反馈***14的输入端连接，并且体感反馈***14的输出端与AR融合模块7的输入端连接，体感采集模块5的输出端与虚拟手势对接模块16的输入端连接，并且虚拟手势对接模块16的输出端与AR融合模块7的输入端连接，体感采集模块5的输出端与体感反馈***14的输入端连接，体感反馈***14包括体感手势接收模块141、体感手势对比模块142和命令启动模块143，体感手势接收模块141的输出端与体感手势对比模块142的输入端连接，并且体感手势对比模块142的输出端与命令启动模块143的输入端连接，命令启动模块143的输出端与AR融合模块7的输入端连接，体感手势对比模块142的输入端与中央处理模块9的输出端连接，体感手势接收模块141的输入端与体感采集模块5的输出端连接，体感手势预设***4包括体感图像上传模块41和图像指令设定模块42，体感图像上传模块41的输出端与图像指令设定模块42的输入端连接，并且图像指令设定模块42的输出端与中央处理模块9的输入端连接。
使用前，工作人员可以通过体感手势预设***4中的体感图像上传模块41对体感手势图像进行上传，体感手势图像上传完毕后，操作人员可以通过图像指令设定模块42对上传的体感动作图像的定义进行设定，同时工作人员可以通过VR虚拟模块，将提前制作好的三维虚拟动画进行上传。
使用时，视频采集模块1会对真实环境进行视频采集，从而图像识别模块6会对采集的视频进行识别整合后发送至AR融合模块7，AR融合模块7会将接受的真实环境视频和虚拟视频进行整合，从而虚拟环境叠加到真实环境内，整合完毕后，AR融合模块7会将整合后的视频发送至视频接收模块8，视频接收模块8会通过中央处理模块9将虚拟视频在AR眼镜10上显示，同时在语音接收模块11上播放配音，在使用者使用该***时，在使用者说话时，此时语音采集模块3会采集使用者说出的话，从而语音识别模块12会对使用者说出的话进行识别，待语音识别模块12识别完毕后，语音识别模块12会通过中央处理模块9将识别好的语音发送至语音反馈模块13，此时语音反馈模块13会从话术库15中提取相应的应答话术，待语音反馈模块13提取完毕后，会通过中央处理模块9将应答话术发送至使用者使用的语音接收模块11上，在对该***进行使用时，使用者可以做出相应的体感手势，此时体感采集模块5会对动作进行采集，体感采集模块5对动作采集完毕后会分别将其发送至虚拟手势对接模块16和体感反馈***14，虚拟手势对接模块16会根据采集的手势与虚拟视频中的手势进行对接，从而使得虚拟视频中的手势与使用者的手势同步，与此同时体感反馈***14中的体感手势接收模块141会将接收到体感手势发送至体感手势对比模块142，体感手势对比模块142将接收到的手势与之前预设的手势进行对比，对比吻合后，会根据之前设置的手势指定启动命令启动模块143，从而命令启动模块143会将命令发送至AR融合模块7，AR融合模块7会根据命令对虚拟视频进行及时更改，从而使用者会从AR眼镜10中感受到虚拟动画的反馈。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.一种体感AR及VR互动控制管理***，包括视频采集模块(1)、VR虚拟模块(2)、语音采集模块(3)、体感手势预设***(4)和体感采集模块(5)，其特征在于：所述视频采集模块(1)的输出端与图像识别模块(6)的输入端连接，所述图像识别模块(6)的输出端与AR融合模块(7)的输入端连接，并且AR融合模块(7)的输出端与视频接收模块(8)的输入端连接，所述视频接收模块(8)的输出端与中央处理模块(9)的输入端连接，并且中央处理模块(9)的输出端分别与AR眼镜(10)和语音接收模块(11)的输入端连接，所述VR虚拟模块(2)的输出端与AR融合模块(7)的输入端连接。
2.根据权利要求1所述的一种体感AR及VR互动控制管理***，其特征在于：所述语音采集模块(3)的输出端与语音识别模块(12)的输入端连接，所述语音识别模块(12)的输出端与中央处理模块(9)的输入端连接。
3.根据权利要求1所述的一种体感AR及VR互动控制管理***，其特征在于：所述中央处理模块(9)与语音反馈模块(13)实现双向连接，并且语音反馈模块(13)与话术库(15)实现双向连接。
4.根据权利要求1所述的一种体感AR及VR互动控制管理***，其特征在于：所述体感手势预设***(4)的输出端与中央处理模块(9)的输入端连接，所述中央处理模块(9)的输出端与体感反馈***(14)的输入端连接，并且体感反馈***(14)的输出端与AR融合模块(7)的输入端连接。
5.根据权利要求1所述的一种体感AR及VR互动控制管理***，其特征在于：所述体感采集模块(5)的输出端与虚拟手势对接模块(16)的输入端连接，并且虚拟手势对接模块(16)的输出端与AR融合模块(7)的输入端连接，所述体感采集模块(5)的输出端与体感反馈***(14)的输入端连接。
6.根据权利要求4所述的一种体感AR及VR互动控制管理***，其特征在于：所述体感反馈***(14)包括体感手势接收模块(141)、体感手势对比模块(142)和命令启动模块(143)，所述体感手势接收模块(141)的输出端与体感手势对比模块(142)的输入端连接，并且体感手势对比模块(142)的输出端与命令启动模块(143)的输入端连接，所述命令启动模块(143)的输出端与AR融合模块(7)的输入端连接，所述体感手势对比模块(142)的输入端与中央处理模块(9)的输出端连接，所述体感手势接收模块(141)的输入端与体感采集模块(5)的输出端连接。
7.根据权利要求1所述的一种体感AR及VR互动控制管理***，其特征在于：所述体感手势预设***(4)包括体感图像上传模块(41)和图像指令设定模块(42)，所述体感图像上传模块(41)的输出端与图像指令设定模块(42)的输入端连接，并且图像指令设定模块(42)的输出端与中央处理模块(9)的输入端连接。
CN201910540292.0A 2019-06-20 2019-06-20 一种体感ar及vr互动控制管理*** Withdrawn CN110362199A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910540292.0A CN110362199A (zh) 2019-06-20 2019-06-20 一种体感ar及vr互动控制管理***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910540292.0A CN110362199A (zh) 2019-06-20 2019-06-20 一种体感ar及vr互动控制管理***

Publications (1)

Publication Number Publication Date
CN110362199A true CN110362199A (zh) 2019-10-22

Family

ID=68217430

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910540292.0A Withdrawn CN110362199A (zh) 2019-06-20 2019-06-20 一种体感ar及vr互动控制管理***

Country Status (1)

Country Link
CN (1) CN110362199A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113823133A (zh) * 2021-07-29 2021-12-21 中国南方电网有限责任公司超高压输电公司 一种将虚拟现实技术与教育培训结合的数据交换***
CN117180720A (zh) * 2023-11-07 2023-12-08 成都孚谦科技有限公司 一种基于体感追踪器技术的虚拟动作游戏交互***及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113823133A (zh) * 2021-07-29 2021-12-21 中国南方电网有限责任公司超高压输电公司 一种将虚拟现实技术与教育培训结合的数据交换***
CN117180720A (zh) * 2023-11-07 2023-12-08 成都孚谦科技有限公司 一种基于体感追踪器技术的虚拟动作游戏交互***及方法
CN117180720B (zh) * 2023-11-07 2024-01-05 成都孚谦科技有限公司 一种基于体感追踪器技术的虚拟动作游戏交互***及方法

Similar Documents

Publication Publication Date Title
CN111935491B (zh) 直播的特效处理方法、装置以及服务器
CN108986189B (zh) 基于三维动画中实时多人动作捕捉并直播的方法和***
EP3754992A1 (en) Immersive interactive remote participation in live entertainment
WO2018006377A1 (zh) 实时互动动画的全息投影***、方法及人工智能机器人
CN112199016B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN112667068A (zh) 虚拟人物的驱动方法、装置、设备及存储介质
CN107158704A (zh) 一种虚拟现实游戏***
CN111935528A (zh) 视频生成方法和装置
US20230182028A1 (en) Game live broadcast interaction method and apparatus
US10602117B1 (en) Tool for onsite augmentation of past events
CN109841217A (zh) 一种基于语音识别的ar交互***和方法
CN105938541A (zh) 利用数字内容增强现场表演的***和方法
CN107948743A (zh) 视频推送方法及其装置、存储介质
CN110362199A (zh) 一种体感ar及vr互动控制管理***
CN114245099B (zh) 视频生成方法、装置、电子设备以及存储介质
US11553009B2 (en) Information processing device, information processing method, and computer program for switching between communications performed in real space and virtual space
CN108259806A (zh) 一种视频通信方法、设备和终端
Reimat et al. Cwipc-sxr: Point cloud dynamic human dataset for social xr
CN113625869A (zh) 一种大空间多人互动云渲染***
CN107479701B (zh) 虚拟现实交互方法、装置及***
CN109116987B (zh) 一种基于Kinect手势控制的全息展示***
CN114222076A (zh) 一种换脸视频生成方法、装置、设备以及存储介质
WO2023232103A1 (zh) 一种观影互动方法、装置及计算机可读存储介质
CN108320331B (zh) 一种生成用户场景的增强现实视频信息的方法与设备
CN116744027A (zh) 一种元宇宙直播***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20191022