CN116012680A - 一种基于多通道cave洞穴式虚拟仿真大屏幕融合*** - Google Patents

一种基于多通道cave洞穴式虚拟仿真大屏幕融合*** Download PDF

Info

Publication number
CN116012680A
CN116012680A CN202211607540.7A CN202211607540A CN116012680A CN 116012680 A CN116012680 A CN 116012680A CN 202211607540 A CN202211607540 A CN 202211607540A CN 116012680 A CN116012680 A CN 116012680A
Authority
CN
China
Prior art keywords
virtual
simulation
dimensional
cave
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211607540.7A
Other languages
English (en)
Inventor
谭贻国
陈月梅
谭斐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Elephant Skills Technology Co ltd
Original Assignee
Shenzhen Elephant Skills Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Elephant Skills Technology Co ltd filed Critical Shenzhen Elephant Skills Technology Co ltd
Priority to CN202211607540.7A priority Critical patent/CN116012680A/zh
Publication of CN116012680A publication Critical patent/CN116012680A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于多通道CAVE洞穴式虚拟仿真大屏幕融合***,涉及虚拟现实技术领域,融合***包括智能终端、无线接收器、智能控制器和CAVE虚拟***,为解决现有技术沉浸效果较差,无法覆盖用户的所有视野,3D投影无法与屏幕融合,使用户的沉浸感受下降的问题,通过智能终端发出虚拟体验的仿真虚拟信号,智能控制器根据仿真虚拟信号控制CAVE虚拟***生成模拟出相应的虚拟环境,CAVE虚拟***通过虚拟单元根据所接收到的仿真虚拟信号,通过计算机同步运算渲染技术,在所述立体大屏幕生成投射出仿真虚拟环境,再由所述交互单元与虚拟环境对象互动或操作,完成对三维立体仿真图像的人机互动和场景自由切换。

Description

一种基于多通道CAVE洞穴式虚拟仿真大屏幕融合***
技术领域
本发明涉及虚拟现实技术领域,特别涉及一种基于多通道CAVE洞穴式虚拟仿真大屏幕融合***。
背景技术
虚拟仿真实际上是一种可创建和体验虚拟世界的计算机***。此种虚拟世界由计算机生成,可以是现实世界的再现,亦可以是构想中的世界,用户可借助视觉、听觉及触觉等多种传感通道与虚拟世界进行自然的交互。它是以仿真的方式给用户创造一个实时反映实体对象变化与相互作用的三维虚拟世界,并通过头盔显示器(HMD)、数据手套等辅助传感设备,提供用户一个观测与该虚拟世界交互的三维界面,使用户可直接参与并探索仿真对象在所处环境中的作用与变化,产生沉浸感。虽传统的单投影面虚拟仿真已经利用3D技术提升的真实感,但单面投影沉浸效果较差,无法覆盖用户的所有视野,3D投影无法与屏幕融合,使用户的沉浸感受下降,不能为用户提供给身临其境的沉浸感受。
发明内容
本发明的目的在于提供一种基于多通道CAVE洞穴式虚拟仿真大屏幕融合***,通过智能终端发出虚拟体验的仿真虚拟信号,无线接收器将仿真虚拟信号发送至智能控制器,智能控制器根据仿真虚拟信号控制CAVE虚拟***生成模拟出相应的虚拟环境,CAVE虚拟***通过虚拟单元根据所接收到的仿真虚拟信号,通过计算机同步运算渲染技术,在所述立体大屏幕生成投射出仿真虚拟环境,再由所述交互单元与虚拟环境对象互动或操作,完成对三维立体仿真图像的人机互动和场景自由切换,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
一种基于多通道CAVE洞穴式虚拟仿真大屏幕融合***,包括智能终端、无线接收器、智能控制器和CAVE虚拟***;
智能终端,用于实时生成仿真虚拟信号,所述智能终端通过无线接收器向智能控制器传输仿真虚拟信号,所述智能控制器根据所接收的仿真虚拟信号对CAVE虚拟***进行控制;
无线接收器,用于无线射频信号接收,主要用于接收所述智能终端发出的仿真虚拟信号,所述无线接收器主要用于与所述智能终端通信,一般与所述智能终端配套使用;
智能控制器,用于控制所述CAVE虚拟***,所述智能控制器通过智能终端对CAVE虚拟***进行控制,CAVE虚拟***根据智能控制器的控制生成仿真虚拟环境。
CAVE虚拟***,用于将高分辨率的立体投影技术、三维计算机图形技术和音响技术等有机地结合在一起,产生一个完全沉浸式的虚拟环境,虚拟环境中的任何物体,都可以感受参与者操作,并实施产生相应变化。
进一步地,所述CAVE虚拟***,包括:
立体大屏幕,基于多通道立体显示和所述虚拟单元同步运算渲染形成洞穴形状投影空间,再由所述交互单元与虚拟环境对象互动或操作;
虚拟单元,用于生成仿真虚拟环境,所述智能控制器将仿真虚拟信号发送至虚拟单元,虚拟单元根据所接收到的仿真虚拟信号,通过计算机同步运算渲染技术,在所述立体大屏幕生成投射出仿真虚拟环境;
交互单元,用于获取采集用户产生的运动数据,实时对用户的动作追踪捕捉,确定动作追踪对象跨X、Y和Z坐标的信息实***置数据,交互单元将采集到的动作数据进行处理并上传至立体大屏幕。
进一步地,所述虚拟单元,包括:
CAVE***仿真服务器,用于接收智能控制器发送的仿真虚拟信号,所述CAVE***仿真服务器对接收到的仿真虚拟信号进行解析和配置图像,以此生成数据图像,并将图像数据发送至主动立体融合器;
主动立体融合器,用于接收CAVE***仿真服务器发送的数据图像,所述主动立体融合器将接收到的数据图像进行融合处理,经过融合处理,合成三维立体仿真图像,并将合成的三维立体仿真图像发送至主动立体投影;
主动立体投影设备,用于接收主动立体融合器传送的三维立体仿真图像,所述主动立体投影设备将接收到的三维立体仿真图像投射至立体大屏幕,三维立体仿真图像通过立体大屏幕形成虚拟仿真空间。
进一步地,所述主动立体投影设备设有多个,立体大屏幕分为主屏幕、下屏幕、左屏幕和右屏幕四块屏幕,每块屏幕对应一个主动立体投影设备。
进一步地,主动立体融合器包括:
滤波子模块,用于对接收到的数据图像进行滤波处理,滤除数据图像中的干扰噪声;
增强子模块,用于对滤波后的数据图像进行增强处理使得图像更清晰;
图像融合子模块,用于将增强后的数据图像进行融合,形成三维立体仿真图像;
平滑处理子模块,用于对三维立体仿真图像进行平滑处理,填补滤波处理和融合造成的图像缺陷,增强图像的整体性。
进一步地,所述包括如下步骤:
通过智能终端发出虚拟体验的仿真虚拟信号,无线接收器收集智能终端发出的仿真虚拟信号,并将仿真虚拟信号发送至智能控制器,智能控制器根据仿真虚拟信号控制CAVE虚拟***生成模拟出相应的虚拟环境;
虚拟单元通过CAVE***仿真服务器对仿真虚拟信号基进行分析和处理,经过分析后,将这些仿真虚拟信号进行转化,将仿真虚拟信号转换成数据信息,再对数据信息进行解析,并进行配置图像,以此生成数据图像,并将图像数据发送至主动立体融合器,通过主动立体融合器合成三维立体仿真图像的场景,再将合成的三维立体仿真图像的场景传输至主动立体投影设备;
通过主动立体投影设备将三维立体仿真图像投射至立体大屏幕上,基于多个主动立体投影设备投射实现立体显示,以及主动立体投影设备同步运算渲染技术,使多块立体大屏幕形成洞穴形状投影空间,再由所述交互单元与虚拟环境对象互动或操作,完成对三维立体仿真图像的人机互动和场景自由切换。
进一步地,所述交互单元,包括:
动作追踪传感器,用于捕捉用户的位置和肢体的动作数据,所述动作追踪传感器检测红外光,将追踪对象的位置和动作数据传送到所述服务器和动作数据计算单元;
动作数据计算单元,用于接收动作追踪传感器传送的用户位置和动作数据,所述动作数据计算单元根据用户位置和动作数据确定人机交互指令,并将人机交互指令传输至交互式反应执行单元;
交互式反应执行单元,用于接收动作数据计算单元传输的人机交互指令,根据人机交互指令执行目标交互命令,控制立体大屏幕虚拟环境的切换
进一步地,所述包括如下步骤:
通过动作追踪传感器实时跟踪用户,并对用户的位置以及动作数据进行捕捉采集,将捕捉采集到的用户位置以及动作数据传送到服务器和动作数据计算单元,通过动作数据计算单元对用户位置以及动作数据进行处理识别;
通过动作数据计算单元的处理识别后,识别出用户位置以及动作数据中包括的目标信息,根据目标信息,确定与目标信息对应的人机交互指令,即是人机进行交互的命令,还是对虚拟场景进行切换的命令;
通过交互式反应执行单元,并根据人机交互指令执行相应的目标命令,用户可与立体大屏幕的虚拟环境进行互动,并控制虚拟场景进行切换。
进一步地,所述动作追踪传感器设有多个,动作追踪传感器对用户的位置由其X轴、Y轴和Z轴限定,其中X轴表示相对于动作追踪区域的前部的水平位置,其中Y轴表示相对于所述动作追踪区域的左侧和右侧的水平位置,并且其中Z轴表示相对于所述动作追踪区域的顶侧的竖向位置。
进一步地,动作数据计算单元在接收动作追踪传感器传送的用户位置和动作数据后,采用以下公式对用户位置或者动作数据进行相位补偿:
Di=|RD{di(t,n)exp[-jδ(t,n)]}|
上式中,Di表示相位补偿后的第i个用户位置或者动作数据;RD{·}表示采用距离多普勒成像算法函数;di(t,n)表示接收的动作追踪传感器传送的第i个用户位置或动作数据;t,n分别表示距离向和方位向;exp[·]表示以自然常数e为底的指数函数;j表示***的影响因子;δ(t,n)表示包含径向速度和加速度的***相位误差;
采用经相位补偿修正后的用户位置和动作数据确定人机交互指令。
与现有技术相比,本发明的有益效果是:
1、通过智能终端发出虚拟体验的仿真虚拟信号,无线接收器将仿真虚拟信号发送至智能控制器,智能控制器根据仿真虚拟信号控制CAVE虚拟***生成模拟出相应的虚拟环境,CAVE虚拟***通过虚拟单元根据所接收到的仿真虚拟信号,通过计算机同步运算渲染技术,在所述立体大屏幕生成投射出仿真虚拟环境,再由所述交互单元与虚拟环境对象互动或操作,完成对三维立体仿真图像的人机互动和场景自由切换。
2、CAVE虚拟***是一种基于多通道视景同步技术和立体显示技术的房间式投影可视协同环境,通过四投影面(三个墙壁和一个地板)实现虚拟现实完全沉浸效果,每块投影面对应一个主动立体投影设备,使投影面积能够覆盖用户的所有视野,超宽视频、无任何视角盲点,用户完全被一个立体投影画面所包围,CAVE虚拟***能提供给用户身临其境的沉浸感受。
3、通过动作追踪传感器对用户的位置以及动作数据进行捕捉采集,并传送到服务器和动作数据计算单元,通过动作数据计算单元对用户位置以及动作数据进行处理识别,识别出目标信息,根据目标信息,确定与目标信息对应的人机交互指令,交互式反应执行单元根据人机交互指令执行相应的目标命令,用户可与立体大屏幕的虚拟环境进行互动,并控制虚拟场景进行切换。
附图说明
图1为本发明的基于多通道CAVE洞穴式虚拟仿真大屏幕融合***的组成示意图;
图2为本发明的CAVE虚拟***的原理示意图;
图3为本发明的虚拟单元的原理示意图;
图4为本发明的交互单元的原理示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了解决现有利用3D技术提升的真实感,但单面投影沉浸效果较差,无法覆盖用户的所有视野,3D投影无法与屏幕融合,使用户的沉浸感受下降,不能为用户提供给身临其境的沉浸感受的技术问题,请参阅图1-图4,本实施例提供以下技术方案:
一种基于多通道CAVE洞穴式虚拟仿真大屏幕融合***,包括智能终端、无线接收器、智能控制器和CAVE虚拟***;
智能终端,用于实时生成仿真虚拟信号,所述智能终端通过无线接收器向智能控制器传输仿真虚拟信号,所述智能控制器根据所接收的仿真虚拟信号对CAVE虚拟***进行控制;
无线接收器,用于无线射频信号接收,主要用于接收所述智能终端发出的仿真虚拟信号,所述无线接收器主要用于与所述智能终端通信,一般与所述智能终端配套使用;
智能控制器,用于控制所述CAVE虚拟***,所述智能控制器通过智能终端对CAVE虚拟***进行控制,CAVE虚拟***根据智能控制器的控制生成仿真虚拟环境。
CAVE虚拟***,用于将高分辨率的立体投影技术、三维计算机图形技术和音响技术等有机地结合在一起,产生一个完全沉浸式的虚拟环境,虚拟环境中的任何物体,都可以感受参与者操作,并实施产生相应变化。
所述CAVE虚拟***,包括:
立体大屏幕,用于基于多通道立体显示和所述虚拟单元同步运算渲染技术所形成的洞穴形状投影空间,再由所述交互单元与虚拟环境对象互动或操作;
虚拟单元,用于生成仿真虚拟环境,所述智能控制器将仿真虚拟信号发送至虚拟单元,虚拟单元根据所接收到的仿真虚拟信号,通过计算机同步运算渲染技术,在所述立体大屏幕生成投射出仿真虚拟环境;
交互单元,用于获取采集用户产生的运动数据,实时对用户的动作追踪捕捉,确定动作追踪对象跨X、Y和Z坐标的信息实***置数据,交互单元将采集到的动作数据进行处理并上传至立体大屏幕。
具体的,通过智能终端发出虚拟体验的仿真虚拟信号,无线接收器将仿真虚拟信号发送至智能控制器,智能控制器根据仿真虚拟信号控制CAVE虚拟***生成模拟出相应的虚拟环境,CAVE虚拟***通过虚拟单元根据所接收到的仿真虚拟信号,通过计算机同步运算渲染技术,在所述立体大屏幕生成投射出仿真虚拟环境,再由所述交互单元与虚拟环境对象互动或操作,完成对三维立体仿真图像的人机互动和场景自由切换,通过CAVE虚拟***,把高分辨率的立体投影技术、三维计算机图形技术和音响技术等有机地结合在一起,产生一个完全沉浸式的虚拟环境,虚拟环境中的任何物体,都可以感受参与者操作,并实施产生相应变化。
所述虚拟单元,包括:
CAVE***仿真服务器,用于接收智能控制器发送的仿真虚拟信号,所述CAVE***仿真服务器对接收到的仿真虚拟信号进行解析和配置图像,以此生成数据图像,并将图像数据发送至主动立体融合器;
主动立体融合器,用于接收CAVE***仿真服务器发送的数据图像,所述主动立体融合器将接收到的数据图像进行融合处理,经过融合处理,合成三维立体仿真图像,并将合成的三维立体仿真图像发送至主动立体投影;
主动立体投影设备,用于接收主动立体融合器传送的三维立体仿真图像,所述主动立体投影设备将接收到的三维立体仿真图像投射至立体大屏幕,三维立体仿真图像通过立体大屏幕形成虚拟仿真空间。
所述主动立体投影设备设有多个,立体大屏幕分为主屏幕、下屏幕、左屏幕和右屏幕四块屏幕,每块屏幕对应一个主动立体投影设备。
需要说明的是,通过四投影面(三个墙壁和一个地板)实现虚拟现实完全沉浸效果,提升多通道同步仿真效率和游戏场景沉浸感,每块投影面对应一个主动立体投影设备,使投影面积能够覆盖用户的所有视野,超宽视频、无任何视角盲点,用户完全被一个立体投影画面所包围,CAVE虚拟***能提供给用户身临其境的沉浸感受。
主动立体融合器包括:
滤波子模块,用于对接收到的数据图像进行滤波处理,滤除数据图像中的干扰噪声;
增强子模块,用于对滤波后的数据图像进行增强处理使得图像更清晰;
图像融合子模块,用于将增强后的数据图像进行融合,形成三维立体仿真图像;
平滑处理子模块,用于对三维立体仿真图像进行平滑处理,填补滤波处理和融合造成的图像缺陷,增强图像的整体性。
通过设置滤波子模块进行滤波处理滤除数据图像中的干扰噪声,采用增强子模块进行增强处理使得图像更清晰,使用图像融合子模块进行数据图像融合形成三维立体仿真图像,再以平滑处理子模块进行平滑处理,填补滤波处理和融合造成的图像缺陷;通过上述方式处理,能够让得到的三维立体仿真图像更清晰,整体性更好,提高三维立体仿真图像品质与精度,避免由于图像品质造成控制偏差。
所述包括如下步骤:
通过智能终端发出虚拟体验的仿真虚拟信号,无线接收器收集智能终端发出的仿真虚拟信号,并将仿真虚拟信号发送至智能控制器,智能控制器根据仿真虚拟信号控制CAVE虚拟***生成模拟出相应的虚拟环境;
虚拟单元通过CAVE***仿真服务器对仿真虚拟信号基进行分析和处理,经过分析后,将这些仿真虚拟信号进行转化,将仿真虚拟信号转换成数据信息,再对数据信息进行解析,并进行配置图像,以此生成数据图像,并将图像数据发送至主动立体融合器,通过主动立体融合器合成三维立体仿真图像的场景,再将合成的三维立体仿真图像的场景传输至主动立体投影设备;
通过主动立体投影设备将三维立体仿真图像投射至立体大屏幕上,基于多个主动立体投影设备投射实现立体显示,以及主动立体投影设备同步运算渲染技术,使多块立体大屏幕形成洞穴形状投影空间,再由所述交互单元与虚拟环境对象互动或操作,完成对三维立体仿真图像的人机互动和场景自由切换。
所述交互单元,包括:
动作追踪传感器,用于捕捉用户的位置和肢体的动作数据,所述动作追踪传感器检测红外光,将追踪对象的位置和动作数据传送到所述服务器和动作数据计算单元;
动作数据计算单元,用于接收动作追踪传感器传送的用户位置和动作数据,所述动作数据计算单元根据用户位置和动作数据确定人机交互指令,并将人机交互指令传输至交互式反应执行单元;
交互式反应执行单元,用于接收动作数据计算单元传输的人机交互指令,根据人机交互指令执行目标交互命令,控制立体大屏幕虚拟环境的切换。
所述包括如下步骤:
通过动作追踪传感器实时跟踪用户,并对用户的位置以及动作数据进行捕捉采集,将捕捉采集到的用户位置以及动作数据传送到服务器和动作数据计算单元,通过动作数据计算单元对用户位置以及动作数据进行处理识别;
通过动作数据计算单元的处理识别后,识别出用户位置以及动作数据中包括的目标信息,根据目标信息,确定与目标信息对应的人机交互指令,即是人机进行交互的命令,还是对虚拟场景进行切换的命令;
通过交互式反应执行单元,并根据人机交互指令执行相应的目标命令,用户可与立体大屏幕的虚拟环境进行互动,并控制虚拟场景进行切换。
所述动作追踪传感器设有多个,动作追踪传感器对用户的位置由其X轴、Y轴和Z轴限定,其中X轴表示相对于动作追踪区域的前部的水平位置,其中Y轴表示相对于所述动作追踪区域的左侧和右侧的水平位置,并且其中Z轴表示相对于所述动作追踪区域的顶侧的竖向位置。
需要说明的是,实体上,X轴和Y轴代表2D水平位置,而Z轴代表动作追踪区域中的竖向位置,当用户移动时,对象的X、Y、Z物理数据改变,捕捉对象的X、Y、Z数据变化,并且在动作数据计算单元中被同步处理,通过动作数据计算单元的计算处理,在立体大屏幕中可以看到计算出的虚拟世界中的对应对象位置。
具体的,用户通过智能终端发出虚拟体验的仿真虚拟信号,无线接收器将仿真虚拟信号发送至智能控制器,使智能控制器根据仿真虚拟信号控制CAVE虚拟***生成模拟出相应的虚拟环境,CAVE虚拟***根据智能控制器的控制,使虚拟单元对仿真虚拟信号基进行分析和处理并将其转化成数据信息,对转化后的数据信息进行解析和配置图像,以此生成数据图像,并将图像数据发送至主动立体融合器,通过主动立体融合器合成三维立体仿真图像的场景,再将合成的三维立体仿真图像的场景传输至主动立体投影设备进行投放,通过多个主动立体投影设备配合多块立体大屏幕,实现虚拟现实完全沉浸效果,用户在体验虚拟环境时,用户所在的而为之以及肢体产生的动作,均通过动作追踪传感器实时进行捕捉采集,将捕捉采集到的用户位置以及动作数据传送到服务器和动作数据计算单元,通过动作数据计算单元对用户位置以及动作数据进行处理识别,通过动作数据计算单元的处理识别后,先将捕捉对象的X、Y、Z数据变化进行同步处理,通过动作数据计算单元的计算处理,在立体大屏幕中可以看到计算出的虚拟世界中的对应对象位置,再对用户的动作数据进行识别,识别出用户动作数据中包括的目标信息,根据目标信息,确定与目标信息对应的人机交互指令,即是人机进行交互的命令,控制立体大屏幕上的虚拟场景进行切换,通过交互式反应执行单元,并根据人机交互指令执行相应的目标命令,用户可与立体大屏幕的虚拟环境进行互动,并控制虚拟场景进行切换,使用户在体验虚拟现实的过程中,自由切换虚拟场景,给用户的虚拟体验带来方便。
动作数据计算单元在接收动作追踪传感器传送的用户位置和动作数据后,采用以下公式对用户位置或者动作数据进行相位补偿:
Di=|RD{di(t,n)exp[-jδ(t,n)]}|
上式中,Di表示相位补偿后的第i个用户位置或者动作数据;RD{·}表示采用距离多普勒成像算法函数;di(t,n)表示接收的动作追踪传感器传送的第i个用户位置或动作数据;t,n分别表示距离向和方位向;exp[·]表示以自然常数e为底的指数函数;j表示***的影响因子;δ(t,n)表示包含径向速度和加速度的***相位误差;
采用经相位补偿修正后的用户位置和动作数据确定人机交互指令。
通过对接收到的动作追踪传感器采集的用户位置和动作数据进行相位补偿,可以消除或者降低***数据传输方面的影响,避免因为***对于采集信号反应滞后造成数据误差,提高了人机交互控制精度;上述算法公式操作容易,计算简单,计算效率高,适应数据采集的实时性需要;其中,***的影响因子与构建的***情况直接相关,根据实际采用的***情况可以预先确定并设置,***相位误差可以通过对实际采用的***进行实验测试得出。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于多通道CAVE洞穴式虚拟仿真大屏幕融合***,包括智能终端、无线接收器、智能控制器和CAVE虚拟***;
智能终端,用于实时生成仿真虚拟信号,所述智能终端通过无线接收器向智能控制器传输仿真虚拟信号,所述智能控制器根据所接收的仿真虚拟信号对CAVE虚拟***进行控制;
无线接收器,用于无线射频信号接收,用于接收所述智能终端发出的仿真虚拟信号,所述无线接收器用于与所述智能终端通信;
智能控制器,所述智能控制器通过智能终端对CAVE虚拟***进行控制,CAVE虚拟***根据智能控制器的控制生成仿真虚拟环境;
CAVE虚拟***,用于将高分辨率的立体投影、三维计算机图形和音响结合在一起,产生一个完全沉浸式的虚拟环境。
2.如权利要求1所述的一种基于多通道CAVE洞穴式虚拟仿真大屏幕融合***,其特征在于,所述CAVE虚拟***,包括:
立体大屏幕,基于多通道立体显示和所述虚拟单元同步运算渲染形成洞穴形状投影空间,再由所述交互单元与虚拟环境对象互动或操作;
虚拟单元,用于生成仿真虚拟环境,所述智能控制器将仿真虚拟信号发送至虚拟单元,虚拟单元根据所接收到的仿真虚拟信号,通过计算机同步运算渲染,在所述立体大屏幕生成投射出仿真虚拟环境;
交互单元,用于获取采集用户产生的运动数据,实时对用户的动作追踪捕捉,确定动作追踪对象跨X、Y和Z坐标的信息实***置数据,交互单元将采集到的动作数据进行处理并上传至立体大屏幕。
3.如权利要求2所述的一种基于多通道CAVE洞穴式虚拟仿真大屏幕融合***,其特征在于,所述虚拟单元,包括:
CAVE***仿真服务器,用于接收智能控制器发送的仿真虚拟信号,所述CAVE***仿真服务器对接收到的仿真虚拟信号进行解析和配置图像,以此生成数据图像,并将图像数据发送至主动立体融合器;
主动立体融合器,用于接收CAVE***仿真服务器发送的数据图像,所述主动立体融合器将接收到的数据图像进行融合处理,经过融合处理,合成三维立体仿真图像,并将合成的三维立体仿真图像发送至主动立体投影;
主动立体投影设备,用于接收主动立体融合器传送的三维立体仿真图像,所述主动立体投影设备将接收到的三维立体仿真图像投射至立体大屏幕,三维立体仿真图像通过立体大屏幕形成虚拟仿真空间。
4.如权利要求3所述的一种基于多通道CAVE洞穴式虚拟仿真大屏幕融合***,其特征在于,所述主动立体投影设备设有多个,立体大屏幕分为主屏幕、下屏幕、左屏幕和右屏幕四块屏幕,每块屏幕对应一个主动立体投影设备。
5.如权利要求3所述的一种基于多通道CAVE洞穴式虚拟仿真大屏幕融合***,其特征在于,主动立体融合器包括:
滤波子模块,用于对接收到的数据图像进行滤波处理,滤除数据图像中的干扰噪声;
增强子模块,用于对滤波后的数据图像进行增强处理使得图像更清晰;
图像融合子模块,用于将增强后的数据图像进行融合,形成三维立体仿真图像;
平滑处理子模块,用于对三维立体仿真图像进行平滑处理,填补滤波处理和融合造成的图像缺陷,增强图像的整体性。
6.如权利要求1-3所述的一种基于多通道CAVE洞穴式虚拟仿真大屏幕融合***,其特征在于,该***的实施包括如下步骤:
通过智能终端发出虚拟体验的仿真虚拟信号,无线接收器收集智能终端发出的仿真虚拟信号,并将仿真虚拟信号发送至智能控制器,智能控制器根据仿真虚拟信号控制CAVE虚拟***生成模拟出相应的虚拟环境;
虚拟单元通过CAVE***仿真服务器对仿真虚拟信号基进行分析和处理,经过分析后,将这些仿真虚拟信号进行转化,将仿真虚拟信号转换成数据信息,再对数据信息进行解析,并进行配置图像,以此生成数据图像,并将图像数据发送至主动立体融合器,通过主动立体融合器合成三维立体仿真图像的场景,再将合成的三维立体仿真图像的场景传输至主动立体投影设备;
通过主动立体投影设备将三维立体仿真图像投射至立体大屏幕上,基于多个主动立体投影设备投射实现立体显示,以及主动立体投影设备同步运算渲染技术,使多块立体大屏幕形成洞穴形状投影空间,再由所述交互单元与虚拟环境对象互动或操作,完成对三维立体仿真图像的人机互动和场景自由切换。
7.如权利要求2所述的一种基于多通道CAVE洞穴式虚拟仿真大屏幕融合***,其特征在于,所述交互单元,包括:
动作追踪传感器,用于捕捉用户的位置和肢体的动作数据,所述动作追踪传感器检测红外光,将追踪对象的位置和动作数据传送到所述服务器和动作数据计算单元;
动作数据计算单元,用于接收动作追踪传感器传送的用户位置和动作数据,所述动作数据计算单元根据用户位置和动作数据确定人机交互指令,并将人机交互指令传输至交互式反应执行单元;
交互式反应执行单元,用于接收动作数据计算单元传输的人机交互指令,根据人机交互指令执行目标交互命令,控制立体大屏幕虚拟环境的切换。
8.如权利要求7所述的一种基于多通道CAVE洞穴式虚拟仿真大屏幕融合***,其特征在于,该***的实施还包括如下步骤:
通过动作追踪传感器实时跟踪用户,并对用户的位置以及动作数据进行捕捉采集,将捕捉采集到的用户位置以及动作数据传送到服务器和动作数据计算单元,通过动作数据计算单元对用户位置以及动作数据进行处理识别;
通过动作数据计算单元的处理识别后,识别出用户位置以及动作数据中包括的目标信息,根据目标信息,确定与目标信息对应的人机交互指令,根据人机交互指令执行相应的目标命令,切换虚拟场景。
9.如权利要求7所述的一种基于多通道CAVE洞穴式虚拟仿真大屏幕融合***,其特征在于,所述动作追踪传感器设有多个,动作追踪传感器对用户的位置由其X轴、Y轴和Z轴限定,其中X轴表示相对于动作追踪区域的前部的水平位置,其中Y轴表示相对于所述动作追踪区域的左侧和右侧的水平位置,并且其中Z轴表示相对于所述动作追踪区域的顶侧的竖向位置。
10.如权利要求7所述的一种基于多通道CAVE洞穴式虚拟仿真大屏幕融合***,其特征在于,动作数据计算单元在接收动作追踪传感器传送的用户位置和动作数据后,采用以下公式对用户位置或者动作数据进行相位补偿:
Di=|RD{di(t,n)exp[-jδ(t,n)]}|
上式中,Di表示相位补偿后的第i个用户位置或者动作数据;RD{·}表示采用距离多普勒成像算法函数;di(t,n)表示接收的动作追踪传感器传送的第i个用户位置或动作数据;t,n分别表示距离向和方位向;exp[·]表示以自然常数e为底的指数函数;j表示***的影响因子;δ(t,n)表示包含径向速度和加速度的***相位误差;
采用经相位补偿修正后的用户位置和动作数据确定人机交互指令。
CN202211607540.7A 2022-12-14 2022-12-14 一种基于多通道cave洞穴式虚拟仿真大屏幕融合*** Pending CN116012680A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211607540.7A CN116012680A (zh) 2022-12-14 2022-12-14 一种基于多通道cave洞穴式虚拟仿真大屏幕融合***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211607540.7A CN116012680A (zh) 2022-12-14 2022-12-14 一种基于多通道cave洞穴式虚拟仿真大屏幕融合***

Publications (1)

Publication Number Publication Date
CN116012680A true CN116012680A (zh) 2023-04-25

Family

ID=86036451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211607540.7A Pending CN116012680A (zh) 2022-12-14 2022-12-14 一种基于多通道cave洞穴式虚拟仿真大屏幕融合***

Country Status (1)

Country Link
CN (1) CN116012680A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117292094A (zh) * 2023-11-23 2023-12-26 南昌菱形信息技术有限公司 一种岩洞内演艺剧场的数字化应用方法及***
CN117420916A (zh) * 2023-12-18 2024-01-19 北京黑油数字展览股份有限公司 一种基于全息影像的沉浸式cave***

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117292094A (zh) * 2023-11-23 2023-12-26 南昌菱形信息技术有限公司 一种岩洞内演艺剧场的数字化应用方法及***
CN117292094B (zh) * 2023-11-23 2024-02-02 南昌菱形信息技术有限公司 一种岩洞内演艺剧场的数字化应用方法及***
CN117420916A (zh) * 2023-12-18 2024-01-19 北京黑油数字展览股份有限公司 一种基于全息影像的沉浸式cave***

Similar Documents

Publication Publication Date Title
CN110337318B (zh) 混合现实装置中的虚拟和真实对象记录
CN116012680A (zh) 一种基于多通道cave洞穴式虚拟仿真大屏幕融合***
US9842433B2 (en) Method, apparatus, and smart wearable device for fusing augmented reality and virtual reality
KR102077108B1 (ko) 콘텐츠 체험 서비스 제공 장치 및 그 방법
CN108334199A (zh) 基于增强现实的移动式多模态交互方法及装置
JP2013061937A (ja) ステレオカメラ及びステレオディスプレイを組み合わせたやり取り
CN103793060A (zh) 一种用户交互***和方法
JP2009252240A (ja) リフレクション組み込みシステム、方法及びプログラム
TW201246088A (en) Theme-based augmentation of photorepresentative view
CN104536579A (zh) 交互式三维实景与数字图像高速融合处理***及处理方法
CN107274491A (zh) 一种三维场景的空间操控虚拟实现方法
US10606241B2 (en) Process planning apparatus based on augmented reality
CN111986334A (zh) Hololens和CAVE结合的虚拟体验***及方法
JP3242079U (ja) 浮遊画像表示装置、及び浮遊画像表示システム
EP3264228A1 (en) Mediated reality
US20210245368A1 (en) Method for virtual interaction, physical robot, display terminal and system
Hess Head-tracking techniques for virtual acoustics applications
Tamagawa et al. Developing a 2.5-D video avatar
CN117826976A (zh) 一种基于xr的多人协同方法及***
WO2022047768A1 (zh) Hololens和CAVE结合的虚拟体验***及方法
Siegl et al. An augmented reality human–computer interface for object localization in a cognitive vision system
RU2695053C1 (ru) Способ и устройство для управления трехмерными объектами в виртуальном пространстве
CN111651043B (zh) 一种支持定制化多通道交互的增强现实***
CN110415354A (zh) 基于空间位置的三维沉浸式体验***及方法
CN107544677B (zh) 利用模块化轨道和体感装置模拟运动场景的方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination