CN107884947A - 裸眼立体视觉混合现实作业模拟*** - Google Patents

Abstract

本发明提供了一种进行教学和训练的作业模拟***，包括裸眼立体显示模块、眼动跟踪模块、作业模块、运动模块、音效模块、计算机模块和控制台，基于眼睛位置和视线跟踪、中央视野区域与边缘视野区域识别，解决大尺寸多屏幕裸眼立体显示的自动控制，实现裸眼立体虚拟场景与实际作业界面的无隔离融合，构建了一套完整的混合现实作业模拟***。本发明使作业模拟器的人员完全摆脱多余的外部束缚，使作业人员更为自如；真实感更强，将虚拟与现实紧密融合于一体；立体显示与普通平面显示技术结合，能够适应多种作业模拟应用场合，在提升模拟效能的同时还可以降低成本。

Description

裸眼立体视觉混合现实作业模拟***

技术领域

本发明涉及一种进行教学和训练的作业模拟***，可用于飞机、舰船、坦克、装甲车、汽车、火车、龙门吊等作业的教学和训练。

背景技术

许多昂贵复杂设备的操作作业需要长时间的教学和训练，才能熟练掌握，采用作业模拟***进行教学和训练是一种经济、安全、高效的方式。现有的飞行模拟器、汽车驾驶模拟器等都是这种***的实际应用，也是虚拟现实技术的一个重要应用领域。

现有的作业模拟***基本上都基于计算机技术，有多种实现方式。最简单的是完全采用计算机，用计算机屏幕显示作业场景，用计算机键盘、鼠标或者游戏操纵杆代替实际作业的操控机构；其次是用大屏幕显示作业场景，用与实际作业相似的作业操控机构模拟操控过程，用计算机建立三维动态模型，控制各部分的协调工作；再次是采用虚拟现实头盔模拟作业人员对作业场景的视觉感受，用与实际作业相似的作业操控机构模拟操控过程，用计算机建立三维动态模型，控制各部分的协调工作；最复杂的是采用大型半球形投影屏幕，用与实际作业完全相同的操控机构模拟操控过程，用运动机构模拟作业时的运动效应，用计算机建立三维动态模型和运动控制模型，达到更为逼真的模拟效果。

现有的作业模拟***存在以下不足：一是虚拟现实头盔的作业模拟方式，不能很好地与现实对象融合，使虚拟现实与真实现实彼此割裂。比如作业模拟时，作业人员既要观察作业场景，又要观察操控机构、显示面板等现实对象，头盔则将两者割裂，顾此失彼，不能产生真实的作业体验。二是大型投影屏幕的作业模拟方式没有立体感，近视场景模拟效果不好，也不能很好地产生实际作业的真实体验。半球形的大型投影屏幕虽然有很强的包围感，远视场景模拟效果较好，而且与真实现实能够很好地融合，但缺少立体感和纵深感，在近场景模拟时效果很差，而且设备复杂、价格昂贵。三是现有的裸眼立体显示技术存在不足，无法用于作业模拟***，需要提出适应作业模拟的技术方案。裸眼立体显示技术有多种，主要是光屏障式(Barrier)、柱状透镜式(Lenticular Lens)和指向性背光式(Directional Backlight)三种。光屏障式技术和柱状透镜技术都存在不可弥补的原理缺陷，亮度和分辨率的提升受到限制，发展前途有限。指向性背光源裸眼立体显示技术近几年发展很快，其基本原理是通过控制显示器背光源的投射方向，分别将左右图像准确地投向左右眼，使观察者感知立体图像。由于可以用光的投向分别向左右眼发送光图像，左右图像可以分时显示，与平面显示具有同样的分辨率，最大地利用了显示面板的物理分辨率。但由于作业模拟时作业人员的位置会发生变化，裸眼立体显示屏必须根据作业人员视线的变化调整背光源的发送方向，而且作业模拟还需要多个方向的视景效果，平面屏幕方式不能够满足作业模拟的需要，这样就必须解决多个裸眼立体显示器的拼接和协调控制问题，解决多个显示屏的无缝拼接问题。可见将裸眼立体显示技术用于作业模拟并不是轻而易举的事情，有许多难题必须解决。

与本专利密切相关的技术方案的基本情况：公告号CN 204029190 U公开了一种全功能飞行模拟器，给出了用于飞行模拟的一种技术方案，但并没有采用裸眼立体显示、眼睛位置与视线跟踪等技术来建立一个混合现实模拟环境。公布号CN 104537917 A公开了一种投影视景***，给出的技术方案可有效降低投影***的硬件成本，对投影仪提高画面色彩和对比度等指标可不受制于其暗场的表现，公布号CN 105446686 A公开了一种多屏拼接***，给出了整幅图像如何分配至各个分屏的信号处理技术方案，但这两个方案都不是裸眼立体显示技术和双眼立体视觉解算技术相关的技术方案，不能解决多方位裸眼立体显示问题。公布号CN 105049833 A公开了一种采用对称可调式背光结构的立体视检查方法和装置，给出了采用适应眼睛与屏幕多种距离的立体显示技术方案，但该技术方案不能适应眼睛与屏幕之间距离的连续变化，而且该专利所采用的眼动跟踪技术在眼动范围较大时不能获得眼睛的位置和视线，还有就是没有提出解决多屏裸眼立体显示的技术方案，不能用于作业模拟***。综上所述，目前的现有技术都不能给出裸眼立体视觉混合现实作业模拟***的技术方案，与此密切相关的现有裸眼立体显示技术也无法用于裸眼立体视觉混合现实作业模拟***的构建。

裸眼立体视觉混合现实作业模拟***的技术方案必须解决如下问题：①提出构建裸眼立体视觉混合现实作业模拟***的模块化结构，以适应多种作业模拟需求。②提出裸眼立体显示的结构化技术方案，满足多种作业模拟的裸眼立体显示需求。③提出裸眼立体显示屏多种工作模式的技术方案，适应多屏拼接大视角显示的需要。④提出眼睛位置和视线跟踪解算技术方案、多屏显示控制技术方案、裸眼立体显示屏指向性光源控制方案，实现多屏、多模式协同工作。⑤提出作业模拟软件***的模块构成和工作方式的技术方案，解决作业模拟***的整体控制问题。这些问题相互关联的，必须整体***地解决。

发明内容

发明目的：本发明针对作业模拟***的构建，以裸眼立体显示、眼动跟踪解算为核心，提出了裸眼立体视觉混合现实作业模拟***。

技术方案：

裸眼立体视觉混合现实作业模拟***，包括裸眼立体显示模块、眼动跟踪模块、作业模块、运动模块、音效模块以及计算机模块；所述裸眼立体显示模块、眼动跟踪模块、作业模块、运动模块及音效模块分别与计算机模块通过电信号连接；

所述立体显示模块包括至少一个裸眼立体显示屏；所述裸眼立体显示屏包括指向性背光部件和透射显示板，所述指向性背光部件位于透射显示板后面，所述性背光部件为位置和尺度可变的光源，所述光源的位置在作业人员左右眼的方向或视线纵深方向上变化；所述立体显示模块根据所述计算机模块的控制显示立体视觉影像；

所述眼动跟踪模块包括若干个摄像头，所述摄像头的数量和安装位置根据作业人员头部的运动范围决定；在作业过程中至少有两个及以上的摄像头拍摄所述作业人员的面部图像；

所述作业模块用于作业人员进行模拟作业，包括需要模拟的作业实际使用的部件或仿制的部件；

所述运动模块包括基座和运动平台，所述运动平台包括多自由度的运动机构和控制部件；所述运动平台自由度的数量由作业时需要模拟的运动的特征确定；

所述音效模块包括数字声音处理板、音效库和音箱；所述数字声音处理板、音效库和音箱的性能和内容由作业时需要模拟的声音决定；

所述计算机模块控制所述眼动跟踪模块同步拍摄作业人员的面部图像并根据获取的图像信息进行解算，获得作业人员眼睛的位置和视线信息；所述计算机模块根据作业人员眼睛的位置和视线信息，向所述裸眼立体显示模块发出显示控制信号和左右眼视景图像信号，控制所述裸眼立体显示屏的工作，使作业人员获得立体视觉影像；所述计算机模块接收所述作业模块的模拟作业信息，并向所述运动模块发出相应的控制信息，控制所述运动模块运动，同时所述计算机模块控制所述音效模块发出相应的音效。

还包括控制台，所述控制台包括显示屏幕和用于设定作业模拟任务、控制与中断作业模拟过程的操控面板；所述控制台与所述计算机模块通过电信号连接。

所述裸眼立体显示模块包括多个裸眼立体显示屏和普通平面显示屏；所述多个显示屏采用平面拼接方式或者立体拼接方式拼接。

在所述多个显示屏的拼接部位采用光学组件进行延展，形成无边框的显示效果。

所述计算机模块根据获取的图像信息进行解算是根据所述眼动跟踪模块中摄像头的位置、方向和成像参数为基准，按照双眼立体视觉算法对所述眼动跟踪模块获取的图像信息进行解算。

所述计算机模块根据解算获得的作业人员眼睛的位置和视线信息，确定作业人员的中心视野和边缘视野界限，并根据所述裸眼立体显示模块的位置，向所述裸眼立体显示模块发送显示控制信号和左右眼视景图像信号，实现对所述裸眼立体显示模块中显示屏的显示控制；同时，所述计算机模块持续地根据作业人员眼睛位置和视线信号，控制所述裸眼立体显示屏指向性背光部件的光源的位置变化，通过沿作业人员双眼方向的位置变化适应作业人员眼睛的左右移动，通过光源纵深方向的位置变化适应作业人员眼睛的前后移动。

所述运动模块的基座安装于地面上，所述运动模块的运动平台相对于基座运动，以地面固定坐标系为运动平台移动的参考坐标系；在所述运动平台上建立平台坐标系，作为平台上其他部件和作业人员眼睛位置和视线信息的参考坐标系；所述作业模块、裸眼立体显示模块的显示屏、眼动跟踪模块的各摄像头均相对于运动平台固定，并依据平台坐标系确定它们的位置和方向。

所述计算机模块为一台或多台计算机；或者为包括单片机、微控制器、DSP芯片或FPGA芯片的数字控制部件和设备。

所述光源在作业人员视线纵深方向变化通过闭环控制实现；所述计算机模块向所述裸眼立体显示模块发出与作业人员眼睛的位置和视线信息对应的显示屏光源纵向位置数据，光栅器件测量获得光源的纵向位置光栅测量值，两者比较获得反馈差值，通过控制算法计算后向直线电机发出伺服驱动信号，消除两者的误差。

所述裸眼立体显示模块中的裸眼立体显示屏的工作模式包括立体显示模式、平面显示模式和混合显示模式，其工作模式受立体视景图像控制模块控制；工作于立体显示模式时，指向性背光部件在不同的时间分别将光线汇聚于左眼或右眼，透射显示板分别显示左图像和右图像，使得作业人员的左眼看到左图像，右眼看到右图像，获得立体视觉感知；工作于平面显示模式时，指向性背光部件或者不控制光线的投射方向，透射显示板显示同一个图像，使得作业人员的左眼、右眼看到的是相同的图像，或者仍在不同的时间分别将光线汇聚于左眼或右眼，与此同时，透射显示板分别显示同一个图像，使得作业人员的左眼、右眼看到的是相同的图像；工作于混合显示模式时，立体视景图像控制模块根据作业人员眼睛位置和视线信息，将作业人员视觉范围划分为中心视野区域和边缘视野区域，处于中心视野区域的显示屏工作于立体显示模式，指向性背光部件在不同的时间分别将光线汇聚于左眼或右眼，透射显示板分别显示左图像和右图像，使得作业人员的左眼看到左图像，右眼看到右图像，处于边缘视野区域的显示屏工作于平面显示模式，在作业人员左眼左侧的边缘视野区域所对应的屏幕范围，其透射显示板始终显示左图像，在作业人员右眼右侧的边缘视野区域所对应的屏幕范围，其透射显示板始终显示右图像，作业人员获得立体视觉感知。

有益效果：本发明提出了一套完整的裸眼立体视觉作业模拟***技术方案，显著提升了现有作业模拟***的效能，有益效果主要表现在以下方面：①裸眼立体显示技术的突破，使作业模拟器的人员完全摆脱多余的外部束缚，使作业人员更为自如。②裸眼立体显示技术的方式使作业模拟的真实感更强，尤其是近景视场的真实感的提升更为突出。③眼睛位置和视线跟踪、双目立体视觉解算，使作业视景图像和显示控制自动化，虚拟与现实紧密融合一体。④立体显示与普通平面显示技术结合，能够适应多种作业模拟应用场合，在提升模拟效能的同时还可以降低成本。

附图说明

图1是裸眼立体视觉作业模拟***的模块构成图。

图2是飞行作业模拟***结构示意图。

图3是多个显示屏平面拼接方式示意图。

图4是三个显示屏立体拼接方式示意图。

图5是五个显示屏立体拼接方式示意图。

图6是裸眼立体显示屏指向性背光控制示意图。

图7是指向性背光纵向控制原理图。

图8是中心视野区域和边缘视野区域示意图。

图9是眼动跟踪模块、裸眼立体显示模块与部分软件模块的信息关系图。

图10是裸眼立体显示控制与视景图像发送流程图。

图11是驾驶作业模拟***结构示意图。

其中，1为裸眼立体显示模块，11为透射显示板，12为指向性背光部件，2为眼动跟踪模块，3为作业模块，4为运动模块，23为基座，24为运动平台，25为控制部件，5为音效模块，6为计算机模块，7为控制台。

具体实施方式

下面对本发明作更进一步的说明。

参照附图，详细说明本发明的实施实例如下：

实施实例一：飞行作业模拟***

图1表示了裸眼立体视觉飞行作业模拟***的模块构成。裸眼立体视觉作业模拟***包括裸眼立体显示模块1、眼动跟踪模块2、作业模块3、运动模块4、音效模块5、计算机模块6和控制台7。作业人员为飞行员。

裸眼立体显示模块包括至少一个裸眼立体显示屏，也可包括多个裸眼立体显示屏和普通平面显示屏。多个显示屏可采用平面拼接方式，如图3所示；也可采用立体拼接方式，图4所示为三屏的立体拼接，图5所示为5屏的立体拼接。显示屏的拼接部位可采用光学组件进行延展，形成无边框的显示效果。

在此例中，采用三个裸眼立体显示屏，以三折形式构成裸眼立体显示模块1。如图2所示，三折屏的中间显示屏正对飞行员，两侧屏张开一定角度，屏幕的尺寸和张开角度由飞行员视野宽度和立体显示效果决定。裸眼立体显示模块1与计算机模块6通过电信号连接，接收计算机模块6发出的显示控制信号和左右眼视景图像信号，控制各个显示屏的工作，使飞行员获得立体视觉影像。电信号连接采用数字电信号连接。

如图6所示，裸眼立体显示屏包括指向性背光部件12和透射显示板11，指向性背光部件12位于透射显示板11后面，飞行员的右眼13和左眼14从透射显示板11前部观看图像。指向性背光部件12包括一个位置和尺度可变的光源。光源的位置可在飞行员左右眼的方向上变化，光源的尺度也可在飞行员左右眼的方向上伸缩。可以在左右眼方向设置一列点状光源构成光带，通过点亮不同位置的光带来改变光源发光的左右位置和尺度，从而使指向性背光部件发出的光线在不同的时间分别汇聚于左眼或右眼，与此同时，透射显示板分别显示左图像和右图像，使得飞行员的左眼看到左图像，右眼看到右图像，获得立体视觉感知。如图6所示，光源的位置还可以在飞行员视线纵深方向变化，纵深方向的变化可以通过直线电机驱动整个光带实现，从而可以适应人眼与屏幕距离的变化，使飞行员的左眼始终看到左图像，右眼始终看到右图像，避免两眼图像的交叠，始终保持获得立体视觉感知。

如图7所示，光源在飞行员视线纵深方向变化通过闭环控制实现。立体视景图像控制模块向裸眼立体显示模块1发出与飞行员眼睛的位置和视线信息对应的显示屏光源纵向位置数据，光栅器件测量获得光源的纵向位置光栅测量值，两者比较获得反馈差值，通过控制算法计算后向直线电机发出伺服驱动信号，消除两者的误差。控制算法可以采用PID控制算法。

三个裸眼立体显示屏可工作于立体显示模式、平面显示模式和混合显示模式，其工作模式受立体视景图像控制模块控制。工作于立体显示模式时，指向性背光部件12在不同的时间分别将光线汇聚于左眼或右眼，与此同时，透射显示板11分别显示左图像和右图像，使得飞行员的左眼看到左图像，右眼看到右图像，获得立体视觉感知。工作于平面显示模式时，指向性背光部件12不控制光线投送方向，透射显示板11显示同一个图像，使得飞行员的左眼14、右眼13看到的是相同的图像，从而感知到一个平面图像。工作于混合显示模式时，立体视景图像控制模块根据飞行员眼睛位置和视线信息，将飞行员视觉范围划分为中心视野区域和边缘视野区域，处于中心视野区域的显示屏工作于立体显示模式，指向性背光部件12在不同的时间分别将光线汇聚于左眼或右眼，与此同时，透射显示板11分别显示左图像和右图像，使得飞行员的左眼看到左图像，右眼看到右图像，获得立体视觉感知；处于边缘视野区域的显示屏工作于平面显示模式，在飞行员左眼左侧的边缘视野区域21所对应的屏幕范围，其透射显示板11始终显示左图像，在飞行员右眼右侧的边缘视野区域22所对应的屏幕范围，其透射显示板11始终显示右图像，由于单眼视野的限制，飞行员的左眼14看到仍是完整的左图像，右眼13看到也是完整的右图像，获得立体视觉感知。

裸眼立体显示模块1中的三个裸眼立体显示屏可以分别工作于立体显示模式、平面显示模式和混合显示模式，各显示屏工作于何种模式受立体视景图像控制模块控制。如图8所示，立体视景图像控制模块10根据飞行员眼睛位置和视线信息，将飞行员视觉范围划分为中心视野区域20、左侧边缘视野区域21和右侧边缘视野区22。中心视野区域20的左眼侧边界与右眼的鼻侧视野角有关，中心视野区域20的右眼侧边界与左眼的鼻侧视野角有关。双眼的鼻侧视野区域角大约为60°，颞侧视野区域角大约为90°，具体的中心视野区域范围还要考虑立体视觉效果，根据需要确定。处于中心视野区域20的裸眼立体显示屏工作于立体显示模式，处于左侧边缘视野区域21和右侧边缘视野区22的裸眼立体显示屏工作于平面显示模式。如图8所示，如果在作业模拟过程中飞行员的视线方向变化较小，可以保证飞行员的中心视野区域20始终处于中心屏幕范围内，侧面的两个显示屏也可以使用普通平面显示器，从而降低了成本。

如图2所示，运动模块4采用Stewart六自由度运动结构，运动模块4的基座23安装于地面上，运动模块的运动平台24相对于基座23运动，并以地面固定坐标系为运动平台移动的参考坐标系。在运动平台24上建立平台坐标系，作为平台24上其他部件和飞行员眼睛位置和方向信息的参考坐标系。作业模块3、裸眼立体显示模块1固定安装于运动平台24上，眼动跟踪模块2的两个摄像头设置于裸眼立体显示模块1上部两侧，由此可以确定它们在平台坐标系中的位置和方向。运动模块4的控制部件与计算机模块通过数字电信号连接，与计算机模块进行信息传输。

眼动跟踪模块2包括两个摄像头，分别设置于裸眼立体显示模块1上部两侧，并设定好摄像头的成像参数，从而可以保证在作业过程中这两个摄像头可以拍摄到飞行员面部的清晰图像。摄像头与计算机模块6通过数字电信号连接，在计算机模块6控制下，两个摄像头同步拍摄飞行员面部图像并向计算机模块6发送。

如图9、图10所示，人眼位置与视线跟踪处理模块8从眼动跟踪模块2传送到计算机模块6的飞行员面部图像信息中，选择同一时刻两个摄像头获取的飞行员面部的完整图像，以这两个摄像头的位置、方向和成像参数信息为基准，按照双眼立体视觉算法对这两个面部图像进行解算，获得飞行员眼睛的位置和视线信息。立体视景图像控制模块根据人眼位置与视线跟踪处理模块8解算获得的飞行员眼睛的位置和视线信息，确定飞行员的中心视野区域20、左侧边缘视野区域21和右侧边缘视野区22的界限，并根据裸眼立体显示模块2的位置，向裸眼立体显示模块2发送显示控制信号和由三维模型控制模块9产生的左右眼视景图像信号，实现对裸眼立体显示模块2各显示屏的显示控制。立体视景图像控制模块8持续地根据飞行员眼睛位置和视线信号，控制各裸眼立体显示屏指向性背光部件12的光源的位置变化，通过沿飞行员双眼方向的位置变化适应飞行员眼睛的左右移动，通过光源纵深方向的位置变化适应飞行员眼睛的前后移动，始终保持良好的立体显示效果。

如图2所示，作业模块3由飞行座舱构成，飞行座舱内包括了飞行仪表板、飞行控制板、飞行操作杆、飞行座椅。作业模块3与计算机模块6通过电信号连接，向计算机模块发送飞行员的操作信号。

音效模块5包括数字声音处理板、音效库和音箱，数字声音处理板、音效库和音箱的性能和内容由飞行模拟的声音需要决定，数字声音处理板与计算机模块6通过电信号连接，接受计算机模块6的控制。

计算机模块6包括计算机硬件***和软件***，软件***包括作业模拟总控模块、作业信息处理模块、运动控制模块、人眼位置与视线跟踪处理模块、三维模型控制模块、立体视景图像控制模块、声音控制模块。计算机模块6与裸眼立体显示模块、眼动跟踪模块、作业模块、运动模块、音效模块和控制台均通过电信号连接，进行信息和信号的传输。作业模拟总控模块接收控制台的作业模拟任务设定、作业模拟控制信号，对其他各个模块进行调度和控制。作业信息处理模块接收作业模块3的飞行员操作信号，根据飞行控制和飞行动力学数学模型，计算获得飞机的运动及姿态数据、飞机内部状态数据，并发送给运动控制模块、三维模型控制模块和声音控制模块。运动控制模块接收作业信息处理模块发送的飞机运动和姿态数据，按照洗出算法，向运动模块发送运动控制信息，模拟飞机的运动感。人眼位置与视线跟踪处理模块接收眼动跟踪模块的信息，按照双眼立体视觉算法对面部图像进行解算，获得飞行员眼睛的位置和视线信息，并发送给立体视景图像控制模块。三维模型控制模块接收作业信息处理模块发送的飞机运动与姿态信息，根据飞行员眼睛位置和视线信息，对飞行环境的三维视景模型进行控制，形成裸眼立体显示模块所需的视景图像信息。立体视景图像控制模块根据人眼位置与视线跟踪处理模块发送的飞行员眼睛的位置和视线信息，依据裸眼立体显示模块的位置信息，确定裸眼立体显示模块的显示控制信号，并与三维模型控制模块发送的裸眼立体显示模块视景图像信息结合，发送给裸眼立体显示模块，实现同步的裸眼立体显示。声音控制模块，接收作业信息处理模块产生的声音信息，产生与飞行环境同步匹配的各种模拟声音。

控制台包括显示屏幕和操控面板，用于设定作业模拟任务、控制与中断作业模拟过程。控制台与计算机模块通过电信号连接，接受计算机模块的控制。

计算机模块采用三台计算机联网工作，一台专门作三维模型的图像处理，运行三维模型控制模块；一台专门作控制，运行作业信息处理模块、运动控制模块、人眼位置与视线跟踪处理模块、立体视景图像控制模块；一台专门用于总控，运行作业模拟总控模块。

实施实例二：车辆驾驶作业模拟***

图1表示了裸眼立体视觉车辆驾驶作业模拟***的模块构成。裸眼立体视觉作业模拟***包括裸眼立体显示模块1、眼动跟踪模块2、作业模块3、运动模块4、音效模块5、计算机模块6和控制台7。作业人员为车辆驾驶员。

裸眼立体显示模块包括至少一个裸眼立体显示屏，也可包括多个裸眼立体显示屏和普通平面显示屏。多个显示屏可采用平面拼接方式，如图3所示；也可采用立体拼接方式，图4所示为三屏的立体拼接，图5所示为5屏的立体拼接。显示屏的拼接部位可采用光学组件进行延展，形成无边框的显示效果。

在此例中，采用一个裸眼立体显示屏，如图11所示。裸眼立体显示模块1与计算机模块6通过数字电信号连接，接收计算机模块6发出的显示控制信号和左右眼视景图像信号，控制各个显示屏的工作，使驾驶员获得立体视觉影像。

如图6所示，裸眼立体显示屏包括指向性背光部件12和透射显示板11，指向性背光部件12位于透射显示板11后面，驾驶员的右眼13和左眼14从透射显示板11前部观看图像。指向性背光部件12包括一个位置和尺度可变的光源。光源的位置可在驾驶员左右眼的方向上变化，光源的尺度也可在驾驶员左右眼的方向上伸缩。在左右眼方向设置一列点状光源构成光带，通过点亮不同位置的光带来改变光源发光的左右位置和尺度，从而使指向性背光部件12发出的光线在不同的时间分别汇聚于左眼14或右眼13，与此同时，透射显示板11分别显示左图像和右图像，使得驾驶员的左眼看到左图像，右眼看到右图像，获得立体视觉感知。如图6所示，光源的位置还可以在驾驶员视线纵深方向变化，纵深的变化可以通过直线电机驱动整个光带实现，从而可以适应人眼与屏幕距离的变化，使驾驶员的左眼始终看到左图像，右眼始终看到右图像，避免两眼图像的交叠，始终保持获得立体视觉感知。

如图7所示，光源在飞行员视线纵深方向变化通过闭环控制实现。立体视景图像控制模块向裸眼立体显示模块1发出与飞行员眼睛的位置和视线信息对应的显示屏光源纵向位置数据，光栅器件测量获得光源的纵向位置光栅测量值，两者比较获得反馈差值，通过控制算法计算后向直线电机发出伺服驱动信号，消除两者的误差。控制算法可以采用PID控制算法。

如图11所示，运动模块4采用单自由度运动结构，仅模拟车辆的颠簸振动，其他的运动感觉通过视觉图像显示模拟。运动模块4的控制部件与计算机模块6通过电信号连接，与计算机模块6进行信息传输。

眼动跟踪模块2包括两个摄像头，分别设置于裸眼立体显示模块1上部两侧，并设定好摄像头的拍摄参数，从而可以保证在作业过程中这两个摄像头可以拍摄到驾驶员面部的清晰图像。摄像头与计算机模块通过数字电信号连接，在计算机模块6控制下，两个摄像头同步拍摄驾驶员面部图像并向计算机模块发送。

如图9、图10所示，人眼位置与视线跟踪处理模块8从眼动跟踪模块2传送到计算机模块6的驾驶员面部图像信息中，选择同一时刻两个摄像头获取的驾驶员面部的完整图像，以这两个摄像头的位置、方向和拍摄参数信息为基准，按照双眼立体视觉算法对这两个面部图像进行解算，获得驾驶员眼睛的位置和视线信息。立体视景图像控制模块10根据人眼位置与视线跟踪处理模块8解算获得的驾驶员眼睛的位置和视线信息，根据裸眼立体显示模块2的位置，向裸眼立体显示模块2发送显示控制信号和由三维模型控制模块9产生的左右眼视景图像信号，实现对裸眼立体显示模块显示屏的显示控制。立体视景图像控制模块8持续地根据驾驶员眼睛位置和视线信号，控制各裸眼立体显示屏指向性背光部件12的光源的位置变化，通过沿驾驶员双眼方向的位置变化适应驾驶员眼睛的左右移动，通过光源纵深方向的位置变化适应驾驶员眼睛的前后移动，始终保持良好的立体显示效果。

如图2所示，作业模块3由驾驶舱构成，驾驶舱内包括了仪表板、控制按键、方向盘、制动踏板与油门踏板、驾驶座椅。作业模块3与计算机模块6通过电信号连接，向计算机模块发送驾驶员的操作信号。

音效模块5包括数字声音处理板、音效库和音箱，数字声音处理板、音效库和音箱的性能和内容由作业时需要模拟的声音决定，数字声音处理板与计算机模块通过电信号连接，接受计算机模块的控制。

计算机模块6包括计算机硬件***和软件***，软件***包括作业模拟总控模块、作业信息处理模块、运动控制模块、人眼位置与视线跟踪处理模块、三维模型控制模块、立体视景图像控制模块、声音控制模块。计算机模块6与裸眼立体显示模块1、眼动跟踪模块2、作业模块3、运动模块4、音效模块5和控制台7均通过电信号连接，进行信息和信号的传输。作业模拟总控模块接收控制台的作业模拟任务设定、作业模拟控制信号，对其他各个模块进行调度和控制。作业信息处理模块接收作业模块2的驾驶员操作信号，根据车辆控制和车辆动力学数学模型，计算获得车辆的运动及姿态数据、车辆内部状态数据，并发送给运动控制模块、三维模型控制模块和声音控制模块。运动控制模块接收作业信息处理模块发送的车辆运动和姿态数据，按照颠簸振动算法，向运动模块发送运动控制信息，模拟车辆的颠簸与振动感。人眼位置与视线跟踪处理模块接收眼动跟踪模块的信息，按照双眼立体视觉算法对面部图像进行解算，获得驾驶员眼睛的位置和视线信息，并发送给立体视景图像控制模块。三维模型控制模块接收作业信息处理模块发送的车辆运动与姿态信息，根据驾驶员眼睛位置和视线信息，对车辆行驶环境的三维视景模型进行控制，形成裸眼立体显示模块所需的视景图像信息。立体视景图像控制模块根据人眼位置与视线跟踪处理模块发送的驾驶员眼睛的位置和视线信息，依据裸眼立体显示模块的位置信息，确定裸眼立体显示模块的显示控制信号，并与三维模型控制模块发送的裸眼立体显示模块视景图像信息结合，发送给裸眼立体显示模块，实现同步的裸眼立体显示。声音控制模块，接收作业信息处理模块产生的声音信息，产生与飞行环境同步匹配的各种模拟声音。

控制台包括显示屏幕和操控面板，用于设定作业模拟任务、控制与中断作业模拟过程。控制台与计算机模块通过电信号连接，接受计算机模块的控制。

计算机模块采用一台计算机工作，所有的软件模块都运行此计算机上。

在本发明中，人眼位置与视线跟踪处理模块、立体视景图像控制模块可以工作于单独的一台计算机或数字控制部件和设备上；数字控制部件和设备包括单片机、微控制器、DSP芯片、FPGA芯片，人眼位置与视线跟踪处理模块、立体视景图像控制模块作为数字控制部件和设备的固化软件；包含人眼位置与视线跟踪处理模块、立体视景图像控制模块的计算机可以与裸眼立体显示模块、眼动跟踪模块集成为一个独立的设备。

在本发明中，作业模块的部件有操作手柄、按钮、按键、数字及图像显示面板。

上述实施方案是本发明的一个实施特例，在运用本发明进行裸眼立体视觉混合现实作业模拟***设计时，可以按照功能和技术指标，变换其具体结构，改变部件、器件、材料的型号及生产厂家，选择合适的操作***环境和编程语言，这些变化都应涵盖在本发明专利的保护范围之内。

Claims (10)

1.裸眼立体视觉混合现实作业模拟***，其特征在于：包括裸眼立体显示模块、眼动跟踪模块、作业模块、运动模块、音效模块以及计算机模块；所述裸眼立体显示模块、眼动跟踪模块、作业模块、运动模块及音效模块分别与计算机模块通过电信号连接；

所述立体显示模块包括至少一个裸眼立体显示屏；所述裸眼立体显示屏包括指向性背光部件和透射显示板，所述指向性背光部件位于透射显示板后面；所述性背光部件为位置和尺度可变的光源，所述光源的位置在作业人员左右眼的方向或视线纵深方向上变化；所述立体显示模块根据所述计算机模块的控制显示立体视觉影像；

所述眼动跟踪模块包括若干个摄像头，所述摄像头的数量和安装位置根据作业人员头部的运动范围决定；在作业过程中至少有两个及以上的摄像头拍摄所述作业人员的面部图像；

所述作业模块用于作业人员进行模拟作业，包括需要模拟的作业实际使用的部件或仿制的部件；

所述运动模块包括基座和运动平台，所述运动平台包括多自由度的运动机构和控制部件；所述运动平台自由度的数量由作业时需要模拟的运动的特征确定；

所述音效模块包括数字声音处理板、音效库和音箱；所述数字声音处理板、音效库和音箱的性能和内容由作业时需要模拟的声音决定；

所述计算机模块控制所述眼动跟踪模块同步拍摄作业人员的面部图像并根据获取的图像信息进行解算，获得作业人员眼睛的位置和视线信息；所述计算机模块根据作业人员眼睛的位置和视线信息，向所述裸眼立体显示模块发出显示控制信号和左右眼视景图像信号，控制所述裸眼立体显示屏的工作，使作业人员获得立体视觉影像；所述计算机模块接收所述作业模块的模拟作业信息，并向所述运动模块发出相应的控制信息，控制所述运动模块运动，同时所述计算机模块控制所述音效模块发出相应的音效。

2.根据权利要求1所述的裸眼立体视觉混合现实作业模拟***，其特征在于：还包括控制台，所述控制台包括显示屏幕和用于设定作业模拟任务、控制与中断作业模拟过程的操控面板；所述控制台与所述计算机模块通过电信号连接。

3.根据权利要求1所述的裸眼立体视觉混合现实作业模拟***，其特征在于：所述裸眼立体显示模块为至少一个裸眼立体显示屏，或者至少一个裸眼立体显示屏和若干普通平面显示屏；显示屏之间采用平面拼接方式或者立体拼接方式拼接。

4.根据权利要求3所述的裸眼立体视觉混合现实作业模拟***，其特征在于：在所述显示屏的拼接部位采用光学组件进行延展，形成无边框的显示效果。

5.根据权利要求1所述的裸眼立体视觉混合现实作业模拟***，其特征在于：所述计算机模块根据获取的图像信息进行解算是根据所述眼动跟踪模块中摄像头的位置、方向和成像参数为基准，按照双眼立体视觉算法对所述眼动跟踪模块获取的图像信息进行解算。

6.根据权利要求1所述的裸眼立体视觉混合现实作业模拟***，其特征在于：所述计算机模块根据解算获得的作业人员眼睛的位置和视线信息，确定作业人员的中心视野和边缘视野界限，并根据所述裸眼立体显示模块的位置，向所述裸眼立体显示模块发送显示控制信号和左右眼视景图像信号，实现对所述裸眼立体显示模块中显示屏的显示控制；同时，所述计算机模块持续地根据作业人员眼睛位置和视线信号，控制所述裸眼立体显示屏指向性背光部件的光源的位置变化，通过沿作业人员双眼方向的位置变化适应作业人员眼睛的左右移动，通过光源纵深方向的位置变化适应作业人员眼睛的前后移动。

7.根据权利要求1所述的裸眼立体视觉混合现实作业模拟***，其特征在于：所述运动模块的基座安装于地面上，所述运动模块的运动平台相对于基座运动，以地面固定坐标系为运动平台移动的参考坐标系；在所述运动平台上建立平台坐标系，作为平台上其他部件和作业人员眼睛位置和视线信息的参考坐标系；所述作业模块、裸眼立体显示模块的显示屏、眼动跟踪模块的各摄像头均相对于运动平台固定，并依据平台坐标系确定它们的位置和方向。

8.根据权利要求1所述的裸眼立体视觉混合现实作业模拟***，其特征在于：所述计算机模块为一台或多台计算机；或者为包括单片机、微控制器、DSP芯片或FPGA芯片的数字控制设备。

9.根据权利要求1所述的裸眼立体视觉混合现实作业模拟***，其特征在于：所述光源在作业人员视线纵深方向变化通过闭环控制实现，具体为：所述计算机模块向所述裸眼立体显示模块发出与作业人员眼睛的位置和视线信息对应的显示屏光源纵向位置数据，光栅器件测量获得光源的纵向位置光栅测量值，两者比较获得反馈差值，通过控制算法计算后控制光源位置移动，消除两者的误差。

10.根据权利要求1所述的裸眼立体视觉混合现实作业模拟***，其特征在于：所述裸眼立体显示模块中的裸眼立体显示屏的工作模式包括立体显示模式、平面显示模式和混合显示模式；

工作于立体显示模式时，指向性背光部件在不同的时间分别将光线汇聚于左眼或右眼，透射显示板分别显示左图像和右图像，使得作业人员的左眼看到左图像，右眼看到右图像，获得立体视觉感知；工作于平面显示模式时，指向性背光部件或者不控制光线的投射方向，透射显示板显示同一个图像，使得作业人员的左眼、右眼看到的是相同的图像，或者仍在不同的时间分别将光线汇聚于左眼或右眼，与此同时，透射显示板分别显示同一个图像，使得作业人员的左眼、右眼看到的是相同的图像；

工作于混合显示模式时，计算机模块根据作业人员眼睛位置和视线信息，将作业人员视觉范围划分为中心视野区域和边缘视野区域，处于中心视野区域的显示屏工作于立体显示模式，指向性背光部件在不同的时间分别将光线汇聚于左眼或右眼，透射显示板分别显示左图像和右图像，使得作业人员的左眼看到左图像，右眼看到右图像，处于边缘视野区域的显示屏工作于平面显示模式，在作业人员左眼左侧的边缘视野区域所对应的屏幕范围，其透射显示板始终显示左图像，在作业人员右眼右侧的边缘视野区域所对应的屏幕范围，其透射显示板始终显示右图像，作业人员获得立体视觉感知。