CN110288714A - 一种虚拟仿真实验*** - Google Patents

Abstract

本发明公开了一种虚拟仿真实验***，其特征是，包括摄像头和虚拟实验容器，所述虚拟实验容器包括电子芯片和显示器，所述摄像头获取场景中物体和操作人员人脸数据图像，所述电子芯片处理所述数据图像，根据数据图像中人脸视线与虚拟实验容器的位置关系，计算得到电子芯片预存的实验三维动画序列沿视线方向的二维投影，所述显示器显示所述二维投影。该虚拟仿真实验***在实验容器本体结构上设置显示器，解决了实验操作中用户眼睛和正在操作的实验容器方向不一致的问题，使用户的操作过程方便自然，减少用户的认知负荷，改善用户体验。

Description

一种虚拟仿真实验***

技术领域

本发明涉及虚拟实验领域，具体涉及一种虚拟仿真实验***。

背景技术

虚拟实验，是指采用仿真方法、采用虚实结合技术实现科学实验。例如，实验者利用两只模具烧杯，仿真模拟实际实验过程，该实验结果的现象呈现在计算机上。

但是，在此过程中，用户实际操作实验容器时，眼睛不是看向正在操作的实验容器，而是注视计算机屏幕的方向，由此，出现手势操作方向与操作结果显示位置不一致的问题，这种手眼不一致的问题，导致多种问题，一是使得实验者的操作过程不自然、不方便，二是影响用户体验，三是增加用户认知负荷。

发明内容

为了解决上述技术问题，本发明提供了一种虚拟仿真实验***，能够使用户在进行虚拟仿真实验时手眼一致。

为实现上述目的，本发明采用以下技术方案：

一种虚拟仿真实验***，其特征是，包括摄像头和虚拟实验容器，所述虚拟实验容器包括电子芯片和显示器，所述摄像头获取场景中物体和操作人员人脸数据图像，所述电子芯片处理所述数据图像，根据数据图像中人脸视线与虚拟实验容器的位置关系，计算得到电子芯片预存的实验三维动画序列沿视线方向的二维投影，所述显示器显示所述二维投影。

进一步地，所述虚拟实验容器的表面沿与中心轴平行的同一母线上分别设置不同颜色标识，通过得到不同标识的空间位置P1、P2，得到虚拟仿真实验容器的姿势L：

L＝(P1-P2)/||P1-P2||。

进一步地，所述虚拟实验容器上还设置位置传感器和姿态传感器，用于验证摄像头获取的数据图像经过处理所得的虚拟实验容器在世界坐标系中的三维位置和虚拟实验容器中心轴在世界坐标系中的方向向量。

进一步地，所述位置传感器为红外感知传感器。

进一步地，所述虚拟实验容器设置有若干个，通过所述位置传感器识别不同的虚拟实验容器。

进一步地，所述显示器为设置在所述虚拟实验容器顶部的平面显示器和侧面的环屏显示器。

进一步地，所述摄像头为两个，电子芯片通过双目重构算法对两个摄像头获取的数据图像进行分析处理；

所述双目重构算法获取两个摄像头的图像，标定获取摄像头外参和内参，提取图像中的特征，根据所提取的特征建立两幅图像之间的对应关系，使同一物理空间点在两幅图像中的成像点对应匹配，匹配结果结合摄像头外参和内参，构建三维场景信息；

所述摄像头外参决定摄像头坐标与世界坐标系之间相对位置关系，所述摄像头内参确定摄像头从三维空间到二维图像的投影关系；

所述特征包括特征点、特征线和特征区域。

进一步地，采用尺度不变特征变换算法提取图像特征，所述尺度不变特征变换算法为：

尺度空间的极值检测：搜索所有尺度空间上的图像，通过高斯微分函数识别潜在的对尺度和选择不变的兴趣点；

特征点定位：在每个候选的位置上，通过拟合精细模型确定位置尺度，依据他们的稳定程度选取关键点；

特征方向赋值：基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向；

特征点描述：在每个特征点周围的邻域内，在选定的尺度上测量图像的局部梯度，这些梯度被变换成一种表示，这种表示允许局部形状的变形和光照变换。

进一步地，所述三维动画序列的构建包括场景建模和运动建模，场景建模根据真实实验容器形状、盛装物、体积和姿势L建立盛装物的三维模型；运动建模根据不同物质、不同运动特点，建立不同的运动模型。

进一步地，所述人脸视线的检测算法为：对数据图像进行人脸检测，根据检测到的人脸图像截取左眼和右眼的ROI区域，根据截取到的ROI进行眼球中心检测与跟踪。

本发明的有益效果是：

本发明提供来一种虚拟仿真实验***，在实验容器本体结构上设置显示器，从而解决了实验操作中用户眼睛和正在操作的实验容器方向不一致的问题，使用户的操作过程方便自然，减少用户的认知负荷，改善用户体验。

附图说明

图1是本发明实施例虚拟实验容器结构示意图。

其中，1-电子芯片，2-显示器，3-位置传感器，4-姿态传感器。

具体实施方式

为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。

本发明实施例提供了一种虚拟仿真实验***，包括摄像头和虚拟实验容器，虚拟实验容器结构示意图如图1所示，包括电子芯片1和显示器2，摄像头获取场景中物体和操作人员人脸数据图像，所述电子芯片1处理所述数据图像，根据数据图像中人脸视线与虚拟实验容器的位置关系，计算得到电子芯片1预存的实验三维动画序列沿视线方向的二维投影，所述显示器2显示所述二维投影。电子芯片的输出结果通过有线或无线方式送往在显示器上动态呈现。所述显示器既可以是虚拟实验容器本体结构的一部分，也可以采用分体结构与本体相连接。所述显示器可以是环屏，也可以是位于实验容器的侧面、顶部或底部的显示装置，本实施例在圆柱形实验容器的顶部设置平面显示器，在侧面设置环屏显示器。虚拟实验容器的本体结构用塑料等普通材料构建。

虚拟实验容器上还设置位置传感器3和姿态传感器4，用于验证摄像头获取的数据图像经过处理所得的虚拟实验容器的空间位置与姿势，空间位置是虚拟实验容器在世界坐标系中的三维位置，姿态是虚拟实验容器中心轴在世界坐标系中的方向向量。

所述位置传感器优选为红外感知传感器。

虚拟仿真实验***的算法程序既可以在所述电子芯片1上进行，也可以通过有线或无线方式连接计算机，在计算机上运行，将计算结果返回虚拟实验容器，进行呈现。

本实施例中算法具体如下：

第1步：感知虚拟实验容器的空间位置与姿势

所述虚拟实验容器的表面沿与中心轴平行的同一母线上分别设置不同颜色标识，通过得到不同标识的空间位置P1、P2，得到虚拟仿真实验容器的姿势L：

L＝(P1-P2)/||P1-P2||。

虚拟仿真实验***的摄像头设置两个，电子芯片通过双目重构算法对两个摄像头获取的数据图像进行分析处理，计算虚拟仿真实验容器的空间位置。

双目重构算法主要包括以下步骤：获取两个摄像头的图像，标定获取摄像头外参和内参，提取图像中的特征，根据所提取的特征建立两幅图像之间的对应关系，使同一物理空间点在两幅图像中的成像点对应匹配，匹配结果结合摄像头外参和内参，构建三维场景信息。

不同型号的摄像头对真实物体投影成像的转换参数不同，因此需要标定获取摄像头外参和内参。摄像头外参决定摄像头坐标与世界坐标系之间相对位置关系，摄像头内参确定摄像头从三维空间到二维图像的投影关系。

本实施例采用张氏标定法，以棋盘作为标定物，通过多次改变棋盘的方位来捕捉图像，获得坐标信息，从而求解得到摄像头的内参和外参。

提取特征主要包括特征点、特征线和区域。可以采用SIFT(尺度不变特征变换)算法、SURF、ORB、基于SIFT改进的SURF(快速鲁棒特征)算法等，本实施例使用SIFT(尺度不变特征变换)算法，该算法对旋转、尺度、透视都有较好的鲁棒性。

SIFT有4个主要步骤：

尺度空间的极值检测：搜索所有尺度空间上的图像，通过高斯微分函数来识别潜在的对尺度和选择不变的兴趣点。

特征点定位：在每个候选的位置上，通过一个拟合精细模型来确定位置尺度，关键点的选取依据他们的稳定程度。

特征方向赋值：基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向，后续的所有操作都是对于关键点的方向、尺度和位置进行变换，从而提供这些特征的不变性。

特征点描述：在每个特征点周围的邻域内，在选定的尺度上测量图像的局部梯度，这些梯度被变换成一种表示，这种表示允许比较大的局部形状的变形和光照变换。

成像点对应匹配使用OpenCV中的立体匹配算法，包括但不限于BM和SGBM，本实施例选用SGBM进行全局匹配。

空间位置也可以采用Kinect等红外感知设备，调用这些设备自带的SDK开发包中提供的函数直接得到虚拟仿真实验容器的空间位置。使用OpenCV获取摄像头的帧，基于Google的Tensorflow训练数据集的模型，最终能达到实时识别物体的效果。

第2步：渲染与真实实验容器内的盛装物相对应的三维动画序列

采用OpenGL、AutoCAD、Maya、Unity等工具软件生成盛装物的三维动画，实验容器内的盛装物为M，体积为V，运动参数S，结合实验容器的姿势L，构建三维动画序列，其中，M、V和S可以通过手工方式预先设置或由其它应用程序提供。

三维动画序列的构建包括场景建模和运动建模，场景建模根据真实实验容器形状、盛装物、体积和姿势L建立盛装物的三维模型，M决定了盛装物的颜色等物理特性，V决定了盛装物的相对大小，L决定了盛装物的局部形状(例如，如果盛装物是液体，则模型的顶部表面形状应该是实验容器的一个斜切面)；运动建模根据不同物质、不同运动特点，建立不同的运动模型。例如，液体的旋转运动模型、液体的震动运动模型、固体的滚动运动模型，利用现有已知模型，构建基于运动参数S的运动模型。

第3步：计算人眼视线关注方向

从摄像头读取数据图像，进行人脸检测，再根据检测到的人脸图像截取左眼和右眼的ROI区域，最后根据截取到的ROI进行眼球中心检测与跟踪。所以算法主要包含三个部分：人脸检测，ROI截取，眼球中心定位。使用OpenCV中集成的级联分类器进行。

第4步：在同一视点方向下，给三维动画序列拍照

一般情况下，人眼视点方向不变，用户手中的虚拟实验容器随着人手的运动而发生运动。为此，需要给运动场景“拍照”。具体方法为：

采用现有相机校准方法，获取相机投影参数；

在相机坐标系中，将三维动画序列沿着视线方向进行投影，得到二维动画序列。

第5步：将拍照结果在所述显示器上进行呈现

将所述二维动画序列在虚拟实验容器的显示器上进行实时显示。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制。对于所属领域的技术人员来说，在上述说明的基础上还可以做出其它不同形式的修改或变形。这里无需也无法对所有的实施方式予以穷举。在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种虚拟仿真实验***，其特征是，包括摄像头和虚拟实验容器，所述虚拟实验容器包括电子芯片和显示器，所述摄像头获取场景中物体和操作人员人脸数据图像，所述电子芯片处理所述数据图像，根据数据图像中人脸视线与虚拟实验容器的位置关系，计算得到电子芯片预存的实验三维动画序列沿视线方向的二维投影，所述显示器显示所述二维投影。

2.根据权利要求1所述的一种虚拟仿真实验***，其特征是，所述虚拟实验容器的表面沿与中心轴平行的同一母线上分别设置不同颜色标识，通过得到不同标识的空间位置P1、P2，得到虚拟仿真实验容器的姿势L：

L＝(P1-P2)/||P1-P2||。

3.根据权利要求1或2所述的一种虚拟仿真实验***，其特征是，所述虚拟实验容器上还设置位置传感器和姿态传感器，用于验证摄像头获取的数据图像经过处理所得的虚拟实验容器在世界坐标系中的三维位置和虚拟实验容器中心轴在世界坐标系中的方向向量。

4.根据权利要求3所述的一种虚拟仿真实验***，其特征是，所述位置传感器为红外感知传感器。

5.根据权利要求4所述的一种虚拟仿真实验***，其特征是，所述虚拟实验容器设置有若干个，通过所述位置传感器识别不同的虚拟实验容器。

6.根据权利要求1所述的一种虚拟仿真实验***，其特征是，所述显示器为设置在所述虚拟实验容器顶部的平面显示器和侧面的环屏显示器。

7.根据权利要求1所述的一种虚拟仿真实验***，其特征是，所述摄像头为两个，电子芯片通过双目重构算法对两个摄像头获取的数据图像进行分析处理；

所述双目重构算法获取两个摄像头的图像，标定获取摄像头外参和内参，提取图像中的特征，根据所提取的特征建立两幅图像之间的对应关系，使同一物理空间点在两幅图像中的成像点对应匹配，匹配结果结合摄像头外参和内参，构建三维场景信息；

所述摄像头外参决定摄像头坐标与世界坐标系之间相对位置关系，所述摄像头内参确定摄像头从三维空间到二维图像的投影关系；

所述特征包括特征点、特征线和特征区域。

8.根据权利要求7所述的一种虚拟仿真实验***，其特征是，采用尺度不变特征变换算法提取图像特征，所述尺度不变特征变换算法为：

尺度空间的极值检测：搜索所有尺度空间上的图像，通过高斯微分函数识别潜在的对尺度和选择不变的兴趣点；

特征点定位：在每个候选的位置上，通过拟合精细模型确定位置尺度，依据他们的稳定程度选取关键点；

特征方向赋值：基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向；

特征点描述：在每个特征点周围的邻域内，在选定的尺度上测量图像的局部梯度，这些梯度被变换成一种表示，这种表示允许局部形状的变形和光照变换。

9.根据权利要求2所述的一种虚拟仿真实验***，其特征是，所述三维动画序列的构建包括场景建模和运动建模，场景建模根据真实实验容器形状、盛装物、体积和姿势L建立盛装物的三维模型；运动建模根据不同物质、不同运动特点，建立不同的运动模型。

10.根据权利要求1所述的一种虚拟仿真实验***，其特征是，所述人脸视线的检测算法为：对数据图像进行人脸检测，根据检测到的人脸图像截取左眼和右眼的ROI区域，根据截取到的ROI进行眼球中心检测与跟踪。