CN110414101A - 一种仿真场景测量方法、准确性测定方法及*** - Google Patents

Abstract

本发明公开了一种仿真场景测量方法，包括：将双目相机模仿眼置于3D眼镜前；标定所述双目相机的光心位置；将所述光心位置作为眼点位置；根据所述眼点位置进行VR***场景实时渲染得到仿真场景；根据所述双目相机的标定参数及采集的图像对所述仿真场景进行测量。相对传统通过人眼观测，此方法通过定量的分析手段，更客观更准确；整个测定过程不涉及人的主观判断，可以实现自动化操作；可以完全脱离实际对象，对虚拟对象进行单独测定，扩大了应用范围；三维空间中任意一点均可通过此方法进行测定，结果具有全面性。

Description

一种仿真场景测量方法、准确性测定方法及***

技术领域

本发明涉及模拟仿真领域，具体涉及一种仿真场景测量方法、准确性测定方法及***。

背景技术

目前，模拟仿真行业内通用的检测方法是利用***存在的实物与其通过***仿真后的相同虚拟模型，进行虚实对比，间接来测定***的几何仿真精度。

现有的技术方案存在以下缺点：

1)操作复杂繁琐，现有技术均采用实际物体与其虚拟对象进行对比，测量范围受限，只能通过间接的方式实现了对虚拟场景几何仿真准确度的测定；

2)结果准确性低，虚实比对结果均由人的观测得出，无法进行定量分析。

发明内容

(一)发明目的

本发明的目的是提供一种仿真场景测量方法、准确性测定方法及***以解决现有虚拟仿真检测技术操作复杂繁琐，结果准确性低的问题。

(二)技术方案

为解决上述问题，本发明的第一方面提供了一种仿真场景测量方法，包括：将双目相机模仿眼置于3D眼镜前；标定所述双目相机的光心位置，并将所述光心位置作为眼点位置；根据所述眼点位置进行VR***场景实时渲染得到仿真场景；根据所述双目相机的标定参数及采集的图像对所述仿真场景进行测量。

进一步地，所述光心位置包括初始光心位置和实时追踪的光心位置。

进一步地，所述根据所述眼点位置进行VR***场景实时渲染得到仿真场景具体包括：预设待测虚拟空间点；根据所述眼点位置对所述虚拟空间点进行立体渲染，在屏幕上显示出左眼图像和右眼图像，形成仿真场景。

进一步地，所述根据所述双目相机的标定参数及采集的图像对所述仿真场景进行测量具体包括：利用所述双目相机通过所述3D眼镜对应采集所述左眼图像和所述右眼图像；根据立体视觉算法利用所述左眼图像、所述右眼图像及所述相机的标定参数计算所述空间点的物理世界坐标值。

根据本发明的另一个方面，提供一种仿真场景渲染准确性测定方法，包括：

移动所述双目相机的位置；

在多个位置分别执行上述技术方案任一项所述的仿真场景测量方法步骤，得到多个测量结果；

比对多个所述测量结果位置之间的偏差，通过所述偏差测定所述仿真场景渲染准确性。

根据本发明的又一方面，提供一种仿真场景测量***，包括：

双目相机，用于模仿人眼采集左眼图像和右眼图像；

光心定位模块，用于标定所述双目相机的光心位置，并将所述光心位置作为眼点位置；

场景渲染模块，用于根据所述眼点位置进行VR***场景渲染得到仿真场景；

仿真场景测量模块，用于根据所述双目相机的标定参数及采集的图像对所述仿真场景进行测量。

进一步地，所述光心位置包括初始光心位置和实时光心位置。

进一步地，所述场景渲染模块包括：

空间点模拟模块，用于预设待测虚拟空间点；

立体渲染模块，用于根据所述眼点位置对所述虚拟空间点进行立体渲染，在屏幕上显示出左眼图像和右眼图像，形成仿真场景。

进一步地，所述立体渲染模块根据所述眼点位置对所述虚拟空间点进行立体渲染，在屏幕上显示出左眼图像和右眼图像，形成仿真场景具体执行步骤包括：

利用所述双目相机通过所述3D眼镜对应采集所述左眼图像和所述右眼图像；

根据立体视觉算法利用所述左眼图像、所述右眼图像及所述相机的标定参数计算所述空间点的物理世界坐标值。

根据本发明的又一方面，提供一种仿真场景渲染准确性测定***，包括：

驱动模块，用于移动所述双目相机的位置；

仿真场景测量模块，用于执行上述方案任一项所述的仿真场景测量方法步骤，得到多个测量结果；

比较模块，用于比对多个所述测量结果位置之间的偏差，通过所述偏差测定所述仿真场景渲染准确性。

(三)有益效果

本发明的上述技术方案具有如下有益的技术效果：

(1)相对传统通过人眼观测，此方法通过定量的分析手段，更客观更准确；

(2)整个测定过程不涉及人的主观判断，可以实现自动化操作；

(3)可以完全脱离实际对象，对虚拟对象进行单独测定，扩大了应用范围；

(4)三维空间中任意一点均可通过此方法进行测定，结果具有全面性。

附图说明

图1是根据本发明第一实施方式的仿真场景测量方法流程图；

图2是根据本发明第一实施方式的实时渲染得到仿真场景流程图；

图3是根据本发明第一实施方式的仿真场景测量流程图；

图4是根据本发明第一实施方式的另一方面仿真场景渲染准确性测定方法的流程图；

图5是根据本发明一可选实施方式的仿真场景测量方法的原理图；

图6是根据本发明一可选实施方式的仿真场景测量的方法流程图；

图7是一般测量方法与真实眼位形成偏差原理图；

图8是根据本发明一可选实施方式的坐标系间转换矩阵的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

如图1所示，在本发明实施例的第一方面，提供了一种仿真场景测量方法，包括：

S1：将双目相机模仿眼置于3D眼镜前；

S2：标定双目相机的光心位置，并将光心位置作为眼点位置；可选的，光心位置包括初始光心位置和实时光心位置。具体的，标定初始光心位置，标定的内容包括两个相机光心在统一的世界坐标系下的三维空间坐标，得到了初始光心位置与3D眼镜的相对位置关系；利用追踪***获取3D眼镜的位置实时信息，根据初始光心位置与3D眼镜的相对位置关系解算出相机的实时光心位置，追踪***可选的有ART公司的光学追踪***，也可以是OptiTrack,Vicon以及国内的青瞳等。为了获取实时光心位置坐标，本实施例采取的是利用待标定初始位置的相机***与追踪***共同测量同一组物理空间点的方式，为实现测量需要对相机***本身进行立体视觉标定，包含相机的内参数与外参数。上述方法解决了追踪***只能获取3D眼镜的位置信息无法获取真实相机的光心位置的问题，进而解决了在设置眼点的时候会出现偏差的问题，通过本方法可以得到准确的实时光心位置。

S3：根据眼点位置进行VR***场景实时渲染得到仿真场景；可选的，如图2所示，根据眼点位置进行VR***场景实时渲染得到仿真场景具体包括：S31 预设待测虚拟空间点；S32根据眼点位置对虚拟空间点进行立体渲染，在屏幕上显示出左眼图像和右眼图像，形成仿真场景。

S4：根据双目相机的标定参数及采集的图像对仿真场景进行测量。可选的，如图3所示，根据双目相机的标定参数及采集的图像对仿真场景进行测量具体包括：S41利用双目相机通过3D眼镜对应采集左眼图像和右眼图像；S42根据立体视觉算法利用左眼图像、右眼图像及相机的标定参数计算空间点的物理世界坐标值。其中对应的含义是双目相机中代替人左眼的一目相机采集左眼观测到的屏幕上的图像，代替人右眼的一目相机采集右眼观测到的屏幕上的图像。

此方法不需要人为判断，而是通过定量的分析手段，更客观更准确；整个测定过程不涉及人的主观判断，可以实现自动化操作；可以完全脱离实际对象，对虚拟对象进行单独测定，扩大了应用范围；三维空间中任意一点均可通过此方法进行测定，结果具有全面性。

如图4所示，在本发明实施例的另一个方面，提供一种仿真场景渲染准确性测定方法，包括：

S′1：移动双目相机的位置；

S′2：在多个位置分别执行上述实施例的仿真场景测量方法步骤，得到多个测量结果；

S′3：比对多个测量结果位置之间的偏差，测定仿真场景渲染准确性。

在本发明实施例的又一方面，提供一种仿真场景测量***，包括：

双目相机，用于模仿人眼采集左眼图像和右眼图像；可选的，双目相机为定焦数字相机。

光心定位模块，用于标定双目相机的光心位置，并将光心位置作为眼点位置；可选的，光心位置包括初始光心位置和实时追踪的光心位置。

场景渲染模块，用于根据眼点位置进行VR***场景渲染得到仿真场景；可选的，场景渲染模块包括：空间点模拟模块，用于预设待测虚拟空间点；立体渲染模块，用于根据眼点位置对虚拟空间点进行立体渲染，在屏幕上显示出左眼图像和右眼图像，形成仿真场景。可选的，立体渲染模块根据眼点位置对虚拟空间点进行立体渲染，在屏幕上显示出左眼图像和右眼图像，形成仿真场景具体执行步骤包括：双目相机通过3D眼镜对应采集左眼图像和右眼图像；根据立体视觉算法利用左眼图像、右眼图像及相机的标定参数计算空间点的物理世界坐标值。

仿真场景测量模块，用于根据双目相机的标定参数及采集的图像对仿真场景进行测量。

在本发明实施例的又一方面，提供一种仿真场景渲染准确性测定***，包括：

驱动模块，用于移动双目相机的位置；

仿真场景测量模块，用于执行上述实施例的仿真场景测量方法步骤，得到多个测量结果；

比较模块，用于比对多个测量结果位置之间的偏差，测定仿真场景渲染准确性。

如图5所示，在本发明的一可选实施中,为了在真实世界中对仿真场景进行测量，将一对标定好的定焦数字相机放置于仿真场景中代替人眼对场景进行观测，并将3D眼镜放置于两相机前，两个相机也可以换成双目相机以保证代替人左右眼的相机每一个仅能观测到各自眼点位置下渲染出的图片从而获取仿真场景的视差图；随后对相机光心位置进行初始标定并进行实时追踪，将追踪结果定义为VR***用于渲染的眼点位置，从而保证渲染出的仿真场景与观察位置间的匹配，避免由于眼点位置的偏差而导致的测量误差；随后启动VR***，根据追踪到的眼位进行场景实时渲染；进而使用立体视觉算法利用采集到具有视差的两幅图与相机***的标定参数对仿真场景进行测量；移动相机***变更观测位置，重新以新的眼点位置重复上述测量过程，获取不同观测位置的测量结果；最后通过将仿真场景多次测量的平均结果与原始设计数据进行比对，实现对场景几何尺寸渲染准确度的测量。

如图6所示，对仿真场景几何尺寸的测量，追究其根本即针对虚拟环境中的任意一虚拟空间点的位置进行测量，具体操作步骤如下：

第一步，将标定好的立体相机测量***(立体相机测量***将两个标定好的定焦相机固连在一个刚体支架上，支架上加持有一个用于跟踪定位的标记物 (Track Marker)，整个***作为一个完整刚体各部件间不会出现相对位置变化)放置于VR***中任意位置，并将3D眼镜置于相机前；

第二步，进行相机光心初始位置标定，获取相机光心位置作为渲染眼点初始位置；

第三步，根据相机光心初始位置的标定结果开始对相机光心位置进行实时追踪；

第四步，设定待测虚拟空间点P；

第五步，将相机空间位置定义为眼点位置，并根据眼点位置对虚拟空间点P 进行立体渲染，在屏幕S上显示出IL与IR两幅图像；

第六步，使用相机在3D眼镜的辅助下分别采集左右眼图像，并使用立体视觉算法利用采集到的具有视差的两幅图与相机***的标定参数计算点P的物理世界坐标值；

第七步，移动相机，更改观测眼位重复上述第三步至第六步获取多组不同观测位置处的测量结果，最后对比点P的虚拟空间设定位置与多组实际测量位置重心之间的偏差，测定点P的几何渲染准确性。

第二步中，相机光心的标定需要测算左右两相机光心位置在虚拟空间坐标中的表示，从而为渲染提供赖以计算的眼点位置。在VR显示***正常应用时，此眼点位置通常直接使用3D眼镜的镜片中心位置，并通过动捕***测量后传递给渲染***用以场景渲染。由于镜片中心位置与真实眼位间存在偏差，因此对于观察者而言所显示的场景并不准确，其偏差如图7所示。

当观察者为人时，由于缺乏对于尺寸的精确感知，此误差往往被忽略，但当使用相机进行精确测量时此误差将对测量结果产生极大地影响，因此不能直接使用动捕设备追踪到的眼位进行测量。本提案针对这一问题设计了一种针对相机的真实眼位测算方法，从而精确获取相机光心在渲染***中的位置。此部分内容涉及到若干坐标系间转换矩阵的计算，具体方法如下：

在标定过程中主要涉及的坐标系如图8所示，包括：

(1)VR***物理世界坐标系COW，用于描述真实世界物理空间点的位置

(2)运动捕捉***坐标系COT，用于描述动捕***所追踪的真实世界物理定位点位置，同时由于追踪***的定位追踪结果可用于为虚拟场景渲染提供眼位信息。因此，此坐标系下的坐标也可以用来描述虚拟空间中的点

(3)VR***虚拟空间坐标系COV，用于描述虚拟空间点的位置

(4)左侧相机坐标系COCL，用于描述相机测量结果，其原点位置为渲染时左眼点位置，Z轴为左眼点的观察方向

(5)右侧相机坐标系COCR，用于描述相机测量结果，其原点位置为渲染时右眼点位置，Z轴为右眼点的观察方向

精确获取眼点位置，即通过计算获取COCL与COCR的坐标原点与坐标轴方向向量在COV中的表达方式。从数学角度分析，即计算COCL与COCR与COV间的坐标系转化关系。由于COCL与COCR所描述空间为真实物理空间，而COV所描述为虚拟空间，无法直接获取两者间的关系，因此需要借助其他坐标系进行计算。为简化问题，首先可以将COW定义为COT，即定义COT为物理世界坐标系，从而COT与COW间的转化关系已知。其次，如前所述，动捕***用于测量实际物理空间中的眼位并将这一结果提供给渲染***进行渲染，因此COT与COV间的转化关系已知。最后，对于两相机COCL与COCR可以通过相机立体标定获取两相机间的相互转化关系，因此COCL与COCR间的转化关系已知。综上，问题转化为寻找COT与COCL间的转化关系。

由于动捕***与相机***均可以测量真实世界物体，因此，本专利通过使用两套***对同一物体的测量来反推两坐标间的COT与COCL间的转化关系。

对于物理空间中任意n个空间待测点，设为该组点在COT中的测量坐标；为该组点在COCL中的测量坐标；s∈R为COT与COCL间相互转化的比例系数、R∈R^3×3坐标系间旋转矩阵， T∈R^3×1为两坐标系间的平移矩阵，则有：

M_T＝s*R*M_C+[T...T]

现记为M_C第j列的列向量，则点组的重心为：

平均半径为：

对于M_T同理。

令则目标函数可以化简为：

原问题转化成了正交procrustes问题，即求解：

1.求解可得R＝UV^T，其中U,V^T是对M＝QP^T的奇异值分解得到的两个正交矩阵。由于(s,R,T)共有7个未知变量，因此只要n大于等于3即可完成求解，从而可以获取COT与COCL间的转化关系并完成针对相机的真实眼位测算。其中，:＝表示定义为，即用一个简单的符号代表一个表达式；R^axb表示a行b列的一个矩阵，其元素为实数；||||表示欧氏距离；SO(3)表示三维旋转矩阵群

表示R为使得表达式||ΩP-Q||取值最小的Ω的值，Ω属于三维旋转矩阵群。

同在第三步中，完成眼位测算后需要对眼位进行实时跟踪，从而实现在移动相机位置后仍可获取正确的眼位信息而不需要从新进行标定。

由于整个双目相机***为一整体***，两个相机的相对位置关系不会变化，因此可将整个***看作一个刚体，其完成初始眼位标定后的运动均为相对初始标定位置的刚体运动。基于这一分析，本提案采用在相机***上增加定位点的方式实现实时眼位追踪。在眼位标定完成时使用动捕***记录下当前6自由度位姿信息Po0随后实时追踪标记点的6自由度位姿信息Pot，计算Pot与Po0间的位置变换，将此变换应用于初始标定眼位即可实时获取准确的眼位信息。

在第七步中，完成全部测量后需要将在不同观测位置下进行n次测量得到的一组虚拟点P的真实世界坐标Pri(0<i<n)，与建模时设定的虚拟空间坐标P_v进行比较从而获取***在渲染虚拟点P时的误差。为得到更加具有统计意义的结果，我们定义为所有针对点P的测量结果的均值，即Pri(0<i<n)的重心位置，并采用与P_v间的欧氏距离作为标准进行对点P几何尺寸仿真准确度的评判。

进一步，如进行多空间点的测量，可在进行多组数据采集后借用统计学分析中的均方根误差RMSE以及确定系数R-square作为全***尺度还原能力的测定指标。记采集到的测试样本总数为m，则测定指标的计算如下式所示：

RMSE值越接近0，R-square值越接近于1则代表几何仿真越接近真实。

本方法利用相机与人眼具有相仿的结构与功能，且具有定量计算物理尺寸能力的特性，使用相机代替人眼对仿真场景进行观测，实现对VR***几何仿真准确度的测量与测定。

同时使用立体相机测量***与动捕***对一组相同的真实空间点进行测量，反推出立体相机测量***坐标系与动捕***坐标系间的转化关系，进而综合其余已知坐标系转化关系，实现立体相机测量***眼位的准确标定，并通过为立体相机测量***添加标记点实现标定眼位的实时更新。

本发明旨在保护一种仿真场景测量方法，包括：将双目相机模仿眼置于3D 眼镜前；标定所述双目相机的光心位置；将所述光心位置作为眼点位置；根据所述眼点位置进行VR***场景实时渲染得到仿真场景；根据所述双目相机的标定参数及采集的图像对所述仿真场景进行测量。相对传统通过人眼观测，此方法通过定量的分析手段，更客观更准确；整个测定过程不涉及人的主观判断，可以实现自动化操作；可以完全脱离实际对象，对虚拟对象进行单独测定，扩大了应用范围；三维空间中任意一点均可通过此方法进行测定，结果具有全面性。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种仿真场景测量方法，其特征在于，包括：

将双目相机模仿眼置于3D眼镜前；

标定所述双目相机的光心位置,并将所述光心位置作为眼点位置；

根据所述眼点位置进行VR***场景实时渲染得到仿真场景；

根据所述双目相机的标定参数及采集的图像对所述仿真场景进行测量。

2.根据权利要求1所述的仿真场景测量方法，其特征在于，所述光心位置包括初始光心位置和实时光心位置。

3.根据权利要求1所述的仿真场景测量方法，其特征在于，所述根据所述眼点位置进行VR***场景实时渲染得到仿真场景具体包括：

预设待测虚拟空间点；

根据所述眼点位置对所述虚拟空间点进行立体渲染，在屏幕上显示出左眼图像和右眼图像，形成仿真场景。

4.根据权利要求1所述的仿真场景测量方法，其特征在于，所述根据所述双目相机的标定参数及采集的图像对所述仿真场景进行测量具体包括：

利用所述双目相机通过所述3D眼镜对应采集所述左眼图像和所述右眼图像；

根据立体视觉算法利用所述左眼图像、所述右眼图像及所述相机的标定参数计算所述空间点的物理世界坐标值。

5.一种仿真场景渲染准确性测定方法，其特征在于，包括：

移动所述双目相机的位置；

在多个位置分别执行权利要求1-4任一项所述的仿真场景测量方法步骤，得到多个测量结果；

比对多个所述测量结果位置之间的偏差，通过所述偏差测定所述仿真场景渲染准确性。

6.一种仿真场景测量***，其特征在于，包括：

双目相机，用于模仿人眼采集左眼图像和右眼图像；

光心定位模块，用于标定所述双目相机的光心位置，并将所述光心位置作为眼点位置；

场景渲染模块，用于根据所述眼点位置进行VR***场景渲染得到仿真场景；

仿真场景测量模块，用于根据所述双目相机的标定参数及采集的图像对所述仿真场景进行测量。

7.根据权利要求6所述的仿真场景测量***，其特征在于，所述光心位置包括初始光心位置和实时光心位置。

8.根据权利要求6所述的仿真场景测量***，其特征在于，所述场景渲染模块包括：

空间点模拟模块，用于预设待测虚拟空间点；

立体渲染模块，用于根据所述眼点位置对所述虚拟空间点进行立体渲染，在屏幕上显示出左眼图像和右眼图像，形成仿真场景。

9.根据权利要求6所述的仿真场景测量***，其特征在于，所述立体渲染模块根据所述眼点位置对所述虚拟空间点进行立体渲染，在屏幕上显示出左眼图像和右眼图像，形成仿真场景具体执行步骤包括：

利用所述双目相机通过所述3D眼镜对应采集所述左眼图像和所述右眼图像；

根据立体视觉算法利用所述左眼图像、所述右眼图像及所述相机的标定参数计算所述空间点的物理世界坐标值。

10.一种仿真场景渲染准确性测定***，其特征在于，包括：

驱动模块，用于移动所述双目相机的位置；

仿真场景测量模块，用于执行权利要求1-4任一项所述的仿真场景测量方法步骤，得到多个测量结果；

比较模块，用于比对多个所述测量结果位置之间的偏差，通过所述偏差测定所述仿真场景渲染准确性。