CN108320311B - 一种能够自动纠偏的ar沙盘校准模型计算方法 - Google Patents

一种能够自动纠偏的ar沙盘校准模型计算方法 Download PDF

Info

Publication number
CN108320311B
CN108320311B CN201810054053.XA CN201810054053A CN108320311B CN 108320311 B CN108320311 B CN 108320311B CN 201810054053 A CN201810054053 A CN 201810054053A CN 108320311 B CN108320311 B CN 108320311B
Authority
CN
China
Prior art keywords
sand table
rgb
sensor
model
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810054053.XA
Other languages
English (en)
Other versions
CN108320311A (zh
Inventor
郭云东
王欣捷
吴震
罗浩
刘振宇
谭建荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Co ltd
Original Assignee
Immersion Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Co ltd filed Critical Immersion Co ltd
Priority to CN201810054053.XA priority Critical patent/CN108320311B/zh
Publication of CN108320311A publication Critical patent/CN108320311A/zh
Application granted granted Critical
Publication of CN108320311B publication Critical patent/CN108320311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明公开了一种能够自动纠偏的AR沙盘校准模型计算方法。首先处理获得AR沙盘的基准平面模型，然后在沙盘通过投影仪投影标准棋盘格图案，并通过采集投影图像进行计算处理得到AR沙盘的投影映射模型，投影映射模型中的深度值采用基准平面模型进行修正，获得校准模型。本发明方法在AR沙盘虚拟场景的实时渲染过程中，校准得到的基准平面模型能够自动修正RGB‑D传感器在安装过程中不可避免产生的偏差，投影映射模型能够将RGB‑D传感器采集到的原始深度数据正确映射到投影仪的屏幕空间，从而保证AR沙盘互动体验的沉浸感和极佳的用户体验。

Description

一种能够自动纠偏的AR沙盘校准模型计算方法
技术领域
本发明涉及一种AR(Augment Reality，增强现实)沙盘投影映射方法，尤其涉及一种能够自动纠偏的AR沙盘校准模型计算方法。
背景技术
增强现实(Augmented Reality，简称AR)，是一种实时地计算摄影机的位置及角度，从而在真实影像上叠加合理的图像、视频或3D模型的技术，这种技术的目标是在屏幕上把虚拟世界叠加在现实世界中并进行互动。AR技术能够通过为用户提供基于真实场景的虚拟影像，增强用户的现实世界体验，提供沉浸式的全新交互方式。AR沙盘是增强现实技术的一项重要落地应用，主要应用场景是早教中心或幼儿园的寓教于乐式的互动课程教学。
AR沙盘通过悬挂在沙盘上方的RGB-D传感器获取沙盘中沙子高低不平的高度信息，在计算机中进行三维重建后，将合理的虚拟影像通过投影仪投射到沙子上，并且在沙子高度发生变化时能够实时地改变投影内容，即具备实时交互的能力，能够达到增强现实式的沉浸体验。AR沙盘的核心技术难点在于正确的投影映射，即根据沙子的高度变化合理地投影出正确的图像。达到正确的实时投影映射需要准确的校准模型。现有的AR沙盘校准模型计算方法要求RGB-D传感器必须严格垂直向下“观察”沙盘，对传感器的安装精度要求很高，一旦传感器装歪就无法得到正确的校准模型，也就无法实现正确的投影映射，导致投影图像和沙子之间形成错位，难以达到增强现实式的沉浸体验，无法实现良好的寓教于乐的教学效果。
发明内容
针对现有AR沙盘校准模型计算方法中存在的问题，本发明的目的在于提供一种能够自动纠偏的AR沙盘校准模型计算方法，可用于RGB-D传感器安装精度不高时AR沙盘校准模型的准确计算，得到的校准模型能够自动修正RGB-D传感器在安装过程中不可避免产生的偏差。
校准完成后得到的基准平面模型和投影映射模型用于AR沙盘的实时互动体验，两种模型协同工作构成了校准模型，共同保证AR沙盘互动体验的高沉浸感和极佳的用户体验。
本发明方法采用的技术方案是主要分为以下几步，通过以下特定的交互操作和计算获得：
首先处理获得AR沙盘的基准平面模型，然后在沙盘通过投影仪投影标准棋盘格图案，并通过采集投影图像进行计算处理得到AR沙盘的投影映射模型，投影映射模型中的深度值采用基准平面模型进行修正，获得校准模型。
所述的基准平面模型：将AR沙盘的沙子铺平，在RGB-D传感器采集得到的RGB图像中标记出沙盘区域的边界，同时利用RGB-D传感器对沙盘区域的深度数据进行随机采样，拟合计算后得到基准平面模型。
所述的基准平面模型具体采用以下方式进行处理获得：
1)将AR沙盘的沙子铺平，在RGB-D传感器采集得到的RGB图像中标记出沙盘区域的边界，记录沙盘区域的左上角和右下角在RGB图像中的像素坐标值；
2)构建以下公式表示在RGB-D传感器的深度相机空间中的基准平面模型：
ax+by+z+d＝0
其中，a、b和d是基准平面模型的第一、第二、第三参数，(x,y,z)是沙盘区域中的点在深度相机空间中的三维坐标，沙盘区域中的点是指沙子铺平后所在的表面上的点，x、y为沙盘区域中的点在深度图像上的平面坐标值，z为沙盘区域中的点在深度图像上的深度值，令其系数为1以简化计算过程；
7)采用拉丁超立方体采样方法利用RGB-D传感器在沙盘区域中随机采集若干个采样点，每个采样点在RGB-D传感器深度相机空间中的坐标记为Pi(xi,yi,zi)，其中(xi,yi)是第i个采样点在深度图像上的平面坐标值，zi是第i个采样点在深度图像上的深度值；
8)利用基准平面模型构建以下目标函数：
Figure GDA0002455939810000021
其中，n是随机采集的采样点总数目；
5)对目标函数进行求解得到如下的线性方程组：
Figure GDA0002455939810000022
求解上述线性方程组得到基准平面模型的三个参数a、b和d，从而获得参数确定的基准平面模型。
所述投影映射模型的获得具体为：将AR沙盘中的沙子铺平，控制投影仪向沙子上投射若干个标准棋盘格图案，将白色纸板置于沙盘中使棋盘格图案显示在白色纸板上，利用RGB-D传感器在白色纸板高低间隔交替布置下采集若干组采样信息，拟合计算后得到投影映射模型。
所述的投影映射模型具体采用以下方式进行计算：
1)将AR沙盘中的沙子铺平，控制投影仪在沙子上依次投射m个标准棋盘格图案，投射下一个棋盘格图案时隐藏上一个棋盘格图案，保证同一时刻沙盘区域内只有一个棋盘格图案；每个标准棋盘格图案投射时的显示投射位置处放置白色纸板，白色纸板置于沙盘上方且水平面布置，使棋盘格图案完整投射在白色纸板上，白色纸板的大小覆盖到整个标准棋盘格图案；
2)利用RGB-D传感器在白色纸板高低间隔交替布置下收集m个标准棋盘格图案对应的m组采样信息，采样信息包括RGB图像和深度图像；
3)基于最小二乘拟合方法构建以下目标函数E：
Figure GDA0002455939810000031
其中，m是采样信息组数的总数，k是采样信息组数的序数，ek表示第k组采样信息的第一系数，fk表示第k组采样信息的第二系数，ck表示第k组采样信息的第三系数；
Figure GDA0002455939810000032
分别表示是第k组采样信息的标准棋盘格图案中固定点实际在投影仪屏幕空间中的平面坐标；
每组采样信息的第一系数e、第二系数f和第三系数c采用以下公式表示：
e＝q9zcxd+q10zcyd+q11zc+q12
f＝q1zcxd+q2zcyd+q3zc+q4
c＝q5zcxd+q6zcyd+q7zc+q8
其中，xd,yd分别表示标准棋盘格图案中的固定点在RGB-D传感器采集的深度图像中的平面坐标，zc表示标准棋盘格图案中的固定点在RGB-D传感器采集的深度图像中的深度值，q1、q2、q3、q4、q5、q6、q7、q8、q9、q10、q11、q12分别表示投影映射模型的第一～第十二参数；
4)利用k组采样信息对目标函数进行求解获得如下线性方程组：
MQ＝0
Q＝(q1 q2 q3 q4 q5 q6 q7 q8 q9 q10 q11 q12)T
Figure GDA0002455939810000033
Figure GDA0002455939810000041
Figure GDA0002455939810000042
其中，M是线性方程组的维度为12×12的系数矩阵，Mk表示第k组采样信息在系数矩阵中的计算分量，
Figure GDA0002455939810000043
表示矩阵Mk中的子矩阵，
Figure GDA0002455939810000044
分别表示第k组采样信息的标准棋盘格图案中的固定点在RGB-D传感器采集的深度图像中的平面坐标，
Figure GDA0002455939810000045
表示第k组采样信息的标准棋盘格图案中的固定点在RGB-D传感器采集的深度图像中的深度值，
Figure GDA0002455939810000046
分别表示第k组采样信息的标准棋盘格图案中固定点实际在投影仪屏幕空间中的平面坐标，Q表示投影映射模型的参数集合；
求解上述线性方程组的非零解得到参数集合Q；
5)在AR沙盘的实际互动体验中，对于从RGB-D传感器采集的深度图像中获取的任意一点作为待投影点，采用以下公式表示的从RGB-D传感器的深度相机空间到投影仪屏幕空间的投影映射模型计算，获得待投影点在投影仪屏幕空间中的理论平面坐标Puv(us,vs)，用理论坐标输入投影仪进行投影：
Figure GDA0002455939810000047
Figure GDA0002455939810000048
其中，us,vs分别表示待投影点在投影仪屏幕空间中的理论平面坐标，Xd,Yd分别表示待投影点在RGB-D传感器采集的深度图像中的平面坐标，Zc表示待投影点在RGB-D传感器采集的深度图像中的深度值。
得到的投影映射模型用于AR沙盘的实时互动体验，投影映射模型能够将RGB-D传感器采集到的原始深度数据进行正确且实时地映射。
所述步骤2)具体为：将沙盘区域按类似于国际象棋的黑白格方式分为m个区域块，每个区域块对应投射一个标准棋盘格图案；如国际象棋的黑白格方式，将对角线连接的各个区域块组成一组，从而将沙盘区域的所有区域块分为两组，两组区域块投射标准棋盘格图案时的白色纸板的布置高度不同，白色纸板在两组区域块分别处于低位和高位的两种高度位置，低位时白色纸板直接水平的放置在沙子铺平的沙面上，高位时白色纸板和沙盘的沙面之间的平面垂直距离为20-30cm。
标准棋盘格图案中的固定点为人工事先选定，在标准棋盘格图案中相对位置固定，可在标准棋盘格图案中进行标记。本发明方法处理计算时固定点代表了任意一点。
所述步骤2)中的每组采样信息包括：标准棋盘格图案中的固定点在RGB-D传感器采集的深度图像中的平面坐标Pd(xd,yd)和深度值zc以及标准棋盘格图案中固定点实际在投影仪屏幕空间中的平面坐标Ps(xs,ys)。
所述步骤1)中，若干个标准棋盘格图案的图案相同，均为类似于国际象棋的多个黑白格构成的长方形图案。
所述m个标准棋盘格图案投射到沙盘区域的位置不同，且所有位置总和刚好覆盖整个沙盘区域。
基准平面模型能够自动修正RGB-D传感器在安装过程中不可避免产生的偏差，由于RGB-D传感器安装偏差引起的深度值误差，投影映射模型中的深度值采用基准平面模型进行修正具体是按照以下方程对投影的深度值进行修正：
Zr＝Zc+aXd+bYd+d
其中，Zr是修正后的深度值，Xd,Yd分别表示待投影点在RGB-D传感器采集的深度图像中的平面坐标，Zc表示待投影点在RGB-D传感器采集的深度图像中的深度值。
本发明的有益效果是：
1、本发明方法解决了现有AR沙盘校准模型计算方法对RGB-D传感器安装精度要求过高的问题，校准得到的基准平面模型能够自动修正RGB-D传感器在安装过程中不可避免产生的偏差，同时投影映射模型能够将RGB-D传感器采集到的原始深度数据正确映射到投影仪的屏幕空间，两个模型协同工作，共同保证AR沙盘互动体验的高沉浸感和极佳的用户体验。
2、本发明方法的具体实施过程简洁高效、易于操作，能够满足AR沙盘的实时交互要求。
附图说明
图1是本实施例中所采用的AR沙盘示意图。
图2是本实施例在校准过程中标记的沙盘区域示意图。
图3是本实施例在校准过程中按照一定顺序投射出的15个标准棋盘格示意图。
图4是本实施例在校准过程中通过白色纸板收集采样信息的示意图。
图中：沙盘座1、沙子2、投影仪3、RGB-D传感器4、白色纸板5、标准棋盘格图案6。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细说明。
本发明包括AR沙盘校准模型的计算和校准模型在实时互动中的具体应用。AR沙盘校准模型的计算包括基准平面模型和投影映射模型的计算，提出的校准方法是在校准模型理论数学表达推导的基础上，通过简单的交互操作进行采样、最小二乘拟合后计算得到。在AR沙盘的实时互动中，基准平面模型用于自动修正RGB-D传感器在安装过程中不可避免产生的偏差，投影映射模型用于将RGB-D传感器采集到的原始深度数据正确映射到投影仪的屏幕空间，两个模型协同工作，共同保证AR沙盘互动体验的高沉浸感和极佳的用户体验
本发明的具体实施例如下：
在本实施方案中使用的AR沙盘如图1所示。实际运行时的具体工作过程为，投影仪将虚拟图像投射到高低不平的沙子表面，实现增强现实式的体验效果，RGB-D传感器获取沙盘中沙子高低不平的高度信息，用于计算机进行三维重建，沙子是虚拟图像叠加在现实世界中的媒介，虚拟图像能够根据沙子高度的变化实时改变。
1、基准平面模型具体采用以下方式进行计算：
1)将AR沙盘的沙子铺平，在RGB-D传感器采集得到的RGB图像中标记出沙盘边界，如图2所示，确定无误后，记录沙盘区域的左上角和右下角在RGB图像中的像素坐标值；
2)基准平面模型在RGB-D传感器的深度相机空间中的数学表达为：
ax+by+z+d＝0
其中，a、b和d是基准平面模型的第一、第二、第三参数，(x,y,z)是沙盘区域中的点在深度相机空间中的三维坐标，沙盘区域中的点是指沙子铺平后所在的表面上的点，x、y为其在深度图像上的平面坐标值，z为其在深度图像上的深度值，令其系数为1以简化计算过程；
3)基于拉丁超立方体采样方法，利用RGB-D传感器在标记出的沙盘区域中随机采集12个采样点，每个采样点在RGB-D传感器深度相机空间中的坐标记为Pi(xi,yi,zi)，其中(xi,yi)是第i个采样点在深度图像上的平面坐标值，zi是第i个采样点在深度图像上的深度值；
4)利用基准平面模型构建以下目标函数：
Figure GDA0002455939810000071
其中，随机采样的采样点数目为12。
5)对目标函数进行求解得到如下的线性方程组：
Figure GDA0002455939810000072
求解该线性方程组即可得到基准平面模型参数a、b和d，分别为0.0338、0.590和-171。
2、投影映射模型具体采用以下方式进行计算：
1)将AR沙盘中的沙子铺平，控制投影仪在沙子上按照从左到右、从上到下的顺序投射3行、每行5个共15个标准棋盘格图案6，如图3所示，投射下一个棋盘格图案时隐藏上一个棋盘格图案，保证同一时刻沙盘区域内只有一个棋盘格图案；每个标准棋盘格图案投射时的显示投射位置处放置白色纸板5，白色纸板置于沙盘上方且水平面布置，使棋盘格图案完整投射在白色纸板5上，白色纸板的大小覆盖到整个标准棋盘格图案6。
2)每个棋盘格显示在对应的投射位置处时，将白色纸板置于沙盘中，使棋盘格显示在纸板上如图4所示，利用RGB-D传感器按照高低间隔的方式收集15组采样信息；
以棋盘格右上角的一点为固定点，每组采样信息包括：标准棋盘格图案中的固定点在RGB-D传感器采集的深度图像中的平面坐标Pd(xd,yd)和深度值zc。
3)基于最小二乘拟合方法构建目标函数：
Figure GDA0002455939810000073
其中，15是2)中所述的采样信息组数，k是其中第k组采样信息；
每组采样信息的第一系数e、第二系数f和第三系数c采用以下公式表示：
e＝q9zcxd+q10zcyd+q11zc+q12
f＝q1zcxd+q2zcyd+q3zc+q4
c＝q5zcxd+q6zcyd+q7zc+q8
4)对目标函数进行求解可得到如下线性方程组：
MQ＝0
Q＝(q1 q2 q3 q4 q5 q6 q7 q8 q9 q10 q11 q12)T
Figure GDA0002455939810000081
Figure GDA0002455939810000082
Figure GDA0002455939810000083
求解该线性方程组的非零解即可得到校准模型的参数为Q＝(14.5 0.507 -302 -25437 0.0926 -20.8 512 6876 6.15E-4 3.29E-4 0.85 -21.1)T。
3、校准完成后得到的两个模型用于AR沙盘的实时互动体验，具体应用方式如下：
A、对于投影平面坐标
对于从RGB-D传感器采集的深度图像中获取的待投影的任意一点，采用以下公式表示的从RGB-D传感器的深度相机空间到投影仪屏幕空间的校准模型计算，获得其在投影仪屏幕空间中的理论平面坐标Puv(us,vs)，用理论坐标输入投影仪进行投影：
Figure GDA0002455939810000084
Figure GDA0002455939810000085
B、对于投影深度
对于RGB-D传感器安装偏差引起的深度值误差，校准模型中的深度值采用基准平面模型进行修正具体是按照以下方程对投影的深度值进行修正：
Zr＝Zc+0.0338Xd+0.590Yd-171
其中，Zr是修正后的深度值，Xd,Yd分别表示待投影点在RGB-D传感器采集的深度图像中的平面坐标，Zc表示待投影点在RGB-D传感器采集的深度图像中的深度值。
综上所述，本发明提出的AR沙盘校准模型计算方法能够通过简单的交互操作和特定的数学计算，得到AR沙盘的基准平面模型和投影映射模型，从而自动修正RGB-D传感器在安装过程中不可避免产生的偏差，同时对RGB-D传感器采集到的原始深度数据正确映射到投影仪的屏幕空间，保证AR沙盘互动体验的沉浸感和极佳的用户体验，带来了显著的效果。

Claims (4)

1.一种能够自动纠偏的AR沙盘校准模型计算方法，其特征在于：主要分为以下几步：
首先处理获得AR沙盘的基准平面模型，然后在沙盘通过投影仪投影标准棋盘格图案，并通过采集投影图像进行计算处理得到AR沙盘的投影映射模型，投影映射模型中的深度值采用基准平面模型进行修正，获得校准模型；
所述的投影映射模型具体采用以下方式进行计算：
1)将AR沙盘中的沙子铺平，控制投影仪在沙子上依次投射m个标准棋盘格图案；每个标准棋盘格图案投射时的显示投射位置处放置白色纸板，白色纸板置于沙盘上方且水平面布置，使棋盘格图案完整投射在白色纸板上；
所述步骤1)中，若干个标准棋盘格图案的图案相同，均为类似于国际象棋的多个黑白格构成的长方形图案；
所述m个标准棋盘格图案投射到沙盘区域的位置不同，且所有位置总和刚好覆盖整个沙盘区域；
2)利用RGB-D传感器在白色纸板高低间隔交替布置下收集m个标准棋盘格图案对应的m组采样信息，采样信息包括RGB图像和深度图像；
3)基于最小二乘拟合方法构建以下目标函数E：
Figure FDA0002506100930000011
其中，m是采样信息组数的总数，k是采样信息组数的序数，ek表示第k组采样信息的第一系数，fk表示第k组采样信息的第二系数，ck表示第k组采样信息的第三系数；
Figure FDA0002506100930000012
分别表示是第k组采样信息的标准棋盘格图案中固定点实际在投影仪屏幕空间中的平面坐标；
每组采样信息的第一系数e、第二系数f和第三系数c采用以下公式表示：
e＝q9zcxd+q10zcyd+q11zc+q12
f＝q1zcxd+q2zcyd+q3zc+q4
c＝q5zcxd+q6zcyd+q7zc+q8
其中，xd,yd分别表示标准棋盘格图案中的固定点在RGB-D传感器采集的深度图像中的平面坐标，zc表示标准棋盘格图案中的固定点在RGB-D传感器采集的深度图像中的深度值，q1、q2、q3、q4、q5、q6、q7、q8、q9、q10、q11、q12分别表示投影映射模型的第一～第十二参数；
4)利用k组采样信息对目标函数进行求解获得如下线性方程组：
MQ＝0
Q＝(q1 q2 q3 q4 q5 q6 q7 q8 q9 q10 q11 q12)T
Figure FDA0002506100930000021
Figure FDA0002506100930000022
Figure FDA0002506100930000023
其中，M是线性方程组的维度为12×12的系数矩阵，Mk表示第k组采样信息在系数矩阵中的计算分量，
Figure FDA0002506100930000024
表示矩阵Mk中的子矩阵，
Figure FDA0002506100930000025
分别表示第k组采样信息的标准棋盘格图案中的固定点在RGB-D传感器采集的深度图像中的平面坐标，
Figure FDA0002506100930000026
表示第k组采样信息的标准棋盘格图案中的固定点在RGB-D传感器采集的深度图像中的深度值，
Figure FDA0002506100930000027
分别表示第k组采样信息的标准棋盘格图案中固定点实际在投影仪屏幕空间中的平面坐标，Q表示投影映射模型的参数集合；
求解上述线性方程组的非零解得到参数集合Q；
5)在AR沙盘的实际互动体验中，对于从RGB-D传感器采集的深度图像中获取的任意一点作为待投影点，采用以下公式表示的从RGB-D传感器的深度相机空间到投影仪屏幕空间的投影映射模型计算，获得待投影点在投影仪屏幕空间中的理论平面坐标Puv(us,vs)：
Figure FDA0002506100930000028
Figure FDA0002506100930000029
其中，us,vs分别表示待投影点在投影仪屏幕空间中的理论平面坐标，Xd,Yd分别表示待投影点在RGB-D传感器采集的深度图像中的平面坐标，Zc表示待投影点在RGB-D传感器采集的深度图像中的深度值；
所述步骤2)具体为：将沙盘区域按类似于国际象棋的黑白格方式分为m个区域块，每个区域块对应投射一个标准棋盘格图案；将对角线连接的各个区域块组成一组，从而将沙盘区域的所有区域块分为两组，两组区域块投射标准棋盘格图案时的白色纸板的布置高度不同，白色纸板在两组区域块分别处于低位和高位的两种高度位置；
所述步骤2)中的每组采样信息包括：标准棋盘格图案中的固定点在RGB-D传感器采集的深度图像中的平面坐标Pd(xd,yd)和深度值zc以及标准棋盘格图案中固定点实际在投影仪屏幕空间中的平面坐标Ps(xs,ys)；
投影映射模型中的深度值采用基准平面模型进行修正具体是按照以下方程对投影的深度值进行修正：
Zr＝Zc+aXd+bYd+d
其中，Zr是修正后的深度值，Xd,Yd分别表示待投影点在RGB-D传感器采集的深度图像中的平面坐标，Zc表示待投影点在RGB-D传感器采集的深度图像中的深度值；a、b和d是基准平面模型的第一、第二、第三参数。
2.根据权利要求1所述的一种能够自动纠偏的AR沙盘校准模型计算方法，其特征在于：所述的基准平面模型：将AR沙盘的沙子铺平，在RGB-D传感器采集得到的RGB图像中标记出沙盘区域的边界，同时利用RGB-D传感器对沙盘区域的深度数据进行随机采样，拟合计算后得到基准平面模型。
3.根据权利要求2所述的一种能够自动纠偏的AR沙盘校准模型计算方法，其特征在于：所述的基准平面模型具体采用以下方式进行处理获得：
1)将AR沙盘的沙子铺平，在RGB-D传感器采集得到的RGB图像中标记出沙盘区域的边界，记录沙盘区域的左上角和右下角在RGB图像中的像素坐标值；
2)构建以下公式表示在RGB-D传感器的深度相机空间中的基准平面模型：
ax+by+z+d＝0
其中，a、b和d是基准平面模型的第一、第二、第三参数，(x,y,z)是沙盘区域中的点在深度相机空间中的三维坐标；
3)采用拉丁超立方体采样方法利用RGB-D传感器在沙盘区域中随机采集若干个采样点，每个采样点在RGB-D传感器深度相机空间中的坐标记为Pi(xi,yi,zi)，其中(xi,yi)是第i个采样点在深度图像上的平面坐标值，zi是第i个采样点在深度图像上的深度值；
4)利用基准平面模型构建以下目标函数：
Figure FDA0002506100930000041
其中，n是随机采集的采样点总数目；
5)对目标函数进行求解得到如下的线性方程组：
Figure FDA0002506100930000042
求解上述线性方程组得到基准平面模型的三个参数a、b和d，从而获得参数确定的基准平面模型。
4.根据权利要求1所述的一种能够自动纠偏的AR沙盘校准模型计算方法，其特征在于：所述投影映射模型的获得具体为：将AR沙盘中的沙子铺平，控制投影仪向沙子上投射若干个标准棋盘格图案，将白色纸板置于沙盘中使棋盘格图案显示在白色纸板上，利用RGB-D传感器在白色纸板高低间隔交替布置下采集若干组采样信息，拟合计算后得到投影映射模型。
CN201810054053.XA 2018-01-19 2018-01-19 一种能够自动纠偏的ar沙盘校准模型计算方法 Active CN108320311B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810054053.XA CN108320311B (zh) 2018-01-19 2018-01-19 一种能够自动纠偏的ar沙盘校准模型计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810054053.XA CN108320311B (zh) 2018-01-19 2018-01-19 一种能够自动纠偏的ar沙盘校准模型计算方法

Publications (2)

Publication Number Publication Date
CN108320311A CN108320311A (zh) 2018-07-24
CN108320311B true CN108320311B (zh) 2020-10-09

Family

ID=62894066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810054053.XA Active CN108320311B (zh) 2018-01-19 2018-01-19 一种能够自动纠偏的ar沙盘校准模型计算方法

Country Status (1)

Country Link
CN (1) CN108320311B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009985B (zh) * 2019-03-27 2020-12-25 深圳市问库信息技术有限公司 一种基于机器学习的沙盘制作装置
CN115512083B (zh) * 2022-09-20 2023-04-11 广西壮族自治区地图院 一种多倾斜角度数控沙盘自适应投影方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455141A (zh) * 2013-08-15 2013-12-18 无锡触角科技有限公司 互动投影***及其深度传感器和投影仪的校准方法
CN103718213A (zh) * 2012-01-13 2014-04-09 索弗特凯耐提克软件公司 自动场景校准
CN105045389A (zh) * 2015-07-07 2015-11-11 深圳水晶石数字科技有限公司 一种互动式沙盘***的演示方法
TW201615007A (en) * 2012-06-27 2016-04-16 Univ Ming Chuan Curved surface projection correction method and its augmented reality application system
CN106340064A (zh) * 2016-08-25 2017-01-18 北京大视景科技有限公司 一种混合现实沙盘装置和方法
CN107251101A (zh) * 2015-02-25 2017-10-13 英特尔公司 针对使用具有参数的标记的增强现实的场景修改

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103718213A (zh) * 2012-01-13 2014-04-09 索弗特凯耐提克软件公司 自动场景校准
TW201615007A (en) * 2012-06-27 2016-04-16 Univ Ming Chuan Curved surface projection correction method and its augmented reality application system
CN103455141A (zh) * 2013-08-15 2013-12-18 无锡触角科技有限公司 互动投影***及其深度传感器和投影仪的校准方法
CN107251101A (zh) * 2015-02-25 2017-10-13 英特尔公司 针对使用具有参数的标记的增强现实的场景修改
CN105045389A (zh) * 2015-07-07 2015-11-11 深圳水晶石数字科技有限公司 一种互动式沙盘***的演示方法
CN106340064A (zh) * 2016-08-25 2017-01-18 北京大视景科技有限公司 一种混合现实沙盘装置和方法

Also Published As

Publication number Publication date
CN108320311A (zh) 2018-07-24

Similar Documents

Publication Publication Date Title
US11269244B2 (en) System and method for calibrating a display system using manual and semi-manual techniques
US20240153143A1 (en) Multi view camera registration
CN108460803B (zh) 一种基于棋盘格图案的ar沙盘校准模型计算方法
CN108320311B (zh) 一种能够自动纠偏的ar沙盘校准模型计算方法
CN112132907B (zh) 一种相机标定方法、装置、电子设备及存储介质
CN100545864C (zh) 基于软件的环幕帧缓存纹理重贴几何校正方法
KR101031062B1 (ko) 복합 현실 구현을 위한 영상 투사 방법
CN110176053B (zh) 一种大规模实景三维整体匀色方法
CN112734860B (zh) 一种基于弧形幕先验信息的逐像素映射投影几何校正方法
CN111161394B (zh) 一种三维建筑模型的放置方法和装置
CN107392157B (zh) 一种基于机器视觉的中国象棋比赛智能虚拟直播方法
CN110443879A (zh) 一种基于神经网络的透视误差补偿方法
CN109255843A (zh) 三维重建方法、装置及增强现实ar设备
CN112911270B (zh) 一种用于100％offset三维切片式投影成像***的图像修正方法
CN111062869A (zh) 一种面向曲面幕的多通道校正拼接的方法
CN111586384A (zh) 一种基于贝塞尔曲面的投影图像几何校正方法
TWI520099B (zh) 影像擷取系統的校正方法
CN106803274A (zh) 自动化标定板
CN110691236B (zh) 一种全景视频质量评价方法
CN115830135A (zh) 一种图像处理方法、装置及电子设备
CN109506629A (zh) 一种水下核燃料组件检测装置旋转中心标定的方法
JPH0997344A (ja) テクスチャ生成方法およびテクスチャ生成システム
US9532071B2 (en) Resampling apparatus, method, and recording medium having resampling program recorded therein for digital image
CN108053491A (zh) 动态视角条件下实现平面目标三维跟踪和增强现实的方法
CN109829951A (zh) 平行等位检测方法、装置与自动驾驶***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Guo Yundong

Inventor after: Wang Xinjie

Inventor after: Wu Zhen

Inventor after: Luo Hao

Inventor after: Liu Zhenyu

Inventor after: Tan Jianrong

Inventor before: Guo Yundong

Inventor before: Wang Xinjie

Inventor before: Wu Zhen

GR01 Patent grant
GR01 Patent grant