CN111586384B

CN111586384B - 一种基于贝塞尔曲面的投影图像几何校正方法

Info

Publication number: CN111586384B
Application number: CN202010477837.0A
Authority: CN
Inventors: 侯培国; 祁继辉; 宋涛
Original assignee: Yanshan University
Current assignee: Yanshan University
Priority date: 2020-05-29
Filing date: 2020-05-29
Publication date: 2022-02-11
Anticipated expiration: 2040-05-29
Also published as: CN111586384A

Abstract

本发明公开了一种基于贝塞尔曲面的投影图像几何校正方法，属于虚拟现实投影图像处理技术领域，包括1）用摄像机采集未进行几何校正的畸变投影画面，通过双三次贝塞尔曲面建立投影坐标空间与摄像坐标空间的坐标转换模型；2）在屏幕空间的理想区域作均匀标记点并进行几何校正；3）在检测到的屏幕空间像素偏移区域进行局部几何预扭曲；4）求得的坐标转换模型对原图像进行贝塞尔曲面预扭曲，消除投影画面的整体几何畸变，完成几何校正。本发明采用贝塞尔曲面模型建立不同坐标空间特征点的转换关系，再通过图像局部贝塞尔曲面扭曲算法对像素偏移较大的区域进行误差补偿。

Description

一种基于贝塞尔曲面的投影图像几何校正方法

技术领域

本发明属于虚拟现实投影图像处理技术领域，具体涉及一种基于贝塞尔曲面的投影图像几何校正方法。

背景技术

虚拟现实技术是20世纪末兴起的一门计算机技术，能够让用户实时、没有限制地观察三维空间内的场景与事物，沉浸在模拟环境中。随着时代的发展，人们对虚拟世界要求越来越高，佩戴VR眼镜会影响真实体验感，因此，裸眼虚拟现实技术能够为人们提供一个更好的VR体验，多通道投影拼接技术把虚拟画面投影到周围的墙壁上，用户在体验该技术应用时，不需要佩戴任何辅助装置，就能够沉浸到画面中并有身临其境的观感。但是，在实际应用中，由于投影仪摆放倾斜或者投影仪彼此型号不同等一系列因素，投影幕上的投影画面难免会发生几何扭曲，以致于投影画面彼此无法对接整齐。如今存在很多投影图像几何校正方法，其中贝塞尔曲面模型较为典型，适用于多种形状的投影画面，但是贝塞尔曲面的其中一个控制点发生改变，对整个图像每一个像素点造成影响，因此，难以对图像进行局部几何误差补偿。

发明内容

本发明需要解决的技术问题是提供一种基于贝塞尔曲面的投影图像几何校正方法，通过采用贝塞尔曲面模型建立不同坐标空间特征点的转换关系，再通过图像局部贝塞尔曲面扭曲算法对像素偏移较大的区域进行误差补偿。

为解决上述技术问题，本发明所采用的技术方案是：

一种基于贝塞尔曲面的投影图像几何校正方法，包括如下步骤：

步骤1)用摄像机采集未进行几何校正的畸变投影画面，通过双三次贝塞尔曲面建立投影坐标空间与摄像坐标空间的坐标转换模型；

步骤2)在屏幕空间的理想区域作均匀标记点并进行几何校正；

步骤3)在检测到的屏幕空间像素偏移区域进行局部几何预扭曲；

步骤4)求得的坐标转换模型对原图像进行贝塞尔曲面预扭曲，消除投影画面的整体几何畸变，完成几何校正。

本发明技术方案的进一步改进在于：所述步骤1)中，摄像坐标空间内的投影画面作为变换前的图像，投影坐标空间内的投影图像作为变换后的图像，在步骤2)中，图像坐标空间内的原图像作为变换前的图像，屏幕空间理想区域的记点集合作为变换后的图像，以便步骤4)求得的坐标转换模型不存在逆向贝塞尔曲面运算。

本发明技术方案的进一步改进在于：所述步骤4)中，把步骤2)与步骤1)求得的坐标转换模型融为一步贝塞尔曲面变换。

本发明技术方案的进一步改进在于：所述步骤3)中，对图像对应的像素区域进行局部几何预扭曲时，通过控制点固定该区域的四个边。

由于采用了上述技术方案，本发明取得的技术进步是：

本发明提供的一种基于贝塞尔曲面的投影图像几何校正方法，步骤1)中，摄像坐标空间内的投影画面作为变换前的图像，投影坐标空间内的投影图像作为变换后的图像，在步骤2)中，图像坐标空间内的原图像作为变换前的图像，屏幕空间理想区域的记点集合作为变换后的图像，以便步骤4)求得的坐标转换模型不存在逆向贝塞尔曲面运算，以此降低数学表达式的复杂程度。

本发明提供的一种基于贝塞尔曲面的投影图像几何校正方法，步骤4)中，把步骤2)与步骤1)求得的坐标转换模型融为一步贝塞尔曲面变换，减少图像扭曲后的边缘锯齿。

本发明提供的一种基于贝塞尔曲面的投影图像几何校正方法，步骤3)中，对图像对应的像素区域进行局部几何预扭曲时，通过控制点固定该区域的四个边来保证整体图像的连续性及完整性。

附图说明

图1是本发明提供的一种基于贝塞尔曲面的投影图像几何校正方法的整体流程图；

图2是本发明提供的投影前的原始图像；

图3是本发明提供的未几何校正的双通道投影显示图像；

图4是本发明提供的几何校正后的双通道投影显示图像；

图5是本发明提供的几何误差补偿后的双通道投影显示图像；

图6是本发明提供的CAVE沉浸式***效果图。

具体实施方式

下面结合附图及实施例对本发明做进一步详细说明：

本发明是一种基于贝塞尔曲面的投影图像几何校正方法，采用贝塞尔曲面模型建立不同坐标空间特征点的转换关系，再通过图像局部贝塞尔曲面扭曲算法对像素偏移较大的区域进行误差补偿。

如图1至图5所示，该装置包括步骤1)用摄像机采集未进行几何校正的畸变投影画面，通过双三次贝塞尔曲面建立投影坐标空间与摄像坐标空间的坐标转换模型；

在本发明提供的实施例中，步骤1)中摄像坐标空间内的投影画面作为变换前的图像，投影坐标空间内的投影图像作为变换后的图像，在步骤2)中，图像坐标空间内的原图像作为变换前的图像，屏幕空间理想区域的记点集合作为变换后的图像，以便步骤4)求得的坐标转换模型不存在逆向贝塞尔曲面运算，以此降低数学表达式的复杂程度，简化算法，降低出错率。

进一步地，步骤4)中，把步骤2)与步骤1)求得的坐标转换模型融为一步贝塞尔曲面变换，减少图像扭曲后的边缘锯齿，使画面调节步骤更加简便。

进一步地，步骤3)中，对图像对应的像素区域进行局部几何预扭曲时，通过控制点固定该区域的四个边来保证整体图像的连续性及完整性，提高调节效率。

具体的，在本发明提供的实施例中，本发明公开的一种基于贝塞尔曲面的投影图像几何校正方法，提供了一个在图6CAVE沉浸式***的Windows操作***上利用OpenCV识别图像，利用OpenGL扭曲图像，具体实施方式包括以下步骤：步骤1)将规则矩形棋盘网格作为投影坐标空间的原图像投影至投影幕，摄像机把投影幕上的投影棋盘网格画面采集至摄像坐标空间，网格角点作为特征点，通过双三次贝塞尔曲面建立投影坐标空间与摄像坐标空间对应特征点的匹配关系，如下式所示：

P_P＝C(P_C)·p_C→P

其中，P_C为摄像空间特征点的坐标集合；C(P_C)为摄像空间特征点坐标的贝塞尔基函数集合；p_C→P为摄像空间转换至投影空间的控制点坐标集合；P_P为投影空间特征点的坐标集合；

步骤2)在屏幕空间的理想区域作均匀标记点，以便摄像机采集后计算机能够识别照片内的标记点，通过双三次贝塞尔曲面建立图像坐标空间与摄像坐标空间的坐标转换模型，如下式所示：

P_CS＝C(P_I)·p_I→C

其中，P_I为图像空间均匀分布的点坐标集合；C(P_I)为图像空间均匀分布点坐标的贝塞尔基函数集合；p_I→C为图像空间转换至摄像空间内理想区域的控制点坐标集合；P_CS为摄像空间内理想区域均匀分布点的坐标集合；

通过步骤1)与步骤2)求得的坐标转换模型对原图像进行贝塞尔曲面预扭曲，消除投影画面的整体几何畸变，完成几何校正，如下式所示：

P_A＝C(C(P_B)·p_I→C)·p_C→P

其中，P_B为原图像几何预扭曲前所有点的坐标值集合，P_A为原图像几何预扭曲后所有点的坐标值集合。

图像每次预扭曲后都会出现边缘锯齿，因此，把两步贝塞尔曲面扭曲变换融为一步可减少边缘锯齿，通过所求得的P_A反算控制点p_I→P(即图像空间转换至投影空间的控制点坐标集合)，如下式所示：

P_A＝C(P_B)·p_I→P

通过p_I→P对原图像进行一次几何预扭曲；

步骤3)、在步骤2)中作标记难免会发生随机误差，而且投影环境、摄像机的拍摄角度以及标记点的自身特性也会导致***误差，因此，完成几何校正后，需要检测屏幕空间像素点的偏移区域，投影幕空间的歪曲区域与原图像对应区域的坐标空间转换关系如下式所示：

P_S′＝C_I′·p_S→I

其中，C_I′为原图像对应区域的坐标贝塞尔基函数集合，P_S′为屏幕空间内歪曲区域的坐标集合，p_S→I为投影幕空间的歪曲区域转换至原图像对应区域的坐标控制点集合。由于采用双三次贝塞尔曲面扭曲，p_S→I存在16个控制点，其中该区域四个边的12个控制点为常量来固定该区域轮廓来保证整体图像的连续性及完整性，其余4个控制点用于对原图像对应区域的内部进行预扭曲来实现几何误差补偿；

步骤4)、通过步骤3)检测到的屏幕空间像素偏移区域，在对原图像进行整体几何预扭曲之前，对图像对应的像素区域进行局部几何预扭曲来减少投影画面的像素偏移量，如下式所示：

其中，P₀为原图像K处对应区域以外几何预扭曲前所有点的坐标值集合，P_k为原图像第k处对应区域几何预扭曲前所有点的坐标值集合，1≤k≤K，P_T为原图像几何预扭曲后所有点的坐标值集合。本发明提供的一种基于贝塞尔曲面的投影图像几何校正方法，针对基于摄像机反馈的投影图像几何校正结果误差较大的问题，提出图像局部贝塞尔曲面扭曲算法对预扭曲的原图像进行几何误差补偿的方案。首先，通过求取投影空间原图像与摄像空间投影画面的特征点，利用贝塞尔曲面算法推导出投影空间与摄像空间的对应关系；其次，通过求取摄像空间理想区域与图像空间的特征点，利用贝塞尔曲面算法推导出其对应关系；再通过两步对应关系对投影空间原图像进行预扭曲；最后，通过测量预扭曲图像投影到投影幕的误差，利用图像局部贝塞尔曲面扭曲算法对预扭曲的原图像进行几何误差补偿来减少误差。本发明方法简单，操作容易，不需要额外的技术设备，便于技术人员维护使用。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明的保护范围之中。

Claims

1.一种基于贝塞尔曲面的投影图像几何校正方法，其特征在于：包括以下步骤：

步骤4)求得的坐标转换模型对原图像进行贝塞尔曲面预扭曲，消除投影画面的整体几何畸变，完成几何校正；

所述步骤3)对图像对应的像素区域进行局部几何预扭曲时，通过控制点固定该区域的四个边，进行局部几何预扭曲来减少投影画面的像素偏移量，如下式所示：

其中，P₀为原图像K处对应区域以外几何预扭曲前所有点的坐标值集合，P_k为原图像第k处对应区域几何预扭曲前所有点的坐标值集合，1≤k≤K，P_T为原图像几何预扭曲后所有点的坐标值集合，C表示原图像贝塞尔基函数集合，C′表示原图像局部贝塞尔基函数集合，K表示原图像中的一区域由K处构成，p_S→I(k)表示屏幕空间转换至图像空间k处的控制点坐标集合；p_I→P表示图像空间转换至投影空间的控制点坐标集合。

2.根据权利要求1所述的一种基于贝塞尔曲面的投影图像几何校正方法，其特征在于：所述步骤1)中，摄像坐标空间内的投影画面作为变换前的图像，投影坐标空间内的投影图像作为变换后的图像，在步骤2)中，图像坐标空间内的原图像作为变换前的图像，屏幕空间理想区域的记点集合作为变换后的图像，以便步骤4)求得的坐标转换模型不存在逆向贝塞尔曲面运算。

3.根据权利要求1所述的一种基于贝塞尔曲面的投影图像几何校正方法，其特征在于：所述步骤4)中，把步骤2)与步骤1)求得的坐标转换模型融为一步贝塞尔曲面变换。