CN103792674A

CN103792674A - 一种测量和校正虚拟现实显示器畸变的装置和方法

Info

Publication number: CN103792674A
Application number: CN201410028245.5A
Authority: CN
Inventors: 郑臻荣; 李安; 夏新星; 吴懿思; 陈驰; 申俊飞; 张雅琴; 刘旭; ***
Original assignee: Zhejiang University ZJU
Current assignee: Shenzhen Ansijiang Technology Co., Ltd.
Priority date: 2014-01-21
Filing date: 2014-01-21
Publication date: 2014-05-14
Anticipated expiration: 2034-01-21
Also published as: CN103792674B

Abstract

本发明公开了一种测量和校正虚拟现实显示器畸变的方法，包括以下步骤：分划板经光学***对分划板成像得到畸变网格像；根据网格顶点坐标与畸变网格顶点坐标之间的对应关系，计算得到每个网格的畸变系数；在畸变网格像上划出无畸变的网格A，根据光路可逆原理，光学***的物面上具有与网格A相对应的畸变网格A′，然后利用畸变系数与网格A的顶点坐标，计算出畸变网格A′的顶点坐标，并将畸变网格A′的顶点坐标生成坐标查找表；利用坐标查找表将待投影图像转换为预畸变图像，并输入像源，并对像源所显示的预畸变图像成像，得到成像图像，对比成像图像与所述的预畸变图像，调整像源，完成对像源的校正。本发明还公开了一种测量和校正虚拟现实显示器畸变的装置。

Description

一种测量和校正虚拟现实显示器畸变的装置和方法

技术领域

本发明涉及投影光学***领域，具体涉及一种测量和校正虚拟显示显示器畸变的装置和方法。

背景技术

虚拟现实显示器不同于一般的投影机，是一种可以将文字、图像等信息由光学***直接投影在人眼成像的设备，投射的文字和图像调整在无穷远平面上，比如平视显示器（HUD）和头盔显示器（HMD），能够将外界的景象与显示器的资料融合在一起，使人们不需要低头就能够方便、舒适地看到他需要的重要资讯。

虚拟现实显示器最初应用于军用飞机，目前涉及的应用范围广泛，具备智能操作***的虚拟现实显示器（HWD）开始商业化，比如谷歌眼镜；许多民用航空飞机上已经配备了平视显示器（HUD），同时，装配在汽车、火车或者地铁列车上可以更加方便地给驾驶员提供路况、导航等信息，避免注意力中断以及丧失对状态意识的掌握，提高驾驶的安全性。

但是，为了能使显示的信息不丢失，同时还要使观察者得到舒适的观感，在设计虚拟现实显示器的光学***时必须满足高清晰度和大视场的要求，这会使得投影图像发生畸变，清晰度越高，视场越大，图像的畸变也越大，尤其是在边缘视场。一般的光学***往往采用同轴的设计，此时图像的畸变是关于中心对称的，但是在一些特殊的装配环境下，虚拟现实显示器的光学***必须采用离轴设计的形式，这会使得投影图像发生非常大的畸变，且畸变是不对称的。投影图像的畸变不仅会影响观察的舒适感，甚至会造成观察者对重要信息的误判，导致不必要的损失。因此，如何消除虚拟现实显示器投影图像的畸变是亟待解决的。

发明内容

本发明提供了一种测量和校正虚拟现实显示器畸变的方法和装置，在虚拟现实显示器像源上对图像做预先的畸变处理，来抵消光学***所带来的畸变，达到校正投影图像畸变的目的。

一种测量和校正虚拟现实显示器畸变的方法，包括以下步骤：

1）设定带有网格的分划板，将该分划板置于光学***的物面，并经过光学***对分划板成像得到畸变网格像，所述畸变网格像上具有畸变网格；

2）根据网格顶点坐标与畸变网格顶点坐标之间的对应关系，计算得到每个网格的畸变系数；

3）在所述畸变网格像上划出无畸变的网格A，根据光路可逆原理，光学***的物面上具有与网格A相对应的畸变网格A′，然后利用畸变系数与网格A的顶点坐标，计算出畸变网格A′的顶点坐标，并将畸变网格A′的顶点坐标生成坐标查找表；

4）利用坐标查找表将待投影图像转换为预畸变图像，并输入像源，并对像源所显示的预畸变图像成像，得到成像图像，对比成像图像与所述的预畸变图像，调整像源，完成对像源的校正；

5）将校正后的像源置于光学***的物面，并向像源输入预畸变图像，经光学***出射为无畸变的图像，完成对虚拟现实显示器的校正。

在步骤2）中，设网格的四个顶点坐标为(x₀,y₀)，(x₁,y₁)，(x₂,y₂)和(x₃,y₃)，畸变网格的四个顶点坐标为(u₀,v₀)，(u₁,v₁)，(u₂,v₂)和(u₃,v₃)，建立顶点坐标(x,y)与(u,v)之间的对应关系式：

\{\begin{matrix} X = f_{u} (U, V) \\ Y = f_{v} (U, V) \end{matrix}

令

A = [\begin{matrix} u_{0} & v_{0} & u_{0} v_{0} & 1 \\ u_{1} & v_{1} & u_{1} v_{1} & 1 \\ u_{2} & v_{2} & u_{2} v_{2} & 1 \\ u_{3} & v_{3} & u_{3} v_{3} & 1 \end{matrix}],

则

\{\begin{matrix} A \times K_{X} = X \\ A \times K_{Y} = Y \end{matrix};

其中，K_X和K_Y为畸变系数，分别表示为

K_{X} = [\begin{matrix} k_{x 0} \\ k_{x 1} \\ k_{x 2} \\ k_{x 3} \end{matrix}], K_{Y} = [\begin{matrix} k_{y 0} \\ k_{y 1} \\ k_{y 2} \\ k_{y 3} \end{matrix}] .

在步骤3）中，设无畸变的网格A的顶点坐标为(u'_n,v'_n)，根据光路的可逆性原理，得到：

\{\begin{matrix} x_{n}^{'} = u_{n}^{'} k_{x 0} + v_{n}^{'} k_{x 1} + u_{n}^{'} v_{n}^{'} k_{x 2} + 1 \cdot k_{x 3} \\ y_{n}^{'} = u_{n}^{'} k_{y 0} + v_{n}^{'} k_{y 1} + u_{n}^{'} v_{n}^{'} k_{y 2} + 1 \cdot k_{y 3} \end{matrix}, (n = 0,1,2, \cdot \cdot \cdot)

其中，(x'_n,y'_n)畸变网格A′的顶点坐标。

本发明还提供了一种测量和校正虚拟现实显示器畸变的装置，所述的虚拟现实显示器包括光学***和像源，所述的装置包括光学***畸变测量模块和预畸变图像生成模块；

所述的***畸变测量模块用于测量光学***的畸变系数；

所述的预畸变图像生成模块根据所述的畸变系数将待投影图像转换为预畸变图像；

其中，所述的***畸变测量模块包括：

分划板，位于光学***的物面位置，且带有无畸变网格；

成像装置，用于采集无畸变网格经光学***所成的像，得到畸变网格像；

图像处理模块，根据畸变网格像中的畸变网格顶点坐标与无畸变网格顶点坐标之间的对应关系，得到畸变系数，并生成坐标查找表；

预畸变图像生成模块包括：

控制***，根据所述的坐标查找表，将待投影图像转换为预畸变图像，

视频信号发生器，用于将所述的预畸变图像送入像源显示。

优选的，成像装置包括相机镜头和CCD传感器。

在本发明的装置中，还包括位于所述光学***物面位置，用于对所述分划板均匀照明的背光源。

所述的控制***分别与背光源、图像处理模块和视频信号发生器连接，该控制***还用于控制背光源。

本发明具有结构简单、快速校正和使用便捷的优点；根据***要求可以实现不同精度的校正；另外，由于是通过对图像源做预先的畸变处理来抵消光学***的畸变，属于电校正，所以光学***在设计时可以尽量满足视场和清晰度等设计指标，而不需要考虑畸变的影响，这给设计者带来极大的方便，使其具有广泛的应用前景。

附图说明

图1是本发明具体实施的***流程图。

图2是本发明实施过程中畸变测量装置示意图。

图3是本发明无畸变的网格分划板示意图

图4是本发明涉及畸变和预畸变算法的示意图。

图5是本发明校正像源畸变的装置示意图。

图6是本发明校正后投影设备的示意图。

图中：1为背光源、2为分划板、3为相机镜头、4为CCD传感器、5、6为数据处理模块、7为控制***、8为像源、9为视频信号发生器、10为光学***。

具体实施方式

为使本发明的结构、特征及优点更加清晰明了，现结合附图对整套装置和方法作进一步详细说明，但不应理解为对本发明保护范围的任务限定。

如图1所示，***流程分为三个部分，第一部分，是光学***畸变测量和预畸变图像查找表生成；第二部分，是像源畸变校正；第三部分，是经过校正后的投影设备。

图2为图1***流程中第一部分的装置示意图。将带有无畸变网格的分划板2置于光学***10物面位置，分划板2的形状如图3所示，由若干个网格组成，***要求的校正精度越高，相同面积上分划的网格数越多，反之亦然。

分划板2经过光学***10和相机镜头3在CCD传感器4上成像，所成像为带有畸变的网格图像，畸变的产生是由光学***10造成的，相机镜头3采用超低畸变的工业相机镜头，所以相机镜头带来的畸变忽略不计。CCD传感器4将采集的图像送入图像处理模块5，经过图像的增强，提取畸变网格图像各个网格顶点坐标并保存。然后将得到的坐标值送入数据处理模块6，计算光学***的畸变系数和预畸变图像的查找表。

结合图4来说明计算光学***的畸变系数和预畸变图像的查找表的过程。取分划板区域中第i行，第j列的一个网格，如图4左侧的实线网格所示，该网格经过光学***后在像面产生畸变，如图4右侧的实线网格所示，(x_n,y_n)和(u_n,v_n)分别为网格上四个顶点的坐标（n=0，1，2，3）。

令

X = [\begin{matrix} x_{0} \\ x_{1} \\ x_{2} \\ x_{3} \end{matrix}]

Y = \begin{matrix}  \end{matrix} [\begin{matrix} y_{0} \\ y_{1} \\ y_{2} \\ y_{3} \end{matrix}]

U = [\begin{matrix} u_{0} \\ u_{1} \\ u_{2} \\ u_{3} \end{matrix}]

V = [\begin{matrix} v_{0} \\ v_{1} \\ v_{2} \\ v_{3} \end{matrix}]

(x₀,y₀)，(x₁,y₁)，(x₂,y₂)和(x₃,y₃)四点为顶点的四边形区域S与(u₀,v₀)，(u₁,v₁)，(u₂,v₂)和(u₃,v₃)四点为顶点的四边形区域S’间存在一个函数关系f满足：

\{\begin{matrix} X = f_{u} (U, V) \\ Y = f_{v} (U, V) \end{matrix}

这样我们认为四边形区域S’内的任意点经过函数f映射之后得到其在四边形区域S内对应点。

下面我们选取比较简单的函数关系f进行详细说明。令

A = [\begin{matrix} u_{0} & v_{0} & u_{0} v_{0} & 1 \\ u_{1} & v_{1} & u_{1} v_{1} & 1 \\ u_{2} & v_{2} & u_{2} v_{2} & 1 \\ u_{3} & v_{3} & u_{3} v_{3} & 1 \end{matrix}]

满足以下关系：

\{\begin{matrix} A \times K_{X} = X \\ A \times K_{Y} = Y \end{matrix}

其中，K_X和K_Y为***的畸变系数，分别表示为

K_{X} = [\begin{matrix} k_{x 0} \\ k_{x 1} \\ k_{x 2} \\ k_{x 3} \end{matrix}], K_{Y} = [\begin{matrix} k_{y 0} \\ k_{y 1} \\ k_{y 2} \\ k_{y 3} \end{matrix}]

可以求出光学***的畸变系数K_X和K_Y，用同样的方法分别算出所有网格对应的畸变系数，将得到的畸变系数返回给控制***7并保存。

下一步，在畸变网格像的区域内划分若干无畸变的网格，网格的个数根据像源8的分辨率决定。假设其中一个无畸变网格位于某一畸变网格内，如图4右侧所示虚线，按照光路可逆的原理，该无畸变网格在光学***的物面对应一个畸变网格，如图4左侧虚线网格所示，(x'_n,y'_n)和(u'_n,v'_n)分别为网格上四个顶点的坐标（n=0，1，2，3）。

由前述的光学***畸变参数K_X和K_Y以及无畸变网格的顶点坐(u'_n,v'_n)，根据光路的可逆性原理，可推出：

\{\begin{matrix} x_{n}^{'} = u_{n}^{'} k_{x 0} + v_{n}^{'} k_{x 1} + u_{n}^{'} v_{n}^{'} k_{x 2} + 1 \cdot k_{x 3} \\ y_{n}^{'} = u_{n}^{'} k_{y 0} + v_{n}^{'} k_{y 1} + u_{n}^{'} v_{n}^{'} k_{y 2} + 1 \cdot k_{y 3} \end{matrix}, (n = 0,1,2, \cdot \cdot \cdot)

用同样的方法，把所有像面上无畸变的网格点在物面上的对应坐标全部算出，将得到的坐标值返回给控制***7，整理后保存为坐标查找表。

图5为***流程图1中校正像源畸变的装置示意图。控制***7按坐标查找表将无畸变图像变换为预畸变图像，并输入像源8显示，经过预畸变的图像能够抵消光学***的畸变，实现畸变校正。但是，由于像源控制电路的设计缺陷或者其他因素的干扰，会造成像源显示的图像和输入像源的图像不一致，即像源不能精确地显示原始的图像信息，因此要校正像源的畸变。

如图5所示，控制***7按坐标查找表将无畸变的图像变换为预畸变图像，并输入像源8显示，像源显示的预畸变图像经过相机镜头3，在CCD传感器4上成像，CCD传感器将采集的图像送入图像处理模块5，对比输入像源的预畸变图像和像源上显示的预畸变图像，调整像源，直到像源显示的预畸变图像与输入像源的预畸变图像一致（两者相差在精度要求范围内），则完成像源畸变的校正。

如图6所示为校正后的投影***示意图，将校正后的像源8置于光学***10的物面，控制***7按坐标查找表将无畸变的图像变换为预畸变图像，并输入像源显示，由于图像是预先经过畸变的处理，所以预畸变图像在经过光学***10成像时将光学***带来了的畸变抵消，则最终所成像为无畸变的图像。

由上述原理可知，光学***畸变的测量和像源畸变的校正只需在***装配前校正一次，校正后，控制***只需按预畸变图像查找表生成预畸变图像输入像源即可，则经光学***投影后为无畸变的图像

基于以上原理的投影***畸变测量和校正装置，具有结构简单，快速校正，使用便捷等优点；根据***要求可以实现不同精度的校正；另外，由于是通过对图像源做预先的畸变处理来抵消光学***的畸变，属于电校正，所以光学***在设计时可以尽量满足视场和清晰度等设计指标，而不需要考虑畸变的影响，这给设计者带来极大的方便，使其具有广泛的应用前景。

Claims

1.一种测量和校正虚拟现实显示器畸变的方法，其特征在于，包括以下步骤：

2.如权利要求1所述的测量和校正虚拟现实显示器畸变的方法，其特征在于，在步骤2）中，设网格的四个顶点坐标为(x₀,y₀)，(x₁,y₁)，(x₂,y₂)和(x₃,y₃)，畸变网格的四个顶点坐标为(u₀,v₀)，(u₁,v₁)，(u₂,v₂)和(u₃,v₃)，建立顶点坐标(x,y)与(u,v)之间的对应关系式：

\{\begin{matrix} X = f_{u} (U, V) \\ Y = f_{v} (U, V) \end{matrix}

令

A = [\begin{matrix} u_{0} & v_{0} & u_{0} v_{0} & 1 \\ u_{1} & v_{1} & u_{1} v_{1} & 1 \\ u_{2} & v_{2} & u_{2} v_{2} & 1 \\ u_{3} & v_{3} & u_{3} v_{3} & 1 \end{matrix}],

则

\{\begin{matrix} A \times K_{X} = X \\ A \times K_{Y} = Y \end{matrix};

其中，K_X和K_Y为畸变系数，分别表示为

K_{X} = [\begin{matrix} k_{x 0} \\ k_{x 1} \\ k_{x 2} \\ k_{x 3} \end{matrix}], K_{Y} = [\begin{matrix} k_{y 0} \\ k_{y 1} \\ k_{y 2} \\ k_{y 3} \end{matrix}] .

3.如权利要求2所述的测量和校正虚拟现实显示器畸变的方法，其特征在于，在步骤3）中，设无畸变的网格A的顶点坐标为(u'_n,v'_n)，根据光路的可逆性原理，得到：

\{\begin{matrix} x_{n}^{'} = u_{n}^{'} k_{x 0} + v_{n}^{'} k_{x 1} + u_{n}^{'} v_{n}^{'} k_{x 2} + 1 \cdot k_{x 3} \\ y_{n}^{'} = u_{n}^{'} k_{y 0} + v_{n}^{'} k_{y 1} + u_{n}^{'} v_{n}^{'} k_{y 2} + 1 \cdot k_{y 3} \end{matrix}, (n = 0,1,2, \cdot \cdot \cdot)

其中，(x'_n,y'_n)畸变网格A′的顶点坐标。

4.一种测量和校正虚拟现实显示器畸变的装置，所述的虚拟现实显示器包括光学***和像源，其特征在于，所述的装置包括光学***畸变测量模块和预畸变图像生成模块；

所述的***畸变测量模块用于测量光学***的畸变系数；

所述的***畸变测量模块包括：

分划板，位于光学***的物面位置，且带有无畸变网格；

预畸变图像生成模块包括：

视频信号发生器，用于将所述的预畸变图像送入像源显示。

5.如权利要求4所述的测量和校正虚拟现实显示器畸变的装置，其特征在于，成像装置包括相机镜头和CCD传感器。

6.如权利要求4所述的测量和校正虚拟现实显示器畸变的装置，其特征在于，还包括位于所述光学***物面位置，用于对所述分划板均匀照明的背光源。

7.如权利要求6所述的测量和校正虚拟现实显示器畸变的装置，其特征在于，所述的控制***分别与背光源、图像处理模块和视频信号发生器连接，该控制***还用于控制背光源。