CN109410140B - 一种畸变校正方法、装置、***及计算机可读存储介质 - Google Patents

Abstract

本申请提供了一种畸变校正方法、装置、***及计算机可读存储介质，用于校正显示设备显示的图像，所述显示设备包括显示屏以及位于所述显示屏出光侧的光学元件，其中畸变校正方法通过对获取得到的第二畸变图像进行第二角点检测和判断，将不满足预设条件的第二角点，也就是使第二畸变图像的畸变度大于第一预设阈值的第二角点对应的第一角点进行调整，确定第一角点调整后的第一畸变图像为显示屏显示的畸变校正图像，从而完成对显示设备显示图像的校正，提升用户的观看体验。

Description

一种畸变校正方法、装置、***及计算机可读存储介质

技术领域

本发明涉及显示技术领域，特别是涉及一种畸变校正方法、装置、***及计算机可读存储介质。

背景技术

为了让用户在视觉上拥有真实的沉浸感，VR畸变校正***就要尽可能的覆盖人眼的视觉范围。为获得大的视场角，可以通过一个大的弯曲的球形显示器放到VR设备中来实现，但是这种方法即笨重又昂贵。另一种轻便，便宜的解决方案是通过在一个小的矩形显示屏幕前增加一个透镜，然后通过透镜来看这个显示屏幕，从而获得更大的视角，目前主流的VR设备都是选用的这种方法。

但是，利用透镜将正常的图像投射到人眼中时，观察到的图像是扭曲畸变的，人眼就没有办法获得虚拟空间中的定位，因为四周都是扭曲畸变的图像。而且，虚拟显示设备中透镜引起的畸变是不可避免的，随着FOV(视场角)的增大，边缘图像畸变会更加明显。

发明内容

本发明提供及一种畸变校正方法、装置、***及计算机可读存储介质，以对显示设备显示的图像进行校正，提升用户的观看体验。

为了解决上述问题，本发明公开了一种畸变校正方法，用于校正显示设备显示的图像，所述显示设备包括显示屏以及位于所述显示屏出光侧的光学元件，所述畸变校正方法包括：

获取第一畸变图像经过所述光学元件后的第二畸变图像，所述第一畸变图像为所述显示屏显示的图像，所述第一畸变图像具有多个第一角点；

检测所述第二畸变图像上与所述第一角点对应的第二角点；

判断所述第二角点是否满足预设条件，所述预设条件为所述第二畸变图像的畸变度小于或等于第一预设阈值；

调整不满足所述预设条件的第二角点对应的第一角点，将第一角点调整后的第一畸变图像确定为所述显示屏显示的畸变校正图像。

可选地，所述获取第一畸变图像经过所述光学元件后的第二畸变图像的步骤，包括：

接收拍摄单元拍摄的所述第一畸变图像经过所述光学元件后的第三畸变图像；

根据所述拍摄单元的内参，对所述第三畸变图像进行校正，得到所述第二畸变图像。

可选地，所述畸变校正方法还包括：

调整所述拍摄单元的拍摄位置，以得到多个拍摄位置对应的多组所述显示屏显示的畸变校正图像，并对所述多组所述显示屏显示的畸变校正图像中的第一角点的位置坐标进行平均，得到目标畸变校正图像。

可选地，所述判断所述第二角点是否满足预设条件的步骤，包括：

确定所述第二畸变图像的中心点，以及沿所述第二角点的预定排布方向上的基准线；

当沿所述预定排布方向上的任意相邻的两个第二角点之间连线的斜率，与所述基准线的斜率之间的差值大于第二预设阈值时，所述两个第二角点中远离所述中心点的第二角点不满足所述预设条件。

可选地，所述确定所述第二畸变图像的中心点，以及沿所述第二角点的预定排布方向上的基准线的步骤，包括：

确定位于所述第二畸变图像中心的第二角点为所述中心点，沿所述第二角点的预定排布方向上，与所述中心点相邻的第二角点和所述中心点之间的连线为所述预定排布方向上的基准线。

可选地，所述调整不满足所述预设条件的第二角点对应的第一角点的步骤，包括：

确定所述两个第二角点之间的连线相对于所述基准线的偏离方向；

将不满足所述预设条件的第二角点对应的第一角点，向背离所述偏离方向的方向调整，并继续执行所述获取第一畸变图像经过所述光学元件后的第二畸变图像、所述检测所述第二畸变图像上与所述第一角点对应的第二角点以及所述判断所述第二角点是否满足预设条件的步骤，直到所述检测所述第二畸变图像上与所述第一角点对应的第二角点步骤检测得到的第二角点均满足所述预设条件，将第一角点调整后的第一畸变图像确定为所述显示屏显示的畸变校正图像。

可选地，所述第一畸变图像为桶形畸变图像。

为了解决上述问题，本发明还公开了一种畸变校正装置，用于校正显示设备显示的图像，所述显示设备包括显示屏以及位于所述显示屏出光侧的光学元件，所述畸变校正装置包括：

图像获取模块，被配置为获取第一畸变图像经过所述光学元件后的第二畸变图像，所述第一畸变图像为所述显示屏显示的图像，所述第一畸变图像具有多个第一角点；

角点检测模块，被配置为检测所述第二畸变图像上与所述第一角点对应的第二角点；

角点判断模块，被配置为判断所述第二角点是否满足预设条件，所述预设条件为所述第二畸变图像的畸变度小于或等于第一预设阈值；

图像调整模块，被配置为调整不满足所述预设条件的第二角点对应的第一角点，将第一角点调整后的第一畸变图像确定为所述显示屏显示的畸变校正图像。

可选地，所述图像获取模块包括：

接收单元，被配置为接收拍摄单元拍摄的所述第一畸变图像经过所述光学元件后的第三畸变图像；

校正单元，被配置为根据所述拍摄单元的内参，对所述第三畸变图像进行校正，得到所述第二畸变图像。

可选地，所述畸变校正装置还包括：

位置调整模块，被配置为调整所述拍摄单元的拍摄位置，以得到多个拍摄位置对应的多组所述显示屏显示的畸变校正图像，并对所述多组所述显示屏显示的畸变校正图像中的第一角点的位置坐标进行平均，得到目标畸变校正图像。

可选地，所述角点判断模块包括：

基准确定单元，被配置为确定所述第二畸变图像的中心点，以及沿所述第二角点的预定排布方向上的基准线；

直线判断单元，被配置为当沿所述预定排布方向上的任意相邻的两个第二角点之间连线的斜率与所述基准线的斜率之间的差值大于第二预设阈值时，所述两个第二角点中远离所述中心点的第二角点不满足所述预设条件。

可选地，所述基准确定单元，被配置为确定位于所述第二畸变图像中心的第二角点为所述中心点，沿所述第二角点的预定排布方向上，与所述中心点相邻的第二角点和所述中心点之间的连线为所述预定排布方向上的基准线。

可选地，所述图像调整模块包括：

偏离确定单元，被配置为确定所述两个第二角点之间的连线相对于所述基准线的偏离方向；

角点调整单元，被配置为将不满足所述预设条件的第二角点对应的第一角点，向背离所述偏离方向的方向调整，并继续调用所述图像获取模块、所述角点检测模块以及所述角点判断模块，直到所述角点检测模块检测得到的第二角点均满足所述预设条件，将第一角点调整后的第一畸变图像确定为所述显示屏显示的畸变校正图像。

为了解决上述问题，本发明还公开了一种畸变校正***，包括：

显示设备，所述显示设备包括显示屏以及位于所述显示屏出光侧的光学元件；

拍摄单元，位于所述光学元件背离所述显示屏的一侧；

校正平台，用于固定所述显示设备和所述拍摄单元；

控制器，分别与所述显示设备的显示屏以及所述拍摄单元连接，所述控制器包括任一实施例所述的畸变校正装置。

为了解决上述问题，本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现任一实施例所述的畸变校正方法的步骤。

与现有技术相比，本发明包括以下优点：

本申请提供了一种畸变校正方法、装置、***及计算机可读存储介质，其中畸变校正方法用于校正显示设备显示的图像，所述显示设备包括显示屏以及位于所述显示屏出光侧的光学元件，具体包括：获取第一畸变图像经过所述光学元件后的第二畸变图像，所述第一畸变图像为所述显示屏显示的图像，所述第一畸变图像具有多个第一角点；检测所述第二畸变图像上与所述第一角点对应的第二角点；判断所述第二角点是否满足预设条件，所述预设条件为所述第二畸变图像的畸变度小于或等于第一预设阈值；将不满足所述预设条件的第二角点对应的第一角点进行调整，将调整后的第一畸变图像确定为所述显示屏显示的畸变校正图像。通过对获取得到的第二畸变图像进行第二角点检测和判断，将不满足预设条件的第二角点，也就是使第二畸变图像的畸变度大于第一预设阈值的第二角点对应的第一角点进行调整，确定调整后的第一畸变图像为显示屏显示的畸变校正图像，从而完成对显示设备显示图像的校正，提升用户的观看体验。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请一实施例提供的一种畸变校正方法的步骤流程图；

图2a示出了本申请一实施例提供的一种获取第二畸变图像的步骤流程图；

图2b示出了本申请一实施例提供的一种第一畸变图像的示意图；

图2c示出了本申请一实施例提供的一种第三畸变图像的示意图；

图2d示出了本申请一实施例提供的一种第二畸变图像的示意图；

图3示出了本申请一实施例提供的一种判断所述第二角点是否满足预设条件的步骤流程图；

图4示出了本申请一实施例提供的一种调整不满足所述预设条件的第二角点对应的第一角点的步骤流程图；

图5a示出了本申请一实施例提供的第一种偏离方向的示意图；

图5b示出了本申请一实施例提供的第二种偏离方向的示意图；

图5c示出了本申请一实施例提供的第三种偏离方向的示意图；

图5d示出了本申请一实施例提供的第一角点调整方向的示意图；

图6示出了本申请一实施例提供的一种畸变校正装置的结构框图；

图7示出了本申请一实施例提供的一种畸变校正***的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1，本申请一实施例提供了一种畸变校正方法，用于校正显示设备显示的图像，如图7所示，显示设备包括显示屏以及位于显示屏出光侧的光学元件，该畸变校正方法可以包括：

步骤101：获取第一畸变图像经过光学元件后的第二畸变图像，第一畸变图像为显示屏显示的图像，第一畸变图像具有多个第一角点。

具体地，第一畸变图像可以通过公开的校正方法，例如通过zemax模拟软件或线性拟合方法等，根据显示设备的结构预先生成，预先生成的第一畸变图像中的第一角点的位置(如像素坐标等)是已知的。

第一畸变图像还可以是根据光学元件的理论畸变参数生成的理论反畸变图像，例如可以是桶形畸变图像，桶形畸变图像具体可以包括桶形畸变网格或者桶形畸变角点等。当第一畸变图像为桶形畸变网格或者桶形畸变角点时，可以提高畸变校正的效率。

在实际应用中，显示屏显示第一畸变图像，可以通过拍摄单元如摄像头或相机等采集第一畸变图像经过光学元件后的第二畸变图像。

其中，显示设备可以为虚拟现实设备VR等，光学元件可以包括一个或多个透镜等。

步骤102：检测第二畸变图像上与第一角点对应的第二角点。

具体地，由于第一畸变图像上具有多个第一角点，相应的第二畸变图像上包括多个与第一角点对应的第二角点。第二角点的位置检测可以采用开源库如opencv等提供的角度匹配算法进行。第一角点与第二角点之间的对应关系例如可以根据第一角点之间的相对位置以及第二角点之间的相对位置确定。

步骤103：判断第二角点是否满足预设条件，预设条件为第二畸变图像的畸变度小于或等于第一预设阈值。

当第二角点满足预设条件时，第二畸变图像的畸变度小于或等于第一预设阈值。在实际应用中，例如，当第二角点与预设参考点之间的距离小于或等于预设距离，或者第二角点之间的连线与预设基准线之间的夹角小于或等于预设夹角时，可以判定第二角点满足预设条件。其中，畸变度用于表征第二畸变图像的畸变程度，第一预设阈值(如预设距离或预设夹角等)可以由本领域技术人员根据显示设备的结构以及用户需求等实际情况进行设定，本申请对其具体数值不作限定。

具体地，预设条件可以有多种类型，只要确保第二畸变图像的畸变度小于或等于第一预设阈值即可。第二畸变图像的畸变度与第二畸变图像中的第二角点排布的横平竖直程度或直线度成反比。

步骤104：调整不满足预设条件的第二角点对应的第一角点，将第一角点调整后的第一畸变图像确定为显示屏显示的畸变校正图像。

具体地，根据第一角点与第二角点之间的对应关系，确定不满足预设条件的第二角点所对应的第一角点，可以调整该第一角点的位置等，调整后的第一畸变图像可以作为畸变校正图像，以降低第二畸变图像的畸变度。

本实施例提供的畸变校正方法，通过对获取得到的第二畸变图像进行第二角点检测和判断，将不满足预设条件的第二角点，也就是使第二畸变图像的畸变度大于第一预设阈值的第二角点对应的第一角点进行调整，确定调整后的第一畸变图像为显示屏显示的畸变校正图像，从而完成对显示设备显示图像的校正，提升用户的观看体验。

参照图2a，提供了上述实施例步骤101中获取第一畸变图像经过所述光学元件后的第二畸变图像的一种实现方式，具体可以包括：

步骤201：接收拍摄单元拍摄的第一畸变图像经过光学元件后的第三畸变图像。

具体地，第三畸变图像是第一畸变图像经过光学元件以及拍摄单元之后得到的图像，相当于在第一畸变图像上增加了光学元件以及拍摄单元的镜头带来的畸变。

步骤202：根据拍摄单元的内参，对第三畸变图像进行校正，得到第二畸变图像。

具体地，拍摄单元可以是摄像头等具有拍摄功能的设备。在实际应用中，可以根据摄像头的内参，对摄像头拍摄得到的第三畸变图像进行校正，以消除由摄像头镜头在拍摄图像时引起的畸变。其中，拍摄单元如摄像头的内参，可以通过对摄像头进行标定得到，标定方法可以采用张正友法等。

当屏幕上显示的第一畸变图像为桶形畸变网格(参照图2b)时，桶型畸变网格经过光学元件和拍摄单元拍摄得到的第三畸变图像可能为枕形畸变网格(参照图2c)，再根据拍摄单元的内参对第三畸变图像进行校正，可以得到第二畸变图像(参照图2d)。

第一畸变图像为桶形畸变网格时，第一角点为桶形畸变网格中任意两条线的交点，图2b中示出的桶型畸变网格包括5*5个第一角点。相应地，第二畸变图像上包括5*5个第二角点，如图2d所示。第二角点可以通过图像处理的方式，计算第二畸变图像上任意两条线的交点即第二角点的位置(如像素坐标等)，计算方法可以采用开源库(如opencv)提供的角度匹配算法等角点检测方法。

根据检测出的第二角点之间的相对位置以及已知的第一角点之间的相对位置，通过对比可以获得二者的对应关系。例如，可以首先确定四个顶点的对应关系，如图2b中左上角的点1与图2d中左上角的点1’对应，如图2b中右上角的点2与图2d中右上角的点2’对应，如图2b中左下角的点3与图2d中左下角的点3’对应，如图2b中右下角的点4与图2d中右下角的点4’对应，以及如图2b中的中心点0与图2d中的中心点0’对应。然后可以根据其它第一角点与顶点或中心点的相对位置关系，以及其它第二角点与顶点或中心点的相对位置关系进行对应，从而获得每个第二角点与第一角点之间的对应关系。

参照图3，提供了上述实施例步骤103中判断所述第二角点是否满足预设条件的一种实现方式，具体可以包括：

步骤301：确定第二畸变图像的中心点，以及沿第二角点的预定排布方向上的基准线。

具体地，可以确定位于第二畸变图像中心的第二角点为中心点，如图2d所示的第二畸变图像中的0’点为中心点。

预定排布方向可以是第二角点之间多个排布方向中的任意一个，例如点5’、0’和6’排布的方向为水平排布方向，点8’、0’和7’排布的方向为竖直排布方向，点0’、9’和1’排布的方向为对角排布方向等。

可以将沿预定排布方向上，与中心点相邻的第二角点和中心点之间的连线作为预定排布方向上的基准线，如点5’、0’和6’拟合的直线可以作为水平排布方向上的基准线，点8’、0’和7’拟合的直线可以作为竖直排布方向上的基准线等。

步骤302：当沿预定排布方向上的任意相邻的两个第二角点之间连线的斜率与基准线的斜率之间的差值大于第二预设阈值时，两个第二角点中远离中心点的第二角点不满足预设条件。

在实际应用中，例如可以建立以中心点0’点为原点，水平排布方向(5’、0’和6’拟合的直线方向)为横坐标轴，竖直排布方向(8’、0’和7’拟合的直线方向)为纵坐标轴的坐标系。根据第二角点在该坐标系中的坐标可以确定任意相邻的两个第二角点之间连线的斜率以及上述基准线的斜率。例如，当沿水平排布方向上的任意相邻的两个第二角点之间连线的斜率，如点5’和0’，点10’和5’，点11’和8’等相邻角点之间连线的斜率，与水平排布方向上基准线的斜率之差大于第二预设阈值，或者沿水平排布方向上任意相邻的两个第二角点之间的连线，如点5’和0’，点10’和5’，点11’和8’等，当这些角点之间的连线与该排布方向即水平排布方向上基准线的夹角大于第三预设阈值时，两个第二角点中远离中心点的第二角点不满足预设条件。当两个角点为10’和5’时，远离中心点的第二角点为10’；当两个角点为11’和8’时，远离中心点的第二角点为11’。其中，第二预设阈值和第三预设阈值可以由本领域技术人员根据显示设备的结构以及观看体验等实际情况进行确定，本申请对其具体数值不作限定。其中，角点之间的连线与基准线夹角可以根据该连线与基准线的斜率确定。

下面介绍上述步骤301和步骤302在实际应用中的一种具体实施方式：

步骤301S：创建位置点调整标识b_IsMoved[W*H]，W为第二畸变图像中横向节点(第二角点)个数，H为第二畸变图像中纵向节点(第二角点)个数，如图2d所示M＝H＝5。将位置点调整标识的初始值全部设置为-1，即b_IsMoved[i]＝-1，i＝0’，1’，2’……W*H-1’。

步骤302S：利用点5’、0’和6’拟合直线，得到水平排布方向上的基准线，还可以通过建立坐标系计算该基准线的斜率为K_X；利用点8’、0’和7’拟合直线，得到竖直排布方向上的基准线，同样可以计算得到该基准线的斜率为K_Y。此时，设置初始位置点调整标识b_IsMoved[0’]＝1，b_IsMoved[j]＝0，j＝0’，5’，6’，7’，8’。

步骤303S：遍历位置点调整标识b_IsMoved。其中，b_IsMoved[i]＝-1的点是需要进行斜率或夹角判断的点；b_IsMoved[i]＝1的点不需要遍历；b_IsMoved[i]＝0的点是当前需要遍历的点。

由于0’点的b_IsMoved[0’]＝1时，因此0’点不需要遍历。

当某一点m的b_IsMoved[m]＝0时，查看与m点相邻的上下左右四点的b_IsMoved是否等于1，若均等于1，则遍历下一点。若与m点相邻的上下左右四点的b_IsMoved不全等于1，则计算b_IsMoved不等于1的点与m点之间的斜率，或者计算两点之间连线与相应排布方向上的基准线之间的夹角。

例如，当与m点相邻的上方点的b_IsMoved(m_up)≠1时，计算m点与m_up点之间的斜率k_y_up，或m点与m_up点之间连线与竖直排布方向上的基准线之间的夹角θ_up；当与m点相邻的下方点的b_IsMoved(m_down)≠1时，计算m点与m_down点之间的斜率k_y_down，或m点与m_down点之间连线与竖直排布方向上的基准线之间的夹角θ_down；当与m点相邻的右方点的b_IsMoved(m_right)≠1时，计算m点与m_right点之间的斜率k_x_right，或m点与m_right点之间连线与水平排布方向上的基准线之间的夹角θ_right；当与m点相邻的左方点的b_IsMoved(m_left)≠1时，计算m点与m_left点之间的斜率k_x_left，或m点与m_left点之间连线与相应排布方向上的基准线之间的夹角θ_left。

如图2d所示，点5’的b_IsMoved[5’]＝0，是当前需要遍历的点，与点5’相邻的点b_IsMoved值分别为：b_IsMoved[0’]＝1，b_IsMoved[9’]＝-1，b_IsMoved[10’]＝-1，b_IsMoved[11’]＝-1。由于0’点b_IsMoved值＝1，因此不需要进行斜率或夹角判断。

可以计算5’与9’之间的斜率k_y_up，5’点与11’点之间的斜率k_y_down；以及5’点与10’点之间的斜率k_x_left。然后分别判断k_y_up或者k_y_down是否在K_Y±R范围内，k_x_left是否在K_X±R范围内；若是，设置b_IsMoved[5’]＝1，b_IsMoved[9’]＝0，b_IsMoved[10’]＝0，b_IsMoved[11’]＝0，并继续遍历下一点；若否，则对应点(如9’、10’或11’)不满足预设条件，与之对应的第一角点需要调整。其中R可取0.1，0.2等，具体根据实际情况设定，本申请对其具体数值不作限定。

还可以计算5’与9’之间的连线与竖直排布方向的基准线之间的夹角θ_up，5’点与11’点之间的连线与竖直排布方向的基准线之间的夹角θ_down，以及5’点与10’点之间的连线与水平排布方向的基准线之间的夹角θ_left。然后判断θ_down、θ_up或θ_left是否小于或等于第三预设阈值θth；若是，设置b_IsMoved[5’]＝1，b_IsMoved[9’]＝0，b_IsMoved[10’]＝0，b_IsMoved[11’]＝0，并继续遍历下一点；若否，则相应点(如9’、10’或11’)不满足预设条件，与之对应的第一角点需要调整。

本实现方式中，参照图4，上述实施例中步骤104具体可以包括：

步骤401：确定出两个第二角点之间的连线相对于基准线的偏离方向。

具体地，参照图2d，当9’点不满足预设条件时，假设5’与9’之间的连线相对于竖直排布方向上的基准线y的偏离方向为顺时针偏转，如图5a所示。当11’点不满足预设条件时，假设5’与11’之间的连线相对于竖直排布方向上的基准线y的偏离方向为逆时针偏转，如图5b所示。当10’点不满足预设条件时，假设5’与10’之间的连线相对于水平排布方向上的基准线x的偏离方向为顺时针偏转，如图5c所示。

步骤402：将不满足预设条件的第二角点对应的第一角点，向背离偏离方向的方向调整，将第一角点调整后的第一畸变图像确定为显示屏显示的畸变校正图像。

例如，参照图5a，当9’点不满足预设条件，且5’与9’之间的连线相对于竖直排布方向上的基准线y的偏离方向为顺时针方向，此时可以将第二角点9’对应的第一角点向逆时针方向调整，以使调整后的第二角点5’与9’之间的连线靠近竖直排布方向上的基准线，从而降低第二畸变图像的畸变度。

具体地，将不满足预设条件的第二角点(如9’、10’或11’)对应的第一角点，向背离偏离方向的方向调整后，还可以继续执行步骤101、步骤102以及步骤103，直到步骤102检测得到的第二角点均满足预设条件，将调整后的第一畸变图像确定为显示屏显示的畸变校正图像，并对该畸变校正图像进行输出和保存。在显示屏上显示该畸变校正图像，可以确保第二畸变图像的畸变度小于或等于第一预设阈值，用户在观看显示设备时看到的图像基本是没有扭曲畸变的。

调整结束后，可以设置b_IsMoved[5’]＝1，b_IsMoved[9’]＝0，b_IsMoved[10’]＝0，b_IsMoved[11’]＝0。使点5’不再调整，点9’、10’、11’成为下次的遍历点。

需要说明的是，如果遍历的点没有上下左右相邻的点，如点1’，则只需计算与该点相邻的点即可，只要计算1’点的右点和下点即可。

另外，对不符合预设条件的第二角点对应的第一角点进行调整的方式不仅限于在上下左右的方向上调整，还可以沿着该点与中心点连线的方向上进行移动，如图5d所示。

为了减少校正误差，提高校正的准确度，本申请另一实施例提供了一种畸变校正方法，在上述各实施例的基础上还可以包括：

调整拍摄单元的拍摄位置，以得到多个拍摄位置对应的多组显示屏显示的畸变校正图像，并对多组所述显示屏显示的畸变校正图像中的第一角点的位置坐标进行平均，得到目标畸变校正图像。

当第一畸变图像为桶形畸变网格时，通过多次调整拍摄单元如摄像头的位置，并执行上述步骤101至104，可以获得多组畸变校正网格，再对多组畸变校正网格上的第一角点位置(如像素坐标等)求取平均值，得到目标畸变校正图像。在显示屏上显示该目标畸变校正图像时，可以确保用户在观看显示设备时看到的第二畸变图像上的网格均是直线。

本申请另一实施例中，还提供了一种畸变校正装置，用于校正显示设备显示的图像，显示设备包括显示屏以及位于显示屏出光侧的光学元件，参照图6，畸变校正装置可以包括：

图像获取模块601，被配置为获取第一畸变图像经过光学元件后的第二畸变图像，第一畸变图像为显示屏显示的图像，第一畸变图像具有多个第一角点。

具体的，第一畸变图像可以通过公开的校正方法，例如通过zemax模拟软件或线性拟合方法等，根据显示设备的结构预先生成，预先生成的第一畸变图像中的第一角点的位置(如像素坐标等)是已知的。

第一畸变图像还可以是根据光学元件的理论畸变参数生成的理论反畸变图像，例如可以是桶形畸变图像，桶形畸变图像具体可以包括桶形畸变网格或者桶形畸变角点等。当第一畸变图像为桶形畸变网格或者桶形畸变角点时，可以提高畸变校正的效率。

在实际应用中，显示屏显示第一畸变图像，图像获取模块601可以通过拍摄单元如摄像头或相机等采集第一畸变图像经过光学元件后的第二畸变图像。

其中，显示设备可以为虚拟现实设备VR等，光学元件可以包括一个或多个透镜以及凹面镜等。

角点检测模块602，被配置为检测第二畸变图像上与第一角点对应的第二角点。

由于第一畸变图像上具有多个第一角点，相应的第二畸变图像上包括多个与第一角点对应的第二角点。角点检测模块602对第二角点的位置检测可以采用开源库如opencv等提供的角度匹配算法进行。第一角点与第二角点之间的对应关系例如可以根据第一角点之间的相对位置以及第二角点之间的相对位置确定。

角点判断模块603，被配置为判断第二角点是否满足预设条件，预设条件为第二畸变图像的畸变度小于或等于第一预设阈值。

当第二角点满足预设条件时，第二畸变图像的畸变度小于或等于第一预设阈值。在实际应用中，例如，当第二角点与预设参考点之间的距离小于或等于预设距离，或者第二角点之间的连线与预设基准线之间的夹角小于或等于预设夹角时，可以判定第二角点满足预设条件。其中，畸变度用于表征第二畸变图像的畸变程度，第一预设阈值(如预设距离或预设夹角等)可以由本领域技术人员根据显示设备的结构以及用户需求等实际情况进行设定，本申请对其具体数值不作限定。

具体地，预设条件可以有多种类型，只要确保第二畸变图像的畸变度小于或等于第一预设阈值即可。第二畸变图像的畸变度与第二畸变图像中的第二角点排布的横平竖直程度或直线度成反比。

图像调整模块604，被配置为调整不满足预设条件的第二角点对应的第一角点，将第一角点调整后的第一畸变图像确定为显示屏显示的畸变校正图像。

具体地，根据第一角点与第二角点之间的对应关系，确定不满足预设条件的第二角点所对应的第一角点，图像调整模块604可以调整该第一角点的位置等，调整后的第一畸变图像可以作为畸变校正图像，以降低第二畸变图像的畸变度。

一种实现方式中，图像获取模块601可以包括：

接收单元6011，被配置为接收拍摄单元拍摄的第一畸变图像经过光学元件后的第三畸变图像。

校正单元6012，被配置为根据拍摄单元的内参，对第三畸变图像进行校正，得到第二畸变图像。

一种实现方式中，角点判断模块603可以包括：

基准确定单元6031，被配置为确定第二畸变图像的中心点，以及沿第二角点的预定排布方向上的基准线。

在实际应用中，基准确定单元6031，具体被配置为确定位于第二畸变图像中心的第二角点为中心点，沿第二角点的预定排布方向上，与中心点相邻的第二角点和中心点之间的连线为预定排布方向上的基准线。

直线判断单元6032，被配置为当沿预定排布方向上的任意相邻的两个第二角点之间连线的斜率与基准线的斜率之间的差值大于第二预设阈值时，两个第二角点中远离中心点的第二角点不满足预设条件。

本实现方式中，图像调整模块604可以包括：

偏离确定单元6041，被配置为确定两个第二角点之间的连线相对于基准线的偏离方向。

角点调整单元6042，被配置为将不满足预设条件的第二角点对应的第一角点，向背离偏离方向的方向调整，并继续调用图像获取模块、角点检测模块以及角点判断模块，直到角点检测模块检测得到的第二角点均满足预设条件，将第一角点调整后的第一畸变图像确定为显示屏显示的畸变校正图像。

为了减少校正误差，提高校正的准确度，上述实施例中的畸变校正装置还可以包括：

位置调整模块605，被配置为调整拍摄单元的拍摄位置，以得到多个拍摄位置对应的多组显示屏显示的畸变校正图像，并对多组所述显示屏显示的畸变校正图像中的第一角点的位置坐标进行平均，得到目标畸变校正图像。

为了提高校正效率，上述实施例中的第一畸变图像可以为桶形畸变图像。

本实施例提供的畸变校正装置，可以实现上述畸变校正方法实施例的各个过程和效果，为避免重复，这里不再赘述。

本申请另一实施例还提供了一种畸变校正***，参照图7，可以包括：

显示设备71，包括显示屏711以及位于显示屏711出光侧的光学元件712；拍摄单元72，位于光学元件712背离显示屏711的一侧；校正平台73，用于固定显示设备71和拍摄单元72；控制器74，分别与显示设备71的显示屏711以及拍摄单元72连接，控制器74包括上述任一实施例所述的畸变校正装置。

其中，校正平台可以包括基板731、显示设备固定装置732和拍摄单元固定装置733。

控制器74可以为PC电脑等；显示设备可以为待校正VR设备等；拍摄单元可以为摄像头等。具体的，PC电脑连接待校正VR设备以控制待校正VR设备的显示内容，与摄像头连接以接收摄像头拍摄的图像。

待校正VR设备显示的内容可由控制器74控制，摄像头用于拍摄待校正VR设备显示的图像并发送至控制器74。校正平台73用于固定待校正VR设备和摄像头，校正过程中需尽量确保摄像头中心，光学元件中心和显示屏中心在一条直线上。

本申请另一实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现本发明实施例中所述的任一种畸变校正方法的步骤。

本申请实施例提供了一种畸变校正方法、装置、***及计算机可读存储介质，其中畸变校正方法用于校正显示设备显示的图像，所述显示设备包括显示屏以及位于所述显示屏出光侧的光学元件，具体包括：获取第一畸变图像经过所述光学元件后的第二畸变图像，所述第一畸变图像为所述显示屏显示的图像，所述第一畸变图像具有多个第一角点；检测所述第二畸变图像上与所述第一角点对应的第二角点；判断所述第二角点是否满足预设条件，所述预设条件为所述第二畸变图像的畸变度小于或等于第一预设阈值；将不满足所述预设条件的第二角点对应的第一角点进行调整，将调整后的第一畸变图像确定为所述显示屏显示的畸变校正图像。通过对获取得到的第二畸变图像进行第二角点检测和判断，将不满足预设条件的第二角点，也就是使第二畸变图像的畸变度大于第一预设阈值的第二角点对应的第一角点进行调整，确定调整后的第一畸变图像为显示屏显示的畸变校正图像，从而完成对显示设备显示图像的校正，提升用户的观看体验。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种畸变校正方法、装置、***及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (13)

1.一种畸变校正方法，其特征在于，用于校正显示设备显示的图像，所述显示设备包括显示屏以及位于所述显示屏出光侧的光学元件，所述畸变校正方法包括：

获取第一畸变图像经过所述光学元件后的第二畸变图像，所述第一畸变图像为所述显示屏显示的图像，所述第一畸变图像具有多个第一角点；

检测所述第二畸变图像上与所述第一角点对应的第二角点；

判断所述第二角点是否满足预设条件，所述预设条件为所述第二畸变图像的畸变度小于或等于第一预设阈值；

调整不满足所述预设条件的第二角点对应的第一角点，将第一角点调整后的第一畸变图像确定为所述显示屏显示的畸变校正图像；

其中，所述获取第一畸变图像经过所述光学元件后的第二畸变图像的步骤，包括：

接收拍摄单元拍摄的所述第一畸变图像经过所述光学元件后的第三畸变图像；

根据所述拍摄单元的内参，对所述第三畸变图像进行校正，得到所述第二畸变图像。

2.根据权利要求1所述的畸变校正方法，其特征在于，所述畸变校正方法还包括：

调整所述拍摄单元的拍摄位置，以得到多个拍摄位置对应的多组所述显示屏显示的畸变校正图像，并对所述多组所述显示屏显示的畸变校正图像中的第一角点的位置坐标进行平均，得到目标畸变校正图像。

3.根据权利要求1所述的畸变校正方法，其特征在于，所述判断所述第二角点是否满足预设条件的步骤，包括：

确定所述第二畸变图像的中心点，以及沿所述第二角点的预定排布方向上的基准线；

当沿所述预定排布方向上的任意相邻的两个第二角点之间连线的斜率，与所述基准线的斜率之间的差值大于第二预设阈值时，所述两个第二角点中远离所述中心点的第二角点不满足所述预设条件。

4.根据权利要求3所述的畸变校正方法，其特征在于，所述确定所述第二畸变图像的中心点，以及沿所述第二角点的预定排布方向上的基准线的步骤，包括：

确定位于所述第二畸变图像中心的第二角点为所述中心点，沿所述第二角点的预定排布方向上，与所述中心点相邻的第二角点和所述中心点之间的连线为所述预定排布方向上的基准线。

5.根据权利要求3所述的畸变校正方法，其特征在于，所述调整不满足所述预设条件的第二角点对应的第一角点的步骤，包括：

确定所述两个第二角点之间的连线相对于所述基准线的偏离方向；

将不满足所述预设条件的第二角点对应的第一角点，向背离所述偏离方向的方向调整，并继续执行所述获取第一畸变图像经过所述光学元件后的第二畸变图像、所述检测所述第二畸变图像上与所述第一角点对应的第二角点以及所述判断所述第二角点是否满足预设条件的步骤，直到所述检测所述第二畸变图像上与所述第一角点对应的第二角点步骤检测得到的第二角点均满足所述预设条件，将第一角点调整后的第一畸变图像确定为所述显示屏显示的畸变校正图像。

6.根据权利要求1至5任一项所述的畸变校正方法，其特征在于，所述第一畸变图像为桶形畸变图像。

7.一种畸变校正装置，其特征在于，用于校正显示设备显示的图像，所述显示设备包括显示屏以及位于所述显示屏出光侧的光学元件，所述畸变校正装置包括：

图像获取模块，被配置为获取第一畸变图像经过所述光学元件后的第二畸变图像，所述第一畸变图像为所述显示屏显示的图像，所述第一畸变图像具有多个第一角点；

角点检测模块，被配置为检测所述第二畸变图像上与所述第一角点对应的第二角点；

角点判断模块，被配置为判断所述第二角点是否满足预设条件，所述预设条件为所述第二畸变图像的畸变度小于或等于第一预设阈值；

图像调整模块，被配置为调整不满足所述预设条件的第二角点对应的第一角点，将第一角点调整后的第一畸变图像确定为所述显示屏显示的畸变校正图像；

其中，所述图像获取模块包括：

接收单元，被配置为接收拍摄单元拍摄的所述第一畸变图像经过所述光学元件后的第三畸变图像；

校正单元，被配置为根据所述拍摄单元的内参，对所述第三畸变图像进行校正，得到所述第二畸变图像。

8.根据权利要求7所述的畸变校正装置，其特征在于，所述畸变校正装置还包括：

位置调整模块，被配置为调整所述拍摄单元的拍摄位置，以得到多个拍摄位置对应的多组所述显示屏显示的畸变校正图像，并对所述多组所述显示屏显示的畸变校正图像中的第一角点的位置坐标进行平均，得到目标畸变校正图像。

9.根据权利要求7所述的畸变校正装置，其特征在于，所述角点判断模块包括：

基准确定单元，被配置为确定所述第二畸变图像的中心点，以及沿所述第二角点的预定排布方向上的基准线；

直线判断单元，被配置为当沿所述预定排布方向上的任意相邻的两个第二角点之间连线的斜率与所述基准线的斜率之间的差值大于第二预设阈值时，所述两个第二角点中远离所述中心点的第二角点不满足所述预设条件。

10.根据权利要求9所述的畸变校正装置，其特征在于，所述基准确定单元，被配置为确定位于所述第二畸变图像中心的第二角点为所述中心点，沿所述第二角点的预定排布方向上，与所述中心点相邻的第二角点和所述中心点之间的连线为所述预定排布方向上的基准线。

11.根据权利要求9所述的畸变校正装置，其特征在于，所述图像调整模块包括：

偏离确定单元，被配置为确定所述两个第二角点之间的连线相对于所述基准线的偏离方向；

角点调整单元，被配置为将不满足所述预设条件的第二角点对应的第一角点，向背离所述偏离方向的方向调整，并继续调用所述图像获取模块、所述角点检测模块以及所述角点判断模块，直到所述角点检测模块检测得到的第二角点均满足所述预设条件，将第一角点调整后的第一畸变图像确定为所述显示屏显示的畸变校正图像。

12.一种畸变校正***，其特征在于，包括：

显示设备，所述显示设备包括显示屏以及位于所述显示屏出光侧的光学元件；

拍摄单元，位于所述光学元件背离所述显示屏的一侧；

校正平台，用于固定所述显示设备和所述拍摄单元；

控制器，分别与所述显示设备的显示屏以及所述拍摄单元连接，所述控制器包括权利要求7至11任一项所述的畸变校正装置。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现权利要求1至6任一项所述的畸变校正方法的步骤。

Images