CN112689135B

CN112689135B - 投影校正方法、装置、存储介质及电子设备

Info

Publication number: CN112689135B
Application number: CN202110297235.1A
Authority: CN
Inventors: 孙世攀; 张聪; 胡震宇
Original assignee: Shenzhen Huole Science and Technology Development Co Ltd
Current assignee: Shenzhen Huole Science and Technology Development Co Ltd
Priority date: 2021-03-19
Filing date: 2021-03-19
Publication date: 2021-07-02
Anticipated expiration: 2041-03-19
Also published as: CN112689135A; WO2022193559A1

Abstract

本公开涉及一种投影校正方法、装置、存储介质及电子设备，涉及投影技术领域，该方法包括：通过摄像头采集投影仪投射的预设图像，得到拍摄图像；在该拍摄图像中确定目标特征点，并针对每一目标特征点，确定该目标特征点在所述摄像头的拍摄空间中的深度信息，以得到该目标特征点的三维坐标；进而根据所有目标特征点的三维坐标，确定由所有目标特征点构建的拟合平面的法向量，并根据法向量和投影仪的当前位姿信息来对投影仪的原始图像进行校正。本公开的有益效果是：通过一个摄像头即可实现投影梯形校正，不仅减少了器件的设置数量，同时可以快速计算出目标特征点的深度信息，降低了计算目标特征点的三维坐标的复杂度。

Description

投影校正方法、装置、存储介质及电子设备

技术领域

本公开涉及投影技术领域，具体地，涉及一种投影校正方法、装置、存储介质及电子设备。

背景技术

投影仪是一种通过光学投影将图像投影到墙壁或者投影幕布的设备。在传统的投影仪中，投影仪需要正对墙面，才能保证投影出来的画面是一个正常的矩形。一旦投影仪摆放不当，将会使投影出来的画面发生变形。

目前，在投影仪的梯形校正技术中，主要是以双目校正为主，然而双目校正需要用到两个摄像头或者需要距离传感器来配合摄像头，而额外的摄像头或者距离传感器，对于投影仪来说会增加硬件成本，且标定的参数较多。

发明内容

为了克服相关技术中存在的问题，本公开提供一种投影校正方法、装置、存储介质及电子设备。

为了实现上述目的，第一方面，本公开提供一种投影校正方法，所述方法包括：

响应于接收到的校正指令，控制投影仪向投影平面投射预设图像；

通过所述投影仪的摄像头拍摄所述投影仪投射出的所述预设图像，得到拍摄图像；

在所述拍摄图像中，识别出所述预设图像的目标特征点；

针对每一所述目标特征点，根据针对该目标特征点预先标定的映射关系和该目标特征点在所述拍摄图像上的相机坐标，确定该目标特征点在所述摄像头的拍摄空间中的深度信息，以得到该目标特征点在所述投影仪的投影空间中的三维坐标，其中，所述映射关系是在不同深度下标定的目标特征点的深度信息与相机坐标的偏移量之间的关联关系；

根据各个所述目标特征点的三维坐标，确定所述投影平面相对于所述投影仪的法向量；

根据所述投影平面的法向量以及所述投影仪的当前位姿信息，对所述投影仪的原始图像的二维顶点坐标进行校正，得到校正后的原始图像的二维顶点坐标；

控制所述投影仪根据所述校正后的原始图像的二维顶点坐标进行投影。

可选地，所述预设图像为棋盘格图像；所述识别出所述预设图像的目标特征点，包括：

采用角点检测算法确定所述棋盘格图像中的初始特征点；

分别按照竖直方向和水平方向，对处于同一预设区域范围内的初始特征点进行直线拟合；

将拟合得到的任意一条处于竖直方向上的直线与任意一条处于水平方向上的直线之间的交点作为所述目标特征点。

可选地，所述针对每一所述目标特征点，根据针对该目标特征点预先标定的映射关系和该目标特征点在所述拍摄图像上的相机坐标，确定该目标特征点在所述摄像头的拍摄空间中的深度信息，包括：

针对每一所述目标特征点，根据针对该目标特征点预先标定的映射关系和该目标特征点在所述拍摄图像上的相机坐标，计算得到该目标特征点在所述摄像头的拍摄空间中的深度信息，其中，所述映射关系为：

其中，h为该目标特征点的深度信息，

为该目标特征点的第一预设标定参数，

为目标特征点的第二预设标定参数，X为该目标特征点的相机坐标，其中，所述第一预设标定参数、所述第二预设标定参数均为常数。

可选地，针对每一所述目标特征点，该目标特征点的第一预设标定参数和第二预设标定参数是通过如下方式得到的：

在所述投影仪距离投影平面第一距离，且所述投影仪的投影光线垂直于所述投影平面的情况下，向所述投影平面投射预设图像，并通过所述投影仪的摄像头拍摄所述预设图像，得到第一图像；

基于所述第一图像以及所述第一距离，确定所述第一图像上的目标特征点的第一相机坐标和第一深度信息；

在所述投影仪距离所述投影平面第二距离，且所述投影仪的投影光线垂直于所述投影平面的情况下，向所述投影平面投射预设图像，并通过所述投影仪的摄像头拍摄所述预设图像，得到第二图像；

根据所述第二图像以及所述第二距离，确定所述预设图像上的目标特征点的第二相机坐标和第二深度信息；

根据所述第一相机坐标和第一深度信息、以及所述第二相机坐标和第二深度信息，结合预先建立的目标特征点的深度信息与相机坐标之间的映射关系，得到所述第一预设标定参数和所述第二预设标定参数，其中，所述映射关系为：

其中，h为目标特征点的深度坐标，X为相机坐标，

为第一预设标定参数，

为第二预设标定参数。

可选地，所述根据所述投影平面的法向量以及所述投影仪的当前位姿信息，对所述投影仪的原始图像的二维顶点坐标进行校正，得到校正后的原始图像的二维顶点坐标，包括：

根据所述投影平面的法向量以及所述投影仪的当前位姿信息，计算得到所述投影仪法向量的偏移信息，其中，所述偏移信息包括偏航角、俯仰角以及滚转角；

基于所述偏移信息，计算得到所述投影仪投射至所述投影平面的投影图像的二维顶点坐标；

基于所述投影图像的二维顶点坐标以及所述投影仪的原始图像的二维顶点坐标，建立所述投影图像与所述原始图像的单应矩阵关系；

从所述投影仪的投影图像中选取目标矩形，并确定该目标矩形的二维顶点坐标；

基于所述目标矩形的二维顶点坐标，结合所述单应矩阵关系，得到所述校正后的原始图像的二维顶点坐标。

可选地，所述从所述投影仪的投影图像中选取目标矩形，包括：

从所述投影图像的任一边上任意选取一点，并以该点作为待构建的矩形的顶点、以所述原始图像的宽高比作为所述待构建的矩形的宽高比，在所述投影图像的区域内生成矩形；

从生成的矩形中选取面积最大的矩形作为所述目标矩形。

第二方面，本公开提供一种投影校正装置，所述装置包括：

响应模块，配置为响应于接收到的校正指令，控制投影仪向投影平面投射预设图像；

拍摄模块，配置为通过所述投影仪的摄像头拍摄所述投影仪投射出的所述预设图像，得到拍摄图像；

目标特征点确定模块，配置为在所述拍摄图像中，识别出所述预设图像的目标特征点；

三维坐标确定模块，配置为针对每一所述目标特征点，根据针对该目标特征点预先标定的映射关系和该目标特征点在所述拍摄图像上的相机坐标，确定该目标特征点在所述摄像头的拍摄空间中的深度信息，以得到该目标特征点在所述投影仪的投影空间中的三维坐标，其中，所述映射关系是在不同深度下标定的目标特征点的深度信息与相机坐标的偏移量之间的关联关系；

法向量模块，配置为根据各个所述目标特征点的三维坐标，确定所述投影平面相对于所述投影仪的法向量；

校正模块，配置为根据所述投影平面的法向量以及所述投影仪的当前位姿信息，对所述投影仪的原始图像的二维顶点坐标进行校正，得到校正后的原始图像的二维顶点坐标；

投影模块，控制所述投影仪根据所述校正后的原始图像的二维顶点坐标进行投影。

可选地，所述预设图像为棋盘格图像，所述响应模块包括：

指令响应子模块，配置为采用角点检测算法确定所述棋盘格图像中的初始特征点；

直线拟合子模块，配置为分别按照竖直方向和水平方向，对处于同一预设区域范围内的初始特征点进行直线拟合；

特征点确定子模块，配置为将拟合得到的任意一条处于竖直方向上的直线与任意一条处于水平方向上的直线之间的交点作为所述目标特征点。

第三方面，本公开提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理装置执行时实现上述第一方面提供的所述方法的步骤。

第四方面，本公开提供一种电子设备，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现上述第一方面提供的所述方法的步骤。

通过上述技术方案，响应于接收到的校正指令，通过摄像头采集投影仪投射的预设图像，得到拍摄图像；在该拍摄图像中确定目标特征点，并针对每一目标特征点，根据针对该目标特征点预先标定的映射关系和该目标特征点在所述拍摄图像上的相机坐标，确定该目标特征点在所述摄像头的拍摄空间中的深度信息，以得到该目标特征点的三维坐标；进而根据所有目标特征点的三维坐标，确定投影平面的法向量，并根据该法向量和投影仪的当前位姿信息来对投影仪的原始图像二维顶点坐标进行校正。这样，通过一个摄像头即可实现投影梯形校正，不仅减少了器件的设置数量，同时也通过预先标定的映射关系，可以快速计算出目标特征点的深度信息，降低了计算目标特征点的三维坐标的复杂度，进一步地，提高了校正效率。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：

图1是根据一示例性实施例示出的一种投影校正方法的流程图；

图2是一示例性实施例示出的识别目标特征点的流程示意图；

图3是根据一示例性实施例示出的映射关系的数学建模示意图；

图4是根据一示例性实施例示出的一种投影校正方法的另一流程图；

图5是根据一示例性实施例示出的计算标准图像的三维成像顶点坐标的原理示意图；

图6是根据一示例性实施例示出的向量分解的原理示意图；

图7是根据一示例性实施例示出的一种投影校正装置的框图；

图8是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

图1是根据一示例性实施例示出的一种投影校正方法的流程图。该投影校正方法可以应用于如投影仪等电子设备，如图1所示，该投影校正方法包括如下步骤：

S101，响应于接收到的校正指令，控制投影仪向投影平面投射预设图像。

这里，预设图像是指投射至投影平面的图像，一般地，本实施例预设图像可以采用棋盘格图像。其中，该投影平面指的是墙面或幕布等用于展示投影仪的输出图像的区域。应当理解的是，在投影仪垂直于墙面或幕布时，预设图像是标准的矩形图像，此时棋盘格图不是畸变的，而在投影仪与墙面或幕布不垂直时，投影图像是非矩形图像，此时棋盘格图是畸变的。

在一些实施例中，校正指令可以是自动触发的，也可以是非自动触发的。例如，若是自动触发的，在投影仪自检测到投影图像为非矩形图像的情况下，投影仪可以自动触发一个校正指令；若是非自动触发的，用户可以按下与投影仪通信连接的控制器的按钮，以此，来触发控制器发送一个校正指令至投影仪，该按钮可以是虚拟按钮，也可以是实体按钮。本实施例对此不作限定。

S102，通过所述投影仪的摄像头拍摄所述投影仪投射出的所述预设图像，得到拍摄图像。

这里，投影仪向投影平面投射预设图像之后，利用摄像头对该预设图像进行拍摄，得到拍摄图像，以根据该拍摄图像对投影仪投影的墙面或幕布进行建模，得到墙面或幕布的三维信息。

S103，在所述拍摄图像中，识别出所述预设图像的目标特征点。

这里，目标特征点是在预设图像上设置的用于对墙面或幕布进行建模的特征点，该特征点可以根据实际情况设定其形式或数量。例如，在预设图像为棋盘格图像时，预设图像中的目标特征点是指该预设图像中黑白格之间的交点。

S104，针对每一所述目标特征点，根据针对该目标特征点预先标定的映射关系和该目标特征点在所述拍摄图像上的相机坐标，确定该目标特征点在所述摄像头的拍摄空间中的深度信息，以得到该目标特征点在所述投影仪的投影空间中的三维坐标，其中，所述映射关系是在不同深度下标定的目标特征点的深度信息与相机坐标的偏移量之间的关联关系。

这里，由于预先在不同深度下标定的目标特征点的深度信息与相机坐标的偏移量之间的关联关系，因此，在拍摄图像中确定到目标特征点的相机坐标后，可以基于该相机坐标以及该映射关系计算得到目标特征点的深度。其中，该深度信息指的是投射在投影平面上的预设图像的目标特征点相对于摄像头的深度。例如，分别在1.2m和1.9m的深度下对投影仪投影的预设图像进行拍摄，确定目标特征点在1.2m和1.9m下的相机坐标，从而计算出同一目标特征点的深度信息与相机坐标之间的关联关系。

值得说明的是，在计算得到目标特征坐标点的相机坐标以及深度信息之后，根据该相机坐标以及该深度信息可以确定到目标特征点在空间中的深度信息。其中，深度信息是目标特征点的三维坐标中的Z轴坐标。拍摄图像上的目标特征点的三维坐标中的X轴坐标以及Y轴坐标则是根据目标特征点在预设图像上的相机坐标，结合该目标特征点的深度信息，进行比例缩放得到的。其原理具体是：预设图像通过小孔成像原理投射在投影平面上，则显示在投影平面上的目标特征点的X轴坐标、Y轴坐标是在预设图像上的目标特征的相机坐标中的X轴坐标、Y轴坐标经过该深度信息进行转换得到的。

S105，根据各个所述目标特征点的三维坐标，确定所述投影平面相对于所述投影仪的法向量。

这里，可以对得到的所有目标特征点的三维坐标进行拟合，从而根据目标特征点的三维坐标对投影平面进行建模，得到拟合平面，该拟合平面反映了投影平面的三维信息，进而得到该投影平面相对于投影仪的法向量。其中，拟合可以是采用最小二乘法拟合。

S106，根据所述投影平面的法向量以及所述投影仪的当前位姿信息，对所述投影仪的原始图像的二维顶点坐标进行校正，得到校正后的原始图像的二维顶点坐标。

这里，投影平面的法向量是指与投影平面垂直的线段，投影仪的当前位姿信息指的是投影仪当前的摆放位置，该当前位姿信息可以通过姿态传感器（IMU）获得。投影仪在投影时，如果摆放位置是歪斜的，投影仪的投影光线相对于墙面或幕布会相对偏移，从而导致投影仪显示在墙面或幕布的投影平面呈现梯形畸变。根据投影平面的法向量以及投影仪的当前位姿信息，可以计算得到投影仪相对于投影平面（墙面或幕布）的位置偏差，进而根据该位置偏差对投影仪的原始图像的二维顶点坐标进行调整。

其中，原始图像指的是投影仪的原始输出图像，一般而言，原始图像是一个矩形图像，如宽度为w，高度为h的图像。当投影仪相对于投影平面倾斜设置时，矩形的原始图像投射在投影平面上会呈现为一个不规则四边形，如凸四边形，为了使得投影仪投射在投影平面上的图像呈现为矩形，因此，需要对原始图像的二维顶点坐标进行校正，使得校正后的原始图像投影在投影平面上呈现为矩形。

应当理解的是，二维顶点坐标指的是原始图像的四个顶点坐标。校正原始图像的二维顶点坐标可以是数字调整的方式，在不改变投影仪的镜头结构的情况下，只改变投影仪输出的原始图像的顶点坐标。

S107，控制所述投影仪根据所述校正后的原始图像的二维顶点坐标进行投影。

这里，控制投影仪根据该校正后的原始图像的二维顶点坐标进行投影，使得投影仪的原始图像在投影平面上呈现为矩形。

采用上述技术方案，通过一个摄像头即可实现投影梯形校正，不仅减少了器件的设置数量，同时也通过预先标定的映射关系，可以快速计算出目标特征点的深度信息，降低了计算目标特征点的三维坐标的复杂度，进一步地，提高了校正效率。

在本公开中，当所述预设图像为棋盘格图像时，考虑到相机的摄像头在实际拍摄中会受到环境因素的影响，例如曝光度的影响，导致拍摄的带有棋盘格的图像的黑白区域存在差异，而特征点又取决于图像质量，在此差异下，常规采用角点检测算法的所确定的特征点并不准确，进而导致后续根据特征点求取的参数也是不准确的，影响了校正的精度。因此，对角点检测算法检测到的初始特征点进行优化，下面针对S103中识别出所述预设图像的目标特征点进行详细说明。

图2是一示例性实施例示出的识别目标特征点的流程示意图。如图2所示，在一个可实现的实施方式中，S103中，识别出所述预设图像的目标特征点，包括：

S1031，采用角点检测算法确定所述棋盘格图像中的初始特征点；

S1032，分别按照竖直方向和水平方向，对处于同一预设区域范围内的初始特征点进行直线拟合；

S1033，将拟合得到的任意一条处于竖直方向上的直线与任意一条处于水平方向上的直线之间的交点作为所述目标特征点。

这里，首先采用角点检测算法确定预设图像中的初始特征点，然后分别按照竖直方向和水平方向，对处于同一预设区域范围内的初始特征点进行直线拟合；最后，将拟合得到的任意一条处于竖直方向上的直线与任意一条处于水平方向上的直线之间的交点作为目标特征点。

在本公开中，由于初始特征点的偏移也会是小范围的偏移，因此，同一预设区域范围是一个预先可以确定的范围。其中，直线拟合可以采用最小二乘法实现。

应当理解的是，在投影仪垂直墙面的情况下，投影图像的黑白交点是由两条直线相交形成的。在该理想情况下，水平直线和竖直直线的数量是已知的。相应地，拟合得到水平方向的直线和竖直方向的直线的数量与理想情况下的数量是等同的，进而特征点的数量也是等同的。

其中，角点检测算法例如可以是OpenCV的findChessboardCorners算法。

采用上述技术方案，对角点检测算法检测到的初始特征点进行优化，确保了预设图像的目标特征点的准确性，提高了校正的精度。

在一个可实现的实施方式中，S104中，针对每一所述目标特征点，根据针对该目标特征点预先标定的映射关系和该目标特征点在所述拍摄图像上的相机坐标，确定该目标特征点在所述摄像头的拍摄空间中的深度信息，包括：

其中，h为该目标特征点的深度信息，

为该目标特征点的第一预设标定参数，

这里，在计算得到目标特征点的相机坐标之后，将该相机坐标代入上述计算式中，即可计算得到该目标特征点的深度信息。其中，在上述计算式中，

和

为一个常数。

值得说明的是，X可以是相机坐标的横坐标或纵坐标，横坐标与纵坐标在运算过程中是对称的，因此，上述计算式对应相机坐标的横坐标或纵坐标均适用。

由此，在本公开中，通过预先标定的映射关系，可以快速计算出目标特征点的深度信息，从而计算出目标特征点在空间中的三维坐标。

接下来，对第一预设标定参数和第二预设标定参数的标定过程进行说明。

针对每一所述目标特征点，该目标特征点的第一预设标定参数和第二预设标定参数是通过如下方式得到的：

其中，h为目标特征点的深度坐标，X为相机坐标，

为第一预设标定参数，

为第二预设标定参数。

这里，映射关系的标定过程实际上是在两个不同的深度下投影预设图像，并利用摄像头对该不同的深度下的预设图像进行拍摄，例如，将投影仪的投影光线设置成垂直于投影平面（墙面或幕布），然后投影仪分别向1.2m和1.9m距离下的投影平面投射预设图像，并利用摄像头拍摄，得到第一图像和第二图像。然后，计算第一图像中的目标特征点的相机坐标以及深度信息，其中，第一距离相当于第一图像的目标特征点的深度信息。第二图像的目标特征点的深度信息以及相机坐标的计算过程与第一图像的一致，在此不再赘述。值得说明的是，该相机坐标为一个二维坐标。

在计算得到两个深度下的目标特征点的相机坐标以及深度信息之后，将其代入下述计算式：

即可计算得到第一预设标定参数和第二预设标定参数的数值。

下面结合附图3对上述实施方式进行说明。

图3是根据一示例性实施例示出的映射关系的数学建模示意图，在图3中，H点为某一目标特征点在第一距离的位置，I点为该目标特征点在第二距离的位置，K点为在第二距离位置的目标特征点投影到相机归一化平面的点，J点为在第一距离位置的目标特征点投影到相机归一化平面的点，L点为辅助点，用来描述H点距离相机归一化平面的深度，Q点为该目标特征点在相机归一化平面投影的点，D点为相机原点，A点为投影仪原点，M点为辅助点，用来描述H点距离相机原点平面的深度，N点为该目标特征点在原图的位置。

根据数学几何关系可以得到：

JQ/DN=HL/HM；

Q点的横坐标记为

，H点（目标特征点）对于相机的投射点J的横坐标记为X，LM的长度记为f，HM的长度记为h，DN的长度记为b，则变换JQ/DN=HL/HM可得出：

；

进一步地，将上式化简为：

；

进一步地，上式可看为：

；

由上式可以得出h和X的关系式，其中，h为目标特征点的深度信息，

为目标特征点的第一预设标定参数，

为目标特征点的第二预设标定参数，X为该目标特征点的横坐标。因此，将所述第一相机坐标和第一深度信息、以及所述第二相机坐标和第二深度信息代入上述计算式即可得到第一预设标定参数、第二预设标定参数的数值。

图4是根据一示例性实施例示出的一种投影校正方法的另一流程图。如图4所示，在一个可实现的实施方式中，S106中，根据所述投影平面的法向量以及所述投影仪的当前位姿信息，对所述投影仪的原始图像的二维顶点坐标进行校正，得到校正后的原始图像的二维顶点坐标，包括：

S1061，根据所述投影平面的法向量以及所述投影仪的当前位姿信息，计算得到所述投影仪法向量的偏移信息，其中，所述偏移信息包括偏航角、俯仰角以及滚转角；

S1062，基于所述偏移信息，计算得到所述投影仪投射至所述投影平面的投影图像的二维顶点坐标；

S1063，基于所述投影图像的二维顶点坐标以及所述投影仪的原始图像的二维顶点坐标，建立所述投影图像与所述原始图像的单应矩阵关系；

S1064，从所述投影仪的投影图像中选取目标矩形，并确定该目标矩形的二维顶点坐标；

S1065，基于所述目标矩形的二维顶点坐标，结合所述单应矩阵关系，得到所述校正后的原始图像的二维顶点坐标。

这里，在步骤S1061中，根据所述投影平面的法向量以及所述投影仪的当前位姿信息，计算得到所述投影仪的偏移信息。其中，滚转角可以通过设置于投影仪的惯性传感器（Inertial Measurement Unit，简称IMU）来获取，即IMU获取投影仪的当前位姿信息，进而根据当前位姿信息计算得到滚转角，该计算方法为现有技术，在此不作详细说明。而偏航角、俯仰角可以根据投影平面的法向量计算得到，其具体方法是将投影平面的法向量投影在偏航角所在平面上，然后计算投影的夹角，即为偏航角。例如，XOY平面为偏航角所在平面，则计算投影与X轴的夹角。将投影平面的法向量投影在俯仰角所在平面上，然后计算投影的夹角，即为俯仰角。例如，XOZ平面为偏航角所在平面，则计算投影与X轴的夹角。

在步骤S1062中，基于偏移信息计算投影图像的顶点坐标，是要计算得到投影仪的原始图像投射至墙面或幕布上的顶点坐标，该顶点坐标为二维坐标。

其中，可以通过如下步骤计算投影图像的二维顶点坐标：

首先，根据偏航角、俯仰角，利用第一预设计算式，计算得到所述投影图像相对于所述投影仪的测量法向量，其中，所述第一预设计算式为：

其中，

为所述测量法向量的X轴坐标，

为所述测量法向量的Y轴坐标，

为所述测量法向量的Z轴坐标，H为所述偏航角，V为所述俯仰角。

然后基于所述测量法向量，以及所述预设的目标点的坐标信息，确定所述投影图像所在平面的位置信息，其中，所述目标点为所述投影图像进行旋转的预设中心点。

这里，由于目标点是预设的投影图像进行偏航、俯仰以及滚转等旋转的预设中心点，因此，目标点的坐标信息是不变的。在确定到测量法向量以及目标点之后，可以确定出投影图像所在平面的位置信息。

接着，基于所述位置信息、结合预先建立的射线向量，得到所述投影图像的三维顶点坐标，其中，所述射线向量为所述投影仪投射的投影图像的顶点与所述投影仪的光心之间的连线的单位向量。

这里，射线向量是指投影仪投射的投影图像的顶点与投影仪的光心之间的连线的单位向量，即投影仪向外投射投影图像，其投射的投影图形的四个顶点与光心之间的连线是可以确定到的。在确定到投影图像所在平面的位置信息之后，通过射线向量可以确定到射线向量与投影图像所在平面的交点，该交点即为原始图像投射在投影平面上的投影图像的4个顶点坐标。

其中，射线向量可以是根据滚转角计算得到的，其具体计算方法如下：

获取所述投影仪的光机参数，其中，所述光机参数包括投影光线的上扬角度、投射比以及宽高比；

根据所述投影仪的光机参数，得到所述投影仪以预设条件投射在投影平面上的标准图像的三维成像顶点坐标，其中，所述预设条件为所述投影仪水平放置、所述投影仪的投影光线垂直于该投影平面、以及所述投影仪距离该投影平面预设距离阈值；

根据所述标准图像的三维成像顶点坐标，计算得到所述标准图像的顶点与所述投影仪的光心之间的连线的单位向量，并将该单位向量作为所述射线向量。

这里，投影仪因为深度的远近投影图像会产生相似性的变化，例如，投射到投影平面的投影图像为矩形，不管深度远近，投影图像始终为矩形。因此，投影仪以预设条件向投影平面投射，则可以根据投影仪的光机参数计算得到在预设条件下投射的标准图像的三维成像顶点坐标。其中，上扬角度是指投影仪的投影光线的上扬角度，在一般情况下，上扬角度与投影仪的型号相关。

计算标准图像的三维成像顶点坐标的具体过程如下：

图5是根据一示例性实施例示出的计算标准图像的三维成像顶点坐标的原理示意图。如图5所示，标准图像存在四个顶点，分别为第一顶点0、第二顶点1、第三顶点2、第四顶点3，其中，第一顶点为位于投影图像的右上角的顶点，第二顶点为位于投影图像的左上角的顶点，第三顶点为位于投影图像的右下角的顶点，第四顶点为位于投影图像的左下角的顶点。

根据光机参数，定义预设距离阈值为f，投射比为throwRatio，w为投影图像的宽度，h为投影图像的高度，根据三角关系，则存在throwRatio=f/w。则

，

，由于throwRatio=f/w，宽高比aspectRatio=w/h，则h=f/throwRatio，因此，

。

则第一顶点0的三维成像顶点坐标为：

第二顶点1的三维成像顶点坐标为：

第三顶点2的三维成像顶点坐标为：

第四顶点3的三维成像顶点坐标为：

其中，

为所述第一顶点的X轴坐标，f为所述预设距离阈值，doffsetAngle为所述上扬角度，

为所述第一顶点的Y轴坐标，

为所述第二顶点的X轴坐标，

为所述第二顶点的Y轴坐标，

为所述第一顶点的Z轴坐标，

为所述第二顶点的Z轴坐标，

为所述第三顶点的X轴坐标，

为所述第三顶点的Y轴坐标，

为所述第三顶点的Z轴坐标，

为所述第四顶点的X轴坐标，

为所述第四顶点的Y轴坐标，

为所述第四顶点的Z轴坐标。

在计算得到标准图像的三维成像顶点坐标之后，可以利用向量计算投影仪的光心与四个顶点的四条射线向量，单位向量即是该顶点的射线向量除以射线向量的模。

应当理解的是，射线向量与投影仪的光机参数相关，在投影仪的光机参数未发生变化的情况下，射线向量是不变的。

在步骤1544中，对所述投影图像的三维成像顶点坐标进行向量分解，得到所述投影图像的二维成像顶点坐标。

这里，在计算得到投影图像的三维成像顶点坐标之后，需要基于向量分解将四个顶点的三维成像顶点坐标转换为二维的二维成像顶点坐标。其具体做法是将向量分解到水平面上的基向量，例如，

为一对基向量，

为投影图像与水平面的交线发现作为坐标系的X轴的基向量，

与

垂直。其中，

可以通过如下计算式计算：

其中，

为水平面的法向量，

为向量的叉乘，

为投影图像的法向量，

为向量

的模。

图6是根据一示例性实施例示出的向量分解的原理示意图。如图6所示，投影图像存在G、I、J以及H共4个顶点。在求取到投影图像的三维成像顶点坐标之后，以点G、I、J以及H中的任一点为坐标原点建立坐标系将三维成像顶点坐标转换为二维成像顶点坐标。在本公开中以H点为坐标原点建立坐标系对向量分解计算二维成像顶点坐标的过程进行详细说明。则可以利用如下计算式将点G、I、J的三维成像顶点坐标转换为二维成像顶点坐标。

其中，x为二维成像顶点坐标的X轴坐标，vectorP(0)为向量vectorP的X轴坐标，

为

的Y轴坐标，

为

的X轴坐标，vectorP(1)为向量vectorP的Y轴坐标，

为

的X轴坐标，

为

的Y轴坐标，y为二维成像顶点坐标的Y轴坐标，point3D为求解的顶点的三维成像顶点坐标，如G、I、J中的任一顶点，pointOrigin为H点的坐标，vectorP为HG向量、HJ向量以及HI向量中的一种，例如，在求解点G的二维成像顶点坐标时，point3D为点G的三维成像顶点坐标，则vectorP为HG向量。

由此，通过上述计算式，可以将投影图像的三维成像顶点坐标转换为投影图像的二维成像顶点坐标。

在一些可实现的实施方式中，在根据所述投影仪的光机参数，得到所述投影仪以预设条件投射在投影平面上的标准图像的三维成像顶点坐标之后，所述方法还包括：

获取所述投影仪的当前滚转角；

当所述当前滚转角未满足预设阈值时，根据所述当前滚转角，结合第二预设计算式，对所述标准图像的三维成像顶点坐标中的X轴坐标以及Y轴坐标进行修正，其中，所述第二预设计算式为：

其中，

为所述标准图像的第i个顶点的修正后的X轴坐标，

为所述标准图像的第i个顶点的修正后的Y轴坐标，

为所述标准图像的第i个顶点的修正前的X轴坐标，

为所述标准图像的第i个顶点的修正前的Y轴坐标，

为所述投影仪进行滚转的旋转中心的X轴坐标，

为所述旋转中心的Y轴坐标，r为所述当前滚转角；

将修正后的X轴坐标以及Y轴坐标作为所述标准图像的顶点的新的X轴坐标和Y轴坐标。

这里，可以通过设置于投影仪的惯性传感器（Inertial Measurement Unit，简称IMU）来获取投影仪的当前滚转角，当当前滚转角未满足预设阈值，说明投影仪发生了滚转的旋转。例如，当前滚转角不为0，则说明投影仪发生了滚转的旋转。当投影仪发生了滚转，其标准图像会以光心射线为旋转轴进行滚转，则标准图像的三维成像顶点坐标的X轴坐标以及Y轴坐标会发生变化，因此，需要基于第二预设计算式计算发生滚转的标准图像的三维顶点坐标的X轴坐标以及Y轴坐标，得到各个顶点修正后的X轴坐标以及Y轴坐标，从而获得标准图像新的三维成像顶点坐标。然后基于该新的三维成像顶点坐标重新计算射线向量，并求解出投影图像的三维成像顶点坐标。

应当理解的是，旋转中心rotateP的坐标可以是（0，0），旋转中心rotateP是指投影仪进行滚转的旋转中心，上述的预设中心点是假想的投影仪在发生偏航、俯仰的旋转之后，投影图像发生的偏移。

由此，通过滚转角可以考虑到投影仪在发送滚转之后的旋转投影图像的变化，从而实现精准的梯形校正。

在步骤S1063中，单应是射影几何中的概念，又称为射影变换。它是把一个射影平面上的点(三维齐次矢量)映射到另一个射影平面上。假设已知两个图像之间的单应矩阵关系，则可以由一个平面的图像转换到另一平面上。通过平面的转换，是为了在同一个平面上进行投影校正。因此，在得知投影仪的原始图像的二维顶点坐标和投影图像的二维顶点坐标之后，可以构建出相应的单应矩阵关系，单应矩阵关系指的是投影仪的原始图像映射在墙面或幕布的投影图像之间的关联关系。

在步骤S1064中，目标矩形是指在投影图像的区域内选取的一个矩形，该矩形可以是在所述投影仪的投影图像中区域内的面积最大的矩形。通过将目标矩形设置为面积最大的矩形是为了最大化投影面积，提高用户体验。

应当理解的是，在上述实施方式中提出了一种计算投影图像的二维顶点坐标的实施方式，在具体应用中不仅可以使用上述实施方式公开的方法计算投影图像的二维顶点坐标，也可以使用其他方法计算投影图像的二维顶点坐标。例如，基于该偏移信息、以及原始图像的顶点坐标，计算得到经过旋转后的原始图像的顶点坐标。其中，经过旋转后的原始图像的顶点坐标是指原始图像的顶点坐标经过偏航角、俯仰角以及滚转角旋转之后的顶点坐标，然后再基于计算得到的投影仪的投影深度，计算旋转后的原始图像的顶点坐标映射到投影平面的投影图像的二维顶点坐标。其中，投影深度是指投影仪与投影平面的距离。

其中，在一个可实现的实施方式中，步骤S1063中，从所述投影图像中选取目标矩形，可以包括：

从生成的矩形中选取面积最大的矩形作为所述目标矩形。

这里，选取目标矩形的具体做法可以是在投影图像任一边上任意选取一点，并以该点作为待构建的矩形的顶点、以原始图像的宽高比作为待构建的矩形的宽高比，在投影图像的区域内生成矩形，并从生成的矩形中选取面积最大的矩形作为目标矩形。

例如，遍历投影图像的最长边以及与该最长边相邻的边，选取任一点作为待构建的矩形的顶点，向投影图像的四周生成宽高比与原始图像一致的宽高比的矩形，在遍历完成最后，从所有生成的矩形中查找出面积最大的矩形作为目标矩形。

由此，通过选取面积最大的矩形作为目标矩形，可以保证用户观看到的投影图像面积最大，从而提升用户的观看体验。

在步骤S1065中，在得到目标矩形的二维顶点坐标之后，可以将该目标矩形的二维顶点坐标作为单应矩阵关系的输入值，计算得到经过校正后的原始图像的二维顶点坐标，使得投影仪根据经过校正后的原始图像的二维顶点坐标进行投影，使得在用户的视野中呈现的投影图像为矩形。即未校正前，用户视野中的投影图像呈现为不规则四边形，而校正后的投影图像呈现为矩形。

值得说明的是，上述实施例所提及的顶点坐标指的是投影平面的4个角点坐标。

图7是根据一示例性实施例示出的一种投影校正装置的框图。如图7所示，所述装置400包括：

响应模块401，配置为响应于接收到的校正指令，控制投影仪向投影平面投射预设图像；

拍摄模块402，配置为通过所述投影仪的摄像头拍摄所述投影仪投射出的所述预设图像，得到拍摄图像；

目标特征点确定模块403，配置为在所述拍摄图像中，识别出所述预设图像的目标特征点；

三维坐标确定模块404，配置为针对每一所述目标特征点，根据针对该目标特征点预先标定的映射关系和该目标特征点在所述拍摄图像上的相机坐标，确定该目标特征点在所述摄像头的拍摄空间中的深度信息，以得到该目标特征点在所述投影仪的投影空间中的三维坐标，其中，所述映射关系是在不同深度下标定的目标特征点的深度信息与相机坐标的偏移量之间的关联关系；

法向量模块405，配置为根据各个所述目标特征点的三维坐标，确定所述投影平面相对于所述投影仪的法向量；

校正模块406，配置为根据所述投影平面的法向量以及所述投影仪的当前位姿信息，对所述投影仪的原始图像的二维顶点坐标进行校正，得到校正后的原始图像的二维顶点坐标；

投影模块407，控制所述投影仪根据所述校正后的原始图像的二维顶点坐标进行投影。

可选地，所述预设图像为棋盘格图像，所述响应模块401包括：

可选地，所述三维坐标确定模块404具体配置为：

其中，h为该目标特征点的深度信息，

为该目标特征点的第一预设标定参数，

可选地，所述三维坐标确定模块404具体配置为：

其中，h为目标特征点的深度坐标，X为相机坐标，

为第一预设标定参数，

为第二预设标定参数。

可选地，所述校正模块406包括：

偏移信息计算模块，配置为根据所述投影平面的法向量以及所述投影仪的当前位姿信息，计算得到所述投影仪法向量的偏移信息，其中，所述偏移信息包括偏航角、俯仰角以及滚转角；

顶点计算模块，配置为基于所述偏移信息，计算得到所述投影仪投射至所述投影平面的投影图像的二维顶点坐标；

单应矩阵模块，配置为基于所述投影图像的二维顶点坐标以及所述投影仪的原始图像的二维顶点坐标，建立所述投影图像与所述原始图像的单应矩阵关系；

目标矩形选取模块，配置为从所述投影仪的投影图像中选取目标矩形，并确定该目标矩形的二维顶点坐标；

顶点校正模块，配置为基于所述目标矩形的二维顶点坐标，结合所述单应矩阵关系，得到所述校正后的原始图像的二维顶点坐标。

可选地，所述目标矩形选取模块具体配置为：

从生成的矩形中选取面积最大的矩形作为所述目标矩形。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本公开还提供一种计算机可读存储介质，其上存储有计算机程序，该

程序被处理器执行时实现本公开提供的投影校正方法的步骤。

图8是根据一示例性实施例示出的一种电子设备的框图。如图8所示，该电子设备500可以包括：处理器501，存储器502。该电子设备500还可以包括多媒体组件503，输入/输出（I/O）接口504，以及通信组件505中的一者或多者。

其中，处理器501用于控制该电子设备500的整体操作，以完成上述的投影校正方法中的全部或部分步骤。

存储器502用于存储各种类型的数据以支持在该电子设备500的操作，这些数据例如可以包括用于在该电子设备500上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器502可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器（StaticRandom Access Memory，简称SRAM），电可擦除可编程只读存储器（Electrically ErasableProgrammable Read-Only Memory，简称EEPROM），可擦除可编程只读存储器（ErasableProgrammable Read-Only Memory，简称EPROM），可编程只读存储器（Programmable Read-Only Memory，简称PROM），只读存储器（Read-Only Memory，简称ROM），磁存储器，快闪存储器，磁盘或光盘。

多媒体组件503可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器502或通过通信组件505发送。音频组件还包括至少一个扬声器，用于输出音频信号。

I/O接口504为处理器501和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。

通信组件505用于该电子设备500与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信（Near Field Communication，简称NFC），2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件505可以包括：Wi-Fi模块，蓝牙模块，NFC模块。

在一示例性实施例中，电子设备500可以被一个或多个应用专用集成电路（Application Specific Integrated Circuit，简称ASIC）、数字信号处理器（DigitalSignal Processor，简称DSP）、数字信号处理设备（Digital Signal Processing Device，简称DSPD）、可编程逻辑器件（Programmable Logic Device，简称PLD）、现场可编程门阵列（Field Programmable Gate Array，简称FPGA）、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的投影校正方法。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的投影校正方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器502，上述程序指令可由电子设备500的处理器501执行以完成上述的投影校正方法。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。

此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。