CN115631245A - 一种校正方法、终端设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种校正方法、终端设备及存储介质，校正方法包括：在第一图像上查找特征点，并确定特征点在第一图像上的第一位置和第一图像的第一中心位置；确定特征点在第二图像上的第二位置和第二图像的第二中心位置；根据第一位置和第二位置，确定光场相机沿扩展现实设备x轴、y轴和z轴的旋转量；根据第一位置、第二位置、第一中心位置和第二中心位置，确定光场相机沿扩展现实设备z轴的第一平移量；从第二图像中分别取四个方位的区域图像；并分别确定四个方位的区域图像对应的四个清晰度值；根据四个清晰度值，确定光场相机沿扩展现实设备x轴和y轴的第二平移量；根据第一平移量、第二平移量和旋转量，对光场相机进行位姿校正。

Description

一种校正方法、终端设备及存储介质

技术领域

本申请涉及相机位姿校正技术领域，尤其涉及一种校正方法、终端设备及存储介质。

背景技术

随着元宇宙产业的蓬勃发展，设备生产商对于扩展现实设备产品的检测需求也越来越迫切。光场相机作为三维检测领域中通过单帧拍摄就能快速实现高精度三维重构的独特成像技术，正在元宇宙行业中发挥着不可替代的作用。利用光场相机在对扩展现实设备的虚拟成像面距离测量、成像缺陷等检测时，通常需要将光场相机对准扩展现实设备的镜片进行拍摄。然而受限于扩展现实设备的成像特性，即便光场相机的位姿仅发生了较小的变化，拍摄结果也可能有很大的差异。为了保证光场相机度扩展现实设备进行检测时检测结果的准确性及一致性，在对扩展现实设备进行检测时应首先对光场相机的位姿进行校正。

现有技术中，在对光场相机的位姿进行校正时，通常是通过人眼对光场相机拍摄到的图像进行观察并判断的方式，对光场相机的姿态进行调整，然而，人的主观判断结果与真实的拍摄结果存在偏差，不具有高度的一致性，容易造成较大的偏移，且通过人的主观判断的方式在对相机进行校准时，校正效率较低。

发明内容

有鉴于此，本申请实施例期望提供一种校正方法、终端设备及存储介质，能够提高光场相机校正的精度和校正效率。

为达到上述目的，本申请的技术方案是这样实现的：

第一方面，本申请实施例提供一种校正方法，所述方法包括：

在第一图像上查找特征点；并确定特征点在第一图像上的第一位置和第一图像的第一中心位置；第一图像为扩展现实设备的虚拟成像面上显示的图像；

确定特征点在第二图像上的第二位置和第二图像的第二中心位置；第二图像为根据光场相机拍摄第一图像得到的图像；

根据第一位置和第二位置，确定光场相机沿扩展现实设备x轴、y轴和z轴的旋转量；

根据第一位置、第二位置、第一中心位置和第二中心位置，确定光场相机沿扩展现实设备z轴的第一平移量；

从第二图像中分别取四个方位的区域图像；并分别确定四个方位的区域图像对应的四个清晰度值；

根据四个清晰度值，确定光场相机沿扩展现实设备x轴和y轴的第二平移量；

根据第一平移量、第二平移量和旋转量，对光场相机进行位姿校正。

第二方面，本申请实施例提供一种终端设备，所述终端设备包括：

查找单元，用于在第一图像上查找特征点；

确定单元，用于确定特征点在第一图像上的第一位置和第一图像的第一中心位置；第一图像为扩展现实设备的虚拟成像面上显示的图像；确定特征点在第二图像上的第二位置和第二图像的第二中心位置；第二图像为根据光场相机拍摄第一图像得到的图像；根据第一位置和第二位置，确定光场相机沿扩展现实设备x轴、y轴和z轴的旋转量；根据第一位置、第二位置、第一中心位置和第二中心位置，确定光场相机沿扩展现实设备z轴的第一平移量；从第二图像中分别取四个方位的区域图像；并分别确定四个方位的区域图像对应的四个清晰度值；根据四个清晰度值，确定光场相机沿扩展现实设备x轴和y轴的第二平移量；

校正单元，用于根据第一平移量、第二平移量和旋转量，对光场相机进行位姿校正。

第三方面，本申请实施例提供一种终端设备，终端设备包括：处理器、存储器及通信总线；处理器执行存储器存储的运行程序时实现上述校正方法。

第四方面，本申请实施例提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述校正方法。

本申请实施例提供一种校正方法、终端设备及存储介质，该方法包括：在第一图像上查找特征点；并确定特征点在第一图像上的第一位置和第一图像的第一中心位置；第一图像为扩展现实设备的虚拟成像面上显示的图像；确定特征点在第二图像上的第二位置和第二图像的第二中心位置；第二图像为根据光场相机拍摄第一图像得到的图像；根据第一位置和第二位置，确定光场相机沿扩展现实设备x轴、y轴和z轴的旋转量；根据第一位置、第二位置、第一中心位置和第二中心位置，确定光场相机沿扩展现实设备z轴的第一平移量；从第二图像中分别取四个方位的区域图像；并分别确定四个方位的区域图像对应的四个清晰度值；根据四个清晰度值，确定光场相机沿扩展现实设备x轴和y轴的第二平移量；根据第一平移量、第二平移量和旋转量，对光场相机进行位姿校正。采用上述实现方案，在对光场相机的位姿进行校正的过程中，利用光场相机对扩展现实设备上的第一图像进行拍摄，得到第二图像，并根据第一图像和第二图像上提取的对应的特征点确定的第一位置与第二位置、与确定的第二图像上的中心位置之间的关系，能够快速计算出光场相机分别沿扩展现实设备x轴、y轴和z轴的旋转量以及沿扩展现实设备z轴的平移量，并通过第二图像中分别对应的四个方位的区域图像的清晰度值，能够快速确定出光场相机分别沿扩展现实设备x轴、y轴的平移量，利用确定的光场相机分别沿扩展现实设备六个自由度上分别对应的旋转量或偏移量对光场相机的位姿进行校准，采用此方式，能够自动地对光场相机的位姿进行校准，避免人工目测的不准确性，且在校准的过程中，光场相机只需要拍摄一张图像，能够极大提高光场相机位姿校准的精度和校准效率。

附图说明

图1为本申请实施例提供的一种校正方法的流程图一；

图2为本申请实施例提供的一种示例性的第一图像示意图；

图3为本申请实施例提供的一种示例性的第二图像示意图；

图4为本申请实施例提供的一种示例性地第二图像上提取特征点的示意图；

图5为本申请实施例提供的一种示例性地光场相机沿扩展现实设备y轴旋转计算旋转量的示意图；

图6为本申请实施例提供的一种示例性地光场相机沿扩展现实设备x轴平移计算平移量的示意图；

图7为本申请实施例提供的一种示例性地左区域图像和右区域图像对应的Sobel清晰度差值和光场相机沿扩展现实设备x轴方向偏移量的关系曲线图；

图8为本申请实施例提供的一种光场相机沿扩展现实设备x轴平移时拍摄的第二图像示意图；

图9为本申请实施例提供的一种校正方法的流程图二；

图10为本申请实施例提供的一种终端设备1的结构示意图一；

图11为本申请实施例提供的一种终端设备1的结构示意图二。

具体实施方式

为了能够更加详尽地了解本申请实施例的特点及技术内容，下面结合说明书附图及具体实施例对本申请的技术方案做进一步的详细阐述，所附附图仅供参考说明之用，并非用来限定本申请实施例。

除非另有定义，本文所使用的所有技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。还需要指出，本申请实施例所涉及的术语“第一/第二/第三”仅是用于区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一/第二/第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述以外的顺序实施例。

本申请实施例提供的一种校正方法，如图1所示，该方法可以包括：

S101、在第一图像上查找特征点；并确定特征点在第一图像上的第一位置和第一图像的第一中心位置；第一图像为扩展现实设备的虚拟成像面上显示的图像。

在本申请实施例中，为了克服现有技术中利用光场相机拍摄扩展现实设备上虚拟成像面进行光场相机位姿校准时，人工目测的不准确性以及校准效率低的问题，在本申请实施例中，提供了一种校正方法，具体地，通过计算光场相机沿扩展现实设备x、y、z轴分别对应的旋转量以及光场相机沿扩展现实设备x、y、z轴分别对应的平移量的方式，对光场相机的位姿进行校准。

需要说明的是，z轴指的是扩展现实设备成像的光轴，x轴指的是位于扩展现实设备的水平方向且与z轴垂直的轴，y轴指的是位于扩展现实设备的竖直方向且与z轴垂直的轴。

在本申请实施例中，第一图像为扩展现实设备的虚拟成像面上显示的图像，显示的图像为图像各区域都具有较为明显特征的图像，如图2所示的棋盘格图像。

需要说明的是，棋盘格中的较为明显的特征可以为黑白棋盘格的角点以及图2中所示的圆点1、圆点2和圆点3，具体地，可以根据第一图像的实际情况进行选择，本申请中不做具体地限定。

在本申请实施例中，对扩展现实设备上显示的第一图像上的特征点进行查找，并确定查找到的特征点在第一图像上的位置，具体地，可以利用特征点提取算法，示例性地，如网络尺度不变特征变换SIFT算法、快速特征点提取算法ORB以及特征点提取算法AKAZE等或自定义的匹配模板。

需要说明的是，特征点查找的方式不限于本申请中进行特征点查找的方式，具体地，可以根据实际情况进行选择，本申请中不做具体地限定。

在本申请实施例中，在利用特征点提取算法对第一图像中的特征点进行提取，并确定第一图像中的特征点对应的第一位置之后，还需要对第一图像上的第一图像中的中心位置点进行确定，并获得其对应的第一中心位置。

需要说明的是，第一图像的第一中心位置可以是从查找的特征点对应的位置中获得的，即第一中心位置也可以为查找到的特征点位置中的其中之一，第一中心位置点也可以是从第一图像中计算得到的，具体地，获取第一中心位置的方式可以根据实际情况进行选择，本申请中不做具体地限定。

需要说明的是，在第一图像上查找到的特征点在第一图像中都会存在对应的位置。

S102、确定特征点在第二图像上的第二位置和第二图像的第二中心位置；第二图像为根据光场相机拍摄第一图像得到的图像。

在本申请实施例中，第二图像为利用光场相机对扩展现实设备虚拟成像面上显示的第一图像进行拍摄得到的，如图3所示的第二图像，是利用光场相机对示例的第一图像进行拍摄所得到的。

需要说明的是，第二图像具体地可以为经过对第一图像进一步处理得到的第二图像，所谓的第二图像为光场原图解码出来的中心视角图。

在本申请实施例中，如图4所示，第二图像中的特征点可以为图4中的圆点4、圆点5、圆点6及圆点7，即圆圈内直角三角形斜边的中点、三个直角顶点均可为特征点。

在本申请实施例中，在利用光场相机对第一图像进行拍摄得到第二图像后，利用特征点提取算法对第二图像中的特征点进行提取，并对第一图像中的特征点与第二图像中的特征点进行匹配，确定第二图像上与第一图像上特征点对应匹配的特征点，并确定出第二图像上与第一图像上特征点对应匹配的特征点的第二位置。

需要说明的是，第一图像上查找的特征点与第二图像上特征点是一一对应的，第一图像上特征点对应的第一位置与第二图像上特征点对应的第二位置也是一一对应的。

需要说明的是，特征点提取算法可以是步骤S101中所提到的特征点提取算法，也可以是出步骤S101中提到的特征点提取算法，具体地，可以根据实际情况进行选择，本申请中不做具体地限定。

在本申请实施例中，在确定了第二图像中与第一图像的第一位置对应的第二位置之后，还需要确定出第二图像中的第二中心位置。

需要说明的是，第二中心位置的确定可以通过从第二图像中计算出第二图像的第二中心点，并确定第二中心点对应的位置所得到的。

需要说明的是，第二中心位置可以是属于第二位置中的其中一个。

S103、根据第一位置和第二位置，确定光场相机沿扩展现实设备x轴、y轴和z轴的旋转量。

在本申请实施例中，旋转量包括光场相机沿扩展现实设备x轴和y轴的第一旋转量和光场相机沿扩展现实设备z轴的第二旋转量。

在本申请实施例中，在对光场相机沿扩展现实设备x轴和y轴的第一旋转量和光场相机沿扩展现实设备z轴的第二旋转量进行计算时，可以是确定第一位置和第二位置之间的连线的距离和连线与光场相机z轴的第一夹角；根据连线的距离确定第一旋转量；根据第一夹角确定第二旋转量。

在本申请实施例中，以光场相机沿扩展现实设备的y轴进行旋转为例，计算光场相机沿扩展现实设备y轴的第一旋转量。

在本申请实施例中，光场相机沿扩展现实设备的y轴进行旋转后，如图5所示，当旋转角度θ较小时，图像中心的实际偏移量O₁O₃可以近似表示为相机的工作距离OO₁与旋转角度θ的正切值的乘积，即如下公式1-公式3所示：

O₁O₃≈O₁O₂ (1)

O₁O₂＝OO₁×tanθ (2)

O₁O₃≈OO₁×tanθ (3)

需要说明的是，其中，O₁O₂可以进行定量表示，利用O₁O₂的值可以对O₁O₃进行近似表示。

需要说明的是，这里的O1与O3指的就是特征点，可以为第一图像和第二图像的中心点，即图4中的三个定位圆圈所形成等腰直角三角形斜边上的中点。

需要说明的是，相机工作距离OO₁与可以为进行光场相机尺度校准时标定出来的，也可以是通过测量的方式得到的，也可以是计算出的，具体地，可以根据实际情况进行选择，本申请中不作具体的限定。

在本申请实施例中，由公式(3)，可以推到出旋转量θ的求解方式，如公式(4)所示：

在本申请实施例中，在对第一旋转量θ值进行计算时，可以是先获取光场相机的相机工作距离；利用相机工作距离和连线的距离，确定第一旋转量。

在本申请实施例中，通过计算第二图像中的特征点相当于第一图像对应的特征点的图像中心的实际偏移量O₁O₃的值，即O₁O₃连线的距离，并获取到相机的工作距离OO₁的值，代入到公式(4)中，即可计算得到的光场相机沿扩展现实设备y轴进行旋转的旋转量θ。

在本申请实施例中，图像中心的实际偏移量O₁O₃的值可以利用像素偏移量除以镜头放大倍率进行计算得到。

需要说明的是，像素偏移量为从第二图像与第一图像中得到的图像中心点坐标之间的距离，镜头放大倍率是光场相机***所固有的，是预先可以根据光场相机的参数进行确定的。

需要说明的是，光场相机沿扩展现实设备x轴的旋转量θ的计算方式和本申请中光场相机沿扩展现实设备y轴的旋转量θ的计算方式相同，具体地，可以参考光场相机沿扩展现实设备y轴的旋转量θ的计算方式，在这里不再赘述。

在本申请实施例中，光场相机沿扩展现实设备z轴的旋转量的计算方式可以是在确定了第一图像和第二图像的特征点之后，确定两幅图像中对应特征点的连线与扩展现实设备z轴之间的夹角θ，将所得到的夹角θ确定为光场相机沿扩展现实设备z轴的第二旋转量。

S104、根据第一位置、第二位置、第一中心位置和第二中心位置，确定光场相机沿扩展现实设备z轴的第一平移量。

在本申请实施例中，根据第一位置、第二位置、第一中心位置和第二中心位置，确定光场相机沿扩展现实设备z轴的第一平移量，可以是确定第一位置和第一中心位置之间的第一距离；确定第二位置和第二中心位置之间的第二距离；根据第一距离和第二距离，确定第一缩放量；根据缩放量与平移量的函数关系，确定第一缩放量对应的第一平移量。

在本申请实施例中，第一位置为第一图像上特征点的位置，第二位置为第二图像上特征点的位置，第一中心位置为第一图像中心点位置，第二中心位置为第二图像中心点位置。

在本申请实施例中，在对光场相机沿扩展现实设备z轴的第一平移量进行计算时，第一位置和第二位置可以有多个，即在第一图像和第二图像中取多对对应的特征点，并确定多对特征点分别对应的第一位置和第二位置，并在确定出第一图像的第一中心位置和第二图像的第二中心位置之后，计算第一图像中的每个特征点距离第一中心位置之间的欧式距离，以及计算第二图像中的每个特征点距离第二中心位置之间的欧式距离。

在本申请实施例中，在分别计算第一图像中的每个特征点距离第一中心位置之间的欧式距离，以及第二图像中的每个特征点距离第二中心位置之间的欧式距离之后，利用第一图像的多个特征点与第一中心位置之间的多个欧氏距离、与对应的第二图像的多个特征点距第二中心位置之间的多个欧式距离分别进行相除，并进行求平均值运算，即可得到第一图像和第二图像之间的相对缩放量。

需要说明的是，在进行相除时，对应的特征点对应的欧式距离进行相除，示例性地，第一图像中有A、B、C三个特征点，第二图像中与第一图像对应的特征点是D、E、F，分别计算第一图像的三个特征点与第一图像中第一中心位置的三个距离a、b、c，以及第二图像中的三个特征点距离第二图像的第二中心位置的三个距离d、e、f，用a除以d、b除以e、c除以f，分别得到三个值，再计算这三个值的平均值，即为第一图像和第二图像之间的相对缩放量。

需要说明的是，计算第一图像特征点与第一中心位置之间的距离以及第二图像特征点与第二中心位置之间的距离的方式不限于欧氏距离，具体地，可以根据实际情况进行选择，本申请中不做具体地限定。

在本申请实施例中，根据光场相机的成像模型，光场相机拍摄不同距离的物体时，其大小会发生变化。因此，上述第一图像和第二图像之间的相对缩放量与光场相机在扩展现实设备z轴方向的平移有较高的相关性。因此，可以将光场相机固定在移动距离已知的移动装置上进行多次拍摄和计算，建立光场相机沿扩展现实设备z轴方向上平移的距离和第一图像和第二图像之间的相对缩放量之间的函数关系，从而在光场相机实际的拍摄过程中，根据光场相机已知的平移的距离，就能够实时计算光场相机沿扩展现实设备z轴的第一平移量。

S105、从第二图像中分别取四个方位的区域图像；并分别确定四个方位的区域图像对应的四个清晰度值。

在本申请实施例中，第二图像为光场相机拍摄第一图像所得到的，其中，获取第二图像的四个方位的区域图像时，四个方位可以包括上、下、左、右四个方位。

需要说明的是，其中的方位上和下是对应的，左和右是对应的。

在本申请实施例中，确定四个方位的区域图像对应的四个清晰度值时，可以是从第二图像中分别取上区域图像、下区域图像、左区域图像和右区域图像；分别确定上区域图像对应的第一清晰度值、下区域图像对应第二清晰度值、左区域对应的第三清晰度值和右区域对应的第四清晰度值。

在本申请实施例中，如图6所示，光场相机沿扩展现实设备x轴的移动量OO'与对应的图像中心偏移量O₁O₂相等，其中，O₁O₂为第一图像和第二图像上的特征点，当图像中心偏移量O₁O₂小于测试***的物方分辨能力时，即第一图像对于第二图像中特征点的像素移动量不足1个时，无法通过简单的图像处理得到光场相机的偏移量。

在本申请实施例中，扩展现实设备的清晰成像区域极小，通常仅为其镜片前几毫米宽的区域。因此，当光场相机沿扩展现实设备x轴和y轴方向存在位移时，由于光场相机镜头的对应部分不在扩展现实设备镜片的最佳成像区，光场相机所拍摄到的图像的边缘区域可能变得模糊，且其模糊程度和偏移的程度正相关。因此，可通过对图像边缘区域的模糊程度进行量化来计算光场相机沿扩展现实设备x轴和y轴方向的偏移量。

在本申请实施例中，以光场相机沿扩展显示设备的x轴方向进行平移为例，在第二图像中，取第二图像中的左区域图像和右区域图像，其中，左区域图像和右区域图像大小相等、位置对称、且图像相似。

需要说明的是，图像相似是为了避免在计算左、右区域图像清晰度差值时受到图案的影响。

在本申请实施例中，在获取到第二图像中的左区域图像和右区域图像之后，分别对左区域图像内图像的第三清晰度值和右区域图像内图像的第四清晰度值。

在本申请实施例中，清晰度值的计算的方式可以为任意反映图像清晰度的算法，例如，计算图像全区域的Sobel梯度算法，并将梯度求平均，即可得到图像的清晰度值，或是计算图像全区域的Laplacian梯度算法，并将梯度求平均，即可得到图像的清晰度值。

需要说明的是，计算图像清晰度值的方法不限于本申请中的计算方式，具体地，可以根据实际情况进行选择，本申请中的不做具体地限定。

需要说明的是，在光场相机沿扩展显示设备的y轴方向进行平移时，计算第二图像区域中的上区域图像和和下区域图像分别对应的第一清晰度值和第二清晰度值计算的方式，可以参考上述计算第三清晰度值和第四清晰度值的方式，在这里不再赘述。

在本申请实施例中，通过上述的计算方式便可以计算得到的光场相机在沿扩展现实设备x轴平移时，从第二图像中的所取的左区域图像和右区域图像分别对应的第三清晰度值和第四清晰度值，以及光场相机在沿扩展现实设备y轴平移时，从第二图像中的所取的上区域图像和下区域图像分别对应的第一清晰度值和第二清晰度值。

S106、根据四个清晰度值，确定光场相机沿扩展现实设备x轴和y轴的第二平移量。

在本申请实施例中，第二平移量包括光场相机沿扩展现实设备y轴的第一子平移量和光场相机沿扩展现实设备x轴的第二子平移量。

在本申请实施例中，光场相机沿扩展现实设备y轴的第一子平移量的确定可以是根据第一清晰度值和第二清晰度值，确定第一子平移量。

在本申请实施例中，确定第一子平移量具体的实现方式可以为确定第一清晰度值和第二清晰度值之间的第一差值；从清晰度差值与平移量对应关系中，确定第一差值对应的第一子平移量。

在本申请实施例中，光场相机沿扩展现实设备x轴的第二子平移量的确定可以是根据第三清晰度值和第四清晰度值，确定第二子平移量。

在本申请实施例中，确定第二子平移量具体的实现方式可以为确定第三清晰度值和第四清晰度值之间的第二差值；从清晰度差值与平移量对应关系中，确定第二差值对应的第二子平移量。

在本申请实施例中，每一个位移量都会对应一个清晰度差值，将平移量与清晰度差值先进行建模，得到清晰度差值与平移量之间的关系曲线，当在实际的操作中，当获取到的第一差值或第二差值之后，便能够根据清晰度差值与偏移量之间的关系曲线确定光场相机沿扩展现实设备x轴或y轴的平移量。

示例性地，左区域图像和右区域图像对应的Sobel清晰度差值和光场相机沿扩展现实设备x轴方向偏移量的关系如图7所示，图7中，横轴是光场相机沿扩展现实设备x轴方向的偏移，可以由电动位移台控制，纵轴是图像左右区域的清晰度的差值，可以看出两者存在近似线性的关系。

需要说明的是，图7中的负值代表光场相机沿扩展现实设备x轴向左移动，正值代表光场相机沿扩展现实设备x轴向右移动。

需要说明的是，对于光场相机沿扩展现实设备y轴方向的偏移，其算法与光场相机沿扩展现实设备x轴方向相似，只需要将计算清晰度的方向从左右改为上下即可。

需要说明的是，当第一差值或第二差值接近0时，即代表光场相机已经移动到了最佳成像区域内。

需要说明的是，特别地，对于光场相机等可以提供多个视角的相机或相机***，可以用其左右视角图片替代同一图片的左右区域进行清晰度计算。

示例性地，以光场相机沿扩展现实设备x轴平移为例，如图8所示，可见其右侧的模糊程度明显高于左侧，因此右侧区域计算出的清晰度低于左侧，可判断相机目前存在向右方的偏移，即沿扩展现实设备x轴移动，导致右侧模糊。

S107、根据第一平移量、第二平移量和旋转量，对光场相机进行位姿校正。

在本申请实施例中，第一平移量为光场相机沿扩展现实设备z轴的平移量，第二平移量为光场相机沿扩展现实设备x轴和y轴的平移量，旋转量为光场相机沿扩展现实设备x轴、y轴和z轴的旋转量，由此利用光场相机的一次拍摄即可确定光场相机在拍摄扩展现实设备时，沿扩展现实设备6个自由度上的位姿的变换量，并根据变换量所对应的第一平移量、第二平移量和旋转量，对光场相机进行位姿校正，以利用进行位姿校正后的光场相机进行三维设备的检测。

可以理解的是，在本申请实施例提供的一种校正方法中，在对光场相机的位姿进行校正的过程中，利用光场相机对扩展现实设备上的第一图像进行拍摄，得到第二图像，并根据第一图像和第二图像上提取的对应的特征点确定的第一位置与第二位置、与确定的第二图像上的中心位置之间的关系，能够快速计算出光场相机分别沿扩展现实设备x轴、y轴和z轴的旋转量以及沿扩展现实设备z轴的平移量，并通过第二图像中分别对应的四个方位的区域图像的清晰度值，能够快速确定出光场相机分别沿扩展现实设备x轴、y轴的平移量，利用确定的光场相机分别沿扩展现实设备六个自由度上分别对应的旋转量或偏移量对光场相机的位姿进行校准，采用此方式，能够自动地对光场相机的位姿进行校准，避免人工目测的不准确性，且在校准的过程中，光场相机只需要拍摄一张图像，能够极大提高光场相机位姿校准的精度和校准效率。

基于上述实施例，在本申请中提供的一种校正方法，如图9所示，具体包括以下步骤：

步骤1、在第一图像上查找特征点；并确定特征点在第一图像上的第一位置和第一图像的第一中心位置；

步骤2、确定特征点在第二图像上的第二位置和第二图像的第二中心位置；

步骤3、确定第一位置和第二位置之间的连线的距离和连线与光场相机z轴的第一夹角；

步骤4、根据连线的距离确定第一旋转量；

步骤5、根据第一夹角确定第二旋转量；

步骤6、确定第一位置和第一中心位置之间的第一距离；确定第二位置和第二中心位置之间的第二距离；

步骤7、根据第一距离和第二距离，确定第一缩放量；

步骤8、根据缩放量与平移量的函数关系，确定第一缩放量对应的第一平移量；

步骤9、从第二图像中分别取上区域图像、下区域图像、左区域图像和右区域图像；

步骤10、分别确定上区域图像对应的第一清晰度值、下区域图像对应第二清晰度值、左区域对应的第三清晰度值和右区域对应的第四清晰度值；

步骤11、确定第一清晰度值和第二清晰度值之间的第一差值；从清晰度差值与平移量对应关系中，确定第一差值对应的第一子平移量；

步骤12、确定第三清晰度值和第四清晰度值之间的第二差值；从清晰度差值与平移量对应关系中，确定第二差值对应的第二子平移量；

步骤13、根据所述第一平移量、所述第二平移量和所述旋转量，对所述光场相机进行位姿校正。

需要说明的是，在具体的计算过程中，以上步骤的执行顺序不限于本申请中的执行顺序，具体地，可以根据实际情况进行执行步骤顺序的调整，本申请中的不做具体地限定。

基于上述实施例，在本申请的另一实施例中提供一种终端设备1，如图10所示，该终端设备1包括：

查找单元10，用于在第一图像上查找特征点。

确定单元11，用于确定特征点在第一图像上的第一位置和第一图像的第一中心位置；第一图像为扩展现实设备的虚拟成像面上显示的图像；确定特征点在第二图像上的第二位置和第二图像的第二中心位置；第二图像为根据光场相机拍摄第一图像得到的图像；根据第一位置和第二位置，确定光场相机沿扩展现实设备x轴、y轴和z轴的旋转量；根据第一位置、第二位置、第一中心位置和第二中心位置，确定光场相机沿扩展现实设备z轴的第一平移量；从第二图像中分别取四个方位的区域图像；并分别确定四个方位的区域图像对应的四个清晰度值；根据四个清晰度值，确定光场相机沿扩展现实设备x轴和y轴的第二平移量。

校正单元12，用于根据第一平移量、第二平移量和旋转量，对光场相机进行位姿校正。

可选地，旋转量包括光场相机沿扩展现实设备x轴和y轴的第一旋转量和光场相机沿扩展现实设备z轴的第二旋转量。

可选地，所述确定单元11，还用于确定第一位置和第二位置之间的连线的距离和连线与光场相机z轴的第一夹角；根据连线的距离确定第一旋转量；根据第一夹角确定第二旋转量。

可选地，所述终端设备还可以包括：获取单元，

获取单元，用于获取光场相机的相机工作距离。

可选地，所述确定单元11，还用于利用相机工作距离和连线的距离，确定第一旋转量。

可选地，所述确定单元11，还用于确定第一位置和第一中心位置之间的第一距离；确定第二位置和第二中心位置之间的第二距离；根据第一距离和第二距离，确定第一缩放量；根据缩放量与平移量的函数关系，确定第一缩放量对应的第一平移量。

可选地，所述确定单元11，还用于从第二图像中分别取上区域图像、下区域图像、左区域图像和右区域图像；分别确定上区域图像对应的第一清晰度值、下区域图像对应第二清晰度值、左区域对应的第三清晰度值和右区域对应的第四清晰度值。

可选地，第二平移量包括：光场相机沿扩展现实设备y轴的第一子平移量和光场相机沿扩展现实设备x轴的第二子平移量。

可选地，所述确定单元11，还用于根据第一清晰度值和第二清晰度值，确定第一子平移量；根据第三清晰度值和第四清晰度值，确定所述第二子平移量。

可选地，所述确定单元11，还用于确定第一清晰度值和第二清晰度值之间的第一差值；从清晰度差值与平移量对应关系中，确定第一差值对应的第一子平移量。

可选地，所述确定单元11，还用于确定第三清晰度值和第四清晰度值之间的第二差值；从清晰度差值与平移量对应关系中，确定第二差值对应的第二子平移量。

本申请实施例提供一种终端设备，在第一图像上查找特征点；并确定特征点在第一图像上的第一位置和第一图像的第一中心位置；第一图像为扩展现实设备的虚拟成像面上显示的图像；确定特征点在第二图像上的第二位置和第二图像的第二中心位置；第二图像为根据光场相机拍摄第一图像得到的图像；根据第一位置和第二位置，确定光场相机沿扩展现实设备x轴、y轴和z轴的旋转量；根据第一位置、第二位置、第一中心位置和第二中心位置，确定光场相机沿扩展现实设备z轴的第一平移量；从第二图像中分别取四个方位的区域图像；并分别确定四个方位的区域图像对应的四个清晰度值；根据四个清晰度值，确定光场相机沿扩展现实设备x轴和y轴的第二平移量；根据第一平移量、第二平移量和旋转量，对光场相机进行位姿校正。由此可见，本申请实施例提出的一种终端设备，在对光场相机的位姿进行校正的过程中，利用光场相机对扩展现实设备上的第一图像进行拍摄，得到第二图像，并根据第一图像和第二图像上提取的对应的特征点确定的第一位置与第二位置、与确定的第二图像上的中心位置之间的关系，能够快速计算出光场相机分别沿扩展现实设备x轴、y轴和z轴的旋转量以及沿扩展现实设备z轴的平移量，并通过第二图像中分别对应的四个方位的区域图像的清晰度值，能够快速确定出光场相机分别沿扩展现实设备x轴、y轴的平移量，利用确定的光场相机分别沿扩展现实设备六个自由度上分别对应的旋转量或偏移量对光场相机的位姿进行校准，采用此方式，能够自动地对光场相机的位姿进行校准，避免人工目测的不准确性，且在校准的过程中，光场相机只需要拍摄一张图像，能够极大提高光场相机位姿校准的精度和校准效率。

图11为本申请实施例提供的一种终端设备1的组成结构示意图，在实际应用中，基于上述实施例的同一公开构思下，如图11所示，本实施例的终端设备1包括处理器13、存储器14和通信总线15。

在具体的实施例过程中，上述查找单元10、确定单元11、校正单元12、获取单元可由位于终端设备1上的处理器13实现，上述处理器13可以为特定用途集成电路(ASIC，Application Specific Integrated Circuit)、数字信号处理器(DSP，Digital SignalProcessor)、数字信号处理图像处理装置(DSPD，Digital Signal Processing Device)、可编程逻辑图像处理装置(PLD，Programmable Logic Device)、现场可编程门阵列(FPGA，Field Programmable Gate Array)、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本实施例不作具体限定。

在本申请实施例中，上述通信总线15用于实现处理器13和存储器14之间的连接通信；上述处理器13执行存储器14中存储的运行程序时实现如下的校正方法：

在第一图像上查找特征点；并确定特征点在第一图像上的第一位置和第一图像的第一中心位置；第一图像为扩展现实设备的虚拟成像面上显示的图像；确定特征点在第二图像上的第二位置和第二图像的第二中心位置；第二图像为根据光场相机拍摄第一图像得到的图像；根据第一位置和第二位置，确定光场相机沿扩展现实设备x轴、y轴和z轴的旋转量；根据第一位置、第二位置、第一中心位置和第二中心位置，确定光场相机沿扩展现实设备z轴的第一平移量；从第二图像中分别取四个方位的区域图像；并分别确定四个方位的区域图像对应的四个清晰度值；根据四个清晰度值，确定光场相机沿扩展现实设备x轴和y轴的第二平移量；根据第一平移量、第二平移量和旋转量，对光场相机进行位姿校正。

进一步地，旋转量包括光场相机沿扩展现实设备x轴和y轴的第一旋转量和光场相机沿扩展现实设备z轴的第二旋转量。

进一步地，上述处理器13，还用于确定第一位置和第二位置之间的连线的距离和连线与光场相机z轴的第一夹角；根据连线的距离确定第一旋转量；根据第一夹角确定第二旋转量。

进一步地，上述处理器13，还用于获取光场相机的相机工作距离；利用相机工作距离和连线的距离，确定第一旋转量。

进一步地，上述处理器13，还用于确定第一位置和第一中心位置之间的第一距离；确定第二位置和第二中心位置之间的第二距离；根据第一距离和第二距离，确定第一缩放量；根据缩放量与平移量的函数关系，确定第一缩放量对应的第一平移量。

进一步地，上述处理器13，还用于从第二图像中分别取上区域图像、下区域图像、左区域图像和右区域图像；分别确定上区域图像对应的第一清晰度值、下区域图像对应第二清晰度值、左区域对应的第三清晰度值和右区域对应的第四清晰度值。

进一步地，第二平移量包括：光场相机沿扩展现实设备y轴的第一子平移量和光场相机沿扩展现实设备x轴的第二子平移量。

进一步地，上述处理器13，还用于第一清晰度值和第二清晰度值，确定第一子平移量；根据第三清晰度值和第四清晰度值，确定第二子平移量。

进一步地，上述处理器13，还用于确定第一清晰度值和第二清晰度值之间的第一差值；从清晰度差值与平移量对应关系中，确定第一差值对应的第一子平移量。

进一步地，上述处理器13，还用于确定第三清晰度值和第四清晰度值之间的第二差值；从清晰度差值与平移量对应关系中，确定第二差值对应的第二子平移量。

基于上述实施例，本申请实施例提供一种存储介质，其上存储有计算机程序，上述计算机可读存储介质存储有一个或者多个程序，上述一个或者多个程序可被一个或者多个处理器执行，应用于终端设备中，该计算机程序实现如上述的校正方法。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台图像显示设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本公开各个实施例所述的方法。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种校正方法，其特征在于，所述方法包括：

在第一图像上查找特征点；并确定所述特征点在所述第一图像上的第一位置和所述第一图像的第一中心位置；所述第一图像为扩展现实设备的虚拟成像面上显示的图像；

确定所述特征点在第二图像上的第二位置和所述第二图像的第二中心位置；所述第二图像为根据光场相机拍摄所述第一图像得到的图像；

根据所述第一位置和所述第二位置，确定所述光场相机沿所述扩展现实设备x轴、y轴和z轴的旋转量；

根据所述第一位置、所述第二位置、所述第一中心位置和所述第二中心位置，确定所述光场相机沿所述扩展现实设备z轴的第一平移量；

从所述第二图像中分别取四个方位的区域图像；并分别确定所述四个方位的区域图像对应的四个清晰度值；

根据所述四个清晰度值，确定所述光场相机沿所述扩展现实设备x轴和y轴的第二平移量；

根据所述第一平移量、所述第二平移量和所述旋转量，对所述光场相机进行位姿校正。

2.根据权利要求1所述的方法，其特征在于，所述旋转量包括所述光场相机沿所述扩展现实设备x轴和y轴的第一旋转量和所述光场相机沿所述扩展现实设备z轴的第二旋转量；所述根据所述第一位置和所述第二位置，确定所述光场相机沿所述扩展现实设备x轴、y轴和z轴的旋转量，包括：

确定所述第一位置和所述第二位置之间的连线的距离和所述连线与所述光场相机z轴的第一夹角；

根据所述连线的距离确定所述第一旋转量；

根据所述第一夹角确定所述第二旋转量。

3.根据权利要求2所述的方法，其特征在于，所述根据所述连线的距离确定所述第一旋转量，包括：

获取光场相机的相机工作距离；

利用所述相机工作距离和所述连线的距离，确定所述第一旋转量。

4.根据权利要求1所述的方法，其特征在于，所述根据所述第一位置、所述第二位置、第一中心位置和第二中心位置，确定所述光场相机沿所述扩展现实设备z轴的第一平移量，包括：

确定所述第一位置和所述第一中心位置之间的第一距离；

确定所述第二位置和所述第二中心位置之间的第二距离；

根据所述第一距离和所述第二距离，确定第一缩放量；

根据缩放量与平移量的函数关系，确定所述第一缩放量对应的所述第一平移量。

5.根据权利要求1所述的方法，其特征在于，所述四个方位包括上、下、左、右；所述从所述第二图像中分别取四个方位的区域图像；并分别确定所述四个方位的区域图像对应的四个清晰度值，包括：

从所述第二图像中分别取上区域图像、下区域图像、左区域图像和右区域图像；

分别确定所述上区域图像对应的第一清晰度值、所述下区域图像对应第二清晰度值、所述左区域对应的第三清晰度值和所述右区域对应的第四清晰度值。

6.根据权利要求5所述的方法，其特征在于，所述第二平移量包括：所述光场相机沿所述扩展现实设备y轴的第一子平移量和所述光场相机沿所述扩展现实设备x轴的第二子平移量；所述根据所述四个清晰度值，确定所述光场相机沿所述扩展现实设备x轴和y轴的第二平移量，包括：

根据所述第一清晰度值和所述第二清晰度值，确定所述第一子平移量；

根据所述第三清晰度值和所述第四清晰度值，确定所述第二子平移量。

7.根据权利要求6所述的方法，其特征在于，所述根据所述第一清晰度值和所述第二清晰度值，确定所述第一子平移量，包括：

确定所述第一清晰度值和所述第二清晰度值之间的第一差值；

从清晰度差值与平移量对应关系中，确定所述第一差值对应的所述第一子平移量；

相应的，所述根据所述第三清晰度值和所述第四清晰度值，确定所述第二子平移量，包括：

确定所述第三清晰度值和所述第四清晰度值之间的第二差值；

从清晰度差值与平移量对应关系中，确定所述第二差值对应的所述第二子平移量。

8.一种终端设备，其特征在于，所述终端设备包括：

查找单元，用于在第一图像上查找特征点；

确定单元，用于确定所述特征点在所述第一图像上的第一位置和所述第一图像的第一中心位置；所述第一图像为扩展现实设备的虚拟成像面上显示的图像；确定所述特征点在第二图像上的第二位置和所述第二图像的第二中心位置；所述第二图像为根据光场相机拍摄所述第一图像得到的图像；根据所述第一位置和所述第二位置，确定所述光场相机沿所述扩展现实设备x轴、y轴和z轴的旋转量；根据所述第一位置、所述第二位置、所述第一中心位置和所述第二中心位置，确定所述光场相机沿所述扩展现实设备z轴的第一平移量；从所述第二图像中分别取四个方位的区域图像；并分别确定所述四个方位的区域图像对应的四个清晰度值；根据所述四个清晰度值，确定所述光场相机沿所述扩展现实设备x轴和y轴的第二平移量；

校正单元，用于根据所述第一平移量、所述第二平移量和所述旋转量，对所述光场相机进行位姿校正。

9.一种终端设备，其特征在于，所述终端设备包括：处理器、存储器及通信总线；所述处理器执行存储器存储的运行程序时实现如权利要求1-7任一项所述的方法。

10.一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7任一项所述的方法。

Images