CN116342712B - 基于消失点一致性的空间相机在轨畸变系数标定方法、介质及设备 - Google Patents

Abstract

本发明涉及一种基于消失点一致性的空间相机在轨畸变系数标定方法、介质及设备，以解决空间环境下相机畸变系数在轨标定过程中，高精度靶标难以获取、标定实时性差等技术问题。该方法包括：1、获取目标航天器上太阳能帆板任意位置处的图像；2、在靠近图像的畸变中心处选取一个平行线组，提取平行线组上靠近畸变中心的角点，求最优消失点；3、提取同一平行线组上远离畸变中心的角点，求解畸变消失点，建立畸变系数求解目标函数；4、求解各个畸变系数，判断迭代是否收敛，若迭代收敛，则结束；若迭代不收敛，则执行步骤5；5、更新靠近畸变中心的角点和远离畸变中心的角点，直至迭代收敛，完成在轨畸变系数标定。

Description

基于消失点一致性的空间相机在轨畸变系数标定方法、介质 及设备

技术领域

本发明涉及空间相机畸变系数标定的标定方法，具体涉及一种基于消失点一致性的空间相机在轨畸变系数标定方法、介质及设备。

背景技术

精确测量空间目标的相对位置和姿态(统称为位姿)是完成在轨维护等重大航天任务的关键，基于机器视觉的位姿测量方法，由于其***相对简单可靠，具有体积小、质量轻、成本低等优势，在空间目标位姿测量领域得到广泛应用。而对机器视觉***在轨实时标定，从而得到其准确的内、外参数信息，是基于机器视觉的位姿测量方法的前提。然而，对于一些需要高精度的空间应用，或者是空间广角相机，常用的针孔模型已无法准确描述相机成像过程，尤其是当空间相机需要长期承受空间恶劣的机械和热环境时，必须考虑对其畸变系数进行在轨标定。国内外在该领域开展了大量研究工作，然而，现有的研究和技术往往需要使用特定的靶标(如棋盘格等)进行相机畸变系数标定，或者要求获取目标的多幅图像，而在空间环境下，无法提供高精度的靶标，同时，考虑到实时性，往往也无法提供目标的多幅图像，因此，现有相机畸变系数标定方法无法满足日益复杂环境下空间任务中对相机畸变系数进行在轨标定的需求。

发明内容

为解决空间环境下相机畸变系数在轨标定过程中，高精度靶标难以获取、标定实时性差等技术问题，本发明提供一种基于消失点一致性的空间相机在轨畸变系数标定方法、介质及设备。

本发明提供的技术方案为：

一种基于消失点一致性的空间相机在轨畸变系数标定方法，其特殊之处在于，包括以下步骤：

S1、获取一幅太阳能帆板任意位置处的图像，所述太阳能帆板设置在目标航天器上；

S2、获取步骤S1中图像上的畸变中心，在靠近畸变中心处选取一个平行线组，所述平行线组包含至少三条平行线；

提取平行线组上靠近畸变中心的角点，根据共点共线约束，求解平行线组的最优消失点V′(x′,y′)；

S3、提取步骤S2中同一平行线组上远离畸变中心的角点，求解畸变消失点V^*(x^*,y^*)，并根据消失点一致性约束，建立畸变系数求解目标函数，畸变系数求解目标函数E(k₁,k₂,k₃,p₁,p₂)公式如下：

E(k₁,k₂,k₃,p₁,p₂)＝||V^*[x^*(k₁,k₂,k₃,p₁,p₂),y^*(k₁,k₂,k₃,p₁,p₂)]-V′(x′,y′)||

其中，k₁,k₂,k₃,p₁,p₂为待优化畸变系数，k₁为一阶径向畸变系数，k₂为二阶径向畸变系数，k₃为三阶径向畸变系数，p₁一阶切向畸变系数，p₂为二阶切向畸变系数；

S4、采用LM优化算法，求解各个畸变系数k₁,k₂,k₃,p₁,p₂，判断迭代是否收敛若迭代不收敛，则返回步骤S2，更新靠近畸变中心的角点及远离畸变中心的角点；若迭代收敛，则获得最终畸变系数，完成在轨畸变系数标定。

进一步地，步骤S2中，求解平行线组的最优消失点V′(x′,y′)具体为：

根据平行线组上靠近畸变中心的角点，获得N条直线，N≥3，所述直线为平行线组的投影，其中，第j条直线对应直线方程表示为：

L_j:A_jx+B_jy+C_j＝0，j＝1,2…,N；

其中，A_j、B_j、C_j为第j条直线对应直线方程中的常数；

N条直线中任意两条的交点坐标D_pq(x_pq,y_pq)表示为：

其中，p为第p条直线对应直线方程，q为第q条直线对应直线方程，A_p、B_p、C_p为第p条直线对应直线方程中的常数；A_q、B_q、C_q为第q条直线对应直线方程中的常数；(x_pq，y_pq)为N条直线中任意两条的交点的坐标；

任意两直线的交点到所有直线的距离之和Ed(V,L_j)最小时，对应的V′(x′,y′)为最优消失点；任意两直线的交点到所有直线的距离之和公式如下：

其中，(x_V,y_V)为待优化的消失点坐标。

进一步地，步骤S2中，函数Ed(V,L_j)优化时初始值为任意两直线交点集合的质心坐标质心坐标/>计算式如下：

进一步地，步骤S2中，提取平行线组上靠近畸变中心的角点采用Harris角点检测方法。

进一步地，步骤S2中，还包括，优化Harris角点检测误差，获得优化直线方程；具体为：

定义，靠近畸变中心的角点个数为n，n个角点所在的直线方程为L₀，A₀、B₀、C₀为直线方程为L₀的常数系数，n≥1且为整数；

优化n个角点到直线方程L₀的距离之和为目标函数Ed₀，目标函数最小时对应的直线方程为优化直线方程；

目标函数Ed₀公式如下：

其中，(x_i,y_i)为第i个角点的坐标，i＝1，2，…，n。

进一步地，步骤S2中，目标函数Ed₀对应的直线方程L₀的参数初始值，，采用n个角点中任意两点所在的直线方程对应的常数系数。

进一步地，步骤S3中，提取步骤S2中同一平行线组上远离畸变中心的角点采用Harris角点检测方法。

进一步地，步骤S2中，平行线组上靠近畸变中心的角点为距离畸变中心小于512个像素的角点；

步骤S3中，平行线组上远离畸变中心的角点为距离畸变中心大于等于512个像素的角点。

本发明还提供一种计算机存储介质，其上存储有计算机程序，其特殊之处在于：所述计算机程序被处理器执行时实现上述基于消失点一致性的空间相机在轨畸变系数标定方法的步骤。

本发明还提供一种计算机设备，包括处理器、与所述处理器连接的存储器以及可在所述处理器上运行的计算机程序，其特殊之处在于：所述处理器执行所述计算机程序时实现上述基于消失点一致性的空间相机在轨畸变系数标定方法的步骤。

本发明的有益效果：

本发明提供的基于消失点一致性的空间相机在轨畸变系数标定方法利用多数人造航天器均有的太阳能电池板的单个图像获得的消失点，对空间相机镜头畸变系数进行在轨标定；首先，基于共线约束的平行线提取方法来获得平行线，通过公共点约束方法获得最佳消失点，利用最佳消失点，建立了基于消失点一致性的空间相机畸变标定函数；再利用LM优化算法来求解畸变系数优化函数；该方法准确性高、灵活性强，具有良好的鲁棒性，可以为空间任务中的相机畸变系数在轨标定提供更好的技术支撑。

附图说明

图1为本发明基于消失点一致性的空间相机在轨畸变系数标定方法流程图；

图2为本发明实施例中消失点成像原理图。

具体实施方式

参见图1，本实施例提供一种基于消失点一致性的空间相机在轨畸变系数标定方法，该方法包括以下步骤：

S1、获取一幅太阳能电池板任意位置处的图像，所述太阳能电池板设置在目标航天器上；在空间环境中，太阳能帆板为大部分航天器都具备且具有较为明显几何特征的结构，考虑到其需要进行折叠和展开操作以及经济性，绝大多数太阳能帆板在设计时采用矩形结构，且布满相互正交的肋条，而正是这样的结构使得可以通过太阳能帆板提取角点特征，本实施例利用目标航天器太阳能帆板上的几何信息完成相机畸变系数在轨标定。

S2、获取步骤S1中图像上的畸变中心，在靠近畸变中心处选取一个平行线组，所述平行线组包含至少三条平行线；提取平行线组上靠近畸变中心的角点，根据共点共线约束，求解平行线组的最优消失点V′(x′,y′)，具体的，平行线组上靠近畸变中心的角点为距离畸变中心小于512个像素的角点。

参见图2，消失点是指三维世界中相互平行的一组直线经过相机的投影，在二维成像平面上的交点，也可理解为世界坐标系中无穷远点在二维成像平面的投影点，其中空间平行直线l₁，l₂和l₃在平面π上的投影分别为l₁′，l₂′和l₃′，三条直线沿延伸方向交于消失点V；O点为空间平行直线l₁，l₂和l₃垂直于延伸方向的消失点。消失点的位置仅与空间平行线的方向有关，在理想状态下，空间中同一组平行线对应的消失点应为同一个。

在上述图像靠近畸变中心位置，通过Harris角点检测方法，可以在太阳能帆板上检测出一系列相互正交的肋条的交点，在理想状态下，这些交点的连线应为相互平行的空间平行线，但是由于畸变的存在和角点检测算法误差的存在，导致这些点实际上并不共线。由于消失点是平行直线投影的交点，其位置的准确估计需要严格的空间平行直线投影，因此需要对这些交点的连线进行优化处理，以减轻上述因素造成的误差。首先，避免畸变带来的影响：根据相机非线性成像模型可知，图像在畸变中心处的畸变较小，在远离畸变中心的区域畸变将会逐渐增大，而畸变中心与图像的成像中心基本一致，因此在成像中心附近选择角点检测算法检测出的交点可以近似看作是未受畸变影响的点；其次，减小Harris角点检测算法误差：Harris角点检测算法误差的存在导致本应共线的点之间并不能严格共线，定义，靠近畸变中心的角点个数为n，n个角点所在的直线方程为L₀，A₀、B₀、C₀为直线方程为L₀的常数系数，n≥1且为整数；优化n个角点到直线方程L₀的距离之和为目标函数Ed₀，目标函数最小时对应的直线方程为优化直线方程；目标函数Ed₀公式如下：

其中，(x_i,y_i)为第i个角点的坐标，i＝1，2，…，n；由于Harris角点检测的误差有限，点偏离直线的程度不大，所以在优化过程中，可以由任意两点间计算得到的直线方程参数作为初始值，避免因初始值不确定而导致结果发散的问题。

经过上述步骤，可以获得靠近畸变中心的平行线组投影，这些平行线组投影直线已经最大程度地减轻了畸变和角点检测误差带来的影响，但是由于消失点对误差极为敏感，这些在成像平面中本应相交于一点的平行线组投影直线并未交于一点，针对这一情况，需要进行进一步优化。

根据平行线组上靠近畸变中心的角点，获得N条直线，，N≥3，所述直线为平行线组的投影，其中，第j条直线对应直线方程表示为：

L_j:A_jx+B_jy+C_j＝0，j＝1,2…,N；

理论上N条直线应交于一点，即消失点，该消失点到所有直线的距离也应该为零，该距离可以表示为：

其中，A_j、B_j、C_j为第j条直线对应直线方程中的常数；N条直线中任意两条的交点坐标D_pq(x_pq,y_pq)表示为：

其中，p为第p条直线对应直线方程，q为第q条直线对应直线方程，A_p、B_p、C_p为第p条直线对应直线方程中的常数；A_q、B_q、C_q为第q条直线对应直线方程中的常数；任意两直线的交点到所有直线的距离之和Ed(V,L_j)最小时，对应的V′(x′,y′)为最优消失点；任意两直线的交点到所有直线的距离之和公式如下：

其中，(x_V,y_V)为待优化的消失点坐标；为了避免目标函数在优化过程中出现发散等问题，需要确定一个合理的初值，由于任意两直线交点集合的质心坐标可以体现点到直线距离的平均水平，因此函数Ed(V,L_j)优化时初始值为任意两直线交点集合的质心坐标/>计算式如下：

S3、采用Harris角点检测方法，提取步骤S2中同一平行线组上远离畸变中心的角点，求解畸变消失点V^*(x^*,y^*)，并根据消失点一致性约束，建立畸变系数求解目标函数；具体的，平行线组上远离畸变中心的角点为距离畸变中心大于等于512个像素的角点。

在靠近畸变中心选择角点，通过基于共线约束的平行线提取方法获取平行线特征，再基于共点约束，可求取最优消失点；而根据相机非线性成像模型可知，远离畸变中心位置的角点受畸变影响严重，利用远离畸变中心位置的角点得到消失点中包含的畸变信息。因此，基于消失点一致性的畸变矫正算法的基本原理就是将根据远离畸变中心位置处角点得到的消失点和由步骤S2中得到的最优消失点进行比较，将其差值作为目标函数，进而实现畸变系数的优化求解，畸变系数求解目标函数E(k₁,k₂,k₃,p₁,p₂)公式如下：

E(k₁,k₂,k₃,p₁,p₂)＝||V^*[x^*(k₁,k₂,k₃,p₁,p₂),y^*(k₁,k₂,k₃,p₁,p₂)]-V′(x′,y′)||

其中，k₁,k₂,k₃,p₁,p₂为待优化畸变系数，k₁为一阶径向畸变系数，k₂为二阶径向畸变系数，k₃为三阶径向畸变系数，p₁一阶切向畸变系数，p₂为二阶切向畸变系数；需要说明的是，由于二阶切向畸变和三阶径向畸变己经能够很好的反映摄像机的实际情况，考虑过多畸变参数不仅无法提高标定精度，反倒会影响标定算法的稳健性。因此，在本实施例中的非线性成像模型中，畸变因素只考虑了二阶切向畸变p₁、p₂和三阶径向畸变k₁、k₂、k₃。

S4、采用LM(Levenberg-Marquardt)优化算法进行非线性优化，求解各个畸变系数k₁,k₂,k₃,p₁,p₂，判断迭代是否收敛若迭代不收敛，则返回步骤S2，更新靠近畸变中心的角点及远离畸变中心的角点；若迭代收敛，则获得最终畸变系数，完成在轨畸变系数标定。

本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述基于消失点一致性的空间相机在轨畸变系数标定方法的步骤。计算机可读存储介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

还提供一种计算机设备，计算机设备包括处理器、与所述处理器连接的存储器以及可在所述处理器上运行的计算机程序，该处理器执行所述计算机程序时实现上述基于消失点一致性的空间相机在轨畸变系数标定方法的步骤；此处的计算机设备可以是计算机、笔记本、掌上电脑，及各种云端服务器等计算设备，处理器可以是通用处理器、数字信号处理器、专用集成电路或其他可编程逻辑器件等。

Claims (9)

1.一种基于消失点一致性的空间相机在轨畸变系数标定方法，其特征在于，包括以下步骤：

S1、获取一幅太阳能帆板任意位置处的图像，所述太阳能帆板设置在目标航天器上；

S2、获取步骤S1中图像上的畸变中心，在靠近畸变中心处选取一个平行线组，所述平行线组包含至少三条平行线；

提取平行线组上靠近畸变中心的角点，根据共点共线约束，求解平行线组的最优消失点V′(x′,y′)；

S3、提取步骤S2中同一平行线组上远离畸变中心的角点，求解畸变消失点V^*(x^*,y^*)，并根据消失点一致性约束，建立畸变系数求解目标函数，畸变系数求解目标函数E(k₁,k₂,k₃,p₁,p₂)公式如下：

E(k₁,k₂,k₃,p₁,p₂)＝||V^*[x^*(k₁,k₂,k₃,p₁,p₂),y^*(k₁,k₂,k₃,p₁,p₂)]-V′(x′,y′)||

其中，k₁,k₂,k₃,p₁,p₂为待优化畸变系数，k₁为一阶径向畸变系数，k₂为二阶径向畸变系数，k₃为三阶径向畸变系数，p₁一阶切向畸变系数，p₂为二阶切向畸变系数；

S4、采用LM优化算法，求解各个畸变系数k₁,k₂,k₃,p₁,p₂，判断迭代是否收敛：若迭代不收敛，则返回步骤S2，更新靠近畸变中心的角点及远离畸变中心的角点；若迭代收敛，则获得最终畸变系数，完成在轨畸变系数标定；

步骤S2中，共点共线约束和求解平行线组的最优消失点V′(x′,y′)具体为：

根据平行线组上靠近畸变中心的角点，获得N条直线，N≥3，所述直线为平行线组的投影，其中，第j条直线对应直线方程表示为：

L_j:A_jx+B_jy+C_j＝0，j＝1,2…,N；

其中，A_j、B_j、C_j为第j条直线对应直线方程中的常数；

N条直线中任意两条的交点坐标D_pq(x_pq,y_pq)表示为：

其中，p为第p条直线对应直线方程，q为第q条直线对应直线方程，A_p、B_p、C_p为第p条直线对应直线方程中的常数；A_q、B_q、C_q为第q条直线对应直线方程中的常数；

任意两直线的交点到所有直线的距离之和Ed(V,L_j)最小时，对应的V′(x′,y′)为最优消失点；任意两直线的交点到所有直线的距离之和公式如下：

其中，(x_V,y_V)为待优化的消失点坐标。

2.根据权利要求1所述的基于消失点一致性的空间相机在轨畸变系数标定方法，其特征在于：

步骤S2中，函数Ed(V,L_j)优化时初始值为任意两直线交点集合的质心坐标质心坐标/>计算式如下：

3.根据权利要求2所述的基于消失点一致性的空间相机在轨畸变系数标定方法，其特征在于：

步骤S2中，提取平行线组上靠近畸变中心的角点采用Harris角点检测方法。

4.根据权利要求3所述的基于消失点一致性的空间相机在轨畸变系数标定方法，其特征在于：

步骤S2中，还包括，优化Harris角点检测误差，获得优化直线方程；具体为：

定义，靠近畸变中心的角点个数为n，n个角点所在的直线方程为L₀，A₀、B₀、C₀为直线方程为L₀的常数系数，n≥1且为整数；

优化n个角点到直线方程L₀的距离之和为目标函数Ed₀，目标函数最小时对应的直线方程为优化直线方程；

目标函数Ed₀公式如下：

其中，(x_i,y_i)为第i个角点的坐标，i＝1，2，…，n。

5.根据权利要求4所述的基于消失点一致性的空间相机在轨畸变系数标定方法，其特征在于：

步骤S2中，目标函数Ed₀对应直线方程L₀的参数初始值，采用n个角点中任意两点所在的直线方程对应的常数系数。

6.根据权利要求5所述的基于消失点一致性的空间相机在轨畸变系数标定方法，其特征在于：

步骤S3中，提取步骤S2中同一平行线组上远离畸变中心的角点采用Harris角点检测方法。

7.根据权利要求1-6任一项所述的基于消失点一致性的空间相机在轨畸变系数标定方法，其特征在于：

步骤S2中，平行线组上靠近畸变中心的角点为距离畸变中心小于512个像素的角点；

步骤S3中，平行线组上远离畸变中心的角点为距离畸变中心大于等于512个像素的角点。

8.一种计算机存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1-7任一项所述基于消失点一致性的空间相机在轨畸变系数标定方法的步骤。

9.一种计算机设备，包括处理器、与所述处理器连接的存储器以及可在所述处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1-7任一项所述基于消失点一致性的空间相机在轨畸变系数标定方法的步骤。