CN107680159B - 一种基于投影矩阵的空间非合作目标三维重建方法 - Google Patents

Abstract

本发明提供了一种基于投影矩阵的空间非合作目标三维重建方法，首先将左右摄像机拍摄的图像进行特征点提取，再依据图像匹配原则将对应的特征点匹配；然后根据对极几何约束原理，求出旋转矩阵R和平移矩阵T；最后通过三维空间点到图像平面投影矩阵关系，计算出三维空间点坐标。本发明在图像特征点匹配正确的情况下，仅通过对极几何约束便可以求解出摄像机内外参数，省去了摄像机标定的繁琐步骤，减小了计算量，缩短了重建时间，可以满足航天器操作对实时性的要求。

Description

一种基于投影矩阵的空间非合作目标三维重建方法

技术领域

本发明涉及一种空间非合作目标三维重建方法，属于三维重建领域。

背景技术

随着航天技术的发展，人类对外太空资源的探索和开发越来越深入。航天器发生故障、失效或完成任务后被抛弃，将在空间自由漂浮，即成为太空垃圾。因此，以传统航天器的在轨维护、失效卫星清理、空间碎片清理、太空攻防等为目的的空间非合作目标捕获技术成为了空间机器人领域新的发展方向。而获取目标的准确位置信息是实现对其进行检测、逼近、交会对接及维修等操作的前提。空间非合作目标三维重建技术作为获取目标信息的有效技术从而便成为了研究热点。

目前，国内外学者围绕空间非合作目标三维重建已经展开了相关研究工作。Tommasi提出摄影重建方法，核心思想是利用因式分解法，从两张图像恢复出场景的几何结构和摄像机运动信息。Faugeras提出采用不同的几何约束信息，将射影重建转化为欧氏空间的度量重建，但此方法仅适用于各种几何条件约束下的对象，且要求存在射影重建。Pollefeyes给出了更为普遍的方法，在摄像机的焦距长度变化情况下，使用参数范围内自动缩放方法来实现度量重建。Longuet-Higgins提出摄像机运动中恢复三维结构(Structure From Motion,SFM)，主要思想是利用特征点检测及计算机几何约束关系等关键技术，计算出摄像机的内部参数及摄像机的方向、位置等信息，再重建出场景的三维结构模型。Yasutaka Furukawa和Jean Ponce提出基于面片的三维多视角立体视觉算法(Patch-Based Multi-View Stereo,PMVS)，其思想主要分为三部分：初始化特征点匹配、面片生成扩展、面片筛选。上述方法大都是基于三角测量法对三维空间点坐标进行求解，求解过程计算耗时长，不能满足空间操作的实时性要求。

发明内容

为了克服现有技术的不足，本发明提供一种基于投影矩阵空间非合作目标三维重建方法，能够在给定图像平面像素点坐标位置的情况下，通过投影矩阵和摄像机内外参数，求解得到三维空间点坐标，进而对空间非合作目标进行三维重建。

本发明解决其技术问题所采用的技术方案包括以下步骤：

(1)采用针孔模型将三维空间点投影到相机像素平面中，设O-x-y-z为相机坐标系，z轴指向相机前方，x向右，y向下，O为摄像机光心；三维空间中的点P，经过光心O投影之后，落在相机图像平面O'-x'-y'上，成像点为P'；设P的坐标为[X,Y,Z]^T，P'的坐标为[X',Y',Z']^T，相机图像平面到光心的距离为f，则

(2)设在图像平面上固定一个像素平面o-u-v，像素坐标系的原点o位于图像平面的左上角，u轴向右与x轴平行，v轴向下与y轴平行；像素坐标系与成像平面之间相差了一个缩放和一个原点的平移，假设像素坐标在u轴上缩放了α倍，在v上缩放了β倍，同时原点平移了[c_x,c_y]^T，则存在

此时像素p'坐标为[u,v]^T，空间点P坐标为[X,Y,Z]^T，K为摄像机内参矩阵；

(3)根据步骤(2)得到的空间点和图像像素转换关系，此时从两张图像中得到一对配准好的特征点p₁'，p'₂，则有Zp′₁＝KP、Zp'₂＝K(RP+T)，R、T为旋转矩阵和平移矩阵；取x₁＝K^-1p′₁，x₂＝K^-1p'₂，则有x₂＝Rx₁+T；此时得到对极几何约束

根据配准点的像素位置求出R、T；

(4)假设第i副图像投影矩阵为Ni，摄像机内参数为

旋转矩阵为R_i，平移向量为T_i；第i+1副图像投影矩阵为N_i+1，摄像机内参数为

旋转矩阵为R_i+1，平移向量为T_i+1；则有N_i＝K_i(R_i/T_i)，N_i+1＝K_i+1(R_i+1/T_i+1)；根据步骤(3)中的坐标系转换关系，得Zp′_i=N_i·P,Zp'_i+1=N_i+1.P；其中，

代入求解得

其中

即[X_w,Y_w,Z_w]＝BA^-1。

本发明的有益效果是：在图像特征点匹配正确的情况下，仅通过对极几何约束便可以求解出摄像机内外参数，省去了摄像机标定的繁琐步骤，最后通过投影矩阵关系，恢复出未知物体的三维状态，从而减小了计算量，缩短了重建时间，可以满足航天器操作对实时性的要求，有利于卫星、空间机器人等执行检测、逼近、交会对接及维修等操作。

附图说明

图1是针孔相机模型示意图；

图2是相似三角形示意图；

图3是图像坐标系和像素坐标系示意图；

图4是对极几何约束示意图；

图5是双目立体相机示意图；

图6双目立体视觉输入图像；

图7不同视角下的三维重建点云结果；

图8加上纹理的三维重建结果。

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

本发明的思路是：首先将左右摄像机拍摄的图像进行特征点提取，再依据图像匹配原则将对应的特征点匹配；然后根据对极几何约束原理，求出旋转矩阵R和平移矩阵T；最后通过三维空间点到图像平面投影矩阵关系，计算出三维空间点坐标。

具体求解方法如下：

(1)首先将三维空间点投影到相机像素平面中，对于这种的投影关系，我们采用针孔模型来对这种映射关系进行建模。设O-x-y-z为相机坐标系，z轴指向相机前方，x向右，y向下，O为摄像机光心。三维空间中的点P，经过光心O投影之后，落在相机图像平面O'-x'-y'上，成像点为P'。设P的坐标为[X,Y,Z]^T，P'为[X',Y',Z']^T，并且设相机图像平面到光心的距离为f(焦距)。则根据相似三角形关系

所以

(2)基于步骤(1)中给出的针孔模型，描述的是点P和它的像之间的空间关系。不过，在相机中，最终获得的是一个个的像素，还需要在成像平面上对像进行采样和量化。为了描述传感器将感受到的光线转换成图像像素的过程，设在图像平面上固定一个像素平面o-u-v。像素坐标系通常的定义方式是：原点o位于图像平面的左上角，u轴向右与x轴平行，v轴向下与y轴平行。像素坐标系与成像平面之间，相差了一个缩放和一个原点的平移，在此，假设像素坐标在u轴上缩放了α倍，在v上缩放了β倍，同时原点平移了[c_x,c_y]^T。存在

此时像素p'坐标为[u,v]^T，空间点P坐标为[X,Y,Z]^T，K为内参矩阵。

(3)根据步骤(2)得到的空间点和图像像素转换关系，此时从两张图像中得到一对配准好的特征点。假设像素点分别为p₁'，p'₂，则有Zp′₁＝KP,Zp'₂＝K(RP+T)，R,T为旋转矩阵和平移矩阵。取x₁＝K^-1p′₁，x₂＝K^-1p'₂，则有x₂＝Rx₁+T。此时两边同时左乘T^{^}，得到T^{^}x₂＝T^{^}Rx₁；再同时左乘x₂ ^T，得到

上式即为对极几何约束。该约束简单地给出了两个配准点的空间位置关系，我们只需要根据配准点的像素位置求出R,T。

(4)根据步骤(3)，我们已经求得R,T。假设第i副图像投影矩阵为N_i，摄像机内参数为K_i，旋转矩阵为R_i，平移向量为T_i；第i+1副图像投影矩阵为N_i+1，摄像机内参数为K_i+1，旋转矩阵为R_i+1，平移向量为T_i+1。则有N_i＝K_i(R_i/T_i)，N_i+1＝K_i+1(R_i+1/T_i+1)。再根据步骤(3)中的坐标系转换关系，得Zp'_i=N_i·P,Zp'_i+1=N_i+1·P。代入求解得

其中

即[X_w,Y_w,Z_w]＝BA^-1。

本发明的实施例包括以下步骤：

第一步，首先将三维空间点投影到相机平面上，对于这种投影关系，采用针孔模型来对这种映射关系进行建模。如图1所示为针孔相机模型示意图。相机坐标系为O-x-y-z，三维空间点坐标P为(X,Y,Z)^T；图像坐标系为O'-x'-y'，成像点为P'(X',Y',Z')^T。

第二步，从图1中可以看出，三维空间点坐标P和成像点P’存在如图2的相似三角形关系，有：

整理得：

第三步，如图3，在成像平面上固定着一个像素平面o-u-v。设像素坐标在u轴上缩放了α倍，在v上缩放了β倍，同时原点平移了[c_x,c_y]^T。那么，P’的坐标与像素坐标[u,v]^T的关系为

将式(3)带入式(2)并把αf合并成f_x，把βf合并成f_y，得：

其中，f单位为米，α，β单位为像素/米，所以f_x，f_y的单位为像素。把该式写成矩阵形式：

其中K为摄像机内参数矩阵。此时，把左摄像机坐标系当作世界坐标系，则右坐标系与左摄像机坐标系存在一个旋转和平移的关系。

第四步，如图4，我们从两张图像中找到了一对配对好的特征点p₁',p₂'，右图像与左图像存在着旋转矩阵R和平移矩阵T的关系。两个相机中心分别为O₁,O₂，O₁,O₂,P三点确定的平面为极平面。O₁O₂称为基线，O₁O₂连线与像平面I₁,I₂的交点分别为e₁,e₂，称为极点。极平面与两个像平面I₁,I₂之间的相交线l₁,l₂为极线。由针孔模型，有：

Zp'₁=KP,Zp'₂=K(RP+T) (6)

如果使用齐次坐标，也可以把上式写成在非零常数下成立的等式：

p′₁＝KP,p'₂＝K(RP+T) (7)

取：

x₁＝K^-1p′₁,x₂＝K^-1p'₂ (8)

x₁,x₂是两个像素点的归一化平面上的坐标。带入式(7)，得：

x₂＝Rx₁+T (9)

两边同时左乘T^{^}，相当于两侧同时与T做外积：

T^{^}x₂＝T^{^}Rx₁ (10)

再同时左乘x₂ ^T:

观察等式左侧，T^{^}x₂是一个与T和x₂都垂直的向量。把它再与x₂做内积时，得到0。

重新代入p₁',p₂'，有：

p'₂ ^TK^-TT^{^}RK^-1p₁'＝0 (13)

这两个式子都称为对极几何约束。它的意义在于O₁,O₂,P三者共面，对极几何约束同时包含了平移和旋转。所以我们可以通过配对点的像素位置求解出R和T。

第五步，根据相机坐标系与像素坐标系的关系，设投影矩阵分别为N₁、N₂。将左摄像机坐标系看为世界坐标系，则左、右两幅图像投影关系如下：

式中，I是3×3单位矩阵，R为旋转矩阵，T为平移矩阵。K₁，K₂分别是左右摄像机内参数。

世界坐标系投影到像素坐标系有如下的关系：

将该算法应用到第i副图像和第i+1副图像上。假设第i副图像投影矩阵为N_i，摄像机内参数为K_i，旋转矩阵为R_i，平移向量为T_i；第i+1副图像投影矩阵为N_i+1，摄像机内参数为K_i+1，旋转矩阵为R_i+1，平移向量为T_i+1。代入式(14)，则有：

根据式(16)，便可求出N_i、N_i+1。代入式(15)可得：

将

代入式(17)得：

整理得：

消去Z，得：

其中

所以，三维空间点P坐标为：

[X_w,Y_w,Z_w]＝BA^-1

最后，给出一个简单的仿真实验：

将卫星模型放在精密可控转台上，可控转台转速控制在3°/s。然后用双目相机对卫星模型进行成像，选取左、右摄像机的第一帧(如图6)作为三维重建***的输入，重建结果作为输出。

经过图像特征点提取、特征点匹配、深度信息获取等工作，再根据本发明提出的算法对卫星图像三维空间点坐标进行解算，最后在Matlab中显示的点云个数是458048个，重建所需时间是15s。同样选取两个不同视角的三维点云图，如图7所示。

最后再对三维点云添加纹理信息，得到最后的重建结果如图8所示。

Claims (1)

1.一种基于投影矩阵的空间非合作目标三维重建方法，其特征在于包括下述步骤：

(1)采用针孔模型将三维空间点投影到相机像素平面中，设O-x-y-z为相机坐标系，z轴指向相机前方，x向右，y向下，O为摄像机光心；三维空间中的点P，经过光心O投影之后，落在相机图像平面O′-x′-y′上，成像点为P′；设P的坐标为[X,Y,Z]^T，P′的坐标为[X′,Y′,Z′]^T，相机图像平面到光心的距离为f，则

(2)设在图像平面上固定一个像素平面o-u-v，像素坐标系的原点o位于图像平面的左上角，u轴向右与x轴平行，v轴向下与y轴平行；像素坐标系与成像平面之间相差了一个缩放和一个原点的平移，假设像素坐标在u轴上缩放了α倍，在v上缩放了β倍，同时原点平移了[c_x,c_y]^T，则存在

此时像素p′坐标为[u,v]^T，空间点P坐标为[X,Y,Z]^T，K为摄像机内参矩阵；

(3)根据步骤(2)得到的空间点和图像像素转换关系，此时从两张图像中得到一对配准好的特征点p₁′，p′₂，则有Zp′₁＝KP、Zp′₂＝K(RP+T)，R、T为旋转矩阵和平移矩阵；取x₁＝K^{- 1}p′₁，x₂＝K^-1p′₂，则有x₂＝Rx₁+T；两边同时左乘T^，相当于两侧同时与T做外积，此时得到对极几何约束

根据配准点的像素位置求出R、T；

(4)假设第i副图像投影矩阵为N_i，摄像机内参数为

旋转矩阵为R_i，平移向量为T_i；第i+1副图像投影矩阵为N_i+1，摄像机内参数为

旋转矩阵为R_i+1，平移向量为T_i+1；则有N_i＝K_i(R_i/T_i)，N_i+1＝K_i+1(R_i+1/T_i+1)；根据步骤(3)中的坐标系转换关系，得Zp′_i＝N_i·P,Zp′_i+1＝N_i+1·P；其中，

代入求解得

其中

即[X_w,Y_w,Z_w]＝BA^-1。

Images