CN103033166B - 一种基于合成孔径聚焦图像的目标测距方法 - Google Patents

Abstract

本发明公开了一种基于合成孔径聚焦图像的目标测距方法。本发明包括：步骤1、利用小孔成像模型摄像机获取与目标视线垂直的等间隔线阵机位图像序列，线阵与目标视线交点处机位的图像作为基准图像；步骤2、将可测距离范围分成多个距离段，获取各距离段所对应的像差校正叠加图像；每一个距离段对应一幅像差校正叠加图像；步骤3、计算基准图像中每个像素的邻域与每一幅像差校正叠加图像中相应区域的相似度，并选取相似度随像差校正叠加图像变化的范围大于一预设阈值的像素作为可测距像素；步骤4、相似度最大的像差校正叠加图像所对应的距离段即为该可测距像素对应目标点所处的距离段。本发明具有实现成本低、抗干扰能力强、算法简单等优点。

Description

一种基于合成孔径聚焦图像的目标测距方法

技术领域

本发明涉及一种测距方法，尤其涉及一种基于合成孔径聚焦图像的目标测距方法，属于测绘技术领域。

背景技术

测量目标距离的方法有多种，如基于激光脉冲时间差的点测距法、基于幅度调制波相位差的深度获取、几何光学聚焦法、Moire拓扑技术、全息干涉测量法、Fresnel衍射技术和结构光法等。超声也常用来获取深度信息。计算机立体视觉技术近年来在许多领域得到广泛应用。基本方法是从两个或多个视点去观察同一场景，获得在不同视角下的一组图像，获得不同图像中对应像素间的视差，然后通过三角计算测量出场景中目标的深度信息,它需要确定双目或多目图像中的对应点，这是一个很困难的问题。当空间三维场景被投影为二维图像时，一些有用信息由于投影而丢失了，同一景物在不同视点下的图像中会有很大的不同，受遮挡或阴影的影响，景物的若干点有可能不出现在所有图像中，而且场景中的诸多变化因素，如光照条件、噪声干扰、景物几何形状的畸变、表面物理特性以及摄像机特性等，都被综合到单一的图像灰度值中，要仅由这一灰度值确定以上诸多因素是十分困难的，至今这个问题还没有得到很好的解决。增大基线长度可以改善深度测量精度，但同时会增大图像间的差异，增加匹配的困难程度。

多机位小孔成像可合成为大孔径图像，与单镜头成像一致。日本有文献[Kusumoto,N.;Hiura,S.;Sato,K.Uncalibrated Synthetic Aperture for Defocus Control IEEEConference on Computer Vision and Pattern Recognition,2009.CVPR 2009.P:2252-2259]研究了利用合成孔径方法对针孔成像照片进行艺术加工，使之产生非主体散焦效果，以突出视觉重点。合成孔径雷达成像技术目前已成熟。单目聚/散焦测距法发展较为成熟，根据合成孔径原理使用多个摄像机可获得单目大孔径效应，因此可借鉴单目成像丰富的聚/散焦测距算法，使得合成孔径成像测距拥有较高的发展基础。由于符合针孔成像特点的数码设备造价很低，成像结果便于数字化处理，合成孔径成像的发展前景广阔。

发明内容

本发明所要解决的技术问题在于克服现有测距技术的不足，提供一种基于合成孔径聚焦图像的目标测距方法，具有实现成本低、抗干扰能力强、算法简单等优点。

本发明的基于合成孔径聚焦图像的目标测距方法，包括以下步骤：

步骤1、利用小孔成像模型摄像机获取与目标视线垂直的等间隔线阵机位图像序列，线阵与目标视线交点处机位的图像作为基准图像；

步骤2、将可测距离范围分成多个距离段，对于每一个距离段，先分别计算出所述图像序列中各幅图像与基准图像之间的像差，然后将图像序列中各幅图像进行像差校正后进行叠加，得到该距离段所对应的像差校正叠加图像；每一个距离段对应一幅像差校正叠加图像；

步骤3、计算基准图像中每个像素的邻域与每一幅像差校正叠加图像中相应区域的相似度，并选取相似度随像差校正叠加图像变化的范围大于一预设阈值的像素作为可测距像素；

步骤4、对于基准图像中的每一个可测距像素，选出相应区域与该可测距像素的邻域的相似度最大的像差校正叠加图像，该像差校正叠加图像所对应的距离段即为该可测距像素对应目标点所处的距离段。

上述技术方案中，所述等间隔线阵机位图像序列可以利用等间隔排列的多个摄像机同时或不同时拍摄获得，也可利用同一小孔成像模型摄像机等间隔移动拍摄得到，尤其是后者对于航拍测距的应用更具有重要意义。

相比现有技术，本发明具有如下有益效果：

1）用信号实时处理方法实现成像面的灵活移动（和光圈灵活张缩），实现单目聚焦测量距离，避免了光学镜头聚焦成像的机械动作，测量速度快，使用便利；

2）与光学大孔径镜头复杂的制造工艺相比，形成同样大合成孔径更容易，大合成孔径聚焦测距精度高，可广泛应用于生产、科研、军事等领域，尤其可应用于航拍图像序列，测绘出地面场景三维图像；

3）被动测绘具有隐蔽，无电磁波污染的优点，测绘成本低；

4）若主动向目标区投影纹理图案，可使目标区图像信息熵合理分布，可测距点分布符合需要；

5）由于线阵相邻摄像机基线很短，平缓了视点不同造成的遮挡图像变化，图像序列合成像对单个图像光照、摄像机抖动、噪声等差异有明显抑制能力，这种方法不需要进行图像匹配，算法稳定。

附图说明

图1a～图1d为合成孔径聚焦成像的原理示意图，其中，图1a显示目标点p₁经大孔径光学镜头聚焦在成像面上；图1b显示距光心线r处有一子孔径，经过此子孔径成像，p₁仍聚焦在画面中心，而另一距离处的目标点p₂成像距画面中心存在像差ε，它与r线性正相关；图1c、图1d显示全孔径成像p₁为一点，而p₂成像为一圆，它由各子孔径成像组成；

图2为本发明的线阵机位示意图；

图3本发明基于合成孔径聚焦图像的目标测距方法的流程示意图；

图4为等间隔线阵机位图像序列示例；

图5a、图5b分别为较近和较远的两个距离段所对应的像差校正叠加图像；

图6为基准图像的信息熵分布二值化图像；

图7为合成孔径目标深度图像。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明：

为了便于公众充分理解本发明的技术方案，首先对合成孔径聚焦成像的基本原理进行介绍：

大孔径镜头成像时，通过镜头各部位的入射光线经镜头折射后，目标光线重新会聚，在成像面成二维像。若将入射光线按所通过的子孔径分离成像，再用信号处理方法叠加，就得到合成孔径像，成像结果与大孔径镜头成像一致。图1a显示目标点p₁经大孔径光学镜头聚焦在成像面上；图1b显示距光心线r处有一子孔径，经过此子孔径成像，p₁仍聚焦在画面中心，而另一距离处的目标点p₂成像距画面中心存在像差ε，它与r线性正相关。图1c、图1d显示全孔径成像p₁为一点，而p₂成像为一圆，它由各子孔径成像组成，因此我们能仿真大孔径镜头成像过程，将各子孔径像按一定规则叠加，得到合成孔径像，它具有大孔径镜头成像的特征，可以应用单目测距的方法测量合成孔径目标的距离。形成合成孔径像，并不要求图1d大孔径圈中所有子孔径像都参与计算，只需部分子孔径像参与叠加计算，就能形成合成孔径效应。

本发明的思路就是利用合成孔径聚焦成像的原理进行目标测距，具体如图3所示，包括以下步骤：

步骤1、利用小孔成像模型摄像机获取与目标视线垂直的等间隔线阵机位图像序列，线阵与目标视线交点处机位的图像作为基准图像。

上述图像序列可以利用等间隔排列的多个摄像机同时或不同时拍摄获得，也可利用同一小孔成像模型摄像机等间隔移动拍摄得到（例如航拍图像序列）。本具体实施方式中以图2所示的摄像机线阵为例进行说明，线阵中各摄像机成像符合小孔成像模型，这样各摄像机可看成大孔径镜头的线阵子孔径。如图2所示，该摄像机线阵中的2N+1个相同摄像机C_n平行放置，n=-N,…,0,…N，C₀为基准摄像机，所有摄像机均匀固定在长度为2NB的横杆上，摄像机间距为B，基准摄像机C₀在横杆中心。摄像机的镜头方向与横杆垂直，所有摄像机中轴线共面平行。这样一来，摄像机C_n与基准摄像机C₀的基线为nB。利用该摄像机线阵中的摄像机同时或不同时对目标进行拍摄，可得到包含2N+1幅图像的图像序列。图4为等间隔线阵机位图像序列的一个示例，拍摄用摄像机为超景深的小孔镜头，图像序列并非同时采集，各图像光照差异很大。合成孔径聚焦立体视觉要求获得同一目标不同机位的多个图像，对光照、摄像机差异、噪声等有较强的适应能力。图像序列可以来自摄像机阵列，也可以是同一摄像机移位分时拍摄。实际上航拍图像序列处理，移动摄像机图像序列处理，也可采用合成孔径原理获得深度信息。

步骤2、将可测距离范围分成多个距离段，对于每一个距离段，先分别计算出所述图像序列中各幅图像与基准图像之间的像差，然后将图像序列中各幅图像进行像差校正后进行叠加，得到该距离段所对应的像差校正叠加图像；每一个距离段对应一幅像差校正叠加图像。

仍以图2中的摄像机线阵为例，各摄像机坐标系的原点是各自镜头的光心，Z轴通过光心指向场景点方向，且垂直于图像平面，X轴通过光心沿着基线方向，Y轴通过光心垂直于另外两轴，这三者满足右手定则。x_n为目标点P在各图像坐标系中横坐标，z为P到摄像机主平面的距离，nB为基线长度，f为焦距。由几何关系可以得出摄像机C_n与基准摄像机C₀的像差为：其中L_c为靶面像素距离。根据上式即可得到z取不同值时（不同的值对应不同的距离段）图像序列中各图像与基准图像之间的像差。对于每个距离段，根据计算出的像差对序列中各幅图像进行像差校正，并将像差校正后的2N+1幅图像进行叠加，则得到对应该距离段的像差校正叠加图像，每一个距离段对应一幅像差校正叠加图像。若基准摄像机C₀的图像为记为s₀(x,y)，则叠加信号为：

$s_{\mathrm{\Σ}}(x,y)=\underset{n=-N}{\overset{N}{\mathrm{\Σ}}}{s}_0(x-\frac{\mathrm{nBf}}{L_{c}z},y)=\underset{n=-N}{\overset{N}{\mathrm{\Σ}}}{s}_0(\frac{\mathrm{Bf}}{L_{c}z}(\frac{L_{c}z}{\mathrm{Bf}}x-n),y)h\left(n\right)=s_0(x,y)*h\left(\frac{L_{c}z}{\mathrm{Bf}}x\right)$

其中 $h\left(n\right)=\left\{\begin{array}{cc}1& -N\≤n\≤N\\ 0& \mathrm{else}\end{array}\right.$ 为合成孔径像素扩散核，与光学孔径不同，合成孔径核扩散范围可以很大，扩散方式可以是离散的，扩散维和方向也可以人为设计。移位可以是亚像素级，能使合成孔径像聚焦在任意距离处，即成像面可以任意移动。直接将所有图像序列叠加所得合成像对无穷远处目标聚焦。摄像机线阵长度2NB为合成孔径长度，舍弃线阵两端摄像机图像可类比于缩小了合成镜头的光圈。由于线阵相邻摄像机基线很短，减轻了视点不同造成的遮挡图像变化。图5a和图5b显示了两幅图像序列合成像，图5a聚焦在近景处，图5b聚焦在相对远景处，由于合成孔径直径比光学镜头大得多，所以微小的目标距离差异，也能造成明显的聚/散焦效应。图像序列合成像对单个图像光照、摄像机抖动、噪声等差异有明显抑制能力。

步骤3、计算基准图像中每个像素的邻域与每一幅像差校正叠加图像中相应区域的相似度，并选取相似度随像差校正叠加图像变化的范围大于一预设阈值的像素作为可测距像素。

区域图像的相似度定义为分区内： $R_z(x,y)=\frac{{\mathrm{\Σ}}_{x,y}{s}_{\mathrm{\Σ}}(x,y)s_0(x,y)}{{\mathrm{\Σ}}_{x,y}{s}_{\mathrm{\Σ}}(x,y){\mathrm{\Σ}}_{x,y}{s}_0(x,y)},$ 式中(x,y)为分区内像素坐标。例如，取边长为5个像素的方滑块，作为滑块中心像素邻域，在画面中由左至右，由上向下依次滑遍整幅画面，计算滑块内基准图像与叠加图相似度R_z(x，y)时，只需修正滑块滑动引起的边界变化像素对应的∑_x，ys_∑(x,y)s₀(x,y)，∑_x，ys_∑(x,y)和∑_x，ys₀(x,y)变化就可，使得相似度计算效率极高。以有序间隔改变z值计算R_z(x,y)，重复上述过程，得到所有z值（距离段）对应的R_z(x，y)。这样，基准图像中每个像素均在每一个距离段下存在一个对应的相似度值。

应用聚焦效应测距时目标区图像熵不能太小，即目标区图像要有一定信息量，否则不会产生聚散焦差别，图6显示了基准图像信息熵分布二值化图像，其中白色区域表示该区域图像有足够的目标信息量，可以测距，而零值区表示该区域图像没有足够的目标信息量，不可以测距。然而，以信息熵分割图像十分复杂，会困扰于各个图像采样条件差异。实际上通过考察R_z(x，y)就可区分聚散焦差别，并分割图像。熵小的图像区域其R_z(x,y)随z（或距离段）变化小，反之则动态变化范围大。给相似度R_z(x,y)随z（或距离段）动态变化范围设一阈值，对基准图像中各像素邻域，相似度R_z(x，y)动态变化范围（即相似度最大值与最小值之差）大于该阈值的目标测距才是有效测距，该像素为可测距像素，小于或等于该阈值的像素则不可用来进行测距。

步骤4、对于基准图像中的每一个可测距像素，选出相应区域与该可测距像素的邻域的相似度最大的像差校正叠加图像，该像差校正叠加图像所对应的距离段即为该可测距像素对应目标点所处的距离段。

对于基准图像中的可测距像素，其最大相似度R_z(x，y)所对应的z值（距离段）即为该像素对应目标点所在的距离段。根据得到的各可测距像素对应目标点的距离，可得到如图7所示的合成孔径目标深度图像，图中亮度表示目标深度，左侧的亮度与距离对照表的尺度单位为米。利用该图结合图6，可得目标有效部位的深度（距离）。

本发明基于合成孔径聚焦图像的目标测距方法只对特定距离目标聚焦，聚焦目标信号能量集中，受其他距离目标信号影响小，聚焦像能量集中在小区域，易于与其他距离目标区分，算法稳定，适于工程应用。由 $x_0-x_n=\frac{\mathrm{nBf}}{{\mathrm{zL}}_c}$ 得 $\mathrm{dz}=\frac{z^2}{\mathrm{nBf}}d(x_0-x_n),$ n=-N,…,0,…N。其中的最小值为这表明距离分辨率与距离平方成正比，距离越远测距精度越差。式中d(x₀-x_n)是图像可区分像素位移，由算法和***硬件共同决定，通常把靶面上一个像素点距离作为d(x₀-x_n)的评估值，它受硬件发展水平限制。可见增加B的长度或选用长焦距镜头可提高分辨率，但会带来测距范围变化。通常认为测距最远距离受目标可识别图像大小限制，测距最近距离受测距死区限制，进入测距死区后，有部分线阵摄像机看不见目标，影响图像聚焦测距。摄像机分布密度，分布是否均匀影响非距离z处场景图像是否被均匀平滑。摄像机数量增加意味着计算量增加和***误差增加。

合成孔径聚焦测距需利用目标图像的纹理和边缘信息，若主动向目标区投影纹理图案，可使目标区图像信息熵合理分布，测距点符合需要。由于线阵相邻摄像机基线很短，平缓了视点不同造成的遮挡图像变化。这种算法不需要进行图像匹配，直接聚焦目标，算法极其稳定，能实时处理。

Claims (2)

1.一种基于合成孔径聚焦图像的目标测距方法，其特征在于，包括以下步骤：

步骤1、利用小孔成像模型摄像机获取与目标视线垂直的等间隔线阵机位图像序列，线阵与目标视线交点处机位的图像作为基准图像；

步骤2、将可测距离范围分成多个距离段，对于每一个距离段，先分别计算出所述等间隔线阵机位图像序列中各幅图像与基准图像之间的像差，然后将等间隔线阵机位图像序列中各幅图像进行像差校正后进行叠加，得到该距离段所对应的像差校正叠加图像；每一个距离段对应一幅像差校正叠加图像；

步骤3、计算基准图像中每个像素的邻域与每一幅像差校正叠加图像中相应区域的相似度，并选取相似度随像差校正叠加图像变化的最大变化量大于一预设阈值的像素作为可测距像素；

步骤4、对于基准图像中的每一个可测距像素，选出相应区域与该可测距像素的邻域的相似度最大的像差校正叠加图像，该像差校正叠加图像所对应的距离段即为该可测距像素对应目标点所处的距离段。

2.如权利要求1所述基于合成孔径聚焦图像的目标测距方法，其特征在于，所述等间隔线阵机位图像序列利用同一小孔成像模型摄像机等间隔移动拍摄得到。