CN105258673B - 一种基于双目合成孔径聚焦图像的目标测距方法、装置 - Google Patents
一种基于双目合成孔径聚焦图像的目标测距方法、装置 Download PDFInfo
- Publication number
- CN105258673B CN105258673B CN201510732130.9A CN201510732130A CN105258673B CN 105258673 B CN105258673 B CN 105258673B CN 201510732130 A CN201510732130 A CN 201510732130A CN 105258673 B CN105258673 B CN 105258673B
- Authority
- CN
- China
- Prior art keywords
- image
- target
- synthetic aperture
- information amount
- consistent information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000003384 imaging method Methods 0.000 claims abstract description 46
- 238000001514 detection method Methods 0.000 claims abstract description 26
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 18
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 17
- 230000003287 optical effect Effects 0.000 claims abstract description 16
- 238000003491 array Methods 0.000 claims abstract description 10
- 230000004075 alteration Effects 0.000 claims description 32
- 230000001629 suppression Effects 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000012937 correction Methods 0.000 description 13
- 238000005259 measurement Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 210000000887 face Anatomy 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- WXOMTJVVIMOXJL-BOBFKVMVSA-A O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O[Al](O)O.O[Al](O)O.O[Al](O)O.O[Al](O)O.O[Al](O)O.O[Al](O)O.O[Al](O)O.O[Al](O)O.O[Al](O)OS(=O)(=O)OC[C@H]1O[C@@H](O[C@]2(COS(=O)(=O)O[Al](O)O)O[C@H](OS(=O)(=O)O[Al](O)O)[C@@H](OS(=O)(=O)O[Al](O)O)[C@@H]2OS(=O)(=O)O[Al](O)O)[C@H](OS(=O)(=O)O[Al](O)O)[C@@H](OS(=O)(=O)O[Al](O)O)[C@@H]1OS(=O)(=O)O[Al](O)O Chemical compound O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O[Al](O)O.O[Al](O)O.O[Al](O)O.O[Al](O)O.O[Al](O)O.O[Al](O)O.O[Al](O)O.O[Al](O)O.O[Al](O)OS(=O)(=O)OC[C@H]1O[C@@H](O[C@]2(COS(=O)(=O)O[Al](O)O)O[C@H](OS(=O)(=O)O[Al](O)O)[C@@H](OS(=O)(=O)O[Al](O)O)[C@@H]2OS(=O)(=O)O[Al](O)O)[C@H](OS(=O)(=O)O[Al](O)O)[C@@H](OS(=O)(=O)O[Al](O)O)[C@@H]1OS(=O)(=O)O[Al](O)O WXOMTJVVIMOXJL-BOBFKVMVSA-A 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005755 formation reaction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/32—Measuring distances in line of sight; Optical rangefinders by focusing the object, e.g. on a ground glass screen
Landscapes
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Measurement Of Optical Distance (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于双目合成孔径聚焦图像的目标测距方法。本发明首先从结构相同的两个面阵处，以所述两个面阵的对称中心作为基准机位，对目标所在场景分别进行光学合成孔径成像，分别得到一组对应不同聚焦距离的合成孔径图像；然后以双目匹配位置相容信息量与非匹配位置相容信息量均值之差作为检测量，找出检测量最大的聚焦距离，如该聚焦距离的双目匹配位置相容信息量大于预设相容信息量门限值，则该聚焦距离即为目标距离。本发明还公开了一种基于双目合成孔径聚焦图像的目标测距装置。相比现有技术，本发明可有效抑制共模误差和散焦像干扰，改善合成孔径聚焦图像测距的性能。
Description
技术领域
本发明涉及一种测距方法，尤其涉及一种基于双目合成孔径聚焦图像的目标测距方法、装置。
背景技术
测量目标距离的方法有多种，如基于激光脉冲时间差的点测距法、基于幅度调制波相位差的深度获取、几何光学聚焦法、Moire拓扑技术、全息干涉测量法、Fresnel衍射技术和结构光法等。超声也常用来获取深度信息。计算机立体视觉技术近年来在许多领域得到广泛应用。基本方法是从两个或多个视点去观察同一场景，获得在不同视角下的一组图像，获得不同图像中对应像素间的视差，然后通过三角计算测量出场景中目标的深度信息,它需要确定双目或多目图像中的对应点，这是一个很困难的问题。当空间三维场景被投影为二维图像时一些有用信息由于投影而丢失了，同一景物在不同视点下的图像中会有很大的不同，受遮挡或阴影的影响，景物的若干点有可能不出现在所有图像中，而且场景中的诸多变化因素，如光照条件、噪声干扰、景物几何形状的畸变、表面物理特性以及摄像机特性等，都被综合到单一的图像灰度值中，要仅由这一灰度值确定以上诸多因素是十分困难的，至今这个问题还没有得到很好的解决。增大基线长度可以改善深度测量精度，但同时会增大图像间的差异，增加匹配的困难程度。多机位小孔成像可合成为大孔径图像，与单镜头成像一致。日本有文献[Kusumoto,N.；Hiura,S.；Sato,K.Uncalibrated Synthetic Aperturefor Defocus Control IEEEConference on Computer Vision and PatternRecognition,2009.CVPR2009.P:2252-2259]研究了利用合成孔径方法对针孔成像照片进行艺术加工，使之产生非主体散焦效果，以突出视觉重点。单目聚/散焦测距法发展较为成熟，根据合成孔径原理使用多个摄像机可获得单目大孔径效应，因此可借鉴单目成像丰富的聚/散焦测距算法，使得合成孔径成像测距拥有较高的发展基础。由于符合针孔成像特点的数码设备造价很低，成像结果便于数字化处理，合成孔径成像的发展前景广阔。
一篇中国发明专利(CN103033166B)公开了一种基于合成孔径聚焦图像的目标测距方法，该方法包括以下步骤：步骤1、利用小孔成像模型摄像机获取与目标视线垂直的等间隔线阵机位图像序列，线阵与目标视线交点处机位的图像作为基准图像；步骤2、将可测距离范围分成多个距离段，对于每一个距离段，先分别计算出所述图像序列中各幅图像与基准图像之间的像差，然后将图像序列中各幅图像进行像差校正后进行叠加，得到该距离段所对应的像差校正叠加图像；每一个距离段对应一幅像差校正叠加图像；
步骤3、计算基准图像中每个像素的邻域与每一幅像差校正叠加图像中相应区域的相似度，并选取相似度随像差校正叠加图像变化的范围大于一预设阈值的像素作为可测距像素；步骤4、对于基准图像中的每一个可测距像素，选出相应区域与该可测距像素的邻域的相似度最大的像差校正叠加图像，该像差校正叠加图像所对应的距离段即为该可测距像素对应目标点所处的距离段。该方法利用利用合成孔径聚焦成像的原理进行目标测距，具有实现成本低、抗干扰能力强、算法简单等优点。然而，获得精确的合成孔径聚焦像是困难的，尤其是大孔径，移动拍摄图像序列的聚焦更难；散焦像斑块的干扰也不容忽视；此外，合成孔径叠加像具有超分辨率重建潜力，而现有单目测距对此潜力难以利用。
发明内容
本发明所要解决的技术问题在于克服现有技术不足，提供一种基于双目合成孔径聚焦图像的目标测距方法，可有效抑制共模误差和散焦像干扰，改善合成孔径聚焦图像测距的性能。
本发明具体采用以下技术方案解决上述技术问题：
一种基于双目合成孔径聚焦图像的目标测距方法，包括以下步骤：
步骤1、从两个结构相同的面阵处，以所述两个面阵的对称中心作为基准机位，对目标所在场景分别进行光学合成孔径成像，分别得到一组对应不同聚焦距离的合成孔径图像；
步骤2、对每一个聚焦距离，将其所对应的从两个面阵处获得的两幅合成孔径图像作为一对，然后对每一对合成孔径图像进行以下处理：以其中一幅图像中的目标图像作为参考图像，将另一幅图像中与参考图像相对应的区域作为匹配位置图像，并将另一幅图像中与匹配位置图像间的像差矢量的模在(0,d]范围内变化的一系列区域作为非匹配位置图像，d为预设的最大像差；计算参考图像与匹配位置图像之间的相容信息量R0以及参考图像与各非匹配位置图像之间的相容信息量，并将所计算出的参考图像与各非匹配位置图像之间的相容信息量中大于R0的值统一修改为R0，然后计算修改后的参考图像与各非匹配位置图像之间的相容信息量的均值；最后以R0与所述均值的差值作为该聚焦距离的检测量；所述相容信息量用于度量两幅图像的信息中相同部分的量；
步骤3、找出检测量最大的聚焦距离，并判断该聚焦距离所对应的R0是否大于预设的相容信息量门限值，如是，则以该聚焦距离作为目标距离。
根据相同的发明思路还可以得到以下技术方案：
一种基于双目合成孔径聚焦图像的目标测距装置，包括：
双目合成孔径成像单元，用于从两个结构相同的面阵处，以所述两个面阵的对称中心作为基准机位，对目标所在场景分别进行光学合成孔径成像，分别得到一组对应不同聚焦距离的合成孔径图像；
距离检测单元，用于根据双目合成孔径成像单元所获得的两组对应不同聚焦距离的合成孔径图像检测出目标距离，其检测方法具体如下：对每一个聚焦距离，将其所对应的从两个面阵处获得的两幅合成孔径图像作为一对，然后对每一对合成孔径图像进行以下处理：以其中一幅图像中的目标图像作为参考图像，将另一幅图像中与参考图像相对应的区域作为匹配位置图像，并将另一幅图像中与匹配位置图像间的像差矢量的模在(0,d]范围内变化的一系列区域作为非匹配位置图像，d为预设的最大像差；计算参考图像与匹配位置图像之间的相容信息量R0以及参考图像与各非匹配位置图像之间的相容信息量，并将所计算出的参考图像与各非匹配位置图像之间的相容信息量中大于R0的值统一修改为R0，然后计算修改后的参考图像与各非匹配位置图像之间的相容信息量的均值；最后以R0与所述均值的差值作为该聚焦距离的检测量；所述相容信息量用于度量两幅图像的信息中相同部分的量；找出检测量最大的聚焦距离，并判断该聚焦距离所对应的R0是否大于预设的相容信息量门限值，如是，则以该聚焦距离作为目标距离。
优选地，所述面阵为圆形面阵；所述光学合成孔径成像通过密布在圆形面阵中的小孔成像模型摄像机阵列同时拍摄实现，或者通过单个小孔成像模型摄像机在圆形面阵中一系列密集排布的机位分时拍摄实现。
优选地，对于灰度图像，所述相容信息量的度量形式为两幅图像的信息熵与两幅图像间相似度的乘积，或者为两幅图像的平均信息熵与两幅图像间相似度的乘积，或者为两幅图像的锐度均值或梯度均值或对比度均值与两幅图像间相似度的乘积，或者为两幅图像的互熵；对于彩色图像，所述相容信息量的度量形式为采用灰度图像的相容信息量度量形式所得到的两幅图像在RGB颜色空间中各通道子图像间相容信息量的和或均值。
优选地，所述像差矢量的模在(0,d]范围内逐像素变化。
相比现有技术，本发明具有以下有益效果：
1)用信号处理方法能实现成像面的灵活移动，镜头孔径(光圈)灵活张缩，用信号处理方法能实现聚/散测量距离信息。
2)该方法抛弃了图像匹配的过程，而根据所有图像信息获得目标距离，结果受单个摄像机影响极小，也基本不受图像内容影响。
3)可利用同一小孔成像模型摄像机分时拍摄得到双目合成孔径图像序列,便于实现，尤其是对于航拍测距的应用更具有重要意义。
4)不向地面发射信号的被动测绘具有隐蔽，无电磁波污染，能有效降低测绘成本；
5)左右面阵密布在两个大圆面阵内，合成孔径长度较小，可避免桶型失真校正，以实现实时测量。
6)相比现有基于合成孔径聚焦图像的目标测距方法，本发明可抑制共模误差和散焦像干扰，改善了合成孔径聚焦图像测距的性能。
7)因聚散焦效应，不在聚焦距离的目标信息熵被衰减，图像信息熵更容易来自同一距离的目标，因此合成孔径叠加像中目标邻域可以相对大，以提高测距信息来源。
附图说明
图1为光学合成孔径成像原理示意图；
图2为本发明具体实施方式中的目标测距方法流程示意图；
图3为本发明优选使用的双目合成孔径成像单元示意图；
图4为小孔摄像机分时采集到的图像序列；
图5为所得到的部分合成孔径图像，其中(a)为左目聚焦在车辆前沿处，(b)为左目聚焦在相对远景处，(c)为右目聚焦在车辆前沿处，(d)为右目聚焦在相对远景处；
图6为不同目标的双目目标图像相容信息量随聚焦距离和视差的变化分布示意图；其中，(a)的测距目标在建筑边沿线上，(b)为(a)所对应的相容信息量随聚焦距离和视差的变化分布示意图，(c)的测距目标在建筑边沿线以上部分，(d)为(c)所对应的相容信息量随聚焦距离和视差的变化分布示意图，(e)为经削峰处理后的相容信息量随聚焦距离和视差的变化分布示意图；
图7为检测量随距离变化曲线，其中，(a)为测距目标在建筑边沿线上时相容信息量随聚焦距离的变化曲线，(b)为测距目标在建筑边沿线以上部分时相容信息量随聚焦距离的变化曲线，(c)为测距目标在建筑边沿线以上部分时双目匹配位置相容信息量与非匹配位置相容信息量均值之差随聚焦距离的变化曲线；
图8为利用本发明方法获得的目标深度图像。
具体实施方式
下面结合附图对本发明的技术方案进行详细说明：
为便于公众理解，首先对合成孔径聚焦成像的基本原理进行介绍。大孔径镜头成像时，通过镜头各部位的入射光线经镜头折射后，目标光线重新会聚，在成像面成二维像。若将入射光线按所通过的子孔径分离成像，再用信号处理方法叠加，就得到合成孔径像，成像结果与大孔径镜头成像一致。如图1所示，全孔径成像时，正确距离处点经大孔径光学镜头聚焦在成像面上，为一点；而另一距离处的目标点成像为一圆，它由各子孔径成像组成，因此我们能仿真大孔径镜头成像过程，可以应用单目测距的方法测量合成孔径目标的距离。形成合成孔径像，并没有要求图1大孔径圈中所有子孔径像都参与计算，只需部分子孔径像参与叠加计算，就能形成合成孔径效应。合成孔径测距与一般多目视觉的区别在于合成孔径聚焦形成的合成孔径增益，提高了信噪比，此外它对特定距离聚焦的同时，其他距离处的目标像散焦为均匀平滑的像斑，这些像斑对测距的干扰相对较小，也就是说合成孔径通过散焦滤除了其他距离处目标像干扰。合成孔径聚焦测距法只对特定距离目标聚焦，聚焦目标信号能量集中，受其他距离目标信号影响小，聚焦像能量集中在小区域，易于与其他距离目标区分，算法稳定，适于工程应用。然而当合成孔径长度较大时，获得聚焦清晰的像是困难的，桶型失真等因素使得通用的聚焦校正十分复杂。
大孔径镜头只对特定距离目标聚焦，而其他距离处目标散焦。目标信息以图像的熵的形式衡量，聚焦像保持了目标图像的信息熵，而散焦效应则使目标信息衰减，因此可以通过检测目标图像信息熵的保留状况判断目标距离。目标图像信息熵的保留状况理论上可用左、右目合成孔径图像间的相容信息量衡量，这正是双目合成孔径聚焦测距的基本方法。两幅图像间的相容信息量是指两幅图像的信息中相同部分的量,其具体的度量可采用各种合理的形式，优选地，对于灰度图像，所述相容信息量的度量形式为两幅图像的信息熵与两幅图像间相似度的乘积，或者为两幅图像的平均信息熵与两幅图像间相似度的乘积，或者两幅图像的互熵；对于彩色图像，所述相容信息量的度量形式为采用灰度图像的相容信息量度量形式所得到的两幅图像在RGB颜色空间中各通道子图像间相容信息量的和或均值。当然，也可采用其他度量形式，例如可利用两幅图像的锐度或梯度或对比度代替上述度量形式中的信息熵，同样可实现相容信息量的度量；也可以采用或自行构造与上述相容信息量具有相同变化趋势的度量形式。Studholme提出了归一化互信息(Normalized MutualInformation,NMI)：式中(x,y)为像素坐标，H(R)和H(F)别是基准图像和合成图像在坐标(x,y)邻域图像块的信息熵，H(R,F)联合熵，最常用直方图法计算，从直观的角度突出了以频率代替概率来进行密度估计，本具体实施方式即采用直方图法计算互信息熵来度量相容信息量。利用单目合成孔径聚焦图像进行目标测距，当合成孔径长度较大时，获得聚焦清晰的像是困难的，桶型失真等因素使得通用的聚焦校正十分复杂，这就需要在合成孔径聚焦不好的条件下测量目标距离，这正是双目合成孔径测距的意义。双目合成孔径左右面阵在设计上具有一致性，使得合成孔径误差也具有一致性，在误差分析中一致误差又称为共模误差，差分处理可抑制共模误差。***设计使得双目合成孔径聚焦共模误差占有较大比重，为抑制误差测距创造了条件。目标距离的检测受目标像邻域大小影响，因聚散焦效应，不在聚焦距离的目标信息熵被衰减，图像信息熵更容易来自同一距离的目标，因此合成孔径叠加像中目标邻域可以相对大，以提高测距信息来源。
下面以一个具体实施例来对本发明技术方案进行进一步详细说明。本发明基于双目合成孔径聚焦图像的目标测距方法，如图2所示，具体包括以下步骤：
步骤1、从两个结构相同的面阵处，以所述两个面阵的对称中心作为基准机位，对目标所在场景分别进行光学合成孔径成像，分别得到一组对应不同聚焦距离的合成孔径图像。
从两个面阵处分别进行光学合成孔径成像，即可得到双目合成孔径图像，即两组对应不同聚焦距离的合成孔径图像。合成孔径聚焦成像要求对特定距离清晰聚焦，其他距离处的目标像散焦为均匀平滑的像斑，为避免桶型失真校正，以实现实时测量，本发明优选采用两个结构相同的圆形面阵；所述光学合成孔径成像可通过密布在圆形面阵中的小孔成像模型摄像机阵列同时拍摄实现，或者通过单个小孔成像模型摄像机在圆形面阵中一系列密集排布的机位分时拍摄实现。如图3所示，左右面阵密布在两个大圆内，使光瞳成圆形，以减小合成孔径长度。当桶型失真不可避免时，可采用插值、拆分摄像机图像画面以减小视场锥角等方法校正桶型失真，这一过程可结合高分辨率重建同步进行。摄像机阵的各摄像机成像符合小孔成像模型，双目合成孔径成像的两面阵对称中心为基准机位。合成孔径聚焦立体视觉要求获得同一目标不同机位的多个图像，对光照、摄像机差异、噪声等有较强的适应能力。图像序列可以来自摄像机阵列，也可以是同一摄像机移位分时拍摄。移动视频图像序列可以组合成双目合成孔径聚焦成像图像序列，实际上航拍图像序列处理，也可采用双目合成孔径原理获得深度信息。此外，需要特别指出的是，一些研究者提出将图像超分辨率重建技术与光学合成孔径成像技术相结合，以突破图像采集设备固有分辨率限制，得到更高分辨率合成孔径图像。本步骤中也可使用现有或将有的各种基于超分辨率复原的光学合成孔径成像方法对目标所在场景分别进行光学合成孔径成像，所获得的超分辨率合成孔径聚焦图像可进一步提高目标测距的精度。
下面以垂直目标匀速移动拍摄的视频图像序列为例来说明获得双目合成孔径图像的过程：
步骤1-1、采集双目摄像机阵列图像：
图4为匀速移动机位拍摄的60幅图像序列，拍摄用摄像机采用超景深的小孔镜头，图像序列是通过单摄像机分时移动采集得到(当然，也可以采用摄相机阵列同时拍摄)。将图像序列按机位接近原则分为两组，每组30幅组成左右阵列。
步骤1-2、计算各聚焦距离下图像与基准机位间的视差位移，左、右阵列各聚焦距离下图像分别校正视差后叠加。
根据摄像机参数、目标距离和图3几何关系可以得出摄像机机位与基准机位的视差，基准机位位于图3画面的对称中心，即图中箭头指示处。在基准机位不一定要采集图像，这并不影响双目阵图像以此机位为参照校正视差。将校正视差后的左面阵各图像叠加为左目合成孔径图像，将校正视差后的右面阵各图像叠加为右目合成孔径图像，校正视差移位是亚像素级，可以使合成孔径像聚焦在任意距离处，即成像聚焦面可以任意移动。各组摄像机阵最长直径长度为合成孔径长度。这样，对于左、右阵列，既可分别得到一组对应不同聚焦距离的合成孔径图像。
图5显示了所得到的部分合成孔径图像，其中(a)为左目聚焦在车辆前沿处，(b)为左目聚焦在相对远景处，(c)为右目聚焦在车辆前沿处，(d)为右目聚焦在相对远景处。由于合成孔径直径比光学镜头大得多，所以微小的目标距离差异，也能造成明显的聚/散焦效应。由图5可见，特定距离处目标左右阵聚焦像位置重合，其他距离处不但目标成散焦像，而且位置发生偏移。图像序列合成像对单个图像光照、摄像机抖动、噪声等差异有明显抑制能力。合成误差使得合成像与单幅像相比，清晰度明显下降。而双目合成孔径聚焦测距可抑制共模合成误差，因此允许合成像因误差造成聚焦像清晰度有所下降。
步骤2、对每一个聚焦距离，将其所对应的从两个面阵处获得的两幅合成孔径图像作为一对，然后对每一对合成孔径图像进行以下处理：以其中一幅图像中的目标图像作为参考图像，将另一幅图像中与参考图像相对应的区域作为匹配位置图像，并将另一幅图像中与匹配位置图像间的像差矢量的模在(0,d]范围内变化的一系列区域作为非匹配位置图像，d为预设的最大像差；计算参考图像与匹配位置图像之间的相容信息量R0以及参考图像与各非匹配位置图像之间的相容信息量，并将所计算出的参考图像与各非匹配位置图像之间的相容信息量中大于R0的值统一修改为R0，然后计算修改后的参考图像与各非匹配位置图像之间的相容信息量的均值；最后以R0与所述均值的差值作为该聚焦距离的检测量。
对于某一聚焦距离z，判断目标像是否聚焦，不但要考察左、右目合成孔径图像中目标像间的相容信息量是否达到最大，还要考察左、右目标像位置是否在理想位置重合，设定聚焦距离处目标左、右目标像位置重合，其他聚焦距离处目标成散焦像，位置发生偏移。因此对每个聚焦距离的左右目标像，需搜索计算一定像差距离范围内(由于本实施例中采用线阵合成孔径成像，仅需在[-d,d]的像差范围内搜索，d为预设的最大像差，搜索时最好在该范围内逐像素变化；如果采用优选的圆形面阵，则需要在像差矢量的模为[0,d]范围内搜索)目标像间的相容信息量，若相容信息量最大值出现在非理想位，则表明该区域散焦像干扰测距，需抑制此干扰。图6显示了不同目标的双目目标图像相容信息量随聚焦距离和视差的变化分布情况，(a)中的十字线交点为需测距点，处于建筑边沿线上，它的图像熵较大；(b)为该点邻域左、右目合成孔径图像间的相容信息量Rzd(x,y)随聚焦距离z和匹配像差变化的二维分布图，图中亮度与相容信息量大小正相关；图(b)的水平向为聚焦距离参数z，从左向右，聚焦距离参数从15米变化到5米，图(b)垂直向为像差，从下向上像差参数从-20像素变化到+20像素。由图6中的(b)可见相容信息量最大正是出现在像差0处，此处距离参数正是目标的真实距离，参见图7中的(a)。当需测距点换为图6的图(c)中的十字线交点处，它的图像熵较小，而附近的建筑边沿图像熵较大，它会干扰测距，图6中的图(d)为该点邻域左、右目合成孔径图像间的相容信息量随聚焦距离和匹配像差变化的二维分布图，可见相容信息量最大值出现在像差-13像素处，此处的距离参数并不是目标的真实距离，参见图7中的图(b)。为此，本发明对所计算出来的参考图像与各非匹配位置图像之间的相容信息量进行了削峰处理，即将所计算出的参考图像与各非匹配位置图像之间的相容信息量中大于Rz0(x,y)的Rzd(x,y)统一降为Rz0(x,y)，在一定程度上抑制了其它目标散焦像干扰，经此处理，目标点邻域左、右目合成孔径图像间的相容信息量随聚焦距离和匹配像差变化的二维分布如图6中的图(e)所示。
在经过削峰处理从而抑制散焦像信号基础上，计算削峰处理后的参考图像与各非匹配位置图像之间的相容信息量的均值得到一平稳的相容信息量参照值，将参考图像与匹配位置图像之间的相容信息量与该参照值的差作为检测量，显示了二目视觉像匹配与非匹配的差异度，对聚焦像此差异度大，对散焦像此差异度小。此检测量不受左右合成孔径聚焦共模误差影响，此检测量最大值对应着目标距离。对于图6的图(a)中的目标，检测量随距离变化曲线如图7中的图(a)所示，可见检测量最大值处于13米处。对于图6的图(c)中的目标，其参考图像与匹配位置图像之间的相容信息量随距离变化曲线如图7中的图(b)所示，其最大值对应错误距离参数，而以双目匹配位置相容信息量与非匹配位置相容信息量均值之差作为检测量，可正确检测出目标处于正确距离13米处，如图7中的图(c)所示。因此本发明所提出的检测量可作为目标测距的准确衡量指标。
此外，为了防止目标像信息不足所导致的测距错误，本发明对最大相容信息量设一门限值，小于门限表明该目标像缺乏灰度纹理等信息，不能测距；大于门限的测距为有效测距。具体如下：
步骤3、找出检测量最大的聚焦距离，并判断该聚焦距离所对应的R0是否大于预设的相容信息量门限值，如是，则以该聚焦距离作为目标距离。
图8显示了最终获得的目标深度图，图中左侧为亮度距离比照条，深黑处为不可测距点。加上街道模型和车辆模型先验信息，可分析出道路上各车道占用情况，规划出自动驾驶车辆可用车道，为自动驾驶车辆导航。完整的立体视觉还包括三维建模的平滑和精细化工作，但在自动驾驶车辆导航中可省略。
Claims (10)
1.一种基于双目合成孔径聚焦图像的目标测距方法，其特征在于，包括以下步骤：
步骤1、从两个结构相同的面阵处，以所述两个面阵的对称中心作为基准机位，对目标所在场景分别进行光学合成孔径成像，分别得到一组对应不同聚焦距离的合成孔径图像；
步骤2、对每一个聚焦距离，将其所对应的从两个面阵处获得的两幅合成孔径图像作为一对，然后对每一对合成孔径图像进行以下处理：以其中一幅图像中的目标图像作为参考图像，将另一幅图像中与参考图像相对应的区域作为匹配位置图像，并将另一幅图像中与匹配位置图像间的像差矢量的模在(0,d]范围内变化的一系列区域作为非匹配位置图像，d为预设的最大像差；计算参考图像与匹配位置图像之间的相容信息量R0以及参考图像与各非匹配位置图像之间的相容信息量，并将所计算出的参考图像与各非匹配位置图像之间的相容信息量中大于R0的值统一修改为R0，然后计算修改后的参考图像与各非匹配位置图像之间的相容信息量的均值；最后以R0与所述均值的差值作为该聚焦距离的检测量；所述相容信息量用于度量两幅图像的信息中相同部分的量；
步骤3、找出检测量最大的聚焦距离，并判断该聚焦距离所对应的R0是否大于预设的相容信息量门限值，如是，则以该聚焦距离作为目标距离。
2.如权利要求1所述目标测距方法，其特征在于，所述面阵为圆形面阵；所述光学合成孔径成像通过密布在圆形面阵中的小孔成像模型摄像机阵列同时拍摄实现，或者通过单个小孔成像模型摄像机在圆形面阵中一系列密集排布的机位分时拍摄实现。
3.如权利要求1所述目标测距方法，其特征在于，对于灰度图像，所述相容信息量的度量形式为两幅图像的信息熵与两幅图像间相似度的乘积，或者为两幅图像的平均信息熵与两幅图像间相似度的乘积，或者为两幅图像的锐度均值或梯度均值或对比度均值与两幅图像间相似度的乘积，或者为两幅图像的互熵；对于彩色图像，所述相容信息量的度量形式为采用灰度图像的相容信息量度量形式所得到的两幅图像在RGB颜色空间中各通道子图像间相容信息量的和或均值。
4.如权利要求1所述目标测距方法，其特征在于，使用基于超分辨率复原的光学合成孔径成像方法对目标所在场景分别进行光学合成孔径成像。
5.如权利要求1所述目标测距方法，其特征在于，所述像差矢量的模在(0,d]范围内逐像素变化。
6.一种基于双目合成孔径聚焦图像的目标测距装置，其特征在于，包括：
双目合成孔径成像单元，用于从结构相同的两个面阵处，以所述两个面阵的对称中心作为基准机位，对目标所在场景分别进行光学合成孔径成像，分别得到一组对应不同聚焦距离的合成孔径图像；
距离检测单元，用于根据双目合成孔径成像单元所获得的两组对应不同聚焦距离的合成孔径图像检测出目标距离，其检测方法具体如下：对每一个聚焦距离，将其所对应的从两个面阵处获得的两幅合成孔径图像作为一对，然后对每一对合成孔径图像进行以下处理：以其中一幅图像中的目标图像作为参考图像，将另一幅图像中与参考图像相对应的区域作为匹配位置图像，并将另一幅图像中与匹配位置图像间的像差矢量的模在(0,d]范围内变化的一系列区域作为非匹配位置图像，d为预设的最大像差；计算参考图像与匹配位置图像之间的相容信息量R0以及参考图像与各非匹配位置图像之间的相容信息量，并将所计算出的参考图像与各非匹配位置图像之间的相容信息量中大于R0的值统一修改为R0，然后计算修改后的参考图像与各非匹配位置图像之间的相容信息量的均值；最后以R0与所述均值的差值作为该聚焦距离的检测量；所述相容信息量用于度量两幅图像的信息中相同部分的量；找出检测量最大的聚焦距离，并判断该聚焦距离所对应的R0是否大于预设的相容信息量门限值，如是，则以该聚焦距离作为目标距离。
7.如权利要求6所述目标测距装置，其特征在于，所述面阵为圆形面阵；所述光学合成孔径成像通过密布在圆形面阵中的小孔成像模型摄像机阵列同时拍摄实现，或者通过单个小孔成像模型摄像机在圆形面阵中一系列密集排布的机位分时拍摄实现。
8.如权利要求6所述目标测距装置，其特征在于，对于灰度图像，所述相容信息量的度量形式为两幅图像的信息熵与两幅图像间相似度的乘积，或者为两幅图像的平均信息熵与两幅图像间相似度的乘积，或者为两幅图像的锐度均值或梯度均值或对比度均值与两幅图像间相似度的乘积，或者为两幅图像的互熵；对于彩色图像，所述相容信息量的度量形式为采用灰度图像的相容信息量度量形式所得到的两幅图像在RGB颜色空间中各通道子图像间相容信息量的和或均值。
9.如权利要求6所述目标测距装置，其特征在于，使用基于超分辨率复原的光学合成孔径成像方法对目标所在场景分别进行光学合成孔径成像。
10.如权利要求6所述目标测距装置，其特征在于，所述像差矢量的模在(0,d]范围内逐像素变化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510732130.9A CN105258673B (zh) | 2015-11-02 | 2015-11-02 | 一种基于双目合成孔径聚焦图像的目标测距方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510732130.9A CN105258673B (zh) | 2015-11-02 | 2015-11-02 | 一种基于双目合成孔径聚焦图像的目标测距方法、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105258673A CN105258673A (zh) | 2016-01-20 |
| CN105258673B true CN105258673B (zh) | 2017-05-31 |
Family
ID=55098458
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510732130.9A Active CN105258673B (zh) | 2015-11-02 | 2015-11-02 | 一种基于双目合成孔径聚焦图像的目标测距方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105258673B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107716468A (zh) * | 2017-10-31 | 2018-02-23 | 广东工业大学 | 一种激光自动聚焦方法、***、装置及可读存储介质 |
| CN107820093B (zh) * | 2017-11-15 | 2019-09-03 | 深圳大学 | 基于分组能量差值的信息检测方法、装置及接收设备 |
| CN108226901B (zh) * | 2018-02-06 | 2024-03-01 | 武汉万集光电技术有限公司 | 激光雷达光学*** |
| EP3599485B1 (de) * | 2018-07-23 | 2024-03-27 | MicroVision, Inc. | Verfahren und vorrichtung zur optischen distanzmessung |
| CN110910436B (zh) * | 2019-10-30 | 2022-10-28 | 深圳供电局有限公司 | 基于图像信息增强技术的测距方法、装置、设备和介质 |
| CN113391644B (zh) * | 2021-06-11 | 2022-06-17 | 中新国际联合研究院 | 一种基于图像信息熵的无人机拍摄距离半自动寻优方法 |
| CN116228547B (zh) * | 2023-05-08 | 2023-07-07 | 天府兴隆湖实验室 | 一种合成孔径成像过程的仿真方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102867304A (zh) * | 2012-09-04 | 2013-01-09 | 南京航空航天大学 | 双目立体视觉***中场景立体深度与视差的关系建立方法 |
| CN103026171A (zh) * | 2011-05-27 | 2013-04-03 | 松下电器产业株式会社 | 图像处理装置及图像处理方法 |
| CN103033166A (zh) * | 2012-12-13 | 2013-04-10 | 南京航空航天大学 | 一种基于合成孔径聚焦图像的目标测距方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9506750B2 (en) * | 2012-09-07 | 2016-11-29 | Apple Inc. | Imaging range finding device and method |
-
2015
- 2015-11-02 CN CN201510732130.9A patent/CN105258673B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103026171A (zh) * | 2011-05-27 | 2013-04-03 | 松下电器产业株式会社 | 图像处理装置及图像处理方法 |
| CN102867304A (zh) * | 2012-09-04 | 2013-01-09 | 南京航空航天大学 | 双目立体视觉***中场景立体深度与视差的关系建立方法 |
| CN103033166A (zh) * | 2012-12-13 | 2013-04-10 | 南京航空航天大学 | 一种基于合成孔径聚焦图像的目标测距方法 |
Non-Patent Citations (1)
| Title |
|---|
| 接近段目标双目视觉测量中的精度分析与像机标定方法研究;周致远;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150115;第1-69页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105258673A (zh) | 2016-01-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105258673B (zh) | 一种基于双目合成孔径聚焦图像的目标测距方法、装置 | |
| CN103868460B (zh) | 基于视差优化算法的双目立体视觉自动测量方法 | |
| US8334893B2 (en) | Method and apparatus for combining range information with an optical image | |
| CN106091984B (zh) | 一种基于线激光的三维点云数据获取方法 | |
| CN105160680B (zh) | 一种基于结构光的无干扰深度相机的设计方法 | |
| CN105282443B (zh) | 一种全景深全景图像成像方法 | |
| CN104165626B (zh) | 仿生复眼成像目标定位*** | |
| CN103279982B (zh) | 鲁棒的快速高深度分辨率的散斑三维重建方法 | |
| EP2568253B1 (en) | Structured-light measuring method and system | |
| CN103776419B (zh) | 一种提高测量范围的双目视觉测距方法 | |
| CN107077743A (zh) | 用于阵列相机的动态校准的***和方法 | |
| CN106296811A (zh) | 一种基于单光场相机的目标物三维重构方法 | |
| CN112116576A (zh) | 基于偏振结构光成像和改进Mask R-CNN的缺陷检测方法 | |
| CN107154014A (zh) | 一种实时彩色及深度全景图像拼接方法 | |
| CN109089025A (zh) | 一种基于光场成像技术的影像仪数字聚焦方法 | |
| CN109712232B (zh) | 一种基于光场的物体表面轮廓三维成像方法 | |
| CN107995424A (zh) | 基于深度图的光场全聚焦图像生成方法 | |
| CN107560592A (zh) | 一种用于光电跟踪仪联动目标的精确测距方法 | |
| CN106982312A (zh) | 多光圈相机***及其操作方法 | |
| JP7378219B2 (ja) | 撮像装置、画像処理装置、制御方法、及びプログラム | |
| CN107991665A (zh) | 一种基于定焦相机的对标靶三维坐标连续测量方法 | |
| CN106500629A (zh) | 一种显微三维测量装置及*** | |
| CN107036579A (zh) | 一种基于单目液透镜变焦光学***的目标相对定位方法 | |
| CN109883391A (zh) | 基于微透镜阵列数字成像的单目测距方法 | |
| CN103033166B (zh) | 一种基于合成孔径聚焦图像的目标测距方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |