CN113556476B - 基于多点照明的主动非视域阵列成像方法 - Google Patents

Abstract

基于多点照明的主动非视域阵列成像方法，涉及光学成像领域。本发明解决了现有的单点式主动非视域阵列成像***只能对特定位置和角度的隐藏目标成像，对成像区域的适应性较差的问题。本方法是基于多点照明的主动非视域阵列成像***实现的，通过改进主动照明的方式，引入多点照明，这样可以提高主动非视域成像***的成像质量，增强对成像区域的适应性，不局限于对特定位置和角度的隐藏目标成像。本方法通过多点照明进行目标图像重构的过程主要可分为两步，首先对阵列单光子相机采集到的n组激光数据分别重构，得到n个重构后的初始重构图像，继而通过图像融合方法将多个初始重构图像融合，得到最终的图像重构结果。主要用于对隐藏目标进行成像。

Description

基于多点照明的主动非视域阵列成像方法

技术领域

本发明涉及光学成像领域。

背景技术

在城市作战、灾难救援、安防反恐、无人驾驶等各类复杂的应用场景中，墙体、街角、障碍物等物体往往会对光线形成硬性阻挡，这种情况下传统成像***的视域几乎完全被限制，无法看见拐角处的目标，想直接对目标成像几乎是不可能的。

因此，近年来随着无人驾驶领域的高速发展，基于计算光学成像方法产生了专门针对上述情况的非视域成像技术。非视域成像技术主要是通过捕捉目标光线在周围环境中形成的散射光或反射光，继而采用计算成像算法重构目标图像。现有的主动非视域成像***示意图如下图1所示；该***的主要构成部分有窄脉冲激光器、中介面、目标、阵列单光子相机。单点式主动非视域成像***的主要特点是，照明点只有一个且是固定不变的。这种方式的可行性得到了实验验证，但是存在一个很大的缺陷。就是整个***对目标的空间位置、三维角度、材质以及场景的构造要求较高，只能对特定位置和角度的隐藏目标成像，对成像区域的适应性较差。而在实际应用中，非视域成像***需对各种成像场景有着较高的适应性。因此，以上问题亟需解决。

发明内容

本发明目的是为了解决现有的单点式主动非视域成像***只能对特定位置和角度的隐藏目标成像，对成像区域的适应性较差的问题；本发明提供了一种基于多点照明的主动非视域阵列成像方法。

基于多点照明的主动非视域阵列成像方法，该方法是基于多点照明的主动非视域阵列成像***实现的，该多点照明的主动非视域阵列成像***包括窄脉冲激光器、中介面、阵列单光子相机和目标物体，窄脉冲激光器和阵列单光子相机同步工作，该方法包括如下步骤：

S1、使窄脉冲激光器、阵列单光子相机和目标物体放置在中介面的同一侧，目标物体不在阵列单光子相机的视场内，并将中介面划分为成像区域和非成像区域；

S2、窄脉冲激光器向中介面的非成像区域分时出射n次激光，每次出射的激光在中介面的非成像区域上形成一个照明点，共形成n个照明点，每个照明点处窄脉冲激光器发射m个脉冲，m为大于或等于1的整数；n个照明点的位置不同；n为大于或等于2的整数；n个照明点分别与窄脉冲激光器出射n次激光一一对应；

照明点，用于对目标物体进行照明；

其中，窄脉冲激光器每次出射的激光的传播方向为：窄脉冲激光器向中介面的非成像区域出射激光，激光经中介面的非成像区域第一次散射后入射至目标物体上，又经目标物体第二次散射后入射至中介面的成像区域后，又经中介面的成像区域第三次散射后，入射至阵列单光子相机；

S3、阵列单光子相机对窄脉冲激光器每次出射的激光所对应的第三次散射后激光进行时空信息采集，从而获得P_i；i为整数，i＝1,2……n；

其中，P_i为阵列单光子相机采集到的窄脉冲激光器第i次出射的激光所对应的第三次散射后激光中包含时间和空间信息的矩阵；

S4、获得窄脉冲激光器第i次出射的激光所对应的非视域成像***光场传输矩阵H_i；

S5、利用P_i和H_i进行图像重构，获得第i次出射的激光所对应的初始重构图像ρ_i；

其中，H_i为窄脉冲激光器第i次出射的激光所对应的成像***光场传输矩阵；

S6、对n个初始重构图像ρ₁至ρ_n进行图像融合，从而获得融合后的目标重构图像I。

优选的是，S5、利用P_i和H_i进行图像重构，获得第i次出射的激光所对应的初始重构图像ρ_i的实现方式为：

ρ_i＝P_iH_i ^-1   (公式一)。

优选的是，S4、获得窄脉冲激光器第i次出射的激光所对应的非视域成像***光场传输矩阵H_i的实现方式包括如下步骤：

S41、构建窄脉冲激光器第i次出射的激光所对应的非视域成像***的点扩散函数H_i(L_i,S,O)；

H_i(L_i,S,O)＝KP_PL(L_i)ρ(L_i)G(R_i1,R_i2)G(R_i2,R_i3)ρ(S)G(R_i3,R_i4)   (公式二)；

其中，

K为阵列单光子相机的响应度；

ρ(L_i)为中介面上第i个照明点L_i所在的非成像区域的散射系数；

P_PL(L_i)为第i个照明点L_i所对应的窄脉冲激光器出射的第i次激光的光强；

G(R_i1，R_i2)为R_i1和R_i2之间的几何散射因子；

R_i1为窄脉冲激光器与中介面的非成像区域上照明点L_i间的距离向量；

R_i2为激光从第i个照明点L_i出发，入射至目标物体上的距离向量；

G(R_i2，R_i3)为R_i2和R_i3之间的几何散射因子；

R_i3为第i个照明点L_i出射的激光，经目标物体散射后入射至中介面的成像区域上的距离向量；

G(R_i3，R_i4)为R_i3和R_i4之间的几何散射因子；

R_i4为第i个照明点L_i出射的激光，经中介面的成像区域散射至阵列单光子相机上的距离向量；

ρ(S)为中介面上成像区域的散射系数；O为目标物体平面；

S为中介面的成像区域；

S42、对非视域成像***的点扩散函数H_i(L_i，S，O)进行离散化，从而获得H_i。

优选的是，S41中，G(R_i1，R_i2)的实现方式为：

其中，n_w为中介面法线；

∠(R_i2，n_w)表示向量R_i2与中介面法线n_w间的夹角。

优选的是，S41中，G(R_i2，R_i3)的实现方式为：

其中，

n_o为目标物体表面的法线；

∠(R_i2,n_o)为向量R_i2与目标物体表面的法线n_o间的夹角；

∠(R_i3，n_o)为向量R_i3与目标物体表面的法线n_o间的夹角。

优选的是，S41中，G(R_i3，R_i4)的实现方式为：

其中，n_w为中介面法线；

∠(R_i4，n_w)为向量R_i4与中介面法线n_w间的夹角；

∠(R_i3，n_w)为向量R_i3与中介面法线n_w间的夹角。

优选的是，S6、对n个初始重构图像ρ₁至ρ_n进行图像融合，从而获得融合后的目标重构图像I的实现方式为：

其中，w_i(ρ₁，ρ₂，...，ρ_n)为与ρ₁，ρ₂，...，ρ_n相关的权函数。

优选的是，w_i(ρ₁，ρ₂,...，ρ_n)采用加权平均函数实现，且

优选的是，n的取值范围为3≤n≤9。

优选的是，阵列单光子相机采用DTOF相机实现。

本发明带来的有益效果是：本发明通过改进主动照明的方式，引入多点照明，这样可以提高主动非视域成像***的成像质量，增强对成像区域的适应性，不局限于对特定位置和角度的隐藏目标成像，适用场景更加宽泛，对于非特定位置和角度的隐藏目标的图像重构提供一种有效的解决方式。

本发明是对现有的单一照明点式主动非视域成像***进行了改进。本发明提出的多点照明方式，照明点数少，且照明点远远小于现有技术中共焦扫描***的照明点数，且无需快速扫描装置。也就是说，本发明的多点照明的主动非视域阵列成像***中省掉了快速扫描步骤，只需选择几个照明点即可，即可实现对每个照明点发出的激光进行多次散射后送至阵列单光子相机进行激光信号的采集，整个成像方法所需的数据量少，流程简单，便于实现。

本发明提出的基于多点照明的主动非视域阵列成像方法，具体应用时，即使目标的位置和角度不在成像***的最佳区域，通过选择多个照明点对目标进行光照补偿，依然可以重构出精确的目标图像。通过改变照明点的位置，可以对多个位置和角度处的目标进行图像重构，大大提高了主动非视域成像***的成像质量以及对成像区域的适应能力。

本发明具有实际应用价值，在实际应用中对于隐藏目标，可以通过不同的照明点位置重构出多种位置及角度不同的目标图像。

附图说明

图1是背景技术中现有的主动非视域成像***原理示意；

图2是照明点的形成原理示意图；

图3是本发明所述的多点照明的主动非视域阵列成像***选取照明点位置的示意图；

图4是窄脉冲激光器1每次出射的激光的传播方向示意图；该图中将窄脉冲激光器1每次出射的激光划分成4个传播阶段，其中，S_j表示中介面2的成像区域内第j个探测点，j为整数。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

具体参见图2和图3说明本实施方式，本实施方式所述的基于多点照明的主动非视域阵列成像方法，该方法是基于多点照明的主动非视域阵列成像***实现的，该多点照明的主动非视域阵列成像***包括窄脉冲激光器1、中介面2、阵列单光子相机3和目标物体4，窄脉冲激光器1和阵列单光子相机3同步工作，其特征在于，该方法包括如下步骤：

S1、使窄脉冲激光器1、阵列单光子相机3和目标物体4放置在中介面2的同一侧，目标物体4不在阵列单光子相机3的视场内，并将中介面2划分为成像区域和非成像区域；

S2、窄脉冲激光器1向中介面2的非成像区域分时出射n次激光，每次出射的激光在中介面2的非成像区域上形成一个照明点，共形成n个照明点，每个照明点处窄脉冲激光器1发射m个脉冲，m为大于或等于1的整数；n个照明点的位置不同；n为大于或等于2的整数；n个照明点分别与窄脉冲激光器1出射n次激光一一对应；

照明点，用于对目标物体4进行照明；

其中，窄脉冲激光器1每次出射的激光的传播方向为：窄脉冲激光器1向中介面2的非成像区域出射激光，激光经中介面2的非成像区域第一次散射后入射至目标物体4上，又经目标物体4第二次散射后入射至中介面2的成像区域后，又经中介面2的成像区域第三次散射后，入射至阵列单光子相机3；

S3、阵列单光子相机3对窄脉冲激光器1每次出射的激光所对应的第三次散射后激光进行时空信息采集，从而获得P_i；i为整数，i＝1，2……n；

其中，P_i为阵列单光子相机3采集到的窄脉冲激光器1第i次出射的激光所对应的第三次散射后激光中包含时间和空间信息的矩阵；

S4、获得窄脉冲激光器1第i次出射的激光所对应的非视域成像***光场传输矩阵H_i；

S5、利用P_i和H_i进行图像重构，获得第i次出射的激光所对应的初始重构图像ρ_i；

其中，H_i为窄脉冲激光器1第i次出射的激光所对应的成像***光场传输矩阵；

S6、对n个初始重构图像ρ₁至ρ_n进行图像融合，从而获得融合后的目标重构图像I。

本实施方式中，本发明通过改进主动照明的方式，引入多点照明，这样可以提高主动非视域成像***的成像质量，增强对成像区域的适应性，不局限于对特定位置和角度的隐藏目标成像，适用场景更加宽泛，对于非特定位置和角度的隐藏目标的图像重构提供一种有效的解决方式。

本发明提出的多点照明式主动非视域成像***中，多点照明是指在中介面2上形成多个照明点，且每个照明点对应阵列单光子相机3采集到的一组激光数据，通过对多组激光数据进行计算成像算法处理重构出目标图像，成像过程所需要的数据量少，进而运算量小，且成像过程简单、高效、便于实现。

针对通过多点照明进行目标图像重构的过程主要可分为两步，首先对阵列单光子相机3采集到的n组激光数据分别重构，得到n个重构后的初始重构图像，继而通过图像融合方法将多个初始重构图像融合，得到最终的图像重构结果。其中，阵列单光子相机3采集到的每组数据为窄脉冲激光器1每次出射的激光所对应的第三次散射后的激光信号。

本发明所述的多点照明的主动非视域阵列成像***包括窄脉冲激光器1、中介面2、阵列单光子相机3和目标物体4实现，***结构简单；并将窄脉冲激光器1每次出射的激光发出直至被阵列单光子相机3采集到的整个传播过程被划分成4个阶段，具体参见图4，也即：第一阶段、激光从窄脉冲激光器1出发，入射至中介面2，该第一阶段激光在中介面2上形成照明点，第二阶段、入射至中介面2上的激光经第一次散射发出的激光(也即：从照明点散射出的激光)，入射至目标物体4，第三阶段、照明点散射出的激光经目标物体4二次散射后入射至中介面2的成像区域，该第三阶段中中介面2的成像区域上形成与阵列单光子相机3像素一一对应的探测点，第四阶段、经目标物体4二次散射后入射至中介面2上的激光，经中介面2进行第三次散射后入射至阵列单光子相机3，目标的信息就蕴含在三次散射信号中。

本发明提出的基于多点照明的主动非视域阵列成像方法，具体应用时，即使目标的位置和角度不在成像***的最佳区域，通过选择多个照明点对目标进行光照补偿，依然可以重构出精确的目标图像。通过改变照明点的位置，可以对多个位置和角度处的目标进行图像重构，大大提高了主动非视域成像***的成像质量以及对成像区域的适应能力。

本发明具有实际应用价值，在实际应用中对于隐藏目标，可以通过不同的照明点位置重构出多种位置及角度不同的目标图像。

更进一步的，S5、利用P_i和H_i进行图像重构，获得第i次出射的激光所对应的初始重构图像ρ_i的实现方式为：

ρ_i＝P_iH_i ^-1   (公式一)。

本优选实施方式中，通过P_i与H_i的逆进行运算，即可获得第i次出射的激光所对应的初始重构图像ρ_i，实现过程简单。

更进一步的，具体参见图4，S4、获得窄脉冲激光器1第i次出射的激光所对应的非视域成像***光场传输矩阵H_i的实现方式包括如下步骤：

S41、构建窄脉冲激光器1第i次出射的激光所对应的非视域成像***的点扩散函数H_i(L_i,S,O)；

H_i(L_i,S,O)＝KP_PL(L_i)ρ(L_i)G(R_i1,R_i2)G(R_i2,R_i3)ρ(S)G(R_i3,R_i4)   (公式二)；

其中，

K为阵列单光子相机3的响应度；

ρ(L_i)为中介面2上第i个照明点L_i所在的非成像区域的散射系数；

P_PL(L_i)为第i个照明点L_i所对应的窄脉冲激光器1出射的第i次激光的光强；

G(R_i1,R_i2)为R_i1和R_i2之间的几何散射因子；

R_i1为窄脉冲激光器1与中介面2的非成像区域上照明点L_i间的距离向量；

R_i2为激光从第i个照明点L_i出发，入射至目标物体4上的距离向量；

G(R_i2,R_i3)为R_i2和R_i3之间的几何散射因子；

R_i3为第i个照明点L_i出射的激光，经目标物体4散射后入射至中介面2的成像区域上的距离向量；

G(R_i3,R_i4)为R_i3和R_i4之间的几何散射因子；

R_i4为第i个照明点L_i出射的激光，经中介面2的成像区域散射至阵列单光子相机3上的距离向量；

ρ(S)为中介面2上成像区域的散射系数；O为目标物体4平面；

S为中介面2的成像区域；

S42、对非视域成像***的点扩散函数H_i(L_i,S,O)进行离散化，从而获得H_i。

本优选实施方式中，给出了窄脉冲激光器1第i次出射的激光所对应的非视域成像***光场传输矩阵H_i的构建方式，整个构建构成基于窄脉冲激光器1出射的激光的4个传播阶段实现。

更进一步的，具体参见图4，S41中，G(R_i1,R_i2)的实现方式为：

其中，n_w为中介面法线；

∠(R_i2,n_w)表示向量R_i2与中介面法线n_w间的夹角。

本优选实施方式中，给出了获得G(R_i1,R_i2)的一种具体实现方式，实现过程简单，利用所对应传播阶段的相关信息实现，便于实现。

更进一步的，具体参见图4，S41中，G(R_i2,R_i3)的实现方式为：

其中，

n_o为目标物体4表面的法线；

∠(R_i2,n_o)为向量R_i2与目标物体4表面的法线n_o间的夹角；

∠(R_i3,n_o)为向量R_i3与目标物体4表面的法线n_o间的夹角。

本优选实施方式中，给出了获得G(R_i2,R_i3)的一种具体实现方式，实现过程简单，利用所对应传播阶段的相关信息实现，便于实现。

更进一步的，具体参见图4，S41中，G(R_i3,R_i4)的实现方式为：

其中，n_w为中介面法线；

∠(R_i4,n_w)为向量R_i4与中介面法线n_w间的夹角；

∠(R_i3,n_w)为向量R_i3与中介面法线n_w间的夹角。

本优选实施方式中，给出了获得G(R_i3,R_i4)的一种具体实现方式，实现过程简单，利用所对应传播阶段的相关信息实现，便于实现。

更进一步的，S6、对n个初始重构图像ρ₁至ρ_n进行图像融合，从而获得融合后的目标重构图像I的实现方式为：

其中，w_i(ρ₁，ρ₂，...，ρ_n)为与ρ₁，ρ₂，...，ρ_n相关的权函数。

本实施方式中，给出了图像融合的具体实现方式，操作简单，便于实现。

更进一步的，w_i(ρ₁，ρ₂，...，ρ_n)采用加权平均函数实现，且

更进一步的，n的取值范围为3≤n≤9。

更进一步的，阵列单光子相机3采用DTOF相机实现。

更进一步的，窄脉冲激光器1采用皮秒或飞秒激光器实现。

虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。

Claims (9)

1.基于多点照明的主动非视域阵列成像方法，该方法是基于多点照明的主动非视域阵列成像***实现的，该多点照明的主动非视域阵列成像***包括窄脉冲激光器(1)、中介面(2)、阵列单光子相机(3)和目标物体(4)，窄脉冲激光器(1)和阵列单光子相机(3)同步工作，其特征在于，该方法包括如下步骤：

S1、使窄脉冲激光器(1)、阵列单光子相机(3)和目标物体(4)放置在中介面(2)的同一侧，目标物体(4)不在阵列单光子相机(3)的视场内，并将中介面(2)划分为成像区域和非成像区域；

S2、窄脉冲激光器(1)向中介面(2)的非成像区域分时出射n次激光，每次出射的激光在中介面(2)的非成像区域上形成一个照明点，共形成n个照明点，每个照明点处窄脉冲激光器(1)发射m个脉冲，m为大于或等于1的整数；n个照明点的位置不同；n为大于或等于2的整数；n个照明点分别与窄脉冲激光器(1)出射n次激光一一对应；

照明点，用于对目标物体(4)进行照明；

其中，窄脉冲激光器(1)每次出射的激光的传播方向为：窄脉冲激光器(1)向中介面(2)的非成像区域出射激光，激光经中介面(2)的非成像区域第一次散射后入射至目标物体(4)上，又经目标物体(4)第二次散射后入射至中介面(2)的成像区域后，又经中介面(2)的成像区域第三次散射后，入射至阵列单光子相机(3)；

S3、阵列单光子相机(3)对窄脉冲激光器(1)每次出射的激光所对应的第三次散射后激光进行时空信息采集，从而获得P_i；i为整数，i＝1,2……n；

其中，P_i为阵列单光子相机(3)采集到的窄脉冲激光器(1)第i次出射的激光所对应的第三次散射后激光中包含时间和空间信息的矩阵；

S4、获得窄脉冲激光器(1)第i次出射的激光所对应的非视域成像***光场传输矩阵H_i，具体为：

S41、构建窄脉冲激光器(1)第i次出射的激光所对应的非视域成像***的点扩散函数H_i(L_i,S,O)；

H_i(L_i,S,O)＝KP_PL(L_i)ρ(L_i)G(R_i1,R_i2)G(R_i2,R_i3)ρ(S)G(R_i3,R_i4)    (公式二)；

其中，

K为阵列单光子相机(3)的响应度；

ρ(L_i)为中介面(2)上第i个照明点L_i所在的非成像区域的散射系数；

P_PL(L_i)为第i个照明点L_i所对应的窄脉冲激光器(1)出射的第i次激光的光强；

G(R_i1,R_i2)为R_i1和R_i2之间的几何散射因子；

R_i1为窄脉冲激光器(1)与中介面(2)的非成像区域上照明点L_i间的距离向量；

R_i2为激光从第i个照明点L_i出发，入射至目标物体(4)上的距离向量；

G(R_i2,R_i3)为R_i2和R_i3之间的几何散射因子；

R_i3为第i个照明点L_i出射的激光，经目标物体(4)散射后入射至中介面(2)的成像区域上的距离向量；

G(R_i3,R_i4)为R_i3和R_i4之间的几何散射因子；

R_i4为第i个照明点L_i出射的激光，经中介面(2)的成像区域散射至阵列单光子相机(3)上的距离向量；

ρ(S)为中介面(2)上成像区域的散射系数；O为目标物体(4)平面；

S为中介面(2)的成像区域；

S42、对非视域成像***的点扩散函数H_i(L_i,S,O)进行离散化，从而获得H_i；

S5、利用P_i和H_i进行图像重构，获得第i次出射的激光所对应的初始重构图像ρ_i；

其中，H_i为窄脉冲激光器(1)第i次出射的激光所对应的成像***光场传输矩阵；

S6、对n个初始重构图像ρ₁至ρ_n进行图像融合，从而获得融合后的目标重构图像I。

2.根据权利要求1所述的基于多点照明的主动非视域阵列成像方法，其特征在于，S5、利用P_i和H_i进行图像重构，获得第i次出射的激光所对应的初始重构图像ρ_i的实现方式为：

ρ_i＝P_iH_i ^-1    (公式一)。

3.根据权利要求1所述的基于多点照明的主动非视域阵列成像方法，其特征在于，S41中，G(R_i1,R_i2)的实现方式为：

其中，n_w为中介面法线；

∠(R_i2,n_w)表示向量R_i2与中介面法线n_w间的夹角。

4.根据权利要求1所述的基于多点照明的主动非视域阵列成像方法，其特征在于，S41中，G(R_i2,R_i3)的实现方式为：

其中，

n_o为目标物体(4)表面的法线；

∠(R_i2,n_o)为向量R_i2与目标物体(4)表面的法线n_o间的夹角；

∠(R_i3,n_o)为向量R_i3与目标物体(4)表面的法线n_o间的夹角。

5.根据权利要求1所述的基于多点照明的主动非视域阵列成像方法，其特征在于，S41中，G(R_i3,R_i4)的实现方式为：

其中，n_w为中介面法线；

∠(R_i4,n_w)为向量R_i4与中介面法线n_w间的夹角；

∠(R_i3,n_w)为向量R_i3与中介面法线n_w间的夹角。

6.根据权利要求1所述的基于多点照明的主动非视域阵列成像方法，其特征在于，S6、对n个初始重构图像ρ₁至ρ_n进行图像融合，从而获得融合后的目标重构图像I的实现方式为：

其中，w_i(ρ₁,ρ₂,...,ρ_n)为与ρ₁,ρ₂,...,ρ_n相关的权函数。

7.根据权利要求6所述的基于多点照明的主动非视域阵列成像方法，其特征在于，w_i(ρ₁,ρ₂,...,ρ_n)采用加权平均函数实现，且

8.根据权利要求1所述的基于多点照明的主动非视域阵列成像方法，其特征在于，n的取值范围为3≤n≤9。

9.根据权利要求1所述的基于多点照明的主动非视域阵列成像方法，其特征在于，阵列单光子相机(3)采用DTOF相机实现。

Images