CN113612916B - 一种全景单像素成像装置及方法 - Google Patents

Abstract

本发明公开了一种全景单像素成像装置及方法，包括用于对目标物体进行投影的数字投影仪、用于对目标物体进行背面反射的平面镜镜组、用于检测目标物体前面光强值的第一光电探测器、用于检测目标物体背面光强值的第二光电探测器、用于采集第一光电探测器和第二光电探测器所采集光强值的数字信号采集装置、以及用于图像生成及单像素图像恢复的计算机；数字投影仪设置于目标物体的前面，平面镜镜组设置于目标物体的背面，第一光电探测器和第二光电探测器的输出端连接到数字信号采集装置；在该全景单像素成像装置中目标物体的前后分别设置光电探测器，与数字信号采集装置、数字投影仪、平面镜镜组组合，达到同步投影，实现自动同步成像。

Description

一种全景单像素成像装置及方法

技术领域

本发明涉及单像素成像技术领域，尤其涉及一种全景单像素成像装置及方法。

背景技术

基于空间光调制的单像素成像技术作为一种计算成像技术，通过空间光调制技术对空间信息进行编码，再通过单像素探测器对编码物体后所得的光信号进行采集，最后通过计算对空间信息进行解码，恢复出物体图像。SPI(单像素成像)已应用于许多领域，包括可见波段成像、多光谱成像、三维成像和太赫兹成像等。SPI现在可以基本实现相机的基本性能。传统的SPI***使用光电探测器和投影仪只能从一个角度获得关于物体的信息。然而，这样的***视野有限。

全景成像在生活中应用广泛。测量一个对象的360度全景信息就可以确定物体的形状。然而，对于单像素物体全景检测的研究却很少。

并且常规单像素成像中，对非平面物体无法编码到的区域进行编码成像，是一大难题。从理论上讲，为了用SPI方法实现物体的全景检测，***需要使用多个投影仪同时投影条纹图，可能会出现光影重叠、光干涉、高成本、复杂性和无法同步测量等问题。

发明内容

基于背景技术存在的技术问题，本发明提出了一种全景单像素成像装置及方法，操作简单，成本低，达到同步投影，实现了自动同步成像。

本发明提出的一种全景单像素成像装置，包括用于对目标物体进行投影的数字投影仪、用于对条纹图进行反射的平面镜镜组、用于检测目标物体正面光强值的第一光电探测器、用于检测目标物体背面光强值的第二光电探测器、用于采集第一光电探测器和第二光电探测器所采集光强值的数字信号采集装置、以及用于图像生成及单像素图像恢复的计算机(7)；数字投影仪设置于目标物体的前面，平面镜镜组设置于目标物体的背面，第一光电探测器和第二光电探测器的输出端均连接到数字信号采集装置的输入端，数字信号采集装置的输出端与计算机的输入端连接。

进一步地，所述平面镜镜组包括第一平面反射镜和第二平面反射镜，第一平面反射镜和第二平面反射镜置于目标物体后方，第一反射镜和第二反射镜呈一定角度设置。

进一步地，所述数字投影仪中的待投影图像是根据基底图案生成的。

进一步地，所述在输出目标图像的全景图像中，具体执行如下步骤：

将所获取到第一光电探测器和第二光电探测器的光强值分别通过数字信号采集装置采集得到电压值D；

数字信号采集装置分别从每个相位获取电压值D的分量电压值为D₁、D₂、D₃、D₄；

根据分量电压值和相移原理得到傅里叶系数C；

通过傅里叶逆变换获得第一光电探测器和第二光电探测器对应的恢复图像，并且得到两个探测器光强值叠加的未校准全景图；

对所述未校准全景图进行几何标定，输出目标图像正面和背面相同尺寸下的全景图像。

一种全景单像素成像方法，包括：

数字投影仪向目标物体投影基底条纹图像；

平面镜镜组对所述基底条纹图像进行反射，将基底条纹图像投影到目标物体的背面；

第一光电探测器和第二光电探测器分别获取目标物体的光强值被数字信号采集装置转化为电压值，数字信号采集装置将光强值转化成电压值后输入到计算机中；

计算机对所述电压值进行进行处理得到未校准全景图，对未校准全景图进行几何标定，输出目标图像的全景图像。

本发明提供的一种全景单像素成像装置及方法的优点在于：本发明结构中提供的一种全景单像素成像装置及方法，在目标物体的前后分别设置光电探测器，与数字信号采集装置、数字投影仪、平面镜镜组组合，达到同步投影，实现自动同步成像；两个平面镜之间成一定角度，通过调节达到最好的成像角度；可以在很宽的光谱谱段成像；投影仪和两个虚拟投影仪之间的距离不相同，因此对***进行几何校准；单像素条纹重叠不会对成像造成影响；该装置具有自动同步投影、成本低、操作方便等优点，这种全景单像素成像方法在全景目标检测和大视场监控等领域具有巨大的应用潜力。

附图说明

图1为本发明的结构示意图；

图2为目标物体的成像图，图2(a)为标定板的前视图，图2(b)为标定板的后视图，图2(c)为标定板两个光强值叠加的未校准全景图，图2(d)为标定板前视图的角点提取图，图2(e)为标定板后视图的角点提取图，图2(f)为校准后标定板的全景图；

图3为全景单像素成像装置和方法恢复的物体的全景图，图3(a)为目标物体的前视图，图3(b)为目标物体的后视图，图3(c)为目标物体两个光强值叠加的未校准全景图，图3(d)为校准后目标物体的全景图；

其中，1-数字投影仪，2-平面镜镜组，3-第一光电探测器，4-第二光电探测器，5-虚拟投影仪，6-数字信号采集装置，7-计算机。

具体实施方式

下面，通过具体实施例对本发明的技术方案进行详细说明，在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。

如图1、2、3所示，本发明提出的一种全景单像素成像装置，包括用于对目标物体进行投影的数字投影仪1、用于对条纹图进行反射的平面镜镜组2、用于检测目标物体正面光强值的第一光电探测器3、用于检测目标物体背面光强值的第二光电探测器4、用于采集第一光电探测器3和第二光电探测器4所采集光强值的数字信号采集装置6、以及用于图像生成及单像素图像恢复的计算机7；数字投影仪1设置于目标物体的前面，平面镜镜组2设置于目标物体的背面，第一光电探测器3和第二光电探测器4的输出端均连接到数字信号采集装置，数字信号采集装置6的输出端连接到外设的计算机7上。

数字投影仪1可以采用DMD6500，数字投影仪1中的待投影图像是根据四步相移傅里叶变换生成的，但不排除数字投影仪1中的基底图案可以是哈达玛基底图、小波变换基底图、拉东(Radon)变换基底图等，本发明以傅里叶变换基底情况说明。

数字投影仪1投射的图像或视频为傅里叶基底条纹，因而在数字投影仪1的投射下，目标物体的正面投射有傅里叶基底条纹，由于平面镜镜组2对数字投影仪1所投射傅里叶基底条纹的反射，使得目标物体的背面也投射有傅里叶基底条纹，从而规避了单像素成像中无法恢复镜像中虚像的缺陷，实现对目标物体的背面成像；在目标物体的前后分别设置光电探测器，与数字信号采集装置6、数字投影仪1、平面镜镜组2组合，达到同步投影，实现自动同步成像。

采用本申请的单像素成像，由于单像素中不同光不相互调制，即便傅里叶基底条纹存在叠加，也不产生光干扰，不影响单像素的全景成像。

在本实施例中，设置一个投影仪(数字投影仪1)、两个平面反射镜(第一反射镜和第二反射镜)、一个数字信号采集装置6、两个光电探测器(第一光电探测器3和第二光电探测器4)和一个计算机7，第一反射镜和第二反射镜呈一定角度设置于目标物体后方、并关于目标物体基本对称，可得到关于目标物体背面的两个基本对称的图像，置于物体后方，通过调整第一反射镜和第二反射镜之间的角度，实现傅里叶基底条纹完全覆盖物体背面；第一反射镜和第二反射镜的反射面到目标物体的垂直距离可以相同也可以不同，当垂直距离相同时，只需要标定一次就可得到大小一致的全景图像，当垂直距离不相同时，则需标定左右两个背面信息。

本实施例以第一反射镜和第二反射镜呈120-180度设置，第一反射镜和第二反射镜的反射面到目标物体的垂直距离相同为例，如图1所示：两个光电探测器用于检测来自目标物体的光强度信息：一个用于物体前部，另一个用于后部，通过叠加从两个光电探测器获得的光强度值，可以形成物体的未校准全景图像。并通过角点提取的几何标定法，得到校准后的全景图像。

具体地，两个反射镜分别采用平面镜，投影仪采用分辨率为1920×1080，将两个平面镜(22cm×22cm)放置在被测目标物体后面，以便对物体背面进行成像。使用了20％的欠采样率(通过采用傅里叶谱的中间部分20％)对物体进行成像，欠采样可以大大缩短采样时间，提高成像效率。

在单像素成像过程中，虚拟投影仪5相当于是数字投影仪1相对平面镜组2的对称虚拟投影装置，数字投影仪1相与物体之间的距离h₁和两个虚拟投影仪5与目标物体之间的距离h₂不相等，h₃为平面镜向目标物体的反射光路，存在h₂＝h₁+2h₃，导致目标物体的前面和后面图像之间存在尺寸差异，因此需要进行几何校准。在目标物体的位置放置一个双面棋盘作为校准目标，棋盘的两面是相同的。通过傅里叶变换得到恢复图像，通过角点标定法，对正面棋盘格和背面棋盘格的恢复图像进行角点提取，对Y值进行几何标定，得到比例系数，并对图像进行比例缩放，得到最终的全景图像。

一种全景单像素成像方法，包括：

S1：数字投影仪1向目标物体投影傅里叶基底条纹图像；

通过每个空间频率的四个相位P₁、P₂、P₃、P₄，生成投影在目标物体上的傅里叶基底图案；

投影在目标物体上的傅里叶基底图案可表示为：

P(x，y；f_x，f_y，φ)＝a+b·cos(2πf_xx+2πf_yy+φ)

其中a表示平均光强度，b表示对比度，x和y是目标平面的直角坐标，f_x和f_y是与x和y方向相对应的空间频率，φ表示初始相位。

在本申请中采用四步相移傅里叶变换成像方法进行图像处理以提供更好的成像性能，将空间频率为(f_x和f_y)，而初相位依次为0、π/2、π、3π/2的四个傅里叶基底图案，分别投影到物体上。这四个傅里叶基图案分别记为P₁、P₂、P₃、P₄：

S2：平面镜镜组2对所述傅里叶基底条纹图像进行反射，将傅里叶基底条纹图像投影到目标物体的背面；

傅里叶基底条纹可以覆盖目标物体的前部，同时通过平面镜镜组2的反射，可以覆盖目标物体的背部，使得目标物体的周向360度被傅里叶基底条纹所覆盖，便于通过算法程序中傅里叶逆变换得到目标图像的全景图像。

S3：第一光电探测器3和第二光电探测器4分别获取目标物体的光强值，数字信号采集装置6将光强值转化的成电压值后输入到计算机7中；

在本申请中并不限制第一光电探测器3和第二光电探测器4的数量，同时不限制平面镜镜组2中反射镜的数量，但是平面镜镜组2中反射镜至少为两个，当为一个反射镜时，存在傅里叶基础条纹不完全覆盖到目标三维物体背面的缺陷。

第一光电探测器3和第二光电探测器4获取到的光强值，通过数字信号采集装置6(例如外接台式万用表或数字信号采集卡)得到与光强值对应的电压值。

S4：计算机7对所述电压值进行进行处理得到未校准全景图，对未校准全景图几何标定，输出目标图像的全景图像；S4具体包括S41至S45：

S41：将所获取到第一光电探测器3和第二光电探测器4的光强值分别通过数字信号采集装置6采集得到电压值D；

可以将台式万用表与光探测器连接，通过台式万用表读取对应的电压值。

S42：分别从每个相位获取电压值D的分量电压值为D₁、D₂、D₃、D₄；

D₁(f_x，f_y)＝D_n+α·β∫∫_SR(x，y)dxdy+b·β∫∫_SR(x，y)·cos(2πf_xx+2πf_yy)dxdy

D₂(f_x，f_y)＝D_n+a·β∫∫_SR(x，y)dxdy+b·β∫∫_SR(x，y)·sin(2πf_xx+2πf_yy)dxdy

D₃(f_x，f_y)＝D_n-a·β∫∫_SR(x，y)dxdy-b·β∫∫_SR(x，y)·cos(2πf_xx+2πf_yy)dxdy

D₄(f_x，f_y)＝D_n-a·β∫∫_SR(x，y)dxdy-b·β∫∫_SR(x，y)·sin(2πf_xx+2πf_yy)dxdy

R(x，y)表示物体在单像素探测器方向测量相对于投影傅里叶基底图案时所采用的光照方向的反射强度，β是一个与单像素探测器放大倍数、探测器与物体的空间关系有关的因子，D_n是投影仪在光电探测器位置的环境光响应的直流分量。

S44：根据分量电压值和相移原理得到傅里叶系数C；

以下公式对应采用四步相移原理得到的傅里叶系数C：

C(f_x，f_y)＝[D₁(f_x，f_y)-D₃(f_x，f_y)]+j·[D₂(f_x，f_y)-D₄(f_x，f_y)]

其中，j是虚数单位。

每一个傅里叶系数C均可通过对目标物体投影空间频率相同而初相位分别为0、π/2、π、3π/2的四个傅里叶基底图案获得。通过对目标物体投影不同空间频率的四步相移傅里叶基底图案，可获得物体图像傅里叶谱中对应不同空间频率的傅里叶系数。

S45：通过傅里叶逆变换获得第一光电探测器3和第二光电探测器4对应的恢复图像，并且得到两个光强值叠加的未校准全景图；

如上述所描述，由于h₂＝h₁+2h₃，使得第一光电探测器3和第二光电探测器4所得到的恢复图像中间的正面图和两侧的背面图尺寸是不一致的，在最终输出的全景图像中是需要尺寸对应的图像，因而需要对恢复图像进行几何标定处理，以得到尺寸对应的全景图像。

S46：对所述未校准全景图进行几何标定，输出目标图像正面和背面相同尺寸下的全景图像。

为了获取未校准全景图的缩放比，将棋盘图像作为校准目标放在反射镜前面，棋盘的大小设计为两侧相同，对未校准全景图进行角点提取，并获得正面和背面棋盘格的角点之间比例。

通过以上装置获取图3(a)和图3(b)图像，图3(a)和图3(b)叠加得到图3(c)，根据图2(c)中棋盘图像的比例对图3(c)进行校准。由于棋盘图像的尺寸在两侧相同，图2(d)和图2(e)是通过从正面棋盘格和背面棋盘格提取角点获得的。具体提取角点方式：检测两个图形最左侧列角点的y轴像素值。通过减去每一个相邻的两个y值，得到棋盘图像中每个小网格的平均高度，得到比率。通过应用缩放比，可以恢复校准目标的全景图像，如图3(d)所示。使用相同的校准系数校准对象，使其正面和背面具有相同的尺寸，并可以实现全景效果。校准后，可以相应地调整对象的前后图像，将对象放置在与校准目标相同的位置。

因而在本实施例中，只需一个投影仪和两个平面镜作为辅助，即可实现自动同步，便于对物体进行全景单像素检测。两个平面镜之间成一定角度，通过调节达到最好的成像角度；可以在很宽的光谱谱段成像；投影仪和两个虚拟投影仪5之间的距离不相同，所以投影仪的景深不同，因此对***进行几何校准；单像素条纹重叠不会对成像造成影响；该装置具有自动投影同步、成本低、操作方便等优点，这种全景单像素成像方法在全景目标检测和大视场监控等领域具有巨大的应用潜力。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种全景单像素成像装置，其特征在于，包括用于对目标物体进行投影的数字投影仪(1)、用于对目标物体进行背面反射的平面镜镜组(2)、用于检测目标物体前面光强值的第一光电探测器(3)、用于检测目标物体背面光强值的第二光电探测器(4)、用于采集第一光电探测器(3)和第二光电探测器(4)所采集光强值的数字信号采集装置(6)、以及用于图像生成及单像素图像恢复的计算机(7)；

数字投影仪(1)设置于目标物体的前面，平面镜镜组(2)设置于目标物体的背面，第一光电探测器(3)和第二光电探测器(4)的输出端均连接到数字信号采集装置(6)的输入端，数字信号采集装置(6)的输出端与计算机(7)的输入端连接；

所述平面镜镜组(2)包括第一平面反射镜和第二平面反射镜，第一平面反射镜和第二平面反射镜置于目标物体后方。

2.根据权利要求1所述的全景单像素成像装置，其特征在于，第一反射镜和第二反射镜呈一定角度设置。

3.根据权利要求1所述的全景单像素成像装置，其特征在于，所述数字投影仪(1)中的待投影图像是根据基底图案生成的。

4.根据权利要求3所述的全景单像素成像装置，其特征在于，所述数字信号采集装置在输出目标图像的全景图像中，具体执行如下步骤：

将所获取到第一光电探测器(3)和第二光电探测器(4)的光强值分别通过数字信号采集装置(6)采集得到电压值D；

数字信号采集装置(6)分别从每个相位获取电压值D的分量电压值为D₁、D₂、D₃、D₄；

根据分量电压值和相移原理得到傅里叶系数C；

通过傅里叶逆变换获得第一光电探测器(3)和第二光电探测器(4)对应的恢复图像，并且得到两个光强值叠加的未校准全景图；

对所述未校准全景图进行图像几何标定，输出目标图像正面和背面相同尺寸下的全景图像。

5.一种全景单像素成像方法，其特征在于，包括：

数字投影仪(1)向目标物体投影基底条纹图像；

平面镜镜组(2)对所述基底条纹图像进行反射，将基底条纹图像投影到目标物体的背面；

第一光电探测器(3)和第二光电探测器(4)分别获取目标物体的光强值，数字信号采集装置(6)将光强值转化成电压值后输入到计算机(7)中；

计算机7对所述电压值进行处理得到未校准全景图，对未校准全景图进行几何标定，输出目标图像的全景图像。

Images