CN116703997A - 一种多帧结构光重建模组 - Google Patents
一种多帧结构光重建模组 Download PDFInfo
- Publication number
- CN116703997A CN116703997A CN202210173550.8A CN202210173550A CN116703997A CN 116703997 A CN116703997 A CN 116703997A CN 202210173550 A CN202210173550 A CN 202210173550A CN 116703997 A CN116703997 A CN 116703997A
- Authority
- CN
- China
- Prior art keywords
- image
- depth image
- depth
- light
- frame frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005070 sampling Methods 0.000 claims description 14
- 230000003287 optical effect Effects 0.000 claims description 13
- 238000012634 optical imaging Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 abstract description 5
- 238000000034 method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000005286 illumination Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/514—Depth or shape recovery from specularities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
一种多帧结构光重建模组,包括如下模块:第一激光投射器,用于向目标投射激光;红外相机,用于采集所述目标的深度图像和背景图像;处理器模块,用于获取预设置的帧频值,根据所述帧频值连续顺次采集同一目标的第一深度图像、背景图像、第二深度图像,根据所述第一深度图像和所述背景图像的对应像素的灰度值相减生成第一有效图像;根据所述第二深度图像和所述背景图像的对应像素的灰度值相减生成第二有效图像;以及根据所述第一深度图像和所述第二深度图像进行深度重建或三维重建生成深度图像。本发明可以提高背景光较强情况下的被测目标多帧深度重建结果,并能够缩短相邻两帧图像之间的采集的时间间隔,增加探测距离。
Description
技术领域
本发明涉及结构光三维重建,具体地,涉及一种多帧深度图像重建模组。
背景技术
移动支付在国内已经成为主流的支付方式,并在越来越多的领域中发挥越来越重要的作用。作为刷脸支付终端的核心器件,人脸识别摄像模组起到非常关键的作用。目前比较成熟的人脸识别摄像模组采用结构光方案。
作为刷脸支付终端的核心器件,人脸识别摄像模组起到非常关键的作用。目前比较成熟的人脸识别摄像模组采用结构光方案。
结构光三方案是基于光学三角法测量原理。光学投射器将一定模式的结构光投射于物体表面,在表面上形成由被测物体表面形状所调制的光条三维图像。该三维图像被另一位置的摄像机探测,从而获得光条二维畸变图像。光条的畸变程度取决于光学投射器与摄像机之间的相对位置和物体表面形廓(高度)。直观上,沿光条显示出的位移(或偏移)与物体表面高度成比例,扭结表示了平面的变化,不连续显示了表面的物理间隙。当光学投射器与摄像机之间的相对位置一定时,由畸变的二维光条图像坐标便可重现物体表面三维形廓。
深度相机模组拓宽了前端感知的维度,能够很好的解决2D人脸识别遇到的抗假体攻击和极端情况下识别准确率降低的问题,效果得到了市场的认可,需求强烈,能够应用于基于3D人脸识别的门锁、门禁和支付等场景。在为了人脸识别等需求时,不仅需要目标的深度图像还需要灰度图像,一般灰度图像分为两种,一种是同一个相机拍摄的灰度图像或是不同相机拍摄的灰度图像或是两者兼而有之。在深度重建应用中,采集到的纹理图像包含投射器投射的纹理图案和背景光,其中投射器投射的纹理图案相当于有效信号,背景光相当于噪声干扰。在某些情况下,如光照强度较强时,背景光比较强,干扰比较厉害,造成信噪比较低。
发明内容
为此,本发明控制图像获取顺序与频次,并对图像进行相应的处理,可以提高背景光较强情况下的被测目标多帧深度重建结果,并能够缩短相邻两帧图像之间的采集的时间间隔,增加探测距离,提高深度相机受攻击的难度,使得深度相机的安全性更高、数据更加清晰。
本发明提供了一种多帧深度图像重建模组,其特征在于,包括如下模块:
第一激光投射器,用于向目标投射激光;
红外相机,用于采集所述目标的深度图像和背景图像;
处理器模块,用于获取预设置的帧频值,根据所述帧频值连续顺次采集同一目标的第一深度图像、背景图像、第二深度图像,根据所述第一深度图像和所述背景图像的对应像素的灰度值相减生成第一有效图像;根据所述第二深度图像和所述背景图像的对应像素的灰度值相减生成第二有效图像;以及根据所述第一深度图像和所述第二深度图像进行深度重建或三维重建生成深度图像。
可选地,所述的一种多帧深度图像重建模组,其特征在于,还包括:
第二激光投射器,用于向目标投射激光;其中,所述第二激光投射器投射的激光类型与所述第一激光投射器投射的激光类型不同。
可选地,所述的一种多帧深度图像重建模组,其特征在于,所述第一激光投射器与所述第二激光投射器的发射频率相同。
可选地,所述的一种多帧深度图像重建模组,其特征在于,根据所述帧频值进行图像采集时,包括如下步骤:
步骤S1:获取预设置的帧频阈值和原始帧频值,所述原始帧频值为用于采集第一深度图像和第二深度图像的深度相机的帧频值。
步骤S2:确定所述原始帧频值与所述帧频阈值之间的倍数值,当所述倍数值小于等于预设置的倍数阈值时,则确定所述预设置的帧频值为所述倍数阈值与所述帧频阈值的乘积,当所述倍数值大于等于预设置的倍数阈值时,则确定所述预设置的帧频值为所述原始帧频值。
步骤S3:根据所述帧频值在帧频阈值个采样周期内连续顺次采集同一目标的所述第一深度图像、背景图像、所述第二深度图像。
可选地,所述的一种多帧深度图像重建模组,其特征在于,所述步骤S3包括如下步骤:
步骤S1031:通过所述第一激光投射器的光投射器向目标投射激光;
步骤S1032:当所述倍数值小于等于预设置的倍数阈值时,根据所述帧频值在帧频阈值个采样周期内连续顺次采集同一目标的第一深度图像、背景图像、第二深度图像;
步骤S1033:当所述倍数值大于预设置的倍数阈值时,根据所述帧频值在根据帧频阈值确定的多个采样周期内每个采样周期中任意连续三帧顺次采集同一目标的第一深度图像、背景图像、第二深度图像。
可选地,所述的一种多帧深度图像重建模组,其特征在于,所述生成第一有效图像和所述生成第二有效图像时,包括如下步骤:
步骤M1:确定所述背景图像和所述第一深度图像、所述第二深度图像中每个像素的像素值;
步骤M2:将所述背景图像和所述第一深度图像、所述第二深度图像进行像素级对齐;
步骤M3:在所述第一深度图像中每个像素中减去与所述背景图像的对应像素的灰度值生成第一有效图像;在所述第二深度图像中每个像素中减去与所述背景图像的对应像素的灰度值生成第二有效图像。
可选地,所述的一种多帧深度图像重建模组,其特征在于,所述生成深度图像时,包括如下步骤:
步骤N1:在所述第一深度图像和所述第二深度图像与已知标定信息进行计算,得到所述第一深度图像和所述第二深度图像的视差图像;
步骤N2:根据三角测量原理确定所述红外相机的光心与视差图中每一视差值之间的距离,生成每一像素的深度信息;
步骤N3:根据每一所述像素的深度信息进行深度重建或三维重建生成深度图像。
可选地,所述的一种多帧深度图像重建模组,其特征在于,所述预设置的帧频阈值为15FPS,所述预设置的倍数阈值为3。
可选地,所述的一种多帧深度图像重建模组,其特征在于,所述第一激光投射器为结构光投射器,包括光源、光源驱动器以及光调制器;
所述光源驱动器与所述光源连接,用于驱动所述光源发光;
所述光调制器,用于将所述光源的投射的光调制形成离散点阵光后向所述目标投射。
可选地,所述的一种多帧深度图像重建模组,其特征在于,所述红外相机包括光学成像镜头和光探测器阵列;所述光探测器阵列包括多个呈阵列分布的光探测器;
所述光学成像镜头,用于使得透过所述光学成像镜头进入光探测器阵列的所述点阵光的方向向量与光探测器呈一一对应关系;
所述光探测器,用于接收经所述目标物体反射的点阵光。
与现有技术相比,本发明具有如下的有益效果:
本发明中根据预设置的帧频值连续顺次采集同一目标的第一深度图像、背景图像、第二深度图像,实现三帧图像的连续采集,缩短了相邻两帧图像之间的采集的时间间隔,提高了深度相机受攻击的难度,使得深度相机的安全性更高;
本发明中根据所述第一深度图像和背景图像、所述第二深度图像和背景图像的对应像素的灰度值相减生成第一有效图像和第二有效图像,进而根据第一有效图像和第二有效图像进行多帧深度重建或三维重建生成深度图像,降低了背景光的干扰,使得深度相机能够适用于光照强度较强的环境。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明实施例中一种多帧深度图像重建模组的工作原理示意图;
图2为本发明实施例中一种发射接收示意图;
图3为本发明实施例中一种多帧深度图像重建模组的工作原理示意图;
图4为本发明实施例中确定帧频值的步骤流程图;
图5为本发明实施例中根据帧频值采集图像的步骤流程图;
图6为本发明实施例中生成目标结构光图像的步骤流程图;
图7为本发明实施例中进行深度重建生成深度图像的步骤流程图;
图8为本发明实施例中结构光投射器的模块示意图;以及
图9为本发明实施例中红外相机的模块示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明的保护范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例,例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
本发明提供的一种多帧深度图像重建模组,旨在解决现有技术中存在的问题。
下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本发明的实施例进行描述。
图1为本发明实施例中一种多帧深度图像重建模组的工作原理示意图,如图1所示,本发明提供的一种多帧深度图像重建模组,包括如下模块:
第一激光投射器,用于向目标投射激光。
红外相机,用于采集所述目标的深度图像和背景图像。
处理器模块,用于获取预设置的帧频值,根据所述帧频值连续顺次采集同一目标的第一深度图像、背景图像、第二深度图像,根据所述第一深度图像和所述背景图像的对应像素的灰度值相减生成第一有效图像;根据所述第二深度图像和所述背景图像的对应像素的灰度值相减生成第二有效图像;以及根据所述第一深度图像和所述第二深度图像进行深度重建或三维重建生成深度图像。
具体地说,第一深度图像和第二深度图像是采用主动激光照射在目标物体上获得的深度图像。背景图像是不采用主动激光照射时获得的深度图像,常用的为红外传感器获得的红外图像。由于本实施例中的激光投射器只有一种,故第一有效图像和第二有效图像均为同一种深度图像,即结构光图像或红外图像。
在部分实施例中,处理器模块将将所述第一有效图像和所述第二有效图像进行合成,得到第三有效图像,并根据所述第三有效图像进行多帧深度重建或三维重建生成深度图像。将第一有效图像和第二有效图像进行合成,使得一组信号只有一个有效图像,即第三有效图像。相比于第一有效图像和第二有效图像,第三有效图像具有更好的信噪比,对于环境光强较强的环境具有更好的识别性。第三有效图像对于重建后的深度图像非常重要,因此需要考虑第三有效图像的质量,选取不同的模组电流值,曝光时间和增益 (Gain)值,使得获得的第三有效图像的像素值处在不过曝的范围内。
图2为本发明实施例中一种发射接收示意图。从图2中可以看出f1、f4为第一深度图像,f2为背景图像,f3、f5为第二深度图像。并且f1、f2、f3为一组信号,f4、 f5、f6为另一组信号。这种方式可以使得信号获得频率更高,通过共用背景信号的方式,提高了帧频率。需要说明的是,f1、f3均为一组信号的发射,其并不仅限于一个信号,而是可能是两个或多个信号的信合,即f1、f3也各自由两个或多个信号组合而成,从而使得本实施例可以具有更多的应用形式,在更广的应用范围内发挥作用。
图3为本发明实施例中另一种多帧深度图像重建模组的工作原理示意图,如图3所示,本发明提供的一种多帧深度图像重建模组,其特征在于,还包括:
第二激光投射器,用于向目标投射激光;其中,所述第二激光投射器投射的激光类型与所述第一激光投射器投射的激光类型不同。
具体地说,所述第一激光投射器与所述第二激光投射器的发射频率相同。在本实施例中,第一深度图像与第二深度图像既可以是相同的图像类型,又可以是不同的图像类型。当第一深度图像与第二深度图像是相同的图像类型时,第一深度图像和第二深度图像均由至少两个深度图像构成,既包括结构光图像,又包括红外图像。以图2进行说明,则f1、f3均包含结构光图像和红外图像,并共用背景图像f2。当第一深度图像与第二深度图像是不同的图像类型时,第一深度图像和第二深度图像分别为结构光图像和红外图像或红外图像和结构光图像。以图2进行说明,则f1、f3分别为结构光图像和红外图像或红外图像和结构光图像,并共用背景图像f2。在部分实施例中,将第一深度图像和第二深度图像进行合成,得到第三有效图像,并根据第三有效图像进行多帧深度重建或三维重建生成深度图像,可以例得相机的应用范围更加广泛,不需要切换投射器即可实现全范围的探测,同时,也使得相机的抗干扰性能大大增强,具有更长的探测距离,可以实现外部噪声环境比较大的情况下依旧可以有效重建。
进一步以结构光投射器和泛光投射器为例进行说明。当使用本实施例提供的深度相机时,可以首先通过结构光投射器朝目标投射结构光后采集红外结构光图像,然后通过红外相机采集背景图像,最后通过泛光投射器朝目标投射泛光后采集红外图像;还可以首先通过泛光投射器朝目标投射泛光后采集红外图像,然后通过红外相机采集背景图像,最后通过结构光投射器朝目标投射结构光后采集红外结构光图像。处理器通过对所获得的图像进行处理、重建。所述红外相机采用940nm的红外相机。所述泛光投射器采用LED 光源。
图4为本发明实施例中确定帧频值的步骤流程图,如图4所示,本发明提供的一种多帧深度图像重建模组,其特征在于,根据所述帧频值进行图像采集时,包括如下步骤:
步骤S1:获取预设置的帧频阈值和原始帧频值,所述原始帧频值为用于采集第一深度图像和第二深度图像的深度相机的帧频值。
步骤S2:确定所述原始帧频值与所述帧频阈值之间的倍数值,当所述倍数值小于等于预设置的倍数阈值时,则确定所述预设置的帧频值为所述倍数阈值与所述帧频阈值的乘积,当所述倍数值大于等于预设置的倍数阈值时,则确定所述预设置的帧频值为所述原始帧频值。
步骤S3:根据所述帧频值在帧频阈值个采样周期内连续顺次采集同一目标的所述第一深度图像、背景图像、所述第二深度图像。
具体地说,所述预设置的帧频阈值为15FPS,所述预设置的倍数阈值为3,则当所述原始帧频值为30FPS,则所述倍数值为2,由于倍数值2小于预设置的数阈值3,则确定所述预设置的帧频值为预设置的数阈值3乘以所述预设置的帧频阈值15,确定帧频值为45;当所述原始帧频值为60FPS,则所述倍数值为4,由于倍数值4大于预设置的数阈值3,则确定所述预设置的帧频值为原始帧频值为60FPS。
图5为本发明实施例中根据帧频值采集图像的步骤流程图,如图5所示,本发明提供的一种多帧深度图像重建模组,其特征在于,所述步骤S3包括如下步骤:
步骤S1031:通过所述第一激光投射器的光投射器向目标投射激光;
步骤S1032:当所述倍数值小于等于预设置的倍数阈值时,根据所述帧频值在帧频阈值个采样周期内连续顺次采集同一目标的第一深度图像、背景图像、第二深度图像;
步骤S1033:当所述倍数值大于预设置的倍数阈值时,根据所述帧频值在根据帧频阈值确定的多个采样周期内每个采样周期中任意连续三帧顺次采集同一目标的第一深度图像、背景图像、第二深度图像。
具体地说,当所述倍数值为2时,此时所述倍数值小于等于预设置的倍数阈值时,则在根据所述帧频值45在帧频阈值15个采样周期内连续顺次采集同一目标的背景图像、红外结构光图像、红外图像或连续顺次采集同一目标的红外图像、红外结构光图像、背景图像;
依次类推,例如,当所述倍数值为4时,此时所述倍数值大于预设置的倍数阈值时,则在根据所述帧频值60在帧频阈值15个采样周期内每4帧连续顺次采集同一目标的背景图像、红外结构光图像、红外图像或连续顺次采集同一目标的红外图像、红外结构光图像、背景图像。
图6为本发明实施例中生成目标结构光图像的步骤流程图,如图6所示,本发明提供的一种多帧深度图像重建模组,其特征在于,所述生成第一有效图像和所述生成第二有效图像时,包括如下步骤:
步骤M1:确定所述背景图像和所述第一深度图像、所述第二深度图像中每个像素的像素值;
步骤M2:将所述背景图像和所述第一深度图像、所述第二深度图像进行像素级对齐;
步骤M3:在所述第一深度图像中每个像素中减去与所述背景图像的对应像素的灰度值生成第一有效图像;在所述第二深度图像中每个像素中减去与所述背景图像的对应像素的灰度值生成第二有效图像。
图7为本发明实施例中进行深度重建生成深度图像的步骤流程图,如图7所示,本发明提供的一种多帧深度图像重建模组,其特征在于,所述生成深度图像时,包括如下步骤:
步骤N1:在所述第一深度图像和所述第二深度图像与已知标定信息进行计算,得到所述第一深度图像和所述第二深度图像的视差图像;
步骤N2:根据三角测量原理确定所述红外相机的光心与视差图中每一视差值之间的距离,生成每一像素的深度信息;
步骤N3:根据每一所述像素的深度信息进行深度重建或三维重建生成深度图像。
所述预设置的帧频阈值为15FPS,所述预设置的倍数阈值为3。
图8为本发明实施例中结构光投射器的模块示意图,如图8所示,本发明提供的一种多帧深度图像重建模组,其特征在于,所述第一激光投射器为结构光投射器,包括光源、光源驱动器以及光调制器;
所述光源驱动器与所述光源连接,用于驱动所述光源发光;
所述光调制器,用于将所述光源的投射的光调制形成离散点阵光后向所述目标投射。
具体地说,所述光调制器采用衍射光栅(DOE)或空间光调制器(SLM)。
图9为本发明实施例中红外相机的模块示意图,如图9所示,本发明提供的一种多帧深度图像重建模组,其特征在于,所述红外相机包括光学成像镜头和光探测器阵列;所述光探测器阵列包括多个呈阵列分布的光探测器;
所述光学成像镜头,用于使得透过所述光学成像镜头进入光探测器阵列的所述点阵光的方向向量与光探测器呈一一对应关系;
所述光探测器,用于接收经所述目标物体反射的点阵光。
具体地说,为了过滤背景噪声,所述光学成像镜头内通常还装有窄带滤光片2,使得所述光探测器阵列仅能通过预设的波长的入射准直光束。所述预设的波长可以为入射准直光束的波长,也可以为小于入射准直光束50纳米和大于入射准直光束50纳米之间。所述光探测器阵列可以呈周期或者非周期性排列。根据离散准直光束数量的需求,光探测器阵列可以是多个单点光探测器的组合或者是一个集成了多个光探测器的传感器芯片。为了进一步优化光探测器的灵敏度,一个离散准直光束在目标上的照射光斑可以对应一个或者多个光探测器。在多个光探测器对应同一个照射光斑时,每个探测器的信号可以通过电路连通,从而在能够合并为一个探测面积更大的光探测器。
具体地说,所述光探测器可以采用CMOS光传感器、CCD光传感器或SPAD光传感器。所述探测器端为红外探测器,通过红外探测器接收经所述目标反射后的所述点阵光。
本发明实施例中根据预设置的帧频值连续顺次采集同一目标的背景图像、红外结构光图像、红外图像或连续顺次采集同一目标的红外图像、红外结构光图像、背景图像,实现三帧图像的连续采集,缩短了相邻两帧图像之间的采集的时间间隔,提高了深度相机受攻击的难度,使得深度相机的安全性更高;本发明实施例中根据所述背景图像和所述红外结构光图像的对应像素的灰度值相减生成目标结构光图像,进而根据目标结构光图像进行深度重建或三维重建生成深度图像,降低了背景光的干扰,使得深度相机能够适用于光照强度较强的环境。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变形或修改,这并不影响本发明的实质内容。
Claims (10)
1.一种多帧深度图像重建模组,其特征在于,包括如下模块:
第一激光投射器,用于向目标投射激光;
红外相机,用于采集所述目标的深度图像和背景图像;
处理器模块,用于获取预设置的帧频值,根据所述帧频值连续顺次采集同一目标的第一深度图像、背景图像、第二深度图像,根据所述第一深度图像和所述背景图像的对应像素的灰度值相减生成第一有效图像;根据所述第二深度图像和所述背景图像的对应像素的灰度值相减生成第二有效图像;以及根据所述第一深度图像和所述第二深度图像进行深度重建或三维重建生成深度图像。
2.根据权利要求1所述的一种多帧深度图像重建模组,其特征在于,还包括:
第二激光投射器,用于向目标投射激光;其中,所述第二激光投射器投射的激光类型与所述第一激光投射器投射的激光类型不同。
3.根据权利要求2所述的一种多帧深度图像重建模组,其特征在于,所述第一激光投射器与所述第二激光投射器的发射频率相同。
4.根据权利要求1所述的一种多帧深度图像重建模组,其特征在于,根据所述帧频值进行图像采集时,包括如下步骤:
步骤S1:获取预设置的帧频阈值和原始帧频值,所述原始帧频值为用于采集第一深度图像和第二深度图像的深度相机的帧频值。
步骤S2:确定所述原始帧频值与所述帧频阈值之间的倍数值,当所述倍数值小于等于预设置的倍数阈值时,则确定所述预设置的帧频值为所述倍数阈值与所述帧频阈值的乘积,当所述倍数值大于等于预设置的倍数阈值时,则确定所述预设置的帧频值为所述原始帧频值。
步骤S3:根据所述帧频值在帧频阈值个采样周期内连续顺次采集同一目标的所述第一深度图像、背景图像、所述第二深度图像。
5.根据权利要求4所述的一种多帧深度图像重建模组,其特征在于,所述步骤S3包括如下步骤:
步骤S1031:通过所述第一激光投射器的光投射器向目标投射激光;
步骤S1032:当所述倍数值小于等于预设置的倍数阈值时,根据所述帧频值在帧频阈值个采样周期内连续顺次采集同一目标的第一深度图像、背景图像、第二深度图像;
步骤S1033:当所述倍数值大于预设置的倍数阈值时,根据所述帧频值在根据帧频阈值确定的多个采样周期内每个采样周期中任意连续三帧顺次采集同一目标的第一深度图像、背景图像、第二深度图像。
6.根据权利要求1所述的一种多帧深度图像重建模组,其特征在于,所述生成第一有效图像和所述生成第二有效图像时,包括如下步骤:
步骤M1:确定所述背景图像和所述第一深度图像、所述第二深度图像中每个像素的像素值;
步骤M2:将所述背景图像和所述第一深度图像、所述第二深度图像进行像素级对齐;
步骤M3:在所述第一深度图像中每个像素中减去与所述背景图像的对应像素的灰度值生成第一有效图像;在所述第二深度图像中每个像素中减去与所述背景图像的对应像素的灰度值生成第二有效图像。
7.根据权利要求4所述的一种多帧深度图像重建模组,其特征在于,所述生成深度图像时,包括如下步骤:
步骤N1:在所述第一深度图像和所述第二深度图像与已知标定信息进行计算,得到所述第一深度图像和所述第二深度图像的视差图像;
步骤N2:根据三角测量原理确定所述红外相机的光心与视差图中每一视差值之间的距离,生成每一像素的深度信息;
步骤N3:根据每一所述像素的深度信息进行深度重建或三维重建生成深度图像。
8.根据权利要求5所述的一种多帧深度图像重建模组,其特征在于,所述预设置的帧频阈值为15FPS,所述预设置的倍数阈值为3。
9.根据权利要求1所述的一种多帧深度图像重建模组,其特征在于,所述第一激光投射器为结构光投射器,包括光源、光源驱动器以及光调制器;
所述光源驱动器与所述光源连接,用于驱动所述光源发光;
所述光调制器,用于将所述光源的投射的光调制形成离散点阵光后向所述目标投射。
10.根据权利要求9所述的一种多帧深度图像重建模组,其特征在于,所述红外相机包括光学成像镜头和光探测器阵列;所述光探测器阵列包括多个呈阵列分布的光探测器;
所述光学成像镜头,用于使得透过所述光学成像镜头进入光探测器阵列的所述点阵光的方向向量与光探测器呈一一对应关系;
所述光探测器,用于接收经所述目标物体反射的点阵光。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210173550.8A CN116703997A (zh) | 2022-02-24 | 2022-02-24 | 一种多帧结构光重建模组 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210173550.8A CN116703997A (zh) | 2022-02-24 | 2022-02-24 | 一种多帧结构光重建模组 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116703997A true CN116703997A (zh) | 2023-09-05 |
Family
ID=87828009
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210173550.8A Pending CN116703997A (zh) | 2022-02-24 | 2022-02-24 | 一种多帧结构光重建模组 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116703997A (zh) |
-
2022
- 2022-02-24 CN CN202210173550.8A patent/CN116703997A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112106105B (zh) | 生成物体三维图像的方法和*** | |
CN110596721B (zh) | 双重共享tdc电路的飞行时间距离测量***及测量方法 | |
CN110298874B (zh) | 基于单个图像传感器及在可见光谱中的结构光图案撷取图像及相关三维模型的方法及装置 | |
US8159598B2 (en) | Distance estimation apparatus, distance estimation method, storage medium storing program, integrated circuit, and camera | |
EP4025934A1 (en) | Processing of lidar images | |
KR20110084029A (ko) | 3차원 영상 획득 장치 및 방법 | |
CA2846653A1 (en) | Methods and apparatus for merging depth images generated using distinct depth imaging techniques | |
CN111123289A (zh) | 一种深度测量装置及测量方法 | |
CN108646260B (zh) | 一种凝视型无镜头激光三维成像装置及成像方法 | |
CN111366941A (zh) | 一种tof深度测量装置及方法 | |
CN102119527A (zh) | 图像处理设备和图像处理方法 | |
JP3482990B2 (ja) | 3次元画像撮影装置 | |
CN110709722A (zh) | 飞行时间摄像机 | |
CN104395694A (zh) | 具有多个光源的运动传感器装置 | |
CN111707413A (zh) | 一种基于单像素探测器的质心探测方法 | |
US20220028102A1 (en) | Devices and methods for determining confidence in stereo matching using a classifier-based filter | |
CN111458717A (zh) | 一种tof深度测量装置、方法及电子设备 | |
US11601607B2 (en) | Infrared and non-infrared channel blender for depth mapping using structured light | |
CN212694034U (zh) | 一种tof深度测量装置及电子设备 | |
CN115018894A (zh) | 结构光重建模组 | |
CN115248440A (zh) | 基于点阵光投射的tof深度相机 | |
CN116703997A (zh) | 一种多帧结构光重建模组 | |
CN110297255A (zh) | 3d成像***和3d成像方法 | |
JP2023552698A (ja) | イメージング・システム | |
US8054347B2 (en) | Image sensor systems having improved noise performance |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |