CN113762253B - 散斑的提取方法、装置、电子设备及存储介质 - Google Patents
散斑的提取方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113762253B CN113762253B CN202110975772.7A CN202110975772A CN113762253B CN 113762253 B CN113762253 B CN 113762253B CN 202110975772 A CN202110975772 A CN 202110975772A CN 113762253 B CN113762253 B CN 113762253B
- Authority
- CN
- China
- Prior art keywords
- speckle
- speckle pattern
- pattern
- image
- background subtraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 claims description 35
- 238000001514 detection method Methods 0.000 claims description 22
- 238000001914 filtration Methods 0.000 claims description 15
- 230000003044 adaptive effect Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 4
- 230000002146 bilateral effect Effects 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 abstract description 4
- 238000004422 calculation algorithm Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 7
- 238000005286 illumination Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 241000282461 Canis lupus Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000001559 infrared map Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明实施例涉及图像处理技术领域,公开了一种散斑的提取方法、装置、电子设备及存储介质,散斑的提取方法包括:获取红外图和散斑图;根据所述红外图对所述散斑图进行背景减除,得到背景减除图像,所述散斑图的背景为除散斑之外的其他区域;对所述散斑图进行连通区域检测,得到初始散斑提取结果;根据所述背景减除图像对所述初始散斑提取结果进行去噪处理,得到散斑提取结果。使得能够避免图像背景的干扰,进而实现信噪比和对比灵敏度的提高。
Description
技术领域
本发明实施例涉及图像处理技术领域,特别涉及一种散斑的提取方法、装置、电子设备及存储介质。
背景技术
结构光相机的深度解算过程,主要是对拍摄到的散斑图中的散斑图案与参考散斑图的散斑图案进行匹配计算,即对两张图像中的散斑斑点进行相关性的计算。因此,有效提取散斑有利于提高匹配的准确度,使三维信息的精度更高。但是复杂的环境往往导致相机的信噪比低、散斑模糊,因此,为了提高匹配计算的准确性,通常需要对散斑图进行滤波、二值化处理和联通区域检测。
然而,在一些特别的环境下,如室外环境,由于强烈的光照,散斑对比度变低,滤波和二值化处理并不能克服一些反光较强的区域导致的散斑清晰度低甚至是无法辨析的问题。亟需提供一种信噪比高、对比度辨析能力强的方法以准确提取散斑。
发明内容
本发明实施例的目的在于提供一种散斑的提取方法、装置、电子设备及存储介质,使得能够避免图像背景的干扰,进而实现信噪比和对比灵敏度的提高。
为实现上述目的,本发明的实施例提供了一种散斑的提取方法,包括以下步骤:获取红外图和散斑图;根据所述红外图对所述散斑图进行背景减除,得到背景减除图像,所述散斑图的背景为除散斑之外的其他区域;对所述散斑图进行连通区域检测,得到初始散斑提取结果;根据所述背景减除图像对所述初始散斑提取结果进行去噪处理,得到散斑提取结果。
为实现上述目的,本发明的实施例还提供了一种散斑的提取装置,包括:获取模块,用于获取红外图和散斑图;背景减除模块,用于根据所述红外图对所述散斑图进行背景减除,得到背景减除图像,所述散斑图的背景为除散斑之外的其他区域;提取模块,用于对所述散斑图进行连通区域检测,得到初始散斑提取结果;根据所述背景减除图像对所述初始散斑提取结果进行去噪处理,得到散斑提取结果。
为实现上述目的,本发明的实施例还提供了一种电子设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上所述的散斑的提取方法。
为实现上述目的,本发明的实施例还提供了一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如上所述的散斑的提取方法。
本发明实施例提供的散斑的提取方法,首先获取散斑图和红外图,由于结构光相机在拍摄散斑图和红外图之间的时间间隔非常短,因此,红外图和散斑图中的内容基本一致,区别在于红外图中无散斑,即在以散斑为散斑图的前景的情况下,红外图可被视为散斑图的背景,因此,获取散斑图和红外图实际是获取散斑图和散斑图的背景图,进而可以利用红外图对散斑图进行背景减除处理,得到仅含有散斑的背景减除图像,由于背景减除图像中仅含有散斑,因此,在通过连通区域检测得到初始散斑提取结果后,利用背景减除图像中散斑的位置对初始散斑结果进行筛选,去除噪声,得到准确的散斑提取结果。避免了背景噪声的干扰,提高了图像信噪比和对比灵敏度。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1是本发明实施例中的散斑的提取方法的流程图;
图2是本发明另一实施例中的包括以散斑图为匀光模板对红外图进行匀光处理步骤的散斑的提取方法的流程图;
图3是如图2所示的本发明另一实施例中的散斑的提取方法中的步骤1021步骤的流程图;
图4是本发明另一实施例中的包括计算局部均值和局部标准差步骤的散斑的提取方法的流程图;
图5是本发明另一实施例中的包括确定参考像素点步骤的散斑的提取方法的流程图;
图6是本发明另一实施例中的散斑的提取装置的结构示意图;
图7是本发明另一实施例中的电子设备的结构示意图。
具体实施方式
由背景技术可知,即使对散斑图进行滤波、二值化处理和联通区域检测以在散斑对比度低、信噪比低的情况下尽量提取比较准确的散斑,仍然无法克服在室外等外界环境下由于强烈的光照,散斑对比度变低,一些反光较强的区域甚至无法辨析出散斑对图像匹配造成不利的影响。因此,亟需提供一种信噪比高、对比度辨析能力强的方法以准确提取散斑。
为解决上述问题,本发明实施例提供了一种散斑的提取方法,包括以下步骤:获取红外图和散斑图;根据所述红外图对所述散斑图进行背景减除,得到背景减除图像,所述散斑图的背景为除散斑之外的其他区域;对所述散斑图进行连通区域检测,得到初始散斑提取结果;根据所述背景减除图像对所述初始散斑提取结果进行去噪处理,得到散斑提取结果。
本发明实施例提供的散斑的提取方法,首先获取散斑图和红外图,由于结构光相机在拍摄散斑图和红外图之间的时间间隔非常短,因此,红外图和散斑图中的内容基本一致,区别在于红外图中无散斑,即在以散斑为散斑图的前景的情况下,红外图可被视为散斑图的背景,因此,获取散斑图和红外图实际是获取散斑图和散斑图的背景图,进而可以利用红外图对散斑图进行背景减除处理,得到仅含有散斑的背景减除图像,由于背景减除图像中仅含有散斑,因此,在通过连通区域检测得到初始散斑提取结果后,利用背景减除图像中散斑的位置对初始散斑结果进行筛选,去除噪声,得到准确的散斑提取结果。避免了背景噪声的干扰,提高了图像信噪比和对比灵敏度。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的各实施方式进行详细的阐述。然而,本领域的普通技术人员可以理解,在本发明各实施方式中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请所要求保护的技术方案。
以下各个实施例的划分是为了描述方便,不应对本发明的具体实现方式构成任何限定,各个实施例在不矛盾的前提下可以相互结合相互引用。
在一些实施例中,散斑的提取方法应用于需要获取利用结构光获取深度信息的设备上,如人脸解锁开机的手机、人脸打卡设备等,如图1所示,散斑的提取方法包括:
步骤101,获取红外图和散斑图。
本实施例中,红外图为无散斑图案的光线投影到目标事物上时采集的图像,散斑图为具有散斑图案的光线投影到目标事物上时采集的图像。
需要说明的是,红外图和散斑图是同一结构光相机采集到的图像,每次采集散斑图以基于采集到散斑图分析深度信息时,相机需要进行两次拍摄,一次得到散斑图,一次得到红外图,但是两次拍摄之间的间隔时间极短。其中,结构光相机可以是需要获取利用结构光获取深度信息的设备中的一部分,也可以是需要获取利用结构光获取深度信息的设备的一个外部连接设备。
在一个例子中,结构光相机包括镭射光源和泛光光源,在物体表面检测场景下,结构光相机先启动镭射光源,发射点光源,经物体反射得到散斑图,然后启动泛光源,发射面光源,经物体反射得到红外图。需要强调的是,启动镭射光源得到散斑图和启动泛光源得到红外图之间的时间间隔很短。
步骤102,根据红外图对散斑图进行背景减除,得到背景减除图像,散斑图的背景为除散斑之外的其他区域。
本实施例中,散斑图中的前景为散斑,背景为除散斑值卡的其他区域,背景减除是指从图像中单独提取出图像的前景部分。
具体地说,将红外图作为散斑图的背景,计算散斑图和背景之间的像素差,实现背景减除,得到背景减除图像。
需要说明的是,虽然红外图和散斑图之间的拍摄间隔很短,内容基板一致,但是仍然会存在差异,这些差异主要体现在亮度、对比度方面,也就是说红外图和散斑图的背景之间仍然会存在亮度、对比度上的差异,因此,为了使红外图更加接近散斑图的背景,在计算像素差之前,还需要对红外图和散斑图分别进行处理。
进一步地,在一些实施例中,如图2所示,步骤102包括:
步骤1021,以散斑图为匀光模板,对红外图进行匀光处理。
具体地说,将散斑图各个像素点的灰度值作为匀光模板的情况下,利用匀光算法对红外图进行匀光处理,其中,匀光算法可以是Mask匀光算法、Wallis匀光算法等,本实施例不对匀光算法进行限定。
值得一提的是,通过图像匀光将红外图的亮度、对比度调整与散斑图相同,使得红外图更加接近散斑图的背景,利用红外图进行背景减除能够更加准确地提取出散斑,得到更加准确的背景减除图像。
为了帮助本领域技术人员更好地理解步骤1021,以下将以Wallis匀光算法为例进行说明。
进一步地,在一些实施例中,如图3所示,步骤1021包括:
步骤10211,从散斑图中确定出一个无散斑的区域作为第一感兴趣区域ROI。
具体地说,从散斑图中无散斑的部分随机选取一定大小的区域作为第一感兴趣区域(Region Of Interest,ROI)。
需要说明的是,在室外场景下,很可能会拍摄到天空,由于天空、较远的背景、玻璃背景等基本不会将具有散斑图案的光线反射回来或反射回来的光线过少,且目标物体一般位于散斑图的中下部分,天空等一般位于散斑图的上半部分,因此,第一ROI可以优先在散斑图的上半部分中选取。
步骤10212,根据第一ROI确定红外图中的第二ROI。
具体地说,根据第一ROI在散斑图中的相对位置在红外图中确定出相对位置相同的区域作为第二ROI。
更具体地说,由于散斑图和红外图是由同一结构光相机拍摄的图像,因此,散斑图和红外图的像素、分辨率、尺寸等相同,相对位置相同就是散斑图和红外图中对应相同的位置,也就是说,在红外图中与散斑图中第一ROI相同位置处确定出第一ROI。
步骤10213,分别计算第一ROI和第二ROI的灰度均值和灰度标准差。
具体地说,计算第一ROI内像素点的灰度值的均值和标准差作为第一ROI的灰度均值和标准差,并计算第二ROI内像素点的灰度值的均值和标准差作为第二ROI的灰度均值和标准差。
步骤10214,以第一ROI的灰度均值和灰度标准差作为匀光模板的灰度均值和灰度标准差,并根据匀光模板和第二ROI的灰度均值和灰度标准差对红外图进行匀光处理。
具体地说,匀光处理通过如下表达式实现:
其中,g(x,y)为经过Wallis匀光算法处理后的红外图中像素点(x,y)的灰度值,f(x,y)表示红外图中像素点(x,y)的灰度值,c为预设的图像方差扩展常数且满足c∈[0,1],b为预设的图像的亮度系数且满足b∈[0,1],m1为第一ROI的灰度均值,std1为第一ROI的灰度标准差,m2为第二ROI的灰度均值,std2为第二ROI的灰度标准差。
值得一提的是,Wallis匀光算法实际是通过对需要匀光处理的图像和与该图像尺寸相同的模板进行依次在局部进行处理从而实现整体匀光处理,并且每次都是选取位置相同的局部区域进行处理。但是本实施例在对将红外图向散斑图中背景的亮度、对比度靠近时,散斑图中的背景为除散斑之外的区域,因此,匀光就是要将红外图向散斑图中无散斑区域的亮度和对比度靠近,并且由于散斑散布在散斑图中,因此散斑图中无散斑区域中存在和散斑分布一致的空洞,也就是说,红外图和散斑背景中的像素点不能一一对应。本实施例将第一ROI和第二ROI作为图像的灰度值参考,实现对整个红外图像的匀光处理,改进了Wallis匀光算法,克服了红外图和散斑背景中的像素点不能一一对应的问题。
步骤1022,对散斑图和经匀光处理后的红外图分别进行滤波。
具体地说,对散斑图进行双边滤波并对经匀光处理后的红外图进行高斯滤波。
值得一提的是,高斯滤波能够保留红外图中的低频信息,即保留红外图中灰度变化较小的值,可以理解的是,与散斑图中由于散斑和背景之间存在明显的分界不同,红外图中不存在散斑,整张图各个像素点与其相邻像素点之间的灰度值变化基本较小,只有存在噪声时会出现灰度值变化较大的情况,因此,进行高斯滤波保留低频信息能够避免红外图中的噪声干扰。此外,双边滤波既能够将散斑图中的散斑较好地保留还能够对噪声进行过滤。
步骤1023,根据滤波后的红外图对滤波后的散斑图进行背景减除,得到背景减除图像。
具体地说,背景减除就是对滤波后的红外图和滤波后的散斑图逐像素计算像素差。
更具体地说,背景减除通过以下表达式实现:
其中,Ispec3为背景减除图像,Ispec3(x,y)为背景减除图像中的像素点(x,y)的像素值,K为预设阈值,Iir3为滤波后的红外图,Iir3(x,y)为Iir3中的像素点(x,y)的像素值,Ispec2为滤波后的散斑图,Ispec2(x,y)为Ispec2中像素点(x,y)的像素值,abs(x)表示求取x的绝对值。
需要说明的是,本实施例中的像素值可以为灰度值。
值得一提的是,通过匀光处理和滤波对红外图和散斑图进行调整,使得红外图和散斑图的背景基本保持一致,从而保证利用红外图对散斑图进行背景减除能够准确地去除背景部分,背景减除图像中散斑图像位置更加准确。
步骤103,对散斑图进行连通区域检测,得到初始散斑提取结果。
具体地说,利用连通区域检测算法对散斑图进行8邻域或4邻域的联通区域检测,得到初始散斑结果,其中,连通区域检测算法可以是种子填充法,还可以是两遍扫描法等,本实施例不对联通区域检测算法进行限定。
需要说明的是,连通区域检测一般是先进行二值化再利用连通区域检测算法进行检测,也就是说,在连通区域检测的过程中,由于结构光相机拍摄到的散斑亮度等比背景部分高,因此,二值化后的图像中值为1的像素点一般认为是散斑内的像素点,值为0的像素点一般认为是背景内的像素点,进而通过连通区域检测就能够对像素点进行区分,其中,联通区域检测会将值为1的若干像素点作为一个散斑,即得到初始散斑提取结果。但是由于室外等光照强烈的环境下,结构光相机拍摄到的散斑图很可能存在一些虽然是背景部分但是亮度很高的区域,进而在二值化的过程中,将其值设置为1从而通过连通区域检查识别为散斑内的像素点,导致将噪声错误识别为散斑。因此,还需要进一步去噪才能得到准确的散斑提取结果。
为了方便本领域技术人员更好地理解连通区域检测过程,以下将以利用种子填充法对二值化后的散斑图进行8邻域连通区域检测得到初始散斑提取结果为例对步骤103进行说明。
进一步地,在一些实施例中,8邻域为像素点(x,y)正上方、正下方、正左方、正右方、左上方、左下方、右上方和右下方的像素点。此时,基于种子填充法的8邻域连通区域检测实现如下:依次以各个像素点为中心,位于中心的像素点即为种子点,确定其8邻域中的像素点的像素值与中心像素点的像素值是否都为255,若是则认为中心像素点和其8邻域中的像素点之间连通且为散斑内的像素点,直到所有像素点都遍历一次。
还需要说明的是,连通区域检测一般是对二值化图像进行的,因此,步骤103之前还需要对散斑图进行二值化处理,为了得到更加准确的二值化结果,通常采用自适应二值化处理,可以采用基于自适应全局阈值的大津法图像二值化、三角法图像二值化,也可以是局部均值处理、局部高斯处理等。
为了方便本领域技术人员更好地理解二值化处理过程,以下将以Wolf算法为例进行说明。
进一步地,在一些实施例中,如图4所示,步骤103之前,散斑的提取方法还包括:
步骤105,基于预设的滑动窗口计算散斑图中每个像素点的局部均值和局部标准差。
具体地说,逐像素遍历散斑图,计算以像素I(x,y)为中心,以W为窗口半径的矩形邻域内的像素值的均值与标准差作为像素点I(x,y)的局部均值和局部标准差。特别地,计算局部均值可以认为是基于预设地滑动窗口大小对散斑图进行均值滤波。
步骤106,根据局部均值和局部标准差确定每个像素点的自适应二值化阈值。
具体地说,确定自适应二值化阈值通过如下表达式实现:
其中,T(x,y)为散斑图中像素点(x,y)的自适应二值化阈值,k为一个预设常数值且满足k∈[0,1],Imin为步骤105中计算得到的所有局部均值中的最小值,R为步骤105中计算得到的所有局部标准差中的最大值,M5-1为与散斑图相同大小的矩阵,矩阵M5-1中的元素M5-1(x,y)为散斑图中像素点(x,y)的局部均值,M5-2也为与散斑图相同大小的矩阵,矩阵M5-2中的元素M5-2(x,y)为散斑图中像素点(x,y)的局部标准差。
步骤107,根据散斑图的实际灰度值和自适应二值化阈值之间的大小关系确定每个像素点的二值化结果,得到二值化后的散斑图。
具体地说,当散斑图中像素点(x,y)的实际灰度值大于步骤106中得到的像素点(x,y)的自适应二值化阈值,则确定像素点(x,y)的灰度值为255;当散斑图中像素点(x,y)的实际灰度值小于等于步骤106中得到的像素点(x,y)的自适应二值化阈值,则确定像素点(x,y)的灰度值为0。
需要说明的是,此时步骤103为:对二值化后的散斑图进行连通区域检测,得到初始散斑提取结果。
值得一提的是,通过为每个图像求取自适应二值化阈值,实现与同一张图像的不同区域具有不同光照条件相适应的二值化阈值,从而适应散斑图中光照条件变化,得到更加精细准确的二值化后的散斑图,实现对低对比度散斑的提取。
步骤104,根据背景减除图像对初始散斑提取结果进行去噪处理,得到散斑提取结果。
具体地说,当初始散斑提取结果中的散斑内的像素点(x1,y1)与背景减除图像中的像素点(x2,y2)在x1=x2,y1=y2的条件下,若还能满足(x1,y1)的灰度值(像素值)为255以及(x2,y2)的值为1,则保留初始散斑提取结果中像素点(x1,y1)的灰度值;当初始散斑提取结果中的散斑内的像素点(x1,y1)与背景减除图像中的像素点(x2,y2)在x1=x2,y1=y2的条件下,若不能满足(x1,y1)的灰度值(像素值)为255以及(x2,y2)的值为1,则设置初始散斑提取结果中像素点(x1,y1)的灰度值为0。
更具体地说,在一些实施例中,如图5所示,步骤104包括:
步骤1041,确定初始散斑提取结果中各个散斑所在的散斑像素点。
具体地说,在初始散斑提取结果中查找灰度值为255的像素点作为散斑像素点。
步骤1042,根据散斑像素点从背景减除图像确定出参考像素点。
具体地说,根据散斑像素点在初始散斑提取结果图像中的位置在背景减除图像中查找出位置相同的像素点作为参考像素点。
步骤1043,根据参考像素点是否位于背景减除图像中的散斑内判断是否保留对应的散斑像素点,若是,执行步骤1044,若否,执行步骤1045。
具体地说,检测参考像素点的值是否为1,若是,则认为需要保留对应的散斑像素点,若否,则认为对应的散斑像素点为背景中的噪声,不保留对应的散斑像素点。
步骤1044,保持散斑像素点的值。
步骤1045,将散斑像素点的值置为0。
在一个例子中,步骤103进行连通区域检测实现如下:在二值化后的散斑图中查找到多个像素点集,每个像素点集中包含若干个彼此连通且灰度值为255像素点,则依次为不同的像素集设置不同的编号,同一像素点集中的像素点采用同一个编号,并用一个矩阵M6-1记录这些像素点集及其内部的若干像素点。则步骤104实现如下:创建一个长度与上述标识总数量相等的队列,对队列进行初始化后,遍历背景减除图像中值为1的像素点P1,确定在矩阵M6-1中位置与P1相同的像素点的编号,并以该编号为索引地址,在队列中的相应位置出的元素设置为1。接着创建一个与散斑图相同大小和分辨率的零值图,逐像素遍历矩阵M6-1确定某个像素点P2的编号,根据该编号在队列中查找对应的元素,若查找的队列元素值为1,则将零值图中与P2位置相同的像素点的值设置为255,遍历完成后即得到最终的散斑提取结果。
上面各种方法的步骤划分,只是为了描述清楚,实现时可以合并为一个步骤或者对某些步骤进行拆分,分解为多个步骤,只要包括相同的逻辑关系,都在本专利的保护范围内;对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计,但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明实施例还提供了一种散斑的提取装置,如图6所示,包括:
获取模块601,用于获取红外图和散斑图。
背景减除模块602,用于根据红外图对散斑图进行背景减除,得到背景减除图像,散斑图的背景为除散斑之外的其他区域。
提取模块603,用于对散斑图进行连通区域检测,得到初始散斑提取结果;根据背景减除图像对初始散斑提取结果进行去噪处理,得到散斑提取结果。
不难发现,本实施例为与方法实施例相对应的装置实施例,本实施例可与方法实施例互相配合实施。方法实施例中提到的相关技术细节在本实施例中依然有效,为了减少重复,这里不再赘述。相应地,本实施例中提到的相关技术细节也可应用在方法实施例中。
值得一提的是,本实施方式中所涉及到的各模块均为逻辑模块,在实际应用中,一个逻辑单元可以是一个物理单元,也可以是一个物理单元的一部分,还可以以多个物理单元的组合实现。此外,为了突出本发明的创新部分,本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入,但这并不表明本实施方式中不存在其它的单元。
本发明实施例还提供了一种电子设备,如图7所示,包括:至少一个处理器701;以及,与至少一个处理器701通信连接的存储器702;其中,存储器702存储有可被至少一个处理器701执行的指令,指令被至少一个处理器701执行,以使至少一个处理器701能够执行上述方法实施例所描述的散斑的提取方法。
其中,存储器702和处理器701采用总线方式连接,总线可以包括任意数量的互联的总线和桥,总线将一个或多个处理器701和存储器702的各种电路连接在一起。总线还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路连接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件,也可以是多个元件,比如多个接收器和发送器,提供用于在传输介质上与各种其他装置通信的单元。经处理器701处理的数据通过天线在无线介质上进行传输,进一步,天线还接收数据并将数据传输给处理器701。
处理器701负责管理总线和通常的处理,还可以提供各种功能,包括定时,***接口,电压调节、电源管理以及其他控制功能。而存储器702可以被用于存储处理器701在执行操作时所使用的数据。
本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解,上述各实施方式是实现本发明的具体实施例,而在实际应用中,可以在形式上和细节上对其作各种改变,而不偏离本发明的精神和范围。
Claims (10)
1.一种散斑的提取方法,其特征在于,包括:
获取红外图和散斑图;所述红外图为无散斑图案的光线投影到目标事物上时采集的图像,所述散斑图为具有散斑图案的光线投影到所述目标事物上时采集的图像;所述红外图与所述散斑图的拍摄时间间隔小于预设时长,以使所述红外图形成所述散斑图的背景;
根据所述红外图对所述散斑图进行背景减除,得到背景减除图像,所述散斑图的背景为除散斑之外的其他区域;
对所述散斑图进行连通区域检测,得到初始散斑提取结果;
根据所述背景减除图像对所述初始散斑提取结果进行去噪处理,得到散斑提取结果。
2.根据权利要求1所述的散斑的提取方法,其特征在于,所述根据所述红外图对所述散斑图进行背景减除,得到背景减除图像,包括:
以所述散斑图为匀光模板,对所述红外图进行匀光处理;
对所述散斑图和经匀光处理后的所述红外图分别进行滤波;
根据滤波后的所述红外图对滤波后的所述散斑图进行背景减除,得到所述背景减除图像。
3.根据权利要求2中所述的散斑的提取方法,其特征在于,所述以所述散斑图为匀光模板,对所述红外图进行匀光处理,包括:
从所述散斑图中确定出一个无所述散斑的区域作为第一感兴趣区域ROI;
根据所述第一ROI确定所述红外图中的第二ROI;
分别计算所述第一ROI和所述第二ROI的灰度均值和灰度标准差;
以所述第一ROI的灰度均值和灰度标准差作为所述匀光模板的灰度均值和灰度标准差,根据所述匀光模板和所述第二ROI的灰度均值和灰度标准差对所述红外图进行匀光处理。
4.根据权利要求2所述的散斑的提取方法,其特征在于,所述对所述散斑图和经匀光处理后的所述红外图分别进行滤波,包括:
对所述散斑图进行双边滤波并对经匀光处理后的所述红外图进行高斯滤波。
5.根据权利要求1-4任一项所述的散斑的提取方法,其特征在于,所述对所述散斑图进行连通区域检测,得到初始散斑提取结果之前,所述方法还包括:
基于预设的滑动窗口计算所述散斑图中每个像素点的局部均值和局部标准差;
根据所述局部均值和所述局部标准差确定每个所述像素点的自适应二值化阈值;
根据所述散斑图的实际灰度值和所述自适应二值化阈值之间的大小关系确定每个所述像素点的二值化结果,得到二值化后的所述散斑图;
所述对所述散斑图进行连通区域检测,得到初始散斑提取结果,包括:
对二值化后的所述散斑图进行连通区域检测,得到所述初始散斑提取结果。
6.根据权利要求5所述的散斑的提取方法,其特征在于,所述对二值化后的所述散斑图进行连通区域检测,得到所述初始散斑提取结果,包括:
利用种子填充法对二值化后的所述散斑图进行8邻域连通区域检测,得到所述初始散斑提取结果。
7.根据权利要求1-4任一项所述的散斑的提取方法,其特征在于,所述根据所述背景减除图像对所述初始散斑提取结果进行去噪处理,得到散斑提取结果,包括:
确定所述初始散斑提取结果中各个所述散斑所在的散斑像素点;
根据所述散斑像素点从所述背景减除图像确定出参考像素点;
根据所述参考像素点是否位于所述背景减除图像中的所述散斑内判断是否保留对应的所述散斑像素点;
若保留,保持所述散斑像素点的值;
若不保留,将所述散斑像素点的值置为0。
8.一种散斑的提取装置,其特征在于,包括:
获取模块,用于获取红外图和散斑图;所述红外图为无散斑图案的光线投影到目标事物上时采集的图像,所述散斑图为具有散斑图案的光线投影到所述目标事物上时采集的图像;所述红外图与所述散斑图的拍摄时间间隔小于预设时长,以使所述红外图形成所述散斑图的背景;
背景减除模块,用于根据所述红外图对所述散斑图进行背景减除,得到背景减除图像,所述散斑图的背景为除散斑之外的其他区域;
提取模块,用于对所述散斑图进行连通区域检测,得到初始散斑提取结果;根据所述背景减除图像对所述初始散斑提取结果进行去噪处理,得到散斑提取结果。
9.一种电子设备,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1-7中任一所述的散斑的提取方法。
10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时如实现权利要求1至7中任一项所述的散斑的提取方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110975772.7A CN113762253B (zh) | 2021-08-24 | 2021-08-24 | 散斑的提取方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110975772.7A CN113762253B (zh) | 2021-08-24 | 2021-08-24 | 散斑的提取方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113762253A CN113762253A (zh) | 2021-12-07 |
CN113762253B true CN113762253B (zh) | 2022-08-26 |
Family
ID=78791041
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110975772.7A Active CN113762253B (zh) | 2021-08-24 | 2021-08-24 | 散斑的提取方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113762253B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114266710A (zh) * | 2021-12-17 | 2022-04-01 | 北京的卢深视科技有限公司 | 眩光去除方法、电子设备和计算机可读存储介质 |
CN114332147B (zh) * | 2021-12-30 | 2023-01-24 | 合肥的卢深视科技有限公司 | 散斑图预处理的方法、装置、电子设备和存储介质 |
CN115052136B (zh) * | 2022-05-10 | 2023-10-13 | 合肥的卢深视科技有限公司 | 结构光投影方法、电子设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109461181A (zh) * | 2018-10-17 | 2019-03-12 | 北京华捷艾米科技有限公司 | 基于散斑结构光的深度图像获取方法及*** |
CN112150528A (zh) * | 2019-06-27 | 2020-12-29 | Oppo广东移动通信有限公司 | 一种深度图像获取方法及终端、计算机可读存储介质 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8818028B2 (en) * | 2010-04-09 | 2014-08-26 | Personify, Inc. | Systems and methods for accurate user foreground video extraction |
CN102184552B (zh) * | 2011-05-11 | 2013-06-26 | 上海理工大学 | 一种基于差分融合与图像边缘信息的运动目标检测方法 |
KR102491850B1 (ko) * | 2015-07-15 | 2023-01-26 | 삼성전자주식회사 | 레이저 스펙클 대조도 이미징 시스템 및 방법, 이를 적용한 장치 |
CN108234874B (zh) * | 2018-01-10 | 2020-07-21 | 南京华捷艾米软件科技有限公司 | 体感摄像头的成像精度的调节方法及调节装置 |
CN108596128B (zh) * | 2018-04-28 | 2020-06-26 | 京东方科技集团股份有限公司 | 对象识别方法、装置及存储介质 |
CN110047100B (zh) * | 2019-04-01 | 2020-04-21 | 四川深瑞视科技有限公司 | 深度信息检测方法、装置及*** |
CN112581374A (zh) * | 2019-09-29 | 2021-03-30 | 深圳市光鉴科技有限公司 | 散斑亚像素中心提取方法、***、设备及介质 |
CN112270688B (zh) * | 2020-11-04 | 2024-05-28 | 中国科学院上海微***与信息技术研究所 | 一种前景提取方法、装置、设备及存储介质 |
CN113091608B (zh) * | 2021-03-23 | 2023-05-30 | 南京理工大学 | 一种基于网格提取种子点的数字散斑相关快速实现方法 |
-
2021
- 2021-08-24 CN CN202110975772.7A patent/CN113762253B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109461181A (zh) * | 2018-10-17 | 2019-03-12 | 北京华捷艾米科技有限公司 | 基于散斑结构光的深度图像获取方法及*** |
CN112150528A (zh) * | 2019-06-27 | 2020-12-29 | Oppo广东移动通信有限公司 | 一种深度图像获取方法及终端、计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113762253A (zh) | 2021-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113762253B (zh) | 散斑的提取方法、装置、电子设备及存储介质 | |
Fattal | Dehazing using color-lines | |
US8873835B2 (en) | Methods and apparatus for correcting disparity maps using statistical analysis on local neighborhoods | |
WO2018120038A1 (zh) | 一种目标检测的方法及装置 | |
CN113077459B (zh) | 图像清晰度检测方法、装置、电子设备及存储介质 | |
CN109640066B (zh) | 高精度稠密深度图像的生成方法和装置 | |
US10003787B1 (en) | Method, system and apparatus for refining a depth map | |
US8305377B2 (en) | Image processing method | |
JP2014228357A (ja) | ひび割れ検出方法 | |
WO2021195873A1 (zh) | 识别sfr测试卡图像中感兴趣区域的方法及装置、介质 | |
CN112801031A (zh) | 静脉图像识别方法、装置、电子设备及可读存储介质 | |
CN114373086A (zh) | 集成模板匹配方法、装置、计算机设备及存储介质 | |
CN116977341B (zh) | 一种尺寸测量方法及相关装置 | |
KR102327304B1 (ko) | 깊이영상 카메라로부터 획득된 3d 영상의 품질 향상 방법 | |
CN117333518A (zh) | 激光扫描图像匹配方法、***及计算机设备 | |
CN111311610A (zh) | 图像分割的方法及终端设备 | |
CN116958058A (zh) | 镜头脏污检测方法、装置及图像检测设备 | |
CN113822818B (zh) | 散斑提取方法、装置、电子设备及存储介质 | |
Cao et al. | Depth image vibration filtering and shadow detection based on fusion and fractional differential | |
CN113240723A (zh) | 一种单目深度估计方法、装置以及深度评估设备 | |
CN113936049A (zh) | 单目结构光散斑图像深度恢复方法、电子设备及存储介质 | |
CN111476821B (zh) | 基于在线学习的目标跟踪方法 | |
CN112711748B (zh) | 一种指静脉身份认证方法、装置、电子设备及存储介质 | |
Rauf et al. | Brain Aneurysm Extraction in MRI Images | |
CN114119693A (zh) | 一种iToF深度数据获取方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20220530 Address after: 230091 room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei, Anhui Province Applicant after: Hefei lushenshi Technology Co.,Ltd. Address before: 100083 room 3032, North B, bungalow, building 2, A5 Xueyuan Road, Haidian District, Beijing Applicant before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD. Applicant before: Hefei lushenshi Technology Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |