CN112595262A - 一种基于双目结构光的高反光表面工件深度图像获取方法 - Google Patents

一种基于双目结构光的高反光表面工件深度图像获取方法 Download PDF

Info

Publication number
CN112595262A
CN112595262A CN202011421291.3A CN202011421291A CN112595262A CN 112595262 A CN112595262 A CN 112595262A CN 202011421291 A CN202011421291 A CN 202011421291A CN 112595262 A CN112595262 A CN 112595262A
Authority
CN
China
Prior art keywords
workpiece
depth image
infrared camera
structured light
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011421291.3A
Other languages
English (en)
Other versions
CN112595262B (zh
Inventor
徐晨
刘伟鑫
周松斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Intelligent Manufacturing of Guangdong Academy of Sciences
Original Assignee
Institute of Intelligent Manufacturing of Guangdong Academy of Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Intelligent Manufacturing of Guangdong Academy of Sciences filed Critical Institute of Intelligent Manufacturing of Guangdong Academy of Sciences
Priority to CN202011421291.3A priority Critical patent/CN112595262B/zh
Publication of CN112595262A publication Critical patent/CN112595262A/zh
Application granted granted Critical
Publication of CN112595262B publication Critical patent/CN112595262B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/22Measuring arrangements characterised by the use of optical techniques for measuring depth

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明是关于一种基于双目结构光的高反光表面工件深度图像获取方法。该方案包括将工件表面高反光图像获取设备和高反光表面工件调整至初始状态;将所述工件表面高反光图像获取设备和所述高反光表面工件从所述初始状态调整至曝光状态;对所述高反光表面工件进行拍摄,获得工件结构光图案和工件彩色图片;根据所述工件结构光图案和所述工件彩色图片通过深度处理和移动所述移动平台获得五张深度图像;通过五张图像融合算法获得所述高反光表面工件的目标深度图像。该方案通过多目结构光的多次曝光调整、多图融合克服3D结构光无法准确测量高反光表面工件三维尺寸信息的缺点,且运算量小、成本低、通用性强。

Description

一种基于双目结构光的高反光表面工件深度图像获取方法
技术领域
本发明涉及3D结构光测量技术领域,尤其涉及一种基于双目结构光的高反光表面工件深度图像获取方法。
背景技术
2D视觉虽为当前主流,但随着测量精度要求越来越高,被测物体条件越来越复杂,2D***的缺陷也愈发突出,而3D视觉技术不断获得突破,在精度、灵活性方面都是2D无可比拟的,在近年来已经被在多领域内应用。3D结构光测量技术作为三维视觉技术的一个重要分支,其原理采用投影装置对被测物投射具有编码信息的结构光图案,相机记录下结构光图案信息进行解码,还原物体三维信息。3D结构光测量技术具有较高精度、非接触、检测速度快、操作简单等优点,在工业场景中正应用得越来越广泛。目前,3D结构光测量技术在工业工件尺寸测量领域应用较多。但是,现有的3D结构光测量技术存在如下缺陷:对高反光表面工件的测量效果较差,容易丢失部分三维数据。
发明内容
为克服相关技术中存在的问题,本发明提供一种基于双目结构光的高反光表面工件深度图像获取方法,从而解决高反光表面工件的测量效果差、容易丢失部分三维数据的缺陷。
根据本发明实施例,提供一种基于双目结构光的高反光表面工件深度图像获取方法。该方法包括:
将工件表面高反光图像获取设备和高反光表面工件调整至初始状态,其中,所述工件表面高反光图像获取设备包括第一红外相机、第二红外相机、红外投影装置、彩色相机、移动平台;
将所述工件表面高反光图像获取设备和所述高反光表面工件从所述初始状态调整至曝光状态;
通过处于所述曝光状态的所述工件表面高反光图像获取设备和所述高反光表面工件进行拍摄,获得工件结构光图案和工件彩色图片;
根据所述工件结构光图案和所述工件彩色图片通过深度处理获得第一深度图像,将所述第一深度图像保存为深度图像P1
通过移动所述移动平台,获得深度图像P2、深度图像P3、深度图像P4和深度图像P5
通过五张图像融合算法将所述深度图像P1、所述深度图像P2、所述深度图像P3、所述深度图像P4和所述深度图像P5融合获得所述高反光表面工件的目标深度图像。
在一个或多个实施例中,优选地,所述将工件表面高反光图像获取设备和高反光表面工件调整至初始状态,具体包括:
将所述红外投影装置、所述第一红外相机、所述第二红外相机和所述彩色相机都安装在垂直面的所述移动平台上;
将所述红外投影装置装在所述移动平台的中间位置;
将所述彩色相机装在所述红外投影装置的旁边位置;
将所述第一红外相机和所述第二红外相机安装在所述红外投影装置两侧;
将所述移动平台移动至中心位置。
在一个或多个实施例中,优选地,所述将所述工件表面高反光图像获取设备和所述高反光表面工件从所述初始状态调整至曝光状态,具体包括:
将所述第一红外相机和所述第二红外相机的曝光时间设置为最大曝光时间的一半;
将所述第一红外相机和所述第二红外相机的增益设置为最大增益的一半;
所述红外投影装置向所述高反光表面工件表面投射结构光图案。
在一个或多个实施例中,优选地,所述通过处于所述曝光状态的所述工件表面高反光图像获取设备和所述高反光表面工件进行拍摄,获得工件结构光图案和工件彩色图片,具体包括:
所述第一彩色相机和所述第二彩色相机拍摄所述高反光表面工件的工件结构光图案;
所述彩色相机拍摄所述高反光表面工件表面,获得工件彩色图片。
在一个或多个实施例中,优选地,所述根据所述工件结构光图案和所述工件彩色图片通过深度处理获得第一深度图像,具体包括:
将所述工件彩色图片转换为灰度图,对所述灰度图提取工件表面轮廓,获得工件区域的灰度信息;
根据所述工件区域的灰度信息按照曝光时间与增益调整规则,调节所述第一红外相机和所述第二红外相机的曝光时间和增益;
将所述工件彩色图片利用所述第一红外相机和所述第二红外相机拍摄表面结构光图案;
对所述第一红外相机和所述第二红外相机采集的所述表面结构光图案进行解码,结合所述第一红外相机和所述第二红外相机标定参数计算若干张工件表面点云图;
将所述第一红外相机和所述第二红外相机计算的若干张所述工件表面点云图进行匹配融合,计算出融合后若干张点云深度图;
通过多张深度图像融合算法将所述若干张云点深度图进行融合,获得第一深度图像。
在一个或多个实施例中,优选地,所述提取工件表面轮廓方法具体为:采用canny算法提取所述灰度图的图像边缘后,通过边缘长度信息筛选出工件轮廓。
在一个或多个实施例中,优选地,所述按照曝光时间与增益调整规则调节所述第一红外相机和所述第二红外相机的曝光时间和增益包括具体为:
Figure BDA0002822473640000041
Figure BDA0002822473640000042
其中,expi为第i次调节后所述第一红外相机和第二红外相机的曝光时间,gaini为第i次调节后所述第一红外相机和第二红外相机的增益,i为调节次数,mean为工件区域灰度均值,expmax为所述红外相机的最大曝光时间,gainmax为所述红外相机的最大增益。
在一个或多个实施例中,优选地,所述多张深度图像融合算法具体为:
Figure BDA0002822473640000043
其中,k为所述点云深度图的张数,Im g为融合后的所述第一深度图像,Im gi为第i张所述点云深度图,i为大于等于0且小于k的整数中的一个。
在一个或多个实施例中,优选地,所述通过移动所述移动平台,获得深度图像,具体包括:
将所述移动平台向上移动,采用深度图像提取方法,将所述第一深度图像保存为深度图像P2
将所述移动平台移动到中心位置,再向下移动,采用深度图像提取方法,将所述第一深度图像保存为深度图像P3
将所述移动平台移动到中心位置,再向左移动,采用深度图像提取方法,将所述第一深度图像保存为深度图像P4
将所述移动平台移动到中心位置,再向右移动,采用深度图像提取方法,将所述第一深度图像保存为深度图像P5
其中,所述深度图像提取方法,具体包括:
所述将所述工件表面高反光图像获取设备和所述高反光表面工件从所述初始状态调整至曝光状态;
所述对处于所述曝光状态的所述工件表面高反光图像获取设备和所述高反光表面工件进行拍摄,获得工件结构光图案和工件彩色图片;
所述根据所述工件结构光图案和所述工件彩色图片通过深度处理获得第一深度图像。
在一个或多个实施例中,优选地,所述五张图像融合算法具体为:
Figure BDA0002822473640000051
其中,P为最终融合的深度图像,Pi为所述深度图像P1、所述深度图像P2、所述深度图像P3、所述深度图像P4和所述深度图像P5中的一个。
本发明的实施例提供的技术方案可以包括以下有益效果:
1、本方案通过双目结构的红外相机进行拍摄,并通过多重的曝光时间和增益调整获得多个图像,进而通过图像深度处理获得深度图像,克服了目前3D结构光无法准确测量高反光表面工件三维尺寸信息的缺点,实现对高反光表面工件的清晰、准确测量。
2、本方案中仅使用2台红外相机和1台彩色相机进行图像获取,通过预设的规则进行相机调整和图片深度融合,可实现为多各类高反光表面工件通用获取方式,且由于重复性运算少、运算量较小,利用此方案进行工件深度图像获取经济、可靠的特点。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的一种基于双目结构光的高反光表面工件深度图像获取方法的流程图。
图2是本发明一个实施例的一种基于双目结构光的高反光表面工件深度图像获取方法中的将工件表面高反光图像获取设备和高反光表面工件调整至初始状态流程图。
图3是本发明一个实施例的一种基于双目结构光的高反光表面工件深度图像获取方法中的工件表面高反光图像获取设备和高反光表面工件示意图。
图4是本发明一个实施例的一种基于双目结构光的高反光表面工件深度图像获取方法中的从所述初始状态调整至曝光状态流程图。
图5是本发明一个实施例的一种基于双目结构光的高反光表面工件深度图像获取方法中的高反光表面工件进行拍摄流程图。
图6是本发明一个实施例的一种基于双目结构光的高反光表面工件深度图像获取方法中的通过深度处理获得第一深度图像流程图。
图7是本发明一个实施例的一种基于双目结构光的高反光表面工件深度图像获取方法中通过移动所述移动平台获得深度图像的流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如101、102等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
2D视觉虽为当前主流,但随着测量精度要求越来越高,被测物体条件越来越复杂,2D***的缺陷也愈发突出,而3D视觉技术不断获得突破,在精度、灵活性方面都是2D无可比拟的,目前已经逐渐开始展示出其在各个领域中的优势。
3D结构光测量技术作为三维视觉技术的一个重要分支,其原理采用投影装置对被测物投射具有编码信息的结构光图案,相机记录下结构光图案信息进行解码,还原物体三维信息。3D结构光测量技术具有较高精度、非接触、检测速度快、操作简单等优点,在工业场景中正应用得越来越广泛。目前,3D结构光测量技术在工业工件尺寸测量领域应用较多。
但是,现有的3D结构光测量技术存在如下缺陷:对高反光表面工件的测量效果较差,容易丢失部分三维数据;产生这种现象的原因是光线在不同角度和曝光强度下所产生的反光程度会略有不同,因此可能会在某些条件下产生很强的反光,进而造成无法确认测量获得的工件尺寸。
本发明技术方案提供一种基于双目结构光的高反光表面工件深度图像获取方法,使通过双目结构光获得多组图像数据,各个图像数据之间相互补充,且由图像深度融合的方法最终获得目标深度图像,使由于高反光而造成的图像信息缺失无法影响3D结构光测量高反光表面工件的测量精度。
图1是本发明一个实施例的一种基于双目结构光的高反光表面工件深度图像获取方法的流程图。
如图1所示,本发明提供一种基于双目结构光的高反光表面工件深度图像获取方法。该方法包括:
S101、将工件表面高反光图像获取设备和高反光表面工件调整至初始状态,其中,所述工件表面高反光图像获取设备包括第一红外相机、第二红外相机、红外投影装置、彩色相机、移动平台;
S102、将所述工件表面高反光图像获取设备和所述高反光表面工件从所述初始状态调整至曝光状态;
S103、通过处于所述曝光状态的所述工件表面高反光图像获取设备和所述高反光表面工件进行拍摄,获得工件结构光图案和工件彩色图片;
S104、根据所述工件结构光图案和所述工件彩色图片通过深度处理获得第一深度图像,将所述第一深度图像保存为深度图像P1
S105、通过移动所述移动平台,获得深度图像P2、深度图像P3、深度图像P4和深度图像P5
S106、通过五张图像融合算法将所述深度图像P1、所述深度图像P2、所述深度图像P3、所述深度图像P4和所述深度图像P5融合获得所述高反光表面工件的目标深度图像。
在本发明实施例中,通过工件表面高反光图像获取设备和高反光表面工件状态的初始化、曝光、拍摄、图像深度处理、移动平台获得多组图像、多组图像数据融合等一系列步骤,完成对高反光表面工件全面的拍摄,进而获取不丢失信息的双目结构光目标深度图像,准确完成工件测量。
进一步地,在图2-7中,分别对初始状态调整至曝光状态、通过深度处理获得第一深度图像等各步骤进行详细介绍。
图2是本发明一个实施例的一种基于双目结构光的高反光表面工件深度图像获取方法中的将工件表面高反光图像获取设备和高反光表面工件调整至初始状态流程图。
如图2所示,在一个或多个实施例中,优选地,所述将工件表面高反光图像获取设备和高反光表面工件调整至初始状态,具体包括:
S201、将所述红外投影装置、所述第一红外相机、所述第二红外相机和所述彩色相机都安装在垂直面的所述移动平台上;
S202、将所述红外投影装置装在所述移动平台的中间位置;
S203、将所述彩色相机装在所述红外投影装置的旁边位置;
S204、将所述第一红外相机和所述第二红外相机安装在所述红外投影装置两侧;
S205、将所述移动平台移动至中心位置。
在本发明实施例中,通过将所述红外投影装置、所述第一红外相机、所述第二红外相机和所述彩色相机配置在相应位置上,并通过调整所述移动平台到中心位置,进行设备状态的初始化。
图3是本发明一个实施例的一种基于双目结构光的高反光表面工件深度图像获取方法中的工件表面高反光图像获取设备和高反光表面工件示意图。
在一个或多个实施例中,所述工件表面高反光图像获取设备包括第一红外相机301、第二红外相机302、红外投影装置303、彩色相机304、移动平台305;红外投影装置303的投射范围高反光表面工件306下方用虚线标识。其中,第一红外相机301、第二红外相机302是两个200万像素的红外相机,红外投影装置303是红外投影装置,分辨率为100万像素,彩色相机304是200万像素的彩色相机。通过本实施例中的配置方式,可以进行高反光工件表面的拍摄,但也可采用超过本实施例中像素的相机设备进行拍摄。
图4是本发明一个实施例的一种基于双目结构光的高反光表面工件深度图像获取方法中的从所述初始状态调整至曝光状态流程图。
如图4所示,在一个或多个实施例中,优选地,所述将所述工件表面高反光图像获取设备和所述高反光表面工件从所述初始状态调整至曝光状态,具体包括:
S401、将所述第一红外相机和所述第二红外相机的曝光时间设置为最大曝光时间的一半;
S402、将所述第一红外相机和所述第二红外相机的增益设置为最大增益的一半;
S403、所述红外投影装置向所述高反光表面工件表面投射结构光图案。
在本发明实施例中,通过在曝光之前先进行了曝光时间和增益的设置,以最大值的一半进行曝光时间和增益的设置,保证整个曝光过程中的可靠性,具体为,能够使得曝光时间和增益的调节增加和缩小的范围最大化,并且确保可以调节缩小和增大的程度相同。
图5是本发明一个实施例的一种基于双目结构光的高反光表面工件深度图像获取方法中的高反光表面工件进行拍摄流程图。
如图5所示,在一个或多个实施例中,优选地,所述通过处于所述曝光状态的所述工件表面高反光图像获取设备和所述高反光表面工件进行拍摄,获得工件结构光图案和工件彩色图片,具体包括:
S501、所述第一彩色相机和所述第二彩色相机拍摄所述高反光表面工件的工件结构光图案;
S502、所述彩色相机拍摄所述高反光表面工件表面,获得工件彩色图片。
在本发明实施例中,通过彩色相机拍摄了工件表面的彩色图片,进而用于利用色彩变化进行灰度划分,采用所述第一彩色相机和所述第二彩色相机拍摄的工件结构光图案可实现双目的3D的结构光的数据输入。
图6是本发明一个实施例的一种基于双目结构光的高反光表面工件深度图像获取方法中的通过深度处理获得第一深度图像流程图。
如图6所示,在一个或多个实施例中,优选地,所述根据所述工件结构光图案和所述工件彩色图片通过深度处理获得第一深度图像,具体包括:
S601、将所述工件彩色图片转换为灰度图,对所述灰度图提取工件表面轮廓,获得工件区域的灰度信息;
S602、根据所述工件区域的灰度信息按照曝光时间与增益调整规则,调节所述第一红外相机和所述第二红外相机的曝光时间和增益;
S603、将所述工件彩色图片利用所述第一红外相机和所述第二红外相机拍摄表面结构光图案;
S604、对所述第一红外相机和所述第二红外相机采集的所述表面结构光图案进行解码,结合所述第一红外相机和所述第二红外相机标定参数计算若干张工件表面点云图;
S605、将所述第一红外相机和所述第二红外相机计算的若干张所述工件表面点云图进行匹配融合,计算出融合后若干张点云深度图;
S606、通过多张深度图像融合算法将所述若干张云点深度图进行融合,获得第一深度图像。
本发明实施例中,通过按照第一规则调节所述第一红外相机和所述第二红外相机的曝光时间和增益获取多张图片,每调节一次曝光时间和增益,2个红外相机拍摄工件表面结构光图案,然后对2个红外相机采集的结构光图案进行解码,结合相机标定参数计算多张工件表面点云图,并将左右两个相机计算的点云图进行匹配融合,计算出融合后点云的深度图,然后将多张深度图像按照如下规则进行融合得到深度图像。
在一个或多个实施例中,优选地,所述提取工件表面轮廓方法具体为:采用canny算法提取所述灰度图的图像边缘后,通过边缘长度信息筛选出工件轮廓。
在一个或多个实施例中,优选地,所述按照曝光时间与增益调整规则调节所述第一红外相机和所述第二红外相机的曝光时间和增益包括具体为:
Figure BDA0002822473640000121
Figure BDA0002822473640000122
其中,expi为第i次调节后所述第一红外相机和第二红外相机的曝光时间,gaini为第i次调节后所述第一红外相机和第二红外相机的增益,i为调节次数,mean为工件区域灰度均值,expmax为所述红外相机的最大曝光时间,gainmax为所述红外相机的最大增益。
在一个或多个实施例中,优选地,所述多张深度图像融合算法具体为:
Figure BDA0002822473640000123
其中,k为所述点云深度图的张数,Im g为融合后的所述第一深度图像,Im gi为第i张所述点云深度图,i为大于等于0且小于k的整数中的一个。
在本发明实施例中,可以进行k个点云深度图像的获取,获取过程中采用多次的调节,每次调节获得一个新的第一红外相机和第二红外相机的增益和曝光时间,通过反复的修正,获得相对灰度变化均匀的图像,确保每张图片均具有足够准确的3D结构光信息,最终利用多张深度图像融合算法获得第一深度图像。
图7是本发明一个实施例的一种基于双目结构光的高反光表面工件深度图像获取方法中通过移动所述移动平台获得深度图像的流程图。
如图7所示,在一个或多个实施例中,优选地,所述通过移动所述移动平台,获得深度图像,具体包括:
S701、将所述移动平台向上移动,采用深度图像提取方法,将所述第一深度图像保存为深度图像P2
S702、将所述移动平台移动到中心位置,再向下移动,采用深度图像提取方法,将所述第一深度图像保存为深度图像P3
S703、将所述移动平台移动到中心位置,再向左移动,采用深度图像提取方法,将所述第一深度图像保存为深度图像P4
S704、将所述移动平台移动到中心位置,再向右移动,采用深度图像提取方法,将所述第一深度图像保存为深度图像P5
其中,所述深度图像提取方法,具体包括:
所述将所述工件表面高反光图像获取设备和所述高反光表面工件从所述初始状态调整至曝光状态;
所述对处于所述曝光状态的所述工件表面高反光图像获取设备和所述高反光表面工件进行拍摄,获得工件结构光图案和工件彩色图片;
所述根据所述工件结构光图案和所述工件彩色图片通过深度处理获得第一深度图像。
在本发明实施例中,所述第一深度图像在步骤S104中被保存为所述深度图像P1,但所述第一深度图像在步骤S701、S702、S703和S704中,将会分别被保存为不同的深度图像,它们分别为深度图像P2、深度图像P3、深度图像P4、深度图像P5。因此,在所述深度图像提取方法中仅获得所述第一深度图像,第一处理图像作为一个数据桥梁,用于后续数据分析的储备。
在一个或多个实施例中,优选地,所述五张图像融合算法具体为:
Figure BDA0002822473640000131
其中,P为最终融合的深度图像,Pi为所述深度图像P1、所述深度图像P2、所述深度图像P3、所述深度图像P4和所述深度图像P5中的一个。
在本发明实施例中,通过五张图像融合算法将所述深度图像P1、深度图像P2、深度图像P3、深度图像P4、深度图像P5图像最终处理为一个单一的目标深度图像。该目标深度图像既能够显示出所测量的所述工件的尺寸,同时又通过5张图片的平均化融合降低不同位置、不同曝光时间和增益对于深度图像的影响,实现对高反光表面工件深度图像的获取。
本发明实施例中,提供基于双目结构光的高反光表面工件深度图像获取方法,使双目结构的红外相机数据通过多次调整、数据融合。可产生如下效果:
1、本方案通过双目结构的红外相机进行拍摄,并通过多重的曝光时间和增益调整获得多个图像,进而通过图像深度处理获得深度图像,克服了目前3D结构光无法准确测量高反光表面工件三维尺寸信息的缺点,实现对高反光表面工件的清晰、准确测量。
2、本方案中仅使用2台红外相机和1台彩色相机进行图像获取,通过预设的规则进行相机调整和图片深度融合,可实现为多各类高反光表面工件通用获取方式,且由于重复性运算少、运算量较小,利用此方案进行工件深度图像获取经济、可靠的特点。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于双目结构光的高反光表面工件深度图像获取方法,其特征在于,包括:
将工件表面高反光图像获取设备和高反光表面工件调整至初始状态,其中,所述工件表面高反光图像获取设备包括第一红外相机、第二红外相机、红外投影装置、彩色相机、移动平台;
将所述工件表面高反光图像获取设备和所述高反光表面工件从所述初始状态调整至曝光状态;
通过处于所述曝光状态的所述工件表面高反光图像获取设备和所述高反光表面工件进行拍摄,获得工件结构光图案和工件彩色图片;
根据所述工件结构光图案和所述工件彩色图片通过深度处理获得第一深度图像,将所述第一深度图像保存为深度图像P1
通过移动所述移动平台,获得深度图像P2、深度图像P3、深度图像P4和深度图像P5
通过五张图像融合算法将所述深度图像P1、所述深度图像P2、所述深度图像P3、所述深度图像P4和所述深度图像P5融合获得所述高反光表面工件的目标深度图像。
2.根据权利要求1所述的一种基于双目结构光的高反光表面工件深度图像获取方法,其特征在于,所述将工件表面高反光图像获取设备和高反光表面工件调整至初始状态,具体包括:
将所述红外投影装置、所述第一红外相机、所述第二红外相机和所述彩色相机都安装在垂直面的所述移动平台上;
将所述红外投影装置装在所述移动平台的中间位置;
将所述彩色相机装在所述红外投影装置的旁边位置;
将所述第一红外相机和所述第二红外相机安装在所述红外投影装置两侧;
将所述移动平台移动至中心位置。
3.根据权利要求2所述的一种基于双目结构光的高反光表面工件深度图像获取方法,其特征在于,所述将所述工件表面高反光图像获取设备和所述高反光表面工件从所述初始状态调整至曝光状态,具体包括:
将所述第一红外相机和所述第二红外相机的曝光时间设置为最大曝光时间的一半;
将所述第一红外相机和所述第二红外相机的增益设置为最大增益的一半;
所述红外投影装置向所述高反光表面工件表面投射结构光图案。
4.根据权利要求3所述的一种基于双目结构光的高反光表面工件深度图像获取方法,其特征在于,所述通过处于所述曝光状态的所述工件表面高反光图像获取设备和所述高反光表面工件进行拍摄,获得工件结构光图案和工件彩色图片,具体包括:
所述第一彩色相机和所述第二彩色相机拍摄所述高反光表面工件的工件结构光图案;
所述彩色相机拍摄所述高反光表面工件表面,获得工件彩色图片。
5.根据权利要求4所述的一种基于双目结构光的高反光表面工件深度图像获取方法,其特征在于,所述根据所述工件结构光图案和所述工件彩色图片通过深度处理获得第一深度图像,具体包括:
将所述工件彩色图片转换为灰度图,对所述灰度图提取工件表面轮廓,获得工件区域的灰度信息;
根据所述工件区域的灰度信息按照曝光时间与增益调整规则,调节所述第一红外相机和所述第二红外相机的曝光时间和增益;
将所述工件彩色图片利用所述第一红外相机和所述第二红外相机拍摄表面结构光图案;
对所述第一红外相机和所述第二红外相机采集的所述表面结构光图案进行解码,结合所述第一红外相机和所述第二红外相机标定参数计算若干张工件表面点云图;
将所述第一红外相机和所述第二红外相机计算的若干张所述工件表面点云图进行匹配融合,计算出融合后若干张点云深度图;
通过多张深度图像融合算法将所述若干张云点深度图进行融合,获得第一深度图像。
6.根据权利要求5所述的一种基于双目结构光的高反光表面工件深度图像获取方法,其特征在于,所述提取工件表面轮廓方法具体为:采用canny算法提取所述灰度图的图像边缘后,通过边缘长度信息筛选出工件轮廓。
7.根据权利要求5所述的一种基于双目结构光的高反光表面工件深度图像获取方法,其特征在于,所述按照曝光时间与增益调整规则调节所述第一红外相机和所述第二红外相机的曝光时间和增益包括具体为:
Figure FDA0002822473630000031
Figure FDA0002822473630000032
其中,expi为第i次调节后所述第一红外相机和第二红外相机的曝光时间,gaini为第i次调节后所述第一红外相机和第二红外相机的增益,i为调节次数,mean为工件区域灰度均值,expmax为所述红外相机的最大曝光时间,gainmax为所述红外相机的最大增益。
8.根据权利要求5所述的一种基于双目结构光的高反光表面工件深度图像获取方法,其特征在于,所述多张深度图像融合算法具体为:
Figure FDA0002822473630000041
其中,k为所述点云深度图的张数,Im g为融合后的所述第一深度图像,Im gi为第i张所述点云深度图,i为大于等于0且小于k的整数中的一个。
9.根据权利要求5所述的一种基于双目结构光的高反光表面工件深度图像获取方法,其特征在于,所述通过移动所述移动平台,获得深度图像,具体包括:
将所述移动平台向上移动,采用深度图像提取方法,将所述第一深度图像保存为深度图像P2
将所述移动平台移动到中心位置,再向下移动,采用深度图像提取方法,将所述第一深度图像保存为深度图像P3
将所述移动平台移动到中心位置,再向左移动,采用深度图像提取方法,将所述第一深度图像保存为深度图像P4
将所述移动平台移动到中心位置,再向右移动,采用深度图像提取方法,将所述第一深度图像保存为深度图像P5
其中,所述深度图像提取方法,具体包括:
所述将所述工件表面高反光图像获取设备和所述高反光表面工件从所述初始状态调整至曝光状态;
所述对处于所述曝光状态的所述工件表面高反光图像获取设备和所述高反光表面工件进行拍摄,获得工件结构光图案和工件彩色图片;
所述根据所述工件结构光图案和所述工件彩色图片通过深度处理获得第一深度图像。
10.根据权利要求1所述的一种基于双目结构光的高反光表面工件深度图像获取方法,其特征在于,所述五张图像融合算法具体为:
Figure FDA0002822473630000042
其中,P为最终融合的深度图像,Pi为所述深度图像P1、所述深度图像P2、所述深度图像P3、所述深度图像P4和所述深度图像P5中的一个。
CN202011421291.3A 2020-12-08 2020-12-08 一种基于双目结构光的高反光表面工件深度图像获取方法 Active CN112595262B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011421291.3A CN112595262B (zh) 2020-12-08 2020-12-08 一种基于双目结构光的高反光表面工件深度图像获取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011421291.3A CN112595262B (zh) 2020-12-08 2020-12-08 一种基于双目结构光的高反光表面工件深度图像获取方法

Publications (2)

Publication Number Publication Date
CN112595262A true CN112595262A (zh) 2021-04-02
CN112595262B CN112595262B (zh) 2022-12-16

Family

ID=75188711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011421291.3A Active CN112595262B (zh) 2020-12-08 2020-12-08 一种基于双目结构光的高反光表面工件深度图像获取方法

Country Status (1)

Country Link
CN (1) CN112595262B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052898A (zh) * 2021-04-08 2021-06-29 四川大学华西医院 基于主动式双目相机的点云和强反光目标实时定位方法
CN114820430A (zh) * 2022-02-18 2022-07-29 成都飞机工业(集团)有限责任公司 一种多光源协同曝光的3d打印无损检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007285953A (ja) * 2006-04-19 2007-11-01 Disk Tekku Kk 深さ測定装置
CN106504284A (zh) * 2016-10-24 2017-03-15 成都通甲优博科技有限责任公司 一种基于立体匹配与结构光相结合的深度图获取方法
CN106934394A (zh) * 2017-03-09 2017-07-07 深圳奥比中光科技有限公司 双波长图像采集***及方法
CN206921118U (zh) * 2017-03-09 2018-01-23 深圳奥比中光科技有限公司 双波长图像采集***
CN108267097A (zh) * 2017-07-17 2018-07-10 杭州先临三维科技股份有限公司 基于双目三维扫描***的三维重构方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007285953A (ja) * 2006-04-19 2007-11-01 Disk Tekku Kk 深さ測定装置
CN106504284A (zh) * 2016-10-24 2017-03-15 成都通甲优博科技有限责任公司 一种基于立体匹配与结构光相结合的深度图获取方法
CN106934394A (zh) * 2017-03-09 2017-07-07 深圳奥比中光科技有限公司 双波长图像采集***及方法
CN206921118U (zh) * 2017-03-09 2018-01-23 深圳奥比中光科技有限公司 双波长图像采集***
CN108267097A (zh) * 2017-07-17 2018-07-10 杭州先临三维科技股份有限公司 基于双目三维扫描***的三维重构方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052898A (zh) * 2021-04-08 2021-06-29 四川大学华西医院 基于主动式双目相机的点云和强反光目标实时定位方法
CN113052898B (zh) * 2021-04-08 2022-07-12 四川大学华西医院 基于主动式双目相机的点云和强反光目标实时定位方法
CN114820430A (zh) * 2022-02-18 2022-07-29 成都飞机工业(集团)有限责任公司 一种多光源协同曝光的3d打印无损检测方法
CN114820430B (zh) * 2022-02-18 2023-10-03 成都飞机工业(集团)有限责任公司 一种多光源协同曝光的3d打印无损检测方法

Also Published As

Publication number Publication date
CN112595262B (zh) 2022-12-16

Similar Documents

Publication Publication Date Title
EP2568253B1 (en) Structured-light measuring method and system
CN114998499B (zh) 一种基于线激光振镜扫描的双目三维重建方法及***
CN111192235B (zh) 一种基于单目视觉模型和透视变换的图像测量方法
CN112161997B (zh) 半导体芯片管脚三维几何尺寸的在线精密视觉测量方法及***
CN112595262B (zh) 一种基于双目结构光的高反光表面工件深度图像获取方法
CN102376089A (zh) 一种标靶校正方法及***
CN109859272A (zh) 一种自动对焦双目摄像头标定方法及装置
CN108182708B (zh) 一种双目相机的标定方法、标定装置及终端设备
CN110827360B (zh) 一种光度立体式测量***及其标定光源方向的方法
CN107504917B (zh) 一种三维尺寸测量方法及装置
CN112686950B (zh) 位姿估计方法、装置、终端设备及计算机可读存储介质
JP2011182397A (ja) ずれ量算出方法およびずれ量算出装置
CN109636857B (zh) 对位方法及标定***
CN109974623A (zh) 基于线激光和双目视觉的三维信息获取方法和装置
CN104634323B (zh) 一种多级摄像三维照相***及方法
CN112648935A (zh) 一种图像处理方法、装置和三维扫描***
CN102901490B (zh) 一种基于动态阈值的图像匹配方法及***
CN117132583A (zh) 晶圆缺陷检测方法、装置、电子设备及非易失性存储介质
CN116958218A (zh) 一种基于标定板角点对齐的点云与图像配准方法及设备
CN112729246B (zh) 一种基于双目结构光的黑色表面物体深度图像测量方法
CN114596355A (zh) 一种基于合作目标的高精度位姿测量方法及***
CN113870350A (zh) 图像样本标注方法、装置、终端设备和图像标注***
CN113538680A (zh) 基于双目光度立体视觉的三维测量方法及设备
JP2961140B2 (ja) 画像処理方法
CN111023999A (zh) 一种基于空间编码结构光的稠密点云生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant