CN113658241B - 单目结构光的深度恢复方法、电子设备及存储介质 - Google Patents
单目结构光的深度恢复方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113658241B CN113658241B CN202110938158.3A CN202110938158A CN113658241B CN 113658241 B CN113658241 B CN 113658241B CN 202110938158 A CN202110938158 A CN 202110938158A CN 113658241 B CN113658241 B CN 113658241B
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- parallax
- pyramid
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000011084 recovery Methods 0.000 title claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 32
- 230000002776 aggregation Effects 0.000 claims description 15
- 238000004220 aggregation Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- XJSPHBHQSVHTPO-UHFFFAOYSA-N O1C(C=CC=C1)C(=O)N.[Au] Chemical compound O1C(C=CC=C1)C(=O)N.[Au] XJSPHBHQSVHTPO-UHFFFAOYSA-N 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims 1
- 239000000126 substance Substances 0.000 claims 1
- 238000005259 measurement Methods 0.000 abstract description 10
- 230000008569 process Effects 0.000 description 16
- 238000005070 sampling Methods 0.000 description 16
- 238000001914 filtration Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 101100269850 Caenorhabditis elegans mask-1 gene Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明实施例涉及图像处理领域,公开了一种单目结构光的深度恢复方法、电子设备及存储介质。本申请包括获取目标物体的物体散斑图像和参考散斑图像作为单目结构光图像;根据单目结构光图像生成包括N层金字塔图像的图像金字塔,N为大于1的整数;对图像金字塔进行如下处理:根据i层的视差图像和第i‑1层的金字塔图像,获取第i‑1层的视差图像,直至将第一层的视差图像作为目标物体的目标视差图像,其中,i的初始值为N,第N层的视差图像是根据第N层金字塔图像获取;根据目标视差图像,确定目标物体的深度信息。采用本申请实施例,可以减少单目结构光测量深度信息的计算量,提高计算速度,降低对部署设备的要求。
Description
技术领域
本发明实施例涉及图像处理领域,特别涉及一种单目结构光的深度恢复方法、电子设备及存储介质。
背景技术
3D相机因具有测量深度信息、能够测量目标物体的平面影像而被广泛应用于测量、检测等工作中,即3D相机可以获取目标物体的三维位置及尺寸等信息。3D相机通常包括深度传感器和多个摄像头,3D相机可以实现三维信息采集,且三维数据可以转成点云。3D相机实时获取环境物体深度信息,三维尺寸以及空间信息,为动作捕捉、三维建模、室内导航与定位等场景提供了技术支持,具有广泛的消费级、工业级应用需求,例如,动作捕捉识别、人脸识别、自动驾驶领域的三维建模、巡航和避障、工业领域的零件扫描检测分拣,安防领域的监控、人数统计等。目前3D相机中深度信息成像技术主要包括:飞行时间法(Time offlight,TOF)、双目立体视觉和结构光。
单目结构光技术是向目标物体投射随机不规则散斑,通过预设的算法进行散斑特征匹配进而获取目标物体的深度信息的技术。然而,在进行散斑特征匹配过程的计算量大,计算速度慢,导致获取深度信息的速度慢。
发明内容
本发明实施方式的目的在于提供一种单目结构光的深度恢复方法、电子设备及存储介质,可以减少单目结构光测量深度信息的计算量,提高计算速度,降低对部署设备的要求。
为解决上述技术问题,本发明的实施方式提供了一种单目结构光的深度恢复方法,包括:获取目标物体的物体散斑图像和参考散斑图像作为单目结构光图像;根据单目结构光图像生成包括N层金字塔图像的图像金字塔,N为大于1的整数;对图像金字塔进行如下处理:根据i层的视差图像和第i-1层的金字塔图像,获取第i-1层的视差图像,直至将第一层的视差图像作为目标物体的目标视差图像,其中,i的初始值为N,第N层的视差图像是根据第N层金字塔图像获取;根据目标视差图像,确定目标物体的深度信息。
本发明的实施方式还提供了一种电子设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述的单目结构光的深度恢复方法。
本发明的实施方式还提供了一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时实现上述的单目结构光的深度恢复方法。
本申请实施例中,获取目标物体的物体散斑图像和参考散斑图像作为单目结构光图像;根据单目结构光图像生成包括N层金字塔图像的图像金子塔,通过对该单目结构光图像进行下采样,生成的N组金字塔图像组成图像金子塔,且该图像金字塔中图像的分辨率具有逐层递减的特性,即第N层金字塔图像的分辨率最小,第1层金字塔图像的分辨率最大,分辨率低的金字塔图像的视差图像计算量小,计算速度快;根据上层的视差图像和当前层的金字塔图像,可以获取当前层的视差图像,由于上一层的金字塔图像的分辨率低,计算上一层的视差图像的计算量减小,本实施例中将上一层的视差图像作为获取当前层视差图像的输入数据,辅助获取本层的视差图像,可以减少对当前层视差图像的计算量,提高计算速度;从而可以减少单目结构光测量深度信息恢复的计算量,提高计算速度,降低对部署设备的要求。
另外,根据i层的视差图像和第i-1层的金字塔图像,获取第i-1层的视差图像,直至将第一层的视差图像作为所述目标物体的目标视差图像,包括:将第i层的视差图像上采样到第i-1层的分辨率,获得第i-1层的先验视差图像;根据所述第i-1层的先验视差图像确定第i-1层的视差搜索范围;根据所述第i-1层的视差搜索范围和所述第i-1层的金字塔图像,确定第i-1层的视差图像;将i更新为i-1,若检测到更新后的i等于1,则将更新后的第i层的视差图像作为目标视差图像,若检测到i大于1,则返回执行将第i层的视差图像上采样到第i-1层的金子塔图像的步骤。将上层的视差图像上采样到当前层的分辨率,可以获得当前层的先验视差图像,根据先验视差图像确定当前层金字塔图像的视差搜索范围,减少了当前层的金字塔图像获取视差图像的搜索范围,减少计算量,提高计算速度;从而可以减少单目结构光测量深度信息的计算量,提高计算速度,降低对部署设备的要求。
另外,根据第i-1层的先验视差图像确定第i-1层的视差搜索范围,包括:针对第i-1层金字塔图像的每个第一像素进行如下处理:判断第i-1层中与第一像素匹配的像素位置是否存在视差值,若存在视差值,则获取以视差值为中心的预设范围作为第一像素的视差搜索范围;若不存在视差值,则根据金子塔图像的分辨率确定第一像素的视差搜索范围。以视差值为中心的预设范围作为第一像素的视差搜索范围,而不是对所有可能的视差进行搜索,缩小了视差搜索范围,从而提高了视差计算速度。
另外,将第i层的视差图像上采样到第i-1层的分辨率,获得第i-1层的先验视差图像之前,方法还包括:将第i-1层的金字塔图像中亮度大于或等于预设的截断阈值的像素值置为所述截断阈值;获取像素值重置后的所述第i-1层的金字塔图像中属于背景光斑的像素点作为背景像素点;将所述背景像素点的像素值置为0。通过与截断阈值的比较,可以减少亮度过大的光斑对匹配代价计算的影响,将背景像素点置为0,增强金字塔图像中亮斑和背景像素点之间的区别,进而提高后续匹配代价的计算量的准确性。
另外,获取像素值重置后的第i-1层的金字塔图像中属于背景光斑的像素点作为背景像素点,包括:针对第i-1层的金字塔图像中每个第二像素进行如下处理:获取第二像素邻域内所有像素值之和作为和值;根据和值以及预设的亮斑阈值表达式,确定亮斑阈值;将小于或等于亮斑阈值的像素点作为属于背景光斑的像素点。根据第二像素的邻域确定该第二像素的亮斑阈值,使得确定的亮斑阈值更加准确,进而提高滤波的效果。
另外,在根据i层的视差图像和第i-1层的金字塔图像,获取第i-1层的视差图像,直至将第一层的视差图像作为所述目标物体的目标视差图像之前,该方法还包括:采用零均值归一化方式获取所述第i层的金字塔图像的匹配代价;对获取的匹配代价进行代价聚合、视差计算,得到所述第i层的视差图像。通过零均值归一化方式可以克服散斑图像中亮度不均衡的问题,进一步提升了深度测量的鲁棒性和精度。
另外,对获取的匹配代价进行代价聚合,包括:根据所述匹配代价,采用区域生长的方式进行逐像素的代价聚合。采用区域生长的方式进行代价聚合,可以避免在进行逐像素匹配的过程中,出现噪声等外部因素使得像素匹配产生二义性以及避免出现错误点的匹配代价大于正确匹配点的匹配代价的情况。
另外,根据所述目标视差图像,确定所述目标物体的深度信息,包括:对所述目标视差图像中每个视差值进行亚像素处理,得到优化后的所述目标视差图像;根据优化后的所述目标视差图像,计算所述目标物体的深度信息。进行亚像素处理,可以提高目标视差图像的准确性,进而提高深度信息的准确度。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1是根据本发明第一实施例提供的一种单目结构光的深度恢复方法的流程图;
图2是根据本发明第一实施例提供的一种单目结构光的深度恢复方法中图像金字塔的示意图;
图3是根据本发明第一实施例提供的对图像金子塔进行处理的具体实现示意图;
图4是根据本发明第一实施例提供的对第i层金字塔图像进行截断和滤波处理的一种具体实现示意图;
图5是根据本发明第一实施例提供获取视差图像的一种具体实现示意图;
图6是根据本发明第一实施例提供的三角测量原理的示意图;
图7是根据本发明第二实施例提供的一种电子设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的各实施方式进行详细的阐述。然而,本领域的普通技术人员可以理解,在本发明各实施方式中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请所要求保护的技术方案。
以下各个实施例的划分是为了描述方便,不应对本发明的具体实现方式构成任何限定,各个实施例在不矛盾的前提下可以相互结合相互引用。
TOF是通过测量光飞行时间确定距离,通过向目标物体连续发射激光脉冲,采用传感器接收从反射光线,通过探测光脉冲的飞行往返时间来得到确切的目标距离。双目立体视觉是是基于视差原理并利用成像设备从不同位置获取被测物体的两幅影像,通过计算影像对应点间的位置偏差,来获取目标物体的三维几何信息。然而,TOF技术对设备要求高、特别是时间测量模块,并且该技术在检测相位偏移时需要多次采样积分,运算量大,资源消耗大,边缘精度低。而双目立体视觉对环境光照非常敏感,光线变化导致影像偏差大,导致匹配失败或者精度降低,且双目立体视觉对算法要求高,计算量较大。而结构光技术,在进行散斑特征匹配过程的计算量大,计算速度慢,导致获取深度信息的速度慢。本实施例解决该单目结构光的深度测量的计算量大,对部署设备要求高的问题。
本发明的第一实施方式涉及一种单目结构光的深度恢复方法。该方法可以由电子设备执行,电子设备可以是深度信息采集装置。其流程如图1所示:
步骤101:获取目标物体的物体散斑图像和参考散斑图像作为单目结构光图像。
具体地,电子设备向目标物体投射随机不规则散斑,并采集该投射在目标物体上的散斑图像作为物体散斑图像,该电子设备同时获取存储的参考散斑图像。将该物体散斑图像和参考散斑图像的组合作为单目结构光图像。
步骤102:根据单目结构光图像生成包括N层金字塔图像的图像金字塔,N为大于1的整数。
具体地,图像金字塔是图像多尺度表达的一种,是一种以多分辨率来解释图像的有效但概念简单的结构。图像金字塔最初用于机器视觉和图像压缩,一副图像的图像金字塔是一系列以金字塔形状排列的分辨率逐步降低,且来源于同一张原始图的图像集合。通过对原始图像进行梯次向下的下采样获得其它分类率的图像,直到达停止采样的预设条件。图像金字塔的层级越高,则图像越小,分辨率越低;图像金子塔的第一层是原始图像,该原始图像的分辨率最高。
本示例中,获取预先设置的采样参数,采样参数可以包括图像金字塔的层数和采样因子。按照采样参数对单目结构光图像进行下采样,由于单目结构光图像包括物体散斑图像和参考散斑图像,故按照采样参数分别对物体散斑图像和参考散斑图像进行下采样,得到多组不同分辨率的物体散斑图像和参考散斑图像,并将多组不同分辨率的物体散斑图像和参考散斑图像组成该图像金字塔,该图像金字塔的顶层的图像的分辨率最小,底层的图像的分辨最大,即为物体散斑图像和参考散斑图像的原始分辨率。本示例中,将图像金字塔中各层的单目结构光图像作为金字塔图像。
图2为本示例中图像金字塔的示意图,假设图像金子塔的层数为3,采样因子为2;参考散斑图像和物体散斑图像的原始分辨率为800*800,视差搜索范围是[0,160];由于设置的图像金子塔的层数为3,采样因子为2,即第三层相对原始分辨率下采样4倍,那么第一层的金字塔图像的分辨率为800*800,视差搜索范围是[0,160];第二层的金字塔图像的分辨率为400*400,视差搜索范围是[0,80];第三层的金字塔图像的分辨率为200*200,视差搜索范围是[0,40],图2中S1为第一层金字塔图像,S2为第二层金字塔图像,S3为第三层金字塔图像。
步骤103:对图像金字塔进行如下处理:根据i层的视差图像和第i-1层的金字塔图像,获取第i-1层的视差图像,直至将第一层的视差图像作为目标物体的目标视差图像,其中,i的初始值为N,第N层的视差图像是根据第N层金字塔图像获取。
具体地,i的初始值为N,故可以先获取第N层的视差图像,第N层的金字塔图像包括分辨率最低的物体散斑图像和对应分辨率最低的的参考散斑图像,对分辨率最低的物体散斑图像和对应分辨率最低的参考散斑图像进行匹配代价计算、代价聚合处理,得到该第N层的视差图像。将第N层的视差图像作为第N-1层金字塔图像的先验数据,进而可以快速根据该先验数据和第N-1层的金字塔图像,得到第N-1层的视差图像;判断第N-1层是否为第一层,若不是,则执行将第N-1层的视差图像作为第N-2层金字塔图像的先验数据,直至检测得到第一层的视差图像,将第一层的视差图像作为目标物体的目标视差图像。
步骤104:根据目标视差图像,确定目标物体的深度信息。
在确定目标视差图像之后,根据目标物体、红外相机和激光发射器构成的三角形,可以计算得到目标物体的深度信息,进而得到该目标物体的深度图像。
本申请实施例中,获取目标物体的物体散斑图像和参考散斑图像作为单目结构光图像;根据单目结构光图像生成包括N层金字塔图像的图像金子塔,通过对该单目结构光图像进行下采样,生成的N组金字塔图像组成图像金子塔,且该图像金字塔中图像的分辨率具有逐层递减的特性,即第N层金字塔图像的分辨率最小,第1层金字塔图像的分辨率最大,分辨率低的金字塔图像的视差图像计算量小,计算速度快;根据上层的视差图像和当前层的金字塔图像,可以获取当前层的视差图像,由于上一层的金字塔图像的分辨率低,计算上一层的视差图像的计算量减小,本实施例中将上一层的视差图像作为获取当前层视差图像的输入数据,辅助获取本层的视差图像,可以减少对当前层视差图像的计算量,提高计算速度;从而可以减少单目结构光测量深度信息恢复的计算量,提高计算速度,降低对部署设备的要求。
在一个实施例中,对图像金字塔进行处理,得到目标视差图像的过程还可以采用如图3所示的流程。
步骤101:获取目标物体的物体散斑图像和参考散斑图像作为单目结构光图像。
步骤102:根据单目结构光图像生成包括N层金字塔图像的图像金字塔,N为大于1的整数。
步骤1031:获取第i层的视差图像。
具体地,i的初始值为N,本示例中N为3,故i的初始值为3。对第i层的金字塔图像进行匹配代价计算、代价聚合处理,得到该第i层的视差图像。例如,假设物体散斑图像和参考散斑图像的原始分辨率为800*800;N为3,第三层的金字塔图像的分辨率为200*200,该三层的金字塔图像包括分辨率为200*200的物体散斑图像和分辨率为200*200的参考散斑图像,i的初始值为3,即对第三层的物体散斑图像和参考散斑图像进行匹配代价计算、代价聚合处理,得到第3层的视差图像,该第3层的视差图像的分辨率为200*200。
需要说明的是,视差图像中每个像素位置的值为物体散斑图像和参考散斑图像在相同位置的视差值。也即该视差图像中包括每个像素位置的视差值。
步骤1032:将第i层的视差图像上采样到第i-1层的分辨率,获得第i-1层的先验视差图像。
具体地,按照预设的采样因子进行上采样,例如,第三层的视差图像的分辨率为200*200,将该第三层的视差图像上采样到第2层的分辨率,得到分辨率为400*400的视差图像,将该视差图像作为第2层的先验视差图像。
步骤1033:根据第i-1层的先验视差图像确定第i-1层的视差搜索范围。
在一个实施例中,针对第i-1层金字塔图像的每个第一像素进行如下处理:判断第i-1层的先验视差图像中与第一像素匹配的像素位置是否存在视差值,若存在视差值,则获取以视差值为中心的预设范围作为第一像素的视差搜索范围;若不存在视差值,则根据金子塔图像的分辨率确定第一像素的视差搜索范围。
本实施例中,由于采用逐像素的匹配代价计算,第i-1层的视差搜索范围包括该第i-1层的金字塔图像各个像素位置的视差搜索范围。
根据第i-1层的先验视差图像可以确定该第i-1层的金字塔图像各个像素位置的视差搜索范围。下面以确定任意一个像素位置的视差搜索范围为例进行说明:
判断获取第二层金子塔图像中第一像素(x1,y1),判断第二层的先验视差图像中(x1,y1)的位置是否有视差值,若存在视差值,则可以获取预设半径a,a为大于0的正数,确定第一像素(x1,y1)的视差搜索范围为[d-a,d+a],如a=1;若不存在视差值,则确定该第一像素(x1,y1)的视差搜索范围为[0,b],b为该第i-1层的分辨率。其中,检测是否存在视差值的方式可以通过判断对应像素位置的值是否为0,若为0,则确定不存在视差值,若确定不为0,则表明确定该像素位置(x1,y1)中存在视差值。
下面以具体的数值介绍确定视差搜索范围:假设采样因子为2,i=3,第3层的金字塔图像的分辨率为800*800;获取第二层的先验视差图像,记为mask1数值,判断第二层的金字塔图像当前待查的第一像素位置的值d1是否为0;若确定d1≠0,则确定当前第一像素的视差搜索范围为[d1-2,d1+2];若第二层的金字塔图像中当前待查的第一像素位置的值d1为0,则根据第二层的金子塔图像的分辨率确定该第一像素的搜索范围为[0,80]。同理,获取第二层的视差图像,该第二层的视差图像的分辨率为400*400,随后将第二层的视差图像上采样到第一层的分辨率,得到800*800的先验视差图像;判断第二层的金字塔图像当前待查的第一像素位置的值d2是否为0,若确定d2≠0,则确定当前第一像素的视差搜索范围为[d2-1,d2+1];若第一层的金字塔图像中当前待查的第一像素位置的值d2为0,则当前第一像素的视差搜索范围为[0,160]。
步骤1034:根据第i-1层的视差搜索范围和第i-1层的金字塔图像,确定第i-1层的视差图像。
在确定了第i-1层的视差搜素范围之后,可以根据该视差搜索范围,对第i-1层的物体散斑图像和参考散斑图像进行匹配代价计算、代价聚合,得到该第i-1层的视图像。
步骤1035:将i更新为i-1,检测更新后的i是否等于1,若检测到更新后的i等于1,则执行步骤1036,否则,返回执行步骤1032。
具体地,令i=i-1;检测更新后的i的值是否等于1,若检测到更新后的i的值等于1,则确定执行步骤1036,即将该第i层的视差图像作为目标视差图像,例如,图像金子塔的层数为3,i=2,则在确定i-1层的视差图像后,令i=i-1,即i=1;检测到i=1,则将第一层的视差图像作为目标视差图像。
若检测到更新后的i的值不等于1,则返回执行步骤1032。例如,图像金子塔的层数为3,i=3,则在确定i-1层的视差图像后,令i=i-1,即i=2;检测到i不等于1,则返回执行步骤1032,将第2层的视差图像上采样到第1层的分辨率,获得第1层的先验视差图像,重复执行步骤1032至1035,直至i=1。
步骤1036:将更新后的第i层的视差图像作为目标视差图像。
步骤104:根据目标视差图像,确定目标物体的深度信息。
本申请实施例中,第N层金字塔图像的分辨率最小,第1层金字塔图像的分辨率最大,分辨率低的金字塔图像的视差图像计算量小,计算速度快;将上层的视差图像上采样到当前层的分辨率,可以获得当前层的先验视差图像,根据先验视差图像确定当前层金字塔图像的视差搜索范围,减少了当前层的金字塔图像获取视差图像的搜索范围,减少计算量,提高计算速度;从而可以减少单目结构光测量深度信息的计算量,提高计算速度,降低对部署设备的要求。
在一个实施例中,在将第i层的视差图像上采样到第i-1层的分辨率,获得第i-1层的先验视差图像之前,对第i层金字塔图像进行截断和滤波处理,以提高后续计算匹配代价的准确性。其流程如图4所示:
步骤101:获取目标物体的物体散斑图像和参考散斑图像作为单目结构光图像。
步骤102:根据单目结构光图像生成包括N层金字塔图像的图像金字塔,N为大于1的整数。
步骤103-1:将第i层的金字塔图像中亮度大于或等于预设的截断阈值的像素值置为截断阈值。
具体地,散斑图像中亮度过大会导致代价匹配的计算造成影响,可以预先设置截断阈值,将大于或等于该预设阈值的像素值置为该预设阈值,从而可以减少亮度过量对有效亮斑的影响。该步骤103-1实现了对散斑图像中亮度的截断,该截断的公式可以如公式(1)所示:
I(x,y)表示像素位置(x,y)的像素值,threshold表示预设的截断阈值。
截断阈值用于区分亮斑和背景噪声,通过截断处理,可以减少过量的像素点,避免亮度过量的像素点对后续进行匹配代价的影响。
步骤103-2:获取像素值重置后的第i层的金字塔图像中属于背景光斑的像素点作为背景像素点。
具体地,获取像素重置后的第i层的金子塔图像,可以通过滤波处理获取该像素重置后的第i层的金子塔图像中属于背景光斑的像素点作为背景像素点。滤波处理过程可以为:针对第i层的金字塔图像中每个第二像素进行如下处理:获取第二像素邻域内所有像素值之和作为和值;根据和值以及预设的亮斑阈值表达式,确定亮斑阈值;将小于或等于亮斑阈值的像素点作为属于背景光斑的像素点。
具体地,本示例中将第i层的金字塔图像中像素作为第二像素。针对每个第二像素的处理如下:获取第二像素邻域内所有像素值之和作为和值,该预设的亮斑阈值表达式如公式(2)所示:
其中,Ithread表示亮斑阈值,sum表示上述和值,SAD表示邻域内像素之间的相似度,SAD_REF为预设的系数,N为邻域内像素点的个数。
判断该第二像素的像素值是否大于该亮斑阈值,若是大于,则保持该第二像素的像素值,若该第二像素的像素值小于或等于亮斑阈值,则确定该第二像素作为背景像素点。
步骤103-3:将背景像素点的像素值置为0。
具体地,步骤103-2以及步骤103-3的滤波处理可以如公式(3)所示:
其中,sum表示上述和值,即为以第二像素I(x,y)为中心的邻域内所有像素值之和,SAD表示邻域内像素之间的相似度,SAD_REF为预设的系数,SAD_REF可以在0~1之间,N为邻域内像素点的个数。
SAD可以采用绝对差值和方式计算,其表达式如公式(4)所示:
其中,SAD表示邻域内像素之间的相似度,windows(i,j)代表窗口位置的像素值,windows表示窗口,该窗口可以作为第二像素的邻域,mean表示该邻域内的所有像素的均值,l表示该窗口的尺寸。
本实施例中,通过自适应滤波处理,将不属于亮斑的背景像素点置为0,以来突出散斑图像中亮斑与背景之间的区别。
步骤1031:获取第i层的视差图像。
步骤1032:将第i层的视差图像上采样到第i-1层的分辨率,获得第i-1层的先验视差图像。
步骤1033:根据第i-1层的先验视差图像确定第i-1层的视差搜索范围。
步骤1034:根据第i-1层的视差搜索范围和第i-1层的金字塔图像,确定第i-1层的视差图像。
需要说明的是,本实施例中,在确定了第i-1层的视差搜索范围后,还可以对该第i-1层的视差图像进行上述步骤103-1~步骤103-2的截断处理和滤波处理,在完成截断处理和滤波处理后,确定第i-1层的视差图像。
步骤1035:将i更新为i-1,检测更新后的i是否等于1,若检测到更新后的i等于1,则执行步骤1036,否则,返回执行步骤1032。
步骤1036:将更新后的第i层的视差图像作为目标视差图像。
步骤104:根据目标视差图像,确定目标物体的深度信息。
本实施例中,在获取视差图像之前,对金字塔图像进行截断处理,可以减少过量像素点对后续匹配代价的计算的影响,并在截断处理后增加滤波处理,通过滤波处理,可以突出散斑图像中亮斑与背景的区别,提高后续匹配代价计算的准确度,减低计算量。
在一个实施例中,为解决散斑图像中光斑不均衡的问题,可以采用零均值归一化方式计算匹配代价。其流程如图5所示:
步骤101:获取目标物体的物体散斑图像和参考散斑图像作为单目结构光图像。
步骤102:根据单目结构光图像生成包括N层金字塔图像的图像金字塔,N为大于1的整数。
步骤1031-1:采用零均值归一化方式获取第i层的金字塔图像的匹配代价。
具体地,本实施例在匹配过程中采用抗噪性和光照适应性良好的零均值归一化交叉相关(Zero-Normalization cross correlation,ZNCC)算子,根据ZNCC的定义,待测的物体散斑图像J上的点(x,y)与参考散斑影像I上的点(x+d,y)的相关值如公式(5)所示:
其中,r(x,y,d)表示物体散斑图像J上的点(x,y)与参考散斑影像I上的点(x+d,y)的相关值,l表示计算相关的半窗口的尺寸值,d表示可能的视差值,和分别表示待匹配窗口内所有像素的灰度平均值。r代表散斑图像的行方向的偏移,c代表散斑图像的列方向上的偏移,r和c均是整数。匹配窗口是以当前像素位置为中心,预设边长的方形区域。
采用零均值归一化作为相关测度算子进行匹配代价的计算,可以克服散斑影像亮度不均衡的问题,进一步提升视差图像的鲁棒性和精度。
步骤1031-2:对获取的匹配代价进行代价聚合、视差计算,得到第i层的视差图像。
对获取的匹配代价进行代价聚合,包括:根据所述匹配代价,采用区域生长的方式进行逐像素的代价聚合。
具体地,在进行逐像素匹配的过程中,噪声等外部因素使得像素匹配产生二义性,且存在错误点的匹配代价大于正确匹配点的匹配代价的情况。本实施例采用区域生长的方式,将相似的特征点作为同一块区域进行视差计算,达到了代价聚合的效果。
步骤1032:将第i层的视差图像上采样到第i-1层的分辨率,获得第i-1层的先验视差图像。
步骤1033:根据第i-1层的先验视差图像确定第i-1层的视差搜索范围。
步骤1034:根据第i-1层的视差搜索范围和第i-1层的金字塔图像,确定第i-1层的视差图像。
步骤1035:将i更新为i-1,检测更新后的i是否等于1,若检测到更新后的i等于1,则执行步骤1036,否则,返回执行步骤1032。
步骤1036:将更新后的第i层的视差图像作为目标视差图像。
步骤1041:对目标视差图像中每个视差值进行亚像素处理,得到优化后的目标视差图像。
具体地,可以对目标视差图像中的每个视差值进行亚像素处理,对任意一个像素位置的视差值进行亚像素处理的过程可以为:目标视差图像上任意一个像素位置的视差值记为d,对应的ZNCC相关值为Zd,且该像素位置在视差d-1和d+1时的相关值分别为Zd-1和Zd+1,定义L=Zd-1-Zd,R=Zd+1-Zd,亚像素处理如公式(6)所示:
目标视差图像上任意一个像素位置的视差值记为d,d插表示该像素位置处理后的视差值,对应的ZNCC相关值为Zd,且该像素位置在视差d-1和d+1时的相关值分别为Zd-1和Zd+1,定义L=Zd-1-Zd,R=Zd+1-Zd,其中,CL=L,CR=R。
步骤1042:根据优化后的目标视差图像,计算目标物体的深度信息。
具体地,得到优化后的目标视差图像后,根据三角测量原理,图6示出了三角测量原理图,图6中P为目标物体的位置,P’为在参考平面上与P对应的位置,f相机标定焦距,L为基线距离;目标深度信息Z可以根据公式(7)获得。
Z表示目标深度值,Z0为参考平面距离,单位mm,d插表示该像素位置处理后的视差值,f相机标定焦距,L为基线距离。
本实施例中,进行亚像素处理,可以提高目标视差图像的准确度,进而提高深度信息的准确度。
本发明第二实施方式还涉及一种电子设备,其结构如图7所示,包括:至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被所述至少一个处理器执行,以使至少一个处理器能够执行上述的单目结构光的深度恢复方法。
其中,存储器和处理器采用总线方式连接,总线可以包括任意数量的互联的总线和桥,总线将一个或多个处理器和存储器的各种电路链接在一起。总线还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件,也可以是多个元件,比如多个接收器和发送器,提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输,进一步,天线还接收数据并将数据传送给处理器。
处理器负责管理总线和通常的处理,还可以提供各种功能,包括定时,***接口,电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
本发明第申请实施方式还涉及一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时实现上述的单目结构光的深度恢复方法。
本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解,上述各实施方式是实现本发明的具体实施例,而在实际应用中,可以在形式上和细节上对其作各种改变,而不偏离本发明的精神和范围。
Claims (7)
1.一种单目结构光的深度恢复方法,其特征在于,包括:
获取目标物体的物体散斑图像和参考散斑图像作为单目结构光图像;
根据所述单目结构光图像生成包括N层金字塔图像的图像金字塔,N为大于1的整数;
对所述图像金字塔进行如下处理:根据i层的视差图像和第i-1层的金字塔图像,获取第i-1层的视差图像,直至将第一层的视差图像作为所述目标物体的目标视差图像,其中,i的初始值为N,第N层的视差图像是根据第N层金字塔图像获取;
根据所述目标视差图像,确定所述目标物体的深度信息;
所述根据i层的视差图像和第i-1层的金字塔图像,获取第i-1层的视差图像,直至将第一层的视差图像作为所述目标物体的目标视差图像,包括:
将第i层的视差图像上采样到第i-1层的分辨率,获得第i-1层的先验视差图像;
根据所述第i-1层的先验视差图像确定第i-1层的视差搜索范围;根据所述第i-1层的视差搜索范围和所述第i-1层的金字塔图像,确定第i-1层的视差图像;
将i更新为i-1,若检测到更新后的i等于1,则将更新后的第i层的视差图像作为目标视差图像,若检测到i大于1,则返回执行将第i层的视差图像上采样到第i-1层的金子塔图像的步骤;
所述将第i层的视差图像上采样到第i-1层的分辨率,获得第i-1层的先验视差图像之前,所述方法还包括:
将所述第i-1层的金字塔图像中亮度大于或等于预设的截断阈值的像素值置为所述截断阈值;
获取像素值重置后的所述第i-1层的金字塔图像中属于背景光斑的像素点作为背景像素点;
将所述背景像素点的像素值置为0;
所述获取像素值重置后的所述第i-1层的金字塔图像中属于背景光斑的像素点作为背景像素点,包括:
针对所述第i-1层的金字塔图像中每个第二像素进行如下处理:
获取所述第二像素邻域内所有像素值之和作为和值;
根据所述和值以及预设的亮斑阈值表达式,确定所述亮斑阈值;
将小于或等于所述亮斑阈值的像素点作为属于背景光斑的像素点;
所述亮斑阈值表达式为:
2.根据权利要求1所述的单目结构光的深度恢复方法,其特征在于,所述根据所述第i-1层的先验视差图像确定第i-1层的视差搜索范围,包括:
针对所述第i-1层金字塔图像的每个第一像素进行如下处理:
判断所述第i-1层的先验视差图像中与所述第一像素匹配的像素位置是否存在视差值,若存在视差值,则获取以所述视差值为中心的预设范围作为所述第一像素的视差搜索范围;若不存在视差值,则根据所述金子塔图像的分辨率确定所述第一像素的视差搜索范围。
3.根据权利要求1至2中任一项所述的单目结构光的深度恢复方法,其特征在于,在所述根据i层的视差图像和第i-1层的金字塔图像,获取第i-1层的视差图像,直至将第一层的视差图像作为所述目标物体的目标视差图像之前,所述方法包括:
采用零均值归一化方式获取所述第i层的金字塔图像的匹配代价;
对获取的匹配代价进行代价聚合、视差计算,得到所述第i层的视差图像。
4.根据权利要求3所述的单目结构光的深度恢复方法,其特征在于,所述对获取的匹配代价进行代价聚合,包括:
根据所述匹配代价,采用区域生长的方式进行逐像素的代价聚合。
5.根据权利要求1至2中任一项所述的单目结构光的深度恢复方法,所述根据所述目标视差图像,确定所述目标物体的深度信息,包括:
对所述目标视差图像中每个视差值进行亚像素处理,得到优化后的所述目标视差图像;
根据优化后的所述目标视差图像,计算所述目标物体的深度信息。
6.一种电子设备,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至5任一所述的单目结构光的深度恢复方法。
7.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的单目结构光的深度恢复方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110938158.3A CN113658241B (zh) | 2021-08-16 | 2021-08-16 | 单目结构光的深度恢复方法、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110938158.3A CN113658241B (zh) | 2021-08-16 | 2021-08-16 | 单目结构光的深度恢复方法、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113658241A CN113658241A (zh) | 2021-11-16 |
CN113658241B true CN113658241B (zh) | 2022-12-16 |
Family
ID=78479284
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110938158.3A Active CN113658241B (zh) | 2021-08-16 | 2021-08-16 | 单目结构光的深度恢复方法、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113658241B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114283081B (zh) * | 2021-12-16 | 2022-11-08 | 合肥的卢深视科技有限公司 | 基于金字塔加速的深度恢复方法、电子设备及存储介质 |
CN114387324A (zh) * | 2021-12-22 | 2022-04-22 | 北京的卢深视科技有限公司 | 深度成像方法、装置、电子设备和计算机可读存储介质 |
CN114299129B (zh) * | 2021-12-31 | 2023-01-31 | 合肥的卢深视科技有限公司 | 深度恢复方法、电子设备和计算机可读存储介质 |
CN114693546B (zh) * | 2022-02-25 | 2022-12-16 | 合肥的卢深视科技有限公司 | 图像去噪方法、装置、电子设备和计算机可读存储介质 |
CN116051429B (zh) * | 2023-03-31 | 2023-07-18 | 深圳时识科技有限公司 | 数据增强方法、脉冲神经网络训练方法、存储介质和芯片 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112771573A (zh) * | 2019-04-12 | 2021-05-07 | 深圳市汇顶科技股份有限公司 | 基于散斑图像的深度估计方法及装置、人脸识别*** |
CN113052754A (zh) * | 2019-12-26 | 2021-06-29 | 武汉Tcl集团工业研究院有限公司 | 一种图片背景虚化的方法及装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100371676C (zh) * | 2006-11-01 | 2008-02-27 | 北京航空航天大学 | 快速高精度光斑图像质心定位方法及装置 |
CN102193651B (zh) * | 2010-03-11 | 2014-11-05 | 株式会社理光 | 用于识别激光点的设备、方法和*** |
CN106524901A (zh) * | 2015-09-15 | 2017-03-22 | 苏州中启维盛机器人科技有限公司 | 采用ccd光敏器件的成像光斑计算方法 |
CN112285070B (zh) * | 2018-08-22 | 2022-11-11 | 深圳市真迈生物科技有限公司 | 检测图像上的亮斑的方法和装置、图像配准方法和装置 |
CN112289377B (zh) * | 2018-08-22 | 2022-11-15 | 深圳市真迈生物科技有限公司 | 检测图像上的亮斑的方法、装置和计算机程序产品 |
CN110009691B (zh) * | 2019-03-28 | 2021-04-09 | 北京清微智能科技有限公司 | 基于双目立体视觉匹配的视差图像生成方法及*** |
CN111536905B (zh) * | 2020-06-03 | 2021-08-31 | 北京航空航天大学 | 一种基于参考图像的单目光栅结构光视觉测量方法及*** |
CN113034666B (zh) * | 2021-02-01 | 2023-09-12 | 中国计量大学 | 一种基于金字塔视差优化代价计算的立体匹配方法 |
CN112927280B (zh) * | 2021-03-11 | 2022-02-11 | 北京的卢深视科技有限公司 | 深度图像的获取方法及装置、单目散斑结构光*** |
-
2021
- 2021-08-16 CN CN202110938158.3A patent/CN113658241B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112771573A (zh) * | 2019-04-12 | 2021-05-07 | 深圳市汇顶科技股份有限公司 | 基于散斑图像的深度估计方法及装置、人脸识别*** |
CN113052754A (zh) * | 2019-12-26 | 2021-06-29 | 武汉Tcl集团工业研究院有限公司 | 一种图片背景虚化的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113658241A (zh) | 2021-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113658241B (zh) | 单目结构光的深度恢复方法、电子设备及存储介质 | |
EP3517997B1 (en) | Method and system for detecting obstacles by autonomous vehicles in real-time | |
CN107272021B (zh) | 使用雷达和视觉定义的图像检测区域的对象检测 | |
CN109961468B (zh) | 基于双目视觉的体积测量方法、装置及存储介质 | |
US8718326B2 (en) | System and method for extracting three-dimensional coordinates | |
US9135710B2 (en) | Depth map stereo correspondence techniques | |
US9826217B2 (en) | System and method for adjusting a baseline of an imaging system with microlens array | |
US10659762B2 (en) | Stereo camera | |
CN109410264B (zh) | 一种基于激光点云与图像融合的前方车辆距离测量方法 | |
CN111091592B (zh) | 图像处理方法、图像处理装置、电子设备及可读存储介质 | |
WO2018227576A1 (zh) | 地面形态检测方法及***、无人机降落方法和无人机 | |
CN111429527B (zh) | 一种车载相机的外参自动标定方法及*** | |
CN110443186B (zh) | 立体匹配方法、图像处理芯片及移动载具 | |
CN112330751B (zh) | 一种结构光相机行偏差检测方法及装置 | |
US11494925B2 (en) | Method for depth image acquisition, electronic device, and storage medium | |
CN110162085A (zh) | 用于无人载具的环境自适应感知与规避*** | |
CN111709985A (zh) | 一种基于双目视觉的水下目标测距方法 | |
WO2022217988A1 (zh) | 传感器配置方案确定方法、装置、计算机设备、存储介质及程序 | |
CN112802114B (zh) | 多视觉传感器融合装置及其方法和电子设备 | |
CN116958218A (zh) | 一种基于标定板角点对齐的点云与图像配准方法及设备 | |
CN113379816B (zh) | 结构变动检测方法、电子设备及存储介质 | |
Vaida et al. | Automatic extrinsic calibration of LIDAR and monocular camera images | |
WO2020095549A1 (ja) | 撮像装置 | |
CN114762019A (zh) | 摄像机*** | |
JPH11223516A (ja) | 3次元画像撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20220516 Address after: 230091 room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei, Anhui Province Applicant after: Hefei lushenshi Technology Co.,Ltd. Address before: 100083 room 3032, North B, bungalow, building 2, A5 Xueyuan Road, Haidian District, Beijing Applicant before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD. Applicant before: Hefei lushenshi Technology Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |