CN112102335A - 基于新型散斑特征编码的双目三维成像方法及*** - Google Patents

基于新型散斑特征编码的双目三维成像方法及*** Download PDF

Info

Publication number
CN112102335A
CN112102335A CN202010966172.XA CN202010966172A CN112102335A CN 112102335 A CN112102335 A CN 112102335A CN 202010966172 A CN202010966172 A CN 202010966172A CN 112102335 A CN112102335 A CN 112102335A
Authority
CN
China
Prior art keywords
image
speckle
parallax
binocular
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010966172.XA
Other languages
English (en)
Inventor
丁克
丁兢
倪杰
唐学燕
马洁
李翔
庞旭芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan Xianyang Technology Co ltd
Original Assignee
Foshan Xianyang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan Xianyang Technology Co ltd filed Critical Foshan Xianyang Technology Co ltd
Priority to CN202010966172.XA priority Critical patent/CN112102335A/zh
Publication of CN112102335A publication Critical patent/CN112102335A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/168Segmentation; Edge detection involving transform domain methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于新型散斑特征编码的双目三维成像方法及***,该方法包括:生成随机新型散斑特征编码图;获取其对应的灰度散斑特征编码图,并投射到被测目标上,且采用双目相机采集被测目标表面的图像,分别得到参考图像和目标图像;计算参考图像的像素点相对于目标图像的视差搜索范围内的像素点的相似度值,获取参考图像的像素点的相似度最高值;获取相似度最高值高于预设阈值的点作为参考图像的像素点在目标图像中的对应点,并计算对应的双目相机的视差值;根据获得的所有在目标图像的视差搜索范围内所述参考图像的像素点的视差值制得初步视差图,消除误匹配点及其对应的视差值;亚像素插值;求解获得对应的深度图及三维重建的点云图。

Description

基于新型散斑特征编码的双目三维成像方法及***
技术领域
本发明涉及三维测量技术领域,尤其涉及一种基于新型散斑特征编码的双目三维成像方法及***。
背景技术
现有的结构光双目三维成像***一般通过投射条纹编码图,对空间或者目标物体进行结构光编码(特征标定),从而提升双目立体视觉的三维成像精度,但是,现有的结构光双目三维成像***至少需要投射10个以上的条纹结构光编码才能三维成像,三维成像速度慢,而且,现有的结构光双目三维成像***进行块匹配时过于依赖结构光的编码信息,在强光环境中受到的干扰较大,且不利于多个双目结构光相机同时使用,同时,对于带反光的物体表面和角度较小的侧面会出现光信息不全,导致不能完整三维成像,三维成像效果较差。
鉴于此,有必要提供一种可解决上述缺陷的基于新型散斑特征编码的双目三维成像方法及***以提高三维成像的效果及效率。
发明内容
本发明所要解决的技术问题是提供一种基于新型散斑特征编码的双目三维成像方法以提高三维成像的效果及效率。
为解决上述技术问题,本发明采用如下所述的技术方案:一种基于新型散斑特征编码的双目三维成像方法,包括以下步骤:
步骤S1、生成随机新型散斑特征编码图;
步骤S2、根据所述随机新型散斑特征编码图获取对应的灰度散斑特征编码图,并投射到被测目标上,且采用双目相机采集被测目标表面的图像,分别得到参考图像和目标图像;
步骤S3、计算参考图像的像素点相对于目标图像的视差搜索范围内的像素点的相似度值,获取参考图像的像素点的相似度最高值;
步骤S4、获取参考图像的像素点的相似度最高值高于预设阈值的点作为参考图像的像素点在目标图像中的对应点,并计算对应的双目相机的视差值;
步骤S5、根据获得的所有在目标图像的视差搜索范围内所述参考图像的像素点的在目标图像中的对应点的视差值制得初步视差图,检查所述初步视差图的连通性,消除误匹配点及其对应的视差值,获得修正后的视差图;
步骤S6、对修正后的视差图进行亚像素插值,得到精度视差图;
步骤S7、根据获得的精度视差图求解获得对应的深度图及三维重建的点云图。
其进一步技术方案为:所述步骤S1具体包括以下步骤:
步骤S11、生成随机二值图;
步骤S12、将随机二值图进行傅立叶变换获得对应的频谱图;
步骤S13、将频谱图进行频谱剪裁获取对应的特定频谱图;
步骤S14、将特定频谱图进行傅立叶变换,生成特定频谱散斑图;
步骤S15、重复步骤S11-S14,以生成多张特点频谱散斑图;
步骤S16、将所有特定频谱散斑图进行合成处理,生成一张随机新型散斑特征编码图。
其进一步技术方案为:所述步骤S15中所述特定频谱散斑图的数目为十九张。
其进一步技术方案为:所述步骤S2具体为:控制投影仪进行散焦投射,以根据所述随机新型散斑特征编码图获取对应的灰度散斑特征编码图,并投射到被测目标上,且采用双目相机采集被测目标表面的图像,分别得到参考图像和目标图像。
其进一步技术方案为:所述步骤S4具体包括:
步骤S41、判断参考图像的像素点相对于目标图像的视差搜索范围内的像素点的相似度最高值是否高于预设阈值;
步骤S42、若是,则将相似度最高值高于预设阈值的像素点作为参考图像的像素点在目标图像中的对应点,计算对应的双目相机的视差值。
为了解决上述技术问题,本发明还公开了一种基于新型散斑特征编码的双目三维成像***,包括计算机、投影仪及双目相机,所述计算机分别与投影仪及双目相机相连,其中,所述计算机用于生成随机新型散斑特征编码图;用于控制所述投影仪投射出所述随机新型散斑特征编码图对应的灰度散斑特征编码图到被测目标上;用于控制双目相机采集被测目标表面的图像,分别得到参考图像和目标图像。
本发明的有益技术效果在于:本发明基于新型散斑特征编码的双目三维成像方法通过生成随机新型散斑特征编码图,以利用随机新型散斑特征编码图具有的随机性和低耦合特性,使得三维成像***不完全依赖结构光的编码信息,被测目标本身的纹理信息也被用作三维成像,以提高三维成像的精度,通过投射灰度散斑特征编码图以提升三维采集速度,同时采用亚像素插值对视差值进行细化,提高成像精度。本发明基于新型散斑特征编码的双目三维成像***通过计算机生成随机新型散斑特征编码图并控制投影仪投射随机新型散斑特征编码图对应的灰度散斑特征编码图到被测目标上,利用双目相机采集被测目标表面的图像,分别得到参考图像和目标图像,以利用随机新型散斑特征编码图具有的随机性和低耦合特性,使得三维成像***不完全依赖结构光的编码信息,被测目标本身的纹理信息也被用作三维成像,以提高三维成像的精度,提升三维采集速度。
附图说明
图1是本发明基于新型散斑特征编码的双目三维成像***的结构框图;
图2是本发明基于新型散斑特征编码的双目三维成像方法的流程示意图;
图3是本发明基于新型散斑特征编码的双目三维成像方法的步骤S1的子流程示意图;
图4是本发明基于新型散斑特征编码的双目三维成像方法的具体流程示意图。
具体实施方式
为使本领域的普通技术人员更加清楚地理解本发明的目的、技术方案和优点,以下结合附图和实施例对本发明做进一步的阐述。
参照图1,本发明基于新型散斑特征编码的双目三维成像***10包括计算机11、投影仪12及双目相机13,所述计算机11分别与投影仪12及双目相机13相连,其中,所述计算机11用于生成随机新型散斑特征编码图;用于控制所述投影仪12投射出所述随机新型散斑特征编码图对应的灰度散斑特征编码图到被测目标上;用于控制双目相机13采集被测目标表面的图像,分别得到参考图像和目标图像。其中,所述双目相机13包括左相机和右相机。优选地,左相机采集的图像作为参考图像,右相机采集的图像作为目标图像。
本发明基于新型散斑特征编码的双目三维成像***10通过计算机11生成随机新型散斑特征编码图并控制投影仪12投射随机新型散斑特征编码图对应的灰度散斑特征编码图到被测目标上,利用双目相机13的左、右相机采集被测目标表面的图像,分别得到参考图像和目标图像,以利用随机新型散斑特征编码图具有的随机性和低耦合特性,使得三维成像***不完全依赖结构光的编码信息,被测目标本身的纹理信息也被用作三维成像,以提高三维成像的精度,提升三维采集速度。
参照图2,本发明基于新型散斑特征编码的双目三维成像方法包括以下步骤:
步骤S1、生成随机新型散斑特征编码图。
步骤S2、根据所述随机新型散斑特征编码图获取对应的灰度散斑特征编码图,并投射到被测目标上,且采用双目相机采集被测目标表面的图像,分别得到参考图像和目标图像。
优选地,所述步骤S2具体为:控制投影仪进行散焦投射,以根据所述随机新型散斑特征编码图获取对应的灰度散斑特征编码图,并投射到被测目标上,且采用双目相机采集被测目标表面的图像,分别得到参考图像和目标图像。通过控制投影仪进行散焦投射,可快速获得随机新型散斑特征编码图对应的灰度散斑特征编码图,提升投射和采集速度,从而提高三维成像效率。
步骤S3、计算参考图像的像素点相对于目标图像的视差搜索范围内的像素点的相似度值,获取参考图像的像素点的相似度最高值。
步骤S4、获取参考图像的像素点的相似度最高值高于预设阈值的点作为参考图像的像素点在目标图像中的对应点,并计算对应的双目相机的视差值。
步骤S5、根据获得的所有在目标图像的视差搜索范围内所述参考图像的像素点的在目标图像中的对应点的视差值制得初步视差图,检查所述初步视差图的连通性,消除误匹配点及其对应的视差值,获得修正后的视差图。其中,所述初步视差图是指对应点的空间坐标与视差值的关系图,所述连通性是指连贯性,误匹配点是指初步视差图中连贯性差的点。
步骤S6、对修正后的视差图进行亚像素插值,得到精度视差图。
步骤S7、根据获得的精度视差图求解获得对应的深度图及三维重建的点云图。
所述基于新型散斑特征编码的双目三维成像方法通过生成随机新型散斑特征编码图,以利用随机新型散斑特征编码图具有的随机性和低耦合特性,使得三维成像***不完全依赖结构光的编码信息,被测目标本身的纹理信息也被用作三维成像,以提高三维成像的精度,通过投射灰度散斑特征编码图以提升三维采集速度,同时采用亚像素插值对视差值进行细化,提高成像精度。
参照图3,具体地,在本实施例中,所述步骤S1具体包括以下步骤:
步骤S11、生成随机二值图。其中,可根据用户预设的图像尺寸及像素点的数目随机生成随机二值图。
步骤S12、将随机二值图进行傅立叶变换获得对应的频谱图。
步骤S13、将频谱图进行频谱剪裁获取对应的特定频谱图。其中,对应的频谱的范围由用户设计决定,以根据不同的频谱获取不同散斑面积的散斑图,低频的散斑图对应的散斑面积较大,高频的散斑图对应的散斑面积较小。
步骤S14、将特定频谱图进行傅立叶变换,生成特定频谱散斑图。
步骤S15、重复步骤S11-S14,以生成多张特点频谱散斑图。优选地,所述特定频谱散斑图的数目为十九张。
步骤S16、将所有特定频谱散斑图进行合成处理,生成一张随机新型散斑特征编码图。
参照图4,具体地,在本实施例中,所述步骤S4具体包括:
步骤S41、判断参考图像的像素点相对于目标图像的视差搜索范围内的像素点的相似度最高值是否高于预设阈值;
步骤S42、若是,则将相似度最高值高于预设阈值的像素点作为参考图像的像素点在目标图像中的对应点,计算对应的双目相机的视差值。
所述步骤S41后还包括:若否,重新执行步骤S3。
综上所述,本发明基于新型散斑特征编码的双目三维成像方法通过生成随机新型散斑特征编码图,以利用随机新型散斑特征编码图具有的随机性和低耦合特性,使得三维成像***不完全依赖结构光的编码信息,被测目标本身的纹理信息也被用作三维成像,以提高三维成像的精度,通过投射灰度散斑特征编码图以提升三维采集速度,同时采用亚像素插值对视差值进行细化,提高成像精度。本发明基于新型散斑特征编码的双目三维成像***通过计算机生成随机新型散斑特征编码图并控制投影仪投射随机新型散斑特征编码图对应的灰度散斑特征编码图到被测目标上,以利用随机新型散斑特征编码图具有的随机性和低耦合特性,使得三维成像***不完全依赖结构光的编码信息,被测目标本身的纹理信息也被用作三维成像,以提高三维成像的精度,提升三维采集速度。
以上所述仅为本发明的优选实施例,而非对本发明做任何形式上的限制。本领域的技术人员可在上述实施例的基础上施以各种等同的更改和改进,凡在权利要求范围内所做的等同变化或修饰,均应落入本发明的保护范围之内。

Claims (6)

1.一种基于新型散斑特征编码的双目三维成像方法,其特征在于,包括以下步骤:
步骤S1、生成随机新型散斑特征编码图;
步骤S2、根据所述随机新型散斑特征编码图获取对应的灰度散斑特征编码图,并投射到被测目标上,且采用双目相机采集被测目标表面的图像,分别得到参考图像和目标图像;
步骤S3、计算参考图像的像素点相对于目标图像的视差搜索范围内的像素点的相似度值,获取参考图像的像素点的相似度最高值;
步骤S4、获取参考图像的像素点的相似度最高值高于预设阈值的点作为参考图像的像素点在目标图像中的对应点,并计算对应的双目相机的视差值;
步骤S5、根据获得的所有在目标图像的视差搜索范围内所述参考图像的像素点的在目标图像中的对应点的视差值制得初步视差图,检查所述初步视差图的连通性,消除误匹配点及其对应的视差值,获得修正后的视差图;
步骤S6、对修正后的视差图进行亚像素插值,得到精度视差图;
步骤S7、根据获得的精度视差图求解获得对应的深度图及三维重建的点云图。
2.如权利要求1所述的基于新型散斑特征编码的双目三维成像方法,其特征在于,所述步骤S1具体包括以下步骤:
步骤S11、生成随机二值图;
步骤S12、将随机二值图进行傅立叶变换获得对应的频谱图;
步骤S13、将频谱图进行频谱剪裁获取对应的特定频谱图;
步骤S14、将特定频谱图进行傅立叶变换,生成特定频谱散斑图;
步骤S15、重复步骤S11-S14,以生成多张特点频谱散斑图;
步骤S16、将所有特定频谱散斑图进行合成处理,生成一张随机新型散斑特征编码图。
3.如权利要求2所述的基于新型散斑特征编码的双目三维成像方法,其特征在于,所述步骤S15中所述特定频谱散斑图的数目为十九张。
4.如权利要求1所述的基于新型散斑特征编码的双目三维成像方法,其特征在于,所述步骤S2具体为:控制投影仪进行散焦投射,以根据所述随机新型散斑特征编码图获取对应的灰度散斑特征编码图,并投射到被测目标上,且采用双目相机采集被测目标表面的图像,分别得到参考图像和目标图像。
5.如权利要求1所述的基于新型散斑特征编码的双目三维成像方法,其特征在于,所述步骤S4具体包括:
步骤S41、判断参考图像的像素点相对于目标图像的视差搜索范围内的像素点的相似度最高值是否高于预设阈值;
步骤S42、若是,则将相似度最高值高于预设阈值的像素点作为参考图像的像素点在目标图像中的对应点,计算对应的双目相机的视差值。
6.一种基于新型散斑特征编码的双目三维成像***,其特征在于,包括计算机、投影仪及双目相机,所述计算机分别与投影仪及双目相机相连,其中,所述计算机用于生成随机新型散斑特征编码图;用于控制所述投影仪投射出所述随机新型散斑特征编码图对应的灰度散斑特征编码图到被测目标上;用于控制双目相机采集被测目标表面的图像,分别得到参考图像和目标图像。
CN202010966172.XA 2020-09-15 2020-09-15 基于新型散斑特征编码的双目三维成像方法及*** Pending CN112102335A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010966172.XA CN112102335A (zh) 2020-09-15 2020-09-15 基于新型散斑特征编码的双目三维成像方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010966172.XA CN112102335A (zh) 2020-09-15 2020-09-15 基于新型散斑特征编码的双目三维成像方法及***

Publications (1)

Publication Number Publication Date
CN112102335A true CN112102335A (zh) 2020-12-18

Family

ID=73758585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010966172.XA Pending CN112102335A (zh) 2020-09-15 2020-09-15 基于新型散斑特征编码的双目三维成像方法及***

Country Status (1)

Country Link
CN (1) CN112102335A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409364A (zh) * 2021-06-01 2021-09-17 诡谷子人工智能科技(深圳)有限公司 一种基于像素相似性的立体匹配算法、***和计算机介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080031513A1 (en) * 2000-07-14 2008-02-07 Massachusetts Institute Of Technology Method and system for high resolution, ultra fast 3-D imaging
CN106875443A (zh) * 2017-01-20 2017-06-20 深圳大学 基于灰度约束的三维数字散斑的整像素搜索方法及装置
CN107564091A (zh) * 2017-07-26 2018-01-09 深圳大学 一种基于快速对应点搜索的三维重建方法及装置
CN111121722A (zh) * 2019-12-13 2020-05-08 南京理工大学 结合激光点阵和偏振视觉的双目三维成像方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080031513A1 (en) * 2000-07-14 2008-02-07 Massachusetts Institute Of Technology Method and system for high resolution, ultra fast 3-D imaging
CN106875443A (zh) * 2017-01-20 2017-06-20 深圳大学 基于灰度约束的三维数字散斑的整像素搜索方法及装置
CN107564091A (zh) * 2017-07-26 2018-01-09 深圳大学 一种基于快速对应点搜索的三维重建方法及装置
CN111121722A (zh) * 2019-12-13 2020-05-08 南京理工大学 结合激光点阵和偏振视觉的双目三维成像方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴清;刘森镇;黄向生;韩磊;郭天楚;王梦伟;: "基于散斑的三维体感交互***", 计算机辅助设计与图形学学报, no. 07, 15 July 2016 (2016-07-15) *
钟锦鑫;尹维;冯世杰;陈钱;左超;: "基于深度学习的散斑投影轮廓术", 红外与激光工程, no. 06, 25 June 2020 (2020-06-25) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409364A (zh) * 2021-06-01 2021-09-17 诡谷子人工智能科技(深圳)有限公司 一种基于像素相似性的立体匹配算法、***和计算机介质
CN113409364B (zh) * 2021-06-01 2024-03-29 诡谷子人工智能科技(深圳)有限公司 一种基于像素相似性的立体匹配算法、***和计算机介质

Similar Documents

Publication Publication Date Title
US10740917B2 (en) Automatic correction method and device for structured-light 3D depth camera
CN110487216B (zh) 一种基于卷积神经网络的条纹投影三维扫描方法
US9392262B2 (en) System and method for 3D reconstruction using multiple multi-channel cameras
CN108734776B (zh) 一种基于散斑的三维人脸重建方法及设备
CN112053432B (zh) 一种基于结构光与偏振的双目视觉三维重建方法
CN108613637B (zh) 一种基于参考图像的结构光***解相方法及***
CN103279982B (zh) 鲁棒的快速高深度分辨率的散斑三维重建方法
CN111288925B (zh) 一种基于数字对焦结构照明光场的三维重建方法和装置
CN109307483B (zh) 一种基于结构光***几何约束的相位展开方法
US9025862B2 (en) Range image pixel matching method
CN111582054B (zh) 点云数据处理方法及装置、障碍物检测方法及装置
CN111028295A (zh) 一种基于编码结构光和双目的3d成像方法
CN107990846B (zh) 基于单帧结构光的主被动结合深度信息获取方法
CN111553946A (zh) 用于去除地面点云的方法及装置、障碍物检测方法及装置
CN113837952A (zh) 基于法向量的三维点云降噪方法、装置、计算机可读存储介质及电子设备
CN110738730A (zh) 点云匹配方法、装置、计算机设备和存储介质
CN117115336A (zh) 一种基于遥感立体影像的点云重建方法
CN111415305A (zh) 恢复三维场景的方法、计算机可读存储介质及无人机
CN112102335A (zh) 基于新型散斑特征编码的双目三维成像方法及***
CN116152119B (zh) 用于条纹结构光的相位去噪方法、装置、设备及介质
CN108961378B (zh) 一种多目点云三维重建方法、装置及其设备
CN113551617B (zh) 基于条纹投影的双目双频互补三维面型测量方法
Fernandez et al. A novel structured light method for one-shot dense reconstruction
CN112325799A (zh) 一种基于近红外光投影的高精度三维人脸测量方法
Talebi et al. Binary code pattern unwrapping technique in fringe projection method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination