CN109615652B - 一种深度信息获取方法及装置 - Google Patents

一种深度信息获取方法及装置 Download PDF

Info

Publication number
CN109615652B
CN109615652B CN201811247537.2A CN201811247537A CN109615652B CN 109615652 B CN109615652 B CN 109615652B CN 201811247537 A CN201811247537 A CN 201811247537A CN 109615652 B CN109615652 B CN 109615652B
Authority
CN
China
Prior art keywords
camera
image
cameras
depth
tof
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811247537.2A
Other languages
English (en)
Other versions
CN109615652A (zh
Inventor
葛晨阳
姚慧敏
谢艳梅
周艳辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201811247537.2A priority Critical patent/CN109615652B/zh
Priority to US16/261,820 priority patent/US10764559B2/en
Publication of CN109615652A publication Critical patent/CN109615652A/zh
Application granted granted Critical
Publication of CN109615652B publication Critical patent/CN109615652B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Vascular Medicine (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本公开涉及一种深度信息获取方法及装置，该方法首先确定ToF相机与双目摄像头中左右两个摄像头的相对几何位置关系，以及他们的内部参数；采集ToF相机生成的深度图和两个摄像头的图像；然后将深度图转化为两个摄像头的图像对应像素点之间的双目视差值；利用转化后的双目视差值将ToF相机生成的深度图中的任一像素点映射到两个摄像头的图像对应的像素点坐标上，得到稀疏视差图；最后对ToF相机生成的深度图中的所有像素点计算得到稠密视差图，进而得出更精确稠密的深度信息；或者用稀疏视差图逆校准所采集的ToF相机生成的深度图，从而输出更精确的深度信息。

Description

一种深度信息获取方法及装置
技术领域
本公开属于深度传感器、机器视觉、图像处理、双目立体视觉、TOF技术领域，特别涉及一种深度信息获取方法及装置。
背景技术
近年来三维深度感知设备开始进入人们的眼球，高精度的三维深度感知设备作为一种新型的获取外界信息的媒介，有利于推动机器视觉的发展，实现机器人理解外部世界，同时也推动了人机交互的发展。深度感知技术大致可分为被动式和主动式。传统的双目立体视觉测距是一种被动式测距方法，其受环境光影响大、立体匹配过程复杂。主动式测距方法主要有结构光编码和ToF(飞行时间)两种方法。ToF相机通过计算发射激光的飞行时间获取对应像素的深度信息，其获取的深度图像分辨率比较低，但远距离深度精度比较高，与双目立体视觉相结合，可以实现优势互补，不仅可以提高深度图像的分辨率，简化双目立体匹配和深度计算的复杂性，而且可以同时获取每个像素点的图像信息和深度信息。
发明内容
鉴于此，本公开提供了一种深度信息获取方法，包括如下步骤：
S100：确定ToF相机生成的深度图的像素点与双目摄像头中左右两个摄像头的图像的像素点之间的相对几何位置关系，以及ToF相机和左右两个摄像头的内部参数；
S200：采集所述ToF相机生成的深度图和所述两个摄像头的图像；
S300：将所述深度图转化为所述两个摄像头的图像对应像素点之间的双目视差值；
S400：利用转化后的双目视差值将ToF相机生成的深度图中的任一像素点映射到所述两个摄像头的图像对应的像素点坐标上，得到稀疏视差图；
S500：对ToF相机生成的深度图中的所有像素点执行步骤S400得到稠密视差图，进而得出更精确稠密的深度信息；或者用所述稀疏视差图逆校准步骤S200中所采集的ToF相机生成的深度图，从而输出更精确的深度信息。
本公开还提供了一种深度信息获取装置，包括：一个ToF相机、双目摄像头中左右两个摄像头和处理单元；其中所述ToF相机获得深度图；所述两个摄像头获得存在视差的双路图像，所述处理单元用于执行如权利要求1所述的深度信息获取方法。
通过上述技术方案，将ToF相机的稀疏深度图经转换和配准后映射到高分辨率的左右摄像头的图像上，得到更精确、更稠密的深度图，同时也可利用左右摄像头的图像对ToF相机原有的深度图进行校准。该方法结合了ToF相机和双目立体测距的优势，通过多传感器融合算法处理，大幅提升深度测距的精度和分辨率。
附图说明
图1是本公开一个实施例中所提供的一种深度信息获取方法的流程示意图；
图2是本公开一个实施例中所提供的一种深度信息获取装置的结构示意图；
图3是本公开一个实施例中双目和ToF相机标定的示意图；
图4是本公开一个实施例中的左右摄像头和ToF相机的位置关系示意图；
图5是是本公开一个实施例中的图像块提取示意图。
具体实施方式
下面结合附图1至图5对本发明进行进一步的详细说明。
在一个实施例中，参见图1，其公开了一种深度信息获取方法，包括如下步骤：
S100：确定ToF相机生成的深度图的像素点与双目摄像头中左右两个摄像头的图像的像素点之间的相对几何位置关系，以及ToF相机和左右两个摄像头的内部参数；
S200：采集所述ToF相机生成的深度图和所述两个摄像头的图像；
S300：将所述深度图转化为所述两个摄像头的图像对应像素点之间的双目视差值；
S400：利用转化后的双目视差值将ToF相机生成的深度图中的任一像素点映射到所述两个摄像头的图像对应的像素点坐标上，得到稀疏视差图；
S500：对ToF相机生成的深度图中的所有像素点执行步骤S400得到稠密视差图，进而得出更精确稠密的深度信息；或者用所述稀疏视差图逆校准步骤S200中所采集的ToF相机生成的深度图，从而输出更精确的深度信息。
在另一个实施例中，参见图2，本公开还提供了一种深度信息获取装置，包括：一个ToF相机、双目摄像头中左右两个摄像头和处理单元；其中所述ToF相机获得深度图；所述两个摄像头获得存在视差的双路图像，所述处理单元用于执行如权利要求1所述的深度信息获取方法。
其中ToF相机，包括一个发射器、一个接受摄像头以及同步处理电路，通过发射和接收的时间差计算距离，可按一定的帧频和FoV获得稀疏深度信息，且深度精度随着距离增加而下降。
其中两个摄像头，按水平或垂直方式排列，形成双目视差。两个摄像头可以是同型号的彩色摄像头，也可以是一个彩色摄像头、一个黑白摄像头，可以是一个高分辨率可变焦彩色摄像头、一个低分辨率彩色摄像头，可以是一个带OIS光学防抖彩色摄像头、一个定焦彩色摄像头。
在另一个实施例中，步骤S100进一步包括如下子步骤：
S1001：利用所述两个摄像头和ToF相机从多个角度拍摄棋盘格标定板图像；
S1002：求解出所述两个摄像头的内部参数、外部参数和畸变系数，所述ToF相机的内部参数、外部参数和畸变系数，以及所述两个摄像头和所述ToF相机之间的相对几何位置关系。
优选地，双目摄像头是两个性能指标相同(相同的光学透镜和图像传感器)、独立的两个摄像头，且左右对称、等距地排列在ToF相机的两侧，其光轴与ToF相机光轴平行、并处于同一基线上，如图4所示。假设双目相机的焦距为f，点距参数为u，左右相机之间的基线距离为s，ToF相机的红外摄像头焦距为ft，点距参数为ut。
在实际应用中，可以根据不同的需求对两个摄像头之间的基线进行调整，也可采用两个不同焦距或型号的相机，以满足不同的功能；两个摄像头之间可水平放置、也可以垂直放置。ToF相机与左摄像头之间的基线距离s1也可以根据需求进行调整。
在实际应用中，ToF相机跟左右摄像头的摆放位置，可以不在一个水平线上或一个垂直线上，可按智能设备结构需求摆放ToF相机和左右摄像头之间的相对位置。
在另一个实施例中，ToF相机通过测量发射光和反射光的相位差来计算深度，步骤S300进一步包括如下子步骤：
S3001：ToF相机生成的深度图用灰度图像表示，且深度值和距离成线性关系：dt＝αGt+β，其中，dt为ToF相机测量得到的深度值，Gt为灰度值，α和β为系数；
S3002：双目视觉通过计算左右图像的视差值得到空间距离信息，双目视觉的深度计算公式为
Figure BDA0001838586180000061
其中μ为摄像头图像传感器物理点距，f为摄像头的焦距，s为左右摄像头之间的基线距离；
S3003：根据d＝dt可得深度图中的灰度值和双目视差Δx的转换公式为
Figure BDA0001838586180000062
在另一个实施例中，步骤S400进一步包括如下子步骤：
ToF相机生成的深度图中的任一像素点坐标(u0，v0)经标定后得到的相机的内部参数和ToF相机和左摄像头之间的相对几何位置关系转化到左摄像头的图像上的对应像素点位置坐标为(ul，vl)，则右摄像头的图像中的对应像素点(ur，vr)为ur＝ul+Δx0，vr＝vl，其中Δx0是在左右图像中对应点之间的视差值。
在另一个实施例中，步骤S500进一步包括如下子步骤：重复步骤S400，以左摄像头的图像的像素点(ul，vl)周围的像素点为中心，按匹配块在右摄像头的图像中搜寻最优匹配块，结合双目深度计算公式
Figure BDA0001838586180000071
得到深度值，进而得到左摄像头的图像对应的稠密深度图；同理，以右摄像头的图像的像素点(ur，vr)来扩展，得到右摄像头的图像对应的稠密深度图，其中，μ为摄像头图像传感器物理点距，f为摄像头的焦距，s为左右摄像头之间的基线距离。
经步骤S400映射后，ToF转换的视差数据将稀疏并均匀的分布在左摄像头采集的图像上。但由于ToF相机本身的测量误差，会使转化的视差数据与双目测量的视差存在误差，因此需要对转换后的视差值进行修正。此外，因视觉中的遮挡问题，处在左右图像中遮挡边界的转化视差值会存在很多错误的映射关系，这些错误的视差映射点需要一一剔除。
在另一个实施例中，步骤S400和S500之间包括校正上述映射后的稀疏视差图步骤。
其中，校正上述映射后的稀疏视差图步骤包括如下子步骤：以左摄像头的坐标原点为视点，以右摄像头采集的图像为参考，在左摄像头的图像中以点(ul，vl)为中心，提取一个m×n的图像块Bl，在右摄像头的图像中以(ur，vr)为中心，选取一定大小的邻域，然后以邻域内的点为中心，分别提取一个m×n的图像块Bri；如图5所示，O是点(ur，vr)，图中每个小方块表示一个像素点，即图中显示了以为O中心的部分图像像素，以O为中心的八邻域为A1到A8，虚线框为以点O为中心提取的一个3×3的图像块，点划线框为以点A1为中心提取的一个3×3的图像块，以此类推，在点O的八邻域内可以提取九个图像块；然后这些从右摄像头的图像内提取的图像块Bri依次与左摄像头的图像中提取的图像块Bl进行块匹配计算，进行块与块之间的相似性度量，然后选择该邻域内具有最高相似性的图像块，如果其对应的相似性大于阈值，该图像块视为最优匹配块，依据最优匹配块的对应位置校正视差点，否则，将该视差点作为错误映射剔除。
双目视觉的左右摄像头的图像的分辨率一般高于ToF的深度图，因此在ToF深度图和双目视觉的摄像头的图像数据配准后，只能得到一幅稀疏的视差图，要得到稠密视差图需要对其他像素点的视差进行计算。
具体计算方法如下：
方法一：可以以校正映射后的稀疏视差图步骤中得到的校正视差点为种子点，以该种子为中心，不断在其周围邻域内生长其他点的视差值。生长方法为以该种子点的邻域内的某一点为中心，以种子点的视差为参考，重复校正映射后的稀疏视差图步骤，在左图像内以邻域内的某一点为中心提取一个图像块，而以种子点在右图像中对应点做中心，提取搜索窗，然后以块匹配的方法，计算种子点邻域内的某一点的视差。计算视差后的像素点则变为种子点，重复步骤S500。
方法二：从稀疏视差图的左上角开始，按逐行从左到右、从上到下，逐个像素点进行计算；如果该像素点是参考视差点，则跳过；如果该像素点不是参考视差点，则选取距离该像素点最近的参考视差点做参考，对该像素的视差点进行计算，同样在左摄像头的图像中，以该像素点为中心，提取一个图像块，以参考视差点在右摄像头的图像中对应点做中心，提取搜索窗，然后以块匹配的方法，计算该像素点的视差；逐个像素点计算完成后即可得到整幅图像的视差值。从而使其分辨率达到左右图像的分辨率。
与方法一相比，该方法中没有复杂的迭代算法，数据从图像的左上角开始，逐个像素处理，到图像的右下角结束，是一种很好的流水线实现方法。
在另一个实施例中，步骤S400和S500之间包括校正上述映射后的稀疏视差图步骤，在该步骤中得到的校正视差点经过逆转换后，可以对ToF原有的深度图进行校准和精度提升。其中，逆转换即为步骤S300中转化公式的逆过程，
Figure BDA0001838586180000091
其中，Δx′是校准后的视差值，G′t是经校准视差逆转换后得到的精确灰度值，该灰度值经过逆映射后对原有的ToF深度图进行校准，逆映射即为将原有的映射到左右图像上的ToF深度图重新映射回ToF深度图上。
就上述实施例而言，本方法可以输出两种模式的深度图，一种模式是通过将ToF相机的稀疏深度图经转换和配准后映射到高分辨率的左右摄像头的图像上，得到更精确、更稠密的深度图，另一种模式是更精确的ToF深度图。可以根据不同的应用场景选择输出不同模式的深度图。
本方法可类似的应用到相似的主被动视觉模式的多传感器融合装置中，其应用不限于智能手机、机器人、智能家电、无人车等。本方法的双目摄像头不限于采用同一规格，也支持不同规格的摄像头。同时ToF相机与双目摄像头的结构摆放比较灵活，不限于水平或垂直摆放。稀疏深度图扩展为稠密深度图的方法不限于所示例的邻域膨胀法、逐点扫描法，也可以采取插值、滤波、相似度等其它超分辨率处理方法。
尽管以上结合附图对本发明的实施方案进行了描述，但本发明并不局限于上述的具体实施方案和应用领域，上述的具体实施方案仅仅是示意性的、指导性的，而不是限制性的。本领域的普通技术人员在本说明书的启示下和在不脱离本发明权利要求所保护的范围的情况下，还可以做出很多种的形式，这些均属于本发明保护之列。

Claims (9)

1.一种深度信息获取方法，包括如下步骤：
S100：确定ToF相机生成的深度图的像素点与双目摄像头中左右两个摄像头的图像的像素点之间的相对几何位置关系，以及ToF相机和左右两个摄像头的内部参数；
S200：采集所述ToF相机生成的深度图和所述两个摄像头的图像；
S300：将所述深度图转化为所述两个摄像头的图像对应像素点之间的双目视差值；
S400：利用转化后的双目视差值将ToF相机生成的深度图中的任一像素点映射到所述两个摄像头的图像对应的像素点坐标上，得到稀疏视差图；
S500：对ToF相机生成的深度图中的所有像素点执行步骤S400得到稠密视差图，进而得出更精确稠密的深度信息；或者用所述稀疏视差图逆校准步骤S200中所采集的ToF相机生成的深度图，从而输出更精确的深度信息；
其中，步骤S300进一步包括如下子步骤：
S3001：ToF相机生成的深度图用灰度图像表示，且深度值和距离成线性关系：dt＝αGt+β，其中，dt为ToF相机测量得到的深度值，Gt为灰度值，α和β为系数；
S3002：双目视觉通过计算左右图像的视差值得到空间距离信息，双目视觉的深度计算公式为
Figure FDA0002605923600000011
其中μ为摄像头物理点距，f为摄像头的焦距，s为左右摄像头之间的基线距离；
S3003：根据d＝dt可得深度图中的灰度值和双目视差Δx的转换公式为
Figure FDA0002605923600000021
2.根据权利要求1所述的方法，其中，步骤S100进一步包括如下子步骤：
S1001：利用所述两个摄像头和ToF相机从多个角度拍摄棋盘格标定板图像；
S1002：求解出所述两个摄像头的内部参数，所述ToF相机的内部参数，以及所述两个摄像头和所述ToF相机之间的相对几何位置关系。
3.根据权利要求1所述的方法，其中，
所述两个摄像头是两个性能指标相同、独立的两个摄像头，且左右对称、等距地排列在所述ToF相机的两侧，其光轴与所述ToF相机光轴平行、并处于同一基线上；和/或，
根据不同的需求对所述两个摄像头之间的基线进行调整；和/或，
所述ToF相机与左摄像头之间的基线距离根据需求进行调整；和/或，
所述两个摄像头是同型号的彩色摄像头，或者是一个彩色摄像头、另一个黑白摄像头；和/或，
所述两个摄像头中一个是高分辨率可变焦彩色摄像头、另一个是低分辨率彩色摄像头；和/或，
所述两个摄像头中一个是具有光学防抖功能的彩色摄像头、另一个是定焦彩色摄像头；和/或，
所述两个摄像头之间水平放置或垂直放置；和/或，
所述ToF相机跟所述两个摄像头的摆放位置不在一个水平线上或一个垂直线上，按智能设备结构需求摆放。
4.根据权利要求1所述的方法，其中，步骤S400进一步包括如下子步骤：
ToF相机生成的深度图中的任一像素点坐标(u0,v0)经标定后得到的相机的内部参数和ToF相机和左摄像头之间的相对几何位置关系转化到左摄像头的图像上的对应像素点位置坐标为(ul,vl)，则右摄像头的图像中的对应像素点(ur,vr)为ur＝ul+Δx0，vr＝vl，其中Δx0是在左右图像中对应点之间的视差值。
5.根据权利要求1所述的方法，其中，步骤S400和S500之间包括校正上述映射后的稀疏视差图步骤。
6.根据权利要求5所述的方法，其中，校正上述映射后的稀疏视差图步骤包括如下子步骤：
在左摄像头的图像中以点(ul,vl)为中心，提取一个m×n的图像块Bl，在右摄像头的图像中以(ur,vr)为中心，选取一定大小的邻域，然后以邻域内的点为中心，分别提取一个m×n的图像块Bri，然后这些从右摄像头的图像内提取的图像块Bri依次与左摄像头的图像中提取的图像块Bl进行块匹配计算，进行块与块之间的相似性度量，然后选择该邻域内具有最高相似性的图像块，如果其对应的相似性大于阈值，该图像块视为最优匹配块，依据最优匹配块的对应位置校正视差点，否则，将该视差点作为错误映射剔除。
7.根据权利要求1所述的方法，其中，步骤S500进一步包括如下子步骤：
重复步骤S400，以左摄像头的图像的像素点(ul,vl)周围的像素点为中心，按匹配块在右摄像头的图像中搜寻最优匹配块，结合双目深度计算公式得到深度值，进而得到左摄像头的图像对应的稠密深度图；同理，以右摄像头的图像的像素点(ur,vr)来扩展，得到右摄像头的图像对应的稠密深度图。
8.根据权利要求1所述的方法，其中，步骤S500中的计算稠密视差图包括如下子步骤：
从稀疏视差图的左上角开始，按逐行从左到右、从上到下，逐个像素点进行计算；如果该像素点是参考视差点，则跳过；如果该像素点不是参考视差点，则选取距离该像素点最近的参考视差点做参考，对该像素点的视差点进行计算，同样在左摄像头的图像中，以该像素点为中心，提取一个图像块，以参考视差点在右摄像头的图像中对应点做中心，提取搜索窗，然后以块匹配的方法，计算该像素点的视差；逐个像素点计算完成后即可得到整幅图像的视差值。
9.一种深度信息获取装置，包括：一个ToF相机、双目摄像头中左右两个摄像头和处理单元；其中所述ToF相机获得深度图；所述两个摄像头获得存在视差的双路图像，所述处理单元用于执行如权利要求1-8任一所述的深度信息获取方法。
CN201811247537.2A 2018-10-23 2018-10-23 一种深度信息获取方法及装置 Active CN109615652B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811247537.2A CN109615652B (zh) 2018-10-23 2018-10-23 一种深度信息获取方法及装置
US16/261,820 US10764559B2 (en) 2018-10-23 2019-01-30 Depth information acquisition method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811247537.2A CN109615652B (zh) 2018-10-23 2018-10-23 一种深度信息获取方法及装置

Publications (2)

Publication Number Publication Date
CN109615652A CN109615652A (zh) 2019-04-12
CN109615652B true CN109615652B (zh) 2020-10-27

Family

ID=66002804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811247537.2A Active CN109615652B (zh) 2018-10-23 2018-10-23 一种深度信息获取方法及装置

Country Status (2)

Country Link
US (1) US10764559B2 (zh)
CN (1) CN109615652B (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110895822B (zh) * 2018-09-13 2023-09-01 虹软科技股份有限公司 深度数据处理***的操作方法
CN110110614A (zh) * 2019-04-19 2019-08-09 江苏理工学院 一种基于3d相机的手势识别装置及方法
CN111656404B (zh) * 2019-05-30 2024-03-01 深圳市大疆创新科技有限公司 图像处理方法、***及可移动平台
CN110335211B (zh) * 2019-06-24 2021-07-30 Oppo广东移动通信有限公司 深度图像的校正方法、终端设备以及计算机存储介质
CN110376602A (zh) * 2019-07-12 2019-10-25 深圳奥比中光科技有限公司 多模式深度计算处理器及3d图像设备
CN110490802B (zh) * 2019-08-06 2021-01-19 北京观微科技有限公司 一种基于超分辨率的卫星影像飞机目标型号识别方法
CN110487206B (zh) * 2019-08-07 2024-04-26 无锡弋宸智图科技有限公司 一种测量孔探仪、数据处理方法及装置
CN111028281B (zh) * 2019-10-22 2022-10-18 清华大学 基于光场双目***的深度信息计算方法及装置
CN112802114A (zh) * 2019-11-13 2021-05-14 浙江舜宇智能光学技术有限公司 多视觉传感器融合装置及其方法和电子设备
CN113034562B (zh) * 2019-12-09 2023-05-12 百度在线网络技术（北京）有限公司 用于优化深度信息的方法和装置
CN111260715B (zh) * 2020-01-20 2023-09-08 深圳市普渡科技有限公司 深度图的处理方法、小障碍物检测方法及***
CN111242080B (zh) * 2020-01-21 2023-09-12 南京航空航天大学 一种基于双目相机与深度相机的输电线识别与定位方法
CN111292367B (zh) * 2020-02-18 2023-04-07 青岛联合创智科技有限公司 一种基线可变的双目相机深度图生成方法
KR20210106809A (ko) * 2020-02-21 2021-08-31 엘지전자 주식회사 이동 단말기
CN113344988B (zh) * 2020-03-03 2023-03-31 海信集团有限公司 立体匹配方法、终端及存储介质
CN111538024B (zh) * 2020-03-24 2022-09-16 奥比中光科技集团股份有限公司 一种滤波ToF深度测量方法及装置
CN111678457B (zh) * 2020-05-08 2021-10-01 西安交通大学 一种OLED透明屏下ToF装置及测距方法
CN111708039B (zh) * 2020-05-24 2023-09-05 奥比中光科技集团股份有限公司 一种深度测量装置、方法及电子设备
US11568555B2 (en) * 2020-06-22 2023-01-31 Microsoft Technology Licensing, Llc Dense depth computations aided by sparse feature matching
CN113840130A (zh) * 2020-06-24 2021-12-24 中兴通讯股份有限公司 深度图生成方法、设备及存储介质
CN112118438B (zh) * 2020-06-30 2022-04-05 中兴通讯股份有限公司 摄像***、移动终端以及三维图像获取方法
CN111833370A (zh) * 2020-07-22 2020-10-27 浙江光珀智能科技有限公司 一种飞行像素滤除方法及***
CN112188183B (zh) * 2020-09-30 2023-01-17 绍兴埃瓦科技有限公司 双目立体匹配方法
US11455942B2 (en) * 2020-12-04 2022-09-27 Microsoft Technology Licensing, Llc Systems and methods for providing human interface device information via a camera sensor
CN112598610A (zh) * 2020-12-11 2021-04-02 杭州海康机器人技术有限公司 一种深度图像获得方法、装置、电子设备及存储介质
CN112261399B (zh) * 2020-12-18 2021-03-16 安翰科技(武汉)股份有限公司 胶囊内窥镜图像三维重建方法、电子设备及可读存储介质
CN112686937B (zh) * 2020-12-25 2024-05-31 杭州海康威视数字技术股份有限公司 一种深度图像的生成方法、装置及设备
CN113096189B (zh) * 2021-03-22 2024-04-05 西安交通大学 一种itof深度相机标定及深度优化方法
CN113436269B (zh) * 2021-06-15 2023-06-30 影石创新科技股份有限公司 图像稠密立体匹配方法、装置和计算机设备
CN114119718A (zh) * 2021-11-29 2022-03-01 福州大学 融合颜色特征和边缘特征的双目视觉绿色植被匹配定位方法
CN114677422A (zh) * 2022-02-14 2022-06-28 北京极感科技有限公司 深度信息生成方法、图像虚化方法和视频虚化方法
CN115075857B (zh) * 2022-08-18 2022-11-04 中煤科工开采研究院有限公司 液压支架定量推移方法和***
CN116801100B (zh) * 2023-07-05 2023-11-10 上海鉴智其迹科技有限公司 自动驾驶***中双目相机模组的标定焦距验证方法及装置
CN117516594B (zh) * 2024-01-08 2024-03-22 元橡科技（北京）有限公司 一种双目相机测距自校正方法、***及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999910A (zh) * 2012-11-27 2013-03-27 西安交通大学 一种图像深度计算方法
CN106447661A (zh) * 2016-09-28 2017-02-22 深圳市优象计算技术有限公司 一种深度图快速生成方法
CN106772431A (zh) * 2017-01-23 2017-05-31 杭州蓝芯科技有限公司 一种结合tof技术和双目视觉的深度信息获取装置及其方法
CN107135388A (zh) * 2017-05-27 2017-09-05 东南大学 一种光场图像的深度提取方法
CN107984482A (zh) * 2017-12-27 2018-05-04 中国科学院合肥物质科学研究院 一种基于tof深度感知的智能化枸杞采摘装置及方法
CN108520537A (zh) * 2018-03-29 2018-09-11 电子科技大学 一种基于光度视差的双目深度获取方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101862199B1 (ko) * 2012-02-29 2018-05-29 삼성전자주식회사 원거리 획득이 가능한 ｔｏｆ카메라와 스테레오 카메라의 합성 시스템 및 방법
EP2887311B1 (en) * 2013-12-20 2016-09-14 Thomson Licensing Method and apparatus for performing depth estimation
CN108779984A (zh) * 2016-03-16 2018-11-09 索尼公司 信号处理设备和信号处理方法
CN107958446B (zh) * 2016-10-17 2023-04-07 索尼公司 信息处理设备和信息处理方法
CN106600650A (zh) * 2016-12-12 2017-04-26 杭州蓝芯科技有限公司 一种基于深度学习的双目视觉深度信息获取方法
US10116915B2 (en) * 2017-01-17 2018-10-30 Seiko Epson Corporation Cleaning of depth data by elimination of artifacts caused by shadows and parallax
US10242454B2 (en) * 2017-01-25 2019-03-26 Google Llc System for depth data filtering based on amplitude energy values

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999910A (zh) * 2012-11-27 2013-03-27 西安交通大学 一种图像深度计算方法
CN106447661A (zh) * 2016-09-28 2017-02-22 深圳市优象计算技术有限公司 一种深度图快速生成方法
CN106772431A (zh) * 2017-01-23 2017-05-31 杭州蓝芯科技有限公司 一种结合tof技术和双目视觉的深度信息获取装置及其方法
CN107135388A (zh) * 2017-05-27 2017-09-05 东南大学 一种光场图像的深度提取方法
CN107984482A (zh) * 2017-12-27 2018-05-04 中国科学院合肥物质科学研究院 一种基于tof深度感知的智能化枸杞采摘装置及方法
CN108520537A (zh) * 2018-03-29 2018-09-11 电子科技大学 一种基于光度视差的双目深度获取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A high spatial resolution depth sensing method based on binocular structured light;Huimin Yao等;《Sensors》;20171231;第1-18页 *
一种新的立体显示中的视差估计与虚拟视点绘制算法;梅永等;《南京信息工程大学学报》;20180228;第10卷(第2期);全文 *

Also Published As

Publication number Publication date
US10764559B2 (en) 2020-09-01
CN109615652A (zh) 2019-04-12
US20200128225A1 (en) 2020-04-23

Similar Documents

Publication Publication Date Title
CN109615652B (zh) 一种深度信息获取方法及装置
CN114399554B (zh) 一种多相机***的标定方法及***
CN111161404A (zh) 一种环形扫描形貌三维重建方法、装置及***
CN111028281B (zh) 基于光场双目***的深度信息计算方法及装置
CN112509125A (zh) 一种基于人工标志物和立体视觉的三维重建方法
CN110874854B (zh) 一种基于小基线条件下的相机双目摄影测量方法
CN112929626B (zh) 一种基于智能手机影像的三维信息提取方法
CN112634379B (zh) 一种基于混合视域光场的三维定位测量方法
CN116778288A (zh) 一种多模态融合目标检测***及方法
CN114359406A (zh) 自动对焦双目摄像头的标定、3d视觉及深度点云计算方法
CN115880344A (zh) 一种双目立体匹配数据集视差真值获取方法
CN113643436A (zh) 一种深度数据拼接融合方法及装置
CN114812558B (zh) 一种结合激光测距的单目视觉无人机自主定位方法
CN111105467B (zh) 一种图像标定方法、装置及电子设备
CN111654626B (zh) 一种包含深度信息的高分辨率相机
CN112258631B (zh) 一种基于深度神经网络的三维目标检测方法及***
CN111429571B (zh) 一种基于时空图像信息联合相关的快速立体匹配方法
CN112652019A (zh) 一种双目视觉三维定位方法
CN112348941A (zh) 一种基于点云与图像数据的实时融合方法及装置
CN115719320B (zh) 基于遥感影像的倾斜校正稠密匹配方法
KR101841750B1 (ko) 매칭 정보에 의한 입체 영상 보정 장치 및 그 방법
CN116205961A (zh) 多镜头组合影像和激光雷达点云的自动配准方法及其***
JP5925109B2 (ja) 画像処理装置、その制御方法、および制御プログラム
CN109089100B (zh) 一种双目立体视频的合成方法
CN110068308B (zh) 一种基于多目相机的测距方法及测距***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant