CN113840130A - 深度图生成方法、设备及存储介质 - Google Patents

深度图生成方法、设备及存储介质 Download PDF

Info

Publication number
CN113840130A
CN113840130A CN202010591582.0A CN202010591582A CN113840130A CN 113840130 A CN113840130 A CN 113840130A CN 202010591582 A CN202010591582 A CN 202010591582A CN 113840130 A CN113840130 A CN 113840130A
Authority
CN
China
Prior art keywords
image
spherical
mapping
stereo
feature point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010591582.0A
Other languages
English (en)
Inventor
朱方
王依可
钱小兵
刘彦宾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN202010591582.0A priority Critical patent/CN113840130A/zh
Priority to EP21830016.8A priority patent/EP4175293A4/en
Priority to PCT/CN2021/101639 priority patent/WO2021259287A1/zh
Priority to US18/012,785 priority patent/US20230252661A1/en
Publication of CN113840130A publication Critical patent/CN113840130A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供一种深度图生成方法、设备及存储介质，属于图像处理技术领域。该方法包括：根据所述第一鱼眼镜头采集到的第一球面图像和所述第二鱼眼镜头采集到的第二球面图像，生成所述终端设备所处空间区域的第一视差图；并根据所述主动式深度传感器采集到的所述空间区域的深度信息，生成所述空间区域的第二视差图；然后根据所述第一视差图和第二视差图，生成所述空间区域的目标深度图。本发明的技术方案能够提高深度图像的场视角。

Description

深度图生成方法、设备及存储介质
技术领域
本发明涉及的图像处理技术领域，尤其涉及一种深度图生成方法、设备及存储介质。
背景技术
随着科学技术的高速发展，视觉三维(3-Dimension，3D)感知(即可视范围内的深度信息感知)技术在生活中应用越来越广泛。例如，增强现实(Augmented Reality，AR)移动头戴设备是3D技术普及的重要设备。稠密的深度图像是感知精细结构和完整物体表面理解的一个重要依据，也是基于3D感知AR的一个重要核心技术，对AR设备存在重要意义。大部分AR移动头戴设备已经广泛采用主动传感器以及被动传感器来检测获取视野域的深度信息，然后对主动传感器和被动传感器的数据进行融合，得到稠密深度图像，然而，由于现有的主动传感器的视场角(Field of view，FOV)一般为65°×40°，被动传感器的FOV一般为69°×42°，因此，通过对主动传感器和被动传感器的数据进行融合得到的稠密深度图像的视场角较小，与显示技术发展不匹配。
发明内容
本发明的主要目的在于提供一种深度图生成方法、设备及存储介质，旨在提高深度图像的视场角。
第一方面，本发明实施例提供一种深度图生成方法，应用于终端设备，所述终端设备包括第一鱼眼镜头、第二鱼眼镜头和主动式深度传感器，所述方法包括：
根据所述第一鱼眼镜头采集到的第一球面图像和所述第二鱼眼镜头采集到的第二球面图像，生成所述终端设备所处空间区域的第一视差图；
根据所述主动式深度传感器采集到的所述空间区域的深度信息，生成所述空间区域的第二视差图；
根据所述第一视差图和第二视差图，生成所述空间区域的目标深度图。
第二方面，本发明实施例还提供一种终端设备，所述深度图生成设备包括第一鱼眼镜头、第二鱼眼镜头、主动式深度传感器、处理器、存储器、存储在所述存储器上并可被所述处理器执行的计算机程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，其中所述计算机程序被所述处理器执行时，实现如本发明说明书提供的任一项深度图生成方法的步骤。
第三方面，本发明实施例还提供一种存储介质，用于计算机可读存储，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如本发明说明书提供的任一项深度图生成的方法的步骤。
本发明实施例提供一种深度图生成方法、设备及存储介质，本发明实施例通过第一鱼眼镜头采集到的第一球面图像和第二鱼眼镜头采集到的第二球面图像，生成终端设备所处空间区域的第一视差图，并根据主动式深度传感器采集到的空间区域的深度信息，生成空间区域的第二视差图，最后根据第一视差图和第二视差图，生成该空间区域的目标深度图。上述方案，由于鱼眼镜头的视场角较大，因此，通过第一鱼眼镜头采集到的第一球面图像和第二鱼眼镜头采集到的第二球面图像能够生成大视场角的第一视差图，并且通过主动式深度传感器采集到的空间区域的深度信息能够生成第二视差图，最后基于大视场角的第一视差图和该第二视差图能够生成大视场角的稠密深度图像，从而提高深度图像的视场角。
附图说明
图1是实施本发明实施例提供的深度图生成方法的终端设备的一结构示意图；
图2为本发明实施例提供的一种深度图生成方法的流程示意图；
图3为图2中的深度图生成方法的子步骤流程示意图；
图4为图3中的深度图生成方法的子步骤流程示意图；
图5为图2中的深度图生成方法的子步骤流程示意图；
图6为本发明实施例提供的一种终端设备的结构示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
本发明实施例提供一种深度图生成方法、设备及存储介质，该深度图生成方法可应用于终端设备中，请参阅图1，图1是实施本发明实施例提供的深度图生成方法的终端设备的一结构示意图，如图1所示，终端设备100包括第一鱼眼镜头110、第二鱼眼镜头120和主动式深度传感器130，其中，第一鱼眼镜头110、第二鱼眼镜头120和和主动式深度传感器130在终端设备上的安装位置、第一鱼眼镜头110与第二鱼眼镜头120之间的间隔距离、第一鱼眼镜头110和第二鱼眼镜头120的视场角可根据实际情况进行设置，本发明实施例对此不做具体限定，例如，第一鱼眼镜头110与第二鱼眼镜头120相距5厘米或10厘米，第一鱼眼镜头110与第二鱼眼镜头120的视场角均为150°×180°或210°×180°。在一实施例中，该终端设备可以是AR(Augmented Reality，增强现实)头戴设备。
可以理解的是，图1中的终端设备100以及上述对终端设备100的各个部件的命名仅仅出于标识的目的，并不对本发明实施例进行限制。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参照图2，图2为本发明实施例提供的一种深度图生成方法的流程示意图。
如图2所示，该深度图生成方法包括步骤S101至步骤S103。
步骤S101、根据第一鱼眼镜头采集到的第一球面图像和第二鱼眼镜头采集到的第二球面图像，生成终端设备所处空间区域的第一视差图。
其中，该深度图像生成方法应用于终端设备，该终端设备包括第一鱼眼镜头、第二鱼眼镜头和主动式深度摄像头，主动式深度传感器包括TOF(Time of flight，飞行时间)传感器、结构光传感器和激光雷达(Laser Radar，Lidar)等，第一鱼眼镜头与第二鱼眼镜头之间的间隔距离、第一鱼眼镜头和第二鱼眼镜头的视场角可根据实际情况进行设置，本发明实施例对此不做具体限定，例如，第一鱼眼镜头与第二鱼眼镜头相距8厘米，第一鱼眼镜头与第二鱼眼镜头的视场角均为145°×180°。
在一实施例中，通过第一鱼眼镜头采集到所处空间区域的图像，得到第一球面图像；通过第二鱼眼镜头采集到所处空间区域的图像，得到第二球面图像。
在一实施例中，如图3所示，步骤S101包括子步骤S1011至S1014。
S1011、对第一球面图像和第二球面图像进行融合，得到预设视场角的目标平面图像。
其中，第一球面图像和第二球面图像为曲面图像，将第一球面图像和第二球面图像由曲面图像转换成预设视场角的平面图像，得到预设视场角的目标平面图像。该预设场视角可以根据实际情况进行设置，本发明实施例对此不做具体限定，例如，该预设场视角可以设置为150°×180°。
在一实施例中，将第一球面图像转换为第一立体图像，其中，第一立体图像包括第一球面图像的前向映射图像、左向映射图像、右向映射图像、顶向映射图像和底向映射图像；将第二球面图像转换为第二立体图像，其中，第二立体图像包括第二球面图像的前向映射图像、左向映射图像、右向映射图像、顶向映射图像和底向映射图像；将第一立体图像与第二立体图像进行融合，得到预设视场角的目标平面图像。通过将第一球面图像和第二球面图像转换为立体图像，并将两个立体图像进行融合，可以得到预设视场角的目标平面图像，便于后续基于大视场角的平面图像生成大视场角的深度图像。
在一实施例中，将第一球面图像转换为第一立体图像的方式可以为：将第一球面图像进行归一化处理，得到第一球面图像的归一化球面，并将第一球面图像的归一化球面拆分为前向映射图像、左向映射图像、右向映射图像、顶向映射图像和底向映射图像，拼接第一球面图像的前向映射图像、左向映射图像、右向映射图像、顶向映射图像和底向映射图像，得到第一立体图像；类似的，将第二球面图像进行归一化处理，得到第二球面图像的归一化球面，并将第二球面图像的归一化球面拆分为前向映射图像、左向映射图像、右向映射图像、顶向映射图像和底向映射图像，拼接第二球面图像的前向映射图像、左向映射图像、右向映射图像、顶向映射图像和底向映射图像，得到第二立体图像。
在一实施例中，将第一立体图像和第二立体图像进行融合，得到预设视场角的目标平面图像的方式可以为：将第一立体图像中的前向映射图像、左向映射图像和右向映射图像进行拼接，得到预设视场角的第一图像；将第二立体图像中的前向映射图像、左向映射图像和右向映射图像进行拼接，得到预设视场角的第二图像；将第一图像与第二图像进行融合，得到第一融合图像，并将第一立体图像中的顶向映射图像与第二立体图像中的顶向映射图像进行融合，得到第二融合图像；将第一立体图像中的底向映射图像与第二立体图像中的底向映射图像进行融合，得到第三融合图像；将第一融合图像、第二融合图像和第三融合图像进行拼接，得到预设视场角的目标平面图像。
在一实施例中，将第一图像与第二图像进行融合，得到第一融合图像的方式可以为：基于图像融合算法对将第一图像与第二图像进行融合，得到第一融合图像。类似的，也可以基于图像融合算法将第一立体图像中的顶向映射图像与第二立体图像中的顶向映射图像进行融合，得到第二融合图像，也可以基于图像融合算法将第一立体图像中的底向映射图像与第二立体图像中的底向映射图像进行融合，得到第三融合图像。其中，图像融合算法包括基于小波变换的图像融合算法和基于塔形分解的图像融合算法。
在一实施例中，如图4所示，步骤S1011包括子步骤S1011a至S1011b。
S1011a、对第一球面图像和第二球面图像进行校准。
其中，通过第一鱼眼镜头和第二鱼眼镜头采集第一球面图像和第二球面图像时，由于终端设备的抖动或者画面内的对象的运动导致采集到的第一球面图像和第二球面图像出现畸变，导致第一球面图像和第二球面图像出现失真，因此需要对第一球面图像和第二球面图像进行校准。
在一实施例中，对第一球面图像和第二球面图像进行校准的方式可以为：将第一球面图像转换为第三立体图像，并将第二球面图像转换为第四立体图像；根据第三立体图像和第四立体图像，确定终端设备所处空间区域的多个空间点对应的特征点匹配对，得到多个特征点匹配对；从多个特征点匹配对中剔除异常的特征点匹配对，得到多个目标特征点匹配对；根据多个目标特征点匹配对，对第一球面图像和第二球面图像进行校准。其中，从多个特征点匹配对中剔除异常的特征点匹配对，得到多个目标特征点匹配对的方式可以为：获取预设数学模型，并基于预设数学模型从多个特征点匹配对中剔除异常的特征点匹配对，得到多个目标特征点匹配对，其中，预设数学模型是基于随机抽样一致RANSAC(RANdom SAmple Consensus，RANSAC)算法确定的。通过对第一球面图像和第二球面图像进行校准，便于后续基于校准的第一球面图像和第二球面图像生成准确的视差图。
在一实施例中，将第一球面图像转换为第三立体图像，并将第二球面图像转换为第四立体图像的方式可以为：将第一球面图像进行归一化处理，得到第一球面图像的归一化球面，并将第一球面图像的归一化球面拆分为前向映射图像、左向映射图像、右向映射图像、顶向映射图像和底向映射图像，拼接第一球面图像的前向映射图像、左向映射图像、右向映射图像、顶向映射图像和底向映射图像，得到第三立体图像；类似的，将第二球面图像进行归一化处理，得到第二球面图像的归一化球面，并将第二球面图像的归一化球面拆分为前向映射图像、左向映射图像、右向映射图像、顶向映射图像和底向映射图像，拼接第二球面图像的前向映射图像、左向映射图像、右向映射图像、顶向映射图像和底向映射图像，得到第四立体图像。
在一实施例中，根据第三立体图像和第四立体图像，确定终端设备所处空间区域的多个空间点对应的特征点匹配对，得到多个特征点匹配对的方式可以为：基于特征点提取算法，从第三立体图像中提取终端设备所处空间区域的多个空间点对应的特征点，得到多个第一特征点，并基于特征点提取算法，从第四立体图像中提取终端设备所处空间区域的多个空间点对应的特征点，得到多个第二特征点；基于特征点匹配算法，将多个第一特征点中的每个第一特征点分别与多个第二特征点中的第二特征点进行匹配，得到多个特征点匹配对，一个特征点匹配对包括一个第一特征点和一个第二特征点。其中，该特征点提取算法和特征点匹配算法可以根据实际情况进行选择，本发明实施例对此不做具体限定，例如，特征点提取算法包括如下至少一种：角点检测算法(Harris Corner Detection)、尺度不变特征变换(Scale-invariant feature transform，SIFT)算法、尺度和旋转不变特征变换(Speeded-Up Robust Features，SURF)算法、FAST(Features From Accelerated SegmentTest)特征点检测算法，特征点匹配算法包括如下至少一种：KLT(Kanade–Lucas–Tomasifeature tracker)算法和暴力匹配算法。
在一实施例中，根据第三立体图像和第四立体图像，确定终端设备所处空间区域的多个空间点对应的特征点匹配对，得到多个特征点匹配对的方式可以为：将第三立体图像转换为第三平面图像，即将第三立体图像中的前向映射图像、左向映射图像、右向映射图像、顶向映射图像和底向映射图像进行延展拼接，得到第三平面图像；将第四立体图像转换为第四平面图像，即将第四立体图像中的前向映射图像、左向映射图像、右向映射图像、顶向映射图像和底向映射图像进行延展拼接，得到第四平面图像；基于特征点提取算法，从第三平面图像中提取终端设备所处空间区域的多个空间点对应的特征点，得到多个第一特征点，并基于特征点提取算法，从第四平面图像中提取终端设备所处空间区域的多个空间点对应的特征点，得到多个第二特征点；基于特征点匹配算法，将多个第一特征点中的每个第一特征点分别与多个第二特征点中的第二特征点进行匹配，得到多个特征点匹配对，一个特征点匹配对包括一个第一特征点和一个第二特征点。
S1011b、将校准后的第一球面图像和第二球面图像进行融合，得到预设视场角的目标平面图像。
在一实施例中，将校准后的第一球面图像转换为第一立体图像，其中，该第一立体图像包括校准后的第一球面图像的前向映射图像、左向映射图像、右向映射图像、顶向映射图像和底向映射图像；将校准后的第二球面图像转换为第二立体图像，其中，该第二立体图像包括校准后的第二球面图像的前向映射图像、左向映射图像、右向映射图像、顶向映射图像和底向映射图像；将该第一立体图像与该第二立体图像进行融合，得到目标平面图像。
在一实施例中，将校准后的第一球面图像转换为第一立体图像的方式可以为：将校准后的第一球面图像进行归一化处理，得到校准后的第一球面图像的归一化球面，并将校准后的第一球面图像的归一化球面拆分为前向映射图像、左向映射图像、右向映射图像、顶向映射图像和底向映射图像，拼接校准后的第一球面图像的前向映射图像、左向映射图像、右向映射图像、顶向映射图像和底向映射图像，得到第一立体图像；类似的，将校准后的第二球面图像进行归一化处理，得到第二球面图像的归一化球面，并将校准后的第二球面图像的归一化球面拆分为前向映射图像、左向映射图像、右向映射图像、顶向映射图像和底向映射图像，拼接校准后的第二球面图像的前向映射图像、左向映射图像、右向映射图像、顶向映射图像和底向映射图像，得到第二立体图像。
S1012、将第一球面图像转换为第一平面图像，并第二球面图像转换为第二平面图像。
将第一球面图像转换为立体图像，其中，该立体图像包括该第一球面图像的前向映射图像、左向映射图像、右向映射图像、顶向映射图像和底向映射图像；将该立体图像中的前向映射图像、左向映射图像和右向映射图像进行拼接，得到第一图像；将该立体图像中的顶向映射图像、底向映射图像和该第一图像进行拼接，得到第一平面图像。类似的，将第二球面图像转换为对应的立体图像，其中，该第二球面图像对应的立体图像包括该第二球面图像的前向映射图像、左向映射图像、右向映射图像、顶向映射图像和底向映射图像；将该第二球面图像对应的立体图像中的前向映射图像、左向映射图像和右向映射图像进行拼接，得到第二图像；将该第二球面图像对应的立体图像中的顶向映射图像、底向映射图像和第二图像进行拼接，得到所述第二平面图像。
S1013、根据第一平面图像和第二平面图像，确定终端设备所处空间区域的多个空间点对应的特征点匹配对，得到多个特征点匹配对。
基于特征点提取算法，从该第一平面图像提取终端设备所处空间区域的多个空间点对应的特征点，得到多个第三特征点；基于特征点提取算法，从该第二平面图像提取终端设备所处空间区域的多个空间点对应的特征点，得到多个第四特征点；基于特征点匹配算法，将多个第三特征点中的每个第三特征点分别与多个第四特征点中的每个第四特征点进行匹配，得到多个特征点匹配对，一个特征点匹配对包括一个第三特征点和一个第四特征点。其中，该特征点提取算法和特征点匹配算法可以根据实际情况进行选择，本发明实施例对此不做具体限定，例如，特征点提取算法包括如下至少一种：角点检测算法(HarrisCorner Detection)、尺度不变特征变换(Scale-invariant feature transform，SIFT)算法、尺度和旋转不变特征变换(Speeded-Up Robust Features，SURF)算法、FAST(FeaturesFrom Accelerated Segment Test)特征点检测算法，特征点匹配算法包括如下至少一种：KLT(Kanade–Lucas–Tomasi feature tracker)算法和暴力匹配算法。
S1014、根据多个特征点匹配对和目标平面图像，生成终端设备所处空间区域的第一视差图。
基于多个特征点匹配对中的每个特征点匹配对，生成终端设备所处空间区域内的对应目标空间点的视差值，获取每个目标空间点在该目标平面图像上的像素坐标；根据终端设备所处空间区域内的对应目标空间点的视差值，确定该目标平面图像上中的与目标空间点对应的像素点的颜色，并根据该目标平面图像上中的与目标空间点对应的像素点的颜色，生成终端设备所处空间区域的第一视差图。
在一实施例中，如图5所示，子步骤S1011之后还包括子步骤S1015至S1016。
S1015、获取历史平面图像，其中，历史平面图像是根据上一时刻采集到的第一球面图像和第二球面图像确定的。
从该终端设备的存储器中获取上一时刻采集的第一球面图像和第二球面图像，并将上一时刻采集到的第一球面图像和第二球面图进行融合，得到历史平面图像；或者从该终端设备的存储器中获取历史平面图像。其中，上一时刻与当前时刻的时间间隔可以根据实际情况进行设置，本发明实施例对此不做具体限定，例如，上一时刻与当前时刻的时间间隔设置为0.1秒。
S1016、根据目标平面图像和历史平面图像，生成终端设备所处空间区域的第一视差图。
基于特征点提取算法，从该目标平面图像提取终端设备所处空间区域的多个空间点对应的特征点，得到多个第五特征点；基于特征点提取算法，从该历史平面图像提取终端设备所处空间区域的多个空间点对应的特征点，得到多个第六特征点；基于特征点匹配算法，将多个第五特征点中的每个第五特征点分别与多个第六特征点中的第六特征点进行匹配，得到多个特征点匹配对，一个特征点匹配对包括一个第五特征点和一个第六特征点；根据多个特征点匹配对，生成终端设备所处空间区域的第一视差图。通过目标平面图像和历史平面图像，可以生成大视场角的视差图。
其中，该特征点提取算法和特征点匹配算法可以根据实际情况进行选择，本发明实施例对此不做具体限定，例如，特征点提取算法包括如下至少一种：角点检测算法(Harris Corner Detection)、尺度不变特征变换(Scale-invariant feature transform，SIFT)算法、尺度和旋转不变特征变换(Speeded-Up Robust Features，SURF)算法、FAST(Features From Accelerated Segment Test)特征点检测算法，特征点匹配算法包括如下至少一种：KLT(Kanade–Lucas–Tomasi feature tracker)算法和暴力匹配算法。
在一实施例中，将第一球面图像转换为预设视场角的第一平面图像，并将该第二球面图像转换为预设视场角的第二平面图像；根据该第一平面图像和第二平面图像，生成该终端设备所处空间区域的第一视差图。其中，将第一球面图像转换为预设视场角的第一平面图像的方式可以为：将第一球面图像转换为第一立体图像，并将第一立体图像上的前向映射图像、左向映射图像、右向映射图像、顶向映射图像和底向映射图像进行拼接，得到预设视场角的第一平面图像。类似的，将第二球面图像转换为第二立体图像，并将第二立体图像上的前向映射图像、左向映射图像、右向映射图像、顶向映射图像和底向映射图像进行拼接，得到预设视场角的第二平面图像。通过第一平面图像和第二平面图像，得到该终端设备所处空间区域的第一视差图，提高了终端设备的生成第一视差图的效率和准确性。
在一实施例中，根据该第一平面图像和第二平面图像，生成该终端设备所处空间区域的第一视差图的方式可以为：基于特征点提取算法，从该第一平面图像提取终端设备所处空间区域的多个空间点对应的特征点，得到多个第七特征点；基于特征点提取算法，从该第二平面图像提取终端设备所处空间区域的多个空间点对应的特征点，得到多个第八特征点；基于特征点匹配算法，将多个第七特征点中的每个第七特征点分别与多个第八特征点中的第八特征点进行匹配，得到多个特征点匹配对，一个特征点匹配对包括一个第五特征点和一个第六特征点；根据多个特征点匹配对，生成终端设备所处空间区域的第一视差图。
需要说明的是，上述几种生成终端设备所处空间区域的第一视差图的方式，可以通过一种方式生成终端设备所处空间区域的第一视差图，也可以组合起来运用生成终端设备所处空间区域的第一视差图，本发明实施例对此不做具体限定，根据实际情况进行合理组合进而得到更为准确的第一视差图。
步骤S102、根据主动式深度传感器采集到的空间区域的深度信息，生成空间区域的第二视差图。
其中，该主动式传感器运行包括主动向目标物体发送光脉冲或其他光射线，然后接收反射回来的光脉冲或其他光射线，并根据反射回来的光脉冲或其他光射线得到目标物体的深度信息。其中，该主动式传感器可以根据实际情况进行选择，本申请对此不做具体限定，例如，该主动式传感器可以为选择飞行时间(Time of flight，TOF)传感器、激光雷达(Laser Radar，Lidar)和结构光(Structured light)传感器。
在一实施例中，控制主动式传感器向该终端设备所处的空间区域发射光脉冲，并接收发射回来的光脉冲，根据反射回来的光脉冲的频率和返回时间，确定该空间区域的深度信息，并根据该空间区域的深度信息，得到该空间区域的第二视差图。
步骤S103、根据第一视差图和第二视差图，生成空间区域的目标深度图。
在一实施例中，对第一视差图与第二视差图进行融合，得到目标视差图；基于目标视差图生成终端设备所处空间区域的目标深度图。其中，对第一视差图与第二视差图进行融合，得到目标视差图的方式可以为：获取第一视差图中的每个第一像素点的视差值，并获取第二视差图中的每个第二像素点的视差值；根据每个第一像素点的视差值与每个第二像素点的视差值，确定每个像素点的目标视差值，并基于每个像素点的目标视差值，生成目标视差图。
在一实施例中，确定每个像素点的目标视差值的方式可以为：获取目标视差值的计算公式；基于该计算公式d＝wTdT+wSdS，根据每个第一像素点的视差值与每个第二像素点的视差值，确定每个像素点的目标视差值。其中，该计算公式为d＝wTdT+wSdS，d为目标视差，wT为第一像素点的视差值的权重，wS为第二像素点的视差值的权重，dT为第一像素点的视差值，dS为第二像素点的视差值，wT和wS的具体数值可基于实际情况进行设置，本发明实施例对此不做具体限定。
在一实施例中，对第一视差图与第二视差图进行融合的方式可以为：获取第一视差图中的每个像素点的视差值的置信度，并获取第二视差图中的每个像素点的视差值的置信度；将第一视差图中的该置信度小于预设置信度的像素点过滤，得到第一校准视差图，并将第二视差图中的该置信度小于预设置信度的像素点过滤，得到第二校准视差图；对第一校准视差图和第二校准视差图进行融合，得到目标视差图。其中，预设置信度可基于实际情况进行设置，本发明实施例对此不做具体限定。
上述实施例提供的深度图生成方法，通过第一鱼眼镜头采集到的第一球面图像和第二鱼眼镜头采集到的第二球面图像，生成终端设备所处空间区域的第一视差图，并根据主动式深度传感器采集到的空间区域的深度信息，生成空间区域的第二视差图，最后根据第一视差图和第二视差图，生成该空间区域的目标深度图。上述实施例，由于鱼眼镜头的视场角较大，因此，通过第一鱼眼镜头采集到的第一球面图像和第二鱼眼镜头采集到的第二球面图像能够生成大视场角的第一视差图，并且通过主动式深度传感器采集到的空间区域的深度信息能够生成第二视差图，最后基于大视场角的第一视差图和该第二视差图能够生成大视场角的稠密深度图像，从而提高深度图像的视场角。
请参阅图6，图6为本发明实施例提供的一种终端设备的结构示意性框图。
如图6所示，深度图生成设备200包括第一鱼眼镜头201、第二鱼眼镜头202、主动式深度传感器203、处理器204和存储器205，第一鱼眼镜头201、第二鱼眼镜头202、主动式深度传感器203、处理器204和存储器205通过总线206连接，该总线比如为I2C(Inter-integrated Circuit)总线。
具体地，处理器204用于提供计算和控制能力，支撑整个深度图生成设备的运行。处理器204可以是中央处理单元(Central Processing Unit，CPU)，该处理器204还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
具体地，存储器205可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端设备的限定，具体的服务器可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器用于运行存储在存储器中的计算机程序，并在执行所述计算机程序时实现本发明实施例提供的任意一种所述的深度图生成方法。
在一实施方式中，所述处理器用于运行存储在存储器中的计算机程序，并在执行所述计算机程序时实现如下步骤：
根据所述第一鱼眼镜头采集到的第一球面图像和所述第二鱼眼镜头采集到的第二球面图像，生成所述终端设备所处空间区域的第一视差图；
根据所述主动式深度传感器采集到的所述空间区域的深度信息，生成所述空间区域的第二视差图；
根据所述第一视差图和第二视差图，生成所述空间区域的目标深度图。
在一实施例中，所述处理器在实现所述根据所述第一鱼眼镜头采集到的第一球面图像和所述第二鱼眼镜头采集到的第二球面图像，生成所述终端设备所处空间区域的第一视差图时，用于实现：
对所述第一球面图像和第二球面图像进行融合，得到预设视场角的目标平面图像；
将所述第一球面图像转换为第一平面图像，并将所述第二球面图像转换为第二平面图像；
根据所述第一平面图像和第二平面图像，确定所述终端设备所处空间区域的多个空间点对应的特征点匹配对，得到多个特征点匹配对；
根据所述多个特征点匹配对和所述目标平面图像，生成所述终端设备所处空间区域的第一视差图。
在一实施例中，所述处理器在实现所述对所述第一球面图像和第二球面图像进行融合，得到预设视场角的目标平面图像时，用于实现：
对所述第一球面图像和第二球面图像进行校准；
将校准后的所述第一球面图像和第二球面图像进行融合，得到预设视场角的目标平面图像。
在一实施例中，所述处理器在实现所述将校准后的所述第一球面图像和第二球面图像进行融合，得到预设视场角的目标平面图像时，用于实现：
将校准后的所述第一球面图像转换为第一立体图像，其中，所述第一立体图像包括校准后的所述第一球面图像的前向映射图像、左向映射图像、右向映射图像、顶向映射图像和底向映射图像；
将校准后的所述第二球面图像转换为第二立体图像，其中，所述第二立体图像包括校准后的所述第二球面图像的前向映射图像、左向映射图像、右向映射图像、顶向映射图像和底向映射图像；
将所述第一立体图像与所述第二立体图像进行融合，得到预设视场角的目标平面图像。
在一实施例中，所述处理器在实现所述将所述第一立体图像与所述第二立体图像进行融合，得到预设视场角的目标平面图像时，用于实现：
将所述第一立体图像中的前向映射图像、左向映射图像和右向映射图像进行拼接，得到预设视场角的第一图像；
将所述第二立体图像中的前向映射图像、左向映射图像和右向映射图像进行拼接，得到预设视场角的第二图像；
将所述第一图像与第二图像进行融合，得到第一融合图像，并将所述第一立体图像中的顶向映射图像与所述第二立体图像中的顶向映射图像进行融合，得到第二融合图像；
将所述第一立体图像中的底向映射图像与所述第二立体图像中的底向映射图像进行融合，得到第三融合图像；
将所述第一融合图像、第二融合图像和第三融合图像进行拼接，得到预设视场角的目标平面图像。
在一实施例中，所述处理器在实现所述对所述第一球面图像和第二球面图像进行校准时，用于实现：
将所述第一球面图像转换为第三立体图像，并将所述第二球面图像转换为第四立体图像；
根据所述第三立体图像和第四立体图像，确定所述终端设备所处空间区域的多个空间点对应的特征点匹配对，得到多个特征点匹配对。
在一实施例中，所述处理器在实现所述将所述第一球面图像转换为第一平面图像时，用于实现：
将所述第一球面图像转换为立体图像，其中，所述立体图像包括所述第一球面图像的前向映射图像、左向映射图像、右向映射图像、顶向映射图像和底向映射图像；
将所述立体图像中的前向映射图像、左向映射图像和右向映射图像进行拼接，得到第一图像；
将所述立体图像中的顶向映射图像、底向映射图像和所述第一图像进行拼接，得到所述第一平面图像。
在一实施例中，所述处理器在实现所述对所述第一球面图像和第二球面图像进行融合，得到预设视场角的目标平面图像之后，还用于实现：
获取历史平面图像，其中，所述历史平面图像是根据上一时刻采集到的第一球面图像和第二球面图像确定的；
根据所述目标平面图像和历史平面图像，生成所述终端设备所处空间区域的第一视差图。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的终端设备的具体工作过程，可以参考前述深度图生成方法实施例中的对应过程，在此不再赘述。
本发明实施例还提供一种存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如本发明说明书提供的任一项深度图生成的方法的步骤。
其中，所述存储介质可以是前述实施例所述的终端设备的内部存储单元，例如所述终端设备的硬盘或内存。所述存储介质也可以是所述终端设备的外部存储设备，例如所述终端设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)等。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、***、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
应当理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种深度图生成方法，其特征在于，应用于终端设备，所述终端设备包括第一鱼眼镜头、第二鱼眼镜头和主动式深度传感器，所述方法包括：
根据所述第一鱼眼镜头采集到的第一球面图像和所述第二鱼眼镜头采集到的第二球面图像，生成所述终端设备所处空间区域的第一视差图；
根据所述主动式深度传感器采集到的所述空间区域的深度信息，生成所述空间区域的第二视差图；
根据所述第一视差图和第二视差图，生成所述空间区域的目标深度图。
2.根据权利要求1所述的深度图生成方法，其特征在于，所述根据所述第一鱼眼镜头采集到的第一球面图像和所述第二鱼眼镜头采集到的第二球面图像，生成所述终端设备所处空间区域的第一视差图，包括：
对所述第一球面图像和第二球面图像进行融合，得到预设视场角的目标平面图像；
将所述第一球面图像转换为第一平面图像，并将所述第二球面图像转换为第二平面图像；
根据所述第一平面图像和第二平面图像，确定所述终端设备所处空间区域的多个空间点对应的特征点匹配对，得到多个特征点匹配对；
根据所述多个特征点匹配对和所述目标平面图像，生成所述终端设备所处空间区域的第一视差图。
3.根据权利要求2所述的深度图生成方法，其特征在于，所述对所述第一球面图像和第二球面图像进行融合，得到预设视场角的目标平面图像，包括：
对所述第一球面图像和第二球面图像进行校准；
将校准后的所述第一球面图像和第二球面图像进行融合，得到预设视场角的目标平面图像。
4.根据权利要求3所述的深度图生成方法，其特征在于，所述将校准后的所述第一球面图像和第二球面图像进行融合，得到预设视场角的目标平面图像，包括：
将校准后的所述第一球面图像转换为第一立体图像，其中，所述第一立体图像包括校准后的所述第一球面图像的前向映射图像、左向映射图像、右向映射图像、顶向映射图像和底向映射图像；
将校准后的所述第二球面图像转换为第二立体图像，其中，所述第二立体图像包括校准后的所述第二球面图像的前向映射图像、左向映射图像、右向映射图像、顶向映射图像和底向映射图像；
将所述第一立体图像与所述第二立体图像进行融合，得到预设视场角的目标平面图像。
5.根据权利要求4所述的深度图生成方法，其特征在于，所述将所述第一立体图像与所述第二立体图像进行融合，得到预设视场角的目标平面图像，包括：
将所述第一立体图像中的前向映射图像、左向映射图像和右向映射图像进行拼接，得到预设视场角的第一图像；
将所述第二立体图像中的前向映射图像、左向映射图像和右向映射图像进行拼接，得到预设视场角的第二图像；
将所述第一图像与第二图像进行融合，得到第一融合图像，并将所述第一立体图像中的顶向映射图像与所述第二立体图像中的顶向映射图像进行融合，得到第二融合图像；
将所述第一立体图像中的底向映射图像与所述第二立体图像中的底向映射图像进行融合，得到第三融合图像；
将所述第一融合图像、第二融合图像和第三融合图像进行拼接，得到预设视场角的目标平面图像。
6.根据权利要求3所述的深度图生成方法，其特征在于，所述对所述第一球面图像和第二球面图像进行校准，包括：
将所述第一球面图像转换为第三立体图像，并将所述第二球面图像转换为第四立体图像；
根据所述第三立体图像和第四立体图像，确定所述终端设备所处空间区域的多个空间点对应的特征点匹配对，得到多个特征点匹配对；
从所述多个特征点匹配对中剔除异常的特征点匹配对，得到多个目标特征点匹配对；
根据所述多个目标特征点匹配对，对所述第一球面图像和第二球面图像进行校准。
7.根据权利要求2所述的深度图生成方法，其特征在于，所述将所述第一球面图像转换为第一平面图像，包括：
将所述第一球面图像转换为立体图像，其中，所述立体图像包括所述第一球面图像的前向映射图像、左向映射图像、右向映射图像、顶向映射图像和底向映射图像；
将所述立体图像中的前向映射图像、左向映射图像和右向映射图像进行拼接，得到第一图像；
将所述立体图像中的顶向映射图像、底向映射图像和所述第一图像进行拼接，得到所述第一平面图像。
8.根据权利要求2所述的深度图生成方法，其特征在于，所述对所述第一球面图像和第二球面图像进行融合，得到预设视场角的目标平面图像之后，还包括：
获取历史平面图像，其中，所述历史平面图像是根据上一时刻采集到的第一球面图像和第二球面图像确定的；
根据所述目标平面图像和历史平面图像，生成所述终端设备所处空间区域的第一视差图。
9.一种终端设备，其特征在于，所述终端设备包括第一鱼眼镜头、第二鱼眼镜头、主动式深度传感器、处理器、存储器、存储在所述存储器上并可被所述处理器执行的计算机程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，其中所述计算机程序被所述处理器执行时，实现如权利要求1至8中任一项所述的深度图生成方法的步骤。
10.一种存储介质，用于计算机可读存储，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1至8中任一项所述的深度图生成方法的步骤。
CN202010591582.0A 2020-06-24 2020-06-24 深度图生成方法、设备及存储介质 Pending CN113840130A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010591582.0A CN113840130A (zh) 2020-06-24 2020-06-24 深度图生成方法、设备及存储介质
EP21830016.8A EP4175293A4 (en) 2020-06-24 2021-06-22 DEPTH MAP GENERATION METHOD, DEVICE, AND STORAGE MEDIUM
PCT/CN2021/101639 WO2021259287A1 (zh) 2020-06-24 2021-06-22 深度图生成方法、设备及存储介质
US18/012,785 US20230252661A1 (en) 2020-06-24 2021-06-22 Depth map generation method, and device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010591582.0A CN113840130A (zh) 2020-06-24 2020-06-24 深度图生成方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113840130A true CN113840130A (zh) 2021-12-24

Family

ID=78964747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010591582.0A Pending CN113840130A (zh) 2020-06-24 2020-06-24 深度图生成方法、设备及存储介质

Country Status (4)

Country Link
US (1) US20230252661A1 (zh)
EP (1) EP4175293A4 (zh)
CN (1) CN113840130A (zh)
WO (1) WO2021259287A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230083014A1 (en) * 2021-09-14 2023-03-16 Black Sesame Technologies Inc. Depth estimation based on data fusion of image sensor and depth sensor frames

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9538160B1 (en) * 2013-04-11 2017-01-03 Nextvr Inc. Immersive stereoscopic video acquisition, encoding and virtual reality playback methods and apparatus
KR102458339B1 (ko) * 2015-08-07 2022-10-25 삼성전자주식회사 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
US20170127045A1 (en) * 2015-10-28 2017-05-04 Toppano Co., Ltd. Image calibrating, stitching and depth rebuilding method of a panoramic fish-eye camera and a system thereof
CN105869167A (zh) * 2016-03-30 2016-08-17 天津大学 基于主被动融合的高分辨率深度图获取方法
WO2018026951A1 (en) * 2016-08-02 2018-02-08 Parto Inc. Rapid real-time large depth of field, whole body, multi-spectral optical imaging for skin surveillance and photography
CN106504284B (zh) * 2016-10-24 2019-04-12 成都通甲优博科技有限责任公司 一种基于立体匹配与结构光相结合的深度图获取方法
CN108288292A (zh) * 2017-12-26 2018-07-17 中国科学院深圳先进技术研究院 一种三维重建方法、装置及设备
CN109615652B (zh) * 2018-10-23 2020-10-27 西安交通大学 一种深度信息获取方法及装置

Also Published As

Publication number Publication date
EP4175293A4 (en) 2023-11-15
WO2021259287A1 (zh) 2021-12-30
US20230252661A1 (en) 2023-08-10
EP4175293A1 (en) 2023-05-03

Similar Documents

Publication Publication Date Title
CN111340864B (zh) 基于单目估计的三维场景融合方法及装置
KR101666959B1 (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
CN107392958B (zh) 一种基于双目立体摄像机确定物体体积的方法及装置
CN113592989B (zh) 一种三维场景的重建***、方法、设备及存储介质
CN113362444B (zh) 点云数据的生成方法、装置、电子设备及存储介质
CN108377380B (zh) 影像扫描***及其方法
WO2021098448A1 (zh) 传感器标定方法及装置、存储介质、标定***和程序产品
EP2860695A1 (en) Method and apparatus for identifying noise in disparity depth image
KR102458242B1 (ko) 스테레오 카메라로부터 획득된 이미지 페어를 처리하는 장치 및 방법
CN112106111A (zh) 一种标定方法、设备、可移动平台及存储介质
WO2018216341A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN110619660A (zh) 一种物体定位方法、装置、计算机可读存储介质及机器人
CN112771575A (zh) 距离确定方法、可移动平台及计算机可读存储介质
CN112633324A (zh) 一种基于神经网络的环视立体视觉匹配***、方法及介质
CN112802114A (zh) 多视觉传感器融合装置及其方法和电子设备
CN109658451B (zh) 一种深度感知方法，装置和深度感知设备
CN113840130A (zh) 深度图生成方法、设备及存储介质
JP5769248B2 (ja) ステレオマッチング処理装置、ステレオマッチング処理方法、及び、プログラム
CN112668505A (zh) 基于路侧相机的外参的三维感知信息获取方法和路侧设备
CN108335329B (zh) 应用于飞行器中的位置检测方法和装置、飞行器
CN111656404B (zh) 图像处理方法、***及可移动平台
CN113959398B (zh) 基于视觉的测距方法、装置、可行驶设备及存储介质
CN114387532A (zh) 边界的识别方法及其装置、终端、电子设备和无人设备
CN113269857A (zh) 坐标系关系获取方法及装置
CN115836322A (zh) 图像裁剪方法与装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination