CN112750098A - 深度图优化方法及装置、***、电子设备、存储介质 - Google Patents
深度图优化方法及装置、***、电子设备、存储介质 Download PDFInfo
- Publication number
- CN112750098A CN112750098A CN202110365727.XA CN202110365727A CN112750098A CN 112750098 A CN112750098 A CN 112750098A CN 202110365727 A CN202110365727 A CN 202110365727A CN 112750098 A CN112750098 A CN 112750098A
- Authority
- CN
- China
- Prior art keywords
- polarization
- depth
- depth map
- map
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000005457 optimization Methods 0.000 title claims abstract description 47
- 238000003860 storage Methods 0.000 title claims abstract description 8
- 230000010287 polarization Effects 0.000 claims abstract description 140
- 239000013598 vector Substances 0.000 claims abstract description 45
- 238000010586 diagram Methods 0.000 claims abstract description 40
- 238000004364 calculation method Methods 0.000 claims abstract description 27
- 238000013507 mapping Methods 0.000 claims abstract description 19
- 230000002776 aggregation Effects 0.000 claims abstract description 15
- 238000004220 aggregation Methods 0.000 claims abstract description 15
- 238000001514 detection method Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 239000000126 substance Substances 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 abstract description 4
- 230000006872 improvement Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 8
- 230000008447 perception Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 238000012935 Averaging Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 208000004350 Strabismus Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000002715 modification method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/514—Depth or shape recovery from specularities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
本发明公开了一种深度图优化方法及装置、***、电子设备、存储介质,该方法包括:采集深度传感器获取的目标空间的深度图;采集偏振传感器获取的目标空间的偏振图;根据所述偏振图,获取目标面的法向量;将所述深度图映射到所述偏振图上,根据所述法向量,对所述深度图进行代价计算和聚合,获取优化的深度图。将深度传感器和偏振传感器结合,通过将深度信息与偏振信息(法向量信息)融合,经代价聚合进而实现深度图的滤波和精度提升。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种深度图优化方法及装置、***、电子设备、存储介质。
背景技术
深度相机可以用来感知环境的三维深度信息,因此被广泛应用于移动机器人导航,航天、航空,增强现实,测绘等领域。目前深度相机领域分为以结构光深度相机和飞行时间深度相为代表的主动式深度相机和以双目相机为代表的被动式深度相机。相比于被动式深度相机,主动式深度相机不需要大量计算就可以获取真实环境的距离信息,并且获取的距离信息更为可靠。
目前主动式深度相机主要分为光飞行时间深度相机和结构光深度相机。以光飞行时间深度相机为例,光飞行时间深度相机主要存在空间感知精度偏低,一般在cm级别,提高感知精度的主要方法包括提高调制频率和多图优化上,提高调制频率目前最高也只能做到mm级别,在某些场景下的应用还是受限,而多图优化存在的最大问题就是出图的实时性大打折扣。
发明内容
本申请实施例的目的是提供一种深度图优化方法及装置、***、电子设备、存储介质,以解决相关技术中存在的深度优化精度有限,出图实时性差的问题。
根据本申请实施例的第一方面,提供一种深度图优化方法,包括:采集深度传感器获取的目标空间的深度图;采集偏振传感器获取的目标空间的偏振图;根据所述偏振图,获取目标面的法向量;将所述深度图映射到所述偏振图上,根据所述法向量,对所述深度图进行代价计算和聚合,获取优化的深度图。
进一步地,将所述深度图映射到所述偏振图上,包括:
计算所述深度传感器坐标系到偏振传感器坐标系的转换矩阵;
通过所述转换矩阵将深度图映射到所述偏振图上。
进一步地,所述转换矩阵为:
进一步地,所述代价计算的函数为:
根据本申请实施例的第二方面,提供一种深度图优化装置,包括:第一采集模块,用于采集深度传感器获取的目标空间的深度图;第二采集模块,用于采集偏振传感器获取的目标空间的偏振图;获取模块,用于根据所述偏振图,获取目标面的法向量;计算模块,用于将所述深度图映射到所述偏振图上,根据所述法向量,对所述深度图进行代价计算和聚合,获取优化的深度图。
根据本申请实施例的第三方面,提供一种深度图优化***,包括:深度传感器,用于采集目标空间的深度图;偏振检测传感器,用于采集目标空间的偏振图,并根据所述偏振图计算目标面的法向向量;计算模块,用于控制所述深度传感器和偏振检测传感器工作,并将所述深度图映射到所述偏振图上,根据所述法向量,对所述深度图进行代价计算和聚合,获取优化的深度图。
进一步地,所述深度传感器主要由主动光发射模块、深度传感模块和深度控制模块构成,所述主动光发射模块用于向外发射光线,投射在目标物体上;所述深度传感模块用于接收若干由目标物体反射的光线信号;所述深度控制模块用于控制深度传感模块和主动光发射模块进行深度感知。
进一步地,所述偏振检测传感器主要由偏振光发射模块、偏振传感模块和偏振控制模块构成,所述偏振光发射模块用于向外发射光线,投射在目标物体上;所述偏振传感模块用于接收若干由目标物体反射的光线信号;所述偏振控制模块用于控制偏振光发射模块和偏振传感模块获取目标面的法向量。
根据本申请实施例的第四方面,提供一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序;当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第一方面所述的方法。
根据本申请实施例的第五方面,提供一种计算机可读的存储介质,其上存储有计算机指令,该指令被处理器执行时实现如第一方面所述方法的步骤。
本申请的实施例提供的技术方案可以包括以下有益效果:
由上述实施例可知,本发明实施例提供的深度图优化方法是深度图融合偏振图进行深度优化,偏振图是可以很细致的反应目标物体反射面的法向量,因此深度优化的精度可以达到mm级以下,较现有深度优化方案有明显提升;深度图和偏振图的获取都可以是实时获取,而且***计算的复杂度不高,深度优化也仅依赖单幅深度图和单幅偏振图,因此优化方案可以实现实施出图。
本发明实施例提供过的深度图优化***只是在深度传感器外加一个偏振传感器,***实现的简单,不需要对现有***进行过多的硬件修改。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种深度图优化方法的流程图。
图2是根据一示例性实施例示出的将所述深度图映射到所述偏振图上的流程图。
图3是根据一示例性实施例示出的图像优选效果对比图,其中(a)为由深度相机直接采集2.5m处的白墙输出的效果图,(b)是采集10张墙面的数据,经过中值滤波和10张平均之后的效果图,(c)是经过本发明实施例的方法优化后的效果图。
图4是根据一示例性实施例示出的一种深度图优化装置的框图。
图5是根据一示例性实施例示出的一种深度图优化***的原理图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
图1是根据一示例性实施例示出的一种深度图优化方法的流程图。参看图1,本发明实施例提供的一种深度图优化方法可以包括以下步骤:
步骤S11,采集深度传感器获取的目标空间的深度图;
步骤S12,采集偏振传感器获取的目标空间的偏振图;
步骤S13,根据所述偏振图,获取目标面的法向量;
步骤S14,将所述深度图映射到所述偏振图上,根据所述法向量,对所述深度图进行代价计算和聚合,获取优化的深度图。
由上述实施例可知,本申请在深度传感器外加一个偏振传感器实现深度图优化,是深度图融合偏振图进行深度优化的方法,优化程度很大程度上依赖偏振图的获取精度,此外因为偏振图是可以很细致的反应目标物体反射面的法向量,因此深度优化的精度可以很容易达到mm级以下 ,深度图和偏振图的获取都可以是实时获取,而且***计算的复杂度不高,因此本发明优化方案可以实现实施深度优化出图。
在步骤S11的具体实施中,采集深度传感器获取的目标空间的深度图;
具体地, 所述深度传感器主要由主动光发射模块、深度传感模块和深度控制模块构成,所述主动光发射模块用于向外发射光线,投射在目标物体上;所述深度传感模块用于接收若干由目标物体反射的光线信号;所述深度控制模块用于控制深度传感模块和主动光发射模块进行深度感知。深度控制模块根据接收到的由目标物体反射的光信号进行深度解析和计算,获得目标空间的深度图。
在步骤S12的具体实施中,采集偏振传感器获取的目标空间的偏振图;
具体地,偏振检测传感器主要由偏振光发射模块、偏振传感模块和偏振控制模块构成,所述偏振光发射模块用于向外发射光线,投射在目标物体上;所述偏振传感模块用于接收若干由目标物体反射的光线信号,形成目标空间的偏振图。
在步骤S13的具体实施中,根据所述偏振图,获取目标面的法向量;
具体地,偏振控制模块控制偏振光发射模块和偏振传感模块,同时根据多个偏振方向上获得的偏振图,计算目标面的法向量。
在步骤S14的具体实施中,将所述深度图映射到所述偏振图上,参考图2,该步骤可以包括以下步骤:
步骤S21,计算所述深度传感器坐标系到偏振传感器坐标系的转换矩阵;
具体地,本发明实施例采用的是张正友标定法,通过采集棋盘格图像获得相机与棋盘格的外参关系,本发明实施例中深度传感器和偏振传感器具有重合的视野范围。在重合的视野范围内,根据两个传感器各自到棋盘格的外参建立他们之间的外参关系。
在深度传感器到偏振传感器的映射上首先需要对其外参进行标定,在针孔模型下偏振传感器相机坐标系下位置存在转换关系:
同样的道理,
于是有,
本实施例利用棋盘格,采用张正友标定法计算得到偏振传感器和深度传感器的内参矩阵和深度传感器坐标系到偏振传感器坐标系的转换矩阵W。
所述转换矩阵为:
步骤S22,通过所述转换矩阵将深度图映射到所述偏振图上。
在步骤S14的具体实施中,根据所述法向量,对所述深度图进行代价计算和聚合,获取优化的深度图。
具体地,在根据外参W将深度图映射到偏振图上之后,因为两者所成像空间具有重合区域,同一区域的表面法向量连贯和一致,根据所述代价计算的函数:
其中,时,表示当前位置表面法向量与深度信息计算获得表面法向量一致,反之,当时,表示当前位置表面法向量与深度信息计算获得表面法向量相反,需要进行反向变换。对所获得的深度图进行全局的代价计算最终获得精度优化的深度图。
图3是根据一示例性实施例示出的图像优选效果对比图,其中(a)为由深度相机直接采集2.5m处的白墙输出的效果图,(b)是采集10张墙面的数据,经过中值滤波和10张平均之后的效果图,(c)是经过本发明实施例的方法优化后的效果图。
由以上图3中的(a)可以看到原始深度相机直接输出的2.5m处的白墙,点云排布较为无序,整体上仍然处于一个平面,这是因为原始深度相机输出精度在2cm左右,因此从斜视角度上看不出点云的分布规则。
由以上图3中的(b)可知,在经过中值滤波和10张平均之后,点云排布规则相对稳定很多,但是局部的波动和起伏仍然可见,此时的深度精度在3mm左右。
由以上图3中的(c)可知,在原始深度传感器数据基础上加了偏振优化后,可以看到点云非常规整地排列开来,且出现莫尔纹,表明所测的墙面平整度很高,此时的精度在0.5mm左右。
与前述的深度图优化方法的实施例相对应,本申请还提供了深度图优化装置的实施例。
图4是根据一示例性实施例示出的一种深度图优化装置的框图。参照图4,该装置包括
第一采集模块11,用于采集深度传感器获取的目标空间的深度图;
第二采集模块12,用于采集偏振传感器获取的目标空间的偏振图;
获取模块13,用于根据所述偏振图,获取目标面的法向量;
计算模块14,用于将所述深度图映射到所述偏振图上,根据所述法向量,对所述深度图进行代价计算和聚合,获取优化的深度图。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
相应的,本申请还提供一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序;当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上述的深度图优化方法。
相应的,本申请还提供一种计算机可读存储介质,其上存储有计算机指令,其特征在于,该指令被处理器执行时实现如上述的深度图优化方法。
图5是根据一示例性实施例示出的一种深度图优化***的原理图。本发明实施例还提供一种深度图优化***,该***包括:
深度传感器,用于采集目标空间的深度图;
偏振检测传感器,用于采集目标空间的偏振图,并根据所述偏振图计算目标面的法向向量;
计算模块,用于控制所述深度传感器和偏振检测传感器工作,并将所述深度图映射到所述偏振图上,根据所述法向量,对所述深度图进行代价计算和聚合,获取优化的深度图。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本发明实施例中,所述深度传感器主要由主动光发射模块、深度传感模块和深度控制模块构成,所述主动光发射模块用于向外发射光线,投射在目标物体上;所述深度传感模块用于接收若干由目标物体反射的光线信号;所述深度控制模块用于控制深度传感模块和主动光发射模块进行深度感知。主动式深度传感器相较于被动式传感器(如双目深度传感器),具有测距稳定的有点,在面对无纹理特诊的目标物体情况下依然可以进行有效测距。
本发明实施例中,所述深度传感器优选采用主动式深度感知传感器,当所述深度传感器为TOF深度相机时,主动光发射模块的时间调制频率与深度传感模块的解调频率同步;当所述深度传感器为散斑深度相机时,主动光发射模块的曝光与深度传感模块的传感时间同步。
本发明实施例中,所述偏振检测传感器主要由偏振光发射模块,偏振传感模块和偏振控制模块构成,所述偏振光发射模块用于向外发射光线,投射在目标物体上;所述偏振传感模块用于接收若干由目标物体反射的光线信号;所述偏振控制模块用于控制偏振光发射模块和偏振传感模块获取目标面的法向量。本实施例采用主动式光源照明,相较于环境光照明,在光线昏暗的场景下依然可以有效的进行偏振感知,在环境光照明照明下依然可以检测出偏振化方向,环境光适应能力更强。
所述偏振检测传感器有一下几种实现形式:
(1)所述偏振检测传感器由相机前置检偏器构成,通过旋转所述检偏器感知反射光信号的不同方向的偏振量。这种改装方法实现最为简单,只需要一个普通相机外加一个偏振片就可以实现。偏振方向的感知仅取决于偏振片的偏振化方向,这种方法的缺点在于一次完整的偏振化方向感知需要多组感知数据,成像的实时性较差。
(2)所述偏振检测传感器由多组相机前置检偏器构成,多组相机前置检偏器的偏振方向不同,从而感知射光信号的不同方向的偏振量。这种改装方法需要多个普通相机,不同相机前置的偏振片偏振化方向不一致,每个相机感知不同偏振化方向的偏振量,多组相机之间尽可能接近以降低视差影响。
(3)所述偏振检测传感器是在传感芯片前置不同的偏振掩膜,不同像素感知反射光信号的不同方向的偏振量。这种方法从芯片层面进行操作,相邻四个像素感知不同的偏振化方向的光信号,构成一组偏振感知组。这种方法最为稳定,成像的实时性较佳。
本发明实施例中,所述偏振光发射模块是偏振激光器或普通光源加偏振片构成的模块。偏振光经目标物体反射之后,可以形成鲜明的信号强度对比。
本发明实施例中,偏振检测传感器能够感知到目标物反射的光信号,一方面需要传感器能够在激光辐射波段有所响应,也需要信号光能够穿过镜头进行成像。优选地,为了避免环境光的干扰,需要在镜头上安装合适的窄带滤光片,滤光片参数与发射光源波长组成有关。
本发明的实施例所使用深度相机的空间感知距离为6m,空间感知精度为1%,即1m处空间感知精度1cm,空间分辨率320 × 240。
本发明的实施例所使用主动光发射模块和偏振光发射模块是一种850nm 500mW的半导体激光器,其输出激光为线偏振激光。本发明的实施例所使用的偏振传感模块采用的是一种全局曝光的偏振感知CMOS芯片,相比于普通CMOS芯片,其优势在于曝光可控,芯片集成偏振片,可直接获取反射光信号的偏振化方向。
计算模块主要负责对各个模块进行配置,以驱动模块之间协同工作,并采集和处理来自传感芯片的数据。本***所述深度控制模块和偏振控制模块以现场可编程逻辑门阵列(FPGA)和ARM为主控芯片,搭载USB3.0控制芯片和DDR2芯片。此外,深度传感模块和主动光发射模块的上电和辐射时序和器件配置也是由深度控制模块完成的,偏振传感模块和偏振光发射模块的上电和辐射时序和器件配置也是由偏振控制模块完成的。
本领域技术人员在考虑说明书及实践这里公开的内容后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (10)
1.一种深度图优化方法,其特征在于,包括:
采集深度传感器获取的目标空间的深度图;
采集偏振传感器获取的目标空间的偏振图;
根据所述偏振图,获取目标面的法向量;
将所述深度图映射到所述偏振图上,根据所述法向量,对所述深度图进行代价计算和聚合,获取优化的深度图。
2.根据权利要求1所述的方法,其特征在于,将所述深度图映射到所述偏振图上,包括:
计算所述深度传感器坐标系到偏振传感器坐标系的转换矩阵;
通过所述转换矩阵将深度图映射到所述偏振图上。
5.一种深度图优化装置,其特征在于,包括:
第一采集模块,用于采集深度传感器获取的目标空间的深度图;
第二采集模块,用于采集偏振传感器获取的目标空间的偏振图;
获取模块,用于根据所述偏振图,获取目标面的法向量;
计算模块,用于将所述深度图映射到所述偏振图上,根据所述法向量,对所述深度图进行代价计算和聚合,获取优化的深度图。
6.一种深度图优化***,其特征在于,包括:
深度传感器,用于采集目标空间的深度图;
偏振检测传感器,用于采集目标空间的偏振图,并根据所述偏振图计算目标面的法向向量;
计算模块,用于控制所述深度传感器和偏振检测传感器工作,并将所述深度图映射到所述偏振图上,根据所述法向量,对所述深度图进行代价计算和聚合,获取优化的深度图。
7.根据权利要求6所述的***,其特征在于,所述深度传感器主要由主动光发射模块、深度传感模块和深度控制模块构成,所述主动光发射模块用于向外发射光线,投射在目标物体上;所述深度传感模块用于接收若干由目标物体反射的光线信号;所述深度控制模块用于控制深度传感模块和主动光发射模块进行深度感知。
8.根据权利要求6所述的***,其特征在于,所述偏振检测传感器主要由偏振光发射模块、偏振传感模块和偏振控制模块构成,所述偏振光发射模块用于向外发射光线,投射在目标物体上;所述偏振传感模块用于接收若干由目标物体反射的光线信号;所述偏振控制模块用于控制偏振光发射模块和偏振传感模块获取目标面的法向量。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-4任一项所述的方法。
10.一种计算机可读的存储介质,其上存储有计算机指令,其特征在于,该指令被处理器执行时实现如权利要求1-4中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110365727.XA CN112750098B (zh) | 2021-04-06 | 2021-04-06 | 深度图优化方法及装置、***、电子设备、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110365727.XA CN112750098B (zh) | 2021-04-06 | 2021-04-06 | 深度图优化方法及装置、***、电子设备、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112750098A true CN112750098A (zh) | 2021-05-04 |
CN112750098B CN112750098B (zh) | 2021-07-06 |
Family
ID=75651723
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110365727.XA Active CN112750098B (zh) | 2021-04-06 | 2021-04-06 | 深度图优化方法及装置、***、电子设备、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112750098B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180286038A1 (en) * | 2015-09-23 | 2018-10-04 | The Regents Of The University Of California | Deep learning in label-free cell classification and machine vision extraction of particles |
CN109242855A (zh) * | 2018-07-19 | 2019-01-18 | 中国科学院自动化研究所 | 基于多分辨率三维统计信息的屋顶分割方法、***及设备 |
CN111310651A (zh) * | 2020-02-13 | 2020-06-19 | 杭州凌像科技有限公司 | 一种基于偏振相机和rgb-d传感器的水面检测方法 |
CN111738941A (zh) * | 2020-06-05 | 2020-10-02 | 大连海事大学 | 融合光场和偏振信息的水下图像优化方法 |
CN111768331A (zh) * | 2020-06-24 | 2020-10-13 | 深兰人工智能芯片研究院(江苏)有限公司 | 一种优化方法及装置 |
-
2021
- 2021-04-06 CN CN202110365727.XA patent/CN112750098B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180286038A1 (en) * | 2015-09-23 | 2018-10-04 | The Regents Of The University Of California | Deep learning in label-free cell classification and machine vision extraction of particles |
CN109242855A (zh) * | 2018-07-19 | 2019-01-18 | 中国科学院自动化研究所 | 基于多分辨率三维统计信息的屋顶分割方法、***及设备 |
CN111310651A (zh) * | 2020-02-13 | 2020-06-19 | 杭州凌像科技有限公司 | 一种基于偏振相机和rgb-d传感器的水面检测方法 |
CN111738941A (zh) * | 2020-06-05 | 2020-10-02 | 大连海事大学 | 融合光场和偏振信息的水下图像优化方法 |
CN111768331A (zh) * | 2020-06-24 | 2020-10-13 | 深兰人工智能芯片研究院(江苏)有限公司 | 一种优化方法及装置 |
Non-Patent Citations (1)
Title |
---|
杨锦发 等: "融合粗糙深度信息的低纹理物体偏振三维重建", 《红外与毫米波学报》 * |
Also Published As
Publication number | Publication date |
---|---|
CN112750098B (zh) | 2021-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Giancola et al. | A survey on 3D cameras: Metrological comparison of time-of-flight, structured-light and active stereoscopy technologies | |
Zennaro et al. | Performance evaluation of the 1st and 2nd generation Kinect for multimedia applications | |
Hansard et al. | Time-of-flight cameras: principles, methods and applications | |
CN106127745B (zh) | 结构光3d视觉***与线阵相机的联合标定方法及装置 | |
Lefloch et al. | Technical foundation and calibration methods for time-of-flight cameras | |
Beder et al. | A comparison of PMD-cameras and stereo-vision for the task of surface reconstruction using patchlets | |
WO2002068987A1 (en) | Apparatus and method for obtaining three-dimensional positional data from a two-dimensional captured image | |
WO2013091016A1 (en) | Structured light system for robust geometry acquisition | |
CN113034612B (zh) | 一种标定装置、方法及深度相机 | |
KR101926953B1 (ko) | 4카메라 그룹 평면 어레이의 특징점의 매칭 방법 및 그에 기초한 측정 방법 | |
US20240087167A1 (en) | Compensation of three-dimensional measuring instrument having an autofocus camera | |
Fuersattel et al. | Accurate laser scanner to camera calibration with application to range sensor evaluation | |
Hillemann et al. | UCalMiCeL–Unified intrinsic and extrinsic calibration of a multi-camera-system and a laserscanner | |
Harvent et al. | Multi-view dense 3D modelling of untextured objects from a moving projector-cameras system | |
Shim et al. | Performance evaluation of time-of-flight and structured light depth sensors in radiometric/geometric variations | |
Beder et al. | A combined approach for estimating patchlets from PMD depth images and stereo intensity images | |
Shi et al. | Large-scale three-dimensional measurement based on LED marker tracking | |
CN112750098B (zh) | 深度图优化方法及装置、***、电子设备、存储介质 | |
JP5147055B2 (ja) | 距離計測装置及び距離計測方法 | |
EP3988895B1 (en) | Compensation of three-dimensional measuring instrument having an autofocus camera | |
CN114155349B (zh) | 一种三维建图方法、三维建图装置及机器人 | |
Chen et al. | A structured-light-based panoramic depth camera | |
Mure-Dubois et al. | Fusion of time of flight camera point clouds | |
Sekkati et al. | Direct and indirect 3-D reconstruction from opti-acoustic stereo imaging | |
Zhang et al. | Passive 3D reconstruction based on binocular vision |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |