CN110335211A - 深度图像的校正方法、终端设备以及计算机存储介质 - Google Patents
深度图像的校正方法、终端设备以及计算机存储介质 Download PDFInfo
- Publication number
- CN110335211A CN110335211A CN201910550733.5A CN201910550733A CN110335211A CN 110335211 A CN110335211 A CN 110335211A CN 201910550733 A CN201910550733 A CN 201910550733A CN 110335211 A CN110335211 A CN 110335211A
- Authority
- CN
- China
- Prior art keywords
- depth information
- color image
- depth
- pixel
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 75
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 37
- 230000009977 dual effect Effects 0.000 claims abstract description 29
- 238000012937 correction Methods 0.000 claims description 85
- 230000015654 memory Effects 0.000 claims description 31
- 230000009466 transformation Effects 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 8
- 238000011524 similarity measure Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 description 21
- 230000003287 optical effect Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 8
- 230000001360 synchronised effect Effects 0.000 description 7
- 238000005457 optimization Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 230000007257 malfunction Effects 0.000 description 4
- 230000008439 repair process Effects 0.000 description 4
- 239000003990 capacitor Substances 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 101000610620 Homo sapiens Putative serine protease 29 Proteins 0.000 description 2
- 101150045440 ISP1 gene Proteins 0.000 description 2
- 101100353471 Mus musculus Prss28 gene Proteins 0.000 description 2
- 102100040345 Putative serine protease 29 Human genes 0.000 description 2
- 101100509103 Schizosaccharomyces pombe (strain 972 / ATCC 24843) ish1 gene Proteins 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000005422 blasting Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 241000282320 Panthera leo Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000392 somatic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
Abstract
本申请实施例公开了一种深度图像的校正方法、终端设备以及计算机存储介质，该方法包括：获取目标对象对应的原始图像以及目标对象对应的主彩色图像和副彩色图像；其中，原始图像是根据飞行时间TOF传感器对目标对象的采集得到的，主彩色图像和副彩色图像是根据双摄像头对目标对象的采集得到的；根据主彩色图像和副彩色图像，利用预设双摄算法确定目标对象对应的第一深度信息和第一置信度；根据原始图像，确定目标对象对应的第二深度信息；基于第一深度信息、第二深度信息以及第一置信度，确定第一深度信息中的错误数据区域；通过第二深度信息以及主彩色图像对所述错误数据区域进行校正处理，得到目标深度信息，根据目标深度信息得到深度图像。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种深度图像的校正方法、终端设备以及计算机存储介质。
背景技术
随着智能终端的迅速发展，手机、掌上电脑、数码相机、摄像机等终端设备已经成为用户生活中必不可少的一种工具，并且为用户生活的各个方面带来了极大的便捷。现有的终端设备基本上都有拍照功能，用户可以使用终端设备拍摄各种各样的图像。
在拍摄具有虚化效果的图像时，通常需要终端设备配置双摄像头。通过双摄像头获取深度(depth)信息，虽然结构简单、硬件功耗低、分辨率高，但是仍然存在缺陷，比如对于无纹理、重复纹理、过曝光、欠曝光等场景的适应性较差，导致所获取深度信息的准确性偏低，从而影响了人像虚化的效果。
发明内容
本申请的主要目的在于提出一种深度图像的校正方法、终端设备以及计算机存储介质，能够修复双摄人像模式下深度信息在无纹理、重复纹理、过曝光、欠曝光等区域depth出错的现象，从而提升了双摄人像模式下depth的准确性，进而优化了人像虚化的准确性。
为达到上述目的，本申请的技术方案是这样实现的：
第一方面，本申请实施例提供了一种深度图像的校正方法，所述方法包括：
获取目标对象对应的原始图像以及所述目标对象对应的主彩色图像和副彩色图像；其中，所述原始图像是根据飞行时间TOF传感器对目标对象的采集得到的，所述主彩色图像和副彩色图像是根据双摄像头对目标对象的采集得到的；
根据所述主彩色图像和所述副彩色图像，利用预设双摄算法确定所述目标对象对应的第一深度信息和第一置信度；根据所述原始图像，确定所述目标对象对应的第二深度信息；
基于所述第一深度信息、所述第二深度信息以及所述第一置信度，确定所述第一深度信息中的错误数据区域；
通过所述第二深度信息以及所述主彩色图像对所述错误数据区域进行校正处理，得到目标深度信息，根据所述目标深度信息得到深度图像。
第二方面，本申请实施例提供了一种终端设备，所述终端设备包括：获取单元、确定单元和校正单元，其中，
所述获取单元，配置为获取目标对象对应的原始图像以及所述目标对象对应的主彩色图像和副彩色图像；其中，所述原始图像是根据TOF传感器对目标对象的采集得到的，所述主彩色图像和副彩色图像是根据双摄像头对目标对象的采集得到的；
所述确定单元，配置为根据所述主彩色图像和所述副彩色图像，利用预设双摄算法确定所述目标对象对应的第一深度信息和第一置信度；根据所述原始图像，确定所述目标对象对应的第二深度信息；以及还配置为基于所述第一深度信息、所述第二深度信息以及所述第一置信度，确定所述第一深度信息中的错误数据区域；
所述校正单元，配置为通过所述第二深度信息以及所述主彩色图像对所述错误数据区域进行校正处理，得到目标深度信息，根据所述目标深度信息得到深度图像。
第三方面，本申请实施例提供了一种终端设备，所述终端设备包括：存储器和处理器；其中，
所述存储器，用于存储能够在所述处理器上运行的计算机程序；
所述处理器，用于在运行所述计算机程序时，执行如第一方面所述的深度图像的校正方法。
第四方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质存储有深度图像的校正程序，所述深度图像的校正程序被至少一个处理器执行时实现如第一方面所述的深度图像的校正方法。
本申请实施例所提供的一种深度图像的校正方法、终端设备以及计算机存储介质，通过获取目标对象对应的原始图像以及所述目标对象对应的主彩色图像和副彩色图像；其中，所述原始图像是根据TOF传感器对目标对象的采集得到的，所述主彩色图像和副彩色图像是根据双摄像头对目标对象的采集得到的；然后根据所述主彩色图像和所述副彩色图像，利用预设双摄算法确定所述目标对象对应的第一深度信息和第一置信度；根据所述原始图像，确定所述目标对象对应的第二深度信息；再基于所述第一深度信息、所述第二深度信息以及所述第一置信度，确定所述第一深度信息中的错误数据区域；最后通过所述第二深度信息以及所述主彩色图像对所述错误数据区域进行校正处理，得到目标深度信息，根据所述目标深度信息得到深度图像；这样，通过第二深度信息对第一深度信息进行优化，能够修复双摄人像模式下深度信息在无纹理、重复纹理、过曝光、欠曝光等区域depth出错的现象，从而提升了双摄人像模式下depth的准确性；另外，该目标深度信息主要用于对主彩色图像的虚化处理，还可以优化人像虚化的准确性，提升了人像虚化的效果。
附图说明
图1为本申请实施例提供的一种TOF相机的***式结构示意图；
图2为本申请实施例提供的一种双摄虚化流程的结构示意图；
图3为本申请实施例提供的一种深度图像的校正方法的流程示意图；
图4为本申请实施例提供的一种终端设备的硬件结构示意图；
图5为本申请实施例提供的一种极线校正的效果对比示意图；
图6为本申请实施例提供的一种双摄视差计算的效果示意图；
图7为本申请实施例提供的一种计算深度信息的模型示意图；
图8为本申请实施例提供的一种深度图像的校正方法的详细流程示意图；
图9为本申请实施例提供的一种人像虚化的效果对比示意图；
图10为本申请实施例提供的一种终端设备的组成结构示意图；
图11为本申请实施例提供的另一种终端设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
近年来，由于飞行时间(Time of Flight，TOF)技术的飞速发展，人们对光学的研究越来越深入。TOF作为一种三维(Three Dimension，3D)成像技术被广泛应用到比如智能手机、掌上电脑、平板电脑、数字相机等终端设备中，可以实现距离测量、三维建模、拍照虚化以及体感游戏等应用中，还可以配合增强现实(Augmented Reality，AR)技术来实现AR眼镜的相关应用。
一般而言，TOF相机可以由光发射模块和光接收模块构成。其中，光发射模块也称为激光发射器、TOF发射器或发射照明模块等，光接收模块也称为探测器、TOF接收器或感光接收模块等。具体地，光发射模块发出经调制的近红外光，遇到被拍摄物体后反射，然后由光接收模块来计算光线发射和反射的时间差或相位差，再将其进行换算得到被拍摄物体的距离，从而产生深度信息。
参见图1，其示出了本申请实施例提供的一种TOF相机的***式结构示意图。如图1所示，TOF相机10包括光发射模块110和发光接收模块120；其中，光发射模块110是由柔光镜(diffuser)、光电二极管(Photo-Diode，PD)、垂直腔面发射激光器(Vertical CavitySurface Emitting Laser，VCSEL)和陶瓷封装体等组成；光接收模块120是由镜头、940nm窄带滤光片和TOF传感器(TOF Sensor)等组成。本领域技术人员可以理解，图1中示出的组成结构并不构成对TOF相机的限定，TOF相机可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
可以理解地，根据获取的信号结果不同，TOF可以分为直接飞行时间(Direct-TOF，D-TOF)和间接飞行时间(Indirect-TOF，I-TOF)。其中，D-TOF获取的是时间差，I-TOF获取的是不同目标返回信号的相位偏移(例如，不同相位内电荷或者电压的比重)，以此来计算被拍摄物体的距离，产生深度信息。
另外，根据调制方式不同，I-TOF又可以分为脉冲调制(Pulsed Modulation)方案和连续波调制(Continuous Wave Modulation)方案。目前大多数厂商的终端设备使用的主流方式是连续波调制的间接TOF方案(可以用CW-I-TOF表示)。对于CW-I-TOF方案而言，每个像素中包含有2个电容，光发射模块发射出4段方波脉冲，脉冲周期为△t；而光接收模块在接收该脉冲时存在相位延迟，每个窗口相位延迟90°，即四分之一的脉冲周期(用△t/4表示)，这样相位延迟分别为0°、180°、90°和270°，也称为四相位法。在曝光期间，每个像素的两个电容轮流充电，曝光时间均等，两个电容的曝光量之差分别记录为Q1、Q2、Q3和Q4；利用电荷差异与飞行相位的关系，可以计算出相位差通过该相位差再换算得到被拍摄物体的距离D；其中，
当被拍摄物体的距离所对应的角度超过2π时，则需要两个频率不同的相位来求解出真实的距离。假定获取的两个相位值分别用和表示，将扩展为将扩展为那么将会存在一个真实的距离以使得两者对应的距离差最小，从而可以确定出真实的距离。
TOF作为主动式深度传感器，已经广泛应用于手机等终端设备上，比如某厂商将其作为后置深度传感器的方案。但TOF传感器的分辨率低，并不能直接适应虚化、抠图等对前景边缘准确性要求很高的应用。因此，目前还是以双摄方案为主。
双摄方案可以包括主摄像头和副摄像头，主摄像头和副摄像头均可以为RGB摄像头，其中，RGB代表了红(Red，R)、绿(Green，G)、蓝(Blue，B)三个通道的颜色，这三个通道的颜色按照不同的比例混合或叠加，可以得到图像中人类视力所感知的所有颜色。双摄方案作为人像虚化应用已经成为终端设备的一个标配功能，双摄虚化流程如图2所示，通过双摄标定、极线校正、立体匹配和散景虚化等四个步骤，从而完成了双摄虚化的功能。然而，通过双摄方案获取深度信息虽然优点较多，比如结构简单、硬件功耗低、深度信息的分辨率高，而且还可以兼顾室内及室外的大部分场景；但是双摄方案对于无纹理、重复纹理、过曝光、欠曝光等场景的适应性较差，使得双摄方案在无纹理、重复纹理、、过曝光、欠曝光等区域所生成的深度信息可能存在错误，从而导致虚化出错。
本申请实施例提供了一种深度图像的校正方法，该方法应用于终端设备。通过获取目标对象对应的原始图像以及所述目标对象对应的主彩色图像和副彩色图像；其中，所述原始图像是根据TOF传感器对目标对象的采集得到的，所述主彩色图像和副彩色图像是根据双摄像头对目标对象的采集得到的；然后根据所述主彩色图像和所述副彩色图像，利用预设双摄算法确定所述目标对象对应的第一深度信息和第一置信度；根据所述原始图像，确定所述目标对象对应的第二深度信息；再基于所述第一深度信息、所述第二深度信息以及所述第一置信度，确定所述第一深度信息中的错误数据区域；最后通过所述第二深度信息以及所述主彩色图像对所述错误数据区域进行校正处理，得到目标深度信息，根据所述目标深度信息得到深度图像；这样，通过第二深度信息对第一深度信息进行优化，能够修复双摄人像模式下深度信息在无纹理、重复纹理、过曝光、欠曝光等区域depth出错的现象，从而提升了双摄人像模式下depth的准确性；另外，该目标深度信息主要用于对主彩色图像的虚化处理，还可以优化人像虚化的准确性，提升了人像虚化的效果。
下面将结合附图对本申请各实施例进行详细说明。
参见图3，其示出了本申请实施例提供的一种深度图像的校正方法的流程示意图。如图3所示，该方法可以包括：
S301：获取目标对象对应的原始图像以及所述目标对象对应的主彩色图像和副彩色图像；其中，所述原始图像是根据TOF传感器对目标对象的采集得到的，所述主彩色图像和副彩色图像是根据双摄像头对目标对象的采集得到的；
需要说明的是，该方法应用于终端设备，终端设备中包括有TOF传感器和双摄像头(主摄像头和副摄像头)等部件。这样，可以通过TOF传感器可以采集得到目标对象对应的原始图像，还可以通过双摄像头采集得到目标对象对应的主彩色图像和副彩色图像，便于后续进行深度信息的计算。
还需要说明的是，终端设备可以以各种形式来实施。例如，本申请中描述的终端设备可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal DigitalAssistant，PDA)、可穿戴设备、数码相机、摄像机等移动式终端，以及诸如数字TV、台式计算机等固定式终端；本申请实施例不作具体限定。
在一些实施例中，对于S301来说，所述获取目标对象对应的原始图像以及所述目标对象对应的主彩色图像和副彩色图像，可以包括：
S301a：通过TOF传感器对所述目标对象进行采集，获取所述目标对象对应的原始图像；
S301b：通过双摄像头对所述目标对象进行采集，获取所述目标对象在主摄像头下对应的主彩色图像以及所述目标对象在副摄像头下对应的副彩色图像；其中，所述双摄像头包括主摄像头和副摄像头。
需要说明的是，通过TOF传感器对目标对象的采集，可以得到目标对象对应的原始图像，比如一组RAW图；通过双摄像头对目标对象的采集，可以得到主摄像头下对应的主彩色图像，比如一张RGB主图；以及副摄像头下对应的副彩色图像，比如一张RGB副图。这样，根据双摄像头采集的主彩色图像和副彩色图像可以得到双摄模式对应的深度信息，本申请实施例用第一深度信息表示；根据TOF传感器采集的原始图像可以得到TOF模式对应的深度信息，本申请实施例用第二深度信息表示。
示例性地，参见图4，其示出了本申请实施例提供的一种终端设备的硬件结构示意图。如图4所示，终端设备可以包括有应用处理器(Application Processor，AP)、主摄像头、副摄像头、TOF传感器和激光(Laser)发射器；其中，AP侧包括有第一图像信号处理器(FirstImage Signal Processor，ISP1)、第二图像信号处理器(Second Image SignalProcessor，ISP2)和移动行业处理器接口(Mobile Industry Processor Interface，MIPI)；除此之外，AP侧还放置有预设算法，比如预设双摄算法、预设标定算法等等，本申请实施例不作具体限定。
结合图4所示的终端设备，双摄模式下，终端设备在对目标对象进行图像采集时，可以由AP侧通过两个ISP分别连接两路摄像头，以获取两路RGB数据，同时保证了双摄模式下的帧同步和3A同步；其中，3A同步包括自动对焦(Automatic Focus，AF)、自动曝光(Automatic Exposure，AE)以及自动白平衡(Automatic White Balance，AWB)的同步。在图4中，由主摄像头对目标对象进行采集，并将获取到的主彩色图像(一路RGB数据)送入ISP1；由副摄像头对目标对象进行采集，并将获取到的副彩色图像(另一路RGB数据)送入ISP2。另外，终端设备还可以通过驱动集成电路(Integrated Circuit，IC)来保证激光(Laser)与红外线(Infrared Radiation，IR)的曝光时序要求，并且要求IR曝光和主摄像头对应的RGB曝光同步；具体地，可以使用软件同步方式或硬件同步方式来实现。结合AP侧放置的预设算法，就可以计算得到目标对象对应的第一深度信息。而TOF模式下，终端设备可以通过TOF传感器采集得到一组RAW图，以获取到目标对象对应的第二深度信息。这样，后续可以根据第一深度信息和第二深度信息在主摄坐标系中的depth融合，能够纠正双摄模式下第一深度信息中的错误区域，从而达到提升depth准确性的目的。
S302：根据所述主彩色图像和所述副彩色图像，利用预设双摄算法确定所述目标对象对应的第一深度信息和第一置信度；根据所述原始图像，确定所述目标对象对应的第二深度信息；
需要说明的是，第一置信度用于表征第一深度信息的准确度，预设双摄算法用于表示预先设置的基于双摄像头立体匹配的算法或模型。具体地，根据主彩色图像和副彩色图像，通过预设双摄算法进行第一深度信息和第一置信度的计算，可以获取到双摄模式下的第一深度信息以及第一置信度；而根据原始图像进行深度信息的计算，可以获取到TOF模式下的第二深度信息；这样，后续可以根据TOF模式下的第二深度信息对双摄模式下的第一深度信息进行优化。
还需要说明的是，第一深度信息是根据主彩色图像和副彩色图像计算得到的，所得到的第一深度信息原本就是在主摄坐标系下的，因而不需要再对第一深度进行坐标系转换；而第二深度信息是根据原始图像计算得到的，所得到的第二深度信息则是在TOF坐标系下的，因而还需要对第二深度进行坐标系转换，以将其对齐到主摄坐标系中。
通常来说，主摄分辨率较大，其产生深度信息的分辨率也就偏高，以400万摄像头为例，其分辨率为2584×1938；而TOF分辨率较低，其产生深度信息的分辨率也就偏低，比如分辨率为320*240；也就是说，第一深度信息的分辨率高于第二深度信息的分辨率。这样，第二深度信息对齐到主摄坐标系中之后，第二深度信息对应的像素点是稀疏的，也就可以为后续提供一些稀疏的有效像素点。
S303：基于所述第一深度信息、所述第二深度信息以及所述第一置信度，确定所述第一深度信息中的错误数据区域；
需要说明的是，错误数据区域是指第一深度信息中存在depth错误的像素点所组成的区域，而且错误数据区域通常处于第一深度信息的低置信度区域中；其中，该低置信度区域是由第一置信度确定的。
由于双摄模式下，第一深度信息在无纹理、重复纹理等区域存在depth出错的情况；这时候为了提升双摄模式下depth的准确性，本申请实施例就需要确定出该错误数据区域，便于后续对该错误数据区域进行depth校准。这样，在第一深度信息和第二深度信息均对齐到主摄坐标系中之后，根据第一置信度，可以确定出第一深度信息中低置信度区域；然后在该低置信度区域中，通过第一深度信息和第二深度信息，可以计算出第一深度信息中的错误数据区域，便于后续针对该错误数据区域进行校准。
S304：通过所述第二深度信息以及所述主彩色图像对所述错误数据区域进行校正处理，得到目标深度信息，根据所述目标深度信息得到深度图像。
需要说明的是，在得到第一深度信息中的错误数据区域之后，可以通过第二深度信息可以对该错误数据区域中的像素点进行插值和修复处理，得到新的深度信息。其中，第一深度信息中的错误数据区域是由第二深度信息对其进行插值和修复处理得到的，而第一深度信息中的非错误数据区域则保留了原来的第一深度信息，这样对于第一深度信息来说，得到了新的深度信息；可见，该新的深度信息是由第一深度信息和第二深度信息进行融合得到的；为了减弱人工合成的痕迹，还可以通过主彩色图像对新的深度信息进行滤波处理，最终输出的深度信息为目标深度信息，根据该目标深度信息就得到所需的深度图像，从而解决了双摄模式下深度信息在无纹理、重复纹理、过曝光、欠曝光等区域depth出错的现象，提升了深度信息的准确性。
进一步地，在一些实施例中，在S304之后，该方法还可以包括：
根据所述深度图像对所述主彩色图像进行虚化处理，得到目标图像。
需要说明的是，根据所获取的深度图像对主彩色图像进行虚化处理，可以得到所需的目标图像；其中，目标图像可以是散景图像。另外，由于本申请实施例的算法复杂度较高，该深度图像的校正方法主要运用于双摄人像虚化的拍照模式中，并不能应用于预览模式。具体地，本申请实施例主要是针对虚化、抠图等应用，通过结合TOF的优势对双摄人像的深度信息进行优化。这样，由于该目标图像是根据所获取的深度图像对主彩色图像进行虚化处理得到的，使得该目标图像已经修复了双摄人像模式下深度信息在无纹理、重复纹理、过曝光、欠曝光等区域depth出错的现象，提升了双摄人像模式下depth的准确性，从而优化了人像虚化的准确性。
本实施例提供了一种深度图像的校正方法，该方法应用于终端设备。获取目标对象对应的原始图像以及所述目标对象对应的主彩色图像和副彩色图像；其中，所述原始图像是根据TOF传感器对目标对象的采集得到的，所述主彩色图像和副彩色图像是根据双摄像头对目标对象的采集得到的；然后根据所述主彩色图像和所述副彩色图像，利用预设双摄算法确定所述目标对象对应的第一深度信息和第一置信度；根据所述原始图像，确定所述目标对象对应的第二深度信息；再基于所述第一深度信息、所述第二深度信息以及所述第一置信度，确定所述第一深度信息中的错误数据区域；最后通过所述第二深度信息以及所述主彩色图像对所述错误数据区域进行校正处理，得到目标深度信息，根据所述目标深度信息得到深度图像；这样，由于第二深度信息是由TOF模式得到的，第一深度信息是由双摄模式得到的，通过第二深度信息对第一深度信息进行优化，能够修复双摄人像模式下深度信息在无纹理、重复纹理、过曝光、欠曝光等区域depth出错的现象，从而实现了TOF对双摄人像模式的优化，提升了双摄人像模式下depth的准确性；另外，该目标深度信息主要用于对主彩色图像的虚化处理，还可以优化人像虚化的准确性，提升了人像虚化的效果。
在本申请的另一实施例中，由于摄像头的透镜精度和工艺会引入畸变，以造成图像失真；而且双摄模式下，主摄像头和副摄像头的光轴并不平行；这时候在计算双摄模式下的第一深度信息之前，还需要对主彩色图像和副彩色图像进行畸变校正和极线校正处理。因此，在一些实施例中，对于S302来说，所述根据所述主彩色图像和所述副彩色图像，利用预设双摄算法确定所述目标对象对应的第一深度信息和第一置信度，可以包括：
S302a：对所述主彩色图像进行畸变校正处理，得到校正后的主彩色图像；
S302b：对所述副彩色图像进行畸变校正和极线校正处理，得到校正后的副彩色图像；
需要说明的是，主摄像头或副摄像头的成像过程实际上是将世界坐标系的坐标点转换到主摄坐标系的过程。由于摄像头的透镜精度和工艺会引入畸变(所谓畸变，具体是指在世界坐标系中的直线转换到其他坐标系将不再是直线)，从而导致图像失真，因此需要对主彩色图像和副彩色图像进行畸变校正。另外，为了实现主摄像头和副摄像头的光轴完全平行，使得目标对象的同一像素点在主彩色图像和副彩色图像中的高度一致，还需要对副彩色图像进行极线校正，比如可以采用Bouguet极线校正算法。具体地，由于在校正前的主摄像头和副摄像头之间的光轴(也称为基线)并不是平行的，而极线校正的目标是主摄像头和副摄像头之间的光轴完全平行；这样，经过畸变校正和极线校正之后，可以按照相同的视场角(Field of Vision，FOV)标准平行双目视觉的图像。
还需要注意的是，在获取到主彩色图像和副彩色图像之后，还可以根据预设比例对其进行缩放，获得低分辨率的彩色图像；然后根据双摄像头对应的标定参数对该低分辨率的彩色图像进行畸变校正和极线校正处理，以获取到校正后的主彩色图像和校正后的副彩色图像。其中，双摄像头对应的标定参数可以是根据预设标定算法进行计算获得的，比如张正友标定法；也可以是根据双摄像头的生产厂商或供应商直接提供而获得的。另外，预设比例是根据目标分辨率预先设置的比例值，在实际应用中，根据实际情况进行设定，本申请实施例不作具体限定。
由于设置于终端设备上的主摄像头与副摄像头之间的极线并不平行，使得目标对象中同一像素点在主彩色图像中的高度与该像素点在副彩色图像中的高度并不一致，而进行极线校正之后，目标对象同一像素点在主彩色图像中的高度和副彩色图像中的高度相一致。如此，当主彩色图像与副彩色图像进行立体匹配时，只需要在同一行上寻找相匹配的像素点。
示例性地，参见图5，其示出了本申请实施例提供的一种极线校正的效果对比示意图。在图5中，对主摄像头和副摄像头进行极线校正之前，两者的光轴并不平行，如(a)所示；这时候针对目标对象的像素1，在所得到的主彩色图像中的高度与副彩色图像的高度并不一致，如(b)所示；为了能够进行第一深度信息的计算，需要对主摄像头和副摄像头进行极线校正，这样经过极线校正之后，主摄像头和副摄像头的光轴是完全平行的，如(c)所示；这时候像素1在主彩色图像中所处的高度和像素1在副彩色图像中所处的高度是一致的，如(d)所示；这样，当主彩色图像与副彩色图像进行立体匹配时，只需要在同一行上寻找相匹配的像素点，从而大幅度提高了效率。
S302c：针对所述目标对象中的每个像素，基于校正后的主彩色图像和校正后的副彩色图像，利用预设双摄算法确定每个像素对应的第一深度信息和每个像素对应的第一置信度；其中，所述第一置信度用于表征所述第一深度信息的准确度。
需要说明的是，在获取到校正后的主彩色图像和校正后的副彩色图像之后，可以根据校正后的主彩色图像和校正后的副彩色图像来确定目标对象中每个像素对应的第一深度信息以及第一置信度；其中，第一深度信息和第一置信度是以像素为单位而言的。
进一步地，在一些实施例中，对于S302c来说，所述基于校正后的主彩色图像和校正后的副彩色图像，确定每个像素对应的第一深度信息，可以包括：
通过双摄匹配算法对校正后的主彩色图像和校正后的副彩色图像进行视差匹配计算，得到每个像素对应的视差值；
通过第一预设转换模型对所述视差值进行深度转换，得到每个像素对应的第一深度信息。
需要说明的是，双摄匹配算法是预先设置的用于视差计算的算法或模型，属于预设双摄算法中计算视差的经典算法；其中，双摄匹配算法可以是半全局匹配(Semi-GlobalMatching，SGM)算法、或者跨规模代价聚合(Cross-Scale Cost Aggregation，CSCA)算法等，本申请实施例不作具体限定。示例性地，参见图6，其示出了本申请实施例提供的一种双摄视差计算的效果示意图。在图6中，可以看到针对(a)和(b)的两幅图像进行视差匹配计算，最终得到如(c)所示的视差效果图。
另外，第一预设转换模型是预设设置的用于视差深度转换的模型，通常是指利用视差值以及预设成像参数计算深度信息的三角测距模型；其中，本申请实施例中的预设成像参数中可以包括基线距离和焦距。例如，第一预设转换模型可以是Z＝Baseline*focal/disparity，这里，Z表示深度信息，Baseline表示基线或者光轴的距离，focal表示焦距，disparity表示视差值；但是本申请实施例对第一预设转换模型也不作具体限定。
示例性地，参见图7，其示出了本申请实施例提供的一种计算深度信息的模型示意图。如图7所示，OR为主摄像头所在的位置，OT为副摄像头所在的位置，OR与OT之间的距离为基线距离，用b表示；P为目标对象所在的位置，P1为终端设备通过主摄像头采集目标对象P时所获得的像点，P1’为终端设备通过副摄像头采集目标对象P时所获得的像点，xR为目标对象的像点P1在主彩色图像中的坐标，xT为目标对象的像点P1’在副彩色图像中的坐标，f为主摄像头与副摄像头之间的焦距。此时，由相似三角形可知进而，可得到其中，d为视差值。因此，终端设备只需要知晓基线距离b、焦距f以及视差值d之后，就可以根据第一预设转换模型(比如)，计算出每个像素点对应的第一深度信息。
在获取到校正后的主彩色图像和校正后的副彩色图像之后，还可以进行第一置信度的确定。本申请实施例中，第一置信度可以根据校正后的主彩色图像和校正后的副彩色图像之间的匹配相似性代价计算得到，也可以根据主彩色图像和副彩色图像对应的纹理梯度差异计算得到，本申请实施例不作具体限定。
进一步地，在一些实施例中，对于S302c来说，所述基于校正后的主彩色图像和校正后的副彩色图像，确定每个像素对应的第一置信度，可以包括：
对校正后的主彩色图像和校正后的副彩色图像进行匹配相似性计算，得到每个像素对应的匹配相似性代价；
基于所述匹配相似性代价，确定每个像素对应的第一置信度。
需要说明的是，通过对校正后的主彩色图像和校正后的副彩色图像进行匹配相似性计算，可以得到目标对象中每个像素对应的匹配相似性代价；其中，匹配相似性代价的具体计算方式，实际应用中，可以根据实际情况进行设置，本申请实施例不作具体限定。
还需要说明的是，在得到匹配相似性代价之后，可以根据匹配相似性代价，进一步确定出每个像素对应的第一置信度。具体地，终端设备可以设定代价阈值，将每个像素得到的匹配相似性代价与代价阈值进行比较，以确定第一置信度；比如当该像素对应的匹配相似性代价大于代价阈值时，表明了校正后的主彩色图像和校正后的副彩色图像针对该像素而言仍然有较大概率的错误匹配，此时该像素对应的第一置信度偏低。另外，针对每个像素进行匹配相似性计算，可以得到最小的匹配相似性代价和次最小的匹配相似性代价；如果最小的匹配相似性代价与次最小的匹配相似性代价比较接近，那么也可以表明该像素对应的第一置信度偏低。
进一步地，在一些实施例中，对于S302c来说，所述基于校正后的主彩色图像和校正后的副彩色图像，确定每个像素对应的第一置信度，可以包括：
计算每个像素在校正后的主彩色图像下对应的第一纹理梯度；
基于所述第一纹理梯度，确定每个像素对应的第一置信度。
需要说明的是，第一置信度还可以和纹理丰富性有关。根据校正后的主彩色图像，可以计算出每个像素对应的第一纹理梯度；这样，根据第一纹理梯度，就可以确定出第一置信度。其中，具体纹理梯度的计算方式，实际应用中，可以根据实际情况进行设置，本申请实施例不作具体限定。
本实施例提供了一种深度图像的校正方法，该方法应用于终端设备。本实施例对前述实施例的具体实现进行了详细阐述，从中可以看出，通过本实施例的技术方案，能够修复双摄人像模式下深度信息在无纹理、重复纹理、过曝光、欠曝光等区域depth出错的现象，从而实现了TOF对双摄人像模式的优化，提升了双摄人像模式下depth的准确性；另外，该目标深度信息主要用于对主彩色图像的虚化处理，还可以优化人像虚化的准确性，提升了人像虚化的效果。
在本申请的又一实施例中，第一深度信息是根据主彩色图像和副彩色图像计算得到的，所得到的第一深度信息原本就是在主摄坐标系下的，因而不需要再对第一深度进行坐标系转换；而第二深度信息是根据原始图像计算得到的，所得到的第二深度信息则是在TOF坐标系下的，因而还需要对第二深度进行坐标系转换，以将其对齐到主摄坐标系中。因此，在一些实施例中，对于S302来说，所述根据所述原始图像，确定所述目标对象对应的第二深度信息，可以包括：
S302d：根据所述原始图像，得到所述目标对象中每个像素在TOF坐标系下的初始深度信息；
需要说明的是，通过TOF传感器对所述目标对象进行采集，获取所述目标对象对应的原始图像(比如一组RAW图)；这样，根据该原始图像进行深度信息的计算，可以得到目标对象中每个像素在TOF坐标系下的初始深度信息；其中，该初始深度信息的计算方式可以采用四相位法。
S302e：通过第二预设转换模型对所述初始深度信息进行坐标系转换，得到每个像素在主摄坐标系下的第二深度信息。
需要说明的是，第二预设转换模型是预设设置的用于坐标系转换的模型，比如将TOF坐标系下的坐标转换到主摄坐标系中。这样，根据第二预设转换模型可以将TOF坐标系下的初始深度信息转换为主摄坐标系下的第二深度信息，以实现像素对齐。
进一步地，在一些实施例中，在S302e之前，该方法还可以包括：
根据预设标定算法对TOF传感器和双摄像头之间进行标定，获得标定参数；
相应地，所述通过第二预设转换模型对所述初始深度信息进行坐标系转换，得到每个像素在主摄坐标系下的第二深度信息，可以包括：
基于所述标定参数以及第二预设转换模型，将所述初始深度信息转换到主摄坐标系中，得到每个像素在主摄坐标系下的第二深度信息。
需要说明的是，在进行像素对齐之前，还需要先对TOF传感器和双摄像头进行双摄标定。其中，该标定参数可以是根据预设标定算法进行计算获得的，比如张正友标定法；也可以是根据双摄像头的生产厂商或供应商直接提供而获得的，本申请实施例不作具体限定。
这样，在得到标定参数之后，可以根据该标定参数以及第二预设转换模型，将初始深度信息转换到主摄坐标系中，得到了每个像素在主摄坐标系下的第二深度信息，从而实现了第一深度信息和第二深度信息的像素对齐，有利于后续对第一深度信息和第二深度信息的融合，以实现对第一深度信息中错误数据区域的校正。需要注意的是，通常主摄分辨率更大，其产生深度信息的分辨率一般会大于TOF产生深度信息的分辨率；如此，初始深度信息对齐到主摄坐标系之后，所得到的第二深度信息中像素是稀疏的，有利于为后续的深度信息融合提供一些稀疏的有效像素点。
本实施例提供了一种深度图像的校正方法，该方法应用于终端设备。本实施例对前述实施例的具体实现进行了详细阐述，从中可以看出，通过本实施例的技术方案，能够修复双摄人像模式下深度信息在无纹理、重复纹理、过曝光、欠曝光等区域depth出错的现象，从而实现了TOF对双摄人像模式的优化，提升了双摄人像模式下depth的准确性；另外，该目标深度信息主要用于对主彩色图像的虚化处理，还可以优化人像虚化的准确性，提升了人像虚化的效果。
在本申请的再一实施例中，对于第一深度信息中的错误数据区域，该错误数据区域通常位于第一深度信息的低置信度区域中，而且可以通过对第一深度信息和第二深度信息之间的差值判断来具体确定。因此，在一些实施例中，对于S303来说，所述基于所述第一深度信息、所述第二深度信息以及所述第一置信度，确定所述第一深度信息中的错误数据区域，可以包括：
S303a：根据所述第一置信度，确定所述第一深度信息中的低置信度区域；
需要说明的是，第一深度信息中的低置信度区域可以是由第一置信度确定的，而第一置信度与匹配相似性代价、纹理丰富性有关。也就是说，可以根据第一深度信息中的像素与第二深度信息中像素的匹配相似性代价来确定第一深度信息中的低置信度区域，也可以根据第一深度信息中像素的纹理梯度与第二深度信息中像素的纹理梯度来确定第一深度信息中的低置信度区域。
另外，假定第一置信度阈值是用于衡量第一置信度是否属于低置信度的判定值；这样，还可以根据预先获取的第一置信度阈值进行判断。具体地，将第一置信度与第一置信度阈值进行比较；当第一置信度小于第一置信度阈值时，表明了该第一置信度所对应的像素归属于低置信度区域中，以此可以得到第一深度信息中的低置信度区域。
S303b：针对所述低置信度区域中的每个待判断像素，计算每个待判断像素对应的第一深度信息与该待判断像素的有效邻域内对应的第二深度信息之间的差值；
需要说明的是，第二深度信息中的有效邻域是指与该待判断像素最邻近的区域，而且该有效邻域的大小有所限制，比如可以是5*5或者7*7；但是有效邻域的大小，实际应用中，可以根据实际情况进行设置，本申请实施例不作具体限定。
这样，在该有效邻域中存在有与第二深度信息相关联的有效像素点，从而可以将待判断像素对应的第一深度信息与该有效像素点对应的第二深度信息进行差值计算，得到两者之间的差值；便于后续根据该差值的大小进一步确定待判断像素是否为错误点。
S303c：将所述差值与预设差值阈值进行比较；
需要说明的是，预设差值阈值是预先设定的用于衡量待判断像素是否为错误点的判定值。这样，在步骤S303c之后，根据差值与预设差值阈值的比较结果，当差值大于预设差值阈值时，执行步骤S303d；当差值不大于预设差值阈值时，执行步骤S303e。
S303d：当所述差值大于预设差值阈值时，将该待判断像素标记为错误点，根据标记的错误点，得到所述第一深度信息中的错误数据区域；
S303e：当所述差值不大于预设差值阈值时，保留该待判断像素对应的第一深度信息，得到所述第一深度信息中的保留数据区域。
需要说明的是，由于双摄模式下，第一深度信息在无纹理、重复纹理等区域存在depth出错的情况；这时候为了提升双摄模式下depth的准确性，本申请实施例需要确定出该错误数据区域，以将第一深度信息进行错误数据区域和原始数据区域的区分。具体地，在第一深度信息和第二深度信息均对齐到主摄坐标系中之后，根据第一置信度，可以确定出第一深度信息中低置信度区域；然后在该低置信度区域中，通过待判断像素对应的第一深度信息与该待判断像素的有效邻域内对应的第二深度信息，可以计算出两者的差值；将差值与预设差值阈值进行比较；当差值大于预设差值阈值时，可以将该待判断像素标记为错误点，根据标记的错误点，得到了第一深度信息中的错误数据区域；当差值不大于预设差值阈值时，表明了该待判断像素对应的第一深度信息是正确的，这时候需要保留该待判断像素对应的第一深度信息，得到所述第一深度信息中的保留数据区域，也就是第一深度信息中的原始数据区域，从而将第一深度信息划分为错误数据区域和原始数据区域。
进一步地，在一些实施例中，该方法还可以包括：
S303f：若所述待判断像素的有效邻域内不存在所述第二深度信息相关联的有效像素点，则不执行所述将所述差值与预设差值阈值进行比较的步骤。
需要说明的是，由于TOF产生的初始深度信息对齐到主摄坐标系之后，所得到的第二深度信息中像素是稀疏的；这样，对于第二深度信息，在待判断像素的有效邻域内可能会不存在与第二深度信息相关联的有效像素点。也就是说，当待判断像素的有效邻域内不存在第二深度信息对应的有效像素点时，这时候将不能执行差值与预设差值阈值进行比较的步骤，可以保留该待判断像素对应的第一深度信息。
进一步地，在一些实施例中，对于S304来说，所述通过所述第二深度信息以及所述主彩色图像对所述错误数据区域进行校正处理，得到目标深度信息，可以包括：
S304a：针对所述错误数据区域中的每个错误点，通过每个错误点对应的第二深度信息对所述错误数据区域进行加权插值计算，并利用计算得到的深度信息替换所述第一深度信息中的错误数据区域，得到新的深度信息；
S304b：根据所述主彩色图像对所述新的深度信息进行滤波处理，得到所述目标深度信息。
需要说明的是，错误数据区域中所述包含的错误点，可以利用有效邻域内有效像素点对应的第二深度信息，同时还可以结合颜色相似性以及空间距离的权重，对错误数据区域进行加权插值计算，此时可以获得计算得到的深度信息；再利用计算得到的深度信息替换掉第一深度信息中的错误数据区域，可以得到新的深度信息；可见，该新的深度信息是由第一深度信息和第二深度信息进行融合得到的；为了减弱人工合成的痕迹，还可以以主彩色图像作为引导，对新的深度信息进行滤波，从而减弱了人工合成的痕迹，根据所输出的目标深度信息可以得到深度图像，也就实现了对该错误数据区域的校正处理。
还需要说明的是，滤波处理方式包括引导滤波(Guide Filter)、DT滤波(DomainTransform Filter)、权重中值滤波(Weight Medium Filter)等方式；实际应用中，可以根据实际情况进行设置，本申请实施例不作具体限定。
示例性地，参见图8，其示出了本申请实施例提供的一种深度图像的校正方法的详细流程示意图。如图8所示，终端设备通过TOF传感器采集到原始图像，可以由一组RAW图组成；终端设备通过主摄像头采集到主彩色图像，以及终端设备通过副摄像头采集到副彩色图像；然后对主彩色图像进行畸变校正处理，对副彩色图像进行畸变校正和极线校正处理，可以分别得到校正后的主彩色图像和校正后的副彩色图像；再利用双摄匹配算法对校正后的主彩色图像和校正后的副彩色图像进行匹配处理，可以得到第一深度信息和第一置信度；然后对原始图像进行深度信息计算，可以得到初始深度信息；由于初始深度信息是在TOF坐标系下，还需要将其转换到主摄坐标系下，从而得到第二深度信息，实现了第二深度信息和第一深度信息的像素对齐；根据第一置信度，确定出第一深度信息中的低置信度区域，然后在低置信度区域计算第一深度信息和第二深度信息之间的差值；再判断差值是否大于预设差值阈值，即对差值的安全性进行判断；当差值大于预设差值阈值时，表明了差值是不安全的，此时将该待判断像素标记为错误点，得到第一深度信息中的错误数据区域，然后利用第二深度信息对错误数据区域进行校正处理(比如修复、填充及插值处理等)；当差值不大于预设差值阈值时，表明了差值是安全的，此时可以保留该待判断像素对应的第一深度信息；最后将两者进行融合，输出最终的深度图像。
在获取到深度图像之后，还可以根据该深度图像对主彩色图像进行虚化处理，能够提高人像虚化的准确性。参见图9，其示出了本申请实施例提供的一种人像虚化效果的对比示意图。如图9所示，(a)和(b)均为背景为重复纹理区域，其中，(a)提供了双摄模式下的人像虚化效果，(b)提供了双摄模式+TOF模式下的人像虚化效果；由此可以看出，双摄模式+TOF模式下的人像虚化效果更好。
本实施例提供了一种深度图像的校正方法，该方法应用于终端设备。本实施例对前述实施例的具体实现进行了详细阐述，从中可以看出，通过本实施例的技术方案，能够修复双摄人像模式下深度信息在无纹理、重复纹理、过曝光、欠曝光等区域depth出错的现象，从而实现了TOF对双摄人像模式的优化，提升了双摄人像模式下depth的准确性；另外，该目标深度信息主要用于对主彩色图像的虚化处理，还可以优化人像虚化的准确性，提升了人像虚化的效果。
在本申请的再一实施例中，由于TOF模式在室外的效果较差，导致第二深度信息存在有大量的空洞，不适应于执行本申请实施例的深度图像的校正方法。因此，在一些实施例中，在所述根据所述原始图像，确定所述目标对象对应的第二深度信息之后，所述方法还包括：
根据所述原始图像，确定所述目标对象对应的第二置信度；其中，所述第二置信度用于表征所述第二深度信息的准确度；
基于所述第二置信度，确定所述第二深度信息中的空洞个数；
若所述空洞个数大于预设空洞阈值，则不执行所述的深度图像的校正方法。
需要说明的是，由于TOF模式在室外的效果较差，这时候可以增加一个空洞的个数或者空洞率的判断。如果TOF模式下的第二深度信息存在有大量的空洞或者低置信度区域，这时候可以不执行本申请实施例所述的深度图像的校正方法(具体是指第一深度信息与第二深度信息的融合)，仍然采用正常的双摄模式获取深度图像。具体地，假定预设空洞阈值是用于衡量空洞数量是否过多的一个判定值，那么可以根据第二置信度，确定出第二深度信息中的空洞个数；如果空洞个数大于预设空洞阈值，表明了空洞数量过多，此时可以不执行本申请实施例的深度图像的校正方法，仅采用正常的双摄模式来获取深度图像。
另外，终端设备中TOF传感器所生成深度信息的分辨率较低，主要是用于校正相对大一些区域的depth错误；而对于镂空、深度层次非常丰富的场景，这没有太好的校正效果。因此，本申请实施例的深度图像的校正方法主要应用于双摄人像模式下的使用。
本实施例提供了一种深度图像的校正方法，该方法应用于终端设备。本实施例对前述实施例的具体实现进行了详细阐述，从中可以看出，通过本实施例的技术方案，能够修复双摄人像模式下深度信息在无纹理、重复纹理、过曝光、欠曝光等区域depth出错的现象，从而实现了TOF对双摄人像模式的优化，提升了双摄人像模式下depth的准确性；另外，该目标深度信息主要用于对主彩色图像的虚化处理，还可以优化人像虚化的准确性，提升了人像虚化的效果。
基于前述实施例相同的发明构思，参见图10，其示出了本申请实施例提供的另一种终端设备100的组成结构示意图。如图10所示，终端设备100可以包括：获取单元1001、确定单元1002和校正单元1003，其中，
所述获取单元1001，配置为获取目标对象对应的原始图像以及所述目标对象对应的主彩色图像和副彩色图像；其中，所述原始图像是根据TOF传感器对目标对象的采集得到的，所述主彩色图像和副彩色图像是根据双摄像头对目标对象的采集得到的；
所述确定单元1002，配置为根据所述主彩色图像和所述副彩色图像，利用预设双摄算法确定所述目标对象对应的第一深度信息和第一置信度；根据所述原始图像，确定所述目标对象对应的第二深度信息；以及还配置为基于所述第一深度信息、所述第二深度信息以及所述第一置信度，确定所述第一深度信息中的错误数据区域；
所述校正单元1003，配置为通过所述第二深度信息以及所述主彩色图像对所述错误数据区域进行校正处理，得到目标深度信息，根据所述目标深度信息得到深度图像。
在上述方案中，参见图10，所述终端设备100还可以包括虚化单元1004，配置为根据所述深度图像对所述主彩色图像进行虚化处理，得到目标图像。
在上述方案中，参见图10，所述终端设备100还可以包括采集单元1005，配置为通过TOF传感器对所述目标对象进行采集，获取所述目标对象对应的原始图像；以及还配置为通过双摄像头对所述目标对象进行采集，获取所述目标对象在主摄像头下对应的主彩色图像以及所述目标对象在副摄像头下对应的副彩色图像；其中，所述双摄像头包括主摄像头和副摄像头。
在上述方案中，所述校正单元1003，还配置为对所述主彩色图像进行畸变校正处理，得到校正后的主彩色图像；以及对所述副彩色图像进行畸变校正和极线校正处理，得到校正后的副彩色图像；
所述确定单元1002，具体配置为针对所述目标对象中的每个像素，基于校正后的主彩色图像和校正后的副彩色图像，利用预设双摄算法确定每个像素对应的第一深度信息和每个像素对应的第一置信度；其中，所述第一置信度用于表征所述第一深度信息的准确度。
在上述方案中，参见图10，所述终端设备100还可以包括计算单元1006和转换单元1007，其中，
所述计算单元1006，配置为通过双摄匹配算法对校正后的主彩色图像和校正后的副彩色图像进行视差匹配计算，得到每个像素对应的视差值；
所述转换单元1007，配置为通过第一预设转换模型对所述视差值进行深度转换，得到每个像素对应的第一深度信息。
在上述方案中，所述计算单元1006，还配置为对校正后的主彩色图像和校正后的副彩色图像进行匹配相似性计算，得到每个像素对应的匹配相似性代价；
所述确定单元1002，还配置为基于所述匹配相似性代价，确定每个像素对应的第一置信度。
在上述方案中，所述计算单元1006，还配置为计算每个像素在校正后的主彩色图像下对应的第一纹理梯度；
所述确定单元1002，还配置为基于所述第一纹理梯度，确定每个像素对应的第一置信度。
在上述方案中，所述转换单元1007，还配置为根据所述原始图像，得到所述目标对象中每个像素在TOF坐标系下的初始深度信息；以及通过第二预设转换模型对所述初始深度信息进行坐标系转换，得到每个像素在主摄坐标系下的第二深度信息。
在上述方案中，所述计算单元1006，还配置为根据预设标定算法对TOF传感器和双摄像头之间进行标定，获得标定参数；
所述转换单元1007，具体配置为基于所述标定参数以及第二预设转换模型，将所述初始深度信息转换到主摄坐标系中，得到每个像素在主摄坐标系下的第二深度信息。
在上述方案中，参见图10，所述终端设备100还可以包括判断单元1008，其中，
所述确定单元1002，还配置为根据所述第一置信度，确定所述第一深度信息中的低置信度区域；
所述计算单元1006，还配置为针对所述低置信度区域中的每个待判断像素，计算每个待判断像素对应的第一深度信息与该待判断像素的有效邻域内对应的第二深度信息之间的差值；
所述判断单元1008，配置为将所述差值与预设差值阈值进行比较；以及当所述差值大于预设差值阈值时，将该待判断像素标记为错误点，根据标记的错误点，得到所述第一深度信息中的错误数据区域。
在上述方案中，所述判断单元1008，还配置为当所述差值不大于预设差值阈值时，保留该待判断像素对应的第一深度信息，得到所述第一深度信息中的保留数据区域。
在上述方案中，所述判断单元1008，还配置为若所述待判断像素的有效邻域内不存在所述第二深度信息相关联的有效像素点，则不执行所述将所述差值与预设差值阈值进行比较的步骤。
在上述方案中，所述校正单元1003，具体配置为针对所述错误数据区域中的每个错误点，通过每个错误点对应的第二深度信息对所述错误数据区域进行加权插值计算，并利用计算得到的深度信息替换所述第一深度信息中的错误数据区域，得到新的深度信息；以及根据所述主彩色图像对所述新的深度信息进行滤波处理，得到所述目标深度信息。
在上述方案中，所述确定单元1002，还配置为根据所述原始图像，确定所述目标对象对应的第二置信度；其中，所述第二置信度用于表征所述第二深度信息的准确度；以及基于所述第二置信度，确定所述第二深度信息中的空洞个数；
所述判断单元1008，还配置为若所述空洞个数大于预设空洞阈值，则不执行所述的深度图像的校正方法。
可以理解地，在本实施例中，“单元”可以是部分电路、部分处理器、部分程序或软件等等，当然也可以是模块，还可以是非模块化的。而且在本实施例中的各组成部分可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
因此，本实施例提供了一种计算机存储介质，该计算机存储介质存储有深度图像的校正程序，所述深度图像的校正程序被至少一个处理器执行时实现前述实施例中任一项所述的方法。
基于上述终端设备100的组成结构以及计算机存储介质，参见图11，其示出了本申请实施例提供的终端设备100的具体硬件结构，可以包括：通信接口1101、存储器1102和处理器1103；各个组件通过总线***1104耦合在一起。可理解，总线***1104用于实现这些组件之间的连接通信。总线***1104除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图11中将各种总线都标为总线***1104。其中，通信接口1101，用于在与其他外部设备之间进行收发信息过程中，信号的接收和发送；
存储器1102，用于存储能够在处理器1103上运行的计算机程序；
处理器1103，用于在运行所述计算机程序时，执行：
获取目标对象对应的原始图像以及所述目标对象对应的主彩色图像和副彩色图像；其中，所述原始图像是根据TOF传感器对目标对象的采集得到的，所述主彩色图像和副彩色图像是根据双摄像头对目标对象的采集得到的；
根据所述主彩色图像和所述副彩色图像，利用预设双摄算法确定所述目标对象对应的第一深度信息和第一置信度；根据所述原始图像，确定所述目标对象对应的第二深度信息；
基于所述第一深度信息、所述第二深度信息以及所述第一置信度，确定所述第一深度信息中的错误数据区域；
通过所述第二深度信息以及所述主彩色图像对所述错误数据区域进行校正处理，得到目标深度信息，根据所述目标深度信息得到深度图像。
可以理解，本申请实施例中的存储器1102可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本文描述的***和方法的存储器1102旨在包括但不限于这些和任意其它适合类型的存储器。
而处理器1103可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1103中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1103可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1102，处理器1103读取存储器1102中的信息，结合其硬件完成上述的方法。
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ApplicationSpecific Integrated Circuits，ASIC)、数字信号处理器(Digital Signal Processing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(Programmable LogicDevice，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
可选地，作为另一个实施例，处理器1103还配置为在运行所述计算机程序时，执行前述实施例中任一项所述的方法。
可选地，作为另一个实施例，终端设备100可以包括应用处理器、主摄像头、副摄像头、红外线发射器和激光发射器；其中，应用处理器可以配置为在运行所述计算机程序时，执行前述实施例中任一项所述的方法。
需要说明的是，在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (17)
1.一种深度图像的校正方法，其特征在于，所述方法包括：
获取目标对象对应的原始图像以及所述目标对象对应的主彩色图像和副彩色图像；其中，所述原始图像是根据飞行时间TOF传感器对目标对象的采集得到的，所述主彩色图像和副彩色图像是根据双摄像头对目标对象的采集得到的；
根据所述主彩色图像和所述副彩色图像，利用预设双摄算法确定所述目标对象对应的第一深度信息和第一置信度；根据所述原始图像，确定所述目标对象对应的第二深度信息；
基于所述第一深度信息、所述第二深度信息以及所述第一置信度，确定所述第一深度信息中的错误数据区域；
通过所述第二深度信息以及所述主彩色图像对所述错误数据区域进行校正处理，得到目标深度信息，根据所述目标深度信息得到深度图像。
2.根据权利要求1所述的方法，其特征在于，在所述根据所述目标深度信息得到深度图像之后，所述方法还包括：
根据所述深度图像对所述主彩色图像进行虚化处理，得到目标图像。
3.根据权利要求1所述的方法，其特征在于，所述获取目标对象对应的原始图像以及所述目标对象对应的主彩色图像和副彩色图像，包括：
通过TOF传感器对所述目标对象进行采集，获取所述目标对象对应的原始图像；
通过双摄像头对所述目标对象进行采集，获取所述目标对象在主摄像头下对应的主彩色图像以及所述目标对象在副摄像头下对应的副彩色图像；其中，所述双摄像头包括主摄像头和副摄像头。
4.根据权利要求1所述的方法，其特征在于，所述根据所述主彩色图像和所述副彩色图像，利用预设双摄算法确定所述目标对象对应的第一深度信息和第一置信度，包括：
对所述主彩色图像进行畸变校正处理，得到校正后的主彩色图像；
对所述副彩色图像进行畸变校正和极线校正处理，得到校正后的副彩色图像；
针对所述目标对象中的每个像素，基于校正后的主彩色图像和校正后的副彩色图像，利用预设双摄算法确定每个像素对应的第一深度信息和每个像素对应的第一置信度；其中，所述第一置信度用于表征所述第一深度信息的准确度。
5.根据权利要求4所述的方法，其特征在于，所述基于校正后的主彩色图像和校正后的副彩色图像，确定每个像素对应的第一深度信息，包括：
通过双摄匹配算法对校正后的主彩色图像和校正后的副彩色图像进行视差匹配计算，得到每个像素对应的视差值；
通过第一预设转换模型对所述视差值进行深度转换，得到每个像素对应的第一深度信息。
6.根据权利要求4所述的方法，其特征在于，所述基于校正后的主彩色图像和校正后的副彩色图像，确定每个像素对应的第一置信度，包括：
对校正后的主彩色图像和校正后的副彩色图像进行匹配相似性计算，得到每个像素对应的匹配相似性代价；
基于所述匹配相似性代价，确定每个像素对应的第一置信度。
7.根据权利要求4所述的方法，其特征在于，所述基于校正后的主彩色图像和校正后的副彩色图像，确定每个像素对应的第一置信度，包括：
计算每个像素在校正后的主彩色图像下对应的第一纹理梯度；
基于所述第一纹理梯度，确定每个像素对应的第一置信度。
8.根据权利要求1所述的方法，其特征在于，所述根据所述原始图像，确定所述目标对象对应的第二深度信息，包括：
根据所述原始图像，得到所述目标对象中每个像素在TOF坐标系下的初始深度信息；
通过第二预设转换模型对所述初始深度信息进行坐标系转换，得到每个像素在主摄坐标系下的第二深度信息。
9.根据权利要求8所述的方法，其特征在于，在所述通过第二预设转换模型对所述初始深度信息进行坐标系转换，得到每个像素在主摄坐标系下的第二深度信息之前，所述方法还包括：
根据预设标定算法对TOF传感器和双摄像头之间进行标定，获得标定参数；
相应地，所述通过第二预设转换模型对所述初始深度信息进行坐标系转换，得到每个像素在主摄坐标系下的第二深度信息，包括：
基于所述标定参数以及第二预设转换模型，将所述初始深度信息转换到主摄坐标系中，得到每个像素在主摄坐标系下的第二深度信息。
10.根据权利要求1所述的方法，其特征在于，所述基于所述第一深度信息、所述第二深度信息以及所述第一置信度，确定所述第一深度信息中的错误数据区域，包括：
根据所述第一置信度，确定所述第一深度信息中的低置信度区域；
针对所述低置信度区域中的每个待判断像素，计算每个待判断像素对应的第一深度信息与该待判断像素的有效邻域内对应的第二深度信息之间的差值；
将所述差值与预设差值阈值进行比较；
当所述差值大于预设差值阈值时，将该待判断像素标记为错误点，根据标记的错误点，得到所述第一深度信息中的错误数据区域。
11.根据权利要求10所述的方法，其特征在于，在所述将所述差值与预设差值阈值进行比较之后，所述方法还包括：
当所述差值不大于预设差值阈值时，保留该待判断像素对应的第一深度信息，得到所述第一深度信息中的保留数据区域。
12.根据权利要求10所述的方法，其特征在于，所述方法还包括：
若所述待判断像素的有效邻域内不存在所述第二深度信息相关联的有效像素点，则不执行所述将所述差值与预设差值阈值进行比较的步骤。
13.根据权利要求1所述的方法，其特征在于，所述通过所述第二深度信息以及所述主彩色图像对所述错误数据区域进行校正处理，得到目标深度信息，包括：
针对所述错误数据区域中的每个错误点，通过每个错误点对应的第二深度信息对所述错误数据区域进行加权插值计算，并利用计算得到的深度信息替换所述第一深度信息中的错误数据区域，得到新的深度信息；
根据所述主彩色图像对所述新的深度信息进行滤波处理，得到所述目标深度信息。
14.根据权利要求1至13任一项所述的方法，其特征在于，在所述根据所述原始图像，确定所述目标对象对应的第二深度信息之后，所述方法还包括：
根据所述原始图像，确定所述目标对象对应的第二置信度；其中，所述第二置信度用于表征所述第二深度信息的准确度；
基于所述第二置信度，确定所述第二深度信息中的空洞个数；
若所述空洞个数大于预设空洞阈值，则不执行所述的深度图像的校正方法。
15.一种终端设备，其特征在于，所述终端设备包括：获取单元、确定单元和校正单元，其中，
所述获取单元，配置为获取目标对象对应的原始图像以及所述目标对象对应的主彩色图像和副彩色图像；其中，所述原始图像是根据TOF传感器对目标对象的采集得到的，所述主彩色图像和副彩色图像是根据双摄像头对目标对象的采集得到的；
所述确定单元，配置为根据所述主彩色图像和所述副彩色图像，利用预设双摄算法确定所述目标对象对应的第一深度信息和第一置信度；根据所述原始图像，确定所述目标对象对应的第二深度信息；以及还配置为基于所述第一深度信息、所述第二深度信息以及所述第一置信度，确定所述第一深度信息中的错误数据区域；
所述校正单元，配置为通过所述第二深度信息以及所述主彩色图像对所述错误数据区域进行校正处理，得到目标深度信息，根据所述目标深度信息得到深度图像。
16.一种终端设备，其特征在于，所述终端设备包括：存储器和处理器；其中，
所述存储器，用于存储能够在所述处理器上运行的计算机程序；
所述处理器，用于在运行所述计算机程序时，执行如权利要求1至14任一项所述的方法。
17.一种计算机存储介质，其特征在于，所述计算机存储介质存储有深度图像的校正程序，所述深度图像的校正程序被至少一个处理器执行时实现如权利要求1至14任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910550733.5A CN110335211B (zh) | 2019-06-24 | 2019-06-24 | 深度图像的校正方法、终端设备以及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910550733.5A CN110335211B (zh) | 2019-06-24 | 2019-06-24 | 深度图像的校正方法、终端设备以及计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110335211A true CN110335211A (zh) | 2019-10-15 |
| CN110335211B CN110335211B (zh) | 2021-07-30 |
Family
ID=68142681
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910550733.5A Active CN110335211B (zh) | 2019-06-24 | 2019-06-24 | 深度图像的校正方法、终端设备以及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110335211B (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110874852A (zh) * | 2019-11-06 | 2020-03-10 | Oppo广东移动通信有限公司 | 深度图像的确定方法、图像处理器及存储介质 |
| CN111239729A (zh) * | 2020-01-17 | 2020-06-05 | 西安交通大学 | 融合散斑和泛光投射的ToF深度传感器及其测距方法 |
| CN111325691A (zh) * | 2020-02-20 | 2020-06-23 | Oppo广东移动通信有限公司 | 图像校正方法、装置、电子设备和计算机可读存储介质 |
| CN111457886A (zh) * | 2020-04-01 | 2020-07-28 | 北京迈格威科技有限公司 | 距离确定方法、装置及*** |
| CN111539899A (zh) * | 2020-05-29 | 2020-08-14 | 深圳市商汤科技有限公司 | 图像修复方法及相关产品 |
| CN111861962A (zh) * | 2020-07-28 | 2020-10-30 | 湖北亿咖通科技有限公司 | 一种数据融合方法及电子设备 |
| CN112085775A (zh) * | 2020-09-17 | 2020-12-15 | 北京字节跳动网络技术有限公司 | 图像处理的方法、装置、终端和存储介质 |
| WO2021087812A1 (zh) * | 2019-11-06 | 2021-05-14 | Oppo广东移动通信有限公司 | 图像的深度值的确定方法、图像处理器以及模组 |
| CN112866674A (zh) * | 2019-11-12 | 2021-05-28 | Oppo广东移动通信有限公司 | 深度图获取方法、装置、电子设备和计算机可读存储介质 |
| CN112911091A (zh) * | 2021-03-23 | 2021-06-04 | 维沃移动通信（杭州）有限公司 | 多点激光器的参数调整方法、装置和电子设备 |
| WO2021114061A1 (en) * | 2019-12-09 | 2021-06-17 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Electric device and method of controlling an electric device |
| CN113301320A (zh) * | 2021-04-07 | 2021-08-24 | 维沃移动通信（杭州）有限公司 | 图像信息处理方法、装置和电子设备 |
| CN114391259A (zh) * | 2019-11-06 | 2022-04-22 | Oppo广东移动通信有限公司 | 信息处理方法、终端设备及存储介质 |
| CN115994937A (zh) * | 2023-03-22 | 2023-04-21 | 科大讯飞股份有限公司 | 深度估计方法、装置及机器人 |
| CN116990830A (zh) * | 2023-09-27 | 2023-11-03 | 锐驰激光(深圳)有限公司 | 基于双目和tof的距离定位方法、装置、电子设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102609941A (zh) * | 2012-01-31 | 2012-07-25 | 北京航空航天大学 | 基于ToF深度相机的三维注册方法 |
| CN106993112A (zh) * | 2017-03-09 | 2017-07-28 | 广东欧珀移动通信有限公司 | 基于景深的背景虚化方法及装置和电子装置 |
| CN109300151A (zh) * | 2018-07-02 | 2019-02-01 | 浙江商汤科技开发有限公司 | 图像处理方法和装置、电子设备 |
| CN109615652A (zh) * | 2018-10-23 | 2019-04-12 | 西安交通大学 | 一种深度信息获取方法及装置 |
| CN109640066A (zh) * | 2018-12-12 | 2019-04-16 | 深圳先进技术研究院 | 高精度稠密深度图像的生成方法和装置 |
-
2019
- 2019-06-24 CN CN201910550733.5A patent/CN110335211B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102609941A (zh) * | 2012-01-31 | 2012-07-25 | 北京航空航天大学 | 基于ToF深度相机的三维注册方法 |
| CN106993112A (zh) * | 2017-03-09 | 2017-07-28 | 广东欧珀移动通信有限公司 | 基于景深的背景虚化方法及装置和电子装置 |
| CN109300151A (zh) * | 2018-07-02 | 2019-02-01 | 浙江商汤科技开发有限公司 | 图像处理方法和装置、电子设备 |
| CN109615652A (zh) * | 2018-10-23 | 2019-04-12 | 西安交通大学 | 一种深度信息获取方法及装置 |
| CN109640066A (zh) * | 2018-12-12 | 2019-04-16 | 深圳先进技术研究院 | 高精度稠密深度图像的生成方法和装置 |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114391259A (zh) * | 2019-11-06 | 2022-04-22 | Oppo广东移动通信有限公司 | 信息处理方法、终端设备及存储介质 |
| CN110874852A (zh) * | 2019-11-06 | 2020-03-10 | Oppo广东移动通信有限公司 | 深度图像的确定方法、图像处理器及存储介质 |
| CN114391259B (zh) * | 2019-11-06 | 2024-05-31 | Oppo广东移动通信有限公司 | 信息处理方法、终端设备及存储介质 |
| WO2021087812A1 (zh) * | 2019-11-06 | 2021-05-14 | Oppo广东移动通信有限公司 | 图像的深度值的确定方法、图像处理器以及模组 |
| CN112866674A (zh) * | 2019-11-12 | 2021-05-28 | Oppo广东移动通信有限公司 | 深度图获取方法、装置、电子设备和计算机可读存储介质 |
| WO2021114061A1 (en) * | 2019-12-09 | 2021-06-17 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Electric device and method of controlling an electric device |
| CN114514735A (zh) * | 2019-12-09 | 2022-05-17 | Oppo广东移动通信有限公司 | 电子设备和控制电子设备的方法 |
| CN114514735B (zh) * | 2019-12-09 | 2023-10-03 | Oppo广东移动通信有限公司 | 电子设备和控制电子设备的方法 |
| CN111239729A (zh) * | 2020-01-17 | 2020-06-05 | 西安交通大学 | 融合散斑和泛光投射的ToF深度传感器及其测距方法 |
| CN111325691B (zh) * | 2020-02-20 | 2023-11-10 | Oppo广东移动通信有限公司 | 图像校正方法、装置、电子设备和计算机可读存储介质 |
| CN111325691A (zh) * | 2020-02-20 | 2020-06-23 | Oppo广东移动通信有限公司 | 图像校正方法、装置、电子设备和计算机可读存储介质 |
| CN111457886B (zh) * | 2020-04-01 | 2022-06-21 | 北京迈格威科技有限公司 | 距离确定方法、装置及*** |
| CN111457886A (zh) * | 2020-04-01 | 2020-07-28 | 北京迈格威科技有限公司 | 距离确定方法、装置及*** |
| CN111539899A (zh) * | 2020-05-29 | 2020-08-14 | 深圳市商汤科技有限公司 | 图像修复方法及相关产品 |
| CN111861962A (zh) * | 2020-07-28 | 2020-10-30 | 湖北亿咖通科技有限公司 | 一种数据融合方法及电子设备 |
| CN112085775B (zh) * | 2020-09-17 | 2024-05-24 | 北京字节跳动网络技术有限公司 | 图像处理的方法、装置、终端和存储介质 |
| CN112085775A (zh) * | 2020-09-17 | 2020-12-15 | 北京字节跳动网络技术有限公司 | 图像处理的方法、装置、终端和存储介质 |
| CN112911091B (zh) * | 2021-03-23 | 2023-02-24 | 维沃移动通信（杭州）有限公司 | 多点激光器的参数调整方法、装置和电子设备 |
| CN112911091A (zh) * | 2021-03-23 | 2021-06-04 | 维沃移动通信（杭州）有限公司 | 多点激光器的参数调整方法、装置和电子设备 |
| CN113301320A (zh) * | 2021-04-07 | 2021-08-24 | 维沃移动通信（杭州）有限公司 | 图像信息处理方法、装置和电子设备 |
| CN115994937A (zh) * | 2023-03-22 | 2023-04-21 | 科大讯飞股份有限公司 | 深度估计方法、装置及机器人 |
| CN116990830A (zh) * | 2023-09-27 | 2023-11-03 | 锐驰激光(深圳)有限公司 | 基于双目和tof的距离定位方法、装置、电子设备及介质 |
| CN116990830B (zh) * | 2023-09-27 | 2023-12-29 | 锐驰激光(深圳)有限公司 | 基于双目和tof的距离定位方法、装置、电子设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110335211B (zh) | 2021-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110335211A (zh) | 深度图像的校正方法、终端设备以及计算机存储介质 | |
| CN107948519B (zh) | 图像处理方法、装置及设备 | |
| JP6946188B2 (ja) | 複数技術奥行きマップ取得および融合のための方法および装置 | |
| CN108257183B (zh) | 一种相机镜头光轴校准方法和装置 | |
| US10425638B2 (en) | Equipment and method for promptly performing calibration and verification of intrinsic and extrinsic parameters of a plurality of image capturing elements installed on electronic device | |
| CN108028887B (zh) | 一种终端的拍照对焦方法、装置及设备 | |
| US6915073B2 (en) | Stereo camera and automatic convergence adjusting device | |
| CN109118581B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN112150528A (zh) | 一种深度图像获取方法及终端、计算机可读存储介质 | |
| CN114998499B (zh) | 一种基于线激光振镜扫描的双目三维重建方法及*** | |
| CN108307675A (zh) | 用于vr/ar应用中的深度增强的多基线相机阵列***架构 | |
| WO2020038255A1 (en) | Image processing method, electronic apparatus, and computer-readable storage medium | |
| CN114830030A (zh) | 捕获并生成全景三维图像的***和方法 | |
| KR20060063558A (ko) | 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법 | |
| CN102368137B (zh) | 嵌入式标定立体视觉*** | |
| CN110335307A (zh) | 标定方法、装置、计算机存储介质和终端设备 | |
| CN106611430A (zh) | 一种rgb-d图像生成方法、装置及摄像机 | |
| CN113160298A (zh) | 一种深度真值获取方法、装置、***及深度相机 | |
| CN114359406A (zh) | 自动对焦双目摄像头的标定、3d视觉及深度点云计算方法 | |
| CN111385461A (zh) | 全景拍摄方法及装置、相机、移动终端 | |
| CN108322726A (zh) | 一种基于双摄像头的自动对焦方法 | |
| CN107564051A (zh) | 一种深度信息采集方法及*** | |
| TWI625051B (zh) | 深度感測裝置 | |
| JP2019179463A (ja) | 画像処理装置、その制御方法、プログラム、記録媒体 | |
| Montgomery et al. | Stereoscopic camera design |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |