CN107743638B - 用于实时运动伪影处理和去噪的方法和*** - Google Patents
用于实时运动伪影处理和去噪的方法和*** Download PDFInfo
- Publication number
- CN107743638B CN107743638B CN201680019856.0A CN201680019856A CN107743638B CN 107743638 B CN107743638 B CN 107743638B CN 201680019856 A CN201680019856 A CN 201680019856A CN 107743638 B CN107743638 B CN 107743638B
- Authority
- CN
- China
- Prior art keywords
- image
- guide image
- cross
- pixel
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 230000033001 locomotion Effects 0.000 title claims abstract description 69
- 238000012545 processing Methods 0.000 title claims abstract description 38
- 238000005314 correlation function Methods 0.000 claims abstract description 18
- 230000005540 biological transmission Effects 0.000 claims abstract description 10
- 238000001914 filtration Methods 0.000 claims description 13
- 230000010363 phase shift Effects 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 3
- 230000008901 benefit Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 9
- 238000012937 correction Methods 0.000 description 5
- 230000010354 integration Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000004321 preservation Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000764238 Isis Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012732 spatial analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
- G01S7/4866—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak by fitting a model or function to the received signal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
- G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
- G01S7/493—Extracting wanted echo signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种用于对渡越时间(ToF)传感器图像进行实时运动伪影处理和去噪的方法和***,所述ToF传感器图像对应于在发送经调制的发送信号(s(t))之后由ToF传感器接收到的接收信号(r(t))。所述方法包括:根据所述发送信号(s(t))和所述接收信号(r(t))来计算互相关函数C(T)在多个时间上间隔的位置或相位处的值,从而得到多个相应的互相关值[C(T0),C(T1),C(T2),C(T3)];根据所述多个互相关值[C(T0),C(T1),C(T2),C(T3)]得到深度图D,所述深度图D具有代表针对每个像素的到所述发送信号(s(t))所入射到的物体的一部分的距离的值;根据所述多个互相关值[c(T0),c(Ti),c(T2),c(T‑i)]得到引导图像(I;I’),所述引导图像(I;I’)为具有良好限定的边缘的图像;基于所述深度图D和所述引导图像(I;I’)来生成输出图像D’。
Description
技术领域
本发明涉及图像处理,并且更具体地涉及用于对渡越时间(ToF)传感器图像进行实时运动伪影处理和去噪的方法和***。
背景技术
存在需要借助于ToF传感器(例如,相机)进行准确距离计算的一系列领域和应用。由相机采集到的那些场景可以是静态的或动态的,并且在后一种情况下,在运动物体边界处出现的运动伪影可能损坏图像。
涉及准确深度测量的典型应用为人机交互(其中,寻求用于手势识别的快速手分割)和汽车相关的应用(其中,执行占用分类、头部姿势估计和/或环境感知)。其它应用对于技术人员而言将是显而易见的。
基于解调锁定像素的ToF相机通过所发出的调制近红外(NIR)信号与所接收到的调制近红外(NIR)信号之间的相移来估计深度,其中需要四个顺序的相移图像,即“四次敲击”技术。
常规的ToF工作原理假设场景在该时间间隔期间为静止的。然而在实际情况下,涉及与动态场景中的物体边界一起出现的不可靠的深度测量,尤其是在快速运动时。
提出了若干方案来解决TOF相机的运动伪影负面影响。它们主要被分类为两个主要种类:(1)基于像素的校正以及(2)基于流程计算的校正。
在Hussmann,S.、Hermanski,A.、和Edeler,T.(2010)的“Real-time motionsuppression in TOF range images”(IEEE Instrumentation&Measurement TechnologyConference Proceedings,pp.697–701,2010)中,作者介绍了一种补偿传送带上的物体线性运动的方法。在深度计算之前对线性移动进行测量并且在四个相移图像上对线性移动进行补偿。然而,其方案被限制为在相机视场的范围内的线性运动。
Schmidt,M.的“Analysis Modeling and Dynamic Optimization of 3D Time-of-Flight Imaging Systems”(PhD Thesis,Natural Sciences and for Mathematics ofthe Ruperto-Carola University of Heidelberg,Germany,2011)提出了一种通过分析突发模式中所需的N倍的四个相移图像的集合的时间关系(N为集合的大小)来检测和校正每个像素的运动。该方法受到ToF相机硬件规范的约束,其必须提供N倍的四个相移图像的集合。
最近以来,Lee,S.的“Time-of-Flight Depth Camera Motion Blur Detectionand Deblurring”(Signal Processing Letters,IEEE,21(6),663–666,2014)已经提出了新的基于像素的校正。作者开发了允许对被损坏的相移图像对的校正的若干量度。然而,该方法仅适用于积分时间被分为两个阶段(即同时记录相移图像对)的那些ToF相机。
在Hoegg,T.、Lefloch,D.、和Kolb的“A.Real-Time Motion ArtifactCompensation for PMD-ToF Images”(Lecture Notes in Computer Science,pp.273–288,2013)中,作者使用由四个相移图像生成的估计流场来补偿每个像素的线性运动。类似地,在Lindner,M.和Kolb,A.的“Compensation of Motion Artifacts for Time-of-Flight Cameras”(Lecture Notes in Computer Science,Vol.5742,pp.16–27,2009)中,光流还在连续的相移图像之间进行计算以便在深度计算之前补偿运动。因此,该方法需要三个光流计算,而这使得该方法对于实时应用是不切实际的。
在Lefloch,D.、Hoegg,T.,、Kolb,A.的“Real-time motion artifactscompensation of ToF sensors data on GPU”(Proceedings of SPIE Vol.8738,2013)中,作者通过用多项式近似法代替第三光流降低了前述方法的复杂度。然而,实时性能仍然存在问题。
技术问题
关于已知方法的问题在于解决由于场景中运动的物体而产生的运动伪影,具体而言如何实现对由于运动伪影或饱和而产生的被损坏的深度像素的鲁棒检测。
另外的问题在于如何实现实时性能,从而能够进行进一步处理,例如手势识别或头部姿势估计。
关于已知方法的另外的问题在于如何在保持边缘时实现去噪。
另外的问题在于如何选择引导图像以重新构建运动物体的边界。
关于已知方法的另外的问题在于如何实现从引导图像中去噪和去纹理。
因此,需要用于解决与ToF相机的工作原理相关的运动伪影的有效实时方案。
本发明的目的在于提供解决前述问题中的至少一些并提供用于对ToF传感器图像进行实时运动伪影处理和去噪的改进的技术的***和方法。
发明内容
根据本发明的一方面,提供了一种用于对渡越时间(ToF)传感器图像进行实时运动伪影处理和去噪的方法,ToF传感器图像对应于在发送经调制的发送信号(s(t))之后由ToF传感器接收到的接收信号(r(t)),所述方法包括:根据发送信号(s(t))和接收信号(r(t))来计算互相关函数c(τ)在多个时间上间隔的位置或相位处的值,从而得到多个相应的互相关值[c(τ0),c(τ1),c(τ2),c(τ3)];根据多个互相关值[c(τ0),c(τ1),c(τ2),c(τ3)]得到深度图D,深度图D具有代表针对每个像素的到发送信号(s(t))所入射到的物体的一部分的距离的值;根据多个互相关值[c(τ0),c(τ1),c(τ2),c(τ3)]得到引导图像(I;I’);以及基于深度图D和引导图像(I;I’)来生成输出图像D’。优选地,引导图像(I;I’)是具有良好限定的边缘的图像。优选地,输出图像D’包括深度图D的边缘保持和平滑的形式,边缘保持来自于引导图像(I;I’)。
所述方法可以包括连续获得多个相移图像,每个相移图像对应于相应的时间上间隔的位置或相位。所述相移图像可以包括振幅图像。
每个互相关值[c(τ0),c(τ1),c(τ2),c(τ3)]可以对应于多个相移图像中的一个,并且引导图像(I;I’)由相移图像生成。
得到引导图像的步骤包括:基于一个或多个预定标准,从多个先前获得的相移图像中选择相移图像作为所述引导图像。所述预定标准可以包括:(ⅰ)相移图像具有通过运动伪影而退化的物体的最大振幅,(ⅱ)相移图像具有最大物体边缘锐度值,(ⅲ)相移图像具有最佳边缘对比度和/或图像SNR,(ⅳ)相移图像具有最大平均空间振幅或(ⅴ)未损坏的相移图像被选择为引导图像。
所述方法可以包括使用引导滤波器(GF)来将有效深度测量应用于先前标识的由于运动伪影而产生的损坏深度像素。
生成输出图像D’的步骤可以包括如下确定输出图像D’:
在一个实施例中,生成输出图像D’包括:对引导图像I进行滤波以生成去噪引导图像I’;以及基于深度图D和去噪引导图像I’来生成输出图像D’。对引导图像I进行滤波以生成去噪引导图像I’的步骤可以包括使用引导滤波器来执行所述滤波。
生成输出图像D’的步骤可以进一步包括:基于多个互相关值[c(τ0),c(τ1),c(τ2),c(τ3)]来生成似真图P,所述似真图P包括针对深度图D的每个像素的指示像素是否被运动或饱和状态损坏的值;以及基于深度图D和似真图P并且基于引导图像I或去噪引导图像I’来生成输出图像D’。生成似真图P的步骤可以包括针对每个像素确定量度pi,量度pi代表与互相关函数的正弦模型的相移振幅的偏差。量度pi可以包括:
pi=|c(τ1)-c(τ0)-c(τ2)+c(τ3)|/(a+α)
其中,α为在振幅a为低时防止pi的高值的正则化参数。似真图P可以具有值pi,对于每个像素i如下:
其中,δ为运动阈值,高于该阈值则检测到像素i处的运动。可以通过空场景或无运动场景中的ToF传感器进行采集来确定运动阈值δ。
在一个实施例中,对引导图像I进行滤波以得到去噪引导图像I’包括:将边缘保持去噪滤波器应用于引导图像I,借此引导图像I的边缘信息和降噪被转移到输出图像D’。
在一个实施例中,对引导图像I进行滤波包括使用以下等式来得到去噪引导图像I’:
其中
σk 2为wk中I的方差,
|w|为wk中像素的数量,
ε为不利于大ak的正则化参数,并且
在一个实施例中,生成输出图像D’包括根据以下等式生成输出图像D’:
其中
|w|为以像素i为中心的窗wi中像素的恒定数量,
输出图像D’可以包括深度图D的形式,替代地或另外地,运动伪影和/或噪音已经被抑制或从中去除。
互相关函数c(τ)可以如下计算:
其中,s(t)为由s(t)=1+cos(ωt)给出的发送信号,
ω=2πfm为角度调制频率,
fm为调制频率,并且
h为背景光加上发送信号的未调制的部分
互相关值[c(τ0),c(τ1),c(τ2),c(τ3)]可以由c(τ)确定,其中,四个样本(τk),k=0,..,3取自于调制周期T内的四个连续的时间间隔 在一个实施例中,针对深度图D的每个像素的距离测量d如下获得:
所述方法可以进一步包括得到由A=[aij]m×n限定的振幅图像A,其中aij如下限定:
其中,c(τ0),c(τ1),c(τ2),c(τ3)为互相关值。
在一个实施例中,四个互相关值[c(τ0),c(τ1),c(τ2),c(τ3)]通过互相关函数c(τ)来计算。
根据本发明的另一方面,提供了一种可编程图像处理***,其在适当地编程时用于执行上述方法,所述***包括用于接收或存储所述接收信号(r(t))和发送信号(s(t))的电路,以及用于执行所述方法的处理电路。
根据本发明的另一方面,提供了一种用于对渡越时间(ToF)传感器图像进行实时运动伪影处理和去噪的***,ToF传感器图像对应于在发送经调制的发送信号(s(t))之后由ToF传感器接收到的接收信号(r(t)),所述***包括:用于接收或存储所述接收信号(r(t))和发送信号(s(t))的电路;以及处理电路,其耦合到用于接收或存储所述接收信号(r(t))和发送信号(s(t))的所述电路,所述处理电路能够操作用于:根据发送信号(s(t))和接收信号(r(t))来计算多个时间上间隔的位置或相位处的互相关函数c(τ)的值,从而得到多个相应的互相关值[c(τ0),c(τ1),c(τ2),c(τ3)];根据多个互相关值[c(τ0),c(τ1),c(τ2),c(τ3)]得到深度图D,深度图D具有代表针对每个像素的到发送信号(s(t))所入射到的物体的一部分的距离的值;根据多个互相关值[c(τ0),c(τ1),c(τ2),c(τ3)]得到引导图像(I;I’),引导图像(I;I’)是具有良好限定的边缘的图像;以及基于深度图D和引导图像(I;I’)来生成输出图像D’,输出图像D’包括深度图D的边缘保持和平滑的形式,边缘保持来自于引导图像(I;I’)。
根据本发明的另一方面,提供了一种能够记录、能够写入或能够存储的介质,在其上记录或存储有限定指令或能够转换成指令的数据,所述指令用于通过处理电路执行并且至少对应于上述方法所述的步骤。
根据本发明的另一方面,提供了一种服务器计算机,其包含通信设备和存储器设备并且适用于按要求传输或者以其它方式传输限定指令或能够转换成指令的数据,所述指令用于通过处理电路执行并且至少对应于上述方法所述的步骤。
在以上方面和实施例中的每个中,发出/发送信号和接收信号可以包括经调制的近场红外(NIR)信号。
在某些实施例中,提供了用于标识出所产生的深度图中的那些突出(例如不可靠)的像素的鲁棒方法。继而,使用引导滤波器(GF)和由先前获得的顺序相移图像生成的准确引导图像,它们的值被最接近的可靠值代替。
如实施例中所使用的,GF呈现与替代的边缘保持滤波器(例如广泛使用的双边滤波器(BF))相比更好性能的近边缘,而主要优点为快速且非近似线性时间算法。
本发明令人满意地解决了运动影响,即使是在极端的条件下。
相比于上述现有技术运动伪影补偿方法,本文中所公开的技术仅需要未损坏的相移图像(被认为是引导图像),而不考虑ToF相机架构和计算距离的方式。另外,在没有GPU上的并行计算的情况下实现了实时性能。
至少在实施例中,本发明的优点在于解决了来自深度图的实时运动伪影。根据考虑例如图像SNR和边缘对比度的标准,从所选择的4个相移振幅的其中之一中提取物体形状。该相移振幅被用作用于边缘保持去噪滤波器的引导图像,以便重新构建通过运动伪影而退化的物体深度。在现有技术中,
a.对每个像素执行运动校正,而不考虑深度图的空间关系,并且通常在深度被校正时创建了如噪音之类的其它伪影,或者
b.使用四个相移振幅之间的像素相关性方法由空间分析来进行运动校正,但不与实时应用兼容(基于密集光流的方法)。
至少在实施例中,另外的优点在于对深度图的边缘保持空间去噪。引导图像借助于专用边缘保持去噪滤波器来进行滤波。引导图像的降噪被转移到处于运动伪影抑制阶段中的深度图。在现有技术中,空间去噪被直接应用于深度图。深度图的空间去噪理想地需要在由边缘保持滤波器进行去噪之前从深度图中清除伪影(运动伪影、渡越的像素伪影),以避免空间伪影传播的风险。在所提出的方法中,通过从所选择的经处理的相移振幅图像转移降噪来对深度图进行去噪。相移振幅不会经受如深度图所经受的一样的伪影,并且因此,物体边缘通常更好限定(无渡越像素)。
至少在实施例中,另外的优点在于对引导图像的选择以重新构建深度图中的运动物体的边界。引导图像被限定为4个相移振幅中的一个。根据4个相移振幅图像,使用质量标准或标准的组合、最少考虑边缘对比度和图像SNR来选择最佳引导图像。
至少在实施例中,另外的优点在于引导图像去噪和去纹理的过程。该图像需要专用的处理
a.去除可能转移到经校正的深度图的不期望的伪影,以及
b.在保持物体边界的同时降噪。
至少在实施例中,另外的优点在于通过运动或饱和状态来检测损坏的像素。量度用于测量深度图的每个像素被运动伪影或饱和状态损坏的似真度。
至少在实施例中,另外的优点在于本发明实现了增加积分时间(即采集4个相移图像的时间段),以便增加深度准确性。这进而可能引起可由所述方法处理的运动伪影。
至少在实施例中,另外的优点在于本发明还应用于基于时间滤波而增加深度准确性的方法,即结合若干深度图以便增加深度准确性的方法。经结合的深度图之间未匹配的深度像素(由于运动物体)导致了运动伪影,所述运动伪影也可以通过使用本发明的实施例来解决。
附图说明
现在将参考附图通过示例的方式描述本发明的优选实施例,在附图中:
图1(现有技术)示出了根据ToF相机的已知工作原理的(a)物体照度和图像采集的示意图,(b)针对发送信号(s(t))和接收信号(r(t))的经调制的信号强度的曲线图,以及(c)对通过发送信号(s(t))和接收信号(r(t))计算出的互相关c(τ)函数的四个时刻进行采样;
图2示意性地示出了根据本发明的实施例的如图1所示地获得的处理信号的架构;
图3示出了(a)原始引导图像I,以及(b)使用图2的***得到的经处理的(去噪的)引导图像I’;以及
图4示出了(a)输入深度图D,以及(b)使用图2的***得到的经处理的(产生的)深度图D’。
具体实施方式
如本文中所使用的,“图像”或“图像信号”可以是模拟的或数字的,并且可以经受常规的模拟或数字滤波。
本文中对涉及“图像”的步骤、操作或操控等进行参考,这些在适当的情况下借助于对这种“图像”的电可处理表示(例如,视频帧信号的所采集到的静止照片、比特流视频数据、MPEG文件或视频流、PC视频或任何其它可采集的或可视数据格式)的操作来实施。
本文中对涉及“图像”“图像信号”或“图像数据”的步骤、操作或操控等进行参考,这些在适当的情况下借助于软件受控处理器操作、硬件电路或任何适合的这些的组合来实施。
虽然本发明适当地体现在计算机***中,但其也可以被包含在以下设备中:适配器、图像处理器、或位于图像源或图像采集设备与显示设备(例如,LCD、等离子体、投影仪等)之间的或包含图像源或图像采集设备和显示设备的任何其它配件、或显示器本身。计算机***适当地包括处理器,所述处理器耦合(例如,在适当的情况下经由DAV和ADC或其它接口)到RAM、ROM、储存设备、图像采集和/或图像储存设备、显示驱动器和显示设备、数据通信以及其它***设备,如本领域技术人员所公知的;因此,这些将不会进一步示出或讨论。
在下文中,简要地讨论了ToF工作原理,以有助于理解本发明。
渡越时间原理
图1(a)(现有技术)示出了根据ToF相机的已知工作原理的物体照度和图像采集的示意图。
ToF相机包括调制元件,调制元件生成传送或发送信号s(t),传送或发送信号s(t)由光发射器发出以作为经调制的NIR照明信号。NIR照明信号入射到所感测的场景内的物体上,而由物体反射的反射光信号在传感器(例如,2D CCD阵列)处作为接收信号r(t)被接收。
同样在ToF相机内,相位延迟元件接收发送信号s(t)并对其施加相位延迟,从而输出相位延迟信号s(t+τ),其中τ为相位延迟。传感器内或耦合到传感器的处理电路(未示出)继而基于相位延迟信号s(t+τ)和接收信号r(t)来计算互相关函数c(τ),如以下更详细讨论的。
如图1(a)中所示,基于解调锁定像素的ToF相机通过所发送的调制近红外(NIR)信号(s(t))与所接收到的调制近红外(NIR)信号(r(t))之间的相位差来提供距离测量。通过同步解调传感器/检测器内的接收信号(r(t))来获取输入的调制接收信号(r(t))的幅度和相位。
图1(b)(现有技术)示出了根据ToF相机的已知工作原理的针对发送信号(s(t))和接收信号(r(t))的经调制的信号强度的曲线图。进行幅度a和相位φ的接收(调制)信号r(t)与发出的调制信号s(t)之间的互相关。接收信号(r(t))的相位φ可以通过在选择性选取的时间位置或相位处测量互相关函数c(τ)来确定。信号s(t)和r(t)被假定为正弦的,并且可以如下表示:
s(t)=1+cos(ωt)
其中,ω=2πfm为角度调制频率,fm为调制频率,并且h为背景光加上所入射信号的未调制的部分;波长及其关系如图1(b)中所示。
互相关函数c(τ)如下进行计算:
通常需要每个调制周期T的c(τ)的三个或更多个样本以便明确地确定所入射信号的相位φ和振幅a、以及其偏移h。在本文中所公开的实施例中,使用了所谓的四次敲击技术,其中,四个样本(τk),k=0,..,3取自于调制周期T内的间隔图1(c)(现有技术)示出了对通过发送信号(s(t))和接收信号(r(t))计算出的互相关c(τ)函数的四个时刻进行采样。
如此,
在本文中所公开的实施例中,选取了四个样本而非三个,以(ⅰ)针对噪音提高鲁棒性,(ⅱ)实现传感器的高度对称的设计,(ⅲ)确保相位对检测中的二次非线性,并且(ⅳ)简化相位φ、振幅a和偏移h的公式。
基于经调制的NIR光的ToF相机的工作原理解析了四个相移图像的距离计算。理想地,将同时获得四个相移图像,但实际上获得四个相依图像是按顺序完成。这进而可能导致由于运动而产生的在非匹配的原始相位值得那些区域中(即,沿着物体边界和在不均匀反射表面内)的错误距离计算,物体运动得越快、物体越靠近ToF相机、以及场景暴露得越多(积分时间越高),则错误距离计算越突出。因此,针对静态场景或具有缓慢运动的物体的场景可以设置更大的积分时间,这可以增加深度准确率,然而尽管增大了噪音,针对具有快速运动的物体的高度动态场景可以设置短积分时间以便避免运动伪影。
图1(a)中的物体的距离测量d如下获得:
因数1/2是因为光经过相机与感测的物体之间的距离两次的事实。
如将由本领域技术人员意识到的,ToF相机包含图像传感器,其尺寸对应于相机分辨率(m x n)。因此,构成图像传感器的每单个像素由像素位置(i,j)标识,其中i指示行并且j指示列。每个像素测量到物体(或其相应的离散部分)的距离dij。因此,ToF相机提供了被限定为D=[dij]m×n距离图像或深度图D,所有元素的矩阵dij。
以相同的方式,振幅图像A被限定为A=[aij]m×n。
图2示意性地示出了根据本发明的实施例的如图1中所示地获得的用于处理信号的架构或***。处理可以涉及信号生成、数学处理以及如以上针对图1所述的信号和参数表示,除了在下文中另行描述的以外。
简要地来说,根据相关函数c(τ)的值[c(τ0),c(τ1),c(τ2),c(τ3)],由深度图模型得到深度图D,深度图D对于其每个像素包括到所入射发送信号的物体的距离。同样基于相关函数c(τ)的值[c(τ0),c(τ1),c(τ2),c(τ3)],引导图像I由引导图像模块生成,并且在优选实施例中,去噪引导图像I’在引导图像去噪模块处由引导图像I生成。(然而在优选实施例中,可以使用引导图像I)。最终,基于深度图D和引导图像I或更优选的去噪输出图像I’,由运动伪影处理模块生成并输出了输出图像(经处理的深度图)D’。在进一步优选的实施例中,似真图生成模块生成了似真图P;并且基于(ⅰ)深度图D、(ⅱ)似真图P以及(ⅲ)引导图像I或更优选的去噪输出图像I’,由运动伪影处理模块生成并输出了输出图像(经处理的深度图)D’。
图2中的各个模块的处理将在下文中进一步详细讨论。
引导滤波器
在该章节中,简要地讨论了引导滤波器(GF)(本发明所采用的实施例):这用于(1)在去噪模块中将引导图像去噪,以及(2)对先前标识的由于运动伪影而产生的损坏深度像素设置有效深度测量值。
在优选实施例中,相比于广泛使用的双边滤波器,GF为新的边缘保持平滑滤波器,呈现了具有快速且非近似线性时间算法(O(N)时间)的主要优点的更好性能的近边缘,而不考虑内核尺寸和强度范围。
给出了深度图D和引导图像I,由I和平滑形式的D产生的边缘保持(即D’)如下表示:
其中
对窗大小wk的选择可以根据应用来完成:对于图像细节增强其可以是小的以便增强薄的细节,并且对于结构转移滤波是大的。平滑等级由参数ε给出。
似真图
距离计算所采集的四个相移图像的每个像素为互相关函数c(τ)在发送正弦调制信号s(t)与接收正弦调制信号r(t)之间的样本[c(τ0),c(τ1),c(τ2),c(τ3)],如图1中所示。因此,如果运动出现在该采集时间段期间,则互相关函数c(τ)的时间依赖性将使其假定正弦本质无效。确实,每个样本将位于不同的正弦曲线上,从而消除样本之间的关系。
根据实施例,受运动影响的像素i由以下量度标识
pi=|c(τ1)-c(τ0)-c(τ2)+c(τ3)|/(a+α)
其中,α为在振幅a为低时防止pi的高值的正则化参数。
在该实施例中,如果其似真度大于阈值δ,则检测到像素i处的运动:
其中,δ为运动阈值。可以通过由ToF相机记录空场景或无运动场景来容易地得到或调整运动阈值δ的值。
引导图像选择和处理
需要具有良好限定且尖锐的边缘的引导图像I来调整受运动伪影影响的D中的物体边界。在图2中的引导图像模块中执行对引导图像的选择。
如果在本文中假定在每个相移图像c(τi)采集期间的运动是可忽略的,则四个相移图像中的任一个可以被认为是引导图像。然而,由于每个相移图像对应于互相关函数c(τ)在发送调制信号s(t)与接收调制信号r(t)之间的采样,具有最大强度的相移图像将具有最佳SNR,并且从而具有物体边界处的最佳对比度。因此,在实施例中,具有最大平均空间幅度的相移图像继而被选择为引导图像I。另外的步骤被优选地完成以便避免将噪音从I转移到经滤波的D。即,使用GF对引导图像I进行滤波,其中,引导图像和要滤波的图像相同,即:
其中
图3示出了(a)原始引导图像I,以及(b)使用图2的***的引导图像模块得到的经处理的(去噪的)引导图像I’(作为示例性图像)。
深度运动伪影抑制算法
回到图2,这示出了用于运动伪影处理(具体而言,在实施例中使用运动伪影处理模块)的方法的流程图。针对在运动伪影处理模块处进行处理,整合似真图P并使用引导图像I’的专用GF如下限定:
其中
图4示出了(a)输入深度图D,以及(b)使用图2的***得到的经处理的(所产生的)深度图D’(作为图3的示例性图像)。图像质量(例如,锐度、边缘清晰度、降噪)的提高显而易见。
虽然已经通过参考在其相应实施方式中具有各种部件的实施例来描述实施例,但将要意识到其它实施例利用这些和其它部件的其它组合和排列。
此外,实施例中的一些在本文中被描述为可以由计算机***的处理器或执行功能的其它模块来实施的方法或方法要素的组合。因此,用于执行这样的方法或方法要素的必要指令的处理器形成了用于执行方法或方法要素的模块。此外,出于执行本发明的目的,装置实施例的本文中所述的要素是用于实行由元件执行的功能的模块的实施例。
在本文中所提供的描述中,阐述了多个具体细节。然而,要理解的是可以在没有这些具体细节的情况下实践本发明的实施例。在其它实例中,并未详细示出公知的方法、结构和技术以免使该描述难以理解。
因此,虽然已经描述了本发明的优选实施例所确信的内容,但本领域技术人员将认识到可以对其作出其它和另外的修改而不脱离本发明的范围,并且旨在要求保护如落在本发明的范围内的所有这样的变化和修改。例如,以上所给出的任何公式仅代表可以使用的程序。可以向方框图添加或从方框图中删除功能,并且可以在功能块当中互换操作。在本发明的范围内,可以对所述方法添加或删除步骤。
Claims (27)
1.一种用于对渡越时间(ToF)传感器图像进行实时运动伪影处理和去噪的方法,所述ToF传感器图像对应于在发送经调制的发送信号s(t)之后由ToF传感器接收到的接收信号r(t),所述方法包括:
根据所述发送信号s(t)和所述接收信号r(t)来计算互相关函数c(τ)在多个时间上间隔的位置或相位处的值,从而得到多个相应的互相关值[c(τ0),c(τ1),c(τ2),c(τ3)];
根据所述多个互相关值[c(τ0),c(τ1),c(τ2),c(τ3)]得到深度图D,所述深度图D具有代表针对每个像素的到所述发送信号s(t)所入射到的物体的一部分的距离的值;
根据所述多个互相关值[c(τ0),c(τ1),c(τ2),c(τ3)]得到引导图像(I;I’),所述引导图像(I;I’)为具有良好限定的边缘的图像,以及
基于所述深度图D和所述引导图像(I;I’)来生成输出图像D’,所述输出图像D’包括深度图D的边缘保持和平滑的形式,所述边缘保持来自于引导图像(I;I’)。
2.根据权利要求1所述的方法,包括连续获得多个相移图像,每个相移图像对应于相应的时间上间隔的位置或相位。
3.根据权利要求1或2所述的方法,其中,每个互相关值[c(τ0),c(τ1),c(τ2),c(τ3)]对应于多个相移图像中的一个,并且所述引导图像(I;I’)是从所述相移图像生成的。
4.根据权利要求2所述的方法,其中,所述相移图像包括振幅图像。
5.根据权利要求1所述的方法,其中,得到所述引导图像包括:基于一个或多个预定标准,从多个先前获得的相移图像中选择相移图像作为所述引导图像。
6.根据权利要求5所述的方法,其中,所述预定标准包括将具有如下特征的所述相移图像选择为所述引导图像:(ⅰ)具有通过运动伪影而退化的所述物体的最大振幅,(ⅱ)具有最大物体边缘锐度值,(ⅲ)具有最佳边缘对比度和/或图像SNR,(ⅳ)具有最大平均空间振幅或(ⅴ)未损坏。
7.根据权利要求1所述的方法,包括使用引导滤波器(GF)来将有效深度测量应用于先前标识的由于运动伪影而导致的损坏深度像素。
9.根据权利要求1所述的方法,其中,生成输出图像D’包括:
对所述引导图像I进行滤波以生成去噪引导图像I’;以及
基于所述深度图D和所述去噪引导图像I’来生成输出图像D’。
10.根据权利要求9所述的方法,其中,对所述引导图像I进行滤波以生成去噪引导图像I’包括使用引导滤波器来执行所述滤波。
11.根据权利要求9所述的方法,其中,生成输出图像D’进一步包括:
基于所述多个互相关值[c(τ0),c(τ1),c(τ2),c(τ3)]来生成似真图P,所述似真图P包括针对所述深度图D的每个像素的指示所述像素是否被运动或饱和状态损坏的值;以及
基于所述深度图D和所述似真图P并且基于所述引导图像I或所述去噪引导图像I’来生成所述输出图像D’。
12.根据权利要求11所述的方法,其中,生成所述似真图P包括针对每个像素确定量度pi,所述量度pi代表与所述互相关函数的正弦模型的相移振幅的偏差。
13.根据权利要求12所述的方法,其中,所述量度pi包括:
pi=|c(τ1)-c(τ0)-c(τ2)+c(τ3)|/(a+α)
其中,α为在振幅a为低时防止pi的高值的正则化参数。
15.根据权利要求14所述的方法,其中,通过由空场景或无运动场景的ToF传感器进行采集来确定δ。
16.根据权利要求9所述的方法,其中,对所述引导图像I进行滤波以得到所述去噪引导图像I’包括:
将边缘保持去噪滤波器应用于引导图像I,借此所述引导图像I的边缘信息和降噪被转移到所述输出图像D’。
19.根据权利要求1所述的方法,其中,所述输出图像D’包括深度图D的形式,替代地或另外地,已经从所述深度图D的形式抑制或去除了运动伪影和/或噪音。
24.一种可编程图像处理***,其在适当地编程时用于执行根据前述权利要求中的任一项所述的方法,所述***包括用于接收或存储所述接收信号r(t)和所述发送信号s(t)的电路,以及用于执行所述方法的处理电路。
25.一种用于对渡越时间(ToF)传感器图像进行实时运动伪影处理和去噪的***,所述ToF传感器图像对应于在发送经调制的发送信号s(t)之后由ToF传感器接收到的接收信号r(t),所述***包括:
用于接收或存储所述接收信号r(t)和所述发送信号s(t)的电路;
处理电路,其耦合到用于接收或存储所述接收信号r(t)和所述发送信号s(t)的所述电路,所述处理电路能够操作用于:
根据所述发送信号s(t)和所述接收信号r(t)来计算多个时间上间隔的位置或相位处的互相关函数c(τ)的值,从而得到多个相应的互相关值[c(τ0),c(τ1),c(τ2),c(τ3)];
根据所述多个互相关值[c(τ0),c(τ1),c(τ2),c(τ3)]得到深度图D,所述深度图D具有代表针对每个像素的到所述发送信号s(t)所入射到的物体的一部分的距离的值;
根据所述多个互相关值[c(τ0),c(τ1),c(τ2),c(τ3)]得到引导图像(I;I’),所述引导图像(I;I’)是具有良好限定的边缘的图像;以及
基于所述深度图D和所述引导图像(I;I’)来生成输出图像D’,所述输出图像D’包括深度图D的边缘保持和平滑的形式,所述边缘保持来自于引导图像(I;I’)。
26.一种能够记录、能够写入或能够存储的介质,在其上记录或存储有限定指令或能够转换成指令的数据,所述指令用于通过处理电路执行并且至少对应于权利要求1至23中的任一项所述的方法。
27.一种服务器计算机,其包含通信设备和存储器设备并且适用于按要求传输或者以其它方式传输限定指令或能够转换成指令的数据,所述指令用于通过处理电路执行并且至少对应于权利要求1至23中的任一项所述的方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
LU92688A LU92688B1 (en) | 2015-04-01 | 2015-04-01 | Method and system for real-time motion artifact handling and noise removal for tof sensor images |
LU92688 | 2015-04-01 | ||
PCT/EP2016/056788 WO2016156308A1 (en) | 2015-04-01 | 2016-03-29 | Method and system for real-time motion artifact handling and noise removal for tof sensor images |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107743638A CN107743638A (zh) | 2018-02-27 |
CN107743638B true CN107743638B (zh) | 2021-10-26 |
Family
ID=53016731
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680019856.0A Active CN107743638B (zh) | 2015-04-01 | 2016-03-29 | 用于实时运动伪影处理和去噪的方法和*** |
Country Status (5)
Country | Link |
---|---|
US (1) | US11215700B2 (zh) |
CN (1) | CN107743638B (zh) |
DE (1) | DE112016001560T5 (zh) |
LU (1) | LU92688B1 (zh) |
WO (1) | WO2016156308A1 (zh) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11024047B2 (en) * | 2015-09-18 | 2021-06-01 | The Regents Of The University Of California | Cameras and depth estimation of images acquired in a distorting medium |
US11796679B2 (en) | 2018-05-29 | 2023-10-24 | Sony Semiconductor Solutions Corporation | Time of flight sensor and method |
EP3605287A1 (en) | 2018-07-31 | 2020-02-05 | Nokia Technologies Oy | An apparatus, method and computer program for adjusting output signals |
US11393115B2 (en) * | 2018-11-27 | 2022-07-19 | Infineon Technologies Ag | Filtering continuous-wave time-of-flight measurements, based on coded modulation images |
EP3663801B1 (en) | 2018-12-07 | 2022-09-28 | Infineon Technologies AG | Time of flight sensor module, method, apparatus and computer program for determining distance information based on time of flight sensor data |
DE102018222518A1 (de) * | 2018-12-20 | 2020-06-25 | Zf Friedrichshafen Ag | Kamerasystem mit hoher Updaterate |
US11259002B2 (en) | 2019-02-15 | 2022-02-22 | Analog Devices International Unlimited Company | Time-of-flight camera and proximity detector |
CN110097513B (zh) * | 2019-04-16 | 2021-06-25 | 北京工业大学 | 一种基于脉冲型ToF深度图像去噪的方法 |
CN110400360B (zh) * | 2019-07-25 | 2021-03-19 | 北京航空航天大学 | 一种基于全卷积神经网络的声波渡越时间检测方法 |
CN110501691B (zh) * | 2019-08-13 | 2022-03-08 | Oppo广东移动通信有限公司 | Tof模组的噪声滤除方法、tof模组及装置 |
WO2021030034A1 (en) | 2019-08-15 | 2021-02-18 | Apple Inc. | Depth mapping using spatial multiplexing of illumination phase |
CN113009508B (zh) * | 2019-12-20 | 2023-11-07 | 舜宇光学(浙江)研究院有限公司 | 用于tof模组的多径干扰校正方法及其***和电子设备 |
CN111445404B (zh) * | 2020-03-23 | 2024-06-25 | 上海数迹智能科技有限公司 | 一种基于双频和概率模型的相位去模糊方法 |
CN111710024B (zh) * | 2020-03-23 | 2024-07-16 | 上海数迹智能科技有限公司 | 一种基于多频率多光照消除ToF相机中多径干扰的方法 |
US11763472B1 (en) | 2020-04-02 | 2023-09-19 | Apple Inc. | Depth mapping with MPI mitigation using reference illumination pattern |
WO2021252153A1 (en) | 2020-06-11 | 2021-12-16 | Apple Inc. | Global-shutter image sensor with time-of-flight sensing capability |
CN111782041A (zh) * | 2020-06-24 | 2020-10-16 | Oppo广东移动通信有限公司 | 打字方法及装置、设备、存储介质 |
CN112734680B (zh) * | 2020-12-31 | 2024-07-05 | 视涯科技股份有限公司 | 一种重影测量方法、装置、可读存储介质和计算机设备 |
WO2022194352A1 (en) * | 2021-03-16 | 2022-09-22 | Huawei Technologies Co., Ltd. | Apparatus and method for image correlation correction |
US11657523B2 (en) * | 2021-03-17 | 2023-05-23 | The Trustees Of Princeton University | Microlens amplitude masks for flying pixel removal in time-of-flight imaging |
US11727639B2 (en) * | 2021-08-23 | 2023-08-15 | Sony Group Corporation | Shape refinement of three-dimensional (3D) mesh reconstructed from images |
CN114881894B (zh) * | 2022-07-07 | 2022-09-30 | 武汉市聚芯微电子有限责任公司 | 一种像素修复方法、装置、设备以及计算机存储介质 |
CN117237202A (zh) * | 2022-12-26 | 2023-12-15 | 青海师范大学 | 基于自适应多特征融合的双重图像退化修复方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102622745A (zh) * | 2011-01-12 | 2012-08-01 | 索尼公司 | 3d飞行时间相机和方法 |
CN104025567A (zh) * | 2012-10-24 | 2014-09-03 | Lsi公司 | 用于消除深度伪影的图像处理方法和装置 |
WO2014177750A1 (en) * | 2013-04-29 | 2014-11-06 | Nokia Corporation | A method and apparatus for fusing distance data from a distance sensing camera with an image |
CN104395931A (zh) * | 2012-11-07 | 2015-03-04 | 皇家飞利浦有限公司 | 图像的深度图的生成 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2018047A1 (en) * | 2007-06-15 | 2009-01-21 | IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. | Method for contamination detection in a TOF range camera |
US8866889B2 (en) * | 2010-11-03 | 2014-10-21 | Microsoft Corporation | In-home depth camera calibration |
KR20120057216A (ko) * | 2010-11-26 | 2012-06-05 | 삼성전자주식회사 | 깊이 센서, 상기 깊이 센서의 노이즈 감소 방법, 및 상기 깊이 센서를 포함하는 신호 처리 시스템 |
LU92074B1 (en) * | 2012-09-18 | 2014-03-19 | Iee Sarl | Depth image enhancement method |
US10455219B2 (en) * | 2012-11-30 | 2019-10-22 | Adobe Inc. | Stereo correspondence and depth sensors |
WO2014102442A1 (en) * | 2012-12-28 | 2014-07-03 | Nokia Corporation | A method and apparatus for de-noising data from a distance sensing camera |
EP2976877B1 (en) * | 2013-03-22 | 2020-01-08 | Synaptics Incorporated | Guided filter-based detail enhancement |
GB2516110B (en) * | 2013-07-12 | 2020-01-08 | Barco Nv | Guided image filtering for image content |
GB2532003A (en) * | 2014-10-31 | 2016-05-11 | Nokia Technologies Oy | Method for alignment of low-quality noisy depth map to the high-resolution colour image |
-
2015
- 2015-04-01 LU LU92688A patent/LU92688B1/en active
-
2016
- 2016-03-29 CN CN201680019856.0A patent/CN107743638B/zh active Active
- 2016-03-29 WO PCT/EP2016/056788 patent/WO2016156308A1/en active Application Filing
- 2016-03-29 DE DE112016001560.7T patent/DE112016001560T5/de active Pending
- 2016-03-29 US US15/563,329 patent/US11215700B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102622745A (zh) * | 2011-01-12 | 2012-08-01 | 索尼公司 | 3d飞行时间相机和方法 |
CN104025567A (zh) * | 2012-10-24 | 2014-09-03 | Lsi公司 | 用于消除深度伪影的图像处理方法和装置 |
CN104395931A (zh) * | 2012-11-07 | 2015-03-04 | 皇家飞利浦有限公司 | 图像的深度图的生成 |
WO2014177750A1 (en) * | 2013-04-29 | 2014-11-06 | Nokia Corporation | A method and apparatus for fusing distance data from a distance sensing camera with an image |
Non-Patent Citations (3)
Title |
---|
Adaptive switching filter for noise removal in highly corrupted depth maps from Time-of-Flight image sensors;Seunghee Lee et.al;《Electronic Imaging》;20121231;第1399-1404页 * |
Enhancement of Depth Maps With Alpha Channel Estimation for 3-D Video;Ji-Ho Cho et.al;《IEEE JOURNAL OF SELECTED TOPICS IN SIGNAL PROCESSING》;20120930;第6卷(第5期);第485-486页 * |
Guided Image Filtering;Kaiming He et.al;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20130630;第35卷(第6期);第2-5页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107743638A (zh) | 2018-02-27 |
US11215700B2 (en) | 2022-01-04 |
DE112016001560T5 (de) | 2018-02-22 |
WO2016156308A1 (en) | 2016-10-06 |
LU92688B1 (en) | 2016-10-03 |
US20180067197A1 (en) | 2018-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107743638B (zh) | 用于实时运动伪影处理和去噪的方法和*** | |
EP3438777B1 (en) | Method, apparatus and computer program for a vehicle | |
Grundmann et al. | Calibration-free rolling shutter removal | |
Zhuo et al. | Defocus map estimation from a single image | |
US10557921B2 (en) | Active brightness-based strategy for invalidating pixels in time-of-flight depth-sensing | |
US20130176445A1 (en) | Motion compensation in range imaging | |
JP5541653B2 (ja) | 撮像装置及びその制御方法 | |
CN110799918A (zh) | 车辆用的方法、设备和计算机程序 | |
KR20130099735A (ko) | 원거리 획득이 가능한 tof카메라와 스테레오 카메라의 합성 시스템 및 방법 | |
US10354413B2 (en) | Detection system and picture filtering method thereof | |
US10116851B2 (en) | Optimized video denoising for heterogeneous multisensor system | |
CN111047650B (zh) | 一种用于飞行时间相机的参数标定方法 | |
KR20170035844A (ko) | 타임 오브 플라이트 데이터를 비닝하는 방법 | |
Mohammadi et al. | Vehicle speed estimation based on the image motion blur using radon transform | |
JP5809627B2 (ja) | 動画像から静止画像を取得するためのシステム及び方法 | |
US11675061B2 (en) | Apparatuses and methods for determining depth motion relative to a time-of-flight camera in a scene sensed by the time-of-flight camera | |
Godbaz et al. | Understanding and ameliorating mixed pixels and multipath interference in AMCW lidar | |
US9329272B2 (en) | 3D camera and method of image processing 3D images | |
US9785824B2 (en) | Apparatus and a method for detecting a motion of an object in a target space | |
US10803625B2 (en) | Detection system and picturing filtering method thereof | |
CN104200456B (zh) | 一种用于线结构光三维测量的解码方法 | |
KR20110053417A (ko) | 디지털 비디오 필터 및 화상 처리 | |
CN112435278A (zh) | 一种基于动态目标检测的视觉slam方法及装置 | |
CN110062894A (zh) | 设备与方法 | |
CN110942430A (zh) | 一种提高tof相机对运动模糊鲁棒性的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |