CN105026955B - 用于对来自距离感应相机的数据进行降噪的方法和装置 - Google Patents

用于对来自距离感应相机的数据进行降噪的方法和装置 Download PDF

Info

Publication number
CN105026955B
CN105026955B CN201280078236.6A CN201280078236A CN105026955B CN 105026955 B CN105026955 B CN 105026955B CN 201280078236 A CN201280078236 A CN 201280078236A CN 105026955 B CN105026955 B CN 105026955B
Authority
CN
China
Prior art keywords
element sensor
noise reduction
phase difference
amplitude
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280078236.6A
Other languages
English (en)
Other versions
CN105026955A (zh
Inventor
M·格奥尔基耶夫
A·戈奇夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN105026955A publication Critical patent/CN105026955A/zh
Application granted granted Critical
Publication of CN105026955B publication Critical patent/CN105026955B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/493—Extracting wanted echo signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

除其他之外，公开了确定飞行时间相机***所发射的光信号和所述飞行时间相机***的图像传感器中的像素传感器阵列的至少一个像素传感器所接收的反射光信号之间的相位差，其中所述至少一个像素传感器所接收的反射光信号是从被所发射的光信号照亮的物体反射的(301)；确定被所述至少一个像素传感器所接收的反射光信号的振幅(301)；将所述至少一个像素传感器的振幅和相位差组合成所述至少一个像素传感器的组合信号参数(307)；并且通过利用滤波器对所述至少一个像素传感器的组合参数进行滤波而对所述至少一个像素传感器的组合信号参数进行降噪(309)。

Description

用于对来自距离感应相机的数据进行降噪的方法和装置
技术领域
本申请设计飞行时间相机***，尤其涉及减少来自所述飞行时间相机***的距离图像中的噪声。
背景技术
飞行时间(ToF)相机能够通过发射调制光信号的脉冲并且测量返回的波前端的时差来感应到物体的距离或范围。
ToF相机可以包括诸如一组发光二极管(LED)的光源，由此能够发射连续调制的谐波光信号。从光源到物体的距离或范围能够通过测量所发射和反射的光子之间的相位平移(或时间差)来确定。所反射的光子可以由相机利用电荷耦合设备等进行感应。
所发射和反射的光子之间的相移(或相位延迟)并非直接测量。相反，ToF相机***能够采用像素结构，因此执行所接收的光学信号和电气基准源之间的关联以便确定相位延迟的测量。
所产生的距离(或范围)映射能够将到物体的距离表示为距离映射图像内的相对像素强度。
然而，距离映射图像会由于噪声影响而损坏，而无论所述噪声是作为电荷耦合设备中的热噪声的结果的随机噪声，还是作为到所观察物体的距离的测量的***误差的结果的噪声。特别地，ToF相机***的操作性能会受到源自于相机的操作模式的内部因素以及所感应场景和感应环境的特性所导致的外部因素的影响。
例如，能够对ToF相机***的性能有所限制的内部因素可以包括所使用传感器的物理局限，诸如相干噪声和分辨率。能够对ToF相机***的性能有所限制的其他内部因素可以包括所发射信号的功率，以及用于形成反射信号样本的积分时间。
会对ToF相机***的性能有所限制的外部因素可以包括照明光入射到所感应物体上的角度、所感应物体的颜色和材料的反光性、ToF相机***的感应范围，以及多重反射所形成的返回光信号。
这些因素能够对ToF相机***的距离(或范围)测量的精确性和操作效率造成严重影响。特别是对于低功率ToF***设备而言，噪声的影响会限制距离感应能力。
发明内容
以下实施例旨在解决上述问题。
根据本申请的一个方面，提供了一种方法，包括：确定飞行时间相机***所发射的光信号和所述飞行时间相机***的图像传感器中的像素传感器阵列的至少一个像素传感器所接收的反射光信号之间的相位差，其中所述至少一个像素传感器所接收的反射光信号是从被所发射的光信号照亮的物体反射的；确定被所述至少一个像素传感器所接收的反射光信号的振幅；将所述至少一个像素传感器的振幅和相位差组合成所述至少一个像素传感器的组合信号参数；并且通过对所述至少一个像素传感器的组合参数进行滤波而对所述至少一个像素传感器的组合信号参数进行降噪。
所述方法可以进一步包括以下至少一种：通过对所述至少一个像素传感器的相位差进行滤波而对所述至少一个像素传感器的相位差进行降噪，其中对相位差进行降噪在组合振幅和相位差之前进行；并且通过对所述至少一个像素传感器的振幅进行滤波而对所述至少一个像素传感器的振幅进行降噪，其中对振幅进行降噪在组合振幅和相位差之前进行。
所述滤波可以进一步包括利用非局部空间变换滤波器进行滤波。
所述非局部空间变换滤波器可以是非局部均值滤波器。
所述方法可以进一步包括通过以下而根据至少一个像素传感器经降噪的组合信号参数计算到所述物体的距离范围：根据所述至少一个像素传感器经降噪的组合信号参数确定所述至少一个像素传感器经降噪的相位差；并且使用所述至少一个像素传感器经降噪的相位差而计算所述至少一个像素传感器到所述物体的距离范围。
所述组合信号参数可以是通过组合至少一个像素传感器的振幅和相位差而形成的复杂信号参数。
所述飞行时间相机***的图像传感器可以至少部分基于光子混频器设备。
根据本申请的另外方面，提供了一种装置，其被配置为：确定飞行时间相机***所发射的光信号和所述飞行时间相机***的图像传感器中的像素传感器阵列的至少一个像素传感器所接收的反射光信号之间的相位差，其中被所述至少一个像素传感器所接收的反射光信号是从被所发射的光信号照亮的物体反射的；确定被所述至少一个像素传感器所接收的反射光信号的振幅；将所述至少一个像素传感器的振幅和相位差组合成所述至少一个像素传感器的组合信号参数；并且通过对所述至少一个像素传感器的组合参数进行滤波而对所述至少一个像素传感器的组合信号参数进行降噪。
所述装置可以进一步被配置为以下至少一种：通过对所述至少一个像素传感器的相位差进行滤波而对所述至少一个像素传感器的相位差进行降噪，其中对相位差进行降噪在组合振幅和相位差之前进行；并且通过对所述至少一个像素传感器的振幅进行滤波而对所述至少一个像素传感器的振幅进行降噪，其中对振幅进行降噪在组合振幅和相位差之前进行。
所述滤波可以包括利用非局部空间变换滤波器进行滤波。
所述非局部空间变换滤波器可以是非局部均值滤波器。
所述装置可以进一步被配置为通过以下而根据至少一个像素传感器经降噪的组合信号参数计算到所述物体的距离范围：根据所述至少一个像素传感器经降噪的组合信号参数确定所述至少一个像素传感器经降噪的相位差；并且使用所述至少一个像素传感器经降噪的相位差而计算所述至少一个像素传感器到所述物体的距离范围。
所述组合信号参数可以是通过组合至少一个像素传感器的振幅和相位差而形成的复杂信号参数。
所述飞行时间相机***的图像传感器可以至少部分基于光子混频器设备。
根据本申请的另一个方面，提供了一种装置，包括至少一个处理器和至少一个包括一个或多个程序的计算机代码的存储器，所述至少一个存储器和计算机代码利用所述至少一个处理器而被配置为使得所述装置至少：确定飞行时间相机***所发射的光信号和所述飞行时间相机***的图像传感器中的像素传感器阵列的至少一个像素传感器所接收的反射光信号之间的相位差，其中被所述至少一个像素传感器所接收的反射光信号是从被所发射的光信号照亮的物体反射的；确定被所述至少一个像素传感器所接收的反射光信号的振幅；将所述至少一个像素传感器的振幅和相位差组合成所述至少一个像素传感器的组合信号参数；并且通过对所述至少一个像素传感器的组合参数进行滤波而对所述至少一个像素传感器的组合信号参数进行降噪。
利用所述至少一个处理器进行配置的所述至少一个存储器和计算机代码进一步被配置为以下至少一种：通过对所述至少一个像素传感器的相位差进行滤波而对所述至少一个像素传感器的相位差进行降噪，其中对相位差进行降噪在组合振幅和相位差之前进行；并且通过对所述至少一个像素传感器的振幅进行滤波而对所述至少一个像素传感器的振幅进行降噪，其中对振幅进行降噪在组合振幅和相位差之前进行。
所述滤波可以进一步包括利用非局部空间变换滤波器进行滤波。
所述非局部空间变换滤波器可以是非局部均值滤波器。
利用所述至少一个处理器进行配置的所述至少一个存储器和计算机代码进一步被配置为通过以下而根据至少一个像素传感器经降噪的组合信号参数计算到所述物体的距离范围：根据所述至少一个像素传感器经降噪的组合信号参数确定所述至少一个像素传感器经降噪的相位差；并且使用所述至少一个像素传感器经降噪的相位差而计算所述至少一个像素传感器到所述物体的距离范围。所述组合信号参数可以是通过组合至少一个像素传感器的振幅和相位差而形成的复杂信号参数。
所述飞行时间相机***的图像传感器可以至少部分基于光子混频器设备。
根据本申请的另一个方面，提供了一种计算机程序代码，其在被处理器执行时实现：确定飞行时间相机***所发射的光信号和所述飞行时间相机***的图像传感器中的像素传感器阵列的至少一个像素传感器所接收的反射光信号之间的相位差，其中所述至少一个像素传感器所接收的反射光信号是从被所发射的光信号照亮的物体反射的；确定被所述至少一个像素传感器所接收的反射光信号的振幅；将所述至少一个像素传感器的振幅和相位差组合成所述至少一个像素传感器的组合信号参数；并且通过对所述至少一个像素传感器的组合参数进行滤波而对所述至少一个像素传感器的组合信号参数进行降噪。
所述计算机程序代码在被处理器所执行时可以进一步实现以下至少一种：通过对所述至少一个像素传感器的相位差进行滤波而对所述至少一个像素传感器的相位差进行降噪，其中对相位差进行降噪在组合振幅和相位差之前进行；并且通过对所述至少一个像素传感器的振幅进行滤波而对所述至少一个像素传感器的振幅进行降噪，其中对振幅进行降噪在组合振幅和相位差之前进行。
所述计算机程序代码在被处理器所执行时实现滤波，所述计算机程序代码可以进一步利用非局部空间变换滤波器实现滤波。
所述非局部空间变换滤波器可以是非局部均值滤波器。
所述计算机程序代码在被处理器所执行时可以进一步实现通过以下而根据至少一个像素传感器经降噪的组合信号参数计算到所述物体的距离范围：根据所述至少一个像素传感器经降噪的组合信号参数确定所述至少一个像素传感器经降噪的相位差；并且使用所述至少一个像素传感器经降噪的相位差而计算所述至少一个像素传感器到所述物体的距离范围。
所述组合信号参数可以是通过组合至少一个像素传感器的振幅和相位差而形成的复杂信号参数。
所述飞行时间相机***的图像传感器可以至少部分基于光子混频器设备。
附图说明
为了更好地理解本发明，现在将作为示例对附图加以参考，其中：
图1示意性示出了适于采用一些实施例的装置；
图2示意性示出了适于采用一些实施例的ToF相机***；
图3示意性示出了图示图2的ToF相机***的操作的流程图；和
图4示意性示出了图2的ToF相机***的信号参数的复杂参数表示形式。
具体实施方式
以下更为详细地描述了具有用于对距离(或范围)映射的配置的可能ToF相机***。就此而言，首先参考图1，其示出了可以整合根据本申请实施例的ToF相机***的示例性电子设备或装置10的框图。
装置10例如可以是无线通信***的移动终端或用户设备。在其他实施方式中，装置10可以是音视频设备，诸如视频相机，诸如mp3录制器/播放器的音频录制器或音频播放器，媒体录制器(也被称作mp4录制器/播放器)，或者适于处理音频信号的任意计算机。
在其他实施方式中，装置10例如可以是较大计算机***的子组件，因此装置10被配置为与其他电子组件或计算机***一起进行操作。在这样的实施例中，装置10可以被配置为具有控制并对接至ToF相机模块并且还对来自ToF相机模块的信息进行处理的功能的应用特定集成电路(ASIC)。
在一些实施例中，装置10可以被部署为个体模块，其能够被配置为集成到诸如个人计算机或膝上计算机的一般计算机之中。
在一些实施例中，装置10可以包括能够耦合至处理器21的ToF相机***或模块11。处理器21能够被配置为执行各种程序代码。所实施的程序代码在一些实施例中能够包括用于处理来自ToF相机模块11的深度映射图像的代码。特别地，所实施的程序代码可以有利于被处理的距离图像中的降噪。
在一些实施例中，所述装置进一步包括存储器22。在一些实施例中，所述处理器耦合至存储器22。所述存储器可以是任意适当的存储器件。在一些实施例中，存储器22包括用于存储能够在处理器21上实施的程序代码的程序代码区段23。此外，在一些实施例中，存储器22可以进一步包括用于存储数据的存储数据区段24，上述数据是例如已经针对其从ToF相机模块11进行检索对距离映射图像进行后续处理的数据，随后将描述对距离映射图像的后续处理。存储在程序代码区段23中的所实施程序代码以及存储在存储数据区段24中的数据能够被处理器21在任何需要的时候经由存储器-处理器的耦合进行检索。
在一些另外的实施例中，装置10可以包括用户接口15。用户接口15在一些实施例中可以耦合至处理器21。在一些实施例中，所述处理器能够控制用户接口的操作并且从用户接口15接收输入。在一些实施例中，用户接口15能够使得用户能够例如经由小键盘而向电子设备或装置10输入命令，和/或例如经由作为用户接口15的一部分的显示器而从装置10获得信息。在一些实施例中，用户接口15可以包括能够使得信息能够被输入到装置10中并且进一步向装置10的用户显示信息的触摸屏或触摸界面。
作为用户接口15的一部分的显示器可以被用于显示这样的深度映射图像，并且可以是液晶显示器(LCD)或发光二极管(LED)显示器，或者是有机LED(OLED)显示器或等离子屏幕。此外，用户接口15还可以包括指示设备，诸如鼠标、轨迹球、光标指向按键或运动传感器，其用于控制呈现在显示器上的小光标图像的位置并且用于发出与呈现在显示器上的图形要素相关联的命令。
在一些实施例中，所述装置进一步包括收发器13，所述收发器在这样的实施例中能够耦合至处理器，并且被配置为使得能够例如经由无线通信网络而与其他装置或电子设备进行通信。收发器13或任意适当收发器或者发射器和/或接收器器件在一些实施例中能够被配置为经由连线或有线耦合而与其他电子设备或装置进行通信。
收发器13可以通过任意已知的适当通信协议与另外的设备进行通信，例如在一些实施例中，收发器13或收发器器件能够使用适当的通用移动电信***(UMTS)协议、例如IEEE 802.X的无线局域网(WLAN)协议、诸如蓝牙的适当短距离射频通信协议，或者红外数据通信路径(IRDA)。
同样可以理解的是，装置10的结构可以以许多方式进行补充和变化。
将要意识到的是，图2和4中所描述的示意性结构以及图3中所描绘的流程图仅表示被示例性的示为在图1所示的装置中实施的ToF相机***的操作的一部分。
图2示出了根据一些实施例的ToF相机模块11的一些组件。
在一些实施例中，ToF相机模块11可以是光子混频器设备(PMD)相机模块。在这样的实施例中，可能存在光发射器201，其可以被配置为发射调制光的圆柱体由此照亮用于距离检测的场景。在实施例中，所述光发射器可以由发光二极管(LED)的阵列所形成，后者被配置为以近红外(NIR)光谱区域中的波长进行工作。每个LED可以配备以各自的光学器件以便辅助从所述LED进行的发光。
从光发射器所发射的光可以通过来自调制器203的电基准信号进行振幅调制。
被反射的光信号可以被接收光学器件205所接收并且经通道输送至PMD传感器阵列207。PMD传感器阵列207可以包括像素传感器元件的阵列，因此每个像素传感器元件可以为对于所接收的光进行传导且透明的两个光敏光栅的形式。每个像素传感器可以进一步包括读出二极管以便使得电信号能够经由像素读出电路而被读取。
PMD传感器阵列207的功能可以是将所接收的每个像素传感器的光学信号与电基准信号进行关联并且将关联结果(经由每个像素传感器的读出电路)发送至模数转换器209。为了使得能够在每个像素传感器内进行关联，PMD传感器阵列207还可以被配置为从振荡器205接收电基准信号。在实施例中，用来在PMD传感器阵列207内执行交叉关联功能的电基准信号可以是用来在对光发射器201处的LED阵列进行调制的原始基准信号的相位变化形式。
可以意识到的是，ToF***采用信号传播的时间原则以便确定到物体的范围。对于PMD类型的ToF***而言，所述可以通过使用连续波调制而表现所述原则，由此所发射和接收的光信号之间的相位延迟对应于ToF并且因此对应于到物体的距离。
当所发射的光信号利用特定频率进行连续振幅调制时，所接收到的反射光信号将具有相同的频率但是会具有不同的相位和振幅。所发射的光信号和所接收的光信号之间的相位差或相位延迟可以被用来确定到物体的距离。所述距离可以由以下表达式进行表达：
其中D是到物体的距离，φ是所确定的所接收和发射的光信号之间的相位延迟，cs是光速并且f是调制频率。在实施例中，调制频率f可以为20MHz的量级。
所反射的接收信号的相位和振幅可以通过将所反射的接收信号与来自调制器203的原始调制信号(电基准信号)进行交叉关联而确定。如上所述，所述交叉关联可以针对PMD传感器阵列207内的每个像素传感器执行。
在实施例中，所述交叉关联功能可以在多个预先选择的相位位置执行以便使得能够计算所发射的光信号和所接收的反射光信号之间的相位差(或延迟)。
在第一组实施例中，所接收到的反射光信号S(t)和调制信号g(t)之间的交叉关联函数C(τ)可以针对四个不同的相位延迟进行计算，例如在τ0＝0°、τ1＝90°、τ2＝180°、τ3＝270°进行计算。
可以理解的是，其他实施例可以采用一般方法来确定交叉关联函数C(τ)。所述一般方法可以针对大于四个的多个不同相位位置计算所述交叉关联函数C(τ)。
所接收到的反射光信号S(t)和调制信号g(t)之间的交叉关联函数C(τ)可以被表达为：
在一些实施例中，所接收到的反射光信号S(t)能够以以下形式表达
并且调制信号能够以以下形式表达
g(t)＝cos(ωt) (4)
其中A表示调制振幅并且φ表示所接收到的反射信号的相位。
在一些实施例中，τ0＝0°、τ1＝90°、τ2＝180°、τ3＝270°的四个不同相位延迟的交叉关联信号可以被简化为
其中K是调制偏移量。
可以理解的是，交叉关联函数C(τ)能够由PMD在多个不同的等距间隔的相位位置τ进行确定，也就是τ＝τ0,τ1,...τN-1。在第一组实施例中，交叉关联函数C(τ)能够针对以下相位位置τ0＝0°、τ1＝90°、τ2＝180°、τ3＝270°进行计算。
来自PMD设备的输出，换句话说每个像素传感器的交叉关联函数C(τ)，随后可以以通道送至模数转换器209。
模数(A/D)转换器209可以将每个交叉关联函数信号从模拟信号转换为数字信号，以便使得能够对所述信号进一步进行处理。可以意识到的是，(A/D)转换器209可以以像素为基础(on a pixel wise basis)对每个相位位置τ的交叉关联函数信号进行转换。
来自模数转换器209的数字输出随后可以被送至信号参数确定器211。
信号参数确定器211能够以逐个像素为基础确定形成所照亮场景的距离(或范围)映射所需的参数。
信号参数确定器211所确定的参数可以是所调制的信号g(t)和所反射的接收信号s(t)之间的相位延迟φ、所反射的接收信号的振幅A，以及调制偏移量K。
在实施例中，相位差φ可以通过使用以下表达式来确定
所接收的反射光学信号的振幅A可以通过以下而确定
调制偏移量K可以由以下确定
可以意识到的是，在以上表达式中，N指示在其上确定交叉关联函数的相位位置的数量，并且Cn表示每个相位位置τn的交叉关联函数。在第一组实施例中，N被确定为四以便考虑不同的相位位置τ0＝0°、τ1＝90°、τ2＝180°、τ3＝270°。对于所述具体实施例，相位差φ可以使用以下表达式确定：
所接收的反射光学信号的振幅A可以通过以下而确定
调制偏移量K可以如等式(8)中所确定。
换句话说，在实施例中可以有多种手段来确定飞行时间相机***所发射的光信号与所述飞行时间相机***的图像传感器中的像素阵列中的像素光传感器所接收到的反射光信号之间的相位差，其中像素光传感器所接收的反射光信号是从被所发射的光信号照亮的物体反射的。此外，实施例还可以包括用于确定被像素光传感器所接收的反射光信号的振幅的手段。
要进一步意识到的是，进而可以针对每个像素确定以上参数。
这里所要理解的是，术语信号参数映射可以被用来总体地表示映射图像的所有像素的参数φ、A和K。
信号参数确定器211的输出，换句话说信号参数映射，可以被连接至降噪处理器213的输入。
降噪处理器213可以被配置为提供滤波架构以便对信号采纳数映射中的参数进行降噪，换句话说，所述滤波架构提供了与每个像素相关联的参数φ、A和K的降噪。
参考图3，示出了至少部分描绘根据本发明实施例的信号参数确定器211和降噪处理器213的一些操作的流程图。
因此，在图3中描绘了针对每个像素根据交叉关联函数C(τ)确定信号参数(φ、A和K)的处理步骤301。
在实施例中，信号参数φ、A和K的降噪通过采用非局部空间变换滤波的技术来执行。这样的方式的实质在于使得要被滤波的像素集中在相邻像素的窗口之内。需要注意的是，像素的窗口在本领域中也可以被称作补丁(patch)，并且包含所要滤波的像素的补丁被称作基准补丁。随后扫描所述图像，寻找与包含要滤波的像素的补丁(换句话说，基准补丁)非常相似的其他补丁所述。随后可以通过确定其补丁被认为与基准补丁相似的图像内的所有像素值上的平均像素值来执行像素降噪。
在实施例中，基准补丁和图像内另外的补丁之间的相似性可以通过利用基于欧几里得几何(Euclidean)的距离量度进行量化。
可以以像素为基础对每个像素的信号参数执行非局部空间变换滤波。
在第一组实施例中，被称作非局部均值滤波的一种非局部空间变换滤波的形式可以被用来对与每个像素相关联的信号参数进行滤波。
非局部均值滤波可以被表达为
其中Nn是滤波器规范化因子，Ga是高斯内核，Ω表示搜索图像的范围，u表示结合至一个位置的像素的数值，x是被滤波的像素的指标并且是基准补丁的中心像素，y是处于另外补丁(可能与基准补丁相似的补丁)的中心的像素的指标，h可以是管理与噪声变化相关地调谐的滤波器参数，*.(0)可以表示中心卷积算子，并且(+.)可以表示相对应的补丁的中心像素周围的像素指标。
在第一组实施例中，信号参数φ和A均可以使用上述非局部均值滤波器进行单独滤波，以便产生降噪信号参数φD和AD。进而可以针对每个像素位置执行参数φ和A的降噪。
换句话说，上述非局部均值滤波器进而可以被应用于每个信号参数φ和A，而以上等式中的变量u则可以表示任一个参数φ或A。
可以要理解的是，来自非局部均值滤波器NL(x)的输出是像素位置x的降噪参数φD和AD。换句话说，当输入变量u表示像素位置x处的相位差信号参数φ时，来自非局部均值滤波器NL(x)的输出是经降噪的相位延迟信号参数φD，并且当输入变量u表示振幅信号参数A时，来自非局部均值滤波器NL(x)的输出是经降噪的振幅参数AD。
在一些实施例中，利用上述非局部均值滤波器对信号参数φ和A进行单独处理以产生单独的降噪信号参数φD和AD的步骤可以被视为可选的预先滤波步骤。
换句话说，在一些操作模式中可以并不执行对信号参数φ和A进行单独处理的步骤。执行上述预先滤波步骤的决策可以被配置为降噪处理器213的一种操作模式。
因此，图3描绘了将上述预先滤波步骤作为决策步骤303包括到降噪处理器的操作模式之中的选项。
上述预先滤波步骤具有的优势是降低物体表面反光性不佳，或者物体被入射角度小的光信号所照亮，或者返回的光信号中存在多路径反射效应的影响。
上述的效果能够使得相位差φ被封装(wrapping)，因此具有入射光的波长限制附近的范围的物体可以导致反射光的相位延迟被封装至下一个波形周期。所述当噪声对于相位延迟φ的数值有影响时，当相位延迟φ位于封装边界附近时，所述封装效应可能会发生。
预先滤波通过以个体为基础对信号参数A和φ降噪，可以具有以下效果：在后续降噪滤波阶段的操作期间改善所搜索补丁的相似性权重置信度。
在其他实施例中，由降噪滤波器NL(x)所进行的预先滤波可以仅对振幅信号参数A或相位延迟信号参数φ来执行。与进而向每个信号参数单独应用降噪滤波相比，这具有降低预先滤波阶段的计算复杂度的效果。
在以上实施例群组的一种变化形式中，降噪滤波器NL(x)可以仅被应用于振幅信号参数A而提供经降噪的振幅信号参数AD。在实施例中，这样可以具有改善最终距离映射中的降噪和边缘保存的优势，然而，由于诸如以上所列出的那些的结构伪像(artefact)所导致的影响可能仍然被保留。
在上述实施例群组的另一种变化形式中，降噪滤波器NL(x)可以仅被应用于相位延迟信号参数φ。这可以具有抑制诸如以上所列出的那些的伪像的优势，然而在最终的距离图像中边缘保存将不会明显。
换句话说，实施例可以包括以下至少一种：用于对像素光传感器所接收的反射光信号和所发射的光信号之间的相位差进行降噪的手段，相位差的降噪是预先滤波步骤；以及用于对像素光传感器所接收的反射光信号的振幅进行降噪的手段，相位差的降噪也是预先滤波步骤。
针对每个像素的每个信号参数φ和A执行降噪的步骤在图3中被示为处理步骤305。
针对每个像素的所接收的反射光信号的相位差φ和振幅A可以被组合成单个组合参数。
在一些实施例中，针对每个像素传感器的所接收反射光信号的相位差φ和振幅A可以被组合成单个复杂参数Z。每个像素的所述复杂信号参数可以被表达为：
其中j是虚构单位。可以理解的是，在采用了上述预先滤波步骤305的操作模式中，所述复杂信号参数可以被表达为
参考图4，示出了包括四个像素的复杂信号参数映射的图形表示形式。
参考图4，图形401描绘了所述信号参数映射的振幅A，并且图形403描绘了相同信号参数映射的相位差φ。
再次参考图4，图形405描绘了所述信号参数映射的每个像素位置的复杂信号参数Z。能够从图形405看出，每个像素位置的复杂信号参数是承载与所接收到的反射信号的振幅A和相位差φ二者相关的信息的矢量。
换句话说，实施例可以包括用于将每个像素光传感器的振幅和相位差组合成每个像素光传感器的组合信号参数的手段。
确定每个像素的复杂信号参数的步骤在图3中被示为处理步骤307。
在实施例中，降噪滤波器可以被应用于信号参数映射内的每个像素的复杂信号Z。
在第一组实施例中，每个像素的复杂信号参数Z可以通过应用以上的非局部均值滤波器进行降噪。换句话说，以上的非局部均值滤波器可以根据所述复杂信号参数进行修改。所述非局部均值滤波器可以根据Z而被表达为
来自以上非局部均值滤波器NLcmplx(x)的输出可以是像素位置x处经降噪的信号参数ZDeN。
换句话说，实施例可以包括用于通过对像素光传感器的组合信号参数进行滤波而对所述组合信号参数进行降噪的手段。
在一些实施例中，所述组合信号参数可以是通过将像素光传感器的振幅和相位差进行组合而形成的复杂信号参数。
对每个像素的复杂信号参数进行降噪的步骤在图3中被示为处理步骤309。
可以从经降噪的信号参数ZDeN获得每个像素位置x的经降噪的信号参数ADeN和φDeN。换句话说，能够分别通过ADeN＝|ZDeN|和φDeN＝arg(ZDeN)而获得经降噪的振幅AN和相位差φN。
从经降噪的信号参数ZDeN获得每个像素位置x的经降噪的信号参数ADeN和φDeN的步骤在图3中被示为处理步骤311。
在一些实施例中，处理步骤303至311可以为了多次迭代而进行重复。在这样的实施例中，每个像素位置x的经降噪的信号参数ADeN和φDeN可以形成处理步骤305的进一步迭代的输入，因此信号参数ADeN和φDeN随后可以单独应用于上述的非局部均值滤波器NL(x)。
另外，在信号参数ADeN和φDeN形成非局部均值滤波器NL(x)的输入的情况下，进一步降噪的信号参数可以被表示为AD2和φD2，其中“2”表示第二次或进一步的迭代。
如前所述，非局部均值滤波器NL(x)的输出，也就是每个像素位置x被单独降噪的振幅和相位差信号参数AD2和φD2，随后可以被组合成单个组合参数。在第一组实施例中，所述单个组合参数可以是单个复杂参数Z2。
所述单个复杂参数Z2随后可以形成非局部均值滤波器NLcmplx(x)的复杂修改形式的输入。
所述非局部均值滤波器NLcmplx(x)的复杂修改形式的输出随后可以作为每个像素位置x的进一步降噪的复杂参数ZDeN2。
能够通过应用等式ADeN2＝|ZDeN2|和φDeN2＝arg(ZDeN2)而获得经降噪的振幅ADeN2和相位差φDeN2。
换句话说，实施例可以包括从经降噪的组合信号参数为像素光感应器确定经降噪的相位差的手段。
确定是否迭代处理步骤303至311的步骤在图3中被示为决策步骤313。
参考图3，如果在处理步骤313确定应当进一步迭代处理步骤303至311，则采用返回分支313a并且所述处理循环回去以开始新的迭代。
在实施例中，非局部空间变换滤波器的参数可以针对每次处理循环进行调整。例如，在第一组实施例中，非局部均值滤波器中的滤波器参数h能够针对处理循环的每次迭代进行改变。
针对处理循环的进一步迭代而调整非局部空间变换滤波器的参数的步骤在附图3中被示为返回分支313a中的处理步骤315。
可以意识到的是，在实施例中，循环回去的分支313a返回决策分支303。因此，可以针对处理循环的每次迭代作出是否包括预先滤波步骤305的决策。
如果在处理步骤313确定无需进一步迭代，则采用决策分支313b，并且降噪处理器211随后可以针对每个像素位置确定到所照亮物体的距离数值D。
在实施例中，距离值D可以通过取得如处理步骤311所提供的经降噪的相位差信号参数φDeN并且将所述数值应用于上述等式(1)而被确定。
距离值D可以依据映射内的每个像素位置的相位延迟而以每个像素为基础进行确定。
换句话说，实施例可以包括用于使用针对像素光传感器所计算的降噪相位延迟来计算所述像素光传感器到物体的距离范围的手段。
针对每个像素确定到所照亮物体的距离值D的步骤在图3中被示为处理步骤317。
以下示出了针对上述用于对信号参数数据进行降噪的迭代方法的可能伪代码实施方式
来自ToF相机***11的输出可以是PMD传感器阵列207内的每个像素的距离值D。
每个像素的距离值D随后可以被送至处理器11以便进一步处理。
在一些实施例中，每个像素的距离值D可以在UI 15被显示为距离或深度映射图像。
可以意识到的是，在以上实施例中，已经对非局部均值滤波器的降噪处理进行了描述。然而，其他实施例可以使用其他形式的降噪，诸如高斯平滑、双(多)横向滤波、小波收缩、滑动局部变换滤波(例如，滑动DCT)和区块匹配3D协同变换域滤波BM3D。
此外，其他实施例可以采用诸如雷达、声纳和激光雷达之类的其他ToF相机***。
此外，其他实施例可以采用不同的距离测量***，其中测量数据可以在诸如基于结构光的***、基于立体结构的***以及热图像相机的复杂域中进行解释。
虽然以上示例描述了装置10内进行操作的本发明实施例，但是可以意识到的是，以上所述的本发明可以被实施为支持ToF相机***的任意计算机或电子装置的一部分。
总体上，本发明的各个实施例可以以硬件或专用电路、软件、逻辑或者它们的任意组合来实施。例如，一些方面可以以硬件实施，而其他方面则可以以固件或者可以由控制器、微处理器或其他计算设备执行的软件来实施，然而本发明并不局限于此。虽然本发明的各个方面可以被图示和描述为框图、流程图，或者使用其他一些图示表示来图示，但是要妥善理解的是，作为非限制性示例，这里所描述的这些模块、装置、***、技术或方法可以被实施为硬件、软件、固件、专用电路或逻辑、通用硬件或控制器、其他计算设备和/或其一些组合。
因此，至少一些实施例可以是一种装置，其包括至少一个处理器和至少一个包括计算机程序代码的存储器，所述至少一个存储器和计算机程序代码配置为，利用所述至少一个处理器使得所述装置至少执行：确定飞行时间相机***所发射的光信号和所述飞行时间相机***的图像传感器中的像素传感器阵列的至少一个像素传感器所接收的反射光信号之间的相位差，其中被所述至少一个像素传感器所接收的反射光信号是从被所发射的光信号照亮的物体被反射的；确定被所述至少一个像素传感器所接收的反射光信号的振幅；将所述至少一个像素传感器的振幅和相位差组合成所述至少一个像素传感器的组合信号参数；并且通过对所述至少一个像素传感器的组合参数进行滤波而对所述至少一个像素传感器的组合信号参数进行降噪。
本发明的实施例可以由计算机软件来实现，所述计算机软件诸如在处理器实体中可由移动设备的数据处理器来执行，或者可由通过硬件或者软件和硬件的组合来实现。此外，在这方面应当注意到，以上附图中所示的逻辑流程图的任何框图可以表示程序步骤，或者互连的逻辑电路、模块和功能，或者程序步骤以及逻辑电路、模块和功能的组合。
因此，编码器的至少一些实施例可以是具有存储于其上的计算机可读代码的非瞬态计算机可读存储介质，当被计算装置执行时，上述计算机可读代码使得所述计算装置执行一种方法，包括：确定飞行时间相机***所发射的光信号和所述飞行时间相机***的图像传感器中的像素传感器阵列的至少一个像素传感器所接收的反射光信号之间的相位差，其中被所述至少一个像素传感器所接收的反射光信号是从被所发射的光信号照亮的物体被反射的；确定被所述至少一个像素传感器所接收的反射光信号的振幅；将所述至少一个像素传感器的振幅和相位差组合成所述至少一个像素传感器的组合信号参数；并且通过对所述至少一个像素传感器的组合参数进行滤波而对所述至少一个像素传感器的组合信号参数进行降噪。
所述存储器可以是适于本地技术环境的任意类型并且可以使用任意适当的数据存储技术来实施，诸如基于半导体的存储器设备、磁性存储器设备和***、光学存储器设备和***、固定存储器和可移动存储器，换句话说，非瞬态计算机可读存储介质。所述数据处理器可以是适于本地技术环境的任意类型，并且作为非限制性示例，可以包括通用计算机、专用计算机、微处理器、数字信号处理器(DSP)、应用特定集成电路(ASIC)、门级电路以及基于多核处理器架构的处理器中的一个或多个。
本发明的示例性实施例可以以诸如集成电路模块的各种组件进行实践。集成电路的设计总体上而言是高度自动化的过程。复杂且有力的软件工具可以被用于将逻辑层面的设计转换为准备蚀刻并形成在半导体衬底上的半导体电路的设计。
诸如加利福尼亚Mountain View的Synopsys公司以及加利福尼亚San Jose的Cadence Design所提供的那些软件使用良好建立的设计规则以及预先存储的设计模块库集自动在半导体芯片上规划导线路线并且定位组件。一旦完成了半导体电路的设计，标准化电子格式(例如，Opus、GDSII等)的结果设计就可以被发射至半导体制作机构或“fab”以便进行制作。
如本申请中所使用的，术语“电路”是指以下全部内容：
(a)仅硬件的电路实施方式实现(诸如仅以模拟和/或数字电路的实施方式)；
(b)电路和软件(和/或固件)的组合，诸如：(i)(多个)处理器的组合或者(ii)共同工作以使得诸如移动电话或服务器的装置执行各种功能的(多个)处理器/软件(包括(多个)数字信号处理器)、软件和(多个存储器)的多个部分；
(c)电路，诸如(多个)微处理器或者(多个)微处理器的一部分，其需要软件或固件进行操作，即使所述软件或固件并非物理存在。
“电路”的这个定义应用于本申请中使用所述术语的所有情况，包括任意权利要求。作为另一个示例，如在本申请中所使用的，术语“电路”还将覆盖仅为处理器(或多个处理器)及其伴随的软件和/或固件的实施方式。例如以及如果可应用于特定索赔要素(claimelement)，则术语“电路”还将覆盖作移动电话中的基带集成电路或应用处理器集成电路，或者服务器、蜂窝网络设备或其他网络设备中类似的集成电路。
以上利用示例性和非限制性示例所提供的描述是本发明的示例性实施例的全面且信息性的描述。然而，当结合附图和所附权利要求阅读时，考虑到以上描述，各种修改和改变对于本领域技术人员将变为显而易见的。然而，本发明教导的所有这样和类似的修改仍然将落入所附的权利要求限定的本发明的范围之内。

Claims (18)

1.一种对数据进行降噪的方法，包括：
确定飞行时间相机***所发射的光信号和所述飞行时间相机***的图像传感器中的像素传感器阵列的至少一个像素传感器所接收的反射光信号之间的相位差，其中所述至少一个像素传感器所接收的反射光信号是从被所发射的光信号照亮的物体反射的；
确定所述至少一个像素传感器所接收的反射光信号的振幅；
将所述至少一个像素传感器的振幅和相位差组合成所述至少一个像素传感器的组合信号参数；并且
通过对所述至少一个像素传感器的组合参数进行滤波而对所述至少一个像素传感器的组合信号参数进行降噪，其中所述方法进一步包括以下至少一种：
通过对所述至少一个像素传感器的相位差进行滤波而对所述至少一个像素传感器的相位差进行降噪，其中对相位差进行降噪在组合振幅和相位差之前进行；并且
通过对所述至少一个像素传感器的振幅进行滤波而对所述至少一个像素传感器的所述振幅进行降噪，其中对振幅进行降噪在组合振幅和相位差之前进行。
2.根据权利要求1所述的方法，其中所述滤波进一步包括：
利用非局部空间变换滤波器进行滤波。
3.根据权利要求2所述的方法，其中所述非局部空间变换滤波器是非局部均值滤波器。
4.根据权利要求1至3中任一项所述的方法，进一步包括通过以下而根据至少一个像素传感器经降噪的组合信号参数计算到所述物体的距离范围：
根据所述至少一个像素传感器经降噪的组合信号参数确定所述至少一个像素传感器经降噪的相位差；并且
使用所述至少一个像素传感器经降噪的相位差而计算所述至少一个像素传感器到所述物体的距离范围。
5.根据权利要求1至3中任一项所述的方法，其中所述组合信号参数是通过组合至少一个像素传感器的振幅和相位差而形成的复杂信号参数。
6.根据权利要求1至3中任一项所述的方法，其中所述飞行时间相机***的图像传感器至少部分基于光子混频器设备。
7.一种对数据进行降噪的装置，被配置为：
确定飞行时间相机***所发射的光信号和所述飞行时间相机***的图像传感器中的像素传感器阵列的至少一个像素传感器所接收的反射光信号之间的相位差，其中所述至少一个像素传感器所接收的反射光信号是从被所发射的光信号照亮的物体反射的；
确定被所述至少一个像素传感器所接收的反射光信号的振幅；
将所述至少一个像素传感器的振幅和相位差组合成所述至少一个像素传感器的组合信号参数；并且
通过对所述至少一个像素传感器的组合参数进行滤波而对所述至少一个像素传感器的组合信号参数进行降噪，其中所述装置进一步被配置为以下至少一种：
通过对所述至少一个像素传感器的相位差进行滤波而对所述至少一个像素传感器的相位差进行降噪，其中对相位差进行降噪在组合振幅和相位差之前进行；并且
通过对所述至少一个像素传感器的振幅进行滤波而对所述至少一个像素传感器的振幅进行降噪，其中对振幅进行降噪在组合振幅和相位差之前进行。
8.根据权利要求7所述的装置，其中滤波包括利用非局部空间变换滤波器进行滤波。
9.根据权利要求8所述的装置，其中所述非局部空间变换滤波器是非局部均值滤波器。
10.根据权利要求7至9中任一项所述的装置，其进一步被配置为通过以下而根据至少一个像素传感器经降噪的组合信号参数计算到所述物体的距离范围：
根据所述至少一个像素传感器经降噪的组合信号参数确定所述至少一个像素传感器经降噪的相位差；并且
使用所述至少一个像素传感器经降噪的相位差而计算所述至少一个像素传感器到所述物体的距离范围。
11.根据权利要求7至9中任一项所述的装置，其中所述组合信号参数是通过组合至少一个像素传感器的振幅和相位差而形成的复杂信号参数。
12.根据权利要求7至9中任一项所述的装置，其中所述飞行时间相机***的图像传感器至少部分基于光子混频器设备。
13.一种具有存储于其上的计算机程序代码的非瞬态计算机可读存储介质，所述计算机程序代码在被处理器执行时实现：
确定飞行时间相机***所发射的光信号和所述飞行时间相机***的图像传感器中的像素传感器阵列的至少一个像素传感器所接收的反射光信号之间的相位差，其中被所述至少一个像素传感器所接收的反射光信号从是被所发射的光信号照亮的物体反射的；
确定被所述至少一个像素传感器所接收的反射光信号的振幅；
将所述至少一个像素传感器的振幅和相位差组合成所述至少一个像素传感器的组合信号参数；并且
通过对所述至少一个像素传感器的组合参数进行滤波而对所述至少一个像素传感器的组合信号参数进行降噪，其中所述计算机程序代码在被处理器所执行时进一步实现以下至少一种：
通过对所述至少一个像素传感器的相位差进行滤波而对所述至少一个像素传感器的相位差进行降噪，其中对相位差进行降噪在组合振幅和相位差之前进行；并且
通过对所述至少一个像素传感器的振幅进行滤波而对所述至少一个像素传感器的振幅进行降噪，其中对振幅进行降噪在组合振幅和相位差之前进行。
14.根据权利要求13所述的非瞬态计算机可读存储介质，其中所述计算机程序代码在被处理器所执行时实现滤波，所述计算机程序代码进一步：
利用非局部空间变换滤波器实现滤波。
15.根据权利要求14所述的非瞬态计算机可读存储介质，其中所述非局部空间变换滤波器是非局部均值滤波器。
16.根据权利要求13至15中任一项所述的非瞬态计算机可读存储介质，其中所述计算机程序代码在被处理器所执行时可以进一步实现通过以下而根据至少一个像素传感器经降噪的组合信号参数计算到所述物体的距离范围：
根据所述至少一个像素传感器经降噪的组合信号参数确定所述至少一个像素传感器经降噪的相位差；并且
使用所述至少一个像素传感器经降噪的相位差而计算所述至少一个像素传感器到所述物体的距离范围。
17.根据权利要求13至15中任一项所述的非瞬态计算机可读存储介质，其中所述组合信号参数是通过组合至少一个像素传感器的振幅和相位差而形成的复杂信号参数。
18.根据权利要求13至15中任一项所述的非瞬态计算机可读存储介质，其中所述飞行时间相机***的图像传感器至少部分基于光子混频器设备。
CN201280078236.6A 2012-12-28 2012-12-28 用于对来自距离感应相机的数据进行降噪的方法和装置 Active CN105026955B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/FI2012/051304 WO2014102442A1 (en) 2012-12-28 2012-12-28 A method and apparatus for de-noising data from a distance sensing camera

Publications (2)

Publication Number Publication Date
CN105026955A CN105026955A (zh) 2015-11-04
CN105026955B true CN105026955B (zh) 2018-12-18

Family

ID=51019941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280078236.6A Active CN105026955B (zh) 2012-12-28 2012-12-28 用于对来自距离感应相机的数据进行降噪的方法和装置

Country Status (6)

Country Link
US (1) US10003757B2 (zh)
EP (1) EP2939049B1 (zh)
JP (1) JP6367827B2 (zh)
KR (1) KR101862914B1 (zh)
CN (1) CN105026955B (zh)
WO (1) WO2014102442A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
EP2894492B1 (en) * 2014-01-13 2020-10-28 Sony Depthsensing Solutions SA/NV A method for driving a time-of-flight system
US9439040B2 (en) * 2014-08-15 2016-09-06 Wensheng Hua System and method of time of flight detection
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
LU92688B1 (en) 2015-04-01 2016-10-03 Iee Int Electronics & Eng Sa Method and system for real-time motion artifact handling and noise removal for tof sensor images
US9864048B2 (en) * 2015-05-17 2018-01-09 Microsoft Technology Licensing, Llc. Gated time of flight camera
KR101720881B1 (ko) * 2015-12-03 2017-03-28 한양대학교 산학협력단 주성분 분석을 이용한 비지역적 평균 알고리즘 기반의 영상 잡음제거 방법 및 이를 이용하는 영상 처리 장치
WO2017169782A1 (ja) * 2016-03-31 2017-10-05 富士フイルム株式会社 距離画像処理装置、距離画像取得装置、及び距離画像処理方法
US9788770B1 (en) * 2016-04-14 2017-10-17 Verily Life Sciences Llc Continuous monitoring of tumor hypoxia using near-infrared spectroscopy and tomography with a photonic mixer device
JP2018036102A (ja) * 2016-08-30 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 測距装置、および、測距装置の制御方法
EP3507765A4 (en) 2016-09-01 2020-01-01 Duelight LLC SYSTEMS AND METHODS FOR FOCUS ADJUSTMENT BASED ON TARGET DEVELOPMENT INFORMATION
WO2018104464A1 (en) * 2016-12-07 2018-06-14 Sony Semiconductor Solutions Corporation Apparatus and method
US11341615B2 (en) * 2017-09-01 2022-05-24 Sony Corporation Image processing apparatus, image processing method, and moving body to remove noise in a distance image
EP3692393B1 (en) * 2017-10-02 2023-06-07 Tower-Sec Ltd. Detection and prevention of a cyber physical attack aimed at sensors
CN110956657B (zh) * 2018-09-26 2023-06-30 Oppo广东移动通信有限公司 深度图像获取方法及装置、电子设备及可读存储介质
US11393115B2 (en) * 2018-11-27 2022-07-19 Infineon Technologies Ag Filtering continuous-wave time-of-flight measurements, based on coded modulation images
WO2020130855A1 (en) * 2018-12-21 2020-06-25 Chronoptics Limited Time of flight camera data processing system
US11402477B2 (en) * 2019-03-01 2022-08-02 Beijing Voyager Technology Co., Ltd System and methods for ranging operations using modulated signals
CN110501691B (zh) * 2019-08-13 2022-03-08 Oppo广东移动通信有限公司 Tof模组的噪声滤除方法、tof模组及装置
CN110954921B (zh) * 2019-12-03 2022-01-04 浙江大学 一种基于块匹配3d协同滤波的激光雷达回波信号信噪比提升方法
CN111340723B (zh) * 2020-02-23 2022-04-15 武汉大学 一种地形自适应的机载LiDAR点云正则化薄板样条插值滤波方法
KR102491028B1 (ko) * 2020-09-25 2023-01-20 주식회사 포스코 기계부품 교정장치
US11927673B1 (en) * 2023-05-16 2024-03-12 Wireless Photonics, Llc Method and system for vehicular lidar and communication utilizing a vehicle head light and/or taillight

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5311271A (en) * 1992-01-21 1994-05-10 Dme/Golf, Inc. Golf course range finder
US5841522A (en) * 1996-08-01 1998-11-24 Lumen Laboratories, Inc. Phase detector
JP4543904B2 (ja) * 2004-11-30 2010-09-15 パナソニック電工株式会社 距離画像センサ
US7994465B1 (en) * 2006-02-06 2011-08-09 Microsoft Corporation Methods and devices for improved charge management for three-dimensional and color sensing
EP2026246A1 (en) * 2007-08-03 2009-02-18 Harman/Becker Automotive Systems GmbH Method and apparatus for evaluating an image
EP2073035A1 (en) * 2007-12-18 2009-06-24 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Recording of 3D images of a scene
CN101919230B (zh) * 2007-12-25 2013-02-13 梅迪奇视觉-脑科技有限公司 降低图像噪声的方法
WO2009097516A1 (en) * 2008-01-30 2009-08-06 Mesa Imaging Ag Adaptive neighborhood filtering (anf) system and method for 3d time of flight cameras
JP2009258006A (ja) * 2008-04-18 2009-11-05 Sokkia Topcon Co Ltd 光波距離計
EP2309285B1 (en) * 2008-07-24 2019-08-21 Toshiba Medical Systems Corporation Magnetic resonance imaging apparatus for contrast enhancement of flow images
JP5448617B2 (ja) * 2008-08-19 2014-03-19 パナソニック株式会社 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
JP5426344B2 (ja) 2009-12-04 2014-02-26 アズビル株式会社 物体検出センサおよび物体検出方法
JP6073786B2 (ja) * 2010-07-29 2017-02-01 ワイカトリンク リミテッド 対象物の距離特性および／または輝度特性を測定する装置および方法
US8548270B2 (en) * 2010-10-04 2013-10-01 Microsoft Corporation Time-of-flight depth imaging
KR101669819B1 (ko) * 2010-11-11 2016-10-27 삼성전자주식회사 깊이 영상의 고정밀 복원을 위한 필터링 장치 및 방법
KR20120057216A (ko) 2010-11-26 2012-06-05 삼성전자주식회사 깊이 센서, 상기 깊이 센서의 노이즈 감소 방법, 및 상기 깊이 센서를 포함하는 신호 처리 시스템
WO2014177750A1 (en) * 2013-04-29 2014-11-06 Nokia Corporation A method and apparatus for fusing distance data from a distance sensing camera with an image
KR102061699B1 (ko) * 2013-06-19 2020-01-02 삼성전자주식회사 이미지 센서, 이를 포함하는 이미지 처리 시스템 및 이의 동작 방법
CN106603942B (zh) * 2016-12-15 2019-12-03 杭州艾芯智能科技有限公司 一种tof相机降噪方法

Also Published As

Publication number Publication date
EP2939049B1 (en) 2018-02-28
EP2939049A1 (en) 2015-11-04
JP2016509208A (ja) 2016-03-24
US10003757B2 (en) 2018-06-19
WO2014102442A1 (en) 2014-07-03
EP2939049A4 (en) 2016-08-10
JP6367827B2 (ja) 2018-08-01
KR20150103154A (ko) 2015-09-09
KR101862914B1 (ko) 2018-05-31
US20150334318A1 (en) 2015-11-19
CN105026955A (zh) 2015-11-04

Similar Documents

Publication Publication Date Title
CN105026955B (zh) 用于对来自距离感应相机的数据进行降噪的方法和装置
CN105190426B (zh) 飞行时间传感器装仓
US10269104B2 (en) Method and apparatus for fusing distance data from a distance sensing camera with an image
TWI706152B (zh) 用於距離量測及／或多維成像之光電模組，以及獲得距離或三維資料之方法
US9372540B2 (en) Method and electronic device for gesture recognition
CN111932664A (zh) 图像渲染方法、装置、电子设备及存储介质
US20160127715A1 (en) Model fitting from raw time-of-flight images
CN108027441A (zh) 混合模式深度检测
CN105894492A (zh) 渲染对象的深度图像的t-o-f深度成像装置及其方法
US9589359B2 (en) Structured stereo
CN109584375B (zh) 一种物体信息显示方法及移动终端
CN103731611A (zh) 深度传感器、图像捕获方法和图像处理***
CN107607957B (zh) 一种深度信息获取***及方法、摄像模组和电子设备
KR20120075739A (ko) 이미지 처리 시스템 및 이미지 처리 방법
US10996335B2 (en) Phase wrapping determination for time-of-flight camera
CN113132704B (zh) 一种图像处理的方法、装置、终端以及存储介质
CN110047152A (zh) 基于虚拟环境的物体构建方法、装置及可读存储介质
WO2016196414A1 (en) Three-dimensional imaging sensor calibration
US11789133B2 (en) Time-of-flight sensor and method of calibrating errors in the same
JP2016183922A (ja) 距離画像取得装置及び距離画像取得方法
EP2843938B1 (en) Method, apparatus and computer program product for sensing of visible spectrum and near infrared spectrum
WO2023077412A1 (zh) 一种物体测距方法及装置
WO2020219244A1 (en) Mixed pixel unwrapping error mitigation by filtering optimization
US11651503B2 (en) Determining depth in a depth image
US20190340776A1 (en) Depth map interpolation using generalized likelihood ratio test parameter estimation of a coded image

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant