CN105005043B - 用于在目标空间中检测对象的运动的装置和方法 - Google Patents

用于在目标空间中检测对象的运动的装置和方法 Download PDF

Info

Publication number
CN105005043B
CN105005043B CN201410612450.6A CN201410612450A CN105005043B CN 105005043 B CN105005043 B CN 105005043B CN 201410612450 A CN201410612450 A CN 201410612450A CN 105005043 B CN105005043 B CN 105005043B
Authority
CN
China
Prior art keywords
signal
motion
distance
sensor signal
image capture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410612450.6A
Other languages
English (en)
Other versions
CN105005043A (zh
Inventor
J·格鲁恩沃尔德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infineon Technologies AG
Original Assignee
Infineon Technologies AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infineon Technologies AG filed Critical Infineon Technologies AG
Publication of CN105005043A publication Critical patent/CN105005043A/zh
Application granted granted Critical
Publication of CN105005043B publication Critical patent/CN105005043B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

一种用于在目标空间中检测对象的运动的装置，其中该对象位于相距图像捕获设备一段距离，该图像捕获设备被配置为测量距离并且提供指示该距离的传感器信号，如果对象静止则该传感器信号可分解在包括奇次谐波的分解中。该装置包括：确定模块，被配置为接收传感器信号并且生成至少一个运动信号，该运动信号取决于传感器信号的分解的至少一个偶次谐波；以及检测模块，被配置为基于该至少一个运动信号检测该对象的运动并且提供指示该对象的运动的检测信号。

Description

用于在目标空间中检测对象的运动的装置和方法
技术领域
本公开涉及用于在目标空间中检测对象的运动的装置和方法，并且具体涉及飞行时间(ToF)成像中的运动伪影的基于像素的并且无存储器的片上测量。
背景技术
近来，三维成像技术诸如TOF获得了更多的兴趣。然而，为了在场景中正确地确定从成像设备到对象的距离，需要执行距离测量，该距离测量通常花费一段时间。另一方面，如果对象在该段时间期间移动，则因为在运动期间对象改变其位置所以能够生成伪影并且不能唯一地定义对象位于哪里。如果要进一步处理三维成像，则必须考虑这样的伪影。
发明内容
有需求提供用于在目标空间中检测对象的运动的装置和方法，以便使得成像设备能够考虑运动伪影。
本公开涉及一种用于在目标空间中检测对象的运动的装置，其中对象位于相距图像捕获设备一段距离，该图像捕获设备被配置为测量该距离并且提供指示该距离的传感器信号，如果对象静止则该传感器信号可分解在包括奇次谐波的分解中。该装置包括：确定模块，被配置为接收该传感器信号并且基于该传感器信号的分解的至少一个偶次谐波生成至少一个运动信号。该装置还包括检测模块，被配置为针对每个帧基于至少一个运动信号检测该对象的运动并且提供指示该对象的运动的检测信号。
本公开还涉及一种用于在目标空间中检测对象的运动的装置，该对象位于相距图像捕获设备一段距离，该图像捕获设备被配置为发射波并且接收在该对象处被反射的反射波以从对象捕获图像，该图像捕获设备还被配置为取决于反射波而提供传感器信号，其中所发射的波包括预定波长并且该图像包括多个像素。该装置包括组合模块，被配置为接收传感器信号作为与预定波长关联的多个采样值并且形成该多个采样值的组合以使得如果对象静止则该组合包括预定值。该装置还包括检测模块，被配置为检测指示该对象的运动的、与组合的预定值的偏差，其中该检测模块还被配置为输出指示所检测的与该预定值的偏差的检测信号作为指示该对象的运动的信号。
本公开还涉及一种用于在目标空间中检测对象的运动的方法，其中该对象位于相距图像捕获设备一段距离，该图像捕获设备被配置为测量该距离并且提供指示该距离的传感器信号，如果该对象静止则该传感器信号可分解在包括奇次谐波的分解中。该方法包括：接收该传感器信号，该传感器信号包括任意数目的每帧基本上等距地采样的值；基于该传感器信号的分解中的至少一个偶次谐波生成至少一个运动信号；以及基于该至少一个运动信号检测该对象的运动并且提供指示该对象的运动的检测信号。
附图说明
下面将仅通过示例的方式并且参考附图来描述该装置和/或方法的一些示例，在附图中：
图1A描绘用于检测对象的运动的装置的框图；
图1B描绘用于检测对象的运动的另一装置的框图；
图2描绘包括用于检测对象的运动的装置的***；
图3图示使用传感器响应函数的距离测量；
图4图示由对象的运动引起的运动伪影；
图5图示与对象的不同距离有关的传感器响应函数；
图6图示在采样程序期间由于距离转换而引入到传感器响应函数的非对称；
图7图示运动伪影和偶次谐波之间的联系；
图8图示没有运动对象的图像；
图9图示图8的具有对象的常规运动的图像；
图10图示具有强移动对象的图像；
图11图示具有移动对象的、经过过滤和没有经过过滤运动伪影的图像的比较；以及
图12示出用于在目标空间中检测对象的运动的方法的框图。
具体实施方式
飞行时间(ToF)是一种基于发射的(和反射的)波(诸如光线、红外辐射或者其它电磁波或者声波)的传播延迟测量的3D图形技术。所发射的波可以是在某个频率fmod(例如在200kHz到100MHz之间或者5MHz到50MHz之间或者大约20MHz)处被调制并且成像设备可以具有传感器，该传感器能够在所发射的波返回时，根据它的相移以及波的传播速度(例如光速)重新构建传播的距离。该相移转而通过将入射信号与其非延迟项进行相关来估计。例如，在片上所发射的波或者其相位信息能够被传输到处理单元，该处理单元可以使用这一信息根据所反射的波(例如，通过组合两个波)生成相关函数。在这一过程中，图像的一个像素的输出能够由所生成的相关函数的N个等距采样给出，该相关函数也被称为传感器响应函数(SRF)。该采样的数目能够通过在准确性和计算工作量之间进行折衷而选择。可能的采样数目是：N＝3，4，6，8...。传感器响应函数的形状可以在三角形状和正弦形状之间改变，其取决于调制频率。
参考图示了一些示例的附图，现在将更加详细地描述各种示例。在图中，为了清楚起见，可以夸大线的粗细、层和/或区域。
据此，虽然示例能够有各种修改和备选形式，本文仍然将详细描述图中的说明性示例。然而，应当理解的是，不旨在将示例限制于所公开的特定形式，而是相反，示例要涵盖落在本公开的范围内的所有修改、等同和备选。贯穿对图的描述，同样的数字指的是同样的或相似的元件。
将被理解的是，在元件被称为被“连接”或“耦合”到另一元件时，它可能被直接连接或耦合到其它元件或者可能存在中间元件。相比之下，在元件被称为被“直接连接”或“直接耦合”到另一元件时，没有中间元件存在。用于描述元件之间的关系的其它词语应当以同样的方式来解释(例如，“在...之间”对“直接在...之间”，“毗邻”对“直接毗邻”等)。
本文中所使用的术语仅是为了描述特定说明性示例的目的并且不旨在于进行限制。如本文中所使用的，单数形式“一”、“一个”和“该”旨在也包含复数形式，除非上下文另外明确指示。还将理解的是，术语“包括”、“包含”和/或“含有”在本文中使用时指定所陈述的特征、整数、步骤、操作、元件和/或组分的存在，但是不排除存在或添加一个或多个其它特征、整数、步骤、操作、元件、组分和/或它们的组。
除非另外定义，本文中所使用的所有术语(包含技术和科学术语)具有与由示例所属领域的普通技术人员通常理解的相同的含义。将进一步被理解的是，例如那些在常用字典中定义的术语应当被解释为具有与它们在相关领域的上下文中的含义一致的含义，并且不会在理想化或过于正式的意义上来解释，除非本文中明确地如此定义。
图1A描绘用于在目标空间中检测对象的运动的装置100A，其中该对象位于相距图像捕获设备一段距离，该图像捕获设备被配置为测量该距离并且提供指示该距离的传感器信号。如果对象(关于该图像捕获设备)静止则传感器信号105可分解在包括(已标识的)基波的奇次谐波的分解中。该装置100A包括：确定模块110A，被配置为接收传感器信号105并且基于该传感器信号105的分解的(已标识的)基波的至少一个偶次谐波生成至少一个运动信号115A；以及检测模块120A，被配置为基于至少一个运动信号115检测该对象的运动并且如果运动已经被检测到则被配置为提供指示该对象的运动的检测信号125。
可以理解，在实际检测中，例如由于噪声和/或信号处理，因此奇次谐波和偶次谐波总会存在，并且可以理解仅考虑例如涉及理想化的情形的一种类型的谐波。因此，例如当提到只包括奇次谐波的分解时，如果对象静止，则人们可能指代偶次谐波的贡献低于预定阈值(例如，低于总体信号的1％或者低于总体信号的10％)的情形，使得偶次谐波的贡献能够被忽略或者被认为是噪声。
例如，确定模块110或者检测模块120确定传感器信号的分解内的基波的偶数阶的谐波的部分高于或者低于预定阈值。例如，对于静止的对象，传感器信号的分解内的基波的偶数阶的谐波的部分可能低于预定阈值；对于运动中的对象，传感器信号的分解内的基波的偶数阶的谐波的部分可能高于预定阈值。
在装置100A中，该图像捕获设备200可选地被配置为捕获包括多个像素的图像，并且确定模块110A可选地被配置为接收传感器信号105并且针对该多个像素中的每个像素生成运动信号115而不依靠该多个像素的相邻像素。
在装置110A中，该图像捕获设备200可选地被配置为发射波210e，被配置为接收在该对象102处反射的反射波210r以从该对象102捕获图像，并且可选地被配置为提供传感器信号105作为传感器响应函数。该装置100A还可以包括采样模块，被配置为对该传感器信号105采样以使得反射波210r的每个波长的至少一部分被采样N个值。
在装置100A中，采样数目N可以可选地是偶数并且至少一个偶次谐波具有N/2阶。
在装置100A中，运动信号115A可选地只从与反射波210r的每个采样波长的至少一部分关联的N个采样值取得。
在装置100A中，运动信号115A中的至少一个偶次谐波可选地是二次谐波。
在装置100A中，运动信号115A中的至少一个偶次谐波还包括代表偏置的零次谐波。
一个示例涉及用于在目标空间中检测对象的运动的装置100，其中该对象位于相距图像捕获设备一段距离，该图像捕获设备被配置为测量距离并且提供指示该距离的传感器信号。如果对象静止则传感器信号105可分解在只包括奇次谐波的分解中。该装置100包括：确定模块110，被配置为接收传感器信号105并且生成取决于传感器信号105的分解的至少一个偶次谐波的至少一个运动信号115；以及检测模块120，被配置为基于至少一个运动信号115检测对象的运动并且如果运动已经被检测到则提供指示该对象的运动的检测信号125。
图1B描绘用于在目标空间中检测对象的运动的进一步的装置100B，该装置包括组合模块110B和检测模块120B。该对象位于相距图像捕获设备一段距离(该图像捕获设备未示出并且可以是或者可以不是装置100B的部分)，该图像捕获设备被配置为发射波并且接收在该对象处被反射的反射波以从该对象捕获图像。该图像捕获设备还被配置为提供取决于所反射的波的传感器信号，其中所发射的波包括预定波长并且该图像包括多个像素。该组合模块110B被配置为接收该传感器信号105作为与预定波长关联的多个采样值并且形成该多个采样值的组合115B使得如果该对象静止则该组合包括预定值。该检测模块120B被配置为检测指示该对象的运动的、与该组合115B的预定值的偏差，其中该检测模块120B还被配置为输出指示所检测的与所述预定值的偏差的检测信号125作为指示该对象的运动的信号。
在装置100B中，采样的组合115B可选地代表从该传感器信号取得的多个采样的离散傅里叶分解中的偶次谐波。
在装置100B中，采样的组合115B可选地是取决于取自一段预定波长内的后续采样值的交错总和的函数。
在装置100B中，检测模块120B可选地还被配置为生成取决于取自一段预定波长内的后续采样值的总和的、多个采样的另一组合。
在装置100A或者装置100B中，检测模块120A、B还被配置为检测运动的方向。该检测可以基于零次谐波或者采样的相应的组合(例如总和)来执行。
如图1A、1B中描绘的装置100A或者装置100B能够例如被并入如图2所示的***300中。具体地，图2的***400包括图像捕获设备200，该图像捕获设备被耦合到装置100A以提供传感器信号105，其中图像捕获设备200可以被配置为捕获目标空间的三维图像(即包括目标空间中的对象的深度信息)。为取得该深度，该图像捕获设备200包括波发射器220和波接收器230。该波发射器220被配置为在目标空间中发射波210e，该目标空间中对象102在距离B处。所发射的波210e传播到该对象102，在该对象102处至少部分被反射并且返回到该图像捕获设备200作为反射波210r。该波接收器230被配置为从该对象102接收该反射波210r。该装置100B能够以与装置100A相同的方式被包括在***400中，即装置100A能够被装置100B替代。
对象102以相距背景500之前的图像捕获设备距离B的方式位于目标空间内，该背景也会反射发射波210e。波210需要时间段以用于沿着其路径向对象102进行传播以及自该对象102进行传播，其可以通过使用波的传播速度而被用来计算该距离B。例如，如果波是光信号或者另一电磁波信号(例如，红外波信号或者无线电波信号)，则传播速度是光速，然而对于使用声学波，其传播速度是声学波例如在空气中传播的速度。
反射波信号210r与发射波信号210e有关，因为反射波信号210r是在对象处被反射的发射波信号210e的延迟版本。只要对象102静止并且不移动，发射波信号210e和反射波信号210r两者都包括相同的频率。当到达波接收器230时，可以基于反射波210r在波接收器230处的到达信号相比于发射波210e的相移来测量波信号从图形捕获设备200向对象102行进并且从对象102向图像捕获设备200返回所需的时间段。进一步的细节将结合图3陈述。
图像捕获设备200向装置100A(或者装置100B)转发至少部分关于所接收的波信号210r的信息(或者基于该波信号的信号)。另外，可以同样地从光发射器220向该装置100A(或者该装置100B)传递至少一些信息。例如，为了能够计算反射波信号210r相比于发射波信号210e的相移，可以向该装置100A(或者该装置100B)转发至少在发射时指示发射波210的相位的信号(例如发射光信号211的零交叉)作为部分的传感器信号105，或者可以以某种方式(例如作为传感器响应函数)将至少在发射时指示发射波210的相位的信号(例如发射光信号211的零交叉)并入传感器信号105中。该图像捕获设备200还可以包括处理模块240，被配置为接收反射波信号210r和发射波信号210e(或者指示其相位的信号)并且还可以被配置为基于所接收的信号确定相关函数(传感器响应函数SRF)。该相关函数可以被作为通过对该相关函数进行采样获得的采样x[n]的离散集(见下面的等式)而获得。在另一示例中，对传感器响应函数的采样可以由装置100A、B中包括的可选采样模块来执行，在该情况中可以向该装置100A(或者该装置100B)转发来自波接收器230和波接收器220的信号而不通过处理模块240进行事先处理以生成传感器响应函数。该处理单元240还可以被适配以确定发射波信号210e和反射波信号210r之间的相位差并且基于该相位差确定距离B。
来自图像捕获设备200的传感器信号105可以被输入进确定模块110A(或者组合模块110B)以生成运动信号115，该运动信号115被转发至检测模块120A、B。该检测模块120A、B接着被配置为检测运动信号115的指示该对象102的运动的分量。该运动可以与纵向(即在波210的传播方向上)的运动或者横向运动(垂直于传播的波210)有关。虽然对于横向运动，至对象102的距离B不变化，但是当波210在背景处而不是在对象处(在对象210的边缘处)突然被反射时，这一横向运动会导致突然的距离变化。因此，这些横向运动尤其造成本公开检测的运动伪影。
能够使用离散傅里叶分析对传感器信号105采样并且将其分解成多个谐波。例如，只要对象102没有移动并且静止，则只有奇次谐波被包括在传感器信号105中。在这样的设置中，例如传感器信号105的分解中至少一个偶次谐波贡献的出现指示该对象102的运动并且因而能够被用作检测信号125。因此，例如通过形成采样值x[n]的特定组合，确定模块110A(或者组合模块110B)可以生成一个或多个偶次谐波X[2k]或者它们的函数f作为运动信号115。
如图2所描绘的***400还可以包括可选的掩蔽单元150，该掩蔽单元150被配置为使用检测信号125对图像捕获设备200拍摄的图像的至少部分进行过滤或者变换，以便估计图像中的运动伪影。该图像捕获设备200还可以逐像素地捕获图像并且生成包括多个像素的图像。对于每个像素，单独的传感器信号105被转发至装置100A(或者装置100B)以便检测各个像素是否受运动伪影影响，使得掩蔽单元150能够相应地处理各个像素。
因此，在另一示例中，图像捕获设备200被配置为捕获包括多个像素的图像，并且其中确定模块110A(或者组合模块110B)被配置为接收传感器信号105并且不依靠多个像素的相邻像素来针对多个像素的每个像素生成运动信号115。
然而，***400可以不包括所有示出和描述的组件。在下面，一些其它示例被定义用于该***400。该***400至少包括装置100A(或者装置100B)以及用于捕获有对象102的目标空间的三维图像的图像捕获设备200。该图像捕获设备200可以包括信号发射模块220，被配置为将波信号210e发射进目标空间；以及信号接收模块230，被配置为接收从对象102反射的反射波信号210r，其中该图像捕获设备200被配置为提供取决于反射波210r的传感器信号105以及提供指示发射波信号210e的相位的信息。
该***400可选地还包括处理单元240，该处理单元240被配置为确定发射波信号210e和反射波信号210r之间的相位差，以及基于该相位差可选地确定在目标空间中的***和对象之间的距离B。
在***400中，图像捕获设备200可选地被配置为提供传感器信号105作为多个采样值使得反射波210r的每个波长的至少一部分被采样N个值。
在***400中，光发射模块220可选地被配置为使用载波信号发射波信号210e作为调制信号，其中处理单元240可选地还包括被配置为取得调制信号的解调器，该调制信号具有预定波长。
***400可选地被配置为检测对象102上至最大距离的距离B，并且其中预定波长可选地被选择使得长于该最大距离(例如，长于该最大距离的两倍)。
对象102可选地位于背景500之前，该***400可选地还包括掩蔽模块150，该掩蔽模块被配置为将针对其该至少一个运动信号115A(或组合115B)包括小于或者大于预定阈值的值的每个像素值设置为背景500的像素值。
在***400中，信号接收模块230可选地被配置为捕获目标空间的图像的多个帧并且其中装置110A或者110B可选地被配置为在多个帧的每个帧内检测对象102的运动。该运动的检测可以不依靠在前或者在后的帧中存在的信息来进行。
图3图示一种距离估计算法，其中计算基波(一次谐波)的相位并且根据该值重新构建距离信息。具体地，图3描绘传感器响应函数的典型形状作为传感器信号105的示例，该传感器响应函数表示反射波210r和发射波210e之间的相关性。
所描绘的传感器响应函数可以包括谐波形状，该谐波形状可以或者可以不涉及发射波210e。总体上，发射波210e可以用高频率载波信号来调制并且代表低频率调制信号。为了确保在感兴趣的距离区域的高灵敏度，可以选择低频率信号的波长以使得通常距离B在一个波长内(例如在波长的从5％至90％的范围内)。因此，如图3所描绘的传感器响应函数可以从解调之后的反射波取得。
可以针对每个像素对(以最低有效位(LSB)为单位测量的)传感器响应函数进行采样，这需要重新构建由波接收器230接收到的信号的相应的波形。在本情况中，针对(涉及相应的采样实例或者时间点)的在301处(例如0度)、302处(例如90度)、303处(例如180度)以及304处(例如360度)的相位角进行四个等距的采样。在其它示例中，所接收的信号能够被采样更多或者更少的采样。例如，(例如发射波210e的)每个波长的采样数目N可以是N＝3、4、6、8或者任何其它整数(大于3)。
另外，获得涉及发射波210e的相位信息以便正确地确定相移。例如，可以通过确定SRF的(基波以及)最高次谐波或者最低次谐波来标识相位信息。备选地，该相位信息能够用相应的信号的(例如通过忽略DC偏置(该DC偏置可以转移零交叉)的)零交叉来标识，使得发射波210e的相位可以用线310来标识，其说明当发射波210e具有360度的相位角时线310对应于时间。另一方面，反射波210r从图形捕获设备200向对象102行进以及从对象102返回，使得最大值、最小值和/或零交叉在较晚的时间320出现。该相移给出距离B。所描绘的包括相移的传感器响应函数可以由处理单元240来确定。
下面飞行时间成像中的运动伪影被更详细地解释。传感器响应函数的N个采样是按顺序获取而不是同时获取的事实，似乎只对于当由一个像素观测到的至对象102的距离在采样程序期间保持不变的情况允许一致性测量。如果该距离在该采样期间变化，则传感器响应函数会变得不一致并且会引入深度伪影并且能够使用本公开消除。
运动伪影问题尤其涉及对象检测、标识以及跟踪范畴，该范畴是例如飞行时间相机的一个主要应用领域。在这一场景中，在前景中潜在地以特定速度移动的一个或者多个对象可以被识别并且实时跟踪。显然，由于损坏的信息，运动伪影会严重挑战所采用的算法。
图4描绘常规移动的手的深度图像，该图像示出将典型的运动伪影(即手)描绘为在背景500前移动的对象102的示例。由于移动的手102的轮廓涉及特定的像素并且检测到的至对象102/背景500的距离快速变化(从至手的距离变化为至背景的距离或者相反)，因此图像的这些像素或者这些点受制于本公开检测的运动伪影。通过所描绘的手102的模糊边界，运动伪影可见于图4中，并且装置100A、B能够标识相应的像素以使得能够将失真的像素对应地掩蔽。
如前所述，当一个像素捕获的距离在采样程序期间变化时出现运动伪影并且这些伪影涉及传感器响应函数中的修改。
图5图示在较大距离A的对象(图5的上图510)相比于在较小距离B的对象(图5的下图520)的传感器响应函数SRF。注意的是，由于发射波210e的强度以距离的平方降低的事实，总体上假设更大的距离导致具有较低振幅的传感器响应函数。反之亦然，下图520中所描绘的闭点总体上导致传感器响应函数中的高振幅。
图5中传感器响应函数的两个示例涉及对象的距离不变化的情况。然而，如果采样被获取在时间实例处，观测到的距离从A变化到B(或者相反)，则实际捕获的传感器响应函数能够被建模为两个潜在的传感器响应函数的线性组合。由于光学通道的线性、像素本身足够高的线性，该假设有效，并且是移动的物理对象102的“连续性”的结果。
图6描绘所得的传感器响应函数，即当传感器响应函数510与(也在图6中示出的)传感器响应函数520进行组合时，其中所描绘的图620对应于对象从距离A到距离B的运动并且图610对应于从距离B到距离A的运动。因此，能够观测到在转换的任意一个方向中传感器响应函数变得不平衡(即非对称)。
传感器响应函数能够使用傅里叶分析进行分解以使得传感器响应函数可表示为谐波(即具有不同波长或者频率的多个正弦函数和余弦函数)的叠加。因此，只要传感器响应函数变得非对称(例如只使用奇次谐波不可以代表)，则波谱失真，这意味着(i)基波的相位不再产生关于距离的有效信息，并且(ii)偶次谐波被引入到波谱中。这两个事件因果相关。因此，无论距离信息是否有效，波谱中的偶次谐波提供可靠的信息。换句话说，它们可以提供对于运动伪影的测量。
另外，只要运动伪影出现，传感器响应函数的所有采样的平均值就改变。该平均值被称为所谓的DC偏置。然而，虽然该平均值理想地是零，但是在实际实现方式中，它不是零。更糟的是，DC偏置潜在地以随机方式取决于传感器响应函数振幅。然而，如果特别小心对待，它也可以提供关于运动伪影的可靠信息。为了方便以及如果没有另外声明，DC偏置将在本公开剩余部分被包括在术语“偶次谐波中”。这也受到DC偏置涉及第零阶离散傅里叶变换(见下文)并且定义具有偶校验对称性的常数部分的事实的激励。
图7图示在本公开中使用的、运动伪影的出现和例如傅里叶分解(或者离散傅里叶分析或者变换，DFT)的分解中的偶次谐波的出现之间的关系。
如前所述，反射波信号210r和发射波信号210e之间的相关能够由相关函数来表达并且该相关函数(虽然其没有被计算或者详细已知)具有能够在谐波激励中被分解的属性，其可以针对图像的每个像素单独地(即不进一步知道相邻像素值)进行分解。类似地，图像捕获设备200还可以被配置为捕获多个图像(例如作为视频信号的部分)并且这些多个图像也可以被称为帧(例如每个图像可以定义帧)。对于这一情况，设备也可以被配置为针对每个帧确定运动信号115和检测信号125而不进一步知道之前的像素值。
尤其，只要对象没有移动，在分解中就只出现奇次谐波(例如如果忽略由于噪声或者信号处理的失真)。如果对象102开始移动，奇次谐波和偶次谐波两者可以是傅里叶分解的部分。因此，不止一种谐波出现在傅里叶分解中的事实明确指示对象102的运动并且能够被用作对象的运动的指示器。
因此，本公开的核心是用于测量运动伪影的单帧并且基于像素的片上算法，该算法基于SRF的偶次谐波的计算。
总体而言，取得的运动伪影的灵敏值(FoM)因而是以SRF的偶次谐波为参数的任何函数(该函数由N个等距的采样给出)，例如，
其中X[k]指代SRF的N个点的DFT的第k项，即
在该联系中，n代表时间索引并且k代表频率索引。定义FoM的函数f可以被认为是装置100A、B的运动信号115并且能够被自由选择。在最简单的情况中，函数f不对偶次谐波进行变换以使得FoM被X[2k](k＝0，1，2，...)中的一个给出。在其它示例中，如果对特定的偶次谐波特别感兴趣，则它们能够由函数f进行放大。该函数f可以例如用多项式行为或者指数行为实现，或者也可以是实现阈值的阶跃函数，超过该阈值运动将被检测到以使得噪声能够被过滤。该阈值对于不同的谐波可以不同。
在表达式(2)中，x[n]表示具有采样索引n的、在参考相位(代表弧度)进行采样的SRF。采样x[n]可以被作为是输入到装置100A、B中的传感器信号105并且这些采样能够取自装置100A、B耦合到的任何图像捕获设备200。注意的是N个点DFT只产生上至[N/2]的有效频率分量。
本公开能够在任何ToF成像器(即图像捕获设备200)上实现，其递送SRF的原始数据作为输出。用四个参考相位操作的ToF***的实现可以特别简单。在这一情况中，零次谐波和二次谐波计算如下
其只需要非常基础的运算操作。对于这一示例(具有N＝4)，可以强调来自傅里叶分析的两个观察。
二次谐波是能够被计算的唯一的偶次谐波，并且包括所有偶次谐波的别名分量。
二次谐波总是实数。
观察(i)可以或者可以不具有正面效果，但是由于没有复数，因此显然地观察(ii)显著简化了计算。
在一个示例中，定义运动信号115的两个非常基本的FoM可以使用等式(1)中函数f的恒等函数来定义，即
因此，运动信号115可以简单地是后续采样值的总和或者交错总和。注意的是，不会对采样值执行绝对值或者任何其它运算，使得运动信号115能够由简单计算而取得。
在另一个示例中，数值N可以不同。例如，N可以选择为8，在该情况中四次谐波将是实数并且可以其适合作为运动信号115。总体上，N可以被选择为偶数值并且具有N/2阶的谐波可以被选择为运动信号115。然而，在又一示例中，这些数值可以被不同地选择。通过选择偶数个采样N，偶次谐波和奇次谐波的混合由于混叠效应可以被避免。
该简单结果基于偶次谐波是运动伪影的测量而不是估计的事实。计算算法是稳定的并且不要求任何概率考虑或者参数化。所采用的算法能够以非常直接的方式在片上实现。偶次谐波的计算不需要任何附加存储元件也不要求复杂算术。此外，该方法在单像素基础上操作，因此不要求关于相邻像素的知识。该方法只以当前帧的N个采样为基础，因此它不需要关于过去/未来帧的任何信息并且因此是无存储器的。(诸如对于基于事件检测的算法)测量是连续的并且不是离散的。因此，它包含关于运动伪影严重性的信息。关于方向的信息(近到远/远到近)也可以被提取。
本公开的潜在优势根据图8至图10所描绘的结果会更加明显。
图8左边是不移动的手102的深度图像，而中间描绘的是所得的FoMMA，4ph_0(DC偏置或者零次谐波)并且右边描绘的是所得的FoMMA，4ph_2(二次谐波)。
图9左边是常规移动的手102的深度图像，而中间描绘的是所得的FoMMA，4ph_0(DC偏置)并且右边描绘的是所得的FoMMA，4ph_2(二次谐波)。
图10左边是强移动的手102的深度图像，而中间描绘的是所得的FoMMA，4ph_0(DC偏置)并且右边描绘的是所得的FoMMA，4ph_2(二次谐波)。
从这些图8至图10，人们可以取得二次谐波中存在的、在空间方面看起来显然比DC偏置更精确的信息，运动的方向(远到近相比近到远)更一致地包含在DC偏置中。然而，在具有不移动的手102的场景中能够看到DC偏置被SRF的变化振幅强烈地影响。而且，图8(中间)示出DC偏置不是强的运动伪影的指示，因为DC偏置即使对于静止的手(不移动的手)也保持为非零，然而二次谐波生成与运动的角度成比例的信号。
参见图8至图11，对于不同场景(不移动/常规移动/强移动)，在标准四相位ToF***上评估所提议的FoM的性能。像素的DC偏置潜在地是非零以使得可以执行与背景图像(即没有手)的最初的偏置校准。
为了进一步显示本公开中所提议的FoM的潜在优势，提供了补偿算法的简短概述和性能评估。
鉴于当前在远处的背景前方移动手的场景，可以检测例如“远到近”(即从背景到手)的转换或者“近到远”(即从手到背景)的转换。在检测之后，可以执行相应的像素的替代。例如，如果已知背景信息，或者背景信息另外有不同于手的深度值的其它值，则谈论中的像素的深度值能够用背景信息(深度_背景)来替代。
在检测程序中，可以应用适当的二元阈值(FOM_THRESHOLD)以产生掩蔽的二次谐波FoM，其中伪影可以或者不可以被抑制。例如，对于在位置(x，y)的每个像素
if(FoM(x，y)＞FOM_THRESHOLD)
depth(x，y)＝depth_background(x，y)
例如，如果二次谐波X[2]大于该二元阈值，则该式将相应的像素的深度值设置为背景值。
图11示出对于每个场景(行)的非常简单的抑制算法的结果。顶行描绘不移动的手，中间行描绘常规移动的手以及下行描绘强移动的手。最左列中的图片是相应的深度图像并且在(从左边起)第二列中的图片是经处理的深度图像。右边列中的图片示出具有适当阈值的非常基本的二元分割的结果，即在(从左边起)第三列中示出针对原始深度图像的分割结果并且(从左边起)第四列示出经处理的分割结果。该分割可以再次通过将FoM大于阈值的像素值设置为背景值而获得。在右边两列中的分割结果都可以由简单的二元分割(对于背景将值设置为“0”或者对于手将值设置为“1”)而获得，例如定义如下：
if(depth(x，y)＜DEPTH_THRESHOLD)
hand_segmented(x，y)＝1；//Hand
else
hand_segmented(x，y)＝0；//Background.
图11中经处理的列(第二列和第四列)指示根据所提出的算法运动伪影被抑制。很明显，运动伪影被极大地减少，即使在强移动的手的情况中。
所描述的实现方式使用关于背景的静态信息，该静态信息可能或者不适合(移动的背景)或者(由于存储器限制)不可行。将强调的是，可以开发更复杂并且更有效率的抑制算法的构思。该算法不需要任何附加的存储器但是仅依靠仍然在存储器中的来自过去的帧的深度信息。
图12示出用于在目标空间中检测对象102的移动的方法700的流程图，其中对象102位于相距图像捕获设备200距离B，该图像捕获设备被配置为测量距离B并且提供指示距离B的传感器信号105。如果对象102静止，传感器信号105可分解在包括使用奇次谐波的分解中。该方法700包括S110接收的传感器信号105；S120生成至少一个运动信号115，该信号取决于传感器信号105的分解中的至少一个偶次谐波；以及S130基于至少一个运动信号115检测对象102的运动并且提供指示对象102的运动的检测信号125。
在方法700中，图像捕获设备200可选地被配置为捕获包括多个像素的图像并且其中传感器信号105可选地包括多个像素的每个像素的像素值，其中S110接收行为、S120生成行为以及S130检测行为的至少一个行为可选地仅依靠一个像素的像素值而被执行。
总的来说，本公开描述一种快速的并且鲁棒的测量所述运动伪影的方式，该方式仅以输出的像素的N个采样为基础，这意味着不要求任何附加知识，诸如过去的帧、像素邻域等。该计算可以片上实时地执行并且作为相关算法的基础。
根据本公开，装置100A、B因此具有低复杂性并且不需要任何过去的或者相邻的采样或者像素并且不产生针对运动伪影的二次测量，而是提供指示运动伪影出现的准连续测量。因此，根据本公开的装置不要求高计算资源并且可以被应用到需求高帧率的实时应用中。
装置100A、B可以包括对应于联系所提出的概念或者上面描述的一个或多个示例提到的一个或多个方面的一个或多个附加可选特征。
方法700可以包括对应于联系所提出的概念或者上面描述的一个或多个示例提到的一个或多个方面的一个或多个附加可选行为。
一种涉及方法700的示例，该方法用于在目标空间中检测对象102的运动，其中对象102位于相距图像捕获设备200距离B，该图像捕获设备被配置为测量距离B并且提供指示距离B的传感器信号105。如果对象102静止，传感器信号105可分解在包括使用奇次谐波的分解中。方法700包括接收S110的传感器信号105；生成S120至少一个运动信号115，该信号取决于传感器信号105的分解中的至少一个偶次谐波；以及基于至少一个运动信号115检测S130对象102的运动并且如果运动被检测到，提供指示对象102的运动的检测信号125。
示例还可以提供具有程序代码的计算机程序，以用于在计算机程序在计算机或处理器上被执行时，执行上面方法中的一种方法。本领域技术人员将容易地认识到，上述各种方法的步骤可以由编程的计算机来执行。本文中，一些示例还旨在涵盖例如数字数据存储介质的程序存储设备，其是机器或者计算机可读的并且编码机可执行的或计算机可执行的指令程序，其中该指令执行上述方法的行为的一些或全部。该程序存储设备可以是例如数字存储器、诸如磁盘和磁带之类的磁存储介质、硬盘驱动器或者光学可读数字数据存储介质。示例还旨在涵盖被编程以执行上述方法的行为的计算机，或者被编程以执行上述方法的行为的(现场)可编程逻辑阵列((F)PLA)或(现场)可编程门阵列((F)PGA)。
描述和附图只是说明本公开的原理。因此应当理解的是，本领域技术人员将能够设计出各种布置，它们尽管在本文中没有被明确地描述或示出，但是体现了本公开的原理并且包含在其精神和范围内。此外，本文中所列举的所有示例主要专门旨在仅用于教学目的，以帮助读者理解本公开的原理以及由(多个)发明人贡献以推动本领域的概念，并且要被解释为不限于这些具体列举的示例和条件。此外，本文中列举本公开的原理、方面和示例的所有陈述及其具体示例旨在包含其等同。
表示为“用于...的装置”的功能块(执行某些功能)应该被理解为包括被配置用于分别执行某些功能的电路装置的功能块。因此，“用于某事的装置”也可以被理解为“被配置用于或者适合于某事的装置”。因此，被配置用于执行特定功能的装置并不意味着这些装置必定(在给定的时刻)正在执行功能。
附图中示出的各种元件的、包含标记为“装置”、“用于提供传感器信号的装置”、“用于生成发送信号的装置”等的任何功能块的功能可以通过使用诸如“信号提供者”、“信号处理单元”、“处理器”、“控制器”等之类的专用硬件以及能够与适当软件关联执行软件的硬件来提供。而且，本文中描述为“装置”的任何实体可以对应于或者被实现为“一个或多个模块”、“一个或多个设备”、“一个或更多个单元”等。在由处理器提供时，可以由单个专用处理器、由单个共享处理器或者由多个单独的处理器(其中的一些可以被共享)来提供该功能。而且，明确使用术语“处理器”或“控制器”不应当被解释为专指能够执行软件的硬件，并且可以隐含地包括(但不限于)数字信号处理器(DSP)硬件、网络处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)以及非易失性存储装置。还可以包括常规和/或定制的其它硬件。
应当由本领域技术人员理解的是，本文中的任何框图表示体现本公开原理的说明性电路装置的概念视图。类似地，将理解的是，任何流程表、流程图、状态转换图、伪码等表示其可以被基本上表示在计算机可读介质中并且因此由计算机或处理器执行的各种过程，无论这样的计算机或处理器是否被明确示出。
此外，以下权利要求以此方式被并入具体实施方式，其中每项权利要求可以独立作为单独的示例。虽然每项权利要求可以独立作为单独的示例，要注意的是-尽管在权利要求中从属权利要求可以涉及与一个或多个其它权利要求的特定组合-其它示例还可以包括从属权利要求与每个其它从属权利要求或独立权利要求的主题的组合。这样的组合在本文中被提出，除非声明不旨在特定组合。此外，还旨在包括权利要求到任何其它独立权利要求的特征，即使该权利要求不直接从属于该独立权利要求。
进一步要注意的是，在说明书中或在权利要求书中所公开的方法可以由具有用于执行这些方法的每个相应行为的装置的设备来实现。
进一步地，要理解的是，在说明书或权利要求书中公开的多个行为或功能的公开内容不可以被解释为是在特定的顺序内。因此，多个行为或功能的公开将不限于特定的顺序，除非这些行为或功能出于技术原因不可互换。此外，在一些示例中，单个行为可以包括多个子行为或者可以被分解成多个子行为。除非明确地排除在外，这些子行为可以被包括在该单个行为的公开中或者可以是该单个行为的公开的一部分。

Claims (20)

1.一种用于在目标空间中检测对象的运动的装置，其中所述对象位于相距图像捕获设备一段距离，所述图像捕获设备被配置为测量所述距离并且提供指示所述距离的传感器信号，如果所述对象静止则所述传感器信号可分解在包括奇次谐波的分解中，所述装置包括：
确定模块，被配置为接收所述传感器信号并且基于所述传感器信号的所述分解的至少一个偶次谐波生成至少一个运动信号；以及
检测模块，被配置为基于所述至少一个运动信号检测所述对象的所述运动并且提供指示所述对象的所述运动的检测信号。
2.根据权利要求1所述的装置，其中所述图像捕获设备被配置为捕获包括多个像素的图像，并且其中所述确定模块被配置为接收所述传感器信号并且针对所述多个像素中的每个像素生成所述运动信号而不依靠所述多个像素中的相邻像素。
3.根据权利要求1所述的装置，其中所述图像捕获设备被配置为发射波，接收在所述对象处被反射的反射波，以及提供所述传感器信号作为传感器响应函数，所述装置还包括：采样模块，被配置为对所述传感器信号采样以使得所述反射波的每个波长的至少一部分被采样N个值。
4.根据权利要求3所述的装置，其中采样数目N是偶数并且所述至少一个偶次谐波具有N/2阶。
5.根据权利要求3所述的装置，其中所述运动信号只从与所述反射波的每个采样波长的至少一部分关联的N个采样值取得。
6.根据权利要求1所述的装置，其中所述运动信号中的所述至少一个偶次谐波是二次谐波。
7.根据权利要求1所述的装置，其中在所述运动信号中的所述至少一个偶次谐波还包括代表偏置的零次谐波。
8.一种用于在目标空间中检测对象的运动的装置，所述对象位于相距图像捕获设备一段距离，所述图像捕获设备被配置为发射波并且接收在所述对象处被反射的反射波以从所述对象捕获图像，所述图像捕获设备还被配置为提供取决于所述反射波的传感器信号，其中所发射的波包括预定波长并且所述图像包括多个像素，所述装置包括：
组合模块，被配置为接收所述传感器信号作为与所述预定波长关联的多个采样值并且形成多个采样值的组合以使得如果所述对象静止则所述组合包括预定值；以及
检测模块，被配置为检测指示所述对象的所述运动的、与所述组合的所述预定值的偏差，其中所述检测模块还被配置为输出指示所检测的与所述预定值的偏差的检测信号作为指示所述对象的所述运动的信号。
9.根据权利要求8所述的装置，其中采样的所述组合代表从所述传感器信号取得的所述多个采样的离散傅里叶分解中的偶次谐波。
10.根据权利要求8所述的装置，其中采样的所述组合是取决于取自一段所述预定波长内的后续采样值的交错总和的函数。
11.根据权利要求8所述的装置，其中所述检测模块还被配置为生成取决于取自一段所述预定波长内的后续采样值的总和的、所述多个采样的另一组合。
12.根据权利要求8所述的装置，其中所述检测模块还被配置为检测所述运动的方向。
13.一种用于检测图像中的运动伪影的***，包括：
用于在目标空间中检测对象的运动的装置，其中所述对象位于相距图像捕获设备一段距离，所述图像捕获设备被配置为测量所述距离并且提供指示所述距离的传感器信号，如果所述对象静止则所述传感器信号可分解在包括奇次谐波的分解中，所述装置包括：
确定模块，被配置为接收所述传感器信号并且基于所述传感器信号的所述分解的至少一个偶次谐波生成至少一个运动信号；以及
检测模块，被配置为基于所述至少一个运动信号检测所述对象的所述运动并且提供指示所述对象的所述运动的检测信号；以及
图像捕获设备，用于捕获具有对象的目标空间的三维图像，其中所述图像捕获设备包括：
信号发射模块，被配置为向所述目标空间中发射波信号；
以及
信号接收模块，被配置为接收从所述对象反射的反射波信号，
其中所述图像捕获设备被配置为提供取决于所述反射波的所述传感器信号和指示所发射的波信号的相位的信息。
14.根据权利要求13所述的***，还包括：处理单元，所述处理单元被配置为确定所发射的波信号和所述反射波信号之间的相位差并且基于所述相位差确定在所述目标空间中的所述***和所述对象之间的距离。
15.根据权利要求14所述的***，其中光发射模块被配置为发射所述波信号作为使用载波信号的调制信号，其中所述处理单元还包括被配置为解调所述调制信号的解调器，所述调制信号具有预定波长。
16.根据权利要求15所述的***，其中所述***被配置为检测所述对象的上至最大距离的距离，并且其中选择所述预定波长以使得所述预定波长比两倍的所述最大距离更长。
17.根据权利要求13所述的***，其中所述对象位于相距背景的更远距离，所述***还包括掩蔽模块，所述掩蔽模块被配置为将针对其所述至少一个运动信号包括小于或者大于预定阈值的值的每个像素值设置为所述背景的像素值。
18.根据权利要求13所述的***，其中所述信号接收模块被配置为捕获所述目标空间的图像的多个帧，并且其中所述装置被配置为检测所述多个帧中的每个帧内的所述对象的所述运动。
19.一种用于在目标空间中检测对象的运动的方法，其中所述对象位于相距图像捕获设备一段距离，所述图像捕获设备被配置为测量所述距离并且提供指示所述距离的传感器信号，如果所述对象静止则所述传感器信号可分解在包括奇次谐波的分解中，所述方法包括：
接收所述传感器信号，所述传感器信号包括任意数目的每帧等距地采样的值；
基于所述传感器信号的所述分解中的至少一个第二类型的谐波针对每个帧生成至少一个运动信号；以及
基于所述至少一个运动信号检测所述对象的所述运动，并且提供指示所述对象的所述运动的检测信号。
20.根据权利要求19所述的方法，其中所述图像捕获设备被配置为捕获包括多个像素的图像，并且其中所述传感器信号包括针对所述多个像素中的每个像素的像素值，其中接收行为、生成行为以及检测行为中的至少一个行为仅依靠一个像素的像素值而被执行。
CN201410612450.6A 2014-04-15 2014-11-04 用于在目标空间中检测对象的运动的装置和方法 Active CN105005043B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/253,080 US9785824B2 (en) 2014-04-15 2014-04-15 Apparatus and a method for detecting a motion of an object in a target space
US14/253,080 2014-04-15

Publications (2)

Publication Number Publication Date
CN105005043A CN105005043A (zh) 2015-10-28
CN105005043B true CN105005043B (zh) 2018-03-27

Family

ID=54193360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410612450.6A Active CN105005043B (zh) 2014-04-15 2014-11-04 用于在目标空间中检测对象的运动的装置和方法

Country Status (3)

Country Link
US (1) US9785824B2 (zh)
CN (1) CN105005043B (zh)
DE (1) DE102015105161B4 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101745651B1 (ko) * 2016-03-29 2017-06-09 전자부품연구원 손 제스처 인식 시스템 및 방법
US11125907B2 (en) * 2018-05-18 2021-09-21 Steelcase Inc. Occupancy sensing systems and methods
US11486993B2 (en) * 2019-01-31 2022-11-01 Honda Motor Co., Ltd. Resonance based distance estimation and identification
LU101130B1 (en) * 2019-02-15 2020-08-18 Iee Int Electronics & Engineering Sa Method for Depth Measurement with a Time-Of-Flight Camera using Amplitude-Modulated Continuous Light
EP3961258A1 (en) 2020-08-26 2022-03-02 Melexis Technologies NV Distortion determination apparatus and method of determining a distortion

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102771111A (zh) * 2010-02-15 2012-11-07 夏普株式会社 信号处理装置、控制程序和集成电路
EP2523016A2 (en) * 2011-05-10 2012-11-14 Raytheon Company Target Identification for a Radar Image

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7202942B2 (en) * 2003-05-28 2007-04-10 Doppler, Ltd. System and method for measuring velocity using frequency modulation of laser output
US6914552B1 (en) * 2003-06-25 2005-07-05 The Regents Of The University Of California Magneto-radar detector and method
US7215278B2 (en) * 2003-11-16 2007-05-08 Preco Electronics, Inc Radar frequency hopping
US8355117B2 (en) * 2005-12-21 2013-01-15 Ecole Polytechnique Federale De Lausanne Method and arrangement for measuring the distance to an object
US7973699B2 (en) 2009-03-31 2011-07-05 Kapriel Krikorian Dismount harmonic acceleration matched filtering for enhanced detection and discrimination
DE102009016480B4 (de) 2009-04-06 2021-12-23 Conti Temic Microelectronic Gmbh Verfahren für ein Radarsystem zur Unterdrückung von Mehrdeutigkeiten bei der Bestimmung von Objektmaßen
US20130245436A1 (en) * 2009-04-22 2013-09-19 Joe Paul Tupin, Jr. Fetal monitoring device and methods
DE102010039295A1 (de) * 2010-08-13 2012-02-16 Robert Bosch Gmbh Entfernungsmessgerät mit homogenisierender Messauswertung
US9194953B2 (en) * 2010-10-21 2015-11-24 Sony Corporation 3D time-of-light camera and method
US9213883B2 (en) 2012-01-10 2015-12-15 Samsung Electronics Co., Ltd. Method and apparatus for processing depth image
US9389690B2 (en) * 2012-03-01 2016-07-12 Qualcomm Incorporated Gesture detection based on information from multiple types of sensors
US9111135B2 (en) * 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
CN104919332B (zh) * 2012-12-17 2017-04-05 Pmd技术股份公司 具有运动识别的光飞行时间照相机
US9250714B2 (en) * 2013-11-27 2016-02-02 Intersil Americas LLC Optical proximity detectors
US20140078264A1 (en) * 2013-12-06 2014-03-20 Iowa State University Research Foundation, Inc. Absolute three-dimensional shape measurement using coded fringe patterns without phase unwrapping or projector calibration

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102771111A (zh) * 2010-02-15 2012-11-07 夏普株式会社 信号处理装置、控制程序和集成电路
EP2523016A2 (en) * 2011-05-10 2012-11-14 Raytheon Company Target Identification for a Radar Image

Also Published As

Publication number Publication date
US9785824B2 (en) 2017-10-10
CN105005043A (zh) 2015-10-28
DE102015105161B4 (de) 2022-11-10
DE102015105161A1 (de) 2015-10-15
US20150294142A1 (en) 2015-10-15

Similar Documents

Publication Publication Date Title
US10302768B2 (en) Multipath signal removal in time-of-flight camera apparatus
CN105005043B (zh) 用于在目标空间中检测对象的运动的装置和方法
JP6239594B2 (ja) ３ｄ情報処理装置及び方法
US20180067197A1 (en) Method and system for real-time motion artifact handling and noise removal for tof sensor images
US20140354681A1 (en) Absolute Phase Measurement with Secondary Pattern-Embedded Fringe
KR102490335B1 (ko) 타임 오브 플라이트 데이터를 비닝하는 방법
Järemo Lawin et al. Efficient multi-frequency phase unwrapping using kernel density estimation
Budianto et al. Marker encoded fringe projection profilometry for efficient 3D model acquisition
CN109655833A (zh) 生命体的检测方法及装置
EP3129803A2 (en) Signal harmonic error cancellation method and apparatus
Bhandari et al. Super-resolved time-of-flight sensing via FRI sampling theory
Dai et al. MMW and THz images denoising based on adaptive CBM3D
Volak et al. Interference artifacts suppression in systems with multiple depth cameras
JP2020513555A (ja) 装置および方法
Zhang et al. NSCT‐based fusion method for forward‐looking sonar image mosaic
Mukherjee et al. Enhanced defect detection in NDE using registration aided heterogeneous data fusion
DE102019120743A1 (de) Laufzeitsensoren und erfassungsverfahren
CN112617748B (zh) 基于调频连续波雷达的体征数据处理方法及***
EP2657643A2 (en) Apparatus and method of generating tomographic image
Choi et al. Interframe consistent multifrequency phase unwrapping for time-of-flight cameras
Vianello et al. Depth images super-resolution: An iterative approach
Schöner et al. Image processing for three-dimensional scans generated by time-of-flight range cameras
JP7222524B2 (ja) 物体内部の光学特性を計測する計測装置及び方法
CN110390656B (zh) 深度数据的滤波方法、装置、电子设备和可读存储介质
Kulikov et al. Method of abandoned object detection based on a sequence of depth images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant