CN108352056A - 用于校正错误深度信息的***和方法 - Google Patents

用于校正错误深度信息的***和方法 Download PDF

Info

Publication number
CN108352056A
CN108352056A CN201680065690.6A CN201680065690A CN108352056A CN 108352056 A CN108352056 A CN 108352056A CN 201680065690 A CN201680065690 A CN 201680065690A CN 108352056 A CN108352056 A CN 108352056A
Authority
CN
China
Prior art keywords
depth
information
depth map
map
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680065690.6A
Other languages
English (en)
Other versions
CN108352056B (zh
Inventor
A·J·林德纳
K·M·阿塔纳索夫
S·M·维罗尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN108352056A publication Critical patent/CN108352056A/zh
Application granted granted Critical
Publication of CN108352056B publication Critical patent/CN108352056B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

描述一种用于产生经校正深度图的电子装置。所述电子装置包含处理器。所述处理器经配置以获得第一深度图。所述第一深度图包含由深度传感器在第一取样进行取样的场景的第一部分的第一深度信息。所述处理器还经配置以获得第二深度图。所述第二深度图包含由所述深度传感器在第二取样进行取样的所述场景的第二部分的第二深度信息。所述处理器另外经配置以获得指示所述深度传感器在所述第一取样与所述第二取样之间的移位的移位信息。所述处理器还经配置以通过基于所述第一深度信息、所述第二深度信息和所述移位信息校正错误深度信息来产生经校正深度图。

Description

用于校正错误深度信息的***和方法
技术领域
本发明大体涉及电子装置。更具体来说，本发明涉及用于校正错误深度信息的***和方法。
背景技术
在最近几十年中，电子装置的使用已变得普遍。确切地说，技术的进步已降低了愈加复杂且有用的电子装置的成本。成本降低和消费者需求已使电子装置的使用剧增，使得其在现代社会中几乎随处可见。由于电子装置的使用已推广开来，因此具有对电子装置的新的且改进的特征的需求。更具体来说，人们常常寻求执行新功能和/或更快、更有效或以更高质量执行功能的电子装置。
深度是三维(3D)空间的分量。举例来说，深度可表示为3D空间中的两个点之间的距离。在尝试利用电子装置准确地测量现实世界情境中的深度存在许多困难。
确切地说，运动和测量中断可能会损坏深度测量值，从而导致不准确和/或无用的深度测量值。如可从此论述观察到，改进深度测量值可为有益的。
发明内容
描述一种用于产生经校正深度图的电子装置。所述电子装置包含深度传感器。所述电子装置还包含耦合到所述深度传感器的运动传感器。所述运动传感器经配置以确定运动信息。所述电子装置进一步包含耦合到所述深度传感器和所述运动传感器的处理器。所述处理器经配置以获得第一深度图。所述第一深度图包含由所述深度传感器在第一取样进行取样的场景的第一部分的第一深度信息。所述处理器还经配置以获得第二深度图。所述第二深度图包含由所述深度传感器在第二取样进行取样的所述场景的第二部分的第二深度信息。所述处理器进一步经配置以基于所述运动信息来获得指示所述深度传感器在所述第一取样与所述第二取样之间的移位的移位信息。所述处理器另外经配置以通过基于所述第一深度信息、所述第二深度信息和所述移位信息校正错误深度信息来产生经校正深度图。
所述处理器可经配置以基于所述移位信息来变换所述第一深度图以产生经变换深度图。所述处理器可经配置以基于所述经变换深度图来校正所述第二深度图的所述错误深度信息。
所述处理器可经配置以用所述经变换深度图的对应深度信息替换所述错误深度信息。所述处理器可经配置以对所述第二深度图的非错误深度信息与所述经变换深度图的对应非错误深度信息求平均。
所述处理器可经配置以通过比较所述第二深度图的深度与所述经变换深度图的深度来检测所述错误深度信息。所述处理器可经配置以确定所述第二深度图的所述深度是否比所述经变换深度图的所述深度大阈值量。所述处理器可经配置以基于所述经变换深度图的至少两个深度与所述第二深度图的至少两个深度之间的空间-时间平均值来检测所述错误深度信息。
所述处理器可经配置以将深度传感器平面上的一或多个点投影到世界坐标上以产生一或多个世界坐标点。所述处理器还可经配置以旋转所述一或多个世界坐标点。所述处理器可经进一步配置以平移所述一或多个世界坐标点。所述处理器可另外经配置以重新投影所述一或多个世界坐标点以产生所述经变换深度图。
所述处理器可经配置以基于所述第二深度图中的两个或更多个深度的空间平均值来检测所述错误深度信息。所述错误深度信息可包含深度传感器中断。
还描述一种用于通过电子装置产生经校正深度图的方法。所述方法包含获得第一深度图。所述第一深度图包含由深度传感器在第一取样进行取样的场景的第一部分的第一深度信息。所述方法还包含获得第二深度图。所述第二深度图包含由所述深度传感器在第二取样进行取样的所述场景的第二部分的第二深度信息。所述方法进一步包含获得指示所述深度传感器在所述第一取样与所述第二取样之间的移位的移位信息。所述方法另外包含通过基于所述第一深度信息、所述第二深度信息和所述移位信息校正错误深度信息来产生经校正深度图。
还描述一种用于产生经校正深度图的设备。所述设备包含用于获得第一深度图的装置。所述第一深度图包含由深度传感器在第一取样进行取样的场景的第一部分的第一深度信息。所述设备还包含用于获得第二深度图的装置。所述第二深度图包含由所述深度传感器在第二取样进行取样的所述场景的第二部分的第二深度信息。所述设备进一步包含用于获得指示所述深度传感器在所述第一取样与所述第二取样之间的移位的移位信息的装置。所述设备另外包含用于通过基于所述第一深度信息、所述第二深度信息和所述移位信息校正错误深度信息来产生经校正深度图的装置。
还描述一种用于产生经校正深度图的计算机程序产品。所述计算机程序产品包含具有指令的非暂时性有形计算机可读媒体。所述指令包含用于致使电子装置获得第一深度图的代码。所述第一深度图包含由深度传感器在第一取样进行取样的场景的第一部分的第一深度信息。所述指令还包含用于致使所述电子装置获得第二深度图的代码。所述第二深度图包含由所述深度传感器在第二取样进行取样的所述场景的第二部分的第二深度信息。所述指令进一步包含用于致使所述电子装置获得指示所述深度传感器在所述第一取样与所述第二取样之间的移位的移位信息的代码。所述指令另外包含用于致使所述电子装置通过基于所述第一深度信息、所述第二深度信息和所述移位信息校正错误深度信息来产生经校正深度图的代码。
附图说明
图1是说明可实施用于校正错误深度信息的***和方法的电子装置的一个实例的框图；
图2是说明用于校正错误深度信息的方法的一个配置的流程图；
图3是说明深度传感器移动的一个实例的图；
图4说明深度传感器移动的另一实例；
图5说明具有错误深度信息的深度图可视化、初级校正可视化和具有移位信息的校正可视化的实例；
图6是说明可根据本文中公开的***和方法实施的元件的更特定实例的框图；
图7是说明用于校正错误深度信息的方法的一个配置的流程图；
图8是说明可根据本文中公开的***和方法执行的变换的一个实例的图；
图9是说明深度的实例的图；以及
图10说明可包含在经配置以实施本文中所公开的***和方法的各种配置的电子装置内的特定组件。
具体实施方式
本文中公开的***和方法可提供用于校正错误深度信息的方法。举例来说，本文中所公开的***和方法可提供用于对使用运动传感器(例如，加速度计，等)来自不稳定电子装置的深度图进行时间滤波的方法。深度传感器可能会经历中断。在深度传感器产生错误深度信息时，可能会发生中断。举例来说，深度传感器可能产生并不准确地表示深度传感器与对象之间的深度(例如，距离)的一或多个不正确深度测量值。例如，中断可为错误深度检测，其中真实深度为一值(例如，x)，但深度传感器提供另一值(例如，y)，和/或中断可能是完全未能检测到任何内容。
中断(例如，深度图中的错误)可取决于所使用的技术。在主动方法中，装置自身可利用光图案(例如，红外光图案)照亮场景。对于主动方法，反射极少光的暗表面可能易于发生错误，因为信噪比可能过低。不与装置(例如，深度传感器)正交而是倾斜的表面也可能易于发生错误。其它技术(例如，被动立体)可能往往会在平坦和/或均质区域和/或具有重复图案的区域中具有错误。
深度传感器可俘获深度信息(和/或用于确定深度信息的信息)。在一些配置中，深度信息可包含一组深度测量值(例如，距离、深度、深度值，等)。举例来说，深度传感器可对检测场内的场景进行取样以产生所述组深度测量值。所述组深度测量值可以是深度图。深度图常常是低分辨率且具有中断(例如，孔)。此外，在深度传感器移动时，可能从帧到帧存在中断噪声。时间滤波(例如，合并跨越帧的信息)可改进质量。然而，在深度传感器不稳定时(例如，在深度传感器为手持式或安装在汽车上时)，简单求平均会使边缘模糊。
本文中公开的***和方法可提供用于缓解上文所描述的问题的方法。可用运动传感器(例如，加速度计、陀螺仪、惯性运动传感器、视觉里程计传感器，等)估计深度传感器的移动。举例来说，可估计(例如用6个自由度(DOF))深度传感器的平移和/或旋转。可利用所测量的传感器移动来将深度信息从一个帧映射到后续(例如，下一)帧。在深度图的上下文中，本文中所公开的***和方法可减小或移除未知移位(例如，视差)，因为可利用其全3D位置估计(例如，获知)各点。
本文中所描述的***和方法的益处中的一些给出如下。本文中所公开的***和方法可改进深度图的质量(较之于通常低分辨率且含有中断的典型深度图)。本文中所公开的***和方法的一些配置可能不需要额外硬件。举例来说，加速度计在智能电话上广泛使用。根据本文中所公开的***和方法，一旦已知深度传感器移动，即可完全确定帧到帧映射。因此，可能不需要估计视差。对于实施本文中所公开的***和方法的各种配置，计算成本可为低的。
现在参考图描述各种配置，其中相同的参考标号可指示功能上类似的元件。可以广泛多种不同配置来布置及设计如本文中在诸图中所大体描述及说明的***和方法。因此，对如各图中所表示的若干配置的以下更详细描述并不希望限制如所主张的范围，而仅表示***及方法。
图1是说明可实施用于校正错误深度信息的***和方法的电子装置102的一个实例的框图。电子装置102的实例包含相机、视频摄录影机、数码相机、蜂窝式电话、智能电话、计算机(例如，台式计算机、膝上型计算机，等)、平板计算机装置、媒体播放器、电视机、车辆、汽车、个人相机、可穿戴式相机、虚拟现实装置(例如，头戴耳机)、扩增现实装置(例如，头戴耳机)、混合现实装置(例如，头戴耳机)、动作相机、监控摄像头、安装摄像头、互联摄像头、机器人、飞行器、无人机、无人驾驶飞行器(UAV)、智能电器、医疗保健设备、游戏控制台、个人数字助理(PDA)、机顶盒、勘察装置、安全性装置、地形勘测器、映射装置，等。电子装置102可包含一或多个组件或元件。可以硬件(例如，电路)或硬件与软件的组合(例如，具有指令的处理器)实施组件或元件中的一或多个。
在一些配置中，电子装置102可包含处理器112、存储器120、显示器122、一或多个图像传感器104、一或多个光学***106、一或多个深度传感器108、一或多个运动传感器110和/或通信接口126。处理器112可耦合到(例如，与之电子连通)存储器120、显示器122、图像传感器104、光学***106、深度传感器108、运动传感器110和/或通信接口126。应注意，在一些配置中，图1中所说明的组件和/或元件中的一或多个可为任选的。举例来说，在一些配置中，电子装置102可不包含图像传感器104、光学***106、显示器122和/或通信接口126。
在一些配置中，电子装置102可执行结合图2和4到7中的一或多个所描述的功能、过程、方法、步骤等中的一或多个。另外或替代地，电子装置102可包含结合图4到7中的一或多个所描述的结构中的一或多个。
通信接口126可使得电子装置102能够与一或多个其它电子装置通信。举例来说，通信接口126可提供用于有线和/或无线通信的接口。在一些配置中，通信接口126可耦合到用于发射和/或接收射频(RF)信号的一或多个天线128。另外或替代地，通信接口126可实现一或多种有线(例如，通用串行总线(USB)、乙太网，等)通信。
在一些配置中，可实施和/或利用多个通信接口126。举例来说，一个通信接口126可为蜂窝式(例如，3G、长期演进(LTE)、CDMA，等)通信接口126，另一通信接口126可为以太网接口，另一通信接口126可为通用串行总线(USB)接口，且又一通信接口126可为无线局域网(WLAN)接口(例如，电气电子工程师学会(IEEE)802.11接口)。在一些配置中，通信接口126可将信息(例如，图像信息、深度信息、深度图信息、等)发送到另一装置(例如，车辆、智能电话、相机、显示器、远程服务器，等)和/或从所述另一装置接收信息。
在一些配置中，电子装置102可获得一或多个图像(例如，数字图像、图像帧、视频，等)。举例来说，电子装置102可包含图像传感器104和使位于光学***106的视场内的场景和/或对象的图像聚焦到图像传感器104上的光学***106(例如，透镜)。相机(例如，可见光谱相机)可包含至少一个图像传感器和至少一个光学***。在一些配置中，图像传感器104可俘获一或多个图像。光学***106可耦合到处理器112和/或由所述处理器控制。另外或替代地，电子装置102可从另一装置(例如，耦合到电子装置102的一或多个外部图像传感器、网络服务器、交通相机、水下相机、汽车相机、网络相机，等)请求和/或接收一或多个图像。在一些配置中，电子装置102可经由通信接口126请求和/或接收一或多个图像。举例来说，电子装置102可包含或可不包含相机(例如，图像传感器104和/或光学***106)，且可从一或多个远程装置接收图像。所述图像(例如，图像帧)中的一或多个可包含一或多个场景和/或一或多个对象。所述图像可在可见域中。举例来说，所述图像可包含表示可见光的一或多个方面(例如，色彩空间、色彩模型、色彩、亮度、明度，等)的数据。
在一些配置中，电子装置102可包含图像数据缓冲器(未展示)。所述图像数据缓存器可缓冲(例如，存储)来自图像传感器104的图像数据。经缓冲图像数据可提供到处理器112。
在一些配置中，电子装置102可包含相机软件应用程序和/或显示器122。在相机应用程序在运行时，位于光学***106的视场内的对象的图像可由图像传感器104俘获。由图像传感器104俘获的图像可呈现在显示器122上。在一些配置中，这些图像可以相对较高帧率快速连续地显示，以使得在任何给定时刻，位于光学***106的视场内的场景和/或对象呈现在显示器122上。由电子装置102获得的一或多个图像可为一或多个视频帧和/或一或多个静态图像。在一些配置中，显示器122可呈现额外或替代信息。举例来说，显示器122可呈现对应于一或多个检测到的和/或被跟踪的对象的一或多个所关注区(例如，限界框)。另外或替代地，显示器122可呈现深度信息(例如，表示到一或多个对象(例如，选定对象)的一或多个估计距离的数字)。
一或多个深度传感器108可感测场景的深度。举例来说，深度传感器108可对检测场内的场景(例如，一或多个对象和/或地形)的深度进行取样。检测场可为深度传感器108能够检测深度的范围(例如，水平范围、竖直范围和/或相对于深度传感器108的角度范围)。深度传感器108的实例包含红外线飞行时间(ToF)相机、立体相机(例如，图像传感器104和/或光学***106)、雷达、激光雷达、干涉仪，等。深度传感器108可将深度信息(和/或可供获得深度信息的其它信息)提供到处理器112。深度信息和/或其它信息可指示深度传感器108与场景之间的距离。
在一些配置中，深度传感器108可包含在电子装置102中。在其它配置中，深度传感器108可与电子装置102分离且耦合到所述电子装置。举例来说，深度传感器108可与电子装置102通信(例如，经由通信接口126)以将深度信息(和/或可供获得深度信息的信息)提供到处理器112。应注意，在一些配置中，图像传感器104和/或光学***106(例如，相机)可为深度传感器108。
深度传感器108可以多个取样感测深度。取样可为感测深度的时间。举例来说，深度传感器108可在第一取样和第二取样对深度信息(和/或可供获得深度信息的信息)进行取样。在一些情况下，深度传感器108(例如，电子装置102)可能已在取样之间移动。应注意，如本文中所使用，例如“第一”、“第二”、“第三”等序数术语可能并不必然暗示次序。举例来说，“第一取样”可发生在“第二取样”之前、之后、与之(例如，在重叠的时间范围内)并行或同时发生。
运动传感器110可检测运动以确定运动信息。运动信息可指示运动传感器110和/或深度传感器108的运动。例如，运动传感器110可检测深度传感器108的运动。运动传感器110的一些实例包含加速度计、陀螺仪、惯性运动传感器、视觉里程计传感器，等。运动传感器110可耦合到深度传感器108。举例来说，运动传感器110可借助于集成到同一电子装置102中而物理地耦合到深度传感器108。或者，运动传感器110可与电子装置102分离，且物理地耦合到也与电子装置102分离的深度传感器108。运动传感器110可检测在一或多个方向上的运动。举例来说，运动传感器110可以六个自由度(DoF)检测运动：横偏、横摇、俯仰、向前/向后平移、侧向平移和上下平移。运动传感器110可将运动信息提供到处理器112。
处理器112可包含和/或实施移位信息获得器114。运动信息可提供到移位信息获得器114。移位信息获得器114可基于运动信息获得(例如，确定)移位信息。移位信息可指示深度传感器108的移位。举例来说，移位信息可指示深度传感器108在取样之间(例如，从取样到取样、在多个取样上，等)的移位。例如，移位信息可指示深度传感器108从第一取样到第二取样已如何移动(例如，平移、旋转，等)和/或移动到何程度。更一般来说，移位为由于运动或移动而随时间推移(例如，从第一取样到第二取样)的位置差异。在一些配置中，移位信息获得器114可根据结合图2和4到7中的一或多个所描述的方法、功能、过程、步骤和/或结构中的一或多个而操作。
在一些配置中，运动信息自身可为移位信息。举例来说，移位信息获得器114可接收原始运动信息作为移位信息。在其它配置中，移位信息获得器114可对运动信息执行一或多个操作以获得移位信息。举例来说，移位信息获得器114可对随时间推移(例如，在两个或更多个取样之间)的运动信息进行滤波(例如，平滑化)。
另外或替代地，移位信息获得器114可基于运动信息执行一或多个变换(例如，平移、旋转)以获得移位信息。举例来说，深度传感器108可物理地耦合到运动传感器110，且可相对于运动传感器110移动。在一些配置中，深度传感器108与运动传感器110可能并不完全共置。举例来说，运动传感器可容纳在智能电话的中心附近，而深度传感器可容纳在智能电话的顶部边缘附近且偏向一侧。结果，运动信息自身可能并不直接反映深度传感器108的运动，因为深度传感器108位置不同且可能经受不同于运动传感器110所感测到的那些运动的运动。因此，移位信息获得器114可基于运动信息执行一或多个变换(例如，旋转、平移，等)以获得深度传感器108的移位。
在一些配置中，移位信息获得器114可请求和/或接收移位信息和/或用于确定移位信息的其它信息(例如，所测量信息)。举例来说，移位信息获得器114可经由通信接口126从远程装置(例如，外部深度传感器、远程服务器、远程电子装置，等)请求和/或接收移位信息(和/或用于确定移位信息的其它信息)。
处理器112可包含和/或实施深度信息获得器116。深度信息获得器116可获得深度信息。深度信息可指示从深度传感器108到一或多个物理主体(例如，对象、地形、结构，等)的一或多个距离(例如，深度测量值、深度、深度值，等)。举例来说，深度信息可为以距离单位(例如，英尺、英寸、码、英里、米、厘米、千米，等)指示的距离的一或多个数值指示。在一些配置中，深度信息获得器116可从深度传感器108(和/或图像传感器104)获得深度信息(和/或可供确定深度信息的其它信息)。深度信息可对应于随时间推移的多个取样(例如，第一取样、第二取样，等)。
深度信息可包含错误深度信息。错误深度信息可为指示不正确深度(例如，距离)的信息。举例来说，错误深度信息可由深度传感器108(和/或图像传感器104)中的中断和/或不正确地测量的信息造成。在一些配置中，错误深度信息可能不包含对非所要对象的正确测量的深度。举例来说，如果干扰对象反映在深度信息(和/或测量信息(例如，图像、飞行时间信息，等)中，则对应于干扰对象的深度信息可能并非错误深度信息，因为所得深度信息准确地反映场景中所述对象的存在(且例如并非测量错误)。
在一些配置中，处理器112(例如，深度信息获得器116)可检测错误深度信息。举例来说，可能存在可能在给定位置(例如，像素)处发生的不同(例如，两种)类型的错误。一种类型的错误可为错误测量，且另一类型的错误可为无测量。对于错误测量，深度信息可包含值，但所述值不正确(例如，深度值不准确地反映实际深度)。错误测量值可由于噪声而发生，从而损坏估计过程。
在一些配置中，深度信息获得器116可通过比较深度值与一或多个邻域深度值来检测错误测量值，因为错误测量值可通常为隔离的。举例来说，如果深度值距一或多个相邻深度值(例如，相邻深度值的内插(例如，平均值)大于阈值量(例如，大于阈值量、小于阈值量，等)，则深度信息获得器116可确定深度值为错误深度信息。另外或替代地，深度信息获得器116可比较深度值(例如，对应于像素)与来自相邻帧(例如，一或多个先前和/或后续帧)的一或多个经变换(例如，重新投影)深度值。在一些配置中，一或多个经变换深度值可经内插(例如，求平均)。因此，深度信息获得器116可通过确定深度值是否与一或多个相邻深度值和/或来自一或多个先前和/或后续帧的一或多个经变换(例如，重新投影)深度值显著不同(例如，大于一或多个差异阈值)来确定深度值(例如，深度信息中的深度值中的一或多个)是否为错误的。使用两个准则可得到较高可靠性，因为存在较多数据用于比较。检测错误深度信息的更特定实例结合图9给出，其可根据本文中所公开的***和方法来实施(在例如处理器112和/或深度信息获得器116中实施和/或由其实施)。
可能发生的另一类型的错误可为在不存在深度值时(例如，在对应像素处)。例如，深度信息(例如，深度图)可包含不存在深度值的一或多个位置。此可能在信号过低且估计过程(例如，深度传感器108)将深度值分类为不可靠的情况下发生。此情况可能并不对于所有深度感测技术都发生。举例来说，某一(某些)深度传感器108可经配置以在深度值被分类为不可靠时指示无深度值。举例来说，深度传感器108可以由红外线相机检索和解码的红外(IR)光图案来描绘场景。如果IR内容过低(例如，低于阈值、淹没在传感器噪声中，等)，则深度传感器108可使深度值位置为空白和/或可不提供值。因此，深度信息获得器116可通过比较深度值与其(直接空间和/或重新投影)邻域和/或通过检查其是否不具有值来检测中断。
在一些配置中，可基于多个图像(例如，立体深度确定)、运动信息和/或其它深度感测获得(例如，确定)深度信息。在一些方法中，一或多个相机(例如，图像传感器104和/或光学***106)可为深度传感器108和/或可用作深度传感器108。在一些配置中，举例来说，深度信息获得器116可接收多个图像(从图像传感器104和/或从远程图像传感器)。深度信息获得器116可对图像(例如，图像的重叠区域中)的一或多个对象进行三角测量以确定图像传感器与一或多个对象之间的深度信息(例如，距离、深度、深度值、深度测量值，等)。举例来说，可从两个(或更多个)经过校准的相机计算特征点(在第一相机坐标***中提及)的3D位置。接着，可经由三角测量估计深度信息。
在一些配置中，深度信息获得器116可基于移动的相机(例如，称为从运动求取结构(SfM)的方法)来确定深度信息。举例来说，可基于由相机运动(例如，相机相对于场景中的一或多个对象的运动)造成的两个或更多个图像帧来估计深度。例如，通过观察对象随时间推移的运动(例如，在随时间推移的图像或帧中)，深度信息获得器116可确定图像传感器(例如，图像传感器104和/或远程图像传感器)与对象之间的距离。可对来自两个视图的对象点进行匹配，且可估计相对相机运动。接着，可通过三角测量估计(例如，产生)对象的深度信息(例如，距离)。
在一些配置中，深度信息获得器116可通过利用一或多个额外或替代深度感测方法来获得深度信息。举例来说，深度信息获得器116可从深度传感器108(和/或图像传感器104)接收可用来确定场景的一或多个距离的信息(例如，所测量信息)。其它深度传感器的实例包含飞行时间相机(例如，红外线飞行时间相机)、干涉计、雷达、激光雷达、声波深度传感器、超声深度传感器，等。在一些配置中，一或多个深度传感器108可包含于电子装置102内、可耦合到所述电子装置和/或可与所述电子装置通信。深度信息获得器116可基于来自一或多个深度传感器的所测量信息估计(例如，计算)深度信息，和/或可从一或多个深度传感器接收深度信息。举例来说，深度信息获得器116可从飞行时间相机接收飞行时间信息，且可基于所述飞行时间信息计算深度信息。
另外或替代地，深度信息获得器116可直接从一或多个深度传感器108请求和/或接收深度信息(例如，在深度传感器108直接提供深度信息的配置中)。例如，立体可见光谱相机(例如，图像传感器104和/或光学***106)和/或一或多个深度传感器108可基于所测量信息(例如，图像、时间、飞行时间、相移、多普勒频移，等)计算深度信息(例如，距离)。因此，深度信息获得器116可直接从一或多个可见光谱相机、一或多个红外线飞行时间相机、干涉计、激光雷达、雷达、声波/超声深度传感器等接收深度信息。
在一些配置中，可实施用于获得深度信息(例如，多模态深度)的方法的组合。举例来说，可实施SfM、立体三角测量与激光雷达的组合。可实施其它组合。利用多模态深度估计可改进深度信息的质量。
深度信息获得器116可获得(例如，确定)深度图。深度图可包含深度信息，和/或可基于深度信息加以确定。举例来说，深度图可为场景的一定范围(例如，水平范围、竖直范围和/或相对于深度传感器108的角度范围)上的一组深度信息(例如，深度测量值、距离，等)。深度图可能包含错误深度信息(例如，错误与正确(非错误)深度信息的混合)。在一些配置中，深度信息获得器116可从深度传感器108接收深度图。举例来说，深度传感器108可直接提供场景的范围上的深度信息(例如，距离)。
另外或替代地，深度信息获得器116可基于深度信息获得(例如，确定)深度图。举例来说，深度传感器108可提供可用以确定深度信息和/或深度图的所测量信息。例如，所测量信息可包含飞行时间时间测量值、图像数据、所接收(例如，反射)信号功率、所接收(例如，反射)信号振幅、多普勒频移、信号相移，等。深度信息获得器116可基于所测量信息确定深度图。举例来说，深度信息获得器116可基于所接收(例如，反射)信号功率、所接收(例如，反射)信号振幅、多普勒频移、信号相移、立体图像测量值(例如，同一点在由两个或更多个相机俘获的图像数据中之间的视差)、从运动求取结构(SfM)等来计算一组深度信息(例如，距离、深度、深度值，等)。在一些配置中，深度图可包含一组深度信息(例如，数值距离、深度，等)，且可能不包含其它种类的数据(例如，视域数据、时域数据、频域数据，等)。应注意，尽管在一些配置中可基于视域数据确定深度信息和/或深度图，但深度信息和/或深度图自身可能不包含视域数据(例如，图像数据)。
深度图中的每一个可对应于场景的取样。举例来说，深度传感器108可在多个取样(例如，如上文所描述)对来自场景的信息(例如，所测量信息、深度信息，等)进行取样，以得到多个取样处的多个深度图。因此，可由深度传感器108在多个取样对深度图进行取样。换句话说，深度传感器108可通过对场景进行取样且产生对应于所述取样的深度信息来对深度图进行取样，所述深度信息可用作深度图或可用以确定深度图。应注意，深度传感器108可对场景的若干部分进行取样。举例来说，深度传感器可在第一取样对场景的第一部分进行取样，且可在第二取样对场景的第二部分进行取样。例如，在深度传感器在取样之间移位时，深度传感器可在不同取样对场景的不同部分进行取样。如本文所描述，深度图可包含为在取样处所取得的所测量信息(例如，样本)和/或从所述所测量信息导出的深度信息。
在一些配置中，深度信息获得器116可根据结合图2和4到7中的一或多个所描述的方法、功能、过程、步骤和/或结构中的一或多个而操作。应注意，尽管在一些配置中，深度信息可与深度传感器的位置相关，但在一些配置中，深度信息可或可不相对于另一点进行映射(例如，变换)。举例来说，电子装置102可将深度信息映射为与任意点(例如，车辆的中心、装置的中心，等)相关。
处理器112可包含和/或实施深度信息校正器118。深度信息校正器118可校正错误深度信息。举例来说，深度信息校正器118可校正深度图的错误深度信息(例如，可减少深度图的错误深度信息中的错误)。校正错误深度信息可产生经校正深度图。例如，深度信息校正器118可基于场景的另一深度图和移位信息来校正场景的一个深度图中的错误深度信息。
在一些配置中，深度信息校正器118可基于场景的第一深度图和移位信息来校正所述场景的第二深度图的错误深度信息。举例来说，可由深度传感器108(和/或图像传感器104)在第一取样对场景的第一深度图进行取样，且可由深度传感器108(和/或图像传感器104)在第二取样对第二深度图进行取样。移位信息可指示深度传感器108(和/或图像传感器104)在第一取样与第二取样之间的移位。在一些配置中，校正错误深度信息可能不包含修改视域数据(例如，图像、像素等)。另外或替代地，在一些配置中，校正错误深度信息可能不包含对错误深度信息与正确深度信息求平均。另外或替代地，在一些配置中，校正错误深度信息可能不包含仅在错误深度信息上内插同一帧的正确深度信息。
应注意，术语“校正(correcting、correction、correct)”和/或术语“校正”的其它变化可意指错误的减少和/或质量的改进。然而，“校正”和其变化在一些情况下可能并不意指完美、确切或精确的校正和/或本文中所公开的***和方法的配置。
深度信息校正器118可基于移位信息对深度图进行变换以产生经变换深度图。例如，深度信息校正器118可基于移位信息对第一深度图进行变换以产生经变换深度图来校正第二深度图。或者，深度信息校正器118可基于移位信息对第二深度图进行变换以产生经变换深度图来校正第一深度图。可由深度信息校正器118执行的变换的实例可包含平移、各向同性缩放、各向异性缩放、类似性、仿射和/或投影变换。对第一深度图进行变换可更改第一深度图以得到与第二深度图大致对准的经变换深度图。举例来说，对第一深度图进行变换可考虑在第一取样与第二取样之间的移位。结合图8提供变换的一个实例。
校正深度图(例如，第二深度图或第一深度图)可基于经变换深度图。举例来说，深度信息校正器118可用经变换深度图的对应深度信息替换错误深度信息(例如，中断、孔，等)。例如，可用经变换深度图的一或多个对应深度替换第二深度图的错误深度中的一或多个。在另一方法中，可用基于一或多个经变换深度图的一或多个经内插深度替换第二深度图的错误深度中的一或多个。结合图9给出校正错误深度信息的更特定实例，其可根据本文中所公开的***和方法加以实施(例如在处理器112和/或深度信息校正器118中实施和/或由所述处理器和/或所述深度信息校正器实施)。
校正可能好于仅内插同一帧中的像素或仅对未变换帧求平均。举例来说，如果仅使用邻域，则可用例如平均值填充错误深度，平均值可能往往会使精细细节模糊。此可通过使用来自具有对应位置(例如，像素位置)的另一帧的经变换深度图(例如，重新投影)来加以改进。如果错误(例如，错误测量和/或中断)大于仅单个位置(例如，像素)，则经变换深度可能更为有益。要填充的小片较大，可能越难以仅基于邻域来准确地校正值。因此，从可能具有更准确信息的一或多个其它帧进行变换(例如，重新投影)可为有益的。
在一些配置中，可对于一系列深度图中的每一相邻对执行深度图校正。举例来说，可基于第一深度图和第一深度图(例如，第一取样)与第二深度图(例如，第二取样)之间的移位来校正第二深度图。可接着基于第二深度图(例如，经校正第二深度图)和第二深度图(例如，第二取样)与第三深度图(例如，第三取样)之间的移位来校正第三深度图。可对于后续深度图对重复此过程。在一些方法中，经校正深度可延续到一或多个邻近(例如，后续和/或先前)帧。如可观察到，每一后续深度图可含有越来越少的错误，因为错误深度信息随时间推移得以校正。
在一些配置中，校正可能并不延续到一或多个(例如，后续和/或先前)帧。举例来说，此可为更稳健的方法，因为帧的内容(例如，经校正内容)可能仅取决于前一帧而非多个(例如，设定数目或无限量的)先前帧。然而，应注意，延续校正和不延续校正两者皆可提供优势和缺点。
在一些配置中，如果处理是离线进行，则可有可能基于一个或邻近的帧(例如，以向后次序)来执行校正。举例来说，可基于前一帧(例如，视图n-1)和/或后一帧(例如，视图n+1)来校正帧(例如，视图n)。
在一些配置中，如果第一深度图和第二深度图两者皆包含错误深度信息(例如在相同位置)，则错误深度信息(例如，中断、孔，等)可能在第二深度图中保持。或者，可基于另一深度图(例如，先于第一深度图的深度图)校正第二深度图。举例来说，如果深度传感器108相对于场景相对缓慢地移动，则有可能不仅将深度帧匹配到一个邻近帧，而且匹配到N个邻近帧。因此，完全相同的错误存在于所有N个帧中的可能性可非常快速地减小(例如，基于N个帧的数目)。
在一些配置中，电子装置102(例如，处理器112)可对第二深度图的非错误深度信息与经变换深度图的对应非错误深度信息求平均。此可使非错误深度信息在深度图之间变平滑。
本文中所公开的***和方法可提供改进的深度信息(例如，深度图)。举例来说，深度图中的错误深度信息可得以减少和/或消除，如上文所描述。
在一些配置中，可在车辆中应用深度图。举例来说，电子装置102可为车辆或可包含在车辆中。深度图可用来指示车辆与车辆周围的场景中的一或多个对象(例如，其它车辆、行人、关卡、建筑物、道路、障碍物，等)之间的距离。在一些配置中，电子装置102可为高级驾驶员辅助***(ADAS)或可集成到高级驾驶员辅助***(ADAS)中。
在一些配置中，深度图可将准确动态深度信息提供到车辆。举例来说，车辆(例如，电子装置102、处理器112，或与电子装置102通信的单独装置)可基于深度图提供可视化和/或消息。举例来说，车辆可提供指示到一或多个对象的距离的周围视图可视化。
更具体来说，车辆可获得图像数据(从图像传感器104或其它图像传感器)，且可产生车辆周围的场景的可视化。可基于深度图指示可视化中的一或多个对象。举例来说，可视化可展示在停车(例如，平行停车)时从车辆到停放的汽车的数值距离和/或在驾驶时到附近的一或多个对象(例如，其它车辆)的数值距离。另外或替代地，车辆(例如，电子装置102)可基于深度信息产生3D几何模型，且将图像数据映射到所述3D几何模型以产生3D可视化。可视化可呈现在控制台中的显示器(例如，显示器122)、挡风玻璃、手持式装置(例如，智能电话)和/或头戴式显示器(例如，虚拟现实显示器、扩增现实显示器、Oculus Rift装置、HoloLens装置，等)上。
另外或替代地，车辆可基于深度图提供一或多个消息(例如，文本、音频、视觉，等)。举例来说，在车辆距对象(例如在行进方向上)小于某距离时，车辆可输出警示声音(例如，鸣响、哔哔声、言语警示，等)。在另一实例中，车辆可基于深度图输出指示方向的消息(例如，如何到公园、向哪里转向，等)。
另外或替代地，在一些配置中，深度图可将准确的动态深度信息提供到自主(例如，自动驾驶)车辆、半自主(例如，具有用户辅助的自动驾驶)车辆和/或驾驶员辅助车辆。举例来说，车辆(例如，电子装置102、处理器112或与电子装置102通信的单独装置)可基于深度图跟踪道路和/或避免与对象(例如，其它车辆、关卡、障碍物等)碰撞。例如，在深度图指示对象在特定距离内时，车辆可操控远离另一对象。另外或替代地，车辆可应用制动器和/或加速以避免与对象碰撞。另外或替代地，车辆可基于深度图跟踪道路(例如，停在路边或关卡内、避免驾驶离开道路，等)。此可应用于自动驾驶车辆(例如，汽车)的自动导航。
在一些配置中，深度图可用于图像俘获和/或再现。在一个实例中，深度图可用以对场景进行建模。举例来说，电子装置102(例如，相机、智能电话、勘察装置，等)可基于深度图产生场景的3D模型。在一些配置中，图像数据(例如来自图像传感器104)可映射到和/或显现在3D模型上。这可允许场景的3D摄影、3D建模、虚拟现实和/或扩增现实再现(例如，供用于Oculus Rift装置、HoloLens装置，等)。
存储器120可存储指令和/或数据。处理器112可存取(例如，从其读取和/或写入到)存储器120。可由存储器120存储的指令和/或数据的实例可包含所测量信息、深度信息、深度图、图像数据、图像可视化数据、对象数据(例如，位置、大小、形状，等)、模型数据、移位信息、获得器114指令、深度信息获得器116指令和/或深度信息校正器118指令，等。
在一些配置中，电子装置102可将用户界面124呈现在显示器122上。举例来说，用户界面124可使得用户能够与电子装置102交互。在一些配置中，用户界面124可使得用户能够指示偏好(例如，深度信息显示设定、图像可视化设定，等)和/或与深度信息和/或图像可视化交互。举例来说，用户界面124可接收用于改变图像可视化(例如，放大或缩小、旋转图像可视化、使图像可视化移位、改变图像可视化形状、改变图像可视化视角，等)的一或多个命令。另外或替代地，用户界面124可接收指示选择图像可视化中的对象的输入(例如，轻触)。在一些配置中，可跟踪所选物体。
在一些配置中，显示器122可为接收来自物理触摸(例如通过手指、手写笔或其它工具)的输入的触摸屏。例如，触摸屏可为输入接口，其接收指示用户偏好和/或电子装置102行为的一或多个修改的触摸输入。另外或替代地，电子装置102可包含另一输入接口或耦接到另一输入接口。举例来说，电子装置102可包含面向用户的相机，且可检测用户示意动作(例如，手部示意动作、臂部示意动作、眼部跟踪、眨眼等)。在另一个实例中，电子装置102可被耦合到鼠标且可检测指示输入的鼠标单击。
应注意，在一些配置中，无用户输入可为必需的。举例来说，电子装置102可自动地校正错误深度信息。
在一些配置中，电子装置102(例如，处理器112)可任选地耦合到高级驾驶员辅助***(ADAS)、为ADAS的部分(例如，集成到其中)、包含和/或实施ADAS。举例来说，电子装置102可在车辆中(在内置式显示器、控制台显示器、挡风玻璃投影仪、平视显示器、光学头戴式显示器等上)呈现深度信息。这可在情境感知和/或碰撞避免方面辅助驾驶员。
电子装置102(例如，处理器112)可任选地耦合到一或多个其它种类的装置、为一或多个其它种类的装置的部分(例如，集成到其中)、包含和/或实施一或多个其它种类的装置。举例来说，电子装置102可实施于配备有深度传感器108的无人机中。深度信息可指示无人机与其周围环境之间的深度。因此，深度信息可用于场景建模、碰撞避免、3D摄影，等。例如，此可应用于无人机的自动导航中。在另一实例中，电子装置102(例如，处理器112)可实施于动作相机(包含一或多个图像传感器和/或透镜)中。深度信息可用以产生动作相机的周围环境的虚拟现实和/或扩增现实图像。
图2是说明用于校正错误深度信息的方法200的一个配置的流程图。举例来说，方法200可通过本文中所描述的电子装置102来执行。
电子装置102可获得202场景的第一深度图。此可如结合图1所描述而实现。举例来说，电子装置102可在第一取样从一或多个深度传感器108获得深度信息和/或其它信息(例如，用于获得深度信息的所测量信息)。可基于深度信息确定第一深度图。举例来说，第一深度图可为深度信息(例如，深度信息的全部或子集)和/或可基于深度信息(例如，第一深度图可为深度信息的经变换版本)。例如，电子装置102可获得202第一深度图，其中第一深度图包含由深度传感器在第一取样进行取样的场景的第一部分的第一深度信息。另外或替代地，电子装置102可从远程深度传感器和/或另一装置请求和/或接收第一深度图。
电子装置102可获得204场景的第二深度图。此可如结合图1所描述而实现。举例来说，电子装置102可在第二取样从一或多个深度传感器108获得深度信息和/或其它信息(例如，用于获得深度信息的所测量信息)。可基于深度信息确定第二深度图。举例来说，第二深度图可为深度信息(例如，深度信息的全部或子集)和/或可基于深度信息(例如，第二深度图可为深度信息的经变换版本)。例如，电子装置102可获得204第二深度图，其中第二深度图包含由深度传感器在第二取样进行取样的场景的第二部分的第二深度信息。另外或替代地，电子装置102可从远程深度传感器和/或另一装置请求和/或接收第二深度图。
电子装置102可获得206指示深度传感器的移位的移位信息。此可如结合图1所描述而实现。举例来说，电子装置102可基于由一或多个运动传感器110提供的运动信息获得206移位信息。
电子装置102可通过校正错误深度信息来产生208经校正深度图。举例来说，电子装置102可通过基于第一深度信息(来自第一取样)、第二深度信息(来自第二取样)和移位信息校正错误深度信息来产生208经校正深度图。在一些配置中，此可如结合图1、5到7和9所描述而实现。在一些配置中，校正206错误深度信息可包含对深度图进行变换。举例来说，电子装置102可基于移位信息对第一深度图进行变换以产生经变换深度图。在一些配置中，对深度图进行变换可如结合图8所描述而实现。在一些方法中，电子装置102可接着用经变换深度图的对应深度信息(例如，非错误深度信息)替换第二深度图的错误深度信息。举例来说，电子装置102可用来自经变换深度图的深度填充第二深度图的中断(例如，孔)。在一些方法中电子装置102可用一或多个经内插深度(例如基于相同深度图和/或一或多个经变换深度图)替换错误深度信息。在一些方法中，电子装置102可对错误深度信息与一或多个深度(例如来自相同深度图和/或一或多个经变换深度图)求平均。因此，校正206错误深度信息可包含对深度图进行变换、取决于配置而替换错误深度信息和/或对错误深度信息求平均。应注意，在一些配置中，产生208经校正深度图(例如，校正错误深度信息)可能不包含内插和/或求平均。
在一些配置中，电子装置102可基于深度图产生图像可视化。此可如结合图1所描述而实现。举例来说，电子装置102可基于深度图产生3D模型。在一些配置中，电子装置102可将图像数据映射到3D模型上和/或显现3D与图像数据以产生图像可视化。图像可视化可提供到显示器以供呈现。举例来说，电子装置102(例如，处理器112)可将图像可视化提供到显示器(例如，包含在电子装置102中的显示器122或耦合到电子装置102和/或与所述电子装置通信的显示器)。显示器可呈现图像可视化。
图3为说明深度传感器移动332的一个实例的图。确切地说，图3说明深度传感器308。最初，深度传感器308在图的左侧且指向场景330。场景330可为具有深度的任何空间(例如，深度场景)。在此实例中，传感器移动332可包含向右平移和向左旋转。深度传感器308的移动332可能会致使难以校正错误深度信息(例如，中断、孔，等)。
图4说明深度传感器移动432a-b的另一实例。在图4中，说明图像帧434a-n的序列。图像帧434a-n可说明深度传感器的检测场的实例。如上文所描述，深度传感器的一个实例可为一组立体相机。应注意，可利用其它类型的深度传感器，其可感测深度而不使用视域信息。在图4中，深度传感器从左到右移动经过数个帧434a-n。具体来说，传感器移动A 432a出现在帧A 434a与帧M 434m之间。传感器移动B 432b出现在帧M434m与帧N 434n之间。在帧A434a与帧M 434m之间和/或帧M 434m与帧N 434n之间可存在或可不存在一或多个额外帧。根据本文中所公开的***和方法，可用运动传感器获得(例如，获知)运动信息(例如，传感器移动A 432a和传感器移动B 432b)。
如可在图4中观察到，对象I-V位于距深度传感器的一定范围的深度上。确切地说，对象I和II最接近于深度传感器，对象III较远，对象IV更远，且接着对象V最远离深度传感器。因为对象I-V位于不同距离处，因此较近的对象可能随时间推移而在帧中展现较大移动。举例来说，对象I和II在帧I 434a与帧N 434n之间移动最多，而对象V移动最少。
图5说明具有错误深度信息的深度图可视化536、初级校正可视化538和具有移位信息的校正可视化542的实例。具体来说，具有错误深度信息的深度图可视化536为深度图的可视化，其中较短距离(例如，深度)描绘为较浅阴影，且较大距离描绘为较暗阴影。图5中，具有错误深度信息的深度图可视化536为损坏的帧，其中深度传感器的错误深度信息(例如，中断、孔，等)描绘为黑点。
初级校正可视化538说明取得深度图之间的简单平均的实例，其中深度传感器已在取样之间移动。如可在初级校正中观察到，错误540由于未知对象移位而以深度不连续性发生。明确地说，错误540可沿着对象的轮廓发生。举例来说，在深度传感器移位时，前景中的对象比背景中的对象具有较大移位。这些不同移位可能会引起初级帧到帧校正中的错误。
在具有移位信息的校正可视化542中，可观察到，根据本文中所公开的***和方法校正错误深度信息可导致减少的错误544。举例来说，与加速度计深度信息的相对相机位置给出改进的帧到帧映射以获得改进的错误校正。
图6为说明可根据本文中所公开的***和方法实施的元件662的更特定实例的框图。元件662可包含相机646、移位信息获得器614、深度信息获得器616和/或深度信息校正器618。元件662中的一或多个可实施在同一电子装置或单独电子装置上。在一些配置中，元件662中的一或多个可为结合图1描述的对应元件的实例。举例来说，结合图6描述的元件662中的一或多个可实施在结合图1描述的电子装置102上。
多个相机646可俘获多个图像648(例如，相机输入)。相机646可为结合图1描述的图像传感器104和光学***106的实例。举例来说，每一相机646可包含图像传感器和光学***。在此实例中，相机646可为结合图1描述的深度传感器108的实例。
相机646可俘获不同但重叠的图像648。在一些实例中，两个相机646可分离一定距离且安装在一或多个装置或主体上。在一个实例中，多个相机646可安装在无人机上以俘获场景的图像648。在另一实例中，多个(动作)相机646可附接到用户(例如，穿戴者)以俘获场景的图像648。在又其它实例中，多个相机646可安装在智能电话、视频相机、静态相机、监控相机、框架、头戴式装置(例如，虚拟现实头戴耳机、扩增现实头戴耳机、混合实境头戴耳机、头盔、眼镜)、游戏装置、电视、器具、飞机、船、自行车、车辆(例如，汽车)、房屋、建筑物、武器(例如，枪炮)等上的不同位置。这些相机646可俘获由相机646检视的场景的多个图像648。举例来说，图像648可描绘场景的邻近和/或重叠区域。图像648可提供到深度信息获得器616。应注意，尽管结合图6描述相机646，但可根据本文中所公开的***和方法利用额外或替代深度传感器。
深度信息获得器616可基于图像648获得深度图654。结合图6描述的深度信息获得器616可为结合图1描述的深度信息获得器116的实例。举例来说，深度信息获得器616可基于立体三角测量和/或其它深度感测获得深度图654。深度图654可提供到深度信息校正器618。在一些配置中，深度信息获得器616可如结合图1和9中的一或多个所描述而检测错误深度信息。
加速度计610可获得运动信息650。结合图6描述的加速度计610可为结合图1描述的运动传感器110的实例。加速度计610可产生运动信息650。运动信息650可指示加速度计的运动(例如，随时间推移的平移和/或旋转)。运动信息650可提供到移位信息获得器614。应注意，尽管结合图6描述加速度计610，但可根据本文中所公开的***和方法利用额外或替代运动传感器。
移位信息获得器614可基于运动信息650获得移位信息652。举例来说，移位信息获得器614可确定对应于图像648的取样时间之间的位置差异(例如，旋转差异，例如俯仰、横偏和/或横摇，和/或平移差异，例如前/后、左/右、和/或上/下)。在一些配置中，运动信息650俘获时序可与图像648俘获(或例如所测量信息俘获)大致同步。结合图6描述的移位信息获得器614可为结合图1描述的移位信息获得器114的实例。移位信息652可提供到深度信息校正器618。
深度信息校正器618可校正深度图654中的至少一个中的错误深度信息。结合图6描述的深度信息校正器618可为结合图1描述的深度信息校正器118的一个实例。在一些配置中，深度信息校正器618可包含变换器655和/或深度信息替换器658。
变换器655可接收深度图654中的至少一个。变换器655可接收移位信息652。变换器655可基于移位信息652对第一深度图654进行变换以产生经变换深度图656。此可如例如结合图1和8中的一或多个所描述而实现。变换器655可将经变换深度图656提供到深度信息替换器658。
深度信息替换器658可用经变换深度图656的对应深度信息替换第二深度图654的错误深度信息(例如，一或多个错误深度)。此可如例如结合图1和9中的一或多个所描述而实现。用经变换深度图656的对应深度信息替换第二深度图654的错误深度信息可产生经校正深度图660。
经校正深度图660可提供到一或多个元件。举例来说，经校正深度图660可提供到可视化元件。可视化元件可产生经校正深度图660的视觉表示。举例来说，可视化元件可呈现经校正深度图660中的深度信息(例如，数值深度)中的一个或。另外或替代地，可视化元件可基于经校正深度图660产生3D模型。在一些配置中，图像数据(例如，来自图像648)可显现在经校正深度图上。
在一些配置中，经校正深度图660可提供到驱动元件。驱动元件可基于经校正深度图660控制车辆和/或输出信息，如上文所描述。
图7为说明用于校正错误深度信息的方法700的一个配置的流程图。方法700可由结合图1描述的电子装置102和/或结合图6描述的元件662中的一或多个来执行。
电子装置102可从深度传感器108对场景的第一取样获得702第一深度图。此可如上文结合图1到2和6所描述而实现。举例来说，电子装置102可获得702第一深度图，其中第一深度图包含由深度传感器在第一取样进行取样的场景的第一部分的第一深度信息。
电子装置102可从深度传感器108对场景的第二取样获得704第二深度图。此可如上文结合图1到2和6中的一或多个所描述而实现。举例来说，电子装置102可获得702第二深度图，其中第二深度图包含由深度传感器在第二取样进行取样的场景的第二部分的第二深度信息。
电子装置102可获得706指示深度传感器108在第一取样与第二取样之间(例如，从第一取样到第二取样)的移位的移位信息。此可如上文结合图1到2和6中的一或多个所描述而实现。
电子装置102可基于移位信息对第一深度图进行变换708以产生经变换深度图。此可如上文结合图1到2和6中的一或多个所描述而实现。
电子装置102可检测710第二深度图中的错误深度信息。所述可如结合图1和9中的一或多个所描述而实现。举例来说，电子装置102可通过比较一或多个深度与相同深度图中的一或多个相邻深度(例如，在空间上内插的深度、在空间上平均的深度)和/或通过比较一或多个深度与来自一或多个经变换深度图(例如，经变换先前深度图和/或经变换后续深度图)的一或多个深度来检测710错误深度信息。
电子装置102可基于经变换深度图的对应深度信息替换712第二深度图的错误深度信息。此可如结合图1到2、6和9中的一或多个所描述而实现。举例来说，电子装置102可用经变换深度图的对应深度信息替换第二深度图的错误深度信息。另外或替代地，电子装置102可基于经变换深度图的对应深度信息而用一或多个深度内插(例如，时间深度内插、空间-时间深度内插、时间平均值、空间-时间平均值，等)替换错误深度信息。或者，电子装置102可对错误深度信息与来自相同和/或不同(例如，先前和/或后续)深度图的一或多个深度求平均。
在一些配置中，电子装置102可利用一或多个经变换深度值(例如，经变换深度重新投影深度值，等)和本地邻域深度值以便校正深度图。举例来说，电子装置102可利用经变换深度值和围绕中断的一或多个本地邻域深度值来执行经校正深度值的联合估计。
在一些配置中，电子装置102可如下校正深度图。电子装置102可根据传感器移动而汇总来自多个深度图(例如，视图、经变换深度图，等)的深度信息。接着，电子装置102可应用深度值之间的滤波(例如，内插、求平均、中值、均值，等)以估计正确深度。应注意，产生经校正深度图和/或校正错误深度信息可包含对深度图进行变换708和/或替换712错误深度信息。
图8为说明可根据本文中所公开的***和方法执行的变换的一个实例的图。举例来说，电子装置102(例如，深度信息校正器118)可基于移位信息对第一深度图进行变换以产生经变换深度图。在一些配置中，电子装置102可根据结合图8描述的方法对一或多个深度图(例如，深度信息)进行变换。
举例来说，电子装置102可如结合图1所描述而获得第一深度图。第一深度图可包含场景的第一部分在第一取样的一组深度。深度传感器可能在第一取样与第二取样之间移动。运动信息(例如，移位信息)可指示深度传感器在第一取样与第二取样之间的移位。举例来说，运动信息和/或移位信息可为和/或可指示反映在第一取样与第二取样之间的移位的旋转矩阵(例如，R)和平移矩阵(例如，T)。电子装置102可获得第二深度图，其可包含场景的第二部分在第二取样的另一组深度。
确切地说，图8说明场景中的点886。还说明传感器平面888(例如，深度传感器平面)上的对应点。在此实例中，f为光学***(例如，具有透镜的传感器、相机，等)的焦距。可获知和/或预先确定深度传感器(例如，光学***、相机，等)的焦距f。Z可为点886在世界坐标***中的深度，且x、y可为所述点在传感器平面888上(例如在第一取样)的感测到的数据(例如，图像、深度，等)的位置。举例来说，第一深度图的深度(例如，Z)中的每一个可位于深度传感器平面上的不同点(例如，x、y)处。
电子装置102(例如，深度信息校正器118)可对深度图(例如，第一深度图)进行变换以产生经变换深度图。举例来说，可基于深度Z和对应点888(x、y)计算点886的世界坐标(例如，X、Y、Z)，其中X＝Z*f/x，且可类似地计算Y坐标(例如，Y＝Z*f/y)。举例来说，电子装置102(例如，处理器112)可将一或多个传感器平面点(x、y)投影到一或多个世界坐标点P＝(X、Y、Z)。
在以世界坐标***获得点886P＝(X、Y、Z)之后，电子装置102可即刻根据传感器的旋转和平移来旋转(例如，R)和/或平移(例如，T)世界坐标点886(例如，对应于第一深度图的世界坐标点886中的一或多个)。举例来说，电子装置102可确定一或多个经旋转和/或平移的点P'＝(X'、Y'、Z')＝R*P+T(其中例如，R为3乘3旋转矩阵，且T为1乘3平移向量)。经旋转和/或平移的点P'＝(X'、Y'、Z')可接着向后投影在新视点的传感器平面上，从而产生x'和y'。举例来说，电子装置102可计算x'＝f*Z'/X'和y'＝f*Z'/Y'。新视点(例如，第二取样的视点(x'、y'))的传感器平面处的所述组深度Z'可为经变换深度图。
图9为说明深度984、986、988(例如，深度值)的实例的图。确切地说，图9说明用于检测错误深度信息的方法的实例。在图9中，深度(n-1)984对应于场景(例如，第一深度图)的先前帧和/或先前取样，深度(n)986对应于场景(例如，第二深度图)的当前帧和/或当前取样，且深度(n+1)988对应于场景(例如，第三深度图)的后一帧和/或后一取样。例如，深度(n-1)984可为先前深度图(或经变换先前深度图)的部分，深度(n)986可为当前深度图的部分，且深度(n+1)988可为后续深度图(或经变换后续深度图)的部分。在以下实例中的一些中，可评估(例如由处理器112和/或深度信息获得器116)深度dn,x,y以确定深度dn,x,y是否为错误的(例如，错误深度信息)。
在一些配置中，可基于同一帧中的一或多个深度(例如，相邻深度)(例如，dn,x-1,y-1、dn,x,y-1、dn,x+1,y-1、dn,x-1,y、dn,x+1,y、dn,x-1,y+1、dn,x,y+1和/或dn,x+1,y+1)评估深度dn,x,y。举例来说，可确定所述深度(例如，相邻深度)中的两个或更多个的内插(例如，平均值、均值、中值、加权平均值、线性内插、双线性内插、样条内插、多项式内插，等)以产生空间深度内插(例如，ds,int)。在一些方法中，可内插(例如，求平均)两个相邻深度(例如，dn,x-1,y和dn,x+1,y；dn,x-1,y-1和dn,x+1,y+1；dn,x,y-1和dn,x,y+1；dn,x+1,y-1和dn,x-1,y+1，等)。在一些方法中，可内插(例如，求平均)四个相邻深度(例如，dn,x-1,y、dn,x+1,y、dn,x,y-1和dn,x,y+1；dn,x-1,y-1、dn,x+1,y+1、dn,x+1,y-1和dn,x-1,y+1，等)。在一些配置中，可内插(例如，求平均)八个相邻深度(例如，dn,x-1,y-1、dn,x,y-1、dn,x+1,y-1、dn,x-1,y、dn,x+1,y、dn,x-1,y+1、dn,x,y+1和dn,x+1,y+1)。另外或替代地，距被评估深度较远(例如，比直接相邻者远)的一或多个其它深度(例如，dn,x-2,y、dn,x+2,y、dn,x,y-2和dn,x,y+2；等)可包含在内插计算中。
电子装置102可通过比较深度与空间深度内插(例如，ds,int)来检测错误深度信息。举例来说，如果深度(例如，dn,x,y)距空间深度内插(例如，ds,int)大于阈值量，则电子装置102可确定深度为错误的。例如，如果dn,x,y<ds,int–thresholds.low(其中thresholds,low为第一阈值)和/或如果dn,x,y>ds,int+thresholds,high(其中thresholds,high为第二阈值)，则dn,x,y可检测为错误深度信息。所述阈值可以距离单位(例如，英寸、英尺、米，等)来计。第一阈值与第二阈值可相同或不同。
在一些配置中，可基于来自一或多个先前帧的一或多个经变换(例如，重新投影)深度(例如，dn-1,x-1,y-1、dn-1,x,y-1、dn-1,x+1,y-1、dn-1,x-1,y、dn-1,x,y、dn-1,x+1,y、dn-1,x-1,y+1、dn-1,x,y+1和/或dn-1,x+1,y+1)和/或来自一或多个后续帧的一或多个经变换(例如，重新投影)深度(例如，dn+1,x-1,y-1、dn+1,x,y-1、dn+1,x+1,y-1、dn+1,x-1,y、dn+1,x,y、dn+1,x+1,y、dn+1,x-1,y+1、dn+1,x,y+1和/或dn+1,x+1,y+1)来评估深度dn,x,y。举例来说，电子装置102(例如，处理器112、深度信息获得器116，等)可比较被评估的深度(例如，dn,x,y)与来自前一帧的对应经变换深度(例如，dn-1,x,y)。如果深度(例如，dn,x,y)距对应经变换深度(例如，dn-1,x,y)大于阈值量，则电子装置102可确定所述深度为错误的。例如，如果dn,x,y<dn-1,x,y–thresholdn-1,low和/或如果dn,x,y>dn-1,x,y+thresholdn-1,high，则dn,x,y可检测为错误深度信息。可另外或替代地对于后一帧(例如，dn+1,x,y)执行类似方法。
在一些配置中，可基于来自一或多个先前帧和/或一或多个后续帧的经变换(例如，重新投影)深度来评估深度dn,x,y。举例来说，电子装置102(例如，处理器112、深度信息获得器116，等)可确定来自一或多个先前帧和/或一或多个后续帧的两个或更多个经变换深度的内插(例如，平均值、均值、中值、加权平均值、线性内插、双线性内插、样条内插、多项式内插，等)。在一个实例中，电子装置102可确定来自前一帧的对应经变换深度(例如，dn-1,x,y)和来自后一帧的对应经变换深度(例如，dn+1,x,y)的时间内插以产生时间深度内插(例如，dt,int)。如果深度(例如，dn,x,y)距时间深度内插(例如，dt,int)大于阈值量，则电子装置102可确定所述深度为错误的。例如，如果dn,x,y<dt,int–thresholdt,low和/或如果dn,x,y>dt,int+thresholdt,high，则dn,x,y可检测为错误深度信息。在一些实例中，可内插来自多个先前帧的深度和/或来自多个后续帧的深度以产生时间深度内插(例如，dt,int)。
在一些配置中，可基于同一帧中的一或多个深度与来自一或多个先前帧和/或一或多个后续帧的一或多个经变换(例如，重新投影)深度的组合来评估深度dn,x,y。举例来说，电子装置102(例如，处理器112、深度信息获得器116，等)可确定来自同一帧的两个或更多个深度(例如，相邻深度)的空间内插(例如，平均值、均值、中值、加权平均值、线性内插、双线性内插、样条内插、多项式内插，等)、来自一或多个先前帧的两个或更多个经变换深度的空间内插和/或来自一或多个后续帧的经变换深度的空间内插。举例来说，电子装置102可确定前一帧的两个或更多个深度984(例如，2到9个深度，等)的空间内插、当前帧的两个或更多个深度986(例如，2到9个深度、2到8个相邻深度，等)的空间内插和/或后一帧的两个或更多个深度988(例如，2到9个深度，等)的空间内插。电子装置102可另外确定来自前一帧、当前帧和/或后一帧的两个或更多个深度(例如，深度和/或空间内插深度)的时间内插。在一些实例中，电子装置102可在空间维度和时间维度两者上内插以确定来自前一帧、当前帧和/或后一帧的深度的空间-时间内插(例如，ds,t,int)。如果深度(例如，dn,x,y)距空间-时间深度内插(例如，ds,t,int)大于阈值量，则电子装置102可确定深度为错误的。例如，如果dn,x,y<ds,t,int–thresholds,t,low和/或如果dn,x,y>ds,t,int+thresholds,t,high，则dn,x,y可检测为错误深度信息。
在一些实例中，可单独地确定空间深度内插ds,int与时间深度内插(例如，dt,int)。电子装置102可基于深度与空间准则的组合确定深度(例如，dn,x,y)是否为错误的。举例来说，如果dn,x,y<ds,int–thresholds.low(其中thresholds,low为第一阈值)和/或如果dn,x,y>ds,int+thresholds,high(其中thresholds,high为第二阈值)，或如果dn,x,y<dt,int–thresholdt,low和/或如果dn,x,y>dt,int+thresholdt,high，则dn,x,y可检测为错误深度信息。
在以下实例中的一些中，对于深度dn,x,y为错误深度信息的情况，可校正(例如由处理器112和/或深度信息校正器118)深度dn,x,y。在一些配置中，可基于同一帧中的一或多个深度(例如，相邻深度)(例如，dn,x-1,y-1、dn,x,y-1、dn,x+1,y-1、dn,x-1,y、dn,x+1,y、dn,x-1,y+1、dn,x,y+1和/或dn,x+1,y+1)校正深度dn,x,y。举例来说，可确定相邻深度中的两个或更多个的内插(例如，平均值、均值、中值、加权平均值、线性内插、双线性内插、样条内插、多项式内插，等)以产生相邻空间深度内插(例如，ds,int)。在一些方法中，可内插(例如，求平均)两个相邻深度(例如，dn,x-1,y和dn,x+1,y；dn,x-1,y-1和dn,x+1,y+1；dn,x,y-1和dn,x,y+1；dn,x+1,y-1和dn,x-1,y+1，等)。在一些方法中，可内插(例如，求平均)四个相邻深度(例如，dn,x-1,y、dn,x+1,y、dn,x,y-1和dn,x,y+1；dn,x-1,y-1、dn,x+1,y+1、dn,x+1,y-1和dn,x-1,y+1，等)。在一些配置中，可内插(例如，求平均)八个相邻深度(例如，dn,x-1,y-1、dn,x,y-1、dn,x+1,y-1、dn,x-1,y、dn,x+1,y、dn,x-1,y+1、dn,x,y+1和dn,x+1,y+1)。另外或替代地，距被评估深度较远(例如，比直接相邻者远)的一或多个其它深度(例如，dn,x-2,y、dn,x+2,y、dn,x,y-2和dn,x,y+2；等)可包含在内插计算中。电子装置102可通过用空间深度内插(例如，ds,int)替换深度来校正错误深度信息。
在一些配置中，可通过对错误深度dn,x,y与一或多个相邻深度和/或与来自一或多个经变换深度图(例如来自一或多个先前帧和/或一或多个后续帧)的一或多个深度值求平均来校正错误深度dn,x,y。例如，错误深度可与相邻深度求平均(例如，dn,x-1,y、dn,x,y与dn,x+1,y可求平均；dn,x-1,y-1、dn,x,y与dn,x+1,y+1可求平均；dn,x,y-1、dn,x,y与dn,x,y+1可求平均；dn,x+1,y-1、dn,x,y与dn,x-1,y+1可求平均；等)。另外或替代地，错误深度可与来自一或多个其它经变换深度图的一或多个深度求平均(例如，dn,x-1,y、dn,x,y与dn,x+1,y可求平均；dn-1,x,y与dn,x,y可求平均；来自经变换深度图(例如在对应3x 3邻域中)的深度的平均值与dn,x,y(或例如包含dn,x,y的3x 3邻域)可求平均；等)。在一些配置中，平均可经加权。举例来说，较之于错误深度值，可给予一或多个其它深度值(例如，相邻深度值和/或来自经变换深度图的深度值)较大权重。
在一些配置中，可基于来自一或多个先前帧的一或多个经变换(例如，重新投影)深度(例如，dn-1,x-1,y-1、dn-1,x,y-1、dn-1,x+1,y-1、dn-1,x-1,y、dn-1,x,y、dn-1,x+1,y、dn-1,x-1,y+1、dn-1,x,y+1和/或dn-1,x+1,y+1)和/或来自一或多个后续帧的一或多个经变换(例如，重新投影)深度(例如，dn+1,x-1,y-1、dn+1,x,y-1、dn+1,x+1,y-1、dn+1,x-1,y、dn+1,x,y、dn+1,x+1,y、dn+1,x-1,y+1、dn+1,x,y+1和/或dn+1,x+1,y+1)校正错误深度dn,x,y。举例来说，电子装置102(例如，处理器112、深度信息校正器118，等)可用来自前一帧的对应经变换深度(例如，dn-1,x,y)或来自后一帧的对应经变换深度(例如，dn+1,x,y)替换错误深度(例如，dn,x,y)。
在一些配置中，可基于来自一或多个先前帧和/或一或多个后续帧的经变换(例如，重新投影)深度校正错误深度dn,x,y。举例来说，电子装置102(例如，处理器112、深度信息获得器116、深度信息校正器118，等)可确定来自一或多个先前帧和/或一或多个后续帧的两个或更多个经变换深度的内插(例如，平均值、均值、中值、加权平均值、线性内插、双线性内插、样条内插、多项式内插，等)。在一个实例中，电子装置102可确定来自前一帧的对应经变换深度(例如，dn-1,x y)和来自后一帧的对应经变换深度(例如，dn+1,x,y)的时间内插以产生时间深度内插(例如，dt,int)。电子装置102(例如，处理器112、深度信息校正器118，等)可用时间深度内插(例如，dt,int)替换错误深度(例如，dn,x,y)。
在一些配置中，可基于来自同一帧的一或多个深度与来自一或多个先前帧和/或一或多个后续帧的一或多个经变换(例如，重新投影)深度的组合校正错误深度dn,x,y。举例来说，电子装置102(例如，处理器112、深度信息获得器116、深度信息校正器118，等)可确定来自同一帧的两个或更多个深度(例如，相邻深度)的空间内插(例如，平均值、均值、中值、加权平均值、线性内插、双线性内插、样条内插、多项式内插，等)、来自一或多个先前帧的两个或更多个经变换深度的空间内插和/或来自一或多个后续帧的经变换深度的空间内插。举例来说，电子装置102可确定前一帧的两个或更多个深度984(例如，2到9个深度，等)的空间内插、当前帧的两个或更多个深度986(例如，2到9个深度、2到8个相邻深度，等)的空间内插和/或后一帧的两个或更多个深度988(例如，2到9个深度，等)的空间内插。电子装置102可另外确定来自前一帧、当前帧和/或后一帧的两个或更多个深度(例如，深度和/或空间内插深度)的时间内插。在一些实例中，电子装置102可在空间维度和时间维度两者上内插以确定来自前一帧、当前帧和/或后一帧的深度的空间-时间内插(例如，ds,t,int)。电子装置102(例如，处理器112、深度信息校正器118，等)可用空间-时间深度内插(例如，ds,t,int)替换错误深度(例如，dn,x,y)。
在一些配置中，电子装置102(例如，深度信息校正器118)可重复使用在错误深度检测(例如，空间深度内插(例如，ds,int)、时间深度内插(例如，dt,int)和/或空间-时间深度内插(例如，ds,t,int)，等)中确定的内插来校正错误深度信息。在一些配置中，深度信息获得器116可使用与深度信息校正器118用于校正错误深度信息不同的内插用于检测错误深度信息。
图10说明可包含于经配置以实施本文中所公开的***和方法的各种配置的电子装置1002内的特定组件。电子装置1002的实例可包含相机、视频摄录影机、数码相机、蜂窝式电话、智能电话、计算机(例如，台式计算机、膝上型计算机，等)、平板电脑装置、媒体播放器、电视机、车辆、汽车、个人相机、可穿戴式相机、虚拟现实装置(例如，头戴耳机)、扩增现实装置(例如，头戴耳机)、混合现实装置(例如，头戴耳机)、动作相机、监控摄像头、安装摄像头、互联摄像头、机器人、飞行器、无人机、无人驾驶飞行器(UAV)、智能电器、医疗保健设备、游戏控制台、个人数字助理(PDA)、机顶盒、勘察装置、映射器，等。电子装置1002可根据结合图1描述的电子装置102和/或根据结合图6描述的元件662中的一或多个加以实施。电子装置1002包含处理器1082。处理器1082可为通用单芯片或多芯片微处理器(例如，ARM)、专用微处理器(例如，数字信号处理器(DSP))、微控制器、可编程门阵列，等。处理器1082可称为中央处理单元(CPU)。尽管电子装置1002中仅展示单个处理器1082，但在替代配置中，可实施处理器的组合(例如，ARM与DSP)。
电子装置1002还包含存储器1062。存储器1062可为能够存储电子信息的任何电子组件。存储器1062可体现为随机存取存储器(RAM)、只读存储器(ROM)、磁盘存储媒体、光学存储媒体、RAM中的闪存存储器装置、与处理器包含在一起的车载存储器、EPROM存储器、EEPROM存储器、寄存器，等，包含其组合。
数据1066a和指令1064a可存储于存储器1062中。指令1064a可由处理器1082执行以实施本文中所描述的方法(例如，方法200、方法700)、过程、步骤和/或功能中的一或多个。执行指令1064a可涉及使用存储于存储器1062中的数据1066a。在处理器1082执行指令1064时，指令1064b的各个部分可加载到处理器1082上，和/或各条数据1066b可加载到处理器1082上。
电子装置1002还可包含发射器1072和接收器1074以允许将信号发射到电子装置1002和从所述电子装置接收信号。发射器1072和接收器1074可统称为收发器1076。一或多个天线1070a-b可电耦合到收发器1076。电子装置1002还可包含(未展示)多个发射器、多个接收器、多个收发器和/或额外天线。
电子装置1002可包含数字信号处理器(DSP)1078。电子装置1002还可包含通信接口1080。通信接口1080可允许和/或实现一或多种输入和/或输出。举例来说，通信接口1080可包含用于将其它装置链接到电子装置1002的一或多个端口和/或通信装置。在一些配置中，通信接口1080可包含发射器1072、接收器1074或两者(例如，收发器1076)。另外或替代地，通信接口1080可包含一或多个其它接口(例如，触摸屏、小键盘、键盘、麦克风、相机等)。举例来说，通信接口1080可使得用户能够与电子装置1002交互。
电子装置1002的各种组件可通过一或多个总线耦合在一起，所述总线可包含电力总线、控制信号总线、状态信号总线、数据总线等。为清楚起见，各种总线在图10中说明为总线***1068。
术语“确定”涵盖广泛多种动作，且因此“确定”可包含计算(calculating、computing)、处理、导出、调查、查找(例如，在表、数据库或另一数据结构中查找)、确认等。而且，“确定”可包含接收(例如，接收信息)、存取(例如，存取存储器中的数据)等。而且，“确定”可包含求解、选择、挑选、建立等等。
除非另外明确地指定，否则短语“基于”并不意味着“仅基于”。换句话说，短语“基于”描述“仅基于”与“至少基于”两者。
术语“处理器”应广义上解释为涵盖通用处理器、中央处理单元(CPU)、微处理器、数字信号处理器(DSP)、控制器、微控制器、状态机等。在一些情况下，“处理器”可指专用集成电路(ASIC)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)等。术语“处理器”可指处理装置的组合，例如DSP与微处理器的组合、多个微处理器、一或多个微处理器结合DSP核心，或任何其它此类配置。
术语“存储器”应广义上解释为涵盖能够存储电子信息的任何电子组件。术语存储器可指各种类型的处理器可读媒体，例如随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除PROM(EEPROM)、快闪存储器、磁性或光学数据存储装置、寄存器等。如果处理器可从存储器读取信息和/或写入信息到存储器，那么存储器被称为与处理器电子通信。与处理器成一体的存储器与处理器进行电子通信。
术语“指令”和“代码”应被广义地解释为包含任何类型的计算机可读语句。例如，术语“指令”和“代码”可指一或多个程序、例程、子例程、函数、过程等。“指令”和“代码”可包括单个计算机可读语句或许多计算机可读语句。
本文中所描述的功能可实施于由硬件执行的软件或固件中。所述功能可存储为计算机可读媒体上的一或多个指令。术语“计算机可读媒体”或“计算机程序产品”是指可通过计算机或处理器存取的任何实体存储媒体。借助于实例而非限制，计算机可读媒体可包括可用于以指令或数据结构形式载运或存储所需程序代码且可由计算机存取的任何媒体。应注意，计算机可读媒体可为有形且非暂时性的。术语“计算机程序产品”是指计算装置或处理器，其与可由计算装置或处理器执行、处理或计算的代码或指令(例如，“程序”)组合。如本文中所使用，术语“代码”可指可由计算装置或处理器执行的软件、指令、代码或数据。
还可经由传输媒体传输软件或指令。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或无线技术(例如，红外线、无线电及微波)从网站、服务器或其它远程源传输软件，那么同轴电缆、光纤电缆、双绞线、DSL或无线技术(例如，红外线、无线电及微波)包含在传输媒体的定义中。
本文中所公开的方法包括用于实现所描述方法的一或多个步骤或动作。在不脱离权利要求书的范围的情况下，方法步骤和/或动作可彼此互换。换句话说，除非正描述的方法的适当操作需要步骤或动作的特定次序，否则，在不脱离权利要求书的范围的情况下，可修改特定步骤及/或动作的次序及/或使用。
另外，应了解，用于执行本文中描述的方法和技术的模块和/或其它适当装置可由装置下载和/或以其它方式获得。举例来说，装置可耦合到服务器以促进用于执行本文中所描述的方法的装置的传递。或者，本文中所描述的各种方法可经由存储装置(例如，随机存取存储器(RAM)、只读存储器(read-only memory，ROM)、例如压缩光盘(CD)或软盘等物理存储媒体，等)提供，使得一装置可在将存储装置耦合或提供到所述装置之后即刻获得各种方法。
应理解，权利要求书不限于上文所说明的精确配置和组件。在不脱离权利要求书的范围的情况下，可在本文中所描述的***、方法和设备的布置、操作和细节方面进行各种修改、改变和变更。

Claims (30)

1.一种用于产生经校正深度图的电子装置，其包括：
深度传感器；
耦合到所述深度传感器的运动传感器，其中所述运动传感器经配置以确定运动信息；以及
耦合到所述深度传感器和所述运动传感器的处理器，其中所述处理器经配置以：
获得第一深度图，其中所述第一深度图包括由所述深度传感器在第一取样进行取样的场景的第一部分的第一深度信息；
获得第二深度图，其中所述第二深度图包括由所述深度传感器在第二取样进行取样的所述场景的第二部分的第二深度信息；
基于所述运动信息来获得指示所述深度传感器在所述第一取样与所述第二取样之间的移位的移位信息；以及
通过基于所述第一深度信息、所述第二深度信息和所述移位信息校正错误深度信息来产生经校正深度图。
2.根据权利要求1所述的电子装置，其中所述处理器经配置以基于所述移位信息来变换所述第一深度图以产生经变换深度图，且其中所述处理器经配置以基于所述经变换深度图来校正所述第二深度图的所述错误深度信息。
3.根据权利要求2所述的电子装置，其中所述处理器经配置以用所述经变换深度图的对应深度信息替换所述错误深度信息。
4.根据权利要求2所述的电子装置，其中所述处理器经配置以对所述第二深度图的非错误深度信息与所述经变换深度图的对应非错误深度信息求平均。
5.根据权利要求2所述的电子装置，其中所述处理器经配置以通过比较所述第二深度图的深度与所述经变换深度图的深度来检测所述错误深度信息。
6.根据权利要求5所述的电子装置，其中所述处理器经配置以确定所述第二深度图的所述深度是否比所述经变换深度图的所述深度大阈值量。
7.根据权利要求2所述的电子装置，其中所述处理器经配置以基于所述经变换深度图的至少两个深度与所述第二深度图的至少两个深度之间的空间-时间平均值来检测所述错误深度信息。
8.根据权利要求2所述的电子装置，其中所述处理器经配置以：
将深度传感器平面上的一或多个点投射到世界坐标上以产生一或多个世界坐标点；
旋转所述一或多个世界坐标点；
平移所述一或多个世界坐标点；以及
重新投射所述一或多个世界坐标点以产生所述经变换深度图。
9.根据权利要求1所述的电子装置，其中所述处理器经配置以基于所述第二深度图中的两个或更多个深度的空间平均值来检测所述错误深度信息。
10.根据权利要求1所述的电子装置，其中所述错误深度信息包括深度传感器中断。
11.一种用于通过电子装置产生经校正深度图的方法，其包括：
获得第一深度图，其中所述第一深度图包括由深度传感器在第一取样进行取样的场景的第一部分的第一深度信息；
获得第二深度图，其中所述第二深度图包括由所述深度传感器在第二取样进行取样的所述场景的第二部分的第二深度信息；
获得指示所述深度传感器在所述第一取样与所述第二取样之间的移位的移位信息；以及
通过基于所述第一深度信息、所述第二深度信息和所述移位信息校正错误深度信息来产生经校正深度图。
12.根据权利要求11所述的方法，其进一步包括基于所述移位信息来变换所述第一深度图以产生经变换深度图，且其中校正所述第二深度图的所述错误深度信息是基于所述经变换深度图。
13.根据权利要求12所述的方法，其中校正所述错误深度信息包括用所述经变换深度图的对应深度信息替换所述错误深度信息。
14.根据权利要求12所述的方法，其进一步包括对所述第二深度图的非错误深度信息与所述经变换深度图的对应非错误深度信息求平均。
15.根据权利要求12所述的方法，其进一步包括通过比较所述第二深度图的深度与所述经变换深度图的深度来检测所述错误深度信息。
16.根据权利要求15所述的方法，其中检测所述错误深度信息包括确定所述第二深度图的所述深度是否比所述经变换深度图的所述深度大阈值量。
17.根据权利要求12所述的方法，其进一步包括基于所述经变换深度图的至少两个深度与所述第二深度图的至少两个深度之间的空间-时间平均值来检测所述错误深度信息。
18.根据权利要求12所述的方法，其中变换所述第一深度图包括：
将深度传感器平面上的一或多个点投射到世界坐标上以产生一或多个世界坐标点；
旋转所述一或多个世界坐标点；
平移所述一或多个世界坐标点；以及
重新投射所述一或多个世界坐标点以产生所述经变换深度图。
19.根据权利要求11所述的方法，其进一步包括基于所述第二深度图中的两个或更多个深度的空间平均值来检测所述错误深度信息。
20.根据权利要求11所述的方法，其中所述错误深度信息包括深度传感器中断。
21.一种用于产生经校正深度图的设备，其包括：
用于获得第一深度图的装置，其中所述第一深度图包括由深度传感器在第一取样进行取样的场景的第一部分的第一深度信息；
用于获得第二深度图的装置，其中所述第二深度图包括由所述深度传感器在第二取样进行取样的所述场景的第二部分的第二深度信息；
用于获得指示所述深度传感器在所述第一取样与所述第二取样之间的移位的移位信息的装置；以及
用于通过基于所述第一深度信息、所述第二深度信息和所述移位信息校正错误深度信息来产生经校正深度图的装置。
22.根据权利要求21所述的设备，其进一步包括用于基于所述移位信息来变换所述第一深度图以产生经变换深度图的装置，且其中所述用于校正所述第二深度图的所述错误深度信息的装置是基于所述经变换深度图。
23.根据权利要求22所述的设备，其进一步包括用于用所述经变换深度图的对应深度信息替换所述错误深度信息的装置。
24.根据权利要求22所述的设备，其进一步包括用于通过比较所述第二深度图的深度与所述经变换深度图的深度来检测所述错误深度信息的装置。
25.根据权利要求21所述的设备，其中所述错误深度信息包括深度传感器中断。
26.一种用于产生经校正深度图的计算机程序产品，其包括上面具有指令的非暂时性有形计算机可读媒体，所述指令包括：
用于致使电子装置获得第一深度图的代码，其中所述第一深度图包括由深度传感器在第一取样进行取样的场景的第一部分的第一深度信息；
用于致使所述电子装置获得第二深度图的代码，所述第二深度图包括由所述深度传感器在第二取样进行取样的所述场景的第二部分的第二深度信息；
用于致使所述电子装置获得指示所述深度传感器在所述第一取样与所述第二取样之间的移位的移位信息的代码；以及
用于致使所述电子装置通过基于所述第一深度信息、所述第二深度信息和所述移位信息校正错误深度信息来产生经校正深度图的代码。
27.根据权利要求26所述的计算机程序产品，其进一步包括用于致使所述电子装置基于所述移位信息来变换所述第一深度图以产生经变换深度图的代码，且其中所述用于致使所述电子装置校正所述第二深度图的所述错误深度信息的代码是基于所述经变换深度图。
28.根据权利要求27所述的计算机程序产品，其进一步包括用于致使所述电子装置用所述经变换深度图的对应深度信息替换所述错误深度信息的代码。
29.根据权利要求27所述的计算机程序产品，其进一步包括用于致使所述电子装置通过比较所述第二深度图的深度与所述经变换深度图的深度来检测所述错误深度信息的代码。
30.根据权利要求26所述的计算机程序产品，其中所述错误深度信息包括深度传感器中断。
CN201680065690.6A 2015-11-20 2016-10-10 用于校正错误深度信息的***和方法 Active CN108352056B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/948,195 2015-11-20
US14/948,195 US10341633B2 (en) 2015-11-20 2015-11-20 Systems and methods for correcting erroneous depth information
PCT/US2016/056250 WO2017087088A1 (en) 2015-11-20 2016-10-10 Systems and methods for correcting erroneous depth information

Publications (2)

Publication Number Publication Date
CN108352056A true CN108352056A (zh) 2018-07-31
CN108352056B CN108352056B (zh) 2023-03-14

Family

ID=57233840

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680065690.6A Active CN108352056B (zh) 2015-11-20 2016-10-10 用于校正错误深度信息的***和方法

Country Status (6)

Country Link
US (1) US10341633B2 (zh)
EP (1) EP3378033B1 (zh)
JP (1) JP2018534699A (zh)
KR (1) KR20180084805A (zh)
CN (1) CN108352056B (zh)
WO (1) WO2017087088A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304782A (zh) * 2017-01-13 2018-07-20 福特全球技术公司 生成用于训练和验证检测模型的模拟传感器数据
US20190339362A1 (en) * 2018-05-03 2019-11-07 Mediatek Inc. Signature-based object detection method and associated apparatus
CN110708384A (zh) * 2019-10-12 2020-01-17 西安维度视界科技有限公司 一种基于ar的远程协助***的交互方法、***和存储介质
TWI703064B (zh) * 2018-11-16 2020-09-01 大陸商北京嘀嘀無限科技發展有限公司 用於在不良照明狀況下定位運輸工具的系統和方法
US10992916B2 (en) 2017-07-26 2021-04-27 Google Llc Depth data adjustment based on non-visual pose data
CN113168724A (zh) * 2018-09-14 2021-07-23 莱夫特公司 用于显示自主车辆环境意识的***和方法
CN113946151A (zh) * 2021-10-20 2022-01-18 北京百度网讯科技有限公司 针对自动驾驶车辆的数据处理方法、装置和自动驾驶车辆

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10269257B1 (en) * 2015-08-11 2019-04-23 Gopro, Inc. Systems and methods for vehicle guidance
US10705528B2 (en) * 2015-12-15 2020-07-07 Qualcomm Incorporated Autonomous visual navigation
US10360700B2 (en) * 2016-02-11 2019-07-23 Biosense Webster (Israel) Ltd. Interpolation of dynamic three-dimensional maps
US10304335B2 (en) 2016-04-12 2019-05-28 Ford Global Technologies, Llc Detecting available parking spaces
CN108780262B (zh) * 2016-05-19 2021-05-28 深圳市大疆创新科技有限公司 一种相对于成像装置内的图像传感器移动光学器件的方法和装置
US10074183B1 (en) * 2016-06-03 2018-09-11 Amazon Technologies, Inc. Image alignment correction for imaging processing during operation of an unmanned aerial vehicle
US10237531B2 (en) 2016-06-22 2019-03-19 Microsoft Technology Licensing, Llc Discontinuity-aware reprojection
US10129523B2 (en) * 2016-06-22 2018-11-13 Microsoft Technology Licensing, Llc Depth-aware reprojection
US10503245B2 (en) * 2016-09-21 2019-12-10 Apple Inc. Relative intertial measurement system
US10623723B2 (en) * 2016-09-29 2020-04-14 Intel Corporation Hybrid stereo rendering for depth extension in dynamic light field displays
US10664993B1 (en) 2017-03-13 2020-05-26 Occipital, Inc. System for determining a pose of an object
WO2018175344A1 (en) * 2017-03-21 2018-09-27 Magic Leap, Inc. Depth sensing techniques for virtual, augmented, and mixed reality systems
US10411798B2 (en) * 2017-07-13 2019-09-10 Qualcomm Incorporated Power optimized VLC signal processing with efficient handling of ISP/VFE
US20190124313A1 (en) 2017-10-19 2019-04-25 Intel Corporation Three dimensional glasses free light field display using eye location
US11682131B2 (en) * 2017-10-27 2023-06-20 Canon Kabushiki Kaisha Image capturing apparatus and method of controlling image capturing apparatus
JP6835455B2 (ja) * 2017-12-25 2021-02-24 Kddi株式会社 時系列の奥行き画像におけるデプス値を補正するプログラム、装置及び方法
US10628920B2 (en) * 2018-03-12 2020-04-21 Ford Global Technologies, Llc Generating a super-resolution depth-map
US11435752B2 (en) 2018-03-23 2022-09-06 Motional Ad Llc Data fusion system for a vehicle equipped with unsynchronized perception sensors
FR3083352B1 (fr) * 2018-06-29 2020-06-05 Continental Automotive France Procede et dispositif de detection rapide de structures repetitives dans l'image d'une scene routiere
KR102473494B1 (ko) 2018-08-17 2022-12-02 삼성전자주식회사 심도센싱장치 및 심도센싱장치의 동작 방법
US11520041B1 (en) * 2018-09-27 2022-12-06 Apple Inc. Correcting depth estimations derived from image data using acoustic information
JP7346021B2 (ja) * 2018-11-22 2023-09-19 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置、プログラムおよび記録媒体
US10861176B2 (en) * 2018-11-27 2020-12-08 GM Global Technology Operations LLC Systems and methods for enhanced distance estimation by a mono-camera using radar and motion data
JP7241517B2 (ja) * 2018-12-04 2023-03-17 三菱電機株式会社 航法装置、航法パラメータ計算方法およびプログラム
US10686980B1 (en) * 2019-01-22 2020-06-16 Daqri, Llc Systems and methods for generating composite depth images based on signals from an inertial sensor
US11158075B2 (en) * 2019-06-03 2021-10-26 Zebra Technlogies Corporation Method, system and apparatus for depth sensor artifact removal
US10510155B1 (en) * 2019-06-11 2019-12-17 Mujin, Inc. Method and processing system for updating a first image generated by a first camera based on a second image generated by a second camera
KR20190089791A (ko) * 2019-07-11 2019-07-31 엘지전자 주식회사 삼차원 어라운드 뷰 제공 장치 및 방법
US11416998B2 (en) 2019-07-30 2022-08-16 Microsoft Technology Licensing, Llc Pixel classification to reduce depth-estimation error
US11164383B2 (en) * 2019-08-30 2021-11-02 Lg Electronics Inc. AR device and method for controlling the same
JP7072737B2 (ja) * 2020-01-06 2022-05-20 三菱電機株式会社 ジェスチャ検出装置およびジェスチャ検出方法
US11503266B2 (en) 2020-03-06 2022-11-15 Samsung Electronics Co., Ltd. Super-resolution depth map generation for multi-camera or other environments
US11508077B2 (en) * 2020-05-18 2022-11-22 Samsung Electronics Co., Ltd. Method and apparatus with moving object detection
US20230396751A1 (en) * 2020-10-23 2023-12-07 Google Llc Sender-side geometric fusion of depth data
US11943565B2 (en) * 2021-07-12 2024-03-26 Milestone Systems A/S Computer implemented method and apparatus for operating a video management system
US12008777B2 (en) * 2021-10-22 2024-06-11 Argo AI, LLC Validating an SfM map using lidar point clouds

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101706246A (zh) * 2009-11-02 2010-05-12 一重集团大连设计研究院有限公司 一种磁滞式位移传感器震动失效的解决方法
CN102609942A (zh) * 2011-01-31 2012-07-25 微软公司 使用深度图进行移动相机定位
US20130208129A1 (en) * 2012-01-24 2013-08-15 Wesdyne Trc Ab Image enhancement device for reduction of noise in digital images
US20130222534A1 (en) * 2011-08-29 2013-08-29 Nokia Corporation Apparatus, a Method and a Computer Program for Video Coding and Decoding
CN103458261A (zh) * 2013-09-08 2013-12-18 华东电网有限公司 一种基于立体视觉的视频场景变化检测方法
US20150116464A1 (en) * 2013-10-29 2015-04-30 Canon Kabushiki Kaisha Image processing apparatus and image capturing apparatus
US20150178900A1 (en) * 2012-11-29 2015-06-25 Korea Institute Of Science And Technology Depth image processing apparatus and method based on camera pose conversion

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US785530A (en) * 1904-09-29 1905-03-21 Robert Peel Wakeman Window-screen.
US20070047834A1 (en) 2005-08-31 2007-03-01 International Business Machines Corporation Method and apparatus for visual background subtraction with one or more preprocessing modules
JP2011141710A (ja) * 2010-01-07 2011-07-21 National Institute Of Information & Communication Technology 奥行推定装置、奥行推定方法および奥行推定プログラム
US9400503B2 (en) 2010-05-20 2016-07-26 Irobot Corporation Mobile human interface robot
US8401242B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Real-time camera tracking using depth maps
JP2013012045A (ja) * 2011-06-29 2013-01-17 Nippon Telegr & Teleph Corp <Ntt> 画像処理方法、画像処理装置及びコンピュータプログラム
JP6097903B2 (ja) * 2011-07-15 2017-03-22 有限会社テクノドリーム二十一 ３次元形状の取得装置、処理方法およびプログラム
US9213883B2 (en) * 2012-01-10 2015-12-15 Samsung Electronics Co., Ltd. Method and apparatus for processing depth image
US9639959B2 (en) 2012-01-26 2017-05-02 Qualcomm Incorporated Mobile device configured to compute 3D models based on motion sensor data
US9237330B2 (en) 2012-02-21 2016-01-12 Intellectual Ventures Fund 83 Llc Forming a stereoscopic video
RU2012145349A (ru) * 2012-10-24 2014-05-10 ЭлЭсАй Корпорейшн Способ и устройство обработки изображений для устранения артефактов глубины
TWI530909B (zh) 2013-12-31 2016-04-21 財團法人工業技術研究院 影像合成系統及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101706246A (zh) * 2009-11-02 2010-05-12 一重集团大连设计研究院有限公司 一种磁滞式位移传感器震动失效的解决方法
CN102609942A (zh) * 2011-01-31 2012-07-25 微软公司 使用深度图进行移动相机定位
US20130222534A1 (en) * 2011-08-29 2013-08-29 Nokia Corporation Apparatus, a Method and a Computer Program for Video Coding and Decoding
US20130208129A1 (en) * 2012-01-24 2013-08-15 Wesdyne Trc Ab Image enhancement device for reduction of noise in digital images
US20150178900A1 (en) * 2012-11-29 2015-06-25 Korea Institute Of Science And Technology Depth image processing apparatus and method based on camera pose conversion
CN103458261A (zh) * 2013-09-08 2013-12-18 华东电网有限公司 一种基于立体视觉的视频场景变化检测方法
US20150116464A1 (en) * 2013-10-29 2015-04-30 Canon Kabushiki Kaisha Image processing apparatus and image capturing apparatus

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LIN BORSHING 等: "Temporal and Spatial Denoising of Depth Maps", 《SENSORS》 *
YAN CUI 等: "Algorithms for 3D Shape Scanning with a Depth Camera", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
崔建军 等: "线位移传感器校准及不确定度分析", 《计量学报》 *
高凯 等: "面向虚拟视点绘制的深度图滤波及上采样方法", 《中国图象图形学报》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304782A (zh) * 2017-01-13 2018-07-20 福特全球技术公司 生成用于训练和验证检测模型的模拟传感器数据
US10992916B2 (en) 2017-07-26 2021-04-27 Google Llc Depth data adjustment based on non-visual pose data
US20190339362A1 (en) * 2018-05-03 2019-11-07 Mediatek Inc. Signature-based object detection method and associated apparatus
TWI741450B (zh) * 2018-05-03 2021-10-01 聯發科技股份有限公司 物體檢測方法及裝置
CN113168724A (zh) * 2018-09-14 2021-07-23 莱夫特公司 用于显示自主车辆环境意识的***和方法
TWI703064B (zh) * 2018-11-16 2020-09-01 大陸商北京嘀嘀無限科技發展有限公司 用於在不良照明狀況下定位運輸工具的系統和方法
US11676254B2 (en) 2018-11-16 2023-06-13 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for positioning vehicles under poor lighting conditions
CN110708384A (zh) * 2019-10-12 2020-01-17 西安维度视界科技有限公司 一种基于ar的远程协助***的交互方法、***和存储介质
CN110708384B (zh) * 2019-10-12 2020-12-15 西安维度视界科技有限公司 一种基于ar的远程协助***的交互方法、***和存储介质
CN113946151A (zh) * 2021-10-20 2022-01-18 北京百度网讯科技有限公司 针对自动驾驶车辆的数据处理方法、装置和自动驾驶车辆

Also Published As

Publication number Publication date
CN108352056B (zh) 2023-03-14
WO2017087088A1 (en) 2017-05-26
EP3378033B1 (en) 2019-08-14
US20170148168A1 (en) 2017-05-25
US10341633B2 (en) 2019-07-02
KR20180084805A (ko) 2018-07-25
JP2018534699A (ja) 2018-11-22
EP3378033A1 (en) 2018-09-26

Similar Documents

Publication Publication Date Title
CN108352056A (zh) 用于校正错误深度信息的***和方法
CN108419446B (zh) 用于激光深度图取样的***及方法
US10192113B1 (en) Quadocular sensor design in autonomous platforms
US10262466B2 (en) Systems and methods for adjusting a combined image visualization based on depth information
JP6552729B2 (ja) 異なる分解能を有するセンサーの出力を融合するシステム及び方法
US10496104B1 (en) Positional awareness with quadocular sensor in autonomous platforms
WO2019179417A1 (zh) 数据融合方法以及相关设备
CN109313810A (zh) 用于对环境进行测绘的***和方法
US11788845B2 (en) Systems and methods for robust self-relocalization in a visual map
CN108603933B (zh) 用于融合具有不同分辨率的传感器输出的***和方法
CN111247557A (zh) 用于移动目标物体检测的方法、***以及可移动平台
CN109116374A (zh) 确定障碍物距离的方法、装置、设备及存储介质
JP2014101075A (ja) 画像処理装置、画像処理方法及びプログラム
CN110443186B (zh) 立体匹配方法、图像处理芯片及移动载具
US11488354B2 (en) Information processing apparatus and information processing method
CN112097732A (zh) 一种基于双目相机的三维测距方法、***、设备及可读存储介质
Cvišić et al. Recalibrating the KITTI dataset camera setup for improved odometry accuracy
CN113030960B (zh) 一种基于单目视觉slam的车辆定位方法
Vaida et al. Automatic extrinsic calibration of LIDAR and monocular camera images
CN113362370A (zh) 目标对象的运动信息确定方法、装置、介质及终端
KR101316387B1 (ko) 비전 센싱과 거리측정 센싱을 이용한 오브젝트 인식 방법
EP4085311A1 (en) Sequential mapping and localization (smal) for navigation
CN115019167B (zh) 基于移动终端的融合定位方法、***、设备及存储介质
Naheyan Extending the Range of Depth Cameras using Linear Perspective for Mobile Robot Applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant