CN106688012A - 深度图增强 - Google Patents
深度图增强 Download PDFInfo
- Publication number
- CN106688012A CN106688012A CN201580047467.4A CN201580047467A CN106688012A CN 106688012 A CN106688012 A CN 106688012A CN 201580047467 A CN201580047467 A CN 201580047467A CN 106688012 A CN106688012 A CN 106688012A
- Authority
- CN
- China
- Prior art keywords
- depth
- resolution
- camera
- image
- related pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000005259 measurement Methods 0.000 claims abstract description 18
- 238000003860 storage Methods 0.000 claims description 18
- 230000002596 correlated effect Effects 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 6
- 239000000463 material Substances 0.000 claims description 3
- 230000008021 deposition Effects 0.000 claims 1
- 230000001419 dependent effect Effects 0.000 abstract description 5
- 238000012935 Averaging Methods 0.000 abstract 2
- 230000006870 function Effects 0.000 description 61
- 238000000034 method Methods 0.000 description 35
- 238000009826 distribution Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000005316 response function Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000007639 printing Methods 0.000 description 5
- 238000009434 installation Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4069—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/571—Depth or shape recovery from multiple images from focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本描述涉及深度图像并且通过深度相关测量建模获得更高的分辨率深度图像。一个示例可以接收由深度相机所捕获的场景的深度图像集。该示例可以获得针对深度相机的深度相关像素平均函数。该示例还可以利用深度相关像素平均函数从深度图像集生成场景的高分辨率深度图像。
Description
背景技术
深度传感器在许多类型的计算设备中正变得容易获得。许多深度传感器具有有限的图像分辨率。本发明的概念可以增加由这些深度传感器捕获的深度图的有效分辨率。
发明内容
本描述涉及深度图像(例如,深度图)并且通过深度相关测量建模获得更高的分辨率深度图像。一个示例可以接收由深度相机所捕获的场景的深度图像集。该示例可以获得针对深度相机的深度相关像素平均函数。该示例还可以利用深度相关像素平均功能根据深度图像集生成场景的高分辨率深度图像。
以上所列出的示例旨在提供快速的参考以辅助阅读者并且不旨在定义本文所描述的概念的范围。
附图说明
附图图示了在本申请中传达的构思的实现。通过参考结合附图的以下描述可以更容易地理解所图示的实现的特征。各个附图中的相同附图标记在可行的情况下被用于指示相同元件。进一步地,每个附图标记的最左边的数字传达附图和首先引入附图标记的相关联的讨论。
图1、图2和图10示出了根据本构思的一些实现的深度图像分辨率增强***。
图3至图5示出了根据一些实现的一些示例结果的图形表示。
图6至图9示出了根据一些实现的本深度图像分辨率增强概念可以应用到的低分辨率深度图像和对应的高分辨率深度图像。
图11至图12是根据本构思的一些实现的深度图图像增强技术的流程图。
具体实施方式
概述
本描述涉及增强深度图像(例如,深度图)分辨率。单个的深度传感器具有捕获给定分辨率的深度图的能力。本实现可以增强该给定分辨率。例如,本实现可以产生具有作为给定分辨率两倍或三倍(或更多)分辨率的增强深度图。例如,本实现的一些实现可以使用给定场景的稍微偏移版本增加所捕获的深度图的有效分辨率(例如,超分辨率)。为此目的,这些实现可以在超分辨捕获的深度图中在距离上解决像素平均函数和噪声函数。
从另一视角察看,本发明构思中的一些构思可以从相同场景的深度图的若干偏移版本创建更高分辨率的深度图。采用这些发明方面的实现可以在两个阶段之间迭代。即,这些实现可以使用输入深度图和当前权重估计更高分辨率的深度图。然后,这些实现可以基于较高分辨率的深度图的当前估计、深度相关噪声特点和/或深度相关像素平均函数,更新权重。
场景示例
图1示出了示例***100,其包括设备102。出于解释的目的,设备102在图1中出现多次。在这种情况下,设备表现为智能电话,其包括深度相机104(以虚影示出,因为其面向远离读者)。例如,深度相机可以是独立的部件或深度相机可以是红、绿、蓝+深度相机的一部分。该特定设备102还可以包括显示器106。
设备102可以捕获对象110的深度图像(L)(例如,深度图)108的集合。在这种情况下,对象是洋蓟,但是当然设备可以捕获任何对象的图像。所捕获的深度图像108可以被称为低分辨率深度图像,其可以在112处共同地处理以创建对象110的高分辨率图像或潜在图像114。(注意,在后续讨论中,高分辨率图像可以被称为“H”并且低分辨率图像可以被称为“L”)。在该实现中,处理112可能需要深度相关测量建模(或DDM建模)116。在一些实现中,DDM建模可以考虑深度相关像素平均(DDPA)函数118和/或深度相关噪声特点(DDNC)120。在一些情况下,处理112可以以在122处指示的迭代方式执行以从深度图像118的集合获得高分辨率图像114。下面更详细地描述了这些方面。
换句话说,由本实现解决的一个技术问题是从可用的低分辨率图像集生成高分辨率(例如,超分辨率)深度图像的能力。现有的彩色图像超分辨率技术在应用到深度图像时提供次佳分辨率。该技术方案可以利用深度相关像素平均函数生成比利用现有技术可以获得的分辨率更高分辨率的超分辨率深度图像。因此,不管深度相机的分辨率,本技术可以提供更高的分辨率深度图像。该更高的分辨率深度图像可以向可能本来对由深度相机经由现有技术所提供的结果不满意的用户提供深度细节。
深度相关像素平均函数
图2示出了用于标识针对深度相机104的深度相关像素平均函数的示例***200。图3示出了来自***200的深度结果。图2的***被用于标识深度相机104的深度相关像素平均函数,并且在图3中示出结果。出于解释的目的,深度相关像素平均函数将被标识用于单独的深度相机104。注意,在许多情况下,深度相关像素平均函数可以被标识用于深度相机的模型。例如,可以由制造商执行标识。然后,所标识的深度相关像素平均函数可以被应用到该模型的单个深度相机。
在***200中,深度相机104被定位在平台202上。***包括场景或对象110(1)。场景的第一部分204在z参考方向上的第一深度d1处,并且场景的第二部分206在深度d2处。场景还包括第一部分204与第二部分206之间的深度不连续性。深度相机104可以包括图像传感器(诸如可以捕获信息的像素210的电荷耦合器件(CCD))。在这种情况下,为了便于解释,特别地标记和讨论仅一个像素(210(1))。单个像素可以包括来自区域α内的场景的信息。为了说明的简单性,***200在两个维度(x和z)上被讨论但是包括第三(y)维度。此处相对于x参考轴或维度所讨论的方面还可以被应用到y参考轴。
可以在x参考方向上精确地移动平台202。例如,可以在沿着x参考轴的子像素增量上移动平台。出于简洁的缘故,在图2中示出三个实例,但是实际上,可以在沿着x参考轴的几百或几千个增量位置处获得深度图像。
现在该讨论共同地参考图2-3。在图2的实例一处,区域α专有地覆盖第一部分204。如此,图形300上的记录的z方向深度是如在302处所指示的深度d1。记录的深度继续是近似d1直到区域α包括第一部分204和第二部分206,如在实例二处所示(例如,区域α包括不连续性208)。这反映在图形300上的304处。在实例三处,正x方向上的进一步的运动使得区域α专有地覆盖部分206,如在图形300上的306处所反映的。从一个视角,图形部分304可以被认为是表示单个像素210(1)的阶跃响应函数。单个的阶跃响应函数可以是噪声并且因此测量阶跃响应函数的形状和散布之一可能是困难的。为了补救这一点,可以采取许多捕获并且计算平均分布。备选地,如果不连续性208的界限确切地沿着图像的y方向,则跨越相同图像中的边缘的行可以被平均以降低噪声。响应函数的宽度将取决于界限的深度。例如,图4中的图形400示出针对三个不同的深度的阶跃响应函数:实线402,其表示与第一深度相关联的一个阶跃响应函数;虚线404,其表示与第二深度相关联的另一阶跃响应函数;和点线406,其表示与第三深度相关联的第三阶跃响应函数。
图5示出了图示一个平均分布502的示例的图形500。可以通过将阶跃函数拟合到所有分布并且使阶跃函数偏移一定量以使得所有阶跃函数关于阶跃不连续性对齐来获得平均分布502。可以从对齐的阶跃函数计算针对所有像素的平均分布。返回参考图2-3,如图5所示,平均分布502可以图形地指示深度相机104的深度相关像素平均函数的形状。与其他图像增强技术(诸如被用于彩色图像的那些图像增强技术)相反,深度相关像素平均函数不简单地是d1和d2处的相邻值的平均。进一步地,在304处的深度相关像素平均函数的宽度不必与不连续性208处的区域α的宽度相同。相反,斜坡函数的宽度可以取决于深度并且可以随着深度单调地增加。这可以促进在图像的不同区域处的可变大小的内核的使用。如上文所提到的,图5示出了相对于距离传感器(例如,深度相机)的距离良好拟合的(并且潜在地最佳拟合的)斜坡函数的宽度深度相机的变化。在这种情况下,宽度跨越从200毫米(mm)到1200mm的深度范围从约1.8像素到约3.2像素变化。因此,不连续性可以被期望是对于z方向上的小距离而言是非常锐利的,但是在z方向上的较大的距离处是极其模糊的。当然,在304处的深度相关误差的形状仅是一个可能的形状,并且针对其他深度相机的深度相关像素平均函数可以具有其他形状。
深度相关噪声特点
来自深度相机(诸如图1的深度相机104)的深度测量结果可以由很多误差源损坏。基本上,传感器噪声的强度取决于深度。
虽然噪声的强度取决于深度,但是许多采样的平均值被期望非常靠近正确深度值。为此目的,一些实现可以采取对平面的多个观测(诸如500至1000或更多个)。然后,可以确定观测的平均值。然后,第二平面可以适配到平均值。第二平面可以被认为是地面实况并且与该平面的偏离可以被分析为噪声分布。一些实现可以适配2D样条函数以表征第二平面内的空间误差分布。然后,样条函数可以延伸到3D来校正不同的深度处的类似误差。
进一步地,深度相机的单个传感器可以不总是给定针对给定场景的相同深度读数(例如,深度读数可以随着环境条件变化)。例如,捕获帧(在所有像素上)的平均深度对时间的图可以图示,即使针对静态场景,平均深度可以不是常量,而是可以在规则的模式中波动。该波动可以是深度相机的内部温度和/或房间的外部温度的函数。为了克服这一点,一些实现可以在每个位置处捕获相对大量的帧(例如500-1000)(一旦深度相机已经稳定到正常模式中)并且然后采取邻近帧集(诸如100),其在其平均深度方面尽可能是彼此接近的。在不同的条件下获得的信息可以被存储在诸如查找表中。当深度相机随后在类似条件下捕获深度图像时,可以访问该信息。换句话说,深度相机可以被预校准到最接近的存储的条件集并且内插可以被用于对校准进行微调。
帧之间的差异可以被建模为加性噪声;尽管使用仿射模型也是可能的。如此,单个帧可以被调节为具有相同平均强度。
随机噪声
一些实现可以通过将平面放置在深度相机前面的前面平行位置中测量深度相机104的随机噪声特点。可以捕获若干帧(诸如500-1000个)。可以通过平均深度图的每个位置处的这些500-1000个帧计算平均帧。第二平面可以被拟合到该平均帧并且被认为是地面实况深度。可以在每个位置处的每个帧中测量和返回地面实况与深度之间的误差来建造误差的直方图。可以在多个深度处重复该过程。误差分布往往是近似高斯。而且,误差往往在较大的深度处是大得多的(分布具有较大的方差)。可以计算这些分布对深度的拟合高斯的西格马(σ)变化。西格马往往具有对场景深度(Z)的线性依存性。
算法示例
图6至图8共同地图示了在高层处可以与本构思一起利用的示例算法。在以上讨论的各章节中介绍了该内容中的一些内容。图6至图8用于解释端到端场景。在讨论之后更详细的描述相对于图6至图8所讨论的具体内容。
出于解释的目的,假定更高分辨率(例如,超分辨率的)图像的初始估计是可用的并且在图6中被指派为输出H。还假定在H与低分辨率图像(例如,深度图输入Lk)中的任一个之间存在变换Tk(由旋转Rk和平移tk组成)。然后,本实现可以将点从H投影到Lk中的每一个,如在602处所示。Lk中的每个像素处的深度具有某个不确定性;该不确定性以先前所测量的深度相关误差函数的形式(上文示出为高斯分布)。另外,从所估计的深度相关误差函数,H的局部值可以以Lk的形式被组合(潜在地)以最佳地解释观测如在604处所指示的(高分辨率图像H与低分辨率图像Lk之间的给定旋转Rk和平移tk)。因此,可以在不同的深度处绘制噪声特点。如所提到的,基于距离深度传感器的每个距离处的平面的偏差,可以计算绘图。在每个距离处,可以根据许多(例如,几百个)样本估计平面方程。
图7与图2类似并且图示了图示为足迹702的一个像素210(1)(A)的深度相关像素平均函数的示例。该足迹跨越两个深度:d1和d2。深度相关像素平均函数确定从两个深度给予测量值什么样的样本。在该实现中,深度相关像素平均函数是不同的深度处的每个区域中的像素的覆盖范围的百分比的函数。换句话说,深度相关像素平均函数可以从在高分辨率图像H中所表示的深度704(1)、704(2)和704(3)确定低分辨率图像Lk的深度。
图8可以组合在图6至图7中上文介绍的构思。该特定算法具有两个阶段。第一,可以计算超分辨率的图像H的估计H'。H'可以被设定到H,并且可以计算自身与输入深度图Lk之间的几何变换Tk。基于H中的像素中的多少落在Lk中的像素下面,可以计算面积矩阵A。初始地,权重矩阵C可以被设定到单位矩阵。第二,给定H',可以更新误差分布和深度相关像素平均函数、几何变换Tk、面积矩阵A和权重矩阵C,这导致H'=H的新估计。可以迭代第一和第二阶段直到到达收敛或预指定的迭代数目。
该章节提供用于从深度传感器所捕获的位移的低分辨率深度图像Lk的集合计算高分辨率深度图像H、合并深度相关像素平均函数以及深度相关噪声特点的附加细节。
使用深度相关像素平均函数
如先前所讨论的,将高分辨率图像H投影到低分辨率图像Lk上可能需要知道高分辨率图像自身。出于解释的目的,开始假定高分辨率图像H的估计是获得的。高分辨率图像H可以被投影到低分辨率图像中的每一个上(特别地到Lk上)。让lj是一个这样的低分辨率点,如在图9中所示,并且让r表示使用针对传感器(例如,深度相机)的深度相关像素平均函数的深度相关模型计算的斜坡函数的宽度。让nj是与针对低分辨率点lj(例如,由单个像素所捕获的)的平均面积相交的投影高分辨率像素的数目。让hi是与由aji给定的区域(图9中的阴影区域)中的平均宽度相交的一个这样的像素。脉冲响应函数可以是box函数(即,通过aji确定每个高分辨率像素hi对lj的贡献),并且因此可以在以下等式中对所有样本相等地加权:
使用深度相关噪声
以上讨论指示可以使用高斯函数表征深度相关噪声-因此可以不相等地处理所有样本。相反,取决于低分辨率样本lj距高分辨率样本hi多远,置信测度可以被定义为:
该置信测度可以被集成到公式中,使得形成等式看起来像
组合来自每个低分辨率图像的约束,等式可以简洁地写作:
Lk=(Ck*Ak)·H, (5)
其中*表示矩阵的元素依次相乘,
并且Ck={cji},Ak={aji}
迭代算法
注意,交点aji和cji二者的面积取决于hi的值;cji通过其定义,和aji,因为hi的值指示该样本将投影到图像中的每一个中的何处。在联合优化中一起求解aji、cji和hi使问题难以处理。因此,一些实现可以使用下面所示的算法1中所示的迭代算法解决问题:
在算法的每次迭代中,高分辨率图像被投影到低分辨率图像Lk中的每一个中,并且交点aji的面积和基于噪声模型cji的置信测度被计算以相应地形成矩阵Ak和Ck。通过计算在最小二乘方意义上解释所有Lk的(潜在地)最佳H更新高分辨率图像H。
一些实现可以通过如在902处所指示的将低分辨率图像Lk投影到的高分辨率网格上初始化高分辨率图像H并且跟随相同相交程序来计算aji。换句话说,可以利用如由斜坡宽度r给定的lj周围的区域计算高分辨率像素hi的相交的面积。这些实现可以设定并且求解H的方程组。然后,H的该值可以被用于初始化期望最大化(EM)算法。
***示例
图10图示了示出深度图增强构思的各种设备实现的示例***1000。在这种情况下,图示了三个设备实现。从图1转入设备102。相对于图10介绍了附加设备1002(1)、1002(2)和1002(3)。设备102被表现为智能电话类型设备。设备1002(1)被表现为可穿戴智能设备;在这种情况下为智能眼镜。设备1002(2)被表现为3-D打印机。设备1002(3)被表现为娱乐控制台。当然,并非可以图示所有设备实现,并且其他设备实现从以上和以下描述对于技术人员应当是显而易见的。可以经由网络1004耦合设备102、1002(1)、1002(2)和/或1002(3)。网络还可以连接到其他资源(诸如定位在云1006中的资源)。
单独的设备102、1002(1)、1002(2)和/或1002(3)可以包括一个或多个深度相机104。可以采用各种类型的深度相机。例如,可以采用结构化光、飞行时间和/或立体深度相机。
其中,单独的设备102、1002(1)、1002(2)和/或1002(3)可以被表现为两个所图示的配置1008(1)和1008(2)中的一个。简要地,配置1008(1)表示操作***中心配置,并且配置1008(2)表示片上***配置。配置1008(1)被组织为一个或多个应用1010、操作***1012和硬件1014。配置1008(2)被组织为共享资源1016、专用资源1018和其之间的接口1020。
在任一配置中,设备102、1002(1)、1002(2)和/或1002(3)可以包括存储装置1022、处理器1024、传感器1026和/或通信部件1028。单个设备可以备选地或附加地包括其他元件(诸如输入/输出设备、总线、图形卡(例如,图形处理单元(GPU))等),出于简洁的缘故它们未被图示或讨论。
许多类型的传感器1026可以被包括在单独的设备102、1002(1)、1002(2)和/或1002(3)中/上。深度相机104可以被认为是传感器。附加传感器的示例可以包括可见光照相机,诸如红绿蓝(RGB)照相机(例如,彩色照相机)和/或组合RGB加深度相机(RGBD相机)。其他传感器的示例可以包括加速度计、陀螺仪、磁强计和/或麦克风等。
通信部件1028可以允许单独的设备102、1002(1)、1002(2)和/或1002(3)相互通信和/或与基于云的资源通信。该通信部件可以包括接收器和发射器和/或用于使用各种技术(诸如蜂窝、Wi-Fi(IEEE 802.xx)、蓝牙等)通信的其他射频电路。
注意,在一些情况下,单个设备上的深度相关测量建模部件116可以是鲁棒的并且允许单独的设备以一般地自含式方式操作。例如,如相对于图1所描述的,设备102可以获取对象110的低分辨率深度图像108的集合。深度相关测量建模部件116可以对低分辨率深度图像的集合使用深度相关像素平均函数118和深度相关噪声校正120。然后,深度相关测量建模部件116可以生成高分辨率图像114。然后,设备102可以以各种方式使用高分辨率图像114。一个使用可以是将高分辨率图像发送给3-D打印设备1002(2)。然后,3-D打印机设备可以利用打印头1130打印对象的复制品,所述打印头1130被配置为根据高分辨率图像沉积材料层。
备选地,用户可以将对象(例如,图1的示例中的洋蓟)放置在3-D打印设备1002(2)中。3-D打印设备可以使用其深度相机104捕获低分辨率深度图像集。3-D打印设备的深度相关测量建模部件116可以使用存储在设备的存储装置1022上的其深度相机104的深度相关像素平均函数以生成对象的高分辨率图像。在相对于图8的以上讨论中提供特定技术、函数的示例和等式的示例。打印头1130可以然后从高分辨率图像生成对象的复制品。
在其他情况下,单独的设备102、1002(1)、1002(2)和/或1002(3)可以具有较不鲁棒的深度相关测量建模部件116。在这样的情况下,设备可以将(未处理或部分处理的)低分辨率图像集发送给基于深度相关测量建模部件116(3)的云,其可以利用针对单独设备的深度相关像素平均函数118(3)生成对应的高分辨率图像。例如,单独设备可以发送具有低分辨率图像的深度相关像素平均函数作为元数据。备选地,基于深度相关测量建模部件116(3)的云可以维持和/或访问包括针对深度相机的各种模型的深度相关像素平均函数的表。基于深度相关测量建模部件116(3)的云可以使用针对单独设备中的深度相机的模型的对应的深度相关像素平均函数以生成高分辨率图像。然后,基于深度相关测量建模部件116(3)的云可以将高分辨率图像返回到单独设备、将高分辨率图像存储在云中和/或采取其他动作(诸如将高分辨率图像发送给3-D打印设备1002(2))。
从一个视角,设备102、1002(1)、1002(2)和/或1002(3)中的任一个可以被认为是计算机。如本文使用的术语“设备”、“计算机”或“计算设备”可以意指具有一定数量的处理能力和/或存储能力的任何类型的设备。处理能力可以由一个或多个处理器提供,其可以执行以计算机可读指令的形式的数据来提供功能。数据(诸如计算机可读指令和/或用户相关数据)可以被存储在存储装置(诸如可以在计算机的内部或外部的存储装置)上。其中,该存储装置可以包括以下各项中的任何一项或多项:易失性或非易失性存储器、硬盘驱动器、闪速存储设备和/或光学存储设备(例如,CD、DVD等)、远程存储(例如,基于云的存储)。如本文所使用的,术语“计算机可读介质”可以包括信号。相反,术语“计算机可读存储介质”不包括信号。计算机可读存储介质包括“计算机可读存储设备”。计算机可读存储设备的示例包括易失性存储介质(诸如RAM)和非易失性存储介质(诸如硬盘驱动器、光盘和闪速存储器)等。
如上文所提到的,配置1008(2)可以被认为是片上***(SOC)类型设计。在这样的情况下,由设备所提供的功能可以被集成在单个SOC上或多个耦合的SOC。一个或多个处理器可以被配置为与共享资源1016(诸如存储器、存储装置等)和/或一个或多个专用资源1018(诸如被配置为执行某个特定功能的硬件块)相配合。因此,如本文所使用的术语“处理器”还可以指代中央处理单元(CPU)、图形处理单元(GPU)、控制器、微控制器、处理器核心或其他类型的处理设备。
一般地,可以使用软件、固件、硬件(例如,固定逻辑电路)或这些实现的组合实施本文所描述的功能中的任一个。如本文所使用的术语“部件”一般地表示软件、固件、硬件、全部设备或网络或其组合。在软件实现的情况下,例如,这些可以表示当在处理器(例如,(一个或多个)CPU)上被执行时执行特定任务的程序代码。该程序代码可以被存储在一个或多个计算机可读存储器设备(诸如计算机可读存储介质)中。部件的特征和技术是平***立的,这意味着其可以被实现在具有各种处理配置的各种商业计算平台上。
在一些配置中,深度相关测量结果建模部件116和/或设备模型特定深度相关像素平均函数118可以在计算机的制造期间或由准备将计算机销售给终端用户的中介安装为硬件、固件或软件。在其他实例中,终端用户可以安装深度相关测量建模部件116和/或设备模型特定深度相关像素平均函数118(诸如以可下载的应用和相关联的数据(例如,函数)的形式)。
计算设备的示例可以包括传统的计算设备,诸如个人计算机、台式计算机、笔记本型计算机、手机、智能电话、个人数字助理、平板型计算机、娱乐控制台、3-D打印机和/或无数不断演变或还将研发的类型的计算设备中的任一个。进一步地,***1000的各方面可以显示在单个计算设备上或分布在多个计算设备上。
第一方法示例
图11示出了示例深度图像分辨率增强方法1100。
在这种情况下,在框1102处,方法可以相对于具有深度不连续性的场景定位深度相机。深度相机可以包括捕获场景的像素的传感器。
在框1104处,方法可以利用深度相机捕获场景的图像。
在框1106处,方法可以平行于场景子像素距离递增地移动深度相机并且捕获附加图像。
在框1108处,方法可以重复递增地移动和捕获附加图像来捕获进一步的图像,使得深度相机捕获深度不连续性。
在框1110处,方法可以从图像、附加图像和进一步的图像标识深度相机的深度相关像素平均函数。因此,方法1100可以标识针对单个的深度相机的深度相关像素平均函数。在方法1100中,深度相关像素平均函数可以被用于增强来自该深度相机或针对类似深度相机(例如,相同模型的深度相机)的深度图像。
第二方法示例
图12示出了示例深度图像分辨率增强方法1200。
在这种情况下,在框1202处,方法可以接收由深度相机所捕获的场景的深度图像集。
在框1204处,方法可以获得针对深度相机的深度相关像素平均函数。例如,可以利用针对深度相机或类似深度相机的方法1100标识针对照相机的深度相关像素平均函数。
在框1206处,方法可以利用深度相关像素平均函数从深度图像集生成场景的高分辨率深度图像。
可以通过相对于图1至图10上文所描述的***和/或设备和/或通过其他设备和/或***执行上文所描述的方法。描述方法的顺序不旨在被解释为限制的,并且任何数目的所描述的动作可以以任何顺序组合以实施方法或备选方法。而且,可以以任何适合的硬件、软件、固件或其组合实施方法,使得设备可以实施方法。在一个情况下,方法在计算机可读存储介质上被存储为指令集,使得通过计算设备的执行引起计算设备执行方法。
结论
尽管以结构特征和/或方法动作的特定语言描述了关于深度图像分辨率增强的技术、方法、组件、设备、***等,但是应理解到,附加的权利要求中定义的主题不必限于所描述的特定特征或动作。而是,特定特征和动作被公开为实施所主张的方法、组件、设备、***等的示例性形式。
Claims (15)
1.一种设备,包括:
深度相机;
存储装置,被配置为存储计算机可执行指令;
处理器,被配置为执行所述计算机可执行指令;
被存储在所述存储装置上的所述深度相机的深度相关像素平均函数;以及,
深度相关测量建模部件,被配置为将所存储的所述深度相关像素平均函数应用于由所述深度相机所捕获的对象的深度图像集,以生成所述对象的相对更高分辨率的深度图像。
2.根据权利要求1所述的设备,其中所述深度相机包括红绿蓝+深度(RGBD)相机。
3.根据权利要求2所述的设备,还包括显示器,并且其中所述深度相关测量建模部件被配置为在所述显示器上将所述相对更高分辨率的深度图像呈现为RGBD图像。
4.根据权利要求1所述的设备,其中所述深度相机是飞行时间深度相机,或者其中所述深度相机是结构化光深度相机,或者其中所述深度相机是立体深度相机。
5.根据权利要求1所述的设备,其中所述设备被表现为智能电话、平板型计算机、笔记本型计算机或娱乐控制台。
6.根据权利要求1所述的设备,其中所述设备被表现为3-D打印机并且还包括打印头,所述打印头被配置为基于所述高分辨率图像来沉积材料以创建所述对象的复制品。
7.根据权利要求1所述的设备,其中所述相对更高分辨率的深度图像的3-D分辨率是所述深度图像集的任何单个深度图像的所述3-D分辨率的至少约两倍。
8.根据权利要求1所述的设备,其中所述相对更高分辨率的深度图像的3-D分辨率是所述深度图像集的任何单个深度图像的所述3-D分辨率的至少约三倍。
9.至少一个计算机可读存储介质,具有存储在其上的指令,所述指令当由计算设备执行时使得所述计算设备执行动作,包括:
接收由深度相机所捕获的场景的深度图像集;
获得针对所述深度相机的深度相关像素平均函数;以及
利用所述深度相关像素平均函数从所述深度图像集生成所述场景的高分辨率深度图像。
10.根据权利要求9所述的计算机可读存储介质,其中所述接收包括捕获所述深度图像集,或者其中所述接收包括从捕获所述深度图像集的设备接收所述深度图像集。
11.根据权利要求9所述的计算机可读存储介质,其中所述获得针对所述深度相机的所述深度相关像素平均函数包括:通过相对于对象递增地移动所述深度相机并且捕获附加图像并且从所述附加图像计算所述深度相关像素平均函数来标识所述深度相关像素平均函数。
12.根据权利要求9所述的计算机可读存储介质,其中所述获得针对所述深度相机的所述深度相关平均函数包括利用所述深度图像集来获得所述深度相关像素平均函数。
13.根据权利要求9所述的计算机可读存储介质,其中所述获得针对所述深度相机的所述深度相关像素平均函数包括获得针对所述深度相机的模型的所述深度相关像素平均函数。
14.根据权利要求9所述的计算机可读存储介质,其中所述生成所述高分辨率深度图像包括利用针对所述深度相机的所述深度相关像素平均函数和深度相关噪声特点来生成高分辨率深度图像。
15.根据权利要求9所述的计算机可读存储介质,进一步包括存储所述高分辨率深度图像,或者将所述高分辨率深度图像返回给从中接收到所述深度图像集的设备。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/479,150 | 2014-09-05 | ||
US14/479,150 US20160073094A1 (en) | 2014-09-05 | 2014-09-05 | Depth map enhancement |
PCT/US2015/048221 WO2016036898A1 (en) | 2014-09-05 | 2015-09-03 | Depth map enhancement |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106688012A true CN106688012A (zh) | 2017-05-17 |
Family
ID=54197049
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580047467.4A Withdrawn CN106688012A (zh) | 2014-09-05 | 2015-09-03 | 深度图增强 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20160073094A1 (zh) |
EP (1) | EP3189494A1 (zh) |
JP (1) | JP2017527042A (zh) |
KR (1) | KR20170052634A (zh) |
CN (1) | CN106688012A (zh) |
WO (1) | WO2016036898A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108335267A (zh) * | 2017-12-29 | 2018-07-27 | 上海玮舟微电子科技有限公司 | 一种深度图像的处理方法、装置、设备和存储介质 |
CN112700482A (zh) * | 2019-10-23 | 2021-04-23 | 深圳市优必选科技股份有限公司 | 相机深度分辨率确定方法、装置、存储介质和智能设备 |
CN113298694A (zh) * | 2020-10-12 | 2021-08-24 | 黑芝麻智能科技(重庆)有限公司 | 用于深度图生成的具有闪光灯的多相机*** |
US11423557B2 (en) | 2018-06-28 | 2022-08-23 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Depth processor and three-dimensional image device |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6407423B2 (ja) * | 2014-06-26 | 2018-10-17 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | 高効率映像符号化においてデプスベースのブロック分割を提供するための方法および装置 |
US10321114B2 (en) * | 2016-08-04 | 2019-06-11 | Google Llc | Testing 3D imaging systems |
US11094108B2 (en) * | 2018-09-27 | 2021-08-17 | Snap Inc. | Three dimensional scene inpainting using stereo extraction |
CN112532839B (zh) * | 2020-11-25 | 2022-05-27 | 深圳市锐尔觅移动通信有限公司 | 一种摄像头模组、成像方法、成像装置及移动设备 |
CN114170521B (zh) * | 2022-02-11 | 2022-06-17 | 杭州蓝芯科技有限公司 | 一种叉车托盘对接识别定位方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4172416B2 (ja) * | 2004-04-22 | 2008-10-29 | 国立大学法人東京工業大学 | 超解像処理に適するサブピクセルモーション画像を撮影するための移動決定方法及びそれを用いた撮像装置、並びに移動方向の評価方法 |
US20120269458A1 (en) * | 2007-12-11 | 2012-10-25 | Graziosi Danillo B | Method for Generating High Resolution Depth Images from Low Resolution Depth Images Using Edge Layers |
US8842190B2 (en) * | 2008-08-29 | 2014-09-23 | Adobe Systems Incorporated | Method and apparatus for determining sensor format factors from image metadata |
US8724000B2 (en) * | 2010-08-27 | 2014-05-13 | Adobe Systems Incorporated | Methods and apparatus for super-resolution in integral photography |
US20120054575A1 (en) * | 2010-08-27 | 2012-03-01 | Jeyhan Karaoguz | Method and system for error protection of 3d video |
EP2786580B1 (en) * | 2011-11-30 | 2015-12-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Spatio-temporal disparity-map smoothing by joint multilateral filtering |
US9947134B2 (en) * | 2012-07-30 | 2018-04-17 | Zinemath Zrt. | System and method for generating a dynamic three-dimensional model |
SG11201500910RA (en) * | 2012-08-21 | 2015-03-30 | Pelican Imaging Corp | Systems and methods for parallax detection and correction in images captured using array cameras |
US9514522B2 (en) * | 2012-08-24 | 2016-12-06 | Microsoft Technology Licensing, Llc | Depth data processing and compression |
LU92074B1 (en) * | 2012-09-18 | 2014-03-19 | Iee Sarl | Depth image enhancement method |
US9589326B2 (en) * | 2012-11-29 | 2017-03-07 | Korea Institute Of Science And Technology | Depth image processing apparatus and method based on camera pose conversion |
US9776364B2 (en) * | 2013-08-09 | 2017-10-03 | Apple Inc. | Method for instructing a 3D printing system comprising a 3D printer and 3D printing system |
US9383548B2 (en) * | 2014-06-11 | 2016-07-05 | Olympus Corporation | Image sensor for depth estimation |
-
2014
- 2014-09-05 US US14/479,150 patent/US20160073094A1/en not_active Abandoned
-
2015
- 2015-09-03 KR KR1020177009308A patent/KR20170052634A/ko unknown
- 2015-09-03 CN CN201580047467.4A patent/CN106688012A/zh not_active Withdrawn
- 2015-09-03 JP JP2017512694A patent/JP2017527042A/ja active Pending
- 2015-09-03 EP EP15770683.9A patent/EP3189494A1/en not_active Withdrawn
- 2015-09-03 WO PCT/US2015/048221 patent/WO2016036898A1/en active Application Filing
Non-Patent Citations (6)
Title |
---|
AL ISMAEIL K, AOUADA D, ET AL: "《 Depth super-resolution by enhanced shift and add》", 《INTERNATIONAL CONFERENCE ON COMPUTER ANALYSIS OF IMAGES AND PATTERNS. SPRINGER》 * |
KIM J,ET AL: "《A high quality depth map upsampling method robust to misalignment of depth and color boundaries》", 《JOURNAL OF SIGNAL PROCESSING SYSTEMS》 * |
RAJAGOPALAN A N, ET AL: "《Resolution enhancement of pmd range maps》", 《JOINT PATTERN RECOGNITION SYMPOSIUM. SPRINGER》 * |
SCHUON S, THEOBALT C, ET AL: "《High-quality scanning using time-of-flight depth superresolution》", 《2008 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS》 * |
TRAVIS A R L: "《The display of three-dimensional video images》", 《PROCEEDINGS OF THE IEEE》 * |
YANG Q, ET AL: "《Spatial-depth super resolution for range images》", 《2007 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108335267A (zh) * | 2017-12-29 | 2018-07-27 | 上海玮舟微电子科技有限公司 | 一种深度图像的处理方法、装置、设备和存储介质 |
US11423557B2 (en) | 2018-06-28 | 2022-08-23 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Depth processor and three-dimensional image device |
CN112700482A (zh) * | 2019-10-23 | 2021-04-23 | 深圳市优必选科技股份有限公司 | 相机深度分辨率确定方法、装置、存储介质和智能设备 |
CN112700482B (zh) * | 2019-10-23 | 2023-12-29 | 深圳市优必选科技股份有限公司 | 相机深度分辨率确定方法、装置、存储介质和智能设备 |
CN113298694A (zh) * | 2020-10-12 | 2021-08-24 | 黑芝麻智能科技(重庆)有限公司 | 用于深度图生成的具有闪光灯的多相机*** |
CN113298694B (zh) * | 2020-10-12 | 2023-08-08 | 黑芝麻智能科技(重庆)有限公司 | 用于深度图生成的具有闪光灯的多相机*** |
Also Published As
Publication number | Publication date |
---|---|
US20160073094A1 (en) | 2016-03-10 |
KR20170052634A (ko) | 2017-05-12 |
EP3189494A1 (en) | 2017-07-12 |
JP2017527042A (ja) | 2017-09-14 |
WO2016036898A1 (en) | 2016-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106688012A (zh) | 深度图增强 | |
US9736451B1 (en) | Efficient dense stereo computation | |
Yang et al. | Color-guided depth recovery from RGB-D data using an adaptive autoregressive model | |
CN104581111B (zh) | 利用变换的目标区域填充 | |
US10311595B2 (en) | Image processing device and its control method, imaging apparatus, and storage medium | |
JP2021528734A (ja) | ジオメトリ情報の動き補償 | |
US10726599B2 (en) | Realistic augmentation of images and videos with graphics | |
US9589359B2 (en) | Structured stereo | |
EP3714437A1 (en) | Three-dimensional (3d) reconstructions of dynamic scenes using reconfigurable hybrid imaging system | |
CN111563950B (zh) | 纹理映射策略确定方法、装置及计算机可读存储介质 | |
US9971418B2 (en) | Tracker for cursor navigation | |
US20180198970A1 (en) | High dynamic range imaging using camera arrays | |
CN106537908A (zh) | 相机标定 | |
EP2960859B1 (en) | Constructing a 3d structure | |
US9342873B1 (en) | Tile-based optical flow | |
CN109661815B (zh) | 存在相机阵列的显著强度变化的情况下的鲁棒视差估计 | |
Feng et al. | Plane registration leveraged by global constraints for context‐aware AEC applications | |
CN107749069B (zh) | 图像处理方法、电子设备和图像处理*** | |
Wilm et al. | Accurate and simple calibration of DLP projector systems | |
Furukawa | High-fidelity image-based modeling | |
JP2024508024A (ja) | 画像データの処理方法及び装置 | |
US20180005399A1 (en) | Estimation of 3d point candidates from a location in a single image | |
US9736366B1 (en) | Tile-based digital image correspondence | |
Audet et al. | Augmenting moving planar surfaces robustly with video projection and direct image alignment | |
Haque et al. | Robust feature-preserving denoising of 3D point clouds |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20170517 |