CN109844819A - 用于动态遮挡处置的***和方法 - Google Patents

用于动态遮挡处置的***和方法 Download PDF

Info

Publication number
CN109844819A
CN109844819A CN201780052439.0A CN201780052439A CN109844819A CN 109844819 A CN109844819 A CN 109844819A CN 201780052439 A CN201780052439 A CN 201780052439A CN 109844819 A CN109844819 A CN 109844819A
Authority
CN
China
Prior art keywords
depth
edge point
processing system
depth map
color image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780052439.0A
Other languages
English (en)
Inventor
叶茂
Y-L.陈
L.任
C.杜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN109844819A publication Critical patent/CN109844819A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/40—Hidden part removal
    • G06T15/405—Hidden part removal using Z-buffer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/40—Hidden part removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

计算***包括具有至少一个处理单元的处理***。处理***被配置为接收具有对象的第一边界的深度图。处理***被配置为接收对应于深度图的彩色图像。彩色图像包括对象的第二边界。处理***被配置为从深度图中提取第一边界的深度边沿点。处理***被配置为标识深度图上的目标深度边沿点。目标深度边沿点对应于彩色图像中的对象的第二边界的彩色边沿点。此外，处理***被配置为将深度边沿点速移到目标深度边沿点，使得利用针对对象的对象边界来增强深度图。

Description

用于动态遮挡处置的***和方法
相关申请的交叉引用
本申请要求于2016年6月27日提交的美国临时专利申请号62/354,891的权益，并且特此通过引用将该美国临时专利申请在其整体上合并于本文。
技术领域
本公开涉及用于增强深度图的***和方法，并且更具体地，涉及利用增强的深度图的动态遮挡处置。
背景技术
增强现实（AR）涉及提供现实世界环境与虚拟世界环境（例如，计算机生成的输入）一起的合成视图的技术。通常需要正确的深度感知来交付逼真且无缝的AR体验。例如，在AR辅助维护或制造任务中，用户趋于与现实和虚拟对象两者频繁交互。然而，在没有正确的深度感知的情况下，难以提供现实世界场景和虚拟世界场景之间具有适当遮挡处置的无缝交互体验。
一般而言，实时3D感测计算上是昂贵的并且要求高端传感器。为了减小该开销，一些早期工作依靠2D轮廓追踪来推断典型地假设为固定的遮挡关系。可替换地，假设场景是静态的并保持不改变，一些其他工作包括离线建造场景的3D模型并在线使用这些3D模型以供深度测试。虽然这些方法可以实现一些遮挡处置效果，但是它们不能适应在AR应用中非常常见的用户交互的动态本性。
此外，近期轻量级RGB深度（RGB-D）相机的到来为AR应用提供一些3D感测能力。然而，这些RGB-D相机典型地具有低成本消费者深度传感器，所述低成本消费者深度传感器通常经受各种类型的噪声，在对象边界周围尤其如此。当这些轻量级RGB-D相机用于AR应用时，这类限制典型地引起不合适的视觉伪像，从而妨碍得体的AR体验。已经针对深度图增强完成了大量研究以改进这些轻量级RGB-D相机提供的传感器数据的质量。然而，这些方案中的大多数归因于其高计算成本而不能直接应用于AR用例。
此外，滤波经常用于图像增强。例如，一些示例包括联合双边滤波过程或者引导图像滤波过程。此外，其他示例包括域变换过程、自适应流形过程或修补过程。然而，这些过程典型地在计算上是昂贵的并且经常导致边沿模糊，从而引起边界周围的插值伪像。
发明内容
以下是下面详细描述的某些实施例的概述。仅为了向读者提供这某些实施例的简要概述而给出所描述的方面，并且这些方面的描述没有限制本公开的范围的意图。实际上，本公开可以涵盖可能未在下面明确阐述的各种方面。
在示例实施例中，一种计算***包括具有至少一个处理单元的处理***。处理***被配置为接收具有对象的第一边界的深度图。处理***被配置为接收对应于深度图的彩色图像。彩色图像包括对象的第二边界。处理***被配置为从深度图中提取第一边界的深度边沿点。处理***被配置为标识深度图上的目标深度边沿点。目标深度边沿点对应于彩色图像中的对象的第二边界的彩色边沿点。此外，处理***被配置为将深度边沿点速移到目标深度边沿点，使得利用针对对象的对象边界来增强深度图。
在示例实施例中，一种用于动态遮挡处置的***至少包括深度传感器、相机和处理***。深度传感器被配置为提供深度图。深度图包括对象的第一边界。相机被配置为提供彩色图像。彩色图像包括对象的第二边界。处理***包括至少一个处理单元。处理***被配置为接收具有对象的第一边界的深度图。处理***被配置为接收对应于深度图的彩色图像。彩色图像包括对象的第二边界。处理***被配置为从深度图中提取第一边界的深度边沿点。处理***被配置为标识深度图上的目标深度边沿点。目标深度边沿点对应于彩色图像中的对象的第二边界的彩色边沿点。处理***被配置为将深度边沿点速移到目标深度边沿点，使得利用针对对象的对象边界来增强深度图。
在示例实施例中，一种计算机实现的方法包括接收具有对象的第一边界的深度图。所述方法包括接收对应于深度图的彩色图像。彩色图像包括对象的第二边界。所述方法包括从深度图中提取第一边界的深度边沿点。所述方法包括标识深度图上的目标深度边沿点。目标深度边沿点对应于彩色图像中的对象的第二边界的彩色边沿点。所述方法包括将深度边沿点朝向目标深度边沿点速移，使得利用针对对象的对象边界来增强深度图。
通过以下对鉴于附图的某些示例性实施例的详细描述，进一步阐明了本发明的这些和其他特征、方面和优点，贯穿附图同样的字符表示同样的部分。
附图说明
图1是根据本公开的示例实施例的***的图。
图2A是在没有动态遮挡处置的情况下的视频视图中的虚拟对象的渲染。
图2B是根据本公开的示例实施例的具有动态遮挡处置的视频视图中的虚拟对象的渲染。
图2C和2D是在没有动态遮挡处置的情况下的图2A的虚拟对象的渲染。
图2E和2F是根据本公开的示例实施例的具有动态遮挡处置的图2B的虚拟对象的渲染。
图2G和2H是在没有动态遮挡处置的情况下的眼镜视图中的图2A的可视化。
图2I和2J是根据本公开的示例实施例的具有动态遮挡处置的眼镜视图中的图2B的可视化。
图3A是根据本公开的示例实施例的深度图的示例。
图3B是根据本公开的示例实施例的彩色图像的示例。
图3C图示了根据本公开的示例实施例的覆盖图3B的彩色图像的图3A的深度图的示例。
图3D和3E是图3C的示例性区域的放大视图。
图3F是与虚拟对象一起的图3C的可视化。
图3G和3H是图3F的示例性区域的放大视图。
图4是根据本公开的示例实施例的图1的***的过程的框图。
图5是根据本公开的示例实施例的深度边沿点过程的示例实现的流程图。
图6A是根据本公开的示例实施例的彩色图像的示例。
图6B是根据本公开的示例实施例的深度图的示例。
图6C是根据本公开的示例实施例的覆盖灰度图像的深度边沿点的示例。
图6D是根据本公开的示例实施例的图6C的示例性区域内的原始深度边沿点的放大视图。
图6E是根据本公开的示例实施例的图6C的区域的平滑深度边沿点的放大视图。
图6F图示了根据本公开的示例实施例的基于图6D的原始深度边沿点生成的2D法线的示例。
图6G图示了根据本公开的示例实施例的基于图6E的平滑深度边沿点生成的2D法线的示例。
图7是根据本公开的示例实施例的候选搜索过程和优化过程的示例实现的流程图。
图8A是根据本公开的示例实施例的彩色图像的示例。
图8B是根据本公开的示例实施例的图8A的区域的放大视图连同利用来自RGB空间的图像梯度的边沿速移的可视化。
图8C是根据本公开的示例实施例的图8A的区域的放大视图连同利用来自RGB空间和YCbCr空间两者的图像梯度的边沿速移的可视化。
图9A是根据本公开的示例实施例的彩色图像的示例。
图9B是根据本公开的示例实施例的来自红色通道的图像梯度的量值的示例。
图9C是根据本公开的示例实施例的转换CR通道中的图像梯度的量值的示例。
图10A是根据本公开的示例实施例的彩色图像的示例。
图10B图示了根据本公开的示例实施例的在没有平滑约束的情况下针对图10A的区域的边沿速移结果的示例。
图10C图示了根据本公开的示例实施例的具有平滑约束的针对图10A的区域的边沿速移结果的示例。
图11A是根据本公开的示例实施例的彩色图像的示例。
图11B图示了根据本公开的示例实施例的在没有平滑约束的情况下针对图11A的示例性区域的边沿速移结果的示例。
图11C图示了根据本公开的示例实施例的具有平滑约束的针对图11A的示例性区域的边沿速移结果的示例。
图12是根据本公开的示例实施例的深度图增强过程的示例实现的流程图。
图13A、13B、13C、13D和13E图示了根据本公开的示例实施例的基于边沿速移的深度图增强过程的方面。
图14是根据本公开的示例实施例的眼镜视图渲染过程的示例实现的流程图。
图15A图示了与在视频视图和眼镜视图之间改变相关联的问题。
图15B图示了使用插值的遮挡效果的示例。
图15C图示了根据本公开的示例实施例的使用图14的过程的遮挡效果的示例。
图16A是在没有动态遮挡处置的情况下的AR场景的示例。
图16B是根据本公开的示例实施例的具有使用原始深度数据的动态遮挡处置的AR场景的示例。
图16C是根据本公开的示例实施例的具有使用增强的深度图的动态遮挡处置的AR场景的示例。
图17A是在没有动态遮挡处置的情况下的AR场景的示例。
图17B是根据本公开的示例实施例的具有使用原始深度数据的动态遮挡处置的AR场景的示例。
图17C是根据本公开的示例实施例的具有使用增强的深度图的动态遮挡处置的AR场景的示例。
图18A是在没有动态遮挡处置的情况下的AR场景的示例。
图18B是根据本公开的示例实施例的具有使用原始深度数据的动态遮挡处置的AR场景的示例。
图18C是根据本公开的示例实施例的具有使用增强的深度图的动态遮挡处置的AR场景的示例。
图19A是在没有动态遮挡处置的情况下的AR场景的示例。
图19B是根据本公开的示例实施例的具有使用原始深度数据的动态遮挡处置的AR场景的示例。
图19C是根据本公开的示例实施例的具有使用增强的深度图的动态遮挡处置的AR场景的示例。
图20A是根据本公开的示例实施例的在没有动态遮挡处置的情况下的AR场景的示例。
图20B是根据本公开的示例实施例的具有使用原始深度数据的动态遮挡处置的AR场景的示例。
图20C是根据本公开的示例实施例的具有使用增强的深度图的动态遮挡处置的AR场景的示例。
图21A、21B、21C和21D是根据本公开的示例实施例的具有地面真值边界的轮廓线的彩色图像。
图22A、22B、22C和22D分别是根据本公开的示例实施例的覆盖在图21A、21B、21C和21D的对应彩色图像上的原始深度图的可视化。
图23A、23B、23C和23D分别是根据本公开的示例实施例的覆盖在图21A、21B、21C和21D的对应彩色图像上的增强的深度图的可视化。
具体实施方式
通过前述描述将理解已经作为举例示出并描述的上文描述的实施例及其很多优点，并且将清楚的是，在不脱离所公开主题或不牺牲其一个或者多个优点的情况下可以在组件的形式、构造和布置方面做出各种改变。实际上，这些实施例的描述形式仅仅是解释性的。这些实施例容许各种修改和替换形式，并且所附权利要求意图涵盖并包括这类改变且不限于所公开的特定形式，而是覆盖落入本公开的精神和范围的所有修改、等同物和替换物。
图1图示了根据示例实施例的用于AR中的动态遮挡处置的***100的框图。在示例实施例中，***100包括头戴式显示器110和动态遮挡处置***120。此外，***100包括将头戴式显示器110连接到动态遮挡处置***120的通信技术118。在示例实施例中，通信技术118被配置为至少在头戴式显示器110和动态遮挡***120之间提供数据传递。在示例实施例中，通信技术118包括有线技术、无线技术或其组合。作为非限制性示例，通信技术118包括HDMI技术、WiFi技术或任何合适的通信链路。
在示例实施例中，头戴式显示器110是光学头戴式显示器，所述光学头戴式显示器被使能为反射投影图像同时允许用户通过其观看。在示例实施例中，头戴式显示器110至少包括深度传感器114和视频相机116。在图1中，例如，头戴式显示器110包括RGB-D相机112，RGB-D相机112包括深度传感器114和视频相机116。在示例实施例中，RGB-D相机112可以是近范围的。
在示例实施例中，深度传感器114被配置为提供用于动态遮挡处置的深度数据以及几何信息。在此方面，例如，深度传感器114是轻结构传感器或飞行时间传感器。可替换地，立体传感器可以用于获取动态深度信息。在示例实施例中，取决于应用，深度传感器114可以具有任何合适的感测范围。例如，在图1中，RGB-D相机112包括具有0.2m至1.2m的感测范围的深度传感器114，该感测范围足以覆盖涉及用户的手204的AR交互区。
在示例实施例中，视频相机116被配置为提供视频或记录的一系列彩色图像。在示例实施例中，视频相机116被配置为提供场景追踪（例如，视觉SLAM）。此外，由于由头戴式显示器110提供的眼镜视图212不能够提供用于动态遮挡处置的信息，因此***100使用来自视频视图200的视频数据并将视频视图200用作眼镜视图212来提供动态遮挡处置。
在示例实施例中，***100包括动态遮挡处置***120。在示例实施例中，动态遮挡处置***120是包括动态遮挡处置模块130并可以实现本文公开的功能的任何合适的计算***。作为非限制性示例，计算***是个人计算机、膝上型计算机、平板计算机或被使能为实现动态遮挡处置模块130的功能的任何合适的计算机技术。
在示例实施例中，计算***至少包括输入/输出（I/O）设备122、通信***124、计算机可读介质126、其他功能模块128以及处理***132。在示例实施例中，I/O设备可以包括诸如键盘、扬声器、麦克风、显示器等任何合适的设备或设备的组合。在示例实施例中，通信***124包括使动态遮挡处置***120的组件能够彼此通信并且还使动态遮挡处置***120能够经由通信技术118与头戴式显示器110通信的任何合适的通信构件。此外，在示例实施例中，通信***124包括使计算动态遮挡处置***120能够连接到因特网以及与计算机网络或任何合适的网络上的其他计算***和/或设备连接的任何合适的通信构件。在示例实施例中，计算机可读介质126是被配置为存储各种数据和提供对各种数据的访问以使能本文公开的功能的计算机或电子存储***。在示例实施例中，计算机可读介质126可以包括电气、电子、磁性、光学、半导体、电磁或任何合适的存储器技术。在示例实施例中，计算机可读介质126是本地的、远程的或其组合（例如，部分是本地的并且部分是远程的）。在示例实施例中，其他功能模块128可以包括硬件、软件或其组合。例如，其他功能模块128可以包括操作***、逻辑电路、任何硬件计算组件、任何软件计算组件或其任何组合。在示例实施例中，处理***132包括至少一个处理单元来根据动态遮挡处置模块130执行和实现动态遮挡处置。例如，在图1中，处理***132至少包括中央处理单元（CPU）和图形处理单元（GPU）。
如上文讨论的，动态遮挡处置***120包括动态遮挡处置模块130。在示例实施例中，动态遮挡处置模块130包括硬件、软件或其组合。在示例实施例中，动态遮挡处置模块130被配置为向处理***132提供必要的数据和支持，使得过程400（例如，图4）被使能为执行和提供增强的深度数据和动态遮挡处置，从而提供逼真的AR体验。
图2A-2B图示了其中在如采集传感器空间的视频视图200中渲染虚拟对象202的非限制性示例。具体地，图2A图示了在没有动态遮挡处置的情况下的虚拟对象202渲染，而图2B图示了具有动态遮挡处置的虚拟对象202渲染。在此方面，在图2A-2B中的每个图中，虚拟对象202渲染包括作为虚拟对象202的财宝箱。此外，在图2A-2B中的每个图中，该视频视图的其余部分包括现实世界环境中的用户的手204。然而，在没有动态遮挡处置的情况下，用户的手204被虚拟对象202不恰当地遮挡，如图2A的圈出区域206中示出的。即，图2A的圈出区域206未提供用户的手204与虚拟对象202交互的逼真写照。相比之下，利用动态遮挡处置，用户的手204未被虚拟对象202遮挡，如图2B的圈出区域208中示出的。照此，利用动态遮挡处置，图2B的圈出区域208能够提供用户的手204与虚拟对象202交互的逼真写照。
图2C-2D和图2E-2F分别涉及图2A和图2B的虚拟对象202的渲染。更具体地，图2C-2D图示了在没有动态遮挡处置的情况下的虚拟对象202的渲染的非限制性示例。在此方面，图2C表示虚拟对象202的渲染的左眼视图，并且图2D表示虚拟对象202的渲染的右眼视图。相比之下，图2E-2F图示了具有动态遮挡处置的虚拟对象202的渲染的非限制性示例。更具体地，图2E表示虚拟对象202的渲染的左眼视图，并且图2F表示虚拟对象202的渲染的右眼视图。如图2E和2F中示出的，利用动态遮挡处置（如在每个圈出区域210中高亮的），虚拟对象202被修改，使得虚拟对象202不遮挡用户的手204。因此，利用动态遮挡处置，以恰当且逼真的方式呈现虚拟对象202和用户的手204之间的交互，如至少在图2B和2I-2J的圈出区域208中示出的。
图2G-2H和2I-2J图示了经由光学头戴式显示器110在眼镜视图212中的虚拟对象202的光学透视图像的非限制性示例。图2G-2H图示了在没有动态遮挡处置的情况下的示例。具体地，图2G表示眼镜视图212中的虚拟对象202的左眼视图，并且图2H表示眼镜视图212中的虚拟对象202的右眼视图。相比之下，图2I-2J图示了具有动态遮挡处置的示例。具体地，图2I表示眼镜视图212中的虚拟对象202的左眼视图，并且图2J表示眼镜视图212中的虚拟对象202的右眼视图。如图2G-2H的比较和图2I-2J的比较所证实的那样，因为从视图中移除虚拟对象202应当被用户的手204遮挡的部分，因此对动态遮挡处置的包括提供更逼真和沉浸式的体验。
图3A-3E提供取自深度图的对象的边界相比于取自彩色图像的对象的对应边界之间的失配的非限制性示例。具体地，图3A图示了深度图300的示例并且图3B图示了彩色图像302的对应示例。此外，图3C图示了覆盖图3B的彩色图像302的图3A的深度图300的示例。同时，图3D图示了图3C的框出区域304的放大视图。图3E图示了图3C的框出区域306的放大视图。如图3C-3E中示出的，深度图300中的用户的手204的边界与彩色图像302中的用户的手204的对应边界不匹配。
图3F-3H是基于利用来自深度图300的原始深度数据的动态遮挡处置的示例结果。具体地，图3F包括动态遮挡处置，特别是就虚拟对象202（例如，智能手机）关于用户的手204的渲染而言。同时，图3G图示了图3F的框出区域304的放大视图。此外，图3H图示了图3F的框出区域306的放大视图。如示出的，当利用原始深度数据执行动态遮挡处置时，归因于在原始深度图300和彩色图像302之间至少用户的手204的边界中的失配，图3F-3H包括视觉伪像。然而，***100包括过程400，过程400被使能为通过改进例如深度数据和RGB数据之间的对象边界的一致性来克服该问题。
图4是根据示例实施例的***100的过程400的框图。在示例实施例中，在从RGB-D相机112接收到深度数据和视频数据后，过程400至少包括视频视图过程410和眼镜视图渲染过程490。在此方面，当处理***132执行经由动态遮挡处置模块130、计算机可读介质126或其组合存储在非暂时性计算机可读介质上的计算机可读数据（例如，计算机可执行数据）时，执行过程400。一般而言，计算机可执行数据可以包括各种指令、数据结构、应用、例程、程序、模块、过程、其他软件组件或者其任何组合。
在示例实施例中，过程400 运用其中原始深度图中的边界通常相当接近于其在对应彩色图像中的配对物的实例，在所述彩色图像中图像梯度典型地是高的。在示例实施例中，过程400包括将至少一个深度边沿点朝向其期望的目标位置速移。在此方面，基于上文，过程400包括通过将深度边沿点的目标位置约束为在局部线段上来离散化解空间，并然后经由离散能量最小化找到针对整个深度边沿点集的最优解。
在示例实施例中，如图4中示出的，过程400包括视频视图过程410和眼镜视图渲染过程490。在示例实施例中，视频视图过程410包括深度边沿点过程420、候选搜索过程460、优化过程470和深度图增强过程480。在示例实施例中，深度边沿点过程420包括深度边沿点提取430、分组和排序440以及2D法线计算450。更具体地，在示例实施例中，过程400包括从深度图中提取深度边沿点，并相对于所提取的深度边沿点计算平滑2D法线方向。在此方面，每个2D法线段或线限定针对对应边沿点的解空间，即仅沿着该法线方向来搜索针对每个边沿点的候选。在示例实施例中，在候选搜索过程460之后，过程400包括基于候选搜索460的结果的优化过程470，以定位和利用最优速移目标。在此方面，例如，优化过程470包括限定解空间中至少包括数据项和平滑项的能量函数。此外，在该情况下，优化过程470包括经由动态编程高效地执行能量最小化，以标识针对每个边沿点的最优目标位置。在示例实施例中，过程400包括基于边沿速移的输出的深度图增强过程480。在增强深度图后，过程400从视频视图过程410切换到眼镜视图渲染过程490。
图5是根据示例实施例的深度边沿点过程420的流程图。在示例实施例中，深度边沿点过程420被配置为从具有有效深度值的深度点（或像素）中提取深度边沿点。此外，深度边沿点过程被配置为执行为候选搜索过程460和优化过程470作准备的多个操作。更具体地，下面讨论深度边沿点过程420的示例实现500。
在步骤502处，处理***132被配置为提取深度边沿点。在示例实施例中，例如，深度边沿点是其局部邻域表现出大的深度不连续性的那些点。在此方面，例如，处理***132主要或者仅考虑具有有效深度值的深度点（或像素）。对于这些像素中的每个像素，检查局部补块。如果四邻域像素中的任何像素具有无效深度值或具有与中央像素相差超过某个值的有效深度值，则该中央像素被认为是深度边沿值。作为示例，原始深度图通常可以包含作为孤立点或者非常小的补块的离群点。为了移除这些离群点的影响，处理***132被配置为在提取深度边沿点之前，将形态学开运算（即，腐蚀随后是膨胀）应用于深度图掩模。
在步骤504处，处理***132被配置为在每个图像群组上执行深度优先搜索，以对所提取的深度边沿点进行分组。在深度优先搜索期间，两个深度边沿点仅当一个深度边沿点在另一个深度边沿点的邻域中并且这两个深度点（或像素）之间的深度差异小于某个阈值τmax时被认为是连接的。
在步骤506处，处理***132被配置为将每个群组的深度边沿点进行排序，使得它们按一些其他过程（例如，优化过程470）所要求的那样从边沿轮廓的一端朝向另一端横穿。在一些情况下，诸如在边沿轮廓是循环轮廓时，处理***132被配置为将一个深度边沿点选作起始点，其中可以随机地或者通过任何合适的选择方法来执行该选择。在示例实施例中，分离地针对每个深度边沿点群组来执行在图5的该讨论的其余部分中的以下操作。同时，图6C示出了包含多个深度边沿点群组的示例。
在步骤508处，处理***132被配置为在原始深度边沿点上执行低通滤波以平滑这些深度边沿点的2D位置。更具体地，归因于原始深度边沿的锯齿型图案或不均匀性，直接从这些原始深度边沿点计算的法线可能经受大量的伪像。相比之下，利用低通滤波，处理***132被配置为在步骤510处通过利用这些平滑的深度边沿点来减小噪声和伪像。
在步骤510处，处理***132被配置为计算这些深度边沿点的2D法线。在示例实施例中，处理***132被配置为使用两个相邻点来计算每个深度边沿点的2D法线。在示例实施例中，处理***132仅针对2D法线计算利用平滑的深度边沿点，而针对所有（或大部分）后续处理依靠原始深度边沿点。
图6A-6C图示了根据示例实施例的深度边沿点处理的示例实现500的某些方面。具体地，图6A图示了来自RGB-D相机112的彩色图像302的示例。图6B图示了来自RGB-D相机112的原始深度图300的示例。图6C图示了覆盖灰度图像310的原始深度边沿点312的示例。同时，图6D-6G图示了对应于图6A的框出区域308的图6C的部分的放大视图。在此方面，图6D图示了与用户的手204的拇指的边界相关联的原始深度边沿点312，而图6E图示了平滑的深度边沿点314。此外，图6F图示了基于原始深度边沿点312生成的2D法线316。相比之下，图6G图示了基于平滑的深度边沿点生成的2D法线316。如示出的，图6G中的平滑的深度边沿点的2D法线比图6F的原始深度边沿点的2D法线承载更少的噪声。
图7、8A-8C、9A-9C、10A-l0C以及11A-11C涉及候选搜索过程460和优化过程470。更具体地，图7是根据示例实施例的候选搜索过程460和优化过程470的示例实现700的流程图。同时，图8A-8C、9A-9C、10A-l0C以及11A-11C图示了候选搜索过程460和优化过程470的各种方面。
在步骤702处，在示例实施例中，处理***132针对每个深度边沿点搜索候选。在此方面，例如，速移每个深度边沿点的解空间被约束到其2D法线的线。由于不存在关于哪个方向是目标方向的先验信息，因此处理***132被配置为在正和负法线方向两者上搜索至某个范围rs，从而导致2rs+1个候选。此外，在示例实施例中，处理***132被配置为将深度边沿点指定为pi并将其对应的候选集指定为。
在步骤704处，在示例实施例中，处理***132使用多个颜色空间中的索贝尔算子来获取图像梯度。在示例实施例中，通过以下等式直接在RGB颜色空间中计算图像梯度的第一部分：
[等式1]。
如上文指示的，该等式包含沿着x和y方向两者的图像梯度。然而，在一些情况下，RGB颜色空间中的图像梯度沿着一些对象边界不一定是高的。因此，在示例实施例中，处理***132被配置为通过合并来自YCbCr空间的图像梯度来增强鉴别力，如以下等式所指示的：
[等式2]。
在步骤706处，在示例实施例中，处理***132组合这些图像梯度，并限定将点pi朝向候选ci,k速移的成本，如下：
[等式3]
其中wrgb和wcbcr是不同颜色空间梯度的权重。
如上文指示的，编码来自多个颜色空间的图像梯度提供多个优点。例如，组合不同颜色空间一般为该边沿速移框架提供更多的鉴别力。例如，在一些情况下，单独的RGB颜色空间可能不够。在此方面，转到图9A-9C，作为示例，如圈出区域328中示出的，指尖的边界在RGB空间中不具有强图像梯度。在该情况下，当仅涉及RGB颜色空间时，存在与这些指尖相关联的不能被速移到期望位置的一些边沿点。相比之下，当将YCbCr空间与RGB空间合并时，处理***132被配置为实现速移结果，所述速移结果相比于仅涉及RGB空间的那些速移结果被改进。在很多AR用例中，存在其中用户与至少一个虚拟对象202交互的场景。在这类情况下，YCbCr颜色空间的合并特别适用于将与用户相关联的肤色和其他颜色（例如，非肤色）进行区分。此外，在其他示例实施例中，可以使用其他颜色空间。例如，可以使用HSV颜色空间的色调通道。而且，虽然该示例实施例使用RGB和YCbCr空间，但其他示例实施例包括各种颜色空间的各种组合。
在步骤708处，在示例实施例中，处理***132限定平滑项来惩罚相邻深度边沿点（或深度边沿像素）之间的大偏差。在此方面，为了实现平滑速移，处理***132将相邻深度边沿点速移到彼此相对接近和/或不彼此远离的位置。例如，在示例实施例中，对于一对连续的深度边沿点pi和pj，处理***132经由以下等式计算将pi速移到ci,k上以及将pj速移到cj,l上的成本：
[等式4]。
在该等式中，参数dmax限定针对两个连续的深度边沿点所允许的最大差别。
在步骤710处，在示例实施例中，处理***132针对每个深度边沿点确定或找到候选，以最小化以下能量函数：
[等式5]
其中λs运用平滑约束的重要性。在示例实施例中，经由标识解空间中的最优路径的动态编程以高效的方式求解该类别的离散优化问题。
在步骤712处，处理***132通过求解考虑数据成本和平滑成本的离散优化问题来确定最优路径。具体地，处理***132构造维度为的矩阵H，其中N是深度边沿点的数量。利用数据项来初始化条目。然后处理***132从第一深度边沿点朝向最终深度边沿点横穿，并经由以下等式来更新矩阵：
[等式6]。
在示例实施例中，如上文讨论的，处理***132提供该更新以考虑数据成本和平滑成本两者找到从点i到点i+1的最优路径。在示例实施例中，针对所有的候选并针对所有深度边沿点依次执行该操作。一般而言，如果在更新期间针对p i+1 选择候选l并记录候选l，则给出第二项的最小值的k是将p i 与p i+1 连接的最佳候选。当更新完成时（即，到达最终边沿点），处理***132针对最终点选择给出最小成本的候选。在示例实施例中，处理***132然后横穿回来，以在给定对当前点的决策的情况下定位针对先前点的最佳候选，所述针对当前点的决策是在更新期间较早被记录的。在示例实施例中，处理***132继续该过程直到到达第一点，其中找到最优路径。在此方面，最优路径为每个边沿点提供速移的目标位置。
图8A-8C图示了与使用来自多个颜色空间的图像梯度相关联的至少一个益处。在此方面，图8A是彩色图像302的非限制性示例。同时，图8B和8C中的每个图示了图8A的框出区域318的放大视图。图8B和8C包括原始深度边沿点320以及它们在优化过程470之后的目标位置324。此外，图8B和8C还包括路径322，路径322示出了原始深度边沿点320到其对应目标位置324的移动。更具体地，图8B示出了通过仅使用RGB空间中的图像梯度而获取的结果。相比之下，图8C示出了通过组合来自RGB空间和YCbCr空间两者的图像梯度而获取的结果。在此方面，如图8C中示出的多个颜色空间的融合相比于如图8B中示出的单个颜色空间的边沿速移框架的鲁棒性，改进边沿速移框架的鲁棒性。
图9A-9C图示了与使用来自多个颜色空间的图像梯度相关联的至少一个其他益处。具体地，图9A图示了从RGB-D相机112所获取的彩色图像（或原始RGB数据）的非限制性示例。图9B是来自红色通道326的图像梯度的量值的非限制性示例。在该示例中，圈出的区域328高亮其中用户的手204的对象边界330的图像梯度在RGB空间中相对低的实例。图9C是转换的CR通道332中的图像梯度的量值的非限制性示例，其中用户的手204的对象边界330、尤其是指尖处更加可见。
图10A-10C图示了与应用平滑项相关联的多个益处。图10A图示了彩色图像302的非限制性示例。同时，图10B和10C是图10A的框出区域334的放大视图。更具体地，图10B图示了在没有平滑约束的情况下的边沿速移结果。相比之下，图10C图示了具有至少一个平滑约束的边沿速移结果。图10B和10C包括原始深度边沿点320及其目标位置324。此外，图10B和10C还包括路径322，路径322示出了原始深度边沿点320到其对应目标位置324的移动。在此方面，提供有平滑约束的结果（如图10C中示出的）相比于在没有平滑约束的情况下的结果（如图10B中示出的）提供更大的边沿速移准确性。
图11A-11C图示了应用平滑项的多个益处。图11A图示了彩色图像302的非限制性示例。同时，图11B和11C是图11A的框出区域336的放大视图。图11B图示了在没有平滑约束的情况下的边沿速移结果。相比之下，图11C图示了具有至少一个平滑约束的边沿速移的结果。图11B和11C包括原始深度边沿点320及其目标位置324。此外，图11B和11C还包括路径322，路径322示出了原始深度边沿点320到其对应目标位置324的移动。在此方面，提供有平滑约束的结果（如图11C中示出的）相比于在没有平滑约束的情况下的结果（如图11B中示出的）提供更好的边沿速移准确性。
在没有平滑项的情况下，过程400将基本上使用“赢者得所有”策略，其中具有最高图像梯度的候选被选择为针对每个深度边沿点的目标位置。然而，当背景场景具有一些强边沿时，用于选择目标位置的该“赢者得所有”策略将导致各种伪像。在此方面，例如，图10B和图11B图示了其中一些深度边沿点被速移到具有高图像梯度的不合期望的位置的示例。相比之下，在过程400内对平滑项的包括可以有效地防止这类伪像发生，如图10C和图11C中示出的。
图12和13A-13E涉及深度图增强过程480。具体地，图12是根据示例实施例的深度图增强过程480的示例实现1200的流程图。此外，图13A-13E图示了基于边沿速移的深度图增强。更具体地，图13A-13E中的每个图图示了覆盖彩色图像302的深度图300。此外，在图13A-13E中的每个图中，曲线320表示如取自深度图300的来自用户的手204的拇指的边界。在该示例中，由至少曲线318界定的阴影区域340具有有效深度测量而其余区域具有零深度。图13B-13E还图示了深度边沿点320A和320B（如取自曲线320）及其对应目标位置342A和342B。此外，在图13C和13E中图示为三角形的点344A和344B表示用于检索参考深度值的深度点（或像素）。即，图13A-13E图示了如下面所讨论的示例实现1200的某些方面的示例。
在步骤1202处，在示例实施例中，处理***132考虑两个连续深度边沿点320A和320B以及其目标位置342A和342B，它们形成如图13B和13D中的每个图中由阴影区域340图示的四边形。在示例实施例中，处理***132处理该四边形（或阴影区域340）内部的所有深度点（或像素）用于增强。在示例实施例中，针对每对连续深度边沿点320A和320B执行该处理。本质上，归因于传感器噪声，四边形（或阴影区域340）内部的每个深度点（或像素）具有不正确的深度测量。在示例实施例中，恢复这些点（或像素）中的每个的真实深度。然而，这类示例实施例可能涉及显著复杂的操作并且计算上是昂贵的，但对于实现视觉上愉悦的动态遮挡效果而言可能是不必要的。因此，在另一个示例实施例中，处理***132被配置为执行近似以针对这些深度点（或像素）估计一般足够的合理深度值。
一般而言，对于区域中的深度点（或像素）典型地存在两种类型的误差，如图13A-13E中示出的。例如，第一类型的误差（“情况1”）包括至少一个缺失值，其中深度图300的对象边界一般在对象内部，如图13A的框出区域336内示出的。当用来自遮挡对象的深度值标注属于更远的对象的深度点（或像素）时，另一类型的误差（“情况2”）发生，如图13A的框出区域338内示出的。在这两种情况下，处理***132实现以下相同的方法技术来修改深度值。
在步骤1204处，在示例实施例中，对于一对连续深度边沿点320A和320B中的每个深度边沿点（或像素），处理***132沿着从目标到该像素的方向横穿回一步并将深度值检索为参考深度值。分别由图13C和13E中的黑色三角形344来表示这些参考像素的示例。
在步骤1206处，在示例实施例中，处理***132然后从所述对取得参考深度值的平均并将其分配给区域内部的所有深度点（或像素）。如图13A中图示的，对于情况1，参考值取自手指内部的区域。因此，将用来自手指的某个深度填充目标区域340，从而导致对缺失值的填充效果。对于图13A中的情况2，参考值将为零，并且将用零深度来取代目标区域，从而导致该片被移除。以该单个过程，处理***132如期望的实现两种效果。当考虑速度时，该近似对于动态遮挡处置是足够的。然而，在可替换示例实施例中，处理***132被配置为实现外推过程来估计深度值。
在示例实施例中，深度图增强过程480高度并行。因此，就处理***132、CPU、GPU或其组合而言，可以执行深度图增强过程480。在示例实施例中，边沿速移使深度边沿点320A和320B在朝向它们的目标位置342A和342B的方向上移动。在示例实施例中，处理***132被配置为处理落入边沿速移的区域内的所有或基本上所有深度点（或像素）。在深度图增强过程480之后，过程400包括眼镜视图渲染过程490。
图14和15A-15C涉及被配置为在眼镜视图212中实现动态遮挡效果的眼镜视图渲染过程490。具体地，图14是根据示例实施例的眼镜视图渲染过程490的示例实现1400的流程图。在示例实施例中，CPU、GPU或其组合可以执行该示例实现1400。例如，在示例实施例中，为了速度，处理***132的GPU被配置为执行眼镜视图渲染过程490。此外，图15A-15C图示了示例实现1400的某些方面的示例。
在步骤1402处，在示例实施例中，处理***132将深度数据从视频视图200变换为眼镜视图212。在示例实施例中，例如，经由使用用于AR应用的软件技术（诸如ARToolKit或其他类似软件程序）的校准来获取变换。归因于视频视图200和眼镜视图212之间的差异，可能造成如图15A中图示的空区域（孔）。这里曲线1500表示对象表面。还在图15A中，点p1和点p2在投影到视频视图200中的附近点的表面上，并且p1比p2更远。在眼镜视图212中，归因于该视图改变，p2附近的点（或像素）跟随射线R，在该情况下针对所述射线R不存在直接深度测量。一种获取深度的方式是经由在点p1和点p2之间、以点p4结束的插值。然而，该插值对于遮挡处置可能是有问题的。在此方面，例如，当虚拟对象202被放置在一位置中时（如图15B中示出的），点p4将遮挡虚拟对象202。本质上，在该情况下，在没有任何先验信息的情况下不存在关于沿着射线R的真实深度的信息。还用于视图合成的更安全的方式是取点p1和点p2之间更大的深度作为估计，从而导致如图15C中示出的点p3。因此，由该策略引导，在眼镜视图212中的深度测试之前，处理***132在将场景深度从视频视图200变换为眼镜视图212时执行多个操作。
在步骤1404处，在示例实施例中，处理***132把图像栅格上的所有或基本上所有的点（或像素）分成三角形，并且将增强深度图作为三角形网格渲染到深度纹理。
在步骤1406处，在示例实施例中，在该渲染期间，处理***132标识具有长于某个阈值的边沿的三角形。作为一个非限制性示例，阈值是20mm。在此方面，这些三角形内的点（或像素）对应于图15中图示的情况。
在步骤1408处，在示例实施例中，处理***132为这些点（或像素）分配该三角形的三个端点当中的最大深度。
在步骤1410处，在示例实施例中，处理***132渲染用于动态遮挡处置的深度。在此方面，例如，处理***132被配置为经由诸如OpenGL着色器或任何其他软件程序的适当软件技术实现该过程，并将该过程应用于眼镜的左视图和右视图两者。
如上文讨论的，过程400被配置为运用RGB-D相机112提供的数据。更具体地，动态遮挡处置***120包括边沿速移算法，所述边沿速移算法将原始深度数据的对象边界朝向对应的彩色图像速移（或者移动），并且然后基于边沿速移结果增强深度图的对象边界。该边沿速移特别有益，这是因为原始深度数据的使用可能包括边界周围的孔、低分辨率和显著的噪声，从而引入在包括AR的各种应用中不合期望的视觉伪像。然后增强的深度图用于对虚拟对象202的深度测试，以用于动态遮挡处置。此外，存在可以受益于该动态遮挡处置的若干AR应用。作为非限制性示例，该动态遮挡处置可以被应用于至少以下两个AR用例。
作为非限制性示例，第一AR用例涉及其中用户使用AR***用于引导的汽车维修应用。在该示例中，汽车维修应用包括作为示例的具有3D印刷仪表板的AR场景600。此外，AR场景600包括虚拟对象202、特别地虚拟触摸屏和挡风板。出于评估的目的，以下讨论包括将用户的手204定位在AR场景600的不同位置中。在一些情况下，用户的手204应当被触摸屏而不是挡风板遮挡；而在其他情况下，用户的手204应当遮挡两个虚拟对象202。在图16A-16C、17A-17C和18A-18C中示出了一些示例结果。
图16A-16C、17A-17C和18A-18C图示了在AR辅助的汽车维修情景中的不同遮挡处置策略的视觉结果。具体地，图16A-16C图示了其中用户的手204应当驻留在两个虚拟对象202（例如，虚拟触摸屏和虚拟挡风板）之间的实例。图16A图示了在没有任何遮挡处置的情况下虚拟对象202关于用户的手204的视觉结果。如图16A中示出的，用户的手204被两个虚拟对象202不恰当地遮挡，而不是如期望的那样驻留在两个虚拟对象202之间。图16B图示了具有使用原始深度数据的遮挡处置的视觉结果。如图16B中示出的，AR场景600经受诸如各种视觉伪像之类的缺陷，如箭头602指示的。相比之下，图16C图示了具有如本文公开的使用增强的深度图的动态遮挡处置的虚拟对象202的视觉结果。如图16C中示出的，AR场景600包括针对用户的手204的边界，所述针对用户的手204的边界在利用增强的深度图执行动态遮挡处置时更好地被保留并关于虚拟对象202恰当地定位。
图17A-17C图示了其中用户的手204应当遮挡两个虚拟对象202（例如，虚拟触摸屏和虚拟挡风板）的实例。图17A图示了在没有任何遮挡处置的情况下虚拟对象202关于用户的手204的视觉结果。如图17A中示出，用户的手204被两个虚拟对象202不恰当地遮挡，而不是如期望的那样驻留在虚拟对象202前面。图17B图示了具有使用原始深度数据的遮挡处置的虚拟对象202关于用户的手204的视觉结果。如图17B中示出的，AR场景600经受诸如各种视觉伪像之类的缺陷，如箭头602指示的。相比之下，图17C图示了具有如本文公开的使用增强的深度图的动态遮挡处置的虚拟对象202关于用户的手204的视觉结果。如图17C中示出的，AR场景600包括针对用户的手204的边界，所述针对用户的手204的边界在利用增强的深度图执行动态遮挡处置时更好地被保留并关于虚拟对象202恰当地定位。
图18A-18C图示了其中用户的手204应当遮挡至少两个虚拟对象202（例如，虚拟触摸屏和虚拟挡风板）的实例。图18A图示了在没有任何遮挡处置的情况下虚拟对象202关于用户的手204的视觉结果。如图18A中示出的，用户的手204的手指被两个虚拟对象202不恰当地遮挡，而不是如期望的那样驻留在虚拟对象202前面。图18B图示了具有使用原始深度数据的遮挡处置的虚拟对象202关于用户的手204的视觉结果。相比之下，图18C图示了具有如本文公开的使用增强的深度图的动态遮挡处置的虚拟对象202关于用户的手204的视觉结果。如图18C中示出的，AR场景600包括针对用户的手204的边界，所述针对用户的手204的边界在利用增强的深度图执行动态遮挡处置时更好地被保留并关于虚拟对象202恰当地定位。
作为另一个非限制性实例，第二AR用例涉及AR游戏。例如，在利用AR***的寻宝游戏中，现实场景充当游乐场而虚拟宝箱是隐藏在现实场景中某处的虚拟对象202。更具体地，在该示例中，虚拟宝箱隐藏在壁橱门606后面并在盒子604后面。因此，在该AR场景600中，为了能够找到隐藏的虚拟宝箱，用户应当打开壁橱门606并移除盒子604。
然而，在该寻宝游戏中，在没有适当的动态遮挡处置的情况下，虚拟宝箱对于用户将是可见的，破坏了找到隐藏虚拟宝箱的整个游戏体验。通过使用来自深度传感器的原始深度数据，可以实现合理的遮挡处置效果。然而，当使用原始深度数据时，在该AR场景600中还可能观察到视觉伪像。归因于壁橱门606和盒子604之间的遮挡，沿着边界通常存在缺失的深度值。当用户打开壁橱门606时，可能观察到视觉伪像。相比之下，通过经由过程400使用利用增强的深度图的动态遮挡处置，壁橱门606和盒子604的边界被速移到它们的期望位置并且视觉伪像被移除。
图19A-19C和20A-20C图示了AR寻宝情景中的不同遮挡处置策略的视觉结果。在该示例中，在该AR场景600中虚拟对象202（例如，宝箱）应当定位在盒子604后面。更具体地，图19A和20A图示了在没有遮挡处置的情况下的视觉效果。在图19A和20A中，在没有任何遮挡处置的情况下，虚拟对象202遮挡盒子604和壁橱门606，并因此未按意图的那样定位在盒子604后面。同时，在图19B和20B中，当在原始深度数据上应用遮挡处置时，虚拟对象202按意图的那样正确地定位在壁橱门606之间，但是不正确地遮挡盒子604。即，原始深度图300的原始深度数据在圈出区域608中明显缺失一些值，并且因此虚拟对象202不正确地遮挡这些圈出区域608中的盒子。在该情况下，如图19B和20B所证实的，当虚拟对象202以非意图的方式遮挡现实场景时，那么AR场景600经受不期望的伪像。相比之下，图19C和20C图示了具有如本文所讨论的动态遮挡处置的视觉效果，在所述动态遮挡处置中增强的深度图被使用并且有助于AR场景600。如示出的，在图19C和20C的每个AR场景600中，虚拟对象202以适当的方式被渲染在盒子604和壁橱门606两者后面并且没有任何视觉伪像。即，利用动态遮挡处置，为用户提供恰当且逼真的AR体验。
图21A至23D图示了彩色图像、原始深度图和增强的深度图中的对象边界。具体地，图21A、21B、21C和21D中的每个图是具有用户的手204的地面真值边界800的彩色图像302。在此方面，图21A、21B、21C和21D中的每个图呈现不同手势和/或背景场景。转到图22A-22D和23A-23D，这些图示利用例如其中对应的彩色图像302覆盖其对应的深度图300的标准JET颜色方案。更具体地，图22A-22D包括原始深度图300，而图23A-23D包括增强的深度图900。如图22A-22D与图23A-23D的比较所证实的，增强的深度图900中的手204的对象边界902比原始深度图300中的手204的对象边界312更接近地对应于地面真值边界800。即，增强的深度图900提供改进的对象边界902，从而实现导致改进的AR体验的动态遮挡处置。
此外，图21A-21D可视化原始彩色图像302上的手204的期望地面真值边界800。理想地，深度图中的对象边界应当匹配该曲线。然而，如图22A-22D中示出的，原始深度图300经受各种类型的噪声和缺失值，从而导致与地面真值边界800失配。例如，在图22B中，在手掌区域中存在孔，所述孔造成伪对象边界。同时，图23A-23D表示了在深度图增强之后的示例实施例的结果。如通过图23A-23D的结果示出的，过程400改进图像数据（例如，RGB数据）和深度数据之间的对象边界的一致性。
如上文讨论的，***100提供在AR应用中使能准确深度感知的动态遮挡处置。因此，动态遮挡处置确保逼真且沉浸式的AR体验。一般而言，现有解决方案典型地经受例如静态场景假设或高计算复杂度之类的各种限制。相比之下，该***100被配置为实现过程400，过程400包括在AR应用中用于动态遮挡处置的深度图增强过程480。有利地，该***100实现被定制为离散优化的边沿速移方案，所述边沿速移方案改进RGB数据和深度数据之间的对象边界的一致性。在示例实施例中，***100经由动态编程高效地解决优化问题。此外，***100被配置为在计算平台（例如，平板计算机平台）上以交互速率运行。此外，***100为眼镜视图212提供渲染策略以避免归因于插值的孔和伪像，所述孔和伪像源于视频视图200（数据采集传感器）和眼镜视图212之间的差异。此外，实验评估证明，该边沿速移方案大幅增强原始传感器数据，并且相比于若干相关方案在速度和质量两方面特别适合。此外，不像聚焦于整个图像的其他方案，该过程400有利地聚焦于边沿区域。而且，***100在用户交互期间交付视觉上愉悦的动态遮挡效果。
如上文提及的，在示例实施例中，***100被配置为主要基于图像梯度来在深度图和彩色图像之间执行边沿速移。附加地或可替换地，当来自深度传感器114的传感器数据的特性提供接近于对应的所期望彩色边沿的原始深度边沿时，***100被配置为对个体对象的颜色特性进行建模以供分割。附加地或可替换地，***100被配置为通过将除图像梯度之外的其他信息（诸如颜色分布或其他相关数据的信息）考虑在内来进一步增强上文提及的能量函数，以更好地适应诸如杂乱场景之类的复杂情景。附加地或可替换地，***100可以考虑和包括临时信息。附加地或可替换地，***100可以包括对移动对象的显式追踪以增强边沿速移框架的鲁棒性。
即，上文描述意图是说明性的而非限制性的，并且在特定应用及其要求的上下文中被提供。本领域技术人员可以从上述描述中领会，可以以各种形式实现本发明，并且可以单独或者组合地实现各种实施例。因此，虽然已经结合本发明的特定示例描述了本发明的实施例，但在不脱离所描述实施例的精神和范围的情况下，本文限定的一般原理可以被应用于其他实施例和应用，并且本发明的实施例和/或方法的真实范围不限于所示出和描述的实施例，这是由于在对附图、说明书和所附权利要求的研究之后，各种修改对于本领域技术人员而言将变得清楚。例如，组件和功能性可以与各种所描述实施例的方式不同地分离或者组合，并且可以使用不同术语来描述。这些和其他变型、修改、添加和改进可以落入如所附权利要求中限定的本公开的范围内。

Claims (20)

1.一种计算***，包括：
包括至少一个处理单元的处理***，处理***被配置为实现一种方法，所述方法包括：
接收具有对象的第一边界的深度图；
接收对应于深度图的彩色图像，彩色图像包括对象的第二边界；
从深度图中提取第一边界的深度边沿点；
标识深度图上的目标深度边沿点，目标深度边沿点对应于彩色图像中的对象的第二边界的彩色边沿点；以及
将深度边沿点朝向目标深度边沿点速移，使得利用针对对象的对象边界来增强深度图。
2.根据权利要求1所述的计算***，其中：
处理***与包括深度传感器和相机的头戴式显示器通信；以及
处理***从深度传感器接收深度图并从相机接收彩色图像。
3.根据权利要求1所述的计算***，其中处理***被配置为：
（a）将深度边沿点分组成群组；
（b）对群组内的深度边沿点进行排序；
（c）利用低通滤波器平滑深度边沿点的2D位置；以及
（d）针对深度边沿点计算2D法线段。
4.根据权利要求3所述的计算***，其中处理***被配置为至少基于图像梯度数据针对彩色图像中的彩色边沿点执行候选搜索，候选搜索在彩色图像上对应于深度图的2D法线段的预定点范围内。
5.根据权利要求1所述的计算***，其中处理***被配置为：
（a）在考虑数据成本和平滑成本的同时执行离散优化计算，以确定用于将深度边沿点朝向目标深度边沿点移动的最优路径；以及
（b）沿着最优路径将深度边沿点移动到目标深度边沿点。
6.根据权利要求1所述的计算***，其中处理***被配置为基于增强的深度图来执行动态遮挡处置。
7.根据权利要求1所述的计算***，其中处理***被配置为将增强的深度图的深度数据从视频视图变换为用于增强现实应用的眼镜视图。
8.一种用于动态遮挡处置的***，所述***包括：
用于提供深度图的深度传感器；
用于提供彩色图像的相机；以及
包括至少一个处理单元的处理***，处理***被配置为实现一种方法，所述方法包括：
接收具有对象的第一边界的深度图；
接收对应于深度图的彩色图像，彩色图像包括对象的第二边界；
从深度图中提取第一边界的深度边沿点；
标识深度图上的目标深度边沿点，目标深度边沿点对应于彩色图像中的对象的第二边界的彩色边沿点；以及
将深度边沿点朝向目标深度边沿点速移，使得利用针对对象的对象边界来增强深度图。
9.根据权利要求8所述的***，还包括：
其上安装深度传感器和相机的头戴式显示器。
10.根据权利要求8所述的***，其中处理***被配置为：
（a）将深度边沿点分组成群组；
（b）对群组内的深度边沿点进行排序；
（c）利用低通滤波器平滑深度边沿点的2D位置；以及
（d）针对深度边沿点计算2D法线段。
11.根据权利要求8所述的***，其中处理***被配置为至少基于图像梯度数据针对彩色图像中的彩色边沿点执行候选搜索，候选搜索在彩色图像上对应于深度图的2D法线段的预定点范围内。
12.根据权利要求8所述的***，其中处理***被配置为：
（a）在考虑数据成本和平滑成本的同时执行离散优化计算，以确定用于将深度边沿点朝向目标深度边沿点移动的最优路径；以及
（b）沿着最优路径将深度边沿点移动到目标深度边沿点。
13.根据权利要求8所述的***，其中处理***被配置为基于增强的深度图来执行动态遮挡处置。
14.根据权利要求8所述的***，其中处理***被配置为将增强的深度图的深度数据从视频视图变换为用于增强现实应用的眼镜视图。
15.一种计算机实现的方法，包括：
接收具有对象的第一边界的深度图；
接收对应于深度图的彩色图像，彩色图像包括对象的第二边界；
从深度图中提取第一边界的深度边沿点；
标识深度图上的目标深度边沿点，目标深度边沿点对应于彩色图像中的对象的第二边界的彩色边沿点；以及
将深度边沿点速移到目标深度边沿点，使得利用针对对象的对象边界来增强深度图。
16.根据权利要求15所述的计算机实现的方法，还包括：
将深度边沿点分组成群组；
对深度边沿点的群组进行排序
利用低通滤波器平滑深度边沿点的2D位置；以及
针对深度边沿点计算2D法线段。
17.根据权利要求15所述的计算机实现的方法，还包括：
至少基于图像梯度数据针对彩色图像中的彩色边沿点执行候选搜索，候选搜索在彩色图像上对应于深度图的2D法线段的预定点范围内。
18.根据权利要求15所述的计算机实现的方法，还包括：
在考虑数据成本和平滑成本的同时执行离散优化计算，以确定用于将深度边沿点朝向目标深度边沿点速移的最优路径，
其中沿着最优路径将深度边沿点朝向目标深度边沿点速移。
19.根据权利要求15所述的计算机实现的方法，还包括：
基于增强的深度图来执行动态遮挡处置。
20.根据权利要求15所述的计算机实现的方法，还包括：
将增强的深度图的深度数据从视频视图变换为用于增强现实应用的眼镜视图。
CN201780052439.0A 2016-06-27 2017-06-26 用于动态遮挡处置的***和方法 Pending CN109844819A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662354891P 2016-06-27 2016-06-27
US62/354891 2016-06-27
PCT/US2017/039278 WO2018005359A1 (en) 2016-06-27 2017-06-26 Systems and methods for dynamic occlusion handling

Publications (1)

Publication Number Publication Date
CN109844819A true CN109844819A (zh) 2019-06-04

Family

ID=60675555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780052439.0A Pending CN109844819A (zh) 2016-06-27 2017-06-26 用于动态遮挡处置的***和方法

Country Status (8)

Country Link
US (1) US10706613B2 (zh)
EP (1) EP3475923A4 (zh)
JP (1) JP6813600B2 (zh)
KR (1) KR102337931B1 (zh)
CN (1) CN109844819A (zh)
AU (1) AU2017288933B2 (zh)
BR (1) BR112018077095A8 (zh)
WO (1) WO2018005359A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023070421A1 (en) * 2021-10-28 2023-05-04 Intel Corporation Methods and apparatus to perform mask-based depth enhancement for multi-view systems

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10645357B2 (en) * 2018-03-01 2020-05-05 Motorola Mobility Llc Selectively applying color to an image
US10643336B2 (en) * 2018-03-06 2020-05-05 Sony Corporation Image processing apparatus and method for object boundary stabilization in an image of a sequence of images
CN109035375B (zh) * 2018-06-22 2023-11-10 广州久邦世纪科技有限公司 一种基于OpenGL的3D眼镜渲染方法及其***
CN110072046B (zh) * 2018-08-24 2020-07-31 北京微播视界科技有限公司 图像合成方法和装置
US11227446B2 (en) * 2019-09-27 2022-01-18 Apple Inc. Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality
US11348319B1 (en) * 2020-01-22 2022-05-31 Facebook Technologies, Llc. 3D reconstruction of a moving object
CN111275827B (zh) 2020-02-25 2023-06-16 北京百度网讯科技有限公司 基于边缘的增强现实三维跟踪注册方法、装置和电子设备
US11107280B1 (en) * 2020-02-28 2021-08-31 Facebook Technologies, Llc Occlusion of virtual objects in augmented reality by physical objects
JP2022123692A (ja) * 2021-02-12 2022-08-24 ソニーグループ株式会社 画像処理装置、画像処理方法、画像処理システム
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments
US11741671B2 (en) 2021-06-16 2023-08-29 Samsung Electronics Co., Ltd. Three-dimensional scene recreation using depth fusion
US11887267B2 (en) 2021-07-07 2024-01-30 Meta Platforms Technologies, Llc Generating and modifying representations of hands in an artificial reality environment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013173749A1 (en) * 2012-05-17 2013-11-21 The Regents Of The University Of California Sampling-based multi-lateral filter method for depth map enhancement and codec
US20140016862A1 (en) * 2012-07-16 2014-01-16 Yuichi Taguchi Method and Apparatus for Extracting Depth Edges from Images Acquired of Scenes by Cameras with Ring Flashes Forming Hue Circles
US20140269935A1 (en) * 2010-07-07 2014-09-18 Spinella Ip Holdings, Inc. System and method for transmission, processing, and rendering of stereoscopic and multi-view images
US20140294237A1 (en) * 2010-03-01 2014-10-02 Primesense Ltd. Combined color image and depth processing
US20150139533A1 (en) * 2013-11-15 2015-05-21 Htc Corporation Method, electronic device and medium for adjusting depth values

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7787678B2 (en) * 2005-10-07 2010-08-31 Siemens Corporation Devices, systems, and methods for processing images
JP4789745B2 (ja) 2006-08-11 2011-10-12 キヤノン株式会社 画像処理装置および方法
KR101807886B1 (ko) * 2009-10-14 2017-12-11 돌비 인터네셔널 에이비 깊이 맵 처리를 위한 방법 및 디바이스
ES2944305T3 (es) * 2010-06-29 2023-06-20 3Shape As Disposición de imágenes en 2D
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
KR101972356B1 (ko) * 2010-12-21 2019-04-25 한국전자통신연구원 상반신 검출장치 및 검출방법
US10455219B2 (en) 2012-11-30 2019-10-22 Adobe Inc. Stereo correspondence and depth sensors
RU2013106513A (ru) * 2013-02-14 2014-08-20 ЭлЭсАй Корпорейшн Способ и устройство для улучшения изображения и подтверждения границ с использованием по меньшей мере одного дополнительного изображения
US9514574B2 (en) 2013-08-30 2016-12-06 Qualcomm Incorporated System and method for determining the extent of a plane in an augmented reality environment
US9754377B2 (en) * 2014-08-15 2017-09-05 Illinois Institute Of Technology Multi-resolution depth estimation using modified census transform for advanced driver assistance systems
JP2016048467A (ja) 2014-08-27 2016-04-07 Kddi株式会社 運動視差再現方法、装置およびプログラム
US9824412B2 (en) * 2014-09-24 2017-11-21 Intel Corporation Position-only shading pipeline
US20160140761A1 (en) 2014-11-19 2016-05-19 Microsoft Technology Licensing, Llc. Using depth information for drawing in augmented reality scenes

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140294237A1 (en) * 2010-03-01 2014-10-02 Primesense Ltd. Combined color image and depth processing
US20140269935A1 (en) * 2010-07-07 2014-09-18 Spinella Ip Holdings, Inc. System and method for transmission, processing, and rendering of stereoscopic and multi-view images
WO2013173749A1 (en) * 2012-05-17 2013-11-21 The Regents Of The University Of California Sampling-based multi-lateral filter method for depth map enhancement and codec
US20140016862A1 (en) * 2012-07-16 2014-01-16 Yuichi Taguchi Method and Apparatus for Extracting Depth Edges from Images Acquired of Scenes by Cameras with Ring Flashes Forming Hue Circles
US20150139533A1 (en) * 2013-11-15 2015-05-21 Htc Corporation Method, electronic device and medium for adjusting depth values

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DENG HUIPING ET: "Texture edge-guided depth recovery for structured light-based depth sensor", 《MULTIMEDIA TOOLS AND APPLICATIONS》 *
DONGMING CHEN, MOHSEN ARDABILIAN AND LIMING CHEN: "DEPTH EDGE BASED TRILATERAL FILTER METHOD FOR STEREO MATCHING", 《IEEE》 *
HAOSONG YUE, WEIHAI CHEN, JIANHUA WANG, AND XINGMING WU: "Combining color and depth data for edge detection", 《IEEE, INTERNATIONAL CONFERENCE ON ROBOTICS AND BIOMIMETICS (ROBIO)》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023070421A1 (en) * 2021-10-28 2023-05-04 Intel Corporation Methods and apparatus to perform mask-based depth enhancement for multi-view systems

Also Published As

Publication number Publication date
US20170372510A1 (en) 2017-12-28
US10706613B2 (en) 2020-07-07
BR112018077095A2 (pt) 2019-04-02
AU2017288933B2 (en) 2021-09-23
JP6813600B2 (ja) 2021-01-13
BR112018077095A8 (pt) 2023-04-04
AU2017288933A1 (en) 2019-02-14
KR20190014105A (ko) 2019-02-11
WO2018005359A1 (en) 2018-01-04
KR102337931B1 (ko) 2021-12-13
JP2019526847A (ja) 2019-09-19
EP3475923A4 (en) 2020-01-01
EP3475923A1 (en) 2019-05-01

Similar Documents

Publication Publication Date Title
CN109844819A (zh) 用于动态遮挡处置的***和方法
CN110084874B (zh) 对于三维模型的图像风格迁移
EP3144899B1 (en) Apparatus and method for adjusting brightness of image
US20230334761A1 (en) Foveated Rendering
JP7395577B2 (ja) 再投影フレームのモーションスムージング
Du et al. Edge snapping-based depth enhancement for dynamic occlusion handling in augmented reality
US20090028432A1 (en) Segmentation of Video Sequences
CN108351864A (zh) 成凹几何密铺
US20090010546A1 (en) Edge-Guided Morphological Closing in Segmentation of Video Sequences
JP7162750B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
Lee et al. Real-time tracking of visually attended objects in virtual environments and its application to LOD
CN110140151A (zh) 用于生成光强度图像的装置和方法
US8633926B2 (en) Mesoscopic geometry modulation
CN114494611B (zh) 基于神经基函数的智能三维重建方法、装置、设备及介质
WO2023098344A1 (zh) 一种图形处理方法、装置、计算机设备及存储介质
US20190188902A1 (en) Determining pixel values using reference images
CN110069125A (zh) 虚拟对象的控制方法和装置
Bruder et al. Voronoi-Based Foveated Volume Rendering.
JP4530173B2 (ja) 顔パーツの位置の検出方法及び検出システム
Narayan et al. Optimized color models for high-quality 3d scanning
CN113064539B (zh) 特效控制方法、装置、电子设备及存储介质
CN114066715A (zh) 图像风格迁移方法、装置、电子设备以及存储介质
CN112106115A (zh) 估计用于增强现实的光的方法及其电子设备
JP7360757B1 (ja) 学習装置、サーバ装置、及びプログラム
CN114241387A (zh) 具有金属质感图像的生成方法以及模型的训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination