CN111080690A - 使用超声波深度感测的rgb-d成像***和方法 - Google Patents

使用超声波深度感测的rgb-d成像***和方法 Download PDF

Info

Publication number
CN111080690A
CN111080690A CN201911352577.8A CN201911352577A CN111080690A CN 111080690 A CN111080690 A CN 111080690A CN 201911352577 A CN201911352577 A CN 201911352577A CN 111080690 A CN111080690 A CN 111080690A
Authority
CN
China
Prior art keywords
rgb
depth map
map data
image data
rgb image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201911352577.8A
Other languages
English (en)
Inventor
谢捷斌
任伟
周谷越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to CN201911352577.8A priority Critical patent/CN111080690A/zh
Publication of CN111080690A publication Critical patent/CN111080690A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87—Combinations of sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/521—Constructional features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Exposure Control For Cameras (AREA)
  • Focusing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Automatic Focus Adjustment (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提供了一种RGB‑D成像***(100)，用于产生包括深度数据的图像。所述RGB‑D成像***(100)包括超声波传感器阵列(110)，所述超声波传感器阵列(110)用于通过波束成形生成深度图数据；RGB相机组件(130)，可操作地连接至所述超声波传感器阵列(110)，所述RGB相机组件(130)用于生成RGB图像数据。因此所述RGB‑D成像***(100)相比传统***提供/能够改进在各种光照条件下的成像。本发明还提供了产生RGB‑D图像的方法。

Description

使用超声波深度感测的RGB-D成像***和方法
本申请是申请号为201480075391.1，申请日为2014年10月28日，发明名称为使用超声波深度感测的RGB-D成像***和方法的分案申请。
技术领域
本发明涉及数字成像、计算机视觉和超声波感测，并且更确切地涉及RGB-D相机***和方法。
背景技术
RGB-D相机是能够产生三维图像(平面二维图像+垂直深度图图像)的相机。RGB-D相机通常具有两组不同的传感器。其中一组传感器包括光学接收传感器(例如，RGB相机)，用于接收通常以R(红)、G(绿)和B(蓝)三种颜色各自的强度值来表示的环境图像。另一组传感器包括红外激光或结构光传感器，用于检测被观测物体的距离(D)并且获取深度图图像。RGB-D相机的应用包括空间成像、手势识别、距离检测等。
一种类型的RGB-D相机应用红外光源用于成像(例如Microsoft的Kinect)。该相机具有某个光源，能够发出具有特定空间结构的红外光。此外，该相机配备用于接收红外光的镜头和滤波芯片。相机的内部处理器计算接收到的红外光的结构，并且通过光结构的变化，该处理器感知物体的结构和距离信息。
传统的RGB-D相机(如Microsoft的Kinect)利用红外光检测方法获取深度信息。然而，基于红外光检测的方法在室外环境下，特别是对于被阳光照射的物体来说很难工作，因为阳光光谱具有很强的红外特征，会掩盖检测器发出的红外光。有些红外光检测器通过提高功率(例如，使用激光或通过增加光源的强度)来解决这个问题。然而，这种方法是不期望的，因为它需要较大的功耗。
根据前述内容，需要提供一种改进的RGB-D成像***以及方法，以克服前述的传统RGB-D成像***的缺陷与不足。
发明内容
本发明提供了一种RGB-D成像***，包括：
超声波传感器阵列，所述超声波传感器阵列用于通过波束成形生成深度图数据；
RGB相机组件，可操作地连接至所述超声波传感器阵列，所述RGB相机组件用于生成RGB图像数据。
在一些实施方式中，所述超声波传感器阵列包括：多个超声波传感器。
在一些实施方式中，所述超声波传感器阵列还包括：基板；
所述多个超声波传感器定位在所述基板的由多个行和多个列所限定的矩阵上。
在一些实施方式中，所述超声波传感器阵列还包括：一个或多个超声波发射器；
所述超声波发射器被定位在所述基板上的所述矩阵内的介于所述行与所述列之间；或者，
所述超声波发射器被定位在所述矩阵之外。
在一些实施方式中，所述超声波发射器被定位在与所述矩阵相同、平行或分开的平面上。
在一些实施方式中，还包括：壳体；
所述超声波传感器阵列和所述RGB相机组件定位在所述壳体上。
在一些实施方式中，所述RGB相机组件包括：感光成像芯片；
所述超声波传感器阵列和所述感光成像芯片在所述壳体上被定位在共同的、平行的平面上。
在一些实施方式中，所述超声波传感器阵列和所述感光成像芯片在所述壳体上被定位在所述平行的平面上，且二者之间的距离为10cm或小于10cm。
在一些实施方式中，还包括处理器和存储器，所述处理器和所述存储器被定位在所述壳体内且可操作地连接至所述超声波传感器阵列和所述RGB相机组件。
在一些实施方式中，还包括定位在所述壳体上的显示器。
在一些实施方式中，所述RGB相机组件包括红外截止滤波器或红外带通滤波器。
在一些实施方式中，所述超声波传感器阵列包括：压电式换能器、电容式传感器、磁致伸缩材料。
在一些实施方式中，所述RGB相机组件包括：镜头；
所述镜头被配置用于将光聚焦到所述感光成像芯片上。
本发明还提供了一种包括上述任一项的RGB-D成像***的移动平台。
在一些实施方式中，所述移动平台是无人飞行器。
本发明还提供了一种产生RGB-D图像的方法，所述方法包括：
从RGB相机组件接收RGB图像数据；
从超声波传感器阵列接收深度图数据，所述深度图数据对应于所述RGB图像数据的一部分；以及
将对应的深度图数据和RGB图像数据相结合，以产生RGB-D图像；
所述将对应的深度图数据和RGB图像数据相结合包括：
剪切所述RGB图像数据中与所述深度图数据不对应的一部分；和/或，
剪切所述深度图数据中与所述述RGB图像数据不对应的一部分。
在一些实施方式中，所述将对应的深度图数据和RGB图像数据相结合还包括：将所述RGB图像数据与所述深度图数据对齐。
在一些实施方式中，所述将对应的深度图数据和RGB图像数据相结合还包括：通过波束成形来处理从所述超声波传感器阵列接收到的所述深度图数据。
在一些实施方式中，所述深度图数据的分辨率与所述RGB图像数据的分辨率相同。
在一些实施方式中，所述深度图数据的分辨率与所述RGB图像数据的分辨率不同。
在一些实施方式中，所述深度图数据的分辨率小于所述RGB图像数据的分辨率；
所述将对应的深度图数据和RGB图像数据相结合还包括：对所述深度图数据上采样以匹配所述RGB图像数据的分辨率。
在一些实施方式中，通过插值的方法对所述深度图数据上采样。
在一些实施方式中，根据所述深度图数据的像素的距离值进行所述插值。
在一些实施方式中，所述插值的方法包括如下的至少一种：
最近邻插值、双线性插值、双三次插值、双三次插值平滑化、双三次插值锐化。
在一些实施方式中，所述将对应的深度图数据和RGB图像数据相结合还包括：
对所述RGB图像数据和/或所述深度图数据重采样。
在一些实施方式中，根据视场内的感兴趣物体的距离值执行所述对齐。
在一些实施方式中，通过特征检测算法、提取算法、匹配算法的至少一种执行所述对齐。
本发明还提供了一种产生RGB-D图像的方法，所述方法包括：
从RGB相机组件接收RGB图像数据；
从超声波传感器阵列接收深度图数据，所述深度图数据对应于所述RGB图像数据的一部分；以及
将对应的深度图数据和RGB图像数据相结合，以产生RGB-D图像；
所述将对应的深度图数据和RGB图像数据相结合包括：
对齐所述RGB图像数据与所述深度图数据；
剪切所述RGB图像数据与所述深度图数据；
对所述深度图数据上采样以匹配所述RGB图像数据的分辨率。
在一些实施方式中，所述剪切所述RGB图像数据与所述深度图数据包括：剪切所述RGB图像数据中与所述深度图数据不对应的一部分。
在一些实施方式中，所述剪切所述RGB图像数据与所述深度图数据包括：剪切所述深度图数据中与所述述RGB图像数据不对应的一部分。
在一些实施方式中，还包括：通过波束成形来处理从所述超声波传感器阵列接收到的所述深度图数据。
在一些实施方式中，通过插值的方法对所述深度图数据上采样。
在一些实施方式中，根据所述深度图数据的像素的距离值进行所述插值。
在一些实施方式中，所述插值的方法包括如下的至少一种：
最近邻插值、双线性插值、双三次插值、双三次插值平滑化、双三次插值锐化。
在一些实施方式中，根据视场内的感兴趣物体的距离值执行所述对齐。
在一些实施方式中，通过特征检测算法、提取算法、匹配算法的至少一种执行所述对齐。
附图说明
图1图示了RGB-D成像***的一个实施例的示例性顶层图。
图2图示了将深度数据与RGB数据相结合的一个实施例的示例性图。
图3图示了将深度数据与RGB数据相结合的另一个实施例的示例性图。
图4图示了包括一个RGB相机***和一个超声波深度传感器的RGB-D成像***的一个实施例的示例性正视图。
图5图示了图4所示RGB-D成像***的视场的示例性顶层图。
图6图示了根据一个实施例的一种产生RGB-D图像的方法。
图7图示了包括一个RGB相机***和两个超声波深度传感器的RGB-D成像***的一个实施例的示例性正视图。
图8图示了图7所示RGB-D成像***的视场的示例性顶层图。
图9图示了根据一个实施例的一种产生RGB-D图像的方法。
图10图示了包括多个RGB-D成像***的RGB-D成像组件的一个实施例。
图11图示了根据一个实施例的一种产生RGB-D图像的方法。
应该指出的是，附图并未按比例绘制，并且为了说明的目的，在全部附图中一般以相同的附图标记来表示结构或功能相似的元件。还应该指出的是，附图的目的仅仅是为了方便描述优选实施例。附图并未图示所描述实施例的每个方面，也不限制本发明的范围。
具体实施方式
因为当前可用的RGB-D成像***存在缺陷，它们在很多操作条件下如在阳光下的室外不能工作，因此包含超声波深度或距离感测的RGB-D成像***可以证明是所期望的，并能够为广泛范围的RGB-D成像应用如空间成像、手势识别、距离检测、三维映射等提供依据。相比传统的RGB-D***，使用了波束成形的超声波阵列能够获取包括深度信息的三维地图，而不会受到环境光干扰的制约。此外，超声波传感器比使用红外传感器的RGB-D***使用明显更少的功率，因此可能适合移动平台或活动平台，如无人飞行器(UAV)等。可由如图1所示的RGB-D成像***100根据本文所公开的一个实施例来实现这些结果。
转向图1，RGB-D成像***100示为包括可操作地连接至成像装置120的超声波传感器阵列110和可操作地连接至成像装置120的RGB相机组件130。
在各种实施例中，超声波传感器阵列110可以包括定位在基板113的矩阵114上的多个超声波传感器112，所述矩阵114由多个行R和列C所限定。一个或多个超声波发射器111可被定位在基板113上矩阵114内的介于超声波传感器112的行R与列C之间。在另外的实施例中，一个或多个超声波发射器111可被定位在矩阵114之外在RGB-D成像***100周围的任何合适位置。例如，一个或多个超声波发射器111可被定位在与矩阵114相同、平行或分开的平面上。
在某些实施例中，可以存在单个超声波发射体111也可以存在以任何所期望的或合适的配置而布置或定位的任何合适复数量的超声波发射体111。也可以存在以任何所期望的或合适的配置而布置或定位的任何合适复数量的超声波传感器112，所述配置可以是也可以不是矩阵114配置。在各种实施例中，超声波传感器阵列110可以包括压电式换能器、电容式传感器、磁致伸缩材料等。因此，在各种实施例中，可以无限制地采用用于传输和/或感测任何合适频率的声波的任何合适的阵列。
相机组件130可以包括镜头131，所述镜头被配置用于将光132聚焦到像素134的感光阵列或芯片133上，所述感光阵列或芯片将接收到的光132转换成信号，所述信号限定如本文所述的图像。尽管镜头131被描述为单反相机(DSLR)镜头，但在各种实施例中，可以使用任何合适类型的镜头。例如，在某些实施例中，镜头131可以包括任何合适的镜头***，包括针孔镜头(pin-hole lens)、生物镜头(biological lens)、简单凸面玻璃镜头(simpleconvex glass lens)等。此外，根据各种实施例的镜头可以被配置成具有某些成像性质，包括微距镜头、变焦镜头、远摄镜头、鱼眼镜头、广角镜头等。
虽然相机***130可用于检测在可见光谱中的光并从中产生图像，但在某些实施例中，相机***130也可适于检测其他波长的光，包括，X-射线、红外光、微波等。此外，相机***130可以包括一个或多个滤波器。例如，相机***130可以包括基本上滤掉红外波长的红外截止滤波器，这可能是RGB-D***在存在红外干涉问题的环境中进行操作所期望的。在另一个实施例中，相机***130可以包括基本上滤掉除了红外波长之外的所有波长的红外带通滤波器，并且感光阵列或芯片133可以被配置用于感测红外波长。
相机***130还可以适用于静止图像、视频图像和三维图像等。因此，本发明不应该被理解为限于本文所显示和所描述的示例相机***130。
在各种实施例中，成像装置120可以包括处理器121、存储器122和显示器123。相机***130和超声波传感器阵列110可以可操作性地连接至成像装置120，以使得由相机***130和超声波传感器阵列110所产生的图像或数据可以由处理器121处理和/或存储存储器122中。可以在显示器123上呈现处理后的图像。
在另外的实施例中，处理器121、存储器122和显示器123中的任一者可以复数量存在也可以不存在。例如，在某些实施例中，RGB-D成像***100并不包括显示器123，而是将本文所论述的所产生的图像发送至其中可以呈现此类图像的另一个计算装置或显示器。
在某些实施例中，相机***130、成像装置120和超声波传感器阵列110中的任一者可以任意合适的复数量存在。例如，如本文更详细论述并且如图4所示，RGB-D成像***100的一个实施例100A可以包括一个相机***130和一个超声波传感器阵列110。在另一个实施例中，如本文更详细描述并且如图7所示，RGB-D成像***100的一个实施例100B可以包括一个相机***130和两个超声波传感器阵列110。
在另一个实施例中，如本文更详细论述并且如图10所示，三维成像***800可以包括多个RGB-D成像***100，所述RGB成像***100各自包括一个相机***130和一个或多个超声波传感器阵列110。在该实施例中，每个RGB-D成像***100可以与单独的成像装置120(图10未示出)相关联，或者每个RGB-D图像***100可以与中心的或共同的成像装置120(图10未示出)相关联。换句话说，相关联的相机***130和超声波传感器阵列110组可以各自与成像装置120相关联，或者可以与中心的或共同的成像装置120可操作性地连接。
如本文更详细论述，RGB-D成像***110可以被配置用于产生RGB-D图像。例如，参照图1、2和3，相机***130可以被配置用于产生RGB三元组图像(triplet image)210，所述RGB三元组图像包括关于红值211R、绿值211G和蓝值211B的像素阵列。超声波传感器阵列110可以被配置用于产生深度图阵列220。如本文详细论述，RGB三元组图像210和深度图阵列220可以结合在一起，产生RGB-D四元组图像(quad image)230，所述RGB-D四元组图像包括关于红值211R、绿值211G和蓝值211B以及深度图阵列220的像素阵列。因此，RGB-D四元组图像230的每个像素位置与红值(R)、绿值(G)和蓝值(B)相关联，此外还与深度或距离值(D)相关联，所述深度或距离值对应于离超声波传感器阵列110或RGB-D成像***100的距离。
在某些实施例中，如图2所描述，RGB三元组图像210和深度图阵列220可以具有相同的分辨率和尺寸(即，对于所定义图像尺寸，像素的数量相同)。在该实施例中，RGB三元组图像210和深度图阵列220可一起添加。
然而，在某些实施例中，如图3所描述，RGB三元组图像210和深度图阵列320可以具有不同的分辨率(即，对于所定义图像尺寸，像素的数量不同)。例如，在图3中，关于红值211R、绿值211G和蓝值211B的像素阵列为N1xM1的图像尺寸中的8x8像素，而深度图阵列320为N2xM2的图像尺寸中的4x4像素。在其中N1＝N2并且M1＝M2的一个实施例中，RGB三元组图像210和/或深度图阵列320可以修改以结合，形成RGB-D四元组图像230。在图3所示的例子中，深度图阵列320可以被上采样至N3xM3的图像尺寸中的8x8像素。这导致较低分辨率的深度图阵列320中的像素321的距离值与RGB-D四元组图像230中所呈现的经过上采样的深度图阵列340中所呈现的四个像素的高亮显示组323中的像素322结合使用。
在该例子中，较低分辨率的4x4深度图阵列320上采样至较高分辨率的8x8深度图阵列340导致清晰的上采样，只要像素321能够清晰地分成四个像素323。然而，在另外的实施例中，较低分辨率的深度图阵列320的转换在上采样期间(例如，4x4图像上采样至11x11图像等)可能需要某些像素的插值。在该实施例中，可以使用任何合适的插值方法，所述插值方法可以包括最近邻插值(nearest neighbor)、双线性插值(bilinear)、双三次插值(bicubic)、双三次插值平滑化(bicubic smoother)、双三次插值锐化(bicubic sharper)等。
在某些实施例中，距离值的插值可以基于所述距离值。例如，与较小的差异相比，较长距离的插值可以用不同的方法来处理。在某些实施例中，可以对RGB三元组图像210和/或深度图阵列220重采样，并且RGB三元组图像210和/或深度图阵列220的重采样方法可以是基于距离值。
尽管某些实施例包括RGB三元组图像210和深度图阵列320，其中N1＝N2并且M1＝M2，但在另外的实施例中，RGB三元组图像210和深度图阵列320可以具有不同的尺寸。例如，在某些实施例中，RGB三元组图像210可以比深度图阵列320更大。在其他实施例中，RGB三元组图像210可以比深度图阵列320更小。此外，在各种实施例中，M3/N3可以与M1/N1和/或M2/N2相同，但在某些实施例中，也可以不同。
RGB-D成像***100可以以各种合适的方式实现，例如如图4所描述，一个实施例100A包括定位在壳体401上的超声波传感器阵列110和相机***130。成像装置120(图4中未示，参见图1)可以被定位在壳体401之内和/或之上。例如，处理器121(参见图1)和存储器122(参见图1)可以被定位在壳体401内，并且显示器123(参见图1)可以被定位在壳体401的合适部分上。
如图4和5所示，超声波传感器阵列110和感光成像芯片133可以在壳体401上并排地定位在共同的或平行的平面上。在一个优选实施例中，超声波传感器阵列110和感光成像芯片133是分开的，其距离不超过10cm。本文所使用的术语“共同的平面”和“平行的平面”并不是同义词，这些术语是有区别的。
超声波传感器阵列110可以具有由边缘411A、411B所限定的视场413，RGB相机组件130可以具有由边缘412A、412B所限定的视场414。如图5所示，视场413、414是可以偏移的。换句话说，由感光成像芯片133和超声波传感器阵列110所产生的图像由于成像芯片133和超声波传感器阵列110在壳体上的物理距离而可能不完全相同。在该示例实施例中，视场413、414是相对于表面410而显示的，并包括重叠部分415和其中视场没有重叠的偏移部分420A、420B。更确切地，偏移部分420A并不在RGB相机组件的视场414之内，并且偏移部分420B不在超声波传感器阵列的视场413之内。
重叠部分415可以通过各种合适的方法识别和/或确定。例如，在一个实施例中，重叠部分415的尺寸可以是已知的或假定的，并且可以基于此类已知或假定的值来将非重叠部分420自动剪切掉。在另外的实施例中，可以通过任何合适的机器视觉或图像处理方法来使图像对齐。例如，在一个实施例中，加速分割检测特征算法(Features from AcceleratesSegment Test algorithm)(FAST算法)可以用于在图像中进行角点检测，以识别一个或多个特殊特征点；二进制稳健独立基元特征算法(Binary Robust Independent ElementaryFeatures algorithm)(BRIEF算法)可以用于识别图像的特征描述符并且两个图像中所识别出来的描述符之间的汉明距离(Hamming distance)可以用于识别第一图像和第二图像的重叠区域。
因此，由成像芯片133和超声波传感器阵列110所产生的相应的图像和距离图可以包括彼此不对应的部分，当这些图像和距离图结合形成RGB-D图像时，这些不对应的部分可能是所不期望的。换句话说，为使RGB-D精确地显示指定像素下的距离值，可能需要使图像与距离图。在某些实施例中，偏移距离和偏移部分420A、420B可以被认为是可忽略不计的，并且图像与距离图可以不对齐。在其中偏移距离基本上恒定的另外的实施例中，图像与距离图可以基于已知的或所限定的距离而对齐。例如，在其中传感器阵列110和感光成像芯片133被定位在平行平面上的一个实施例中，传感器阵列110与感光成像芯片133之间的几何距离可以包括在已知或所限定的距离中以进行对齐。相似地，在传感器阵列110和感光成像芯片133被定位在共同平面上的情况下，传感器阵列110与感光成像芯片133之间的几何距离可以包括在已知或所限定的距离中以进行对齐。
然而，当偏移距离变化时(例如，由于受试物体离成像***100的距离、环境条件等而引起)，可以基于距离图中的距离值来执行对齐。在其中偏移基于距离而变化的某些实施例中，可能期望识别视场内的感兴趣物体(objects of interest)并且使图像与距离图的对齐优化，以使得感兴趣物体能够更精确地对齐。例如，可以确定，在距离1米处的前景物体为感兴趣物体，位于20米之外的背景物体不是很重要。因此，可以优化1米距离的对齐，而不是20米距离的对齐，以使得对应于前景物体的距离数据比背景距离数据更精确并且更为对齐。
可以利用任何合适的方法并且可以基于各种设置(如特写镜头、中距离、远处、人物、风景等)来确定感兴趣物体。这些感兴趣物体可以基于合适的机器视觉和/或人工智能方法等来识别。在另外的实施例中，图像与距离图的对齐可以通过使用特征检测算法、提取算法和/或匹配算法来进行，诸如RANSAC(随机采样一致(RANdom SAmple Consensus))算法、施和托马西角点检测(Shi&Tomasi corner detection)算法、SURF斑点检测(加速稳健特征(Speeded Up Robust Features))算法、MSER斑点检测(最大稳定极值区域(MaximallyStable Extremal Regions))算法、SURF描述符(加速稳健特征(Speeded Up RobustFeatures))算法、SIFT描述符(尺度不变特征变换(Scale-Invariant FeatureTransform))算法、FREAK描述符(快速视网膜关键点(Fast REtinA Keypoint))算法、BRISK描述符(二进制稳健不变尺度关键点(Binary Robust Invariant Scalable Keypoints))算法、HOG描述符(方向梯度直方图(Histogram of Oriented Gradients))算法等。
在各种实施例中，可能期望将图像和/或距离图中彼此不对应的部分剪切掉。例如，参照图5，对于所拍摄的物体410的图像来说，可以从相应的图像和距离图中剪切掉部分420A、420B，而留下重叠部分415。
图6图示了根据一个实施例的产生RGB-D图像的方法500。方法500开始于块510，在块510中，从RGB相机组件130(参见图1和4)接收RGB图像数据，并且在块520中，从超声波阵列110(参见图1和4)接收与RGB图像数据的一部分相对应的深度图数据。
在块530中，将RGB图像数据与深度图数据对齐。在块540中，将RGB图像数据中与深度图数据不对应的一部分剪切掉，并且在块550中，将深度图数据中与RGB数据不对应的一部分剪切掉。在块560中，对深度图数据上采样，以匹配RGB图像数据的分辨率，并且在块570中，将对应的深度图数据和RGB图像数据相结合，产生RGB-D图像。
如图7所描述，RGB-D成像***100的另一个实施例100B包括定位在壳体601上的第一超声波传感器阵列110A和第二超声波传感器阵列110B以及相机***130。成像装置120(图7未示，参见图1)可以被定位在壳体601之内和/或之上。例如，处理器121(参见图1)和存储器122(参见图1)可以被定位在壳体601内并且显示器123(参见图1)可以被定位在壳体601的合适部分上。
如图7和8所示，超声波传感器阵列110和感光成像芯片133可以以线性配置的方式在壳体401上并排地定位在的平行的或共同的平面上，其中感光成像芯片133定位在第一超声波阵列110A与第二超声波阵列110B之间。在一个优选实施例中，超声波传感器阵列110和感光成像芯片133各自分开，其距离不超过10cm。
超声波传感器阵列110A、110B可以具有分别由边缘611C、611D和611A、611B所限定的视场613A、613B。RGB相机组件130可以具有由边缘612A、612B所限定的视场614。如图8所示，视场613A、613B、614可以是偏移的。换句话说，由感光成像芯片133和超声波传感器阵列110所产生的图像由于成像芯片133和超声波传感器阵列110在壳体601上的物理距离而可能并不完全相同。在该示例实施例中，视场613A、613B、614是相对于表面610而显示的并包括重叠部分615和其中视场613A、613B、614没有重叠的偏移部分620A、620B。更确切地，偏移部分620A、620B都不在RGB相机组件的视场614内，而重叠部分615包括对应的从成像芯片的视场614得到的图像数据和从阵列的视场613A、614B之一或两者得到的深度图数据。
图9图示了根据一个实施例的产生RGB-D图像的方法700。方法700开始于块710，在块710中，从RGB相机组件130(参见图1和7)接收RGB图像数据。在块720中，从第一超声波阵列110A(参见图1和4)接收与RGB图像数据的一部分相对应的第一深度图数据集，并且在块730中，从第二超声波阵列110A(参见图1和4)接收与RGB图像数据的一部分相对应的第二深度图数据集。
在块740中，将RGB图像数据与深度图数据对齐。在块750中，将深度图数据集中与RGB图像数据不对应的一部分剪切掉，并且在块760中，对深度图数据集上采样，以匹配述RGB图像数据的分辨率。因此，在各种实施例中，第一和第二深度图数据集之一或两者的分辨率要比RGB图像数据的分辨率低。在块770中，将对应的深度图数据集与RGB图像数据相结合，产生RGB-D图像。
图10图示了RGB-D成像组件800的一个实施例，所述RGB-D成像组件包括分别定位在壳体801的面802上的多个RGB-D成像***100。尽管示例实施例800图示了具有八个面802的八边形壳体801，在其中在每个表面上定位有RGB-D成像***100，但在另一个实施例中，也可以在各个平面上定位有任何合适复数量的成像***100。
使多个成像***100定位在不同的平面上可能是所期望的，因为有可能产生全景的和/或三维的RGB-D图像，所述RGB-D图像是多个RGB图像数据和多个距离图数据的组合。此外，尽管示例实施例800描述了在共同的或平行的平面上位于共同高度的成像***100，但在另外的实施例中，壳体可以包括规则或不规则的多面体等。
图11图示了根据一个实施例的产生RGB-D图像的方法900。所述方法900开始于块910，在块910中分别从各自的RGB相机组件130(参见图1)接收多个RGB图像。在块920中，从多个超声波阵列110(参见图1)接收与RGB相机组件130之一分别相关联的多个深度图集，并且在块930中，将RGB图像与深度图数据集对齐。在块940中，将RGB图像中与深度图数据集不对应的部分剪切掉，并且在块950中，将深度图数据集中与RGB图像不对应的部分剪切掉。在块960中，对深度图数据集上采样，以与RGB图像的分辨率相匹配，并且在块970中，将对应的深度图数据集和RGB图像结合，产生连续的RGB-D图像。
所描述的实施例易于进行各种修改且具有各种替代形式，并且已在附图中通过举例的方式示出了并在本文详细描述了它们的特定实施例。然而，应该了解的是，所描述的实施例并非限于所公开的具体形式或方法，而相反，本发明意欲涵盖所有的修改、同等替换和改变。

Claims (10)

1.一种RGB-D成像***，其特征在于，包括：
超声波传感器阵列，所述超声波传感器阵列用于生成深度图数据；
RGB相机组件，可操作地连接至所述超声波传感器阵列，所述RGB相机组件用于生成RGB图像数据；
成像装置，可操作地连接至所述超声波传感器阵列，以及可操作地连接至所述RGB相机组件，所述成像装置用于通过波束成形处理所述深度图数据和所述RGB图像数据。
2.如权利要求1所述的RGB-D成像***，其特征在于，所述超声波传感器阵列包括：多个超声波传感器。
3.如权利要求2所述的RGB-D成像***，其特征在于，所述超声波传感器阵列还包括：基板；
所述多个超声波传感器定位在所述基板的由多个行和多个列所限定的矩阵上。
4.如权利要求3所述的RGB-D成像***，其特征在于，所述超声波传感器阵列还包括：一个或多个超声波发射器；
所述超声波发射器被定位在所述基板上的所述矩阵内的介于所述行与所述列之间；或者，
所述超声波发射器被定位在所述矩阵之外。
5.一种产生RGB-D图像的方法，其特征在于，所述方法包括：
从RGB相机组件接收RGB图像数据；
从超声波传感器阵列接收深度图数据，所述深度图数据的至少一部分对应于所述RGB图像数据的一部分；以及
将对应的深度图数据和RGB图像数据相结合，以产生RGB-D图像；
所述将对应的深度图数据和RGB图像数据相结合包括：
剪切所述RGB图像数据中与所述深度图数据不对应的一部分；和/或，
剪切所述深度图数据中与所述述RGB图像数据不对应的一部分。
6.如权利要求5所述的方法，其特征在于，所述将对应的深度图数据和RGB图像数据相结合还包括：将所述RGB图像数据与所述深度图数据对齐。
7.如权利要求5所述的方法，其特征在于，所述将对应的深度图数据和RGB图像数据相结合还包括：通过波束成形来处理从所述超声波传感器阵列接收到的所述深度图数据。
8.一种产生RGB-D图像的方法，其特征在于，所述方法包括：
从RGB相机组件接收RGB图像数据；
从超声波传感器阵列接收深度图数据，所述深度图数据的至少一部分对应于所述RGB图像数据的一部分；以及
将对应的深度图数据和RGB图像数据相结合，以产生RGB-D图像；
所述将对应的深度图数据和RGB图像数据相结合包括：
对齐所述RGB图像数据与所述深度图数据；
剪切所述RGB图像数据与所述深度图数据；
对所述深度图数据上采样以匹配所述RGB图像数据的分辨率。
9.如权利要求8所述的方法，其特征在于，所述剪切所述RGB图像数据与所述深度图数据包括：剪切所述RGB图像数据中与所述深度图数据不对应的一部分。
10.如权利要求8所述的方法，其特征在于，所述剪切所述RGB图像数据与所述深度图数据包括：剪切所述深度图数据中与所述述RGB图像数据不对应的一部分。
CN201911352577.8A 2014-10-28 2014-10-28 使用超声波深度感测的rgb-d成像***和方法 Withdrawn CN111080690A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911352577.8A CN111080690A (zh) 2014-10-28 2014-10-28 使用超声波深度感测的rgb-d成像***和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/CN2014/089741 WO2016065541A1 (en) 2014-10-28 2014-10-28 Rgb-d imaging system and method using ultrasonic depth sensing
CN201480075391.1A CN105980928B (zh) 2014-10-28 2014-10-28 使用超声波深度感测的rgb-d成像***和方法
CN201911352577.8A CN111080690A (zh) 2014-10-28 2014-10-28 使用超声波深度感测的rgb-d成像***和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201480075391.1A Division CN105980928B (zh) 2014-10-28 2014-10-28 使用超声波深度感测的rgb-d成像***和方法

Publications (1)

Publication Number Publication Date
CN111080690A true CN111080690A (zh) 2020-04-28

Family

ID=55856361

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201911352577.8A Withdrawn CN111080690A (zh) 2014-10-28 2014-10-28 使用超声波深度感测的rgb-d成像***和方法
CN201480075391.1A Expired - Fee Related CN105980928B (zh) 2014-10-28 2014-10-28 使用超声波深度感测的rgb-d成像***和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201480075391.1A Expired - Fee Related CN105980928B (zh) 2014-10-28 2014-10-28 使用超声波深度感测的rgb-d成像***和方法

Country Status (5)

Country Link
US (2) US9648302B2 (zh)
EP (1) EP3055734A4 (zh)
JP (1) JP6312227B2 (zh)
CN (2) CN111080690A (zh)
WO (1) WO2016065541A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10068385B2 (en) * 2015-12-15 2018-09-04 Intel Corporation Generation of synthetic 3-dimensional object images for recognition systems
CN106371281A (zh) * 2016-11-02 2017-02-01 辽宁中蓝电子科技有限公司 基于结构光多模块360度空间扫描和定位的3d相机
CN106842187A (zh) * 2016-12-12 2017-06-13 西南石油大学 一种相控阵扫描与视频图像处理融合定位装置及其方法
CN108696737A (zh) * 2017-02-28 2018-10-23 深圳市掌网科技股份有限公司 一种获取三维图像的方法和装置
US10706505B2 (en) * 2018-01-24 2020-07-07 GM Global Technology Operations LLC Method and system for generating a range image using sparse depth data
CN108921883B (zh) * 2018-04-27 2022-05-06 徐育 基于两位置深度图像识别的饮水机控制装置及其控制方法
CN108961195B (zh) * 2018-06-06 2021-03-23 Oppo广东移动通信有限公司 图像处理方法及装置、图像采集装置、可读存储介质和计算机设备
CN109410263A (zh) * 2018-09-30 2019-03-01 Oppo广东移动通信有限公司 一种数据采集方法、装置及计算机存储介质
CN109274957A (zh) * 2018-10-31 2019-01-25 维沃移动通信有限公司 一种深度图像拍摄方法及移动终端
CN109633661A (zh) * 2018-11-28 2019-04-16 杭州凌像科技有限公司 一种基于rgb-d传感器与超声波传感器融合的玻璃检测***和方法
US11450018B1 (en) * 2019-12-24 2022-09-20 X Development Llc Fusing multiple depth sensing modalities

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW443156U (en) 1998-09-24 2001-06-23 Chen Guo Fu Piping washing device for engine
JP2002209892A (ja) * 2001-01-19 2002-07-30 Fuji Photo Film Co Ltd 超音波探触子及びこれを用いた超音波診断装置
AU2003241209A1 (en) 2002-11-29 2004-06-23 Adrian Gerardo Cornejo Reyes Device for producing three-dimensionally-perceived images on a monitor with multiple liquid crystal screens
JP2007024770A (ja) * 2005-07-20 2007-02-01 Denso Corp 障害物検出装置
JP4694930B2 (ja) * 2005-09-21 2011-06-08 富士フイルム株式会社 超音波診断装置
US7532541B2 (en) * 2006-02-23 2009-05-12 Fev Engine Technology, Inc Object detection using acoustic imaging
JP5434109B2 (ja) * 2009-02-06 2014-03-05 セイコーエプソン株式会社 超音波センサーユニット
US8717417B2 (en) * 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
TWI389579B (zh) * 2009-04-27 2013-03-11 Univ Nat Chiao Tung Acoustic camera
DE102010027972A1 (de) * 2010-04-20 2011-10-20 Robert Bosch Gmbh Anordnung zur Bestimmung der Entfernung und der Richtung zu einem Objekt
CA2720886A1 (en) 2010-11-12 2012-05-12 Crosswing Inc. Customizable virtual presence system
US9176990B2 (en) * 2011-03-04 2015-11-03 Fluke Corporation Visual image annotation, tagging of infrared images, and infrared image linking
KR20160084502A (ko) * 2011-03-29 2016-07-13 퀄컴 인코포레이티드 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들
US20130021446A1 (en) * 2011-07-20 2013-01-24 GM Global Technology Operations LLC System and method for enhanced sense of depth video
TWM443156U (en) * 2011-11-23 2012-12-11 Chien Hui Chuan System for three-dimensional shape and size measurement
US8259161B1 (en) * 2012-02-06 2012-09-04 Google Inc. Method and system for automatic 3-D image creation
BR112014031979A8 (pt) 2012-06-27 2021-02-23 Koninklijke Philips Nv sistema de ultrassom para diagnóstico que produz imagens do fluxo em cores da velocidade do fluxo ou movimento
US20140028799A1 (en) * 2012-07-25 2014-01-30 James Kuffner Use of Color and Intensity Modulation of a Display for Three-Dimensional Object Information
JP5962393B2 (ja) * 2012-09-28 2016-08-03 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法及び画像処理プログラム
US10819962B2 (en) * 2012-12-28 2020-10-27 Apple Inc. Method of and system for projecting digital information on a real object in a real environment
KR102085766B1 (ko) * 2013-05-30 2020-04-14 삼성전자 주식회사 촬영 장치의 자동 초점 조절 방법 및 장치
KR20150020953A (ko) * 2013-08-19 2015-02-27 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
US9589359B2 (en) * 2014-04-24 2017-03-07 Intel Corporation Structured stereo
CN103971409B (zh) * 2014-05-22 2017-01-11 福州大学 一种利用rgb-d摄像机测量足部三维脚型信息及三维重建模型的方法
KR102165450B1 (ko) * 2014-05-22 2020-10-14 엘지전자 주식회사 무인 항공기를 제어하는 포터블 디바이스 및 그 제어 방법
US20150381965A1 (en) * 2014-06-27 2015-12-31 Qualcomm Incorporated Systems and methods for depth map extraction using a hybrid algorithm
CN104092956B (zh) * 2014-07-31 2018-02-02 北京智谷睿拓技术服务有限公司 闪光控制方法、闪光控制装置以及图像采集设备

Also Published As

Publication number Publication date
US9843788B2 (en) 2017-12-12
EP3055734A4 (en) 2016-10-26
WO2016065541A1 (en) 2016-05-06
US9648302B2 (en) 2017-05-09
JP6312227B2 (ja) 2018-04-18
CN105980928B (zh) 2020-01-17
US20160134858A1 (en) 2016-05-12
CN105980928A (zh) 2016-09-28
EP3055734A1 (en) 2016-08-17
US20170195655A1 (en) 2017-07-06
JP2017514330A (ja) 2017-06-01

Similar Documents

Publication Publication Date Title
CN105980928B (zh) 使用超声波深度感测的rgb-d成像***和方法
CN107111598B (zh) 使用超声深度感测的光流成像***以及方法
US11503275B2 (en) Camera calibration system, target, and process
KR101666959B1 (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
US10949986B1 (en) Methods and systems for imaging a scene, such as a medical scene, and tracking objects within the scene
CN113412614A (zh) 使用深度图像的三维定位
WO2013099628A1 (ja) 画像処理装置、画像処理システム、画像処理方法、および、プログラム
EP3664433A1 (en) Information processing device, information processing method, and program, and interchangeable lens
CN113424522A (zh) 使用半球形或球形可见光深度图像进行三维跟踪
CN108335329B (zh) 应用于飞行器中的位置检测方法和装置、飞行器
Popovic et al. State-of-the-art multi-camera systems
KR102505659B1 (ko) 스마트폰 기반의 조명을 이용한 3차원 스캐닝 장치 및 방법
US11336803B2 (en) Information processing apparatus, information processing method, program, and interchangeable lens
CN113424524B (zh) 使用半球形或球形可见光深度图像的三维建模
CN112711982B (zh) 视觉检测方法、设备、***以及存储装置
Krig et al. Image Capture and Representation
CN114972618A (zh) 三维关键点采集***、方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200428