CN108780504A - 深度感知三目相机*** - Google Patents

深度感知三目相机*** Download PDF

Info

Publication number
CN108780504A
CN108780504A CN201680082106.8A CN201680082106A CN108780504A CN 108780504 A CN108780504 A CN 108780504A CN 201680082106 A CN201680082106 A CN 201680082106A CN 108780504 A CN108780504 A CN 108780504A
Authority
CN
China
Prior art keywords
camera
image
feature
depth
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680082106.8A
Other languages
English (en)
Other versions
CN108780504B (zh
Inventor
皮耶特罗·萨尔瓦尼尼
米雪儿·史托帕
阿巴斯·拉斐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Packsize LLC
Original Assignee
Aquifi Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aquifi Inc filed Critical Aquifi Inc
Publication of CN108780504A publication Critical patent/CN108780504A/zh
Application granted granted Critical
Publication of CN108780504B publication Critical patent/CN108780504B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Vascular Medicine (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

一种用于检测深度相机***的失准的方法，所述***包含在一方向上具有重叠视场的第一、第二和第三相机，所述方法包含：在所述第一相机所捕获的第一图像中检测特征；在所述第二相机所捕获的第二图像中检测所述特征；在所述第三相机所捕获的第三图像中检测所述特征，所述第三相机与所述第一和第二相机非共线；根据所述特征在所述第一图像中的检测位置和校准参数，识别所述第二图像中的第一共轭核线；根据所述特征在所述第三图像中的检测位置和所述校准参数，识别所述第二图像中的第二共轭核线；以及演算所述特征在所述第二图像中的检测位置与所述第一和第二共轭核线之间的差。

Description

深度感知三目相机***
技术领域
本发明实施例的方面涉及深度相机***。更详细地说，本发明实施例的一些方面涉及包含多个相机的深度相机***以及用于检测失准状况的***和方法。
背景技术
在包含移动、家庭娱乐、游戏、机器人、无人机、扩增或虚拟现实(AR/VR)***、汽车、保全等的多种电子装置上产生高质量高分辨率深度数据的需求日益增长。深度数据在消费者和工业市场中用于许多成像和检测应用。
深度感知相机***可以用于捕获场景，并估计场景中的每一像素的深度(或“z距离”)，借此生成“深度图”。通常，深度相机***(或“深度相机”)可以分类成被动式深度相机和主动式深度相机。
主动式深度相机通常包含将光发射到场景上的主动式照射组件或投影器。概括地，这些相机包含：“飞行时间”主动式深度相机，其将扩散调制照射发射到场景上；和“结构光”主动式深度相机，其发射照射图案以便将图案投影到场景上。图案可以用于在一般情况下确定视差(例如，通过将额外纹理提供到低纹理对象或通过优化视差确定)，且还允许在具有不足环境照明的状况(例如，黑暗环境)下进行操作。被动式深度相机***缺乏此类主动式照射组件。
一些深度相机***利用立体视觉技术，在所述技术中基于在由多个相机所捕获的图像中发现的匹配特征之间的视差来计算深度数据。使用包含两个或多于两个相机的图像采集***可以改进针对投影图案中之偏差的稳健性，且还可以实现在具有明亮环境照明的情况(例如，无法在环境光下检测到主动式照射组件投影的图案)下进行操作。
一些深度相机***利用立体视觉技术，在所述技术中基于在由一个相机所捕获的图像中发现的匹配图案特征之间的视差、和所谓的结构光方法中投影的经译码图案来计算深度数据。在接下来的文本中，在较一般的多相机立体***的脉络中描述主题，其中结构光方法可以被视为***子层级。
在计算深度信息时，深度相机***使用已知的校准参数，如下文更详细地论述。校准参数说明了深度演算对于相机之间的距离、和其相对于彼此的定向(例如，相机的光轴或光学平面之间的角度)是敏感的。
发明内容
本发明实施例的方面涉及了包含多个相机的深度相机***。本发明实施例的方面还涉及了用于自动地检测多个相机的失准状态的***和方法。
根据本发明的一个实施例，一种用于检测深度或深度和彩色相机***的失准的方法，所述***包含第一相机、第二相机和第三相机，所述第一、第二和第三相机在一方向上具有大体上重叠的视场，所述方法包含：在所述第一相机所捕获的第一图像中检测特征；在所述第二相机所捕获的第二图像中检测所述特征；在所述第三相机所捕获的第三图像中检测所述特征，所述第三相机与所述第一和第二相机非共线；根据所述特征在所述第一图像中的检测位置和多个校准参数，识别所述第二图像中的第一共轭核线；根据所述特征在所述第三图像中的检测位置和所述多个校准参数，识别所述第二图像中的第二共轭核线；演算所述特征在所述第二图像中的检测位置与所述第一和第二共轭核线之间的差；以及响应于所述差超出阈值而输出所述深度相机***失准的指示。
所述差可包含第一差和第二差，且其中演算所述差之步骤可包含：演算所述特征在所述第二图像中的所述检测位置与所述第一共轭核线之间的第一差；以及演算所述特征在所述第二图像中的所述检测位置与所述第二共轭核线之间的第二差。
所述方法可进一步包含了演算所述第一共轭核线与所述第二共轭核线的相交点的位置，且演算所述差之步骤可包含演算所述特征在所述第二图像中的所述检测位置与所述相交点的所述位置之间的距离。
所述第一相机和所述第二相机可被配置成捕获不可见光，且其中所述第三相机可被配置成捕获可见光。
所述方法可进一步包含了由定位于所述第一相机与所述第二相机之间的投影装置在所述重叠视场的所述方向上发射不可见光的纹理化图案。
根据本发明的一个实施例，一种深度感知相机***包含：被配置成捕获红外图像的第一相机；第二相机；第三相机，其布置成与所述第一和第二相机非共线，所述第一、第二和第三相机在一方向上具有大体上重叠的视场，且所述第二和第三相机中的至少一个被配置成捕获可见光图像，所述第三相机与所述第一和第二相机等距，所述第三相机具有比所述第一相机的分辨率高出分辨率因数r的分辨率；以及图像信号处理器，其被配置成从所述第一相机、所述第二相机和所述第三相机接收图像，所述图像信号处理器被配置成检测所述第一、第二和第三相机的失准，其中第一基线在所述第二相机与所述第一相机之间延伸，其中第二基线在所述第二相机与所述第三相机之间延伸，且其中形成于所述第一基线与所述第二基线之间的角度α大约为αoptimal，其中
所述分辨率因数r可以是1.0，且所述角度α可以在26.0度到44.3度的范围内。所述角度α可以在28.9度到41.9度的范围内。所述角度α可以为约35.6度。
所述分辨率因数r可以是2.0，且所述角度α可以在21.4度到53.4度的范围内。
所述第一相机和所述第二相机可以被配置成捕获不可见光，且所述第三相机可以被配置成捕获可见光。
所述深度感知相机***可进一步包含了定位于所述第一相机与所述第二相机之间的投影装置，所述投影装置被配置成在所述重叠视场的所述方向上发射不可见光的纹理化图案。
所述图像信号处理器可以被配置成通过以下步骤来检测所述第一、第二和第三相机的所述失准：在所述第一相机所捕获的第一图像中检测特征；在所述第二相机所捕获的第二图像中检测所述特征；在所述第三相机所捕获的第三图像中检测所述特征，所述第三相机与所述第一和第二相机非共线；根据所述特征在所述第一图像中的检测位置和多个校准参数，识别所述第二图像中的第一共轭核线；根据所述特征在所述第三图像中的检测位置和所述多个校准参数，识别所述第二图像中的第二共轭核线；演算所述特征在所述第二图像中的检测位置与所述第一和第二共轭核线之间的差；以及响应于所述差超出阈值而输出所述深度相机***失准的指示。
所述差可包含第一差和第二差，且其中所述图像信号处理器可以被配置成通过以下步骤来演算所述差：演算所述特征在所述第二图像中的所述检测位置与所述第一共轭核线之间的第一差；以及演算所述特征在所述第二图像中的所述检测位置与所述第二共轭核线之间的第二差。
所述图像信号处理器可以被进一步配置成：演算所述第一共轭核线与所述第二共轭核线的相交点的位置；以及通过演算所述特征在所述第二图像中的所述检测位置与所述相交点的所述位置之间的距离而演算所述差。
根据本发明的一个实施例，一种移动装置包含：显示器；第一相机，其被配置成捕获红外图像，所述第一相机邻近于所述显示器的第一边缘；第二相机，其邻近于所述显示器的所述第一边缘；第三相机，其布置成与所述第一和第二相机非共线且邻近于所述显示器的第二边缘，所述第一、第二和第三相机具有大体上重叠的视场，且所述第二和第三相机中的至少一个被配置成捕获可见光图像，所述第三相机与所述第一和第二相机等距，所述第三相机具有比所述第一相机的分辨率高出分辨率因数r的分辨率；以及图像信号处理器，其被配置成控制所述显示器并从所述第一相机、所述第二相机和所述第三相机接收图像，所述图像信号处理器被配置成检测所述第一、第二和第三相机的失准，其中第一基线在所述第二相机与所述第一相机之间延伸，其中第二基线在所述第二相机与所述第三相机之间延伸，且其中形成于所述第一基线与所述第二基线之间的角度α大约为αoptimal，其中
所述分辨率因数r可以是1.0，且所述角度α可以在26.0度到44.3度的范围内。所述角度α可以在28.9度到41.9度的范围内。所述分辨率因数r可以是2.0，且所述角度α可以在21.4度到53.4度的范围内。
所述图像信号处理器可以被配置成通过以下步骤来检测所述第一、第二和第三相机的所述失准：在所述第一相机所捕获的第一图像中检测特征；在所述第二相机所捕获的第二图像中检测所述特征；在所述第三相机所捕获的第三图像中检测所述特征，所述第三相机与所述第一和第二相机非共线；根据所述特征在所述第一图像中的检测位置和多个校准参数，识别所述第二图像中的第一共轭核线；根据所述特征在所述第三图像中的检测位置和所述多个校准参数，识别所述第二图像中的第二共轭核线；演算所述特征在所述第二图像中的检测位置与所述第一和第二共轭核线之间的差；以及响应于所述差超出阈值而输出所述第一、第二和第三相机失准的指示。
附图说明
附图连同本说明书一起说明本发明的示范性实施例，并连同描述一起用以解释本发明的原理。
图1是对空间中的点进行成像的根据一个实施例的深度感知相机***的示意性说明。
图2A是说明根据本发明的一个实施例的深度感知相机***的框图。
图2B是根据本发明的一个实施例的包含三个相机的深度感知相机***的透视图。
图3说明两个相机之间的遮挡。
图4说明三个相机共线的三目***的旋转失准。
图5A是一对相机的针孔模型在矫正之后的示意性说明。
图5B是一对相机的针孔模型在矫正之后且在相机中的一个已经历旋转之后的示意性说明。
图5C示意性地分别说明在经历导致失准的变形前后，特征在第一相机的输出图像中的位置x1以及特征在第二相机的输出图像中的位置x2和
图6说明具有三个非共线相机的不同布置的本发明的两个不同实施例。
图7说明根据本发明的一个实施例的三目相机***，而相机中的一个是失准的。
图8是说明根据本发明的一个实施例的深度感知相机***的示意图。
图9A和9B是说明随角度ψ而变的视差误差之分析结果的曲线图，而一个相机绕y轴失准或旋转所述角度ψ。
图10是说明根据本发明的一个实施例的用于检测失准事件的方法的流程图。
图11A、11B和11C是说明根据本发明的实施例的包含至少三个相机的深度相机***中的遮挡和核线误差检测之分析结果的曲线图。
图11D是说明对根据本发明的一个实施例的具有三个相机的深度相机***的分析的曲线图，其中相机中的两个沿着长度50mm的基线布置，且其中相机中的一个具有高于其它两个相机的分辨率。
具体实施方式
在以下详细描述中，仅借助于说明示出且描述了本发明的某些示范性实施例。如所属领域的技术人员将认识到的，本发明可以许多不同形式体现且不应将其理解为限于本文中所阐述的实施例。在整篇说明书中，相似的参考标号指定相似的元件。
一般来说，立体深度相机***可包含两个相机，其彼此间隔开且稳固地安装到例如刚性框架的共享结构。为检测由两个相机成像的场景中的特征的深度，深度相机***确定由相机所捕获的图像中的每一个中的特征的像素位置。两个图像中的特征之间的距离被称为视差，其与对象的距离或深度反向相关。(这就是在一次用一个眼睛查看对象时，比较对象“移位”程度时的效果——移位的大小取决于对象离查看者的眼睛多远，其中更近的对象产生较大移位且更远的对象产生较小移位，且在远处的对象可能几乎不具有可检测的移位。)
在以下论述中，深度相机***的图像采集***可以被称为具有至少两个相机，其可以被称为“主控”相机和一个或多个“从属”相机。一般来说，所估计深度或视差图是从主控相机的视角计算，但相机中的任一个可以用作主控相机。如本文中所使用，除非指出，否则例如主/从、左/右、上/下、第一/第二/第三和CAM1/CAM2/CAM3的术语可以互换地使用。换句话说，相机中的任一个可以是主控或从属相机，且就左侧相机相对于右侧相机的考虑因素也可以通过对称性适用于其它方向。另外，下文呈现的考虑因素对于各种数目个相机可以是有效的。
主控与从属相机之间的视差大小取决于深度相机***的物理特性，例如相机的像素分辨率、相机之间的距离和相机的视场。因此，为生成准确的深度测量结果，基于这些物理特性来校准深度相机***(或深度感知深度相机***)。
在一些深度相机***中，可以将相机布置成使得相机的图像传感器的水平像素行大体上平行。图像矫正技术可以用于调节由于相机镜头的形状和相机定向的变化而产生的图像失真。
另外，通过将搜索范围缩小到核线周围的区域，可以加速识别具有重叠视场的多个相机的深度相机***中的匹配特征。更详细地说，可以将来自第一相机的图像中的像素向后投影到来自第二相机的图像中的核线线段上，其中核线线段在原始查看视线的投影之间延伸。因此，可以沿着对应于第二图像上的像素投影的核线来发现在一个图像中检测到的特征，借此将匹配特征的搜索约束成大体上线性搜索，而非跨越整个第二图像进行搜索。这些技术更详细地描述于例如R.塞利斯基的《计算机视觉处理：算法和应用》(斯普林格出版社，2010，第467页)以及下列内容中。参见例如图1，其说明三个相机或三目相机***，其中通过虚线示出核线131-2、131-3、132-1和133-1。
图1是对空间中的点进行成像的根据一个实施例的深度感知相机***的示意性说明。参考图1，第一相机CAM1、第二相机CAM2和第三相机CAM3对三维空间(3D空间或x-y-z空间)中的点p进行成像。相机中的每一个具有图像平面111、112、113(例如，对应于图像传感器)和中心点121、122、123。点p分别在位置x1、x2和x3处投影到图像平面111、112、113上。相机中心之间的假想线与其相应图像平面的相交点是以白色圆圈标记。举例来说，CAM1和CAM2的中心121和122之间的线在141-2和142-1处与其相应图像平面111和112相交。类似地，CAM1和CAM3的中心121和123之间的线在141-3和143-1处与其相应图像平面111和113相交。
在相机经过校准时，如下文更详细地论述，对于3D点p，图像平面111上的位置x1可以被投影到图像平面112上的共轭核线132-1上，且位置x2位于共轭核线132-1上。类似地，对于点p，位置x2可以被投影到图像平面111上的共轭核线131-2上，且位置x1在共轭核线131-2上。类似地，对于点p，图像平面111上的位置x1可以被投影到图像平面113上的共轭核线133-1上，且位置x3位于共轭核线133-1上。对于点p，位置x3可以被投影到图像平面111上的共轭核线131-3上，且位置x1在共轭核线131-2上。因此，可以基于已知的校准参数针对图像中的每一个中的每一位置识别共轭核线，如下文更详细地论述。
因而，在经过适当地校准时，点p到CAM1的图像平面111上的投影位于核线131-2与131-3的相交点处。
图1还说明含有p的3D场景的其它部分在图像平面111、112和113上也具有图像，记为点p1和将p接合到p1的线段l1。
相机校准信息提供矫正输入图像的必要信息，从而使得等效相机***的核线与经过矫正的图像的扫描线对准。在此情况下，场景中的3D点投影到经过矫正的主控和从属图像中的相同扫描线指标上。使x1和x2分别为同一3D点p在主控和从属等效相机中的图像的扫描线上的坐标，其中在每一相机中，这些坐标参照到一个轴系，而所述轴系以主点(光轴与焦平面的相交点)为中心且具有平行于经过矫正的图像的扫描线的横轴。如上文所描述，差x1-x2被称为视差且由d表示；其与3D点相对于经过矫正的相机的正交距离(也就是说，点到任一相机的光轴上的正交投影的长度)成反比。
在本发明的一些实施例中，深度相机***包含两个不可见光相机和一可见光或彩色相机，其中***被配置成计算彩色相机的每一彩色像素的深度估计。在这些实施例中，捕获不可见光和可见光能实现深度和彩色感知相机***(有时被称为RGB-D或RGB-Z***，其中RGB代表“红、绿、蓝”色彩，D或Z代表“深度”)。在一些实施例中，不可见光相机可以是红外相机。换句话说，典型用途为通过将深度信息从深度相机的视角“变形”到彩色相机的视角而从彩色相机的视角获得深度信息。为实现变形，也相对于深度相机来校准彩色相机。另外，彩色相机通常具有多于不可见光相机的像素(或更高分辨率)，且可向深度演算算法提供额外彩色线索，以改进***的整个深度演算准确度。此外，即使使用了彩色相机的彩色线索和更高分辨率，第三相机仍可以有助于提供准确的深度演算，例如通过提供当仅使用两个相机时可能被遮挡的场景部分的深度。
如上文所论述，通常在受控环境的脉络中将使用多个相机的深度相机***予以校准，以便说明相机相对于彼此的物理位置和定向。举例来说，安装到刚性框架上的多个相机可以相对于彼此以各种定向布置并布置成彼此离各种距离。安装过程期间的不精确性和变化可能会导致相机的最后位置在一个深度相机***到另一深度相机***之间发生变化。因而，可以使用校准过程以生成校准参数，以便基于相机的实际位置计算准确的深度测量结果，其中校准过程包含了界定对应于图像平面中的每一个中的像素的多个共轭核线。校准过程通常依赖于捕获具有已知几何布置的校准目标(看起来像检测板)的一个或多个图像，并求解一组3D点和其在图像平面中的(子)像素位置的投影等式。在一些***中，在制造时(例如，在已组装相机***之后)执行此校准，且可以在将装置输送到终端用户之前将校准设置编程到装置中。
在理想情境下，在相机之间的物理关系保持不变的情形中在制造时进行校准可能就足够了。举例来说，用于视频游戏机的深度相机***可以稳固地安装到游戏机柜并由其保护。作为另一实例，家庭视频游戏控制台的深度相机***可以部署成邻近电视机屏幕，且通常可以在***的整个寿命期间大体上不受干扰的放置。
在实践中，在许多情形下，相机之间的物理关系可能会在装置的寿命期间经历较大改变。视频游戏机经常被玩家滥用，且家庭视频游戏控制台的组件可能会被撞倒和/或踩踏。作为另一实例，例如智能手机、平板电脑、笔记本电脑和其它便携式计算装置的移动装置或移动计算装置通常包含集成式显示器，且其经常被丢失、弯曲、经受较大温度变化和以各种其它方式错误地处理，且因此，甚至在相机被安装到刚性框架的情况下，并入到移动装置中的深度相机***也会变得失准。
结果，安装于移动装置中的深度相机***或独立便携式深度相机***的多个相机可能未必在深度相机***的整个寿命期间维持相同的物理关系。举例来说，例如移动装置的永久性弯曲的变形可能会导致相机的定向发生改变，如图4中所说明。这导致相机***失准，使得深度相机***不再能演算准确的深度信息。举例来说，图4(c)中示出的受到变形的深度相机***可能会将对象演算为比实际远。当失准的深度相机***用于检测用户手势输入时，此失准和准确度损失可能会带来减少或减弱的功能性，且在用作测量世界中的对象的大小和位置的工具时，还会带来较大误差。因此，重要的是可检测到失准状况，优选为无需用户进行明确的校验即可检测到。
再校准的过程可能是困难的，这是因为产品必须在再校准期间不在服务状态，且因为再校准可能需要大量计算处理资源。因此，重要的是在相机确实校准失败的情况下调用再校准过程。
鉴于这些问题，本发明的实施例涉及具有多个相机的深度相机***，所述相机被布置成检测失准情况，同时能在生成深度图时维持高性能。本发明的一个实施例涉及具有这些性质的三个相机(或三目)相机***。
深度相机***可以并入到图像处理***中。可以使用多种软件可配置计算装置来实施根据本发明的许多实施例的图像处理***，所述计算装置包含(但不限于)个人计算机、平板电脑、智能手机、嵌入式装置、扩增现实(AR)和虚拟现实(VR)设备(例如，头戴式装备)，以及例如(但不限于)电视、影碟播放机、机顶盒和游戏控制台的消费型电子装置。图2A中说明根据本发明的实施例的图像处理***。图像处理***100包含被配置成与图像信号处理器(或相机接口)24和显示接口26通信的处理器22。图像处理***还包含存储器28，其可以呈包含半导体和/或磁盘类存储装置的一种或多种不同类型的存储装置的形式。在所说明的实施例中，使用存储于存储器28中的操作***30配置处理器22。
在许多实施例中，处理器经由图像信号处理器24从至少一个相机(例如，相机CAM1、CAM2和CAM3)接收视频数据帧。相机接口可以是适于特定应用要求的多种接口中的任一个，包含(但不限于)由俄勒冈州比佛顿市的USB-IF有限公司指定的USB 2.0或3.0接口标准，和由MIPI联盟指定的MIPI-CSI2接口。在数个实施例中，所接收视频数据帧包含了使用RGB色彩模型来表示、而所述模型表示为三个色彩通道中的亮度值的图像数据。在若干实施例中，所接收视频数据帧包含了使用单个色彩通道中的亮度值表示的单色图像数据。在若干实施例中，图像数据表示可见光。在其它实施例中，图像数据表示非可见(或不可见)光谱部分中的光强度，所述部分包含(但不限于)光谱的红外、近红外和紫外部分。在某些实施例中，可以基于从其它源导出的电信号生成图像数据，所述电信号包含(但不限于)超声波信号。在若干实施例中，使用由联合活动图像专家组指定的动画JPEG视频格式(ISO/IECJTC1/SC29/WG10)压缩所接收视频数据帧。在数个实施例中，使用基于块的视频编码方案来编码视频数据帧，所述方案例如(但不限于)由ITU-T视频译码专家组(VCEG)连同ISO/IECJTC1动画专家组联合开发的H.264/MPEG-4第10部分(高级视频译码)标准。在某些实施例中，图像处理***接收原始图像数据。
在本发明的一些实施例中，深度感知相机***包含了允许***耦合到例如计算机的主机硬件装置的接口40。接口40可以是例如USB 2.0或USB 3.0连接。
本发明的一些实施例包含主动式照射投影器18，其被配置成发射在可由一个或多个相机检测到的光谱中的光。举例来说，在包含一个或多个不可见光相机(例如，两个红外相机CAM1和CAM2)的本发明的实施例中，主动式照射投影器可以被配置成发射红外光的纹理化图案。在一些实施例中，主动式照射投影器18可以定位于相机之间(例如，与之共线)，而所述相机被配置成检测由所述投影器发射的对应于所述光谱的光。举例来说，在主动式照射投影器被配置成发射红外光的实施例中，投影器可以定位于两个红外相机之间。可以使用例如发光二极管(LED)或激光的光源实施主动式照射投影器18，且光源可以耦合到被配置成生成图案的光学***。此类***的实例描述于，例如，都在2015年6月18日在美国专利商标局中提交的序列号为14/743,738的美国专利申请案《用于减少深度相机中的Z厚度和零阶效应的***和方法》、和序列号为14/743,742的美国专利申请案《3D深度传感器和投影***以及其操作方法》，所述两申请案的整个公开内容以引用的方式并入本文中。
在各种实施例中，相机可包含标准数字图像传感器，例如互补金属氧化物半导体(CMOS)或电荷耦合装置(CCD)数字图像传感器。相机中的每一个还通常包含了被配置成将进入光聚焦到个别相机的图像传感器上的光学***，例如一个或多个镜头。在一些实施例中，红外相机和彩色相机的传感器可能大体上类似，但可能仅在滤波器(例如，以拜耳图案布置的例如红色、绿色和蓝色滤波器的彩色滤波器，或对应于红外范围的带通或低通滤波器)之存在或不存在的方面有所不同。在一些实施例中，红外相机可能具有相比彩色相机像素大小较大的传感器，且在这些实施例中，红外相机可能具有比彩色相机低的分辨率。然而，本发明的实施例不限于此。
在一些实施例中，深度感知三目相机***100包含显示接口26，其被配置成驱动可以集成在图像处理***内和/或在图像处理***外部的显示装置。在数个实施例中，利用由加利福尼亚州森尼维耳市的HDMI授权有限责任公司指定的HDMI高清晰多媒体接口，以与显示装置介接。在其它实施例中，可以利用适于特定应用要求的多种显示接口中的任一个。在与显示器集成的本发明的一些实施例中，相机可以布置在环绕显示器的边框区域中，其中相机中的至少一个相较于其它相机中的至少一个是邻近于显示器之不同边缘而定位(例如，两个相机可以沿着显示器的第一边缘而定位，且第三相机可以沿着与显示器的第一边缘相对且平行的显示器的第二边缘而定位)。
图2B是根据本发明的一个实施例的包含三个相机的深度感知相机***的透视图。在图2B中示出的实施例中，相机CAM1、CAM2和CAM3被布置成面向大体上相同方向且具有重叠的视场。另外，主动式照射组件18面向与相机CAM1、CAM2和CAM3相同的方向，并与CAM1和CAM2共线且定位在其两者之间。外部接口40可以用于将深度感知相机***连接到主机装置。
深度检测和校准
下文将在两个红外相机和一个彩色相机的脉络中描述本发明实施例的方面。然而，本发明的实施例不限于此。举例来说，本发明的实施例可以使用相机的不同组合，例如：两个彩色相机与一个红外相机；三个红外相机；或三个彩色相机。三个相机的布局在本文中将被称作“三目”布局，但本发明的实施例不限于此，且一些实施例可包含超过三个相机。
设计具有多个相机的深度相机***的相机布局的一个因素为：所得***的设计精确度。理论上，相机之间的距离越大，深度演算的精确度越高。如上文所论述，使用一对经过校准的立体相机对3D空间中的点进行深度演算，是通过如下步骤来执行：测量点在一个(第一)相机中的图像、与同一点在另一(第二)相机中的图像之间的所谓的像素视差，且接着应用三角测量方法。对于远处对象(例如，具有较大深度)，视差变为零。随着点接近相机(到具有较小深度的位置)，视差增大。
为实现对场景中的所有相机可见点进行深度演算，确定3D空间中的所成像点在相机之间的对应性。当相机被校准成符合“针孔相机”模型时，相机中的对应点大体上位于相应图像平面中的所谓的共轭(相关)核线(参见图1)上。例如，在图1中，参见用于3D空间中的点p的相机CAM1和相机CAM2的共轭核线。
当相机沿着一条平行于图像传感器的像素行的线布置(例如，图2中的CAM1和CAM2)时，在矫正来自相机的图像之后，图像的核线平行于像素行。这样能将匹配特征搜索简化成逐行搜索(由于存在微小校准误差，以及上方和下方的几个像素)。当相机未以此方式布置时，核线将仍存在，但将未必平行于对应传感器行。举例来说，如果第三相机CAM3定位成不与CAM1和CAM2共线，那么CAM1与CAM3之间的核线以及CAM1与CAM3之间的核线可能会沿着跨越图像的斜线而定位。下文将参考图7和8更详细地论述此情况。
一般来说，在设计能够提供高质量深度数据、同时还能够检测失准的相机布局时，存在至少两个竞争性因素。一个考虑因素为减少或使遮挡达到最小(例如，场景中有部分是至少一个相机可见到的，但对至少一个另一相机是不可见到的)。另一考虑因素为对实践中预计会遇到的广泛范围的失准可能性的检测能力。
通常，当将相机放置成更近时，遮挡减少。图3说明两个相机：CAM1和CAM2之间的遮挡。如图3中所示出，对象302定位于相机(CAM1和CAM2)与背景304之间。从CAM1的视角是不可见到背景304的部分C-D的。如果CAM2定位于位置(a)处，离CAM1距离da，那么背景304的部分A-D被对象302挡住。因而，CAM1可见到部分A-C，但CAM2见不到。另一方面，如果CAM2定位于与CAM1更近的位置(b)处(离CAM1距离db，其中db<da)，那么背景304的较小部分B-D被对象302挡住。结果，遮挡量减少的大小为部分A-B。换句话说，虽然仍存在CAM1可见且CAM2不可见的部分B-C，但部分B-C小于部分A-C。
在识别图像中的对应特征时，遮挡可能是一个问题。举例来说，在部分被遮挡的场景部分中所检测到的特征，将在一个图像中检测到但在另一图像中检测不到，从而不可能确定场景中的特征的深度。作为另一实例，对于彩色相机不能够成像的场景部分，例如场景特征色彩的纹理信息也可能不可获得。
在具有三个或大于三个相机的深度相机***中，相机可能未必共线。当相机共线时，在沿着垂直于由相机形成的线的方向上能消除或使遮挡达到最小。另一方面，随着相机从所述线移位，遮挡将增大。另外，在包含彩色相机的本发明的实施例中，将彩色相机放置成与主控相机(例如，对应于所得深度图像的计算视角的相机)更近也可以减少遮挡效应。
另一方面，将相机中的一个放置成“离轴”能改进***对各种类型的失准情况的检测能力，如下文更详细地论述。失准或校准失败状况会影响深度计算、和色彩信息与深度信息的变形(或融合)计算。具体地说，如果三目布局变得校准失败，那么深度和彩色像素的叠加将不再正确。如果叠加不正确，那么由像素成像的场景的深度是不正确的，或同一场景的色彩可能是不正确的。这种状况在对象之边缘处将变得相当剧烈，甚至几个像素误差也会引起大误差。
图4说明三个相机共线的三目***的旋转失准。图4(a)是三目相机***的正视图。图4(b)是三目相机***在失准之前的俯视图。图4(c)是深度相机***在相机***已变形之后的俯视图。如图4(c)中所示出，旋转变形(例如，上面安装相机的支撑件或框架发生弯曲)已致使CAM1和CAM2相对于相机的原始轴线旋转ψ度并相对于彼此旋转2ψ度。例如温度、压力、冲击的机械原因，或其它相机处理问题之故，会发生此种变形。甚至极小的失准(旋转变形)角度，也会在视差确定中、且因此在深度演算中产生显著误差。另外，在共线三目相机***(例如图2A中的布局)的情况下，难以检测这些误差，如下文更详细地描述。
检测校准失败或失准
图5A是一对相机的针孔模型在矫正之后的示意性说明。下文论述简单地综述经过校准的立体相机***中的核线计算。其更详细地描述于例如哈脱莱和西塞曼的《计算机视觉处理中的多个视图几何布置，第二版本》(剑桥大学出版社(2004))中。
如图5A中所示出，具有焦距f的相机CAM1和CAM2间隔开距离B。相机对包含点p的场景进行成像，所述点定位成沿着z方向离相机一定距离。点p在位置x1处投影到CAM1的图像传感器或图像平面111上，且在位置x2处投影到CAM2的图像传感器或图像平面112上。在一对相机的情况下，可如下找出固有和非固有校准参数：
其中K是指界定了f(焦距)、都以像素测量的cx和cy(镜头中心与图像平面中心之间的偏移)的相机固有参数，R是指相机的旋转(此处为单位矩阵I，因为相机未旋转)，且T是指相机相对于主控相机的平移(此处，第一相机CAM1被视为主控相机，且因此其并不平移，而第二相机CAM2沿着x方向远离CAM1平移距离B)。可以在上文所描述的校准过程期间确定这些校准参数，其中在已知状况下放置经过组装的深度感知相机***。在此情况下，具有经过校准和矫正的立体对的基本矩阵F为：
给出三维空间中的点p：
如下给出点p到两个相机上的投影位置x1和x2：
鉴于基本矩阵F，有可能从对相机1上的点x1的观察计算出CAM2上的核线l12的等式：
这是具有对应于x2的y坐标的垂直移位的水平延行线的等式，其因此处于核线上。
图5B是一对相机的针孔模型在矫正之后且在相机中的一个已经历旋转之后的示意性说明。在下文论述中，在不损失一般性的情况下，将假定相机中的仅一个(例如，第二相机CAM2)的焦平面已经历失准旋转，而基线(例如，相机CAM1与CAM2之间的距离)尚未改变，且一个或多个其它相机(例如，第一相机CAM1)的焦平面的角度尚未改变。另外，假定深度相机***能够基于***失准之前的***校准参数，计算在相机的视场中的点p到***相机上的投影位置(被称为空间中的点p的共轭图像点x)。
本发明实施例的方面涉及用于基于一个或多个匹配图像点(例如，所捕获图像中对应于点p处的特征的共轭图像点x)的分析，确定深度相机***已失去校准(或变得失准或校准失败)的***和方法。一般来说，当所测量图像点远离预计发现其的共轭核线时，可以检测到失准。共轭图像点x的位置有改变、但未离开其预计出现的核线的失准事件，仍可能生成对场景中的对象深度的似乎合理、但并不正确的判定。
如图5B中所示出，CAM2旋转ψ度，且结果，点p在新位置处投影到图像平面或图像传感器112′上，所述位置不同于其在旋转之前的位置x2(如由图像传感器112所示出)。由于x1与之间的视差相比x1与x2之间的正确视差是增大的，此差异将导致深度相机***将点p错误地演算为具有比其实际大的深度(例如，较远)。更正式地说，相机中的一个已经历如下R(ψ)旋转：
且可以表达为：
图5C示意性地分别说明在经历变形前后x1在第一相机CAM1的输出图像中的位置以及x2和在第二相机CAM2的输出图像中的位置。如图5C中所示出，位置x1对应于点p到CAM1的图像传感器111上的投影。CAM1的图像的位置x1是沿着核线132-1，且因此当相机CAM1和相机CAM2处于校准状态时，点p在位置x2处到CAM2的图像传感器112上的投影也在核线506上。
然而，如图5C中所示出，在CAM2已经历变形之后，点p投影到位置上。与x2之间的向量将被称为“误差”e(例如， )，其可以被分解成平行于核线506的分量e∥和与核线506正交(或“偏离核线”)的分量e⊥(例如，e＝e⊥+e∥)。
通常，平行误差e∥大体上不可检测，这是因为点p处的特征在第二图像中的位置x2处的图像通常在沿着对应于第一图像中的位置x1的核线的合理或似乎合理的任何位置处，而偏离核线误差e⊥可较容易检测。
在两相机***中，一些类型的旋转(例如，沿着平行于基线的轴线的相机旋转，或在沿着平行于基线的轴线上具有较大分量的旋转)会引起较大的偏离核线误差e⊥，而所述误差是合乎需要的，因为其可以被容易地检测到并进行报告或纠正。
另一方面，平行或“核线上”误差e∥可能是不可检测的，且如果e⊥足够大而被观察到，那么也可能可检测到失准事件。举例来说，围绕y轴(例如，沿着垂直于核线的方向)的纯旋转可能大体上并不带来沿着垂直于核线的方向的误差e⊥。这些类型的误差是真实存在的，例如在安装板沿着一条线弯曲、而所述线垂直于相机间之基线的脉络中。
如本文中的分析所示出，在两相机***中，如果失准是由于沿着垂直于基线的轴线在两个相机之间旋转相机而造成，那么一般来说，偏离核线误差e⊥比核线上误差e∥小得多(例如，e⊥＜＜e∥)。因此，在此类型的失准事件下，将难以基于共轭图像点对去发现立体***已变得失准。因此，需要的是其失准状况产生可较容易检测的较大e⊥误差的相机***。
因而，本发明的实施例涉及能够检测最常见且多种多样的失准情境的深度相机***，其中深度相机***包含至少三个非共线相机。
图6说明具有三个非共线相机的不同布置的本发明的两个不同实施例，其中相机中的两个间隔开基线距离B。如图6中所示出，在一个实施例中，第三相机CAM3处在位置607处，而所述位置从沿着前两个相机CAM1与CAM2之间的轴线的中点偏移，从而使得三个相机形成等腰三角形，其中等腰三角形的两个相等角度表示为α(且第三角度为180°-2α度)。在本发明的另一实施例中，第三相机CAM3′处在位置606处，而所述位置在相机中的一个(CAM1)的“正上方”，换句话说，CAM1与CAM3′之间的基线B1,3垂直于CAM1与CAM2之间的基线B1,2，从而使得三个相机形成直角三角形，其中CAM3'、CAM2与CAM1之间的角度表示为φ。然而，本发明的实施例不限于这些。举例来说，CAM3可以位于CAM2“正上方”，或可以位于其间的任何位置。举例来说，三个相机CAM1、CAM2和CAM3可以形成不规则三角形。将第三相机放置在位置CAM3的动机为增大校准失败可检测性，且将第三相机放置在位置CAM3'的动机为在牺牲一定失准可检测性的情况下减少CAM1与第三相机之间的遮挡(如图3中所示出)，如下文将解释。
图6中示出的三个相机具有大体上重叠的视场(FOV)或共同视场。举例来说，所有三个相机可以大体上相同的方向定向以对场景进行成像，且三个相机CAM1、CAM2和CAM3的光轴可以大体上平行。
图7说明根据本发明的一个实施例的三目相机***，而相机中的一个失准的。图7大体上类似于图1，且因而，本文中将不再重复对相同部分的描述。参考图7，CAM1示出为已经历失准，其中相机中心121已移位到新位置121′且图像平面111(以虚线示出)已旋转到新位置111′(以实线示出)。结果，点p现在投影到位置上。失准也已将共轭核线131-3的位置移位到131-3′且将共轭核线133-1移位到133-1′。虽然失准对共轭核线132-1几乎不具有影响，但由失准所引起的核线133-1到133-1′的移位或误差702较大且可检测，如将在下文更详细地论述。
根据本发明的实施例的具有至少三个相机的深度相机***提供若干优势，例如通过从来自***中的所有相机对(例如，三目***中的三对相机CAM1-CAM2、CAM1-CAM3和CAM2-CAM3)的视差进行推理而计算深度的能力，以及将彩色相机添加到灰度或红外立体对的可能性，借此将色彩信息提供到重建构的三维场景。
在包含三个相机的本发明的一个实施例中，相机中的两个用于计算场景中的各种点的视差(且借此计算深度)，而第三相机用于捕获色彩信息。三对相机中的每一个界定了用多个共轭核线表示的核线几何布置。更详细地说，图像平面111、112和113中的每一个的每一位置或像素可以投影到其它图像平面的对应共轭核线上。举例来说，如图1和7中所示出，第一图像平面111的位置x1处的位置或像素可以投影到第二图像平面112的核线132-1上(对于相机对CAM1-CAM2)，且也可以投影到第三图像平面113的共轭核线133-1上(对于相机对CAM1-CAM3)。类似地，第二图像平面112的位置x2可以投影到第一图像平面111的核线131-2上，且也可以投影到第三图像平面113的共轭核线上。同样地，第三图像平面113的位置x3可以投影到第一图像平面111的核线131-3上，且也可以投影到第二图像平面112的共轭核线上。
图8是说明包含CAM1、CAM2和CAM3的根据本发明的一个实施例的三个相机***的平面示意图。对场景中的点p进行成像，且分别在x1、x2和x3处将其被投影到CAM1、CAM2和CAM3的图像平面上。位置对的差(例如，x1-x2或x1-x3或x2-x3)对应于视差。如果第二相机CAM2经历失准(例如，旋转)而***的其余部分保持相同，那么场景的同一点p现在投影到位置上。如上文关于图5C所论述，与x2之间的距离被称为误差e。
上文关于图5C的论述提到误差e可以表示为两个分量：平行于核线132-1(第一相机CAM1与第二相机CAM2之间)的核线上分量e∥，和与核线132-1垂直或正交的偏离核线分量e⊥，使得e＝e∥+e⊥。
在图5C中，仅考虑两个相机CAM1和CAM2，且误差的偏离核线分量e⊥小于误差的核线上分量e∥(例如，因为CAM2的定向改变是由沿着垂直于核线132-1的轴线的旋转主导)。在一些情形下，误差的偏离核线分量e⊥可能未足够大而可被检测到。
然而，在添加第三相机CAM3的图8布置的情况下情况已发生改变。在相比于CAM1与CAM2之间的核线132-1时，第一误差e1保持相同，其中且可能仍相对较小。(此处的运算符+为向量相加。)然而，在此情形中，CAM3与CAM2之间的核线132-3也可以用于确定第二误差e2(即，e上标2，而非e的2次方)的量值，其中(此处的运算符+为向量相加。)如图8中所见，明显大于且因此可能足够大以允许检测第二相机CAM2的失准，然而可能过小而不能被检测到。偏离核线误差的此量值差异是因为第三相机CAM3与其它两个相机CAM1和CAM2非共线而产生，所述非共线导致其与两个相机的核线(例如核线132-3)与其它两个相机之间的核线(例如，CAM1与CAM2之间的核线132-1)不平行(或具有正交分量)。
因而，在深度感知相机***的至少三个相机具有适当布局的情况下，对于***中的相机对中的至少一个，由于相机旋转的失准事件会带来显而易见的偏离核线误差。这是因为偏极核线误差的量取决于变得失准的相机的旋转轴线方向。当此轴线与一对相机的基线正交且平行于所述对中的第一相机的焦平面时，应预计所述对相机的偏离核线误差e⊥较小。然而，几何布置示出不可能同时在所有相机对中发生此情况，且因此至少一对相机将具有显而易见的偏离核线误差e⊥。
因此，本发明的实施例甚至允许在双目相机***可能尚未发现失准事件时检测到失准事件。在三目相机***的情况下，三个相机呈等边三角形的布局使下述者达到最大：跨越相机对的偏离核线误差的量值，除以核线上误差的量值的总和。
图9A和9B是说明随一个相机绕y轴失准或旋转的角度ψ而变的视差误差分析结果的曲线图(在图中被称为视差误差)。具体地说，图9A和9B说明实际视差误差，换句话说，在***尚未经历失准时的预计特征位置x与失准之后的实际检测位置x^之间的沿着核线方向的像素距离。
图9A和9B还说明在多个情境中分析核线误差(例如，e⊥)的上述模型的结果。具体地说，示出两相机***的所检测核线误差(在图9A和9B中被称为“核线误差2视图”)，其中两个相机之间的基线沿着x轴延伸，x轴垂直于相机中的一个旋转所绕的y轴。图9A和9B中还示出一种三个相机***的所检测核线误差，所述相机***布置成有一个相机在基线相机中的一个相机的正上方(例如，布置为如图6中所示出的直角三角形，且第三相机CAM3'在位置606处，在图9A和9B中被称为“核线误差3视图顶部主控”)；且还示出一种三个相机***的所检测核线误差，所述相机***布置成有一个相机在其它两个相机之间的中点上方(例如，布置为如图6中所示出的等腰三角形，其中第三相机CAM3在位置607处，在图9A和9B中被称为“核线误差3视图中间”)。
图9A示出模型***的分析结果，其中相机中的两个(例如，CAM1和CAM2，其在所述模型中假定为红外相机)之间的基线为50.0mm，基线与位置607处的第三相机(例如，CAM3，其在所述模型中假定为彩色相机)之间的距离为43.3mm。曲线图的横轴表示从属相机(例如，CAM2)绕y轴(例如，垂直于基线且平行于基线与第三相机CAM3之间的线的轴线)旋转的角度，且纵轴表示像素误差。曲线图包含由实线表示的视差误差，其为沿着在预计特征位置x与失准之后的实际特征位置x^之间的核线(例如，|x-x^|)的投影距离，和由各种虚线表示的针对不同布置的核线误差，其中核线误差为垂直于预计特征位置x与失准之后的实际特征位置x^之间的核线(例如，|x-x^|)的距离的投影。所述模型假定覆盖相机视场的距离范围在500.0到5000.0mm内的3D点云。“彩色分辨率因数”(图9中的“colorHDfact”)是指彩色相机CAM3的垂直分辨率相对于红外相机CAM1和CAM2的垂直分辨率的比，其在所述模型中假定为1.0(例如，三个相机CAM1、CAM2和CAM3具有相同分辨率)。如预计的，当从属相机或第二相机CAM2未旋转(处于零度)时，不存在视差误差(例如，零个像素)。视差误差随着失准角度增大而增大——在这些特定状况下，视差误差随着失准角度线性地增大，且如图2中所示出，在两度或负两度失准的情况下预计具有大于二十五个像素的误差。应了解，两度的失准为相机***几何布置的显著变形，这是由于典型的相机可能具有在30度到60度范围内的视场，因此2度改变可能改变1/30到1/15的视场内容。
然而，在例如仅具有第一相机CAM1和第二相机CAM2的两相机布置中，即使从属相机CAM2旋转多达两度，借此带来大于二十五个像素的实际视差误差，但偏离核线误差e⊥可能仍极小，如由曲线“核线误差2视图”所示出，其在两度失准下仅增大到一个像素。换句话说，对于由于绕y轴旋转小于两度的相机失准，可能难以在搜索对应特征时检测到误差，这是因为失准可能使特征在偏离核线方向上移位小于一个像素，即使特征已沿着核线上方向移位大于二十五个像素仍如此。
在添加与其它相机非共线的第三相机CAM3的情况下，根据本发明的一些实施例，能显著改变此情况。如图9A中所见，当第三相机放置成离延伸于其它两个相机之间的基线有43.3mm且在主控相机(例如，CAM1)正上方时，由于第三相机CAM3与从属或第二相机CAM2之间的偏离核线误差e⊥，可检测到CAM2的旋转，如标记为“核线误差3视图顶部主控”的曲线中所示出。举例来说，从属或第二相机CAM2绕y轴旋转0.5度会引起约四个像素的偏离核线误差，***可以检测到所述误差。相比之下，在两相机***中，0.5度的旋转将引起小于一个像素的偏离核线误差，这不大可能被检测到。
在一些实施例中，第三相机CAM3定位于其它相机之间的基线的中点上方。在这些实施例中，对于给定失准角度，核线误差的大小增大，如由标记为“核线误差3视图中间”的曲线示出。然而，本发明的实施例不限于此。
图9B大体上类似于图9A，但将相机中的两个之间的基线尺度从50.0mm改变为70.0mm。另外，在图9B中示出的分析中，基线与第三相机之间的垂直距离增大为60.62mm。如图9B中所见，视差误差、“核线误差2视图”、“核线误差3视图顶部主控”和“核线误差3视图中间”的曲线大体上与图9A相同，其中对于小于约两度的失准事件，两相机布置中的偏离核线误差可能小于一个像素，且其中非共线的第三相机可能会显著增大偏离核线误差的大小。
图9A和图9B中呈现的数据显示出，所述分析方法可适用于容纳在之前提到的不同装置中的广泛范围的多相机***的空间布局。
失准检测方法
图10是根据本发明的一个实施例的用于检测包含至少三个非共线相机的深度相机***中的失准事件的方法的流程图。参考图10，用于检测深度相机***的失准的方法1000包含：大体上同时(例如，同步地)在第一相机所捕获的第一图像中检测特征(例如，在三个相机可查看的场景中的点p处的特征)(操作1010)，在第二相机所捕获的第二图像中检测特征(操作1020)，且在第三相机所捕获的第三图像中检测特征(操作1030)。参考图8，点p处的特征可能分别在位置x1、x2和x3处出现。
在操作1040中，基于校准参数和特征在第一图像中的位置来识别第二图像中的第一共轭核线(例如，如图8中所示出，基于第一相机CAM1的图像平面111中的位置x1来识别第一共轭核线132-1)。在操作1050中，基于校准参数和特征在第三图像中的位置来识别第二图像中的第二共轭核线(例如，如图8中所示出，基于第三相机CAM3的图像平面113中的位置x3来识别第二共轭核线132-3)。识别共轭核线可包含(例如)基于另一图像的所检测特征点和校准参数来演算线位置，其中参数是在校准过程期间测量所得。
在操作1060中，演算出特征在第二图像中的检测位置(例如，图8中的)与第一共轭核线(例如，图8中的核线132-1)之间的第一差(例如，此差可能对应于图8中示出的偏离核线误差)。类似地，在操作1070中，演算出特征在第二图像中的检测位置(同样为图8中的)与第二共轭核线(例如，图8中的核线132-3)之间的第二差(例如，此差可能对应于图8中示出的偏离核线误差)。
在操作1080中，将第一差相比于阈值且将第二差相比于阈值。第一差和第二差的阈值可能相同或不同。如果差中的至少一个大于阈值，那么在操作1090中深度相机***100检测到相机已变得失准。然而，如果两差都低于阈值(例如，为零)，那么在操作1092中深度相机***100检测到***仍是校准的。
此类阈值是以像素为单位，且可以根据相机分辨率、特征检测和匹配操作中的预计噪声和可能检测到的校准误差量进行设定。
在本发明的其它实施例中，可以基于特征在图像中的预计位置来检测失准。举例来说，在于操作1040和1050中识别第一共轭核线和第二共轭核线之后，可以基于第一共轭核线与第二共轭核线的相交点的位置，演算出特征的预计位置x2。接着，可以演算出预计位置x2与检测位置之间的差，且***可在确定此差超出阈值时，从而确定相机已变得失准。
因此，本发明的实施例能够检测包含三个非共线相机的深度相机***的失准。
深度相机***中的相机空间布局
在本发明的实施例中，相对于一对深度感测相机(由CAM1和CAM2表示)的轴线处于偏移位置的第三彩色相机(例如，由CAM3表示)允许大体上同时捕获场景的融合色彩和深度信息，同时还能在相机中的任一个相对于***的其余部分(例如，相对于其它两个相机)变得校准失败时进行检测。
如在上文关于图6的论述中所见，存在广泛范围的三个相机空间配置。举例来说，在第三相机CAM3定位于第一相机CAM1与第二相机CAM2之间的基线的中点上方的位置607处的第一配置中，第三相机CAM3与第一或第二相机之间的线、和基线两者之间的角度可以被表示为α。在另一配置中，第三相机CAM3可以定位于位置606处，其中第三相机定位于其它相机中的一个正上方，从而使得第三相机与第一相机之间的线垂直于第一相机与第二相机之间的基线，且第二相机与第三相机之间的线形成角度φ。
分析示出当三个相机彼此等距(例如，呈等边三角形)时，跨越相机对的偏离核线误差的量值，除以核线上误差的量值的总和，达到最大。
另一方面，如上文所论述，当相机放置成更近时，遮挡减少。
因而，在决定***的非共线相机布置时，可以既考虑失准检测能力又考虑遮挡减少。基于给定的每一优化因数而指派的不同权重，在遮挡与失准可检测性(和/或具有最高可能共同视场)之间进行权衡，可以产生多种相机放置。另外，本发明的实施例也包含良好但非最佳的布置，例如提供最佳解决方案的90％或95％益处的解决方案，而所述解决方案是基于例如在相机之间放置显示装置的其它设计约束。
参考图6，相机中的两个彼此间隔开基线距离B。在一个实施例中，这两个相机为红外相机且用于执行深度演算。因而，基线为管理随目标到相机的距离而变的深度数据精确度的因素中的一个。具体地说，通过下式给出深度精确度：
其中Δz为深度估计的精确度或统计误差，z为到目标的距离，f为两个相机的焦距，且B为两个相机之间的基线或距离。在图9A和9B的模型化***中，基线分别为50mm和70mm，但本发明的实施例不限于此。
如果由基线B1,2分离的呈已矫正立体对的两个相机CAM1和CAM2，在前景中观察到距离ZF处的对象，而所述对象抵靠着距离ZB处的背景(例如，墙壁)，那么每一相机处的图像包含被遮挡背景像素(即，为在一个相机中看到但在另一相机中看不到的来自背景的点投影的像素)的区域。每一图像中的被遮挡(参见图3)区域的面积为函数g(ZF,ZB,f)乘以基线B1,2，所述函数随前景对象的距离ZF和背景距离ZB，以及焦距f而变(为便利起见，假定两个相机为相同焦距f)。
类似地，在三目***中，存在着相对于具有焦距f的第三相机CAM3所演算的遮挡。举例来说，在考虑第三相机CAM3与第一相机CAM1所捕获的图像之间的遮挡时，在图像上所测量的遮挡量将等于同一函数g(ZF,ZB,f)乘以新基线B1,3(例如，第一相机CAM1与第三相机CAM3之间的距离)。因此，这两个遮挡面积(CAM1与CAM2之间的遮挡和CAM1与CAM3之间的遮挡)之间的比率等于B1,3/B1,2，因为函数g相同。
在本发明的一个实施例中，第一相机CAM1与第二相机CAM2由基线距离B1,2分离，而所述距离可以基于数个考虑因素来选择，例如将容纳相机***的物理装置(例如移动电话、平板电脑或笔记本电脑)的大小。另一方面，可以选择对第三相机CAM3(例如，彩色相机)的放置，以调整上文遮挡比率B1,3/B1,2中的参数B1,3。
图11A、11B、11C和11D是说明根据本发明的实施例的包含至少三个相机的深度相机***中的遮挡分析和核线误差检测结果的曲线图。深度相机***的相机中的两个是沿着处于固定距离的基线来布置。第三相机与基线间隔开，且曲线图的横轴为第三相机离基线的距离。曲线图的纵轴表示性能度量，在曲线图上被称为“比率”。
在一个实施例中，核线检测性能度量为各自除以核线上误差的量值的所有偏离核线误差的量值的总和(参见标记为“所检测核线误差”的曲线)，且遮挡性能度量为比率B1,3/B1,2(参见标记为“垂直/水平遮挡”的曲线)。因而，在一个实施例中，考虑偏离核线误差检测和遮挡的性能度量，为这些性能度量之间的差，如图11A和11B中标记为“检测误差-遮挡”的曲线中所示出。
图11A是说明对具有三个相机的深度相机***的分析的曲线图，其中相机中的两个沿着长度为50mm的基线布置。如图11A中所示出且如上文所论述，当三个相机布置成等边三角形时，例如当第三相机离基线约43.3mm的距离时，“所检测核线误差”线具有峰值。当第三相机与其它相机之间的距离达到最小时(换句话说，当三个相机共线时)，遮挡度量“垂直/水平遮挡”达到最小，但这也不当地导致“所检测核线误差”度量达到最小。因而，图11中也示出两个性能度量之间的差，所述差示出为“检测误差-遮挡”。此曲线在约17.9mm下具有峰值，所述距离对应于约35.6度的角度α(如图6中所示出)。
图11B是说明对具有三个相机的深度相机***的分析的曲线图，其中相机中的两个沿着长度为70mm的基线布置。图11B大体上类似于图11A，且虽然由于较大基线而按比例调整距离(例如，通过几何布置，“所检测核线误差”的峰值在约60.6mm处且“检测误差-遮挡”的峰值在约25.1mm处)，但对于可说明偏离核线检测的增大或最大化、和遮挡的减小或最小化两者的性能度量(“检测误差-遮挡”)而言，对应于所述性能度量的峰值的角度α仍在约35.6度处具有峰值。
虽然约35.6度的角度α对于根据本发明的实施例的相机***的一些布置是最佳的，但本发明的实施例不限于此，且还涵盖“检测误差-遮挡”度量在良好性能范围(例如，大于约35.6度处的峰值的75％)内的角度α范围。对于所述百分位数，可以如下估计角度α和垂直基线的范围：在75％下，α在约19.8到约48.9度的范围内且垂直基线在9.0到28.7mm的范围内；在80％下，α在约21.6到约47.6度的范围内且垂直基线在9.9到27.4mm的范围内；在85％下，α在约23.7到约46.1度的范围内且垂直基线在11.0到26.0mm的范围内；在90％下，α对应地在约26到约44.3度的范围内且垂直基线在12.2到24.4mm的范围内；在95％下，α对应地在28.9到41.9度的范围内且垂直基线在13.8到22.4mm的范围内。图11A中示出的90％和95％水平线是出于说明目的且并不按比例。
虽然已关于某些示范性实施例来描述本发明，但应理解，本发明不限于所公开的实施例，而相反地，本发明旨在涵盖包含于所附权利要求的精神和范围内的各种修改和等效布置以及其等效内容。
举例来说，虽然上文关于深度感知三目(或三个相机)***描述本发明的一些实施例，但本发明的实施例不限于此且可以应用到具有四个或大于四个相机的深度感知***。演算相机布置的过程可以基于***中的所有相机当中的遮挡和失准成本的加权平均。
图11C和11D是说明对具有三个相机的根据本发明的一个实施例的深度相机***的分析的曲线图，其中相机中的两个沿着长度为50mm的基线布置，且其中相机中的一个具有高于其它两个相机的分辨率。在上文论述中，为方便起见，假定相机具有相同分辨率。然而，在实践中，彩色相机通常具有比红外相机(例如，用于深度演算的相机)高得多的分辨率(例如，在几百万像素的范围内)。图11C和11D说明本文中呈现的方法也适用于相机具有不同分辨率和大体上相同的视场的三目***。具体来说，在图11C和11D中，假定第三相机(例如，CAM3)具有2.0的分辨率因数(在一些实施例中，也在本文中称为‘彩色分辨率因数’)，这指示相机在垂直和水平尺寸上都具有两倍分辨率，且因此总共为其它基线相机(例如，CAM1和CAM2)的分辨率的2×2＝4倍。举例来说，如果CAM1和CAM2都具有640像素乘480像素的分辨率且CAM3具有1280乘960像素的分辨率，那么分辨率因数为2.0(例如，1280像素/640像素＝2.0且960像素/480像素＝2.0)。虽然术语“彩色分辨率因数”在本文中用以暗示彩色相机具有高于其它相机(例如，非彩色相机)的分辨率，但本发明的实施例不限于此，且具有更高分辨率的相机无需为彩色相机且不需要捕获不同于较低分辨率相机的光谱部分。举例来说，所有三个相机可以是彩色或可见光相机，所有三个相机可以是红外相机或其各种组合，且这些相机中的任一个可以具有高于其它相机的分辨率。
因此，图11C类似于具有相同50mm基线的图11A，但具有不同的第三相机分辨率。图11D比较“彩色分辨率因数”＝1.0的第三相机的情况(与图11A相同，且说明文字为“彩色分辨率因数＝1.0”)与“彩色分辨率因数”＝2.0的第三相机的情况(与图11C相同，且说明文字为“彩色分辨率因数＝2.0”)的核线误差，所述误差随第三相机相对于其它两个相机之间的基线或轴线的垂直位置(以mm为单位)而变(如沿着图11D的x轴所示出)。在此实施例中，在2.0的彩色分辨率因数的情况下，更高分辨率第三相机(例如，CAM3)使得第三相机能够从17.9mm到9.9mm地更近于其它两个相机(例如，CAM1和CAM2)的基线轴线，同时能维持与图11A的实施例相同的误差可检测性(具有1.0的彩色分辨率因数)。通过从‘彩色分辨率因数’1.0曲线的最佳垂直位置17.9mm(由图11D中标记为“最佳垂直位置，彩色分辨率因数＝1.0，17.9[mm]”的虚线垂直线所示出)，描摹水平线到彩色分辨率因数2.0曲线，以找到彩色分辨率因数2.0曲线的具有相同性能的对应部分，并识别出此相交点对应于9.9mm的垂直位置(如由图11D中标记为“等效垂直位置，彩色分辨率因数＝2.0，9.9[mm]”的虚线所示出)而在图形中示出此情况，其中形成于垂直基线与水平基线之间的角度为21.6度。如图3中所说明，通过减少两个相机之间的基线距离，不当的遮挡效应也减少。因此，关于图11D描述的实施例在减少遮挡效应的情况下，维持与彩色分辨率因数为1.0的实施例相同的误差检测能力。图11C还说明其中“检测误差-遮挡”度量在约38.6度处的峰值的75％内的角度α范围的本发明的一个实施例。对于所述百分位数，角度α在约21.4度到约53.4度的范围内且垂直基线(鉴于50.0mm的水平基线)在约9.8mm到约33.7mm的范围内。可以针对其它实施例演算类似范围。在“检测误差-遮挡”度量在峰值的所述值的80％内的一个实施例中，角度α的范围在约23.4度到约51.9度的范围内(例如，垂直基线在约10.8到约31.9mm的范围内)。在“检测误差-遮挡”度量在峰值的所述值的85％内的一个实施例中，角度α的范围在约25.5度到约50.3度的范围内(例如，垂直基线在约11.9到约30.1mm的范围内)。在“检测误差-遮挡”度量在峰值的所述值的90％内的一个实施例中，角度α的范围在约28.0度到约48.2度的范围内(例如，垂直基线在约13.3到约28.0mm的范围内)。在“检测误差-遮挡”度量在峰值的所述值的95％内的一个实施例中，角度α的范围在约31.3度到约45.5度的范围内(例如，垂直基线在约15.2到约25.4mm的范围内)。
图11A、11B、11C和11D描绘本发明的一些示范性实施例。举例来说，图11A描绘对具有1.0的彩色分辨率因数的***的分析，且图11C描绘对具有2.0的彩色分辨率因数的***的分析，但本发明的实施例不限于此，且本发明的实施例也涵盖具有不同彩色分辨率因数的***。在分析上，为了校准失败可检测性和减少遮挡，在本发明的垂直与水平基线之间的最佳角度α可以表达为：
其中r是分辨率因数，且argmaxα{expression}为找到使表达式达到最大的α值的已知函数。另外，如上文所论述，可以演算出性能接近于最佳的围绕最佳角度αoptimal的角度α范围(例如，提供最佳角度αoptimal处的性能的至少75％、至少90％，或至少95％的角度范围)。

Claims (20)

1.一种用于检测深度相机***的失准的方法，所述深度相机***包括第一相机、第二相机和第三相机，所述第一、第二和第三相机在一方向上具有大体上重叠的视场，所述方法包括：
在所述第一相机所捕获的第一图像中检测特征；
在所述第二相机所捕获的第二图像中检测所述特征；
在所述第三相机所捕获的第三图像中检测所述特征，所述第三相机与所述第一和第二相机非共线；
根据所述特征在所述第一图像中的检测位置和多个校准参数，识别所述第二图像中的第一共轭核线；
根据所述特征在所述第三图像中的检测位置和所述多个校准参数，识别所述第二图像中的第二共轭核线；
演算所述特征在所述第二图像中的检测位置与所述第一和第二共轭核线之间的差；以及
响应于所述差超出阈值而输出所述深度相机***失准的指示。
2.根据权利要求1所述的方法，其中所述差包括第一差和第二差，且
其中演算所述差之步骤包括：
演算所述特征在所述第二图像中的所述检测位置与所述第一共轭核线之间的第一差；以及
演算所述特征在所述第二图像中的所述检测位置与所述第二共轭核线之间的第二差。
3.根据权利要求1所述的方法，其进一步包括了演算所述第一共轭核线与所述第二共轭核线的相交点的位置，且
其中演算所述差之步骤包括了演算所述特征在所述第二图像中的所述检测位置与所述相交点的所述位置之间的距离。
4.根据权利要求1所述的方法，其中所述第一相机和所述第二相机被配置成捕获不可见光，且
其中所述第三相机被配置成捕获可见光。
5.根据权利要求4所述的方法，其进一步包括了由定位于所述第一相机与所述第二相机之间的投影装置在所述重叠视场的所述方向上发射不可见光的纹理化图案。
6.一种深度感知相机***，其包括：
第一相机，其被配置成捕获红外图像；
第二相机；
第三相机，其布置成与所述第一和第二相机非共线，所述第一、第二和第三相机在一方向上具有大体上重叠的视场，且所述第二和第三相机中的至少一个被配置成捕获可见光图像，所述第三相机与所述第一和第二相机等距，所述第三相机具有比所述第一相机的分辨率高出分辨率因数r的分辨率；以及
图像信号处理器，其被配置成从所述第一相机、所述第二相机和所述第三相机接收图像，所述图像信号处理器被配置成检测所述第一、第二和第三相机的失准，
其中第一基线在所述第二相机与所述第一相机之间延伸，
其中第二基线在所述第二相机与所述第三相机之间延伸，且
其中形成于所述第一基线与所述第二基线之间的角度α大约为αoptimal，其中
7.根据权利要求6所述的深度感知相机***，其中所述分辨率因数r为1.0，且
其中所述角度α在26.0度到44.3度的范围内。
8.根据权利要求7所述的深度感知相机***，其中所述角度α在28.9度到41.9度的范围内。
9.根据权利要求8所述的深度相机***，其中所述角度α约为35.6度。
10.根据权利要求6所述的深度感知相机***，其中所述分辨率因数r为2.0，且
其中所述角度α在21.4度到53.4度的范围内。
11.根据权利要求6所述的深度感知相机***，其中所述第一相机和所述第二相机被配置成捕获不可见光，且
其中所述第三相机被配置成捕获可见光。
12.根据权利要求6所述的深度感知相机***，其进一步包括了定位于所述第一相机与所述第二相机之间的投影装置，所述投影装置被配置成在所述重叠视场的所述方向上发射不可见光的纹理化图案。
13.根据权利要求6所述的深度感知相机***，其中所述图像信号处理器被配置成通过以下步骤来检测所述第一、第二和第三相机的所述失准：
在所述第一相机所捕获的第一图像中检测特征；
在所述第二相机所捕获的第二图像中检测所述特征；
在所述第三相机所捕获的第三图像中检测所述特征，所述第三相机与所述第一和第二相机非共线；
根据所述特征在所述第一图像中的检测位置和多个校准参数，识别所述第二图像中的第一共轭核线；
根据所述特征在所述第三图像中的检测位置和所述多个校准参数，识别所述第二图像中的第二共轭核线；
演算所述特征在所述第二图像中的检测位置与所述第一和第二共轭核线之间的差；以及
响应于所述差超出阈值而输出所述深度相机***失准的指示。
14.根据权利要求13所述的深度感知相机***，其中所述差包括第一差和第二差，且
其中所述图像信号处理器被配置成通过以下步骤来演算所述差：
演算所述特征在所述第二图像中的所述检测位置与所述第一共轭核线之间的第一差；以及
演算所述特征在所述第二图像中的所述检测位置与所述第二共轭核线之间的第二差。
15.根据权利要求13所述的深度感知相机***，其中所述图像信号处理器被进一步配置成：
演算所述第一共轭核线与所述第二共轭核线的相交点的位置；以及
通过演算所述特征在所述第二图像中的所述检测位置与所述相交点的所述位置之间的距离而演算所述差。
16.一种移动装置，其包括：
显示器；
第一相机，其被配置成捕获红外图像，所述第一相机邻近于所述显示器的第一边缘；
第二相机，其邻近于所述显示器的所述第一边缘；
第三相机，其布置成与所述第一和第二相机非共线且邻近于所述显示器的第二边缘，所述第一、第二和第三相机具有大体上重叠的视场，且所述第二和第三相机中的至少一个被配置成捕获可见光图像，所述第三相机与所述第一和第二相机等距，所述第三相机具有比所述第一相机的分辨率高出分辨率因数r的分辨率；以及
图像信号处理器，其被配置成控制所述显示器并从所述第一相机、所述第二相机和所述第三相机接收图像，所述图像信号处理器被配置成检测所述第一、第二和第三相机的失准，
其中第一基线在所述第二相机与所述第一相机之间延伸，
其中第二基线在所述第二相机与所述第三相机之间延伸，且
其中形成于所述第一基线与所述第二基线之间的角度α大约为αoptimal，其中
17.根据权利要求16所述的移动装置，其中所述分辨率因数r为1.0，且
其中所述角度α在26.0度到44.3度的范围内。
18.根据权利要求17所述的移动装置，其中所述角度α在28.9度到41.9度的范围内。
19.根据权利要求16所述的移动装置，其中所述分辨率因数r为2.0，且
其中所述角度α在21.4度到53.4度的范围内。
20.根据权利要求16所述的移动装置，其中所述图像信号处理器被配置成通过以下步骤来检测所述第一、第二和第三相机的所述失准：
在所述第一相机所捕获的第一图像中检测特征；
在所述第二相机所捕获的第二图像中检测所述特征；
在所述第三相机所捕获的第三图像中检测所述特征，所述第三相机与所述第一和第二相机非共线；
根据所述特征在所述第一图像中的检测位置和多个校准参数，识别所述第二图像中的第一共轭核线；
根据所述特征在所述第三图像中的检测位置和所述多个校准参数，识别所述第二图像中的第二共轭核线；
演算所述特征在所述第二图像中的检测位置与所述第一和第二共轭核线之间的差；以及
响应于所述差超出阈值而输出所述第一、第二和第三相机失准的指示。
CN201680082106.8A 2015-12-22 2016-12-02 深度感知三目相机*** Active CN108780504B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562271212P 2015-12-22 2015-12-22
US62/271,212 2015-12-22
US15/147,879 US9674504B1 (en) 2015-12-22 2016-05-05 Depth perceptive trinocular camera system
US15/147,879 2016-05-05
PCT/US2016/064831 WO2017112393A1 (en) 2015-12-22 2016-12-02 Depth perceptive trinocular camera system

Publications (2)

Publication Number Publication Date
CN108780504A true CN108780504A (zh) 2018-11-09
CN108780504B CN108780504B (zh) 2022-03-29

Family

ID=58776521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680082106.8A Active CN108780504B (zh) 2015-12-22 2016-12-02 深度感知三目相机***

Country Status (6)

Country Link
US (2) US9674504B1 (zh)
EP (1) EP3394832A4 (zh)
JP (1) JP6681470B2 (zh)
CN (1) CN108780504B (zh)
BR (1) BR112018012776A2 (zh)
WO (1) WO2017112393A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109559353A (zh) * 2018-11-30 2019-04-02 Oppo广东移动通信有限公司 摄像模组标定方法、装置、电子设备及计算机可读存储介质
CN109584313A (zh) * 2018-11-30 2019-04-05 Oppo广东移动通信有限公司 摄像头标定方法、装置、计算机设备和存储介质
CN109598763A (zh) * 2018-11-30 2019-04-09 Oppo广东移动通信有限公司 摄像头标定方法、装置、电子设备和计算机可读存储介质
CN110223355A (zh) * 2019-05-15 2019-09-10 大连理工大学 一种基于双重极线约束的特征标志点匹配方法
CN110232715A (zh) * 2019-05-08 2019-09-13 深圳奥比中光科技有限公司 一种多深度相机自校准的方法、装置及***
CN111007939A (zh) * 2019-11-25 2020-04-14 华南理工大学 一种基于深度感知的虚拟现实***空间定位方法
CN112129262A (zh) * 2020-09-01 2020-12-25 珠海市一微半导体有限公司 一种多摄像头组的视觉测距方法及视觉导航芯片
CN112389456A (zh) * 2019-08-15 2021-02-23 大众汽车股份公司 用于检查环境传感器的校准的方法和装置
CN112990129A (zh) * 2021-04-27 2021-06-18 长沙万为机器人有限公司 基于视觉与激光雷达联合的三维物体检测方法及***
CN113129243A (zh) * 2021-03-10 2021-07-16 同济大学 基于红外与可见光图像融合的血管图像增强方法和***
US20220198731A1 (en) * 2020-12-23 2022-06-23 Facebook Technologies, Llc Pixel-aligned volumetric avatars
CN115134514A (zh) * 2021-03-29 2022-09-30 北京小米移动软件有限公司 图像采集方法、装置以及存储介质
CN116295278A (zh) * 2022-12-09 2023-06-23 中国科学院上海技术物理研究所 一种动态双目视觉相机基线的三维视觉测量***

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101729164B1 (ko) * 2015-09-03 2017-04-24 주식회사 쓰리디지뷰아시아 멀티 구 교정장치를 이용한 멀티 카메라 시스템의 이미지 보정 방법
KR101729165B1 (ko) 2015-09-03 2017-04-21 주식회사 쓰리디지뷰아시아 타임 슬라이스 영상용 오차교정 유닛
US10008028B2 (en) 2015-12-16 2018-06-26 Aquifi, Inc. 3D scanning apparatus including scanning sensor detachable from screen
TWI584634B (zh) * 2016-03-08 2017-05-21 聚晶半導體股份有限公司 適於產生深度圖的電子裝置與方法
US10645277B1 (en) * 2016-03-17 2020-05-05 Herman Herman Method and apparatus for a computer vision camera unit
US10484666B1 (en) 2016-03-17 2019-11-19 Herman Herman Method and apparatus for a computer vision camera unit
US11009894B2 (en) * 2016-03-28 2021-05-18 Nec Corporation Unmanned flying device control system, unmanned flying device control method, and inspection device
US11060853B2 (en) * 2016-09-14 2021-07-13 Scantech (Hangzhou) Co., Ltd. Three-dimensional sensor system and three-dimensional data acquisition method
CN106403845B (zh) * 2016-09-14 2017-10-03 杭州思看科技有限公司 三维传感器***及三维数据获取方法
US10430994B1 (en) * 2016-11-07 2019-10-01 Henry Harlyn Baker Techniques for determining a three-dimensional textured representation of a surface of an object from a set of images with varying formats
CN206698308U (zh) * 2016-11-08 2017-12-01 聚晶半导体股份有限公司 摄像模块和摄像装置
EP3566193A4 (en) 2017-01-04 2020-08-26 Aquifi, Inc. SYSTEMS AND METHODS FOR SHAPE-BASED OBJECT RECOVERY
US11025887B2 (en) * 2017-02-27 2021-06-01 Sony Corporation Field calibration of stereo cameras with a projector
US11379688B2 (en) 2017-03-16 2022-07-05 Packsize Llc Systems and methods for keypoint detection with convolutional neural networks
TWI672938B (zh) * 2017-03-31 2019-09-21 鈺立微電子股份有限公司 可校正遮蔽區的深度圖產生裝置
KR102328539B1 (ko) * 2017-07-27 2021-11-18 삼성전자 주식회사 복수의 카메라를 이용하여 영상을 획득하기 위한 전자 장치 및 이를 이용한 영상 처리 방법
CN107277380B (zh) * 2017-08-16 2020-10-30 成都极米科技股份有限公司 一种变焦方法及装置
JP6951917B2 (ja) * 2017-09-15 2021-10-20 株式会社ソニー・インタラクティブエンタテインメント 撮像装置
WO2019075276A1 (en) 2017-10-11 2019-04-18 Aquifi, Inc. SYSTEMS AND METHODS FOR IDENTIFYING OBJECT
US10949700B2 (en) * 2018-01-10 2021-03-16 Qualcomm Incorporated Depth based image searching
CN110099226B (zh) * 2018-01-31 2024-04-09 宁波舜宇光电信息有限公司 阵列摄像模组及其深度信息采集方法和电子设备
US10902680B2 (en) * 2018-04-03 2021-01-26 Saeed Eslami Augmented reality application system and method
WO2019225682A1 (ja) * 2018-05-23 2019-11-28 パナソニックＩｐマネジメント株式会社 三次元再構成方法および三次元再構成装置
CN108921772A (zh) * 2018-06-29 2018-11-30 广东星舆科技有限公司 高精度地图采集***和方法
DE102019118457A1 (de) * 2018-07-13 2020-01-16 Sony Semiconductor Solutions Corporation Tof-(time-of-flight)-kamera, elektronikeinrichtung und kalibrierungsverfahren
US11044418B2 (en) * 2018-07-24 2021-06-22 Black Sesame International Holding Limited Three camera alignment in mobile devices
JP7240115B2 (ja) * 2018-08-31 2023-03-15 キヤノン株式会社 情報処理装置及びその方法及びコンピュータプログラム
US11589031B2 (en) * 2018-09-26 2023-02-21 Google Llc Active stereo depth prediction based on coarse matching
US11146763B1 (en) * 2018-10-31 2021-10-12 Snap Inc. Artistic and other photo filter light field effects for images and videos utilizing image disparity
US11233954B1 (en) * 2019-01-24 2022-01-25 Rockwell Collins, Inc. Stereo infrared imaging for head mounted devices
JP2020190438A (ja) * 2019-05-20 2020-11-26 株式会社リコー 計測装置および計測システム
US11629835B2 (en) * 2019-07-31 2023-04-18 Toyota Jidosha Kabushiki Kaisha Auto-calibration of vehicle sensors
CN110830781B (zh) * 2019-10-30 2021-03-23 歌尔科技有限公司 一种基于双目视觉的投影图像自动校正方法及***
EP3855397B1 (en) * 2020-01-24 2021-12-29 Axis AB Imaging system
CA3166558C (en) * 2020-03-26 2023-08-01 Marc Viala Method and system for maintaining accuracy of a photogrammetry system
JP7397734B2 (ja) 2020-03-30 2023-12-13 ミネベアミツミ株式会社 測距システム、測距方法及び測距プログラム
CN112639864B (zh) * 2020-05-19 2022-05-27 华为技术有限公司 用于测距的方法和装置
US20230076534A1 (en) * 2020-05-27 2023-03-09 BeijingXiaomi Mobile Software Co., Ltd., Nanjing Branch Image processing method and device, camera component, electronic device and storage medium
CN113012238B (zh) * 2021-04-09 2024-04-16 南京星顿医疗科技有限公司 一种多深度相机快速标定与数据融合的方法
CN116503570B (zh) * 2023-06-29 2023-11-24 聚时科技(深圳)有限公司 图像的三维重建方法及相关装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1492668A (zh) * 2002-10-22 2004-04-28 �Ϻ��׿Ƶ���ϵͳ�������ι�˾ 仿生型自动视觉和视线控制***及方法
CN103959090A (zh) * 2011-12-06 2014-07-30 莱卡地球***公开股份有限公司 用于搜索目标的具有位置敏感检测器的激光***
WO2014205277A1 (en) * 2013-06-20 2014-12-24 Trimble Navigation Limited Use of overlap areas to optimize bundle adjustment
CN104272717A (zh) * 2012-02-29 2015-01-07 前视红外***股份公司 用于执行投影图像到检测到的红外线(ir)辐射信息的对准的方法和***
CA2938104A1 (en) * 2014-02-05 2015-08-13 Creaform Inc. Structured light matching of a set of curves from two cameras
US20150341557A1 (en) * 2013-02-04 2015-11-26 Valorisation-Recherche, Limited Partneship Omnistereo imaging

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4654872A (en) * 1983-07-25 1987-03-31 Omron Tateisi Electronics Co. System for recognizing three-dimensional objects
JP2941412B2 (ja) * 1990-11-26 1999-08-25 株式会社東芝 ３次元計測方法
GB2372659A (en) * 2001-02-23 2002-08-28 Sharp Kk A method of rectifying a stereoscopic image
US7373270B2 (en) * 2003-03-26 2008-05-13 Sony Corporation Diagnosing device for stereo camera mounted on robot, and diagnostic method of stereo camera mounted on robot apparatus
DE10318500A1 (de) * 2003-04-24 2004-11-25 Robert Bosch Gmbh Vorrichtung und Verfahren zur Kalibrierung eines Bildsensors
JP5011528B2 (ja) * 2006-10-06 2012-08-29 国立大学法人岩手大学 ３次元距離計測センサおよび３次元距離計測方法
US8073196B2 (en) * 2006-10-16 2011-12-06 University Of Southern California Detection and tracking of moving objects from a moving platform in presence of strong parallax
US8326020B2 (en) * 2007-02-28 2012-12-04 Sungkyunkwan University Foundation Structural light based depth imaging method and system using signal separation coding, and error correction thereof
JP4442661B2 (ja) * 2007-08-29 2010-03-31 オムロン株式会社 ３次元計測方法および３次元計測装置
US8259998B2 (en) * 2008-09-30 2012-09-04 Mazda Motor Corporation Image processing device for vehicle
ES2392229B1 (es) * 2010-08-27 2013-10-16 Telefónica, S.A. Método de generación de un modelo de un objeto plano a partir de vistas del objeto.
WO2012078126A1 (en) * 2010-12-08 2012-06-14 Thomson Licensing System and method for trinocular depth acquisition with triangular sensor
JP2014092461A (ja) * 2012-11-02 2014-05-19 Sony Corp 画像処理装置および方法、画像処理システム、並びにプログラム
DE102012112322B4 (de) * 2012-12-14 2015-11-05 Faro Technologies, Inc. Verfahren zum optischen Abtasten und Vermessen einer Umgebung
US9424650B2 (en) * 2013-06-12 2016-08-23 Disney Enterprises, Inc. Sensor fusion for depth estimation
CN104424662B (zh) * 2013-08-23 2017-07-28 三纬国际立体列印科技股份有限公司 立体扫描装置
US9503708B2 (en) 2014-11-03 2016-11-22 Aquifi, Inc. Systems and methods for reducing z-thickness and zero-order effects in depth cameras

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1492668A (zh) * 2002-10-22 2004-04-28 �Ϻ��׿Ƶ���ϵͳ�������ι�˾ 仿生型自动视觉和视线控制***及方法
CN103959090A (zh) * 2011-12-06 2014-07-30 莱卡地球***公开股份有限公司 用于搜索目标的具有位置敏感检测器的激光***
CN104272717A (zh) * 2012-02-29 2015-01-07 前视红外***股份公司 用于执行投影图像到检测到的红外线(ir)辐射信息的对准的方法和***
US20150341557A1 (en) * 2013-02-04 2015-11-26 Valorisation-Recherche, Limited Partneship Omnistereo imaging
WO2014205277A1 (en) * 2013-06-20 2014-12-24 Trimble Navigation Limited Use of overlap areas to optimize bundle adjustment
CA2938104A1 (en) * 2014-02-05 2015-08-13 Creaform Inc. Structured light matching of a set of curves from two cameras

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598763B (zh) * 2018-11-30 2020-07-21 Oppo广东移动通信有限公司 摄像头标定方法、装置、电子设备和计算机可读存储介质
CN109584313A (zh) * 2018-11-30 2019-04-05 Oppo广东移动通信有限公司 摄像头标定方法、装置、计算机设备和存储介质
CN109598763A (zh) * 2018-11-30 2019-04-09 Oppo广东移动通信有限公司 摄像头标定方法、装置、电子设备和计算机可读存储介质
CN109559353B (zh) * 2018-11-30 2021-02-02 Oppo广东移动通信有限公司 摄像模组标定方法、装置、电子设备及计算机可读存储介质
CN109559353A (zh) * 2018-11-30 2019-04-02 Oppo广东移动通信有限公司 摄像模组标定方法、装置、电子设备及计算机可读存储介质
CN110232715A (zh) * 2019-05-08 2019-09-13 深圳奥比中光科技有限公司 一种多深度相机自校准的方法、装置及***
CN110232715B (zh) * 2019-05-08 2021-11-19 奥比中光科技集团股份有限公司 一种多深度相机自校准的方法、装置及***
CN110223355A (zh) * 2019-05-15 2019-09-10 大连理工大学 一种基于双重极线约束的特征标志点匹配方法
CN112389456A (zh) * 2019-08-15 2021-02-23 大众汽车股份公司 用于检查环境传感器的校准的方法和装置
CN111007939A (zh) * 2019-11-25 2020-04-14 华南理工大学 一种基于深度感知的虚拟现实***空间定位方法
CN111007939B (zh) * 2019-11-25 2021-09-21 华南理工大学 一种基于深度感知的虚拟现实***空间定位方法
CN112129262A (zh) * 2020-09-01 2020-12-25 珠海市一微半导体有限公司 一种多摄像头组的视觉测距方法及视觉导航芯片
US20220198731A1 (en) * 2020-12-23 2022-06-23 Facebook Technologies, Llc Pixel-aligned volumetric avatars
CN113129243A (zh) * 2021-03-10 2021-07-16 同济大学 基于红外与可见光图像融合的血管图像增强方法和***
CN115134514A (zh) * 2021-03-29 2022-09-30 北京小米移动软件有限公司 图像采集方法、装置以及存储介质
CN115134514B (zh) * 2021-03-29 2024-05-14 北京小米移动软件有限公司 图像采集方法、装置以及存储介质
CN112990129A (zh) * 2021-04-27 2021-06-18 长沙万为机器人有限公司 基于视觉与激光雷达联合的三维物体检测方法及***
CN116295278A (zh) * 2022-12-09 2023-06-23 中国科学院上海技术物理研究所 一种动态双目视觉相机基线的三维视觉测量***

Also Published As

Publication number Publication date
JP2019500613A (ja) 2019-01-10
WO2017112393A1 (en) 2017-06-29
US20170180706A1 (en) 2017-06-22
JP6681470B2 (ja) 2020-04-15
EP3394832A4 (en) 2019-08-28
US9674504B1 (en) 2017-06-06
EP3394832A1 (en) 2018-10-31
BR112018012776A2 (pt) 2018-12-04
US9807371B2 (en) 2017-10-31
US20170223340A1 (en) 2017-08-03
CN108780504B (zh) 2022-03-29

Similar Documents

Publication Publication Date Title
CN108780504A (zh) 深度感知三目相机***
US11010911B1 (en) Multi-channel depth estimation using census transforms
RU2769303C2 (ru) Оборудование и способ для формирования представления сцены
CN108307675B (zh) 用于vr/ar应用中的深度增强的多基线相机阵列***架构
US8605987B2 (en) Object-based 3-dimensional stereo information generation apparatus and method, and interactive system using the same
TWI253006B (en) Image processing system, projector, information storage medium, and image processing method
US11300400B2 (en) Three-dimensional measurement device
US20080285843A1 (en) Camera-Projector Duality: Multi-Projector 3D Reconstruction
CN109716750A (zh) 平面数字图像传感器
US11175568B2 (en) Information processing apparatus, information processing method, and program as well as in interchangeable lens
CN114577135A (zh) 基于单镜头的芯片引脚翘曲的3d检测方法及***
CN107644438A (zh) 图像处理装置、相关的深度估计***及深度估计方法
Park et al. 48.2: Light field rendering of multi‐view contents for high density light field 3D display
US11195290B2 (en) Apparatus and method for encoding in structured depth camera system
Schillebeeckx et al. Structured light field design for correspondence free rotation estimation
Goral Sparse 3D reconstruction on a mobile phone with stereo camera for close-range optical tracking
Tehrani A Unified Approach for Consistent Calibration of Spatially Augmented Reality Systems
Goma et al. Introducing the depth transfer curve for 3D capture system characterization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210107

Address after: Utah, USA

Applicant after: PACKSIZE LLC

Address before: Utah, USA

Applicant before: Parkside International Ltd.

Effective date of registration: 20210107

Address after: Utah, USA

Applicant after: Parkside International Ltd.

Address before: california

Applicant before: AQUIFI, Inc.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant