CN105027562B - 用于将数字信息投影到真实环境中的真实对象上的方法和*** - Google Patents
用于将数字信息投影到真实环境中的真实对象上的方法和*** Download PDFInfo
- Publication number
- CN105027562B CN105027562B CN201280078216.9A CN201280078216A CN105027562B CN 105027562 B CN105027562 B CN 105027562B CN 201280078216 A CN201280078216 A CN 201280078216A CN 105027562 B CN105027562 B CN 105027562B
- Authority
- CN
- China
- Prior art keywords
- real object
- camera
- visible light
- depth
- subsystem
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 230000000007 visual effect Effects 0.000 claims description 38
- 230000009466 transformation Effects 0.000 claims description 22
- 230000003287 optical effect Effects 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 9
- 238000013459 approach Methods 0.000 claims description 6
- 238000009434 installation Methods 0.000 claims description 5
- 230000003993 interaction Effects 0.000 claims description 5
- 229920000049 Carbon (fiber) Polymers 0.000 claims description 4
- 239000004917 carbon fiber Substances 0.000 claims description 4
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- 238000013016 damping Methods 0.000 claims description 3
- 238000009413 insulation Methods 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 241000406668 Loxodonta cyclotis Species 0.000 claims 2
- 239000003990 capacitor Substances 0.000 description 11
- 230000008859 change Effects 0.000 description 8
- 238000013461 design Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/15—Processing image signals for colour aspects of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3191—Testing thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3191—Testing thereof
- H04N9/3194—Testing thereof including sensor feedback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Projection Apparatus (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
一种将数字信息投影在真实环境中的真实对象上的方法，包括利用可见光投影仪将数字信息投影在真实对象或真实对象的一部分上，使用相机捕获具有投影的数字信息的真实对象的至少一个图像，提供与相机配准的深度传感器，所述深度传感器捕获该真实对象或该真实对象的一部分的深度数据，以及基于所述至少一个图像和深度数据计算可见光投影仪与真实对象之间的空间变换。本发明还涉及相应的***。
Description
本发明涉及用于将数字信息投影在真实环境中的真实对象上的方法和***。此外，本发明涉及包括软件代码部分的计算机程序产品，该软件代码部分在计算机***上运行时用于执行该方法。
增强现实(AR)***可以通过借助于计算机生成的数字信息直接视觉上增强真实环境来加强真实环境。例如，这样的数字信息是用于增强真实环境的视觉印象的虚拟信息。诸如在参考文献[1]中提及的，典型的应用被称为，例如，所谓的基于投影仪的AR，投影式AR或空间AR。该数字信息可以是任何类型的视觉可感知的数据，诸如对象、文本、绘图、视频或它们的组合。真实环境的直接增强可以通过使用投影仪将计算机生成的数字信息投影到真实环境或真实环境的一部分的真实对象的表面上来实现。
投影式AR具有许多应用，诸如如参考文献[2]中描述的用于架构设计的原型，和如参考文献[3]中描述的汽车制造，如参考文献[4]中描述的用于新型计算机用户界面开发的普适计算，如参考文献[5]中描述的信息显示，或者如参考文献[6]中描述的鞋的设计。
为了在投影的视觉数字信息与将在真实环境中增强的真实对象之间具有所需的对准，必须已知真实对象和投射数字信息的投影仪之间的空间变换。为此，经常进行校准程序以基于2D-2D、2D-3D、或3D-3D对应性来估计空间变换，这是用于建立投影式AR***的挑战性步骤。对于这样的校准程序通常需要相机。
已经提出和开发许多校准方法以计算投影仪和真实对象之间的空间变换。例如，Jundt等人在参考文献[3]中描述了使用相机和投影仪在汽车表面上显示关于汽车的视觉数据的方法。相机和投影仪应该刚性地耦接，以便对它们进行一次校准，然后假设根据由相机获取的处理视频数据所计算的投影仪-车的外部特征(即，相对的空间位置和方位)。相机检测连接至汽车的视觉标记，以便估计相机和汽车之间的空间变换。以这种方式，可以确定投影仪和汽车之间的空间变换。该方法的问题是，必须预先测量该标记相对于汽车的坐标系的位置和方位。
在参考文献[6]中描述的扩展3D是一种商业投影式AR***，其基于刚性地连接至投影仪的相机传感器来跟踪一组标记。这两个开发的***具有一些限制。校准不能由独立的实体检查。必须频繁地执行相机和投影仪之间的额外的校准程序。该程序不能在任意对象上进行，而是需要呈现平坦的表面或类似物。此外，视觉标记本身需要事先与汽车配准，这引入了额外的误差源。
Raskar等人在参考文献[2]中开发了一种用于支持构架设计的投影式AR***。他们提出了用于多台投影仪的校准方法，以确保几何对齐投影的图像。他们的***需要手动调节投影图像的纹理坐标以与物理模型(真实对象)视觉对齐。
Kurz等人在参考文献[6]中提出了一种校准方法，用于基于使用与相机刚性耦接的激光指示器来建立投影仪与室内物理场景(即真实对象)之间的空间变换。相机和激光***安装在机器人云台装置(自动云台装置，robotic pan-tilt apparatus)中，使得可以控制相机和激光器的运动以用于扫描室内环境并且利用室内环境校准投影仪。然而，机器人云台装置很昂贵，并且难以实现相机和激光***的受控运动。这主要是因为该***需要云台与相机的非常精确的手眼校准，其提供相机相对于云台单元的位置和方位。并且，利用激光器对环境取样花费大量的时间，因为每次可以感测仅一个点。
Fuchs等人在参考文献[7]中描述了使用来自投影仪的结构光来收集后面可视化中待使用的深度信息。它们不在真实对象上投影虚拟信息，而是使用头戴式显示器。
Lim在参考文献[8]中采用多台投影仪和一台相机用于现场重建。它们基于相机和每个投影仪之间已知的变换校准多个投影仪之间的空间关系。在校准过程中，它们需要在板上的投影，这意味着它们不能通过在任何感兴趣的对象上投影来校准。它们需要额外的校准，以便能够估计校准数据和感兴趣对象的坐标系中的变换。参考文献[8]的目标是重建环境。它没有提出任何校准方法来计算投影仪和真实对象之间的空间变换。
为了校准投影仪和真实对象之间的空间关系并且估计投影式AR应用程序或***中投影仪的固有参数，所有先前的方法需要复杂的程序和/或昂贵的硬件设备。这肯定减小了投影式AR应用程序或***的可用性和效率。
因此，有益的是，开发一种方法和***，其能够使投影式AR***精确地将数字信息投影在真实对象上而无需昂贵的硬件设备并且不需要进行冗长的校准程序。
根据一个方面，提供了一种将数字信息投影在真实环境中的真实对象上的方法，包括：利用可见光投影仪将数字信息投影在真实对象或真实对象的一部分上，使用相机捕获具有投影的数字信息的真实对象的至少一个图像，提供与相机配准(register)的深度传感器，所述深度传感器捕获该真实对象或该真实对象的一部分的深度数据，以及基于所述至少一个图像和深度数据计算可见光投影仪与真实对象之间的空间变换。
根据另一个方面，提供了一种用于将数字信息投影在真实环境中的真实对象上的***，包括：适于将数字信息投影在真实环境中的真实对象或真实对象的一部分上的可见光投影仪，适于捕获具有投影的数字信息的真实对象的至少一个图像的相机，以与相机配准并且适于捕获该真实对象或该真实对象的一部分的深度数据的深度传感器，以及布置成基于所述至少一个图像和深度数据来计算可见光投影仪与真实对象之间的空间变换的处理单元。
根据一个特定实施方式中，在一个优选的实施例中，该方法包括基于所述真实物体的已知3D模型来估计RGB-D相机***与真实对象之间的空间变换并且基于利用投影仪将一个或多个视觉图案投影在真实对象或真实对象的一部分的一个或多个表面上来计算投影仪的固有参数和投影仪与真实对象之间的空间变换。
根据一个实施例，该方法进一步包括使用深度数据来估计数字信息的深度。
具体地说，该方法可以进一步包括使用深度数据和所述至少一个图像来估计数字信息的3D位置。
在一个优选的实施方式中，深度传感器和相机被组合以形成子***，在该子***中所述深度传感器和相机是相互关联的(即，在它们之间具有已知的变换)，该方法还包括计算深度传感器和相机的子***与真实对象之间的空间变换的步骤。
例如，计算深度传感器和相机的子***与真实对象之间的空间变换是基于真实对象或真实对象的一部分的3D几何模型和真实对象或真实对象的一部分的3D描述，其来自由深度传感器和相机的子***捕获的真实对象的一个或多个图像和深度数据。
具体地说，该方法可以进一步包括使用真实对象或真实对象的一部分的3D几何模型和深度传感器和相机的子***与真实对象之间的经计算的空间变换来估计数字信息的深度，以获得第二深度数据。
根据一个实施例，该方法进一步包括以下步骤：使用可见光投影仪将至少一个视觉图案作为数字信息投影到所述真实对象的表面上，并且使用深度传感器和相机捕获投影的视觉图案的深度数据。
根据一个实施例，该方法进一步包括以下步骤：计算所述可见光投影仪与深度传感器和相机的子***之间的空间变换，计算或提供可见光投影仪的固有参数，并且基于可见光投影仪与深度传感器和相机的子***之间的空间变换、深度传感器和相机的子***与真实对象之间的空间变换，以及优选地基于可见光投影仪的固有参数来计算可见光投影仪与真实对象之间的空间变换。
根据另一个实施例，该方法进一步包括以下步骤：基于深度传感器和相机的子***与真实对象之间的空间变换，将投影的视觉图案的深度数据从深度传感器和相机的子***的坐标系变换到真实对象的对象坐标系，计算或提供可见光投影仪的固有参数，以及基于变换的深度数据，以及优选地基于可见光投影仪的固有参数来计算可见光投影仪与真实对象之间的空间变换。
例如，深度传感器和相机的子***是RGB-D相机***，其中相机是RGB(RGB＝红/绿/蓝)相机(其中D代表深度传感器)。
具体地，深度传感器捕捉真实对象或真实对象的一部分的深度数据，而不依赖于可见光投影仪。
根据一个实施例，使用深度传感器和相机的子***与可见光投影仪之间的空间变换和可见光投影仪的固有参数，并且将一项数字信息(其从相机的图像中提取)投影在真实对象上来创建第三深度数据。
例如，以下在本文中，由深度传感器捕获的深度数据被称为第一深度数据，并且所述方法还包括计算第一深度数据、第二深度数据和第三深度数据的任何组合之间的差异的步骤。
根据一个实施例，如果确定可见光投影仪到所述真实对象的一定距离被达到或超过，则通知用户需要校准，或者自动开始校准程序。
根据另一个实施例，使用可视光投影仪将所述可见光投影仪到所述真实对象的距离作为视觉数据显示在所述真实对象上。
根据一个实施例，该方法包括使用深度传感器和相机的子***来跟踪真实对象的步骤。
例如，一个或多个视觉标记被添加到真实环境中以支持追踪。
在一个优选的实施例中，如在下面更详细地提及的，迭代最近点(称为ICP)算法被用于初始化深度传感器的姿态。
根据一个实施方式，可见光投影仪的姿态数据被用来设置投影仪的特定参数，诸如焦距或放大倍数或亮度。
特别地，如果投影仪更接近真实对象，则可见光投影仪的亮度可能变得更小。
特别地，可见光投影仪的变焦在离得更近时增加投影仪的视场，并且当移动得更远时减小视场。
根据进一步的实施例，该方法进一步包括以下步骤：使用深度传感器和相机的子***在真实对象的表面的顶部上通过用户进行交互以便识别用户触摸。
根据另一个方面，本发明还涉及一种适于被加载到数字计算机***的内部存储器中的计算机程序产品，其包括软件代码部分，当所述产品在所述计算机***上运行时，通过该软件代码部分来执行如上所述的步骤和特征。此外，本发明也可部分地在硬件逻辑电路中实现，并且可以与被布置为执行如本文所述方法的编程逻辑电路相关。
根据本发明的***的实施例，相机和深度传感器被集成到共用外壳中。
优选地，相机和深度传感器是RGB-D相机的功能单元。
在一个具体实施方式中，可见光投影仪、相机和深度传感器是手持式或头戴式设备的一部分。
在一个优选的实施方式中，相机包括可见光相机，优选地为RGB相机，并且深度传感器包括红外光投影仪和红外光相机。
根据一个实施例，所述可见光投影仪、相机和深度传感器被集成到共用壳体中，其中，所述可见光投影仪通过绝缘或热阻尼材料与相机和深度传感器分离。
根据另一个实施例，所述可见光投影仪、相机和深度传感器被集成到普通外壳中，其中所述外壳的底板由碳纤维层压体制成。
根据进一步的实施例，该***包括校准装置，在最近的校准的温度和当前温度之间的温度差超过阈值的情况下，其通知用户需要对***进行新的校准，或者其自动地进行***的自校准。
例如，可见光投影仪包含以下部件中的至少一个：通气孔、变焦光学装置、可变焦距透镜。
根据一个实施例，该***还包括红外光投影仪，其优选地被用作深度传感器的一部分，其中红外光投影仪不包含以下部件中的至少一个：通气孔、变焦光学装置、可变焦距透镜。
现在将参照附图对本发明的方面和其实施例进行描述，在附图中：
图1A示出了根据本发明的示例性***设置，其中，RGB-D相机***和可见光投影仪中未刚性地相互耦接，
图1B示出了根据图1A的***设置，其另外示出根据本发明的各方面使用的坐标系，
图2示出了根据本发明的一个方面的另一种示例性的***设置，其中RGB-D相机***和可见光投影仪被刚性地彼此耦接，
图3示出了根据本发明的一个实施例的方法的流程图，
图4示出了根据本发明的另一个实施例的方法的流程图，
图5示出了示例性的手持式设备，包括可以根据本发明的各方面使用的可见光投影仪和RGB-D相机***，
图6示出了示例性的头戴式设备，包括可以根据本发明的各方面使用的可见光投影仪和RGB-D相机***，
图7示出了根据本发明的各方面的有利的硬件设置，
图8示出了可以与根据本发明的各方面的方法结合使用的示例性的ICP算法的流程图。
在本发明的实施例和各方面的以下描述中，主要是指根据图1A和1B的***设置，其仅是用于说明本发明而不是将本发明限于其中所示的任何特定方面的示例性的***设置。通常，根据本发明的***设置能够在真实环境中的真实对象上投影数字信息。在本示例中，真实对象是汽车11，然而，也可以使用任何其他真实对象或其部分。该***包括可见光投影仪15，其适于将数字信息投影到真实环境中的真实对象上，诸如汽车11，或真实对象的一部分上；相机12(具体地为可见光相机，诸如RGB相机或如本文下面阐述的其他类型)，其适于捕获具有投影的数字信息的真实对象11的至少一个图像；以及深度传感器(在本实例中，包括红外光相机13和红外光投影仪14)，其使用与相机12配准并且适于捕获真实对象11或真实对象11的一部分的深度数据。使用作为深度传感器的红外投影仪和红外相机是一种用于测量真实对象的深度数据的技术，在该真实对象上投影红外光并且由红外相机捕获，其对技术人员来说是已知的。也可以使用其他深度感测技术。
可见光相机12和深度传感器13、14形成相机12和深度传感器13、14的子***16，其中相机和深度传感器是相互关联的，即通过它们之间已知的空间变换相互关联。例如，如在下面更详细描述的，子***16是RGB-D相机***。该***还包括处理单元，其被尤其是布置成基于由相机12捕获的至少一个图像和由深度传感器13、14测得的深度数据来计算可见光投影仪15和真实对象11之间的空间变换，以及用于计算由此所需的任何其他变换和如本文以下更详细地阐述的计算。处理单元17可以是如通常在用于这种应用程序的紧凑或分布式计算机***中使用的任何合适的处理单元，诸如个人计算机的CPU或任何其它合适的处理器或处理单元或逻辑电路。
根据本发明的一个优选的实施例，使用可见光投影仪15，通过基于所述真实对象的已知3D模型估计RGB-D-相机***16和真实对象11之间的空间变换，并且基于从投影仪15投影到真实对象11或真实对象11的一部分上的数字信息(优选地为一个或多个视觉图案)和由RGB-D-相机***16捕获的投影的数字信息(如视觉图案)的深度图来计算投影仪15的固有参数，和投影仪15与真实对象11之间的空间变换，将计算机生成的数字(本文也称为虚拟)信息投影在真实环境中的真正对象的表面上，在本实例中，投影到真实对象11的表面上。
根据本发明的各方面，提出了一种这样的方法，其在真实环境中的真实对象上投影数字信息，并且具体地在校准程序中，计算在真实对象或真实对象的一部分上投影数字信息的可见光投影仪与真实对象或真实对象的一部分之间的空间变换。空间关系或空间变换规定了对象在平移和旋转方面相对于另一对象如何定位在3D空间中。RGB-D相机***是捕获装置，其能够捕获真实环境或真实环境的一部分的RGB-D图像。RGB-D图像是具有相应的深度图(即，与在图像中捕获的真实对象相关的深度数据)的RGB图像。代替深度图像，该***还可以提供相对于相机坐标系的3D模型。所提出的本发明可以很容易地推广到提供图像格式(颜色或灰度)的任何相机，所述图像格式另外提供深度数据。它不限于提供RGB格式的彩色图像的捕获***。它也可以应用于任何其它彩色格式，并且还可应用于单色图像，例如提供灰度级格式的图像的相机。在一个有利的实施方式中，可见光相机可以是高动态范围相机或配备有限制其对某些光波的响应的过滤器的相机，例如，使摄像机仅看到蓝色。深度图像不需要以与视觉(颜色或/灰度级)相机图像相同的分辨率提供。所谓的RGB-D***可以是被一起安装和校准以提供环境中的一组物理点的一组测光信息和深度信息的设备的任意组合。
真实环境由一个或多个真实对象构成。真实对象可以是世界上任何实际存在的对象，如汽车、树木、建筑、人或石头。
投影仪是将图像(即视觉数字信息)投影到真实对象或真实对象的一部分的物理表面上的光学装置。视觉数字(或虚拟)信息可以是任何类型的视觉可感知的数据，如对象，尤其是3D对象、文本、图画、视频、用户界面元素(例如，按钮)或它们的组合。
真实对象的3D模型描述了真实对象的3D几何结构。几何结构描述了一个或多个属性，包括但不限于，形状、对称性、几何尺寸和结构。
校准投影仪和真实对象之间的空间关系的问题是确定包括投影仪和真实对象之间的平移和方位的变换。
在下文中，假定如图1A和1B中所示的示例性背景场景，参考图3，其示出了根据本发明的作为流程图的方法的实施例。
真实对象11或真实对象11的一部分的3D描述(例如，位于所述表面上的点云的形式)是基于真实对象或真实对象的一部分的深度图由通过RGB-D相机***16捕获的深度数据构造(图3中的步骤31)的。在RGB-D相机坐标***102中构造真实对象11的3D描述(图1B)。RGB-D相机***16与真实对象11之间的空间变换104可以通过找到可在RGB-D相机坐标系102中表示的重建云与在真实对象坐标系101中表示的真实对象11的已知3D模型的点云之间的最佳几何匹配来数字上进行估计。这可以通过使用本领域技术人员本身已知的和如在下面更详细描述的迭代最近点(ICP)算法来实现。如参考文献[16]中描述的，其它的方法可以基于两种模型的匹配特定特征，基于拓扑，曲率或形状。例如，真实对象的已知3D模型的点云可以通过经由光线投影对3D模型进行采样来获得。也可以由三角形对3D模型进行采样，然后使用基于点到面距离的ICP算法来估计RGB-D相机***和真实对象之间的空间变换(图3中的步骤33)。本领域技术人员很清楚，真实对象的已知3D模型也可以以数学描述的形式提供，例如SPLINES(样条)或NURBS。
投影仪15将具有已知几何形状的一个或多个视觉图案投影到真实对象11或真实对象11的一部分上(图3中的步骤35)。视觉图案可以是各种形式，诸如点、线、多个点、多条线、网格、圆形、十字线、厚条纹、二进制编码图案、格雷码图案、颜色编码的条纹和随机纹理。一个或多个投影的视觉图案在RGB-D相机坐标***102中的一个或多个3D位置可以直接从由RGB-D相机***捕获的深度图获得(图3中的步骤36)。在可替换的实施方式中，在RGB-D相机***和真实对象之间的空间变换104已被估计之后，可以从真实对象的3D模型获得一个或多个投影的视觉图案的3D位置。
投影仪15和RGB-D相机***16之间的空间变换106，以及投影仪15的固有参数可以基于投影仪坐标***103中的一个或多个视觉图案的2D坐标和RGB-D相机坐标***102中的一个或多个视觉图案的相应3D坐标系来计算(图3中的步骤37)。假设已知投影仪的固有参数，可以使用它们而不是对其进行重新估算。固有参数通常用于计算可见光投影仪与深度传感器和相机的子***之间的空间变换。一旦空间变换已经确定，则固有参数仅可在对真实对象的信息可视化的步骤中使用。
应当指出的是，假设投影的视觉图案的3D位置从深度图获得，所描述的计算真实对象与RGB-D相机***之间的空间变换104和计算投影仪与RGB-D相机***之间的空间变换106的程序可以并行进行。
最后，基于真实对象11与RGB-D相机***16之间的估计的空间变换104和投影仪15与RGB-D相机***16之间的估计的空间变换106来计算投影仪15和真实对象11之间的空间变换105(图3中的步骤38)。
此外，本发明不需要投影仪15和RGB-D相机***16被刚性地耦接或在投影仪15和RGB-D相机***16之间具有预先已知的空间变换(参照图1A)。相比于如在参考文献[3,6]中描述的现有技术，这增加了本发明的可用性和灵活性。特别是，因为RGB-D***可作为紧凑型***获得而没有可动部件或光学装置，它们易于校准并且它们的物理结构不会轻易改变，因此校准通常将不改变。另一方面，投影仪通常配备有可动光学装置并且显示出较大的温度变化。它们还经常具有大的外壳、阻尼光学装置和通气孔(vent)。所有这些特性使它们在显示非常明亮和高品质的图像时很强，但是使得它们很难持续校准。
根据本发明的方法的另一个实施例示于图4中。步骤41-46对应于如上述参照图3的实施例描述的步骤31-36。如上所述，确定RGB-D相机***16与真实对象11之间的配准，并且将一个或多个视觉图案投影到真实对象11上导致投影仪坐标***103和RGB-D相机坐标***102之间的2D-3D对应性。
在步骤47中，使用ICP算法所确定的变换，将这些对应性的3D坐标从RGB-D相机坐标***102变换到对象坐标***101。最后，在步骤48中，基于投影仪15和对象坐标***101之间的2D-3D对应性来计算投影仪15与真实对象11之间的空间变换(并且可选地投影仪的固有参数)。
RGB-D相机***的可能的实现方式：
RGB-D相机***可以是飞行时间(TOF)相机***。Kolb等人在参考文献[9]中给出了关于飞行时间相机传感器和应用程序的现有技术的概述。RGB-D相机***16也可以使用RGB相机12、红外光相机13和红外投影仪14来构造(参见图1A)。RGB相机12、红外光相机13和红外光投影仪14典型地是刚性耦接并且它们的空间关系是已知的。由此，RGB相机、红外光相机和红外光投影仪可以在称为RGB-D相机坐标***102的公共坐标***中定义。有利地，这三个传感器都紧紧地连接至一个公共的部分，例如，结实的金属块或碳纤维层压体部分。
诸如在参考文献[2,6]中描述的几种方法已经被开发以校准相机和投影仪之间的空间关系。一种常见的方法是使投影仪将具有已知几何形状的图案投影到物理表面上并且使相机捕获投影的图案。这可以建立投影仪坐标系和相机坐标系之间的对应关系，因此，可以估计投影仪和相机之间的转换。
红外光投影仪和红外光相机可以一起产生真实对象或真实对象的一部分的深度图。为此，红外投影仪将具有已知几何形状的图案投影到所述真实对象上，并且红外相机捕捉投影的图案的图像。从投影的图案的图像，可以生成真实对象的深度图。作为RGB相机，红外相机和红外投影仪在共同的RGB-D相机坐标系中进行校准，可以从深度图和RGB相机的RGB图像获得RGB-D图像。
存在一些基于使用RGB相机、红外相机和红外投影仪的市售的RGB-D相机***，例如来自Microsoft的已知动力学(Kinect)***或来自Asus的Xtion Pro。这些***是现成货架的商品廉价消费设备的实例。US 8 150 142 B2和US 7 433 024 B2描述了RGB-D传感器的可能的实现方式的详细方法。
本发明中深度传感器的有利版本能够以交互式帧频(例如高于每秒5帧)方式传送深度图像。
可能的ICP算法的实现方式：
迭代最近点(ICP)(描述在例如参考文献[12]中)是一种算法，其空间上配准通常由3D点云表示的两个部分重叠的3D模型。该算法的目的是找到6DoF(DoF：自由度)刚体变换(包括3D旋转和3D平移)，该变换将一个模型转换以与另一个模型配准，参见例如在下面描述的图8：
给定参考模型R(步骤81)、当前模型C(步骤82)，和C和R之间的变换的初始猜测(步骤83)，该方法最初变换具有所提供的初始猜测的C(步骤84)。需要注意的是，在最简单的情况下，初始猜测可以是恒等变换。现在，迭代方法从模型R和C选择点样本R'和C'(步骤85)，然后建立这两套点之间的匹配(步骤86)。在最简单的情况下，C'中的点的匹配对应关系被确定为R'中的最近点。在随后的步骤(步骤87)中，计算每一个匹配的权重。需要注意的是，其最简单的实现方式是为所有匹配分配相等的权重。在分配误差度量之后(步骤88)，例如匹配点之间的距离的均方根，找到使这种误差度量最小化的变换(步骤89)。
退出条件确定是否在另外的迭代中应当细化所找到的答案(步骤810)。如果是，在通过从模型R和C中选择点样本R'和C'开始下一次迭代之前，用找到的变换对C进行变换(步骤811)。否则，积累的变换(转换)，即在迭代方法过程中应用至C的所有变换(转换)和在步骤89中找到的最后变换的积累被返回作为使C与R对准的最终变换(步骤812)。
深度传感器的潜在附加用途：
具有能够产生深度图像的深度传感器具有附加的优点。一个优点可以是实现差异测量，以便找到真实对象的虚拟模型(例如，计算机辅助设计(CAD)模型)和真实对象的实际几何结构之间的差异。因为ICP算法能够处理两个3D模型之间的部分误差或差异，因此该算法在大多数情况下能够将部分不同的虚拟模型与来自深度传感器的深度数据对准。例如，然后可以计算一个模型的顶点或点与另一模型的最接近顶点或点之间的差异。对不同的距离分配不同的颜色，投影仪可以根据真实对象的部分与虚拟3D模型的差异对真实对象的部分进行着色。
另一优点可以是额外实现与真实对象的触摸交互。根据现有技术(例如，参考文献[11])，从深度数据检索身体姿态的技术是已知的。身体跟踪可以用来检索***用户的粗略头部位置。该头部位置可以用来改进所显示的虚拟数据以使之看起来比仅假设用户具有可见投影仪的视点的情况下更逼真并且更好地对准真实对象。关于这种渲染技术的更多内容可以在参考文献[13]中找到。
身体跟踪也可以用于检索用户的手位置或检索用户接近实际对象的最近的身体部分。该***可以将假定与真实对象的距离小于某一阈值(例如，10cm)的任何身体部分或只有手解释成鼠标点击或鼠标事件，其中，所考虑的鼠标位置对应于3D模型上的最近3D点，其根据投影仪固有参数被投影到2D坐标中。使用该信息并且结合它，或通过利用已知技术直接确定3D模型的子部分，可以触发所有类型的用户交互。例如，虚拟便签贴可以在该位置贴至3D模型，或者一部分可以是栩栩如生地动作或突出显示。甚至可以通过在真实对象的顶部上拖拽虚拟对象或在真实对象的顶部上“虚拟绘画”进行设计任务。
触摸交互方面的一个有利添加是当用户触摸真实对象时通过使用电容感测或通过测量电流触来检测用户触摸真实对象。可将电容感测电路连接至真实对象，并且当其检测到在真实世界中的对象的电容变化时，可将输入信号提供给处理单元。另一可能的替代实现方式是使真实对象与地面绝缘并且将真实对象连接至电压(例如，通过高电阻)并测量当用户触摸对象将其接地时引起的电流。然后可以评价深度传感器数据，以便呈现真实对象可能已被触摸的位置。
2012年12月17日检索的***(Wikipedia)提供了实现电容感测电路的以下可能的方式(http://en.wikipedia.org/wiki/Capacitive_sensing)：
“电容通常通过使用它来控制振荡器的频率，或者改变AC信号的耦合(或衰减)的水平而被间接测量。简单电容计的设计经常是基于弛缓振荡器。待感测的电容形成振荡器的RC电路或LC电路的一部分。基本上，技术通过用已知的电流对未知的电容进行充电来工作。(电容器的状态方程为i＝C dv/dt。这意味着电容等于电流除以电容器的电压的变化率)。电容可以通过测量达到(弛缓振荡器的)阈值电压所需的充电时间来计算，或等价地，通过测量振荡器的频率来计算。这两者都与振荡器电路的RC(或LC)时间常数成比例。电容测量误差的主要来源是杂散电容，如果不防范，其可能会在大约10pF到10nF之间波动。杂散电容可以通过屏蔽(高阻抗)电容信号，然后将屏蔽连接至(低阻抗)接地参考而保持相对恒定。此外，为了使杂散电容的不期望的影响最小化，很好的做法是将传感电子元件定位成尽可能接近传感器电极。另一个测量技术是跨电容分压器施加固定频率的AC电压信号。这由串联的两个电容器构成，一个具有已知值，而另一个具有未知值。然后横跨电容器中的一个获得输出信号。未知电容器的值可以从电容量的比率获得，该比率等于输入/输出信号振幅的比，如可以通过交流电压表测量的”。
也可以使用用户的触摸而不测量用户的位置，并且可以简单地触发可能的内容工作流中的下一步骤。例如，***首先在真实汽车上显示虚拟引擎，并且在触摸汽车之后，***切换至显示齿轮箱的结构。
为了扩展所述深度传感器的范围或更多处理***用户，可以相对于第一深度传感器以固定的空间关系安装第二深度传感器。两个深度传感器可依次触发或仅按需要触发。
与如在参考文献[3,6]中描述的方法相比，本发明不要求可见光投影仪和RGB-D相机***之间的刚性耦接，并且不需要刚性地连接至真实对象的视觉标记或纹理前景。因此，本方法简化了计算真实对象和可见光投影仪之间的空间变换和估算投影仪的固有参数的校准程序。此外，与如在[3,6]中描述的方法相比，在本发明的方法中不需要视觉标记和真实对象之间的标记物-对象校准，其消除了标记物-对象校准所引起的错误。
与如在参考文献[6]中描述的需要机械人装置移动与相机连接的指针以扫描真实对象的方法相比，本发明采用不同的构思，优选基于RGB-D相机***。与如在[6]中描述的方法相比，本发明可以减少校准时间。另外，因为可以并行执行计算真实对象与RGB-D相机***之间的空间变换和计算投影仪与RGB-D相机***之间的空间变换的两个所述的程序，因此本发明可以进一步加快校准。有利的是，RGB-D相机***能够以高于10Hz的帧速率提供高于50×50像素的分辨率的深度图像。
真实对象或真实对象的一部分的另一深度图可以通过使用可见光投影仪和RGB-D相机***的RGB图像进行投影和捕获来产生。这个深度图应当与由RGB-D相机***提供的深度图相同。假设将RGB-D相机***相对于所述真实对象固定，则每当在校准投影仪和真实对象之间的空间关系之后投影仪远离所述真实对象或远离RGB-D相机***移动时，这两个深度图将是不同的，并且***应重新校准。
在下文中，参照根据图2的***的另一个实施例。与根据图1的***类似，提供了具有RGB相机22的RGB-D相机***26，由红外线相机23和红外光投影仪24形成的深度传感器，和在真实对象21上投影数字信息的可见光投影仪25。假定RGB-D相机***26和投影仪25之间的相对变换是固定的(参照图2)，可以在校准投影仪25和真实对象21之间的空间关系之后检测真实对象21的移动。一旦检测到这种运动，投影仪25与真实对象21之间的空间关系就应重新校准。
该检测可以如下来实现。让可见光投影仪将视觉图案投影到所述真实对象的顶部，并且让RGB-D相机***捕捉投影图案的图像，然后检查投影的图像的位置是否在所需的位置。所需的图像位置可以基于真实对象与投影仪之间的校准的空间关系通过计算从投影仪发射出的视觉图案的光线和真实对象的3D模型之间的交点来估计。交点的3D位置可以表示在真实对象坐标系中。所需的图像位置是基于所述真实对象和RGB-D相机***之间的校准的空间关系将交点重新投影到RGB-D相机***的图像坐标***中。
检测还可以基于由RGB-D相机***获得的深度图来实现。如果当前获得的深度图与校准时由RGB-D相机***捕获的深度图不同，则在校准后可能存在真实对象的移动。
假设RGB-D相机***26和投影仪25之间的相对变换是固定的(参见图2)，则在校准投影仪和所述真实对象之间的空间关系后，RGB-D相机***可以利用计算机视觉方法或ICP(如在初始化期间所使用的)来跟踪真实对象的移动，并且可以相应地更新投影仪和真实对象之间的空间关系。此外，可见光投影仪的***参数可以根据跟踪基于真实对象相对于RGB-D相机***的姿态来调整。例如，当它更接近真实对象时，投影仪的亮度变得更低。
校准之后将视觉标记添加到真实对象能够使用RGB-D相机***实现对真实对象的鲁棒跟踪。
RGB-D相机***和投影仪的本校准***可以进一步支持以通过使用来自RGB-D相机***的深度图来检测所述真实对象的顶部上的用户交互，以便发现触摸。
本发明的一个优点在于，在校准后存在两个独立的深度数据源。因此，可以通过比较关于所述真实对象的两组深度数据来评价投影AR***的质量和它的校准，其中一组数据来自RGB-D相机***并且一组数据来自使用可见光投影仪和RGB相机的RGB图像。通过使用投影仪和RGB相机的RGB图像提供的深度数据可以通过让投影仪将具有已知几何结构的视觉图案投影到真实对象的物理表面上并且让RGB相机捕捉投影图案的RGB图像来实现。具有可获得的固有和外部数据，可以将两个模型配准并且可以返回质量测量值，例如，从投影仪到RGB-D模型的重建点的平均距离。
检查校准质量的另一种可能的方式是将可检测的可见光信息投影到真实对象上。根据可见光相机的固有参数、可见光投影仪的固有参数以及可见光投影仪与真实对象的空间关系和可见光投影仪与可见光相机的空间关系，可检测的可见光可以预期位于可见光相机图像中的某一位置。可见光相机的固有参数从预校准程序已知。可检测的可见光信息的预期位置和其真实位置之间的距离可以以像素作为质量测量值被返回。可替换地，可以将该差以数学方式投影到真实对象上并将其转换成毫米。
根据本发明的一个方面，可见光相机和深度传感器被集成到公共的外壳中，具体地是如所描述的RGB-D相机***的功能单元。该***，包括可见光投影仪、深度传感器和可见光相机，也可以以小型化的方式实现，以形成手持式或头戴式设备。
一个潜在的实现方式分别在图5、图6和图7中示出。可见光投影仪和RGB-D相机***的***如果微型化的话可以被形成为手持式或头戴式设备。图5所示的包括投影仪和RGB-D相机***的示例性手持式设备50包括手柄51、可见光投影仪55和RGB-D相机***。RGB-D相机***可以进一步包括红外投影仪52、红外相机53、和RGB相机54。
图6所示的包括可见光投影仪和RGB-D相机***的示例性头戴式设备60可以包括固定部件61、可见光投影仪65和RGB-D相机***。RGB-D相机***可以进一步包括红外投影仪62、红外相机63和RGB相机64。固定部件61可以支撑头戴式设备和用其眼睛66感知投影的数字信息的使用者的头部之间的刚性固定。
根据本发明的各方面的***的另一个有利的硬件设置在图7中示出。通常难以校准的可见光投影仪和RGB-D相机***被结合在公共的外壳70中，但是同时被功能上分开。将RGB-D相机***(其在本实施例中包括红外光投影仪74、可见光相机75和红外光相机76)的元件连接至固体结构元件，因此它们的空间关系应该是针对移动或者甚至在运输过程中的冲击是牢固的。可见光相机75、红外光投影仪74和红外光相机76中的至少一个可以在一个可能的实施方式中配备有定焦光学装置。难以校准的可见光投影仪包括复杂的光学装置71，其可以包括阻尼器、变焦和聚焦机构。它具有高能量的光源79和空间光调制器78。由于高能光源，可见光投影仪在打开之后具有较大的温度变化(由可选的温度指示器或传感器72指示的)。较大的温度变化是去校准(decalibration)的主要来源，因为结构元件的尺寸变化可能会改变***部件的空间关系。
因此，在本实施例中，可见光投影仪和RGB-D相机***由绝缘或热阻尼材料73分开。有利地，外壳的底板70-1由碳纤维层压体制成，并且RGB-D相机***和可见光投影仪紧紧地连接至底板70-1且不连接至外壳的侧壁70-2。外壳的侧壁70-2可以连接成使得其可以相对底板70-1稍微运动。有利的是，所述外壳可以具有至少一个新鲜空气源或热空气出口70-3。有利的是，该***可以具有至少一个温度传感器72。在最后的校准和当前温度之间的温度差超过给定阈值的情况下，该***可以通知用户需要新的校准。可替代地，该***可以自动地进行自校准。
参考文献：
1.Sanni Siltanen,Theory and applications of marker-based augmentedreality.Espoo 2012.VTT Science 3.
http://www.vtt.fi/inf/pdf/science/2012/S3.pdf
2.Raskar,Ramesh,Greg Welch,and Wei-Chao Chen."Table-top spatially-augmented realty:bringing physical models to life with projected imagery."Augmented Reality,1999.(IWAR'99)Proceedings.2nd IEEE and ACM InternationalWorkshop on.IEEE,1999.
3.DE 10 2010 013 420 A1
4.Rekimoto,Jun,and Masanori Saitoh."Augmented surfaces:a spatiallycontinuous work space for hybrid computing environments."Proceedings of theSIGCHI conference on Human factors in computing systems:the CHI is thelimit.ACM,1999.
5.Kurz,D.,F.,Grosse,M.,Schiewe,A.,and Bimber,O.,Laser-Pointer Tracking in Projector-Augmented Architectural Environments,InProc.IEEE and ACM International Symposium on Mixed and Augmented Reality(ISMAR2007),pp.19-26,Nara,Japan,2007
6.Extend3D(from Website 9.12.2012http://www.extend3d.de/en/solutions/design/)
7.Fuchs,Henry,et al."Augmented reality visualization for laparoscopicsurgery."Medical Image Computing and Computer-Assisted Interventation—MICCAI’98(1998):934-943.
8.US 8 172 407 B2
9.Andreas Kolb,Erhardt Barth,Reinhard Koch,Rasmus Larsen:Time-of-Flight Sensors in Computer Graphics.Eurographics 2009.
10.O.Bimber and R.Raskar.Spatial Augmented Reality:Merging real andvirtual worlds.A K Peters LTD,2005.
11.J.Shotton,A.Fitzgibbon,M.Cook,T.Sharp,M.Finocchio,R.Moore,A.Kipman,A.Blake:Real-Time Human Pose Recognition in Parts from Single DepthImages.Retrieved from http://research.microsoft.com/pubs/145347/BodyPartReco gnition.pdf17.12.2012.
12.Szymon Rusinkiewicz,Marc Levoy,Efficient Variants of the ICPAlgorithm.Third International Conference on 3D Digital Imaging and Modeling
13.BIMBER,O.,WETZSTEIN,G.,EMMERLING,A.,AND NITSCHKE,C.Enabling view-dependent stereoscopic projection in real environments.In Proc.IEEE and ACMInt.Symposium on Mixed and Augmented Reality.2005
14.US 8150142 B2
15.US 7433024 B2
16.M.G.Park,M.Novotni,R.Klein:3D Shape Matching with 3DShape Contexts.Retrieved from http://cg.tuwien.ac.at/hostings/cescg/CESCG-2003/MKoertgen/paper.pdf,27.12.2012。
Claims (52)
1.一种将数字信息投影在真实环境中的真实对象上的方法，包括：
-利用可见光投影仪将数字信息投影在真实对象的至少一部分上；
-使用相机捕获投影的数字信息和所述真实对象的至少一个图像；
-通过与所述相机配准的深度传感器捕获所述真实对象的所述至少一部分的第一深度数据；
-基于所述至少一个图像中的投影的数字信息和用于所述真实对象的所述至少一部分的与投影的数字信息对应的所述第一深度数据来计算所述可见光投影仪与所述真实对象之间的空间关系，
其中，如果确定所述可见光投影仪到所述真实对象的距离被达到或被超过，则通知用户需要校准，或者自动开始校准程序。
2.根据权利要求1所述的方法，进一步包括使用所述第一深度数据来估计所述数字信息的深度。
3.根据权利要求1或2所述的方法，进一步包括使用所述第一深度数据和所述至少一个图像来估计所述数字信息的3D位置。
4.根据权利要求1所述的方法，其中，所述深度传感器和所述相机形成子***，在所述子***中，所述深度传感器和所述相机是相互关联的，并且其中计算所述子***与所述真实对象之间的空间关系是基于所述真实对象的至少一部分的3D几何模型和所述真实对象的所述至少一部分的3D描述的，其来自由所述相机捕获的一个或多个图像或由所述深度传感器捕获的所述真实对象的所述第一深度数据。
5.根据权利要求1所述的方法，进一步包括以下步骤：
-使用所述可见光投影仪将至少一个视觉图案作为所述数字信息投影到所述真实对象的表面上，以及
-使用所述深度传感器和相机来捕获投影的视觉图案的深度数据。
6.根据权利要求1所述的方法，其中，所述深度传感器和所述相机形成子***，在所述子***中，所述深度传感器和所述相机是相互关联的，并且所述方法进一步包括以下步骤：
-计算所述可见光投影仪与所述子***之间的空间关系，
-计算或提供所述可见光投影仪的固有参数，以及
-基于所述可见光投影仪与所述子***之间的所述空间关系、和所述子***与所述真实对象之间的所述空间关系来计算所述可见光投影仪与所述真实对象之间的所述空间关系。
7.根据权利要求5所述的方法，其中，所述深度传感器和所述相机形成子***，在所述子***中，所述深度传感器和所述相机是相互关联的，所述方法进一步包括以下步骤：
-计算所述子***与所述真实对象之间的空间关系，
-基于所述子***与所述真实对象之间的所述空间关系，将投影的视觉图案的所述深度数据从所述子***的坐标系变换到所述真实对象的对象坐标系，
-计算或提供所述可见光投影仪的固有参数，以及
-基于变换的深度数据来计算所述可见光投影仪与所述真实对象之间的所述空间关系。
8.根据权利要求1所述的方法，其中，所述深度传感器和所述相机形成子***，在所述子***中，所述深度传感器和所述相机是相互关联的，并且其中，所述子***是RGB-D相机***，并且所述相机是RGB相机。
9.根据权利要求1所述的方法，其中，所述深度传感器捕捉所述真实对象或所述真实对象的一部分的所述第一深度数据，而不依赖于所述可见光投影仪。
10.根据权利要求1所述的方法，其中，所述深度传感器和所述相机形成子***，在所述子***中，所述深度传感器和所述相机是相互关联的，并且其中，利用所述子***与所述可见光投影仪之间的空间关系和所述可见光投影仪的固有参数，并且将数字信息项投影在所述真实对象上来创建第三深度数据，所述数字信息项从所述相机的所述至少一个图像提取。
11.根据权利要求10所述的方法，还包括以下步骤：
通过使用所述真实对象的所述至少一部分的3D几何模型和所述子***与所述真实对象之间的经计算的空间关系来估计所述数字信息的深度来获得第二深度数据，以及
计算所述第一深度数据、所述第二深度数据和所述第三深度数据的任何组合之间的差异。
12.根据权利要求1所述的方法，其中，如果确定所述可见光投影仪到所述真实对象的一定距离被达到或被超过，则通知用户需要校准，或者自动开始校准程序。
13.根据权利要求1所述的方法，其中，使用所述可见光投影仪将所述可见光投影仪到所述真实对象的距离作为视觉信息显示在所述真实对象上。
14.根据权利要求1所述的方法，其中，所述深度传感器和所述相机形成子***，在所述子***中，所述深度传感器和所述相机是相互关联的，并且所述方法进一步包括使用所述子***来跟踪所述真实对象的步骤。
15.根据权利要求14所述的方法，其中，将一个或多个视觉标记添加到所述真实环境中以支持所述跟踪。
16.根据权利要求1所述的方法，其中，使用迭代最近点算法来初始化所述深度传感器的姿态。
17.根据权利要求1所述的方法，其中，使用所述可见光投影仪的姿态数据来设置所述可见光投影仪的特定参数。
18.根据权利要求17所述的方法，其中，所述可见光投影仪的所述特定参数包括焦距、放大倍数和亮度中的一个或多个。
19.根据权利要求1所述的方法，其中，如果所述可见光投影仪更接近所述真实对象，则所述可见光投影仪的亮度变得更小。
20.根据权利要求1所述的方法，其中，所述深度传感器和所述相机形成子***，在所述子***中，所述深度传感器和所述相机是相互关联的，并且所述方法进一步包括以下步骤：
-使用所述子***在所述真实对象的表面的顶部上接收用户交互以便识别所述用户的触摸。
21.一种用于将数字信息投影在真实环境中的真实对象上的***，包括：
-适于将数字信息投影在真实环境中的真实对象的至少一部分上的可见光投影仪；
-适于捕获具有投影的数字信息的所述真实对象的至少一个图像的相机；
-与所述相机配准并且适于捕获所述真实对象的所述至少一部分的第一深度数据的深度传感器，其中所述深度传感器和所述相机被包括在子***中，在所述子***中，所述深度传感器和所述相机是相连接的；
-处理单元，所述处理单元被布置成：
-基于第一深度数据和所述至少一个图像计算所述子***与所述可见光投影仪之间的第一空间关系；
-通过使用所述真实对象的所述至少一部分的3D几何模型和第一深度数据来估计所述数字信息的深度来获得第二深度数据；
-基于第一深度数据和第二深度数据计算所述子***与所述真实对象之间的第二空间关系；
-基于第一空间关系和第二空间关系来计算所述可见光投影仪与所述真实对象之间的第三空间关系；以及
-基于第三空间关系确定是否需要校准。
22.根据权利要求21所述的***，其中，所述相机和所述深度传感器被集成到公共的外壳中。
23.根据权利要求21或22所述的***，其中，所述子***是RGB-D相机***。
24.根据权利要求21所述的***，其中，所述可见光投影仪、所述相机和所述深度传感器是手持式设备或头戴式设备的一部分。
25.根据权利要求21所述的***，其中，
-所述相机包括可见光相机，并且
-所述深度传感器包括红外光投影仪和红外光相机。
26.根据权利要求25所述的***，其中，所述可见光相机是RGB相机。
27.根据权利要求21所述的***，其中，所述可见光投影仪、所述相机和所述深度传感器被集成到公共的外壳中，其中，所述可见光投影仪通过绝缘或热阻尼材料与所述相机和所述深度传感器分开。
28.根据权利要求21所述的***，其中，所述可见光投影仪、所述相机和所述深度传感器被集成到公共的外壳中，其中所述外壳的底板由碳纤维层压体制成。
29.根据权利要求21所述的***，还包括校准装置，在最近校准的温度和当前温度之间的温度差超过阈值的情况下，所述校准装置通知用户需要对所述***进行新的校准，或者所述校准装置自动地进行所述***的自校准。
30.根据权利要求21所述的***，其中，所述可见光投影仪包括以下部件中的至少一个：通气孔、变焦光学装置、可变焦距透镜。
31.根据权利要求21所述的***，还包括红外光投影仪，其中，所述红外光投影仪不包括以下部件中的至少一个：通气孔、变焦光学装置、可变焦距透镜。
32.根据权利要求31所述的***，其中，所述红外光投影仪被用作所述深度传感器的一部分。
33.一种将数字信息投影在真实环境中的真实对象上的装置，包括：
-用于利用可见光投影仪将数字信息投影在真实对象的至少一部分上的单元；
-用于使用相机捕获具有投影的数字信息的所述真实对象的至少一个图像的单元；
-用于通过与所述相机配准的深度传感器捕获所述真实对象的所述至少一部分的第一深度数据的单元，其中所述深度传感器和所述相机被包括在子***中，在所述子***中，所述深度传感器和所述相机是相连接的；
-用于基于第一深度数据和所述至少一个图像计算所述子***与所述可见光投影仪之间的第一空间关系的单元；
-用于通过使用所述真实对象的所述至少一部分的3D几何模型和第一深度数据来估计所述数字信息的深度以获得第二深度数据的单元；
-用于基于第一深度数据和第二深度数据计算所述子***与所述真实对象之间的第二空间关系的单元；
-用于基于第一空间关系和第二空间关系来计算所述可见光投影仪与所述真实对象之间的第三空间关系的单元；以及
-用于基于第三空间关系确定是否需要校准的单元。
34.根据权利要求33述的装置，进一步包括用于使用所述第一深度数据来估计所述数字信息的所述深度的单元。
35.根据权利要求33或34所述的装置，进一步包括用于使用所述第一深度数据和所述至少一个图像来估计所述数字信息的3D位置的单元。
36.根据权利要求33所述的装置，其中，所述深度传感器和所述相机形成子***，在所述子***中，所述深度传感器和所述相机是相互关联的，并且其中计算所述子***与所述真实对象之间的空间关系是基于所述真实对象的所述至少一部分的3D几何模型和所述真实对象的所述至少一部分的3D描述的，其来自由所述相机捕获的一个或多个图像或由所述深度传感器捕获的所述真实对象的所述第一深度数据。
37.根据权利要求33所述的装置，进一步包括：
-用于使用所述可见光投影仪将至少一个视觉图案作为所述数字信息投影到所述真实对象的表面上的单元，以及
-用于使用所述深度传感器和相机来捕获投影的视觉图案的深度数据的单元。
38.根据权利要求33所述的装置，进一步包括：
-用于计算所述可见光投影仪与所述子***之间的空间关系的单元，
-用于计算或提供所述可见光投影仪的固有参数的单元，以及-用于基于所述可见光投影仪与所述子***之间的所述空间关系、和所述子***与所述真实对象之间的所述空间关系来计算所述可见光投影仪与所述真实对象之间的所述空间关系的单元。
39.根据权利要求37所述的装置，其中，所述深度传感器和所述相机形成子***，在所述子***中，所述深度传感器和所述相机是相互关联的，所述装置进一步包括：
-用于计算所述子***与所述真实对象之间的空间关系的单元，
-用于基于所述子***与所述真实对象之间的所述空间关系，将投影的视觉图案的所述深度数据从所述子***的坐标系变换到所述真实对象的对象坐标系的单元，
-用于计算或提供所述可见光投影仪的固有参数的单元，以及-用于基于变换的深度数据来计算所述可见光投影仪与所述真实对象之间的所述空间关系的单元。
40.根据权利要求33所述的装置，其中，所述子***是RGB-D相机***，并且所述相机是RGB相机。
41.根据权利要求33所述的装置，其中，所述深度传感器捕捉所述真实对象或所述真实对象的一部分的所述第一深度数据，而不依赖于所述可见光投影仪。
42.根据权利要求33所述的装置，其中，利用所述子***与所述可见光投影仪之间的空间关系和所述可见光投影仪的固有参数，并且将数字信息项投影在所述真实对象上来创建第三深度数据，所述数字信息项从所述相机的所述至少一个图像提取。
43.根据权利要求42所述的装置，还包括：
用于通过使用所述真实对象的所述至少一部分的3D几何模型和所述子***与所述真实对象之间的经计算的空间关系来估计所述数字信息的深度来获得第二深度数据的单元，以及
用于计算所述第一深度数据、所述第二深度数据和所述第三深度数据的任何组合之间的差异的单元。
44.根据权利要求33所述的装置，还包括用于如果确定所述可见光投影仪到所述真实对象的一定距离被达到或被超过则通知用户需要校准或者自动开始校准程序的单元。
45.根据权利要求33所述的装置，其中，使用所述可见光投影仪将所述可见光投影仪到所述真实对象的距离作为视觉信息显示在所述真实对象上。
46.根据权利要求33所述的装置，进一步包括用于使用所述子***来跟踪所述真实对象的单元。
47.根据权利要求46所述的装置，其中，将一个或多个视觉标记添加到所述真实环境中以支持所述跟踪。
48.根据权利要求33所述的装置，其中，使用迭代最近点算法来初始化所述深度传感器的姿态。
49.根据权利要求33所述的装置，其中，使用所述可见光投影仪的姿态数据来设置所述可见光投影仪的特定参数。
50.根据权利要求49所述的装置，其中，所述可见光投影仪的所述特定参数包括焦距、放大倍数和亮度中的一个或多个。
51.根据权利要求33所述的装置，其中，如果所述可见光投影仪更接近所述真实对象，则所述可见光投影仪的亮度变得更小。
52.根据权利要求33所述的装置，进一步包括：
-用于使用所述子***在所述真实对象的表面的顶部上接收用户交互以便识别所述用户的触摸的单元。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/EP2012/077060 WO2014101955A1 (en) | 2012-12-28 | 2012-12-28 | Method of and system for projecting digital information on a real object in a real environment |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105027562A CN105027562A (zh) | 2015-11-04 |
| CN105027562B true CN105027562B (zh) | 2019-02-22 |
Family
ID=47598775
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201280078216.9A Active CN105027562B (zh) | 2012-12-28 | 2012-12-28 | 用于将数字信息投影到真实环境中的真实对象上的方法和*** |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US10819962B2 (zh) |
| EP (1) | EP2939423A1 (zh) |
| JP (1) | JP6290922B2 (zh) |
| CN (1) | CN105027562B (zh) |
| WO (1) | WO2014101955A1 (zh) |
Families Citing this family (54)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015016798A2 (en) * | 2013-07-31 | 2015-02-05 | Imcom Yazilim Elektronik Sanayi Ltd. Sti. | A system for an augmented reality application |
| US20170026636A1 (en) * | 2013-12-12 | 2017-01-26 | Testo Ag | Method for the positionally accurate projection of a mark onto an object, and projection apparatus |
| CN105814611B (zh) * | 2013-12-17 | 2020-08-18 | 索尼公司 | 信息处理设备和方法以及非易失性计算机可读存储介质 |
| DE102014103010A1 (de) * | 2014-03-06 | 2015-09-10 | Skidata Ag | Digitalkamera |
| FR3021784B1 (fr) * | 2014-05-27 | 2017-10-13 | European Aeronautic Defence & Space Co Eads France | Procede de projection de donnees virtuelles et dispositif permettant cette projection |
| CN105472358A (zh) * | 2014-10-05 | 2016-04-06 | 万明 | 一种关于视频图像处理的智能终端 |
| WO2016065541A1 (en) * | 2014-10-28 | 2016-05-06 | SZ DJI Technology Co., Ltd. | Rgb-d imaging system and method using ultrasonic depth sensing |
| JP6192853B2 (ja) * | 2014-12-19 | 2017-09-06 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | 超音波深度検出を使用するオプティカルフロー画像化システム及び方法 |
| JP6636252B2 (ja) | 2015-03-19 | 2020-01-29 | 株式会社メガチップス | 投影システム、プロジェクター装置、撮像装置、および、プログラム |
| US10306193B2 (en) | 2015-04-27 | 2019-05-28 | Microsoft Technology Licensing, Llc | Trigger zones for objects in projected surface model |
| US20160316113A1 (en) * | 2015-04-27 | 2016-10-27 | Microsoft Technology Licensing, Llc | Integrated processing and projection device with object detection |
| JP6480824B2 (ja) * | 2015-07-27 | 2019-03-13 | 株式会社日立製作所 | 距離画像センサのパラメータ調整方法、パラメータ調整装置、およびエレベータシステム |
| CN105115560B (zh) * | 2015-09-16 | 2019-07-05 | 北京理工大学 | 一种船舱舱容的非接触测量方法 |
| US10404962B2 (en) * | 2015-09-24 | 2019-09-03 | Intel Corporation | Drift correction for camera tracking |
| US9633435B2 (en) * | 2015-09-25 | 2017-04-25 | Siemens Healthcare Gmbh | Calibrating RGB-D sensors to medical image scanners |
| US9665936B2 (en) * | 2015-09-25 | 2017-05-30 | Siemens Healthcare Gmbh | Systems and methods for see-through views of patients |
| US9918204B1 (en) * | 2015-12-08 | 2018-03-13 | Bentley Systems, Incorporated | High accuracy indoor tracking |
| US20170169612A1 (en) | 2015-12-15 | 2017-06-15 | N.S. International, LTD | Augmented reality alignment system and method |
| US20170180652A1 (en) * | 2015-12-21 | 2017-06-22 | Jim S. Baca | Enhanced imaging |
| EP3236286B1 (en) * | 2016-04-18 | 2023-01-25 | Otis Elevator Company | Auto commissioning system and method |
| JP2017215374A (ja) * | 2016-05-30 | 2017-12-07 | パナソニックＩｐマネジメント株式会社 | 画像投影システムおよび画像投影方法 |
| US10019837B2 (en) | 2016-05-31 | 2018-07-10 | Microsoft Technology Licensing, Llc | Visualization alignment for three-dimensional scanning |
| US10591277B2 (en) * | 2016-07-28 | 2020-03-17 | Liberty Reach Inc. | Method and system for measuring outermost dimension of a vehicle positioned at an inspection station |
| US10574909B2 (en) | 2016-08-08 | 2020-02-25 | Microsoft Technology Licensing, Llc | Hybrid imaging sensor for structured light object capture |
| GB2553148A (en) * | 2016-08-26 | 2018-02-28 | Nctech Ltd | Modelling system and method |
| EP3293705B1 (en) * | 2016-09-12 | 2022-11-16 | Dassault Systèmes | 3d reconstruction of a real object from a depth map |
| US10410331B2 (en) * | 2016-09-29 | 2019-09-10 | National Technology & Engineering Solutions Of Sandia, Llc | Computed tomography object inspection system |
| US20180114363A1 (en) * | 2016-10-25 | 2018-04-26 | Microsoft Technology Licensing, Llc | Augmented scanning of 3d models |
| CN110168608B (zh) * | 2016-11-22 | 2023-08-29 | 乐高公司 | 用于获取物理对象的3维数字表示的*** |
| DE102017202651A1 (de) * | 2017-02-20 | 2018-08-23 | Siemens Aktiengesellschaft | Vorrichtung und Verfahren zur Kalibrierung mittels projizierter Muster mit virtueller Ebene |
| DE102017202652A1 (de) * | 2017-02-20 | 2018-08-23 | Siemens Aktiengesellschaft | Vorrichtung und Verfahren zur Kalibrierung mittels projizierter Muster |
| US10526799B2 (en) | 2017-03-31 | 2020-01-07 | Canvas Construction, Inc. | Automated drywall cutting and hanging system and method |
| US20210117680A1 (en) * | 2017-05-10 | 2021-04-22 | Humane, Inc. | Wearable multimedia device and cloud computing platform with laser projection system |
| IL272882B (en) | 2017-09-25 | 2022-07-01 | Canvas Construction Inc | Automatic system for planning plaster walls and method |
| CN107730561B (zh) | 2017-10-17 | 2021-07-06 | 奥比中光科技集团股份有限公司 | 深度相机温度误差校正方法及*** |
| CN108460803B (zh) * | 2018-01-19 | 2020-12-08 | 杭州映墨科技有限公司 | 一种基于棋盘格图案的ar沙盘校准模型计算方法 |
| JP6734583B2 (ja) * | 2018-02-23 | 2020-08-05 | 株式会社市川工務店 | 橋梁などの構造物を検査するための画像処理システム、画像処理方法及びプログラム |
| CN108259869B (zh) * | 2018-02-26 | 2020-08-04 | 神画科技（深圳）有限公司 | 一种投影机及其梯形校正的温度补偿方法 |
| JP6856583B2 (ja) | 2018-07-25 | 2021-04-07 | ファナック株式会社 | センシングシステム、作業システム、拡張現実画像の表示方法、拡張現実画像の記憶方法、およびプログラム |
| WO2020024575A1 (zh) * | 2018-08-01 | 2020-02-06 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| WO2020024576A1 (zh) | 2018-08-01 | 2020-02-06 | Oppo广东移动通信有限公司 | 摄像头校准方法和装置、电子设备、计算机可读存储介质 |
| JP6930739B2 (ja) * | 2018-08-03 | 2021-09-01 | 株式会社プレースホルダ | キャリブレーションシステム |
| JP6856590B2 (ja) | 2018-08-31 | 2021-04-07 | ファナック株式会社 | センシングシステム、作業システム、拡張現実画像の表示方法、およびプログラム |
| CN111083453B (zh) * | 2018-10-18 | 2023-01-31 | 中兴通讯股份有限公司 | 一种投影装置、方法及计算机可读存储介质 |
| US11724404B2 (en) | 2019-02-21 | 2023-08-15 | Canvas Construction, Inc. | Surface finish quality evaluation system and method |
| EP3709638B1 (en) * | 2019-03-13 | 2023-08-30 | L'oreal | System and method for projecting digital content onto user's facial surface |
| CN112150372B (zh) * | 2019-06-28 | 2024-02-02 | 深圳创想未来机器人有限公司 | 一种深度图矫正方法、深度图矫正装置和机器人 |
| CN110990107A (zh) * | 2019-12-16 | 2020-04-10 | 成都极米科技股份有限公司 | 阅读辅助方法、装置及电子设备 |
| CN111427331B (zh) * | 2020-03-24 | 2022-03-04 | 新石器慧通（北京）科技有限公司 | 无人驾驶车辆的感知信息展示方法、装置和电子设备 |
| JP2021179733A (ja) * | 2020-05-12 | 2021-11-18 | Ｎｅｃプラットフォームズ株式会社 | 装着装置、処理方法、プログラム |
| JP2021051318A (ja) * | 2020-12-03 | 2021-04-01 | パナソニックＩｐマネジメント株式会社 | 画像投影システムおよび画像投影方法 |
| US11827203B2 (en) * | 2021-01-14 | 2023-11-28 | Ford Global Technologies, Llc | Multi-degree-of-freedom pose for vehicle navigation |
| JPWO2022190240A1 (zh) * | 2021-03-10 | 2022-09-15 | ||
| US20230260157A1 (en) * | 2022-02-16 | 2023-08-17 | GM Global Technology Operations LLC | Methods and systems for camera to ground alignment |
Family Cites Families (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5313234A (en) | 1991-07-26 | 1994-05-17 | Sayett Group, Inc. | Liquid crystal projector |
| WO2001054110A1 (en) * | 2000-01-18 | 2001-07-26 | The Trustees Of The University Of Pennsylvania | Vision-based human computer interface system |
| JP2001320652A (ja) * | 2000-05-11 | 2001-11-16 | Nec Corp | プロジェクタ装置 |
| JP4042474B2 (ja) * | 2001-08-08 | 2008-02-06 | セイコーエプソン株式会社 | 光学装置、およびプロジェクタ |
| JP2003270719A (ja) * | 2002-03-13 | 2003-09-25 | Osaka Industrial Promotion Organization | 投影方法、投影装置、作業支援方法及び作業支援システム |
| JP4026745B2 (ja) * | 2002-03-26 | 2007-12-26 | 財団法人大阪産業振興機構 | 医療用システムおよびその製造方法 |
| JP4185052B2 (ja) * | 2002-10-15 | 2008-11-19 | ユニバーシティ オブ サザン カリフォルニア | 拡張仮想環境 |
| JP4016876B2 (ja) * | 2003-04-23 | 2007-12-05 | セイコーエプソン株式会社 | プロジェクタ |
| JP3951984B2 (ja) * | 2003-08-22 | 2007-08-01 | 日本電気株式会社 | 画像投影方法、及び画像投影装置 |
| JP4283632B2 (ja) * | 2003-10-16 | 2009-06-24 | 日本電信電話株式会社 | 情報提示装置、情報提示システム、情報提示方法および情報提示プログラム |
| JP2006031506A (ja) * | 2004-07-20 | 2006-02-02 | Brother Ind Ltd | 画像入出力装置 |
| US7244029B2 (en) * | 2004-10-08 | 2007-07-17 | Virtek Vision International Inc. | Laser projector having temperature control |
| US20090147239A1 (en) * | 2005-09-02 | 2009-06-11 | Neptec | Apparatus and method for tracking an object |
| JP4917615B2 (ja) | 2006-02-27 | 2012-04-18 | プライム センス リミティド | スペックルの無相関を使用した距離マッピング（ｒａｎｇｅｍａｐｐｉｎｇ） |
| WO2008041753A1 (fr) * | 2006-10-04 | 2008-04-10 | Nikon Corporation | Dispositif électronique, appareil de prise de vues électronique, dispositif de source lumineuse, dispositif d'illumination et dispositif de projection |
| DE102008007338B4 (de) | 2007-02-06 | 2011-08-25 | Mitsubishi Electric Corp. | Keramikpulver für einen Rohling, mehrschichtiges Keramiksubstrat und Verfahren zur Herstellung eines mehrschichtigen Keramiksubstrats |
| JP2008203490A (ja) * | 2007-02-20 | 2008-09-04 | Seiko Epson Corp | プロジェクタ |
| US8150142B2 (en) | 2007-04-02 | 2012-04-03 | Prime Sense Ltd. | Depth mapping using projected patterns |
| WO2008144370A1 (en) | 2007-05-16 | 2008-11-27 | Honda Motor Co., Ltd. | Camera-projector duality: multi-projector 3d reconstruction |
| WO2010019925A1 (en) * | 2008-08-15 | 2010-02-18 | Brown Technology Partnerships | Method and apparatus for estimating body shape |
| JP5287066B2 (ja) | 2008-09-12 | 2013-09-11 | セイコーエプソン株式会社 | プロジェクタおよびその制御方法 |
| JP2010078974A (ja) * | 2008-09-26 | 2010-04-08 | Panasonic Corp | 投射型表示装置 |
| JP2010243890A (ja) | 2009-04-08 | 2010-10-28 | Seiko Epson Corp | プロジェクター、プログラムおよび情報記憶媒体 |
| US8442016B1 (en) * | 2009-05-05 | 2013-05-14 | Marvell International Ltd. | Co-existance of bluetooth and wireless local area network |
| JP5567908B2 (ja) * | 2009-06-24 | 2014-08-06 | キヤノン株式会社 | ３次元計測装置、その計測方法及びプログラム |
| US8355601B2 (en) | 2010-01-15 | 2013-01-15 | Seiko Epson Corporation | Real-time geometry aware projection and fast re-calibration |
| US8405680B1 (en) * | 2010-04-19 | 2013-03-26 | YDreams S.A., A Public Limited Liability Company | Various methods and apparatuses for achieving augmented reality |
| KR101657120B1 (ko) * | 2010-05-06 | 2016-09-13 | 엘지전자 주식회사 | 이동 단말기 및 이것의 영상 디스플레이 방법 |
| JP5609561B2 (ja) * | 2010-11-10 | 2014-10-22 | ソニー株式会社 | 投影装置 |
| JP2012103113A (ja) * | 2010-11-10 | 2012-05-31 | Honda Motor Co Ltd | 測定装置、位置測定システム、測定方法、較正方法及びプログラム |
| CN102109745A (zh) * | 2011-01-21 | 2011-06-29 | 鸿富锦精密工业（深圳）有限公司 | 具有亮度调整功能的投影装置及方法 |
| US9329469B2 (en) * | 2011-02-17 | 2016-05-03 | Microsoft Technology Licensing, Llc | Providing an interactive experience using a 3D depth camera and a 3D projector |
| US8760499B2 (en) * | 2011-04-29 | 2014-06-24 | Austin Russell | Three-dimensional imager and projection device |
| US8570372B2 (en) * | 2011-04-29 | 2013-10-29 | Austin Russell | Three-dimensional imager and projection device |
| JPWO2012173001A1 (ja) * | 2011-06-13 | 2015-02-23 | シチズンホールディングス株式会社 | 情報入力装置 |
| US9117274B2 (en) * | 2011-08-01 | 2015-08-25 | Fuji Xerox Co., Ltd. | System and method for interactive markerless paper documents in 3D space with mobile cameras and projectors |
| US9520072B2 (en) * | 2011-09-21 | 2016-12-13 | University Of South Florida | Systems and methods for projecting images onto an object |
| US20130229396A1 (en) * | 2012-03-05 | 2013-09-05 | Kenneth J. Huebner | Surface aware, object aware, and image aware handheld projector |
| US9275302B1 (en) * | 2012-08-24 | 2016-03-01 | Amazon Technologies, Inc. | Object detection and identification |
| US8855404B2 (en) * | 2012-08-27 | 2014-10-07 | The Boeing Company | Methods and systems for inspecting a workpiece |
| US8979271B2 (en) * | 2012-09-25 | 2015-03-17 | Google Inc. | Facilitation of temperature compensation for contact lens sensors and temperature sensing |
| US9239627B2 (en) * | 2012-11-07 | 2016-01-19 | Panasonic Intellectual Property Corporation Of America | SmartLight interaction system |
| US20140168261A1 (en) * | 2012-12-13 | 2014-06-19 | Jeffrey N. Margolis | Direct interaction system mixed reality environments |
-
2012
- 2012-12-28 US US14/758,121 patent/US10819962B2/en active Active
- 2012-12-28 EP EP12816676.6A patent/EP2939423A1/en not_active Withdrawn
- 2012-12-28 JP JP2015549997A patent/JP6290922B2/ja active Active
- 2012-12-28 WO PCT/EP2012/077060 patent/WO2014101955A1/en active Application Filing
- 2012-12-28 CN CN201280078216.9A patent/CN105027562B/zh active Active
-
2020
- 2020-09-22 US US17/028,360 patent/US11652965B2/en active Active
Non-Patent Citations (2)
| Title |
|---|
| Laser Pointer Tracking in Projector-Augmented Architectural Environment;Daniel Kurz等;《Mixed and augmented reality，2007.ISMAR 2007.6TH IEEE and ACM international symposium on，IEEE，piscataway，NJ，USA》;20071231;参见摘要到章节5 |
| Performance evaluation for full 3D projector calibration methods in spatial augmented reality;Michael Korostelev;《学士论文》;20110831;参见摘要、第52-85页 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2939423A1 (en) | 2015-11-04 |
| WO2014101955A1 (en) | 2014-07-03 |
| US10819962B2 (en) | 2020-10-27 |
| US11652965B2 (en) | 2023-05-16 |
| JP2016509394A (ja) | 2016-03-24 |
| US20150350618A1 (en) | 2015-12-03 |
| JP6290922B2 (ja) | 2018-03-07 |
| CN105027562A (zh) | 2015-11-04 |
| US20210076014A1 (en) | 2021-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105027562B (zh) | 用于将数字信息投影到真实环境中的真实对象上的方法和*** | |
| CN104937635B (zh) | 基于模型的多假设目标追踪器 | |
| US7671875B2 (en) | Information processing method and apparatus | |
| JP5587137B2 (ja) | 測定装置及び測定方法 | |
| CN103959012B (zh) | 6自由度位置和取向确定 | |
| US9229540B2 (en) | Deriving input from six degrees of freedom interfaces | |
| Choppin et al. | The potential of the Microsoft Kinect in sports analysis and biomechanics | |
| CN109949899A (zh) | 图像三维测量方法、电子设备、存储介质及程序产品 | |
| US20120242800A1 (en) | Apparatus and system for interfacing with computers and other electronic devices through gestures by using depth sensing and methods of use | |
| US20110292036A1 (en) | Depth sensor with application interface | |
| JP2011179910A (ja) | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム | |
| CN109313821A (zh) | 三维对象扫描反馈 | |
| EP3283938A1 (en) | Gesture interface | |
| Guidi et al. | 3D capturing performances of low-cost range sensors for mass-market applications | |
| Bueno et al. | Metrological evaluation of KinectFusion and its comparison with Microsoft Kinect sensor | |
| Castaneda et al. | Time-of-flight and kinect imaging | |
| CN111667526A (zh) | 用于确定环境中的多个对象的尺寸和距离的方法和设备 | |
| Molnár et al. | Accuracy test of Microsoft Kinect for human morphologic measurements | |
| Deng et al. | Registration of multiple rgbd cameras via local rigid transformations | |
| Boehm | Natural user interface sensors for human body measurement | |
| JP6770208B2 (ja) | 情報処理装置 | |
| JP2004272515A (ja) | インタフェース方法、装置、およびプログラム | |
| CN106502379B (zh) | 一种交互方法及交互***、相对深度的获取方法 | |
| Jo et al. | Tracking and interaction based on hybrid sensing for virtual environments | |
| CN110288714A (zh) | 一种虚拟仿真实验*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20180420 Address after: American California Applicant after: Apple Computer, Inc. Address before: Munich, Germany Applicant before: METAIO GmbH |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |