CN102638692B - 降低多个红外深度相机之间的干扰 - Google Patents
降低多个红外深度相机之间的干扰 Download PDFInfo
- Publication number
- CN102638692B CN102638692B CN201210021241.5A CN201210021241A CN102638692B CN 102638692 B CN102638692 B CN 102638692B CN 201210021241 A CN201210021241 A CN 201210021241A CN 102638692 B CN102638692 B CN 102638692B
- Authority
- CN
- China
- Prior art keywords
- source
- camera
- light pattern
- depth
- controller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims abstract description 43
- 230000033001 locomotion Effects 0.000 claims abstract description 24
- 230000005855 radiation Effects 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 abstract description 6
- 230000001351 cycling effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 19
- 238000003860 storage Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B9/00—Measuring instruments characterised by the use of optical techniques
- G01B9/08—Optical projection comparators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
Abstract
描述了用于降低多个红外深度相机之间的干扰的各***和方法。在一个实施例中,***包括多个红外源,其中每一红外源将结构化光图案投影到环境中。控制器用于控制这些源,以便降低由重叠光图案导致的干扰。描述的各种方法包括:在不同源之间循环,其中,所使用的循环可以是固定的或可基于使用相机所检测的场景来动态地改变;设置每一源的波长,使得重叠图案处于不同波长;以独立的运动模式移动源-相机对;以及调整所投影的光图案的形状来使重叠最小化。这些方法还可按任何方式相组合。在另一实施例中,***包括单个源,并且使用镜像***将所投影的结构化光图案投射到环境四处。
Description
技术领域
本发明涉及深度相机,尤其涉及降低多个红外深度相机之间的干扰。
背景技术
红外(IR)深度相机将不可见IR结构化光图案投影到IR相机所检测的环境中。环境内的物体造成相机所见的结构化光图案中的变形,结构化光图案中的变形相比于光源是离轴的,且这些变形可用于解析关于场景的深度信息。然而,这些相机具有有限的视野,且提供来自单个视点的深度信息,使得接近于深度相机的物体可遮挡环境的很大部分。
一种扩展可被绘图的环境区域的解决方案是使用不止一个IR深度相机。这从不同角度提供了场景的视图,且使物体的360°模型能够被构建,但在结构化光图案重叠的情况下,每一IR深度相机的准确度被降级。
以下描述的各实施例不限于解决已知的IR深度相机***的缺点中的任一个或全部的实现。
发明内容
下面呈现了本发明的简要概述,以便向读者提供基本理解。本发明内容不是本发明的详尽概述,并且不标识本发明的关键/重要元素,也不描述本发明的范围。其唯一的目的是以简化形式呈现此处所公开的精选概念,作为稍后呈现的更详细的描述的序言。
描述了用于降低多个红外深度相机之间的干扰的各***和方法。在一个实施例中,***包括多个红外源,其中每一红外源将结构化光图案投影到环境中。控制器用于控制这些源,以便降低由重叠光图案导致的干扰。描述的各种方法包括:在不同源之间循环,其中所使用的循环可以是固定的或可基于使用相机所检测的场景来动态地改变;设置每一源的波长,使得重叠图案处于不同波长;以独立的运动模式来移动源-相机对;以及调整所投影的光图案的形状来使重叠最小化。这些方法还可按任何方式相组合。在另一实施例中,***包括单个源和用于在环境四处投射所投影的结构化光图案的镜像***。
通过结合附图参考以下详细描述,可更易于领会并更好地理解许多附带特征。
附图说明
根据附图阅读以下具体实施方式,将更好地理解本发明,在附图中:
图1示出红外深度相机***的示意图以及示出该深度相机***的示例部署的房间的透视图;
图2是诸如图1中所示的深度相机***的操作的示例方法的流程图;
图3示出降低源之间的干扰的示例方法的流程图以及源-相机对的示意图;
图4示出源和/或相机的操作的三个示例时序图;
图5示出红外深度相机***的另一示例的示意图以及示出该深度相机***的示例部署的房间的另一透视图;
图6和7示出降低源之间的干扰的又一些示例方法的流程图;
图8示出红外深度相机***的又一示例的示意图以及示出该深度相机***的示例部署的房间的又一透视图;
图9示出降低源之间的干扰的另一示例方法的示意图;
图10示出包括单个源和多个相机的红外深度相机***的示意图;以及
图11示出可在其中实现本文所描述的各控制方法的实施例的示例性的基于计算的设备;
在各个附图中使用相同的附图标记来指代相同的部件。
具体实施方式
下面结合附图提供的具体实施方式旨在作为本发明示例的描述,并不旨在表示可以构建或使用本发明示例的唯一形式。本描述阐述了本发明示例的功能,以及用于构建和操作本发明示例的步骤的序列。然而,可以通过不同的示例来实现相同或等效功能和序列。
图1示出红外深度相机***100的示意图以及示出该深度相机***100的示例部署的房间102的透视图。图2是图1中所示的深度相机***100的操作的示例方法的流程图。***100包括多个红外(IR)相机104和多个IR源106(在图中作为示例仅示出四个相机和四个源)。每一IR源(或照明器)106被安排成投影结构化光图案,该结构化光图案随后由IR相机104中的一个或多个来检测。在图1中所示的示例实现中,这些源106和相机104被安排成包括一个源106和一个相机104的各个对(称为源-相机对),这些对可被集成在单个外壳108(可被称为深度相机单元)内,但在其他实现中,这些源106和相机104可以是离散的单元,且可存在不同数量的源和相机(例如,如其中存在多个相机和单个源的图10中所示)。源106和相机104连接到控制器,该控制器为计算设备(例如,PC或游戏控制台)。源106和相机104可经由有线或无线链路来连接到控制器110,且源106和相机104可以是位置固定的或移动的(或其任意组合)。
在图1中房间102的透视图中,虚线112给出了对相机104中的每一个的视野的指示,且在这一实现中,每一相机104的视野与至少一个其他相机的视野部分地重叠。如果由IR源106投影的结构化光图案被安排成覆盖其相关联的相机的至少整个视野(例如,在源-相机对中,源投射结构化光图案,该结构化光图案覆盖相关联的相机的至少整个视野),则来自图1中不同的源106的结构化光图案也将至少部分地重叠。在这些结构化光图案重叠的情况下,深度计算的准确度将降低,因为由相机检测到的IR图案将被假设为源自单个源(而非来自产生重叠图案的多个源)。为降低可由重叠结构化光图案引起的任何干扰(还可被称为图案之间的串扰),控制器110控制IR源106(框202),使得每一相机在任何时间只看见单个投影的光图案。存在可以控制源以便降低可使深度确定的准确度降级的任何干扰影响的许多方式,下文描述了各种示例。深度计算本身基于在控制器110处从每一相机接收到的信号来作出(框204)。
在可参考图3和4描述的第一示例中,控制器110控制源106,使得在任一时间只有一个源照明房间(或场景/环境)的给定部分。这具有以下效果:每一IR相机在任何时间只看见一个照明源。在所有投影的光图案重叠的情况下(例如,如图1的安排中),控制器可在所有结构化光源之间循环(图3的框302),且这在图4所示的示例时序图的第一部分401中示出。这一时序图示出图1所示的四个源106中的每一个的操作,且在该图的第一部分401中,源中的每一个依次(1、然后2、然后3)在一段时间内照明房间(在图4中被示为“开”),并且在时间的任何时刻,只有源中的一个正照明房间,而其他三个源不照明房间(在图4中被示为“关”)。
与在结构化光源之间循环使得在任何时间只有一个源照明环境的给定部分(在框302中)相并行,控制器还可控制相机104的操作(框303),使得在源-相机对中,仅在该源正投影结构化光图案时相机是可操作的,即,相机的时序图可与源的时序图相同。然而,在替换实现中,相机在所有时间都是可操作的,且可从不止一个源所生成的图案中获取深度信息,但一次只从一个源获取。在这样的实现中,图3中的框303被省略,且可在每一结构化光源和每一相机之间执行校准。在一示例中,这一校准可作为相机的任何标准校准的部分来包括,以便学***移)是已知的情况下,这一信息可被用于评估来自第一源-相机对中的源的结构化光图案在第二源-相机对的相机中会如何显现,且可以不要求附加的相机校准(例如,仅要求对单个源的标准校准)。在一示例中,这一平移信息可使用移动深度相机来获取,如与本申请同日提交的题为“Using athree-dimensional environment model in gameplay(在玩游戏中使用三维环境模型)”的共同待审美国专利申请中所描述的,该申请通过引用整体结合于此。
在所有投影的结构化光图案与每一其他投影的图案都不重叠的情况下,控制器仍可在所有的源之间循环(如图4的401部分所示),但另选地,控制器可在投影重叠图案的源之间循环或执行任何形式的时分复用,使得每一IR相机在任何时间只看见一个照明源。例如,存在四个源,即A、B、C和D,且来自A和C的图案重叠,而来自B和D的图案重叠(但来自A和C的图案不与来自B和D的图案重叠),在这种情况下,控制器可每次操作各对的源,例如,A和B,之后是C和D,之后是A和B等等。
为了使源停止在特定时间点用结构化光图案照明房间,控制器可关闭该源内的IR发射器,该发射器例如可以是LED(发光二极管)或VECSEL(垂直外部腔表面发射激光器)。另选地,快门301可用于阻挡结构化光源的发射,如图3中的示意图300中所示。快门可仅阻挡IR源106,或另选地还可阻挡相关联的IR相机104的视野,使得在源-相机对中,相机的视野被快门301遮挡,除非源正将结构化光图案投影到环境的时候。在使用快门的情况下,这一快门在控制器110的控制下操作。在另一示例中,相机前可电子地切换的透镜可用于通过调制透镜的焦点来实现相同功能(例如,以代替快门)。例如,可使用可动态切换的透镜,该透镜可在正常的“房间焦点”与模糊的“失焦”模式之间变化。只有那些在正确聚集期间可见的图像随时间变为被集成到相机像素,而失焦部分将一般的模糊背景添加到图像。另外地或替换地,可使用这样的透镜来替换源前面的快门,因为投影完全模糊的图案与关闭投影的图案具有相同效果。这一安排在某些情况下可能比使用快门更有弹性,因为透镜没有吸收光能。使用中,快门将吸收光能,且这可导致快门变热,并且可能导致快门故障。
循环经过各源的序列可以是固定的(例如,A、B、C、D、A、B、C、D、A...等),或另选地,控制器可响应于检测到的场景来动态地调整循环,如图3的框304和图4中上部的时序图400中所示。例如,在场景的该部分中没有东西正在移动的情况下,控制器可仅以几赫兹(Hz)来采样(即,打开结构化光源,并使用相机来检测图案),并且可使用额外的帧来增加对增加的活动的区域的采样速率。在一示例中,感兴趣区域算法可用于确定对哪些源-相机对或场景的哪些部分应比其他对/部分更频繁地采样,且运动只提供可用于调整IR源的循环的一个示例准则(在框304中)。例如,可使用用于身体部位检测的Exemplar算法,之后是对身体上一次朝向哪里的评估以决定激活哪些相机。
在某些示例中,源-相机对可用于生成环境的密集3D模型。在这种情况下,控制器可根据所生成的密集3D模型来动态地调整循环。例如,密集3D模型的某些区域可能是不完整的,或与密集3D模型的其他区域相比较不完整。在该情况下,控制器可动态地调整循环,使得捕捉用于完成3D模型所需信息的那些源-相机对的采样速率更为频繁。所生成的3D模型质量的任何统计或指示符可用作对控制器的输入。在一示例中,环境的3D体积表示的距离变换的变化率可用作对控制器的输入。在源-相机对正捕捉与其3D模型是含噪声的、不完整的、或包括更精细细节的环境的区域有关的信息的情况下,这可用于使得这些源-相机对更活跃。
参考图4中上部的示例时序图400,在第一部分401中,控制器循环经过所有的源,因此场景的每一视图都被给予基本相同的时间量以供深度检测。然而,在第二部分402中,给予第一源(源1)优先级,并且例如这可能是因为控制器确定在第一源-相机对所检测的场景中存在移动且在其他源-相机对所检测的场景中没有移动。例如,这可能是因为用户正面朝这一源-相机对站立且在它们面前移动他们的手。在该时序图的第三部分403中,给予源3和4优先级,且源1和2较不频繁地照明该场景(例如,因为用户已经转向,使得其姿势现在对相机3和4可见而对相机1和2不可见)。
在这一示例的变型中,可仅在初始操作阶段使用多个源-相机对,来生成背景的高分辨率深度图,且在这之后,可仅使用单个源-相机对,如图4中间的时序图410中所示。在这一示例中,个人可以正在玩游戏,游戏使用源-相机对来向游戏提供用户输入,其中游戏的图形用户界面显示在诸如电视机等大显示器114上,如图1的安排中所示。在游戏的初始阶段411,所有四个源-相机对可用于通过循环经过这些源来捕捉房间的高分辨率视图(如图3的框302中),随后在玩游戏期间412,可仅使用位于与显示器114相同墙壁的源-相机对来捕捉玩游戏的个人的运动(在图4所示的示例中为源1)。这使得背景能够以高准确度来扫描(在初始阶段411),而在结构化光图案之间没有任何干扰,且仍然提供较高的帧速率供玩游戏期间(阶段412)的运动检测。
在又一变型中,如图4的下部示例时序图420中所示,控制器可在初始阶段411期间循环经过多个源(如上所述)以生成背景的高分辨率深度图,但在第二阶段421期间(在以上示例中为玩游戏期间),所有的源都打开(且不采用措施来消除干扰)。这提供了较高的帧速率供第二阶段中的运动检测,且在前景物体(诸如用户)正在移动的情况下,这些前景物体较不可能被多个不同的源照明,因为它们更接近于这些源中的一个(并且因此干扰影响可能较不显著)。
在降低由重叠结构化光图案导致的干扰的第一示例方法的另一变型中,(如以上图3和4所描述的),源和相机前的快门(例如,图3中的快门301)两者的高速伪随机调制可用于衰减相对于想要的信号(即,来自该源所投影的结构化光源的信号)的不想要的信号(即,来自其他可能重叠的结构化光图案的那些信号)。在这一变型中,对于每一源-相机对,使用不同的调制模式(或方案),且如上所述,源内的IR发射器可被直接调制、或在发射器(或源)前面使用快门,以阻止结构化光图案的投影。如图3的示意图300中所示,在示例实现中,可在源106和相机104两者前面使用单个快门301。如以上参考先前示例方法所描述的,在可修改焦点的情况下,可在这一示例中使用可电子切换的透镜来代替快门以及描述快门的使用的任何后续示例。
对于相机,存在的另一替换方案是在相机前面具有快门。这一替换方案是在芯片级使用捕捉的电子快门,即,相机像素仅在被电子激活时才集成信号,且为此可将合适的电路合并在相机芯片中。这可以是全局函数(即,全局信号,该全局信号可交替冻结或激活相机图像中所有像素的传入光集成),但还可被带到像素级(即,可以电子地打开或关闭对各个像素的光捕捉的集成)。
在降低由重叠结构化光图案导致的干扰的第二示例方法中,源波长可被控制,使得不同的照明图案使用不同的IR波长,(在图5的示意图中为λ1-λ4)。源所使用的供投影结构化光图案的波长可被称为其操作波长。每一相机104可以用波长选择性滤波器502来装配,使得它只看见单个照明图案,例如,源-相机对中源504-507所发射的波长的图案。在***被安装时,对(由源504-507)所发射的波长的控制以及对相机滤波器502的波长的控制可手动地执行,或另选地,通过使用可调节元素或从以不同波长操作的元素集(例如,发射器、源、相机、和/或滤波器)中选择,波长控制可以是动态的。如图6的示例流程图中所示,一个选项是在设置时调节每一源-相机对的波长,使得重叠图案处于不同的波长(框602),而另一选项是从单个外壳内不同波长的源和/或相机的集合中选择特定的源和/或相机(框604)。这一调节或选择可在控制器110的控制下电子地执行。图5中的***框图示出单个外壳508,该单个外壳508包括不同波长的多个源510-513以及单个相机514,该单个相机514包括电子可调节波长滤波器。在设置阶段中,控制器可选择源510-513中的一个(框604),并将相机514中的滤波器(框602)调节到所选择的源的波长。另选地,可能存在多个滤波器,其中每一个对应于源510-513的波长中的每一个,且安装在可移动(例如,可旋转)的外壳中,使得可以用与所选择的源相同的波长来选择滤波器,随后可将所选择的滤波器移动到相机前的位置。在另一变体中,可能存在不同波长的多个源510-513和多个相机,其中每一相机以源510-513的波长中的每一个波长来操作,且可在每一外壳508内选择特定波长的源-相机对。
图7中示出了降低由重叠结构化光图案导致的干扰的第三示例方法,该第三示例方法是图2中所示且在上文中描述的流程图的修改版本。在这一示例中,通过以与带重叠光图案的任何其他源-相机对的运动不同的方式来移动每一源-相机对,来降低投影的结构化光图案之间干扰的影响(框702)。在如图8所示的示例部署中,所有的四个光图案相重叠,且因此外壳808内每一源-相机对根据不同的运动模式801-804来移动。如图8中下部的示意图800所示,每一外壳808还包括光路移动设备810或用于生成源-相机对的所需运动的其他装置。例如,光路移动设备810可以是能够移动源-相机对的光路的马达、电机设备、电光设备、或静电设备。如果源-相机对四处移动,则它将看见环境以对应的方式移动,但照明图案相对于相机将是固定的。可能已经由投影重叠结构化光图案(无论固定的还是移动的)的其他源引起的噪声往往会被拒绝或被模糊掉,因为该噪声不会一致地相关,因为环境的3D模型是使用来自源-相机对的深度数据来构建的。该运动模式可以位于单轴或多轴。在一示例中,源-相机对可以各自以独立方式摇动,而在另一示例中,源-相机对可更慢地移动,例如,通过将它们从一侧向另一侧扫描。因此,这一示例方法使用运动来除一个照明图案之外模糊所有其他照明图案,该一个照明图案由刚性地绑定到相机且与相机(即,源-相机对中的另一半)共享相同运动的源来产生。
在该第三示例方法的实现中,每一源-相机对的运动在***的操作期间可以是连续的,使得不存在运动死点。例如,圆周运动在时间上是连续的,而上下运动在运动上具有源-相机对在那里反转其运动的两点(在顶部和底部极端处),因此,如果在该特定时刻另一相机对该图案进行成像,则存在小的可能性:该图案实际上没被看到在移动。
另外,针对源-相机对所使用的运动模式可在各源-相机对之间进行适应性地分配或同步,使得相邻的源-相机对不共享共同运动频率/速度。例如,可以向相邻的源-相机对分配圆周速度,该圆周速度不共享共同的可检测谐波(例如,一对可以按100Hz的圆来移动,而相邻的对可以按101Hz的圆来移动)。
在降低重叠结构化光图案所导致的干扰的第四示例方法中,控制器可使用快门或可调光圈来控制来自源中的一个或多个的投影的结构化光图案的形状。快门可以是电子的、电机的、静电的、或任何种类的电光设备。如图9的示意图所示,通过降低投射的光图案的角度,可降低或消除图案的重叠。在图9中,每一源的发射角度(且由此投影的光图案的覆盖)已经从虚线902所示的角度降低到实线904所示的角度,在实线904所示的角度没有发生重叠。然而,从图9中可见,通过降低发射角度,存在不再被任何源覆盖的场景部分,且由此在这些部分中深度信息将不可用。这可通过以下方式来解决:以协调的运动来使三个源-相机对906一起从一侧向另一侧扫描(如箭头908所指示的),使得图案保持不重叠,但它们一起扫描通过整个感兴趣的体积(例如,整个房间)。
在该第四示例方法的变型中,图案的重叠可被最小化但不被消除。在这样的示例中,源-相机对的子集(或仅仅是源的子集)可按垂直扫描模式来移动,而源-相机对(或仅仅是源)的另一子集可按水平扫描模式来移动,这导致短时间段的小区域重叠。
上述扫描或选择性投影方法可使用诸如数字微镜设备(DMD)/数字光处理(DLP)投影仪之类的投影仪作为源来实现,因为这样的设备实际上是以像素级安排的快门。
在降低重叠结构化光图案所导致的干扰的又一示例方法中,单个照明源1004可结合多个IR相机1006来使用,如图10所示。镜子1002的安排可用于将结构化光图案反射(或投射)到房间四处(例如,以“迪斯科舞会”的样式安排),或另选地,照明源1004可安装在可移动(例如,可旋转)底座上,使得该照明源1004在房间中四处扫描,并且在这样的实现中,相机1006的操作可与单个照明源1004的运动同步。
除了使用上述各技术中的任一个以外,每一外壳108、508、808(也可被称为深度相机单元)也可包括以可见光谱操作的相机(例如,分辨率为640x480的VGA相机),且来自这一相机的RGB数据(假定深度相机和RGB相机彼此校准)可用于区分噪声与实际物体,从而利用RGB图像中的纹理一致性,其中在深度图中存在空洞(例如,由于干扰区域中非常差的深度数据)。例如,如果RGB图像是平滑的(在颜色或纹理上)但在深度图中存在(小)空洞,则该空洞可通过“泛色填充”或通过使用其他相似的方法来填充,这些其他相似的方法使用来自空洞轮廓点或小的局部区域的有效深度测量。空洞的存在还可提供关于信号中噪声量的信息,因为这些空洞一般是相机(由于干扰)无法与可识别的图案相关的结果。RGB信息还可用于帮助选择使用哪个相机和/或光源。
图11示出了可以实现为计算和/或电子设备的任何形式的,且可以作为如以上各示例中所描述控制器110来操作的示例性基于计算的设备1100的各种组件。
基于计算的设备1100包括一个或多个处理器1102,该一个或多个处理器可以是用于处理计算可执行指令以控制设备的操作以便控制多个红外源1104来降低从每一源所投影的结构化光图案之间的干扰的微处理器、控制器、或任何其他合适类型的处理器。在一些示例中,例如在使用片上***架构的示例中,处理器1102可以包括一个或多个固定功能块(亦称加速器),这些块以硬件(而非软件或固件)来实现控制方法的一部分。可以在基于计算的设备处提供包括操作***1106的平台软件或任何其他合适的平台软件以使得应用软件1108-1114能够在该设备上执行。应用软件可包括源控制模块1110、深度计算模块1112、以及其中可使用所计算的深度信息的游戏1114或其他应用。
可以使用可由基于计算的设备1100访问的任何计算机可读介质来提供计算机可执行指令。计算机可读介质可以包括例如诸如存储器1116等计算机存储介质和通信介质。诸如存储器1116等计算机存储介质包括以用于存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于,RAM、ROM、EPROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光存储、磁带盒、磁带、磁盘存储或其他磁存储设备,或者可用于存储信息以供计算设备访问的任何其他非传输介质。相反,通信介质可以以诸如载波或其他传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或者其他数据。如本文所定义的,计算机存储介质不包括通信介质。
虽然在基于计算的设备1100中示出了计算机存储介质(存储器1116),然而应当理解,该存储可以是分布式的或位于远程并经由网络(例如,网络1118)或其他通信链路(例如,使用通信接口1120)来访问。在某些示例中,控制功能可以按跨多个基于计算的设备的分布式方式来实现,且在这样的实现中,通信接口1120可用于发现其他设备以及通过网络1118与其他设备连接。
基于计算的设备1100还包括被安排成向IR源1104发送控制信号以及从多个IR相机1124接收信号的输入/输出控制器1122。如上所述,源1104和相机1124可以按源-相机对来安排,每一源-相机对共同位于单个外壳1126中。输入/输出控制器1122还可被安排成向可与基于计算的设备1100分开或集成在一起的显示设备1128输出显示信息。该显示信息可(例如,为操作***1106、游戏1114或其他应用软件1108-1112)提供图形用户界面。输入/输出控制器1122还可被安排成接收并处理来自一个或多个设备的输入,如用户输入设备1130(例如,游戏控制器、鼠标或键盘)。这一用户输入可用于玩游戏1114。在一实施例中,如果显示设备1128是触敏显示设备,则它还可担当用户输入设备1130。
输入/输出控制器1122还可被安排成向与源-相机对共同位于外壳1126内的马达(图11中未示出)输出控制信号,其中马达用于降低干扰(例如,如以上参考图7和8所描述的)。输入/输出控制器1122还向除显示设备之外的设备输出数据,例如,本地连接的打印设备(图11中未示出)。
可以理解,图11中的双向箭头所示的连接旨在指示计算设备的各元素之间可能的连接,以及各元素之间的通信可经由其他路线,且通信可以是单向或双向的。另外,元素之间的链接可以经由物理连接(例如,通过线缆)或可以是无线的(例如,源1104和相机1124、或源-相机对可通过WiFi或蓝牙或可使用另一无线协议来与计算设备1100通信)。
上述示例使用IR源和IR相机;然而,可以理解,在其他示例中,使用其他人类可见或不可见波长(例如,紫外线)的源和相机可用于提供结构化光图案和对该图案的相机捕捉。
虽然此处将各示例描述并示出为在基于房间的***中实现以供游戏中使用,但是所描述的***只是作为示例而非限制来提供的。本领域技术人员将理解,本发明的各示例适于在各种不同类型的***中应用,且适于许多不同的应用(例如,适于任何虚拟/增强现实应用、遥现等)。
此外,尽管在以上所示的示例中,示出了单个控制器110,但控制器的功能可跨多个基于计算的设备来分布,例如,某些源的控制功能可通过一个控制器来执行,而其余的源可由第二控制器来控制。这两个控制器可进行通信以便协调其动作(例如,使用诸如无线电、有线通信或对光信号的全球调制和检测)。在这样的示例中,一个控制器可以是主设备而其他控制器可充当该主控制器的从设备,且在某实施例中,主设备的角色可以是深度相机单元中的一个的动态地分配的功能。
在另一示例中,源/相机组件可用于执行这一分布式时序/同步机制。在这样的示例中,当源-相机对通电时,它首先监视场景(不照明该场景),从可能已经在其视野中操作的一个或多个源-相机对中寻找某一种类的帧同步图案(或清晰的广播时槽)。例如,然后源-相机对可通过光学地发信号(例如,通过照明)来通知其存在,来将其自身***时序中。在一示例中,这一发信号通知可通过在广播时槽期间照明重叠区域来执行。已经在操作的那些源-相机对可注意到的这一“我想加入”信号触发了这些源-相机对以扩展其时序,以便容纳新通电的源-相机对的新时间槽,而广播/同步槽被保留以允许其他源-相机对进一步加入。通过使用源-相机对代替带外通信,相对独立的源-相机对的组可被标识。例如,大房间远端处的一组源-相机对将能够得出它们不会与房间近端处的一组源-相机对相干扰或重叠。
以上各示例描述了覆盖单个房间的深度相机***;然而,在其他示例中,该***可覆盖诸如跨整个建筑物等更大区域。在这样的示例中,可存在更多的源-相机对(或深度相机单元),且***可使用分布式时钟同步或集中式控制器来最小化个体相机/源时序和网络等待时间中的变型的任何影响。在一示例中,所有相机可被锁定到共同定时基准。
还可以理解,尽管各示例中的每一个在上文中分开地描述,但各技术中的任一个可与所描述的其他技术中的一个或多个组合使用。例如,可使用时分复用(以上参考图3和4描述的)与波分复用(以上参考图5和6描述的)的组合,其中存在许多带有重叠视野的源-相机对,以便降低各源之间所需循环的复杂性并增加房间的任何特定部分的帧速率。例如,参考图5所示的安排,代替以四个不同波长(λ1-λ4)操作的四个源504-507,可使用两个波长(λ1-λ2),以及以波长中的每一个来操作的两个源,并且然后控制器可在以λ1操作的源和以λ2操作的源之间循环。
上述各方法降低了重叠结构化光图案所导致的干扰,这些结构化光图案是由IR相机在使用这些图案来在环境中检测深度时检测到的。所描述的各技术使得在存在多个深度相机的情况下每一深度相机能够以其理想的性能水平或接近其理想的性能水平来操作。
此处所使用的术语“计算机”是指带有处理能力使得它可以执行指令的任何设备。本领域的技术人员将认识到,这样的处理能力被集成到许多不同的设备中,因此,术语“计算机”包括PC、服务器、移动电话、个人数字助理和许多其他设备。
本文描述的方法可由有形存储介质上的机器可读形式的软件来执行,例如计算机程序的形式,该计算机程序包括在该程序在计算机上运行时适用于执行本文描述的任何方法的所有步骤的计算机程序代码装置并且其中该计算机程序可被包括在计算机可读介质上。有形(或非瞬态)存储介质的示例可包括盘(disk)、拇指型驱动器、存储器等,而不包括所传播的信号。软件可以适合于在并行处理器或串行处理器上执行,使得各方法步骤可以以任何适当的顺序实现,或同时实现。
这确认了软件可以是有价值的、可单独交易的商品。它旨在包含运行于或者控制“哑”或标准硬件以实现所需功能的软件。它还旨在包含例如用于设计硅芯片,或者用于配置通用可编程芯片的HDL(硬件描述语言)软件等“描述”或者定义硬件配置以实现期望功能的软件。
本领域的技术人员将认识到,用来存储程序指令的存储设备可以分布在网络上。例如,远程计算机可以存储被描述为软件的进程的示例。本地或终端计算机可以访问远程计算机并下载软件的一部分或全部以运行程序。可另选地,本地计算机可以根据需要下载软件的片段,或在本地终端上执行一些软件指令,并在远程计算机(或计算机网络)上执行另一些软件指令。本领域的技术人员还将认识到,通过利用本领域的技术人员已知的传统技术,软件指令的全部,或一部分可以通过诸如DSP、可编程逻辑阵列等等之类的专用电路来实现。
如本领域技术人员将清楚的,此处给出的任何范围或者设备值都可以被扩展或者改变而不失去所寻求的效果。
尽管用结构特征和/或方法动作专用的语言描述了本主题,但可以理解,所附权利要求书中定义的主题不必限于上述具体特征或动作。相反,上述具体特征和动作是作为实现权利要求的示例形式公开的。
可以理解,上文所描述的优点可以涉及一个实施例或可以涉及多个实施例。各实施例不限于解决所述问题中的任一个或全部的实施例或具有所述好处和优点中的任一个或全部的实施例。进一步可以理解,对“一个”项目的引用是指那些项目中的一个或多个。
此处所描述的方法的步骤可以在适当的情况下以任何合适的顺序,或同时实现。另外,在不偏离此处所描述的主题的精神和范围的情况下,可以从任何一个方法中删除各单独的框。上文所描述的任何示例的各方面可以与所描述的其他示例中的任何示例的各方面相结合,以构成进一步的示例,而不会丢失寻求的效果。
此处使用了术语“包括”旨在包括已标识的方法的框或元素,但是这样的框或元素不构成排它性的列表,方法或设备可以包含额外的框或元素。
可以理解,上面对一较佳实施例的描述只是作为示例给出并且本领域的技术人员可以做出各种修改。以上说明、示例和数据提供了对本发明的各示例性实施例的结构和使用的全面描述。虽然上文以一定的详细度或参考一个或多个单个实施例描述了本发明的各实施例,但是,在不偏离本发明的精神或范围的情况下,本领域的技术人员可以对所公开的实施例作出很多更改。
Claims (10)
1.一种深度相机***,包括:
具有至少部分地重叠的视野的多个相机(104);
多个源(106),每一个源被安排成投影结构化光图案;以及
控制器(110),所述控制器被安排成控制多个源-相机对以降低所投影的结构化光图案之间的干扰,并从所述相机中的每一个接收信号以用于深度确定,控制多个源-相机对包括控制多个源和多个相机,所述控制器还被安排成控制一个源-相机对相对于其他源-相机对的移动,使得所述源投影的结构化光图案相对于所述相机是固定的。
2.如权利要求1所述的深度相机***,其特征在于,所述多个相机包括红外相机,且所述多个源包括红外源,每一个红外源被安排成投影红外结构化光图案。
3.如权利要求1所述的深度相机***,其特征在于,所述控制器被安排成在具有重叠的结构化光图案的各源之间进行循环。
4.如权利要求3所述的深度相机***,其特征在于,所述控制器被安排成基于从所述相机中的每一个接收到的信号来动态地调整所述循环。
5.如权利要求1所述的深度相机***,其特征在于,还包括多个深度相机单元,每一单元包括至少一个源和至少一个相机,其中所述控制器被安排成设置每一深度相机单元的操作波长,使得至少某些重叠的结构化光图案处于不同的操作波长。
6.如权利要求1所述的深度相机***,其特征在于,所述控制器被安排成以一运动模式(801-804)来移动每一源-相机对,所述运动模式(801-804)与其他源-相机对的运动模式不同。
7.如权利要求1所述的深度相机***,其特征在于,所述控制器被安排成以不同的伪随机调制模式来调制每一源-相机对。
8.一种控制深度相机***的计算机实现的方法,所述***包括多个红外相机和多个红外源,且所述方法包括:
控制多个源-相机对,以降低从每一源所投影的红外结构化光图案之间的干扰(202),控制所述多个源-相机对包括控制多个红外相机和多个红外源,控制所述多个源-相机对包括控制一个源-相机对相对于其他源-相机对的移动,使得属于所述对的所述红外源投影的红外结构化光图案相对于属于所述对的所述红外相机是固定的;以及
从所述多个红外相机接收信号以用于深度确定(204)。
9.如权利要求8所述的计算机实现的方法,其特征在于,控制所述多个红外源包括在具有重叠的结构化光图案的各红外源之间进行循环(302)。
10.如权利要求9所述的计算机实现的方法,其特征在于,控制所述多个红外源还包括基于所述深度相机***的环境的密集3D模型来动态地调整供在各红外源之间进行循环所使用的循环,所述密集3D模型是使用来自所述多个红外相机的信号来形成的。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/017,518 US9247238B2 (en) | 2011-01-31 | 2011-01-31 | Reducing interference between multiple infra-red depth cameras |
US13/017,518 | 2011-01-31 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102638692A CN102638692A (zh) | 2012-08-15 |
CN102638692B true CN102638692B (zh) | 2015-05-20 |
Family
ID=46577049
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210021241.5A Active CN102638692B (zh) | 2011-01-31 | 2012-01-30 | 降低多个红外深度相机之间的干扰 |
Country Status (2)
Country | Link |
---|---|
US (2) | US9247238B2 (zh) |
CN (1) | CN102638692B (zh) |
Families Citing this family (69)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8503720B2 (en) | 2009-05-01 | 2013-08-06 | Microsoft Corporation | Human body pose estimation |
CN103229509B (zh) * | 2010-02-19 | 2016-08-17 | 双光圈国际株式会社 | 处理多孔径像数据 |
US8942917B2 (en) | 2011-02-14 | 2015-01-27 | Microsoft Corporation | Change invariant scene recognition by an agent |
US10972680B2 (en) * | 2011-03-10 | 2021-04-06 | Microsoft Technology Licensing, Llc | Theme-based augmentation of photorepresentative view |
US8760499B2 (en) * | 2011-04-29 | 2014-06-24 | Austin Russell | Three-dimensional imager and projection device |
KR101789683B1 (ko) * | 2011-06-13 | 2017-11-20 | 삼성전자주식회사 | 디스플레이 장치 및 그의 제어 방법, 그리고 리모컨 장치 |
US9071740B1 (en) | 2011-10-28 | 2015-06-30 | Google Inc. | Modular camera system |
US9537968B1 (en) | 2012-01-06 | 2017-01-03 | Google Inc. | Communication of socket protocol based data over a storage protocol based interface |
US9197686B1 (en) | 2012-01-06 | 2015-11-24 | Google Inc. | Backfill of video stream |
US9625994B2 (en) * | 2012-10-01 | 2017-04-18 | Microsoft Technology Licensing, Llc | Multi-camera depth imaging |
TWI454968B (zh) | 2012-12-24 | 2014-10-01 | Ind Tech Res Inst | 三維互動裝置及其操控方法 |
US9857470B2 (en) | 2012-12-28 | 2018-01-02 | Microsoft Technology Licensing, Llc | Using photometric stereo for 3D environment modeling |
WO2014106843A2 (en) * | 2013-01-01 | 2014-07-10 | Inuitive Ltd. | Method and system for light patterning and imaging |
US9251590B2 (en) | 2013-01-24 | 2016-02-02 | Microsoft Technology Licensing, Llc | Camera pose estimation for 3D reconstruction |
US9940553B2 (en) | 2013-02-22 | 2018-04-10 | Microsoft Technology Licensing, Llc | Camera/object pose from predicted coordinates |
GB2511863A (en) * | 2013-03-15 | 2014-09-17 | Infrared Integrated Syst Ltd | Apparatus and method for multispectral imaging |
US9953213B2 (en) * | 2013-03-27 | 2018-04-24 | Microsoft Technology Licensing, Llc | Self discovery of autonomous NUI devices |
US20140307055A1 (en) | 2013-04-15 | 2014-10-16 | Microsoft Corporation | Intensity-modulated light pattern for active stereo |
US9191643B2 (en) | 2013-04-15 | 2015-11-17 | Microsoft Technology Licensing, Llc | Mixing infrared and color component data point clouds |
US9294758B2 (en) * | 2013-04-18 | 2016-03-22 | Microsoft Technology Licensing, Llc | Determining depth data for a captured image |
EP2871843B1 (en) | 2013-11-12 | 2019-05-29 | LG Electronics Inc. -1- | Digital device and method for processing three dimensional image thereof |
US10419703B2 (en) * | 2014-06-20 | 2019-09-17 | Qualcomm Incorporated | Automatic multiple depth cameras synchronization using time sharing |
CN104567720A (zh) * | 2015-01-12 | 2015-04-29 | 浙江大学 | 消除多台Kinect结构光深度摄像机相互干涉的装置 |
DE112015006383B4 (de) | 2015-03-27 | 2019-01-03 | Fujifilm Corporation | Abstandsbild-Erfassungsvorrichtung und Abstandsbild-Erfassungsverfahren |
JP6360621B2 (ja) * | 2015-03-30 | 2018-07-18 | 富士フイルム株式会社 | 距離画像取得装置及び距離画像取得方法 |
CN107429998B (zh) * | 2015-03-30 | 2018-10-02 | 富士胶片株式会社 | 距离图像获取装置以及距离图像获取方法 |
US9948914B1 (en) * | 2015-05-06 | 2018-04-17 | The United States Of America As Represented By The Secretary Of The Air Force | Orthoscopic fusion platform |
US9544485B2 (en) | 2015-05-27 | 2017-01-10 | Google Inc. | Multi-mode LED illumination system |
US9945936B2 (en) | 2015-05-27 | 2018-04-17 | Microsoft Technology Licensing, Llc | Reduction in camera to camera interference in depth measurements using spread spectrum |
US10721420B2 (en) | 2015-06-02 | 2020-07-21 | Intel Corporation | Method and system of adaptable exposure control and light projection for cameras |
US9489745B1 (en) | 2015-06-12 | 2016-11-08 | Google Inc. | Using depth maps of a scene to identify movement of a video camera |
US9386230B1 (en) | 2015-06-12 | 2016-07-05 | Google Inc. | Day and night detection based on one or more of illuminant detection, lux level detection, and tiling |
US9235899B1 (en) | 2015-06-12 | 2016-01-12 | Google Inc. | Simulating an infrared emitter array in a video monitoring camera to construct a lookup table for depth determination |
US9554063B2 (en) | 2015-06-12 | 2017-01-24 | Google Inc. | Using infrared images of a monitored scene to identify windows |
US9886620B2 (en) | 2015-06-12 | 2018-02-06 | Google Llc | Using a scene illuminating infrared emitter array in a video monitoring camera to estimate the position of the camera |
US9454820B1 (en) | 2015-06-12 | 2016-09-27 | Google Inc. | Using a scene illuminating infrared emitter array in a video monitoring camera for depth determination |
US9626849B2 (en) * | 2015-06-12 | 2017-04-18 | Google Inc. | Using scene information from a security camera to reduce false security alerts |
US9613423B2 (en) * | 2015-06-12 | 2017-04-04 | Google Inc. | Using a depth map of a monitored scene to identify floors, walls, and ceilings |
KR102427299B1 (ko) * | 2015-08-13 | 2022-08-01 | 삼성전자주식회사 | 무선 백홀을 통해서 무선 접속망과의 연결을 제공하는 방법 및 장치 |
CN106683130B (zh) * | 2015-11-11 | 2020-04-10 | 杭州海康威视数字技术股份有限公司 | 一种深度图像获得方法及装置 |
KR20170060353A (ko) * | 2015-11-24 | 2017-06-01 | 삼성전자주식회사 | 전자 장치, 거리 측정 센서 및 그 제어 방법 |
US10257498B2 (en) | 2015-12-04 | 2019-04-09 | Empire Technology Development Llc | Coordination of multiple structured light-based 3D image detectors |
US11218688B2 (en) | 2016-01-04 | 2022-01-04 | Occipital, Inc. | Apparatus and methods for three-dimensional sensing |
US10627494B2 (en) * | 2016-09-16 | 2020-04-21 | Analog Devices, Inc. | Interference handling in time-of-flight depth sensing |
TWI678121B (zh) | 2016-10-20 | 2019-11-21 | 宏達國際電子股份有限公司 | 用於一燈塔定位系統之輔助裝置 |
US10180615B2 (en) | 2016-10-31 | 2019-01-15 | Google Llc | Electrochromic filtering in a camera |
CN110383047B (zh) * | 2016-11-20 | 2022-06-07 | 尤尼斯拜特罗有限责任公司 | 多频带成像*** |
WO2018129104A1 (en) * | 2017-01-03 | 2018-07-12 | Owlii Inc. | Processing holographic videos |
US10554958B2 (en) * | 2017-03-13 | 2020-02-04 | Microsoft Technology Licensing, Llc | Systems and methods for interleaving multiple active camera frames |
US10586383B2 (en) * | 2017-06-20 | 2020-03-10 | Microsoft Technology Licensing, Llc | Three-dimensional object scan using data from infrared sensor |
CN107580208B (zh) * | 2017-08-24 | 2020-06-23 | 上海视智电子科技有限公司 | 一种多深度测量设备的协同工作***和方法 |
CN107360415A (zh) * | 2017-09-05 | 2017-11-17 | 信利光电股份有限公司 | 一种解决3d视觉设备之间相互干扰的方法及装置 |
US11675048B2 (en) | 2017-11-30 | 2023-06-13 | Sony Semiconductor Solutions Corporation | Time-of-flight acquisition method and time-of-flight camera |
CN109996057B (zh) * | 2017-12-29 | 2021-06-18 | 技嘉科技股份有限公司 | 深度相机的控制方法及驱动装置 |
CN108089773B (zh) * | 2018-01-23 | 2021-04-30 | 歌尔科技有限公司 | 一种基于景深投影的触控识别方法、装置及投影部件 |
CN108447097B (zh) * | 2018-03-05 | 2021-04-27 | 清华-伯克利深圳学院筹备办公室 | 深度相机标定方法、装置、电子设备及存储介质 |
DE102018105219A1 (de) * | 2018-03-07 | 2019-09-12 | Ifm Electronic Gmbh | Optisches Messsystem zur tiefensensitiven Messung und dessen Verwendung |
CN108810245B (zh) * | 2018-04-23 | 2020-09-01 | 维沃移动通信有限公司 | 一种深度摄像的抗干扰方法及移动终端 |
CN108955641B (zh) * | 2018-04-23 | 2020-11-17 | 维沃移动通信有限公司 | 一种深度摄像方法、深度摄像设备及移动终端 |
EP4250753A3 (en) * | 2018-08-30 | 2023-11-01 | Veo Robotics, Inc. | Depth-sensing computer vision system |
US11747478B2 (en) * | 2019-05-15 | 2023-09-05 | Electronic Theatre Controls, Inc. | Stage mapping and detection using infrared light |
GB2584276B (en) * | 2019-05-22 | 2023-06-07 | Sony Interactive Entertainment Inc | Capture of a three-dimensional representation of a scene |
CN110072044B (zh) * | 2019-05-30 | 2021-04-16 | Oppo广东移动通信有限公司 | 深度相机的控制方法及控制装置、终端及可读存储介质 |
WO2021054342A1 (ja) * | 2019-09-20 | 2021-03-25 | ソニー株式会社 | 情報処理装置および制御方法 |
US11265387B2 (en) * | 2019-11-13 | 2022-03-01 | At&T Intellectual Property I, L.P. | Synchronizing multiple user devices in an immersive media environment using time-of-flight light patterns |
CN113542529B (zh) * | 2020-04-21 | 2024-03-12 | 安霸国际有限合伙企业 | 用于dms和oms的940nm led闪光同步 |
CN114643580B (zh) * | 2022-03-29 | 2023-10-27 | 杭州海康机器人股份有限公司 | 一种机器人控制方法、装置及设备 |
US11758077B1 (en) * | 2022-04-14 | 2023-09-12 | Varjo Technologies Oy | Employing sequences of light patterns to synchronize cameras |
DE102022128245A1 (de) | 2022-10-25 | 2024-04-25 | Vitracom GmbH | Verfahren zur selbsttätigen kalibrierung eines netzwerks von bildgebenden tiefensensoren |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5852672A (en) * | 1995-07-10 | 1998-12-22 | The Regents Of The University Of California | Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects |
US20040145722A1 (en) * | 1998-05-25 | 2004-07-29 | Kenya Uomori | Range finder device and camera |
JP2005210722A (ja) * | 2004-01-21 | 2005-08-04 | Hewlett-Packard Development Co Lp | ハイブリッド・デジタルカメラ用の照明源の自動選択 |
US20070195173A1 (en) * | 2004-09-21 | 2007-08-23 | Nikon Corporation | Portable Type Information Device |
Family Cites Families (190)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5911309B2 (ja) * | 1978-03-03 | 1984-03-14 | 日本ビクター株式会社 | カラ−テレビジヨン信号発生装置 |
US4288078A (en) | 1979-11-20 | 1981-09-08 | Lugo Julio I | Game apparatus |
US4695953A (en) | 1983-08-25 | 1987-09-22 | Blair Preston E | TV animation interactively controlled by the viewer |
US4630910A (en) | 1984-02-16 | 1986-12-23 | Robotic Vision Systems, Inc. | Method of measuring in three-dimensions at high speed |
US4627620A (en) | 1984-12-26 | 1986-12-09 | Yang John P | Electronic athlete trainer for improving skills in reflex, speed and accuracy |
US4645458A (en) | 1985-04-15 | 1987-02-24 | Harald Phillip | Athletic evaluation and training apparatus |
US4702475A (en) | 1985-08-16 | 1987-10-27 | Innovating Training Products, Inc. | Sports technique and reaction training system |
US4843568A (en) | 1986-04-11 | 1989-06-27 | Krueger Myron W | Real time perception of and response to the actions of an unencumbered participant/user |
US4711543A (en) | 1986-04-14 | 1987-12-08 | Blair Preston E | TV animation interactively controlled by the viewer |
US4796997A (en) | 1986-05-27 | 1989-01-10 | Synthetic Vision Systems, Inc. | Method and system for high-speed, 3-D imaging of an object at a vision station |
US5184295A (en) | 1986-05-30 | 1993-02-02 | Mann Ralph V | System and method for teaching physical skills |
US4751642A (en) | 1986-08-29 | 1988-06-14 | Silva John M | Interactive sports simulation system with physiological sensing and psychological conditioning |
US4809065A (en) | 1986-12-01 | 1989-02-28 | Kabushiki Kaisha Toshiba | Interactive system and related method for displaying data to produce a three-dimensional image of an object |
US4817950A (en) | 1987-05-08 | 1989-04-04 | Goo Paul E | Video game control unit and attitude sensor |
US5239464A (en) | 1988-08-04 | 1993-08-24 | Blair Preston E | Interactive video system providing repeated switching of multiple tracks of actions sequences |
US5239463A (en) | 1988-08-04 | 1993-08-24 | Blair Preston E | Method and apparatus for player interaction with animated characters and objects |
US4901362A (en) | 1988-08-08 | 1990-02-13 | Raytheon Company | Method of recognizing patterns |
US4893183A (en) | 1988-08-11 | 1990-01-09 | Carnegie-Mellon University | Robotic vision system |
JPH02199526A (ja) | 1988-10-14 | 1990-08-07 | David G Capper | 制御インターフェース装置 |
US4925189A (en) | 1989-01-13 | 1990-05-15 | Braeunig Thomas F | Body-mounted video game exercise device |
US5229756A (en) | 1989-02-07 | 1993-07-20 | Yamaha Corporation | Image control apparatus |
US5469740A (en) | 1989-07-14 | 1995-11-28 | Impulse Technology, Inc. | Interactive video testing and training system |
JPH03103822U (zh) | 1990-02-13 | 1991-10-29 | ||
US5101444A (en) | 1990-05-18 | 1992-03-31 | Panacea, Inc. | Method and apparatus for high speed object location |
US5148154A (en) | 1990-12-04 | 1992-09-15 | Sony Corporation Of America | Multi-dimensional user interface |
US5534917A (en) | 1991-05-09 | 1996-07-09 | Very Vivid, Inc. | Video image based control system |
US5417210A (en) | 1992-05-27 | 1995-05-23 | International Business Machines Corporation | System and method for augmentation of endoscopic surgery |
US5295491A (en) | 1991-09-26 | 1994-03-22 | Sam Technology, Inc. | Non-invasive human neurocognitive performance capability testing method and system |
US6054991A (en) | 1991-12-02 | 2000-04-25 | Texas Instruments Incorporated | Method of modeling player position and movement in a virtual reality system |
WO1993010708A1 (en) | 1991-12-03 | 1993-06-10 | French Sportech Corporation | Interactive video testing and training system |
US5875108A (en) | 1991-12-23 | 1999-02-23 | Hoffberg; Steven M. | Ergonomic man-machine interface incorporating adaptive pattern recognition based control system |
JPH07325934A (ja) | 1992-07-10 | 1995-12-12 | Walt Disney Co:The | 仮想世界に向上したグラフィックスを提供する方法および装置 |
US5999908A (en) | 1992-08-06 | 1999-12-07 | Abelow; Daniel H. | Customer-based product design module |
US5320538A (en) | 1992-09-23 | 1994-06-14 | Hughes Training, Inc. | Interactive aircraft training system and method |
IT1257294B (it) | 1992-11-20 | 1996-01-12 | Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori. | |
US5495576A (en) | 1993-01-11 | 1996-02-27 | Ritchey; Kurtis J. | Panoramic image based virtual reality/telepresence audio-visual system and method |
US5690582A (en) | 1993-02-02 | 1997-11-25 | Tectrix Fitness Equipment, Inc. | Interactive exercise apparatus |
JP2799126B2 (ja) | 1993-03-26 | 1998-09-17 | 株式会社ナムコ | ビデオゲーム装置及びゲーム用入力装置 |
US5405152A (en) | 1993-06-08 | 1995-04-11 | The Walt Disney Company | Method and apparatus for an interactive video game with physical feedback |
US5454043A (en) | 1993-07-30 | 1995-09-26 | Mitsubishi Electric Research Laboratories, Inc. | Dynamic and static hand gesture recognition through low-level image analysis |
US5423554A (en) | 1993-09-24 | 1995-06-13 | Metamedia Ventures, Inc. | Virtual reality game method and apparatus |
US5980256A (en) | 1993-10-29 | 1999-11-09 | Carmein; David E. E. | Virtual reality system with enhanced sensory apparatus |
JP3419050B2 (ja) | 1993-11-19 | 2003-06-23 | 株式会社日立製作所 | 入力装置 |
US5347306A (en) | 1993-12-17 | 1994-09-13 | Mitsubishi Electric Research Laboratories, Inc. | Animated electronic meeting place |
JP2552427B2 (ja) | 1993-12-28 | 1996-11-13 | コナミ株式会社 | テレビ遊戯システム |
US5577981A (en) | 1994-01-19 | 1996-11-26 | Jarvik; Robert | Virtual reality exercise machine and computer controlled video system |
US5580249A (en) | 1994-02-14 | 1996-12-03 | Sarcos Group | Apparatus for simulating mobility of a human |
US5597309A (en) | 1994-03-28 | 1997-01-28 | Riess; Thomas | Method and apparatus for treatment of gait problems associated with parkinson's disease |
US5385519A (en) | 1994-04-19 | 1995-01-31 | Hsu; Chi-Hsueh | Running machine |
US5524637A (en) | 1994-06-29 | 1996-06-11 | Erickson; Jon W. | Interactive system for measuring physiological exertion |
JPH0844490A (ja) | 1994-07-28 | 1996-02-16 | Matsushita Electric Ind Co Ltd | インターフェイス装置 |
US5563988A (en) | 1994-08-01 | 1996-10-08 | Massachusetts Institute Of Technology | Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment |
US6714665B1 (en) | 1994-09-02 | 2004-03-30 | Sarnoff Corporation | Fully automated iris recognition system utilizing wide and narrow fields of view |
US5516105A (en) | 1994-10-06 | 1996-05-14 | Exergame, Inc. | Acceleration activated joystick |
US5638300A (en) | 1994-12-05 | 1997-06-10 | Johnson; Lee E. | Golf swing analysis system |
JPH08161292A (ja) | 1994-12-09 | 1996-06-21 | Matsushita Electric Ind Co Ltd | 混雑度検知方法およびそのシステム |
US5594469A (en) | 1995-02-21 | 1997-01-14 | Mitsubishi Electric Information Technology Center America Inc. | Hand gesture machine control system |
US5682229A (en) | 1995-04-14 | 1997-10-28 | Schwartz Electro-Optics, Inc. | Laser range camera |
US5913727A (en) | 1995-06-02 | 1999-06-22 | Ahdoot; Ned | Interactive movement and contact simulation game |
JP3481631B2 (ja) | 1995-06-07 | 2003-12-22 | ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク | 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の3次元形状を決定する装置及び方法 |
US5682196A (en) | 1995-06-22 | 1997-10-28 | Actv, Inc. | Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers |
US5702323A (en) | 1995-07-26 | 1997-12-30 | Poulton; Craig K. | Electronic exercise enhancer |
WO1999044698A2 (en) | 1998-03-03 | 1999-09-10 | Arena, Inc. | System and method for tracking and assessing movement skills in multidimensional space |
US6430997B1 (en) | 1995-11-06 | 2002-08-13 | Trazer Technologies, Inc. | System and method for tracking and assessing movement skills in multidimensional space |
US6308565B1 (en) | 1995-11-06 | 2001-10-30 | Impulse Technology Ltd. | System and method for tracking and assessing movement skills in multidimensional space |
US6098458A (en) | 1995-11-06 | 2000-08-08 | Impulse Technology, Ltd. | Testing and training system for assessing movement and agility skills without a confining field |
US6073489A (en) | 1995-11-06 | 2000-06-13 | French; Barry J. | Testing and training system for assessing the ability of a player to complete a task |
US6176782B1 (en) | 1997-12-22 | 2001-01-23 | Philips Electronics North America Corp. | Motion-based command generation technology |
US5933125A (en) | 1995-11-27 | 1999-08-03 | Cae Electronics, Ltd. | Method and apparatus for reducing instability in the display of a virtual environment |
US5696591A (en) | 1996-01-05 | 1997-12-09 | Eastman Kodak Company | Apparatus and method for detecting longitudinally oriented flaws in a moving web |
US5641288A (en) | 1996-01-11 | 1997-06-24 | Zaenglein, Jr.; William G. | Shooting simulating process and training device using a virtual reality display screen |
CA2253626A1 (en) | 1996-05-08 | 1997-11-13 | Real Vision Corporation | Real time simulation using position sensing |
US6173066B1 (en) | 1996-05-21 | 2001-01-09 | Cybernet Systems Corporation | Pose determination and tracking by matching 3D objects to a 2D sensor |
US5989157A (en) | 1996-08-06 | 1999-11-23 | Walton; Charles A. | Exercising system with electronic inertial game playing |
AU3954997A (en) | 1996-08-14 | 1998-03-06 | Nurakhmed Nurislamovich Latypov | Method for following and imaging a subject's three-dimensional position and orientation, method for presenting a virtual space to a subject, and systems for implementing said methods |
JP3064928B2 (ja) | 1996-09-20 | 2000-07-12 | 日本電気株式会社 | 被写体抽出方式 |
ATE232621T1 (de) | 1996-12-20 | 2003-02-15 | Hitachi Europ Ltd | Verfahren und system zur erkennung von handgesten |
US6009210A (en) | 1997-03-05 | 1999-12-28 | Digital Equipment Corporation | Hands-free interface to a virtual reality environment using head tracking |
US6100896A (en) | 1997-03-24 | 2000-08-08 | Mitsubishi Electric Information Technology Center America, Inc. | System for designing graphical multi-participant environments |
US5877803A (en) | 1997-04-07 | 1999-03-02 | Tritech Mircoelectronics International, Ltd. | 3-D image detector |
US6215898B1 (en) | 1997-04-15 | 2001-04-10 | Interval Research Corporation | Data processing system and method |
JP3077745B2 (ja) | 1997-07-31 | 2000-08-14 | 日本電気株式会社 | データ処理方法および装置、情報記憶媒体 |
US6188777B1 (en) | 1997-08-01 | 2001-02-13 | Interval Research Corporation | Method and apparatus for personnel detection and tracking |
US6720949B1 (en) | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
US6289112B1 (en) | 1997-08-22 | 2001-09-11 | International Business Machines Corporation | System and method for determining block direction in fingerprint images |
AUPO894497A0 (en) | 1997-09-02 | 1997-09-25 | Xenotech Research Pty Ltd | Image processing method and apparatus |
EP0905644A3 (en) | 1997-09-26 | 2004-02-25 | Matsushita Electric Industrial Co., Ltd. | Hand gesture recognizing device |
US6141463A (en) | 1997-10-10 | 2000-10-31 | Electric Planet Interactive | Method and system for estimating jointed-figure configurations |
US6072494A (en) | 1997-10-15 | 2000-06-06 | Electric Planet, Inc. | Method and apparatus for real-time gesture recognition |
US6101289A (en) | 1997-10-15 | 2000-08-08 | Electric Planet, Inc. | Method and apparatus for unencumbered capture of an object |
WO1999019840A1 (en) | 1997-10-15 | 1999-04-22 | Electric Planet, Inc. | A system and method for generating an animatable character |
US6130677A (en) | 1997-10-15 | 2000-10-10 | Electric Planet, Inc. | Interactive computer vision system |
AU1099899A (en) | 1997-10-15 | 1999-05-03 | Electric Planet, Inc. | Method and apparatus for performing a clean background subtraction |
US6181343B1 (en) | 1997-12-23 | 2001-01-30 | Philips Electronics North America Corp. | System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs |
US6504569B1 (en) | 1998-04-22 | 2003-01-07 | Grass Valley (U.S.), Inc. | 2-D extended image generation from 3-D data extracted from a video sequence |
US6159100A (en) | 1998-04-23 | 2000-12-12 | Smith; Michael D. | Virtual reality game |
US6077201A (en) | 1998-06-12 | 2000-06-20 | Cheng; Chau-Yang | Exercise bicycle |
US6801637B2 (en) | 1999-08-10 | 2004-10-05 | Cybernet Systems Corporation | Optical body tracker |
US7121946B2 (en) | 1998-08-10 | 2006-10-17 | Cybernet Systems Corporation | Real-time head tracking system for computer games and other applications |
US7036094B1 (en) | 1998-08-10 | 2006-04-25 | Cybernet Systems Corporation | Behavior recognition system |
US6950534B2 (en) | 1998-08-10 | 2005-09-27 | Cybernet Systems Corporation | Gesture-controlled interfaces for self-service machines and other applications |
US6681031B2 (en) | 1998-08-10 | 2004-01-20 | Cybernet Systems Corporation | Gesture-controlled interfaces for self-service machines and other applications |
US20010008561A1 (en) | 1999-08-10 | 2001-07-19 | Paul George V. | Real-time object tracking system |
IL126284A (en) | 1998-09-17 | 2002-12-01 | Netmor Ltd | System and method for three dimensional positioning and tracking |
DE69936620T2 (de) | 1998-09-28 | 2008-05-21 | Matsushita Electric Industrial Co., Ltd., Kadoma | Verfahren und Vorrichtung zum Segmentieren von Handgebärden |
AU1930700A (en) | 1998-12-04 | 2000-06-26 | Interval Research Corporation | Background estimation and segmentation based on range and color |
US6147678A (en) | 1998-12-09 | 2000-11-14 | Lucent Technologies Inc. | Video hand image-three-dimensional computer interface with multiple degrees of freedom |
EP2026035A2 (en) | 1998-12-16 | 2009-02-18 | 3DV Systems Ltd. | 3D camera for distance measurements |
US6570555B1 (en) | 1998-12-30 | 2003-05-27 | Fuji Xerox Co., Ltd. | Method and apparatus for embodied conversational characters with multimodal input/output in an interface device |
US6363160B1 (en) | 1999-01-22 | 2002-03-26 | Intel Corporation | Interface using pattern recognition and tracking |
US7003134B1 (en) | 1999-03-08 | 2006-02-21 | Vulcan Patents Llc | Three dimensional object pose estimation which employs dense depth information |
US6299308B1 (en) | 1999-04-02 | 2001-10-09 | Cybernet Systems Corporation | Low-cost non-imaging eye tracker system for computer control |
US20040075738A1 (en) | 1999-05-12 | 2004-04-22 | Sean Burke | Spherical surveillance system architecture |
US6503195B1 (en) | 1999-05-24 | 2003-01-07 | University Of North Carolina At Chapel Hill | Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction |
US6476834B1 (en) | 1999-05-28 | 2002-11-05 | International Business Machines Corporation | Dynamic creation of selectable items on surfaces |
US6873723B1 (en) | 1999-06-30 | 2005-03-29 | Intel Corporation | Segmenting three-dimensional video images using stereo |
US6738066B1 (en) | 1999-07-30 | 2004-05-18 | Electric Plant, Inc. | System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display |
US7113918B1 (en) | 1999-08-01 | 2006-09-26 | Electric Planet, Inc. | Method for video enabled electronic commerce |
US7050606B2 (en) | 1999-08-10 | 2006-05-23 | Cybernet Systems Corporation | Tracking and gesture recognition system particularly suited to vehicular control applications |
US6663491B2 (en) | 2000-02-18 | 2003-12-16 | Namco Ltd. | Game apparatus, storage medium and computer program that adjust tempo of sound |
US6633294B1 (en) | 2000-03-09 | 2003-10-14 | Seth Rosenthal | Method and apparatus for using captured high density motion for animation |
EP1152261A1 (en) | 2000-04-28 | 2001-11-07 | CSEM Centre Suisse d'Electronique et de Microtechnique SA | Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves |
US6640202B1 (en) | 2000-05-25 | 2003-10-28 | International Business Machines Corporation | Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications |
US6731799B1 (en) | 2000-06-01 | 2004-05-04 | University Of Washington | Object segmentation with background extraction and moving boundary techniques |
US6788809B1 (en) | 2000-06-30 | 2004-09-07 | Intel Corporation | System and method for gesture recognition in three dimensions using stereo imaging and color vision |
US7227526B2 (en) | 2000-07-24 | 2007-06-05 | Gesturetek, Inc. | Video-based image control system |
US7058204B2 (en) | 2000-10-03 | 2006-06-06 | Gesturetek, Inc. | Multiple camera control system |
US7039676B1 (en) | 2000-10-31 | 2006-05-02 | International Business Machines Corporation | Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session |
US6735387B1 (en) | 2001-01-10 | 2004-05-11 | Tim Schnell | Motion detector camera |
US6539931B2 (en) | 2001-04-16 | 2003-04-01 | Koninklijke Philips Electronics N.V. | Ball throwing assistant |
US7259747B2 (en) | 2001-06-05 | 2007-08-21 | Reactrix Systems, Inc. | Interactive video display system |
US8035612B2 (en) | 2002-05-28 | 2011-10-11 | Intellectual Ventures Holding 67 Llc | Self-contained interactive video display system |
JP3420221B2 (ja) | 2001-06-29 | 2003-06-23 | 株式会社コナミコンピュータエンタテインメント東京 | ゲーム装置及びプログラム |
US6940538B2 (en) | 2001-08-29 | 2005-09-06 | Sony Corporation | Extracting a depth map from known camera and model tracking data |
US7023432B2 (en) | 2001-09-24 | 2006-04-04 | Geomagic, Inc. | Methods, apparatus and computer program products that reconstruct surfaces from data point sets |
US6937742B2 (en) | 2001-09-28 | 2005-08-30 | Bellsouth Intellectual Property Corporation | Gesture activated home appliance |
ATE321689T1 (de) | 2002-04-19 | 2006-04-15 | Iee Sarl | Sicherheitsvorrichtung für ein fahrzeug |
US7348963B2 (en) | 2002-05-28 | 2008-03-25 | Reactrix Systems, Inc. | Interactive video display system |
US7710391B2 (en) | 2002-05-28 | 2010-05-04 | Matthew Bell | Processing an image utilizing a spatially varying pattern |
US7170492B2 (en) | 2002-05-28 | 2007-01-30 | Reactrix Systems, Inc. | Interactive video display system |
US7489812B2 (en) | 2002-06-07 | 2009-02-10 | Dynamic Digital Depth Research Pty Ltd. | Conversion and encoding techniques |
US7576727B2 (en) | 2002-12-13 | 2009-08-18 | Matthew Bell | Interactive directed light/sound system |
US7145478B2 (en) | 2002-12-17 | 2006-12-05 | Evolution Robotics, Inc. | Systems and methods for controlling a density of visual landmarks in a visual simultaneous localization and mapping system |
JP4235729B2 (ja) | 2003-02-03 | 2009-03-11 | 国立大学法人静岡大学 | 距離画像センサ |
US7162075B2 (en) * | 2003-03-10 | 2007-01-09 | Cranial Technologies, Inc. | Three-dimensional image capture system |
EP1477924B1 (en) | 2003-03-31 | 2007-05-02 | HONDA MOTOR CO., Ltd. | Gesture recognition apparatus, method and program |
US8072470B2 (en) | 2003-05-29 | 2011-12-06 | Sony Computer Entertainment Inc. | System and method for providing a real-time three-dimensional interactive environment |
US7372977B2 (en) | 2003-05-29 | 2008-05-13 | Honda Motor Co., Ltd. | Visual tracking using depth data |
JP4546956B2 (ja) | 2003-06-12 | 2010-09-22 | 本田技研工業株式会社 | 奥行き検出を用いた対象の向きの推定 |
WO2005022900A2 (en) * | 2003-08-26 | 2005-03-10 | Redshift Systems Corporation | Infrared camera system |
JP4612635B2 (ja) | 2003-10-09 | 2011-01-12 | 本田技研工業株式会社 | 低照度の深度に適応可能なコンピュータ視覚を用いた移動物体検出 |
WO2005041579A2 (en) | 2003-10-24 | 2005-05-06 | Reactrix Systems, Inc. | Method and system for processing captured image information in an interactive video display system |
US8134637B2 (en) | 2004-01-28 | 2012-03-13 | Microsoft Corporation | Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing |
WO2005104010A2 (en) | 2004-04-15 | 2005-11-03 | Gesture Tek, Inc. | Tracking bimanual movements |
US7831094B2 (en) | 2004-04-27 | 2010-11-09 | Honda Motor Co., Ltd. | Simultaneous localization and mapping using multiple view feature descriptors |
US7308112B2 (en) | 2004-05-14 | 2007-12-11 | Honda Motor Co., Ltd. | Sign based human-machine interaction |
US7697748B2 (en) | 2004-07-06 | 2010-04-13 | Dimsdale Engineering, Llc | Method and apparatus for high resolution 3D imaging as a function of camera position, camera trajectory and range |
US7704135B2 (en) | 2004-08-23 | 2010-04-27 | Harrison Jr Shelton E | Integrated game system, method, and device |
KR20060070280A (ko) | 2004-12-20 | 2006-06-23 | 한국전자통신연구원 | 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법 |
ES2791718T3 (es) | 2005-01-07 | 2020-11-05 | Qualcomm Inc | Detección y seguimiento de objetos en imágenes |
JP2008537190A (ja) | 2005-01-07 | 2008-09-11 | ジェスチャー テック,インコーポレイテッド | 赤外線パターンを照射することによる対象物の三次元像の生成 |
US7379566B2 (en) | 2005-01-07 | 2008-05-27 | Gesturetek, Inc. | Optical flow based tilt sensor |
WO2006086508A2 (en) | 2005-02-08 | 2006-08-17 | Oblong Industries, Inc. | System and method for genture based control system |
US7317836B2 (en) | 2005-03-17 | 2008-01-08 | Honda Motor Co., Ltd. | Pose estimation based on critical point analysis |
EP1886509B1 (en) | 2005-05-17 | 2017-01-18 | Qualcomm Incorporated | Orientation-sensitive signal output |
ATE412882T1 (de) | 2005-08-12 | 2008-11-15 | Mesa Imaging Ag | Hochempfindliches, schnelles pixel für anwendung in einem bildsensor |
US20080026838A1 (en) | 2005-08-22 | 2008-01-31 | Dunstan James E | Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games |
US7944454B2 (en) | 2005-09-07 | 2011-05-17 | Fuji Xerox Co., Ltd. | System and method for user monitoring interface of 3-D video streams from multiple cameras |
JP4777433B2 (ja) | 2005-10-27 | 2011-09-21 | エヌイーシー ラボラトリーズ アメリカ インク | ビデオ前景の分割方法 |
US7450736B2 (en) | 2005-10-28 | 2008-11-11 | Honda Motor Co., Ltd. | Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers |
WO2008013568A2 (en) | 2005-12-30 | 2008-01-31 | Irobot Corporation | Autonomous mobile robot |
US7701439B2 (en) | 2006-07-13 | 2010-04-20 | Northrop Grumman Corporation | Gesture recognition simulation system and method |
US9348463B2 (en) | 2006-08-03 | 2016-05-24 | New York University | Retroreflection based multitouch sensor, method and program |
JP5395323B2 (ja) | 2006-09-29 | 2014-01-22 | ブレインビジョン株式会社 | 固体撮像素子 |
US8351646B2 (en) | 2006-12-21 | 2013-01-08 | Honda Motor Co., Ltd. | Human pose estimation and tracking using label assignment |
US7412077B2 (en) | 2006-12-29 | 2008-08-12 | Motorola, Inc. | Apparatus and methods for head pose estimation and head gesture detection |
US7729530B2 (en) | 2007-03-03 | 2010-06-01 | Sergey Antonov | Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system |
JP5380789B2 (ja) | 2007-06-06 | 2014-01-08 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
US7852262B2 (en) | 2007-08-16 | 2010-12-14 | Cybernet Systems Corporation | Wireless mobile indoor/outdoor tracking system |
CA2734143C (en) | 2008-08-15 | 2021-08-31 | Brown University | Method and apparatus for estimating body shape |
CN201254344Y (zh) | 2008-08-20 | 2009-06-10 | 中国农业科学院草原研究所 | 植物标本及种子存贮器 |
US8610706B2 (en) | 2008-10-04 | 2013-12-17 | Microsoft Corporation | Parallel surface reconstruction |
US9245382B2 (en) | 2008-10-04 | 2016-01-26 | Microsoft Technology Licensing, Llc | User-guided surface reconstruction |
US8855819B2 (en) | 2008-10-09 | 2014-10-07 | Samsung Electronics Co., Ltd. | Method and apparatus for simultaneous localization and mapping of robot |
US9600067B2 (en) | 2008-10-27 | 2017-03-21 | Sri International | System and method for generating a mixed reality environment |
US9377857B2 (en) | 2009-05-01 | 2016-06-28 | Microsoft Technology Licensing, Llc | Show body position |
US8503720B2 (en) | 2009-05-01 | 2013-08-06 | Microsoft Corporation | Human body pose estimation |
US8379101B2 (en) | 2009-05-29 | 2013-02-19 | Microsoft Corporation | Environment and/or target segmentation |
EP2517053A1 (en) * | 2009-12-21 | 2012-10-31 | 3M Innovative Properties Company | Transflective articles and light assemblies |
US8570320B2 (en) | 2011-01-31 | 2013-10-29 | Microsoft Corporation | Using a three-dimensional environment model in gameplay |
-
2011
- 2011-01-31 US US13/017,518 patent/US9247238B2/en active Active
-
2012
- 2012-01-30 CN CN201210021241.5A patent/CN102638692B/zh active Active
-
2016
- 2016-01-20 US US15/001,645 patent/US10049458B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5852672A (en) * | 1995-07-10 | 1998-12-22 | The Regents Of The University Of California | Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects |
US20040145722A1 (en) * | 1998-05-25 | 2004-07-29 | Kenya Uomori | Range finder device and camera |
JP2005210722A (ja) * | 2004-01-21 | 2005-08-04 | Hewlett-Packard Development Co Lp | ハイブリッド・デジタルカメラ用の照明源の自動選択 |
US20070195173A1 (en) * | 2004-09-21 | 2007-08-23 | Nikon Corporation | Portable Type Information Device |
Also Published As
Publication number | Publication date |
---|---|
US20120194650A1 (en) | 2012-08-02 |
US10049458B2 (en) | 2018-08-14 |
CN102638692A (zh) | 2012-08-15 |
US9247238B2 (en) | 2016-01-26 |
US20160163054A1 (en) | 2016-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102638692B (zh) | 降低多个红外深度相机之间的干扰 | |
US11778151B2 (en) | Real-time mapping of projections onto moving 3D objects | |
US10827167B2 (en) | Systems and methods for dynamically adjusting a synthetic view of a scene for showing the scene from a virtual camera perspective | |
US10004984B2 (en) | Interactive in-room show and game system | |
US10499482B2 (en) | Devices and methods for providing a distributed manifestation in an environment | |
US9710972B2 (en) | Immersion photography with dynamic matte screen | |
CN103425354B (zh) | 数据处理装置、显示装置以及数据处理装置的控制方法 | |
KR101956810B1 (ko) | 멀티 뷰 건축 조명 시스템 | |
CN105264401B (zh) | 用于tof***的干扰减小 | |
US20170329208A1 (en) | Information processing apparatus and method | |
CN105324995B (zh) | 用于生成多投影图像的方法和*** | |
KR101248909B1 (ko) | 3d 정보 획득장치 및 이의 광원 구동방법, 그리고, 3d 정보 획득 시스템 | |
CN101569241A (zh) | 显示光辐射的***、方法、计算机可读介质和用户界面 | |
US20090134332A1 (en) | Infrared Encoded Objects and Controls for Display Systems | |
CN108989774A (zh) | 一种影像互动展示***及方法 | |
JP7273345B2 (ja) | 映像処理装置、表示システム、映像処理方法、およびプログラム | |
US20210374982A1 (en) | Systems and Methods for Illuminating Physical Space with Shadows of Virtual Objects | |
CN115967782A (zh) | 背景显示设备、相机和显示虚拟背景的展示的方法 | |
CN115966144A (zh) | 背景显示设备 | |
CN115966142A (zh) | 背景显示设备 | |
CN115966143A (zh) | 背景显示设备 | |
WO2024074815A1 (en) | Background generation | |
Lancelle | Visual Computing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
ASS | Succession or assignment of patent right |
Owner name: MICROSOFT TECHNOLOGY LICENSING LLC Free format text: FORMER OWNER: MICROSOFT CORP. Effective date: 20150720 |
|
C41 | Transfer of patent application or patent right or utility model | ||
TR01 | Transfer of patent right |
Effective date of registration: 20150720 Address after: Washington State Patentee after: Micro soft technique license Co., Ltd Address before: Washington State Patentee before: Microsoft Corp. |