CN103765879A - 扩展激光深度图范围的方法 - Google Patents

扩展激光深度图范围的方法 Download PDF

Info

Publication number
CN103765879A
CN103765879A CN201280041944.2A CN201280041944A CN103765879A CN 103765879 A CN103765879 A CN 103765879A CN 201280041944 A CN201280041944 A CN 201280041944A CN 103765879 A CN103765879 A CN 103765879A
Authority
CN
China
Prior art keywords
image
luminous intensity
environment
pixel
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280041944.2A
Other languages
English (en)
Inventor
S·M·萨玛斯特
D·L·多利特勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN103765879A publication Critical patent/CN103765879A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明描述了用于通过从以不同光强度水平捕捉的和/或在不同传感器积分时间捕捉的多个图像的合成图像得到深度信息而扩展深度图的动态范围的方法。在一些实施例中，在用第一光强度的光照明环境的同时，捕捉该环境的初始图像。随后在用一个或多个不同光强度的光照明该环境的同时，捕捉一个或多个后续图像。这一个或多个不同的光强度可基于与之前捕捉的图像相关联的像素饱和度而被动态配置。初始图像和一个或多个后续图像可通过应用高动态范围成像技术来被合成为合成图像。

Description

扩展激光深度图范围的方法
背景
深度图一般包括环境的二维图像，该图像包括与从特定基准点到环境内的物体的距离有关的深度信息的。特定基准点可与图像捕捉设备相关联。二维图像中的每一像素可与表示距该特定基准点的直线距离的深度值相关联。可使用各种技术来生成深度图，诸如结构化光照明和飞行时间技术。
结构化光照明涉及将光图案投射到环境中，捕捉反射的光图案的图像，然后从相对于所投射的光图案的、与反射的光图案相关联的间隔和/或畸变确定距离信息。光图案可使用对裸眼不可见的光（例如，IR或UV光）来投射且可包括单点、单线或各种维度图案（例如，水平和垂直线、或棋盘图案）。在某些情况中，可能需要若干不同光图案来生成准确的深度信息。
飞行时间技术可通过对从光源发射的光花费了多长时间来到达环境内的物体并从图像传感器反射回来进行计时来确定到物体的距离。在某些情况中，短光脉冲（或一系列光脉冲）可在第一时间点被投射到环境中，与该短光脉冲相关联的反射可在第一时间点之后的第二时间点被捕捉。飞行时间***可调整第一时间点和第二时间点之间的时间差，以便检测与时间差相关联的特定距离处（或距离的范围上）的物体。
概述
描述了用于通过从以不同光强度水平捕捉的和/或在不同传感器积分时间捕捉的多个图像的合成图像得到深度信息而扩展深度图的动态范围的技术。在一些实施例中，在用第一光强度的光照明环境的同时，捕捉该环境的初始图像。随后在用一个或多个不同光强度的光照明该环境的同时，捕捉一个或多个后续图像。这一个或多个不同的光强度可基于与之前捕捉的图像相关联的像素饱和度而被动态配置。初始图像和一个或多个后续图像可通过应用高动态范围成像技术来被合成为合成图像。
一个实施例包括使用第一光强度水平将光图案投射到第一环境中，在第一传感器积分时间捕捉第一环境的第一图像，确定与第一图像相关联的像素饱和度，并基于像素饱和度设置第二光强度水平。该方法还包括使用第二光强度水平将该光图案投射到第一环境中，捕捉第一环境的第二图像，将第一图像和第二图像合成为组合图像，并基于组合图像输出深度图。
提供本概述是为了以简化的形式介绍将在以下详细描述中进一步描述的选择的概念。本概述不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
附图简述
图1描绘了目标检测和跟踪***的一个实施例，其中用户正在玩拳击游戏。
图2描绘了目标检测和跟踪***和捕捉设备的视野内的环境的一个实施例。
图3示出了包括捕捉设备和计算环境的计算***的一个实施例。
图4A描绘了随着时间投射到环境中的一系列光脉冲的一个实施例。
图4B描绘了与图4A中所描绘的相同的时间段上的一系列传感器积分时间的一个实施例。
图5A描绘了正被投射到环境中的第一光强度的光脉冲的一个实施例。
图5B描绘了与图5A中所描绘的相同的时间段上的一系列传感器积分时间的一个实施例。
图6A描绘了正被投射到环境中的第一光强度的光脉冲的一个实施例。
图6B描绘了传感器积分时间的一个实施例。
图6C描绘了随着时间投射到环境中的一系列光脉冲的一个实施例。
图6D描绘了与图6C中所描绘的相同的时间段上的一系列传感器积分时间的一个实施例。
图6E描绘了用于给定特定距离确定初始光强度的函数的一个实施例。
图7A是描述用于扩展深度图的动态范围的过程的一个实施例的流程图。
图7B是描述用于从多个图像生成深度信息的过程的一个实施例的流程图。
图7C是描述用于更新光强度水平和传感器积分时间的过程的一个实施例的流程图。
图8是游戏和媒体***的实施例的框图。
图9是移动设备的一个实施例的框图。
图10是计算***环境的实施例的框图。
详细描述
描述了用于通过从以不同光强度水平捕捉的和/或在不同传感器积分时间捕捉的多个图像的合成图像得到深度信息而扩展深度图的动态范围的技术。在一些实施例中，在用第一光强度的光照明环境的同时，捕捉该环境的初始图像。随后在用一个或多个不同光强度的光照明该环境的同时，捕捉一个或多个后续图像。这一个或多个不同的光强度可基于与之前捕捉的图像相关联的像素饱和度而被动态配置。初始图像和一个或多个后续图像可通过应用高动态范围成像技术来被合成为合成图像。
可使用深度检测***来生成深度图，深度检测***包括用于投射特定光图案的光源和用于捕捉与该特定光图案的反射相关联的一个或多个图像的光传感器设备。当与深度图相关联的环境（例如，游戏空间）同时包括靠近以及远离从其生成深度图的光传感器设备（例如，相机***或图像传感器）的物体时，深度图的准确性和动态范围可能受损。为了使光传感器设备能够看到远处的物体，可能需要较大的光强度（例如，经由较大的光学激光功率）来“照亮”远处的物体，使得光传感器设备能够检测来自远处物体的反射光。然而，深度检测***使用较大的光强度可能会导致靠近光传感器设备附近的物体变为饱和或褪色，因此难以辨明任何有意义的深度信息。从而，如果所投射的光强度被设置成对远处物体照明，则一物体离光传感器设备越近，该物体的图像可能会变得越饱和。有时，深度上的差异可能因像素饱和而不能区分。
而且，具有反射性、半透明或透明表面的物体会提升深度检测***的困难程度。例如，如果物体的表面是高度反射性的，则光可能被反射而偏离光传感器设备或直接朝光传感器设备聚焦。如果物体的表明是高度透明的，则可能没有足够的光被反射回光传感器设备。因此，除了物体离光传感器设备的不同距离以外，物体的表面性质也可能导致光传感器设备捕捉的反射光中的显著差异。
为本发明的目的，术语“光”可指的是任何种类的光辐射，包括可见光、红外光和紫外光。
图1描绘了目标检测和跟踪***10的一个实施例，其中用户18正在玩拳击游戏。目标检测和跟踪***10可用于检测、识别、分析、和/或跟踪人类目标（诸如用户18）和/或非人类目标（诸如用户18拿着的道具（未示出））。目标检测和跟踪***10可包括用于生成用户18存在于其中的位置空间环境的深度图的深度检测***。
如图1所示，目标检测和跟踪***10可包括计算环境12。计算环境12可包括计算机、游戏***或控制台等等。在一个实施例中，计算环境12可包括硬件组件和/或软件组件，使得计算环境12可用于执行操作***和诸如游戏应用、非游戏应用等的应用。在一个实施例中，计算***12可包括可执行存储在处理器可读存储设备上的用于执行此处描述的过程的指令的处理器，如标准化处理器、专用处理器、微处理器等。
目标检测和跟踪***10还可包括捕捉设备20。在一个实施例中，捕捉设备20可包括可用于在视觉上监视包括诸如用户18等一个或多个用户的一个或多个目标的相机。由一个或多个用户执行的姿势（包括姿态）可被捕捉、分析、和跟踪，以便执行对操作***或应用的用户界面的一个或多个控制或动作。在一些实施例中，捕捉设备20可包括深度传感相机。
用户可通过移动他或她的身体来创建姿势。姿势可包括用户的运动或姿态，其可被捕捉为图像数据并解析其意义。姿势可以是动态的，包括运动，如模仿投球。姿势可以是静态姿态，诸如保持其前臂交叉。姿势也可结合道具，如挥动仿制的剑。
捕捉设备20可捕捉与一个或多个用户和/或物体相关的图像和音频数据。例如，捕捉设备20可用于捕捉与一个或多个用户的部分或全部身体移动、姿势和话音相关的信息。由捕捉设备20捕捉的信息可由计算环境12和/或捕捉设备20内的处理元件来接收，并用于对游戏或其它应用的各方面进行呈现、交互和控制。在一个示例中，捕捉设备20捕捉与特定用户有关的图像和音频数据，并且计算环境12处理所捕捉的信息以便通过执行面部和语音识别软件来标识该特定用户。
在一些实施例中，目标检测和跟踪***10可生成并利用深度图来检测和/或跟踪环境中的物体。深度图可包括环境中的包括与该环境相关联的深度信息的图像或帧。在一个示例中，深度图像可包括多个观察到的像素，其中每一观察到的像素具有相关联的深度值。例如，每一个像素都可包括深度值，诸如从捕捉设备的观点到环境中的物体的长度或距离。
目标检测和跟踪***10可被连接到向诸如用户18等用户提供游戏或应用视觉和/或音频的视听设备16，如电视机、监视器、高清电视机（HDTV）。例如，计算环境12可包括诸如图形卡等视频适配器和/或诸如声卡等音频适配器，这些适配器可提供与游戏应用、非游戏应用等相关联的视听信号。视听设备16可从计算环境12接收视听信号，然后可向用户18输出与视听信号相关联的游戏或应用视觉和/或音频。视听设备16可经由例如，S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆等连接到计算环境12。
如图1所示，在计算环境12上执行的应用可以是用户18可能正在玩的拳击游戏。计算环境12可使用视听设备16来向用户18提供拳击对手22的视觉表示。计算环境12还可使用视听设备16来提供用户18可通过他的或她的移动来控制的玩家化身24的视觉表示。例如，用户18可在物理空间中挥拳猛击，这使得玩家化身24在游戏空间中挥拳猛击。在一个实施例中，目标检测和跟踪***10的计算机环境12和捕捉设备20可用于识别和分析用户18在物理空间中的重拳，从而使得该重拳可被解释为对游戏空间中的玩家化身24的游戏控制。
在一个实施例中，用户移动可被解释为可对应于除控制玩家化身24之外的动作的控制。例如，用户18可以使用特定移动来结束游戏、暂停游戏、保存游戏、选择级别、查看高分、或与朋友交流。在另一实施例中，目标检测和跟踪***10将目标的移动解释为游戏领域之外的操作***和/或应用控制。例如，事实上操作***和/或应用程序的任何可控方面都可由诸如用户18等目标的移动来控制。在另一实施例中，用户18可使用移动来从主用户界面选择游戏或其它应用。由此，用户18的全范围运动可以用任何合适的方式来获得、使用并分析以与应用或操作***进行交互。
目标检测和跟踪***10及其组件的合适的示例在以下共同待审的专利申请中找到，所有这些专利申请的全部内容都通过引用纳入于此：于2009年5月29日提交的名称为“Environment And/Or Target Segmentation（环境和/或目标分割）”的美国专利申请12/475,094；于2009年7月29日提交的名称为“AutoGenerating a Visual Representation（自动生成视觉表示）”的美国专利申请12/511,850；于2009年5月29日提交的名称为“Gesture Tool（姿势工具）”的美国专利申请12/474,655；于2009年10月21日提交的名称为“Pose TrackingPipeline（姿势跟踪流水线）”的美国专利申请12/603,437；于2009年5月29日提交的名称为“Device for Identifying and Tracking Multiple Humans OverTime（用于随时间标识和跟踪多个人类的设备）”的美国专利申请12/475,308；于2009年10月7日提交的名称为“Human Tracking System（人类跟踪***）”的美国专利申请12/575,388；于2009年4月13日提交的名称为“GestureRecognizer System Architecture（姿势识别器***架构）”的美国专利申请12/422,661；于2009年2月23日提交的名称为“Standard Gestures（标准姿势）”的美国专利申请12/391,150；以及于2009年5月29日提交的名称为“GestureTool（姿势工具）”的美国专利申请12/474,655。
图2描绘了目标检测和跟踪***10和捕捉设备20的视野内的环境300的一个实施例。环境300包括人类对象（用户18）和非人类对象（椅子19）。如所描绘地，用户18比椅子19要靠近捕捉设备20得多。在一个实施例中，目标检测和跟踪***10通过合并或合成环境300的两个或更多个不同的图像来生成该环境的深度图。这两个或更多个不同的图像中的每一个可在用与不同光强度水平相关联的光图案照明环境300时捕捉。通过将环境的两个或更多个不同图像合成为合成图像，与近和远物体两者相关联的信息可被保存。例如，从更高动态范围的合成图像生成深度信息可提供对从捕捉设备20到用户18和椅子19的距离的更准确的判断。
在一个实施例中，第一光强度的第一光脉冲被投射到环境300中并被捕捉设备20捕捉。随后，第二光强度的第二光脉冲被投射到环境300中并被捕捉设备20捕捉。第一光强度可以是比第二光强度低的光强度。在这种情况中，与较低光强度相关联的第一光脉冲可用于捕捉与用户18相关联的深度信息，而与较高光强度相关联的第二光脉冲可用于捕捉与椅子19相关联的深度信息（即，较高光强度与较低光强度相比，用于照明较远距离处的物体）。
目标检测和跟踪***10可修改正被投射到环境中的光的强度（例如，通过增加或减少应用于光源的电流或功率的量）或捕捉设备的曝光时间（例如，通过增加或减少光传感器积分时间）中的任一个，以便产生与不同光强度等级相关联的图像。在一些实施例中，预定数目的不同光强度的光脉冲可被投射到环境300中，且该环境相对于光脉冲中的每一个的相关联的图像可随后被捕捉。
在生成深度图之前，目标检测和跟踪***10可执行校准步骤，以便确定特定环境所需的最大光强度水平（例如，通过估计深度检测***存在于其中的房间或游戏空间的大小）。目标检测和跟踪***10还可基于功率和性能要求来确定光脉冲的最大数目和/或捕捉步骤的最大数目。例如，如果目标检测和跟踪***10处于低功率模式，则光脉冲的最大数目可被减少。因此，光脉冲的最大数目和/或捕捉步骤的最大数目可随时间在***要求改变时被调整。
图3示出了包括捕捉设备58和计算环境54的计算***50的一个实施例。计算***50是图1-2的目标检测和跟踪***10的实现的一个示例。例如，计算环境54可与图1-2中的计算环境12对应，而捕捉设备58可与图1-2中的捕捉设备20对应。
在一个实施例中，捕捉设备58可以包括用于捕捉图像和视频的一个或多个图像传感器。图像传感器可以包括CCD图像传感器或CMOS传感器。在一些实施例中，捕捉设备58可包括IR CMOS图像传感器。捕捉设备58还可以包括深度相机（或深度传感相机），该相机被配置为经由包括例如飞行时间、结构化光、立体图像等在内的任何合适的技术来捕捉具有深度信息的视频，包括可包含深度值的深度图像。
捕捉设备58可包括图像相机组件32。在一个实施例中，图像相机组件32可以包括可捕捉场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维（2-D）像素区域，其中2-D像素区域中的每个像素都可以表示深度值，诸如所捕捉的场景中的物体与图像相机组件32相距的距离，例如以厘米、毫米等为单位。
图像相机组件32可包括可用来对捕捉区域的深度图像进行捕捉的IR光组件34、三维（3-D）相机36、以及RGB相机38。例如，在飞行时间分析中，捕捉设备58的IR光组件34可以将红外光发射到捕捉区域上，然后可以使用传感器，用例如3-D相机36和/或RGB相机38来检测从捕捉区域中的一个或多个物体的表面反向散射的光。在某些实施例中，可以使用脉冲式红外光，从而出射光脉冲和相应的入射光脉冲之间的时间可以被测量并被用于确定从捕捉设备58到捕捉区域中的一个或多个物体上的特定位置的物理距离。此外，可将出射光波的相位与入射光波的相位进行比较来确定相移。然后可以使用该相移来确定从捕捉设备到与一个或多个物体相关联的特定位置的物理距离。
在另一示例中，捕捉设备58可使用结构化光来捕捉深度信息。在该分析中，图案化光（即，被显示为诸如网格图案或条纹图案等已知图案的光）可经由例如IR光组件34被投射到捕捉区域上。在撞击到捕捉区域中的一个或多个物体（或目标）的表面时，作为响应，图案可变形。图案的这种变形可由例如3-D相机36和/或RGB相机38来捕捉并被分析以确定从捕捉设备到一个或多个物体上的特定位置的物理距离。捕捉设备58可包括用于产生准直光的光学器件。在一些实施例中，可使用激光投影仪来创建结构化光图案。激光投影仪可包括激光器、激光二极管和/或LED。
在某些实施例中，可将两个或更多个不同的相机整合到一个集成捕捉设备中。例如，深度相机和视频相机（例如RGB视频相机）可以被整合到共同的捕捉设备中。在一些实施例中，可协同使用相同或不同类型的两个或更多个分开的捕捉设备。例如，可以使用深度相机和分开的视频相机，可以使用两个视频相机，可以使用两个深度相机，可以使用两个RGB相机，或者可以使用任何组合和数目的相机。在一个实施例中，捕捉设备58可包括可以从不同的角度观察捕捉区域的两个或更多个在物理上分开的相机，以获取可以被解析以生成深度信息的视觉立体数据。还可通过使用多个检测器（可以是单色、红外、RGB或任何其它类型的检测器）捕捉图像并执行视差计算，来确定深度。也可使用其它类型的深度图像传感器来创建深度图像。
如图3所示，捕捉设备58可以包括话筒40。话筒40可包括可接收声音并将其转换成电信号的换能器或传感器。
捕捉设备58可以包括可以与图像相机组件32可操作地通信的处理器42。处理器42可包括标准处理器、专用处理器、微处理器等。处理器42可以执行指令，指令可以包括用于存储过滤器或简档、接收和分析图像、确定是否已经发生特定情况的指令或任何其它合适的指令。应当理解，至少一些图像分析和/或目标分析和跟踪操作可以由一个或多个诸如捕捉设备58的捕捉设备内所包含的处理器来执行。
捕捉设备58可包括存储器44，该存储器可存储可由处理器42执行的指令、由3-D相机或RGB相机捕捉的图像或图像帧、过滤器或简档、或任何其它合适的信息、图像等等。在一个示例中，存储器44可包括随机存取存储器（RAM）、只读存储器（ROM）、高速缓存、闪存、硬盘或任何其它合适的存储组件。如图4所示，存储器组件44可以是与图像捕捉组件32和处理器42进行通信的分开的组件。在另一实施例中，存储器44可被集成到处理器42和/或图像捕捉组件32中。在其它实施例中，图4所示的捕捉设备58的组件32、34、36、38、40、42和44中的部分或全部被容纳在单个外壳中。
捕捉设备58可以经由通信链路46与计算环境54进行通信。通信链路46可以是包括例如USB连接、火线连接、以太网电缆连接等有线连接和/或诸如无线802.11b、802.11g、802.11a或802.11n连接等无线连接。计算环境54可以向捕捉设备58提供时钟，可以使用该时钟来通过通信链路46确定何时捕捉例如场景。在一个实施例中，捕捉设备58可将由例如3D相机36和/或RGB相机38捕捉的图像经由通信链路46提供给计算环境54。
如图3中所示，计算环境54包括与操作***196通信的图像和音频处理引擎194。图像和音频处理引擎194包括虚拟数据引擎197、物体和姿势识别引擎190、结构数据198、处理单元191和存储器单元192，所有都彼此通信。图像和音频处理引擎194处理从捕捉设备58接收的视频、图像和音频数据。为了辅助物体的检测和/或跟踪，图像和音频处理引擎194可以利用结构数据198以及物体和姿势识别引擎190。虚拟数据引擎197处理虚拟对象，并记录与在存储器单元192中存储的真实世界环境的各种映射有关的虚拟对象的位置和定向。
处理单元191可以包括用于执行物体、面部和语音识别算法的一个或多个处理器。在一个实施例中，图像和音频处理引擎194可以将物体识别和面部识别技术应用于图像或视频数据。例如，物体识别可以用于检测特定物体（例如足球、汽车或陆标），并且面部识别可以用于检测特定人的面部。图像和音频处理引擎194可以将音频和语音识别技术应用于音频数据。例如，音频识别可以用于检测特定声音。要检测的特定面部、语音、声音和物体可以存储在存储器单元192中所包含的一个或多个存储器中。
在一些实施例中，可以用诸如IR回射标记之类的一个或多个标记来扩充所跟踪的一个或多个物体，以便改进物体检测和/或跟踪。也可以使用平面基准图像、已编码AR标记、QR码和/或条形码来改进物体检测和/或跟踪。在检测到一个或多个物体以后，图像和音频处理引擎194可以向操作***196报告所检测的每个物体的标识以及相应的位置和/或定向。
图像和音频处理引擎194可以在执行物体识别时利用结构数据198。结构数据198可以包括关于要跟踪的目标和/或物体的结构信息。例如，可以存储人类的骨架模型以帮助识别身体部位。在另一示例中，结构数据198可以包括关于一个或多个无生命物体的结构信息以便帮助识别所述一个或多个无生命物体。
图像和音频处理引擎194还可以在执行物体识别时利用物体和姿势识别引擎190。在一个示例中，物体和姿势识别引擎190可以包括姿势过滤器的集合，每个姿势过滤器都包括关于骨架模型可执行的姿势的信息。物体和姿势识别引擎190可将由捕捉设备58捕捉的数据（其形式为骨架模型以及与其相关联的移动）与姿势库中的姿势过滤器进行比较来标识用户（其由骨架模型来表示）何时执行了一个或多个姿势。在一个示例中，图像和音频处理引擎194可以使用物体和姿势识别引擎190来帮助解释骨架模型的移动以及检测特定姿势的执行。
关于物体的检测和跟踪的更多信息可在2009年12月18日提交的名为“Motion Detection Using Depth Images（使用深度图像的运动检测）”的美国专利申请12/641,788，以及名为“Device for Identifying and Tracking MultipleHumans over Time（用于随时间标识和跟踪多个人类的设备）”的美国专利申请12/475,308中找到，这两个申请的全部内容通过引用纳入于此。关于物体和姿势识别引擎190的更多信息可在2009年4月13日提交的美国专利申请12/422,661、“Gesture Recognition System Architecture（姿势识别***架构）”中找到，该申请的全部内容通过引用纳入于此。关于识别姿势的更多信息可在2009年2月23日提交的名为“Standard Gestures（标准姿势）”的美国专利申请12/391,150；以及2009年5月29日提交的名为“Gesture Tool（姿势工具）”的美国专利申请12/474,655中找到，这两个申请的全部内容通过引用纳入于此。
图4A描绘了随着时间投射到环境中的一系列光脉冲的一个实施例。如所描绘地，光强度l4的第一光脉冲在时间t1和t4之间被投射到环境中，光强度l2的第二光脉冲在时间t5和t8之间被投射到环境中，而光强度l3的第三光脉冲在时间t9和t12之间被投射到环境中。在一个实施例中，第一光脉冲由被投射到环境中的初始光脉冲构成。与第一光脉冲相关联的光强度可被设为与特定光源相关联的最大光强度，或被设为与距捕捉设备（诸如图3中的捕捉设备58）的特定距离（或范围）相关联的特定光强度。
图4B描绘了与图4A中所描绘的相同的时间段上的一系列传感器积分时间的一个实施例。如所描绘地，三个传感器积分时间与图4A中描绘的三个光脉冲对应。在一些实施例中，诸如图1-2中的目标检测和跟踪***10的目标检测和跟踪***可在时间t1开始投射第一光脉冲，并在时间t2和t3之间捕捉与第一光脉冲相关联的第一图像。目标检测和跟踪***然后可确定与第一图像相关联的像素饱和度。之后，后续光脉冲的光强度可取决于与之前捕捉的图像相关联的像素饱和度来动态调整。
在一个实施例中，像素饱和度通过确定在第一图像内饱和的像素的百分比来确定。如果第一图像具有高于特定百分比阈值的像素饱和度（例如，多于5％的像素是饱和的），则与下一光脉冲相关联的光强度水平可被降低。确定与第一图像相关联的像素饱和度还可包括确定被分配了可能的最高光强度设置（例如，等于255的8位像素值）的像素的数目或确定被分配了高于特定阈值的光强度（例如，超过等于250的8位像素值的所有值）的像素的数目。
如所描绘地，在时间t5开始用第一光强度（l4）的一半的光强度（l2）投射图4A中的第二光脉冲。在时间t6和t7之间，目标检测和跟踪***捕捉与第二光脉冲相关联的第二图像。随后，确定与第二图像相关联的像素饱和度。如果该像素饱和度低于特定阈值，则与随后的光脉冲相关联的光强度水平可被提高。用处于第一光脉冲和第二光脉冲的光强度之间的光强度投射第三光脉冲，在时间t10和t11之间第三图像被捕捉。
图5A描绘了在时间t1和t8之间正被投射到环境中的光强度l1的光脉冲的一个实施例。图5B描绘了与图5A中所描绘的相同的时间段上的一系列传感器积分时间的一个实施例。如所描绘地，第一图像在时间t2和t3之间的第一传感器积分时间期间被捕捉。在某些实施例中，诸如图1-2中的目标检测和跟踪***10的目标检测和跟踪***可确定与第一图像相关联的像素饱和度。如果第一图像被确定为具有高于特定百分比阈值的像素饱和度（例如，多于5％的像素是饱和的），则与后续捕捉时间相关联的传感器积分时间可被减少。因此，传感器积分时间可取决于与之前捕捉的图像相关联的像素饱和度来动态调整。
如所描绘地，第二图像在时间t4和t5之间的第二传感器积分时间期间被捕捉。因为第一图像被确定为具有高于特定阈值的像素饱和度，与第二传感器积分时间相关联的传感器积分时间是第一传感器积分时间的一半。随后，目标检测和跟踪***可确定与第二图像相关联的像素饱和度。如果与第二图像相关联的像素饱和度低于特定阈值，则与后续捕捉时间相关联的传感器积分时间可被增加。如所描绘地，时间t6和t7之间的第三传感器积分时间被给予处于第一传感器积分时间和第二传感器积分时间之间的积分时间（或曝光时间）的量。
在某些实施例中，光强度水平和/或传感器积分时间两者可取决于与之前捕捉的图像相关联的像素饱和度来动态调整。例如，如果与图像相关联的像素饱和度高于特定阈值，则光强度水平可被降低且传感器积分时间可被减少。
而且，光脉冲的数目和/或传感器积分时间的数目可受到有多少处理能力、存储器和时间可用于目标检测和跟踪***的限制。所捕捉的图像的数目越大，处理和创建合成图像所需的资源量越大。在许多应用中，生成深度信息所需的时间必须使得投射到最终用户的视频流不慢于每秒30帧。
图6A描绘了在时间t1和t2之间正被投射到环境中的光强度l4的光脉冲的一个实施例。图6B描绘了时间t3和t4之间的传感器积分时间的一个实施例。由于传感器积分时间与光脉冲不重叠，在传感器积分时间期间捕捉的图像将取决于光脉冲和传感器积分时间之间的时间差以及环境内一距离处的物体，该距离与从这些物体反射回的光脉冲的飞行时间延迟相关联。例如，到达15米外的物体并反射回捕捉设备的飞行时间大约为100纳秒（即，15米*2/300,000,000米/每秒）。光脉冲（例如，来自激光光源）的脉冲宽度确定其上可查看物体的距离分辨力（即，脉冲宽度越短，就距离而言的分辨力越好）。例如，对3米分辨力，需要10纳秒脉冲（即，3米/300,000,000米/每秒）。而且，传感器积分时间还有可能降低距离分辨力，因为所投射的光可在传感器积分时间内的任何时间被反射并被捕捉（即，在时间t3捕捉的光与在时间t4捕捉的光相比，很有可能行进了较短的距离）。在最坏的情况下，在时间t2投射的光将在时间t3被捕捉，而在时间t1投射的光将在时间t4被捕捉。因此，所投射的光脉冲和相应的传感器积分时间之间的时间差可被用于捕捉与距目标检测和跟踪***特定范围相关联的距离信息（例如，特定的时间差可被用于捕捉距目标检测和跟踪***10米到20米之间的物体）。
在一个实施例中，所投射的光脉冲和相应的传感器积分时间之间的时间差可基于距目标检测和跟踪***的特定距离（或距离的范围）。例如，与当捕捉与距目标检测和跟踪检测***较远距离相关联的距离信息时相比，当捕捉与距目标检测和跟踪***较近的距离相关联的距离信息时，图6a和6B中时间t2和t3之间的时间差可能较小。
图6C描绘了随着时间投射到环境中的一系列光脉冲的一个实施例。如所描绘地，光强度l4的第一光脉冲在时间t1和t2之间被投射到环境中，而光强度l2（小于光强度l4）的第二光脉冲在时间t5和t6之间被投射到环境中。图6D描绘了与图6C中所描绘的相同的时间段上的一系列传感器积分时间的一个实施例。时间t3和t4之间的第一传感器积分时间与第一光脉冲对应，且可捕捉环境的第一图像。时间t7和t8之间的第二传感器积分时间与第二光脉冲对应，且可捕捉环境的第二图像。如所描绘地，第一光脉冲的投射和第一传感器积分时间之间的第一时间差D1大于第二光脉冲和第二积分时间之间的第二时间差D2。在这种情况下，环境的第一图像可包括与第一距离范围相关联的距离信息，该第一距离范围同与第二图像相关联的第二距离范围相比，距目标检测和跟踪***较远。
在一个实施例中，光脉冲的光强度和光脉冲的投射与相应的传感器积分时间之间的时间差两者均可基于距目标检测和跟踪***的捕捉距离来调整。与当捕捉距离距目标检测和跟踪***较远时相比，当捕捉距离距目标检测和跟踪***较近时，光强度可被降低且时间差可被减小。
图6E描绘了用于给定特定距离（或距离的范围）确定初始光强度的函数的一个实施例。如所描绘地，对与距离d1和d2相关联的特定距离范围，对投射到环境中的第一光脉冲，将使用初始光强度l3。对于比d2远的距离，将使用初始光强度l4。还可使用查找表和各种线性或非线性函数。在某些实施例中，距离越远，初始光强度越高。
在一个实施例中，第一光脉冲和第一传感器积分时间之间的第一时间差被用于确定距目标检测和跟踪***第一距离范围内（例如，距目标检测和跟踪***最初10米内）的距离信息。为了确定所投射的光图案的初始光强度，可使用取决于距目标检测和跟踪***的距离的预定最大光强度的查找表。目标检测和跟踪***随后可投射不同光强度的多个光脉冲，并全部使用同样的第一时间差来捕捉与该多个光脉冲相关联的多个图像。为了确定距目标检测和跟踪***第二距离范围内（例如，距目标检测和跟踪***10米到20米内）的距离信息，可使用第二时间差。因为第二距离范围比第一距离范围远，对所投射的光图案可使用较高的初始光强度。随后，不同光强度的第二多个光脉冲可被投射到环境中，且可使用第二时间差来捕捉第二多个图像。
图7A是描述用于扩展深度图的动态范围的过程的一个实施例的流程图。图7A的过程可被连续地以及由一个或多个计算设备执行。图7A的过程中每一步骤都可由与在其它步骤中所使用的那些计算设备相同或不同的计算设备来执行，且每一步骤不必由单个计算设备来执行。在一个实施例中，图7A的过程可由诸如图1-2中的目标检测和跟踪***10之类的目标检测和跟踪***来执行。
在步骤502中，初始化对光强度水平、传感器积分时间和最大图像数目的设置。初始光强度水平和传感器积分时间可基于距目标检测和跟踪***的特定范围。最大图像数目可以是所期望的视频帧率（例如，每秒30帧）的函数。在步骤504，该光强度水平的光被发射一第一时间段。所发射的光可包括正被投射到环境中的结构化图案。在步骤506，在传感器积分时间捕捉多个图像中的第一图像。在步骤507，第一图像被存储。在一个示例中，第一图像可被存储在存储器缓冲区中。
在步骤508，判断是否已经捕捉了最大数目的图像。如果判断还未捕捉到最大数目的图像，则步骤510被执行。在步骤510，确定与第一图像相关联的像素饱和度。像素饱和度可以是第一图像内饱和的像素的数目的函数。像素饱和度可由图像传感器内的阈值检测电路或图像处理软件来确定。在步骤512，基于在步骤510确定的像素饱和度更新光强度水平和传感器积分时间。在步骤514，存储与更新后的光强度水平和传感器积分时间相关联的一个或多个缩放值。在一个示例中，更新后的光强度水平是先前的光强度水平的一半，因此缩放值1/2将被存储。在步骤514之后，使用更新后的光强度水平和传感器积分时间再次执行步骤504。
如果判断已经捕捉到最大数目的图像，则步骤516被执行。在步骤516，从多个捕捉到的图像生成深度信息。在一个实施例中，从基本图像获取深度信息，该基本图像是从多个图像合成得到的。
图7B是描述用于从多个图像生成深度信息的过程的一个实施例的流程图。图7B中描述的过程是用于实现图7A中步骤516的过程的一个示例。图7B的过程可被连续地以及由一个或多个计算设备执行。图7B的过程中每一步骤都可由与在其它步骤中所使用的那些计算设备相同或不同的计算设备来执行，且每一步骤不必由单个计算设备来执行。在一个实施例中，图7B的过程可由诸如图1-2中的目标检测和跟踪***10之类的目标检测和跟踪***来执行。
在步骤522，多个图像中的每一个被记录或对齐到一公共坐标系。在图像记录期间，目标检测和跟踪***可将在特定环境内拍摄的不同图像（例如，来自稍微不同的视角和/或在不同时刻拍摄的图像）记录到与环境相关联的公共坐标系中。
在步骤524，基于图7A的步骤514中存储的一个或多个缩放值，多个图像被合成为一基本图像。在一个实施例中，基本图像是通过将高动态范围成像技术应用于多个图像而生成的。与传统数字成像技术相比，高动态范围成像技术可提供图像最亮和最暗区域之间的更大的动态照度范围，从而允许具有高对比度的环境的细节被保存。高动态范围图像通常通过捕捉多个图像（通常使用包围式曝光）然后将其合并成单个高动态范围图像来创建。
在一些实施例中，更靠近目标检测和跟踪***的图像中的饱和像素位置被分配与更远离目标检测和跟踪***的一个或多个图像相关联的缩放像素值。在两个图像正在被合成的情况中，用来自与较低光强度相关联的图像中的关联缩放像素值替换与较高光强度相关联的图像中的饱和像素位置。
在步骤526，生成与基本图像相关联的深度信息。在某些实施例中，可使用考虑结构化光图案中的畸变和/或结构化光图案的各部分之间的间隔的图像处理技术。在步骤528，输出深度信息。在一个示例中，深度信息被发送给计算环境，诸如图3中的计算环境54。
图7C是描述用于更新光强度水平和传感器积分时间的过程的一个实施例的流程图。图7C中描述的过程是用于实现图7A中的步骤512的过程的一个示例。图57C的过程可被连续地以及由一个或多个计算设备执行。图7C的过程中的每个步骤都可由与在其它步骤中所使用的那些计算设备相同或不同的计算设备来执行，且每个步骤不必由单个计算设备来执行。在一个实施例中，图7C的过程可由诸如图1-2中的目标检测和跟踪***10之类的目标检测和跟踪***来执行。
在步骤542，判断像素饱和度是否满足特定阈值。如果判断像素饱和度满足特定阈值，则步骤548被执行。在步骤548，光强度水平被降低或传感器积分时间被减少。在一个示例中，后续光脉冲的光强度水平降低为二分之一。在另一示例中，与后续光脉冲相关联的传感器积分时间被减少为四分之一。如果判断像素饱和度不满足特定阈值，则步骤546被执行。在步骤546中，光强度水平被提高或传感器积分时间被增加。在一个示例中，光强度水平被设为处于之前的光强度水平和最大光强度水平（或初始光强度水平）之间的一水平。在一个实施例中，如果像素饱和度低于预定阈值，则不再捕捉其它光脉冲或图像。
所公开的技术可以与各种计算***一起使用。图8-10提供了可用于实现所公开的技术的实施例的各种计算***的示例。
图8是游戏和媒体***7201的实施例的框图，它是图1-2中计算环境12的一个示例。控制台7203具有中央处理单元（CPU）7200以及便于处理器访问各种类型的存储器的存储器控制器7202，各种类型的存储器包括闪存只读存储器（ROM）7204、随机存取存储器（RAM）7206、硬盘驱动器7208，以及便携式媒体驱动器7107。在一种实现中，CPU7200包括1级高速缓存7210和2级高速缓存7212，这些高速缓存用于临时存储数据并因此减少对硬盘驱动器7208进行的存储器访问周期的数量，从而提高了处理速度和吞吐量。
CPU7200、存储器控制器7202、以及各种存储器设备经由一个或多个总线（未示出）互连。所述一个或多个总线可以包括下列各项中一个或多个：串行和并行总线、存储器总线、***总线、使用各种总线架构中的任何一种的处理器或局部总线。作为示例，这样的架构可以包括工业标准架构（ISA）总线、微通道架构（MCA）总线、增强型ISA（EISA）总线、视频电子标准协会（VESA）局部总线、以及***部件互连（PCI）总线。
在一个实现中，CPU7200、存储器控制器7202、ROM7204、以及RAM7206被集成到公用模块7214上。在此实现中，ROM7204被配置为通过PCI总线和ROM总线（两者都没有示出）连接到存储器控制器7202的闪存ROM。RAM7206被配置为多个双倍数据速率同步动态RAM（DDR SDRAM）模块，它们被存储器控制器7202通过分开的总线（未示出）独立地进行控制。硬盘驱动器7208和便携式媒体驱动器7107被示为通过PCI总线和AT附加（ATA）总线7216连接到存储器控制器7202。然而，在其它实施方式中，也可以在替代方案中应用不同类型的专用数据总线结构。
三维图形处理单元7220和视频编码器7222构成了视频处理流水线，用于进行高速度和高分辨率（例如，高清晰度）图形处理。数据通过数字视频总线（未示出）从图形处理单元7220传输到视频编码器7222。音频处理单元7224和音频编解码器（编码器/解码器）7226构成了对应的音频处理流水线，用于对各种数字音频格式进行多通道音频处理。通过通信链路（未示出）在音频处理单元7224和音频编解码器7226之间传送音频数据。视频和音频处理流水线向A/V（音频/视频）端口7228输出数据，以便传输到电视机或其它显示器。在所示出的实现中，视频和音频处理组件7220-7228安装在模块7214上。
图8示出了包括USB主控制器7230和网络接口7232的模块7214。USB主控制器7230通过总线（未示出）与CPU7200和存储器控制器7202通信，并用作***控制器7205(1)-7205(4)的主机。网络接口7232提供对网络（例如，因特网、家庭网络等等）的访问，并可以是各种有线或无线接口组件中的任何一种，包括以太网网卡、调制解调器、无线接入卡、蓝牙模块、电缆调制解调器等等。
在图8中描绘的实现中，控制台7203包括用于支持四个控制器7205(1)-7205(4)的控制器支持子部件7240。控制器支持子部件7240包括支持与诸如，例如，媒体和游戏控制器之类的外部控制设备的有线和无线操作所需的任何硬件和软件组件。前面板I/O子部件7242支持电源按钮7213、弹出按钮7215，以及任何LED（发光二极管）或暴露在控制台7203的外表面上的其它指示器等多个功能。子部件7240和7242通过一个或多个电缆部件7244与模块7214进行通信。在其它实现中，控制台7203可以包括另外的控制器子部件。所示出的实现还示出了被配置为发送和接收可传递给模块7214的信号（例如来自遥控器7290）的光学I/O接口7235。
MU7241(1)和7241(2)被示为可以分别连接到MU端口“A”7231(1)和“B”7231(2)。附加的MU（例如，MU7241(3)-7241(6)）被示为可连接到控制器7205(1)和7205(3)，即每一个控制器两个MU。控制器7205(2)和7205(4)也可以被配置成接纳MU（未示出）。每一个MU7241都提供附加存储，在其上面可以存储游戏、游戏参数、及其它数据。诸如便携式USB设备之类的附加存储器设备可用来代替MU。在一些实现中，其它数据可以包括数字游戏组件、可执行的游戏应用，用于扩展游戏应用的指令集、以及媒体文件中的任何一种。当被***到控制台7203或控制器中时，MU7241可以被存储器控制器7202访问。***供电模块7250向游戏***7201的组件供电。风扇7252冷却控制台7203内的电路。
包括机器指令的应用7260被存储在硬盘驱动器7208上。当控制台7203被上电时，应用7260的各个部分被加载到RAM7206和/或高速缓存7210和7212中以供在CPU7200上执行。其它应用也可以存储在硬盘驱动器7208上以供在CPU7200上执行。
可以通过简单地将***连接到监视器、电视机、视频投影仪、或其它显示设备来将游戏和媒体***7201用作独立***。在此独立模式下，游戏和媒体***7201使得一个或多个玩家能够玩游戏或欣赏数字媒体（例如观看电影或听音乐）。然而，随着宽带连接的集成通过网络接口7232而成为可能，游戏和媒体***7201还可以作为更大的网络游戏社区的参与者来操作。
图9是移动设备8300的一个实施例的框图，移动设备8300可用于实现图3中的计算***50。移动设备可以包括已经整合了无线接收机/发射机技术的膝上型计算机、袖珍计算机、移动电话、个人数字助理、以及手持式媒体设备。
移动设备8300包括一个或多个处理器8312以及存储器8310。存储器8310包括应用8330和非易失性存储8340。存储器8310可以是任何种类的存储器存储介质类型，包括非易失性和易失性存储器。移动设备操作***处理移动设备8300的不同操作，并可包含用于操作的用户界面，如拨打和接听电话呼叫、文本消息收发、检查语音邮件等。应用8330可以是任何种类的程序，如用于照片和/或视频的相机应用、地址簿、日历应用、媒体播放器、因特网浏览器、游戏、闹钟应用、以及其它应用。存储器8310中的非易失性存储组件8340可以包含诸如音乐、照片、联系人数据、日程安排数据、以及其它文件之类的数据。
所述一个或多个处理器8312还与下列各项通信：RF发射机/接收机8306，其又耦合到天线8302；红外发射机/接收机8308；全球定位服务（GPS）接收器8365；以及移动/定向传感器8314，其可以包括加速度计和/或磁力计。RF发射机/接收机8308可以通过诸如蓝牙
Figure BDA0000470495080000191
或IEEE802.11标准之类的各种无线技术标准来实现无线通信。加速度计可能已经结合在移动设备中以实现诸如下列等应用：智能用户界面应用，其让用户通过姿势输入命令；以及定向应用，其可以在移动设备被旋转时自动地从竖向改变成横向。可以，例如，通过微机电***（MEMS）来提供加速度计，该微机电***是构建在半导体芯片上的微小机械器件（微米尺寸）。可以感测加速度方向、以及定向、振动和震动。所述一个或多个处理器8312还与响铃器/振动器8316、用户界面小键盘/屏幕8318、扬声器8320、话筒8322、相机8324、光传感器8326和温度传感器8328进行通信。用户界面小键盘/屏幕可以包括触敏屏幕显示器。
所述一个或多个处理器8312控制无线信号的发射和接收。在发射模式期间，所述一个或多个处理器8312向RF发射机/接收机8306提供来自话筒8322的语音信号，或其它数据信号。发射机/接收机8306通过天线8302来发射信号。响铃器/振动器8316被用于向用户发传入呼叫、文本消息、日历提醒、闹钟提醒或其它通知等信号。在接收模式期间，RF发射机/接收机8306通过天线8302接收来自远程站的语音信号或数据信号。所接收到的语音信号被提供给扬声器8320，而接收到的其它数据信号被适当地处理。
另外，可以使用物理连接器8388来将移动设备8300连接到诸如AC适配器或加电对接底座之类的外部电源，以便对电池8304进行再充电。物理连接器8388还可被用作到外部计算设备的数据连接。该数据连接允许诸如将移动设备数据与另一设备上的计算数据进行同步等操作。
图10是计算***环境2200（如图3中的计算***54）的实施例的框图。计算***环境2200包括计算机2210形式的通用计算设备。计算机2210的组件可以包括、但不限于处理单元2220、***存储器2230、以及将包括***存储器2230在内的各种***组件耦合到处理单元2220的***总线2221。***总线2221可以是若干类型的总线结构中的任一种，包括使用各种总线体系结构中的任一种的存储器总线、***总线、以及局部总线。作为示例，而非限制，这样的体系结构包括工业标准体系结构（ISA）总线、微通道体系结构（MCA）总线、增强型ISA（EISA）总线、视频电子技术标准协会（VESA）局部总线和***部件互连（PCI）总线。
计算机2210通常包括各种计算机可读介质。计算机可读介质可以是能由计算机2210访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。作为示例而非局限，计算机可读介质可以包括计算机存储介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括，但不限于，RAM、ROM、EEPROM、闪存或其它存储器技术，CD-ROM、数字多功能盘（DVD）或其它光盘存储设备，磁带盒、磁带、磁盘存储设备或其它磁存储设备，或者能用于存储所需信息且可以由计算机2210访问的任何其它介质。上述中任一组合也应包括在计算机可读介质的范围之内。
***存储器2230包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器（ROM）2231和随机存取存储器（RAM）2232。包含诸如在启动期间帮助在计算机2210内的元件之间传输信息的基本例程的基本输入/输出***2233（BIOS）通常存储在ROM2231中。RAM2232通常包含处理单元2220可立即访问和/或当前正在操作的数据和/或程序模块。作为示例而非限制，图10示出了操作***2234、应用程序2235、其它程序模块2236和程序数据2237。
计算机2210也可以包括其它可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例，图10示出了从不可移动、非易失性磁介质中读取或向其写入的硬盘驱动器2241，从可移动、非易失性磁盘2252中读取或向其写入的磁盘驱动器2251，以及从诸如CD ROM或其它光学介质等可移动、非易失性光盘2256中读取或向其写入的光盘驱动器2255。可在示例性操作环境中使用的其它可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等。硬盘驱动器2241通常由例如接口2240之类的不可移除存储器接口连接至***总线2221，而磁盘驱动器2251和光盘驱动器2255通常由例如接口2250之类的可移除存储器接口连接至***总线2221。
上文讨论并在图10中示出的驱动器及其相关联的计算机存储介质为计算机2210提供了对计算机可读指令、数据结构、程序模块和其它数据的存储。例如，在图10中，硬盘驱动器2241被示为存储操作***2244、应用程序2245、其它程序模块2246和程序数据2247。注意，这些组件可与操作***2234、应用程序2235、其它程序模块2236和程序数据2237相同，也可与它们不同。在此操作***2244、应用程序2245、其它程序模块2246以及程序数据2247被给予了不同的编号，以说明至少它们是不同的副本。用户可以通过输入设备如键盘2262和定点设备2261（通常指鼠标、跟踪球或触摸垫）向计算机2210输入命令和信息。其它输入设备（未示出）可包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等。这些以及其它输入设备通常通过耦合到***总线的用户输入接口2260连接到处理单元2220，但也可通过诸如并行端口、游戏端口或通用串行总线（USB）之类的其它接口和总线结构来连接。监视器2291或其它类型的显示设备也经由诸如视频接口2290之类的接口连接至***总线2221。除了监视器以外，计算机还可包括诸如扬声器2297和打印机2296之类的其它***输出设备，它们可通过输出***接口2295来连接。
计算机2210可使用到一个或多个远程计算机（诸如，远程计算机2280）的逻辑连接而在联网环境中操作。远程计算机2280可以是个人计算机、服务器、路由器、网络PC、对等设备或其它常见网络节点，且通常包括上文相对于计算机2210描述的许多或所有元件，但在图10中只示出存储器存储设备2281。图10中所示的逻辑连接包括局域网（LAN）2271和广域网（WAN）2273，但也可以包括其它网络。此类联网环境在办公室、企业范围的计算机网络、内联网和因特网中是常见的。
当在LAN联网环境中使用时，计算机2210通过网络接口或适配器2270连接到LAN2271。当在WAN联网环境中使用时，计算机2210通常包括调制解调器2272或用于通过诸如因特网等WAN2273建立通信的其它手段。调制解调器2272可以是内置的或外置的，可经由用户输入接口2260或其它适当的机制连接到***总线2221。在联网环境中，相关于计算机2210所示的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非限制，图10示出了远程应用程序2285驻留在存储器设备2281上。应当理解，所示的网络连接是示例性的，并且可使用在计算机之间建立通信链路的其它手段。
所公开的技术可用各种其它通用或专用计算***环境或配置来操作。适合在该技术中使用的公知的计算***、环境和/或配置的示例包括，但不限于，个人计算机、服务器计算机、手持或膝上型设备、多处理器***、基于微处理器的***、机顶盒、可编程消费者电子产品、网络PC、小型机、大型机、包含上述***或设备中的任一个的分布式计算机环境等。
所公开的技术可在诸如程序模块等由计算机执行的计算机可执行指令的一般上下文中描述。一般而言，如此处所述的软件和程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构和其它类型的结构。硬件或硬件和软件的组合可代替如此处所述的软件模块。
所公开的技术也可以在任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实现。在分布式计算环境中，程序模块可以位于包括存储器存储设备在内的本地和远程计算机存储介质中。
出于本文的目的，说明书中引述的“一实施例”、“一个实施例”、“某些实施例”或“另一实施例”用于描述不同的实施例并且不必然指的是同一实施例。
出于本文的目的，连接可以是直接连接或间接连接（例如，经由另一方）。
出于本文的目的，术语对象的“集合”指的是一个或多个对象的“集合”。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims (10)

1.一种用于扩展深度图范围的方法，包括：
使用第一光强度水平将光图案投射到第一环境中；
在第一传感器积分时间上捕捉所述第一环境的第一图像，所述第一图像与所述第一光强度水平相关联；
确定与所述第一图像相关联的像素饱和度；基于所述像素饱和度，设置与所述第一光强度水平不同的第二光强度水平；
使用所述第二光强度水平将所述光图案投射到所述第一环境中；
捕捉所述第一环境的第二图像，所述第二图像与所述第二光强度水平相关联；以及
将所述第一图像和所述第二图像合成为组合图像。
2.如权利要求1所述的方法，其特征在于：
所述像素饱和度包括与所述第一图像相关联的像素饱和的百分比；以及
设置第二光强度水平包括：如果与所述第一图像相关联的像素饱和的百分比高于预定百分比，则将所述第二光强度水平设置为比所述第一光强度水平低的强度水平。
3.如权利要求1所述的方法，其特征在于：
设置第二光强度水平包括：如果所述像素饱和度不高于一阈值，则将所述第二光强度水平设置为比所述第一光强度水平高的强度水平。
4.如权利要求1-3中的任一项所述的方法，其特征在于：
将所述第一图像和所述第二图像合成为组合图像包括：向所述组合图像中与所述第一图像中的饱和像素位置对应的像素位置分配与所述第二图像相关联的缩放像素值。
5.如权利要求1-3中的任一项所述的方法，其特征在于：
将所述第一图像和所述第二图像合成为组合图像包括：对所述第一图像和所述第二图像应用高动态范围成像技术。
6.如权利要求1所述的方法，其特征在于：
将光图案投射到第一环境中包括使用激光投射所述光图案；
将光图案投射到第一环境中发生在第一时间段期间，所述第一传感器积分时间在所述第一时间段之后；以及
所述第一光强度水平与距所述激光的特定距离相关联。
7.一种用于扩展深度图范围的电子设备，包括：
照明源，所述照明源使用第一光强度水平将光图案投射到第一环境中；
传感器，所述传感器在第一传感器积分时间上捕捉所述第一环境的第一图像，所述第一图像与所述第一光强度水平相关联；以及
一个或多个处理器，所述一个或多个处理器确定与所述第一图像相关联的像素饱和度，所述一个或多个处理器基于所述像素饱和度确定第二光强度水平，所述照明源使用所述第二光强度水平将所述光图案投射到所述第一环境中，所述传感器捕捉所述第一环境的第二图像，所述第二图像与所述第二光强度水平相关联，所述第二光强度水平不同于所述第一光强度水平，所述一个或多个处理器从所述第一图像和所述第二图像生成组合图像。
8.如权利要求7所述的电子设备，其特征在于：
所述像素饱和度包括与所述第一图像相关联的像素饱和的百分比；
如果与所述第一图像相关联的像素饱和的百分比高于预定百分比，则所述一个或多个处理器将所述第二光强度水平设置为比所述第一光强度水平低的强度水平。
9.如权利要求7所述的电子设备，其特征在于：
如果所述像素饱和度不高于一阈值，则所述一个或多个处理器将所述第二光强度水平设置为比所述第一光强度水平高的强度水平。
10.如权利要求7-9中的任一项所述的电子设备，其特征在于：
所述一个或多个处理器通过对所述第一图像和所述第二图像应用高动态范围成像技术来生成所述组合图像。
CN201280041944.2A 2011-08-30 2012-08-29 扩展激光深度图范围的方法 Pending CN103765879A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/221,066 US9491441B2 (en) 2011-08-30 2011-08-30 Method to extend laser depth map range
US13/221,066 2011-08-30
PCT/US2012/052781 WO2013033151A1 (en) 2011-08-30 2012-08-29 Method to extend laser depth map range

Publications (1)

Publication Number Publication Date
CN103765879A true CN103765879A (zh) 2014-04-30

Family

ID=47743140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280041944.2A Pending CN103765879A (zh) 2011-08-30 2012-08-29 扩展激光深度图范围的方法

Country Status (6)

Country Link
US (1) US9491441B2 (zh)
EP (1) EP2752012A4 (zh)
JP (1) JP2014533347A (zh)
KR (1) KR101879478B1 (zh)
CN (1) CN103765879A (zh)
WO (1) WO2013033151A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106534828A (zh) * 2015-09-11 2017-03-22 钰立微电子股份有限公司 应用于立体图像获取装置的控制器与立体图像获取装置
CN107851323A (zh) * 2015-05-13 2018-03-27 无装饰实验室奥地利股份有限公司 3d身体扫描仪数据处理流程
CN109842789A (zh) * 2017-11-28 2019-06-04 奇景光电股份有限公司 深度感测装置及深度感测方法
CN112235522A (zh) * 2015-04-20 2021-01-15 三星电子株式会社 成像方法和成像***
CN112781522A (zh) * 2020-12-25 2021-05-11 复旦大学 一种基于彩色相移结构光的去高光轮廓仪
CN112887627A (zh) * 2021-01-26 2021-06-01 光为科技(广州)有限公司 增加LiDAR设备动态范围的方法、电子电路及机器可读介质
CN112887628A (zh) * 2021-01-26 2021-06-01 光为科技(广州)有限公司 光探测和测距设备及增加其动态范围的方法
CN113126072A (zh) * 2019-12-30 2021-07-16 浙江舜宇智能光学技术有限公司 深度相机及控制方法
US11650044B2 (en) 2015-04-20 2023-05-16 Samsung Electronics Co., Ltd. CMOS image sensor for 2D imaging and depth measurement with ambient light rejection
US11725933B2 (en) 2015-04-20 2023-08-15 Samsung Electronics Co., Ltd. CMOS image sensor for RGB imaging and depth measurement with laser sheet scan
US11736832B2 (en) 2015-04-20 2023-08-22 Samsung Electronics Co., Ltd. Timestamp calibration of the 3D camera with epipolar line laser point scanning
US11924545B2 (en) 2015-04-20 2024-03-05 Samsung Electronics Co., Ltd. Concurrent RGBZ sensor and system

Families Citing this family (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8908995B2 (en) 2009-01-12 2014-12-09 Intermec Ip Corp. Semi-automatic dimensioning with imager on a portable device
US8639020B1 (en) 2010-06-16 2014-01-28 Intel Corporation Method and system for modeling subjects from a depth map
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
JP6074170B2 (ja) 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
GB2494629A (en) * 2011-09-09 2013-03-20 St Microelectronics Res & Dev Optical navigation device with sleep mode and active mode
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
JP5918984B2 (ja) * 2011-12-06 2016-05-18 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP5713885B2 (ja) * 2011-12-26 2015-05-07 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US9007368B2 (en) 2012-05-07 2015-04-14 Intermec Ip Corp. Dimensioning system calibration systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
US9679209B2 (en) * 2012-07-25 2017-06-13 Denso Corporation State monitoring apparatus
US20140037135A1 (en) * 2012-07-31 2014-02-06 Omek Interactive, Ltd. Context-driven adjustment of camera parameters
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
JP5740370B2 (ja) * 2012-09-04 2015-06-24 株式会社東芝 領域特定装置、方法、及びプログラム
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US20140104413A1 (en) 2012-10-16 2014-04-17 Hand Held Products, Inc. Integrated dimensioning and weighing system
JP6088864B2 (ja) * 2013-03-13 2017-03-01 国立大学法人 鹿児島大学 キャリブレーションシステム、およびキャリブレーション方法
US9080856B2 (en) 2013-03-13 2015-07-14 Intermec Ip Corp. Systems and methods for enhancing dimensioning, for example volume dimensioning
US9948852B2 (en) 2013-03-15 2018-04-17 Intuitive Surgical Operations, Inc. Intelligent manual adjustment of an image control element
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
US9239950B2 (en) 2013-07-01 2016-01-19 Hand Held Products, Inc. Dimensioning system
US9721161B2 (en) * 2013-08-14 2017-08-01 Infineon Technologies Ag Dynamic adjustment of imaging parameters
US9847082B2 (en) * 2013-08-23 2017-12-19 Honeywell International Inc. System for modifying speech recognition and beamforming using a depth image
US9464885B2 (en) 2013-08-30 2016-10-11 Hand Held Products, Inc. System and method for package dimensioning
US9407809B2 (en) * 2013-11-27 2016-08-02 Qualcomm Incorporated Strategies for triggering depth sensors and transmitting RGBD images in a cloud-based object recognition system
US9542749B2 (en) 2014-01-06 2017-01-10 Microsoft Technology Licensing, Llc Fast general multipath correction in time-of-flight imaging
US9307161B2 (en) * 2014-01-10 2016-04-05 Qualcomm Incorporated System and method for capturing digital images using multiple short exposures
KR102101864B1 (ko) * 2014-01-29 2020-04-20 엘지이노텍 주식회사 깊이 정보 추출 장치
BR102014010722B1 (pt) * 2014-05-05 2022-09-27 União Brasileira De Educação E Assistência Sistema e método de localização de coordenadas espaciais de objetos e uso do referido sistema para localização de objetos dispostos em ambientes internos
CN103996382B (zh) * 2014-05-07 2016-04-20 成都京东方光电科技有限公司 提高rgbw图像饱和度的方法及***
US9786251B1 (en) * 2014-05-28 2017-10-10 Musco Corporation Apparatus, method, and system for visually indicating perceived glare thresholds
KR102194234B1 (ko) * 2014-06-02 2020-12-22 삼성전자주식회사 깊이 카메라를 이용하여 피사체에 대응하는 깊이 값을 생성하는 방법 및 장치
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
US9557166B2 (en) 2014-10-21 2017-01-31 Hand Held Products, Inc. Dimensioning system with multipath interference mitigation
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US9762793B2 (en) 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US10495726B2 (en) 2014-11-13 2019-12-03 WorldViz, Inc. Methods and systems for an immersive virtual reality system using multiple active markers
JP6492588B2 (ja) * 2014-12-01 2019-04-03 セイコーエプソン株式会社 プロジェクター及びプロジェクターの制御方法
US9846919B2 (en) 2015-02-16 2017-12-19 Samsung Electronics Co., Ltd. Data processing device for processing multiple sensor data and system including the same
US9948920B2 (en) 2015-02-27 2018-04-17 Qualcomm Incorporated Systems and methods for error correction in structured light
US10068338B2 (en) 2015-03-12 2018-09-04 Qualcomm Incorporated Active sensing spatial resolution improvement through multiple receivers and code reuse
US9530215B2 (en) 2015-03-20 2016-12-27 Qualcomm Incorporated Systems and methods for enhanced depth map retrieval for moving objects using active sensing technology
US10456685B2 (en) * 2015-04-14 2019-10-29 Nintendo Co., Ltd. Identifying and tracking objects via lighting patterns
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9857167B2 (en) 2015-06-23 2018-01-02 Hand Held Products, Inc. Dual-projector three-dimensional scanner
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
EP3118576B1 (en) 2015-07-15 2018-09-12 Hand Held Products, Inc. Mobile dimensioning device with dynamic accuracy compatible with nist standard
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US9635339B2 (en) 2015-08-14 2017-04-25 Qualcomm Incorporated Memory-efficient coded light error correction
US9846943B2 (en) 2015-08-31 2017-12-19 Qualcomm Incorporated Code domain power control for structured light
US10613225B2 (en) * 2015-09-21 2020-04-07 Kabushiki Kaisha Toshiba Distance measuring device
KR20170048972A (ko) 2015-10-27 2017-05-10 삼성전자주식회사 영상을 생성하는 방법 및 장치
KR102372087B1 (ko) * 2015-10-28 2022-03-08 삼성전자주식회사 깊이 영상 촬영장치 및 방법
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
US9990689B2 (en) 2015-12-16 2018-06-05 WorldViz, Inc. Multi-user virtual reality processing
US10095928B2 (en) * 2015-12-22 2018-10-09 WorldViz, Inc. Methods and systems for marker identification
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
US20170289515A1 (en) * 2016-04-01 2017-10-05 Intel Corporation High dynamic range depth generation for 3d imaging systems
US10242501B1 (en) 2016-05-03 2019-03-26 WorldViz, Inc. Multi-user virtual and augmented reality tracking systems
KR101842141B1 (ko) * 2016-05-13 2018-03-26 (주)칼리온 3차원 스캐닝 장치 및 방법
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US10529135B2 (en) * 2016-07-27 2020-01-07 Google Llc Low-power mode feature identification at a head mounted display
US10062262B2 (en) * 2016-11-16 2018-08-28 The Nielsen Company (Us), Llc People metering enhanced with light projection prompting for audience measurement
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
US10425633B2 (en) 2016-12-30 2019-09-24 Konica Minolta Laboratory U.S.A., Inc. Method and system for capturing images for wound assessment with moisture detection
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
US10403050B1 (en) 2017-04-10 2019-09-03 WorldViz, Inc. Multi-user virtual and augmented reality tracking systems
SE542644C2 (en) 2017-05-30 2020-06-23 Photon Sports Tech Ab Method and camera arrangement for measuring a movement of a person
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
US10334232B2 (en) * 2017-11-13 2019-06-25 Himax Technologies Limited Depth-sensing device and depth-sensing method
JP6760320B2 (ja) * 2018-03-15 2020-09-23 オムロン株式会社 光検出装置、光検出方法および光学式測距センサ
US10593055B2 (en) * 2018-03-23 2020-03-17 Capsovision Inc Method and apparatus for capturing images and associated 3D model based on a single image sensor and structured-light patterns in the visible spectrum
US11169251B2 (en) * 2018-03-28 2021-11-09 Qualcomm Incorporated Proximity detection using multiple power levels
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
US20190045169A1 (en) * 2018-05-30 2019-02-07 Intel Corporation Maximizing efficiency of flight optical depth sensors in computing environments
EP3824621A4 (en) 2018-07-19 2022-04-27 Activ Surgical, Inc. SYSTEMS AND METHODS FOR MULTIMODAL DETECTION OF DEPTH IN VISION SYSTEMS FOR AUTOMATED SURGICAL ROBOTS
US10771717B2 (en) * 2018-07-30 2020-09-08 Lumileds Llc Use of IR pre-flash for RGB camera's automatic algorithms
US20200036877A1 (en) * 2018-07-30 2020-01-30 Lumileds Llc Use of ir pre-flash for rgb camera's automatic algorithms
US10607353B2 (en) * 2018-08-30 2020-03-31 Facebook Technologies, Llc Structured light depth sensing
US10960297B2 (en) * 2018-09-17 2021-03-30 Disney Enterprises, Inc. Systems and methods for tracking a physical object using a passive object having a reflective surface
CN109543666A (zh) * 2018-11-05 2019-03-29 北京小米移动软件有限公司 结构光组件控制方法及装置
KR20220021920A (ko) 2019-04-08 2022-02-22 액티브 서지컬, 인크. 의료 이미징을 위한 시스템 및 방법
US11590650B2 (en) * 2019-06-10 2023-02-28 Preferred Networks, Inc. Generation method for training dataset, model generation method, training data generation apparatus, inference apparatus, robotic controller, model training method and robot
WO2021035094A1 (en) 2019-08-21 2021-02-25 Activ Surgical, Inc. Systems and methods for medical imaging
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning
US10819915B1 (en) 2019-10-17 2020-10-27 Horiba Instruments Incorporated Apparatus and method generating high dynamic range video
JP7364439B2 (ja) * 2019-11-25 2023-10-18 ファナック株式会社 Ｔｏｆセンサを用いた物体検出システム
US11988775B1 (en) * 2019-12-18 2024-05-21 Zoox, Inc. Dynamic sensor illumination
DE102021115221A1 (de) 2021-06-11 2022-12-15 K.A. Schmersal Holding Gmbh & Co. Kg Sichere Überwachung eines Schutzbereichs mittels einer ToF-Kamera

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5781807A (en) * 1996-08-16 1998-07-14 Lester A. Dine, Inc. Close-up attachment for a digital camera
US6503195B1 (en) * 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
CN101090457A (zh) * 2006-06-16 2007-12-19 三星电子株式会社 产生图像的设备和方法
US20100128109A1 (en) * 2008-11-25 2010-05-27 Banks Paul S Systems And Methods Of High Resolution Three-Dimensional Imaging
US20100328454A1 (en) * 2008-03-07 2010-12-30 Nikon Corporation Shape measuring device and method, and program

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3525964B2 (ja) * 1995-07-05 2004-05-10 株式会社エフ・エフ・シー 物体の三次元形状計測方法
KR100382439B1 (ko) * 1998-05-25 2003-05-09 마쯔시다덴기산교 가부시키가이샤 레인지파인더 장치와 카메라
JP2000230814A (ja) * 1999-02-09 2000-08-22 Mitsubishi Heavy Ind Ltd レーザ光を利用した形状測定方法
US6678351B1 (en) 1999-05-06 2004-01-13 The United States Of America As Represented By The United States Department Of Energy Laser radiography forming bremsstrahlung radiation to image an object
JP2001280951A (ja) * 2000-03-31 2001-10-10 Omron Corp 光学式変位計
US7464877B2 (en) 2003-11-13 2008-12-16 Metrologic Instruments, Inc. Digital imaging-based bar code symbol reading system employing image cropping pattern generator and automatic cropped image processor
US7128266B2 (en) 2003-11-13 2006-10-31 Metrologic Instruments. Inc. Hand-supportable digital imaging-based bar code symbol reader supporting narrow-area and wide-area modes of illumination and image capture
US6753876B2 (en) * 2001-12-21 2004-06-22 General Electric Company Method for high dynamic range image construction based on multiple images with multiple illumination intensities
US7440590B1 (en) 2002-05-21 2008-10-21 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
US7492375B2 (en) 2003-11-14 2009-02-17 Microsoft Corporation High dynamic range image viewing on low dynamic range displays
US7684450B2 (en) 2004-12-20 2010-03-23 Imra America, Inc. Pulsed laser source with adjustable grating compressor
KR100672818B1 (ko) * 2006-01-26 2007-01-22 주식회사 고영테크놀러지 3차원형상 측정방법
US7792423B2 (en) * 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras
WO2008155770A2 (en) * 2007-06-19 2008-12-24 Prime Sense Ltd. Distance-varying illumination and imaging techniques for depth mapping
US8054290B2 (en) * 2009-05-27 2011-11-08 Microsoft Corporation Image contrast enhancement in depth sensor
US8830227B2 (en) * 2009-12-06 2014-09-09 Primesense Ltd. Depth-based gain control

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5781807A (en) * 1996-08-16 1998-07-14 Lester A. Dine, Inc. Close-up attachment for a digital camera
US6503195B1 (en) * 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
CN101090457A (zh) * 2006-06-16 2007-12-19 三星电子株式会社 产生图像的设备和方法
US20100328454A1 (en) * 2008-03-07 2010-12-30 Nikon Corporation Shape measuring device and method, and program
US20100128109A1 (en) * 2008-11-25 2010-05-27 Banks Paul S Systems And Methods Of High Resolution Three-Dimensional Imaging

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11650044B2 (en) 2015-04-20 2023-05-16 Samsung Electronics Co., Ltd. CMOS image sensor for 2D imaging and depth measurement with ambient light rejection
US11736832B2 (en) 2015-04-20 2023-08-22 Samsung Electronics Co., Ltd. Timestamp calibration of the 3D camera with epipolar line laser point scanning
CN112235522A (zh) * 2015-04-20 2021-01-15 三星电子株式会社 成像方法和成像***
US11924545B2 (en) 2015-04-20 2024-03-05 Samsung Electronics Co., Ltd. Concurrent RGBZ sensor and system
US11725933B2 (en) 2015-04-20 2023-08-15 Samsung Electronics Co., Ltd. CMOS image sensor for RGB imaging and depth measurement with laser sheet scan
CN107851323A (zh) * 2015-05-13 2018-03-27 无装饰实验室奥地利股份有限公司 3d身体扫描仪数据处理流程
CN107851323B (zh) * 2015-05-13 2022-08-05 无装饰实验室奥地利股份有限公司 3d身体扫描仪数据处理流程
CN106534828A (zh) * 2015-09-11 2017-03-22 钰立微电子股份有限公司 应用于立体图像获取装置的控制器与立体图像获取装置
CN109842789A (zh) * 2017-11-28 2019-06-04 奇景光电股份有限公司 深度感测装置及深度感测方法
CN113126072A (zh) * 2019-12-30 2021-07-16 浙江舜宇智能光学技术有限公司 深度相机及控制方法
CN113126072B (zh) * 2019-12-30 2023-12-29 浙江舜宇智能光学技术有限公司 深度相机及控制方法
CN112781522A (zh) * 2020-12-25 2021-05-11 复旦大学 一种基于彩色相移结构光的去高光轮廓仪
CN112887628A (zh) * 2021-01-26 2021-06-01 光为科技(广州)有限公司 光探测和测距设备及增加其动态范围的方法
CN112887627A (zh) * 2021-01-26 2021-06-01 光为科技(广州)有限公司 增加LiDAR设备动态范围的方法、电子电路及机器可读介质

Also Published As

Publication number Publication date
EP2752012A1 (en) 2014-07-09
EP2752012A4 (en) 2014-08-27
US9491441B2 (en) 2016-11-08
JP2014533347A (ja) 2014-12-11
KR101879478B1 (ko) 2018-07-17
KR20140053235A (ko) 2014-05-07
US20130050426A1 (en) 2013-02-28
WO2013033151A1 (en) 2013-03-07

Similar Documents

Publication Publication Date Title
CN103765879A (zh) 扩展激光深度图范围的方法
US10007349B2 (en) Multiple sensor gesture recognition
US8660362B2 (en) Combined depth filtering and super resolution
CN105324811B (zh) 语音到文本转换
US9628843B2 (en) Methods for controlling electronic devices using gestures
CN102681958B (zh) 使用物理姿势传输数据
CN102903362B (zh) 集成的本地和基于云的语音识别
US10241990B2 (en) Gesture based annotations
US20160080709A1 (en) Scanning Laser Planarity Detection
US20180309955A1 (en) User interest-based enhancement of media quality
CN102222347A (zh) 使用波阵面编码来创建深度图像
CN110033783A (zh) 声学环境中的声学信号的基于上下文的消除和放大
US20240104744A1 (en) Real-time multi-view detection of objects in multi-camera environments
US20190045169A1 (en) Maximizing efficiency of flight optical depth sensors in computing environments
CN112673276A (zh) 超声波传感器
TWI674529B (zh) 混合實境組件及產生混合實境之方法
US9261974B2 (en) Apparatus and method for processing sensory effect of image data
KR101740827B1 (ko) 자석 등을 이용한 컨텐츠 표시 방법 및 이를 수행하는 사용자 단말
US10632362B2 (en) Pre-visualization device
US20230300250A1 (en) Selectively providing audio to some but not all virtual conference participants reprsented in a same virtual space
US20230360264A1 (en) Identifying a position of a controllable device using a wearable device
US20230334794A1 (en) Presenting Communication Data Based on Environment
EP3398028A1 (en) System and method for human computer interaction

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150803

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150803

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

RJ01 Rejection of invention patent application after publication

Application publication date: 20140430

RJ01 Rejection of invention patent application after publication