CN107430324B - 具有不可见光通道的数字光投影仪 - Google Patents

具有不可见光通道的数字光投影仪 Download PDF

Info

Publication number
CN107430324B
CN107430324B CN201480083431.7A CN201480083431A CN107430324B CN 107430324 B CN107430324 B CN 107430324B CN 201480083431 A CN201480083431 A CN 201480083431A CN 107430324 B CN107430324 B CN 107430324B
Authority
CN
China
Prior art keywords
light
visible
invisible
color channel
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480083431.7A
Other languages
English (en)
Other versions
CN107430324A (zh
Inventor
D.B.肖尔特
R·米勒
J·姜
O·西弗特
K·斯皮尔斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN107430324A publication Critical patent/CN107430324A/zh
Application granted granted Critical
Publication of CN107430324B publication Critical patent/CN107430324B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/26—Projecting separately subsidiary matter simultaneously with main image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G03B21/2006—Lamp housings characterised by the light source
    • G03B21/2033—LED or laser light sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3102—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators
    • H04N9/3111—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators for displaying the colours sequentially, e.g. by using sequentially activated light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3102—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators
    • H04N9/312—Driving therefor
    • H04N9/3123—Driving therefor using pulse width modulation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Video Image Reproduction Devices For Color Tv Systems (AREA)

Abstract

一种数字光投影仪具有多个颜色通道，所述多个颜色通道包括提供可见光的至少一个可见颜色通道和提供不可见光的至少一个不可见颜色通道。数字光投影仪包括投影设备，所述投影设备将来自所述多个颜色通道的光以像素阵列的形式投影到环境上，所述像素阵列一起形成包括可见图像和不可见图像的视频图像，视频图像包括一系列帧，其中每一个帧由像素阵列形成，其中为了形成每一个帧的每一个像素，投影设备顺序地投影来自由所述多个颜色通道中的每一个提供的光的一系列光脉冲，其中来自所述至少一个可见颜色通道的光脉冲形成可见图像，并且来自所述至少一个不可见颜色通道的光脉冲形成不可见图像。

Description

具有不可见光通道的数字光投影仪
背景技术
除了投影图像以供显示之外，数字光投影仪还可以通过采用结构或图案光扫描技术来执行3D对象扫描。根据这样的技术，例如诸如条带、条或网格之类的已知像素图案被投影到场景或环境上。当从除了投影仪的视角之外的视角观看时，所述图案由于环境的表面形状而几何失真。(多个)失真的图案例如由诸如相机之类的传感器捕获，并且用于确定环境的3D坐标，并且使得能够实现表面形状的几何重构。
附图说明
图1是根据一个示例的数字光投影仪***的框图和示意图。
图2是根据一个示例的数字光投影仪的框图和示意图。
图3是用于常规数字光投影仪的脉冲序列的示例。
图4是根据一个示例的用于数字光投影仪的脉冲序列。
图5是根据一个示例的用于数字光投影仪的脉冲序列。
图6是根据一个示例的数字光投影仪***的框图和示意图。
图7是根据一个示例的数字光投影仪***的框图和示意图。
图8是图示了根据一个示例的操作数字光投影仪***的方法的流程图。
具体实施方式
在以下详细描述中，参照形成其部分的附图，并且其中通过图示的方式示出其中可以实践本公开的具体示例。要理解的是，在不脱离本公开的范围的情况下，可以利用其它示例并且可以做出结构或逻辑的改变。因此，以下详细描述不以限制性含义来理解，并且本公开的范围由随附权利要求限定。要理解的是，本文所描述的各种示例的特征可以部分或完全地与彼此组合，除非另行具体指出。
结构或图案光扫描是用于测量在被扫描环境中的对象和表面的三维形状的公认技术。结构光扫描包括例如诸如条带、条或网格之类的已知像素图案到场景或环境上。当从除了投影仪之外的视角观看时，所述图案由于向其上投影图案的环境的表面形状而几何失真。(多个)失真的图案例如由诸如相机之类的传感器捕获，其中环境的3D坐标从所捕获的图像确定并且使得能够实现被扫描环境中的对象和表面形状的3D几何重构。
数字光投影仪(DLP)可以通过将可见光图案投影到要被扫描的对象或环境上而用于这样的扫描。这样的扫描被DLP用于各种目的，诸如例如，提供3D对象的颜色扫描，或者提供投影表面的深度信息，使得像素可以被“预失真”以便使所投影的图像甚至在投影在不均匀表面上时看起来不失真。
由于所投影的图案光可能在视觉上不吸引人或可能有损于或干扰其它所投影的图像，因此一些DLP***采用例如诸如红外光之类的不可见光(即对人类视觉而言不可感知)来投影结构光图案。然而，为了投影用户或显示图像和结构光图案二者，这样的DLP***采用两个单独的投影仪——用于用户或显示图像的可见光投影仪和用于结构光图案的红外投影仪。
图1是依照本公开的一个示例的数字光投影仪(DLP)***30的框图和示意图，其将不可见光源集成作为多通道颜色DLP投影仪中的附加颜色通道，使得结构光图案由相同的投影设备(例如数字微镜设备(DMD))投影以使用可见和/或不可见光来提供3D深度感测和3D对象扫描，而不要求用于可见和不可见颜色通道的单独的投影设备。在一个示例中，如本文稍后所描述的，DLP***30提供支持3D感测的交互式投影显示或用户接口。
DLP投影仪***30包括DLP 40、感测***50以及控制模块60。DLP投影仪40包括投影设备42和提供光46的多个颜色通道44，其中多个光源44包括提供可见光源的至少一个颜色通道以及提供不可见光的至少一个颜色通道。在一个示例中，如通过图1所图示的，DLP投影仪40是具有多个颜色通道44的4通道投影仪，所述多个颜色通道44包括分别提供红色光46a、绿色光46b和蓝色光46c的第一、第二和第三颜色通道44a、44b和44c以及提供例如诸如红外光之类的不可见光46d的第四颜色通道44d。
在一个示例中，由颜色通道44a-44d采用的光源是激光二极管(例如红色、绿色和蓝色激光二极管以及红外激光二极管)。在一个示例中，不可见颜色通道44d提供具有在从1μm(近红外)到1,000μm(远红外)的范围中的波长的红外光。在一个示例中，选择由不可见颜色通道44d采用的红外光的特定波长以便是最少可能匹配以及被来自环境72中的红外源的环境红外光污染的波长。在其它示例中，不可见颜色通道44d可以采用除红外光之外的合适的不可见光源。
投影设备42接收并且可控地引导来自所述多个颜色通道44的光46a-46d，以将光48投影到环境72(例如视频屏幕)中，在所述环境72上形成视频图像70。在一个示例中，视频图像70包括可见图像和不可见图像二者。在一个示例中，投影设备42是基于微机电***(MEMS)的数字微镜设备(DMD)。在一个示例中，DLP投影仪40包括针对四个颜色通道44a-44d中的每一个的一个DMD。在其它示例中，投影设备42包括其它合适的光投影设备，诸如例如旋转镜或硅上液晶(LCoS)设备。
感测***50从环境72接收光(可见和不可见二者)，其包括来自所投影的图像70的反射光52和从环境72中的其它源呈现的环境光53，例如包括可见和不可见光(诸如红外光)二者。在一个示例中，感测***50包括用于从环境72接收可见光的至少一个传感器54和用于从环境72接收不可见光的至少一个传感器56。在一个示例中，传感器54是可见光相机，其被配置成从环境72接收可见光以形成可见光图像，并且传感器56是不可见光相机，诸如红外相机，其被配置成从环境72接收不可见光(例如红外光)以形成不可见光图像。在一个示例中，传感器56对由不可见颜色通道44d提供的不可见光的无论什么波长都敏感。在一个示例中，如58处所指示的，由感测***50捕获的可见和不可见光图像被提供给控制模块60。
在其它示例中，使用用于接收可见光的多于一个传感器54和用于接收不可见光的多于一个传感器56，其中传感器在不同的位置处从所投影的光输出48偏移，以在与彼此不同的视角处并且从所投影的光输出48接收可见和不可见光。在一个示例中，感测***50包括用于检测可见和不可见光二者的单个宽带传感器，其中由宽带传感器检测的可见和不可见光数据作为单独的颜色通道被提供给控制模块60。
根据一个示例，控制模块60包括处理单元62和存储器64，其中存储器64包括具有用于执行以下更加详细地对其进行描述的各种功能的可执行指令的一个或多个模块66。例如，在一个示例中，存储器64包括用于向DLP投影仪40提供视频投影数据68以用于从而进行投影的投影数据模块(PDM)66a、用于分析从感测***50接收的图像数据58的深度数据提取模块66b以及同步模块66c，所述同步模块66c发送/接收同步信息以用于将可见光传感器54和不可见光传感器54与由DLP投影仪40的光输出48形成的视频图像70的图像帧同步。在一个示例中，控制模块60包括用于从/向外部设备(如在69处所指示的诸如例如膝上型计算机)接收输入数据(例如RGB视频)和发送输出数据(例如，经扫描的图像，如以下所描述的)的输入/输出(I/O)模块65。
图2是一般地图示了根据一个实施例的DLP投影仪40的框图和示意图，其中投影设备42是具有微镜阵列43的基于MEMS的DMD 42。DMD 42从多个4颜色通道44接收光46a-46b，并且以像素阵列的形式将光48可控地引导到环境72上以形成视频图像70。在一个示例中，微镜阵列43的每一个微镜对应于并且形成视频图像70的一个像素。
视频图像70由一系列图像帧形成，其中每一个图像帧由DMD 42所投影的像素阵列形成。在一个示例中，为了形成每一个帧的每一个像素，DMD 42经由微镜阵列43的单独镜的控制顺序地投影来自从颜色通道44a-44d中的每一个而来的光46a-46d的一系列光脉冲。根据一个示例，视频图像70包括可见图像和不可见图像，其中来自可见颜色通道46a-46c的光脉冲形成可见图像，并且来自不可见颜色通道46d的光脉冲形成不可见图像。
在DLP投影仪(诸如具有红色、绿色和蓝色颜色通道的常规3颜色通道DLP投影仪)中，图像或图像帧中的每一个像素具有针对红色、绿色和蓝色分量的强度值，其一起形成像素。为了实现针对每一个分量的强度值，DMD 42的微镜阵列43的每一个镜被控制成快速地开启和关断(即朝向或远离投影环境72而转动)以产生光脉冲，所述光脉冲一起形成期望的强度。快速地控制微镜的开/关状态的过程有时被称为脉冲序列或镜翻转序列。
图3一般地图示了用于常规3颜色通道(例如红色-绿色-蓝色)DLP投影仪的针对形成视频图像的帧82的像素序列的像素80的脉冲序列的示例，其中水平轴表示时间。在图3的示例中，脉冲序列80包括用于每一个颜色通道的一个区段，其中区段84用于红色颜色通道，区段86用于绿色颜色通道，并且区段88用于蓝色颜色通道。脉冲序列80具有持续时间TP，其中红色、绿色和蓝色区段分别具有指示为TR、TG和TB的持续时间。在常规60Hz投影仪中，脉冲序列80具有例如近似16.7毫秒的持续时间TP。虽然针对颜色通道区段84、86和88中的每一个的持续时间被图示为近似相等，但是在其它示例中，颜色通道区段84、86和88中的每一个可以具有不同的持续时间。例如，在一个示例中，TG可以大于TB，并且TB可以大于TR。
在图3中，每一个暗区或脉冲表示由DLP投影仪生成的光脉冲，其指示用于由脉冲序列80形成的像素的对应镜处于“开”位置(即朝向诸如投影环境72之类的投影环境倾斜)。“明亮”或非阴影区表示镜处于“关”位置(即远离投影环境倾斜)。需要生成的颜色的强度确定颜色脉冲的“开”和“关”时间。例如，对于例如具有256中的128的红色颜色强度的像素，镜或光脉冲可以“开”红色区段84的持续时间TR的大约50％。
图4一般地图示了依照本公开的一个示例的如由DLP投影仪40采用的脉冲序列90的示例。示例脉冲序列90表示具有4通道的DLP投影仪40的实现方式，所述4通道包括分别提供红色、绿色和蓝色光的第一、第二和第三颜色通道44a、44b和44c以及提供红外光的第四颜色通道44d，诸如由图1所图示的。用于DLP投影仪40的脉冲序列90类似于用于常规3通道DLP投影仪的脉冲序列80，除了附加于用于红色、绿色和蓝色光脉冲的区段84、86和88脉冲序列90还包括用于红外光脉冲的区段92之外。
类似于像素脉冲序列80，像素脉冲序列90具有持续时间TP，其中红色、绿色、蓝色和红外区段84、86、88和92分别具有指示为TR、TG、TB和TI的持续时间。如之前那样，例如，通过使用60Hz投影频率，像素脉冲序列90具有近似16.7毫秒的持续时间TP。类似地，虽然针对颜色通道区段84、86、88和92中的每一个的持续时间被图示为近似相等，但是在其它示例中，颜色通道区段84、86、88和92中的每一个可以具有不同的持续时间。
图5一般地图示了依照本公开的一个示例的用于DLP投影仪40的脉冲序列90的另一示例。根据图5的示例，取代于采用用于每一个颜色通道的单个区段，将每一个区段划分成子区段，其中红色颜色通道44a具有第一和第二脉冲子区段84a和84b，绿色颜色通道44b具有第一和第二脉冲子区段86a和86b，蓝色颜色通道44c具有第一和第二脉冲子区段88a和88b，并且红外颜色通道44d具有第一和第二脉冲子区段92a和92b。用于每一个颜色通道的子区段可以具有不同的持续时间，例如，针对用于红色颜色通道44a的子区段84a和84b的持续时间TR1和TR2可以具有不同的持续时间。同样地，四个颜色通道也可以具有不同的总持续时间。例如，蓝色颜色通道44c的脉冲子区段88a和88b的组合持续时间TB1和TB2可以不同于绿色颜色通道44b的脉冲子区段86a和86b的TG1和TG2的组合持续时间。
通过在多通道颜色DLP投影仪中集成不可见颜色通道作为附加通道，并且通过交错每一个像素的不可见光与可见光的投影，根据本公开的示例的DLP投影仪(诸如如以上所描述的具有红色、绿色、蓝色和红外颜色通道的4颜色DLP投影仪40)能够利用一个投影设备(诸如DMD投影设备42)投影具有可见图像和不可见图像二者的诸如视频图像70之类的视频图像，并且不要求用于可见和不可见光通道的单独的投影设备。根据本公开，DLP投影***30能够进行用户交互式投影显示或用户接口，并且可以经由可见和/或不可见波长执行3D深度扫描和3D对象扫描。
图6是图示了提供支持3D感测的交互式用户接口的根据本公开的DLP***30的示例的框图和示意图。在一个示例中，DLP投影仪40将视频图像70投影到环境70(诸如例如屏幕或桌子的表面)上，其中来自可见颜色通道44a-44c的可见光(例如红色、绿色、蓝色)形成可见图像部分，其表示包括多个图标(诸如图标102、104、106和108)的用户显示或接口100，并且其中来自不可见光通道44d的红外光形成不可见的结构光图案。如以下所描述的，如图6中通过手图示的用户100能够与所投影的用户接口100(例如图形用户接口(GUI))交互。
感测***50的可见光相机54和红外相机56分别从视频图像70和视频图像70的邻域中的环境72获得用户110的可见和红外光图像(即该示例中的结构红外光图案)。可见光相机54和红外相机56可以获得视频图像70的单独的帧和/或视频图像70的一系列连续帧的图像，其中可见和红外光相机54和56通过来自同步模块66c的同步信息67而与所投影的视频图像70同步。在58处，由感测***50获得的可见和不可见光图像被提供给控制模块60。
在一个示例中，深度提取模块66b接收如由红外相机56所获得的投影到环境72上的结构红外光图案的不可见光图像，并且采用结构光图案技术以基于结构光图案的变形而获得环境72的深度信息。在一个示例中，3D数据模块66d合并或纹理映射或以其它方式组合从不可见光图像获得的深度数据与由可见光相机54获得的可见光图像，以形成包括用户接口100和用户110的环境72的3D图。
要指出的是，来自环境72中的源的可见和红外二者的环境光53可能污染由可见和红外相机54和56获得的可见和不可见光图像。在一个示例中，控制模块60(诸如经由深度提取模块66b和3D数据模块66c)通过将在视频图像70的投影之前由可见和红外相机54和56获得的可见和红外光图像与在视频图像70的投影之后获得的可见和红外光图像相比较并且减去环境光来计及这样的光污染。
在一个示例中，对象识别模块66e处理来自由3D数据模块66d形成的3D图的信息以识别环境72内的对象，其包括由用户110做出的手势。这样的识别可以使用数个合适的算法中的任何一个来完成，例如，诸如手势识别算法、面部识别算法、对象识别算法和对象追踪算法。在一个示例中，基于对通过用户100的手势(例如指向或敲击)的识别以及这样的手势相对于用户接口100的定位(例如诸如在图标104上方)可以确定用户输入(诸如对图标104的选择)的识别。在一个示例中，基于这样的用户输入的识别，控制模块64(诸如经由投影数据模块66a)修改所投影的图像70以反映用户输入(例如进行到用户接口100的下一屏幕)。
通过使用可见颜色通道44a-44c投影用户接口100，并且通过使用从其确定深度数据的红外颜色通道44d投影结构红外光图案，DLP投影仪***30提供交互式投影用户接口，其中单个DLP投影仪采用单个投影设备42(例如DMD 42)。
图7是图示了使用可见和/或不可见光结构光图案提供3D对象扫描的根据本公开的DLP***30的示例的框图和示意图。在一个示例中，诸如球120之类的对象被放置在DLP投影仪***30的视场中。在一个示例中，DLP投影仪40经由DMD 42将视频图像70投影到要被扫描的(多个)对象(诸如球120)上，其中来自可见颜色通道44a-44c的可见光(例如红色、绿色、蓝色)形成可见的结构光图案(例如竖直条带)，并且来自不可见颜色通道44d的不可见光(例如红外)形成不可见的结构光图案。在一个示例中，针对可见颜色通道44a-44c中的每一个而投影具有不同取向的不同的可见的结构光图案。
感测***50的可见和不可见相机54和56分别捕获(多个)可见的结构光图案和结构红外光图案的一个或多个图像。可见光相机54和红外相机56可以获得视频图像70的单独的帧和/或视频图像70的一系列连续帧的图像，其中可见和红外光相机54和56通过来自同步模块66c的同步信息67而与所投影的视频图像70同步。在58处，由感测***50获得的可见和不可见光图像被提供给控制模块60。
在一个实施例中，深度提取模块66b从感测***50接收可见的和不可见的结构光图案的图像，并且采用结构光图案技术来提取针对所扫描的对象(例如球120)的深度信息。通过采用可见的和不可见的结构光图案用于深度映射目的，可以获得比通过单独使用可见的或不可见的结构光图案二者任一更准确的深度数据。
在一个示例中，基于从结构化的可见和不可见光图案提取的深度数据，3D数据模块66d构造所扫描的对象(例如球120)的3D图像。在一个示例中，3D数据模块66d合并或纹理映射或以其它方式组合来自深度提取模块66b的深度数据与由可见光相机54获得的可见光图像，以形成所扫描的对象的3D颜色图像。
在其它实施例中，除了使用可见的和不可见的结构光图案二者之外，可以通过仅使用结构化的不可见光图案或仅使用结构化的可见光图案来执行3D扫描。照此，通过在DLP投影仪40中集成第四、不可见颜色通道，根据本公开的DLP投影仪***30使用可见和/或不可见光来提供3D深度感测和3D对象扫描，而不要求用于可见和不可见颜色通道的单独的投影设备。
图8是图示了根据本公开的操作采用不可见光颜色通道的DLP投影仪的方法130的一个示例的流程图。在132处，方法130包括提供多个颜色通道，诸如颜色通道44，所述多个颜色通道包括提供可见光的至少一个可见颜色通道以及提供不可见光的至少一个不可见颜色通道。在134处，方法130包括利用诸如投影设备42(例如DMD设备)之类的一个投影设备顺序地投影来自由多个颜色通道中的每一个提供的光的一系列光脉冲，以形成投影到环境上的像素阵列的每一个像素，其中所述像素阵列一起形成图像，其中来自至少一个可见颜色通道的光脉冲形成图像的可见部分，并且来自至少一个不可见颜色通道的光脉冲形成图像的不可见部分。
尽管未图示，在一个示例中，在132处提供多个颜色通道包括提供三个可见颜色通道；第一颜色通道提供红色光，第二颜色通道提供绿色光，并且提供第三颜色通道，第三颜色通道提供蓝色光；以及提供第四颜色通道，第四颜色通道提供红外光。在一个示例中，在134处，顺序地投影来自由多个颜色通道中的每一个提供的光的一系列光脉冲包括向所述一个投影设备提供针对每一个像素的脉冲序列，其具有针对包括至少一个不可见颜色通道的多个颜色通道中的每一个的脉冲区段，例如，诸如由图4的脉冲序列所图示的。在一个示例中，在134处形成不可见图像包括用来自至少一个不可见颜色通道的光脉冲形成结构光图案。
在一个示例中，形成图像的可见部分包括形成图形用户接口，其中方法130还包括：至少基于来自至少一个不可见颜色通道的形成结构光图案的光脉冲而从环境提取三维深度数据；识别与由一个投影设备投影到环境上的图形用户接口的用户交互；以及基于所识别的用户交互而改变投影到环境上的图形用户接口，例如诸如图6的示例所图示的。
在一个示例中，其中形成图像的可见部分包括形成结构光图案，方法130还包括基于可见的结构光图案和不可见的结构光图案中的至少一个而执行在将可见和不可见的结构光图案投影到其上的环境中的对象的3D深度扫描和3D对象扫描，例如诸如由图7所图示的。
尽管本文已经图示和描述了具体示例，但是在不脱离本公开的范围的情况下，各种可替换的和/或等同的实现方式可以取代所示出和描述的具体示例。本申请意图覆盖本文所讨论的具体示例的任何适配或变型。因此，意图在于本公开仅由权利要求及其等同物限制。

Claims (15)

1.一种数字光投影仪，包括：
多个颜色通道，其包括提供可见光的至少一个可见颜色通道和提供不可见光的至少一个不可见颜色通道；以及
投影设备，其将来自所述多个颜色通道的光以像素阵列的形式投影到环境上，所述像素阵列一起形成包括可见图像和不可见图像的视频图像，所述视频图像包括一系列帧，其中每一个帧由像素阵列形成，其中为了形成每一个帧的每一个像素，投影设备顺序地投影来自由所述多个颜色通道提供的光的脉冲序列中的一系列光脉冲，所述脉冲序列包括用于相应多个颜色通道的多个时间区段，其中来自所述至少一个可见颜色通道的光脉冲形成可见图像，并且来自所述至少一个不可见颜色通道的光脉冲形成不可见图像，使得在每个像素中针对不可见颜色通道的时间区段至少与可见颜色通道的时间区段交错。
2.根据权利要求1所述的数字光投影仪，其中所述多个颜色通道包括提供红色光的第一通道、提供绿色光的第二通道、提供蓝色光的第三颜色通道以及提供不可见光的第四颜色通道。
3.根据权利要求1所述的数字光投影仪，其中所述不可见颜色通道提供红外光。
4.根据权利要求1所述的数字光投影仪，其中所述投影设备包括包含微镜阵列的基于微机电***的数字微镜设备，其中所述微镜阵列的给定微镜在开位置和关位置之间可控以产生针对像素阵列中的给定像素的脉冲序列。
5.根据权利要求1所述的数字光投影仪，其中所述不可见图像包括结构光图案以使得数字光投影仪能够使用不可见光来执行3D深度感测和3D对象扫描。
6.根据权利要求5所述的数字光投影仪，其中所述可见图像包括图形图像。
7.根据权利要求5所述的数字光投影仪，其中所述可见图像包括结构光图案以使得数字光投影仪能够使用可见光和/或不可见光来执行3D深度感测和3D对象扫描。
8.一种操作数字光投影仪的方法，包括：
提供多个颜色通道，所述多个颜色通道包括提供可见光的至少一个可见颜色通道和提供不可见光的至少一个不可见颜色通道；
利用一个投影设备顺序地投影来自由所述多个颜色通道提供的光的脉冲序列中的一系列光脉冲，以形成投影到环境上的像素阵列的每一个像素，所述脉冲序列包括用于相应多个颜色通道的多个时间区段，其中像素阵列一起形成图像，其中来自所述至少一个可见颜色通道的光脉冲形成图像的可见部分，并且来自所述至少一个不可见颜色通道的光脉冲形成图像的不可见部分，使得在每个像素中针对不可见颜色通道的时间区段至少与可见颜色通道的时间区段交错。
9.根据权利要求8所述的方法，其中提供至少一个可见颜色通道包括提供第一颜色通道、提供第二颜色通道和提供第三颜色通道，其中第一颜色通道提供红色光，第二颜色通道提供绿色光，并且第三颜色通道提供蓝色光，并且其中提供至少一个不可见颜色通道包括提供第四颜色通道，第四颜色通道提供红外光。
10.根据权利要求8所述的方法，其中顺序地投影来自由所述多个颜色通道提供的光的所述系列的光脉冲包括向所述一个投影设备提供针对每一个像素的脉冲序列。
11.根据权利要求8所述的方法，其中形成图像的不可见部分包括用来自所述至少一个不可见颜色通道的光脉冲形成结构光图案。
12.根据权利要求11所述的方法，其中形成图像的可见部分包括形成图形用户接口，其中所述方法还包括：
至少基于用来自所述至少一个不可见颜色通道的光脉冲形成的结构光图案而从环境提取三维深度数据；
识别与由所述一个投影设备投影到环境上的图形用户接口的用户交互；以及
基于所识别的用户交互而改变投影到环境上的图形用户接口。
13.根据权利要求11所述的方法，其中形成图像的可见部分包括形成结构光图案，并且其中所述方法还包括：
基于可见的结构光图案和不可见的结构光图案中的至少一个而执行在将可见和不可见的结构光图案投影到其上的环境中的对象的3D深度扫描和3D对象扫描。
14.一种数字光投影仪***，包括：
数字光投影仪，其包括：
多个颜色通道，其包括提供可见光的至少一个可见颜色通道和提供不可见光的至少一个不可见颜色通道；以及
投影设备，其将来自所述多个颜色通道的光以像素阵列的形式投影到环境上，所述像素阵列一起形成包括可见图像和不可见图像的视频图像，所述视频图像包括一系列帧，其中每一个帧由像素阵列形成，其中为了形成每一个帧的每一个像素，投影设备顺序地投影来自由所述多个颜色通道提供的光的脉冲序列中的一系列光脉冲，所述脉冲序列包括用于相应多个颜色通道的多个时间区段，其中来自所述至少一个可见颜色通道的光脉冲形成可见图像，并且来自所述至少一个不可见颜色通道的光脉冲形成不可见图像，使得在每个像素中针对不可见颜色通道的时间区段至少与可见颜色通道的时间区段交错；
感测***，其包括用于感测可见光的至少一个传感器和用于感测由所述至少一个不可见颜色通道提供的不可见光的至少一个传感器；以及
控制器，其被配置成至少基于来自感测不可见光的所述至少一个传感器的感测的不可见光而从环境提取三维深度数据。
15.根据权利要求14所述的数字光投影仪***，其中所述多个颜色通道包括提供第一可见颜色光的第一通道和提供第二可见颜色光的第二通道。
CN201480083431.7A 2014-09-15 2014-09-15 具有不可见光通道的数字光投影仪 Active CN107430324B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2014/055649 WO2016043704A1 (en) 2014-09-15 2014-09-15 Digital light projector having invisible light channel

Publications (2)

Publication Number Publication Date
CN107430324A CN107430324A (zh) 2017-12-01
CN107430324B true CN107430324B (zh) 2020-11-20

Family

ID=55533595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480083431.7A Active CN107430324B (zh) 2014-09-15 2014-09-15 具有不可见光通道的数字光投影仪

Country Status (5)

Country Link
US (1) US10216075B2 (zh)
EP (1) EP3195057B8 (zh)
CN (1) CN107430324B (zh)
TW (1) TWI625591B (zh)
WO (1) WO2016043704A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6027220B1 (ja) * 2015-12-22 2016-11-16 Ckd株式会社 三次元計測装置
US10145680B2 (en) * 2016-08-12 2018-12-04 Microvision, Inc. Devices and methods for providing depth mapping with scanning laser image projection
WO2018033917A1 (en) * 2016-08-18 2018-02-22 Ramot At Tel-Aviv University Ltd. Structured light projector
US10200683B2 (en) * 2016-12-21 2019-02-05 Microvision, Inc. Devices and methods for providing foveated scanning laser image projection with depth mapping
US11445094B2 (en) 2017-08-07 2022-09-13 Apple Inc. Electronic device having a vision system assembly held by a self-aligning bracket assembly
US10268234B2 (en) * 2017-08-07 2019-04-23 Apple Inc. Bracket assembly for a multi-component vision system in an electronic device
US10271028B1 (en) 2018-05-02 2019-04-23 Christie Digital Systems Usa, Inc. Device, system and method for subliminally projecting structured light patterns
JP7152897B2 (ja) * 2018-08-02 2022-10-13 キヤノン株式会社 投写装置及びその制御方法ならびにプログラム
CN109309797B (zh) * 2018-08-08 2019-07-09 乐清市川嘉电气科技有限公司 光线变化量即时判断***
CN109769093B (zh) * 2018-08-08 2021-02-26 江苏环球之星影视设备科技有限公司 一种光线变化量即时判断***
CN109458954B (zh) * 2018-12-12 2020-08-11 电子科技大学 一种余弦条纹场投射模块
US11057595B2 (en) * 2019-02-08 2021-07-06 Texas Instruments Incorporated Projection on multiple planes using a single projection unit
US11747478B2 (en) * 2019-05-15 2023-09-05 Electronic Theatre Controls, Inc. Stage mapping and detection using infrared light
CN111043989B (zh) * 2019-12-16 2021-12-03 电子科技大学 一种基于液晶底片的正弦条纹场投射模块
JP2022049269A (ja) * 2020-09-16 2022-03-29 セイコーエプソン株式会社 三次元形状計測方法および三次元形状計測装置
CN113179379B (zh) * 2021-04-22 2023-03-24 太原理工大学 基于单个敏感器件的可见光与近红外成像的视觉传感器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1683950A (zh) * 2004-04-14 2005-10-19 惠普开发有限公司 扫描显示***
CN102510461A (zh) * 2010-09-28 2012-06-20 微软公司 集成低功率深度相机和投影设备
WO2013111376A1 (ja) * 2012-01-24 2013-08-01 日本電気株式会社 インターフェース装置およびインターフェース装置の駆動方法
US8803772B2 (en) * 2005-04-01 2014-08-12 Prysm, Inc. Display systems having screens with optical fluorescent materials

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US20050078092A1 (en) 2003-10-08 2005-04-14 Clapper Edward O. Whiteboard desk projection display
US7182465B2 (en) 2004-02-25 2007-02-27 The University Of North Carolina Methods, systems, and computer program products for imperceptibly embedding structured light patterns in projected color images for display on planar and non-planar surfaces
US7599561B2 (en) 2006-02-28 2009-10-06 Microsoft Corporation Compact interactive tabletop with projection-vision
US20080018591A1 (en) 2006-07-20 2008-01-24 Arkady Pittel User Interfacing
US8199117B2 (en) 2007-05-09 2012-06-12 Microsoft Corporation Archive for physical and digital objects
US8659698B2 (en) * 2007-05-17 2014-02-25 Ilya Blayvas Compact 3D scanner with fixed pattern projector and dual band image sensor
JP2010081001A (ja) 2008-09-24 2010-04-08 National Institute Of Information & Communication Technology ２ｄ互換３ｄ表示装置及び３ｄ視装置
US8121640B2 (en) 2009-03-19 2012-02-21 Microsoft Corporation Dual module portable devices
US20110063574A1 (en) 2009-09-16 2011-03-17 Microvision, Inc. Three-Dimensional Display Using an Invisible Wavelength Light Source
CA2762637C (en) * 2009-11-04 2012-08-28 Technologies Numetrix Inc. Device and method for obtaining three-dimensional object surface data
KR101652393B1 (ko) * 2010-01-15 2016-08-31 삼성전자주식회사 3차원 영상 획득 장치 및 방법
JP2011199570A (ja) * 2010-03-19 2011-10-06 Panasonic Corp カメラ
TWI423096B (zh) 2010-04-01 2014-01-11 Compal Communication Inc 具可觸控投影畫面之投影系統
JP5437206B2 (ja) * 2010-09-10 2014-03-12 シャープ株式会社 電子機器
US8736583B2 (en) 2011-03-29 2014-05-27 Intel Corporation Virtual links between different displays to present a single virtual object
US8760499B2 (en) 2011-04-29 2014-06-24 Austin Russell Three-dimensional imager and projection device
US8570372B2 (en) 2011-04-29 2013-10-29 Austin Russell Three-dimensional imager and projection device
US9495012B2 (en) 2011-09-27 2016-11-15 Z124 Secondary single screen mode activation through user interface activation
GB2498184A (en) 2012-01-03 2013-07-10 Liang Kong Interactive autostereoscopic three-dimensional display
CN103676426B (zh) * 2012-09-13 2017-04-12 扬明光学股份有限公司 减少杂散光的投影装置及方法
EP2722656A1 (en) 2012-10-16 2014-04-23 Hand Held Products, Inc. Integrated dimensioning and weighing system
KR101444538B1 (ko) * 2012-10-26 2014-09-24 주식회사 에스원 3차원 얼굴 인식 시스템 및 그의 얼굴 인식 방법
CN105120257B (zh) * 2015-08-18 2017-12-15 宁波盈芯信息科技有限公司 一种基于结构光编码的垂直深度感知装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1683950A (zh) * 2004-04-14 2005-10-19 惠普开发有限公司 扫描显示***
US8803772B2 (en) * 2005-04-01 2014-08-12 Prysm, Inc. Display systems having screens with optical fluorescent materials
CN102510461A (zh) * 2010-09-28 2012-06-20 微软公司 集成低功率深度相机和投影设备
WO2013111376A1 (ja) * 2012-01-24 2013-08-01 日本電気株式会社 インターフェース装置およびインターフェース装置の駆動方法

Also Published As

Publication number Publication date
WO2016043704A1 (en) 2016-03-24
US10216075B2 (en) 2019-02-26
EP3195057B1 (en) 2019-05-08
US20170277028A1 (en) 2017-09-28
TW201632979A (zh) 2016-09-16
EP3195057B8 (en) 2019-06-19
CN107430324A (zh) 2017-12-01
EP3195057A4 (en) 2018-03-28
EP3195057A1 (en) 2017-07-26
TWI625591B (zh) 2018-06-01

Similar Documents

Publication Publication Date Title
CN107430324B (zh) 具有不可见光通道的数字光投影仪
US11115633B2 (en) Method and system for projector calibration
TWI557491B (zh) 組合式可見光及非可見光投影系統
US8760499B2 (en) Three-dimensional imager and projection device
JP7270702B2 (ja) 深度感知システムおよび方法
US20160337626A1 (en) Projection apparatus
WO2012031960A2 (en) A method and device for projecting a 3-d viewable image
JP2007010807A (ja) 情報処理システム、情報処理装置、情報処理方法及びコンピュータ・プログラム
KR101767853B1 (ko) 정보 처리 장치, 화상 투영 시스템 및 컴퓨터 프로그램
JP2015037250A (ja) 画像投影装置及びプレゼンテーションシステム
US10834323B2 (en) Electronic apparatus, motion sensor, position change detection program, and position change detection method
KR101671936B1 (ko) 다면 영상 자동 생성 및 투사 방법 및 장치
CN107018393B (zh) 投影仪和投影仪的控制方法
JP2007322704A (ja) 画像表示システム及びその制御方法
US10778893B2 (en) Detection device, display device and detection method
JP2018028579A (ja) 表示装置および表示方法
CN105468250A (zh) 一种信息处理方法及便携式电子设备
JP2015216531A (ja) 画像出力システム、情報処理装置、プログラム、画像出力方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant