CN108076332B - 数字黑电平混合的***和方法 - Google Patents

数字黑电平混合的***和方法 Download PDF

Info

Publication number
CN108076332B
CN108076332B CN201711025499.1A CN201711025499A CN108076332B CN 108076332 B CN108076332 B CN 108076332B CN 201711025499 A CN201711025499 A CN 201711025499A CN 108076332 B CN108076332 B CN 108076332B
Authority
CN
China
Prior art keywords
image
projector
pixels
given
projected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711025499.1A
Other languages
English (en)
Other versions
CN108076332A (zh
Inventor
凯文·莫尔
尼克·瓦西尔卡
彼得·安东尼·凡内尔
安德鲁·道格拉斯·丹尼森
瑞恩·托马斯·莫里斯
丹尼尔·汤姆森·厄克特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Christie Digital Systems USA Inc
Original Assignee
Christie Digital Systems USA Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/408,983 external-priority patent/US20180139423A1/en
Priority claimed from US15/633,839 external-priority patent/US10298893B2/en
Application filed by Christie Digital Systems USA Inc filed Critical Christie Digital Systems USA Inc
Publication of CN108076332A publication Critical patent/CN108076332A/zh
Application granted granted Critical
Publication of CN108076332B publication Critical patent/CN108076332B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/315Modulator illumination systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3182Colour adjustment, e.g. white balance, shading or gamut

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

本发明涉及投影仪,具体涉及用于数字黑电平混合的***和方法。本发明包括一个***,其确定由给定投影仪投影到屏幕/物体上的图像点与其他投影仪上的图像调制器处的点的对应关系,因此一些对应关系与一个或多个重叠区域相关联。一旦确定了对应于一个或多个重叠区域的图像调制器处的点,可以控制重叠内和重叠周围的点上或周围的图像调制器的像素,以确定一个或多个重叠区域和图像的其他区域之间的亮度差异,并且此后减少一个或多个重叠区域和图像的其他区域之间的亮度差异。即使仅投影黑色图像,也可以控制投影仪使重叠区域不太明显。由于重叠区域不能变得更暗,所以通过以各种方式向非重叠区域添加一些光来减轻重叠。

Description

数字黑电平混合的***和方法
[技术领域]
本说明书总体涉及投影仪,具体地涉及用于数字黑电平混合的***和方法。
[背景技术]
投影仪即使在投影“黑色”时,仍然会在屏幕上投影一些其他颜色的光(如灰色、深灰色、白色等)。当多个投影仪重叠在屏幕上时,重叠区域变成比相邻区域更亮的“黑色”。重叠区域因此分散投影内容;例如,当投影的内容在重叠区域中大部分是黑色场景(例如,夜空中的烟花)时,出现比周围较暗区域更亮的多边形区域。
现有技术中的一种解决方案是将固定的几何中性密度滤光片组件从投影仪的透镜中移入和移出光路平截头体,以尝试为黑暗场景创建不分散的光学混合,这可以用于夜间模拟器和具有黑暗的场景的其他情形。然而,这样的解决方案在不会使过滤器过热和变形的情况下对于远远高于8000流明的投影仪而言并不能很好地工作,除非它们相当大并且远离镜头,而这样会难以布置。虽然这种过滤器也可以由耐热材料制成,但是这些材料可能难以加工,可能是昂贵的和/或可能具有较差的光学性质。
[发明内容]
本发明提供了一种用于具有重叠投影区域的多个投影仪的数字黑电平混合的***和方法,数字黑电平混合发生在重叠投影区域周围。特别地,即使仅投影黑色图像,也可以控制投影仪,使得重叠区域不太明显。由于重叠区域不能变得更暗(没有物理/光学附件),所以通过以各种方式向非重叠区域添加一些光来减轻重叠。实际上,通过使用电/数字解决方案(而不是光/物理解决方案),可以使用本文描述的技术来适应由于投影仪/屏幕配置和/或对准的变化而发生的重叠区域的变化。特别地,本说明书包括一个***,其确定由给定投影仪投影到屏幕/物体上的图像点与其他投影仪上的图像调制器处的点的对应关系,因此一些对应关系与一个或多个重叠区域相关联。一旦确定了对应于一个或多个重叠区域的图像调制器处的点,可以控制重叠内和重叠周围的点上或周围的图像调制器的像素,以确定一个或多个重叠区域和图像的其他区域之间的亮度差异,并且此后减少一个或多个重叠区域和图像的其他区域之间的亮度差异。
此外,在本说明书中,将使用各种示例性术语来描述投影。例如,投影仪将图像调制器的像素作为像素区域投影到物体和/或屏幕上;这样的像素区域处于一个或多个传感器(包括但不限于相机传感器/图像和/或物体和/或屏幕上的光传感器)处的图像调制器的像素的视场中,其可以用于形成投影仪中的“点”(例如,其图像调制器)与物体和/或屏幕上的“点”和/或一个或多个传感器(例如在相机传感器/成像器、物体和/或屏幕上的光传感器上等)中的点的对应关系。利用这些对应,可以确定两个投影仪的任意点和/或像素对之间的对应关系,对应关系是投影仪之间的点对应关系,投影仪之间的像素对应关系和/或投影仪之间的区域对应关系。此外,在本文中,术语“像素”用于表示由投影仪的图像调制器(和/或原始图像内容的图像数据的最小单位)形成的图像数据的最小单位,术语“区域”和/或“像素区域”将用于指示物体和/或屏幕处的投影仪图像的区域和/或像素,术语“重叠区域”将用于指示重叠的投影图像的区域,并且关于像素和/或子像素和/或区域之间的底层对应关系将使用术语“点”。实际上,这里的对应关系被具体描述为在点之间确定,尽管也可以在点和/或区域和/或像素和/或子像素之间确定这样的对应关系。
因此,在本说明书中,短语“确定点之间的对应关系”可以包括但不限于“确定区域之间的对应关系”、“确定像素之间的对应关系”、“确定子像素之间的对应关系”和/或确定其任何变化之间的对应关系,包括确定点和区域、点和像素、区域和像素等之间的对应关系。
在本说明书中,元件可以被描述为“被配置为”执行一个或多个功能或被配置用于这样的功能。通常,被配置为执行或被配置用于执行功能的元件能够执行该功能,或者适于执行该功能,或者被适配成执行该功能,或者可操作以执行该功能,或者能够以其他方式执行该功能。
应当理解,为了本说明书的目的,“X,Y和Z中的至少一个”和“X,Y和Z中的一个或多个”的语言可以被解释为仅X、仅Y、仅Z,或两个或更多个项目X、Y和Z(例如,XYZ,XY,YZ,XZ等)的任何组合。类似的逻辑可以应用于“至少一个...”和“一个或多个...”语言的任何出现中的两个或多个项目。
本说明书的一个方面提供了一种***,包括:多个投影仪,每个投影仪包括图像调制器,所述多个投影仪被定位成投影由相应的图像调制器形成的相应的投影仪图像,多个投影仪图像在一个或多个重叠区域中重叠;至少一个传感器,被配置为获取所述多个投影仪图像中的至少一部分的数字图像;以及计算设备,被配置为对于所述多个投影仪的包括给定的图像调制器的每个给定的投影仪:使用所述至少一个传感器确定给定投影仪图像的投影点与所述多个投影仪中的其它投影仪的相应的图像调制器的相应点之间的相应的对应关系,所述相应的对应关系表示对应于一个或多个重叠区域的其他投影仪的相应的图像调制器的相应的点;确定所述一个或多个重叠区域的相应的亮度;并且控制所述给定图像调制器和相应的图像调制器的每一个的像素,至少相邻的边缘像素对应于所述一个或多个重叠区域的边缘以基于所述相应的亮度增加对应投影仪图像区域中的亮度。
在一些实施方式中,至少对于对应于所述一个或多个重叠区域的边缘的边缘像素实现所述投影点和相应的点之间的对应关系。
在一些实施方式中,所述相应的对应关系包括与所述给定图像调制器和所述相应的图像调制器中的每一个的周界周围的相应的死区像素相关联的对应关系。
在一些实施方式中,所述计算设备进一步被配置为控制所述一个或多个重叠区域之外并且至少邻近与所述一个或多个重叠区域的边缘对应的边缘像素的所述给定图像调制器和所述相应的图像调制器中的每一个的像素的至少一部分,以增加所述相应的投影仪图像区域中的亮度以匹配所述一个或多个重叠区域的相应亮度。
在一些实施方式中,所述计算设备进一步被配置为控制所述给定的图像调制器和所述相应的图像调制器中的每一个的至少邻近与所述一个或多个重叠区域的边缘对应的边缘像素的像素,以根据与所述边缘像素的相应距离来增加相应的投影仪图像区域中的亮度。
在一些实施方式中,所述计算设备进一步被配置为根据以下中的一个或多个来控制所述给定图像调制器和相应的图像调制器中的每一个的至少邻近与所述一个或多个重叠区域的边缘对应的边缘像素的像素:投影的投影仪图像的最近的对应重叠区域边缘;基于投影的投影仪图像的一个或多个最近的对应重叠区域边缘的加权;以及来自投影的投影仪图像的一个或多个最近的对应重叠区域边缘中的每一个的累积亮度。
在一些实施方式中,所述计算设备进一步被配置为:确定形成所述一个或多个重叠区域的所述给定的投影仪图像和其他投影仪图像的图像像素的相应的取向;并且根据所述图像像素的相应的取向进一步控制所述给定图像调制器和相应的图像调制器中的每一个的像素。
在一些实施方式中,所述计算设备进一步被配置为:确定形成所述一个或多个重叠区域的所述给定的投影仪图像和其他投影仪图像的图像像素的相应的投影大小;并且根据所述图像像素的相应的投影大小进一步控制所述给定图像调制器和相应的图像调制器中的每一个的像素的亮度。
在一些实施方式中,所述计算设备进一步被配置为:确定形成所述一个或多个重叠区域的所述给定的投影仪图像和其他投影仪图像的图像像素的相应的投影颜色;并且根据所述图像像素的相应的投影颜色进一步控制所述给定图像调制器和相应的图像调制器中的每一个的像素。
本说明书的另一方面提供了一种方法,包括:在包括以下的***中:计算设备;多个投影仪,每个投影仪包括图像调制器,所述多个投影仪被定位成投影由相应的图像调制器形成的相应的投影仪图像,多个投影仪图像在一个或多个重叠区域中重叠;以及至少一个传感器,被配置为针对包括给定图像调制器的每个给定投影仪获取所述多个投影仪的多个投影仪图像的至少部分的数字图像:使用所述至少一个传感器确定给定投影仪图像的投影点与所述多个投影仪中的其它投影仪的相应的图像调制器的相应点之间的相应的对应关系,所述相应的对应关系表示对应于一个或多个重叠区域的其他投影仪的相应的图像调制器的相应的点;确定所述一个或多个重叠区域的相应的亮度;并且控制所述给定图像调制器和相应的图像调制器的每一个的像素,至少相邻的边缘像素对应于所述一个或多个重叠区域的边缘以基于所述相应的亮度增加对应投影仪图像区域中的亮度。
在一些实施方式中,至少对于对应于所述一个或多个重叠区域的边缘的边缘像素实现所述投影点和相应的点之间的对应关系。
在一些实施方式中,所述相应的对应关系包括与所述给定图像调制器和所述相应的图像调制器中的每一个的周界周围的相应的死区像素相关联的对应关系。
在一些实施方式中,所述方法进一步包括控制所述一个或多个重叠区域之外并且至少邻近与所述一个或多个重叠区域的边缘对应的边缘像素的所述给定图像调制器和所述相应的图像调制器中的每一个的像素的至少一部分,以增加所述相应的投影仪图像区域中的亮度以匹配所述一个或多个重叠区域的相应亮度。
在一些实施方式中,所述方法进一步包括控制所述给定的图像调制器和所述相应的图像调制器中的每一个的至少邻近与所述一个或多个重叠区域的边缘对应的边缘像素的像素,以根据与所述边缘像素的相应距离来增加相应的投影仪图像区域中的亮度。
在一些实施方式中,所述方法进一步包括根据以下中的一个或多个来控制所述给定图像调制器和相应的图像调制器中的每一个的至少邻近与所述一个或多个重叠区域的边缘对应的边缘像素的像素:投影的投影仪图像的最近的对应重叠区域边缘;基于投影的投影仪图像的一个或多个最近的对应重叠区域边缘的加权;以及来自投影的投影仪图像的一个或多个最近的对应重叠区域边缘中的每一个的累积亮度。
在一些实施方式中,所述方法进一步包括确定形成所述一个或多个重叠区域的所述给定的投影仪图像和其他投影仪图像的图像像素的相应的取向;并且根据所述图像像素的相应的取向进一步控制所述给定图像调制器和相应的图像调制器中的每一个的像素。
在一些实施方式中,所述方法进一步包括确定形成所述一个或多个重叠区域的所述给定的投影仪图像和其他投影仪图像的图像像素的相应的投影大小;并且根据所述图像像素的相应的投影大小进一步控制所述给定图像调制器和相应的图像调制器中的每一个的像素的亮度。
在一些实施方式中,所述方法进一步包括确定形成所述一个或多个重叠区域的所述给定的投影仪图像和其他投影仪图像的图像像素的相应的投影颜色;并且根据所述图像像素的相应的投影颜色进一步控制所述给定图像调制器和相应的图像调制器中的每一个的像素。
本说明书的另一方面提供一种存储计算机程序的计算机可读介质,其中所述计算机程序的执行用于:在计算设备与多个投影仪通信,每个包括:计算设备;多个投影仪,每个投影仪包括图像调制器,所述多个投影仪被定位成投影由相应的图像调制器形成的相应的投影仪图像,多个投影仪图像在一个或多个重叠区域中重叠;以及至少一个传感器,被配置为针对包括给定图像调制器的每个给定投影仪获取所述多个投影仪的多个投影仪图像的至少部分的数字图像:使用所述至少一个传感器确定给定投影仪图像的投影点与所述多个投影仪中的其它投影仪的相应的图像调制器的相应点之间的相应的对应关系,所述相应的对应关系表示对应于一个或多个重叠区域的其他投影仪的相应的图像调制器的相应的点;确定所述一个或多个重叠区域的相应的亮度;并且控制所述给定图像调制器和相应的图像调制器的每一个的像素,至少相邻的边缘像素对应于所述一个或多个重叠区域的边缘以基于所述相应的亮度增加对应投影仪图像区域中的亮度。所述计算机可读介质可以包括非暂时计算机可读介质。
[附图说明]
为了更好地理解本文描述的各种实施方案并且更清楚地显示它们如何被实施,现在仅作为示例参考附图,附图中:
图1描绘了根据非限制性实施方式的投影***。
图2描绘了根据非限制性实施方式可以在图1的***中使用的用于数字黑电平混合的***。
图3描绘了根据非限制性实施方式的图2的***的投影仪将图像投影到屏幕上的细节。
图4描绘了根据非限制性实施方式的数字黑电平混合的方法。
图5描绘了根据非限制性实施方式的投影到图2的屏幕上的图像的轮廓,包括镜像池的轮廓。
图6A描绘了根据非限制性实施方式的用于确定第一投影仪的投影点与其他投影仪的图像调制器的点之间的对应关系的背投技术,例如在重叠区域中使用针孔透镜模型所示的技术。
图6B描绘了根据非限制性实施方式的使用两个图像调制器的图6A的背投技术
图7描绘了根据非限制性实施方案的两个投影仪的阶梯图,其包括与重叠图像中的可见光和/或更亮的接缝对应的重叠区域。
图8描绘了根据非限制性实施方式的两个投影仪的亮度对于重叠区域外部的至少一部分像素而升高的图7的阶梯图。
图9描绘了根据非限制性实施方式的两个投影仪的亮度在混合图案中使用重叠区域外的像素升高时的图7的阶梯图。
图10描绘了根据非限制性实施方式使用图8的混合模式形成的重叠图像的示例。
图11描绘了根据非限制性实施方式的两个投影仪的重叠图像像素,例如在屏幕上。
图12描绘了根据非限制性实施方式的图11的重叠图像像素,其中某些边缘像素突出显示重叠度。
图13示出了根据非限制性实施方案的来自两个投影仪的重叠图像像素,其具有在至少一个图像中变化的图像像素大小。
图14描绘了根据非限制性实施方式的图13的重叠图像像素以及与用于控制亮度的重叠区域的边缘的距离的描绘。
图15描绘了根据非限制性实施方式重叠的三个重叠图像。
图16描绘了根据非限制性实施方式的重叠图像中的镜像池。
图17描绘了根据非限制性实施方式的包括光传感器的数字黑电平混合***,并且其可以在图1的***中使用。
图18描绘了根据非限制性实施方式的数字黑电平混合的方法。
[具体实施方式]
下面结合附图对本发明作进一步说明,这种装置的结构和原理对本专业的人来说是非常清楚的。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
图1描绘了***100,其包括:呈现设备101(以下可互换地称为设备101);内容播放器103;计算设备105;和投影仪107。通常,设备101与内容播放器103和可选的计算设备105通信,并且内容播放器103与投影仪107通信。
如图1所示,设备101和内容播放器103被组合成一个设备108,然而在其他实施方式中,设备101和内容播放器103可以是分离的设备。计算设备105被配置为生成几何数据109s,其至少包括定义例如投影仪107与投影仪107投影在上面的物体(例如屏幕)之间的几何关系的数据。设备101可以从几何数据109s生成呈现图像数据110,例如通过呈现用于由投影仪107投影的现有图像数据(未示出)。在图1中,连接组件的实线示出了图像流和/或其间的视频数据,而将计算设备105连接到设备101和/或设备108的点划线示出了几何数据109s和物体数据109o之间的流。物体数据109o通常包括投影有来自投影仪107的图像的物体的位置和方向的模型,并且可以提供有物体和/或通过使用一个或多个相机由计算装置105确定。
当设备101和内容播放器103分离时,设备101将图像数据110传送到内容播放器103,内容播放器通过产生适合于投影仪107的处理和投影的投影数据112来处理和/或“播放”图像数据110。例如,图像数据110可以包括但不限于AVI文件、一系列JPG文件、PNG文件等。投影数据112可以包括但不限于HDMI数据、VGA数据和/或视频传输数据。当设备101和内容播放器103组合在设备108中时,设备108可以实时地呈现投影数据112(例如,视频数据),而不产生图像数据110。在任何情况下,投影数据112通过内容播放器103传送到投影仪107,其中使用投影数据112来控制投影仪107将图像投影到例如三维物体上。
设备101通常包括被配置为生成和/或呈现图像作为图像数据110的图像生成器和/或呈现器,例如计算设备、服务器等。这样的图像数据110可以包括但不限于静止图像、视频等。此外,尽管未示出,但是设备101可以包括图像生成器和/或存储器通信并且/或者与之通信,存储器存储能够从其生成图像数据110的数据。或者,设备101可以使用用于生成图像的算法等来生成图像数据110。
内容播放器103包括被配置为“播放”和/或呈现图像数据110的播放器;例如,当图像数据110包括视频数据时,内容播放器103被配置为通过输出由投影仪107投影的投影数据112来播放和/或呈现视频数据。因此,内容播放器103可以包括,但不限于视频播放器、视频处理设备、计算设备、服务器等。然而,如上所述,当将设备101和内容播放器103组合为设备108时,可以消除图像数据110的呈现,并且设备108呈现投影数据112而不产生图像数据110。
计算设备105包括投影仪(包括投影仪107)、相机(图1中未示出)以及计算设备的任何合适的组合,计算设备被配置成自动确定投影仪107的几何数据109s以及可选地自动地确定物体数据109o的一种或多种。下面将参考图2至图16来描述计算设备105的非限制性实施方式。
投影仪107包括被配置成投影投影数据112的投影仪,包括但不限于数字投影仪、电影放映机、基于投影仪的LCOS(液晶覆硅)、基于投影仪的DMD(数字多镜装置)等。此外,虽然仅描绘了一个投影仪107,但是***100可以包括多个投影仪107,每个投影仪107被配置为投影包括例如待投影的较大的平铺图像的部分的相应的投影数据。不管投影仪107中使用的技术如何,假设投影仪107和/或本文描述的其它投影仪包括图像调制器,其包括多个单独像素调制器;例如,当投影仪包括DMD投影仪时,图像调制器包括多个数字微镜,其中一个微镜用于待投影的图像的每个像素。
如所描绘的***100还包括一个或多个2D(“二维”)翘曲装置和/或模块113,例如在投影仪107(尽管这样的翘曲装置可以存在于内容播放器和/或作为独立装置)上。当存在时,投影数据112可以通过翘曲装置113翘曲,例如通过移动和/或调整投影数据112内的像素,调整用于投影仪107投影到包括但不限于屏幕、物体等的物体上的投影数据112。然而,当计算设备105确定几何数据109s并将其与设备101(和/或设备108)进行通信时,翘曲模块113可以是未使用的,可选的和/或从***100中消除。实际上,使用翘曲模块113表示根据现有技术如何处理图像,并且凭借提供装置101(和/或装置108)几何数据109s的计算装置105来消除翘曲模块113的存在。然而,在一些实施方式中,例如当用于产生图像的物体的虚拟模型不精确地匹配物理物体时,翘曲模块113可用于对图像投影到物理物体上进行小的改变。
虽然设备101、内容播放器103、计算设备105和投影仪107中的每一个被描绘为不同的组件,但是在其他实施方式中,设备101、内容播放器103、计算设备105和投影仪107中的一个或多个的相应部分,并且可以在同一设备(例如,设备108)内实施和/或处理资源可以在其间共享。例如,虽然未示出,***100包括一个或多个控制器、一个或多个处理器、一个或多个存储器和一个或多个通信接口,例如用于设备101、内容播放器103、计算设备105和投影仪107中的每一个的控制器,存储器和通信接口和/或在设备101、内容播放器103、计算设备105和投影仪107之间共享的控制器、存储器和通信接口。实际上,一般来说,***100的组件如图所示代表投影***的不同功能,其中:可以自动确定投影仪107的几何数据109s。在一些实施方式中,***100包括用于在投影仪107移动时投影映射到三维物体和/或更新几何数据109s或109o的组件和/或功能,并且/或者图像被投影到其上的屏幕和/或物体移动。
接下来注意图2,其描绘了用于数字黑电平混合的***200。实际上,计算设备105可以包括***200的一个或多个组件,此外,***100的组件可以根据需要包括***200的组件。***200包括:计算设备201(以下可互换地称为设备201);多个投影仪207-1、207-2、207-3(可互换地统称为投影仪207,并且一般地,作为投影仪207);至少一个相机214;以及物体,包括但不限于来自投影仪207的图像将投影到其上的屏幕215。实际上,假设每个投影仪207相对于屏幕215安装,使得来自投影仪207的图像投影到屏幕215上。此外,假设相机214可以用于确定投影仪207相对于屏幕215的几何形状和/或屏幕215的几何形状;特别地,至少一个相机214布置成捕获屏幕215的数字图像,特别是投影仪207投影到屏幕215上的图像。尽管设备201被示出为与投影仪207和相机214通信,但是***200可以包括通信地位于设备201和投影仪207/相机214之间的其他计算设备和/或通信设备,例如将视频信号生成和/或操纵到投影仪207的设备)。(例如,在***100中,其中计算设备105与呈现设备101和/或与播放器107通信的内容播放器103通信)
然而,虽然关于屏幕215描述了当前的实施方式,但是在其他实施方式中,可以用包括三维物体的物体替换屏幕,并且投影仪207可以将投影映射到物体上。
每个投影仪207包括图像调制器(图2中未示出),并且另外的投影仪207被定位成将相应的图像216-1、216-2、216-3(可互换地统称为图像216,并且一般地,作为图像216)投影到屏幕215上,由投影仪207的相应的图像调制器形成,在一个或多个重叠区域中与屏幕215重叠的相应的图像216。例如,参考图3,其描绘投影仪207、屏幕215和图像216,投影仪207-1投影图像216-1,投影仪207-2投影图像216-2并且投影仪207-3投影图像216-3。此外,图像216-1、216-2在重叠区域217-1中重叠,图像216-1、216-3在重叠区域217-2中重叠,图像216-2、216-3在重叠区域217中重叠-3,并且图像216-1、216-2、216-3在重叠区域217-4中重叠。重叠区域可以互换地统称为重叠区域217,并且一般地称为重叠区域217。
回到图2,通常,投影仪107可以包括任何一个或多个投影仪207,计算装置105可以包括计算装置201、投影仪207和至少一个相机214,并且设备101和内容播放器103中的任何一个可以包括计算设备201的至少一部分,例如,当在设备101、内容播放器103和计算设备105之间共享资源时。
此外,虽然描绘了三个投影仪207,但是***200可以包括至少两个投影仪207,投影仪207投影重叠图像216或多于三个投影仪207,其中两个或更多个投影图像216重叠。实际上,尽管如图所示,所有三个图像216重叠(得到四个重叠区域217),但是在其他实施方式中,仅相邻图像216和/或仅一部分图像216重叠。
设备201可以包括任何合适的计算设备,包括但不限于图形处理单元(GPU)、图形处理设备、图形处理引擎、视频处理设备、个人计算机(PC)、服务器等,并且通常包括控制器220、存储器222和通信接口224(以下可互换地称为接口224)以及可选地任何输入设备和显示设备的任何合适的组合。
接口224包括被配置为根据需要以有线和/或无线方式与投影仪207和相机214(以及设备101、内容播放器103、计算设备105和设备108中的任何设备)进行通信的任何合适的有线或无线通信接口。
控制器220可以包括处理器和/或多个处理器,包括但不限于一个或多个中央处理器(CPU)和/或一个或多个处理单元;无论哪种方式,控制器220包括硬件元件和/或硬件处理器。实际上,在一些实施方式中,控制器220可以包括ASIC(专用集成电路)和/或专门配置为至少确定投影仪的姿态数据(例如投影仪207)的FPGA(现场可编程门阵列)。因此,设备201优选地不是通用计算设备,而是专门配置为实现特定的数字黑电平混合功能的设备。例如,设备201和/或控制器220可以具体地包括被配置为实现特定数字黑电平混合功能的计算机可执行引擎。
存储器222可以包括非易失性存储单元(例如可擦除可编程只读存储器(“EEPROM”),闪存)和易失性存储单元(例如随机存取存储器(“RAM”))。实现本文描述的设备201的功能性教导的编程指令通常永久地保持在存储器222中,并供控制器220使用,控制器220在执行这样的编程指令期间适当地利用易失性存储器。本领域技术人员认识到,存储器222是可以存储可在控制器220上执行的程序指令的计算机可读介质的示例。此外,存储器222也是存储器单元和/或存储器模块和/或非易失性存储器的示例。
特别地,存储器222存储应用230,当由控制器220处理时,应用230使控制器220和/或计算设备201能够:使用至少一个相机214确定通过物体上的给定投影仪207投影到物体(例如,屏幕215)上的给定图像216的投影点与多个投影仪207的其他投影仪207的相应的图像调制器的相应的点之间的相应的对应关系,相应的对应关系表示对应于一个或多个重叠区域217的其他投影仪207的图像调制器的相应的像素;确定一个或多个重叠区域217的相应亮度;并且控制给定图像调制器和相应的图像调制器的每一个的至少邻近与一个或多个重叠区域217的边缘对应的边缘像素的像素以基于相应的亮度增加对应图像区域中的亮度。
在其他实施方式中,如图所示,存储器222还存储屏幕215的模型240和/或投影图像的任何其他物体,其可以使用相机214和投影仪207确定,例如通过控制投影仪207等来将诸如框、结构光图案等的图像投影到屏幕215上,并且从由相机214获取的图像确定其几何形状;然而,在其他实施方式中,可以使用例如随屏幕215提供的给定数字模型在存储器222处提供模型240。通常,物体数据109o可以包括模型240,并且可以可选地提供给如上所述的***100的组件。
此外,如图所示,存储器222还存储***200的几何数据250,例如投影仪207相对于屏幕215的几何位置和/或姿态。与模型240类似,可以使用相机214和投影仪207,例如通过控制投影仪207等将例如框、结构光图案等图像投影到屏幕215上来确定几何数据250投影图像,并且从由相机214获取的图像确定其几何形状。数据109p可以包括几何数据250。
无论如何,通过使用待投影图像的物体的模型以及***200的几何数据250,设备201还可以被配置为确定给定图像216的投影点与产生给定图像216的投影仪207的图像调制器的点之间的映射,以及给定图像216的投影点与多个投影仪207的其它投影仪207的相应的图像调制器的相应的点之间的映射,例如当给定图像216的投影点在重叠区域217中时。
现在注意图4,图4描绘了根据非限制性实施方式的用于数字黑电平混合的方法400的流程图。为了协助方法400的说明,将假定使用***200执行方法400,具体地由设备201的控制器220执行方法,例如当控制器220处理应用230时。实际上,方法400是可以配置***200和/或设备201和/或控制器220的一种方式。此外,以下对方法400的讨论将导致对设备201和***200及其各种组件的进一步理解。然而,应当理解,***200和/或设备201和/或控制器220和/或方法400可以是变化的,并且不需要精确地如本文中结合的讨论那样工作,并且这种变化在本实施方式的范围内。
无论如何,要强调的是,除非另有说明,方法400不需要按照所示的确切顺序进行;并且同样可以并行而不是依次执行各种框;因此方法400的元件在本文中被称为“框”而不是“步骤”。然而,还应当理解,方法400也可以在***200的变化上实现。此外,虽然将计算设备201描述为实现和/或执行方法400的每个框,但是应当理解,方法400的每个框都使用处理应用230的控制器220进行。
还应当理解,对于多个投影仪207的每个给定的投影仪207执行方法400,并且因此可以针对每个投影仪207和/或按照每个投影仪207的顺序和/或并行地对投影仪207的每个区段/区域/扫描线/像素并行执行方法400。
在框401,控制器220使用至少一个相机214确定通过物体上的给定投影仪207投影到物体(例如屏幕215)上的给定图像216的投影点与多个投影仪207的其他投影仪207的相应的图像调制器的相应的点之间的相应的对应关系,相应的对应关系表示对应于一个或多个重叠区域217的其他投影仪207的图像调制器的相应的点。
在框403,控制器220确定一个或多个重叠区域217的相应亮度。
在框405,控制器220控制给定图像调制器和相应的图像调制器的每一个的像素,至少相邻的边缘像素对应于一个或多个重叠区域217的边缘以基于相应的亮度增加对应图像区域中的亮度。
在一些实施方式中,至少对于与一个或多个重叠区域的边缘相对应的边缘像素,可以发生投影点和相应的点之间的对应关系。例如,虽然在一些实施方式中,可以主要为和/或至少对于边缘像素的点确定对应关系,可以针对其他点确定对应关系,包括一个或多个重叠区域“内”和重叠区域的“外”的点。通常,可以控制对应于与重叠区域的边缘相邻的“落下”区域中的投影图像的区域的像素,以控制落下区域中的亮度。
现在将参照图5到图16描述方法400的非限制性实施方式。
方法400通常假设至少一个相机214可用于捕获屏幕215(和/或投影仪图像216的任何物体)的数字图像,其可用于确定相机214和屏幕215之间的对应关系。在一些实施方案中,屏幕215(其可以包括屏幕215的物理边缘和/或至少临时放置在屏幕215上的特定标记)的标记的数字图像由至少一个相机214获取以构建相机到屏幕的对应关系,其与屏幕215的三维(3D)模型(例如,模型240)相关,以获得2D(二维)相机到3D屏幕的对应关系。设备201可以控制投影仪207将每个投影仪207的结构光图案(包括但不限于框等)投影到屏幕215上,并且至少一个相机214捕获屏幕215处的结构化光图案的数字图片,其由设备201使用以确定2D相机到2D投影仪的对应关系。2D相机对3D屏幕对应关系和2D相机到2D投影仪对应关系可用于确定2D投影仪到3D屏幕对应关系。实际上,虽然仅描绘了一个相机214,但是***200可以包括多个相机,并且可以为每个相机确定这样的对应关系;此外,并非所有多个相机都需要获得屏幕215全部的数字图像;实际上,多个相机可以瞄准屏幕215的不同部分。
这些各种对应关系可用于确定***200中的几何关系,包括但不限于投影仪207的物理位置和方向;这样的对应关系和/或几何关系可以存储为几何数据250。几何数据250等可以用于任何进一步的确定;可替代地,可以使用最佳拟合多项式等来确定投影仪207和屏幕215之间的几何数据250和/或几何关系。不管使用这种方法,可以在每个投影仪207的每个图像调制器的每个点与屏幕215上的投影点之间确定一个对应关系;换句话说,这样的方法可以确定每个投影仪像素将落在屏幕215上的位置,作为图像216中的投影像素区域。
接下来将注意到图5,其示意性地描绘了投影仪207-X、207-Y(每个类似于投影仪207)、屏幕215和相机214-Ai、214-Bj(每个类似于相机214)。投影仪207-X、207-Y表示图2的投影仪207中的两个,相机214-Ai、214-Bj表示图2的至少一个相机214。图像216的边缘(和/或轮廓)可以例如通过“向前拍摄”(例如,从每个投影仪207-X、207-Y到屏幕215)确定一个采样点的网格(具有图像216的边缘,在图5中以虚线描绘),其对应于每个图像216,并且使用至少一个相机214-Ai、214-Bj确定其对屏幕215上的对应投影位置(例如,投影点)。由于每个投影仪207-X、207-Y中的每个图像调制器的像素的位置已被确定并存储为数据250,所以每个投影仪207-X、207-Y的图像调制器的像素可以确定对应于相关联图像216的边缘(尽管可以理解,每个像素的精确位置不需要作为数据250存储,但是数据250可以包括能够确定投影到物体和/或屏幕215上的至少像素的位置的数据)。这样,对于第一投影仪207的投影像素区域(例如,投影到物体和/或屏幕215上的区域)可以被评估为它们是否接近重叠区域217,因此可以映射到另一个投影仪207的图像调制器中的像素。
还应当理解,在图5中,图像216的边缘包括内边缘和外边缘,内边缘和外边缘之间的区域对应于形成图像216的一部分但总是关闭的相应图像调制器的像素的死区。例如,在DMD图像调制器和投影仪中,“死”DMD反射镜包围形成图像(例如调制光)的有效区域,“死”DMD反射镜被称为“镜像池”(POM)。POM总是处于关闭状态和/或固定中间状态,其可以等效于关闭状态(例如,POM以能够等同于关闭状态的光的方式反射光),但是对于由DMD投影仪投影的任何图像,提供非状态光的“黑色”边界;这样的“黑色”边框可以具有在重叠区域217中有助于光的亮度。对于DMD,POM可以高达约20像素,但可以从制造商提供的DMD投影仪提供的信息中进一步了解。
在一些实施方案中,可以通过以下方式使用可选的接近度检查过程来消除和/或避免“假阳性”:将投影仪207网格点投影到屏幕215;确定相邻前向网格点的屏幕215上的最大距离D;并存储最大距离D以及点的前进网格的位置。此外,任何其他屏幕3D点可以通过确定屏幕3D点是否在任何这些前进屏幕3D点的最大距离D内,对该投影仪207进行“接近检查”;如果是,则该屏幕3D点对于投影仪207的投影图像是“足够接近”的,以考虑“投影”到投影仪207(如下所述);如果否,则该屏幕3D点不足够靠近投影仪207的投影图像以考虑“投影”到投影仪207。
无论哪种方式,可以使用整个图像来进行能够使投影仪图像的背投和/或图像轮廓相互叠后的技术,仅对应于重叠区域的像素和/或仅对应于边缘和/或轮廓(可包括死区和/或POM边缘)的像素。这种技术用于确定每个投影仪207的每个图像调制器中的哪些像素对应于一个或多个重叠区域217。可以使用投影点在“2D像素空间”(例如图像调制器中的像素)中执行这样的确定。例如,除了2D投影仪到3D屏幕对应关系之外,3D屏幕到2D投影仪对应关系也可用于确定2D投影仪207-X至2D投影仪207-Y(例如,通过将给定“X”投影仪207的投影点变换为另一“Y”投影仪的投影点207)。换句话说,如在方法400的框401中,控制器220使用至少一个相机214确定通过对象上的给定投影仪207投影到屏幕215上的给定图像216的投影点与多个投影仪207的其他投影仪207的相应的图像调制器的相应的点之间的相应的对应关系,相应的对应关系表示对应于一个或多个重叠区域217的其他投影仪207的图像调制器的相应的点。
在一些实施方案中,可以通过从投影仪207-X到相机214-Ai到屏幕215到相机214-Bj到投影仪207-Y的像素空间的映射(其可以与相机207-Ai或另一相机相同)来实施框401。将描述该技术,***200包括多个相机A1,A2,...An(例如,换句话说,相机214-Ai可以表示“n”个相机214),每个类似于相机214以及多个相机B1,B2,...Bm(例如,换句话说,相机214-Bj可以表示“m”个相机214),每个相机类似于相机214,尽管在一些实施方式中,可以使用少至一个相机214;不管每个相机是否针对屏幕215。在任何情况下,例如,对于投影仪207-X(例如投影仪207-1)上的任何像素,将投影像素区域映射到可以“看到”它的每个相机214-Ai(A1,A2,..An),然后映射到屏幕215,例如使用先前存储的对应关系(并且假定也针对每个相机确定这样的对应关系)。然后将屏幕结果映射到每个相机(B1,B2,...Bm-其中一些与相机A1,A2,...An相同),其可以看到屏幕215的区域,然后将它们映射到投影仪207-Y的图像调制器的位置。这可能不会导致单个位置的映射;相反,可以使用来自每个相机的结果的加权平均来确定单个位置的映射,由与像素数据的相应的相机相关联的“置信度”值加权(例如,基于像素位置如何与由相机214和/或相机捕获的原始结构光图案相关)。
或者,可以使用几何形状和计算的投影仪和存储在数据250和/或模型240中的屏幕位置来确定从投影仪207-X到屏幕215到投影仪207-Y的映射。这可以使用单个“全局”投影仪/屏幕位置和/或使用每个相机投影仪/屏幕位置(可以从每个相机的数据获得不同的几何结果)来执行,这可以再次使用加权平均来合并。
通常,这样的技术得到使给定投影仪207的投影点与另一投影仪的图像调制器的点之间的对应关系,并且可以进一步获得对于所有重叠区域217的对应关系;当设备201的处理能力是合适的时候,可以处理所有的投影点,但是为了减少这样的处理能力,如所确定的那样,可以仅使用对应于图像216和/或重叠区域217的边缘的投影点,例如,从接近检查评估和/或边缘行走算法。
接下来将注意图6A,其描绘了背投技术的简化版本,假设用于投影仪207的微小的针孔透镜模型(例如,图6A在背投技术中不提供细节透镜和/或光学元件),尽管考虑到投影仪透镜和/或光学器件的影响的模型在本实施例的范围内,使得不会沿着直线发生背投。无论如何,图6A中示出了投影点P1i的结果对应关系,其示意性地示出了相对于屏幕215的每个投影仪207的图像调制器617-1、617-2、617-3(可互换地统称为图像调制器617,并且一般地,作为图像调制器617)的侧视图;而如图所示,每个图像调制器617被描绘为平行并且与屏幕215大致等距,仅为了清楚起见提供了这样的描绘,并且每个图像调制器617可以以与屏幕215的其他角度定位。
如图所示,图像调制器617-1的点p1i对应于投影仪图像216-1中的投影点P1i(其在图6A中的屏幕215处被描绘为具有一定深度,仅指示其位置。无论如何,使用之前确定的投影仪207和屏幕215之间的几何关系,并且可选地,基于其包含作为图像216-1的边缘来选择投影点P1i,控制器220确定可以映射到投影仪点P1i的图像调制器617-2处的点p2i和可以映射到投影点P1i的图像调制器617-3处的点p3i。换句话说,点p1i、p2i、p3i中的每一个是对应于重叠区域217(未在图6A中示出)的点。因此,确定投影点P1i和点p2i之间的对应关系,并且通过从投影点P1i到点p2i,p3i中的每一个的“背投”确定投影点P1i和点p3i之间的对应关系。当考虑投影仪207的透镜时,背投通路可能不是直线。
对于图像216-1中的其它投影点可以重复这一点,例如,对应于重叠区域217的边缘和/或具有对应于重叠区域217的边缘的机会,以获得图像216-1的投影点和每个图像调制器617-2、617-3的点;此外,图像216-1的一些投影仪点将对应于仅图像调制器617-2、617-3中的一个的点。在另外的实施方式中,可以对图像216-1中的所有投影区域和/或图像216-1中的投影区域的子集重复这一点,而不仅仅是对应于重叠区域217的边缘的投影区域。
例如,即使对于重叠区域之外的投影点,也可以在图像调制器617-1和图像调制器617-2的点之间确定映射,至少对于作为图像调制器617-2的“近”投影点的图像调制器617-1的投影点(例如,在图像调制器617-2的投影边缘的给定距离内)。然而,这种映射映射到能够位于图像调制器617-2的边界之外的图像调制器617-1的点。换句话说,图像调制器617-1的点被映射到由图像调制器617-2投影的点的物理空间之外的点可以具有负值(等等)在与图像调制器617-2相关联的坐标空间中(假设由图像调制器617-2投影的点的物理空间具有正值)。因此,即使投影点P1i与由图像调制器617-2投影的点不一致(例如,P1i在任何重叠区域之外),所确定的几何关系仍然确定点p2i映射到由图像调制器617-2定义的坐标空间的位置,即使该点超出图像调制器617-2的边界(尽管该映射的精度可以根据点P1i与图像调制器617-2投影的点的距离而减小)。
接下来将注意到图6B,其描绘了使用图像调制器617-1、617-2的简化版本示出的背投技术的另一示例,该图形调制器617-1、617-2描绘了每个图像调制器617-1、617-2的六个像素,尽管每个图像调制器617-1、617-2通常包括数千个像素,如每个图像调制器617-1、617-2中的椭圆所示。此外,虽然在图6B中未示出图像调制器617-3,但是它仍然可以存在。如图6A所示,为了简单起见,忽略了透镜和/或光学器件对背景技术的影响。还假设每个图像调制器617-1、617-2中的至少最上面和最右边的像素是边缘像素。
图6B还描绘了由图像调制器617-1产生的投影仪图像216-1和由图像调制器617-2产生的投影仪图像216-2。虽然没有描绘投影仪图像216-3,但是它仍然可以存在。
此外,在图6B中,图像616-1、616-2之间的重叠区域包括一个像素,如投影的像素区域PR1i所示。虽然在重叠区域中只有一个像素,但是在其他实施方式中,重叠区域中可能有数十个至数千个像素。
图6B还示出了例如在方法400中提到的投影像素区域,其可以包括对应于投影仪图像的像素的投影区域。然而,这样的投影区域还可以包括投影点和/或可以映射回投影仪的图像调制器等的图像的任何区域和/或点。
在图6B中还示出了用于投影像素区域PR1i的对应关系。具体地,图像调制器617-1的像素px1i对应于例如投影仪图像216-1中的投影像素区域PR1i。使用之前确定的投影仪207和屏幕215之间的几何关系,并且可选地,基于其包含作为图像216-1的边缘来选择投影像素区域PR1i,控制器220确定图像调制器617-2处可映射到投影仪像素区域PR1i的像素px2i。换句话说,像素px1i、px2i中的每一个是对应于重叠区域(例如,重叠区域217-1)的像素。因此,通过从投影像素区域PR1i到像素px2i的“背投”来确定投影像素区域PR1i和像素px2i之间的对应关系。当考虑投影仪207的透镜和/或光学元件时,背投通路可能不是直线。
此外,图像调制器617-2处的多于一个像素可以映射到投影像素区域PR1i;例如,图像调制器617-2处的两个或更多个像素可被映射到(和/或部分映射到)投影像素区域PR1i。
此外,可以将像素的一部分(例如,像素的一部分)映射到投影像素区域PR1i;在这些实施方式中,整个像素是否包括在重叠区域中可以取决于映射到投影像素区域PR1i的部分的大小,如下面更详细描述的。
在进一步的实施方式中,像素px1i、px2i处的点可被映射到投影像素区域PR1i上或附近的点,例如像素px1i、px2i等的角。
换句话说,确定给定图像的投影点与多个投影仪207的其它投影仪207的相应的图像调制器的相应的点之间的相应的对应关系,可以包括投影区域和一个或多个像素之间的对应关系,投影区域和像素的一个或多个点之间的对应关系等。
此外,可以使用变换来将像素转换成点,和/或将点转换成像素,并进一步确定像素之间的重叠程度(和/或与像素相对应的点和/或点的重合)(例如,在重叠区域中的像素的百分比等)。例如,可以变换像素的点(例如角点),以确定对应于重叠区域的像素的区域。当针对像素内的多个点找到对应关系时,可以将像素内的点用于子像素抗锯齿。因此,在图6B的示例中,通过找到投影像素区域PR1i和像素px1i、px2i和/或像素px1i、px2i的子点(例如,像素px1i、px2i内的点)之间的对应关系,可以确定重叠区域217中的像素px1i、px2i的部分以及处于重叠区域中的像素px1i、px2i中的每一个的一部分的大小。
在任何情况下,可以对图像216-1中的所有投影区域重复这种对应关系的确定,例如对应于重叠区域217的边缘和/或具有对应于重叠区域217的边缘的机会,以获得图像216-1的投影仪区域与图像调制器617-2、617-3的相应的像素之间的对应关系;此外,图像216-1的一些投影仪区域将对应于仅在图像调制器617-2、617-3中的一个的像素。
接下来注意图7,其描绘了来自投影仪A和投影仪B的图像的阶梯图及其重叠。每个投影仪A、B可以对应于两个投影仪207。特别地,图7的阶梯图包括光(以一个或多个流明、任意单位等测量)与距离(例如,在“x”方向或“y”方向)上的曲线图。距离可以对应于屏幕215上的距离(例如,在投影空间中,其也可以被称为物体空间和/或屏幕空间(例如,当被投影的物体是屏幕时)),或投影仪207的图像调制器处的距离(例如,像素空间)(实际上,从投影空间到像素空间的变换,它们基本上是同构的)。在图7中,投影仪A输出一定量的光(例如,在标记为“投影仪A”的区域中),并且投影仪B输出一些其他量(例如在标记为“投影仪B”的区域中)并且在重叠区域(例如,在标记为“投影仪A、B的重叠”的区域)中,来自投影仪A和投影仪B的光重叠,其大致为线性相加。在重叠区域中,每个投影仪A、B的贡献由从“投影仪A”和“投影仪B”区域中的每一个延伸到重叠区域的相应虚线指示,其中重叠区域中的光的总量在每条虚线上表示为实线。
因此,例如,对应于来自仅一个投影仪A、B的光的图7的区域可以对应于图像216中的两个,而重叠区域可以对应于重叠区域217。通常,在该示例中,来自投影仪B的输出比投影仪A的输出更亮(例如,将它们相应的高度与“光”轴相比较)
显而易见的是,重叠区域任一侧的亮度的陡峭垂直变化可以导致总图像中的视频带,包括投影“黑色”的投影仪A、B的每个投影仪的图像。因此,图7描绘了可以使用方法400来解决的一般问题。
此外,通过使用相机214中的一个或多个、与计算设备201通信的数字光计和/或使用手动技术来确定重叠区域的亮度(例如,在方法400的框403处)(因此可以使用输入设备将亮度输入到设备201)。或者,可以分别确定每个投影仪A、B的亮度,通过将投影仪A、B的亮度相加来确定重叠区域的亮度。
根据如上所述确定的对应关系(例如使用方法400的方框401),可以控制至少与重叠区域相邻的每个投影仪A、B的图像调制器的像素(例如使用方法400的方框405)以基于重叠区域的相应亮度来增加亮度。
例如,参考图8,其描绘了与图7中类似的阶梯图,可以使用均匀的黑电平混合技术来提高重叠区域外的图像的所有区域的亮度,使其与重叠区域的亮度相似;由于确定的对应关系,可以特别地控制重叠区域外的像素(例如,在方法400的框405处)以增加每个投影仪A、B的亮度(例如,使用相应的投影仪A和投影仪B的相应的像素)。对于每个投影仪A、B,这些相应的亮度增加在图8中示出为投影仪A的光的增加801-A,以及投影仪B的光的增加801-B,每个增加801-A、801-B在重叠区域之外,但是与之相邻。如图所示,每个增加801-A、801-B从重叠区域的边缘延伸到相应图像的相对边缘。
由于投影仪B的输出比投影仪A的输出更亮,所以在投影仪A处比投影仪B增加更多的光,因此增加801-B小于增加801-A(例如,将它们相应的高度与“光”轴进行比较)。此外,投影仪B的增加801-B的高度类似于图7所示的投影仪A的初始输出的高度;类似地,投影仪A的高度801-A的增加类似于图7所示的投影仪B的初始输出的高度。
例如,在这种实施方式中,控制器220可以控制一个或多个重叠区域之外的给定投影仪207的给定图像调制器和其它投影仪207的相应的图像调制器中的每一个的一部分和/或全部像素以及与一个或多个重叠区域的边缘对应的至少相邻的边缘像素,以增加相应图像区域中的亮度以匹配一个或多个重叠区域的相应亮度。
在图8中,重叠区域外的整个图像的亮度增加到重叠区域的亮度;然而,在其他实施方式中,只有重叠区域外的图像的一部分增加,这可以被称为“混合”。这种混合技术被描绘在图9的阶梯图中,其基本上类似于图8。特别地,在混合技术中,与重叠区域相邻的投影仪A、B的每个图像调制器的像素被控制(例如,在方法400的框405处)以根据与边缘像素的相应距离增加对应图像区域中的亮度。对于每个投影仪A、B,这些相应的亮度增加在图9中被示出为投影仪A的光的变化901-A,以及投影仪B的光的变化901-B,每个变化901-A、901-B在重叠区域之外,但是与之相邻。如图所示,变化901-A、901-B中的每一个从重叠区域的边缘延伸,并且随着距离重叠区域的边缘的距离增大而减小。图9中进一步分别将变化901-A、901-B标记为“混合区域1”和“混合区域2”。因此,图9描绘了重叠图像的一部分上的黑电平混合。
换句话说,亮度从重叠区域逐渐下降。如图所示,亮度的下降是线性的,然而可能发生其他类型的掉落,包括但不限于“S曲线”。混合发生的距离可以由用户和/或基于图像的内容的启发式确定。此外,图10描绘了如何通过混合区域1和混合区域2在重叠区域中出现这种混合的视图1001,其中从重叠区域到重叠区域之外的相邻区域的亮度逐渐降低。
图5至图10通常描绘方法400的方面;此后提供方法400的一些具体实施方式。
亮度
如图7至图9所示,一个投影仪207可以比另一个更亮。然而,当每个投影仪207投影与黑色图像相对应的图像216时,由于光线很少,所以测量投影仪207的黑电平的绝对亮度可能是具有挑战性的。可以使用非常灵敏(并且昂贵)的测量设备,但是在安装投影仪***和/或需要在几个月或几年之后需要对这些投影仪***进行重新调整或重新校准时,这些设备可能无法使用。在这种情况下,可以使用至少一个相机214来确定图像216和/或重叠区域217的亮度(例如在框403处)。
尽管至少一个相机214可能或可能不足以测量绝对亮度,但是可以使用各种技术来克服这一点。在一种技术中,可以增加至少一个相机214的增益。在另一种技术中,可以在各种较高级别的光输出处测量图像216和/或重叠区域217的亮度,然后可以使用外推来确定较低级别的光输出处的亮度。
在又另一种技术中,可以平均预期(基于***模型)具有相似亮度的区域。例如,具有黑电平的图像(例如黑色图像)可以具有可由至少一个相机214可检测到的亮度,但是亮度可以接近至少一个相机214的本质噪音。因此,只要较大区域不包括可能的其他亮度的其他区域,至少一个相机214可以确定比感兴趣的小区域的亮度相对较大区域的平均亮度,以获得更准确的测量。例如,从***模型,各种重叠区域217的边缘是已知的,因此可以确定避免在不同区域(例如,包括感兴趣区域)之间的平均的大面积上的平均亮度。
此外,在又另外的实施方式中,用户可以估计亮度值,并且呈现所得到的黑电平混合以显示结果。换句话说,在一些实施方式中,设备201可以在输入设备(未示出)处接收输入,其指示控制器220控制相邻重叠区域217的图像216的区域以增加亮度。这种控制可以以不同的模式发生,这可以使用菜单***等来选择,例如在使得重叠区域217之外的整个图像216的亮度增加的第一模式中增加(例如,如图8所示));或在仅使重叠区域217外的图像216的亮度的一部分增加的第二模式中(例如,如图9所示)。换句话说,用户可以手动地(逐一、共同以及它们的组合)调节重叠区域217外的图像216的亮度,并且控制器220可以被配置为识别并控制重叠区域217外的图像区域216。
例如,如图7和图8所示,将投影仪B校正到重叠区域的亮度的光的增加801-B大约等于图7中由投影仪A产生的光的初始亮度,并且将投影仪A校正到重叠区域的亮度的光的增加801-A大约等于图7中由投影仪B产生的光的初始亮度(例如,重叠区域中的亮度大约等于每个投影仪A、B的亮度的相加;因此,为了使投影仪B达到重叠区域的水平,增加801-B大约等于投影仪A的初始亮度,反之亦然)。因此,当用户估计投影仪A(例如,独立于投影仪B)的亮度水平时,并且控制装置201进一步由重叠区域外部的投影仪B产生的图像216的亮度提高,与重叠区域相邻的投影仪A的投影外边缘通常消失(图7和图8中的每条下方的虚线终止)。
实际上,这在甚至当尚未估计投影仪B的亮度水平时发生(因为其有效地落在等式之外,因此稍后,只有重叠区域外的图像216的区域增加)。然而,可以迭代地控制由投影仪B产生的图像216的亮度的这种增加以形成对亮度的更好的估计:当由重叠区域外的投影仪B产生的图像216的区域太亮时(例如从重叠区域到相邻区域的过渡是视觉明显的),估计降低;并且当由重叠区域外的投影仪B产生的图像216的区域太暗时(例如,从重叠区域到相邻区域的转变是视觉明显的),则提高估计。
然而,用户可以通过以下方式替换至少一个相机214:-使用至少一个相机214来估计亮度水平;使用来自至少一个相机214的估计来执行黑电平计算,并且调整投影仪A、B(例如投影仪207)的亮度水平,例如在重叠区域之外;用至少一个相机214捕获结果以确定哪些区域太亮或太暗;并根据这些结果修改估计,并重复。换句话说,可以通过将重叠区域217的亮度与相邻区域的亮度(例如,对应于增加801和/或改变901的区域)进行比较来迭代地执行方法400。类似地,典型的线检测算法可以用于确定捕获的相机图像是否仍然包含表示重叠边缘的线和/或边缘是否消失。
部分重叠像素
在一些投影仪中,例如基于DMD的投影仪,单个像素的亮度在两种状态之间是可控的:在导通状态和关闭状态下,尽管亮度水平可以使用以下技术来控制:但不限于,抖动和位平面。换句话说,这种投影仪中的像素是单个单元,并且这样的像素的一部分不能相对于相同像素的另一部分进行调整。因此,当像素的亮度改变时,整个像素的亮度改变。当由这样的投影仪产生的图像中的像素重叠但不完全相同时,来自投影像素的一些投影区域可以在重叠区域之外,而来自相同投影像素的其它投影区域可以在重叠区域内。图11中示出了这种情况,其描绘了来自两个DMD投影仪的投影仪图像像素的一部分(例如,DMD-A,DMD-A的图像的部分以虚线描绘,以及DMD-B,DMD-B的图像的部分以实线描绘),其将数字像素(例如,颜色)变换为投影光。然而,尽管关于基于DMD的投影仪描述了以下示例,但是以下示例可以应用于其中像素的整体的亮度是可控制的其他类型的投影仪,而不是像素的部分。
投影像素1101-A是与重叠区域相邻的DMD-A的图像的投影像素,并且投影像素1101-B是与重叠区域相邻的DMD-B的图像的投影像素。投影像素1101-A、1101-B中的每一个被遮蔽以将它们与投影像素1101-A、1101-B之间的重叠区域中的投影像素区分开。还描绘了每个投影像素1101-A、1101-B的标称示例亮度。例如,所有投影像素1101-A名义上是10个单位的亮度,而所有投影像素1101-B名义上是20个单位的亮度;因此,在重叠区域中,亮度将为约30单位。
因此,在图11中,DMD-A、DMD-B中的任何一个的投影像素1101-A、1101-B都没有被控制用于黑电平混合,因此所描绘的图像的重叠区域比每个图像的相邻非重叠区域显得更亮。根据分辨率,投影仪到屏幕、镜头等的距离,一个投影仪A、B的投影像素可能与另一个投影仪A、B的投影像素不一致。因此,这可以在控制与重叠区域相邻的每个DMD的像素方面产生问题。例如,来自DMD-A的一些投影像素1101-A仅部分地与DMD-B重叠的像素,并且仅来自DMD-B的仅一些投影像素1101-B仅部分地与DMD-A中的像素重叠。换句话说,沿着来自DMD-B的图像的边缘与来自DMD-A的图像重叠的线,来自DMD-B的投影像素与DMD-A的投影像素不对齐。实际上,来自DMD-B的投影像素的相应边缘可能穿过DMD-A的投影像素的中间。这可能意味着根据方法400,与DMD-B投影像素重叠的DMD-A投影像素的投影区域不应该被赋予额外的光(因为重叠已经是明亮的),而根据方法400(使其亮度更接近重叠亮度),不与DMD-B投影像素重叠的相同DMD-A投影像素的其它投影区域应该给予额外的光。然而,不能与相同的单个DMD投影像素的另一区域不同地控制单个DMD投影像素的一个区域:可以将光添加到或不添加到整个投影像素。
然而,可以使用抖动和/或位平面将DMD像素控制到给定的亮度水平,例如,可以控制添加到每个投影像素1101-A、1101-B的附加光量,例如与每像素基础上的重叠程度成比例。
这在图12中示出,其基本上类似于图11,其中相同的元件具有相同的数字。特别地,投影像素1101-A、1101-B增加到30单位的亮度,除非它们仅部分重叠;那么亮度的增加量与重叠度有关。因此,取决于重叠程度,将与DMD-B的投影像素部分重叠的三个投影像素1101-A控制为小于30个单位(例如25个单位、28个单位和23个单位)的值,其可以在方法400的框401处确定;并且根据重叠程度将与DMD-A的投影像素部分重叠的两个投影像素1101-B控制为小于30个单位(例如29个单位和24个单位)的值,其可以在方法400的框401处确定。
但是,根据投影仪分辨率、屏幕大小、观看距离和像素大小,图12的唯一部分重叠的投影像素可能仍然对于观看者可见(例如,当图像216的分辨率小于人类视觉***的“视网膜分辨率”时)。因此,其中一侧与另一投影仪的投影像素重叠的投影像素线可以看起来比相对侧更亮,可能导致观看者的可见线。可以使用各种形式的抖动或引入一些噪声/随机性进一步减少和/或混合和/或隐藏这些线的亮度,使得线不是固体亮度,而是随距离变化,使得该线对于观看者不太可见。
像素大小变化
接下来将注意到图13,其再次描绘了来自两个投影仪的一部分图像像素(例如投影像素)(例如,标记为“投影仪X”的第一投影仪的图像和来自标记为“投影仪Y”的第二投影仪的图像),然而,每个投影仪X、Y的投影像素具有不同的大小,此外,大小可以变化(例如像素大小方差)。来自投影仪X的投影像素不仅与投影仪Y的投影像素大小不同,而且即使在单个投影仪X、Y内,物体/屏幕上的“投影像素”的合成“大小”(例如,诸如由来自投影仪的图像调制器的像素投影的光照亮的物体(屏幕)的区域的大小),在相同的图像调制器上从一个投影像素到下一个投影像素变化,由于物体/屏幕和/或透镜等的投影和/或曲率的角度。
因此,尽管没有描述:图13中的每个图像的线也可以是弯曲的,在弯曲的屏幕上和/或当通过鱼眼镜头投影时。
在任何情况下,如图所示,投影仪Y的投影像素1301的大小小于投影仪Y的投影像素1303的大小,然而投影仪Y的其他投影像素可以小于投影像素1301。
由于各图像中的每个投影像素的面积减少,因为相同量的光集中在较小的区域中,因此在各图像中的每个投影像素的积分亮度相似的情况下,投影像素的亮度增加。类似地,随着投影像素的面积增加,亮度降低。因此,例如,投影像素1301的亮度将高于投影像素1303的亮度。
因此,当在这些情况下应用方法400时,可以考虑投影像素大小。例如,在框401,可以数学地确定投影像素的四个角中的每一个的位置,使得可以确定投影像素的大小,并因此确定其相对亮度,以及如何在方法400的框405处用添加的附加光增加相应的投影像素的亮度。在这些实施方式中的一些中,为了减少处理资源的使用,可以确定仅一个样本投影像素网格的相应大小,并且可以***其间的投影像素的相应大小。
在另外的情况下,可以考虑到投影区域的亮度差异。例如,图像的像素亮度也可能受到投影仪的灯泡、光学器件和/或投影仪与投影仪投影仪图像的物体之间的物品/遮挡物的影响。实际上,由于灯泡和/或光学元件,投影中心可以比投影边缘(特别是角落)略亮。亮度的这种差异和/或变化可以通过接收(例如来自制造商等)针对给定的基于投影仪的品牌/型号/品牌等的亮度的典型“下降”来解释,和/或通过投影白色或灰色(或类似)图像并测量图像上的亮度(例如使用相机和/或光度计)来测量单个投影仪上的亮度变化。或者,投影仪可以投影彩色图像(例如,单独地在相应的颜色平面中,例如红色、绿色和蓝色),并且可以确定每个平面的亮度。或者,可以提供用于遮挡的“掩模”(例如,这样的掩模可以用计算机软件等绘制)。无论如何,可以将这种亮度数据和/或掩模提供给装置201,当在方法400中确定如何改变图像区域的亮度时,可以使用这种亮度数据和/或掩模。
基于重叠区域的距离的亮度
接下来关注图14,其类似于图13,其中投影仪Y的投影像素的大小变化。此外,图14描绘了方法400的实施方式,其中可以使用到重叠区域的距离来控制与重叠区域相邻的投影像素的亮度。特别地,类似于图9的实施方式,当“倾斜”和/或将亮度从重叠区域改变时,可以基于它们到重叠区域的边缘的距离将光添加到投影像素,使得更接近重叠区域的边缘的投影像素的亮度比进一步远离重叠区域的边缘的投影像素增加。为了确定与边缘的距离,可以使用包括但不限于KD树(k维树)的数据结构来合理快地找到最近的区域和/或点和/或像素。
例如,在图14中,确定从投影仪X的投影像素1401、1403的每一个的中心到投影仪Y的图像的边缘的相应的距离,使用投影仪Y的投影像素的角部作为边缘的基准点(尽管可以使用投影仪Y的投影像素的其他点),由相应的箭头指示的距离。投影像素1403的亮度的增加可以大于投影像素1401的亮度,因为投影像素1403比投影像素1401更靠近投影仪Y的图像的边缘。
当来自两个以上投影仪的两个以上的图像重叠时,可以使用类似的技术,使得存在多于一个的重叠区域。例如,下面涉及图15,其描绘了来自投影仪X(标记为“投影仪X”并以虚线绘制的图像)、投影仪Y(标记为“投影仪Y”的图像并以实线绘制)和投影仪Z(标记为“投影仪Z”的图像并以粗虚线绘制)的三个图像的部分,图像重叠(例如,如图2所示)。
在这些实施方式中,一些重叠区域具有重叠的两个图像(与重叠区域217-1、217-2、217-3重叠),并且一些重叠区域具有与重叠区域217-4重叠的三个图像。因此,添加到每个区域(例如,重叠区域外部)及其投影仪的亮度量变得稍微更复杂。特别地,要添加的额外的光在重叠区域中的所有投影仪X、Y、Z之间分开。它可以均匀地分割,或者基于哪个投影像素是最亮的加权(例如基于大小)分割,并且最有可能产生额外的光。
换句话说,“重叠的距离”变得复杂得多,并且可以调整方法400,以确定与多于一个重叠区域相邻的每个像素:最近的重叠区域边缘,每个重叠区域的亮度和/或最亮的区域(即,对于给定的投影像素应该遵循哪个斜率)。确定如何增加与多于一个重叠区域相邻的给定投影像素的亮度有几种可能性:
A.基于“最有影响力”边缘增加亮度:在该技术中,对于给定的投影像素,例如投影像素1501,确定最近的重叠区域边缘(例如,为了速度,该技术可以使用存储在KD树形成中的边缘和/或使用KD树的“桶”);所需的光的增加确定给定的投影像素的亮度朝向每个相应的最近边缘的亮度(例如,对于离开边缘的像素,亮度升高但不一定一直到边缘像素的亮度);并且使用最大的增加。例如,如图15所示,用两个箭头指示与投影像素1501两个最近的边缘,并且将投影像素1501的亮度提高到两个增加中的较大者。
此外,当“左”边缘更亮,但距离像素1501更远时,像素1501的亮度可以相对于“右”边缘而升高,无论哪个增加最大。例如,可以根据函数最大值(增加1,增加2,...)确定“最有影响力”边界,其确定多个增加的最大值(增加1,增加2....),每个边缘增加一个。B.基于“累积边缘”技术的增加亮度;对于给定的投影像素(例如投影像素1501)确定最近的重叠区域边缘的技术(如“最有影响力”技术);确定将给定投影像素的亮度提高到每个相应最近边缘的亮度所需的光的增加;并且使用增加的和。例如,可以从函数总和(增加1,增加2,...)确定累积增加,其将多个增加(增加1,增加2...)相加,每个边缘一个增加。然而,应当理解,可以使用类似于总和()和/或最大值()的其他功能来确定给定像素的亮度增加。
镜像池
如上所述,在DMD投影仪中,并且参考图16,围绕每个DMD,存在“镜像池”(POM)。特别地,图16类似于图11,然而,来自第三DMD-C(标记为“DMD-C”的第三图像)的第三图像与DMD-A和DMD-B的图像重叠。如图16所示,每个图像DMD-A、DMD-B、DMD-C的边缘处的阴影区域对应于每个图像的POM,因此标记为POM-A、POM-B、POM-C。换句话说,每个POM包括沿着不能被控制的DMD像素/反射镜的边缘的几个像素/反射镜,它们总是发出最小的光(黑电平的光),并且不能加上或减去光。当投影相对明亮的内容(例如,使用阈值确定和/或通过比较相对像素亮度与相对阈值差异)时,任何附近的非POM投影像素都更亮,因此通常可以忽略POM投影仪像素。然而,当POM投影像素构成重叠区域的一部分和/或处于相邻区域(显示黑色或接近黑色)时,在实施方法400时考虑POM投影像素的亮度,即使不能改变它们的亮度。
例如,每当方法400导致将额外的光理想地添加到POM投影像素的确定时,该光必须替代地添加到该区域中的非POM投影像素。例如,在图16中,DMD-A的图像的投影像素1601以及投影的POM-B像素与所有三个图像重叠的重叠区域1603相邻。可以控制投影像素1601以产生额外的光,但是不能控制与投影像素1601重叠的POM-B投影像素以产生额外的光。因此,在方法400中,在框405处,增加投影像素1601的亮度,以产生对于重叠区域1603附近的投影像素1601和POM-B投影像素确定的所有所需的额外光。
然而,进一步理解,对于除DMD之外的投影技术,POM可能不存在和/或POM大小可以为0,这可以简化本文所描述的技术。
彩色黑色
以前已经假设每个投影仪207(等)都产生类似颜色的黑电平。然而,在实践中,不同的投影仪可以产生颜色变化的黑电平,不过很小。例如,一个投影仪可以产生稍微红色的黑电平的光,另一个投影仪可以产生稍微为蓝色的黑电平的光。因此,当额外的光被添加到邻近重叠区域的投影像素时,颜色转变仍然可见。在这些实施方式中,可以修改方法400以至少以两种方式考虑到这种颜色差异:
A.光(例如均匀彩色的光)可以被添加到重叠区域,而不仅仅是相邻的“斜坡上升”区域。利用重叠区域中的添加的光,可以至少在边缘控制其感知的颜色,使得重叠区域的边缘接近和/或类似于相邻非重叠区域的颜色,和/或与之相同。此外,横跨重叠区域的颜色可以背离边缘混合。例如,在这种技术中,由于添加均匀彩色的光,所以不明确地控制区域的颜色;而是使用均匀彩色的光来“洗出”这些区域。
B.可以将彩色光添加到与重叠区域相邻的区域,使得添加亮度和颜色,并且将投影仪的自然色彩中和和/或混合成重叠区域的颜色。通过这种技术,我们将会增加亮度,因为它倾向于重叠,以及改变斜坡上的颜色以在重叠区域中实现最终颜色(正如我们到达那里)。
换句话说,在两种技术中,一个或多个重叠区域和相邻区域的颜色被改变为颜色匹配和/或颜色混合。
如下文所述,可以进一步修改方法400。
抗混叠
沿着重叠区域的边缘(自适应),可以应用抗混叠,以帮助最小化边缘的通知能力,类似于图12所示的技术。
自适应求解
计算每个投影仪上每个像素所需的添加光可能很慢。因此,在一些实施方式中,在每个第N个投影像素上执行方法400以确定如何在框405处增加亮度,并且使用内插来确定如何增加剩余的投影像素的亮度。这种技术可以减少处理资源的使用并提高方法400的应用速度。此外,这种内插可以是自适应的:例如,当在区域内,第N个像素之间的差异太大和/或高于阈值时,(例如,将第k*N个投影像素的确定的亮度增加与第(k+1)*N个投影像素的确定的亮度进行比较(例如,“下一个”像素,无论“从左到右”和/或“从上到下”)),可以确定区域内每个N/2投影像素的亮度增加(尽管这可以降低方法400的实施速度),然后可以再次使用内插。如果偏差仍高于阈值,则可以确定区域内每个N/4投影像素的亮度增加等。
重叠区域(按数字绘制)
为了实施图8所示的方法400,其中重叠区域外的图像的整个部分的亮度增加到重叠区域的亮度,代替计算每个投影像素的亮度增加,可以假设扫描线中的第一投影像素的确定的亮度增加(假设方法400逐个像素地应用于各行图像)在相应的扫描线中相同,直到达到重叠区域为止。然后,方法400用于确定下一个扫描线和/或下一个非重叠区域的亮度增加,直到达到下一个重叠区域。这种技术可以类似于泛洪填充算法,可以通俗地称为“编码油画”技术,因为重叠区域外的给定区域中的投影像素增加到相同的亮度。
然而,在这种技术中,如图13所示,当补偿投影的像素大小和/或亮度时,每个投影的像素可能具有不同的亮度增加。为了近似每个投影像素的亮度增加,并且为了最小化“昂贵的”(在处理资源方面)背投计算,可以使用方法400来确定平均大小的投影像素的亮度,然后可以根据其实际的相应大小按比例地调整相应的投影像素的亮度。
迄今为止已经描述了涉及至少一个相机214的实施方式,该相机捕获诸如屏幕215的物体的数字画面。然而,应当理解,至少一个相机214包括被配置为获取投影到物体上的多个图像216的至少部分的数字图像(和/或图片)的传感器(包括但不限于CCD、LCOS设备等)。或者,图像216可以被称为投影仪图像216以将它们与由至少一个相机214的传感器获取的数字图像等进行区分。
此外,至少一个相机214和/或其传感器不一定获取整个物体的数字图像,甚至是物体的部分;相反,至少一个相机214和/或其传感器被配置为获取投影到物体上的多个投影仪图像216的至少一部分的数字图像。例如,在一些实施方式中,投影仪图像216可以使用红外光和/或紫外光和/或不能被人类视觉***观看到的(和/或不可见的)频率的光来投影(例如人类和/或被配置为以与人类似的方式对物体进行成像的***)。此外,至少一个相机214和/或其传感器可以被配置为获取相同“不可见”光,而不是“可见光”的数字图像。在这些实施方式中,至少一个相机214和/或其传感器获取投影到物体上但不一定是物体的多个投影仪图像216的至少一部分的数字图像。
因此,在这些实施方式中,方法400适于使得控制器220被配置为:使用至少一个传感器(例如至少一个相机214)来确定给定投影仪图像216的投影点与多个投影仪207的其他投影仪207的相应的图像调制器的相应的点之间的相应的对应关系,相应的对应关系表示对应于一个或多个重叠区域217的另一投影仪207的图像调制器的相应的点;确定一个或多个重叠区域217的相应的亮度;并且控制给定图像调制器和各个图像调制器的每一个的像素,至少相邻的边缘像素对应于一个或多个重叠区域217的边缘以基于相应的亮度增加对应投影仪图像区域中的亮度。
此外,其他类型的传感器被配置为获取多个投影仪图像216中的至少一部分的数字图像。例如,接下来将关注图17,其描绘了与***200基本相似的***1700,具有相似的元件具有相似的数字。假设图1的***包括如下所述的光传感器,可以以与***200类似的方式与图1的***一起使用***1700。
与***200相反,***1700不包括相机和/或相机传感器(和/或相机和/或相机传感器是可选的)。相反,在***1700中,多个光传感器1714是嵌入在屏幕215中并位于屏幕215附近的一个或多个。每个光传感器1714与计算设备201通信,并且被配置为感测光并且当感测到光时向计算设备201提供指示。此外,存1603储器222包括光传感器位置数据1750,其存储每个光传感器1714的位置。因此,当光传感器1714检测到光时,例如当投影仪图像216中的一个或多个投影到屏幕215上时,光传感器214向计算设备201提供这样的指示,其将检测到光的光传感器1714与其相应的位置相关联。以这种方式,光传感器1714获取多个投影仪图像216的至少一部分的数字图像。
例如,每个光传感器1714包括但不限于光电二极管、光电晶体管、光电晶体管等中的一个或多个,并且被配置为在比相机214的像素装置更大的区域上检测光,例如在大约1mm2或更小的区域上。然而,图17中的光传感器1714的大小没有按比例绘制,并且仅由相应的圆圈示意性地表示。此外,虽然描绘了光传感器1714的某些位置,但光传感器1714可处于其他位置。类似地,虽然描绘了一定数量的光传感器1714,但是现在的实施方式包括更多或更少的光传感器1714。实际上,在屏幕215处的投影仪图像216的近似位置是已知的实施方式中,可以选择光传感器1714的配置,使得:当屏幕215是平面的时,每个投影仪图像216由至少三个光传感器1714或至少四个光传感器2174检测以考虑测量误差;并且当屏幕215不是平面的(例如弯曲和/或三维)时,每个投影仪图像216由至少六个光传感器1714检测。然而,在具体实施方式中,至少每个投影仪图像1714都使用光传感器174,以用于冗余并考虑测量误差。
此外,在一些实施方式中,光传感器1714嵌入在屏幕215和/或投影仪图像216投影到其上的物体中,例如投影到屏幕的表面中。在这些实施方式中,存储在光传感器位置数据1750中的光传感器1714的位置可以例如从屏幕215等的制造商提供给屏幕215。
在其他实施方式中,光传感器1714被放置成与屏幕215相邻,和/或投影仪图像216投影到的物体,例如作为互连光传感器的阵列;实际上,在这些实施方式中,一旦技术人员视觉地确定了屏幕215上的投影仪图像216的位置,则技术人员等可以将光传感器1715临时定位在屏幕215的表面附近。在这些实施方式中,存储在光传感器位置数据1750中的光传感器1714的位置可以由技术人员使用例如测量工具、校准的相机等来提供。
无论如何,与由相机214和/或其光传感器产生的数字图像和/或数字图像相比,由光传感器1714和光传感器位置数据1750提供的投影仪图像216的数字图像具有非常低的分辨率。例如,由光传感器1714提供的投影仪图像216的数字图像可以是每个数字图像少至3-8个像素。
此外,考虑到光传感器1714、结构光图像等的位置,可以用于确定光传感器1714和图像调制器617的点之间的对应关系。换句话说,2D光传感器到2D投影仪的对应关系是确定的,反过来又被用于确定投影仪到投影仪的对应关系(例如,表示对应于一个或多个重叠区域217的投影仪207的图像调制器的相应的点的相应对应关系)。这些对应关系可以应用于参照图6A描述的背投技术。
实际上,通过使用插值技术和/或外推技术来确定位于对应于光传感器位置的点之间的重叠区域中的点的映射和/或对应关系,这样的对应关系可以由图像调制器617-1的点确定,这些点位于重叠区域中并且对应于和不对应于位于光传感器1714处的投影点。
实际上,这种内插和/或外插也可以在包括相机214和2D相机到2D投影仪对应关系的实施方式中发生。例如,在这些实施方式中,仅针对相机传感器的点(例如像素)的子集确定2D相机到2D投影仪的对应关系,使得背投技术仅用于重叠区域中的点p1i、p2i、p3i的一个子集,并且可以使用内插技术和/或外推技术来确定位于背投中使用的点之间的重叠区域中的点的映射和/或对应关系。
此外,应用230和方法400可以适于考虑被配置为获取多个投影仪图像217的至少一部分的数字图像的一个或多个传感器,这种一个或多个传感器包括相机214的一个或多个相机传感器和光传感器1714。实际上,在一些实施方式中,相机214的相机传感器和光传感器1714的组合可以用于使用本文所述的背投技术来执行映射。
实际上,简要地返回到图17,存储器222存储应用230a,当由控制器220处理时,该应用使得控制器220和/或计算设备201能够:至少使用被配置为获取多个投影仪图像216的至少一部分的数字图像的传感器来确定给定投影仪图像216的投影点与多个投影仪207的其他投影仪207的相应的图像调制器的相应的点之间的对应关系,相应的对应关系表示对应于一个或多个重叠区域217的其他投影仪207的图像调制器的相应的像素;确定一个或多个重叠区域217的相应亮度;并且控制给定图像调制器和相应的图像调制器的每一个的至少邻近与一个或多个重叠区域217的边缘对应的边缘像素的像素,以基于相应的亮度增加对应投影仪图像区域中的亮度。在一些实施方式中,应用230a进一步使得控制器220和/或计算设备201能够:使用内插技术和/或外插技术来确定相应的对应关系的子集。
现在注意图18,其描绘了根据非限制性实施方式的用于数字黑电平混合的方法1800的流程图。为了协助方法1800的说明,将假定方法1800使用***200和/或***1700,具体地由设备201的控制器220执行,例如当控制器220处理应用230a时。实际上,方法1800是可以配置***200和/或***1700和/或设备201和/或控制器220的一种方式。此外,方法1800的以下讨论将使得进一步理解设备201、***200和/或***1700及其各种组件。然而,应当理解,***200和/或***1700和/或设备201和/或控制器220和/或方法1800可以变化,并且不需要如本文中结合的讨论精确地工作,并且这种变化在本发明的范围内。
无论如何,要强调的是,除非另有说明,方法1800不需要按照所示的确切顺序进行;并且同样可以并行而不是依次执行各种框;因此方法1800的元件在本文中被称为“框”而不是“步骤”。然而,还应当理解,方法1800也可以在***200的变化上实现。此外,虽然将计算设备201描述为实现和/或执行方法1800的每个框,但是应当理解,方法1800的每个框都使用处理应用230a的控制器220进行。
还应当理解,对于多个投影仪207的每个给定的投影仪207执行方法1800,并且因此可以针对每个投影仪207和/或按照每个投影仪207的顺序和/或对于投影仪207的每个区段/区域/扫描线/像素并行执行方法1800。
在方法1800中进一步假设多个投影仪图像216在一个或多个重叠区域217中重叠。
在框1801,控制器220使用至少一个传感器(例如,被配置为获取多个投影仪图像216的至少一部分的数字图像的至少一个传感器)来确定由物体处的给定投影仪207投影到物体(例如屏幕215)上的给定的投影仪图像216的投影点与多个投影仪207的其他投影仪207的相应的图像调制器的相应的点的对应关系,相应的对应关系表示对应于一个或多个重叠区域217的其他投影仪207的图像调制器的相应的点。框1801通常类似于方法400的框401,然而框1801不依赖于相机214,并且框1801的至少一个传感器包括以下中的一个:相机214的相机传感器和光传感器1714。
在可选的框1802(如果框1802以虚线表示,则表示为可选的),控制器220使用插值技术和外插技术中的一种或多种来确定相应的对应的子集,例如通过使用如关于图6A所述确定的相应的对应关系。此外,在一些实施方式中,可以结合框1801和/或在框1801之后实施框1802。
在框1803,控制器220确定一个或多个重叠区域217的相应亮度。框1803大体上类似于方法400的框403。
在框1805,控制器220控制给定图像调制器和相应的图像调制器的每一个的像素,至少相邻的边缘像素对应于一个或多个重叠区域217的边缘以基于相应的亮度增加对应投影仪图像区域中的亮度。框1805通常类似于方法400的框405。
此外,方法1800另外如本说明书中关于图7至图16所描述的那样进行。
通常,本说明书涉及使用投影仪图像调制器的相应的像素和物体(例如屏幕)上的投影区域之间的映射来找到投影仪图像的重叠区域的方法和***,并且控制突出在重叠区域外部的区域以最小化其间的可见的过渡。
本领域技术人员将理解,在一些实施方式中,设备101、105、108、201和内容播放器103的功能可以使用预编程的硬件或固件元件(例如,专用集成电路(ASIC))、电可擦除可编程只读存储器(EEPROM)等)或其他相关部件来实施。在其他实施方式现中,可以使用计算设备来实现设备101、105、108、201和内容播放器103的功能,该计算设备可访问存储用于计算设备的操作的计算机可读程序代码的代码存储器(未示出)。计算机可读程序代码可以存储在计算机可读存储介质上,该计算机可读存储介质是通过这些部件(例如,可移动软盘、CD-ROM、ROM、固定盘、USB驱动器)直接固定的、有形的和可读的。此外,应当理解,计算机可读程序可以被存储为包括计算机可用介质的计算机程序产品。此外,永久存储设备可以包括计算机可读程序代码。还应当理解,计算机可读程序代码和/或计算机可用介质可以包括非暂时性计算机可读程序代码和/或非暂时性计算机可用介质。可替代地,可以远程地存储计算机可读程序代码,但是可以经由调制解调器或通过传输介质连接到网络(包括但不限于因特网)的其他接口设备可发送到这些部件。传输介质可以是非移动介质(例如,光学和/或数字和/或模拟通信线路)或移动介质(例如,微波、红外、自由空间光学或其他传输方案)或其组合。

Claims (15)

1.一种数字黑电平混合的***,包括:
多个投影仪,每个投影仪包括图像调制器,所述多个投影仪被定位成投影由相应的图像调制器形成的相应的投影仪图像,多个投影仪图像在一个或多个重叠区域中重叠;
至少一个传感器,被配置为获取所述多个投影仪图像中的至少部分的数字图像;以及
计算设备,被配置为对于所述多个投影仪的包括给定图像调制器的每个给定的投影仪:
使用所述至少一个传感器确定给定投影仪图像的投影点与所述多个投影仪中的其它投影仪的相应的图像调制器的相应点之间的相应的对应关系,所述相应的对应关系仅对于与处于所述给定投影仪图像的所述投影点的给定最大距离内的相应投影点对应的所述其它投影仪的相应的图像调制器的相应点而确定,所述给定最大距离是在之前投影在物体上的网格点中的相邻的投影网格点之间的最大距离,所述给定投影仪图像被投影到所述物体上;
确定所述一个或多个重叠区域的相应的亮度;并且
基于所述相应的对应关系,控制所述给定图像调制器和所述相应的图像调制器中的每一个的在所述一个或多个重叠区域中的至少一个之外、邻近所述一个或多个重叠区域的混合区域中的像素中的至少部分像素,以逐渐增加对应的图像区域中的亮度,从而匹配所述一个或多个重叠区域中的相应亮度。
2.根据权利要求1所述的数字黑电平混合的***,其中,所述相应的对应关系包括与所述给定图像调制器和所述相应的图像调制器中的每一个的周界周围的相应的死区像素相关联的对应关系。
3.根据权利要求1所述的数字黑电平混合的***,其中,所述计算设备进一步被配置为控制所述给定图像调制器和所述相应的图像调制器中的每一个的在所述一个或多个重叠区域中的至少一个之外、邻近所述一个或多个重叠区域的混合区域中的像素,以根据以下中的一个或多个来逐渐增加相应的图像区域中的亮度以匹配所述所述一个或多个重叠区域的相应亮度:所述混合区域中的像素到所述一个或多个重叠区域的相应距离;线性函数;S函数和所述多个投影仪图像的内容。
4.根据权利要求1所述的数字黑电平混合的***,其中,所述计算设备进一步被配置为根据以下中的一个或多个来控制所述给定图像调制器和相应的图像调制器中的每一个的至少邻近与所述一个或多个重叠区域的边缘对应的边缘像素的像素:投影的投影仪图像的最近的对应重叠区域边缘;基于投影的投影仪图像的一个或多个最近的对应重叠区域边缘的加权;以及来自投影的投影仪图像的所述一个或多个最近的对应重叠区域边缘中的每一个的累积亮度。
5.根据权利要求1所述的数字黑电平混合的***,其中,所述计算设备进一步被配置为:确定形成所述一个或多个重叠区域的所述给定投影仪图像和其他投影仪图像的图像像素的相应的取向;并且根据所述图像像素的相应的取向进一步控制所述给定图像调制器和相应的图像调制器中的每一个的像素。
6.根据权利要求1所述的数字黑电平混合的***,其中,所述计算设备进一步被配置为:确定形成所述一个或多个重叠区域的所述给定投影仪图像和其他投影仪图像的图像像素的相应的投影大小;并且根据所述图像像素的相应的投影大小进一步控制所述给定图像调制器和相应的图像调制器中的每一个的像素的亮度。
7.根据权利要求1所述的数字黑电平混合的***,其中,所述计算设备进一步被配置为:确定形成所述一个或多个重叠区域的所述给定投影仪图像和其他投影仪图像的图像像素的相应的投影颜色;并且根据所述图像像素的相应的投影颜色进一步控制所述给定图像调制器和相应的图像调制器中的每一个的像素。
8.一种数字黑电平混合的方法,包括:
在包括以下的***中:计算设备;多个投影仪,每个投影仪包括图像调制器,所述多个投影仪被定位成投影由相应的图像调制器形成的相应的投影仪图像,多个投影仪图像在一个或多个重叠区域中重叠;以及至少一个传感器,被配置为针对包括给定图像调制器的每个给定投影仪获取所述多个投影仪的所述多个投影仪图像的至少部分的数字图像:
使用所述至少一个传感器确定给定投影仪图像的投影点与所述多个投影仪中的其它投影仪的相应的图像调制器的相应点之间的相应的对应关系,所述相应的对应关系仅对于与处于所述给定投影仪图像的所述投影点的给定最大距离内的相应投影点对应的所述其它投影仪的相应的图像调制器的相应点而确定,所述给定最大距离是在之前投影在物体上的网格点中的相邻的投影网格点之间的最大距离,所述给定投影仪图像被投影到所述物体上;
确定所述一个或多个重叠区域的相应的亮度;并且
基于所述相应的对应关系,控制所述给定图像调制器和相应的图像调制器的每一个的在所述一个或多个重叠区域中的至少一个之外、邻近所述一个或多个重叠区域的混合区域中的像素中的至少部分像素,以逐渐增加对应的图像区域中的亮度,从而匹配所述一个或多个重叠区域的相应亮度。
9.根据权利要求8所述的数字黑电平混合的方法,其中,所述相应的对应关系包括与所述给定图像调制器和所述相应的图像调制器中的每一个的周界周围的相应的死区像素相关联的对应关系。
10.根据权利要求8所述的数字黑电平混合的方法,进一步包括控制所述给定图像调制器和所述相应的图像调制器中的每一个的在所述一个或多个重叠区域中的至少一个之外、邻近所述一个或多个重叠区域的混合区域中的像素,以根据以下中的一个或多个来逐渐增加相应的图像区域中的亮度以匹配所述一个或多个重叠区域的相应亮度:所述混合区域中的像素到所述一个或多个重叠区域的相应距离;线性函数;S函数和所述多个投影仪图像的内容。
11.根据权利要求8所述的数字黑电平混合的方法,进一步包括根据以下中的一个或多个来控制所述给定图像调制器和相应的图像调制器中的每一个的至少邻近与所述一个或多个重叠区域的边缘对应的边缘像素的像素:投影的投影仪图像的最近的对应重叠区域边缘;基于投影的投影仪图像的一个或多个最近的对应重叠区域边缘的加权;以及来自投影的投影仪图像的所述一个或多个最近的对应重叠区域边缘中的每一个的累积亮度。
12.根据权利要求8所述的数字黑电平混合的方法,进一步包括确定形成所述一个或多个重叠区域的所述给定投影仪图像和其他投影仪图像的图像像素的相应的取向;并且根据所述图像像素的相应的取向进一步控制所述给定图像调制器和相应的图像调制器中的每一个的像素。
13.根据权利要求8所述的数字黑电平混合的方法,进一步包括确定形成所述一个或多个重叠区域的所述给定投影仪图像和其他投影仪图像的图像像素的相应的投影大小;并且根据所述图像像素的相应的投影大小进一步控制所述给定图像调制器和相应的图像调制器中的每一个的像素的亮度。
14.根据权利要求8所述的数字黑电平混合的方法,进一步包括确定形成所述一个或多个重叠区域的所述给定投影仪图像和其他投影仪图像的图像像素的相应的投影颜色;并且根据所述图像像素的相应的投影颜色进一步控制所述给定图像调制器和相应的图像调制器中的每一个的像素。
15.一种存储计算机程序的非暂时性计算机可读介质,其中所述计算机程序的执行用于:
在计算设备处与多个投影仪通信,每个投影仪包括图像调制器,所述多个投影仪被定位成投影由相应的图像调制器形成的相应的投影仪图像,多个投影仪图像在一个或多个重叠区域中重叠;以及至少一个传感器,被配置为针对包括给定图像调制器的每个给定投影仪获取所述多个投影仪的多个投影仪图像的至少部分的数字图像:
使用所述至少一个传感器确定给定投影仪图像的投影点与所述多个投影仪中的其他投影仪的相应的图像调制器的相应点之间的相应的对应关系,所述相应的对应关系仅对于与处于所述给定投影仪图像的投影点的给定最大距离内的相应的投影点对应的所述其他投影仪的相应的图像调制器的相应点而确定,所述给定最大距离是之前投影在物体上的网格点中的相邻的投影网格点之间的最大距离,所述给定投影仪图像被投影到所述物体上;
确定所述一个或多个重叠区域的相应的亮度;并且
基于所述相应的对应关系,控制所述给定图像调制器和相应的图像调制器的每一个的在所述一个或多个重叠区域之外、邻近所述一个或多个重叠区域的混合区域中的像素中的至少部分像素,以逐渐增加对应的图像区域中的亮度,从而匹配所述一个或多个重叠区域的相应亮度。
CN201711025499.1A 2016-11-11 2017-10-27 数字黑电平混合的***和方法 Active CN108076332B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201662420830P 2016-11-11 2016-11-11
US62/420,830 2016-11-11
US15/408,983 US20180139423A1 (en) 2016-11-11 2017-01-18 System and method for digital black level blending
US15/408,983 2017-01-18
US15/633,839 US10298893B2 (en) 2016-11-11 2017-06-27 System and method for digital black level blending
US15/633,839 2017-06-27

Publications (2)

Publication Number Publication Date
CN108076332A CN108076332A (zh) 2018-05-25
CN108076332B true CN108076332B (zh) 2020-06-30

Family

ID=62159645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711025499.1A Active CN108076332B (zh) 2016-11-11 2017-10-27 数字黑电平混合的***和方法

Country Status (1)

Country Link
CN (1) CN108076332B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111131800B (zh) * 2018-10-31 2022-02-18 中强光电股份有限公司 影像拼接融合方法与投影***
CN111131799B (zh) 2018-10-31 2021-11-19 中强光电股份有限公司 影像拼接融合方法、投影***与其处理装置
US11750778B2 (en) 2021-09-30 2023-09-05 Coretronic Corporation Method for adjusting pixel values of blending image and projection system thereof
CN115460354A (zh) * 2021-11-22 2022-12-09 北京罗克维尔斯科技有限公司 图像亮度处理方法、装置、电子设备、车辆和存储介质
CN114220123B (zh) * 2021-12-10 2022-11-04 江苏泽景汽车电子股份有限公司 一种姿态矫正方法、装置、投影设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1688160A (zh) * 2005-04-30 2005-10-26 广东威创日新电子有限公司 大屏幕上拼接显示的图像边缘融合方法
CN101930724A (zh) * 2010-07-12 2010-12-29 清投视讯(北京)科技有限公司 融合大屏幕的图像显示方法及***
CN104516482A (zh) * 2013-09-26 2015-04-15 北京天盛世纪科技发展有限公司 一种无影投影***及方法
CN104539922A (zh) * 2014-12-24 2015-04-22 北京凯视达科技有限公司 投影融合暗场处理方法及装置
CN105681772A (zh) * 2014-12-04 2016-06-15 佳能株式会社 显示控制装置及其控制方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070291184A1 (en) * 2006-06-16 2007-12-20 Michael Harville System and method for displaying images
JP6146143B2 (ja) * 2013-05-31 2017-06-14 株式会社Jvcケンウッド マルチプロジェクタシステム、投射装置、調整装置および画像調整方法、ならびに、画像調整プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1688160A (zh) * 2005-04-30 2005-10-26 广东威创日新电子有限公司 大屏幕上拼接显示的图像边缘融合方法
CN101930724A (zh) * 2010-07-12 2010-12-29 清投视讯(北京)科技有限公司 融合大屏幕的图像显示方法及***
CN104516482A (zh) * 2013-09-26 2015-04-15 北京天盛世纪科技发展有限公司 一种无影投影***及方法
CN105681772A (zh) * 2014-12-04 2016-06-15 佳能株式会社 显示控制装置及其控制方法
CN104539922A (zh) * 2014-12-24 2015-04-22 北京凯视达科技有限公司 投影融合暗场处理方法及装置

Also Published As

Publication number Publication date
CN108076332A (zh) 2018-05-25

Similar Documents

Publication Publication Date Title
EP3331241B1 (en) System and method for digital black level blending
CN108076332B (zh) 数字黑电平混合的***和方法
US11115633B2 (en) Method and system for projector calibration
CN106548455B (zh) 用于调整图像的亮度的设备和方法
US20170070711A1 (en) Intensity correction for projection systems
CN110913188B (zh) 从减少的测试图案集合生成更新的摄像头-投影仪对应关系的设备和方法
CN107018392B (zh) 投影仪优化方法和***
EP3136377B1 (en) Information processing device, information processing method, program
US20170039756A1 (en) System and method for automatic alignment and projection mapping
US20180139423A1 (en) System and method for digital black level blending
US10755671B2 (en) Device, method, and program for controlling displaying of survey image
US20190313070A1 (en) Automatic calibration projection system and method
CN105308503A (zh) 利用短程相机校准显示***的***和方法
US20190005607A1 (en) Projection device, projection method and program storage medium
JP2010050542A (ja) 投写型表示装置および表示方法
US20180338123A1 (en) System and method for automatic alignment and projection mapping
JP2022059013A (ja) 情報処理装置、認識支援方法およびコンピュータプログラム
US11022435B2 (en) Pattern projection depth value 3D scanning device and method
EP3934244B1 (en) Device, system and method for generating a mapping of projector pixels to camera pixels and/or object positions using alternating patterns
US20210118213A1 (en) Systems and methods for three dimensional object scanning
US11636578B1 (en) Partial image completion
US20230127730A1 (en) System and method for projection mapping
JP7047475B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
KR20170090192A (ko) 증강현실 환경에서의 시력보호장치 및 그 방법
Jiang et al. Project report: Light source estimation using kinect

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant