CN109983401A - 摄像机辅助自动屏幕拟合 - Google Patents

Abstract

在所描述的实例中，经由至少一个投影仪将纯色场图案投影(1830)到屏幕上。所述屏幕包含用户定义子屏幕。经由至少一个摄像机对所述经投影纯色场图案进行图像捕获(1840)作为经成像纯色图案。针对所述至少一个摄像机的摄像机透视平面，基于所述经成像纯色图案的像素值的差确定(1850)所述子屏幕的第一拐角坐标。单应性矩阵与所述摄像机透视平面相关联且与所述至少一个投影仪的投影仪透视平面相关联。针对所述投影仪透视平面，基于所述单应性矩阵将所述第一拐角坐标变换(1860)为所述子屏幕的第二拐角坐标。基于所述第二拐角坐标投影图像。

Description

摄像机辅助自动屏幕拟合

背景技术

当放置投影仪时，如果延伸通过投影仪的透镜的光轴与投影屏幕不正交，那么会发生梯形失真。梯形失真可为一维的(例如，竖直或水平偏移)或二维的(例如，竖直及水平偏移)。在以下情况下会发生梯形失真：(a)经投影图像平面与屏幕平面不平行；及(b)光轴与屏幕平面不正交。如果人类容易检测到梯形失真，那么其会降低经投影图像的表观质量。

发明内容

在所描述的实例中，经由至少一个投影仪将纯色场图案投影到屏幕上。所述屏幕包含用户定义子屏幕。经由至少一个摄像机对所述经投影纯色场图案进行图像捕获作为经成像纯色图案。针对所述至少一个摄像机的摄像机透视平面，基于所述经成像纯色图案的像素值的差确定所述子屏幕的第一拐角坐标。单应性矩阵与所述摄像机透视平面相关联且与所述至少一个投影仪的投影仪透视平面相关联。针对所述投影仪透视平面，基于所述单应性矩阵将所述第一拐角坐标变换为所述子屏幕的第二拐角坐标。基于所述第二拐角坐标投影图像。

附图说明

图1是根据实例实施例的投影仪的透视图，所述投影仪具有与其附接的摄像机。

图2是根据实例实施例的投影仪及屏幕的***几何结构的侧视透视图，所述屏幕用于在其上显示图像。

图3是根据实例实施例的投影仪及屏幕的***几何结构的俯视透视图，所述屏幕用于在其上显示图像。

图4是根据实例实施例的不规则显示图像的自动俯仰及偏航偏移校正的过程流程图。

图5是根据实例实施例的不规则显示图像的四拐角校正的元素的过程图。

图6是根据实例实施例的用于子屏幕坐标的摄像机辅助平面单应性变换的过程的流程图。

图7是根据实例实施例的用于摄像机辅助平面单应性变换的经投影结构化光图案的图解。

图8是根据实例实施例的用于摄像机辅助平面单应性变换的经捕获结构化光图案的图解。

图9是根据实例实施例的用于处理结构化及纯色场图案的过程的流程图。

图10是具有非共面采样点的经捕获结构化光图案的图解。

图11是根据实例实施例的用于摄像机辅助平面单应性变换的经捕获结构化光图案图像中的解释线的图解。

图12是根据实例实施例的用于子屏幕定大小及放置的可用位置的图解。

图13是根据实例实施例的在解释线中动态阈值处理的邻近像素增量值的图解。

图14是根据实例实施例的由经投影白色纯色场照明的目标子屏幕的经捕获图像。

图15是根据实例实施例的经照明目标子屏幕的经捕获图像。

图16是根据实例实施例的在摄像机透视平面中确定四个拐角所针对的经照明目标子屏幕的经捕获图像。

图17是根据实例实施例的用于实施子屏幕坐标的摄像机辅助平面单应性变换的过程的流程图。

图18是根据实例实施例的用于自动屏幕拟合的过程的流程图。

图19是根据实例实施例的IC 1900的高级框图。

具体实施方式

在此描述中，如果第一装置耦合到第二装置，那么那种连接可通过直接电连接而进行，或通过经由其它装置及连接的间接电连接而进行。术语“部分”可意指整个部分或小于整个部分的部分。当可使用几何原理来转换(或估计)术语“角度”及“坐标”之间的值或关系时，术语“角度”及“坐标”可在含义上重叠。

用于“梯形失真”图像的屏幕拟合的许多解决方案包含试错过程，其中由用户反复地调整及/或估计待拟合的经投影图像的(例如，非正交)拐角，直到待拟合的经投影图像在选定屏幕界限内。其它各种摄像机辅助解决方案使用预先准备好的***几何结构信息(例如，通过校准过程的反复而逐渐改进的估计)，以在自动地调整待拟合的经投影图像的拐角之前确定相对屏幕偏移角度。

在下文中描述用于摄像机辅助屏幕拟合的平面单应性变换过程。当将经投影图像拟合到目标子屏幕时，用于摄像机辅助屏幕拟合的所描述的过程隐含地校正(例如，偶然的)梯形失真。此外，摄像机与投影仪之间的透视变换是基于分析的(例如，而不是响应于用户估计及测量而进行数值处理)，这会增加为特定***几何结构确定的结果的准确性并减少原本为获得满意结果而执行的反复。可避免反复的(及耗时的)用户辅助校准例程，这是因为***几何结构(例如相对屏幕偏移角度)是通过响应于摄像机提供的输入而执行的平面单应变换来隐含地确定的(例如，这会减少或消除原本涉及到的用户干预)。生产线中的成本会降低，这是因为当将经投影图像拟合到用户定义屏幕时，单元(例如，基于投影的电视控制台)是自校正的，这会减少原本用于确定***几何结构以进行梯形失真校正的用户干预。此外，实例实施例可使用相对低分辨率摄像机(例如，用于捕获经投影图像屏幕角度及/或尺寸)，这也会降低成本。

图1是根据实例实施例的投影仪的透视图，所述投影仪具有与其附接的摄像机。举例来说，光学投影***100包含投影仪102，投影仪102用于通过投影透镜104将图像108投影到屏幕110上。图像108可为幻灯片演示或视频。例如电荷耦合装置(CCD)摄像机或互补金属氧化物半导体(CMOS)图像传感器的摄像机或图像捕获装置106包含在***100中。在至少一个实施例中，图像捕获装置106嵌入在投影仪102内。在至少一个实施例中，图像捕获装置106是CCD摄像机106，其集成到投影仪102中以用于捕获前投影***100中的经投影图像108。图像捕获装置106可包含小透镜，或根据经由投影仪102中的小孔的针孔成像而操作，所述小孔在现有投影透镜104的圆周外部。***100包含一或多个控制按钮112以允许用户进行菜单选择。

图2是根据实例实施例的投影仪及屏幕的***几何结构的侧视透视图，所述屏幕用于在其上显示图像。举例来说，投影仪200(例如投影仪102)从水平参考平面210倾斜(例如，向上)角度θ_p。因此，与角度θ_p互补的角度是由投影仪竖直轴220相对于水平参考平面210形成。投影仪200经布置以根据与纵轴230正交的图像平面投影图像，所述图像平面从水平参考平面210倾斜角度θ_p。当俯仰偏移角度θ_p大于零时，会发生竖直梯形失真。

图3是根据实例实施例的投影仪及屏幕的***几何结构的俯视透视图，所述屏幕用于在其上显示图像。举例来说，投影仪200从竖直参考平面310倾斜(例如，侧向)角度角度是由投影仪水平轴320相对于竖直参考平面310形成。投影仪200经布置以根据与纵轴330正交的图像平面投影图像，所述图像平面从竖直参考平面310倾斜角度的余角(例如，90°-)。当偏航偏移角度大于零时，会发生水平梯形失真。

图4是根据实例实施例的不规则显示图像的自动俯仰及偏航偏移校正的过程流程图。举例来说，当投影***几何结构(例如，设置)包含俯仰及偏航偏移角度两者时，从与用户定义屏幕420垂直的用户的视角来看，二维梯形失真会造成经投影输入图像410变形为不规则四边形(例如，不规则梯形)。

根据下文中所描述的平面单应性变换来执行俯仰及偏航偏移430校正。举例来说，俯仰及偏航偏移430校正确定从经投影输入图像410的四个拐角中的每一者到(例如，矩形)用户定义屏幕420的相应拐角的偏移。所确定的直线拐角偏移(例如，针对“四个拐角”中的每一者)用以将输入图像变换(例如，缩放及/或扭曲)为经投影变换图像412(例如，使得经投影图像的四个拐角与用户定义屏幕的四个拐角对准)。

在实施例中，所描述的平面单应性变换会减少(或消除)反复过程的反复，在所述反复过程中，由用户逐个地调整经投影图像的拐角，直到经投影图像被拟合在子屏幕的界限内。当投影仪光轴不与投影表面垂直时(例如，当存在梯形失真时)，反复过程会进一步变复杂，这是因为当投影经投影图像时，所述图像的线性改变不再被用户感知为线性的。所描述的平面单应性变换响应于经显示图像的摄像机输入及所确定的子屏幕而确定四个拐角，这会减少所述过程的反复、校准时间及由于用户对***几何结构的误判而导致的错误的错误复合。

子屏幕可为用户定义屏幕，其为原本在较大屏幕内的区域的一部分。子屏幕的表面(例如，平面)可具有与根据较大屏幕的***几何结构不同的***几何结构(不同的角度及/或距离)。举例来说，当将图像投影在相对于包含多个投影仪的投影仪***具有不同角度的表面(及/或具有不同距离的表面)的建筑物面上时，可将所述不同表面中的每一者定义为独立子屏幕，其中不同投影仪经指派以投影关联子屏幕，使得经校正图像可跨越两个邻近子屏幕(或跨越子屏幕与其周围或邻近屏幕之间的边界)无缝地显示。

图5是根据实例实施例的不规则显示图像的四拐角校正的元素的过程图。举例来说，元素510是理想(例如，在投影之前)图像及子屏幕(其中图像轮廓是矩形四边形)的表示。当经投影图像看起来不理想时，用户可经由“四拐角”用户界面520(其可包含显示菜单选项或用于启动四拐角校正的控制按钮112)来选择四拐角校正。元素530是从子屏幕的每一拐角的平面偏移的表示，其中经显示图像的(例如，不规则)四边形轮廓的相应拐角是如由四拐角校正过程所确定。俯仰及偏航偏移引擎540接收用于描述投影仪及子屏幕的***几何结构的用户供应信息，并将输入信息变换为具有“四个拐角”的矩形四边形，其中每一拐角具有为在投影之前缩放及/或扭曲(例如，用于梯形失真校正)图像而确定的坐标。元素550是经变换图像的投影的表示，其表现为矩形四边形(例如，在针对二维梯形失真进行校正之后)。

俯仰及偏航偏移引擎540是与处理器协作地布置的专用集成电路(ASIC)，作为专用机器以用于针对二维梯形失真确定矩形四边形的四个拐角以进行视频内容的实时投影。在基于角度的实例中，用户可向俯仰及偏航偏移引擎540提供用户输入信息。用户供应信息可包含：近似俯仰及偏航角度；及投影***光学参数，例如关于目标子屏幕的投射比、竖直偏移及图像分辨率。俯仰及偏航偏移引擎540可变换基于角度的信息以针对子屏幕的每一拐角确定平面偏移坐标(例如，在直角坐标系中)。在用户供应信息实例中，俯仰及偏航偏移引擎540从用户接收子屏幕的(例如，用户估计的)角度或直角坐标，且变换子屏幕信息的基于坐标的信息以针对子屏幕的每一拐角确定平面偏移。

在两个实例(来自基于角度的实例及/或基于直角坐标的实例)中，可将针对子屏幕的每一拐角所确定的平面偏移投影为点，且与由投影仪摄像机捕获的图像进行比较。俯仰及偏航偏移引擎540任选地使用用户供应信息作为提示，以便确定由投影仪摄像机捕获的图像中的子屏幕的位置。因此，从投影仪摄像机得到的分析信息可增强用户供应信息的准确性，且用户供应信息可增强分析信息的准确性(例如，例如当子屏幕—或子屏幕上的经显示点—无法由俯仰及偏航偏移引擎540清楚地识别时)。(下文参照图11给出子屏幕识别的描述。)

然后，将子屏幕的四个拐角中的每一者的平面偏移传递到(例如，ASIC实施的)二维校正引擎，使得输入图像/视频可在投影之前被缩放(例如，以针对视频流的每一帧校正梯形失真以进行实时投影)。变换(例如，校正)梯形失真校正图像，使得当投影到屏幕上时，观察者可在与投影屏幕垂直的位置感知具有适当宽高比的矩形图像。

图6是根据实例实施例的用于子屏幕坐标的摄像机辅助平面单应性变换的过程的流程图。在各种实例中，摄像机辅助平面单应性变换包含响应于由数字摄像机根据平面单应性产生的经捕获图像的自动屏幕拟合。在流程600的实例中：在操作610中，将一系列图案(例如，结构化光及纯色场图案)投影到用户定义子屏幕上，且由数字摄像机捕获经投影图像并存储在存储器中；在操作620中，计算投影仪与摄像机图像平面之间的单应性矩阵；在操作630中，识别子屏幕的界限；在操作640中，根据平面单应性变换子屏幕的所识别的界限；且在操作650中，使用二维校正引擎的四拐角用户模型变换(例如，缩放)经投影图像。

一般来说，可使用硬件及/或处理器来实施流程600的过程，以减少设置时间并提高在如下文所论述的操作中变换显示坐标的准确性：关于图6到9论述结构化光及纯色场图案投影、捕获及存储；关于图10及方程式1到23论述投影仪与摄像机图像平面之间的单应性矩阵；关于图11到16及方程式24到34论述子屏幕边界识别；关于方程式35到46论述所识别的子屏幕边界的平面单应性变换；且关于图17到18论述使用二维校正引擎的四拐角用户模型变换(例如，缩放)经投影图像。

在操作610中，投影结构化光图案，由数字摄像机捕获结构化光图案，并处理结构化光图案。结构化光图案用以建立摄像机与投影仪之间的相关性。摄像机与投影仪之间的相关性被表示为单应性矩阵的形式，其用于确定结构化光图案元素的质心(下文中所论述)的哪些位置位于经投影及经捕获图像两者中。

在操作610中使用结构化光图案，这是因为结构化光图案允许经投影及摄像机捕获图像之间的简单且有效的相关性。如上文所介绍，针对相对很少的点建立经投影-经捕获图像对应(例如，使得避免与在经投影点与经捕获点之间建立一对一对应相关联的成本)。因此，具有稀疏元素(例如，二维高斯图案或圆圈)的结构化光图案提供了快速且有效的方式来建立对应。此外，考虑到投影仪的预期光环境条件(例如，从暗到中等照明)，可容易识别图案中的亮元素并降低噪声(例如，因为在较暗光照条件下捕获的图像中会遇到更多的噪声)。

如本文中所描述，选择经投影结构化光图案中的元素的位置，以便确保经投影图像空间的相当大的部分(例如，大多数)被经投影结构化光图案覆盖。用结构化光图案覆盖经投影图像空间的相当大的部分会提供用于经由摄像机捕获图像从投影屏幕恢复分辨率增加的空间信息的提示。通过使用单通连接分量分析(单通CCA)算法来确定摄像机捕获图像中的经显示元素的质心的坐标位置(例如，在x、y坐标中)。单通CCA是用于搜索强度高于预定阈值的连接分量的聚类算法，其倾向于丢弃低强度噪声。向连接元素的簇指派本地标识符或标记，且计算其质量中心(或质心)及相对面积。在分析了整个经捕获图像并识别及标记了检测到的连接分量簇之后，对连接分量以基于其相对面积的降序进行排序。针对期望N个元素的摄像机捕获图像，前N个元素被认为是以基于面积的降序；剩余连接元素簇—在其存在的情况下—被认为是噪声并被丢弃。摄像机中的最大及最亮元素被假定为是结构化光图案元素，而较小亮元素被认为是噪声并被丢弃。各种实施例可使用两次行进通过经捕获图像中的信息的算法，但是此类双通算法通常会消耗大量的存储器及处理电力。单通CCA算法经布置以在一次通过中从嵌入式ASIC存储器检索摄像机捕获图像，并逐行地分析经检索图像。一次通过架构提高了算法执行速度，而不会牺牲稳健性。

经投影图像中的每一检测到的元素(例如，N个结构化光图案元素中的每一者)被指派索引号，范围是从0到N-1，其中每一相应质量中心/质心存储在ASIC存储器中。当(例如，预先由用户)获知以其它方式显示的元素的相交点的位置时，不执行通过单通CCA算法的经投影图像的分析，这会节省电力并减少操作时间。以与在分析经投影图像时执行的方式类似的方式，将索引号(例如，0到N-1)指派到已知元素及存储在存储器中的每一对应质心的每一相交点。摄像机捕获质心的索引与待投影图像中的对应质心一一对应地匹配。将摄像机捕获质心与对应经投影质心匹配会建立一对一质心关系，这对于建立摄像机捕获图像与待投影图像的单应性是有用的。

索引匹配过程是基于几何的，即，摄像机捕获图像帧被划分为象限，使得为质心中的每一者分配单个象限。在待投影图像中重复索引匹配过程(例如，使得经捕获图像的质心可与经投影图像一对一相关联)。摄像机捕获图像中的每一质心/象限与待投影图像中的相应质心/象限匹配。一般来说，实例实施例假定通过CCA算法可辨别摄像机捕获质心的相对位置(例如，即使当质心的相对位置在摄像机捕获图像中的质心与待投影图像中的质心之间某种程度上失真时也是如此)。

图7是根据实例实施例的用于摄像机辅助平面单应性变换的经投影结构化光图案的图解。举例来说，图案700包含九个元素(701、702、703、704、705、706、707、708及709)，其中九个元素中的每一者是二维(2-D)高斯函数。在四个象限中的每一者中，八个元素被布置为对(例如，对701及702、对703及704、对705及706，以及对707及708)，且一个元素(709)在图案700中居中布置。每一元素(根据选定高斯函数)包含色调(例如，灰色阴影)的钟形函数，其中最亮像素显示在元素的质心处，且其中逐渐变暗的像素在图案的平面中向外二维地延伸。至少出于图7的再现性目的，图案700的元素被表示为负形式(其中质心在阴影中反转为“暗”，且图案背景在阴影中反转为“白色”)。图案700被提供为用于待投影(经投影)图像的帧，以用于在摄像机辅助自动屏幕拟合过程中进行投影。根据用以产生图案的2-D高斯函数精确地确定质心的位置(x，y)(并存储为用于后续比较操作的向量阵列)。

图8是根据实例实施例的用于摄像机辅助平面单应性变换的经捕获结构化光图案的图解。举例来说，图案800是经捕获图案(例如，其由与用于投影经投影图案700的投影仪相关联的摄像机捕获)，且包括九个元素(801、802、803、804、805、806、807、808及809)。根据与投影平面不正交的屏幕(例如，子屏幕)的***几何结构，从经投影图案700的对应元素的位置变换经捕获图案800的九个元素。

将结构化光图案700投影到屏幕上并用摄像机捕获。针对摄像机捕获图像上的每一对应检测到的质心确定位置(例如，以像素为单位的x、y)。使用单通连接分量算法确定元素的质心。匹配索引以建立两个图像的对应质心之间的对应。选择原点(例如，x＝0，y＝0)作为左上拐角，这是因为九个质心中的每一者的坐标存储在两个向量阵列中以用于确定单应性变换矩阵(下文参考方程式35到46所论述)。

结构化光图案投影、捕获及质心检测序列用于至少两个目的：第一，建立经投影及摄像机捕获图像之间的对应(例如，从其计算投影仪及摄像机图像平面之间的单应性)；及第二，标记用于检测屏幕界限的解释线的端(下文参考图11到16所论述)。

除上文所提到的结构化(例如，光)图案700之外，纯色(例如，同质)场图案也被投影并由数字摄像机捕获。“纯色”图案是用于改进背景投影表面与目标子屏幕之间的对比度从而便于检测子屏幕边界的同质场图案。在实施例中，纯色图案是白色，但是其它实施例可使用大体上低频空间布置的同质色调(例如，背景投影表面与目标子屏幕之间的对比度是可检测的)。然而，当使用白色纯色场图案时，经捕获结构化光图案的信噪比(SNR)会相对极大地提高。选择捕获摄像机的数字摄像机曝光参数也会通过减少例如亮度饱和的不希望的效应来增加背景投影表面与目标子屏幕之间的对比度。

图9是根据实例实施例的用于处理结构化及纯色场图案的过程的流程图。举例来说，过程流程900是操作610的结构化光及纯色场图案处理的概要。在操作910中，投影结构化光图案图像。在操作912中，响应于结构化光图案图像创建经投影(例如，待投影)投影仪点向量。在操作920中，由摄像机捕获经投影结构化光图案图像，摄像机作为响应而产生经捕获结构化光图案图像。在操作930中，单通CCA过程检测经捕获结构化光图案图像的质心。在操作940中，执行索引匹配以识别占据单个象限的质心对中的每一对。在操作950中，响应于经捕获结构化光图案图像的所识别的质心对而创建九个摄像机点向量。在操作960中，投影纯色场(例如，白色)图案图像(例如，照明投影经捕获(例如，结构化光图案)图像所遍及的同一背景)。在操作970中，由摄像机捕获被拒绝的纯色场图案图像，摄像机产生经捕获纯色场图案图像。终止过程流程900，使得处理在操作620中继续，如下文所描述。

如上文所介绍，结构化光图案处理的一个功能是建立摄像机-投影仪点对应，使得可数值计算摄像机与投影仪图像平面之间的平面单应性。因为所描述的单应性变换操作采取平面透视变换，所以所描述的算法假定背景投影表面或屏幕及目标子屏幕是平面及光滑表面。(其它实施例可根据各种缩放及扭曲操作而使用非平面透视变换。)

为了降低所包含的数值计算中的误差程度，将供包含为用于建立摄像机与投影仪图像平面之间的对应的向量的结构化光图案中的外部点(例如，在子屏幕外部)投影到背景投影表面上(例如，不投影到目标表面或子屏幕上)。将外部点投影到背景投影表面上，这是因为所描述的单应性变换采取共面采样点。非共面采样点(例如，摄像机-投影仪对应)在计算中会引入误差，其被传播到算法中的后续块(例如，导致越来越不准确的结果)。

图10是具有非共面采样点(例如，质心)的经捕获结构化光图案的图解。子屏幕1010相对于背景1000升高，如由子屏幕1010投射在背景1000上的阴影1012所表明。中心点(其相对于背景1000投影在子屏幕1010上)与外部点不共面，且不用于单应性矩阵计算。

再次参考图6描述操作620。在操作620中，响应于九点投影仪点向量的每一选定点与九点摄像机点向量中的对应选定点之间的关联而确定单应性。所确定的单应性被表示为矩阵方程式的形式，其用于描述摄像机图像平面与投影仪图像平面(例如，两个不同透视平面)之间的几何关系。单应性矩阵是单应性变换的主要分量，其允许两个图像平面之间的透视变换。因此，两个不同透视平面中的两个点通过单应性而相关。

在摄像机-投影仪***的情况下，投影仪透视平面中的点与其在摄像机透视平面中的对应点相关，如下：

其中是投影仪平面中的缩放点，是摄像机平面中的点，且H是描述两个平面之间的相关性的单应性矩阵。方程式1也可被表达如下：

单应性矩阵是正方形3×3矩阵，具有分量p₁到p₉，其中w是比例因子。投影仪点(xw，yw，w)被表示为齐次坐标。针对单个摄像机点(X，Y，1)，对应投影仪点为：

xw＝p₁X+p₂Y+p₃ (方程式3)

w＝p₄X+p₅Y+p₆ (方程式4)

w＝p₇X+p₈Y+p₉ (方程式5)

假定以下恒等式：

比例因子w从方程式“取消”，且投影仪点可被表达为2-D投影图像平面中的点：

方程式9及方程式10针对单应性矩阵分量是已知的一对点是有效的。当摄像机图像平面具有N个点，且投影仪平面具有对应N个点时，可如下确定单应性矩阵：

1.考虑点对i，并因此重新排列方程式9及方程式10中的项：

p₁X_i+p₂Y_i+p₃-p₇X_ix_i+p₈Y_ix_i+p₉x_i＝0 (方程式11)

p₄X_i+p₅Y_i+p₆-p₇X_iy_i+p₈Y_iy_i+p₉y_i＝0 (方程式12)

2.针对两个平面之间的总共N个点对应，方程式11及方程式12可被表达为矩阵形式：

3.方程式13中所呈现的***是线性方程式的齐次***。当N≥5时，方程式13是超定的：

其中

4.为了取得方程式13中的线性方程式***的非平凡解，根据下式确定矩阵A的奇异值分解(SVD)：

使得

因为U是正交的(U^TU＝UU^T＝I且U^T＝U^-1)：

因此：

V^T也是正交的，其提供以下恒等式：

且且

考虑到先前定义的恒等式，应用方程式13及方程式14以确定：

最小化

其中在此情况下，矩阵D是包含以降序排列的条目的对角矩阵(例如，α₁>α₂>…>α_n)：

因为所以此问题可能的最小解可被表示为：

5.因此，此问题的解是V的最后一列或V^T的最后一行。且由于故已取得单应性矩阵：

再次参考图6描述操作630。在操作630中，检测子屏幕的界限。举例来说，操作630包含用于检测或识别目标屏幕的边界或边缘的算法。为了识别子屏幕界限，通过使用选定阈值自适应线跟踪算法跟踪结合结构化光图案元素的选定质心的(例如，解释)线来确定经捕获图片帧中的子屏幕边界。如上文所描述，摄像机捕获结构化光图案元素的质心被解释为跟踪线的端点。然而，从经捕获纯色场图案产生用于描绘子屏幕信息的信息。

用于检测或识别目标屏幕的边界或边缘的算法根据以下原理而操作：在两个结构化光图案元素的质心(例如，其中每一质心位于摄像机图像帧内的相对侧上)之间解释一条线(例如，虚线)。跟踪解释线，且计算像素值(明度、色调或饱和度)的改变。通过确定沿经捕获图片帧中的解释线的邻近像素位置的像素值的突然改变，确定了边界像素位置并将其存储在存储器中。至少两个相交点可界定单个子屏幕边界。因此，在结构化光图案图像中包含八个(每解释线两个)或更多个结构化光图案元素(加上用于对准目的的一个中心元素)以供投影。

图11是根据实例实施例的用于摄像机辅助平面单应性变换的经捕获结构化光图案图像中的解释线的图解。解释线结合经捕获结构化光图案图像1100的相对结构化光元素的质心对。相交点是像素值的突然改变，其是在点1121、1122、1123、1124、1125、1126、1127及1128处沿解释线发生(例如，每当解释线与子屏幕1120的边界相交时)。至少两个检测到的相交点用以适当地识别子屏幕的边缘(四边形轮廓的四个边缘中的一者)。

一般来说，当四个边中的每一者包含在由解释线的端点界定的四边形内，且四个边中的每一者也由检测到的相交点界定时，子屏幕是可检测的。举例来说，当四个边中的每一者小于通过结合外部结构化光图案元素而形成的四边形(外部四边形)且大于通过结合解释线的相交点而形成的四边形(内部四边形)时，子屏幕是可检测的。此外，(例如，整个)内部四边形放置在目标子屏幕内部，这有助于确保检测到子屏幕的四个边缘中的每一者。下文关于图12论述用于子屏幕定大小及放置的可用位置。

图12是根据实例实施例的用于子屏幕定大小及放置的可用位置的图解。图解1200包含外部四边形1220(其包含解释线的端点)、内部四边形(其由解释线的相交点界定)，及区域1212(外部四边形1220与内部四边形1210之间的区域)。因此，具有区域1212的目标子屏幕的边缘是可检测的，这限制了所描述的实施例中的子屏幕定大小。

如上文所论述，针对像素值(例如，明度、色调及饱和度)的改变来跟踪(例如，评估)每一解释线，且存储发生了像素值的突然改变的像素位置。可使用阈值自适应算法来计算像素值的改变，在阈值自适应算法中确定平均噪声水平(例如，基于特定像素值度量)。此类改变被识别为所确定的平均噪声水平的函数。阈值自适应算法有助于确保遍及广泛范围的环境光条件适当地识别屏幕边界。平均噪声水平可被定义为：

ΔV_n＝V_n+1-V_n (方程式25)

其中V_n是当前像素位置处的像素值，ΔV_n是第n像素值改变(明度、饱和度或色调的改变)，且N是当前线中分析的点的总数目。像素值度量的标准偏差根据方程式24被计算如下：

方程式24、25及26形成阈值自适应算法的基础。解释线中的每一线包含响应于局部条件(例如，其中屏幕的一侧可能比另一侧更多地被照明)而确定的(例如，唯一)“(μ，σ)”度量。可响应于(μ，σ)度量而确定动态阈值：

Th＝Kσ (方程式27)

图13是根据实例实施例的在解释线中动态阈值处理的邻近像素增量值的图解。举例来说，图解1300，abs(ΔV_n)>Th被认为具有值的突然改变且因此被认为是沿屏幕边缘的点的候选者的像素。

ΔV_n在阈值区域之外(例如，由Kσ定义)的像素(例如，1302)的位置被认为是解释线与子屏幕的边缘之间的相交点。虽然结构化光图案处理有助于界定解释线的位置及定向，但是纯色白色场图案提供在跟踪位于解释线内的像素的ΔV_n时使用的实际像素值信息。投影“全开”(例如，无色)白色纯色场会增加背景投影表面与目标子屏幕边界之间的对比度，并增强屏幕边缘检测准确性。下文关于图14论述投影到目标子屏幕上的白色纯色场的实例。

图14是根据实例实施例的由经投影白色纯色场照明的目标子屏幕的经捕获图像。举例来说，图像1400包含由经投影白色纯色场1410照明的目标子屏幕1420。如上文所描述，两个或更多个相交点识别子屏幕边缘。因此，描述目标子屏幕边缘的线的方程式可由两个相交点定义：

b_e＝y_{int 1}-m_ex_{int 1} (方程式29)

y_e＝m_ex_e+b_e (方程式30)

其中m_e是选定子屏幕边缘的斜率，y_{int 2}是第二相交点y坐标，y_{int 1}是第一相交点y坐标，x_{int 2}是第二相交点x坐标，x_{int 1}是第一相交点x坐标，b_e是边缘的y截距，y_e是边缘的y坐标，且x_e是边缘的x坐标。

当跟踪解释线时，在解释线与同一子屏幕边缘之间可能会遇到多于一个相交点。因为定义了单个相交点，所以描述用于解决经捕获纯色场图案中的模糊度的三个实施例：在第一(例如，平均)实施例中，计算所有找到的相交点的平均值(例如，描述屏幕边缘的线穿过子屏幕边缘的中间)；在第二(例如，最外部)实施例中，选择最外部相交点，其中描述子屏幕边缘的线穿过子屏幕的外部界限；在第三(例如，最内部)实施例中，选择最内部相交点，其中描述子屏幕边缘的线穿过子屏幕的内部界限。

图15是根据实例实施例的经照明目标子屏幕的经捕获图像。举例来说，图像1500包含目标子屏幕1420，针对目标子屏幕1420确定了平均子屏幕界限1524、最外部子屏幕界限1524及最内部子屏幕界限1524(例如，根据平均实施例、最外部实施例及最内部实施例中的选定一者处理针对所确定的界限的四个子屏幕边缘中的每一者。)因此，当在解释线与子屏幕边缘之间检测到多于一个相交点时，只能处理一个点。取决于选定实施例(平均、最外部或最内部)，用于投影到子屏幕中的图像被变换(下文所描述)并拟合到内部或外部界限或其间的点。

关于矩形屏幕的边界识别来描述针对子屏幕边界检测的所描述的过程，但是屏幕的其它几何形状是可能的。如本文中所描述，当可从背景表面辨别子屏幕时(例如，在投影外部结构化光元素的情况下)，可检测任意子屏幕边界的检测。因此，如果可从背景辨别相应边界，那么可检测不与背景屏幕位于同一屏幕中的子屏幕—及从背景屏幕突出的子屏幕。

尽管检测到的相交点提供目标子屏幕边缘的特性化(例如，由线方程式所表示)，但是二维校正引擎的四拐角模型接受相关输入作为经校正图像将被投影的四边形(例如，子屏幕)的“拐角”。因此，由解释线界定的相交点特性化现有子屏幕边缘。当未检测到屏幕(例如，没有找到两条解释线与子屏幕边缘之间的相交点)时，仍然可确定丢失边界边缘。可通过将丢失边缘特性化为原始经投影图像的相应边缘来确定丢失边缘，使得可计算四个相交点(四边形的拐角)。因此，用于子屏幕边界检测的所描述的过程尽可能准确地实现对不完整屏幕(丢失边缘)的拟合。

图16是根据实例实施例的在摄像机透视平面中确定四个拐角所针对的经照明目标子屏幕的经捕获图像。举例来说，针对子屏幕1420的四个子屏幕边缘(1612、1614、1616及1618)中的每一者的四个线方程式中的每一者的相交点界定子屏幕1620的四个(右上1622、左上1624、左下1626及右下1628)拐角。四个(右上1622、左上1624、左下1626及右下1628)点指示摄像机透视平面中的目标子屏幕的四个(例如，所确定的)拐角。

再次参考图6描述操作640。在操作640中，根据平面单应性变换子屏幕的所识别的界限(例如，所确定的拐角)。如以下方程式中所描述，将所确定的拐角(包含不完整子屏幕的拐角)从摄像机透视平面变换为经投影透视平面。摄像机透视平面中目标子屏幕的四个拐角是：

左上→(tl_x,tl_y) (方程式31)

右上→(tr_x,tr_y) (方程式32)

右下→(br_x,br_y) (方程式33)

左下→(bl_x,bl_y) (方程式34)

四个拐角可被表达为齐次坐标中的向量：

可使用方程式1及单应性矩阵取得投影仪透视平面中的对应子屏幕拐角：

根据方程式2到方程式8，缩放所得拐角。投影仪透视平面中所表示的最终拐角坐标是：

根据四拐角调整用户模型，将这些拐角(例如，变换为投影仪透视平面的子屏幕边缘的拐角)提供给二维校正引擎的输入。

图17是根据实例实施例的用于实施子屏幕坐标的摄像机辅助平面单应性变换的过程的流程图。

在操作1710中，将摄像机与投影仪介接。在实施例中，选定摄像机具有8位YUV 422标准的输出格式。选定摄像机以每秒30帧输出经捕获图像。在ASIC或外部处理器(或FPGA)内捕获及处理摄像机输出，所述ASIC或外部处理器(或FPGA)经布置用于捕获及处理从摄像机输出的图像(例如，帧)。当使用外部处理器时，ASIC与外部处理器之间的同步变为复杂情形，并增加了解决方案的成本。因此，将摄像机直接介接到ASIC会提供具成本效益且不太复杂的解决方案。ASIC具有用于接受30位数据的输入端口(例如，10位A、B、C信道)。此外，选定ASIC经设计以在ABC信道上处理RGB444或YUV422数据。摄像机在单个信道上具有8位YUV422。

在所述实施例中，来自摄像机的8位输出介接到A、B及C信道中的选定一者。ASIC经配置以将来源数据视为在选定信道上输入的RGB数据。因此，源数据在没有修改的情况下行进通过ASIC(例如，这会增加数据速率容量并降低功耗)。帧数据存储在内部存储器(例如，低级高速缓存)中，以准备用于速度增加的帧速率转换。

在存储摄像机源图像帧数据之后，嵌入式软件处理含有帧信息的数据。举例来说，当摄像机输出耦合到A信道时，写入到存储器的数据以例如以下各者的模式被反复地写入：8位Y(来自信道A)、0(来自信道B)及0(来自信道C)、8位U(来自信道A)、0(来自信道B)及0(来自信道C)、8位Y(来自信道A)、0(来自信道B)及0(来自信道C)、8位V(来自信道A)、0(来自信道B)及0(来自信道C)。此类模式可被表示为流格式，例如：

{0xY1,0x00,0x00,0xU1,0x00,0x00,0xY2,0x00,0x00,0xV2,0x00,0x00,0xY3,0x00,0x00,0xU3,0x00,0x00,0xY4,0x00,0x00,0xV4,0x00,0x00}

嵌入式软件处理包含有用信息的字节。为了处理信号的明度部分，选择Y分量(通过跳过接下来的六个字节)。因此，来自摄像机的数据在不到1/60秒内传送到ASIC内部存储器。

在操作1720中，优化摄像机辅助屏幕拟合算法。将所描述的过程优化到嵌入式环境中包含图像数据管理及软件定制，以便在多级高速缓存环境中有效地执行。举例来说，通过将图像数据直接写入到内部ASIC存储器来管理图像数据，其中选定ASIC处理器可按顺序从内部存储器访问图像数据，以通过访问包含在ASIC存储器***中的低延迟L1/L2高速缓存来计算质心。根据下文中关于图8所描述的各种操作来定制软件。

图18是根据实例实施例的用于自动屏幕拟合的过程的流程图。在操作1810中，由投影仪投影包含高斯图案的帧。举例来说，高斯图案图像可为具有稀疏元素(例如，二维高斯图案或圆圈)的结构化光图案，以用于建立经投影及经捕获图像(例如，帧)之间的对应。在用于显示图案的操作与用于设置摄像机以捕获图像的操作之间最小化性能降级延迟。两种图案都被存储为徽标图像。每一图案显示在屏幕(例如，具有一或多个子屏幕的墙壁)上，且显示被冻结(例如，通过遍及许多帧循环而投影同一帧)。

在操作1820中，捕获如由摄像机所观看(例如，“看见”)的经显示高斯图案图像。举例来说：摄像机将经捕获图像数据传送到ASIC存储器以供处理。

在操作1830中，从投影仪显示同质图案(例如，纯色场)。举例来说，在用于显示图案的操作与用于设置摄像机以捕获图像的操作之间最小化性能降级延迟。两种图案都被存储为徽标图像。每一图案显示在墙壁上，且显示被冻结。

在操作1840中，捕获如由摄像机所观看的经显示同质图案图像。举例来说，摄像机将经捕获图像数据传送到ASIC存储器以供处理。

在操作1850，处理经捕获高斯图案及同质场图案图像以确定目标子屏幕的四个拐角。嵌入式软件将明度值与色度分离，并保存明度值以供进一步处理。嵌入式软件的代码是计算密集型的，其具有许多矩阵乘法运算。计算中的中间值存储在堆叠式DRAM中。在各种运算之间重复使用变量。按位移位运算用于快速整数乘法及除法运算。合并回路以初始化并降低计算的复杂性。用于计算投影仪图像平面中的子屏幕拐角的此类代码优化提供了足够的性能以向用户提供令人满意的用户体验(例如，在根据所描述的实施例安装投影仪所花费的时间)。

在操作1860中，将所确定的目标子屏幕拐角输入到拐角调整例程。当确定了所调整的图像的拐角(例如，在经投影透视平面中)时，其由用户输入拐角调整用户模型使用，且经投影图像被拟合到子屏幕。当由于投影仪的投影轴与屏幕不正交而发生梯形失真时，在经投影图像被拟合到目标子屏幕时隐含地校正梯形失真。

图19是根据实例实施例的IC 1900的高级框图。IC 1900含有微处理器1902及存储器1904，上文所描述的帧数据1906存储在存储器1904中。存储器1904可包含只读存储器(ROM)、随机存取存储器(RAM)、电可擦除可编程只读存储器(EEPROM)及闪存。IC 1900还包含图像处理及计算模块1908。图像处理及计算模块1908经设计以执行确定如本文中所描述的俯仰及偏航偏移角度的方法。IC 1900可为专用集成电路(ASIC)、片上***(SoC)电路及现场可编程门阵列(FPGA)。

在权利要求书的范围内，对所描述的实施例的修改是可能的，且其它实施例是可能的。

Claims (20)

1.一种方法，其包括：

经由至少一个投影仪将纯色场图案投影到屏幕上，其中所述屏幕包含用户定义子屏幕；

经由至少一个摄像机对所述经投影纯色场图案进行图像捕获作为经成像纯色图案；

针对所述至少一个摄像机的摄像机透视平面，基于所述经成像纯色图案的像素值的差确定所述子屏幕的第一拐角坐标；

确定与所述摄像机透视平面相关联且与所述至少一个投影仪的投影仪透视平面相关联的单应性矩阵；

针对所述投影仪透视平面，基于所述单应性矩阵将所述第一拐角坐标变换为所述子屏幕的第二拐角坐标；及

基于所述第二拐角坐标投影图像。

2.根据权利要求1所述的方法，其中投影所述纯色场图案包括：

投影所述纯色场图案以增加所述屏幕的背景投影表面与所述子屏幕的目标表面之间的对比度。

3.根据权利要求1所述的方法，其中对所述经投影纯色场图案进行图像捕获包括：

在曝光水平下进行图像捕获以避免所述经成像纯色图案的亮度饱和。

4.根据权利要求1所述的方法，其中所述至少一个摄像机包含第一摄像机，且其中确定所述第一拐角坐标包括：

经由所述至少一个投影仪将具有质心的结构化光图案投影到所述屏幕上；

经由第二摄像机对所述经投影结构化光图案进行图像捕获作为经成像结构化图案；及

沿所述经成像结构化图案的质心之间的路径，确定邻近像素的像素值之间的差超过阈值的像素位置。

5.根据权利要求3所述的方法，其中所述路径是线性的。

6.根据权利要求3所述的方法，其中所述像素值包含以下各者中的至少一者：明度、色调及饱和度值。

7.根据权利要求3所述的方法，其中所述路径是基于阈值自适应线跟踪。

8.根据权利要求7所述的方法，其中基于阈值自适应线跟踪来跟踪所述路径的边界。

9.根据权利要求1所述的方法，其中所述至少一个摄像机是第一摄像机，且其中确定所述单应性矩阵包括：

经由所述至少一个投影仪将具有质心的结构化光图案投影到所述屏幕上；

经由第二摄像机对所述经投影结构化光图案进行图像捕获作为经成像结构化图案；及

基于以下各者确定所述单应性矩阵：所述经投影结构化光图案的所述质心；及所述经成像结构化图案的质心。

10.根据权利要求9所述的方法，其中确定所述单应性矩阵包括：

将所述经投影结构化光图案的所述质心表达为所述投影仪透视平面上的缩放点；及

将所述经成像结构化图案的所述质心表达为所述摄像机透视平面上的缩放点。

11.根据权利要求9所述的方法，其中确定所述单应性矩阵包括：

通过一对一地为所述质心分配象限来几何匹配索引。

12.根据权利要求9所述的方法，其中确定所述单应性矩阵包括：

将所述经投影结构化光图案的所述质心与所述经成像结构化图案的所述质心配对。

13.根据权利要求1所述的方法，其中将所述第一拐角坐标变换为所述第二拐角坐标包括：

将所述第一拐角坐标表达为针对所述子屏幕中的一者的四个拐角的四个齐次坐标向量。

14.根据权利要求1所述的方法，其中将所述第一拐角坐标变换为所述第二拐角坐标包括：

使用处理器处理所述单应性矩阵；及

投影如由所述处理器所处理的所述纯色场图案。

15.一种方法，其包括：

经由一或多个摄像机对一或多个经投影纯色场图案进行图像捕获作为一或多个经成像纯色图案；

针对所述一或多个摄像机的一或多个摄像机透视平面，基于所述一或多个经成像纯色图案的像素值的差确定用户定义子屏幕的第一拐角坐标；

确定与所述一或多个摄像机透视平面相关联且与一或多个投影仪的一或多个投影仪透视平面相关联的单应性矩阵；

针对所述一或多个投影仪透视平面，基于所述单应性矩阵将所述第一拐角坐标变换为所述子屏幕的第二拐角坐标；及

基于所述第二拐角坐标投影图像。

16.根据权利要求15所述的方法，其中对所述一或多个经投影纯色场图案进行图像捕获包括：

在曝光水平下进行图像捕获以避免所述经成像纯色图案的亮度饱和。

17.根据权利要求15所述的方法，其中对所述一或多个经投影纯色场图案进行图像捕获包括：

经由所述一或多个投影仪将所述一或多个纯色场图案投影到屏幕上，其中所述屏幕包含所述用户定义子屏幕。

18.一种设备，其包括：

投影仪，其用以将纯色场图案投影到屏幕上，其中所述屏幕包含用户定义子屏幕；

摄像机，其用以对所述经投影纯色场图案进行图像捕获作为经成像纯色图案；及

处理器，其用以：针对所述摄像机的摄像机透视平面，基于所述经成像纯色图案的像素值的差确定所述子屏幕的第一拐角坐标；确定与所述摄像机透视平面相关联且与所述投影仪的投影仪透视平面相关联的单应性矩阵；及针对所述投影仪透视平面，基于所述单应性矩阵将所述第一拐角坐标变换为所述子屏幕的第二拐角坐标。

19.根据权利要求18所述的设备，其中所述投影仪用以基于所述第二拐角坐标投影图像。

20.根据权利要求18所述的设备，其进一步包括：用以启动所述第一拐角坐标的确定的用户致动按钮。