CN110111262B - 一种投影仪投影畸变校正方法、装置和投影仪 - Google Patents

一种投影仪投影畸变校正方法、装置和投影仪 Download PDF

Info

Publication number
CN110111262B
CN110111262B CN201910249736.5A CN201910249736A CN110111262B CN 110111262 B CN110111262 B CN 110111262B CN 201910249736 A CN201910249736 A CN 201910249736A CN 110111262 B CN110111262 B CN 110111262B
Authority
CN
China
Prior art keywords
projection
grid
plane
point
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910249736.5A
Other languages
English (en)
Other versions
CN110111262A (zh
Inventor
苏劲
蔡志博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bird Innovation Beijing Technology Co ltd
Original Assignee
Beijing Xiaoniao Tingting Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaoniao Tingting Technology Co Ltd filed Critical Beijing Xiaoniao Tingting Technology Co Ltd
Priority to CN201910249736.5A priority Critical patent/CN110111262B/zh
Publication of CN110111262A publication Critical patent/CN110111262A/zh
Application granted granted Critical
Publication of CN110111262B publication Critical patent/CN110111262B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种投影仪投影畸变校正方法、装置和投影仪。本发明的方法包括：利用光机镜头将标准网格图像投影在投影面上，并利用摄像头拍摄投影面获取投影点云图像；根据标准网格图像和投影点云图像之间的像素点对应关系和三维投影模型，获得投影面上网格点基于光机镜头坐标系的三维坐标；利用投影面上网格点的三维坐标，获得基准投影平面以及获得投影面上网格点在基准投影平面的投影点，并获得光栅像素面每个像素点对应的纹理采样坐标；利用纹理采样坐标对待投影图像进行纹理映射，将经过纹理映射的图像输出到所述光栅像素面进行投影。本发明的技术方案使得投影仪投影到非平整投影面的图像呈现出无畸变的效果。

Description

一种投影仪投影畸变校正方法、装置和投影仪
技术领域
本发明涉及一种投影仪投影畸变校正方法、装置和投影仪。
背景技术
随着短焦光机技术的成熟及成本的大幅下降，智能投影仪在家居中的应用日益增多。不为满足家居用户对高质量观看体验的要求，智能投影仪的分辨率，亮度及色彩方面的图像质量得到了迅速提升。然而在通常家居环境下，出于成本考虑，人们一般不会采用专用投影幕布作为投影面，而只是以普通家居墙面作为投影面。而对于投影面来说，这种墙面的质量通常是不理想的，存在着墙面不平整、反射系数偏低及反射无指向性等问题。反射系数偏低及无指向性可以简单通过增加投影仪照度及降低环境光亮度来解决，但墙面不平整引起的投影畸变却很难通过传统投影仪技术解决。这种肉眼不可见的墙面起伏现象会造成投影画面产生肉眼可见的畸变，这种畸变在投影高清或者大幅图像时尤其严重，很难为高端用户所接受，需要寻找一种全新的方法来解决这一问题。
当前市场上的投影仪没有对投影面不平整引起的画面畸变提供可行的解决方案。现行的方案是基于手机摄像头采集投影图像，由手机应用控制控制整个校正过程并通过与投影仪的交互完成整个预校正过程。这种解决方案存在着手机采集画面质量不高，用户拍摄环境不可控及操作繁琐等缺点，无法提供令人满意的用户体验。
发明内容
本发明提供了一种投影仪投影畸变校正方法、装置和投影仪，以至少部分解决上述问题。
第一方面，本发明提供了一种投影仪投影畸变校正方法，投影仪具有光机镜头和摄像头，该方法包括：利用所述光机镜头将光栅像素面的标准网格图像投影在投影面上，并利用所述摄像头拍摄所述投影面获取投影面上网格点的投影点云图像；根据所述标准网格图像和所述投影点云图像之间的像素点对应关系以及根据预先构建的三维投影模型，获得所述投影面上网格点基于所述光机镜头坐标系的三维坐标，其中所述三维投影模型基于所述投影仪的光机镜头坐标系和摄像头坐标系而构建，用于计算所述投影面上网格点基于所述光机镜头坐标系的三维坐标；利用所述投影面上网格点的三维坐标，获得基准投影平面，并利用所述基准投影平面构建世界坐标系，基于所述世界坐标系与所述光机镜头坐标系之间的转换关系，获得所述投影面上网格点在所述基准投影平面的投影点；根据所述投影点与所述光机镜头光栅像素面上网格点的对应关系，获得所述光栅像素面每个像素点对应的纹理采样坐标，所述纹理采样坐标用于校正所述光栅像素面每个像素点在所述投影面上的畸变位移；利用所述纹理采样坐标对待投影图像进行纹理映射，将经过纹理映射的图像输出到所述光栅像素面进行投影。
第二方面，本发明提供了一种投影仪投影畸变校正装置，投影仪具有光机镜头和摄像头，该装置包括：投影点云获取单元，利用所述光机镜头将光栅像素面的标准网格图像投影在投影面上，并利用所述摄像头拍摄所述投影面获取投影面上网格点的投影点云图像；投影点云坐标计算单元，根据所述标准网格图像和所述投影点云图像之间的像素点对应关系以及根据预先构建的三维投影模型，获得所述投影面上网格点基于所述光机镜头坐标系的三维坐标，其中所述三维投影模型基于所述投影仪的光机镜头坐标系和摄像头坐标系而构建，用于计算所述投影面上网格点基于所述光机镜头坐标系的三维坐标；基准投影平面构建单元，利用所述投影面上网格点的三维坐标，获得基准投影平面，并利用所述基准投影平面构建世界坐标系，基于所述世界坐标系与所述光机镜头坐标系之间的转换关系，获得所述投影面上网格点在所述基准投影平面的投影点；转换关系计算单元，根据所述投影点与所述光机镜头光栅像素面上网格点的对应关系，获得所述光栅像素面每个像素点对应的纹理采样坐标，所述纹理采样坐标用于校正所述光栅像素面每个像素点在所述投影面上的畸变位移；纹理映射单元，利用所述纹理采样坐标对待投影图像进行纹理映射，将经过纹理映射的图像输出到所述光栅像素面进行投影。
第三方面，本发明提供了一种投影仪，包括：将光栅像素面的标准网格图像投影在投影面上的光机镜头；拍摄投影面获取投影点云图像并发送给所述图形处理器的摄像头；存储计算机可执行指令的存储器，计算机可执行指令在被执行时使图形处理器执行前述的投影仪投影畸变校正方法。
第四方面，本发明提供了一种计算机可读存储介质，计算机可读存储介质上存储有一个或多个计算机程序，一个或多个计算机程序被投影仪的图形理器执行时实现前述的投影仪投影畸变校正方法。
本发明在投影仪内置摄像头，使得投影仪具备了立体视觉能力，利用投影仪的光机镜头和摄像头可以实现对投影环境的主动三维建模，建立三维投影模型，基于三维投影模型投影仪即可利用计算机视觉方法自动化地获得投影面的分布情况而无需借助外部设备、仪器，通过投影面的分布情况计算光栅像素面每个像素点在实际投影面的精确畸变位移，利用纹理映射技术实现对光栅图像的校正从而消除投影面的画面畸变。
附图说明
图1为本发明实施例示出的投影仪投影畸变校正方法的流程图；
图2为本发明实施例示出的投影仪的光学***示意图；
图3为本发明实施例示出的小孔成像原理图；
图4为本发明实施例示出的投影点云图像生成过程示意图；
图5为本发明实施例示出的三维投影模型示意图；
图6为本发明实施例示出的基准投影平面拟合过程示意图；
图7为本发明实施例示出的世界坐标系、光机镜头坐标系、光栅像素面与基准投影平面之间的关系示意图；
图8为本发明实施例示出的投影面网格点在基准投影平面上的正交投影示意图；
图9为本发明实施例示出的基准投影平面上扩展投影点的示意图；
图10为本发明实施例示出的投影仪投影畸变校正装置的结构框图；
图11为本发明实施例示出的投影仪的结构示意图。
具体实施方式
本发明实施例提供一种投影仪投影畸变校正方法，利用计算机视觉的各种方法获得投影面的表面分布参数，以此分布参数为依据计算预校正目标图片网格纹理布局，通过GPU实现对输入图像的纹理映射校正，从而获得预畸变投影图像，使得最终投影到非平整投影面的图像呈现出无畸变效果。本发明实施例还提供了相应的装置、投影仪和计算机可读存储介质，以下分别进行详细说明。
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思，除非上下文另外明确指出。此外，在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。
因此，本发明的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本发明的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行***使用或者结合指令执行***使用。在本发明的上下文中，计算机可读存储介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，计算机可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体***、装置、器件或传播介质。计算机可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。
本发明提供一种投影仪投影畸变校正方法。
图1为本发明实施例示出的投影仪投影畸变校正方法的流程图，如图1所示，本实施例的方法包括：
S110，利用光机镜头将光栅像素面的标准网格图像投影在投影面上，并利用摄像头拍摄投影面获取投影面上网格点的投影点云图像。
本实施例中的光机可以理解为投影设备里的投影模块，通常情况下，光机就是把数字微镜器件显示核心、光源、镜头光路、散热全部集中在一个机构里，做成一个整体部件，以防尘、防震。
S120，根据标准网格图像和投影点云图像之间的像素点对应关系以及根据预先构建的三维投影模型，获得投影面上网格点基于光机镜头坐标系的三维坐标，其中三维投影模型基于投影仪的光机镜头坐标系和摄像头坐标系而构建，用于计算投影面上网格点基于光机镜头坐标系的三维坐标。
S130，利用投影面上网格点的三维坐标，获得基准投影平面，并利用基准投影平面构建世界坐标系，基于世界坐标系与光机镜头坐标系之间的转换关系，获得投影面上网格点在基准投影平面的投影点。
S140，根据投影点与光机镜头光栅像素面上网格点的对应关系，获得光栅像素面每个像素点对应的纹理采样坐标，纹理采样坐标用于校正光栅像素面每个像素点在投影面上的畸变位移。
S150，利用纹理采样坐标对待投影图像进行纹理映射，将经过纹理映射的图像输出到光栅像素面进行投影。
本实施例在投影仪内置摄像头，使得投影仪具备了立体视觉能力，利用投影仪的光机镜头和摄像头可以实现对投影环境的主动三维建模，建立三维投影模型，基于三维投影模型投影仪即可利用计算机视觉方法自动化地获得投影面的分布情况而无需借助外部设备、仪器，通过投影面的分布情况计算光栅像素面每个像素点在实际投影面的精确畸变位移，利用纹理映射技术实现对光栅图像的校正从而消除投影面的画面畸变。
为提升投影仪投影畸变校正的精度，本实施例预先对投影仪进行标定，获得投影仪的畸变参数，该畸变参数包括光机镜头和摄像头的内参数和外参数。对投影仪的标定过程如下：
如图2所示，投影仪的光机镜头和摄像头之间存在一定距离，这样同一世界坐标点在光机光栅像素面和传感器像素面上就会存在视差，例如图2中投影区域中的点A在光机光栅像素面上对应于像素位置a1，在传感器像素面上对应于像素位置a2，由此满足了双目立体视觉的形成条件，由于可以基于投影仪的光机镜头坐标系和摄像头坐标系构建三维投影模型。
光机镜头可以看作是一个逆向的摄像头，可以建立与摄像头类似的小孔成像模型，由此光机镜头的校正原理与摄像头的校正原理相似，本实施例以获得摄像头的畸变参数为例进行描述。
如图3所示，小孔成像模型的公式为：sm′＝A[R|t]M′，其中，s为归一化尺度因子；A为摄像头的内参数矩阵；[R|t]为外参数矩阵，用于将像点P的坐标从世界坐标系中转换到摄像头坐标系中，R为旋转矩阵，t为平移向量；m′为在摄像头坐标系中的坐标位置，M′为在世界坐标系中的坐标位置；在图3所示的小孔成像光路中，物点Fc的坐标cx与cy在uv平面对应的平面坐标为(u，v)，u＝fx·x′+cx，v＝fy·y′+cy，x′＝x/z，y′＝y/z，fx,fy分别为摄像头焦距坐标，cx,cy分别为物点Fc的X轴与Y轴坐标，x,y分别为像点P的坐标，x′,y′分别为相对P点纵轴坐标的归一化坐标。图3示出的物点Fc的坐标系相当于本实施例摄像头坐标系，uv平面坐标系相当于本实施例摄像头传感器像素面坐标系。因此，在获得世界坐标系与摄像头坐标系之间的转换关系后，可以根据u＝fx·x′+cx，v＝fy·y′+cy获得世界坐标系与传感器像素面坐标系之间的对应关系。
对于摄像头内参数矩阵，可以通过标定板及结构光投影获得投影仪摄像头的内参数，内参数包括焦距，径向畸变参数、切向畸变参数及主点坐标(即传感器图像的中心点)。此时，摄像头坐标系与传感器像素面坐标系之间的对应关系为：u＝fx*x″+cx，v＝fy*y″+cy，其中，
Figure GDA0002938941640000061
Figure GDA0002938941640000071
k1,k2,k3,k4,k5,k6分别为摄像头的径向畸变参数，p1,p2分别为摄像头的切向畸变参数，s1,s2,s3,s4分别为摄像头的薄棱镜畸变参数。
本实施例中，还需要获得光机镜头与摄像头之间的平移向量和旋转矩阵。具体的，在内参数标定过程，可以得到世界坐标系到光机镜头坐标系旋转矩阵Rp和平移向量tp，世界坐标系到摄像头坐标系的旋转矩阵Rc和平移向量tc，根据小孔成像模型可得：
Figure GDA0002938941640000072
(X,Y,Z)为世界坐标系的三维点坐标，(Xp,Yp,Zp)与(Xc,Yc,Zc)分别对应光机镜头坐标系与摄像头坐标系的三维点坐标，联立上述两个公式可以得到光机镜头和摄像头相对位置关系：
Figure GDA0002938941640000073
这样既可获得投影仪双目视觉的外参数，实现摄像头坐标系到光机镜头坐标系的坐标转换。
在投影仪出厂前，通过上述投影仪标定方法，获得光机镜头及摄像头的内参数及外参数。在一些实施例中，标定采用的投影仪光栅分辨率为1920x1080，通过重投影获得网格点在光栅面的虚拟成像，计算标定残差。一些实施例中内参数标定残差为0.2137像素，外参数标定残差为0.4324像素。将标定得到的内、外参数下载到投影仪中，以供在后面的畸变校正流程中加以利用。
在投影仪应用当中，包含投影面畸变校正流程的用户界面，在选择并进入该流程的用户界面后，投影仪会提示进入畸变校正流程，此时要求将投影仪对准需校正的投影面并保持投影仪位置恒定，进入自动化校正流程。下面结合图4-9对上述步骤S110-S150进行详细说明。
首先，执行步骤S110，即利用光机镜头将光栅像素面的标准网格图像投影在投影面上，并利用摄像头拍摄投影面获取投影面上网格点的投影点云图像。
通常情况下投影面点云的密度越高，对投影面测量的精度就会越高，但由于受到镜头畸变引起的圆斑散射、采集噪声及背景光等因素的影响，如果网格密度过高，就会影响网格搜索的速度，甚至无法搜索到网格点。本实施例引入错位网格生成及投影的方法，能够在不影响网格点搜索效率的情况下，提升网格点密度，从而提升投影面点云测量精度。
在一些实施例中，通过下述方法获得投影面点云图像：利用光机镜头将光栅像素面的第一标准网格图像投影在投影面上，并利用摄像头拍摄投影面获取第一投影点云图像；利用光机镜头将光栅像素面的第二标准网格图像投影在投影面上，并利用摄像头拍摄所述投影面获取第二投影点云图像，第一标准网格图像与第二标准网格图像中的圆斑相互错开；分别识别第一投影点云图像和第二投影点云图像中的圆斑网格，获得第一投影点云图像和第二投影点云图像中每个圆斑在光栅像素面的像素位置；通过叠加第一投影点云图像和第二投影点云图像，获得投影点云图像，第一投影点云图像和第二投影点云图像中每个圆斑在光栅像素面的像素位置即为投影点云图像上相应圆斑的像素位置。
如图4所示，投影仪的应用程序生成两个非对称圆斑网格图片，两个图片的圆斑相互错位，彼此间隔一个网格距离。这两个图片被光机镜头先后投影到投影面，然后通过投影仪的摄像头采集投影画面，在采集到的点云图像中寻找网格圆斑并记录其像素坐标，然后将两幅点云图像上错位网格圆斑的坐标进行合并，得到网格密度为两个点云图像圆斑密度之和的投影点云图像的圆斑圆心坐标。
在获得投影面上网格点的投影点云图像之后，继续执行步骤S120，即根据标准网格图像和投影点云图像之间的像素点对应关系以及根据预先构建的三维投影模型，获得投影面上网格点基于光机镜头坐标系的三维坐标，其中三维投影模型基于所述投影仪的光机镜头坐标系和摄像头坐标系而构建，用于计算投影面上网格点基于光机镜头坐标系的三维坐标。
在基于投影面网格点获得投影面的分布情况之前，利用已获得畸变参数对光栅像素面和传感器像素面上的图像进行校正，得到校正后的CCD图像的网格点坐标(uc,vc)和光机图像中的网格点坐标(up,vp)；其中畸变参数的获得过程参见上文描述。
在一些实施例中，通过下述方法构建三维投影模型：首先根据所述摄像头光路光心与其在所述摄像头传感器像素面上的第一校正点，建立第一线性关系；接着根据所述光机镜头光路光心与其在所述光机镜头光栅像素面上的第二校正点，建立第二线性关系；然后根据所述摄像头与所述光机镜头之间的外部参数矩阵，建立所述第一校正点与所述第二校正点的第三线性关系；最后根据第一线性关系、第二线性关系和第三线性关系，获得投影面上网格点基于光机镜头坐标系的三维坐标。
本实施例的三维投影模型采用三角形方法计算投影面上网格点的三维坐标。如图5所示，可以获得投影面上任一网格点在传感器像素面上和光栅像素面上的映射点，而标准网格图像和投影点云图像之间的像素点对应关系是确定的，进而可以重构出投影面网格点的三维坐标。即由于投影面点云图像是由光机镜头将标准网格图像进行投影，并由摄像头进行采集而获得的，因此，可以基于图5所示的三维投影模型重构出投影面每个网格点的三维坐标。
一个示例，图5中的ucvc平面坐标系对应为传感器像素面所在坐标系，upvp平面坐标系对应为光栅像素面所在坐标系，那么根据前面描述的公式u＝fx*x″+cx与v＝fy·y′+cy可以获得摄像头光路光心Oc在传感器像素面所在坐标系的坐标为qc，光机镜头光路光心Op在光栅像素面所在坐标系的坐标为qp，由此根据本实施例构建的三维投影模型，可以计算出投影面相应网格点Qw在光机镜头坐标系中的三维坐标。
假设投影面某个网格点的坐标为(Xp,Yp,Zp)，那么可以得到
Figure GDA0002938941640000091
与
Figure GDA0002938941640000092
sp与sc分别为摄像头和光机镜头的尺度因子，(uc,vc)与(up,vp)分别为空间三维点在传感器像素面和光栅像素面上投影点的二维坐标，Ac与Ap分别摄像头与光机镜头的内参数矩阵，为[R|t]为投影仪的外参数矩阵。
再根据摄像头光路光心Oc与摄像头传感器像素面上第一像素点(up,vp)建立的第一线性关系和光机镜头光路光心Op与光机镜头光栅像素面上第二像素点(up,vp)的建立第二线性关系，即可计算得到(Xp,Yp,Zp)。
在获得投影面上网格点基于光机镜头坐标系的三维坐标之后，继续执行步骤S130，即利用投影面上网格点的三维坐标，获得基准投影平面，并利用基准投影平面构建世界坐标系，基于世界坐标系与所述光机镜头坐标系之间的转换关系，获得投影面上网格点在基准投影平面的投影点。
在一些实施例中，根据投影面上网格点的三维坐标对投影面上网格点进行空间滤除，滤除网格点中的无效网格点，获得有效网格点；利用最小二乘法对有效网格点进行平面拟合，确定拟合所得到的平面为基准投影平面；其中，所述有效网格点为所述投影面上网格点中大致位于同一平面上的网格点，所述无效网格点为所述投影面上网格点中大远离所述平面上的网格点。
如图6所示，投影面上所有网格点组成的三维点云可能并不处于同一平面上，这些网格点中可能包括空间噪声点、非连续点以及离面点，在重建投影基准面前，需要滤除这些无效网格点，形成平滑的投影面点云，对滤波后的平滑的投影面点云进行平面拟合获得所述基准投影平面。
在一些实施例中，可以先利用低通滤波方式滤除无效网格点中的空间噪声点和非连续点，然后再通过下述方法滤除无效网格中的离面点，获得有效网格点：
步骤A：在所述网格点中随机选取三个不共线网格点，获得三个不共线网格点确定的子平面a′0x+a′1y+a′2z＝d，其中a′0,a′1,a′2,d均为常数；
步骤B：计算投影面上每个网格点与第i个子平面的距离di＝a′0xi+a′1yi+a′2zi，剔除与子平面距离大于预设距离值的异常网格点，获得参考网格点的个数，参考网格点为与子平面的距离不大于预设距离值的网格点；示例性的，预设距离值t＝2σ，σ为所有网格点到当前子平面距离的标准偏差，当di＞2σ时确定该网格点为异常点被剔除，反之di≤2σ，确定该网格点为参考网格点被保留。
重复执行步骤A与步骤B，迭代N次后，确定N次迭代后所得到的N个子平面中具有最多参考网格点个数的参考子平面，参考子平面的参考网格点即为有效网格点。
参考图6，图6中的左侧为过滤前的投影面点云图，可以看出有些点处于离面位置，图6中的右侧为用于进行点云平面拟合的点云，可以看出那些离面的点已经被滤除，剩余的点大致处于拟合平面上。
在获得有效网格点后，可以利用有效网格点的三维坐标确定基准投影平面的平面方程为a0x+a1y+a2＝z，该平面的单位法向量
Figure GDA0002938941640000111
其中a0,a1,a2均为常数，Nbp为基准投影平面的法向量，norm()为向量范数运算符。
在获得基准投影平面及其姿态信息之后，可以确定本实施例的世界坐标系。
在一些实施例中，世界坐标系的XOY面与基准投影平面重合，其X轴与光机镜头坐标系的XOY面平行，Z轴方向垂直于基准投影平面。由于已知基准投影平面的法线向量，可以通过下面公式计算世界坐标系的三个坐标轴在光机镜头坐标系中的向量表示：Vxw＝Nbp×Vyc，Vyw＝Vyc，Vzw＝Nbp，其中，Vyc＝[0,1,0]，Vxw、Vyw与Vzw分别是世界坐标系三个坐标轴的向量表示，Vyc为光机镜头坐标系Y轴的向量表示，世界坐标系的原点Ow＝[X0-a0t,Y0-a1t,Z0+t]，
Figure GDA0002938941640000112
(Xck,Yck,Zck)为第k个子平面的重心坐标，[X0,Y0,Z0]为N个子平面的平均重心点，t为常量。
如图7所示，世界坐标系的XOY平面与基准投影平面重合，世界坐标系的Y轴向量与光机镜头坐标系的Y轴向量的方向相同，世界坐标系的Z轴向量与基准投影平面法线向量的方向相同，世界坐标系原点为N个子平面的平均重心点在基准投影平面上的投影点。
在构建世界坐标系之后，既可以确定光机镜头坐标系与世界坐标系的平移向量T＝Ow和旋转矩阵R＝(Vxw,Vyw,Vzw)T，既可以获得世界坐标系与光机镜头坐标系之间的转换关系为T＝Ow，R＝(Vxw,Vyw,Vzw)T。
在一些实施例中，通过下述方法获得投影面上网格点在基准投影平面的投影点：根据世界坐标系与光机镜头坐标系之间的转换关系T＝Ow，R＝(Vxw,Vyw,Vzw)T，将光机镜头坐标系下的投影面上网格点坐标转换为世界坐标系下的投影面上网格点坐标
Figure GDA0002938941640000121
(Xw,Yw,Zw)与(Xc,Yc,Zc)分别为网格点在世界坐标系和光机镜头坐标系中的坐标；将转换为世界坐标系下的投影面上网格点正交投影到基准投影平面，获得投影面上网格点在基准投影平面的投影点。
如图8所示，将所有映射到世界坐标系的三维网格点正交投影到世界坐标系的XOY平面上也即基准投影平面上，网格点投影在投影基准平面上的二维坐标等同于取网格点三维坐标的Xw和Yw。假定观看者正对投影基准平面，通过上述计算过程中投影到基准投影平面上的二维图像还原了观看者看到的由投影面不平整所引起的畸变图像分布情况，由此投影仪自动地得到了投影面的分布情况。
在获得投影面上网格点在基准投影平面的投影点之后，继续执行步骤S140，即根据投影点与光机镜头光栅像素面上网格点的对应关系，获得光栅像素面每个像素点对应的纹理采样坐标，纹理采样坐标用于校正光栅像素面每个像素点在投影面上的畸变位移。
在完成三维网格点向基准投影平面的正交投影后，选择有效投影点对应的正交投影点，与光栅像素面中相对应的网格点配对，计算两个平面坐标系之间的单应映射矩阵。然后利用计算得到的单应映射矩阵，如图8所示，将基准投影平面上二维网格点坐标映射到光栅像素面的像素坐标，从而获得光栅像素面的网格点在投影面的畸变坐标映射到光栅像素面的像素位置。
可以理解为：如果将光栅像素面上的原始像素位置的像素替换为畸变画面在该像素位置上的实际像素值，则基准投影平面上相应的投影位置的像素值与处于光栅像素面上同样位置的像素值是一致的，从而实现无畸变投影。
在一些实施例中，通过下述方法获得单应映射矩阵并获得光栅像素面每个像素点对应的纹理采样坐标：根据光机镜头光栅像素面上与有效投影点簇匹配的光栅像素面网格点簇，获得光机镜头光栅像素面与基准投影平面之间的第一单应映射矩阵，其中有效投影点为有效网格点在基准投影平面上的投影点；利用第一单应映射矩阵将投影点坐标映射到光栅像素面坐标，获得标准网格图像在投影面的畸变坐标映射到光栅像素面的纹理采样坐标。即将投影面上全部网格点在基准投影平面上的投影点二维坐标通过第一单应映射矩阵映射为光栅像素面上的反投影光栅坐标，该反投影光栅坐标即为纹理采样坐标。
由于进行投影及搜索的网格圆斑必须保持完整，参考图4示出的投影点云图像，该投影点云图像边角区域是不存在网格圆斑，即投影点云图像边角区域在网格圆斑的覆盖范围之外，因此在获得光栅像素面网格点簇后，还需进一步将投影基准平面上的投影点向边角扩展，以使得扩展投影点对应光栅像素面上边角区域的网格点，将畸变校正范围扩展至整个投影区域。如图9所示，将投影基准平面的已知网格点，以垂直或水平方向向图像边缘方向扩展，形成上、下、左、右四组边缘扩展投影点行与列，保存每个扩展投影点与光栅像素图中相对应的网格点的像素坐标，形成如图9所示的包含边角扩展投影点的完整投影点图像。
在一些实施例中，具体是通过下述方法获得扩展投影点并基于扩展投影点计算位于边角区域的光栅像素面网格点簇对应的单应映射矩阵，依据该单应映射矩阵获得光栅像素面边角区域每个像素点对应的纹理采样坐标：首先根据所述光栅像素面的边角区域，将所述基准投影平面上的投影点向所述边角区域所在方向扩展，获得四组位于所述基准投影平面边缘的扩展投影点以及与所述扩展投影点匹配的所述光栅像素面上的网格点；然后利用预设尺寸的搜索框搜索按照设定搜索步长对扩展点进行搜索，利用每个搜索步长下位于搜索框内的与所述有效投影点簇匹配的光栅像素面网格点簇，获得所述光机镜头光栅像素面与所述基准投影平面之间的第二单应映射矩阵；最后利用所述第二单应映射矩阵将所述扩展投影点坐标映射到所述光栅像素面坐标，获得所述标准网格图像边缘点在所述投影面的畸变坐标映射到所述光栅像素面的纹理采样坐标。
如图9所示，搜索框3×3个像素大小，搜索步长为3个像素距离，每个搜索步长下位于搜索框内的投影点个数为9个，其中位于边角处的搜索框内的投影点中包括5个扩展投影点，4个已知相邻投影点；而位于边缘处的搜索框内的投影点中包括3个扩展投影点，6个已知相邻投影点。如图9所示，搜索框内十字投影点为已知相邻投影点。计算这些相邻网格点的在光栅像素面与基准投影平面之间的第二单应映射矩阵，利用计算得到的第二单应映射矩阵将扩展投影点对应的光栅像素面的二维坐标记为光栅像素面边角区域的网格点的纹理采样坐标；光栅像素面边角区域的网格点的纹理采样坐标与光栅像素面上已知网格点纹理采样坐标形成覆盖整个光栅图像区域的网格点及映射坐标簇，完成坐标映射。
在获得光栅像素面每个像素点对应的纹理采样坐标之后，继续执行步骤S150，即利用纹理采样坐标对待投影图像进行纹理映射，将经过纹理映射的图像输出到光栅像素面进行投影。
坐标映射计算完成后，记录光栅像素面每个网格点的像素坐标及对应的纹理采样坐标，保留到投影仪的非易失存储器中，完成当前投影环境的畸变校正测量流程。
投影图像的实时畸变校正是通过GPU进行加速的，示例性的，GPU渲染管道建立网格，即从上到下，从左到右扫描光栅像素面中所有网格点，将网格点以三个为一组顶点形成一个三角形，各三角形依次串联覆盖完整的光栅像素面，为每个顶点属性包括顶点的自身坐标及计算得到的该网格顶点对应的源图像纹理坐标。在运行过程中，渲染管道通过双线性插值计算顶点三角形内部像素的纹理坐标，GPU渲染管道的采样器基于映射坐标簇从原始图片中的相应坐标位置提取像素值，作为该顶点位置的输出像素值，经过纹理映射的图像输出到投影仪的光栅像素面中，经过投影完成整个畸变预校正过程。
由此本实施例不借助外部仪器、设备，由投影仪自动化完成对投影面的分布估计，并依此对光栅图像进畸变校正，使得实际投影到非平整投影面的画面不会出现画面畸变的情况。本实施例适用于对光滑表面空间分布情况进行测量存在需求的任何应用场景。
本发明还提供一种投影仪投影畸变校正装置。
图10为本发明实施例示出的投影仪投影畸变校正装置的结构框图，如图10所示，本实施的装置包括：
投影点云获取单元，利用所述光机镜头将光栅像素面的标准网格图像投影在投影面上，并利用所述摄像头拍摄所述投影面获取投影面上网格点的投影点云图像；
投影点云坐标计算单元，根据所述标准网格图像和所述投影点云图像之间的像素点对应关系以及根据预先构建的三维投影模型，获得所述投影面上网格点基于所述光机镜头坐标系的三维坐标，其中所述三维投影模型基于所述投影仪的光机镜头坐标系和摄像头坐标系而构建，用于计算所述投影面上网格点基于所述光机镜头坐标系的三维坐标；
基准投影平面构建单元，利用所述投影面上网格点的三维坐标，获得基准投影平面，并利用所述基准投影平面构建世界坐标系，基于所述世界坐标系与所述光机镜头坐标系之间的转换关系，获得所述投影面上网格点在所述基准投影平面的投影点；
转换关系计算单元，根据所述投影点与所述光机镜头光栅像素面上网格点的对应关系，获得所述光栅像素面每个像素点对应的纹理采样坐标，所述纹理采样坐标用于校正所述光栅像素面每个像素点在所述投影面上的畸变位移；
纹理映射单元，利用所述纹理采样坐标对待投影图像进行纹理映射，将经过纹理映射的图像输出到所述光栅像素面进行投影。
在一些实施例中，图10中的装置还包括预处理单元，根据所述摄像头光路光心与其在所述摄像头传感器像素面上的第一校正点，建立第一线性关系；根据所述光机镜头光路光心与其在所述光栅像素面上的第二校正点，建立第二线性关系；根据所述摄像头与所述光机镜头之间的外部参数矩阵，建立所述第一校正点与所述第二校正点的第三线性关系；根据所述第一线性关系、所述第二线性关系和所述第三线性关系，获得所述投影面上网格点基于所述光机镜头坐标系的三维坐标。
在一些实施例中，基准投影平面构建单元包括：拟合模块、过滤模块和映射模块；
拟合模块，根据所述投影面上网格点的三维坐标对所述投影面上网格点进行空间滤除，滤除所述网格点中的无效网格点，获得有效网格点；利用最小二乘法对所述有效网格点进行平面拟合，确定拟合所得到的平面为所述基准投影平面。
过滤模块，通过重复执行步骤A与步骤B，迭代N次后，确定N次迭代后所得到的N个子平面中具有最多参考网格点个数的参考子平面，所述参考子平面的参考网格点即为所述有效网格点；其中步骤A：在所述网格点中随机选取三个不共线网格点，获得所述三个不共线网格点确定的子平面；步骤B：计算所述投影面上每个网格点与所述子平面的距离，剔除与所述子平面距离大于预设距离值的异常网格点，获得参考网格点的个数，所述参考网格点为与所述子平面的距离不大于所述预设距离值的网格点。
映射模块，根据所述世界坐标系与所述光机镜头坐标系之间的转换关系，将所述光机镜头坐标系下的所述投影面上网格点坐标转换为所述世界坐标系下的所述投影面上网格点坐标；将转换为所述世界坐标系下的所述投影面上网格点正交投影到所述基准投影平面，获得所述投影面上网格点在所述基准投影平面的投影点。
在一些实施例中，转换关系计算单元包括第一计算模块和第二计算模块；
第一计算模块，根据所述光机镜头光栅像素面上与有效投影点簇匹配的光栅像素面网格点簇，获得所述光机镜头光栅像素面与所述基准投影平面之间的第一单应映射矩阵，所述有效投影点为所述有效网格点在所述基准投影平面上的投影点；利用所述第一单应映射矩阵将所述投影点坐标映射到所述光栅像素面坐标，获得所述标准网格图像在所述投影面的畸变坐标映射到所述光栅像素面的纹理采样坐标。
第二计算模块，根据所述光栅像素面的边角区域，将所述基准投影平面上的投影点向所述边角区域所在方向扩展，获得四组位于所述基准投影平面边缘的扩展投影点以及与所述扩展投影点匹配的所述光栅像素面上的网格点；利用预设尺寸的搜索框搜索按照设定搜索步长对扩展点进行搜索，利用每个搜索步长下位于所述搜索框内的与所述有效投影点簇匹配的光栅像素面网格点簇，获得所述光机镜头光栅像素面与所述基准投影平面之间的第二单应映射矩阵；利用所述第二单应映射矩阵将所述扩展投影点坐标映射到所述光栅像素面坐标，获得所述标准网格图像边缘点在所述投影面的畸变坐标映射到所述光栅像素面的纹理采样坐标。
在一些实施例中，投影点云获取单元，利用所述光机镜头将光栅像素面的第一标准网格图像投影在所述投影面上，并利用所述摄像头拍摄所述投影面获取第一投影点云图像；利用所述光机镜头将光栅像素面的第二标准网格图像投影在所述投影面上，并利用所述摄像头拍摄所述投影面获取第二投影点云图像，所述第一标准网格图像与所述第二标准网格图像中的圆斑相互错开；分别识别所述第一投影点云图像和所述第二投影点云图像中的圆斑网格，获得所述第一投影点云图像和所述第二投影点云图像中每个圆斑在所述光栅像素面的像素位置；通过合并所述第一投影点云图像和所述第二投影点云图像中每个圆斑在所述光栅像素面的像素位置，获得所述投影点云图像的每个圆斑的像素位置。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明还提供了一种投影仪。
图11为本发明实施例示出的投影仪的结构示意图，如图11所示，在硬件层面，该投影仪包括图形处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器等。当然，该投影仪还可能包括其他业务所需要的硬件，如光机镜头和摄像头，光机镜头将光栅像素面的标准网格图像投影在投影面上，摄像头拍摄投影面获取投影点云图像。
图形处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机可执行指令。存储器可以包括内存和非易失性存储器，并向图形处理器提供指令和数据。
图形处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成投影仪投影畸变校正装置。图形处理器，执行存储器所存放的程序实现如上文描述的投影仪投影畸变校正方法。
上述如本说明书图11所示实施例揭示的投影仪投影畸变校正装置执行的方法可以应用于图形处理器中，或者由图形处理器实现。图形处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上文描述的投影仪畸变校正方法的各步骤可以通过图形处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的图形处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
本发明还提供了一种计算机可读存储介质。
该计算机可读存储介质存储一个或多个计算机程序，该一个或多个计算机程序包括指令，该指令当被投影仪的图形处理器执行时，能够实现上文描述的投影仪投影畸变校正方法。
为了便于清楚描述本发明实施例的技术方案，在发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定。
以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种投影仪投影畸变校正方法，其中，所述投影仪具有光机镜头和摄像头，所述方法包括：
利用所述光机镜头将光栅像素面的标准网格图像投影在投影面上，并利用所述摄像头拍摄所述投影面获取投影面上网格点的投影点云图像；
根据所述标准网格图像和所述投影点云图像之间的像素点对应关系以及根据预先构建的三维投影模型，获得所述投影面上网格点基于光机镜头坐标系的三维坐标，其中所述三维投影模型基于所述投影仪的光机镜头坐标系和摄像头坐标系而构建；
利用所述投影面上网格点的三维坐标，获得基准投影平面，并利用所述基准投影平面构建世界坐标系，基于所述世界坐标系与所述光机镜头坐标系之间的转换关系，获得所述投影面上网格点在所述基准投影平面的投影点；
根据所述投影点与所述光机镜头光栅像素面上网格点的对应关系，获得所述光栅像素面每个像素点对应的纹理采样坐标，所述纹理采样坐标用于校正所述光栅像素面每个像素点在所述投影面上的畸变位移；
利用所述纹理采样坐标对待投影图像进行纹理映射，将经过纹理映射的图像输出到所述光栅像素面进行投影。
2.根据权利要求1所述的方法，其中，通过下述步骤构建所述三维投影模型：
根据所述摄像头光路光心与其在所述摄像头传感器像素面上的第一校正点，建立第一线性关系；
根据所述光机镜头光路光心与其在所述光机镜头光栅像素面上的第二校正点，建立第二线性关系；
根据所述摄像头与所述光机镜头之间的外部参数矩阵，建立所述第一校正点与所述第二校正点的第三线性关系；
根据所述第一线性关系、所述第二线性关系和所述第三线性关系，获得所述投影面上网格点基于所述光机镜头坐标系的三维坐标。
3.根据权利要求1所述的方法，其中，所述利用所述投影面上网格点的三维坐标，获得基准投影平面包括：
根据所述投影面上网格点的三维坐标对所述投影面上网格点进行空间滤除，滤除所述网格点中的无效网格点，获得有效网格点；
利用最小二乘法对所述有效网格点进行平面拟合，确定拟合所得到的平面为所述基准投影平面。
4.根据权利要求3所述的方法，其中，所述根据所述投影面上网格点的三维坐标对所述投影面上网格点进行空间滤除，滤除所述网格点中的无效网格点，获得有效网格点，包括：
步骤A：在所述网格点中随机选取三个不共线网格点，获得所述三个不共线网格点确定的子平面；
步骤B：计算所述投影面上每个网格点与所述子平面的距离，剔除与所述子平面距离大于预设距离值的异常网格点，获得参考网格点的个数，所述参考网格点为与所述子平面的距离不大于所述预设距离值的网格点；
重复执行步骤A与步骤B，迭代N次后，确定N次迭代后所得到的N个子平面中具有最多参考网格点个数的参考子平面，所述参考子平面的参考网格点即为所述有效网格点。
5.根据权利要求4所述的方法，其中，所述世界坐标系XOYZ的XOY平面与所述基准投影平面重合，所述世界坐标系的Y轴向量与所述光机镜头坐标系的Y轴向量的方向相同，所述世界坐标系XOYZ的Z轴向量与所述基准投影平面法线向量的方向相同，所述世界坐标系原点O为所述N个子平面的平均重心点在所述基准投影平面上的投影点。
6.根据权利要求1所述的方法，其中，所述基于所述世界坐标系与所述光机镜头坐标系之间的转换关系，获得所述投影面上网格点在所述基准投影平面的投影点，包括：
根据所述世界坐标系与所述光机镜头坐标系之间的转换关系，将所述光机镜头坐标系下的所述投影面上网格点坐标转换为所述世界坐标系下的所述投影面上网格点坐标；
将转换为所述世界坐标系下的所述投影面上网格点正交投影到所述基准投影平面，获得所述投影面上网格点在所述基准投影平面的投影点。
7.根据权利要求3所述的方法，其中，所述根据所述投影点与所述光机镜头光栅像素面上网格点的对应关系，获得所述光栅像素面每个像素点对应的纹理采样坐标，包括：
根据所述光机镜头光栅像素面上与有效投影点簇匹配的光栅像素面网格点簇，获得所述光机镜头光栅像素面与所述基准投影平面之间的第一单应映射矩阵，所述有效投影点为所述有效网格点在所述基准投影平面上的投影点；
利用所述第一单应映射矩阵将所述投影点坐标映射到所述光栅像素面坐标，获得所述标准网格图像在所述投影面的畸变坐标映射到所述光栅像素面的纹理采样坐标。
8.根据权利要求7所述的方法，其中，所述根据所述投影点与所述光机镜头光栅像素面上网格点的对应关系，获得所述光栅像素面每个像素点对应的纹理采样坐标，还包括：
根据所述光栅像素面的边角区域，将所述基准投影平面上的投影点向所述边角区域所在方向扩展，获得四组位于所述基准投影平面边缘的扩展投影点以及与所述扩展投影点匹配的所述光栅像素面上的网格点；
利用预设尺寸的搜索框搜索按照设定搜索步长对扩展点进行搜索，利用每个搜索步长下位于所述搜索框内的与所述有效投影点簇匹配的光栅像素面网格点簇，获得所述光机镜头光栅像素面与所述基准投影平面之间的第二单应映射矩阵；
利用所述第二单应映射矩阵将所述扩展投影点坐标映射到所述光栅像素面坐标，获得所述标准网格图像边缘点在所述投影面的畸变坐标映射到所述光栅像素面的纹理采样坐标。
9.根据权利要求1所述的方法，其中，所述利用所述光机镜头将光栅像素面的标准网格图像投影在所述投影面上，并利用所述摄像头拍摄所述投影面获取投影面上网格点的投影点云图像，包括：
利用所述光机镜头将光栅像素面的第一标准网格图像投影在所述投影面上，并利用所述摄像头拍摄所述投影面获取第一投影点云图像；
利用所述光机镜头将光栅像素面的第二标准网格图像投影在所述投影面上，并利用所述摄像头拍摄所述投影面获取第二投影点云图像，所述第一标准网格图像与所述第二标准网格图像中的圆斑相互错开；
分别识别所述第一投影点云图像和所述第二投影点云图像中的圆斑网格，获得所述第一投影点云图像和所述第二投影点云图像中每个圆斑在所述光栅像素面的像素位置；
通过合并所述第一投影点云图像和所述第二投影点云图像中每个圆斑在所述光栅像素面的像素位置，获得所述投影点云图像的每个圆斑的像素位置。
10.一种投影仪投影畸变校正装置，其中，所述投影仪具有光机镜头和摄像头，所述装置包括：
投影点云获取单元，利用所述光机镜头将光栅像素面的标准网格图像投影在投影面上，并利用所述摄像头拍摄所述投影面获取投影面上网格点的投影点云图像；
投影点云坐标计算单元，根据所述标准网格图像和所述投影点云图像之间的像素点对应关系以及根据预先构建的三维投影模型，获得所述投影面上网格点基于光机镜头坐标系的三维坐标，其中所述三维投影模型基于所述投影仪的光机镜头坐标系和摄像头坐标系而构建；
基准投影平面构建单元，利用所述投影面上网格点的三维坐标，获得基准投影平面，并利用所述基准投影平面构建世界坐标系，基于所述世界坐标系与所述光机镜头坐标系之间的转换关系，获得所述投影面上网格点在所述基准投影平面的投影点；
转换关系计算单元，根据所述投影点与所述光机镜头光栅像素面上网格点的对应关系，获得所述光栅像素面每个像素点对应的纹理采样坐标，所述纹理采样坐标用于校正所述光栅像素面每个像素点在所述投影面上的畸变位移；
纹理映射单元，利用所述纹理采样坐标对待投影图像进行纹理映射，将经过纹理映射的图像输出到所述光栅像素面进行投影。
11.一种投影仪，其中，包括：
将光栅像素面的标准网格图像投影在投影面上的光机镜头；
拍摄投影面获取投影点云图像并发送给图形处理器的摄像头；
存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述图形处理器执行如权利要求1-9任一项所述的方法。
12.一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有一个或多个计算机程序，所述一个或多个计算机程序被投影仪的图形处理器执行时实现如权利要求1-9任一项所述的方法。
CN201910249736.5A 2019-03-29 2019-03-29 一种投影仪投影畸变校正方法、装置和投影仪 Active CN110111262B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910249736.5A CN110111262B (zh) 2019-03-29 2019-03-29 一种投影仪投影畸变校正方法、装置和投影仪

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910249736.5A CN110111262B (zh) 2019-03-29 2019-03-29 一种投影仪投影畸变校正方法、装置和投影仪

Publications (2)

Publication Number Publication Date
CN110111262A CN110111262A (zh) 2019-08-09
CN110111262B true CN110111262B (zh) 2021-06-04

Family

ID=67484743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910249736.5A Active CN110111262B (zh) 2019-03-29 2019-03-29 一种投影仪投影畸变校正方法、装置和投影仪

Country Status (1)

Country Link
CN (1) CN110111262B (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110784699B (zh) * 2019-11-01 2021-06-25 成都极米科技股份有限公司 投影处理方法、装置、投影仪及可读存储介质
CN110864649B (zh) * 2019-11-25 2021-10-08 歌尔光学科技有限公司 一种确定补偿值以及确定光学模组平面度的方法
CN113066158B (zh) * 2019-12-16 2023-03-10 杭州海康威视数字技术股份有限公司 一种车载环视方法及装置
CN111385947B (zh) * 2020-03-23 2022-04-26 北京经纬恒润科技股份有限公司 一种应用于像素灯的控制方法及装置
CN113643414B (zh) * 2020-05-11 2024-02-06 北京达佳互联信息技术有限公司 一种三维图像生成方法、装置、电子设备及存储介质
CN111669557B (zh) * 2020-06-24 2022-05-13 歌尔光学科技有限公司 投影图像校正方法和校正装置
CN111935468B (zh) * 2020-09-24 2021-01-22 歌尔股份有限公司 投影中心的偏移检测方法、装置及计算机可读存储介质
CN112330794B (zh) * 2020-10-09 2022-06-14 同济大学 基于旋转二分棱镜的单相机图像采集***和三维重建方法
CN112295109B (zh) * 2020-10-20 2022-04-01 北京理工大学 一种治疗光控制方法和使用其的光动力治疗装置
CN111968213B (zh) * 2020-10-23 2021-03-23 成都完美时空网络技术有限公司 扭曲效果生成方法、装置、设备和存储介质
CN112614190B (zh) * 2020-12-14 2023-06-06 北京淳中科技股份有限公司 投影贴图的方法及装置
CN112672127B (zh) * 2020-12-29 2023-02-14 视田科技（天津）有限公司 一种投影反射画面自动校准方法
CN112614075B (zh) * 2020-12-29 2024-03-08 凌云光技术股份有限公司 一种面结构光3d***的畸变校正方法及设备
CN112995625B (zh) * 2021-02-23 2022-10-11 峰米(北京)科技有限公司 用于投影仪的梯形校正方法及装置
CN113099198B (zh) * 2021-03-19 2023-01-10 深圳市火乐科技发展有限公司 投影图像调整方法、装置、存储介质及电子设备
CN115412719B (zh) * 2021-05-26 2024-03-01 致伸科技股份有限公司 相机镜头与光源的对位方法
CN113487500B (zh) * 2021-06-28 2022-08-02 北京紫光展锐通信技术有限公司 图像畸变校正方法与装置、电子设备和存储介质
CN113838002A (zh) * 2021-08-25 2021-12-24 网易（杭州）网络有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN115908679A (zh) * 2021-08-31 2023-04-04 北京字跳网络技术有限公司 纹理映射方法、装置、设备及存储介质
CN113938661B (zh) * 2021-09-29 2024-05-07 漳州万利达科技有限公司 一种投影仪侧投校正方法、终端设备及存储介质
WO2023087947A1 (zh) * 2021-11-16 2023-05-25 海信视像科技股份有限公司 一种投影设备和校正方法
CN115314689A (zh) * 2022-08-05 2022-11-08 深圳海翼智新科技有限公司 投影校正方法、装置、投影仪和计算机程序产品
CN116540872B (zh) * 2023-04-28 2024-06-04 中广电广播电影电视设计研究院有限公司 Vr数据处理方法、装置、设备、介质及产品
CN117058342B (zh) * 2023-10-12 2024-01-26 天津科汇新创科技有限公司 一种基于投影图像的脊柱3d体素模型构建方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7705877B2 (en) * 2004-01-28 2010-04-27 Hewlett-Packard Development Company, L.P. Method and system for display of facial features on nonplanar surfaces
JP3714365B1 (ja) * 2004-03-30 2005-11-09 セイコーエプソン株式会社 プロジェクタの台形補正
CN101335901A (zh) * 2007-06-29 2008-12-31 三星电子株式会社 投影图像校正方法与装置
US7874678B2 (en) * 2008-07-02 2011-01-25 Hines Stephen P Projected autostereoscopic lenticular 3-D system
CN101321303A (zh) * 2008-07-17 2008-12-10 上海交通大学 非平面多投影显示的几何与光学校正方法
CN102184566A (zh) * 2011-04-28 2011-09-14 湘潭大学 基于微型投影仪手机平台的便携式三维扫描***及方法
CN103426149B (zh) * 2013-07-24 2016-02-03 玉振明 大视角图像畸变的校正处理方法
JP6636252B2 (ja) * 2015-03-19 2020-01-29 株式会社メガチップス 投影システム、プロジェクター装置、撮像装置、および、プログラム
CN107454373B (zh) * 2016-05-31 2019-06-14 财团法人工业技术研究院 投影***及其非平面自动校正方法与自动校正处理装置
CN107833253B (zh) * 2017-09-22 2020-08-04 北京航空航天大学青岛研究院 一种面向rgbd三维重建纹理生成的相机姿态优化方法
CN108377371A (zh) * 2018-02-09 2018-08-07 深圳市火乐科技发展有限公司 一种投影图像校正的方法及装置
CN108665536B (zh) * 2018-05-14 2021-07-09 广州市城市规划勘测设计研究院 三维与实景数据可视化方法、装置与计算机可读存储介质

Also Published As

Publication number Publication date
CN110111262A (zh) 2019-08-09

Similar Documents

Publication Publication Date Title
CN110111262B (zh) 一种投影仪投影畸变校正方法、装置和投影仪
CN110336987B (zh) 一种投影仪畸变校正方法、装置和投影仪
CN110191326B (zh) 一种投影***分辨率扩展方法、装置和投影***
CN108257183B (zh) 一种相机镜头光轴校准方法和装置
CN108876926B (zh) 一种全景场景中的导航方法及***、ar/vr客户端设备
US5878174A (en) Method for lens distortion correction of photographic images for texture mapping
CN108769462B (zh) 自由视角场景漫游方法及装置
KR101319777B1 (ko) 파노라마식 투영 장치 및 상기 장치에 의해 실행되는 방법
US5898438A (en) Texture mapping of photographic images to CAD surfaces
KR20170005009A (ko) ３ｄ 라돈 이미지의 생성 및 사용
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
CN102436639A (zh) 一种去除图像模糊的图像采集方法和图像采集***
JP6674643B2 (ja) 画像処理装置及び画像処理方法
CN110648274B (zh) 鱼眼图像的生成方法及装置
CN114697623A (zh) 投影面选取和投影图像校正方法、装置、投影仪及介质
JPH11175762A (ja) 光環境計測装置とそれを利用した仮想画像への陰影付与装置及び方法
CN113643414A (zh) 一种三维图像生成方法、装置、电子设备及存储介质
US20180213215A1 (en) Method and device for displaying a three-dimensional scene on display surface having an arbitrary non-planar shape
JP2023546739A (ja) シーンの３次元モデルを生成するための方法、装置、およびシステム
US20170289516A1 (en) Depth map based perspective correction in digital photos
Hach et al. Cinematic bokeh rendering for real scenes
CN114283243A (zh) 数据处理方法、装置、计算机设备及存储介质
WO2022126430A1 (zh) 辅助对焦方法、装置及***
JP2001016621A (ja) 多眼式データ入力装置
JP4554231B2 (ja) 歪みパラメータの生成方法及び映像発生方法並びに歪みパラメータ生成装置及び映像発生装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220803

Address after: Room 1903, 19 / F, building D, Zhizhen building, No. 7 Zhichun Road, Haidian District, Beijing 100088

Patentee after: Bird innovation (Beijing) Technology Co.,Ltd.

Address before: 100191 room 1801, block D, Zhizhen building, 7 Zhichun Road, Haidian District, Beijing

Patentee before: BEIJING XIAONIAO TINGTING TECHNOLOGY Co.,Ltd.