CN109272478B - 一种荧幕投影方法和装置及相关设备 - Google Patents

一种荧幕投影方法和装置及相关设备 Download PDF

Info

Publication number
CN109272478B
CN109272478B CN201811099366.3A CN201811099366A CN109272478B CN 109272478 B CN109272478 B CN 109272478B CN 201811099366 A CN201811099366 A CN 201811099366A CN 109272478 B CN109272478 B CN 109272478B
Authority
CN
China
Prior art keywords
projector
screen
projection
pixel
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811099366.3A
Other languages
English (en)
Other versions
CN109272478A (zh
Inventor
吕毅
王志伟
黄涛
吴斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fantawild Shenzhen Intelligent Technology Co ltd
Original Assignee
Fantawild Shenzhen Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fantawild Shenzhen Intelligent Technology Co ltd filed Critical Fantawild Shenzhen Intelligent Technology Co ltd
Priority to CN201811099366.3A priority Critical patent/CN109272478B/zh
Publication of CN109272478A publication Critical patent/CN109272478A/zh
Application granted granted Critical
Publication of CN109272478B publication Critical patent/CN109272478B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)

Abstract

本发明公开了一种荧幕投影方法和装置及相关设备。本发明方案通过获取投影机显示图像上标记像素的理论像素坐标和实际像素坐标,或者,获取荧幕上投影像素的投影坐标和真实坐标,并通过调整投影机参数使获得的两个坐标接近,来确定投影机参数,进而建立投影机显示的原始图像的像素与荧幕上投影像素的坐标映射关系。本发明方案可以将荧幕的坐标与投影像素上的坐标一一对应,保证拍摄的画面完全的投射到荧幕上,避免在荧幕上进行画面拉伸拟合,保证了画面的真实性,解决了现有技术中的画面失真问题。进而,还可以解决现有技术中球幕投影拼接融合不佳导致的画面变形、重影等问题。

Description

一种荧幕投影方法和装置及相关设备
技术领域
本发明涉及图像处理技术领域,具体涉及一种荧幕投影方法和装置及相关设备。
背景技术
在主题公园、特种电影、科技展览、模拟驾驶等领域,目前常采用球幕、环幕或其它形式的荧幕进行视频图像的投影播放。球幕投影,是指采用一台或多台投影(通道)投射在球幕上形成投影画面的投影方式。环幕投影,是指采用一台或多台投影(通道)投射在环幕上形成投影画面的投影方式。
现有技术的荧幕投影中,尤其是球幕环幕等非平面的荧幕投影中,多在荧幕上采用投影画面拟合、拉伸的方法,使得投影画面布满荧幕,如此就导致画面的失真,得到的投影画面并不是真实的拍摄画面。
另外,采用两台或更多台镜头的投影方式,相比于传统的单台投影能带来巨大的清晰度和亮度提升,应用越来越广泛,其要点在于如何解决画面变形与重叠画面的拼接融合。
现有多台投影方式的画面拼接融合,通常是在三维图像处理软件例如Maya软件中建立理论的投影机与荧幕关系来渲染影片,完成拼接融合。但是,Maya软件无法体现镜头位移,并且理论与现实的投影机位置与荧幕模型曲面难以完全匹配;于是,就容易造成画面不重合,导致画面变形与重影等问题。
发明内容
本发明实施例提供一种荧幕投影方法和装置及相关设备,主要用于解决荧幕投影中的画面失真问题,还用于解决画面拼接融合中的变形、重影问题。
为解决上述技术问题,采用如下技术方案:第一方面,提供一种荧幕投影方法,包括如下步骤:获取投影机显示图像上标记像素所对应的、荧幕上的投影像素的实际位置坐标;根据所述投影像素的实际位置坐标,计算所述标记像素在投影机显示图像上的理论像素坐标;获取投影机显示图像上所述标记像素的实际像素坐标;通过调整投影机参数,使得所述标记像素的理论像素坐标与实际像素坐标接近;基于调整后的投影机参数,建立投影机显示的原始图像的像素与荧幕上投影像素的坐标映射关系。
第二方面,提供一种荧幕投影方法,包括如下步骤:获取投影机显示图像上标记像素的像素坐标;根据所述标记像素的像素坐标,计算荧幕上对应的投影像素的投影坐标;获取荧幕上对应的投影像素的真实坐标;通过调整投影机参数,使得同一投影像素的投影坐标与真实坐标接近;基于调整后的投影机参数,建立投影机显示的原始图像的像素与荧幕上投影像素的坐标映射关系。
第三方面,提供一种荧幕投影装置,包括如下模块:获取模块,用于获取投影机显示图像上标记像素所对应的、荧幕上的投影像素的实际位置坐标;计算模块,用于根据所述投影像素的实际位置坐标,计算所述标记像素在投影机显示图像上的理论像素坐标;所述获取模块,还用于获取投影机显示图像上所述标记像素的实际像素坐标;调整模块,用于通过调整投影机参数,使得所述标记像素的理论像素坐标与实际像素坐标接近;映射模块,用于基于调整后的投影机参数,建立投影机显示的原始图像的像素与荧幕上投影像素的坐标映射关系。
第四方面,提供一种荧幕投影装置,包括如下模块:获取模块,用于获取投影机显示图像上标记像素的像素坐标;计算模块,用于根据所述标记像素的像素坐标,计算荧幕上对应的投影像素的投影坐标;所述获取模块,还用于获取投影机显示图像上所述标记像素的实际像素坐标;调整模块,用于通过调整投影机参数,使得同一投影像素的投影坐标与真实坐标接近;映射模块,用于基于调整后的投影机参数,建立投影机显示的原始图像的像素与荧幕上投影像素的坐标映射关系。
第五方面,提供一种计算机设备,所述计算机设备包括处理器、存储器、总线和通信接口;所述存储器用于存储计算机程序,所述处理器与所述存储器通过所述总线连接,当所述计算机设备运行时,所述处理器执行所述存储器存储的所述计算机程序,以使所述计算机设备执行如本发明第一方面或第二方面所述的荧幕投影方法。
第六方面,提供一种存储一个或多个程序的计算机可读存储介质,所述一个或多个程序包括指令,所述指令当被包括处理器的计算机设备执行时,使所述计算机设备执行如本发明第一方面或第二方面所述的荧幕投影方法。
本文中所述的投影机显示图像,是输入到投影机并显示在投影机的显示芯片上的图像/画面,因此,也可以称为投影机输入图像。
从以上技术方案可以看出,本发明实施例具有以下优点:
本发明方案可以根据投影机显示图像上标记像素的像素坐标推算荧幕上对应的投影像素的坐标,或者根据荧幕上投影像素的坐标推算投影机显示图像上对应的标记像素的坐标,也就是说,可以获取投影机显示图像上标记像素的理论像素坐标和实际像素坐标,或者,获取荧幕上投影像素的投影坐标和真实坐标。然后,可以通过调整投影机参数使获得的两个坐标接近,来确定较佳的投影机参数,进而建立投影机显示的原始图像的像素与荧幕上投影像素的坐标映射关系。
本发明方案,由于建立了立投影机显示的原始图像的像素与荧幕上投影像素的坐标映射关系,可以将荧幕的坐标与投影像素上的坐标一一对应,从而可以保证拍摄的画面完全的投射到荧幕上,避免在荧幕上进行画面拉伸拟合等,保证了画面的真实性,解决了现有技术中的画面失真问题。
进一步的,对于拼接区域,同样的由于可以保证相同坐标的像素重叠,从而使得拼接后的画面也是真实的,不需要进行拟合或拉伸覆盖等,避免出现重影、变形问题;同时可以根据重叠各个像素的位置关系进行精确的像素亮度衰减,使得拼接区域的亮度与整体画面亮度均匀一致;从而可以实现高精度的图像拼接融合,解决现有技术中投影拼接融合不佳导致的画面变形、重影、亮度不一致等问题。
附图说明
图1是本发明一个实施例提供的一种荧幕投影方法的流程示意图;
图2是本发明一个实施例提供的另一种荧幕投影方法的流程示意图;
图3是本发明一个实施例提供的一种荧幕投影装置的结构示意图;
图4是本发明一个实施例提供的另一种荧幕投影装置的结构示意图;
图5是本发明一个实施例提供的一种计算机设备的结构示意图;
图6是本发明一个实施例提供的多台球幕投影方法的流程示意图;
图7是本发明一个应用例球幕世界坐标系与投影机坐标系的关系示意图;
图8是本发明一个应用场景例中投影机坐标系与图像坐标系的关系示意图;
图9是本发明一个应用场景例中生成的原始图像与球幕的对应关系示意图;
图10是本发明一个应用场景例中对原始图像进行拼接融合处理的示意图;
图11是本发明一个实施例提供的多台球幕投影装置的结构示意图;
图12是本发明一个实施例提供的两台球幕投影方法的流程示意图;
图13是本发明一应用例球幕世界坐标系与投影机坐标系的关系示意图;
图14是本发明一应用场景例中投影机坐标系与图像坐标系的关系示意图;
图15是本发明一应用场景例中生成的原始图像与球幕的对应关系示意图;
图16是本发明一个应用场景例中对原始图像进行拼接融合处理的示意图;
图17是本发明一个实施例提供的两台球幕投影装置的结构示意图;
图18是本发明一个实施例提供的一种多台环幕投影方法的流程示意图;
图19是本发明一个应用例环幕世界坐标系与投影机坐标系的关系示意图;
图20是本发明一应用场景例中投影机坐标系与图像坐标系的关系示意图;
图21是本发明一应用场景例中生成的原始图像与环幕的对应关系示意图;
图22是本发明一个应用场景例中对原始图像进行拼接融合处理的示意图;
图23是本发明一个实施例提供的一种多台环幕装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
下面通过具体实施例,分别进行详细的说明。
请参考图1,本发明的一个实施例提供一种荧幕投影方法,用于解决多台投影的拼接融合问题。所述荧幕也称为银幕或屏幕,可包括平面幕、弧幕、球幕、环幕等规则荧幕及不规则荧幕。所述多台投影是指采用多台镜头向荧幕上投影图像。所述方法可包括如下步骤:
11、获取投影机显示图像上标记像素所对应的、荧幕上的投影像素的实际位置坐标;
12、根据投影像素的实际位置坐标,计算标记像素在投影机显示图像上的理论像素坐标;
13、获取投影机显示图像上所述标记像素的实际像素坐标;
14、通过调整投影机参数,使得所述标记像素的理论像素坐标与实际像素坐标接近;
15、基于调整后的投影机参数,建立投影机显示的原始图像的像素与荧幕上投影像素的坐标映射关系。
可选的,一些实施方式中,步骤11中获取投影机显示图像上标记像素所对应的、荧幕上的投影像素的实际位置坐标,可包括:在投影机显示图像上绘制出若干个标记点,记录标记点的实际像素坐标;步骤13中获取投影机显示图像上所述标记像素的实际像素坐标,可包括:使用三维测量仪器测量记录标记点对应的荧幕上的投影像素的实际位置坐标。
可选的,一些实施方式中,所述方法还可以包括:预先建立投影机显示图像上标记像素与荧幕上投影像素的坐标转换关系;所述根据所述投影像素的实际位置坐标,计算所述标记像素在投影机显示图像上的理论像素坐标,包括:采用理论推导方式进行计算,例如基于所述坐标转换关系进行计算。
可选的,一些实施方式中,所述建立投影机显示图像上标记像素与荧幕上投影像素的坐标转换关系,可包括:基于荧幕建立世界坐标系,基于任一投影机建立以下多个坐标系:基于投影机的投影机坐标系,基于投影机显示芯片平面的图像坐标系,以及显示芯片上显示图像的像素坐标系;根据坐标系之间的位置关系建立转换关系,进而,建立投影机显示图像上标记像素与荧幕上投影像素的坐标转换关系。
可选的,一些实施方式中,基于荧幕建立世界坐标系可包括:若所述荧幕为球幕,则以球幕的球心为原点,竖直向下为Y轴建立世界坐标系;若所述荧幕为环幕,则以环幕的弧度的圆心线在环幕高度的一半处为原点,水平朝向环幕中间为Z轴,竖直向下为Y轴建立世界坐标系。基于任一投影机建立以下多个坐标系可包括:基于投影机、以投影机的光心为原点建立投影机坐标系,基于投影机显示芯片平面、以显示芯片的中心为原点建立二维的图像坐标系,基于投影机显示芯片平面、以显示图像一顶点处的像素为原点,建立像素坐标系。根据坐标系之间的位置关系建立转换关系,可包括:根据投影机相对于世界坐标系原点的距离和旋转角度,建立世界坐标系和投影机坐标系的第一转换关系;根据投影光学原理建立投影机坐标系和图像坐标系的第二转换关系;根据显示芯片的尺寸和像素的尺寸,建立图像坐标系和像素坐标系的第三转换关系。
可选的,一些实施方式中,所述投影机参数,具体是指投影机位置参数,可包括:投影机在原点绕世界坐标系X、Y、Z轴旋转的角度α、β、γ,和旋转之后按投影机坐标系Xc、Yc、Zc轴的平移量分别记为Tx、Ty、Tz,以及投影机的镜头中心沿着图像坐标系u、v轴的偏移量Cx,Cy。
可选的,一些实施方式中,步骤14中通过调整投影机参数,使得所述标记像素的理论像素坐标与实际像素坐标接近,可包括:计算任一标记点的理论像素坐标与实际像素坐标的距离,所述理论像素坐标与投影机参数相关;对多个标记点计算得到的距离求和;计算得到的和值趋近于0时的投影机参数。
可选的,一些实施方式中,方法还包括:通过三维建模和模拟投影生成平面的原始图像;根据所述坐标映射关系,获取荧幕上不同投影机的投影区域和拼接区域分别对应的原始图像上的像素区域;基于在原始图像上确定的、不同投影机的投影区域和拼接区域分别对应的像素区域,进行图像拼接融合处理。
可选的,一些实施方式中,所述荧幕具体为球幕,所述方法应用于多台投影机向同一球幕投影图像,所述通过三维建模和模拟投影生成平面的原始图像之前,还包括:绘制球幕网格图像,根据所述坐标映射关系,按照计算得到的投影机的位置参数,将球幕网格图像转换为投影机显示的二维图像,绘制出平面网格图像;将平面网格图像投射到投影机显示,验证现实球幕与理论球幕的差异,根据验证结果修正世界坐标,进而修正所述坐标映射关系。进一步的,所述通过三维建模和模拟投影生成平面的原始图像,可包括:通过三维建模建立球幕模型,在球幕模型的球心位置通过放置虚拟等距鱼眼摄像机生成的二维平面上、圆形的原始图像。
可选的,一些实施方式中,所述荧幕具体为环幕,所述方法应用于多台投影机向同一环幕投影图像,所述通过三维建模和模拟投影生成平面的原始图像之前,还包括:获取投影机的初始参数与每台投影机占有环幕的角度,根据投影重叠的区域来划定拼接区域的角度,按照设定间距生成一定行列数的坐标点阵环幕数学模型并连线形成初始网格,调节投影机参数使得投射在银幕上的网格垂直高度匹配现实荧幕高度,使得网格各角度线分布在荧幕对应的位置,并使得相邻投影拼接区域的网格吻合重叠。进一步的,所述通过三维建模和模拟投影生成平面的原始图像,可包括:通过三维建模建立环幕模型,在环幕模型的观众观察点设置虚拟相机,将虚拟相机采集到的图像投射到环幕模型上,将环幕模型上显示的图像平面展开,生成二维平面上、矩形的原始图像。
可选的,一些实施方式中,所述进行图像拼接融合处理,可包括:用阿尔法通道对原始图像上的拼接区域做亮度衰减处理;利用仿射变换分别对原始图像及其阿尔法通道进行处理,并对处理后的图像做融合处理,得到相应投影机需要投射的图像。
以上,本发明一个实施例提供了一种荧幕投影方法。该方法采用数学模型还原方法,确定坐标转换关系,通过坐标转换方式,可以根据荧幕上投影像素的坐标推算投影机显示图像上对应的标记像素的坐标,也就是说,可以获取投影机显示图像上标记像素的理论像素坐标和实际像素坐标。然后,可以通过调整投影机参数使获得的两个坐标接近,来确定较佳的投影机参数,进而建立投影机显示的原始图像的像素与荧幕上投影像素的坐标映射关系。基于建立的坐标映射关系,就可以准确的确定荧幕上不同投影机的投影区域和像拼接区域所对应的原始图像上的像素区域;从而进行高精度的图像拼接融合处理,避免画面变形或重影,提高画面还原度,解决现有技术中投影拼接融合不佳导致的画面变形、重影等问题。
请参考图2,基于与图1所示的方法实施例相同的原理,本发明的另一实施例还提供另一种荧幕投影方法,包括如下步骤:
21、获取投影机显示图像上标记像素的像素坐标;
22、根据所述标记像素的像素坐标,计算荧幕上对应的投影像素的投影坐标;
23、获取荧幕上对应的投影像素的真实坐标;
24、通过调整投影机参数,使得同一投影像素的投影坐标与真实坐标接近;
25、基于调整后的投影机参数,建立投影机显示的原始图像的像素与荧幕上投影像素的坐标映射关系。
本实施例方法,与图1所示的实施例的原理相同,区别在于,图1所示实施例是基于投影机显示图像的像素坐标进行计算,图2所示实施例则是基于荧幕上对应的投影像素的坐标进行计算,两个实施例技术方案形式有所有不同,但原理和效果是相同的。因此,关于图2实施例的更多的实施细节,可参考图1实施例的描述,本文不再进行详细赘述。
为了更好的实施本发明实施例的上述方案,下面还提供用于配合实施上述方案的相关装置。
请参考图3,本发明的一个实施例,提供一种荧幕投影装置,包括如下模块:
获取模块31,用于获取投影机显示图像上标记像素所对应的、荧幕上的投影像素的实际位置坐标;
计算模块32,用于根据所述投影像素的实际位置坐标,计算所述标记像素在投影机显示图像上的理论像素坐标;
所述获取模块31,还用于获取投影机显示图像上所述标记像素的实际像素坐标;
调整模块33,用于通过调整投影机参数,使得所述标记像素的理论像素坐标与实际像素坐标接近;
映射模块34,用于基于调整后的投影机参数,建立投影机显示的原始图像的像素与荧幕上投影像素的坐标映射关系。
以上所述的荧幕投影装置,可以是图像处理设备,例如计算机设备。可以理解,该装置的各个功能模块的功能可根据图1所示实施例中的方法具体实现,其具体实现过程可参照上述方法实施例中的相关描述,此处不再赘述。
请参考图4,本发明的另一个实施例,还提供一种荧幕投影装置,包括如下模块:
获取模块41,用于获取投影机显示图像上标记像素的像素坐标;
计算模块42,用于根据所述标记像素的像素坐标,计算荧幕上对应的投影像素的投影坐标;
所述获取模块41,还用于获取荧幕上对应的投影像素的真实坐标;
调整模块43,用于通过调整投影机参数,使得同一投影像素的投影坐标与真实坐标接近;
映射模块44,用于基于调整后的投影机参数,建立投影机显示的原始图像的像素与荧幕上投影像素的坐标映射关系。
以上所述的荧幕投影装置,可以是图像处理设备,例如计算机设备。可以理解,该装置的各个功能模块的功能可根据图2所示实施例中的方法具体实现,其具体实现过程可参照上述方法实施例中的相关描述,此处不再赘述。
请参考图5,本发明的一个实施例,还提供一种计算机设备,所述计算机设备50包括处理器51、存储器52、总线53和通信接口54;所述存储器52用于存储计算机程序,所述处理器51与所述存储器52通过所述总线53连接,当所述计算机设备50运行时,所述处理器51执行所述存储器52存储的计算机程序,以使所述计算机设备50执行如上文图1或图2实施例所述的荧幕投影方法。
本发明的一个实施例,还提供一种存储一个或多个程序的计算机可读存储介质,所述一个或多个程序包括指令,所述指令当被包括处理器的计算机设备执行时,使所述计算机设备执行如上文图1或图2实施例所述的荧幕投影方法。
以上,对本发明实施例技术方案做了基础介绍。
本文中所述的荧幕可以是环幕或球幕或其它形式的荧幕。所说的多台投影可以两台或两台以上镜头投影。为便于理解本发明,下面分别针对球幕、环幕等不同的投影方式,对本发明方案做进一步详细的说明。
【一】、多台球幕投影
多台球幕投影,是指采用多台投影机投射在球幕上形成投影画面的投影方式。多台投影的球幕投影相比于传统的单台鱼眼投影,能带来巨大的清晰度和亮度提升,其要点在于如何解决画面变形与重叠画面的拼接融合。多台球幕投影拼接目前用机器视觉拼接融合,利用多摄像头形成的深度摄像头来采集固定图像标记点得到球幕与投影画面的关系,在软件中模拟出球幕与投影画面的位置来切割形变图像完成拼接融合。但是,上述方式依赖于摄像机的机器视觉,精度不够高,容易造成画面不重合,画面变形与重影等问题。
请参考图6,本发明的一个实施例,提供一种多台球幕投影方法,应用于多台投影机向同一球幕投影图像,用于解决上述技术问题。其中,所述的球幕是球形屏幕或球形幕的简称。所述的投影是指向球幕上投射图像。所述的图像可以是视频画面。本文中所说的球幕可以是全球面也可以是部分球面,例如半球面等。其中,所说的投影机可以采用鱼眼投影,其采用的镜头可以是鱼眼镜头。
如图6所示,所述方法可以包括:
61、在每台投影机显示图像上绘制出若干个标记点,记录标记点的实际像素坐标(x,y);
62、获取使用三维测量仪器测量记录的球幕投影图像上标记点对应的三维坐标(X,Y,Z),并将世界坐标系的原点从三维测量仪移动到球幕的球心位置,得到转换后的世界坐标(Xa,Ya,Za);
63、获取球幕上任一点的世界坐标与投影机显示图像上对应点的像素坐标的坐标转换关系;
64、根据所述坐标转换关系计算标记点的世界坐标(Xa,Ya,Za)对应的显示图像上标记点的理论像素坐标(c,r);
65、对于每台投影机计算位置参数,使得该投影机显示图像上若干个标记点的实际像素坐标(x,y)与的理论像素坐标(c,r)最接近;
66、通过三维建模和模拟投影生成平面的原始图像,并确定所述原始图像的像素坐标(U,V)与相应的投影机显示图像的像素坐标(c,r)的对应关系,进而确定所述原始图像上的像素与荧幕上投影像素的坐标映射关系;
67、根据所述坐标映射关系,获取球幕上不同投影机的投影区域和拼接区域分别对应的原始图像上的像素区域;
68、基于在原始图像上确定的、不同投影机的投影区域和拼接区域分别对应的像素区域,进行图像拼接融合处理。
上述方法,基于球幕、投影机的相对位置关系,建立球幕上任一点的位置坐标与投影机显示图像上对应点的像素坐标的坐标转换关系。由于实际与理论的差异,计算得到的标记点的理论像素坐标与实际的坐标可能会有差异,基于该差异,可以计算两者最接近时投影机的位置参数作为最优解,从而确定投影机与球幕的相对位置关系。
另外,投影机显示芯片是平面的,所显示的画面也是平面的,可以通过三维建模建立球幕模型,通过模拟投影生成与三维的球幕模型相应的平面上的、圆形的原始图像。原始图像在经过处理后可输出给投影机显示在其显示芯片上,向球幕投影。原始图像和投影机的显示图像是有确定的对应关系,原始图像上的像素坐标和显示图像上的像素坐标有一一对应的关系。该对应关系是确定的,是本领域一般技术人员可以直接实现的。
本文中所述的投影机显示图像,是输入至投影机并显示在投影机的显示芯片上的图像,因此,也可以称为投影机输入图像。本发明技术方案中通过建立投影机输入图像与荧幕上投影图像之间的映射关系,可以将荧幕的坐标与投影像素上的坐标一一对应,从而可以保证拍摄的画面完全的投射到荧幕上,避免在荧幕上进行画面拉伸拟合等,保证了画面的真实性,以解决荧幕投影中的画面失真问题,还可以解决画面拼接融合中的变形、重影问题。
基于上述坐标转换关系和对应关系,可以建立其球幕上的点与原始图像上的点的一一对应的坐标映射关系,从而获取球幕上不同投影机的投影区域和拼接区域分别对应的原始图像上的像素区域。
最后,根据在原始图像上确定的对应于不同投影机区域的像素区域、以及对应于拼接区域的像素区域,可以对原始图像进行拼接融合等处理,得到可以输出给投影机进行投影的图像,或者说视频画面。
可选的,一种实现方式中,步骤66之前,还可以包括校正步骤,即:绘制球幕网格图像,根据所述坐标映射关系,按照计算得到的投影机的位置参数,将球幕网格图像转换为投影机显示的二维图像,绘制出平面网格图像;将平面网格图像投射到投影机显示,验证现实球幕与理论球幕的差异,根据验证结果修正世界坐标,进而修正所述坐标映射关系。
可选的,一种实现方式中,步骤63可包括:基于球幕建立世界坐标系,基于任一投影机建立以下多个坐标系:基于投影机的投影机坐标系,基于投影机显示芯片平面的图像坐标系,以及显示芯片上显示图像的像素坐标系,并建立坐标系之间的转换关系;根据坐标系之间的转换关系,过坐标转换获取球幕上任一点的位置坐标与投影机显示图像上对应点的像素坐标的坐标映射关系。
可选的,一种实现方式中:所述基于球幕建立世界坐标系包括:以球幕的球心为原点,竖直向下为Y轴建立世界坐标系;所述基于任一投影机建立以下多个坐标系包括:基于投影机、以投影机的光心为原点建立投影机坐标系,基于投影机显示芯片平面、以显示芯片的中心为原点建立二维的图像坐标系,基于投影机显示芯片平面、以显示图像一顶点处的像素为原点,建立像素坐标系;所述建立坐标系之间的转换关系,包括:根据投影机相对于世界坐标系原点的距离和旋转角度,建立世界坐标系和投影机坐标系的第一转换关系;根据投影光学原理建立投影机坐标系和图像坐标系的第二转换关系;根据显示芯片的尺寸和像素的尺寸,建立图像坐标系和像素坐标系的第三转换关系。
可选的,一种实现方式中,所述根据坐标系之间的转换关系,通过坐标转换获取球幕上任一点的位置坐标与投影机显示图像上对应点的像素坐标的坐标映射关系,包括:将球幕上任一点用世界坐标(Xa,Ya,Za)表示;根据所述第一转换关系得到对应的投影机坐标(Xc,Yc,Zc);根据所述第二转换关系得到对应的图像坐标(u,v);根据所述第三转换关系得到对应的像素坐标(c,r)。
其中,
Figure BDA0001806275780000101
Figure BDA0001806275780000102
u=f*Xc/Zc,v=f*Yc/Zc
Figure BDA0001806275780000103
R0表示球幕的半径;Rx、Ry、Rz分别是投影机在原点绕世界坐标系X、Y、Z轴旋转的角度α、β、γ所对应的旋转矩阵,T是投影机相对于世界坐标系平移的平移矩阵;f是投影机的焦距,Cx,Cy是投影机镜头中心沿着图像坐标系x,y轴的偏移量;dx、dy是投影机显示芯片上每一个像素的长宽。
可选的,一种实现方式中,步骤15可包括:计算任一标记点的实际像素坐标(x,y)与对应的的理论像素坐标(c,r)的距离Δx,
Figure BDA0001806275780000111
计算
Figure BDA0001806275780000112
m为标记点的个数;计算
Figure BDA0001806275780000113
趋近于0时的投影机位置参数,所述位置参数包括:α、β、γ、T、Cx,Cy。
可选的,一种实现方式中,步骤66可包括:通过三维建模建立球幕模型,在球幕模型的球心位置通过放置虚拟等距鱼眼摄像机生成的二维平面上、圆形的原始图像,所述原始图像的像素坐标(U,V)与相应的投影机显示图像的像素坐标(c,r)右确定的对应关系。
可选的,一种实现方式中,步骤67可包括:获取球幕上不同投影机的投影区域和拼接区域;根据坐标映射关系,基于计算得到的投影机的位置参数,获取球幕上不同投影机的投影区域和拼接区域对应的投影机显示图像上像素区域的(c,r)点阵;根据所述对应关系,进而获取不同投影机的投影区域和拼接区域分别对应的原始图像上像素区域的(U,V)点阵。
可选的,一种实现方式中,步骤68所述进行图像拼接融合处理可包括:用alpha通道对原始图像上的拼接区域做亮度衰减处理;利用仿射变换处理原始图像,得到相应投影机需要投射的图像。
可选的,一种实现方式中,所述利用仿射变换处理原始图像,得到相应投影机需要投射的图像,可包括:利用仿射变换将原始图像的图像点阵仿射到投影机显示芯片的像素点阵,生成投影机需要投射的第一图像;利用仿射变换将原始图像阿尔法(alpha)通道的图像点阵仿射到投影机显示芯片的像素点阵,生成投影机需要投射的第二图像;对第一图像和第二图像做融合处理。
上述方案例如可以在图像处理设备,例如计算机设备具体实施。
为便于更好的理解本发明实施例提供的技术方案,下面通过一个具体场景下的实施方式为例进行介绍。
一.投影机相对于球幕参数位置确定
可使用标定软件在每台投影机显示画面上绘制出若干个标记像素(x,y)点阵。根据光路可逆原理,投影机可视为逆向的相机。根据相机的标定原理,可采用至少9个点的标定点,为了减少粗大误差与加快后面计算机演化算法,优选均布投影机画面的3×4的标记点阵。然后,向球幕投影。可使用三维测量仪器按次序测量记录下球幕上对应标记点的三维坐标(X,Y,Z)。
计算出球幕的球心O与半径值R0,将世界坐标系原点移动到球心O的位置,移动后的世界坐标系的坐标用(Xa,Ya,Za)表示,则球幕上的点可以表示为:
Figure BDA0001806275780000121
可建立以投影机出光点即光心为原点的投影机坐标系,定义z轴朝向镜头中心出光方向即光轴方向,定义y轴朝向投影机正放时竖直向下的方向,投影机坐标系与投影机随动、绑定。则基于空间中的任一位置的投影机建立的投影机坐标系可以通过与世界坐标系完全重合的起始位置旋转之后平移而得到。
如图7,可定义投影机在原点绕世界坐标系X、Y、Z轴旋转的角度为α、β、γ,对应三个旋转矩阵记为Rx、Ry、Rz;旋转之后按投影机自身坐标系Xc、Yc、Zc轴的平移量分别记为Tx,Ty,Tz,对应的一个平移矩阵记为T。则投影机坐标系上的点(Xc,Yc,Zc)与世界坐标系球幕的点(Xa,Ya,Za)转换关系如下:
Figure BDA0001806275780000122
如图8所示,可以以投影机显示芯片平面作二维的图像坐标系,投影机焦距为f,图像坐标系的u、v轴方向与投影机坐标系的Xc轴、Yc轴方向相同,显示芯片中心为图像坐标系的原点。因为所有投影机发出的光线都穿过光心,即投影机坐标系的原点,因此,可以建立显示芯片上的发光点的像素位置的图像坐标(u,v)与投射点的投影机坐标(Xc,Yc,Zc)的坐标映射关系,如下:
u=f*Xc/Zc v=f*Yc/Zc
如图8,可定义显示图像左上角像素为(0,0),当镜头未偏移时镜头中心在画面中心即像素中心,记镜头中心沿着图像坐标系u、v轴的偏移量为Cx,Cy。显示芯片尺寸与图像的像素总量已知,则可以得到显示芯片上每一个像素的长宽dx、dy。因此,可建立显示芯片上的显示图像上任一点的图像坐标(u,v)与显示图像的像素坐标(c,r)的对应关系:
Figure BDA0001806275780000123
如上所述,对于单台投影机标记像素(x,y)对应的三维坐标(Xa,Ya,Za)经过上述转换可以得到相应的像素坐标(c,r)。(x,y)为实际像素坐标,(c,r)为理论像素坐标,(x,y)与对应(c,r)越接近,说明该参数设置的虚拟投影机位置产生的画面与现实越接近。
两个点接近的程度可用Δx表示,有:
Figure BDA0001806275780000131
投影机的焦距f、显示芯片尺寸、分辨率已知,则可利用计算机演化算法计算α、β、γ、Tx、Ty、Tz、Cx、Cy,得到数组t,使得
Figure BDA0001806275780000132
的值趋近于0。此时得到的数组t包括的上述参数α、β、γ、Tx、Ty、Tz、Cx、Cy,即为相应投影机的最佳位置参数。
二.参数校验与球幕模型修正
可按照一定间隔的经纬度度数来生成球幕上的点,点与点之间用若干个同纬度或经度的点绘制的曲线连接,根据上面步骤的数组t表示的投影机位置,将球幕上这些三维的点线转换为投影机显示的二维图像的点与线,从而绘制出平面的网格图像,并将其投射到投影机来显示观察验证计算结果,由于现实球幕与理论球体会存在偏差,使得偏差区域的网格错开。为了修正这一偏差使得虚拟球幕模型与现实球幕模型匹配,可选择一个球幕经纬度点,修正范围记为Frange,该点的修正深度记为Fd,球幕上的任何点与该点的距离记为LF,修正曲线记为K,则在修正范围内新的世界坐标点(Xa1,Ya1,Za1)表示为:
Figure BDA0001806275780000133
三.原始图像生成与变形
如图9所示,可采用三维建模方法,在三维渲染软件中建立球幕模型,在球幕模型的球心位置放置虚拟等距鱼眼摄像机拍摄生成的原始图像,原始图像具体可以是圆形的平面图像。原始图像上的点记为(U,V),则(U,V)在与虚拟球幕上的点有唯一坐标映射关系。当投影机的数组t确定,也就是投影机位置确定时,根据前文所述的坐标映射关系,投影机显示图像上的像素同样也在球幕上有着唯一映射的点,可建立其投影机像素(c,r)与原始图像坐标的映射。从而可以建立起来球幕上的点,投影图像上的像素,以及原始图像上的像素,相互的坐标映射关系。根据该坐标映射关系,可以获取球幕上不同投影机的投影区域和拼接区域分别对应的原始图像上的像素区域。
如图10所示,可以将投影机显示图像按照特定宽度和高度间隔取点生成均布整个投影机显示图像画面的像素(c,r)点阵,将这些点阵映射到原始图像可得到对应的图像(U,V)点阵。
可利用仿射变换将图像(U,V)点阵中的画面仿射到投影机显示图像的像素点阵中,输出的图片可作为投影机所需投射的图像。但直接输出的图像,拼接区域的亮度会高于其它区域,因此,还需要做亮度衰减处理。
四.投影机投影拼接重叠画面区域的亮度衰减
可以用alpha通道来对原始图像的拼接区域做亮度衰减。具体的,对投影机在原始图像区域的每个像素计算alpha通道值来衰减图像拼接区域的亮度。原始图像画面区域的点均有对应的世界坐标点(Xa,Ya,Za),经过每台投影机转换映射的像素点记为(c1,r1),(c2,r2)……(cn,rn)。投影机的像素宽高分别记为W、H。对于投影机上的像素(ci,ri),其距离投影机像素边界的距离函数记为F,则di:
di=F(c1,v1)
若有投影机i,其(ci,ri)不属于(0,0)-(W,H)范围内,则说明(Xa,Ya,Za)不在投影机i的显示范围,直接令di=0。求出该图像点的所有dn值,以第一台投影为例,其原始图像上的alpha通道值w1则为d1占所有dn之和的比值。
得到每台投影机的原始图像alpha通道值后,同样利用仿射变形将可以变形得到投影机分辨率的alpha通道图像。变形后的原始图像加上alpha通道图像进行融合,即得到所需投影机投射拼接融合图像,将所有序列帧处理并打包即可完成影片融合制作。
为了更好的实施上述方案,下面还提供用于配合实施上述方案的相关装置。
请参考图11,本发明的一个实施例,提供一种多台球幕投影装置,应用于多台投影机向同一球幕投影图像,所述装置可包括:
标记模块111,用于在每台投影机显示图像上绘制出若干个标记点,记录标记点的实际像素坐标(x,y);
第一获取模块112,用于获取使用三维测量仪器测量记录的球幕投影图像上标记点对应的三维坐标(X,Y,Z),并将世界坐标系的原点从三维测量仪移动到球幕的球心位置,得到转换后的世界坐标(Xa,Ya,Za);
映射模块113,用于通过坐标转换获取球幕上任一点的世界坐标与投影机显示图像上对应点的像素坐标的坐标转换关系;
坐标计算模块114,用于根据所述坐标转换关系计算标记点的世界坐标(Xa,Ya,Za)对应的显示图像上的的理论像素坐标(c,r);
参数计算模块115,用于对于每台投影机计算位置参数,使得该投影机显示图像上若干个标记点的实际像素坐标(x,y)与的理论像素坐标(c,r)最接近;
图像模块116,用于通过三维建模和模拟投影生成平面的原始图像,并确定所述原始图像的像素坐标(U,V)与相应的投影机显示图像的像素坐标(c,r)的对应关系,进而确定原始图像上的像素与荧幕上投影像素的坐标映射关系;
第二获取模块117,用于根据所述坐标映射关系,基于计算得到的投影机的位置参数,获取球幕上不同投影机的投影区域和拼接区域分别对应的原始图像上的像素区域;
处理模块118,用于基于在原始图像上确定的、不同投影机的投影区域和拼接区域分别对应的像素区域,进行图像拼接融合处理。
可以理解,本实施例的多台球幕投影装置的各个功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可参照上述方法实施例中的相关描述,此处不再赘述。
本实施例上述方案,通过坐标转换方式,获取球幕与投影机显示图像的坐标映射关系,并通过绘制标记点,根据标记点的实际像素坐标和反推得到的理论像素坐标的比较,计算确定投影机的位置参数;以此进行图像拼接融合处理,从而,可以高精度的实现投影图像的拼接融合,提高画面还原度,解决现有技术中球幕投影拼接融合不佳导致的画面变形、重影等问题。
相比于现有的机器视觉方法,本发明方案所需装置仅为三维测量仪,无需使用工业摄像头等配套设备,省去了设备安装时间,花费成本更低。
当其中一部分投影机因为外界因素产生画面移动,本方法只需要对这些投影机画面重新采集并与原数据联合计算,即可生成新的变形图像,而现有技术需要对所有投影重新计算,比较而言,本发明方案维护更便捷。
优选实施例中,能够根据相对位置关系将三维世界坐标转为二维图像上的点来实时绘制网格图像,根据计算结果进行验证修正,能实时调节并修正世界坐标以达到理想状况。
【二】、两台球幕投影
两台球幕投影,是指采用两台投影机投射在球形的屏幕上形成投影画面的投影方式。两台鱼眼投影的球幕投影相比于传统的单台鱼眼投影,能带来的清晰度和亮度提升,其要点在于如何解决鱼眼镜头畸变对画面的影响与球幕显示画面变形与重叠区域的拼接融合。现有的球幕两台鱼眼投影影片拼接融合,一般是通过在三维Maya软件中建立理论的投影机与投影的关系来渲染影片。然而Maya中无法体现鱼眼镜头畸变与位移,加之理论与现实的投影机位置与球幕模型曲面不匹配会使得画面无法重合,造成画面变形与重影。因此,通常会使用变形软件使画面重合。这类变形是产生特定数学算法的曲线使画面变形,变形趋势难以掌控,易造成球幕画面扭曲重影。
请参考图12,本发明的一个实施例,提供给一种两台球幕投影方法,应用于两台投影机向同一球幕投影图像。
如图12所示,所述方法可以包括:
121、确定两台投影机各自在球幕上的投影范围,确保两台投影机的投影图像分别覆盖一半球幕且有一定宽度的拼接区域;
122、在每台投影机显示图像上绘制出若干个标记点,记录标记点的实际像素坐标(x,y);
123、获取球幕上任一点的世界坐标与投影机显示图像上对应点的像素坐标的坐标转换关系;
124、根据球幕投影图像上标记点对应的世界坐标(Xa,Ya,Za),按照所述坐标转换关系计算对应的显示图像上的的理论像素坐标(c,r);
125、对于每台投影机计算位置参数,使得该投影机显示图像上若干个标记点的实际像素坐标(x,y)与的理论像素坐标(c,r)最接近;
126、通过三维建模和模拟投影生成平面的原始图像,并确定所述原始图像的像素坐标(U,V)与相应的投影机显示图像的像素坐标(c,r)的对应关系,进而确定所述原始图像上的像素与荧幕上投影像素的坐标映射关系;
127、根据所述映射关系,基于计算得到的投影机的位置参数,获取球幕上不同投影机的投影区域和拼接区域分别对应的原始图像上的像素区域,所述球幕上的拼接区域是按纬度划分的规则区域;
128、基于在原始图像上确定的、不同投影机的投影区域和拼接区域分别对应的像素区域,进行图像拼接融合处理。
上述方法,基于球幕、投影机的相对位置关系,分别建立不同的坐标系以及不同坐标系之间的转换关系,利用该转换关系,通过坐标转换获取球幕上任一点的位置坐标与投影机显示图像上对应点的像素坐标的映射关系。
根据上述的映射关系,也可以根据球幕上标记点的世界坐标计算在显示图像对应的像素坐标。由于实际与理论的差异,计算得到的标记点的理论像素坐标与实际的坐标可能会有差异,基于该差异,可以计算两者最接近时投影机的位置参数作为最优解,从而确定投影机与球幕的相对位置关系。
另外,投影机显示芯片是平面的,所显示的画面也是平面的,可以通过三维建模建立球幕模型,通过模拟投影生成与三维的球幕模型相应的平面上的、圆形的原始图像。原始图像在经过处理后可输出给投影机显示在其显示芯片上,向球幕投影。原始图像和投影机的显示图像是有确定的对应关系,原始图像上的像素坐标和显示图像上的像素坐标有一一对应的关系。该对应关系是确定的,是本领域一般技术人员可以直接实现的。
基于上述映射关系和对应关系,可以建立其球幕上的点与原始图像上的点的一一对应的关系,从而获取球幕上不同投影机的投影区域和拼接区域分别对应的原始图像上的像素区域。
最后,根据在原始图像上确定的对应于不同投影机区域的像素区域、以及对应于拼接区域的像素区域,可以对原始图像进行拼接融合等处理,得到可以输出给投影机进行投影的图像,或者说视频画面。
可选的,一种实现方式中,所述方法还包括:获取使用三维测量仪器测量记录的球幕投影图像上标记点对应的三维坐标(X,Y,Z),并将世界坐标系的原点从三维测量仪移动到球幕的球心位置,得到转换后的世界坐标(Xa,Ya,Za),该世界坐标是球幕的半径和经度及纬度的函数。
可选的,一种实现方式中,步骤126之前,还包括:按照经纬度生成球幕网格图像,根据所述映射关系,按照计算得到的投影机的位置参数,将球幕网格图像转换为投影机显示的二维图像,绘制出平面网格图像;将平面网格图像投射到投影机显示,使得平面网格图像能够全部出现在投影机显示图像上,并使投影正确覆盖球幕;验证现实球幕与理论球幕的差异,根据验证结果修正世界坐标,进而修正所述映射关系。
可选的,一种实现方式中,步骤123可包括:基于球幕建立世界坐标系,基于任一投影机建立以下多个坐标系:基于投影机的投影机坐标系,基于投影机显示芯片平面的图像坐标系,以及显示芯片上显示图像的像素坐标系,并建立坐标系之间的转换关系;根据坐标系之间的转换关系,过坐标转换获取球幕上任一点的位置坐标与投影机显示图像上对应点的像素坐标的映射关系。
可选的,一种实现方式中,所述基于球幕建立世界坐标系包括:以球幕的球心为原点,竖直向下为Y轴建立世界坐标系;所述基于任一投影机建立以下多个坐标系包括:基于投影机、以投影机的光心为原点建立投影机坐标系,基于投影机显示芯片平面、以显示芯片的中心为原点建立二维的图像坐标系,基于投影机显示芯片平面、以显示图像一顶点处的像素为原点,建立像素坐标系;所述建立坐标系之间的转换关系,包括:根据投影机相对于世界坐标系原点的距离和旋转角度,建立世界坐标系和投影机坐标系的第一转换关系;根据投影光学原理建立投影机坐标系和图像坐标系的第二转换关系;根据显示芯片的尺寸和像素的尺寸,建立图像坐标系和像素坐标系的第三转换关系。
可选的,一种实现方式中,所述根据坐标系之间的转换关系,通过坐标转换获取球幕上任一点的位置坐标与投影机显示图像上对应点的像素坐标的映射关系,包括:将球幕上任一点用世界坐标(Xa,Ya,Za)表示;根据所述第一转换关系得到对应的投影机坐标(Xc,Yc,Zc);根据所述第二转换关系得到对应的图像坐标(u,v);根据所述第三转换关系得到对应的像素坐标(c,r)。
其中,
Xa=R0cos(n),Ya=R0sin(n)*cos(e),Za=R0sin(n)*sin(e)
Figure BDA0001806275780000181
Figure BDA0001806275780000182
Figure BDA0001806275780000183
Figure BDA0001806275780000184
R0表示球幕的半径;e和n分别是球幕的经度和纬度;Rx、Ry、Rz分别是投影机在原点绕世界坐标系X、Y、Z轴旋转的角度α、β、γ所对应的旋转矩阵,T是投影机相对于世界坐标系平移的平移矩阵;f是投影机的焦距,θ是点(Xc,Yc,Zc)与投影机坐标系原点的连线和投影机坐标系Z轴的夹角,Rd是镜头模型参数,k是镜头畸变参数,(u',v')是根据坐标转换关系直接计算得到的图像坐标,(u,v)是考虑镜头畸变后得到的最终的图像坐标,F(k)是镜头畸变影响函数,可采用理论公式或经验公式,本文不予限制。Cx,Cy是投影机镜头中心沿着图像坐标系x,y轴的偏移量;dx、dy是投影机显示芯片上每一个像素的长宽。
可选的,一种实现方式中,步骤125可包括:计算任一标记点的实际像素坐标(x,y)与对应的理论上的像素坐标(c,r)的距离Δx,
Figure BDA0001806275780000185
计算
Figure BDA0001806275780000186
m为标记点的个数;计算
Figure BDA0001806275780000187
趋近于0时的投影机位置参数,所述位置参数包括:α、β、γ、T、Cx,Cy。
可选的,一种实现方式中,步骤126包括:通过三维建模建立球幕模型,在球幕模型的球心位置通过放置虚拟等距鱼眼摄像机生成的二维平面上、圆形的原始图像,所述原始图像的像素坐标(U,V)与相应的投影机显示图像的像素坐标(c,r)右确定的对应关系。
可选的,一种实现方式中,步骤127可包括:获取球幕上不同投影机的投影区域和拼接区域;根据所述映射关系,基于计算得到的投影机的位置参数,获取球幕上不同投影机的投影区域和拼接区域对应的投影机显示图像上像素区域的(c,r)点阵;根据所述对应关系,进而获取不同投影机的投影区域和拼接区域分别对应的原始图像上像素区域的(U,V)点阵。
可选的,一种实现方式中,步骤128所述进行图像拼接融合处理,可包括:用alpha通道对原始图像上的拼接区域做亮度衰减处理;利用仿射变换处理原始图像,得到相应投影机需要投射的图像。
可选的,一种实现方式中,所述利用仿射变换处理原始图像,得到相应投影机需要投射的图像,可包括:利用仿射变换将原始图像的图像点阵仿射到投影机显示芯片的像素点阵,生成投影机需要投射的第一图像;利用仿射变换将原始图像alpha通道的图像点阵仿射到投影机显示芯片的像素点阵,生成投影机需要投射的第二图像;对第一图像和第二图像做融合处理。
上述方案例如可以在图像处理设备,例如计算机设备具体实施。
为便于更好的理解本发明实施例提供的技术方案,下面通过一个具体场景下的实施方式为例进行介绍。
一.投影机相对于球幕参数位置确定
球幕两台鱼眼投影本身应满足单台投影机画面覆盖一半球幕并保证拼接带区域宽度满足需求。
可利用标定软件标定并显示两台投影机画面需求的画面区域——半球画面加拼接带中均布若干个像素坐标(x,y)点阵。根据光路可逆原理,投影机可视为逆向的相机。根据相机的标定原理,应采用至少9个点的标定点,为了减少粗大误差与加快后面计算机演化算法,我们选取了均布投影机画面的27个的标记点阵。可利用三维空间测量仪器(简称三维测量仪器或三维测量仪)依次对标定点测量记录其三维坐标数据(X,Y,Z)。可利用测量好的三维数据计算出球幕的球心O与半径值R0,将世界坐标系原点移动到球心的位置,则球幕上的点可以表示为:
Figure BDA0001806275780000191
以经纬(e,n)度划定球幕上的点,则有:
Xa=R0cos(n);Ya=R0sin(n)*cos(e);
Za=R0sin(n)*sin(e);
可建立以投影机出光点即光心为原点的投影机坐标系,定义z轴朝向镜头中心出光方向即光轴方向,定义y轴朝向投影机正放时竖直向下的方向,投影机坐标系与投影机随动、绑定。则基于空间中的任一位置的投影机建立的投影机坐标系可以通过与世界坐标系完全重合的起始位置旋转之后平移而得到。
如图13,可定义投影机在原点绕世界坐标系X、Y、Z轴旋转的角度为α、β、γ,对应三个旋转矩阵记为Rx、Ry、Rz;旋转之后按投影机自身坐标系Xc、Yc、Zc轴的平移量分别记为Tx,Ty,Tz,对应的一个平移矩阵记为T。则投影机坐标系上的点(Xc,Yc,Zc)与世界坐标系球幕的点(Xa,Ya,Za)转换关系如下:
Figure BDA0001806275780000201
如图14,以芯片平面作二维的图像坐标系,投影机焦距为f,U、V轴方向与投影机坐标系相同,芯片中心为原点,(Xc,Yc,Zc)与投影机坐标原点连线与中心光轴(即投影机坐标系Z轴)夹角为θ,镜头模型为Rd,镜头畸变k,以等立体角鱼眼为例,则(Xc,Yc,Zc)投射在芯片上的(u,v)有:
Figure BDA0001806275780000202
如图14,可定义显示图像左上角像素为(0,0),当镜头未偏移时镜头中心在画面中心即像素中心,记镜头中心沿着图像坐标系u、v轴的偏移量为Cx,Cy。显示芯片尺寸与图像的像素总量已知,则可以得到显示芯片上每一个像素的长宽dx、dy。因此,可建立显示芯片上的显示图像上任一点的图像坐标(u,v)与显示图像的像素坐标(c,r)的对应关系:
Figure BDA0001806275780000203
如上所述,对于单台投影机标记像素(x,y)对应的三维坐标(Xa,Ya,Za)经过上述转换可以得到相应的像素坐标(c,r)。(x,y)为实际像素坐标,(c,r)为理论像素坐标,(x,y)与对应(c,r)越接近,说明该参数设置的虚拟投影机位置产生的画面与现实越接近。
两个点接近的程度可用Δx表示,有:
Figure BDA0001806275780000211
投影机的焦距f、显示芯片尺寸、分辨率已知,镜头模型Rd已知,则可利用计算机演化算法计算α、β、γ、Tx、Ty、Tz、Cx、Cy,得到数组t,使得
Figure BDA0001806275780000212
的值趋近于0。此时得到的数组t包括的上述参数α、β、γ、Tx、Ty、Tz、Cx、Cy,即为相应投影机的最佳位置参数。
二.参数校验与球幕模型修正
可按照经纬度(e,n)生成球幕上的点,点与点之间用若干个同纬度(经度)的点绘制的曲线连接,根据上面步骤的数组t的将这些三维的点线转换为投影机显示二维图像的点与线,将其投影到投影机来显示观察验证计算结果。根据一台投影所占经纬度的理论值限定显示的网格幅度,为世界坐标系提供沿着的X、Y、Z轴转动的rα,rβ,rγ旋转参数,调节使得网格能全部出现在投影机画面中并能使网格正确的位置覆盖球幕。两台投影的坐标旋转参数必须一模一样,调节使得两个拼接区域大小(经纬度)完整且相同。
由于现实球幕与理论球体会存在偏差,使得偏差区域的网格错开。为修正这一偏差使得虚拟球幕模型与现实球幕模型匹配,可选择一个球幕经纬度点,修正范围记为Frange,该点的修正深度记为Fd,球幕上任何点与该点的距离记为LF,修正曲线记为K,则在修正范围内新的世界坐标点(Xa1,Ya1,Za1)变化为:
Figure BDA0001806275780000213
三.原始图像生成与变形
如图15所示,可采用三维建模方法,在三维渲染软件中建立球幕模型,在球幕模型的球心位置放置虚拟等距鱼眼摄像机拍摄生成的原始图像,原始图像具体可以是圆形的平面图像。原始图像上的点记为(U,V),则(U,V)在与虚拟球幕上的点有唯一映射关系。当投影机的数组t确定,也就是投影机位置确定时,根据前文所述的映射关系,投影机显示图像上的像素同样也在球幕上有着唯一映射的点,可建立其投影机像素(c,r)与原始图像坐标的映射。从而可以建立起来球幕上的点,投影图像上的像素,以及原始图像上的像素,相互的映射关系。根据该映射关系,可以获取球幕上不同投影机的投影区域和拼接区域分别对应的原始图像上的像素区域。
如图16所示,可以将投影机显示图像按照特定宽度和高度间隔取点生成均布整个投影机显示图像画面的像素(c,r)点阵,将这些点阵映射到原始图像可得到对应的图像(U,V)点阵。
每台投影按照网格所在的经纬度区域按照经纬度间隔(例如1度)分为行列数的点阵(X,Y,Z),在各自投影的相应的参数中转换为对应的(c,r)点阵,将这些点阵映射到原始图像得到对应的图像(U,V)点阵。
可利用仿射变换将图像(U,V)点阵中的画面仿射到投影机显示图像的像素点阵中,输出的图片可作为投影机所需投射的图像。但直接输出的图像,拼接区域的亮度会高于其它区域,因此,还需要做亮度衰减处理。
四.投影机投影拼接重叠画面区域的亮度衰减
可以用阿尔法(alpha)通道来对原始图像的拼接区域做亮度衰减。
具体的,对于原始图像的每个像素计算alpha通道值来衰减图像拼接区域的亮度,假设拼接带纬度范围为n1-n2(n2>n1),因为拼接区域是按纬度划分的规则区域,因此可将同一纬度的所有点都设定为同一亮度,以n1在内部的投影画面部分为例,拼接带间像素点(纬度值为ni)的alpha通道值:
Figure BDA0001806275780000221
得到每台投影机的原始图像alpha通道值后,同样利用仿射变形将变形得到投影机分辨率的alpha通道图像,变形后的图像加上alpha通道图像即得到所需投影机投射拼接融合图像,如图16所示。将所有序列帧处理并打包即可完成影片融合制作。
以上,结合具体的应用场景,对本发明实施例方法进行了详细说明。
为了更好的实施上述方案,下面还提供用于配合实施上述方案的相关装置。
请参考图17,本发明的一个实施例,提供一种两台球幕投影装置,应用于两台投影机向同一球幕投影图像,所述装置可包括:
确定模块171,用于确定两台投影机各自在球幕上的投影范围,确保两台投影机的投影图像分别覆盖一半球幕且有一定宽度的拼接区域;
标记模块172,用于在每台投影机显示图像上绘制出若干个标记点,记录标记点的实际像素坐标(x,y);
映射模块173,用于通过坐标转换获取球幕上任一点的世界坐标与投影机显示图像上对应点的像素坐标的坐标转换关系;
坐标计算模块174,用于根据球幕投影图像上标记点对应的世界坐标(Xa,Ya,Za),按照所述坐标转换关系计算对应的显示图像上的的理论像素坐标(c,r);
参数计算模块175,用于对于每台投影机计算位置参数,使得该投影机显示图像上若干个标记点的实际像素坐标(x,y)与的理论像素坐标(c,r)最接近;
图像生成模块176,用于通过三维建模和模拟投影生成平面的原始图像,并确定所述原始图像的像素坐标(U,V)与相应的投影机显示图像的像素坐标(c,r)的对应关系,进而确定原始图像上的像素与荧幕上投影像素的坐标映射关系;
图像获取模块177,用于根据所述映射关系,基于计算得到的投影机的位置参数,获取球幕上不同投影机的投影区域和拼接区域分别对应的原始图像上的像素区域,所述球幕上的拼接区域是按纬度划分的规则区域;
处理模块178,用于基于在原始图像上确定的、不同投影机的投影区域和拼接区域分别对应的像素区域,进行图像拼接融合处理。
可以理解,本实施例的两台投影球幕的拼接融合装置的各个功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可参照上述方法实施例中的相关描述,此处不再赘述。
本实施例上述方案通过坐标转换方式,获取球幕与投影机显示图像的坐标映射关系,并通过绘制标记点,根据标记点的实际像素坐标和反推得到的理论像素坐标的比较,计算确定投影机的位置参数;以此进行图像拼接融合处理,从而,可以高精度的实现投影图像的拼接融合,提高画面还原度,解决现有技术中球幕投影拼接融合不佳导致的画面变形、重影等问题。相比于现有技术,本发明方案能产生精准的变形融合后的图像影片,还原镜头畸变带来的影响。
优选实施例中,利用三维测量仪与画面像素标记软件来确定投影机位置,能产生与现实相同画面的虚拟投影机位置,能够实现与球幕位置的关系与鱼眼镜头畸变的还原。
优选实施例中,能够根据相对位置关系将三维世界坐标转为二维图像上的点来实时绘制网格图像,根据计算结果进行验证修正,能实时调节并修正世界坐标以达到理想状况。
【三】、多台环幕投影
多台环幕投影,是指采用多台投影(通道)投射在环形屏幕上组成的投影屏幕画面,包括二维与立体投影***。其要点在于如何解决画面变形与重叠画面的拼接融合。现有的环幕多台投影画面拼接融合,一般是通过在三维图像处理软件例如Maya软件中建立理论的投影机与环幕关系来渲染影片。然而Maya中无法体现镜头位移,加之理论与现实的投影机位置与银幕模型曲面不匹配会使得画面无法重合,造成画面变形与重影。另一种方式是通过使用变形软件使画面重合。这类变形是产生特定数学算法的曲线使画面变形,但是,变形趋势难以掌控,易造成拼接区域画面扭曲重影与亮度不均。
请参考图18,本发明的一个实施例,提供给一种多台环幕投影方法,应用于多台投影机向同一环幕投影图像。其中,所述的环幕是环形屏幕或环形幕的简称。所述的投影是指向环幕上投射图像。所述的图像可以是视频画面。
如图18所示,所述方法可以包括:
181、获取环幕上任一点的位置坐标与投影机显示图像上对应点的像素坐标的坐标转换关系。
本文中,利用数学模型方法,基于环幕、投影机的相对位置关系,分别建立不同的坐标系以及不同坐标系之间的转换关系,可通过坐标转换获取环幕上任一点的位置坐标与投影机显示图像上对应点的像素坐标的映射关系。
182、根据所述坐标转换关系,确定环幕上不同投影机的投影区域和拼接区域分别对应的显示图像上的像素区域。
调节投影机向环幕投影,可以通过利用三维测量仪辅助测量计算等方式,获取环幕上不同投影机的投影区域和拼接区域,这些区域可以用环幕上的位置坐标表示。根据上一步骤获取的映射关系,可以将位置坐标转换为像素坐标,从而获得显示图像上对应的像素坐标,即,获取显示图像上相应的像素区域。
183、通过三维建模和模拟投影生成平面的原始图像,基于原始图像和显示图像的对应关系以及所述坐标转换关系,确定原始图像上的像素与荧幕上投影像素的坐标映射关系,进而确定取不同投影机的投影区域和拼接区域分别对应的原始图像上的像素区域。
投影机显示芯片是平面的,所显示的画面也是平面的,可以通过三维建模建立环幕模型,通过模拟投影生成与环幕模型相应的平面的原始图像。原始图像在经过处理后可输出给投影机显示在其显示芯片上,向环幕投影。由于原始图像是需要显示在投影机上的,因此,原始图像和投影机的显示图像是有确定的对应关系,原始图像上的像素坐标和显示图像上的像素坐标可以有一一对应的关系。本文中,对于该对应关系的具体公式表示不做限定,但该对应关系是确定的,是本领域一般技术人员可以直接实现的。进而可以确定原始图像上的像素与荧幕上投影像素的坐标映射关系。
一些实施例中,通过坐标转换方式,可以根据荧幕上投影像素的坐标推算投影机显示图像上对应的标记像素的坐标,也就是说,可以获取投影机显示图像上标记像素的理论像素坐标和实际像素坐标。然后,可以通过调整投影机参数使获得的两个坐标接近,来确定较佳的投影机参数,进而建立投影机显示的原始图像的像素与荧幕上投影像素的坐标映射关系。或者,通过坐标转换方式,可以获取环幕上投影像素的投影坐标和位置坐标,然后通过调整投影机参数使获得的两个坐标接近,来确定较佳的投影机参数,进而建立投影机显示的原始图像的像素与荧幕上投影像素的坐标映射关系。
184、基于在原始图像上确定的、不同投影机的投影区域和拼接区域分别对应的像素区域,进行图像拼接融合处理。
最后,根据在原始图像上确定的对应于不同投影机区域的像素区域、以及对应于拼接区域的像素区域,可以对原始图像进行拼接融合等处理,得到可以输出给投影机进行投影的图像,或者说视频画面。
可选的,一种实现方式中,步骤11具体可包括:
基于环幕建立世界坐标系,基于任一投影机建立以下多个坐标系:基于投影机的投影机坐标系,基于投影机显示芯片平面的图像坐标系,以及显示芯片上显示图像的像素坐标系,并建立坐标系之间的转换关系;根据坐标系之间的转换关系,通过坐标转换获取环幕上任一点的位置坐标与投影机显示图像上对应点的像素坐标的映射关系。
可选的,一种实现方式中,所述基于环幕建立世界坐标系包括:以环幕的弧度的圆心线在环幕高度的一半处为原点,水平朝向环幕中间为Z轴,竖直向下为Y轴建立世界坐标系;所述基于任一投影机建立以下多个坐标系包括:基于投影机、以投影机的光心为原点建立投影机坐标系,基于投影机显示芯片平面、以显示芯片的中心为原点建立二维的图像坐标系,基于投影机显示芯片平面、以显示图像一顶点处的像素为原点,建立像素坐标系;所述建立坐标系之间的转换关系,包括:根据投影机相对于世界坐标系原点的距离和旋转角度,建立世界坐标系和投影机坐标系的第一转换关系;根据投影光学原理建立投影机坐标系和图像坐标系的第二转换关系;根据显示芯片的尺寸和像素的尺寸,建立图像坐标系和像素坐标系的第三转换关系。
可选的,一种实现方式中,所述根据坐标系之间的转换关系,通过坐标转换获取环幕上任一点的位置坐标与投影机显示图像上对应点的像素坐标的映射关系,包括:将环幕上任一点的位置坐标(θ,h)用世界坐标(X,Y,Z)表示;根据所述第一转换关系得到对应的投影机坐标(Xc,Yc,Zc);根据所述第二转换关系得到对应的图像坐标(u,v);根据所述第三转换关系得到对应的像素坐标(c,r)。其中,
Figure BDA0001806275780000251
Figure BDA0001806275780000252
u=f*Xc/Zc,v=f*Yc/Zc
Figure BDA0001806275780000261
θ表示该点到世界坐标系Y轴的垂线和世界坐标系X轴的夹角,h表示该点相对于环幕底端的高度,r表示该点与世界坐标系Y轴的距离,H表示环幕的高度;Rx、Ry、Rz分别是投影机在原点绕世界坐标系X、Y、Z轴旋转的旋转矩阵,Tz是投影机相对于世界坐标系平移的平移矩阵;f是投影机的焦距,Cx,Cy是投影机镜头中心沿着图像坐标系x轴,y轴的偏移量;dx、dy是投影机显示芯片上每一个像素的长宽。
可选的,一种实现方式中,步骤12可包括:调节投影机参数对环幕投影,获取环幕上不同投影机的投影区域和拼接区域,并按照设定间距在环幕上生成一定行列数的(θ,h)点阵,(θ,h)是环幕上的位置坐标;根据所述映射关系,获取所述(θ,h)点阵对应的显示图像上像素区域的(c,r)点阵,(c,r)是显示图像上的像素坐标。
可选的,一种实现方式中,步骤183可包括:通过三维建模建立环幕模型,在环幕模型的观众观察点设置虚拟相机,将虚拟相机采集到的图像投射到环幕模型上,将环幕模型上显示的图像平面展开得到原始图像,并确定所述原始图像的像素坐标(U,V)与投影机显示图像的像素坐标(c,r)的对应关系;根据所述映射关系和对应关系,获取不同投影机的投影区域和拼接区域的(θ,h)点阵分别对应的原始图像上像素区域的(U,V)点阵。
可选的,一种实现方式中,步骤184可包括:用alpha通道对原始图像上的拼接区域做亮度衰减处理;利用仿射变换处理原始图像,得到相应投影机需要投射的图像。
上述方案例如可以在图像处理设备,例如计算机设备具体实施。
为便于更好的理解本发明实施例提供的技术方案,下面通过一个具体场景下的实施方式为例进行介绍。
首先,基于环幕建立世界坐标系。如图19所示,可以以环幕的弧度的圆心线在环幕高度的一半处为原点,水平朝向环幕中间为Z轴,竖直向下为Y轴建立世界坐标系。可以按世界坐标系,以环幕的现实半径R、高度H与环幕弧度Φ确定环幕模型点阵范围。可选的,实际的环幕可能有突出的腰鼓。本实施例中,其突出的腰鼓可用腰鼓半长a与腰鼓深度b来确定。环幕上任一点的实际半径r与该点所在环幕位置的高度值h相关,实际半径r实际上是该点到世界坐标系的Y轴的距离,是一个小于或等于R的数值,其最大值是R,最小值是R-b。
本文中,可以将环幕上任一点到世界坐标系Y轴的垂线与世界坐标系X轴的夹角定义为环幕的角度θ,也就是说,定义z轴方向的环幕角度为90°。则环幕上的每一个点即可用位置坐标(θ,h)唯一确定,其中,h是该点在环幕上的高度,即,该点相对于环幕底端的高度。
可以用世界坐标系上的点(X,Y,Z)来表示环幕的点(θ,h,):
Figure BDA0001806275780000271
然后,定义投影机坐标系。如图19所示,可以以投影机的光心或者说出光点为原点,以正中央的出光方向或者说光轴为Z轴定义投影机坐标系,即Z轴垂直于投影机的显示芯片。可定义投影机在世界坐标系的原点绕世界坐标系X、Y、Z轴旋转的角度分别为α、β、γ,对应的三个旋转矩阵记为Rx、Ry、Rz;旋转之后按投影机自身坐标系Xc、Yc、Zc轴的平移量分别记为Tx,Ty,Tz,对应一个平移矩阵记为T。则投影机坐标系上的点(Xc,Yc,Zc)与世界坐标系环幕的点(X,Y,Z)的第一转换关系为:
Figure BDA0001806275780000272
然后,定义图像坐标系。如图20所示,可以以投影机显示芯片平面作二维的图像坐标系,图像坐标系的u轴、v轴方向分别与投影机坐标系的Xc轴、Yc轴相同,并以显示芯片中心为图像坐标系的原点。因为投影机发出的光线都穿过光心,即投影机坐标系的原点,并记投影机焦距为f,则可以建立显示芯片上的发光点的像素位置的图像坐标(u,v)与投射点在图像坐标系上的点(Xc,Yc,Zc)的第二转换关系:
u=f*Xc/Zc v=f*Yc/Zc
然后,定义像素坐标系。可定义显示芯片上显示图像的一个顶点例如左上角的像素为像素坐标系的原点(0,0),且像素坐标系的c轴、r轴分别与图像坐标系的u轴、v轴方向相同。当镜头未偏移时镜头中心在显示图像中心即像素中心,记镜头中心沿着图像坐标系u轴、v轴的偏移量为Cx,Cy。芯片尺寸与图像的像素总量已知,则可以得到芯片上每一个像素的长宽dx、dy。因此可以建立芯片上任一点的图像坐标(u,v)与像素坐标(c,r)的第三转换关系:
Figure BDA0001806275780000273
由此,根据上述步骤建立的坐标系和坐标系之间的转换关系,即可将环幕上的任一点的位置坐标转换为显示图像上的像素坐标,即,可以将环幕上的点阵准确反映到显示图像上。可选的,可以在相同高度h与相同角度θ的环幕上的点与点之间用线连接,即可绘制出当前相对位置参数的环幕网格。
其次,进行环幕投影,并获取环幕上投影图像的点阵对应的显示图像的像素点阵。可以通过三维测量仪辅助计算,调节投影机参数,使相同高度h的线在环幕上水平显示,调节银幕腰鼓参数使相同角度θ的线竖直显示。并使得投影图像拼接区域相同角度θ、高度h的线重合,相同重叠区域的拼接角度和高度范围完全一样。每台投影根据所拥有环幕的角度和高度按一定的角度宽度间隔生成一定行列数的(θ,h)点阵,并经过上述坐标转换得到对应的(c,r)点阵。
其次,通过三维建模和模拟投影生成平面的原始图像。如图21所示,可以在三维渲染软件中进行三维建模,建立银幕高为H,半径为R,弧度为Φ的环幕模型,并在环幕模型的观众观察点放置虚拟相机,将虚拟相机透过环幕显示区域采集到的画面重新投射到环幕模型上,将银幕模型上的图像平面展开即可得原始图像。由于原始图像和投影机的显示图像有确定的对应关系,(θ,h)点阵在原始图像上同样有确定的映射关系,原始图像上映射的像素点阵记为(U,V)。
最后,进行图像拼接融合处理。可以用alpha通道来对原始图像的拼接区域做亮度衰减。由于在网格拼接时拼接区域均设为规则等同宽高的矩形,即拼接带,所以可以将拼接带同一角度θ对应图像像素(U,V)的alpha通道值设定为相等,假定拼接带左右边缘角度值为θ1,θ2,为减少马赫带效应,因此设定相邻的画面拼接带的透明度拼接渐变为三角函数相关曲线,设定拼接带像素对应的角度值为θi,以θ1在内侧的投影画面为例计算,拼接带的alpha通道值wi为:
Figure BDA0001806275780000281
按照上述方式完成alpha通道的亮度衰减处理。单个投影在原始图像的亮度与范围均已经确定。且(U,V)的点均布在投影原始图像区域并与相应投影的显示图像上的(c,r)一一对应。可利用仿射变换,将原始图像按(U,V)与相邻两个点的三角图像仿射对应到与(c,r)的对应相邻的两点的三角区域,如图22所示,将整个区域仿射并输出,即得到相应的可以输出给投影机进行投影的图像,即影片融合好的序列帧。
以上,结合具体的应用场景,对本发明实施例方法进行了详细说明。
为了更好的实施上述方案,下面还提供用于配合实施上述方案的相关装置。
请参考图23,本发明的一个实施例,提供一种多台环幕投影装置,应用于多台投影机向同一环幕投影图像。所述装置可包括:
获取模块231,用于获取环幕上任一点的位置坐标与投影机显示图像上对应点的像素坐标的坐标转换关系;
确定模块232,用于根据所述坐标转换关系,确定环幕上不同投影机的投影区域和拼接区域分别对应的显示图像上的像素区域;
图像模块233,用于通过三维建模和模拟投影生成平面的原始图像,基于原始图像和显示图像的对应关系以及所述坐标转换关系,确定原始图像上的像素与荧幕上投影像素的坐标映射关系,进而确定取不同投影机的投影区域和拼接区域分别对应的原始图像上的像素区域;
处理模块234,用于基于在原始图像上确定的、不同投影机的投影区域和拼接区域分别对应的像素区域,进行图像拼接融合处理。
可以理解,本实施例多台环幕投影装置的各个功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可参照上述方法实施例中的相关描述,此处不再赘述。
本实施例上述方案通过获取坐标映射关系,确定环幕上不同投影机的投影区域和像拼接区域所对应的原始图像上的像素区域,进行图像拼接融合处理,可以实现投影图像的高精度的拼接融合,提高画面还原度。
本实施例上述方案,可通过绘制环幕网格图像,进行计算结果验证与校正,根据计算结果可调整环幕参数,通过环幕参数的设置可以准确的还原银幕变形带来的画面变形。
并且,现有的拼接融合技术中一般是预先生成屏幕网格图像,然后需要移动投影机去对齐网格,本发明方案无需移动投影机,只要投影机能满足打满环幕画面中所需的投影区域这一最基本的要求即可,一方面避免移动投影机可提高精度,另一方面减少了处理程序。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述动作顺序的限制,因为依据本发明,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。再次,本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。
本文中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想,而非对其限制;本领域的普通技术人员应当理解:依据本发明的思想,可以对上述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换,而这些修改或者替换,并不使相应技术方案的本质脱离本发明技术方案的精神和范围。

Claims (20)

1.一种荧幕投影方法,其特征在于,包括如下步骤:
获取投影机显示图像上标记像素所对应的、荧幕上的投影像素的实际位置坐标;
根据所述投影像素的实际位置坐标,计算所述标记像素在投影机显示图像上的理论像素坐标;
获取投影机显示图像上所述标记像素的实际像素坐标;
通过调整投影机参数,使得所述标记像素的理论像素坐标与实际像素坐标接近;
基于调整后的投影机参数,建立投影机显示的原始图像的像素与荧幕上投影像素的坐标映射关系;
所述方法还包括:预先建立投影机显示图像上标记像素与荧幕上投影像素的坐标转换关系;所述建立投影机显示图像上标记像素与荧幕上投影像素的坐标转换关系,包括:基于荧幕建立世界坐标系,基于任一投影机建立以下多个坐标系:基于投影机的投影机坐标系,基于投影机显示芯片平面的图像坐标系,以及显示芯片上显示图像的像素坐标系;根据坐标系之间的位置关系建立转换关系,进而建立投影机显示图像上标记像素与荧幕上投影像素的坐标转换关系。
2.根据权利要求1所述的荧幕投影方法,其特征在于,获取投影机显示图像上标记像素所对应的、荧幕上的投影像素的实际位置坐标,包括:
在投影机显示图像上绘制出若干个标记点,记录标记点的实际像素坐标。
3.根据权利要求1所述的荧幕投影方法,其特征在于,获取投影机显示图像上所述标记像素的实际像素坐标,包括:
使用三维测量仪器测量记录荧幕上对应的投影像素的实际位置坐标。
4.根据权利要求1所述的荧幕投影方法,其特征在于,所述根据所述投影像素的实际位置坐标,计算所述标记像素在投影机显示图像上的理论像素坐标包括:基于所述坐标转换关系进行计算。
5.根据权利要求1所述的荧幕投影方法,其特征在于,
所述基于荧幕建立世界坐标系包括:若所述荧幕为球幕,则以球幕的球心为原点,竖直向下为Y轴建立世界坐标系;若所述荧幕为环幕,则以环幕的弧度的圆心线在环幕高度的一半处为原点,水平朝向环幕中间为Z轴,竖直向下为Y轴建立世界坐标系;
所述基于任一投影机建立以下多个坐标系包括:基于投影机、以投影机的光心为原点建立投影机坐标系,基于投影机显示芯片平面、以显示芯片的中心为原点建立二维的图像坐标系,基于投影机显示芯片平面、以显示图像一顶点处的像素为原点,建立像素坐标系;
所述根据坐标系之间的位置关系建立转换关系,包括:根据投影机相对于世界坐标系原点的距离和旋转角度,建立世界坐标系和投影机坐标系的第一转换关系;根据投影光学原理建立投影机坐标系和图像坐标系的第二转换关系;根据显示芯片的尺寸和像素的尺寸,建立图像坐标系和像素坐标系的第三转换关系。
6.根据权利要求1所述的荧幕投影方法,其特征在于,所述投影机参数包括:
投影机在原点绕世界坐标系X、Y、Z轴旋转的角度α、β、γ,和旋转之后按投影机坐标系Xc、Yc、Zc轴的平移量Tx、Ty、Tz,以及投影机的镜头中心沿着图像坐标系u、v轴的偏移量Cx、Cy,以及投影机的焦距f。
7.根据权利要求1所述的荧幕投影方法,其特征在于,所述通过调整投影机参数,使得所述标记像素的理论像素坐标与实际像素坐标接近,包括:
计算任一标记点的理论像素坐标与实际像素坐标的距离,所述理论像素坐标与投影机参数相关;
对多个标记点计算得到的距离求和;
计算得到的和值趋近于0时的投影机参数。
8.根据权利要求1所述的荧幕投影方法,其特征在于,还包括:
通过三维建模和模拟投影生成平面的原始图像;
根据所述坐标映射关系,获取荧幕上不同投影机的投影区域和拼接区域分别对应的原始图像上的像素区域;
基于在原始图像上确定的、不同投影机的投影区域和拼接区域分别对应的像素区域,进行图像拼接融合处理。
9.根据权利要求8所述的荧幕投影方法,其特征在于,所述荧幕具体为球幕,所述方法应用于多台投影机向同一球幕投影图像,所述通过三维建模和模拟投影生成平面的原始图像之前,还包括:
绘制球幕网格图像,根据所述坐标映射关系,按照计算得到的投影机的位置参数,将球幕网格图像转换为投影机显示的二维图像,绘制出平面网格图像;将平面网格图像投射到投影机显示,验证现实球幕与理论球幕的差异,根据验证结果修正世界坐标,进而修正所述坐标映射关系。
10.根据权利要求9所述的荧幕投影方法,其特征在于,所述通过三维建模和模拟投影生成平面的原始图像,包括:通过三维建模建立球幕模型,在球幕模型的球心位置通过放置虚拟等距鱼眼摄像机生成的二维平面上、圆形的原始图像。
11.根据权利要求8所述的荧幕投影方法,其特征在于,所述荧幕具体为环幕,所述方法应用于多台投影机向同一环幕投影图像,所述通过三维建模和模拟投影生成平面的原始图像之前,还包括:
获取投影机的初始参数与每台投影机占有环幕的角度,根据投影重叠的区域来划定拼接区域的角度,按照设定间距生成一定行列数的坐标点阵环幕数学模型并连线形成初始网格,调节投影机参数使得投射在银幕上的网格垂直高度匹配现实荧幕高度,使得网格各角度线分布在荧幕对应的位置,并使得相邻投影拼接区域的网格吻合重叠。
12.根据权利要求11所述的荧幕投影方法,其特征在于,所述通过三维建模和模拟投影生成平面的原始图像,包括:
通过三维建模建立环幕模型,在环幕模型的观众观察点设置虚拟相机,将虚拟相机采集到的图像投射到环幕模型上,将环幕模型上显示的图像平面展开,生成二维平面上、矩形的原始图像。
13.根据权利要求8-12中任一所述的荧幕投影方法,其特征在于,所述进行图像拼接融合处理,包括:
用阿尔法通道对原始图像上的拼接区域做亮度衰减处理;
利用仿射变换分别对原始图像及其阿尔法通道进行处理,并对处理后的图像做融合处理,得到相应投影机需要投射的图像。
14.一种荧幕投影方法,其特征在于,包括如下步骤:
获取投影机显示图像上标记像素的像素坐标;
根据所述标记像素的像素坐标,计算荧幕上对应的投影像素的投影坐标;
获取荧幕上对应的投影像素的真实坐标;
通过调整投影机参数,使得同一投影像素的投影坐标与真实坐标接近;
基于调整后的投影机参数,建立投影机显示的原始图像的像素与荧幕上投影像素的坐标映射关系;
所述方法还包括:预先建立投影机显示图像上标记像素与荧幕上投影像素的坐标转换关系;所述建立投影机显示图像上标记像素与荧幕上投影像素的坐标转换关系,包括:基于荧幕建立世界坐标系,基于任一投影机建立以下多个坐标系:基于投影机的投影机坐标系,基于投影机显示芯片平面的图像坐标系,以及显示芯片上显示图像的像素坐标系;根据坐标系之间的位置关系建立转换关系,进而建立投影机显示图像上标记像素与荧幕上投影像素的坐标转换关系。
15.一种荧幕投影装置,其特征在于,包括如下模块:
坐标模块,用于预先建立投影机显示图像上标记像素与荧幕上投影像素的坐标转换关系;
获取模块,用于获取投影机显示图像上标记像素所对应的、荧幕上的投影像素的实际位置坐标;
计算模块,用于根据所述投影像素的实际位置坐标,基于所述坐标转换关系计算所述标记像素在投影机显示图像上的理论像素坐标;
所述获取模块,还用于获取投影机显示图像上所述标记像素的实际像素坐标;
调整模块,用于通过调整投影机参数,使得所述标记像素的理论像素坐标与实际像素坐标接近;
映射模块,用于基于调整后的投影机参数,建立投影机显示的原始图像的像素与荧幕上投影像素的坐标映射关系;
其中,所述建立投影机显示图像上标记像素与荧幕上投影像素的坐标转换关系,包括:基于荧幕建立世界坐标系,基于任一投影机建立以下多个坐标系:基于投影机的投影机坐标系,基于投影机显示芯片平面的图像坐标系,以及显示芯片上显示图像的像素坐标系;根据坐标系之间的位置关系建立转换关系,进而建立投影机显示图像上标记像素与荧幕上投影像素的坐标转换关系。
16.一种荧幕投影装置,其特征在于,包括如下模块:
坐标模块,用于预先建立投影机显示图像上标记像素与荧幕上投影像素的坐标转换关系;
获取模块,用于获取投影机显示图像上标记像素的像素坐标;
计算模块,用于根据所述标记像素的像素,计算荧幕上对应的投影像素的投影坐标;
所述获取模块,还用于获取荧幕上对应的投影像素的真实坐标;
调整模块,用于通过调整投影机参数,使得同一投影像素的投影坐标与真实坐标接近;
映射模块,用于基于调整后的投影机参数,建立投影机显示的原始图像的像素与荧幕上投影像素的坐标映射关系;
其中,所述建立投影机显示图像上标记像素与荧幕上投影像素的坐标转换关系,包括:基于荧幕建立世界坐标系,基于任一投影机建立以下多个坐标系:基于投影机的投影机坐标系,基于投影机显示芯片平面的图像坐标系,以及显示芯片上显示图像的像素坐标系;根据坐标系之间的位置关系建立转换关系,进而建立投影机显示图像上标记像素与荧幕上投影像素的坐标转换关系。
17.一种计算机设备,其特征在于,所述计算机设备包括处理器、存储器、总线和通信接口;所述存储器用于存储计算机程序,所述处理器与所述存储器通过所述总线连接,当所述计算机设备运行时,所述处理器执行所述存储器存储的所述计算机程序,以使所述计算机设备执行如权利要求1所述的荧幕投影方法。
18.一种计算机设备,其特征在于,所述计算机设备包括处理器、存储器、总线和通信接口;所述存储器用于存储计算机程序,所述处理器与所述存储器通过所述总线连接,当所述计算机设备运行时,所述处理器执行所述存储器存储的所述计算机程序,以使所述计算机设备执行如权利要求14所述的荧幕投影方法。
19.一种存储一个或多个程序的计算机可读存储介质,所述一个或多个程序包括指令,所述指令当被包括处理器的计算机设备执行时,使所述计算机设备执行如权利要求1所述的荧幕投影方法。
20.一种存储一个或多个程序的计算机可读存储介质,所述一个或多个程序包括指令,所述指令当被包括处理器的计算机设备执行时,使所述计算机设备执行如权利要求14所述的荧幕投影方法。
CN201811099366.3A 2018-09-20 2018-09-20 一种荧幕投影方法和装置及相关设备 Active CN109272478B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811099366.3A CN109272478B (zh) 2018-09-20 2018-09-20 一种荧幕投影方法和装置及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811099366.3A CN109272478B (zh) 2018-09-20 2018-09-20 一种荧幕投影方法和装置及相关设备

Publications (2)

Publication Number Publication Date
CN109272478A CN109272478A (zh) 2019-01-25
CN109272478B true CN109272478B (zh) 2022-03-25

Family

ID=65197710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811099366.3A Active CN109272478B (zh) 2018-09-20 2018-09-20 一种荧幕投影方法和装置及相关设备

Country Status (1)

Country Link
CN (1) CN109272478B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110035275B (zh) * 2019-03-27 2021-01-15 苏州华恒展览设计营造有限公司 基于大屏幕融合投影的城市全景动态显示***及方法
CN109873997A (zh) * 2019-04-03 2019-06-11 贵安新区新特电动汽车工业有限公司 投影画面校正方法及装置
CN110636275A (zh) * 2019-09-24 2019-12-31 深圳魔秀文化科技有限公司 一种沉浸式投影***及方法
CN110942498A (zh) * 2019-11-06 2020-03-31 天津大学 一种建立hud***图像翘曲形变模型的方法
CN111061421B (zh) * 2019-12-19 2021-07-20 北京澜景科技有限公司 一种画面投影方法、装置及计算机存储介质
CN111932686B (zh) * 2020-09-09 2021-01-01 南昌虚拟现实研究院股份有限公司 映射关系确定方法、装置、可读存储介质及计算机设备
CN111935468B (zh) * 2020-09-24 2021-01-22 歌尔股份有限公司 投影中心的偏移检测方法、装置及计算机可读存储介质
CN114531579A (zh) * 2020-11-23 2022-05-24 华强方特(深圳)科技有限公司 一种环幕投影方法和***及设备
EP4044104A4 (en) * 2020-12-04 2023-01-04 Shenzhen Institutes of Advanced Technology Chinese Academy of Sciences PANORAMIC PRESENTATION PROCESS AND ASSOCIATED DEVICE
CN112672122B (zh) * 2020-12-15 2022-05-24 深圳市普汇智联科技有限公司 一种投影与相机映射关系误差校准方法及***
CN112734639B (zh) * 2020-12-28 2023-09-12 南京欣威视通信息科技股份有限公司 一种图像显示拼接方法及***
CN114727075B (zh) * 2021-01-06 2023-09-08 成都极米科技股份有限公司 投影控制方法和装置、投影设备及存储介质
CN112734860B (zh) * 2021-01-15 2021-09-21 中国传媒大学 一种基于弧形幕先验信息的逐像素映射投影几何校正方法
CN113810673B (zh) * 2021-09-24 2023-05-30 当趣网络科技(杭州)有限公司 投影机均匀度测试方法、装置及计算机可读存储介质
CN114666556A (zh) * 2022-02-23 2022-06-24 深圳华侨城文化旅游科技集团有限公司 一种反向投影球幕边缘融合方法、***、设备及存储介质
CN114463475B (zh) * 2022-04-08 2022-07-19 山东捷瑞数字科技股份有限公司 基于边缘矫正的多相机渲染图像融合方法
CN115002431B (zh) * 2022-05-20 2023-10-27 广景视睿科技(深圳)有限公司 一种投影方法、控制装置和投影***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102385238A (zh) * 2010-09-03 2012-03-21 深圳华强数码电影有限公司 球幕投影放映的实现方法及***
CN105787920A (zh) * 2014-12-26 2016-07-20 秦永进 球幕标定方法、标定***及控制设备
CN107121888A (zh) * 2017-07-13 2017-09-01 广西临届数字科技有限公司 球幕投影放映的方法
CN107635120A (zh) * 2017-09-19 2018-01-26 南京乐飞航空技术有限公司 一种多通道球幕几何矫正及边缘融合的方法
CN108227348A (zh) * 2018-01-24 2018-06-29 长春华懋科技有限公司 基于高精度视觉云台的几何畸变自动校正方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002014611A (ja) * 2000-04-28 2002-01-18 Minoruta Puranetariumu Kk プラネタリウムのまたは球面スクリーンへのビデオ投映方法と装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102385238A (zh) * 2010-09-03 2012-03-21 深圳华强数码电影有限公司 球幕投影放映的实现方法及***
CN105787920A (zh) * 2014-12-26 2016-07-20 秦永进 球幕标定方法、标定***及控制设备
CN107121888A (zh) * 2017-07-13 2017-09-01 广西临届数字科技有限公司 球幕投影放映的方法
CN107635120A (zh) * 2017-09-19 2018-01-26 南京乐飞航空技术有限公司 一种多通道球幕几何矫正及边缘融合的方法
CN108227348A (zh) * 2018-01-24 2018-06-29 长春华懋科技有限公司 基于高精度视觉云台的几何畸变自动校正方法

Also Published As

Publication number Publication date
CN109272478A (zh) 2019-01-25

Similar Documents

Publication Publication Date Title
CN109272478B (zh) 一种荧幕投影方法和装置及相关设备
CN110336987B (zh) 一种投影仪畸变校正方法、装置和投影仪
CN108257183B (zh) 一种相机镜头光轴校准方法和装置
CN110677634B (zh) 投影仪的梯形校正方法、装置、***及可读存储介质
WO2018076154A1 (zh) 一种基于鱼眼摄像机空间位姿标定的全景视频生成方法
US8311366B2 (en) System and method for calibrating and adjusting a projected image of a projection apparatus
CN110191326B (zh) 一种投影***分辨率扩展方法、装置和投影***
US9892488B1 (en) Multi-camera frame stitching
Sajadi et al. Auto-calibration of cylindrical multi-projector systems
KR20160034847A (ko) 단초점 카메라를 이용하여 디스플레이 시스템을 캘리브레이팅하기 위한 시스템 및 방법
CN110099267A (zh) 梯形校正***、方法以及投影仪
CN112734860B (zh) 一种基于弧形幕先验信息的逐像素映射投影几何校正方法
CN106570907B (zh) 一种相机标定方法及装置
CN111461963B (zh) 一种鱼眼图像拼接方法及装置
CN113808220A (zh) 双目摄像机的标定方法、***、电子设备和存储介质
CN109785390B (zh) 一种用于图像矫正的方法和装置
CN111429531A (zh) 标定方法、标定装置和非易失性计算机可读存储介质
CN110505468B (zh) 一种增强现实显示设备的测试标定及偏差修正方法
US11380063B2 (en) Three-dimensional distortion display method, terminal device, and storage medium
US11514608B2 (en) Fisheye camera calibration system, method and electronic device
JP2005244835A (ja) マルチプロジェクションシステム
CN112055186A (zh) 一种多投影图像拼接的几何校正方法、***、设备及存储介质
CN112118435A (zh) 面向异形金属屏幕的多投影融合方法及***
CN109785225B (zh) 一种用于图像矫正的方法和装置
US11284052B2 (en) Method for automatically restoring a calibrated state of a projection system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant