CN114679575B - 多媒体空间实时播控融合调试方法及一体式*** - Google Patents
多媒体空间实时播控融合调试方法及一体式*** Download PDFInfo
- Publication number
- CN114679575B CN114679575B CN202210290863.1A CN202210290863A CN114679575B CN 114679575 B CN114679575 B CN 114679575B CN 202210290863 A CN202210290863 A CN 202210290863A CN 114679575 B CN114679575 B CN 114679575B
- Authority
- CN
- China
- Prior art keywords
- real
- video signal
- loader
- module
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000013507 mapping Methods 0.000 claims abstract description 80
- 238000012937 correction Methods 0.000 claims abstract description 43
- 230000000694 effects Effects 0.000 claims abstract description 31
- 230000008676 import Effects 0.000 claims abstract description 13
- 230000003247 decreasing effect Effects 0.000 claims abstract description 6
- 230000008859 change Effects 0.000 claims description 20
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 239000011230 binding agent Substances 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 4
- 230000009191 jumping Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 24
- 239000000463 material Substances 0.000 description 18
- 230000008569 process Effects 0.000 description 7
- 238000009877 rendering Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000009133 cooperative interaction Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
- G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/60—Shadow generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3188—Scale or resolution adjustment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本申请提供一种多媒体空间实时播控融合调试方法及一体式***。本申请通过统一媒体文件导入导出模块接收本地导入的媒体文件,然后依次通过***内的媒体分辨率实时更改模块、变形校正模块、融合带边缘实时调整模块实时对各显示设备输出视频信号所对应的shader贴图进行实时调整,最后由视频信号输出模块根据调整后的shader贴图实时进行显示。本申请可通过对***各软件模块内部运算单元的增减适应不同数量、不同排布方式的显示设备接口输出以及,从而方便对显示设备进行动态增减,并同时根据显示状况在进行图像分辨率调整、边缘融合、变形校正的同时实时提供预览,方便操作者实时调整设备显示效果,提高画面输出质量。
Description
技术领域
本申请涉及多媒体融合播控技术领域,具体而言涉及一种多媒体空间实时播控融合调试方法及一体式***。
背景技术
多媒体空间实时播控融合调试技术用于在艺术展示空间中通过播放控制功能软件、投影机矩阵软件融合功能、媒体导入导出功能、LED拼接大屏拼接功能、光雕投影(3DMapping)变形校正技术软件、校色、虚化功能软件、音频多通道独立控制软件、跨设备通讯***软件等各分离设备之间的协调配合,实现LED拼接大屏空间场景展示或实现投影机矩阵空间场景展示。
目前,现有的播控***存在一定局限性。市场上现有用于多媒体空间的融合播控***高度依赖于现有常规的硬件融合设备。现有融合播控***中,其软件功能仅停留在基础的导入导出文件、调换顺序和分辨率设置。由于软件功能单一,无法在各硬件融合设备之间提供高效协同交互,因此,现有播控融合***容易产生硬件成本费用过高的问题。
此外,现有的播控***还存在功能上的欠缺,例如:
1)无法根据现场设备数量的更改而实时调整***设置;
2)播放控制***大多为预设,根据模板化的顺序进行控制,不能够做到边实时播放、边更改播控设置的功能;
3)投影画面变形校正功能大多无法做到边实时播放画面边进行变形校正,变形校正结果不精确;
4)大多融合***功能依赖硬件融合服务器来制作光雕投影;
5)校色、虚化、亮度控制、融合带边缘范围的设置大多依赖于前期媒体文件的预设,无法做到边实时播放、边更改校色、虚化、亮度控制、融合带边缘范围的设置,或依赖于第三方软件或硬件进行调试;
6)灵活性、集成性不高,非核心技术人员无法根据多媒体空间现场情况灵活调整设置。
发明内容
本申请针对现有技术的不足,提供一种多媒体空间实时播控融合调试方法及一体式***,本申请将多种算法和多个软件的功能集成在一套***中,利用一套集成式***替代现有硬件设备,通过对shader贴图的实时修改更新来实现最终输出画面到多媒体展示空间的投影或LED显示。本申请具体采用如下技术方案。
首先,为实现上述目的,提出一种多媒体空间实时播控融合调试方法,其步骤包括:第一步,用于接收本地导入的媒体文件;第二步,根据媒体文件的属性信息以及显示设备的排列状况计算各显示设备所对应的实际分辨率,生成分别对应于各显示设备视频信号的shader贴图;第三步,在各显示设备视频信号画面四边分别定义若干控制点,根据操作者对控制点的移动相应调整视频信号画面所对应shader贴图中各点的坐标位置; 第四步,根据操作者对融合带宽度比例的调整,在shader贴图中对应于视频信号画面边缘的位置叠加连续渐变色带,根据所述连续渐变色带调整相邻视频信号画面之间边缘位置的明暗色彩效果;第五步,实时根据shader贴图调整输出至对应显示设备的视频信号;并在检测到媒体文件的属性信息变更后跳转至第二步重新执行对shader贴图的更新。
可选的,如上任一所述的多媒体空间实时播控融合调试方法,其中,每一个显示设备的视频信号分别至少对应一个shader贴图;各shader贴图分别独立由上述第二步至第四步进行更新。
可选的,如上任一所述的多媒体空间实时播控融合调试方法,其中,第二步具体包括以下步骤:步骤201,确定显示区域的长宽尺寸以及显示设备的横纵排列数量;步骤202,计算单一显示设备在第一方向上的分辨率;步骤203,在第一方向上预留出15%至25%的融合分辨率后,以剩余分辨率除以第一方向上单一显示设备的显示区域尺寸获得每米显示区域的像素量X;步骤204,按照每米显示区域的像素量X计算第二方向上匹配于显示区域尺寸的分辨率,获得各显示设备所对应长宽方向上的实际分辨率,根据实际分辨率生成分别对应于各显示设备视频信号的shader贴图。
可选的,如上任一所述的多媒体空间实时播控融合调试方法,其中,第三步具体包括以下步骤:步骤301,将各显示设备视频信号画面分别分割为若干矩形,以矩形的四角分别作为控制点,以贝塞尔曲线或线性连接方式将各控制点连接为网格;步骤302,创建位移图的临时文件,在临时文件中根据操作者对控制点的移动相应调整网格的坐标和/或贝塞尔曲线的曲率手柄坐标;步骤303,在调整完毕后删除临时文件并按照调整后的坐标和/或贝塞尔曲线的曲率手柄坐标更新视频信号画面所对应shader贴图中各点的坐标位置。
可选的,如上任一所述的多媒体空间实时播控融合调试方法,其中,第四步具体包括以下步骤:步骤401,根据操作者对融合带宽度比例的调整,在shader贴图中对应于视频信号画面边缘的位置叠加由画面单侧方向逐渐由黑过渡至白的连续渐变色带;步骤402,根据shader贴图中黑白渐变色带比例降低视频信号画面相应位置的亮度;步骤403,根据操作者的调整相应增加或减少黑色或白色区域以及RGB三通道数值比例;步骤404,根据shader贴图中黑色区域位置和RGB三通道数值比例调整视频信号画面中对应位置的明暗色彩效果。
可选的,如上任一所述的多媒体空间实时播控融合调试方法,其中,第一步还包括:根据显示设备的数量n相应配置n/4台媒体服务器同步执行第二步至第五步,其中,每台媒体服务器分别设置4个显示设备输出端口,分别向4台显示设备实时输出根据shader贴图调整后的视频信号。
同时,为实现上述目的,本申请还提供一种多媒体空间实时播控融合调试一体式***,其包括:媒体文件导入导出模块,用于接收本地导入的媒体文件;媒体分辨率实时更改模块,用于根据媒体文件的属性信息以及显示设备的排列状况计算各显示设备所对应的实际分辨率,生成分别对应于各显示设备视频信号的shader贴图;变形校正模块,用于在各显示设备视频信号画面四边分别定义若干控制点,根据操作者对控制点的移动相应调整视频信号画面所对应shader贴图中各点的坐标位置;融合带边缘实时调整模块,用于根据操作者对融合带宽度比例的调整,在shader贴图中对应于视频信号画面边缘的位置叠加连续渐变色带,根据所述连续渐变色带调整相邻视频信号画面之间边缘位置的明暗色彩效果;视频信号输出模块,其连接显示设备,用于实时根据shader贴图调整输出至对应显示设备的视频信号;缓存,用于供媒体分辨率实时更改模块、变形校正模块、融合带边缘实时调整模块、视频信号输出模块调用,相应存取或修改各显示设备对应视频信号的shader贴图。
可选的,如上任一所述的多媒体空间实时播控融合调试一体式***,其中,还包括:监视器,用于拍摄并展示各显示设备之间拼接组合形成的完整视频信号画面。
可选的,如上任一所述的多媒体空间实时播控融合调试一体式***,其中,还包括:颜色校正模块,用于将各shader贴图转换为灰度图,再分别提取shader贴图中RGB三通道数值,根据操作者对色彩范围、亮度范围的更改相应调整视频信号画面所对应shader贴图中各点的RGB通道数值。
可选的,如上任一所述的多媒体空间实时播控融合调试一体式***,其中,所述媒体分辨率实时更改模块、变形校正模块、融合带边缘实时调整模块、视频信号输出模块中分别根据显示设备的数量配置其模块内运算单元的数量,各模块内运算单元分别独立存取或修改相应shader贴图;其中,媒体分辨率实时更改模块、变形校正模块、融合带边缘实时调整模块、视频信号输出模块中模块内运算单元与显示设备的数量之比为1:4:2:4:4。
有益效果
本申请通过统一媒体文件导入导出模块接收本地导入的媒体文件,然后依次通过***内的媒体分辨率实时更改模块、变形校正模块、融合带边缘实时调整模块实时对各显示设备输出视频信号所对应的shader贴图进行实时调整,最后由视频信号输出模块根据调整后的shader贴图实时进行显示。本申请可通过对***各软件模块内部运算单元的增减适应不同数量、不同排布方式的显示设备接口输出以及,从而方便对显示设备进行动态增减,并同时根据显示状况在进行图像分辨率调整、边缘融合、变形校正的同时实时提供预览,方便操作者实时调整设备显示效果,提高画面输出质量。
Shader贴图本身是是一个保存在文本中的着色器程序,其可在材质贴图的过程中用来定义3D表面的外观或2D图像的处理方式。本发明中的shader贴图可通过GLSL(像素和顶点着色器)着色器实现,用于为3D几何体创建材质。本发明中利用shader所包含的相应照明和表面渲染选项,可以输出特定的GLSL着色器代码,以表示材料中使用的特征。本申请通过转用原本用做几何体创建材质的目的的GLSL着色器代码,将其作为发明中解决实时预览、实时调整画面信息问题的技术,通过媒体分辨率实时更改模块、变形校正模块、融合带边缘实时调整模块以及视频信号输出模块实时的对shader贴图数据的调用实现对显示画面中像素量、坐标变形移动位置和显示渲染过渡效果的实时更新。本申请中的shader贴图可作为一个全局的缓存量实现不同模块之间显示效果的传递和更新,以此实时实现各模块之间的交叉配合。
本发明多媒体空间实时播控融合调试一体式***,有效地优化了传统多媒体空间现场硬件工作流程中需要交替调整复杂融合服务器、变形校正服务器、媒体服务器等硬件才能达到理想显示效果的繁琐操作。本申请通过***内部集成式的软件运算模块实现相同的画面调控效果,能够有效减少高昂硬件费用支出,通过集成式的软件解决现场问题。本申请的另一积极作用在于:解决了现场操作人员使用各种软件和各类通讯协议才能实现设备间通讯达到理想显示效果的繁琐步骤。本发明可实时通过调用读取shader贴图进行播放控制、投影机矩阵软件融合、媒体导入导出、LED拼接大屏拼接、光雕投影(3D Mapping)变形校正、校色、虚化、音频多通道独立控制、跨设备通讯的功能。大幅提升了多媒体空间的现场执行效率,节约人力成本,缩短等待时间。本申请软件模块中的各运算单元数量可根据***显示需求而动态调整,因此能够为未来更新***提供良好支持。
本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。
附图说明
附图用来提供对本申请的进一步理解,并且构成说明书的一部分,并与本申请的实施例一起,用于解释本申请,并不构成对本申请的限制。在附图中:
图1是本申请的多媒体空间实时播控融合调试一体式***的界面结构示意图;
图2是本申请多媒体空间实时播控融合调试一体式***的交互方式示意图;
图3是本申请的***中更改分辨率的界面示意图;
图4是本申请的***中修改shader贴图过程中进行网格调整的示意图;
图5为本发明在变形校正模块中通过贝塞尔曲线模式使用贝塞尔曲线手柄移动shader贴图的顶点的过程示意图。
具体实施方式
为使本申请实施例的目的和技术方案更加清楚,下面将结合本申请实施例的附图,对本申请实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于所描述的本申请的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语)具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样定义,不会用理想化或过于正式的含义来解释。
本申请中所述的“和/或”的含义指的是各自单独存在或两者同时存在的情况均包括在内。
本申请中所述的“内、外”的含义指的是Shader贴图中画面融合单向方向的朝向,画面会根据shader贴图的边缘融合方向指向画面中心的方向为内,反之为外;而非对本申请的装置机构的特定限定。
本申请中所述的“连接”的含义可以是部件之间的直接连接也可以是部件间通过其它部件的间接连接。
图2为根据本申请的一种多媒体空间实时播控融合调试一体式***,其包括单独一个集成式的媒体服务器硬件,以及与之连接的若干投影仪阵列和一个监视器。投影仪阵列排布分别为目标投影区域中的各个投影面提供图像输出,各投影仪分别在其投影面之间交接位置设置融合带,使得两投影仪的显示画面在融合带范围内重叠,平滑地由一个投影仪的输出画面过渡至另一投影仪的输出画面;监视器用于实时拍摄整个投影区域的显示画面,显示在操作者面前以提示显示画面中出现的各种问题。集成式的媒体服务器硬件中可按照投影仪数量,为4台投影仪配置一媒体服务器运算单元,在该单元中通过调用如下的算法模块实现对投影效果的实时优化和投影输出:
媒体文件导入导出模块(CLIP),其与本地文件连接,用于接收本地导入的媒体文件,并将媒体文件在媒体导入导出模块1(CLIP)输出端与媒体分辨率实时更改模块(CONTROL)输入端连接,;
媒体分辨率实时更改模块(CONTROL),用于根据媒体文件的属性信息以及投影仪的排列状况计算各投影仪所对应的实际分辨率,生成分别对应于各投影仪视频信号的shader贴图,其输出端分别与变形校正模块(ADJUSTMENT)、融合带边缘实时调整(位于ADJUSTMENT内)输入端连接,该媒体分辨率实时更改模块(CONTROL)在接收到媒体文件导入导出模块(CLIP)提供的媒体文件后,进行分析并判断,如果媒体文件分辨率修改完成,则将媒体文件及数据传送至变形校正模块(ADJUSTMENT)、融合带边缘实时调整(位于ADJUSTMENT内)中按照相应分辨率进行显示效果渲染;
变形校正模块(ADJUSTMENT),用于在各投影仪视频信号画面四边分别定义若干控制点,根据操作者对控制点的移动相应调整视频信号画面所对应shader贴图中各点的坐标位置;
融合带边缘实时调整模块(位于ADJUSTMENT内),用于根据操作者对融合带宽度比例的调整,在shader贴图中对应于视频信号画面边缘的位置叠加连续渐变色带,根据所述连续渐变色带调整相邻视频信号画面之间边缘位置的明暗色彩效果;
视频信号输出模块(DESTINATION),其连接投影仪,用于实时根据shader贴图调整输出至对应投影仪的视频信号;
缓存,用于供媒体分辨率实时更改模块、变形校正模块、融合带边缘实时调整模块、视频信号输出模块调用,相应存取或修改各投影仪对应视频信号的shader贴图。
由此,本申请可通过n/4台媒体服务器,实时控制n台投影设备播放同一个媒体文件,实时根据监视器所提示的投影画面问题通过对shader贴图的调整实现最优视频输出效果。具体操作中,现场操作人员可以添加1个媒体文件导入导出模块(CLIP),n/4个媒体分辨率实时更改模块(CONTROL),n个变形校正模块(ADJUSTMENT)、n/2个融合带边缘实时调整(位于ADJUSTMENT内),n个视频信号输出模块6(DESTINATION),通过各模块对shader贴图的实时更新和调取而将目标画面调整至最佳的显示状态。
此外,上述各模块还可进一步分别增加锁定功能。***操作人员操作完成触发对操作模块的锁定后,其他***操作人员的误操作、其他模块对该模块结果的影响均被隔离。整体***会保存每次变形校正模块的历史记录,并存于***工程文件的目录“自动保存”文件夹并生成数字顺序为历史记录的文件,当项目现场出现因设备或人员造成的意外情况如投影机位置偏移、墙体移动等,***操作人员可以根据变形校正模块的自动保存记录来恢复文件中的模块操作记录。
其他实现方式下,本申请的***还可通过外接由若干LED显示屏构成的显示阵列实现巨幅视频画面显示。此实现方式下,可将外设的监视器省去而直接通过调取各LED显示屏的画面信息而在图1所示的操作界面中实现对画面实时显示效果的展示。
此实现方式下,多媒体空间实时播控融合调试一体式***可具体通过内部软件的配置,相应按照如下方式实现实时输出:
第一步,用于接收本地导入的媒体文件;并根据显示设备的数量n相应配置相应数目的媒体服务器分别并列执行以下第二步至第五步,通过各媒体服务器各自对应的显示设备输出端口,分别向1个或若干LED显示屏实时输出根据相应shader贴图调整后的视频信号;为保证各设备之间显示效果,本申请一般将每个投影仪或LED显示屏的画面对应一个shader贴图,但是,本领域技术人员应当理解,拓展各显示设备中shader贴图的数量并不会影响实际显示效果,相反还能提供更多的播控融合操作自由度,因此,将一个显示设备中的不同区域分别匹配至不同的shader贴图同样可以实现本申请是视频输出效果,各设备所对应的shader贴图数量或者整个***所对应的shader贴图总数并不应作为对本申请技术方案的特别限定;
第二步,根据媒体文件的属性信息以及显示设备的排列状况计算各显示设备所对应的实际分辨率,生成分别对应于各显示设备视频信号的shader贴图,其具体计算过程如下,
步骤201,确定显示区域的长宽尺寸以及显示设备的横纵排列数量;
步骤202,计算单一显示设备在第一方向上的分辨率;
步骤203,在第一方向上预留出15%至25%的融合分辨率后,以剩余分辨率除以第一方向上单一显示设备的显示区域尺寸获得每米显示区域的像素量X;
步骤204,按照每米显示区域的像素量X计算第二方向上匹配于显示区域尺寸的分辨率,获得各显示设备所对应长宽方向上的实际分辨率,根据实际分辨率生成分别对应于各显示设备视频信号的shader贴图;
第三步,在各显示设备视频信号画面四边分别定义若干控制点,根据操作者对控制点的移动相应调整视频信号画面所对应shader贴图中各点的坐标位置,其具体计算过程如下,
步骤301,将各显示设备视频信号画面分别分割为若干矩形,以矩形的四角分别作为控制点,以贝塞尔曲线或线性连接方式将各控制点连接为网格;
步骤302,创建位移图的临时文件,在临时文件中根据操作者对控制点的移动相应调整网格的坐标和/或贝塞尔曲线的曲率手柄坐标;
步骤303,在调整完毕后删除临时文件并按照调整后的坐标和/或贝塞尔曲线的曲率手柄坐标更新视频信号画面所对应shader贴图中各点的坐标位置;
第四步,根据操作者对融合带宽度比例的调整,在shader贴图中对应于视频信号画面边缘的位置叠加连续渐变色带,根据所述连续渐变色带调整相邻视频信号画面之间边缘位置的明暗色彩效果,其具体计算过程如下,
步骤401,根据操作者对融合带宽度比例的调整,在shader贴图中对应于视频信号画面边缘的位置叠加由画面单侧方向逐渐由黑过渡至白的连续渐变色带;
步骤402,根据shader贴图中黑白渐变色带比例降低视频信号画面相应位置的亮度;
步骤403,根据操作者的调整相应增加或减少黑色或白色区域以及RGB三通道数值比例;
步骤404,根据shader贴图中黑色区域位置和RGB三通道数值比例调整视频信号画面中对应位置的明暗色彩效果;
第五步,实时根据shader贴图调整输出至对应显示设备的视频信号;并在检测到媒体文件的属性信息变更后跳转至第二步重新执行对shader贴图的更新。
具体对于图4所示的视频输出,本申请的***先通过内存缓存同步视频信号,通过媒体文件的属性信息识别对视频输出分辨率的实时更改,并设置通过对***中视频信号输出端口的检测增加调整视频信号输入的功能,从而方便现场增加投影矩阵中的投影设备数量或LED拼接大屏中屏幕数量,实时进行更改。
为了解决计算分辨率及实时更改分辨率的需求,本发明在***导入媒体的编辑参数区,首先读取媒体文件的原始属性,然后再按照以下步骤计算分辨率:
1)输入外部测量获得的被投位置的实际长宽尺寸;
2)根据投影场景模拟的结果,根据投射比、照度等参数来确定被投面投影仪数量;
3)按照投影设备排列方式,横向排列还是纵向排列,得出单个方向的分辨率;
4)根据该方向留出的融合带,估算留出15%-25%的融合分辨率;
5)根据计算出的该方向的分辨率,去除以该方向的实际长度尺寸(以米为单位),得出一个系数X,以这个系数X作为实际投影区域中每米被投面所对应的像素数量;
6)用该系数X去计算另一方向的分辨率获得图3所示结果;
7)在得出多媒体文件在多媒体空间中画面信号输出的实际分辨率后,可选的,还可对计算获得的实际分辨率的末尾数进行四舍五入或直接丢弃以方便通过像素方式进行投影显示。
由此,本申请***中的媒体分辨率实时更改模块(CONTROL)可根据多媒体空间的实际需要,根据空间的被投面尺寸,投影设备数量及排列方式,更改参数及系数,***会根据以上步骤算出需要更改的多媒体文件画面信号输出的实际分辨率。
为了解决变形校正效果不精确的问题,本发明还可将校正融合***的功能导入到播控***,允许对网格、示例图像、自定义媒体文件等外部文件一边进行播控,一边进行变形校正:
以图4方式将投影画面变形成一定数量的矩形,并在矩形的四个角上形成自定义数量的X(行数)*Y(列数)控制点,为了方便进一步的精细调整,***可以将行数X和列数Y作为变量相应增加或减少以调整控制点数量,实现对变形调整精度的设置。
为了将视频输出画面映射到被投面上,***操作人员可任意设置上述各控制点之间连线方式为贝塞尔曲线模式,或者直接通过矩形变现将各控制点之间线性连接。贝塞尔曲线模式可在复杂的被投面上,如,不规则墙体上,将重要像素信息之间衔接关系在变形校正过程中进行保留,以保证观看者能够理解校正后画面。线性连接则更适合在规则面上进行快速变形,提升变形校正效率。
当选择线性连接时,操作者可通过更改X顶点和Y顶点在画面矩形中的位置坐标,以该顶点为中心(0,0)进行横轴纵轴的移动(上下左右调整顶点坐标位置),***会计算出两点之间的直线距离对像素坐标位置进行修正;
当选择贝塞尔曲线模式时,***首先在每个点设置一个网格曲线移动器,由此操作者可以使用贝塞尔曲线手柄来对于网格的每一个点进行位置调整和曲率调整。其中,图5所示网格中每个控制点所对应的贝塞尔曲线手柄的4个手柄移动点,分别对应上下左右4个方向的曲率。
在此过程中,调整后图像中各像素点的位移会使Shader贴图中的坐标产生相同的位移的数值,这个值可以应用转化在相应材质上。通过材质作为3D图形投影的载体实现视频信号的输出和显示。
本申请通过将投影画面比作一个材质,将Shader贴图附在材质上,配合对不同投影面进行软件融合和变形校正去调整Shader贴图, 实现投影画面的实时更新。
本申请中在各调整算法模块之间提供画面协同调度功能的Shader贴图本身是是一个保存在文本中的着色器程序,用于在材质贴图的过程中去定义3D表面的外观或2D图像的处理方式。本发明中的所有shader都是GLSL(像素和顶点着色器)着色器,其传统用法是为3D几何体创建材质。在本发明中,发明利用了shader中所包含的照明和表面渲染选项,通过输出特定的GLSL着色器代码,表示材料中使用的特征,对变形校正、分辨率调整以及图像之间过渡、渲染效果进行记录和更新。由此,本申请通过转用本用做几何体创建材质目的shader贴图,通过贴图记录对显示图像的渲染和调整效果,而供本发明各模块之间实时调取显示画面状态,进行实时显示,解决实时预览、实时调整画面时所遇到的渲染信息不同步的问题。
为了配合不同投影面进行软件融合和变形校正,本发明对shader的调取方式做了如下特殊设计:
1. 将shader贴图生成为一种平面化的无光照影响的材质,材质映射在3D几何体上进行贴图,方便在复杂的不同的投影面上及时调整X、Y、Z轴的变形。
2. 在Shader渲染贴图的过程中,创建位移图的临时文件,调整完毕后从文件中删除,只保留在自定义参数中定义的变形校正中的必要数据。这将大大提高性能,同时也使操作人员只需要用一个集中的Shader而不是许多变形校正模块中的许多贴图。
3. Shader位移的时候可以将贴图锁定或解锁,当不同投影输出画面的不同区域彼此重叠覆盖时,可以选择点会显示出额外的贝塞尔控制柄,***操作人员可以按特定按键将在锁定和解锁状态之间进行切换。
4. 变形校正模块和边缘融合模块都共用了shader贴图,***操作人员可以高效切换不同模块,实现一边进行变形校正,一边进行边缘融合的调整和实时预览。
变形校正的顶点坐标在调整的同时,因为shader贴图的变化,材质也会发生变化。材质本身是一个仅有shader贴图的不受光照影响的平面。因为shader贴图的变化,变形校正所校正的平面图形会实时调取shader贴图的变化到图形的材质上,由此,***操作人员可以通过对shader贴图的读取,边进行变形校正边预览校正所得画面,最终生成精准的投影变形校正。
为通过软件集成式***实现融合带边缘实时调整功能,本发明进一步引入了融合带过渡实时调节功能,其可允许操作者实时根据现场投影融合带情况,实时调整融合带范围:
1)在操作人员提前输入好现场投影设备数量和排列方式之后;
2)分别在每个显示画面所对应的shader贴图中,根据分辨率预先计算出的比例确定融合带;
3)***会根据融合带比例生成一条从黑到白的连续色带,叠加在原先的shader贴图上;
4)当***操作人员拖动滑块更改黑色与白色色块在色带上的占比,改变融合带上alpha值时,***会根据操作者对黑色宽度色带的调整而将其叠在贴图上,相应使贴图的区域变暗,而根据shader贴图中的白色分量相应显示原始颜色。
5)操作人员还可进一步在此基础上灵活地添加或减少黑色与白色色块,并对其再进行拖动调整,以实现更加精准的对融合带alpha值的控制。
6)***若通过对显示画面的分析处理,发现明显颜色裂缝或亮度异常,则可实时在shader贴图上呈现该色带裂痕,提醒***操作人员及时对其进行修正。
此外,本申请还可在***中进一步添加实时控制融合带的色彩的功能,通过更改shader贴图中相应位置像素数据中R、G、B的值,达到无缝、无明显色差、无亮度异常的显示效果。
上述各步骤对shader贴图进行融合带修正和变形、分辨率调整的同时,软件集成式***还可直接通过对shader贴图的调取而将画面实时映射到由媒体文件生成的shader贴图上,在将贴图附着在材质并应用在3D几何体上,从而实现对变形校正效果的显示,并同时展示融合带调整的实时画面。
综上,本发明针对现有技术中无法实时更改校色、亮度控制的问题,通过如下手段以无需依赖外部硬件融合设备的方式,解决现场大批量投影的融合需求,解决多个投影画面融合感不佳的问题:
在集成***软件中增加实时色彩控制模块,由该模块先将shader贴图转成黑白灰度图,再将所有黑白色值通过算法进行R、G、B值的排列,根据数值从小到大依次分为最暗区、暗区、灰区、亮区、最亮区。当***操作人员需要将图像信号的部分亮度和对比度进行更改的时候,通过实时色彩控制模块选取相应区域,将该区的数值进行升高或降低,从而达到调整亮度和对比度的效果,调整后可将通过shader贴图同步实时将相应调整状况附在材质上,根据shader贴图输出画面图像信号到画面上并实时预览。
为了方便现场人员灵活操作设置,本发明为各个功能单元进行了模块化设置。***集成软件中将媒体导入导出功能、播放控制功能、变形校正功能、边缘融合功能、信号输出功能做成独立模块,并在各模块中配置相应数量的运算单元并行处理,以提高***输出图像画面的实时性。
为方便***操作人员根据项目需求,本申请可在图1所示的***首页上通过点击“+”或“-”灵活添加或减少模块。一般,对于现场使用n台投影设备播放同一个媒体文件的项目,可在本申请***中使用n/4台媒体服务器,即可实现实时的播控视频输出。操作者也可灵活添加或减少各个模块以适应多媒体空间。
本申请通过在模块化设置的变形校正功能模块、边缘融合功能模块中分别增加锁定功能,可在***操作人员操作完成后选择对相应模块分别进行锁定,以防其他***操作人员的误操作或防止其他模块影响该模块的结果,避免产生偏差或遗失,避免使用时的误操作,并增加了***的灵活性。
除此之外,本申请模块化的设置方式也进一步为各模块之间的交叉配合设计提供了方便:本申请的***在识别到导入的媒体文件分辨率变化时,shader贴图分辨率、变形校正的分辨率、融合带边缘比例逐一由导入媒体文件的属性信息中分辨率数据的调整而触发进行重新计算。重新计算完后,新的shader贴图会根据变化的数据实时改变视频信号面的材质,使得操作人员可以边进行变形校正边预览最新的校正画面,从而实现交叉配合。
以上仅为本申请的实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些均属于本申请的保护范围。
Claims (4)
1.一种多媒体空间实时播控融合调试方法,其特征在于,步骤包括:
第一步,用于接收本地导入的媒体文件;
第二步,根据媒体文件的属性信息以及显示设备的排列状况计算各显示设备所对应的实际分辨率,生成分别对应于各显示设备视频信号的shader贴图;
第三步,在各显示设备视频信号画面四边分别定义若干控制点,根据操作者对控制点的移动相应调整视频信号画面所对应shader贴图中各点的坐标位置;
第四步,根据操作者对融合带宽度比例的调整,在shader贴图中对应于视频信号画面边缘的位置叠加连续渐变色带,根据所述连续渐变色带调整相邻视频信号画面之间边缘位置的明暗色彩效果;
第五步,实时根据shader贴图调整输出至对应显示设备的视频信号;并在检测到媒体文件的属性信息变更后跳转至第二步重新执行对shader贴图的更新;
每一个显示设备的视频信号分别至少对应一个shader贴图;各shader贴图分别独立由上述第二步至第四步进行更新;
第二步具体包括以下步骤:步骤201,确定显示区域的长宽尺寸以及显示设备的横纵排列数量;
步骤202,计算单一显示设备在第一方向上的分辨率;
步骤203,在第一方向上预留出15%至25%的融合分辨率后,以剩余分辨率除以第一方向上单一显示设备的显示区域尺寸获得每米显示区域的像素量X;
步骤204,按照每米显示区域的像素量X计算第二方向上匹配于显示区域尺寸的分辨率,获得各显示设备所对应长宽方向上的实际分辨率,根据实际分辨率生成分别对应于各显示设备视频信号的shader贴图;
第三步具体包括以下步骤:步骤301,将各显示设备视频信号画面分别分割为若干矩形,以矩形的四角分别作为控制点,以贝塞尔曲线或线性连接方式将各控制点连接为网格;
步骤302,创建位移图的临时文件,在临时文件中根据操作者对控制点的移动相应调整网格的坐标和/或贝塞尔曲线的曲率手柄坐标;
步骤303,在调整完毕后删除临时文件并按照调整后的坐标和/或贝塞尔曲线的曲率手柄坐标更新视频信号画面所对应shader贴图中各点的坐标位置;
第四步具体包括以下步骤:步骤401,根据操作者对融合带宽度比例的调整,在shader贴图中对应于视频信号画面边缘的位置叠加由画面单侧方向逐渐由黑过渡至白的连续渐变色带;
步骤402,根据shader贴图中黑白渐变色带比例降低视频信号画面相应位置的亮度;
步骤403,根据操作者的调整相应增加或减少黑色或白色区域以及RGB三通道数值比例;
步骤404,根据shader贴图中黑色区域位置和RGB三通道数值比例调整视频信号画面中对应位置的明暗色彩效果。
2.如权利要求1所述的多媒体空间实时播控融合调试方法,其特征在于,第一步还包括:根据显示设备的数量n相应配置n/4台媒体服务器同步执行第二步至第五步,其中,每台媒体服务器分别设置4个显示设备输出端口,分别向4台显示设备实时输出根据shader贴图调整后的视频信号。
3.一种多媒体空间实时播控融合调试一体式***,其特征在于,包括:
媒体文件导入导出模块,用于接收本地导入的媒体文件;
媒体分辨率实时更改模块,用于根据媒体文件的属性信息以及显示设备的排列状况计算各显示设备所对应的实际分辨率,生成分别对应于各显示设备视频信号的shader贴图;
变形校正模块,用于在各显示设备视频信号画面四边分别定义若干控制点,根据操作者对控制点的移动相应调整视频信号画面所对应shader贴图中各点的坐标位置;
融合带边缘实时调整模块,用于根据操作者对融合带宽度比例的调整,在shader贴图中对应于视频信号画面边缘的位置叠加连续渐变色带,根据所述连续渐变色带调整相邻视频信号画面之间边缘位置的明暗色彩效果;
视频信号输出模块,其连接显示设备,用于实时根据shader贴图调整输出至对应显示设备的视频信号;
缓存,用于供媒体分辨率实时更改模块、变形校正模块、融合带边缘实时调整模块、视频信号输出模块调用,相应存取或修改各显示设备对应视频信号的shader贴图;
监视器,用于拍摄并展示各显示设备之间拼接组合形成的完整视频信号画面;
颜色校正模块,用于将各shader贴图转换为灰度图,再分别提取shader贴图中RGB三通道数值,根据操作者对色彩范围、亮度范围的更改相应调整视频信号画面所对应shader贴图中各点的RGB通道数值。
4.如权利要求3所述的多媒体空间实时播控融合调试一体式***,其特征在于,所述媒体分辨率实时更改模块、变形校正模块、融合带边缘实时调整模块、视频信号输出模块中分别根据显示设备的数量配置其模块内运算单元的数量,各模块内运算单元分别独立存取或修改相应shader贴图;其中,媒体分辨率实时更改模块、变形校正模块、融合带边缘实时调整模块、视频信号输出模块中模块内运算单元与显示设备的数量之比为1:4:2:4:4。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210290863.1A CN114679575B (zh) | 2022-03-23 | 2022-03-23 | 多媒体空间实时播控融合调试方法及一体式*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210290863.1A CN114679575B (zh) | 2022-03-23 | 2022-03-23 | 多媒体空间实时播控融合调试方法及一体式*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114679575A CN114679575A (zh) | 2022-06-28 |
CN114679575B true CN114679575B (zh) | 2024-03-29 |
Family
ID=82074614
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210290863.1A Active CN114679575B (zh) | 2022-03-23 | 2022-03-23 | 多媒体空间实时播控融合调试方法及一体式*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114679575B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115695757A (zh) * | 2022-11-03 | 2023-02-03 | 安徽七度生命科学集团有限公司 | 自适应的半球幕投影自动校正方法及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104954769A (zh) * | 2015-06-15 | 2015-09-30 | 中国科学院自动化研究所 | 一种浸入式超高清视频处理***及方法 |
CN113596415A (zh) * | 2020-04-30 | 2021-11-02 | 上海风语筑文化科技股份有限公司 | 基于gpu实时计算的多投影机融合播放***及其方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3762766A4 (en) * | 2018-10-26 | 2021-07-21 | Samsung Electronics Co., Ltd. | METHOD AND DEVICE FOR ADJUSTING THE RESOLUTION OF AN HMD DEVICE |
-
2022
- 2022-03-23 CN CN202210290863.1A patent/CN114679575B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104954769A (zh) * | 2015-06-15 | 2015-09-30 | 中国科学院自动化研究所 | 一种浸入式超高清视频处理***及方法 |
CN113596415A (zh) * | 2020-04-30 | 2021-11-02 | 上海风语筑文化科技股份有限公司 | 基于gpu实时计算的多投影机融合播放***及其方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114679575A (zh) | 2022-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10666862B2 (en) | Image stitching and automatic-color correction | |
US7443392B2 (en) | Image processing program for 3D display, image processing apparatus, and 3D display system | |
KR101785027B1 (ko) | 화면 왜곡 보정이 가능한 디스플레이 장치 및 이를 이용한 화면 왜곡 보정 방법 | |
US8147073B2 (en) | Image signal processing apparatus and virtual reality creating system | |
CN106815807B (zh) | 一种基于gpu‑cpu协同的无人机影像快速镶嵌方法 | |
CN102929572B (zh) | 一种实现大屏幕多投影无缝拼接的方法及其拼接融合器 | |
JPH07193746A (ja) | 画像処理システム | |
CN101179644B (zh) | 图像处理装置和图像处理方法 | |
US7362385B2 (en) | Image conversion device image conversion method and image projection device | |
KR20180117717A (ko) | 수동 및 반자동 기법을 사용하여 디스플레이 시스템을 교정하는 시스템 및 방법 | |
JPWO2005024723A1 (ja) | 画像合成システム、画像合成方法及びプログラム | |
JP2008288714A (ja) | 映像投影システム | |
CN106060491A (zh) | 一种投影图像颜色校正方法及装置 | |
CN114679575B (zh) | 多媒体空间实时播控融合调试方法及一体式*** | |
JP2012222669A (ja) | 画像処理装置およびその方法 | |
JPH11242737A (ja) | 画像処理方法及び装置並びに情報記録媒体 | |
JP2002014611A (ja) | プラネタリウムのまたは球面スクリーンへのビデオ投映方法と装置 | |
JP3757979B2 (ja) | 映像表示システム | |
JP2006074805A (ja) | マルチプロジェクション映像表示装置 | |
JPS643393B2 (zh) | ||
JP5624383B2 (ja) | 映像信号処理装置、仮想現実感生成システム | |
CN103686029B (zh) | 一种用于大屏幕多投影***的视频像素对角插值方法 | |
CN114401388B (zh) | 投影方法、装置、存储介质以及投影设备 | |
CN111901578B (zh) | 一种多通道洞穴式的投影方法 | |
CN103533278A (zh) | 一种大幅面自由表面多投影自动拼接方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |