CN117440574B - 灯屏设备及灯效生成方法和相应的装置、介质 - Google Patents
灯屏设备及灯效生成方法和相应的装置、介质 Download PDFInfo
- Publication number
- CN117440574B CN117440574B CN202311741716.2A CN202311741716A CN117440574B CN 117440574 B CN117440574 B CN 117440574B CN 202311741716 A CN202311741716 A CN 202311741716A CN 117440574 B CN117440574 B CN 117440574B
- Authority
- CN
- China
- Prior art keywords
- stylized
- image
- light
- picture
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000694 effects Effects 0.000 title claims abstract description 133
- 238000000034 method Methods 0.000 title claims abstract description 81
- 239000000463 material Substances 0.000 claims abstract description 207
- 230000001795 light effect Effects 0.000 claims abstract description 190
- 230000009466 transformation Effects 0.000 claims abstract description 37
- 238000006243 chemical reaction Methods 0.000 claims description 52
- 238000012545 processing Methods 0.000 claims description 43
- 238000009826 distribution Methods 0.000 claims description 35
- 230000008569 process Effects 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 20
- 238000013507 mapping Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 11
- 230000001788 irregular Effects 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000004806 packaging method and process Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 abstract description 2
- 239000011324 bead Substances 0.000 description 30
- 238000005192 partition Methods 0.000 description 19
- 239000000047 product Substances 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 230000008901 benefit Effects 0.000 description 7
- 239000003086 colorant Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 238000000638 solvent extraction Methods 0.000 description 5
- 238000003709 image segmentation Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005282 brightening Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000004040 coloring Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000007493 shaping process Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000013067 intermediate product Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 241001465382 Physalis alkekengi Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/105—Controlling the light source in response to determined parameters
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请涉及一种灯屏设备及灯效生成方法和相应的装置、介质,所述方法包括:获取灯效生成模型根据变换提示文本对图像媒体素材进行变换之后得到的风格化图像素材,所述风格化图像素材包含至少一个风格化图片;根据所述风格化图像素材中的风格化图片生成与目标灯屏相匹配的灯效控制数据;根据所述灯效控制数据控制所述目标灯屏播放相应的灯效。本申请借助灯效生成模型根据变换提示文本对图像媒体素材进行变换而得到风格化图片,根据风格化图片播放相应的灯效,实现灯屏设备的灯效的智能化创作,优化灯屏设备的产品使用体验,有助于灯屏设备的推广。
Description
技术领域
本申请涉及照明控制领域,尤其涉及一种灯屏设备及灯效生成方法和相应的装置、介质。
背景技术
随着人们经济水平的提升,灯屏设备越来越普及。灯屏设备作为智能灯具的一种,可以起到装饰室内空间效果、展示信息的作用。灯屏设备的特点是采用视觉上粒度较大的灯珠作为基本像素,其通过其灯屏的不同实现方式表现为多种形式的产品,例如:窗帘灯、像素屏、拼接灯等。灯屏设备的功能之一,是根据给定的参考图像生成相应的灯光效果。
传统技术下,灯屏设备用来生成灯效的参考图像,一般是高清图像,需要经过较为复杂的后期处理,才能适配灯屏设备中的灯屏上的各个像素进行显示,并且由于高清图像与灯屏像素分辨率之间存在较大差别,也会导致用户难以预期某个参考图像所能得到的灯效,为灯效定制带来诸多不便,包括用户在使用灯屏设备时对参考图像的生成、选取、编辑等,均难以得到优良的产品使用体验,特别是生成环节上的不便导致用户创新灯效的能力和效率都较低,阻碍了灯屏设备的进一步普及。
由此可见,传统的灯屏设备在灯效的内容定制方面表现较差,影响灯屏设备的推广,对灯屏设备进行技术升级较为必要。
发明内容
本申请的目的在于提供一种灯屏设备及灯效生成方法和相应的装置、介质。
根据本申请的一个方面,提供一种灯效生成方法,包括:
获取灯效生成模型根据变换提示文本对图像媒体素材进行变换之后得到的风格化图像素材,所述风格化图像素材包含至少一个风格化图片;
根据所述风格化图像素材中的风格化图片生成与目标灯屏相匹配的灯效控制数据;
根据所述灯效控制数据控制所述目标灯屏播放相应的灯效。
根据本申请的另一方面,提供一种灯效生成装置,包括:
素材获取模块,设置为获取灯效生成模型根据变换提示文本对图像媒体素材进行变换之后得到的风格化图像素材,所述风格化图像素材包含至少一个风格化图片;
指令生成模块,设置为根据所述风格化图像素材中的风格化图片生成与目标灯屏相匹配的灯效控制数据;
灯效播放模块,设置为根据所述灯效控制数据控制所述目标灯屏播放相应的灯效。
根据本申请的另一方面,提供一种灯屏设备,包括中央处理器和存储器,所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行所述灯效生成方法的步骤。
根据本申请的另一方面,提供一种非易失性可读存储介质,其以计算机可读指令的形式存储有依据所述的灯效生成方法所实现的计算机程序,所述计算机程序被计算机调用运行时,执行该方法所包括的步骤。
相对于现有技术,本申请具有多方面优势,包括但不限于:
首先,本申请在给定图像媒体素材和提示文本的情况下,由灯效生成模型根据给定的变换提示文本对给定的图像媒体素材进行变换之后得到风格化图像素材,其中包含至少一个风格化图片,将风格化图片转换为灯效控制数据,控制目标灯屏播放相应的灯效。由此,借助灯效生成模型能够根据变换提示文本和图像媒体素材创作出风格化图片的能力,可以快速地完成灯效的创作,提升了为灯屏进行灯效内容定制的创作效率,简化定制灯效的复杂度,可以大幅提升用户对灯屏设备的产品使用体验。
其次,本申请的灯效生成模型以图像媒体素材作为基础数据,以变换提示文本作为创作方向指示,在变换提示文本的指导下,能够基于图像媒体素材生成产生符合用户期望的输出,使用户最终得到风格化图像素材,用户由此可以灵活提供种图像媒体素材,并结合图像媒体素材和自身期望设定变换提示文本,例如,可以提供图片、视频等不同形式的图像媒体素材,然后以文本、语音等方式输入指令并转换为变换提示文本,便可指导灯效生成模型进行变换处理而最终得到风格化图像素材中的风格化图片,由此,用户更容易制作出优质的灯效。
此外,本申请利用灯效生成模型服务于灯屏设备的灯效定制,实现对灯屏设备的技术升级,解决灯屏设备智能生成灯效的能力,在内容定制方面丰富了灯屏设备的产品功能,灯屏设备的接受度更高,更易普及,其潜在经济收益明显提升。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例中的灯屏设备的电气结构的原理示意图;
图2和图3为本申请示例性的灯屏设备的结构形态,其中,图2的灯屏被布局成窗帘灯形态,图3的灯屏被布局成拼接灯形态;
图4为本申请实施例中灯效生成方法的流程示意图;
图5为本申请实施例中的灯效生成装置的结构示意图;
图6为本申请实施例中的计算机设备的结构示意图。
具体实施方式
请参阅图1,本申请一种实施例提供的一种灯屏设备的结构示意图中可以看出,所述灯屏设备包括控制器1和灯屏2,灯屏2与控制器1电性连接,以便接受控制器1中运行的计算机程序的控制协同工作,实现灯效播放。
控制器1通常包括控制芯片、通信组件以及总线接头,在一些实施例中,控制器1还可以按需配置电源适配器、控制面板、显示屏等。
电源适配器主要用于将市电转换为直流电,以便为整个灯屏设备供电。控制芯片可采用各种嵌入式芯片实现,例如蓝牙SoC(System on Chip,***级芯片)、WiFi SoC、MCU(Micro Controller Unit,微控制器)、DSP(Digital Signal Processing,数字信号处理)等各种类型的芯片,控制芯片通常包括中央处理器和存储器,存储器和中央处理器分别用于存储和执行程序指令,以实现相应的功能。以上各种类型的控制芯片,可以自带通信组件,也可按需额外配置通信组件。通信组件可以用于与外部设备通信,例如,可以与个人计算机或各种智能手机之类的终端设备通信,以便用户通过其终端设备下达各种配置指令之后,控制器1的控制芯片可以通过通信组件接收配置指令,完成基础配置,以便控制灯屏工作。此外,控制器1还可以通过通信组件获取封装了多个灯效图层的灯效应用包。总线接头主要用于为接入总线的灯屏2接入电源并提供灯效播放指令,因而对应提供电源总线和信号总线相对应的针脚,由此,当灯屏2需要接入控制器1时,通过灯屏相应的接头与所述总线接头连接即可。控制面板通常提供一个或多个按键,用于对控制器1实施开关控制、选择各种预设的灯效控制方式等等。显示屏可用于显示各种控制信息,以便与所述控制面板中的按键相配合,支持人机交互功能的实现。一些实施例中,控制面板与所述显示屏可以集成到同一触控显示屏中。
灯屏的具体样态可以根据实际情况设计,较为常见的产品形态包括但不限于窗帘灯、像素屏、拼接灯等。
例如,图2中的灯屏被布局成窗帘灯的样态,该灯屏2包括连接在总线上的多条发光灯带21,每条发光灯带21都包括多个串接而成的灯珠210,每个灯珠210作为一个发光单元,并且,通常各条发光灯带21的灯珠210数量相同,而且等间距排列。作为窗帘灯使用的灯屏2在被使用时,通常按照如图2所示的布局展开其各条发光灯带21,由此使全部发光灯带21中的全部灯珠按照阵列的方式进行布局,形成灯珠矩阵结构,由于全部灯珠协同发光时能够提供画幅效果,所以,整个灯珠矩阵结构所在的面便构成一个显示画幅4,当播放灯效时,便可以在该显示画幅4范围内形成一定的图案效果。
每个发光灯带21可由多个灯珠210串接而成,每个灯珠210是一个发光单元,同一发光灯带21中的各个灯珠210由接入总线的同一组线缆传输工作电流,同一发光灯带21的各个灯珠210之间,在电性连接关系上,可以采用并联的方式进行连接。一种实施例中,同一灯珠矩阵结构中的各个发光灯带21,可以沿总线方向等间距设置,且各个发光灯带21的灯珠210之间,在数量和位置上,也对应设置,这样,整个显示画幅4在远距离观看其发光效果时,起到类似屏幕的作用,能够在人眼视觉上形成图案效果。
灯屏2的每条发光灯带21的每个灯珠210中,也设置有相应的控制芯片,该控制芯片可以按照前文所揭示进行选型,或者选取其它更为经济的控制芯片,其作用主要在于能够从灯效播放指令中提取出与本灯珠210相对应的发光颜色值,控制本灯珠210内的发光元件发出相应的色光。发光元件可以是LED灯。
像素屏的实现原理基本与窗帘灯以上的实现原理相同,但像素屏会提供用来固定各个发光单元的框架,将各个发光单元按照行列矩阵的方式排布在同一矩形框架内,得到更近似于日常显示屏幕的产品形态效果。像素屏与窗帘灯同理,可以按照多条发光灯带进行并排的结构来组织各个发光单元,且可应用窗帘相同的控制方式进行控制,因此恕不再赘述。
图3进一步揭示本申请的灯屏设备中的灯屏的另一种形态,其本质上是一种拼接灯,拼接灯中的灯屏2由一个或多个灯块22构成。拼接灯的灯块22内部,包括标准化设置在灯块的不同位置的多个发光单元(未示出),每个发光单元也可以设置相应的发光控制芯片,用来解析相应的控制数据而生成相应的发光控制信号,通过该发光控制信号控制相应的发光单元中的发光元件按照特定的发光颜色值进行发光。而灯块作为一个整体,也可以设置一个独立的控制芯片作为控制单元来对其中的全部发光单元进行发光控制,这个独立控制单元可以向各个发光单元的控制芯片传输相应的时序控制数据来达到集中控制的目的,当然,整个灯块也可以由单个控制芯片来直接控制各个发光单元以达到相应的灯效播放目的。这主要视灯块及其发光单元所采用的控制芯片的能力而灵活设计,不影响本申请的创造精神的体现。根据这些原理可知,对于一个灯块来说,既可以统一控制其全部发光单元同时发光,也可以把控制粒度具体到各个发光单元,控制粒度越精细,所生成的灯效便越细腻。
不同灯块形态的灯块1之间,可以相互拼接,例如在六边形灯块的***任意一条结构边处邻接一个四边形的灯块,不难理解,通过搭配不同灯块形态的灯块,可以构造出更为丰富的面阵图案。当需要控制各个灯块播放相应的灯效时,通过协调控制各个灯块的各个发光单元发光,便可呈现一个显示画幅4,展示相应的灯效。
本申请的灯屏设备,当其上电时,控制器的控制芯片可以从存储器中调用执行计算机程序,通过该计算机程序默认的初始化流程,为灯屏上电并实现初始化,完成对灯屏和其他硬件设备的驱动配置。
一种实施例中,控制器在启动灯屏时,可以先向灯屏发送自检指令,驱动灯屏的各个发光灯带或灯块中的各个灯珠返回其在发光灯带或灯块中的位置信息。每个灯珠都设置有相应的控制芯片用于与控制器中的控制芯片进行数据通信,因而可以按照串行通信协议,将灯珠自身的特征信息与其他灯珠的特征信息按序串接,实现对自身的位置信息的表征。控制器与灯珠之间执行的串行通信协议,可以是IIC(Inter-Integrated Circuit,集成电路总线)、SPI(serial peripheral interface,串行外设接口)、UART(UniversalAsynchronous Receiver-Transmitter, 通用异步收发器)中任意一项。控制器从总线获得各个灯珠自检返回的结果数据后,对其进行解析,根据每个灯珠的特征信息在结果数据中的排序,便可确定各个灯珠在整个灯屏所呈现的显示画幅4中的位置,由此可以将每个灯珠作为一个发光单元,可以理解为一个基本像素,可将各个灯珠的位置信息构造为光源位置分布信息,后续控制器在构造灯效控制数据时,可以根据光源位置分布信息中各个灯珠也即各个发光单元的位置信息,按照实际需要,为每个基本像素设置其相应的发光颜色值。
一些实施例中,本申请的控制器2可以在独立的计算机设备中实现,只要该计算机设备配备控制器2相应的硬件,以及将控制器2相应的业务逻辑包括本申请的方法所执行的业务逻辑,实现为计算机程序安装在该计算机设备中运行即可。当控制器2在计算机设备中实现时,可以共用计算机设备固有的各种资源可以节省整体实现成本。此处所称的计算机设备,可以是任意供用户使用的终端设备,例如智能手机、个人计算机、笔记本电脑,平板电脑等。
根据以上灯屏设备的产品架构和工作原理,本申请的灯效生成方法,可以实现为计算机程序产品,存储于灯屏设备的控制器的存储器中,由中央处理器从该存储器中调用后运行,从而控制灯屏播放相应的灯效。
请参阅图4,在一个实施例中,本申请的灯效生成方法,可以按需将其各个步骤分散或集中部署在终端设备和控制器中运行,包括:
步骤S5100、获取灯效生成模型根据变换提示文本对图像媒体素材进行变换之后得到的风格化图像素材,所述风格化图像素材包含至少一个风格化图片;
本申请预备一个灯效生成模型,该灯效生成模型是深度学习模型,既可以是基于大语言模型实现,也可以基于自行搭建实现。该灯效生成模型能够接受两类信息的输入,该两类素材包括变换提示文本和图像媒体素材,借助文本编辑器和图像编辑器,分别对变换提示文本和图像媒体素材进行编辑得到各自的图像编码信息和文本编码信息后,根据图像编码信息和文本编码信息进行推理,得到相应的图像数据,视灯效生成模型所搭建的网络架构及其适应训练获得的能力不同,该图像数据可以是一个或多个风格化图片,也可以是一个或多个模型产出图片,对于模型产出图片,可以后接一个变换处理业务逻辑,将其进一步变换为相应的风格化图片。总之,借助灯效生成模型的能力,可以将图像媒体素材变换为由一个或多个风格化图片构成的风格化图像素材。
灯效生成模型可以部署在云端服务器、终端设备,或者本申请的灯屏设备的控制器中,只要被部署端的算力能够胜任灯效生成模型的运行所需即可。相应的,本申请的控制器可以接收经灯效生成模型变换处理后最终得到的风格化图像素材来播放相应的灯效。对灯效生成模型的调用以生成风格化图像素材的过程,同理也可以根据算力和功能需要灵活实现在云端服务器、终端设备或控制器中。
图像媒体素材可以是包含有图像信息的各种格式的图像数据,图像格式可以是各种格式的图片,也可以是各种格式的视频,或者是以流媒体传输的各种视频流,例如直播视频流、通过对图形用户界面的界面图像进行连续截图构成的视频流等。无论如何,图像媒体素材中包含有一个或多个图片,对于视频来说,即是指其中的图像帧。图像媒体素材发挥为灯效生成模型提供基础图像数据的作用,使灯效生成模型可以在这些基础图像数据的基础上进行适度变换创作出新的图像内容,最终使控制器得到根据这些图像内容制备得到的风格化图像素材。
变换提示文本可以是以自然语言表达的文本,可以任意形式输入并按需转换而成。例如,可以由用户通过输入法输入相应的自然语言文本,或者由用户以语音的形式输入而将该语音转换为相应的自然语言文本,对于用户原始输入的自然语言文本,可以按需进行文本格式化预处理,例如修正错别字、去除无效字符等。变换提示文本通常起到指令表示的作用,在变换提示文本中,可以给出将图像媒体素材中的图片进行各种形式的变换的指令,以使灯效生成模型可以根据指令生成与原图具有差别内容、差别风格、差别信息的图像数据。当然,变换提示文本中还可以给出诸如目标分辨率、目标尺寸等关于约束灯效生成模型所输出的图像数据的尺寸规格的指令信息。
当给定了图像媒体素材和变换提示文本并导入灯效生成模型后,灯效生成模型根据其训练习得的推理能力,在变换提示文本的语义的指示下,按照该语义对图像媒体素材中的各个图片进行变换处理,经过按需变换,最终便可使控制器获得相应的风格化图像素材,而风格化图像素材中,包含有根据图像媒体素材中的一个或多个图片进行风格化变换得到的一个或多个风格化图片。
风格化图像素材可以是将一个或多个风格化图片封装为特定数据格式得到的文件或数据集,以方便进行存储和调用,只要使用时能对其进行相应的解析以提取其中的风格化图片即可。当然,风格化图像素材也可以是对离散调用的各个风格化图片在逻辑上的集合性定义。
步骤S5200、根据所述风格化图像素材中的风格化图片生成与目标灯屏相匹配的灯效控制数据;
灯屏设备中的控制器可以连接一个或多个灯屏,用将需要播放灯效的灯屏作为目标灯屏,便可根据风格化图像素材中的各个风格化图片,逐一转换成灯效控制数据,作为灯效播放指令,传输给目标灯屏,便可控制目标灯屏播放相应的灯效。
一种实施例中,风格化图像素材按照视频数据或者图像集的格式封装有多个风格化图片,控制器对风格化图像素材进行解析,提取出其中的各个风格化图片,存储到一个图像队列中,按照队列先进先出的机制逐一出列各个风格化图片,根据出列的风格化图片生成其相应的灯效控制数据。逐一对各个风格化图片进行转换生成的各个灯效控制数据,可以存储到缓存区中,以备循环调用,以实现循环播放各个风格化图片相对应的灯效。在风格化图像素材只有单个风格化图片的实施例中,可以直接根据该风格化图片生成灯效控制数据进行播放并存储以供复用,而无需依赖图像队列。
当需要生成灯效控制数据时,可以预先获取目标灯屏的显示画幅的画幅信息来确定该显示画幅,一种实施例中,该画幅信息可以是根据目标灯屏的光源位置分布信息确定的。光源位置分布信息中给出了目标灯屏中各个发光单元相对于该显示画幅的位置信息,实现也就给出了目标灯屏的基本像素的位置分布关系,由此实际上也就确定了目标灯屏的显示画幅。
不难理解,根据目标灯屏的显示画幅的基本像素分布与风格化图片的分辨率信息之间的关系,可以建立它们彼此之间的分区映射关系,使风格化图片中的像素与显示画面的基本像素也即发光单元之间因应彼此像素分辨率的比例关系而灵活建立多对一、多对多、一对多、一对一等分区映射关系。根据这种分区映射关系,风格化图片上各个分区的图像数据都可以映射成显示画幅中相应分区的图像数据,表现在灯效控制数据中,也就是相应分区内的各个发光单元的控制数据。由此可见,根据风格化图片可以按照预设规则生成相应的灯效控制数据。
一种实施例中,风格化图片的像素分辨率可以与显示画幅的像素分辨率完全一致,在这种情况下,风格化图片中的像素与显示画幅中的发光单元一一对应,可以直接根据风格化图片的每个像素的图像数据生成其相对应的发光单元的控制数据,由此实现在风格化图片与显示画幅之间,以一对一的分区映射关系生成灯效控制数据。
另一实施例中,风格化图片中按照构成独立的内容对象的方式确定各个图像区域,这个图像区域的边缘轮廓通常是不规则的,当然也可能是规则的,然后,然后根据这个边缘轮廓所界定的图像区域,按照风格化图片与显示画幅之间分辨率的比例关系,将该图像区域相应缩放映射到显示画幅中,便可确定其在显示画幅中的映射区域,从而确定映射区域内的各个发光单元,由此可以根据该图像区域内的图像数据确定这些发光单元的控制数据,实现在风格化图片与显示画幅之间,以多对多的分区映射关系生成灯效控制数据。
再一实施例中,同样遵循多对多的分区映射关系,但不按各个独立内容对象的方式进行分区确定图像区域,而采用规则划分的方式,对风格化图片进行等分割而确定多个图像区域,其他同前一实施例,由此同理也可以实现以多对多的分区映射关系生成灯效控制数据。
在以上各个实施例进行分区映射以根据风格化图片中的图像数据确定相应发光单元的控制数据的过程中,所采用的图像数据主要是颜色数据,例如颜色值。当然,根据不同格式的图像数据表示图像信息的方式不同和目标灯屏控制方式不同等,也可以进一步包含亮度值、饱和度之类的其它图像数据。可由本领域技术人员按需应用。
根据以上各种实施方式生成的灯效控制数据,由于其根据目标灯屏的光源位置分布信息所限定的显示画幅进行对应构造,所以,该灯效控制数据是能够与目标灯屏相匹配的,当将其传输给目标灯屏时,目标灯屏便能够对其正确解析和应用,而不会出现故障。
步骤S5300、根据所述灯效控制数据控制所述目标灯屏播放相应的灯效。
各个风格化图片相对应的灯效控制数据,可以逐一传输给目标灯屏以控制其播放相应的灯效。具体而言,对于风格化图像素材中存在多个风格化图片而相应产生多个灯效控制数据的情况,控制器可以按照预设的播放时隙,间隔触发向目标灯屏传输一个灯效控制数据,从而将各个风格化图片相对应的各个灯效控制数据轮流逐一传输给目标灯屏。由于在一些实施例中灯效控制数据已经对应添加到缓存区中,所以,在轮流播放各个风格化图片相对应的灯效以呈现整体灯效的情况下,对于缓存区中已经存储的灯效控制数据,不必再依赖在先对风格化图片进行转换的步骤,只需从缓存区中复用已经存储的灯效控制数据进行传输应用即可。
目标灯屏每次接收到灯效控制数据后,按照其与各个发光单元之间遵循的数据通信协议例如串行通信协议传输给各个发光单元,每个发光单元接收到灯效控制数据后,对应提取或截取其中对应自身的控制数据后,根据自身的控制数据控制自身的发光元件发射相应的光线,并将灯效控制数据转发给其他未接收到的发光单元。每个发光单元都按照固有的业务逻辑对灯效控制数据进行接收、解析、响应发光和转发,整个目标灯屏便可呈现与该灯效控制数据相对应的风格化图片的画面效果,该画面效果自然也可近似地再现该风格化图片中的风格化效果。
不难理解,当风格化图像素材中包含有多个风格化图片时,各个风格化图片相对应的灯效轮流在目标灯屏的显示画幅中呈现,构成画面不断变化的同一整体灯效。当风格化图像素材中的风格化图片是来源于同一主题的图片或来源于同一主题内容的视频时,通常能够在目标灯屏呈现主题化的整体灯效。不难理解,这样的整体灯效风格一致且富有动感,更有现场沉浸效果。
根据以上实施例可以知晓,本申请具有多方面优势,包括但不限于:
首先,本申请在给定图像媒体素材和提示文本的情况下,由灯效生成模型根据给定的变换提示文本对给定的图像媒体素材进行变换之后得到风格化图像素材,其中包含至少一个风格化图片,将风格化图片转换为灯效控制数据,控制目标灯屏播放相应的灯效。由此,借助灯效生成模型能够根据变换提示文本和图像媒体素材创作出风格化图片的能力,可以快速地完成灯效的创作,提升了为灯屏进行灯效内容定制的创作效率,简化定制灯效的复杂度,可以大幅提升用户对灯屏设备的产品使用体验。
其次,本申请的灯效生成模型以图像媒体素材作为基础数据,以变换提示文本作为创作方向指示,在变换提示文本的指导下,能够基于图像媒体素材生成产生符合用户期望的输出,使用户最终得到风格化图像素材,用户由此可以灵活提供种图像媒体素材,并结合图像媒体素材和自身期望设定变换提示文本,例如,可以提供图片、视频等不同形式的图像媒体素材,然后以文本、语音等方式输入指令并转换为变换提示文本,便可指导灯效生成模型进行变换处理而最终得到风格化图像素材中的风格化图片,由此,用户更容易制作出优质的灯效。
此外,本申请利用灯效生成模型服务于灯屏设备的灯效定制,实现对灯屏设备的技术升级,解决灯屏设备智能生成灯效的能力,在内容定制方面丰富了灯屏设备的产品功能,灯屏设备的接受度更高,更易普及,其潜在经济收益明显提升。
在本申请的方法的任意实施例的基础上,获取灯效生成模型根据变换提示文本对图像媒体素材进行变换之后得到的风格化图像素材,包括:
步骤S6100、获取用户指定的图像媒体素材和变换提示文本;
图像媒体素材和变换提示文本均可由用户指定。例如,用户可以从终端设备的本地相册中选取一个或多个图片或视频,用作图像媒体素材。当然,也可以是指定在线链接以确定相应的图片或视频作为图像媒体素材。变换提示文本可以由用户手动录入提交,也可以默认设定,当用户提交图像媒体素材时,便调用获取默认设定的变换提示文本即可。一种实施例中,预先定制多个用于生成各式风格的风格化图片的变换提示文本模板,供用户选择其中任意之一作为最终应用的变换提示文本即可。
步骤S6200、向灯效生成模型导入所述图像媒体素材和变换提示文本,获得对应生成的变换图像素材,所述变换图像素材包含至少一个模型产出图片,所述灯效生成模型为第三方训练完备的大语言模型;
本实施例中的灯效生成模型,是一个由第三方训练完备的大语言模型,其基于大语言模型的网络架构,采用海量的训练数据对其训练,使其能够根据输入的图像信息和文本信息生成相应的图片的能力,当将用户指定的图像媒体素材和变换提示文本提交给该灯效生成模型后,灯效生成模型根据其训练所得的推理能力,以图像媒体素材中的各个图片作为蓝本,根据变换提示文本中的自然语言文本所表示的意图,对各个图片进行相应的图像内容变换处理,得到相应的图像,称为模型产出图片。灯效生成模型根据图像媒体素材所产出的模型产出图片的数量一般与图像媒体素材中的图片数量相对应,这些模型产出图片便构成灯效生成模型产出的变换图像素材。
在一些实施例中,通过在变换提示文本中包含特定语义的指示文本指示灯效生成模型为图像媒体素材中高度相近的图片共同生成同一模型产出图片,可避免灯效生成模型一一对应图像媒体素材中的每个图片而相应产生一个模型产出图片,既可以提高灯效生成模型生成全部模型产出图片的生产效率,也可以节省***开销,且可避免灯效重复。
利用第三方训练完备的大语言模型来生成模型产出图片时,具有成本原始,但由于这种大语言模型是通用人工智能的范畴,其产出的模型产出图片,未必能高度匹配播放灯效所需,未必能用途风格化图片的角色,在这种情况下,还可以通过后续步骤对各个模型产出图片做进一步的优化以便得到相应的风格化图片。
步骤S6300、以所述变换图像素材中的模型产出图片为单位,对每个模型产出图片进行风格化处理得到相应的风格化图片;
为确保模型产出图片能够用来高效地播放灯效,可以针对每个模型产出图片进行风格化处理,通过风格化处理,将每个模型产出图片转换为更适于转换为灯效控制数据以控制目标灯屏播放相应灯效的风格化图片。
对模型产出图片进行风格化处理的方式,视风格化效果的类型不同,可以设计对应的算法,实现为相应的程序接口,在需要进行某种风格化类型的风格化处理时,对应调用相应的程序接口来将模型产出图片转换为相应的风格化图片即可。
一种实施例中,用户也可以在变换提示文本中包含对风格化效果类型相对应的指示文本,可以促使灯效生成模型生成尽量贴近目标风格化效果的模型产出图片,再经本步骤做进一步的处理。当然,指示风格化效果类型的指示文本也可以由***的业务逻辑默认确定,或者由用户另外设定。不难理解,让用户参与到指定风格化效果类型中来,可以提升用户的参与度,提升用户使用体验。
步骤S6400、将各个所述风格化图片构造为风格化图像素材以备调用。
当将变换图像素材中的各个模型产出图片都转换为相应的风格化图片后,将全部风格化图片构成一个图像集合,或者按照一定的格式将其封装为一个文件,构成风格化图像素材,便可用来传输存储和调用。例如,可以从部署灯效生成模型和风格化处理程序的设备中直接传输给控制器,或者返回给用户所在的终端设备,由终端设备按需传输给控制器。
根据以上实施例不难理解,利用第三方训练完备的大语言模型,可以根据用户给定的变换提示文本对图像媒体素材进行图像内容变换,辅助用户完成图像内容创作,得到一个或多个模型产出图片构成相应的变换图像素材,经过对变换图像素材中的各个模型产出图片进行风格化处理,可以得到更适于播放相应的灯效的各个风格化图片,这些风格化图片构成风格化图像素材,可供存储复用,也可供直接播放灯效。在大语言模型的帮助下,用户创作灯效的效率大大提升,而且由于图像内容能够多样化,所以,灯效所需的风格化图像素材也更为丰富,能够优化灯屏设备的内容定制架构,有助于提升灯屏设备的推广和普及。
在基于模型产出图片继续变换得到风格化图片的过程中,可以对变换图像素材中的每个模型产出图片前期处理再行风格化处理,据此,在本申请的方法的任意实施例的基础上,以所述变换图像素材中的模型产出图片为单位,对每个模型产出图片进行风格化处理得到相应的风格化图片,包括:
步骤S7100、将所述变换图像素材中的每个模型产出图片压缩至预设规格,得到规格图片;
变换图像素材中的各个模型产出图片是由灯效生成模型生成的,出于内容创作所需,当其未能成为风格化图片时,本质上是一个中间产物,因此,一般会具有较高的分辨率,需要对中间产物进行后续变换以便得到最终的风格化图片。据此,先将变换图像素材中的每个模型产出图片都按照预设规格进行图像压缩,得到相应的规格图片。
预设规格可以适应后续业务流程的需要而设定,例如,适应对模型产出图片进行目标检测或者图像分割时的入参约束条件的需要,或者仅仅是适应规范化处理的需要,而对应设定一个预设规格。预设规格一般以分辨率来表示,例如适应目标灯屏的显示画幅中发光单元在纵横方向的排列而成的分辨率而匹配相应的预设倍数以确定出一个分辨率作为预设规格。形象示例而言,设目标灯屏的显示画幅中发光单元所构成的分辨率是64*64,对应的,可按照1倍或2倍确定出相应的预设规格为128*128或256*256,当然,也可以是根据其它任意倍数来设定,只要保持预设规格与目标灯屏的显示画幅之间具有一定的倍率比例关系以确保方向对应映射即可。
步骤S7200、基于所述规格图片确定其中的多个图像区域,所述图像区域具有规则或不规则的边缘轮廓;
为使目标灯屏能够更精致地复现模型产出图片的图像风格,可以在模型产出图片得到的规格图片基础上,进一步对该规格图片进行分区,以确定出多个图像区域。根据分区的依据不同,各个图像区域可以按照规则划分的方式处理而使其具有规则的边缘轮廓,也可以按照不规则划分的方式处理,而使其具有不规则的边缘轮廓。
一种实施例中,可以对规格图片进行目标检测,以确定出其中的各个目标对象的窗口,将各个窗口重叠部分去重后,得到边界分明的各个窗口以指定各个图像区域,从而使各个图像区域都呈现规则的边缘轮廓,对于未被识别为目标对象的背景图像来说,可以统一合并为同一图像区域。不难理解,这种情况下,规格图片被按照其中的内容对象进行区块分割,各个区块边界相对分明。
另一实施例中,可以在前一实施例完成目标检测得到各个目标对象的窗口的基础上,将各个窗口相对应的图像提取出来进行图像语义分割,得到其中的内容对象的边缘轮廓,这个边缘轮廓一般适应内容对象的图像边界而生成,是不规则的,将这个不规则的边缘轮廓设定为该内容对象相对应的图像区域。同理,对于未被识别为内容对象的其他背景图像,也可综合为同一图像区域,视为同一个内容对象。不难理解,由于将图像区域精确到内容对象的实际边界,后续再进行风格化处理时,更有统一性。
再一实施例中,可以对规格图片按照预设的尺度进行等分割,将其分割为多个矩形框,将每个矩形框确定为一个图像区域,这些图像区域的边缘轮廓当然是规则的。按照这种方式进行图像区域的划分,较为高效。
步骤S7300、对所述多个图像区域中的目标图像区域进行风格化处理,使所述规格图片成为风格化图片。
在确定出规格图片中的各个图像区域的基础上,可根据实际需要,将多个图像区域中的一个或者任意多个作为目标图像区域,对目标图像区域中的图像进行风格化处理。一般而言,默认对规格图片中的所有图像区域都进行风格化处理,都作为目标图像区域。一些实施例中,也可以开放给用户指定其中的一个或数个图像区域作为目标图像区域进行风格化处理。
风格化处理的方式多种多样,既可以设定默认的风格化处理方式进行应用,也可以开放给用户指定目标风格化处理方式进行应用;可以针对同一目标图像区域只应用一种风格化处理方式,也可以针对同一目标图像区域按需灵活结合多种风格化处理方式;可以在同一规格图片中统一为全部图像区域应用相同的风格化处理方式,也可以为同一规格图片中不同的图像区域应用不同的风格化处理方式。不同的风格化处理方式可以得到不同的图像效果,例如:
一种实施例中,对目标图像区域进行第一风格化处理,使其中的图像内容形成马赛克效果:具体而言,第一风格化处理通过第一风格化程序接口来实施,该在程序接口所实现的业务逻辑中,其对目标图像区域进一步按更小的尺寸规格进行细分切割得到相互错落布置的多个细小图块,并分别填色,使整个目标图像区域整体上仍能还原出目标图像区域内的图像意象的同时,呈现马赛克效果。
另一实施例中,对目标图像区域进行第二风格化处理,使其中的图像内容呈现单一色调而形成块状像素化效果:具体而言,第二风格化处理通过第二风格化程序接口来实施,在该程序接口所实现的业务逻辑中,其对整个目标图像区域中的图像进行统一填色,使整个目标图像区域呈现同一颜色,从而使整个规格图片呈现多个色块,得到块状像素化效果。
再一实施例中,对目标图像区域进行第三风格化处理,使其中的图像内容的边缘轮廓得以突显而呈现勾勒效果:具体而言,第三风格化处理通过第三风格化程序接口来实施,在该程序接口所实现的业务逻辑中,其先以预设宽高扩大目标图像区域的边缘轮廓的线宽,然后对该线宽范围进行统一填色,而对于边缘轮廓范围内的区域则可以去除颜色或者统一填充为黑色之类的其他颜色,由此使整个规格图片中,各个图像区域的边界得以突显,呈现勾勒效果。
在一些实施例中,可以灵活结合以上多种风格化处理方式,对目标图像区域进行相应的处理,以得到更为多变的风格化图片。例如,可以将规格图片中的目标图像区域中的边缘轮廓线相对应的覆盖区域处理为勾勒效果,而将未覆盖区域处理为马赛克效果或块状像素化效果。
据此可见,对规格图片中的目标图像区域进行风格化处理后,便可得到相应的风格化图片。变换图像素材中的各个模型产出图片都可以按照以上过程逐一转换为相应的风格化图片,由这些风格化图片构成风格化图像素材。
通过以上实施例可以知晓,按照预设规格对变换图像素材中的风格化图片进行分区确定出多个图像区域,按需对其中的目标图像区域进行风格化处理,便可得到相应的风格化效果,得到风格化图片,将变换图像素材中的模型产出图片都转换为相应的风格化图片,构成风格化素材,可供目标灯屏进行灯效播放之用。其中,对模型产出图片基于分区进行风格化处理,既高效,又能实现二次创作,且能匹配目标灯屏的像素特点。
在本申请的方法的任意实施例的基础上,基于所述规格图片确定其中的多个图像区域,包括:
步骤S7210、基于所述规格图片进行目标检测,确定出其中的各个内容对象相对应的对象图像;
本实施例中,借助一个目标检测模型对规格图片实施检测,以确定出其中的各个内容对象相对应的对象图像。目标检测模型可以是Yolo系列的已知模型。经目标检测后,得到规格图片中的各个内容对象的窗口,截取窗口区域的图像作为相应的内容对象的对象图像。
步骤S7220、基于每个对象图像进行图像语义分割,得到每个对象图像中属于前景的内容对象和属于背景的边缘轮廓;
进一步,可借助图像分割模型对每个对象图像进行图像语义分割,得到其中的内容对象的各个像素所构成的掩膜,该掩膜中指示出各个像素是否属于内容对象,属于该内容对象即为前景,不属于该内容对象即为背景,相应得到前景和背景的边缘轮廓。可见,该掩膜实际给出了前景图像即内容对象的边缘轮廓和背景图像的边缘轮廓。
图像分割模型可以从多种已知模型中选型,例如U-net系列模型、SAM系列模型、Mask R-CNN系列模型等均可。不难理解,经过图像语义分割得到的内容对象的边缘轮廓及其背景的边缘轮廓,由于内容对象的边缘轮廓匹配内容对象的实际图像边界,所以,一般两个边缘轮廓均是不规则的边缘轮廓。
步骤S7230、合并各个对象图像中属于背景的边缘轮廓,以将所述规格图片的全图背景指示为独立的内容对象;
当规格图片中存在多个内容对象时,相应便有多个对象图像,每个对象图像中都确定出相应的背景图像,在这种情况下,可以将各个对象图像中的背景图像都进行区域合并,确定出规格图片中的全图背景的边缘轮廓,将规格图片中的全图背景视为独立的内容对象。
步骤S7240、根据各个所述边缘轮廓标定各个内容对象在所述规格图片中相对应的图像区域。
至此,得到规格图片中各个内容对象的边缘轮廓,建立这些边缘轮廓与规格图片的对应关系,将每个边缘轮廓所涵盖的区域作为相应的图像区域,便实现对规格图片中的各个图像区域的标定。
通过以上实施例可以知晓,对规格图片进行目标检测得到各个对象图像后,对各个对象图像进行图像语义分割,可以得到不规则的边缘轮廓,这个不规则的边缘轮廓真实地界定了内容对象在规格图片中的实际边界,还原出规格图片中多内容对象之间的实际区域关系。据此得到的图像区域,当其被实施风格化处理时,更为针对性,风格化后更有整体感;当其映射至目标灯屏的显示画幅时,对规格图片的还原度更高。
在本申请的方法的任意实施例的基础上,对所述多个图像区域中的目标图像区域进行风格化处理,使所述规格图片成为风格化图片,包括:
步骤S7311、将所述目标图像区域划分为多个图块;
目标图像区域内的内容对象,可以按照马赛克效果呈现的需要,设定一个或多个尺度相对应的细小区域,按照这些细小区域进行更细粒度的分区,由此将目标图像区域划分为多个图块。具体的分区方式可以是规则分区而使这些图层之间呈矩阵排列,以得到马赛克效果;也可以是相互错落分区而使这些图块之间相互错落排列,以强化马赛克效果。同时,分区方式也可以根据灯屏设备进行设置,也即根据目标灯屏的光源位置分布信息确定的,例如可以根据拼接灯的最终拼接形状进行分区,也可以根据像素屏或窗帘灯的灯珠排布方式进行分区。
步骤S7312、获取每个图块中全部像素的颜色值的均值,并将其作为该图块相对应的区域标准色;
对于目标图像区域中的每个图块,可以将每个图块中全部像素的颜色值求均值,用来衡量该图块的图像整体上呈现的色调效果,将该均值作为该图块相对应的区域标准色。由此,每个图块都得到反映其自身的色调效果的区域标准色。在一些实施例中,还可对该区域标准色进行检测,确定其是否低于预设阈值,当低于预设阈值时,按照预设范围提升该区域标准色,以便得到增亮效果,使该区域标准具有更浓的鲜艳度。
步骤S7313、将每个图块中的每个像素的颜色值设定为该图块相对应的区域标准色,以定义出所述目标图像区域的马赛克效果。
为了得到马赛克效果,进一步将每个图块中的每个像素的颜色值都设定为该图块相对应的区域标准色,即将图块中的每个像素的颜色值都替换为该图块的区域标准色相对应的颜色值,即前文所揭示的均值。由此,便可将目标图像区域定义为马赛克效果。
不难理解,经过马赛克效果相对应的风格化处理,目标图像区域在图像效果上,大致仍能呈现原来的内容对象,但其中的可辨析粒度以图块为单位而变得更粗糙,更适合映射到目标灯屏中呈现。
在本申请的方法的任意实施例的基础上,对所述多个图像区域中的目标图像区域进行风格化处理,使所述规格图片成为风格化图片,包括:
步骤S7321、获取所述目标图像区域中全部像素的颜色值的均值,并将其作为该目标图像区域的区域标准色;
目标区域图像也可以整体统一填色,以便简化风格化处理的运算量以提高风格化处理效率,同时还可适配一些分辨率更低的灯屏。由此,针对目标图像区域,将其中的全部像素的颜色值求均值,作为该目标图像区域的区域标准色。
在一些实施例中,还可对该区域标准色进行检测,确定其是否低于预设阈值,当低于预设阈值时,按照预设范围提升该区域标准色,以便得到增亮效果,使该区域标准具有更浓的鲜艳度。
步骤S7322、将每个目标图像区域中的每个像素的颜色值设定为该目标图像区域相对应的区域标准色,以定义出所述目标图像区域的块状像素化效果。
与前一实施例同理,将目标图像区域中的每个像素的颜色值都设定为该目标图像区域相对应的区域标准色,即将目标图像区域中的每个像素的颜色值都替换为该目标图像区域的区域标准色相对应的颜色值,即前文所揭示的均值。由此,整个目标图像区域便是一大块相同的颜色,在其边缘轮廓的勾勒下,指示出相应的内容对象,从而定义出目标图像区域的块状像素化效果。
不难理解,在目标图像区域的粒度上进行统一填色,虽然粒度更粗,但可以发光单元数量少、匹配分辨率较低的灯屏,且可提高风格化处理效率,减小运算量,快速高效。
在本申请的方法的任意实施例的基础上,对所述多个图像区域中的目标图像区域进行风格化处理,使所述规格图片成为风格化图片,包括:
步骤S7331、以预定的线宽确定出所述目标图像区域的边缘轮廓线及相对应的覆盖区域,将该边缘轮廓线所围合内的区域作为未覆盖区域;
将目标图像区域中的边缘轮廓的最外层像素连接在一起,便可构成相应的边缘轮廓线,将这个边缘轮廓线按照预定的线宽进行扩充,便可得到更粗的边缘轮廓线,成为目标图像区域外缘的覆盖区域。在对边缘轮廓线进行扩充时,可以向内扩充,也可以向扩充,或者同时向内和向外扩充均可,可灵活设定。对于目标图像区域中不属于覆盖区域的像素集合来说,也就是该边缘轮廓线所界定的闭合范围来说,自然构成未覆盖区域。
步骤S7332、获取所述目标图像区域中全部像素的颜色值的均值,并将其作为该目标图像区域的区域标准色;
同理,边缘轮廓线相对应的覆盖区域也可以整体统一填色,以便简化风格化处理的运算量以提高风格化处理效率,实现对边缘轮廓线的勾勒突显。由此,针对边缘轮廓线相对应的覆盖区域填色所需,先将目标图像区域中全部像素的颜色值求均值,作为该目标图像区域的区域标准色。
在一些实施例中,还可对该区域标准色进行检测,确定其是否低于预设阈值,当低于预设阈值时,按照预设范围提升该区域标准色,以便得到增亮效果,使该区域标准具有更浓的鲜艳度。
步骤S7333、将所述覆盖区域中的每个像素的颜色值设定为所述目标图像区域相对应的区域标准色,且将该未覆盖区域的每个像素的颜色值设定为预设标准色。
同理,将边缘轮廓线相对应的覆盖区域中的每个像素的颜色值都设定为该目标图像区域相对应的区域标准色,即将覆盖区域中的每个像素的颜色值都替换为该目标图像区域的区域标准色相对应的颜色值,即前文所揭示的均值。
对于该覆盖区域之外属于目标图像区域内的其他像素,也即未覆盖区域内的像素的颜色值来说,可以设定为预设标准色,预设标准色可以是黑色、白色等任意颜色值,起到衬托该边缘轮廓线的作用即可。
按照以上的实施方式可知,通过扩大目标图像区域的边缘轮廓线的线宽,对线宽相对应的覆盖区域,按照目标图像区域中的像素均值进行填色,将其他未覆盖区域设置为背景相对应的标准色,衬托出边缘轮廓线,边缘轮廓线又能反映目标图像区域中的图像的总体色调,由此,实现对目标图像区域的风格化处理,得到勾勒效果。按照这种方式进行处理,同样具有运算量低,成像效率迅速等优势,能够适配各种各样的灯屏,更具通用性。
在本申请的方法的任意实施例的基础上,获取灯效生成模型根据变换提示文本对图像媒体素材进行变换之后得到的风格化图像素材,包括:
步骤S8100、获取用户指定的图像媒体素材和变换提示文本;
图像媒体素材和变换提示文本均可由用户指定。例如,用户可以从终端设备的本地相册中选取一个或多个图片或视频,用作图像媒体素材。当然,也可以是指定在线链接以确定相应的图片或视频作为图像媒体素材。变换提示文本可以由用户手动录入提交,也可以默认设定,当用户提交图像媒体素材时,便调用获取默认设定的变换提示文本即可。一种实施例中,预先定制多个用于生成各式风格的风格化图片的变换提示文本模板,供用户选择其中任意之一作为最终应用的变换提示文本即可。
步骤S8200、向灯效生成模型导入所述图像媒体素材和变换提示文本,获得对应生成的风格化图像素材,灯效生成模型为在第三方训练完备的大语言模型的基础上微调训练得到的模型。
本实施例中的灯效生成模型,可以基于大语言模型微调训练来制备。具体而言,包括如下步骤:首先,预备训练数据集,在训练数据集中包括图像媒体素材及预设的变换提示文本作为训练样本,并提供与该变换提示文本包含的指示语义相对应的风格化图片作为监督样本;然后,从训练数据集中迭代调用训练样本,输入第三方训练完备的大语言模型,由其推理生成模型产物图片;最后,采用该训练样本相对应的监督样本计算与该模型产物图片之间的损失值,根据该损失值修正大语言模型的权重,使该损失值迭代趋近于预设值或者直到迭代次数达到预设次数,从而确认该大语言模型经微调训练达到收敛状态,将收敛后的大语言模型作为灯效生成模型使用。灯效生成模型在该训练数据集的微调训练过程中受训练样本相对应的风格化图片所监督,所以,当其达到收敛状态后,便获得了根据给定的变换提示文本对图像媒体素材进行图像变换以得到一个或多个风格化图片的能力,只要给定图像媒体素材和变换提示文本,便可以端到端地得到可直接作用风格化图片使用的模型产物图片。当然,这些风格化图片便构成了灯效生成模型所输出的图像媒体素材。
训练数据集中的风格化图片,可以对应图像媒体素材中的图片提供,方便两者之间一一对应实施监督训练,以便灯效生成模型可以对应给定的图像媒体素材中的每个图片生成一个相应的风格化图片。训练数据集中的风格化图片,可以是本申请前文所揭示的,适于转换为目标灯屏的灯效控制数据的图片,以便可以根据该风格化图片快速生成目标灯屏的灯效控制数据。
根据以上实施例不难理解,在第三方训练完备的大语言模型继续微调训练至收敛后作为灯效生成模型使用,能够端到端地根据图像媒体素材完成创作和风格化处理而直接得到由风格化图片构成的风格化图像素材,显著提升灯效所需的风格化图片的创作效率,可以根据风格化图片直接生成灯效相对应的灯效控制数据,在大语言模型的帮助下,用户创作灯效的效率大大提升,而且由于图像内容能够多样化,所以,灯效所需的风格化图像素材也更为丰富,能够优化灯屏设备的内容定制架构,有助于提升灯屏设备的推广和普及。
在本申请的方法的任意实施例的基础上,获取用户指定的图像媒体素材和变换提示文本,包括:
步骤S9100、在图形用户界面中显示图像媒体素材设置控件、文本输入区以及提交按键;
当需要获取图像媒体素材和变换提示文本时,可以将业务逻辑延伸到具有人机交互功能的设备中实施,例如在实现了人机交互功能的控制器中实施,或者延伸到与控制器相连接的终端设备处实施。借助设备提供的人机交互功能,在设备的图形用户界面中显示图像媒体素材设置控件、文本输入区以及提交按键。
设置控件可以供用户采集或选择图像媒体素材,例如可以供用户调用摄像单元以获取实景图片或视频作为图像媒体素材,或者供用户在图库中选择图片或视频作为图像媒体素材。
文本输入区可以供用户选择或者输入文本作为变换提示文本,用户也可以采用语音输入以生成变换提示文本。
提交按键用于触发提交事件,以便确定用户编辑完成的图像媒体素材和变换提示文本。
步骤S9200、响应作用于所述提交按键的提交事件,获取用户基于所述设置控件指定的图像媒体素材及基于所述文本输入区提供的变换提示文本。
当用户完成图像媒体素材和变换提示文本的设定后,可以通过该提交按键触发相应的提交事件,响应于该提交事件,从设置控件中获取用户指定的图像媒体素材,从文本输入区中提取用户指定的变换提示文本,将图像媒体素材和变换提示文本提交给灯效生成模型以便获得模型的输出。
根据以上实施例可见,可以基于人机交互功能向用户开放灯效创作能力,使用户可以灵活设计出更为丰富优质的灯效。
在本申请的方法的任意实施例的基础上,根据所述风格化图像素材中的风格化图片生成与目标灯屏相匹配的灯效控制数据之前,包括:
步骤S4100、获取目标灯屏的光源位置分布信息,并根据目标灯屏的光源位置分布信息构造界面画布,将界面画布展示到图形用户界面;
如前所述,可以预先获取目标灯屏的光源位置分布信息,其中包含了目标灯屏相对于其显示画幅的各个发光单元的位置信息,根据这些位置信息,可以确定出该显示画幅及其中各个发光单元的分布,据此便可以构造出一个界面画布,使该界面画布与该显示画幅相匹配,并且将其中各个发光单元视为相应的基本像素看待,以便用于适配风格化图片的展示。构造好该界面画布后,借助预先提供的人机交互功能,将该界面画布展示到图形用户界面中,例如控制器或与其连接的终端设备的图形用户界面中。
步骤S4200、将所述风格化图像素材中的风格化图片适配展示到所述界面画布中供用户编辑;
用户可以基于该界面画布对风格化图像素材中的风格化图片进行编辑,以使风格化图片更能匹配自身预期。据此,用户可以从风格化图像素材中选取需要编辑的风格化图片,将该风格化图片适配到界面画布中展示,例如:
一种实施例中,风格化图片的纵横比例与界面画布的纵横比例不匹配,可以根据界面画布的纵横比例对风格化图片进行裁剪,以使两者的纵横比例相匹配。
另一实施例中,风格化图片的分辨率高于界面画布的分辨率超出预设倍数,可以适度压缩风格化图片的分辨率,使两者分辨率之比落入预设倍数范围内。
完成风格化图片与界面画布的匹配后,便可将风格化图片缩放成界面画布相同的尺寸,添加到界面画布顶层进行显示,用户便可在界面画布中,对该风格化图片进行编辑,实现颜色修改、图像放大或图像移动等功能。不难理解,据此进行的编辑效果,方便快速应用到风格化图片中。
步骤S4300、响应作用于所述风格化图片的编辑提交事件,将编辑完成的风格化图片替换更新所述风格化图像素材中的相应风格化图片。
当用户完成对各个风格化图片的编辑后,可以在图形用户界面中触发相应的编辑提交事件,后台程序将用户编辑效果应用到各个风格化图片以实现对各个风格化图片的修正,然后将这些风格化图片替换风格化图像素材中的相应风格化图片即原图,便可完成对风格化图像素材的编辑。
根据以上实施例可知,用户可以对风格化图像素材进行深度创作,对其中的风格化图片进行修正更新,在修正更新的过程中,借助根据目标灯屏的光源位置分布信息构造出界面画布,将风格化图片适配到界面画布中展示,更方便用户精准编辑风格化图片,所见即所得,辅助用户定制出更为优势的灯效素材。
在本申请的方法的任意实施例的基础上,根据所述风格化图像素材中的风格化图片生成与目标灯屏相匹配的灯效控制数据之前,包括:
步骤S4100、获取目标灯屏的光源位置分布信息,所述光源位置分布信息包括所述目标灯屏中各个发光单元参考该目标灯屏的显示画幅而确定的位置信息;
目标灯屏的光源位置分布信息还可以用来生成灯效数据模板,因而,在事先获取了光源位置分布信息的基础上,对其进行直接调用即可。
步骤S4200、根据所述光源位置分布信息生成所述目标灯屏相对应的灯效数据模板,所述灯效数据模板中包含所述目标灯屏中各个发光单元的发光参数属性项;
由于光源位置分布信息包括所述目标灯屏中各个发光单元参考该目标灯屏的显示画幅而确定的位置信息,也即灯珠数量、灯珠密度及灯珠排布方式等信息,所以,可以将各个发光单元及其发光参数属性项作为数据记录,构造为二维表示的数据列表,将这个数据列表构造为灯效数据模板。在构造该数据列表时,可以按照各个发光单元在信号传输链路上的顺序排列各个发光单元相对应的数据记录的顺序,以方便按照各个发光单元在信号传输链路中的顺序组织各个发光参数属性项的数据。
步骤S4300、将所述灯效数据模板与所述目标灯屏相映射存储于存储器中以备调用。
确定出灯效数据模板后,可将该灯效数据模板与该目标灯屏相映射存储在控制器中,在控制器需要根据风格化图片生成其相应的灯效控制数据时,直接调用该灯效数据模板用来封装该灯效控制数据。
根据以上实施例,预先根据光源位置分布信息构造出一个灯效数据模板,该灯效数据模板为将各个风格化图片转换为相应的灯效控制数据提供了便利,可以提升根据风格化图片转换出相应的灯效控制数据的效率。
在本申请的方法的任意实施例的基础上,根据所述风格化图像素材中的风格化图片生成与目标灯屏相匹配的灯效控制数据,包括:
步骤S5210、从所述风格化图像素材中提取出其中的风格化图片;
当需要根据风格化图像素材播放灯效时,可将其中的每个风格化图片视为一个灯效图像帧,逐一进行播放。据此,可先将风格化图像素材中的各个风格化图片提取出来,添加到一个图像队列中按序出列调用,为每个出列的风格化图片生成与目标灯屏相匹配的灯效控制数据。
步骤S5220、根据所述风格化图片中各个像素的颜色值,确定灯效数据模板中与各个所述像素相对应的发光单元的发光参数属性项,得到每个风格化图片相对应的灯效控制数据。
当需要针对一个风格化图片生成其相应的灯效控制数据时,按照风格化图片中的像素与目标灯屏的显示画幅中的发光单元的对应关系进行转换,当风格化图片的分辨率与显示画幅的分辨率存在倍数关系时,也相应进行倍数对应,由此,风格化图片中的像素数与显示画幅中的发光单元的数量之间,可能是多对一的关系,当存在多对一的关系时,可以将多个像素数的颜色值取均值作为相应的发光单元的颜色值使用。当风格化图片中的像素与显示画幅中的发光单元一一对应时,则该像素的颜色值直接设为该发光单元的颜色值即可。
在已经根据目标灯屏的光源位置分布信息构造出灯效数据模板的基础上,只需按照以上的对应关系,将根据风格化图片的像素确定的颜色值直接为灯效数据模板中相应的发光单元的发光参数属性项赋值,便可完成对相应的发光单元的颜色值的设定,构成控制相应的发光单元发光的控制数据。
当灯效数据模板上的各个发光单元都完成了其发光参数属性项的数据设定后,便可将灯效数据模板中的各个数据记录,按照控制器与目标灯屏之间的通信协议例如串行通信协议,将各个数据记录封装成灯效控制数据,该灯效控制数据实质起到灯效播放指令的作用,将其传输给目标灯屏,目标灯屏中的各个发光单元便可从灯效控制数据中获取对应其自身的控制数据,得到其中的颜色值,控制其自身的发光元件发射相应的色光。各个发光单元均发射出其控制数据相对应的色光,目标灯屏便能在其整个显示画幅中显示出风格化图片相对应的画面效果。轮流根据各个风格化图片播放相应各帧画面效果,便可在目标灯屏的显示画幅呈现动画效果。
通过以上实施例可见,基于灯效数据模板来为各个风格化图片生成相应的灯效控制数据时,填色速度更快,并且填色准确,对于采用较低成本的嵌入式芯片的控制器来说,不仅具有运算资源上的效率优势,而且具有成本上的经济优势。
请参阅图5,本申请的另一实施例还提供一种灯效生成装置,其包括素材获取模块5100、指令生成模块5200,以及灯效播放模块5300,其中,所述素材获取模块5100,设置为获取灯效生成模型根据变换提示文本对图像媒体素材进行变换之后得到的风格化图像素材,所述风格化图像素材包含至少一个风格化图片;所述指令生成模块5200,设置为根据所述风格化图像素材中的风格化图片生成与目标灯屏相匹配的灯效控制数据;所述灯效播放模块5300,设置为根据所述灯效控制数据控制所述目标灯屏播放相应的灯效。
在本申请的装置的任意实施例的基础上,所述素材获取模块5100,包括:数据获取模块,设置为获取用户指定的图像媒体素材和变换提示文本;简单推理模块,向灯效生成模型导入所述图像媒体素材和变换提示文本,获得对应生成的变换图像素材,所述变换图像素材包含至少一个模型产出图片,所述灯效生成模型为第三方训练完备的大语言模型;变换处理模块,设置为以所述变换图像素材中的模型产出图片为单位,对每个模型产出图片进行风格化处理得到相应的风格化图片;产物构造模块,设置为将各个所述风格化图片构造为风格化图像素材以备调用。
在本申请的装置的任意实施例的基础上,所述变换处理模块,包括:图像压缩模块,设置为将所述变换图像素材中的每个模型产出图片压缩至预设规格,得到规格图片;图像分区模块,设置为基于所述规格图片确定其中的多个图像区域,所述图像区域具有规则或不规则的边缘轮廓;风格塑造模块,设置为对所述多个图像区域中的目标图像区域进行风格化处理,使所述规格图片成为风格化图片。
在本申请的装置的任意实施例的基础上,所述图像分区模块,包括:目标检测模块,设置为基于所述规格图片进行目标检测,确定出其中的各个内容对象相对应的对象图像;图像分割模块,设置为基于每个对象图像进行图像语义分割,得到每个对象图像中属于前景的内容对象和属于背景的边缘轮廓;背景合并模块,设置为合并各个对象图像中属于背景的边缘轮廓,以将所述规格图片的全图背景指示为独立的内容对象;区域标定模块,设置为根据各个所述边缘轮廓标定各个内容对象在所述规格图片中相对应的图像区域。
在本申请的装置的任意实施例的基础上,所述风格塑造模块,包括如下至少任意一项功能模块:第一功能模块,设置为对所述目标图像区域进行第一风格化处理,使其中的图像内容形成马赛克效果;第二功能模块,设置为对所述目标图像区域进行第二风格化处理,使其中的图像内容呈现单一色调而形成块状像素化效果;第三功能模块,设置为对所述目标图像区域进行第三风格化处理,使其中的图像内容的边缘轮廓得以突显而呈现勾勒效果。
在本申请的装置的任意实施例的基础上,所述风格塑造模块,包括:块状切分模块,设置为将所述目标图像区域划分为多个图块;图块定色模块,设置为获取每个图块中全部像素的颜色值的均值,并将其作为该图块相对应的区域标准色;图块上色模块,设置为将每个图块中的每个像素的颜色值设定为该图块相对应的区域标准色,以定义出所述目标图像区域的马赛克效果。
在本申请的装置的任意实施例的基础上,所述风格塑造模块,包括:对象定色模块,设置为获取所述目标图像区域中全部像素的颜色值的均值,并将其作为该目标图像区域的区域标准色;对象上色模块,设置为将每个目标图像区域中的每个像素的颜色值设定为该目标图像区域相对应的区域标准色,以定义出所述目标图像区域的块状像素化效果。
在本申请的装置的任意实施例的基础上,所述风格塑造模块,包括:轮廓提取模块,设置为以预定的线宽确定出所述目标图像区域的边缘轮廓线及相对应的覆盖区域,将该边缘轮廓线范围内所围合的区域作为未覆盖区域;对象定色模块,设置为获取所述目标图像区域中全部像素的颜色值的均值,并将其作为该目标图像区域的区域标准色;全图上色模块,设置为将所述覆盖区域中的每个像素的颜色值设定为所述目标图像区域相对应的区域标准色,且将该未覆盖区域的每个像素的颜色值设定为预设标准色。
在本申请的装置的任意实施例的基础上,所述素材获取模块5100,包括:数据获取模块,设置为获取用户指定的图像媒体素材和变换提示文本;深度推理模块,设置为向灯效生成模型导入所述图像媒体素材和变换提示文本,获得对应生成的风格化图像素材,灯效生成模型为在第三方训练完备的大语言模型的基础上微调训练得到的模型。
在本申请的装置的任意实施例的基础上,所述数据获取模块,包括:界面表现模块,设置为在图形用户界面中显示图像媒体素材设置控件、文本输入区以及提交按键;提交响应模块,设置为响应作用于所述提交按键的提交事件,获取用户基于所述设置控件指定的图像媒体素材及基于所述文本输入区提供的变换提示文本。
在本申请的装置的任意实施例的基础上,等于所述指令生成模块5200的运行,本申请的灯效生成装置,还包括:画布展示模块,设置为获取目标灯屏的光源位置分布信息,并根据目标灯屏的光源位置分布信息构造界面画布,将界面画布展示到图形用户界面;图片展示模块,设置为将所述风格化图像素材中的风格化图片适配展示到所述界面画布中供用户编辑;编辑响应模块,设置为响应作用于所述风格化图片的编辑提交事件,将编辑完成的风格化图片替换更新所述风格化图像素材中的相应风格化图片。
在本申请的装置的任意实施例的基础上,先于所述指令生成模块5200的运行,本申请的灯效生成装置,还包括:布局获取模块,设置为获取目标灯屏的光源位置分布信息,所述光源位置分布信息包括所述目标灯屏中各个发光单元参考该目标灯屏的显示画幅而确定的位置信息;模板生成模块,设置为根据所述光源位置分布信息生成所述目标灯屏相对应的灯效数据模板,所述灯效数据模板中包含所述目标灯屏中各个发光单元的发光参数属性项;模板存储模块,设置为将所述灯效数据模板与所述目标灯屏相映射存储于存储器中以备调用。
在本申请的装置的任意实施例的基础上,所述指令生成模块,包括:图片提取模块,设置为从所述风格化图像素材中提取出其中的风格化图片;指令封装模块,设置为根据所述风格化图片中各个像素的颜色值,确定灯效数据模板中与各个所述像素相对应的发光单元的发光参数属性项,得到每个风格化图片相对应的灯效控制数据。
在本申请任意实施例的基础上,请参阅图6,本申请的另一实施例还提供一种计算机设备,该计算机设备可以充当灯屏设备中的控制器使用,如图6所示,计算机设备的内部结构示意图。该计算机设备包括通过***总线连接的处理器、计算机可读存储介质、存储器和网络接口。其中,该计算机设备的计算机可读存储介质存储有操作***、数据库和计算机可读指令,数据库中可存储有控件信息序列,该计算机可读指令被处理器执行时,可使得处理器实现一种灯效生成方法。该计算机设备的处理器用于提供计算和控制能力,支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令,该计算机可读指令被处理器执行时,可使得处理器执行本申请的灯效生成方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本实施方式中处理器用于执行图5中的各个模块及其子模块的具体功能,存储器存储有执行上述模块或子模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有本申请的灯效生成装置中执行所有模块/子模块所需的程序代码及数据,服务器能够调用服务器的程序代码及数据执行所有子模块的功能。
本申请还提供一种存储有计算机可读指令的存储介质,计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行本申请任一实施例所述灯效生成方法的步骤。
本申请还提供一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被一个或多个处理器执行时实现本申请任一实施例所述灯效生成方法的步骤。
本领域普通技术人员可以理解实现本申请上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等计算机可读存储介质,或随机存储记忆体(Random Access Memory,RAM)等。
以上所述仅是本申请的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
综上所述,本申请借助灯效生成模型根据变换提示文本对图像媒体素材进行变换而得到风格化图片,根据风格化图片播放相应的灯效,实现灯屏设备的灯效的智能化创作,优化灯屏设备的产品使用体验,有助于灯屏设备的推广。
Claims (13)
1.一种灯效生成方法,其特征在于,包括:
获取灯效生成模型根据变换提示文本对图像媒体素材进行变换之后得到的风格化图像素材,所述风格化图像素材包含至少一个风格化图片;
根据所述风格化图像素材中的风格化图片生成与灯屏设备中的目标灯屏相匹配的灯效控制数据;
由所述灯屏设备中的控制器根据所述灯效控制数据控制所述目标灯屏播放相应的灯效;
所述根据所述风格化图像素材中的风格化图片生成与灯屏设备中的目标灯屏相匹配的灯效控制数据之前,包括:
获取目标灯屏的光源位置分布信息,所述光源位置分布信息包括所述目标灯屏中各个发光单元参考该目标灯屏的显示画幅而确定的位置信息;
根据所述光源位置分布信息生成所述目标灯屏相对应的灯效数据模板,所述灯效数据模板中包含所述目标灯屏中各个发光单元的发光参数属性项;
将所述灯效数据模板与所述目标灯屏相映射存储于存储器中以备调用;
所述根据所述风格化图像素材中的风格化图片生成与灯屏设备中的目标灯屏相匹配的灯效控制数据,包括:
从所述风格化图像素材中提取出其中的风格化图片;
根据所述风格化图片中各个像素的颜色值,确定灯效数据模板中与各个所述像素相对应的发光单元的发光参数属性项,得到每个风格化图片相对应的灯效控制数据。
2.根据权利要求1所述的灯效生成方法,其特征在于,获取灯效生成模型根据变换提示文本对图像媒体素材进行变换之后得到的风格化图像素材,包括:
获取用户指定的图像媒体素材和变换提示文本;
向灯效生成模型导入所述图像媒体素材和变换提示文本,获得对应生成的变换图像素材,所述变换图像素材包含至少一个模型产出图片,所述灯效生成模型为第三方训练完备的大语言模型;
以所述变换图像素材中的模型产出图片为单位,对每个模型产出图片进行风格化处理得到相应的风格化图片;
将各个所述风格化图片构造为风格化图像素材以备调用。
3.根据权利要求2所述的灯效生成方法,其特征在于,以所述变换图像素材中的模型产出图片为单位,对每个模型产出图片进行风格化处理得到相应的风格化图片,包括:
将所述变换图像素材中的每个模型产出图片压缩至预设规格,得到规格图片;
基于所述规格图片确定其中的多个图像区域,所述图像区域具有规则或不规则的边缘轮廓;
对所述多个图像区域中的目标图像区域进行风格化处理,使所述规格图片成为风格化图片。
4.根据权利要求3所述的灯效生成方法,其特征在于,基于所述规格图片确定其中的多个图像区域,包括:
基于所述规格图片进行目标检测,确定出其中的各个内容对象相对应的对象图像;
基于每个对象图像进行图像语义分割,得到每个对象图像中属于前景的内容对象和属于背景的边缘轮廓;
合并各个对象图像中属于背景的边缘轮廓,以将所述规格图片的全图背景指示为独立的内容对象;
根据各个所述边缘轮廓标定各个内容对象在所述规格图片中相对应的图像区域。
5.根据权利要求3所述的灯效生成方法,其特征在于,对所述多个图像区域中的目标图像区域进行风格化处理,包括如下至少任意一项:
对所述目标图像区域进行第一风格化处理,使其中的图像内容形成马赛克效果;
对所述目标图像区域进行第二风格化处理,使其中的图像内容呈现单一色调而形成块状像素化效果;
对所述目标图像区域进行第三风格化处理,使其中的图像内容的边缘轮廓得以突显而呈现勾勒效果。
6.根据权利要求3所述的灯效生成方法,其特征在于,对所述多个图像区域中的目标图像区域进行风格化处理,使所述规格图片成为风格化图片,包括:
将所述目标图像区域划分为多个图块;
获取每个图块中全部像素的颜色值的均值,并将其作为该图块相对应的区域标准色;
将每个图块中的每个像素的颜色值设定为该图块相对应的区域标准色,以定义出所述目标图像区域的马赛克效果。
7.根据权利要求3所述的灯效生成方法,其特征在于,对所述多个图像区域中的目标图像区域进行风格化处理,使所述规格图片成为风格化图片,包括:
获取所述目标图像区域中全部像素的颜色值的均值,并将其作为该目标图像区域的区域标准色;
将每个目标图像区域中的每个像素的颜色值设定为该目标图像区域相对应的区域标准色,以定义出所述目标图像区域的块状像素化效果。
8.根据权利要求3所述的灯效生成方法,其特征在于,对所述多个图像区域中的目标图像区域进行风格化处理,使所述规格图片成为风格化图片,包括:
以预定的线宽确定出所述目标图像区域的边缘轮廓线及相对应的覆盖区域,将该边缘轮廓线所围合的区域作为未覆盖区域;
获取所述目标图像区域中全部像素的颜色值的均值,并将其作为该目标图像区域的区域标准色;
将所述覆盖区域中的每个像素的颜色值设定为所述目标图像区域相对应的区域标准色,且将该未覆盖区域的每个像素的颜色值设定为预设标准色。
9.根据权利要求1所述的灯效生成方法,其特征在于,获取灯效生成模型根据变换提示文本对图像媒体素材进行变换之后得到的风格化图像素材,包括:
获取用户指定的图像媒体素材和变换提示文本;
向灯效生成模型导入所述图像媒体素材和变换提示文本,获得对应生成的风格化图像素材,灯效生成模型为在第三方训练完备的大语言模型的基础上微调训练得到的模型。
10.根据权利要求1至9中任意一项所述的灯效生成方法,其特征在于,根据所述风格化图像素材中的风格化图片生成与灯屏设备中的目标灯屏相匹配的灯效控制数据之前,包括:
获取目标灯屏的光源位置分布信息,并根据目标灯屏的光源位置分布信息构造界面画布,将界面画布展示到图形用户界面;
将所述风格化图像素材中的风格化图片适配展示到所述界面画布中供用户编辑;
响应作用于所述风格化图片的编辑提交事件,将编辑完成的风格化图片替换更新所述风格化图像素材中的相应风格化图片。
11.一种灯效生成装置,其特征在于,包括:
素材获取模块,设置为获取灯效生成模型根据变换提示文本对图像媒体素材进行变换之后得到的风格化图像素材,所述风格化图像素材包含至少一个风格化图片;
指令生成模块,设置为根据所述风格化图像素材中的风格化图片生成与灯屏设备中的目标灯屏相匹配的灯效控制数据;
灯效播放模块,设置为由所述灯屏设备中的控制器根据所述灯效控制数据控制所述目标灯屏播放相应的灯效;
先于所述指令生成模块的运行,还包括:布局获取模块,设置为获取目标灯屏的光源位置分布信息,所述光源位置分布信息包括所述目标灯屏中各个发光单元参考该目标灯屏的显示画幅而确定的位置信息;模板生成模块,设置为根据所述光源位置分布信息生成所述目标灯屏相对应的灯效数据模板,所述灯效数据模板中包含所述目标灯屏中各个发光单元的发光参数属性项;模板存储模块,设置为将所述灯效数据模板与所述目标灯屏相映射存储于存储器中以备调用;
所述指令生成模块,包括:图片提取模块,设置为从所述风格化图像素材中提取出其中的风格化图片;指令封装模块,设置为根据所述风格化图片中各个像素的颜色值,确定灯效数据模板中与各个所述像素相对应的发光单元的发光参数属性项,得到每个风格化图片相对应的灯效控制数据。
12.一种灯屏设备,包括中央处理器和存储器,其特征在于,所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行如权利要求1至10中任意一项所述的方法的步骤。
13.一种非易失性可读存储介质,其特征在于,其以计算机可读指令的形式存储有计算机程序,所述计算机程序被计算机调用运行时,执行如权利要求1至10中任意一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311741716.2A CN117440574B (zh) | 2023-12-18 | 2023-12-18 | 灯屏设备及灯效生成方法和相应的装置、介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311741716.2A CN117440574B (zh) | 2023-12-18 | 2023-12-18 | 灯屏设备及灯效生成方法和相应的装置、介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117440574A CN117440574A (zh) | 2024-01-23 |
CN117440574B true CN117440574B (zh) | 2024-04-02 |
Family
ID=89551865
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311741716.2A Active CN117440574B (zh) | 2023-12-18 | 2023-12-18 | 灯屏设备及灯效生成方法和相应的装置、介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117440574B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102737391A (zh) * | 2011-03-29 | 2012-10-17 | 卡西欧计算机株式会社 | 图像处理装置、图像处理方法、图像处理***及存储介质 |
CN209822184U (zh) * | 2019-01-25 | 2019-12-20 | 临海市东利光电有限公司 | 一种led柔性显示屏控制*** |
CN111176531A (zh) * | 2020-01-03 | 2020-05-19 | 京东方科技集团股份有限公司 | 电子设备及其交互方法、计算机可读存储介质 |
CN113362406A (zh) * | 2021-04-26 | 2021-09-07 | 猫岐智能科技(上海)有限公司 | 光幕图像生成方法及***以及识别*** |
WO2023185671A1 (zh) * | 2022-04-01 | 2023-10-05 | 北京字跳网络技术有限公司 | 风格图像生成方法、装置、设备及介质 |
CN117115303A (zh) * | 2023-08-24 | 2023-11-24 | 支付宝(杭州)信息技术有限公司 | 用于内容生成的方法、***、计算设备和存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4156076A1 (en) * | 2021-09-24 | 2023-03-29 | Robert Bosch GmbH | Device and method to improve synthetic image generation of image-to-image translation of industrial images |
-
2023
- 2023-12-18 CN CN202311741716.2A patent/CN117440574B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102737391A (zh) * | 2011-03-29 | 2012-10-17 | 卡西欧计算机株式会社 | 图像处理装置、图像处理方法、图像处理***及存储介质 |
CN209822184U (zh) * | 2019-01-25 | 2019-12-20 | 临海市东利光电有限公司 | 一种led柔性显示屏控制*** |
CN111176531A (zh) * | 2020-01-03 | 2020-05-19 | 京东方科技集团股份有限公司 | 电子设备及其交互方法、计算机可读存储介质 |
CN113362406A (zh) * | 2021-04-26 | 2021-09-07 | 猫岐智能科技(上海)有限公司 | 光幕图像生成方法及***以及识别*** |
WO2023185671A1 (zh) * | 2022-04-01 | 2023-10-05 | 北京字跳网络技术有限公司 | 风格图像生成方法、装置、设备及介质 |
CN117115303A (zh) * | 2023-08-24 | 2023-11-24 | 支付宝(杭州)信息技术有限公司 | 用于内容生成的方法、***、计算设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN117440574A (zh) | 2024-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109783182A (zh) | 一种页面主题色调的调整方法、装置、设备及介质 | |
CN117412449B (zh) | 氛围灯设备及其灯效播放控制方法和相应的装置、介质 | |
US20230057566A1 (en) | Multimedia processing method and apparatus based on artificial intelligence, and electronic device | |
CN117082683B (zh) | 拼接灯具灯效应用、播放方法及装置、设备和介质 | |
CN103092612A (zh) | 实现安卓操作***3d桌面贴图的方法及电子装置 | |
CN110023964A (zh) | 训练和/或使用神经网络模型来生成光谱图像的中间输出 | |
US11640650B2 (en) | Computing apparatus and operation method of the same | |
CN108628563A (zh) | 显示装置、显示方法以及存储介质 | |
CN105975168A (zh) | 一种osd菜单淡入/淡出方法及装置 | |
CN113453027A (zh) | 直播视频、虚拟上妆的图像处理方法、装置及电子设备 | |
CN117440574B (zh) | 灯屏设备及灯效生成方法和相应的装置、介质 | |
CN117521179A (zh) | 氛围灯设备及发光分区布局构造方法、装置和计算机设备 | |
CN108229270A (zh) | 用于从遥感图像中识别道路的方法、装置和电子设备 | |
CN111488147A (zh) | 一种智能布局方法及装置 | |
KR102623148B1 (ko) | 전자 장치 및 전자 장치의 제어 방법 | |
US9076263B2 (en) | Image processing apparatus, picture style conversion method and storage medium | |
CN113052981B (zh) | 模型的编辑、构建方法及相关设备,计算机存储介质 | |
CN113342291B (zh) | 一种灯效控制方法和灯效控制*** | |
CN115063800B (zh) | 文本识别方法和电子设备 | |
CN111107264A (zh) | 图像处理方法、装置、存储介质以及终端 | |
CN110310341A (zh) | 颜色算法中默认参数的生成方法、装置、设备和存储介质 | |
CN117412450B (zh) | 氛围灯设备及其灯效配色方法和相应的装置、介质 | |
CN114007145A (zh) | 一种字幕显示方法及显示设备 | |
CN117412452B (zh) | 氛围灯设备及其配色方法和相应的装置、介质 | |
CN117412451B (zh) | 氛围灯设备及其映射配色方法和相应的装置、介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |