CN115884471A - 灯效控制方法及其装置、设备、介质、产品 - Google Patents

Abstract

本申请涉及一种灯效控制方法及其装置、设备、介质、产品，所述方法包括：获取在显示的界面图像；从图像灯效库中查询出所述界面图像的待匹配图像特征语义相匹配的预存图像特征相映射的灯效类型；调用所述灯效类型相对应的灯效控制指令控制与当前嵌入单元相连接的灯效显示单元播放相应的灯效。本申请能够基于嵌入单元实现根据界面图像的图像特征的语义来确定对应的灯效类型，从而控制灯效显示单元播放相应的语义，使灯效所渲染的氛围与界面图像的画面氛围协调一致，成本可控，方便实施。

Description

灯效控制方法及其装置、设备、介质、产品

技术领域

本申请涉及照明技术领域，尤其涉及一种灯效控制方法及其装置、设备、介质、产品。

背景技术

随着人工智能的发展日益成熟，在深度学习算法和NPU芯片不断迭代下，人工智能的应用逐渐可以下沉到消费端应用市场，例如灯效设备便开始尝试使用各种人工智能技术来实现更为智能的业务。灯效设备具有展示信息、装饰氛围等作用，应用广泛，其智能程度也越来越高，其功能也适应不同需求而不断发展。

业内最新的一些灯效设备，通过摄像头拾取屏幕中由图像产生的颜色，将屏幕画面分区拾取颜色，映射到灯带中，实现氛围照明。此类设备的不足之处在于只关心图像的颜色而不关心颜色之外的其他信息，例如图像的内容和风格等，导致其所实施的灯效，难以与图像内容和风格本身形成有效的语义关联，常难以起到渲染现实氛围的效果。例如，当图像中的呈现一幅悲伤的画面时，由于其中有红色区域，现有技术可能会将红色映射成暖色系的灯效例如粉红色、橙色等，使得实际氛围与图像氛围失调，适得其反。

阻碍灯效设备生成与图像的内容和风格的另一技术障碍是NPU之类的嵌入式芯片的算力、成本、存储空间等的限制，此类芯片的各种运算资源相对局限，如果过度引入相关智能技术，会导致实施成本的陡增，从而提高了改进的门槛。

由此可见，在面对硬件条件约束与智能化需求的多重困境下，如何实现灯效控制设备的技术升级，是本领域技术人员需要克服的问题。

发明内容

本申请的目的在于解决上述问题而提供一种灯效控制方法及其相应的装置、设备、非易失性可读存储介质，以及计算机程序产品。

根据本申请的一个方面，提供一种灯效控制方法，包括如下步骤：

获取在显示的界面图像；

从图像灯效库中查询出所述界面图像的待匹配图像特征语义相匹配的预存图像特征相映射的灯效类型；

调用所述灯效类型相对应的灯效控制指令控制与当前嵌入单元相连接的灯效显示单元播放相应的灯效。

可选的，从图像灯效库中查询出所述界面图像的待匹配图像特征语义相匹配的预存图像特征相映射的灯效类型，包括：

使用图像编码模型提取所述界面图像的图像特征作为待匹配图像特征；

计算所述待匹配图像特征与所述图像灯效库中的各个预存图像特征之间的语义相似度；

判断最高语义相似度相对应的预存图像特征的语义相似度是否超过预设的相似阈值，当超过所述相似阈值时，选定与最高语义相似度的预存图像特征相映射的灯效类型。

可选的，计算所述待匹配图像特征与所述图像灯效库中的各个预存图像特征之间的语义相似度，包括：

将所述图像灯效库中各个预存图像特征的向量表示所构成的特征矩阵转换为其转置矩阵；

计算所述界面图像的待匹配图像特征的向量表示与所述转置矩阵之间的矩阵乘积作为相应预存图像特征的语义相似度；

将各个预存图像特征的语义相似度归一化至统一的数值区间。

可选的，获取在显示的界面图像之前，包括：

获取样本图像，设定所述样本图像的灯效类型；

提取所述样本图像的图像特征，将所述图像特征作为预存图像特征与其相应的灯效类型相映射存储于所述图像灯效库中；

初始化设定所述图像灯效库中各个预存图像特征的相似阈值。

可选的，初始化设定所述图像灯效库中各个预存图像特征的相似阈值的步骤中，

所述相似阈值对应所述预存图像特征的来源图像个性化确定，或者，

所述相似阈值对应所述预存图像特征的来源图像相映射的灯效类型个性化确定，或者，

所述相似阈值对应所述界面图像的来源类型个性化确定。

可选的，判断最高语义相似度相对应的预存图像特征的语义相似度是否超过预设的相似阈值，当超过所述相似阈值时，选定与最高语义相似度的预存图像特征相映射的灯效类型之前，包括：

识别所述界面图像的来源接口所属的来源类型，根据所述来源类型调用与所述来源类型相对应预设的相似阈值，用于判断最高语义相似度相对应的预存图像特征的语义相似度是否超过预设的相似阈值。

可选的，调用所述灯效类型相对应的灯效控制指令控制与当前嵌入单元相连接的灯效显示单元播放相应的灯效之前，包括：

判断连续多个界面图像所对应确定的灯效类型是否一致，当一致时，执行后续步骤以实施灯效切换，否则跳过后续步骤以维持原有的灯效；

或者，

判断连续多个界面图像的待匹配图像特征的语义相似度是否均低于预设的帧间阈值，当均低于该帧间阈值时，执行后续步骤以实施灯效切换，否则跳过后续步骤以维持原有的灯效。

根据本申请的另一方面，提供一种灯效控制装置，包括：

图像获取模块，设置为获取在显示的界面图像；

灯效匹配模块，设置为从图像灯效库中查询出所述界面图像的待匹配图像特征语义相匹配的预存图像特征相映射的灯效类型；

灯效播放模块，设置为调用所述灯效类型相对应的灯效控制指令控制与当前嵌入单元相连接的灯效显示单元播放相应的灯效。

根据本申请的另一方面，提供一种灯效控制设备，包括嵌入单元和与该嵌入单元相连接的拾音单元、灯效显示单元，所述嵌入单元中包括中央处理器和存储器，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行本申请所述的灯效控制方法的步骤。

根据本申请的另一方面，提供一种非易失性可读存储介质，其以计算机可读指令的形式存储有依据所述的灯效控制方法所实现的计算机程序，所述计算机程序被计算机调用运行时，执行该方法所包括的步骤。

根据本申请的另一方面，提供一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现本申请任意一种实施例中所述方法的步骤。

相对于现有技术，本申请在嵌入单元中实现灯效控制的现实，通过在图像灯效库中表示出多个预存图像特征及相应的灯效类型的映射关系，当需要确定界面图像相对应的灯效类型时，利用界面图像的图像特征作为待匹配图像特征，基于语义匹配的方式，从所述图像灯效库中查询出与待匹配图像特征构成语义相似的预存图像特征的灯效类型，再根据这个灯效类型控制灯效显示单元播放相应的灯效，使灯效显示单元所实施的灯效能够与预存图像特征、待匹配图像特征之间建立基于图像语义的关联，进而使所渲染的灯效氛围能够与界面图像所展示的氛围在语义上相对应，智能化地提升灯效与界面图像的内容、风格等的一致性，与此同时，还兼顾了嵌入单元的硬件条件与智能化程度之间的平衡，能取得规模经济效用。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一种灯效控制设备的原理示意图；

图2为本申请的灯效控制方法的一种实施例的流程示意图；

图3为本申请实施例中确定界面图像相对应的灯效类型的流程示意图；

图4为本申请实施例中计算语义相似度的流程示意图；

图5为本申请实施例中构造图像灯效库的流程示意图；

图6为本申请的灯效控制装置的原理框图；

图7为本申请所采用的一种可用做灯效控制设备的计算机设备的结构示意图。

具体实施方式

请参阅图1，本申请示例性提供的一种灯效控制设备的原理框图中，灯效控制设备包括嵌入单元、摄像单元以及灯效显示单元，其中：

所述嵌入单元可采用各种嵌入式芯片实现，例如蓝牙Soc、WiFi Soc、MCU、DSP、NPU等芯片，所述芯片通常包括中央处理器和存储器，主要用于存储和执行程序指令，实现相应的功能，例如运行根据本申请的灯效控制方法所实现的计算机程序产品，或者运行本申请可能用到的图像特征提取模型，以及其他相关控制逻辑等。

所述摄像单元，是指适于采集环境图像的摄像设备。该摄像单元是本申请的灯效控制设备的可选配件，本申请的灯效控制设备除了可以采用所述摄像单元获取其他智能设备输出显示的界面图像外，还可以通过其他各种通信协议获取所述智能设备在显示的界面图像，例如通过HDMI协议提供的有线连接方式，或者通过WiFi之类协议的无线传输方式等，均可获得在显示的界面图像。

所述灯效显示单元，其数量可以是单个也可以是多个，用于执行灯效控制指令而播放相应的灯效，实现信息展示、氛围装饰等效果。所述灯效可以由本领域技术人员预设，编制出其对应的灯效控制指令，预先存储于所述嵌入单元和/或灯效显示单元中，在需要调用执行而播放相应灯效即可。

所述灯效控制设备运行时，嵌入单元可以获取任意一个来源的界面图像，然后根据所述界面图像获取其图像特征，根据图像特征与图像灯效库中的预存图像特征进行语义匹配来确定相应的灯效类型，再采用所述灯效类型相对应的灯效控制指令控制一个或多个所述的灯效显示单元播放相应的灯效。

在以上原理性说明的基础上，请参阅图2，根据本申请提供的一种灯效控制方法，在其一个实施例中，包括如下步骤：

步骤S1100、获取在显示的界面图像；

所述界面图像，是指在任意智能设备的图形用户界面中显示的图像。这些图像既可以是视频流播放时所输出显示的图像，例如网络直播程序的直播视频流中输出显示的图像帧，或者其他媒体流输出显示的图像帧等；也可以是应用程序所形成的在图形用户界面中显示的内容图像。所述的应用程序，通常能够以具有变化画面的方式提供内容图像，例如游戏程序便能提供为断变化的游戏画面相对应的内容图像；还可以是其他静态图片在图形用户界面所呈现的图像，例如动态或静态的屏幕保护图片等。

由于本申请的方法主要应用在灯效控制设备中，因而，在获取所述界面图像时，通常是获取智能设备中在显示的界面图像，对于其他与所述界面图像属于相同来源，但未显示到图形用户界面上的其他图像，一般只在其显示到图形用户界面上时才予以处理。

获取在显示的界面图像的方式较为丰富，例如：

一种实施例中，可以基于各种有线显示接口协议，例如HDMI、DVI、DP、VGA等，利用这些协议提供的接口，通过有线的方式，将本申请的灯效控制设备与用于显示所述界面图像的智能设备相连接，以便本申请的灯效控制设备的嵌入单元能够通过有线连接获取正显示在所述智能设备的显示设备上的界面图像。

另一实施例中，可以基于各种无线通信协议，例如WiFi、蓝牙等，由智能设备与本申请的灯效控制设备的嵌入单元均遵守相同媒体数据交换协议的情况下，以无线的方式，将智能设备中正在显示的界面图像传输给本申请的灯效控制设备的嵌入单元。

再一实施例中，可在本申请的灯效控制设备中配置摄像单元，由所述摄像单元实时地拍摄智能设备的显示设备上的界面图像，然后提供给灯效控制设备中的嵌入单元处理。对于摄像单元实时录制的界面图像，可以从相应的图像空间中调用每一个图像帧后，进行相应的图像优化处理。例如，按需对其进行图像校正、平滑、裁切、缩放等，以便将其调整成适于做后续处理的特定分辨率的规格图片。

步骤S1200、从图像灯效库中查询出所述界面图像的待匹配图像特征语义相匹配的预存图像特征相映射的灯效类型；

本申请预备有一个图像灯效库，其中存储有各个预设图像的图像特征作为预存图像特征，并且，对应每个预存图像特征，根据其来源图像的内容和风格，与该预存图像特征相映射设置风格相对应的灯效类型。

所述灯效类型，是预先设计的，并且编制了其相应的灯效控制指令，存储到所述嵌入单元的存储器或者其他可由该嵌入单元访问的存储器中，以便嵌入单元可以根据灯效指令调用相应的灯效控制指令。所述灯效类型存在多种，每一种对应不同的氛围风格，例如，可以按照情感类型设置对应氛围风格，确定出与悲伤、平和、欢快、刺激、惊险、郁闷等等情绪相对应的氛围风格，为每种氛围风格设置一种相应的灯效类型。由此，便可按照来源图像的所属的风格，将该来源图像相应的预存图像特征设置为相应风格的灯效类型。

灯效类型与来源图像的预存图像特征之间的映射关系，可以是一对一或一对多的关系，例如，多个来源图像相对应的多个预存图像特征可以被标注为属于同一灯效类型。

当需要为所述界面图像匹配出其相对应的灯效类型时，同理需要先使用图像编码模型提取所述界面图像的图像特征作为待匹配图像特征，以便界面图像与图像灯效库中的各个来源图像之间，可以基于图像特征来实施语义匹配操作。

在实施语义匹配时，可以先计算出所述界面图像的待匹配图像特征与图像灯效库中的各个预存图像特征之间的语义相似度，再根据语义相似度筛选出一个预存图像特征，作为与所述待匹配图像特征实现语义匹配的目标图像特征，表示界面图像与该目标图像特征的来源图像在内容和风格上相似，然后确定出与这个目标图像特征相映射的目标灯效类型，作为与所述界面图像相对应的灯效类型即可。

在筛选确定所述目标图像特征时，一种实施例中，可以选取最高语义相似度相对应的预存图像特征作为目标图像特征，以追求最为相似的结果。另一实施例中，为防止图像特征由于相应的神经网络模型过拟合而导致个别图像特征出错的情况，还可以选定次高语义相似度相对应的预存图像特征作为目标图像特征。

一种实施例中，所述界面图像的待匹配图像特征及所述各个来源图像的预存图像特征，均可采用同一图像编码模型来提取。所述图像编码模型可以从卷积神经网络(CNN，Convolutional Neural Network)、残差网络(Resnet，Residual Network)、VGG等等适于对图像实施卷积操作以提取其深层语义特征的基础模型中选型。所述图像编码模型可以是预训练好的模型。

另一实施例中，事先自行对所述图像编码模型训练至收敛状态后投入使用。在实施对所述图像编码模型的训练时，为其后接分类器，然后采用大量的训练样本及其监督标签实施训练，所述训练样本可以选用各种表示出不同氛围风格的样本图像，其相应的监督标签则是与氛围风格相对应的标签信息。在对所述图像编码模型实施训练时，每次采用一个训练样本输入，由图像编码模型对该训练样本进行特征表示后，预测出其相对应的氛围风格，再采用该训练样本相对应的监督标签计算预测出的氛围风格的分类损失值，再根据所述分类损失值对所述图像编码模型实施梯度更新，在所述分类损失值达到预设的目标阈值时，表明所述图像编码模型达到收敛，可终止对其训练而去除后接的分类器，将其用于提取所述的图像特征。

由于所述图像编码模型是按照氛围风格进行监督训练的，因而，由图像编码模型对图像进行特征表示获得的图像特征，能够表示出描述氛围风格相对应的深层语义，基于相同性质的深层语义进行图像匹配时，可以确保间接确定灯效类型的准确对应性。由此也可以看出，在对图像编码模型实施训练所提供的监督标签所表示出的氛围风格，实际上也是本申请的灯效类型所采用的氛围风格。

本申请中，基于界面图像和来源图像的图像特征进行相似匹配，再间接确定灯效类型的操作，不直接采用分类器来直接预测界面图像的图像特征相对应的灯效类型，可以照顾嵌入单元运算资源相对有限的特点，也即，所述图像灯效库中的预存图像特征理论上可以在嵌入单元之外预先运行所述图像编码模型来获取，至于界面图像与各个来源图像的预存图像特征进行匹配时的各种运算，其运算量相对较低，因而更适于部署到嵌入单元中实施，由此可见，这种安排有其精妙之处，能够取得更优的运算效率，有助于控制整个灯效控制设备的总体实施成本。

步骤S1300、调用所述灯效类型相对应的灯效控制指令控制与当前嵌入单元相连接的灯效显示单元播放相应的灯效。

所述嵌入单元中，预存有灯效类型与其相应的灯效控制指令之间的映射关系数据，当然，该映射关系数据也可以存储于所述图像灯效库中。由此，当确定出界面图像相对应的灯效类型之后，便可从所述映射关系数据中，获得与所述灯效类型相映射的灯效控制指令，将该灯效控制指令传输给与嵌入单元相连接的灯效显示单元，由此便可控制所述灯效显示单元播放相应的灯效。

一个实施例中，可以由多个灯效显示单元配合显示同一灯效内容，据此，当嵌入单元将所述灯效控制指令传输给所述多个灯效显示单元后，各个灯效显示单元分别根据所述灯效控制指令相应播放其各自负责的灯效显示过程，由所有灯效显示单元共同展示所述的灯效内容。

另一实施例中，当将一个灯效类型例如古典类型的灯效控制指令传输给所述灯效显示单元之后，灯效显示单元按照预先定义的协议，将灯光效果控制为例如按照闪烁显示。如果后续确定出的灯效类型并未发生变化，则无需向所述灯效显示单元传输相同的灯效控制指令。一旦后续产生不同的灯效类型，例如新的灯效类型为摇滚类型时，则传输其相对应灯效控制指令，根据预先定义的协议，控制灯效显示单元进行滚动显示灯效内容。一些实施例中，在控制两个不同灯效类型的灯效切换显示的过程中，可以做平滑处理，使发光元件的亮度和色彩值渐进变化而实现自然过渡即可。

根据以上实施例可知，本申请在嵌入单元中实现灯效控制的现实，通过在图像灯效库中表示出多个预存图像特征及相应的灯效类型的映射关系，当需要确定界面图像相对应的灯效类型时，利用界面图像的图像特征作为待匹配图像特征，基于语义匹配的方式，从所述图像灯效库中查询出与待匹配图像特征构成语义相似的预存图像特征的灯效类型，再根据这个灯效类型控制灯效显示单元播放相应的灯效，使灯效显示单元所实施的灯效能够与预存图像特征、待匹配图像特征之间建立基于图像语义的关联，进而使所渲染的灯效氛围能够与界面图像所展示的氛围在语义上相对应，智能化地提升灯效与界面图像的内容、风格等的一致性，与此同时，还兼顾了嵌入单元的硬件条件与智能化程度之间的平衡，能取得规模经济效用。

在本申请任意实施例的基础上，请参阅图3，从图像灯效库中查询出所述界面图像的待匹配图像特征语义相匹配的预存图像特征相映射的灯效类型，包括：

步骤S1210、使用图像编码模型提取所述界面图像的图像特征作为待匹配图像特征；

本实施例中，可将本申请事先训练的图像编码模型的代码信息及其权重参数安装到嵌入单元中，并启用相应的图像编码服务。当所述界面图像传入嵌入单元时，由在嵌入单元中的运行的图像编码服务调用所述图像编码模型对所述界面图像进行特征表示。

所述界面图像在经过所述图像编码模型中的卷积层、池化层、批处理化层等相继处理后，获得相应的图像特征，即待匹配图像特征。为便于后续进行高效运算，一种实施例中，可在所述图像编码模型中将提取出的所述图像特征展开成为一个高维向量，同理，本申请中的各个预存图像特征也可以采用高维向量的形式来进行向量表示。

一种实施例中，提取图像特征所需图像编码模型，采用了卷积神经网络VGG16，VGG16模型由5层卷积层，3层全连接层，Softmax输出层构成，层与层之间使用了Maxpooling(最大池化)分开，所有隐层的激活单元都采用ReLU函数。在线上推理阶段，只使用该模型中的卷积层和池化层构成图像编码模型，裁剪掉了模型训练时所使用的全连接层和Softmax层，通过该图像编码模型便可对输入图像进行特征表示，获得相应的图像特征。当然，此处只是关于图像编码模型选型的一种示例，本领域技术人员也可以按需另行选用其他基础模型来实施。

步骤S1220、计算所述待匹配图像特征与所述图像灯效库中的各个预存图像特征之间的语义相似度；

为了确定所述待匹配图像特征与所述图像灯效库中的各个预存图像特征之间是相似程度，本质上是确定所述界面图像与所述图像灯效库的各个来源图像之间在图像内容和风格上的相似程序，可以采用任意一种数据距离算法来计算所述待匹配图像特征与各个预存图像特征之间的数据距离，并将各个数据距离转换为语义相似度的表示，使得语义相似度越高时，表示两个图像特征之间在图像内容和风格上越相似。

本申请中，所述数据距离算法，可以采用矩阵内积、余弦相似度、皮尔逊相关系数、欧氏距离、杰卡德距离等任意一种算法来实施。各种数据距离算法均能有效地表示出两个图像特征之间在语义上的相似程度，因而，可以将其计算结果作为语义相似度的衡量。

一种实施例中，由于余弦相似度计算简单，效果好，可以优选余弦相似度算法来实施相似度的计算。余弦相似度算法通过测量两个向量的夹角的余弦值来度量它们之间的相似性。0度角的余弦值是1，而其他任何角度的余弦值都不大于1；并且其最小值是-1。从而两个向量之间的角度的余弦值确定两个向量是否大致指向相同的方向。两个向量有相同的指向时，余弦相似度的值为1；两个向量夹角为90°时，余弦相似度的值为0；两个向量指向完全相反的方向时，余弦相似度的值为-1。这结果是与向量的长度无关的，仅仅与向量的指向方向相关。余弦相似度通常用于正空间，因此给出的值为-1到1之间，不考虑余弦相似度为负数的情况，范围则是0-1，转换为百分比0％-100％表示图像相似度。

进一步，可以对余弦相似度计算公式进行优化以提升计算速度，将分子和分母分别拆开计算：

(1)分子x1*x2+y1*y2，使用NPU矩阵乘积的方式计算，只需要做一次矩阵乘积，就可以计算出输入的界面图像的图像特征与图像灯效库中每个图像特征的乘积，大幅度提升计算速度。

(2)分母是分别计算特征向量在直角坐标系的长度，只需要在特征提取的时候计算一次，从而节省算力。

(3)求出分子分母后则可以根据余弦距离公式计算出余弦距离，假设图像库有1000张图片，这种计算方式可以比传统计算方式提示1000倍的运算速度。

步骤S1230、判断最高语义相似度相对应的预存图像特征的语义相似度是否超过预设的相似阈值，当超过所述相似阈值时，选定与最高语义相似度的预存图像特征相映射的灯效类型。

考虑到灯效显示单元在同一时间只能实施一种灯效的播放，因而，本实施例中，只根据最高语义相似度来确定所述界面图像相对应的目标灯效类型。为此，可先按照语义相似度对所述图像灯效库中的各个预存图像特征进行倒排序，从而确定排序中的首个预存图像特征为具有最高语义相似度的预存图像特征，然后，利用一个预设的相似阈值与该最高语义相似度进行比较，当所述最高语义相似度超过所述相似阈值时，表明最高语义相似度相对应的来源图像在内容和风格上与所述界面图像高度相似，两者相匹配，于是，可以将该最高语义相似度相对应的预存图像特征相映射的灯效类型，确定为与所述界面图像相匹配的目标灯效类型。

一种实施例中，当所述最高语义相似度未超过所述预设阈值时，可以对所述界面图像进行取色，确定其相对应的平均色域，然后根据平均色域确定其相对应的目标灯效类型亦可，从而，即使当前的界面图像未能通过语义匹配的方式确定出其相应的灯效类型，也可以根据界面图像的平均色域来实现技术救济，而确定相应的目标灯效类型用于调用相应的灯效控制指令，实施对氛围灯效的控制。

根据以上实施例可知，基于语义匹配的方式，可以精准地确定出与所述界面图像在内容和风格上相匹配的预存图像特征，实际上便确定出与该预存图像特征相对应的来源图像，进而确定出与该预存图像特征相映射的灯效类型以便获得相应的灯效控制指令，而该灯效类型恰恰是对应所述来源图像的风格而设定的，因而，所述界面图像与匹配出的灯效类型可以确保在氛围风格上准确对应，使得由此产生的灯效氛围能够与界面图像所呈现的氛围保持高度协调一致。

在本申请任意实施例的基础上，请参阅图4，计算所述待匹配图像特征与所述图像灯效库中的各个预存图像特征之间的语义相似度，包括：

步骤S1221、将所述图像灯效库中各个预存图像特征的向量表示所构成的特征矩阵转换为其转置矩阵；

本实施例中，对于所述图像灯效库中的各个预存图像特征，首先表示为高维向量，使得每个预存图像特征实际上是一个高维的图像特征向量，由此，当有M个预存图像特征时，而每个预存图像特征有K维的数值时，则可个预存图像特征表示为一个M*K的特征矩阵。

为了实施基于矩阵操作的相似运算，可先将所述特征矩阵进行转置处理，使其成为K*M的转置矩阵。

步骤S1222、计算所述界面图像的待匹配图像特征的向量表示与所述转置矩阵之间的矩阵乘积作为相应预存图像特征的语义相似度；

同理，所述界面图像的待匹配图像特征，其向量表示是一个单行的向量，即1*K的向量。在本实施例中，考虑到嵌入单元的运算效率，基于矩阵内积的方式，来计算所述待匹配图像特征与各个预存图像特征之间的语义相似度，而矩阵内积算法本质上是余弦相似度算法的简化算法，且起到与余弦相似度算法相同的效果，因而，基于矩阵运算的原理，将1*K的待匹配图像特征与K*M转置矩阵进行矩阵相乘操作求取矩阵乘积，获得一个1*M的乘积矩阵，该乘积矩阵中，M个元素的数值，分别表示所述图像灯效库中的M个预存图像特征相对应的语义相似度的数值。

步骤S1223、将各个预存图像特征的语义相似度归一化至统一的数值区间。

为使结果更为直观，可进一步对所述乘积矩阵进行归一化处理，将其中各个语义相似度的数值匹配到预设的数值区间，例如[0,1]。在实施归一化时，可采用最大值归一化的方式，即将各个预存图像特征的语义相似度除以其中的最高语义相似度，作为最终的语义相似度数值。

根据以上实施例可以看出，在嵌入单元中，基于矩阵操作，对待匹配图像特征和图像灯效库中的各个预存图像特征执行矩阵相乘操作来确定各个预存图像特征相对应的语义相似度，而不是在嵌入单元中直接对待匹配图像特征做大运算量的分类映射操作，这样的处理方式对***开销占用较低，运算效率更高，更为适应嵌入单元这种特定场景设备。

在本申请任意实施例的基础上，请参阅图5，获取在显示的界面图像之前，包括：

步骤S2100、获取样本图像，设定所述样本图像的灯效类型；

所述的图像灯效库可以预先构造。为此，可以先预备一批样本图像，这些样本图像各具不同内容和风格，以便定义出不同的氛围风格。在准备好样本图像后，进一步获取对各个样本图像人工标注的灯效类型，这些灯效类型是属于一个类型集中的成员类型。一般来说，每个样本图像只能属于一种灯效类型，而一种灯效类型可以对应多个样本图像。

步骤S2200、提取所述样本图像的图像特征，将所述图像特征作为预存图像特征与其相应的灯效类型相映射存储于所述图像灯效库中；

进一步，可以在任意计算机设备中运行本申请如前所述的图像编码模型，为预备好的各个样本图像提取出其相对应的图像特征，以及也可将这些图像特征转换为相应的向量表示形式，然后，将每个样本图像的图像特征作为预存图像特征，与其相对应的灯效类型构造为映射关系数据，存储到图像灯效库中。当然，该图像灯效库最终将迁移到本申请的灯效控制设备的嵌入单元中进行存储。

一种实施例中，所述图像灯效库中，可以将全部预存图像特征转换为特征矩阵的表示，其中每一行是一个预存图像特征的高维向量表示，或者还可进一步直接将该特征矩阵转换为其转置矩阵的形式进行存储。至于每个预存图像特征的索引项，则可另行与其相应的灯效类型建立映射关系，以便实现各个预存图像特征与其相应的灯效类型的关联映射。同理，按照实际需要，所述灯效类型与其相应的灯效控制指令之间，也可以建立相应的映射关系，一并存储于所述图像灯效库中。

步骤S2300、初始化设定所述图像灯效库中各个预存图像特征的相似阈值。

在后续决策最高语义相似度的预存图像特征是否适用于确定界面图像的灯效类型的步骤中，会采用预设的相似阈值来判决最高语义相似度是否有效，针对这种情况，可以在此处对所述相似阈值进行初始化。初始化的方式可以有多种不同实施例，例如：

一种实施例中，所述相似阈值对应所述预存图像特征的来源图像个性化确定。具体而言，每个预存图像特征的来源图像，其在内容和风格上各不相同，并且，不同来源图像在显示的图像稳定性方面也有差异，因而每个来源图像相对应的相似阈值也可以不同，从而实现个性化定义，例如，对于有打雷和闪电场景的来源图像，在画面表现上会相对不稳定，而对于有晴天场景的来源图像，则画面成像质量相对较为稳定，因而，可以区别不同情形分别赋予不同的相似阈值，从而，使预存图像特征与相似阈值一一对应，后续一个预存图像特征获得最高语义相似度时，便调用该预存图像特征相对应的相似阈值来对该最高语义相似度进行判决。

另一实施例中，所述相似阈值对应所述预存图像特征的来源图像相映射的灯效类型个性化确定。具体而言，每种灯效类型，其对应的相似阈值可以有所不同，例如，对于欢快风格的灯效类型，由于其可能的场景较为丰富，可将这种灯效类型的相似阈值设成相对较低的值，而对于惊险相对应的灯效类型，假如其可能的场景较少，则可将其相似阈值设成相对较高的值。由此，按照灯效类型来对应设置相似阈值，当一个预存图像特征获得最高语义相似度需要调用相似阈值进行比较时，则先确定该预存图像特征所属的灯效类型，再根据该灯效类型来调用其相应的相似阈值来比较即可。

再一实施例中，所述相似阈值对应所述界面图像的来源类型个性化确定。具体而言，考虑到所述界面图像的来源不同，则其相对应的画质可能也有所差异，例如，当采用有线或无线的方式获取智能设备传输过来的界面图像时，通常画质较为稳定，此时，可以针对这种来源类型的界面图像，设置相对较高的相似阈值；当采用摄像单元来拍摄获取智能设备的显示设备上显示的界面图像时，考虑到拍摄引起的图像畸变、像素网格、反光等因素，则相应获得的界面图像的图像质量可能相对一般，这种情况下，对应这种来源类型则可以设置相对较低的相似阈值。由此，当一个预存图像特征获得最高语义相似度需要调用相似阈值进行比较时，则先确定相应的界面图像的来源类型，再根据该来源类型调用其相应的相似阈值来比较即可。

其他实施例中，还可以结合以上一种或两种用于设定相似阈值的实施例来实施，例如，基于各个灯效类型设定其相应的基础阈值，再基于界面图像的来源类型设置一个阈值比例，当需要获取相似阈值时，先确定最高语义相似度相对应的灯效类型的基础阈值，再确定界面图像的来源类型相对应的阈值比例，以基础阈值与阈值比例的乘积确定为相应的相似阈值，用于对所述最高语义相似度实施判决。诸如此类，可以在以上实施例的基础上灵活变通实施，均不超脱本申请的创造精神所涵盖的范围。

根据以上实施例可以看出，在构造本申请的图像灯效库的过程中，根据样本图像先确定出其预存图像特征，建立预存图像特征与该样本图像所标注的灯效类型之间的映射关系，然后初始化用于判决最高语义相似度的阈值，当将图像灯效库迁移到嵌入单元之后，嵌入单元便可以基于图像灯效库实施高效的运算，从而快速地匹配出界面图像相对应的灯效类型，由于各个预存图像特征的相似阈值已经事先初始化，因而，当将图像灯效库部署到灯效控制设备中时，可以实现灯效控制设备产品的标准化，可以确保根据界面图像播放其氛围相应的灯效的准确性，并且能够获得规模化生产所述灯效控制设备相对应的经济规模效用。

在本申请任意实施例的基础上，判断最高语义相似度相对应的预存图像特征的语义相似度是否超过预设的相似阈值，当超过所述相似阈值时，选定与最高语义相似度的预存图像特征相映射的灯效类型之前，包括：

识别所述界面图像的来源接口所属的来源类型，根据所述来源类型调用与所述来源类型相对应预设的相似阈值，用于判断最高语义相似度相对应的预存图像特征的语义相似度是否超过预设的相似阈值。

本实施例中，在判断最高语义相似度是否超过预设的相似阈值之前，由嵌入设备执行一个识别步骤，具体可通过传输所述界面图像的来源接口来确定该来源接口所属的来源类型。例如，通常摄像单元所获取的界面图像和通过HDMI获取的界面图像，其所使用的函数接口是不一样的，这种情况下，识别这种函数接口便可确定相应的来源类型。确定出所述来源类型后，便可以调用该来源类型相对应预设的相似阈值，使用这个相似阈值来判决所述最高语义相似度，从而确定该最高语义相似度是否有效，当其有效时，便调用其对应的预存图像特征相映射的灯效类型，作为与所述界面图像相对应的目标灯效类型。

根据以上实施例可以看出，适应不同来源接口传输的界面图像通常具有不同等级的图像质量的特点，在实施最高语义相似度判决之前，先对来源接口进行识别，确定相应的来源类型，再据此确定相似阈值，可以实现根据不同来源接口个性化地调节对最高语义相似度的筛选条件，从而使得对灯效类型的确定关联于界面图像的画质，提升本申请的灯效控制设备的智能化程度。

在本申请任意实施例的基础上，调用所述灯效类型相对应的灯效控制指令控制与当前嵌入单元相连接的灯效显示单元播放相应的灯效之前，在一种实施例中，包括：判断连续多个界面图像所对应确定的灯效类型是否一致，当一致时，执行后续步骤以实施灯效切换，否则跳过后续步骤以维持原有的灯效；

本申请中，步骤S1100和步骤S1200可以与步骤S1300并发运行，而在执行步骤S1300之前，可以先获取连续多个界面图像所对应确定的灯效类型，来考察连续多个界面图像在内容上的稳定性。

具体而言，当连续多个界面图像所对应的灯效类型均一致时，通常表明这些界面图像是属于相同内容的图像，这种情况下，其所生成的灯效类型是比较稳定的，因而，便可以继续执行步骤S1300，将该灯效类型作为目标灯效类型，用于调用相应的灯效控制指令对灯效显示单元实施控制；否则，则无需执行步骤S1300，而是持续检测，直至满足以上的条件，才去执行步骤S1300。

而在另一种实施例中，调用所述灯效类型相对应的灯效控制指令控制与当前嵌入单元相连接的灯效显示单元播放相应的灯效之前，则包括：判断连续多个界面图像的待匹配图像特征的语义相似度是否均低于预设的帧间阈值，当均低于该帧间阈值时，执行后续步骤以实施灯效切换，否则跳过后续步骤以维持原有的灯效。

与前一实施例不同的是，本实施例中，直接利用所述连续多个界面图像的图像特征即待匹配图像特征来计算帧间相似度，即针对每两个连续的界面图像，计算其彼此的图像特征之间的语义相似度，具体算法可以同于本申请前文所述，然后，将每个语义相似度都与一个预设的帧间阈值相比较，该帧间阈值可以按需预设，当连续多个界面图像的各个语义相似度都低于所述帧间阈值时，表明其中的各个界面图像的内容产生了较大的变化，这时，最后一个界面图像相对应的灯效类型应是有效的，才以最后一个界面图像相对应的灯效类型为目标灯效类型，继续执行步骤S1300，调用相应的灯效控制指令对灯效显示单元实施控制；否则，则无需执行步骤S1300，而是持续检测，直至满足以上的条件，才去执行步骤S1300。

以上两个实施例中，通常，所述连续多个界面图像的数量，以图像帧为单位，以其中全部数量的图像帧所对应的时长不超过120毫秒为宜，例如，当帧率为25fps时，每个图像帧对应40毫秒，此时，可以3个连续图像帧为单位，进行灯效类型是否一致的比较。经此处理，起到缓冲确定灯效类型的作用，使所确定的灯效类型更为平滑，个别图像帧的变化不会引起灯效类型的切换，且这种缓冲过程基本控制在人眼难以感知的范围之内。

根据以上实施例可以看出，本申请可以在人眼基本无感知的情况下，利用连续多个界面图像的变化关系，考察灯效类型的稳定性，使用尽量保持稳定的策略，控制灯效的切换，使灯效的切换不因个别界面图像的短时变化而频繁发生，从而确保良好的用户使用体验。

根据本申请以上揭示的各个实施例可以知晓，本申请通过使用人工智能深度学习算法和NPU之类的嵌入式处理器，通过摄像单元或者其他渠道拾取屏幕显示内容获得界面图像，进行人工智能训练和推理，准确识别出屏幕显示的图像与图像灯效库中的图像相似程度，再通过相应的算法，根据语义相似度确定出相似图像相对应的灯效类型进行灯效展示和氛围融合，如屏幕上播放泰坦尼克号电影，通过摄像头拾取屏幕内容结合NPU芯片和AI模型进行推理，得出屏幕显示的内容的特征，获得当前画面的特征后，可以与图像灯效库中的图像特征对比，找出当前图像与图像灯效库相似度最高的图像，输出相似度数值，如图像灯效库中有泰坦尼克号中的经典图像Jake和Rose在船头“飞翔”，当电影播放到这个画面时，设备就会拾取该画面与图像灯效库图像进行比对，输出与图像灯效库相似度结果，符合相似度要求后则会控制照明设备播放预先定义的泰坦尼克号“飞翔”灯效，提升用户的观影体验。可见，本申请侧重对整张图像的识别，即当捕捉到屏幕所播放的画面其内容与图像灯效库中的某一张图像相似程度高或者完全一致时，才会输出结果；与现有技术中只是识别屏幕画面中某一特定特征后来控制灯效具有明显的差异，能够大幅提升用户体验。

请参阅图6，根据本申请的一个方面提供的一种灯效控制装置，包括图像获取模块1100、灯效匹配模块1200，以及灯效播放模块1300，其中，所述图像获取模块1100，设置为获取在显示的界面图像；所述灯效匹配模块1200，设置为从图像灯效库中查询出所述界面图像的待匹配图像特征语义相匹配的预存图像特征相映射的灯效类型；所述灯效播放模块1300，设置为调用所述灯效类型相对应的灯效控制指令控制与当前嵌入单元相连接的灯效显示单元播放相应的灯效。

在本申请任意实施例的基础上，所述灯效匹配模块1200，包括：特征提取单元，设置为使用图像编码模型提取所述界面图像的图像特征作为待匹配图像特征；相似运算单元，设置为计算所述待匹配图像特征与所述图像灯效库中的各个预存图像特征之间的语义相似度；类型确定单元，设置为判断最高语义相似度相对应的预存图像特征的语义相似度是否超过预设的相似阈值，当超过所述相似阈值时，选定与最高语义相似度的预存图像特征相映射的灯效类型。

在本申请任意实施例的基础上，所述相似运算单元，包括：转置处理为单元，设置为将所述图像灯效库中各个预存图像特征的向量表示所构成的特征矩阵转换为其转置矩阵；相似计算子单元，设置为计算所述界面图像的待匹配图像特征的向量表示与所述转置矩阵之间的矩阵乘积作为相应预存图像特征的语义相似度；归一处理子单元，设置为将各个预存图像特征的语义相似度归一化至统一的数值区间。

在本申请任意实施例的基础上，本申请的灯效控制装置，包括：样本获取模块，设置为获取样本图像，设定所述样本图像的灯效类型；映射构造模块，设置为提取所述样本图像的图像特征，将所述图像特征作为预存图像特征与其相应的灯效类型相映射存储于所述图像灯效库中；阈值设定模块，设置为初始化设定所述图像灯效库中各个预存图像特征的相似阈值。

在本申请任意实施例的基础上，所述阈值设定模块中，所述相似阈值对应所述预存图像特征的来源图像个性化确定，或者，所述相似阈值对应所述预存图像特征的来源图像相映射的灯效类型个性化确定，或者，所述相似阈值对应所述界面图像的来源类型个性化确定。

在本申请任意实施例的基础上，本申请的灯效控制装置，包括：阈值调用单元，设置为识别所述界面图像的来源接口所属的来源类型，根据所述来源类型调用与所述来源类型相对应预设的相似阈值，用于判断最高语义相似度相对应的预存图像特征的语义相似度是否超过预设的相似阈值。

在本申请任意实施例的基础上，本申请的灯效控制装置，包括：第一缓冲模块，设置为判断连续多个界面图像所对应确定的灯效类型是否一致，当一致时，执行后续步骤以实施灯效切换，否则跳过后续步骤以维持原有的灯效；或者，包括：第二缓冲模块，设置为判断连续多个界面图像的待匹配图像特征的语义相似度是否均低于预设的帧间阈值，当均低于该帧间阈值时，执行后续步骤以实施灯效切换，否则跳过后续步骤以维持原有的灯效。

本申请的另一实施例还提供一种灯效控制设备，该灯效控制设备采用计算机设备实现。如图7所示，所述计算机设备的内部结构示意图。该计算机设备包括通过***总线连接的处理器、摄像单元、计算机可读存储介质、存储器和网络接口。其中，该计算机设备的计算机可读的非易失性可读存储介质，存储有操作***、数据库和计算机可读指令，数据库中可存储有信息序列，该计算机可读指令被处理器执行时，可使得处理器实现本申请的灯效控制方法。

该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行本申请的灯效控制方法。该计算机设备的网络接口用于与终端连接通信。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本实施方式中处理器用于执行根据本申请的灯效控制方法的各个步骤相应实现的各个模块的具体功能，存储器存储有执行上述模块所需的程序代码和各类数据。本实施方式中的非易失性可读存储介质中存储有根据本申请的灯效控制方法所实现的计算机程序产品的程序代码及数据。

本申请还提供一种存储有计算机可读指令的非易失性可读存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行本申请任一实施例的灯效控制方法的步骤。

本申请还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被一个或多个处理器执行时实现本申请任一实施例所述灯效控制方法的步骤。

本领域普通技术人员可以理解，实现本申请上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性可读存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等计算机可读存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

综上所述，本申请能够基于嵌入单元实现根据界面图像的图像特征的语义来确定对应的灯效类型，从而控制灯效显示单元播放相应的语义，使灯效所渲染的氛围与界面图像的画面氛围协调一致，成本可控，方便实施。

Claims (10)

1.一种灯效控制方法，其特征在于，包括：

获取在显示的界面图像；

从图像灯效库中查询出所述界面图像的待匹配图像特征语义相匹配的预存图像特征相映射的灯效类型；

调用所述灯效类型相对应的灯效控制指令控制与当前嵌入单元相连接的灯效显示单元播放相应的灯效。

2.根据权利要求1所述的灯效控制方法，其特征在于，从图像灯效库中查询出所述界面图像的待匹配图像特征语义相匹配的预存图像特征相映射的灯效类型，包括：

使用图像编码模型提取所述界面图像的图像特征作为待匹配图像特征；

计算所述待匹配图像特征与所述图像灯效库中的各个预存图像特征之间的语义相似度；

判断最高语义相似度相对应的预存图像特征的语义相似度是否超过预设的相似阈值，当超过所述相似阈值时，选定与最高语义相似度的预存图像特征相映射的灯效类型。

3.根据权利要求2所述的灯效控制方法，其特征在于，计算所述待匹配图像特征与所述图像灯效库中的各个预存图像特征之间的语义相似度，包括：

将所述图像灯效库中各个预存图像特征的向量表示所构成的特征矩阵转换为其转置矩阵；

计算所述界面图像的待匹配图像特征的向量表示与所述转置矩阵之间的矩阵乘积获得各个预存图像特征的语义相似度；

将各个预存图像特征的语义相似度归一化至统一的数值区间。

4.根据权利要求2所述的灯效控制方法，其特征在于，获取在显示的界面图像之前，包括：

获取样本图像，设定所述样本图像的灯效类型；

提取所述样本图像的图像特征，将所述图像特征作为预存图像特征与其相应的灯效类型相映射存储于所述图像灯效库中；

初始化设定所述图像灯效库中各个预存图像特征的相似阈值。

5.根据权利要求4所述的灯效控制方法，其特征在于，初始化设定所述图像灯效库中各个预存图像特征的相似阈值的步骤中，

所述相似阈值对应所述预存图像特征的来源图像个性化确定，或者，

所述相似阈值对应所述预存图像特征的来源图像相映射的灯效类型个性化确定，或者，

所述相似阈值对应所述界面图像的来源类型个性化确定。

6.根据权利要求2所述的灯效控制方法，其特征在于，判断最高语义相似度相对应的预存图像特征的语义相似度是否超过预设的相似阈值，当超过所述相似阈值时，选定与最高语义相似度的预存图像特征相映射的灯效类型之前，包括：

识别所述界面图像的来源接口所属的来源类型，根据所述来源类型调用与所述来源类型相对应预设的相似阈值，用于判断最高语义相似度相对应的预存图像特征的语义相似度是否超过预设的相似阈值。

7.根据权利要求1至6中任意一项所述的灯效控制方法，其特征在于，调用所述灯效类型相对应的灯效控制指令控制与当前嵌入单元相连接的灯效显示单元播放相应的灯效之前，包括：

判断连续多个界面图像所对应确定的灯效类型是否一致，当一致时，执行后续步骤以实施灯效切换，否则跳过后续步骤以维持原有的灯效；

或者，

判断连续多个界面图像的待匹配图像特征的语义相似度是否均低于预设的帧间阈值，当均低于该帧间阈值时，执行后续步骤以实施灯效切换，否则跳过后续步骤以维持原有的灯效。

8.一种灯效控制装置，其特征在于，包括：

图像获取模块，设置为获取在显示的界面图像；

灯效匹配模块，设置为从图像灯效库中查询出所述界面图像的待匹配图像特征语义相匹配的预存图像特征相映射的灯效类型；

灯效播放模块，设置为调用所述灯效类型相对应的灯效控制指令控制与当前嵌入单元相连接的灯效显示单元播放相应的灯效。

9.一种灯效控制设备，包括嵌入单元和与该嵌入单元相连接的灯效显示单元，所述嵌入单元中包括中央处理器和存储器，其特征在于，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行如权利要求1至7中任意一项所述的方法的步骤。

10.一种非易失性可读存储介质，其特征在于，其以计算机可读指令的形式存储有依据权利要求1至7中任意一项所述的方法所实现的计算机程序，所述计算机程序被计算机调用运行时，执行相应的方法所包括的步骤。

Images