CN113286405B - 实现音频与图像同步控制灯光的***及方法 - Google Patents

Abstract

本发明公开一种实现音频与图像同步控制灯光的***及方法，该***包括：音像播放设备中的音像信息采集及处理软件，用以实现音频及屏幕图像信息采集、按照预定策略分析、处理、并封装成同步控制指令；云服务器；灯光设备，用以接收音像信息采集及处理软件传送过来的同步控制指令，分离出音频及屏幕图像颜色控制命令，按照预定控制策略，控制灯的颜色及律动变化。本发明实现对多媒体的音频、图像内容的同步采集、特征提取，并通过对音频、图像数据处理过程的延时进行时间戳标记及延时计算，重组音频、图像数据混合组包，消除音频、图像的不同步问题，使灯光装置效果跟随多媒体的音频、图像内容同步展现，具有更好用户体验。

Description

实现音频与图像同步控制灯光的***及方法

技术领域

本发明涉及照明领域，特别是涉及一种实现音频与图像同步控制灯光的***及方法。

背景技术

为了使普通的照明灯具有更丰富的娱乐功能，目前市面上出现了很多形式的灯控方式，主要有从PC屏和TV屏提取相应的屏幕颜色，然后控制相关的外置背景照明等；或者根据特定环境下的音乐，提取相应的音乐特征来控制外置背景灯按照一定韵律节奏而变化。但是，对于丰富的多媒体内容，往往同时包含丰富的视频图像与音频信息，市面上的照明显示方案不能实现音频、图像与灯光同步的不足，用户体验不足。

发明内容

为了弥补上述现有技术的不能实现音频、图像与灯光同步的不足，本发明提出一种实现音频与图像同步控制灯光的***及方法。

本发明的技术问题通过以下的技术方案予以解决：

本发明提出一种实现音频与图像同步控制灯光的***，包括：音像播放设备中的音像信息采集及处理软件，用以实现音频及屏幕图像信息采集、按照预定策略分析、处理、并封装成同步控制指令；云服务器，用于存储用户登录信息、灯光设备控制命令信息以及灯光设备上报的状态信息；灯光设备，用以接收音像信息采集及处理软件传送过来的同步控制指令，分离出音频及屏幕图像颜色控制命令，按照预定控制策略，控制灯的颜色及律动变化，实现音频与图像同步控制灯光。

在一些实施例中，所述音像信息采集及处理软件包括：策略控制模块、屏幕采集模块、音频采集模块、数据成帧模块；所述策略控制模块(11)根据用户自定义配置关于音频、屏幕图像的采样策略并发送；所述屏幕采集模块(12)接收所述策略控制模块(11)发送的采样策略并据此采集图像特征数据，所述音频采集模块(13)接收所述策略控制模块(11)发送的采样策略并据此采集音频特征数据；所述数据成帧模块(14)接收所述策略控制模块(11)发送的采样策略并将所述屏幕采集模块(12)采集的图像特征数据与音频采集模块采集的音频特征数据组装成同一帧合成帧数据，并发送；所述云服务器包括N+1备份云服务器；所述灯光设备包括：数据接收及缓存单元、帧数据解析单元、灯光设备状态相应单元；所述数据接收及缓存单元接收音像信息采集及处理软件(1)发送的合成帧数据并缓存；所述帧数据解析单元从所述数据接收及缓存单元缓存的合成帧数据解析出颜色及声音控制指令；所述灯光设备状态相应单元根据所述帧数据解析单元解析出的颜色及声音控制指令，同步转换成对应的灯光设备(3)的颜色和亮度信号值。

在一些实施例中，所述灯光设备有多个，多个灯光设备之间可通过WIFI局域网广播、WIFI广域网、WIFI MDNS组网、蓝牙MESH和ZIGBEE MESH其中一种或一种以上的方式控制，实现联动。

在一些实施例中，所述策略控制模块，用以接收用户关于音频、屏幕图像的采样策略的自定义配置，据此输出音频及屏幕图像的采集范围、采集时钟及时钟戳标签、以及屏幕图像分块数量及采集区域；所述音频的采样策略包括：音频采集的输入源、采集声音的声道数、音频的采样频率、音频数据缓冲区；所述屏幕图像的采样策略包括：图像的采样频率、采集颜色的分块数、采集颜色的区域。

在一些实施例中，所述屏幕采集模块，用以接收策略控制模块输出的每帧采集频率、起始时间戳、每帧图像分块数量及区域，每次读取一个完整帧数据，经过数据分块特征统计计算以实现基于K-Means聚类算法的主色提取，获取每块数据中颜色最多的RGB值及相应的亮度值N，并获取计算时长ΔTv；根据计算，形成第n帧图像特征数据包。

在一些实施例中，所述音频采集模块，用以接收策略控制模块输出的每帧采集频率以及起始时间戳，每次通过接口函数从音像播放设备音频脉冲数据流中读取一完整帧数据，经过FFT计算，将时域信号的采样变换为在离散时间傅里叶变换频域的采样，获取每次采样中强度最强的3个频率值F1、F2、F3及幅度Af，并获取计算时长ΔTa；根据计算，加上时间戳，形成第n帧音频特征数据包。

在一些实施例中，所述数据成帧模块，用以接收策略控制模块输出的每帧采集频率，根据时间戳及延时标记，从缓存中读取同一时间点采样的数据或相邻时间采集的数据；根据音频、图像处理的不同延时，把延时间隔最小的数据组成同一帧音频、图像同步混合数据包；若|ΔnTv-ΔnTa|<Tms，则第n帧音频和图像数据同步，组装成同一帧合成帧数据；若|ΔnTv-ΔnTa|>Tms，则第n帧音频和图像数据不同步，第n+1帧音频与第n帧图像数据组装成同一帧合成帧数据，或者第n+1帧图像与第n帧音频数据组装成同一帧合成帧数据，并发送。

在一些实施例中，所述数据接收及缓存单元，用以接收音像信息采集及处理软件发送的合成帧数据并缓存数据；所述帧数据解析单元，用以解析每一帧的合成帧数据，解析出颜色及声音控制指令；每一帧的合成帧数据包括灯光设备地址Nx、区域颜色值RGB、区域亮度值N、声音频率值f、声音幅值Af，A/B/C/X信息包含前端屏幕某一区域的颜色信号RGB值和亮度值N，F信息包含声音频率值f和幅值Af，Vflag表示视频信号标记，Aflag表示音频信号标记；所述灯光设备状态相应单元，用以按照预定控制策略，根据解析的灯光设备地址Nx、区域颜色信号RGB值和亮度值N与音频信号频率值f和幅值Af，同步转换成对应的灯光设备的颜色和亮度信号值。

在一些实施例中，所述实现音频与图像同步控制灯光，包括：多个灯光设备组合方式实现同步屏幕颜色和声音变化；或，多个灯光设备其中两个及两个以上同时实现同步屏幕颜色和声音变化；或，灯光设备内独立灯光以两种状态分别同步屏幕颜色或声音的变化；或，灯光设备以两种状态分别同步屏幕颜色或声音的变化。

本发明还提出一种实现音频与图像同步控制灯光的方法，其特征在于，包括如下步骤：S1：采集所述音像播放设备中的音频及屏幕图像信息，按照预定策略分析、处理、并封装成同步控制指令，发送同步控制指令；S2：接收音像信息采集及处理软件发送的同步控制指令并缓存，解析出音频及屏幕图像颜色同步控制指令，按照预定控制策略执行同步控制指令，控制灯的颜色及律动变化，实现音频与图像同步控制灯光。

在一些实施例中，所述S1步骤包括：接收用户关于音频、屏幕图像的采样策略的自定义配置，据此输出音频及屏幕图像的采集范围、采集时钟及时钟戳标签、以及屏幕图像分块数量及采集区域；所述音频的采样策略包括：音频采集的输入源、采集声音的声道数、音频的采样频率、音频数据缓冲区；所述屏幕图像的采样策略包括：图像的采样频率、采集颜色的分块数、采集颜色的区域。

在一些实施例中，所述S1步骤包括：接收策略控制模块输出的每帧采集频率、起始时间戳、每帧图像分块数量及区域，每次读取一个完整帧数据，经过数据分块特征统计计算以实现基于K-Means聚类算法的主色提取，获取每块数据中颜色最多的RGB值及相应的亮度值N，并获取计算时长ΔTv；根据计算，形成第n帧图像特征数据包。

在一些实施例中，所述S1步骤包括：接收策略控制模块输出的每帧采集频率以及起始时间戳，每次通过接口函数从音像播放设备音频脉冲数据流中读取一完整帧数据，经过FFT计算，将时域信号的采样变换为在离散时间傅里叶变换频域的采样，获取每次采样中强度最强的3个频率值F1、F2、F3及幅度Af，并获取计算时长ΔTa；根据计算，加上时间戳，形成第n帧音频特征数据包。

在一些实施例中，所述S1步骤包括：接收策略控制模块输出的每帧采集频率，根据时间戳及延时标记，从缓存中读取同一时间点采样的数据或相邻时间采集的数据；根据音频、图像处理的不同延时，把延时间隔最小的数据组成同一帧音频、图像同步混合数据包；若|ΔnTv-ΔnTa|<Tms，则第n帧音频和图像数据同步，组装成同一帧合成帧数据；若|ΔnTv-ΔnTa|>Tms，则第n帧音频和图像数据不同步，第n+1帧音频与第n帧图像数据组装成同一帧合成帧数据，或者第n+1帧图像与第n帧音频数据组装成同一帧合成帧数据，并发送。

在一些实施例中，所述S2步骤具体包括如下步骤：S21：接收音像信息采集及处理软件发送的合成帧数据并缓存数据；S22：解析每一帧的合成帧数据，解析出颜色及声音控制指令；每一帧的合成帧数据包括灯光设备地址Nx、区域颜色值RGB、区域亮度值N、声音频率值f、声音幅值Af，A/B/C/X信息包含前端屏幕某一区域的颜色信号RGB值和亮度值N，F信息包含声音频率值f和幅值Af，Vflag表示视频信号标记，Aflag表示音频信号标记；S23：按照预定控制策略，根据解析的灯光设备地址Nx、区域颜色信号RGB值和亮度值N与音频信号频率值f和幅值Af，同步转换成对应的灯光设备的颜色和亮度信号值。

在一些实施例中，多个灯光设备组合方式实现同步屏幕颜色和声音变化；或，多个灯光设备其中两个及两个以上同时实现同步屏幕颜色和声音变化；或，灯光设备内独立灯光以两种状态分别同步屏幕颜色或声音的变化；或，灯光设备以两种状态分别同步屏幕颜色或声音的变化。

本发明与现有技术对比的有益效果包括：本发明可以实现对多媒体的音频、图像内容的同步采集、特征提取，并通过对音频、图像数据处理过程的延时进行时间戳标记及延时计算，重组音频、图像数据混合组包，消除音频、图像的颜色变滞后或超前音律变化等不同步问题，把这两种信息同时同步采集出来，实时使背景照明等根据这两者信息的变化而变化，使灯光装置效果跟随多媒体的音频、图像内容同步展现，具有更好用户体验。

附图说明

图1是本发明实施例的实现音频与图像同步控制灯光的***图；

图2是本发明实施例的实现音频与图像同步控制灯光的软件模块图；

图3是本发明实施例的实现音频与图像同步控制灯光的屏幕采集模块工作流程图；

图4是本发明实施例的实现音频与图像同步控制灯光的音频采集模块工作流程图；

图5是本发明实施例的实现音频与图像同步控制灯光的数据成帧模块工作流程图；

图6是本发明实施例的实现音频与图像同步控制灯光的同步指令接收及执行流程图；

图7是本发明实施例的实现音频与图像同步控制灯光的灯光同步类型一的示意图；

图8是本发明实施例的实现音频与图像同步控制灯光的灯光同步类型二的示意图；

图9是本发明实施例的实现音频与图像同步控制灯光的灯光同步类型三的示意图；

图10是本发明实施例的实现音频与图像同步控制灯光的灯光同步类型四的示意图；

图11是本发明实施例的实现音频与图像同步控制灯光的工作流程图。

具体实施方式

下面对照附图并结合优选的实施方式对本发明作进一步说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本实施例中的左、右、上、下、顶、底等方位用语，仅是互为相对概念，或是以产品的正常使用状态为参考的，而不应该认为是具有限制性的。

本发明解决的问题是通过实时采集手机/PC/电视屏的屏幕获取屏幕图像的颜色及亮度信息，并同时同步采集当前与所显示屏幕图像相关的音频信息，进行信息处理后合成同步控制命令，通过灯控装置，实现灯光与屏幕图像颜色一致；并根据音频信息，同步展现不同的图案、频率等显示方案。

参考图1，是实现音频、图像同步控制灯光的***图。整个***由前端音像播放设备(比如TV/PC/PAD/Phone)等中的音频、屏幕图像采集及处理软件1，简称为“音像信息采集及处理软件”1；中间的云服务器2及N+1备份云服务器；后端的灯光设备3；本地局域网利用WiFi无线方式，外网利用以太网通讯方式。音像信息采集及处理软件1包括：策略控制模块11、屏幕采集模块12、音频采集模块13、数据成帧模块14；所述策略控制模块11根据用户自定义配置关于音频、屏幕图像的采样策略并发送；所述屏幕采集模块12接收所述策略控制模块11发送的采样策略并据此采集图像特征数据，所述音频采集模块13接收所述策略控制模块11发送的采样策略并据此采集音频特征数据；所述数据成帧模块14接收所述策略控制模块11发送的采样策略并将所述屏幕采集模块12采集的图像特征数据与音频采集模块采集的音频特征数据组装成同一帧合成帧数据，并发送。

灯光设备3包括：数据接收及缓存单元、帧数据解析单元、灯光设备状态相应单元；所述数据接收及缓存单元接收音像信息采集及处理软件1发送的合成帧数据并缓存；所述帧数据解析单元从所述数据接收及缓存单元缓存的合成帧数据解析出颜色及声音控制指令；所述灯光设备状态相应单元根据所述帧数据解析单元解析出的颜色及声音控制指令，同步转换成对应的灯光设备3的颜色和亮度信号值。

灯光设备3有多个，多个灯光设备3之间可通过WIFI局域网广播、WIFI广域网、WIFIMDNS组网、蓝牙MESH和ZIGBEE MESH其中一种或一种以上的方式控制，实现联动。本发明实施例包含三部分内容：

其一，音像播放设备中的音像信息采集及处理软件1，用以实现音频及屏幕图像信息采集、按照预定策略分析、处理、并封装成同步控制指令；

其二，灯光设备3，用以接收音像信息采集及处理软件传送过来的同步控制指令，分离出音频及屏幕图像颜色控制命令，按照预定控制策略，控制灯的颜色及律动变化，实现音频与图像同步控制灯光；

其三，终端灯光设备3单灯或多灯联动的通信方式和灯光效果呈现方式。

云服务器2及N+1备份云服务器，用于存储用户登录信息、灯光设备3控制命令信息以及灯光设备3上报的状态信息。

参考图2，是本发明实施例第一部分内容的软件模块图，表示音频、屏幕图像数据采集、处理及封装的软件模块，包括四个步骤：

步骤①，策略控制模块11接收用户关于音频、屏幕图像的采样策略的自定义配置，据此输出音频及屏幕图像的采集范围、采集时钟及时钟戳标签、以及屏幕图像分块数量及采集区域；所述音频的采样策略包括：音频采集的输入源、采集声音的声道数、音频的采样频率、音频数据缓冲区；所述屏幕图像的采样策略包括：图像的采样频率、采集颜色的分块数、采集颜色的区域；

步骤②，参考图3，屏幕采集模块12接收策略控制模块11输出的每帧采集频率、起始时间戳、每帧图像分块数量及区域，每次读取一个完整帧数据，经过数据分块特征统计计算以实现基于K-Means聚类算法的主色提取，获取每块数据中颜色最多的RGB值及相应的亮度值N，并获取计算时长ΔTv；根据计算，形成第n帧图像特征数据包；

步骤③，参考图4，音频采集模块13接收策略控制模块11输出的每帧采集频率以及起始时间戳，每次通过接口函数从音像播放设备音频脉冲数据流中读取一完整帧数据，经过FFT计算，将时域信号的采样变换为在离散时间傅里叶变换频域的采样，获取每次采样中强度最强的3个频率值F1、F2、F3及幅度Af，并获取计算时长ΔTa；根据计算，加上时间戳，形成第n帧音频特征数据包；

步骤④，参考图5，数据成帧模块14接收策略控制模块11输出的每帧采集频率，根据时间戳及延时标记，从缓存中读取同一时间点采样的数据或相邻时间采集的数据；根据音频、图像处理的不同延时，把延时间隔最小的数据组成同一帧音频、图像同步混合数据包；若|ΔnTv-ΔnTa|<Tms，则第n帧音频和图像数据同步，组装成同一帧合成帧数据；若|ΔnTv-ΔnTa|>Tms，则第n帧音频和图像数据不同步，第n+1帧音频与第n帧图像数据组装成同一帧合成帧数据，或者第n+1帧图像与第n帧音频数据组装成同一帧合成帧数据，并发送。

参考图6，为本发明实施例第二部分内容的流程图，表示灯光设备3端接收指令并缓存、数据包解析并转换命令、执行指令控制设备端功能及状态；具体实施步骤如下：

步骤①，数据接收及缓存单元接收音像信息采集及处理软件1发送的合成帧数据并缓存数据；

步骤②，帧数据解析单元解析每一帧的合成帧数据，解析出颜色及声音控制指令；每一帧的合成帧数据包括灯光设备地址Nx、区域颜色值RGB、区域亮度值N、声音频率值f、声音幅值Af，A/B/C/X信息包含前端屏幕某一区域的颜色信号RGB值和亮度值N，F信息包含声音频率值f和幅值Af，Vflag表示视频信号标记，Aflag表示音频信号标记；

步骤③，灯光设备3状态相应单元按照预定控制策略，根据解析的灯光设备地址Nx、区域颜色信号RGB值和亮度值N与音频信号频率值f和幅值Af，同步转换成对应的灯光设备的颜色和亮度信号值。

终端灯光设备3多灯联动的通信方式支持如下：可通过WIFI局域网广播、WIFI广域网、WIFI MDNS组网、蓝牙MESH和ZIGBEE MESH等其中一种及一种以上的方式控制。

参考图7、图8、图9、图10，是终端灯光设备3单灯或多灯联动的四种灯光效果呈现方式图。

终端灯光设备3单灯或多灯联动的灯光效果呈现方式如下：

参考图7，方式一：多个灯光设备3组合方式实现同步屏幕颜色和声音变化；比如灯光设备1+灯光设备2组合方式实现同步屏幕颜色和声音变化；灯光设备1状态与屏幕信息同步，LED1-LEDX分别对应屏幕采集区域A1-X，LED1-LEDX颜色与采集区域A1-X颜色相关，LED1-LEDX亮度与采集区域A1-X亮度相关；灯光设备2状态与声音信息同步，颜色种类与采集声音频率相关，亮度大小与采集声音幅值相关；

参考图8，方式二：多个灯光设备3其中两个及两个以上同时实现同步屏幕颜色和声音变化；比如灯光设备1-X其中两个及两个以上同时实现同步屏幕颜色和声音变化；灯光设备1颜色与采集区域A1颜色相关，亮度与采集声音某一频率F的幅度相关；

参考图9，方式三：灯光设备3内独立灯光以两种状态分别同步屏幕颜色或声音的变化；比如灯光设备以两种状态分别同步屏幕颜色或声音的变化，状态一为：LED1-LEDX颜色与采集区域A1-X颜色相关，LED1-LEDX亮度与采集区域A1-X亮度相关；状态二为：LED1-LEDX颜色与采集声音频率相关，LED1-LEDX亮度与采集声音幅值相关；

参考图10，方式四：灯光设备3以两种状态分别同步屏幕颜色或声音的变化；比如灯光设备以两种状态分别同步屏幕颜色或声音的变化，状态一为：LED1-LEDX颜色与采集区域A1-X任意区域的颜色相关，LED1-LEDX亮度与采集区域A1-X任意区域的亮度相关；状态二为：LED1-LEDX颜色与采集声音某一频率相关，LED1-LEDX亮度与采集声音幅值相关。

参考图11，一种实施例的实现音频与图像同步控制灯光的工作流程如示：

S1：音像播放设备中的音像信息采集及处理软件1，采集所述音像播放设备中的音频及屏幕图像信息，按照预定策略分析、处理、并封装成同步控制指令，发送同步控制指令；

S2：灯光设备3，接收音像信息采集及处理软件1发送的同步控制指令并缓存，解析出音频及屏幕图像颜色同步控制指令，按照预定控制策略执行同步控制指令，控制灯的颜色及律动变化，实现音频与图像同步控制灯光。

本发明实施例提供一种实现音频与图像同步控制灯光的方法，包括：通过对手机或PAD中的音频、图像同步采集软件1获取显示屏的屏幕图像以及同时采集在手机/PAD扬声器播出的声音；根据所述屏幕图像确定RGB值，根据采集音频信号确定音频频率；根据所述RGB值控制与所述显示屏对应的背景灯的颜色，根据音频频率特征控制背景灯的韵律及图案；实现了显示屏背景灯与屏幕画面颜色的同步；且同时采集对应屏幕音频信号，通过音频、图像同步算法，避免音频、图像出现超前或滞后的，从而获取与原始内容音频、图像匹配的灯控效果。

本发明另一种实例提供一种实现音频与图像同步控制灯光的方法，包括：通过对PC中的音/视频同步采集软件1获取显示屏的屏幕图像以及同时采集在PC扬声器播出的声音；根据所述屏幕图像确定RGB值，根据采集音频信号确定音频频率；根据所述RGB值控制与所述显示屏对应的背景灯的颜色，根据音频频率特征控制背景灯的韵律及图案。

本发明另一种实例提供一种实现音频与图像同步控制灯光的方法，包括：通过对TV中的音/视频同步采集软件1获取显示屏的屏幕图像以及同时采集在TV扬声器播出的声音；根据所述屏幕图像确定RGB值，根据采集音频信号确定音频频率；根据所述RGB值控制与所述显示屏对应的背景灯的颜色，根据音频频率特征控制背景灯的韵律及图案。

本发明实施例根据前端采集软件的指令，实现背景灯的音频、图像两种因素结合下的同步显示效果。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (14)

1.一种实现音频与图像同步控制灯光的***，其特征在于，包括：

音像播放设备中的音像信息采集及处理软件(1)，用以实现音频及屏幕图像信息采集、按照预定策略分析、处理、并封装成同步控制指令；

云服务器(2)，用于存储用户登录信息、灯光设备(3)控制命令信息以及灯光设备(3)上报的状态信息；

灯光设备(3)，用以接收音像信息采集及处理软件(1)传送过来的同步控制指令，分离出音频及屏幕图像颜色控制命令，按照预定控制策略，控制灯的颜色及律动变化，实现音频与图像同步控制灯光；

所述音像信息采集及处理软件(1)包括：策略控制模块(11)、屏幕采集模块(12)、音频采集模块(13)、数据成帧模块(14)；所述策略控制模块(11)根据用户自定义配置关于音频、屏幕图像的采样策略并发送；所述屏幕采集模块(12)接收所述策略控制模块(11)发送的采样策略并据此采集图像特征数据，所述音频采集模块(13)接收所述策略控制模块(11)发送的采样策略并据此采集音频特征数据；所述数据成帧模块(14)接收所述策略控制模块(11)发送的采样策略并将所述屏幕采集模块(12)采集的图像特征数据与音频采集模块采集的音频特征数据组装成同一帧合成帧数据，并发送；

所述云服务器(2)包括N+1备份云服务器；

所述灯光设备(3)包括：数据接收及缓存单元、帧数据解析单元、灯光设备状态相应单元；所述数据接收及缓存单元接收音像信息采集及处理软件(1)发送的合成帧数据并缓存；所述帧数据解析单元从所述数据接收及缓存单元缓存的合成帧数据解析出颜色及声音控制指令；所述灯光设备状态相应单元根据所述帧数据解析单元解析出的颜色及声音控制指令，同步转换成对应的灯光设备(3)的颜色和亮度信号值。

2.如权利要求1所述的实现音频与图像同步控制灯光的***，其特征在于，

所述灯光设备(3)有多个，所述多个灯光设备(3)之间可通过WIFI局域网广播、WIFI广域网、WIFI MDNS组网、蓝牙MESH和ZIGBEE MESH其中一种或一种以上的方式控制，实现联动。

3.如权利要求1所述的实现音频与图像同步控制灯光的***，其特征在于，

所述策略控制模块(11)，用以接收用户关于音频、屏幕图像的采样策略的自定义配置，据此输出音频及屏幕图像的采集范围、采集时钟及时钟戳标签、以及屏幕图像分块数量及采集区域；所述音频的采样策略包括：音频采集的输入源、采集声音的声道数、音频的采样频率、音频数据缓冲区；所述屏幕图像的采样策略包括：图像的采样频率、采集颜色的分块数、采集颜色的区域。

4.如权利要求1所述的实现音频与图像同步控制灯光的***，其特征在于，所述屏幕采集模块(12)，用以接收策略控制模块(11)输出的每帧采集频率、起始时间戳、每帧图像分块数量及区域，每次读取一个完整帧数据，经过数据分块特征统计计算以实现基于K-Means聚类算法的主色提取，获取每块数据中颜色最多的RGB值及相应的亮度值N，并获取计算时长ΔTv；根据计算，形成第n帧图像特征数据包。

5.如权利要求4所述的实现音频与图像同步控制灯光的***，其特征在于，

所述音频采集模块(13)，用以接收策略控制模块(11)输出的每帧采集频率以及起始时间戳，每次通过接口函数从音像播放设备音频脉冲数据流中读取一完整帧数据，经过FFT计算，将时域信号的采样变换为在离散时间傅里叶变换频域的采样，获取每次采样中强度最强的3个频率值F1、F2、F3及幅度Af，并获取计算时长ΔTa；根据计算，加上时间戳，形成第n帧音频特征数据包。

6.如权利要求5所述的实现音频与图像同步控制灯光的***，其特征在于，所述数据成帧模块(14)，用以接收策略控制模块(11)输出的每帧采集频率，根据时间戳及延时标记，从缓存中读取同一时间点采样的数据或相邻时间采集的数据；根据音频、图像处理的不同延时，把延时间隔最小的数据组成同一帧音频、图像同步混合数据包；若|ΔnTv-ΔnTa|<Tms，则第n帧音频和图像数据同步，组装成同一帧合成帧数据，其中，ΔnTv表示从时间戳开始，到第n帧视频数据采集时间间隔，ΔnTa表示从时间戳开始，到第n帧音频数据采集时间间隔，Tms表示音视频采集时间点差为T毫秒；若|ΔnTv-ΔnTa|>Tms，则第n帧音频和图像数据不同步，第n+1帧音频与第n帧图像数据组装成同一帧合成帧数据，或者第n+1帧图像与第n帧音频数据组装成同一帧合成帧数据，并发送。

7.如权利要求1所述的实现音频与图像同步控制灯光的***，其特征在于，

所述数据接收及缓存单元，用以接收音像信息采集及处理软件发送的合成帧数据并缓存数据；

所述帧数据解析单元，用以解析每一帧的合成帧数据，解析出颜色及声音控制指令；每一帧的合成帧数据包括灯光设备地址Nx、区域颜色值RGB、区域亮度值N、声音频率值f、声音幅值Af，A/B/C/X信息分别代表一完整视频帧中A区域/B区域/C区域/自定义扩展区域X，可根据屏幕分辨率做等分切割，视频采集模块采集到上述区域各像素RGB数据后，分别做均值运算，得到A区域/B区域/C区域RGB值；F信息包含某时刻采集到声音幅度值，经过FFT运算后得到此时刻频率值f和相应幅值Af，Vflag表示同一帧数据中视频数据起始标记，Aflag表示同一帧数据中音频数据起始标记；

所述灯光设备状态相应单元，用以按照预定控制策略，根据解析的灯光设备地址Nx、区域颜色信号RGB值和亮度值N与音频信号频率值f和幅值Af，同步转换成对应的灯光设备的颜色和亮度信号值。

8.如权利要求1所述的实现音频与图像同步控制灯光的***，其特征在于，

所述实现音频与图像同步控制灯光，包括：

多个灯光设备(3)组合方式实现同步屏幕颜色和声音变化；

或，多个灯光设备(3)其中两个及两个以上同时实现同步屏幕颜色和声音变化；

或，灯光设备(3)内独立灯光以两种状态分别同步屏幕颜色或声音的变化；

或，灯光设备(3)以两种状态分别同步屏幕颜色或声音的变化。

9.一种实现音频与图像同步控制灯光的方法，其特征在于，包括如下步骤：

S1：采集音像播放设备中的音频及屏幕图像信息，按照预定策略分析、处理、并封装成同步控制指令，发送同步控制指令；

S2：接收音像信息采集及处理软件发送的同步控制指令并缓存，解析出音频及屏幕图像颜色同步控制指令，按照预定控制策略执行同步控制指令，控制灯的颜色及律动变化，实现音频与图像同步控制灯光；

所述S1步骤包括：接收用户关于音频、屏幕图像的采样策略的自定义配置，据此输出音频及屏幕图像的采集范围、采集时钟及时钟戳标签、以及屏幕图像分块数量及采集区域；所述音频的采样策略包括：音频采集的输入源、采集声音的声道数、音频的采样频率、音频数据缓冲区；所述屏幕图像的采样策略包括：图像的采样频率、采集颜色的分块数、采集颜色的区域。

10.如权利要求9所述的实现音频与图像同步控制灯光的方法，其特征在于，所述S1步骤包括：接收策略控制模块(11)输出的每帧采集频率、起始时间戳、每帧图像分块数量及区域，每次读取一个完整帧数据，经过数据分块特征统计计算以实现基于K-Means聚类算法的主色提取，获取每块数据中颜色最多的RGB值及相应的亮度值N，并获取计算时长ΔTv；根据计算，形成第n帧图像特征数据包。

11.如权利要求10所述的实现音频与图像同步控制灯光的方法，其特征在于，所述S1步骤包括：接收策略控制模块(11)输出的每帧采集频率以及起始时间戳，每次通过接口函数从音像播放设备音频脉冲数据流中读取一完整帧数据，经过FFT计算，将时域信号的采样变换为在离散时间傅里叶变换频域的采样，获取每次采样中强度最强的3个频率值F1、F2、F3及幅度Af，并获取计算时长ΔTa；根据计算，加上时间戳，形成第n帧音频特征数据包。

12.如权利要求11所述的实现音频与图像同步控制灯光的方法，其特征在于，所述S1步骤包括：接收策略控制模块(11)输出的每帧采集频率，根据时间戳及延时标记，从缓存中读取同一时间点采样的数据或相邻时间采集的数据；根据音频、图像处理的不同延时，把延时间隔最小的数据组成同一帧音频、图像同步混合数据包；若|ΔnTv-ΔnTa|<Tms，则第n帧音频和图像数据同步，组装成同一帧合成帧数据，其中，ΔnTv表示从时间戳开始，到第n帧视频数据采集时间间隔，ΔnTa表示从时间戳开始，到第n帧音频数据采集时间间隔，Tms表示音视频采集时间点差为T毫秒；若|ΔnTv-ΔnTa|>Tms，则第n帧音频和图像数据不同步，第n+1帧音频与第n帧图像数据组装成同一帧合成帧数据，或者第n+1帧图像与第n帧音频数据组装成同一帧合成帧数据，并发送。

13.如权利要求9所述的实现音频与图像同步控制灯光的方法，其特征在于，所述S2步骤具体包括如下步骤：

S21：接收音像信息采集及处理软件发送的合成帧数据并缓存数据；

S22：解析每一帧的合成帧数据，解析出颜色及声音控制指令；每一帧的合成帧数据包括灯光设备地址Nx、区域颜色值RGB、区域亮度值N、声音频率值f、声音幅值Af，A/B/C/X分别代表一完整视频帧中A区域/B区域/C区域/自定义扩展区域X，可根据屏幕分辨率做等分切割，视频采集模块采集到上述区域各像素RGB数据后，分别做均值运算，得到A区域/B区域/C区域RGB值；F信息包含某时刻采集到声音幅度值，经过FFT运算后得到此时刻频率值f和相应幅值Af，Vflag表示同一帧数据中视频数据起始标记，Aflag表示同一帧数据中音频数据起始标记；

S23：按照预定控制策略，根据解析的灯光设备地址Nx、区域颜色信号RGB值和亮度值N与音频信号频率值f和幅值Af，同步转换成对应的灯光设备的颜色和亮度信号值。

14.如权利要求9所述的实现音频与图像同步控制灯光的方法，其特征在于，

多个灯光设备(3)组合方式实现同步屏幕颜色和声音变化；

或，多个灯光设备(3)其中两个及两个以上同时实现同步屏幕颜色和声音变化；

或，灯光设备(3)内独立灯光以两种状态分别同步屏幕颜色或声音的变化；

或，灯光设备(3)以两种状态分别同步屏幕颜色或声音的变化。

Images