CN118245011A - 基于多层级音乐信息的车载方法、***及相关设备 - Google Patents
基于多层级音乐信息的车载方法、***及相关设备 Download PDFInfo
- Publication number
- CN118245011A CN118245011A CN202410364318.1A CN202410364318A CN118245011A CN 118245011 A CN118245011 A CN 118245011A CN 202410364318 A CN202410364318 A CN 202410364318A CN 118245011 A CN118245011 A CN 118245011A
- Authority
- CN
- China
- Prior art keywords
- music
- signal
- vehicle
- information
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000008859 change Effects 0.000 claims abstract description 50
- 238000004458 analytical method Methods 0.000 claims abstract description 29
- 230000033764 rhythmic process Effects 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- HAORKNGNJCEJBX-UHFFFAOYSA-N cyprodinil Chemical group N=1C(C)=CC(C2CC2)=NC=1NC1=CC=CC=C1 HAORKNGNJCEJBX-UHFFFAOYSA-N 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Landscapes
- Electrophonic Musical Instruments (AREA)
Abstract
本发明提供了一种基于多层级音乐信息的车载控制方法、***及相关设备,该方法包括以下步骤:获取音乐信号;对所述音乐信号进行分析,从所述音乐信号中提取出包括基础特征、变化点、节拍点、音乐结构、音乐属性和音乐风格在内的音乐分析内容;根据所述音乐分析内容,按照预设生成规则模板生成控制信号,并将所述控制信号传输至车载***以实现振动和灯光控制。本发明结合多层级的音乐信息生成车载***中更符合音乐特点的座椅震动和灯光律动的控制信号,从而为用户带来更加沉浸式的车载音频体验。
Description
【技术领域】
本发明涉及一种信号处理方法,尤其涉及一种基于多层级音乐信息的车载控制方法、***及相关设备。
【背景技术】
随着车载技术的不断发展和用户对于车内音频体验需求的提升,结合音乐信息进行座椅震动和灯光律动的多模态音频技术也越来越成熟。而音乐信息提取技术是实现结合音乐信息进行座椅和灯光控制的关键技术之一,该技术可以通过音频信号处理和特征提取的方法,从音乐中提取出各种有用的信息,如节奏、旋律、属性、情感等,这些信息可以进一步用于控制座椅和灯光的变化。进一步地,座椅和灯光控制技术是实现结合音乐信息进行座椅和灯光变化的另一个关键技术。目前,许多车辆已经具备了座椅和灯光控制的功能,可以通过调节座椅的震动频率、强度和方向,以及灯光的亮度和色彩等元素,创造更加沉浸式的音频体验。
现有的基于音乐信息的车载灯光律动和座椅震动***,大部分是基于音乐能量、节奏和音色等基础特征,来控制震动的频率和强度以及灯光的亮度和色彩。
然而,现有的车载***虽然能一定程度地丰富车内的音频体验,但是由于没有对音乐信号进行更加全面的分析,控制座椅和灯光的信号相对简单,最终体验效果比较单一;此外,现有方案一般是对座椅和灯光分别进行控制,而没有将两者进一步结合,这就使得用户体验的一致性不会很好。
因此,有必要提供一种新的车载控制方法来解决上述问题。
【发明内容】
本发明要解决的技术问题是提供一种振动和灯光控制效果更符合音乐特点的基于多层级音乐信息的车载控制方法、***及相关设备。
为解决上述技术问题,第一方面,本发明提供了一种基于多层级音乐信息的车载控制方法,所述车载控制方法包括以下步骤:
获取音乐信号;
对所述音乐信号进行分析,从所述音乐信号中提取出包括基础特征、变化点、节拍点、音乐结构、音乐属性和音乐风格在内的音乐分析内容;
根据所述音乐分析内容,按照预设生成规则模板生成控制信号,并将所述控制信号传输至车载***以实现振动和灯光控制。
优选的,从所述音乐信号中提取出所述基础特征的步骤具体为:
对所述音乐信号进行分帧处理,得到多个音乐帧,并对每一所述音乐帧中的预设采集基础特征进行分析并标记,定义第i个所述音乐帧中提取的所述基础特征为其满足:
M表示所述预设采集基础特征的种类数;
定义所述音乐信号中的所述音乐帧为Nf个,所有所述基础特征的集合F满足:
优选的,从所述音乐信号中提取出所述变化点的步骤具体为:
根据当前的所述音乐帧的前后帧的时域或频域的能量变化程度判断当前的所述音乐帧中是否包含所述变化点,若是,则从所述音乐帧中提取出所述变化点,定义所述音乐信号中的所述变化点为No个,所有所述变化点的集合O满足:
优选的,从所述音乐信号中提取出所述节拍点的步骤具体为:
基于预设神经网络,对所述音乐信号进行节拍跟踪,并标记出节拍和重拍,定义所述音乐信号中的所述节拍为Nb个,所述重拍为Nd个,所有所述节拍的集合B满足:
所有所述重拍的集合D满足:
优选的,从所述音乐信号中提取出所述音乐结构的步骤具体为:
根据所述音乐信号的结构信息,将所述音乐信号进行分段,得到多个音乐段落,定义所述音乐信号中的第i个所述音乐段落为其满足:
其中,tbegin(i)、tend(i)分别表示所述音乐段落为的起始时间和结束时间,所述音乐段落的总数为Ns,所有所述音乐段落的集合S满足:
其中,定义第i个所述音乐段落的种类为ki,则所述音乐信号的段落种类信息K满足:
K=[k1,k2,...,kNs]。
优选的,从所述音乐信号中提取出所述音乐属性的步骤具体为:
对所述音乐信号进行分节,得到多个音乐小节,根据每一所述音乐小节中弹奏音符数量计算节奏属性强度,定义所述音乐信号中的第i个所述音乐小节为其满足:
所述音乐小节的总数为Nr,所有所述音乐小节的集合R满足:
其中,定义第i个所述音乐小节的所述节奏属性强度为mi,则所述音乐信号的节奏属性强度信息M满足:
M=[m1,m2,...,mNr]。
优选的,根据所述音乐分析内容,按照预设生成规则模板生成控制信号的步骤,包括以下子步骤:
定义C为所述音乐信号的所述音乐风格,根据所述音乐小节、所述节奏属性强度信息、所述音乐段落、所述段落种类信息以及所述音乐风格各自的集合{R,M,S,K,C}生成所述预设生成规则模板;
根据所述变化点、所述节拍、所述重拍各自的集合{O,B,D},按照所述预设生成规则模板生成用于振动控制的时间点控制信号T;
根据所述基础特征的集合F以及所述时间点控制信号,按照所述预设生成规则模板生成用于灯光控制的向量控制信号P;
将所述时间点控制信号T和所述向量控制信号P共同作为所述控制信号并输出。
第二方面,本发明还提供一种基于多层级音乐信息的车载控制***,包括:
数据获取模块,用于获取音乐信号;
多层级音乐分析模块,用于对所述音乐信号进行分析,从所述音乐信号中提取出包括基础特征、变化点、节拍点、音乐结构、音乐属性和音乐风格在内的音乐分析内容;
控制模块,用于根据所述音乐分析内容,按照预设生成规则模板生成控制信号,并将所述控制信号传输至车载***以实现振动和灯光控制。
第三方面,本发明还提供一种计算机设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于多层级音乐信息的车载控制程序,所述处理器执行所述基于多层级音乐信息的车载控制程序时实现如上任意一项所述的基于多层级音乐信息的车载控制方法中的步骤。
第四方面,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有基于多层级音乐信息的车载控制程序,所述基于多层级音乐信息的车载控制程序被处理器执行时实现如上任意一项所述的基于多层级音乐信息的车载控制方法中的步骤。
与相关技术相比,本发明基于多层级音乐信息的车载控制方法,包括以下步骤:获取音乐信号;对所述音乐信号进行分析,从所述音乐信号中提取出包括基础特征、变化点、节拍点、音乐结构、音乐属性和音乐风格在内的音乐分析内容;根据所述音乐分析内容,按照预设生成规则模板生成控制信号,并将所述控制信号传输至车载***以实现振动和灯光控制。该方法结合多层级的音乐信息,包括音频基础特征、变化点、节拍点、音乐结构、音乐属性、曲风信息等,并进一步根据这些信息来生成车载***中更符合音乐特点的座椅震动和灯光律动的控制信号,从而为用户带来更加沉浸式的车载音频体验。
【附图说明】
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图,其中:
图1是本发明实施例提供的基于多层级音乐信息的车载控制方法的步骤流程框图;
图2是本发明实施例提供的基于多层级音乐信息的车载控制***的结构示意图;
图3是本发明实施例提供的计算机设备的结构示意图。
【具体实施方式】
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参照图1,图1是本发明实施例提供的基于多层级音乐信息的车载控制方法的步骤流程框图,所述车载控制方法包括以下步骤:
S101、获取音乐信号;
S102、对所述音乐信号进行分析,从所述音乐信号中提取出包括基础特征、变化点、节拍点、音乐结构、音乐属性和音乐风格在内的音乐分析内容;
S103、根据所述音乐分析内容,按照预设生成规则模板生成控制信号,并将所述控制信号传输至车载***以实现振动和灯光控制。
本发明实施例中,步骤S101中的音乐信号,可以通过多种方法获取,包括车内实时/离线分析,调用云端服务,或者是制作时以metadata的形式保存在歌曲文件中,本发明实施例对此不做具体限定。
具体的,本发明实施例的步骤S102用于从帧级别的基础特征,到整首歌的风格分类,自底而上提取多层级的音乐分析内容。
具体的,从所述音乐信号中提取出所述基础特征的步骤具体为:
对所述音乐信号进行分帧处理,例如以10ms作为一帧,得到多个音乐帧,并对每一所述音乐帧中的预设采集基础特征进行分析并标记,定义第i个所述音乐帧中提取的所述基础特征为其满足:
M表示所述预设采集基础特征的种类数;
定义所述音乐信号中的所述音乐帧为Nf个,所有所述基础特征的集合F满足:
从所述音乐信号中提取出所述变化点的步骤具体为:
根据当前的所述音乐帧的前后帧的时域或频域的能量变化程度判断当前的所述音乐帧中是否包含所述变化点,所述变化点的具体形式可以是鼓声或其他乐器的起始点,若是,则从所述音乐帧中提取出所述变化点,定义所述音乐信号中的所述变化点为No个,所有所述变化点的集合O满足:
从所述音乐信号中提取出所述节拍点的步骤具体为:
基于预设神经网络,对所述音乐信号进行节拍跟踪,并标记出节拍(beats)和重拍(downbeats),定义所述音乐信号中的所述节拍为Nb个,所述重拍为Nd个,所有所述节拍的集合B满足:
所有所述重拍的集合D满足:
从所述音乐信号中提取出所述音乐结构的步骤具体为:
根据所述音乐信号的结构信息,将所述音乐信号进行分段,分段的形式可以是引子(Introduction)、主歌(Verse)、副歌(Chorus)、过渡段(Bridge)和尾声(Outro)等,得到多个音乐段落,定义所述音乐信号中的第i个所述音乐段落为其满足:
其中,tbegin(i)、tend(i)分别表示所述音乐段落为的起始时间和结束时间,所述音乐段落的总数为Ns,所有所述音乐段落的集合S满足:
其中,定义第i个所述音乐段落的种类为ki,则所述音乐信号的段落种类信息K满足:
K=[k1,k2,...,kNs]。
从所述音乐信号中提取出所述音乐属性的步骤具体为:
对所述音乐信号进行分节,得到多个音乐小节(bar),根据每一所述音乐小节中弹奏音符数量计算节奏属性强度(rhythm intensity),定义所述音乐信号中的第i个所述音乐小节为其满足:
所述音乐小节的总数为Nr,所有所述音乐小节的集合R满足:
其中,定义第i个所述音乐小节的所述节奏属性强度为mi,则所述音乐信号的节奏属性强度信息M满足:
M=[m1,m2,...,mNr]。
根据所述音乐分析内容,按照预设生成规则模板生成控制信号的步骤,包括以下子步骤:
定义C为所述音乐信号的所述音乐风格,例如流行、摇滚、爵士和民谣等,实施过程中可以通过信号处理或者深度学习方法来识别音乐风格。具体的,根据所述音乐小节、所述节奏属性强度信息、所述音乐段落、所述段落种类信息以及所述音乐风格各自的集合{R,M,S,K,C}生成所述预设生成规则模板;
根据所述变化点、所述节拍、所述重拍各自的集合{O,B,D},按照所述预设生成规则模板生成用于振动控制的时间点控制信号T;
根据所述基础特征的集合F以及所述时间点控制信号,按照所述预设生成规则模板生成用于灯光控制的向量控制信号P;
将所述时间点控制信号T和所述向量控制信号P共同作为所述控制信号并输出。
对于一首完整的歌曲(音乐信号),定义歌曲总共生成Nc个控制信号,则具体的控制信号可以表示为:
T=[t1,t2,...,tNc];
示例性的,对于民谣的引子和流行歌曲的副歌部分,所属的小节可以根据预设设计的函数func_mode(mi,ki,C)得到不同的模版值wi,进而采用不同的控制信号生成方法:
通过上述方法来对应所述预设生成规则模板生成不同的时间点和向量控制信号。
需要指出的是,由于时间点控制信号和向量控制信号所对应的模板是不同的,实施过程中可以根据音乐小节节奏强度属性、所在段落类别及音乐风格类别选择不同的模板来生成对应的信号,例如,对于民谣歌曲引子,可以生成符合舒缓风格的控制信号,这一方法只选取重拍对应的变化点作为所述预设生成规则模板,这一方法可以根据基础特征中的变化点能量和音色作为所述预设生成规则模板,生成轻缓的震动控制信号,或者柔和的灯光控制信号;
对于流行歌曲副歌部分,这一方法可以同时选取变化点、节拍对应的时间点集合作为所述预设生成规则模板,/>这一方法可以根据音频的能量和时间点的类型作为所述预设生成规则模板,再根据变化点生成轻微震动和柔和灯光控制信号。对于节拍点,根据副歌部分不同小节的节奏强度类别,生成不同激烈程度的震动且鲜艳灯光控制信号。
此外,两种信号可以按照各自的规则分别生成,也可以结合一起相互配合。例如可以用节拍变化点控制灯光律动,用重拍变化点控制座椅震动,通过灯光变化和座椅震动的配合,更好地体现音乐的节拍点和重拍点,提升车内音频体验的沉浸感。
与相关技术相比,本发明基于多层级音乐信息的车载控制方法,包括以下步骤:获取音乐信号;对所述音乐信号进行分析,从所述音乐信号中提取出包括基础特征、变化点、节拍点、音乐结构、音乐属性和音乐风格在内的音乐分析内容;根据所述音乐分析内容,按照预设生成规则模板生成控制信号,并将所述控制信号传输至车载***以实现振动和灯光控制。该方法结合多层级的音乐信息,包括音频基础特征、变化点、节拍点、音乐结构、音乐属性、曲风信息等,并进一步根据这些信息来生成车载***中更符合音乐特点的座椅震动和灯光律动的控制信号,从而为用户带来更加沉浸式的车载音频体验。
本发明实施例还提供一种基于多层级音乐信息的车载控制***,请参照图2,图2是本发明实施例提供的基于多层级音乐信息的车载控制***的结构示意图,所述基于多层级音乐信息的车载控制***200包括:
数据获取模块201,用于获取音乐信号;
多层级音乐分析模块202,用于对所述音乐信号进行分析,从所述音乐信号中提取出包括基础特征、变化点、节拍点、音乐结构、音乐属性和音乐风格在内的音乐分析内容;
控制模块203,用于根据所述音乐分析内容,按照预设生成规则模板生成控制信号,并将所述控制信号传输至车载***以实现振动和灯光控制。
所述基于多层级音乐信息的车载控制***200能够实现如上述实施例中的基于多层级音乐信息的车载控制方法中的步骤,且能实现同样的技术效果,参上述实施例中的描述,此处不再赘述。
本发明实施例还提供一种计算机设备,请参照图3,图3是本发明实施例提供的计算机设备的结构示意图,所述计算机设备300包括:存储器302、处理器301及存储在所述存储器302上并可在所述处理器301上运行的基于多层级音乐信息的车载控制程序。
所述处理器301调用所述存储器302存储的基于多层级音乐信息的车载控制程序,执行本发明实施例提供的基于多层级音乐信息的车载控制方法中的步骤,请结合图1,具体包括以下步骤:
S101、获取音乐信号;
S102、对所述音乐信号进行分析,从所述音乐信号中提取出包括基础特征、变化点、节拍点、音乐结构、音乐属性和音乐风格在内的音乐分析内容;
S103、根据所述音乐分析内容,按照预设生成规则模板生成控制信号,并将所述控制信号传输至车载***以实现振动和灯光控制。
优选的,从所述音乐信号中提取出所述基础特征的步骤具体为:
对所述音乐信号进行分帧处理,得到多个音乐帧,并对每一所述音乐帧中的预设采集基础特征进行分析并标记,定义第i个所述音乐帧中提取的所述基础特征为其满足:
M表示所述预设采集基础特征的种类数;
定义所述音乐信号中的所述音乐帧为Nf个,所有所述基础特征的集合F满足:
优选的,从所述音乐信号中提取出所述变化点的步骤具体为:
根据当前的所述音乐帧的前后帧的时域或频域的能量变化程度判断当前的所述音乐帧中是否包含所述变化点,若是,则从所述音乐帧中提取出所述变化点,定义所述音乐信号中的所述变化点为No个,所有所述变化点的集合O满足:
优选的,从所述音乐信号中提取出所述节拍点的步骤具体为:
基于预设神经网络,对所述音乐信号进行节拍跟踪,并标记出节拍和重拍,定义所述音乐信号中的所述节拍为Nb个,所述重拍为Nd个,所有所述节拍的集合B满足:
所有所述重拍的集合D满足:
优选的,从所述音乐信号中提取出所述音乐结构的步骤具体为:
根据所述音乐信号的结构信息,将所述音乐信号进行分段,得到多个音乐段落,定义所述音乐信号中的第i个所述音乐段落为其满足:
其中,tbegin(i)、tend(i)分别表示所述音乐段落为的起始时间和结束时间,所述音乐段落的总数为Ns,所有所述音乐段落的集合S满足:
其中,定义第i个所述音乐段落的种类为ki,则所述音乐信号的段落种类信息K满足:
K=[k1,k2,...,kNs]。
优选的,从所述音乐信号中提取出所述音乐属性的步骤具体为:
对所述音乐信号进行分节,得到多个音乐小节,根据每一所述音乐小节中弹奏音符数量计算节奏属性强度,定义所述音乐信号中的第i个所述音乐小节为其满足:
所述音乐小节的总数为Nr,所有所述音乐小节的集合R满足:
其中,定义第i个所述音乐小节的所述节奏属性强度为mi,则所述音乐信号的节奏属性强度信息M满足:
M=[m1,m2,...,mNr]。
优选的,根据所述音乐分析内容,按照预设生成规则模板生成控制信号的步骤,包括以下子步骤:
定义C为所述音乐信号的所述音乐风格,根据所述音乐小节、所述节奏属性强度信息、所述音乐段落、所述段落种类信息以及所述音乐风格各自的集合{R,M,S,K,C}生成所述预设生成规则模板;
根据所述变化点、所述节拍、所述重拍各自的集合{O,B,D},按照所述预设生成规则模板生成用于振动控制的时间点控制信号T;
根据所述基础特征的集合F以及所述时间点控制信号,按照所述预设生成规则模板生成用于灯光控制的向量控制信号P;
将所述时间点控制信号T和所述向量控制信号P共同作为所述控制信号并输出。
本发明实施例提供的计算机设备300能够实现如上述实施例中的基于多层级音乐信息的车载控制方法中的步骤,且能实现同样的技术效果,参上述实施例中的描述,此处不再赘述。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有基于多层级音乐信息的车载控制程序,该基于多层级音乐信息的车载控制程序被处理器执行时实现本发明实施例提供的基于多层级音乐信息的车载控制方法中的各个过程及步骤,且能实现相同的技术效果,为避免重复,这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过基于多层级音乐信息的车载控制程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存取存储器(Random Access Memory,简称RAM)等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上所述的仅是本发明的实施方式,在此应当指出,对于本领域的普通技术人员来说,在不脱离本发明创造构思的前提下,还可以做出改进,但这些均属于本发明的保护范围。
Claims (10)
1.一种基于多层级音乐信息的车载控制方法,其特征在于,所述车载控制方法包括以下步骤:
获取音乐信号;
对所述音乐信号进行分析,从所述音乐信号中提取出包括基础特征、变化点、节拍点、音乐结构、音乐属性和音乐风格在内的音乐分析内容;
根据所述音乐分析内容,按照预设生成规则模板生成控制信号,并将所述控制信号传输至车载***以实现振动和灯光控制。
2.根据权利要求1所述的基于多层级音乐信息的车载控制方法,其特征在于,从所述音乐信号中提取出所述基础特征的步骤具体为:
对所述音乐信号进行分帧处理,得到多个音乐帧,并对每一所述音乐帧中的预设采集基础特征进行分析并标记,定义第i个所述音乐帧中提取的所述基础特征为其满足:
M表示所述预设采集基础特征的种类数;
定义所述音乐信号中的所述音乐帧为Nf个,所有所述基础特征的集合F满足:
3.根据权利要求2所述的基于多层级音乐信息的车载控制方法,其特征在于,从所述音乐信号中提取出所述变化点的步骤具体为:
根据当前的所述音乐帧的前帧和后帧的时域或频域的能量变化程度判断当前的所述音乐帧中是否包含所述变化点,若是,则从所述音乐帧中提取出所述变化点,定义所述音乐信号中的所述变化点为No个,所有所述变化点的集合O满足:
4.根据权利要求3所述的基于多层级音乐信息的车载控制方法,其特征在于,从所述音乐信号中提取出所述节拍点的步骤具体为:
基于预设神经网络,对所述音乐信号进行节拍跟踪,并标记出节拍和重拍,定义所述音乐信号中的所述节拍为Nb个,所述重拍为Nd个,所有所述节拍的集合B满足:
所有所述重拍的集合D满足:
5.根据权利要求4所述的基于多层级音乐信息的车载控制方法,其特征在于,从所述音乐信号中提取出所述音乐结构的步骤具体为:
根据所述音乐信号的结构信息,将所述音乐信号进行分段,得到多个音乐段落,定义所述音乐信号中的第i个所述音乐段落为其满足:
其中,tbegin(i)、tend(i)分别表示所述音乐段落为的起始时间和结束时间,所述音乐段落的总数为Ns,所有所述音乐段落的集合S满足:
其中,定义第i个所述音乐段落的种类为ki,则所述音乐信号的段落种类信息K满足:
K=[k1,k2,...,kNs]。
6.根据权利要求5所述的基于多层级音乐信息的车载控制方法,其特征在于,从所述音乐信号中提取出所述音乐属性的步骤具体为:
对所述音乐信号进行分节,得到多个音乐小节,根据每一所述音乐小节中弹奏音符数量计算节奏属性强度,定义所述音乐信号中的第i个所述音乐小节为其满足:
所述音乐小节的总数为Nr,所有所述音乐小节的集合R满足:
其中,定义第i个所述音乐小节的所述节奏属性强度为mi,则所述音乐信号的节奏属性强度信息M满足:
M=[m1,m2,...,mNr]。
7.根据权利要求6所述的基于多层级音乐信息的车载控制方法,其特征在于,根据所述音乐分析内容,按照预设生成规则模板生成控制信号的步骤,包括以下子步骤:
定义C为所述音乐信号的所述音乐风格,根据所述音乐小节、所述节奏属性强度信息、所述音乐段落、所述段落种类信息以及所述音乐风格各自的集合{R,M,S,K,C}生成所述预设生成规则模板;
根据所述变化点、所述节拍、所述重拍各自的集合{O,B,D},按照所述预设生成规则模板生成用于振动控制的时间点控制信号T;
根据所述基础特征的集合F以及所述时间点控制信号T,按照所述预设生成规则模板生成用于灯光控制的向量控制信号P;
将所述时间点控制信号T和所述向量控制信号P共同作为所述控制信号并输出。
8.一种基于多层级音乐信息的车载控制***,其特征在于,包括:
数据获取模块,用于获取音乐信号;
音乐分析模块,用于对所述音乐信号进行分析,从所述音乐信号中提取出包括基础特征、变化点、节拍点、音乐结构、音乐属性和音乐风格在内的音乐分析内容;
控制模块,用于根据所述音乐分析内容,按照预设生成规则模板生成控制信号,并将所述控制信号传输至车载***以实现振动和灯光控制。
9.一种计算机设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于多层级音乐信息的车载控制程序,所述处理器执行所述基于多层级音乐信息的车载控制程序时实现如权利要求1-7中任意一项所述的基于多层级音乐信息的车载控制方法中的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有基于多层级音乐信息的车载控制程序,所述基于多层级音乐信息的车载控制程序被处理器执行时实现如权利要求1-7中任意一项所述的基于多层级音乐信息的车载控制方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410364318.1A CN118245011A (zh) | 2024-03-27 | 2024-03-27 | 基于多层级音乐信息的车载方法、***及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410364318.1A CN118245011A (zh) | 2024-03-27 | 2024-03-27 | 基于多层级音乐信息的车载方法、***及相关设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118245011A true CN118245011A (zh) | 2024-06-25 |
Family
ID=91564321
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410364318.1A Pending CN118245011A (zh) | 2024-03-27 | 2024-03-27 | 基于多层级音乐信息的车载方法、***及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118245011A (zh) |
-
2024
- 2024-03-27 CN CN202410364318.1A patent/CN118245011A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yang et al. | MidiNet: A convolutional generative adversarial network for symbolic-domain music generation | |
US5736666A (en) | Music composition | |
US9818396B2 (en) | Method and device for editing singing voice synthesis data, and method for analyzing singing | |
CN107657017A (zh) | 用于提供语音服务的方法和装置 | |
CN109949783A (zh) | 歌曲合成方法及*** | |
CN106373580A (zh) | 基于人工智能的合成歌声的方法和装置 | |
US20090254349A1 (en) | Speech synthesizer | |
US11842719B2 (en) | Sound processing method, sound processing apparatus, and recording medium | |
CN111680185A (zh) | 乐曲生成方法、装置、电子设备及存储介质 | |
CN112992109B (zh) | 辅助歌唱***、辅助歌唱方法及其非瞬时计算机可读取记录媒体 | |
US11322124B2 (en) | Chord identification method and chord identification apparatus | |
KR20220000655A (ko) | 주행음 라이브러리, 주행음 라이브러리 생성 장치 및 주행음 라이브러리를 포함하는 차량 | |
CN113813609A (zh) | 游戏音乐风格分类方法、装置、可读介质及电子设备 | |
US11996081B2 (en) | Visual responses to user inputs | |
CN118245011A (zh) | 基于多层级音乐信息的车载方法、***及相关设备 | |
WO2019176954A1 (en) | Machine learning method, electronic apparatus, electronic musical instrument, model generator for part selection, and method of part determination | |
Tachibana et al. | A real-time audio-to-audio karaoke generation system for monaural recordings based on singing voice suppression and key conversion techniques | |
CN116168678A (zh) | 语音合成方法、装置、计算机设备和存储介质 | |
CN115938340A (zh) | 基于车载语音ai的语音数据处理方法及相关设备 | |
Jiang et al. | Music signal recognition based on the mathematical and physical equation inversion method | |
TWI836255B (zh) | 透過歌聲轉換設計個人化虛擬歌手的方法及裝置 | |
CN112992177B (zh) | 语音风格迁移模型的训练方法、装置、设备及存储介质 | |
CN116645957B (zh) | 乐曲生成方法、装置、终端、存储介质及程序产品 | |
CN115457923B (zh) | 一种歌声合成方法、装置、设备及存储介质 | |
US20240087552A1 (en) | Sound generation method and sound generation device using a machine learning model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication |