CN118012550A - 播放器背景图控制方法、装置、电子设备及存储介质 - Google Patents
播放器背景图控制方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN118012550A CN118012550A CN202410020594.6A CN202410020594A CN118012550A CN 118012550 A CN118012550 A CN 118012550A CN 202410020594 A CN202410020594 A CN 202410020594A CN 118012550 A CN118012550 A CN 118012550A
- Authority
- CN
- China
- Prior art keywords
- information
- player
- background
- music file
- stage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 230000008569 process Effects 0.000 claims abstract description 36
- 230000000007 visual effect Effects 0.000 claims abstract description 34
- 230000036651 mood Effects 0.000 claims description 30
- 238000010586 diagram Methods 0.000 claims description 25
- 238000004891 communication Methods 0.000 claims description 14
- 238000012216 screening Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 230000035807 sensation Effects 0.000 claims description 4
- 239000000203 mixture Substances 0.000 abstract description 17
- 230000008451 emotion Effects 0.000 description 21
- 241000287127 Passeridae Species 0.000 description 11
- 230000004438 eyesight Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 230000033764 rhythmic process Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 208000032041 Hearing impaired Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000008909 emotion recognition Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009323 psychological health Effects 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种播放器背景图控制方法、播放器背景图控制装置、电子设备、存储介质及车辆,方法包括,获取播放器播放的音乐文件信息;所述音乐文件信息包括,文本信息和音频信息;其中,根据所述音乐文件信息,生成播放器背景图;根据音乐文件在播放器的播放进程,对应文本信息或/和音频信息控制所述背景图的显示状态。通过上述方案解析歌曲相关的文本信息,获得语义信息,并根据语义信息,抽取背景元素和主题元素,生成构图的空间架构,并在空间架构上生成视角用于显示终端的显示,相对于传统依据音乐作品产生的视觉信息,开发了语言的信息丰富且具象的优势。
Description
技术领域
本申请涉及音频播放领域,尤其涉及播放器背景图控制方法、播放器背景图控制装置、电子设备、存储介质及车辆。
背景技术
人们在很多场景下会听音乐,听音乐的多感官高品质追求也从未止步。除了传统的提升听觉体验外,人们越来越多的关注听音乐时的视觉感受。
配合播放器的车内电子屏幕,在播放音乐时可以通过显示播放器的背景界面,提供与音乐相契合的视觉内容,但是目前的播放器界面,只显示预设的背景图,较为单调,不能提供丰富的视觉内容。
因此,需要一种针对播放器背景图控制方案,使用户除了传统的提升听觉体验外,丰富听音乐时的视觉感受。
发明内容
本发明的目的在于提供一种播放器背景图控制方法、播放器背景图控制装置、电子设备、存储介质及车辆,至少解决上述的一个技术问题。
本发明提供了下述方案:
根据本发明的一个方面,提供一种播放器背景图控制方法,所述播放器背景图控制方法包括:
获取播放器播放的音乐文件信息;
所述音乐文件信息包括,文本信息和音频信息;
其中,根据所述音乐文件信息,生成播放器背景图;
根据音乐文件在播放器的播放进程,对应文本信息或/和音频信息控制所述背景图的显示状态。
进一步的,所述根据所述音乐文件信息,生成播放器背景图包括:
解析所述文本信息,获取语义信息;
根据所述语义信息,抽取背景元素和主题元素;
根据所述背景元素和所述主题元素,生成空间架构;
根据所述空间架构,生成视角;
根据所述视角和所述空间架构,生成对应所述背景元素或/和所述主题元素的画面。
进一步的,所述根据所述音乐文件信息,生成播放器背景图包括:
解析所述音频信息,获取意境信息;
所述意境信息包括,根据所述音频信息量化所述背景元素或/和所述主题元素的控制参数;
根据所述控制参数,调整根据所述背景元素和所述主题元素生成的空间架构;
根据所述控制参数,调整根据所述视角和所述空间架构生成的对应所述背景元素或/和所述主题元素的画面。
进一步的,所述根据音乐文件在播放器的播放进程,对应文本信息或/和音频信息控制所述背景图的显示状态包括:
根据音乐文件在播放器的播放进程,抽取已播放音乐文件中文本信息;
解析所述已播放音乐文件中文本信息,获取阶段语义信息;
根据所述阶段语义信息,抽取阶段背景元素和阶段主题元素;
根据所述阶段背景元素和所述阶段主题元素,生成空间架构帧;
根据所述空间架构帧,生成视角帧;
根据所述视角帧和所述空间架构帧,生成对应所述阶段背景元素或/和所述阶段主题元素的画面。
进一步的,所述根据音乐文件在播放器的播放进程,对应文本信息或/和音频信息控制所述背景图的显示状态还包括:
根据音乐文件在播放器的播放进程,抽取已播放音乐文件中音频信息;
解析所述已播放音乐文件中音频信息,获取阶段意境信息;
所述阶段意境信息包括,根据所述阶段音频信息量化所述阶段背景元素或/和所述阶段主题元素的控制参数帧;
根据所述控制参数帧,调整根据所述阶段背景元素和所述阶段主题元素生成的空间架构帧;
根据所述控制参数帧,调整根据所述视角帧和所述空间架构帧生成的对应所述阶段背景元素或/和所述阶段主题元素的画面。
进一步的,还包括:
获取用户状态信息;
所述用户状态信息包括,用户跟随音乐文件在播放器的播放进程的特征显性信息;
获取用户目标状态信息;
所述用户目标状态信息包括,用户特征的显性状态信息;
根据所述用户状态信息和所述用户目标状态信息,筛选音乐文件在播放器播放;
其中,所述筛选音乐文件包括,根据所述音乐文件中文本信息或/和音频信息,影响视觉和听觉感受的同步性,筛选音乐文件;
其中,所述影响视觉和听觉感受的同步性包括,根据视觉或/和听觉通道输入,输出反馈信息;
所述反馈信息间重复率超过预设重复阈值。
根据本发明的二个方面,提供一种播放器背景图控制装置,所述播放器背景图控制装置包括:
文件信息模块,用于获取播放器播放的音乐文件信息,所述音乐文件信息包括,文本信息和音频信息;
背景生成模块,用于根据所述音乐文件信息,生成播放器背景图;
显示状态模块,用于根据音乐文件在播放器的播放进程,对应文本信息或/和音频信息控制所述背景图的显示状态。
根据本发明的三个方面,提供一种电子设备,包括:处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
所述存储器中存储有计算机程序,当所述计算机程序被所述处理器执行时,使得所述处理器执行所述播放器背景图控制方法的步骤。
根据本发明的四个方面,提供一种计算机可读存储介质,包括:其存储有可由电子设备执行的计算机程序,当计算机程序在电子设备上运行时,使得电子设备执行所述播放器背景图控制方法的步骤。
根据本发明的五个方面,提供一种车辆,包括:
电子设备,用于实现所述播放器背景图控制方法的步骤;
处理器,处理器运行程序,当程序运行时从电子设备输出的数据执行所述播放器背景图控制方法的步骤;
存储介质,用于存储程序,程序在运行时对于从电子设备输出的数据执行所述播放器背景图控制方法的步骤。
通过上述方案,获得如下有益的技术效果:
本申请通过解析歌曲相关的文本信息,获得语义信息,并根据语义信息,抽取背景元素和主题元素,生成构图的空间架构,并在空间架构上生成视角用于显示终端的显示,相对于传统依据音乐作品产生的视觉信息,开发了语言的信息丰富且具象的优势。
本申请通过根据音乐播放进程生成空间架构帧,使构图成为动态的沟通,更加贴合音乐作品所表达的文化内容,使用户获得更多层次的丰富感受。
本申请通过将音频与文字结合的方式,控制播放器背景图的生成样式,使用户在视觉上产生的感受与听觉产生的感受同步,可以同时协助视觉残障人士和听觉残障人士在同一作品上获得近似文化内容的认识。
本申请通过音频与文字结合的方式,控制图片的生成,拓展了AI的智能算法方式。
本申请通过结合用户的状态,指向性的利用音乐作品生成视觉信息,有效的导引用户的心理健康和行车安全行为。
本申请通过拓展与音乐文件相关的文字信息,丰富以文字信息生成空间架构的信息来源,使构图更加贴切作者的创作意境和感受,丰富用户对作品的解读能力。
本申请通过结合多种视觉表达终端为同一空间架构做显示服务,使基于音乐生成的播放器背景图,具有更多的表达维度。
本申请通过以具象化或抽象化的表达样式表达主题和背景,使空间架构的生成具有灵活的表达样式,摆脱因歌词和音频抽象而导致的图像生成定义困难。
本申请结合空间和时间,生成时空架构,使歌曲播放的动态过程不被拘泥在刻板的空间架构构图样式上,有利于灵活的表达由歌词和音频生成的图像。
本申请根据歌曲文字,调整在空间架构上的视角,使抽象化空间构图始终有具象化的输出方式,在视觉终端上意义清楚的表达。
附图说明
图1是本发明一个或多个实施例提供的一种播放器背景图控制方法的流程图。
图2是本发明一个或多个实施例提供的一种播放器背景图控制装置的结构图。
图3是本发明一个具体实施例的生成播放器背景图流程的示意图。
图4是本发明一个具体实施例的歌曲信息获取流程的示意图。
图5是本发明一个具体实施例的提示词生成流程的示意图。
图6是本发明一个具体实施例的进行AI绘画prompt提示词的示意图。
图7是本发明一个具体实施例的基于AIGC的背景图生成的示意图。
图8是本发明一个或多个实施例提供的播放器背景图控制方法的一种电子设备结构框图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1是本发明一个或多个实施例提供的一种播放器背景图控制方法的流程图。
如图1所示的播放器背景图控制方法包括:
步骤S1,获取播放器播放的音乐文件信息,音乐文件信息包括,文本信息和音频信息;
步骤S2,其中,根据音乐文件信息,生成播放器背景图;
步骤S3,根据音乐文件在播放器的播放进程,对应文本信息或/和音频信息控制背景图的显示状态。
具体而言,获取播放器播放的音乐文件信息,主要包括歌词和音频;将歌词转化为文本信息,将音频从多个维度,抽取影响情绪、意境等音频信息。根据文本信息或/和音频信息生成图片,用于播放器的背景图,或应用于其他视觉表达终端,如车载设备中的氛围灯、投影仪、显示屏等,其中以显示屏类的视觉表达终端为主。随着音乐文件的播放进程,显示屏上显示的画面产生对应文本信息或/和音频信息的效果,迎合文本中语义或/和影响听众的情绪、意境等的显示状态。如,听觉残障人士仅通过视觉可以感受音乐的意境,如,视觉残障人士仅通过听觉可以感受画面的意境,如,健全人士听觉和视觉感受的意境是统一且同步的意境感受。
在本实施例中,根据音乐文件信息,生成播放器背景图包括:
解析文本信息,获取语义信息;
根据语义信息,抽取背景元素和主题元素;
根据背景元素和主题元素,生成空间架构;
根据空间架构,生成视角;
根据视角和空间架构,生成对应背景元素或/和主题元素的画面。
具体而言,文本信息中提供的有效信息是,根据语义所抽取的背景元素和主题元素的信息进行构图;通过对语义的解析,将背景元素和主题元素构建一个静态空间架构或动态的时空架构。在构图的架构中,根据具体语义的背景元素和主题元素,生成形象类和环境类的架构关系,如相互之间的位置坐标,移动路径,形态变化,时间轴顺序等。架构中可以采用具象的形象、环境进行表达,也可以采用抽象的形象、环境进行表达。显示屏显示的画面作为相对于架构一个视角,对对应背景元素或/和主题元素,以画面的形式进行显示。如,歌词中窗外的麻雀在电线杆上多嘴,采用一只以上具象化的麻雀形象,在电线杆上的动作作为主体元素,将窗口视角用于显示屏视角,或将窗口与麻雀、电线杆一同作为主体元素。将麻雀所处环境用抽象化的元素进行表示,如根据显示屏视角是人类从下方向上观看,背景用蓝色表示天空,如根据屏幕视角为麻雀从空中向下方观看,用绿色和棕色表示地面的背景等。形象、环境的画面生成,可以采用图库数据检索的方式,赋予算法进行加工,批量化生成。
在本实施例中,根据音乐文件信息,生成播放器背景图包括:
解析音频信息,获取意境信息;
意境信息包括,根据音频信息量化背景元素或/和主题元素的控制参数;
根据控制参数,调整根据背景元素和主题元素生成的空间架构;
根据控制参数,调整根据视角和空间架构生成的对应背景元素或/和主题元素的画面。
具体而言,音乐文件分为有歌词的音乐文件和无歌词的音乐文件,对于无歌词音乐文件,检索音乐文件关联的文字信息。如,该作品作者创作时灵感相关的文本信息,用于代替歌词生成的文本信息,用于抽取背景元素和主题元素。
解析音频信息,获取意境信息,在由语义信息生成空间架构过程中,或对已经完成的空间架构,量化其背景元素或/和主题元素的控制参数;如窗外的麻雀在电线杆上多嘴的歌词,配合的音乐律动较强,可以将窗口与麻雀、电线杆一同作为主体元素的架构,进一步突出放***雀之间的来言去语动作,配合音乐律动。同理,可以将显示屏视角的切换,与音乐的律动契合,进行切换等。
除了根据语义信息,抽取背景元素和主题元素,生成空间架构,生成视角,生成对应背景元素或/和主题元素的画面,也可以仅由音频信息抽取背景元素和主题元素,生成空间架构,生成视角,生成对应背景元素或/和主题元素的画面。根据解析音频信息获取的意境信息,采用图库数据检索的方式,赋予算法进行加工,批量化生成。如,根据音频信息对应意境与情绪状态,选取或生成具象或抽象的画面。
在本实施例中,根据音乐文件在播放器的播放进程,对应文本信息或/和音频信息控制背景图的显示状态包括:
根据音乐文件在播放器的播放进程,抽取已播放音乐文件中文本信息;
解析已播放音乐文件中文本信息,获取阶段语义信息;
根据阶段语义信息,抽取阶段背景元素和阶段主题元素;
根据阶段背景元素和阶段主题元素,生成空间架构帧;
根据空间架构帧,生成视角帧;
根据视角帧和空间架构帧,生成对应阶段背景元素或/和阶段主题元素的画面。
具体而言,根据音乐文件在播放器的播放进程,抽取已播放音乐文件中文本信息,获取阶段语义信息,用于抽取阶段背景元素和阶段主题元素,期间,将已经播放的音频文件中的文本信息看做一个整体,抽取背景元素和主题元素,生成空间架构帧。随着播放进程,形成动态的空间架构。即,随着文本信息的内容增加,空间架构进行刷新。同样,根据空间架构帧,生成视角帧,对应阶段背景元素或/和阶段主题元素的画面,随着文本信息的内容增加,视角动态变化。
在本实施例中,根据音乐文件在播放器的播放进程,对应文本信息或/和音频信息控制背景图的显示状态还包括:
根据音乐文件在播放器的播放进程,抽取已播放音乐文件中音频信息;
解析已播放音乐文件中音频信息,获取阶段意境信息;
阶段意境信息包括,根据阶段音频信息量化阶段背景元素或/和阶段主题元素的控制参数帧;
根据控制参数帧,调整根据阶段背景元素和阶段主题元素生成的空间架构帧;
根据控制参数帧,调整根据视角帧和空间架构帧生成的对应阶段背景元素或/和阶段主题元素的画面。
具体而言,根据音乐文件在播放器的播放进程,抽取已播放音乐文件中音频信息,获取阶段意境信息;随着播放进程,意境信息不断刷新。如,一首歌曲有前奏、过渡和高潮,随着播放进程到达前奏、过渡或高潮,对音频信息量化的控制参数也随之刷新。
在本实施例中,还包括:
获取用户状态信息;
用户状态信息包括,用户跟随音乐文件在播放器的播放进程的特征显性信息;
获取用户目标状态信息;
用户目标状态信息包括,用户特征的显性状态信息;
根据用户状态信息和用户目标状态信息,筛选音乐文件在播放器播放;
其中,筛选音乐文件包括,根据音乐文件中文本信息或/和音频信息,影响视觉和听觉感受的同步性,筛选音乐文件;
其中,影响视觉和听觉感受的同步性包括,根据视觉或/和听觉通道输入,输出反馈信息;
反馈信息间重复率超过预设重复阈值。
具体而言,除了音乐文件本身,所生成的画面还加入用户的状态。用户特征的显性状态信息,如,用户所处环境状态、用户表情特征等。同一音乐文件可以生成多种背景元素和主题元素,如,用户所处环境为清幽小路,根据音频文件生成倾向于配合清幽环境的背景元素和主题元素。可以借助车载视觉传感器对用户所处环境状态、用户表情特征等用户特征的显性状态信息进行搜集。基于用户特征的显性状态信息,生成对应背景元素或/和主题元素的画面倾向于与用户特征的显性状态信息相关联。如,用户表情特征相对低落,将调整情绪作为用户目标状态,可以通过生成背景元素和主题元素,影响用户情绪向积极方向转变,如用户表情特征相对良好,将提高注意力安全驾驶作为用户目标状态,可以通过生成背景元素和主题元素,影响用户情绪向警惕安全驾驶的侧重转变。一个音乐文件本身具有的风格和内容,决定了基于歌词或/和音频生成背景元素和主题元素可调整范围具有局限性,还可以根据用户状态信息和用户目标状态信息,筛选音乐文件。
影响视觉和听觉感受的同步性包括,根据视觉或/和听觉通道输入,输出反馈信息,反馈信息间重复率超过预设重复阈值。即,听觉残障人士通过视觉、视觉残障人士通过听觉或正常人共同使用听觉和视觉,对音乐文件的感受描述是近乎相同的。如,三类用户各反馈十条感受类信息,其中有六条信息是相同语义表达的结果,则可以做出由音乐转换而来的播放器背景图像达成与音乐音频表达意境的一致性较高的评价。
图2是本发明一个或多个实施例提供的一种播放器背景图控制装置的结构图。
如图2所示的播放器背景图控制装置包括:文件信息模块、背景生成模块、显示状态模块;
文件信息模块,用于获取播放器播放的音乐文件信息,音乐文件信息包括,文本信息和音频信息;
背景生成模块,用于根据音乐文件信息,生成播放器背景图;
显示状态模块,用于根据音乐文件在播放器的播放进程,对应文本信息或/和音频信息控制背景图的显示状态。
值得注意的是,虽然本***只披露了文件信息模块、背景生成模块、显示状态模块,相对,本发明所要表达的意思是,在上述基本功能模块的基础之上,本领域技术人员可以结合现有技术任意添加一个或多个功能模块,形成无穷多个实施例或技术方案,也就是说本***是开放式的而非封闭式的,不能因为本实施例仅披露了个别基本功能模块,就认为本发明权利要求的保护范围局限于上述公开的基本功能模块。
通过上述方案,获得如下有益的技术效果:
本申请通过解析歌曲相关的文本信息,获得语义信息,并根据语义信息,抽取背景元素和主题元素,生成构图的空间架构,并在空间架构上生成视角用于显示终端的显示,相对于传统依据音乐作品产生的视觉信息,开发了语言的信息丰富且具象的优势。
本申请通过根据音乐播放进程生成空间架构帧,使构图成为动态的沟通,更加贴合音乐作品所表达的文化内容,使用户获得更多层次的丰富感受。
本申请通过将音频与文字结合的方式,控制播放器背景图的生成样式,使用户在视觉上产生的感受与听觉产生的感受同步,可以同时协助视觉残障人士和听觉残障人士在同一作品上获得近似文化内容的认识。
本申请通过音频与文字结合的方式,控制图片的生成,拓展了AI的智能算法方式。
本申请通过结合用户的状态,指向性的利用音乐作品生成视觉信息,有效的导引用户的心理健康和行车安全行为。
本申请通过拓展与音乐文件相关的文字信息,丰富以文字信息生成空间架构的信息来源,使构图更加贴切作者的创作意境和感受,丰富用户对作品的解读能力。
本申请通过结合多种视觉表达终端为同一空间架构做显示服务,使基于音乐生成的播放器背景图,具有更多的表达维度。
本申请通过以具象化或抽象化的表达样式表达主题和背景,使空间架构的生成具有灵活的表达样式,摆脱因歌词和音频抽象而导致的图像生成定义困难。
本申请结合空间和时间,生成时空架构,使歌曲播放的动态过程不被拘泥在刻板的空间架构构图样式上,有利于灵活的表达由歌词和音频生成的图像。
本申请根据歌曲文字,调整在空间架构上的视角,使抽象化空间构图始终有具象化的输出方式,在视觉终端上意义清楚的表达。
图3是本发明一个具体实施例的生成播放器背景图流程的示意图。
图4是本发明一个具体实施例的歌曲信息获取流程的示意图。
图5是本发明一个具体实施例的提示词生成流程的示意图。
图6是本发明一个具体实施例的进行AI绘画prompt提示词的示意图。
图7是本发明一个具体实施例的基于AIGC的背景图生成的示意图。
图8是本发明一个或多个实施例提供的播放器背景图控制方法的一种电子设备结构框图。
在一具体实施例中,为解决播放音乐是播放画面枯燥的问题,本专利主要通过歌词和其他信息生成与歌词画面相关的播放器背景图,并且与氛围灯呼应,能够整体提升听音乐的视觉体验。
如图3所示,基于歌词生成播放器背景图,主要有以下几个环节:
步骤1,歌曲信息获取;
步骤2,提示词生成;
步骤3,基于AIGC的背景图生成;
步骤4,歌曲背景图显示;
步骤5,氛围灯同步播放器颜色。
在另一具体实施例中,如图4所示,歌曲信息的获取来自两大途经:歌词的语义和音乐的音频,如;歌曲的旋律、乐器的音色、传达的韵律等。
对于无歌词的音乐,主要通过旋律、乐器等构建一个音乐场景,针对此类歌曲,获取艺术家、乐器、风格、音乐情绪等信息,从预先设置的氛围类图片库中,基于无歌词音乐图片挑选策略,选择图片集。
对于有歌词的音乐,主要通过歌词构建音乐场景,针对此类歌曲,除了提取歌曲的艺术家、乐器、风格、音乐情绪信息外,还需要提取歌词,基于这些歌曲信息,基于一定的AIGC提示词规则,通过AIGC工具(如文心一格、DALL E 2),每句歌词生成1张图片,在播放器播放某一句歌词时,显示该歌词生成的图片。当歌词为“无歌词之类的描述”或歌词内容过短时,基于异常处理机制,显示氛围类图片。
歌曲信息的来源来自两方面,一方面来自于音乐应用,比如酷我音乐、QQ音乐、网易云音乐、酷我音乐等应用,音乐应用提供歌曲的基本信息,包括歌曲名、艺术家、标签、乐器、歌词等;另一方面来自于对音乐具有情绪识别能力的模块。
各音乐应用的歌曲信息结构不同,按照如下规则进行结构归一化。进一步的,针对歌词协议,对歌词内容进行识别拆分。
音乐情绪识别模块将音乐情绪划分为8大类:庄重、悲伤、梦幻、安静、优雅、快乐、激动、有力。音乐识别模块识别到的信息按照归一化的歌曲信息进行歌曲信息整合。
在另一具体实施例中,如图5所示,提示词生成是根据歌词内容生成绘图提示词,需要通过文本型内容生成的大模型,比如chatgpt,将歌词填入预设的文本提示词模板中,要求大模型按照一定的格式输出歌词转换的绘画提示词。
提示词生成模块,主要使用“音乐情绪”和“歌词”信息。针对歌词进行歌词信息解析,针对音乐情绪进行音乐情绪画面意境映射。然后将这两部分的信息融合进入播放器背景图prompt模板,用于生成针对这个歌曲这句歌词的背景图。
在另一具体实施例中,歌词信息解析是,人们感受歌词意境时,主要感受到的画面离不开歌词中提及的画面元素。比如“窗外的麻雀在电线杆上多嘴”,这句歌词中“窗”“麻雀”“电线杆”是歌词中的元素,听到这句歌词时,我们的脑海中很自然的会形成包“窗”“麻雀”“电线杆”这三个元素的画面。因此在提示词生成环节,元素是很重要的维度。
歌词是能够表达感情的。“一张小饭桌,有一荤一素”这句歌词里有两个元素,一张小饭桌和两个菜,我们听到这句歌词,不只是听到了这两个元素,这两个家常元素在一起,就表达出“温馨”。元素加上情绪,我们就能在脑海中形成一个温馨的家常吃饭的场景,如果只使用元素来构成画面,很难与听歌的用户产生共鸣。因此在提示词生成环节,情感是很重要的维度。
画面都是有主题的,由歌词生成的画面也是有主题的,歌词的主题能够统领元素和感情,让一幅画面完整。因此在提示词生成环节,主题是很重要的维度。
在另一具体实施例中,如图6所示,在通过歌词生成提示词的环节,需要从歌词中提取主题、元素、情感三个维度的信息。
关于音乐情绪画面映射,歌曲的审美享受主要来源于音乐的部分,同样的歌词,不同的旋律或乐器带给人们不同的感受。音乐的特征复杂,量化音乐情感特征不易,在为音乐生成播放器背景图的使用场景,我们采用音乐情绪在组成情境画面。音乐情绪在画面中起到定色调的作用,通过将音乐情绪映射成色调,来传递音乐情绪。
在另一具体实施例中,关于绘画prompt生成,将歌词提取到的信息和音乐情绪映射出的色调特征结合,生成用于进行AI绘画的prompt提示词。
以三句歌词作为例子,展示各环节情况。
未提取到有效歌词的歌曲,忽略此步骤,采用从预设图片库获取图片的方法生成图片。
基于AIGC的背景图生成,将上一环节生成的提示词中的第一组,输入AIGC绘图大模型,比如文心一格、DALL·E 2等,生成符合歌词意境的图片。
对应上一环节三句歌词,展示AIGC生成图画情况如图7所示,获取到的图片。
以歌词的时间戳-歌词的形式命名,例如“00:27.74-窗外的麻雀在电线杆上多嘴.png”
在另一具体实施例中,关于歌曲背景图显示,有效提取到歌词的歌曲,按照歌词的时间戳,将对应这句歌词的图片显示。
如,歌曲七里香播放到00:34.49时,显示图片“00:27.74-窗外的麻雀在电线杆上多嘴.png”。
关于氛围灯同步歌曲颜色,提取图片主要颜色,设置氛围灯。
提取过程包括,原图像、读取图像并转化数据类型、构造聚类器进行聚类-、获取聚类中心点、提取最主要颜色。
如,RGB:37.41.28,以此未设定值设置氛围灯颜色。设置过程,每次切换新图片时,同步设置以此氛围灯颜色。
图8是本发明一个或多个实施例提供的播放器背景图控制方法的一种电子设备结构框图。
如图8所示,本申请提供一种电子设备,包括:处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器中存储有计算机程序,当计算机程序被处理器执行时,使得处理器执行一种播放器背景图控制方法的步骤。
本申请还提供一种计算机可读存储介质,其存储有可由电子设备执行的计算机程序,当计算机程序在电子设备上运行时,使得电子设备执行一种播放器背景图控制方法的步骤。
本申请还提供一种车辆,包括:
电子设备,用于实现播放器背景图控制方法的步骤;
处理器,处理器运行程序,当程序运行时从电子设备输出的数据执行播放器背景图控制方法的步骤;
存储介质,用于存储程序,程序在运行时对于从电子设备输出的数据执行播放器背景图控制方法的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
电子设备包括硬件层,运行在硬件层之上的操作***层,以及运行在操作***上的应用层。该硬件层包括中央处理器(CPU,Central Processing Unit)、内存管理单元(MMU,Memory Management Unit)和内存等硬件。该操作***可以是任意一种或多种通过进程(Process)实现电子设备控制的计算机操作***,例如,Linux操作***、Unix操作***、Android操作***、iOS操作***或windows操作***等。并且在本发明实施例中该电子设备可以是智能手机、平板电脑等手持设备,也可以是桌面计算机、便携式计算机等电子设备,本发明实施例中并未特别限定。
本发明实施例中的电子设备控制的执行主体可以是电子设备,或者是电子设备中能够调用程序并执行程序的功能模块。电子设备可以获取到存储介质对应的固件,存储介质对应的固件由供应商提供,不同存储介质对应的固件可以相同可以不同,在此不做限定。电子设备获取到存储介质对应的固件后,可以将该存储介质对应的固件写入存储介质中,具体地是往该存储介质中烧入该存储介质对应固件。将固件烧入存储介质的过程可以采用现有技术实现,在本发明实施例中不做赘述。
电子设备还可以获取到存储介质对应的重置命令,存储介质对应的重置命令由供应商提供,不同存储介质对应的重置命令可以相同可以不同,在此不做限定。
此时电子设备的存储介质为写入了对应的固件的存储介质,电子设备可以在写入了对应的固件的存储介质中响应该存储介质对应的重置命令,从而电子设备根据存储介质对应的重置命令,对该写入对应的固件的存储介质进行重置。根据重置命令对存储介质进行重置的过程可以现有技术实现,在本发明实施例中不做赘述。
为了描述的方便,描述以上装置时以功能分为各种单元、模块分别描述。当然在实施本申请时可以把各单元、模块的功能在同一个或多个软件和/或硬件中实现。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非被特定定义,否则不会用理想化或过于正式的含义来解释。
对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器或者网络设备等)执行本申请各个实施方式或者实施方式的某些部分所述的方法。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种播放器背景图控制方法,其特征在于,所述播放器背景图控制方法包括:
获取播放器播放的音乐文件信息;
所述音乐文件信息包括,文本信息和音频信息;
其中,根据所述音乐文件信息,生成播放器背景图;
根据音乐文件在播放器的播放进程,对应文本信息或/和音频信息控制所述背景图的显示状态。
2.根据权利要求1所述的播放器背景图控制方法,其特征在于,所述根据所述音乐文件信息,生成播放器背景图包括:
解析所述文本信息,获取语义信息;
根据所述语义信息,抽取背景元素和主题元素;
根据所述背景元素和所述主题元素,生成空间架构;
根据所述空间架构,生成视角;
根据所述视角和所述空间架构,生成对应所述背景元素或/和所述主题元素的画面。
3.根据权利要求2所述的播放器背景图控制方法,其特征在于,所述根据所述音乐文件信息,生成播放器背景图包括:
解析所述音频信息,获取意境信息;
所述意境信息包括,根据所述音频信息量化所述背景元素或/和所述主题元素的控制参数;
根据所述控制参数,调整根据所述背景元素和所述主题元素生成的空间架构;
根据所述控制参数,调整根据所述视角和所述空间架构生成的对应所述背景元素或/和所述主题元素的画面。
4.根据权利要求1所述的播放器背景图控制方法,其特征在于,所述根据音乐文件在播放器的播放进程,对应文本信息或/和音频信息控制所述背景图的显示状态包括:
根据音乐文件在播放器的播放进程,抽取已播放音乐文件中文本信息;
解析所述已播放音乐文件中文本信息,获取阶段语义信息;
根据所述阶段语义信息,抽取阶段背景元素和阶段主题元素;
根据所述阶段背景元素和所述阶段主题元素,生成空间架构帧;
根据所述空间架构帧,生成视角帧;
根据所述视角帧和所述空间架构帧,生成对应所述阶段背景元素或/和所述阶段主题元素的画面。
5.根据权利要求4所述的播放器背景图控制方法,其特征在于,所述根据音乐文件在播放器的播放进程,对应文本信息或/和音频信息控制所述背景图的显示状态还包括:
根据音乐文件在播放器的播放进程,抽取已播放音乐文件中音频信息;
解析所述已播放音乐文件中音频信息,获取阶段意境信息;
所述阶段意境信息包括,根据所述阶段音频信息量化所述阶段背景元素或/和所述阶段主题元素的控制参数帧;
根据所述控制参数帧,调整根据所述阶段背景元素和所述阶段主题元素生成的空间架构帧;
根据所述控制参数帧,调整根据所述视角帧和所述空间架构帧生成的对应所述阶段背景元素或/和所述阶段主题元素的画面。
6.根据权利要求1至6中任一所述的播放器背景图控制方法,其特征在于,还包括:
获取用户状态信息;
所述用户状态信息包括,用户跟随音乐文件在播放器的播放进程的特征显性信息;
获取用户目标状态信息;
所述用户目标状态信息包括,用户特征的显性状态信息;
根据所述用户状态信息和所述用户目标状态信息,筛选音乐文件在播放器播放;
其中,所述筛选音乐文件包括,根据所述音乐文件中文本信息或/和音频信息,影响视觉和听觉感受的同步性,筛选音乐文件;
其中,所述影响视觉和听觉感受的同步性包括,根据视觉或/和听觉通道输入,输出反馈信息;
所述反馈信息间重复率超过预设重复阈值。
7.一种播放器背景图控制装置,其特征在于,所述播放器背景图控制装置包括:
文件信息模块,用于获取播放器播放的音乐文件信息,所述音乐文件信息包括,文本信息和音频信息;
背景生成模块,用于根据所述音乐文件信息,生成播放器背景图;
显示状态模块,用于根据音乐文件在播放器的播放进程,对应文本信息或/和音频信息控制所述背景图的显示状态。
8.一种电子设备,其特征在于,包括:处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
所述存储器中存储有计算机程序,当所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求1至6任一项所述播放器背景图控制方法的步骤。
9.一种计算机可读存储介质,其特征在于,包括:其存储有可由电子设备执行的计算机程序,当计算机程序在电子设备上运行时,使得电子设备执行权利要求1至6任一项所述播放器背景图控制方法的步骤。
10.一种车辆,其特征在于,包括:
电子设备,用于实现权利要求1至6任一项所述播放器背景图控制方法的步骤;
处理器,处理器运行程序,当程序运行时从电子设备输出的数据执行权利要求1至6任一项所述播放器背景图控制方法的步骤;
存储介质,用于存储程序,程序在运行时对于从电子设备输出的数据执行权利要求1至6任一项所述播放器背景图控制方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410020594.6A CN118012550A (zh) | 2024-01-05 | 2024-01-05 | 播放器背景图控制方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410020594.6A CN118012550A (zh) | 2024-01-05 | 2024-01-05 | 播放器背景图控制方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118012550A true CN118012550A (zh) | 2024-05-10 |
Family
ID=90957352
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410020594.6A Pending CN118012550A (zh) | 2024-01-05 | 2024-01-05 | 播放器背景图控制方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118012550A (zh) |
-
2024
- 2024-01-05 CN CN202410020594.6A patent/CN118012550A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6504165B2 (ja) | 情報処理装置及び情報処理方法並びにプログラム | |
Tan et al. | The psychology of music in multimedia | |
CN108492817B (zh) | 一种基于虚拟偶像的歌曲数据处理方法及演唱交互*** | |
Mazzoni et al. | Mood glove: A haptic wearable prototype system to enhance mood music in film | |
CN113010138B (zh) | 文章的语音播放方法、装置、设备及计算机可读存储介质 | |
CN107135578B (zh) | 基于TonaLighting调节技术的智能音乐和弦-氛围灯*** | |
CN108806656A (zh) | 歌曲的自动生成 | |
CN109120992A (zh) | 视频生成方法及其装置、电子设备、存储介质 | |
US20170053642A1 (en) | Information Processing Method and Information Processing Device | |
Scheirer et al. | Affective objects | |
KR20190005103A (ko) | 전자기기의 웨이크업 방법, 장치, 디바이스 및 컴퓨터 가독 기억매체 | |
US20110264453A1 (en) | Method and system for adapting communications | |
CN113538628A (zh) | 表情包生成方法、装置、电子设备及计算机可读存储介质 | |
Taylor et al. | Using music to interact with a virtual character | |
CN109460548B (zh) | 一种面向智能机器人的故事数据处理方法及*** | |
US20230166594A1 (en) | System and method for controlling lamplight by using music, and in-vehicle infotainment system | |
CN118012550A (zh) | 播放器背景图控制方法、装置、电子设备及存储介质 | |
Yoo et al. | Understanding tensions in music accessibility through song signing for and with d/Deaf and Non-d/Deaf persons | |
Okuno et al. | Multisensorial audiobooks | |
Bonde et al. | Auditory and Visual based Intelligent Lighting Design for Music Concerts | |
CN114974184A (zh) | 音频制作方法、装置、终端设备及可读存储介质 | |
Taylor et al. | Visualizing emotion in musical performance using a virtual character | |
JPH08272388A (ja) | 音声合成装置及びその方法 | |
Schacher | Live audiovisual performance as a cinematic practice | |
WO2024125478A1 (zh) | 音频呈现方法和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |