CN112037738B - 一种音乐数据的处理方法、装置及计算机存储介质 - Google Patents

一种音乐数据的处理方法、装置及计算机存储介质 Download PDF

Info

Publication number
CN112037738B
CN112037738B CN202010906667.3A CN202010906667A CN112037738B CN 112037738 B CN112037738 B CN 112037738B CN 202010906667 A CN202010906667 A CN 202010906667A CN 112037738 B CN112037738 B CN 112037738B
Authority
CN
China
Prior art keywords
track data
sound
music
target
sound source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010906667.3A
Other languages
English (en)
Other versions
CN112037738A (zh
Inventor
闫震海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Music Entertainment Technology Shenzhen Co Ltd
Original Assignee
Tencent Music Entertainment Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Music Entertainment Technology Shenzhen Co Ltd filed Critical Tencent Music Entertainment Technology Shenzhen Co Ltd
Priority to CN202010906667.3A priority Critical patent/CN112037738B/zh
Publication of CN112037738A publication Critical patent/CN112037738A/zh
Application granted granted Critical
Publication of CN112037738B publication Critical patent/CN112037738B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0008Associated control or indicating means
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0091Means for obtaining special acoustic effects
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/02Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/04Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation
    • G10H1/043Continuous modulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/305Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/307Frequency adjustment, e.g. tone control
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155Musical effects
    • G10H2210/265Acoustic effect simulation, i.e. volume, spatial, resonance or reverberation effects added to a musical sound, usually by appropriate filtering or delays
    • G10H2210/281Reverberation or echo
    • G10H2210/291Reverberator using both direct, i.e. dry, and indirect, i.e. wet, signals or waveforms, indirect signals having sustained one or more virtual reflections
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155Musical effects
    • G10H2210/265Acoustic effect simulation, i.e. volume, spatial, resonance or reverberation effects added to a musical sound, usually by appropriate filtering or delays
    • G10H2210/295Spatial effects, musical uses of multiple audio channels, e.g. stereo
    • G10H2210/305Source positioning in a soundscape, e.g. instrument positioning on a virtual soundstage, stereo panning or related delay or reverberation changes; Changing the stereo width of a musical source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

本发明实施例公开了一种音乐数据的处理方法、装置及计算机存储介质,其中该方法包括:获取待处理音乐的声音信号,对声音信号进行分轨处理得到N个音轨数据,其中不同的音轨数据用于表示不同的声源对象;基于声源对象设置声源对象在虚拟空间的声场位置;并根据声源对象在虚拟空间的声场位置对声源对象对应的音轨数据进行第一方位调制,以得到具有乐队在真实空间演奏效果的目标音乐。本发明基于对音乐的音声信号的分轨处理得到多个音轨数据,以及对多个音轨数据进行调制处理得到具有乐队在真实空间演奏效果的目标音乐,从而实现对音乐数据的智能化管理。

Description

一种音乐数据的处理方法、装置及计算机存储介质
技术领域
本申请涉及计算机技术领域,尤其涉及一种音乐数据的处理方法、装置及计算机存储介质。
背景技术
在快节奏的信息化时代,音乐成为大众情感寄托的重要工具。音乐可以让身体放轻松,纾解压力;音乐可以敲开封闭的心灵,纾解忧郁苦闷的心情;音乐可以刺激脑部,活化脑细胞;音乐可以提升创造力、企划力以及刺激右脑;音乐可以帮助入眠、提高免疫力、增加神经传导速率、增强记忆力与注意力;音乐的旋律可以使婴儿呼吸平静、心跳减缓,让婴儿不再哭闹不安。音乐是当下使用频率较高的工具。因此,针对一些对音乐的处理技术也应运而生。
目前,对一首音乐的处理方式往往是对其进行背景音乐或者人声的分离,又或者是对立体声音乐进行角度调制达到环绕效果,总的来说,其处理手段都比较单一,达到的音乐效果也比较单一。因此,怎样实现对音乐的更多效果处理成为亟待解决的问题。
发明内容
本发明实施例提供了一种音乐数据的处理方法、装置及计算机存储介质,基于对音乐的声音信号的分轨处理得到多个音轨数据,以及对多个音轨数据进行调制处理得到具有乐队在真实空间演奏效果的目标音乐,从而实现对音乐数据的智能化管理。
第一方面,本发明实施公开了一种音乐数据的处理方法,包括:
获取待处理音乐的声音信号;
对所述声音信号进行分轨处理得到N个音轨数据,其中不同的音轨数据用于表示不同的声源对象,所述N为大于等于2的正整数;
确定所述声源对象在虚拟空间的声场位置;
根据所述声源对象在虚拟空间的声场位置对所述声源对象对应的音轨数据进行第一方位调制,以得到目标音乐,所述目标音乐具有多个声源对象在不同空间位置进行演奏的音乐效果。
第二方面,本发明实施例公开了一种音乐数据的处理装置,包括:
获取模块,用于获取待处理音乐的声音信号;
处理模块,用于对所述声音信号进行分轨处理得到N个音轨数据,其中不同的音轨数据用于表示不同的声源对象,所述N为大于等于2的正整数;
所述处理模块,用于设置所述声源对象在虚拟空间的声场位置;
所述处理模块,还用于根据所述声源对象在虚拟空间的声场位置对所述声源对象对应的音轨数据进行第一方位调制,以得到目标音乐,所述目标音乐具有多个声源对象在不同空间位置进行演奏的音乐效果。
第三方面,本发明实施例提供了一种终端,包括处理器、输入设备、输出设备和存储器,所述处理器、输入设备、输出设备和存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行第一方面所述的方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行第一方面所述的方法。
本发明实施例中,终端获取待处理音乐的声音信号,对声音信号进行分轨处理得到N个音轨数据,其中不同的音轨数据用于表示不同的声源对象,基于声源对象设置声源对象在虚拟空间的声场位置,并根据声源对象在虚拟空间的声场位置对声源对象对应的音轨数据进行第一方位调制,以得到具有乐队在真实空间演奏效果的目标音乐,本发明基于对音乐的音声信号的分轨处理得到多个音轨数据,以及对多个音轨数据进行调制处理得到具有乐队在真实空间演奏效果的目标音乐,从而实现对音乐数据的智能化管理。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种音乐数据的处理方法的流程示意图;
图2为本发明实施例提供的一种音乐数据的方位效果示意图;
图3为本发明实施例提供的另一种音乐数据的处理方法的流程示意图;
图4为本发明实施例提供的又一种音乐数据的处理方法的流程示意图;
图5为本发明实施例提供的一种音乐数据的处理装置示意图;
图6为本发明实施例提供的一种终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供的音乐数据的处理方法实现于终端,该终端包括智能手机、平板电脑、数字音视频播放器、电子阅读器、手持游戏机、智能手表等电子设备,该终端可以支持界面显示,并能接收用户端的各种操作,如点击操作,输入操作或者滑动操作等。
本发明实施例提供的音乐数据的处理方法,主要包括:终端设备获取待处理音乐的声音信号,利用机器学习的手段对待处理音乐的声音信号进行分轨处理得到N个音轨数据,不同的音轨数据对应不同的声源对象,比如说,人声以及钢琴声等所对应的声源是不同的;进一步,在得到N个音轨数据后,确定出不同音轨数据对应的声源对象在虚拟空间的声场位置,再根据声源对象在虚拟空间的声场位置对声源对象对应的音轨数据进行第一方位调制,以得到具有乐队在真实空间演奏效果的目标音乐。该演奏效果具体体现为目标音乐不同音轨数据在不同空间位置演奏,如歌手站在舞台的中间,吉他手和钢琴伴奏者分别位于舞台两侧。其中,N为大于等于2的整数。
在本发明实施例中,还提供了一种音乐数据的处理方法,该方法主要是针对N个音轨数据中存在目标类型的音轨数据而言的,即,终端获取待处理音乐,并获取待处理音乐的声音信号,再对声音信号进行分轨处理得到N个音轨数据,不同的音轨数据对应不同的声源对象,对N个音轨数据进行分析,若根据分析结果确定所述N个音轨数据中存在目标类型的音轨数据,则调用变调工具对目标类型的音轨数据做变调处理,得到n个变调音轨数据,根据所述n个变调音轨数据和N个音轨数据中除所述目标类型的音轨数据之外的其他音轨数据,得到处理后的音乐,这种方法可以只针对目标类型的音轨数据进行处理,以得到不同效果的目标音乐。其中,目标类型的音轨数据可以指人声、钢琴声或者吉他声等等中的一种或者多种。若是人声的话,则只对人声进行变调处理,其他的音轨数据不做调整。
本发明实施例提供的音乐数据的处理方法的具体流程可通过以下的流程图进行具体的阐述。
请参见图1,图1为本发明实施例提供的一种音乐数据的处理方法的流程示意图,具体包括以下步骤:
步骤S101、终端获取待处理音乐的声音信号。
具体的,终端获取待处理音乐,待处理音乐也指待处理音乐文件,包括已经上传至服务器并被授权的音乐文件,用户端可通过终端界面对该音乐文件进行播放操作、下载操作等。终端获取到待处理的音乐文件后,获取该待处理的音乐文件的声音信号,例如可以通过Python、MATLAB等工具对待处理的音乐文件进行处理以得到声音信号。
其中,此处的声音信号指的是频率和幅度规律变化的声波信号。声音的三个要素是音调、音强和音色。声波或正弦波有三个重要参数:频率ω0、幅度An和相位ψn,这些参数决定了声音信号的特征。
步骤S102、终端对声音信号进行分轨处理得到N个音轨数据,其中,不同的音轨数据用于表示不同的声源对象,N为大于等于2的整数。
其中,不同的音轨数据对应不同的声源对象,例如:音轨1对应的是人声的音轨数据,其声源对象为人声;音轨2对应的是钢琴声的音轨数据,则其声源对象为钢琴,另外还可以包括鼓声的音轨数据、bass声的音轨数据以及其他声音的音轨数据等。这里的音轨数量是可以自定义的,其数量不作限定,但至少为2。需要说明的是,一种分离结果是分离出人声的音轨数据和背景音乐的音轨数据,但这种音轨处理相对来说比较简单,本申请实施例为了实现更复杂的音乐处理效果,可以分离出更多样的音轨数据。
音轨数据的一种表现形式为音序器软件中的一条一条的平行“轨道”。每条音轨分别具有各自的属性,比如音色,音色库,通道数,输入/输出端口,音量等。
在一种可能的实现方式中,对声音信号进行分轨处理以得到N个音轨数据,具体是:将声音信号输入到训练完成的声音信号处理机器模型中进行分离,以得到N个音轨数据,其中音轨数量的设置可以是用户基于终端界面输入的,输入方式包括键入方式或者语音输入的方式,即终端界面包括用于设置音轨数量的图标控件,通过对该图标控件进行相应地键入操作或者语音输入操作,以实现对音轨数量的设置。
步骤S103、终端设置声源对象在虚拟空间的声场位置。
在一种可能的实现方式中,终端设置声源对象在虚拟空间的声场位置,具体是:终端显示目标界面,该目标界面包括用于表示音轨数据对应的声源对象的图标元素,再将用户通过目标界面为图标元素对应的声源对象输入的声场位置,设置为图标元素对应的声源对象在虚拟空间的声场位置。
在一种可能的实现方式中,终端确定声源对象在虚拟空间的声场位置,具体可是:终端响应用户将声源对象的图标元素从所述目标界面的第一位置拖动至第二位置的操作指令,并将第二位置对应的声场位置确定为声源对象在虚拟空间的声场位置。对于任一个声源对象,用户端都可以对声源对象对应的图标元素进行拖动操作以确定声场位置,从而达到图2所示的方位效果图。
在另一种可能的实现方式中,目标界面显示有每个音轨数据对应的声源对象的图标元素,点击其中一个声源对象的图标元素,可以针对该声源对象对应的音轨数据输入一个角度信息,也可以对所有的声源对象的图标元素分别进行点击然后再输入相应的角度。终端响应用户对声源对象的图标元素的角度输入操作,根据角度输入操作对应的角度确定出所述声源对象在虚拟空间的声场位置,在目标显示界面上显示有各个音轨数据所对应的声源对象的图标元素,每个音轨数据所对应的角度可以点击图标元素进行查看。举例说明,假设音轨数据有五个,包括人声音轨数据、钢琴音轨数据、bass音轨数据、鼓声音轨数据以及其他音轨数据,针对该五个音轨数据的声源对象所对应的图标在目标界面进行角度的设置,如将人声音轨数据设置成左边5度,钢琴音轨数据设置成左偏10度,bass音轨数据设置成左偏30度,鼓声音轨数据设置成右偏30度,其他音轨数据设置成右偏10度,终端在接收到这些设置后,就根据角度信息确定出各个音轨数据对应的图标元素在虚拟空间的声场位置,进而得到如图2所示的一种音乐文件的方位效果示意图。
其中,图2所示的方位效果图上半部分中,每个元素分别对应一个声源对象,声源对象根据音轨数据的数量设置,即音轨数据数量有几个,声源对象就有几个。
步骤S104、终端根据声源对象在虚拟空间的声场位置对声源对象对应的音轨数据进行第一方位调制,以得到目标音乐,目标音乐具有乐队在真实空间演奏效果的。
其中,对声源对象的方位调制主要是通过头相关传递函数(Head-RelatedTransferFunction,HRTF)实现的。HRTF用来描述空间中任意一个点声源到达双耳鼓膜处的频率响应***。该***会受到耳廓、头型、肩膀等因素的影响。人耳主要根据该***提供的双耳线索来判断声源位置。
该函数具体的应用为:假设分轨处理得到N个音轨数据的其中任一音轨数据x(n),目标角度的HRTF函数分别为:HLeft(n)和HRight(n)。可以采用美国CIPIC数据库的HRTF函数,或者也可采用其他开源数据库的数据,其中非测量点的传递函数采用相邻四个点距离为权重的拟合生成。方位调制的方法是将音轨数据x(n)与HRTF函数分别做卷积,即:
左通道信号:
右通道信号:
其中,符号表示卷积操作。
在一种可能的实现方式中,终端根据声源对象在虚拟空间的声场位置对声源对象对应的音轨数据进行第一方位调制,结合角度函数具体可以包括:终端将声源对象在虚拟空间的声场位置的角度信息作为音轨数据的角度函数的输入,经过角度函数处理后得到所述角度函数的输出,其角度函数对应于HLeft(n)和HRight(n)。得到角度函数的输出后,将角度函数的输出与音轨数据(N个音轨数据中的任一音轨数据,对应于x(n)进行卷积操作,得到声源对象对应的音轨数据的第一方位调制的调制数据。N个音轨数据中的任意一个音轨数据都可以进行相应的卷积操作,以得到多个第一方位调制的调制数据,从而得到目标音乐,目标音乐具有多个声源对象在不同空间位置进行演奏的音乐效果。角度信息是根据在目标界面接收对各个音轨数据的角度设置指令,或者在目标界面上接收对各个音轨数据的拖拉指令得到声场位置后确定的。
以人声音轨数据为例,在目标界面接收对人声音轨数据的角度设置指令,确定出人声音轨数据的声场位置后,得到对应的角度信息,则利用HRTF函数对各个时刻的人声音轨数据进行角度的卷积,以实现人声在整个音乐文件播放的过程中达到人声旋转的效果,以音乐会的角度来看,就相当于歌手在不停地转换位置。其中,还可以通过角速度设置的方式实现音轨数据的在播放过程中的环绕旋转效果。
得到具有乐队在真实空间演奏效果的目标音乐和待处理音乐是不相同的,其中,音轨数据的空间声场位置发生了改变,多个音轨数据经过HRTF函数的角度调制后,形成多个左通道和右通道数据。可以将所有左通道数据混在一起,同理将所有右通道数据混在一起。处理得到的音乐信号与原始音乐信号的不同是各个乐器的空间声场位置按照用户的意愿发生了变化。
本发明实施例中,终端获取待处理音乐的声音信号,对声音信号进行分轨处理得到N个音轨数据,其中不同的音轨数据用于表示不同的声源对象,基于声源对象设置声源对象在虚拟空间的声场位置,并根据声源对象在虚拟空间的声场位置对声源对象对应的音轨数据进行第一方位调制,以得到具有乐队在真实空间演奏效果的目标音乐,本发明基于对音乐文件的分轨处理得到多音轨数据,以及对多音轨数据进行调制处理得到更新后的多元化的音乐文件。
请参见图3,图3为本发明实施例提供的另一种音乐文件的处理方法的流程示意图,该方法的步骤包括:
步骤S301、终端获取待处理音乐的声音信号。
该步骤如步骤S101所述,这里就不再一一赘述。
步骤S302、若待处理音乐为立体声音乐,终端则将待处理音乐的声音信号转换为单声道的声音信号。
在一种可能的实现方式中,在获取到待处理音乐的声音信号后,终端会对待处理音乐进行音乐类型的检测,以确定待处理音乐的类型,音乐类型包括:立体声(双音道)音乐类型、单声道音乐类型。若检测出音乐类型为立体声音乐类型,则将所述待处理音乐的声音信号转换为单声道音乐类型的声音信号。双声道音乐文包括左声道(记为L)以及右声道(记为R)。将立体声音乐类型的声音信号转换为单声道音乐类型的声音信号的方法包括多种。例如可以通过声道信号平均法即(L+R)/2得到单声道音乐文件,又如可以将立体声音乐类型的声音信号输入FFmpeg(Fast Forward Mpeg的简称)程序中,由该程序从频域角度将左右声道的声音信号合并到一路信号。其中FFmpeg是一套可以用来处理数字音频和视频的开源计算机程序。
步骤S303、终端对声音信号进行分轨处理得到N个音轨数据,其中,不同的音轨数据用于表示不同的声源对象,N为大于等于2的整数。
该步骤如步骤S102所述,这里就不再一一赘述。
步骤S304、终端设置声源对象在虚拟空间的声场位置。
该步骤如步骤S103所述,这里就不再一一赘述。
步骤S305、根据声源对象在虚拟空间的声场位置对声源对象对应的音轨数据进行第一方位调制。
该步骤如步骤S104所述,这里就不再一一赘述。
步骤S306、若N个音轨数据包括目标类型的音轨数据,则终端对目标类型的音轨数据进行变调处理,得到变调音轨数据,并将变调音轨数据与第一方位调制后的音轨数据进行合成,以得到具有乐队在真实空间演奏且不同声调合奏效果的目标音乐。
在一种可能的实现方式中,终端在获取到N个音轨数据后,对N个音轨数据进行分析,若根据分析结果确定N个音轨数据中存在目标类型的音轨数据,则调用变调工具对目标类型的音轨数据做变调处理,得到变调音轨数据。变调音轨数据是对目标类型的音轨数据进行变调得到的,变调前的音轨数据依旧存在。其中,变调工具指的是变调不变速,即改变声音基频的大小,同时保持语速和语义不变。若目标类型的音轨数据包括人声的音轨数据,则对人声的音轨数据进行如下几种处理:一种处理可以将第一频率范围内的声音信号调整为第二频率范围内的声音信号,例如将男声音轨数据调制为女声音轨数据的效果或将女声音轨数据调制为男声音轨数据;一种处理可以将目标类型的音轨数据进行多种不同幅度的变调处理,得到多个不同频率范围内的音轨数据。
举例说明变调音轨数据的几种具体形式,如调用变调工具将一个男声音轨数据进行升调处理以得到相对应的女声音轨数据,或者调用变调工具将女声音轨数据进行降调处理得到男声音轨数据。然后将变调音轨数据与第一方位调制后的音轨数据进行合成处理后,以得到男女对唱效果的目标音乐,或者是得到双人混唱效果的目标音乐,又或者是多人合唱效果的目标音乐。
对目标类型的音轨数据进行变调处理得到变调音轨数据后,终端就将变调音轨数据与第一方位调制后的音轨数据进行合成,以得到具有乐队在真实空间演奏且不同声调合奏效果的目标音乐。
在一种可能的实现方式中,终端按照各个音轨数据的播放时间,确定目标类型的音轨数据以及变调音轨数据相对应的目标播放时段,通过对播放时间的控制,可以实现男女对唱(例如“男生一句,女生一句”)的舞台音乐效果,多人合唱的舞台音乐效果也可以根据对播放时间段的控制来实现。
终端还可以对目标播放时段内的目标类型的音轨数据以及变调音轨数据进行声场位置相对变化的第二方位调制,第二方位调制主要是针对目标音轨数据以及变调音轨数据的,进行第二方位调制后可以实现不同声调合奏且不同声调相对位置发生变化效果的音乐。
若终端将第二方位调制与第一方位调制后的得到的音轨数据进行合成,便可以得到具有多个声源对象在不同空间位置进行演奏、不同声调合奏且不同声调相对位置发生变化三者效果的目标音乐。举例说明,第一方位调制得到的音轨数据还包括除目标类型的音轨数据之外的其他音轨数据,如钢琴声、吉他声等等,在这种情况下,将第二方位调制与第一方位调制后得到的音轨数据进行合成就会得到一种乐队在真实空间的演奏效果:乐器位于舞台的不同的位置,以人声为目标类型的音轨数据的话,可以实现不同歌手合奏且歌手在舞台的位置发生变化的演唱效果,例如男女歌手在舞台上对唱且交换位置的演唱效果。
需要说明的是,若得到的变调音轨数据大于两个,则同样可以通过第二方位调制处理实现多个声音在舞台上的一种位置变换的效果,或者通过对播放时间段控制实现多人齐唱的舞台音乐效果。需要说明的是,多个变调的音轨数据在时间轴上需要前后延迟一定时间后再进行混音,从而形成一种多人齐声合唱的效果。因为人耳很难区分10ms以内的相似声音,因此延迟的时长可以是10ms。
步骤S307、从数据库获取目标场景对应的脉冲信号,将目标场景对应的脉冲信号与目标音乐的脉冲信号进行卷积处理,以得到在目标场景演奏效果的目标音乐。
在一种可能的实现方式中,目标音乐可以是对声源对象对应的音轨数据进行第一方位调制后得到的,也可以是变调音轨数据与第一方位调制后的音轨数据进行合成得到的。在这两种情况下,终端可以从数据库获取目标场景对应的脉冲信号。其中数据库存储了不同场景的脉冲信号,具体的场景包括但不仅限于体育场、剧院、音乐厅、健身房、图书馆等,用户可以通过终端界面进行选择。将目标场景对应的脉冲信号与更新后的音乐文件目标音乐的脉冲信号进行卷积处理,以得到目标场景演奏效果的目标音乐。如,想要实现音乐厅场景下的特效的音乐文件,则终端就直接从数据库中获取音乐厅场景所对应的脉冲信号,然后将该脉冲信号与目标音乐的脉冲信号进行卷积,便可得到音乐厅场景的目标音乐。根据该方法,可以模拟出不同场景的特效音乐,以满足用户的不同的需求。可选地,模拟不同场景特效音乐还可以利用人工混响器(人工混响器是美化声音的最重要的设备之一)来实现,主要是用户根据终端界面进行设置的。
在一种可能的实现方式中,在终端的显示界面上,包括各个音轨数据对应的静音开关,具体是每个音轨数据有对应的音轨数据标识,每个音轨数据标识对应一个静音开关,若终端通过目标接界面接收到静音开关的开启指令,则对某音轨数据的静音开关的开启指令,则将该开启指令指示对应的音轨数据进行静音处理。且其他未接收到静音开关的开启指令的音轨数据正常播放,这样可以实现用户对音乐文件的自主控制。用户可以清晰地知道一个音乐文件中各个音轨数据所扮演的角色以及有无该音轨数据所得到的音乐效果。举例说明,如一个包括了多个音轨数据的音乐文件,对钢琴音轨数据和人声音轨数据之外的其他音轨数据进行静音处理,则可以达到钢琴弹唱的音乐效果。此外,还可以通过其他的组合以实现不同风格的音乐改编效果。
在一种可能的实现方式中,终端确定每个音轨数据各自的能量调整倍数,按照每个音轨数据各自的能量调整倍数,对目标音乐的各个所述音轨数据的能量进行调整,得到改编风格的目标音乐。具体的,终端的目标界面可以包括所有音轨数据对应的能量比重设置控件,用户可以通过目标界面对能量比重进行设置,以达到节奏感变强或者变弱的音乐效果。也可以通过能量设置的方式实现静音处理的效果,即将想要进行静音处理音轨数据的能量设置为0%。其中,目标音乐可以是对声源对象对应的音轨数据进行第一方位调制后得到的,也可以是变调音轨数据与第一方位调制后的音轨数据进行合成得到的,还可以是目标场景对应的脉冲信号与目标音乐的脉冲信号进行卷积处理得到的。
在一种可能的实现方式中,终端显示出终端的播放界面,该播放界面包括目标音乐各个音轨数据对应的图标元素,在改编风格的目标音乐播放的过程中,终端可以检测改编风格的目标音乐的各个音轨数据的实时能量,并对该实时能量进行判断。若音轨数据的实时能量大于第一能量值,则将该实时能量对应的音轨数据的图标元素进行提示处理,提示处理可以包括将该图标元素进行着色处理以及放大效果处理等各种处理,其中着色处理的颜色可以自定义设置,渲染的颜色可以表明音轨数据处于演奏或者演唱的状态;若音轨数据的实时能量小于第二能量值,则将该实时能量对应的音轨数据的图标元素进行非提示处理,非提示处理可以包括将该图标元素进行灰度处理,以及使图标元素大小不变或者缩小处理,该音轨数据对应的图标元素保持静止,表明此时该音轨数据处于间歇状态。其中,如图2所示,其中每个音轨数据对应一个图标元素,在目标音乐播放过程中,每个音轨数据都有相应的能量波动,若有能量波动,则终端界面显示图标元素放大的效果,能量越大,放大的效果越明显。通常地,在目标音乐播放过程中,不管是乐器还是人声,都不是一直处于演奏或者演唱状态,因此,可以通过实时能量对其进行检验。通过该方法,可以让目标音乐在播放过程中达到声音和画面的协调的效果,也可以让用户直观地看到有哪些乐器在音乐播放过程中的在哪些具体时段在进行演奏。
本发明实施例中,终端除了对待处理音乐文件进行图1所示的流程外,还可以对目标音乐进行变调处理以实现不同音调的交替播放音效或者不同音调的同时播放音效,并且通过场景混合处理得到在目标场景下的特效音乐,以及通过画面渲染处理实现音乐播放时的画面渲染。通过该实施例,可以在很大程度上实现对各类音乐的智能化处理,以满足用户想听到不同音效的音乐的多元化需求。
请参见图4,图4为本发明实施例提供的又一种音乐数据的处理方法的流程示意图,该方法包括以下步骤:
步骤S401、终端获取待处理音乐的声音信号。
该步骤如步骤S101所述,这里就不再一一赘述。
步骤S402、终端对声音信号进行分轨处理得到N个音轨数据,其中,不同的音轨数据用于表示不同的声源对象,N为大于等于2的整数。
该步骤如步骤S102所述,这里就不再一一赘述。
步骤S403、若N个音轨数据包括目标类型的音轨数据,则对目标类型的音轨数据进行变调处理,得到变调音轨数据。
具体的,终端对N个音轨数据进行分析,若根据分析结果确定N个音轨数据中存在目标类型的音轨数据,则调用变调工具对目标类型的音轨数据做变调处理,得到变调音轨数据。其中,变调音轨数据的数量为n个,n为大于等于2的整数。
在一种可能的实现方式中,终端对N个音轨数据进行分析,检测是否存在目标类型的音轨数据,若是检查出有对应的目标类型的音轨数据,则调用变调工具对目标类型的音轨数据做变调处理,以得到n个变调音轨数据,n为大于等于2的整数,如果还是一个的话,变调处理就没有意义了。n个变调音轨数据可以包括根据男声音轨数据变调处理得到的女声音轨数据,也可以是针对女声音轨数据进行变调处理得到的男声音轨数据,或者是根据任意人声音轨数据进行变调处理得到的多个音轨数据。其中,目标音轨数据可以是人声类型的音轨数据,也可以是其他声音类型的音轨数据。
步骤S404、终端根据变调音轨数据和N个音轨数据中除目标类型的音轨数据之外的其他音轨数据,得到目标音乐。
在一种可能的的实现方式中,保持除目标类型的音轨数据外的其他音轨数据的声音特性不变,只改变目标类型的音轨数据的调,从而生成男女对唱或者多人合唱的目标音乐。具体来说,就是保持原有的音乐的其他音轨数据的特性,包括其他音轨数据的位置等都不发生改变,只有目标类型的音轨数据发生改变,如将一个人的声音变调成两个人的声音或者更多人的声音。
在一种可能的实现方式中,针对上述的n个变调的音轨数据,还可以对其进行方位调制处理或者播放时间控制处理,终端根据方位调制处理或者播放时间控制处理得到的n个变调音轨数据以及N个音轨数据中除目标类型的音轨数据之外的其他音轨数据生成处理后的目标音乐。由于变调音轨数据被调制处理过,因此,处理后的音乐文件所对应的声音信号在播放过程中会出现交替播放的音乐效果或者是在不同角度上播放的音乐效果,呈现给客户的体验便是音乐中人声的对唱效果或者是人声的环绕效果。
其中,需要注意的是,该方法中可以对N个音轨数据中除目标类型的音轨数据之外的其他音轨数据进行角度调制,也可以不进行调制。
本发明实施中,终端获取待处理音乐的声音信号,对声音信号进行分轨处理得到N个音轨数据,不同的音轨数据用于表示不同的声源对象,对N个音轨数据进行分析,若根据分析结果确定N个音轨数据中存在目标类型的音轨数据,则调用变调工具对目标类型的音轨数据做变调处理,得到n个变调音轨数据,根据n个变调音轨数据和N个音轨数据中除所述目标类型的音轨数据之外的其他音轨数据,得到处理后的目标音乐,本发明主要是对音乐的分轨处理得到多个音轨数据,并针对目标类型的音轨数据进行变调处理以得到多种听觉效果的目标音乐,从而实现对各种音乐的智能化管理。
请参见图5,图5为本发明实施例提供的一种音乐数据的处理装置示意图,该装置50包括:获取模块501以及处理模块502。其中:
获取模块501,用于获取待处理音乐的声音信号;
处理模块502,用于对所述声音信号进行分轨处理得到N个音轨数据,其中,不同的音轨数据用于表示不同的声源对象,所述N为大于等于2的整数;
所述处理模块502,用于设置所述声源对象在虚拟空间的声场位置;
所述处理模块502,还用于根据所述声源对象在虚拟空间的声场位置对所述声源对象对应的音轨数据进行第一方位调制,以得到目标音乐,所述目标音乐具有乐队在真实空间演奏效果的。
在一种可能的实现方式中,所述处理模块502,用于根据所述声源对象在虚拟空间的声场位置对所述声源对象对应的音轨数据进行第一方位调制,包括:
将所述声源对象在虚拟空间的声场位置的角度信息作为所述声源对象对应的音轨数据的角度函数的输入,得到所述角度函数的输出结果;
将所述角度函数的输出结果与所述音轨数据进行卷积操作,以实现对所述声源对象对应的音轨数据的第一方位调制。
在一种可能的实现方式中,所述处理模块502,用于设置所述声源对象在虚拟空间的声场位置,包括:
显示目标界面,所述目标界面包括用于表示所述音轨数据对应的声源对象的图标元素;
将用户基于所述图标元素输入的声场位置设置为所述图标元素对应的声源对象在虚拟空间的声场位置。
在一种可能的实现方式中,所述处理模块502用于将用户基于所述图标元素输入的声场位置设置为所述图标元素对应的声源对象在虚拟空间的声场位置,包括:
响应用户将所述声源对象的图标元素从所述目标界面的第一位置拖动至第二位置的操作,将所述第二位置对应的声场位置确定为所述声源对象在虚拟空间的声场位置。
在一种可能的实现方式中,所述处理模块502用于根据所述声源对象的声场位置对所述声源对象对应的音轨数据进行第一方位调制之后,还用于:
若所述N个音轨数据包括目标类型的音轨数据,则对所述目标类型的音轨数据进行变调处理,得到变调音轨数据;
将所述变调音轨数据与所述第一方位调制后的音轨数据进行合成,以得到具有乐队在真实空间演奏且不同声调合奏效果的目标音乐
在一种可能的实现方式中,所述处理模块502用于将所述变调音轨数据与所述第一方位调制后的音轨数据进行合成,具体包括:
按照音轨数据的播放时间,确定所述目标类型的音轨数据以及所述变调音轨数据相对应的目标播放时段;
对所述目标播放时段内的目标类型的音轨数据以及变调音轨数据进行声场位置相对变化的第二方位调制;
将所述第二方位调制与所述第一方位调制后的音轨数据进行合成,以得到具有乐队在真实空间演奏、不同声调合奏且不同声调相对位置发生变化三者效果的目标音乐。
在一种可能的实现方式中,所述获取模块501还用于从数据库获取目标场景对应的脉冲信号,所述数据库存储有不同场景所对应的脉冲信号;
所述处理模块502还用于将所述目标场景对应的脉冲信号与所述目标音乐的脉冲信号进行卷积处理,以得到在目标场景演奏效果的目标音乐。
在一种可能的实现方式中,所述处理模块502,还用于:
显示所述目标界面,所述目标界面包括音轨数据对应的静音开关;
若通过所述目标界面接收到对所述静音开关的开启指令,则将所述开启指令指示对应的音轨数据进行静音处理。
在一种可能的实现方式中,如图5所示,该装置还可以包括确定模块503以及检测模块504。
确定模块503,用于确定每个所述音轨数据各自的能量调整倍数;
所述处理模块502还用于按照每个所述音轨数据各自的能量调整倍数,对所述目标音乐的各个所述音轨数据的能量进行调整,得到改编风格的目标音乐。
在一种可能的实现方式中,所述处理模块502,用于显示播放界面,所述播放界面包括所述目标音乐各个音轨数据对应的图标元素;
检测模块504用于在所述改编风格的目标音乐的播放过程中,检测所述改编风格的目标音乐的各个音轨数据的实时能量;
所述处理模块502用于:
若音轨数据的所述实时能量大于第一能量值,则将所述实时能量对应的音轨数据的图标元素进行提示处理;
若音轨数据的所述实时能量小于第二能量值,则将所述实时能量对应的音轨数据的图标元素进行非提示处理。
本发明实施例中,终端获取待处理音乐的声音信号,对声音信号进行分轨处理得到N个音轨数据,其中不同的音轨数据用于表示不同的声源对象,基于声源对象设置声源对象在虚拟空间的声场位置,并根据声源对象在虚拟空间的声场位置对声源对象对应的音轨数据进行第一方位调制,以得到具有乐队在真实空间演奏效果的目标音乐,本发明基于对音乐的音声信号的分轨处理得到多个音轨数据,以及对多个音轨数据进行调制处理得到具有乐队在真实空间演奏效果的目标音乐,从而实现对音乐数据的智能化管理。
请参见图6,图6为本发明实施例提供的一种终端的结构示意图,如图6所示,该终端设备包括:至少一个处理器601,输入设备603,输出设备604,存储器605,至少一个通信总线602。其中,通信总线602用于实现这些组件之间的连接通信。其中,输入设备603可以是控制面板或者麦克风等,输出设备604可以是显示屏等。其中,存储器605可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatilememory),例如至少一个磁盘存储器。存储器605可选的还可以是至少一个位于远离前述处理器601的存储装置。其中处理器601可以结合图5所描述的装置,存储器605中存储一组程序代码,且处理器601,输入设备603,输出设备604调用存储器605中存储的程序代码,用于:
获取待处理音乐的声音信号;
对所述声音信号进行分轨处理得到N个音轨数据,其中不同的音轨数据用于表示不同的声源对象,所述N为大于等于2的整数;
设置所述声源对象在虚拟空间的声场位置;
根据所述声源对象在虚拟空间的声场位置对所述声源对象对应的音轨数据进行第一方位调制,以得到目标音乐,所述目标音乐具有乐队在真实空间演奏效果的。
在一种可能的实现方式中,所述处理器601用于根据所述声源对象在虚拟空间的声场位置对所述声源对象对应的音轨数据进行第一方位调制,包括:
将所述声源对象在虚拟空间的声场位置的角度信息作为所述声源对象对应的音轨数据的角度函数的输入,得到所述角度函数的输出结果;
将所述角度函数的输出结果与所述音轨数据进行卷积操作,以实现对所述声源对象对应的音轨数据的第一方位调制。
在一种可能的实现方式中,所述处理器601用于设置所述声源对象在虚拟空间的声场位置,包括(用于):
显示目标界面,所述目标界面包括用于表示所述音轨数据对应的声源对象的图标元素;
将用户基于所述图标元素输入的声场位置设置为所述图标元素对应的声源对象在虚拟空间的声场位置。
在一种可能的实现方式中,所述处理器601用于确将用户基于所述图标元素输入的声场位置设置为所述图标元素对应的声源对象在虚拟空间的声场位置,包括(用于):
响应用户将所述声源对象的图标元素从所述目标界面的第一位置拖动至第二位置的操作,将所述第二位置对应的声场位置确定为所述声源对象在虚拟空间的声场位置;或者,
响应用户对所述声源对象的图标元素的角度输入操作,将所述角度角度输入操作对应的声场位置确定为所述声源对象在虚拟空间的声场位置。
在一种可能的实现方式中,所述处理器601用于根据所述声源对象的声场位置对所述声源对象对应的音轨数据进行第一方位调制之后,还用于:
若所述N个音轨数据包括目标类型的音轨数据,则对所述目标类型的音轨数据进行变调处理,得到变调音轨数据;
将所述变调音轨数据与所述第一方位调制后的音轨数据进行合成,以得到具有乐队在真实空间演奏且不同声调合奏效果的目标音乐。
在一种可能的实现方式中,所述处理器601用于将所述变调音轨数据与所述第一方位调制后的音轨数据进行合成,包括:
按照音轨数据的播放时间,确定所述目标类型的音轨数据以及所述变调音轨数据相对应的目标播放时段;
对所述目标播放时段内的目标类型的音轨数据以及变调音轨数据进行声场位置相对变化的第二方位调制;
将所述第二方位调制与所述第一方位调制后的音轨数据进行合成,以得到具有乐队在真实空间演奏、不同声调合奏且不同声调相对位置发生变化三者效果的目标音乐。
在一种可能的实现方式中,所述处理器601,还用于:
从数据库获取目标场景对应的脉冲信号,所述数据库存储有不同场景所对应的脉冲信号;
将所述目标场景对应的脉冲信号与所述目标音乐的脉冲信号进行卷积处理,以得到在目标场景演奏效果的目标音乐。
在一种可能的实现方式中,所述处理器601,还用于:
显示所述目标界面,所述目标界面包括音轨数据对应的静音开关;
若通过所述目标界面接收到对所述静音开关的开启指令,则将所述开启指令指示对应的音轨数据进行静音处理。
在一种可能的实现方式中,所述处理器601,还用于:
确定每个所述音轨数据各自的能量调整倍数;
按照每个所述音轨数据各自的能量调整倍数,对所述目标音乐的各个所述音轨数据的能量进行调整,得到改编风格的目标音乐。
在一种可能的实施例中,所述处理器601,还用于显示播放界面,所述播放界面包括所述目标音乐各个音轨数据对应的图标元素;
在所述改编风格的目标音乐的播放过程中,检测所述改编风格的目标音乐的各个音轨数据的实时能量;
若音轨数据的所述实时能量大于第一能量值,则将所述实时能量对应的音轨数据的图标元素进行提升处理;
若音轨数据的所述实时能量小于第二能量值,则将所述实时能量对应的音轨数据的图标元素进行非提示处理。
本发明实施例中,终端的处理器601基于对待处理音乐的声音信号的分轨处理得到多个音轨数据,以及对多个音轨数据进行调制处理得到更新后的多元化的目标音乐,以实现对各类音乐的智能化管理。还包括对目标类型的音轨数据的变调处理,以实现更多元化的听觉效果,满足了用户多元化的需求。
本发明实施例中还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令被处理器执行时,可执行上述图1、图3以及图4实施例中所执行的步骤。
应当理解,在本发明实施例中,所称处理器601可以是中央处理模块(CentralProcessing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
以上所揭露的仅为本发明的部分实施例而已,当然不能以此来限定本发明之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本发明权利要求所作的等同变化,仍属于发明所涵盖的范围。

Claims (13)

1.一种音乐数据的处理方法,其特征在于,所述方法包括:
获取待处理音乐的声音信号;
对所述声音信号进行分轨处理得到N个音轨数据,其中不同的音轨数据用于表示不同的声源对象,所述N为大于等于2的整数;
设置所述声源对象在虚拟空间的声场位置;
根据所述声源对象在虚拟空间的声场位置对所述声源对象对应的音轨数据进行第一方位调制,以得到目标音乐,所述目标音乐具有多个声源对象在不同空间位置进行演奏的音乐效果。
2.根据权利要求1所述的方法,其特征在于,所述根据所述声源对象在虚拟空间的声场位置对所述声源对象对应的音轨数据进行第一方位调制,包括:
将所述声源对象在虚拟空间的声场位置的角度信息作为所述声源对象对应的音轨数据的角度函数的输入,得到所述角度函数的输出结果;
将所述角度函数的输出结果与所述音轨数据进行卷积操作,以实现对所述声源对象对应的音轨数据的第一方位调制。
3.根据权利要求1所述的方法,其特征在于,所述设置所述声源对象在虚拟空间的声场位置,包括:
显示目标界面,所述目标界面包括用于表示所述音轨数据对应的声源对象的图标元素;
将用户基于所述图标元素输入的声场位置设置为所述图标元素对应的声源对象在虚拟空间的声场位置。
4.根据权利要求3所述的方法,其特征在于,所述将用户基于所述图标元素输入的声场位置设置为所述图标元素对应的声源对象在虚拟空间的声场位置,包括:
响应用户将所述声源对象的图标元素从所述目标界面的第一位置拖动至第二位置的操作,将所述第二位置对应的声场位置确定为所述声源对象在虚拟空间的声场位置。
5.根据权利要求1所述的方法,其特征在于,所述根据所述声源对象的声场位置对所述声源对象对应的音轨数据进行第一方位调制之后,所述方法还包括:
若所述N个音轨数据包括目标类型的音轨数据,则对所述目标类型的音轨数据进行变调处理,得到变调音轨数据;
将所述变调音轨数据与所述第一方位调制后的音轨数据进行合成,以得到具有乐队在真实空间演奏且不同声调合奏效果的目标音乐。
6.根据权利要求5所述的方法,其特征在于,所述将所述变调音轨数据与所述第一方位调制后的音轨数据进行合成,包括:
按照音轨数据的播放时间,确定所述目标类型的音轨数据以及所述变调音轨数据相对应的目标播放时段;
对所述目标播放时段内的目标类型的音轨数据以及变调音轨数据进行声场位置相对变化的第二方位调制;
将所述第二方位调制与所述第一方位调制后的音轨数据进行合成,以得到具有多个声源对象在不同空间位置进行演奏、不同声调合奏且不同声调相对位置发生变化三者效果的目标音乐。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述方法还包括:
从数据库获取目标场景对应的脉冲信号,所述数据库存储有不同场景所对应的脉冲信号;
将所述目标场景对应的脉冲信号与所述目标音乐的脉冲信号进行卷积处理,以得到在目标场景演奏效果的目标音乐。
8.根据权利要求1-6任一项所述的方法,其特征在于,所述方法还包括:
显示目标界面,所述目标界面包括音轨数据对应的静音开关;
若通过所述目标界面接收到对所述静音开关的开启指令,则将所述开启指令对应的音轨数据进行静音处理。
9.根据权利要求1-6任一项所述的方法,其特征在于,所述方法还包括:
确定每个所述音轨数据各自的能量调整倍数;
按照每个所述音轨数据各自的能量调整倍数,对所述目标音乐的各个所述音轨数据的能量进行调整,得到改编风格的目标音乐。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:
显示播放界面,所述播放界面包括所述目标音乐各个音轨数据对应的图标元素;
在所述改编风格的目标音乐的播放过程中,检测所述改编风格的目标音乐的各个音轨数据的实时能量;
若音轨数据的所述实时能量大于第一能量值,则将所述实时能量对应的音轨数据的图标元素进行提示处理;
若音轨数据的所述实时能量小于第二能量值,则将所述实时能量对应的音轨数据的图标元素进行非提示处理。
11.一种音乐数据的处理装置,其特性在于,所述装置包括:
获取模块,用于获取待处理音乐的声音信号;
处理模块,用于对所述声音信号进行分轨处理得到N个音轨数据,其中不同的音轨数据用于表示不同的声源对象,所述N为大于等于2的正整数;
所述处理模块,用于设置所述声源对象在虚拟空间的声场位置;
所述处理模块,还用于根据所述声源对象在虚拟空间的声场位置对所述声源对象对应的音轨数据进行第一方位调制,以得到目标音乐,所述目标音乐具有多个声源对象在不同空间位置进行演奏的音乐效果。
12.一种终端,其特征在于,包括处理器、输入设备、输出设备和存储器,所述处理器、输入设备、输出设备和存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如权利要求1-10任一项所述的音乐数据的处理方法。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1-10任一项所述的音乐数据的处理方法。
CN202010906667.3A 2020-08-31 2020-08-31 一种音乐数据的处理方法、装置及计算机存储介质 Active CN112037738B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010906667.3A CN112037738B (zh) 2020-08-31 2020-08-31 一种音乐数据的处理方法、装置及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010906667.3A CN112037738B (zh) 2020-08-31 2020-08-31 一种音乐数据的处理方法、装置及计算机存储介质

Publications (2)

Publication Number Publication Date
CN112037738A CN112037738A (zh) 2020-12-04
CN112037738B true CN112037738B (zh) 2024-05-28

Family

ID=73592219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010906667.3A Active CN112037738B (zh) 2020-08-31 2020-08-31 一种音乐数据的处理方法、装置及计算机存储介质

Country Status (1)

Country Link
CN (1) CN112037738B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115278350A (zh) * 2021-04-29 2022-11-01 华为技术有限公司 一种渲染方法及相关设备
CN113365191A (zh) * 2021-06-04 2021-09-07 广州酷狗计算机科技有限公司 音乐播放的方法、装置、设备及存储介质
CN113747337B (zh) * 2021-09-03 2024-05-10 杭州网易云音乐科技有限公司 音频处理方法、介质、装置和计算设备
CN113707165A (zh) * 2021-09-07 2021-11-26 联想(北京)有限公司 音频处理方法、装置及电子设备和存储介质
CN114286275A (zh) * 2021-12-20 2022-04-05 Oppo广东移动通信有限公司 一种音频处理方法及装置、存储介质
CN113986191B (zh) * 2021-12-27 2022-06-07 广州酷狗计算机科技有限公司 音频播放方法、装置、终端设备及存储介质
CN114598985B (zh) * 2022-03-07 2024-05-03 安克创新科技股份有限公司 音频处理方法及装置
CN115174959B (zh) * 2022-06-21 2024-01-30 咪咕文化科技有限公司 视频3d音效设置方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1797538A (zh) * 2004-12-01 2006-07-05 创新科技有限公司 用于使用户能够修改音频文件的方法和装置
CN102118670A (zh) * 2011-03-17 2011-07-06 杭州赛利科技有限公司 可产生三维立体声效果的耳机
KR20110119339A (ko) * 2010-04-27 2011-11-02 (주)아이지솔루션즈 박자 연동 음상 이동 음원파일 제작 및 그 서비스 방법
CN106952637A (zh) * 2017-03-15 2017-07-14 北京时代拓灵科技有限公司 一种可交互式音乐的创作方法和体验装置
CN108919953A (zh) * 2018-06-29 2018-11-30 咪咕文化科技有限公司 一种音乐调整方法、装置及存储介质
WO2019002909A1 (en) * 2017-06-26 2019-01-03 Latypov Ray METHOD FOR PROVIDING AN INTERACTIVE MUSICAL COMPOSITION TO A USER
WO2019057530A1 (en) * 2017-09-20 2019-03-28 Nokia Technologies Oy APPARATUS AND ASSOCIATED METHODS FOR PRESENTING AUDIO IN THE FORM OF SPACE AUDIO
CN110111761A (zh) * 2019-03-28 2019-08-09 深圳芒果未来教育科技有限公司 对乐音演奏进行实时跟随的方法及相关产品
CN110170170A (zh) * 2019-05-30 2019-08-27 维沃移动通信有限公司 一种信息显示方法及终端设备
CN110992970A (zh) * 2019-12-13 2020-04-10 腾讯音乐娱乐科技(深圳)有限公司 音频合成方法及相关装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1797538A (zh) * 2004-12-01 2006-07-05 创新科技有限公司 用于使用户能够修改音频文件的方法和装置
KR20110119339A (ko) * 2010-04-27 2011-11-02 (주)아이지솔루션즈 박자 연동 음상 이동 음원파일 제작 및 그 서비스 방법
CN102118670A (zh) * 2011-03-17 2011-07-06 杭州赛利科技有限公司 可产生三维立体声效果的耳机
CN106952637A (zh) * 2017-03-15 2017-07-14 北京时代拓灵科技有限公司 一种可交互式音乐的创作方法和体验装置
WO2019002909A1 (en) * 2017-06-26 2019-01-03 Latypov Ray METHOD FOR PROVIDING AN INTERACTIVE MUSICAL COMPOSITION TO A USER
CN110915240A (zh) * 2017-06-26 2020-03-24 雷.拉蒂波夫 向用户提供交互式音乐创作的方法
WO2019057530A1 (en) * 2017-09-20 2019-03-28 Nokia Technologies Oy APPARATUS AND ASSOCIATED METHODS FOR PRESENTING AUDIO IN THE FORM OF SPACE AUDIO
CN108919953A (zh) * 2018-06-29 2018-11-30 咪咕文化科技有限公司 一种音乐调整方法、装置及存储介质
CN110111761A (zh) * 2019-03-28 2019-08-09 深圳芒果未来教育科技有限公司 对乐音演奏进行实时跟随的方法及相关产品
CN110170170A (zh) * 2019-05-30 2019-08-27 维沃移动通信有限公司 一种信息显示方法及终端设备
CN110992970A (zh) * 2019-12-13 2020-04-10 腾讯音乐娱乐科技(深圳)有限公司 音频合成方法及相关装置

Also Published As

Publication number Publication date
CN112037738A (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
CN112037738B (zh) 一种音乐数据的处理方法、装置及计算机存储介质
Emmerson et al. Electro-acoustic music
Begault et al. 3-D sound for virtual reality and multimedia
WO2021103314A1 (zh) 一种构造听音场景的方法和相关装置
US11437004B2 (en) Audio performance with far field microphone
US10924875B2 (en) Augmented reality platform for navigable, immersive audio experience
WO2020224322A1 (zh) 音乐文件的处理方法、装置、终端及存储介质
Müller et al. The boomRoom: mid-air direct interaction with virtual sound sources
US9967693B1 (en) Advanced binaural sound imaging
CN113823250B (zh) 音频播放方法、装置、终端及存储介质
JP3624805B2 (ja) 音像定位装置
CN110915240A (zh) 向用户提供交互式音乐创作的方法
Worrall Space in sound: sound of space
Cohen et al. Spatial soundscape superposition and multimodal interaction
CN114501297B (zh) 一种音频处理方法以及电子设备
WO2022163137A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CA3044260A1 (en) Augmented reality platform for navigable, immersive audio experience
WO2022143530A1 (zh) 音频处理方法、装置、计算机设备及存储介质
Hinde Concurrency in auditory displays for connected television
JP2004088608A (ja) ミキシング装置
Munoz Space Time Exploration of Musical Instruments
Lorenz Impact of Head-Tracking on the listening experience of binaural music
CN113318432B (zh) 游戏中的音乐控制方法、非易失性存储介质及电子装置
JP2005051801A (ja) 音像定位装置
McDonnell Development of Open Source tools for creative and commercial exploitation of spatial audio

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant