CN106331977A - 一种网络k歌的虚拟现实全景声处理方法 - Google Patents

一种网络k歌的虚拟现实全景声处理方法 Download PDF

Info

Publication number
CN106331977A
CN106331977A CN201610704412.2A CN201610704412A CN106331977A CN 106331977 A CN106331977 A CN 106331977A CN 201610704412 A CN201610704412 A CN 201610704412A CN 106331977 A CN106331977 A CN 106331977A
Authority
CN
China
Prior art keywords
processing unit
song
earphone
network
transmitting terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610704412.2A
Other languages
English (en)
Other versions
CN106331977B (zh
Inventor
张晨
孙学京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tuoling Inc
Original Assignee
Beijing Tuoling Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tuoling Inc filed Critical Beijing Tuoling Inc
Priority to CN201610704412.2A priority Critical patent/CN106331977B/zh
Publication of CN106331977A publication Critical patent/CN106331977A/zh
Application granted granted Critical
Publication of CN106331977B publication Critical patent/CN106331977B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

本发明公开了一种网络K歌的虚拟现实全景声处理方法，所述虚拟现实全景声处理方法包括如下步骤：发送端音频采集装置采集音频数据，感应单元采集发送端相对于收听端人耳朝向的实时位置；第二处理单元进行叠加处理；第一处理单元进行运算处理；经处理后的信号传输至收听端的播放装置进行播放；通过采用感应单元，实时监测网络K歌演唱者相对于收听者耳朵的位置变化，实时地采用演唱者的声音相对于收听者耳朵的空间位置对演唱者的音频数据进行处理，达到逼真的网络K歌效果。

Description

一种网络K歌的虚拟现实全景声处理方法
技术领域
本发明涉及虚拟现实技术领域，具体涉及一种网络K歌的虚拟现实全景声处理方法。
背景技术
网络K歌是指将KTV搬到互联网的一种娱乐方式。在网络上播放歌曲的伴奏，显示歌曲的歌词，使用者根据伴奏和歌词演唱录音。最后将音频数据录音和歌曲伴奏混合起来，形成使用者个人演唱的歌曲。除了个人演唱外，还有两人对唱和多人合唱的方式。网络K歌除了满足个人K歌的需求外，也是一种重要的互联网社交化应用。不过，目前网络K歌应用里的个人或多人录音没有方位感，影响了音频数据的区分度和社交的娱乐化。
在用虚拟现实头戴设备(head-mounted display,HMD)向用户呈现内容时，音频内容通过立体声耳机向用户播放。我们面临提高虚拟环绕声效果的问题。在虚拟现实应用中，当通过立体声耳机播放音频内容时，虚拟3D音频目的是想要达到一种效果让用户就像用扬声器阵列环境中收听一样，甚至像听现实中的声音一样真实。
在制作虚拟现实音频内容时，通常需要多种不同方位的声音元素。通常，提高临场感的方法是跟踪用户头部动作，对声音进行相应的处理。如果原始声音被用户感知为来自正前方，当用户向左转头90度后，声音应被处理，使得用户感知声音来自正右方90度。采用这种处理方式的虚拟现实设备有很多种类，包括带头部跟踪的显示设备或带头部跟踪传感器的立体声耳机等等。实现头部跟踪也有多种方法，比较常见的是使用多种传感器。运动传感器套件通常包括加速度计、陀螺仪和磁力传感器。在运动跟踪和绝对方向方面每种传感器都有自己固有的强项和弱点，因此常用做法是采用传感器“融合”(sensor fusion)将来自各传感器的信号组合在一起，产生一个更加精确的运动检测结果。在得到头部旋转角度后，我们需要对声音进行相应的变化。网络K歌的特点在于分布于不同地理位置的多用户要互动参与，网络K歌参与者在唱歌的同时还有各种肢体动作、位置移动等，需要根据网络K歌演唱者相对于收听者耳朵的位置变化，实时地改变演唱者的声音在收听端的空间位置，才能够达到逼真的网络K歌效果。
可以看到，虚拟现实全景声对于网络K歌的音频数据空间感和社交娱乐化非常重要，但是目前在本领域尚没有合适的技术方案。有鉴于此，需要一种有效的网络K歌虚拟现实全景声的解决方案。
发明内容
本发明的目的在于提供一种网络K歌的虚拟现实全景声处理方法，用以解决现有技术无法为网络K歌提供虚拟现实全景声的问题
为实现上述目的，本发明提供了一种网络K歌的虚拟现实全景声处理方法，所述方法包括：
发送端音频采集装置采集演唱音频；
感应单元采集发送端相对于收听端人耳朝向的实时位置；
第一处理单元进行运算处理；
第二处理单元进行叠加处理；
处理后的信号传输至收听端的播放装置进行播放。
所述发送端音频采集装置采集演唱音频，包括：
所述的发送端设置于网络K歌演唱者使用的麦克风装置上；
所述的发送端音频采集装置录制演唱者的声音，并转换为数字格式的演唱音频。
所述感应单元采集发送端相对于收听端人耳朝向的实时位置，包括：
发送端和收听端都设置有感应单元；
所述感应单元之间、感应单元与第一处理单元之间通过服务器进行数据交换；
以收听端人耳的双耳连线中点为极点，极点与右耳连线为极轴正方向，设置极坐标系，感应单元实时采集发送端在该极坐标系中的极坐标变化；
所述感应单元基于GPS定位数据确定极坐标；
所述感应单元实时地将所述极坐标发送至第一处理单元。
当背景音乐为全景声时，先由第二处理单元将演唱音频与背景音乐进行叠加，然后由第一处理单元进行运算处理将所述叠加后的音频数据转换为双耳信号；
当背景音乐为立体声信号时，先由第一处理单元进行运算处理，将演唱音频转换为双耳信号，再由第二处理单元将所述双耳信号与背景音乐信号进行叠加。
所述第一处理单元进行运算处理，包括：
所述第一处理单元根据所述极坐标，将演唱音频或者叠加后的音频数据放在3D空间里的某个方向，将演唱音频或者叠加后的音频数据转换为双耳信号；
所述将演唱音频或者叠加后的音频数据转换为双耳信号的方法，为采用HRTF(Head Related Transfer Function，头相关变换函数)滤波器进行处理，或者为采用Ambisonic声场变换进行处理。
所述第二处理单元进行叠加处理，包括：
将所述来自特定发送端的演唱音频与全景声背景音乐进行叠加，得到最终的K歌歌曲内容；
将所述来自特定发送端的演唱音频双耳信号与背景音乐的信号进行叠加，得到最终的K歌歌曲内容；
所述的特定发送端可以是一个，也可以是多个；
所述多个特定发送端的演唱音频可以是同步采集的，也可以是非同步采集的。
所述处理后的信号传输至收听端的播放装置进行播放，包括：
所述处理后的信号由第一处理单元或者第二处理单元发送给服务器，由服务器进行分发传输；
所述的收听端设置于网络K歌演唱者使用的播放装置上；
所述的播放装置为耳机。
所述的第一处理单元可设置于发送端，或者设置于服务器，或者设置于收听端；所述的第二处理单元可设置于发送端，或者设置于服务器，或者设置于收听端。
所述第一处理单元根据所述极坐标，将演唱音频或者叠加后的音频数据放在3D空间里的某个方向，将演唱音频或者叠加后的音频数据转换为双耳信号，还包括：
所述的极坐标，可以由网络K歌参与者人为地在手持移动设备上进行设定或修改，并通过服务器将所述人为设定或修改的极坐标传输至第一处理单元。
每个网络K歌参与者均设置有发送端和收听端。
本发明方法具有如下优点：根据网络K歌参与者分布于不同地理位置、多用户互动参与，网络K歌参与者在唱歌的同时还有各种肢体动作及位置移动等的特点，采用感应单元，实时监测网络K歌演唱者相对于收听者耳朵的位置变化，实时地采用演唱者的声音相对于收听者耳朵的空间位置对演唱者的音频数据进行处理，达到逼真的网络K歌效果。
附图说明
图1本发明网络K歌的虚拟现实全景声处理方法流程示意图。
图2本发明以收听端人耳的双耳连线中点为极点设置的极坐标系示意图。
具体实施方式
以下实施例用于说明本发明，但不用来限制本发明的范围。
实施例1
请参考图1，一种网络K歌的虚拟现实全景声处理方法，所述虚拟现实全景声处理方法包括如下步骤：
步骤S101：发送端音频采集装置采集演唱音频；
步骤S102：感应单元采集发送端相对于收听端人耳朝向的实时位置；
步骤S103：第二处理单元进行叠加处理；
步骤S104：第一处理单元进行运算处理；
步骤S105：处理后的信号传输至收听端的播放装置进行播放。
所述发送端音频采集装置采集演唱音频，包括：
所述的发送端设置于网络K歌演唱者使用的麦克风装置上；
所述的发送端音频采集装置录制演唱者的声音，并转换为数字格式的演唱音频。
所述感应单元采集发送端相对于收听端人耳朝向的实时位置，包括：
发送端和收听端都设置有感应单元；
所述感应单元之间、感应单元与第一处理单元之间通过服务器进行数据交换；
请参考图2，以收听端左耳1和右耳2的连线中点为极点，极点与右耳2连线为极轴正方向，设置极坐标系，感应单元实时采集发送端在该极坐标系中的极坐标变化，所述感应单元基于GPS定位数据确定极坐标，例如在某时间点，网路K歌参与者3在该极坐标系的坐标为(ρ1,θ1)，网路K歌参与者4在该极坐标系的坐标为(ρ2,θ2)；
所述感应单元实时地将所述极坐标发送至第一处理单元。
所述背景音乐为全景声，先由第二处理单元将演唱音频与背景音乐进行叠加，然后由第一处理单元进行运算处理将所述叠加后的音频数据转换为双耳信号；
所述第一处理单元进行运算处理，包括：
所述第一处理单元根据所述极坐标，将叠加后的音频数据放在3D空间里的某个方向，将叠加后的音频数据转换为双耳信号；
所述将叠加后的音频数据转换为双耳信号的方法，为采用HRTF(Head RelatedTransfer Function，头相关变换函数)滤波器进行处理。HRTF滤波器的选择由发送端相对于收听端人耳朝向的实时位置方向决定，处理得到的双耳信号用B表示，
B＝H·S
其中，H表示HRTF滤波矩阵，S表示采集的音频数据，这里的S可代表对应于多个演唱者的叠加后音频数据。
所述第二处理单元进行叠加处理，包括：
将所述来自特定发送端的演唱音频与全景声背景音乐进行叠加，得到最终的K歌歌曲内容；
所述的特定发送端可以是一个，也可以是多个；
所述多个特定发送端的演唱音频可以是同步采集的，也可以是非同步采集的。
所述处理后的信号传输至收听端的播放装置进行播放，包括：
所述处理后的信号由第一处理单元或者第二处理单元发送给服务器，由服务器进行分发传输；
所述的收听端设置于网络K歌演唱者使用的播放装置上；
所述的播放装置为耳机。
所述的第一处理单元设置于发送端，第二处理单元设置于发送端；或者第一处理单元设置于发送端，第二处理单元设置于服务器；或者第一处理单元设置于发送端，第二处理单元设置于收听端；或者第一处理单元设置于服务器，第二处理单元设置于发送端；或者第一处理单元设置于服务器，第二处理单元设置于服务器；或者第一处理单元设置于服务器，第二处理单元设置于收听端；或者第一处理单元设置于收听端，第二处理单元设置于发送端；或者第一处理单元设置于收听端，第二处理单元设置于服务器；或者第一处理单元设置于收听端，第二处理单元设置于收听端。
所述第一处理单元根据所述极坐标，将叠加后的音频数据放在3D空间里的某个方向，将叠加后的音频数据转换为双耳信号，还包括：
所述的极坐标，可以由网络K歌参与者人为地在手持移动设备上进行设定或修改，并通过服务器将所述人为设定和修改传输至第一处理单元。
每个网络K歌参与者均设置有发送端和收听端。
实施例2
请参考图1，一种网络K歌的虚拟现实全景声处理方法，所述虚拟现实全景声处理方法包括如下步骤：
步骤S101：发送端音频采集装置采集演唱音频；
步骤S102：感应单元采集发送端相对于收听端人耳朝向的实时位置；
步骤S103：第二处理单元进行叠加处理；
步骤S104：第一处理单元进行运算处理；
步骤S105：处理后的信号传输至收听端的播放装置进行播放。
所述发送端音频采集装置采集演唱音频，包括：
所述的发送端设置于网络K歌演唱者使用的麦克风装置上；
所述的发送端音频采集装置录制演唱者的声音，并转换为数字格式的演唱音频。
所述感应单元采集发送端相对于收听端人耳朝向的实时位置，包括：
发送端和收听端都设置有感应单元；
所述感应单元之间、感应单元与第一处理单元之间通过服务器进行数据交换；
请参考图2，以收听端左耳1和右耳2的连线中点为极点，极点与右耳2连线为极轴正方向，设置极坐标系，感应单元实时采集发送端在该极坐标系中的极坐标变化，所述感应单元基于GPS定位数据确定极坐标，例如在某时间点，网路K歌参与者3在该极坐标系的坐标为(ρ1,θ1)，网路K歌参与者4在该极坐标系的坐标为(ρ2,θ2)；
所述感应单元实时地将所述极坐标发送至第一处理单元。
所述背景音乐为全景声，先由第二处理单元将演唱音频与背景音乐进行叠加，然后由第一处理单元进行运算处理将所述叠加后的音频数据转换为双耳信号；
所述第一处理单元进行运算处理，包括：
所述第一处理单元根据所述极坐标，将叠加后的音频数据放在3D空间里的某个方向，将叠加后的音频数据转换为双耳信号；
所述将叠加后的音频数据转换为双耳信号的方法，为采用Ambisonic声场变换进行处理。将叠加后的音频数据转换为声场信号，再将声场信号转换为虚拟扬声器阵列信号，将虚拟扬声器阵列信号通过HRTF滤波器进行滤波，得到双耳信号，处理得到的双耳信号用B表示，
B＝H·D·T·S
H表示HRTF滤波矩阵，
D表示声场解码矩阵，
T表示声场转换矩阵，
S表示叠加后的音频数据，这里的S可代表来自多个不同演唱者的音频数据。
这种处理方式的好处在于，当合唱人数较多时，这种处理方式的效率较高。
所述第二处理单元进行叠加处理，包括：
将所述来自特定发送端的演唱音频与全景声背景音乐进行叠加，得到最终的K歌歌曲内容；
所述的特定发送端可以是一个，也可以是多个；
所述多个特定发送端的演唱音频可以是同步采集的，也可以是非同步采集的。
所述处理后的信号传输至收听端的播放装置进行播放，包括：
所述处理后的信号由第一处理单元或者第二处理单元发送给服务器，由服务器进行分发传输；
所述的收听端设置于网络K歌演唱者使用的播放装置上；
所述的播放装置为耳机。
所述的第一处理单元设置于发送端，第二处理单元设置于发送端；或者第一处理单元设置于发送端，第二处理单元设置于服务器；或者第一处理单元设置于发送端，第二处理单元设置于收听端；或者第一处理单元设置于服务器，第二处理单元设置于发送端；或者第一处理单元设置于服务器，第二处理单元设置于服务器；或者第一处理单元设置于服务器，第二处理单元设置于收听端；或者第一处理单元设置于收听端，第二处理单元设置于发送端；或者第一处理单元设置于收听端，第二处理单元设置于服务器；或者第一处理单元设置于收听端，第二处理单元设置于收听端。
所述第一处理单元根据所述极坐标，将叠加后的音频数据放在3D空间里的某个方向，将叠加后的音频数据转换为双耳信号，还包括：
所述的极坐标，可以由网络K歌参与者人为地在手持移动设备上进行设定或修改，并通过服务器将所述人为设定和修改传输至第一处理单元。
每个网络K歌参与者均设置有发送端和收听端。
实施例3
请参考图1，一种网络K歌的虚拟现实全景声处理方法，所述虚拟现实全景声处理方法包括如下步骤：
步骤S101：发送端音频采集装置采集演唱音频；
步骤S102：感应单元采集发送端相对于收听端人耳朝向的实时位置；
步骤S104：第一处理单元进行运算处理；
步骤S103：第二处理单元进行叠加处理；
步骤S105：处理后的信号传输至收听端的播放装置进行播放。
所述发送端音频采集装置采集演唱音频，包括：
所述的发送端设置于网络K歌演唱者使用的麦克风装置上；
所述的发送端音频采集装置录制演唱者的声音，并转换为数字格式的演唱音频。
所述感应单元采集发送端相对于收听端人耳朝向的实时位置，包括：
发送端和收听端都设置有感应单元；
所述感应单元之间、感应单元与第一处理单元之间通过服务器进行数据交换；
请参考图2，以收听端左耳1和右耳2的连线中点为极点，极点与右耳2连线为极轴正方向，设置极坐标系，感应单元实时采集发送端在该极坐标系中的极坐标变化，所述感应单元基于GPS定位数据确定极坐标，例如在某时间点，网路K歌参与者3在该极坐标系的坐标为(ρ1,θ1)，网路K歌参与者4在该极坐标系的坐标为(ρ2,θ2)；
所述感应单元实时地将所述极坐标发送至第一处理单元。
所述背景音乐为立体声信号，先由第一处理单元进行运算处理，将演唱音频转换为双耳信号；再由第二处理单元将所述双耳信号与背景音乐进行叠加。
所述第一处理单元进行运算处理，包括：
所述第一处理单元根据所述极坐标，将演唱音频放在3D空间里的某个方向，将演唱音频转换为双耳信号；
所述将演唱音频转换为双耳信号的方法，为采用HRTF(Head Related TransferFunction，头相关变换函数)滤波器将演唱音频转换为四路双耳(Quad binaural)信号，因为要处理4个方向的双耳信号，所以演唱音频要与4个方向对应的HRTF滤波器都进行滤波。处理得到的双耳信号用Bi表示，
Bi＝Hi·S
其中：i＝1～N，
Hi表示第i路的HRTF滤波矩阵，S表示输入的演唱音频。
所述第二处理单元进行叠加处理，包括：
将所述来自特定发送端的演唱音频双耳信号与背景音乐信号进行叠加，得到最终的K歌歌曲内容，叠加后的信号，用B'表示，
B'＝B+M
B表示演唱音频双耳信号，M表示背景音乐信号。
所述的特定发送端可以是一个，也可以是多个；
所述多个特定发送端的演唱音频可以是同步采集的，也可以是非同步采集的。
所述处理后的信号传输至收听端的播放装置进行播放，包括：
所述处理后的信号由第一处理单元或者第二处理单元发送给服务器，由服务器进行分发传输；
所述的收听端设置于网络K歌演唱者使用的播放装置上；
所述的播放装置为耳机。
所述的第一处理单元设置于发送端，第二处理单元设置于发送端；或者第一处理单元设置于发送端，第二处理单元设置于服务器；或者第一处理单元设置于发送端，第二处理单元设置于收听端；或者第一处理单元设置于服务器，第二处理单元设置于发送端；或者第一处理单元设置于服务器，第二处理单元设置于服务器；或者第一处理单元设置于服务器，第二处理单元设置于收听端；或者第一处理单元设置于收听端，第二处理单元设置于发送端；或者第一处理单元设置于收听端，第二处理单元设置于服务器；或者第一处理单元设置于收听端，第二处理单元设置于收听端。
所述第一处理单元根据所述极坐标，将演唱音频或者叠加后的音频数据放在3D空间里的某个方向，将演唱音频或者叠加后的音频数据转换为双耳信号，还包括：
所述的极坐标，可以由网络K歌参与者人为地在手持移动设备上进行设定或修改，并通过服务器将所述人为设定和修改传输至第一处理单元。
每个网络K歌参与者均设置有发送端和收听端。
实施例4
请参考图1，一种网络K歌的虚拟现实全景声处理方法，所述虚拟现实全景声处理方法包括如下步骤：
步骤S101：发送端音频采集装置采集演唱音频；
步骤S102：感应单元采集发送端相对于收听端人耳朝向的实时位置；
步骤S104：第一处理单元进行运算处理；
步骤S103：第二处理单元进行叠加处理；
步骤S105：处理后的信号传输至收听端的播放装置进行播放。
所述发送端音频采集装置采集演唱音频，包括：
所述的发送端设置于网络K歌演唱者使用的麦克风装置上；
所述的发送端音频采集装置录制演唱者的声音，并转换为数字格式的演唱音频。
所述感应单元采集发送端相对于收听端人耳朝向的实时位置，包括：
发送端和收听端都设置有感应单元；
所述感应单元之间、感应单元与第一处理单元之间通过服务器进行数据交换；
请参考图2，以收听端左耳1和右耳2的连线中点为极点，极点与右耳2连线为极轴正方向，设置极坐标系，感应单元实时采集发送端在该极坐标系中的极坐标变化，所述感应单元基于GPS定位数据确定极坐标，例如在某时间点，网路K歌参与者3在该极坐标系的坐标为(ρ1,θ1)，网路K歌参与者4在该极坐标系的坐标为(ρ2,θ2)；
所述感应单元实时地将所述极坐标发送至第一处理单元。
所述背景音乐为立体声信号，先由第一处理单元进行运算处理，将演唱音频转换为双耳信号；再由第二处理单元将所述双耳信号与背景音乐进行叠加。
所述第一处理单元进行运算处理，包括：
所述第一处理单元根据所述极坐标，将演唱音频放在3D空间里的某个方向，将演唱音频转换为双耳信号；
所述将演唱音频转换为双耳信号的方法，为采用Ambisonic声场变换进行处理，将采集的演唱音频转换为N＝4个方向的声场信号，再将声场信号转换为虚拟扬声器阵列信号，将虚拟扬声器阵列信号通过HRTF滤波器进行滤波，得到N＝4个方向的双耳信号Bi，
Bi＝Hi·Di·Ri·SAmb
其中：i＝1～N，
Hi表示第i路的HRTF滤波矩阵，
Di表示第i路的解码矩阵，
Ri表示第i路的旋转矩阵，
SAmb表示输入的音频声场。
所述第二处理单元进行叠加处理，包括：
根据发送端相对于收听端人耳朝向的实时位置，通过对四路双耳信号进行插值，还原出全景声场信号B，
B = Σ i = 1 N G i · B i
其中：i＝1～N，Gi表示第i路的插值系数。
为了保持信号能量，可以采用余弦信号作为插值系数，余弦信号Gi的函数表达式为，
若Gi＜0，则Gi＝0；
其中：i＝1～N，θ表示人头旋转的水平角度。
将所述来自特定发送端的演唱音频双耳信号与背景音乐信号进行叠加，得到最终的K歌歌曲内容，叠加后的信号，用B'表示，
B'＝B+M
B表示演唱音频双耳信号，M表示背景音乐信号。
所述的特定发送端可以是一个，也可以是多个；
所述多个特定发送端的演唱音频可以是同步采集的，也可以是非同步采集的。
所述处理后的信号传输至收听端的播放装置进行播放，包括：
所述处理后的信号由第一处理单元或者第二处理单元发送给服务器，由服务器进行分发传输；
所述的收听端设置于网络K歌演唱者使用的播放装置上；
所述的播放装置为耳机。
所述的第一处理单元设置于发送端，第二处理单元设置于发送端；或者第一处理单元设置于发送端，第二处理单元设置于服务器；或者第一处理单元设置于发送端，第二处理单元设置于收听端；或者第一处理单元设置于服务器，第二处理单元设置于发送端；或者第一处理单元设置于服务器，第二处理单元设置于服务器；或者第一处理单元设置于服务器，第二处理单元设置于收听端；或者第一处理单元设置于收听端，第二处理单元设置于发送端；或者第一处理单元设置于收听端，第二处理单元设置于服务器；或者第一处理单元设置于收听端，第二处理单元设置于收听端。
所述第一处理单元根据所述极坐标，将演唱音频或者叠加后的音频数据放在3D空间里的某个方向，将演唱音频或者叠加后的音频数据转换为双耳信号，还包括：
所述的极坐标，可以由网络K歌参与者人为地在手持移动设备上进行设定或修改，并通过服务器将所述人为设定和修改传输至第一处理单元。
每个网络K歌参与者均设置有发送端和收听端。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

1.一种网络K歌的虚拟现实全景声处理方法，其特征在于，所述虚拟现实全景声处理方法包括：
发送端音频采集装置采集演唱音频；
感应单元采集发送端相对于收听端人耳朝向的实时位置；
第一处理单元进行运算处理；
第二处理单元进行叠加处理；
处理后的信号传输至收听端的播放装置进行播放。
2.根据权利要求1所述的网络K歌的虚拟现实全景声处理方法，其特征在于，所述发送端音频采集装置采集演唱音频，包括：
所述的发送端设置于网络K歌演唱者使用的麦克风装置上；
所述的发送端音频采集装置录制演唱者的声音，并转换为数字格式的演唱音频。
3.根据权利要求1所述的网络K歌的虚拟现实全景声处理方法，其特征在于，所述感应单元采集发送端相对于收听端人耳朝向的实时位置，包括：
发送端和收听端都设置有感应单元；
所述感应单元之间、感应单元与第一处理单元之间通过服务器进行数据交换；
以收听端人耳的双耳连线中点为极点，极点与右耳连线为极轴正方向，设置极坐标系，感应单元实时采集发送端在该极坐标系中的极坐标变化；
所述感应单元基于GPS定位数据确定极坐标；
所述感应单元实时地将所述极坐标发送至第一处理单元。
4.根据权利要求1所述的网络K歌的虚拟现实全景声处理方法，其特征在于，
当背景音乐为全景声时，先由第二处理单元将演唱音频与背景音乐进行叠加，然后由第一处理单元进行运算处理将所述叠加后的音频数据转换为双耳信号；
当背景音乐为立体声信号时，先由第一处理单元进行运算处理，将演唱音频转换为双耳信号，再由第二处理单元将所述双耳信号与背景音乐信号进行叠加。
5.根据权利要求1所述的网络K歌的虚拟现实全景声处理方法，其特征在于，所述第一处理单元进行运算处理，包括：
所述第一处理单元根据所述极坐标，将演唱音频或者叠加后的音频数据放在3D空间里的某个方向，将演唱音频或者叠加后的音频数据转换为双耳信号；
所述将演唱音频或者叠加后的音频数据转换为双耳信号的方法，为采用HRTF(HeadRelated Transfer Function，头相关变换函数)滤波器进行处理，或者为采用Ambisonic声场变换进行处理。
6.根据权利要求1所述的网络K歌的虚拟现实全景声处理方法，其特征在于，所述第二处理单元进行叠加处理，包括：
将所述来自特定发送端的演唱音频与全景声背景音乐进行叠加，得到最终的K歌歌曲内容；
将所述来自特定发送端的演唱音频双耳信号与背景音乐的信号进行叠加，得到最终的K歌歌曲内容；
所述的特定发送端可以是一个，也可以是多个；
所述多个特定发送端的演唱音频可以是同步采集的，也可以是非同步采集的。
7.根据权利要求1所述的网络K歌的虚拟现实全景声处理方法，其特征在于，所述处理后的信号传输至收听端的播放装置进行播放，包括：
所述处理后的信号由第一处理单元或者第二处理单元发送给服务器，由服务器进行分发传输；
所述的收听端设置于网络K歌演唱者使用的播放装置上；
所述的播放装置为耳机。
8.根据权利要求1所述的网络K歌的虚拟现实全景声处理方法，其特征在于，所述的第一处理单元可设置于发送端，或者设置于服务器，或者设置于收听端；所述的第二处理单元可设置于发送端，或者设置于服务器，或者设置于收听端。
9.根据权利要求5所述的网络K歌的虚拟现实全景声处理方法，其特征在于，所述第一处理单元根据所述极坐标，将演唱音频或者叠加后的音频数据放在3D空间里的某个方向，将演唱音频或者叠加后的音频数据转换为双耳信号，还包括：
所述的极坐标，可以由网络K歌参与者人为地在手持移动设备上进行设定或修改，并通过服务器将所述人为设定或修改的极坐标传输至第一处理单元。
10.根据权利要求1所述的网络K歌的虚拟现实全景声处理方法，其特征在于，每个网络K歌参与者均设置有发送端和收听端。
CN201610704412.2A 2016-08-22 2016-08-22 一种网络k歌的虚拟现实全景声处理方法 Active CN106331977B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610704412.2A CN106331977B (zh) 2016-08-22 2016-08-22 一种网络k歌的虚拟现实全景声处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610704412.2A CN106331977B (zh) 2016-08-22 2016-08-22 一种网络k歌的虚拟现实全景声处理方法

Publications (2)

Publication Number Publication Date
CN106331977A true CN106331977A (zh) 2017-01-11
CN106331977B CN106331977B (zh) 2018-06-12

Family

ID=57742711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610704412.2A Active CN106331977B (zh) 2016-08-22 2016-08-22 一种网络k歌的虚拟现实全景声处理方法

Country Status (1)

Country Link
CN (1) CN106331977B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106851482A (zh) * 2017-03-24 2017-06-13 北京时代拓灵科技有限公司 一种全景声扬声器体感实时交互***及交互方法
CN107016990A (zh) * 2017-03-21 2017-08-04 腾讯科技（深圳）有限公司 音频信号生成方法及装置
CN110832884A (zh) * 2017-07-05 2020-02-21 索尼公司 信号处理装置和方法以及程序
CN111158459A (zh) * 2018-11-07 2020-05-15 辉达公司 几何声学在沉浸式虚拟现实（vr）中的应用
WO2021196337A1 (zh) * 2020-04-03 2021-10-07 上海唯二网络科技有限公司 一种在多人vr场景中对交互式语音数据进行处理的方法
WO2022228220A1 (zh) * 2021-04-27 2022-11-03 腾讯音乐娱乐科技（深圳）有限公司 一种合唱音频的处理方法、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101384105A (zh) * 2008-10-27 2009-03-11 深圳华为通信技术有限公司 三维声音重现的方法、装置及***
CN101933344A (zh) * 2007-10-09 2010-12-29 荷兰皇家飞利浦电子公司 用于产生双声道音频信号的方法及装置
CN103607550A (zh) * 2013-11-27 2014-02-26 北京海尔集成电路设计有限公司 一种根据观看者位置调整电视虚拟声道的方法及电视
CN105101027A (zh) * 2014-05-08 2015-11-25 大北公司 声学环境的实时控制
CN105376690A (zh) * 2015-11-04 2016-03-02 北京时代拓灵科技有限公司 生成虚拟环绕声的方法和装置
CN105611481A (zh) * 2015-12-30 2016-05-25 北京时代拓灵科技有限公司 一种基于空间声的人机交互方法和***
CN105808710A (zh) * 2016-03-05 2016-07-27 上海斐讯数据通信技术有限公司 一种远程 k 歌终端、远程k 歌***及远程k 歌方法
CN105797366A (zh) * 2016-03-25 2016-07-27 中国传媒大学 一种基于声源定位的头戴式交互音频游戏终端

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101933344A (zh) * 2007-10-09 2010-12-29 荷兰皇家飞利浦电子公司 用于产生双声道音频信号的方法及装置
CN101384105A (zh) * 2008-10-27 2009-03-11 深圳华为通信技术有限公司 三维声音重现的方法、装置及***
CN103607550A (zh) * 2013-11-27 2014-02-26 北京海尔集成电路设计有限公司 一种根据观看者位置调整电视虚拟声道的方法及电视
CN105101027A (zh) * 2014-05-08 2015-11-25 大北公司 声学环境的实时控制
CN105376690A (zh) * 2015-11-04 2016-03-02 北京时代拓灵科技有限公司 生成虚拟环绕声的方法和装置
CN105611481A (zh) * 2015-12-30 2016-05-25 北京时代拓灵科技有限公司 一种基于空间声的人机交互方法和***
CN105808710A (zh) * 2016-03-05 2016-07-27 上海斐讯数据通信技术有限公司 一种远程 k 歌终端、远程k 歌***及远程k 歌方法
CN105797366A (zh) * 2016-03-25 2016-07-27 中国传媒大学 一种基于声源定位的头戴式交互音频游戏终端

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016990A (zh) * 2017-03-21 2017-08-04 腾讯科技（深圳）有限公司 音频信号生成方法及装置
CN106851482A (zh) * 2017-03-24 2017-06-13 北京时代拓灵科技有限公司 一种全景声扬声器体感实时交互***及交互方法
CN110832884A (zh) * 2017-07-05 2020-02-21 索尼公司 信号处理装置和方法以及程序
CN110832884B (zh) * 2017-07-05 2022-04-08 索尼公司 信号处理装置和方法以及计算机可读存储介质
CN111158459A (zh) * 2018-11-07 2020-05-15 辉达公司 几何声学在沉浸式虚拟现实（vr）中的应用
US11809773B2 (en) 2018-11-07 2023-11-07 Nvidia Corporation Application of geometric acoustics for immersive virtual reality (VR)
WO2021196337A1 (zh) * 2020-04-03 2021-10-07 上海唯二网络科技有限公司 一种在多人vr场景中对交互式语音数据进行处理的方法
WO2022228220A1 (zh) * 2021-04-27 2022-11-03 腾讯音乐娱乐科技（深圳）有限公司 一种合唱音频的处理方法、设备及存储介质

Also Published As

Publication number Publication date
CN106331977B (zh) 2018-06-12

Similar Documents

Publication Publication Date Title
CN106331977A (zh) 一种网络k歌的虚拟现实全景声处理方法
CN105872940B (zh) 一种虚拟现实声场生成方法及***
US6021206A (en) Methods and apparatus for processing spatialised audio
CN105101027A (zh) 声学环境的实时控制
CN105163242B (zh) 一种多角度3d声回放方法及装置
CN106210990B (zh) 一种全景声音频处理方法
CN107040843A (zh) 通过两个麦克风获取同一个音源的方法及采集设备
CN102100089A (zh) 根据角度工作的装置和获得伪立体声音频信号的方法
CN105120418B (zh) 双声道3d音频生成装置及方法
CN106454686A (zh) 一种基于体感摄像头的多通路环绕声动态双耳重放方法
CN104363555A (zh) 一种5.1多声道声源方向重建方法与装置
CN105509691B (zh) 多传感器组融合的检测方法及支持头部跟踪的环绕声方法
JP2020088516A (ja) テレビ会議システム
CN106658345B (zh) 一种虚拟环绕声播放方法、装置和设备
CN116456247A (zh) 立体声重放方法、装置、话筒设备、音箱设备和介质
Yuan et al. Sound image externalization for headphone based real-time 3D audio
Jenny et al. Can I trust my ears in VR? Literature review of head-related transfer functions and valuation methods with descriptive attributes in virtual reality
CN106952637A (zh) 一种可交互式音乐的创作方法和体验装置
CN116939473A (zh) 一种音频生成方法和相关装置
CN106851482A (zh) 一种全景声扬声器体感实时交互***及交互方法
CN113347530A (zh) 一种用于全景相机的全景音频处理方法
CN105307086A (zh) 一种双声道耳机模拟环绕立体声的方法及***
CN109168125A (zh) 一种3d音效***
CN101656525A (zh) 一种获得滤波器的方法和滤波器
O'Dwyer et al. A machine learning approach to detecting sound-source elevation in adverse environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant