CN106303357A - 一种远场语音增强的视频通话方法与*** - Google Patents
一种远场语音增强的视频通话方法与*** Download PDFInfo
- Publication number
- CN106303357A CN106303357A CN201610770495.5A CN201610770495A CN106303357A CN 106303357 A CN106303357 A CN 106303357A CN 201610770495 A CN201610770495 A CN 201610770495A CN 106303357 A CN106303357 A CN 106303357A
- Authority
- CN
- China
- Prior art keywords
- video
- module
- sound
- filterings
- call
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Telephonic Communication Services (AREA)
- Telephone Function (AREA)
Abstract
本发明提供一种远场语音增强的视频通话***，所述***包括：至少两个视频通话终端，多噪音过滤处理引擎、以及多噪音过滤API管理服务器；所述多噪音过滤处理引擎、多噪音过滤API管理服务器通过通信网与两个视频通话终端连接；一端的视频通话终端进行远场视频通话时，通话者远场声音和多种噪音源会同时被视频通话终端接收和录制；多噪音过滤处理引擎对远场声音和多种噪音源进行过滤处理；多噪音过滤API管理服务器抑制多种噪音源增强通话主体的声音，另一端的视频通话终端再接收经过处理后的通话者主体的声音。本发明提高了远程视频通话的语音数据的通话质量。
Description
技术领域
本发明涉及机顶盒技术领域，尤其涉及一种远场语音增强的视频通话方法和***。
背景技术
远场语音通话，即远距离语音通话，尤其是通话人距离麦克风3至5米的距离，由于噪声和/或混响等干扰因素的影响，视频通话过程中，语音的效果非常差。实际的远场语音通信包含以下一些噪音源：(1)混响噪音：声波在室内传播时，要被障碍物反射和吸收，最后消失，我们就感觉到声源停止发声后还有若干个声波混合持续一段时间，即混响时间(reverberation)。混响时间的长短是音乐厅、剧院、礼堂等建筑物的重要声学特性。(2)背景噪音：背景噪声是指除研究对象以外所有噪声的总称。(3)人声干扰:环境人声，非研究对象的声音。(4)回声噪音:声波在传播过程中，碰到大的反射面(如建筑物的墙壁、大山里面等)在界面将发生反射，人们把能够与原声区分开的反射声波叫做回声。
综上所述，远场视频通话时，远场的语音需要过滤到多种噪声，才能得到纯净的通话参与者的清晰的声音信号。
现有技术中公开有申请号为：201310066421.X，专利名称为《语音增强处理方法和装置》的中国专利，该发明实施例提供一种语音增强处理方法和装置，该方法，包括：解码比特流，获取当前待处理语音子帧的编码参数，编码参数包括第一代数码书增益和第一自适应码书增益；调整第一代数码书增益，得到第二代数码书增益；根据第一自适应码书增益和第二代数码书增益，确定第二自适应码书增益；采用第二代数码书增益和第二自适应码书增益的量化索引替换比特流中第一代数码书增益和第一自适应码书增益对应的比特。该发明的技术方案，可以有效改善消除噪音的效果，提高语音通话质量。但是该对比专利与本专利申请采取的技术路径完全不同。
现有技术中还公开了《一种基于无线定位麦克风阵列语音增强的通话***及方法》，见申请号：201310513373.4的中国专利，该发明公开了一种基于无线定位麦克风阵列语音增强的通话***及方法，***包括无线定位发射模块、无线定位接收模块、麦克风阵列语音接收模块、语音增强模块、远端语音播放模块和通信模块，其中无线定位发射模块与无线定位接收模块采用无线的方式连接，无线定位接收模块和麦克风阵列语音接收模块分别与语音增强模块连接，语音增强模块与通信模块连接，远端语音播放模块与通信模块连接。通话方法首先采用无线定位技术来对目标声源进行定位，再对目标说话人的语音采用麦克风阵列进行语音增强处理及通信。该发明具有定位快速准确、增强效果好、鲁棒性高等优点，能有效提高现有通话***的语音质量。对比专利主要关注麦克风阵列的声源定位和定向人声增强。本专利申请关注远场视频通话时，通话主体的声音增强和多噪音源的抑制。
发明内容
本发明要解决的技术问题之一，在于提供一种远场语音增强的视频通话***，使用多噪音过滤引擎，抑制多种噪音源增强通话主体的声音，进而提高远场视频通话的通话质量。
本发明问题之一是这样实现的：一种远场语音增强的视频通话***，所述***包括：至少两个视频通话终端，多噪音过滤处理引擎、以及多噪音过滤API管理服务器；所述多噪音过滤处理引擎、多噪音过滤API管理服务器通过通信网与两个视频通话终端连接；
一端的视频通话终端进行远场视频通话时，通话者远场声音和多种噪音源会同时被视频通话终端接收和录制；
多噪音过滤处理引擎对远场声音和多种噪音源进行过滤处理；
多噪音过滤API管理服务器抑制多种噪音源增强通话主体的声音，
另一端的视频通话终端再接收经过处理后的通话者主体的声音。
进一步地，所述视频通话终端中设置有硬件驱动、操作***模块、视频通话中间件模块、麦克风阵列录音模块、原始声音增强模块、通话主声音和噪音源分离模块、多噪音过滤引擎API、通话主声音和噪音源合并模块、视频通话音视频打包模块、视频通话传输模块；
所述硬件驱动：设备包括内部或外部硬件模块，硬件驱动是硬件模块的驱动软件，一般在操作***初始化阶段完成初始化；
所述操作***是设备硬件和硬件接口的统一接口抽象，操作***是软件运行的基础环境；
所述视频通话中间件模块：具有视频通话功能基础功能的软件包；
所述麦克风阵列录音模块：调用操作***的麦克风阵列接口，录制声音的模块；
所述原始声音增强模块：调用音频算法，将录制的原始声音增强，即声音信号的放大处理；
所述通话主声音和噪音源分离模块：调用多噪音过滤引擎API，将增强原始声音作为输入，输出主声音和噪音源；
所述多噪音过滤引擎API：作用是将增强原始声音作为输入，输出主声音人声和噪音源；多噪音过滤引擎API能部署在本地设备或服务器上；
所述通话主声音和噪音源合并模块：增强主声音，并抑制噪音源后，再将增强后的主声音和减弱后的噪音源，合成一个声音；
所述视频通话音视频打包模块：视频流按照H264/H265编码方式编码，再封装成PES流；音频按照AAC，AC3编码方式编码，再封装PES流；音视频的PES流再打包成适合网络传输的TS流；
所述视频通话传输模块：TS流按照视频通话业务逻辑在通信网络中传输。
进一步地，所述视频通话中间件模块包括：输入设备管理模块、音视频预处理模块、音视频编码模块、音视频打包模块、以及网络传输模块。
进一步地，所述远场语音增强的视频通话中要关注数据的在各个模块的输入和输出；
远场声音输入，包括：通话语音、环境噪音、回声噪音、混响噪音和多人声噪音；
麦克风阵列录音模块接收和录制上述远场声音，并输出数字信号的声音；
数字化的远场声音输入到多噪音过滤处理引擎；
多噪音过滤处理引擎访问多噪音过滤API管理服务器获取多噪音过滤引擎API；
多噪音过滤API管理服务器管理外部多噪音过滤引擎API；
多噪音过滤处理引擎调用多噪音过滤引擎API处理数字化的远场声音，处理后得到增强远场人声抑制多噪音源的声音数据。
进一步地，所述多噪音过滤API管理服务器主要有以下功能：维护多噪音过滤引擎API，管理外部多噪音过滤引擎API，维护外部多噪音过滤引擎API适配内部多噪音过滤引擎API；维护多噪音过滤引擎API的更新策略，维护外部多噪音过滤引擎API的管理策略，负责审计多噪音过滤引擎API的服务质量。
进一步地，所述远场语音增强的视频通话操作具体为：一端的视频通话终端的麦克风阵列录音模块接收远场视频通话参与者的声音以及相关联的多种噪音源，视频通话终端将原始的声音数据通过原始声音增强模块做信号放大处理，然后交由本地或在线多噪音过滤处理引擎处理；本地或在线多噪音过滤处理引擎处理首先：通过通话主声音和噪音源分离模块分离出通话主体的声音和多种噪音源；进而通过所述多噪音过滤引擎API增强通话主体的声音并抑制多种噪音源；进而通过所述通话主声音和噪音源合并模块将增强后的通话主体声音和抑制后的多种噪音源合并，并回传给视频通话终端；视频通话终端将视频数据和处理后的音频数据通过所述视频通话音视频打包模块打包成适合网络传输的网络包，经过视频通话中间件模块的视频通话传输模块将音视频数据传输给另一端的视频通话终端。
进一步地，所述视频通话终端包含一个或多个处理器，一个内存，一个或多个存储器，一个电源，一个或多个连接器，一个网络接口以及一个麦克风阵列；所述视频通话终端也包含一个操作***，操作***包含若干能够在一个或多个处理器上运行的模块或应用；视频通话终端能包含待机唤醒模块，所述处理器、内存、存储器、电源、连接器、网络接口、麦克风阵列采用内部组件通信的方式互联起来；
一个或多个处理器，被配置为在视频通话终端中执行功能或过程指令；一个或多个处理器能够处理存储在内存或存储器中指令；这些指令能用来操作操作硬件模块，来完成特定的功能或过程；
内存是与CPU直接交换数据的内部存储器，存储单元的内容能按需随意取出或存入，且存取的速度与存储单元的位置无关的存储器。
本发明要解决的技术问题之二，在于提供一种远场语音增强的视频通话方法，使用多噪音过滤引擎，抑制多种噪音源增强通话主体的声音，进而提高远场视频通话的通话质量。
本发明问题之二是这样实现的：一种远场语音增强的视频通话方法，所述方法需提供至少两个视频通话终端，多噪音过滤处理引擎、以及多噪音过滤API管理服务器；
所述方法具体为：一端的视频通话终端进行远场视频通话时，通话者远场声音和多种噪音源会同时被视频通话终端接收和录制；在通过多噪音过滤处理引擎对远场声音和多种噪音源进行过滤处理；进而多噪音过滤API管理服务器抑制多种噪音源增强通话主体的声音，再将处理后的通话者主体的声音发送给另一端的视频通话终端。
进一步地，所述视频通话终端中设置有硬件驱动、操作***模块、视频通话中间件模块、麦克风阵列录音模块、原始声音增强模块、通话主声音和噪音源分离模块、多噪音过滤引擎API、通话主声音和噪音源合并模块、视频通话音视频打包模块、视频通话传输模块；
所述硬件驱动：设备包括内部或外部硬件模块，硬件驱动是硬件模块的驱动软件，一般在操作***初始化阶段完成初始化；
所述操作***是设备硬件和硬件接口的统一接口抽象，操作***是软件运行的基础环境；
所述视频通话中间件模块：具有视频通话功能基础功能的软件包；
所述麦克风阵列录音模块：调用操作***的麦克风阵列接口，录制声音的模块；
所述原始声音增强模块：调用音频算法，将录制的原始声音增强，即声音信号的放大处理；
所述通话主声音和噪音源分离模块：调用多噪音过滤引擎API，将增强原始声音作为输入，输出主声音和噪音源；
所述多噪音过滤引擎API：作用是将增强原始声音作为输入，输出主声音人声和噪音源；多噪音过滤引擎API能部署在本地设备或服务器上；
所述通话主声音和噪音源合并模块：增强主声音，并抑制噪音源后，再将增强后的主声音和减弱后的噪音源，合成一个声音；
所述视频通话音视频打包模块：视频流按照H264/H265编码方式编码，再封装成PES流；音频按照AAC，AC3编码方式编码，再封装PES流；音视频的PES流再打包成适合网络传输的TS流；
所述视频通话传输模块：TS流按照视频通话业务逻辑在通信网络中传输。
进一步地，所述视频通话中间件模块包括：输入设备管理模块、音视频预处理模块、音视频编码模块、音视频打包模块、以及网络传输模块。
进一步地，所述远场语音增强的视频通话中要关注数据的在各个模块的输入和输出；
远场声音输入，包括：通话语音、环境噪音、回声噪音、混响噪音和多人声噪音；
麦克风阵列录音模块接收和录制上述远场声音，并输出数字信号的声音；
数字化的远场声音输入到多噪音过滤处理引擎；
多噪音过滤处理引擎访问多噪音过滤API管理服务器获取多噪音过滤引擎API；
多噪音过滤API管理服务器管理外部多噪音过滤引擎API；
多噪音过滤处理引擎调用多噪音过滤引擎API处理数字化的远场声音，处理后得到增强远场人声抑制多噪音源的声音数据。
进一步地，所述多噪音过滤API管理服务器主要有以下功能：维护多噪音过滤引擎API，管理外部多噪音过滤引擎API，维护外部多噪音过滤引擎API适配内部多噪音过滤引擎API；维护多噪音过滤引擎API的更新策略，维护外部多噪音过滤引擎API的管理策略，负责审计多噪音过滤引擎API的服务质量。
进一步地，所述远场语音增强的视频通话操作具体为：一端的视频通话终端的麦克风阵列录音模块接收远场视频通话参与者的声音以及相关联的多种噪音源，视频通话终端将原始的声音数据通过原始声音增强模块做信号放大处理，然后交由本地或在线多噪音过滤处理引擎处理；本地或在线多噪音过滤处理引擎处理首先：通过通话主声音和噪音源分离模块分离出通话主体的声音和多种噪音源；进而通过所述多噪音过滤引擎API增强通话主体的声音并抑制多种噪音源；进而通过所述通话主声音和噪音源合并模块将增强后的通话主体声音和抑制后的多种噪音源合并，并回传给视频通话终端；视频通话终端将视频数据和处理后的音频数据通过所述视频通话音视频打包模块打包成适合网络传输的网络包，经过视频通话中间件模块的视频通话传输模块将音视频数据传输给另一端的视频通话终端。
进一步地，所述视频通话终端包含一个或多个处理器，一个内存，一个或多个存储器，一个电源，一个或多个连接器，一个网络接口以及一个麦克风阵列；所述视频通话终端也包含一个操作***，操作***包含若干能够在一个或多个处理器上运行的模块或应用；视频通话终端能包含待机唤醒模块，所述处理器、内存、存储器、电源、连接器、网络接口、麦克风阵列采用内部组件通信的方式互联起来；
一个或多个处理器，被配置为在视频通话终端中执行功能或过程指令；一个或多个处理器能够处理存储在内存或存储器中指令；这些指令能用来操作操作硬件模块，来完成特定的功能或过程；
内存是与CPU直接交换数据的内部存储器，存储单元的内容能按需随意取出或存入，且存取的速度与存储单元的位置无关的存储器。
本发明具有如下优点：本发明视频通话终端通过基础通信网(互联网等)互联互通；视频通话包含多噪音过滤引擎；视频通话包含多噪音过滤API管理服务器；远场视频通话时，通话者远场声音和多种噪音源会同时被麦克风阵列接收和录制，通话者主声音往往会被多种噪音源淹没，导致通话质量严重下降。本发明使用多噪音过滤引擎，抑制多种噪音源增强通话主体的声音，进而提高远场视频通话的通话质量。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明的***总体框架图。
图2为本发明视频通话终端中各模块的结构示意图。
图3为本发明远场语音增强***的过滤噪声的过程的流程示意图。
图4为本发明视频通话终端的硬件结构示意图。
图5为本发明方法操作流程示意图。
具体实施方式
请参阅图1至图4所示，一种远场语音增强的视频通话***，所述***包括：至少两个视频通话终端，多噪音过滤处理引擎、以及多噪音过滤API管理服务器；所述多噪音过滤处理引擎、多噪音过滤API管理服务器通过通信网与两个视频通话终端连接；
一端的视频通话终端进行远场视频通话时，通话者远场声音和多种噪音源会同时被视频通话终端接收和录制；
多噪音过滤处理引擎对远场声音和多种噪音源进行过滤处理；
多噪音过滤API管理服务器抑制多种噪音源增强通话主体的声音，
另一端的视频通话终端再接收经过处理后的通话者主体的声音。
所述视频通话终端中设置有硬件驱动、操作***模块、视频通话中间件模块、麦克风阵列录音模块、原始声音增强模块、通话主声音和噪音源分离模块、多噪音过滤引擎API、通话主声音和噪音源合并模块、视频通话音视频打包模块、视频通话传输模块；
所述硬件驱动：设备包括内部或外部硬件模块，硬件驱动是硬件模块的驱动软件(网络驱动，麦克风阵列驱动)，一般在操作***初始化阶段完成初始化；
所述操作***是设备硬件和硬件接口的统一接口抽象，操作***是软件运行的基础环境；
所述视频通话中间件模块：具有视频通话功能基础功能的软件包；一般包括：输入设备管理(麦克风等)、音视频预处理、音视频编码、音视频打包、网络传输等模块。视频通话中间件模块的运行以操作***。
所述麦克风阵列录音模块：调用操作***的麦克风阵列接口，录制声音的模块；
所述原始声音增强模块：调用音频算法，将录制的原始声音增强，即声音信号的放大处理；
所述通话主声音和噪音源分离模块：调用多噪音过滤引擎API，将增强原始声音作为输入，输出主声音和噪音源；
所述多噪音过滤引擎API：作用是将增强原始声音作为输入，输出主声音人声和噪音源；多噪音过滤引擎API能部署在本地设备或服务器上；
所述通话主声音和噪音源合并模块：增强主声音，并抑制噪音源后，再将增强后的主声音和减弱后的噪音源，合成一个声音；
所述视频通话音视频打包模块：视频流按照H264/H265编码方式编码，再封装成PES流；音频按照AAC，AC3编码方式编码，再封装PES流；音视频的PES流再打包成适合网络传输的TS流；
所述视频通话传输模块：TS流按照视频通话业务逻辑在通信网络中传输。
如图3所示，在本发明中，所述远场语音增强的视频通话中要关注数据的在各个模块的输入和输出；
远场声音输入，包括：通话语音(Cn)、环境噪音、回声噪音、混响噪音和多人声噪音；
麦克风阵列录音模块接收和录制上述远场声音，并输出数字信号的声音；
数字化的远场声音输入到多噪音过滤处理引擎；
多噪音过滤处理引擎访问多噪音过滤API管理服务器获取多噪音过滤引擎API；
多噪音过滤API管理服务器管理外部多噪音过滤引擎API；
多噪音过滤处理引擎调用多噪音过滤引擎API处理数字化的远场声音，处理后得到增强远场人声抑制多噪音源的声音数据。
所述多噪音过滤API管理服务器主要有以下功能：维护多噪音过滤引擎API，管理外部多噪音过滤引擎API，维护外部多噪音过滤引擎API适配内部多噪音过滤引擎API；维护多噪音过滤引擎API的更新策略，维护外部多噪音过滤引擎API的管理策略，负责审计多噪音过滤引擎API的服务质量。
如图5所示，本发明的所述远场语音增强的视频通话操作具体为：一端的视频通话终端的麦克风阵列录音模块接收远场视频通话参与者的声音以及相关联的多种噪音源，视频通话终端将原始的声音数据通过原始声音增强模块做信号放大处理，然后交由本地或在线多噪音过滤处理引擎处理；本地或在线多噪音过滤处理引擎处理首先：通过通话主声音和噪音源分离模块分离出通话主体的声音和多种噪音源；进而通过所述多噪音过滤引擎API增强通话主体的声音并抑制多种噪音源；进而通过所述通话主声音和噪音源合并模块将增强后的通话主体声音和抑制后的多种噪音源合并，并回传给视频通话终端；视频通话终端将视频数据和处理后的音频数据通过所述视频通话音视频打包模块打包成适合网络传输的网络包，经过视频通话中间件模块的视频通话传输模块将音视频数据传输给另一端的视频通话终端。
另外，本发明的所述视频通话终端包含一个或多个处理器，一个内存，一个或多个存储器，一个电源，一个或多个连接器，一个网络接口(WIFI/3G/4G)以及一个麦克风阵列；所述视频通话终端也包含一个操作***，操作***包含若干能够在一个或多个处理器上运行的模块或应用；视频通话终端能包含待机唤醒模块，所述处理器、内存、存储器、电源、连接器、网络接口、麦克风阵列采用内部组件通信的方式互联(物理连接，双向通信，双向操作)起来；
一个或多个处理器，可以被配置为在远场视频通话设备中执行功能或过程指令。一个或多个处理器能够处理存储在内存或存储器中指令。这些指令可能用来操作操作硬件模块，来完成特定的功能或过程。
内存是与CPU直接交换数据的内部存储器，存储单元的内容可按需随意取出或存入，且存取的速度与存储单元的位置无关的存储器。内存通常作为操作***或其他正在运行中的程序的临时数据存储媒介。内存是一个临时存储介质，用于软件或程序在执行过程中，存储临时的数据或指令。内存一般采用RAM或SRAM。
一个或多个存储器包含一个或多个计算机可读的存储介质。一个或多个存储器用于持久化数据或信息的存储。一个或多个存储器包括非易失性存储介质，比如：硬盘，SSD,Flash,EEPROM等)。
远场视频通话设备可以包含网络接口。网络接口用于局域网或广域网通信。WIFI用于局域网通信。3G/4G模块用于广域网通信。远场视频通话设备通过网络接口可以外部的远场视频通话设备设备通信(手机/平板/电视/机顶盒/视频通话服务器等)
远场视频通话设备可以包含连接器(WIFI网络、蓝牙连接、全球导航卫星***、FM收音)
远场视频通话设备可以包含电源，电源可能是可充电电池，电池可能是锂电池，石墨烯或其他合适的材料制成。电源可能包含一个变压器，能将外部电源转成合适充电的电源。
远场视频通话设备可以包含麦克风阵列，麦克风阵列是将两个麦克风的信号耦合为一个信号。采用该技术，能利用两个麦克风接收到声波的相位之间的差异对声波进行过滤，能最大限度将环境背景声音滤掉，只剩下需要的声波。对于在嘈杂的环境下使用采用了这种配置的设备，在嘈杂的环境下能使听者听起来很清晰，没杂音。
远场视频通话设备中，处理器，内存，存储器，电源，连接器是***运行所需要的最小***。网络接口(WIFI/3G/4G),麦克风阵列是实现远场视频通话功能的硬件基础。
操作***(Linux和Android)控制远场视频通话设备中硬件模块的运行。操作***能将硬件复杂多变的操作控制封装在硬件驱动层。保持操作***层硬件接口调用的统一。操作***是用户和计算机的接口，同时也是计算机硬件和其他软件的接口。操作***的功能包括管理计算机***的硬件、软件及数据资源，控制程序运行，改善人机界面，为其它应用软件提供支持，让计算机***所有资源最大限度地发挥作用，提供各种形式的用户界面，使用户有一个好的工作环境，为其它软件的开发提供必要的服务和相应的接口等。
请参阅图4和图5所示，本发明的一种远场语音增强的视频通话方法，所述方法需提供至少两个视频通话终端，多噪音过滤处理引擎、以及多噪音过滤API管理服务器；
所述方法具体为：一端的视频通话终端进行远场视频通话时，通话者远场声音和多种噪音源会同时被视频通话终端接收和录制；在通过多噪音过滤处理引擎对远场声音和多种噪音源进行过滤处理；进而多噪音过滤API管理服务器抑制多种噪音源增强通话主体的声音，再将处理后的通话者主体的声音发送给另一端的视频通话终端。
所述视频通话终端中设置有硬件驱动、操作***模块、视频通话中间件模块、麦克风阵列录音模块、原始声音增强模块、通话主声音和噪音源分离模块、多噪音过滤引擎API、通话主声音和噪音源合并模块、视频通话音视频打包模块、视频通话传输模块；
所述硬件驱动：设备包括内部或外部硬件模块，硬件驱动是硬件模块的驱动软件(网络驱动，麦克风阵列驱动)，一般在操作***初始化阶段完成初始化；
所述操作***是设备硬件和硬件接口的统一接口抽象，操作***是软件运行的基础环境；
所述视频通话中间件模块：具有视频通话功能基础功能的软件包；一般包括：输入设备管理(麦克风等)、音视频预处理、音视频编码、音视频打包、网络传输等模块。视频通话中间件模块的运行以操作***。
所述麦克风阵列录音模块：调用操作***的麦克风阵列接口，录制声音的模块；
所述原始声音增强模块：调用音频算法，将录制的原始声音增强，即声音信号的放大处理；
所述通话主声音和噪音源分离模块：调用多噪音过滤引擎API，将增强原始声音作为输入，输出主声音和噪音源；
所述多噪音过滤引擎API：作用是将增强原始声音作为输入，输出主声音人声和噪音源；多噪音过滤引擎API能部署在本地设备或服务器上；
所述通话主声音和噪音源合并模块：增强主声音，并抑制噪音源后，再将增强后的主声音和减弱后的噪音源，合成一个声音；
所述视频通话音视频打包模块：视频流按照H264/H265编码方式编码，再封装成PES流；音频按照AAC，AC3编码方式编码，再封装PES流；音视频的PES流再打包成适合网络传输的TS流；
所述视频通话传输模块：TS流按照视频通话业务逻辑在通信网络中传输。
在本发明中，所述远场语音增强的视频通话中要关注数据的在各个模块的输入和输出；
远场声音输入，包括：通话语音(Cn)、环境噪音、回声噪音、混响噪音和多人声噪音；
麦克风阵列录音模块接收和录制上述远场声音，并输出数字信号的声音；
数字化的远场声音输入到多噪音过滤处理引擎；
多噪音过滤处理引擎访问多噪音过滤API管理服务器获取多噪音过滤引擎API；
多噪音过滤API管理服务器管理外部多噪音过滤引擎API；
多噪音过滤处理引擎调用多噪音过滤引擎API处理数字化的远场声音，处理后得到增强远场人声抑制多噪音源的声音数据。
所述多噪音过滤API管理服务器主要有以下功能：维护多噪音过滤引擎API，管理外部多噪音过滤引擎API，维护外部多噪音过滤引擎API适配内部多噪音过滤引擎API；维护多噪音过滤引擎API的更新策略，维护外部多噪音过滤引擎API的管理策略，负责审计多噪音过滤引擎API的服务质量。
如图5所示，本发明的所述远场语音增强的视频通话操作具体为：一端的视频通话终端的麦克风阵列录音模块接收远场视频通话参与者的声音以及相关联的多种噪音源，视频通话终端将原始的声音数据通过原始声音增强模块做信号放大处理，然后交由本地或在线多噪音过滤处理引擎处理；本地或在线多噪音过滤处理引擎处理首先：通过通话主声音和噪音源分离模块分离出通话主体的声音和多种噪音源；进而通过所述多噪音过滤引擎API增强通话主体的声音并抑制多种噪音源；进而通过所述通话主声音和噪音源合并模块将增强后的通话主体声音和抑制后的多种噪音源合并，并回传给视频通话终端；视频通话终端将视频数据和处理后的音频数据通过所述视频通话音视频打包模块打包成适合网络传输的网络包，经过视频通话中间件模块的视频通话传输模块将音视频数据传输给另一端的视频通话终端。
另外，如图4所示，本发明的所述视频通话终端包含一个或多个处理器，一个内存，一个或多个存储器，一个电源，一个或多个连接器，一个网络接口(WIFI/3G/4G)以及一个麦克风阵列；所述视频通话终端也包含一个操作***，操作***包含若干能够在一个或多个处理器上运行的模块或应用；视频通话终端能包含待机唤醒模块，所述处理器、内存、存储器、电源、连接器、网络接口、麦克风阵列采用内部组件通信的方式互联(物理连接，双向通信，双向操作)起来；
一个或多个处理器，可以被配置为在远场视频通话设备中执行功能或过程指令。一个或多个处理器能够处理存储在内存或存储器中指令。这些指令可能用来操作操作硬件模块，来完成特定的功能或过程。
内存是与CPU直接交换数据的内部存储器，存储单元的内容可按需随意取出或存入，且存取的速度与存储单元的位置无关的存储器。内存通常作为操作***或其他正在运行中的程序的临时数据存储媒介。内存是一个临时存储介质，用于软件或程序在执行过程中，存储临时的数据或指令。内存一般采用RAM或SRAM。
一个或多个存储器包含一个或多个计算机可读的存储介质。一个或多个存储器用于持久化数据或信息的存储。一个或多个存储器包括非易失性存储介质，比如：硬盘，SSD,Flash,EEPROM等)。
远场视频通话设备可以包含网络接口。网络接口用于局域网或广域网通信。WIFI用于局域网通信。3G/4G模块用于广域网通信。远场视频通话设备通过网络接口可以外部的远场视频通话设备设备通信(手机/平板/电视/机顶盒/视频通话服务器等)
远场视频通话设备可以包含连接器(WIFI网络、蓝牙连接、全球导航卫星***、FM收音)
远场视频通话设备可以包含电源，电源可能是可充电电池，电池可能是锂电池，石墨烯或其他合适的材料制成。电源可能包含一个变压器，能将外部电源转成合适充电的电源。
远场视频通话设备可以包含麦克风阵列，麦克风阵列是将两个麦克风的信号耦合为一个信号。采用该技术，能利用两个麦克风接收到声波的相位之间的差异对声波进行过滤，能最大限度将环境背景声音滤掉，只剩下需要的声波。对于在嘈杂的环境下使用采用了这种配置的设备，在嘈杂的环境下能使听者听起来很清晰，没杂音。
远场视频通话设备中，处理器，内存，存储器，电源，连接器是***运行所需要的最小***。网络接口(WIFI/3G/4G),麦克风阵列是实现远场视频通话功能的硬件基础。
操作***(Linux和Android)控制远场视频通话设备中硬件模块的运行。操作***能将硬件复杂多变的操作控制封装在硬件驱动层。保持操作***层硬件接口调用的统一。操作***是用户和计算机的接口，同时也是计算机硬件和其他软件的接口。操作***的功能包括管理计算机***的硬件、软件及数据资源，控制程序运行，改善人机界面，为其它应用软件提供支持，让计算机***所有资源最大限度地发挥作用，提供各种形式的用户界面，使用户有一个好的工作环境，为其它软件的开发提供必要的服务和相应的接口等。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。
Claims (12)
1.一种远场语音增强的视频通话***，其特征在于：所述***包括：至少两个视频通话终端，多噪音过滤处理引擎、以及多噪音过滤API管理服务器；所述多噪音过滤处理引擎、多噪音过滤API管理服务器通过通信网与两个视频通话终端连接；
一端的视频通话终端进行远场视频通话时，通话者远场声音和多种噪音源会同时被视频通话终端接收和录制；
多噪音过滤处理引擎对远场声音和多种噪音源进行过滤处理；
多噪音过滤API管理服务器抑制多种噪音源增强通话主体的声音，
另一端的视频通话终端再接收经过处理后的通话者主体的声音。
2.根据权利要求1所述的一种远场语音增强的视频通话***，其特征在于：所述视频通话终端中设置有硬件驱动、操作***模块、视频通话中间件模块、麦克风阵列录音模块、原始声音增强模块、通话主声音和噪音源分离模块、多噪音过滤引擎API、通话主声音和噪音源合并模块、视频通话音视频打包模块、视频通话传输模块；
所述硬件驱动：设备包括内部或外部硬件模块，硬件驱动是硬件模块的驱动软件，一般在操作***初始化阶段完成初始化；
所述操作***是设备硬件和硬件接口的统一接口抽象，操作***是软件运行的基础环境；
所述视频通话中间件模块：具有视频通话功能基础功能的软件包；
所述麦克风阵列录音模块：调用操作***的麦克风阵列接口，录制声音的模块；
所述原始声音增强模块：调用音频算法，将录制的原始声音增强，即声音信号的放大处理；
所述通话主声音和噪音源分离模块：调用多噪音过滤引擎API，将增强原始声音作为输入，输出主声音和噪音源；
所述多噪音过滤引擎API：作用是将增强原始声音作为输入，输出主声音人声和噪音源；多噪音过滤引擎API能部署在本地设备或服务器上；
所述通话主声音和噪音源合并模块：增强主声音，并抑制噪音源后，再将增强后的主声音和减弱后的噪音源，合成一个声音；
所述视频通话音视频打包模块：视频流按照H264/H265编码方式编码，再封装成PES流；音频按照AAC，AC3编码方式编码，再封装PES流；音视频的PES流再打包成适合网络传输的TS流；
所述视频通话传输模块：TS流按照视频通话业务逻辑在通信网络中传输。
3.根据权利要求2所述的一种远场语音增强的视频通话***，其特征在于：所述视频通话中间件模块包括：输入设备管理模块、音视频预处理模块、音视频编码模块、音视频打包模块、以及网络传输模块。
4.根据权利要求2所述的一种远场语音增强的视频通话***，其特征在于：所述远场语音增强的视频通话中要关注数据的在各个模块的输入和输出；
远场声音输入，包括：通话语音、环境噪音、回声噪音、混响噪音和多人声噪音；
麦克风阵列录音模块接收和录制上述远场声音，并输出数字信号的声音；
数字化的远场声音输入到多噪音过滤处理引擎；
多噪音过滤处理引擎访问多噪音过滤API管理服务器获取多噪音过滤引擎API；
多噪音过滤API管理服务器管理外部多噪音过滤引擎API；
多噪音过滤处理引擎调用多噪音过滤引擎API处理数字化的远场声音，处理后得到增强远场人声抑制多噪音源的声音数据。
5.根据权利要求2所述的一种远场语音增强的视频通话***，其特征在于：所述多噪音过滤API管理服务器主要有以下功能：维护多噪音过滤引擎API，管理外部多噪音过滤引擎API，维护外部多噪音过滤引擎API适配内部多噪音过滤引擎API；维护多噪音过滤引擎API的更新策略，维护外部多噪音过滤引擎API的管理策略，负责审计多噪音过滤引擎API的服务质量。
6.根据权利要求1所述的一种远场语音增强的视频通话***，其特征在于：所述远场语音增强的视频通话操作具体为：一端的视频通话终端的麦克风阵列录音模块接收远场视频通话参与者的声音以及相关联的多种噪音源，视频通话终端将原始的声音数据通过原始声音增强模块做信号放大处理，然后交由本地或在线多噪音过滤处理引擎处理；本地或在线多噪音过滤处理引擎处理首先：通过通话主声音和噪音源分离模块分离出通话主体的声音和多种噪音源；进而通过所述多噪音过滤引擎API增强通话主体的声音并抑制多种噪音源；进而通过所述通话主声音和噪音源合并模块将增强后的通话主体声音和抑制后的多种噪音源合并，并回传给视频通话终端；视频通话终端将视频数据和处理后的音频数据通过所述视频通话音视频打包模块打包成适合网络传输的网络包，经过视频通话中间件模块的视频通话传输模块将音视频数据传输给另一端的视频通话终端。
7.一种远场语音增强的视频通话方法，其特征在于：所述方法需提供至少两个视频通话终端，多噪音过滤处理引擎、以及多噪音过滤API管理服务器；
所述方法具体为：一端的视频通话终端进行远场视频通话时，通话者远场声音和多种噪音源会同时被视频通话终端接收和录制；在通过多噪音过滤处理引擎对远场声音和多种噪音源进行过滤处理；进而多噪音过滤API管理服务器抑制多种噪音源增强通话主体的声音，再将处理后的通话者主体的声音发送给另一端的视频通话终端。
8.根据权利要求7所述的一种远场语音增强的视频通话方法，其特征在于：所述视频通话终端中设置有硬件驱动、操作***模块、视频通话中间件模块、麦克风阵列录音模块、原始声音增强模块、通话主声音和噪音源分离模块、多噪音过滤引擎API、通话主声音和噪音源合并模块、视频通话音视频打包模块、视频通话传输模块；
所述硬件驱动：设备包括内部或外部硬件模块，硬件驱动是硬件模块的驱动软件，一般在操作***初始化阶段完成初始化；
所述操作***是设备硬件和硬件接口的统一接口抽象，操作***是软件运行的基础环境；
所述视频通话中间件模块：具有视频通话功能基础功能的软件包；
所述麦克风阵列录音模块：调用操作***的麦克风阵列接口，录制声音的模块；
所述原始声音增强模块：调用音频算法，将录制的原始声音增强，即声音信号的放大处理；
所述通话主声音和噪音源分离模块：调用多噪音过滤引擎API，将增强原始声音作为输入，输出主声音和噪音源；
所述多噪音过滤引擎API：作用是将增强原始声音作为输入，输出主声音人声和噪音源；多噪音过滤引擎API能部署在本地设备或服务器上；
所述通话主声音和噪音源合并模块：增强主声音，并抑制噪音源后，再将增强后的主声音和减弱后的噪音源，合成一个声音；
所述视频通话音视频打包模块：视频流按照H264/H265编码方式编码，再封装成PES流；音频按照AAC，AC3编码方式编码，再封装PES流；音视频的PES流再打包成适合网络传输的TS流；
所述视频通话传输模块：TS流按照视频通话业务逻辑在通信网络中传输。
9.根据权利要求8所述的一种远场语音增强的视频通话方法，其特征在于：所述视频通话中间件模块包括：输入设备管理模块、音视频预处理模块、音视频编码模块、音视频打包模块、以及网络传输模块。
10.根据权利要求8所述的一种远场语音增强的视频通话方法，其特征在于：所述远场语音增强的视频通话中要关注数据的在各个模块的输入和输出；
远场声音输入，包括：通话语音、环境噪音、回声噪音、混响噪音和多人声噪音；
麦克风阵列录音模块接收和录制上述远场声音，并输出数字信号的声音；
数字化的远场声音输入到多噪音过滤处理引擎；
多噪音过滤处理引擎访问多噪音过滤API管理服务器获取多噪音过滤引擎API；
多噪音过滤API管理服务器管理外部多噪音过滤引擎API；
多噪音过滤处理引擎调用多噪音过滤引擎API处理数字化的远场声音，处理后得到增强远场人声抑制多噪音源的声音数据。
11.根据权利要求8所述的一种远场语音增强的视频通话方法，其特征在于：所述多噪音过滤API管理服务器主要有以下功能：维护多噪音过滤引擎API，管理外部多噪音过滤引擎API，维护外部多噪音过滤引擎API适配内部多噪音过滤引擎API；维护多噪音过滤引擎API的更新策略，维护外部多噪音过滤引擎API的管理策略，负责审计多噪音过滤引擎API的服务质量。
12.根据权利要求8所述的一种远场语音增强的视频通话方法，其特征在于：所述远场语音增强的视频通话操作具体为：一端的视频通话终端的麦克风阵列录音模块接收远场视频通话参与者的声音以及相关联的多种噪音源，视频通话终端将原始的声音数据通过原始声音增强模块做信号放大处理，然后交由本地或在线多噪音过滤处理引擎处理；本地或在线多噪音过滤处理引擎处理首先：通过通话主声音和噪音源分离模块分离出通话主体的声音和多种噪音源；进而通过所述多噪音过滤引擎API增强通话主体的声音并抑制多种噪音源；进而通过所述通话主声音和噪音源合并模块将增强后的通话主体声音和抑制后的多种噪音源合并，并回传给视频通话终端；视频通话终端将视频数据和处理后的音频数据通过所述视频通话音视频打包模块打包成适合网络传输的网络包，经过视频通话中间件模块的视频通话传输模块将音视频数据传输给另一端的视频通话终端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610770495.5A CN106303357B (zh) | 2016-08-30 | 2016-08-30 | 一种远场语音增强的视频通话方法与*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610770495.5A CN106303357B (zh) | 2016-08-30 | 2016-08-30 | 一种远场语音增强的视频通话方法与*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106303357A true CN106303357A (zh) | 2017-01-04 |
| CN106303357B CN106303357B (zh) | 2019-11-08 |
Family
ID=57674409
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610770495.5A Active CN106303357B (zh) | 2016-08-30 | 2016-08-30 | 一种远场语音增强的视频通话方法与*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106303357B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107481729A (zh) * | 2017-09-13 | 2017-12-15 | 百度在线网络技术（北京）有限公司 | 一种将智能终端升级为远场语音智能设备的方法及*** |
| CN111556279A (zh) * | 2020-05-22 | 2020-08-18 | 腾讯科技（深圳）有限公司 | 即时会话的监控方法和通信方法 |
| CN111988704A (zh) * | 2019-05-21 | 2020-11-24 | 北京小米移动软件有限公司 | 声音信号处理方法、装置以及存储介质 |
| CN113053411A (zh) * | 2020-03-30 | 2021-06-29 | 深圳市优克联新技术有限公司 | 语音数据处理设备、方法、***及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140093059A1 (en) * | 2012-09-28 | 2014-04-03 | International Business Machines Corporation | Elimination of typing noise from conference calls |
| CN104012074A (zh) * | 2011-12-12 | 2014-08-27 | 华为技术有限公司 | 用于数据处理***的智能音频和视频捕捉*** |
| CN203799645U (zh) * | 2014-05-05 | 2014-08-27 | 辽宁工业大学 | 一种基于麦克风阵列的多通道语音处理装置 |
| CN104269178A (zh) * | 2014-08-08 | 2015-01-07 | 华迪计算机集团有限公司 | 对语音信号进行自适应谱减和小波包消噪处理的方法和装置 |
-
2016
- 2016-08-30 CN CN201610770495.5A patent/CN106303357B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104012074A (zh) * | 2011-12-12 | 2014-08-27 | 华为技术有限公司 | 用于数据处理***的智能音频和视频捕捉*** |
| US20140093059A1 (en) * | 2012-09-28 | 2014-04-03 | International Business Machines Corporation | Elimination of typing noise from conference calls |
| CN203799645U (zh) * | 2014-05-05 | 2014-08-27 | 辽宁工业大学 | 一种基于麦克风阵列的多通道语音处理装置 |
| CN104269178A (zh) * | 2014-08-08 | 2015-01-07 | 华迪计算机集团有限公司 | 对语音信号进行自适应谱减和小波包消噪处理的方法和装置 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107481729A (zh) * | 2017-09-13 | 2017-12-15 | 百度在线网络技术（北京）有限公司 | 一种将智能终端升级为远场语音智能设备的方法及*** |
| CN111988704A (zh) * | 2019-05-21 | 2020-11-24 | 北京小米移动软件有限公司 | 声音信号处理方法、装置以及存储介质 |
| CN111988704B (zh) * | 2019-05-21 | 2021-10-22 | 北京小米移动软件有限公司 | 声音信号处理方法、装置以及存储介质 |
| CN113053411A (zh) * | 2020-03-30 | 2021-06-29 | 深圳市优克联新技术有限公司 | 语音数据处理设备、方法、***及存储介质 |
| CN113053411B (zh) * | 2020-03-30 | 2024-01-16 | 深圳市优克联新技术有限公司 | 语音数据处理设备、方法、***及存储介质 |
| CN111556279A (zh) * | 2020-05-22 | 2020-08-18 | 腾讯科技（深圳）有限公司 | 即时会话的监控方法和通信方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106303357B (zh) | 2019-11-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108962240B (zh) | 一种基于耳机的语音控制方法及*** | |
| CN106303357A (zh) | 一种远场语音增强的视频通话方法与*** | |
| CN103337242B (zh) | 一种语音控制方法和控制设备 | |
| CN108140399A (zh) | 用于超宽带音乐的自适应噪声抑制 | |
| CN109147784A (zh) | 语音交互方法、设备以及存储介质 | |
| CN103402171B (zh) | 在通话中分享背景音乐的方法和终端 | |
| CN107331402A (zh) | 一种基于双麦克风的录音方法及录音设备 | |
| CN107005800A (zh) | 音频文件的传输、接收方法及装置、设备及其*** | |
| CN101277331A (zh) | 声音再现设备和声音再现方法 | |
| WO2014187061A1 (zh) | 一种远程会议的实现方法及装置 | |
| US20170221501A1 (en) | Methods and Systems for Providing Consistency in Noise Reduction during Speech and Non-Speech Periods | |
| CN102624961A (zh) | 一种防止外放扬声器与麦克风声音串扰的方法及终端 | |
| CN101834923B (zh) | 一种控制移动终端声音播放的方法和移动终端 | |
| CN102781075A (zh) | 一种降低移动终端通话功耗的方法及移动终端 | |
| CN101022485A (zh) | 实现地空通话的地空语音耦合方法及*** | |
| CN103298143A (zh) | 一种实现多方通话的方法、***及移动终端 | |
| CN107240396A (zh) | 说话人自适应方法、装置、设备及存储介质 | |
| CN103402038B (zh) | 手机免提状态下消除对方听筒回音的方法及装置 | |
| CN201717913U (zh) | 一种移动终端 | |
| CN101924581A (zh) | 通信设备 | |
| CN103327173A (zh) | 一种移动终端的声音控制方法及装置 | |
| CN201838321U (zh) | 一种具有无线对讲功能的多媒体播放装置 | |
| CN101360155A (zh) | 有源消噪控制*** | |
| US20230410828A1 (en) | Systems and methods for echo mitigation | |
| CN112802485B (zh) | 语音数据处理方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 350000 building, No. 89, software Avenue, Gulou District, Fujian, Fuzhou 18, China Patentee after: Ruixin Microelectronics Co., Ltd Address before: 350000 building, No. 89, software Avenue, Gulou District, Fujian, Fuzhou 18, China Patentee before: Fuzhou Rockchips Electronics Co.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder |