CN101350931A - 音频信号的生成、播放方法及装置、处理*** - Google Patents

音频信号的生成、播放方法及装置、处理*** Download PDF

Info

Publication number
CN101350931A
CN101350931A CNA2008101191405A CN200810119140A CN101350931A CN 101350931 A CN101350931 A CN 101350931A CN A2008101191405 A CNA2008101191405 A CN A2008101191405A CN 200810119140 A CN200810119140 A CN 200810119140A CN 101350931 A CN101350931 A CN 101350931A
Authority
CN
China
Prior art keywords
audio signal
information
video
signal
range information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008101191405A
Other languages
English (en)
Other versions
CN101350931B (zh
Inventor
詹五洲
王东琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Device Co Ltd
Huawei Device Shenzhen Co Ltd
Original Assignee
Shenzhen Huawei Communication Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huawei Communication Technologies Co Ltd filed Critical Shenzhen Huawei Communication Technologies Co Ltd
Priority to CN2008101191405A priority Critical patent/CN101350931B/zh
Publication of CN101350931A publication Critical patent/CN101350931A/zh
Priority to EP17187688.1A priority patent/EP3319344B1/en
Priority to EP09809218.2A priority patent/EP2323425B1/en
Priority to PCT/CN2009/073406 priority patent/WO2010022633A1/zh
Priority to US13/035,400 priority patent/US8705778B2/en
Application granted granted Critical
Publication of CN101350931B publication Critical patent/CN101350931B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/028—Voice signal separating using properties of sound source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2203/00—Details of circuits for transducers, loudspeakers or microphones covered by H04R3/00 but not provided for in any of its subgroups
    • H04R2203/12—Beamforming aspects for stereophonic sound reproduction with loudspeaker arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Stereophonic System (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本发明实施例涉及一种音频信号的生成、播放方法及装置、处理***，其中，音频信号的生成方法包括：根据获取的音频信号的方向信息和辅助视频，生成视点所处位置对应的音频信号的距离信息，其中所述辅助视频为视差图或深度图；将音频信号、所述音频信号的方向信息以及所述音频信号的距离信息进行编码并发送。音频信号的生成装置包括：音频信号的距离信息获取模块和音频信号编码模块。本发明实施例能够在不增加麦克风阵列体积的情况下，结合三维视频信号和三维音频信号准确获得音频信号的位置信息，包括方向信息和距离信息，进一步实现音频信号的发送和播放。

Description

音频信号的生成、播放方法及装置、处理***
技术领域
本发明实施例涉及通信技术领域，尤其涉及一种音频信号的生成、播放方法及装置、处理***。
背景技术
三维视频技术可以提供符合立体视觉原理的具有深度信息的画面，三维音频技术拾音时使用麦克风阵列，用波束形成等方法可获得增强后的声音以及声音的方向和距离等信息；重放时使用扬声器阵列，用波前合成等方法，可以重现具有方向感和距离感的声音。现有技术中已经有一些关于三维视频或者三维音频的实验性***。
如图1A所示，为现有技术中原始的会场布置图对应的水平视图，共7人参加，其中，会议参加者P1位于前排，会议参加者P2位于后排。如图1B所示，为现有技术中在重现会场中的屏幕上显示的图1A会场中的场景示意图，如果重现会场中的一个会议参加者位于O点，注意到O点、P1所在位置和P2所在位置正好位于一条直线上，如果在进行声场重现时，不对重现声场的声音的距离进行处理或者处理的不好，P1和P2的声音与位置不相匹配，那么在P1或/和P2讲话时，就会干扰位于O点的会议参加者辨别是P1在讲话还是P2在讲话。另外当以三维视频的方式进行场景重现时，也会遇到类似的问题。如图2所示，为现有技术中某一会场布置俯视图，根据立体视觉的成像和显示原理，在运用三维显示技术将在会场1中的一个物体在另外一个会场2中显示时，可以根据需要让会场2中的会议参加者看起来是在显示屏21之前，如位置C所在位置，或者显示屏之后，如位置B所在位置。假定上图中的物体为会场1中的一个会议参加者，在会场1中对应的位置为A；在会场2中重现时，如果以在显示屏之前的位置，如位置C处显示，而声音是从B处发送出来的，那么这样也会影响会场2中的会议参加者与会场1中的会议参加者的沟通与交流。
在完成本发明的过程中，本发明人发现：在现有技术中，为了获得更准确的声音的方向和距离，大都采用增加部署在麦克风阵列中麦克风的个数或/和增加麦克风之间的间距。对于麦克风阵列，麦克风阵列中部署的麦克风的个数越多，麦克风之间的间距越大，声音的方向和距离判断就越准确，但麦克风阵列的体积也随之增大。而减少麦克风的个数，减小麦克风之间的间距，麦克风阵列获得声音的方向和距离的，尤其是距离的，准确性就会降低，这在重放时需考虑声音的距离的场景中，例如在允许说话人可自由移动，或会场布置为如图1A所示的多排位置的会议***或如图1B所示的三维视频显示***中，使得听者不能及时并准确地判断出说话人的位置，从而影响Eye to Eye交流的效果。
发明内容
本发明实施例提供一种音频信号的生成、播放方法及装置、处理***，在不增加麦克风阵列体积的情况下，获得更准确地音频信号的位置信息，包括方向信息和距离信息。
本发明实施例提供了一种音频信号的生成方法，包括：
根据获取的音频信号的方向信息和辅助视频，生成视点所处位置对应的音频信号的距离信息，其中所述辅助视频为视差图或深度图；
将音频信号、所述音频信号的方向信息以及所述音频信号的距离信息进行编码并发送。
本发明实施例提供了一种音频信号的生成装置，包括音频信号的距离信息获取模块，用于根据获取的音频信号的方向信息和辅助视频，生成视点所处位置对应的音频信号的距离信息，其中所述辅助视频为视差图或深度图；
音频信号编码模块，将音频信号、所述音频信号的方向信息以及所述音频信号的距离信息进行编码并发送。
本发明实施例提供了一种音频信号的播放方法，包括：
将接收到的编码数据进行解码，获得音频信号和音频信号的方向信息；
获取音频信号的距离信息；
根据所述音频信号的方向信息以及所述音频信号的距离信息，利用音频信号重现方法对所述音频信号进行处理，得到与各个扬声器对应的扬声器信号；
使用扬声器阵列或者环绕立体声***播放所述扬声器信号。
本发明实施例提供了一种音频信号的播放装置，包括：
音频信号解码模块，用于将接收到的编码数据进行解码，获得音频信号和音频信号的方向信息；
接收端音频信号的距离信息获取模块，用于获取音频信号的距离信息；
扬声器信号获取模块，用于从所述音频信号解码模块接收所述音频信号和所述音频信号的方向信息，从所述接收端音频信号的距离信息获取模块接收所述音频信号的距离信息，根据所述音频信号的方向信息以及所述音频信号的距离信息，利用音频信号重现方法对所述音频信号进行处理，得到与各个扬声器对应的扬声器信号；
扬声器信号播放模块，用于使用扬声器阵列或者环绕立体声***播放所述扬声器信号。
本发明实施例提供了一种音频信号的处理***，包括音频信号的生成装置和音频信号的播放装置；
其中，音频信号的生成装置包括音频信号的距离信息获取模块，用于根据获取的音频信号的方向信息和辅助视频，生成视点所处位置对应的音频信号的距离信息，其中所述辅助视频为视差图或深度图；音频信号编码模块，将音频信号、所述音频信号的方向信息以及所述音频信号的距离信息进行编码并发送；
音频信号的播放装置包括音频信号解码模块，用于将接收到的编码数据进行解码，获得音频信号和音频信号的方向信息；接收端音频信号的距离信息获取模块，用于获取音频信号的距离信息；扬声器信号获取模块，用于根据所述音频信号的方向信息以及所述音频信号的距离信息，利用音频信号重现方法对所述音频信号进行处理，得到与各个扬声器对应的扬声器信号；扬声器信号播放模块，用于使用扬声器阵列或者环绕立体声***播放所述扬声器信号。
本发明实施例能够在不增加麦克风阵列体积的情况下，结合三维视频信号和三维音频信号准确获得音频信号的位置信息，包括方向信息和距离信息，进一步实现音频信号的发送和播放。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1A为现有技术中原始的会场布置图对应的水平视图；
图1B为现有技术中在重现会场中的屏幕上显示的图1A会场中的场景示意图；
图2为现有技术中某一会场布置俯视图；
图3为本发明音频信号的生成方法实施例一流程示意图；
图4为本发明音频信号的生成方法实施例二流程示意图；
图5为本发明音频信号的生成方法实施例二中计算音频信号在辅助视频中的横坐标的示意图；
图6为本发明音频信号的生成方法实施例二中计算音频信号在所述辅助视频中的纵坐标的示意图；
图7为本发明音频信号的生成方法实施例二中平行摄像机***下图像视差和深度以及视点离显示器的距离的关系示意图；
图8为本发明音频信号的生成方法实施例二中计算音频信号的距离的XZ平面示意图；
图9为本发明音频信号的生成方法实施例二中计算音频信号的距离的YZ平面示意图；
图10为本发明音频信号的生成方法实施例三流程示意图；
图11为本发明音频信号的生成装置实施例一结构示意图；
图12为本发明音频信号的生成装置实施例二结构示意图；
图13为本发明音频信号的生成装置实施例三结构示意图；
图14为本发明音频信号的播放方法实施例一流程示意图；
图15为本发明音频信号的播放方法实施例二流程示意图；
图16为本发明音频信号的播放方法实施例三流程示意图；
图17为本发明音频信号的播放方法实施例四流程示意图；
图18为本发明音频信号的播放装置实施例一结构示意图；
图19为本发明音频信号的播放装置实施例二结构示意图；
图20为本发明音频信号的播放装置实施例三结构示意图；
图21为本发明音频信号的播放装置实施例四结构示意图；
图22为本发明音频信号的处理***实施例结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
音频信号的生成方法实施例一
如图3所示，为本发明音频信号的生成方法实施例一流程示意图，具体可以包括如下步骤：
步骤11、根据获取的音频信号的方向信息和辅助视频，生成视点所处位置对应的音频信号的距离信息，其中所述辅助视频为视差图或深度图；
步骤12、将音频信号、所述音频信号的方向信息以及所述音频信号的距离信息进行编码并发送。
本实施例能够在不增加麦克风阵列体积的情况下，根据获取的音频信号的方向信息和辅助视频，准确获得音频信号的距离信息，进而实现音频信号的发送。
音频信号的生成方法实施例二
如图4所示，为本发明音频信号的生成方法实施例二流程示意图，在图1所示技术方案基础上，所述步骤11之前具体可以包括如下步骤：
步骤21、麦克风阵列捕捉至少两路音频信号作为输入音频流；
步骤22、利用麦克风阵列处理方法处理所述输入音频流，获得增强后的音频信号以及音频信号的方向信息；
步骤23、摄像机组捕捉至少两路视频信号作为输入视频流；
步骤24、根据所述输入视频流，获得主视频和辅助视频。
在图1所示技术方案基础上，所述步骤11具体可以包括如下步骤：
步骤26、根据所述音频信号的方向信息和所述辅助视频，获取所述音频信号的深度信息；
步骤27、根据所述深度信息和音频信号的方向信息，获取音频信号在显示会场中的坐标信息；
步骤28、根据所述音频信号的坐标信息和视点的位置信息，生成视点所处位置对应的音频信号的距离信息。
步骤26之前还可以包括如下步骤：
步骤25、根据麦克风阵列和摄像机组的位置信息将所述辅助视频和所述音频信号的方向信息换算到同一坐标系下。
其中，步骤26具体可以包括如下步骤：
步骤261、根据所述音频信号的方向信息获取所述音频信号在所述辅助视频中的坐标，判断所述辅助视频为深度图还是视差图；如果所述辅助视频为深度图，执行步骤262；如果所述辅助视频为视差图，执行步骤263；
步骤262、根据所述坐标直接从所述深度图中获取所述音频信号对应的深度信息；
步骤263、根据所述坐标从所述视差图中获取所述音频信号对应的视差，根据所述视差计算得到所述音频信号对应的深度信息。
步骤21具体可以包括如下步骤：
步骤211、麦克风阵列捕捉至少两路音频信号作为第一输入音频流，所述各路音频信号为多个音源的声音组成的混合音频信号；
步骤212、使用音频信号分离方法分离所述第一输入音频流中的各路音频信号，分别获取每个音源的声音对应的音频信号，将每个音源的声音对应的音频信号组成输入音频流。
在步骤21和步骤22中，最为简单的情况，所述麦克风阵列由两个麦克风组成，因此所述输入音频流最少包含两路音频信号，然后使用麦克风阵列处理方法，例如波束形成方法，处理所述输入音频流获得增强后的音频信号以及音频信号的方向信息。
在步骤23和步骤24中，最为简单的情况，所述摄像机组由两个摄像机组成，因此所述输入视频流最少包含两路视频信号。然后根据所述输入视频流获得主视频和所述辅助视频，在存在两个摄像机的情况下，可以获得一个辅助视频；如果一个摄像机组有两个以上的摄像机组成，则可以获得多个辅助视频。同时，选择所述输入视频流中的一个或者多个视频流作为主视频，最为简单的情况，在有两个摄像机存在的情况下，取其中一个摄像机捕捉到的视频为主视频。
需要说明的是，步骤21和步骤22与步骤23和步骤24之间没有严格的时序关系，任何顺序的调换，都能够达到本发明实施例的技术效果。
下面讲述本实施例步骤26-28所述获取所述音频信号的距离信息的具体过程。如图5所示，为本发明音频信号的生成方法实施例二中计算音频信号在辅助视频中的横坐标的示意图，图中原点O点对应摄像机镜头的中心，z轴沿摄像机镜头垂直方向，x轴与y轴组成的平面与z轴垂直。空间点O1所在平面为会场中音源点P1所在且与z轴相垂直的平面，该平面与O点沿z轴的距离，即物距为d；空间点O2所在平面为音源点的成像点P2所在且与z轴相垂直的平面，它与O点沿z轴的距离，即像距等于相机的焦距f。令音源点P1到x1轴和y1轴的距离分别为H和W；令音源点P1经过摄像机的成像点P2点到x2轴和y2轴的距离分别为h和w。麦克风阵列测得O点与P1点的矢量
Figure A20081011914000191
在XZ平面上的投影与z轴的夹角为∠α，那么根据直角三角形的性质，可以得到w为：
w＝f·tan(α)     (1)
如图6所示，为本发明音频信号的生成方法实施例二中计算音频信号在所述辅助视频中的纵坐标的示意图，麦克风阵列测得O点与P1点的矢量在YZ平面上的投影与z轴的夹角为∠β，那么根据直角三角形的性质，可以得到h为：
h＝f·tan(β)     (2)
使用公式(1)和公式(2)，即可得到音源点P1对应的成像点P2的坐标(w，h)。由于辅助视频和摄像机成像的大小和位置信息均相同，因此成像点P2的坐标(w，h)即为音源点P1在辅助视频上的对应点的坐标。
如果所述辅助视频为深度图，根据所述坐标直接从所述深度图中获取音源点P1对应的深度信息。
如果所述辅助视频为视差图，根据所述坐标从所述视差图中获取音源点P1对应的视差，根据所述视差按照下式计算得到深度信息：
z p = - D · p x B - p
其中，zp表示深度，p表示视差，D表示视点离显示器的距离，xB表示人的两眼之间的距离。
下面介绍所述公式(3)的推导过程。如图7所示，为本发明音频信号的生成方法实施例二中平行摄像机***下图像视差和深度以及视点离显示器的距离的关系示意图，***的原点坐标O位于显示屏上，Z轴朝向视点，X轴对应显示屏，zp表示深度，p表示视差，D表示视点离显示器的距离，xB表示人的两眼之间的距离，人的左右眼所在位置对应在坐标系中的坐标分别为(0，D)，(xB，D)，音频信号的位置为(xp，zp)，xL和xR分别指视点在左眼和右眼视图中在显示屏中的坐标，而xL和xR之间的距离p即为视差。
通过简单的几何关系可以得到：
x L D = x p D - z p 和 x R - x B D = x B D - z p
上面两式联立得到：
x L - x R + x B D = x B D - z p
令p＝xR-xL，可得视差p和深度zp关系如下：
p = x B ( 1 - D D - z p )
进一步表示为：
z p = - D · p x B - p
如图8所示，为本发明音频信号的生成方法实施例二中计算音频信号的距离的XZ平面示意图，P(zp，yp)为音频信号的坐标信息，其中深度zp已经得出，麦克风阵列测得坐标原点O点与P(xp，zp)点形成的矢量
Figure A20081011914000213
在XZ平面上的投影与Z轴的夹角为∠α，则可以通过下式计算音频信号的横坐标xp：
xp＝zp·tan(α)
这样，获取音频信号的坐标信息(xp，zp)后，定位会场中的一个视点位于V(0，D)点后，在XZ平面上，音频信号的距离信息即为V距离P对应的矢量为
如图9所示，为本发明音频信号的生成方法实施例二中计算音频信号的距离的YZ平面示意图，P(zp，yp)为音频信号的坐标信息，麦克风阵列测得坐标原点O点与P(zp，yp)点形成的矢量在XZ平面上的投影与Z轴的夹角为∠β，则可以通过下式计算音频信号在显示会场中的纵坐标：
yp＝zp·tan(β)
这样，获取音频信号的坐标信息(zp，yp)后，定位会场中的一个视点位于V(0，D)点后，在YZ平面上，音频信号的距离信息即为V距离P对应的矢量为
Figure A20081011914000216
本实施例还可以包括如下步骤：
步骤210、将所述辅助视频进行编码并发送。
本实施例分别利用麦克风阵列和摄像机组获得输入音频流和输入视频流，然后根据所述输入音频流和输入视频流获得音频信号的方向信息和辅助视频，再根据所述音频信号的方向信息和所述辅助视频计算音频信号的距离信息，能够在不增加麦克风阵列体积的情况下，结合三维视频信号和三维音频信号准确获得音频信号的位置信息，包括方向信息和距离信息，进而实现音频信号的发送。
进一步地，本实施例能够在麦克风阵列所在环境中存在多个非噪声音源时，例如多人在同时讲话时，使用音频信号分离方法从麦克风阵列捕捉的第一输入音频流中分离出每个音源的声音对应的音频信号，将每个音源的声音对应的音频信号组成输入音频流，继续对所述输入音频流进行处理，准确地得到每个音源的声音对应的音频信号的位置信息，包括方向信息和距离信息。
进一步地，考虑到在实际布置***时，麦克风阵列测量声源方向时所采用坐标系并不一定和摄像***的坐标系重合，因此，需要对这两个坐标系进行变换，使得计算均在同一坐标系下进行。
音频信号的生成方法实施例三
如图10所示，为本发明音频信号的生成方法实施例三流程示意图，在图4所示技术方案基础上，步骤210还可以为：
步骤211、将所述主视频和所述辅助视频进行编码并发送。
本实施例能够在不增加麦克风阵列体积的情况下，结合三维视频信号和三维音频信号准确获得音频信号的位置信息，包括方向信息和距离信息，进一步实现音频信号和视频信号的发送。
音频信号的生成装置实施例一
如图11所示，为本发明音频信号的生成装置实施例一结构示意图，具体可以包括音频信号的距离信息获取模块31和音频信号编码模块32，音频信号编码模块32与音频信号的距离信息获取模块31连接。其中，音频信号的距离信息获取模块31用于根据获取的音频信号的方向信息和辅助视频，生成视点所处位置对应的音频信号的距离信息，其中所述辅助视频为视差图或深度图；音频信号编码模块32用于将音频信号、所述音频信号的方向信息以及所述音频信号的距离信息进行编码并发送。
本实施例中音频信号的距离信息获取模块31根据获取的音频信号的方向信息和辅助视频生成音频信号的距离信息，音频信号编码模块32将音频信号、所述音频信号的方向信息以及所述音频信号的距离信息进行编码并发送，从而能够在不增加麦克风阵列体积的情况下，结合三维视频信号和三维音频信号准确获得音频信号的位置信息，包括方向信息和距离信息，进一步实现音频信号的发送。
音频信号的生成装置实施例二
如图12所示，为本发明音频信号的生成装置实施例二结构示意图，在图11所示结构示意图基础上，音频信号的距离信息获取模块31具体可以包括深度信息获取单元311、坐标信息获取单元312和距离信息获取单元313，坐标信息获取单元312与深度信息获取单元311连接，距离信息获取单元313与坐标信息获取单元312连接，其中深度信息获取单元311用于根据所述音频信号的方向信息和所述辅助视频，获取所述音频信号的深度信息；坐标信息获取单元312用于根据所述深度信息和音频信号的方向信息，获取音频信号在显示会场中的坐标信息；距离信息获取单元313用于根据所述音频信号的坐标信息和视点的位置信息，生成视点所处位置对应的音频信号的距离信息，将所述音频信号的距离信息发送给音频信号编码模块32。
本实施例还可以包括麦克风阵列33、音频输入信号处理模块34、视频采集模块35和视频输入信号处理模块36，音频输入信号处理模块34与麦克风阵列33连接，视频输入信号处理模块36与视频采集模块35连接。其中，麦克风阵列33用于麦克风阵列捕捉至少两路音频信号作为输入音频流；音频输入信号处理模块34用于利用麦克风阵列处理方法处理所述输入音频流，获得增强后的音频信号以及所述音频信号的方向信息，将所述音频信号和音频信号的方向信息发送给音频信号编码模块32；视频采集模块35用于摄像机组捕捉至少两路视频信号作为输入视频流；视频输入信号处理模块36用于根据所述输入视频流，获得主视频和所述辅助视频。
麦克风阵列33具体可以包括麦克风阵列单元330和音频信号分离单元331，音频信号分离单元331与麦克风阵列单元330和音频输入信号处理模块34连接。其中，麦克风阵列单元330用于麦克风阵列捕捉至少两路音频信号作为第一输入音频流，所述各路音频信号为多个音源的声音组成的混合音频信号；音频信号分离单元331用于使用音频信号分离方法分离所述第一输入音频流中的各路音频信号，分别获取每个音源的声音对应的音频信号，将每个音源的声音对应的音频信号组成输入音频流，将所述输入音频流发送给音频输入信号处理模块34。
音频信号的距离信息获取模块31还可以包括坐标变换单元314，与视频输入信号处理模块36和音频输入信号处理模块34连接，用于根据麦克风阵列和摄像机组的位置信息将所述辅助视频和所述音频信号的方向信息换算到同一坐标系下，将坐标变换后的辅助视频和音频信号的方向信息发送给深度信息获取单元311，将坐标变换后的音频信号的方向信息发送给坐标信息获取单元312。
本实施例还可以包括第一视频编码模块38，与视频输入信号处理模块36连接，用于将所述辅助视频进行编码并发送。
本实施例还可以包括发送端通信接口39，与所述音频信号编码模块32、第一视频信号编码模块38连接，用于将编码数据通过网络进行发送。
视频采集模块35通常使用两个摄像机组成的摄像机组来拍摄场景，也有可能采用能直接得出深度信息的深度摄像机来直接获得深度信息，在此情况下将不再需要视频输入信号处理模块36。如果麦克风阵列33提供了音频输入处理模块34的功能，在此情况下将不再需要音频输入信号处理模块34。
本实施例中音频信号的距离信息获取模块31根据获取的音频信号的方向信息和辅助视频生成音频信号的距离信息，音频信号编码模块32将音频信号、所述音频信号的方向信息以及所述音频信号的距离信息进行编码并发送，第一视频编码模块38将所述辅助视频进行编码并发送，从而能够在不增加麦克风阵列体积的情况下，结合三维视频信号和三维音频信号准确获得音频信号的位置信息，包括方向信息和距离信息，进一步实现音频信号和辅助视频的发送。
进一步地，考虑到在实际布置***时，麦克风阵列测量声源方向时所采用坐标系并不一定和摄像***的坐标系重合，因此坐标变换单元314对这两个坐标系进行变换，使得计算均在同一坐标系下进行。
音频信号的生成装置实施例三
如图13所示，为本发明音频信号的生成装置实施例三结构示意图，在图12所示结构示意图基础上，第一视频编码模块38还可以为第二视频编码模块315，用于将所述主视频和所述辅助视频进行编码并发送。
在图12所示结构示意图基础上，发送端通信接口39与所述音频信号编码模块32和第二视频编码模块315连接。
本实施例中音频信号的距离信息获取模块31根据获取的音频信号的方向信息和辅助视频生成音频信号的距离信息，音频信号编码模块32将音频信号、所述音频信号的方向信息以及所述音频信号的距离信息进行编码并发送，第二视频编码模块315将所述主视频和所述辅助视频进行编码并发送，从而能够在不增加麦克风阵列体积的情况下，结合三维视频信号和三维音频信号准确获得音频信号的位置信息，包括方向信息和距离信息，进一步实现音频信号和视频信号的发送。
进一步地，考虑到在实际布置***时，麦克风阵列测量声源方向时所采用坐标系并不一定和摄像***的坐标系重合，因此所述坐标变换单元对这两个坐标系进行变换，使得计算均在同一坐标系下进行。
音频信号的播放方法实施例一
如图14所示，为本发明音频信号的播放方法实施例一流程示意图，具体可以包括如下步骤：
步骤41、将接收到的编码数据进行解码，获得音频信号和音频信号的方向信息；
步骤42、获取音频信号的距离信息；
步骤43、根据所述音频信号的方向信息以及所述音频信号的距离信息，利用音频信号重现方法对所述音频信号进行处理，得到与各个扬声器对应的扬声器信号；
步骤44、使用扬声器阵列或者环绕立体声***播放所述扬声器信号。
本实施例将接收到的编码数据进行解码，获得音频信号和音频信号的方向信息，获取音频信号的距离信息，根据所述音频信号的方向信息和所述音频信号的距离信息对所述音频信号进行处理，得到扬声器信号，再播放所述扬声器信号，从而能够在不增加麦克风阵列体积的情况下，结合三维视频信号和三维音频信号准确获得音频信号的位置信息，包括方向信息和距离信息，进一步实现音频信号播放。
音频信号的播放方法实施例二
如图15所示，为本发明音频信号的播放方法实施例二流程示意图，在图14所示技术方案基础上，步骤42具体可以包括：
步骤421、将接收到的编码数据进行解码获得音频信号的距离信息。
本实施例将接收到的编码数据进行解码，获得音频信号和音频信号的方向信息和音频信号的距离信息，根据所述音频信号的方向信息和所述音频信号的距离信息对所述音频信号进行处理，得到扬声器信号，再播放所述扬声器信息，从而能够在不增加麦克风阵列体积的情况下，将接收到的编码数据进行解码，准确获得音频信号的位置信息，包括方向信息和距离信息，进一步实现音频信号播放。
音频信号的播放方法实施例三
如图16所示，为本发明音频信号的播放方法实施例三流程示意图，在图14所示技术方案基础上，还可以包括：
步骤51、将接收到的编码数据进行解码，获得辅助视频。
在图14所示技术方案基础上，步骤42具体可以包括：
步骤422、根据所述音频信号的方向信息和所述辅助视频，获取所述音频信号的深度信息；
步骤423、根据所述深度信息和音频信号的方向信息，获取音频信号在显示会场中的坐标信息；
步骤424、根据所述音频信号的坐标信息和视点的位置信息，生成视点所处位置对应的音频信号的距离信息。
步骤422之前还可以包括如下步骤：
步骤421、根据麦克风阵列和摄像机组的位置信息将所述辅助视频和所述音频信号的方向信息换算到同一坐标系下。
本实施例将接收到的编码数据进行解码，获取音频信号、音频信号的方向信息和辅助视频，根据所述音频信号的方向信息和所述辅助视频获取音频信号的距离信息，根据所述音频信号的方向信息和所述音频信号的距离信息对所述音频信号进行处理，得到扬声器信号，再播放所述扬声器信息，从而能够在不增加麦克风阵列体积的情况下，结合三维视频信号和三维音频信号准确获得音频信号的位置信息，包括方向信息和距离信息，进一步实现音频信号播放。
进一步地，考虑到在实际布置***时，麦克风阵列测量声源方向时所采用坐标系并不一定和摄像***的坐标系重合，因此，需要对这两个坐标系进行变换，使得计算均在同一坐标系下进行。
音频信号的播放方法实施例四
如图17所示，为本发明音频信号的播放方法实施例四流程示意图，在图14所示技术方案基础上，还可以包括：
步骤52、将接收到的编码数据进行解码，获得辅助视频和主视频。
在图14所示技术方案基础上，步骤42具体可以包括：
步骤53、根据所述音频信号的方向信息和所述辅助视频，获取所述音频信号的深度信息；
步骤54、根据所述深度信息和音频信号的方向信息，获取音频信号在显示会场中的坐标信息；
步骤55、根据所述音频信号的坐标信息和视点的位置信息，生成视点所处位置对应的音频信号的距离信息。
步骤53之前还可以包括如下步骤：
步骤50、根据麦克风阵列和摄像机组的位置信息将所述辅助视频和所述音频信号的方向信息换算到同一坐标系下。
在图14所示技术方案基础上，还可以包括如下步骤：
步骤56、利用三维视频显示方法，对所述主视频和所述辅助视频进行处理，得到显示视频信号；
步骤57、播放所述显示视频信号。
本实施例将接收到的编码数据进行解码，获取音频信号、音频信号的方向信息以及辅助视频和主视频，根据所述音频信号的方向信息和所述辅助视频获取音频信号的距离信息，根据所述音频信号的方向信息和所述音频信号的距离信息对所述音频信号进行处理，得到扬声器信号，再播放所述扬声器信息在不增加麦克风阵列体积的情况下，结合三维视频信号和三维音频信号准确获得音频信号的位置信息，包括方向信息和距离信息，进一步实现音频信号播放。
进一步地，本实施例对所述主视频和所述辅助视频进行处理，得到显示视频信号，再播放所述显示视频信号，从而实现对视频信号的播放，达到视频信号和音频信号的结合。
音频信号的播放装置实施例一
如图18所示，为本发明音频信号的播放装置实施例一结构示意图，具体可以包括：音频信号解码模块316、接收端音频信号的距离信息获取模块317、扬声器信号获取模块318和扬声器信号播放模块319，接收端音频信号的距离信息获取模块317与音频信号解码模块316连接，扬声器信号获取模块318分别与音频信号解码模块316和接收端音频信号的距离信息获取模块317连接，扬声器信号播放模块319与扬声器信号获取模块318连接。其中，音频信号解码模块316用于将接收到的编码数据进行解码，获得音频信号和音频信号的方向信息；接收端音频信号的距离信息获取模块317用于获取音频信号的距离信息；扬声器信号获取模块318用于从音频信号解码模块316接收所述音频信号和所述音频信号的方向信息，从接收端音频信号的距离信息获取模块317接收所述音频信号的距离信息，根据所述音频信号的方向信息以及所述音频信号的距离信息，利用音频信号重现方法对所述音频信号进行处理，得到与各个扬声器对应的扬声器信号；扬声器信号播放模块319用于使用扬声器阵列或者环绕立体声***播放所述扬声器信号。
如果扬声器信号播放模块319，例如扬声器阵列提供了扬声器信号获取模块318的功能，则不再需要扬声器信号获取模块318。
本实施例中音频信号解码模块316将接收到的编码数据进行解码，获得音频信号和音频信号的方向信息，接收端音频信号的距离信息获取模块317获取音频信号的距离信息，扬声器信号播放模块318根据所述音频信号的方向信息和所述音频信号的距离信息对所述音频信号进行处理，得到扬声器信号，扬声器信号播放模块319再播放所述扬声器信号，从而能够在不增加麦克风阵列体积的情况下，结合三维视频信号和三维音频信号准确获得音频信号的位置信息，包括方向信息和距离信息，进一步实现音频信号播放。
音频信号的播放装置实施例二
如图19所示，为本发明音频信号的播放装置实施例二结构示意图，在图18所示结构示意图基础上，接收端音频信号的距离信息获取模块317具体可以为音频信号的距离信息解码模块320，用于将接收到的编码数据进行解码获得音频信号的距离信息。
本实施例还可以包括接收端通信接口321，用于接收通过网络发送过来的编码数据，将所述编码数据传送给所述音频信号解码模块316。
本实施例中音频信号解码模块316将接收到的编码数据进行解码，获得音频信号和音频信号的方向信息，通过音频信号的距离信息解码模块320将接收到的编码数据进行解码获得音频信号的距离信息，扬声器信号播放模块318根据所述音频信号的方向信息和所述音频信号的距离信息对所述音频信号进行处理，得到扬声器信号，扬声器信号播放模块319再播放所述扬声器信号，从而能够在不增加麦克风阵列体积的情况下，将接收到的编码数据进行解码，准确获得音频信号的位置信息，包括方向信息和距离信息，进一步实现音频信号播放。
音频信号的播放装置实施例三
如图20所示，为本发明音频信号的播放装置实施例三结构示意图，在图18所示结构示意图基础上，还可以包括第一视频信号解码模块322，用于将接收到的编码数据进行解码，获得辅助视频。
在图18所示结构示意图基础上，接收端音频信号的距离信息获取模块317具体可以为音频信号的距离信息获取模块31，与音频解码模块316和第一视频信号解码模块322连接，用于根据所述音频信号的方向信息和所述辅助视频生成音频信号的距离信息。
音频信号的距离信息获取模块31具体可以包括深度信息获取单元311、坐标信息获取单元312和距离信息获取单元313，坐标信息获取单元312与深度信息获取单元311连接，距离信息获取单元313与坐标信息获取单元312连接。其中，深度信息获取单元311用于根据所述音频信号的方向信息和所述辅助视频，获取所述音频信号的深度信息；坐标信息获取单元312用于根据所述深度信息和音频信号的方向信息，获取音频信号在显示会场中的坐标信息；距离信息获取单元313用于根据所述音频信号的坐标信息和视点的位置信息，生成视点所处位置对应的音频信号的距离信息。
音频信号的距离信息获取模块31还可以包括：坐标变换单元314，与第一视频信号解码模块322和音频信号解码模块316连接，用于根据麦克风阵列和摄像机组的位置信息将所述辅助视频和所述音频信号的方向信息换算到同一坐标系下，将坐标变换后的辅助视频和音频信号的方向信息发送给深度信息获取单元311，将坐标变换后的音频信号的方向信息发送给坐标信息获取单元312。
在图18所示结构示意图基础上，本实施例还可以包括接收端通信接口321，用于接收通过网络发送过来的编码数据，将所述编码数据发送给音频信号解码模块316和第一视频信号解码模块322。
本实施例中音频信号解码模块316将接收到的编码数据进行解码，获得音频信号和音频信号的方向信息，音频信号的距离信息获取模块31根据所述音频信号的方向信息和所述辅助视频生成音频信号的距离信息，扬声器信号播放模块318根据所述音频信号的方向信息和所述音频信号的距离信息对所述音频信号进行处理，得到扬声器信号，扬声器信号播放模块319再播放所述扬声器信号，从而在不增加麦克风阵列体积的情况下，结合三维视频信号和三维音频信号准确获得音频信号的位置信息，包括方向信息和距离信息，进一步实现音频信号播放。
音频信号的播放装置实施例四
如图21所示，为本发明音频信号的播放装置实施例四结构示意图，在图18所示结构示意图基础上，还可以包括第二视频信号解码模块323、视频输出信号处理模块324和视频输出模块325，视频输出信号处理模块324与第二视频信号解码模块323连接，视频输出模块325与视频输出信号处理模块324连接。其中，第二视频信号解码模块323用于将接收到的编码数据进行解码，获得辅助视频和主视频；视频输出信号处理模块324用于利用三维视频显示方法，对所述主视频和所述辅助视频进行处理，得到显示视频信号；视频输出模块325用于播放所述显示视频信号。
在图18所示结构示意图基础上，接收端音频信号的距离信息获取模块317具体可以为音频信号的距离信息获取模块31，与音频解码模块316和第二视频信号解码模块323连接，用于根据所述音频信号的方向信息和所述辅助视频生成音频信号的距离信息。
音频信号的距离信息获取模块31具体可以包括深度信息获取单元311、坐标信息获取单元312和距离信息获取单元313，坐标信息获取单元312与深度信息获取单元311连接，距离信息获取单元313与坐标信息获取单元312连接。其中，深度信息获取单元311用于根据所述音频信号的方向信息和所述辅助视频，获取所述音频信号的深度信息；坐标信息获取单元312用于根据所述深度信息和音频信号的方向信息，获取音频信号在显示会场中的坐标信息；距离信息获取单元313用于根据所述音频信号的坐标信息和视点的位置信息，生成视点所处位置对应的音频信号的距离信息。
音频信号的距离信息获取模块31还可以包括：坐标变换单元314，与视频输入信号处理模块36和音频输入信号处理模块34连接，用于根据麦克风阵列和摄像机组的位置信息将所述辅助视频和所述音频信号的方向信息换算到同一坐标系下，将坐标变换后的辅助视频和音频信号的方向信息发送给深度信息获取单元311，将坐标变换后的音频信号的方向信息发送给坐标信息获取单元312。
在图18所示结构示意图基础上，本实施例还可以包括接收端通信接口321，用于接收通过网络发送过来的编码数据，将所述编码数据发送给音频信号解码模块316和第二视频信号解码模块323。
视频输出模块325通常为一个立体显示器，如果立体显示器提供了视频输出信号处理模块324的功能，在此情况下将不再需要视频输出信号处理模块324。
本实施例中音频信号解码模块316将接收到的编码数据进行解码，获得音频信号和音频信号的方向信息，音频信号的距离信息获取模块31根据所述音频信号的方向信息和所述辅助视频生成音频信号的距离信息，扬声器信号播放模块318根据所述音频信号的方向信息和所述音频信号的距离信息对所述音频信号进行处理，得到扬声器信号，扬声器信号播放模块319再播放所述扬声器信号，从而能够在不增加麦克风阵列体积的情况下，结合三维视频信号和三维音频信号准确获得音频信号的位置信息，包括方向信息和距离信息，进一步实现音频信号的播放。
进一步地，视频输出信号处理模块324利用三维视频显示方法，对所述主视频和所述辅助视频进行处理，得到显示视频信号，视频输出模块325播放所述显示视频信号，从而实现视频信号的播放，达到视频信号和音频信号的结合。
音频信号的处理***实施例
如图22所示，为本发明音频信号的处理***实施例结构示意图，音频信号的处理***329具体可以包括音频信号的生成装置327和音频信号的播放装置328。
其中，音频信号的生成装置327具体可以包括音频信号的距离信息获取模块31和音频信号编码模块32，音频信号编码模块32与音频信号的距离信息获取模块31连接。其中，音频信号的距离信息获取模块317用于根据获取的音频信号的方向信息和辅助视频，生成视点所处位置对应的音频信号的距离信息，其中所述辅助视频为视差图或深度图；音频信号编码模块32，将音频信号、所述音频信号的方向信息以及所述音频信号的距离信息进行编码并发送。
音频信号的播放装置328具体可以包括音频信号解码模块316、接收端音频信号的距离信息获取模块317、扬声器信号获取模块318和扬声器信号播放模块319，接收端音频信号的距离信息获取模块317与音频信号解码模块316连接，扬声器信号获取模块318分别与音频信号解码模块316和接收端音频信号的距离信息获取模块317连接，扬声器信号播放模块319与扬声器信号获取模块318连接。其中，音频信号解码模块316用于将接收到的编码数据进行解码，获得音频信号和音频信号的方向信息；接收端音频信号的距离信息获取模块317用于获取音频信号的距离信息；扬声器信号获取模块318用于根据所述音频信号的方向信息以及所述音频信号的距离信息，利用音频信号重现方法对所述音频信号进行处理，得到与各个扬声器对应的扬声器信号；扬声器信号播放模块319用于使用扬声器阵列或者环绕立体声***播放所述扬声器信号。
本实施例还可以包括回声抵消模块320，与所述音频信号的生成装置327和所述音频信号的播放装置328连接，用于消除回声。
本实施例能够在不增加麦克风阵列体积的情况下，结合三维视频信号和三维音频信号准确获得音频信号的位置信息，包括方向信息和距离信息，进一步实现音频信号的发送和播放。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤，而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。

Claims (34)

1、一种音频信号的生成方法，其特征在于包括：
根据获取的音频信号的方向信息和辅助视频，生成视点所处位置对应的音频信号的距离信息，其中所述辅助视频为视差图或深度图；
将音频信号、所述音频信号的方向信息以及所述音频信号的距离信息进行编码并发送。
2、根据权利要求1所述的音频信号的生成方法，其特征在于，所述生成音频信号的距离信息之前包括：
麦克风阵列捕捉至少两路音频信号作为输入音频流；
利用麦克风阵列处理方法处理所述输入音频流，获得增强后的音频信号以及所述音频信号的方向信息；
摄像机组捕捉至少两路视频信号作为输入视频流；
根据所述输入视频流，获得主视频和所述辅助视频。
3、根据权利要求2所述的音频信号的生成方法，其特征在于，所述麦克风阵列捕捉至少两路音频信号作为输入音频流包括：
麦克风阵列捕捉至少两路音频信号作为第一输入音频流，所述各路音频信号为多个音源的声音组成的混合音频信号；
使用音频信号分离方法分离所述第一输入音频流中的各路音频信号，分别获取每个音源的声音对应的音频信号，将每个音源的声音对应的音频信号组成输入音频流。
4、根据权利要求1或2所述的音频信号的生成方法，其特征在于还包括：
将所述辅助视频进行编码并发送。
5、根据权利要求1或2所述的音频信号的生成方法，其特征在于还包括：
将所述主视频和所述辅助视频进行编码并发送。
6、根据权利要求1所述的音频信号的生成方法，其特征在于，所述生成音频信号的距离信息具体包括：
根据所述音频信号的方向信息和所述辅助视频，获取所述音频信号的深度信息；
根据所述深度信息和音频信号的方向信息，获取音频信号在显示会场中的坐标信息；
根据所述音频信号的坐标信息和视点的位置信息，生成视点所处位置对应的音频信号的距离信息。
7、根据权利要求6所述的音频信号的生成方法，其特征在于，所述获取所述音频信号的深度信息具体包括：
根据所述音频信号的方向信息获取所述音频信号在所述辅助视频中的坐标，判断所述辅助视频为深度图还是视差图；
如果所述辅助视频为深度图，根据所述坐标直接从所述深度图中获取所述音频信号对应的深度信息；
如果所述辅助视频为视差图，根据所述坐标从所述视差图中获取所述音频信号对应的视差，根据所述视差计算得到所述音频信号对应的深度信息。
8、根据权利要求6所述的音频信号的生成方法，其特征在于，所述获取深度信息之前还包括：
根据麦克风阵列和摄像机组的位置信息将所述辅助视频和所述音频信号的方向信息换算到同一坐标系下。
9、一种音频信号的生成装置，其特征在于包括：
音频信号的距离信息获取模块，用于根据获取的音频信号的方向信息和辅助视频，生成视点所处位置对应的音频信号的距离信息，其中所述辅助视频为视差图或深度图；
音频信号编码模块，将音频信号、所述音频信号的方向信息以及所述音频信号的距离信息进行编码并发送。
10、根据权利要求9所述的音频信号的生成装置，其特征在于还包括：
麦克风阵列，用于捕捉至少两路音频信号作为输入音频流；
音频输入信号处理模块，用于利用麦克风阵列处理方法处理所述输入音频流，获得增强后的音频信号以及音频信号的方向信息，将所述音频信号以及所述音频信号的方向信息发送给所述音频信号的编码模块；
视频采集模块，用于捕捉至少两路视频信号作为输入视频流；
视频输入信号处理模块，用于根据所述输入视频流，获得主视频和所述辅助视频。
11、根据权利要求10所述的音频信号的生成装置，其特征在于所述麦克风阵列具体包括：
麦克风阵列单元，用于捕捉至少两路音频信号作为第一输入音频流，所述各路音频信号为多个音源的声音组成的混合音频信号；
音频信号分离单元，用于使用音频信号分离方法分离所述第一输入音频流中的各路音频信号，分别获取每个音源的声音对应的音频信号，将每个音源的声音对应的音频信号组成输入音频流。
12、根据权利要求10所述的音频信号的生成装置，其特征在于还包括：
第一视频编码模块，与所述视频输入信号处理模块连接，用于将所述辅助视频进行编码并发送。
13、根据权利要求10所述的音频信号的生成装置，其特征在于还包括：
第二视频编码模块，与所述视频输入信号处理模块连接，用于将所述主视频和所述辅助视频进行编码并发送。
14、根据权利要求9所述的音频信号的生成装置，其特征在于，所述音频信号的距离信息获取模块具体包括：
深度信息获取单元，用于根据所述音频信号的方向信息和所述辅助视频，获取所述音频信号的深度信息；
坐标信息获取单元，用于根据所述深度信息和音频信号的方向信息，获取音频信号在显示会场中的坐标信息；
距离信息获取单元，用于根据所述音频信号的坐标信息和视点的位置信息，生成视点所处位置对应的音频信号的距离信息。
15、根据权利要求9或14所述的音频信号的生成装置，其特征在于所述音频信号的距离信息获取模块还包括：
坐标变换单元，与视频输入信号处理模块和所述音频输入信号处理模块连接，用于根据麦克风阵列和摄像机组的位置信息将所述辅助视频和所述音频信号的方向信息换算到同一坐标系下，将坐标变换后的辅助视频和音频信号的方向信息发送给所述深度信息获取单元，将坐标变换后的音频信号的方向信息发送给所述坐标信息获取单元。
16、根据权利要求9所述的音频信号的生成装置，其特征在于还包括：
发送端通信接口，与所述音频信号编码模块、第一视频信号编码模块和第二视频信号编码模块连接，用于将编码数据通过网络进行发送。
17、一种音频信号的播放方法，其特征在于包括：
将接收到的编码数据进行解码，获得音频信号和音频信号的方向信息；
获取音频信号的距离信息；
根据所述音频信号的方向信息以及所述音频信号的距离信息，利用音频信号重现方法对所述音频信号进行处理，得到与各个扬声器对应的扬声器信号；
使用扬声器阵列或者环绕立体声***播放所述扬声器信号。
18、根据权利要求17所述的音频信号的播放方法，其特征在于获取音频信号的距离信息之前还包括：
将接收到的编码数据进行解码，获得辅助视频。
19、根据权利要求17所述的音频信号的播放方法，其特征在于获取音频信号的距离信息之前还包括：
将接收到的编码数据进行解码，获得辅助视频和主视频。
20、根据权利要求19所述的音频信号的播放方法，其特征在于，所述获取音频信号的距离信息具体包括：
将接收到的编码数据进行解码获得音频信号的距离信息。
21、根据权利要求17-19任一权利要求所述的音频信号的播放方法，其特征在于，所述获取音频信号的距离信息具体包括：
根据所述音频信号的方向信息和所述辅助视频生成音频信号的距离信息。
22、根据权利要求21所述的音频信号的播放方法，其特征在于，所述生成音频信号的距离信息具体包括：
根据所述音频信号的方向信息和所述辅助视频，获取所述音频信号的深度信息；
根据所述深度信息和音频信号的方向信息，获取音频信号在显示会场中的坐标信息；
根据所述音频信号的坐标信息和视点的位置信息，生成视点所处位置对应的音频信号的距离信息。
23、根据权利要求22所述的音频信号的播放方法，其特征在于，所述获取深度信息之前还包括：
根据麦克风阵列和摄像机组的位置信息将所述辅助视频和所述音频信号的方向信息换算到同一坐标系下。
24、根据权利要求19所述的音频信号的播放方法，其特征在于还包括：
利用三维视频显示方法，对所述主视频和所述辅助视频进行处理，得到显示视频信号；
播放所述显示视频信号。
25、一种音频信号的播放装置，其特征在于包括：
音频信号解码模块，用于将接收到的编码数据进行解码，获得音频信号和音频信号的方向信息；
接收端音频信号的距离信息获取模块，用于获取音频信号的距离信息；
扬声器信号获取模块，用于从所述音频信号解码模块接收所述音频信号和所述音频信号的方向信息，从所述接收端音频信号的距离信息获取模块接收所述音频信号的距离信息，根据所述音频信号的方向信息以及所述音频信号的距离信息，利用音频信号重现方法对所述音频信号进行处理，得到与各个扬声器对应的扬声器信号；
扬声器信号播放模块，用于使用扬声器阵列或者环绕立体声***播放所述扬声器信号。
26、根据权利要求25所述的音频信号的播放装置，其特征在于还包括：
第一视频信号解码模块，用于将接收到的编码数据进行解码，获得辅助视频。
27、根据权利要求25所述的音频信号的播放装置，其特征在于还包括：
第二视频信号解码模块，用于将接收到的编码数据进行解码，获得辅助视频和主视频；
视频输出信号处理模块，用于利用三维视频显示方法，对所述主视频和所述辅助视频进行处理，得到显示视频信号；
视频输出模块，用于播放所述显示视频信号。
28、根据权利要求25所述的音频信号的播放装置，其特征在于，所述接收端音频信号的距离信息获取模块具体为音频信号的距离信息解码模块，用于将接收到的编码数据进行解码获得音频信号的距离信息。
29、根据权利要求25所述的音频信号的播放装置，其特征在于，所述接收端音频信号的距离信息获取模块具体为音频信号的距离信息获取模块，用于根据所述音频信号的方向信息和所述辅助视频生成音频信号的距离信息。
30、根据权利要求29所述的音频信号的播放装置，其特征在于，所述音频信号的距离信息获取模块具体包括：
深度信息获取单元，用于根据所述音频信号的方向信息和所述辅助视频，获取所述音频信号的深度信息；
坐标信息获取单元，用于根据所述深度信息和音频信号的方向信息，获取音频信号在显示会场中的坐标信息；
距离信息获取单元，用于根据所述音频信号的坐标信息和视点的位置信息，生成视点所处位置对应的音频信号的距离信息。
31、根据权利要求30所述的音频信号的播放装置，其特征在于所述音频信号的距离信息获取模块还包括：
坐标变换单元，与所述视频输入信号处理模块和所述音频输入信号处理模块连接，用于根据麦克风阵列和摄像机组的位置信息将所述辅助视频和所述音频信号的方向信息换算到同一坐标系下，将坐标变换后的辅助视频和音频信号的方向信息发送给所述深度信息获取单元，将坐标变换后的音频信号的方向信息发送给所述坐标信息获取单元。
32、根据权利要求25-29任一权利要求所述的音频信号的播放装置，其特征在于还包括：
接收端通信接口，用于接收通过网络发送过来的编码数据，将所述编码数据传送给所述音频信号解码模块、第一视频信号解码模块和第二视频信号解码模块。
33、一种音频信号的处理***，其特征在于包括音频信号的生成装置和音频信号的播放装置；
其中，音频信号的生成装置包括音频信号的距离信息获取模块，用于根据获取的音频信号的方向信息和辅助视频，生成视点所处位置对应的音频信号的距离信息，其中所述辅助视频为视差图或深度图；音频信号编码模块，将音频信号、所述音频信号的方向信息以及所述音频信号的距离信息进行编码并发送；
音频信号的播放装置包括音频信号解码模块，用于将接收到的编码数据进行解码，获得音频信号和音频信号的方向信息；接收端音频信号的距离信息获取模块，用于获取音频信号的距离信息；扬声器信号获取模块，用于根据所述音频信号的方向信息以及所述音频信号的距离信息，利用音频信号重现方法对所述音频信号进行处理，得到与各个扬声器对应的扬声器信号；扬声器信号播放模块，用于使用扬声器阵列或者环绕立体声***播放所述扬声器信号。
34、根据权利要求33所述的音频信号的处理***，其特征在于还包括：
回声抵消模块，与所述音频信号的生成装置和所述音频信号的播放装置连接，用于消除回声。
CN2008101191405A 2008-08-27 2008-08-27 音频信号的生成、播放方法及装置、处理*** Active CN101350931B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN2008101191405A CN101350931B (zh) 2008-08-27 2008-08-27 音频信号的生成、播放方法及装置、处理***
EP17187688.1A EP3319344B1 (en) 2008-08-27 2009-08-21 Method and apparatus for generating audio signal information
EP09809218.2A EP2323425B1 (en) 2008-08-27 2009-08-21 Method and device for generating audio signals
PCT/CN2009/073406 WO2010022633A1 (zh) 2008-08-27 2009-08-21 音频信号的生成、播放方法及装置、处理***
US13/035,400 US8705778B2 (en) 2008-08-27 2011-02-25 Method and apparatus for generating and playing audio signals, and system for processing audio signals

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2008101191405A CN101350931B (zh) 2008-08-27 2008-08-27 音频信号的生成、播放方法及装置、处理***

Publications (2)

Publication Number Publication Date
CN101350931A true CN101350931A (zh) 2009-01-21
CN101350931B CN101350931B (zh) 2011-09-14

Family

ID=40269474

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008101191405A Active CN101350931B (zh) 2008-08-27 2008-08-27 音频信号的生成、播放方法及装置、处理***

Country Status (4)

Country Link
US (1) US8705778B2 (zh)
EP (2) EP3319344B1 (zh)
CN (1) CN101350931B (zh)
WO (1) WO2010022633A1 (zh)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010022633A1 (zh) * 2008-08-27 2010-03-04 深圳华为通信技术有限公司 音频信号的生成、播放方法及装置、处理***
CN102170600A (zh) * 2009-11-16 2011-08-31 哈曼国际工业有限公司 带有便携式音频增强设备的音频***
CN102209288A (zh) * 2010-03-31 2011-10-05 索尼公司 信号处理设备、信号处理方法和程序
CN102300109A (zh) * 2010-04-29 2011-12-28 Lg电子株式会社 输出音频信号的显示装置和方法
CN102316343A (zh) * 2010-06-30 2012-01-11 索尼公司 音频处理设备、音频处理方法及程序
CN102387269A (zh) * 2010-08-27 2012-03-21 华为终端有限公司 一种单讲状态下回声抵消的方法、装置及***
EP2451165A1 (en) * 2009-06-29 2012-05-09 Sony Corporation Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data reception device, three-dimensional image data reception method, image data transmission device, and image data reception device
CN102480630A (zh) * 2010-11-29 2012-05-30 索尼公司 信息处理设备、信息处理方法和程序
CN102480671A (zh) * 2010-11-26 2012-05-30 华为终端有限公司 视频通信中的音频处理方法和装置
CN102595153A (zh) * 2011-01-13 2012-07-18 承景科技股份有限公司 可动态地提供三维音效的显示***及相关方法
WO2012142975A1 (zh) * 2011-04-22 2012-10-26 华为终端有限公司 会场终端音频信号处理方法及会场终端和视讯会议***
CN102769764A (zh) * 2011-05-03 2012-11-07 晨星软件研发(深圳)有限公司 应用于三维显示器的方法与相关装置
CN102812731A (zh) * 2010-03-19 2012-12-05 三星电子株式会社 用于再现三维声音的方法和设备
CN103634561A (zh) * 2012-08-21 2014-03-12 徐丙川 会议通信装置和***
CN103858447A (zh) * 2011-07-29 2014-06-11 三星电子株式会社 用于处理音频信号的方法和设备
CN103905960A (zh) * 2012-11-08 2014-07-02 Dsp集团有限公司 手持装置中的增强立体声音频记录
CN103916723A (zh) * 2013-01-08 2014-07-09 联想(北京)有限公司 一种声音采集方法以及一种电子设备
CN104246531A (zh) * 2012-04-13 2014-12-24 高通股份有限公司 用于显示用户接口的***和方法
CN104429063A (zh) * 2012-07-09 2015-03-18 Lg电子株式会社 增强3d音频/视频处理装置和方法
CN104735582A (zh) * 2013-12-20 2015-06-24 华为技术有限公司 一种声音信号处理方法、装置及设备
CN105761721A (zh) * 2016-03-16 2016-07-13 广东佳禾声学科技有限公司 一种携带位置信息的语音编码方法
CN106774930A (zh) * 2016-12-30 2017-05-31 中兴通讯股份有限公司 一种数据处理方法、装置及采集设备
CN109660911A (zh) * 2018-11-27 2019-04-19 Oppo广东移动通信有限公司 录音音效处理方法、装置、移动终端及存储介质
CN111095408A (zh) * 2017-09-15 2020-05-01 高通股份有限公司 基于相机的视场的与远程物联网(iot)设备的连接
CN111131616A (zh) * 2019-12-28 2020-05-08 科大讯飞股份有限公司 基于智能终端的音频共享方法及相关装置
CN111508507A (zh) * 2019-01-31 2020-08-07 华为技术有限公司 一种音频信号处理方法及装置
CN111654806A (zh) * 2020-05-29 2020-09-11 Oppo广东移动通信有限公司 音频播放方法、装置、存储介质及电子设备
CN112335264A (zh) * 2018-04-24 2021-02-05 弗劳恩霍夫应用研究促进协会 用于呈现用于向用户回放的音频信号的装置和方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8676581B2 (en) * 2010-01-22 2014-03-18 Microsoft Corporation Speech recognition analysis via identification information
US9591374B2 (en) 2010-06-30 2017-03-07 Warner Bros. Entertainment Inc. Method and apparatus for generating encoded content using dynamically optimized conversion for 3D movies
US10326978B2 (en) 2010-06-30 2019-06-18 Warner Bros. Entertainment Inc. Method and apparatus for generating virtual or augmented reality presentations with 3D audio positioning
US8755432B2 (en) 2010-06-30 2014-06-17 Warner Bros. Entertainment Inc. Method and apparatus for generating 3D audio positioning using dynamically optimized audio 3D space perception cues
WO2012037073A1 (en) 2010-09-13 2012-03-22 Warner Bros. Entertainment Inc. Method and apparatus for generating 3d audio positioning using dynamically optimized audio 3d space perception cues
US9084068B2 (en) * 2011-05-30 2015-07-14 Sony Corporation Sensor-based placement of sound in video recording
JP6216169B2 (ja) * 2012-09-26 2017-10-18 キヤノン株式会社 情報処理装置、情報処理方法
WO2014053875A1 (en) 2012-10-01 2014-04-10 Nokia Corporation An apparatus and method for reproducing recorded audio with correct spatial directionality
EP2923502A4 (en) * 2012-11-20 2016-06-15 Nokia Technologies Oy DEVICE FOR ROOM ENHANCEMENT
US9483228B2 (en) 2013-08-26 2016-11-01 Dolby Laboratories Licensing Corporation Live engine
US9402095B2 (en) * 2013-11-19 2016-07-26 Nokia Technologies Oy Method and apparatus for calibrating an audio playback system
JP6624068B2 (ja) * 2014-11-28 2019-12-25 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US20170188140A1 (en) * 2015-12-24 2017-06-29 Intel Corporation Controlling audio beam forming with video stream data
US9756421B2 (en) * 2016-01-22 2017-09-05 Mediatek Inc. Audio refocusing methods and electronic devices utilizing the same
US20180220252A1 (en) * 2017-01-31 2018-08-02 Microsoft Technology Licensing, Llc Spectator audio and video repositioning
US10251013B2 (en) * 2017-06-08 2019-04-02 Microsoft Technology Licensing, Llc Audio propagation in a virtual environment

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5714997A (en) * 1995-01-06 1998-02-03 Anderson; David P. Virtual reality television system
JPH08289275A (ja) * 1995-04-17 1996-11-01 Canon Inc Ｔｖ会議システム
US6731334B1 (en) * 1995-07-31 2004-05-04 Forgent Networks, Inc. Automatic voice tracking camera system and method of operation
US5778082A (en) * 1996-06-14 1998-07-07 Picturetel Corporation Method and apparatus for localization of an acoustic source
EP1433335B1 (en) * 2001-08-15 2010-09-29 Koninklijke Philips Electronics N.V. 3d video conferencing system
US6829018B2 (en) * 2001-09-17 2004-12-07 Koninklijke Philips Electronics N.V. Three-dimensional sound creation assisted by visual information
US6813360B2 (en) * 2002-01-22 2004-11-02 Avaya, Inc. Audio conferencing with three-dimensional audio encoding
CN1717955B (zh) * 2002-12-02 2013-10-23 汤姆森许可贸易公司 用于描述音频信号的合成的方法
US20070160236A1 (en) 2004-07-06 2007-07-12 Kazuhiro Iida Audio signal encoding device, audio signal decoding device, and method and program thereof
JP2007158527A (ja) * 2005-12-01 2007-06-21 Sony Corp 信号処理装置、信号処理方法、再生装置、記録装置
JP4929740B2 (ja) 2006-01-31 2012-05-09 ヤマハ株式会社 音声会議装置
JP2008151766A (ja) 2006-11-22 2008-07-03 Matsushita Electric Ind Co Ltd 立体音響制御装置及び立体音響制御方法
CN101350931B (zh) * 2008-08-27 2011-09-14 华为终端有限公司 音频信号的生成、播放方法及装置、处理***
CN101668317B (zh) 2008-09-04 2012-07-11 华为技术有限公司 一种网络资源预留的方法、***和装置

Cited By (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010022633A1 (zh) * 2008-08-27 2010-03-04 深圳华为通信技术有限公司 音频信号的生成、播放方法及装置、处理***
US8705778B2 (en) 2008-08-27 2014-04-22 Huawei Technologies Co., Ltd. Method and apparatus for generating and playing audio signals, and system for processing audio signals
EP2451165A1 (en) * 2009-06-29 2012-05-09 Sony Corporation Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data reception device, three-dimensional image data reception method, image data transmission device, and image data reception device
EP2451165A4 (en) * 2009-06-29 2013-12-04 Sony Corp DEVICE FOR TRANSMITTING THREE-DIMENSIONAL IMAGE DATA, METHOD FOR TRANSMITTING THREE-DIMENSIONAL IMAGE DATA, DEVICE FOR RECEIVING THREE-DIMENSIONAL IMAGE DATA, METHOD FOR RECEIVING THREE-DIMENSIONAL IMAGE DATA, IMAGE DATA TRANSMISSION DEVICE AND IMAGE DATA TRANSMISSION METHOD
CN102170600A (zh) * 2009-11-16 2011-08-31 哈曼国际工业有限公司 带有便携式音频增强设备的音频***
CN105933845B (zh) * 2010-03-19 2019-04-16 三星电子株式会社 用于再现三维声音的方法和设备
CN102812731A (zh) * 2010-03-19 2012-12-05 三星电子株式会社 用于再现三维声音的方法和设备
US9622007B2 (en) 2010-03-19 2017-04-11 Samsung Electronics Co., Ltd. Method and apparatus for reproducing three-dimensional sound
CN105933845A (zh) * 2010-03-19 2016-09-07 三星电子株式会社 用于再现三维声音的方法和设备
US9113280B2 (en) 2010-03-19 2015-08-18 Samsung Electronics Co., Ltd. Method and apparatus for reproducing three-dimensional sound
CN102209288A (zh) * 2010-03-31 2011-10-05 索尼公司 信号处理设备、信号处理方法和程序
US9661437B2 (en) 2010-03-31 2017-05-23 Sony Corporation Signal processing apparatus, signal processing method, and program
CN102209288B (zh) * 2010-03-31 2015-11-25 索尼公司 信号处理设备和信号处理方法
US8964010B2 (en) 2010-04-29 2015-02-24 Lg Electronics Inc. Display device and method of outputting audio signal
CN102300109A (zh) * 2010-04-29 2011-12-28 Lg电子株式会社 输出音频信号的显示装置和方法
CN102300109B (zh) * 2010-04-29 2014-05-14 Lg电子株式会社 输出音频信号的显示装置和方法
CN102316343A (zh) * 2010-06-30 2012-01-11 索尼公司 音频处理设备、音频处理方法及程序
CN102387269B (zh) * 2010-08-27 2013-12-04 华为终端有限公司 一种单讲状态下回声抵消的方法、装置及***
CN102387269A (zh) * 2010-08-27 2012-03-21 华为终端有限公司 一种单讲状态下回声抵消的方法、装置及***
US9113034B2 (en) 2010-11-26 2015-08-18 Huawei Device Co., Ltd. Method and apparatus for processing audio in video communication
CN102480671A (zh) * 2010-11-26 2012-05-30 华为终端有限公司 视频通信中的音频处理方法和装置
WO2012068960A1 (zh) * 2010-11-26 2012-05-31 华为终端有限公司 视频通信中的音频处理方法和装置
CN102480671B (zh) * 2010-11-26 2014-10-08 华为终端有限公司 视频通信中的音频处理方法和装置
CN102480630B (zh) * 2010-11-29 2015-06-17 索尼公司 信息处理设备和信息处理方法
CN102480630A (zh) * 2010-11-29 2012-05-30 索尼公司 信息处理设备、信息处理方法和程序
CN102595153A (zh) * 2011-01-13 2012-07-18 承景科技股份有限公司 可动态地提供三维音效的显示***及相关方法
WO2012142975A1 (zh) * 2011-04-22 2012-10-26 华为终端有限公司 会场终端音频信号处理方法及会场终端和视讯会议***
CN102769764A (zh) * 2011-05-03 2012-11-07 晨星软件研发(深圳)有限公司 应用于三维显示器的方法与相关装置
CN103858447B (zh) * 2011-07-29 2016-12-07 三星电子株式会社 用于处理音频信号的方法和设备
US9554227B2 (en) 2011-07-29 2017-01-24 Samsung Electronics Co., Ltd. Method and apparatus for processing audio signal
CN103858447A (zh) * 2011-07-29 2014-06-11 三星电子株式会社 用于处理音频信号的方法和设备
US10107887B2 (en) 2012-04-13 2018-10-23 Qualcomm Incorporated Systems and methods for displaying a user interface
US9857451B2 (en) 2012-04-13 2018-01-02 Qualcomm Incorporated Systems and methods for mapping a source location
CN104246531A (zh) * 2012-04-13 2014-12-24 高通股份有限公司 用于显示用户接口的***和方法
CN104246531B (zh) * 2012-04-13 2017-11-14 高通股份有限公司 用于显示用户接口的***和方法
US10909988B2 (en) 2012-04-13 2021-02-02 Qualcomm Incorporated Systems and methods for displaying a user interface
CN104429063B (zh) * 2012-07-09 2017-08-25 Lg电子株式会社 增强3d音频/视频处理装置和方法
US9723287B2 (en) 2012-07-09 2017-08-01 Lg Electronics Inc. Enhanced 3D audio/video processing apparatus and method
CN104429063A (zh) * 2012-07-09 2015-03-18 Lg电子株式会社 增强3d音频/视频处理装置和方法
CN103634561A (zh) * 2012-08-21 2014-03-12 徐丙川 会议通信装置和***
CN103905960A (zh) * 2012-11-08 2014-07-02 Dsp集团有限公司 手持装置中的增强立体声音频记录
CN103916723A (zh) * 2013-01-08 2014-07-09 联想(北京)有限公司 一种声音采集方法以及一种电子设备
US9628908B2 (en) 2013-01-08 2017-04-18 Beijing Lenovo Software Ltd. Sound collection method and electronic device
CN103916723B (zh) * 2013-01-08 2018-08-10 联想(北京)有限公司 一种声音采集方法以及一种电子设备
CN104735582A (zh) * 2013-12-20 2015-06-24 华为技术有限公司 一种声音信号处理方法、装置及设备
CN104735582B (zh) * 2013-12-20 2018-09-07 华为技术有限公司 一种声音信号处理方法、装置及设备
CN105761721A (zh) * 2016-03-16 2016-07-13 广东佳禾声学科技有限公司 一种携带位置信息的语音编码方法
US10911884B2 (en) 2016-12-30 2021-02-02 Zte Corporation Data processing method and apparatus, acquisition device, and storage medium
US11223923B2 (en) 2016-12-30 2022-01-11 Zte Corporation Data processing method and apparatus, acquisition device, and storage medium
WO2018121524A1 (zh) * 2016-12-30 2018-07-05 中兴通讯股份有限公司 一种数据处理方法及装置、采集设备及存储介质
CN106774930A (zh) * 2016-12-30 2017-05-31 中兴通讯股份有限公司 一种数据处理方法、装置及采集设备
CN111095408A (zh) * 2017-09-15 2020-05-01 高通股份有限公司 基于相机的视场的与远程物联网(iot)设备的连接
CN115359812B (zh) * 2017-09-15 2024-06-07 高通股份有限公司 基于相机的视场的与远程物联网（iot）设备的连接
CN115359812A (zh) * 2017-09-15 2022-11-18 高通股份有限公司 基于相机的视场的与远程物联网（iot）设备的连接
CN112335264A (zh) * 2018-04-24 2021-02-05 弗劳恩霍夫应用研究促进协会 用于呈现用于向用户回放的音频信号的装置和方法
US11343634B2 (en) 2018-04-24 2022-05-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for rendering an audio signal for a playback to a user
CN109660911A (zh) * 2018-11-27 2019-04-19 Oppo广东移动通信有限公司 录音音效处理方法、装置、移动终端及存储介质
US10891938B2 (en) 2018-11-27 2021-01-12 Guangdong Oppo Mobile Telecommunications And Corp., Ltd. Processing method for sound effect of recording and mobile terminal
CN111508507A (zh) * 2019-01-31 2020-08-07 华为技术有限公司 一种音频信号处理方法及装置
CN111508507B (zh) * 2019-01-31 2023-03-03 华为技术有限公司 一种音频信号处理方法及装置
CN111131616A (zh) * 2019-12-28 2020-05-08 科大讯飞股份有限公司 基于智能终端的音频共享方法及相关装置
CN111654806B (zh) * 2020-05-29 2022-01-07 Oppo广东移动通信有限公司 音频播放方法、装置、存储介质及电子设备
CN111654806A (zh) * 2020-05-29 2020-09-11 Oppo广东移动通信有限公司 音频播放方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
EP2323425A4 (en) 2012-09-12
US20110164769A1 (en) 2011-07-07
EP3319344A1 (en) 2018-05-09
CN101350931B (zh) 2011-09-14
EP2323425B1 (en) 2017-11-15
EP2323425A1 (en) 2011-05-18
US8705778B2 (en) 2014-04-22
WO2010022633A1 (zh) 2010-03-04
EP3319344B1 (en) 2022-10-26

Similar Documents

Publication Publication Date Title
CN101350931B (zh) 音频信号的生成、播放方法及装置、处理***
CN102480671B (zh) 视频通信中的音频处理方法和装置
US10952009B2 (en) Audio parallax for virtual reality, augmented reality, and mixed reality
CN109906616B (zh) 用于确定一或多个音频源的一或多个音频表示的方法、***和设备
CA2784862C (en) An apparatus and a method for converting a first parametric spatial audio signal into a second parametric spatial audio signal
CN101132516B (zh) 一种视频通讯的方法、***及用于视频通讯的装置
CN100481921C (zh) 声音产生方法和设备、声音再现方法和设备
JP2975687B2 (ja) 第１局・第２局間に音声信号とビデオ信号とを送信する方法、局、テレビ会議システム、第１局・第２局間に音声信号を伝送する方法
US10972853B2 (en) Signalling beam pattern with objects
KR20170106063A (ko) 오디오 신호 처리 방법 및 장치
CN111641898B (zh) 发声装置、显示装置、发声控制方法及装置
US9838790B2 (en) Acquisition of spatialized sound data
CN109314832A (zh) 音频信号处理方法和设备
JP2015530037A (ja) テレビ会議表示方法及び装置
US20120050491A1 (en) Method and system for adjusting audio based on captured depth information
JP2013110633A (ja) トランスオーラルシステム
Pihlajamäki et al. Projecting simulated or recorded spatial sound onto 3D-surfaces
KR101747800B1 (ko) 입체음향 생성 장치 및 이를 이용한 입체 컨텐츠 생성 시스템
US20210092543A1 (en) 3d sound orientation adaptability
CN104735582A (zh) 一种声音信号处理方法、装置及设备
Naoe et al. Performance evaluation of 3D sound field reproduction system using a few loudspeakers and wave field synthesis
WO2024114372A1 (zh) 场景音频解码方法及电子设备
WO2022220182A1 (ja) 情報処理方法、プログラム、及び情報処理システム
WO2024114373A1 (zh) 场景音频编码方法及电子设备
US10659902B2 (en) Method and system of broadcasting a 360° audio signal

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 518129 Building 2, B District, Bantian HUAWEI base, Longgang District, Shenzhen, Guangdong.

Patentee after: Huawei terminal (Shenzhen) Co.,Ltd.

Address before: 518129 Building 2, B District, Bantian HUAWEI base, Longgang District, Shenzhen, Guangdong.

Patentee before: HUAWEI DEVICE Co.,Ltd.

CP01 Change in the name or title of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20181224

Address after: 523808 Southern Factory Building (Phase I) Project B2 Production Plant-5, New Town Avenue, Songshan Lake High-tech Industrial Development Zone, Dongguan City, Guangdong Province

Patentee after: HUAWEI DEVICE Co.,Ltd.

Address before: 518129 Building 2, B District, Bantian HUAWEI base, Longgang District, Shenzhen, Guangdong.

Patentee before: Huawei terminal (Shenzhen) Co.,Ltd.

TR01 Transfer of patent right