CN111327980B - 提供虚拟声音的听力设备 - Google Patents

提供虚拟声音的听力设备 Download PDF

Info

Publication number
CN111327980B
CN111327980B CN201911273151.3A CN201911273151A CN111327980B CN 111327980 B CN111327980 B CN 111327980B CN 201911273151 A CN201911273151 A CN 201911273151A CN 111327980 B CN111327980 B CN 111327980B
Authority
CN
China
Prior art keywords
microphone
virtual
speaker
ambient sound
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911273151.3A
Other languages
English (en)
Other versions
CN111327980A (zh
Inventor
耶斯佩·乌德森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GN Audio AS
Original Assignee
GN Audio AS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GN Audio AS filed Critical GN Audio AS
Publication of CN111327980A publication Critical patent/CN111327980A/zh
Application granted granted Critical
Publication of CN111327980B publication Critical patent/CN111327980B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1008—Earpieces of the supra-aural or circum-aural type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1091—Details not provided for in groups H04R1/1008 - H04R1/1083
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S1/005—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/326—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/10—Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Headphones And Earphones (AREA)

Abstract

公开了提供虚拟声音的听力设备。该设备包括：包括第一扬声器的第一耳机；包括第二扬声器的第二耳机；连接到第一和第二耳机的虚拟声音处理单元，接收和处理音频声音信号以生成虚拟音频声音信号，该信号转发到第一和第二扬声器，虚拟音频声音作为来自用户前方的两个虚拟扬声器的音频声音显示给用户；布置在第一耳机中捕获周围声音的第一主麦克风，提供朝向后方的第一后向灵敏度指向类型；布置在第二耳机中捕获周围声音的第一次级麦克风，提供朝向后方的第二后向灵敏度指向类型。听力设备将第一周围声音信号传输到第一扬声器，将第二周围声音信号传输到第二扬声器。用户接收来自后方的周围声音，来自前方的周围声音与来自后方的周围声音相比被衰减。

Description

提供虚拟声音的听力设备
技术领域
本公开涉及一种用于音频传输的方法和听力设备，该听力设备被配置为由用户佩戴。听力设备包括：第一耳机，包括第一扬声器；第二耳机，包括第二扬声器；以及连接到第一耳机和第二耳机的虚拟声音处理单元，该虚拟声音处理单元被配置用于接收和处理音频声音信号以生成虚拟音频声音信号，其中，虚拟音频声音信号被转发到第一扬声器和第二扬声器，其中，对于用户而言，虚拟音频声音仿佛是来自用户前方的两个虚拟扬声器的音频声音。
背景技术
诸如头戴式耳机或双耳式耳机的听力设备可以用于不同的场景。用户可以在许多不同的环境中(例如，在办公楼中工作、在家放松时、在他们上班途中、在公共交通中、在他们的汽车中、在公园散步时等)佩戴他们的听力设备。此外，听力设备可以用于不同的目的。听力设备可以用于诸如电话呼叫的音频通信。听力设备可以用于收听音乐、收音机等。听力设备可以用作噪声环境中的噪声消除设备等。
众所周知，在交通环境中利用双耳式耳机收听音乐可能是一个安全问题。
克服该问题的一种方法可以是混入周围交通声音，称为听力设备的“透明(hearthrough)”指向类型，但是缺点是感知的音乐质量下降。周围声音和音乐混合在一起，并且人类大脑无法将音乐和交通声音分开，导致混乱的声音的“模糊”混合，损害了音乐声音质量。
另一个解决方案可以是具有例如基于人工智能识别所有“相关”“交通”声音并通过双耳式耳机播放它们的算法。然而，这种算法还不存在，并且不清楚这种方法是否会影响音乐的声音质量。
因此，需要一种改进的听力设备，其使得听力设备用户能够以安全的方式在交通环境中收听音频(例如音乐)或进行电话呼叫，同时保持音频的声音质量，例如保持音乐声音质量。
发明内容
公开了一种用于音频传输的听力设备。该听力设备被配置为由用户佩戴。听力设备包括：具有第一扬声器的第一耳机。听力设备包括：具有第二扬声器的第二耳机。听力设备包括连接到第一耳机和第二耳机的虚拟声音处理单元。虚拟声音处理单元被配置用于接收和处理音频声音信号以生成虚拟音频声音信号。虚拟音频声音信号被转发到第一扬声器和第二扬声器，其中，对于用户而言，虚拟音频声音仿佛是来自用户前方的两个虚拟扬声器的音频声音。听力设备还包括用于捕获周围声音第一主麦克风，以基于来自第一主麦克风的第一主输入信号提供第一周围声音信号。第一主麦克风被布置在第一耳机中，用于提供朝向后方的第一后向灵敏度指向类型(pattern)。听力设备还包括用于捕获周围声音的第一次级麦克风，以基于来自第一次级麦克风的第一次级输入信号提供第二周围声音信号。第一次级麦克风被布置在第二耳机中，用于提供朝向后方的第二后向灵敏度指向类型。听力设备被配置用于将第一周围声音信号传输到第一扬声器。听力设备被配置用于将第二周围声音信号传输到第二扬声器。由此，用户接收来自后方的周围声音，同时与来自后方的周围声音相比，来自前方的周围声音被衰减。
这是一种基于3D空间音频的解决方案。音频声音(例如音乐)和周围声音(例如交通噪声)被分离为两个不同的空间声音对象：来自前方的音频声音(例如音乐)和来自用户与潜在对象(例如交通对象)没有视觉接触的后方的周围声音(例如交通)。这样，人类大脑可以更好地在受关注的声音之间分离，并且保留音乐的声音质量。
该解决方案结合了向后方提供后向灵敏度指向类型和在用户的前面提供两个虚拟扬声器的布置。优点是，这可以提高用户对周围环境的意识，例如交通意识。播放听起来仿佛来自用户前方的音频(例如，音乐)的虚拟扬声器将减少对于增加双耳式耳机中的音乐或交谈音量的需要。因此，降低了用户不能听到来自后方的周围环境(例如交通)的风险。
该解决方案可以用于交通中，如用作本申请中的示例一样，然而，听力设备自然不限于用于交通中。听力设备可以用于用户希望使用听力设备收听音乐、无线电广播、任何其他音频、进行电话呼叫等的所有环境中，并且同时用户希望能够听到周围环境，尤其是来自用户后方的声音，因为用户可以视觉上看到他/她前面或侧面的事物，但是看不到后方的事物。通过使佩戴听力设备的用户能够更好地听到和识别来自后面的声音，用户可以定向并随时了解他/她后面的事物。用户能够视觉地识别用户前面的事物，因此来自用户前方的声音可以被调低或衰减。除了用于交通外，它还可以用于工作中，例如坐在办公空间中，使得用户可以听到同事是否从后面靠近；或用于超市中，使得用户可以听到该用户后面的另一个顾客是否正在与该用户交谈等。
因此，该解决方案是一种***，其中，衰减来自前方的周围环境声音(例如交通声音)并且从前方的两个虚拟扬声器播放音乐。头部跟踪传感器可以设置在听力设备中，用于补偿导致两个虚拟扬声器的更外在化的声音体验的快速头部移动。这样，听力设备用户的大脑能够创建两个不同的声音场景-一个用于音乐，并且另一个用于周围环境(例如交通)-并且当需要时在周围环境声音与音乐之间切换注意力。
科学文献充分证明，这种声音的空间去掩蔽或空间分离将导致改进的收听体验，例如参见Hawley ML、Litovsky RY、Culling JF在J Acoust Soc Am.2004Feb；115(2):833-43中的文章“The benefit of binaural hearing in a cocktail party:effect oflocation and type of interferer”。
该解决方案可以基于以下一个或多个假设：
-用户希望当他/她在周围环境中(例如在交通环境中行走或骑自行车)时通过听力设备以立体声收听音乐。同时，用户希望听到最重要的周围环境声音(例如交通声音)。
-来自后方的环境声音(例如交通声音)比来自用户与声源具有视觉接触。前方的声音(例如交通声音)更重要。
-相关的周围环境声音(例如用于改进的交通安全的交通声音)大多在200Hz至500Hz以上。
-听力设备在每个耳机中具有至少一个内置麦克风，例如，四个内置麦克风，即，每个耳机中有两个内置麦克风。然而，可能有更多麦克风，例如总共八个麦克风，即，每个耳机中有四个麦克风。
-在听力设备中可以有头部跟踪传感器。头部跟踪传感器包括加速度计、磁力计以及陀螺仪。头部跟踪传感器的目的是增加两个虚拟扬声器的感知声音外在化。
该解决方案包括，每个耳机中的麦克风被布置为提供后向灵敏度指向类型，该灵敏度指向类型主要向后方收音环境声音。每个耳机中的麦克风可以是定向麦克风或全向麦克风。
在一些示例中，该解决方案可以包括在每个耳机中的更多麦克风，然后来自每个耳机或耳罩中的两个、三个或四个麦克风的信号被波束成形以创建后向灵敏度指向类型，该灵敏度指向类型主要向后方收音。
例如波束成形的环境声音(例如交通声音)被单独发送到每个耳机，导致环境声音(例如交通声音)从后方处于自然水平而从前方是衰减的印象。相对于开放式耳朵，来自后方的预期方向性改进可以为约3至5dB，这可以取决于听力设备的几何形状。用于所有环境对象(例如交通对象)的听觉空间线索仍然可以被保留，环境声音(例如交通声音)的强度可以被降低，但是感知的方向可以被保留。
因此，该解决方案提供当需要时用户自己的大脑集中于环境声音(例如交通声音)，而不牺牲音乐声音质量。因此，空间声音被保留，并且用户可以在相关声源之间分离。
听力设备可以是头戴式耳机、双耳式耳机、耳机、扬声器、听筒等。听力设备被配置用于音频传输，例如音乐、无线电广播、电话交谈、电话呼叫等的音频声音的传输。第一耳机包括第一扬声器。第一扬声器可以被布置在用户的第一只耳朵(例如左耳)处。第一耳机可以被配置用于接收音频声音信号。听力设备包括：具有第二扬声器的第二耳机。第二扬声器可以被布置在用户的第二只耳朵(例如右耳)处。第二耳机可以被配置用于接收音频声音信号。第一耳机和第二耳机可以被配置用于从外部装置(例如播放音频声音(例如音乐)的智能手机)接收音频声音信号。
听力设备包括连接到第一耳机和第二耳机的虚拟声音处理单元。虚拟声音处理单元被配置用于接收和处理音频声音信号以生成虚拟音频声音信号。音频声音信号可以来自外部装置(例如播放音乐的智能手机)。音频声音可以作为立体声从第一扬声器和第二扬声器发送到用户的耳朵中。耳机扬声器可以从声音信号生成诸如音频的声音。虚拟声音处理单元可以从外部装置接收音频信号，然后生成两个音频信号，该两个音频信号被转发到扬声器。虚拟音频声音信号被转发到第一扬声器和第二扬声器，其中，对于用户而言，虚拟音频声音仿佛来自用户前方的两个虚拟扬声器的音频声音。
虚拟音频声音可以借助于头部相关传递函数来提供。虚拟音频声音是第一扬声器和第二扬声器中的音频，然而用户感知到音频声音来自她/他前面的两个扬声器。由于在用户前面的空间中没有扬声器，因此术语虚拟扬声器用于指示音频声音被处理使得针对佩戴听力设备的用户，音频声音仿佛来自用户前方的扬声器。
听力设备还包括用于捕获周围声音的第一主麦克风，以基于来自第一主麦克风的第一主输入信号提供第一周围声音信号。周围声音可以是来自周围的声音、环境中的声音，例如交通噪声、办公室噪声等。第一主麦克风被布置在第一耳机中，用于提供朝向后方的第一后向灵敏度指向类型。第一后向灵敏度指向类型可以是左侧指向类型，即，用于用户的左耳。朝向后方的第一后向灵敏度指向类型可以指向听力设备或用户的后方或后面，例如向后180度。
听力设备还包括用于捕获周围声音的第一次级麦克风，以基于来自第一次级麦克风的第一次级输入信号提供第二周围声音信号。第一次级麦克风被布置在第二耳机中，用于提供朝向后方的第二后向灵敏度指向类型。第二后向灵敏度指向类型可以是右侧指向类型，即，用于用户的右耳。朝向后方的第二后向灵敏度指向类型可以指向听力设备或用户的后方或后面，例如向后180度。
听力设备被配置用于将第一周围声音信号传输到第一扬声器。听力设备被配置用于将第二周围声音信号传输到第二扬声器。由此，用户接收来自后方的周围声音，而来自前方的周围声音与来自后方的周围声音相比被衰减。因此，周围声音的方向被保留。用户接收来自后方的周围声音，而来自前方的周围声音被衰减。
虚拟音频声音可以借助于头部相关传递函数来提供，因此，在一些实施方式中，虚拟声音处理单元被配置用于借助于以下方式生成转发到第一扬声器和第二扬声器的虚拟音频声音信号：
-将第一头部相关传递函数应用于在第一扬声器中接收的音频声音；以及
-将第二头部相关传递函数应用于在第二扬声器中接收的音频声音。
头部相关传递函数(HRTF)有时也称为解剖传递函数(anatomical transferfunction，ATF)，是表征耳朵如何接收来自空间中的点的声音的响应。当声音撞击听者时，头部、耳朵、耳道的大小和形状，头部的密度，鼻腔和口腔的大小和形状都可能变换声音，并可能影响声音的感知方式，提高某些频率并衰减其他频率。一般来说，HRTF可以将频率从2至5kHz提高，在2700Hz处的主共振为+17dB。但是，响应曲线可能比单个凸点更复杂，可能影响宽频谱，并且可能显著地因人而异。
一对用于两只耳朵的HRTF可以用于合成似乎来自空间中的特定点的双耳声音。它是一个传递函数，描述来自具体点的声音将如何到达耳朵(通常在听道的外端)。
人类只有两只耳朵，但是可以在三维中-在范围(距离)内、在上和下方向上、在前面和后面以及两侧定位声音。这是可能的，因为大脑、内耳和外耳(耳廓)共同工作来推断位置。
人类通过获取源自一只耳朵的线索(单耳线索)，并通过比较两只耳朵处所接收的线索(差异线索或双耳线索)来估计源的位置。差异线索中包括到达时间差异和强度差异。单耳线索来自声源与人体解剖学之间的相互作用，其中，原始源声在进入耳道用于被听觉***处理之前被修改。这些修改对源位置进行编码，并且可以经由与源位置和耳朵位置相关的脉冲响应来捕获。这种脉冲响应被称为头部相关脉冲响应(HRIR)。任意源声音与HRIR的卷积将声音转换为如果该声音在源位置处播放，听者的耳朵在接收器位置处，听者会听到的声音。HRTF是HRIR的傅立叶变换。
上面表示为HRIR的用于左耳和右耳的HRTF描述了声源(x(t))在左耳和右耳处分别被感知为xL(t)和xR(t)之前的滤波。
HRTF也可以描述为声音从自由空气中的方向到声音到达耳膜时的修改。这些修改可以包括听者的外耳的形状、听者的头部和身体的形状、其中播放声音的空间的声学特性等。所有这些特性将影响听者如何(或是否)准确地辨别声音来自哪个方向。
来自外部装置的音频声音可以是立体声音乐。立体声音乐具有两个音频通道sR(t)和sL(t)。通过将(HRIR的)相应的四个头部相关传递函数与sR(t)和sL(t)卷积，两个虚拟扬声器可以相对于例如-30度和+30度的观察方向以角度+θ0和-θ0创建。
因此，在一些实施方式中，虚拟声音处理单元被配置用于借助于以下方式生成转发到第一扬声器和第二扬声器的虚拟音频声音信号：
-将第一左头部相关传递函数应用于第一耳机中所接收的音频声音信号的左通道立体声音频声音信号；以及
-将第一右头部相关传递函数应用于第一耳机中所接收的音频声音信号的右通道立体声音频声音信号；
以及
-将第二左头部相关传递函数应用于第二耳机中所接收的音频声音信号的左通道立体声音频声音信号；以及
-将第二右头部相关传递函数应用于第二耳机中所接收的音频声音信号的右通道立体声音频声音信号。
虚拟音频声音信号由虚拟扬声器提供。虚拟扬声器可以相对于用户的头部的笔直向前方向的左30度和右30度提供。
将头部相关传递函数应用于音频声音信号可以包括进行卷积。
在一些实施方式中，听力设备包括头部跟踪传感器，该头部跟踪传感器包括加速度计、磁力计以及陀螺仪。头部跟踪传感器被配置用于跟踪用户的头部移动。
在一些实施方式中，听力设备被配置用于通过提供两个虚拟扬声器仿佛在空间中处于稳定位置来补偿由头部跟踪传感器测量的用户的快速/自然头部移动。当用户行走或骑自行车时，可能发生用户的快速/自然头部移动。通过提供两个虚拟扬声器仿佛在空间中处于稳定位置，虚拟扬声器似乎不会跟随用户的快速/自然头部移动，而是虚拟扬声器在用户前面的空间中显得稳定。
头部跟踪传感器可以估计用户的观看方向θHT，并且补偿头部定向角的快速变化，使得当用户转头时两个虚拟扬声器在空间中保持静止。从科学文献中众所周知，在空间声音中添加头部跟踪会增加声音的外在化，即两个虚拟扬声器将被感知为3D空间中的“真实”扬声器。
在一些实施方式中，听力设备通过确保虚拟扬声器的延迟小于约50ms(毫秒)，例如小于40ms来补偿用户的快速/自然头部移动。优点是，延迟尽可能低，并且不应超过50ms。延迟越短，***越能使虚拟扬声器在快速头部移动期间保持在空间中的相同位置。
在一些实施方式中，听力设备被配置用于当用户执行除了快速/自然头部移动之外的真实转动时，向虚拟扬声器提供橡皮筋效应，以提供虚拟扬声器逐渐移位。这可以例如在用户在拐角周围行走时提供，使得当用户的头部转动90度并且头部不再转回时虚拟扬声器将逐渐转动90度。
在一些实施方式中，听力设备通过将约5至10秒的时间常数应用于头部跟踪传感器来提供橡皮筋效应。
当用户例如在拐角周围行走并旋转他/她的身体和头部约例如90度时，虚拟扬声器将“缓慢地”跟随用户的观看方向，即对抗头部***的影响。这可以通过在虚拟扬声器中具有感知的“橡皮筋”效应来提供，该“橡皮筋”效应将虚拟扬声器拖向观看方向。
在一些实施方式中，听力设备包括高通滤波器，用于滤除环境噪声，例如低于500Hz的频率、例如低于200Hz、例如低于100Hz。因此，高通滤波器可以应用于环境声音(例如交通声音)以滤除诸如风的不相关的环境噪声。
在一些实施方式中，第一主麦克风和/或第一次级麦克风是全向麦克风或定向麦克风。例如，全向麦克风可以被布置在耳机的后侧，使得耳机在前方上提供“阴影”。因此，定向麦克风和全向麦克风两者都可以提供朝向后方的后向灵敏度指向类型，例如指向后方的定向灵敏度。
作为定向麦克风或全向麦克风的替代，波束成形或波束成形器可以用于提供朝向后方的后向灵敏度指向类型。
在一些实施方式中，听力设备还包括：
-用于捕获周围声音的第二主麦克风；该第二主麦克风被布置在第一耳机中；
-用于捕获周围声音的第二次级麦克风；该第二次级麦克风被布置在第二耳机中；
-第一波束成形器，其被配置用于提供第一周围声音信号，其中，第一周围声音信号基于来自第一主麦克风的第一主输入信号和来自第二主麦克风的第二主输入信号，用于提供朝向后方的第一后向灵敏度指向类型；以及
-第二波束成形器，其被配置用于提供第二周围声音信号，其中，第二周围声音信号基于来自第一次级麦克风的第一次级输入信号和来自第二次级麦克风的第二次级输入信号，用于提供朝向后方的第二后向灵敏度指向类型。
因此，除了第一耳机中的第一主麦克风之外，第二主麦克风也可以被布置在第一耳机中用于提供麦克风信号的波束成形。同样地，除了第二耳机中的第一次级麦克风之外，第二次级麦克风也可以被布置在第二耳机中用于提供麦克风信号的波束成形。
在一些实施方式中，听力设备还包括：
-用于捕获周围声音的第三主麦克风和第四主麦克风；该第三主麦克风和第四主麦克风被布置在第一耳机中；
-用于捕获周围声音的第三次级麦克风和第四次级麦克风；该第三次级麦克风和第四次级麦克风被布置在第二耳机中；
其中，由第一波束成形器提供的第一周围声音信号进一步基于来自第三主麦克风的第三主输入信号和来自第四主麦克风的第四主输入信号，用于提供朝向后方的第一后向灵敏度指向类型；以及
其中，由第二波束成形器提供的第二周围声音信号进一步基于来自第三次级麦克风的第三次级输入信号和来自第四次级麦克风的第四次级输入信号，用于提供朝向后方的第二后向灵敏度指向类型。
因此，除了每个耳机中的第一麦克风和第二麦克风之外，第三麦克风和第四麦克风也可以被设置在每个耳机中，用于改进波束成形，并且因此改进朝向后方的后向灵敏度指向类型。
在一些实施方式中，第一主麦克风和/或第二主麦克风和/或第三主麦克风和/或第四主麦克风指向后方，用于提供朝向后方的第一后向灵敏度指向类型。
在一些实施方式中，第一次级麦克风和/或第二次级麦克风和/或第三次级麦克风和/或第四次级麦克风指向后方，用于提供朝向后方的第二后向灵敏度指向类型。
在一些实施方式中，第一主麦克风和/或第二主麦克风和/或第三主麦克风和/或第四主麦克风以一距离被布置在第一耳机中的水平方向上。第一耳机中的麦克风可以被布置为在水平方向上彼此之间具有尽可能大的距离，因为这可以提供改进的向后方的第一后向灵敏度指向类型。
在一些实施方式中，第一次级麦克风和/或第二次级麦克风和/或第三次级麦克风和/或第四次级麦克风以一距离被布置在第二耳机的水平方向上。第二耳机中的麦克风可以被布置为在水平方向上彼此之间具有尽可能大的距离，因为这可以提供改进的向后方的第二后向灵敏度指向类型。
在一些实施方式中，听力设备被配置为与电子装置连接，其中，音频声音信号从电子装置传输，并且其中，音频声音信号和/或周围声音信号被配置为由用户经由用户界面设置/控制。听力设备可以通过有线或无线(例如经由蓝牙)与电子装置连接。听力设备可以包括用于与电子装置通信的无线通信单元。无线通信单元可以是无线电单元和/或收发器。无线通信单元可以被配置用于蓝牙(BT)通信、用于Wi-Fi通信，例如3G、4G、5G等。
电子装置可以是被配置为播放音乐或无线电广播或实现电话交谈等的智能手机。因此，音频声音信号可以是音乐或无线电广播或电话交谈。音频声音可以经由电子装置上的软件应用程序(例如app)从电子装置传输。用户界面可以是电子装置(例如智能手机)上的用户界面，例如图形用户界面，例如电子装置上的app。可选地和/或附加地，用户界面可以是听力设备上的用户接口，诸如听力设备上的触摸面板，例如按钮等。
用户可以使用用户接口设置或控制音频声音信号和/或周围声音信号。用户可以使用用户接口设置或控制听力设备的模式，例如将听力设备设置为交通意识模式，其中，交通意识模式可以根据上面和下面公开的方面和实施方式。听力设备的其他模式也可以是可用的，例如透明模式、噪声消除模式、诸如仅播放音乐、无线电广播的仅音频模式等。听力设备可以自动设置模式本身。
根据一个方面，公开了一种用于音频传输的听力设备中的方法，其中，听力设备被配置为由用户佩戴。该方法包括在虚拟声音处理单元中接收音频声音信号。该方法包括在虚拟声音处理单元中处理音频声音信号以生成虚拟音频声音信号。该方法包括将虚拟音频声音信号转发到第一扬声器和第二扬声器，该第一扬声器和第二扬声器连接到虚拟声音处理单元，其中，对于用户而言，虚拟音频声音仿佛来自用户前方的两个虚拟扬声器的音频声音。该方法还包括由第一主麦克风捕获周围声音，以基于来自第一主麦克风的第一主输入信号提供第一周围声音信号；第一主麦克风被布置在第一耳机中，用于提供朝向后方的第一后向灵敏度指向类型。该方法还包括由第一次级麦克风捕获周围声音，以基于来自第一次级麦克风的第一次级输入信号提供第二周围声音信号；第一次级麦克风被布置在第二耳机中，用于提供朝向后方的第二后向灵敏度指向类型。该方法包括将第一周围声音信号传输到第一扬声器。该方法包括将第二周围声音信号传输到第二扬声器。由此，用户接收来自后方的周围声音，而来自前方的周围声音与来自后方的周围声音相比被衰减。
本发明涉及不同的方面，包括上面和下面描述的听力设备和方法，以及相应的头戴式耳机、软件应用程序、***、***部件、方法、装置、网络、套件、用途和/或产品装置，每个产生结合第一所述方面描述的一个或多个益处和优点，并且每个具有对应于结合第一所述方面描述和/或在所附权利要求公开的实施方式的一个或多个实施方式。
附图说明
通过参考附图对其示例性实施方式的以下详细描述，以上和其他特征以及优点对于本领域技术人员将变得显而易见，其中：
图1a)示意性地示出了由现有技术听力设备提供的声音环境的示例。
图1b)示意性地示出了由根据本申请的听力设备提供的声音环境的示例。
图2示意性地示出了用于音频传输的示例性听力设备。
图3a)和图3b)示意性地示出了具有听力设备的麦克风的示例性耳机。
图4a)和图4b)示意性地示出了在用于第一或左耳机(参见图4a))以及用于第二或右耳机(参见图4b))的听力设备中提供虚拟音频声音信号和周围声音信号的信号路径。
图5通过示出用于选择对于每个虚拟扬声器的头部相关脉冲响应(HRIR)的角度示意性地示出了虚拟扬声器的虚拟位置。
图6示意性地示出了用于音频传输的听力设备中的方法。
具体实施方式
在下文中参考图描述各种实施方式。相似的参考数字自始至终指的是相似的元件。因此，将不关于每个图的描述详细描述相似的元件。还应注意，图仅旨在促进实施方式的描述。它们并不旨在作为所要求保护的发明的详尽描述或作为所要求保护的发明的范围的限制。另外，所示出的实施方式不需要具有所示出的所有方面或优点。结合特定实施方式描述的方面或优点不必限于该实施方式，并且即使没有如此示出或者即使没有如此明确地描述，也可以在任何其他实施方式中实践。
自始至终，相同的参考数字用于相同或相应的部件。
图1a)示意性地示出了由现有技术听力设备提供的声音环境的示例。
图1b)示意性地示出了根据本申请的听力设备提供的声音环境的示例。
图1a)示出了具有正常“透明”模式在交通环境中收听听力设备或双耳式耳机音乐的现有技术示例。用户听到混合在一起的音乐和交通声音。
图1b)示出了本听力设备2和方法，其中，诸如音乐的音频通过两个虚拟扬声器20从前方播放，并且交通主要从后方播放而从前方衰减。
图1b)示意性地示出了用于音频传输的示例性听力设备2。听力设备2被配置为由用户4佩戴。听力设备2包括：包括第一扬声器8的第一耳机6。听力设备2包括：包括第二扬声器12的第二耳机10。听力设备2包括连接到第一耳机6和第二耳机10的虚拟声音处理单元(未示出)。虚拟声音处理单元被配置用于接收和处理音频声音信号以生成虚拟音频声音信号。虚拟音频声音信号被转发到第一扬声器8和第二扬声器12，其中，对于用户而言，虚拟音频声音仿佛来自用户4前面的两个虚拟扬声器20的音频声音22。听力设备2还包括用于捕获周围声音24、26的第一主麦克风(未示出)，以基于来自第一主麦克风的第一主输入信号提供第一周围声音信号。第一主麦克风被布置在第一耳机6中，用于提供向后方“REAR”的第一后向灵敏度指向类型。听力设备2还包括用于捕获周围声音24、26的第一次级麦克风(未示出)，以基于来自第一次级麦克风的第一次级输入信号提供第二周围声音信号。第一次级麦克风被布置在第二耳机10中，用于提供向后方“REAR”的第二后向灵敏度指向类型。听力设备2被配置用于将第一周围声音信号传输到第一扬声器8。听力设备2被配置用于将第二周围声音信号传输到第二扬声器12。由此，用户4接收来自后方“REAR”的周围声音24，而来自前方“FRONT”的周围声音26与来自后方“REAR”的周围声音24相比被衰减。来自前方“FRONT”的衰减的周围声音26由周围声音符号26示出，该周围声音符号26小于来自后方“REAR”的周围声音符号24。
在图1a)的现有技术示例中，与来自后方“REAR”的周围声音24相比，来自前方“FRONT”的周围声音26没有被衰减，并且这在图1a)中由来自前方“FRONT”的周围声音符号26示出，该周围声音符号26具有与来自后方“REAR”的周围声音符号24相同的大小。
此外，在图1a)的现有技术示例中，佩戴听力设备的用户将在头部听到作为立体声的音频声音(例如音乐)。这在图1a)中由用户的头部内的音符示出。
图2示意性地示出了用于音频传输的示例性听力设备2。听力设备2被配置为由用户4佩戴(未示出，参见图1b)。听力设备2包括：包括第一扬声器8的第一耳机6。听力设备2包括：包括第二扬声器12的第二耳机10。听力设备2包括连接到第一耳机6和第二耳机10的虚拟声音处理单元14。虚拟声音处理单元14被配置用于接收和处理音频声音信号以生成虚拟音频声音信号。虚拟音频声音信号被转发到第一扬声器8和第二扬声器12，其中，对于用户而言，虚拟音频声音仿佛来自用户前方的两个虚拟扬声器20(未示出，参见图1b)的音频声音。听力设备2还包括用于捕获周围声音的第一主麦克风16，以基于来自第一主麦克风16的第一主输入信号提供第一周围声音信号。第一主麦克风16被布置在第一耳机6中，用于提供朝向后方的第一后向灵敏度指向类型。听力设备2还包括用于捕获周围声音的第一次级麦克风18，以基于来自第一次级麦克风18的第一次级输入信号提供第二周围声音信号。第一次级麦克风18被布置在第二耳机10中，用于提供朝向后方的第二后向灵敏度指向类型。听力设备2被配置用于将第一周围声音信号传输到第一扬声器8。听力设备2被配置用于将第二周围声音信号传输到第二扬声器12。由此，用户接收来自后方的周围声音，而来自前方的周围声音与来自后方的周围声音相比被衰减。
听力设备2还可以包括头部跟踪传感器28，该头部跟踪传感器28包括加速度计、磁力计以及陀螺仪，用于跟踪用户的头部移动。
听力设备还可以包括连接第一耳机6和第二耳机10的头带30。
图3a)和图3b)示意性地示出了具有听力设备的麦克风的示例性耳机。
图3a)示意性地示出了第一耳机6的麦克风。第一耳机6可以是听力设备2的左耳机。第一耳机6包括第一主麦克风16。第一主麦克风16可以是提供后向灵敏度指向类型的全向麦克风或定向麦克风。
听力设备2还可以包括用于捕获周围声音的第二主麦克风32。第二主麦克风32被布置在第一耳机6中。
听力设备2可以包括第一波束成形器，其被配置用于提供第一周围声音信号，其中，第一周围声音信号基于来自第一主麦克风16的第一主输入信号和来自第二主麦克风32的第二主输入信号，用于提供朝向后方“REAR”的第一后向灵敏度指向类型。
听力设备还可以包括用于捕获周围声音的第三主麦克风34和第四主麦克风36。第三主麦克风34和第四主麦克风36被布置在第一耳机6中。
由第一波束成形器提供的第一周围声音信号进一步基于来自第三主麦克风34的第三主输入信号和来自第四主麦克风36的第四主输入信号，用于提供朝向后方“REAR”的第一后向灵敏度指向类型。
第一主麦克风16和/或第二主麦克风32和/或第三主麦克风34和/或第四主麦克风36指向后方“REAR”，用于提供朝向后方的第一后向灵敏度指向类型。
第一主麦克风16和/或第二主麦克风32和/或第三主麦克风34和/或第四主麦克风36以一距离布置在第一耳机6中的水平方向上。
图3b)示意性地示出了第二耳机10的麦克风。第二耳机10可以是听力设备2的右耳机。第二耳机10包括第一次级麦克风18。第一次级麦克风18可以是提供后向灵敏度指向类型的全向麦克风或定向麦克风。
听力设备2还可以包括用于捕获周围声音的第二次级麦克风38。第二次级麦克风38被布置在第二耳机10中。
听力设备2可以包括第二波束成形器，其被配置用于提供第二周围声音信号，其中，第二周围声音信号基于来自第一次级麦克风18的第一次级输入信号和来自第二次级麦克风38的第二次级输入信号，用于提供向后方“REAR”的第二后向灵敏度指向类型。
听力设备还可以包括用于捕获周围声音的第三次级麦克风40和第四次级麦克风42。第三次级麦克风40和第四次级麦克风42被布置在第二耳机10中。
由第二波束成形器提供的第二周围声音信号进一步基于来自第三次级麦克风40的第三次级输入信号和来自第四次级麦克风42的第四次级输入信号，用于提供向后方“REAR”的第二后向灵敏度指向类型。
第一次级麦克风18和/或第二次级麦克风38和/或第三次级麦克风40和/或第四次级麦克风42指向后方“REAR”，用于提供朝向后方的第二后向灵敏度指向类型。
第一次级麦克风18和/或第二次级麦克风38和/或第三次级麦克风40和/或第四次级麦克风42以一距离被布置在第二耳机10中的水平方向上。
图4a)和图4b)示意性地示出了在用于第一或左耳机(参见图4a))以及用于第二或右耳机(参见图4b))的听力设备中提供虚拟音频声音信号和周围声音信号的信号路径。
图4a)示意性地示出从立体声音乐输入和麦克风到用于第一耳机(例如用于用户的左耳)的耳机扬声器的信号路径。
SL是左通道立体声音频输入，诸如左通道立体声音乐输入。SR是右通道立体声音频输入，诸如右通道立体声音乐输入。
图4a)中的HRIR是左耳头部相关脉冲响应。人类通过获取源自一只耳朵的线索(单耳线索)，并通过比较两只耳朵处所接收的线索(差异线索或双耳线索)来估计源的位置。差异线索中包括到达时间差异和强度差异。单耳线索来自声源与人体解剖学之间的相互作用，其中，原始源声在进入耳道用于被听觉***处理之前被修改。这些修改对源位置进行编码，并且可以经由与源位置和耳朵位置相关的脉冲响应来捕获。这种脉冲响应称为头部相关脉冲响应(HRIR)。任意源声音与HRIR的卷积将该声音转换为如果该声音在源位置处播放，听者的耳朵在接收器位置处，听者会听到的声音。HRTF是HRIR的傅立叶变换。
上面表示为HRIR的用于左耳和右耳的HRTF描述了声源(x(t))在左耳和右耳处分别被感知为xL(t)和xR(t)之前的滤波。
立体声音频具有两个音频通道sR(t)和sL(t)。通过将(HRTF的)相应的四个头部相关传递函数与sR(t)和sL(t)卷积，可以在相对于例如-30度和+30度观察方向的角度+θ0和-θ0创建两个虚拟扬声器。
θL和θR分别是对于左虚拟扬声器和右虚拟扬声器的角度，因此HRIRθL是用于左虚拟扬声器的左耳头部相关脉冲响应，参见图1b)。HRIRθR是用于右虚拟扬声器的左耳头部相关脉冲响应，参见图1b)。
来自HRIRθR和HRIRθL的输出信号在虚拟声音处理单元14处加在一起，并被提供给第一校准滤波器hcal1，该第一校准滤波器hcal1提供虚拟音频声音信号56。
h1、h3 h4是用于每个麦克风输入的波束成形滤波器。图4a)中示出了四个麦克风，然而应当理解，可选地，在第一耳机6中可以有一个、两个或三个麦克风。
因此，h1是用于来自第一主麦克风16的第一主输入信号46的第一主波束成形滤波器。h2是用于来自第二主麦克风32的第二主输入信号48的第二主波束成形滤波器。h3是用于来自第三主麦克风34的第三主输入信号50的第三主波束成形滤波器。h4是用于来自第四主麦克风36的第四主输入信号52的第四主波束成形滤波器。
来自波束成形滤波器h1、h3以及h4的输出信号在用于第一波束成形器的加法器54处加在一起，并被提供给第二校准滤波器hcal2，该第二校准滤波器hcal2提供第一周围声音信号58。
第一h1、第二h2、第三h3以及第四h4主波束成形滤波器提供第一波束成形器。第一波束成形器被配置用于提供第一周围声音信号58，其中，第一周围声音信号58基于来自第一主麦克风16的第一主输入信号46和来自第二主麦克风32的第二主输入信号48和来自第三主麦克风34的第三主输入信号50以及来自第四主麦克风36的第四主输入信号52。第一周围声音信号58用于提供朝向后方的第一后向灵敏度指向类型。
虚拟音频声音信号56和第一周围声音信号58在60处加在一起，并且组合信号62被提供给第一扬声器8。
图4b)示意性地示出从立体声音乐输入和麦克风到用于第二耳机(例如用于用户的右耳)的耳机扬声器的信号路径。
S′L是左通道立体声音频输入，诸如左通道立体声音乐输入。S′R是右通道立体声音频输入，诸如右通道立体声音乐输入。
图4b)中的HRIR'是右耳头部相关脉冲响应。
立体声音频具有两个音频通道sR(t)和sL(t)。通过将相应的四个头部相关传递函数(HRTF)与sR(t)和sL(t)卷积，可以相对于例如-30度和+30度的观察方向以角度+θ0和-θ0创建两个虚拟扬声器。
θL和θR分别是对于左虚拟扬声器和右虚拟扬声器的角度，因此HRIR'θL是用于左虚拟扬声器的右耳头部相关脉冲响应，参见图1b)。HRIR'θR是用于右虚拟扬声器的右耳头部相关脉冲响应，参见图1b)。
来自HRIR′θR和HRIR′θL的输出信号在虚拟声音处理单元14′处加在一起，并被提供给第一校准滤波器h′cal1，该第一校准滤波器h′cal1提供虚拟音频声音信号56′。
h′1、h′3h′4是用于每个麦克风输入的波束成形滤波器。图4b)中示出了四个麦克风，然而应当理解，可选地，在第二耳机10中可以有一个、两个或三个麦克风。
因此，h′1是用于来自第一次级麦克风18的第一次级输入信号64的第一次级波束成形滤波器。h′2是用于来自第二次级麦克风38的第二次级输入信号66的第二次级波束成形滤波器。h′3是用于来自第三次级麦克风40的第三次级输入信号68的第三次级波束成形滤波器。h′4是用于来自第四次级麦克风42的第四次级输入信号70的第四次级波束成形滤波器。
来自波束成形滤波器h′1、h′3以及h′4的输出信号在用于第二波束成形器的加法器54′处加在一起，并被提供给第二校准滤波器h′cal2，该第二校准滤波器h′cal2提供第二周围声音信号72。
第一h′1、第二h′2、第三h′3以及第四h′4次级波束成形滤波器提供第二波束成形器。第二波束成形器被配置用于提供第二周围声音信号72，其中，第二周围声音信号72基于来自第一次级麦克风18的第一次级输入信号64和来自第二次级麦克风38的第二次级输入信号66和来自第三次级麦克风40的第三次级输入信号68以及来自第四次级麦克风42的第四次级输入信号70。第二周围声音信号72用于提供朝向后方的第二后向灵敏度指向类型。
虚拟音频声音信号56′和第二周围声音信号72在60′处加在一起，并且组合信号62′被提供给第二扬声器12。
图5示意性地示出了虚拟扬声器的虚拟位置。
图5示出了用于选择对于每个虚拟扬声器20的头部相关脉冲响应(HRIR)的角度。θC是参考方向74(例如，北)与两个虚拟扬声器20之间的中心线76之间的角度。θT是利用听力设备2的头部跟踪传感器28测量的用户4的头部方向78与参考方向74之间的角度。θL和θR是相对于头部方向78(θT)对于两个虚拟扬声器20(左虚拟扬声器L和右虚拟扬声器R)的角度。
来自外部装置(未示出)的音频声音可以是立体声音乐。立体声音乐具有两个通道sR(t)和sL(t)。通过将相应的四个头部相关传递函数(HRTF)与sR(t)和sL(t)卷积，两个虚拟扬声器20可以例如-30度和+30度在相对于观察方向或头部方向78以角度+θ0和-θ0创建。
角度θL和θR分别是相对于头部方向78(θT)对于两个虚拟扬声器20(左虚拟扬声器L和右虚拟扬声器R)的角度。
θL(n)＝θC(n)-θT(n)+30°
θR(n)＝θC(n)-θT(n)-30°
在一些实施方式中，听力设备2被配置用于当用户4执行除了快速/自然头部移动之外的真实转动时，向虚拟扬声器20提供橡皮筋效应，以提供虚拟扬声器20逐渐移位。听力设备2可以通过将约5至10秒的时间常数应用于头部跟踪传感器28来提供橡皮筋效应。可以通过将时间常数应用于角度θT来提供橡皮筋效应。
以下差分方程将“橡皮筋”效应添加到角度的估计中：
θC(n)＝θC(n-1)-α(θC(n-1)-θT(n-1)),0<α<1
图6示意性地示出了用于音频传输的听力设备中的方法600，其中，听力设备被配置为由用户佩戴。该方法包括，在步骤602处，在虚拟声音处理单元中接收音频声音信号。该方法包括，在步骤604处，在虚拟声音处理单元中处理音频声音信号以生成虚拟音频声音信号。该方法包括，在步骤606处，将虚拟音频声音信号转发到第一扬声器和第二扬声器，该第一扬声器和第二扬声器被连接到虚拟声音处理单元，其中，对于用户而言，虚拟音频声音仿佛是来自用户前方的两个虚拟扬声器的音频声音。该方法还包括，在步骤608处，由第一主麦克风捕获周围声音，以基于来自第一主麦克风的第一主输入信号提供第一周围声音信号；第一主麦克风被布置在第一耳机中，用于提供朝向后方的第一后向灵敏度指向类型。该方法还包括，在步骤610处，由第一次级麦克风捕获周围声音，以基于来自第一次级麦克风的第一次级输入信号提供第二周围声音信号；第一次级麦克风被布置在第二耳机中，用于提供朝向后方的第二后向灵敏度指向类型。该方法包括，在步骤612处，将第一周围声音信号传输到第一扬声器。该方法包括，在步骤614处，将第二周围声音信号传输到第二扬声器。由此，用户接收来自后方的周围声音，而来自前方的周围声音与来自后方的周围声音相比被衰减。
尽管已示出和描述了特定特征，但是应当理解，这些特征并不旨在限制所要求保护的发明，并且对于本领域技术人员显而易见的是，在不脱离所要求保护的发明的范围的情况下，可以进行各种改变和修改。因此，说明书和附图应被视为说明性的而不是限制性的。所要求保护的发明旨在覆盖所有替代、修改以及等同物。
参考标记列表
2 听力设备
4 用户
6 第一耳机
8 第一扬声器
10 第二耳机
12 第二扬声器
14、14' 虚拟声音处理单元
16 第一主麦克风
18 第一次级麦克风
20 虚拟扬声器
22 音频声音
24 来自后方的周围声音
26 来自前方的周围声音
28 头部跟踪传感器
30 头带
32 第二主麦克风
34 第三主麦克风
36 第四主麦克风
38 第二次级麦克风
40 第三次级麦克风
42 第四次级麦克风
SL、S′L 左通道立体声音频输入
SR、S′R 右通道立体声音频输入
θL 左虚拟扬声器相对于头部方向78的角度
θR 右虚拟扬声器相对于头部方向78的角度
HRIRθL 用于左虚拟扬声器的左耳头部相关脉冲响应
HRIRθR 用于右虚拟扬声器的左耳头部相关脉冲响应
h1 第一主波束成形滤波器
46 第一主输入信号
h2 第二主波束成形滤波器
48 第二主输入信号
h3 第三主波束成形滤波器
50 第三主输入信号
h4 第四主波束成形滤波器
52 第四主输入信号
54 用于第一波束成形器的加法器
54′ 用于第二波束成形器的加法器
h'cal1、hcal1 第一校准滤波器
56、56′ 虚拟音频声音信号
hcal1、h'cal2 第二校准滤波器
58 第一周围声音信号
60、60′ 用于虚拟音频声音信号56、56′和第一周围声音信号58/第二周围声音信号72的加法器
62、62' 组合信号
HRIR′θL 用于左虚拟扬声器的右耳头部相关脉冲响应
HRIR′θR 用于右虚拟扬声器的右耳头部相关脉冲响应
h′1 第一次级波束成形滤波器
64 第一次级输入信号
h′2 第二次级波束成形滤波器
66 第二次级输入信号
h′3 第三次级波束成形滤波器
68 第三次级输入信号
h′4 第四次级波束成形滤波器
70 第四次级输入信号
72 第二周围声音信号
θC 参考方向74与中心线76之间的角度
74 参考方向
76 中心线
78 用户的头部方向
θT 用户4的头部方向78与参考方向74之间的角度
600 用于音频传输的听力设备中的方法
602 在虚拟声音处理单元中接收音频声音信号的步骤
604 在虚拟声音处理单元中处理音频声音信号以生成虚拟音频声音信号的步骤
606 将虚拟音频声音信号转发到第一扬声器和第二扬声器的步骤，该第一扬声器和第二扬声器被连接到虚拟声音处理单元，其中，对于用户而言，虚拟音频声音仿佛是来自用户前方的两个虚拟扬声器的音频声音
608 由第一主麦克风捕获周围声音，以基于来自第一主麦克风的第一主输入信号提供第一周围声音信号的步骤；第一主麦克风被布置在第一耳机中，用于提供朝向后方的第一后向灵敏度指向类型
610 由第一次级麦克风捕获周围声音，以基于来自第一次级麦克风的第一次级输入信号提供第二周围声音信号的步骤；第一次级麦克风被布置在第二耳机中，用于提供朝向后方的第二后向灵敏度指向类型
612 将第一周围声音信号传输到第一扬声器的步骤
614 将第二周围声音信号传输到第二扬声器的步骤。

Claims (15)

1.一种用于音频传输的听力设备，所述听力设备被配置为由用户佩戴，所述听力设备包括：
-包括第一扬声器的第一耳机；
-包括第二扬声器的第二耳机；
-连接到所述第一耳机和所述第二耳机的虚拟声音处理单元，所述虚拟声音处理单元被配置用于接收和处理音频声音信号，以生成虚拟音频声音信号，
其中，所述虚拟音频声音信号被转发到所述第一扬声器和所述第二扬声器，其中，对于所述用户而言，所述虚拟音频声音仿佛是来自所述用户前方的两个虚拟扬声器的音频声音；
其中，所述听力设备还包括：
-用于捕获周围声音的第一主麦克风，以基于来自所述第一主麦克风的第一主输入信号提供第一周围声音信号；所述第一主麦克风布置在所述第一耳机中，用于提供朝向后方的第一后向灵敏度指向类型；
-用于捕获周围声音的第一次级麦克风，以基于来自所述第一次级麦克风的第一次级输入信号提供第二周围声音信号；所述第一次级麦克风布置在所述第二耳机中，用于提供朝向后方的第二后向灵敏度指向类型；
其中，所述听力设备被配置用于：
-将所述第一周围声音信号传输到所述第一扬声器而不传输到所述第二扬声器；以及
-将所述第二周围声音信号传输到所述第二扬声器而不传输到所述第一扬声器；
由此，所述用户接收来自后方的周围声音，来自前方的周围声音相比于来自后方的周围声音被衰减。
2.根据权利要求1所述的听力设备，其中，所述虚拟声音处理单元被配置用于借助于以下方式生成转发到所述第一扬声器和所述第二扬声器的所述虚拟音频声音信号：
-将第一左头部相关传递函数应用于所述第一耳机中接收的所述音频声音信号的左通道立体声音频声音信号；以及
-将第一右头部相关传递函数应用于所述第一耳机中接收的所述音频声音信号的右通道立体声音频声音信号；
以及
-将第二左头部相关传递函数应用于所述第二耳机中接收的所述音频声音信号的左通道立体声音频声音信号；以及
-将第二右头部相关传递函数应用于所述第二耳机中接收的所述音频声音信号的右通道立体声音频声音信号。
3.根据前述权利要求中任一项所述的听力设备，其中，所述听力设备包括头部跟踪传感器，所述头部跟踪传感器包括加速度计、磁力计以及陀螺仪。
4.根据权利要求3所述的听力设备，其中，所述听力设备被配置用于通过提供仿佛在空间中处于稳定位置的两个所述虚拟扬声器来补偿由所述头部跟踪传感器测量的所述用户的快速头部移动或自然头部移动。
5.根据权利要求1所述的听力设备，其中，所述听力设备通过确保所述虚拟扬声器的延迟小于50ms，来补偿所述用户的快速头部移动或自然头部移动。
6.根据权利要求3所述的听力设备，其中，所述听力设备被配置用于当所述用户执行除了快速头部移动或自然头部移动之外的真实转动时，向所述虚拟扬声器提供橡皮筋效应，所述橡皮筋效应是将所述虚拟扬声器逐渐转动到所述用户的观看方向。
7.根据权利要求6所述的听力设备，其中，所述听力设备通过将5秒至10秒的时间常数应用于所述头部跟踪传感器来提供所述橡皮筋效应。
8.根据权利要求1所述的听力设备，其中，所述听力设备包括高通滤波器，用于滤除环境噪声。
9.根据权利要求1所述的听力设备，其中，所述第一主麦克风和/或所述第一次级麦克风是全向麦克风或定向麦克风。
10.根据权利要求1所述的听力设备，其中，所述听力设备还包括：
-用于捕获周围声音的第二主麦克风；所述第二主麦克风被布置在所述第一耳机中；
-用于捕获周围声音的第二次级麦克风；所述第二次级麦克风被布置在所述第二耳机中；
-第一波束成形器，所述第一波束成形器被配置用于提供所述第一周围声音信号，其中，所述第一周围声音信号基于来自所述第一主麦克风的所述第一主输入信号和来自所述第二主麦克风的第二主输入信号，用于提供朝向后方的所述第一后向灵敏度指向类型；以及
第二波束成形器，所述第二波束成形器被配置用于提供所述第二周围声音信号，其中，所述第二周围声音信号基于来自所述第一次级麦克风的所述第一次级输入信号和来自所述第二次级麦克风的第二次级输入信号，用于提供朝向后方的所述第二后向灵敏度指向类型。
11.根据权利要求10所述的听力设备，其中，所述听力设备还包括：
-用于捕获周围声音的第三主麦克风和第四主麦克风；所述第三主麦克风和所述第四主麦克风被布置在所述第一耳机中；
-用于捕获周围声音的第三次级麦克风和第四次级麦克风；所述第三次级麦克风和所述第四次级麦克风被布置在所述第二耳机中；
其中，由所述第一波束成形器提供的所述第一周围声音信号进一步基于来自所述第三主麦克风的第三主输入信号和来自所述第四主麦克风的第四主输入信号，用于提供朝向后方的所述第一后向灵敏度指向类型；以及
其中，由所述第二波束成形器提供的所述第二周围声音信号进一步基于来自所述第三次级麦克风的第三次级输入信号和来自所述第四次级麦克风的第四次级输入信号，用于提供朝向后方的所述第二后向灵敏度指向类型。
12.根据权利要求11所述的听力设备，其中，所述第一主麦克风和/或所述第二主麦克风和/或所述第三主麦克风和/或所述第四主麦克风指向后方，用于提供朝向后方的所述第一后向灵敏度指向类型。
13.根据权利要求11所述的听力设备，其中，以一距离将所述第一主麦克风和/或所述第二主麦克风和/或所述第三主麦克风和/或所述第四主麦克风布置在所述第一耳机中的水平方向上。
14.根据权利要求1所述的听力设备，其中，所述听力设备被配置为与电子装置连接，其中，所述音频声音信号从所述电子装置传输，并且其中，所述音频声音信号和/或所述周围声音信号被配置为由所述用户经由用户界面设置/控制。
15.一种用于音频传输的听力设备中的方法，其中，所述听力设备被配置为由用户佩戴，所述方法包括：
-在虚拟声音处理单元中接收音频声音信号；
-在所述虚拟声音处理单元中处理所述音频声音信号以生成虚拟音频声音信号；
-将所述虚拟音频声音信号转发到第一扬声器和第二扬声器，所述第一扬声器和所述第二扬声器连接到所述虚拟声音处理单元，其中，对于所述用户而言，所述虚拟音频声音仿佛是来自所述用户前方的两个虚拟扬声器的音频声音；
其中，所述方法还包括：
-由第一主麦克风捕获周围声音，以基于来自所述第一主麦克风的第一主输入信号提供第一周围声音信号；所述第一主麦克风布置在第一耳机中，用于提供朝向后方的第一后向灵敏度指向类型；
-由第一次级麦克风捕获周围声音，以基于来自所述第一次级麦克风的第一次级输入信号提供第二周围声音信号；所述第一次级麦克风布置在第二耳机中，用于提供朝向后方的第二后向灵敏度指向类型；
其中，所述方法包括：
-将所述第一周围声音信号传输到所述第一扬声器而不传输到所述第二扬声器；以及
-将所述第二周围声音信号传输到所述第二扬声器而不传输到所述第一扬声器；
由此，所述用户接收来自后方的周围声音，来自前方的周围声音相比于来自后方的周围声音被衰减。
CN201911273151.3A 2018-12-13 2019-12-12 提供虚拟声音的听力设备 Active CN111327980B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18212246.5A EP3668123B1 (en) 2018-12-13 2018-12-13 Hearing device providing virtual sound
EP18212246.5 2018-12-13

Publications (2)

Publication Number Publication Date
CN111327980A CN111327980A (zh) 2020-06-23
CN111327980B true CN111327980B (zh) 2024-07-02

Family

ID=64665292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911273151.3A Active CN111327980B (zh) 2018-12-13 2019-12-12 提供虚拟声音的听力设备

Country Status (3)

Country Link
US (1) US11805364B2 (zh)
EP (1) EP3668123B1 (zh)
CN (1) CN111327980B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111918176A (zh) * 2020-07-31 2020-11-10 北京全景声信息科技有限公司 音频处理方法、装置、无线耳机以及存储介质
CN111918177A (zh) * 2020-07-31 2020-11-10 北京全景声信息科技有限公司 音频处理方法、装置、***以及存储介质
EP4125276A3 (en) * 2021-07-30 2023-04-19 Starkey Laboratories, Inc. Spatially differentiated noise reduction for hearing devices
CN115967883A (zh) * 2021-10-12 2023-04-14 Oppo广东移动通信有限公司 耳机、用户设备及处理信号的方法
US11890168B2 (en) * 2022-03-21 2024-02-06 Li Creative Technologies Inc. Hearing protection and situational awareness system
US20240205632A1 (en) * 2022-12-15 2024-06-20 Bang & Olufsen, A/S Adaptive spatial audio processing

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7031460B1 (en) 1998-10-13 2006-04-18 Lucent Technologies Inc. Telephonic handset employing feed-forward noise cancellation
GB0419346D0 (en) 2004-09-01 2004-09-29 Smyth Stephen M F Method and apparatus for improved headphone virtualisation
JP2007036608A (ja) * 2005-07-26 2007-02-08 Yamaha Corp ヘッドホン装置
JP2010124251A (ja) * 2008-11-19 2010-06-03 Kenwood Corp オーディオ装置、音響再生方法
US8160265B2 (en) * 2009-05-18 2012-04-17 Sony Computer Entertainment Inc. Method and apparatus for enhancing the generation of three-dimensional sound in headphone devices
US8831255B2 (en) * 2012-03-08 2014-09-09 Disney Enterprises, Inc. Augmented reality (AR) audio with position and action triggered virtual sound effects
US9020157B2 (en) * 2012-03-16 2015-04-28 Cirrus Logic International (Uk) Limited Active noise cancellation system
US20140126736A1 (en) 2012-11-02 2014-05-08 Daniel M. Gauger, Jr. Providing Audio and Ambient Sound simultaneously in ANR Headphones
JP6330251B2 (ja) * 2013-03-12 2018-05-30 ヤマハ株式会社 密閉型ヘッドフォン用信号処理装置および密閉型ヘッドフォン
US9363596B2 (en) 2013-03-15 2016-06-07 Apple Inc. System and method of mixing accelerometer and microphone signals to improve voice quality in a mobile device
KR101984356B1 (ko) 2013-05-31 2019-12-02 노키아 테크놀로지스 오와이 오디오 장면 장치
US9180055B2 (en) 2013-10-25 2015-11-10 Harman International Industries, Incorporated Electronic hearing protector with quadrant sound localization
CN105917674B (zh) 2013-10-30 2019-11-22 华为技术有限公司 用于处理音频信号的方法和移动装置
EP3105942B1 (en) * 2014-02-10 2018-07-25 Bose Corporation Conversation assistance system
US9532131B2 (en) * 2014-02-21 2016-12-27 Apple Inc. System and method of improving voice quality in a wireless headset with untethered earbuds of a mobile device
US9681246B2 (en) * 2014-02-28 2017-06-13 Harman International Industries, Incorporated Bionic hearing headset
US10231056B2 (en) 2014-12-27 2019-03-12 Intel Corporation Binaural recording for processing audio signals to enable alerts
CN108141684B (zh) * 2015-10-09 2021-09-24 索尼公司 声音输出设备、声音生成方法以及记录介质
US10045110B2 (en) 2016-07-06 2018-08-07 Bragi GmbH Selective sound field environment processing system and method
US9980075B1 (en) * 2016-11-18 2018-05-22 Stages Llc Audio source spatialization relative to orientation sensor and output
US20180324514A1 (en) * 2017-05-05 2018-11-08 Apple Inc. System and method for automatic right-left ear detection for headphones
US10375506B1 (en) * 2018-02-28 2019-08-06 Google Llc Spatial audio to enable safe headphone use during exercise and commuting

Also Published As

Publication number Publication date
US20200196058A1 (en) 2020-06-18
EP3668123A1 (en) 2020-06-17
CN111327980A (zh) 2020-06-23
EP3668123B1 (en) 2024-07-17
US11805364B2 (en) 2023-10-31

Similar Documents

Publication Publication Date Title
CN111327980B (zh) 提供虚拟声音的听力设备
US9930456B2 (en) Method and apparatus for localization of streaming sources in hearing assistance system
CN105530580B (zh) 听力***
US9307331B2 (en) Hearing device with selectable perceived spatial positioning of sound sources
JP6092151B2 (ja) 空間的に信号を強調する補聴器
US11438713B2 (en) Binaural hearing system with localization of sound sources
JP6193844B2 (ja) 選択可能な知覚空間的な音源の位置決めを備える聴覚装置
US11457308B2 (en) Microphone device to provide audio with spatial context
JP7031668B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
US20230276188A1 (en) Surround Sound Location Virtualization
EP2806661B1 (en) A hearing aid with spatial signal enhancement
EP2887695B1 (en) A hearing device with selectable perceived spatial positioning of sound sources
US11856370B2 (en) System for audio rendering comprising a binaural hearing device and an external device
WO2023061130A1 (zh) 耳机、用户设备及处理信号的方法
US11706580B2 (en) Multi-input push-to-talk switch with binaural spatial audio positioning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant