CN102318374B - 头部跟踪方法和***、以及音频再现*** - Google Patents

头部跟踪方法和***、以及音频再现*** Download PDF

Info

Publication number
CN102318374B
CN102318374B CN201080007612.3A CN201080007612A CN102318374B CN 102318374 B CN102318374 B CN 102318374B CN 201080007612 A CN201080007612 A CN 201080007612A CN 102318374 B CN102318374 B CN 102318374B
Authority
CN
China
Prior art keywords
head
user
movement
reference direction
rotation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080007612.3A
Other languages
English (en)
Other versions
CN102318374A (zh
Inventor
P.H.A.迪伦
A.W.J.乌门
E.G.P.舒伊杰斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN102318374A publication Critical patent/CN102318374A/zh
Application granted granted Critical
Publication of CN102318374B publication Critical patent/CN102318374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • H04S7/304For headphones

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提出了一种头部跟踪***(400),其确定用户(100)头部(100b)相对于参考方向(310)的旋转角度(300),该参考方向与用户(100)的移动有关。这里,用户的移动应被理解为移动的动作或过程,包括例如地点、位置或姿势的变化,如例如躺下或坐在休闲椅上。按照本发明的该头部跟踪***包括:传感设备(410),用于测量头部移动以提供表示头部移动的度量(401);以及处理电路(420),用于根据度量导出用户头部相对于参考方向的旋转角度。处理电路(420)中使用的参考方向(310)与用户的移动有关。使参考方向(310)与用户移动有关的好处在于:确定头部(100b)的旋转角度(300)与环境无关,即相对于环境不固定。因此,每当用户(100)例如在移动以及他的身体部位经历移动时,参考方向适应于该移动。

Description

头部跟踪方法和***、以及音频再现***
技术领域
本发明涉及头部跟踪***,本发明还涉及头部跟踪方法。此外,本发明还涉及音频再现***。 
背景技术
头戴式耳机的声音再现典型地提供了一种声音在“头部内”被感知的体验。已经开发了各种不同的虚拟化算法,其产生位于特定距离处和特定方向上的声源的幻觉。典型地,这些算法的目的是近似声源(例如在立体声的情况下,用户前面的两个扩音器)到人耳的传递函数。因此,虚拟化也被称为双耳声再现。 
然而,仅仅应用固定的虚拟化不足以产生逼真的头部外幻觉。人的方向感知似乎对头部移动非常敏感。如果虚拟声源随着头部的移动而移动,如同在固定虚拟化的情况下,那么头部外体验就明显降级。如果感知的声场和头部位置之间的关系与对于固定声源布置所预期的不同,那么声源定位幻觉/感知则大大降级。 
对该问题的补救是应用头部跟踪,如例如在P. Minnaar, S.k.Olesen, F.Christensen, H.Moller的“The importance of head movements for binaural room synthesis”, Proceedings of the 2001 International Conference on Auditory Display, Espoo, Finland,2001年7月29日-8月1日中所提出的,其中头部位置利用传感器来测量。然后根据头部位置来调节虚拟化算法,从而计及从虚拟声源到耳朵的变化的传递函数。 
对于头部外幻觉,众所周知的是头部的轻微移动是最重要的,如下文所示:P.Mackensen的 “Auditive Localization, Head movements, an additional cue in Localization”, Von der Fakultat I-Geisteswissenschaften der Technischen Universitat Berlin。头部的偏转(yaw)对于声源定位比头部的俯仰和横滚显然更为重要。偏转(通常称为方位)是相对于头部的中间位置定义的取向并且与头部的旋转有关。 
今天,可获得大量的头部跟踪***(主要是消费者头戴式耳机或游戏应用),该***使用例如超声技术(例如BeyerDynamic Headzone PRO头戴式耳机)、红外技术(例如NaturalPoint TrackIR plus TrackClip)、发送器/接收器、陀螺仪(例如Sony MDR-IF8000/MFR-DS8000)或者多个传感器(例如Polhemus FASTRAK 6DOF)。通常,这些头部跟踪***通过使用具有相对于环境的稳定(不变)位置的固定参考(例如红外信标,或者使用地球磁场)、或者通过使用一旦被校准在收听会话期间就不会明显漂移的传感器技术(例如通过使用高精度陀螺仪)来确定相对于环境的头部位置。 
然而,这些已知的头部跟踪***不能被容易地用于其中用户移动的移动应用中。对于这类应用,获得位置和取向参考通常是困难的或者是不可能的,因为环境通常是事先未知的并且不受用户的控制。 
发明内容
本发明的目的是提供一种能够被用于移动用户的增强型头部跟踪***。该发明由独立权利要求所限定。从属权利要求限定有利的实施例。 
本发明所提出的头部跟踪***确定用户头部相对于参考方向的旋转角度,参考方向与用户的移动有关。这里,用户的移动应理解为移动的动作或过程,包括例如地点、位置、或姿势的改变,如躺下或坐在休闲椅上。按照本发明的头部跟踪***包括:传感设备,用于测量头部移动以提供表示头部移动的度量;以及处理电路,用于根据度量导出用户头部相对于参考方向的旋转角度。处理电路中使用的参考方向与用户的移动有关。 
使参考方向与用户移动有关的好处在于:确定头部的旋转角度与环境无关,即不是固定于环境的。因此,每当用户例如在移动以及他的身体部位经历移动,则参考方向适应该移动。可以非正式地说,参考方向随着用户的移动而移动。例如,当用户步行或跑步并且向左或右瞥视时,参考方向不应改变。然而,当步行或跑步的用户转弯时,他的身体经历位置的改变(倾斜),尤其是在持续长时间时,这应导致参考方向的改变。该特性在头部跟踪设备与音频再现设备一起使用时尤其重要,其中音频再现设备包括用于在保持头部外体验印象的同时产生逼真体验的头戴式耳机。本发明允许虚拟声场取向相对于环境不固定,而是随着用户移动。在各种不同的其中用户使用例如便携式媒体播放器或移动电话上的双耳声回放的移动场景中,在他移动期间,这是一个非常理想的特性。于是根据头部取向来调节声场虚拟化,从而计及从虚拟声源到耳朵的传递函数的变化。对于移动应用,绝对的头部取向是较少相关的,因为无论如何用户正在移位。因此,相对于地面来固定声源图像是不期望的。 
处理电路还被配置用于将参考方向确定为在用户移动期间用户头部的平均方向。当用户进行轻微的头部移动同时例如向笔直前方看时,可以相对于作为笔直向前的方向的参考方向精确地测量到这些轻微的头部移动。然而,当例如向左旋转头部45度并保持头部平均起来在该位置时,测量相对于该新的头部位置的轻微头部移动是很重要的。因此,使用头部的平均方向作为参考方向是有利的,因为它允许头部跟踪适应长期头部移动(例如侧向看某段时间,其长于仅几秒)和/或用户行进路径的变化(例如当骑自行车时转弯)。预期的是,当长时间段测量时,平均起来头部的方向将典型地对应于用户躯干的方向。该移动应用中的另一优点在于,头部跟踪传感器,特别是加速计,表现出与噪声和传感器的非线性有关的漂移。这又导致随时间累积的错误,并且导致恼人的虚拟声源的固定位置偏差。然而,当使用本发明时克服了该问题,因为所提出的头部跟踪对这类累积的错误高度不敏感。 
在另一实施例中,传感设备至少包括加速计,用于导出用户头部旋转的角速度作为基于由旋转所引起的离心力的度量。加速计可以放置在头顶,或者当两个加速计被用在头部的相对侧时,优选靠近耳朵。在消费应用中加速计现在是一种成本节省的商品。另外,与其它替代物如陀螺仪传感器相比,加速计具有较低的功耗。 
在另一实施例中,处理电路被配置成根据用户头部的角速度导出用户头部的平均方向。头部的平均方向通过随时间积分角速度来获得。这样,平均头部方向被当作用户身体方向的估计。该实施例的优点在于不需要附加的传感器来确定头部的角旋转。 
在另一实施例中,平均方向被确定为在预定时间段上旋转角度的平均值。例如平均方向可以在滑动时间窗上获得。这样,表示估计的身体方向的平均头部取向变得与远在过去的身体方向无关,从而允许所述估计适应于例如在行进期间转弯时等情况下所发生的用户身体的重定向。 
所述取平均是自适应的。所述取平均可以在预定时段上进行。已经观察到,对于大的预定时段,已经获得了对于轻微且快速的头部移动的良好响应,但是它导致对头部重定向的适应缓慢。这给出了对于移动应用(例如当在自行车上转弯时)的次最优的性能。相反,对于小的预定时段值,头部跟踪提供了差的响应,因为它导致了不稳定的声音成像。因此,有利的是使用头部跟踪***对于大的重定向而不是小的重定向的更快的适应。因此,头部跟踪***对于又用于虚拟化体验的轻微头部移动适应缓慢,而对于由交通驾驶导致的重定向、或明显的以及长时间的头部移动适应快速。 
在另一实施例中,处理电路还被配置用于使用在用户移动期间用户身体躯干的方向作为参考方向。典型地,在固定的收听环境中,扩音器被布置成使得这种布置的中心(例如由物理中心扩音器表示)在用户身体的前方。通过将身体躯干作为用户身体表示,双耳声再现模式的虚拟声源可以类似地被放置成好像它们被布置在用户身体的前方。该实施例的优点在于,虚拟声源布置唯一地与用户方向有关而不依赖于环境。这消除了使参考点与用户分离的必要性。此外,本实施例对于其中环境总在变化的移动应用是很方便的。 
在另一实施例中,用户身体躯干的方向被确定为位于身体躯干上的参考点的前向身体方向。例如,参考点可以选择在胸骨中心处或心窝处。该实施例的优点在于通过选择,参考点处于相对于躯干取向方向稳定的点处,因此它缓解了对校准参考方向的需要。 
在另一实施例中,传感设备包括附着于参考点的磁发射器,以及附着于用户头部用于接收磁发射器发射的磁场的磁传感器。通过发射磁场以及测量接收的场强,头部的取向可以有利地以无线且非干扰性的方式来测量而不需要附加的物理或机械装置。 
在另一实施例中,磁发射器包括置于横向平面内的两个正交线圈,其中两个正交线圈中每个的磁场利用不同的调制频率来调制。优选地,第一线圈置于左右方向,且第二线圈置于前后方向。这样,创建了具有不同取向的两个磁场,其使得磁传感器能够例如借助于所观察到的场强之间的比值(而不是响应于绝对的场强)来分辨相对于两个线圈的取向。因此,所述方法变得对于例如可能由改变到发射器的距离而产生的绝对场强变化更具鲁棒性。 
用不同调制频率来调制两个正交线圈的磁场对于抑制参考磁场的固定失真(由附近的铁磁材料如柱、椅、火车客车构造等或透射材料如裹在磁发射器或磁传感器上面的覆盖物引起)是特别有利的。该磁场可以用相对较高的频率来调制,优选在20-30kHz的频率范围内,从而抑制了该频带外的波动,如由前述外部影响产生的缓慢变化。本实施例的附加优点在于,通过针对磁发射器的两个线圈选择不同的调制频率,以及通过在磁传感器中的所接收的磁场上对这些频率使用选择性滤波,可以用包括单个线圈的磁传感器来感测两个维度中的头部方向。 
在另一实施例中,磁传感器包括线圈,其中所述线圈被放置在用户头部的预定方向上。这是一个方便的线圈取向,因为它简化了旋转角度的计算。 
在另一实施例中,处理电路被配置用于根据磁传感器接收的磁场导出用户头部的旋转角度作为度量。 
按照本发明的另一方面,提供一种头部跟踪方法。应理解,上述特征、优点、注解等可同样地应用于本发明的该方面。 
本发明还提供一种音频再现***,其包括按照本发明的头部跟踪***。 
本发明的这些和其它方面、特征和优点根据以下描述的实施例将是清楚明白的,并且参考这些实施例对其进行了阐述。 
附图说明
图1图示了头部旋转; 
图2显示了用户头部相对于参考方向的旋转角度;
图3图示了用户头部相对于参考方向的旋转角度,其中参考方向与用户的移动有关;
图4示意性示出了按照本发明的头部跟踪***的示例,该头部跟踪***包括传感设备和处理电路;
图5示出了包括至少一个加速计的传感设备的示例,该加速计用于基于由头部旋转产生的离心力导出头部旋转的角速度;
图6示出了包括磁发射器以及用于接收由磁发射器发射的磁场的磁传感器的传感设备的示例,其中磁发射器包括单个线圈;
图7示出了包括磁发射器以及用于接收由磁发射器发射的磁场的磁传感器的传感设备的示例,其中磁发射器包括两个线圈;
图8示出了包括按照本发明的头部跟踪***的音频再现***的示例架构;以及
图9示出了包括按照本发明的头部跟踪***的音频再现***的示例架构的实际实现。
具体实施方式
本发明涉及头部跟踪,其适合应用于产生逼真头部外幻觉的头戴式耳机再现。 
图1图示了头部旋转。用户身体100描绘有身体躯干100a和头部100b。轴210是头部旋转轴。旋转本身通过箭头200描绘。 
图2示出了用户头部100b相对于参考方向310的旋转角度300。描述了用户100的顶视图。方向310被假定为身体躯干100a的前向方向,其也被认为是头部100b的中间方向。于是,前向身体方向被确定为用用户肩膀作为参考且面向用户脸部所指向的方向的方向。无论用户身体的位置如何,例如用户是正躺着还是半坐半躺在休闲椅上,该前向身体方向是确定的。在该说明书的剩余部分,使用参考方向的上述定义。然而,也可以使用与用户身体部位有关的参考方向的其它选择。方向310是用于确定旋转角度300的参考方向。该参考方向与用户100的移动有关。 
图3图示了用户头部100b相对于参考方向310的旋转角度300,其中参考方向310与用户的移动330有关。用户身体沿着轨迹330从位置A移动到位置B。在用户移动期间,他的参考方向310改变到不同于310方向的新参考方向310a。位置A的旋转角度相对于参考方向310被确定。位置B的旋转角度相对于新参考方向310a被确定,尽管以与身体躯干100a的前向方向相同的方式来确定,该新参考方向310a按绝对值项来说不同于方向310。 
图4示意性示出了按照本发明的头部跟踪***400的示例,其包括传感设备410和处理电路420。传感设备410测量头部移动并将代表头部移动的度量401提供给处理电路420。处理电路420根据从传感设备410获得的度量401导出用户100头部100b相对于参考方向310的旋转角度300。处理电路420中使用的参考方向310与用户100的移动有关。 
传感设备410可以利用已知的传感器元件如例如加速计、磁传感器或陀螺仪传感器来实现。每个这些不同类型的传感器元件提供移动(特别是旋转)的度量401,其表达为不同的物理量。例如,加速计提供旋转的角速度,而磁传感器提供磁场的强度作为旋转的度量。这种度量被处理电路处理以产生头部旋转角度300。从头部跟踪***的略图很清楚,该***是自含式的,并且不需要附加的(外部的,这里理解为与用户分离的)与用户当前所处的环境有关的参考信息。用于确定旋转角度300所需的参考方向310从度量401导出,或者是所使用的传感设备410所固有的。这在后续的实施例中将详细地解释。 
在一实施例中,处理电路420还被配置成将参考方向确定为在用户移动期间用户头部的平均方向。从声源虚拟化目的的角度来看,当围绕头部100b的平均方向进行轻微的移动(例如笔直向前看)时,声源停留在相对于该环境的固定位置,而声源虚拟化将在该移动的相反方向上移动声源以补偿用户的头部移动。然而,当改变头部100b的平均方向(如向左旋转头部100b 45度)并将头部保持在该新方向上明显长于预定时间常数时,虚拟声源将跟随并重新对齐到该新的头部平均方向。所提及的预定时间常数允许人的感知锁定到该平均声源取向,同时还让头部跟踪适应于更长时间的头部移动(例如侧向看超过若干秒)和/或改变行进路径(例如骑自行车时转弯)。 
图5示出了包括至少一个加速计的传感设备的示例,该加速计用于基于由头部旋转300产生的离心力导出头部旋转的角速度200。描绘了头部100b的顶视图。实际的头部方向由310来描绘。由元素410和420描绘加速计。由旋转产生的根据向外指向的加速度导出的离心力分别由510和520来描绘。 
头部旋转的角速度如何根据由旋转产生的离心力来导出的解释可以在例如Media Engineering of Marcel Knuth的毕业论文, Development of a head-tracking solution based on accelerometers for MPEG Surround, 24.09.2007, Philips Applied Technologies University of Applied Sciences Düsseldorf and Philips Research Department of Media中找到。头部旋转的角速度作为度量401被提供给处理装置420。 
尽管图5所示的示例描绘了两个加速计,但是可替换地,可以仅使用一个加速计,即或者加速计410或者420。 
在另一实施例中,处理电路被配置成根据用户头部100b的角速度导出用户头部100b的平均方向。头部旋转的角度300通过积分角速度来获得。如传感设备410中可用的离心力的大小与旋转方向无关。为了确定头部100b是左到右旋转还是右到左旋转,可以使用在一个或两个传感器的前后方向上的加速度信号成分的符号。在这种情况下,该附加的符号信息需要从传感设备410传递到处理电路420。 
随后将高通滤波器应用于头部旋转角度300,获得头部旋转角度相对于平均旋转(其在该说明书中通常被称为平均旋度(mean rotation))的变化。平均旋度因此被视作用于确定旋转角度300的参考方向310。用于高通滤波器的典型时间常数大约为几秒。 
可替换地,头部旋转角度300相对于平均旋度的变化可以利用低通滤波来获得。在这种情况下,首先,利用施加于实际旋转角度O(t)实际的低通滤波LPF()来计算平均方向,即参考方向310,以及然后,计算实际和平均方向之差以确定与旋转角度300有关的相对方向: 
O(t)相对=O(t)实际-O(t)平均,其中
O(t)平均=LPF(O(t)实际)
当使用线性低通滤波器时,该两步方法等同于高通滤波。然而,利用低通滤波的优点是它允许用于非线性确定,如在第一步中使用平均方向自适应过滤或滞后现象。
在另一实施例中,平均方向,因此参考方向310被确定为在预定时间段上旋转角度300的平均值。因此该平均方向通过按照以下等式在过去的T秒上对方向取平均来确定: 
应注意,上面给出的取平均可以被看作矩形FIR低通滤波器。各种不同的值可以用于T,但是优选在1至10秒的范围内。大的T值对轻微且快速的移动给出良好响应,但是它们还导致对重定向的缓慢适应。这在移动情况下(例如在骑自行车转弯期间)性能次最优。相反,小的T值与头戴式耳机再现结合导致即使在轻微的头部旋转时成像也不稳定。 
在另一实施例中,取平均是自适应的。有利的是适应于较大重定向(即大的旋转角度)比针对小的重定向更快。该自适应性通过使平均时间Tα自适应来实现。这可以按照下式来完成: 
,其中
Tα=Tmax + R. (Tmin - Tmax),以及
相对方向比R从范围[0,1]中取值。如果相对方向等于或超过给定旋转角度Omax,那么相对方向比R取最大值1。在此情况下,平均时间Tα取值Tmin。这导致快速的适应于大的瞬间相对重定向。相反,具有时间常数Tmax的缓慢适应发生于小的瞬间相对重定向。针对适应参数Tmin,Tmax和Omax的示例设置为: 
Tmin=3s,
Tmax=10s,
Omax= 60°。
这些参数值在适应速度性能方面表现良好,对于(想象的)在汽车行驶或通过自行车行进也表现良好。遗憾的是,当头部方向在较远的过去变化明显而在最近的过去仅有微小变化的情况下,上述的自适应取平均可能变得不稳定。在这种情况下,平均时间常数在最小值Tmin和最大值Tmax之间振荡。为了克服稳定性问题,可以用自适应IIR低通滤波器来代替FIR滤波器,其导致以下适应性: 
,其中
,以及
这里,按照相对方向比R,截止频率fc(而不是时间常数,如在平均滤波器中那样)线性地内插在最小值fc, min和最大值fc, max之间。 
针对适应性参数fc, min,fc, max和Omax的示例设置为: 
fc, min =1/30Hz,
fc, max =1/8Hz,
Omax= 90度。
尽管以上参数取固定值,还可以允许这些参数值随时间变化以便更好地适应实际情况,如乘坐汽车/火车/自行车行进、步行、坐在家里等。 
在另一实施例中,处理电路420还被配置成在用户100移动期间使用用户身体躯干100a的方向作为参考方向310。对于移动应用,绝对头部取向被认为是较少相关的,因为无论如何用户正在移位。因此,将身体躯干的前指方向作为参考方向是有利的。 
在另一实施例中,用户身体躯干100a的方向被确定为位于身体躯干上的参考点的前向身体方向。这样的参考点优选应整体代表身体躯干方向。这可以是例如胸骨或心窝位置,该位置在用户100移动时表现出很少或没有侧向或上下波动。提供参考方向本身可以通过使用例如明确的参***来实现,该参***被穿戴在相对平稳的身体躯干100a的已知位置。例如,它可以是皮带上的可以夹住的设备。 
图6示出了包括磁发射器600以及用于接收由磁发射器600发射的磁场的磁传感器630的传感设备410的示例,其中磁发射器包括单个线圈610。参考方向由位于身体躯干100a的参考点的磁发射器610来提供。磁传感器630附着在头部100b。依赖于头部100b的旋转,由磁传感器630接收的磁场相应变化。由磁传感器630接收的磁场为提供给处理电路420的度量401,其中旋转角度300根据度量401导出。 
根据场强,旋转角度300可以如下确定。在与发射器线圈相比较相对大距离的轴210处,所发射的场的磁场线近似均匀分布,并且在平行于发射器线圈的取向上布设。当磁传感器630中包括的接收器线圈与给定距离处的发射器线圈平行布置时,接收到的场强等于净值B0。当将接收器线圈旋转角度α时,所接收的场强B(α)变为: 
B(α) = Bsin (α)
并且头部旋转的角度可以根据接收的场强导出为:
注意,arcsin函数将场强映射到角度[-90°,90°]上。但是本质上,头部旋转角度还受限于180°的范围(最左边到最右边)。通过从左到右布置发射器线圈或相反,头部旋转可以在整个180°范围上被明确地跟踪。 
图7示出了包括磁发射器600以及用于接收由磁发射器600发射的磁场的磁传感器630的传感设备的示例,其中磁发射器包括两个线圈610和620。这两个线圈610和620被正交布置,其中第一线圈610被置于左右方向上,以及第二线圈620置于前后方向上。由两个正交线圈中的每个产生的磁场利用不同的调制频率来调制。这与对磁传感器中的这些频率(典型地例如在20至40kHz)进行选择性滤波结合,允许如下所示的仅仅利用磁传感器中的单个线圈来感测两个方向上的取向。所接收的场由两个分量的和构成,两个发射器线圈610和620中每个线圈一个分量: 
通过滤波,这两个分量可以被分离,并且它们的峰值比R可以被确定: 
通过确保在发射器处两个发射的磁场分量具有相同的强度,并且因此在接收器处也具有相同的峰值强度(B0,610,peak=B0,620,peak),上式可以被简化成: 
并且头部旋转的角度可以根据接收的峰值场强的比R导出为:
应注意,与前述确实和绝对场强有关的单个发射器线圈实施例相比,在该实施例中,头部旋转的角度与例如由发射器和接收器线圈之间的距离变化产生的绝对场强无关。 
应明白,度量401包括从线圈610和620接收的磁场。可替换地,当这两个场具有相同的传输强度时,比值R可以提供给处理电路420。根据磁传感器630接收的磁场或比值R导出旋转角度在处理电路420中进行。 
可以使用3D加速计来替代磁发射器和磁传感器,其中一个3D加速计放置在参考点,并且第二加速计被附着到用户头部。两个加速计的度量的差别随后可以用于计算旋转角度。 
图8示出了包括按照本发明的头部跟踪***400的音频再现***700的示例架构。头部旋转角度300在头部跟踪***400中获得并提供给重现处理器720。该重现处理器720还接收要在头戴式耳机710上再现的音频701。 
音频再现***700在头戴式耳机710上实现音频场景再现,提供逼真的头部外幻觉。重现处理器720重现音频使得与音频701关联的音频场景旋转某个角度,该角度与头部的旋转角度相反。音频场景应被理解为音频701中包括的声源的虚拟位置。在没有任何另外的处理的情况下,头戴式耳机710上再现的音频场景随着头部100b的移动而移动,因为它与随着头部100b移动的头戴式耳机相关联。为了使音频场景再现更为逼真,当头部与头戴式耳机一起旋转时,音频源应保持在不变的虚拟位置上。该效果通过将音频场景旋转与头部100b的旋转角度相反的角度来实现,这由重现处理器720执行。 
按照本发明,旋转角度相对于参考方向来确定,其中参考方向与用户的移动有关。这意味着在参考方向为用户头部在用户移动期间的平均方向的情况下,音频场景围绕该参考方向集中重现。在参考方向为在用户移动期间用户身体躯干的方向情况下,音频场景围绕该参考方向被集中重现,因此它相对于躯干位置固定。 
常规的多声道音频信号的双耳声重现通过多声道音频信号与HRTF脉冲响应的卷积来进行: 
其中,分别表示针对角度φ的左和右HRTF脉冲响应,表示对应于角度φ的多声道音频信号成分,并且其中K表示脉冲响应的长度。双耳声输出信号分别由左信号和右信号来描述。对于典型的多声道设置,角度φ的集合由构成,其使用分别用于左前、中间、右前、左环绕和右虚拟环绕扬声器的顺时针角度表示。
在使用头部跟踪的情况下,附加的时变偏移角度可以应用如下: 
其中是对应于旋转角度O(t)相对的(头部跟踪)偏移角度,如按照本发明的头部跟踪***利用顺时针角度表示所确定的。所述与旋转角度相反的角度这里通过旋转角度前面的“-”符号来实现。因此,包括修改的声源场景的修改音频702被提供给头戴式耳机710。
图9示出了包括按照本发明的头部跟踪***400的音频再现***700的示例架构的实际实现。该头部跟踪***被附着到头戴式耳机710。通过头部跟踪***400获得的旋转角度300被传送给重现处理器720,其根据旋转角度300旋转该音频场景。所修改的音频场景702被提供给头戴式耳机710。 
优选的是,头部跟踪***至少部分地与头戴式耳机集成。例如,加速计可以被集成到头戴式耳机的耳机之一内。磁传感器也可以集成到头戴式耳机本身中,或者耳机之一内或者耦合耳机的桥内。 
重现处理器可以集成到用户在移动时随身携带的便携式音频播放设备内,或者集成到无线头戴式耳机本身内。
尽管已经结合一些实施例描述了本发明,但是并非意图将其限于这里提及的特定形式。而是,本发明的范围仅仅由所附权利要求书限制。另外,尽管某个特征可能看似结合特定实施例进行描述,本领域技术人员将认识到按照本发明,所描述的实施例的各种不同特征可以相结合。在权利要求书中,词语“包括”不排除其它元件或步骤的存在。 
此外,尽管单独地列出,但是多个电路、元件或方法步骤可以由例如单个单元或处理器来实现。另外,尽管各个特征可以包含在不同的权利要求中,但是这些特征可能可以被有利地组合,并且包括在不同的权利要求中并不意味着特征的组合不是可行的和/或有利的。并且,特征包含在一个权利要求类别中并不意味着限制于该类别,而是表示该特征适当时同样可应用于其它权利要求。另外,单数引用不排除多个。因此,对“一”、“第一”、“第二”等的引用不排除多个。权利要求中的参考标记仅仅作为澄清性示例来提供,不应被解释为以任何方式限制权利要求的范围。本发明可以由包括若干不同元件的硬件电路来实现,以及由是适当编程的计算机或其它可编程设备电路来实现。 

Claims (7)

1.一种头部跟踪***(400),包括:
传感设备(410),用于测量头部移动以提供表示头部移动的度量(401);以及
处理电路(420),用于根据度量(401)导出用户(100)头部(100b)相对于参考方向(310)的旋转角度(300),其中处理电路(420)中使用的参考方向(310)与用户(100)的移动有关,处理电路(420)还被配置用于将参考方向(310)确定为在用户(100)移动期间用户头部(100b)的平均方向;以及
其特征在于,取平均是自适应的,并且对于用户(100)头部(100b)相对于参考方向的较大旋转角度(300)的适应比较小旋转角度的适应更快。
2.如权利要求1所述的头部跟踪***(400),其中传感设备(410)包括至少一个加速计(410a, 410b),用于导出用户头部(100b)旋转的角速度作为基于由旋转所引起的离心力的度量(401)。
3.如权利要求2所述的头部跟踪***(400),其中处理电路(420)被配置成根据用户头部的角速度导出用户头部的平均方向。
4.如权利要求3所述的头部跟踪***(400),其中所述平均方向被确定为在预定时间段上旋转角度的平均值。
5.一种头部跟踪方法,包括如下步骤:
测量头部移动以提供表示头部移动的度量(401);以及
根据度量(401)导出用户(100)头部(100b)相对于参考方向(310)的旋转角度(300),
其中,
导出步骤中使用的参考方向与用户(100)的移动有关,并且参考方向(310)确定为在用户(100)移动期间用户头部(100b)的平均方向,以及
其特征在于,取平均是自适应的,并且对于用户(100)头部(100b)相对于参考方向(310)的较大旋转角度(300)的适应比较小旋转角度的适应更快。
6.一种音频再现***(700),用于通过头戴式耳机进行音频场景再现,其包括用于再现音频场景的头戴式耳机(710)以及用于重现待再现的音频场景的重现处理器(720),其特征在于,该音频再现***还包括根据权利要求1-5之一的头部跟踪***(400),该头部跟踪***用于确定用户(100)头部(100b)的旋转角度(300),其中该重现处理器(720)重现要被旋转与旋转角度(300)相反的角度的音频场景。
7.如权利要求6所述的音频再现***,其中头部跟踪***(400)至少部分地与头戴式耳机集成。
CN201080007612.3A 2009-02-13 2010-02-09 头部跟踪方法和***、以及音频再现*** Active CN102318374B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP09152769.7 2009-02-13
EP09152769 2009-02-13
PCT/IB2010/050571 WO2010092524A2 (en) 2009-02-13 2010-02-09 Head tracking

Publications (2)

Publication Number Publication Date
CN102318374A CN102318374A (zh) 2012-01-11
CN102318374B true CN102318374B (zh) 2015-02-25

Family

ID=42562127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080007612.3A Active CN102318374B (zh) 2009-02-13 2010-02-09 头部跟踪方法和***、以及音频再现***

Country Status (8)

Country Link
US (1) US10015620B2 (zh)
EP (1) EP2396977B1 (zh)
JP (1) JP5676487B2 (zh)
KR (1) KR101588040B1 (zh)
CN (1) CN102318374B (zh)
RU (1) RU2523961C2 (zh)
TR (1) TR201908933T4 (zh)
WO (1) WO2010092524A2 (zh)

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1982306A1 (fr) * 2006-02-07 2008-10-22 France Télécom Procede pour suivre la position de la tete en temps reel dans un flux d'images video
US8238590B2 (en) * 2008-03-07 2012-08-07 Bose Corporation Automated audio source control based on audio output device placement detection
US8243946B2 (en) * 2009-03-30 2012-08-14 Bose Corporation Personal acoustic device position determination
US8238570B2 (en) * 2009-03-30 2012-08-07 Bose Corporation Personal acoustic device position determination
US8699719B2 (en) * 2009-03-30 2014-04-15 Bose Corporation Personal acoustic device position determination
US8238567B2 (en) * 2009-03-30 2012-08-07 Bose Corporation Personal acoustic device position determination
DE102009019405A1 (de) * 2009-04-29 2010-11-18 Atlas Elektronik Gmbh Vorrichtung und Verfahren zur binauralen Wiedergabe von Audio-Sonarsignalen
US9491560B2 (en) * 2010-07-20 2016-11-08 Analog Devices, Inc. System and method for improving headphone spatial impression
US9522330B2 (en) 2010-10-13 2016-12-20 Microsoft Technology Licensing, Llc Three-dimensional audio sweet spot feedback
US20130208899A1 (en) * 2010-10-13 2013-08-15 Microsoft Corporation Skeletal modeling for positioning virtual object sounds
US8559651B2 (en) 2011-03-11 2013-10-15 Blackberry Limited Synthetic stereo on a mono headset with motion sensing
EP2498510B1 (en) * 2011-03-11 2018-06-27 BlackBerry Limited Synthetic stereo on a mono headset with motion sensing
US9641951B2 (en) * 2011-08-10 2017-05-02 The Johns Hopkins University System and method for fast binaural rendering of complex acoustic scenes
EP2620798A1 (en) * 2012-01-25 2013-07-31 Harman Becker Automotive Systems GmbH Head tracking system
SI24055A (sl) 2012-04-16 2013-10-30 Airmamics Napredni Mehatronski Sistemi D.O.O. Krmilni sistem stabilizacijske glave za letečo ali stacionarno platformo
US9596555B2 (en) 2012-09-27 2017-03-14 Intel Corporation Camera driven audio spatialization
US9681219B2 (en) 2013-03-07 2017-06-13 Nokia Technologies Oy Orientation free handsfree device
US9367960B2 (en) * 2013-05-22 2016-06-14 Microsoft Technology Licensing, Llc Body-locked placement of augmented reality objects
EP2838210B1 (en) 2013-08-15 2020-07-22 Oticon A/s A Portable electronic system with improved wireless communication
EP2874412A1 (en) * 2013-11-18 2015-05-20 Nxp B.V. A signal processing circuit
US10293205B2 (en) * 2014-01-27 2019-05-21 The Regents Of The University Of Michigan IMU system for assessing head and torso orientation during physical motion
GB2525170A (en) 2014-04-07 2015-10-21 Nokia Technologies Oy Stereo viewing
CN104199655A (zh) * 2014-08-27 2014-12-10 深迪半导体(上海)有限公司 一种音频切换方法、微处理器及耳机
CN104284268A (zh) * 2014-09-28 2015-01-14 北京塞宾科技有限公司 一种可采集数据信息的耳机及数据采集方法
CN104538037A (zh) * 2014-12-05 2015-04-22 北京塞宾科技有限公司 一种声场采集呈现方法
CN104825168B (zh) * 2015-05-23 2017-04-26 京东方科技集团股份有限公司 颈椎活动测量装置及测量方法
CN105120421B (zh) * 2015-08-21 2017-06-30 北京时代拓灵科技有限公司 一种生成虚拟环绕声的方法和装置
GB2542609A (en) * 2015-09-25 2017-03-29 Nokia Technologies Oy Differential headtracking apparatus
CN105509691B (zh) * 2015-11-03 2018-01-26 北京时代拓灵科技有限公司 多传感器组融合的检测方法及支持头部跟踪的环绕声方法
US9918177B2 (en) * 2015-12-29 2018-03-13 Harman International Industries, Incorporated Binaural headphone rendering with head tracking
US20170195795A1 (en) * 2015-12-30 2017-07-06 Cyber Group USA Inc. Intelligent 3d earphone
US9591427B1 (en) * 2016-02-20 2017-03-07 Philip Scott Lyren Capturing audio impulse responses of a person with a smartphone
EP3211629A1 (en) * 2016-02-24 2017-08-30 Nokia Technologies Oy An apparatus and associated methods
US11182930B2 (en) 2016-05-02 2021-11-23 Waves Audio Ltd. Head tracking with adaptive reference
JP6913326B2 (ja) * 2016-05-02 2021-08-04 ウェイヴス オーディオ リミテッド 適応基準を用いた頭部追跡
US9860626B2 (en) 2016-05-18 2018-01-02 Bose Corporation On/off head detection of personal acoustic device
WO2018041359A1 (en) * 2016-09-01 2018-03-08 Universiteit Antwerpen Method of determining a personalized head-related transfer function and interaural time difference function, and computer program product for performing same
US10028071B2 (en) * 2016-09-23 2018-07-17 Apple Inc. Binaural sound reproduction system having dynamically adjusted audio output
US9838812B1 (en) 2016-11-03 2017-12-05 Bose Corporation On/off head detection of personal acoustic device using an earpiece microphone
DK3625976T3 (da) 2017-05-16 2023-10-23 Gn Hearing As Fremgangsmåde til bestemmelse af afstanden mellem ørerne på en bærer af et lydsgenerende objekt og et ørebåret, lydgenererende objekt
EP3571855A1 (en) * 2017-06-15 2019-11-27 Dolby International AB Methods, apparatus and systems for optimizing communication between sender(s) and receiver(s) in computer-mediated reality applications
CN107580289A (zh) * 2017-08-10 2018-01-12 西安蜂语信息科技有限公司 语音处理方法及装置
US11303814B2 (en) * 2017-11-09 2022-04-12 Qualcomm Incorporated Systems and methods for controlling a field of view
US10567888B2 (en) 2018-02-08 2020-02-18 Nuance Hearing Ltd. Directional hearing aid
US10375506B1 (en) * 2018-02-28 2019-08-06 Google Llc Spatial audio to enable safe headphone use during exercise and commuting
US20190303177A1 (en) * 2018-03-29 2019-10-03 Microsoft Technology Licensing, Llc Adaptive User Interface Based On Detection Of User Positions
WO2019206827A1 (en) 2018-04-24 2019-10-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for rendering an audio signal for a playback to a user
US10665206B2 (en) * 2018-07-30 2020-05-26 Honeywell International Inc. Method and system for user-related multi-screen solution for augmented reality for use in performing maintenance
JP7342451B2 (ja) * 2019-06-27 2023-09-12 ヤマハ株式会社 音声処理装置および音声処理方法
EP4000063A4 (en) 2019-07-21 2023-08-02 Nuance Hearing Ltd. LISTENING DEVICE WITH VOICE TRACKING
CN110459041A (zh) * 2019-08-15 2019-11-15 周玲玲 一种头部角度预警器
US11375333B1 (en) * 2019-09-20 2022-06-28 Apple Inc. Spatial audio reproduction based on head-to-torso orientation
JP2023514571A (ja) * 2020-02-14 2023-04-06 マジック リープ, インコーポレイテッド 遅延オーディオ追従
EP3873105B1 (en) * 2020-02-27 2023-08-09 Harman International Industries, Incorporated System and methods for audio signal evaluation and adjustment
EP3985482A1 (en) 2020-10-13 2022-04-20 Koninklijke Philips N.V. Audiovisual rendering apparatus and method of operation therefor
KR20220099362A (ko) * 2021-01-06 2022-07-13 삼성전자주식회사 전자 장치 및 전자 장치의 사운드 렌더링 방법
WO2023146909A1 (en) * 2022-01-26 2023-08-03 Dolby Laboratories Licensing Corporation Sound field rotation
CN116700659B (zh) * 2022-09-02 2024-03-08 荣耀终端有限公司 一种界面交互方法及电子设备
WO2024081353A1 (en) * 2022-10-13 2024-04-18 Bose Corporation Scene recentering
CN117956373A (zh) * 2022-10-27 2024-04-30 安克创新科技股份有限公司 音频处理方法、音频播放设备以及计算机可读存储介质
KR102576232B1 (ko) 2023-04-05 2023-09-08 퍼시픽 센츄리 주식회사 Rf와 초음파를 이용한 헤드 트래킹 가능한 블루투스 게임머용 헤드셋 및 그 헤드셋의 구동방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2716345A1 (de) * 1977-04-13 1978-10-19 Stefan Reich Vorrichtung zur verbesserung der wiedergabe von tonaufnahmen
JPS5944197A (ja) * 1982-09-06 1984-03-12 Matsushita Electric Ind Co Ltd ヘツドホン装置
CN1158047A (zh) * 1995-09-28 1997-08-27 索尼公司 图象/音频再现***
DE10148006A1 (de) * 2001-09-28 2003-06-26 Siemens Ag Tragbare Schallwiedergabeeinrichtung zur Erzeugung eines dreidimensionalen Höreindrucks
CN2695916Y (zh) * 2004-03-10 2005-04-27 北京理工大学 一种空间物体姿态及位置测量装置
CN101133679A (zh) * 2004-09-01 2008-02-27 史密斯研究公司 个性化的头戴耳机虚拟
CN101300897A (zh) * 2005-11-01 2008-11-05 皇家飞利浦电子股份有限公司 包括声音跟踪装置的助听器
CN101351151A (zh) * 2005-12-28 2009-01-21 奥林巴斯株式会社 位置检测***以及位置检测方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2671329B2 (ja) * 1987-11-05 1997-10-29 ソニー株式会社 オーディオ再生装置
JPH07203597A (ja) * 1993-12-29 1995-08-04 Matsushita Electric Ind Co Ltd ヘッドホン再生装置
US5645077A (en) * 1994-06-16 1997-07-08 Massachusetts Institute Of Technology Inertial orientation tracker apparatus having automatic drift compensation for tracking human head and other similarly sized body
US5742264A (en) * 1995-01-24 1998-04-21 Matsushita Electric Industrial Co., Ltd. Head-mounted display
FR2731521B1 (fr) * 1995-03-06 1997-04-25 Rockwell Collins France Appareil personnel de goniometrie
JPH0946797A (ja) * 1995-07-28 1997-02-14 Sanyo Electric Co Ltd 音響信号再生装置
RU2098924C1 (ru) * 1996-06-11 1997-12-10 Государственное предприятие конструкторское бюро "СПЕЦВУЗАВТОМАТИКА" Стереосистема
RU2109412C1 (ru) * 1997-09-05 1998-04-20 Михаил Валентинович Мануилов Система для воспроизведения акустического стереосигнала
JP2004085476A (ja) * 2002-08-28 2004-03-18 Sony Corp ヘッドトラッキング方法及び装置
JP4295798B2 (ja) * 2005-06-21 2009-07-15 独立行政法人科学技術振興機構 ミキシング装置及び方法並びにプログラム
US7383728B2 (en) * 2005-07-13 2008-06-10 Ultimate Balance, Inc. Orientation and motion sensing in athletic training systems, physical rehabilitation and evaluation systems, and hand-held devices
JP4967368B2 (ja) * 2006-02-22 2012-07-04 ソニー株式会社 体動検出装置、体動検出方法および体動検出プログラム
DE602007009784D1 (de) * 2007-01-16 2010-11-25 Harman Becker Automotive Sys Vorrichtung und Verfahren zum Verfolgen von surround Kopfhörern unter Verwendung von Audiosignalen unterhalb der maskierten Hörschwelle
EP2031418B1 (en) * 2007-08-27 2017-11-01 Harman Becker Automotive Systems GmbH Tracking system using RFID (radio frequency identification) technology
US8655004B2 (en) * 2007-10-16 2014-02-18 Apple Inc. Sports monitoring system for headphones, earbuds and/or headsets
RU70397U1 (ru) * 2007-10-23 2008-01-20 Александр Николаевич Блеер Тренажер для пилота летательного аппарата

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2716345A1 (de) * 1977-04-13 1978-10-19 Stefan Reich Vorrichtung zur verbesserung der wiedergabe von tonaufnahmen
JPS5944197A (ja) * 1982-09-06 1984-03-12 Matsushita Electric Ind Co Ltd ヘツドホン装置
CN1158047A (zh) * 1995-09-28 1997-08-27 索尼公司 图象/音频再现***
DE10148006A1 (de) * 2001-09-28 2003-06-26 Siemens Ag Tragbare Schallwiedergabeeinrichtung zur Erzeugung eines dreidimensionalen Höreindrucks
CN2695916Y (zh) * 2004-03-10 2005-04-27 北京理工大学 一种空间物体姿态及位置测量装置
CN101133679A (zh) * 2004-09-01 2008-02-27 史密斯研究公司 个性化的头戴耳机虚拟
CN101300897A (zh) * 2005-11-01 2008-11-05 皇家飞利浦电子股份有限公司 包括声音跟踪装置的助听器
CN101351151A (zh) * 2005-12-28 2009-01-21 奥林巴斯株式会社 位置检测***以及位置检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Motion-tracked binaural sound for personal music players;V. Ralph Algazi等;《AES 119th Convention》;20051010;1-8 *

Also Published As

Publication number Publication date
US10015620B2 (en) 2018-07-03
CN102318374A (zh) 2012-01-11
KR101588040B1 (ko) 2016-01-25
KR20110128857A (ko) 2011-11-30
RU2523961C2 (ru) 2014-07-27
EP2396977A2 (en) 2011-12-21
RU2011137573A (ru) 2013-03-20
WO2010092524A2 (en) 2010-08-19
WO2010092524A3 (en) 2010-11-18
JP5676487B2 (ja) 2015-02-25
US20110293129A1 (en) 2011-12-01
EP2396977B1 (en) 2019-04-10
JP2012518313A (ja) 2012-08-09
TR201908933T4 (tr) 2019-07-22

Similar Documents

Publication Publication Date Title
CN102318374B (zh) 头部跟踪方法和***、以及音频再现***
US10397728B2 (en) Differential headtracking apparatus
US9491560B2 (en) System and method for improving headphone spatial impression
US8718930B2 (en) Acoustic navigation method
JP4849121B2 (ja) 情報処理システムおよび情報処理方法
JP7342451B2 (ja) 音声処理装置および音声処理方法
CN105263075B (zh) 一种带方位传感器耳机及其3d声场还原方法
US7526378B2 (en) Mobile information system and device
JP5983313B2 (ja) 情報処理装置、音像定位強調方法、及び音像定位強調プログラム
JP7144131B2 (ja) ウェアラブルスピーカ装置を操作するシステム及び方法
CN104731325B (zh) 基于智能眼镜的相对方向确定方法、装置及智能眼镜
US20220417697A1 (en) Acoustic reproduction method, recording medium, and acoustic reproduction system
US11982738B2 (en) Methods and systems for determining position and orientation of a device using acoustic beacons
US20230179938A1 (en) Information processing method, recording medium, and sound reproduction device
Ge et al. Ehtrack: Earphone-based head tracking via only acoustic signals
JP3573797B2 (ja) ステレオ音声再生装置
WO2022038931A1 (ja) 情報処理方法、プログラム、及び、音響再生装置
Pörschmann 3-d audio in mobile communication devices: Methods for mobile head-tracking
CN117956372A (zh) 音频处理方法、音频播放设备及计算机可读存储介质
CN117956373A (zh) 音频处理方法、音频播放设备以及计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant