CN102713900A - 使用空间听觉线索的数据搜索 - Google Patents

使用空间听觉线索的数据搜索 Download PDF

Info

Publication number
CN102713900A
CN102713900A CN2010800497828A CN201080049782A CN102713900A CN 102713900 A CN102713900 A CN 102713900A CN 2010800497828 A CN2010800497828 A CN 2010800497828A CN 201080049782 A CN201080049782 A CN 201080049782A CN 102713900 A CN102713900 A CN 102713900A
Authority
CN
China
Prior art keywords
clue
spatial hearing
space
database
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800497828A
Other languages
English (en)
Other versions
CN102713900B (zh
Inventor
向佩
马尼石·马哈詹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Priority to CN201410638534.7A priority Critical patent/CN104361078B/zh
Publication of CN102713900A publication Critical patent/CN102713900A/zh
Application granted granted Critical
Publication of CN102713900B publication Critical patent/CN102713900B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/64Browsing; Visualisation therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

在用户搜索数据库寻找所存储的信息时产生空间听觉线索。所述空间听觉线索通过随着所述搜索进行而在围绕所述用户的空间中的特定物理位置处产生所感知的声音来辅助所述用户快速地定位所存储的信息。每一位置可与不同信息相关联。因此,通过使用本发明中所揭示的技术,用户可通过记住由特定空间听觉线索产生的声音的位置而较容易地再调用所存储的信息。可结合视觉搜索接口来使用所述空间听觉线索。一种产生听觉线索的方法包括:在包括于装置中的用户接口处接收搜索动作;将所述搜索动作转译为对应于空间内的特定位置的空间听觉线索;以及将所述空间听觉线索再现为音频输出信号。

Description

使用空间听觉线索的数据搜索
根据35 U.S.C.§119主张优先权
本专利申请案主张2009年11月3日申请的标题为“使用空间听觉线索的数据搜索”的第61/257,684号临时申请案的优先权,所述申请案已转让给本案受让人。
技术领域
本发明大体上涉及电子信息搜索,且更具体来说,涉及一种依赖于听觉指示符的搜索接口。
背景技术
通常以视觉方式执行电子数据库搜索。在一些数据库接口中,将数据库内容呈现于显示器上,且用户可以视觉方式搜索或浏览数据库中所含有的信息的索引。
可以分层方式组织数据库索引。分层式数据库组织允许将数据库内容分类为相关信息群组,例如,文件夹、流派等。此情形可准许较有效率的搜索。然而,即使在分类的情况下,每一类别中的项目的数目可能仍极大,且因此,潜在地不便于浏览。
当装置为便携式且其体积较小(即,显示空间有限)时,用户可能需要导航穿过索引、菜单和/或文件夹的许多层以从电子数据库检索所要信息或内容。在一些情况下,此情形可耗时且繁琐。
发明内容
为了改进搜索能力,本文中所揭示的技术和数据库接口使用空间听觉线索。在用户搜索数据库的所存储的信息时产生空间听觉线索。所述空间听觉线索通过产生随着搜索进行而在围绕所述用户的空间中的特定物理位置处所感知的声音来辅助所述用户快速地定位所存储的信息。每一位置可与不同信息相关联。因此,在使用本文中所揭示的方法、物品和/或设备的情况下,用户可通过记住通过特定空间听觉线索产生的声音的位置而较容易地再调用所存储的信息。另外,在较大数据库中,可减少或消除对数据库索引、菜单和/或文件夹的层的需要。
随着数据库内容大小变得越来越大,尤其当装置显示器相对较小时,浏览具有许多项目的索引会成间题。在一个屏幕上仅可显示有限数目个项目。在使用空间音频技术的情况下,使浏览数据库项目较容易且较直观,且可增强以视觉方式搜索的常规处理过程。
根据一方面,一种产生听觉线索的方法包括:在包括于装置中的用户接口处接收搜索动作;将所述搜索动作转译为对应于空间内的位置的空间听觉线索;以及将所述空间听觉线索再现为音频输出信号。
根据另一方面,一种与数据库介接的方法包括:在装置上以视觉方式显示存储于所述数据库中的项目的可滚动列表的至少一部分;以及将所述项目中的至少一些映射到对应于预界定空间内的位置的空间听觉线索。所述空间听觉线索中的每一者对应于所述空间内的相应相异位置。可滚动所述列表。由于滚动所述列表而将所述空间听觉线索中的至少一者再现为音频输出信号。
根据另一方面,一种设备包括:用户接口,其经配置以接收搜索动作;空间线索产生器,其经配置以将所述搜索动作转译为对应于空间内的位置的空间听觉线索;以及音频再现引擎,其经配置以将所述空间听觉线索再现为音频输出。
根据另外方面,一种设备包括:用于接收搜索动作的装置;用于将所述搜索动作转译为对应于空间内的位置的空间听觉线索的装置;以及用于将所述空间听觉线索再现为音频输出信号的装置。
根据另外方面,一种体现可由一个或一个以上处理器执行的指令集的计算机可读媒体包括:用于在包括于装置中的用户接口处接收搜索动作的代码;用于将所述搜索动作转译为对应于空间内的位置的空间听觉线索的代码;以及用于将所述空间听觉线索再现为音频输出的代码。
所属领域的技术人员在审查以下各图和详细描述后将明白或变得明白其它方面、特征和优点。所有此些额外特征、方面和优点意欲包括于此描述内且所附附权利要求书保护。
附图说明
应理解,图式仅仅出于说明的目的。此外,各图中的组件未必按比例,而是着重于说明本文中所描述的听觉线索技术的原理。在各图中,相同参考数字表示所有不同视图中的对应部分。
图1为说明用于使用空间听觉线索的数据库搜索的示范性***的图。
图2到4为说明位于环绕用户的空间中的实例空间听觉线索的示范性配置的俯视图。
图5为说明作为标签点的空间听觉线索的示范性配置实例的图。
图6为说明位于围绕用户的不同空间区域中的空间听觉线索的示范性配置实例的图。
图7为说明跨越小于360度的空间区域的示范性配置实例的图。
图8为展示用于使用头戴式耳机来产生空间听觉线索的第一示范性***的某些组件的方框图。
图9为展示用于使用环绕扬声器***来产生空间听觉线索的第二示范性***的某些组件的方框图。
图10为展示用于使用无线扬声器来产生空间听觉线索的第三示范性***的某些组件的方框图。
图11为展示用于产生空间听觉线索的某些示范性软件和硬件组件的方框图。
图12为说明产生空间听觉线索的示范性方法的流程图。
具体实施方式
以下详细描述(其参考且并入图式)描述且说明一个或一个以上特定实施例。展示且足够详细地描述这些实施例(提供这些实施例并非用以限制,而仅用以示范和教示),以使所属领域的技术人员能够实践所主张的内容。因此,出于简洁起见,所述描述可省略所属领域的技术人员已知的某些信息。
在整个本发明中,词语“示范性”用以指“充当实例、例子或说明”。未必将本文中描述为“示范性”的任何东西均解释为比其它方法或特征优选或有利。
除非受术语“耦合”的上下文明确地限制,否则术语“耦合”用以指示直接或间接的电或物理连接。如果连接是间接的,则所属领域的技术人员应充分地理解,在经“耦合”的结构之间可存在其它块或组件。可参考如由其特定上下文指示的方法、设备/装置和/或***来使用术语“配置”。在本描述和权利要求书中使用术语“包含”的地方,不排除其它元件或操作。术语“基于”(如在“A是基于B”中)用以指示其普通意义中的任一者,包括以下情况:(i)“至少基于”(例如,“A是至少基于B”);以及在特定上下文中在适当时,(ii)“等于”(例如,“A等于B”)。在A是基于B包括至少基于的情况(i)下,此可包括A耦合到B的配置。术语“至少一个”用以指示其普通意义中的任一者,包括“一个或一个以上”。
除非由特定上下文另有指示,否则一般且可互换地使用术语“设备”和“装置”。除非另有指示,否则具有特定特征的设备的操作的任何揭示内容还明确地意欲揭示具有类似特征的方法(且反之亦然),且根据特定配置的设备的操作的任何揭示内容还明确地意欲揭示根据类似配置的方法(且反之亦然)。除非由特定上下文另有指示,否则一般且可互换地使用术语“方法”、“过程”、“程序”和“技术”。术语“元件”和“模块”通常用以指示较大配置的一部分。
图1为说明用于使用空间听觉线索来执行搜索的示范性***10的图。***10包括耦合到例如耳机14等音频输出装置的便携式装置12。
耳机14包括经配置以产生可由用户16在围绕用户16的空间20中的不同物理位置处所感知的声音的多个扬声器。示范性耳机14包括两个听筒和用于允许用户16舒适地佩戴所述耳机的至少一个支撑件(例如,头带)。在所展示的实例中,耳机14为有线耳机,其具有载运在装置12与耳机14之间的音频信号的导体。或者,耳机14可为例如蓝牙耳机等无线耳机,其中经由一个或一个以上无线射频(RF)或红外线(IR)通道而载运在装置12与耳机14之间的音频信号。如果耳机14被实施为蓝牙无线耳机,则耳机14和装置12可包括如由可在www.bluetooth.com上得到的蓝牙规格界定的组件和功能性。所述蓝牙规格提供用于提供无线耳机功能性的特定准则。
便携式装置12可为能够产生音频输出且执行本文中所揭示的功能的任何装置。举例来说,装置12可为例如无线通信装置等手持式装置,例如,蜂窝式电话、个人数字助理(PDA)等。便携式装置12还可为MP3播放器、游戏装置、膝上型计算机、随身听等。尽管在图1中将装置12说明为便携式装置,但装置12可替代地实施为非便携式装置。举例来说,本文中所描述的空间听觉线索技术还可与家庭影院***中的多通道扬声器一起加以使用。
便携式装置12包括用户接口21,在此实例中,用户接口21包含具有一个或一个以上按钮的小键盘17、显示器18和摇杆按钮28。显示器18可为用于以视觉方式显示信息的任何合适装置,例如,液晶显示器(LCD)屏幕等。如图1所示,显示器18可尤其呈现存储于数据库中的数据项目的可滚动列表19。用户接口21可提供图形用户接口以用于以视觉方式滚动穿过存储于数据库中的项目的列表。在此实例中,列表为来自地址簿的姓名的联系人列表。数据库可存储姓名,以及与姓名相关的信息,例如,地址、电话号码等。用户接口21仅为可使用的可能用户接口的一个实例。举例来说,按钮28和小键盘17可集成在一起,或可使用触摸屏(而非实际按钮)来实施。
在图1的地址簿实例中,在按钮开关28为瞬时接触的摇杆按钮开关的情况下可实施用户接口21,所述瞬时接触的摇杆按钮开关具有两个内部开关(未图示),一个内部开关用于向前滚动列表19且另一位置用于向后滚动列表19。用户接口21可经配置以使得当用户16瞬时地摇动开关28以按下所述内部开关中的一者时,用户接口21提供逐项目准确地浏览穿过列表19的单一步骤,且每当按压所述内部开关时呈现对应的空间听觉线索。或者,当用户16按压且保持所述内部开关中的任一者时,起始快速滚动,从而使以视觉方式显示的列表项目极快速地滚动,且由空间听觉线索引起的声音围绕空间20相对较快地移动。用户16可继续保持所述开关,直到所述用户的听力基于空间听觉线索声音的位置而告知他/她搜索目标在附近为止。其它类型的开关可用于按钮28。
用户16可通过使用按钮28向上滚动或向下滚动所显示列表19来浏览列表19。随着用户滚动穿过所显示列表19,便携式装置12产生空间听觉线索。空间听觉线索通过使耳机14产生随着搜索进行而在围绕用户16的空间20中的不同物理位置处所感知的声音来辅助所述用户快速地定位所存储的信息。空间听觉线索可为可再现为音频输出的信号和/或信息,所述音频输出在相对于收听者的特定物理位置处产生声音。每一位置可与数据库中的特定信息项目或记录相关联。通常,如本文中所使用,术语“空间听觉线索”可指代由***产生以使得收听者感知从特定位置发出的声音的可听声音,或者,指代产生此声音所必要的电子数据/信号。
***10将数据库中的项目的相对位置映射到围绕用户16的空间20内的呈二维或三维的对应空间位置。空间20可包括被称作音频空间、听觉空间、音频搜索空间或3D声音空间等空间区域。空间20可具有其它名称或标记,应理解,空间20涵盖围绕用户16的空间位置。在显示器18上以视觉方式线性地浏览数据库内容可伴随着由用户16在空间20中所感知的所述数据库内容的所映射音频事件。因此,用户不仅在显示器18上以视觉方式看到所列项目,而且可听到一些声音(例如,在数据库中被编制索引的音频/视频内容的极短音频剪辑),且还听到从空间20中的特定物理位置发出的声音。类似于记住一本书位于书架何处,在额外空间听觉线索的情况下,可较容易地搜索数据库项目。
在所展示的实例中,***10将联系人姓名映射到围绕用户16的空间20中的空间位置。用户还可为收听者。图1中说明粗略映射的实例。在围绕收听者的听觉空间20中,将每一联系人映射到围绕收听者的头部16的位置。举例来说,可将姓以“A”开始的联系人映射到在用户16的右后方处以听觉方式感知的“开始”位置22。可将姓以处于字母表中间的字母(例如,字母“M”)开始的联系人映射到在用户16的前方处以听觉方式感知的“中间”位置26;且可将姓以字母“Z”开始的联系人映射到在用户16的左后方处以听觉方式感知的“结束”位置24。
无论何时以视觉方式浏览以找到列表19中的特定联系人姓名,均可在显示器18上通过突出显示文本行23以视觉方式表示当前选定姓名。从用户16的观点来看,可在此项目的指定空间位置处产生且再现短声音事件(例如,点击声音、音频剪辑等),所述指定空间位置是由用户16在空间20中感知。当快速地滚动穿过项目的列表19时,声音可变为在空间20中移动的相对连续流。在快速滚动期间,使一些用户以视觉方式追踪显示器18上的滚动文本是相对困难的,但通常不如以听觉方式追踪空间20中的移动声音困难。通过在与数据库项目相关联的位置处听到噪声,用户16可晓得他/她是否大致接近所搜索的目标项目。接着,随着用户16在空间20中听到接近项目听觉线索位置的空间听觉输出,他/她可减慢且在显示器18上以视觉方式逐项浏览而以视觉方式找到目标。如果常常使用此功能,则用户通常可记住特定联系人姓名的大致空间位置,且因此,使用空间听觉线索与视觉显示器的组合来较快速地到达确切位置。
可使用不同技术来再现3D声音空间20中所呈现的空间听觉线索,所述不同技术中的一些在此项技术中是已知的。举例来说,对于耳机14(其包括头戴式耳机),可使用头部相关转移函数(HRTF)式滤波器将单声道声音源再现到虚拟位置中。对于扬声器电话用户,还可经由立体声扬声器(例如,在收听者16前方的两个扬声器)而实现虚拟环绕声音;且对于多通道扬声器收听者,可平移且混合声音,使得所述声音是从围绕收听者16的空间中的不同方向以物理方式发出。
上文所给出的地址簿使用情况仅仅是将数据库索引直接映射到听觉空间中的一个实例。可实施所列项目到听觉空间的替代或增强映射。举例来说,可通过类别来对列表19中的联系人姓名进行分组,例如,通过产生导致由收听者16在他/她的左后方处所感知的声音的空间听觉线索的同学类别,并通过产生导致由用户16在空间的中心前方区域中所感知的声音的空间听觉线索的亲戚类别等等进行分组。
***10可经配置以基于由用户16执行的搜索的速度而“缩放”空间听觉线索。缩放允许表示空间听觉线索的音频信号包括针对数据库中的每一所列项目的不同量和/或类型的音频信息,所述音频信息呈现于听觉线索的对应空间位置处。在详细标度或“放大”标度上,当用户16缓慢地浏览列表19时,空间听觉线索可呈现列表19中的每一项目的音频摘录(即,音频剪辑)。在宏观标度或“缩小”标度上,当用户16快速地浏览列表19时,每一空间听觉线索可通过较抽象的声音事件(例如,一个合成点击)来表示。听觉空间20中点击声音流的收听者感知位置的改变使用户16导航穿过数据库索引,从而以虚拟方式指示用户16在搜索数据库时位于何处。额外益处在于:每一数据库项目(当被适当地界定时)被指派有听觉空间中的特定位置,使得所述特定位置提供所述数据库项目位于何处的物理线索。通过记住所述数据库项目的大致空间位置,用户16下次可较容易地找到所述数据库项目。当用户输入方法受限制(例如,在手持式装置上,其中花费相对较多时间来输入用于文本搜索的文本字符串)时,此益处更显著。
***10的优点在于:其组合将视觉和听觉两者用于搜索被编制索引的数据库项目的优点。视觉非常适于细节和分辨率,但在扫描大数据集合时速度相对较慢,且还需要个人的较大关注。听觉通常不如视觉适于细节和分辨率,但可用以在相对较短时间内粗略地处理相对较大量的信息。另外,大多人敏锐地意识到与视觉事件同时发生的音频事件。
在通过图1说明的实例中,数据库存储联系人姓名的地址簿。应理解,本文中所揭示的技术不限于任何特定类型的数据库或所存储内容。所揭示的搜索技术、方法和装置可用于其它类型和布置的所存储的信息,例如,媒体库、关系数据库的其它结构等。
图2到4为说明环绕收听者16的听觉空间20的特定示范性配置的俯视图。图2到4所示的实例仅表示可能的听觉空间配置子集。
图2描绘空间20,其中***10经配置以呈现空间听觉线索,使得随着在特定方向上滚动项目的列表19,收听者16将音频输出感知为反时针方向地移动穿过围绕他/她的空间20。这是音频搜索空间的直系配置。举例来说,收听者16可通过收听每一歌曲的极短音频摘录且接着跳跃到下一歌曲的摘录来浏览穿过便携式装置12可存取的含有多首歌曲(例如,一百首歌曲或更多)的文件夹。***10可经配置以使得通过耳机14输出文件夹中的第一首歌曲的音频摘录,使得所述音频摘录由收听者16在相对于收听者16的左后方方向附近(在第一首歌曲位置40处)被感知。在浏览期间,随着收听者16跳转到列表中的下一首歌曲等等,所述收听者将每一首所回放歌曲摘录的位置感知为在顺时针方向(或反时针方向)圆形路径中逐渐地改变。随着收听者16向下浏览歌曲的列表,摘录的感知位置针对每一歌曲标题而移动,直到到达列表上的最后一首歌曲为止,其中感知位置为最后一首歌曲位置42,最后一首歌曲位置42位于相对于图2所说明的收听者位置的右后方方向附近。以此方式,歌曲的整个文件夹以类似于放在圆形书架上的专辑的方式而呈现,其中声音的感知位置帮助收听者16记住所述歌曲为哪一歌曲以及所述歌曲位于文件夹列表中何处。依据由收听者16进行的搜索的速度,还可缩放由图2的实例配置产生的空间听觉线索。应注意,每一首所回放歌曲的感知位置可为顺时针方向或反时针方向。
举例来说,当使用图2的配置时,即,随着收听者16在文件夹的末尾附近浏览,空间听觉线索声音从相对于他/她的空间中的右方或右后方发出。当浏览歌曲的列表的此部分时,收听者16可记住他/她可能现在想要听到的歌曲位于他/她的左方。在此情况下,收听者16可按压且保持按钮28以快速地反向浏览。现在,针对每一歌曲的空间听觉线索经缩放以变为短点击,且随着收听者16快速地反向浏览穿过库,收听者16感知到以圆形方式从他/她的右侧穿过空间20而移动到他/她的左侧的音频点击流。当收听者16感知到所要歌曲的大致左方位置中的音频点击时,收听者16可通过释放按钮28来减慢浏览,且单击按钮28以更缓慢地滚动穿过列表,从而再次收听每一首歌曲的音频摘录(而不是音频点击),直到找到所要歌曲为止。
或者,可根据其它准则(例如,通过数据库项目指示的信息的类型或级别)而向所述项目(例如,媒体内容)指派听觉空间位置。图3和4说明示范性听觉空间配置,其中根据信息的不同类别来划分听觉空间20。举例来说,如图3所示,可根据音乐库中所含有的歌曲的情感而将所述库布置于听觉空间20中。如图3所示,将不同情感的歌曲放在不同对应空间区域中,使得如果收听者16正在搜索特定情感的音乐,则所述收听者可在特定听觉空间中搜索特定所要情感的音乐。在所述实例中,***10经配置以在空间20的特定区域54中产生针对“悲伤歌曲”(其可存储于标记为此类歌曲的电子文件夹中)的空间听觉线索,特定区域54通常在图3所示的收听者位置的左方被感知。***10还可经配置以在空间20的不同区域52中产生针对“激励歌曲”(其可存储于标记为此类歌曲的电子文件夹中)的空间听觉线索,不同区域52通常由收听者16在图3所示的收听者位置的前方被感知;且***10还可经配置以在空间20的第三区域50中产生针对“欢快歌曲”(其可存储于标记为此类歌曲的电子文件夹中)的空间听觉线索,第三区域50通常由收听者16在图3所示的收听者位置的右后方被感知。
在另一示范性配置中,如图4所示,***10可经配置以使得数据库项目可对应于根据所述项目的流派所布置的空间听觉线索。在图4中,可根据音乐库中所含有的歌曲的类型而将所述库布置于听觉空间20中。如图4所示,不同流派的歌曲与不同对应空间区域相关联,使得如果收听者16正在搜索特定类型的音乐,则所述收听者可在特定听觉空间中搜索特定所要流派。在图4的实例中,***10在空间20的特定区域中产生针对电影原声带、重金属、古典等的空间听觉线索。因此,在图4的实例中,如果收听者16正在显示器18上浏览(例如)“电子乐”歌曲,则***10可产生对应空间听觉线索(例如,歌曲摘录),所述空间听觉线索由收听者16感知为在他/她的前方。
视由收听者16所进行的搜索的速度而定,还可缩放由图3到4的实例配置产生的空间听觉线索。
***10还可经配置以使得数据库浏览可发生于环绕收听者16的3-D空间周围。在此配置中,空间听觉线索使用环绕收听者16的整个球体空间来表示项目。举例来说,可使用垂直空间区域来浏览一类别内部的子类别(见图5和图6)。在此配置中,所述类别位于围绕收听者16的对应水平空间区域中。在3-D配置中,收听者16可知晓以某一字母(例如,“S”)开始的特定歌曲的大致水平(左到右)位置。以此字母开始的歌曲本身可为众多的且在对应于针对字母“S”的水平空间区域的3-D听觉空间中被垂直地再分类(如在图5和图6中)。
一种用以从母体类别切换到子体类别(还被称为子类别)的方式是:一旦播放标签点,便从水平空间区域切换到垂直空间区域。类似地,类别可最初位于垂直空间区域中,且一旦到达标签点,收听者便可听到水平空间区域中的子类别。水平或垂直空间区域可为空间中的平面。或者,还应认识到,还可使用离轴(未必为水平轴线或垂直轴线)空间区域来代替水平和垂直空间区域。举例来说,第一离轴空间区域可含有类别,且一旦到达标签点,子类别集合便可位于垂直于第一离轴空间区域的第二离轴空间区域中。标签点可由用户通过指定搜索准则进行预编程或产生。可使用多模态用户接口来键入此准则。图5为说明作为标签点的空间听觉线索的示范性配置实例的图。可将标签点标记为(例如)“收藏”。搜索准则可为稳健的。如果所搜索的列表中的项目为歌曲,则搜索准则可为(例如)“持续时间大于五(5)分钟的歌曲”或“早于1970年的歌曲”。还可使用搜索准则的组合来产生标签点。用户还可具有对界定标签点的指示音调/音量的控制。即,标签点可具有不同于在同一空间定向上的其它项目的发声听觉线索。在图5中,将“收藏”说明为具有高音高音调。
图6为说明位于围绕用户的不同空间区域中的空间听觉线索的示范性配置实例的图。层1(流派)空间区域可为水平空间区域。如所说明,层1中的类别可来自流派“朋克”、“全球”、“爵士”、“电子乐”、“古典”,等等。如果流派“古典”为标签点,则收听者16可将空间位置中的听觉线索感知为来自垂直空间区域。举例来说,层2(古典)可为垂直空间区域。“古典”类别可具有例如“极简主义”、“巴洛克”、“20世纪”、“浪漫主义”等等的子类别。如果古典“浪漫主义”子类别(曾为在层2中的类别)为标签点,则收听者可将空间位置中的听觉线索感知为来自另一水平空间区域,即,层3(作曲家)。换句话说,尽管层1和层3可均为水平空间区域,但层3可在空间中从层1垂直地偏移。层3中的听觉线索可被感知为仿佛其位于比层1的听觉线索高或低的空间平面处。或者,层1和层3可被感知为仿佛其位于同一空间平面中,即,在空间中彼此不垂直地偏移。类似地,如果层1和层3为垂直空间区域,则其可在空间中彼此水平地偏移或位于同一空间位置中。
应注意,在一替代配置中,可在围绕用户16的跨越小于三百六十(360)度的区域中听到听觉线索。图7为说明跨越小于360度的空间区域的示范性配置实例的图。举例来说,用户16可能偏好于具有较窄听觉空间80。作为一实例,代替感知环绕用户16的从零(0)到三百六十(360)度的听觉线索,用户16可能仅需要感知从零(0)到一百八十度(180)的听觉线索,或从负十(-20)到两百度(200)的听觉线索。除了度数的不同空间范围以外,图7包括先前所描述的所有特征和功能。因此,层1、层2或层3可具有还小于360度的空间范围。不需要各层之间的相同空间范围。因此,层1和层2可具有为360度的空间范围,而层3具有较窄范围。类似地,层1可具有较窄范围,而层2或层3具有比层1宽的空间范围。
***10的另一应用是应用空间书签。代替搜索列表中的项目,可在围绕用户16的空间区域中播放歌曲。举例来说,歌曲可在零(0)度处开始,且在水平或垂直区域中的一百八十度(180)处完成播放。如果歌曲暂停,则用户16可能能够估量已播放了歌曲的多少百分比来代替查看移动装置的显示器以查看已播放了歌曲的多少百分比。空间书签可为在空间区域中的0度与180度之间的某处的空间位置中的“歌曲的渐消”。空间书签还可为在空间区域中的一位置中的“静音”。空间区域可为水平的、垂直的或离轴的。
图8为展示第一示范性***100的某些组件的方框图,第一示范性***100包含用于使用耳机118来产生空间听觉线索的装置101。***100可经配置以实施上文结合图1到7所描述的***10的功能和特征。
***100包括装置101、耳机118,和数据库104。耳机118可与图1的耳机14相同。
数据库104包括用于存储信息的数据库的任何合适装置,例如,存储器,例如,RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置,或可经配置以存储呈可由装置101存取的数据结构的形式的所要信息的任何其它媒体。存储于数据库104中的信息可为任何所要类型的信息,例如,媒体内容、联系人信息(如上文所论述),或能够被组织且收集到数据库中的任何其它信息。尽管在图8到10中展示为单独组件,但数据库104可替代地并入到图8到10所示的装置101、201、301中的每一者中。
数据库104将至少数据库索引列表提供到装置101。索引识别存储于数据库中的项目(即,记录)。举例来说,索引列表可包括唯一地识别所述列表中的每一数据库项目的数字或其它符号,以及关于所述项目的其它信息(例如,标题)。可以分层方式组织索引列表,或其可为平坦的。数据库104还可将例如所存储的信息或媒体内容(例如,音乐等)的数据库内容提供到装置101,以供装置101进一步处理和/或输出。
装置101可为能够产生音频输出且执行本文中所揭示的功能的任何装置。举例来说,装置101可为经配置(经由软件编程和/或硬件设计)以执行本文中所描述的功能的手持式装置,例如,无线通信装置,例如,蜂窝式电话、个人数字助理(PDA)等。装置101还可为MP3播放器、游戏装置、膝上型计算机、PC、随身听、立体声***等。装置101可为便携式或非便携式。
示范性装置101包括用户接口102、空间听觉线索(SAC)产生器106、所存储声音源108、音频再现引擎110、多通道数字到模拟转换器(DAC)112,以及用于驱动耳机118的左通道放大器(AMP)114和右通道放大器116。放大器114、116可为头戴式耳机高阻抗(HPH)放大器。
在所展示的实例中,可通过执行代码的一个或一个以上处理器120来实施SAC产生器106、音频再现引擎110,和用户接口102的至少一部分。处理器120可为微处理器,例如,ARM7、数字信号处理器(DSP)、一个或一个以上专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻辑装置(CPLD)、离散逻辑,或其任何合适组合。
用户接口102可包括结合图1所描述的用户接口21的特征和功能。用户接口102接收接口102的用户操纵和来自数据库104的数据库索引列表以作为输入。用户接口102向用户以视觉方式显示数据库索引列表以作为输出,使得可浏览、滚动或以其它方式搜索所述列表,例如,如结合图1到7中的任一者所描述。用户接口102还产生指示用户的一个或一个以上搜索动作的消息。将这些搜索动作消息输出到SAC产生器106。搜索动作是由用户使用用户接口102来搜索存储于数据库104中的信息而产生。举例来说,搜索动作可为在(例如)按钮开关28处的一次或一次以上按钮推压。按钮推压可为逐项目的单步向前/向后搜索,或推压并保持的快速滚动向前/向后搜索。其它类型的用户搜索动作可经由用户接口102而得到。
用户接口102经配置以确定:搜索动作的类型,例如,单步搜索或推压并保持搜索;用户搜索的方向,例如,向前或向后滚动穿过所显示的数据库索引列表;以及向用户显示的当前选定的数据库项目。用户接口102监视用户按下按钮开关的时长以确定搜索动作的类型,且还监视用户正在按压其开关中的哪一者以确定搜索的方向。用户接口102可通过监视对应于界定接口显示器上的当前选定项目的用户接口显示器缓冲器的项目索引识别符来确定当前显示的数据库项目。
由于用户搜索动作而将搜索动作消息发送到SAC产生器106。可针对通过用户接口102选择(即,浏览)的每一数据库项目发送搜索动作消息。因此,随着用户滚动穿过项目的所显示列表,可从用户接口102输出搜索动作消息的序列,其中在将不同数据库项目作为当前选定项目而显示于用户接口102处时产生每一消息。
通常,搜索动作消息包括来自用户接口102的充足信息以允许SAC产生器106将用户搜索动作转译为一个或一个以上空间听觉线索。举例来说,每一搜索动作消息可为包括指示以下各者的数据字段的数字信号:1)用户接口显示器上的当前选定数据库项目的数据库索引识别符;2)用户搜索动作的类型,例如,推压并保持或单项目搜索;以及3)用户搜索的方向,例如,向前或向后滚动穿过数据库索引列表。可针对搜索动作消息使用其它格式。
SAC产生器106将用户接口消息中所含有的搜索动作转译为空间听觉线索,所述空间听觉线索中的每一者界定由***100经由耳机118输出的特定听觉线索的特定位置信息。空间听觉线索可任选地界定在指定位置处所产生的声音的类型。举例来说,视正执行的用户搜索的速度和类型而定,听觉线索声音的类型可为短音频摘录(如上文参看图1所描述),或者,合成的点击声音。如下文进一步详细地所论述,如果声音类型为短音频摘录,则声音类型可识别当前选定数据库项目,使得音频再现引擎110可从声音源数据库108中检索对应音频文件。SAC产生器106可经配置以基于搜索动作消息的搜索动作类型字段来确定声音类型。声音类型还可基于由SAC产生器106接收的搜索动作消息的频率。
SAC产生器106将每一空间听觉线索输出为(例如)数字信号,所述数字信号被传送到音频再现引擎110。每一空间听觉线索可包括作为数字信号的字段的位置和(任选地)声音类型信息。由于用户搜索,SAC产生器106可产生表示空间听觉线索的序列的数字输出信号的序列。
为了确定针对搜索动作消息的空间听觉线索,SAC产生器106首先确定对应于由用户接口102显示的当前选定数据库项目的空间听觉线索。可基于包括于搜索动作消息中的数据库索引识别符进行此确定。接着,举例来说,如果由所述消息指示的搜索动作类型为推压并保持操作,则转译搜索动作消息,使得空间听觉线索朝向空间中的一个方向(如由搜索动作消息的方向字段指示)前进且连续地移动,其中短点击声音被指示为输出听觉线索。或者,如果(例如)由所述消息指示的搜索动作类型为单步,则转译搜索动作消息,使得空间听觉线索在由搜索动作消息的方向字段指示的方向上递增地且相对较慢地移动。
SAC产生器106可经配置以执行一对一映射,借此将每一数据库项目映射到对应的空间听觉线索(即,听觉空间中的特定位置)。或者,SAC产生器106可经配置以执行多对一映射,借此将多个数据库项目映射到每一空间听觉线索,且因此,听觉空间中的单一位置可表示一个以上数据库项目。
音频再现引擎110基于由SAC产生器106产生的空间听觉线索位置和任选的声音类型信息而产生音频输出信号。音频再现引擎100通过应用一个或一个以上HRTF滤波器以输入音频信号且处理音频信号来实施音频输出的空间移动和定位。举例来说,可通过用HRTF滤波器对声音进行滤波且随着时间过去而快速地内插不同HRTF系数来实施声音的连续移动。可将由空间听觉线索提供的位置信息应用于HRTF滤波器以产生对从特定位置移动或发出的音频输出的感知。因此,可再现来自SAC产生器106的空间听觉线索,使得随着使用用户接口102来滚动数据库项目的列表,收听者将来自耳机118的音频输出感知为移动穿过预定空间。音频再现引擎110接收来自声音源数据库108的音频信号,和来自SAC产生器106的空间听觉线索以作为输入。音频再现引擎110将左和右音频通道上的PCM音频输出到DAC 112。
所存储的声音源108可为作为输入音频信号而提供到音频再现引擎110的音频摘录、记录声音、合成声音等的数据库。可以不同音频格式存储声音源,例如,MIDI、MP3、AAC、WAV文件等。音频再现引擎110可将声音源转换为可在耳机118上播放的适当格式。在由音频再现引擎110处理声音源之前,声音源的格式通常为未经压缩的脉码调制(PCM)数据。可通过音频再现引擎110将呈MIDI、MP3、AAC、WAV或其它格式的声音源解码为PCM数据。由音频再现引擎110使用(例如)HRTF滤波器对PCM数据进行滤波。通过空间听觉线索的设计来确定由收听者感知输出声音源的特定位置。
DAC 112包括左通道DAC(未图示)和右通道DAC(未图示)。左通道DAC将来自音频再现引擎110的左通道数字化音频输出转换为左通道模拟音频信号。接着,通过左通道音频放大器114来放大左通道模拟音频信号以驱动耳机118的左扬声器。右通道DAC将来自音频再现引擎110的右通道数字化音频输出转换为右通道模拟音频信号。接着,通过右通道音频放大器116来放大右通道模拟音频信号以驱动耳机118的右扬声器。
所属领域的技术人员应理解,除了音频放大器114、116以外,额外模拟音频处理电路(未图示)可包括于装置101中。
左和右耳机扬声器为用于将来自放大器114、116的电子信号输出分别转换为声音的任何合适的音频换能器。
图9为展示第二示范性***200的某些组件的方框图,第二示范性***200包含用于使用环绕扬声器***206来产生空间听觉线索的装置201。***200可经配置以实施上文结合图1到7所描述的***10的功能。
***200包括装置201、环绕扬声器***206和数据库104。尽管展示为单独组件,但在一替代配置中,数据库104和/或环绕扬声器***206可并入到装置201中。
装置201可为能够产生音频输出且执行本文中所揭示的功能的任何装置。举例来说,装置201可为经配置(经由软件编程和/或硬件设计)以执行本文中所描述的功能的手持式装置,例如,无线通信装置,例如,蜂窝式电话、个人数字助理(PDA)等。装置201还可为MP3播放器、游戏装置、膝上型计算机、PC、随身听、立体声***等。装置201可为便携式或非便携式。
装置201包括用户接口102、SAC产生器106、声音源108、音频再现引擎202,和将音频信号输出到环绕声音扬声器***206的多通道数/模转换器(DAC)与放大器(AMPS)204。在所展示的实例中,可由执行代码的处理器120来实施SAC产生器106、音频再现引擎202,和用户接口102的至少一部分。
音频再现引擎202执行图8所示的音频再现引擎110的大多数功能。音频再现引擎110、202之间的主要差异在于:图8的音频再现引擎202产生针对扬声器阵列208到218(而不是例如耳机118等耳机)的音频输出信号。因此,除了HRTF滤波器算法以外或代替HRTF滤波器算法,图8中的再现引擎202还可包括音量平移器(volume panner)或用于定位音频输出的其它基于扬声器的算法。音频再现引擎202接收来自声音源数据库108的音频信号,和来自SAC产生器106的空间听觉线索以作为输入。音频再现引擎202将多个音频通道上的PCM音频输出到DAC 204。
DAC&AMPS 204包括针对每一输出音频通道的DAC和音频放大器。在所展示的实例中,存在六个输出音频通道,扬声器208到218中的每一者一个输出音频通道。还可使用任何其它合适数目个音频通道和扬声器。每一通道DAC将来自音频再现引擎202的数字化PCM音频输出转换为模拟音频信号,所述模拟音频信号接着被提供到对应的通道放大器。音频放大器可为市售音频放大器。每一音频放大器驱动环绕扬声器***206的对应扬声器208到218。
所属领域的技术人员应理解,除了音频放大器以外,额外模拟音频处理电路(未图示)可包括于装置201和/或环绕扬声器***206中。
环绕扬声器***206提供以物理方式环绕收听者的多个扬声器208到218。扬声器208到218为用于将来自放大器的电子信号输出分别转换为声音的任何合适音频换能器。
图10为展示第三示范性***300的某些组件的方框图,第三示范性***300包含用于使用无线扬声器装置306、308来产生空间听觉线索的装置301。***300可经配置以实施上文结合图1到7所描述的***10的功能。
***300包括装置301、无线扬声器306、308和数据库104。尽管展示为单独组件,但在一替代配置中,数据库104可并入到装置301中。
装置301可为能够产生音频输出且执行本文中所揭示的功能的任何装置。举例来说,装置301可为经配置(经由软件编程和/或硬件设计)以执行本文中所描述的功能的手持式装置,例如,无线通信装置,例如,蜂窝式电话、个人数字助理(PDA)等。装置301还可为MP3播放器、游戏装置、膝上型计算机、PC、随身听、立体声***等。装置301可为便携式或非便携式。
装置301包括用户接口102、SAC产生器106、声音源108、音频再现引擎202、将音频信号输出到一个或一个以上无线扬声器装置306、308的无线音频接口304。在所展示的实例中,可由执行代码的处理器120来实施SAC产生器106、音频再现引擎202、用户接口102的至少一部分,和无线音频接口304的至少一部分。
音频再现引擎202将PCM音频的两个或两个以上通道输出到无线接口304。
无线接口304包括收发器,且提供与无线扬声器装置306、308的无线通信。尽管任何合适无线技术可与装置301一起使用,但无线接口304优选地包括市售蓝牙模块,所述市售蓝牙模块提供至少蓝牙核心***,所述蓝牙核心***由天线、蓝牙RF收发器、基带处理器、协议堆栈以及用于将所述模块连接到装置301的音频再现引擎202和其它组件(如果需要)的硬件和软件接口组成。
可使用(例如)如由可在www.bluetooth.com上得到的蓝牙规格界定的协议经由无线通道将PCM音频信号传输到扬声器装置308、310。所述蓝牙规格提供用于传输音频信号的特定准则。具体来说,蓝牙规格提供高级音频分发框架(A2DP),所述高级音频分发框架(A2DP)界定用于经由蓝牙网络以无线方式分发高质量立体声或单声道音频的协议和程序。A2DP可与***300一起使用。
扬声器装置306、308可为市售蓝牙扬声器。每一扬声器装置306、308包括用于接收从所述装置的无线接口304和扬声器310、312传输的音频信号的无线接口(未图示)。扬声器装置306、308还各自包括DAC、音频放大器(未图示),和用于将PCM音频转换为模拟音频信号以用于在扬声器310、312上输出的其它音频处理电路。可使用任何合适数目个扬声器装置。
可将分别展示于图8到10中的装置101、201和301的功能和特征组合为单一装置,所述单一装置经配置以具有多个且任选地可选择的输出接口,所述输出接口用于将分别经再现和格式化的空间音频输出信号提供到耳机118、环绕声音扬声器***206和无线扬声器装置306、308。
图10为展示用于产生空间听觉线索的***架构400的特定软件和硬件组件的方框图。***架构400可用以实施上文结合图1到10所描述的在产生装置10、101、201和301中的任一者或其任何组合的空间音频输出信号方面所涉及的功能。
***架构400包括通过一个或一个以上数字总线403连接到存储器402、用户接口(UI)硬件401、无线接口404和多通道DAC 406的一个或一个以上处理器,例如,处理器120。UI硬件401可包括显示器18和按钮28,以及用于提供用户接口的其它硬件。将多通道DAC 406的输出尤其提供到多个音频放大器408、410,多个音频放大器408、410又产生空间音频输出。
如上文结合图8所描述,处理器120可为微处理器,例如,ARM7、数字信号处理器(DSP)、一个或一个以上专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻辑装置(CPLD)、离散逻辑,或其任何合适组合。
存储器402存储声音源108、SAC产生器软件代码414、音频再现引擎软件代码416、用户接口软件代码418和数据库接口软件代码412。尽管未图示,但存储器402还可存储数据库104,和(另外)可由处理器120执行以用于控制***的整体操作的控制器软件。软件代码412到418可由处理器120执行。
数据库软件代码412在由处理器120执行时提供数据库接口,所述数据库接口准许对数据库104的内容和其项目索引列表的存取。数据库软件412可将索引列表提供到用户接口401以用于显示和其它用途。
SAC产生器软件代码414在由处理器120执行时提供SAC产生器106的功能性。
音频再现引擎软件代码416在由处理器120执行时提供本文中所描述的音频再现引擎110、202中的任一者的功能性。
用户接口软件代码418在由处理器120结合用户接口(UI)硬件401执行时提供本文中所描述的用户接口102的功能性。
尽管在图11中展示为单独软件程序,但软件代码412到418可一起组合为较少的软件程序。
多通道DAC 406包括针对每一输出音频通道的DAC。每一通道DAC将数字化的PCM音频输出转换为模拟音频信号,所述模拟音频信号接着被提供到对应的通道放大器408、410。音频放大器可为市售音频放大器和/或HPH放大器。任何合适数目个音频通道、DAC和AMP可包括于架构400中。
所属领域的技术人员应理解,除了音频放大器以外,额外模拟音频处理电路(未图示)可包括于架构400中。
无线接口404包括收发器,且提供与例如无线扬声器装置306、308或无线耳机等音频输出装置的无线通信。尽管可将任何合适无线技术用于无线接口404,但无线接口404优选地包括市售蓝牙模块,所述市售蓝牙模块提供至少蓝牙核心***,所述蓝牙核心***由天线、蓝牙RF收发器、基带处理器、协议堆栈以及用于将所述模块连接到架构400的处理器120和其它组件(如果需要)的硬件和软件接口组成。
可使用(例如)如由可在www.bluetooth.com上得到的蓝牙规格界定的协议经由无线接口404来传输PCM音频信号。所述蓝牙规格提供用于传输音频信号的特定准则。具体来说,蓝牙规格提供高级音频分发框架(A2DP),所述高级音频分发框架(A2DP)界定用于经由蓝牙网络以无线方式分发高质量立体声或单声道音频的协议和程序。A2DP可与架构400一起使用。
图12为说明产生空间听觉线索的方法的流程图500。在方框502中,用户通过使用用户接口(例如,用户接口21或102)来滚动显示器(例如,显示器18)上的列表(例如,列表19)而浏览数据库内容。
在方框504中,将由于用户浏览而产生的一个或一个以上搜索动作从用户接口发送到SAC产生器106。如上文结合图8所描述,所述搜索动作可描述于搜索动作消息中。
在方框506中,SAC产生器106将搜索动作转译为空间听觉线索。每一空间听觉线索对应于收听者空间20内的特定位置。针对特定搜索动作所选择的空间听觉线索选自对应于收听者空间内的多个位置的多个空间听觉线索。所述空间听觉线索中的每一者对应于收听者空间内的相应相异位置。
在方框508中,音频再现引擎(例如,音频再现引擎110、202中的任一者)获取对应于空间听觉线索的源声音。可从空间听觉线索的声音类型字段确定所获取的特定声音源。
在决策方框510中,再现引擎确定将供再现空间音频线索的音频输出装置的类型。在本文中所揭示的实例中,音频输出装置可为耳机、环绕扬声器***,或无线扬声器***。
如果音频输出装置为耳机,则所述方法进行到方框512,且音频再现引擎将空间听觉线索再现为基于头戴式耳机的空间音频输出信号。在方框514中,将空间音频输出信号输出到耳机内的头戴式耳机扬声器。
如果音频输出装置为环绕声音扬声器***,则所述方法进行到方框516,且音频再现引擎将空间听觉线索再现为多通道空间音频输出信号。在方框518中,将空间音频输出信号输出到环绕声音扬声器。
如果音频输出装置为一个或一个以上无线音频扬声器,则所述方法进行到方框520,且音频再现引擎将空间听觉线索再现为适于经由一个或一个以上无线通道进行传输的数字化的空间音频输出信号。在方框522中,经由无线通道而输出数字化的空间音频输出信号。
本文中所描述的***、装置、耳机和其相应组件的功能性以及本文中所描述的方法步骤和方框可实施于硬件、软件、固件或其任何合适组合中。软件/固件可为具有指令集(例如,码段)的程序,其可由例如微处理器、DSP、嵌入式控制器或知识产权(IP)核心的一个或一个以上数字电路执行。如果实施于软件/固件中,则可将所述功能作为指令或代码而存储于一个或一个以上计算机可读媒体上或经由一个或一个以上计算机可读媒体进行传输。计算机可读媒体包括计算机存储媒体和通信媒体两者,通信媒体包括促进将计算机程序从一处传递到另一处的任何媒体。存储媒体可为可由计算机存取的任何可用媒体。举例来说而非限制,此计算机可读媒体可包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置,或可用以载运或存储呈指令或数据结构的形式的所要代码且可由计算机存取的任何其它媒体。而且,适当地将任何连接称为计算机可读媒体。举例来说,如果使用同轴电缆、光缆、双绞线、数字订户线(DSL)或例如红外线、无线电和微波的无线技术而从网站、服务器或其它远程源传输软件,则同轴电缆、光缆、双绞线、DSL或例如红外线、无线电和微波的无线技术包括于媒体的定义中。如本文中所使用,磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字的多功能光盘(DVD)、软盘和蓝光光盘,其中磁盘通常以磁性方式复现数据,而光盘用激光以光学方式复现数据。以上各者的组合也应包括于计算机可读媒体的范围内。
已描述了特定实施例。然而,对这些实施例的各种修改是可能的,且本文中所呈现的原理还可应用于其它实施例。举例来说,本文中所揭示的原理可应用于不同于本文中具体地描述的装置的装置。另外,在不脱离权利要求书的范围的情况下,各种组件和/或方法步骤/方框可以不同于具体地揭示的布置的布置加以实施。因此,鉴于这些教示,所属领域的技术人员将容易想到其它实施例和修改。因此,当结合以上说明书和附图查看时,所附权利要求书意欲涵盖所有此些实施例和修改。

Claims (45)

1.一种产生一个或一个以上听觉线索的方法,其包含:
在包括于装置中的用户接口处接收搜索动作;
将所述搜索动作转译为对应于预定空间内的预定位置的空间听觉线索,所述空间听觉线索选自对应于所述预定空间内的多个位置的多个空间听觉线索,其中所述空间听觉线索中的每一者对应于所述预定空间内的相应相异位置;以及
将所述空间听觉线索再现为音频输出信号。
2.根据权利要求1所述的方法,其中所述搜索动作是由用户搜索存储于数据库中的项目而产生。
3.根据权利要求1所述的方法,其进一步包含:
滚动穿过存储于数据库中的项目的列表以产生所述搜索动作。
4.根据权利要求1所述的方法,其进一步包含:
将数据库列表中的多个项目映射到多个空间听觉线索。
5.根据权利要求1所述的方法,其中所述装置为无线通信装置。
6.根据权利要求1所述的方法,其进一步包含:
基于所述空间听觉线索而从多个声音源选择听觉线索。
7.根据权利要求1所述的方法,其进一步包含:
确定用于接收所述音频输出信号的音频输出装置的类型。
8.根据权利要求1所述的方法,其中至少一个空间听觉线索为标签点。
9.根据权利要求8所述的方法,其中将所述标签点再现为指示项目的选定性质的不同声音。
10.根据权利要求1所述的方法,其中所述预定空间包含垂直空间区域、水平空间区域和离轴空间区域中的至少一者。
11.根据权利要求1所述的方法,其中在初始空间区域中的列表中浏览类别,且一旦选择所述类别,便在不同空间区域中的列表中浏览子类别。
12.根据权利要求11所述的方法,其中所述初始空间区域与所述不同空间区域在空间中偏移。
13.一种与数据库介接的方法,其包含:
在装置上以视觉方式显示存储于所述数据库中的项目的可滚动列表的至少一部分;
将所述项目中的至少一些映射到对应于预定空间内的多个位置的多个空间听觉线索,其中所述空间听觉线索中的每一者对应于所述预定空间内的相应相异位置;
滚动所述项目列表;以及
由于所述滚动而将所述空间听觉线索中的至少一者再现为音频输出信号。
14.根据权利要求13所述的方法,其中再现包括再现多个所述空间听觉线索,使得随着滚动所述项目列表,用户感知到移动穿过所述预定空间的所述音频输出。
15.根据权利要求13所述的方法,其中映射包括将多个所述项目映射到每一空间听觉线索。
16.一种设备,其包含:
用户接口,其经配置以接收搜索动作;
空间听觉线索产生器,其经配置以将所述搜索动作转译为对应于预定空间内的预定位置的空间听觉线索;以及
音频再现引擎,其经配置以将所述空间听觉线索再现为音频输出。
17.根据权利要求16所述的设备,其进一步包含:
信息的数据库,其中所述搜索动作是由用户搜索存储于所述数据库中的信息而产生。
18.根据权利要求16所述的设备,其中所述用户接口包括:
图形接口,其用于以视觉方式滚动穿过存储于数据库中的项目的列表以产生所述搜索动作。
19.根据权利要求16所述的设备,其进一步包含:
处理器,其经配置以将数据库列表中的多个项目映射到多个空间听觉线索。
20.根据权利要求16所述的设备,其进一步包含:
处理器,其经配置以基于所述空间听觉线索而从多个声音源选择音频输出内容。
21.根据权利要求16所述的设备,其进一步包含:
环绕扬声器***,其响应于所述音频输出。
22.根据权利要求16所述的设备,其进一步包含:
无线接口,其经配置以经由一个或一个以上无线通道来传输所述音频输出。
23.根据权利要求22所述的设备,其进一步包含:
至少一个无线扬声器装置,其响应于经由所述无线通道而传输的所述音频输出。
24.根据权利要求16所述的设备,其中至少一个空间听觉线索为标签点。
25.根据权利要求16所述的设备,其中所述标签点被再现为指示项目的选定性质的不同声音。
26.根据权利要求16所述的设备,其中在初始空间区域中的列表中浏览类别,且一旦选择所述类别,便在不同空间区域中的列表中浏览子类别。
27.根据权利要求26所述的设备,其中所述初始空间区域与所述不同空间区域在空间中偏移。
28.一种设备,其包含:
用于接收搜索动作的装置;
用于将所述搜索动作转译为对应于预定空间内的预定位置的空间听觉线索的装置;以及
用于将所述空间听觉线索再现为音频输出信号的装置。
29.根据权利要求28所述的设备,其进一步包含:
用于存储信息的装置,其中所述搜索动作是由用户搜索所述所存储的信息而产生。
30.根据权利要求28所述的设备,其中所述接收装置包括:
用于以视觉方式滚动穿过存储于数据库中的项目的列表以产生所述搜索动作的装置。
31.根据权利要求28所述的设备,其进一步包含:
用于将数据库列表中的多个项目映射到多个空间听觉线索的装置。
32.根据权利要求28所述的设备,其进一步包含:
用于基于所述空间听觉线索而从多个声音源选择音频输出内容的装置。
33.根据权利要求28所述的设备,其中至少一个空间听觉线索为标签点。
34.根据权利要求28所述的设备,其中所述标签点被再现为指示项目的选定性质的不同声音。
35.根据权利要求28所述的设备,其中在初始空间区域中的列表中浏览类别,且一旦选择所述类别,便在不同空间区域中的列表中浏览子类别。
36.根据权利要求28所述的设备,其中所述初始空间区域与所述不同空间区域在空间中偏移。
37.一种体现可由一个或一个以上处理器执行的指令集的计算机可读媒体,其包含:
用于在包括于装置中的用户接口处接收搜索动作的代码;
用于将所述搜索动作转译为对应于预定空间内的预定位置的空间听觉线索的代码;以及
用于将所述空间听觉线索再现为音频输出的代码。
38.根据权利要求37所述的计算机可读媒体,其进一步包含:
用于存储信息的代码,其中所述搜索动作是由用户搜索所述所存储的信息而产生。
39.根据权利要求37所述的计算机可读媒体,其进一步包含:
用于以视觉方式滚动穿过存储于数据库中的项目的列表以产生所述搜索动作的代码。
40.根据权利要求37所述的计算机可读媒体,其进一步包含:
用于将数据库列表中的多个项目映射到多个空间听觉线索的代码。
41.根据权利要求37所述的计算机可读媒体,其进一步包含:
用于基于所述空间听觉线索而从多个声音源选择音频输出内容的代码。
42.根据权利要求37所述的计算机可读媒体,其中至少一个空间听觉线索为标签点。
43.根据权利要求37所述的计算机可读媒体,其中所述标签点被再现为指示项目的选定性质的不同声音。
44.根据权利要求37所述的计算机可读媒体,其中在初始空间区域中的列表中浏览类别,且一旦选择所述类别,便在不同空间区域中的列表中浏览子类别。
45.根据权利要求37所述的计算机可读媒体,其中所述初始空间区域与所述不同空间区域在空间中偏移。
CN201080049782.8A 2009-11-03 2010-10-27 使用空间听觉线索的数据搜索 Active CN102713900B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410638534.7A CN104361078B (zh) 2009-11-03 2010-10-27 使用空间听觉线索的数据搜索

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US25768409P 2009-11-03 2009-11-03
US61/257,684 2009-11-03
US12/905,340 2010-10-15
US12/905,340 US8417703B2 (en) 2009-11-03 2010-10-15 Data searching using spatial auditory cues
PCT/US2010/054249 WO2011056640A1 (en) 2009-11-03 2010-10-27 Data searching using spatial auditory cues

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201410638534.7A Division CN104361078B (zh) 2009-11-03 2010-10-27 使用空间听觉线索的数据搜索

Publications (2)

Publication Number Publication Date
CN102713900A true CN102713900A (zh) 2012-10-03
CN102713900B CN102713900B (zh) 2014-12-10

Family

ID=43926506

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201080049782.8A Active CN102713900B (zh) 2009-11-03 2010-10-27 使用空间听觉线索的数据搜索
CN201410638534.7A Active CN104361078B (zh) 2009-11-03 2010-10-27 使用空间听觉线索的数据搜索

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201410638534.7A Active CN104361078B (zh) 2009-11-03 2010-10-27 使用空间听觉线索的数据搜索

Country Status (7)

Country Link
US (2) US8417703B2 (zh)
EP (1) EP2497038A1 (zh)
JP (2) JP2013510372A (zh)
KR (1) KR101386852B1 (zh)
CN (2) CN102713900B (zh)
TW (2) TWI515586B (zh)
WO (1) WO2011056640A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689896A (zh) * 2018-07-06 2020-01-14 哈曼国际工业有限公司 追溯性声音识别***
CN111913682A (zh) * 2019-05-07 2020-11-10 苹果公司 利用空间音频提示增强控件声音

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2820555B1 (en) * 2012-02-29 2018-12-26 Razer (Asia-Pacific) Pte. Ltd. Headset device and a device profile management system and method thereof
EP2828849B1 (en) 2012-03-23 2016-07-20 Dolby Laboratories Licensing Corporation Talker collisions in an auditory scene
US10203839B2 (en) * 2012-12-27 2019-02-12 Avaya Inc. Three-dimensional generalized space
US9269045B2 (en) 2014-02-14 2016-02-23 Qualcomm Incorporated Auditory source separation in a spiking neural network
US9782672B2 (en) 2014-09-12 2017-10-10 Voyetra Turtle Beach, Inc. Gaming headset with enhanced off-screen awareness
US10133544B2 (en) 2017-03-02 2018-11-20 Starkey Hearing Technologies Hearing device incorporating user interactive auditory display
US20210076122A1 (en) * 2017-12-18 2021-03-11 Sony Corporation Information processing apparatus, information processing method, and program
ES2966686T3 (es) * 2018-04-27 2024-05-29 Sherpa Europe S L Asistente digital

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1474407A (zh) * 2002-08-10 2004-02-11 宣 王 一种同步播放音频与图文的设备
US20060173560A1 (en) * 2004-10-07 2006-08-03 Bernard Widrow System and method for cognitive memory and auto-associative neural network based pattern recognition
CN101021849A (zh) * 2006-09-14 2007-08-22 浙江大学 基于内容相关性的跨媒体检索方法
WO2008062962A1 (en) * 2006-11-24 2008-05-29 University-Industry Cooperation Group Of Kyunghee University Space context copy/paste method and system, and space copier
US20100306657A1 (en) * 2009-06-01 2010-12-02 3Dlabs Inc., Ltd. Audio-Enhanced User Interface for Browsing

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0411288A (ja) * 1990-04-27 1992-01-16 Brother Ind Ltd 楽曲検索機能付きカラオケ装置
JPH0793367A (ja) * 1993-09-28 1995-04-07 Atsushi Matsushita 音声情報検索システム及び装置
US6421446B1 (en) * 1996-09-25 2002-07-16 Qsound Labs, Inc. Apparatus for creating 3D audio imaging over headphones using binaural synthesis including elevation
US6011851A (en) * 1997-06-23 2000-01-04 Cisco Technology, Inc. Spatial audio processing method and apparatus for context switching between telephony applications
US6708172B1 (en) * 1999-12-22 2004-03-16 Urbanpixel, Inc. Community-based shared multiple browser environment
US6965770B2 (en) * 2001-09-13 2005-11-15 Nokia Corporation Dynamic content delivery responsive to user requests
US7386357B2 (en) * 2002-09-30 2008-06-10 Hewlett-Packard Development Company, L.P. System and method for generating an audio thumbnail of an audio track
US20080056517A1 (en) * 2002-10-18 2008-03-06 The Regents Of The University Of California Dynamic binaural sound capture and reproduction in focued or frontal applications
US20060292049A1 (en) * 2003-09-04 2006-12-28 Tetsuya Nagasaka Process for producing rutile
US7383174B2 (en) * 2003-10-03 2008-06-03 Paulin Matthew A Method for generating and assigning identifying tags to sound files
JP4469891B2 (ja) * 2005-03-08 2010-06-02 パイオニア株式会社 情報処理装置及び情報処理プログラム
US20070083323A1 (en) * 2005-10-07 2007-04-12 Outland Research Personal cuing for spatially associated information
US7684991B2 (en) * 2006-01-05 2010-03-23 Alpine Electronics, Inc. Digital audio file search method and apparatus using text-to-speech processing
JP4214487B2 (ja) * 2006-01-23 2009-01-28 ソニー株式会社 コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生プログラム
US20070192699A1 (en) * 2006-02-13 2007-08-16 Research In Motion Limited Navigation tool with audible feedback on a handheld communication device having a reduced alphabetic keyboard
JP4788411B2 (ja) * 2006-03-09 2011-10-05 ソニー株式会社 検索キーワード入力装置、検索キーワード入力方法及び検索キーワード入力プログラム
US7516406B1 (en) * 2006-06-06 2009-04-07 Adobe Systems Incorporated Partial functionality indicator
US7844354B2 (en) * 2006-07-27 2010-11-30 International Business Machines Corporation Adjusting the volume of an audio element responsive to a user scrolling through a browser window
TWI302884B (en) * 2006-08-25 2008-11-11 Appro Technology Inc Apparatus with automotive/handheld integrated synchronous playback mechanism for combining monitoring recording apparatus and multimedia entertainment
US8037414B2 (en) * 2006-09-14 2011-10-11 Avaya Inc. Audible computer user interface method and apparatus
US20100077002A1 (en) * 2006-12-06 2010-03-25 Knud Funch Direct access method to media information
JP4561766B2 (ja) * 2007-04-06 2010-10-13 株式会社デンソー 音データ検索支援装置、音データ再生装置、プログラム
JP5050721B2 (ja) * 2007-08-06 2012-10-17 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US20090138332A1 (en) * 2007-11-23 2009-05-28 Dimitri Kanevsky System and method for dynamically adapting a user slide show presentation to audience behavior
JP5137188B2 (ja) * 2008-02-08 2013-02-06 アルパイン株式会社 情報検索方法及び装置
US8935635B2 (en) * 2008-03-13 2015-01-13 Koninklijke Philips N.V. Method and device for enabling selection of an item from a plurality of items
US20090327968A1 (en) * 2008-06-27 2009-12-31 Nokia Corporation Apparatus and method for enabling user input

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1474407A (zh) * 2002-08-10 2004-02-11 宣 王 一种同步播放音频与图文的设备
US20060173560A1 (en) * 2004-10-07 2006-08-03 Bernard Widrow System and method for cognitive memory and auto-associative neural network based pattern recognition
CN101021849A (zh) * 2006-09-14 2007-08-22 浙江大学 基于内容相关性的跨媒体检索方法
WO2008062962A1 (en) * 2006-11-24 2008-05-29 University-Industry Cooperation Group Of Kyunghee University Space context copy/paste method and system, and space copier
US20100306657A1 (en) * 2009-06-01 2010-12-02 3Dlabs Inc., Ltd. Audio-Enhanced User Interface for Browsing

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689896A (zh) * 2018-07-06 2020-01-14 哈曼国际工业有限公司 追溯性声音识别***
CN111913682A (zh) * 2019-05-07 2020-11-10 苹果公司 利用空间音频提示增强控件声音

Also Published As

Publication number Publication date
TW201514736A (zh) 2015-04-16
KR101386852B1 (ko) 2014-04-17
WO2011056640A1 (en) 2011-05-12
CN104361078B (zh) 2018-11-06
JP5902330B2 (ja) 2016-04-13
JP2013510372A (ja) 2013-03-21
CN102713900B (zh) 2014-12-10
US8417703B2 (en) 2013-04-09
CN104361078A (zh) 2015-02-18
US20130251155A1 (en) 2013-09-26
TWI467398B (zh) 2015-01-01
JP2015156215A (ja) 2015-08-27
KR20120088822A (ko) 2012-08-08
TWI515586B (zh) 2016-01-01
EP2497038A1 (en) 2012-09-12
US20110106825A1 (en) 2011-05-05
TW201137649A (en) 2011-11-01

Similar Documents

Publication Publication Date Title
CN102713900B (zh) 使用空间听觉线索的数据搜索
JP4990378B2 (ja) メディアで強化されたメッセージングのための可搬通信デバイス及び方法
US8819553B2 (en) Generating a playlist using metadata tags
CN104820678B (zh) 音频信息识别方法及装置
US20090282335A1 (en) Electronic device with 3d positional audio function and method
JP4805921B2 (ja) 携帯マルチメディア装置を利用したデータ送信の方法
CN101794208A (zh) 用于无显示器的电子设备的音频用户接口
JP4561766B2 (ja) 音データ検索支援装置、音データ再生装置、プログラム
CN101212605B (zh) 内容可选的再现***及其方法、便携式再现单元控制装置
EP2025130A1 (en) Mobile wireless communication terminals, systems, methods, and computer program products for publishing, sharing and accessing media files
CN101547245A (zh) 利用手机播放多声道音频文件的方法
JP6198943B2 (ja) 携帯端末の音声エモーティコン制御方法
US11853643B2 (en) Media sharing community
CN102568530A (zh) 音频回放设备和方法
CN100438351C (zh) 在数字电子产品上显示广播节目信息的方法
KR20060116945A (ko) 이동통신 단말기의 디지털음원 가사정보 제공장치 및 방법
KR200392777Y1 (ko) 부가정보 제공기능을 갖춘 엠피쓰리 플레이어 및 그 이어폰
JP6464754B2 (ja) 音楽再生装置、及び、音楽再生プログラム
KR101386753B1 (ko) 음원을 재생하는 재생 단말기 및 음원을 재생하기 위한 방법
White Audio Electronics System Speaker (EMM Sep 1984)
KR100589210B1 (ko) 부가정보 제공기능을 갖춘 엠피쓰리 플레이어
White Ramsa WS-A70-K Monitor Speakers (HSR Apr 1986)
JP2011109640A (ja) 音楽プレーヤー内蔵型ヘッドホン
TWM288753U (en) Blue-tooth playing apparatus

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant