CN103946733A - 在可穿戴计算***上显示声音指示 - Google Patents

在可穿戴计算***上显示声音指示 Download PDF

Info

Publication number
CN103946733A
CN103946733A CN201280055975.3A CN201280055975A CN103946733A CN 103946733 A CN103946733 A CN 103946733A CN 201280055975 A CN201280055975 A CN 201280055975A CN 103946733 A CN103946733 A CN 103946733A
Authority
CN
China
Prior art keywords
sound
instruction
wearable computing
computing system
strength level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280055975.3A
Other languages
English (en)
Other versions
CN103946733B (zh
Inventor
A.王
缪潇宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN103946733A publication Critical patent/CN103946733A/zh
Application granted granted Critical
Publication of CN103946733B publication Critical patent/CN103946733B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/008—Visual indication of individual signal levels
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/803—Systems for determining direction or deviation from predetermined direction using amplitude comparison of signals derived from receiving transducers or transducer systems having differently-oriented directivity characteristics
    • G01S3/8034—Systems for determining direction or deviation from predetermined direction using amplitude comparison of signals derived from receiving transducers or transducer systems having differently-oriented directivity characteristics wherein the signals are derived simultaneously
    • G01S3/8036—Systems for determining direction or deviation from predetermined direction using amplitude comparison of signals derived from receiving transducers or transducer systems having differently-oriented directivity characteristics wherein the signals are derived simultaneously derived directly from separate directional systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H3/00—Measuring characteristics of vibrations by using a detector in a fluid
    • G01H3/10—Amplitude; Power
    • G01H3/12—Amplitude; Power by electric means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H3/00—Measuring characteristics of vibrations by using a detector in a fluid
    • G01H3/10—Amplitude; Power
    • G01H3/14—Measuring mean amplitude; Measuring mean power; Measuring time integral of power
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

公开了用于显示指示(i)声音的源的方向以及(ii)声音的强度水平的一个或多个指示的示例方法和***。一种方法可以包括接收与可穿戴计算***所检测到的声音相对应的音频数据。此外，所述方法可以包括分析所述音频数据以确定(i)声音的源相对于可穿戴计算***的方向以及(ii)声音的强度水平两者。更进一步，所述方法可以包括使得可穿戴计算***显示指示(i)声音的源的方向以及(ii)声音的强度水平的一个或多个指示。

Description

在可穿戴计算***上显示声音指示
相关申请的交叉引用
本申请要求于2011年11月14日提交的、题为“Displaying SoundIndication on a Wearable Computing System(在可穿戴计算***上显示声音指示)”的美国专利申请序列号第13/295,953号的优先权，通过引用将其全部公开内容结合于此。
背景技术
除非这里另有指示，否则本部分中描述的材料不是本申请中权利要求的现有技术，也并不因包含在本部分中而被承认为现有技术。
计算设备，比如个人计算机、便携式计算机、平板计算机、蜂窝电话以及无数类型的能够联网的设备在现代生活的许多方面日益流行。随着计算机变得更加高级，预期将计算机生成的信息与用户对物质世界的感知混合的增强现实的设备将变得更流行。
发明内容
在一个方面中，一种示例方法包括：(i)接收与可穿戴计算***所检测到的声音相对应的音频数据；(ii)分析所述音频数据以确定(a)所述声音的源相对于可穿戴计算***的方向以及(b)所述声音的强度水平两者；以及(iii)使得所述可穿戴计算***显示指示(a)所述声音的源的方向以及(b)所述声音的强度水平的一个或多个指示，其中，所述可穿戴计算***进行调节(condition)以使得所述可穿戴计算***在所述强度水平在给定阈值水平之上时显示所述一个或多个指示。
在另一方面中，公开了一种具有存储在其上的指令的非瞬态计算机可读介质，所述指令响应于被处理器执行而使得所述处理器执行操作。根据示例实施例，所述指令可以包括：(i)用于接收与可穿戴计算***所检测到的声音相对应的音频数据的指令；(ii)用于分析所述音频数据以确定(a)所述声音的源相对于可穿戴计算***的方向以及(b)所述声音的强度水平两者的指令；(iii)用于使得所述可穿戴计算***显示一个或多个指示的指令，所述指示指示(a)所述声音的源的方向以及(b)所述声音的强度水平；以及(iv)用于进行调节以使得所述可穿戴计算***在所述强度水平在给定阈值水平之上时显示所述一个或多个指示的指令。
在又一方面中，公开了一种可穿戴计算***。示例可穿戴计算***包括：(i)头戴式显示器，其中，所述头戴式显示器被配置成显示由计算机生成的信息并且允许对现实世界环境的视觉感知；(ii)控制器，其中，所述控制器被配置成接收与可穿戴计算***所检测到的声音相对应的音频数据并且分析所述音频数据以确定(a)所述声音的源相对于可穿戴计算***的方向以及(b)所述声音的强度水平两者；以及(iii)显示***，其中，所述显示***被配置成显示指示(a)所述声音的源的方向以及(b)所述声音的强度水平的一个或多个指示，其中，所述控制器还被配置成进行调节以使得所述可穿戴计算***在所述强度水平在给定阈值水平之上时显示所述一个或多个指示。
通过适当时参考附图来阅读下列详细描述，这些以及其它方面、优点以及替换对于本领域普通技术人员来说将变得清楚。
附图说明
图1是图示根据示例实施例的方法的流程图。
图2是根据示例实施例的示例麦克风阵列的例示。
图3a是根据示例实施例的示例显示的例示。
图3b是根据示例实施例的可以被包括在图3a的显示中的示例箭头大小的例示。
图4a是根据示例实施例的另一示例显示的例示。
图4b是根据示例实施例的示例色彩编码标尺(scale)的例示。
图4c是根据示例实施例的又一示例显示的例示。
图5是根据示例实施例的示例强度水平表的例示。
图6图示了用于接收、发送以及显示数据的示例***。
图7图示了图6中图示的***的替换视图。
图8a图示了用于接收、发送以及显示数据的示例***。
图8b图示了用于接收、发送以及显示数据的示例***。
图9图示了示例计算机网络基础设施的示意图。
图10a是根据示例实施例的示例声音事件指示器的例示。
图10b是根据示例实施例的另一示例声音事件指示器的例示。
具体实施方式
下列详细描述参照附图描述了公开的***和方法的各种特征和功能。在附图中，类似的符号典型地标识类似的组件，除非上下文中另有指定。这里描述的说明性的***和方法实施例并不意图进行限制。将容易理解：可以以各式各样的不同配置来排列和组合公开的***和方法的某些方面，所有这些在这里都被设想到。
I.概述
可穿戴计算***可以被配置成允许对现实世界环境的视觉感知并且显示与对现实世界环境的感知有关的由计算机生成的信息。有利的是，由计算机生成的信息可以与用户对现实世界环境的感知结合。例如，由计算机生成的信息可以用与用户在给定时刻正在感知或体验的事物有关的由计算机生成的有用的信息或视图来补充用户对物质世界的感知。
在一些情形下，可穿戴计算***的用户可能在听力方面有困难。例如，用户可以是听力被损伤的，比如重听或者甚至是聋的。因而，用户可能难以听到周围环境的声音。因此，向用户提供对周围环境声音的指示会是有益的。例如，提供对声音的源相对于可穿戴计算***的方向和/或声音的强度的指示会是有益的。举例来说，用户可以在人行横道处尝试横过街道，并且接近的汽车可以对用户按喇叭以便向用户警告汽车正开过人行横道。在这种情况下，向用户指示喇叭声来自的方向(例如，从左或者从右)以及喇叭声的强度(例如，以便指示接近的汽车跟用户有多近)会是有帮助的。
这里描述的方法及***可有助于提供对存在于周围现实世界环境中的声音的指示。一种示例方法可以包括：(a)接收与可穿戴计算***所检测到的声音相对应的音频数据；(b)分析所述音频数据以确定(i)所述声音的源相对于可穿戴计算***的方向以及(ii)所述声音的强度水平两者；以及(c)使得所述可穿戴计算***显示指示(i)所述声音的源的方向以及(ii)所述声音的强度水平的一个或多个指示。通过显示这些一个或多个指示，用户可以有益地看见对周围环境的声音的指示。
依据示例实施例，一种可穿戴计算***可以进行调节以便在所述强度水平在给定阈值水平之上时显示所述一个或多个指示。此外，许多类型的声音指示是可能的。举例来说，指示可以是单个图形指示(例如，箭头)，该单个图形指示指示(i)源相对于可穿戴计算***的方向以及(ii)声音的强度水平两者。作为另一示例，可穿戴计算***可以显示指示声音的源的方向的第一指示(例如，箭头)以及(ii)指示声音的强度水平的第二指示(例如，强度表(intensity meter))。
II.示例性方法
示例性方法可以包括可穿戴计算***针对周围环境的声音显示一个或多个声音指示。图1是图示根据示例实施例的方法的流程图。更具体地，示例方法100包括：接收与可穿戴计算***所检测到的声音相对应的音频数据，如块102所示。所述方法随后可以包括分析所述音频数据以确定(i)所述声音的源相对于可穿戴计算***的方向以及(ii)所述声音的强度水平两者，如块104所示。此外，所述方法随后可以包括使得所述可穿戴计算***显示指示(i)所述声音的源的方向以及(ii)所述声音的强度水平的一个或多个指示，如块106所示。
虽然示例性方法100以示例的方式被描述为由可穿戴计算***(比如可穿戴计算***600、800或者820)执行，但是应当理解，示例方法可以由可穿戴计算设备结合一个或多个其它实体(比如与所述可穿戴计算***通信的远程服务器)来执行。
A.接收与可穿戴计算***所检测到的声音相对应的音频数据
如上面所提及的，在块102处，可穿戴计算***可以接收与检测到的声音相对应的音频数据。在示例中，可穿戴计算***可以包括被配置成检测周围环境的声音的多个麦克风。注意，贯穿说明书所使用的“声音”可以包括存在于周围环境中的单一声音事件(例如，单个雷击、单个音符)或者存在于周围环境中的多个声音(例如，多个雷击、歌曲)。另外，周围环境的声音可以来自单个声源或者多个声源。
被配置成检测周围环境的声音的多个麦克风可以以检测来自多个方向的声音的方式排列。例如，麦克风可以以麦克风阵列排列。图2图示了具有麦克风阵列202的示例可穿戴计算***200。具体来说，计算***200包括定向麦克风204a到204e的阵列202。每个定向麦克风204a到204e被排列为捕获其各自相应区域206a到206e中的音频。注意，虽然每个定向麦克风被放置为主要检测来自相应区域的声音，但是麦克风也可以检测来自其它区域的声音。
在示例中，阵列202的麦克风可以沿着可穿戴计算***的框架(或多个框架)的各个点排列，所述框架比如图6中所示的框架604、606以及608。此外，注意，尽管阵列202被排列为检测来自大约跨150度的区域的声音，但是依据另一示例实施例的阵列可以检测来自跨更大度数(例如，高达360度)或者更小度数的区域的声音。
在示例中，参照图2，可穿戴计算***200的周围环境207可以包括声音的多个源。例如，声音210的第一源208可以位于区域206a中，并且声音214的第二源212可以位于区域206d中。可穿戴计算***200可以接收与周围环境的声音相对应的音频数据。具体来说，麦克风阵列202可以检测声音210和声音214。在示例中，每个麦克风都可以检测声音210和214。由于阵列202中的麦克风的排列，每个定向麦克风204a-204e可以在不同时间和/或以不同强度水平检测到声音210和214。
B.分析音频数据
在检测到周围环境的声音之后，可穿戴计算***可以将音频数据发送到处理器，比如如图9中所示的处理器914，以用于分析。具体来说，在块104处，可穿戴计算***可以分析所述音频数据以确定(i)所述声音的源相对于可穿戴计算***的方向以及(ii)所述声音的强度水平两者。
为了确定所述声音的源相对于可穿戴计算***的方向，可穿戴计算***可以分析麦克风204a-204e所收集的音频数据。如上所提及的，在示例中，每个麦克风可以检测声音210和声音214。然而，每个定向麦克风204a-204e可以在不同的时间和/或以不同的强度水平检测声音210或者214。例如，在声音210被麦克风204b-e检测到之前，声音210很可能被麦克风204a检测到。类似地，在声音214被麦克风204a-c和204e检测到之前，声音214很可能被麦克风204d检测到。基于在不同麦克风处声音的检测之间的时间差，可穿戴计算***可以确定所述声音的源的方向。这种对音频数据的定向分析在本领域中是公知的。基于阵列202所检测到的音频数据，***可以确定声音210的源208位于区域206a中，并且声音214的源212位于区域206d中。
此外，可穿戴计算***可以分析音频数据以确定声音的强度水平(例如，音量)。确定声音强度水平在本领域中是公知的。在示例中，强度水平可以是声音所处的区域的麦克风所检测到的声音的强度水平。在另一示例中，强度水平可以是阵列中的每个麦克风所接收到的声音的平均强度水平。
注意，周围环境的声音的强度水平可以随时间变化。例如，源208可以是说话的人，并且用户语音的音量可以随时间改变。作为另一示例，源可以是输出强度随时间变化的声音的乐器。其它示例也是可能的。
此外，强度测定可以帮助确定声音的源的方向，因为更接近源附近的麦克风将很可能以稍高的强度水平记录声音。
C.使得可穿戴计算***显示指示(i)声音的源的方向以及(ii)声音的强度水平的一个或多个指示
响应于分析音频数据，在块106处，可穿戴计算***可以显示指示声音的源的方向以及声音的强度水平的一个或多个指示。所述一个或多个指示可以有益地向用户提供与周围环境的声音有关的有价值的信息。例如，这些显示的指示可以帮助向重听的用户警告存在于周围环境中的声音。在另一示例中，这些显示的指示可以帮助重听的用户按照周围环境听起来的样子来设想周围环境。
i.单个图形指示
所述一个或多个指示可以包括指示(i)源相对于可穿戴计算***的方向以及(ii)强度水平两者的单个图形指示。例如，所述单个图形指示可以是箭头。
图3a图示了可穿戴计算***200的示例显示300。在这个示例中，源208是在显示300的时间仅有的声音的源(即，源212此时没有发出任何声音)。显示300包括针对声音210的单个图形指示。具体来说，在图3a中，声音210的源208是讲话的人。单个图形指示箭头302指示(i)源相对于可穿戴计算***的方向以及(ii)强度水平两者。在这个示例中，箭头302位于声音的源附近。具体来说，箭头302定位在稍稍高于声音的源。所述箭头可以用作向用户指示声音所来自的方向的清楚指示。在其它示例中，所述箭头可以定位在源的稍稍偏左方或者偏右方，或者可能覆盖在源208之上。
如上所提及的，声音的强度水平可以随时间变化。因此，在示例中，箭头的大小基于变化的强度水平而变化。例如，人类语音可以取决于人讲话声多大而从0分贝到60分贝(dB)不等。显示中箭头的大小可以基于声音210的强度水平而改变。图3b描绘了可以被包括在显示300中的示例箭头大小。在该示例中，箭头310与60dB相关，箭头312与50dB相关，箭头314与40dB相关，箭头316与30dB相关，箭头318与20dB相关，并且箭头320与10dB相关。当然，针对这些提及的分贝之间的其它分贝水平的箭头也可以被包括。通过针对较大的强度水平显示较大箭头，当音量大的声音存在于周围环境中时可穿戴计算***的用户将会知道。在示例中，周围环境中的声音越大，用户更可能应该注意或者意识到该声音。因此，当用户看见显示的大箭头时，该显示将向用户指示要特别注意周围环境。
如上所提及的，在周围环境中可以有两个或者更多个声音的源。因此可穿戴计算***可以接收与多个声音中的每一个相对应的音频数据，并且可以分析所述音频数据以确定(i)每个声音的源相对于可穿戴计算***的方向以及(ii)每个声音的强度水平两者。可穿戴计算***随后可以针对每个声音显示一个或多个指示以指示所述声音的方向以及所述声音的强度水平。例如，如图4a中所示，人208和人212可以同时说话。图4a描绘了包括针对声音210的第一指示402和针对声音214的第二指示404的示例显示400。在该示例中，所述指示是在各个讲话者之上的光环。
这些光环不仅指示声音的源的方向，并且也可以指示强度。在示例中，光环的大小可以针对不同的强度改变。然而，在另一示例中，可以针对声音的不同强度水平而显示不同的色彩。例如，光环可以被色彩编码以指示不同的强度水平。例如，图4b描绘了不同色彩代码的标尺408。在该示例中，色彩410与60dB相关，色彩412与50dB相关，色彩414与40dB相关，色彩416与30dB相关，色彩418与20dB相关，并且色彩420与10dB相关。在示例中，越亮的色彩可以与越高的强度水平相关。
作为另一示例，针对强度的指示可以包括经色彩编码的声音地图。例如，图4c图示了具有经色彩编码的声音地图的示例显示450。具体来说，对应于声音的源的显示的区域可以被上色以指示声音的强度水平。此外，不对应于声音的源的显示的区域可以不被上色(即，它们可以保持用户所感知到的它们的本色)。在该示例中，源212是色彩412，而源208是色彩416。因此，用户将意识到来自源212的声音比来自源208的声音更大(即，人212正比人208讲话声更大)。
作为又一示例，示例单个图形指示可以是被安排在声音的源上或者其附近的闪光。闪光的位置可以指示源相对于可穿戴计算机的方向，并且闪光的频率可以被调整以指示不同强度水平。
作为另一示例，针对强度的指示可以包括圆形指示符。例如，图形指示符可以被放置在与声音的到达角相对应的圆形指示符上的位置处。此外，离圆中心的距离可以对应于声音强度水平。圆形指示符例如在能够捕捉全部360度的到达角的***的实例中会是有用的。在示例中，圆形指示符可以被显示在可穿戴计算***的显示屏***(periphery)，比如显示在显示屏的一个角落中。
图10a和10b图示了示例圆形指示符。具体来说，图10a图示了示例圆形指示符1000。圆形指示符1000包括圆1002和强度条1004。在该示例中，强度条1004的位置可以用来指示声音的源在用户正后方。此外，强度条1004离圆1002的中心1006的长度可以用来指示声音的强度水平。例如，强度条针对强度较弱的声音可以较短(即，更远离中心)，并且强度条针对强度较强的声音可以较长(即，更接近中心)。图10b图示了另一示例圆形指示符1010。在该示例中，圆形指示符包括圆1012和强度条1014。强度条1014用来指示声音的源在用户的左边。此外，强度条1014的长度指示声音的强度水平。与图10a中显示的声音强度相比，图10b中显示的声音的强度较低。
在示例中，圆形指示符可以包括箭头而不包括强度条，该箭头的大小可以被确定为指示声音的强度。在又一示例中，圆形指示符可以包括位于圆上的图形(例如，点)，并且点可以基于声音的强度而改变色彩。应当理解，圆形指示符可以包括可用来指示声音的强度水平的其它图形。
ii.针对方向和强度的分开指示
在另一示例中，一个或多个指示可以包括指示声音的源的方向的第一指示以及指示声音的强度水平的第二指示。例如，第一指示可以是指示声音的源的方向的箭头或者光环，并且第二指示可以是强度表或者经色彩编码的声音地图。示例强度表500在图5中描绘。在示例中，强度表范围是从0dB到150分贝，并且条502指示声音的强度水平(在该示例中，其是100dB)。声音的强度水平可以随时间变化，从而条502的大小可以随强度水平同步变化。
比如强度表502的强度表可以被显示在显示中的不同位置处。例如，强度表可以被显示在显示的***。在另一示例中，强度表可以被显示在声音的源附近。此外，在存在多个声音的源的情况下，可穿戴计算***可以针对每个声音的源显示强度表。
iii.在用户的视场之外的声音的源
在示例中，声音的源可以在用户的视场之外。可穿戴计算***可以提供大约跨180度的可穿戴计算***的现实世界环境的视图。可穿戴计算***可以检测来自在该周围环境的视图之外的源的声音。例如，声音的源可以在用户后方，或者在用户的周围视觉之外在用户的左边或右边。可穿戴计算***可以确定声音的源位于视图之外或者位于视图的***中。在示例中，可穿戴计算***可以包括放置在可穿戴计算***周围的多个麦克风，从而所述麦克风可以检测来自任何方向(即，跨360度)的声音。例如，可穿戴计算***可以包括在用户的头部周围间隔120度的三个麦克风的三角形布置。其它麦克风布置也是可能的。
示例指示可以是在视图的***中的闪光。例如，显示可以包括在显示的***中的某个点处(比如在显示450的***472中的点470处)的闪光。该闪光可以向用户指示声音是从用户的视图之外检测到的。
iv.显示在阈值强度水平之上的声音
在示例中，方法可以包括进行调节以使得可穿戴计算***在所述强度水平在给定阈值水平之上时显示一个或多个指示。因此，在确定周围环境的声音的强度水平之后，可穿戴计算***可以确定强度水平是否超过给定阈值水平。如果强度水平超过给定阈值水平，则可穿戴计算***可以显示一个或多个指示。然而，如果强度水平不超过给定阈值水平，则可穿戴计算***可以不显示一个或多个指示。
该调节步骤例如，在滤除用户没兴趣看到其指示的背景噪声方面会是有用的。在示例中，可穿戴计算***进行调节以使得可穿戴计算***显示关于5dB之上的强度水平的一个或多个指示。其它示例阈值是可能的，并且用户可以用期望的阈值水平，比如在1dB和20dB之间的阈值水平，来配置可穿戴计算***。
在另一示例中，用户可以正穿戴着可穿戴计算***，并且可穿戴计算***的显示器可以最初被断电。例如，显示器可以由于某种原因而关闭。然而，尽管显示器被断电，但是可穿戴计算***仍可以检测声音。***可以确定强度水平在给定阈值水平之上。响应于确定强度水平在给定阈值水平之上，***可以激活显示器以便显示一个或多个指示。
v.显示相对于移动平均窗口(Moving Average Window)的强度水平
在示例中，声音事件的强度水平的显示可以被表示为声音事件的绝对强度水平和周围环境的声音的移动平均窗口的绝对强度水平之间的差，而非指示声音的绝对强度。移动平均窗口可以是预定持续时间的移动平均窗口。例如，移动平均窗口可以是30秒。当然，移动平均窗口可以具有更长或者更短的持续时间。
通过将声音事件的强度水平表示为声音事件的绝对强度水平和周围环境的声音的移动平均窗口的绝对强度水平之间的差，显示的声音强度可以适用于用户所处的特定环境。这可以帮助用来向用户指示用户的特定声音环境中的相关声音。例如，如果可穿戴计算***的用户在很安静的环境(例如，空房间)中，则最后30秒的平均声音功率将很可能是低的。异常事件可以是像在轻轻敲门那样安静的某事。相对于最后30秒的平均声音功率的很可能很低的声音功率，轻敲的声音强度可以被显示。
另一方面，如果可穿戴计算***的用户处在很嘈杂的环境(例如，喧吵的工厂)中，则最后30秒的平均声音功率将是高的。可以相对于很嘈杂环境的平均声音强度来显示声音强度水平。另外，如上所提及的，在一些示例中，可穿戴计算***可以进行调节以显示在给定阈值之上的声音强度。给定阈值可以基于平均噪声基底(noise floor)。例如，用于调节声音强度显示的给定阈值可以对于喧吵的环境比对于安静的环境更大。利用上述讨论的示例，在安静的环境中，平均噪声基底可以被设定在安静的房间的平均噪声水平附近的水平处。另一方面，在喧吵的环境中，平均噪声基底可以被设定在喧吵的工厂的平均噪声附近的水平处。有益地，通过基于平均噪声基底调整阈值水平，可穿戴计算***可以保证它显示与用户所处的特定声音环境相关的声音。
在示例中，可穿戴计算***可以被配置成连续地运行该移动平均分析。通过连续地运行移动平均分析，当用户移动到不同的声音环境(例如，从安静的环境到喧吵的环境)时，用户将无须手动改变阈值水平。
vi.对声音的附加指示
除了显示声音的源相对于可穿戴计算***的方向以及声音的强度水平之外的指示，其它声音指示也是可能的。如上所提及的，周围环境的声音可以是语音。在示例中，所述方法还可以包括确定语音的文本的语音到文本的特征。在确定语音的文本之后，所述方法可以包括使得可穿戴计算***显示所述语音的文本。在示例中，可穿戴计算***可以在讲话者上方显示语音气泡，其中所述语音气泡包括讲话者的语音的文本。
另一可能的声音指示是指示声音的源是什么的指示。在示例中，可穿戴计算***可以确定声音的源，并且可穿戴计算***可以提供关于声音的源的信息。可穿戴计算***可以分析音频数据以确定声音的源，并且随后可以显示指示所述声音的源的另一指示。例如，另一指示可以是描述声音的源(例如，狗、猫、人类、乐器、汽车等等)的文本指示。
例如，可穿戴计算***可以分析声音以将它与声音的源进行匹配。在示例中，远程服务器可以包括声音片断的数据库，每个片断与源相关。服务器可以将检测到的声音与声音片断的数据库中的不同声音进行比较以识别匹配。一旦识别出声音的源，可穿戴计算***就可以显示关于所述源的信息。例如，可以显示标识所述源的信息。例如，所述声音可以是从给定车辆的发动机发出。可穿戴计算***可以显示车辆的类型。可以提供其它信息。例如，可穿戴计算***可以显示与车辆的市场价格和/或可以购买所述车辆的公司有关的信息。其它示例信息也是可能的。
在另一示例中，可穿戴计算***可以显示对应于所述声音的源的视频。例如，可穿戴计算***可以检测来自海滩的声音(例如，波浪拍打声)。可穿戴计算***可以显示海滩以及波浪拍打的视频。该视频可以帮助用户按照世界听起来的样子设想世界。
在又一示例中，另一可能的声音指示是指示声音的音频频率的指示。音频频率是例如确定音高的声音的性质，并且音频频率可以以赫兹(Hz)度量。一般地，人类典型地能够听到在20Hz到20,000Hz的范围内的频率。然而，个人听到的频率范围可能受环境因素影响。
可穿戴计算***可以分析声音并且以各种各样的方式确定声音的音频频率。例如，可穿戴计算***可以通过在频域或时域中的算法来分析声音的音频频率。前者可以尝试在输入信号的频率变换中定位正弦曲线的峰。后者可以使用自相关函数来检测波形及其时间滞后版本之间的相似性。在确定声音的音频频率之后，可穿戴计算***可以显示对所确定的音频频率的指示。例如，可穿戴计算***可以显示所确定的音频频率值。作为另一示例，可穿戴计算***可以显示音频频率标尺。
确定声音的音频频率并显示对音频频率的指示由于各种各样的原因会是有益的。能够可视化音频频率的示例好处可以在用户暴露于高频率噪音的状况下体验到。在这样的状况下，显示高音频频率的指示可以帮助向用户警告具有高音频频率的声音。该警告可以例如，用来促使用户采取行动以避免由于高音频频率声音所导致的潜在的听力损伤。
在又一示例中，另一可能的声音指示是指示维纳熵(Wiener entropy)的指示。维纳熵可以被分析作为声谱的几何平均与算术平均的比值。具体来说，维纳熵是范围在0和1之间的声音的随机性的量度，其可以被用于区分声音是白噪声还是和谐的声音。因此，可穿戴计算***的用户(例如，重听的用户)可以有益地确定声音是白噪声还是和谐的声音。
除了上述的示例声音指示之外，其它的声音指示也是可能的。
III.示例***和设备
图6图示了用于接收、发送以及显示数据的示例***600。***600以可穿戴计算设备的形式示出。***600可以被配置成执行方法100。尽管图6图示了作为可穿戴计算设备的示例的头戴式设备602，但是可以额外地或者可替换地使用其它类型的可穿戴计算设备。如图6中图示的，头戴式设备602包含包括透镜框架604、606和中心框架支撑608的框架元件、透镜元件610、612以及延伸侧臂614、616。中心框架支撑608和延伸侧臂614、616被配置为分别经由用户的鼻子和耳朵将头戴式设备602固定到用户的面部。
框架元件604、606和608以及延伸侧臂614、616中的每一个可以由塑料和/或金属的实心结构形成，或者可以由类似材料的中空结构形成，以允许配线和组件互连在内部按一定路线经过头戴式设备602。其它材料也可以是可能的。
透镜元件610、612中的每一个的一个或多个可以由能够合适地显示投影的图像或者图形的任意材料形成。透镜元件610、612中的每一个也可以充分地透明以允许用户看穿透镜元件。组合透镜元件的这两个特征可以促进增强现实或者抬头显示，其中，投影的图像或者图形被叠加在用户通过透镜元件感知到的现实世界的视图上。
延伸侧臂614、616可以各自是分别从框架元件604、606延伸开的突出物，并且可以被定位在用户的耳后以将头戴式设备602固定到用户。延伸侧臂614、616还可以通过绕着用户头部的后部延伸来将头戴式设备602固定到用户。额外地或者可替换地，例如，***600可以连接到头戴式头盔结构或者附着到头戴式头盔结构内。也存在其它可能性。
***600也可以包括机载计算***618、摄像机620、传感器622以及手指可操作触摸板624。机载计算***618被示出为设在头戴式设备602的延伸侧臂614上；然而，机载计算***618可以提供在头戴式设备602的其它部件上或者可以设置为远离头戴式设备602(例如，机载计算***618可以有线或无线连接到头戴式设备602)。机载计算***618例如可以包括处理器和存储器。机载计算***618可以被配置成接收并分析来自摄像机620和手指可操作触摸板624(以及可能来自其它传感设备、用户接口或者这两者)的数据并且生成图像以用于由透镜元件610和612输出。
摄像机620被示出为位于头戴式设备602的延伸侧臂614上；然而，摄像机620可以提供在头戴式设备602的其它部件上。摄像机620可以被配置成以各种分辨率或者以不同的帧速率捕获图像。例如，许多具有小成形要素的摄像机，比如在蜂窝电话或者网络摄像头中使用的那些摄像机，可以被包含到设备600的示例中。
此外，虽然图6图示了一个摄像机620，但是可以使用多个摄像机，并且每一个可以被配置成捕获相同的视图，或者捕获不同的视图。例如，摄像机620可以是前向的以捕获用户所感知的现实世界视图的至少一部分。随后，这个摄像机620捕获的前向图像可以被用来生成增强现实，其中，由计算机生成的图像看起来与用户所感知的现实世界视图交互。
传感器622被示出在头戴式设备602的延伸侧臂616上；然而，传感器622可以设置在头戴式设备602的其它部件上。传感器622例如可以包括陀螺仪或者加速度计中的一个或多个。在传感器622内或者除了传感器622之外可以包括其它感测器件，或者传感器222可以执行其它感测功能。
手指可操作触摸板624被示出为在头戴式设备602的延伸侧臂614上。然而，手指可操作触摸板624可以设置在头戴式设备602的其它部件上。另外，头戴式设备602上可以存在多于一个的手指可操作触摸板。手指可操作触摸板624可以被用户用来输入命令。手指可操作触摸板624可以经由电容感测、电阻感测或者表面声波过程等等感测手指的位置和移动中的至少一者。手指可操作触摸板624可以能够感测在与板表面平行或在同一平面内的方向上、在与板表面垂直的方向上或者在这两个方向上的手指移动，并且也可以能够感测施加到板表面的压力水平。手指可操作触摸板624可以由一个或多个半透明的或者透明的绝缘层以及一个或多个半透明的或者透明的导电层形成。手指可操作触摸板624的边缘可以被形成为具有凸起的、内凹的或者粗糙的表面，从而在用户的手指到达手指可操作触摸板624的边缘或者其它区域时向用户提供触觉反馈。如果存在多于一个的手指可操作触摸板，则每个手指可操作触摸板可以被独立地操作，并且可以提供不同的功能。
图7图示了图6中图示的***600的替换视图。如图7中所示，透镜元件610、612可以充当显示元件。头戴式设备602可以包括第一投影仪628，所述第一投影仪628被耦接到延伸侧臂616的内表面并且被配置成将显示630投影到透镜元件612的内表面上。额外地或者可替换地，第二投影仪632可以被耦接到延伸侧臂614的内表面并且被配置成将显示634投影到透镜元件610的内表面上。
透镜元件610、612可以充当光投影***中的组合器(combiner)并且可以包括涂层，所述涂层反射从投影仪628、632投影到它们之上的光。在一些实施例中，可以不使用反射性涂层(例如，当投影仪628、632是扫描激光设备时)。
在替换实施例中，也可以使用其它类型的显示元件。例如，透镜元件610、612本身可以包括：比如电致发光显示器或者液晶显示器的透明的或者半透明的矩阵显示器，用于将图像输送到用户眼睛的一个或多个波导、或者能够将对焦的近眼式图像输送给用户的其它光学元件。相应的显示驱动器可以被安排在框架元件604、606内以用于驱动这种矩阵显示器。可替换地或者额外地，激光器或者LED源和扫描***可以用于将光栅显示直接描画到用户的一只或者两只眼睛的视网膜上。也存在其它可能性。
图8a图示了用于接收、发送以及显示数据的示例***800。***800可以被配置成执行方法100。***800以可穿戴计算设备802的形式示出。可穿戴计算设备802可以包括框架元件和侧臂，比如关于图6和7所述的那些。可穿戴计算设备802可以额外地包括机载计算***804和摄像机806，比如关于图6和7所述的那些。摄像机806被示出为装配在可穿戴计算设备802的框架上；然而，摄像机806也可以装配在其它位置上。
如图8a中所示，可穿戴计算设备802可以包括单个显示器808，其可以被耦接到所述设备。显示器808可以被形成在可穿戴计算设备802的透镜元件之一上，比如关于图6和7所述的透镜元件，并且显示器808可以被配置成在用户对物质世界的视图上覆盖由计算机生成的图形。显示器808被示出为提供在可穿戴计算设备802的透镜中心上，然而，显示器808可以在其它位置提供。显示器808可经由计算***804控制，所述计算***804经由光波导810耦接到显示器808。
图8b图示了用于接收、发送以及显示数据的示例***820。***820可以被配置成执行方法100。***820以可穿戴计算设备822的形式示出。可穿戴计算设备822可以包括侧臂823、中心框架支撑824和具有鼻梁架825的鼻桥部分。在图8b中所示的示例中，中心框架支撑824连接侧臂823。可穿戴计算设备822不包括包含透镜元件的透镜框架。可穿戴计算设备822可以额外地包括机载计算***826和摄像机828，比如关于图6和7所述的那些。
可穿戴计算设备822可以包括单个透镜元件830，所述单个透镜元件830可以被耦接到侧臂823之一或者中心框架支撑824。透镜元件830可以包括显示器，比如参照图6和7所述的显示器，并且可以被配置成在用户对物质世界的视图之上覆盖由计算机生成的图形。在一个示例中，单个透镜元件830可以被耦接到延伸侧臂823的内侧(即，当被用户穿戴时，暴露于用户头部的那一侧)。当可穿戴计算设备822被用户穿戴时，单个透镜元件830可以被设置在用户的眼睛的前面或者接近用户的眼睛。例如，单个透镜元件830可以被设置在中心框架支撑824的下方，如图8b中所示。
图9图示了示例计算机网络基础设施的示意图。在***900中，设备910利用通信链路920(例如，有线或无线连接)与远程设备930通信。设备910可以是可以接收数据并且显示与数据相对应的或者相关联的信息的任意类型的设备。例如，设备910可以是抬头显示***，比如参照图6-8b所述的头戴式设备602、800或者820。
因此，设备910可以包括包含处理器914和显示器916的显示***912。显示器916可以是例如，光学透视(see-through)显示器、光学环视(see-around)显示器或者视频透视显示器。处理器914可以从远程设备930接收数据，并且配置所述数据以用于在显示器916上显示。处理器914可以是任何类型的处理器，诸如例如微处理器或者数字信号处理器。
设备910还可以包括机载数据存储装置，比如耦接到处理器914的存储器918。存储器918可以存储例如可以被处理器914访问并执行的软件。
远程设备930可以是被配置成向设备910发送数据的任何类型的计算设备或者发送器，包括便携式计算机、移动电话或者平板计算设备等等。远程设备930和设备910可以包含使能通信链路920的硬件，比如处理器、发送器、接收器、天线等等。
在图9中，通信链路920被图示为无线连接；然而，也可以使用有线连接。例如，通信链路920可以是比如通用串行总线的有线串行总线或者并行总线。有线连接也可以是专有连接。通信链路920也可以是利用例如，蓝牙无线电技术、在IEEE802.11(包括任意IEEE802.11版本)中描述的通信协议、蜂窝技术(比如GSM、CDMA、UMTS、EV-DO、WiMAX或者LTE)、或者紫蜂技术等等的无线连接。远程设备330可以是经由互联网可访问的并且可以包括与特定网络服务(例如，社交网络、照片共享、地址薄等等)相关联的计算集群。
参照图9，设备910可以执行方法100的步骤。具体来说，方法100可以对应于当执行存储在非瞬态计算机可读介质中的指令时处理器914所执行的操作。在示例中，非瞬态计算机可读介质可以是存储器918的一部分。非瞬态计算机可读介质可以具有存储在其上的指令，所述指令响应于被处理器914执行而使得处理器914执行各种操作。所述指令可以包括：(a)用于接收与可穿戴计算***所检测到的声音相对应的音频数据的指令；(b)用于分析所述音频数据以确定(i)所述声音的源相对于可穿戴计算***的方向以及(ii)所述声音的强度水平两者的指令；以及(c)用于使得所述可穿戴计算***显示指示(i)所述声音的源的方向以及(ii)所述声音的强度水平的一个或多个指示的指令。此外，在示例中，所述指令还可以包括用于进行调节以使得可穿戴计算***在强度水平在给定阈值水平之上时显示一个或多个指示的指令。
IV.结论
应当理解，这里描述的排列仅仅是出于示例的目的。因而，本领域技术人员将理解，能够替代使用其它排列及其它元件(例如机器、接口、功能、顺序和功能的分组等等)，并且根据所期望的结果可以完全省略一些元件。此外，描述的元件中的许多元件是功能实体，所述功能实体可以被实现为分立的或者分布式的组件，或者以任意合适的组合和位置与其它组件结合。
应当理解，对于这里讨论的***和方法收集和/或使用任何关于用户的个人信息或者可能涉及用户个人信息的信息的情形，可以向用户提供机会使其决定参加/退出涉及这样的个人信息(例如，关于用户偏好的信息)的程序或者特征。另外，某些数据可以在被存储或者使用之前以一种或多种方式匿名化，从而去除个人可识别的信息。例如，用户的身份可以被匿名化，从而针对用户不能确定个人可识别的信息，并且从而任何识别出的用户偏好或者用户交互都被一般化(例如，基于用户人口资料一般化)，而非与特定用户相关联。
尽管这里公开了各种方面和实施例，但其它方面和实施例对本领域技术人员来说将是清楚的。这里公开的各种方面和实施例是出于例示的目的，并不意图进行限制，其中，真实的范围和精神由权利要求以及这样的权利要求有权要求的等价物的完整范围来指示。也将会理解，这里使用的术语仅仅出于描述特定实施例的目的，并非意图进行限制。

Claims (20)

1.一种由计算机实现的方法，包括：
接收与可穿戴计算***所检测到的声音相对应的音频数据；
分析所述音频数据以确定(i)所述声音的源相对于可穿戴计算***的方向以及(ii)所述声音的强度水平两者；以及
使得所述可穿戴计算***显示指示(i)所述声音的源的方向以及(ii)所述声音的强度水平的一个或多个指示，
其中，所述可穿戴计算***进行调节以使得所述可穿戴计算***在所述强度水平在给定阈值水平之上时显示所述一个或多个指示。
2.如权利要求1所述的方法，其中，所述可穿戴计算***的显示器最初被断电，所述方法还包括：
在确定所述强度水平之后，确定所述强度水平在给定阈值水平之上；以及
响应于确定所述强度水平在所述给定阈值水平之上，激活所述显示器以显示所述一个或多个指示。
3.如权利要求1所述的方法，其中，所述一个或多个指示包括单个图形指示，所述单个图形指示指示(i)所述源相对于所述可穿戴计算***的方向以及(ii)所述强度水平两者。
4.如权利要求3所述的方法，其中，所述单个图形指示是箭头。
5.如权利要求4所述的方法，其中，所述声音的强度水平随时间变化，并且其中，所述箭头的大小基于变化的强度水平而变化。
6.如权利要求1所述的方法，其中，所述一个或多个指示包括(i)指示所述声音的源的方向的第一指示以及(ii)指示所述声音的强度水平的第二指示。
7.如权利要求6所述的方法，其中，所述第一指示是箭头，并且其中，所述第二指示是强度表。
8.如权利要求1所述的方法，其中，所述声音的强度水平随时间变化，并且其中，所述一个或多个指示包含随所述强度水平同步变化的与强度水平相关联的指示。
9.如权利要求1所述的方法，其中，显示所述一个或多个指示包括针对所述声音的不同强度水平显示不同的色彩。
10.如权利要求1所述的方法，其中，所述一个或多个指示包括强度表。
11.如权利要求1所述的方法，其中，所述可穿戴计算***提供所述可穿戴计算***的现实世界环境的视图，所述方法还包括：
确定所述声音的源位于所述视图之外或者位于所述视图的***中，并且其中，所述一个或多个指示包括在所述视图的***中的闪光。
12.如权利要求1所述的方法，其中，所述声音包括语音，所述方法还包括：
确定所述语音的文本的语音到文本特征；以及
使得所述可穿戴计算***显示所述语音的文本。
13.如权利要求1所述的方法，还包括：
接收与可穿戴计算***所检测到的第二声音相对应的音频数据；
分析所述音频数据以确定以下两者：(i)所述第二声音的源相对于所述可穿戴计算***的方向，其中，所述第二声音的方向不同于所述声音的方向；和(ii)所述第二声音的强度水平；以及
使得所述可穿戴计算***显示指示(i)所述第二声音的源的方向以及(ii)所述第二声音的强度水平的一个或多个指示。
14.如权利要求1所述的方法，还包括：
分析所述音频数据以确定所述声音的源；以及
使得所述可穿戴计算***显示另一指示，其中，所述另一指示指示所述声音的源。
15.如权利要求14所述的方法，其中，所述另一指示是描述所述声音的源的文本指示。
16.如权利要求14所述的方法，其中，所述另一指示是对应于所述声音的源的视频。
17.一种具有存储在其上的指令的非瞬态计算机可读介质，所述指令响应于被处理器执行而使得所述处理器执行操作，所述指令包括：
用于接收与可穿戴计算***所检测到的声音相对应的音频数据的指令；
用于分析所述音频数据以确定(i)所述声音的源相对于所述可穿戴计算***的方向以及(ii)所述声音的强度水平两者的指令；
用于使得所述可穿戴计算***显示指示(i)所述声音的源的方向以及(ii)所述声音的强度水平的一个或多个指示的指令；以及
用于进行调节以使得所述可穿戴计算***在所述强度水平在给定阈值水平之上时显示所述一个或多个指示的指令。
18.如权利要求17所述的非瞬态计算机可读介质，其中，所述一个或多个指示包括单个图形指示，所述单个图形指示指示(i)所述源相对于所述可穿戴计算***的方向以及(ii)所述强度水平两者。
19.一种可穿戴计算***，包括：
头戴式显示器，其中，所述头戴式显示器被配置成显示由计算机生成的信息并且允许对现实世界环境的视觉感知；以及
控制器，其中，所述控制器被配置成接收与可穿戴计算***所检测到的声音相对应的音频数据并且分析所述音频数据以确定(i)所述声音的源相对于所述可穿戴计算***的方向以及(ii)所述声音的强度水平两者；以及
显示***，其中，所述显示***被配置成显示指示(i)所述声音的源的方向以及(ii)所述声音的强度水平的一个或多个指示，
其中，所述控制器还被配置成进行调节以使得所述可穿戴计算***在所述强度水平在给定阈值水平之上时显示所述一个或多个指示。
20.如权利要求19所述的可穿戴计算***，其中，所述显示***的显示器最初被断电，
其中，所述控制器还被配置成：在确定所述强度水平之后，确定所述强度水平在给定阈值水平之上，并且
其中，所述显示***还被配置成：响应于所述强度水平在给定阈值水平之上的确定，激活所述显示器以便显示所述一个或多个指示。
CN201280055975.3A 2011-11-14 2012-10-16 在可穿戴计算***上显示声音指示 Active CN103946733B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/295,953 US8183997B1 (en) 2011-11-14 2011-11-14 Displaying sound indications on a wearable computing system
US13/295,953 2011-11-14
PCT/US2012/060342 WO2013074234A1 (en) 2011-11-14 2012-10-16 Displaying sound indications on a wearable computing system

Publications (2)

Publication Number Publication Date
CN103946733A true CN103946733A (zh) 2014-07-23
CN103946733B CN103946733B (zh) 2017-12-05

Family

ID=46061263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280055975.3A Active CN103946733B (zh) 2011-11-14 2012-10-16 在可穿戴计算***上显示声音指示

Country Status (6)

Country Link
US (3) US8183997B1 (zh)
EP (1) EP2780757A4 (zh)
JP (1) JP5881263B2 (zh)
KR (1) KR101668165B1 (zh)
CN (1) CN103946733B (zh)
WO (1) WO2013074234A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105632096A (zh) * 2016-02-23 2016-06-01 傅华 个人可穿戴的环境声音检测报警装置及其方法
WO2017066992A1 (zh) * 2015-10-23 2017-04-27 深圳市柔宇科技有限公司 头戴式显示设备、提示信息显示***及方法
CN107168518A (zh) * 2017-04-05 2017-09-15 北京小鸟看看科技有限公司 一种用于头戴显示器的同步方法、装置及头戴显示器
CN107223277A (zh) * 2016-12-16 2017-09-29 深圳前海达闼云端智能科技有限公司 一种聋哑人辅助方法、装置以及电子设备
CN108351700A (zh) * 2015-09-16 2018-07-31 奇跃公司 音频文件的头部姿势混合
CN108389584A (zh) * 2018-01-31 2018-08-10 深圳市科迈爱康科技有限公司 声音分析方法及装置
CN108594988A (zh) * 2018-03-22 2018-09-28 美律电子(深圳)有限公司 用于音频成像的可穿戴式电子装置及其操作方法
CN108852620A (zh) * 2018-01-19 2018-11-23 郭磊 智能颈戴设备及其控制方法
WO2019237429A1 (zh) * 2018-06-11 2019-12-19 北京佳珥医学科技有限公司 用于辅助交流的方法、装置和***及增强现实眼镜
CN110691300A (zh) * 2019-09-12 2020-01-14 连尚（新昌）网络科技有限公司 音频播放设备及用于提供信息的方法
CN112423190A (zh) * 2019-08-20 2021-02-26 苹果公司 用于头戴式设备的基于音频的反馈

Families Citing this family (133)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007147077A2 (en) 2006-06-14 2007-12-21 Personics Holdings Inc. Earguard monitoring system
EP2044804A4 (en) 2006-07-08 2013-12-18 Personics Holdings Inc PERSONAL HEARING AID AND METHOD
US11450331B2 (en) 2006-07-08 2022-09-20 Staton Techiya, Llc Personal audio assistant device and method
US8917894B2 (en) 2007-01-22 2014-12-23 Personics Holdings, LLC. Method and device for acute sound detection and reproduction
US8254591B2 (en) 2007-02-01 2012-08-28 Personics Holdings Inc. Method and device for audio recording
US11750965B2 (en) 2007-03-07 2023-09-05 Staton Techiya, Llc Acoustic dampening compensation system
WO2008124786A2 (en) 2007-04-09 2008-10-16 Personics Holdings Inc. Always on headwear recording system
US11317202B2 (en) 2007-04-13 2022-04-26 Staton Techiya, Llc Method and device for voice operated control
US10194032B2 (en) 2007-05-04 2019-01-29 Staton Techiya, Llc Method and apparatus for in-ear canal sound suppression
US11856375B2 (en) 2007-05-04 2023-12-26 Staton Techiya Llc Method and device for in-ear echo suppression
US11683643B2 (en) 2007-05-04 2023-06-20 Staton Techiya Llc Method and device for in ear canal echo suppression
WO2008139018A1 (en) * 2007-05-09 2008-11-20 Savox Communications Oy Ab (Ltd) A display apparatus
US10009677B2 (en) 2007-07-09 2018-06-26 Staton Techiya, Llc Methods and mechanisms for inflation
ITUD20070127A1 (it) * 2007-07-16 2009-01-17 Eurotech S P A Apparecchiatura elettronica indossabile
US8600067B2 (en) 2008-09-19 2013-12-03 Personics Holdings Inc. Acoustic sealing analysis system
US9129291B2 (en) 2008-09-22 2015-09-08 Personics Holdings, Llc Personalized sound management and method
US8554350B2 (en) 2008-10-15 2013-10-08 Personics Holdings Inc. Device and method to reduce ear wax clogging of acoustic ports, hearing aid sealing system, and feedback reduction system
US9138353B2 (en) 2009-02-13 2015-09-22 Personics Holdings, Llc Earplug and pumping systems
US8477425B2 (en) 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US11275482B2 (en) * 2010-02-28 2022-03-15 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US8472120B2 (en) 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
JP2013521576A (ja) 2010-02-28 2013-06-10 オスターハウト グループ インコーポレイテッド 対話式ヘッド取付け型アイピース上での地域広告コンテンツ
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US8488246B2 (en) 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
JPWO2011122522A1 (ja) * 2010-03-30 2013-07-08 日本電気株式会社 感性表現語選択システム、感性表現語選択方法及びプログラム
EP2586216A1 (en) 2010-06-26 2013-05-01 Personics Holdings, Inc. Method and devices for occluding an ear canal having a predetermined filter characteristic
US10045321B2 (en) 2010-12-30 2018-08-07 Staton Techiya, Llc Information processing using a population of data acquisition devices
JP6001239B2 (ja) * 2011-02-23 2016-10-05 京セラ株式会社 通信機器
US10356532B2 (en) 2011-03-18 2019-07-16 Staton Techiya, Llc Earpiece and method for forming an earpiece
US10362381B2 (en) 2011-06-01 2019-07-23 Staton Techiya, Llc Methods and devices for radio frequency (RF) mitigation proximate the ear
US20130002425A1 (en) * 2011-07-01 2013-01-03 General Electric Company Augmented reality excessive noise display and warning system
TW201316328A (zh) * 2011-10-14 2013-04-16 Hon Hai Prec Ind Co Ltd 聲音反饋裝置及其工作方法
US8183997B1 (en) * 2011-11-14 2012-05-22 Google Inc. Displaying sound indications on a wearable computing system
EP2629498A1 (en) * 2012-02-17 2013-08-21 Sony Ericsson Mobile Communications AB Portable electronic equipment and method of visualizing sound
US9384737B2 (en) * 2012-06-29 2016-07-05 Microsoft Technology Licensing, Llc Method and device for adjusting sound levels of sources based on sound source priority
WO2014039026A1 (en) 2012-09-04 2014-03-13 Personics Holdings, Inc. Occlusion device capable of occluding an ear canal
KR101989893B1 (ko) * 2012-10-29 2019-09-30 엘지전자 주식회사 헤드 마운트 디스플레이 및 이를 이용한 오디오 신호 출력 방법
US9691377B2 (en) * 2013-07-23 2017-06-27 Google Technology Holdings LLC Method and device for voice recognition training
US9704486B2 (en) * 2012-12-11 2017-07-11 Amazon Technologies, Inc. Speech recognition power management
TWI534475B (zh) 2012-12-21 2016-05-21 財團法人工業技術研究院 虛像顯示裝置
US10043535B2 (en) 2013-01-15 2018-08-07 Staton Techiya, Llc Method and device for spectral expansion for an audio signal
JP2015087695A (ja) * 2013-11-01 2015-05-07 セイコーエプソン株式会社 情報処理装置および情報処理装置の制御方法
US9880615B2 (en) * 2013-02-15 2018-01-30 Seiko Epson Corporation Information processing device and control method for information processing device
US9129515B2 (en) * 2013-03-15 2015-09-08 Qualcomm Incorporated Ultrasound mesh localization for interactive systems
US9536453B2 (en) 2013-05-03 2017-01-03 Brigham Young University Computer-implemented communication assistant for the hearing-impaired
US9264824B2 (en) 2013-07-31 2016-02-16 Starkey Laboratories, Inc. Integration of hearing aids with smart glasses to improve intelligibility in noise
US9548047B2 (en) 2013-07-31 2017-01-17 Google Technology Holdings LLC Method and apparatus for evaluating trigger phrase enrollment
US11170089B2 (en) 2013-08-22 2021-11-09 Staton Techiya, Llc Methods and systems for a voice ID verification database and service in social networking and commercial business transactions
US9167082B2 (en) 2013-09-22 2015-10-20 Steven Wayne Goldstein Methods and systems for voice augmented caller ID / ring tone alias
US10405163B2 (en) * 2013-10-06 2019-09-03 Staton Techiya, Llc Methods and systems for establishing and maintaining presence information of neighboring bluetooth devices
US9500515B2 (en) * 2013-10-21 2016-11-22 Mass Moment LLC Multifunctional wearable audio-sensing electronic device
US20150110277A1 (en) * 2013-10-22 2015-04-23 Charles Pidgeon Wearable/Portable Device and Application Software for Alerting People When the Human Sound Reaches the Preset Threshold
US10045135B2 (en) 2013-10-24 2018-08-07 Staton Techiya, Llc Method and device for recognition and arbitration of an input connection
US10043534B2 (en) 2013-12-23 2018-08-07 Staton Techiya, Llc Method and device for spectral expansion for an audio signal
US9171447B2 (en) 2014-03-14 2015-10-27 Lenovo Enterprise Solutions (Sinagapore) Pte. Ltd. Method, computer program product and system for analyzing an audible alert
US10739187B2 (en) * 2014-06-02 2020-08-11 Rosemount Inc. Industrial audio noise monitoring system
US9711146B1 (en) 2014-06-05 2017-07-18 ProSports Technologies, LLC Wireless system for social media management
US9489809B1 (en) * 2014-06-24 2016-11-08 Heads Up Display Inc. Wearable indicator devices and methods of using same
US9343066B1 (en) 2014-07-11 2016-05-17 ProSports Technologies, LLC Social network system
DE102014218832A1 (de) 2014-09-18 2016-03-24 Siemens Aktiengesellschaft Computerimplementiertes Verfahren zur Einstellung und Betriebsverbesserung mindestens eines Hörgeräts, ein entsprechendes Hörgerät sowie ein entsprechendes am Kopf tragbares Gerät
US10163453B2 (en) 2014-10-24 2018-12-25 Staton Techiya, Llc Robust voice activity detector system for use with an earphone
KR20160055337A (ko) * 2014-11-07 2016-05-18 삼성전자주식회사 텍스트 표시 방법 및 그 전자 장치
EP3220374A4 (en) * 2014-11-12 2018-07-18 Fujitsu Limited Wearable device, display control method, and display control program
JP6555272B2 (ja) * 2014-11-12 2019-08-07 富士通株式会社 ウェアラブルデバイス、表示制御方法、及び表示制御プログラム
WO2016075782A1 (ja) * 2014-11-12 2016-05-19 富士通株式会社 ウェアラブルデバイス、表示制御方法、及び表示制御プログラム
US10413240B2 (en) 2014-12-10 2019-09-17 Staton Techiya, Llc Membrane and balloon systems and designs for conduits
US9596538B2 (en) * 2014-12-12 2017-03-14 Intel Corporation Wearable audio mixing
CA2971147C (en) 2014-12-23 2022-07-26 Timothy DEGRAYE Method and system for audio sharing
DE102015207134A1 (de) * 2015-04-20 2016-10-20 Prüftechnik Dieter Busch AG Verfahren zum Erfassen von Vibrationen einer Vorrichtung und Vibrationserfassungssystem
US10709388B2 (en) 2015-05-08 2020-07-14 Staton Techiya, Llc Biometric, physiological or environmental monitoring using a closed chamber
US10418016B2 (en) 2015-05-29 2019-09-17 Staton Techiya, Llc Methods and devices for attenuating sound in a conduit or chamber
US9703864B2 (en) 2015-07-23 2017-07-11 At&T Intellectual Property I, L.P. Directional location of sound sources
WO2017024359A1 (en) * 2015-08-13 2017-02-16 Prospect Silver Limited A visual aid system
US9298283B1 (en) 2015-09-10 2016-03-29 Connectivity Labs Inc. Sedentary virtual reality method and systems
US10444850B2 (en) * 2015-09-28 2019-10-15 Elwha Llc Systems and methods for providing gesture indicative data via a head wearable computing device
US9747814B2 (en) * 2015-10-20 2017-08-29 International Business Machines Corporation General purpose device to assist the hard of hearing
MX2018004155A (es) * 2015-10-29 2018-08-01 Ford Global Tech Llc Salida haptica dentro del vehiculo.
US9652896B1 (en) 2015-10-30 2017-05-16 Snap Inc. Image based tracking in augmented reality systems
WO2017091019A1 (en) 2015-11-27 2017-06-01 Samsung Electronics Co., Ltd. Electronic device and method for displaying and generating panoramic image
US9984499B1 (en) 2015-11-30 2018-05-29 Snap Inc. Image and point cloud based tracking and in augmented reality systems
US10616693B2 (en) 2016-01-22 2020-04-07 Staton Techiya Llc System and method for efficiency among devices
US20170303052A1 (en) * 2016-04-18 2017-10-19 Olive Devices LLC Wearable auditory feedback device
US11195542B2 (en) * 2019-10-31 2021-12-07 Ron Zass Detecting repetitions in audio data
GB2557594B (en) * 2016-12-09 2020-01-01 Sony Interactive Entertainment Inc Image processing system and method
US10319149B1 (en) 2017-02-17 2019-06-11 Snap Inc. Augmented reality anamorphosis system
US10074381B1 (en) * 2017-02-20 2018-09-11 Snap Inc. Augmented reality speech balloon system
US10387730B1 (en) 2017-04-20 2019-08-20 Snap Inc. Augmented reality typography personalization system
CN110771179B (zh) * 2017-05-29 2021-12-31 铁三角有限公司 信号处理装置
JP2019057047A (ja) 2017-09-20 2019-04-11 株式会社東芝 表示制御システム、表示制御方法及びプログラム
US10405082B2 (en) 2017-10-23 2019-09-03 Staton Techiya, Llc Automatic keyword pass-through system
KR102511720B1 (ko) * 2017-11-29 2023-03-20 삼성전자주식회사 360 비디오에서 화자의 음성을 시각적으로 표시하기 위한 장치 및 방법
KR20240033108A (ko) 2017-12-07 2024-03-12 헤드 테크놀로지 에스아에르엘 음성인식 오디오 시스템 및 방법
CA3093304A1 (en) 2018-03-09 2019-09-12 Staton Techiya, Llc Eartips and earphone devices, and systems and methods therefore
US11607155B2 (en) 2018-03-10 2023-03-21 Staton Techiya, Llc Method to estimate hearing impairment compensation function
US10951994B2 (en) 2018-04-04 2021-03-16 Staton Techiya, Llc Method to acquire preferred dynamic range function for speech enhancement
US11488590B2 (en) 2018-05-09 2022-11-01 Staton Techiya Llc Methods and systems for processing, storing, and publishing data collected by an in-ear device
US11122354B2 (en) 2018-05-22 2021-09-14 Staton Techiya, Llc Hearing sensitivity acquisition methods and devices
US11032664B2 (en) 2018-05-29 2021-06-08 Staton Techiya, Llc Location based audio signal message processing
JP7177631B2 (ja) * 2018-08-24 2022-11-24 本田技研工業株式会社 音響シーン再構成装置、音響シーン再構成方法、およびプログラム
US10785563B1 (en) * 2019-03-15 2020-09-22 Hitachi, Ltd. Omni-directional audible noise source localization apparatus
JP7295732B2 (ja) * 2019-07-23 2023-06-21 株式会社ミツトヨ 音響測定装置およびプログラム
US11328692B2 (en) 2019-08-06 2022-05-10 Alexandra Cartier Head-mounted situational awareness system and method of operation
US20210102976A1 (en) * 2019-10-04 2021-04-08 International Business Machines Corporation Spur detection in a sampled waveform in a mixed analog/digital system using the magnitude of the frequency response
US11055533B1 (en) * 2020-01-02 2021-07-06 International Business Machines Corporation Translating sound events to speech and AR content
WO2021142242A1 (en) * 2020-01-08 2021-07-15 Format Civil Engineering Ltd. Systems, and programs for visualization of auditory signals
KR102334091B1 (ko) * 2020-03-20 2021-12-02 주식회사 코클리어닷에이아이 오디오 인식을 수행하는 증강현실 디바이스 및 그의 제어방법
NO345385B1 (no) * 2020-03-24 2021-01-11 Sansoglys As Anordning og fremgangsmåte for måling og visualisering av lydnivå
JP7484580B2 (ja) 2020-08-28 2024-05-16 日本精工株式会社 異常診断装置および異常診断方法
US11804113B1 (en) * 2020-08-30 2023-10-31 Apple Inc. Visual indication of audibility
FR3115103B1 (fr) * 2020-10-12 2023-05-12 Renault Sas Dispositif et procédé de mesure et de visualisation d’un champ sonore
KR20220105893A (ko) * 2021-01-21 2022-07-28 삼성전자주식회사 외부 웨어러블 전자 장치로부터 정보를 수신하는 웨어러블 전자 장치 및 그 작동 방법
EP4206901A4 (en) * 2021-01-21 2024-04-10 Samsung Electronics Co Ltd WEARABLE ELECTRONIC DEVICE RECEIVING INFORMATION FROM AN EXTERNAL WEARABLE ELECTRONIC DEVICE AND METHOD OF OPERATING THE SAME
US11470439B1 (en) 2021-06-02 2022-10-11 Meta Platforms Technologies, Llc Adjustment of acoustic map and presented sound in artificial reality systems
US11372620B1 (en) 2021-08-11 2022-06-28 Family Tech Innovations, LLC Voice monitoring system and method
US20230122450A1 (en) * 2021-10-20 2023-04-20 Google Llc Anchored messages for augmented reality
US11975264B2 (en) * 2022-05-31 2024-05-07 Sony Interactive Entertainment LLC Gaze-based coordination of virtual effects indicators

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1158047A (zh) * 1995-09-28 1997-08-27 索尼公司 图象/音频再现***
CN1510910A (zh) * 2002-11-28 2004-07-07 �ձ�������ʽ���� 眼镜型显示器及其控制方法
US20060222185A1 (en) * 2005-04-05 2006-10-05 Ultimate Ears, Llc Headset visual feedback system
US20060238550A1 (en) * 2005-03-17 2006-10-26 Symagery Microsystems Inc. Hands-free data acquisition system
US20070195012A1 (en) * 2006-02-22 2007-08-23 Konica Minolta Holdings Inc. Image display apparatus and method for displaying image
CN101213761A (zh) * 2005-06-24 2008-07-02 汤姆森特许公司 多路径搜索器结果分类方法
CN101442637A (zh) * 2007-11-23 2009-05-27 瑞昱半导体股份有限公司 电视音频标准辨识装置及方法
US20090278766A1 (en) * 2006-09-27 2009-11-12 Sony Corporation Display apparatus and display method
CN101784004A (zh) * 2008-12-16 2010-07-21 索尼株式会社 信息处理***和信息处理方法
CN101916569A (zh) * 2010-08-03 2010-12-15 北京中星微电子有限公司 一种显示声音的方法和装置
WO2011038985A1 (de) * 2009-09-30 2011-04-07 Endress+Hauser Gmbh+Co.Kg Verfahren zur bestimmung und/oder überwachung mindestens einer physikalischen prozessgrösse

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4277980A (en) * 1979-03-12 1981-07-14 Reine H. Pendleton Apparatus and method for indicating sound levels
US4949580A (en) * 1989-05-31 1990-08-21 Graham John F Audio analysis system
JP3687099B2 (ja) * 1994-02-14 2005-08-24 ソニー株式会社 映像信号及び音響信号の再生装置
US5774558A (en) * 1995-10-30 1998-06-30 Rsq, Llc Sound imager
US7073129B1 (en) 1998-12-18 2006-07-04 Tangis Corporation Automated selection of appropriate information based on a computer user's context
JP4868671B2 (ja) * 2001-09-27 2012-02-01 中部電力株式会社 音源探査システム
US20030046401A1 (en) 2000-10-16 2003-03-06 Abbott Kenneth H. Dynamically determing appropriate computer user interfaces
US6629076B1 (en) 2000-11-27 2003-09-30 Carl Herman Haken Method and device for aiding speech
US20070136064A1 (en) 2003-04-16 2007-06-14 Carroll David W Mobile personal computer with movement sensor
US7579958B2 (en) * 2003-06-03 2009-08-25 Wallace Henry B Audio power meter
US20050071158A1 (en) 2003-09-25 2005-03-31 Vocollect, Inc. Apparatus and method for detecting user speech
EP1522868B1 (en) 2003-10-10 2011-03-16 Harman Becker Automotive Systems GmbH System for determining the position of a sound source and method therefor
US7199720B1 (en) * 2003-11-19 2007-04-03 Michael Shapiro Hearing protection warning device
GB2414369B (en) 2004-05-21 2007-08-01 Hewlett Packard Development Co Processing audio data
JP2008508621A (ja) 2004-08-03 2008-03-21 シルバーブルック リサーチ ピーティワイ リミテッド ウォークアップ印刷
JP4204541B2 (ja) 2004-12-24 2009-01-07 株式会社東芝 対話型ロボット、対話型ロボットの音声認識方法および対話型ロボットの音声認識プログラム
US8160261B2 (en) * 2005-01-18 2012-04-17 Sensaphonics, Inc. Audio monitoring system
US7356473B2 (en) * 2005-01-21 2008-04-08 Lawrence Kates Management and assistance system for the deaf
WO2009017797A2 (en) 2007-07-31 2009-02-05 Kopin Corporation Mobile wireless display providing speech to speech translation and avatar simulating human attributes
US8957835B2 (en) 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
FR2938396A1 (fr) * 2008-11-07 2010-05-14 Thales Sa Procede et systeme de spatialisation du son par mouvement dynamique de la source
US8654998B2 (en) * 2009-06-17 2014-02-18 Panasonic Corporation Hearing aid apparatus
JP4824793B2 (ja) 2009-07-06 2011-11-30 東芝テック株式会社 ウエアラブル端末装置及びプログラム
US9197736B2 (en) 2009-12-31 2015-11-24 Digimarc Corporation Intuitive computing methods and systems
CN102668601A (zh) * 2009-12-23 2012-09-12 诺基亚公司 一种装置
JP2013521576A (ja) * 2010-02-28 2013-06-10 オスターハウト グループ インコーポレイテッド 対話式ヘッド取付け型アイピース上での地域広告コンテンツ
JP5534870B2 (ja) * 2010-03-04 2014-07-02 中部電力株式会社 音源推定用画像の作成装置
KR101157928B1 (ko) 2010-03-15 2012-06-22 한국표준과학연구원 감성정보를 포함하는 청각장애인용 안내 시스템 및 그를 이용한 안내방법
US8183997B1 (en) * 2011-11-14 2012-05-22 Google Inc. Displaying sound indications on a wearable computing system

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1158047A (zh) * 1995-09-28 1997-08-27 索尼公司 图象/音频再现***
CN1510910A (zh) * 2002-11-28 2004-07-07 �ձ�������ʽ���� 眼镜型显示器及其控制方法
US20060238550A1 (en) * 2005-03-17 2006-10-26 Symagery Microsystems Inc. Hands-free data acquisition system
US20060222185A1 (en) * 2005-04-05 2006-10-05 Ultimate Ears, Llc Headset visual feedback system
CN101213761A (zh) * 2005-06-24 2008-07-02 汤姆森特许公司 多路径搜索器结果分类方法
US20070195012A1 (en) * 2006-02-22 2007-08-23 Konica Minolta Holdings Inc. Image display apparatus and method for displaying image
US20090278766A1 (en) * 2006-09-27 2009-11-12 Sony Corporation Display apparatus and display method
CN101442637A (zh) * 2007-11-23 2009-05-27 瑞昱半导体股份有限公司 电视音频标准辨识装置及方法
CN101784004A (zh) * 2008-12-16 2010-07-21 索尼株式会社 信息处理***和信息处理方法
WO2011038985A1 (de) * 2009-09-30 2011-04-07 Endress+Hauser Gmbh+Co.Kg Verfahren zur bestimmung und/oder überwachung mindestens einer physikalischen prozessgrösse
CN101916569A (zh) * 2010-08-03 2010-12-15 北京中星微电子有限公司 一种显示声音的方法和装置

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11438724B2 (en) 2015-09-16 2022-09-06 Magic Leap, Inc. Head pose mixing of audio files
CN108351700A (zh) * 2015-09-16 2018-07-31 奇跃公司 音频文件的头部姿势混合
US11778412B2 (en) 2015-09-16 2023-10-03 Magic Leap, Inc. Head pose mixing of audio files
WO2017066992A1 (zh) * 2015-10-23 2017-04-27 深圳市柔宇科技有限公司 头戴式显示设备、提示信息显示***及方法
CN107209375A (zh) * 2015-10-23 2017-09-26 深圳市柔宇科技有限公司 头戴式显示设备、提示信息显示***及方法
CN105632096A (zh) * 2016-02-23 2016-06-01 傅华 个人可穿戴的环境声音检测报警装置及其方法
CN107223277A (zh) * 2016-12-16 2017-09-29 深圳前海达闼云端智能科技有限公司 一种聋哑人辅助方法、装置以及电子设备
WO2018107489A1 (zh) * 2016-12-16 2018-06-21 深圳前海达闼云端智能科技有限公司 一种聋哑人辅助方法、装置以及电子设备
CN107168518A (zh) * 2017-04-05 2017-09-15 北京小鸟看看科技有限公司 一种用于头戴显示器的同步方法、装置及头戴显示器
CN108852620A (zh) * 2018-01-19 2018-11-23 郭磊 智能颈戴设备及其控制方法
CN108389584A (zh) * 2018-01-31 2018-08-10 深圳市科迈爱康科技有限公司 声音分析方法及装置
CN108594988A (zh) * 2018-03-22 2018-09-28 美律电子(深圳)有限公司 用于音频成像的可穿戴式电子装置及其操作方法
WO2019237429A1 (zh) * 2018-06-11 2019-12-19 北京佳珥医学科技有限公司 用于辅助交流的方法、装置和***及增强现实眼镜
CN112423190A (zh) * 2019-08-20 2021-02-26 苹果公司 用于头戴式设备的基于音频的反馈
US11740316B2 (en) 2019-08-20 2023-08-29 Apple Inc. Head-mountable device with indicators
CN110691300B (zh) * 2019-09-12 2022-07-19 连尚（新昌）网络科技有限公司 音频播放设备及用于提供信息的方法
CN110691300A (zh) * 2019-09-12 2020-01-14 连尚（新昌）网络科技有限公司 音频播放设备及用于提供信息的方法

Also Published As

Publication number Publication date
US8183997B1 (en) 2012-05-22
US8493204B2 (en) 2013-07-23
KR101668165B1 (ko) 2016-10-20
EP2780757A4 (en) 2015-08-19
US9838814B2 (en) 2017-12-05
US20130124204A1 (en) 2013-05-16
JP2015510283A (ja) 2015-04-02
EP2780757A1 (en) 2014-09-24
CN103946733B (zh) 2017-12-05
US20130279705A1 (en) 2013-10-24
KR20140091552A (ko) 2014-07-21
JP5881263B2 (ja) 2016-03-09
WO2013074234A1 (en) 2013-05-23

Similar Documents

Publication Publication Date Title
CN103946733A (zh) 在可穿戴计算***上显示声音指示
US11031012B2 (en) System and method of correlating mouth images to input commands
US11726324B2 (en) Display system
CN107787473B (zh) 自动校准穿戴式眼睛跟踪***的独特反射镜片
US20180268747A1 (en) Face recognition triggered digital assistant and led light ring for a smart mirror
US9101459B2 (en) Apparatus and method for hierarchical object identification using a camera on glasses
US8176437B1 (en) Responsiveness for application launch
US11205426B2 (en) Information processing device, information processing method, and program
JP2007334149A (ja) 聴覚障害者用ヘッドマウントディスプレイ装置
US20130094682A1 (en) Augmented reality sound notification system
US9880615B2 (en) Information processing device and control method for information processing device
WO2021114847A1 (zh) 网络通话方法、装置、计算机设备及存储介质
US20200251124A1 (en) Method and terminal for reconstructing speech signal, and computer storage medium
US20210157544A1 (en) Multi-frequency sensing system with improved smart glasses and devices
WO2021052306A1 (zh) 声纹特征注册
US11740350B2 (en) Ultrasonic sensor
US20210081047A1 (en) Head-Mounted Display With Haptic Output
US20170134853A1 (en) Compact sound location microphone
CN114727193A (zh) 声学变焦
WO2020165899A1 (en) Stereophonic apparatus for blind and visually-impaired people
WO2021142242A1 (en) Systems, and programs for visualization of auditory signals
US20230122450A1 (en) Anchored messages for augmented reality
US11150868B2 (en) Multi-frequency sensing method and apparatus using mobile-clusters
US20230394966A1 (en) Adaptive sound generation
US11871198B1 (en) Social network based voice enhancement system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: American California

Patentee after: Google limited liability company

Address before: American California

Patentee before: Google Inc.