CN105282591B - 独立输出流的同步 - Google Patents

独立输出流的同步 Download PDF

Info

Publication number
CN105282591B
CN105282591B CN201510288446.3A CN201510288446A CN105282591B CN 105282591 B CN105282591 B CN 105282591B CN 201510288446 A CN201510288446 A CN 201510288446A CN 105282591 B CN105282591 B CN 105282591B
Authority
CN
China
Prior art keywords
output
component
waveform
prompting
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510288446.3A
Other languages
English (en)
Other versions
CN105282591A (zh
Inventor
C·穆赛特
D·S·怀亚特
A·J·古埃塔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/292,690 external-priority patent/US9913033B2/en
Application filed by Apple Computer Inc filed Critical Apple Computer Inc
Publication of CN105282591A publication Critical patent/CN105282591A/zh
Application granted granted Critical
Publication of CN105282591B publication Critical patent/CN105282591B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4392—Processing of audio elementary streams involving audio buffer management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • User Interface Of Digital Computer (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本发明公开涉及独立输出流的同步。一种***确定使用至少两个独立呈现器来呈现要同步的至少两个输出流。独立呈现器在被指示呈现各个输出流时被提供以共享同步对象。所有的独立呈现器可呈现各个输出流的各第一缓冲器的时间是根据该共享同步对象确定的。利用独立呈现器对输出流的呈现在所确定的时间开始。这样，输出流的呈现可被同步。

Description

独立输出流的同步
相关申请的交叉引用
本申请是2014年5月30日提交的标题为“Synchronization of IndependentOutput Streams”的美国专利申请14/292,690号的部分继续申请，该美国专利申请被通过引用并入，就好像在这里完全公开了一样。本申请也根据35 U.S.C.§119(e)要求2014年9月2日提交的标题为“Synchronization of Independent Output Streams”的美国临时专利申请62/044,891号的权益，该美国临时专利申请被通过引用并入，就好像在这里完全公开了一样。
技术领域
本公开一般而言涉及流式输出，更具体而言涉及独立输出流的同步，这些独立输出流可对应于不同类型的输出，诸如音频和触觉(haptic)输出。
背景技术
电子设备可呈现(render)音频的流以驱动诸如扬声器、致动器等等之类的组件。通常，这种电子设备在特定时间段内可呈现多个音频流。在一些情况下，这样的多个音频流的呈现可需要与另一类型的输出同步，诸如与触觉或视觉输出同步。
例如，触觉输出设备可包括触感和音频分量(component)两者作为触觉输出的一部分。产生触感和音频分量的组件可由从内部处理单元递送(“流传输”)来的数据驱动。在这种示例中，许多电子设备简单地根据触感和音频数据的数据流中的时间戳在从处理单元接收到触感和音频输出时将其输出，或者不然的话这两个输出类型的大致呈现是大概同时的。
然而，这些方式不一定产生真的同步输出。例如，处理单元与呈现组件中的一者之间的延时可不同于处理单元与呈现组件中的另一者之间的延时。类似地，一种类型的输出的数据可在另一种类型的数据之前准备就绪或被发送。另外，可能呈现组件之一就是要花更多的时间来准备并输出其数据。
此外，一些利用独立呈现器来呈现多个输出流中的每一个的电子设备可不同步这些呈现。相反，这种电子设备可指示独立呈现器呈现各种各样的多个流并且接受发生的任何同步缺乏。其他电子设备可将多个流的呈现组合成单个统一的过程。然而，在这种情况下，各种各样的多个流的呈现不是独立执行的。
在上述情况下，在各种类型的输出之间可以有可察觉的不协调。它们可能看起来是不同步的，从而失去其有效性并且在用户那里产生令人不快的感觉。
因此，改进的用于同步输出呈现的装置和方法可能是有用的。
发明内容
本公开公开了用于同步独立输出流以例如提供具有两个或更多个分量输出的提醒(alert)的***、计算机程序产品和方法。可利用至少两个独立呈现器来呈现要同步的至少两个输出流。独立呈现器在被指示呈现各个输出流时被提供以共享同步对象；该共享同步对象可来自同步组件。所有的独立呈现器可呈现各个输出流的各第一缓冲器的时间(即，“同步时间”)可根据该共享同步对象来确定。利用独立呈现器对输出流的呈现可在所确定的时间开始。这样，输出流的呈现可被同步。这种同步可确保用户像期望的那样体验到输出。另外，在某些实施例中，这种同步也可使得(一个或多个)分量能够保持在功率利用约束内，而如果在没有同步的情况下呈现输出流则会超过该功率利用约束。
本文公开的实施例可采取一种用于提供提醒的***的形式，该***包括：存储器，可操作来存储第一多个输出波形和第二多个输出波形；可操作地耦合到存储器的至少一个处理单元；可操作地耦合到至少一个处理单元的第一输出设备；以及可操作地耦合到至少一个处理单元的第二输出设备；其中第一输出设备可操作来从第一多个输出波形输出第一波形，第一输出设备被配置为提供第一提醒形态(alert modality)；第二输出设备可操作来从第二多个输出波形输出第二波形，第二输出设备被配置为提供第二提醒形态；第一提醒形态和第二提醒形态是不同的；并且第二波形的输出被延迟直到第一波形的至少85％被输出为止。
另一实施例可采取一种用于提供包括多个分量输出的提醒的方法的形式，该方法包括：开始从第一输出结构输出第一分量输出；等待指定时间；在指定时间之后开始从第二输出结构输出第二分量输出；其中第二分量具有与第一分量不同的形态；并且第一分量输出的强度在开始第二分量输出的输出之后被降低。
另外一个实施例可采取一种用于提供提醒的方法的形式，该方法包括：进入提醒状况(alert condition)；响应于进入提醒状况而发起提醒；取回提醒的分量输出；确定分量输出的顺序；设定发起每个分量输出之间的时间延迟；以及根据该顺序和时间延迟来输出提醒；其中分量输出中的一者的至少85％在输出分量输出中的第二者之前完成。
另一实施例可采取一种用于提供提醒的***的形式，该***包括：存储器，可操作来存储第一多个输出波形和第二多个输出波形；可操作地耦合到存储器的至少一个处理单元；可操作地耦合到至少一个处理单元的第一输出设备；可操作地耦合到至少一个处理单元的第二输出设备；其中第一输出设备可操作来从第一多个输出波形输出第一波形，第一输出设备被配置为提供第一提醒形态；第二输出设备可操作来从第二多个输出波形输出第二波形，第二输出设备被配置为提供第二提醒形态；第一提醒形态和第二提醒形态是不同的；并且第二波形的输出相对于第一波形的输出被延迟一持续时间，该持续时间足以将用于输出第一波形和第二波形的功率消耗在输出期间的任何时间维持为不大于一瓦特。
要理解以上的概括描述和以下的详细描述都是为了示例和说明，而并不一定要限制本公开。包含在说明书中并构成说明书的一部分的附图图示了本公开的主题。描述和附图一起用于说明本公开的原理。
附图说明
图1是图示出用于同步独立输出流的示例***的框图。
图2是图示出图1的***可执行的示例软件元件的功能的框图。
图3是图示出为其确定同步时间的两个独立呈现器的操作的示例的图。
图4A是图示出单个提醒的两个输出的示例同步的曲线图。
图4B是针对整体功率消耗图示出单个提醒的两个输出的示例同步的曲线图。
图4C是图示出用于确定单个提醒的多个输出之间的偏移的样本方法的流程图。
图4D是图示出对一分量输出进行强度调整以照顾到另一分量输出的功率消耗的曲线图。
图5A-5D是图示出同步期间的两个输出流的示例同步对象的图。
图6是图示出用于同步独立输出流的示例方法的流程图。此方法可由图1的***执行。
具体实施方式
接下来的描述包括实现本公开的各种元素的样本***、方法和计算机程序产品。然而，应当理解，除了本文描述的那些以外，也可按各种形式来实践所描述的公开。
本公开公开了用于同步独立输出流以例如提供具有两个或更多个分量输出的提醒的***、计算机程序产品和方法。可利用至少两个独立呈现器来呈现要同步的至少两个输出流。独立呈现器在被指示呈现各个输出流时被提供以共享同步对象；该共享同步对象可来自同步组件。所有的独立呈现器可呈现各个输出流的各第一缓冲器的时间(即，“同步时间”)可根据该共享同步对象来确定。利用独立呈现器对输出流的呈现可在所确定的时间开始。这样，输出流的呈现可被同步。这种同步可确保用户像期望的那样体验到输出。另外，在某些实施例中，这种同步也可使得(一个或多个)分量能够保持在功率利用约束内，而如果在没有同步的情况下呈现输出流则会超过该功率利用约束。
在一些实现方式中，输出流可被利用来驱动不同的组件，诸如扬声器和致动器，这些组件提供触觉输出来向用户提供提醒。例如，一***可提供触觉输出，该触觉输出包括由被第一呈现音频流驱动的扬声器产生的声音和由被第二呈现触觉数据流驱动的致动器产生的触觉输出。两个不同输出流的同步可确保音频和触觉输出被用户同时体验到。另外，输出流可被设计为在给定的时间没有可用功率的情况下利用扬声器和致动器。同步可确保扬声器和致动器不会在给定的时间共同使用计划外的过量功率，从而保持在可用功率的约束内。
某些实施例可采用立体声音频数据流的两个通道来为第一和第二输出呈现器两者或其他设备提供输出流。例如，立体声音频通道的第一通道可用于传送与期望音频输出相对应的数据。第二立体声通道可用于传送与来自致动器的期望触觉输出相对应的数据。这在想要来自一扬声器或一组扬声器的单声道音频的情况下尤其有用，只要未以其它方式使用(或复制)的音频通道可用于为第二类型的输出传送数据。作为另一示例，在这个第二立体声通道上可传送图形数据。单个提醒可由多个输出流形成，每个输出流对应于不同形态的分量输出(例如，视觉、听觉、触觉，等等)。
上述的共享同步对象可以是一个或多个数据结构，诸如阵列。共享同步对象可包括识别独立呈现器的数据，每个独立呈现器的状态时间，每个独立呈现器的为呈现而请求的帧数，每个独立呈现器的状态，和/或与独立呈现器和/或输出流的呈现有关的任何其他这种信息。
在一些情况下，可分析共享同步对象中的信息以通过查明在所有呈现器准备好呈现之后任何呈现器的下一输入/输出周期时间来确定同步时间。这样，当所有的独立呈现器都能够呈现时，所有的独立呈现器可被指示在同步时间开始呈现。
在一些实现方式中，独立呈现器可在一个或多个处理单元的指导下采用相同的编解码器，编解码器是能够对数字数据流编码或解码的程序或硬件。在产生包括由被第一呈现音频流驱动的扬声器产生的声音和由被第二呈现触觉输出流驱动的致动器产生的触觉输出在内的双自然输出(dual-nature output)的这种实现方式的一些情况中，处理单元可通过立体声音频通道来传送音频和触觉流。类似地，处理单元可通过单声道音频通道连接到扬声器和致动器的每一者，分割来自处理单元的立体声音频连接的通道。
在一个或多个实现方式中，输出流中的一个或多个的波形可以是从一个或多个非暂态存储介质取回的(例如在***声音已被预合成并存储以供频繁使用、可通过参考查找表和/或其他数据结构来访问的情况下)和/或是在呈现时合成的。在各种实现方式中，输出流可具有不同的样本帧率、采样率、持续时间和/或其他呈现和/或其他特性。然而，在各种其他实现方式中，一个或多个输出流可具有彼此共同的一个或多个特性。
图1是图示出用于同步独立输出流的示例***100的框图。该***可包括电子设备101，该电子设备101可以是任何种类的电子设备，诸如膝上型计算机、桌面型计算机、可穿戴设备、计时设备、健康监测设备、数字媒体播放器、移动计算机、蜂窝电话、智能电话和/或任何其他呈现输出流的电子设备。
电子设备101可包括一个或多个处理单元102、一个或多个编解码器(例如，数字或音频转换器)104(在编解码器被实现为独立的设备或电路、而不是由处理单元执行的程序的情况下)、一个或多个第一输入/输出设备105(诸如一个或多个扬声器和/或其他音频输出设备)、一个或多个第二输入/输出设备106(诸如一个或多个致动器和/或其他触感输出设备)以及一个或多个非暂态存储介质109(其可采取但不限于以下形式：磁存储介质；光存储介质；磁光存储介质；只读存储器；随机访问存储器；可擦除可编程存储器；闪存；等等)。
如图所示，在一些情况下，处理单元102可通过立体声音频通道103连接到编解码器104，或者可直接连接到输出设备105、106。类似地，编解码器可通过第一单声道音频通道107连接到第一输入/输出设备105并且通过第二单声道音频通道108连接到第二输入/输出设备106，分割去到处理器的立体声通道的各通道。然而，要理解，这是一个示例，而在各种实现方式中，在不脱离本公开的范围的情况下，在任何数目的处理器、编解码器和输入/输出设备之间具有任何数目的通道的任何数目的连接都是可能的。另外，应当明白，输入/输出设备105、106中的一者或两者在某些实施例中可缺乏输入功能并且可以只是输出设备，诸如扬声器、触觉致动器等等。
处理单元102可执行存储在非暂态存储介质109中的指令，这些指令使得处理单元确定呈现要同步的至少两个输出流。
例如，处理单元102可接收用户输入并且处理单元可确定提供对该用户输入的触觉响应。作为另一示例，电子设备101可进入提醒状况并从而向用户输出提醒。第一输入/输出设备105在此示例中可以是扬声器并且第二输入/输出设备106在此示例中可以是致动器。处理单元可确定通过分别利用两个单独且独立的输出流驱动扬声器和致动器两者来对用户输入提供触觉响应。为了使得声音和触觉输出作为同一整体响应的一部分被用户感知到，输出流可需要被同步。另外，驱动扬声器和致动器的输出流可被设计为保持在电子设备101在特定时间的功率约束内。如果驱动扬声器和致动器的输出流未被同步，则驱动扬声器和致动器所利用的功率可大于设计者的预期并且可超出给定时间的可用功率。这样，输出流的同步可使得电子设备能够保持在功率约束内。
处理单元102可利用编解码器104来呈现输出流(例如，对流编码)或者单独的同步组件可进行此操作。这在例如输出流是立体声音频通道的左右通道时可尤其有用。输出流中的每一者一般被发送到单独的输出设备105、106，即使两者被实例化为立体声数据的左右音频通道。
虽然处理单元在一些实现方式中可指示单个硬件组件呈现输出流，但单独的独立呈现器可在软件中执行来对每个输出流编码。在一些情况下，单独的独立呈现器可全都由同一编解码器或其他硬件执行。类似地，在一些实施例中，编解码器可以是由处理单元102执行的程序，而不是单独的硬件。另外，在一些实施例中，一个或多个呈现器可使用一个或多个编解码器，或者可将数据输出到一个或多个编解码器，以便编码或解码。
独立呈现器在被指示(诸如被处理单元102指示)呈现各个输出流时可被提供以共享同步对象。所有的独立呈现器可呈现各个输出流的各第一缓冲器的时间(即，同步时间)可根据该同步对象来确定。每个独立呈现器可在所确定的时间开始呈现各自的输出流，从而使输出流的呈现同步。
在各种情况中，输出流可具有(或不具有)不同的样本帧率、采样率、持续时间和/或任何其他特性。独立呈现器可尝试在各种时间开始呈现。然而，尽管有这些因素，对共享同步对象的利用仍然可使得能够同步。
在一些实现方式中，共享同步对象可以是一个或多个数据结构，诸如阵列、表格、列表和/或其他数据结构。共享同步对象可包括识别所有独立呈现器的数据、每个独立呈现器的状态(诸如，“就绪”状态、“等待”状态、“取消”状态和/或其他这种状态)、每个独立呈现器的状态时间、每个独立呈现器的为呈现而请求的帧数和/或与独立呈现器有关的其他信息。
可分析共享同步对象以通过查明在所有呈现器准备好呈现之后任何呈现器的下一输入/输出周期时间来确定同步时间。这样，同步时间可被设定为所有独立呈现器都将准备好呈现的时间。独立呈现器可被指示在那个确定的同步时间开始呈现。
在一些情况中，可从非暂态存储介质109取回输出流中的一个或多个的波形以用于呈现。例如，诸如“***声音”之类的频繁使用的声音可被预合成并存储，可通过对与特定***声音相关联的特定参考号参考查找表和/或其他数据结构来访问，可在确定时取回以呈现。在其他情况下，可在呈现时合成输出流中的一个或多个的波形。不管怎样，本公开中描述的同步技术都可不受输出流是否被存储并取回和/或在呈现时合成的影响。
图2是图示出图1的***可执行的示例软件元件的功能200的框图。如图所示，应用编程接口202(其可由图1的电子设备101的处理单元102执行)可接收对同步多个输出流的呈现的请求201。应用编程接口可指示单独的软件呈现器205-206来各自呈现多个输出流中的一个。作为这种指示的一部分，应用编程接口也可向各独立呈现器传递共享同步对象。各独立呈现器可全都呈现其各自的输出流的同步时间可被确定并且各独立呈现器可在这个确定的时间开始呈现其各自的输出流(分别提供各自呈现的流以驱动第一输入/输出设备207和第二输入/输出设备208)。
在此示例中，多个输出流可以是要同步的两个输出流。如图所示，图2包括被指示呈现与音频输出相对应的第一音频流203的第一呈现器205，以及被指示呈现与触觉输出相对应的第二触觉输出流204的第二呈现器206。然而，要理解这是一个示例，而由任何数目的独立呈现器呈现的任何数目的输出流都可被同步。
图3是图示出一实施例可为其确定同步时间303的两个独立呈现器301和302的操作300的示例的图。在此示例中，第一独立呈现器可以是驱动扬声器的扬声器呈现器，并且第二独立呈现器可以是驱动致动器的触觉呈现器。然而，要理解这是一个示例，而在不脱离本公开的范围的情况下可利用任何数目的各种独立呈现器。
如图所示，扬声器呈现器301尝试在时间100开始呈现并且具有100样本帧的缓冲器大小。从而，扬声器呈现器可在时间100和时间200之间开始呈现100样本帧的第一缓冲器并且在时间200和时间300之间开始呈现100样本帧的第二缓冲器。也如图所示，触觉呈现器302可尝试在时间125开始呈现并且具有50样本帧的缓冲器大小。从而，触觉呈现器可在时间125和时间175之间开始呈现50样本帧的第一缓冲器，在时间175和时间225之间开始呈现50样本帧的第二缓冲器，并且在时间225和时间275之间开始呈现50样本帧的第三缓冲器。
然而，如图所示，触觉呈现器302在时间100未准备好呈现其50样本帧的第一缓冲器，而此时扬声器呈现器301准备好呈现其100样本帧的第一缓冲器。同步时间300可因此被设定为等于时间200，对应于扬声器呈现器的下一输入/输出周期，因为这是下次扬声器呈现器将会登入(check in)并确定触觉呈现器准备好呈现其50样本帧的第一缓冲器的时间。这样，扬声器呈现器可在同步时间300(时间200)开始呈现其100样本帧的第一缓冲器，并且触觉呈现器也可在同步时间300开始呈现其50样本帧的第一缓冲器。
虽然由于扬声器呈现器的输入/输出周期更长，图3将同步时间300设定为在呈现器301和302两者都准备好呈现其各自的第一缓冲器的样本帧之后扬声器呈现器301的下一输入/输出周期，但要理解这是一个示例并且其他配置是可能的。例如，两个呈现器在时间175都能够呈现其各自的第一缓冲器的样本帧，并且在一些实现方式中，所有独立呈现器都能够呈现其各自的第一缓冲器帧的这种时间可被选择为同步时间(即，此示例中的时间175)。
某些实施例在呈现为可感知的输出之前可向输出流中的一者或两者添加通道间时间延迟。作为一个示例，该延迟可被添加到缓冲器之一或者帧之一的开头，并且通常被添加到该缓冲器或帧的开头。继续该非限制性示例，第二输出流可被延迟，直到第一输出流的大约85％已被重放为止(或者相应的输出已被重放为止)。在某些实施例中，可添加该延迟以便照顾到用户感知第一形态的输出和第二形态的输出之间的时间延迟。该延迟从而可具有如下结果：第一和第二形态的输出被用户同时感知到，即使其中一者略微延迟。应当明白，如本文所述，第一和第二输出类型仍是同步的并且帧/缓冲器可基本上同时被呈现；通过添加的时间延迟的操作，一个缓冲器/帧的初始部分可等于零输出。
作为一个非限制性示例，考虑一电子设备，其采用本文描述的某些实施例来提供音频输出和触觉输出，其中两种类型的输出的数据都被处理单元编码并在内部立体声音频连接的第一和第二通道上发送到各自的输出设备。如果该电子设备通常被用户穿戴或握持并且两个输出是同时提供的(例如，彼此同步并且没有任何时间延迟)，则用户可在感到触觉输出之前听到音频输出，因为听觉冲击比触觉冲击更快传播到用户的脑部。从而，即使两个输出是同步的并且被同时呈现，用户的感知延迟也可使得它们看起来是不同步的。继续该示例，音频输出可相对于触觉输出被延迟，以使得两者感知起来是同时或几乎同时发生的。
在某些实施例中，提醒的突出性和/或提醒的功率消耗可以是影响输出之间的任何延迟的定时的两个因素。首先将讨论突出性。
突出性是相对于其他现象，提醒(或者其分量输出)被感知到的能力。一般而言，使提醒的分量输出在感知上显得是同步的会增大提醒的突出性，这可帮助吸引用户的注意力。应当明白，只要用户的感知是突出性的度量，感知同步就可比分量输出的实际时间同步更重要；感知同步可使得提醒更显著。
一般而言，出于以上所述的原因，增强或最大化提醒的突出性可意味着从时间上将输出中的一者的发起相对于另一者延迟，如图4A所示。例如，考虑具有触觉输出405和音频输出410的提醒400。由于在与声音经过空气的速度相比时神经脉冲的行进速度低(如上所述)，音频输出相对于触觉输出可被略微延迟以便用户感知到它们是同步的。虽然确切的延迟在实施例之间、在提醒之间、在提醒中使用的不同分量之间以及在设备之间可有所不同，但在某些实施例中，在音频输出与触觉输出的发起之间延迟417可大约为10-35毫秒，并且在某些实施例中延迟可为15-25毫秒。处理单元和/或同步组件可向呈现器提供关于输出的同步和输出中的一者或两者中的任何延迟的指示，或者呈现器中的一者或两者可确定这种同步。
在某些实施例中，选择重复起来相对迅速，例如具有相对短的周期的触觉输出和/或音频输出，可能是有用的。作为一个示例，输出的10-30毫秒的周期可允许两者在被顺序播放时在感知上是同步的。也就是说，在一个示例中，触觉输出可首先被播放，然后一旦触觉输出已完成重放或者已完成重放的至少85％则音频输出被播放。另外，选择具有相同或相似周期的输出405、410，以使得峰、谷以及用户在输出中体验到的其他线索感知起来是对齐的，可能是有用的并且会增大突出性。作为一个非限制性示例，(一个或多个)输出405、410的周期可小于输出之间的感知延迟415，虽然这不是必需的。
另外，通过选择具有相对短的周期从而可被顺序播放的输出，输出提醒的电子设备消耗的峰值功率可被最小化和/或被保持低于阈值。如图所示，某些提醒可被构造为将每个分量输出波形的峰放在除了任何其他分量输出波形的峰发生的时间以外的时间。从而，可在提醒的个体输出之间安排功率的预算，而不必让任一输出超出设备可提供的最大功率，如图4B所示。这里，触觉输出400和音频输出405与组合输出的功率消耗420一起被示出。由于触觉和音频输出400、405不同时具有峰值幅度，所以它们不同时要求最大功率或者以其他方式超过功率阈值。从而，输出400、405之间的延迟可将整体提醒功率消耗保持在预算量内。在一些实施例中，功率阈值在0.5到1.0瓦特之间，包括0.5和1.0瓦特。
在许多实施例中，一个输出相对于另一个的偏移使得第二输出在第一输出结束时开始播放(并且在一些实施例中，反之亦然)。两个输出的周期不需要是相同的，而是一般被选择为使得周期上的任何差异不足以引起在提醒的整个寿命期间每个输出的相继帧的重放的同步的大变化。也就是说，虽然每个输出的不同周期可引起各输出的开始时间在输出的每个相继播放中相对于彼此变化，但整体变化或漂移可保持在期望的偏移内。
一个示例可帮助理解上述内容。考虑一提醒具有周期为13毫秒的触觉输出和周期为14毫秒的音频提醒，并且发起两个提醒之间的延迟为15毫秒以便增大突出性。在这种实施例中，音频在触觉输出的第一帧结束之后2毫秒开始播放。音频的第二帧在触觉输出的第二帧结束之后3毫秒开始播放。音频的第三帧在触觉输出的第三帧结束之后4毫秒开始播放，等等依此类推。如果用户直到波形相距至少25毫秒为止不能感知到突出性上的任何差异，则在任何暂停或重新同步可被发起之前可播放触觉和音频输出的25帧。类似地，如果音频和触觉输出继续播放较长的一段时间并且逐步去同步，则组合输出(例如，提醒)在某个点可超过功率包络，从而或者要求重新同步或者要求对分量输出中的一者或两者降低功率。
为了维持感知上的同步和/或功率预算，第一输出的周期在第二输出的周期的10％内(例如，90％-110％)可能是有用的。另外，将第一和第二输出的周期选择成使得它们相位相差180度，从而降低***的整体功率约束并且降低超过功率阈值的可能性，可能是有用的。
应当明白，提醒的个体输出的周期可随着数个***特性而变化。作为一个示例，可希望触觉输出在该触觉输出在其上谐振的包围物(enclosure)的谐振频率处或其附近。举以上的示例，具有约13毫秒周期的触觉输出具有约76-77Hz的频率，并且因此将使得具有相同谐振频率的包围物放大该触觉输出。
图4C是描绘用于确定提醒的一个或多个分量输出的周期的一个样本方法的流程图。应当明白，该样本方法不需要被应用到所有分量输出，或者相反可被应用到多于一个分量输出。一般而言，虽然并非一定，但图4C的方法可被应用到除了一个以外的所有分量输出。
该方法开始于操作425，在其中设备101发起提醒的输出。接下来，在操作430中，设备取回提醒的分量输出，例如从上述存储器取回；分量输出可作为波形被存储在存储器中。某些分量输出可以是从存储的参数生成的，而不是取回的。作为一个非限制性示例，设备101可取回品质因子(例如，Q因子)和电子设备的外壳或整个电子设备的谐振频率。触觉输出可至少部分基于触觉致动器或设备101的Q因子、触觉致动器或设备101的谐振频率、触觉波形的形状、重放时间的期望长度、重放期间的强度水平或者其组合来生成。时间的期望长度可表示播放提醒(或者任何个体分量输出)的持续时间。强度水平可以是默认强度水平的百分比或分数。默认强度水平可基于最大幅度、默认幅度或者默认功率(例如，一瓦特、半瓦特，等等)。在强度较低的情况下，更少的功率被用于生成触觉输出；因此，在一个实施例中，强度水平可表示或对应于设备101的功率使用。在操作435中，设备101确定分量输出将被输出的顺序。
在操作440中，设备101设定分量输出之间的时间延迟，如本文别处所述。一般而言，一个分量输出(例如，触觉输出)可在设定的时间开始重放，并且开始另一分量输出(例如，音频输出)(或者更多，如果有更多分量输出的话)的重放的时间可相应地被从时间上调整。应当明白，时间调整可构成第二分量输出(例如，音频输出)的重放的延迟或者加速第一分量输出(例如，触觉输出)的重放。
在操作445中，设备101确定按照计划的所有分量输出的重放是否超过最大功率阈值。这个功率阈值可以是***或分量输出在任何给定点都不应当超过的值，或者其可以是在一定持续时间中合计不应当超过的值。超过阈值可例如发生在分量输出中的一个或多个具有随着时间增大的幅度或强度时。其一个具体示例是稳定地变得更响亮的音频输出；另一个示例是随着时间力量增长的触觉输出。另一个示例是在一段时间期间与一个或多个触觉输出同时播放的音频输出，其一个示例在图4D中图示并在下文讨论。
仍参考图4C，如果设备101在操作445中确定将超过最大功率，则设备101执行操作450并且降低一个或多个分量输出的功率消耗或强度水平。这例如可通过降低一个或多个分量输出的幅度来完成。
如果设备101在操作445中确定将不会超过最大功率，则设备随后进行到操作455。
在操作455中，设备101可确定各分量输出是否充分同步，如本文别处所讨论。如果是，则设备101进行到操作460并且输出提醒。输出提醒可包括将分量输出播放多次，如本文所述调整分量输出的功率和/或同步，等等。一般而言，提醒的分量输出被根据在操作435中确定的顺序和在操作440中确定的时间延迟、在操作450中确定的幅度或强度水平以及在操作455中确定的同步来输出。
如果设备101在操作455中确定输出充分同步，则设备101进行到操作465并且扩展、加长、缩短或以其他方式更改一个或多个分量输出的重放时间。这样做可不仅是为了同步输出，而且是为了确保某些分量输出是在设备或包围物的谐振频率上或者其附近播放的。从而，作为一个示例，触觉输出的频率可被增大或减小以匹配或更接近地近似上述谐振频率。可类似地对于设备/包围物谐振频率匹配或调整音频输出。设备101随后进行到操作460并且输出提醒。
在操作460之后，设备101进行到结束状态470。一般而言，提醒可在如下情况下结束：一旦用户确认了提醒，当达到一定时间时(例如达到提醒的末尾)，或者一旦符合条件(作为一个非限制性示例，该条件诸如是进入电话呼叫的结束)。
图4D图示了具有两个分量输出——即触觉输出和音频输出480——的样本提醒。触觉输出可由多个波形(或其分量)475、485、490构成；在一些情况中，每个触觉波形可由波形间时间间隔495分隔开，虽然这不是在所有实施例中都是必要的。
如图4D所示，第一触觉波形475可具有第一幅度或强度，在该第一幅度或强度下其被重放。在一个实施例中，第一触觉波形475可在默认幅度或强度下被重放。一旦第一触觉波形475的重放基本完成(例如85％完成)，音频输出480即可开始以其完全强度或幅度重放。
设备101可确定，如果剩余触觉波形485、490被以默认幅度或强度重放，则触觉和音频输出的组合可超过功率阈值。因此，设备可降低后续触觉波形485、490在被重放时的强度以便将提醒(包括触觉和音频输出两者)消耗的总功率维持在阈值以下。从而，触觉波形485、490的降低的强度可照顾到音频波形480消耗的功率。
虽然触觉波形485、490被示为具有相同的降低的强度，但应当明白设备101可将一个触觉波形的强度相对于另一个进行修改以照顾到音频输出480的波动。例如，如果音频输出480在第二触觉波形485被播放之后强度增大，则第三触觉波形490的强度可被进一步减小。作为一个选项，设备101可确定音频输出480的峰值强度、幅度或能量消耗的其他度量并且相应地缩放在音频波形的输出期间重放的所有触觉波形的强度/幅度/功率。或者，这种缩放可随着分量输出的重放进行而动态地发生，从而允许设备实时修改分量输出的强度/幅度，并且在一些实施例中仅针对波形的一部分进行修改。
在另一实施例中，不是缩放触觉输出的强度，或者除了缩放触觉输出的强度以外，设备101可在重放期间降低音频输出的强度以将提醒输出维持在一定功率阈值以下。这可例如在以下情况下发生：存在一最小阈值，触觉输出的强度不可被缩放到该最小阈值以下。在该情况下，取代降低触觉输出的强度或者除了降低触觉输出的强度以外，设备101可在重放期间降低音频输出的强度。如上所述，音频和/或触觉输出的强度或幅度可随着重放进行而被动态缩放，并且在一些实施例中可针对波形的一部分进行缩放。
在实施例中实现的时间延迟(如果有的话)和输出流的同步可基于数个因素来选择，诸如提供的输出的类型、延迟的输出的类型、设备相对于用户或用户的感觉器官的假定或实际位置或距离、用户是否在触摸设备，等等。在一些情况下，时间延迟可以是被***到缓冲器或帧中的默认值，而在其他情况下，时间延迟可以是基于例如由电子设备收集的传感器数据来动态计算的。
图5A-5D是图示出与图3所示的操作300相对应的同步期间的两个输出流的示例同步对象500A-500D的图。如此示例中所示，同步对象可以是具有用于图3的扬声器呈现器301和触觉呈现器302的每一者的行的阵列。如此示例中还示出的，同步对象可具有用于每个独立呈现器的状态时间、每个独立呈现器的为呈现而请求的帧和每个独立呈现器的状态的行。
虽然同步对象500A-500D在图5A-5D中被示为具有特定数据元素的阵列，但要理解这是一个示例。在各种实现方式中，在不脱离本公开的范围的情况下，可利用具有任何种类的数据元素的任何种类的(一个或多个)数据结构。
图5A可表示在图3所示的时间100同步对象500A的状态。如图所示，在时间100，扬声器呈现器可与同步对象交互以更新其状态时间、为呈现而请求的帧和/或状态。这样，此时的同步对象对于扬声器呈现器的状态时间可具有值100，对于扬声器呈现器的为呈现而请求的帧可具有值100，并且对于扬声器呈现器的状态可具有值“就绪”。然而，此时的同步对象对于触觉呈现器的状态时间可具有值NA，对于触觉呈现器的为呈现而请求的帧可具有值NA，并且对于触觉呈现器的状态可具有值“等待”，因为触觉呈现器在时间100尚未尝试开始呈现和/或访问同步对象。
图5B可表示在图3所示的时间125同步对象500B的状态。如图所示，在时间125，触觉呈现器可与同步对象交互以更新其状态时间、为呈现而请求的帧和/或状态。这样，此时的同步对象对于触觉呈现器的状态时间可具有值125，对于触觉呈现器的为呈现而请求的帧可具有值50，并且对于触觉呈现器的状态可具有值“就绪”。然而，此时的同步对象对于扬声器呈现器的状态时间仍可具有值100，对于扬声器呈现器的为呈现而请求的帧仍可具有值100，并且对于扬声器呈现器的状态仍可具有值“就绪”，因为扬声器呈现器尚未达到其下一个输入/输出周期。
由于同步对象500B指示出两个独立呈现器在时间125都准备好呈现，于是可根据该同步对象确定同步时间。同步对象指示出扬声器呈现器具有100的状态时间并且为呈现而请求的帧的数目为100。这样，同步对象指示出扬声器呈现器的下一个输入/输出周期将在时间200(或者状态时间与为呈现而请求的帧相加)。类似地，同步对象指示出触觉呈现器具有125的状态时间并且为呈现而请求的帧的数目为50。这样，同步对象指示出触觉呈现器的下一个输入/输出周期将在时间175。然而，由于扬声器呈现器直到扬声器呈现器的下一个周期时间(时间200)为止不会登入来获知所有呈现器都准备就绪，所以扬声器呈现器的下一个周期时间的时间被选择为同步时间。
图5C可表示在图3所示的时间175同步对象500C的状态。如图所示，在时间175，触觉呈现器可与同步对象交互以更新其状态时间、为呈现而请求的帧和/或状态。这样，此时的同步对象对于触觉呈现器的状态时间可具有值175，对于触觉呈现器的为呈现而请求的帧可具有值50，并且对于触觉呈现器的状态可具有值“就绪”。然而，此时的同步对象对于扬声器呈现器的状态时间仍可具有值100，对于扬声器呈现器的为呈现而请求的帧仍可具有值100，并且对于扬声器呈现器的状态仍可具有值“就绪”，因为扬声器呈现器尚未达到其下一个输入/输出周期。
图5D可表示在图3所示的时间200的同步对象500D的状态。如图所示，在时间200，扬声器呈现器可与同步对象交互以更新其状态时间、为呈现而请求的帧和/或状态。这样，此时的同步对象对于扬声器呈现器的状态时间可具有值200，对于扬声器呈现器的为呈现而请求的帧可具有值100，并且对于扬声器呈现器的状态可具有值“synced”或“已同步”。由于已达到同步时间(时间200)，所以扬声器呈现器和触觉呈现器可开始呈现其各自的输出流。
虽然上述示例中的同步时间被确定为具有最长输入输出周期时间的呈现器的下一输入/输出周期时间，但可能并非在所有示例中都是这种情况。同步时间可实际上被确定为在所有呈现器登入之后对于任何呈现器将会发生的下一个输入/输出周期时间的最大值。为了这种分析，呈现器在其登入时的“下一个”输入/输出周期时间实际上是该呈现器的当前输入/输出周期时间，只要呈现器能够登入、使得同步被建立并随后立即或基本上立即开始呈现就行。作为一个示例，如果触觉呈现器在扬声器呈现器在时间100登入之前在时间75已登入，则所有呈现器在时间100都将已准备好呈现，并且同步时间对于任何呈现器可被设定为下一个输入/输出周期时间，这对于触觉呈现器将是时间125。
图6是图示出用于同步独立输出流的示例方法600的流程图。作为一个非限制性示例，该方法可由图1的***执行并且这种独立输出流可在立体声音频通道的两个通道上传送。在这种实施例中，输出流可各自被作为一音频通道传送或者各自在一音频通道上传送。
流程开始于方框601并进行到方框602，在这里电子设备操作。流程随后进行到方框603，在这里确定是否要独立呈现要同步的输出流。如果是，则流程进行到方框604。否则，流程返回到方框602，在这里电子设备继续操作。
在方框604，在确定独立呈现要同步的输出流之后，独立呈现器被指示呈现每个输出流并且被各自提供以共享同步对象。流程随后进行到方框605，在这里根据共享同步对象确定所有独立呈现器可呈现其各自的输出流的第一缓冲器的时间。接下来，流程进行到方框606，在这里每个输出流的呈现在所确定的时间利用各个独立呈现器开始。
流程随后进行到方框607，在这里确定输出流的呈现是否完成。如果是，则流程返回到方框602并且电子设备继续操作。否则，流程进行到608。
在方框608，输出流中的一个或多个的呈现继续。流程随后返回到方框607，在这里确定输出流的呈现是否完成。
虽然示例方法600被图示和描述为按特定顺序执行特定操作，但要理解这是一个示例。在各种实现方式中，在不脱离本公开的范围的情况下，可执行相同、相似和/或不同操作的各种顺序。
例如，示例方法600被图示和描述为在方框607确定呈现是否完成。然而，在各种实现方式中，可不执行这种确定。取而代之，当所有输出流的呈现完成和/或因其他原因被取消时，流程可直接从方框406返回到方框602。
如上所述并且如附图中所示，本公开公开了用于同步独立输出流的***、计算机程序产品和方法。可确定要利用至少两个独立呈现器来呈现要同步的至少两个输出流。独立呈现器在被指示呈现各个输出流时可被提供以共享同步对象。所有的独立呈现器可呈现各个输出流的各第一缓冲器的时间可根据该共享同步对象来确定。利用独立呈现器对输出流的呈现可在所确定的时间开始。这样，输出流的呈现可被同步。这种同步可确保用户像期望的那样体验到呈现的输出流。这种同步也可使得(一个或多个)分量能够保持在功率利用约束内，而如果在没有同步的情况下呈现输出流则会超过该功率利用约束。
虽然本公开被图示并在上文中被描述为同步输出流，但要理解这是一个示例。在各种实现方式中，在不脱离本公开的范围的情况下，可同步除了音频以外的流。
另外，虽然讨论了特定体系结构(诸如处理单元和编解码器之间的立体声流的两个通道)，但要理解这是一个示例。在各种实现方式中，本文讨论的同步技术可被利用来同步利用两个或更多个单独的硬件输出呈现的输出流。
此外，虽然本公开被图示和描述为同步按单个线性序列呈现的流，但要理解这是一个示例并且其他布置是可能的并被设想到了。例如，铃声可包括被周期性重复但可不具有相同持续时间的声音和振动。在这种示例情况中，呈现铃声可包括呈现声音和振动的循环，并且本文讨论的同步技术可被利用来同步每个循环的开始点。在各种情况中，在第一循环的呈现中引起的延迟在后续循环中可被重复或不被重复。
在本公开中，公开的方法可实现为设备可读取的指令集或软件。另外，要理解，公开的方法中的步骤的具体顺序或层次是样本方案的示例。在其他实施例中，在保持在公开的主题内的同时，方法中的步骤的具体顺序或层次可被重布置。附随的方法权利要求给出了按样本顺序的各种步骤的元素，而不一定打算限于给出的具体顺序或层次。
描述的公开可被提供为计算机程序产品或者软件，其可包括其上存储有指令的非暂态机器可读介质，这些指令可用于对计算机***(或其他电子设备)编程来根据本公开执行处理。非暂态机器可读介质包括用于以机器(例如，计算机)可读的形式(例如，软件、处理应用)存储信息的任何机制。非暂态机器可读介质可采取但不限于以下形式：磁存储介质(例如，软盘、录影带等等)；光存储介质(例如，CD-ROM)；磁光存储介质；只读存储器(ROM)、随机访问存储器(RAM)、可擦除可编程存储器(例如，EPROM和EEPROM)；闪存；等等。
一个或多个应用编程接口(API)可用在一些实施例中并且本文讨论的功能可实现为API或被API访问。API是由程序代码组件或硬件组件(以下称为“API实现组件”)实现的接口，其允许另一不同的程序代码组件或硬件组件(以下称为“API调用组件”)访问和使用由API实现组件提供的一个或多个功能、方法、过程、数据结构、类和/或其他服务。API可定义在API调用组件和API实现组件之间传递的一个或多个参数。
API允许了API调用组件的开发者(其可以是第三方开发者)利用由API实现组件提供的指定特征。可以有一个API调用组件，或者可以有多于一个这样的组件。API可以是源代码接口，计算机***或程序库提供该源代码接口以便支持来自应用的对服务的请求。操作***(OS)可具有多个API以允许在OS上运行的应用调用这些API中的一个或多个，并且服务(诸如程序库)可具有多个API以允许使用该服务的应用调用这些API中的一个或多个。API可按照在构建应用时可解释或编译的编程语言来指定。
相信通过以上描述将理解本公开及其许多伴随的优点，并且将清楚在不脱离公开的主题的情况下或者在不牺牲其所有实质优点的情况下可在组件的形式、构造和布置上作出各种改变。描述的形式只是说明性的，以下权利要求的意图是涵盖并包括这种改变。
虽然是参照各种实施例来描述本公开的，但要理解这些实施例是例示性的并且公开的范围不限于它们。许多变化、修改、添加和改进是可能的。更一般而言，已在上下文或特定实施例中描述了根据本公开的实施例。在本公开的各种实施例中可不同地按块分离或组合功能，或者以不同的术语描述功能。这些和其他变化、修改、添加和改进可落在如接下来的权利要求中定义的本公开的范围内。

Claims (21)

1.一种用于提供提醒的***，包括：
存储器，可操作来存储第一多个输出波形和第二多个输出波形；
可操作地耦合到所述存储器的至少一个处理单元；
可操作地耦合到所述至少一个处理单元的第一输出设备；以及
可操作地耦合到所述至少一个处理单元的第二输出设备；其中
所述第一输出设备可操作来输出来自所述第一多个输出波形的第一波形，所述第一输出设备被配置为提供第一提醒形态；
所述第二输出设备可操作来输出来自所述第二多个输出波形的第二波形，所述第二输出设备被配置为提供第二提醒形态；
所述第一提醒形态和第二提醒形态是不同的；
所述第二波形的输出被延迟直到所述第一波形的至少一部分被输出为止；并且
所述第二波形的输出相对于所述第一波形的输出被延迟一足以将用于输出所述第一波形和所述第二波形的功率消耗维持在阈值以下的持续时间。
2.如权利要求1所述的***，其中，所述阈值在0.5瓦特到1.0瓦特之间，包括0.5瓦特和1.0瓦特。
3.如权利要求1所述的***，其中所述第一波形的所述一部分是大约85％。
4.一种用于提供提醒的***，包括：
存储器，可操作来存储第一多个输出波形和第二多个输出波形；
可操作地耦合到所述存储器的至少一个处理单元；
可操作地耦合到所述至少一个处理单元的第一输出设备；以及
可操作地耦合到所述至少一个处理单元的第二输出设备；其中
所述第一输出设备可操作来输出来自所述第一多个输出波形的第一波形，所述第一输出设备被配置为提供第一提醒形态；
所述第二输出设备可操作来输出来自所述第二多个输出波形的第二波形，所述第二输出设备被配置为提供第二提醒形态；
所述第一提醒形态和第二提醒形态是不同的；并且
所述第二波形的输出被延迟直到所述第一波形的至少一部分被输出为止；其中：
所述第一多个输出波形对应于触觉输出；并且
所述第二多个输出波形对应于音频输出。
5.如权利要求4所述的***，其中，所述第二波形在所述第一波形完成之后播放。
6.如权利要求4所述的***，其中，所述第二波形被延迟10毫秒到35毫秒之间，包括10毫秒和35毫秒。
7.如权利要求4所述的***，其中，所述第一波形和第二波形中的任一波形比另一波形在时间上长或短不超过10％。
8.如权利要求4所述的***，其中，所述第一波形和所述第二波形彼此相位相差180度。
9.如权利要求4所述的***，还包括：
至少围绕所述第一输出设备和所述第二输出设备的包围物；其中
一时段的所述触觉输出具有与所述第一输出设备或所述第二输出设备的谐振频率匹配的频率。
10.一种用于提供包括多个分量输出的提醒的方法，包括：
开始从第一输出结构输出第一分量输出；
等待指定时间；
在所述指定时间之后开始从第二输出结构输出第二分量输出；其中
所述第二分量输出具有与所述第一分量输出不同的形态；并且
所述第一分量输出的强度在开始所述第二分量输出的输出之后被降低。
11.如权利要求10所述的方法，还包括：
改变所述指定时间以将所述第一输出结构和所述第二输出结构消耗的功率维持在阈值以下。
12.如权利要求10所述的方法，其中，所述指定时间对应于所述第一分量输出的输出时间的至少85％。
13.如权利要求10所述的方法，还包括：重新同步所述第一输出结构和所述第二输出结构的操作。
14.如权利要求10所述的方法，其中，所述指定时间不多于25毫秒。
15.如权利要求10所述的方法，其中：
所述第一分量输出和所述第二分量输出的至少一部分被同时输出；
所述第一分量输出的幅度随着时间增大；并且
所述第一分量输出的幅度和所述第二分量输出的幅度中的至少一者被降低以将***的功率消耗维持在阈值以下。
16.如权利要求10所述的方法，还包括：
取回品质因子和谐振频率；以及
至少部分地根据所述品质因子和所述谐振频率生成第一分量输出。
17.一种用于提供提醒的方法，包括：
进入提醒状况；
响应于进入所述提醒状况而发起提醒；
取回所述提醒的分量输出；
确定所述分量输出的顺序；
设定发起所述分量输出中的每一个之间的时间延迟；
根据所述顺序和所述时间延迟来输出所述提醒；
确定所述分量输出是否超过功率阈值；
在超过所述功率阈值的情况下，降低所述分量输出中的至少一者的幅度；以及
在未超过所述功率阈值的情况下，维持所述分量输出的幅度；其中
所述分量输出中的一个分量输出的至少85％在输出所述分量输出中的第二分量输出之前完成。
18.一种用于提供提醒的方法，包括：
进入提醒状况；
响应于进入所述提醒状况而发起提醒；
取回所述提醒的分量输出；
确定所述分量输出的顺序；
设定发起所述分量输出的每一个之间的时间延迟；
根据所述顺序和所述时间延迟来输出所述提醒；
确定所述分量输出是否被适当地同步；
在所述分量输出未被适当地同步的情况下，更改所述分量输出中的至少一者的时间长度；以及
在所述分量输出被适当地同步的情况下，维持所述分量输出的时间长度；其中
所述分量输出中的一个分量输出的至少85％在输出所述分量输出中的第二分量输出之前完成。
19.一种用于提供提醒的方法，包括：
进入提醒状况；
响应于进入所述提醒状况而发起提醒；
取回所述提醒的分量输出；
确定所述分量输出的顺序；
设定发起所述分量输出的每一个之间的时间延迟；以及
根据所述顺序和所述时间延迟来输出所述提醒；其中
所述分量输出中的一个分量输出的至少85％在输出所述分量输出中的第二分量输出之前完成；并且
所述分量输出中的至少一者是基于与所述提醒相关联的结构的品质因子和谐振频率来生成的。
20.一种用于提供提醒的***，包括：
存储器，可操作来存储第一多个输出波形和第二多个输出波形；
可操作地耦合到所述存储器的至少一个处理单元；
可操作地耦合到所述至少一个处理单元的第一输出设备；
可操作地耦合到所述至少一个处理单元的第二输出设备；其中
所述第一输出设备可操作来输出来自所述第一多个输出波形的第一波形，所述第一输出设备被配置为提供第一提醒形态；
所述第二输出设备可操作来输出来自所述第二多个输出波形的第二波形，所述第二输出设备被配置为提供第二提醒形态，其中：
所述第一提醒形态和第二提醒形态是不同的；并且
所述第二波形的输出相对于所述第一波形的输出被延迟一足以将用于输出所述第一波形和所述第二波形的功率消耗在输出期间的任何时间维持为不大于一瓦特的持续时间。
21.一种用于提供提醒的设备，包括用于执行如权利要求10-19中的任一项所述的方法的步骤的装置。
CN201510288446.3A 2014-05-30 2015-05-29 独立输出流的同步 Expired - Fee Related CN105282591B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US14/292,690 2014-05-30
US14/292,690 US9913033B2 (en) 2014-05-30 2014-05-30 Synchronization of independent output streams
US201462044891P 2014-09-02 2014-09-02
US62/044,891 2014-09-02
US14/702,705 2015-05-02
US14/702,705 US9613506B2 (en) 2014-05-30 2015-05-02 Synchronization of independent output streams

Publications (2)

Publication Number Publication Date
CN105282591A CN105282591A (zh) 2016-01-27
CN105282591B true CN105282591B (zh) 2018-09-04

Family

ID=54481715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510288446.3A Expired - Fee Related CN105282591B (zh) 2014-05-30 2015-05-29 独立输出流的同步

Country Status (3)

Country Link
US (1) US9613506B2 (zh)
CN (1) CN105282591B (zh)
DE (1) DE102015209298A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9613506B2 (en) 2014-05-30 2017-04-04 Apple Inc. Synchronization of independent output streams
US9913033B2 (en) 2014-05-30 2018-03-06 Apple Inc. Synchronization of independent output streams
JP2017531930A (ja) * 2014-07-07 2017-10-26 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ セカンドスクリーン触覚
US10186138B2 (en) 2014-09-02 2019-01-22 Apple Inc. Providing priming cues to a user of an electronic device
KR101883090B1 (ko) * 2015-04-01 2018-07-27 포브, 아이엔씨. 헤드 마운트 디스플레이
US10564924B1 (en) * 2015-09-30 2020-02-18 Amazon Technologies, Inc. Navigating metadata in long form content
US10104471B2 (en) * 2016-11-30 2018-10-16 Google Llc Tactile bass response
WO2019013055A1 (ja) 2017-07-10 2019-01-17 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2019163283A1 (ja) 2018-02-23 2019-08-29 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
JP2020080122A (ja) * 2018-11-14 2020-05-28 ソニー株式会社 情報処理装置、情報処理方法、および記憶媒体
CN109640189A (zh) * 2018-12-19 2019-04-16 聚好看科技股份有限公司 信息显示方法及装置
US10921892B2 (en) * 2019-02-04 2021-02-16 Subpac, Inc. Personalized tactile output
JP2021015488A (ja) * 2019-07-12 2021-02-12 株式会社東海理化電機製作所 制御装置、呈示装置、およびデータ

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2643619B2 (ja) 1991-02-19 1997-08-20 日本電気株式会社 無線選択呼出受信機
US5333299A (en) 1991-12-31 1994-07-26 International Business Machines Corporation Synchronization techniques for multimedia data streams
BR9205798A (pt) 1992-01-22 1994-08-02 Motorola Inc Rádio, e processo de operar rádio
JP2768124B2 (ja) 1992-02-27 1998-06-25 日本電気株式会社 個別選択呼出受信機
US5642171A (en) 1994-06-08 1997-06-24 Dell Usa, L.P. Method and apparatus for synchronizing audio and video data streams in a multimedia system
US5715308A (en) 1995-02-22 1998-02-03 Siemens Business Communication Systems, Inc. Apparatus for generating alerts of varying degrees
JPH09186744A (ja) 1995-12-29 1997-07-15 Nec Corp 無線通信機
EP0903661B1 (en) 1997-08-27 2003-01-08 Canon Kabushiki Kaisha Apparatus and method to input data based on visual-axis detection
FI981469A (fi) 1998-06-25 1999-12-26 Nokia Mobile Phones Ltd Integroitu liiketunnistin matkaviestimessä
US6408187B1 (en) 1999-05-14 2002-06-18 Sun Microsystems, Inc. Method and apparatus for determining the behavior of a communications device based upon environmental conditions
US6954657B2 (en) 2000-06-30 2005-10-11 Texas Instruments Incorporated Wireless communication device having intelligent alerting system
US7599753B2 (en) 2000-09-23 2009-10-06 Microsoft Corporation Systems and methods for running priority-based application threads on a realtime component
GB2367173A (en) 2000-09-25 2002-03-27 Julian Claude Peck Security system for an electrical or electronic device
US7346698B2 (en) 2000-12-20 2008-03-18 G. W. Hannaway & Associates Webcasting method and system for time-based synchronization of multiple, independent media streams
US7623114B2 (en) * 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
JP2004015681A (ja) 2002-06-11 2004-01-15 Mitsubishi Electric Corp 通信機器及び通信機器の着信報知方法
US7136482B2 (en) 2004-10-26 2006-11-14 Motorola, Inc. Progressive alert indications in a communication device
CN2759076Y (zh) * 2004-11-03 2006-02-15 北京中星微电子有限公司 一种手机振动***
US7469155B2 (en) 2004-11-29 2008-12-23 Cisco Technology, Inc. Handheld communications device with automatic alert mode selection
US8116863B2 (en) 2006-03-21 2012-02-14 Defibtech, Llc System and method for effectively indicating element failure or a preventive maintenance condition in an automatic external defibrillator (AED)
US8000825B2 (en) * 2006-04-13 2011-08-16 Immersion Corporation System and method for automatically producing haptic events from a digital audio file
JP4936059B2 (ja) 2007-07-09 2012-05-23 株式会社デンソー 移動体接近認知装置
KR101425222B1 (ko) 2007-08-22 2014-08-04 삼성전자주식회사 휴대 단말기의 진동 제어 장치 및 방법
KR20100069736A (ko) 2008-12-17 2010-06-25 삼성전자주식회사 휴대 단말기의 컨텐츠 재생 장치 및 재생 방법
US8144612B2 (en) 2009-04-15 2012-03-27 Ibiquity Digital Corporation Systems and methods for transmitting media content via digital radio broadcast transmission for synchronized rendering by a receiver
US8519841B2 (en) 2009-10-14 2013-08-27 Fujitsu Limited Systems and methods for dynamically changing alerts of portable devices using brainwave signals
US8612855B2 (en) 2010-10-14 2013-12-17 Ca, Inc. Method and system for continuous notifications using subliminal and supraliminal cues
WO2012054872A2 (en) 2010-10-22 2012-04-26 Phorus Llc Media distribution architecture
US8483286B2 (en) 2010-10-27 2013-07-09 Cyberlink Corp. Batch processing of media content
US9240021B2 (en) 2010-11-04 2016-01-19 Digimarc Corporation Smartphone-based methods and systems
EP2786591B1 (en) 2011-10-05 2018-06-27 Immerz Inc. Systems and methods for improved acousto-haptic speakers
CN103179258B (zh) 2011-12-23 2014-12-31 联想(北京)有限公司 一种提示方法、装置及电子设备
CN103002151A (zh) * 2012-12-03 2013-03-27 广东欧珀移动通信有限公司 移动终端的来电提醒方法和装置
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9307318B2 (en) 2013-03-07 2016-04-05 Silicon Laboratories Inc. Audio processor circuits for acoustic echo cancellation and method therefor
KR101666393B1 (ko) * 2013-03-27 2016-10-14 한국전자통신연구원 음향효과를 이용한 촉각효과 재생 장치 및 방법
US9349378B2 (en) * 2013-11-19 2016-05-24 Dolby Laboratories Licensing Corporation Haptic signal synthesis and transport in a bit stream
CN103778527A (zh) 2014-02-12 2014-05-07 顾洪代 一种语音备忘提示方法及设备
US10394330B2 (en) 2014-03-10 2019-08-27 Qualcomm Incorporated Devices and methods for facilitating wireless communications based on implicit user cues
US9613506B2 (en) 2014-05-30 2017-04-04 Apple Inc. Synchronization of independent output streams
US10186138B2 (en) 2014-09-02 2019-01-22 Apple Inc. Providing priming cues to a user of an electronic device

Also Published As

Publication number Publication date
US20150348379A1 (en) 2015-12-03
US9613506B2 (en) 2017-04-04
DE102015209298A1 (de) 2015-12-03
CN105282591A (zh) 2016-01-27

Similar Documents

Publication Publication Date Title
CN105282591B (zh) 独立输出流的同步
US10339772B2 (en) Sound to haptic effect conversion system using mapping
US9508236B2 (en) Haptic warping system that transforms a haptic signal into a collection of vibrotactile haptic effect patterns
CN104049743B (zh) 用于使触觉反馈调用同步的***和方法
US9913033B2 (en) Synchronization of independent output streams
JP2015185137A (ja) 情報処理装置、情報処理方法、及びプログラム
US10186246B2 (en) Musical piece reproducing system, data outputting apparatus, and musical piece reproducing method
WO2019043781A1 (ja) 振動制御装置、振動制御方法、及びプログラム
US11482086B2 (en) Drive control device, drive control method, and program
CN109388234B (zh) 触觉效果编码和呈现***
US20190046384A1 (en) Method for controlling a massage device and massage system incorporating such a device
CN115209960A (zh) 解码装置、解码方法、程序、编码装置和编码方法
WO2019138867A1 (ja) 情報処理装置および方法、並びにプログラム
CA3147503A1 (en) Power management and distributed audio processing techniques for playback devices
KR20090110233A (ko) 오디오 신호 처리 방법 및 이의 장치
JP4171012B2 (ja) 情報処理装置、及びコントローラデバイス
JP7155643B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2019111340A1 (ja) 触覚コンテンツ生成装置、音響コンテンツ生成装置、音響再生装置、触覚コンテンツ生成方法および音響コンテンツ生成方法
CN116322913A (zh) 信号生成装置、信号生成方法以及信号生成程序
CN115268248B (zh) 闹钟控制方法、装置、电子设备及存储介质
JP7494848B2 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2024125478A1 (zh) 音频呈现方法和设备
KR100294919B1 (ko) 입체적오디오신호재생장치및그방법
JP6524795B2 (ja) 音素材処理装置および音素材処理プログラム
JP2024059688A (ja) コンピュータプログラム、方法及びサーバ装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180904