CN111586533B - 音频内容的呈现 - Google Patents
音频内容的呈现 Download PDFInfo
- Publication number
- CN111586533B CN111586533B CN202010443234.9A CN202010443234A CN111586533B CN 111586533 B CN111586533 B CN 111586533B CN 202010443234 A CN202010443234 A CN 202010443234A CN 111586533 B CN111586533 B CN 111586533B
- Authority
- CN
- China
- Prior art keywords
- audio
- rendering
- audio object
- mode
- objects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- General Health & Medical Sciences (AREA)
- Stereophonic System (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
Abstract
本文公开的示例实施例涉及音频内容呈现。公开了一种呈现音频内容的方法,其包括确定针对音频内容中的音频对象的优先级别,基于所确定的优先级别针对音频对象从多个呈现模式中选择呈现模式,并且根据所选择的呈现模式呈现音频对象,该呈现模式表示所呈现的音频对象的准确度。还公开了相应的***和计算机程序产品。
Description
本申请是于2015年4月8日递交的中国国家申请号为201510164152.X的发明专利申请的分案申请。
技术领域
本文公开的示例实施例通常涉及音频内容处理,更具体地,涉及用于呈现音频内容的方法和***。
背景技术
传统上,多声道格式(例如5.1、7.1等)或具有元数据的单声道格式的音频内容通过在工作室中混合不同音频信号而创建,或者通过在真实环境中同时记录声信号而生成。混合的音频信号或内容可以包括若干个不同的音频对象。理想地,所有的对象都需要被呈现以便于随时间进行音频内容的生动和有感染力的表现。关于音频对象的信息可以处于元数据的形式,并且该元数据可以包括特定音频对象的位置、大小(其可以包括宽度、深度和高度)、发散等。所提供的信息越多,音频对象就可以被呈现得越准确。
如果音频对象要被呈现,将需要一些计算资源。然而,当若干音频对象被包括在音频内容中时,通常需要大量的计算资源以正确地呈现所有的音频对象,即以准确的位置、大小、分散等呈现每个对象。呈现音频内容的可用的总计算资源对于不同的***而言可以不同,不幸的是被不那么强的***提供的可用的计算资源通常不足以呈现所有的音频对象。
为了使具有有限计算资源的***成功地呈现音频内容,一种现有的方式是针对每个音频对象预设优先级别。当音频对象被创建时优先级别通常由混音者预设,或者当音频对象被自动分离时优先级别通常由***创建。优先级别表示比起其它对象,以理想方式(考虑所有的元数据)呈现特定对象有多重要。当总可用计算资源并不足够呈现所有的音频对象,具有低优先级别的音频对象可能被丢弃,以便于为具有更高优先级别的那些对象节省计算资源。通过该过程,可以呈现具有更高重要性的音频对象而可以丢弃一些较不重要的对象,从而可以利用有限的计算资源供应选择性地呈现音频对象并且因而可以呈现音频内容。
然而,在一些特定的时间帧中,当许多对象需要被同时呈现时,可能有多个音频对象被丢弃,导致低保真度的音频再现。
有鉴于此,本领域需要更合理地分配计算资源以及更有效率地呈现音频内容的方案。
发明内容
为了解决前述和其它潜在的问题,本文公开的示例实施例提出了用于呈现音频内容的方法和***。
在一个方面,本文公开的示例实施例提供了一种呈现音频内容的方法。该方法包括确定确定针对音频内容中的音频对象的优先级别,基于所确定的优先级别针对音频对象从多个呈现模式中选择呈现模式,并且根据所选择的呈现模式呈现音频对象,该呈现模式表示所呈现的音频对象的准确度。关于该方面的实施例进一步包括相应的计算机程序产品。
在另一个方面,本文公开的示例实施例提供了一种用于呈现音频内容的***。该***包括被配置为确定确定针对音频内容中的音频对象的优先级别的优先级别确定单元;被配置为基于所确定的优先级别针对音频对象从多个呈现模式中选择呈现模式的呈现模式选择单元;以及被配置为根据所选择的呈现模式呈现音频对象的音频对象呈现单元,该呈现模式表示所呈现的音频对象的准确度。
通过以下描述,将会理解到根据本文公开的示例实施例,不同的呈现模式依据音频对象的优先级别被分派至音频对象,使得对象可以被不同地处理。因此,即使可用的总计算资源受限,所有的(或者至少几乎所有的)对象能够被呈现。本文公开的示例实施例所实现的其它优点将通过以下描述而变得显而易见。
附图说明
通过参照附图的以下详细描述,本文公开的示例实施例的上述和其它目的、特征和优点将变得更容易理解。在附图中,本文公开的示例实施例将以示例以及非限制性的方式进行说明,其中:
图1图示了根据示例实施例的用于呈现音频内容的方法的流程图;
图2图示了根据另一示例实施例的用于呈现音频内容的方法的流程图;
图3图示了根据示例实施例的用于呈现音频内容的***;以及
图4图示了适于实施本文公开的示例实施例的示例计算机***的框图。
在全部附图中,相同或相应的附图标记指代相同或相应的部分。
具体实施方式
现在将参照附图中所示的各种示例实施例对本文公开的示例实施例的原理进行说明。应当理解,这些实施例的描述仅仅是使本领域技术人员能够更好地理解并进一步实施本文公开的示例实施例,而不意在以任何方式对范围进行限制。
本文公开的示例实施例假定作为输入的音频内容已经被处理为包括分离的音频对象。换言之,根据本文公开的示例实施例的方法旨在处理单个音频对象或者多个分离的音频对象。与可能针对某些时间帧丢弃若干音频对象的、利用有限的计算资源呈现音频对象的传统方法不同,本文公开的示例实施例旨在提供在任何时间针对所有(或至少几乎所有)音频对象的呈现。根据音频对象的优先级别,它们将以不同的呈现模式被呈现,从而较不重要的对象可以以较不复杂的方式被呈现以节约计算资源,而重要的对象可以通过分配更多的计算资源而不被妥协地呈现。
为了实现以上目的,本文公开的示例实施例提出了用于呈现音频内容的方法和***。实施例将会在以下给出。
首先参照图1,其示出了根据本发明的示例实施例的用于呈现音频内容的方法100的流程图。
在本文公开的一个示例实施例中,在步骤S101,针对音频内容中的音频对象的优先级别被确定。应当指出的是,在一个情况下,优先级别可以由混音者针对每个音频对象预设而被提供。然而,在一些其它情况下,仅有一些音频对象可以包含其对应的优先级别,而其余的对象没有这种信息。确定步骤S101旨在获得针对每个音频对象的优先级别或者根据某规则向没有预设优先级元数据的音频对象指派优先级别。在步骤S101之后,音频内容可以包括一个或多个音频对象,每个音频对象包含对应的优先级别。
根据本文公开的示例实施例的优先级别可以表现为各种形式。仅通过示例的方式,优先级别可以被1至N的数字表示。在该特定示例中,音频对象的总数可以是N并且音频对象中的每一个可以被指派具有从1至N的优先级别中的一个优先级别,其中1可能表示最高的优先级而N表示最低的优先级,或反之亦然。根据本文公开的示例实施例的优先级别可以被用来指示呈现音频对象的序列。应当理解的是,一旦某规则被预设,任何合适的形式可以被用来表示优先级别,从而优先级别可以在步骤S101处被辨识。
在本文公开的一个示例实施例中,针对音频内容中的每个音频对象,如果音频对象包括由混音者预设的优先级元数据,该优先级元数据可以被提取以用于以如上所述的恰当形式设置针对音频对象的优先级别。然而,如果音频对象不包括优先级元数据,预定的级别可以根据某规则被指派具有作为优先级别。该规则可以给予频谱分析。例如,如果特定的音频对象被确定为具有相对高音量的人类嗓音,其可被指派具有最高优先级别,因为其很可能是重要的叙述者或角色的嗓音。另一方面,如果特定音频对象具有远离整个声音场的中心的位置并且具有相对小的音量,其可被指派具有较低的优先级别。当确定对象有多重要时,音频对象的诸如对象的增益之类的其它元数据也可以是有用的。
在步骤S102,基于所确定的优先级别针对音频对象从多个呈现模式中选择呈现模式。在本文公开的一个示例实施例中,呈现模式表示音频对象最终多准确地被呈现。呈现模式中的一些可以包括:在仅仅一个输出声道对对象进行混音,在所有的输出声道相等地对对象进行混音,呈现具有校正的位置的对象,呈现具有校正的位置、大小和分散等的对象。
在以下所示的表1中,提供了一些示例呈现模式和其对应的描述。呈现模式中的每个呈现模式可以对应于计算复杂度,其表示呈现模式在计算资源上的要求有多高。
表1
在该实施例中,提供了从A至F的六个呈现模式,每个呈现模式对应于一个计算复杂度。对于呈现模式A,音频对象可以被完全地呈现,这意味着音频对象的每个参数均会被表现并且音频对象以最高的准确度被呈现。听众可以感知完全呈现的音频对象,其具有准确、有感染力、生动且因而愉悦的再现。理想地,所有的音频对象要以呈现模式A被呈现以带来最佳的性能。然而,该呈现模式A是最复杂的模式,并且因而需要最多的计算资源。其结果是,通常可用的计算资源不足以以该模式呈现所有的音频对象。
针对呈现模式B,其可将音频对象呈现至其正确和准确的位置,但忽略诸如大小、分散等其它参数的处理。就此而言,以该模式呈现的音频对象比起以呈现模式A呈现的音频对象而言需要较少的计算资源。
呈现模式C随时间将音频对象平移(pan)通过给定的一排输出声道。这意味着音频对象将沿着一个轴(例如,沿着水平轴)被正确地放置,而沿着其它轴的定位可能被忽略。因此,该模式可仅利用一些声道(例如,利用左扬声器、中央扬声器和右扬声器,它们全部放置于听众的前方)以再现音频对象,并且因而比起可利用全部输出声道以再现音频对象的呈现模式B而言需要较少的计算资源。
针对呈现模式D,***简单地对音频对象相同地混音至两个或更多个(取决于输出声道的数量)输出声道。在该模式下,尽管音频对象的位置可能不被正确地呈现,其比起之前的模式而言需要少得多的计算资源。针对呈现模式E,音频对象将仅被混音至一个输出声道,其是性能最差的情况,但是音频对象仍然是可听到的。最终针对呈现模式F,音频对象可能不被呈现,这意味着该音频对象被丢弃或静音。
应当理解的是,如表1所示的该六个呈现模式仅用来描述多个可能的呈现模式。可以提供更多的或更少的呈现模式。例如,在模式A与B之间可以有附加的呈现模式以用于呈现具有正确位置和大小的音频对象。
在本文公开的一个示例实施例中,具有不同的优先级别的音频对象可以被指派具有不同的呈现模式。例如,针对具有最高优先级别的音频对象将选择呈现模式A,并且针对具有最低优先级别的音频对象将相应地选择呈现模式B至E。如果所有的音频对象可以被指派具有呈现模式,将不会有音频对象被指派具有呈现模式F(被丢弃或静音)。
在步骤S103,音频对象依据所选择的呈现模式被呈现,因而大多数或所有的音频对象将使得被浪费的计算资源最小化而被呈现。
如以上所述,在一个实施例中,N个音频对象可以被指派具有N个优先级别。如在以下的表2中所示,多个计算级别可以对应于多个呈现模式,并且计算级别中的一个可以基于其优先级别被指派给音频对象。
表2
在该实施例中,呈现模式A至F可以具有如以上关于表1所解释的对应的意义,并且计算级别C1至C6中的每一个可以需要一定量的计算资源以呈现具有对应的呈现模式的音频对象。例如,有10个音频对象,并且它们的优先级别是1至10(1指示最高优先级)。针对最高优先级的两个音频对象,它们可被指派具有计算级别C1并因而将具有呈现模式A。相应地,具有优先级别3至10的音频对象将分别被指派具有计算级别C2、C2、C3、C3、C4、C4、C5和C5,并因而将具有对应的呈现模式B、B、C、C、D、D、E和E。仅通过示例的方式,计算级别C1至C6相应地需要计算资源70、20、8、4、2和0MHz。因此,消耗的总计算资源将会是70×2+20×2+8×2+4×2+2×2=208MHz。
应当理解的是,N个音频对象还可以具有少于N个优先级别。例如,在一个实施例中,两个最重要的音频对象可以共享优先级别1,并且接下来的两个音频对象可以共享优先级别2等等。换言之,可以提供可替代形式以表示优先级别,只要音频对象可以依次被划分优先级,以便于按顺序向音频对象中的每个音频对象指派计算级别中的一个以及相应的呈现模式。
在另外的一个实施例中,具有最高优先级别的(多个)音频对象可以被聚类到第一群组,而其余(多个)音频对象可以被聚类到第二群组。第一群组可以被指派具有诸如C1的(如表2中所列的)最高的计算级别,使得被包含在第一群组中的每个音频对象以对应的呈现模式A被呈现。第二群组可以随后依据可用的计算资源、音频对象的数量等被指派具有恰当的计算级别。在该特定的实施例中,被包含在相同的第二群组中的每个音频对象可以以相同的呈现模式被呈现而不论其优先级别为何。应当理解的是,可以提供有附加的(多个)群组,并且在不同群组中的每个音频对象可以根据优先级别、针对音频内容的可用的总计算资源和音频对象的数量被指派具有合适的呈现模式。
在进一步的实施例中,所有的对象可以被呈现多于一次。例如,针对第一次呈现,每个音频对象可以被指派具有最低的计算级别以便于保证所有的音频对象无论如何都被呈现。随后,针对第二次呈现,每个音频对象可以被个别地或独立地指派具有计算级别以便于完全利用可用的计算资源。换言之,预定的呈现模式(例如,呈现模式E)可以首先被指派给每个音频对象,并且随后针对每个音频对象的呈现模式可以通过从多个呈现模式中选择一个恰当的呈现模式而被更新。
图2图示了根据本发明的另一示例实施例的用于呈现音频内容的方法的流程图。
在步骤S201,当包含分离的音频对象的音频内容被输入时,可能需要确认音频对象是否包括优先级元数据或者优先级信息。如果音频对象具有优先级元数据,在步骤S202,优先级元数据可以被提取作为针对音频对象的优先级别,并且优先级别可以为如上所述的数字形式或者指示音频对象的优先级的任何其它形式。如果音频对象不具有优先级元数据,预定的级别可以在步骤S203被指派给优先级别。此外,某些规则可以被用来生成针对没有优先级元数据的音频对象的优先级别,该规则诸如以上所述的频谱分析。
随后,在步骤S204,可用的总计算资源可以被识别。在一个实施例中,计算资源可以被CPU的可用处理能力所反映,并且每个计算级别对应于一定数量的计算资源,如由表2所指示的。在步骤S205,在音频内容中要被呈现的音频对象的数量还可以被识别。
之后,音频对象的数量是否多于一个可能需要在步骤S206被确定。如果在音频内容中仅包含一个音频对象要被呈现,可用的总计算资源可能需要与不同的计算级别相比较。因为每个计算级别可以消耗一定数量的计算资源(处理能力),在步骤S207,在比较之后,合适的计算级别可以被指派给唯一的一个音频对象。例如,如果可用的总计算资源是100MHz,参考表2,消耗70MHz的计算级别C1可以被指派以便于以最佳性能呈现音频对象。在另一情况下,如果可用的总计算资源是50MHz,消耗20MHz的计算级别C2可以被指派。
在一个时间帧(同时地),如果在音频内容中由两个或更多个音频对象,在步骤S208,计算级别可以根据优先级别、总计算资源和音频对象的数量被指派给每个音频对象。
为了实现以上步骤,可能需要算法或规则以便于将计算级别有效率地指派给音频对象。一个示例规则在以下被示出以用于依次将计算级别中的一个指派给音频对象中的每一个,该次序为从具有最高优先级别的音频对象至具有最低优先级别的音频对象。在该特定示例中,P表示所剩要被使用的总计算资源,n表示所剩要被指派具有计算级别的音频对象的数量,并且Rj表示针对具有第j个优先级别的计算级别Cj所需的计算资源。
以上规则可以依次被应用至每个音频对象,该次序为从最高优先级别至最低优先级别。例如,如果总共有4个音频对象需要被指派具有计算级别并且针对这4个音频对象可用的总计算资源为300MHz(P=300),可以计算出P/n=75。根据表2,仅通过示例的方式,R1是70MHz,其小于75。因此,该4个音频对象中的每一个可以被指派具有C1。
在另一情况下,如果总共有6个音频对象需要被指派具有计算级别并且针对这6个音频对象可用的总计算资源为200MHz(P=200),可以计算出P/n=33.3,这比70小但大于20。此外,对于P≥R2+R1也成立,因而具有最高优先级别的音频对象可以被指派具有C1。随后,所剩的总计算资源将会是200-70=130MHz(P=130),并且n=5。可以计算出P/n=26,其介于20与70之间,并且P也比20与70之和更大。因此,具有第二高优先级别的该音频对象还可以被指派具有C1。
在指派两个音频对象之后,还有4个对象剩余要被指派(n=4)并且可用的计算资源仅为60MHz,这使得P/n=15。由于该值基于R2(20)与R3(8)之间,并且P也比R2与R3之和更大,具有第三高的优先级别的该音频对象可以被指派具有C2。现在P=40,n=3,并且P/n=13.3。由于该值基于R2与R3之间,并且P也比R2与R3之和更大,具有第四高的优先级别的该音频对象可以被指派具有C2。
针对首先的四个音频对象,它们分别被指派具有C1、C1、C2和C2的计算级别,并且针对最后的两个音频对象的可用的总计算资源仅为20MHz,这使得P/n=10。尽管该值介于R2(20)与R3(8)之间,但P比R2与R3之和更小。其结果是,根据以上规则,具有第二低的优先级别的该音频对象可以被指派具有C3。针对具有最低优先级别的最后的音频对象,可用的计算资源仅为12MHz,其介于R2与R3之间。然而,12比R2与R3之和更小,并且因而具有最低优先级别的该音频对象还可以被指派具有C3。
在该示例中,所消耗的总计算资源是70+70+20+20+8+8=196MHz,其占据了可用的总计算资源的高达98%。相反地,常规的方法通常呈现最高优先级的两个音频对象,而其余的音频对象不被呈现,这意味着60MHz或30%的可用的总计算资源被浪费。因此,根据本文公开的示例实施例的呈现音频内容的方法允许呈现每个音频对象(如果可用的计算资源不是太受限的话)并且允许有效率地分配计算资源。
在步骤S209,根据所指派的计算级别针对音频对象选择呈现模式。该步骤可以通过利用表2完成,在表2中呈现模式中的一个呈现模式对应于一个计算级别。
在步骤S210,音频对象可以依据所选择的呈现模式被呈现,使得音频内容可以随时间被呈现。
应当理解的是,本文公开的示例实施例可以被应用至具有诸如Dolby Digital、Dolby Digital Plus、Dolby E、Dolby AC-4、MPEG-H Audio之类的不同格式的音频内容,并且本发明并不旨在限制音频信号或音频内容的格式或形式。
图3图示了根据本发明的示例实施例的用于呈现音频内容的***300。如图所示,***300包括被配置为确定针对音频内容中的音频对象的优先级别的优先级别确定单元301;被配置为基于所确定的优先级别针对音频对象从多个呈现模式中选择呈现模式的呈现模式选择单元302;以及被配置为根据所选择的呈现模式呈现音频对象的音频对象呈现单元303,该呈现模式表示所呈现的音频对象的准确度。
在一些示例实施例中,优先级别确定单元301可以包括优先级元数据提取单元,其被配置为如果音频对象包括优先级元数据则将优先级元数据提取作为优先级别;以及预定级别指派单元,其被配置为如果音频对象不包括优先级元数据则将预定级别指派给优先级别。
在一些其它示例实施例中,呈现模式选择单元302可以包括计算级别指派单元,被配置为基于所述优先级别向所述音频对象指派多个计算级别中的一个计算级别,所述计算级别中的每个计算级别对应于所述多个呈现模式中的一个呈现模式,并且所述计算级别中的每个计算级别需要一定数量的计算资源。该呈现模式选择单元可以进一步被配置为根据所指派的计算级别针对所述音频对象的每个音频对象选择所述呈现模式。在本文公开的进一步的示例实施例中,计算级别指派单元可以包括总计算资源识别单元,其被配置为识别针对音频内容的可用的总计算资源;以及数量识别单元,其被配置为识别音频对象的数量。该计算级别指派单元可以被进一步配置为如果音频对象的数量多于一个,则根据优先级别、总计算资源以及音频对象的数量,向音频对象中的每个音频对象指述多个计算级别中的一个计算级别,或者如果音频对象的数量是一个,则基于总计算资源向音频对象指派多个计算级别中的一个计算级别。在本文公开的进一步的示例实施例中,该计算级别指派单元可以被配置为依次指派计算级别,该次序为从具有最高优先级别的音频对象至具有最低优先级别的音频对象。
在一些其它示例实施例中,***300可以进一步包括聚类单元,该聚类单元被配置为如果音频对象的数量多于一个,则基于音频对象的优先级别将音频对象聚类到多个群组中的一个群组。在本文公开的进一步的示例实施例中,该呈现模式选择单元302可以进一步被配置为基于优先级别、针对音频内容的可用总计算资源以及音频对象的数量,针对群组中的每个群组内的音频对象选择呈现模式中的一个呈现模式。
在一些其它示例实施例中,呈现模式选择单元302可以包括预定呈现模式指派单元,其被配置为将预定呈现模式指派至每个音频对象,以及呈现模式更新单元,其被配置为通过从多个呈现模式中选择一个呈现模式而针对每个音频对象更新呈现模式。
为了清楚起见,***300的一些可选部件在图3中并未示出。然而应当理解的是,如上述参照图1和2所描述的特征均适用于***300。此外,***300的部件可以是硬件模块或软件单元模块。例如,在一些实施例中,***300可以部分地或完全地以软件/或固件实现,例如实现为收录在计算机可读介质中的计算机程序产品。可替代地或附加地,***300可以部分地或完全地基于硬件实现,例如作为集成电路(IC)、应用专用集成电路(ASIC)、片上***(SOC)、现场可编程门阵列(FPGA)等。本发明的范围并不局限于该方面。
图4示出了适于实施本文公开的示例实施例的示例计算机***400的框图。如图所示,计算机***400包括中央处理单元(CPU)401,其能够根据存储在只读存储器(ROM)402中的程序或从存储区408加载到随机存取存储器(RAM)403的程序而执行各种处理。在RAM 403中,当CPU 401执行各种处理等等时,还根据所需存储有所需的数据。CPU 401、ROM 402和RAM 403经由总线404彼此相连。输入/输出(I/O)接口405也连接到总线404。
以下部件连接至I/O接口405:包括键盘、鼠标等的输入部分406;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分407;包括硬盘等的存储部分408;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网之类的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411,诸如磁盘、光盘、磁光盘、半导体存储器等,根据需要安装在驱动器410上,使得从其上读出的计算机程序根据需要被安装入存储部分408。
特别地,根据本文公开的示例实施例,上文参考图1和图2描述的过程可以被实现为计算机软件程序。例如,本文公开的示例实施例包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,该计算机程序包含用于执行方法100和/或200的程序代码。在这样的实施例中,该计算机程序可以通过通信部分409从网络上被下载和安装,和/或从可拆卸介质411被安装。
一般而言,本文公开的各种示例实施例可以在硬件或专用电路、软件、逻辑、或其任何组合中实施。某些方面可以在硬件中实施,而其它方面可以在可由控制器、微处理器或其它计算设备执行的固件或软件中实施。当本文公开的示例实施例的各方面被图示或描述为框图、流程图或使用某些其它图形表示时,将理解此处描述的方框、装置、***、技术或方法可以作为非限制性的示例在硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其它计算设备,或其某些组合中实施。
而且,流程图中的各框可以被看作是方法步骤,和/或计算机程序代码的操作生成的操作,和/或理解为执行相关功能的多个耦合的逻辑电路元件。例如,本文公开的示例实施例包括计算机程序产品,其包括有形地实现在机器可读介质上的计算机程序,该计算机程序包含被配置为执行上文描述方法的程序代码。
在本公开的上下文中,机器可读介质可以是包含或存储用于或有关于指令执行***、装置或设备的程序的任何有形介质。机器可读介质可以是机器可读信号介质或机器可读存储介质。机器可读介质可以包括但不限于电子的、磁的、光学的、电磁的、红外的或半导体***、装置或设备,或其任意合适的组合。机器可读存储介质的更详细示例包括带有一根或多个导线的电气连接、便携式计算机磁盘、硬盘、随机存储存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光存储设备、磁存储设备,或其任意合适的组合。
用于执行本发明的方法的计算机程序代码可以用一种或多种编程语言编写。这些计算机程序代码可以提供给通用计算机、专用计算机或其它可编程的数据处理装置的处理器,使得程序代码在被计算机或其它可编程的数据处理装置执行的时候,引起在流程图和/或框图中规定的功能/操作被实施。程序代码可以完全在计算机上、部分在计算机上、作为独立的软件包、部分在计算机上且部分在远程计算机上或完全在远程计算机或服务器上或在一个或多个远程计算机或服务器之间分布而执行。
另外,尽管操作以特定顺序被描绘,但这并不应该被理解为要求此类操作以示出的特定顺序或以相继顺序完成,或者执行所有图示的操作以获取期望结果。在某些情况下,多任务或并行处理可能是有利的。同样地,尽管上述讨论包含了某些特定的实施细节,但这并不应解释为限制任何发明或权利要求的范围,而应解释为对可以针对特定发明的特定实施例的描述。本说明书中在分开的实施例的上下文中描述的某些特征也可以整合实施在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以分离地在多个实施例火灾任意合适的子组合中实施。
针对前述本发明的示例实施例的各种修改、改变将在连同附图查看前述描述时对相关技术领域的技术人员变得明显。任何及所有修改将仍落入非限制的和本发明的示例实施例范围。此外,前述说明书和附图存在启发的益处,涉及这些实施例的技术领域的技术人员将会想到此处阐明的其它示例实施例。
将理解的是,本文公开的示例实施例并不限于公开的特定实施例,并且各种修改和其它实施例旨在被包括在所附权利要求书的范围以内。尽管本文使用了特定术语,它们以通用的和描述性的意义被使用,而不是出于限制的目的。
Claims (19)
1.一种呈现音频内容的方法,包括:
确定针对所述音频内容中的每一个音频对象的优先级别;
基于所确定的优先级别,针对每一个音频对象从多个呈现模式中选择呈现模式;以及
根据所选择的呈现模式呈现每一个音频对象,其中所述呈现包括向该音频对象指派预定的呈现模式以用于第一次呈现,在第一次呈现中能够以最低性能来呈现音频对象;并且通过从多个呈现模式中选择一种呈现模式针对该音频对象来更新呈现模式以用于第二次呈现,在第二次呈现中能够以等于或者高于第一次呈现中的性能的性能来呈现音频对象。
2.根据权利要求1所述的方法,其中确定所述优先级别包括:
如果所述音频对象包括优先级元数据,将优先级元数据提取作为所述优先级别;或者
如果所述音频对象不包括优先级元数据,向所述优先级别指派预定级别。
3.根据权利要求1所述的方法,其中选择所述呈现模式包括:
基于所述优先级别向所述音频对象指派多个计算级别中的一个计算级别,所述计算级别中的每个计算级别对应于所述多个呈现模式中的一个呈现模式,并且所述计算级别中的每个计算级别需要一定数量的计算资源;以及
根据所指派的计算级别,针对所述音频对象的每个音频对象选择所述呈现模式。
4.根据权利要求3所述的方法,其中向所述音频对象指派所述多个计算级别中的一个计算级别包括:
识别针对所述音频内容的可用总计算资源;
识别所述音频对象的数量;以及
如果所述音频对象的数量多于一个,基于所述优先级别、所述总计算资源和所述音频对象的数量,向所述音频对象中的每个音频对象指派所述多个计算级别中的一个计算级别;或者
如果所述音频对象的数量是一个,基于所述总计算资源,向所述音频对象指派所述多个计算级别中的一个计算级别。
5.根据权利要求1所述的方法,其中所述方法进一步包括:在从多个呈现模式中选择呈现模式之前,
如果所述音频对象的数量多于一个,基于所述音频对象的所述优先级别将所述音频对象聚类到多个群组中的一个群组。
6.根据权利要求5所述的方法,其中从多个呈现模式中选择呈现模式包括:
基于所述优先级别、针对所述音频内容的可用总计算资源以及所述音频对象的数量,针对所述群组中的每个群组内的音频对象选择所述呈现模式中的一个呈现模式。
7.一种用于呈现音频内容的***,包括:
优先级别确定单元,被配置为确定针对所述音频内容中的每一个音频对象的优先级别;
呈现模式选择单元,被配置为基于所确定的优先级别针对每一个音频对象从多个呈现模式中选择呈现模式;以及
音频对象呈现单元,被配置为根据所选择的呈现模式呈现每一个音频对象,其中所述音频对象呈现单元进一步被配置为向该音频对象指派预定的呈现模式以用于第一次呈现,在第一次呈现中能够以最低性能来呈现音频对象;并且通过从多个呈现模式中选择一种呈现模式针对该音频对象来更新呈现模式以用于第二次呈现,在第二次呈现中能够以等于或者高于第一次呈现中的性能的性能来呈现音频对象。
8.根据权利要求7所述的***,其中所述优先级别确定单元包括:
优先级元数据提取单元,被配置为如果所述音频对象包括优先级元数据则将优先级元数据提取作为所述优先级别;以及
预定级别指派单元,被配置为如果所述音频对象不包括优先级元数据则向所述优先级别指派预定级别。
9.根据权利要求7所述的***,其中所述呈现模式选择单元包括:
计算级别指派单元,被配置为基于所述优先级别向所述音频对象指派多个计算级别中的一个计算级别,所述计算级别中的每个计算级别对应于所述多个呈现模式中的一个呈现模式,并且所述计算级别中的每个计算级别需要一定数量的计算资源;并且其中
所述呈现模式选择单元被进一步配置为根据所指派的计算级别针对所述音频对象的每个音频对象选择所述呈现模式。
10.根据权利要求9所述的***,其中所述计算级别指派单元包括:
总计算资源识别单元,被配置为识别针对所述音频内容的可用总计算资源;以及
数量识别单元,被配置为识别所述音频对象的数量,并且其中
所述计算级别指派单元被进一步配置为如果所述音频对象的数量多于一个,则根据所述优先级别、所述总计算资源以及所述音频对象的数量,向所述音频对象中的每个音频对象指派所述多个计算级别中的一个计算级别,或者如果所述音频对象的数量是一个,则基于所述总计算资源向所述音频对象指派所述多个计算级别中的一个计算级别。
11.根据权利要求7所述的***,其中所述***进一步包括聚类单元,所述聚类单元被配置为如果所述音频对象的数量多于一个,则基于所述音频对象的所述优先级别将所述音频对象聚类到多个群组中的一个群组。
12.根据权利要求11所述的***,其中所述呈现模式选择单元被进一步配置为基于所述优先级别、针对所述音频内容的可用总计算资源以及所述音频对象的数量,针对所述群组中的每个群组内的音频对象选择所述呈现模式中的一个呈现模式。
13.根据权利要求7至12中任一项所述的***,其中所述呈现模式选择单元包括:
预定呈现模式选择单元,被配置为向所述音频对象中的每个音频对象指派预定的呈现模式;以及
呈现模式更新单元,被配置为通过从多个呈现模式中选择一个呈现模式,针对所述音频对象中的每个音频对象更新所述呈现模式。
14.一种呈现音频内容的方法,包括:
确定针对所述音频内容中的音频对象的优先级别;
基于所确定的优先级别,针对所述音频对象从多个呈现模式中选择呈现模式;以及
根据所选择的呈现模式呈现所述音频对象,所述呈现模式指示所呈现的音频对象的准确度,
其中,呈现包括向所述音频对象指派预定的呈现模式以用于第一次呈现,在第一次呈现中能够以最低性能来呈现音频对象;并且通过从多个呈现模式中选择一种呈现模式针对该音频对象来更新呈现模式以用于第二次呈现,在第二次呈现中能够以等于或者高于第一次呈现中的性能的性能来呈现音频对象。
15.一种用于呈现音频内容的***,包括:
优先级别确定单元,被配置为确定针对所述音频内容中的音频对象的优先级别;
呈现模式选择单元,被配置为基于所确定的优先级别针对所述音频对象从多个呈现模式中选择呈现模式;以及
音频对象呈现单元,被配置为根据所选择的呈现模式呈现所述音频对象,所述呈现模式指示所呈现的音频对象的准确度,
其中,呈现包括向所述音频对象指派预定的呈现模式以用于第一次呈现,在第一次呈现中能够以最低性能来呈现音频对象;并且通过从多个呈现模式中选择一种呈现模式针对该音频对象来更新呈现模式以用于第二次呈现,在第二次呈现中能够以等于或者高于第一次呈现中的性能的性能来呈现音频对象。
16.一种呈现音频内容的方法,包括:
确定针对所述音频内容中的每一个音频对象的优先级别;
识别可用总计算资源以及音频对象的数量;
在所述音频对象的数量多于一个的情况下,基于所述优先级别、可用总计算资源以及所述音频对象的数量,向每一个音频对象指派计算级别;
根据所指派的计算级别,针对每一个音频对象选择呈现模式;以及
根据所选择的呈现模式呈现每一个音频对象,
其中,呈现包括向所述音频对象指派预定的呈现模式以用于第一次呈现,在第一次呈现中能够以最低性能来呈现音频对象;并且通过从多个呈现模式中选择一种呈现模式针对该音频对象来更新呈现模式以用于第二次呈现,在第二次呈现中能够以等于或者高于第一次呈现中的性能的性能来呈现音频对象。
17.一种用于呈现音频内容的***,包括:
优先级别确定单元,被配置为确定针对所述音频内容中的每一个音频对象的优先级别;
总计算资源识别单元,被配置为识别可用总计算资源;
数量识别单元,被配置为识别音频对象的数量;
计算级别指派单元,被配置为在所述音频对象的数量多于一个的情况下,基于所述优先级别、可用总计算资源以及所述音频对象的数量,向每一个音频对象指派计算级别;
呈现模式选择单元,被配置为根据所指派的计算级别,针对每一个音频对象选择呈现模式;以及
音频对象呈现单元,被配置为根据所选择的呈现模式呈现每一个音频对象,
其中,呈现包括向所述音频对象指派预定的呈现模式以用于第一次呈现,在第一次呈现中能够以最低性能来呈现音频对象;并且通过从多个呈现模式中选择一种呈现模式针对该音频对象来更新呈现模式以用于第二次呈现,在第二次呈现中能够以等于或者高于第一次呈现中的性能的性能来呈现音频对象。
18.一种计算机可读介质,包括机器可执行指令,所述机器可执行指令在被执行时使得机器执行根据权利要求1至6、14和16中任一项所述的方法的步骤。
19.一种用于呈现音频内容的设备,包括:
处理器,以及
计算机可读介质,包括机器可执行指令,所述机器可执行指令在被执行时使得机器执行根据权利要求1至6、14和16中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010443234.9A CN111586533B (zh) | 2015-04-08 | 2015-04-08 | 音频内容的呈现 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510164152.XA CN106162500B (zh) | 2015-04-08 | 2015-04-08 | 音频内容的呈现 |
CN202010443234.9A CN111586533B (zh) | 2015-04-08 | 2015-04-08 | 音频内容的呈现 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510164152.XA Division CN106162500B (zh) | 2015-04-08 | 2015-04-08 | 音频内容的呈现 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111586533A CN111586533A (zh) | 2020-08-25 |
CN111586533B true CN111586533B (zh) | 2023-01-03 |
Family
ID=57111923
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010443234.9A Active CN111586533B (zh) | 2015-04-08 | 2015-04-08 | 音频内容的呈现 |
CN201510164152.XA Active CN106162500B (zh) | 2015-04-08 | 2015-04-08 | 音频内容的呈现 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510164152.XA Active CN106162500B (zh) | 2015-04-08 | 2015-04-08 | 音频内容的呈现 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9967666B2 (zh) |
CN (2) | CN111586533B (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016172111A1 (en) * | 2015-04-20 | 2016-10-27 | Dolby Laboratories Licensing Corporation | Processing audio data to compensate for partial hearing loss or an adverse hearing environment |
US9980078B2 (en) | 2016-10-14 | 2018-05-22 | Nokia Technologies Oy | Audio object modification in free-viewpoint rendering |
US10424307B2 (en) | 2017-01-03 | 2019-09-24 | Nokia Technologies Oy | Adapting a distributed audio recording for end user free viewpoint monitoring |
US11096004B2 (en) * | 2017-01-23 | 2021-08-17 | Nokia Technologies Oy | Spatial audio rendering point extension |
US10531219B2 (en) * | 2017-03-20 | 2020-01-07 | Nokia Technologies Oy | Smooth rendering of overlapping audio-object interactions |
KR20240042125A (ko) * | 2017-04-26 | 2024-04-01 | 소니그룹주식회사 | 신호 처리 장치 및 방법, 및 프로그램 |
US11074036B2 (en) | 2017-05-05 | 2021-07-27 | Nokia Technologies Oy | Metadata-free audio-object interactions |
US10165386B2 (en) | 2017-05-16 | 2018-12-25 | Nokia Technologies Oy | VR audio superzoom |
US11395087B2 (en) | 2017-09-29 | 2022-07-19 | Nokia Technologies Oy | Level-based audio-object interactions |
FR3075443A1 (fr) * | 2017-12-19 | 2019-06-21 | Orange | Traitement d'un signal monophonique dans un decodeur audio 3d restituant un contenu binaural |
CN108322709A (zh) * | 2018-02-12 | 2018-07-24 | 天津天地伟业信息***集成有限公司 | 一种通过音频音量值自动切换音频采集源的方法 |
US10542368B2 (en) | 2018-03-27 | 2020-01-21 | Nokia Technologies Oy | Audio content modification for playback audio |
CN111903143B (zh) * | 2018-03-30 | 2022-03-18 | 索尼公司 | 信号处理设备和方法以及计算机可读存储介质 |
GB2575510A (en) * | 2018-07-13 | 2020-01-15 | Nokia Technologies Oy | Spatial augmentation |
JP7468359B2 (ja) * | 2018-11-20 | 2024-04-16 | ソニーグループ株式会社 | 情報処理装置および方法、並びにプログラム |
EP4236378A3 (en) | 2019-05-03 | 2023-09-13 | Dolby Laboratories Licensing Corporation | Rendering audio objects with multiple types of renderers |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102549655A (zh) * | 2009-08-14 | 2012-07-04 | Srs实验室有限公司 | 自适应成流音频对象的*** |
CN103140852A (zh) * | 2010-10-04 | 2013-06-05 | 高通股份有限公司 | 用于管理无线手持式计算装置的存储器资源的***和方法 |
WO2014187990A1 (en) * | 2013-05-24 | 2014-11-27 | Dolby International Ab | Efficient coding of audio scenes comprising audio objects |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8811596B2 (en) * | 2007-06-25 | 2014-08-19 | The Boeing Company | Apparatus including associative memory for evaluating audio communications |
KR101596504B1 (ko) * | 2008-04-23 | 2016-02-23 | 한국전자통신연구원 | 객체기반 오디오 컨텐츠의 생성/재생 방법 및 객체기반 오디오 서비스를 위한 파일 포맷 구조를 가진 데이터를 기록한 컴퓨터 판독 가능 기록 매체 |
US8321564B2 (en) | 2008-12-24 | 2012-11-27 | Broadcom Corporation | Rendering device selection in a home network |
WO2010109918A1 (ja) | 2009-03-26 | 2010-09-30 | パナソニック株式会社 | 復号化装置、符号化復号化装置および復号化方法 |
WO2012122397A1 (en) | 2011-03-09 | 2012-09-13 | Srs Labs, Inc. | System for dynamically creating and rendering audio objects |
CN103649706B (zh) | 2011-03-16 | 2015-11-25 | Dts(英属维尔京群岛)有限公司 | 三维音频音轨的编码及再现 |
EP2697938B1 (en) | 2011-04-11 | 2016-01-20 | Koninklijke Philips N.V. | Media rendering device providing uninterrupted playback of content |
EP2523111A1 (en) * | 2011-05-13 | 2012-11-14 | Research In Motion Limited | Allocating media decoding resources according to priorities of media elements in received data |
US9525501B2 (en) | 2011-06-03 | 2016-12-20 | Adobe Systems Incorporated | Automatic render generation of an audio source |
CA3151342A1 (en) * | 2011-07-01 | 2013-01-10 | Dolby Laboratories Licensing Corporation | System and tools for enhanced 3d audio authoring and rendering |
US9286904B2 (en) | 2012-03-06 | 2016-03-15 | Ati Technologies Ulc | Adjusting a data rate of a digital audio stream based on dynamically determined audio playback system capabilities |
WO2013181272A2 (en) | 2012-05-31 | 2013-12-05 | Dts Llc | Object-based audio system using vector base amplitude panning |
US9622014B2 (en) | 2012-06-19 | 2017-04-11 | Dolby Laboratories Licensing Corporation | Rendering and playback of spatial audio using channel-based audio systems |
EP2682879A1 (en) * | 2012-07-05 | 2014-01-08 | Thomson Licensing | Method and apparatus for prioritizing metadata |
US9761229B2 (en) * | 2012-07-20 | 2017-09-12 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for audio object clustering |
JP6085029B2 (ja) | 2012-08-31 | 2017-02-22 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 種々の聴取環境におけるオブジェクトに基づくオーディオのレンダリング及び再生のためのシステム |
EP2891335B1 (en) | 2012-08-31 | 2019-11-27 | Dolby Laboratories Licensing Corporation | Reflected and direct rendering of upmixed content to individually addressable drivers |
EP2891339B1 (en) | 2012-08-31 | 2017-08-16 | Dolby Laboratories Licensing Corporation | Bi-directional interconnect for communication between a renderer and an array of individually addressable drivers |
WO2014099285A1 (en) * | 2012-12-21 | 2014-06-26 | Dolby Laboratories Licensing Corporation | Object clustering for rendering object-based audio content based on perceptual criteria |
RU2015137723A (ru) | 2013-02-05 | 2017-03-13 | Конинклейке Филипс Н.В. | Аудиоустройство и способ для него |
CN104240711B (zh) * | 2013-06-18 | 2019-10-11 | 杜比实验室特许公司 | 用于生成自适应音频内容的方法、***和装置 |
-
2015
- 2015-04-08 CN CN202010443234.9A patent/CN111586533B/zh active Active
- 2015-04-08 CN CN201510164152.XA patent/CN106162500B/zh active Active
-
2016
- 2016-04-08 US US15/094,407 patent/US9967666B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102549655A (zh) * | 2009-08-14 | 2012-07-04 | Srs实验室有限公司 | 自适应成流音频对象的*** |
CN103140852A (zh) * | 2010-10-04 | 2013-06-05 | 高通股份有限公司 | 用于管理无线手持式计算装置的存储器资源的***和方法 |
WO2014187990A1 (en) * | 2013-05-24 | 2014-11-27 | Dolby International Ab | Efficient coding of audio scenes comprising audio objects |
CN105229732A (zh) * | 2013-05-24 | 2016-01-06 | 杜比国际公司 | 包括音频对象的音频场景的高效编码 |
Also Published As
Publication number | Publication date |
---|---|
US20160300577A1 (en) | 2016-10-13 |
CN106162500B (zh) | 2020-06-16 |
CN111586533A (zh) | 2020-08-25 |
CN106162500A (zh) | 2016-11-23 |
US9967666B2 (en) | 2018-05-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111586533B (zh) | 音频内容的呈现 | |
EP3262640B1 (en) | Video content assisted audio object extraction | |
JP6330034B2 (ja) | 適応的なオーディオ・コンテンツの生成 | |
CN110225366B (zh) | 视频数据处理及广告位确定方法、装置、介质及电子设备 | |
EP3257269B1 (en) | Upmixing of audio signals | |
JP6736711B2 (ja) | メタデータ保存オーディオ・オブジェクト・クラスタリング | |
CN107451272B (zh) | 信息展示方法、介质、装置和计算设备 | |
CN107113526B (zh) | 从音频内容基于投影提取音频对象 | |
WO2016036637A2 (en) | Generating metadata for audio object | |
CN109684566B (zh) | 标签引擎实现方法、装置、计算机设备及存储介质 | |
CN109165723B (zh) | 用于处理数据的方法和装置 | |
CN106558019B (zh) | 图片排列方法及装置 | |
CN111462278A (zh) | 基于深度的素材排序渲染方法、介质、设备及装置 | |
CN110007827B (zh) | 选择编辑方法、装置、电子设备及计算机可读存储介质 | |
RU2773512C2 (ru) | Кластеризация аудиообъектов с сохранением метаданных | |
CN113961263B (zh) | 小程序分发方法、装置、设备和存储介质 | |
CN114896535A (zh) | 基于流式布局的页面展示方法、电子设备及存储介质 | |
CN116709411A (zh) | 资源配置方法及装置、设备、计算机可读存储介质 | |
CN111222307A (zh) | 一种字体编辑的方法、装置、计算机存储介质及终端 | |
CN108134946A (zh) | 视频直播内容过滤方法及装置、计算设备 | |
KR20190036968A (ko) | 유전 데이터 처리방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40030151 Country of ref document: HK |
|
CB02 | Change of applicant information |
Address after: California, USA Applicant after: DOLBY LABORATORIES LICENSING Corp. Address before: Kayo fukuboku Applicant before: DOLBY LABORATORIES LICENSING Corp. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |