CN102160115A - 对于资源受限客户机设备的上游质量增强信号处理 - Google Patents

Abstract

用于处理媒体数据以便质量增强的方法、装置和存储介质中的程序逻辑。从资源受限设备(例如无线便携式设备)接受与质量增强和/或环境量(例如对于该设备的环境光和/或背景噪声)有关的信息。媒体数据被使用接受的信息中的至少一些来进行数据处理以实现质量增强来生成经处理的输出。媒体数据的数据处理包括在对于处理足够的一个或多个资源可用之时或之处处理。

Description

对于资源受限客户机设备的上游质量增强信号处理

相关申请的交叉引用

此申请要求于2008年9月19日提交的美国专利临时申请No.61/098,481的优先权，在此通过引用将其完全合并到此。

技术领域

本公开总体上涉及媒体数据的信号处理，例如用于质量增强的以流方式传送(streaming)音频数据的信号处理。

背景技术

便携式设备在流行性和功能性方面继续增长。这种日渐流行的设备包括媒体播放器(例如苹果的iPod)、蜂窝式移动电话、基于无线IP的电话(例如进行Helio、Linksys等的设备)、无线网络兼容多媒体设备(例如Microsoft Zune、Apple iPhone等)、便携式游戏操纵台(例如Sony PSP、Nokia N Gage等)以及可以用于发送、接收并且/或者呈现通信和/或多媒体数据的很多其它设备。这样的设备典型地包括处理***(例如数字信号处理器(DSP)或微控制器)、以及存储程序逻辑(软件)的存储器。虽然便携式设备在处理功率和功能性和/或延长的电池寿命方面持续改进，但与非便携式处理***(例如计算机、网络适配器和路由器、和/或固定的核心网络设备)相比，这些设备仍具有有限的信号处理能力和/或资源。典型地，便携式设备优选地小、优选地廉价、具有有限的处理能力、有限的存储器资源，并且/或者具有有限的电池功率。

形成明显对比地是，便携式设备与其通信的固定的处理***(例如服务器计算机***、网络适配器和路由器、无线基站和接入点以及固定的核心网络设备)具有明显更大的信号处理能力。这些固定的***可以是大的，并且不能脱离电池工作。因此，固定的***典型地表征为高速处理能力，比便携式设备大得多的存储容量、以及几乎不受限制的对电功率的使用。

通常，与固定的处理***相比具有有限的资源的设备(例如便携式设备)在此被称为有限资源设备。

已知需要昂贵信号处理的媒体数据质量增强方法，其如果在有限资源设备上实现，则可能需要过多电功率，因此耗尽所使用的任何电池，并且/或者可能使可用的有限信号处理功率负担过重。

附图说明

图1A示出描述本发明的一些方法实施例的简化流程图。

图1B示出描述本发明的一些装置实施例以及本发明的程序逻辑实施例的功能框图。

图2示出根据本发明的一个或更多个特征的包括使用由客户机设备(例如便携式无线设备)生成的元数据的多媒体数据的上游处理的装置的简化框图。

图3示出包括使用由客户机设备(例如便携式无线设备)生成的元数据的音频媒体数据的音频水平调整(leveling)上游处理的示例的装置的简化框图。

图4示出包括使用由客户机设备(例如便携式无线设备)生成的元数据和环境信息的多媒体数据的上游处理的装置的简化框图。

图5示出包括使用由客户机设备(例如便携式无线设备)生成的元数据和环境噪声信息的音频媒体数据的噪声补偿上游处理的示例的装置的简化框图。

图6示出其中经由信号处理装置将视频数据以流方式传送到包括高动态范围(HDR)视频显示器的便携式设备的本发明实施例的简化框图。

图7示出包括使用由客户机设备(例如便携式无线设备)生成的元数据和/或来自该设备的一个或更多个环境量的对于来自该设备的媒体数据的上游质量增强处理的布置的简化框图。

图8示出包括使用由客户机设备(例如便携式无线设备)生成的元数据的对于来自该设备的音频媒体数据的音频水平调整上游处理的示例的装置的简化框图。

图9示出包括使用由客户机设备(例如便携式无线设备)生成的元数据和环境噪声信息的对于源自该设备的音频媒体数据的噪声补偿上游处理的示例的装置的简化框图。

图10示出包括辅助设备(secondary device)上的媒体数据的离线信号处理的装置的简化框图。

图11示出说明本发明的若干实施例的简化功能框图，在该实施例中，用于总体质量增强的处理中的一些在资源有限的设备处发生，但是总体质量增强信号处理的更加计算密集的功能在单独的信号处理装置上离线地发生。

图12示出说明本发明的若干实施例的简化功能框图，在该实施例中，使用元数据和/或环境量的质量增强处理是当足够的资源可用时。

图13A-图13D示出描述质量增强信号处理的一些实施例的功能框图，在该实施例中，使用前馈布置修正音频信号以生成修正的音频，从而使得特定响度接近目标特定响度。

图14描述了表现为前馈布置的本发明的一方面的示例实施例，其中预处理将输入音频分为频带。

图15描述了前馈布置中的噪声补偿的示例实施例的功能框图。

具体实施方式

概述

本发明实施例包括一种方法、一种装置以及在一个或更多个计算机可读有形介质中编码以执行方法的程序逻辑。该方法将使用在资源受限设备处收集的一个或更多个参数执行关于媒体数据的质量增强信号处理以生成经处理的输出，该经处理的输出用于被资源受限设备使用以呈现媒体数据。

本发明特定实施例包括一种使用处理硬件处理媒体数据以便质量增强的方法。该方法包括：从资源受限设备接受与用于质量增强的对媒体数据的处理有关的信息，该媒体数据用于被该资源受限设备呈现；以及使用接受的信息中的至少一些对媒体数据进行用于质量增强的数据处理，以生成经处理的输出。媒体数据的数据处理在对于处理足够的资源(例如电功率和/或处理功率)可用之时或之处。经处理的输出可被资源受限设备使用以呈现媒体数据，或者执行媒体数据的一些处理并且呈现媒体数据两者。与质量增强处理有关的信息包括在资源受限设备处获得的信息，并且包括与媒体数据的所希望的处理有关的一个或更多个参数——这样的参数在此称为元数据——和/或与资源受限设备的环境有关的一个或更多个参数——这些参数在此称为环境量——的集合。

在该方法的一些实施例中，经处理的输出包括用于由资源受限设备呈现的经处理的媒体。

在其中一些媒体数据处理在资源受限设备处发生的该方法的一些实施例中，该经处理的输出包括帮助数据，该帮助数据被资源受限设备使用以便用于在该资源受限设备处的媒体数据处理。

在该方法的一些实施例中，该处理使用元数据和/或环境量中的至少一个以生成包括用于被资源受限设备呈现的经处理的媒体的经处理的输出。在一些实现中，媒体数据的处理位于在资源受限设备上的经处理的媒体的呈现之前。

在此称为双向以流方式传送实施例的一些实施例中，媒体数据包括音频数据，作为与资源受限设备的双向通信的一部分该音频数据被穿过网络交互地以流方式传送到该资源受限设备。双向以流方式传送实施例的示例包括如下这些示例：其中，媒体数据的质量增强处理包括均衡处理和/或对话清晰度增强中的一个或两个。

现在归纳使用在资源受限设备处生成的元数据和/或环境量的方法的一些实施例的概述。

在其中经处理的输出包括用于呈现的经处理的媒体的一些特定实施例中，该方法包括：将经处理的输出发送到资源受限设备，或者存储经处理的输出以便由资源受限设备使用。媒体数据的数据处理位于对于处理足够的资源可用之处，并且在资源受限设备上的经处理的媒体数据的呈现之前。该示例包括这样的媒体数据，即该媒体数据包括以下中的一个或多个：

·被以流方式传送或者广播到资源受限设备的媒体数据。

·作为与资源受限设备的双向通信的一部分被穿过网络交互地以流方式传送到资源受限设备的音频数据。

·用于由资源受限设备呈现的源自该资源受限设备或由该资源受限设备生成的媒体数据。

其中经处理的输出包括用于呈现的经处理的媒体的一些实施例用于实时以流方式传送。也就是说，该方法包括：将经处理的输出发送到资源受限设备，或者存储经处理的输出以便由资源受限设备使用，并且媒体数据包括被以流方式传送或者广播到资源受限设备的媒体数据。这样的实施例在此被称为以流方式传送实施例。

对于这样的以流方式传送实施例，本发明不限于数据的类型，例如不管其是音频、视频还是音频以及视频二者，此外，本发明不限于使用元数据和/或环境量的质量增强处理的类型。很多增强方法是已知的。

在如下这样的一些以流方式传送实施例中，在该以流方式传送实施例中，媒体数据包括音频数据，并且音频数据的质量增强处理包括根据元数据的一个或多个项的响度的水平调整——也被称为响度补偿水平调整，这样的元数据包括一个或多个响度水平参数。在一些版本中，这样的响度水平调整包括：1)使用响度水平参数生成修正参数，这样的修正参数的生成包括执行感知响度域中的信息的操作；以及2)基于修正参数修正音频数据以生成经处理的音频数据。示例响度水平参数包括基准再现水平(level)、期望的再现水平和/或水平调整量。

通过这样的水平调整，一些实施例包括动态均衡，从而经处理的输出具有期望的频率轮廓(profile)，并且/或者包括自动增益控制(AGC)或动态范围压缩。

在其中媒体数据包括音频数据的一些以流方式传送实施例中，质量增强处理包括根据元数据中的一个或多个的音频空间化。这样的空间化例如包括对用于经由头戴式耳机重放的音频数据空间化，使得收听者具有收听正被从在相应的一组位置的一组外放扬声器重放的音频的感知。不包括上混合或者除了上混合之外，这样的空间化可包括：添加空间的空间化信道，例如从立体音频信号创建环绕声音信号。

在其它以流方式传送实施例中，媒体数据包括视频，并且媒体数据的质量增强处理包括噪声过滤、对比度增强和/或色彩补偿中的一个或多个。

特定的以流方式传送实施例包括那些如下的实施例，即在该实施例中，一个或多个参数包括一个或多个环境量、与资源受限设备的环境有关的一个或多个参数。

在使用一个或多个环境量的一些以流方式传送实施例中，该媒体数据包括音频数据，并且至少一个环境量指示环境中的声学噪声轮廓。使用参数中的一个或多个的质量增强处理包括噪声补偿。在一些这样的实施例中，噪声补偿包括：使用一个或多个响度水平参数和指示声学噪声轮廓的一个或多个环境量从音频数据生成修正参数。通过执行感知响度域中的信息的操作来生成该修正参数。该噪声补偿包括：基于修正参数修正音频数据以生成经处理的音频数据。作为示例，该响度水平参数包括：是否开启音频噪声补偿、用于资源受限设备的基准水平、期望的再现水平和/或噪声补偿量中的一个或多个。在一些变型中，音频数据的处理还包括应用于音频数据的AGC、动态范围压缩和/或动态均衡中的一个或多个。

在使用一个或多个环境量的一些以流方式传送实施例中，媒体数据包括被以流方式传送到资源受限设备的视频媒体数据。一个或多个环境量包括指示环境中的光照的至少一个参数，并且质量增强处理包括根据所接收的参数中的一个或多个修正视频数据的对比度和/或亮度。

在一些这样的以流方式传送视频实施例中，资源受限设备包括具有依赖于位置的背光元件的平板显示设备，每一背光元件均根据随同视频数据被发送到资源受限设备的依赖于图像的调制数据被调制。数据处理包括根据参数中的一个或多个生成依赖于图像的调制数据。

在上述的以流方式传送音频和以流方式传送视频实施例和示例的一些中，其包含不仅包括被从资源受限设备发送的元数据而且还包括一个或多个环境量的那些实施例和示例，所述方法还包括：接收来自资源受限设备的媒体数据以便进行媒体数据的处理。也就是说，媒体数据被从资源受限设备发送，被处理，并且被发送到资源受限设备，或者被存储以便由资源受限设备使用。该处理的输出包括用于被资源受限设备呈现的经处理的媒体。

在包括从资源受限设备接收媒体数据的一些这样的实施例中，媒体数据的处理位于在资源受限设备上的经处理的媒体的呈现之前。媒体数据包括以下中的一个或多个：1)被以流方式传送或者广播到资源受限设备的媒体数据，或2)作为与资源受限设备的双向通信的一部分被穿过网络交互地以流方式传送到资源受限设备的音频数据，或3)用于由资源受限设备呈现的源自该资源受限设备或由该资源受限设备生成的媒体数据。

用于媒体数据包括被以流方式传送或者广播到资源受限设备的音频数据并且其中在资源受限设备处生成一个或多个参数的情况的质量增强处理的示例包括上述水平调整，具有或不具有AGC、动态范围压缩和/或动态均衡中的一个或多个。其它示例包括音频空间化。对于交互式音频媒体，处理的其它示例包括均衡处理和/或对话清晰度增强中的一个或两个。

用于媒体数据包括被以流方式传送或者广播到资源受限设备的视频数据的情况的质量增强处理的示例，其中该质量增强处理包括视频噪声过滤、对比度增强和/或色彩补偿中的一个或多个。

用于媒体数据包括被以流方式传送或者广播到资源受限设备的音频数据并且其中在资源受限设备处生成的一个或多个参数包括指示该设备的环境中的噪声轮廓的至少一个环境量的情况的质量增强处理的示例包括具有或不具有例如AGC、动态范围压缩和/或动态均衡的其它处理的噪声补偿。

用于媒体数据包括被以流方式传送或者广播到资源受限设备的视频数据并且其中在资源受限设备处生成的一个或多个参数包括指示该设备的环境中的光照的至少一个环境量的情况的数据处理的示例包括生成用于平板显示设备的依赖于图像的调制数据，该平板显示设备具有均根据该依赖于图像的调制数据被调制的依赖于位置的背光元件。

以上示例用于其中将数据以流方式传送到资源受限设备的实时应用。

本发明的方法的一些实施例包括所谓的“离线方法实施例”的实施例。一些这样的实施例是所谓“时间平移(time shifting)实施例”的实施例。在这样的时间平移实施例中，在第一时间段期间在资源受限设备处获得元数据和/或一个或多个环境量，媒体数据的数据处理使用元数据和一个或多个环境量并且是在第二时间段期间进行的，该第二时间段例如在该第一时间段的开始之后开始，并且媒体数据的呈现是在第三时间段期间进行的，该第三时间段例如在该第二时间段的开始之后开始。

在一些这样的时间平移实施例中，经处理的输出包括用于由资源受限设备呈现的经处理的媒体，并且该方法还包括：接收在资源受限设备处获得的信息；以及将经处理的输出发送给资源受限设备以便被该资源受限设备使用。

一个这样的时间平移实施例示例包括这样的情况，即媒体数据包括音频，并且在资源受限设备获得的信息包括元数据和/或一个或多个环境量。在一些这样的实施例中，质量增强处理包括水平调整和/或AGC和/或动态范围压缩和/或动态均衡中的一个或多个。其它这样的实施例包括接收指示该设备的环境中的声学噪声轮廓的至少一个环境量，并且该质量增强处理包括可能具有AGC、动态范围压缩和/或动态均衡中的一个或多个的噪声补偿。

在其它这样的时间平移实施例中，使用一个或多个参数的处理生成帮助数据，该帮助数据被资源受限设备使用以用于处理媒体数据。在这些实施例中，该方法还包括：接收在资源受限设备处获得的信息；以及将经处理的输出发送到资源受限设备以便由该资源受限设备使用。该方法可以还包括将媒体数据发送到资源受限设备以便由资源受限设备呈现。该帮助数据被资源受限设备使用，以用于进一步处理媒体数据并且/或者呈现媒体数据。

作为音频示例，也就是说，假设媒体数据包括音频数据。一个这样的示例包括这样的情况，即在资源受限设备处获得的信息包括元数据。在一些这样的实施例中，质量增强处理包括水平调整、AGC、动态范围压缩和/或动态均衡中的一个或多个。其它这样的实施例包括：接收指示该设备的环境中的声学噪声轮廓的至少一个环境量，并且质量增强处理包括可能具有AGC、动态范围压缩和/或动态均衡中的一个或多个的噪声补偿。

在其它这样的时间平移实施例中，当对于处理足够的一个或多个资源对于资源受限设备可用时，媒体数据的处理在该资源受限设备中进行。一个示例是其中当对于处理足够的电功率在资源受限设备处可用时，媒体数据的数据处理在该资源受限设备中进行。不与电功率相互排斥的另一情况是其中当处理功率在资源受限设备处可用时，媒体数据的数据处理在该资源受限设备中进行。使用一个或多个参数的数据处理生成帮助数据，该帮助数据用于被该资源受限设备使用以处理媒体数据。

特定实施例包括这样的程序逻辑，该程序逻辑在被处理***的至少一个处理器执行时使得执行在此概述部分中描述的方法实施例中的任何一个。这样的程序逻辑例如被计算机可读存储介质具体体现。

特定实施例包括一种计算机可读介质，该计算机可读介质在其中具有这样的程序逻辑，该程序逻辑在被处理***的至少一个处理器执行时使得执行在此概述部分中描述的方法实施例中的任何一个。

特定实施例包括一种用于执行媒体数据的质量增强处理中的至少一部分的装置。该装置包括：接口，被配置用于连接到资源受限设备，以及从该资源受限设备接受与用于被资源受限设备呈现的媒体数据的质量增强处理有关的信息；以及处理硬件，被配置用于使用接受的信息中的至少一些执行用以实现质量增强的媒体数据的数据处理，以生成经处理的输出。该接口还被配置用于将经处理的输出发送到该资源受限设备。与质量增强处理有关的信息包括在该资源受限设备处获得的信息，并且包括与媒体数据的期望处理或与该资源受限设备的环境有关的一个或多个参数的集合。在对于该处理足够的一个或多个资源可用之时或之处，该处理硬件执行该数据处理，从而该资源受限设备可使用该经处理的输出以呈现或者处理并且呈现该媒体数据。该装置的一些实施例被配置用于执行此概述部分中描述的方法实施例中的任何一个。

特定实施例包括一种用于执行媒体数据的质量增强处理中的至少一部分的装置。该装置包括处理***，其包括至少一个处理器，以及存储设备。该存储设备被配置有这样的程序逻辑，该程序逻辑在执行时使得该装置执行以执行在此概述部分中描述的方法实施例中的任何一个。

特定实施例可以提供这些方面、特征或优点中的全部、一些或不提供这些方面、特征或优点。特定实施例可以提供一个或多个其它方面、特征或优点，本领域技术人员可以从在此的附图、描述和权利要求清楚该方面、特征或优点中的一个或多个。

现在更详细地描述示例实施例。

音频质量增强信号处理方法的示例

本发明的一个有利特征是执行在上游并且从客户机设备(例如资源受限的便携式设备)卸载的资源密集质量增强信号处理。

本发明不限于在上游执行的媒体质量增强处理的类型。其对于可能使典型便携式设备中的处理器的负担过重并且/或者结果是电池电力的快速耗尽的计算密集媒体质量增强信号处理技术是最有利的。以下是可以有利地使用本发明一个或多个特征的媒体质量增强信号处理方法的一些示例，这些示例不意味着限制。

感知响度域中的处理

常常预期在指定的基准水平再现音频媒体数据。然而，在很多时候，媒体数据被在降低的水平重放。已知存在依赖于再现水平的音频的感知中的变化。这种变化与心理声学和等响响度曲线以及安静时的听力的阈值有关。当与在基准水平被重放的相同媒体数据相比时，改变的重放水平可以导致音频的音质和空间感知的显著差异。用于本发明一些实施例的质量增强信号处理包括通过改进的方式确定并且调整音频信号的被感觉的响度。心理声学模型用于计算感知单元中的音频信号的响度的度量。这种感知域响度度量被称为特定响度，并且是作为频率和时间的函数的感知响度的度量。作为一个示例，使用在感知域中确定的参数的音量控制方法包括使用信号处理方法计算宽带乘性增益，该宽带乘性增益在被应用于音频时产生基本上与基准响度相同的被施加增益修正的音频的响度。增益调整方法包括如下这样的信号处理方法，即该方法根据将音频恢复为该音频将被在基准重放水平感觉的方式的重放水平分析并且修正音频。这已经被发现导致音频媒体数据的改进的成象、可懂性和能听度。以下给出更多的细节。

音量水平调整(动态范围控制和自动增益控制)

其中，也称为“响度水平调整”和“响度补偿的水平调整”的音量水平调整包括得出这样的信息，即该信息可用于通过修正音频信号以便减少其的特定响度与目标特定响度之间的差来控制音频信号的特定响度。在实际实现中，可以使得修正的音频信号的特定响度逼近目标特定响度。该逼近不仅可受普通信号处理考虑影响，而且可受在修正中可以使用的时间和/或频率平滑化影响。该方法包括：确定表现为音频信号的特定响度的形式的音频信号的感知响度，并且确定用以应用于音频信号的多个频带以修正音频信号的多频带增益。在一些实施例中，信号的修正将多频带增益修正动态地应用于音频，使得音频媒体数据的被感觉响度保持一致。这允许来自多个源(例如不同电视频道、无线电台或歌曲)的音频具有相同的被感觉响度水平。当结合音频***的音量控制使用时，音量控制器被变换，并且不再模拟控制正被发送到放大部的音频信号电平的电阻器。相反，音量控制器现在提供了指示用户期望的感觉响度再现水平的对于水平调整方法的输入。此信号然后被用于修正再现的音频的被感觉响度以匹配用户期望的响度水平的响度。以下更详细地描述用于实现自动增益控制和动态范围压缩的水平调整的细节。

动态均衡(DEQ)

不同于简单水平调整，不是改变音频以匹配用户的期望的感觉响度水平，动态均衡改变音频以匹配预设的或用户定义的均衡或谱平衡轮廓。因为特定响度是作为频率和时间的函数的音频信号的感知响度的度量，所以为了减少音频信号的特定响度与目标特定响度之间的差异，修正可以作为频率的函数修正音频信号。虽然在一些情况下目标特定响度可以是时间不变的，并且音频信号自身可以是稳态时不变信号，但典型地，修正也可以作为时间的函数修正音频信号。在时间和频率变化缩放因子的情况下，可按期望的谱形状的度量对音频信号的谱形状的度量的比率缩放特定响度。这种缩放可以用于将音频信号的被感觉谱从时间变化的被感觉谱变换为基本上时间不变的被感觉谱。当以期望的谱形状的度量对音频信号的谱形状的度量的比率缩放特定响度时，所述缩放可以用作动态均衡器。

噪声干扰存在的情况下的噪声补偿水平调整

在很多音频重放环境中，存在干扰收听者希望倾听的音频的背景噪声。例如，运动车辆中的收听者可正在安装的立体声***上播放音乐，并且来自引擎和道路的噪声可以严重改变音乐的感知。特别地，对于其中噪声的能量相对于音乐的能量重大的谱的部分，音乐的被感觉响度降低。如果噪声电平足够大，则音乐被完全掩蔽。在本发明一些实施例中的质量增强信号处理包括用于补偿在音频重放环境中的背景噪声干扰的方法。音频的部分特定响度被定义为在副干扰声音信号(例如噪声)存在的情况下的音频的感知响度。一些实施例中的信号处理包括：确定如下这样的信息，该信息可用于通过修正音频信号以减少其的部分特定响度与目标特定响度之间的差来控制音频信号的部分特定响度。进行该操作以感知精确的方式减轻噪声的影响。

空间化和双耳化(binauralize)

空间化是如下这样的音频质量增强信号处理技术，即使听收者实际上正通过耳机或者通过立体声外放扬声器的简单集合收听音频媒体内容，该技术仍向收听者提供收听来自位于听音室中的一些预定位置的扬声器的集合的音频的体验。作为示例，双耳化涉及这样的技术，即当收听者通过头戴式耳机收听时，该技术模拟清楚地并且明确位于收听者的头部之外的扬声器的声音。对于常规的头戴式耳机收听，音频图像被感觉为在头内部。这是因为，不存在声学对于房间中的外放扬声器的声音给出的暗示。双耳化模仿其中声音从各表面反射的听音室中的复杂声学，有效地使收听者确信声音源自他们周围的多个扬声器。此外，这种处理可以通过不同声学模仿各个房间。商用示例包括DOLBY HEADPHONE(TM)和DOLBY SPEAKER(TM)。

在我们所谓的空间化中包括的另一示例是上混频：将附加信道添加到音频数据，诸如从来自立体声(2通道)音频数据创建环绕声，例如4、5或7信道音频数据。

为了简明，在此不提供双耳化的细节。主要点在于这种信号处理可能是计算复杂的，从而可能不在资源受限设备上执行。在上游执行这种处理可以有利地使用本发明的一个或多个特征。

对于关于双耳化和空间化的更多细节，例如，参见公布为WO9914983并且标题为UTILIZATION OF FILTERING EFFECTS INSTEREO HEADPHONE DEVICES的国际专利申请No.PCT/AU98/00769和公布为WO 9949574并且标题为AUDIOSIGNAL PROCESSING METHOD AND APPARATUS的国际专利申请No.PCT/AU99/00002。这些申请中的每一个指定美国。公布WO9914983和WO 9949574中的每一个的内容通过引用合并到此。

用于这种处理的在资源受限设备处收集的参数的类型包括是否使用空间化和双耳化、资源受限设备相对于房间中的一个或多个外放扬声器的假设位置的位置、指示收听环境的类型(例如房间的类型)的参数、以及用户期望的房间中的扬声器的数量和位置。

还可以使用质量增强音频信号处理的其它示例。对于交互式双向对话(例如电话对话)，用于清晰度增强的质量增强信号处理方法是已知的，作为用于在双向通信中产生的回声和其它干扰的均衡的方法。当在本发明实施例中使用时，这样的质量增强信号处理方法包括使用来自资源受限设备的与处理有关的被接受的信息上游执行这样的信号处理方法。

用于高动态范围(HDR)显示的视频质量增强处理

常规CRT和LCD视频监视器具有600∶1的动态范围，而良好的LCD视频监视器具有1000∶1的动态范围。人眼具有远高于任何这样的显示器可以产生的动态范围的动态范围。星光的辉度是大约0.001cd/m²，阳光照射的场景的辉度是大约100,000cd/m²——高数亿倍。阳光的辉度近似是1,000,000,000cd/m²。示出在窗外具有阳光照射景色的房间的内部的场景具有大约100,000∶1的动态范围。所以，当在常规显示CRT或LCD显示器上显示时，这种场景将不真实显现。近来已经开发出可以显著增加显示器的对比度的高动态范围(HDR)显示器。这些HDR显示器能够显示大大增加的亮度，具有纯黑色和亮白色，并且还显示暗区和亮区中的细节。

HDR显示器和它们后面的技术被作为与本发明受让有关的Dolby Laboratories，Inc.的DOLBY CONTRAST、DOLBY HDR和DOLBY VISION市场化。HDR显示器现在正被构想用于背光调制的光源(例如调制LED)的使用。这样的背光有时被称为IMLED(单独调制LED阵列)背光。在一个版本中，通过8比特信号控制每一LED的亮度，从而每一LED具有256个亮度步长。不是在LCD屏幕后面具有单个光源，而是根据显示的场景中的局部亮度和对比度以调制的方式背光照明多个小区域。

通过对视频信号执行处理以生成更多地调制用于背光照明的LED的信号来获得调制信号。对于更多细节，例如，参见Helge Seetzen，Wolfgang Heidrich，Wolfgang Stuerzlinger，Greg Ward，LomeWhitehead，Matthew Trentacoste，Abhijeet  Ghosh，AndrejsVorozcovs：″″High dynamic range display systems，″ACMTransactions on Graphics(TOG)，Volume 23，Issue 3，Special Issue：Proceedings of the 2004 SIGGRAPH Conference(August 2004)。还参见美国专利申请6,891,672。

用于从视频信号确定调制信号的信号处理并非不重要。因此，资源受限观测(viewing)设备可能不能够进行这种处理。然而，可有利地根据在资源受限观测设备处或在这样的设备的环境中提供、确定或测量的一个或多个参数在上游执行这种信号处理。

因此，已知根据局部观测条件(例如观测环境的亮度)修正对比度和亮度。在一个实施例中，环境传感器确定观测环境中的亮度的度量。环境亮度被发送到上游处理。在一个实施例中，发送一个或多个参数，例如用于指示对比度增强量的参数、用于指示观测者期望的亮度设定的参数等等。上游处理器从资源有限的观测设备接收这样的参数，并且执行信号处理以确定LED设备的背光照明的水平。典型地，背光照明是单色的，并且比主视频更粗糙的分辨率。较低分辨率背光照明数据连同视频信号一起被发送到资源有限的设备，根据接收的参数被调整，并且由资源有限的观测设备组合地呈现。

方法和其它实施例

图1A示出本发明的一个方法实施例的简化流程图，并且图1B示出本发明的装置实施例150的功能框图。装置150包括处理***151和资源受限设备161(例如无线便携式设备)。处理***151包括至少一个处理器153和存储***155。一个实施例为存储介质155中的程序逻辑157的形式，该程序逻辑157在被执行时使得执行流程图中所示的方法步骤。

方法100操作处理***151，并且包括以下方法步骤：在103中，从资源受限设备161接受与处理用于由资源受限设备呈现的媒体数据有关的信息，并且在105中，使用接受的信息中的至少一些处理媒体数据，以生成经处理的输出。媒体数据的数据处理105是在对于处理足够的资源(例如电功率和/或处理功率)可用之时或之处。资源受限设备161可使用经处理的输出，以呈现媒体数据，或者执行媒体数据的一些处理并且呈现媒体数据。与处理有关的信息包括在资源受限设备161获得的信息，并且包括元数据、即与媒体数据的期望的处理有关的一个或多个参数的集合，和/或一个或多个环境量、即与资源受限设备的环境有关的一个或多个参数。

资源受限设备(例如便携式设备161)包括至少一个输出变换器，例如耳机和/或外放扬声器和/或显示屏幕以及呈现发送至其的媒体数据所需的任何其它资源。在其中在资源受限设备161获得环境量的那些实施例中，设备161包括一个或多个传感器165。便携式设备典型地还包括至少一个处理器。提供用户接口167以便用户输入信息，例如，在收听的情况下存在音量控制输入机构。这些附加元件的需要对本领域技术人员将是清楚的，所以可以总是在此在描述中明确地陈述，而不会分散对本发明的方面的注意力。本领域技术人员应清楚的，在此附图中还未示出的是可以在便携式设备161中出现的例如无线接口、电池、客户机设备处理器、一个或多个放大器等的元件。

在图1A的流程图中，该方法还包括在107中，将经处理的输出发送到移动设备，以便由移动设备161使用，或者存储经处理的数据以便由移动设备161使用。

该方法还包括在109中，在移动设备161处呈现数据。

在其中一些媒体数据处理在所述资源受限设备161处发生的该方法的一些实施例中，经处理的输出帮助数据，该帮助数据由媒体数据的资源受限设备使用，以用于在资源受限设备处的媒体数据处理。在帮助数据被生成并且发送到移动设备161的情况下，109包括使用帮助数据处理媒体数据并且呈现经处理的媒体数据。

在该方法的一些实施例中，信号处理***151被合并在便携式设备161中，但并非所有资源/元件总是可使用的。也就是说，该处理中的一些在足够的资源可用时发生。

在该方法的一些实施例中，该处理使用元数据和/或环境量中的至少一个生成包括用于由资源受限设备呈现的经处理的媒体的经处理的输出。在一些实现中，媒体数据的处理在资源受限设备上的经处理的媒体数据的呈现之前。

1.使用通过便携式无线设备生成的元数据和环境信号的上游实时质量增强信号处理的示例

在此描述的是用于执行在上游且从资源受限的客户机设备(例如便携式设备)卸载的资源密集质量增强信号处理的方法、装置和计算机程序(以及包含这样的程序的介质)。此部分1中描述的示例实施例包括生成用于允许进行媒体数据(例如便携式无线设备上呈现的语音、音频和/或视频)的强大上游质量增强信号处理的元数据和/或环境量。该部分1描述若干使用情况情形：a)当将媒体以流方式传送到无线便携式设备上时，例如在互联网广播类型情形中，b)当穿过网络交互地以流方式传送媒体时，例如当发生双向通信时，例如电话对话，以及c)当媒体源自或者被存储在无线便携式设备并且被呈现在相同设备上时，例如实时记录并且转发或者重放该设备上存储的媒体数据。在所有情况下，在远程资源受限设备上重放之前处理媒体，并且该处理由于重放环境中的环境量、用户输入和便携式设备设定被控制。

1.1使用元数据的被以流方式传送到设备的媒体数据的上游处理

图2示出根据本发明一个或多个特征的装置的简化框图，该装置包括使用通过客户机设备161(例如便携式无线设备161)生成的元数据和/或环境量的多媒体数据的上游处理。通过上游信号处理设备执行客户机设备(例如便携式设备)的用户所期望的质量增强信号处理，该上游信号处理设备由通过便携式设备生成的元数据请求控制。如上所述并且以下在此更详细描述的，用于语音和音频媒体数据的典型的期望的质量增强信号处理包括增强的音量控制、响度水平调整、均衡处理、对话清晰度增强、双耳空间化等。当例如经由一个或多个传感器165从设备161发送一个或多个环境量时，用于语音和音频媒体数据的典型的期望的质量增强信号处理包括通过水平调整的噪声补偿。用于视频的典型的期望的质量增强信号处理包括噪声过滤、对比度增强、色彩补偿等。

图3示出装置实施例的简化框图，其中，信号处理块303中的信号处理包括使用通过客户机设备(例如便携式无线设备307)生成的元数据的音频媒体数据的响度补偿水平调整。以上简要描述了该响度补偿水平调整，以下对其进行更详细地进一步描述。

在一些实施例中，信号处理块303包括处理器和存储设备，其包括被配置有用于执行根据本发明一些实施例的方法步骤的指令的程序逻辑。

应注意，因为与其它实施例中的设备相比存在差别，因此对于该设备使用不同的附图标记，但实质上，设备307具有与在更概略的附图中的设备161中的那些元件功能相似的元件。

对于水平调整，用于水平调整的情况的被称为“水平调整参数”的元数据参数将足够的信息提供给上游信号处理***，以处理被以流方式传送到客户机设备(例如便携式设备307)的音频。一个实施例中的这些参数包括是否使用音频水平调整的指示、一些设备信息(例如该设备的基准再现水平)以及一些算法参数(例如期望的再现水平和水平调整量)。将元数据传输到具有执行音频水平调整的容量和能力的上游信号处理***303，例如包括音频水平调整块305的***303。在上游信号处理设备303中，便携式设备元数据被接收，被以流方式传送的音频数据如是，并且它们被输入到音频水平调整处理块305，其处理到来的音频，并且在水平调整处理之后继续将音频以流方式传送到便携式设备307以用于呈现，即用于重放。音频水平调整块305可以是作为上游信号处理设备中的通用音频信号处理块的一部分的许多这样的功能中的一个。以下在此提供音频水平调整的更多细节。

在一个示例实施例中，使用以下水平调整元数据参数。括号中的量是实施例中使用的示例值和单位：

参数1：水平调整开/关(例如0用于开，或者1用于关)

参数2：便携式设备基准再现水平(75dB)

参数3：目标再现水平(-20dB)

参数4：水平调整量(1-10)

这些参数中的一些是对于特定设备307预先定义的，而其它是经由在设备307提供的用户接口307输入的。在一个实施例中，对于将元数据发送到信号处理***定义信令协议。

应理解，与图2的配置相似的配置可以用于其它类型的质量增强媒体数据信号处理。

1.2使用元数据和一个或多个环境量的被以流方式传送到设备的媒体数据的上游处理

另一组实施例包括在质量增强信号处理中使用一个或多个环境量。将多媒体数据以流方式传送或者广播到客户机设备(例如便携式设备)。然而，在此情况下，期望上游信号处理考虑关于便携式设备正在其中操作的环境的信息。依赖于媒体数据的类型，有用的环境信息可以包括例如在音频数据的情况下的再现环境声学噪声轮廓的估计、或在视频数据的情况下设备正在其中操作的环境光之类的东西。

图4示出一个装置实施例的简化框图，其中在信号处理块403中执行的质量增强信号处理包括使用从客户机设备(例如便携式无线设备407)发送的一个或多个环境量的处理，该环境量指示设备407正在其中操作的环境。在一些实施例中，处理块403还接收客户机设备407生成的元数据。从自一个或多个传感器409获得的度量在便携式设备407处确定一个或多个环境量，该一个或多个传感器409例如是测量背景噪声或其它音频的情况下的一个或多个麦克风和/或在测量环境光照的情况下的一个或多个光传感器。在块403中执行的上游质量增强信号处理信号处理使用环境量，以及在包括元数据的情况下的其它元数据，并且生成用于在便携式设备407呈现的经处理的媒体数据。

在一些实施例中，信号处理块403包括处理器和存储设备，其包括被配置有用于执行根据本发明一些实施例的方法步骤的指令的程序逻辑。

可以使用移动设备的环境中的声学噪声轮廓的估计的用于音频数据的质量增强信号处理技术包括噪声补偿、AGC、动态范围压缩、均衡等。用于视频数据的质量增强信号处理技术可以使用环境光照的估计，包括饱和度调整、亮度调整、对比度调整等，例如，包括：生成用于调制平板显示设备的背光元件的集合的图像依赖信号，该平板显示设备使用用于背光照明的多个被单独调制的光元件，例如LED。

在一个实施例中，使用20个噪声谱大小值。在另一实施例中，使用40个噪声谱大小值。在水平调整和噪声补偿中的具有经验的人员已经发现，在20个频带和40频带中执行水平调整和噪声补偿之间基于当今的处理能力提供良好的结果。当然，随着技术进步，可以使用较少的谱带，并且在其中甚至上游处理稍微受约束的一些情况下，可以使用更少的频带以及因此谱噪声值。典型地，以比音频数据的频率范围低得多的速率、例如以大约每秒一个量集合发送环境量。

图5示出一个装置实施例的简化框图，其中信号处理块503中的信号处理包括使用客户机设备(例如便携式无线设备507)生成的元数据和环境噪声量的音频媒体数据的噪声补偿。以上简要描述了这种噪声补偿水平调整，并且以下对其更详细地进一步描述。图5示出可以被发送的元数据和环境量的一些典型值。一个实施例中，这些参数包括是否使用噪声水平调整的指示、一些设备信息(例如设备的基准再现水平)、以及一些算法参数(例如期望的再现水平和水平调整量)。环境量包括噪声功率的估计，例如若干频带的集合中的噪声大小提供环境量。它们通过从包括的麦克风509接受输入的设备507中所包含的处理器确定。在一个实施例中，确定并且使用20个噪声谱大小值。在另一实施例中，使用40个噪声谱大小值。在水平调整和噪声补偿中的具有经验的人员已经发现，在20个频带和40频带中执行水平调整和噪声补偿之间基于当今的处理能力提供良好的结果。当然，随着技术进步，可以使用较少的谱带，并且在其中甚至上游处理稍微受约束的一些情况下，可以使用更少的频带以及因此谱噪声值。将此元数据和环境量发送到具有用于执行音频噪声补偿的容量和能力的上游信号处理***503，例如包括噪声补偿处理块505的***503。

典型地，以比音频数据的频率范围低得多的速率、例如以大约每秒一个量集合发送环境量。

在一些实施例中，信号处理块503包括处理器和存储设备，其包括被配置有用于执行根据本发明一些实施例的方法步骤的指令的程序逻辑。

在上游信号处理设备503中，接收便携式设备元数据和环境量，被以流方式传送的音频数据如是，并且它们被输入到噪声补偿处理块505，其处理到来的音频，并且在这种处理之后继续将处理的音频数据以流方式传送到便携式设备507以用于呈现，即用于重放。噪声补偿处理块505可以是作为上游信号处理设备中的通用音频信号处理块的一部分的很多这样的功能中的一个。以下在此提供噪声补偿处理的更多细节。

在一个实施例中，对于基于响度的噪声补偿，以下元数据参数和环境信息提供了对于包括噪声补偿处理的上游信号处理处理正被以流方式传送到客户机设备(例如便携式设备)的音频数据足够的信息。示出在一个实施例中使用的单位、以及一些典型值：

参数1：噪声补偿开/关(0或1)

参数2：便携式设备基准再现水平(75dB)

参数3：目标再现水平(-20dB)

参数4：噪声谱估计，例如，每秒一次大约发送的20至40个噪声谱大小值。

参数5：噪声补偿量(1-10)

图6示出本发明另一实施例的简化框图，其中，经由信号处理装置603将媒体数据以流方式传送到便携式设备、在此情况下无线设备609，该无线设备609包括由LCD板615和提供依赖于空间被调制的背光照明的多个单独调制的发光二极管(LED)设备617制成的高动态范围(HDR)视频显示器613。当然，图6示出显示器613是最简化的二维形式。便携式设备609包括光传感器611，其被配置用于测量环境光的指示。环境光环境量以某个速率(例如每秒一次)连同与音频和/或视频的质量增强处理有关的元数据的一个或多个其它项一起被发送到上游信号处理装置603。上游信号处理装置包括HDR信号处理器，被配置用于接受环境光环境量和视频数据，并且还被配置用于处理视频数据以生成调制信号，调制信号可由便携式设备使用以生成用于HDR显示器613中的单独调制LED设备617的信号。处理在于不仅根据视频信号中的辉度而且另外根据其中在便携式设备609处观测视频的环境光照来增强视频中的对比度。处理装置603附加地可以包括根据元数据的其它项以及可能的其它环境量(例如背景噪声)的其它音频和/或视频质量增强处理。

在一些实施例中，信号处理块603包括处理器和存储设备，其包括被配置有用于执行根据本发明一些实施例的方法步骤的指令的程序逻辑。

本领域技术人员应清楚，这些仅是可由具有图4的概略结构的不同实施例执行的可能的音频数据质量增强信号处理和/或视频数据质量增强信号处理的一些示例。

1.3使用元数据的媒体数据的上游处理：媒体数据被从设备以流方式传送

图7示出用于使用客户机设备(例如便携式无线设备707)生成的元数据和可能的环境信息的媒体数据的上游质量增强信号处理的另一布置的简化框图。在该布置中，将媒体数据(例如，音频和/或视频媒体数据)从便携式设备向上游以流方式传送到上游信号处理装置703。向上游以流方式传送的媒体数据来自客户机设备703中的存储设备，例如包括设备中的视频或音乐、或在设备实时产生的音乐。在设备707发送一个或多个环境量的情况下，设备707包括用于测量环境信息的一个或多个传感器709。

应注意，对于一些无线状况，将媒体数据以流方式传送到上游信号处理设备的资源需求小于在便携式设备上进行密集信号处理所需的资源需求。它们包括这样的状况：当便携式设备连接到包括允许客户机设备(例如便携式设备)与上游信号处理***之间的低功率无线通信的微单元或微微单元的网络时。

以上部分1.1和1.2描述了用于被以流方式传送到资源受限设备的音频数据的图2和图4的布置的质量增强音频信号处理的一些示例。从这些描述和附图，本领域技术人员应理解，即使不是全部，很多这样的情况可应用于图7的布置。例如，图8示出使用从便携式设备807发送到包括音频水平调整处理器805的上游信号处理装置803的元数据的音频水平调整的示例实施例。也在上游将音频数据从便携式设备807发送到信号处理装置803。元数据与图3所示的相同。音频水平调整处理块305接受便携式设备元数据和以流方式传送的音频数据，该音频水平调整处理块305处理到来的音频数据，并且在处理之后将经处理的音频以流方式传送回便携式设备807以便重放。

在一些实施例中，信号处理块803包括处理器和存储设备，其包括被配置有用于执行根据本发明一些实施例的方法步骤的指令的程序逻辑。

图9示出其结构与图5的结构相似的另一示例，但其具有从包括噪声传感器909的便携式(和资源有限的)设备907以流方式传送到包括噪声补偿处理块905的上游信号处理装置903的音频数据。将元数据和噪声谱估计环境量从设备907发送到处理装置903。噪声补偿处理块905根据接收的元数据和环境量处理上行的音频数据，并且经处理的音频数据被发送回到便携式设备以用于重放。

在一些实施例中，信号处理块903包括处理器和存储设备，其包括被配置有用于执行根据本发明一些实施例的方法步骤的指令的程序逻辑。

本领域技术人员应理解，其中媒体数据被以流方式传送到上游质量增强信号处理装置的图7的布置可应用于很多类型的质量增强信号处理。在从设备以流方式传送的音频数据的情况下，示例包括音量控制处理、响度水平调整处理、动态范围压缩、自动增益控制、动态均衡处理、空间化等，并且当存在被感测并发送到上游信号处理装置的环境量时，示例包括噪声补偿，该噪声补偿也可以包括动态范围压缩、自动增益控制、动态均衡处理、空间化等。典型地，对于源自便携式设备的视频的信号处理请求将再次包括色彩补偿、用于HDR显示器的对比度增强处理等。

2.使用来自客户机设备的元数据和/或环境量的媒体数据的离线信号处理

便携式媒体播放器(例如iPod(Apple Computer，Inc))可在各种使用和环境情形下使用。关于媒体以流方式传送到的无线设备，存在可被应用于媒体数据以改进针对特定情形的重放的各种专用质量增强信号处理功能。一个示例是应用于用以在噪声环境(例如车辆)中重放的音频的具有AGC或动态范围压缩的动态频率均衡。另一示例可以是对立体声节目进行下混，以用于在仅使用单个耳机时单声道使用。这样的处理被广泛地使用，并且已经被实时应用——例如，家庭音频接收机上的“单声道”按钮，或者被预先应用，例如用于飞机上的飞行娱乐的音频的AGC或动态范围压缩。

如上所述，客户机设备(例如便携式设备)可能不具有资源(例如用于在重放期间实现复杂质量增强信号处理的足够的处理功率或电池容量)。作为另一约束，便携式设备可能在重放期间不具有与远程设备的连接性，例如，其为简单重放设备，不是电话或另外无线地连接的设备，或者是能够进行无线连接、但当前并未如此连接的设备。在此部分2中，描述了可应用于这些使用情形的质量增强信号处理。在这些示例中，信号处理装置(稍后)接受的元数据和/或环境量被首先捕获并且保存在便携式媒体播放器处。这样的设备可以这样的能力，即典型地虽然并非一定地，响应于对“捕获此情形”的用户请求测量并且保存当前环境或用户选择的使用情况。在以下描述中，这将被称为“捕获的元数据和/或环境量”。在稍后时间(例如“离线”)，基于捕获的元数据和/或环境量分析并且/或者处理媒体数据。更晚时候，当用户在与先前捕获的环境相似的环境中在便携式设备中重放媒体时，可以使用离线执行完成的分析或信号处理以增强的质量呈现媒体数据。

存在若干这样的手段，即通过该手段可使用捕获的元数据和/或环境量来增强媒体的最终呈现。

示例情况1：用户将便携式设备连接到信号处理设备(例如个人计算机或其它媒体源)，捕获的元数据和/或环境量被传递到信号处理设备。信号处理设备分析捕获的元数据和/或环境量，为了质量增强的重放而处理媒体，并且将预处理的媒体传递到播放器。

示例情况2：用户将便携式设备连接到信号处理设备(例如个人计算机或其它媒体源)，捕获的元数据和/或环境量被传递到信号处理设备。信号处理设备分析捕获的元数据和/或环境量，并且生成帮助数据，例如使能够例如当媒体数据被以流方式传送到便携式设备时实时地在便携式设备上进行媒体数据的高效处理的参数集合)。

示例情况3：该情况与示例情况2相似，但当存在足够的资源时，例如当设备“对接”从而外部功率可用时，或者当存在更多时间或较低处理器负载时，分析、媒体处理和/或帮助数据的生成在便携式设备上发生。

在以下部分中更详细地描述这些情况中的每一个。

2.1信号处理装置上的媒体数据的离线质量增强信号处理。

图10示出根据本发明的一些实施例的布置，其包括用于在便携式设备1011上的经处理的媒体数据的重放的在信号处理装置1003上的媒体数据的离线质量增强信号处理。信号处理装置包括至少一个处理器1005和存储设备1007，其包括被配置有用于执行根据本发明一些实施例的方法步骤的指令的程序逻辑。便携式设备1011包括存储设备1013(例如存储器和/或盘存储)以及呈现设备1017(例如在音频的情况下一个或多个外放扬声器，以及在视频的情况下显示器)。在一些实施例中，便携式设备1011也可以包括一个或多个传感器1015，其被配置用于测量关于便携式设备的环境的环境信息，其指示媒体数据将被如何重放。在第一时间段中，与期望的质量增强信号处理有关的元数据的一个或多个项被捕获，并且存储在便携式设备1011的存储设备1013中。在一些实施例中，在便携式设备1011的存储设备1013中存储用于处理的媒体数据，而在其它实施例中，作为替代或者附加地在信号处理装置1003的存储设备1007中存储媒体数据。因此，以图10中以虚线形式示出媒体数据。信号处理装置1003是个人计算机或其它媒体处理器。

在第一时间段之后的第二时间段中，通过接座(dock)或无线地(例如经由网络)将便携式设备连接到信号处理装置1003。便携式设备将捕获的元数据和/或环境量发送到信号处理设备。在待处理的媒体数据仅在便携式设备中的情况下，也将媒体数据发送到信号处理设备1003，如虚线所示。信号处理器装置1003被配置用于接受捕获的元数据和/或环境量，以及对于最初在处理装置1003中不包括媒体数据的这些实施例接受媒体数据。使用至少一个处理器1005的信号处理装置1003分析捕获的元数据和/或环境量，为了质量增强的重放而处理媒体，并且将经处理的媒体传递到便携式设备1011。

然后，通过便携式设备1011呈现/重放经处理的媒体数据。在图10的示例实施例中，在便携式设备1011的呈现是在比第二时段晚的第三时间段。当然，重放也可在或者作为替代在第二时间段期间发生，在该第二时间段期间便携式设备通过接座或无线地连接到信号处理设备。

作为示例，考虑例行地在列车上在通信同时使用他们的便携式设备的用户的情况。用户当在噪声环境中收听时可希望修正音频以改进主观印象。然后可以有利地应用噪声补偿。上文描述了这种噪声补偿，并且以下对其进行更详细的描述。测量列车噪声并且得出必要的参数。对于也如上所述的有效的基于响度的噪声补偿，以下元数据参数和环境信息对于音频的定制化是有用的：是否执行噪声补偿，例如作为元数据的二进制项(0或1)；基准再现水平，例如以dB为单位，比如用于便携式设备1011的75dB；目标再现水平，例如以dB为单位，比如-20dB；以及噪声谱估计量，例如数量，比如每秒一次大约发送的20个或40个噪声谱大小值。稍后，当用户返回家时，便携式设备连接或者变为无线地连接到个人计算机或其它设备。将捕获的元数据和环境量传递到个人计算机，基于这些参数处理初始音频，并且将经处理的音频传递到便携式设备。下一次用户在列车上时，用户可以通过用于列车的典型噪声的定制噪声补偿来重放经处理的音频。

本领域技术人员应理解，其它类型的质量增强处理可以应用于例如图10所示的布置。

2.2生成用于在便携式设备上的质量增强信号处理的帮助数据的离线信号处理。

图11示出了说明本发明的若干实施例的简化功能框图，其中用于整体质量增强的处理中的一些在资源有限的设备(例如便携式设备1111)发生，但是其中，整体质量增强信号处理的计算更密集的功能在分离的信号处理装置1103上离线地发生。信号处理装置1103包括至少一个处理器1105和存储设备1107，例如包括存储器和其它存储机构，其包括被配置有用于执行根据本发明一些实施例的方法步骤的指令的程序逻辑。便携式设备1111包括至少一个处理器1119和存储设备1113，其包括存储器并且可以包括其它存储元件。对于其中将环境量发送到信号处理装置1103的那些实施例，便携式设备1111包括至少一个环境传感器1115。如在以上部分2.1中描述的情况那样，在第一时间段，元数据和/或一个或多个环境量在资源有限的设备1111被捕获，并且例如，被存储在设备1111的存储设备1113中。

在第二时间段，当设备1111例如通过接座或者无线地连接到信号处理装置1103时，将捕获的元数据和/或环境量传递到信号处理设备1103。在一些实施例中，将待处理的媒体数据存储在便携式设备1111，在其它实施例中存储在信号处理设备1103，并且还在其它实施例中存储在便携式设备1111和信号处理装置1103两者中。为此，在设备1111和1103的每一个中以虚线示出媒体数据块，从而指示其可以在一个设备而不在另一设备中。信号处理设备使用捕获的元数据和/或环境量将媒体数据处理为表现为如下这样的参数的形式的帮助数据，该参数可用于完成质量增强信号处理，例如提供在客户机设备上媒体数据的重放期间将由便携式设备使用的处理参数。帮助数据被传递到媒体播放器。帮助数据提供在客户机设备上媒体数据的重放期间将由便携式设备使用的处理参数。处理参数基于捕获的元数据和/或环境量被得出，并且提供用于在先前捕获的重放情形下重放的定制信号处理。

稍后，或者甚至在便携式设备1111连接到信号处理装置1103的时间期间，使用帮助数据来处理媒体数据，并且重放经处理的媒体数据。

可以将未处理的媒体存储在信号处理设备1103上，并且传递到客户机设备1111，或者可以将其存储在客户机设备1111上。

在一些实施例中，处理设备1103的存储设备包括被配置有用于执行根据本发明一些实施例的方法步骤的指令的程序逻辑。

作为音频质量增强信号处理的示例，再次考虑例行地在列车上在通信同时使用他们的便携式设备的用户的情况。用户当在此噪声环境中收听时可希望修正音频以改进主观印象。基于响度的噪声补偿可以实现这一点。如以下更详细地描述，响度补偿包括：确定原始音频的具体响度和基于环境噪声量的噪声的响度域量-激励。据此可以确定用于不同频带的乘性增益的集合。这样的处理可能过于计算复杂而不能在资源有限的设备执行，而应用增益可例如在以流方式传送期间实时地在设备处执行。对于这种示例情况，根据本发明实施例，以下元数据参数和环境信息给上游信号处理***1103提供了对于处理音频以生成帮助数据足够的信息，该帮助数据可用于处理在客户机设备(例如便携式设备1111)上的重放。还示出典型值和单位：

·噪声补偿开/关(0或1)。

·便携式设备基准再现水平(75dB)

·目标再现水平(-20dB)

·噪声补偿量(1-10)

·噪声谱估计，例如每秒一次大约发送的20至40个噪声谱大小值。

在一些实施例中，信号处理使用元数据和环境量生成以下用于基于响度的噪声补偿的帮助数据。还示出一些典型单位和值：

参数1：目标再现水平(-20dB)

·时间变化、多带增益，例如20至40值。

虽然典型地，将在设备1111中存储原始元数据以便在重放期间使用，但在不如此存储这样的数据的情况下，帮助数据将包括将用于重放处理的元数据的那些项。具体地说：

·目标再现水平，例如-20dB。

·噪声补偿量，例如1-10。

因此，当用户在列车上时，在第一时间段中，测量列车噪声并且将其连同当前用户设定一起保存。稍后，在第二时间段，当用户返回家时，便携式播放器1111例如经由有线接座或者通过无线网络连接而连接到信号处理设备1103(例如个人计算机)。捕获的元数据和环境量被传递到个人计算机，在媒体数据不位于信号处理设备1103上的情况下可能与媒体数据一起被传递。信号处理器设备1103生成帮助数据(诸如用以应用于频带的集合的乘性增益的集合)，并且将帮助数据传递到客户机设备1111。下次用户在列车上时，用户可以借助于帮助数据对于重放以及在重放期间处理媒体数据以提供定制噪声补偿。

可类似地使用此情形执行其它类型的音频质量增强信号处理和视频质量增强信号处理。作为一种类型的视频信号处理的示例，假设便携式重放设备包括HDR显示器。在第一时间段期间，用户可以获得例如在用户在列车情形下在早晨通信时用于重放的典型环境光条件，并且当用户在晚上通信时的不同的量的集合。在第二时间段，将与环境光有关的环境量发送到信号处理设备，并且使用环境量处理视频媒体数据，以确定用于视频媒体数据中不同场景的相对小的调制信号的集合。将这些调制信号发送到便携式设备以便稍后使用。当在某个稍后的时间，用户重放视频媒体数据时，为了已针对典型环境光条件为用户定制的重放，使用调制信号调制HDR显示器中的背光照明的空间分布LED。在典型HDR显示器中，存在其数量比在视频中的像元少得多的LED位置，从而在此情况下为调制信号的帮助数据的量远小于视频数据。此外，可以对于不同场景对调制信号进行编码，从而需要将较少的数据发送到HDR显示器。

当然，可以使用图11所示的布置将视频处理与音频处理组合。

本领域技术人员应明了其它质量增强媒体信号处理方法如何可有利地使用本发明的这些实施例，该质量增强媒体信号处理方法可被可以划分为生成帮助数据的相对计算复杂的部分以及使用帮助数据的稍不计算复杂部分。

2.3客户机设备上的离线信号分析和/或处理。

部分1和部分2.1以及2.2描述这样的布置，即其中客户机设备在信号处理能力方面受限，并且信号处理的一部分被卸载到上游。再次参照图1A，回想媒体数据的数据处理105在对于处理足够的资源(例如电功率和/或处理功率)可用之时或之处。如在此描述的本发明实施例因此可以在足够的处理资源可用时应用以执行处理。参照图1A，现在描述其中元件151和161是相同装置但并非所有元件在所有时间段完全可用的布置。也就是说，信号处理在客户机设备自身中发生，但是在信号处理设备能够使用其全部处理能力时发生。然而，因为客户机设备常常具有有限的资源(例如有限的电池功率)或者其将不能实时执行处理，所以，例如，当存在更多的时间、对功率的存取时，或者当设备另外空闲或者被轻微使用时(例如当不呈现媒体数据时)，可以需要或者期望离线进行处理。

图12示出了说明其中使用元数据和/或环境量的质量增强处理是在足够的资源可用之时的本发明若干实施例的简化功能框图。

便携式设备1203包括至少一个处理器1205和存储设备1207，例如包括存储器和其它存储机构，其包括被配置有用于执行包括媒体数据的质量增强信号处理的根据本发明一些实施例的方法步骤的指令的程序逻辑。对于其中环境量被发送到信号处理装置1203的那些实施例，便携式设备1203包括至少一个环境传感器1209。

如在以上部分2.1中描述的情况中，在第一时间段，元数据和/或一个或多个环境量在设备1203处被捕获，并且例如被存储在设备1203的存储设备1207中。典型地，便携式设备是电池工作的。在一些版本中，电池功率不足以使能够执行质量增强信号处理而不过快地耗尽电池，或者设备1203典型地仅能够一次进行有限数量的任务，从而在第一时间段，不具有足够的可用于执行质量增强信号处理的计算功率。

在第二时间段，例如当设备空闲，从而存在足够的可用于执行质量增强信号处理的计算功率时，或者例如当连接到提供对于执行质量增强处理足够的电功率的第二设备1213时，执行期望的质量增强信号处理。在便携式设备1203的存储设备1207中存储经处理的数据。

未处理的媒体数据在一些实施例中被存储在便携式设备中，而在其它实施例中被存储在还包括处理器1215的第二设备1213中的存储设备1217中，并且当连接到第二设备1213时被发送到便携式设备1203。

便携式设备1203然后可呈现已被预处理的媒体数据，或者借助帮助数据实时地处理并且呈现媒体数据。然后可以基于针对在先前捕获的情形中重放的定制的信号处理来表现所得的媒体。

作为示例，再次考虑例行地在列车上在通信同时使用他们的便携式设备的用户的情况。用户当在此噪声环境中收听时可希望修正音频以改进主观印象。基于响度的噪声补偿可以能够实现这一点。列车噪声被测量并且连同作为元数据的当前用户设定一起被保存。稍后，当用户返回家时，便携式设备连接到媒体服务器，例如提供电功率并且还提供对媒体数据库的存取的个人计算机或其它设备。使用捕获的元数据和环境量处理选择的媒体，以在一个版本中生成并且存储基于噪声估计和设备设定的处理媒体数据。下次用户在列车上时，用户可以重放已经根据环境被处理以提供定制的噪声补偿的音频。

在另一版本中，音频数据以未处理的形式存在于便携式设备中。在第二时间段期间，生成帮助数据，例如用于应用的依赖于时间变化的媒体的增益的集合。下次用户在列车上，用户可以根据可能具有元数据中的一个或多个元素的帮助数据处理媒体，并且重放已经根据环境被处理以提供定制噪声补偿的音频。

本领域技术人员应理解，不同类型的质量增强处理可被附加地或者作为替代地以相似的方式应用于不同的音频媒体数据，并且其它类型的质量增强处理可被以相似方式应用于不同的视频媒体数据。从在此的描述连同质量增强信号处理的知识一起，如何使在此描述的实施例适合于这样的其它类型的数据和/或质量增强信号处理对于本领域技术人员将是清楚并且相对直接的。

关于感知响度域质量增强音频处理方法的一些细节

概述：基于感知域的质量增强处理

本发明不限于媒体数据的任何特定类型的质量增强处理。然而，为了阐明本发明实施例的有利使用，在此部分更详细地描述被称为感知响度域中发生的一些音频质量增强信号处理方法的示例。已知在质量增强信号处理中确定并且使用感知域中的感觉响度的度量。例如，参见公布为WO 2004111994的标题为METHOD，APPARATUS，ANDCOMPUTER PROGRAM FOR CALCULATING AND ADJUSTINGTHE PERCEIVED LOUDNESS OF AN AUDIO SIGNA的国际专利申请No.PCT/US2004/016964以及公布为WO 2006047600的标题为CALCULATING AND ADJUSTING THE PERCEIVED LOUDNESSAND/OR THE PERCEIVED SPECTRAL BALANCE OF AN AUDIOSIGNAL的国际专利申请No.PCT/US2005/038579。还参见公布为WO2007120453的标题为CALCULATING AND ADJUSTING THEPERCEIVED LOUDNESS AND/OR THE PERCEIVED SPECTRALBALANCE OF AN AUDIO SIGNAL的国际专利申请No.PCT/US20075/007946。这些申请中的每一个均指定美国。这些布开WO 2004111994、WO 2006047600和WO 2007120453中的每一个的内容通过引用合并到此。还参见Alan Seefeldt：″Loudness DomainSignal Processing，″paper 7180，Proceedings，123rd Convention of theAudio Engineering Society，New York，NY，USA，5-8 October 2007。在此描述的音频质量增强信号处理方法中的一些的细节在这些公布的专利申请和出版的文献中。

质量增强信号处理方法包括从在感知响度域中执行的计算确定修正参数，并且根据修正参数修正音频媒体数据。通过在感知响度域中确定修正参数，与在电信号域中得出这样的修正参数的情况相比，可实现更大的对于感知响度和感觉谱平衡的控制。此外，与在电信号域中得出修正参数的布置相比，在执行响度域计算时的基膜仿真心理声学滤波器组或其等同物的使用可以提供感知谱的更详细的控制。

在以下描述中，诸如“滤波器”或“滤波器组”的术语用于基本包括任何形式的递归和非递归滤波，例如无限冲击响应(IIR)滤波或变换、以及有限冲击响应(FIR)滤波。“经滤波的”信息表示应用这种的一个或多个滤波器的结果。以下描述的实施例采用通过变换实现的滤波器组。

如上所述，可有利地包括在本发明实施例中的感知响度域中的音频质量增强信号处理操作包括音量控制、音量水平调整(包括动态范围控制和自动增益控制)、动态均衡(DEQ)、以及噪声补偿(包括在噪声干扰存在的情况下的水平调整)。

这样的实施例包括：确定音频信号的特定响度，并且在包括环境噪声量的情况下确定噪声特定响度。质量增强信号处理可以包括：通过修正包括音频信号的音频数据控制音频信号的特定响度，以减少其特定响度与目标特定响度之间的差。对于噪声背景的情况，处理方法实施例包括从位于资源有限的设备处以测量在资源有限的设备的环境中的噪声量的一个或多个传感器接收噪声的度量，并且通过修正音频信号控制音频信号的部分特定响度，以减少其部分特定响度与目标特定响度之间的差。

质量增强信号处理可以包括通过根据一个或多个处理以及一个或多个处理控制参数处理音频信号或其度量来处理音频信号，以产生具有目标特定响度的信号。

目标特定响度可以是音频信号的函数，或者不是音频信号的函数。在后者的情况下，目标特定响度可以是存储的目标特定响度或作为参数接收的或从接收的参数确定的目标特定响度。在这样的情况下，修正或者得出可明显地或者隐含地计算特定响度或部分特定响度。隐含计算的示例包括查找表，或者通过计算数学表达式，其中固有地确定特定响度和/或部分特定响度。

前馈布置

图13A-图13D示出描述质量增强信号处理的一些实施例的功能框图，在该实施例中，使用前馈布置修正音频信号以生成经修正的音频，从而使得特定响度靠近目标特定响度。具体地说，图13A示出前馈拓扑，其中音频信号1311应用于两个路径：具有被配置用于响应于一个或多个修正参数1319来修正音频信号1311的一个或多个处理或设备的信号修正路径1301，以及具有被配置用于生成这样的修正参数1319的参数生成控制路径1302的参数生成控制路径。图13A前馈拓扑示例中的信号修正路径1301可以是根据从参数生成控制路径1302接收的修正参数1319以频率变化和/或时间变化方式修正音频信号(例如其幅值)的设备或处理。在一个实施例中，参数生成控制路径1302至少部分地在感知响度域中操作，而信号修正路径1301在电信号域操作，并且产生经修正的音频信号1315。

信号修正路径1301和参数生成控制路径1302一起被配置用于修正音频信号，以减少其特定响度与目标特定响度1323之间的差。

在一个实施例中，信号修正路径1301和参数生成控制路径1302中的每一个处理首先已通过预处理操作或设备被处理的信号。因此，图13A包括产生经预处理的音频1313的预处理功能块1303。

在图13A的前馈示例中，参数生成控制路径1302可以包括若干处理和/或设备：在图13A中，参数生成控制路径1302包括计算特定响度块1305，其包括如下这样的一个或多个处理和/或设备，即被配置用于通常响应于音频信号1311或音频信号的度量，并且在所示示例实施例中响应于经预处理的音频信号1313，计算音频信号的特定响度1317。参数生成控制路径1302包括计算修正参数块1307，其响应于特定响度1317和目标特定响度1323来计算修正参数。

在一些实施例中，如图13B所示，通过目标特定响度块1331确定控制路径1302的计算修正参数块1307的目标特定响度，目标特定响度块1331包括被配置用于通常响应于音频信号或其度量、以及在所示实施例中经预处理的音频信号1313计算目标特定响度1323的一个或多个处理或设备。这种计算目标特定响度块1331可以执行一个或多个函数“F”，每一函数均可以具有函数参数。例如，其可以计算音频信号的特定响度，然后将一个或多个函数F应用于该特定响度以提供目标特定响度1323。这在图13A中示意性被指示为到计算目标特定响度块1331的“函数和/或函数参数”输入1333。

在一些实施例中，如图13C所示，通过参数生成控制路径1302中包括的或相关联的被示意性示出为存储元件1335的存储处理或设备可以提供目标特定响度1323。

此外，如图13D所示，在一些实施例中，通过在全体处理或设备外部的源提供目标特定响度1323。

因此，修正参数1319至少部分地基于感知(心理声学)响度域中的计算。

可以明确地和/或隐含地执行图13A示例中的处理或设备1305和1307以及图13B中的1331所执行的计算。隐含执行的示例包括(1)其条目全部或者部分地基于特定响度和/或目标特定响度1323和/或修正参数计算的查找表，以及(2)固有地全部或者部分地基于特定响度和/或目标特定响度1323和/或修正参数的闭式数学表达式。

虽然分离地示意性示出并且描述图13A和图13B示例的计算块1305、1307和1331，但这仅是用于解释的目的。应理解，这些处理或设备中的一个或多个或全部可以组合在单个处理或设备中，或者在多个处理或设备中多样地组合。

目标特定响度可以是音频信号的度量(例如音频信号的特定响度)的缩放(scaling)。例如，如在WO 2006047600和WO 2007120453中详细描述的那样，该缩放可以是特定响度的以下缩放中的一个或组合，其中，b表示频率的度量(例如在预处理1303将输入信号划分为多个频带的情况下的频带号)，t表示时间的度量，

表示目标特定响度1323，N[b，t]表示音频信号1311的特定响度1317：

(a)如关系式

的特定响度的时间变化且频率变化缩放因子Ξ[b，t]缩放

(b)如关系式的特定响度的时间变化、频率不变缩放因子Φ[t]缩放。

(c)如关系式

的特定响度的时间不变、频率变化缩放因子Θ[b]缩放。

(d)如关系式

的音频信号的特定响度的时间不变、频率不变缩放因子α缩放。

因此，由

指示的目标特定响度1323可被表述为由音频信号或音频信号的度量的F组合地指示的一个或多个函数，其中特定响度N[b，t]是音频信号的一个可能的度量，从而

假设一个或多个函数是可逆的，则未修正的音频信号1311的特定响度N[b，t]可以作为目标特定响度1323的一个或多个逆函数F^-1(N[b，t])被计算

虽然图13A示出前馈布置，但还已知使用其中计算一个或多个逆函数F^-1()的反馈和混合前馈/反馈布置。例如参见WO 2006047600和WO 2007120453。然而，为了说明的简要，在此仅描述前馈配置。

不管是否使用查找表、闭式数学表达式、或一些其它技术，参数生成控制路径1302的操作是这样的：即使可能不能明确计算特定响度和目标特定响度1323，该计算仍基于感知(心理声学)响度域。存在明确特定响度或者存在抽象(notional)的、隐含的特定响度。相似地，存在明确的目标特定响度1323或者存在抽象的、隐含的目标特定响度1323。在任何情况下，修正参数的计算都设法生成修正音频信号以减少特定响度与目标特定响度1323之间的差的修正参数。

在具有副干扰音频信号1321(例如噪声)的重放环境中，计算修正参数块1307在一些实施例中还接收作为输入的这样的副干扰音频信号的度量或者副干扰信号自身作为其输入中的一个。该输入示出为虚线，以指示其不是在所有实施例中。如以下在此以及在WO2006047600和WO 2007120453中更详细地描述的那样，副干扰信号的度量可以是其激励。将干扰信号的度量或信号自身应用于图13A中的计算修正参数块1307允许被合适配置的这样的处理或设备来计算修正参数1319，该修正参数1319考虑了干扰信号以实现噪声补偿。在图13A前馈示例中，部分特定响度未被明确地计算——图13A的计算修正参数块1307计算适当的修正参数，以使得经修正的音频的部分特定响度接近目标特定响度1323。在反馈和混合配置中，也可以计算部分特定响度。

当通过信号修正路径1301被应用于音频信号(或预处理的音频信号)时，修正参数1319减少了作为结果的经修正的音频的特定响度或部分特定响度与目标特定响度1323之间的差。理想地，经修正的音频信号1315的特定响度紧密地接近目标特定响度1323或者与目标特定响度1323相同。

在一些实施例中，预处理例如使用滤波器组将音频信号分为多个频带。在这样的实施例中，如在以下更详细地描述的示例中那样，修正参数1319可以为应用于从滤波器组1303得出的频带的时间变化增益因子的形式。在替换实施例中，修正参数1319应用于时间变化滤波器的系数。相应地，在全部图13A示例中，信号修正路径1301例如可以实现为均在频带中操作的多个幅值缩放器、或时间变化滤波器(例如多抽头FIR滤波器或多极点IIR滤波器)。

虽然如何确定特定响度不是关键或必要的，但一些实施例在计算特定响度块1305中使用上述国际申请公布WO 2004/111964中阐述的技术，其中，计算从两个或更多个特定响度模型函数的组中选择该特定响度模型函数中的两个或更多个中的一个或组合，其选择受控于输入音频信号的特性的度量。

根据本发明其它方面，未修正的音频信号1311和(1)修正参数1319或(2)目标特定响度1323或目标特定响度1323的表示(例如在明确地或者隐含地计算目标特定响度1323中可使用的缩放因子)可被存储或者发送以用于例如时间上和/或空间上分离的设备或处理。可以通过任何合适的方式确定修正参数、目标特定响度1323或目标特定响度1323的表示。实际上，前馈布置(例如在图13A的示例中)是最不复杂的并且最快的，这是因为其避免了基于修正的音频信号1315的计算。

图14描述表现为其中预处理将输入音频分离为频带的前馈布置的本发明的一方面的示例实施例的更多细节。在实际实施例中，在数字域执行音频的处理，从而执行模拟信号的采样和数字化。这些细节在该描述中略去，并且对于本领域技术人员将是清楚的。

音频1311首先通过分析滤波器组功能或设备1403，其中将音频信号划分为多个频带。这是此示例实施例的预处理1303。图14中的实线指示多个信号，从而存在来自分析滤波器组1403的多个输出，每一个对应于一频带。这些频带中的每一个经受示出的各处理步骤，直到合成滤波器组1423，其将频带加合为组合宽带信号，以生成经修正的音频信号1315。

与分析滤波器组1403中的每一频带相关联的滤波器的响应被设计为仿真在人的内耳中的基膜的特定位置的响应。在一些实施例中，分析滤波器组1403包括其带宽和间隔在等效矩形带宽(ERB)频率标度上是常数的线性滤波器的集合。

通过短时离散傅立叶变换(短时DFT、STDFT)或修正的离散余弦变换(修正的DCT，MDCT)的使用可以高效地实现分析滤波器组1403。可以类似地使用STDFT或MDCT实现合成滤波器组1423。

分析滤波器组1403中的每一滤波器的输出接下来进入传输滤波器功能或设备1405，其被设计为模拟通过人的外耳和中耳的音频的传输的滤波效果。

为了计算输入音频信号的响度，获得在传输滤波器1405的应用之后分析滤波器组1403的每一滤波器中的音频信号的短时能量的度量。此时间和频率变化的度量被称为激励，表示为E[b，t]，其中，b表示频带，t表示时间。为了获得激励，传输滤波器1405的输出接下来进入激励功能或设备1407，其输出被设计为模拟沿着人耳的基膜的能量的分布。取决于期望的效果，可以通过平滑化功能或设备1409使激励能量值在时间上平滑化，其被重新设计以具有根据期望的处理效果的需求被设定的时间常数。激励功能1407的输出是每由t指示的时间的由b指示的各个ERB带中的由E指示的能量的频域表示。

特定响度功能或设备1411将经平滑化的激励信号转换为特定响度(SL)中的特定响度。例如，可以按每单位频率的宋的单位(例如每ERB的宋)表示特定响度。注意，全部或总响度是跨越所有频带b的特定响度的和。

设计特定响度功能1411包括确定用于窄带和宽带的增益的估计值，其被选择以匹配关于声调和噪声的响度的生长的实验数据。此外，特定响度函数1411被设计为使得当激励在处于听力阈值时，特定响度是某个小值，而不是零，并且随着激励减少到零，特定响度单调地减到零。激励E[b，t]到表示为N[b，t]的特定响度的转换是通过在此表示为Ψ{·}的函数进行的，从而特定响度表示为N[b，t]＝Ψ{E[b，t]}。

取决于尤其期望的处理的效果或各效果，与频带关联的特定响度分量进入特定响度修正功能或设备1413，其生成目标特定响度。如参照图13B以上描述的那样，在一些实施例中，根据期望的处理效果，目标特定响度是输入音频的特定响度的函数。例如，在音量控制的情况下可以使用缩放因子计算目标特定响度。对于自动增益控制(AGC)的情况，或者对于动态范围控制(DRC)的情况，可以使用期望的输出响度与输入响度的比率计算目标特定响度。一个实施例包括不是取决于每一频带地执行DRC，而且跨越频带平滑化表示为N[b，t]的特定响度，从而从一个频带到下一频带所应用的DRC的量不剧烈变化。

在动态均衡(DEQ)的情况下，可以使用考虑音频的当前谱的关系式计算目标特定响度，特别地，测量信号的谱，然后动态地修正信号以将测量的谱变换为跨越频带b指定的并且被称为EQ[b]的基本静态的期望形状。音频信号的谱形状由L[b，t]表示，在一个实施例中，作为跨越时间的指示为N[b，t]的特定响度的平滑化被确定。关于多频带DRC，可能不希望DEQ修正从一个频带到下一频带剧烈改变，因此，可以应用频带平滑化功能以生成带平滑的谱。为了保留音频的原始动态范围，应对期望的谱EQ[b]进行规格化，以具有与由L[b，t]给出的测量的谱形状相同的总体响度。在一个实施例中，指定参数，例如从0变化到1的表达将要应用的DEQ的量的参数，其中，值0指示没有DEQ。因此，SL修正1413可以独立于每一频带操作，或者可以存在频带之间或之中的相互依赖性。

将来自平滑器1409的经平滑化的激励频带分量和来自SL修正1413的目标特定响度1323取作其输入，增益求解器功能或设备1415被配置用于确定这样的增益，即需要将该增益应用于每一频带以便将确定的特定响度N[b，t]变换为目标特定响度1323。确定的增益通常是频率变化和时间变化的增益，其在应用于原始激励时产生理想地等于期望的目标特定响度的特定响度，并且实际上导致修正音频信号以便减少其特定响度与目标特定响度之间的差。可以通过各种方式实现增益求解器1415。如果闭式计算是可能的，则它被应用。如果表查找是可能的，则这样的方法也可被使用。在一个实施例中，增益求解器可以包括迭代处理，其中，对于每一迭代，使用增益的当前估计来评估特定响度。所得到的特定响度与期望的目标进行比较，并且基于误差迭代地更新增益。在公布为WO 2004111964的上述国际专利申请中公开了此迭代方法。可以设想用于通过特定响度和目标特定响度的明确或隐含计算而计算修正参数的其它方法，并且本发明预期覆盖所有这些方法。

通过可选的平滑化功能或设备1419可以在时间上进一步平滑化由增益求解器1415生成的每频带的增益，以便使得感知假象最小化。可替代地，可有利的是在总处理或设备中的另外的地方应用时间平滑化。

最终，由增益求解器1415确定的增益通过相应的乘法组合功能或组合器被应用于各个频带，该乘法组合功能或组合器1421将增益应用于来自分析滤波器组的由合适的延迟功能或设备1425延迟的输出，延迟功能或设备1425被配置为补偿与增益计算关联的任何等待时间。

在合成滤波器组功能或设备1423中从经增益修正的频带合成经修正的音频1315。如上所述，可通过短时DFT或修正的DCT的使用高效地实现分析滤波器组1403，并且STDFT或MDCT可被类似地使用以实现合成滤波器组1423。从分析滤波器组1403中使用的滤波器和延迟1425的延迟确定用于频带的合成滤波器。

注意，可替代地，不是计算在频带中应用增益修正时所使用的增益，而是增益求解器1415可以计算控制时间变化滤波器(例如多抽头FIR滤波器或多极点IIR滤波器)的滤波器系数。为了说明的简化，本发明的各方面主要被描述为采用应用于频带的增益因子，但是应理解，在实际实施例中也可使用滤波器系数和时间变化滤波器。

对于噪声补偿，来自增益求解器的表示为G[b，t]的增益为使得在干扰噪声存在的情况下的经处理的音频的特定响度等于或接近于目标特定响度。为了实现此效果，可以使用部分响度的概念。通过E_N[b，t]表示来自噪声的激励，并且通过E_A[b，t]表示来自没有噪声预设的音频的激励。如下给出音频和噪声的组合特定响度：

N_Tot[b，t]＝Ψ{E_A[b，t]+E_N[b，t]}，

其中，再次，Ψ{·}表示从激励到特定响度的变换。可以假设，收听者的听力以保留组合的特定响度的方式在音频的部分特定响度与噪声的部分特定响度之间区分组合的特定响度，其中，表示为N_A[b，t]的部分特定响度是希望控制的值，因此我们必须求解出该值。WO2006047600和WO 2007120453描述可以如何从E_N[b，t]，N_Tot[b，t]，噪声存在的情况下的掩蔽阈值，以及在频带b的安静时的听力阈值来近似噪声的部分特定响度，然后可获得用于音频的部分特定响度的表达式N_A[b，t]，具有这样的特性：当音频的激励等于噪声的掩蔽阈值时，音频的部分特定响度等于在安静时的阈值的信号的响度，并且当音频的激励远大于噪声的激励时，音频的特定响度近似等于在噪声不存在的情况下其将是的响度。换句话说，随着音频变得比噪声响得多，音频掩蔽噪声。表达式包括这样的指数值，即该指数值可被经验地选取以给出对作为信噪比的函数的关于噪声中的音调的响度的数据的良好拟合。噪声的掩蔽阈值可以近似为噪声激励自身的函数。

对于噪声补偿，经修正的增益求解器被用于计算增益G[b，t]，从而在噪声存在的情况下的经处理的音频的部分特定响度等于目标特定响度。

图15描述前馈布置中的噪声补偿的示例实施例的功能框图。在图15中，通过噪声补偿增益求解器1515替代图14的原始增益求解器1415。此外，图15包括通过分析滤波器组1503、传输滤波器1505、激励1507和平滑化1509以与块1403、1405、1407和1409的操作对应的方式进行的噪声激励的测量，该测量连同来自平滑1409的音频的激励以及来自SL修正1413的目标特定响度一起馈送到增益求解器1515。

在其最基本的操作模式下，图15中的SL修正1413可以简单地设定目标特定响度等于音频的原始特定响度N[b，t]。换句话说，SL修正提供了音频信号的特定响度的频率不变缩放因子缩放。通过例如图15中的布置，计算增益，以使得在噪声存在情况下的经处理的音频的感觉响度谱等于在缺少噪声的情况下的音频的响度谱。附加地，可以结合噪声补偿响度修正***使用包括音量控制、AGC、DRC和DEQ的用于作为原物的函数计算目标特定响度的前述技术中的各技术的任一个或组合。

在实际实施例中，可以从在音频将被播放至其中的环境中或附近放置的麦克风获得噪声的测量。本发明的一方面在于在资源有限的设备处执行噪声的测量，但在资源有限的设备的上游的元件中执行处理功率和/或电池功率密集的处理。

可代替地，可以利用在各种条件下近似预期的噪声谱的模板噪声激励的预定集合。例如，可以在各种驾驶速度分析车辆车厢中的噪声，然后将其存储为噪声激励对比速度的查找表。然后当车辆速度变化时，可以从该查找表近似馈送到图15中的增益求解器1515的噪声激励。

比较图13A-图4B至图14和图15，通过分析滤波器组1403执行预处理块1303，通过延迟1425、增益乘法1421和合成滤波器组的组合执行修正音频。通过传输滤波器1405、激励1407、平滑化1409和特定响度功能1411的组合执行计算特定响度块1305。计算修正参数计算增益G(b，t)，并且在没有噪声补偿的情况下通过任选地与平滑化1419组合的增益求解器1415执行、以及通过与分析滤波器组1503、传输滤波器1505、激励1507、平滑化1509和特定响度功能1511组合的、以及任选地与平滑1419组合的增益求解器1415执行。对于各种应用，特定响度修正块1413执行图13B的计算目标特定响度1331。

虽然在此详细描述音量控制、AGC、动态范围控制、动态均衡和噪声补偿中的一个或多个，但这不意味着以任何方式限制本发明所限于的信号处理的类型。本发明可应用于这样的媒体数据的信号处理操作，该信号处理操作可以基于从资源受限设备接受的与用于由资源受限设备呈现的媒体数据的处理有关的信息有利地在上游、即在对于处理足够的一个或多个资源可用之时或之处执行，从而资源受限设备可使用经处理的输出以呈现或者处理并且呈现所述媒体数据。

虽然在此稍微详细地描述了可能地具有音量控制、AGC、动态范围控制和/或动态均衡中的一个或多个的噪声补偿，但这不意味着以任何方式限制本发明所限于的信号处理的类型。本发明可应用于这样的媒体数据的信号处理操作，该信号处理操作可以使用于资源有限的设备的环境有关的、但是从资源有限的设备远程得到的信息，有利地在上游、在该处对于处理足够的一个或多个资源可用的网络元件处执行，以生成资源受限设备可用于呈现或者处理并且呈现所述媒体数据的经处理的输出。

注意，虽然以上描述和专利申请公开WO 2004111994和WO2006047600描述确定特定响度的一些方法，但也已知用于确定特定响度的另外方法。例如，参见WO 2007120453。

在一个实施例中，计算机可读介质被配置有程序逻辑，例如当被至少一个处理器执行时使得执行在此描述的方法的方法步骤的集合的指令的集合。

在遵守普通工业术语方面，术语“基站”、“接入点”和“AP”在此可以互换地使用，以描述可以无线地并且基本上同时与多个其它电子设备通信的电子设备，而术语“客户机”、“移动设备”、“便携式设备”和“资源受限设备”可以互换地使用，以描述能够呈现媒体数据的那些多个其它电子设备中的任一个。然而，本发明的范围不限于以这些术语标记的设备。

在此文件的上下文中，术语“无线”及其衍生词可以用于描述可以通过使用调制的电磁辐射通过非固体介质传输数据的电路、设备、***、方法、技术、通信信道等。虽然在一些实施例中该术语可以不包含有线，但该术语不暗示相关联的设备不包含任何有线。

除非另外具体地声明，否则如从以下讨论清楚的，应理解，在整个说明书讨论中使用例如“处理”、“计算”、“推算”、“确定”等的术语指代操控并且/或者变换表示为物理(例如电子)量的数据为相似地表示为物理量的其它数据的计算机或计算***或相似电子计算设备的动作和/或处理。

以相似方式，术语“处理器”可以指代处理例如来自寄存器和/或存储器的电子数据以将该电子数据变换为例如可以在寄存器和/或存储器中存储的其它电子数据的任何设备或设备的任何部分。“计算机”或“计算机器”或“计算平台”可以包括至少一个处理器。

注意，当描述包括若干元素(例如若干步骤)的方法时，不暗示这些元素的排序(例如步骤的排序)，除非具体地声明。

在一个实施例中，接受一个或多个计算机可读介质上表现的计算机可执行(也称为机器可执行)程序逻辑的一个或多个处理器可执行在此描述的方法。该程序逻辑包括当由处理器中的一个或多个执行时执行在此描述的方法中的至少一个的指令的集合。包括能够执行指定待采取的动作的指令(顺序地或者另外)的集合的任何处理器。因此，一个示例是包括一个处理器或更多处理器的典型处理***。每一处理器可以包括CPU、图形处理单元和可编程DSP单元中的一个或多个。处理***也可以包括存储子***，包含含有主RAM和/或静态RAM和/或ROM的存储器子***。存储子***可以还包括一个或多个其它存储设备。可以包括用于在组件之间通信的总线子***。处理***还可以是具有网络耦合的处理器的分布式处理***。如果处理***需要显示器，可以包括这样的显示器、例如液晶显示器(LCD)或阴极射线管(CRT)显示器。如果需要手动数据输入，则处理***还包括输入设备，例如字母数字输入单元(例如键盘)、指点控制设备(例如鼠标)等中的一个或多个。如果从上下文清楚并且除非另外明确声明，否则在此使用的术语存储设备、存储子***等单元还包括例如盘驱动单元的存储设备。在一些配置中的处理***可以包括声音输出设备以及网络接口设备。因此，存储子***包括承载包括用于当由一个或多个处理器执行时使得执行在此描述的方法中的一个或多个的指令的集合的程序逻辑(例如软件)的计算机可读介质。所述程序逻辑可以驻留在硬盘中，或者也可以在处理***对其执行期间完全或者至少部分地驻留在RAM内和/或处理器内。因此，存储器和处理器还包括编码的程序逻辑(例如以指令的形式)在其上的计算机可读介质。

此外，计算机可读介质可以形成或者被包括在计算机程序产品中。

在替换实施例中，一个或多个处理器操作为单机设备，或者可以例如连接(例如连网)到其它处理器，在网络的部署中，一个或多个处理器可以操作在服务器客户机网络环境中的服务器或客户机机器的容量中，或者在点对点或分布式网络环境中作为对等机器操作。一个或多个处理器可以形成个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、蜂窝电话、网络设施、网络路由器、交换机或桥接器、或能够执行指定该机器待采取的动作的指令(顺序地或者另外)的集合的任何机器。

注意，虽然一些示图仅示出承载包括指令的逻辑的单个处理器和单个存储器，但本领域技术人员应理解，包括以上描述的很多组件，但未将其明显地示出或者描述以为了不模糊本发明方面。例如，虽然仅示出单个机器，但术语“机器”也应被使用以包括单独地或者联合地执行指令的集合(或多个集合)以执行在此讨论的方法中的任何一个或多个的任何机器的集合。

因此，在此描述的方法中的每一个的一个实施例是被配置有指令的集合(例如用于在一个或多个处理器(例如作为信号处理装置的部分的一个或多个处理器)上执行的计算机程序)的计算机可读介质的形式。因此，本领域技术人员应理解，本发明实施例可以实施为方法、例如专用装置的装置、例如数据处理***的装置、或例如计算机程序产品的计算机可读介质。计算机可读介质承载包括当在一个或多个处理器上执行时使得执行方法步骤的指令的集合的逻辑。相应地，本发明的方面可以采用方法、完全硬件实施例、完全软件实施例或组合软件与硬件方面的实施例的形式。此外，本发明可以采用例如在计算机可读介质中的程序逻辑(例如计算机可读存储介质上的计算机程序)的形式或被配置有计算机可读程序代码的计算机可读介质(例如计算机程序产品)的形式。

虽然在示例实施例中示出计算机可读介质是单个介质，但术语“介质”应被用于包括存储一个或多个指令的集合的单个介质或多个介质(例如集中式或分布式数据库、和/或关联的缓存和服务器)。术语“计算机可读介质”也应采用以包括能够存储、编码或者另外被配置有用于由一个或多个处理器执行并且使得执行本发明的方法中的任何一个或多个的指令的集合的任何计算机可读介质。计算机可读介质可以采取很多形式，包括但不限于非易失性介质和易失性介质。例如，非易失性介质包括光盘、磁盘和磁光盘。易失性介质包括动态存储器(例如主存储器)。

应理解，通过执行存储器中存储的指令的处理***(例如计算机***)的适当的处理器(或多个处理器)在一个实施例中执行讨论的方法的步骤。还应理解，本发明实施例不限于任何特定实现方式或编程技术，并且可以使用用于实现在此描述的功能的任何适当的技术实现本发明。此外，实施例不限于任何特定编程语言或操作***。

贯穿该说明书的对“一个实施例”或“某个实施例”的引用指的是结合实施例所描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。因此，贯穿在该说明书在各个地方出现的短语“在一个实施例中”或“在某个实施例中”并非一定全部指的是同一实施例，但是可以如此。此外，在一个或多个实施例中，从该公开，本领域技术人员应理解，可以通过任何合适的方式组合特定特征结构或特性。

相似地，应理解，为了使得公开流畅并且帮助各个发明方面中的一个或多个方面的理解，在本发明示例实施例的以上描述中，在单个实施例、附图或描述中，本发明各个特征有时被集合在一起。然而，本发明的这种方法不应解释为反映所要求保护的发明需要比每一权利要求中明白地陈述的特征更多的特征的意图。此外，如所附权利要求反映的那样，本发明方面少于单个前述公开实施例的所有特征。因此，具体实施方式之后的权利要求书由此明白地结合到具体实施方式，其中，每一权利要求代表其自身作为本发明的分离的实施例。

此外，虽然在此描述的实施例包括其它实施例中包括的一些但不是其它特征，但本领域技术人员应理解，不同实施例的特征的组合将在本发明的范围内，并且形成不同的实施例。例如，在所附权利要求中，被保护的实施例中的任一个可被以任何组合使用。

此外，实施例中的一些在此被描述为计算机***的处理器或执行功能的其它部件可以实现的方法或方法的元素的组合。因此，具有用于执行这样的方法或方法的元素的必要指令的处理器形成用于执行方法或方法的元素的装置。此外，装置实施例的在此描述的元件是用于执行由为了执行本发明的元件所执行的功能的装置的示例。

在此提供的描述中，阐述多个具体细节。然而，应理解，可以在没有这些具体细节的情况下实践本发明实施例。在其它实例中，没有详细示出公知方法、结构和技术，以不模糊本发明的理解。

如在此使用的那样，除非另外指定，否则用于描述公共对象的序数形容词“第一”、“第二”、“第三”等仅指示正被提及的类似对象的不同实例，并且并非意图暗指所描述的对象必须处于在时间上、空间上、在排序中、或以任何其它方式的给定的顺序。

该说明书中的现有技术的讨论绝不应考虑承诺所述现有技术是广泛公知的、公开公知的、或者形成本领域公知常识的一部分。

在以下权利要求和在此的描述中，术语包括、构成或其包括中的任何一个是开放术语，表示至少包括随后的元件/特征但不排除其它。因此，当在权利要求中使用时，术语包括不应解释为限制后面列出的装置或元件或步骤。例如，包括A和B的设备的表述的范围不应受限于仅由元件A和B组成的设备。在此使用的术语包括或其包括或其包含中的任何一个也是开放术语，也指的是至少包括术语之后的元件/特征但不排除其它的。因此，包括是与包含同意的，并且表示包含。

相似地，注意，当在权利要求中使用时，术语耦合不应理解为仅受限于直接连接。可以连同其派生词一起使用术语“耦合”和“连接”。应理解，这些术语不意图作为彼此的同义词。因此，设备A耦合到设备B的表述的范围不应受限于其中设备A的输出直接连接到设备B的输入的设备或***。这说明，在A的输出与B的输入之间存在路径，其可以是包括其它设备或部件的路径。“耦合”可以表示两个或更多个元件直接物理或电接触，或者两个或更多个元件并非彼此直接接触而是仍然协作或者彼此交互。

因此，虽然已经描述被认为是本发明一些实施例的内容，但本领域技术人员应理解，在不脱离本发明精神的情况下，可以对其进行其它和进一步修改，并且其意图保护落入本发明范围内的所有这些改变和修改。例如，以上给出的任何公式仅表示可以被使用的过程。可以从框图添加或者删除功能，并且可以在功能块当中互换操作。对于本发明范围内描述的方法，可以添加或者删除步骤。

Claims (39)

1.一种使用处理硬件来处理媒体数据以便质量增强的方法，所述方法包括：

从资源受限设备接受与媒体数据的质量增强处理有关的信息，所述媒体数据要由所述资源受限设备呈现；以及

使用接受的信息中的至少一些对媒体数据进行用于质量增强的数据处理，以生成经处理的输出，

其中，媒体数据的数据处理包括在对于处理足够的一个或多个资源可用之时或之处处理，以及

其中，与质量增强处理有关的信息包括在资源受限设备处获得的信息，并且包括与媒体数据的期望的处理有关的或与资源受限设备的环境有关的一个或多个参数的集合，

从而经处理的输出能够被资源受限设备使用以呈现或者处理并且呈现媒体数据。

2.如权利要求1所述的方法，其中，所述数据处理使用所述参数中的至少一个，以生成包括用于由资源受限设备呈现的经处理的媒体的经处理的输出。

3.如权利要求2所述的方法，

其中，媒体数据包括作为与资源受限设备的双向通信的一部分穿过网络被交互地以流方式传送到资源受限设备的音频数据，

并且其中，媒体数据的质量增强处理包括均衡处理和/或对话清晰度增强中的一个或全部。

4.如权利要求2所述的方法，其中，媒体数据的数据处理在资源受限设备上的经处理的媒体数据的呈现之前。

5.如权利要求1所述的方法，其中，一些媒体数据处理在资源受限设备处发生，并且其中，经处理的输出包括帮助数据，所述帮助数据由资源受限设备使用以用于在资源受限设备处的媒体数据处理。

6.如权利要求2所述的方法，还包括：

将经处理的输出发送到资源受限设备，或者存储经处理的输出以便由资源受限设备使用，

其中，媒体数据的数据处理在对于处理足够的资源可用之处，并且在资源受限设备上的经处理的媒体数据的呈现之前，以及

其中，媒体数据包括以下中的一个或多个：

以流方式传送或者广播到资源受限设备的媒体数据，或

作为与资源受限设备的双向通信的一部分被穿过网络交互地以流方式传送到资源受限设备的媒体数据，或

用于由资源受限设备呈现的源自资源受限设备或由资源受限设备生成的媒体数据。

7.如权利要求2所述的方法，还包括：

将经处理的输出发送到资源受限设备，或者存储经处理的输出以便由资源受限设备使用。

8.如权利要求7所述的方法，其中，媒体数据包括以流方式传送或者广播到资源受限设备的媒体数据。

9.如权利要求1所述的方法，还包括：

发送到或者存储用于由资源受限设备使用的经处理的输出，

其中，媒体数据的数据处理在对于处理足够的一个或多个资源可用之处，并且其中，媒体数据被存储在资源受限设备中并且/或者由资源受限设备生成，

所述方法还包括：从资源受限设备接收媒体数据以用于媒体数据的处理，

其中，数据处理使用参数中的一个或多个生成包括用于由资源受限设备呈现的经处理的媒体的经处理的输出。

10.如权利要求9所述的方法，其中，媒体数据的处理在资源受限设备上的经处理的媒体数据的呈现之前。

11.如权利要求9所述的方法，

其中，媒体数据的数据处理在资源受限设备上的经处理的媒体的呈现之前，以及

其中，媒体数据包括以下中的一个或多个：

以流方式传送或者广播到资源受限设备的媒体数据，或

作为与资源受限设备的双向通信的一部分被穿过网络交互地以流方式传送到资源受限设备的媒体数据，或

用于由资源受限设备呈现的源自资源受限设备或由资源受限设备生成的媒体数据。

12.如权利要求7至11中的任一项所述的方法，其中，媒体数据包括音频数据，并且其中，媒体数据的质量增强处理包括根据接收的参数中的一个或多个的响度水平调整。

13.如权利要求7至11中的任一项所述的方法，

其中，媒体数据包括音频数据，

其中，接收的参数包括一个或多个响度水平参数，

其中，媒体数据的处理包括根据所述一个或多个响度水平参数的响度水平调整，

其中，所述响度水平调整包括：

使用响度水平参数生成修正参数，其中，通过执行在感知响度域中的信息的操作来生成所述修正参数，以及

基于所述修正参数修正音频数据，以生成经处理的音频数据，以及

其中，所述一个或多个响度水平参数包括基准再现水平、期望的再现水平和/或水平调整量中的一个或多个。

14.如权利要求7至11中的任一项所述的方法，

其中，媒体数据包括音频数据，以及

其中，音频数据的修正包括自动增益控制、动态范围压缩和/或动态均衡中的一个或多个。

15.如权利要求7至11中的任一项所述的方法，

其中，媒体数据包括音频数据，以及

其中，媒体数据的质量增强处理包括根据接收的参数中的一个或多个的音频空间化。

16.如权利要求7至11中的任一项所述的方法，

其中，一个或多个参数包括与资源受限设备的环境有关的一个或多个参数。

17.如权利要求7至11中的任一项所述的方法，

其中，媒体数据包括音频数据，

其中，一个或多个参数包括与资源受限设备的环境有关的一个或多个参数，包括指示环境中的噪声的声学轮廓的至少一个参数，以及

其中，质量增强处理包括噪声补偿。

18.如权利要求7至11中的任一项所述的方法，

其中，媒体数据包括音频数据，

其中，一个或多个参数包括与资源受限设备的环境有关的一个或多个参数，包括指示环境中的噪声的声学轮廓的至少一个参数以及一个或多个响度水平参数，

其中，媒体数据的质量增强处理包括噪声补偿，所述噪声补偿包括：

使用一个或多个响度水平参数以及声学噪声轮廓的一个或多个参数从音频数据生成修正参数，其中，通过执行在感知响度域中的信息的操作生成所述修正参数，以及

基于所述修正参数修正音频数据，以生成经处理的音频数据，以及

其中，所述一个或多个响度水平参数包括：

是否开启音频噪声补偿、用于资源受限设备的基准水平、期望的再现水平和/或噪声补偿量中的一个或多个。

19.如权利要求18所述的方法，其中，媒体数据的质量增强处理包括应用于音频数据的自动增益控制、动态范围压缩和/或均衡中的一个或多个。

20.如权利要求7至11中的任一项所述的方法，

其中，媒体数据包括视频数据，并且媒体数据的质量增强处理包括噪声过滤、对比度增强和/或色彩补偿中的一个或多个。

21.如权利要求7至11中的任一项所述的方法，

其中，媒体数据包括被以流方式传送到资源受限设备的媒体数据，

其中，媒体数据包括视频数据，

其中，一个或多个参数包括与资源受限设备的环境有关的一个或多个参数，包括指示环境中的光照的至少一个参数，以及

其中，质量增强处理包括：根据参数中的一个或多个修正视频数据的对比度和/或亮度。

22.如权利要求7至11中的任一项所述的方法，

其中，媒体数据包括被以流方式传送到资源受限设备的媒体数据，

其中，媒体数据包括视频数据，

其中，资源受限设备包括具有依赖于位置的背光元件的平板显示设备，每一所述背光元件根据随同所述视频数据被发送到资源受限设备的依赖于图像的调制数据被调制，

其中，一个或多个参数包括与资源受限设备的环境有关的一个或多个参数，包括指示环境中的光照的至少一个参数，以及

其中，数据处理包括：根据所述一个或多个参数中的至少一个生成依赖于图像的调制数据。

23.如权利要求1所述的方法，

其中，在第一时间段期间在资源受限设备处获得与媒体数据的质量增强处理有关的信息，

其中，媒体数据的数据处理使用参数中的一个或多个并且是在第二时间段期间，所述第二时间段在所述第一时间段的开始之后开始，以及

其中，媒体数据的呈现是在第三时间段。

24.如权利要求23所述的方法，其中，经处理的输出包括用于由资源受限设备呈现的经处理的媒体，所述方法还包括：

接收在资源受限设备处获得的信息；以及

将经处理的输出发送到资源受限设备以便由资源受限设备使用。

25.如权利要求24所述的方法，

其中，媒体数据包括音频数据，

其中，一个或多个参数包括指示环境中的噪声的声学轮廓的至少一个参数，以及

其中，使用参数中的一个或多个的质量增强处理包括应用于所述音频数据的噪声补偿。

26.如权利要求24所述的方法，

其中，媒体数据包括音频数据，

其中，使用参数中的一个或多个的质量增强处理包括应用于音频数据的音频噪声补偿，并且其中，一个或多个参数包括：

是否开启音频噪声补偿、用于资源受限设备的基准水平、和/或包括期望的再现水平以及噪声补偿量的一个或多个处理参数，以及

与资源受限设备的环境有关的一个或多个参数，包括指示资源受限设备的环境中的噪声的声学轮廓的至少一个参数。

27.如权利要求23所述的方法，其中，使用一个或多个所述参数的处理生成帮助数据，所述帮助数据由资源受限设备使用以用于处理媒体数据。

所述方法还包括：

接收在资源受限设备处获得的信息；以及

将经处理的输出发送到资源受限设备以便由资源受限设备使用。

28.如权利要求23所述的方法，其中，使用一个或多个所述参数的处理生成帮助数据，所述帮助数据由资源受限设备使用以用于在资源受限设备处处理媒体数据。

所述方法还包括：

接收在资源受限设备处获得的信息；以及

将经处理的输出发送到资源受限设备，以便由资源受限设备使用以用于进一步处理媒体数据以及用于呈现媒体数据。

29.如权利要求27所述的方法，

其中，媒体数据包括音频数据，

其中，一个或多个参数包括指示环境中的噪声的声学轮廓的至少一个参数，以及

其中，使用参数中的一个或多个的质量增强处理生成帮助数据，从而能够通过资源受限设备使用所述帮助数据将噪声补偿、自动增益控制和/或动态范围压缩中的一个或多个应用于音频数据。

30.如权利要求27所述的方法，

其中，媒体数据包括音频数据，

其中，一个或多个参数包括：

是否开启音频噪声补偿、用于资源受限设备的基准水平、和/或包括期望的再现水平以及噪声补偿量的一个或多个处理参数，以及

与资源受限设备的环境有关的一个或多个参数，包括指示资源受限设备的环境中的噪声的声学轮廓的至少一个参数，以及

其中，使用参数中的一个或多个的处理生成帮助数据，从而能够通过资源受限设备使用所述帮助数据将噪声补偿应用于音频数据。

31.如权利要求23所述的方法，其中，当对于处理足够的一个或多个资源对于资源受限设备可用时，媒体数据的数据处理在所述资源受限设备中。

32.如权利要求23所述的方法，其中，当对于处理足够的电功率在资源受限设备处可用时，媒体数据的数据处理在所述资源受限设备中。

33.如权利要求23所述的方法，其中，当处理功率在资源受限设备处可用时，媒体数据的数据处理在所述资源受限设备中。

34.如权利要求23所述的方法，其中，使用一个或多个所述参数的处理生成帮助数据，所述帮助数据由资源受限设备使用以用于进一步处理媒体数据。

35.程序逻辑，所述程序逻辑在由处理***的至少一个处理器执行时使得执行如任一项前述方法权利要求所述的方法。

36.一种计算机可读介质，其中具有程序逻辑，所述程序逻辑在由处理***的至少一个处理器执行时使得执行如任一项前述方法权利要求所述的方法。

37.一种用于执行媒体数据的质量增强处理的至少一部分的装置，所述装置包括：

接口，被配置用于连接到资源受限设备，并且从所述资源受限设备接受与媒体数据的质量增强处理有关的信息，所述媒体数据要由资源受限设备呈现；以及

处理硬件，被配置用于使用接受的信息中的至少一些执行用于实现质量增强的所述媒体数据的数据处理，以生成经处理的输出，

其中，所述接口还被配置用于将经处理的输出发送到所述资源受限设备，

其中，与质量增强处理有关的信息包括在所述资源受限设备获得的信息，并且包括与媒体数据的希望的处理或所述资源受限设备的环境有关的一个或多个参数的集合，以及

其中，所述处理硬件在对于处理足够的一个或多个资源可用之时或之处执行数据处理，

从而所述资源受限设备能够使用经处理的输出，以呈现或者处理并且呈现所述媒体数据。

38.如权利要求37所述的装置，被配置为执行如任一前述方法权利要求所述的方法。

39.一种装置，包括：

处理***，其包括：

至少一个处理器；以及

存储设备，

其中，所述存储设备被配置有程序逻辑，所述程序逻辑在执行时使得所述装置执行如任一前述方法权利要求所述的方法。

Images