CN107426200B - 一种多媒体数据处理方法和装置 - Google Patents

一种多媒体数据处理方法和装置 Download PDF

Info

Publication number
CN107426200B
CN107426200B CN201710569644.6A CN201710569644A CN107426200B CN 107426200 B CN107426200 B CN 107426200B CN 201710569644 A CN201710569644 A CN 201710569644A CN 107426200 B CN107426200 B CN 107426200B
Authority
CN
China
Prior art keywords
algorithm
multimedia
multimedia data
data
complexity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710569644.6A
Other languages
English (en)
Other versions
CN107426200A (zh
Inventor
刘运
张帆
马跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bigo Technology Pte Ltd
Original Assignee
Guangzhou Baiguoyuan Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Baiguoyuan Network Technology Co Ltd filed Critical Guangzhou Baiguoyuan Network Technology Co Ltd
Priority to CN201710569644.6A priority Critical patent/CN107426200B/zh
Publication of CN107426200A publication Critical patent/CN107426200A/zh
Application granted granted Critical
Publication of CN107426200B publication Critical patent/CN107426200B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明实施例公开了一种多媒体数据处理方法和装置，所述方法包括：采集第一多媒体数据，并根据当前复杂度算法对所述第一多媒体数据进行数据处理；记录所述第一多媒体数据中每个数据帧分别对应的多媒体处理时长，并确定各数据帧分别对应的多媒体处理时长所处的预设阈值范围，并统计每个预设阈值范围内的数据帧的数量；若所述每个预设阈值范围内的数据帧的数量满足预设的切换条件，则将所述当前复杂度算法切换为目标复杂度算法，以便于后续根据所述目标复杂度算法继续对采集到的第二多媒体数据进行多媒体处理。采用本发明，可在播放软件运行期间调整相应的复杂度算法，以提高对多媒体数据的处理效率，以确保播放多媒体数据的流畅度。

Description

一种多媒体数据处理方法和装置
技术领域
本发明涉及互联网技术领域，尤其涉及一种多媒体数据处理方法和装置。
背景技术
随着互联网技术的快速发展，互联网上日益兴起了一些音视频直播软件(例如，彩妆教学直播和衣品搭配直播等)，因此，通过加载这些音视频直播软件可为爱美的女性提供护肤和穿搭技能。然而，这些音视频直播软件往往集成了一些运算量较大的实时任务，比如：视频处理、视频编码、音频处理、音频编码等等。因此，当加载这些直播软件的移动终端在运行一端时间之后，该移动终端往往会通过主动降低CPU(Central Processing Unit，中央处理器)的处理频率来避免CPU的过热现象，进而因CPU的处理频率的降低导致CPU处理能力无法满足音视频直播软件的实时性要求，例如，会引发一系列的回声和声音卡顿现象。
发明内容
本发明实施例提供一种多媒体数据处理方法和装置，可提高对多媒体数据的处理效率，以确保播放多媒体数据的流畅度。
本发明第一方面提供了一种多媒体数据处理方法，包括：
采集第一多媒体数据，并根据当前复杂度算法对所述第一多媒体数据进行数据处理；
记录所述第一多媒体数据中每个数据帧分别对应的多媒体处理时长，并确定各数据帧分别对应的多媒体处理时长所处的预设阈值范围，并统计每个预设阈值范围内的数据帧的数量；
若所述每个预设阈值范围内的数据帧的数量满足预设的切换条件，则将所述当前复杂度算法切换为目标复杂度算法，以便于后续根据所述目标复杂度算法继续对采集到的第二多媒体数据进行多媒体处理。
可选地，在所述若所述每个预设阈值范围内的数据帧的数量满足预设的切换条件，则将所述当前复杂度算法切换为目标复杂度算法的步骤之前，还包括：
获取所述第一多媒体数据中的数据帧的总数量；
在所有预设阈值范围中选择具有最大数量的数据帧的预设阈值范围，作为目标阈值范围；
计算所述目标阈值范围内的数据帧的数量与所述第一多媒体中的数据帧的总数量的比值，并判断所述比值是否大于或等于与所述目标阈值范围对应的预设比值；
若所述比值大于或等于所述预设比值，则确定所述每个预设阈值范围内的数据帧的数量满足预设的切换条件；
若所述比值小于所述预设比值，则确定所述每个预设阈值范围内的数据帧的数量不满足预设的切换条件。
其中，所述若所述每个预设阈值范围内的数据帧的数量满足预设的切换条件，则将所述当前复杂度算法切换为目标复杂度算法，包括：
若所述每个预设阈值范围内的数据帧的数量满足预设的切换条件，获取与所述目标阈值范围对应的目标复杂度算法；
判断目标复杂度算法是否与所述当前复杂度算法相同；
若判断为否，则将所述当前复杂度算法切换为目标复杂度算法；
若判断为是，则保留所述当前复杂度算法。
其中，所述若所述每个预设阈值范围内的数据帧的数量满足预设的切换条件，则将所述当前复杂度算法切换为目标复杂度算法，包括：
若所述每个预设阈值范围内的数据帧的数量满足预设的切换条件，则获取与所述目标阈值范围对应的目标复杂度算法的等级；
计算所述目标复杂度算法的等级与所述当前复杂度算法的等级的差值；
若所述差值的绝对值为第一预设差值，则将所述当前复杂度算法切换为所述目标复杂度算法；
若所述差值大于所述第一预设差值，则将大于所述当前复杂度算法的等级且为等级相邻的复杂度算法确定为新的目标复杂度算法，并将所述当前复杂度算法切换为所述新的目标复杂度算法；
若所述差值小于所述第二预设差值，则将小于所述当前复杂度算法的等级且为等级相邻的复杂度算法确定为新的目标复杂度算法，并将所述当前复杂度算法切换为所述新的目标复杂度算法；
若所述差值为零，则确定保留所述当前复杂度算法。
其中，所述采集第一多媒体数据，并根据当前复杂度算法对所述第一多媒体数据进行多媒体处理，包括：
采集第一多媒体数据，并判断所述第一多媒体数据是否为属于近端多媒体数据类型；所述第一多媒体数据中包含目标多媒体数据和环境噪音数据；
若判断为是，则在所述当前复杂度算法中提取与所述近端多媒体数据类型相关联的近端算法集合；
根据所述近端算法集合滤除所述第一多媒体数据中携带的所述环境噪音数据，得到与所述目标多媒体数据对应的待编码多媒体数据，并对所述待编码多媒体数据进行多媒体编码，得到与所述第一多媒体数据对应的多媒体处理结果。
可选地，所述当前复杂度算法为预设的高保真算法；
所述根据所述近端算法集合滤除所述第一多媒体数据中携带的所述环境噪音数据，得到与所述目标多媒体数据对应的待编码多媒体数据，并对所述待编码多媒体数据进行多媒体编码，得到与所述第一多媒体数据对应的多媒体处理结果，包括：
根据降采样算法对所述第一多媒体数据进行频带拆分，得到所述第一多媒体数据中的高频分量数据和低频分量数据；
根据高复杂度的回声消除算法、降噪算法、高复杂度的语音检测算法、高复杂度的自动增益控制算法、升采样算法对所述第一多媒体数据中的高频分量数据和低频分量数据进行处理，得到与所述目标多媒体数据对应的待编码多媒体数据；
根据单通道多媒体编码算法对所述待编码多媒体数据进行多媒体编码，得到与所述第一多媒体数据对应的多媒体处理结果。
可选地，所述当前复杂度算法为预设的中等复杂度算法；
所述根据所述近端算法集合滤除所述第一多媒体数据中携带的所述环境噪音数据，得到与所述目标多媒体数据对应的待编码多媒体数据，并对所述待编码多媒体数据进行多媒体编码，得到与所述第一多媒体数据对应的多媒体处理结果，包括：
根据降采样算法对所述第一多媒体数据进行频带拆分，得到所述第一多媒体数据中的高频分量数据和低频分量数据；
根据低复杂度的回声消除算法、低复杂度的降噪算法、低复杂度的语音检测算法、升采样算法对所述第一多媒体数据中的高频分量数据和低频分量数据进行处理，得到与所述目标多媒体数据对应的待编码多媒体数据；
根据单通道多媒体编码算法对所述待编码多媒体数据进行多媒体编码，得到与所述第一多媒体数据对应的多媒体处理结果。
可选地，所述当前复杂度算法为预设的低复杂度算法；
所述根据所述近端算法集合滤除所述第一多媒体数据中携带的所述环境噪音数据，得到与所述目标多媒体数据对应的待编码多媒体数据，并对所述待编码多媒体数据进行多媒体编码，得到与所述第一多媒体数据对应的多媒体处理结果，包括：
根据降采样算法对所述第一多媒体数据进行频带拆分，并将所述第一多媒体数据中的高频分量数据置零，得到所述第一多媒体数据中的低频分量数据；
根据低复杂度的回声消除算法、低复杂度的降噪算法、低复杂度的语音检测算法、升采样算法对所述第一多媒体数据中的低频分量数据进行处理，得到与所述目标多媒体数据对应的待编码多媒体数据；
根据低复杂度的多媒体编码算法对所述待编码多媒体数据进行多媒体编码，得到与所述第一多媒体数据对应的多媒体处理结果。
可选地，所述方法还包括：
若判断出所述第一多媒体数据不属于近端多媒体数据类型，则在所述当前复杂度算法中提取与远端多媒体数据类型相关联的远端算法集合；
根据所述远端算法集合对所述第一多媒体数据进行多媒体解码，得到携带语音检测标识的解码多媒体数据，并根据所述远端算法集合对所述解码多媒体数据进行处理，得到与所述第一多媒体数据对应的多媒体处理结果。
可选地，所述当前复杂度算法为预设的高保真算法；
根据所述远端算法集合对所述第一多媒体数据进行多媒体解码，得到携带语音检测标识的解码多媒体数据，并根据所述远端算法集合对所述解码多媒体数据进行处理，得到与所述第一多媒体数据对应的多媒体处理结果，包括：
根据所述远端算法集合中的解码算法对所述第一多媒体数据进行多媒体解码，得到携带语音检测标识的解码多媒体数据；
根据所述远端算法集合中携带的降采样算法、啸叫抑制算法、高复杂度的降噪算法、高复杂度的语音检测算法、升采样算法对所述解码多媒体数据进行处理，得到与所述第一多媒体数据对应的多媒体处理结果。
可选地，所述当前复杂度算法为预设的中等复杂度算法；
所述根据所述远端算法集合对所述第一多媒体数据进行多媒体解码，得到携带语音检测标识的解码多媒体数据，并根据所述远端算法集合对所述解码多媒体数据进行处理，得到与所述第一多媒体数据对应的多媒体处理结果，包括：
根据所述远端算法集合中的解码算法对所述第一多媒体数据进行多媒体解码，得到携带语音检测标识的解码多媒体数据；
根据所述远端算法集合中携带的降采样算法、低复杂度的降噪算法、低复杂度的语音检测算法、升采样算法对所述解码多媒体数据进行处理，得到与所述第一多媒体数据对应的多媒体处理结果。
可选地，所述当前复杂度算法为预设的低复杂度算法；
所述根据所述远端算法集合对所述第一多媒体数据进行多媒体解码，得到携带语音检测标识的解码多媒体数据，并根据所述远端算法集合对所述解码多媒体数据进行处理，得到与所述第一多媒体数据对应的多媒体处理结果，包括：
根据所述远端算法集合中的解码算法对所述第一多媒体数据进行多媒体解码，得到携带语音检测标识的解码多媒体数据；
提取所述解码多媒体数据中携带的语音检测标识，并根据所述语音检测标识对所述解码多媒体数据进行处理，得到与所述第一多媒体数据对应的多媒体处理结果。
可选地，在所述将所述当前复杂度算法切换为目标复杂度算法之后，还包括：
在所述第一多媒体数据对应的多媒体处理结果中提取预设数量的数据帧，作为历史数据帧；
根据与所述目标复杂度算法对所述第二多媒体数据进行处理，得到与所述第二多媒体数据对应的待编码多媒体数据；所述目标复杂度算法中的多媒体编码算法与所述当前复杂度算法中的多媒体编码算法不同；
根据所述目标复杂度算法中的多媒体编码算法，对所述历史数据帧以及所述第二多媒体数据对应的待编码多媒体数据进行编码，得到与所述第二多媒体数据对应的多媒体处理结果；所述多媒体编码算法为低复杂度的多媒体编码算法或单通道的多媒体编码算法。
本发明第二方面提供了一种多媒体数据处理装置，包括：
采集处理模块，用于采集第一多媒体数据，并根据当前复杂度算法对所述第一多媒体数据进行数据处理；
记录统计模块，用于记录所述第一多媒体数据中每个数据帧分别对应的多媒体处理时长，并确定各数据帧分别对应的多媒体处理时长所处的预设阈值范围，并统计每个预设阈值范围内的数据帧的数量；
算法切换模块，用于若所述每个预设阈值范围内的数据帧的数量满足预设的切换条件，则将所述当前复杂度算法切换为目标复杂度算法；
通知模块，用于通知所述采集处理模块根据所述目标复杂度算法继续对采集到的第二多媒体数据进行多媒体处理。
可选地，所述装置还包括：
总数量获取模块，用于获取所述第一多媒体数据中的数据帧的总数量；
目标范围选择模块，用于在所有预设阈值范围中选择具有最大数量的数据帧的预设阈值范围，作为目标阈值范围；
计算模块，用于计算所述目标阈值范围内的数据帧的数量与所述第一多媒体中的数据帧的总数量的比值；
比值判断模块，用于判断所述比值是否大于或等于与所述目标阈值范围对应的预设比值；
确定模块，用于若所述比值大于或等于所述预设比值，则确定所述每个预设阈值范围内的数据帧的数量满足预设的切换条件；
所述确定模块，还用于若所述比值小于所述预设比值，则确定所述每个预设阈值范围内的数据帧的数量不满足预设的切换条件。
其中，所述算法切换模块包括：
目标算法获取单元，用于若所述每个预设阈值范围内的数据帧的数量满足预设的切换条件，获取与所述目标阈值范围对应的目标复杂度算法；
算法判断单元，用于判断目标复杂度算法是否与所述当前复杂度算法相同；
算法切换单元，用于若判断为否，则将所述当前复杂度算法切换为目标复杂度算法；
算法保留单元，用于若判断为是，则保留所述当前复杂度算法。
可选地，所述算法切换模块包括：
等级获取单元，用于若所述每个预设阈值范围内的数据帧的数量满足预设的切换条件，则获取与所述目标阈值范围对应的目标复杂度算法的等级；
差值计算单元，用于计算所述目标复杂度算法的等级与所述当前复杂度算法的等级的差值；
第一确定切换单元，用于若所述差值的绝对值为第一预设差值，则将所述当前复杂度算法切换为所述目标复杂度算法；
第二确定切换单元，用于若所述差值大于所述第一预设差值，则将大于所述当前复杂度算法的等级且为等级相邻的复杂度算法确定为新的目标复杂度算法，并将所述当前复杂度算法切换为所述新的目标复杂度算法；
第三确定切换单元，用于若所述差值小于所述第二预设差值，则将小于所述当前复杂度算法的等级且为等级相邻的复杂度算法确定为新的目标复杂度算法，并将所述当前复杂度算法切换为所述新的目标复杂度算法；
确定保留单元，用于若所述差值为零，则确定保留所述当前复杂度算法。
其中，所述采集处理模块包括：
采集判断单元，用于采集第一多媒体数据，并判断所述第一多媒体数据是否为属于近端多媒体数据类型；所述第一多媒体数据中包含目标多媒体数据和环境噪音数据；
第一提取单元，用于若判断为是，则在所述当前复杂度算法中提取与所述近端多媒体数据类型相关联的近端算法集合；
数据处理编码单元，用于根据所述近端算法集合滤除所述第一多媒体数据中携带的所述环境噪音数据，得到与所述目标多媒体数据对应的待编码多媒体数据，并对所述待编码多媒体数据进行多媒体编码，得到与所述第一多媒体数据对应的多媒体处理结果。
其中，所述当前复杂度算法为预设的高保真算法；
所述数据处理编码单元包括：
第一拆分子单元，用于根据降采样算法对所述第一多媒体数据进行频带拆分，得到所述第一多媒体数据中的高频分量数据和低频分量数据；
第一处理子单元，用于根据高复杂度的回声消除算法、降噪算法、高复杂度的语音检测算法、高复杂度的自动增益控制算法、升采样算法对所述第一多媒体数据中的高频分量数据和低频分量数据进行处理，得到与所述目标多媒体数据对应的待编码多媒体数据；
第一编码子单元，用于根据单通道多媒体编码算法对所述待编码多媒体数据进行多媒体编码，得到与所述第一多媒体数据对应的多媒体处理结果。
可选地，所述当前复杂度算法为预设的中等复杂度算法；
所述数据处理编码单元包括：
第二拆分子单元，用于根据降采样算法对所述第一多媒体数据进行频带拆分，得到所述第一多媒体数据中的高频分量数据和低频分量数据；
第二处理子单元，用于根据低复杂度的回声消除算法、低复杂度的降噪算法、低复杂度的语音检测算法、升采样算法对所述第一多媒体数据中的高频分量数据和低频分量数据进行处理，得到与所述目标多媒体数据对应的待编码多媒体数据；
第二编码子单元，用于根据单通道多媒体编码算法对所述待编码多媒体数据进行多媒体编码，得到与所述第一多媒体数据对应的多媒体处理结果。
可选地，所述当前复杂度算法为预设的低复杂度算法；
所述数据处理编码单元包括：
第三拆分子单元，用于根据降采样算法对所述第一多媒体数据进行频带拆分，并将所述第一多媒体数据中的高频分量数据置零，得到所述第一多媒体数据中的低频分量数据；
第三处理子单元，用于根据低复杂度的回声消除算法、低复杂度的降噪算法、低复杂度的语音检测算法、升采样算法对所述第一多媒体数据中的低频分量数据进行处理，得到与所述目标多媒体数据对应的待编码多媒体数据；
第三编码子单元，用于根据低复杂度的多媒体编码算法对所述待编码多媒体数据进行多媒体编码，得到与所述第一多媒体数据对应的多媒体处理结果。
可选地，所述采集处理模块还包括：
第二提取单元，用于若判断出所述第一多媒体数据不属于近端多媒体数据类型，则在所述当前复杂度算法中提取与远端多媒体数据类型相关联的远端算法集合；
数据解码处理单元，用于根据所述远端算法集合对所述第一多媒体数据进行多媒体解码，得到携带语音检测标识的解码多媒体数据，并根据所述远端算法集合对所述解码多媒体数据进行处理，得到与所述第一多媒体数据对应的多媒体处理结果。
其中，所述当前复杂度算法为预设的高保真算法；
所述数据解码处理单元包括：
第一解码子单元，用于根据所述远端算法集合中的解码算法对所述第一多媒体数据进行多媒体解码，得到携带语音检测标识的解码多媒体数据；
第一结果获取子单元，用于根据所述远端算法集合中携带的降采样算法、啸叫抑制算法、高复杂度的降噪算法、高复杂度的语音检测算法、升采样算法对所述解码多媒体数据进行处理，得到与所述第一多媒体数据对应的多媒体处理结果。
可选地，所述当前复杂度算法为预设的中等复杂度算法；
所述数据解码处理单元包括：
第二解码子单元，用于根据所述远端算法集合中的解码算法对所述第一多媒体数据进行多媒体解码，得到携带语音检测标识的解码多媒体数据；
第二结果获取子单元，用于根据所述远端算法集合中携带的降采样算法、低复杂度的降噪算法、低复杂度的语音检测算法、升采样算法对所述解码多媒体数据进行处理，得到与所述第一多媒体数据对应的多媒体处理结果。
可选地，所述当前复杂度算法为预设的低复杂度算法；
所述数据解码处理单元包括：
第三解码子单元，用于根据所述远端算法集合中的解码算法对所述第一多媒体数据进行多媒体解码，得到携带语音检测标识的解码多媒体数据；
第三结果获取子单元，用于提取所述解码多媒体数据中携带的语音检测标识，并根据所述语音检测标识对所述解码多媒体数据进行处理，得到与所述第一多媒体数据对应的多媒体处理结果。
可选地，所述装置还包括：
数据帧提取模块，用于在所述第一多媒体数据对应的多媒体处理结果中提取预设数量的数据帧，作为历史数据帧；
所述通知模块，具体用于通知所述采集处理模块根据与所述目标复杂度算法对所述第二多媒体数据进行处理，得到与所述第二多媒体数据对应的待编码多媒体数据；所述目标复杂度算法中的多媒体编码算法与所述当前复杂度算法中的多媒体编码算法不同；
所述通知模块，还具体用于通知所述采集处理模块根据所述目标复杂度算法中的多媒体编码算法，对所述历史数据帧以及所述第二多媒体数据对应的待编码多媒体数据进行编码，得到与所述第二多媒体数据对应的多媒体处理结果；所述多媒体编码算法为低复杂度的多媒体编码算法或单通道的多媒体编码算法。
本发明第三方面提供了一种多媒体数据处理装置，包括：处理器、存储器、网络接口；
所述处理器分别与网络接口、存储器相连，其中，所述网络接口用于接收和发送多媒体数据，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行本发明实施例中第一方面中的方法。
本发明实施例第四方面提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时执行本发明实施例中第一方面中的方法。
本发明实施例通过采集第一多媒体数据，并根据当前复杂度算法对所述第一多媒体数据进行数据处理；记录所述第一多媒体数据中每个数据帧分别对应的多媒体处理时长，并确定各数据帧分别对应的多媒体处理时长所处的预设阈值范围，并统计每个预设阈值范围内的数据帧的数量；若所述每个预设阈值范围内的数据帧的数量满足预设的切换条件，则将所述当前复杂度算法切换为目标复杂度算法，以便于后续根据所述目标复杂度算法继续对采集到的第二多媒体数据进行多媒体处理。由此可见，本发明通过设置多个预设阈值范围，可进一步统计每个预设阈值范围内的数据帧的数量，并在各预设阈值范围内的数量满足所述切换条件时，对当前复杂度算法进行切换，以保证切换后的复杂度算法与调整后的CPU处理能力相匹配，从而提高对多媒体数据的处理效率，并以确保播放多媒体数据的流畅度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种网络架构的结构示意图；
图2是本发明实施例提供的一种多媒体数据处理方法的流程示意图；
图3是本发明实施例提供的另一种多媒体数据处理方法的流程示意图；
图4是本发明实施例提供的一种多媒体数据处理装置的结构示意图；
图5是本发明实施例提供的另一种多媒体数据处理装置的结构示意图；
图6是本发明实施例提供的一种算法切换模块的结构示意图；
图7是本发明实施例提供的另一种算法切换模块的结构示意图；
图8是本发明实施例提供的一种采集处理模块的结构示意图；
图9是本发明实施例提供的一种数据处理编码单元的结构示意图；
图10是本发明实施例提供的一种数据解码处理单元的结构示意图
图11是本发明实施例提供的又一种多媒体数据处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，是本发明实施例提供的一种网络架构的结构示意图。如图1所示，所述网络架构可以包括主播终端3000、服务器2000以及观众终端集群；所述观众终端集群可以包括多个观众终端，如图1所示，具体包括观众终端4000a、观众终端4000b、…、观众终端4000n；
观众终端4000a、观众终端4000b、…、观众终端4000n可以分别与所述服务器2000进行网络连接，所述服务器2000与所述主播终端3000进行网络连接。
如图1所示，所述主播终端3000可在所述观众终端集群中选择至少一个观众终端作为目标观众终端(以目标观众终端为观众终端4000a为例)，并通过所述服务器2000向观众终端4000a发起连麦邀请(即视频互动邀请)，并在观众终端4000a响应所述服务器2000转发的连麦邀请时，所述服务器2000可将观众终端4000a和主播终端3000分别上传的多媒体数据(所述多媒体数据可以包括图像数据和语音数据)进行处理，并将处理后的多媒体数据分别下发给主播终端3000和观众终端4000a，从而使观众终端4000a具备与主播终端3000相同的直播功能，即此时，观众终端4000a可作为另一个主播终端，可通过麦克风采集自己的图像和/或声音，并通过扬声器播放所述主播终端3000录入的图像和/或声音。因此，剩余的观众终端集群(观众终端4000b、…、观众终端4000n)能够同时看见和/或听见两名主播的图像和/或声音(这两名主播的图像和/或声音来自主播终端3000和与所述主播终端3000具有连麦功能的观众终端4000a)。
其中，所述主播终端3000处理所述图像和/或声音的具体过程可以参见如下图2至图3对应的实施例。
请参见图2，是本发明实施例提供的一种多媒体数据处理方法的流程示意图。如图2所示，所述方法可以包括：
S101，采集第一多媒体数据，并根据当前复杂度算法对所述第一多媒体数据进行数据处理；
具体地，主播终端采集第一多媒体数据，并判断所述第一多媒体数据是否属于近端多媒体数据类型；所述第一多媒体数据中包含目标多媒体数据和环境噪音数据；若判断为是，则在所述当前复杂度算法中提取与所述近端多媒体数据类型相关联的近端算法集合，并根据所述近端算法集合滤除所述第一多媒体数据中携带的所述环境噪音数据，得到与所述目标多媒体数据对应的待编码多媒体数据，并对所述待编码多媒体数据进行多媒体编码，得到与所述第一多媒体数据对应的多媒体处理结果；可选地，若判断为否，则在所述当前复杂度算法中提取与远端多媒体数据类型相关联的远端算法集合，并根据所述远端算法集合对所述第一多媒体数据进行多媒体解码，得到携带语音检测标识的解码多媒体数据，并根据所述远端算法集合对所述解码多媒体数据进行处理，得到与所述第一多媒体数据对应的多媒体处理结果。
其中，所述主播终端可为上述图1所对应实施例中的主播终端3000，所述主播终端可以包括个人电脑、平板电脑、笔记本电脑、智能电视、智能手机等携带摄像功能的终端设备；
其中，所述目标多媒体数据可以包括上述图1所对应实施例中所涉及的语音数据和/或图像数据；
其中，所述环境噪音数据可以包括高斯白噪声、回声以及主播用户所处环境中的其他干扰噪音，例如过往车辆、飞机等所产生的交通噪声。
其中，所述当前复杂度算法可以包括高保真算法、中等复杂度算法、弟复杂度算法中的任意一种复杂度算法，且每种复杂度算法均对应着一个近端算法集合和一个远端算法集合。
其中，当所述当前复杂度算法为高保真算法时，所述近端算法集合包含如下算法：
降采样算法、高复杂度的回声消除(AEC_HQ)算法、高复杂度的降噪(NS HQ)算法、高复杂度的语音检测(VAD_HQ)算法、高复杂度的自动增益控制(AGC_HQ)算法、升采样算法、单通道多媒体编码(AAC_SBR)算法；
其中，与降采样算法对应的降采样模块和与升采样算法对应的升采样模块均是经过仔细设计的，目的是为了保障切换采样率时音频的连续性。因此可采用***滤波器(Split filter)来完成重采样的工作。这种***滤波器同时具备降采样和升采样的功能，即可同时包含与所述降采样模块对应分析部分和与所述升采样模块对应的综合部分，其中，分析部分可以将输入的音频拆分成多个子频带的时域信号(例如将32K采样率的音频数据拆分为两个16K的子频带)，综合部分则将多个子频带信号合成回原来的音频信号。当需要进行整数倍采样率的降采样的时候，可以在分析后直接将高频子带置零。使用***滤波器进行降采样，可以保证音频信号的低频分量是连续的，而人耳对低频分量更为敏感，低频分量的连续性可以保证处理后的音频信号在听感上是连续的。在切换到HQ处理流程时，增加的高频分量和原来的低频分量是匹配的，因为是同一段音频数据所拆分形成的低频和高频分量，所以并不会引起听感的不连续，而是听起来多了很多细节，感觉声音豁然开朗。
相应地，所述远端算法集合包含如下算法：
解码算法、降采样算法、啸叫抑制(AHC)算法、高复杂度的降噪算法(NS HQ)，高复杂度的语音检测(VAD_HQ)算法、升采样算法。
其中，与所述啸叫抑制算法对应的啸叫抑制模块在高保真算法中可以有效抑制通话双方因回声而产生的啸叫，但在中等复杂度算法和低复杂度算法中却并非必须模块，因此可以将其去掉，以降低CPU处理的复杂度。
其中，当所述当前复杂度算法为中等复杂度算法时，所述近端算法集合包含如下算法：
降采样算法、低复杂度的回声消除(AEC_LC)算法、低复杂度的降噪(NS_LC)算法、低复杂度的语音检测(VAD__LC)算法、升采样算法、单通道多媒体编码(AAC_SBR)算法；
相应地，所述远端算法集合包含如下算法：
解码算法、降采样算法、低复杂度的降噪算法(NS_LC)，低复杂度的语音检测(VAD__LC)算法、升采样算法。
其中，当所述当前复杂度算法为低复杂度算法时，所述近端算法集合包含如下算法：
降采样算法、低复杂度的回声消除(AEC_LC)算法、低复杂度的降噪(NS_LC)算法、低复杂度的语音检测(VAD__LC)算法、升采样算法、低复杂度的多媒体编码(AAC_LC)算法；
相应地，所述远端算法集合包含如下算法：
解码算法、语音检测(VAD)标识识别。
其中，所述第一多媒体数据属于所述近端多媒体数据类型，是指所述第一多媒体数据可以为主播用户通过声音接收器(例如，麦克风)所录入的音频数据，还可以为该主播用户通过图像接收器(例如，摄像机)所录入的图像数据。此时，用于采集所述第一多媒体数据的主播终端可在所述当前复杂度算法中提取与所述近端多媒体数据类型相关联的近端算法集合，并可进一步根据所述近端算法集合对所述第一多媒体数据进行数据处理和数据编码，进而得到与所述第一多媒体数据对应的多媒体处理结果。
其中，所述第一多媒体数据属于所述远端多媒体数据，是指所述第一多媒体数据可以为主播用户通过声音播放器(例如，扬声器)播放连麦用户(所述连麦用户可以为上述图1所对应实施例中的持有观众终端4000a的观众用户)所录入的音频数据，还可以为该主播用户通过图像播放器(例如，摄像机)播放该连麦用户所录入的图像数据。此时，用于采集所述第一多媒体数据的主播终端可在所述当前复杂度算法中提取与所述远端多媒体数据类型相关联的远端算法集合，并可进一步根据所述远端算法集合对所述第一多媒体数据进行数据解码和数据处理，进而得到与所述第一多媒体数据对应的多媒体处理结果。
比如，在某直播平台上的直播显示界面中，有4名观众(观众A、观众B、观众C和观众D，且这4名观众分别对应的观众终端可以为上述图1所对应实施例中的观众终端4000a、观众终端4000b、观众终端4000c以及观众终端4000d)正在收看主播E在该直播平台上录制的彩妆教学视频。在视频教学的直播过程中，该主播E为了了解各位观众的彩妆掌握程度，可在上述4名观众中随机选择一名观众作为连麦观众(例如，将观众A作为连麦观众)，从而可在主播E所持有的主播终端和观众A所持有的观众终端4000a之间建立网络通信关系。此时，对于主播E所持有的主播终端而言，主播E通过该主播终端上的摄像机所录入的音频数据和视频数据可作为第一多媒体数据，且所述第一多媒体数据属于近端多媒体数据类型。因此，主播终端可在所述当前复杂度算法中提取与所述近端多媒体数据类型所对应的近端算法集合，并根据所述近端算法集合对所述第一多媒体数据进行数据处理和数据编码；
与此同时，在主播E所持有的主播终端与所述观众A所持有的观众终端4000a之间具有连麦功能时，该观众终端4000a可相当于一个具有与主播终端具有相同功能的从主播终端，即此时观众终端4000b、观众终端4000c以及观众终端4000d可同时看到和听到主播E和观众A的图像和声音。即对于主播E所持有的主播终端而言，可进一步将所述观众终端4000a传输过来的音频数据和视频数据，作为第一多媒体数据，此时，所述第一多媒体数据属于远端多媒体数据，因此，主播E所持有的主播终端可在所述当前复杂度算法中提取与所述远端多媒体数据类型所对应的远端算法集合，并根据所述远端算法集合对所述第一多媒体数据进行数据解码和数据处理。
步骤S102，记录所述第一多媒体数据中每个数据帧分别对应的多媒体处理时长，并确定各数据帧分别对应的多媒体处理时长所处的预设阈值范围，并统计每个预设阈值范围内的数据帧的数量；
具体地，所述主播终端可以记录所述第一多媒体数据中每个数据帧分别对应的多媒体处理时长；所述多媒体处理时长可以为所述主播终端对每个数据帧进行数据处理和数据编码所需的耗时时长，因此，所述主播终端可根据各多媒体处理时长分别所处的预设阈值范围，进一步统计每个预设阈值范围内的数据帧的数量；当所述每个预设阈值范围内的数据帧的数量满足预设的切换条件时，所述主播终端可进一步执行步骤S103；可选地，在执行完步骤S102之后，所述主播终端还可进一步在所述每个预设阈值范围内的数据帧的数量均不满足预设的切换条件时，保留所述当前复杂度算法。
步骤S103，若所述每个预设阈值范围内的数据帧的数量满足预设的切换条件，则将所述当前复杂度算法切换为目标复杂度算法，以便于后续根据所述目标复杂度算法继续对采集到的第二多媒体数据进行多媒体处理。
具体地，所述主播终端可获取所述第一多媒体数据中的数据帧的总数量，并在所有预设阈值范围中选择具有最大数量的数据帧的预设阈值范围，作为目标阈值范围，并计算所述目标阈值范围内的数据帧的数量与所述数据帧的总数量的比值，并判断所述比值是否大于或等于所述目标阈值范围对应的预设比值，若所述比值大于或等于所述预设比值，则确定所述每个预设阈值范围内的数据帧的数量满足预设的切换条件，并将所述当前复杂度算法切换为目标复杂度算法；若所述比值小于所述预设比值，则确定所述每个预设阈值范围内的数据帧的数量不满足预设的切换条件。
其中，在将所述当前复杂度算法切换为目标复杂度算法时，所述主播终端会尽力确保对第一多媒体数据的处理耗时和后续对第二多媒体数据的处理耗时保持一致，比如，对同一段第一多媒体数据进行处理时，所述主播终端若采用当前复杂度算法为高保真算法对第一多媒体数据进行处理，其处理耗时将为4ms，若采用处于中等复杂度算法的所述主播终端对同一多媒体数据进行处理，则可能需要16ms的处理耗时。可见，两种不同的复杂度算法下，CPU的处理能力会相差很大。于是，为了确保复杂度切换算法之间的无缝切换，可考虑在所述主播终端进行降频的过程中，自动根据CPU的处理能力将高保真算法切换为相应的中等复杂度算法，并根据所述中等复杂度算法对所述第二多媒体数据进行处理，此时，将会消耗4ms的处理耗时，因为所述主播终端此时将以牺牲音频输出的品质来提高CPU的处理效率。
其中，为避免频繁的切换复杂度，所述主播终端可采用两个预设阈值(4ms和16ms)来控制复杂度的增减。即可将处理时长位于预设阈值范围为小于4ms的范围所对应的复杂度算法作为高保真算法，将处理时长位于预设阈值范围为4-16ms的范围所对应的复杂度算法作为中等复杂度算法，将处理时长位于预设阈值范围为大于16ms的范围所对应的复杂度算法作为低复杂度算法，从而可使每个预设阈值范围分别对应一种复杂度算法，且每个预设至于范围分别对应着不同的预设比值(比如，预设阈值范围为大于16ms的范围所对应的预设比值为50％，预设阈值范围为小于4ms的范围所对应的预设比值为80％)。
因此，所述主播终端可在获取到所述第一多媒体数据中的数据帧的总数量时，进一步根据各数据帧分别对应的多媒体处理时长所处的预设阈值范围，统计到每个预设阈值范围内的数据帧的数量，以进一步在所有预设阈值范围中选择具有最大数量的数据帧的预设阈值范围，作为目标阈值范围，从而可得到所述目标阈值范围内的数据帧的数量与所述数据帧的总数量的比值。
比如，以当前复杂度算法为中等复杂度算法为例，其中，所述主播终端获取到与所述第一多媒体数据对应的数据帧的总数量为20帧，且统计到在这20帧的数据帧中有13帧的数据帧的多媒体处理时长均大于20ms(即有13帧的数据帧的多媒体处理时长均位于大于16ms的预设阈值范围)，有7帧的数据帧的多媒体处理时长均位于4-16ms的预设阈值范围。因此，所述主播终端可将大于16ms的预设阈值范围作为目标阈值范围，且可进一步得到所目标预设阈值范围内的数据帧的数量与所述第一多媒体数据中的数据帧的总数量的比值(所述比值有：13/20＝85％)。此时，所述比值大于预设比值(80％)，因此，可将当前复杂度算法(中等复杂度算法)切换为与所述目标阈值范围对应的目标复杂度算法(比如，低等复杂度算法)，以提高对多媒体数据的处理效率，从而保障所述主播终端的CPU能够根据所述目标复杂度算法对后续采集到的多媒体数据进行实时处理。
可见，所述主播终端的处理器(CPU)可根据对每个数据帧的多媒体处理时长进一步确定CPU当前的处理能力，若所述多媒体处理时长越长，则表明CPU在当前复杂度算法下的处理能力越差，即需要对当前复杂度算法进行降级处理。可选地，若所述多媒体处理时长越短，则表明CPU在当前复杂度算法下的处理能力越强，即CPU当前有足够的处理能力对后续采集到的多媒体数据进行处理，因此可对当前复杂度算法进行升级处理。
本发明实施例通过采集第一多媒体数据，并根据当前复杂度算法对所述第一多媒体数据进行数据处理；记录所述第一多媒体数据中每个数据帧分别对应的多媒体处理时长，并确定各数据帧分别对应的多媒体处理时长所处的预设阈值范围，并统计每个预设阈值范围内的数据帧的数量；若所述每个预设阈值范围内的数据帧的数量满足预设的切换条件，则将所述当前复杂度算法切换为目标复杂度算法，以便于后续根据所述目标复杂度算法继续对采集到的第二多媒体数据进行多媒体处理。由此可见，本发明通过设置多个预设阈值范围，可进一步统计每个预设阈值范围内的数据帧的数量，并在各预设阈值范围内的数量满足所述切换条件时，对当前复杂度算法进行切换，以保证切换后的复杂度算法与调整后的CPU处理能力相匹配，从而提高对多媒体数据的处理效率，并以确保播放多媒体数据的流畅度。
进一步地，请参见图2，是本发明实施例提供的另一种多媒体数据处理方法的流程示意图。如图2所示，所述方法可以包括：
步骤S201，采集第一多媒体数据，并根据当前复杂度算法对所述第一多媒体数据进行数据处理；
步骤S202，记录所述第一多媒体数据中每个数据帧分别对应的多媒体处理时长，并确定各数据帧分别对应的多媒体处理时长所处的预设阈值范围，并统计每个预设阈值范围内的数据帧的数量；
其中，步骤S201-步骤S202的具体实现方式可参见上述图2所对应实施例中对步骤S101-步骤S102的描述，这里将不再继续进行赘述。
步骤S203，获取所述第一多媒体数据中的数据帧的总数量；
步骤S204，在所有预设阈值范围中选择具有最大数量的数据帧的预设阈值范围，作为目标阈值范围；
具体地，所述主播终端可在获取到所述第一多媒体数据中的数据帧的总数量时，进一步根据各数据帧分别对应的多媒体处理时长所处的预设阈值范围，统计到每个预设阈值范围内的数据帧的数量，以进一步在各预设阈值范围中将具有最大数量的数据帧的预设阈值范围，作为目标阈值范围。
其中，所述预设阈值范围的个数可根据实际情况进行预先设置，并为每个预设阈值范围分配对应的预设比值。
其中，为避免频繁的切换复杂度，所述主播终端可采用两个预设阈值(4ms和16ms)来控制复杂度的增减。即可将处理时长位于预设阈值范围为小于4ms的范围所对应的复杂度算法作为高保真算法，将处理时长位于预设阈值范围为4-16ms的范围所对应的复杂度算法作为中等复杂度算法，将处理时长位于预设阈值范围为大于16ms的范围所对应的复杂度算法作为低复杂度算法，从而可使每个预设阈值范围分别对应一种复杂度算法，且每个预设至于范围分别对应着不同的预设比值。
其中，预设阈值范围为大于16ms的范围对应的预设比值为50％，所述主播终端可将只要统计到落入该预设阈值范围的多媒体数据帧的数量与所述第一多媒体数据帧的总数量之间的比值，并在所述比值大于或等于50％时，对当前复杂度算法进行降级处理，因为所述主播终端在当前复杂度算法下已不能对后续采集到的第二多媒体数据进行实时处理，所以需要降低多媒体数据处理的复杂度算法，以实现对所述第二多媒体数据进行有效、实时地处理，进而避免出现卡顿和回声现象。
其中，预设阈值范围为小于4ms的范围对应的预设比值为80％，所述主播终端同样也可统计到落入该预设阈值范围的多媒体数据帧的数量与所述第一多媒体数据帧的总数量之间的比值，并在所述比值大于或等于80％时，对当前复杂度算法进行升级处理，因为所述主播终端在当前复杂度算法下能够充分胜任对后续采集到的第二多媒体数据进行实时处理，所以需要提升多媒体数据处理的复杂度算法，以得到更好的多媒体数据输出(比如，更高品质的音频数据)。
步骤S205，计算所述目标阈值范围内的数据帧的数量与所述第一多媒体中的数据帧的总数量的比值，并判断所述比值是否大于或等于与所述目标阈值范围对应的预设比值；
可选地，所述主播终端还可计算各预设阈值范围内的数据帧的数量与所述第一多媒体中的数据帧的总数量的比值，并在所有的比值中选择最大比值，并将与所述最大比值对应的预设阈值范围作为目标阈值范围，从而进一步判断所述最大比值是否大于或等于与所述目标阈值范围对应的预设比值。
其中，所述主播终端的处理器(CPU)可根据统计到的每个预设阈值范围内的数据帧的数量，进一步确定CPU当前的处理能力，若各数据帧分别对应的多媒体处理时长中有大多数的多媒体处理时长处于大于16ms的预设阈值范围(例如，32帧的第一多媒体数据中有28帧的数据帧的处理时长均大于20ms)，则表明CPU在当前复杂度算法下的处理能力越差，即可进一步执行步骤S206-步骤S207，以对当前复杂度算法进行降级处理。可选地，若各数据帧分别对应的多媒体处理时长中有大多数的多媒体处理时长处于小于4ms的预设阈值范围(例如，32帧的第一多媒体数据中有25帧的数据帧的处理时长均小于3ms)，则表明CPU在当前复杂度算法下的处理能力越强，即CPU当前有足够的处理能力对后续采集到的多媒体数据进行处理，因此可进一步执行步骤S206-步骤S207，以对当前复杂度算法进行升级处理。
比如，以当前复杂度算法为中等复杂度算法为例，其中，所述主播终端获取到与所述第一多媒体数据对应的数据帧的总数量为20帧，且统计到在这20帧的数据帧中有13帧的数据帧的多媒体处理时长均大于20ms(即有13帧的数据帧的多媒体处理时长均位于大于16ms的预设阈值范围)，有7帧的数据帧的多媒体处理时长均位于4-16ms的预设阈值范围。因此，所述主播终端可将大于16ms的预设阈值范围作为目标阈值范围，且可进一步得到所述目标预设阈值范围内的数据帧的数量与所述第一多媒体数据中的数据帧的总数量的比值(所述比值有：13/20＝65％)。此时，所述比值大于预设比值(50％)，因此，可进一步执行步骤S206-步骤S207，以将当前复杂度算法(中等复杂度算法)切换为与所述目标阈值范围对应的目标复杂度算法(比如，低等复杂度算法)，从而可确保所述主播终端的CPU能够根据所述目标复杂度算法对后续采集到的多媒体数据进行实时处理。
又比如，仍以当前复杂度算法为中等复杂度算法为例，当获取到的所述第一多媒体数据中的数据帧的总数量为20帧，且检测到所述主播终端对所述第一多媒体数据进行数据处理和数据编码的过程中，统计到有17帧的数据帧的多媒体处理时长均小于4ms的预设阈值范围(预设阈值范围为小于4ms的范围内的预设比值为80％)，且有3帧的数据帧的多媒体处理时长均位于4-16ms的预设阈值范围(预设阈值范围为4-16ms的范围内的预设比值为60％)。此时，所述主播终端可将预设阈值范围为小于4ms的范围作为目标阈值范围，并可进一步计算得到这17帧的数据帧与所述总数量20帧之间的比值为85％，由于所述比值85％大于预设比值80％，因此，所述主播终端可进一步执行步骤S206-步骤S207，以将所述当前复杂度算法切换为与所述目标阈值范围对应的高保真算法，进而输出更高品质的多媒体数据。
步骤S206，若所述比值大于或等于所述预设比值，则确定所述每个预设阈值范围内的数据帧的数量满足预设的切换条件；
步骤S207，将所述当前复杂度算法切换为目标复杂度算法，以便于后续根据所述目标复杂度算法继续对采集到的第二多媒体数据进行多媒体处理；
具体地，若所述每个预设阈值范围内的数据帧的数量满足预设的切换条件，则获取与所述目标阈值范围对应的目标复杂度算法，并判断目标复杂度算法是否与所述当前复杂度算法相同，若判断为否，则将所述当前复杂度算法切换为目标复杂度算法；可选地，若判断为是，则保留所述当前复杂度算法。
由于采用这种方式对复杂度算法进行切换的过程中，只要检测到所述目标阈值范围内的数据帧的数量与所述第一多媒体中的数据帧的总数量的比值满足预设比值，即可将当前复杂度算法切换为与所述目标阈值范围对应的目标复杂度算法，因此，存在所述目标复杂度算法与所述当前复杂度算法相同的可能，还可能存在跳级切换的可能(比如，由高保真算法切换为低复杂度算法)。
比如，获取到的所述第一多媒体数据中的数据帧的总数量为20帧，且所述主播终端在对所述第一多媒体数据进行数据处理和数据编码的过程中，统计到有16帧的数据帧的多媒体处理时长均小于4ms的预设阈值范围(预设阈值范围为小于4ms的范围内的预设比值为80％)，且有4帧的数据帧的多媒体处理时长均位于4-16ms的预设阈值范围(预设阈值范围为4-16ms的范围内的预设比值为60％)。此时，所述主播终端可将预设阈值范围为小于4ms的范围作为目标阈值范围，并可进一步计算得到这17帧的数据帧与所述总数量20帧之间的比值为80％，由于所述比值85％等于预设比值80％，因此，所述主播终端可确定所述每个预设阈值范围内的数据帧的数量满足预设的切换条件，并进一步获取与小于4ms的预设阈值范围对应的目标复杂度算法(高保真算法)，并判断所述当前复杂度算法是否与所述目标复杂度算法相同。若所述当前复杂度算法为低复杂算法，则所述主播终端可确定所述当前复杂度算法与所述目标复杂度算法不相同，并可将当前复杂度算法切换为高保真算法，以实现跳级切换。可选地，若所述当前复杂度算法为高保真算法，则确定所述当前复杂度算法与所述目标复杂度算法相同，因此可保留当前复杂度算法(高保真算法)切。可选地，若所述当前复杂度算法为中等复杂度算法，则确定所述当前复杂度算法与所述目标复杂度算法不相同，即可将当前复杂度算法切换为高保真算法。可见，所述移动终端可根据所述主播终端的实际处理能力动态调整当前复杂度算法。
可选地，所述主播终端还可以获取与所述目标阈值范围对应的目标复杂度算法的等级，并计算所述目标复杂度算法的等级与所述当前复杂度算法的等级的差值，若所述差值的绝对值为第一预设差值，则将所述当前复杂度算法切换为所述目标复杂度算法，若所述差值大于所述第一预设差值，则将大于所述当前复杂度算法的等级且为等级相邻的复杂度算法确定为新的目标复杂度算法，并将所述当前复杂度算法切换为所述新的目标复杂度算法；可选地，若所述差值小于所述第二预设差值，则将小于所述当前复杂度算法的等级且为等级相邻的复杂度算法确定为新的目标复杂度算法，并将所述当前复杂度算法切换为所述新的目标复杂度算法；可选地，若所述差值为零，则确定保留所述当前复杂度算法。
其中，所述第一预设差值为1，表明当前复杂度算法与所述目标复杂度算法之间的等级差为±1，即二者属于相邻等级的复杂度算法。
其中，所述第二预设差值为小于-1的值(比如，-2，-3)，此时，则表明预设的复杂度算法已经远远不止前文所涉及到的三种复杂度算法(高保真算法、中等复杂度算法和低复杂度算法)，还存在其他形式的复杂度算法(比如，次保真算法等)。
同理可知，所述差值大于所述第一预设差值，此时所述目标复杂度算法的等级与所述当前复杂度算法的等级的差值可为2或3，也可表明预设的复杂度算法已经远远不止前文所涉及到的三种复杂度算法(高保真算法、中等复杂度算法和低复杂度算法)，还存在其他形式的复杂度算法(比如，次保真算法等)。
步骤S208，若所述比值小于所述预设比值，则确定所述每个预设阈值范围内的数据帧的数量不满足预设的切换条件。
具体地，所述主播终端在确定所述每个预设阈值范围内的数据帧的数量不满足预设的切换条件时，保留所述当前复杂度算法；可选地，若所述当前复杂度算法下CPU的处理能力确实无法继续对后续采集到的第二多媒体数据进行实时处理，则可从服务器上获取与所述主播终端对应的复杂度切换方案，所述复杂度切换方案中包含复杂度等级低于所述低复杂度所对应的等级。即此时至少有三个预设阈值，即预设阈值可以为4ms和16ms和26ms，以确保在原有的动态调整失效时，进一步得到大于16ms的预设阈值范围内的两个子预设阈值范围，并为两个子预设阈值范围进一步分配预设比值，以避免产生回声和卡顿等现象。
其中，所述服务器可为上述图1所对应实施例中的服务器2000，这里将不再继续进行赘述。
可选地，所述主播终端还可在所述第一多媒体数据对应的多媒体处理结果中提取预设数量的数据帧，作为历史数据帧，并根据所述目标复杂度算法对所述第二多媒体数据进行处理，得到与所述第二多媒体数据对应的待编码多媒体数据，并根据所述目标复杂度算法中的多媒体编码算法，对所述历史数据帧以及所述第二多媒体数据对应的待编码多媒体数据进行编码，得到与所述第二多媒体数据对应的多媒体处理结果；
其中，所述历史数据帧的帧长度至少为160ms，以确保在多媒体编码算法进行切换(比如，由AAC_SBR算法切换为AAC_LC算法)时，能通过对所述历史数据帧进行预处理，以初始化与所述目标复杂度算法对应的编码器，从而可缓解两种多媒体编码算法在进行算法切换时的编码延时。
其中，所述目标复杂度算法中的多媒体编码算法与所述当前复杂度算法中的多媒体编码算法不同；
其中，所述多媒体编码算法可以为低复杂度的多媒体编码算法或单通道的多媒体编码算法。
本发明实施例通过采集第一多媒体数据，并根据当前复杂度算法对所述第一多媒体数据进行数据处理；记录所述第一多媒体数据中每个数据帧分别对应的多媒体处理时长，并确定各数据帧分别对应的多媒体处理时长所处的预设阈值范围，并统计每个预设阈值范围内的数据帧的数量；若所述每个预设阈值范围内的数据帧的数量满足预设的切换条件，则将所述当前复杂度算法切换为目标复杂度算法，以便于后续根据所述目标复杂度算法继续对采集到的第二多媒体数据进行多媒体处理。由此可见，本发明通过设置多个预设阈值范围，可进一步统计每个预设阈值范围内的数据帧的数量，并在各预设阈值范围内的数量满足所述切换条件时，对当前复杂度算法进行切换，以保证切换后的复杂度算法与调整后的CPU处理能力相匹配，从而提高对多媒体数据的处理效率，并以确保播放多媒体数据的流畅度。
进一步地，请参见图4，是本发明实施例提供的一种多媒体数据处理装置的结构示意图。如图4所示，所述多媒体数据处理装置1可应用于上述图1所对应实施例中的主播终端3000，所述多媒体数据处理装置1可以包括：采集处理模块10，记录统计模块20、算法切换模块30和通知模块40；
所述采集处理模块10，用于采集第一多媒体数据，并根据当前复杂度算法对所述第一多媒体数据进行数据处理；
所述记录统计模块20，用于记录所述第一多媒体数据中每个数据帧分别对应的多媒体处理时长，并确定各数据帧分别对应的多媒体处理时长所处的预设阈值范围，并统计每个预设阈值范围内的数据帧的数量；
所述算法切换模块30，用于若所述每个预设阈值范围内的数据帧的数量满足预设的切换条件，则将所述当前复杂度算法切换为目标复杂度算法；
所述通知模块40，用于通知所述采集处理模块10根据所述目标复杂度算法继续对采集到的第二多媒体数据进行多媒体处理。
其中，所述采集处理模块10，记录统计模块20、算法切换模块30和通知模块40的具体实现方式可参见上述图2所对应实施例中对步骤S101-步骤S103的描述，这里将不再进行赘述。
本发明实施例通过采集第一多媒体数据，并根据当前复杂度算法对所述第一多媒体数据进行数据处理；记录所述第一多媒体数据中每个数据帧分别对应的多媒体处理时长，并确定各数据帧分别对应的多媒体处理时长所处的预设阈值范围，并统计每个预设阈值范围内的数据帧的数量；若所述每个预设阈值范围内的数据帧的数量满足预设的切换条件，则将所述当前复杂度算法切换为目标复杂度算法，以便于后续根据所述目标复杂度算法继续对采集到的第二多媒体数据进行多媒体处理。由此可见，本发明通过设置多个预设阈值范围，可进一步统计每个预设阈值范围内的数据帧的数量，并在各预设阈值范围内的数量满足所述切换条件时，对当前复杂度算法进行切换，以保证切换后的复杂度算法与调整后的CPU处理能力相匹配，从而提高对多媒体数据的处理效率，并以确保播放多媒体数据的流畅度。
进一步地，请参见图5，是本发明实施例提供的另一种多媒体数据处理装置的结构示意图。如图5所示，所述多媒体数据处理装置1可应用于上述图1所对应实施例中的主播终端3000，所述多媒体数据处理装置1可以包括上述图4所对应实施例中的所述采集处理模块10，记录统计模块20、算法切换模块30和通知模块40，进一步地，所述多媒体数据处理装置1还可以包括；总数量获取模块50，目标范围选择模块60，计算模块70，比值判断模块80、确定模块90，数据帧提取模块100；
所述总数量获取模块50，用于获取所述第一多媒体数据中的数据帧的总数量；
所述目标范围选择模块60，用于在所有预设阈值范围中选择具有最大数量的数据帧的预设阈值范围，作为目标阈值范围；
所述计算模块70，用于计算所述目标阈值范围内的数据帧的数量与所述第一多媒体中的数据帧的总数量的比值；
所述比值判断模块80，用于判断所述比值是否大于或等于与所述目标阈值范围对应的预设比值；
所述确定模块90，用于若所述比值大于或等于所述预设比值，则确定所述每个预设阈值范围内的数据帧的数量满足预设的切换条件；
所述确定模块90，还用于若所述比值小于所述预设比值，则确定所述每个预设阈值范围内的数据帧的数量不满足预设的切换条件。
其中，所述总数量获取模块50，目标范围选择模块60，计算模块70，比值判断模块80、确定模块90的具体实现方式可参见上述图3所对应实施例中对步骤S203-步骤S209的描述，这里将不再继续进行赘述。
进一步地，请参见图6，是本发明实施例提供的一种算法切换模块的结构示意图。如图6所示，所述算法切换模块30包括：目标算法获取单元301，算法判断单元302，算法切换单元303，算法保留单元304；
所述目标算法获取单元301，用于若所述每个预设阈值范围内的数据帧的数量满足预设的切换条件，获取与所述目标阈值范围对应的目标复杂度算法；
所述算法判断单元302，用于判断目标复杂度算法是否与所述当前复杂度算法相同；
所述算法切换单元303，用于若判断为否，则将所述当前复杂度算法切换为目标复杂度算法；
所述算法保留单元304，用于若判断为是，则保留所述当前复杂度算法。
其中，所述目标算法获取单元301，算法判断单元302，算法切换单元303，算法保留单元304的具体实现方式可参见上述图3所对应实施例中对步骤S207的描述，这里将不再继续进行赘述。
可选地，请参见图7，是本发明实施例提供的另一种算法切换模块的结构示意图。如图7所示，所述算法切换模块30包括：等级获取单元305，差值计算单元306，第一确定切换单元307，第二确定切换单元308，第三确定切换单元309和确定保留单元310；
所述等级获取单元305，用于若所述每个预设阈值范围内的数据帧的数量满足预设的切换条件，则获取与所述目标阈值范围对应的目标复杂度算法的等级；
所述差值计算单元306，用于计算所述目标复杂度算法的等级与所述当前复杂度算法的等级的差值；
所述第一确定切换单元307，用于若所述差值的绝对值为第一预设差值，则将所述当前复杂度算法切换为所述目标复杂度算法；
所述第二确定切换单元308，用于若所述差值大于所述第一预设差值，则将大于所述当前复杂度算法的等级且为等级相邻的复杂度算法确定为新的目标复杂度算法，并将所述当前复杂度算法切换为所述新的目标复杂度算法；
所述第三确定切换单元309，用于若所述差值小于所述第二预设差值，则将小于所述当前复杂度算法的等级且为等级相邻的复杂度算法确定为新的目标复杂度算法，并将所述当前复杂度算法切换为所述新的目标复杂度算法；
所述确定保留单元310，用于若所述差值为零，则确定保留所述当前复杂度算法。
其中，所述等级获取单元305，差值计算单元306，第一确定切换单元307，第二确定切换单元308，第三确定切换单元309和确定保留单元310的具体实现方式可参见上述图3所对应实施例中对步骤S207的描述，这里将不再继续进行赘述。
进一步地，请参见图8，是本发明实施例提供的一种采集处理模块的结构示意图。如图8所示，所述采集处理模块10包括：采集判断单元101，第一提取单元102，数据处理编码单元103，第二提取单元104，数据解码处理单元105；
所述采集判断单元101，用于采集第一多媒体数据，并判断所述第一多媒体数据是否属于近端多媒体数据类型；所述第一多媒体数据中包含目标多媒体数据和环境噪音数据；
所述第一提取单元102，用于若判断为是，则在所述当前复杂度算法中提取与所述近端多媒体数据类型相关联的近端算法集合；
所述数据处理编码单元103，用于根据所述近端算法集合滤除所述第一多媒体数据中携带的所述环境噪音数据，得到与所述目标多媒体数据对应的待编码多媒体数据，并对所述待编码多媒体数据进行多媒体编码，得到与所述第一多媒体数据对应的多媒体处理结果。
所述第二提取单元104，用于若判断出所述第一多媒体数据不属于近端多媒体数据类型，则在所述当前复杂度算法中提取与远端多媒体数据类型相关联的远端算法集合；
所述数据解码处理单元105，用于根据所述远端算法集合对所述第一多媒体数据进行多媒体解码，得到携带语音检测标识的解码多媒体数据，并根据所述远端算法集合对所述解码多媒体数据进行处理，得到与所述第一多媒体数据对应的多媒体处理结果。
其中，所述采集判断单元101，第一提取单元102，数据处理编码单元103，第二提取单元104，数据解码处理单元105的具体实现方式可参见上述图2所对应实施例中对步骤S101的描述，这里将不再继续进行赘述。
进一步地，请参见图9，是本发明实施例提供的一种数据处理编码单元的结构示意图。如图9所示，所述数据处理编码单元103包括：第一拆分子单元1031，第一处理子单元1032，第一编码子单元1033,第二拆分子单元1034，第二处理子单元1035，第二编码子单元1036，第三拆分子单元1037，第三处理子单元1038和第三编码子单元1039；
所述第一拆分子单元1031，用于根据降采样算法对所述第一多媒体数据进行频带拆分，得到所述第一多媒体数据中的高频分量数据和低频分量数据；
所述第一处理子单元1032，用于根据高复杂度的回声消除算法、降噪算法、高复杂度的语音检测算法、高复杂度的自动增益控制算法、升采样算法对所述第一多媒体数据中的高频分量数据和低频分量数据进行处理，得到与所述目标多媒体数据对应的待编码多媒体数据；
所述第一编码子单元1033，用于根据单通道多媒体编码算法对所述待编码多媒体数据进行多媒体编码，得到与所述第一多媒体数据对应的多媒体处理结果。
可选地，所述第二拆分子单元1034，用于根据降采样算法对所述第一多媒体数据进行频带拆分，得到所述第一多媒体数据中的高频分量数据和低频分量数据；
所述第二处理子单元1035，用于根据低复杂度的回声消除算法、低复杂度的降噪算法、低复杂度的语音检测算法、升采样算法对所述第一多媒体数据中的高频分量数据和低频分量数据进行处理，得到与所述目标多媒体数据对应的待编码多媒体数据；
所述第二编码子单元1036，用于根据单通道多媒体编码算法对所述待编码多媒体数据进行多媒体编码，得到与所述第一多媒体数据对应的多媒体处理结果。
可选地，所第三拆分子单元1037，用于根据降采样算法对所述第一多媒体数据进行频带拆分，并将所述第一多媒体数据中的高频分量数据置零，得到所述第一多媒体数据中的低频分量数据；
所述第三处理子单元1038，用于根据低复杂度的回声消除算法、低复杂度的降噪算法、低复杂度的语音检测算法、升采样算法对所述第一多媒体数据中的低频分量数据进行处理，得到与所述目标多媒体数据对应的待编码多媒体数据；
所述第三编码子单元1039，用于根据低复杂度的多媒体编码算法对所述待编码多媒体数据进行多媒体编码，得到与所述第一多媒体数据对应的多媒体处理结果。
其中，所述第一拆分子单元1031，第一处理子单元1032，第一编码子单元1033,第二拆分子单元1034，第二处理子单元1035，第二编码子单元1036，第三拆分子单元1037，第三处理子单元1038和第三编码子单元1039的具体实现方式可参见上述图2所对应实施例中对近端算法集合中的三种复杂度算法的描述，这里将不再继续进行赘述。
进一步地，请参见图10，是本发明实施例提供的一种数据解码处理单元的结构示意图。如图10所示，所述数据解码处理单元105包括：第一解码子单元1051，第一结果获取子单元1052，第二解码子单元1053，第二结果获取子单元1054，第三解码子单元1055和第三结果获取子单元1056；
所述第一解码子单元1051，用于根据所述远端算法集合中的解码算法对所述第一多媒体数据进行多媒体解码，得到携带语音检测标识的解码多媒体数据；
所述第一结果获取子单元1052，用于根据所述远端算法集合中携带的降采样算法、啸叫抑制算法、高复杂度的降噪算法、高复杂度的语音检测算法、升采样算法对所述解码多媒体数据进行处理，得到与所述第一多媒体数据对应的多媒体处理结果。
可选地，所述第二解码子单元1053，用于根据所述远端算法集合中的解码算法对所述第一多媒体数据进行多媒体解码，得到携带语音检测标识的解码多媒体数据；
所述第二结果获取子单元1054，用于根据所述远端算法集合中携带的降采样算法、低复杂度的降噪算法、低复杂度的语音检测算法、升采样算法对所述解码多媒体数据进行处理，得到与所述第一多媒体数据对应的多媒体处理结果。
可选地，所述第三解码子单元1055，用于根据所述远端算法集合中的解码算法对所述第一多媒体数据进行多媒体解码，得到携带语音检测标识的解码多媒体数据；
所述第三结果获取子单元1056，用于提取所述解码多媒体数据中携带的语音检测标识，并根据所述语音检测标识对所述解码多媒体数据进行处理，得到与所述第一多媒体数据对应的多媒体处理结果。
其中，所述第一解码子单元1051，第一结果获取子单元1052，第二解码子单元1053，第二结果获取子单元1054，第三解码子单元1055和第三结果获取子单元1056的具体实现方式可参见上述图2所对应实施例中对远端算法集合中的三种复杂度算法的描述，这里将不再继续进行赘述。
可选地，所述数据帧提取模块100，用于在所述第一多媒体数据对应的多媒体处理结果中提取预设数量的数据帧，作为历史数据帧；
所述通知模块40，具体用于通知所述采集处理模块10根据与所述目标复杂度算法对所述第二多媒体数据进行处理，得到与所述第二多媒体数据对应的待编码多媒体数据；所述目标复杂度算法中的多媒体编码算法与所述当前复杂度算法中的多媒体编码算法不同；
所述通知模块40，还具体用于通知所述采集处理模块10根据所述目标复杂度算法中的多媒体编码算法，对所述历史数据帧以及所述第二多媒体数据对应的待编码多媒体数据进行编码，得到与所述第二多媒体数据对应的多媒体处理结果；所述多媒体编码算法为低复杂度的多媒体编码算法或单通道的多媒体编码算法。
本发明实施例通过采集第一多媒体数据，并根据当前复杂度算法对所述第一多媒体数据进行数据处理；记录所述第一多媒体数据中每个数据帧分别对应的多媒体处理时长，并确定各数据帧分别对应的多媒体处理时长所处的预设阈值范围，并统计每个预设阈值范围内的数据帧的数量；若所述每个预设阈值范围内的数据帧的数量满足预设的切换条件，则将所述当前复杂度算法切换为目标复杂度算法，以便于后续根据所述目标复杂度算法继续对采集到的第二多媒体数据进行多媒体处理。由此可见，本发明通过设置多个预设阈值范围，可进一步统计每个预设阈值范围内的数据帧的数量，并在各预设阈值范围内的数量满足所述切换条件时，对当前复杂度算法进行切换，以保证切换后的复杂度算法与调整后的CPU处理能力相匹配，从而提高对多媒体数据的处理效率，并以确保播放多媒体数据的流畅度。
进一步地，请参见图11，是本发明实施例提供的又一种多媒体数据处理装置的结构示意图。如图11所示，所述多媒体数据处理装置1000可以应用于上述图1对应实施例中的主播终端3000，所述多媒体数据处理装置1000可以包括：处理器1001，网络接口1004和存储器1004，此外，所述多媒体数据处理装置1000还可以包括：用户接口1003，和至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(Display)、键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1004可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1004可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图11所示，作为一种计算机存储介质的存储器1004中可以包括操作***、网络通信模块、用户接口模块以及设备控制应用程序。
在图11所示的多媒体数据处理装置1000中，网络接口1004可提供网络通讯功能；而用户接口1003主要用于为用户提供输入的接口；而处理器1001可以用于调用存储器1004中存储的设备控制应用程序，以实现：
采集第一多媒体数据，并根据当前复杂度算法对所述第一多媒体数据进行数据处理；
记录所述第一多媒体数据中每个数据帧分别对应的多媒体处理时长，并确定各数据帧分别对应的多媒体处理时长所处的预设阈值范围，并统计每个预设阈值范围内的数据帧的数量；
若所述每个预设阈值范围内的数据帧的数量满足预设的切换条件，则将所述当前复杂度算法切换为目标复杂度算法，以便于后续根据所述目标复杂度算法继续对采集到的第二多媒体数据进行多媒体处理。
应当理解，本发明实施例中所描述的多媒体数据处理装置1000可执行前文图2或图3所对应实施例中对所述多媒体数据处理方法的描述，也可执行前文图4所对应实施例中对所述多媒体数据处理装置的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
此外，这里需要指出的是：本发明实施例还提供了一种计算机存储介质，且所述计算机存储介质中存储有前文提及的多媒体数据处理装置1所执行的计算机程序，且所述计算机程序包括程序指令，当所述处理器执行所述程序指令时，能够执行前文图2或图3所对应实施例中对所述多媒体数据处理方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本发明所涉及的计算机存储介质实施例中未披露的技术细节，请参照本发明方法实施例的描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (28)

1.一种多媒体数据处理方法，其特征在于，包括：
采集第一多媒体数据，并根据当前复杂度算法对所述第一多媒体数据进行数据处理；
记录所述第一多媒体数据中每个数据帧分别对应的多媒体处理时长，并确定各数据帧分别对应的多媒体处理时长所处的预设阈值范围，并统计每个预设阈值范围内的数据帧的数量；
若所述每个预设阈值范围内的数据帧的数量满足预设的切换条件，则将所述当前复杂度算法切换为目标复杂度算法，以便于后续根据所述目标复杂度算法继续对采集到的第二多媒体数据进行多媒体处理；所述目标复杂度算法是与所述第二多媒体数据所对应的调整后的CPU(处理器)的处理能力相匹配的，且所述第一多媒体数据的处理耗时和所述第二多媒体数据的处理耗时是保持一致的。
2.根据权利要求1所述的方法，其特征在于，在所述若所述每个预设阈值范围内的数据帧的数量满足预设的切换条件，则将所述当前复杂度算法切换为目标复杂度算法的步骤之前，还包括：
获取所述第一多媒体数据中的数据帧的总数量；
在所有预设阈值范围中选择具有最大数量的数据帧的预设阈值范围，作为目标阈值范围；
计算所述目标阈值范围内的数据帧的数量与所述第一多媒体中的数据帧的总数量的比值，并判断所述比值是否大于或等于与所述目标阈值范围对应的预设比值；
若所述比值大于或等于所述预设比值，则确定所述每个预设阈值范围内的数据帧的数量满足预设的切换条件；
若所述比值小于所述预设比值，则确定所述每个预设阈值范围内的数据帧的数量不满足预设的切换条件。
3.根据权利要求2所述的方法，其特征在于，所述若所述每个预设阈值范围内的数据帧的数量满足预设的切换条件，则将所述当前复杂度算法切换为目标复杂度算法，包括：
若所述每个预设阈值范围内的数据帧的数量满足预设的切换条件，则获取与所述目标阈值范围对应的目标复杂度算法；
判断目标复杂度算法是否与所述当前复杂度算法相同；
若判断为否，则将所述当前复杂度算法切换为目标复杂度算法；
若判断为是，则保留所述当前复杂度算法。
4.根据权利要求2所述的方法，其特征在于，所述若所述每个预设阈值范围内的数据帧的数量满足预设的切换条件，则将所述当前复杂度算法切换为目标复杂度算法，包括：
若所述每个预设阈值范围内的数据帧的数量满足预设的切换条件，则获取与所述目标阈值范围对应的目标复杂度算法的等级；
计算所述目标复杂度算法的等级与所述当前复杂度算法的等级的差值；
若所述差值的绝对值为第一预设差值，则将所述当前复杂度算法切换为所述目标复杂度算法；
若所述差值大于所述第一预设差值，则将大于所述当前复杂度算法的等级且为等级相邻的复杂度算法确定为新的目标复杂度算法，并将所述当前复杂度算法切换为所述新的目标复杂度算法；
若所述差值小于第二预设差值，则将小于所述当前复杂度算法的等级且为等级相邻的复杂度算法确定为新的目标复杂度算法，并将所述当前复杂度算法切换为所述新的目标复杂度算法；
若所述差值为零，则确定保留所述当前复杂度算法。
5.根据权利要求1所述的方法，所述采集第一多媒体数据，并根据当前复杂度算法对所述第一多媒体数据进行多媒体处理，包括：
采集第一多媒体数据，并判断所述第一多媒体数据是否属于近端多媒体数据类型；所述第一多媒体数据中包含目标多媒体数据和环境噪音数据；
若判断为是，则在所述当前复杂度算法中提取与所述近端多媒体数据类型相关联的近端算法集合；
根据所述近端算法集合滤除所述第一多媒体数据中携带的所述环境噪音数据，得到与所述目标多媒体数据对应的待编码多媒体数据，并对所述待编码多媒体数据进行多媒体编码，得到与所述第一多媒体数据对应的多媒体处理结果。
6.根据权利要求5所述的方法，其特征在于，所述当前复杂度算法为预设的高保真算法；
所述根据所述近端算法集合滤除所述第一多媒体数据中携带的所述环境噪音数据，得到与所述目标多媒体数据对应的待编码多媒体数据，并对所述待编码多媒体数据进行多媒体编码，得到与所述第一多媒体数据对应的多媒体处理结果，包括：
根据降采样算法对所述第一多媒体数据进行频带拆分，得到所述第一多媒体数据中的高频分量数据和低频分量数据；
根据高复杂度的回声消除算法、降噪算法、高复杂度的语音检测算法、高复杂度的自动增益控制算法、升采样算法对所述第一多媒体数据中的高频分量数据和低频分量数据进行处理，得到与所述目标多媒体数据对应的待编码多媒体数据；
根据单通道多媒体编码算法对所述待编码多媒体数据进行多媒体编码，得到与所述第一多媒体数据对应的多媒体处理结果。
7.根据权利要求5所述的方法，其特征在于，所述当前复杂度算法为预设的中等复杂度算法；
所述根据所述近端算法集合滤除所述第一多媒体数据中携带的所述环境噪音数据，得到与所述目标多媒体数据对应的待编码多媒体数据，并对所述待编码多媒体数据进行多媒体编码，得到与所述第一多媒体数据对应的多媒体处理结果，包括：
根据降采样算法对所述第一多媒体数据进行频带拆分，得到所述第一多媒体数据中的高频分量数据和低频分量数据；
根据低复杂度的回声消除算法、低复杂度的降噪算法、低复杂度的语音检测算法、升采样算法对所述第一多媒体数据中的高频分量数据和低频分量数据进行处理，得到与所述目标多媒体数据对应的待编码多媒体数据；
根据单通道多媒体编码算法对所述待编码多媒体数据进行多媒体编码，得到与所述第一多媒体数据对应的多媒体处理结果。
8.根据权利要求5所述的方法，其特征在于，所述当前复杂度算法为预设的低复杂度算法；
所述根据所述近端算法集合滤除所述第一多媒体数据中携带的所述环境噪音数据，得到与所述目标多媒体数据对应的待编码多媒体数据，并对所述待编码多媒体数据进行多媒体编码，得到与所述第一多媒体数据对应的多媒体处理结果，包括：
根据降采样算法对所述第一多媒体数据进行频带拆分，并将所述第一多媒体数据中的高频分量数据置零，得到所述第一多媒体数据中的低频分量数据；
根据低复杂度的回声消除算法、低复杂度的降噪算法、低复杂度的语音检测算法、升采样算法对所述第一多媒体数据中的低频分量数据进行处理，得到与所述目标多媒体数据对应的待编码多媒体数据；
根据低复杂度的多媒体编码算法对所述待编码多媒体数据进行多媒体编码，得到与所述第一多媒体数据对应的多媒体处理结果。
9.根据权利要求5所述的方法，其特征在于，还包括：
若判断出所述第一多媒体数据不属于近端多媒体数据类型，则在所述当前复杂度算法中提取与远端多媒体数据类型相关联的远端算法集合；
根据所述远端算法集合对所述第一多媒体数据进行多媒体解码，得到携带语音检测标识的解码多媒体数据，并根据所述远端算法集合对所述解码多媒体数据进行处理，得到与所述第一多媒体数据对应的多媒体处理结果。
10.根据权利要求9所述的方法，其特征在于，所述当前复杂度算法为预设的高保真算法；
根据所述远端算法集合对所述第一多媒体数据进行多媒体解码，得到携带语音检测标识的解码多媒体数据，并根据所述远端算法集合对所述解码多媒体数据进行处理，得到与所述第一多媒体数据对应的多媒体处理结果，包括：
根据所述远端算法集合中的解码算法对所述第一多媒体数据进行多媒体解码，得到携带语音检测标识的解码多媒体数据；
根据所述远端算法集合中携带的降采样算法、啸叫抑制算法、高复杂度的降噪算法、高复杂度的语音检测算法、升采样算法对所述解码多媒体数据进行处理，得到与所述第一多媒体数据对应的多媒体处理结果。
11.根据权利要求9所述的方法，其特征在于，所述当前复杂度算法为预设的中等复杂度算法；
所述根据所述远端算法集合对所述第一多媒体数据进行多媒体解码，得到携带语音检测标识的解码多媒体数据，并根据所述远端算法集合对所述解码多媒体数据进行处理，得到与所述第一多媒体数据对应的多媒体处理结果，包括：
根据所述远端算法集合中的解码算法对所述第一多媒体数据进行多媒体解码，得到携带语音检测标识的解码多媒体数据；
根据所述远端算法集合中携带的降采样算法、低复杂度的降噪算法、低复杂度的语音检测算法、升采样算法对所述解码多媒体数据进行处理，得到与所述第一多媒体数据对应的多媒体处理结果。
12.根据权利要求9所述的方法，其特征在于，所述当前复杂度算法为预设的低复杂度算法；
所述根据所述远端算法集合对所述第一多媒体数据进行多媒体解码，得到携带语音检测标识的解码多媒体数据，并根据所述远端算法集合对所述解码多媒体数据进行处理，得到与所述第一多媒体数据对应的多媒体处理结果，包括：
根据所述远端算法集合中的解码算法对所述第一多媒体数据进行多媒体解码，得到携带语音检测标识的解码多媒体数据；
提取所述解码多媒体数据中携带的语音检测标识，并根据所述语音检测标识对所述解码多媒体数据进行处理，得到与所述第一多媒体数据对应的多媒体处理结果。
13.根据权利要求5所述的方法，其特征在于，在所述将所述当前复杂度算法切换为目标复杂度算法之后，还包括：
在所述第一多媒体数据对应的多媒体处理结果中提取预设数量的数据帧，作为历史数据帧；
根据所述目标复杂度算法对所述第二多媒体数据进行处理，得到与所述第二多媒体数据对应的待编码多媒体数据；所述目标复杂度算法中的多媒体编码算法与所述当前复杂度算法中的多媒体编码算法不同；
根据所述目标复杂度算法中的多媒体编码算法，对所述历史数据帧以及所述第二多媒体数据对应的待编码多媒体数据进行编码，得到与所述第二多媒体数据对应的多媒体处理结果；所述多媒体编码算法为低复杂度的多媒体编码算法或单通道的多媒体编码算法。
14.一种多媒体数据处理装置，其特征在于，包括：
采集处理模块，用于采集第一多媒体数据，并根据当前复杂度算法对所述第一多媒体数据进行数据处理；
记录统计模块，用于记录所述第一多媒体数据中每个数据帧分别对应的多媒体处理时长，并确定各数据帧分别对应的多媒体处理时长所处的预设阈值范围，并统计每个预设阈值范围内的数据帧的数量；
算法切换模块，用于若所述每个预设阈值范围内的数据帧的数量满足预设的切换条件，则将所述当前复杂度算法切换为目标复杂度算法；
通知模块，用于通知所述采集处理模块根据所述目标复杂度算法继续对采集到的第二多媒体数据进行多媒体处理；所述目标复杂度算法是与所述第二多媒体数据所对应的调整后的CPU(处理器)的处理能力相匹配的，且所述第一多媒体数据的处理耗时和所述第二多媒体数据的处理耗时是保持一致的。
15.根据权利要求14所述的装置，其特征在于，还包括：
总数量获取模块，用于获取所述第一多媒体数据中的数据帧的总数量；
目标范围选择模块，用于在所有预设阈值范围中选择具有最大数量的数据帧的预设阈值范围，作为目标阈值范围；
计算模块，用于计算所述目标阈值范围内的数据帧的数量与所述第一多媒体中的数据帧的总数量的比值；
比值判断模块，用于判断所述比值是否大于或等于与所述目标阈值范围对应的预设比值；
确定模块，用于若所述比值大于或等于所述预设比值，则确定所述每个预设阈值范围内的数据帧的数量满足预设的切换条件；
所述确定模块，还用于若所述比值小于所述预设比值，则确定所述每个预设阈值范围内的数据帧的数量不满足预设的切换条件。
16.根据权利要求15所述的装置，其特征在于，所述算法切换模块包括：
目标算法获取单元，用于若所述每个预设阈值范围内的数据帧的数量满足预设的切换条件，获取与所述目标阈值范围对应的目标复杂度算法；
算法判断单元，用于判断目标复杂度算法是否与所述当前复杂度算法相同；
算法切换单元，用于若判断为否，则将所述当前复杂度算法切换为目标复杂度算法；
算法保留单元，用于若判断为是，则保留所述当前复杂度算法。
17.根据权利要求15所述的装置，其特征在于，所述算法切换模块包括：
等级获取单元，用于若所述每个预设阈值范围内的数据帧的数量满足预设的切换条件，则获取与所述目标阈值范围对应的目标复杂度算法的等级；
差值计算单元，用于计算所述目标复杂度算法的等级与所述当前复杂度算法的等级的差值；
第一确定切换单元，用于若所述差值的绝对值为第一预设差值，则将所述当前复杂度算法切换为所述目标复杂度算法；
第二确定切换单元，用于若所述差值大于所述第一预设差值，则将大于所述当前复杂度算法的等级且为等级相邻的复杂度算法确定为新的目标复杂度算法，并将所述当前复杂度算法切换为所述新的目标复杂度算法；
第三确定切换单元，用于若所述差值小于第二预设差值，则将小于所述当前复杂度算法的等级且为等级相邻的复杂度算法确定为新的目标复杂度算法，并将所述当前复杂度算法切换为所述新的目标复杂度算法；
确定保留单元，用于若所述差值为零，则确定保留所述当前复杂度算法。
18.根据权利要求14所述的装置，所述采集处理模块包括：
采集判断单元，用于采集第一多媒体数据，并判断所述第一多媒体数据是否属于近端多媒体数据类型；所述第一多媒体数据中包含目标多媒体数据和环境噪音数据；
第一提取单元，用于若判断为是，则在所述当前复杂度算法中提取与所述近端多媒体数据类型相关联的近端算法集合；
数据处理编码单元，用于根据所述近端算法集合滤除所述第一多媒体数据中携带的所述环境噪音数据，得到与所述目标多媒体数据对应的待编码多媒体数据，并对所述待编码多媒体数据进行多媒体编码，得到与所述第一多媒体数据对应的多媒体处理结果。
19.根据权利要求18所述的装置，其特征在于，所述当前复杂度算法为预设的高保真算法；
所述数据处理编码单元包括：
第一拆分子单元，用于根据降采样算法对所述第一多媒体数据进行频带拆分，得到所述第一多媒体数据中的高频分量数据和低频分量数据；
第一处理子单元，用于根据高复杂度的回声消除算法、降噪算法、高复杂度的语音检测算法、高复杂度的自动增益控制算法、升采样算法对所述第一多媒体数据中的高频分量数据和低频分量数据进行处理，得到与所述目标多媒体数据对应的待编码多媒体数据；
第一编码子单元，用于根据单通道多媒体编码算法对所述待编码多媒体数据进行多媒体编码，得到与所述第一多媒体数据对应的多媒体处理结果。
20.根据权利要求18所述的装置，其特征在于，所述当前复杂度算法为预设的中等复杂度算法；
所述数据处理编码单元包括：
第二拆分子单元，用于根据降采样算法对所述第一多媒体数据进行频带拆分，得到所述第一多媒体数据中的高频分量数据和低频分量数据；
第二处理子单元，用于根据低复杂度的回声消除算法、低复杂度的降噪算法、低复杂度的语音检测算法、升采样算法对所述第一多媒体数据中的高频分量数据和低频分量数据进行处理，得到与所述目标多媒体数据对应的待编码多媒体数据；
第二编码子单元，用于根据单通道多媒体编码算法对所述待编码多媒体数据进行多媒体编码，得到与所述第一多媒体数据对应的多媒体处理结果。
21.根据权利要求18所述的装置，其特征在于，所述当前复杂度算法为预设的低复杂度算法；
所述数据处理编码单元包括：
第三拆分子单元，用于根据降采样算法对所述第一多媒体数据进行频带拆分，并将所述第一多媒体数据中的高频分量数据置零，得到所述第一多媒体数据中的低频分量数据；
第三处理子单元，用于根据低复杂度的回声消除算法、低复杂度的降噪算法、低复杂度的语音检测算法、升采样算法对所述第一多媒体数据中的低频分量数据进行处理，得到与所述目标多媒体数据对应的待编码多媒体数据；
第三编码子单元，用于根据低复杂度的多媒体编码算法对所述待编码多媒体数据进行多媒体编码，得到与所述第一多媒体数据对应的多媒体处理结果。
22.根据权利要求18所述的装置，其特征在于，所述采集处理模块还包括：
第二提取单元，用于若判断出所述第一多媒体数据不属于近端多媒体数据类型，则在所述当前复杂度算法中提取与远端多媒体数据类型相关联的远端算法集合；
数据解码处理单元，用于根据所述远端算法集合对所述第一多媒体数据进行多媒体解码，得到携带语音检测标识的解码多媒体数据，并根据所述远端算法集合对所述解码多媒体数据进行处理，得到与所述第一多媒体数据对应的多媒体处理结果。
23.根据权利要求22所述的装置，其特征在于，所述当前复杂度算法为预设的高保真算法；
所述数据解码处理单元包括：
第一解码子单元，用于根据所述远端算法集合中的解码算法对所述第一多媒体数据进行多媒体解码，得到携带语音检测标识的解码多媒体数据；
第一结果获取子单元，用于根据所述远端算法集合中携带的降采样算法、啸叫抑制算法、高复杂度的降噪算法、高复杂度的语音检测算法、升采样算法对所述解码多媒体数据进行处理，得到与所述第一多媒体数据对应的多媒体处理结果。
24.根据权利要求22所述的装置，其特征在于，所述当前复杂度算法为预设的中等复杂度算法；
所述数据解码处理单元包括：
第二解码子单元，用于根据所述远端算法集合中的解码算法对所述第一多媒体数据进行多媒体解码，得到携带语音检测标识的解码多媒体数据；
第二结果获取子单元，用于根据所述远端算法集合中携带的降采样算法、低复杂度的降噪算法、低复杂度的语音检测算法、升采样算法对所述解码多媒体数据进行处理，得到与所述第一多媒体数据对应的多媒体处理结果。
25.根据权利要求22所述的装置，其特征在于，所述当前复杂度算法为预设的低复杂度算法；
所述数据解码处理单元包括：
第三解码子单元，用于根据所述远端算法集合中的解码算法对所述第一多媒体数据进行多媒体解码，得到携带语音检测标识的解码多媒体数据；
第三结果获取子单元，用于提取所述解码多媒体数据中携带的语音检测标识，并根据所述语音检测标识对所述解码多媒体数据进行处理，得到与所述第一多媒体数据对应的多媒体处理结果。
26.根据权利要求18所述的装置，其特征在于，还包括：
数据帧提取模块，用于在所述第一多媒体数据对应的多媒体处理结果中提取预设数量的数据帧，作为历史数据帧；
所述通知模块，具体用于通知所述采集处理模块根据与所述目标复杂度算法对所述第二多媒体数据进行处理，得到与所述第二多媒体数据对应的待编码多媒体数据；所述目标复杂度算法中的多媒体编码算法与所述当前复杂度算法中的多媒体编码算法不同；
所述通知模块，还具体用于通知所述采集处理模块根据所述目标复杂度算法中的多媒体编码算法，对所述历史数据帧以及所述第二多媒体数据对应的待编码多媒体数据进行编码，得到与所述第二多媒体数据对应的多媒体处理结果；所述多媒体编码算法为低复杂度的多媒体编码算法或单通道的多媒体编码算法。
27.一种多媒体数据处理装置，其特征在于，包括：处理器、存储器、网络接口；
所述处理器分别与网络接口、存储器相连，其中，所述网络接口用于接收和发送多媒体数据，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行如权利要求1-13任一项所述的方法。
28.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，当所述处理器执行所述程序指令时执行如权利要求1-13任一项所述的方法。
CN201710569644.6A 2017-07-13 2017-07-13 一种多媒体数据处理方法和装置 Active CN107426200B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710569644.6A CN107426200B (zh) 2017-07-13 2017-07-13 一种多媒体数据处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710569644.6A CN107426200B (zh) 2017-07-13 2017-07-13 一种多媒体数据处理方法和装置

Publications (2)

Publication Number Publication Date
CN107426200A CN107426200A (zh) 2017-12-01
CN107426200B true CN107426200B (zh) 2020-10-23

Family

ID=60426963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710569644.6A Active CN107426200B (zh) 2017-07-13 2017-07-13 一种多媒体数据处理方法和装置

Country Status (1)

Country Link
CN (1) CN107426200B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109348289B (zh) * 2018-11-15 2021-08-24 北京奇艺世纪科技有限公司 新闻节目的标题提取方法及装置
CN110708330B (zh) * 2019-10-16 2021-12-24 北京字节跳动网络技术有限公司 一种啸叫预防方法、装置、设备及存储介质
CN111935231A (zh) * 2020-07-13 2020-11-13 支付宝(杭州)信息技术有限公司 信息处理方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101137064A (zh) * 2006-08-29 2008-03-05 辉达公司 在视频解码期间用于动态频率调整的方法和***
CN103856812A (zh) * 2014-03-25 2014-06-11 北京奇艺世纪科技有限公司 一种视频播放方法及装置
CN106292857A (zh) * 2015-05-14 2017-01-04 广达电脑股份有限公司 电子装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI277346B (en) * 2004-10-21 2007-03-21 Via Tech Inc Processing device switching time axis in video data stream and method thereof
CN102695062B (zh) * 2012-05-15 2015-04-29 Tcl集团股份有限公司 视频自适应优化的方法及装置
US8914836B2 (en) * 2012-09-28 2014-12-16 Sonic Ip, Inc. Systems, methods, and computer program products for load adaptive streaming
CN103051899B (zh) * 2012-12-31 2015-12-02 青岛中星微电子有限公司 一种视频解码的方法及装置
CN104717509B (zh) * 2015-03-31 2017-09-26 北京奇艺世纪科技有限公司 一种视频解码方法及装置
CN104980337B (zh) * 2015-05-12 2019-11-22 腾讯科技（深圳）有限公司 一种音频处理的性能提升方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101137064A (zh) * 2006-08-29 2008-03-05 辉达公司 在视频解码期间用于动态频率调整的方法和***
CN103856812A (zh) * 2014-03-25 2014-06-11 北京奇艺世纪科技有限公司 一种视频播放方法及装置
CN106292857A (zh) * 2015-05-14 2017-01-04 广达电脑股份有限公司 电子装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ＶＮＣ多媒体数据实时传输的研究与实现;刘坚等;《计算机工程与设计》;20120731;全文 *

Also Published As

Publication number Publication date
CN107426200A (zh) 2017-12-01

Similar Documents

Publication Publication Date Title
KR101954550B1 (ko) 음량조절 방법, 시스템, 디바이스 및 컴퓨터 저장매체
CN109101216B (zh) 音效调整方法、装置、电子设备以及存储介质
CN107426200B (zh) 一种多媒体数据处理方法和装置
CN110265056B (zh) 音源的控制方法以及扬声设备、装置
CN110782907B (zh) 语音信号的发送方法、装置、设备及可读存储介质
CN107621933B (zh) 一种音频播放方法和装置和相关介质产品
CN109120947A (zh) 一种直播间的语音私聊方法及客户端
CN109104616A (zh) 一种直播间的语音连麦方法及客户端
CN111199751B (zh) 一种麦克风的屏蔽方法、装置和电子设备
CN108965904A (zh) 一种直播间的音量调节方法及客户端
US10290303B2 (en) Audio compensation techniques for network outages
CN108540680B (zh) 讲话状态的切换方法及装置、通话***
CN113284500B (zh) 音频处理方法、装置、电子设备及存储介质
CN111988704A (zh) 声音信号处理方法、装置以及存储介质
EP3259906B1 (en) Handling nuisance in teleconference system
US11783837B2 (en) Transcription generation technique selection
CN112634925B (zh) 一种音频调试的方法、装置及计算机设备
CN115174724A (zh) 通话降噪方法、装置、设备及可读存储介质
CN114710730A (zh) 音量提示方法、装置、耳机及存储介质
CN112135197B (zh) 字幕显示方法及装置、存储介质、电子设备
CN113542466A (zh) 音频处理方法、电子设备及存储介质
CN112653979A (zh) 自适应去混响方法和装置
CN116564335A (zh) 音频处理方法和音频处理设备
CN111083137B (zh) 物联网终端设备状态调整的方法、装置及操作***
CN116414341A (zh) 音频设备切换方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231013

Address after: 31a, 15 / F, building 30, maple mall, bangrang Road, Brazil, Singapore

Patentee after: Baiguoyuan Technology (Singapore) Co.,Ltd.

Address before: 511449 25th floor, building B-1, Wanda Plaza North, Wanbo business district, 79 Wanbo 2nd Road, Nancun Town, Panyu District, Guangzhou City, Guangdong Province

Patentee before: GUANGZHOU BAIGUOYUAN NETWORK TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right