CN107770473B - 一种音视频数据传输控制方法和装置 - Google Patents

一种音视频数据传输控制方法和装置 Download PDF

Info

Publication number
CN107770473B
CN107770473B CN201610676612.1A CN201610676612A CN107770473B CN 107770473 B CN107770473 B CN 107770473B CN 201610676612 A CN201610676612 A CN 201610676612A CN 107770473 B CN107770473 B CN 107770473B
Authority
CN
China
Prior art keywords
audio
video data
data transmission
notification message
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610676612.1A
Other languages
English (en)
Other versions
CN107770473A (zh
Inventor
吴鹏程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Datang Mobile Communications Equipment Co Ltd
Original Assignee
Datang Mobile Communications Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Datang Mobile Communications Equipment Co Ltd filed Critical Datang Mobile Communications Equipment Co Ltd
Priority to CN201610676612.1A priority Critical patent/CN107770473B/zh
Publication of CN107770473A publication Critical patent/CN107770473A/zh
Application granted granted Critical
Publication of CN107770473B publication Critical patent/CN107770473B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种音视频数据传输控制方法和装置。本发明实施例提供的技术方案中，在第一设备向第二设备发送音视频数据过程中，第二设备检测到第一设备发送的音视频数据传输性能发生变化时，向第一设备发送音视频数据传输性能变化的通知消息，以使第一设备对发送给第二设备的音视频数据所使用的编码参数进行调整。本发明提供的音视频数据传输控制方法，可以根据音视频传输性能的变化情况及时对音视频数据编码参数进行调整，针对网络环境变化及时对音视频数据的传输进行调整。

Description

一种音视频数据传输控制方法和装置
技术领域
本发明涉及通信技术领域，尤其涉及一种音视频数据传输方法和装置。
背景技术
音视频数据传输是当前的一种常见业务。在音视频时终端通过IP多媒体子***(IP Multimedia Subsystem，简称IMS)网络进行呼叫过程，在呼叫过程中，音视频通话流畅度不仅与主叫终端和被叫终端所在的无线网络质量有关系，而且与无线网络质量与网络覆盖、建筑物遮挡、移动性等因素都有关系。音视频通话受限于无线网络环境的复杂性，在无线带宽达不到标准传输要求的情况下，会出现音视频卡顿现象，影响音视频的流畅性。
实现音视频数据传输时，主叫终端和被叫终端通过会话初始协议(SessionInitiation Protocol，简称SIP)信令建立会话，并通过会话描述协议(SessionDescription Protocol，简称SDP)协商建立主叫终端和被叫终端之间的音视频通话。音视频呼叫双方在协商建立后，主叫终端和被叫终端通过H.264视频编码(一种高性能的音视频编解码技术)进行音视频通话，并且在通话过程中，采用的码率参数是固定的，无法针对网络环境变化及时做出调整。
发明内容
本发明实施例提供了一种音视频数据传输方法和装置，用以根据音视频传输性能动态调整音视频数据编码参数。
本发明实施例提供的音视频数据传输控制方法，包括：
第一设备接收第二设备发送的音视频数据传输性能变化的通知消息；其中，所述通知消息是第二设备检测到第一设备发送的音视频数据传输性能发生变化时发送的；
第一设备根据所述通知消息，对发送给第二设备的音视频数据所使用的编码参数进行调整。
可选地，所述通知消息中包含第二设备根据对第一设备发送的音视频数据的接收情况所统计得到的音视频数据传输参数；
第一设备根据所述通知消息，对发送给第二设备的音视频数据所使用的编码参数进行调整，包括：
第一设备根据调整判决条件，若判定所述通知消息中包含的音视频数据传输参数满足所述调整判决条件，则对发送给第二设备的音视频数据所使用的编码参数进行调整。
可选地，所述音视频数据传输参数包括丢包率和/或传输时延抖动。
可选地，所述第一设备采用以下步骤判断统计得到的音视频数据传输参数是否满足所述传输性能变化的判决条件：
分别确定每个音视频数据传输参数所属的等级；
根据每个音视频数据传输参数所属的等级，选取其中等级高的音视频数据传输参数；
将选取的音视频数据传输参数所属的等级与上一周期该音视频数据传输参数所属的等级进行比较，若不一致，则满足所述传输性能变化的判决条件。
可选地，所述数据的编码参数包括音视频数据的码率。
可选地，第一设备向第二设备发送音视频数据之前，还包括：
第一设备和第二设备通过媒体协商，建立实时传输控制协议RTCP通道；
第一设备接收第二设备发送的音视频数据传输性能变化的通知消息，包括：
第一设备从所述RTCP通道接收第二设备发送的所述通知消息。
本发明另外的实施例提供的音视频数据传输控制方法，包括：
第二设备检测第一设备发送的音视频数据传输性能；
若第二设备检测出第一设备发送的音视频数据传输性能发生变化，则向第一设备发送音视频数据传输性能变化的通知消息，所述通知消息用于指示第一设备调整发送给第二设备的音视频数据的编码参数。
可选地，第二设备检测第一设备发送的音视频数据传输性能，包括：
第二设备根据对第一设备发送的音视频数据的接收情况，统计得到音视频数据传输参数；
第二设备在以下情况下检测出第一设备发送的音视频数据传输性能发生变化：第二设备根据传输性能变化判决条件，判定统计得到的音视频数据传输参数满足所述传输性能变化判决条件。
可选地，所述通知消息中包含第二设备根据对第一设备发送的音视频数据的接收情况所统计得到的音视频数据传输参数，所述音视频数据传输参数包括丢包率和/或传输时延抖动。
可选地，所述第二设备采用以下步骤判断统计得到的音视频数据传输参数是否满足所述传输性能变化的判决条件：
分别确定每个音视频数据传输参数所属的等级；
根据每个音视频数据传输参数所属的等级，选取其中等级高的音视频数据传输参数；
将选取的音视频数据传输参数所属的等级与上一周期该音视频数据传输参数所属的等级进行比较，若不一致，则满足所述传输性能变化的判决条件。
可选地，所述数据的编码参数包括音视频数据的码率。
可选地，第一设备向第二设备发送音视频数据之前，还包括：
第二设备和第一设备通过媒体协商，建立实时传输控制协议RTCP通道；
向第一设备发送音视频数据传输性能变化的通知消息，包括：
通过所述RTCP通道向第一设备发送所述的通知消息。
本发明实施例提供的音视频数据传输控制设备，作为第一设备应用于向第二设备发送音视频数据的过程，该设备包括：
接收模块，用于接收第二设备发送的音视频数据传输性能变化的通知消息；其中，所述通知消息是第二设备检测到第一设备发送的音视频数据传输性能发生变化时发送的；
调整模块，用于根据所述通知消息，调整发送给第二设备的音视频数据的编码参数。
可选地，所述通知消息中包含第二设备根据对第一设备发送的音视频数据的接收情况所统计得到的音视频数据传输参数；
所述调整模块具体用于：若根据调整判决条件，判定所述通知消息中包含的音视频数据传输参数满足所述调整判决条件，则调整发送给第二设备的音视频数据的编码参数。
可选地，所述数据的编码参数包括音视频数据的码率。
本发明实施例提供的音视频数据传输控制设备，作为第二设备应用于接收第一设备发送的音视频数据的过程，该设备包括：
检测模块，用于检测第一设备发送的音视频数据传输性能；
发送模块，用于当检测出第一设备发送的音视频数据传输性能发生变化时，向第一设备发送音视频数据传输性能变化的通知消息，所述通知消息用于指示第一设备调整发送给第二设备的音视频数据的编码参数。
可选地，所述检测模块具体用于：根据对第一设备发送的音视频数据的接收情况，统计得到音视频数据传输参数；
所述发送模块具体用于：在以下情况下检测出第一设备发送的音视频数据传输性能发生变化：第二设备根据传输性能变化判决条件，判定统计得到的音视频数据传输参数满足所述传输性能变化判决条件。
可选地，所述通知消息中包含第二设备根据对第一设备发送的音视频数据的接收情况所统计得到的音视频数据传输参数，所述音视频数据传输参数包括丢包率和/或传输时延抖动。
可选地，所述数据的编码参数包括音视频数据的码率。
本发明的上述实施例中，在第一设备向第二设备发送音视频数据过程中，第二设备检测到第一设备发送的音视频数据传输性能发生变化时，向第一设备发送音视频数据传输性能变化的通知消息，以使第一设备对发送给第二设备的音视频数据所使用的编码参数进行调整。由于音视频传输性能受网络传输性能影响，因此根据音视频传输性能的变化情况及时对音视频数据编码参数进行调整，可以针对网络环境变化及时对音视频数据的传输进行调整。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的音视频数据传输控制方法流程示意图；
图2为图1所示流程中第二设备检测音视频数据传输性能是否发生变化的流程示意图；
图3为图1所示流程中第一设备进行音视频数据的编码参数调整判决的流程示意图；
图4为本发明实施例中的发送者报告格式示意图；
图5为本发明实施例中音视频呼叫双方进行呼叫的信令流程示意图；
图6为本发明实施例提供的音视频数据传输设备的结构示意图；
图7为本发明另外的实施例提供的音视频数据传输设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
IMS网络中，音视频呼叫双方在SDP协商后，主叫终端和被叫终端通过H.264视频编码进行音视频通话，在通话过程中，采用了固定的编码参数，因为固定的编码参数对于变化的网络环境不能及时的做出调整，使音视频出现卡顿现象。
为解决上述问题，本发明实施例提出了一种音视频质量动态调整的方法。
本发明实施例提出的音视频质量动态调整的方法，在通话过程中动态分析传输性能，并及时对音视频数据的编码参数进行调整。
本发明的以下实施例中以第一设备与第二设备进行音视频数据传输为例描述。其中，音视频数据可采用H.264编码格式进行编码，当然也可采用其他编码格式，本发明实施例对此不做限制。
第一设备与第二设备进行音视频会话业务之前，首先通过媒体协商建立音视频会话，即建立音视频数据的传输通道。在此基础上，本发明实施例中，第一设备和第二设备之间还可建立用于传输控制信息的通道，比如实时传输控制协议(Real-time TransportControl Protocol，简称RTCP)通道。
参见图1为本发明实施例提供的音视频数据传输控制过程方法的流程示意图。该流程包括以下步骤：
步骤101：第一设备向第二设备发送音视频数据。
步骤102：第二设备检测第一设备发送的音视频数据传输性能，若检测出第一设备发送的音视频数据传输性能发生变化，则转入步骤103。
该步骤中，第二设备可根据对第一设备发送的音视频数据的接收情况，统计得到音视频数据传输参数。
音视频数据传输性能可以使用多种传输参数表征。本发明实施例中，可使用丢包率和/或传输时延抖动来表征音视频传输性能，丢包率越大，音视频数据传输性能越差，传输时延抖动越大，音视频数据传输性能越差。
步骤103：第二设备向第一设备发送音视频数据传输性能变化的通知消息。
其中，该通知消息中包含第二设备根据对第一设备发送的音视频数据的接收情况所统计得到的音视频数据传输参数，比如可包括丢包率和/或传输时延抖动。
可选地，可预先设置传输性能变化判决条件，用于判决传输性能是否发生变化。这样，步骤103中，第二设备可根据传输性能变化判决条件，判断统计得到的音视频数据传输参数满足该传输性能变化判决条件，若满足，则确定传输性能发生变化，否则，确定传输性能保持不变。使用传输性能变化判决条件可以过滤掉音视频数据传输参数发生微小变化的情况，以免过于频繁地发送通知消息以及进行音视频数据编码参数的调整。
步骤104：第一设备根据接收到的第二设备发送的通知消息，对发送给第二设备的音视频数据所使用的编码参数进行调整。
其中，编码参数可包括码率、帧率、分辨率等。
以编码参数包括码率为例，第一设备可根据第二设备发送的通知消息中携带的音视频数据传输参数，提高或降低码率。例如，若通知消息中携带的丢包率和传输时延抖动较大，则表明第一设备发送给第二设备的音视频数据传输性能较差，因此第一设备可以降低对发送给第二设备的音视频数据的码率，以提高传输性能；反之，若通知消息中携带的丢包率和传输时延抖动较小，则表明第一设备发送给第二设备的音视频数据传输性能较好，因此第一设备可以提高对发送给第二设备的音视频数据的码率，以使第二设备获得较好的音视频质量。这样，在码率与整个画面或者音频的呈现方式之间就取得一个平衡，既保证了接收的数据完整又节省了网络资源。上述调整码率时，码率调高或者调低时，可按照设定步长进行调整，直到调整到上限或下限为止。
可选地，本实施例中，可预先设置调整判决条件，用于判决是否进行编码参数调整。这样，步骤104中，第二设备可根据调整判决条件，判断第二设备发送的音视频数据传输参数是否满足该调整判决条件，若满足，则对发送给第二设备的音视频数据所使用的编码参数进行调整，否则，不进行调整。使用调整判决条件，可以过滤掉音视频数据传输参数发生微小变化的情况，以免过于频繁地进行音视频数据编码参数的调整。
通过以上描述可以看出，在第一设备向第二设备发送音视频数据过程中，第二设备检测到第一设备发送的音视频数据传输性能发生变化时，向第一设备发送音视频数据传输性能变化的通知消息，以使第一设备对发送给第二设备的音视频数据所使用的编码参数进行调整。由于音视频传输性能受网络传输性能影响，因此根据音视频传输性能的变化情况及时对音视频数据编码参数进行调整，可以针对网络环境变化及时对音视频数据的传输进行调整。
上述流程中，第二设备可按照设定的周期对第一设备发送的音视频数据的传输性能进行周期检测。检测周期的长度可根据网络架构、网络性能、音视频质量要求等因素来设置，比如可将检测周期长度设置为3秒。
下面结合图2，对第二设备检测音视频数据传输性能的过程进行详细描述。
参见图2，为图1所示流程中第二设备检测音视频数据传输性能是否发生变化的流程示意图。该流程以第二设备检测音视频传输参数的丢包率和传输时延抖动为例描述，该流程包括以下步骤：
步骤201：第二设备周期性检测丢包率和传输时延抖动。其中，丢包率和传输时延抖动用于判断媒体面的传输性能。
步骤202：第二设备根据检测到的丢包率和传输时延抖动，确定各自所属的等级。
具体实施时，可依据第二设备的门限值将丢包率和传输时延抖动预先设置3个等级，按照表征的传输性能从低到高的顺序，丢包率可划分为高、中、低3个等级，按照表征的传输性能从低到高的顺序，传输时延抖动可划分为高、中、低3个等级。步骤202中，第二设备可根据检测到的丢包率和传输时延抖动的具体数值以及相应的门限值，确定丢包率和传输时延抖动各自所属的等级。
步骤203：根据丢包率所属的等级和传输时延抖动所属的等级，判断统计得到的音视频数据传输参数是否达到传输性能变化的触发条件，若判断达到传输性能变化的触发条件，则执行步骤204，否则转入步骤201。
该步骤中，第二设备可从步骤202中分别得到丢包率所属的等级和传输时延抖动所属的等级，取丢包率和传输时延抖动两者中等级较高的一项，因为划分等级时是按丢包率和传输时延抖动逐渐降低的顺序，所以等级越高丢包率越高，传输时延抖动也越大，此时，对应的传输性能较差。
取丢包率和传输时延抖动两者中等级较高的一项和上一个周期统计到的等级比较，如果等级有变化，则说明传输性能发生变化。例如，在本次检测时，如果丢包率的等级比传输时延抖动的等级高，则将丢包率的等级和上一个周期统计到的等级比较。
如果确定丢包率和传输时延抖动所属的等级一样，则可以任选其一与上一个周期统计到的等级比较；也可以设置为将得到的丢包率的等级和上一个周期的等级比较。例如，如果确定丢包率和传输时延抖动所属的等级都是高级，则取丢包率的等级和上一个周期统计得到的等级比较。
步骤204：通过上述建立的RTCP通道，向第一设备发送通知消息，该通知消息可采用RTCP格式数据包。
上述图2所示的流程是以丢包率和传输时延抖动为例描述的，对于其他类型的音视频数据传输参数也可参照上述流程进行音视频数据传输性能是否发生变化的判断。
第一设备收到第二设备发送来的通知消息后，可根据该通知消息中携带的传输性能参数对发送给第二设备的音视频数据所使用的编码参数进行调整。
在一些实施例中，第一设备接收到第二设备发送的通知消息后，可基于第一设备使用的调整判决条件再次判断传输性能。这样，可以过滤一些不必要的调整，保证音视频数据传输的稳定性。
下面结合图3，以第一设备对音视频数据的编码参数进行调整为例详细描述。
参见图3，为图1所示流程中第一设备对音视频数据的编码参数进行调整判决的流程示意图。该流程包括以下步骤：
步骤301：第一设备监听到RTCP数据包。
步骤302：根据接收到的RTCP数据包分析丢包率和传输时延抖动。
第一设备可根据接收到的RTCP数据包的丢包率和传输时延抖动确定各自的等级。
具体实施时，可依据第一设备的门限值将丢包率和传输时延抖动预先设置3个等级，按照表征的传输性能从低到高的顺序，丢包率可划分为高、中、低3个等级，按照表征的传输性能从低到高的顺序，传输时延抖动可划分为高、中、低3个等级。步骤302中，第一设备可根据接收到的RTCP数据包的丢包率和传输时延抖动的具体数值以及相应的门限值，确定丢包率和传输时延抖动各自所属的等级。
步骤303：根据丢包率所属的等级和传输时延抖动所属的等级，判断音视频数据传输参数是否达到传输性能变化的触发条件，若判断达到传输性能变化的触发条件，则执行步骤304，否则转入步骤301。
该步骤中，第一设备可从步骤302中分别得到丢包率所属的等级和传输时延抖动所属的等级，取丢包率和传输时延抖动两者中等级较高的一项，因为划分等级时是按丢包率和传输时延抖动逐渐降低的顺序，所以等级越高丢包率越高，传输时延抖动也越大，此时，对应的传输性能较差。
取丢包率和传输时延抖动两者中等级较高的一项和上一个周期统计到的等级比较，如果等级有变化，则说明传输性能发生变化。例如，在本次检测时，如果丢包率的等级比传输时延抖动的等级高，则丢包率的等级和上一个周期统计到的等级比较。
如果确定丢包率和传输时延抖动所属的等级一样，则可以任选其一与上一个周期统计到的等级比较；也可以设置为将得到的丢包率的等级和上一个周期的等级比较。例如，如果确定丢包率和传输时延抖动所属的等级都是高级，则取丢包率的等级和上一个周期统计得到的等级比较。
步骤304：第一设备动态调整视频的码率。
第一设备使用调整判决条件再次判断传输性能后，可以提高或者降低码率。例如，若判断的丢包率和传输时延抖动较大，则表明音视频数据传输性能较差，因此第一设备可以降低对发送给第二设备的音视频数据的码率，以提高传输性能；反之，若判断的丢包率和传输时延抖动较小，则表明第一设备发送给第二设备的音视频数据传输性能较好，因此第一设备可以提高对发送给第二设备的音视频数据的码率，以使第二设备获得较好的音视频质量。这样，在码率与整个画面或者音频的呈现方式之间就取得一个平衡，既保证了接收的数据完整又节省了网络资源。上述调整码率时，码率调高或者调低时，可按照设定步长进行调整，直到调整到上限或下限为止。
上述图3所示的流程是以丢包率和传输时延抖动为例描述的，对于其他类型的音视频数据传输参数也可参照上述流程进行音视频数据传输性能是否发生变化的判断。
上述的音视频传输性能发生变化时，通过前面建立的RTCP通道用RTCP数据包来传输通知消息，供第一设备动态调整码率做依据。传输时使用RTCP协议，RTCP协议用于媒体面传输性能的保证和状态监视，并通过传递SR(Sender Report，简称发送者报告)或RR(Receiver Report，简称接收者报告)进行传输性能的控制。
SR和RR用于提供接收传输性能的反馈，除包类型代码外，SR与RR间唯一的差别是SR含有一个20字节发送者信息段，而RR没有。本发明实施例中可使用RR进行传输性能的控制。
参见图4，为本发明实施例中使用的RR的格式示意图。如图所示，可以看出RR中包括：头部(图中示出的header)以及一个或多个报告块(图中示出了2个报告块，分别为report block 1和report block 2)，不同的报告块对应于不同的音视频数据源设备。
在报告块1中可包含以下信息单元：
提供信息包丢失数、已收信息包最大序列号、到达时间抖动、接收最后一个SR的时间、接收最后一个SR的延迟等信息单元。
fraction lost：承载丢包率，占一个字节，表示从前一RR发送以来，从SSRC_1传来的RTP包的丢失比例，丢包率以定点小数的形式表示，定义为损失包数/期望接收的包数。其中，SSRC_1标识第一设备。
interarrival jitter：承载到达时间抖动，占4个字节，表示到达时间间隔统计偏差的估算值，时间间隔是指一对包中接收者相对发送者的时间间隔差值。
可以看出，通过“fraction lost”判断RTCP包的丢包率，若RTCP包的丢包率大于门限值，则传输性能差，否则传输性能好；通过“interarrival jitter”判断RTCP包的传输时延抖动，若RTCP包的传输时延抖动大于门限值，则传输性能差，否则传输性能好。
图5为本发明实施例中音视频呼叫双方进行呼叫的信令流程示意图。可以看出，在音视频数据传输控制过程中，包括主叫终端、主叫侧代理呼叫会话控制实体(Proxy-CSCF，简称P-CSCF)、媒体转发模块MP(Media Proxy，简称媒体代理)、服务呼叫会话控制实体(Serving-CSCF，简称S-CSCF)、被叫侧P-CSCF、被叫终端。主叫终端和被叫终端，通过会话初始协议(Session Initiation Protocol，简称SIP)信令建立会话，通过SDP协商，在SDP中增加RTCP信息，RTCP信息包括IP\端口等信息。
该流程图包括以下步骤：
步骤501～504：主叫终端向被叫终端发送INVITE(呼叫)消息，该消息携带主叫终端的SDP信息(表示为SDP1)，并且该SDP信息中包含主叫终端的RTP信息(主叫终端用于建立RTP通道的IP地址和端口号)主叫终端的RTCP信息，该消息依次经过主叫侧P-CSCF、S-CSCF、被叫侧P-CSCF转发到被叫终端。其中，主叫终端的RTCP信息中可包括但不限于：主叫终端用于建立RTCP通道的IP地址、用于建立RTCP通道的端口号。
在步骤501～504执行时，主叫侧P-CSCF和媒体转发模块MP之间连接通知打开主叫侧转发端口；被叫侧P-CSCF和媒体转发模块MP之间连接通知打开网络侧转发端口。
步骤505～508：被叫终端收到该INVITE(呼叫)消息后，向主叫终端回复200OK(同意)消息，该消息携带被叫终端的SDP信息(表示为SDP2)，该SDP信息中包含被叫终端的RTP信息(被叫终端用于建立RTP通道的IP地址和端口号)以及被叫终端的RTCP信息，该消息依次经过被叫侧P-CSCF、S-CSCF，主叫侧P-CSCF转发到主叫终端。其中，被叫终端的RTCP信息中可包括但不限于：被叫终端用于建立RTCP通道的IP地址、用于建立RTCP通道的端口号。
在步骤505～508执行时，被叫侧P-CSCF和媒体转发模块MP之间连接通知打开被叫侧转发端口；主叫侧P-CSCF和媒体转发模块MP之间连接通知打开网络转发端口。
步骤509～512：主叫终端收到被叫终端的回复信息后，主叫终端向被叫终端侧回复ACK(确认)消息，该消息依次经过主叫侧P-CSCF、S-CSCF、被叫侧P-CSCF转发到被叫终端。
通过上述流程，主叫终端和被叫终端之间建立了RTP通道用于进行音视频数据传输，并建立了RTCP通道用以进行通知消息的传输。
在该音视频数据传输控制过程的信令图中，主叫终端和主叫侧的媒体转发模块MP之间有媒体包转发，主叫侧的媒体转发模块MP和被叫侧媒体转发模块MP之间有媒体包转发，被叫侧的媒体转发模块MP和被叫终端之间有媒体包转发，媒体包转发用于各个接口之间的码率参数相对应。
基于相同的技术构思，本发明实施例提供了一种音视频数据传输设备。
参见图6，为本发明实施例提供的音视频数据传输设备的结构装置示意图，该音视频数据传输设备作为第一设备应用于向第二设备发送音视频数据的过程，可实现本发明实施例描述的音视频数据传输的过程。
如图6所示，该第一设备包括：接收模块601、调整模块602，其中：
接收模块601，用于接收第二设备发送的音视频数据传输性能变化的通知消息；其中，所述通知消息是第二设备检测到第一设备发送的音视频数据传输性能发生变化时发送的；
调整模块602，用于根据所述通知消息，调整发送给第二设备的音视频数据的编码参数。
可选地，所述通知消息中包含第二设备根据对第一设备发送的音视频数据的接收情况所统计得到的音视频数据传输参数；
可选地，所述调整模块具体用于：若根据调整判决条件，判定所述通知消息中包含的音视频数据传输参数满足所述调整判决条件，则调整发送给第二设备的音视频数据的编码参数。
可选地，所述音视频数据传输参数包括丢包率和/或传输时延抖动。
可选地，所述数据的编码参数包括音视频数据的码率。
参见图7，为本发明另外的实施例提供的音视频数据传输设备的结构装置示意图。该音视频数据传输设备作为第二设备应用于接收第一设备发送的音视频数据的过程，可实现本发明实施例描述的音视频数据传输的过程。
如图7所示，第二设备包括：检测模块701、发送模块702，其中：
检测模块701，用于检测第一设备发送的音视频数据传输性能；
发送模块702，用于当检测出第一设备发送的音视频数据传输性能发生变化时，向第一设备发送音视频数据传输性能变化的通知消息，该通知消息用于指示第一设备调整发送给第二设备的音视频数据的编码参数。
可选地，所述检测模块具体用于：根据对第一设备发送的音视频数据的接收情况，统计得到音视频数据传输参数；
可选地，所述发送模块具体用于：在以下情况下检测出第一设备发送的音视频数据传输性能发生变化：第二设备根据传输性能变化判决条件，判定统计得到的音视频数据传输参数满足所述传输性能变化判决条件。
可选地，所述通知消息中包含第二设备根据对第一设备发送的音视频数据的接收情况所统计得到的音视频数据传输参数，所述音视频数据传输参数包括丢包率和/或传输时延抖动。
可选地，所述数据的编码参数包括音视频数据的码率。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (13)

1.一种音视频数据传输控制方法，应用于第一设备向第二设备发送音视频数据的过程，其特征在于，包括：
第一设备接收第二设备发送的音视频数据传输性能变化的通知消息；其中，所述通知消息是第二设备检测到第一设备发送的音视频数据传输性能发生变化时发送的，所述通知消息中包含第二设备根据对第一设备发送的音视频数据的接收情况所统计得到的音视频数据传输参数；
第一设备根据所述通知消息，若判定所述通知消息中包含的音视频数据传输参数满足调整判决条件，则对发送给第二设备的音视频数据所使用的编码参数进行调整；
其中，所述第一设备采用以下步骤判断统计得到的音视频数据传输参数是否满足所述传输性能变化的判决条件：
分别确定每个音视频数据传输参数所属的等级；
根据每个音视频数据传输参数所属的等级，选取其中等级高的音视频数据传输参数；
将选取的音视频数据传输参数所属的等级与上一周期该音视频数据传输参数所属的等级进行比较，若不一致，则满足所述传输性能变化的判决条件。
2.如权利要求1所述的方法，其特征在于，所述音视频数据传输参数包括丢包率和/或传输时延抖动。
3.如权利要求1所述的方法，其特征在于，所述数据的编码参数包括音视频数据的码率。
4.如权利要求1至3中任一项所述的方法，其特征在于，第一设备向第二设备发送音视频数据之前，还包括：
第一设备和第二设备通过媒体协商，建立实时传输控制协议RTCP通道；
第一设备接收第二设备发送的音视频数据传输性能变化的通知消息，包括：
第一设备从所述RTCP通道接收第二设备发送的所述通知消息。
5.一种音视频数据传输控制方法，应用于第一设备向第二设备发送音视频数据的过程，其特征在于，包括：
第二设备根据对第一设备发送的音视频数据的接收情况，统计得到音视频数据传输参数；
若第二设备根据传输性能变化判决条件，判定统计得到的音视频数据传输参数满足所述传输性能变化判决条件，则向第一设备发送音视频数据传输性能变化的通知消息，所述通知消息用于指示第一设备调整发送给第二设备的音视频数据的编码参数；
其中，所述第二设备采用以下步骤判断统计得到的音视频数据传输参数是否满足所述传输性能变化的判决条件：
分别确定每个音视频数据传输参数所属的等级；
根据每个音视频数据传输参数所属的等级，选取其中等级高的音视频数据传输参数；
将选取的音视频数据传输参数所属的等级与上一周期该音视频数据传输参数所属的等级进行比较，若不一致，则满足所述传输性能变化的判决条件。
6.如权利要求5所述的方法，其特征在于，所述通知消息中包含第二设备根据对第一设备发送的音视频数据的接收情况所统计得到的音视频数据传输参数，所述音视频数据传输参数包括丢包率和/或传输时延抖动。
7.如权利要求5所述的方法，其特征在于，所述数据的编码参数包括音视频数据的码率。
8.如权利要求5至7中任一项所述的方法，其特征在于，第一设备向第二设备发送音视频数据之前，还包括：
第二设备和第一设备通过媒体协商，建立实时传输控制协议RTCP通道；
向第一设备发送音视频数据传输性能变化的通知消息，包括：
通过所述RTCP通道向第一设备发送所述的通知消息。
9.一种音视频数据传输控制设备，应用于向第二设备发送音视频数据的过程，其特征在于，包括：
接收模块，用于接收第二设备发送的音视频数据传输性能变化的通知消息；其中，所述通知消息是第二设备检测到第一设备发送的音视频数据传输性能发生变化时发送的，所述通知消息中包含第二设备根据对第一设备发送的音视频数据的接收情况所统计得到的音视频数据传输参数；
调整模块，用于根据所述通知消息，若判定所述通知消息中包含的音视频数据传输参数满足调整判决条件，则调整发送给第二设备的音视频数据的编码参数；
其中，所述调整模块，具体用于：
分别确定每个音视频数据传输参数所属的等级；
根据每个音视频数据传输参数所属的等级，选取其中等级高的音视频数据传输参数；
将选取的音视频数据传输参数所属的等级与上一周期该音视频数据传输参数所属的等级进行比较，若不一致，则满足所述传输性能变化的判决条件。
10.如权利要求9所述的设备，其特征在于，所述数据的编码参数包括音视频数据的码率。
11.一种音视频数据传输控制设备，应用于接收第一设备发送的音视频数据的过程，其特征在于，包括：
检测模块，用于根据对第一设备发送的音视频数据的接收情况，统计得到音视频数据传输参数；
发送模块，用于当根据传输性能变化判决条件，判定统计得到的音视频数据传输参数满足所述传输性能变化判决条件时，向第一设备发送音视频数据传输性能变化的通知消息，所述通知消息用于指示第一设备调整发送给第二设备的音视频数据的编码参数；
其中，所述发送模块，具体用于：
分别确定每个音视频数据传输参数所属的等级；
根据每个音视频数据传输参数所属的等级，选取其中等级高的音视频数据传输参数；
将选取的音视频数据传输参数所属的等级与上一周期该音视频数据传输参数所属的等级进行比较，若不一致，则满足所述传输性能变化的判决条件。
12.如权利要求11所述的设备，其特征在于，所述通知消息中包含第二设备根据对第一设备发送的音视频数据的接收情况所统计得到的音视频数据传输参数，所述音视频数据传输参数包括丢包率和/或传输时延抖动。
13.如权利要求11所述的设备，其特征在于，所述数据的编码参数包括音视频数据的码率。
CN201610676612.1A 2016-08-16 2016-08-16 一种音视频数据传输控制方法和装置 Active CN107770473B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610676612.1A CN107770473B (zh) 2016-08-16 2016-08-16 一种音视频数据传输控制方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610676612.1A CN107770473B (zh) 2016-08-16 2016-08-16 一种音视频数据传输控制方法和装置

Publications (2)

Publication Number Publication Date
CN107770473A CN107770473A (zh) 2018-03-06
CN107770473B true CN107770473B (zh) 2020-05-26

Family

ID=61261047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610676612.1A Active CN107770473B (zh) 2016-08-16 2016-08-16 一种音视频数据传输控制方法和装置

Country Status (1)

Country Link
CN (1) CN107770473B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112511782B (zh) * 2019-09-16 2024-05-07 中兴通讯股份有限公司 视频会议方法、第一终端、mcu、***及存储介质
CN111416999A (zh) * 2020-03-09 2020-07-14 西安万像电子科技有限公司 数据传输方法、终端及***
CN111934823B (zh) * 2020-08-12 2022-08-02 中国联合网络通信集团有限公司 数据传输方法、无线接入网络设备、用户平面功能实体
CN114915655B (zh) * 2022-05-06 2024-02-09 广东保伦电子股份有限公司 一种过滤频繁操作的信息推送方法及后台服务器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101909060A (zh) * 2010-08-05 2010-12-08 浙江工业大学 一种适用于移动视频实时流媒体传输的Qos控制方法
CN103686227A (zh) * 2012-09-17 2014-03-26 南京中兴力维软件有限公司 用于移动终端的音视频采集编码方法、装置及***
CN103888846A (zh) * 2014-03-04 2014-06-25 浙江大学 基于QoE的无线视频流业务自适应速率控制方法
CN104009819A (zh) * 2013-02-22 2014-08-27 中兴通讯股份有限公司 基于分层编码的抗丢包实时通信方法、***及相关设备
CN105100675A (zh) * 2015-09-11 2015-11-25 Tcl集团股份有限公司 一种终端视频通信的质量调节方法及***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101909060A (zh) * 2010-08-05 2010-12-08 浙江工业大学 一种适用于移动视频实时流媒体传输的Qos控制方法
CN103686227A (zh) * 2012-09-17 2014-03-26 南京中兴力维软件有限公司 用于移动终端的音视频采集编码方法、装置及***
CN104009819A (zh) * 2013-02-22 2014-08-27 中兴通讯股份有限公司 基于分层编码的抗丢包实时通信方法、***及相关设备
CN103888846A (zh) * 2014-03-04 2014-06-25 浙江大学 基于QoE的无线视频流业务自适应速率控制方法
CN105100675A (zh) * 2015-09-11 2015-11-25 Tcl集团股份有限公司 一种终端视频通信的质量调节方法及***

Also Published As

Publication number Publication date
CN107770473A (zh) 2018-03-06

Similar Documents

Publication Publication Date Title
JP4927333B2 (ja) 帯域幅適応
US10027818B2 (en) Seamless codec switching
US8855086B2 (en) Method and apparatus for efficient multimedia delivery in a wireless packet network
US7944880B2 (en) Method and arrangement for establishing a communication session for multimedia
US9282133B2 (en) Communicating control information within a real-time stream
CN107770473B (zh) 一种音视频数据传输控制方法和装置
EP2950473B1 (en) Anti-packet-loss real-time communication method, system and related device based on hierarchical coding
US9667801B2 (en) Codec selection based on offer
EP2545730B1 (en) Method for reporting qos control-related information in network and network entity therefor
US9838209B2 (en) Method for subscribing to streams from multicast clients
US10506004B2 (en) Advanced comfort noise techniques
US9743312B1 (en) Method and system of selecting a quality of service for a bearer
US9729287B2 (en) Codec with variable packet size
US10469630B2 (en) Embedded RTCP packets
WO2010037293A1 (zh) 提高多媒体通话质量的方法和***、媒体控制设备和媒体处理设备
WO2017030657A1 (en) Selective rate-adaptation in video telephony
US20160135079A1 (en) IP Media Rate Adaptation
JP4994283B2 (ja) ホームゲートウェイ装置およびホームゲートウェイ装置の通信品質制御方法
CN109982023B (zh) 一种视频会话中的分辨率调整方法
EP2264959B1 (en) Media gateway, media gateway controller, method and system for communication of multimedia phones
CN101552771B (zh) 媒体网关、媒体网关控制器、多媒体电话互通方法和***
US8391284B2 (en) Usage of feedback information for multimedia sessions
US11533237B2 (en) Round-trip estimation
WO2007091207A1 (en) Providing and handling information on a state of a media stream
EP4050931A1 (en) Media stream delivery quality notification method and session border controller entity

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant