CN113992637A - 音视频数据接收方法、装置、设备、***和存储介质 - Google Patents
音视频数据接收方法、装置、设备、***和存储介质 Download PDFInfo
- Publication number
- CN113992637A CN113992637A CN202111062169.6A CN202111062169A CN113992637A CN 113992637 A CN113992637 A CN 113992637A CN 202111062169 A CN202111062169 A CN 202111062169A CN 113992637 A CN113992637 A CN 113992637A
- Authority
- CN
- China
- Prior art keywords
- audio
- video data
- communication port
- video
- fixed communication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000004891 communication Methods 0.000 claims abstract description 154
- 230000011664 signaling Effects 0.000 claims abstract description 114
- 230000003993 interaction Effects 0.000 claims abstract description 110
- 238000012545 processing Methods 0.000 claims abstract description 40
- 238000012544 monitoring process Methods 0.000 claims abstract description 19
- 238000004806 packaging method and process Methods 0.000 claims description 14
- 230000007246 mechanism Effects 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000006378 damage Effects 0.000 description 3
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009365 direct transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明实施例公开了一种音视频数据接收方法、装置、设备、***和存储介质,该方法包括:开启第一线程运行音视频接收模块,在所述音视频接收模块启动后,绑定固定通信端口,并对所述固定通信端口进行监听;开启第二线程运行信令交互模块,通过所述信令交互模块发送所述固定通信端口至服务器,用于所述服务器根据所述固定通信端口进行音视频数据的发送,其中,所述音视频接收模块和所述信令交互模块独立运行;在监听到通过所述固定通信端口接收到音视频数据时,通过所述音视频接收模块对接收到的所述音视频数据进行解码组包。本方案优化了音视频数据处理机制,提升了音视频数据接收的稳定性以及时效性。
Description
技术领域
本申请实施例涉及音视频处理技术领域,尤其涉及一种音视频数据接收方法、装置、设备、***和存储介质。
背景技术
随着互联网和计算机技术的发展,音视频数据作为当今主流的多媒体数据被广泛使用。如将音视频数据存储于服务器中,客户端与服务器建立通信连接后,服务器发送该音视频数据至客户端。相应的,客户端对服务器发出的音视频数据进行接收以用于播放展示。
客户端在进行音视频数据获取的过程中,主要包括信令交互以及音视频数据接收的步骤。现有技术中,信令交互以及音视频数据接收的配合处理中存在缺陷,导致音视频数据接收效率降低。
发明内容
本发明实施例提供了一种音视频数据接收方法、装置、设备、***和存储介质,优化了音视频数据处理机制,解决了现有技术中音视频数据接收效率低的问题,提升了音视频数据接收的稳定性以及时效性。
第一方面,本发明实施例提供了一种音视频数据接收方法,该方法包括:
开启第一线程运行音视频接收模块,在所述音视频接收模块启动后,绑定固定通信端口,并对所述固定通信端口进行监听;
开启第二线程运行信令交互模块,通过所述信令交互模块发送所述固定通信端口至服务器,用于所述服务器根据所述固定通信端口进行音视频数据的发送,其中,所述音视频接收模块和所述信令交互模块独立运行;
在监听到通过所述固定通信端口接收到音视频数据时,通过所述音视频接收模块对接收到的所述音视频数据进行解码组包。
第二方面,本发明实施例还提供了一种音视频数据接收装置,该装置包括:
第一处理单元,用于开启第一线程运行音视频接收模块,在所述音视频接收模块启动后,绑定固定通信端口,并对所述固定通信端口进行监听,在监听到通过所述固定通信端口接收到音视频数据时,通过所述音视频接收模块对接收到的所述音视频数据进行解码组包;
第二处理单元,用于开启第二线程运行信令交互模块,通过所述信令交互模块发送所述固定通信端口至服务器,用于所述服务器根据所述固定通信端口进行音视频数据的发送,其中,所述音视频接收模块和所述信令交互模块独立运行。
第三方面,本发明实施例还提供了一种音视频数据接收***,该***包括音视频接收模块以及信令交互模块,其中,
音视频接收模块,用于被开启的第一线程运行,在启动后,绑定固定通信端口,并对所述固定通信端口进行监听,以及在监听到通过所述固定通信端口接收到音视频数据时,对接收到所述音视频数据进行解码组包;
信令交互模块,用于被开启的第二线程运行,发送所述固定通信端口至服务器,用于所述服务器根据所述固定通信端口进行音视频数据的发送,其中,所述音视频接收模块和所述信令交互模块独立运行。
第四方面,本发明实施例还提供了一种音视频数据接收设备,该设备包括:
一个或多个处理器;存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明实施例所述的音视频数据接收方法。
第五方面,本发明实施例还提供了一种存储计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行本发明实施例所述的音视频数据接收方法。
本发明实施例中,通过开启第一线程运行音视频接收模块,在音视频接收模块启动后,绑定固定通信端口,并对固定通信端口进行监听,以及开启第二线程运行信令交互模块,通过信令交互模块发送固定通信端口至服务器,用于服务器根据固定通信端口进行音视频数据的发送,其中,音视频接收模块和信令交互模块独立运行,在监听到通过固定通信端口接收到音视频数据时,通过音视频接收模块对接收到所述音视频数据进行解码组包。本方案优化了音视频数据处理机制,音视频接收模块和信令交互模块独立运行,减少了二者之间的频繁交互导致数据处理效率低的问题,通过不同的线程进行运行以分离音视频接收模块和信令交互模块,提升了音视频数据接收的稳定性以及时效性。
附图说明
图1为本发明实施例提供的一种音视频数据接收方法的流程图;
图2为本发明实施例提供的另一种音视频数据接收方法的流程图;
图3为本发明实施例提供的另一种音视频数据接收方法的流程图;
图4为本发明实施例提供的另一种音视频数据接收方法的流程图;
图5为本发明实施例提供的另一种音视频数据接收方法的流程图;
图6为本发明实施例提供的一种音视频数据接收装置的结构框图;
图7为本发明实施例提供的一种音视频数据接收***的模块示意图;
图8为本发明实施例提供的一种音视频数据接收设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的信息调整方法进行详细地说明。
图1为本发明实施例提供的一种音视频数据接收方法的流程图,本实施例可以实现从服务器中高效的获取音视频数据,该方法可以由具备计算功能的设备如电脑、平板、笔记本、无人设备、手机或定制手持设备等来实施,具体包括如下步骤:
步骤S101、开启第一线程运行音视频接收模块,在所述音视频接收模块启动后,绑定固定通信端口,并对所述固定通信端口进行监听。
其中,线程为***能够进行运算调度的最小单位,其为独立调度和分派的基本单位。该第一线程和后续记载的第二线程可以是***内核调度的内核线程;也可以是由用户进程自行调度的用户线程,或者由内核与用户进程进行混合调度的线程,本方案不做具体限定。
其中,音视频接收模块为具体对音视频数据进行接收处理的模块。其通过开启的第一线程运行。在音视频接收模块启动后,进行固定通信端口的绑定。其中,通信端口为设备与其他设备进行信息数据传输的出入口。在一个实施例中,在音视频接收模块启动后绑定固定通信端口以用于接收服务器发送的音视频数据。在进行固定通信端口的绑定后,即对该固定通信端口进行监听以检测其是否接收到服务器发送的音视频数据。
步骤S102、开启第二线程运行信令交互模块,通过所述信令交互模块发送所述固定通信端口至服务器,用于所述服务器根据所述固定通信端口进行音视频数据的发送。
其中,信令交互模块负责本设备与其他设备的信令的交互,如发送信令至服务器以及接收服务器反馈的信令,再根据接收到的信令执行后续操作。该信令交互模块通过开启的第二线程运行。
在一个实施例中,通过该信令交互模块发送固定通信端口至服务器,以用于服务器根据该固定通信端口进行音视频数据的发送。具体的,当服务器接收到固定通信端口的信息后,创建一个和当前设备进行通信的端口,通过该端口发送音视频数据至本设备绑定的固定通信端口,本设备通过该绑定的固定通信端口进行音视频数据的接收。
本申请中,音视频接收模块和信令交互模块通过开启的不同线程独立运行。二者不存在依赖关系。如现有技术中在进行音视频数据接收时,信令交互模块和音视频接收模块融合一体进行音视频数据的接收处理,首先由信令交互模块与服务器建立通信连接,在通信连接建立成功后再启动音视频接收模块进行音视频数据的接收,由此降低了整个音视频数据的接收效率。同时,音视频接收模块对音视频数据的接收处理依赖于信令交互模块与服务器建立的通信连接,当网络不稳定或链路频繁断开的情况下音视频接收模块对应的业务资源需要频繁的创建和销毁,对整体运行效率会产生较大影响。
步骤S103、在监听到通过所述固定通信端口接收到音视频数据时,通过所述音视频接收模块对接收到的所述音视频数据进行解码组包。
以RTSP/RTP通信为例,现有的RTSP/RTP客户端均遵循标准协议规则,RTSP负责信令交互,RTP负责音视频数据的接收,如市面上通用的VLC、FFmpeg等工具均嵌入RTSP/RTP客户端。该RTSP/RTP客户端中RTSP的信令交互处理以及RTP的音视频数据接收处理融合在一起,RTSP通过和服务器进行交互建立连接后启动RTP进行音视频数据接收。本方案,在一个实施例中,将RTSP和RTP分别通过开启的不同线程独立运行二者不进行融合处理。RTP被开启的第一进程运行,在其启动后绑定固定通信端口,并对固定通信端口进行监听。如监听到通过所述固定通信端口接收到音视频数据时,对接收到所述音视频数据进行解码组包。在一个实施例中,音视频数据在传输过程中以封装为包的形式进行传输,在通过固定通信结构接收到该中类型的音视频数据后,通过音视频接收模块对其进行解码和组包处理,处理后将其放入缓冲池中以等待解码器的获取。具体的解码和组包方式本方案不做限定,可针对不同的传输协议适应性调整。
由上述方案可知,本方案中通过开启的不同线程来分别运行音视频接收模块和信令交互模块,改变了传统的音视频接收模块和信令交互模块融合为一起的音视频数据接收处理机制,音视频接收模块和信令交互模块独立运行。同时,在音视频接收模块启动后即绑定固定通信端口,并对所述固定通信端口进行监听,无需等待信令交互模块与服务器建立通信连接后再执行,优化了音视频数据处理机制,提升了音视频数据接收的稳定性以及时效性。
图2为本发明实施例提供的另一种音视频数据接收方法的流程图,给出了一种信令交互模块与服务器进行信息通信的具体过程以及将固定通信端口发送至服务器的方式。如图2所示,技术方案具体如下:
步骤S201、开启第一线程运行音视频接收模块,在所述音视频接收模块启动后,绑定固定通信端口,并对所述固定通信端口进行监听。
步骤S202、开启第二线程运行信令交互模块,通过所述信令交互模块发送鉴权信息至服务器进行鉴权,以及通过所述信令交互模块发送会话描述信息至所述服务器获取音视频数据描述参数。
在一个实施例中,信令交互模块开始运行后,发送鉴权信息至服务器进行鉴权,以及发送会话描述信息至服务器获取音视频数据描述参数。其中,该鉴权信息针对需要进行鉴权认证的服务器进行发送,以RTSP/RTP通信为例,将预先设定的密码通过“Describe”信令发送至服务器进行鉴权。对于无需鉴权的服务器,则直接发送会话描述信息至服务器获取音视频数据描述参数,其中音视频数据描述参数为描述音视频数据的参数信息,如音视频流通道信息、音视频流网址等。
步骤S203、在接收到所述服务器发送的所述会话描述信息对应的回复信息后,发送包含所述固定通信端口的连接建立信息至所述服务器。
在一个实施例中,接收到服务器发送的会话描述信息对应的回复信息后,发送连接建立信息,以RTSP/RTP通信为例,发送“Setup”信令,同时将该固定通信端口通过该建立通信连接的“Setup”信令一起发送至服务器,其中,该固定通信端口为音视频接收模块启动后已绑定的端口,以用于服务器根据该固定通信端口直接发送数据至音视频接收模块接收处理。
步骤S204、在监听到通过所述固定通信端口接收到音视频数据时,通过所述音视频接收模块对接收到的所述音视频数据进行解码组包。
由上述方案可知,本方案通过信令交互模块发送鉴权信息至服务器进行鉴权,以及发送会话描述信息至所述服务器获取音视频数据描述参数,与服务器建立连接并获取相应的参数,同时在建立连接的过程中,发送包含固定通信端口的连接建立信息至服务器,以实现服务器与音频接收模块后续的音视频数据的直接传输,显著提升了音视频数据的接收效率,对于时效性要求较高的音视频数据的传输、播放,其实时性效果显著。
图3为本发明实施例提供的另一种音视频数据接收方法的流程图,给出了一种在通过信令交互模块发送固定通信端口至服务器之后,进行音频数据获取以及停止音频数据获取的过程。如图3所示,技术方案具体如下:
步骤S301、开启第一线程运行音视频接收模块,在所述音视频接收模块启动后,绑定固定通信端口,并对所述固定通信端口进行监听。
步骤S302、开启第二线程运行信令交互模块,通过所述信令交互模块发送所述固定通信端口至服务器,用于所述服务器根据所述固定通信端口进行音视频数据的发送。
步骤S303、通过所述信令交互模块发送播放请求至所述服务器,用于所述服务器在接收到所述播放请求后,发送音视频数据至所述固定通信端口。
在一个实施例中,通过信令交互模块与服务器建立通信连接后,通过发送播放请求的方式以令服务器发送音视频数据至绑定的固定通信端口。
步骤S304、在监听到通过所述固定通信端口接收到音视频数据时,通过所述音视频接收模块对接收到的所述音视频数据进行解码组包。
步骤S305、通过所述信令交互模块发送播放关闭请求至所述服务器,用于所述服务器停止发送音视频数据以及断开通信连接。
在一个实施例中,通过发送播放关闭请求至服务器的方式,以使服务器停止音视频数据的发送,以及响应于该播放关闭请求于本设备断开通信连接。
步骤S306、在接收到所述服务器发送的所述播放关闭请求对应的回复信息后,断开和所述服务器的通信连接,通过第一线程继续运行所述音视频接收模块,并对所述固定通信端口进行监听。
在一个实施例中,在断开和服务器的通信连接后,通过第一线程继续运行音视频接收模块,并对固定通信端口进行监听。即在信令交互模块于服务器断开通信后,依然运行音视频接收模块,而不是对其进行销毁。
由上述方案可知,音视频接收模块和信令交互模块独立运行,音视频接收模块不受信令交互模块的通信连接的断开的影响,即使通信连接断开依然运行且对固定通信端口进行监听,避免了在和服务器频繁断开连接的情况下音视频接收模块的反复创建和销毁,提高了基于RTSP/RTP通信方式的音视频数据接收效率,保证了在服务器发送音视频数据后的第一时间对其接收并进行处理,同时避免资源的反复创建和销毁提高了资源使用效率。
图4为本发明实施例提供的另一种音视频数据接收方法的流程图,给出了一种音视频模块初始化以及检测到***业务退出后的处理过程。如图4所示,技术方案具体如下:
步骤S401、创建音视频接收模块,进行所述音视频接收模块的初始化以获取存储资源。
在一个实施例中,在音视频接收模块创建时,进行初始化并相应的获取存储资源,如获取缓冲池以对接收到的音视频数据进行缓冲。
步骤S402、开启第一线程运行音视频接收模块,在所述音视频接收模块启动后,绑定固定通信端口,并对所述固定通信端口进行监听。
步骤S403、开启第二线程运行信令交互模块,通过所述信令交互模块发送所述固定通信端口至服务器,用于所述服务器根据所述固定通信端口进行音视频数据的发送。
步骤S404、在监听到通过所述固定通信端口接收到音视频数据时,通过所述音视频接收模块对接收到的所述音视频数据进行解码组包。
步骤S405、在检测到***业务退出时,停止所述音视频接收模块的运行,销毁所述第一线程。
其中,***业务包括针对音视频数据整体进行处理的业务,在该***业务进行退出时,如运行***业务的进程关闭时,才停止音视频接收模块的运行,销毁该第一线程。
由上述方案可知,在检测到***业务退出时,停止音视频接收模块的运行,销毁所述第一线程,音视频接收模块的运行不依赖于信令交互模块,二者独立运行,避免了在网络波动通信连接频繁断开,或者频繁的进行音视频数据的播放、关闭带来的存储资源利用率低的问题。
图5为本发明实施例提供的另一种音视频数据接收方法的流程图,给出了一种具体在停止音视频接收模块的运行后,对音视频接收模块初始化时获取的存储资源进行处理的过程。如图5所示,技术方案具体如下:
步骤S501、创建音视频接收模块,进行所述音视频接收模块的初始化以获取存储资源。
步骤S502、开启第一线程运行音视频接收模块,在所述音视频接收模块启动后,绑定固定通信端口,并对所述固定通信端口进行监听。
步骤S503、开启第二线程运行信令交互模块,通过所述信令交互模块发送所述固定通信端口至服务器,用于所述服务器根据所述固定通信端口进行音视频数据的发送。
步骤S504、在监听到通过所述固定通信端口接收到音视频数据时,通过所述音视频接收模块对接收到的所述音视频数据进行解码组包。
步骤S505、在检测到***业务退出时,停止所述音视频接收模块的运行,销毁所述第一线程。
步骤S506、对所述存储资源进行保存,当检测到音视频接收模块再次创建并进行初始化时,将所述存储资源分配至所述音视频接收模。
在一个实施例中,在停止音视频接收模块的运行,销毁第一线程后,对原有的音视频接收模块初始化时获取的存储资源进行保存,如对存储资源对应的地址空间进行保存。当检测到音视频接收模块再次创建并进行初始化时,将该保存的存储资源分配至音视频接收模,针对存储资源不进行注销,依旧进行保留。
由上述方案可知,在检测到***业务退出时,停止音视频接收模块的运行,销毁所述第一线程,同时对存储资源进行保存,当检测到音视频接收模块再次创建并进行初始化时,将存储资源分配至所述音视频接收模,避免了存储资源的反复创建和销毁,显著提高了资源利用率。
在上述技术方案的基础上,在开启第一线程运行音视频接收模块,以及开启第二线程运行信令交互模块之前,还包括:在接收到音视频接收指令时,同步创建第一线程和第二线程,所述第一线程用于运行音视频接收模块,所述第二线程运行信令交互模块,即控制音视频接收模块以及信令交互模块同步开启。在另一个实施例中,也可以是***初始化时,优先开启第一线程运行音视频接收模块,以保证信令交互模块建立完通信连接的情况下音视频接收模块已经完成初始化,保证音视频数据接收的实时性,保证了后续音视频数据处理的及时性,使得音视频数据在展示时用户体验更佳。
图6为本发明实施例提供的一种音视频数据接收装置的结构框图,该装置用于执行上述描述的音视频数据接收方法,具备执行方法相应的功能模块和有益效果。如图6所示,该装置具体包括:第一处理单元101以及第二处理单元102,其中,
第一处理单元101,用于开启第一线程运行音视频接收模块,在所述音视频接收模块启动后,绑定固定通信端口,并对所述固定通信端口进行监听,在监听到通过所述固定通信端口接收到音视频数据时,通过所述音视频接收模块对接收到的所述音视频数据进行解码组包;
第二处理单元102,用于开启第二线程运行信令交互模块,通过所述信令交互模块发送所述固定通信端口至服务器,用于所述服务器根据所述固定通信端口进行音视频数据的发送,其中,所述音视频接收模块和所述信令交互模块独立运行。
由上述方案可知,通过开启第一线程运行音视频接收模块,在音视频接收模块启动后,绑定固定通信端口,并对固定通信端口进行监听,以及开启第二线程运行信令交互模块,通过信令交互模块发送固定通信端口至服务器,用于服务器根据固定通信端口进行音视频数据的发送,其中,音视频接收模块和信令交互模块独立运行,在监听到通过固定通信端口接收到音视频数据时,通过音视频接收模块对接收到所述音视频数据进行解码组包。本方案优化了音视频数据处理机制,音视频接收模块和信令交互模块独立运行,减少了二者之间的频繁交互导致数据处理效率低的问题,通过不同的线程进行运行以分离音视频接收模块和信令交互模块,提升了音视频数据接收的稳定性以及时效性。
在一个可能的实施例中,所述第二处理单元102还用于:
在通过所述信令交互模块发送所述固定通信端口至服务器之前,通过所述信令交互模块发送鉴权信息至服务器进行鉴权,以及通过所述信令交互模块发送会话描述信息至所述服务器获取音视频数据描述参数;
所述第二处理单元102具体用于:
在接收到所述服务器发送的所述会话描述信息对应的回复信息后,发送包含所述固定通信端口的连接建立信息至所述服务器。
在一个可能的实施例中,所述第二处理单元102还用于:
在通过所述信令交互模块发送所述固定通信端口至服务器之后,通过所述信令交互模块发送播放请求至所述服务器,用于所述服务器在接收到所述播放请求后,发送音视频数据至所述固定通信端口;以及,
通过所述信令交互模块发送播放关闭请求至所述服务器,用于所述服务器停止发送音视频数据以及断开通信连接。
在一个可能的实施例中,所述第二处理单元102还用于:
在通过所述信令交互模块发送播放关闭请求至所述服务器之后,在接收到所述服务器发送的所述播放关闭请求对应的回复信息后,断开和所述服务器的通信连接;
所述第一处理单元101还用于:
通过第一线程继续运行所述音视频接收模块,并对所述固定通信端口进行监听。
在一个可能的实施例中,所述第一处理单元101还用于:
在开启第一线程运行音视频接收模块之前,创建音视频接收模块,进行所述音视频接收模块的初始化以获取存储资源;
在检测到***业务退出时,停止所述音视频接收模块的运行,销毁所述第一线程。
在一个可能的实施例中,所述第一处理单元101还用于:
在停止所述音视频接收模块的运行后,对所述存储资源进行保存;
当检测到音视频接收模块再次创建并进行初始化时,将所述存储资源分配至所述音视频接收模。
在一个可能的实施例中,所述第一处理单元101以及所述第二处理单元102还用于:
在开启第一线程运行音视频接收模块,以及开启第二线程运行信令交互模块之前,在接收到音视频接收指令时,所述第一处理单元101和所述第二处理单元102同步创建第一线程和第二线程,所述第一线程用于运行音视频接收模块,所述第二线程运行信令交互模块。
图7为本发明实施例提供的一种音视频数据接收***的示意图。如图7所示,音视频数据接收***包括:
音视频接收模块201,用于被开启的第一线程运行,在启动后,绑定固定通信端口,并对所述固定通信端口进行监听,以及在监听到通过所述固定通信端口接收到音视频数据时,对接收到所述音视频数据进行解码组包;
信令交互模块202,用于被开启的第二线程运行,发送所述固定通信端口至服务器,用于所述服务器根据所述固定通信端口进行音视频数据的发送,其中,所述音视频接收模块和所述信令交互模块独立运行。
由上述方案可知,音视频接收模块,用于被开启的第一线程运行,在启动后,绑定固定通信端口,并对固定通信端口进行监听,以及在监听到通过固定通信端口接收到音视频数据时,对接收到音视频数据进行解码组包,信令交互模块,用于被开启的第二线程运行,发送固定通信端口至服务器,用于服务器根据固定通信端口进行音视频数据的发送,其中,音视频接收模块和信令交互模块独立运行。本方案优化了音视频数据处理机制,音视频接收模块和信令交互模块独立运行,减少了二者之间的频繁交互导致数据处理效率低的问题,通过不同的线程进行运行以分离音视频接收模块和信令交互模块,提升了音视频数据接收的稳定性以及时效性。
图8为本发明实施例提供的一种音视频数据接收设备的结构示意图,如图8所示,该设备包括处理器301、存储器302、输入装置303和输出装置304;设备中处理器301的数量可以是一个或多个,图8中以一个处理器301为例;设备中的处理器301、存储器302、输入装置303和输出装置304可以通过总线或其他方式连接,图8中以通过总线连接为例。存储器302作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的音视频数据接收方法对应的程序指令/模块。处理器301通过运行存储在存储器302中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述的音视频数据接收方法。输入装置303可用于接收输入的数字或字符信息,以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置304可包括显示屏等显示设备。
本发明实施例还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行上述提供的音视频数据接收方法,该方法包括:
开启第一线程运行音视频接收模块,在所述音视频接收模块启动后,绑定固定通信端口,并对所述固定通信端口进行监听;
开启第二线程运行信令交互模块,通过所述信令交互模块发送所述固定通信端口至服务器,用于所述服务器根据所述固定通信端口进行音视频数据的发送,其中,所述音视频接收模块和所述信令交互模块独立运行;
在监听到通过所述固定通信端口接收到音视频数据时,通过所述音视频接收模块对接收到的所述音视频数据进行解码组包。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是无人设备、手机、计算机、服务器或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (11)
1.音视频数据接收方法,其特征在于,包括:
开启第一线程运行音视频接收模块,在所述音视频接收模块启动后,绑定固定通信端口,并对所述固定通信端口进行监听;
开启第二线程运行信令交互模块,通过所述信令交互模块发送所述固定通信端口至服务器,用于所述服务器根据所述固定通信端口进行音视频数据的发送,其中,所述音视频接收模块和所述信令交互模块独立运行;
在监听到通过所述固定通信端口接收到音视频数据时,通过所述音视频接收模块对接收到的所述音视频数据进行解码组包。
2.根据权利要求1所述的音视频数据接收方法,其特征在于,在通过所述信令交互模块发送所述固定通信端口至服务器之前,还包括:
通过所述信令交互模块发送鉴权信息至服务器进行鉴权,以及通过所述信令交互模块发送会话描述信息至所述服务器获取音视频数据描述参数;
所述通过所述信令交互模块发送所述固定通信端口至服务器,包括:
在接收到所述服务器发送的所述会话描述信息对应的回复信息后,发送包含所述固定通信端口的连接建立信息至所述服务器。
3.根据权利要求1所述的音视频数据接收方法,其特征在于,在通过所述信令交互模块发送所述固定通信端口至服务器之后,还包括:
通过所述信令交互模块发送播放请求至所述服务器,用于所述服务器在接收到所述播放请求后,发送音视频数据至所述固定通信端口;以及,
通过所述信令交互模块发送播放关闭请求至所述服务器,用于所述服务器停止发送音视频数据以及断开通信连接。
4.根据权利要求3所述的音视频数据接收方法,其特征在于,在通过所述信令交互模块发送播放关闭请求至所述服务器之后,还包括:
在接收到所述服务器发送的所述播放关闭请求对应的回复信息后,断开和所述服务器的通信连接;
通过第一线程继续运行所述音视频接收模块,并对所述固定通信端口进行监听。
5.根据权利要求1所述的音视频数据接收方法,其特征在于,在开启第一线程运行音视频接收模块之前,还包括:
创建音视频接收模块,进行所述音视频接收模块的初始化以获取存储资源;
在对所述固定通信端口进行监听时,还包括:
在检测到***业务退出时,停止所述音视频接收模块的运行,销毁所述第一线程。
6.根据权利要求5所述的音视频数据接收方法,其特征在于,在停止所述音视频接收模块的运行后,还包括:
对所述存储资源进行保存;
当检测到音视频接收模块再次创建并进行初始化时,将所述存储资源分配至所述音视频接收模。
7.根据权利要求1-6中任一项所述的音视频数据接收方法,其特征在于,在开启第一线程运行音视频接收模块,以及开启第二线程运行信令交互模块之前,还包括:
在接收到音视频接收指令时,同步创建第一线程和第二线程,所述第一线程用于运行音视频接收模块,所述第二线程运行信令交互模块。
8.音视频数据接收装置,其特征在于,包括:
第一处理单元,用于开启第一线程运行音视频接收模块,在所述音视频接收模块启动后,绑定固定通信端口,并对所述固定通信端口进行监听,在监听到通过所述固定通信端口接收到音视频数据时,通过所述音视频接收模块对接收到的所述音视频数据进行解码组包;
第二处理单元,用于开启第二线程运行信令交互模块,通过所述信令交互模块发送所述固定通信端口至服务器,用于所述服务器根据所述固定通信端口进行音视频数据的发送,其中,所述音视频接收模块和所述信令交互模块独立运行。
9.音视频数据接收***,其特征在于,包括:
音视频接收模块,用于被开启的第一线程运行,在启动后,绑定固定通信端口,并对所述固定通信端口进行监听,以及在监听到通过所述固定通信端口接收到音视频数据时,对接收到所述音视频数据进行解码组包;
信令交互模块,用于被开启的第二线程运行,发送所述固定通信端口至服务器,用于所述服务器根据所述固定通信端口进行音视频数据的发送,其中,所述音视频接收模块和所述信令交互模块独立运行。
10.一种音视频数据接收设备,所述设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一项所述的音视频数据接收方法。
11.一种存储计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一项所述的音视频数据接收方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111062169.6A CN113992637B (zh) | 2021-09-10 | 2021-09-10 | 音视频数据接收方法、装置、设备、***和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111062169.6A CN113992637B (zh) | 2021-09-10 | 2021-09-10 | 音视频数据接收方法、装置、设备、***和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113992637A true CN113992637A (zh) | 2022-01-28 |
CN113992637B CN113992637B (zh) | 2024-04-09 |
Family
ID=79735611
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111062169.6A Active CN113992637B (zh) | 2021-09-10 | 2021-09-10 | 音视频数据接收方法、装置、设备、***和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113992637B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1540954A (zh) * | 2003-10-30 | 2004-10-27 | 清华大学深圳研究生院 | 一种ip视频会议***中音视频流传输的流量控制方法 |
CN1933594A (zh) * | 2005-09-14 | 2007-03-21 | 王世刚 | 多路音视频数据网络传输与同步播放的方法 |
CN101815065A (zh) * | 2010-01-21 | 2010-08-25 | 清华大学 | 基于IPv6网SIP协议的远程医疗实时信息交互方法 |
CN108702486A (zh) * | 2017-09-20 | 2018-10-23 | 深圳市海能通信股份有限公司 | 一种低延时音视频传输方法、装置及计算机可读存储介质 |
CN109640120A (zh) * | 2018-12-18 | 2019-04-16 | 浩云科技股份有限公司 | 一种高并发音视频媒体数据网络传输方法及装置 |
CN109814996A (zh) * | 2019-01-04 | 2019-05-28 | 平安科技(深圳)有限公司 | 流媒体传输控制方法、装置及存储介质、计算机设备 |
-
2021
- 2021-09-10 CN CN202111062169.6A patent/CN113992637B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1540954A (zh) * | 2003-10-30 | 2004-10-27 | 清华大学深圳研究生院 | 一种ip视频会议***中音视频流传输的流量控制方法 |
CN1933594A (zh) * | 2005-09-14 | 2007-03-21 | 王世刚 | 多路音视频数据网络传输与同步播放的方法 |
CN101815065A (zh) * | 2010-01-21 | 2010-08-25 | 清华大学 | 基于IPv6网SIP协议的远程医疗实时信息交互方法 |
CN108702486A (zh) * | 2017-09-20 | 2018-10-23 | 深圳市海能通信股份有限公司 | 一种低延时音视频传输方法、装置及计算机可读存储介质 |
CN109640120A (zh) * | 2018-12-18 | 2019-04-16 | 浩云科技股份有限公司 | 一种高并发音视频媒体数据网络传输方法及装置 |
CN109814996A (zh) * | 2019-01-04 | 2019-05-28 | 平安科技(深圳)有限公司 | 流媒体传输控制方法、装置及存储介质、计算机设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113992637B (zh) | 2024-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3021556B1 (en) | Transmission method and device for media stream in video conference | |
US20190379735A1 (en) | Method and apparatus for multimedia communication, and storage medium | |
US11983456B2 (en) | Screen-projection with multiple terminals | |
CN110213652B (zh) | 一种音视频数据传输方法、装置及存储介质 | |
US10034057B2 (en) | Message processing method, device, gateway, STB and IPTV | |
CN112738140B (zh) | 一种基于WebRTC的视频流传输方法、装置、存储介质和设备 | |
KR101614862B1 (ko) | 멀티미디어 비디오 데이터의 송신, 수신 방법 및 대응되는 장치 | |
GB2517834A (en) | Scalable web real-time communications (webRTC) media engines, and related methods, systems and computer-readable media | |
EP3996355A1 (en) | Method for transferring media stream and user equipment | |
CN114546308B (zh) | 应用界面投屏方法、装置、设备以及存储介质 | |
CN114302202B (zh) | 音视频投屏方法、装置、设备、***及存储介质 | |
WO2015180446A1 (zh) | 一种多设备联动服务中的连接通道维护***及方法 | |
WO2023160361A1 (zh) | Rtc数据的处理方法以及装置 | |
CN106921634B (zh) | 多媒体流组播方法和装置 | |
CN110113298A (zh) | 数据传输方法、装置、信令服务器和计算机可读介质 | |
WO2024061307A1 (zh) | 一种云桌面中应用服务的交互、处理、控制方法 | |
WO2019007027A1 (zh) | 视频播出方法、***、电子设备及可读取存储介质 | |
CN113992637B (zh) | 音视频数据接收方法、装置、设备、***和存储介质 | |
CN108616760B (zh) | 一种基于浏览器的直播方法、服务器、主播端和用户端 | |
US8973082B2 (en) | Interactive program system | |
US9059860B2 (en) | Techniques for announcing conference attendance changes in multiple languages | |
CN112532719B (zh) | 信息流的推送方法、装置、设备及计算机可读存储介质 | |
WO2016177257A1 (zh) | 一种数据分享的方法和装置 | |
CN113329040B (zh) | 媒体流转发过程中的协议转换方法、装置 | |
US11012479B2 (en) | Methods for capturing and broadcasting user computer sessions and related computer program products |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |