CN112492255B - 一种基于5g低延时生成树音视频会议方法 - Google Patents
一种基于5g低延时生成树音视频会议方法 Download PDFInfo
- Publication number
- CN112492255B CN112492255B CN202011305279.6A CN202011305279A CN112492255B CN 112492255 B CN112492255 B CN 112492255B CN 202011305279 A CN202011305279 A CN 202011305279A CN 112492255 B CN112492255 B CN 112492255B
- Authority
- CN
- China
- Prior art keywords
- terminal
- module
- tree
- audio
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000001514 detection method Methods 0.000 claims abstract description 52
- 238000004891 communication Methods 0.000 claims abstract description 34
- 238000003708 edge detection Methods 0.000 claims abstract description 17
- 230000005540 biological transmission Effects 0.000 claims description 56
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开了一种基于5G低延时生成树音视频会议方法,包含终端视频源模块，终端视频查看模块，终端音频模块，终端混音模块，终端分发模块，终端探测模块，终端5G通讯模块，终端D2D通信模块，5G基站，边缘探测模块，边缘分发模块，边缘混音模块，5G承载网，5G核心网，中心会议模块，中心分发模块，中心混音模块，中心时延生成树模块，中心探测模块。本发明利用5G网络集中式核心网变成分布式优化与5G终端可自组网与有转发能力，利用时延生成树，通过利用边缘服务器与终端自转发，降低视频转发与音频混音的延时，同时利用5G的D2D技术终端与基站信号差，通过终端转发实现加入音视频会议。
Description
技术领域
本发明涉及音视频传输领域，具体涉及一种基于5G低延时生成树音视频会议方法。
背景技术
4G音视频网络到5G网络，从集中式核心网变成分布式，核心网功能在地理位置上更靠近基站，在基站边缘转发计算资源，实现减小时延，另5G的D2D终端直通技术应用让5G移动终端间可以直接通讯，也可以实现网络低延时。音视频会议在5G网络下的低延时方案还处于空白。
发明内容
本发明的目的是提供一种基于5G低延时生成树音视频会议方法，利用5G网络集中式核心网变成分布式优化与5G终端可自组网与有转发能力，利用时延生成树，通过利用边缘服务器与终端自转发，降低视频转发与音频混音的延时。
本发明的技术方案是：一种基于5G低延时生成树音视频会议方法,包括以下步骤：
S1、终端探测模块通过终端5G通讯模块向会议中是所有终端发起时延探测请求，根据请求反馈时间得到终端与终端通过5G基站通讯的时延时间，如果终端与终端不能直接通信，则时延时间为无限大。终端探测模块通过终端D2D模块向附近的与会的终端发起时延探测请求，根据请求反馈时间得到终端与终端通过D2D通讯的时延时间，该时延时间和终端与终端通过5G基站通讯的时延时间，取其中时延时间较短的为终端与终端的时延时间。终端探测模块把生成的时延时间发送给中心时延生成树模块。
S2、边缘服务器的边缘探测模块向所有的5G移动音视频终端的终端探测模块发出时延探测请求，根据请求反馈时间得到边缘服务器与终端的时延时间，如果边缘服务器与终端不能直接通信，则时延时间为无限大。边缘服务器的边缘探测模块向所有的边缘服务器的边缘探测模块发出时延探测请求，根据请求反馈时间得到边缘服务器与边缘服务器的时延时间。边缘探测模块把生成的时延时间发送给中心时延生成树模块。
S3、中心服务器的中心探测模块向5G移动音视频终端的终端探测模块发出时延探测请求，根据请求反馈时间得到中心服务器与终端的时延时间。中心服务器的中心探测模块向边缘服务器的时延探测模块发出时延探测请求，根据请求反馈时间得到中心服务器与边缘服务器的时延时间。中心探测模块把生成的时延时间发送给中心时延生成树模块。
S4、中心时延生成树模块接收终端探测模块的终端间的时延数据，中心时延生成树模块接收边缘探测模块的时延数据，中心时延生成树模块接收中心探测模块的时延数据，建立以中心服务器为顶点的时延树。所述以中心服务器为顶点的时延树的生成方法是：
边缘服务器与连通的边缘服务器建立一条树边，树边的权重为边缘服务器与边缘服务器的时延数据；中心服务器与连通的终端建立一条树边，树边的权重为中心服务器与终端的时延数据；边缘服务器与连通的终端建立一条树边，树边的权重为边缘服务器与终端的时延数据；终端与连通的终端建立一条树边，树边的权重为终端与终端的时延数据。
S5、中心时延生成树模块接收终端视频查看模块的两个视频进行视频树传输最短传输路径查询，这两个视频分别来自终端A和终端B。中心时延生成树模块把终端A与存在树边的所有树节点放入队列，以终端A与树节点的树边的权重做为树节点的权重，树节点的传输路径为空，队列按照树节点权重进行排序，低权重树节点排在队列的前面。分别从队列取出树节点T，树节点T为终端B,则找到最短传输路径，把树节点T的传输路径中的树节点发送给终端视频查看模块，如果树节点T不是终端B,以该树节点T为起点，查找所有存在树边的树节点树放入队列，树节点权重为树节点T到该树节点的树边权重加上树节点T的权重，把树节点T加入该树节点的传输路径，队列按照树节点权重进行排序，低权重树节点排在队列的前面，重复上述取队列的树节点的流程一直到找到终端B。
S6、终端视频查看模块查看与会终端的视频图像，通过分发网络接收终端视频源模块的视频流，解码显示。终端视频查看模块从中心会议模块5获取所有与会终端清单，根据该终端的操作者，选择查看与会终端的视频。终端A的终端视频查看模块选择一个终端B时，则向中心时延生成树模块发起视频树传输最短传输路径查询，根据传输路径的树节点，向树节点的分发模块请求视频流携带传输路径，树节点的分发模块包含终端分发模块5，边缘分发模块，中心分发模块。树节点的分发模块根据传输路径的树节点，向下一个树节点发起分发请求，携带传输路径，一直找到终端B的终端分发模块5，终端分发模块5转发终端视频源模块的视频流数据到传输路径上一个的树节点，这样按照传输路径进行逐级转发给终端A的终端视频查看模块，终端A通过最低传输时延路径来查看终端B的视频，实现最低网络延时。同时部分终端如果不在5G基站，也可以通过这种方法通过5G的D2D方式查看该终端视频图像。
S7、终端视频源模块采集本地图像，通过视频树分发网络，发送给需要查看的终端视频查看模块,终端视频源模块采集本地图像，编码压缩成视频流发送给终端分发模块5、终端5G通讯模块、终端D2D通信模块，最终实现终端视频源模块视频流发送给终端分发模块5，边缘分发模块，中心分发模块，终端视频查看模块。
S8、边缘服务器的边缘分发模块作为视频分发的树节点，实现终端视频图像分发。边缘分发模块通过5G基站，5G承载网与5G核心网，最终实现终端分发模块5作为终端视频源模块，终端分发模块5，中心分发模块，终端视频查看模块间的视频数据分发。边缘分发模块部署,重复利用5G网络从集中式核心网变成分布式优势，临近5G部署边缘分发模块，降低视频分发延时。
S9、中心会议模块5控制建立语音混音树实现会议通话。中心会议模块5接收中心时延生成树模块生成的时延树，进行生成语音混音树。语音混音树生成流程如下：
查找使用D2D接入的终端C，判断条件查找时延树，该终端与边缘服务器以及中心服务器没有树边，但与其他终端存在树边，找其中树边权重最小终端D、终端D的语音混音树的树节点，终端C的终端音频模块作为会议成员加入终端D的终端混音模块，从而实现终端没有5G基站信号，通过终端连入会议；
混合终端D的会议成员的终端音频模块与终端D的终端音频模块的声音，终端D的终端混音模块作为会议成员加入上级混音模块。按照时延树对每个边缘服务器，使用时延树的与会终端对边缘服务器进行逐一判断，如果终端到该边缘服务器的权重小于该终端到中心服务器的时延，则该边缘服务器计一分，遍历边缘服务器后，把分值最高且分值大于二的边缘服务器作为语音混音树的树节点，终端的终端音频模块或终端混音模块作为会议成员加入边缘混音模块，边缘混音模块把所有会议成员的音频流的数据进行累加计算得到上行混音流，发送给中心混音模块，这些终端间音频会议因为没有经过中心混音模块时延将变小。
在时延树去除已是语音混音树节点的边缘服务器，以及作为会议成员的终端，使用上述方法继续查找到语音混音树的边缘服务器节点，一直到找不到语音混音树的边缘服务器节点，剩余终端的终端音频模块或终端混音模块全部加入中心混音模块。
S10、终端音频模块作为会议成员加入终端混音模块。终端混音模块作为会议成员加入边缘混音模块或中心混音模块。终端混音模块接收会议成员的音频流，接收边缘混音模块或中心混音模块的下行混音音频流。终端混音模块接收会议成员的音频流，接收边缘混音模块或中心混音模块的下行混音音频流，把所有会议成员的音频流的数据进行累加计算得到上行混音流，发送给边缘混音模块或中心混音模块。对每个会议成员进行分别处理，把其他所有音频流的数据进行累加计算得到混音流，把得到的边缘混音模块或中心混音模块的下行混音音频流的进行最终累加计算得到该会议成员的最终混音音频流，回传给会议成员。
S11、终端音频模块、终端混音模块作为会议成员加入边缘混音模块。边缘混音模块作为会议成员加入中心混音模块。边缘混音模块接收会议成员的音频流，接收中心混音模块的下行混音音频流，把所有会议成员的音频流的数据进行累加计算得到上行混音流，发送给中心混音模块。对每个会议成员进行分别处理，把其他所有音频流的数据进行累加计算得到混音流，把得到混音音频流与中心混音模块的下行混音音频流进行最终累加计算得到该会议成员的最终混音流，回传给会议成员。
S12、终端音频模块、终端混音模块、边缘混音模块作为会议成员加入中心混音模块。中心混音模块接收会议成员的音频流，中心混音模块对每个会议成员进行分别处理，把其他所有音频流的数据进行累加计算得到该会议成员的混音流，回传给会议成员。
其中，所述终端音频模块采集终端本地声音，通过混音网络发送其他终端的终端音频模块，通过混音网络接收其他终端的终端音频模块的声音。
所述终端5G通讯模块实现终端与5G基站站通信，实现音视频的双向传输，最终达成终端与边缘服务器与中心服务器的通信与音视频传输。
所述终端D2D通信模块让两个对等的终端之间直接进行5G通信，D2D终端组成的分散式网路中，每个终端都能发送和接收信号，并能自动路由，最终实现部分终端不能直接与5G基站通信，也能通过其他终端的进行D2D实现加入会议，实现音视频传输。
所述5G基站通过5G承载网汇聚5G核心网，边缘服务器部署5G承载网临近5G基站位置，减少网络延时。
所述5G核心网为5G出口网络，中心服务器通过5G核心网和边缘服务器与终端进行通信和音视频传输。
本发明的有益效果是：
1.利用5G网络集中式核心网变成分布式优化，与5G终端可自组网并有转发能力，利用时延生成树，通过利用边缘服务器与终端自转发，降低视频转发与音频混音的延时；
2.同时利用5G的D2D技术终端与基站信号差，通过终端转发实现加入音视频会议；
3.5G移动终端间可以直接通信。
附图说明
图1为本发明一种基于5G低延时生成树音视频会议方法的模块示意图。
具体实施方式
下面详细描述本发明的实施例，下面的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
一种基于5G低延时生成树音视频会议方法,其特征在于以下步骤：
S1、终端探测模块6通过终端5G通讯模块7向会议中是所有终端发起时延探测请求，根据请求反馈时间得到终端与终端通过5G基站9通讯的时延时间，如果终端与终端不能直接通信，则时延时间为无限大；终端探测模块6通过终端D2D模块2向附近的与会的终端发起时延探测请求，根据请求反馈时间得到终端与终端通过D2D通讯的时延时间，该时延时间和终端与终端通过5G基站9通讯的时延时间，取其中时延时间较短的为终端与终端的时延时间；终端探测模块6把生成的时延时间发送给中心时延生成树模块18；
S2、边缘服务器的边缘探测模块10向所有的5G移动音视频终端的终端探测模块6发出时延探测请求，根据请求反馈时间得到边缘服务器与终端的时延时间，如果边缘服务器与终端不能直接通信，则时延时间为无限大；边缘服务器的边缘探测模块10向所有的边缘服务器的边缘探测模块10发出时延探测请求，根据请求反馈时间得到边缘服务器与边缘服务器的时延时间；边缘探测模块10把生成的时延时间发送给中心时延生成树模块18；
S3、中心服务器的中心探测模块19向5G移动音视频终端的终端探测模块6发出时延探测请求，根据请求反馈时间得到中心服务器与终端的时延时间；中心服务器的中心探测模块19向边缘服务器的时延探测模块10发出时延探测请求，根据请求反馈时间得到中心服务器与边缘服务器的时延时间；中心探测模块19把生成的时延时间发送给中心时延生成树模块18；
S4、中心时延生成树模块18接收终端探测模块6的终端间的时延数据，中心时延生成树模块18接收边缘探测模块10的时延数据，中心时延生成树模块18接收中心探测模块19的时延数据，建立以中心服务器为顶点的时延树；
S5、中心时延生成树模块18接收终端视频查看模块2的两个视频(分别标终端A与终端B)进行视频树传输最短传输路径查询；中心时延生成树模块18把终端A与存在树边的所有树节点(树节点包含终端，边缘服务器，中心服务器)放入队列，以终端A与树节点的树边的权重做为树节点的权重，树节点的传输路径为空，队列按照树节点权重进行排序，低权重树节点排在队列的前面；分别从队列取出树节点T，树节点T为终端B,则找到最短传输路径，把树节点T的传输路径中的树节点发送给终端视频查看模块2，如果树节点T不是终端B,以该树节点T为起点，查找所有存在树边的树节点树放入队列，树节点权重为树节点T到该树节点的树边权重加上树节点T的权重，把树节点T加入该树节点的传输路径，队列按照树节点权重进行排序，低权重树节点排在队列的前面，重复上述取队列的树节点的流程一直到找到终端B；
S6、终端视频查看模块2查看与会终端的视频图像，通过分发网络接收终端视频源模块1的视频流，解码显示；终端视频查看模块2从中心会议模块15获取所有与会终端清单，根据该终端的操作者，选择查看与会终端的视频；终端A的终端视频查看模块2选择一个终端B时，则向中心时延生成树模块18发起视频树传输最短传输路径查询，根据传输路径的树节点，向树节点的分发模块请求视频流携带传输路径，树节点的分发模块包含终端分发模块5，边缘分发模块11，中心分发模块16；树节点的分发模块根据传输路径的树节点，向下一个树节点发起分发请求，携带传输路径，一直找到终端B的终端分发模块5，终端分发模块5转发终端视频源模块1的视频流数据到传输路径上一个的树节点，这样按照传输路径进行逐级转发给终端A的终端视频查看模块2，终端A通过最低传输时延路径来查看终端B的视频，实现最低网络延时；同时部分终端如果不在5G基站9，也可以通过这种方法通过5G的D2D方式查看该终端视频图像；
S7、终端视频源模块1采集本地图像，通过视频树分发网络，发送给需要查看的终端视频查看模块2,终端视频源模块1采集本地图像，编码压缩成视频流发送给终端分发模块5、终端5G通讯模块7、终端D2D通信模块8，最终实现终端视频源模块1视频流发送给终端分发模块5，边缘分发模块11，中心分发模块16，终端视频查看模块2；
S8、边缘服务器的边缘分发模块11作为视频分发的树节点，实现终端视频图像分发；边缘分发模块11通过5G基站9，5G承载网13与5G核心网14，最终实现终端分发模块5作为终端视频源模块1，终端分发模块5，中心分发模块16，终端视频查看模块2间的视频数据分发；边缘分发模块11部署,重复利用5G网络从集中式核心网变成分布式优势，临近5G部署边缘分发模块11，降低视频分发延时；
S9、中心会议模块15控制建立语音混音树实现会议通话；中心会议模块15接收中心时延生成树模块18生成的时延树，进行生成语音混音树；
S10、终端音频模块3作为会议成员加入终端混音模块4；终端混音模块4作为会议成员加入边缘混音模块12或中心混音模块17；终端混音模块4接收会议成员的音频流，接收边缘混音模块12或中心混音模块17的下行混音音频流；终端混音模块4接收会议成员的音频流，接收边缘混音模块12或中心混音模块17的下行混音音频流，把所有会议成员的音频流的数据进行累加计算得到上行混音流，发送给边缘混音模块12或中心混音模块17；对每个会议成员进行分别处理，把其他所有音频流的数据进行累加计算得到混音流，把得到的边缘混音模块12或中心混音模块17的下行混音音频流的进行最终累加计算得到该会议成员的最终混音音频流，回传给会议成员；
S11、终端音频模块3、终端混音模块4作为会议成员加入边缘混音模块12；边缘混音模块12作为会议成员加入中心混音模块17；边缘混音模块12接收会议成员的音频流，接收中心混音模块17的下行混音音频流，把所有会议成员的音频流的数据进行累加计算得到上行混音流，发送给中心混音模块17；对每个会议成员进行分别处理，把其他所有音频流的数据进行累加计算得到混音流，把得到混音音频流与中心混音模块17的下行混音音频流进行最终累加计算得到该会议成员的最终混音流，回传给会议成员；
S12、终端音频模块3、终端混音模块4、边缘混音模块12作为会议成员加入中心混音模块17；中心混音模块17接收会议成员的音频流，中心混音模块17对每个会议成员进行分别处理，把其他所有音频流的数据进行累加计算得到该会议成员的混音流，回传给会议成员。
所述S4中以中心服务器为顶点的时延树的生成方法是：
边缘服务器与连通的边缘服务器建立一条树边，树边的权重为边缘服务器与边缘服务器的时延数据；中心服务器与连通的终端建立一条树边，树边的权重为中心服务器与终端的时延数据；边缘服务器与连通的终端建立一条树边，树边的权重为边缘服务器与终端的时延数据；终端与连通的终端建立一条树边，树边的权重为终端与终端的时延数据。
所述S9中语音混音树生成流程如下：
查找使用D2D接入的终端C，判断条件查找时延树，该终端与边缘服务器以及中心服务器没有树边，但与其他终端存在树边，找其中树边权重最小终端D、终端D的语音混音树的树节点，终端C的终端音频模块3作为会议成员加入终端D的终端混音模块4，从而实现终端没有5G基站9信号，通过终端连入会议；
混合终端D的会议成员的终端音频模块3与终端D的终端音频模块3的声音，终端D的终端混音模块4作为会议成员加入上级混音模块；按照时延树对每个边缘服务器，使用时延树的与会终端对边缘服务器进行逐一判断，如果终端到该边缘服务器的权重小于该终端到中心服务器的时延，则该边缘服务器计一分，遍历边缘服务器后，把分值最高且分值大于二的边缘服务器作为语音混音树的树节点，终端的终端音频模块3或终端混音模块4作为会议成员加入边缘混音模块12，边缘混音模块12把所有会议成员的音频流的数据进行累加计算得到上行混音流，发送给中心混音模块17，这些终端间音频会议因为没有经过中心混音模块17时延将变小；
在时延树去除已是语音混音树节点的边缘服务器，以及作为会议成员的终端，使用上述方法继续查找到语音混音树的边缘服务器节点，一直到找不到语音混音树的边缘服务器节点，剩余终端的终端音频模块3或终端混音模块4全部加入中心混音模块17。
所述终端音频模块3采集终端本地声音，通过混音网络发送其他终端的终端音频模块3，通过混音网络接收其他终端的终端音频模块3的声音。
所述终端5G通讯模块7实现终端与5G基站9站通信，实现音视频的双向传输，最终达成终端与边缘服务器与中心服务器的通信与音视频传输。
所述终端D2D通信模块8让两个对等的终端之间直接进行5G通信，D2D终端组成的分散式网路中，每个终端都能发送和接收信号，并能自动路由，最终实现部分终端不能直接与5G基站通信，也能通过其他终端的进行D2D实现加入会议，实现音视频传输。
所述5G基站9通过5G承载网13汇聚5G核心网，边缘服务器部署5G承载网13临近5G基站9位置，减少网络延时。
所述5G核心网14为5G出口网络，中心服务器通过5G核心网14和边缘服务器与终端进行通信和音视频传输。
Claims (8)
1.一种基于5G低延时生成树音视频会议方法,其特征在于以下步骤：
S1、终端探测模块(6)通过终端5G通讯模块(7 )向会议中是所有终端发起时延探测请求，根据请求反馈时间得到终端与终端通过5G基站(9)通讯的时延时间，如果终端与终端不能直接通信，则时延时间为无限大；终端探测模块(6)通过终端D2D模块(2)向附近的与会的终端发起时延探测请求，根据请求反馈时间得到终端与终端通过D2D通讯的时延时间，该时延时间和终端与终端通过5G基站(9)通讯的时延时间，取其中时延时间较短的为终端与终端的时延时间；终端探测模块(6)把生成的时延时间发送给中心时延生成树模块(18)；
S2、边缘服务器的边缘探测模块(10)向所有的5G移动音视频终端的终端探测模块(6)发出时延探测请求，根据请求反馈时间得到边缘服务器与终端的时延时间，如果边缘服务器与终端不能直接通信，则时延时间为无限大；边缘服务器的边缘探测模块(10)向所有的边缘服务器的边缘探测模块(10)发出时延探测请求，根据请求反馈时间得到边缘服务器与边缘服务器的时延时间；边缘探测模块(10)把生成的时延时间发送给中心时延生成树模块(18)；
S3、中心服务器的中心探测模块(19)向5G移动音视频终端的终端探测模块(6)发出时延探测请求，根据请求反馈时间得到中心服务器与终端的时延时间；中心服务器的中心探测模块(19)向边缘服务器的边缘 探测模块(10)发出时延探测请求，根据请求反馈时间得到中心服务器与边缘服务器的时延时间；中心探测模块(19)把生成的时延时间发送给中心时延生成树模块(18)；
S4、中心时延生成树模块(18)接收终端探测模块(6)的终端间的时延数据，中心时延生成树模块(18)接收边缘探测模块(10)的时延数据，中心时延生成树模块(18)接收中心探测模块(19)的时延数据，建立以中心服务器为顶点的时延树；
S5、中心时延生成树模块(18)接收终端视频查看模块(2)的两个视频进行视频树传输最短传输路径查询，这两个视频分别来自终端A和终端B；中心时延生成树模块(18)把终端A与存在树边的所有树节点放入队列，以终端A与树节点的树边的权重做为树节点的权重，树节点的传输路径为空，队列按照树节点权重进行排序，低权重树节点排在队列的前面；分别从队列取出树节点T，树节点T为终端B,则找到最短传输路径，把树节点T的传输路径中的树节点发送给终端视频查看模块(2)，如果树节点T不是终端B,以该树节点T为起点，查找所有存在树边的树节点树放入队列，树节点权重为树节点T到该树节点的树边权重加上树节点T的权重，把树节点T加入该树节点的传输路径，队列按照树节点权重进行排序，低权重树节点排在队列的前面，重复上述取队列的树节点的流程一直到找到终端B；
S6、终端视频查看模块(2)查看与会终端的视频图像，通过分发网络接收终端视频源模块(1)的视频流，解码显示；终端视频查看模块(2)从中心会议模块(15)获取所有与会终端清单，根据该终端的操作者，选择查看与会终端的视频；终端A的终端视频查看模块(2)选择一个终端B时，则向中心时延生成树模块(18)发起视频树传输最短传输路径查询，根据传输路径的树节点，向树节点的分发模块请求视频流携带传输路径，树节点的分发模块包含终端分发模块(5)，边缘分发模块(11)，中心分发模块(16)；树节点的分发模块根据传输路径的树节点，向下一个树节点发起分发请求，携带传输路径，一直找到终端B的终端分发模块(5)，终端分发模块(5)转发终端视频源模块(1)的视频流数据到传输路径上一个的树节点，这样按照传输路径进行逐级转发给终端A的终端视频查看模块(2)，终端A通过最低传输时延路径来查看终端B的视频，实现最低网络延时；同时部分终端如果不在5G基站(9)，也可以通过这种方法通过5G的D2D方式查看该终端视频图像；
S7、终端视频源模块(1)采集本地图像，通过视频树分发网络，发送给需要查看的终端视频查看模块(2),终端视频源模块(1)采集本地图像，编码压缩成视频流发送给终端分发模块(5)、终端5G通讯模块(7)、终端D2D通信模块(8)，最终实现终端视频源模块(1)视频流发送给终端分发模块(5)，边缘分发模块(11)，中心分发模块(16)，终端视频查看模块(2)；
S8、边缘服务器的边缘分发模块(11)作为视频分发的树节点，实现终端视频图像分发；边缘分发模块(11)通过5G基站(9)，5G承载网(13)与5G核心网(14)，最终实现终端分发模块(5)作为终端视频源模块(1)，终端分发模块(5)，中心分发模块(16)，终端视频查看模块(2)间的视频数据分发；边缘分发模块(11)部署,重复利用5G网络从集中式核心网变成分布式优势，临近5G部署边缘分发模块(11)，降低视频分发延时；
S9、中心会议模块(15)控制建立语音混音树实现会议通话；中心会议模块(15)接收中心时延生成树模块(18)生成的时延树，进行生成语音混音树；
S10、终端音频模块(3)作为会议成员加入终端混音模块(4)；终端混音模块(4)作为会议成员加入边缘混音模块(12)或中心混音模块(17)；终端混音模块(4)接收会议成员的音频流，接收边缘混音模块(12)或中心混音模块(17)的下行混音音频流；终端混音模块(4)接收会议成员的音频流，接收边缘混音模块(12)或中心混音模块(17)的下行混音音频流，把所有会议成员的音频流的数据进行累加计算得到上行混音流，发送给边缘混音模块(12)或中心混音模块(17)；对每个会议成员进行分别处理，把其他所有音频流的数据进行累加计算得到混音流，把得到的边缘混音模块(12)或中心混音模块(17)的下行混音音频流的进行最终累加计算得到该会议成员的最终混音音频流，回传给会议成员；
S11、终端音频模块(3)、终端混音模块(4)作为会议成员加入边缘混音模块(12)；边缘混音模块(12)作为会议成员加入中心混音模块(17)；边缘混音模块(12)接收会议成员的音频流，接收中心混音模块(17)的下行混音音频流，把所有会议成员的音频流的数据进行累加计算得到上行混音流，发送给中心混音模块(17)；对每个会议成员进行分别处理，把其他所有音频流的数据进行累加计算得到混音流，把得到混音音频流与中心混音模块(17)的下行混音音频流进行最终累加计算得到该会议成员的最终混音流，回传给会议成员；
S12、终端音频模块(3)、终端混音模块(4)、边缘混音模块(12)作为会议成员加入中心混音模块(17)；中心混音模块(17)接收会议成员的音频流，中心混音模块(17)对每个会议成员进行分别处理，把其他所有音频流的数据进行累加计算得到该会议成员的混音流，回传给会议成员。
2.根据权利要求1所述的一种基于5G低延时生成树音视频会议方法，其特征在于，所述S4中以中心服务器为顶点的时延树的生成方法是：
边缘服务器与连通的边缘服务器建立一条树边，树边的权重为边缘服务器与边缘服务器的时延数据；中心服务器与连通的终端建立一条树边，树边的权重为中心服务器与终端的时延数据；边缘服务器与连通的终端建立一条树边，树边的权重为边缘服务器与终端的时延数据；终端与连通的终端建立一条树边，树边的权重为终端与终端的时延数据。
3.根据权利要求1所述的一种基于5G低延时生成树音视频会议方法，其特征在于，所述S9中语音混音树生成流程如下：
查找使用D2D接入的终端C，判断条件查找时延树，该终端与边缘服务器以及中心服务器没有树边，但与其他终端存在树边，找其中树边权重最小终端D、终端D的语音混音树的树节点，终端C的终端音频模块(3)作为会议成员加入终端D的终端混音模块(4)，从而实现终端没有5G基站(9)信号，通过终端连入会议；
混合终端D的会议成员的终端音频模块(3)与终端D的终端音频模块(3)的声音，终端D的终端混音模块(4)作为会议成员加入上级混音模块；按照时延树对每个边缘服务器，使用时延树的与会终端对边缘服务器进行逐一判断，如果终端到该边缘服务器的权重小于该终端到中心服务器的时延，则该边缘服务器计一分，遍历边缘服务器后，把分值最高且分值大于二的边缘服务器作为语音混音树的树节点，终端的终端音频模块(3)或终端混音模块(4)作为会议成员加入边缘混音模块(12)，边缘混音模块(12)把所有会议成员的音频流的数据进行累加计算得到上行混音流，发送给中心混音模块(17)，这些终端间音频会议因为没有经过中心混音模块(17)时延将变小；
在时延树去除已是语音混音树节点的边缘服务器，以及作为会议成员的终端，使用上述方法继续查找到语音混音树的边缘服务器节点，一直到找不到语音混音树的边缘服务器节点，剩余终端的终端音频模块(3)或终端混音模块(4)全部加入中心混音模块(17)。
4.根据权利要求1所述的一种基于5G低延时生成树音视频会议方法，其特征在于，所述终端音频模块(3)采集终端本地声音，通过混音网络发送其他终端的终端音频模块(3)，通过混音网络接收其他终端的终端音频模块(3)的声音。
5.根据权利要求1所述的一种基于5G低延时生成树音视频会议方法，其特征在于，所述终端5G通讯模块(7)实现终端与5G基站(9)站通信，实现音视频的双向传输，最终达成终端与边缘服务器与中心服务器的通信与音视频传输。
6.根据权利要求1所述的一种基于5G低延时生成树音视频会议方法，其特征在于，所述终端D2D通信模块(8)让两个对等的终端之间直接进行5G通信，D2D终端组成的分散式网路中，每个终端都能发送和接收信号，并能自动路由，最终实现部分终端不能直接与5G基站通信，也能通过其他终端的进行D2D实现加入会议，实现音视频传输。
7.根据权利要求1所述的一种基于5G低延时生成树音视频会议方法，其特征在于，所述5G基站(9)通过5G承载网(13)汇聚5G核心网，边缘服务器部署5G承载网(13)临近5G基站(9)位置，减少网络延时。
8.根据权利要求1所述的一种基于5G低延时生成树音视频会议方法，其特征在于，所述5G核心网(14)为5G出口网络，中心服务器通过5G核心网(14)和边缘服务器与终端进行通信和音视频传输。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011305279.6A CN112492255B (zh) | 2020-11-20 | 2020-11-20 | 一种基于5g低延时生成树音视频会议方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011305279.6A CN112492255B (zh) | 2020-11-20 | 2020-11-20 | 一种基于5g低延时生成树音视频会议方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112492255A CN112492255A (zh) | 2021-03-12 |
| CN112492255B true CN112492255B (zh) | 2022-07-05 |
Family
ID=74932246
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011305279.6A Active CN112492255B (zh) | 2020-11-20 | 2020-11-20 | 一种基于5g低延时生成树音视频会议方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112492255B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113727060B (zh) * | 2021-10-29 | 2022-02-25 | 共道网络科技有限公司 | 互联网庭审处理方法、装置及*** |
| CN114257647B (zh) * | 2021-12-21 | 2024-01-26 | 中国工商银行股份有限公司 | 基于d2d通信的会议视频缓存方法、服务器和*** |
| CN116866321B (zh) * | 2023-09-04 | 2023-12-08 | 中科融信科技有限公司 | 一种无中心多路声音一致性选择方法及*** |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101707593A (zh) * | 2009-11-17 | 2010-05-12 | 红杉树（杭州）信息技术有限公司 | 一种基于树形服务器、pc客户端和电话终端的会议*** |
| CN102035656A (zh) * | 2010-09-03 | 2011-04-27 | 浙江大学 | 一种基于代理的覆盖网络组播***实现方法 |
| CN105890609A (zh) * | 2016-06-02 | 2016-08-24 | 同济大学 | 一种基于分布式动态路网的路径规划方法及*** |
| CN106936645A (zh) * | 2017-04-19 | 2017-07-07 | 西安电子科技大学 | 基于排队论的树形网络拓扑结构的优化方法 |
| CN107872385A (zh) * | 2017-10-11 | 2018-04-03 | 中国电子科技集团公司第三十研究所 | 一种sdn网络路由计算与控制方法 |
| CN111866438A (zh) * | 2020-07-20 | 2020-10-30 | 西安交通大学 | 用户体验驱动的多方视频会议的转码和组播路由方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11277390B2 (en) * | 2015-01-26 | 2022-03-15 | Listat Ltd. | Decentralized cybersecure privacy network for cloud communication, computing and global e-commerce |
-
2020
- 2020-11-20 CN CN202011305279.6A patent/CN112492255B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101707593A (zh) * | 2009-11-17 | 2010-05-12 | 红杉树（杭州）信息技术有限公司 | 一种基于树形服务器、pc客户端和电话终端的会议*** |
| CN102035656A (zh) * | 2010-09-03 | 2011-04-27 | 浙江大学 | 一种基于代理的覆盖网络组播***实现方法 |
| CN105890609A (zh) * | 2016-06-02 | 2016-08-24 | 同济大学 | 一种基于分布式动态路网的路径规划方法及*** |
| CN106936645A (zh) * | 2017-04-19 | 2017-07-07 | 西安电子科技大学 | 基于排队论的树形网络拓扑结构的优化方法 |
| CN107872385A (zh) * | 2017-10-11 | 2018-04-03 | 中国电子科技集团公司第三十研究所 | 一种sdn网络路由计算与控制方法 |
| CN111866438A (zh) * | 2020-07-20 | 2020-10-30 | 西安交通大学 | 用户体验驱动的多方视频会议的转码和组播路由方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112492255A (zh) | 2021-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112492255B (zh) | 一种基于5g低延时生成树音视频会议方法 | |
| US8325641B2 (en) | Method and apparatus for service identifying and routing in multimedia broadcast/multicast service system | |
| KR102044847B1 (ko) | 데이터 전송 방법, 장치 및 시스템 | |
| US8659634B2 (en) | Method and system for implementing three-party video call by mobile terminals | |
| CN113923470B (zh) | 直播流处理方法及装置 | |
| CN102546775B (zh) | 一种cdn中的节点及其自组网方法 | |
| US20220015026A1 (en) | Method for network resource sharing, electronic device, and non-transitory computer-readable storage medium | |
| US8803942B2 (en) | Session processing method and system | |
| CN108924872A (zh) | 数据传输方法、终端和核心网设备 | |
| US9516475B2 (en) | Method and system for peer-to-peer communication among sites | |
| US9813774B2 (en) | On demand mobile wireless broadcast video delivery mechanism | |
| KR20130116935A (ko) | 화상 회의의 구현 방법, 화상 회의의 구현 시스템 및 광대역 이동 핫스폿 설비 | |
| CN111541860A (zh) | 一种实时音频传输***及其使用方法 | |
| CN101626546B (zh) | 一种无线视频会议中实现数据广播的方法及*** | |
| CN104754520A (zh) | 全业务点对点通信方法、***、终端和网络设备 | |
| JP2018529259A (ja) | ｅＮＢ内のＣＤＮキャッシングを備えたＭＢＭＳアーキテクチャ | |
| CN106534126A (zh) | 数据通信的方法、装置、集群***和中转台 | |
| TW201724863A (zh) | 串流服務系統、串流服務方法以及串流服務控制裝置 | |
| CN103167191B (zh) | 一种基于ndn的电话会议中发言者的检测方法 | |
| RU2012101842A (ru) | Способ и сервисное устройство для осуществления персонального разговора во время конференции в сети ims | |
| CN100558158C (zh) | 第三代移动通信终端上电视视频点播的***及其方法 | |
| CN115243201A (zh) | 一种多播实现方法和装置 | |
| CN112235719A (zh) | 通过d2d实现群组互动的方法和设备 | |
| JP3462162B2 (ja) | 移動通信接続の移行方法 | |
| CN104113827B (zh) | 组播控制器、无线接入设备、组播***及组播创建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A Low Delay Tree Audio Video Conference Method Based on 5G Effective date of registration: 20231007 Granted publication date: 20220705 Pledgee: Guotou Taikang Trust Co.,Ltd. Pledgor: HANGZHOU XUJIAN SCIENCE AND TECHNOLOGY Co.,Ltd. Registration number: Y2023980059619 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |