CN111405234A - 一种云端和边缘计算融合的视频会议信息***和方法 - Google Patents

一种云端和边缘计算融合的视频会议信息***和方法 Download PDF

Info

Publication number
CN111405234A
CN111405234A CN202010304820.5A CN202010304820A CN111405234A CN 111405234 A CN111405234 A CN 111405234A CN 202010304820 A CN202010304820 A CN 202010304820A CN 111405234 A CN111405234 A CN 111405234A
Authority
CN
China
Prior art keywords
video
conference
conference scene
user
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010304820.5A
Other languages
English (en)
Inventor
徐佳辉
万小贞
万志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dayi Technology Co ltd
Original Assignee
Hangzhou Dayi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dayi Technology Co ltd filed Critical Hangzhou Dayi Technology Co ltd
Priority to CN202010304820.5A priority Critical patent/CN111405234A/zh
Publication of CN111405234A publication Critical patent/CN111405234A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明提供了一种云端和边缘计算融合的视频会议信息***和方法，***包括云端服务器和多个用户终端，每个用户终端均包括功能增强模块和网络检测模块；用户终端用于获取当前用户的会议场景音视频，网络检测模块用于实时监测并判断网络状态，功能增强模块用于对会议场景音视频进行功能增强；云端服务器用于根据相应用户终端上传的会议场景音视频建立和训练相应的云端会议场景模型，并将计算处理后的会议场景音视频分别传输给视频会议其他用户终端。通过该***和方法，可以根据实时网络环境决定会议场景构建和功能增强的执行主体是云端节点或边缘节点，具有视频会议连接稳定、音视频会议场景高质流畅、语音保真还原和环境噪音小等优点。

Description

一种云端和边缘计算融合的视频会议信息***和方法
技术领域
本发明涉及云计算、边缘计算和通信技术领域，具体涉及一种云端和边缘计算融合的视频会议信息***和方法。
背景技术
视频会议，是指两个或两个以上不同地方的个人或群体，通过传输线路及多媒体设备，将声音、影像及文件资料互传，实现即时且互动的沟通。视频会议的使用类似电话，除了能看到与你通话的人并进行语言交流外，还能看到他们的表情和动作，使处于不同地方的人就像在同一会议室内沟通。随着视频会议***的广泛使用，在基本的多方语音和视频相互传输的基础上，增加集成了越来越多的功能，比如影像画质增强、语音音质增强和环境噪声去除等等，从而来增强视频会议的会议效果，方便了工作交流。
视频会议时通信质量很重要，会受通信网络环境较大的影响，目前，视频会议***存在以下不足：1、当下大部分的视频会议都是以智能手机等移动设备作为会议终端，然后通过移动互联网作为传输途径，不同的区域或空间移动网络的信号差距会很大，比如，用wifi网络时距路由器越近信号越好，在车库、地铁站和电梯等封闭空间移动网络信号很差，这些因素会导致移动网络出现网速不稳定和视频连接不稳定，从而影响频会议效果。2、视频会议时，影像画质增强、语音音质增强和环境噪声去除等功能会增大移动网络的数据传输量，从而带来更长的网络延迟，当网络环境不好的时候上述功能会出现被迫关闭、加剧视频会议的卡顿或中断等现象。
发明内容
针对现有技术存在的上述不足，本发明的目的在于：提供一种云端和边缘计算融合的视频会议信息***和方法，以视频会议的用户终端作为边缘节点、以云端服务器作为云端节点，二者融合计算来实现视频会议的音视频会议场景构建以及各种功能增强，可以根据实时网络环境决定会议场景构建和功能增强的执行主体是云端节点或边缘节点，具有视频会议连接稳定、音视频会议场景高质流畅、语音保真还原和环境噪音小等优点。
一种云端和边缘计算融合的视频会议信息***，包括云端服务器和多个用户终端，每个用户终端均包括功能增强模块和网络检测模块；用户终端用于获取当前用户的会议场景音视频，展示视频会议其他用户的会议场景音视频；网络检测模块用于实时监测并判断网络状态，功能增强模块用于对会议场景音视频进行功能增强；云端服务器用于根据相应用户终端上传的会议场景音视频建立和实时训练相应的云端会议场景模型，该云端会议场景模型和相应的视频会议用户拟合，并将计算处理后的会议场景音视频分别传输给视频会议其他用户终端。
进一步地，所述功能增强模块用于对会议场景音视频进行功能增强，包括提取人脸ROI特征进行人脸检测、人脸美颜增强、画质增强、提取画面前景区域ROI特征检测进行背景模糊化、语音增强、语音保真还原和环境噪声去除。
进一步地，根据每个用户终端上传的会议场景音视频的数据量，来判断对应的云端会议场景模型对网络状态的容忍度；当用户终端上传的会议场景音视频的数据量小于预设阈值，对应的云端会议场景模型和该用户的拟合度低，则判断对应的云端会议场景模型对网络状态的容忍度高，采用功能增强模块对当前用户的会议场景音视频进行功能增强；当用户终端上传的会议场景音视频的数据量大于预设阈值，对应的云端会议场景模型和该用户的拟合度高，则判断对应的云端会议场景模型对网络状态的容忍度低，采用当前用户的基础数据融合计算虚拟完整的会议场景音视频。
进一步地，当网络状态恶劣时，用户终端将当前用户的会议基础数据信息上传到到云端服务器，对应用户的云端会议场景模型停止训练，所述用户终端根据该用户终端采集的会议场景音视频建立和训练对应的用户端会议场景模型；当网络状态恢复良好时，对应的云端会议场景模型继续训练，用户端会议场景模型将当前用户的模型训练数据同步到对应的云端会议场景模型。
进一步地，所述网络检测模块根据数据包的丢包率、数据包发送后的反馈时延来判断当前的网络状态。
一种云端和边缘计算融合的视频会议信息方法，包括以下步骤：
S1：通过用户终端获取当前用户的会议场景音视频，展示视频会议其他用户的会议场景音视频；
S2：采用功能增强模块对会议场景音视频进行功能增强，并将增强后的会议场景音视频上传到到云端服务器；云端服务器根据相应用户终端上传的会议场景音视频建立和实时训练相应的云端会议场景模型，该云端会议场景模型和相应的视频会议用户拟合；
S3：采用网络检测模块实时监测网络状态，并实时判断网络状态是否良好；若是，则执行步骤S4，若否，则执行步骤S5；
S4：采用功能增强模块对当前用户的会议场景音视频进行功能增强，并将增强后的会议场景音视频上传到到云端服务器；云端服务器将增强后的会议场景音视频分别传输给视频会议其他用户终端；
S5：用户终端将当前用户的会议基础数据信息上传到到云端服务器，相应的云端会议场景模型根据该用户的基础数据融合计算虚拟完整的会议场景音视频；云端服务器将虚拟完整的会议场景音视频分别传输给视频会议其他用户终端。
进一步地，所述采用功能增强模块对会议场景音视频进行功能增强，包括提取人脸ROI特征进行人脸检测、人脸美颜增强、画质增强、提取画面前景区域ROI特征检测进行背景模糊化、语音增强、语音保真还原和环境噪声去除。
进一步地，根据每个用户终端上传的会议场景音视频的数据量，来判断对应的云端会议场景模型对网络状态的容忍度；当用户终端上传的会议场景音视频的数据量小于预设阈值，对应的云端会议场景模型和该用户的拟合度低，则判断对应的云端会议场景模型对网络状态的容忍度高，采用功能增强模块对当前用户的会议场景音视频进行功能增强；当用户终端上传的会议场景音视频的数据量大于预设阈值，对应的云端会议场景模型和该用户的拟合度高，则判断对应的云端会议场景模型对网络状态的容忍度低，采用当前用户的基础数据融合计算虚拟完整的会议场景音视频。
进一步地，当网络状态恶劣时，用户终端将当前用户的会议基础数据信息上传到到云端服务器，对应用户的云端会议场景模型停止训练，所述用户终端根据该用户终端采集的会议场景音视频建立和训练对应的用户端会议场景模型；当网络状态恢复良好时，对应的云端会议场景模型继续训练，用户端会议场景模型将当前用户的模型训练数据同步到对应的云端会议场景模型。
进一步地，所述网络检测模块根据数据包的丢包率、数据包发送后的反馈时延来判断当前的网络状态。
相比于现有技术，本发明具有以下优点：
本发明提供了一种云端和边缘计算融合的视频会议信息***和方法，以视频会议的用户终端作为边缘节点，以视频会议的云端服务器作为云端节点；在云端服务器为每个参加视频会议的用户建立和训练一一对应的云端会议场景模型；当网络状态良好时，采用边缘增强模式，然后将增强后的会议场景音视频分别传输给视频会议其他用户终端；当网络状态不佳时，采用云端和边缘融合计算模式，然后将虚拟完整的会议场景音视频分别传输给视频会议其他用户终端。可以根据实时网络环境决定会议场景构建和功能增强的执行主体是云端节点或边缘节点，具有视频会议连接稳定、音视频会议场景高质流畅、语音保真还原和环境噪音小等优点。
附图说明
图1为本发明实施例一中云端和边缘计算融合的视频会议信息***的***框架图；
图2为本发明实施例二中云端和边缘计算融合的视频会议信息方法的流程图；
图3为本发明实施例一或实施例二中功能增强模块的框图；
图4为本发明实施例一或实施例二中会议场景模型和用户拟合度的判断流程图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。
实施例一：
参照图1，一种云端和边缘计算融合的视频会议信息***，包括云端服务器和多个用户终端，每个用户终端均包括功能增强模块和网络检测模块；用户终端用于获取当前用户的会议场景音视频，展示视频会议其他用户的会议场景音视频；网络检测模块用于实时监测并判断网络状态，功能增强模块用于对会议场景音视频进行功能增强；云端服务器用于根据相应用户终端上传的会议场景音视频建立和训练相应的云端会议场景模型，该云端会议场景模型和相应的视频会议用户拟合，并将计算处理后的会议场景音视频分别传输给视频会议其他用户终端。具体地，用户终端可以是智能手机等移动设备，也可以是台式电脑、笔记本电脑或ipad等等；当前用户的会议场景音视频包括在视频会议过程中通过用户终端拍摄和录制的当前用户的视频信息和音频信息；网络检测模块可以实时监测每个用户终端的网络状态，并根据视频会议数据传输时数据包的丢包率、数据包发送后的反馈时延来判断当前的网络状态。参照图3，采用功能增强模块对会议场景音视频进行功能增强，包括提取人脸ROI特征进行人脸检测、人脸美颜增强、画质增强、提取画面前景区域ROI特征检测进行背景模糊化、语音增强、语音保真还原和环境噪声去除。在云端服务器为每个参加视频会议的用户建立一一对应的云端会议场景模型，并采用每个用户终端上传的多个会议场景音视频来实时训练模型。
上述视频会议信息***中，云端会议场景模型包括人物模型、前景模型和去噪语音模型，人物模型训练方法为：从用户终端上传的视频信息中对参加视频会议的用户进行人脸识别、表情分析和姿态分析等，然后构建和训练该用户的人物模型，并将模型数据存入云端服务器。前景模型训练方法为：从用户终端上传的视频信息帧中提取前景帧，采用多个前景帧构建和训练该用户的前景模型，并将模型数据存入云端服务器。去噪语音模型训练方法为：对用户终端上传的音频信息进行识别分析，将参会用户的音频和会议场景的音频区分开，并将模型数据存入云端服务器，根据参会用户的音频实时更新去噪语音模型；优选地，还可以将参会用户的音频作为加权参数来修正用户的表情数据。
上述视频会议信息***中，当网络检测模块监测到网络状态良好时，采用功能增强模块对当前用户的会议场景音视频进行功能增强，并将增强后的会议场景音视频上传到到云端服务器；云端服务器将增强后的会议场景音视频分别传输给视频会议其他用户终端。当网络检测模块监测到网络状态差时，此时，不再对会议场景音视频进行功能增强处理，用户终端只将当前用户的会议基础数据信息上传到到云端服务器，然后实施云端和边缘融合计算，将该用户的基础数据代入该用户对应的云端会议场景模型，融合计算虚拟完整的会议场景音视频；云端服务器将虚拟完整的会议场景音视频分别传输给视频会议其他用户终端。具体地，会议基础数据信息主要指语音信息，还可以是对用户身体区域或人脸区域进行提取和降采样之后的缩略图像信息。当网络检测模块监测到网络状态从差恢复到良好时，则从云端和边缘融合计算模式的会议场景音视频生成，恢复为边缘化的会议场景音视频生成。
参照图4，上述视频会议信息***中，每个云端会议场景模型的构建和训练都需要对应用户终端上传一定数量的会议场景音视频，数据量越充分，则训练得到的模型和该用户的拟合效果越好。因此，视频会议开始后，可以根据每个用户终端上传的会议场景音视频的数据量，来判断对应的云端会议场景模型对网络状态的容忍度。当用户终端上传的会议场景音视频的数据量较少的情况下，小于预设阈值，对应的云端会议场景模型和该用户的拟合度低，则判断对应的云端会议场景模型对网络状态的容忍度高，则更多采用边缘增强的模式，即采用功能增强模块对当前用户的会议场景音视频进行功能增强；随着用户上传的会议场景音视频的数据量增多，大于预设阈值，对应的云端会议场景模型和该用户的拟合度高，则判断对应的云端会议场景模型对网络状态的容忍度低，则更多采用云端和边缘融合的计算模式，即采用当前用户的基础数据融合计算虚拟完整的会议场景音视频。具体地，根据云端会议场景模型和用户的拟合度来反推预设阈值的具体数值。
具体实施时，当网络状态不佳的情况下，用户终端只能上传该用户的会议基础数据，此时无法对相应的云端会议场景模型进行训练；或者，当用户由于一些原因，例如驾车、跑步等，不便于直接参加视频会议的时候；此时，可以在用户终端为该用户建立一个用户端会议场景模型，用户终端根据该用户终端采集的会议场景音视频建立和训练对应的用户端会议场景模型；当网络状态恢复良好时，对应的云端会议场景模型继续训练，用户端会议场景模型将当前用户的模型训练数据同步到对应的云端会议场景模型。
上述视频会议信息***，以视频会议的用户终端作为边缘节点，以视频会议的云端服务器作为云端节点，二者融合计算来实现视频会议的音视频会议场景构建以及各种功能增强，可以根据实时网络环境决定会议场景构建和功能增强的执行主体是云端节点或边缘节点，具有视频会议连接稳定、音视频会议场景高质流畅、语音保真还原和环境噪音小等优点。
实施例二：
参照图2，一种云端和边缘计算融合的视频会议信息方法，包括以下步骤：
S1：通过用户终端获取当前用户的会议场景音视频，展示视频会议其他用户的会议场景音视频；
S2：采用功能增强模块对会议场景音视频进行功能增强，并将增强后的会议场景音视频上传到到云端服务器；云端服务器根据相应用户终端上传的会议场景音视频建立和训练相应的云端会议场景模型，该云端会议场景模型和相应的视频会议用户拟合；
S3：采用网络检测模块实时监测网络状态，并实时判断网络状态是否良好；若是，则执行步骤S4，若否，则执行步骤S5；
S4：采用功能增强模块对当前用户的会议场景音视频进行功能增强，并将增强后的会议场景音视频上传到到云端服务器；云端服务器将增强后的会议场景音视频分别传输给视频会议其他用户终端；
S5：用户终端将当前用户的会议基础数据信息上传到到云端服务器，相应的云端会议场景模型根据该用户的基础数据融合计算虚拟完整的会议场景音视频；云端服务器将虚拟完整的会议场景音视频分别传输给视频会议其他用户终端。
具体地，用户终端可以是智能手机等移动设备，也可以是台式电脑、笔记本电脑或ipad等等；当前用户的会议场景音视频包括在视频会议过程中通过用户终端拍摄和录制的当前用户的视频信息和音频信息；网络检测模块可以实时监测每个用户终端的网络状态，并根据视频会议数据传输时数据包的丢包率、数据包发送后的反馈时延来判断当前的网络状态。参照图3，采用功能增强模块对会议场景音视频进行功能增强，包括提取人脸ROI特征进行人脸检测、人脸美颜增强、画质增强、提取画面前景区域ROI特征检测进行背景模糊化、语音增强、语音保真还原和环境噪声去除。在云端服务器为每个参加视频会议的用户建立一一对应的云端会议场景模型，并采用每个用户终端上传的多个会议场景音视频来实时训练模型。
上述视频会议信息方法中，云端会议场景模型包括人物模型、前景模型和去噪语音模型，人物模型训练方法为：从用户终端上传的视频信息中对参加视频会议的用户进行人脸识别、表情分析和姿态分析等，然后构建和训练该用户的人物模型，并将模型数据存入云端服务器。前景模型训练方法为：从用户终端上传的视频信息帧中提取前景帧，采用多个前景帧构建和训练该用户的前景模型，并将模型数据存入云端服务器。去噪语音模型训练方法为：对用户终端上传的音频信息进行识别分析，将参会用户的音频和会议场景的音频区分开，并将模型数据存入云端服务器，根据参会用户的音频实时更新去噪语音模型；优选地，还可以将参会用户的音频作为加权参数来修正用户的表情数据。
上述视频会议信息方法中，当网络检测模块监测到网络状态良好时，采用功能增强模块对当前用户的会议场景音视频进行功能增强，并将增强后的会议场景音视频上传到到云端服务器；云端服务器将增强后的会议场景音视频分别传输给视频会议其他用户终端。当网络检测模块监测到网络状态差时，此时，不再对会议场景音视频进行功能增强处理，用户终端只将当前用户的会议基础数据信息上传到到云端服务器，然后实施云端和边缘融合计算，将该用户的基础数据代入该用户对应的云端会议场景模型，融合计算虚拟完整的会议场景音视频；云端服务器将虚拟完整的会议场景音视频分别传输给视频会议其他用户终端。具体地，会议基础数据信息主要指语音信息，还可以是对用户身体区域或人脸区域进行提取和降采样之后的缩略图像信息。当网络检测模块监测到网络状态从差恢复到良好时，则从云端和边缘融合计算模式的会议场景音视频生成，恢复为边缘化的会议场景音视频生成。
参照图4，上述视频会议信息方法中，每个云端会议场景模型的构建和训练都需要对应用户终端上传一定数量的会议场景音视频，数据量越充分，则训练得到的模型和该用户的拟合效果越好。因此，视频会议开始后，可以根据每个用户终端上传的会议场景音视频的数据量，来判断对应的云端会议场景模型对网络状态的容忍度。当用户终端上传的会议场景音视频的数据量较少的情况下，小于预设阈值，对应的云端会议场景模型和该用户的拟合度低，则判断对应的云端会议场景模型对网络状态的容忍度高，则更多采用边缘增强的模式，即采用功能增强模块对当前用户的会议场景音视频进行功能增强；随着用户上传的会议场景音视频的数据量增多，大于预设阈值，对应的云端会议场景模型和该用户的拟合度高，则判断对应的云端会议场景模型对网络状态的容忍度低，则更多采用云端和边缘融合的计算模式，即采用当前用户的基础数据融合计算虚拟完整的会议场景音视频。具体地，根据云端会议场景模型和用户的拟合度来反推预设阈值的具体数值。
具体实施时，当网络状态不佳的情况下，用户终端只能上传该用户的会议基础数据，此时无法对相应的云端会议场景模型进行训练；或者，当用户由于一些原因，例如驾车、跑步等，不便于直接参加视频会议的时候；此时，可以在用户终端为该用户建立一个用户端会议场景模型，用户终端根据该用户终端采集的会议场景音视频建立和训练对应的用户端会议场景模型；当网络状态恢复良好时，对应的云端会议场景模型继续训练，用户端会议场景模型将当前用户的模型训练数据同步到对应的云端会议场景模型。
上述视频会议信息方法，以视频会议的用户终端作为边缘节点，以视频会议的云端服务器作为云端节点，二者融合计算来实现视频会议的音视频会议场景构建以及各种功能增强，可以根据实时网络环境决定会议场景构建和功能增强的执行主体是云端节点或边缘节点，具有视频会议连接稳定、音视频会议场景高质流畅、语音保真还原和环境噪音小等优点。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的保护范围当中。

Claims (10)

1.一种云端和边缘计算融合的视频会议信息***，其特性在于，包括云端服务器和多个用户终端，每个用户终端均包括功能增强模块和网络检测模块；用户终端用于获取当前用户的会议场景音视频，展示视频会议其他用户的会议场景音视频；网络检测模块用于实时监测并判断网络状态，功能增强模块用于对会议场景音视频进行功能增强；云端服务器用于根据相应用户终端上传的会议场景音视频建立和实时训练相应的云端会议场景模型，该云端会议场景模型和相应的视频会议用户拟合，并将计算处理后的会议场景音视频分别传输给视频会议其他用户终端。
2.根据权利要求1所述的视频会议信息***，其特性在于，所述功能增强模块用于对会议场景音视频进行功能增强，包括提取人脸ROI特征进行人脸检测、人脸美颜增强、画质增强、提取画面前景区域ROI特征检测进行背景模糊化、语音增强、语音保真还原和环境噪声去除。
3.根据权利要求1所述的视频会议信息***，其特性在于，根据每个用户终端上传的会议场景音视频的数据量，来判断对应的云端会议场景模型对网络状态的容忍度；当用户终端上传的会议场景音视频的数据量小于预设阈值，对应的云端会议场景模型和该用户的拟合度低，则判断对应的云端会议场景模型对网络状态的容忍度高，采用功能增强模块对当前用户的会议场景音视频进行功能增强；当用户终端上传的会议场景音视频的数据量大于预设阈值，对应的云端会议场景模型和该用户的拟合度高，则判断对应的云端会议场景模型对网络状态的容忍度低，采用当前用户的基础数据融合计算虚拟完整的会议场景音视频。
4.根据权利要求1所述的视频会议信息***，其特性在于，当网络状态恶劣时，用户终端将当前用户的会议基础数据信息上传到到云端服务器，对应用户的云端会议场景模型停止训练，所述用户终端根据该用户终端采集的会议场景音视频建立和训练对应的用户端会议场景模型；当网络状态恢复良好时，对应的云端会议场景模型继续训练，用户端会议场景模型将当前用户的模型训练数据同步到对应的云端会议场景模型。
5.根据权利要求1所述的视频会议信息***，其特性在于，所述网络检测模块根据数据包的丢包率、数据包发送后的反馈时延来判断当前的网络状态。
6.如权利要求1~5任一所述视频会议信息***的使用方法，其特征在于，包括以下步骤：
S1：通过用户终端获取当前用户的会议场景音视频，展示视频会议其他用户的会议场景音视频；
S2：采用功能增强模块对会议场景音视频进行功能增强，并将增强后的会议场景音视频上传到到云端服务器；云端服务器根据相应用户终端上传的会议场景音视频建立和实时训练相应的云端会议场景模型，该云端会议场景模型和相应的视频会议用户拟合；
S3：采用网络检测模块实时监测网络状态，并实时判断网络状态是否良好；若是，则执行步骤S4，若否，则执行步骤S5；
S4：采用功能增强模块对当前用户的会议场景音视频进行功能增强，并将增强后的会议场景音视频上传到到云端服务器；云端服务器将增强后的会议场景音视频分别传输给视频会议其他用户终端；
S5：用户终端将当前用户的会议基础数据信息上传到到云端服务器，相应的云端会议场景模型根据该用户的基础数据融合计算虚拟完整的会议场景音视频；云端服务器将虚拟完整的会议场景音视频分别传输给视频会议其他用户终端。
7.根据权利要求6所述的视频会议信息方法，其特征在于，所述采用功能增强模块对会议场景音视频进行功能增强，包括提取人脸ROI特征进行人脸检测、人脸美颜增强、画质增强、提取画面前景区域ROI特征检测进行背景模糊化、语音增强、语音保真还原和环境噪声去除。
8.根据权利要求6所述的视频会议信息方法，其特征在于，根据每个用户终端上传的会议场景音视频的数据量，来判断对应的云端会议场景模型对网络状态的容忍度；当用户终端上传的会议场景音视频的数据量小于预设阈值，对应的云端会议场景模型和该用户的拟合度低，则判断对应的云端会议场景模型对网络状态的容忍度高，采用功能增强模块对当前用户的会议场景音视频进行功能增强；当用户终端上传的会议场景音视频的数据量大于预设阈值，对应的云端会议场景模型和该用户的拟合度高，则判断对应的云端会议场景模型对网络状态的容忍度低，采用当前用户的基础数据融合计算虚拟完整的会议场景音视频。
9.根据权利要求6所述的视频会议信息方法，其特征在于，当网络状态恶劣时，用户终端将当前用户的会议基础数据信息上传到到云端服务器，对应用户的云端会议场景模型停止训练，所述用户终端根据该用户终端采集的会议场景音视频建立和训练对应的用户端会议场景模型；当网络状态恢复良好时，对应的云端会议场景模型继续训练，用户端会议场景模型将当前用户的模型训练数据同步到对应的云端会议场景模型。
10.根据权利要求6所述的视频会议信息方法，其特征在于，所述网络检测模块根据数据包的丢包率、数据包发送后的反馈时延来判断当前的网络状态。
CN202010304820.5A 2020-04-17 2020-04-17 一种云端和边缘计算融合的视频会议信息***和方法 Pending CN111405234A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010304820.5A CN111405234A (zh) 2020-04-17 2020-04-17 一种云端和边缘计算融合的视频会议信息***和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010304820.5A CN111405234A (zh) 2020-04-17 2020-04-17 一种云端和边缘计算融合的视频会议信息***和方法

Publications (1)

Publication Number Publication Date
CN111405234A true CN111405234A (zh) 2020-07-10

Family

ID=71429666

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010304820.5A Pending CN111405234A (zh) 2020-04-17 2020-04-17 一种云端和边缘计算融合的视频会议信息***和方法

Country Status (1)

Country Link
CN (1) CN111405234A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112291506A (zh) * 2020-12-25 2021-01-29 北京电信易通信息技术股份有限公司 一种视频会议场景下流数据安全漏洞溯源方法及***
CN112672090A (zh) * 2020-12-17 2021-04-16 深圳随锐云网科技有限公司 一种云视频会议中优化音视频效果的方法
CN112908353A (zh) * 2021-02-03 2021-06-04 天津大学 用于助听器的边缘计算与云计算相结合的语音增强方法
CN113327619A (zh) * 2021-02-26 2021-08-31 山东大学 一种基于云—边缘协同架构的会议记录方法及***
CN113362455A (zh) * 2021-06-18 2021-09-07 特斯联科技集团有限公司 一种视频会议背景虚拟化处理方法和装置
CN113473068A (zh) * 2021-07-14 2021-10-01 中国联合网络通信集团有限公司 会议接入方法、装置、服务器及存储介质
CN113965550A (zh) * 2021-10-15 2022-01-21 天津大学 智能交互式远程辅助视频***
WO2022099753A1 (zh) * 2020-11-11 2022-05-19 苏州知云创宇信息科技有限公司 一种基于云计算服务的会议视频信息上传方法及***
CN115914540A (zh) * 2022-10-12 2023-04-04 山东美承数码科技有限公司 云视讯会议***
CN117560464A (zh) * 2024-01-10 2024-02-13 深圳市云屋科技有限公司 一种多平台视频会议方法及***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104704814A (zh) * 2012-07-30 2015-06-10 摩托罗拉移动技术公司 视频会议中的视频带宽分配
CN106488265A (zh) * 2016-10-12 2017-03-08 广州酷狗计算机科技有限公司 一种发送媒体流的方法和装置
CN108574817A (zh) * 2017-03-09 2018-09-25 北京达力博信科技有限公司 一种视频会议***及视频会议数据传输方法
CN109218759A (zh) * 2018-09-27 2019-01-15 广州酷狗计算机科技有限公司 推送媒体流的方法、装置、服务器及存储介质
CN109769143A (zh) * 2019-02-03 2019-05-17 广州视源电子科技股份有限公司 视频图像处理方法、装置、视频***、设备和存储介质
US10462425B1 (en) * 2018-09-07 2019-10-29 Bank Of America Corporation Processing system for providing a teller assistant experience using enhanced reality interfaces
CN110581976A (zh) * 2019-09-16 2019-12-17 平安科技（深圳）有限公司 远程会议方法、装置、计算机***及可读存储介质
CN111010529A (zh) * 2019-12-25 2020-04-14 杭州席媒科技有限公司 可多人实时批注的视频会议方法及***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104704814A (zh) * 2012-07-30 2015-06-10 摩托罗拉移动技术公司 视频会议中的视频带宽分配
CN106488265A (zh) * 2016-10-12 2017-03-08 广州酷狗计算机科技有限公司 一种发送媒体流的方法和装置
CN108574817A (zh) * 2017-03-09 2018-09-25 北京达力博信科技有限公司 一种视频会议***及视频会议数据传输方法
US10462425B1 (en) * 2018-09-07 2019-10-29 Bank Of America Corporation Processing system for providing a teller assistant experience using enhanced reality interfaces
CN109218759A (zh) * 2018-09-27 2019-01-15 广州酷狗计算机科技有限公司 推送媒体流的方法、装置、服务器及存储介质
CN109769143A (zh) * 2019-02-03 2019-05-17 广州视源电子科技股份有限公司 视频图像处理方法、装置、视频***、设备和存储介质
CN110581976A (zh) * 2019-09-16 2019-12-17 平安科技（深圳）有限公司 远程会议方法、装置、计算机***及可读存储介质
CN111010529A (zh) * 2019-12-25 2020-04-14 杭州席媒科技有限公司 可多人实时批注的视频会议方法及***

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022099753A1 (zh) * 2020-11-11 2022-05-19 苏州知云创宇信息科技有限公司 一种基于云计算服务的会议视频信息上传方法及***
CN112672090B (zh) * 2020-12-17 2023-04-18 深圳随锐视听科技有限公司 一种云视频会议中优化音视频效果的方法
CN112672090A (zh) * 2020-12-17 2021-04-16 深圳随锐云网科技有限公司 一种云视频会议中优化音视频效果的方法
CN112291506A (zh) * 2020-12-25 2021-01-29 北京电信易通信息技术股份有限公司 一种视频会议场景下流数据安全漏洞溯源方法及***
CN112908353A (zh) * 2021-02-03 2021-06-04 天津大学 用于助听器的边缘计算与云计算相结合的语音增强方法
CN113327619A (zh) * 2021-02-26 2021-08-31 山东大学 一种基于云—边缘协同架构的会议记录方法及***
CN113327619B (zh) * 2021-02-26 2022-11-04 山东大学 一种基于云—边缘协同架构的会议记录方法及***
CN113362455A (zh) * 2021-06-18 2021-09-07 特斯联科技集团有限公司 一种视频会议背景虚拟化处理方法和装置
CN113473068A (zh) * 2021-07-14 2021-10-01 中国联合网络通信集团有限公司 会议接入方法、装置、服务器及存储介质
CN113965550A (zh) * 2021-10-15 2022-01-21 天津大学 智能交互式远程辅助视频***
CN113965550B (zh) * 2021-10-15 2023-08-18 天津大学 智能交互式远程辅助视频***
CN115914540A (zh) * 2022-10-12 2023-04-04 山东美承数码科技有限公司 云视讯会议***
CN115914540B (zh) * 2022-10-12 2023-09-29 山东美承数码科技有限公司 云视讯会议***
CN117560464A (zh) * 2024-01-10 2024-02-13 深圳市云屋科技有限公司 一种多平台视频会议方法及***
CN117560464B (zh) * 2024-01-10 2024-05-03 深圳市云屋科技有限公司 一种多平台视频会议方法及***

Similar Documents

Publication Publication Date Title
CN111405234A (zh) 一种云端和边缘计算融合的视频会议信息***和方法
KR102054173B1 (ko) 화상 회의 동안 발표자 디스플레이
CN104521180B (zh) 基于统一通信的视频会议呼叫方法、设备和***
CN111402399B (zh) 人脸驱动和直播方法、装置、电子设备及存储介质
US8817061B2 (en) Recognition of human gestures by a mobile phone
CN100459711C (zh) 一种视频压缩方法及使用该方法的视频***
WO2022017083A1 (zh) 一种数据处理方法、装置、设备及可读存储介质
US20060215014A1 (en) System and method for very low frame rate teleconferencing employing image morphing and cropping
CN105376515B (zh) 用于视频通讯的通讯信息的呈现方法、装置及***
CN104836981A (zh) 智能会议的协作方法和会议终端
CN112672090B (zh) 一种云视频会议中优化音视频效果的方法
CN101141610A (zh) 视频混合的装置和方法
JP2006217628A (ja) 多者間画像通信を提供する送受信装置及び送信方法
CN112839196B (zh) 一种实现在线会议的方法、装置以及存储介质
CN107623830B (zh) 一种视频通话方法及电子设备
CN111988555B (zh) 一种数据处理方法、装置、设备和机器可读介质
US20110164742A1 (en) Conversation detection in an ambient telephony system
CN110536095A (zh) 通话方法、装置、终端及存储介质
CN103702064A (zh) 一种视频会议方法、终端和***
CN111901621A (zh) 一种基于直播内容识别的互动直播教学节流装置和方法
US9277174B2 (en) Information processing apparatus, information processing method and information processing program
CN106791681A (zh) 视频监控和人脸识别方法、装置及***
EP1976291B1 (de) Verfahren und videokommunikationssystem zur Gestik-basierten Echtzeit-Steuerung eines Avatars
CN113593587B (zh) 语音分离方法及装置、存储介质、电子装置
US20220182557A1 (en) Systems and methods for displaying users participating in a communication session

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200710