CN112990794B - 一种视频会议质量检测方法、***、存储介质及电子设备 - Google Patents

一种视频会议质量检测方法、***、存储介质及电子设备 Download PDF

Info

Publication number
CN112990794B
CN112990794B CN202110513818.3A CN202110513818A CN112990794B CN 112990794 B CN112990794 B CN 112990794B CN 202110513818 A CN202110513818 A CN 202110513818A CN 112990794 B CN112990794 B CN 112990794B
Authority
CN
China
Prior art keywords
conference
data
quality
determining
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110513818.3A
Other languages
English (en)
Other versions
CN112990794A (zh
Inventor
罗开清
许磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Huachuang Video Signal Technology Co Ltd
Original Assignee
Zhejiang Huachuang Video Signal Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Huachuang Video Signal Technology Co Ltd filed Critical Zhejiang Huachuang Video Signal Technology Co Ltd
Priority to CN202110513818.3A priority Critical patent/CN112990794B/zh
Publication of CN112990794A publication Critical patent/CN112990794A/zh
Application granted granted Critical
Publication of CN112990794B publication Critical patent/CN112990794B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Game Theory and Decision Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明公开了一种视频会议质量检测方法、***、存储介质及电子设备，通过获取待检测会议的会议基础数据、会议关联数据和会议实时数据，并根据所述会议实时数据、所述会议关联数据和所述会议基础数据，确定所述待检测会议的多级质量参数；进一步根据所述多级质量参数，确定所述待检测会议的综合会议质量。充分利用会议本身的基本数据、实时数据和关联数据，从而能够应用边缘计算、云计算和人工智能技术对视频会议全过程的数据进行实时或离线处理，实现对会议的质量进行***、客观、准确、及时的检测，有利于视频会议的组织者及时对视频会议进行调整，以提升会议效率，降低会议综合成本。

Description

一种视频会议质量检测方法、***、存储介质及电子设备
技术领域
本发明涉及视频通信技术领域，尤其涉及一种视频会议质量检测方法、***、存储介质及电子设备。
背景技术
多媒体通信业务的飞速发展给用户带来了极大便利，但同时也出现了会议频次高、部分会议低效的问题。因此，如何对视频会议质量进行有效检测，以根据视频会议质量调整会议频次、会议内容、参与人员和会议互动方式等，从而进一步带来更好的用户体验成为一项非常重要的工作。
目前针对视频会议质量的评估局限于视频或音频本身的质量，处于较低的认知层面的感知层，局限于硬件、网络、信号等角度。对视频会议质量的检测和评价不够客观，检测和评价结果未能客观准确地反映视频会议的质量。
发明内容
本发明实施例提供一种视频会议质量检测方法、***、存储介质及电子设备。
根据本发明第一方面，提供了一种视频会议质量检测方法，所述方法包括：获取待检测会议的会议基础数据、会议关联数据和会议实时数据；根据所述会议实时数据、所述会议关联数据和所述会议基础数据，确定所述待检测会议的多级质量参数；根据所述多级质量参数，确定所述待检测会议的综合会议质量。
根据本发明一实施方式，所述根据所述会议实时数据、所述会议关联数据和所述会议基础数据，确定所述待检测会议的多级质量参数，包括：识别所述会议实时数据，得到数据识别结果；根据所述数据识别结果、所述会议基础数据和所述会议关联数据，确定所述多级质量参数；其中所述多级质量参数包括以下至少之一：个体多级参数、群体多级参数和会议多级参数。
根据本发明一实施方式，根据所述数据识别结果、所述会议基础数据和所述会议关联数据，确定所述多级质量参数，包括：确定所述待检测会议的多个质量检测级别以及所述多个质量检测级别之间的从属关系；根据所述数据识别结果、所述会议基础数据和所述会议关联数据，确定所述待检测会议的检测值向量；根据检测值向量和从属关系，依次确定所述待检测会议的所述多级质量参数。
根据本发明一实施方式，所述根据所述多级质量参数，确定所述待检测会议的综合会议质量，包括：确定所述多级质量参数的修正系数；利用所述修正系数和所述多级质量参数，得到所述综合会议质量。
根据本发明一实施方式，所述方法还包括：在所述多级质量参数和所述综合会议质量满足设定条件的情况下，发出提醒信息。
根据本发明一实施方式，所述方法还包括：根据所述提醒信息，对所述待检测会议进行调整。
根据本发明第二方面，还提供了一种视频会议质量检测***，所述***包括：数据层，用于获取和存储以下数据：待检测会议的会议基础数据、会议关联数据和会议实时数据；处理层，用于根据所述会议实时数据、所述会议关联数据和所述会议基础数据，确定所述待检测会议的多级质量参数；优化层，用于根据所述多级质量参数，确定所述待检测会议的综合会议质量。
根据本发明一实施方式，所述数据层包括：数据采集模块，用于获取待检测会议的会议基础数据、会议关联数据和会议实时数据；数据识别模块，用于识别所述会议实时数据，得到数据识别结果；数据存储模块，用于采用分别与所述数据识别结果、所述会议基础数据和所述会议关联数据相适配的数据存储方式，存储所述数据识别结果、所述会议基础数据和所述会议关联数据。
根据本发明第三方面，又提供了一种计算机可读存储介质，所述存储介质包括一组计算机可执行指令，当所述指令被执行时用于执行上述任意所述视频会议质量检测方法。
根据本发明第四方面，又提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现上述任意所述视频会议质量检测方法。
本发明实施例视频会议质量检测方法、***、存储介质及电子设备，通过获取待检测会议的会议基础数据、会议关联数据和会议实时数据，并根据所述会议实时数据、所述会议关联数据和所述会议基础数据，确定所述待检测会议的多级质量参数；进一步根据所述多级质量参数，确定所述待检测会议的综合会议质量。充分利用会议本身的基本数据、实时数据和关联数据，从而能够应用边缘计算、云计算和人工智能技术对视频会议全过程的数据进行实时或离线处理，实现对会议的质量进行***、客观、准确、及时的检测，有利于视频会议的组织者及时对视频会议进行调整，以提升会议效率，降低会议综合成本。
需要理解的是，本发明的教导并不需要实现上面所述的全部有益效果，而是特定的技术方案可以实现特定的技术效果，并且本发明的其他实施方式还能够实现上面未提到的有益效果。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
在附图中，相同或对应的标号表示相同或对应的部分。
图1示出了本发明实施例视频会议质量检测方法的实现流程示意图；
图2示出了本发明实施例视频会议质量检测方法的具体应用示例的实现流程示意图；
图3示出了本发明实施例视频会议质量检测***的组成结构示意图；
图4示出了本发明实施例电子设备的组成结构示意图。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为使本发明更加透彻和完整，并能够将本发明的范围完整地传达给本领域的技术人员。
首先对本发明实施例视频会议质量检测方法的应用场景进行简单说明，本发明实施视频会议质量检测方法需要基于视频会议质量检测***运行，视频会议质量检测***将结合图3进行详细说明，此处仅进行简单的描述。视频会议质量检测***包括：数据层，用于获取和存储以下数据：待检测会议的会议基础数据、会议关联数据和会议实时数据；处理层，用于根据会议实时数据、会议关联数据和会议基础数据，确定待检测会议的多级质量参数；优化层，用于根据多级质量参数，确定待检测会议的综合会议质量。其中，数据层可以包括：数据采集模块、数据识别模块和数据存储模块。数据识别模块能够对视频会议的会议实时数据进行识别，例如，可以利用OCR识别技术识别到会议实时数据中的参会人笔记数据和会议白板数据等。会议存储模块采用分布式分层云存储架构，根据数据类型、数据用途以及数据的生命周期流转阶段选取合适的存储方式对不同类型的会议数据进行存储。
下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。
图1示出了本发明实施例视频会议质量检测方法的实现流程示意图。
参考图1，本发明实施例视频会议质量检测方法，至少包括如下操作流程：操作101，获取待检测会议的会议基础数据、会议关联数据和会议实时数据；操作102，根据会议实时数据、会议关联数据和会议基础数据，确定待检测会议的多级质量参数；操作103，根据多级质量参数，确定待检测会议的综合会议质量。
在操作101，获取待检测会议的会议基础数据、会议关联数据和会议实时数据。
在本发明这一实施例中，会议基础数据可以包括会议主体要素、会议内容要素、会议时空要素和其他会议要素等。其中，会议主体要素可以包括参会人和会议等级等。例如，参会人包括A企业部门1和部门3的全体人员，会议等级为企业内部一级重要。会议内容要素可以包括会议议题和会议结论等。会议时空要素可以包括会议时间和地点等。其他会议要素可以包括会议形式等，例如，会议形式为开放式讨论会议或主讲人培训形式等。
会议关联数据可以包括企业内部数据和行业知识库。其中，企业内部数据可以包括员工基本信息、企业产品、项目信息、企业经营信息、企业利益相关方信息和企业竞争对手信息等。行业知识库可以包括医疗知识库、应急预案知识库、司法知识库、党政文宣知识库和教育知识库等。
会议实时数据主要包括会议视频数据、会议音频数据、文本数据和身份标识数据。其中，会议标识视频数据可以包括全场视频、参会人视频和会议演示画面视频等。会议音频数据可以包括背景音频和参会人发言音频。文本数据可以包括参会人笔记数据和会议白板数据。身份标识数据可以包括人脸、指纹和声纹等。
在本发明这一实施例中，会议实时数据可以通过各类不同的采集设备来获取，例如：音视频采集设备、智能会议板、视频会议用户终端等采集器，以及利用视频会议设备提供的数据交换接口对会议基础数据和会议关联数据进行交换与同步。
在操作102，根据会议实时数据、会议关联数据和会议基础数据，确定待检测会议的多级质量参数。
在本发明这一实施例中，首先识别会议实时数据，得到数据识别结果，然后根据数据识别结果、会议基础数据和会议关联数据，确定多级质量参数，其中，多级质量参数包括以下至少之一：个体多级参数、群体多级参数和会议多级参数。
在本发明这一实施例中，可以采用智能识别引擎的方式，借助各种机器学习算法针对不同采集器输入的数据提取所需目标信息，并且可以根据软硬件设备配置、数据类型、数据规模、计算难度、场景适配等因素，智能选择采用边缘计算或是云端数据中心计算。
举例说明，可以在执行视频会议的软硬件设备具备数据处理配置的情况下，利用边缘计算技术在设备端进行实时语音识别、面部表情辨识和目标检测等操作。以及将边缘计算后得到的结构化的会议实时数据传输至视频会议的云端计算中心，在云端进行会议数据的进一步计算处理。例如：从会议视频中识别提取参会人员的面部表情、动作、眼球聚焦点等数据；从音频中识别出特定人员的有效发言内容数据；从书写板等终端输入中识别文本数据等。
在本发明这一实施例中，采用以下操作步骤实现根据数据识别结果、会议基础数据和会议关联数据，确定多级质量参数：确定待检测会议的多个质量检测级别以及多个质量检测级别之间的从属关系；根据数据识别结果、会议基础数据和会议关联数据，确定待检测会议的检测值向量；根据检测值向量和从属关系，依次确定待检测会议的多级质量参数。
在实际应用过程中，针对一个视频会议不同的用户关注的会议指标有所差异，可以根据需求首先确定待检测会议的多个质量检测级别以及多个质量检测级别之间的从属关系。例如：可以根据实际应用场景，将多级质量参数划分为个体多级参数、群体多级参数和会议多级参数。并将视频会议分为三个阶段进行会议质量检测。例如：可以针对参会人员个体，将视频会议的会中阶段质量参数划分为如下表1所示的多个质量检测级别，并示出多个质量检测级别之间的从属关系。
表1、在会中阶段针对参会人员个体的多个质量检测级别
Figure 159231DEST_PATH_IMAGE001
其中，各个质量检测级别根据从属关系自底向上的顺序，依次确定待检测会议的多级质量参数。
在本发明这一实施例中，可以采用如下公式（1）确定待检测会议的多级质量参数：
FS,O,L=Wf(X) （1）
其中，FS,O,L表示在某个会议阶段，针对某对象，某质量检测级别的质量参数得分。
S表示视频会议的会议阶段；
L表示该质量参数FS,O,L的质量检测级别；
X表示计算该质量参数得分FS,O,L所涉及的各质量参数向量或其对应的观测值向量；
f表示确定相关质量参数值时所采用的函数，例如：归一化函数；
W表示各个相关质量参数的权重系数。
例如：F会中/个体P/一级=W（认可度）*f（认可度）+W（参与度）*f（参与度）+W（贡献度）*f（贡献度）。对于参会人员个体的认可度，可以结合显式认可和自动识别认可度的数据确定。而对于显示认可这一质量参数可以结合举手表决和投票表决数据确定。
在本发明这一实施例中，还可以针对视频会议本身，将视频会议的会前阶段质量参数划分为如下表2所示的多个质量检测级别，并示出多个质量检测级别之间的从属关系。
表2
Figure 754160DEST_PATH_IMAGE002
在本发明这一实施例中，还可以针对参会群体，将视频会议的会中阶段质量参数划分为如下表3所示的多个质量检测级别，并示出多个质量检测级别之间的从属关系。
表3
Figure 733487DEST_PATH_IMAGE003
在本发明这一实施例中，还可以针对视频会议的会议本身，将视频会议的会中阶段质量参数划分为如下表4所示的多个质量检测级别，并示出多个质量检测级别之间的从属关系。
表4
Figure 667945DEST_PATH_IMAGE004
在本发明这一实施例中，还可以针对视频会议的会议本身，将视频会议的会后阶段质量参数划分为如下表5所示的多个质量检测级别，并示出多个质量检测级别之间的从属关系。
表5
Figure 192467DEST_PATH_IMAGE005
需要说明的是，以上对视频会议的多级质量参数和多级质量参数之间的从属关系的确定仅仅一个示例性说明，实际应用过程中，可以根据需要进行处理。本发明对此不作限定。
在操作103，根据多级质量参数，确定待检测会议的综合会议质量。
在本发明这一实施例中，首先，确定多级质量参数的修正系数，然后，利用修正系数和多级质量参数，得到综合会议质量，从而实现根据多级质量参数，确定待检测会议的综合会议质量。
在本发明这一实施例中，确定修正系数可以针对视频会议质量检测过程中的特定个体、群体或会议的质量进行修正。例如：视频会议的参会人员包括一位业界权威专家，可能会因为专家效应，带来专家意见的认可度与其他人员的认可度相差较多的问题。如果视频会议的主持者为了发现会议中的其他高意见认可度的人才，则需要对其指标得分进行修正。
在本发明这一实施例中，还在多级质量参数和综合会议质量满足设定条件的情况下，发出提醒信息。并根据提醒信息，对待检测会议进行调整。
举例说明，针对视频会议的全过程，得到多级质量参数及综合会议质量的数据，形成一个结构化的数据库进行存储。针对视频会议的具体场景元信息，可以从结构化的数据库中选取质量参数，对视频会议的质量进行评价。
例如：在视频会议的群体冲突参数超过设定阈值的情况下，调整会议议题或调整针对该视频会议的问题讨论方式。
图2示出了本发明实施例视频会议质量检测方法的具体应用示例的实现流程示意图。
参考图2，本发明实施例视频会议质量检测方法的具体应用示例，至少包括如下操作流程：通过设备采集方式或直接的数据交换过程进行数据采集；对设备采集数据的智能识别；将直接的数据交换过程进行数据和通过智能识别得到的会议数据进行实时或离线的数据传输；以及对会议数据进行处理，并将处理前和处理后的数据进行数据存储，这里数据存储的方式可以采用与数据类型相适应的方式。最后根据会议数据进行会议质量的指标自动化计算和会议效益评价，以及将视频会议的质量进行决策支撑。
具体的，视频会议召开前，会议组织者或会议管理员将会议基础数据通过终端录入，同时云计算中心可以接入进行视频会议的企业的内部相关数据，作为会议关联数据。
会议进行过程中，通过多个采集设备开始对会议过程中的实时数据进行采集。例如：摄像机等音视频采集设备采集会议音视频。实时数据的采集设备可以具备通用和定制的智能识别功能，视频会议质量检测***的智能识别引擎可以基于设备的智能识别功能利用边缘计算，通过边缘计算得到的音视频结构化数据和文本数据等通过网络传输至视频会议质量检测***的数据层，而将采集设备不支持或需要复杂数据处理的会议原始数据直接传输至数据层。有效提高会议实时数据的处理效率。
数据处理过程中根据业务场景和需求，对各类汇聚到数据中心的数据进行离线或实时地清洗和标准化，并按照用户对会议质量指标的要求，进行数据组织。例如：可以根据用户对会议进行中的质量指标的高关注度，对会议进行实时监控和实时干预，以有效控制会议议程高效顺利地进行。用户可以选取会中阶段的个体、群体和会议三个方面的指标。
数据存储是为了将会议的实时数据、会议基础数据和会议关联数据按照组织层次、种类、应用等存储到合适的数据库。例如：对于会议原始视频、抓拍图片、音频以及转换后的文本数据等采用对象存储；对于原始数据处理过后的海量音视频结构化数据的归档采用数据仓库进行存储；对于会议中与议题相关的用户发言内容等关联数据采用图数据库存储，对于应用密集型结果数据，采用关系型数据库或缓存数据库存储等。
根据数据存储库中存储的数据能够确定视频会议的质量指标。基于某种业务目的可以选取特定的指标集合，或者使用预设的指标集合，结合该业务的历史评估记录，选取合适的评估模型对视频会议的效益进行评价。这里视频会议的效益评价可以是定量指标，定量指标计算模型可以预先通过模型训练过程对模型参数进行优化，例如：采用神经网络模型进行视频会议效益评估的计算模型。
视频会议质量的指标计算结果和效益评价结果能够实时地进行，并可以实时显示，用户能够将视频会议质量的指标计算结果和效益评价结果作为决策支撑。在视频会议质量的指标计算结果和效益评价结果中的某项参数不在场景预设的范围内，则说明视频会议参数异常，可以进行实时告警。例如：某一时刻视频会议中群体Q1的专注度低于设定专注阈值，可以发出用于示出“是否选择会议中场休息”等选项的信息。当用户选择中途休息时，视频会议相关设备会通过语音发出通知，同时会对上一轮会议中的数据作进一步批量分析，对会议效益中的议题达成度等指标进行汇总，便于会议组织者接下来的会议安排。
会议结束后，将视频会议质量的指标计算结果和效益评价结果输出，可以包括个体专注度、参与度和贡献度数据中位于前设定次序的数据、本次会议的意见领袖等，并发出用于示出提醒参会者进行预设问卷填写的信息。
其中，图2中的其他具体实现过程与图1所示实施例具体实现过程相关操作步骤相类似，这里不再赘述。
图3示出了本发明实施例视频会议质量检测***的组成结构示意图。
参考图3，本发明实施例视频会议质量检测***，至少包括：数据层，用于获取和存储以下数据：待检测会议的会议基础数据、会议关联数据和会议实时数据；处理层，用于根据会议实时数据、会议关联数据和会议基础数据，确定待检测会议的多级质量参数；优化层，用于根据多级质量参数，确定待检测会议的综合会议质量。
在本发明这一实施例中，数据层包括：数据采集模块，用于获取待检测会议的会议基础数据、会议关联数据和会议实时数据；数据识别模块，用于识别会议实时数据，得到数据识别结果；数据存储模块，用于采用分别与数据识别结果、会议基础数据和会议关联数据相适配的数据存储方式，存储数据识别结果、会议基础数据和会议关联数据。
需要说明的是图3是本发明实施例视频会议质量检测***的一种优化实施方式，实际应用过程中，可以简化其中的模块设计。以下结合图3对本发明这一实施例视频会议质量检测***进行简单说明。
首先，数据层的数据采集模块通过各类不同的采集设备或数据交换接口进行数据的交换与同步。数据采集的数据可以包括设备采集数据，会议要素数据和外部数据三大类。设备采集数据是通过视频会议的设备获取的各类会议数据；会议要素数据通过视讯终端用户录入与自动生成得到；外部数据是指除视频会议软硬件采集或录入方式之外的，但对视频会议效益评估有着重要辅助作用的数据，这里对企业内部的数据作了详述，并为了应对不同行业场景的视讯应用，列举了不同行业的知识库。
数据层的智能识别模块可以基于各种机器学习算法针对不同采集器输入的数据进行目标信息的提取。并根据软硬件设备配置、数据类型、数据规模、计算难度、场景适配等因素，智能选择采用边缘计算或是云端数据中心计算。在视频会议软硬件设备符合要求的情况下，可以在边缘进行实时语音识别、面部表情辨识、目标检测等计算，将转化后的结构化数据传输到云端计算中心，同时根据计算结果，继续进行后续作业。例如：从会议视频中识别提取人员的面部表情、动作、眼球聚焦点等数据；从音频中识别出特定人员的有效发言内容数据；从书写板等终端输入中识别文本数据等。
数据层的数据存储模块采用分布式分层云存储架构，根据数据类型、数据用途以及数据的生命周期流转阶段选取合适的存储方式。对于原始视频、抓拍图片、音频以及转换后的文本数据等采用对象存储；对于原始数据处理过后的海量音视频结构化数据的归档采用数据仓库进行存储；对于会议中与议题相关的用户发言内容等关联数据采用图数据库存储，对于应用密集型结果数据，采用关系型数据库 或缓存数据库存储等。
处理层的数据处理模块针对不同的应用场景，支持离线和实时处理引擎和数据转换。例如：将音视频数据转化为包括参会人的动作、表情、行为和发言内容等信息的结构化数据，并将结构化数据发送至云数据中心。以及对视频会议的数据进行清洗和标准化，并根据数据使用场景进行数据加工组织等。
处理层的数据处理模块根据特定场景的预设模板进行智能选取，并载入所需数据进行指标计算；也可通过个性化定制特定的指标作为自定义模板进行计算。分类计算参会人个体、参会群体以及会议整体的效益。个体可从参与度、专注度、贡献度、意见认可度等角度评估。会议整体效益可通过议题达成度、参会率，会议有效时间占比，有效发言占比，总专注度等角度评估。所得的结果数据会存储在对应的数据库表中。
优化层的质量确定模块针对场景元信息，主要根据视频会议全生命周期的所涉及的数据的schema（模式），用户选取的指标集合，以及其对于视频会议效益的不同关注点等，智能分析选取最佳评估融合模型进行效益评估计算。评估模型可以包括专家评估法、运筹学和其他数学方法、神经网络方法、混合方法等。具体包括综合采用评分卡、AHP（AnalyticHierarchy Process，层次分析法）、灰色关联法、模糊综合评估、DEA（Data EnvelopmentAnalysis，数据包络分析）、主成分分析、事件窗口法、证据推理等定性定量评估方法。
优化层的决策支撑模块针对不同应用场景提供决策支撑，例如：根据参会人在历史会议上的个人效益分数识别低效参会人，后续可对其采取限制措施。基于某个重大会议，考察参会人员在会议前后的任务达成状况，计入其绩效评估。根据个体在历史会议上的综合表现，进行人物画像，并通过意见领袖识别、领导力分析等进行人才识别。根据在视频会议数据的分析，可优化会议流程，提升会议效益，也可将相关经验移植到线下会议当中。在视频会议中积累的各类数据，可以从其中提取有价值的信息，并促进企业知识管理的建设。
由此，本发明实施例中视频会议的质量检测贯穿视频会议的整个生命周期，从视频会议前会议的组织，视频会议的开展，以及会后参会人员的情感体验和会议对认知和行为的强化作用；并从个体、群体和会议本身三方面对视频会议效益做出综合评估。从管理学、心理学、统计学和***科学等多学科背景角度进行视频会议质量检测，得到客观、准确、参考价值较高的视频会议的多级质量参数和综合会议质量。
本发明实施例视频会议质量检测方法、***、存储介质及电子设备，通过获取待检测会议的会议基础数据、会议关联数据和会议实时数据，并根据会议实时数据、会议关联数据和会议基础数据，确定待检测会议的多级质量参数；进一步根据多级质量参数，确定待检测会议的综合会议质量。充分利用会议本身的基本数据、实时数据和关联数据，从而能够应用边缘计算、云计算和人工智能技术对视频会议全过程的数据进行实时或离线处理，实现对会议的质量进行***、客观、准确、及时的检测，有利于视频会议的组织者及时对视频会议进行调整，以提升会议效率，降低会议综合成本。
同理，基于上文视频会议质量检测方法，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有程序，当程序被处理器执行时，使得处理器至少执行如下的操作步骤：操作101，获取待检测会议的会议基础数据、会议关联数据和会议实时数据；操作102，根据会议实时数据、会议关联数据和会议基础数据，确定待检测会议的多级质量参数；操作103，根据多级质量参数，确定待检测会议的综合会议质量。
进一步，基于如上文，又提供了一种电子设备，图4示出了本发明实施例电子设备的组成结构示意图，如图4所示，电子设备40包括处理器401、通信接口402、存储器403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信；存储器403，用于存放计算机程序；处理器401，用于执行存储器上所存放的程序时，实现上述任意视频会议质量检测方法。
这里需要指出的是：以上对针对视频会议检测***和电子设备实施例的描述，与前述图1至图3所示的方法实施例的描述是类似的，具有同前述图1至图3所示的方法实施例相似的有益效果，因此不做赘述。对于本发明视频会议检测***和电子设备实施例中未披露的技术细节，请参照本发明前述图1至图3所示的方法实施例的描述而理解，为节约篇幅，因此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（Read Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种视频会议质量检测方法，其特征在于，所述方法包括：
获取待检测会议的会议基础数据、会议关联数据和会议实时数据，所述会议基础数据包括会议主体要素、会议内容要素和会议时空要素，会议关联数据包括企业内部数据和行业知识库；
根据所述会议实时数据、所述会议关联数据和所述会议基础数据，确定所述待检测会议的多级质量参数；
根据所述多级质量参数，确定所述待检测会议的综合会议质量；
其中，所述根据所述会议实时数据、所述会议关联数据和所述会议基础数据，确定所述待检测会议的多级质量参数，包括：
识别所述会议实时数据，得到数据识别结果；
根据所述数据识别结果、所述会议基础数据和所述会议关联数据，确定所述多级质量参数；
其中所述多级质量参数包括以下至少之一：个体多级参数、群体多级参数和会议多级参数，所述会议多级参数能够示出针对待检测会议本身的质量参数；
根据所述数据识别结果、所述会议基础数据和所述会议关联数据，确定所述多级质量参数，包括：
确定所述待检测会议的多个质量检测级别以及所述多个质量检测级别之间的从属关系；
根据所述数据识别结果、所述会议基础数据和所述会议关联数据，确定所述待检测会议的检测值向量；
根据检测值向量和从属关系，依次确定所述待检测会议的所述多级质量参数；
其中，所述根据检测值向量和从属关系，依次确定所述待检测会议的所述多级质量参数，包括：
根据所述根据检测值向量和从属关系，采用如下公式（1）确定待检测会议的多级质量参数：
FS,O,L=Wf(X) （1）
其中，FS,O,L表示在某个会议阶段，针对某对象，某质量检测级别的质量参数得分；
S表示视频会议的会议阶段；
L表示该质量参数得分FS,O,L的质量检测级别；
X表示计算该质量参数得分FS,O,L所涉及的各质量参数向量或其对应的观测值向量；
f表示确定相关质量参数值时所采用的归一化函数；
W表示各个相关质量参数的权重系数。
2.根据权利要求1所述的方法，其特征在于，所述根据所述多级质量参数，确定所述待检测会议的综合会议质量，包括：
确定所述多级质量参数的修正系数；
利用所述修正系数和所述多级质量参数，得到所述综合会议质量。
3.根据权利要求1中所述方法，其特征在于，所述方法还包括：
在所述多级质量参数和所述综合会议质量满足设定条件的情况下，发出提醒信息。
4.根据权利要求3中所述方法，其特征在于，所述方法还包括：
根据所述提醒信息，对所述待检测会议进行调整。
5.一种视频会议质量检测***，其特征在于，所述***包括：
数据层，用于获取和存储以下数据：待检测会议的会议基础数据、会议关联数据和会议实时数据，所述会议基础数据包括会议主体要素、会议内容要素和会议时空要素，会议关联数据包括企业内部数据和行业知识库；以及识别所述会议实时数据，得到数据识别结果；
处理层，用于根据所述会议实时数据、所述会议关联数据和所述会议基础数据，确定所述待检测会议的多级质量参数；
优化层，用于根据所述多级质量参数，确定所述待检测会议的综合会议质量；
其中，所述处理层根据所述会议实时数据、所述会议关联数据和所述会议基础数据，确定所述待检测会议的多级质量参数，包括：
根据所述数据识别结果、所述会议基础数据和所述会议关联数据，确定所述多级质量参数；
其中所述多级质量参数包括以下至少之一：个体多级参数、群体多级参数和会议多级参数，所述会议多级参数能够示出针对待检测会议本身的质量参数；
根据所述数据识别结果、所述会议基础数据和所述会议关联数据，确定所述多级质量参数，包括：
确定所述待检测会议的多个质量检测级别以及所述多个质量检测级别之间的从属关系；
根据所述数据识别结果、所述会议基础数据和所述会议关联数据，确定所述待检测会议的检测值向量；
根据检测值向量和从属关系，依次确定所述待检测会议的所述多级质量参数；
其中，所述根据检测值向量和从属关系，依次确定所述待检测会议的所述多级质量参数，包括：
根据所述根据检测值向量和从属关系，采用如下公式（1）确定待检测会议的多级质量参数：
FS,O,L=Wf(X) （1）
其中，FS,O,L表示在某个会议阶段，针对某对象，某质量检测级别的质量参数得分；
S表示视频会议的会议阶段；
L表示该质量参数得分FS,O,L的质量检测级别；
X表示计算该质量参数得分FS,O,L所涉及的各质量参数向量或其对应的观测值向量；
f表示确定相关质量参数值时所采用的归一化函数；
W表示各个相关质量参数的权重系数。
6.根据权利要求5所述的***，其特征在于，所述数据层包括：
数据采集模块，用于获取待检测会议的会议基础数据、会议关联数据和会议实时数据；
数据识别模块，用于识别所述会议实时数据，得到数据识别结果；
数据存储模块，用于采用分别与所述数据识别结果、所述会议基础数据和所述会议关联数据相适配的数据存储方式，存储所述数据识别结果、所述会议基础数据和所述会议关联数据。
7.一种计算机可读存储介质，其特征在于，所述存储介质包括一组计算机可执行指令，当所述指令被执行时用于执行权利要求1-4中任一项所述视频会议质量检测方法。
8.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现权利要求1-4中任一项所述视频会议质量检测方法。
CN202110513818.3A 2021-05-12 2021-05-12 一种视频会议质量检测方法、***、存储介质及电子设备 Active CN112990794B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110513818.3A CN112990794B (zh) 2021-05-12 2021-05-12 一种视频会议质量检测方法、***、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110513818.3A CN112990794B (zh) 2021-05-12 2021-05-12 一种视频会议质量检测方法、***、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN112990794A CN112990794A (zh) 2021-06-18
CN112990794B true CN112990794B (zh) 2021-10-15

Family

ID=76337514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110513818.3A Active CN112990794B (zh) 2021-05-12 2021-05-12 一种视频会议质量检测方法、***、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN112990794B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113434663A (zh) * 2021-06-30 2021-09-24 平安科技（深圳）有限公司 基于边缘计算的会议纪要生成方法及相关设备
CN114826804B (zh) * 2022-06-30 2022-09-16 天津大学 一种基于机器学习的远程会议质量监控的方法和***
CN116760653B (zh) * 2023-08-17 2023-10-20 北京博数智源人工智能科技有限公司 一种远程视频会议智能运维方法及***
CN118134434A (zh) * 2024-05-06 2024-06-04 国网山东省电力公司莱芜供电公司 一种基于人工智能的智能会议管理***及管理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104581140B (zh) * 2014-12-26 2016-08-24 国家电网公司 一种会议电视的视频质量评估方法
CN106791579A (zh) * 2016-12-30 2017-05-31 唐常芳 一种视频会议质量的处理方法及***
CN109994129B (zh) * 2017-12-29 2023-10-20 阿里巴巴集团控股有限公司 语音处理***、方法和设备

Also Published As

Publication number Publication date
CN112990794A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN112990794B (zh) 一种视频会议质量检测方法、***、存储介质及电子设备
Sanchez-Cortes et al. Emergent leaders through looking and speaking: from audio-visual data to multimodal recognition
US20150189233A1 (en) Facilitating user interaction in a video conference
US20200065394A1 (en) Method and system for collecting data and detecting deception of a human using a multi-layered model
CN114187988A (zh) 数据处理的方法及装置、***、存储介质
CN112364234B (zh) 一种在线讨论的自动分组***
US20230011923A1 (en) System for providing a virtual focus group facility
Pesarin et al. Conversation analysis at work: detection of conflict in competitive discussions through semi-automatic turn-organization analysis
CN111970471B (zh) 基于视频会议的参会人员评分方法、装置、设备及介质
CN116741411A (zh) 一种基于医疗大数据分析的智慧健康科普推荐方法、***
Baker et al. Approaches for assessing communication in human-autonomy teams
JP2023500974A (ja) 対人インタラクション支援のために行動データを収集するシステム及び方法
Kathan et al. A personalised approach to audiovisual humour recognition and its individual-level fairness
CN115641101A (zh) 一种智能化招聘的方法、装置及计算机可读介质
US20220101262A1 (en) Determining observations about topics in meetings
Cristani et al. Generative modeling and classification of dialogs by a low-level turn-taking feature
Raducanu et al. Inferring competitive role patterns in reality TV show through nonverbal analysis
CN117079772A (zh) 一种基于社区矫正对象心理评估分析的智慧矫正***及终端
Dong et al. Modeling group discussion dynamics
CN114862006A (zh) 一种基于人工智能的社会工作服务方案自动化生成方法和装置
Zhang et al. Can Large Language Models Assess Personality from Asynchronous Video Interviews? A Comprehensive Evaluation of Validity, Reliability, Fairness, and Rating Patterns
Boussalis et al. Mad, sad, but mostly glad: how men and women in politics communicate using emotions in images
Martinez Rebollar et al. Automatic detection of social isolation based on human behavior analysis
JP2015032233A (ja) 対人認知傾向モデル学習装置、対人認知状態推定装置、対人認知傾向モデル学習方法、対人認知状態推定方法及びプログラム
Shenoy et al. A Study on various Applications of Computer Vision for Teaching Learning in Classroom

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant