CN111431899A - 实时通信中诊断用户体验质量的***和方法 - Google Patents

实时通信中诊断用户体验质量的***和方法 Download PDF

Info

Publication number
CN111431899A
CN111431899A CN202010206221.XA CN202010206221A CN111431899A CN 111431899 A CN111431899 A CN 111431899A CN 202010206221 A CN202010206221 A CN 202010206221A CN 111431899 A CN111431899 A CN 111431899A
Authority
CN
China
Prior art keywords
real
time communication
video
color
diagnostic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010206221.XA
Other languages
English (en)
Other versions
CN111431899B (zh
Inventor
何丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shengwang Technology Co ltd
Original Assignee
Dayin Network Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dayin Network Technology Shanghai Co ltd filed Critical Dayin Network Technology Shanghai Co ltd
Publication of CN111431899A publication Critical patent/CN111431899A/zh
Application granted granted Critical
Publication of CN111431899B publication Critical patent/CN111431899B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5061—Network service management, e.g. ensuring proper service fulfilment according to agreements characterised by the interaction between service providers and their network customers, e.g. customer relationship management
    • H04L41/5067—Customer-centric QoS measurements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1083—In-session procedures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Data Mining & Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Economics (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Telephonic Communication Services (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本文为实时通信中诊断用户体验质量的***和方法，提出了一套在实时通信监测和诊断计算机***上提供实时通信监测和诊断的***。该监测和诊断***包括时间线、从参照线处向上延伸的视频下行比特率轴，从参照线处向下延伸的音频下行比特率轴，在参照线上方用第一种颜色标识的视频下行比特率曲线，在参照线下方用第二种颜色标识的音频下行比特率曲线，在参照线上方并沿参照线方向延伸的用第四种颜色标识的一组模糊视频指示符，以及在参照线下方并沿参照线方向延伸的用第五种颜色标识的一组模糊音频指示符。

Description

实时通信中诊断用户体验质量的***和方法
相关申请的交叉引用文件
本专利申请要求2019年8月21日提交的第16/546,689号美国专利申请的优先权，其全部内容通过引用的方式纳入本文。
技术领域
本发明总体上涉及广域网上的实时通信领域，具体领域为诊断实时通信会话中的参与者的体验质量。更具体来说，本发明涉及一种新的监测和诊断***，该***展示出在一个综合***中的实时通信会话中多个用户对于其他用户的体验。
背景技术
基于互联网的通信已经日益普及，与传统的通信方法相比它具有诸多优势。例如，基于互联网的通信是实时的、成本较低、更为方便、覆盖面广、具有可扩展性，并且在群组通信中也有很多优势。基于互联网的通信可以包括音频、视频或两者兼而有之。
但是，互联网上的实时通信还存在各种问题，如音频和/或视频传输发生中断、包含音频和/或视频数据的传输数据包被丢失、音频/视频传输发生延迟、抖动以及其他一些问题。这些问题会导致语音片段丢失、视频帧丢失、音频质量下降、视频质量下降以及其带来其他各种不良用户体验。这些问题可能是由实时通信会话的多方之间的网络连接引起的。这些网络连接可能带宽较低或可靠性较差。
用户在互联网上实时通信的体验通常以体验质量(QoE)进行评估。可以采用一些参数来描述和测量QoE，如视频分辨率、卡顿的视频时间、视频清晰度(也称为视频锐度)和卡顿的音频时间。因此，QoE可能会受到某个实时通信会话中的参与者之间的网络连接质量的影响。较差的网络连接质量会导致数据包丢失或数据包延迟到达，从而导致视频和/或音频卡顿(此处统称为卡顿的多媒体)。通常在实时通信(如一群用户之间的会议)中，此类延迟的数据包会被丢弃。数据包是通过互联网传输的数据块。例如，数据包可以是用户数据报协议(UDP)的数据包。UDP也是传输层网络协议。
用户的终端设备(如台式计算机、笔记本电脑、平板电脑或智能手机)的功能也会影响用户的体验。例如，如果终端设备的处理单元(如CPU)不能够快速解码接收到的视频和/或音频数据，就可能会出现卡顿的视频和/或卡顿的音频。因此，在任何实时通信中，监测和快速识别QoE问题对于纠正和改善QoE问题是至关重要的。
传统技术中，监测***会显示每个参与者的终端上的每个监测的QoE参数。这些参数被逐一显示。现有技术的部分QoE监测用户界面如图1所示，总体以100表示。在100处的QoE数据表示第一个用户对于第二个用户的音频和视频的视听体验。在本文中，这被称为第一个用户对于第二个用户的体验。
图1的普通顺序列表样式呈现了许多差强人意的效果。它尝试着列出大量QoE参数，导致并不直观。它还占用了过多的显示空间。因此，它很难清晰、快速地识别每个用户的体验。例如，用户A收听和/或观看用户B的体验可能很好，而用户A收听和/或观看用户C的体验则存在卡顿的音频和/或视频。在按顺序列出所有用户的QoE数据中就很难发现这种情况。在本文中，将第一个用户(如用户A)收听和/或观看第二个用户(如用户B)的体验称为第一个用户对于第二个用户的体验。
因此，需要一种全新的QoE监测***，以便在较小的显示空间中有效地识别各种QoE问题。新的QoE监测***在一张图表中显示了关于每个用户对于每个其他用户的体验的多个QoE参数的信息。新的QoE监测***还使专业人员能够在多用户实时通信会话中快速识别任何用户对于其他用户的用户体验的QoE问题。
发明内容
总的来说，本公开基于各个实施例提出了一种实时通信监测和诊断计算机***。该实时通信监测和诊断计算机***包括一个处理单元、可有效地耦合至处理单元的一定数量的存储器、一个可有效地耦合至处理单元以访问互联网的联网接口、一个可有效地耦合至处理单元的视频接口以用于显示实时通信的诊断数据、一个用于在处理单元上运行的操作***以及一个可在操作***上运行的专用的实时通信诊断软件程序用于在互联网上与专用的实时通信服务器软件程序进行通信。该专用的实时通信诊断软件程序被配置为可在视频界面上显示实时通信的监测和诊断***。该实时通信监测和诊断***包括一条时间线、用于表明实时通信会话的时间、从参照线处向上延伸的视频下行比特率轴、从参照线处向下延伸的音频下行比特率轴、在参照线上方用第一种颜色标识的视频下行比特率曲线、在参照线下方用第二种颜色标识的音频下行比特率曲线以及用第三种颜色标识的沿参照并向上延伸的一组卡顿视频的指示符。
实时通信监测和诊断***还包括用第四种颜色标识的沿视频下行比特率曲线延伸的一组模糊视频的指示符。第四种颜色与第一种颜色不相同。在一组模糊视频的指示符中的每个模糊视频指示符都以虚线表示。在一个实施例中，第三种颜色和第四种颜色均为红色。实时通信监测和诊断***还包括用第四种颜色标识的一组卡顿音频的指示符，该指示符沿参照线并向下延伸。实时通信监测和诊断***还包括用第五种颜色标识的一组模糊视频的指示符，该指示符沿着视频下行比特率曲线方向延伸。第五种颜色与第一种颜色不相同，在某个实施例中用红色表示。
本发明进一步提出来一个实时通信监测和诊断计算机***，它包括一个处理单元、可有效地耦合至处理单元的一定数量的存储器、一个可有效地耦合至处理单元以访问互联网的联网接口、一个可有效地耦合至处理单元的视频接口以用于显示实时通信的诊断数据、一个用于在处理单元上运行的操作***以及一个可在操作***上运行的专用的实时通信诊断软件程序用于在互联网上与专用的实时通信服务器软件程序进行通信。该专用的实时通信诊断软件程序在视频界面上显示左侧实时通信监测和诊断***以及右侧实时通信监测和诊断***。左侧监测和诊断***和右侧监测和诊断***呈并排显示。
左测的监测和诊断***包括第一条时间线用于指示实时通信会话的时间，从第一条参照线处向上延伸的第一视频下行比特率轴，从第一条参照线处向下延伸的第一个音频下行比特率轴以及第一条参照线上方的用第一种颜色标识的第一条视频下行比特率曲线。该第一条视频下行比特率曲线代表由第一个终端设备接收来自第二个终端设备的视频数据的比特率。左侧监测和诊断***还包括在第一条参照线下方的第一条音频下行比特率曲线。第一条音频下行比特率曲线表示第一个终端设备从第二个终端设备处接收到的音频数据的比特率。左侧监测和诊断***还包括用第二种颜色标识的沿第一条参照线并向上延伸的第一组卡顿视频的指示符。
右侧监测和诊断***包括指示实时通信会话的时间的第二条时间线，以及从第二条参照线处向上延伸的第二个视频下行比特率轴。第二条视频下行比特率曲线表示第二个终端设备从第一个终端设备处接收到的视频数据的比特率。右侧监测和诊断***还包括从第二条参照线处向下延伸的第二个音频下行比特率轴，以及在第二条参照线上方的用第三种颜色标识的第二条视频下行比特率曲线，和在第二条参照线下方的第二条音频下行比特率曲线。第二条音频下行比特率曲线表示第二个终端设备从第一个终端设备处接收到的音频数据的比特率。右侧监测和诊断***还包括用第二种颜色标识的沿第二条参照线并向上延伸的第二组卡顿视频的指示符。第二种颜色是红色，且不同于第一种颜色和第三种颜色。左侧监测和诊断***还包括沿第一条参照线并向下延伸的用第四种颜色标识的第一组卡顿音频的指示符，且右侧监测和诊断***还包括用第四种颜色标识的沿第二条参照线并向下延伸的第二组卡顿音频指示符。在一个实施例中，第二种颜色为红色。
附图说明
本专利或申请文件包含多个附图。
尽管在权利要求书中将特别指出本发明的功能特征，但是通过参考以下附图及其相关描述，可以更好地理解本发明本身以及本发明的构成和使用方式。构成本发明一部分的全部附图中，其中相同的附图标记表示相同的部件，其中：
图1是现有技术中通信监测用户界面。
图2是根据本公开实施例所绘制的实时通信***的说明性框图。
图3是根据本公开实施例所绘制的在实时通信会话中第一个用户对于第二个用户的体验的框图。
图4是根据本公开实施例所绘制的在实时通信会话中第一个用户对于第二个用户的体验的框图。
图5根据本公开实施例所绘制的在实时通信会话中并排示出的具有多个用户体验的监测和诊断***的框图。
图6是根据本公开实施例所绘制的监测和诊断***的框图，该***示出了在实时通信会话中一个参与者来自另一用户的视频下行比特率和音频下行比特率。
图7是根据本公开实施例所绘制的监测和诊断***的框图，该***示出了在实时通信会话中一个参与者来自另一用户的视频下行比特率和音频下行比特率。
图8根据本公开实施例所绘制的监测和诊断***的框图，该***并排显示出在实时通信会话中一个用户的上行数据和接收方用户的下行数据。
图9是根据本公开实施例所绘制的监测和诊断***的框图，该***显示出实时通信会话中一个参与者的上行数据。
图10是根据本公开实施例所绘制的监测和诊断***的框图，该***显示出一个参与者的下行数据，该下行数据表明在实时通信会话中该参与者对于另一用户的体验。
图11是根据本公开实施例所绘制的监测和诊断***的框图，该***显示出实时通信会话中一个参与者的上行数据。
图12是根据本公开实施例所绘制的监测和诊断***的框图，该***显示出一个参与者的下行数据，该下行数据表明在实时通信会话中该参与者对于另一用户的体验。
图13是根据本公开实施例所绘制的监测和诊断***的框图，该***显示出实时通信会话中的四个参与者的QoE。
图14是根据本公开实施例所绘制的实时通信会话块的框图。
图15是根据本公开实施例所绘制的监测和诊断***的框图，该***显示出多个参与者在实时通信会话中的体验。
图16是根据本公开实施例所绘制的监测和诊断***的框图，该***显示出多个参与者在实时通信会话中的体验。
具体实施方式
本领域的普通技术人员应当理解，为了简单明了地展示以上附图中的各个元素，附图并不一定是按比例绘制的。附图中的一些部件的尺寸可能相对于其他部件被放大了，以便帮助理解本发明。此外，本文描述或说明的某些元件、零件、组件、模块、步骤、操作、事件和/或过程的特定顺序在实际应用中也许并非必需。本领域普通技术人员应当理解，为简单明了地阐述，在市售可行的实施例中那些众所周知且易于理解的有用和/或必需的元件可能在本文中并未进行描述，以便能清晰地呈现本发明的各种实施例。
来看一下附图，尤其是图2，图2示出了实时通信***的框图，在图中总体以200表示。示例性环境调节***200包括一组(即一个或多个)参与者的终端设备202、204和206，分别配置为可由各自的参与者(在此也称为用户)208、210和212进行操作。用户208-212参与实时通信会话，如音频电话会议或视频电话会议。应注意的是，实时通信会话中可以有任意数量的参与者。在会话期间，某些用户可能加入会话比其他用户要晚，并且某些用户可能退出会话比其他用户要早。另外，一些用户可以选择仅通过音频参与，而其他用户可以同时通过音频和视频参与会话。
每个终端设备202-206包括一个处理单元(如CPU)、可有效地耦合至处理单元的一定数量的存储器、一个可有效地耦合至处理单元以访问互联网的联网接口、一个可有效地耦合至处理单元的音频接口、一个可有效地耦合至处理单元的视频接口以及一个可有效地耦合至处理单元的麦克风。另外，每个终端设备202-206包括一个操作***(如Apple OS，Windows，Linux等)和用于彼此间进行实时通信的专用实时通信终端软件程序。终端软件程序可以是专有软件程序或Web浏览器。在后一种情况下，终端软件程序包括由网络浏览器加载的网页程序。该网页程序由服务器计算机232提供，并且可以使用诸如node.js之类的计算机编程语言来进行编码。
终端设备202-206通过互联网252或其他广域网与实时通信服务器232进行通信。服务器232可以是服务器场、云服务器或服务器***。服务器232访问数据库***234(如云数据库或关系数据库***)以存储和检索数据。服务器232包括一个处理单元、一个可有效地耦合到处理单元的联网接口、可有效地耦合到处理单元的一定数量的存储器、一个操作***(如Linux操作***)以及由处理单元运行的专用实时通信服务器软件程序。该服务器软件程序可以使用诸如Java或C#，C++或其他编程语言来编写。它管理实时通信会话，从各个终端设备202-206接收与实时通信有关的数据，并支持对用户208-212之间的实时通信的诊断。
在实时通信会话期间，在每个终端设备上运行的终端软件程序将每个其他参与者的相应用户的QoE数据加载到专用的服务器软件程序。在一个实施例中，专用的服务器软件应用将QoE数据写入数据库234。QoE数据包括视频分辨率、卡顿视频时间、视频锐度(也称为视频清晰度)和卡顿音频时间。在一个实施例中，终端设备捕获的视频帧率、视频上行比特率、视频上行丢包率，视频下行比特率，视频下行丢包率，接收到的视频帧速率，接收到的视频帧定格、接收到的视频分辨率、音频上行比特率、音频下行比特率、视频定格时间、音频定格时间、视频上行分辨率、视频下行分辨率、CPU使用率或其他相关数据也被加载到特定的服务器软件程序中。在本文中，关于特定终端设备，上行指的是从终端设备发出数据，而下行指的是另一终端设备接收数据。
运行在服务器232上的特定服务器软件程序通过新式的监测和诊断***向用户(如操作监测和诊断计算机***244的用户242)呈现QoE数据。监测和诊断计算机***244包括一个处理单元(例如CPU)，可有效地耦合至处理单元的一定数量的存储器、一个可有效地耦合至处理单元以访问互联网252的联网接口、一个可有效地耦合至处理单元的视频接口以用于显示实时通信的诊断数据、一个配置为在处理单元上运行的操作***以及一个可在操作***上运行的专用的实时通信诊断软件程序。实时通信诊断软件程序可以是专有软件程序或Web浏览器。在后一种情况下，实时通信诊断软件程序包括网页程序和由网络浏览器加载的数据。该网页程序和数据由服务器计算机232提供，并且可以使用诸如node.js之类的计算机编程语言来进行编码。
实时通信诊断软件程序提供了一种新的监测和诊断***，该***可以在终端设备的显示屏上显示一个用户对于另一个用户的相关体验。参照图3中的示意图，其示出了第一个用户(例如用户210)对于第二个用户(例如用户212)的相关体验，总体以300表示。该监测和诊断***300通过专用的实时通信诊断软件程序呈现在终端设备204的显示器上。诊断***300包括时间线302，一个视频下行比特率轴304用于表示从发送终端设备206处接收的用户212的视频数据的比特率的每秒千比特数(kbps)，一个音频下行比特率轴306用于表示从发送终端设备206处接收到的用户212的音频数据的每秒千比特率(kbps)，一个视频下行比特率曲线310和一个音频下行比特率曲线312。参照线308将轴线306与轴线304分割开来，轴线304朝上，轴线306朝下。因此，视频下行比特率曲线310在分隔线308上方用一种颜色(如蓝色)表示，而音频下行比特率曲线312在分隔线308下方用不同的颜色(如绿色)表示。它们的方向是相反的。
如得知从终端设备206接收到的视频是模糊的，则在视频下行比特率曲线310上时间线302上的相关时间段处以不同的颜色(如红色)绘制虚线。在322处标识出模糊视频指示符。在示例性诊断***300中，有多处以虚线表示的模糊视频指示符。
当在终端设备206上运行的实时通信终端软件程序或服务器软件程序检测到网络连接质量较低(如低吞吐量)或网络带宽较低或狭窄，终端软件程序就会降低视频帧率的速率和/或降低发送给终端设备204的视频帧的分辨率。换句话说，终端软件程序降低了其视频上行比特率。在这种情况下，用户210体验到来自用户212的模糊视频；诊断***300随即显示代表模糊视频的虚线。
出于各种原因，用户接收的来自另一个用户的音频和/或视频可能变得断断续续。视频卡顿是通过视频定格时间来衡量的。在接收到的视频数据中，当两个连续的视频帧在时间上间隔超过预定的卡顿视频时间阈值时，就会发生卡顿视频。在一个实施例中，将600ms(ms表示毫秒)预设定为视频卡顿的时间阈值。在这种情况下，两个连续的卡顿视频帧之间的时长在本文中被称为卡顿视频段长度。在预定周期(如6秒)内，所有卡顿视频段长度的总和在本文中被称为视频定格时间。
当出现卡顿的视频时，将某种颜色标识的卡顿视频标记放置在分隔线308的上方。在324处示出了多个卡顿视频的指示符。当发生卡顿的音频时，将某种颜色标识的卡顿音频标记放置在分隔线308的下方。在图3中的326处示出了卡顿视频指示符。图4中更细致地示出了指示符322、324和326。接下来参考图4，模糊视频指示符322、卡顿视频指示符324和卡顿音频指示符326的分解图分别在422、424和426处示出并标明。
监测和诊断***300显示了一个用户对于另一个用户的用户体验。根据本发明，可以并排呈现一个用户对于多个用户的用户体验，如图5所示。现在来看图5，图5并排显示了多个用户体验的监测和诊断***，总体以500表示。第一个用户对于第二个用户的体验用502表示，第二个用户对于第一个用户的体验用504表示。例如，用户208对于用户210的体验在502处体现，而用户210对于用户208的体验在504处体现。监测和诊断***502-504的详细说明可分别参考下面的图6和图7。
现在来看图6-7，比特率曲线602示出了终端设备202接收来自终端设备204的下行视频，而相应的下行音频比特率曲线则在604处示出。在612和614处显示了两处严重卡顿的视频。卡顿视频指示符的高度代表卡顿视频的严重程度。例如，当视频定格时间较长时，卡顿的视频指示条会相对绘制得更长一些。
比特率曲线702示出了终端设备204接收来自终端设备202的下行视频，而相应的下行音频比特率曲线则在704处示出。不太严重的卡顿视频多次出现在706、708、710、712和714处。在一个较短的时间段内，没有接收到视频数据或用户关闭了视频。该场景出现的情况见722处。
在进一步的实现中示出了诊断***的并排呈现，在图8中总体以800表示。802处示出了用户208到用户210的上行数据，而804处则示出了用户210对于用户208的体验。两个诊断***802和804的详细说明见下文的图9和图10。接下来参考图9和图10，902处示出了终端设备202的总体CPU使用率，而904处示出了实时通信终端软件程序的CPU使用率。906处示出了视频上行比特率曲线。视频上行比特率有两次下降，分别在908和910处示出。922处示出了终端设备202的视频捕获速率(以每秒帧数(fps)为单位)。捕获视频帧速率的下降对应于视频上行比特率的下降。例如，在924处显示捕获视频帧速率出现了下降。与此同时，视频上行比特率也在910处出现下降。
现在来看图10，图10示出了终端设备204的来自终端设备202的下行数据，该数据表示用户210对用户208的体验，并且总体上以804表示。1002处显示终端设备204的总体CPU使用率，而1004处显示实时通信终端软件程序的CPU使用率。1012处表示视频下行比特率。当发生视频上行比特率下降908-910时，在终端设备204上出现两次卡顿的视频，分别以1016和1018表示。在1022处显示接收到的视频帧速率和视频定格。对应于卡顿视频1016，接收到的视频帧速率出现了下降，在1024处标明。
图11和图12中示出了替代的示例性诊断***802和804，总体以1100和1200表示。首先来看图11，在1102处显示终端设备202的总体CPU使用率，在1104处显示实时通信终端软件程序的CPU使用率。在1106处显示视频上行比特率。视频上行比特率曲线1106显示上行视频均为正常，只有时间段末尾处有一个下降1108。在1112处显示捕获视频的帧率。与视频上行比特率下降1108相对应，在1114处显示捕获视频的帧率也有下降。
现在来参考图12，在1202处显示终端设备204的总体CPU使用率，在1204处显示实时通信终端软件程序的CPU使用率。在1212处显示视频下行比特率。视频下行比特率在1214和1216这两处显示有明显下降。1214-1216处的下降表明大量数据包(如UDP包)被丢失。在1222处显示接收视频帧速率和视频定格。与数据丢包1214-1216相对应，接收的视频帧速率有两个明显的下降，分别在1224和1226处标明。1214-1216和1224-1226处的下降对用户210而言即呈现为卡顿的视频。当出现1214-1216和1224-1226处的下降时，对应的视频上行比特率1106和捕获的视频帧率1112是正常的。出现这种情况的原因是因为终端设备204端的数据包丢失。当捕获视频帧速率出现下降1114时，在终端设备204上出现了卡顿的视频，在1218和1228处以红色标识。
本发明进一步提出，新的实时通信QoE诊断***允许诊断两个以上的参与者信息，如图13所示。现在来参考图13，该图以框图形式示出了四个参与者的监测数据的呈现，总体以1300表示。四个用户的QoE分别以单个用户界面显示，分别为1304、1306、1308和1310，而会话的描述符表示为1302。下列图14、图15和图16进一步示出了框图1302-1310的具体内容。首先来看图14，在会话块1302中，四个参与者分别表示为1402、1404、1406和1408；在1422处显示参与者的在线状态列(表明参与者的加入时间和离开时间)，在1424处显示通信会话中每个参与者的加入时间和离开时间。在监测的时间段中，所有四个用户1402-1408基本上参与了整个会话。
在示例性实施例中，参与者1402-1408的用户体验分别在会话框1304、1306、1308和1310中示出。在任一时间点，每个用户都有针对会话中的每个其他在线参与者的经验。参照图15，参与者1402对于其他参与者的体验的视频接收比特率在1502、1504和1506处显示。参与者1402对于另一参与者的体验的音频接收比特率在1512处显示。为了图示的简单起见，仅示出参与者1402对于另一个参与者的体验的音频接收比特率，在1512处显示。在本发明的商用***实施例中，参与者1402对于所有其他参与者的体验的音频接收比特率会以不同的颜色标识，同样参与者1402对于所有其他参与者的体验的视频频接收比特率也会以不同的颜色标识。
1522、1524和1526表示参与者1406对于其他用户的体验的视频接收比特率。1532表示参与者1406对于其他用户的体验的音频接收比特率。参与者1406从另外两个参与者处的视频接收有一个短暂的信号丢失期1536，而在此期间从另一个参与者处接收的音频保持持续状态，但视频接收是卡顿的。1506处表示该视频中断。例如，视频中断1506的情况可以是参与者关闭视频而仅收听音频。
参照图16，1602、1604和1606表示参与者1404对于其他用户的体验的视频接收比特率。1612表示参与者1404对于其他用户的体验的音频接收比特率。1622、1624和1626表示参与者1408对于其他用户的体验的视频接收比特率，1642则表示音频接收比特率。在1632处发生了另一参与者的卡顿的视频体验。另外两个参与者的视频接收中断以1634表示。
显然，根据以上描述，本发明可以存在许多其他的修改和变化。因此，需要理解的是，在所附权利要求的范围内，本公开可以采用不同于以上具体描述的方式来实现。例如，可以用不同的颜色来表示比特率曲线1602-1606和1612。又例如，模糊视频指示符322、卡顿视频指示条324和卡顿音频指示条326都可以用不同的颜色或图案来表示。
关于本发明的上述描述是为了更好地说明和描述，而并非有排他性意图或将本发明限定在所述的特定表现形式。以上的描述是为了更好地解释本发明的原理和这些原理的实际应用，以使本领域的相关技术人员能够最好地利用本发明在所设想的特定用途中实现各种实施例和进行各种修改。应该认识到的是，本文中“一”或“一个”
等词同时包括单数和复数形式。而相反的，在适当情况下，本文所提到的多个元素的情况也应包括其单数形式。
本发明内容的范围并不仅限于以上说明的内容，而是由下面阐述的权利要求书来定义。此外，尽管下面提出的权利要求可能范围较窄，但是应该认识到，本发明的范围比权利要求所提出的范围要宽泛得多。我们将在要求本申请优先权的一个或多个申请中提出更广泛的权利要求。在上文的描述和附图中如公开了不在以下权利要求书的范围内的其他内容，则这些其他发明内容并不对外公开，并且我们保留提出一项或多项权利申请以要求这些其他发明的权利。

Claims (12)

1.一种实时通信监测诊断计算机***，包括：
1)一个处理单元；
2)可有效地耦合到该处理单元的一定数量的存储器；
3)一个可有效地耦合到该处理单元以访问互联网的网络接口；
4)一个可有效地耦合到该处理单元的用于显示实时通信诊断数据的视频接口；
5)一个配置为在该处理单元上运行的操作***；
6)一种专用的实时通信诊断软件程序，其配置为可在操作***上运行并通过互联网与专用的实时通信服务器软件程序进行通信，该专用的实时通信诊断软件程序配置为可在该视频接口上显示实时通信监测诊断***，其中该实时通信监测诊断***包括：
a)一条用于标识实时通信会话的时间的时间线；
b)一条从参照线处向上延伸的视频下行比特率轴；
c)一条从该参照线处向下延伸的音频下行比特率轴；
d)一条在该参照线上方的用第一种颜色标识的视频下行比特率曲线；
e)一条在该参照线下方的用第二种颜色标识的音频下行比特率曲线；以及
f)一组用第三种颜色标识的的卡顿视频指示符，该指示符沿该参照线并向上延伸。
2.根据权利要求1所述的实时通信监测诊断***，其中该实时通信监测诊断***还包括一组沿视频下行比特率曲线延伸的用第四种颜色标识的模糊视频指示符，其中该第四颜色不同于上述第一种颜色。
3.根据权利要求1所述的实时通信监测和诊断计算机***，其中该模糊视频指示符集内的每个模糊视频指示符以虚线表示。
4.根据权利要求3所述的实时通信监测和诊断计算机***，其中所述第三种颜色和第四种颜色为红色。
5.根据权利要求1所述的实时通信监测和诊断计算机***，其中该实时通信监测和诊断***还包括沿该参照线并向下延伸的用第四种颜色标识的一组卡顿音频指示符。
6.根据权利要求5所述的实时通信监测和诊断计算机***，其中所述第三种颜色和第四种颜色为红色。
7.根据权利要求6所述的实时通信监测与诊断计算机***，其中该实时通信监测与诊断***还包括沿该视频下行比特率曲线延伸的用第五种颜色标识的一组模糊视频指示符，其中所述第五种颜色不同于上述第一种颜色。
8.根据权利要求7所述的实时通信监测和诊断计算机***，其中所述第五种颜色为红色。
9.一种实时通信监测诊断计算机***，包括：
1)一个处理单元；
2)可有效地耦合到该处理单元的一定数量的存储器；
3)一个可有效地耦合到该处理单元以访问互联网的网络接口；
4)一个可有效地耦合到该处理单元的用于显示实时通信诊断数据的视频接口；
5)一个配置为在该处理单元上运行的操作***；
6)一种专用的实时通信诊断软件程序，其配置为可在操作***上运行并通过互联网与专用的实时通信服务器软件程序进行通信，该专用的实时通信诊断软件程序配置为可在该视频接口上显示一个左侧实时通信检测和诊断***和一个右侧实时通信检测和诊断***，其中该左侧实时通信检测和诊断***和一个右侧实时通信检测和诊断***为并排显示，并且其中：
a.该左侧实时通信检测和诊断***包括一个表示实时通信对话时间的第一条时间线；
b.该左侧监测和诊断***包括从第一条参照线处向上延伸的第一个视频下行比特率轴；
c.该左侧监测和诊断***包括从第一条参照线处向下延伸的第一个音频下行比特率轴；
d.该左侧监测和诊断***包括在上述第一条参照线上方的用第一种颜色标识的第一条视频下行比特率曲线，该第一视频下行比特率曲线表示第一个终端设备从第二个终端设备处所接收到的视频数据的比特率；
e.该左侧监测和诊断***包括在上述第一条参照线下方的第一条音频下行比特率曲线，该第一条音频下行比特率曲线表示第一个终端设备从第二个终端设备处所接收到的音频数据的比特率；
f.该左侧监测和诊断***包括沿上述第一条参照线并向上延伸的用第二种颜色标识的第一组卡顿视频指示符；
g.该右侧实时通信检测和诊断***包括一个表示实时通信对话时间的第二条时间线；
h.该右侧监测和诊断***包括从第二条参照线处向上延伸的第二个视频下行比特率轴，该第二视频下行比特率曲线表示第二个终端设备从第一个终端设备处所接收到的视频数据的比特率；
i.该右侧监测和诊断***包括从第二条参照线处向下延伸的第二个音频下行比特率轴；
j.该右侧监测和诊断***包括在上述第二条参照线上方的用第三种颜色标识的第二条视频下行比特率曲线；
k.该右侧监测和诊断***包括在上述第二条参照线下方的第二条音频下行比特率曲线，该第二条音频下行比特率曲线表示第二个终端设备从第一个终端设备处所接收到的音频数据的比特率；以及
l.该右侧监测和诊断***包括沿上述第二条参照线并向上延伸的用第二种颜色标识的第二组卡顿视频指示符。
10.根据权利要求9所述的实时通信监测和诊断计算机***，其中所述第二种颜色为红色且不同于上述第一种和第三种颜色。
11.根据权利要求9所述的监测和诊断***，其中左侧监测和诊断***还包括沿上述第一条参照线并向下延伸的用第四种颜色标识的第一组卡顿音频指示符，而右侧监测和诊断***还包括沿上述第二条参照线并向下延伸的用第四种颜色标识的第二组卡顿音频指示符。
12.根据权利要求11所述的实时通信监测和诊断计算机***，其中所述第二种颜色为红色。
CN202010206221.XA 2019-08-21 2020-03-23 实时通信中诊断用户体验质量的***和方法 Active CN111431899B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/546,689 US10574978B1 (en) 2019-08-21 2019-08-21 System and method for diagnosing QOE in real time communication
US16/546,689 2019-08-21

Publications (2)

Publication Number Publication Date
CN111431899A true CN111431899A (zh) 2020-07-17
CN111431899B CN111431899B (zh) 2021-03-02

Family

ID=69105706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010206221.XA Active CN111431899B (zh) 2019-08-21 2020-03-23 实时通信中诊断用户体验质量的***和方法

Country Status (3)

Country Link
US (1) US10574978B1 (zh)
EP (1) EP3783836A1 (zh)
CN (1) CN111431899B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112135119A (zh) * 2020-09-11 2020-12-25 上海七牛信息技术有限公司 实时音视频通信中网络状况的自动监测与告警方法及***

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11611664B2 (en) 2021-03-25 2023-03-21 Agora Lab, Inc Voice quality assessment system
US11627088B2 (en) 2021-05-31 2023-04-11 Agora Lab, Inc. Method for prioritizing data packets based on application scenario, user state and user role
US11586528B2 (en) * 2021-06-18 2023-02-21 Agora Lab, Inc. Software development kit with independent automatic crash detection
US11616986B2 (en) 2021-07-15 2023-03-28 Agora Lab, Inc. System and method for correcting network loss of data

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130096904A1 (en) * 2011-10-14 2013-04-18 T-Mobile USA, Inc Quality of User Experience Testing for Video Transmissions
CN103262484A (zh) * 2010-11-01 2013-08-21 汤姆逊许可公司 网络服务的用户体验质量管理的方法和装置
CN105359479A (zh) * 2013-01-10 2016-02-24 瑞典爱立信有限公司 控制自适应流播媒体的装置和方法
CN108600862A (zh) * 2018-04-03 2018-09-28 清华大学 移动通信网移动音视频服务用户QoE的提升方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6578077B1 (en) * 1997-05-27 2003-06-10 Novell, Inc. Traffic monitoring tool for bandwidth management
US7385622B2 (en) * 2002-01-31 2008-06-10 Tandberg Telecom As Method and system for presenting a video call management console
US7349000B2 (en) * 2002-04-30 2008-03-25 Tandberg Telecom As Method and system for display of video device status information
US10621075B2 (en) * 2014-12-30 2020-04-14 Spirent Communications, Inc. Performance testing of a network segment between test appliances
US10237546B2 (en) * 2016-04-05 2019-03-19 Gbh Communications, Inc. Videoconference equipment monitoring system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103262484A (zh) * 2010-11-01 2013-08-21 汤姆逊许可公司 网络服务的用户体验质量管理的方法和装置
US20130096904A1 (en) * 2011-10-14 2013-04-18 T-Mobile USA, Inc Quality of User Experience Testing for Video Transmissions
CN105359479A (zh) * 2013-01-10 2016-02-24 瑞典爱立信有限公司 控制自适应流播媒体的装置和方法
CN108600862A (zh) * 2018-04-03 2018-09-28 清华大学 移动通信网移动音视频服务用户QoE的提升方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
贾宏君等: "2016年国际电信联盟广播电视标准化跟踪研究", 《广播与电视技术》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112135119A (zh) * 2020-09-11 2020-12-25 上海七牛信息技术有限公司 实时音视频通信中网络状况的自动监测与告警方法及***

Also Published As

Publication number Publication date
CN111431899B (zh) 2021-03-02
US10574978B1 (en) 2020-02-25
EP3783836A1 (en) 2021-02-24

Similar Documents

Publication Publication Date Title
CN111431899B (zh) 实时通信中诊断用户体验质量的***和方法
US11240543B2 (en) Synchronizing playback of segmented video content across multiple video playback devices
CN104735470B (zh) 一种流媒体数据传输方法及装置
US7975063B2 (en) Informative data streaming server
Aloman et al. Performance evaluation of video streaming using MPEG DASH, RTSP, and RTMP in mobile networks
US8472349B1 (en) Determining mean opinion scores (MOS) for variable bit rate audio streams
US8284259B2 (en) Policy-based video quality assessment
US20130091528A1 (en) Video reproduction system, receive terminal, home gateway device, and quality control system
WO2020220902A1 (zh) 视频资源的传输参数分发方法及装置
US9326041B2 (en) Managing quality of experience for media transmissions
CN104125429A (zh) 视频数据传输的调节方法及装置
US10862945B2 (en) Adaptive restful real-time live media streaming
US20180115475A1 (en) Method for assessing the perceived quality of adaptive video streaming
US20170142029A1 (en) Method for data rate adaption in online media services, electronic device, and non-transitory computer-readable storage medium
Li et al. Real‐Time QoE Monitoring System for Video Streaming Services with Adaptive Media Playout
CN107770538A (zh) 一种检测场景切换帧的方法、装置和***
CN110300278A (zh) 视频传输方法和设备
Zhang et al. A QOE-driven approach to rate adaptation for dynamic adaptive streaming over http
Chen et al. Study on relationship between network video packet loss and video quality
CN110730328B (zh) 将多路视频展示到浏览器单页面中的方法
US20220248103A1 (en) Device, method and program for computer and system for distributing content based on the quality of experience
CN111064960A (zh) 一种视频编码的方法、装置、服务器和存储介质
EP4024811A1 (en) Method and system for enhancing quality of experience (qoe) of video reception at receiver
US20230199267A1 (en) Method and apparatus for processing adaptive multi-view streaming
CN118354133A (zh) 一种视频同屏转码方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240104

Address after: 200433 Room J48, 22/F, No. 2500 Siping Road, Yangpu District, Shanghai

Patentee after: Shanghai Shengwang Technology Co.,Ltd.

Address before: 200131 room 2009, 2 / F, building 1, No. 180, Huashen Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai

Patentee before: Dayin network technology (Shanghai) Co.,Ltd.

TR01 Transfer of patent right