CN106464837A - 数据发送***、终端装置、程序和方法 - Google Patents

Abstract

一种数据发送***包括多个终端装置，其连接到通信网络并且在所述终端装置之中发送或接收内容数据。接收所述内容数据的至少一个所述终端装置包括代码量改变请求单元(12)，其基于对应于预定内容数据的输出信号的输出时间间隔，在指定所述内容数据的发送源作为目的地的同时，发送代码量减少请求以请求减少所述预定内容数据的代码量；以及代码量改变单元(13)，其响应于从另一终端装置发送的代码量减少请求，减少相应的内容数据的代码量。

Description

数据发送***、终端装置、程序和方法

技术领域

本发明涉及一种数据发送***、终端装置、程序和方法。

背景技术

传统地，已经提供电话会议***作为用于在经由通信网络连接的多个基站之中分享视频和音频的***的示例。但是，在传统的***中，由于通信网络的通信状态的恶化，存在数据输出经常被延迟的问题。当数据输出被经常延迟时，声音和图像被中断，并且会议的参与者不能够适当地获得必要的信息。

就此而言，日本专利号5000141(专利文献1)公开了防止音频被中断的方法，通过通知发送终端在接收终端中发生了分组(packet)延迟，并且在发送终端中减少在不包括音频数据的发送分组中的数据量。

但是，数据输出不仅由于通信网络的发送延迟而被延迟，而在许多情况中，还由于在数据接收侧的内部处理延迟(从当数据被接收到当产生输出信号的处理时间段)。因此，如在专利文献1中，输出延迟可能不能仅通过关注通信网络的通信状态而避免。

发明内容

技术问题

已经鉴于如上所述的传统技术中的问题作出了本发明，并且本发明的目的是提供能够维持需要的信息的稳定输出的新颖数据发送***。

问题的解决方案

本发明者勤勉地研究了无论输出质量的劣化的原因都能够维持需要的信息的稳定输出的数据发送***的配置，发现了以下配置，并且实现了发明。

根据本发明，提供一种数据发送***，包括多个终端装置，其连接到通信网络并且在所述终端装置之中发送或接收内容数据。接收所述内容数据的至少一个所述终端装置包括代码量改变请求单元，基于对应于预定内容数据的输出信号的输出时间间隔，在指定所述内容数据的发送源作为目的地的同时，发送代码量减少请求以请求减少所述预定内容数据的代码量；以及代码量改变单元，响应于从另一终端装置发送的代码量减少请求，减少相应的内容数据的代码量。

本发明的有益效果

根据本发明，可以提供能够维持需要的信息的稳定输出的新颖数据发送***。

附图说明

[图1]图1是本实施例的电话会议***中的通信网络的配置图。

[图2]图2是概念性地示出本实施例的电话会议***中数据发送的方面的示意图。

[图3]图3是本实施例的终端装置的外部示意图。

[图4]图4是本实施例的终端装置的硬件配置图。

[图5]图5是本实施例的信息处理装置(中继装置和发送管理装置)的硬件配置图。

[图6]图6是本实施例的发送管理装置的功能框图。

[图7]图7是示出根据本实施例的终端认证管理表的示意图。

[图8]图8是示出根据本实施例的终端管理表的示意图。

[图9]图9是示出根据本实施例的目的地列表管理表的示意图。

[图10]图10是示出在本实施例中进行的共同的认证处理的序列图。

[图11]图11是示出根据本实施例的目的地列表的示意图。

[图12]图12是本实施例的终端装置和中继装置的功能性框图。

[图13]图13是示出在本实施例的电话会议***1中执行的处理的序列图。

[图14]图14是示出根据本实施例的减少请求历史管理表的示意图。

[图15]图15是示出根据本实施例的输出状态管理表的示意图。

[图16]图16是示出根据本实施例的输出状态管理表和减少请求历史管理表示意图。

[图17]图17是示出根据本实施例的由代码量改变请求单元执行的处理的流程图。

具体实施方式

下文中，将参考实施例描述本发明。将理解的是，本发明不限于以下实施例。在下面说明中参考的附图中，相同的参考标号表示相同的组件，并且对其的说明被适当地省略。

在下文中，将基于“电话会议***”的优选的应用描述本发明的数据发送***。

图1示出了本发明的实施例的电话会议***1的通信网络配置。如图1中所示，本实施例的电话会议***1包括多个终端装置10(10a、10b、10c…)、至少一个中继装置30和发送管理装置50。装置布置在网络80中并且可通信地相互连接，网络80被称为因特网、局域网(LAN)等。

终端装置10的每一个是被安装的获取基站的视频和音频并且将视频和音频发送到在其它基站中的终端装置的信息处理装置。终端装置10还从安装在其它基站中的终端装置10接收视频和音频并且输出视频和音频。中继装置30是***在终端装置10之间的、并且中继内容数据的信息处理装置。发送管理装置50是执行用于操作该***以及中央地管理各种类型的管理信息所需要的处理(诸如终端装置的登录认证、以及监控通信网络的通信状态)的信息处理装置。

图2是概念性地示出本实施例的电话会议***1中数据的发送的方面的示意图。在本实施例中，在终端装置10的每一个和发送管理装置50之间建立了用于管理信息的特定的会话Si以发送和接收各种类型的管理信息。终端装置10和发送管理装置50使用会话Si发送和接收各种类型的管理信息。在本实施例中，在终端装置10的每一个和中继装置30之间建立用于数据的会话Sd以发送和接收内容数据。终端装置10和发送管理装置50使用会话Sd发送和接收内容数据。

终端装置10的每一个可以同时发送多个内容数据。终端装置10还可以使用单独建立的特定的会话Sd发送数据。例如，内容数据可以是图像数据(移动图像和静态图像)和音频数据。内容数据也可以包括文本数据。

已经在上面简要描述了本实施例的电话会议***1的***配置。接着，将描述配置电话会议***1的装置。

首先，将描述本实施例的终端装置10的配置。图3是本实施例的终端装置10的外部示意图。将注意的是，图2中示出的外部视图仅是示例。如图3中所示，终端装置10包括外壳1100、臂1200和相机外罩1300。包括多个进气孔的进气表面(未示出)被提供在外壳1100的前侧壁表面1110上。包括多个排气孔的排气表面1121被提供在外壳1100的后侧壁表面1120上。因此，通过驱动外壳1100中嵌入的冷却风扇，外部空气经由进气表面(未示出)从终端装置10的后部吸入，并且通过排气表面1121从终端装置10的后部排出。用于收集声音的声音收集孔1131被形成在外壳1100的右侧壁表面1130上，并且会议的声音通过声音收集孔1131由内置麦克风(将在下面描述)收集。

操作面板1150被形成在外壳1100的右侧壁表面1130的侧边上。操作面板1150包括多个操作按钮(108a到108e)，其将在下面描述，电源开关109，其将在下面描述，以及警报灯119。操作面板1150还包括由多个声音输出孔形成的声音输出表面1151，通过该多个声音输出孔从内置扬声器115传递输出声音，其将在下面描述。凹的形状以容纳臂1200和相机外罩1300的容纳单元1160被形成在外壳1100的左侧壁表面1140的侧边处。多个连接端口(1132a到1132c)的每一个用于将缆线与外部装置连接接口(I/F)119电连接，将在下面描述的外部装置连接接口(I/F)119被提供在外壳1100的右侧壁表面1130上。将用于显示器120的缆线120c与外部装置连接I/F 119连接的连接端口(未示出)——其将在下面描述——被提供在外壳1100的左侧壁表面1140上。

臂1200经由转矩铰链1210被安装在外壳1100上，并且臂1200在垂直方向中相对于外壳1100在135度的倾斜角θ1的范围内可旋转。图3示出了当倾斜角θ1为90度的状态。

内置相机(将在下面描述)被安装在相机外罩1300中，并且内置相机捕捉会议的图像。相机外罩1300经由转矩铰链1310被安装在臂1200上，并且当图3中示出的状态为0度时，相机外罩1300在垂直和水平方向中相对于臂1200在±180度的范围的摇摆角θ2中以及在±45度的范围的倾斜角θ3中可旋转。

已经在上面描述了本实施例的终端装置10的外部视图。接着，将描述终端装置10的硬件配置。

图4是本实施例的终端装置10的硬件配置图。如图4中所示，终端装置10包括控制装置的整体操作的中央处理器(CPU)101；只读存储器(ROM)102，在其中储存诸如用于驱动CPU 101的初始程序加载器(IPL)计算机的程序；随机存取存储器(RAM)103，用作CPU 101的工作区域；闪速存储器104，在其中储存诸如用于终端、图像数据和音频数据的数据的计算机程序的各种类型的数据；以及固态硬盘(SSD)105，根据CPU 101的控制控制从闪速存储器104读取各种类型的数据以及将各种类型的数据写入到闪速存储器104。终端装置10还包括介质驱动107，控制从诸如闪速存储器的记录介质106读取数据以及将数据写入到诸如闪速存储器的记录介质106；操作操作按钮108，选择终端装置10的目的地等；电源开关109，开启/关闭终端装置10的电源；通信网络I/F 111，使用通信网络发送数据；以及总线110——诸如连接结构化组件的地址总线和数据总线。

终端装置10还包括内置相机112，包括透镜光学***和固态图像传感器(诸如互补金属氧化物半导体(CMOS)和电荷耦合装置(CCD))作为用于捕捉会议的图像和获取图像数据的图像输入装置。图像传感器I/F113控制相机112的驱动。

外部显示器120连接到终端装置10作为图像输出装置。显示器120基于从显示器I/F 118输出的图像信号(诸如视频图形阵列(VGA)信号，高清晰度多媒体接口(HDMI)(注册商标)信号和数字视频交互(DVI)信号)显示其它基站的会议的图像、操作输入屏幕等。显示器也可以是嵌入的。

终端装置10还包括内置麦克风114作为音频输入装置、以及控制从麦克风114的音频信号的输入的音频输入I/F 116。终端装置10还包括内置扬声器115作为音频输出装置，并且扬声器115基于从音频输出I/F 117输出的音频信号输出其它基站的会议的声音。

用于连接各种外部装置的外部装置连接I/F 119可以经由通用串行总线(USB)缆线等连接诸如外部相机、外部麦克风和外部扬声器的外部装置。在本实施例中，可以被配置为使得当连接外部相机时、在内置相机112之前驱动外部相机，并且当连接外部麦克风和外部扬声器时，在内置麦克风114和内置扬声器115之前驱动外部麦克风和外部扬声器。也可以被配置为使得相机、扬声器和麦克风仅是外部安装的。

在上面描述了本实施例的终端装置10的硬件配置。接着，将描述根据本实施例的中继装置30和发送管理装置50的硬件配置。中继装置30和发送管理装置50都是被称为Web服务器的通用的信息处理装置。因此，在下文中，将集体描述中继装置30和发送管理装置50的硬件配置。

图5是本实施例的信息处理装置(中继装置30和发送管理装置50)的硬件配置图。如图5中所示，本实施例的信息处理装置30和50每一个包括控制装置的整体操作的CPU201；ROM 202，在其中储存诸如用于驱动CPU 201的IPL的计算机程序；RAM 203，用作CPU201的工作区域；硬盘(HD)204，在其中储存各种类型的数据(诸如数据中继程序和发送管理程序)；以及硬盘驱动(HDD)205，根据CPU 201的控制而控制从HD 204读取各种类型的数据以及将各种类型的数据写入到HD 204。此外，信息处理装置30和50的每一个包括介质驱动207，其控制从诸如闪速存储器的记录介质206读取数据并且将数据写入到诸如闪速存储器的记录介质206；显示器208，显示各种类型的信息；通信网络I/F 209经由诸如LAN和因特网的通信网络发送数据；键盘211和鼠标212作为输入装置；光盘-只读存储器(CD-ROM)驱动214，其控制从CD-ROM 213读取各种类型的数据并且将各种类型的数据写入到CD-ROM 213；以及连接以上所述的结构化组件的总线210，诸如地址总线和数据总线。

已经在以上描述了本实施例的终端装置10、中继装置30和发送管理装置50的硬件配置。接着，将描述发送管理装置50的功能块。

图6示出了本实施例的发送管理装置50的功能块。如图6中所示，本实施例的发送管理装置50包括发送和接收单元51、终端认证单元52、终端管理单元53、提取单元54、终端状态确认单元56、目的地列表管理单元57、储存/读取处理单元59和储存装置58。

发送和接收单元51经由网络80与终端装置10和中继装置30发送并且接收各种类型的数据。终端认证单元52使用经由发送和接收单元51接收的在登录请求信息中包括的终端ID和密码作为搜索密钥而搜索储存在储存装置58中的终端认证管理表500(见图7)。终端认证单元52然后确定是否在终端认证管理表500中管理了终端ID和密码的相同的对，从而进行终端认证。

为了管理已经请求登录的请求源终端的操作状态，终端管理单元53以相关联的方式在终端管理表502中储存和管理请求源终端的终端ID、请求源终端的操作状态、当由发送管理装置50接收登录请求信息时的接收日期和时间以及请求源终端的IP地址(见图8)。当用户从开启状态关闭终端装置10的电源开关109时(见图3)，终端管理单元53基于从终端装置10发送的指示关闭电源的操作状态信息，将在终端管理表502中的操作状态从上线(online)改变为下线(offline)。

提取单元54使用已经请求登录的请求源终端的终端ID作为密钥而搜索图9中示出的目的地列表管理表504，并且通过读出终端ID提取可与请求源终端通信的候选目的地终端的终端ID。在该示例中，目的地列表管理表504是基于在其每一个在电话会议***1中具有账户的终端装置10之间提前执行的共同的认证处理产生的表。目的地列表管理表504以相关联的方式管理发送源终端装置10的终端ID和已经从发送源终端装置10接收到许可的目的地终端装置10的终端ID。

提取单元54还使用已经请求登录的请求源终端的终端ID作为密钥而搜索目的地列表管理表504，并且提取已经将上述请求源终端的终端ID注册为候选目的地终端的另外的请求源终端的终端ID。提取单元54还使用由提取单元54提取的候选目的地终端的终端ID作为密钥而搜索终端管理表502，并且读出由提取单元54提取的用于每个终端ID的终端的操作状态。因此，提取单元54可以获取可与已经请求登录的请求源终端通信的候选目的地终端的操作状态。提取单元54还使用由提取单元54提取的终端ID作为搜索密钥而搜索终端管理表502，并且提取已经请求登录的请求源终端的操作状态。

终端状态确认单元56通过使用终端ID或目的地名称作为搜索密钥而搜索终端管理表502确认相应的操作状态。

目的地列表管理单元57对于目的地列表管理表504中的每个请求源终端的终端ID添加或删除目的地终端的终端ID。

储存/读取处理单元59在储存装置58中储存各种类型的数据，并且读出储存在储存装置58中的各种类型的数据。

已经在上面描述了发送管理装置50的功能块。接着，现在将基于图10中示出的序列图描述当终端装置10登录到电话会议***1中并且参与会议时执行的处理。

用户首先开启电源开关109(见图3)(步骤S1)。响应于此，终端装置10将包括终端ID和密码的登录请求发布到发送管理装置50(步骤S2)。

发送管理装置50的终端认证单元52使用经由发送和接收单元51接收的在登录请求中包括的终端ID和密码作为搜索密钥而搜索储存装置58的终端认证管理表500(见图7)。终端认证单元52然后通过确定是否在终端认证管理表500中管理了相同的终端ID和相同的密码而进行终端认证(步骤S3)。当认证成功时，对于由登录请求源的终端装置10的终端ID和目的地名称指示的每个记录，终端管理单元53在终端管理表502中以相关联的方式储存操作状态、当接收登录请求时的接收日期和时间和终端装置10的IP地址(见图9)(步骤S4)。然后，终端认证单元52将认证结果(认证成功)经由发送和接收单元51发送到登录请求源的终端装置10(步骤S5)。

当接收认证结果时(认证成功)，终端装置10将目的地列表请求发布到发送管理装置50(步骤S6)。因此，发送管理装置50的提取单元54使用目的地列表请求源的终端装置10的终端ID作为搜索密钥而搜索目的地列表管理表504(见图9)，并且提取可与目的地列表请求源的终端装置10通信的候选目的地终端的终端ID，并且从终端管理表502读出对应于终端ID的目的地名称(见图8)(步骤S7)。

接着，发送管理装置50的储存/读取处理单元59从储存装置58读出目的地列表框架(frame)中的数据(步骤S8)。储存/读取处理单元59然后将包括目的地列表框架的“目的地列表信息(目的地列表框架、终端ID和目的地名称)以及由提取单元54提取的终端ID和目的地名称发送到目的地列表请求源的终端装置10(步骤S9)。因此，请求源的终端装置10在管理信息储存单元中储存接收的目的地列表信息(步骤S10)。

此外，发送管理装置50的提取单元54使用之前已经被提取的候选目的地终端的终端ID作为搜索密钥而搜索终端管理表502(见图8)，并且读出用于每个终端ID的候选目的地终端的相应的操作状态(步骤S11)。

接着，发送管理装置50的发送和接收单元51在上述S7处将包括用作搜索密钥的终端ID的"终端操作状态信息"以及相应的目的地终端的操作状态发送到请求源的终端装置10(步骤S12)。

因此，请求源的终端装置10在管理信息储存单元中储存接收的"终端操作状态信息"(步骤S13)。以此方式，请求源的终端装置10可以在当前的点处获取可通信的候选目的地终端的操作状态。

接着，请求源的终端装置10基于储存在管理信息储存单元中的终端的目的地列表信息和操作状态信息创建和显示已经反映了作为目的地候选的终端装置10的状态的目的地列表。图11示例性地示出了在连接到终端装置10的显示器120上显示的目的地列表。

已经在上面描述了当终端装置10登录到电话会议***1中时执行的处理。在本实施例中，响应于用户从显示的目的地列表(见图11)选择期望的终端装置10，在选择的终端装置10和用户的终端装置10内容数据的发送和接收将处于待机模式中。当由用户选择的终端装置10已经与其它终端装置10在会议中时，在用户(的终端装置10)和所有的参与会议的终端装置10之间发送和接收的内容数据将处于待机模式中。

已经在上面描述了当终端装置10登录到电话会议***1中并且参与会议时执行的处理。接着，将描述本实施例的终端装置10和中继装置30的功能块。

图12示出了本实施例的终端装置10和中继装置30的功能块。如图12中所示，本实施例的终端装置10包括代码量改变请求单元12、代码量改变单元13、最后输出时间更新单元(last output time updating unit)14和发送和接收单元15。

代码量改变请求单元12是响应于检测到内容数据的输出延迟、将用于减少由用户选择的预定内容数据(下文中，被称为代码量减少请求)的代码量的请求发送到内容数据的发送源的功能性单元。代码量改变单元13是响应于从另一终端装置10发送的代码量减少请求、执行减少发送数据的代码量的处理的功能性单元。

最后输出时间更新单元14是更新由用户选择的预定内容数据的最后输出时间(将在下面描述)的功能性单元。发送和接收单元15是经由中继装置30与其它终端装置10发送和接收各种类型的数据的功能性单元。

本实施例的中继装置30包括中继控制单元32和减少请求历史管理单元34。

中继控制单元32是将从终端装置10接收的各种类型的数据传输到指定的目的地的功能性单元。减少请求历史管理单元34是管理从终端装置10接收的代码量减少请求的历史的功能性单元。

已经在上面简要介绍了终端装置10和中继装置30的功能块。接着，由图12中示出的功能性单元执行的具体处理的内容将基于图13中示出的序列图而描述。在以下解释中，如需要将参考图12。

用户通过从显示在终端装置10a的显示器120上的目的地列表(见图11)选择期望的目的地而参与会议。此时，终端装置10a的用户接口(UI)控制单元(未示出)显示输入屏幕以用于在显示器120上接收用户希望发送的内容数据的注册和取消。

当用户选择用户希望经由输入屏幕发送的内容数据时，UI控制单元(未示出)将选择的内容数据的注册请求发送到中继装置30(S1)。

因此，中继装置30将在终端装置10当前正在参与的会议中是唯一的数据ID分配到由终端装置10a请求的注册的每个内容数据。中继装置30还产生内容数据注册信息，该内容数据注册信息是由所有参与会议的终端装置10(包括终端装置10a)注册的内容数据的数据名称和数据ID的列表(S2)。中继装置30然后将内容数据注册信息发送到终端装置10a(S3)。

同时，中继装置30产生图14的(a)中示出的减少请求历史管理表600(如果已经产生减少请求历史管理表600则更新内容)(S4)。如图14的(a)中所示，减少请求历史管理表600包括相对于由中继装置30中继的内容数据的、用于储存会话ID的字段602、用于储存数据ID的字段604、以及用于储存作为对应于的内容数据的代码量减少请求的发送源的终端装置10的终端ID的字段606。减少请求历史管理表600以相关联的方式管理字段的值。

终端装置10a的代码量改变请求单元12响应于UI控制单元(未示出)从中继装置30接收内容数据注册信息，产生图15的(a)中示出的输出状态管理表700(S5)。如图15的(a)中所示，输出状态管理表700包括相对于从其它终端装置10(10b、10c、10d…)接收的内容数据的、用于数据ID的字段702、用于最后输出时间的字段704以及用于储存对应于代码量减少请求的状态的字段706。

之后，终端装置10a的UI控制单元(未示出)基于从中继装置30接收的内容数据注册信息产生包括将由会议中的终端装置10a接收的内容数据的列表的选择屏幕。UI控制单元然后在显示器120显示选择屏幕(S6)。用户然后选择用户希望经由输入屏幕而无延迟地输出的至少一个内容数据。更具体地，认为会议中参与者的评论最为重要的用户可以从将接收的多个内容数据中选择每个基站的音频数据。

响应于经由UI控制单元(未示出)接收由用户选择的输入，代码量改变请求单元12在输出状态管理表700的字段702中设置选择的内容数据的数据ID(S7)。图15的(b)示出了其中设置数据ID的输出状态管理表700。

在当已经完成以上描述的程序之后的时刻，终端装置10a在指定其它终端装置10(10b、10c、10d…)作为目的地的同时，将其内容数据发送到中继装置30。终端装置10a还从中继装置30接收其它终端装置10(10b、10c、10d…)的内容数据，其中，对于其它终端装置10(10b、10c、10d…)，终端装置10a自身被指定为目的地。此时，数据ID被储存在将要经由中继装置30发送和接收的内容数据的分组中。

在以此方式进行的会议中，如果当其它终端装置10(10b、10c、10d…)发送内容数据时到当终端装置10a输出对应于数据的输出信号到终端装置10a的输出装置时的时间段超过允许的范围而变得更长，终端装置10a的用户感测图像和音频中的延迟，并且用户难以正确地识别内容。

关于该点，在本实施例中，在由用户事先选择的内容数据的输出延迟(图像和音频)达到由用户感知的水平之前，采取校正措施以解决输出延迟。

关于该点，将首先描述由终端装置10a的最后输出时间更新单元14执行的处理。内容数据的输出延迟由通信网络的通信状态产生的"发送延迟"以及从当接收数据时到当产生输出信号时的处理时间段产生的"内部处理延迟"引起。不管原因是什么，输出延迟的标志随着输出各输出信号的时间间隔的增加而出现。关于该点，最后输出时间更新单元14在输出状态管理表700的字段704中储存***时间(下文中，被称为最后输出时间)，该***时间是当对应于接收的内容数据的输出信号被最后输出到输出装置的时间。最后输出时间更新单元14在每次输出新的输出信号时更新值。

更具体地，最后输出时间更新单元14在对应于音频数据的字段704中储存最后输出时间，该最后输出时间是当音频输出I/F 117(见图4)已经输出基于从所述另一终端装置10发送到扬声器115(见图4)的音频数据而产生的音频信号时的时间。最后输出时间更新单元14每当输出新的音频信号时更新值。最后输出时间更新单元14还在对应于图像数据的字段704中储存最后输出时间，该最后输出时间是当显示器I/F 118已经输出基于从所述另一终端装置10发送到显示器120(见图4)的图像数据而产生的图像信号时的时间。最后输出时间更新单元14每当输出新的输出信号时更新值。最后输出时间更新单元14也可以在当绘图数据(通过译码经由网络从发送源接收的图像数据的数据)被传送到绘图模块中时更新时间(时间戳)为最后输出时间。

图15的(c)示出了在终端装置10a已经开始接收内容数据之后的输出状态管理表700。当终端装置10a开始接收数据时，如图15的(c)中所示，最新的最后输出时间被设置在对应于每个数据的数据ID的字段704中。

将通过返回到图13而继续描述。代码量改变请求单元12继续监控由最后输出时间更新单元14更新的输出状态管理表700中的字段704。因此，代码量改变请求单元12响应于检测内容数据的输出延迟，使用以下程序而产生选择的内容数据的代码量减少请求。

首先，当检测到选择的内容数据的输出延迟时，代码量改变请求单元12确定由通信速度测量单元17测量的网络通信速度是否超过预定的阈值。如果测量的值低于预定的阈值，代码量改变请求单元12估测输出延迟的原因为“发送延迟”。除此以外，代码量改变请求单元12确定由CPU使用率测量单元18测量的CPU使用率是否超过预定的阈值。如果测量的值超过预定的阈值，代码量改变请求单元12估测输出延迟的原因是“内部处理延迟”。代码量改变请求单元12然后产生包括所检测的内容数据输出延迟的数据ID、终端装置10a的终端ID以及估测的原因(“发送延迟”和“内部处理延迟”的至少一个)的代码量减少请求。

然后，代码量改变请求单元12在指定作为内容数据的发送源的其它终端装置10为目的地的同时将产生的代码量减少请求发送到中继装置30(S8)。因此，更新输出状态管理表700(S9)。当中继控制单元32已经从终端装置10a接收到代码量减少请求时，中继装置30的减少请求历史管理单元34然后更新减少请求历史管理表600(S10)。

在该示例中，假设，终端装置10a的代码量改变请求单元12将包括数据ID“XOS0021A”、终端装置10a的终端ID"XTK0001"和估测的原因(指示发送延迟的“网络”)的代码量减少请求发送到中继装置30。在该情况中，在输出状态管理表700中，如图15的(d)中所示，对应于数据ID“XOS0021A”的字段706被更新为“请求中”。在减少请求历史管理表600中，如图14的(b)中所示，终端装置10a的终端ID“XTK0001”用作代码量减少请求的发送源，并且估测的原因(指示发送延迟的”网络”)被储存在对应于在代码量减少请求中包括的数据ID“XOS0021A”的字段606中。换句话说，在本实施例中，每个内容数据的请求历史(哪个终端装置10已经基于什么原因而发送了每个内容数据的代码量减少请求)被保持在减少请求历史管理表600的字段606中。

在中继装置30的减少请求历史管理单元34已经更新减少请求历史管理表600之后，中继控制单元32将从终端装置10a接收的代码量减少请求传输到用作对应于数据ID“XOS0021A”的内容数据的发送源的其它终端装置10(S11)。

已经从中继装置30的中继控制单元32接收代码量减少请求的其它终端装置10的代码量改变单元13从代码量减少请求取回数据ID和估测的原因，并且根据估测的原因来执行减少对应于数据ID的内容数据的代码量的处理(S12)。

更具体地，如果估测的原因是“发送延迟”，代码量改变单元13执行增加目标内容数据的压缩率的处理(换句话说，减少比特率的处理)。如果估测的原因是“内部处理延迟”，代码量改变单元13执行减少音频数据的采样率的处理以及减少图像数据的分辨率的处理。如果估测的原因包括"发送延迟"和"内部处理延迟"两者，代码量改变单元13执行增加用于音频数据的压缩率的处理以及减少用于音频数据的采样率的处理，并且执行增加用于图像数据的压缩率的处理以及减少用于图像数据的分辨率的处理。如果减少请求历史管理表600如由图14的(b)中所示，其它终端装置10的代码量改变单元13用作对应于数据ID“XOS0021A”的内容数据的发送源，从接收的代码量减少请求取回数据ID“XOS0021A”和估测的原因“网络”，并且执行增加用于对应于数据ID“XOS0021A”的音频数据的压缩率的处理(减少比特率的处理)。

作为执行上述系列的处理(S8到S12)的结果，终端装置10a可以可靠地接收其它终端装置10的音频数据(数据ID“XOS0021A”)而不被中断。

然后，终端装置10a的代码量改变请求单元12继续监控输出状态管理表700的字段704。因此，响应于充分地解决内容数据的输出延迟，其被请求的代码量被减少，代码量改变请求单元12使用以下过程来产生通知(下文中，被称为代码量减少请求撤回通知)以撤回对应于内容数据的代码量减少请求。

首先，当检测到其代码量请求减少的内容数据的输出延迟已经被充分地解决时，代码量改变请求单元12产生包括内容数据的数据ID和终端装置10a的终端ID的代码量减少请求撤回通知。

代码量改变请求单元12然后在指定内容数据的发送源作为目的地的同时、将产生的代码量减少请求撤回通知发送到中继装置30(S13)。因此，更新输出状态管理表700(S14)。同时，当中继控制单元32已经从终端装置10a接收代码量减少请求撤回通知时，中继装置30的减少请求历史管理单元34更新减少请求历史管理表600(S15)。

在该示例中，假设，终端装置10a的代码量改变请求单元12将包括数据ID"XOS0021A"和终端装置10a的终端ID"XTK0001"的代码量减少请求撤回通知发送到中继装置30。在该情况中，在输出状态管理表700中，如图16的(a)中所示，在对应于数据ID"XOS0021A"的字段706中储存的"请求中"被删除。同时，在减少请求历史管理表600中，如图16的(b)中所示，从对应于在代码量减少请求中包括的数据ID"XOS0021A"的字段606中删除请求历史“XTK0001(网络)”。

在该示例中，在从对应于包括在代码量减少请求中的数据ID“XOS0021A”的字段606删除请求历史“XTK0001(网络)”之后，中继装置30的减少请求历史管理单元34确定是否已经删除对应于数据ID"XOS0021A"的所有请求历史。因此，如果对应于数据ID"XOS0021A"的所有的请求历史已经被删除，减少请求历史管理单元34将从终端装置10a接收的关于数据ID"XOS0021A"的代码量减少请求撤回通知传输到已经被指定为目的地的其它终端装置10(S16)。

同时，如图16的(b)中所示，对于一片内容数据(数据ID"YOS0031A")，如果存在从两个或多个终端装置10(终端ID＝"XOS0002"和"XTK0003")发送的请求历史、并且请求历史的一部分被删除，关于内容数据的代码量减少请求撤回通知将不被传输到作为内容数据的发送源的其它终端装置10，只要没有删除所有的请求历史(换句话说，至少没有撤回关于内容数据的所有的代码量减少请求)。

已经从中继装置30接收代码量减少请求撤回通知的其它终端装置10的代码量改变单元13，从代码量减少请求撤回通知取回数据ID，并且进行恢复对应于数据ID的内容数据的代码量的处理，到代码量已经被减少之前的标准状态(S17)。更具体地，代码量改变单元13在目标内容数据的压缩率、采样率(音频数据)和分辨率(图像数据)之中恢复已经被改变以将代码量减少到原始值的参数。

作为执行上述系列处理(S13到S17)的结果，一旦输出延迟的原因已经被解决，终端装置10a可以以原始的标准质量接收其它终端装置10的音频数据(数据ID"XOS0021A")。

已经在上面基于图13中示出的序列图描述了由在图12中示出的功能性单元协作性执行的处理的内容。接着，将基于图17中示出的流程图详细地描述由代码量改变请求单元12执行的代码量减少请求和代码量减少请求撤回通知的发送处理。

如图17中所示，由代码量改变请求单元12执行的例程包括第一循环处理(步骤100)和之后的第二循环处理(步骤200)。代码量改变请求单元12在预定的时间处重复地执行包括两个循环处理的例程。

在第一循环处理中(步骤100)，以下步骤101到103在作为用户希望无延迟地输出的内容数据的n个选择的数据(n＝等于或大于1的整数)上执行。在步骤101处，确定从选择的数据的最后输出时间流逝的时间段已经是否超过第一阈值T1。

因此，如果从最后输出时间流逝的时间段没有超过阈值T1(步骤101处的否)，处理返回到步骤101，并且确定从下一选择的数据的最后输出时间流逝的时间段是否已经超过第一阈值T1。

在步骤101处，如果确定从最后输出时间流逝的时间段已经超过阈值T1(步骤101的是)，用于对应于确定的选择的数据的恢复计数器被清为零(步骤102)。然后，选择的数据的代码量减少请求被发送到中继装置30(步骤103)。

这里，上述阈值T1被定义为对应于允许的输出延迟的输出信号的输出时间间隔的上限值。如果输出时间间隔超过阈值T1，用户感测图像和音频中的延迟。阈值T1可以是用于音频数据和图像数据两者的共同值、或者可以对每种类型的数据定义特定的值。

当对于n个选择的数据的第一循环处理(步骤100)结束时，处理继续到之后的第二循环处理(步骤200)。在第二循环处理(步骤200)中，以下步骤201到207在已经作为第一循环处理中的代码量减少请求的目标的一个或多个内容数据(下文中，被称为请求对其减少的数据)上执行(步骤100)。

在步骤201处，根据恢复完成计数器的值设置阈值T2(将在下面描述阈值T2的设置方法)。

在之后的步骤202处，参考输出状态管理表700以根据当值被最后储存在对应于对其请求减少的数据的字段704中时的最后输出时间和当前的时间之间的差来计算流逝的时间段。然后，确定流逝的时间段是否小于阈值T2。

作为在步骤202处的确定的结果，如果确定流逝的时间段不小于阈值T2(步骤202处的否)，处理继续到步骤207，并且用于对其请求减少的数据的恢复计数器被清除到零。

同时，如果确定流逝的时间段小于阈值T2(步骤202处的是)，处理继续到步骤203，并且用于对其请求减少的数据的恢复计数器增加一。然后，在之后的步骤204处，确定的是恢复计数器的值是否达到阈值N。

作为在步骤204处确定的结果，如果确定恢复计数器的值没有达到阈值N，处理再次返回到步骤201，并且设置用于下一选择的数据的第二阈值T2。

如果确定恢复计数器的值达到阈值N(步骤204处的是)，对应于恢复计数器的选择的数据的代码量减少请求撤回通知被发送到中继装置30(步骤205)。然后，恢复完成计数器增加1(步骤206)。

当在对其请求减少的所有数据上执行以上第二循环处理(步骤200)时，第一循环处理(步骤100)将在下一合适的时间再次开始，并且上述过程将在之后重复。

现在将描述在之后步骤201处设置的阈值T2。如从上述描述中明显的是，在本实施例中，每一次代码量减少请求撤回通知被发送到用于特定选择的数据的中继装置30，增加用于选择的数据的恢复完成计数器。在优选实施例中，适当阈值函数被定义为使得随着恢复完成计数器的值变大而输出较小的值。这是防止由于重复地并且交替地发送代码量减少请求和代码量减少请求撤回通知而产生的不稳定的控制。然后在步骤201处，通过使用预定的阈值函数动态地设置阈值T2。在本实施例中，例如，

可以采用由以下公式(1)指示的阈值函数。

T2＝T2_init-[(T2_init-T2_min)/N]×Recovery completion counter value (1)

在以上公式(1)中，T2int指示初始值，T2min指示对应于输出信号的数据从发送源发送期间的实际间隔，并且N指示恢复完成次序的限制值。在该示例中，T2int需要是足够小于阈值T1的值，并且是大于T2min的值。值T2int可以是用于音频数据和图像数据两者的共同的值，或者特定的值可以被定义以用于每种类型的数据(音频或图像)。

如从上述描述中明显的是，在本实施例中，紧接在检测到输出延迟的标志之后(S101、S102和S103)，代码量改变请求单元12将选择的数据的代码量减少请求发送到中继装置。另一方面，在稳定的操作方面，在选择的数据的稳定输出已经继续预定的时间或者更多之后，执行代码量减少请求的取回(换句话说，代码量减少请求不会被撤回，直到第二循环处理中的步骤203已经重复了N次)。因此，优选的是，对于被参照以在步骤204处确定的阈值N，根据稳定的操作的对象来定义合适的值。此外，在之前的解释中，阈值T2已经被适当地优化。但是，阈值T2也可以是固定的值，并且在该情况中，可以经验性地获得根据稳定的操作的目标的适当的值(足够小于阈值T1并且大于T2min的值)。

在以上所述的图17中，已经解释了常规地执行第一循环处理(步骤100)的方法。替代于使用该方法，第一循环处理(步骤100)还可以在当高优先级数据(呈现用于视频以及用于音频的扬声器输出)被输出给用户时的时间处执行。例如，在第一循环处理(步骤100)中，可以对接收的具有高优先级的输出数据(被称为数据A)执行步骤S101到步骤S104的处理。在对上述数据A执行在第一循环处理之后，数据A的最后输出时间被更新到当前的值，并且处理继续到第二循环处理。

此外，在图17中的第二循环处理(步骤S200)中，在每次对其请求减少的数据被输出时执行步骤S201到步骤S207。例如，步骤S201到步骤S206可以在输出对其请求减少的数据B的处理上执行，并且在执行步骤S206或步骤S207处的处理之后，数据B的最后输出时间被更新到当前值。

在第一循环处理的示例中，在仅在常规的间隔处进行检查的情况中存在检测可能失败“当数据稍微在阈值之后输出”的可能性。因此，如上所述，每次监控的数据如上所述地输出时，与常规检查相同的处理在更新最后输出时间“之前”执行。以此方式，例如，当检测到“恶化状态的标志”——诸如需要四秒中输出数据而不是用于确定断电的阈值的三秒中时，可以操作控制。类似地，在第二循环处理中，能够确保在常规间隔处进行的以上处理的时间处将不会省略要求的处理。

如上所述，根据本发明，可能的是不管输出延迟的原因，维持由用户要求的信息的稳定输出。

上述实施例的功能可以由以例如C、C++、C#、Java(注册商标)编写的装置可执行的程序实现。本实施例的将被分布或者经由通信网络以可能的形式通过其他设备发送的计算机程序可以储存装置-可读取的记录介质中——诸如硬盘装置、CD-ROM、磁光盘(MO)、数字多功能盘(DVD)、软盘、电可擦除可编程只读存储器(EEPROM)和可擦除可编程存储器(EPROM)。

尽管已经基于电话会议***的实施例在上面描述了本发明，但本发明不限于以上实施例。本发明可以应用到任何数据发送***而不管使用，只要***可以经由通信网络在终端装置之间同时地发送内容数据。在该情况中，根据使用终端装置可以是智能电话、通用个人计算机(PC)、平板终端、移动电话、电子白板、诸如投影仪的投影装置和安装在汽车上的汽车导航终端。还应理解的是，本发明落入本发明的范围中，只要其展现在实施例的范围中的本发明的动作和效益可以被本领域技术人员容易地推导。

参考符号列表

1 电话会议***

10 终端装置

12 代码量改变请求单元

13 代码量改变单元

14 最后输出时间更新单元

15 发送和接收单元

17 通信速度测量单元

18 CPU使用率测量单元

30 中继装置

32 中继控制单元

34 减少请求历史管理单元

50 发送管理装置

51 发送和接收单元

52 终端认证单元

53 终端管理单元

54 提取单元

56 终端状态确认单元

57 目的地列表管理单元

58 储存装置

59 储存/读取处理单元

80 网络

101 CPU

102 ROM

103 RAM

104 闪速存储器

105 SSD

106 记录介质

107 介质驱动

108 操作按钮

109 电源开关

110 总线

112 相机

114 麦克风

115 扬声器

119 外部装置连接I/F

120 显示器

120c 缆线

201 CPU

202 ROM

203 RAM

205 HDD

206 记录介质

207 介质驱动

208 显示器

210 总线

211 键盘

212 鼠标

213 CD-ROM

214 CD-ROM驱动

500 终端认证管理表

502 终端管理表

504 目的地列表管理表

600 减少请求历史管理表

602、604、606 字段

700 输出状态管理表

702、704、706 字段

1100 外壳

1110 前侧壁表面

1120 后侧壁表面

1121 排气表面

1120 后侧壁表面

1121 排气表面

1130 右侧壁表面

1131 声音收集孔

1140 左侧壁表面

1150 操作面板

1151 声音输出表面

1160 容纳单元

1200 臂

1210 扭矩铰链

1300 相机外罩

1310 扭矩铰链

引用列表

专利文献

[专利文献1]日本专利号5000141

Claims (13)

1.一种数据发送***，包括：

多个终端装置，其连接到通信网络并且在所述终端装置之中发送或接收内容数据，其中

接收所述内容数据的至少一个所述终端装置包括

代码量改变请求单元，基于对应于预定内容数据的输出信号的输出时间间隔，在指定所述预定内容数据的发送源作为目的地的同时、发送代码量减少请求以请求减少所述预定内容数据的代码量，以及

代码量改变单元，响应于从另一终端装置发送的代码量减少请求，减少相应的内容数据的代码量。

2.根据权利要求1所述的数据发送***，其中当对应于所述预定内容数据的输出信号的所述输出时间间隔超过第一阈值时，所述代码量改变请求单元发送针对所述预定内容数据的代码量减少请求。

3.根据权利要求1或2所述的数据发送***，还包括布置在所述通信网络中的中继装置以中继在至少两个终端装置之间发送或接收的数据。

4.根据权利要求3所述的数据发送***，其中

当所述内容数据的输出时间间隔少于小于所述第一阈值的第二阈值时，所述代码量改变请求单元向所述中继装置发送代码量减少请求撤回通知，以在指定所述预定内容数据的发送源作为目的地的同时、撤回针对所述预定内容数据的所述代码量减少请求，并且

响应于从所述其它终端装置发送的代码量减少请求撤回通知，所述代码量改变单元将所述相应的内容数据的代码量恢复到被减少之前的状态。

5.根据权利要求4所述的数据发送***，其中所述代码量改变请求单元在如下状态持续预定的时间段或者更长之后发送所述代码量减少请求撤回通知，在该状态中所述预定内容数据的输出时间间隔小于所述第二阈值。

6.根据权利要求4所述的数据发送***，其中

所述中继装置

包括减少请求历史管理单元，其对每个内容数据保持从所述终端装置的每一个发送的所述代码量减少请求的请求历史，并且响应于针对所述内容数据的所述代码量减少请求撤回通知，删除作为通知源的所述终端装置的所述请求历史，以及

当针对所述内容数据的所有请求历史已经被删除之后，将所述内容数据的代码量减少请求撤回通知发送到所述内容数据的发送源。

7.根据权利要求1所述的数据发送***，其中

所述代码量改变请求单元在当对应于所述预定内容数据的输出信号的所述输出时间间隔超过第一阈值的时刻，基于网络通信速度和CPU使用率估测输出延迟的原因，并且发送包括估测的原因的所述预定内容数据的代码量减少请求，以及

所述代码量改变单元通过根据在代码量减少请求中包括的原因的方法减少所述内容数据的代码量。

8.根据权利要求7所述的数据发送***，其中

所述代码量改变请求单元估测发送延迟和内部处理延迟中的至少一个作为所述原因，并且

当所述原因是发送延迟时，所述代码量改变单元执行增加所述相应的内容数据的压缩率的处理，并且

当所述原因是内部处理延迟时，所述代码量改变单元执行减少用于音频数据的采样率的处理，或者执行减少用于图像数据的分辨率的处理。

9.一种经由通信网络与另一终端装置发送或接收内容数据的终端装置，所述终端装置包括：

代码量改变请求单元，基于对应于预定内容数据的输出信号的输出时间间隔，在指定所述预定内容数据的发送源作为目的地的同时、发送代码量减少请求以请求减少所述预定内容数据的代码量，以及

代码量改变单元，响应于从所述另一终端装置发送的代码量减少请求，减少相应的内容数据的代码量。

10.一种可由用于控制经由通信网络与另一终端装置发送或接收内容数据的终端装置的计算机执行的程序，所述计算机程序使得所述计算机执行：

代码量改变请求步骤，基于对应于预定内容数据的输出信号的输出时间间隔，在指定所述预定内容数据的发送源作为目的地的同时、发送代码量减少请求以请求减少所述预定内容数据的代码量，以及

代码量改变步骤，响应于从另一终端装置发送的代码量减少请求，减少相应的内容数据的代码量。

11.一种用于在第一终端装置和第二终端装置之间经由通信网络发送或接收内容数据的方法，所述方法包括：

第一处理，通过所述第一终端装置，基于对应于预定内容数据的输出信号的输出时间间隔，将请求减少所述预定内容数据的代码量的代码量减少请求发送到作为所述预定内容数据的发送源的第二终端装置，以及

第二处理，通过第二终端装置响应于所述代码量减少请求而减少相应的内容数据的所述代码量。

12.根据权利要求11所述的方法，其中所述第一处理包括当对应于所述预定内容数据的输出信号的所述输出时间间隔超过第一阈值时、发送针对所述预定内容数据的代码量减少请求的处理。

13.根据权利要求12所述的方法，还包括

一处理，当在所述第一处理之后所述内容数据的输出时间间隔少于小于所述第一阈值的第二阈值时，通过所述第一终端装置，将撤回针对所述预定内容数据的所述代码量减少请求的代码量减少请求撤回通知发送到第二终端装置，以及

一处理，响应于所述代码量减少请求撤回通知，通过所述第二终端装置将所述相应的内容数据的代码量恢复到被减少之前的状态。