CN105324989A - 传输终端、程序、图像显示方法和传输*** - Google Patents
传输终端、程序、图像显示方法和传输*** Download PDFInfo
- Publication number
- CN105324989A CN105324989A CN201480035465.9A CN201480035465A CN105324989A CN 105324989 A CN105324989 A CN 105324989A CN 201480035465 A CN201480035465 A CN 201480035465A CN 105324989 A CN105324989 A CN 105324989A
- Authority
- CN
- China
- Prior art keywords
- data
- transmission terminal
- show
- transmission
- end message
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
- H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
- H04L12/1827—Network arrangements for conference optimisation or adaptation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0464—Positioning
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/14—Solving problems related to the presentation of information to be displayed
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2350/00—Solving problems of bandwidth in display systems
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
- Information Transfer Between Computers (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
一种传输终端,经由网络与另一传输终端通信地连接。所述传输终端包括:接收部分,从外部接收要显示的数据,用于显示在与所述传输终端连接的显示部分上;终端信息获取部分,从先前与另一传输终端相关联的信息存储区获取该另一传输终端的终端信息,该另一传输终端发送由所述接收部分接收的所述要显示的数据;以及图像显示控制部分,以取决于由所述接收部分接收的所述要显示的数据的类型的方式,将由所述接收部分接收的所述要显示的数据和由所述终端信息获取部分获取的终端信息以彼此相关联的方式显示在所述显示部分上。
Description
技术领域
本发明涉及经由通信网络与另一传输终端通信连接的传输终端等。
背景技术
对于经由诸如因特网的网络在远程地点之间的视频会议,已经广泛应用传输***。在这种传输***中,在多个传输终端之间发送和接收图像数据和声音数据,且可以实现视频会议。另外,由于近来宽带环境的改善,可以实现具有高图像质量的图像数据和具有高声音质量的声音数据的发送和接收。由此,更容易掌握视频会议的另一参与者的状态,且能够改善使用对话的通信的充实度(fulfilment)。
在传输终端的显示设备上,显示从拍摄会议的另一参与者的图像获得的图像数据。但是,传输终端的用户不那么容易确定从会议的那些参与者之中的哪个参与者发送了显示的图像数据。因此,传输源的传输终端的名称等被添加到显示的图像数据(例如,见专利文献No.1)。专利文献No.1公开了一种视频会议***,其中,当以多个图像的形式显示从多个视频会议终端传送的图像时,在图像区域的部分处显示视频会议终端的对应信息。
但是,在根据专利文献No.1的视频会议***中,每个视频会议终端的名称与图像重叠,且可能在显示设备上难以看见图像。
发明内容
根据本发明的一个方面,经由网络与另一传输终端通信地连接的传输终端包括:接收部分,从外部接收用于显示在与传输终端连接的显示部分上的要显示的数据(“图像数据”或“显示数据”,稍后描述);终端信息获取部分,从先前与发送由接收部分接收的所述要显示的数据的另一传输终端相关联的信息存储区获取该另一传输终端的终端信息;以及图像显示控制部分,以取决于由接收部分接收的要显示的数据的类型的方式、将由接收部分接收的要显示的数据和由终端信息获取部分获取的终端信息以彼此相关的方式显示在显示部分上。
当结合附图阅读时,本发明的其他目标、特征和优点将从以下详细描述变得更明显。
附图说明
图1一般地例示根据本发明的一个实施例的传输***的整体;
图2是在根据本实施例的传输***中包括的传输终端的硬件配置图的一个例子;
图3是在根据本实施例的传输***中包括的传输管理***的硬件配置图的一个例子;
图4是在根据本实施例的传输***中包括的传输终端、中继装置和传输管理***的功能方框图的一个例子;
图5A、5B和5C例示图像数据的图像质量;
图6示出改变质量管理表的一个例子;
图7示出中继装置管理表的一个例子;
图8示出终端验证管理表的一个例子;
图9示出终端管理表的一个例子;
图10示出目的地列表管理表的一个例子;
图11示出会话管理表的一个例子;
图12示出质量管理表的一个例子;
图13A和13B示出站点名称管理表的例子;
图14示出布置信息管理表的一个例子;
图15示出会议图像管理表的一个例子;
图16示出外部输入装置的一个例子的功能方框图;
图17是示出管理从各个中继装置发送到传输管理***的指示各个中继装置的操作状态的状态信息的处理的一个例子的序列图;
图18是用于开始在各个传输终端之间的通信的准备阶段的处理的一个例子的序列图;
图19是由传输终端建立会话的处理的一个例子的序列图;
图20是使得由外部输入装置显示的显示数据被显示在会议的另一参与者的传输终端上的处理的一个例子的序列图;
图21例示在外部输入装置40aa和40db的显示设备216aa和216db上以及在传输***的整体中的显示设备120aa和120dbd上显示的屏幕页的一个例子;
图22A、22B和22C示出由外部输入装置等显示的桌面屏幕页的一个例子;
图23A、23B和23C示出各个显示屏幕页的布局的例子;
图24是示出由布置信息管理表更新部分创建布置信息管理表的过程的序列图的一个例子;
图25示意性地例示合成站点名称的一个例子;
图26A和26B示出在每个终端的显示设备上显示的屏幕页的例子;
图27A和27B示出其中单独地显示站点名称和图像数据的屏幕页的例子;
图28A和28B示出在每个传输终端的显示设备上显示的显示屏幕页的例子;
图29A和29B示出其中从显示数据移除站点名称的显示屏幕页的例子;
图30是示出由图像显示控制部分显示屏幕页的过程的流程图的一个例子;
图31A和31B例示确定给定数据是否是显示数据或图像数据的一个例子;
图32A、32B和32C示出以显示数据共享模式显示站点名称的例子;
图33是示出由图像显示控制部分显示显示屏幕页的过程的流程图的一个例子;
图34A、34B和34C是以显示数据共享模式显示站点名称的例子;
图35是示出由图像显示控制部分显示显示屏幕页的过程的流程图的一个例子;
图36A和36B示意性地例示其中用户使得显示或不显示站点名称的例子;
图37是示出由图像显示控制部分显示显示屏幕页的过程的流程图的一个例子;
图38示出用于其中传输终端被应用于车辆导航装置的情况的***配置的一个例子;以及
图39示出车辆导航装置的配置的一个例子。
具体实施方式
现在将使用附图描述本发明的实施例。但是,本发明的范围不限于这些实施例。
注意,本发明的实施例的一个目的是提供一种传输终端,其中能够避免显示的信息干扰用户看见由传输终端显示的图像的能力。
图1一般地例示根据本发明的一个实施例的传输***的整体。以下,将使用图1描述该实施例。
一般来说,传输***可以是数据供应***,在该数据供应***中经由传输管理***单方地从一个传输终端发送内容数据到另一传输终端,且还可以是通信***,在该通信***中,经由传输管理***在多个传输终端之间传输信息、感受等。该通信***是用于经由通信管理***(对应于“传输管理***”)在多个通信终端之间互相发送信息、感受等的***。通信***可以是例如电视或视频会议***、电视电话***、语音会议***、语音电话***、个人计算机(PC)屏幕共享***等。
关于本实施例,现在将假设电视或视频会议***是通信***的一个例子,电视或视频会议管理***是通信管理***的一个例子,且电视或视频会议终端是通信终端的一个例子,来描述传输***、传输管理***和传输终端。换句话说,根据本实施例的传输终端和传输管理***不仅可以应用于电视或视频会议***而且可以应用于通信***或传输***。
根据本实施例的传输***1包括:多个传输终端10aa,10ab,10ba,10bb,10ca,10cb,10da和10db;用于各个传输终端的多个显示设备120aa,120ab,120ba,120bb,120ca,120cb,120da和120db;外部输入装置40aa,40ab,40ba,40bb,40ca,40cb,40da和40db,比如与各个传输终端连接的PC;多个中继装置30a,30b,30c和30d;传输管理***50;程序供应***90和维护***100。
注意,在以下描述中,除非另外指出,多个传输终端10aa,...和10db的任何传输终端将被称为“传输终端10”。类似地,多个显示设备120aa,...和120db的任何显示设备将被称为“显示设备120”。类似地,多个外部输入装置40aa,...和40db的任何外部输入装置将被称为“外部输入装置40”。类似地,中继装置30a,...和30d的任何中继装置将被称为“中继装置30”。另外,“显示设备120”意味着传输终端10的显示设备的一个例子。注意,在图1中,传输终端10和显示设备120是分离的主体。但是,传输终端10和显示设备120可以是单个主体。换句话说,传输终端10可以在内部包括显示设备120。另外,在传输终端10和显示设备120是单个主体的情况中,传输终端10可以具有投影仪的功能,因此,可以通过投影视频图像而具有与显示设备120等同的功能。
传输终端10被配置为向和从另一传输终端10发送和接收图像数据、声音数据等。根据本实施例,将假设图像数据是运动图像的数据来描述。但是,在实施例中处理的图像数据不仅可以是运动图像的数据,而且可以是静止画面的数据。另外,在实施例中处理的图像数据的图像(画面)可以同时包括运动画面和静止画面。
中继装置30被配置为在各个传输终端10之间中继图像数据和声音数据。传输管理***50统一地(unitarily)管理多个传输终端10和多个中继装置30。
外部输入装置40与传输终端10连接,且被配置为将指示在外部输入装置40的显示设备(即,显示设备216,稍后描述)上显示的图像的显示数据发送到传输终端10。显示数据和图像数据中的至少一个是“要显示的数据”的一个例子。
另外,在图1中示出的多个路由器70a,70b,70c,70d,70e和70f被用于选择用于发送或接收图像数据和声音数据的最佳路径。下文中,除非另外指出,多个路由器70a,...和70f的任何路由器将被称为“路由器70”。另外,程序供应***90包括硬盘(HD)(未示出)。HD存储:用于实现传输终端10的各种功能或各种部分的、用于传输终端的程序;用于实现中继装置30的各种功能或各种部分的、用于中继装置的程序;和用于实现传输管理***50的各种功能或各种部分的、用于传输管理的程序。程序供应***90被配置为分别向传输终端10、中继装置30和传输管理***50发送在HD中存储的用于传输终端的程序、用于中继装置的程序和用于传输管理的程序。
另外,传输终端10aa和10ab、中继装置30a和路由器70a经由局域网(LAN)2a通信地连接。传输终端10ba和传输终端10bb、中继装置30b和路由器70b经由LAN2b通信地连接。LAN2a和LAN2b经由包括路由器70c的专用线2ab通信地连接,且被建立于预定区域A中。例如,区域A是日本,LAN2a建立于东京的办公室中,且LAN2b建立于大阪的办公室中。
另一方面,传输终端10ca和10cb、中继装置30c和路由器70d经由LAN2c通信地连接。传输终端10da和10db、中继装置30d和路由器70e经由LAN2d通信地连接。LAN2c和LAN2d经由包括路由器70f的专用线2cd通信地连接,且建立于预定区域B中。例如,区域B是USA,LAN2c建立于纽约的办公室中,且LAN2d建立于华盛顿DC的办公室。区域A和区域B经由因特网2i分别通过路由器70c和70f通信地连接。
另外,传输管理***50、程序供应***90和维护***100经由因特网2i与传输终端10和中继装置30通信地连接。传输管理***50、程序供应***90和维护***100可以被安装在区域A或区域B中,或可以被安装在另一区域或多个区域中。
根据本实施例,LAN2a、LAN2b、专用线2ab、因特网2i、专用线2cd、LAN2c和LAN2d用于构造通信网络2。
另外,在图1中,在传输终端10、中继装置30、传输管理***50、路由器70、程序供应***90和维护***100的每个下方示出的四个数字(括号内)仅表示根据公共因特网协议版本4(IPv4)的IP地址。例如,传输终端10aa的IP地址是“1.2.1.3”。还能够使用IPv6来代替IPv4。但是,为了简化描述,将假设使用IPv4来进行描述。
<<实施例的硬件配置>>
接下来,将描述本实施例的硬件配置。
图2是在根据本实施例的传输***中包括的传输终端10的硬件配置图的一个例子。如图2示出,传输终端10包括中央处理单元(CPU)101,其控制传输终端10的整体;只读存储器(ROM)102,存储用于传输终端的程序;随机存取存储器(RAM)103,用作CPU101的工作区;快闪存储器104,存储诸如图像数据和声音数据的各种数据;固态盘(SSD)105,在CPU101的控制下控制从和向快闪存储器104读取和写入各种数据;介质驱动器107,控制从和向诸如快闪存储器的记录介质106读取和写入(存储)数据;操作按钮108,由用户操作以选择传输终端10的目的地等;电源开关109用于接通传输终端10;网络I/F111,用于通过稍后描述的通信网络2发送数据;摄像机112,在CPU101的控制下拍摄对象的图像并获取图像数据;图像传感器I/F113,控制摄像机112的驱动;用于输入声音的麦克风;用于输出声音的扬声器;声音输入和输出I/F116,其在CPU101的控制下处理从用麦克风114输入声音信号和向扬声器115输出声音信号;显示器I/F117,用于在CPU101的控制下发送图像数据到外部显示设备120;外部装置I/F118,向和从外部装置发送和接收各种数据;警报灯119,用于示出关于传输终端10的各种功能的故障;以及诸如地址线、数据总线等的总线110,用于互相电连接传输终端10的上述部分。
注意,记录介质106可拆卸地被安置(mount)在传输终端10中。另外,只要是用于在CPU101的控制下读取和写入数据的非易失性存储器,快闪存储器104就可以被电可擦除和可编程ROM(EEPROM)等替换。另外,摄像机112包括固态成像设备,其将光转换为电荷,且生成对象(视频)图像的电子数据,比如电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)器件等。取代SSD105或除了SSD105以外,还能够使用硬盘(HDD)。
另外,显示设备120包括用于显示对象的图像、用于操作的图标等的液晶设备、有机电致发光(EL)设备等。
另外,用于传输终端的程序可以是可安装或可执行类型的文件,且可以以被记录在诸如记录介质106的计算机可读取信息记录介质中的形式来传播。
注意,摄像机112、麦克风114和扬声器115不是一定是内置类型的那些,且可以是外部地安置类型的那些。另外,传输终端10可以被提供为专用装置或PC、智能电话、平板机、个人数据助理(PDA)等。
图3是在根据本实施例的传输***1中包括的传输管理***50的硬件配置图的一个例子。传输管理***50包括:控制传输管理***50的整体的CPU201;存储用于传输管理的程序的ROM202;用作CPU201的工作区的RAM203;存储各种数据的HD204;在CPU201的控制下控制从和向HD204读取和写入各种数据的HDD205;介质驱动器207,控制从和向诸如快闪存储器的记录介质206读取和写入(存储)数据;显示I/F208,用于在显示设备216上显示诸如光标、菜单、窗口、字符/字母、图像等的各种信息;网络I/F209,用于使用稍后描述的通信网络2发送数据;键盘211,包括用于输入字符/字母、数字、各种指令等的多个键;鼠标212,用于各种指令的选择或执行、要处理的目标的选择、光标的移动等;CD-ROM驱动器214,控制从和向作为可拆卸记录介质的一个例子的紧致盘只读存储器(CD-ROM)213读取和写入数据;外部装置I/F215,用于向和从外部装置发送和接收信息;以及用于互相电连接上述部分的总线,诸如地址线、数据总线等。
另外,用于传输管理的程序可以是可安装或可执行类型之一,且可以以被记录在诸如记录介质206或CD-ROM213的计算机可读取记录介质中的形式来传播。用于传输管理的程序可以被存储在HD204中。
另外,外部输入装置40具有与使用图3在以上描述的传输管理***50相同或类似的硬件配置。因此,将省略重复描述。但是,在ROM202中,存储用于控制外部输入装置40的用于外部输入装置的程序。还在该情况下,用于外部输入装置的程序可以是可安装或可执行类型之一,且可以以被记录在诸如记录介质206或CD-ROM213的计算机可读取记录介质中的形式来传播。
另外,中继装置30具有与使用图3在以上描述的传输管理***50相同或类似的硬件配置。因此,将省略重复描述。但是,在ROM202中,存储用于控制中继装置30的用于中继装置的程序。还在该情况下,用于中继装置的程序可以是可安装或可执行类型之一,且可以以被记录在诸如记录介质206或CD-ROM213的计算机可读取记录介质中的形式来传播。
另外,程序提供装置90具有与使用图3在以上描述的传输管理***50相同或类似的硬件配置。因此,将省略重复描述。但是,在ROM202中,存储用于控制程序提供装置90的用于程序提供装置的程序。还在该情况下,用于程序提供装置的程序可以是可安装或可执行类型之一,且可以以被记录在诸如记录介质206或CD-ROM213的计算机可读取记录介质中的形式来传播。注意,还可能的是,用于程序供应***的程序被存储在HD204中而非ROM202中。
另外,维护***100具有与使用图3在以上描述的传输管理***50相同或类似的硬件配置。因此,将省略重复描述。维护***10是用于管理或维护传输终端10、中继装置30、传输管理***50和程序供应***90的至少一个的计算机。例如,当维护***100被安装在自己国家中而传输终端10、中继装置30、传输管理***50或程序供应***90被安装在外国中时,维护***100经由通信网络2远程地管理或维护传输终端10、中继装置30、传输管理***50和程序供应***90的至少一个。
另外,还可能的是,不使用通信网络2,维护***100进行传输终端10、中继装置30、传输管理***50和程序供应***90的至少一个的维护,比如类型号、序列号、销售目的地、测试和维护或故障历史的管理。
注意,作为上述可拆卸记录介质的另一形式,还能够在诸如紧致盘可记录(CD-R)、数字通用盘(DVD)、蓝光盘等的计算机可读记录介质(媒介)中存储和提供程序。
<<实施例的功能配置>>
接下来,将使用图4到16描述本实施例的功能配置。图4是在根据本实施例的传输***1中包括的传输终端10、中继装置30和传输管理***50的功能方框图的一个例子。在图4示出的例子中,传输终端10、中继装置30和传输管理***50经由通信网络2以可以在其之间进行数据通信的方式来连接。另外,外部输入装置40与传输终端10以可以在其之间发送和接收数据的方式而连接。注意,图1中示出的程序供应***90和维护***100不直接与到视频会议中的通信相关。因此,图4中省略了程序供应***90和维护***100。
注意,图5A、5B和5C例示图像数据的图像质量。图6示出改变质量管理表的一个例子。图7示出中继装置管理表的一个例子。图8示出终端验证管理表的一个例子。图9示出终端管理表的一个例子。图10示出目的地列表管理表的一个例子。图11示出会话管理表的一个例子。图12示出质量管理表的一个例子。图13A和13B示出站点(base)名称管理表的例子。图14示出布置信息管理表的一个例子。图15示出会议图像管理表的一个例子。图16示出外部输入装置40的一个例子的功能方框图。
<传输终端的功能配置>
如图4中示出的,传输终端10包括发送和接收部分11、操作输入接收部分12、登录请求部分13、成像部分14a、图像显示控制部分14b、显示图像获取部分14c、声音输入部分15a、声音输出部分15b、显示图像确定部分17、站点名称获取部分21、布置信息管理表更新部分22、站点名称综合部分23、数据类型确定部分24、接收的图像数量确定部分25、外部信息发送和接收部分18以及存储和读取处理部分19。这些各个功能部分是由于根据由CPU101根据ROM102中存储的程序而提供的指令而操作的图2中示出的任何元件来实现的功能或部分。另外,传输终端10具有由图2中示出的SSD105提供的存储部分1000。
<<布置信息管理表>>
在存储部分1000中,存储了诸如图14中示出的布置信息管理表1452。布置信息管理表是用于将每个传输终端10的显示设备120中的各个区域与终端ID、传输数据ID和站点名称相关联的表。图像数据或显示数据的布置由布置信息管理表和以下描述的布局来确定。在“区域”字段中,登记区域的标识信息。在“传输数据ID”字段中,登记了由中继装置40发送的数据的标识信息、包括数据是图像数据还是显示数据。在“终端ID”字段中,登记了发送图像数据或显示数据的传输终端40的终端ID。在“站点名称”字段中,登记了在站点名称管理表中的终端ID与之相关的站点名称。
当开始会议时创建布置信息管理表,然后,当在显示设备120上的显示屏幕页的布局改变(即,被分配到显示设备120上的区域的图像数据或显示数据改变、传输终端10新参与会议、传输终端10从会议退出登录、等等)时,该布置信息管理表被更新。
<<传输终端的各个功能部分>>
接下来,将详细描述传输终端10的各个功能部分。传输终端10的发送和接收部分11由图2中示出的网络I/F111实现,并向和从另一传输终端10、中继装置30和传输管理***50发送和接收各种数据。操作输入接收部分12由在图2中示出的操作按钮108和电源开关109实现,并接收由用户进行的各种输入。例如,当用户接通传输终端10的电源开关时,操作输入接收部分12接收通电操作并实际接通电源。
登录请求部分13由在图2中示出的CPU101提供的指令来实现,并响应于通电操作的接收而经由通信网络2从发送和接收部分11向传输管理***50自动发送指示请求登录和当前时间的传输终端10的IP地址的登录请求信息。
成像部分14a由在图2中示出的摄像机112和图像传感器I/F113实现,并生成指示对象的拍摄图像的图像数据。图像显示控制部分14b由在图2中示出的显示器I/F117来实现,渲染图像数据并进行控制用于在显示设备120上显示由图像数据指示的图像。显示图像获取部分14c获取指示在显示设备120上显示的图像的图像数据。根据本实施例,指示由摄像机112拍摄的图像的数据被称为“图像数据”。另外,稍后详细描述的指示在外部输入装置40的显示设备216上显示的图像的数据被称为“显示数据”。注意,图像数据和显示数据是例如联合图像专家组(JPEG)、位图、图形设备界面(GDI)等的格式的数据。
声音输入部分15a由在图2中示出的麦克风114和声音输入和输出I/F116来实现,输入用户的语音并通过将语音转换为声音信号而输出关于声音信号的声音数据。声音输出部分15b由在图2中示出的扬声器115和声音输入和输出I/F116来实现,并通过将关于声音数据的声音信号转换为声音来输出声音。
外部信息发送和接收部分18经由在图2中示出的外部装置I/F118向和从外部输入装置40发送和接收数据。
存储和读取处理部分19由在图2中示出的SSD来实现,在存储部分1000中存储各种数据或从存储部分1000读取各种数据。
显示图像确定部分17根据稍后描述的布局确定要在显示设备120上显示的图像数据。在布局显示显示数据的情况下,显示图像确定部分17确定显示要在显示设备120上显示的显示数据和图像数据。另外,显示图像确定部分17确定哪个传输终端的图像数据或显示数据要被显示在由于根据布局的划分而获得的区域中。
站点名称获取部分21从传输管理***获取站点名称或站点名称管理表。站点名称管理表由用户先前登记在传输管理***中。
布置信息管理表更新部分22在启动传输终端10之后直到开始会议之前创建布置信息管理表。当布局被改变且需要更新布置信息管理表时,布置信息管理表更新部分22更新布置信息管理表。
数据类型确定部分24确定图像数据或显示数据是否被显示在显示设备120上。接收的图像数量确定部分25确定要在显示设备120上显示的图像数据或显示数据的组的数量。
站点名称综合部分23将要在区域中显示的各个组的图像数据或显示数据与从布置信息管理表读出的站点名称综合。换句话说,站点名称综合部分23将对其显示图像数据或显示数据的组的传输终端和传输终端的站点名称与区域相关联。
虽然未示出,存储部分1000存储用于标识传输终端10的终端标识(ID)和密码;用于标识发送图像数据,声音数据和/或各种数据的中继装置30的中继装置ID;目的地终端的IP地址等。另外,在存储部分1000中,存储用于外部输入装置的程序1451和布置信息管理表1452。
由于用于外部输入装置的程序1451被发送到外部输入装置40且被安装在外部输入装置40中,所以外部输入装置40具有以下描述的各个功能。对于细节,稍后将使用图16对于<外部输入装置的各个功能部分>进行描述。
另外,稍后将描述的根据本实施例的终端ID和中继装置ID意味着要被分别用于标识传输终端10和中继装置30的语言、字符/字母、标记、各种符号等。另外,终端ID和中继装置ID可以是从组合上述语言、字符/字母、标记和各种符号中的至少两个而获得的标识信息。下文中,作为请求开始视频会议的请求源的传输终端10将被称为“请求源终端”。类似地,作为请求目的地的传输终端10将被称为“目的地终端”。
<中继装置的功能配置>
接下来,将描述中继装置30的功能(部分)。中继装置30包括如在图4中示出的发送和接收部分31、状态检测部分32、数据质量***分33、改变质量管理部分34、数据质量改变部分35以及存储和读取处理部分39。这些各个功能部分是由于在图3中示出的各个元件中的任意元件根据由CPU201根据存储在ROM202中的程序提供的指令而操作来实现的功能或部分。另外,中继装置30具有由在图3中示出的ROM202、RAM203或HDD205的任意者提供的存储部分3000。
<<改变质量管理表>>
在存储部分3000中,提供改变质量管理DB3001,其包括诸如在图6中示出的改变质量管理表。在改变质量管理表中,以彼此相关联的方式管理作为各个组的图像数据的中继目的地的传输终端10的IP地址和中继装置30中继到中继目的地的各个组的图像数据的图像质量。
现在将描述由根据本实施例的传输***1处理的图像的分辨率。使用如在图5A中示出的具有在水平方向上160像素和在垂直方向上120像素的作为基本图像(baseimage)的低分辨率的图像;如在图5B中示出的具有在水平方向上320像素和在垂直方向上240像素的中等分辨率的图像;以及如在图5C中示出的具有在水平方向上640像素和在垂直方向上480像素的高分辨率的图像。在其之中,当使用窄频带时,中继仅包括作为基本图像的低分辨率的图像数据的低图像质量的图像数据。当使用相对宽的频带时,中继包括作为基本图像的低分辨率的图像数据以及中等分辨率的图像数据的中等图像质量的图像数据。当使用非常宽的频带时,中继包括作为基本图像的低分辨率的图像数据、中等分辨率的图像数据和高分辨率的图像数据的高图像质量的图像数据。根据在图6中示出的改变质量管理表,例如,当中继装置30中继用于具有IP地址“1.3.2.4”的目的地终端10db的图像数据时,中继具有“高质量”的图像质量(图像的质量)的图像数据。
<<会议图像管理表>>
在存储部分3000中,存储了会议图像管理DB3002,其包括诸如在图15中示出的会议图像管理表。如在图15中示出的,在会议图像管理表中,以彼此相关联的方式登记了终端ID和传输数据ID。在会议图像管理表中,在每个会议中登记由每个传输终端发送哪些图像数据或显示数据。根据会议图像管理表,能够确定由中继装置分发到每个传输终端的数据。例如,中继装置发送图像数据1到传输终端01aa,且中继装置发送显示数据4到传输终端01db。另外,从传输数据ID(即,“类型信息”的一个例子)确定发送的数据是图像数据还是显示数据。
<中继装置的各个功能部分>
接下来,将详细描述中继装置30的各个功能部分。注意,下文中,当将描述中继装置30的各个功能部分时,还将描述与要用于实现中继装置30的各个功能部分的在图3中示出的主元件的关系。
中继装置10中的发送和接收部分31由图3中示出的网络I/F209实现,并经由通信网络2向和从传输终端10、其他中继装置30和传输管理***50发送和接收各种数据。状态检测部分32由在图3中示出的CPU201提供的指令来实现,且检测具有该状态检测部分32的中继装置30的操作状态。操作状态可以是“在线”,“离线”,“忙碌”和“故障”的各个状态的任何一个。
数据质量***分33由在图3中示出的CPU201提供的指令来实现,通过使用目的地终端10的IP地址作为搜索关键字来搜索改变质量管理表,并通过因此提取对应于该IP地址的要中继的图像数据的图像质量来确定要中继的图像数据的图像质量。改变质量管理部分34由在图3中示出的CPU201提供的指令来实现,且基于由传输管理***50发送的质量信息(稍后描述),改变该改变质量管理DB3001的内容。例如,将假设如下状况,在经由通信网络2在具有终端ID“01aa”的请求源终端10aa和具有终端ID“01db”的目的地终端10db之间发送的和接收高图像质量的图像数据的同时进行视频会议期间,由于在经由通信网络2进行另一视频会议的请求源终端10bb和目的地终端10ca之间的该另一视频会议的开始,在目的地终端10db处接收图像数据时出现延迟。在该状况下,中继装置30需要将中继装置30已经在中继的图像数据的图像质量从高图像质量降低到中等图像质量。在这种情况中,基于指示中等图像质量的质量信息来改变该改变质量管理DB3001的内容,以便将中继装置30中继的图像数据的图像质量从高图像质量降低到中等图像质量。
数据质量改变部分35由在图3中示出的CPU201来实现,且基于因此改变的质量管理DB3001的内容,改变从请求源终端10发送的图像数据的图像质量。存储和读取处理部分39由在图3中示出的HDD205来实现,将各种数据存储到存储部分3000中并且从存储部分3000读取各种数据。
<传输管理***的功能配置>
接下来,将描述传输管理***50的功能(或部分)。如在图4中示出的,传输管理***50包括发送和接收部分51、终端验证部分52、状态管理部分53、终端提取部分54、终端状态获取部分55、会话管理部分57、质量确定部分58、存储和读取处理部分59以及延迟时间管理部分60。这些功能部分是由于根据由CPU201根据存储在ROM202中的程序提供的指令操作的、在图3中示出的各个元件的任意元件而实现的功能或部分。另外,传输管理***50包括由在图3中示出的ROM202,RAM203或HDD205构造的存储部分5000。
<<中继装置管理表>>
在存储部分5000中,提供中继装置管理DB5001,其包括诸如在图7中示出的中继装置管理表。在中继装置管理表中,对于各个中继装置30的中继装置ID,管理各个中继装置30的操作状态;当由传输管理***50接收到指示操作状态的各个组状态信息时的接收日期和时间;中继装置30的IP地址以及在中继装置30中的最高数据传输速率(Mbps)。例如,在在图7中示出的中继装置管理表中,示出了具有中继装置ID“111a”的中继装置30a具有操作状态“在线”、当传输管理***50接收到状态信息时的日期和时间是“2009年11月10日,13:00”、中继装置30a的IP地址是“1.2.1.2”且最高数据传输速率是100Mbps。
<<终端验证管理表>>
另外,在存储部分5000中,提供终端验证管理DB5002,其包括诸如在图8中示出的终端验证管理表。在终端验证管理表中,以与由传输管理***50管理的所有传输终端10的终端ID相关联的方式管理各个密码。例如,在图8中示出的终端验证管理表中,示出了传输终端10aa的终端ID是“01aa”,且其密码是“aaaa”。
<<终端管理表>>
另外,在存储部分5000中,提供终端管理DB5003,其包括诸如在图9中示出的终端管理表。在终端管理表中,以与各个传输终端10的终端ID相关联的方式管理传输终端10的操作状态;当由传输管理***50接收到稍后描述的各个组的登录请求信息时的接收日期和时间;以及传输终端10的IP地址。例如,在图9中示出的终端管理表中,示出了具有终端ID“01aa”的传输终端10aa具有操作状态“在线”,传输管理***50在“2009年11月10日,13:40”接收了登录请求信息且传输终端10aa的IP地址是“1.2.1.3”。
<<目的地列表管理表>>
另外,在存储部分5000中,提供目的地列表管理DB5004,其包括诸如在图10中示出的目的地列表管理表。在目的地列表管理表中,以与请求开始视频会议的每个请求源终端10的终端ID相关联的方式管理被登记为目的地终端10的候选者的目的地终端10的所有的终端ID。例如,在图10中示出的目的地列表管理表中,示出了请求源终端10aa可以请求开始视频会议的目的地终端10的候选者是三个,即,具有终端ID“01ab”的传输终端10ab、具有终端ID“01ba”的传输终端10ba和具有终端ID“01db”的传输终端10db。由于通过从对应请求源终端10发送到传输管理***50的用于添加或移除的请求而实现的新的候选者被添加或已有的候选者被移除,更新用于目的地终端10的这些候选者。
<<会话管理表>>
另外,在存储部分5000中,提供会话管理DB5005,其包括诸如在图11中示出的会话管理表。在会话管理表中,以与要用于执行用于选择中继装置30的会话的各个选择会话ID相关联的方式管理中继装置30的中继装置ID、请求源终端10的终端ID、目的地终端10的终端ID、延迟时间(ms)和接收日期和时间。“延迟时间(ms)”意味着当目的地终端10接收到图像数据时发生的接收中的延迟时间。“接收日期和时间”意味着当从目的地终端10发送的指示延迟时间的延迟信息由传输管理***50接收时的日期和时间。
例如,在图11中示出的会话管理表中,示出了在通过使用选择会话ID“se1”执行的会话中选择的中继装置30a(中继装置ID“111a”)在具有终端ID“01aa”的请求源终端10aa和具有终端ID“01db”的目的地终端10db之间中继图像数据和声音数据。另外,示出了在时间“2009年11月10日,14:00”时图像数据的延迟时间在目的地终端10db处是200(ms)。
注意,当在两个传输终端10之间进行视频会议时,还能够基于从请求源终端10而不是上述目的地终端10发送的延迟信息来管理延迟信息的“接收日期和时间”。但是,当在三个或更多传输终端10之间进行视频会议时,基于从接收图像数据和声音数据的传输终端10发送的延迟信息来管理延迟信息的“接收日期和时间”。
<<质量管理表>>
另外,在存储部分5000中,提供质量管理DB5007,其包括诸如在图12中示出的质量管理表。在质量管理表中,以与在请求源终端10或目的地终端10处的延迟时间(ms)相关联的方式来管理要由中继装置30中继的图像数据的图像质量(图像的质量)。
<<站点名称管理表>>
另外,在存储部分5000中,提供站点名称管理DB5008,其包括诸如在图13A和图13B中示出的站点名称管理表。如在图13A和13B中示出的,在每个站点名称管理表中,以与各个终端ID相关联的方式管理站点名称。站点名称管理表与终端ID一起从每个传输终端10到发送传输管理***。在站点名称管理DB中,以分别与传输源的传输终端10的终端ID相关联的方式管理站点名称管理表。还可能的是,通过由***管理员操作的PC在站点名称管理DB5008中登记站点名称管理表。
在每个站点名称管理表中,以与在目的地列表管理表中登记的各个传输终端的终端ID相关联的方式管理各个传输终端的站点名称。在传输管理***中登记目的地列表管理表。另外,可以更新目的地列表管理表。因此,优选地,传输管理***还具有站点名称管理表。
但是,还可能的是,站点名称不仅与在目的地列表管理表中登记的终端ID相关联,而且与任何其它终端ID相关联。在该情况下,还可能的是,传输终端具有站点名称管理表。
“站点名称”可以被自由地命名和设置。例如,用户操作传输终端的操作按钮108且输入要与每个终端ID相关联的站点名称。用户已经知道传输终端所放置的站点(与传输终端相关联的站点)。
为每个传输终端提供站点名称管理表,且该站点名称管理表是专用于传输终端的表。因此,关于相同的终端ID,可以在传输源的各个传输终端中登记不同的站点名称(其可以彼此相同)。例如,在具有终端ID“08aa”的传输源的传输终端(见图13A)中,“Ginza”被提供作为用于终端ID“01aa”的站点名称。与此相对,在具有终端ID“09aa”的传输源的传输终端(见图13B)中,“Ginza总部办公室”被提供作为用于相同终端ID“01aa”的站点名称。
另一方面,还可能的是,站点名称管理表由多个传输终端10共享,由多个传输终端以共享的方式读取单个站点名称管理表。
因为站点名称可以由用户自由地确定和设置,因此可能的是,在站点名称管理表中登记除了站点名称以外的信息。例如,可以在站点名称管理表中登记使用传输终端的用户或传输终端的管理员的全名和/或昵称、传输终端的用户属于的部门的名称,使用传输终端的用户或传输终端的管理员的诸如地址、联系人地址(电话号码、邮箱地址等)、年龄等的任何信息。注意,包括站点名称的这些类的信息是“终端信息”的例子。
注意,在图13A和13B中,未登记自己的站点的终端ID和站点名称。可以由用户选择是否登记自己的站点的终端ID和站点名称。当自己的站点的站点名称未登记时,传输终端可以在显示设备120上显示例如“自己的站点”或可以什么都不显示。
通过根据诸如UNICODE的字符码***的字符码来登记站点名称。因此,在显示设备120上显示哪种形状的字符/字母取决于传输终端具有的字体。可以不仅根据字符码而且通过使用诸如位图、GIF等的图像数据来登记站点名称。
<传输管理***的各个功能部分>
接下来,将描述传输管理***50的各个功能部分。注意,下文中,当描述传输管理***50的各个功能部分时,将描述与在图3中示出的各个元件之中的、用于实现传输管理***50的各个功能部分的主要元件的关系。
首先,发送和接收部分51由在图3中示出的网络I/F209来实现,且经由通信网络2向和从传输终端10、中继装置30或其它***(程序供应***90和维护***100)发送和接收各种数据。终端验证部分52使用在经由发送和接收部分51接收的登录请求信息中包括的终端ID和密码作为搜索关键字,且搜索存储部分5000的终端验证管理DB5002以通过确定终端验证管理DB5002是否管理相同的终端ID和密码来进行终端验证。状态管理部分53通过在终端管理表中将请求源终端10的终端ID、请求源终端10的操作状态和当传输管理***50接收到登录请求信息时的接收日期和时间与请求源终端10的IP地址以彼此相关联的方式而存储,来管理发送登录请求信息的请求源终端10的操作状态。
终端提取部分54使用发送登录请求信息的请求源终端10的终端ID作为关键字,搜索目的地列表管理表,且读出以提取对于可以与请求源终端10通信的目的地终端10的候选者的终端ID。另外,终端提取部分54使用发送登录请求信息的请求源终端10的终端ID作为关键字,搜索目的地列表管理表,且还提取登记上述的请求源终端10的终端ID作为目的地终端10的候选者的其它请求源终端10的终端ID。
终端状态获取部分55使用由终端提取部分54如此提取的用于目的地终端的候选者的终端ID作为搜索关键字,搜索终端管理表,且读取出对于由终端提取部分54提取的每个终端ID的操作状态。由此,终端状态获取部分55可以获取用于可以与发送登录请求信息的请求源终端通信的目的地终端的候选者的操作状态。另外,终端状态获取部分55使用发送登录请求信息的传输源终端10的终端ID作为搜索关键字,搜索终端管理表并且还获取发送登录请求信息的请求源终端10的操作状态。
会话管理部分57在存储部分5000的会话管理DB5005(在图11中示出的会话管理表)中将生成的选择会话ID、请求源终端的终端ID和目的地终端的终端ID以彼此相关联的方式存储和管理。另外,会话管理部分57在会话管理表中存储中继装置30的中继装置ID且管理它们。
质量确定部分58使用上述延迟时间作为搜索关键字,搜索质量管理表且提取对应的图像数据的图像质量以确定要由中继装置30中继的图像数据的图像质量。存储和读取处理部分59由在图3中示出的HDD205来实现,在存储部分5000中存储各种数据且从存储部分5000读取各种数据。延迟时间管理部分60使用上述目的地终端10的IP地址作为搜索关键字,搜索终端管理表以提取对应的终端ID。另外,延迟时间管理部分60在会话管理表中存储和管理由在包括如此提取的终端ID的记录上的延迟时间字段中的上述延迟信息指示的延迟时间。
<外部输入装置的功能配置>
图16示出外部输入装置的一个例子的功能方框图。如在图13中示出的,外部输入装置40包括发送和接收部分41、连接检测部分42、安装确定部分43a、程序获取部分43b、显示数据获取部分451、显示数据传输部分452、操作输入接收部分46、显示控制部分47、安置部分48以及存储和读取处理部分49。这些各个功能部分是由于根据由CPU201根据存储在ROM202中的程序提供的指令而操作的在图3中示出的各个元件中的任意元件而实现的功能或部分。另外,显示数据获取部分451和显示数据传输部分452由存储在传输终端10的存储部分1000中的用于的外部输入装置的程序1451被下载和安装而实现。另外,外部输入装置40具有由在图3中示出的ROM202、RAM203或HDD205提供的存储部分4000。另外,虽然在图中未具体示出,但是外部输入装置40具有诸如Windows(注册商标)、“Mac(注册商标)OS”、“Mac(注册商标)OSXLion”、“Mac(注册商标)OSX”、“OSX”等的操作***(OS),由此,外部输入装置40具有当与另一装置连接时执行程序的功能。
<外部输入装置的各个功能部分>
接下来,将详细描述外部输入装置40的各个功能部分。首先,发送和接收部分41由在图3中示出的外部装置I/F215来实现,且向和从传输终端10发送和接收各种数据(信息)。连接检测部分42检测使得能够通过使用在图3中示出的外部装置I/F215与传输终端10发送和接收各种数据。
安装确定部分43a确定用于外部输入装置的程序1451是否已经被安装在外部输入装置40中。当其还未安装时,程序获取部分43b经由发送和接收部分41从安置部分48安置的传输终端10的存储部分1000安装用于外部输入装置的程序1451。
操作输入接收部分46接收通过用户的操作而输入的信息。显示控制部分47在显示设备216上显示由稍后描述的存储和读取处理部分49读出的图像或菜单。安置部分48安置传输终端10的存储部分1000。由此,外部输入装置40可以安装用于外部输入装置的程序1451。
显示数据获取部分451获取指示在外部输入装置40的显示设备216上显示的图像的显示数据。显示数据传输部分452将由显示数据获取部分451获取的显示数据发送到传输终端10。
存储和读取处理部分49由在图3中示出的HDD205来实现,在存储部分4000中存储各种数据且从存储部分4000读取各种数据。
<<实施例中的处理和操作>>
接下来,将使用图17到21描述在根据本实施例的传输***1中进行的各种处理和操作。注意,图17是示出管理从各个中继装置30发送到传输管理***50的指示各个中继装置30的操作状态的状态信息的处理的一个例子的序列图。图18是用于开始在各个传输终端10之间的通信的准备阶段的处理的一个例子的序列图。图19是由传输终端10建立会话的处理的一个例子的序列图。图20是使得由外部输入装置显示的显示数据被显示在会议的另一参与者的传输终端10上的处理的一个例子的序列图。图21例示在外部输入装置40aa、40db的显示设备216aa、216db以及在传输***1的整体中的显示设备120aa、120dbd上显示的屏幕页的一个例子。
首先,使用图17,将描述管理从中继装置30发送到传输管理***50的、指示每个中继装置30的操作状态的状态信息的处理。首先,在每个中继装置30(30a到30d)中,状态检测部分32周期性地检测该中继装置30的操作状态(步骤S1-1到S1-4)。然后,为了传输管理***50以实时方式管理每个中继装置30的操作状态,在每个中继装置30中的发送和接收部分31周期性地经由通信网络2发送状态信息到传输管理***50(步骤S2-1到S2-4)。状态信息包括对应中继装置30的中继装置ID和由关于该中继装置ID的对应中继装置30的状态检测部分32检测的操作状态。注意,假设中继装置30a,30b和30d正常操作且具有“在线”的操作状态,而中继装置30c操作但因为在用于在其处进行中继操作的程序中出现某种问题而具有“离线”的操作状态。
接下来,在传输管理***50中,发送和接收部分51接收由各个中继装置30a到30d发送的各组状态信息,对于各个中继装置ID经由存储和读取处理部分59在存储部分5000的中继装置管理DB5001(在图7中示出的中继装置管理表)中存储它们,且管理它们(步骤S3-1到S3-4)。因此,在中继装置管理表中,对于每个中继装置ID存储“在线”、“离线”或“故障”中的任何一个的操作状态,且对其进行管理。此时,还对于每个中继装置ID存储当传输管理***50接收状态信息时的接收日期和时间,且对其进行管理。注意,当没有状态信息从中继装置30发送时,在中继装置管理表中在对应记录上的接收日期和时间的对应字段变为空,或先前的操作状态和接收日期和时间被保持和管理。
接下来,使用图18,将描述在准备开始在传输终端10aa和传输终端10db之间的通信的阶段的处理。首先,当用户接通电源开关109时,操作输入接收部分12接收通电操作并接通电源(步骤S21)。接下来,登录请求部分13响应于通电操作的接收,并自动地经由通信网络2从发送和接收部分11发送指示登录请求的登录请求信息到传输管理***50(步骤S22)。登录请求信息包括用于标识作为请求源的传输终端10aa本身的终端ID和密码。注意,经由存储和读取处理部分19从存储部分1000读出终端ID和密码,并将其发送到发送和接收部分11。注意,当从传输终端10aa发送登录请求信息到传输管理***50时,作为接收侧的传输管理***50可以获取作为传输侧的传输终端10aa的IP地址。
接下来,在传输管理***50中的终端验证部分52使用在经由发送和接收部分51接收的登录请求信息中包括的终端ID和密码作为搜索关键字,搜索存储部分5000的终端验证管理DB5002(在图8中示出的终端验证管理表)并确定终端验证管理DB5002是否管理相同的终端ID和密码,以进行终端验证(步骤S23)。当终端验证部分52确定相同的终端ID和密码被管理、且因此登录请求是来自具有授权的使用权限的传输终端10的登录请求时,状态管理部分53在终端管理DB5003(在图9中示出的终端管理表)中将传输终端10aa的终端ID、操作状态、当上述登录请求信息被接收时的接收日期和时间以及传输终端10aa的IP地址以彼此相关联的方式而存储(步骤S24)。因此,在终端管理表中,以与传输终端ID“01aa”相关联的方式管理操作状态“在线”、接收日期和时间“2009.11.10.13:40”和终端IP地址“1.2.1.3”。
接下来,在传输管理***50中的发送和接收部分51经由通信网络2发送指示由终端验证部分52获取的验证结果的验证结果信息到发送了该登录请求信息的请求源终端10aa(步骤S25)。现在将进一步继续描述根据本实施例的其中终端验证部分52因此确定传输终端具有授权的使用权限的情况。
在传输管理***50中的终端提取部分54使用发送登录请求信息的请求源终端10的终端ID“01aa”作为搜索关键字,搜索目的地列表管理表,且读出并提取可以与请求源终端10aa通信的目的地终端10的候选者的终端ID(步骤S26)。在此,对应于请求源终端10aa的终端ID“01aa”提取目的地终端10ab、10ba和10db的各个终端ID“01ab”、“01ba”和“01db”。
接下来,终端状态获取部分55使用由终端提取部分54提取的目的地终端10的候选者的这些终端ID(“01ab”、“01ba”和“01db”)作为搜索关键字,搜索终端管理表且读出由终端提取部分54提取的各个终端ID的操作状态(“离线”、“在线”和“在线”),以获取传输终端(10ab、10ba和10db)的各个操作状态(步骤S27)。
接下来,发送和接收部分51经由通信网络2向请求源终端10aa发送目的地状态信息,该目的地状态信息包括在步骤S27中用作搜索关键字的终端ID(”01ab”、“01ba”和“01db”)和对应的目的地终端(10ab、10ba和10db)的操作状态(“离线”、“在线”和“在线”)(步骤S28)。因此,请求源终端10aa可以知道作为可以与请求源终端10aa通信的目的地终端10的候选者的传输终端(10ab、10ba和10db)的当前各个操作状态(“离线”、“在线”和“在线”)。
另外,在传输管理***50中的终端提取部分54使用发送了登录请求信息的请求源终端10aa的终端ID“01aa”作为搜索关键字,搜索目的地列表管理表,且提取将请求源终端10aa的终端ID“01aa”登记为目的地终端10的候选者的其它请求源终端10的终端ID(步骤S29)。在图10中示出的目的地列表管理表中,提取的其它请求源终端10的终端ID是“01ab”、“01ba”和“01db”。
接下来,传输管理***50中的终端状态获取部分55使用发送了登录请求信息的请求源终端10aa的终端ID“01aa”作为搜索关键字,搜索终端管理表且获取请求源终端10aa的操作状态(步骤S30)。
接下来,发送和接收部分51向在终端ID(“01ab”、“01ba”和“01db”)的传输终端(10ab、10ba和10db)之中的在步骤S29中提取的在终端管理表中具有操作状态“在线”的传输终端(10ba和10db)发送包括在步骤S30中获取的请求源终端10aa的终端ID“01aa”和操作状态“在线”的目的地状态信息(步骤S31-1和S31-2)。注意,当发送和接收部分51要发送目的地状态信息到传输终端(10ba和10db)时,发送和接收部分51基于各个终端ID(“01ba”和“01db”)读取在终端管理表中管理的传输终端的IP地址。由此,能够发送如下信息:发送登录请求信息到其它各个目的地终端(10db和10ba)的请求源终端10aa的终端ID“01aa”和操作状态“在线”,所述其它各个目的地终端(10db和10ba)可以作为目的地的与发送了该登录请求信息的请求源终端10aa进行通信。
另一方面,也在另一传输终端10中,当用户接通电源开关109时(上述步骤S21),操作输入接收部分12接收通电操作并进行与上述步骤S22到S31-1和S31-2相同的处理。因此,将省略该描述。
接下来,使用图19,将描述由传输终端建立会话的处理。根据本实施例,请求源终端10aa可以与在作为目的地的候选者的传输终端之中的、根据在上述步骤S28中接收的目的地状态信息而具有操作状态“在线”的传输终端10ba和10db中的至少一个进行通信。因此,下文中,将描述其中请求源终端10aa的用户选择开始与目的地终端10db的通信的情况。
首先,当用户按压操作按钮108以选择传输终端10db时,在传输终端10aa中的操作输入接收部分12接收选择传输终端10db作为目的地的选择(步骤S41)。接下来,在传输终端10aa中的发送和接收部分11向传输管理***50发送开始请求信息,该开始请求信息包括请求源终端10aa的终端ID“01aa”和目的地终端10db的终端ID“01db”并指示开始通信(步骤S42)。由此,在传输管理***50中的发送和接收部分51接收该开始请求信息并得知请求源终端10aa的IP地址“1.2.1.3”作为传输源。然后,状态管理部分53基于在开始请求信息中包括的请求源终端10aa的终端ID“01aa”和目的地终端10db的终端ID“01db”,在终端管理DB5003的终端管理表中分别将在包括终端ID“01aa”和终端ID“01db”的各个记录上的操作状态的字段更新为“忙碌”(步骤S43)。在该状态中,请求源终端10aa和目的地终端10db处于“忙碌”状态,即使还没有开始实际通信(呼叫)。因此,当另一传输终端10意图与请求源终端10aa或目的地终端10db通信时,输出指示所谓“忙碌”状态的语音或显示。
传输管理***50生成要用于执行用于选择中继装置30的会话的选择会话ID(步骤S44)。然后,会话管理部分57在存储部分5000的会话管理表中将在步骤S44中生成的选择会话ID“se1”、请求源终端10aa的终端ID“01aa”和目的地终端10db的终端ID“01db”以彼此相关联的方式存储和管理(步骤S45)。
然后,传输管理***50基于中继装置管理DB5001和终端管理DB5003缩窄用于中继在请求源终端10aa和目的地终端10db之间的通信的中继装置30。将省略缩窄处理的细节。
接下来,在传输管理***50中的会话管理部分57在会话管理DB5005中的会话管理表的包括选择会话ID“se1”的记录上的中继装置ID的字段中存储如此最终选择的中继装置30a的中继装置ID“111a”并管理它(步骤S67-1)。发送和接收部分51发送中继装置ID“111a”和目的地终端10db的IP地址“1.3.2.4”到请求源终端10aa(步骤S67-21)。注意,在传输管理***50中的发送和接收部分51经由通信网络2向中继装置30a发送指示开始中继的请求的中继开始请求信息(步骤S68)。在该中继开始请求信息中,包括用于对其进行中继的请求源终端10aa和目的地终端10db的各自的IP地址(“1.2.1.3”和“1.3.2.4”)。由此,中继装置30a在传输终端10aa和传输终端10db之间建立用于传送低分辨率、中等分辨率和高分辨率的三个相应组的图像数据以及声音数据的会话(步骤S69)。由此,各个传输终端(10aa和10db)可以开始视频会议。注意,要被传送的三组图像数据是例子。要传送的图像数据的类型的数量可以是多余三个或少于三个。
注意,各个传输终端10通过使用视频诸如H.264(H.264/AVC、MPEG-4部分10、MPEG4AVC)、其扩展标准H.264/SVC、Mpeg2等的视频编码标准发送和接收图像数据。
接下来,将使用图20描述在确定中继装置30之后向传输终端10发送指示在外部输入装置40的显示设备216上显示的图像的显示数据并在显示设备120上显示该显示数据的处理。在描述中,将使用其中在作为目的地终端的传输终端10db上显示由与传输终端10aa连接的外部输入装置40aa显示的信息的情况作为例子。
当如此确定了中继装置30时,在传输终端10aa中的发送和接收部分11在步骤S67-21中接收由传输管理***50发送的中继装置ID“111a”和目的地终端10db的IP地址“1.3.2.4”。然后,存储和读取处理部分19在存储部分1000中存储接收的中继装置ID“111a”和IP地址“1.3.2.4”(步骤S67-22)。
另外,当外部输入装置40aa与传输终端10aa连接时,在外部输入装置40aa中的连接检测部分42检测连接(步骤S70)。注意,当启动外部输入装置40aa时,显示控制部分47显示包括至少整个区域的屏幕页。当连接检测部分42检测到外部输入装置40aa和传输终端10aa之间的连接时,安装确定部分43a确定外部输入装置40aa是否具有显示数据获取部分451和显示数据传输部分452(步骤S71)。具体地,安装确定部分43a确定用于外部输入装置的程序1451是否被安装在外部输入装置40aa中。当安装了用于外部输入装置的程序1451时,安装确定部分43a确定外部输入装置40aa具有与其对应的相应功能部分。
另一方面,当安装确定部分43a确定外部输入装置40aa确实具有显示数据获取部分451和显示数据传输部分452中的任一个时,安置部分48安置传输终端10aa的存储部分1000(步骤S72)。然后,程序获取部分43b获取存储在传输终端10的存储部分1000中的用于外部输入装置的程序1451且安装用于外部输入装置的程序1451(步骤S73)。因此,外部输入装置40aa具有显示数据获取部分451和显示数据传输部分452。注意,还可能的是,外部输入装置40aa先前具有用于外部输入装置的程序1451。
当完成步骤S73中的处理时,发送和接收部分41向传输终端10aa发送用于请求允许发送显示数据的信息(步骤S74)。然后,当发送和接收部分41从传输终端10aa接收到指示对该请求的允许的信息时,显示数据获取部分451获取指示在显示设备216上显示的图像的显示数据(步骤S75)。
在该阶段,可以改变显示数据的分辨率。由此,如果分辨率在显示设备216和显示设备120之间不同,则能够适当地显示该显示数据。
当在传输源的传输终端10aa中的外部信息发送和接收部分18从外部输入装置40aa接收显示数据时,存储和读取处理部分19从存储部分1000读出中继装置ID“111a”和作为目的地的传输终端10db的IP地址“1.3.2.4”(步骤S77)。
然后,发送和接收部分11向在步骤S77中读出的中继装置ID“111a”指示的中继装置30发送具有如此改变的分辨率的显示数据(如果必要的话)和作为目的地的传输终端10db的IP地址“1.3.2.4”(步骤S78)。
当中继装置30接收在步骤S78中从传输终端10aa如此发送的显示数据时,中继装置30基于目的地的传输终端10db的IP地址“1.3.2.4”改变显示数据的图像质量(步骤S79)且发送显示数据到传输终端10db(步骤S80)。注意,虽然从图中未能清楚地看出,但中继装置30还向传输终端10aa发送显示数据。这是因为,根据传输***1的规范,作为显示数据的传输源的传输终端10aa也共享从中继装置30发送的显示数据。
当在传输终端10db中的发送和接收部分11接收从中继装置30发送的显示数据时,图像显示控制部分14b在显示设备120db上显示由接收的显示数据指示的图像(步骤S81)。
图21例示在外部输入装置40aa和40db的显示设备216aa和216db和在传输***的整体中的显示设备120aa和120dbd上显示的屏幕页的一个例子。在外部输入装置40aa上,显示用户想要与传输终端10db共享的屏幕页。在外部输入装置40aa和40db上显示的屏幕页被称为“桌面屏幕页”。关于桌面屏幕页,其整体将被称为“整个区域”,且可以在整个区域中显示多个区域(虽然可以存在不显示区域的情况)。在图21中,例如,在外部输入装置40aa的桌面屏幕页中显示“整个区域”、区域“A”和区域“B”。
通过图20的处理,传输终端10aa在显示设备120aa上显示图像数据和显示数据,且传输终端10db在显示设备120db上显示图像数据和显示数据。这些屏幕页被称为“显示屏幕页”。
显示设备120aa和120db的每个被划分为如在图21中示出的三个区域。在显示设备120aa的显示屏幕页的例子中,在外部输入装置40aa上显示的显示数据被显示在屏幕页中的左侧,且由传输终端10db的成像部分14a拍摄且由发送和接收部分11从传输终端10db接收的图像数据被显示在屏幕页中的右上部分。另外,在屏幕页中的右下部分处,显示由传输终端10aa的成像部分14a拍摄的图像数据。类似地,在显示设备120db的显示屏幕页的例子中,在外部输入装置40aa上显示的显示数据被显示在屏幕页中的左侧,且由传输终端10aa的成像部分14a拍摄且由发送和接收部分11从传输终端10aa接收的图像数据被显示在屏幕页中的右上部分。另外,在屏幕页中的右下部分处,显示由传输终端10db的成像部分14a拍摄的图像数据。
在图21中示出的显示屏幕页I和II示出其中共享整个区域作为显示数据的情况(I)和其中共享区域A的情况(II)用于比较。用户“aa”和“db”的每个可以自由地选择要显示整个区域或区域A和B的任意者。
[共享显示数据的控制]
图22A示出在外部输入装置40aa上显示的桌面屏幕页的一个例子。在外部输入装置40aa中,安装用于外部输入装置的程序。正常地或响应于用户的预定操作,例如,共享设置接收按钮301被显示在例如在桌面屏幕页中的右下部分。该预定操作可以是例如使得当用户点击或双击用于外部输入装置的程序的图标或用户将光标指向图标(鼠标在图标上)时。
图22B和22C以放大的方式示出共享设置接收按钮301。在图22B中,示出其中显示字符“开始共享”的共享设置接收按钮301。在图22C中,示出其中显示字符“停止共享”的共享设置接收按钮301。当在图22B中用户通过指向设备点击共享设置接收按钮301时,开始共享在外部输入装置40aa的显示设备216aa上显示的显示数据。具体地,在外部输入装置40aa中的操作输入接收部分46接收对共享设置接收按钮301的点击操作,且发送和接收部分41向传输终端10aa发送传递请求。然后,在传输终端10aa中的发送和接收部分11向中继装置30发送传递事件的信息。
结果,中继装置30发送传递事件的信息,使得由外部输入装置40aa发送的显示数据由所有传输终端共享。接收该信息的传输终端10将该显示数据与图像数据一起显示,如在图21中示出的。
在其中显示在外部输入装置40aa的显示设备216aa上的显示数据被共享的状态中,显示图22C的共享设置接收按钮301。在图22C中,当用户通过指向设备来点击共享设置接收按钮301时,停止与传输终端10db共享显示数据。注意,直到那时如此共享的显示数据是在外部输入装置40aa的显示设备216aa上显示的显示数据。具体地,在外部输入装置40aa中的操作输入接收部分46接收对共享设置接收按钮301的点击操作,且发送和接收部分41发送传递停止请求到传输终端10aa。然后,在传输终端10aa中的发送和接收部分11向中继装置30发送传递事件(以停止)的信息。结果,中继装置30向所有传输终端发送传递事件的信息,比如停止共享从外部输入装置40aa发送的显示数据。接收该信息的传输终端10db将屏幕页返回到在进入稍后描述的“显示数据共享模式”之前使用的布局(因此,没有显示数据被显示且一组或多组图像数据被显示)。传输终端10aa也以相同的方式将屏幕页返回到在进入显示数据共享模式之前使用的布局。注意,由于传递事件(以停止),传输终端10aa停止发送显示数据,且中继装置30停止传递显示数据。
注意,在根据本实施例的传输***1中,提供配置使得外部输入装置40的整个区域或具有最终被点击的共享设置接收按钮301“开始共享”的区域的显示数据被共享。因此,当用户“db”点击具有如图22B中所示显示的“开始共享”的共享设置接收按钮301时,在外部输入装置40aa的显示设备216上显示的显示数据的共享自动停止,即使当用户“aa”没有点击具有如图22C中所示显示的“停止共享”的共享设置接收按钮301时。
[由传输终端显示的屏幕页的例子]
在由传输终端10在显示设备120上显示的屏幕页中的布局可改变。例如,布局根据以下模式改变:
·多视图模式(另一参与者的图像被显示在主区域中,且剩余站点(包括自己的站点)的图像以更小的大小被显示在右、下和左区域)
·P和P模式(包括自己的站点的参与站点以相同尺寸布置)
·全屏幕模式
·显示数据共享模式(根据共享显示数据的开始或停止而切换)
图23A、23B和23C示出显示屏幕页的各个布局的例子。图23A示出多视图模式的布局,图23B示出P和P模式的布局,且图23C示出全屏幕模式的布局。用户可以选择显示屏幕页的布局。
在显示数据共享模式中,以与多视图模式相同的方式,显示数据被置于主区域中,且剩余站点的图像以更小的大小被显示在右、下和左区域。也在显示数据共享模式中,用户可以以全屏显示该显示数据或以与图像数据相同的大小显示该显示数据。
参与的传输终端10的最大数量受网络带宽、传输管理***、中继装置30的规范等限制。而且,每个传输终端一次可显示的区域的最大数量受传输终端的规范等限制。但是,确保参与的传输终端10的实际足够的最大数量和实际由每个传输终端一次可显示的区域的足够的最大数量。在此,将对于其中站点的数量小于一次可显示的区域的数量的情况进行描述。显示图像确定部分17确定在区域与图像数据或显示数据之间的以下对应性。
·多视图模式
显示图像确定部分17确定例如具有最大音量(volume)的声音数据的传输终端的图像数据或显示数据被显示在区域1中。由此,能够以最大大小显示由正在讲话的用户使用的传输终端的图像数据。
关于具有相等大小的区域(区域2到4或区域2到9),显示图像确定部分17例如以参与会议的顺序来向传输终端分配区域。由此,从顶部或从底部填充区域,且用户可以容易地确认各个参与者。
注意,在区域2到4或区域2到9之中,先前确定的区域被分配到自己的站点的图像数据(例如,右下区域4或7)。
·P和P模式
关于具有相等大小的区域(区域1到4或区域1到9),显示图像确定部分17以例如参与会议的顺序来向传输终端分配区域。另外,关于区域1,能够确定在区域中1显示具有最大音量的声音数据的传输终端的图像数据。在该情况下,能够显示由正在讲话的用户使用的传输终端的图像数据,虽然区域的大小彼此相等。先前确定的区域(区域4或9)、例如右下区域被分配给自己的站点的图像数据。
·全屏幕模式
显示图像确定部分17确定在区域中1显示例如具有最大音量的声音数据传输终端的图像数据。
·显示数据共享模式
显示图像确定部分17确定在最大区域1(虽然未示出,例如在多视图模式中的区域1)中显示该显示数据。关于其它区域,显示图像确定部分17以例如参与会议的顺序向传输终端的各组图像数据分配区域。
注意,在任何模式中,不需要固定由显示图像确定部分17一次确定的区域和站点之间的对应性。例如,用户可以将由任何站点发送的图像数据或显示数据分配给任何区域。
[布置信息管理表的创建]
图24是示出由布置信息管理表更新部分22创建布置信息管理表的过程的序列图的一个例子。如上所述,根据布置信息管理表和布局确定图像数据或显示数据的布置。注意,在此,假设已经在两个或更多传输终端10aa和10db之间建立会话。
S1:传输终端“01db”经由中继装置30发送图像数据或显示数据(在图24中,显示数据4)。关于从传输终端“01db”仅发送图像数据还是发送图像数据和显示数据到中继装置30的信息通过上述传递事件被发送到中继装置30。中继装置30传递图像数据到为其建立了会话的所有传输终端,并且,如果必要的话,还根据传递事件传递显示数据到为其建立了会话的所有传输终端。
S2:当新接收图像数据或显示数据时,中继装置30更新会议图像管理表。当接收图像数据时,中继装置30将传输数据ID给予由传输终端“01db”发送的图像数据。
S3:中继装置30将终端ID和被给予了传输数据ID、即“显示数据4”的显示数据发送到为其建立了会话的所有传输终端10,包括传输终端“01aa”。
S4:在传输终端“01aa”中的布置信息管理表更新部分22更新布置信息管理表。由于显示图像确定部分17确定了图像数据或显示数据要被分配到的区域,所以各自的值被登记在布置信息管理表中的“区域”、“传输数据ID”和“终端ID”中。
S5:站点名称获取部分21从传输管理***具有的对应于终端ID“01aa”的传输源的站点名称管理表(对应于“信息存储区”)请求与终端ID“01db”相关联的站点名称。还可能的是,在步骤S5的定时或在更早的定时从传输管理***在先前下载对应于终端ID“01aa”的传输源的站点名称管理表本身。
S6:站点名称获取部分21从传输管理***获取例如站点名称“Shinyokohama”。
S7:布置信息管理表更新部分22使用站点名称且更新布置信息管理表。也就是说,布置信息管理表更新部分22在布置信息管理表中将“Shinyokohama”登记为“站点名称”。
对于为其建立了会话的其他传输终端也重复这些处理。由此,为其建立了会话的所有传输终端被分配到的区域、终端ID、传输数据ID和站点被登记在布置信息管理表中。
因此,当会议开始、且中继装置30向传输终端10aa传递终端ID和被给予了传输数据ID“显示数据4”的显示数据时,传输终端10aa可以基于该终端ID或传输数据ID“显示数据4”确定站点名称,且将该显示数据与站点名称“Shinyokohama”综合。
由于传输终端10aa具有布置信息管理表,因此相比于每次当传输终端10aa将图像数据或显示数据与站点名称综合时询问传输管理***,能够显著地减少延迟。
注意,还可能的是,传输终端10一直具有布置信息管理表。但是,传输数据ID由中继装置30动态给出,因此,可以改变传输数据ID和终端ID之间的对应性。另外,动态地改变在区域和终端ID之间的对应性。因此,优选地,根据本实施例,传输终端10在开始会议时创建布置信息管理表。
注意,在该序列图中,未清楚地看到获取自己的站点的站点名称的过程。但是,当启动传输终端时,在先前从传输管理***获取自己的站点的站点名称。可替换地,还可能的是,对于自己的站点,在先前在传输终端中设置基站名称(例如“基站名称”)且将其显示而不从传输管理***获取。另外,还可能的是,站点名称不被显示在其中显示自己的站点的图像数据或显示数据的区域中。
[站点名称的显示例子]
图25示意性地例示综合站点名称的一个例子。图25示出显示屏幕页的一个区域中的图像数据。站点名称综合部分23通过进行像素计算将站点名称与根据H264/SVC等被压缩的图像数据或以JPEG或BMP发送的显示数据综合。例如,在具有与图像数据或显示数据相同大小的图像存储器中准备其中站点名称被渲染(render)的像素值数据。注意,这种图像存储器可以在某些情况下被称为“层”。站点名称综合部分23通过在图像存储器中的像素值而盖写(overwrite)(替换)在图像数据或显示数据中的对应于站点名称的像素值。
代替盖写,还能够增加或减去像素值。另外,还能够将在图像数据中对应于站点名称的像素值和在图像存储器中的像素值平均化,以生成半透明站点名称,且在图像数据上叠加半透明站点名称。在图25中,图像数据被用作例子。但是,综合的方法对于显示数据的情况也相同。
还可能的是,站点名称不与图像数据综合并被显示。图26A示出显示在每个传输终端10的显示设备120上的站点名称的一个例子。在图像存储器中,渲染站点名称。当图像显示控制部分14b显示图像数据时,站点名称综合部分23请求图像显示控制部分14b以例如预定时间速率以时间上交替的方式显示图像存储器的站点名称。例如,能够通过请求在显示图像数据例如达10秒之后显示站点名称达一秒,以时间共享的方式在相同的区域中显示图像数据和站点名称。在该情况下,由于能够省略综合的处理等,能够减少处理负荷。
还可能的是,如在图26B中示出的,在由于压缩图像数据而建立的空间中显示站点名称。虽然在图像存储器中渲染站点名称,但是站点名称的图像数据的大小可以尽可能最小,只要其可以被显示。
站点名称综合部分23垂直地压缩由传输终端发送的图像数据以创建空间用于能够显示站点名称。然后,站点名称综合部分23将站点名称的图像数据放置在该空间中以创建图像数据页。因此,能够将站点名称显示为与图像数据相关联,甚至不进行综合的处理。
另外,还可能的是,站点名称和图像数据不显示在相同区域中。图27A示出其中分离地显示站点名称和图像数据的显示屏幕页的一个例子。在图27A中,相应组的图像数据被显示在四个区域1到4中的三个区域中。在这种情况下,站点名称综合部分23在区域4中集中地显示三个区域1到3的站点名称。此时,站点名称综合部分23将相同布局中的区域4划分为区域1到3(以类似的图形),生成区域41到44,在对应于区域1的区域41中显示区域1的站点名称,在对应于区域2的区域42中显示区域2的站点名称,且在对应于区域3的区域43中显示区域3的站点名称。通过显示以此方式站点名称,能够显示区域1到3的相应组的图像数据而不将其与站点名称重叠。
另外,还可能的是,如在图27B中示出的,通过使用号码等将区域和站点名称彼此相关联。在该情况下,图像显示控制部分14b将诸如数字、字母字符、符号等的标识信息彼此不重复地显示在每个区域中。站点名称综合部分23在显示屏幕页中的某个位置处显示与对应标识信息相关联的每个站点名称。也在该情况下,能够显示区域1到3的相应组的图像数据而不将其与站点名称重叠。
图28A和28B示出在每个传输终端的显示设备120上显示的显示屏幕页的例子。在每个传输终端10中的站点名称综合部分23读取专用的布置信息管理表,且将站点名称与相应组的图像数据或显示数据综合。图28A和28B示出类似于多视图模式的显示数据共享模式的布局的例子。
图28A示出在具有终端ID“01aa”的传输终端处的显示屏幕页,且图28B示出在具有终端ID“01db”的传输终端处的显示屏幕页。在任何终端处,自己的站点的图像数据被显示在区域3中(右下)。
具有终端ID“01aa”和“01db”的传输终端与其召开会议的其他传输终端(例如,具有终端ID“01ba”和“01db”的那些传输终端)与在具有终端ID的传输终端“01aa”和“01db”之间是相同的。因此,终端ID“01aa”、“01ab”、“01ba”和“01db”的相应组的图像数据被显示在具有终端ID“01aa”和“01db”的传输终端中的任一个处。但是,在图28A中示出的具有终端ID“01aa”的传输终端的显示设备120上,以大写字母显示站点名称,而在图28B中示出的具有终端ID“01db”的传输终端的显示设备120上,以仅第一个字母大写的方式显示每个站点名称。
因此,能够为传输终端的每个用户改变传输终端10的站点名称(显示的风格)。另外,还可能的是,用户自由地改变(显示的风格)传输终端10的站点名称且在传输管理***中登记改变的结果。
关于此,图28A和28B示出了其中以各个日本城市名称的罗马字母(“romaji”)显示站点名称的例子。还能够以例如中文字符(“Kanji”)显示这些站点名称。在该情况下,在图28A中,在区域1中“SHINYOKOHAMA”被“新横浜”替换;在区域2中“EBINA”被“海老名”替换;在3区域中“GINZA”被“银座”替换;在区域4中“SHINYOKOHAMA”被“新横浜”替换;以及在区域5中“OOMORI”被“大森”替换。
[站点名称和显示数据的重叠]
通过如在图26A和图28A和28B中将站点名称和区域以彼此相关联的方式显示,在图像数据或显示数据与对应的站点名称之间的对应性非常明显。但是,可能出现这种情况,由于站点名称与显示数据重叠,用户不能阅读在显示数据中的需要的部分。图28A和28B示出多视图模式的例子。但是,也在全屏幕模式中,在显示数据和对应的站点名称之间的相对位置关系和相对大小关系近似相同。因此,可能发生其中站点名称与显示数据重叠的相同情况。
通过在将站点名称与区域相关联的同时使用诸如在图26B中示出的显示方式,站点名称不与图像数据或显示数据重叠。但是,在图26B的配置中,图像数据或显示数据可能失真。另外,通过在将站点名称与区域相关联的同时使用诸如在图27A或27B中示出的显示方式,站点名称不与图像数据或显示数据重叠。但是,单独需要用于显示站点名称的空间。
因此,根据本实施例,现在将描述用于避免在显示数据和对应站点名称之间的重叠的显示方法。注意,不意图排除图26B、图27A和27B等的显示方法。也能够在将站点名称与部分相关联的同时使用图26B、图27A和27B等的显示方法。另外,以下,将描述避免在显示数据和对应站点名称之间的重叠。但是,不仅避免在显示数据和对应站点名称之间的重叠、而且避免在图像数据和对应站点名称之间的重叠可以以相同的方式来实现。
[站点名称的删除No.1]
图29A和29B示出从显示数据移除站点名称的显示屏幕页的例子。在图29A中,在显示数据共享模式中,四个站点的各个组图像数据和一组显示数据被显示在显示设备120aa上的显示屏幕页中。因为在作为站点的Ginza中的传输终端10aa的用户开始共享显示数据,因此外部输入装置40aa的显示数据被共享,并且被显示在显示设备120aa的区域中1。还在传输终端10db的显示设备120db上,相同的显示数据被显示在区域中1(见图29B)。
但是,在图29A和29B中,站点名称不被显示在显示数据中。因此,参加会议的用户可以在材料不被站点名称阻挡的同时看见材料(在区域1的显示数据中示出的)。
图30是示出由图像显示控制部分14b显示屏幕页的过程的流程图的一个例子。传输终端10以每次当布局改变时适当地将站点名称与区域相关联的方式显示显示屏幕页。
首先,布置信息管理表更新部分22确定是否检测到用于改变布局的触发(S1010)。存在用于改变布局的以下触发:
a.用户改变模式的情况;
b.用户进行操作以共享显示数据的情况;
c.用户进行操作以结束共享显示数据和显示图像数据的情况;
d.站点的数量增加的情况;以及
e.站点的数量减少的情况。
由操作输入接收部分12检测“a”的操作。“b”和“c”的操作包括在自己的站点中的用户进行操作的情况下和在另一站点中的用户进行操作的情况下的操作。但是,在任何情况中,中继装置30发送对应的传递事件的信息。在“b”和“c”的情况中,如以上使用图24所述的,中继装置30发送新的传输数据ID和终端ID的信息到每个传输终端。至于“d”的情况,通过从中继装置30获得新站点的终端ID和传输数据ID进行检测。至于“e”的情况,可以通过例如检测会话的断开或使用从传输管理***50发送的对应信息进行检测。
当检测用于改变布局的触发时(在S1010中是),显示图像确定部分17确定要显示的图像数据或显示数据(S1020)。首先,当改变模式时,确定在改变之后的模式的布局。当在改变之后的模式是除了显示数据共享模式以外的其它模式时,确定显示一组(在全屏幕模式的情况中)或与站点的数量相同的数量的组(在不超过可显示的上限的范围中)的图像数据。另外,在显示数据共享模式中,确定显示一组显示数据(仅存在一组显示数据)和与站点的数量相同的数量的组(在不超过可显示的上限的范围中)的图像数据。当显示数据以全屏显示时,确定仅显示数据。
站点名称获取部分21从与自己的站点的终端ID相关联的站点名称管理表获取与发送了如此确定为要显示的图像数据或显示数据的传输终端的终端ID相关联的站点名称(S1030)。如上所述,中继装置30发送该终端ID和传输数据ID。因此,发送图像数据或显示数据的传输终端的终端ID是明显的。
布置信息管理表更新部分22更新布置信息管理表(S1040)。也就是说,布置信息管理表更新部分22确定用于显示如此确定为要显示的图像数据或显示数据的区域且将传输数据ID、终端ID和站点名称在彼此相关联的同时而登记。以上已经描述了确定区域的方法。
接下来,数据类型确定部分24对于登记在布置信息管理表中的每个记录,确定要显示的数据是否是显示数据(S1050)。可以基于传输数据ID确定数据是否是显示数据。
在显示数据的情况下(在S1050中是),处理继续到步骤S1080,因此,站点名称不与显示数据综合。
在除了显示数据以外的情况中(在S1050中否),站点名称综合部分23从布置信息管理表读取与从中继装置30与图像数据一起发送的终端ID或传输数据ID相关联的站点名称(S1060)。
然后,站点名称综合部分23对于每个区域将站点名称与图像数据综合(S1070)。
图像显示控制部分14b确定图像数据的区域以及基于布置信息管理表与站点名称综合的显示数据(如果有的话),根据在改变之后的布局放置这些区域,且因此在显示设备120上显示显示屏幕页(S1080)。也就是说,各个部分的位置基于布局而确定,根据各个区域的大小而减少大小或放大图像数据或显示数据,等等,然后,在各个区域中放置与站点名称综合的图像数据以及显示数据。
因此,通过在步骤S1050中确定要显示的数据是否是显示数据,能够避免综合站点名称与显示数据。因为每次当布局改变时更新布置信息管理表,所以,当在会议期间布局被改变时,也能够适当地保持在区域和站点名称之间的对应性。
使用图31A和31B,将补充步骤S1050中的确定。图31A是关于确定数据是否是显示数据的图的一个例子。因为难以拍摄用户的完全静止的图像,因此像素值即使在相同像素中也变化。因此,与背景相比,用户的拍摄的像素的像素值变化,且因此,像素值的变化在与背景的边界上尤其更大。与此相对,显示数据的像素值的变化小,除非对应的材料被改变等。
因此,数据类型确定部分24对针对相同的像素以时序的方式拍摄的数据进行差分计算。由此,在图像数据的情况中,边界上的像素值中的差异更大。然后,计算结果被投影到x轴和y轴,且被求和(相加在一起)。因为求和的值在对应于边界的x坐标和y坐标处随着时间变得更大,因此当求和的值超过阈值时能够确定数据是图像数据。
另外,还能够通过使用在许多情况中显示数据包括字母/字符的事实来确定数据是显示数据。例如,数据类型确定部分24对于数据使用光学字符识别(OCR),并当识别出字符的数量等于或大于预定数量时确定数据是显示数据。
另外,还能够检测字符本身,如在图31B中示出的。例如,在二值化之后提取黑色像素的连接分量(connectedcomponent)。在字符的情况中,其中线连接在一起的区域是一个连接分量。由于字符彼此分离,因此能够通过获取包围的矩形来确定包括一个字符的矩形区域。一般来说,当包括字符时,字符的大小是固定的,且多个字符垂直地或水平地布置。通过使用该事实,能够假设当等于或大于预定数量(或等于或大于相对于矩形区域的总数的预定比率)的数量的相似矩形区域被水平地或垂直地布置时,数据是显示数据。
取代如此使用图像处理,还能够使用图像数据是由摄像机拍摄的事实。为了通过摄像机拍摄图像数据,附上头部信息,比如拍摄日期和时间、压缩格式、帧速率等。与之相对,通过捕获操作取得显示数据,因此,不附上这种头部信息。因此,能够通过确定头部信息是否被附上来确定数据是图像数据还是显示数据。
另外,当文件格式在图像数据和显示数据之间不同时,能够使用文件扩展名进行确定。例如,当图像数据的文件格式是MOV或MP4时,扩展名是“.mov”或“.mp4”。当显示数据是根据JPEG而发送的时,扩展名是“.jpg”。
[站点名称的删除No.2]
根据上述“站点名称的删除No.1”,不在每个传输终端处的显示屏幕页中的显示数据中显示站点名称。由此,当每个用户注意到显示数据时,用户可以在讨论期间看见显示名称而不被站点名称阻挡。但是,至于不以全屏显示的显示数据,对其的关注度可能是低的,且一些用户可能更希望知道站点名称。
因此,现在将描述仅当显示数据以全屏幕显示时不综合站点名称的综合站点名称的方法。
图32A、32B和32C示出在显示数据共享模式中显示或不显示站点名称的例子。图32A示出其中显示数据以全屏显示的显示屏幕页;图32B示出其中在显示数据共享模式中进行多视图显示的显示屏幕页;且图32C示出其中图像数据在全屏幕模式中显示的显示屏幕页。
在图32A中,站点名称不与显示数据综合,而在图32B中,站点名称与显示数据综合。在图32A的情况下,用户可以看见以大的大小的显示数据。在图32B的情况下,用户可以确认显示数据的站点名称。另外,在图32C的情况下,站点名称与图像数据综合。当图像数据在全屏幕模式中显示(图32C)时,考虑用户认为与其它参与者的通信是重要的。在该情况下,即使当如在图32C中所示综合站点名称时,这也不会非常干扰通信。而是,通过综合站点名称,能够确实地了解其它参与者的站点。
图33是示出由图像显示控制部分14b显示显示屏幕页的过程的流程图的一个例子。到步骤S1040的处理与图30中的那些相同。
在步骤S1040中,当布置信息管理表被更新时,在布置信息管理表中登记要在显示屏幕页中显示的图像数据或显示数据的记录的数量。
接收的图像数量确定部分25确定是否仅显示一组图像数据或显示数据(S1042)。也就是说,确定登记在布置信息管理表中的区域(记录)的数量是否是一。
当仅显示一组图像数据或显示数据时(在S1042中是),数据类型确定部分24确定是否要显示显示数据(S1050)。当要显示显示数据时,这意味着站点名称不被综合,且因此,当仅显示一组显示数据时,站点名称不与显示数据综合。
当不是仅显示一组图像数据或显示数据(在S1042中否)或仅显示一组图像数据(在S1050中否)时,站点名称综合部分23综合站点名称与图像数据或显示数据(S1060,S1070)。
因此,根据诸如图33的综合过程,能够实现其中仅当显示数据以全屏显示时不综合站点名称的方式。
[站点名称的删除No.3]
在上述“站点名称的删除No.2”中,仅当显示数据以全屏显示时不综合站点名称。但是,可能存在一种情况,其中当显示数据以全屏显示时,即使当其内容与站点名称稍有重叠时用户也可以了解其内容。另一方面,当显示数据不以全屏显示时,显示数据可能难以阅读,因为站点名称被覆盖。
因此,现在将描述综合站点名称与以全屏显示的显示数据以及不综合站点名称与不以全屏显示的显示数据的综合方法。
图34A、34B和34C是在显示数据共享模式中显示或不显示站点名称的例子。图34A示出其中在显示数据共享模式中显示数据以全屏显示的显示屏幕页;图34B示出其中在显示数据共享模式中进行多视图显示的显示屏幕页;且图34C示出其中图像数据以全屏显示的显示的屏幕模式。
在图34A中,站点名称与显示数据综合,而在图34B中,站点名称不与显示数据综合。在图34A的情况下,用户可以看见显示数据同时确认站点名称。在图34B的情况下,用户仅可以看见显示数据。至于图34C,以与图32C相同的方式,站点名称与图像数据综合。
图35是示出由图像显示控制部分14b显示显示屏幕页的过程的流程图的一个例子。在图35的过程中,直到步骤S1040的处理与图33中的那些相同。
在步骤S1040中,当布置信息管理表被更新时,登记要在显示屏幕页中显示的图像数据或显示数据的记录的数量。
数据类型确定部分24确定被显示的是显示数据(S1050)。当被显示的不是显示数据(在S1050中否)时,处理继续到步骤S1060,且站点名称与显示数据或图像数据综合(S1060,S1070)。
当被显示的是显示数据时(在S1050中是),接收的图像数量确定部分25确定是否仅显示一组图像数据或显示数据(S1042)。也就是说,确定登记在布置信息管理表中的区域(记录)的数量是否是一。
当仅显示一组图像数据或显示数据(在S1042中是)时,站点名称综合部分23综合站点名称与图像数据或显示数据(S1060,S1070)。
当不是仅显示一组图像数据或显示数据(S1042否)时,站点名称综合部分23不综合站点名称与显示数据,且结束处理。
因此,通过诸如图35的综合过程,可能的是,仅当显示数据在等同于多视图模式的布局中显示时,站点名称不与显示数据综合。
注意,用户可以设置上述“站点名称的删除No.1”到“站点名称的删除No.3”中的哪个被用于在传输终端10中避免站点名称与显示数据重叠。该设置被存储在存储部分1000中,且站点名称综合部分23读取该设置以切换综合或不综合站点名称与显示数据的方法。
[站点名称的删除No.4]
在上述“站点名称的删除No.1”到“站点名称的删除No.3”中,站点名称综合部分23自动切换站点名称是否与显示数据综合。但是,还可能的是,用户可以自由地选择是否将站点名称与显示数据综合。
图36A是示意性地例示用户的操作以显示或不显示站点名称的图的一个例子。用户使用诸如鼠标的指向设备61或用手指触摸触摸面板来按压在显示屏幕页上的站点名称,比如在图36A中示出的。操作输入接收部分12从用户按压的位置的坐标确定区域。由此,站点名称综合部分23可以停止将由用户按压的站点名称与显示数据综合(见图36B)。注意,在图36A和36B的例子中,停止综合站点名称与显示数据。但是,还能够以相同的方式停止综合站点名称与图像数据。
图36B示出其中停止站点名称与显示数据的综合的显示屏幕页的一个例子。站点名称综合部分23将图标62而不是站点名称与显示数据综合。用户使用指向设备61或通过手指触摸触摸面板等来按压图标62。操作输入接收部分12从用户按压的位置的坐标确定区域。由此,站点名称综合部分23可以重新开始将在由用户按压的区域中的站点名称与显示数据综合(见图36A)。
图37是示出由图像显示控制部分14b显示显示屏幕页的过程的流程图的一个例子。在图37的过程中,直到步骤S1040的处理与图33中的那些相同。
在步骤S1040中,当布置信息管理表被更新时,站点名称综合部分从布置信息管理表获取与发送图像数据或显示数据的传输终端的终端ID相关联的站点名称(S1060)。
然后,将站点名称与图像数据或显示数据综合(S1070)。对于在布置信息管理表中登记的所有终端ID的相应组的图像数据或显示数据进行综合站点名称。
根据布置信息管理表,图像显示控制部分14b确定与站点名称综合的各组图像数据和显示数据的区域,并且根据改变的布局放置这些区域来在显示设备120上显示显示屏幕页(S1080)。
在显示显示屏幕页期间,操作输入接收部分12确定是否检测到按压站点名称(S1110)。
当检测到按压站点名称(在S1110中是)时,站点名称综合部分23停止综合站点名称(S1120)。也就是说,根据从操作输入接收部分12获取的坐标确定区域,且基于布置信息管理表确定发送在区域中显示的图像数据或显示数据的传输终端的终端ID。然后,停止综合站点数据与由该终端ID的传输终端发送的图像数据或显示数据。
在显示显示屏幕页期间,操作输入接收部分12确定是否检测到对图标62的按压(S1130)。
当检测到对图标62的按压(在S1130中是)时,站点名称综合部分23重新开始综合站点名称(S1140)。也就是说,根据从操作输入接收部分12获取的坐标确定区域,且基于布置信息管理表确定发送在该区域中显示的图像数据或显示数据的传输终端的终端ID。然后,能够在步骤S1060和S1070中综合站点数据与由该终端ID的传输终端发送的图像数据或显示数据。
根据上述处理,用户可以停止或重新开始显示(综合)站点名称与任意组的显示数据或图像数据。
注意,在图37的过程中,可以对于每个区域单独地控制显示或不显示站点名称。但是,还可能的是,用户通过选择一个区域或站点名称来控制是否对于所有区域综合站点名称。
因此,根据本实施例的传输终端,能够避免由传输终端显示的站点名称使得难以看见显示数据。另外,能够避免由传输终端显示的站点名称使得不仅难以看见显示数据而且难以看见图像数据。
注意,根据上述实施例的中继装置30、传输管理***50、程序供应***90和维护***100可以由单个计算机来实现,或其每个可以由其各个部分(功能等)被划分和分配到的多个计算机来实现。另外,还能够通过集成其各个部分来使用一个或多个计算机实现中继装置30、传输管理***50、程序供应***90和维护***100。另外,存储部分1000、存储部分3000和存储部分5000将被提供在中继装置30、传输管理***50、程序供应***90和维护***100可以访问的网络2中。
当程序供应***90由单个计算机来实现时,由程序供应***90发送的程序可以以程序以来自程序的多个划分的模块的形式而发送的方式来发送,或以程序不被如此划分而被发送的方式来发送。
另外,当程序供应***90由多个计算机来实现时,可以在程序被划分为多个模块的状态中从各个计算机发送程序。
(实施例的补充)
已经对于其中TV(或视频)会议***是传输***1的一个例子的情况描述了本实施例。但是,本发明不限于此。传输***1还可以是电话***,比如因特网协议(IP)电话***、因特网电话***等。
另外,传输***1可以是用于蜂窝电话/便携式电话(智能电话等)的通信***。在该情况下,例如,传输终端10对应于蜂窝电话/便携式电话。当传输终端10是蜂窝电话/便携式电话时,传输终端包括蜂窝电话/便携式电话的主体、在主体上提供的显示按钮、在主体上提供的显示部分(触摸面板)、在主体上提供的麦克风、在主体上提供的扬声器等。在该情况下,例如,传输终端10通过蜂窝电话/便携式电话电话线(包括由于来自基站的天线功率而覆盖诸如主要室外区域的宽区域的无线通信)与因特网连接。
另外,传输***1可以是包括安置在移动主体中的车辆导航装置的***。图38示出对于传输终端10被应用于车辆导航装置200的情况的***配置的一个例子。下文中,当区分车辆导航装置200时,车辆导航装置200的参考标记被表示为200-i(“i”表示自然数)。
在该情况下,一个传输终端10对应于在车辆601中安置的车辆导航装置200-2。另一传输终端10对应于在管理中心604中的通信器所使用的管理终端200-1或在另一车辆602中安置的车辆导航装置200-3中。管理终端200-1、车辆导航装置200-2和车辆导航装置200-3经由网络2相互连接。另外,对于管理终端200-1、车辆导航装置200-2和车辆导航装置200-3,由传输管理***50建立会话。
图39示出车辆导航装置的配置的一个例子。车辆导航装置200具有这样的配置:GPS接收器612、车辆速度传感器613、陀螺仪传感器614和道路地图数据615被连接到上述的传输终端10。另外,传输终端10包括一体的显示设备120。注意,显示设备120可以以有线或无线的方式与传输终端10连接,或可以可拆卸地安置在传输终端10上。
传输终端10执行计算机可执行程序且提供作为车辆导航装置200的功能。GPS接收器612捕获GPS卫星以输出当前位置的坐标。车辆速度传感器613是检测车辆601或602的速度(车轮的旋转速度)的传感器。陀螺仪传感器614是检测角速度的传感器。通过对角速度积分,能够检测车辆移动的方向。
加载地图数据615是通过组合节点和链路来表达道路的数据,且可以从外部下载或由车辆先前保持。道路地图被显示在显示设备120上。
注意,可能的是,PC可以与传输终端10连接用于共享屏幕页。另外,除了在图39中示出的配置以外,车辆导航装置200可以具有:调谐器功能,用于接收无线电广播和/或TV广播;音频功能,用于再现音乐;与车载相机协作的功能,比如后视相机等;浏览器功能,用于显示网站等。
传输终端10根据自动导航方法估计自己的车辆位置,该自动导航方法从由GPS接收器612检测的位置信息的开始点沿由陀螺仪传感器614检测的移动方向,累积由车辆速度传感器613检测的移动距离。在道路地图上通过车辆标记等显示自己的车辆位置。另外,传输终端10搜索到目的地的路线,且为司机引导。因此,传输终端10实现作为车辆导航装置的功能。
车辆导航装置200经由传输终端10连接到网络2。例如,通过蜂窝电话/便携式电话线(包括由于来自基站的天线功率而覆盖诸如主要室外区域的宽区域的无线通信)使用蜂窝电话/便携式电话将车辆导航装置10与网络2连接。
作为车辆导航装置200的传输终端10在显示设备120上显示包括与网络2连接的其他传输终端10的目的地终端的列表。从在显示设备120上显示的目的地终端的列表中选择目的地终端。然后,当建立与目的地终端的会话时,传输终端10(或车辆导航装置200)可以发送图像数据、声音数据等到已选的目的地终端,或可以从已选的目的地终端接收图像数据、声音数据等。
另外,因为用户操作车辆导航装置200或传输终端10,因此传输终端10可以拍摄(或捕获)显示数据,比如道路地图、电视视频图像等。传输终端10可以发送显示数据到经由网络2连接的其他传输终端10。
另外,由于用户从在显示设备120上显示的目的地终端的列表中选择由在管理中心604中的通信器使用的管理终端200-1,因此通信器的图像数据被显示在显示设备120上,且通信器的语音从扬声器输出。由此,用户可以类似于使用视频电话的情况而具有与通信器的对话。
如上所述,作为200安置在移动主体中的车辆导航装置的传输终端10如在视频会议***中的传输终端10中一样发送和接收图像数据、声音数据、显示数据等。因此,根据本实施例的传输***1可以是包括安置在移动主体中的车辆导航装置200的***。
另外,已经在传输***1用于视频会议的情况下描述了本实施例。但是,本发明不限于此。例如,传输***1还可以用于集会(meeting)、在家庭成员或朋友之中的一般的对话、或单方地提交信息。
已经在实施例中描述了传输终端、程序、图像显示方法和传输***。但是,本发明不限于具体公开的实施例,且可以在不脱离本发明的范围的情况下进行变化和修改。
本申请是基于在2013年6月28日提交的日本优先权申请No.2013-136213和在2014年4月4日提交的日本优先权申请No.2014-078007且要求它们的优先权的权益,它们的全部内容被引用附于此。
现有技术文献
专利文献No.1:日本特开专利申请No.09-238318
Claims (13)
1.一种传输终端,经由网络与另一传输终端通信地连接,所述传输终端包括:
接收部分,从外部接收要显示的数据,用于显示在与所述传输终端连接的显示部分上;
终端信息获取部分,从先前与另一传输终端相关联的信息存储区获取该另一传输终端的终端信息,该另一传输终端发送由所述接收部分接收的所述要显示的数据;以及
图像显示控制部分,以取决于由所述接收部分接收的所述要显示的数据的类型的方式,将由所述接收部分接收的所述要显示的数据和由所述终端信息获取部分获取的终端信息以彼此相关联的方式显示在所述显示部分上。
2.如权利要求1所述的传输终端,其中
当由所述接收部分接收的所述要显示的数据具有预定类型且以预定布局显示时,所述图像显示控制部分将由所述接收部分接收的所述要显示的数据和由所述终端信息获取部分获取的终端信息以彼此相关联的方式显示在所述显示部分上。
3.如权利要求2所述的传输终端,其中
当由所述接收部分接收的所述要显示的数据具有所述预定类型且仅显示一组时,所述图像显示控制部分将由所述接收部分接收的所述要显示的数据以不与由所述终端信息获取部分获取的终端信息相关联的方式而显示,以及
当由所述接收部分接收的所述要显示的数据具有预定类型,但由所述接收部分接收的所述要显示的数据与不同于所述预定类型的类型的要显示的数据一起显示时,所述图像显示控制部分将所述预定类型的要显示的数据和由所述终端信息获取部分获取的终端信息以彼此相关联的方式显示在所述显示部分上。
4.如权利要求2所述的传输终端,其中
当由所述接收部分接收的所述要显示的数据具有所述预定类型且仅显示一组时,所述图像显示控制部分将由所述接收部分接收的所述要显示的数据和由所述终端信息获取部分获取的终端信息以彼此相关联的方式显示在所述显示部分上,
当由所述接收部分接收的所述要显示的数据具有所述预定类型,但由所述接收部分接收的所述要显示的数据与不同于所述预定类型的类型的要显示的数据一起显示时,所述图像显示控制部分将所述预定类型的要显示的数据以不与由所述终端信息获取部分获取的终端信息相关联的方式而显示。
5.如权利要求1、2、3和4中的任意一项所述的传输终端,其中
所述接收部分与所述要显示的数据一起接收所述要显示的数据的类型信息,以及
所述图像显示控制部分基于所述类型信息确定所述要显示的数据的类型。
6.如权利要求1、2、3和4中的任意一项所述的传输终端,其中
所述图像显示控制部分对由所述接收部分接收的所述要显示的数据进行图像处理,并确定所述要显示的数据的类型。
7.如权利要求1、2和3中的任意一项所述的传输终端,包括选择接收部分,其接收与所述要显示的数据相关联的并且显示在所述显示部分上的终端信息的选择,其中
当所述选择接收部分接收到对所述终端信息的选择时,所述图像显示控制部分在显示所述要显示的数据时停止将所述要显示的数据与所述终端信息相关联。
8.如权利要求1、2、3、4、5、6和7中的任意一项所述的传输终端,其中
所述接收部分从外部接收通过与所示传输终端通信地连接的信息处理装置的显示设备而取得的图像数据,以及
所述图像显示控制部分在将所述图像数据当作所述预定类型的要显示的数据的同时而显示所述图像数据时,确定是否将所述图像数据与所述终端信息相关联。
9.如权利要求1、2、3、4、5、6、7和8中的任意一项所述的传输终端,包括终端信息综合部分,其以取决于由所述接收部分接收的所述要显示的数据的类型的方式,综合由所述接收部分接收的所述要显示的数据与由所述终端信息获取部分获取的终端信息,其中
所述图像显示控制部分在所述显示部分上显示由所述终端信息综合部分与所述终端信息综合的所述要显示的数据。
10.一种传输终端,经由网络与另一传输终端通信地连接,所述传输终端包括:
接收部分,从外部接收要显示的数据,用于显示在与所述传输终端连接的显示部分上;
终端信息获取部分,从先前与另一传输终端相关联的信息存储区获取该另一传输终端的终端信息,该另一传输终端发送由所述接收部分接收的所述要显示的数据;以及
图像显示控制部分,以取决于由所述接收部分接收的所述要显示的数据的类型的方式,将由所述接收部分接收的所述要显示的数据和由所述终端信息获取部分获取的终端信息以彼此相关联的方式显示在所述显示部分上,其中
所述图像显示控制部分通过以下将由所述接收部分接收的所述要显示的数据和由所述终端信息获取部分获取的终端信息以彼此相关联的方式显示在所述显示部分上
在所述显示部分上,在时间上交替地显示由所述终端信息获取部分获取的终端信息和由所述接收部分接收的所述要显示的数据,或
以与显示所述要显示的数据的布局相同的布局在所述显示部分上的空间中显示由所述终端信息获取部分获取的终端信息,或
对于显示所述要显示的数据的每个区域显示标识信息,将所述标识信息与由所述终端信息获取部分获取的终端信息相关联,并在所述显示部分上的空间中显示它们。
11.一种程序,用于使得经由网络与另一传输终端通信地连接的传输终端:
从外部接收要显示的数据,用于显示在与所述传输终端连接的显示部分上;
从先前与另一传输终端相关联的信息存储区获取该另一传输终端的终端信息,该另一传输终端发送接收的要显示的数据;以及
以取决于接收的要显示的数据的类型的方式,将接收的要显示的数据和获取的终端信息以彼此相关联的方式显示在所述显示部分上。
12.一种传输终端进行的图像显示方法,该传输终端经由网络与另一传输终端通信地连接,所述图像显示方法包括:
从外部接收要显示的数据,用于显示在与所述传输终端连接的显示部分上;
从先前与另一传输终端相关联的信息存储区获取该另一传输终端的终端信息,该另一传输终端发送接收的要显示的数据;以及
以取决于接收的要显示的数据的类型的方式,将接收的要显示的数据和获取的终端信息以彼此相关联的方式显示在所述显示部分上。
13.一种传输***,包括:
图像处理装置;以及
多个传输终端,其中
所述图像处理装置和所述多个传输终端彼此通信地连接,
所述信息处理装置包括
信息存储部分,其先前与各个传输终端相关联且存储每个传输终端的终端信息,以及
所述传输终端包括
接收部分,从外部接收要显示的数据,用于显示在与所述传输终端连接的显示部分上;
终端信息获取部分,从所述信息存储部分获取该另一传输终端的终端信息,该另一传输终端发送由所述接收部分接收的所述要显示的数据;以及
图像显示控制部分,以取决于由所述接收部分接收的所述要显示的数据的类型的方式,将由所述接收部分接收的所述要显示的数据和由所述终端信息获取部分获取的终端信息以彼此相关联的方式显示在所述显示部分上。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013136213 | 2013-06-28 | ||
JP2013-136213 | 2013-06-28 | ||
JP2014-078007 | 2014-04-04 | ||
JP2014078007A JP6369101B2 (ja) | 2013-06-28 | 2014-04-04 | 伝送端末、プログラム、画像表示方法、伝送システム |
PCT/JP2014/066749 WO2014208569A1 (en) | 2013-06-28 | 2014-06-18 | Transmission terminal, program, image display method and transmission system |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105324989A true CN105324989A (zh) | 2016-02-10 |
Family
ID=52141901
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480035465.9A Pending CN105324989A (zh) | 2013-06-28 | 2014-06-18 | 传输终端、程序、图像显示方法和传输*** |
Country Status (10)
Country | Link |
---|---|
US (1) | US9986204B2 (zh) |
EP (1) | EP3014809B1 (zh) |
JP (1) | JP6369101B2 (zh) |
CN (1) | CN105324989A (zh) |
AU (1) | AU2014299909A1 (zh) |
BR (1) | BR112015032552A2 (zh) |
CA (1) | CA2914808A1 (zh) |
MX (1) | MX2015017510A (zh) |
SG (1) | SG11201510004XA (zh) |
WO (1) | WO2014208569A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113163144A (zh) * | 2020-01-07 | 2021-07-23 | 明基智能科技(上海)有限公司 | 无线简报*** |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011254442A (ja) * | 2010-05-06 | 2011-12-15 | Ricoh Co Ltd | 遠隔通信端末、遠隔通信方法、及び遠隔通信用プログラム |
JP6003360B2 (ja) * | 2012-08-01 | 2016-10-05 | 株式会社リコー | 伝送管理システム、伝送システム、及び伝送管理システム用プログラム |
JP2016062272A (ja) * | 2014-09-17 | 2016-04-25 | 株式会社リコー | 伝送システム、伝送管理システム、伝送方法およびプログラム |
JP6269610B2 (ja) | 2015-07-28 | 2018-01-31 | 株式会社リコー | 情報処理装置、画像表示方法、通信システム、プログラム |
JP2017028660A (ja) | 2015-07-28 | 2017-02-02 | 株式会社リコー | 情報処理装置、画像表示方法、通信システム、プログラム |
JP6269609B2 (ja) * | 2015-07-28 | 2018-01-31 | 株式会社リコー | 情報処理装置、画像表示方法、通信システム、プログラム |
US10511700B2 (en) | 2016-02-25 | 2019-12-17 | Ricoh Company, Ltd. | Communication terminal with first application displaying status of second application |
JP6747025B2 (ja) * | 2016-04-13 | 2020-08-26 | セイコーエプソン株式会社 | 表示システム、表示装置、及び、表示システムの制御方法 |
EP3247112A1 (en) | 2016-05-20 | 2017-11-22 | Ricoh Company, Ltd. | Information processing apparatus, communication system, and information processing method |
CN109155806B (zh) * | 2016-05-26 | 2021-06-18 | 雅马哈株式会社 | 声音信号处理装置以及声音信号处理方法 |
US10356361B2 (en) | 2016-09-16 | 2019-07-16 | Ricoh Company, Ltd. | Communication terminal, communication system, and display method |
KR20190088532A (ko) * | 2016-12-01 | 2019-07-26 | 엘지전자 주식회사 | 영상표시장치, 및 이를 구비하는 영상표시 시스템 |
WO2019176262A1 (ja) * | 2018-03-12 | 2019-09-19 | ソニー株式会社 | 映像通信装置、映像通信方法、映像処理装置および情報処理方法 |
WO2020016991A1 (ja) | 2018-07-19 | 2020-01-23 | 株式会社Fuji | 検査設定装置および検査設定方法 |
WO2021214818A1 (ja) * | 2020-04-20 | 2021-10-28 | サンリット・シードリングス株式会社 | 画面生成装置およびイベント提供方法 |
KR102449127B1 (ko) * | 2020-12-28 | 2022-09-29 | 주식회사 카카오 | 그룹 영상 통화 기능을 제공하는 어플리케이션의 동작 방법 |
US11621979B1 (en) * | 2020-12-31 | 2023-04-04 | Benjamin Slotznick | Method and apparatus for repositioning meeting participants within a virtual space view in an online meeting user interface based on gestures made by the meeting participants |
US20220301449A1 (en) * | 2021-03-16 | 2022-09-22 | Radix Technologies Ltd. | System and method for remote classroom management |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6584493B1 (en) * | 1999-03-02 | 2003-06-24 | Microsoft Corporation | Multiparty conferencing and collaboration system utilizing a per-host model command, control and communication structure |
US20040033478A1 (en) * | 2002-08-15 | 2004-02-19 | Anthony Knowles | Participant response system and method |
US20100226546A1 (en) * | 2009-03-06 | 2010-09-09 | Brother Kogyo Kabushiki Kaisha | Communication terminal, display control method, and computer-readable medium storing display control program |
WO2012046432A1 (en) * | 2010-10-04 | 2012-04-12 | Sony Corporation | Information processing apparatus, information processing system and information processing method |
WO2012147535A1 (en) * | 2011-04-28 | 2012-11-01 | Ricoh Company, Ltd. | Transmission terminal, image display control method, image display control program, recording medium, and transmission system |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0267889A (ja) * | 1988-09-02 | 1990-03-07 | Nippon Telegr & Teleph Corp <Ntt> | 表示者同定通信会議システム |
JPH09238318A (ja) | 1996-03-01 | 1997-09-09 | Matsushita Electric Ind Co Ltd | 多地点用テレビ会議システム |
JPH09271006A (ja) * | 1996-04-01 | 1997-10-14 | Ricoh Co Ltd | 多地点テレビ会議装置 |
JP2001333400A (ja) * | 2000-05-23 | 2001-11-30 | Mitsubishi Electric Corp | 多地点テレビ会議システム |
JP3732850B2 (ja) * | 2004-09-13 | 2006-01-11 | 富士通株式会社 | 多地点制御装置 |
US8035679B2 (en) * | 2006-12-12 | 2011-10-11 | Polycom, Inc. | Method for creating a videoconferencing displayed image |
JP2011061314A (ja) | 2009-09-07 | 2011-03-24 | Konica Minolta Business Technologies Inc | 会議システム、会議管理装置、端末装置およびプログラム |
US20110271210A1 (en) * | 2010-04-30 | 2011-11-03 | American Teleconferncing Services Ltd. | Conferencing Application Store |
US8558864B1 (en) * | 2010-10-12 | 2013-10-15 | Sprint Communications Company L.P. | Identifying video conference participants |
JP5353989B2 (ja) * | 2011-02-28 | 2013-11-27 | 株式会社リコー | 伝送管理装置、伝送端末、伝送システム、伝送管理方法、伝送端末制御方法、伝送管理プログラム及び伝送端末制御プログラム |
JP5810779B2 (ja) * | 2011-09-16 | 2015-11-11 | 株式会社リコー | 画面共有システム、画面共有端末、電子黒板システムおよびプログラム |
US9055193B2 (en) * | 2012-02-29 | 2015-06-09 | Brother Kogyo Kabushiki Kaisha | System and method of a remote conference |
JP6064518B2 (ja) | 2012-10-29 | 2017-01-25 | 株式会社リコー | 通信端末、遠隔会議システムおよびプログラム |
JP6111753B2 (ja) | 2013-03-11 | 2017-04-12 | 株式会社リコー | 情報処理装置、伝送システム、プログラム |
JP6384095B2 (ja) | 2013-06-06 | 2018-09-05 | 株式会社リコー | 伝送端末、プログラム、画像表示方法、伝送システム |
-
2014
- 2014-04-04 JP JP2014078007A patent/JP6369101B2/ja not_active Expired - Fee Related
- 2014-06-18 CN CN201480035465.9A patent/CN105324989A/zh active Pending
- 2014-06-18 BR BR112015032552A patent/BR112015032552A2/pt not_active Application Discontinuation
- 2014-06-18 EP EP14818431.0A patent/EP3014809B1/en not_active Not-in-force
- 2014-06-18 AU AU2014299909A patent/AU2014299909A1/en not_active Abandoned
- 2014-06-18 SG SG11201510004XA patent/SG11201510004XA/en unknown
- 2014-06-18 CA CA2914808A patent/CA2914808A1/en not_active Abandoned
- 2014-06-18 WO PCT/JP2014/066749 patent/WO2014208569A1/en active Application Filing
- 2014-06-18 MX MX2015017510A patent/MX2015017510A/es unknown
- 2014-06-18 US US14/897,544 patent/US9986204B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6584493B1 (en) * | 1999-03-02 | 2003-06-24 | Microsoft Corporation | Multiparty conferencing and collaboration system utilizing a per-host model command, control and communication structure |
US20040033478A1 (en) * | 2002-08-15 | 2004-02-19 | Anthony Knowles | Participant response system and method |
US20100226546A1 (en) * | 2009-03-06 | 2010-09-09 | Brother Kogyo Kabushiki Kaisha | Communication terminal, display control method, and computer-readable medium storing display control program |
WO2012046432A1 (en) * | 2010-10-04 | 2012-04-12 | Sony Corporation | Information processing apparatus, information processing system and information processing method |
WO2012147535A1 (en) * | 2011-04-28 | 2012-11-01 | Ricoh Company, Ltd. | Transmission terminal, image display control method, image display control program, recording medium, and transmission system |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113163144A (zh) * | 2020-01-07 | 2021-07-23 | 明基智能科技(上海)有限公司 | 无线简报*** |
CN113163144B (zh) * | 2020-01-07 | 2024-04-09 | 明基智能科技(上海)有限公司 | 无线简报*** |
Also Published As
Publication number | Publication date |
---|---|
CA2914808A1 (en) | 2014-12-31 |
EP3014809A4 (en) | 2016-05-04 |
JP6369101B2 (ja) | 2018-08-08 |
SG11201510004XA (en) | 2016-01-28 |
WO2014208569A1 (en) | 2014-12-31 |
US9986204B2 (en) | 2018-05-29 |
BR112015032552A2 (pt) | 2017-07-25 |
AU2014299909A1 (en) | 2016-01-21 |
US20160127686A1 (en) | 2016-05-05 |
JP2015029255A (ja) | 2015-02-12 |
MX2015017510A (es) | 2016-04-15 |
EP3014809A1 (en) | 2016-05-04 |
EP3014809B1 (en) | 2017-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105324989A (zh) | 传输终端、程序、图像显示方法和传输*** | |
JP6384095B2 (ja) | 伝送端末、プログラム、画像表示方法、伝送システム | |
US11106421B2 (en) | Display method and system for wireless intelligent multi-screen display | |
JP6103076B2 (ja) | 情報処理装置、プログラム、及び伝送システム | |
JP6476631B2 (ja) | 情報処理装置、データ表示方法、プログラム | |
EP2920959A1 (en) | Transmission system and program | |
JPWO2015098841A6 (ja) | 情報処理装置、プログラム、及び伝送システム | |
CN106464840A (zh) | 传输终端、传输管理设备、程序,传输方法和传输*** | |
JP6194632B2 (ja) | プログラム、設定情報利用システム、情報処理装置 | |
EP2849436A2 (en) | Apparatus, system, and method of managing data, and carrier means | |
US20170094224A1 (en) | Communication management system, communication system, and communication management method | |
JP6361728B2 (ja) | 伝送制御システム、伝送システム、伝送制御方法、及び記録媒体 | |
EP2913753A1 (en) | Transmission terminal, transmission system, transmission method, and carrier means | |
US9762859B2 (en) | Shared communication terminal, communication system, and communication method | |
EP3125494B1 (en) | Terminal, communication method, and carrier means | |
JP2016067001A (ja) | 伝送管理システム、伝送システム、管理方法、及びプログラム | |
JP2015177479A (ja) | 管理システム、プログラム、メンテナンスシステム、プログラム提供システム及び管理方法 | |
JP2016134902A (ja) | 伝送管理システム、通信方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20160210 |
|
WD01 | Invention patent application deemed withdrawn after publication |