CN103703766A - 多点连接装置和通信*** - Google Patents

多点连接装置和通信*** Download PDF

Info

Publication number
CN103703766A
CN103703766A CN201280034315.7A CN201280034315A CN103703766A CN 103703766 A CN103703766 A CN 103703766A CN 201280034315 A CN201280034315 A CN 201280034315A CN 103703766 A CN103703766 A CN 103703766A
Authority
CN
China
Prior art keywords
video
audio
information
combination
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280034315.7A
Other languages
English (en)
Inventor
相场亮人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN103703766A publication Critical patent/CN103703766A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827—Network arrangements for conference optimisation or adaptation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/567—Multimedia conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/38—Displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/50—Telephonic communication in combination with video communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
    • H04M3/569—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants using the instant speaker's algorithm

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

多点连接装置（200）包括：视频/音频信号接收单元（201），其接收从视频/音频终端（100）输出的视频/音频信号；音量水平计算单元（205），其从视频/音频信号计算音量水平；音量显示图像生成单元（207），其从音量水平生成指示音量的音量显示图像；布局设置信息接收单元（209），其接收指示关于要在相应的视频/音频终端（100）上显示的视频的布置的信息的布局设置信息；组合的视频/音频信号生成单元（211），其通过基于布局设置信息将视频/音频信号和音量显示图像组合而生成组合的视频/音频信号；以及发送单元（215），其将该组合的视频/音频信号发送到视频/音频终端（100）。

Description

多点连接装置和通信***
技术领域
本发明涉及多点连接装置和通信***。
背景技术
近年来用于与远程站点处的另一方交换视频、音频等的视频会议***随着网络等的发展而迅速增长。
视频会议***具有的问题是，说话者在说话期间感到焦虑，因为难以确定说话者的声音是否以适当的音量传达到另一方。对此问题的解决方案包括在屏幕上显示指示说话者的声音的音量的水平度量（level meter）等的方法。
例如，在日本专利申请公开No.2004-186870中公开了一种配置，其中作为本地站点处的终端的本地终端接收从安装在远程站点处的远程终端传输的关于该远程终端的说话者音量（输出音频的音量水平）的信息，在屏幕上显示该信息，并且还在屏幕上显示麦克风音量（输入音频的音量水平）以及扬声器（speaker）音量。
在日本专利申请公开No.H7-226800中公开了一种配置，其中向本地终端传输关于远程终端的扬声器音量设置信息。
然而，日本专利申请公开No.2004-186870以及日本专利申请公开No.H7-226800中公开的配置具有问题是，当远程终端在配置上与本地终端不同时，不能从远程侧获取关于远程终端的扬声器音量信息。换句话说，存在的问题是，它们仅在远程终端和本地终端在配置上类似时才可适用。
因此，存在对于如下多点连接装置以及通信***的需要，其允许视频/音频终端的每个分别显示各点的麦克风音量。
发明内容
本发明的一个目标是至少部分地解决传统技术中的问题。
根据一个实施例，提供了连接到多个视频/音频终端的多点连接装置。该多点连接装置包括：视频/音频信号接收单元，配置为接收分别从视频/音频终端输出的视频/音频信号；音量水平计算单元，配置为从各个视频/音频信号计算音量水平；音量显示图像生成单元，配置为基于由该音量水平计算单元计算的各个音量水平生成指示音量的音量显示图像；布局设置信息接收单元，配置为接收布局设置信息，每条布局设置信息指示关于要在相应的视频/音频终端上显示的视频的布置的信息；组合的视频/音频信号生成单元，配置为通过基于每个视频/音频终端的布局设置信息将视频/音频信号和音量显示图像组合而生成对于相应的视频/音频终端的组合的视频/音频信号；以及发送单元，配置为将该组合的视频/音频信号发送到相应的视频/音频终端。
根据另一实施例，提供了连接到多个视频/音频终端的多点连接装置。该多点连接装置包括：视频/音频信号接收单元，配置为接收分别从视频/音频终端输出的视频/音频信号；音量水平计算单元，配置为从各个视频/音频信号计算音量水平；布局设置信息接收单元，配置为接收布局设置信息，每条布局设置信息指示关于要在相应的视频/音频终端上显示的视频的布置的信息；组合的信息信号生成单元，配置为从每个视频/音频终端的视频音频信号、音量水平和布局设置信息生成对于相应的视频/音频终端的组合的信息信号；以及发送单元，配置为将该组合的信息信号发送到相应的视频/音频终端。
根据另一实施例，提供了通信***，其包括：多点连接装置；以及多个视频/音频终端，该多点连接装置和所述视频/音频终端经由通信网络相互连接。该多点连接装置包括：视频/音频信号接收单元，配置为接收分别从视频/音频终端输出的视频/音频信号；音量水平计算单元，配置为从各个视频/音频信号计算音量水平；布局设置信息接收单元，配置为接收布局设置信息，每条布局设置信息指示关于要在相应的视频/音频终端上显示的视频的布置的信息；组合的信息信号生成单元，配置为从至少一个视频/音频终端的视频音频信号、音量水平和布局设置信息生成对于相应的视频/音频终端的组合的信息信号；以及发送单元，配置为将该组合的信息信号发送到相应的视频/音频终端。该至少一个视频/音频终端包括：组合的信息信号接收单元，配置为接收所述组合的信息信号；音量显示图像生成单元，配置无从在所述组合的信息信号中包含的音量水平和布局设置信息生成指示音量的音量显示图像；以及视频/音频组合单元，配置为将在所述组合的信息信号中包含的视频/音频信号与所述音量显示图像组合。
当结合附图考虑时，通过阅读本发明的当前优选实施例的以下描述，将更好地理解本发明的以上和其他目标、特征、优点和技术及工业重要性。
附图说明
图1是本发明所应用于的通信***的整体配置图；
图2是例示根据第一实施例的通信***的配置的框图；
图3是例示根据第一实施例的解码单元的内部配置的框图；
图4是例示根据第一实施例的用于从视频/音频信号计算音量水平的方法的图；
图5A和5B是根据第一实施例的由音量显示图像生成单元生成的音量显示图像的图；
图6A和6B是根据第一实施例的视频布局（layout）的图；
图7A和7B是根据第一实施例的由组合的视频/音频信号生成单元所组合的视频的图；
图8A和8B是例示根据第一实施例的通信***的操作的顺序图；
图9是例示根据第二实施例的通信***的配置的框图；
图10A和10B是根据第二实施例的另外的信息的数据结构的图；
图11A和11B是根据第二实施例的由组合的视频/音频信号生成单元所组合的图像的图；
图12是例示根据第二实施例的通信***的操作的顺序图；
图13是例示根据第三实施例的通信***的配置的框图；以及
图14是例示根据第三实施例的通信***的操作的顺序图。
具体实施方式
第一实施例
参考图1和图2说明根据本发明的第一实施例。图1是本发明所应用于的通信***的整体配置图。图2是图示根据第一实施例的通信***的配置的框图。本实施例特征在于，多点连接装置包括在组合的视频/音频信号生成单元上游的音量水平计算单元。
通信***1包括多个视频/音频终端1001到100n以及多点连接装置200，多点连接装置200中继要由视频/音频终端1001到100n发送和接收的视频/音频信号以及各种类型的信息。视频/音频终端1001到100n以及多点连接装置200经由通信网络彼此连接。下文中，将视频/音频终端1001到100n的任意一个简称为“视频/音频终端100”。另外，布局设置信息发送单元300经由通信网络连接到多点连接装置200。布局设置信息发送单元300是将作为关于视频布局的信息的布局设置信息以及要在视频/音频终端100的显示单元上显示的信息发送到多点连接装置200的单元。
n个（n是等于或大于二的任意数字）视频/音频终端1001到100n连接到所示的多点连接装置200。如图1所示，视频/音频终端的每个包括：相机（捕捉单元），其捕捉每个点的视频；麦克风（音频输入单元），其接收在会议期间的音频的输入并将该音频转换为电信号；以及显示器、投影仪等（显示单元），其显示来自各点的视频等。图2例示如下情况：其中视频/音频终端1001到100n-1用作发送视频和音频的发送方终端并且视频/音频终端100n用作接收从视频/音频终端1001到100n-1发送的视频和音频的接收方终端。
多点连接装置200包括视频/音频信号接收单元201、解码单元203、音量水平计算单元205、音量显示图像生成单元207、布局设置信息接收单元209、组合的视频/音频信号生成单元211、编码单元213以及发送单元215。
视频/音频信号接收单元201接收从视频/音频终端1001到100n发送的视频/音频信号。同时，通常从视频/音频终端100发送的是压缩状态的视频/音频信号。
解码单元203解码由视频/音频信号接收单元201接收的每个压缩的视频/音频信号。以下说明解码单元203的例子。图3是例示根据第一实施例的解码单元的内部配置的框图。解码单元203可以具有如图3所示的这样的配置以能够支持多种编码格式。
解码单元203包括确定单元221、解码器选择单元223以及单格式(single-format)解码器组227，该单格式解码器组227包括多个单格式解码器225a、225b、225c、……。确定单元221确定压缩的视频/音频信号的编码格式并向解码器选择单元223输出确定的结果。解码器选择单元223将该压缩的视频/音频信号输出到基于从确定单元221输出的确定的结果而从单格式解码器225a、225b、225c、……中选择的一个单格式解码器。所选的单格式解码器解码输入到其处的压缩的视频/音频信号并输出视频/音频信号。
音量水平计算单元205（图2）分别从由解码单元203解码的视频/音频信号之一计算每个音量水平，并输出该音量水平作为音量水平信息。存在用于计算音量水平的各种方法。方法的例子包括使用在单位时间中的音频信号的最大幅度或RMS的计算。“最大幅度”表示在某个时间段中的信号值的绝对最大值。“RMS”表示在某个时间段中的信号值的均方根。图4是例示根据第一实施例的用于从视频/音频信号计算音量水平的方法的图。
以下讨论如图4所示的音频信号随着时间而改变的示例情况，其中s(t)表示音频信号，Δt表示单位时间。可以使用以下公式使用最大幅度来计算音量水平volmax。
vol max = max t ∈ [ t 1 , t 2 ] | s ( t ) |
可以使用以下公式使用RMS计算音量水平volrms。
vol rms = 1 Δt ∫ t 1 t 2 { S ( t ) } 2 dt
同时，音量水平不一定是实际的最大幅度。例如，一种方法如下输出音量水平，该音量水平以如下方式被标准化并且量化为预定范围中的整数、例如从0到10的十进制值：0对应于无声状态并且10对应于0-dB状态。“标准化”意味着根据某个规则变换数据以使得数据更有用。
音量显示图像生成单元（图2）基于从音量水平计算单元205输出的音量水平信息生成音量显示图像。图5A和5B是由根据第一实施例的音量显示图像生成单元生成的音量显示图像的图。
例如，在图5A中，音量显示图像231由作为横向延长的矩形的音量显示区231a和在该音量显示区231a中显示的条231b形成。音量显示区231a以预定的基色显示。条231b至少在三边上接触音量显示区231a并且以与音量显示区231a的基色不同的颜色显示。音量被表达为音量显示区231a中的条231b的面积。更具体地，通过仅向音量显示区231a的一部分分配不同的颜色来表达音量，该部分的面积依赖于音量水平。例如，如在(a-2)中所示，在最小音量时条231b的区域是0，并且仅显示音量显示区231a。如在(a-3)中所示，在最大音量时该条231b的面积最大，全部音量显示区231a变为条231b。
在图5B中，音量显示图像233由从在一条垂直线上布置的多个片段条235a形成的音量显示区235（片段条图）以及表示音量的彩色的片段条237形成。每个片段条235a以预定的基色显示。片段条237是音量显示区235中的片段条235a中的填充了与基色不同的颜色的片段条235a。在图5B中，音量被表达为片段条237的数量。更具体地，通过仅向音量显示区235的其数量依赖于音量水平的片段条235a分配不同的颜色来表达音量。例如，如（b-2）中所示，在最小音量时片段条237的数量是零。如（b-3）中所示，在最大音量时，音量显示区235中的所有片段条235a变为片段条237。
同时，可以采用除了图5A和5B中所给出的例子之外的任何其他图像，只要该图像允许音量的视觉识别即可。例如，可以采用除了矩形之外的诸如椭圆形、圆形或者三角形的另一形状。
布局设置信息接收单元209（图2）接收从布局设置信息发送单元200发送的布局设置信息。同时，该布局设置信息是如下信息，其指示关于视频的布置的信息。更具体地，布局设置信息是指示视频/音频终端1001到100n的视频要在什么布局或者什么布置中显示的信息。同时，布局设置信息发送单元300通常被并入在视频/音频终端100n中，并且配置为使得布局设置可以由视频/音频终端100n的用户使用视频/音频终端100n的操作按钮等按期望选择和指定。
图6A和6B是根据第一实施例的视频布局的图。例示了其中在两个点处的视频显示在一个屏幕上的例子。更具体地，例子是显示在两个点之间的会议中的本地点处的视频和在远程点处的视频的情况以及显示在三个点之间的会议中的两个远程点处的视频的情况。
图6A所示的显示屏幕241是主导整个屏幕的区域241A和被显示为重叠在区域241A上并且小于区域241A的区域241B的布局的例子。在某个点处的视频显示在区域241A上，而在另一点处的视频显示在区域241B上。在图6A中，区域241B被显示为叠加在区域241A的右下部分上；但是，要显示区域241B的位置不限于此。可以采用其中例如区域241B被布置在左下、左上或者右上的类似布局。
图6B中所示的显示屏幕243是其中屏幕被垂直划分为两部分的示例布局，区域243C在左边，区域243D在右边。在某个点处的视频显示在区域243C上，而在另一点处的视频显示在区域243D上。类似布局的例子包括其中使得区域243C和243D的每个的上部和下部空白以维持要显示的视频的纵横比的布局。
当然，可以采用除了图6A和6B中所示的例子之外的视频布局。
组合的视频/音频信号生成单元211（图2）基于由布局设置信息接收单元209接收的布局设置信息将解码单元203解码的视频/音频信号与音量显示图像生成单元207生成的音量显示图像相组合。组合的视频/音频信号是组合至少来自多个视频/音频终端的视频/音频信号而得到的信号。通过不仅组合视频/音频信号而且组合音量显示图像来获得根据本实施例的组合的视频/音频信号。图7A和7B是根据第一实施例由组合的视频/音频信号生成单元所组合的视频的图。
图7A所示的组合的视频是如下例子，其中例如接收到与图6B所示的布局对应的布局设置信息并且使用如图5A所示的这样的音量显示图像。音量显示图像231被显示在显示屏幕243上的区域243C和区域243D的较下部分中。
类似地，图7B所示的组合的视频是如下例子，其中例如接收到与图6A所示的布局对应的布局设置信息并且使用如图5B所示的这样的音量显示图像。音量显示图像233显示在显示屏幕243上的区域241A的左端部分和区域241B的右端部分。
编码单元213（图2）编码从组合的视频/音频信号生成单元输出的组合的视频/音频信号以压缩数据大小。
发送单元215将由编码单元213压缩的组合的视频/音频信号发送到视频/音频终端100n。
视频/音频终端100n将如图7A或7B所示基于接收的组合的视频/音频信号而组合的视频输出到诸如显示器或投影仪的显示单元。实际上，视频/音频终端1001到100n-1的每个也接收来自视频/音频终端100的视频/音频信号。因而，向/从布局设置信息接收单元209、组合的视频/音频信号生成单元211、编码单元213和发送单元215输入/输出n个信号。
参考顺序图说明通信***1的操作。图8A和8B是图示根据第一实施例的通信***的操作的顺序图。
首先，参考图8A说明与布局设置信息处理有关的操作。布局设置信息发送单元300向多点连接装置200发送布局设置信息（步骤S1）。多点连接装置200的布局设置信息接收单元209接收布局设置信息（步骤S2）并将其存储在存储单元（未示出）中（步骤S3）。
接下来，参考图8B说明与视频/音频处理有关的操作。
视频/音频终端1001到100n向多点连接装置200发送压缩的视频/音频信号（步骤S11和S12）。
多点连接装置200的视频/音频信号接收单元201接收来自视频/音频终端1001到100n的n个压缩的视频/音频信号（步骤S13）。解码单元203将压缩的视频/音频信号解码为n个压缩的视频/音频信号（步骤S14）。音量水平计算单元205从由解码单元203解码的n个视频/音频信号计算n个音量水平（步骤S15）。音量显示图像生成单元207从自音量水平计算单元205输出的有关n个音量水平的信息生成n个音量显示图像（步骤S16）。组合的视频/音频信号生成单元211取回在图8A的步骤S3存储的布局设置信息并将该n个视频/音频信号与n个音量显示图像组合（步骤S17）。编码单元213编码通过由组合的视频/音频信号生成单元211组合而获得的组合的视频/音频信号（步骤S18）。发送单元215将由编码单元213生成的压缩的组合的视频/音频信号发送到视频/音频终端100n（步骤S19）。
视频/音频终端100n接收压缩的组合的视频/音频信号（步骤S20），对其解码（步骤S21），并在显示单元上显示获得的视频/音频信号（步骤S22）。
远程终端的扬声器音量和本地终端的麦克风音量是关于从本地站点发送到远程站点的音频的信息。不仅上述的这种信息而且关于从远程站点发送到本地站点的音频的诸如本地终端的扬声器音量和远程终端的麦克风音量的信息优选被同时显示。这允许基于扬声器提供的音频如何在本地侧可听见以及与远程侧的音频有关的音量显示之间的关系进行语音音量水平的调整，这在观看与本地侧的音频有关的音量显示时进行，由此有助于调整。此外，还有利的是，在出现故障时，该信息可以被用作确定故障的原因的参考信息。
如上所述，根据本实施例，多点连接装置包括音量水平计算单元和音量显示图像生成单元，并且将由组合的视频/音频信号生成单元组合音量显示图像组合到其中的组合的视频/音频信号发送到视频/音频终端。视频/音频终端可以接收其中已经包含音量显示图像的组合的视频/音频信号。因此，作为接收侧的视频/音频终端可以不依赖于视频/音频终端的配置个别地(individually)显示其它视频/音频终端的麦克风音量。
此外，在计算音量水平时利用最大幅度允许采用适当的值作为音量水平。此外，在计算音量水平时利用RMS允许采用容易处理的值作为音量水平。此外，利用被标准化和量化的音量水平允许以直观和可理解的方式显示音量。
同时，在本实施例中，为了便于说明，仅描述了仅视频/音频终端100n的接收操作。但是，视频/音频终端1001到100n-1实际上也接收视频/音频信号，并且进行与上述类似的处理。
第二实施例
参考图9说明根据本发明的第二实施例。图9是例示根据第二实施例的通信***的配置的框图。本实施例特征在于，视频/音频终端进行生成音量显示图像并将生成的音量显示图像与视频/音频信号组合。
n（n是等于或大于二的任意数字）个视频/音频终端1101到110n连接到通信***2的多点连接装置250。图9例示视频/音频终端110n接收来自视频/音频终端1101到110n-1的视频/音频信号的情况。注意，具有与第一实施例的配置相同的配置的终端可以被用作个视频/音频终端1101到110n-1。
多点连接装置250包括视频/音频信号接收单元201、解码单元203、音量水平计算单元205、组合的信息信号生成单元251、编码单元253、布局设置信息接收单元209和发送单元255。视频/音频信号接收单元201、解码单元203、音量水平计算单元205以及布局设置信息接收单元209类似于第一实施例的多点连接装置200的相应单元，并且第一实施例相同的参考数字指示；因而，省略其描述。
组合的信息信号生成单元251基于由布局设置信息接收单元209接收的布局设置信息来组合解码单元203解码的视频/音频信号。此外，组合的信息信号生成单元251通过将由音量水平计算单元205计算的关于音量水平的信息（音量水平信息，其是另外的信息）以及布局设置信息（另外的信息）嵌入到获得的组合的信号中而生成组合的信息信号。进行此另外的信息的嵌入以便减小通过解码组合的信息信号而获得的视频/音频信号和原始视频/音频信号之间的差别。例如，该另外的信息被嵌入到视频/音频信号的高频分量中。以此方式的嵌入允许甚至不具有特定配置的视频/音频终端或者更具体地甚至不包括将在稍后描述的音量显示图像生成单元115和视频/音频组合单元117的视频/音频终端（例如视频/音频终端110）获取和利用视频/音频信号，并且还防止数据大小的增加。
图10A和10B是根据第二实施例的另外的信息的数据结构的图。例如，如图10A所示，音量水平信息和布局设置信息具有如下数据结构，其中关于视频/音频终端的音量水平信息与相应的布局信息相关联。关于每个视频/音频终端的布局位置信息可以以例如视频显示位置的XY坐标值表达。图10B例示其中分配了实际值的情况。在此例子中分配与图7A对应的值。音量显示图像231的左上点的坐标（160,560）和（800,560）以及右下点的坐标（320,620）和（960,620）分别被分配用于终端号1和2，作为布局设置信息。对于终端号3的布局设置中的负值表示被分配了此号码的视频/音频终端的视频将不被显示。
编码单元253（图9）编码从组合的信息信号生成单元251输出的组合的信息信号以压缩数据大小。
发送单元251将由编码单元253压缩的组合的信息信号发送到视频/音频终端110n。
视频/音频终端110n包括组合的信息信号接收单元111、解码单元113、音量显示图像生成单元115和视频/音频组合单元117。
组合的信息信号接收单元111接收从多点连接装置250发送的压缩的组合的信息信号。
解码单元113解码该压缩的组合的信息信号。
音量显示图像生成单元115基于在该组合的信息信号中嵌入的音量水平信息和布局设置信息生成包括指示音量的音量显示图像的显示屏幕。图11A和11B是根据第二实施例的由组合的视频/音频信号生成单元组合的图像的图。
图11A所示的组合的视频是例如用如图5A所示的这样的音量显示方法并从与图6B对应的布局设置信息生成的图像的例子。指示被分配了终端号1和2的视频/音频终端的音量的音量显示图像231个别显示在显示屏幕121的底部部分中。
类似地，图11B所示的组合的视频是例如用如图5B所示的这样的音量显示方法并从与图6A对应的布局设置信息生成的图像的例子。指示被分配了终端号1和2的视频/音频终端的音量的音量显示图像233分别显示在显示屏幕123的左端部分的较下部分以及右端部分的较下部分中。
当然，可以通过组合获得除了图11A和11B所示的例子之外的任意视频，只要音量水平和显示图像以及布局设置信息和显示位置彼此对应即可。
视频/音频组合单元117（图9）将解码单元113解码的组合的信息信号与音量显示图像生成单元115生成的音量显示图像组合。更具体地，视频/音频组合单元117采取包含音量水平信息的组合的信息信号作为视频/音频信号并照原样利用该组合的信息信号而不进行从组合的信息信号中仅分离出视频/音频信号的操作。例如，当被采用作为视频/音频信号的该组合的信息信号与如图11A所示的这样的音量显示图像组合时，获得如图7A所示的这样的视频/音频信号。
视频/音频终端110-n基于组合的视频/音频信号向诸如显示器或投影仪的显示单元输出如图7A和7B所示的这样的视频。
参考顺序图说明以上所述的通信***2的操作。图12是图示根据第二实施例的通信***的操作的顺序图。该图仅例示了与视频/音频处理有关的操作。与布局设置信息有关的操作类似于第一实施例（见图8A）并且省略其描述。与第一实施例类似的处理由相同的步骤号表示并且省略其描述。
视频/音频终端1101到110n向多点连接装置250发送压缩的视频/音频信号（步骤S11和S12）。
多点连接装置250进行从步骤S13到步骤S15的处理。
多点连接装置250的组合的信息信号生成单元251取回在图8A的步骤S3存储的布局设置信息并基于该布局设置信息组合n个视频/音频信号（步骤S31）。此外，组合的信息信号生成单元251通过将包含该布局设置信息和音量水平信息的另外的信息嵌入到通过组合而获得的视频/音频信号中而生成组合的信息信号（步骤S32）。
进行获得的组合的视频/音频信号的编码和发送（步骤S18’和S19’）。
视频/音频终端110n的组合的信息信号接收单元111接收压缩的组合的信息信号（步骤S20’）。解码单元113解码该压缩的组合的信息信号（步骤S21’）。音量显示图像生成单元115基于在解码的组合的信息信号中嵌入的音量水平信息和布局设置信息生成音量显示图像（步骤S33）。视频/音频组合单元117将该组合的信息信号与音量显示图像组合（步骤S34）。将所获得的视频/音频显示在显示单元上（步骤S22’）。
如上所述，根据本实施例，能够个别地显示多个点处的麦克风音量。此外，不管在用作发送方终端的另一点处的视频/音频终端的配置如何，都能够提供上述的显示。
此外，多点连接装置的组合的信息信号生成单元通过将包含布局设置信息和音量水平的另外的信息嵌入在视频/音频信号中而生成组合的信息信号，并将该组合的信息信号发送到视频/音频终端。因而，能够发送和接收音量水平和布局设置信息而不增加原始视频/音频信号的数据大小。
在第一实施例中，不管视频/音频终端的配置如何，每个视频/音频终端获得类似的视频；但是，在视频/音频终端包括其自己的音量显示单元等的情况下，音量显示可能不利地变得冗余。但是，利用第二实施例，这样的情况将不会发生，因为视频/音频终端包括音量显示图像生成单元和视频/音频组合单元。
第三实施例
说明作为第二实施例的变形的第三实施例。在根据第二实施例的通信***2（图9）中，由音量水平信息和布局设置信息构成的另外的信息被嵌入在组合的信息信号中以向视频/音频终端发送音量水平信息和布局设置信息。与之相反，可以采用其中组合的视频/音频信号通过第一信道发送并且另外的信息通过第二信道发送到视频/音频终端而不是进行嵌入的配置。图13是例示根据第三实施例的通信***的配置的框图。与第一和第二实施例类似的组件由相同的参考标记表示并且省略其描述。
通信***3的多点连接装置260的组合的信息信号生成单元251包括两个单元，它们是另外的信息生成单元261和组合的视频/音频信号生成单元263。另外的信息生成单元261从音量水平和布局设置信息生成具有诸如图10A和10B所示的这样的数据结构的另外的信息。组合的视频/音频信号生成单元263输出组合的视频/音频信号，在该组合的视频/音频信号中，基于该布局设置信息组合了视频/音频终端130的视频/音频信号。同时，根据本发明从组合的信息信号生成单元251输出的另外的信息和组合的视频/音频信号被统称为组合的信息信号。
编码单元253包括另外的信息编码单元265和组合的视频/音频信号编码单元267。另外的信息编码单元265编码该另外的信息，并且组合的视频/音频信号编码单元267编码组合的视频/音频信号以压缩数据大小。
发送单元255包括另外的信息发送单元269和组合的视频/音频信号发送单元271。另外的信息发送单元269发送压缩的另外的信息。组合的视频/音频信号发送单元271发送压缩的组合的视频/音频信号。
视频/音频终端130n的组合的信息信号接收单元111包括另外的信息接收单元131和组合的视频/音频信号接收单元133。另外的信息接收单元131接收压缩的另外的信息。组合的视频/音频信号接收单元133接收压缩的组合的视频/音频信号。
解码单元113包括另外的信息解码单元135和组合的视频/音频信号解码单元137。另外的信息解码单元135解码压缩的另外的信息。组合的视频/音频信号解码单元137解码压缩的组合的视频/音频信号。
参考顺序图说明以上所述的通信***3的操作。图14是图示根据第三实施例的通信***的操作的顺序图。该图仅例示了与视频/音频处理有关的操作。与布局设置信息处理有关的操作类似于第一实施例（见图8A）并且省略其描述。与第一和第二实施例类似的处理由相同的步骤号表示并且省略其描述。
视频/音频终端1301到130n向多点连接装置260发送压缩的视频/音频信号（步骤S11和S12）。
多点连接装置260进行从步骤S13到步骤S15的处理、
通过多点连接装置260的第一信道处理视频音频信号。组合的视频/音频信号生成单元263取回在图8A的步骤S3存储的布局设置信息，并基于该布局设置信息组合n个视频/音频信号（步骤S41）。组合的视频/音频信号编码单元267编码由组合的视频/音频信号生成单元263所组合的组合的视频/音频信号（步骤S42）。组合的视频/音频信号发送单元271将由该组合的视频/音频信号编码单元267编码的压缩的组合的视频/音频信号发送到视频/音频终端130n（步骤S43）。
另一方面，通过多点连接装置260的第二信道处理另外的信息。另外的信息生成单元261取回在图8A的步骤S3存储的布局设置信息并生成包含该布局设置信息和音量水平信息的另外的信息（步骤S44）。另外的信息编码单元265编码由该另外的信息生成单元261生成的另外的信息（步骤S45）。另外的信息发送单元269向视频/音频终端130n发送由该另外的信息编码单元265编码的压缩的另外的信息（步骤S46）。
通过视频/音频终端130n的第一信道处理视频/音频信号。组合的视频/音频信号接收单元133接收压缩的组合的视频/音频信号（步骤S47）。组合的视频/音频信号解码单元137解码该压缩的组合的视频/音频信号（步骤S48）。
另一方面，通过视频/音频终端130n的第二信道处理另外的信息。另外的信息接收单元131接收压缩的另外的信息（步骤S49）。另外的信息解码单元135解码压缩的另外的信息（步骤S50）。音量显示图像生成单元115基于在解码的另外的信息中包含的音量水平信息和布局设置信息生成音量显示图像（步骤S33’）。
视频/音频组合单元117将由组合的视频/音频解码单元137解码的组合的视频/音频信号与由音量显示图像生成单元115生成的音量显示图像组合（步骤S34’）。获得的视频/音频信号显示在显示单元上（步骤S22”）。
如上所述，根据本实施例，通过不同的信道发送另外的信息和视频/音频信号。因而，能够发送和接收音量水平信息而不修改原始视频/音频信号。
在第一实施例中，不管视频/音频终端的配置如何，获得类似的视频；但是，在视频/音频终端包括其自己的音量显示单元等的情况下，音量显示可能不利地变得冗余。但是，利用第三实施例，这样的情况将不会发生，因为视频/音频终端包括音量显示图像生成单元和视频/音频组合单元。
根据这些实施例，从每个分别从视频/音频终端发送的视频/音频信号计算音量水平，从音量水平生成音量显示图像，并且生成其中组合了从视频/音频终端发送的音量显示图像和视频/音频信号的信号。因而，即使当通过连接三个或更多远程站点而举行多点会议时，每个视频/音频终端也可以单独显示各点的麦克风音量。
尽管为了完整和清楚的公开已经关于具体实施例描述了本发明，但是所附权利要求并不因此受限并且对本领域技术人员来说可能发生的替换构造完全落在在此所述的基本教导内。

Claims (13)

1.一种连接到多个视频/音频终端的多点连接装置，该多点连接装置包括：
视频/音频信号接收单元，配置为接收分别从视频/音频终端输出的视频/音频信号；
音量水平计算单元，配置为从各个视频/音频信号计算音量水平；
音量显示图像生成单元，配置为基于由该音量水平计算单元计算的各个音量水平生成指示音量的音量显示图像；
布局设置信息接收单元，配置为接收布局设置信息，每条布局设置信息指示关于要在相应的视频/音频终端上显示的视频的布置的信息；
组合的视频/音频信号生成单元，配置为，对于每个视频/音频终端，通过基于相应视频/音频终端的布局设置信息将视频/音频信号和音量显示图像组合而生成组合的视频/音频信号；以及
发送单元，配置为将该组合的视频/音频信号发送到相应的视频/音频终端。
2.根据权利要求1的多点连接装置，其中每个音量水平是单位时间的音频信号的最大幅度。
3.根据权利要求1的多点连接装置，其中每个音量水平是单位时间的音频信号的均方根。
4.一种连接到多个视频/音频终端的多点连接装置，该多点连接装置包括：
视频/音频信号接收单元，配置为接收分别从视频/音频终端输出的视频/音频信号；
音量水平计算单元，配置为从各个视频/音频信号计算音量水平；
布局设置信息接收单元，配置为接收布局设置信息，每条布局设置信息指示关于要在相应的视频/音频终端上显示的视频的布置的信息；
组合的信息信号生成单元，配置为，对于每个视频/音频终端，从相应视频/音频终端的视频音频信号、音量水平和布局设置信息生成组合的信息信号；以及
发送单元，配置为将该组合的信息信号发送到相应的视频/音频终端。
5.根据权利要求4的多点连接装置，其中每个音量水平是单位时间的音频信号的最大幅度。
6.根据权利要求4的多点连接装置，其中每个音量水平是单位时间的音频信号的均方根。
7.根据权利要求4的多点连接装置，其中组合的信息信号是通过将布局设置信息和音量水平嵌入到视频/音频信号中而获得的信号。
8.根据权利要求4的多点连接装置，其中
所述组合的信息信号包括基于布局设置信息组合相应的视频/音频信号得到的组合的视频/音频信号、以及由布局设置信息和音量水平构成的另外的信息，
所述组合的信息信号生成单元通过第一信道输出所述组合的视频/音频信号，并且通过第二信道输出所述另外的信息，以及
所述发送单元通过第一信道向相应的视频/音频终端发送所述组合的视频/音频信号，并且通过第二信道向相应的视频/音频终端发送所述另外的信息。
9.一种通信***，包括：
多点连接装置；以及
多个视频/音频终端，所述多点连接装置和所述视频/音频终端经由通信网络相互连接，其中
所述多点连接装置包括
视频/音频信号接收单元，配置为接收分别从视频/音频终端输出的视频/音频信号；
音量水平计算单元，配置为从各个视频/音频信号计算音量水平；
布局设置信息接收单元，配置为接收布局设置信息，每条布局设置信息指示关于要在相应的视频/音频终端上显示的视频的布置的信息；
组合的信息信号生成单元，配置为，对于视频/音频终端的至少一个，从相应的视频/音频终端的视频音频信号、音量水平和布局设置信息生成组合的信息信号；以及
发送单元，配置为将该组合的信息信号发送到相应的视频/音频终端，以及
所述至少一个视频/音频终端包括
组合的信息信号接收单元，配置为接收所述组合的信息信号；
音量显示图像生成单元，配置为从在所述组合的信息信号中包含的音量水平和布局设置信息生成指示音量的音量显示图像；以及
视频/音频组合单元，配置为将在所述组合的信息信号中包含的视频/音频信号与所述音量显示图像组合。
10.根据权利要求9的通信***，其中每个音量水平是单位时间的音频信号的最大幅度。
11.根据权利要求9的通信***，其中每个音量水平是单位时间的音频信号的均方根。
12.根据权利要求9的通信***，其中组合的信息信号是通过将布局设置信息和音量水平嵌入到视频/音频信号中而获得的信号。
13.根据权利要求9的通信***，其中所述组合的信息信号包括基于布局设置信息组合相应的视频/音频信号得到的组合的视频/音频信号、以及由布局设置信息和音量水平构成的另外的信息，
所述组合的信息信号生成单元通过第一信道输出所述组合的视频/音频信号，并且通过第二信道输出所述另外的信息，以及
所述发送单元通过第一信道向相应的视频/音频终端发送所述组合的视频/音频信号，并且通过第二信道向相应的视频/音频终端发送所述另外的信息，
所述组合的信息信号接收单元通过所述第一信道接收所述组合的视频/音频信号，并且通过所述第二信道接收所述另外的信息，
所述音量显示图像生成单元从所述另外的信息生成指示音量的音量显示图像，以及
所述视频/音频组合单元将所述音量显示图像与所述组合的视频/音频信号组合。
CN201280034315.7A 2011-07-14 2012-07-10 多点连接装置和通信*** Pending CN103703766A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011155690A JP5817276B2 (ja) 2011-07-14 2011-07-14 多地点接続装置、映像音声端末、通信システム、及び信号処理方法
JP2011-155690 2011-07-14
PCT/JP2012/068039 WO2013008941A1 (en) 2011-07-14 2012-07-10 Multipoint connection apparatus and communication system

Publications (1)

Publication Number Publication Date
CN103703766A true CN103703766A (zh) 2014-04-02

Family

ID=47506216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280034315.7A Pending CN103703766A (zh) 2011-07-14 2012-07-10 多点连接装置和通信***

Country Status (8)

Country Link
US (1) US9392224B2 (zh)
EP (1) EP2732622B8 (zh)
JP (1) JP5817276B2 (zh)
KR (1) KR101561371B1 (zh)
CN (1) CN103703766A (zh)
AU (1) AU2012281463B2 (zh)
CA (1) CA2841096C (zh)
WO (1) WO2013008941A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105592286A (zh) * 2014-10-22 2016-05-18 阿里巴巴集团控股有限公司 即时通信界面信息处理方法及装置
CN108182097A (zh) * 2016-12-08 2018-06-19 武汉斗鱼网络科技有限公司 一种音量条的实现方法及装置
CN108182047A (zh) * 2016-12-08 2018-06-19 武汉斗鱼网络科技有限公司 一种音量信息的显示方法及装置
CN110636329A (zh) * 2018-06-22 2019-12-31 视联动力信息技术股份有限公司 一种音频数据的处理方法和装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014195229A (ja) * 2013-03-29 2014-10-09 Brother Ind Ltd サーバ装置プログラム、サーバ装置及び通信装置プログラム
US9794685B2 (en) 2015-01-23 2017-10-17 Ricoh Company, Ltd. Video audio recording system, video audio recording device, and video audio recording method
US10516852B2 (en) * 2018-05-16 2019-12-24 Cisco Technology, Inc. Multiple simultaneous framing alternatives using speaker tracking

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1759384A (zh) * 2003-03-10 2006-04-12 松下电器产业株式会社 接收设备和信息浏览方法
US20060247045A1 (en) * 2005-04-28 2006-11-02 Hyeonkuk Jeong Audio processing in a multi-participant conference
US20060245377A1 (en) * 2005-04-28 2006-11-02 Hyeonkuk Jeong Heterogeneous video conferencing
CN101162575A (zh) * 2006-10-12 2008-04-16 佳能株式会社 显示控制设备和方法、显示设备和处理方法、多显示***
CN101491091A (zh) * 2006-09-27 2009-07-22 株式会社东芝 用于合成信息的装置、用于控制信息的装置以及计算机程序产品
US20090309897A1 (en) * 2005-11-29 2009-12-17 Kyocera Corporation Communication Terminal and Communication System and Display Method of Communication Terminal

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3085317B2 (ja) 1991-05-07 2000-09-04 株式会社リコー 電話装置
GB2284968A (en) * 1993-12-18 1995-06-21 Ibm Audio conferencing system
JP3449772B2 (ja) 1994-02-15 2003-09-22 沖電気工業株式会社 多地点間会議装置
JPH099229A (ja) * 1995-06-15 1997-01-10 Oki Electric Ind Co Ltd 多地点間会議装置
JP2004186870A (ja) 2002-12-02 2004-07-02 Nippon Telegr & Teleph Corp <Ntt> テレビ会議方法、利用者端末装置の処理方法、利用者端末装置、プログラム及び記録媒体
US7499969B1 (en) * 2004-06-25 2009-03-03 Apple Inc. User interface for multiway audio conferencing
US7899170B2 (en) * 2005-04-28 2011-03-01 Apple Inc. Multi-participant conference setup
US20060248210A1 (en) 2005-05-02 2006-11-02 Lifesize Communications, Inc. Controlling video display mode in a video conferencing system
JP4522332B2 (ja) * 2005-07-01 2010-08-11 日本電信電話株式会社 映像音声配信システムおよび方法およびプログラム
JP4567543B2 (ja) * 2005-07-22 2010-10-20 パイオニア株式会社 電子会議システムおよびその会議端末
US7768543B2 (en) * 2006-03-09 2010-08-03 Citrix Online, Llc System and method for dynamically altering videoconference bit rates and layout based on participant activity
KR100847147B1 (ko) 2007-04-18 2008-07-18 한국전자통신연구원 화상회의 제어 방법 및 그 장치
KR101414603B1 (ko) 2007-05-07 2014-07-03 엘지전자 주식회사 다자간 통화방법 및 이를 구현할 수 있는 통신단말기
JP2009065336A (ja) * 2007-09-05 2009-03-26 Hitachi Communication Technologies Ltd テレビ会議システム
AU2009257627B2 (en) * 2008-06-09 2014-05-01 Vidyo, Inc. Improved view layout management in scalable video and audio communication systems
JP2010103853A (ja) 2008-10-24 2010-05-06 Panasonic Corp 音量監視装置及び音量監視方法
JP5857674B2 (ja) 2010-12-22 2016-02-10 株式会社リコー 画像処理装置、及び画像処理システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1759384A (zh) * 2003-03-10 2006-04-12 松下电器产业株式会社 接收设备和信息浏览方法
US20060247045A1 (en) * 2005-04-28 2006-11-02 Hyeonkuk Jeong Audio processing in a multi-participant conference
US20060245377A1 (en) * 2005-04-28 2006-11-02 Hyeonkuk Jeong Heterogeneous video conferencing
US20090309897A1 (en) * 2005-11-29 2009-12-17 Kyocera Corporation Communication Terminal and Communication System and Display Method of Communication Terminal
CN101491091A (zh) * 2006-09-27 2009-07-22 株式会社东芝 用于合成信息的装置、用于控制信息的装置以及计算机程序产品
CN101162575A (zh) * 2006-10-12 2008-04-16 佳能株式会社 显示控制设备和方法、显示设备和处理方法、多显示***

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105592286A (zh) * 2014-10-22 2016-05-18 阿里巴巴集团控股有限公司 即时通信界面信息处理方法及装置
CN105592286B (zh) * 2014-10-22 2019-03-01 阿里巴巴集团控股有限公司 即时通信界面信息处理方法及装置
CN108182097A (zh) * 2016-12-08 2018-06-19 武汉斗鱼网络科技有限公司 一种音量条的实现方法及装置
CN108182047A (zh) * 2016-12-08 2018-06-19 武汉斗鱼网络科技有限公司 一种音量信息的显示方法及装置
CN108182047B (zh) * 2016-12-08 2020-10-16 武汉斗鱼网络科技有限公司 一种音量信息的显示方法及装置
CN110636329A (zh) * 2018-06-22 2019-12-31 视联动力信息技术股份有限公司 一种音频数据的处理方法和装置

Also Published As

Publication number Publication date
CA2841096C (en) 2017-01-17
JP2013021633A (ja) 2013-01-31
EP2732622B1 (en) 2021-01-06
US20140139611A1 (en) 2014-05-22
KR101561371B1 (ko) 2015-10-26
KR20140012755A (ko) 2014-02-03
EP2732622A1 (en) 2014-05-21
EP2732622A4 (en) 2014-12-24
EP2732622B8 (en) 2021-03-24
AU2012281463A1 (en) 2014-01-30
US9392224B2 (en) 2016-07-12
AU2012281463B2 (en) 2015-11-05
CA2841096A1 (en) 2013-01-17
WO2013008941A1 (en) 2013-01-17
JP5817276B2 (ja) 2015-11-18

Similar Documents

Publication Publication Date Title
CN103703766A (zh) 多点连接装置和通信***
CN101309390B (zh) 视讯通信***、装置及其字幕显示方法
US9491405B2 (en) Method and apparatus for displaying conference material in video conference
US9497390B2 (en) Video processing method, apparatus, and system
CN101478642A (zh) 视频会议***的多画面混图方法及装置
CN101500127A (zh) 一种视频电话中同步显示字幕的方法
JP2018056719A (ja) テレビ会議装置
CN101330339A (zh) 基于iptv的呼叫业务实现方法和装置、应用服务器
CN104980683A (zh) 一种视频电话会议的实现方法及装置
CN103036966A (zh) 移动终端远程交互测试***和远程交互测试方法
KR101641184B1 (ko) 비디오 컨퍼런스를 위해 복수의 비디오 피드들을 믹싱 처리하는 방법, 이를 이용한 비디오 컨퍼런스 단말 장치, 비디오 컨퍼런스 서버 및 비디오 컨퍼런스 시스템
JP2003299051A (ja) 情報出力装置および情報出力方法
CN101764990A (zh) 识别标签呈现方法、呈现***与视频提供装置、接收装置
CN109327593B (zh) 卫星通信终端音频测试***及方法
CN101420585A (zh) 由可视电话终端传输非视频信息的***和方法
KR20060031551A (ko) 스테레오 단말기 및 스테레오 단말기를 이용한 음성 통화방법
JP4452218B2 (ja) グループ形成装置、端末機、連絡システムおよびグループ形成プログラム
JP5540492B2 (ja) 通信装置、効果音出力制御プログラム及び効果音出力制御方法
CN101309388A (zh) 视频电话机通话图像质量的控制方法及采用此方法的手机
CN105430483B (zh) 智能终端互相控制的方法和***
KR101427278B1 (ko) 화상 회의 서버와 단말기 및 이를 이용한 화상 회의 방법
KR100854975B1 (ko) 다자간 단말혼합 회의시스템
WO2001080573A2 (en) Apparatus and method for remote troubleshooting
CN105681731A (zh) 一种基于多媒体终端实现四方视频会议的方法及***
CN103139531A (zh) 视频会议终端的显示画面处理方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140402

WD01 Invention patent application deemed withdrawn after publication