CN102065270A - 用于视频会议的硬件架构 - Google Patents
用于视频会议的硬件架构 Download PDFInfo
- Publication number
- CN102065270A CN102065270A CN2011100080977A CN201110008097A CN102065270A CN 102065270 A CN102065270 A CN 102065270A CN 2011100080977 A CN2011100080977 A CN 2011100080977A CN 201110008097 A CN201110008097 A CN 201110008097A CN 102065270 A CN102065270 A CN 102065270A
- Authority
- CN
- China
- Prior art keywords
- video
- data
- processor
- stream handle
- processing system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims abstract description 49
- 238000000034 method Methods 0.000 claims abstract description 19
- 230000015654 memory Effects 0.000 claims description 28
- 230000009467 reduction Effects 0.000 claims description 2
- 238000012423 maintenance Methods 0.000 claims 1
- 238000004891 communication Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 239000002609 medium Substances 0.000 description 11
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000000712 assembly Effects 0.000 description 3
- 238000000429 assembly Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- -1 line or cable Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000012120 mounting media Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/152—Multipoint control units therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
- G06F15/163—Interprocessor communication
- G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
- G06F15/17337—Direct connection machines, e.g. completely connected computers, point to point communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明涉及用于视频会议的硬件架构。提供了用于多点控制单元的视频处理架构、***和方法。在一个示例中,视频处理***包括:多个处理器,所述多个处理器适于执行对代表视频图像的数据的处理;多个链路,所述多个链路将所述多个处理器互连;以及多个流处理器,所述多个流处理器被配置成当数据通过所述链路在所述多个处理器之间穿过时执行视频数据的视频缩放。
Description
相关申请
本申请属于2007年11月19日提交的题为“用于视频会议的硬件架构”的中国专利申请200780049264.4的分案申请。
技术领域
本发明总体上涉及用于多点控制单元的硬件架构和相关联方法。
背景技术
视频会议和相关联硬件大体上分成两个阵营。在第一阵营中,“会议”仅在两个参与者之间发生,并且参与者通过某种形式的数据网络彼此直接连接。在这种形式的网络中,仅涉及两个端点,并且仅当多个参与者处于两个端点站点中的一个时才发生真实的会议。在低端技术的情况下,这种类型的会议的示例是使用诸如或的软件互连的PC使能的端点,并且在较高端的情况下是使用例如经由ISDN链路互连的专用端点硬件的设备。
在第二阵营中,视频会议允许两个以上端点彼此交互。这通过提供至少一个集中的协调点来实现;从端点接收视频和音频流的所谓“多点控制单元(MCU)”以期望的方式将这些视频和音频流组合,并且将组合的合成音频/视频流重新传送至参与者。通常,传送给端点的会议视图对于每一个端点相同。该合成可以随时间改变,但是对所有参与者相同。
只提供单个合成是一个显著问题,因为每个参与者因此必须接收被调整成能够由会议中的最低性能的端点所接受的视频会议流。因此,在这种情形下,许多端点未被充分使用,并且可能因此体验到劣化的图像和音频。
最近,诸如Codian MCU系列的现代MCU已经被设计成允许为每个参与者生成独特(unique)的视图。这允许每个端点的全部性能被使用,并且也允许针对不同参与者的不同合成,以便例如在会议中的特定参与者的重点对于不同用户可以不同。然而,视频数据的实时处理是高处理器强度的任务。它也包括大量数据的移动。一旦数据已经被解压以执行高品质处理时,这尤其是如此。因此,处理能力和带宽约束在允许产生多个会议视图的高品质视频会议MCU的生成中是显著瓶颈。
图1示出了典型的现有技术的MCU架构。该示例性架构具有诸如德州仪器TMS系列的多个数字信号处理器2,它们经由时分复用(TDM)总线4互连。控制器和网络接口6也连接至TDM总线。每个DSP 2在TDM总线上被分配了一个或多个时隙。应当理解,TDM总线是显著的瓶颈。虽然通过添加更多强大的DSP或附加的DSP可以实现为MCU提高处理功率,但在DSP之间和在网络8和DSP之间的所有数据流动必须适合在TDM总线4上的有限数目的时隙。因此,这种形式的架构一般缩放,并且无法适应对每个参与者合成的处理要求。
图2示出了替代的现有技术配置。在该示例中,多个DSP 2-1中的每一个连接至***组件互连(PCI)总线10-1。类似地,多个DSP 2-2、2-3和2-4连接至相应的PCI总线10-2、10-3和10-4。PCI总线10-2、10-3和10-4进而经由缓冲器12连接至进一步的PCI总线14。这种架构较之图1所示的架构的显著优点是在组2-1中的DSP可以彼此之间进行通信,唯一的瓶颈是PCI总线10-1。对组2-2、2-3和2-4也是如此。然而,如果在组2-1中的DSP希望与例如在组2-3中的DSP通信,则必须使用PCI总线14。因此,虽然该架构就可缩放性和有效使用多个DSP的能力而言较之图1所示的架构有显著改善,但仍然必须将PCI总线14用于内部DSP通信的某些组合,并且因此可能成为对于MCU架构的性能限制因素。
已经做出将处理从DSP卸载的尝试。例如,IDT生成部分号码为IDT70K2000的“预处理交换(PPS)”,用于与DSP一起使用。PPS在递送至诸如DSP或FPGA之前执行预定功能。基于在包被发送到的交换器上的地址范围来确定处理。芯片被设计用于例如在3G电话中使用,并且被设计成例如从DSP卸载通常由DSP低效率地执行的基本任务。美国专利No.6,883,084也建议使用路径处理;然而,在该情况下,它被建议为冯·诺依曼型序列处理器的替代。
发明内容
根据本发明的一个方面,提供了一种用于多点控制单元的视频处理架构和***。在一个示例中,视频处理***包括母板和至少一个子板,每一个子板具有经由子板交换器互连的多个处理器,其中,子板交换器被配置成在多个处理器之间和在母板和子板之间交换数据。在一个示例中,处理器包括数字信号处理器(DSP)。
该视频处理***可以进一步包括多个子板,每一个子板具有相同的硬件和/或机械配置。多个子板可以被配置成以能够任意顺序机械地和电气地耦接在一起,并且可以是可叠加的,以形成从母板延伸的子板的系列链,每一个相应的子板交换器进一步被配置成将数据交换至在另一个子板上的子板交换器,以允许沿着所述系列链的数据流。母板可以进一步包括被布置成在多个子板之间交换数据的母板交换器。母板交换器和/或子板交换器可以包括现场可编程门阵列的至少部分。
根据本发明的另一方面,提供了一种用于在多点控制单元中处理视频的方法。多点控制单元可以包括母板和至少一个子板,该至少一个子板中的每一个子板具有经由子板交换器互连的多个处理器,该方法包括在与子板相关联的多个处理器之间以及在母板和子板之间交换数据。该方法可以进一步包括将数据交换至在另一子板上的子板交换器,以允许沿着从母板延伸的可叠加的子板的系列链的数据流。
根据本发明的另一方面,用于多点控制单元的视频处理***包括适于执行对代表视频图像的数据的处理的多个处理器、将多个处理器互连的多个链路(例如,在处理器之间的物理链路、交换结构等)、以及被配置成当数据通过链路在多个处理器之间穿过时处理所述数据的流处理器(例如,处理器或处理单元)。
该流处理器可以形成为现场可编程门阵列的部分。而且,流处理器可以与共同位于现场可编程门阵列上或在现场可编程门阵列之外的存储器相关联。流处理器可以包括预定逻辑,并且通过将一个或两个位屏蔽和数据加载到所述存储器中,在操作中是至少部分可编程的。
该流处理器可以进一步可操作来对穿过处理器的视频流执行带宽压缩和/或解压缩。而且,流处理器可以与存储器相关联,该存储器可操作来存储与已经穿过处理器的视频流的先前部分有关的历史信息。
根据本发明的另一方面,提供了一种用于将经缩放的视频图像传送至处于不同的相应缩放级别的不同目的地的方法。在一个示例中,经由具有多个处理器的MCU执行该方法,多个处理器可操作来执行对代表视频图像的数据的处理,多个处理器通过多个链路互连,并且多个流处理器可操作来在数据通过多个链路在处理器之间穿过时处理所述数据。该方法包括在流处理器中的第一流处理器中将视频数据视频缩放至第一目的地所要求的第一缩放级别,并且使用第二流处理器将所述视频数据随后缩放至用于第二目的地的第二、更小的缩放级别。该方法可以进一步包括存储保持代表该架构的网络拓扑的数据的网络地图,并且参考该地图做出缩放决定。
根据本发明的另一方面,一种用于多点控制单元的视频处理***包括多个处理器,该多个处理器适于执行对代表视频图像的数据的处理,该多个处理器经由交换器互连,交换器可操作来在接收到的数据的单播和多播前向传送之间选择。
该视频处理***可以进一步包括拓扑存储,该拓扑存储包含代表在处理器之间的链路的数据,并且其中,交换器访问拓扑存储,以做出路由决定,并且也在数据的单播或多播前向传送之间做出选择。在另一示例中,视频处理***可以包括拓扑存储,该拓扑存储包含代表在处理器和控制器之间的链路的数据;以及控制器,该控制器可操作来在与跨越所述链路的期望路线相关的数据被传送以前将路由信息附接到所述数据。
根据本发明的另一方面,提供了一种用于在具有多个信号处理器的多点控制单元中路由视频数据的方法。该方法包括存储或检索网络地图,该网络地图保持代表将信号处理器互连的网络拓扑的数据,并且选择性地切换多个交换器中的一个或多个,以根据网络地图以单播或多播模式在信号处理器之间交换数据。该方法可以进一步包括以单播模式传送信息直至到达数据在其处需要沿多个链路前进的路由分支,并且然后在该路由分支处以多播模式传送信息。
另外,这里提供了一种编码有用于在具有多个信号处理器的多点控制单元中操作和路由视频数据的计算机程序指令的计算机可读介质。该计算机程序指令可以包括用于执行此处所描述的一个或多个方法的指令。
在结合附图审阅了对于本发明的特定实施例的下列描述之后,本发明的其他方面和特征对于本领域的技术人员将变得显而易见。
附图说明
图1是现有技术的MCU架构的示意性框图;
图2是替代的现有技术的MCU架构的示意性框图;
图3是示出根据本发明的一个示例的母板和多个子板的示意性框图;
图4是根据本发明的一个示例的子板的示意性框图;以及
图5图示了可以被用于实现在此处所提供的实施例中的处理功能的示例性计算***。
具体实施方式
呈现下列描述,以使得本领域的普通技术人员能够制造和使用本发明的各个方面和示例。对于特定设备、技术和应用的描述仅作为示例而提供。对于此处所描述的示例的各种修改对于本领域的普通技术人员将是显而易见的,并且在不脱离本发明的精神和范围的情况下,此处所定义的一般原理可以应用于其他示例和应用。因此,本发明的并不意在限于此处所描述且示出的示例,而是应被赋予与权利要求一致的范围。
参考图3,母板20带有现场可编程门阵列(FPGA)和其他相关联的组件。母板20可以包括控制电路***,控制电路***例如使得自动值机员(auto attendant)接口能够被生成以允许用户配置MCU,并且它也可以控制MCU中的数据流。如本技术中所已知的,这些组件可以替代地在独立的板上。
母板20也包括连接器,所述连接器允许安装一个或多个子板22。在一个示例中,可以将四个子板连接至母板20。该连接例如可以使用可插拔的连接器制作。通过使用多个这样的连接器,在优选实施例中,子板通过这样的连接器电气地耦接并且机械地安装到母板。
母板20带有FPGA 24,FPGA 24执行路由功能(除了其他功能之外)。主要地,FPGA 24在控制器(未示出)、网络接口(未示出)以及多个子板22之间路由数据。在一个示例中,FPGA 24具有四个高带宽链路26,高带宽链路26可以具有例如3Gb/秒或更高的带宽,并且将母板20与子板的第一层相连接。注意到,链路26(以及下文的38)可以包括物理链路、交换结构或用于连接母板、子板和DSP的其他适当的结构或***。如下文所更详细解释的,至末端的子板的数据流通过子板的第一层被路由。
在一个示例中,并且也参考图4,每一个子板20具有四个DSP 28,每一个DSP 28具有相关联的存储器30。每一个子板也具有并入有交换器34的FPGA 32。交换器34可以包括用于在输入处接收分组的结构或逻辑,并且以可选择的方式例如与网络交换器类似的方式,向外发送分组。FPGA 32包括下文更详细地描述的流处理器36(例如,被配置成当数据通过链路在多个处理器之间穿过时处理所述数据的处理器或处理单元),以及两个高带宽链路38。
在一个示例中,子板22的每一个是机械并且电气相同的,并且链路38可以被用于连接至另一子板或母板20。以这种方法,仅通过添加另外的子板就可以将额外的处理能力添加至该架构。在最小的配置中,可以将单个子板安装在母板上。在最大的配置中,在该示例中,可以将四个子板安装在母板,并且每一个子板可以具有叠加于其上的另外的子板(在该示例中是三个)。如上文所解释的,每一个子板本身可以包括四个DSP,并且因此,在该特定示例,包括四个子板的配置中,该配置可以具有64个DSP。当然,可以使用各种数目的DSP和/或子板,并且最大配置仅参考该16个子板的特定示例,每一个子板包括四个DSP。
可以使用几种策略,以消除在DSP之间的链路或互连上的带宽拥堵。在一个说明性示例中,在子板之间的每个链路或互连以3Gb/秒或更高的带宽操作,该带宽实质上高于现有技术中的带宽。另外,每一个子板可以具有四个DSP,四个DSP共享本地互连,本地互连可以在不使用该架构中的任何其他互连上的带宽的情况下在彼此之间进行通信。因此,利用适当的资源分配,在任何一个子板上的DSP可以在不对架构的整体造成显著带宽影响的情况下,体验高利用率。此外,在不使用其他分支可用的带宽的情况下,数据可以在图3所示的四个分支的任何一个中的DSP之间流动。
在另一方面和示例中,子板22中的每一个包括位于子板FPGA 32的每一个中的流处理器36。流处理器36被配置成利用如下文所解释的视频会议的不寻常特征,并且可以包括任何适当的处理器或处理单元,该处理器或处理单元被配置成当数据通过链路在多个处理器之间穿过时处理所述数据。
通常,由于带宽的约束,在视频会议中的端点之间流动的数据被高度压缩,例如,具有互联网连接的端点。然而,该压缩通常防止了对图像的操纵。因此,在MCU内部,在非压缩的数据上执行视频处理。通常,这使数据量以10到100之间的某个倍数而增加,并且通常以大约80的倍数而增加。因此,例如,典型的视频流可以具有50Mb/秒的带宽要求。这是视频会议所特有的显著问题,因为处理对于许多同时发生的流执行,并且实时执行。然而,由于处理的最终结果将以压缩的形式被传送,并且也通常通过有损耗的网络,在MCU内部执行压缩是可接受的。这样的压缩可以是无损耗的,或者在给定输出网络的本质情况下,是有损耗的。因此,在此处所提供的一个示例中,通过对在DSP之间传送的数据在MCU内执行压缩和解压缩,可以缓解在MCU内的常规带宽约束。然而,这本身在计算上是昂贵的。因此,在此处所提供的一个示例中,示例性***包括在每一个子板FPGA 32中形成的流处理器36,流处理器36可以包括任何形式的处理单元。当执行压缩时,媒体流处理器36可以作用于若干像素,并且因此,FPGA可以在相关联存储器40中保存帧或视频帧的一部分,使得在该模式中的流处理器36并非严格地是流处理器。而且,流处理器36可以包括被配置成当数据通过链路在多个处理器之间穿过时处理所述数据的任何适当的处理器或处理单元。
处理器36可以执行进一步的操作,包括但不限于,合成、阿尔法混合(alpha blending)、运动补偿、可变长度编码和解码、帧比较及其组合等。通过当数据在DSP 28之间穿过时即时(on the fly)执行这些步骤,将处理负载从DSP移除,并且带宽限制也被减轻。
在另一示例中,去往若干不同DSP的数据可以以单播格式被发送,直到要求路由分支,在该情况下,一些数据可以以多播形式被发送。这避免了相同数据的多个流沿着相同链路经过。例如,如果在图3的最左侧的子板22希望与在该图的底部的子板22′上的DSP通信,并且也与在该图的最右侧的子板22″通信,则数据可以被单播,直到它到达母板20,在该点,它可以被多播至从母板放射出的子板的两个相应的分支的每一个,并且然后沿着每个分支进行单播。该步骤可以在FPGA 24中作为它的路由算法而执行。为了使这一点更容易,每个交换器可以例如以树状的形式维护整个MCU架构的拓扑的代表,并且可操作来操控该树以及确定用于下一跳或多个跳的适当的多播或单播格式。替代地,该路由可以在数据源被确定,并且与数据一起被携载的路由信息在途中由交换器进行解译。
媒体流处理器36也可以使用因数化缩放,以协助减少在DSP之间的通信带宽。例如,如果不同的参与者合成要求不同缩放版本的相同图像,诸如对于一个参与者图像缩成一半而对于另一参与者图像缩成四分之一,FPGA可以被配置成做出明智的缩放决定。在该示例中,FPGA可以将整个图像缩成一半,将因此减少的数据传送至路由分支,该路由分支在将处理所述一半图像的DSP和将处理所述四分之一图像的DSP之间选择,并且在该点,进一步将图像缩小成四分之一,以向前传送给处理该四分之一缩小图像的DSP。
由每个子板FPGA执行智能路由、多播和缩放/压缩操作,并且因此,用于这些智能路由决定的处理负载在每个子板之间分布。
通过这种方法,因此,通过确保数据被理想地分配至本地DSP,以及在数据必须在更远的DSP之间传送的情况下确保数据以有效的格式传送,上述架构可以增加或最大化DSP的利用。此外,通过使用在DSP之间的非常高的带宽链路,极大地避免了带宽瓶颈。因此,该架构为构成多会议视频会议的每个参与者提供了高分辨率的高度可缩放和非常强大的处理平台。
当然,其他特征和优点对于本领域的技术人员将显而易见。前面的***概述代表了一些示例性实现,但是其他实现对于本领域的技术人员将显而易见,并且所有这样的替代被认为是等同的并且在仅由权利要求所限定的本发明的精神和范围内。
本领域的技术人员将进一步认识到,根据情况使用硬件、软件、固件或它们的组合可以实现各种实施例的操作。例如,使用在软件、固件或硬线逻辑控制下的处理器或其他数字电路可以执行一些处理。(如执行所记载的功能的本领域技术人员所认识到的,此处的术语“逻辑”指的是固定硬件、可编程逻辑和/或它们的适当组合)。可以将软件和固件存储在计算机可读介质上。如本领域的普通技术人员所公知的,使用模拟电路可以实现一些其他处理。另外,存储器或其他存储器,以及通信组件可以用于本发明的实施例。
图5图示了可以被用于实现在本发明实施例中的处理功能的典型的计算***500。这种类型的计算***可以被用于例如MCU、控制器、母板、子板或DSP中的任何一个或多个中。相关领域的技术人员也将认识到如何使用其他计算机***或架构来实现本发明的实施例。计算***500可以包括一个或多个处理器,诸如处理器504。使用通用或专用处理引擎(诸如,例如微处理器、微控制器或其他控制逻辑)可以实现处理器504。在该示例中,将处理器504连接至总线502或其他通信介质。
计算***500也可以包括主存储器508,诸如随机存取存储器(RAM)或其他动态存储器,用于存储由处理器504执行的信息和指令。主存储器508也可以被用于在由处理器504执行的指令的执行期间存储临时变量或其他中间信息。计算***500同样可以包括耦接至总线502的只读存储器(ROM)或其他静态存储设备,用于为处理器504存储静态信息和指令。
计算***500也可以包括信息存储***510,信息存储***510可以包括,例如,介质驱动器512和可移除存储接口520。介质驱动器512可以包括支持固定或可移除存储介质的驱动器或其他机构,诸如硬盘驱动器、软盘驱动器、磁带驱动器、光盘驱动器、压缩磁盘(CD)或数字多用磁盘(DVD)驱动器(R或RW)、或其他可移除或固定介质驱动器。存储介质518可以包括,例如,硬盘、软盘、磁带、光盘、CD或DVD、或由介质驱动器514读取或写入的其他固定或可移除介质。如这些示例所说明的,存储介质518可以包括其中已经存储了特定计算机软件或数据的计算机可读存储介质。
在替代实施例中,信息存储***510可以包括其他类似组件,用于允许计算机程序或其他指令或数据被加载到计算***500中。这样的组件可以包括,例如,可移除存储单元522和接口520,诸如程序盒式存储器和盒式存储器接口、可移除存储器(例如,闪存或其他可移除存储模块)和存储器插槽,以及允许软件和数据从可移除存储单元518传输至计算***500的可移除存储单元522和接口520。
计算***500也可以包括通信接口524。通信接口524可以被用于允许软件和数据在计算***500和外部设备之间传输。通信接口524的示例可以包括调制解调器、网络接口(诸如以太网或其他网络接口卡(NIC))、通信端口(诸如USB端口)、PCMCIA插槽和卡等。
经由通信接口524传输的软件和数据是信号的形式,这些信号可以是电子的、电磁的、光或能够被通信接口524接收的其他信号。这些信号经由信道528被提供至通信接口524。该信道528可以携载信号,并且可以使用无线介质、线或电缆、光纤、或其通信介质来实现。信道的一些示例包括电话线、蜂窝电话链路、射频链路、网络接口、局域或广域网络以及其他通信信道。
在本文献中,术语“计算机程序产品”、“计算机可读介质”等可以被一般地用于指诸如例如存储器508、存储设备518或存储单元522的介质。这些或其他形式的计算机可读介质可以存储供处理器504使用的一个或多个指令,以使得处理器执行指定操作。这样的指令一般被称为“计算机程序代码”(它可以被分组为计算机程序的形式或其他分组),当被执行时,使得计算***500能够执行本发明的实施例的功能。注意到,代码可以直接使得处理器执行指定操作,被编译来执行指定操作,和/或与其他软件、硬件和/或固件元件(例如,用于执行标准功能的库)组合来执行指定操作。
在使用软件来实现元件的实施例中,使用例如可移除存储驱动器514、驱动器512或通信接口524,可以将软件存储在计算机可读介质中,并且可以将软件加载到计算***500中。控制逻辑(在该示例中,软件指令或计算机程序代码)当被处理器504执行时,使得处理器504执行如此处所描述的本发明的实施例的功能。
应当理解,出于清楚的目的,上面的描述已经参考不同功能单元和处理器描述了本发明的实施例。然而,显而易见,在不脱离本发明的实施例的情况下,可以使用在不同功能单元、处理器或者域之间的任何适当的功能分布。例如,所图示的由分离的处理器或控制器所执行的功能可以由相同的处理器或控制器执行。因此,对于特定功能单元的引用仅应当被视为对于用于提供描述的功能的适当装置的引用,而非表示严格的逻辑或物理结构或组织。
虽然已经结合一些实施例描述了本发明的实施例,但是本发明并不意在限于此处所阐述的特定形式。相反,本发明的实施例的范围仅由权利要求来限定。另外,虽然看起来可以结合特定实施例描述特征,但是本领域的技术人员应当认识到,所描述的实施例的各种特征可以根据本发明的实施例进行组合。
此外,虽然个别列出,但是多个装置、元件或方法步骤可以由例如单个单元或处理器来实现。另外,虽然个别特征可能被包含在不同权利要求中,但是这些可能被有利地组合,并且在不同权利要求中包括并不暗示特征的组合是不可行的和/或有利的。而且,在一种类别的权利要求中包括的特征并不暗示限于该类别,相反,根据情况,该特征可以同样应用于其他权利要求类别。
Claims (13)
1.一种将经缩放的视频图像传送至用于多点控制单元的不同缩放级别的视频处理***,包括:
多个处理器,所述多个处理器适于执行对代表视频图像的数据的处理;
多个链路,所述多个链路将所述多个处理器互连;以及
多个流处理器,所述多个流处理器被配置成当数据通过所述链路在所述多个处理器之间穿过时执行视频数据的视频缩放。
2.根据权利要求1所述的视频处理***,其中,所述流处理器形成现场可编程门阵列的部分。
3.根据权利要求2所述的视频处理***,其中,所述流处理器与共同位于所述现场可编程门阵列上的存储器相关联。
4.根据权利要求3所述的视频处理***,其中,所述流处理器具有预定逻辑,并且通过将位屏蔽和数据中的一个或两者加载到所述存储器中,所述流处理器在操作中也是至少部分可编程的。
5.根据权利要求2所述的视频处理***,其中,所述流处理器与在所述现场可编程门阵列之外的存储器相关联。
6.根据权利要求5所述的视频处理***,其中,所述流处理器具有预定逻辑,并且通过将位屏蔽和数据的中一个或两者加载到所述存储器中,所述流处理器在操作中也是至少部分可编程的。
7.根据权利要求1所述的视频处理***,其中,所述流处理器可操作来对穿过所述处理器的视频流执行带宽压缩。
8.根据权利要求1所述的视频处理***,其中,所述流处理器与存储器相关联,并且所述流处理器可操作来存储与已经穿过所述处理器的所述视频流的先前部分有关的历史信息。
9.根据权利要求1所述的视频处理***,其中,所述流处理器被布置成对穿过所述处理器的视频流执行带宽解压缩。
10.一种利用包括多个处理器的MCU将经缩放的视频图像传送至在不同的相应缩放级别的不同目的地的方法,所述多个处理器可操作来执行对代表视频图像的数据的处理,所述多个处理器由多个链路互连,并且多个流处理器可操作来在数据通过所述多个链路在所述处理器之间穿过时处理所述数据,所述方法包括:
在所述流处理器中的第一流处理器中将视频数据视频缩放至第一目的地所要求的第一缩放级别,以及使用第二流处理器将所述视频数据随后缩放至用于第二目的地的第二、更小的缩放级别。
11.根据权利要求10所述的方法,包括存储保持代表所述架构的网络拓扑的数据的网络地图,并且参考所述地图做出缩放决定。
12.一种用于在具有多个信号处理器的多点控制单元中路由视频数据的***,所述***包括:
用于在第一流处理器中将视频数据视频缩放至第一目的地所要求的第一缩放级别的装置,以及
使用第二流处理器将所述视频数据随后缩放至用于第二目的地的第二、更小的缩放级别的装置。
13.根据权利要求12所述的***,其中,所述***进一步包括:
存储保持代表所述架构的网络拓扑的数据的网络地图的装置,以及
参考所述地图做出缩放决定的装置。
Applications Claiming Priority (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB0623097.3 | 2006-11-20 | ||
GBGB0623100.5A GB0623100D0 (en) | 2006-11-20 | 2006-11-20 | Hardware architecture for video conferencing |
GB0623100.5 | 2006-11-20 | ||
GBGB0623098.1A GB0623098D0 (en) | 2006-11-20 | 2006-11-20 | Hardware architecture for video conferencing |
GB0623096.5 | 2006-11-20 | ||
GB0623098.1 | 2006-11-20 | ||
GBGB0623096.5A GB0623096D0 (en) | 2006-11-20 | 2006-11-20 | Hardware architecture for video conferencing |
GBGB0623097.3A GB0623097D0 (en) | 2006-11-20 | 2006-11-20 | Hardware architecture for video conferencing |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007800492644A Division CN101573974B (zh) | 2006-11-20 | 2007-11-19 | 用于视频会议的硬件架构 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102065270A true CN102065270A (zh) | 2011-05-18 |
CN102065270B CN102065270B (zh) | 2013-09-25 |
Family
ID=39430101
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2011100080977A Active CN102065270B (zh) | 2006-11-20 | 2007-11-19 | 用于视频会议的硬件架构 |
Country Status (5)
Country | Link |
---|---|
US (2) | US7889226B2 (zh) |
EP (1) | EP2105015B1 (zh) |
JP (1) | JP5200029B2 (zh) |
CN (1) | CN102065270B (zh) |
WO (1) | WO2008062164A2 (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI534753B (zh) | 2009-01-07 | 2016-05-21 | 創新科技有限公司 | 用於分段處理輸入資料之資料處理裝置、使用該裝置之系統及用於資料傳輸之方法 |
NO332162B1 (no) * | 2009-12-21 | 2012-07-09 | Cisco Systems Int Sarl | Anordning og fremgangsmate for a filtrere mediapakker |
US8532100B2 (en) | 2010-10-19 | 2013-09-10 | Cisco Technology, Inc. | System and method for data exchange in a heterogeneous multiprocessor system |
US9429940B2 (en) | 2011-01-05 | 2016-08-30 | Sphero, Inc. | Self propelled device with magnetic coupling |
US9218316B2 (en) | 2011-01-05 | 2015-12-22 | Sphero, Inc. | Remotely controlling a self-propelled device in a virtualized environment |
US9836046B2 (en) | 2011-01-05 | 2017-12-05 | Adam Wilson | System and method for controlling a self-propelled device using a dynamically configurable instruction library |
US9090214B2 (en) | 2011-01-05 | 2015-07-28 | Orbotix, Inc. | Magnetically coupled accessory for a self-propelled device |
US10281915B2 (en) | 2011-01-05 | 2019-05-07 | Sphero, Inc. | Multi-purposed self-propelled device |
US10056791B2 (en) | 2012-07-13 | 2018-08-21 | Sphero, Inc. | Self-optimizing power transfer |
US9829882B2 (en) | 2013-12-20 | 2017-11-28 | Sphero, Inc. | Self-propelled device with center of mass drive system |
CN114036094A (zh) * | 2021-10-11 | 2022-02-11 | 北京小米移动软件有限公司 | 子板 |
Family Cites Families (80)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0153903B1 (de) * | 1984-02-29 | 1988-11-09 | Heinrich-Hertz-Institut für Nachrichtentechnik Berlin GmbH | Nachrichtensystem für Bildkonferenzen |
US4882747A (en) * | 1988-05-12 | 1989-11-21 | Jerry Williams | Infrared communication apparatus for remote site applications |
US5175824A (en) * | 1989-05-08 | 1992-12-29 | Trw Inc. | Crossbar switch connected modular multiprocessor system with processor timing relationship selected and synchronized to be appropriate for function being performed |
US5201038A (en) | 1989-12-06 | 1993-04-06 | Videologic Limited | Address bus for stackable computer board connectors |
JPH05216833A (ja) * | 1991-11-20 | 1993-08-27 | Toshiba Corp | マルチプロセッサシステム |
WO1993014459A1 (en) | 1992-01-17 | 1993-07-22 | Caelum Research Corporation | Modular parallel processing system |
US6215515B1 (en) * | 1992-02-19 | 2001-04-10 | Netergy Networks, Inc. | Videocommunicating device with an on-screen telephone keypad user-interface method and arrangement |
WO1994018779A1 (en) * | 1993-02-01 | 1994-08-18 | Multilink Incorporated | A method and apparatus for audio teleconferencing a plurality of phone channels |
JPH06318984A (ja) * | 1993-02-19 | 1994-11-15 | Canon Inc | マルチメディア情報送信装置、マルチメディア情報受信装置、マルチメディア通信装置、及びマルチメディア通信システム |
US5473367A (en) | 1993-06-30 | 1995-12-05 | At&T Corp. | Video view selection by a chairperson |
US5440563A (en) * | 1993-10-12 | 1995-08-08 | At&T Corp. | Service circuit allocation in large networks |
WO1996008911A1 (en) | 1994-09-16 | 1996-03-21 | Southwestern Bell Technology Resources, Inc. | Versatile multipoint video composition and bridging system |
US5483588A (en) * | 1994-12-23 | 1996-01-09 | Latitute Communications | Voice processing interface for a teleconference system |
US5838664A (en) * | 1997-07-17 | 1998-11-17 | Videoserver, Inc. | Video teleconferencing system with digital transcoding |
US5600646A (en) * | 1995-01-27 | 1997-02-04 | Videoserver, Inc. | Video teleconferencing system with digital transcoding |
US5821985A (en) * | 1995-02-28 | 1998-10-13 | Nec Corporation | Multi-point videoconference system having a fixed control station for data transfer |
US5657246A (en) * | 1995-03-07 | 1997-08-12 | Vtel Corporation | Method and apparatus for a video conference user interface |
ES2133218B1 (es) * | 1995-05-22 | 2000-04-16 | Fichtel & Sachs Ag | Embrague de friccion multidiscos con tope axial. |
US5982459A (en) * | 1995-05-31 | 1999-11-09 | 8×8, Inc. | Integrated multimedia communications processor and codec |
US5841763A (en) * | 1995-06-13 | 1998-11-24 | Multilink, Inc. | Audio-video conferencing system |
US6366771B1 (en) * | 1995-06-21 | 2002-04-02 | Arron S. Angle | Wireless communication network having voice and data communication capability |
IL116986A (en) | 1996-01-31 | 2000-01-31 | Galileo Technology Ltd | Switching ethernet controller providing packet routing |
US5771273A (en) * | 1996-02-05 | 1998-06-23 | Bell Atlantic Network Services, Inc. | Network accessed personal secretary |
US7136475B1 (en) | 1999-07-27 | 2006-11-14 | Aspect Communications Corporation | Call Management system with call control from user workstation computers |
US5867653A (en) * | 1996-04-18 | 1999-02-02 | International Business Machines Corporation | Method and apparatus for multi-cast based video conferencing |
US6335927B1 (en) | 1996-11-18 | 2002-01-01 | Mci Communications Corporation | System and method for providing requested quality of service in a hybrid network |
US6614845B1 (en) * | 1996-12-24 | 2003-09-02 | Verizon Laboratories Inc. | Method and apparatus for differential macroblock coding for intra-frame data in video conferencing systems |
JP2933132B2 (ja) * | 1997-01-09 | 1999-08-09 | 日本電気株式会社 | 多地点テレビ会議制御装置及び画面合成符号化方法 |
US6128649A (en) * | 1997-06-02 | 2000-10-03 | Nortel Networks Limited | Dynamic selection of media streams for display |
KR100251692B1 (ko) * | 1997-09-12 | 2000-04-15 | 윤종용 | 광섬유 가입자 망 |
US6380968B1 (en) * | 1998-01-06 | 2002-04-30 | Intel Corporation | Method and apparatus for controlling a remote video camera in a video conferencing system |
US6593937B2 (en) * | 1998-06-18 | 2003-07-15 | Sony Corporation | Method of and apparatus for handling high bandwidth on-screen-display graphics data over a distributed IEEE 1394 network utilizing an isochronous data transmission format |
US6370113B1 (en) * | 1998-07-23 | 2002-04-09 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and apparatus for reselection of data trunk upon connection failure |
JP2000070241A (ja) * | 1998-08-31 | 2000-03-07 | Nissho Corp | 急速凝固用真空採血管 |
US6025870A (en) * | 1998-10-14 | 2000-02-15 | Vtel Corporation | Automatic switching of videoconference focus |
US6584076B1 (en) * | 1998-11-02 | 2003-06-24 | Lucent Technologies Inc. | Telecommunications conferencing method and apparatus |
FI109444B (fi) * | 1999-01-11 | 2002-07-31 | Nokia Corp | Menetelmä ja järjestelmä datansiirtokanavien rinnakkaiskäyttöä varten |
US6697476B1 (en) * | 1999-03-22 | 2004-02-24 | Octave Communications, Inc. | Audio conference platform system and method for broadcasting a real-time audio conference over the internet |
US6442758B1 (en) * | 1999-09-24 | 2002-08-27 | Convedia Corporation | Multimedia conferencing system having a central processing hub for processing video and audio data for remote users |
JP2001111433A (ja) * | 1999-10-12 | 2001-04-20 | Seiko Epson Corp | 圧縮データ処理装置および圧縮データ処理方法ならびに情報記録媒体 |
US6300973B1 (en) * | 2000-01-13 | 2001-10-09 | Meir Feder | Method and system for multimedia communication control |
GB2397964B (en) | 2000-01-13 | 2004-09-22 | Accord Networks Ltd | Method and system for compressed video processing |
US6577712B2 (en) * | 2000-04-07 | 2003-06-10 | Telefonaktiebolaget Lm Ericsson (Publ) | Distributed voice mail system |
US6590604B1 (en) * | 2000-04-07 | 2003-07-08 | Polycom, Inc. | Personal videoconferencing system having distributed processing architecture |
US6760776B1 (en) * | 2000-04-10 | 2004-07-06 | International Business Machines Corporation | Method and apparatus for processing network frames in a network processor by embedding network control information such as routing and filtering information in each received frame |
US6574469B1 (en) * | 2000-05-09 | 2003-06-03 | Telefonaktiebolaget L M Ericsson (Publ) | System and method of minimizing the number of voice transcodings during a conference call in a packet-switched network |
US6760749B1 (en) * | 2000-05-10 | 2004-07-06 | Polycom, Inc. | Interactive conference content distribution device and methods of use thereof |
US6526557B1 (en) * | 2000-07-25 | 2003-02-25 | Xilinx, Inc. | Architecture and method for partially reconfiguring an FPGA |
US6771779B1 (en) * | 2000-09-28 | 2004-08-03 | Telefonaktiebolaget Lm Ericsson (Publ) | System, apparatus, and method for improving speech quality in multi-party devices |
WO2002043302A2 (en) | 2000-11-21 | 2002-05-30 | Transwitch Corporation | Methods and apparatus for switching atm, tdm, and packet data through a single communications switch |
JP2002247566A (ja) * | 2000-11-30 | 2002-08-30 | Matsushita Electric Ind Co Ltd | 画像受信装置、画像送信装置および画像伝送システム |
WO2002057921A1 (en) | 2001-01-19 | 2002-07-25 | Hitachi,Ltd | Electronic circuit device |
WO2003036439A2 (en) * | 2001-03-09 | 2003-05-01 | Shipon Jacob A | System and method for audio-visual one-on-one real time supervision |
US7152151B2 (en) * | 2002-07-18 | 2006-12-19 | Ge Fanuc Embedded Systems, Inc. | Signal processing resource for selective series processing of data in transit on communications paths in multi-processor arrangements |
US6883084B1 (en) * | 2001-07-25 | 2005-04-19 | University Of New Mexico | Reconfigurable data path processor |
US6633324B2 (en) * | 2001-07-31 | 2003-10-14 | Forgent Networks, Inc. | System and method for video call configuration and scheduling |
US6750896B2 (en) * | 2001-10-16 | 2004-06-15 | Forgent Networks, Inc. | System and method for controlling video calls through a telephone network |
AU2002366494A1 (en) * | 2001-12-15 | 2003-06-30 | Thomson Licensing S.A. | Server invoked time scheduled videoconference |
WO2003063484A1 (en) | 2002-01-16 | 2003-07-31 | Polycom, Inc. | Method and system for controlling multimedia video communication |
EP1495412B1 (en) | 2002-03-22 | 2012-11-28 | Alandro Consulting NY LLC | Scalable high performance 3d graphics |
CN1190079C (zh) * | 2002-03-29 | 2005-02-16 | 武汉邮电科学研究院 | 基于软交换的视频会议***多点控制器 |
US7366780B2 (en) * | 2002-12-31 | 2008-04-29 | Motorola, Inc. | System and method for controlling and managing sessions between endpoints in a communications system |
US20040207724A1 (en) * | 2003-04-17 | 2004-10-21 | Siemens Information And Communication Networks, Inc. | System and method for real time playback of conferencing streams |
US6963353B1 (en) | 2003-05-14 | 2005-11-08 | Cisco Technology, Inc. | Non-causal speaker selection for conference multicast |
CN1553710A (zh) * | 2003-06-05 | 2004-12-08 | 浙江南望图像信息产业有限公司 | 一种视频会议中的流转换***和方法 |
JP2005039515A (ja) * | 2003-07-14 | 2005-02-10 | Fuji Xerox Co Ltd | ネットワークシステム |
EP1519489B1 (en) * | 2003-09-23 | 2009-05-06 | STMicroelectronics S.r.l. | An improved field programmable gate array device |
AU2004306740B2 (en) * | 2003-10-08 | 2010-11-25 | Cisco Technology, Inc. | System and method for performing distributed video conferencing |
US8659636B2 (en) * | 2003-10-08 | 2014-02-25 | Cisco Technology, Inc. | System and method for performing distributed video conferencing |
US7461126B2 (en) | 2003-10-30 | 2008-12-02 | Radvision Ltd. | System and method for distributed multipoint conferencing with automatic endpoint address detection and dynamic endpoint-server allocation |
US7139015B2 (en) * | 2004-01-20 | 2006-11-21 | Polycom, Inc. | Method and apparatus for mixing compressed video |
JP2005260384A (ja) * | 2004-03-10 | 2005-09-22 | Fujitsu Ltd | テレビ会議システム |
WO2005112424A1 (fr) | 2004-05-19 | 2005-11-24 | Dstmedia Technology Co., Ltd. | Procede d'affichage d'images |
US7113200B2 (en) * | 2004-05-21 | 2006-09-26 | Polycom, Inc. | Method and system for preparing video communication image for wide screen display |
JP3936707B2 (ja) * | 2004-05-26 | 2007-06-27 | 日本電信電話株式会社 | スケーラブル通信会議システム,サーバ装置,スケーラブル通信会議方法,スケーラブル通信会議制御方法,スケーラブル通信会議制御プログラムおよびそのプログラム記録媒体 |
US8170191B2 (en) * | 2004-08-02 | 2012-05-01 | Polycom, Inc. | Method and system for handling audio signals of conference |
US7312809B2 (en) * | 2004-10-12 | 2007-12-25 | Codian Ltd. | Method and apparatus for controlling a conference call |
US7679640B2 (en) * | 2005-01-27 | 2010-03-16 | Polycom, Inc. | Method and system for conducting a sub-videoconference from a main videoconference |
US7679638B2 (en) * | 2005-01-27 | 2010-03-16 | Polycom, Inc. | Method and system for allowing video-conference to choose between various associated video conferences |
US8861701B2 (en) | 2005-04-28 | 2014-10-14 | Apple Inc. | Multi-participant conference adjustments |
-
2007
- 2007-11-19 CN CN2011100080977A patent/CN102065270B/zh active Active
- 2007-11-19 US US11/942,512 patent/US7889226B2/en active Active
- 2007-11-19 EP EP07824621.2A patent/EP2105015B1/en active Active
- 2007-11-19 JP JP2009536799A patent/JP5200029B2/ja not_active Expired - Fee Related
- 2007-11-19 WO PCT/GB2007/004404 patent/WO2008062164A2/en active Application Filing
-
2009
- 2009-05-08 US US12/463,031 patent/US8169464B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP2105015A2 (en) | 2009-09-30 |
CN102065270B (zh) | 2013-09-25 |
EP2105015B1 (en) | 2020-04-22 |
US20080158338A1 (en) | 2008-07-03 |
WO2008062164A2 (en) | 2008-05-29 |
US20090213126A1 (en) | 2009-08-27 |
JP5200029B2 (ja) | 2013-05-15 |
US8169464B2 (en) | 2012-05-01 |
WO2008062164A3 (en) | 2009-02-19 |
US7889226B2 (en) | 2011-02-15 |
JP2010510705A (ja) | 2010-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102065270B (zh) | 用于视频会议的硬件架构 | |
US20200259682A1 (en) | Data center network with multiplexed communication of data packets across servers | |
US7873056B2 (en) | Switch device, switching method and switch control program | |
CN101355430B (zh) | 交换框、集群路由器 | |
US20060168637A1 (en) | Multiple-channel codec and transcoder environment for gateway, MCU, broadcast and video storage applications | |
US20080069125A1 (en) | Means and apparatus for a scalable congestion free switching system with intelligent control | |
KR20010099653A (ko) | 라우팅 배열 | |
CN1035927A (zh) | 混合式分组交换的方法和设备 | |
CN103686347A (zh) | 可适应媒体处理架构 | |
CN1149223A (zh) | 具有可指定的多种分组丢失概率的Tbit/s级分组交换机 | |
CN1149222A (zh) | 具有多信道广播带外控制的atm分组交换机 | |
WO1984004011A1 (en) | A wideband digital switching network | |
JPH0574977B2 (zh) | ||
CN101573974B (zh) | 用于视频会议的硬件架构 | |
CN1323533C (zh) | Ip网多媒体会议***中分布式多点控制单元的部署方法 | |
US7120328B2 (en) | Scalable, modular, strictly non-blocking electro-optical cross connect core | |
Cooperman et al. | Broadband video switching | |
CN1284336C (zh) | 基于环的大容量可扩展分组交换网络结构 | |
GB2443968A (en) | Video conference multipoint control unit (MCU) allowing unicast and multicast transmission | |
GB2443969A (en) | Method of transmitting scaled images using video processing hardware architecture | |
GB2443967A (en) | Video processing hardware architecture for video conferencing | |
CN115426207A (zh) | 线卡板、网络设备及通信方法 | |
KR20040054355A (ko) | 다기능 스위치 패브릭 장치 및 그 제어 방법 | |
Lee | Self-routing permutation networks for communications and computer systems | |
Mukhopadhyaya | Deflection routing in buffered binary hypercube switches |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |