CN106210599B - 一种多画面调整方法、装置及多点控制单元 - Google Patents

一种多画面调整方法、装置及多点控制单元 Download PDF

Info

Publication number
CN106210599B
CN106210599B CN201510216792.0A CN201510216792A CN106210599B CN 106210599 B CN106210599 B CN 106210599B CN 201510216792 A CN201510216792 A CN 201510216792A CN 106210599 B CN106210599 B CN 106210599B
Authority
CN
China
Prior art keywords
picture
sub
display
adjusting
adjustment request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510216792.0A
Other languages
English (en)
Other versions
CN106210599A (zh
Inventor
苗军
孙博
李军
***欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201510216792.0A priority Critical patent/CN106210599B/zh
Priority to EP16785927.1A priority patent/EP3276954A4/en
Priority to US15/569,391 priority patent/US20180295326A1/en
Priority to PCT/CN2016/080390 priority patent/WO2016173496A1/zh
Publication of CN106210599A publication Critical patent/CN106210599A/zh
Application granted granted Critical
Publication of CN106210599B publication Critical patent/CN106210599B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/152Multipoint control units therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供了一种多画面调整方法、装置及多点控制单元;方法包括:MCU接收从各个终端发过来的码流,解码视频后合成多画面;所述MCU接收对所述多画面中子画面的调整请求,根据所述调整请求调整相应子画面的显示参数;所述MCU将调整后的多画面编码后发送给相应终端。本发明能够在不改变现有MCU、终端的硬件以及组网条件的情况下,如何使得会议电视用户可以根据自己的需要实现多画面会议中子画面的调整,以实现个性化的需求。

Description

一种多画面调整方法、装置及多点控制单元
技术领域
本发明属于多媒体视频通讯领域,具体涉及一种多画面调整方法、装置及多点控制单元。
背景技术
一个能够实现多画面效果的会议电视***,包含至少两台终端设备、一台MCU(Multipoint Controller Unit,多点控制单元)以及相应的传输网络。MCU在多画面会议电视***中起到核心的作用,可以是独立的设备也可以是内嵌在会议电视终端中的设备逻辑实体,它负责接收各个终端发送过来的压缩视频码流并进行解码,并根据会议的要求进行缩放处理,然后根据事先规定好的多画面布局,把缩放后的视频填充到多画面上对应的位置,最后对填充完毕的视频进行编码并且发送各个终端,各个终端解码收到的码流,就可以看到拼接后的多画面。
在多画面会议电视中,多画面中的子画面布局以及在该布局下子画面的大小是固定的,或者在给定画面数情况下能够进行有限的布局调整,在该布局下子画面的大小也是固定的。
发明内容
本发明要解决的技术问题是在不改变现有MCU、终端的硬件以及组网条件的情况下,如何使得会议电视用户可以根据自己的需要实现多画面会议中子画面的调整,以实现个性化的需求。
为了解决上述问题,本发明提供了一种多画面调整方法,包括:
多点控制单元MCU接收从各个终端发过来的码流,解码视频后合成多画面;
所述MCU接收对所述多画面中子画面的调整请求,根据所述调整请求调整相应子画面的显示参数;
所述MCU将调整后的多画面编码后发送给相应终端。
可选地,所述MCU从MCU本地监控台或终端接收所述调整请求。
可选地,所述调整请求包括请求将指定的子画面调整为设定的尺寸;
所述根据调整请求调整相应子画面的显示参数包括:
根据所述调整请求将所述指定的子画面的显示尺寸调整为所述设定的尺寸。
可选地,所述调整请求包括请求将指定的子画面移动到设定的位置;
所述根据调整请求调整相应子画面的显示参数包括:
根据所述调整请求将所述指定的子画面的显示位置调整为所述设定的位置。
可选地,所述根据调整请求将所述指定的子画面的显示位置调整为所述设定的位置后还包括:
当所述指定的子画面的部分区域位于所述多画面的显示区域之外时,按照所述指定子画面位于所述多画面的显示区域中的部分的尺寸,对所述指定子画面进行裁剪或缩小。
可选地,所述根据调整请求调整相应子画面的显示参数后还包括:
当调整后所述多画面的显示区域中出现无内容区域时,相应将其它子画面的显示尺寸调大或者采用预定图案填充所述无内容区域;
当调整后所述多画面的显示区域中出现子画面交叠区域时,相应将其它子画面的显示尺寸调小或者采用预定方式显示所述交叠区域的内容。
本发明还提供了一种多画面调整装置,设置于多点控制单元MCU中,包括:
合成模块,用于接收从各个终端发过来的码流,解码视频后合成多画面;
调整模块,用于接收对所述多画面中子画面的调整请求,根据所述调整请求调整相应子画面的显示参数;
发送模块,用于将调整后的多画面编码后发送给相应终端。
可选地,所述调整模块从MCU本地监控台或终端接收所述调整请求。
可选地,所述调整请求包括请求将指定的子画面调整为设定的尺寸;
所述调整模块根据调整请求调整相应子画面的显示参数是指:
所述调整模块根据所述调整请求将所述指定的子画面的显示尺寸调整为所述设定的尺寸。
可选地,所述调整请求包括请求将指定的子画面移动到设定的位置;
所述调整模块根据调整请求调整相应子画面的显示参数是指:
所述调整模块根据所述调整请求将所述指定的子画面的显示位置调整为所述设定的位置。
可选地,所述调整模块还用于在根据调整请求将所述指定的子画面的显示位置调整为所述设定的位置后,当所述指定的子画面的部分区域位于所述多画面的显示区域之外时,按照所述指定子画面位于所述多画面的显示区域中的部分的尺寸,对所述指定子画面进行裁剪或缩小。
可选地,所述调整模块还用于在根据调整请求调整相应子画面的显示参数后,当调整后所述多画面的显示区域中出现无内容区域时,相应将其它子画面的显示尺寸调大或者采用预定图案填充所述无内容区域;当调整后所述多画面的显示区域中出现子画面交叠区域时,相应将其它子画面的显示尺寸调小或者采用预定方式显示所述交叠区域的内容。
本发明还提供了一种多点控制单元MCU,包括:
网络接口,用于接收从各个终端发过来的码流;
解码器,用于解码所述码流获得视频;
合成模块,用于将所述视频合成多画面;
编码器,用于将合成的多画面进行编码,通过所述网络接口发送;
所述网络接口还用于接收对所述多画面中子画面的调整请求;
所述合成模块还用于根据所述调整请求调整相应子画面的显示参数;
所述编码器还用于将调整后的多画面编码,通过所述网络接口发送给相应终端。
可选地,所述的多点控制单元还包括:
MCU本地监控台;所述MCU本地监控台包括:
显示屏,用于显示所述多画面;
鼠标,用于输入所述调整请求;
所述网络接口从所述MCU本地监控台接收所述调整请求,或从终端接收所述调整请求。
可选地,所述调整请求包括请求将指定的子画面调整为设定的尺寸;
所述合成模块根据调整请求调整相应子画面的显示参数包括:
所述合成模块根据所述调整请求将所述指定的子画面的显示尺寸调整为所述设定的尺寸。
可选地,所述调整请求包括请求将指定的子画面移动到设定的位置;
所述合成模块根据调整请求调整相应子画面的显示参数包括:
所述合成模块根据所述调整请求将所述指定的子画面的显示位置调整为所述设定的位置。
可选地,所述合成模块还用于在根据调整请求将所述指定的子画面的显示位置调整为所述设定的位置后,当所述指定的子画面的部分区域位于所述多画面的显示区域之外时,按照所述指定子画面位于所述多画面的显示区域中的部分的尺寸,对所述指定子画面进行裁剪或缩小。
可选地,所述合成模块还用于在根据调整请求将所述指定的子画面的显示位置调整为所述设定的位置后,当调整后所述多画面的显示区域中出现无内容区域时,相应将其它子画面的显示尺寸调大或者采用预定图案填充所述无内容区域;当调整后所述多画面的显示区域中出现子画面交叠区域时,相应将其它子画面的显示尺寸调小或者采用预定方式显示所述交叠区域的内容。
本发明的方案可以使会议电视的可操控性得到提高。在MCU、终端的硬件架构不做任何改变的情况下,可以满足会议电视对某个感兴趣的子画面单独调整大小和位置的需求,在画面数比较多的情况下尤其实用。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本发明的技术方案,并不构成对本发明技术方案的限制。
图1是本发明实施例一的一种多画面调整方法的流程示意图;
图2是采用本发明实施例的会议电视***框图;
图3(a)~(d)是多画面会议电视常见的子画面布局方式;
图4(a)~(c)是多画面会议电视中子画面改变大小后的布局示意图;
图5(a)~(c)是多画面会议电视中子画面改变位置后的布局示意图;
图6是一种使用按键遥控器选中、调整子画面的流程图;
图7是本发明实施例三的多点控制单元的结构示意图。
具体实施方式
下面将结合附图及实施例对本发明的技术方案进行更详细的说明。
需要说明的是,如果不冲突,本发明实施例以及实施例中的各个特征可以相互结合,均在本发明的保护范围之内。另外,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
实施例一、一种多画面调整方法,如图1所示,包括:
MCU接收从各个终端发过来的码流,解码视频后合成多画面;
所述MCU接收对所述多画面中子画面的调整请求,根据所述调整请求调整相应子画面的显示参数;
所述MCU将调整后的多画面编码后发送给相应终端。
通过本实施例的方法,可以对多画面中的一个或多个子画面的显示进行个性化调整,而且无需硬件架构上的调整。
可选地,所述MCU从MCU本地监控台或终端接收所述调整请求。所述终端可以包括以下几类中的一种或几种:
桌面终端(如笔记本电脑等)、移动终端(如平板电脑或大屏幕手机等)、支持触屏操作的会议电视终端、配备遥控器的传统会议电视终端等。
所述相应终端可是各个发码流的终端,也可以是调整请求中指定的终端,还可以是发送所述调整请求的终端或默认的终端。
可选地,所述调整请求包括请求将指定的子画面调整为设定的尺寸;
所述根据调整请求调整相应子画面的显示参数包括:
根据所述调整请求将所述指定的子画面的显示尺寸调整为所述设定的尺寸。
通过本可选方法,可以根据需要调大或调小相应的子画面。
可选地,所述调整请求包括请求将指定的子画面移动到设定的位置;
所述根据调整请求调整相应子画面的显示参数包括:
根据所述调整请求将所述指定的子画面的显示位置调整为所述设定的位置。
通过本可选方法,可以根据需要将相应的子画面显示在特定的位置。
可选地,所述根据调整请求将所述指定的子画面的显示位置调整为所述设定的位置后还包括:
当所述指定的子画面的部分区域位于所述多画面的显示区域之外时,按照所述指定子画面位于所述多画面的显示区域中的部分的尺寸,对所述指定子画面进行裁剪或缩小。
在调整尺寸时,子画面放大时是向所述多画面的显示区域内扩展,所以一般不会出现调整后子画面部分区域位于所述多画面的显示区域之外的情况。如果出现,则可参照上文进行处理。
通过本可选方法,可以更好的适应调整子画面位置后可能导致的子画面超出显示范围的情况。
可选地,所述根据调整请求调整相应子画面的显示参数后还包括:
当调整后所述多画面的显示区域中出现无内容区域(即:子画面之间的空隙)时,相应将其它子画面的显示尺寸调大或者采用预定图案填充所述无内容区域;这里的预定图案也包括纯色;
当调整后所述多画面的显示区域中出现子画面交叠区域时,相应将其它子画面的显示尺寸调小或者采用预定方式显示所述交叠区域的内容;这里的预定方式包括透明叠加或遮盖(将某个子画面的内容显示在交叠区域中的顶层,挡住交叠区域中其它子画面的内容;显示在顶层的子画面可以但不限于为所述指定的子画面)。
通过本可选方法,可以更好的适应调整子画面显示参数后可能导致的子画面重叠或出现空白区域的情况。
实施例二、一种多画面调整装置,设置于多点控制单元MCU中,包括:
合成模块,用于接收从各个终端发过来的码流,解码视频后合成多画面;
调整模块,用于接收对所述多画面中子画面的调整请求,根据所述调整请求调整相应子画面的显示参数;
发送模块,用于将调整后的多画面编码后发送给相应终端。
可选地,所述调整模块从MCU本地监控台或终端接收所述调整请求。
可选地,所述调整请求包括请求将指定的子画面调整为设定的尺寸;
所述调整模块根据调整请求调整相应子画面的显示参数是指:
所述调整模块根据所述调整请求将所述指定的子画面的显示尺寸调整为所述设定的尺寸。
可选地,所述调整请求包括请求将指定的子画面移动到设定的位置;
所述调整模块根据调整请求调整相应子画面的显示参数是指:
所述调整模块根据所述调整请求将所述指定的子画面的显示位置调整为所述设定的位置。
可选地,所述调整模块还用于在根据调整请求将所述指定的子画面的显示位置调整为所述设定的位置后,当所述指定的子画面的部分区域位于所述多画面的显示区域之外时,按照所述指定子画面位于所述多画面的显示区域中的部分的尺寸,对所述指定子画面进行裁剪或缩小。
可选地,所述调整模块还用于在根据调整请求调整相应子画面的显示参数后,当调整后所述多画面的显示区域中出现无内容区域时,相应将其它子画面的显示尺寸调大或者采用预定图案填充所述无内容区域;当调整后所述多画面的显示区域中出现子画面交叠区域时,相应将其它子画面的显示尺寸调小或者采用预定方式显示所述交叠区域的内容。
下面详细介绍在MCU本地监控台进行调整的过程。
在MCU本地的监控台上,用户对待变动大小的子画面(即指定或选中的子画面),通过拖拽画面边缘或边角实现对该子画面尺寸的设定,然后MCU根据设定的尺寸改变该子画面的显示尺寸。选中的子画面的显示尺寸变动后,就会涉及到其余子画面的重新布局。如果该子画面尺寸扩大,就会占据部分相邻子画面的位置,交叠的部分可以采用遮盖或透明叠加的方式处理,除尺寸变大的子画面之外的其它子画面也可以自动变小以填充画面;如果该子画面尺寸缩小,缩小后的子画面和相邻子画面之间就留有空隙,这些空隙可以填充为纯色或选定的图案,除尺寸变小的子画面之外的其它子画面尺寸保持不变,或者自动变大以填充画面。上述方案中提到的尺寸变化都包括但不限于等宽高比缩放的方式;如果其它子画面尺寸变大或缩小后出现交叠/空隙,参照上文进行处理即可;
在MCU本地的监控台上,用户对待变动位置的子画面(即指定或选中的子画面),通过拖动画面实现对该子画面位置的设定,然后MCU根据设定的位置改变该子画面的显示位置。选中的子画面的显示位置变动后,涉及到其余子画面的重新布局。如果该子画面向整幅画面内侧移动,就会占据部分相邻子画面的位置,交叠的部分可以采用遮盖或透明叠加的方式处理,除位置移动的子画面之外的其它子画面也可以自动变小以填充画面,位置移动的子画面移出后的空隙位置可以填充为纯色或选定的图案;如果该子画面向整幅画面外侧移动,移动后尚在整幅画面的剩余部分可以单纯截屏或者缩小,移动后的子画面和相邻子画面留有空隙,这些空隙可以填充为纯色或选定的图案,除位置移动的子画面之外的其它子画面尺寸保持不变,或者自动变大以填充画面。上述方案中提到的尺寸变化都包括但不限于等宽高比缩放的方式;如果其它子画面尺寸变大或缩小后出现交叠/空隙,参照上文进行处理即可。
下面详细介绍通过终端进行调整的过程。
对于支持屏幕选中及拖拽操作的终端,用户可以选中想要调整大小的子画面(即指定或选中的子画面),通过拖拽画面边缘或边角实现对该子画面尺寸的设定,然后终端把设定的尺寸上报给MCU,接下来的实现方法与在MCU本地监控台进行调整的过程相同;
对于支持屏幕选中及拖拽操作的终端,用户可以选中想要移动位置的子画面(即指定或选中的子画面),通过拖动画面实现对该子画面位置的设定,然后终端把设定的位置上报给MCU,接下来的实现方法与在MCU本地监控台进行调整的过程相同。
下面详细介绍通过遥控器进行调整的过程。
对于仅支持遥控器的会议电视终端,用户在出现多画面的界面上,先选中需要调整大小的子画面(即指定或选中的子画面),使用一些按键的组合,比如通过使用“确认”键和“方向”键等方式,使该子画面处于调整尺寸的状态,再通过操作一些按键,可以实现有限级的放大缩小(在MCU本地监控台或通过终端调整的方案中变化可以包含无级缩放的方式),然后终端把设定的尺寸上报给MCU,接下来的实现方法与在MCU本地监控台进行调整的过程相同;
对于仅支持遥控器的会议电视终端,用户在出现多画面的界面上,先选中需要移动位置的子画面(即指定或选中的子画面),使用一些按键的组合,比如通过使用“确认”键和“方向”键,使该子画面处于移动位置的状态,再通过操作“方向”键,可以实现选定子画面的移动,移动到想要设定的位置后确认,然后终端把设定的位置上报给MCU,接下来的实现方法与在MCU本地监控台进行调整的过程相同。
下面结合附图对本发明实施例的技术方案进行详细阐述。
图2是采用本发明实施例所述的多画面调整方法的会议电视***框图。各组成部分的功能简单介绍如下:
MCU 101是实现多画面会议电视***的核心,它负责接收终端103~105的压缩视频流,解码后根据会议的要求进行相应的转码缩放操作,然后按照布局要求,根据相应参数生成多画面,再编码发给终端103~105;在调整子画面大小和布局的时候,如果在MCU本地的监控台操作,它还承担作为设定的尺寸、位置的直接输入端;
终端103~105通过网络102与MCU 101相连,终端103~105向MCU101发送单画面视频数据,同时接收MCU 101发出的多画面视频数据,这里提到的视频数据都是经过某种编码算法处理的压缩码流,如果在终端103~105上进行子画面大小和布局的调整时,为指定的子画面设定的尺寸、位置会通过网络102上传给MCU 101;
会议电视终端103,装备有控制台,支持鼠标操作;或者配备有触摸屏支持触控操作;或者配有按键遥控器。通过鼠标、触控对需要调整尺寸或位置的子画面实施选中、拖拽缩放、点击缩放、拖拽移动等操作;通过按键的组合,对需要调整尺寸或位置的子画面实施选中、点击缩放、点击移动等操作。它们会把为指定的子画面设定的尺寸、位置等变动的信息上传给MCU101;
桌面终端104,具备支持鼠标或触屏进行屏幕拖拽的操作,用户可以选中需要调整尺寸或位置的子画面,然后实施拖拽缩放、点击缩放、拖拽移动等操作,它们会把为指定的子画面设定的尺寸、位置等变动的信息上传给MCU 101;
移动终端105,具备触屏进行屏幕拖拽的操作,用户可以选中需要调整尺寸或位置的子画面,然后实施拖拽缩放、点击缩放、拖拽移动等操作,它们会把指定的子画面,设定的尺寸、位置等变动的信息上传给MCU 101。
图3(a)~(d)是多画面会议电视常见的子画面布局方式,以16:9宽高比的6画面为例:
示意图3(a)
左上角为大的子画面1,占据4/9的面积,画面2~6为小的子画面,各自占据1/9的面积,所有的子画面无缝的拼接在一起,组成一个6画面;
示意图3(b):
右上角为大的子画面1,占据4/9的面积,画面2~6为小的子画面,各自占据1/9的面积,所有的子画面无缝的拼接在一起,组成一个6画面;
示意图3(c):
左下角为大的子画面1,占据4/9的面积,画面2~6为小的子画面,各自占据1/9的面积,所有的子画面无缝的拼接在一起,组成一个6画面;
示意图3(d):
右下角为大的子画面1,占据4/9的面积,画面2~6为小的子画面,各自占据1/9的面积,所有的子画面无缝的拼接在一起,组成一个6画面。
图4是多画面会议电视中子画面改变大小后的布局示意图,以针对示意图3(a)的布局进行调整为例说明:
示意图4(a):
先选中图3(a)中的子画面6,通过拖拽或点击等方式增大其尺寸,包括但不限于宽高比维持不变的尺寸增大方式,尺寸最大可以调整到铺满整个屏幕,图4(a)演示了子画面6向左下角等宽高比增大尺寸的效果。子画面6增大之后会占据邻近的子画面的位置,如图4(a)所示,占据了子画面5的全部位置,占据了子画面1~4的部分位置,如果子画面1~5尺寸维持不变的话,对交叠位置的处理可以采用遮盖或者透明叠加的方式;如果子画面1~5尺寸随着变大的子画面6也发生变化的话,效果参考示意图4(b);
示意图4(b):
子画面6的尺寸变大,占据了邻近的子画面的位置。子画面1~5尺寸随之发生变化,采用包括但不限于等宽高比的变化方式,图4(b)演示了子画面1~5等宽高比减少尺寸的效果。子画面1~5等宽高比缩小之后,画面会出现一些空隙(图4(b)中网格线部分的区域),这些空隙可以采用填充包括但不限于纯色的方式,比如但不限于填充纯黑色。
示意图4(c):
选中图3(a)中的子画面1,通过拖拽或点击等方式减小其尺寸,包括但不限于宽高比维持不变的尺寸减小方式,图4(c)演示了子画面1向左上角等宽高比减少尺寸的效果。子画面1减小之后,子画面2~6的尺寸要么维持不变,要么包括但不限于等宽高比的扩大。上述变动之后产生的空隙区域(图4(c)中网格线部分的区域)可以采用填充包括但不限于纯色的方式,比如子画面1变小之后,子画面2~6的尺寸维持不变,用纯黑色填充空隙。
图5是多画面会议电视中子画面改变位置后的布局示意图,以针对示意图3(a)的布局进行调整为例说明:
示意图5(a):
选中图3(a)中的子画面1,通过拖动方式移动其位置,图5(a)演示了子画面1向内侧即向右下角移动位置的效果。子画面1移动之后会占据邻近的子画面的位置,如图5(a)所示,占据了子画面2~6的部分位置,左上角的空隙区域(图5(a)中网格线部分的区域)则可以填充纯黑色;如果子画面2~6尺寸维持不变的话,对交叠位置的处理可以采用遮盖或者透明叠加的方式;如果子画面2~6尺寸随着子画面1的移动也发生变化的话,效果参考示意图5(b);
示意图5(b):
选中图3(a)布局中的子画面1,通过拖动的方式使其位置发生变化,具体来说是向内移动,占据了邻近的子画面2~6的部分位置。子画面2~6尺寸随之发生变化,采用包括但不限于等宽高比的变化方式,图5(b)演示了子画面2~6等宽高比减少尺寸的效果。子画面2~6等宽高比缩小之后,画面会出现一些空隙(图5(b)中网格线部分的区域),这些空隙可以采用填充包括但不限于纯色的方式,比如填充纯黑色。
示意图5(c):
选中图3(a)布局中的子画面1,通过拖动的方式使其位置发生变化,具体来说是向外移动,图5(c)演示了子画面1向左上角移动的效果,移动后尚在整幅画面的剩余部分可以单纯截屏或者缩小,缩小采用包括但不限于等宽高比的变化方式。图5(c)演示了单纯截屏的效果,其中4031和4032为移出画面的部分,也就是单纯裁剪掉的部分。子画面1向外移动之后,子画面2~6的尺寸要么维持不变,要么包括但不限于等宽高比的扩大。上述变动之后产生的空隙区域可以采用填充包括但不限于纯色的方式,图5(c)演示了子画面1向外移动之后,子画面2~6的尺寸维持不变,可以用纯黑色填充空隙(图5(c)中网格线部分的区域)。
在为传统会议电视终端配置的按键遥控器中:
“方向”键:有上下左右四个方向,更高级的遥控器还增加了左上、右上、左下、右下等4个方向。本发明实施例包括但不限于上下左右四个方向的遥控器,包括但不限于按键遥控器。在本发明实施例中“方向”键起到选中、移动子画面的作用,以及模拟拖动画面边框的作用,在菜单操作中还有选择上下级菜单的作用;
“确认”键:对选中的子画面进行确认,对准备改变大小的子画面快速按动确认键,可以实现子画面的连续放大;在子画面连续放大、移动之后,经过一段时间间隔,再次“按动”确认键完成对所选尺寸和位置的确认;
“菜单”键:按下“菜单”键选中调整子画面菜单,再一步选择调整子画面大小或位置的下级菜单;
“返回”键:在完成按下子画面大小或位置的调整之后,用户通过按动“返回”键可以返回上一次的画面大小或位置,连续按动“返回”键则返回至最初的多画面布局;
在实际应用时,遥控器各按键及其组合在多画面调整中所起的作用不限于上文的描述,可以自行设置。
图6是一种使用按键遥控器选中、调整子画面大小、布局的流程图。
步骤601:
按“菜单”键,电视的多画面图像上会出现GUI(图形用户界面)菜单,选择进入调整子画面菜单,然后进入步骤602;
步骤602:
用户根据需要,选择调整子画面大小或位置的子菜单,如果选中调整子画面大小的子菜单,则进入步骤603a,如果选中调整子画面位置的子菜单,则进入步骤603b;
步骤603a:
此时已经进入选择子画面大小的状态,多画面图像中会有子画面被默认选中,本发明实施例包含但不限于步骤601~602中提到的选中方式。用户根据需要,通过按动“方向”键选中准备调整大小的子画面,然后就进入步骤604a,选择中可以用标框或凸出的方式表示已经选到的子画面;
步骤604a:
用户此时按“确认”键,表示已经选中的子画面准备调整大小的子画面,选中的子画面可以用标框或下沉的方式来表示,然后进入步骤605a;
步骤605a:
用户快速连续按“确认”键,选中的子画面尺寸会变大,最大可以铺满整个画面,每两次连续按键尺寸放大一级,放大到需要的尺寸后,暂停一段时间后,进入步骤606a。其中子画面尺寸放大后但未铺满整个画面的时候,其余子画面的布局参考示意图4(a)~(b);
步骤606a:
放大到需要的尺寸后,暂停一段时间后,用户再次按“确认”键,选中子画面的尺寸则确认调整完成。如果用户想要缩小变大的子画面,则进入步骤607a;如果用户想要直接回到原始的多画面布局,则进入步骤608a;
步骤607a:
如果用户想要缩小变大的子画面,按“返回”键后子画面则缩小一级回到上一次的大小,直至回到原始的多画面布局;
步骤608a:
如果用户想要直接回到原始的多画面布局,快速连续按“返回”键后,则恢复到原始的多画面布局;
步骤603b:
此时已经进入选择子画面位置的状态,多画面图像中会有子画面被默认选中,本发明实施例包含但不限于步骤601~602中提到的选中方式。用户根据需要,通过按动“方向”键选中准备调整位置的子画面,然后就进入步骤604b,选择中可以用标框或凸出的方式表示已经选到的子画面;
步骤604b:
用户此时按“确认”键,表示已经选中的子画面准备调整大小的子画面,选中的子画面可以用标框或下沉的方式来表示,然后进入步骤605b;
步骤605b:
用户快速连续按“方向”键,选中的子画面位置会发生变化,每两次连续按键位置移动一格,移动到需要的位置后,暂停一段时间后,进入步骤606b。其中子画面移动的时候,其余子画面的布局参考示意图5(a)~(b);
步骤606b:
移动到需要的位置后,暂停一段时间后,用户再次按“确认”键,选中子画面的位置则确认调整完成。如果用户想要退回到子画面上一次的位置,则进入步骤607b;如果用户想要直接回到原始的多画面布局,则进入步骤608b;
步骤607b:
如果用户想要退回到子画面上一次的位置,按“返回”键后子画面则退回一格,直至回到原始的多画面布局;
步骤608b:
如果用户想要直接回到原始的多画面布局,快速连续按“返回”键后,则恢复到原始的多画面布局。
实施例三、一种多点控制单元MCU,如图7所示,包括:
网络接口,用于接收从各个终端发过来的码流;
解码器,用于解码所述码流获得视频;
合成模块,用于将所述视频合成多画面;
编码器,用于将合成的多画面进行编码,通过所述网络接口发送;
其中:
所述网络接口还用于接收对所述多画面中子画面的调整请求;
所述合成模块还用于根据所述调整请求调整相应子画面的显示参数;
所述编码器还用于将调整后的多画面编码,通过所述网络接口发送给相应终端。
所述网络接口还可以用于发送参数给所述解码器、编码器以及合成模块。
可选地,所述MCU还包括MCU本地监控台;
所述MCU本地监控台包括:
显示屏,用于显示所述多画面;
鼠标,用于输入所述调整请求;
所述网络接口从所述MCU本地监控台接收所述调整请求,或从终端接收所述调整请求。
可选地,所述调整请求包括请求将指定的子画面调整为设定的尺寸;
所述合成模块根据调整请求调整相应子画面的显示参数包括:
所述合成模块根据所述调整请求将所述指定的子画面的显示尺寸调整为所述设定的尺寸。
可选地,所述调整请求包括请求将指定的子画面移动到设定的位置;
所述合成模块根据调整请求调整相应子画面的显示参数包括:
所述合成模块根据所述调整请求将所述指定的子画面的显示位置调整为所述设定的位置。
可选地,所述合成模块还用于在根据调整请求将所述指定的子画面的显示位置调整为所述设定的位置后,当所述指定的子画面的部分区域位于所述多画面的显示区域之外时,按照所述指定子画面位于所述多画面的显示区域中的部分的尺寸,对所述指定子画面进行裁剪或缩小。
可选地,所述合成模块还用于在根据调整请求将所述指定的子画面的显示位置调整为所述设定的位置后,当调整后所述多画面的显示区域中出现无内容区域时,相应将其它子画面的显示尺寸调大或者采用预定图案填充所述无内容区域;当调整后所述多画面的显示区域中出现子画面交叠区域时,相应将其它子画面的显示尺寸调小或者采用预定方式显示所述交叠区域的内容。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成,所述程序可以存储于计算机或嵌入式***可读写存储介质中,如只读存储器、可读写存储器、磁盘或光盘等。可选地,上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地,上述实施例中的各模块/单元可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
当然,本发明还可有其他多种实施例,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明的权利要求的保护范围。

Claims (12)

1.一种多画面调整方法,包括:
多点控制单元MCU接收从各个终端发过来的码流,解码视频后合成多画面;
所述MCU接收对所述多画面中子画面的调整请求,根据所述调整请求调整相应子画面的显示参数;
所述MCU将调整后的多画面编码后发送给相应终端;
其中,所述调整请求包括:通过拖动请求将指定的子画面移动到设定的位置;所述根据调整请求调整相应子画面的显示参数包括:根据所述调整请求将所述指定的子画面的显示位置调整为所述设定的位置;
其中,所述根据调整请求将所述指定的子画面的显示位置调整为所述设定的位置后还包括:
当所述指定的子画面的部分区域位于所述多画面的显示区域之外时,按照所述指定的子画面在所述多画面的显示区域中所占区域的尺寸,对所述指定的子画面进行裁剪或缩小。
2.如权利要求1所述的方法,其特征在于:
所述MCU从MCU本地监控台或终端接收所述调整请求。
3.如权利要求1所述的方法,其特征在于:
所述调整请求包括请求将指定的子画面调整为设定的尺寸;
所述根据调整请求调整相应子画面的显示参数包括:
根据所述调整请求将所述指定的子画面的显示尺寸调整为所述设定的尺寸。
4.如权利要求1~3中任一项所述的方法,其特征在于,所述根据调整请求调整相应子画面的显示参数后还包括:
当调整后所述多画面的显示区域中出现无内容区域时,相应将其它子画面的显示尺寸调大或者采用预定图案填充所述无内容区域;
当调整后所述多画面的显示区域中出现子画面交叠区域时,相应将其它子画面的显示尺寸调小或者采用预定方式显示所述交叠区域的内容。
5.一种多画面调整装置,设置于多点控制单元MCU中,其特征在于,包括:
合成模块,用于接收从各个终端发过来的码流,解码视频后合成多画面;
调整模块,用于接收对所述多画面中子画面的调整请求,根据所述调整请求调整相应子画面的显示参数;
发送模块,用于将调整后的多画面编码后发送给相应终端;
所述调整请求包括通过拖动请求将指定的子画面移动到设定的位置;
所述调整模块根据调整请求调整相应子画面的显示参数是指:
所述调整模块根据所述调整请求将所述指定的子画面的显示位置调整为所述设定的位置;
所述调整模块还用于在根据调整请求将所述指定的子画面的显示位置调整为所述设定的位置后,当所述指定的子画面的部分区域位于所述多画面的显示区域之外时,按照所述指定子画面位于所述多画面的显示区域中的部分的尺寸,对所述指定子画面进行裁剪或缩小。
6.如权利要求5所述的装置,其特征在于:
所述调整模块从MCU本地监控台或终端接收所述调整请求。
7.如权利要求5所述的装置,其特征在于:
所述调整请求包括请求将指定的子画面调整为设定的尺寸;
所述调整模块根据调整请求调整相应子画面的显示参数是指:
所述调整模块根据所述调整请求将所述指定的子画面的显示尺寸调整为所述设定的尺寸。
8.如权利要求5~7中任一项所述的装置,其特征在于:
所述调整模块还用于在根据调整请求调整相应子画面的显示参数后,当调整后所述多画面的显示区域中出现无内容区域时,相应将其它子画面的显示尺寸调大或者采用预定图案填充所述无内容区域;当调整后所述多画面的显示区域中出现子画面交叠区域时,相应将其它子画面的显示尺寸调小或者采用预定方式显示所述交叠区域的内容。
9.一种多点控制单元MCU,包括:
网络接口,用于接收从各个终端发过来的码流;
解码器,用于解码所述码流获得视频;
合成模块,用于将所述视频合成多画面;
编码器,用于将合成的多画面进行编码,通过所述网络接口发送;
其特征在于:
所述网络接口还用于接收对所述多画面中子画面的调整请求;
所述合成模块还用于根据所述调整请求调整相应子画面的显示参数;
所述编码器还用于将调整后的多画面编码,通过所述网络接口发送给相应终端;
所述调整请求包括通过拖动请求将指定的子画面移动到设定的位置;
所述合成模块根据调整请求调整相应子画面的显示参数包括:
所述合成模块根据所述调整请求将所述指定的子画面的显示位置调整为所述设定的位置;
所述合成模块还用于在根据调整请求将所述指定的子画面的显示位置调整为所述设定的位置后,当所述指定的子画面的部分区域位于所述多画面的显示区域之外时,按照所述指定子画面位于所述多画面的显示区域中的部分的尺寸,对所述指定子画面进行裁剪或缩小。
10.如权利要求9所述的多点控制单元,其特征在于,还包括:
MCU本地监控台;所述MCU本地监控台包括:
显示屏,用于显示所述多画面;
鼠标,用于输入所述调整请求;
所述网络接口从所述MCU本地监控台接收所述调整请求,或从终端接收所述调整请求。
11.如权利要求9所述的多点控制单元,其特征在于:
所述调整请求包括请求将指定的子画面调整为设定的尺寸;
所述合成模块根据调整请求调整相应子画面的显示参数包括:
所述合成模块根据所述调整请求将所述指定的子画面的显示尺寸调整为所述设定的尺寸。
12.如权利要求9~11中任一项所述的多点控制单元,其特征在于:
所述合成模块还用于在根据调整请求将所述指定的子画面的显示位置调整为所述设定的位置后,当调整后所述多画面的显示区域中出现无内容区域时,相应将其它子画面的显示尺寸调大或者采用预定图案填充所述无内容区域;当调整后所述多画面的显示区域中出现子画面交叠区域时,相应将其它子画面的显示尺寸调小或者采用预定方式显示所述交叠区域的内容。
CN201510216792.0A 2015-04-30 2015-04-30 一种多画面调整方法、装置及多点控制单元 Active CN106210599B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201510216792.0A CN106210599B (zh) 2015-04-30 2015-04-30 一种多画面调整方法、装置及多点控制单元
EP16785927.1A EP3276954A4 (en) 2015-04-30 2016-04-27 Multi-image adjusting method and device, and multipoint controller unit
US15/569,391 US20180295326A1 (en) 2015-04-30 2016-04-27 Multi-Image Adjusting Method and Device, and Multipoint Controller Unit
PCT/CN2016/080390 WO2016173496A1 (zh) 2015-04-30 2016-04-27 一种多画面调整方法、装置及多点控制单元

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510216792.0A CN106210599B (zh) 2015-04-30 2015-04-30 一种多画面调整方法、装置及多点控制单元

Publications (2)

Publication Number Publication Date
CN106210599A CN106210599A (zh) 2016-12-07
CN106210599B true CN106210599B (zh) 2021-02-12

Family

ID=57199687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510216792.0A Active CN106210599B (zh) 2015-04-30 2015-04-30 一种多画面调整方法、装置及多点控制单元

Country Status (4)

Country Link
US (1) US20180295326A1 (zh)
EP (1) EP3276954A4 (zh)
CN (1) CN106210599B (zh)
WO (1) WO2016173496A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109756768A (zh) * 2017-11-08 2019-05-14 中国电信股份有限公司 视频流处理方法、装置和视频流显示方法、装置
GB201812382D0 (en) 2018-07-30 2018-09-12 Nzp Uk Ltd Compounds
CN109257546A (zh) * 2018-09-26 2019-01-22 北京大米未来科技有限公司 一种视频显示方法、装置、电子设备及介质
CN109120867A (zh) * 2018-09-27 2019-01-01 乐蜜有限公司 视频合成方法及装置
CN109743625A (zh) * 2018-12-20 2019-05-10 聚好看科技股份有限公司 一种视频处理方法及电视机
US10666902B1 (en) * 2019-01-30 2020-05-26 Microsoft Technology Licensing, Llc Display conflict elimination in videoconferencing
CN110049277A (zh) * 2019-05-28 2019-07-23 南京南方电讯有限公司 一种会议接入实现方法
CN110264543B (zh) * 2019-06-21 2022-07-12 苏州科达科技股份有限公司 拼接画面的边框绘制方法、装置及存储介质
CN112422879B (zh) * 2019-08-20 2022-10-28 华为技术有限公司 媒体能力动态调整方法及装置
CN110784774A (zh) * 2019-09-23 2020-02-11 视联动力信息技术股份有限公司 视频窗口移动方法、装置及计算机可读存储介质
CN112738452A (zh) * 2019-10-10 2021-04-30 西安诺瓦星云科技股份有限公司 画面预监和图像处理方法、装置及其应用
CN112558854B (zh) * 2020-12-07 2022-06-24 深圳市捷视飞通科技股份有限公司 多画面分屏模式定制方法、装置和计算机设备
CN113055615B (zh) * 2021-02-01 2024-05-03 广州朗国电子科技股份有限公司 会议一体机、屏幕切分显示方法以及存储装置
CN113315927B (zh) * 2021-05-27 2023-04-28 维沃移动通信有限公司 视频处理方法和装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101582254A (zh) * 2008-05-13 2009-11-18 深圳华为通信技术有限公司 一种图像呈现方法及装置
CN101795389A (zh) * 2009-01-30 2010-08-04 宝利通公司 用于进行连续呈现会议的方法和***
CN101951493A (zh) * 2010-09-25 2011-01-19 中兴通讯股份有限公司 移动终端及其视频通话中对远端图像局部放大方法
CN102685415A (zh) * 2011-03-18 2012-09-19 华为终端有限公司 一种视频画面处理方法、***、设备及终端

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5764277A (en) * 1995-11-08 1998-06-09 Bell Communications Research, Inc. Group-of-block based video signal combining for multipoint continuous presence video conferencing
EP1381237A3 (en) * 2002-07-10 2004-05-12 Seiko Epson Corporation Multi-participant conference system with controllable content and delivery via back-channel video interface
US7321384B1 (en) * 2003-06-03 2008-01-22 Cisco Technology, Inc. Method and apparatus for using far end camera control (FECC) messages to implement participant and layout selection in a multipoint videoconference
US7176957B2 (en) * 2004-05-25 2007-02-13 Seiko Epson Corporation Local video loopback method for a multi-participant conference system using a back-channel video interface
US7477281B2 (en) * 2004-11-09 2009-01-13 Nokia Corporation Transmission control in multiparty conference
KR100793736B1 (ko) * 2006-02-23 2008-01-10 삼성전자주식회사 다채널의 영상을 동시에 출력하는 디지털 방송 수신 장치
AU2009257627B2 (en) * 2008-06-09 2014-05-01 Vidyo, Inc. Improved view layout management in scalable video and audio communication systems
NO331338B1 (no) * 2009-06-24 2011-11-28 Cisco Systems Int Sarl Fremgangsmate og anordning for endring av en videokonferanse-layout
CN102111605A (zh) * 2009-12-28 2011-06-29 杭州华三通信技术有限公司 Mcu多画面分屏实现方法及mcu
US8717404B2 (en) * 2010-04-27 2014-05-06 Lifesize Communications, Inc. Recording a videoconference based on recording configurations
CN102833518B (zh) * 2011-06-13 2015-07-08 华为终端有限公司 一种mcu多画面优化配置的方法及装置
CN103873813B (zh) * 2012-12-10 2018-06-01 中兴通讯股份有限公司 一种会议电视多画面切换的方法及***
CN104571872A (zh) * 2015-01-27 2015-04-29 深圳市中兴移动通信有限公司 一种移动终端的分屏管理方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101582254A (zh) * 2008-05-13 2009-11-18 深圳华为通信技术有限公司 一种图像呈现方法及装置
CN101795389A (zh) * 2009-01-30 2010-08-04 宝利通公司 用于进行连续呈现会议的方法和***
CN101951493A (zh) * 2010-09-25 2011-01-19 中兴通讯股份有限公司 移动终端及其视频通话中对远端图像局部放大方法
CN102685415A (zh) * 2011-03-18 2012-09-19 华为终端有限公司 一种视频画面处理方法、***、设备及终端

Also Published As

Publication number Publication date
EP3276954A4 (en) 2018-03-28
CN106210599A (zh) 2016-12-07
US20180295326A1 (en) 2018-10-11
WO2016173496A1 (zh) 2016-11-03
EP3276954A1 (en) 2018-01-31

Similar Documents

Publication Publication Date Title
CN106210599B (zh) 一种多画面调整方法、装置及多点控制单元
US11902627B2 (en) Display apparatus for processing multiple applications and method for controlling the same
US8547414B2 (en) Touch screen video switching system
KR101588660B1 (ko) 영상 이동이 가능한 디스플레이 장치 및 그 방법
US9154737B2 (en) User-defined content magnification and multi-point video conference system, method and logic
EP2446619B1 (en) Method and device for modifying a composite video signal layout
CN102572370B (zh) 视频会议的控制方法和会议终端
US11153625B2 (en) Image display method, image distribution method, image display apparatus, and image distribution apparatus
TWI535268B (zh) 移動影像之再生處理方法及使用該方法之行動資訊終端機
CN101534411A (zh) 一种基于图像的视讯会议控制方法、终端及***
CN104053036A (zh) 管理呈现高清视频的高超高清显示器上的额外空间
CN102714747A (zh) 立体视频图形覆盖
US20140101700A1 (en) Touch screen video switching system
CN105812883A (zh) 视频译码方法以及应用此方法的电子***
WO2015176489A1 (zh) 画面亮度调整方法、多点控制单元mcu及终端
CN113315927A (zh) 视频处理方法和装置、电子设备和存储介质
CN114866841B (zh) 具有回显功能的超高清多画面显示***及方法
KR101799381B1 (ko) 디스플레이장치 및 그 제어방법
US20130195184A1 (en) Scalable video coding method and apparatus
JP5018056B2 (ja) 映像合成装置
CN117119233A (zh) 显示设备和视频上传方法
CN102833612B (zh) 一种数字机顶盒装置及其实现数字编辑的方法
CN104253969A (zh) 多画面组合的呈现方法及装置
CN115225928A (zh) 一种多类型音视频混播***及方法
CN117971086A (zh) 显示设备和悬浮窗口显示方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant