CN1736107A - 视频发送***、视频发送装置、视频接收装置和视频发送方法 - Google Patents

视频发送***、视频发送装置、视频接收装置和视频发送方法 Download PDF

Info

Publication number
CN1736107A
CN1736107A CNA2004800002779A CN200480000277A CN1736107A CN 1736107 A CN1736107 A CN 1736107A CN A2004800002779 A CNA2004800002779 A CN A2004800002779A CN 200480000277 A CN200480000277 A CN 200480000277A CN 1736107 A CN1736107 A CN 1736107A
Authority
CN
China
Prior art keywords
video
channel
quality
priority
transmitting apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2004800002779A
Other languages
English (en)
Inventor
本田义雅
上野山努
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1736107A publication Critical patent/CN1736107A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

提供了一种视频发送***、一种视频发送装置、一种视频接收装置、和一种视频发送方法，其中，当多个具有不同特性的终端同时接收视频时，每个终端可以接收适于该终端的质量的视频。在该***中，发送终端(100)在信道划分部件(106)中根据分级编码数据的质量和频带来进行其信道划分，将通过使用终端信息而在优先权计算部件(112)中计算的优先权添加到数据上，并通过独立的信道从视频发送部件(108)发送该数据。此外，组列表计算部件(114)计算其中根据质量而将信道分组的组列表，并从组列表发送部件(116)发送该组列表。另一方面，接收终端(150)通过使用所输入的优先质量和组列表来在接收信道确定部件(158)中确定接收信道，并在视频接收部件(160)中接收视频。

Description

视频发送***、视频发送装置、视频接收装置和视频发送方法
技术领域
本发明涉及一种通过网络来发送视频的视频发送***。
背景技术
通常利用诸如H.261或MPEG(运动画面专家组)的方法将由传统视频发送***发送的视频数据压缩编码为固定的比特率或以下，使得可以以固定的发送比特率来发送该视频数据，并且一旦已编码了视频数据，则即使发送比特率改变，也不能改变视频质量。
然而，随着近年来网络的多样化，发送路径比特率波动变大，并且能进行与多个比特率相当质量的视频发送的视频数据变得有必要。响应于此需要，已经使具有分层结构并且可以处理多个比特率的分层编码方法标准化。在这样的分层编码方法中，具体地说，最近标准化的MPEG-4FGS(精细粒度可缩放性(fine granularity scalability))是关于比特率选择具有高自由度的分层编码方法。由MPEG-4FGS编码的视频数据由基本层和至少一个增强层组成，其中基本层是有可能对其进行单机解码的运动画面流，增强层是用于提高基本层解码的运动画面质量的运动画面流。基本层是低比特率的低画面质量的视频数据，并且，通过使增强层与比特率相匹配，获得高画面质量的高灵活度是可能的。
在MPEG-4FGS中，可以控制将被发送的增强层的总数据大小，以允许各种比特率的应用，并且，有可能发送与比特率一致的质量的视频。
然而，当多个终端同时接收视频时，由于接收该视频的终端的能力和每个终端使用的网络的特性(接收区域(area))不同，因此存在一个问题：所认为的每个终端必需的质量不同。在这里，“质量”包括例如图像质量、帧速率(运动的平滑性)、错误恢复能力、空间分辨率、延迟、处理复杂性等。
对于这一点，用于根据终端的网络特性而以适当的质量进行视频发送的技术是这样的技术：将视频流划分为多个层，并在具有不同优先权的信道上发送这些层，其中，用于所述终端的网络状态由于网络拥塞等而波动(例如，参见未经实审的日本专利公开第HEI 4-100494号的第1页和图1)。
图1是示出传统视频编码设备的结构示例的图。在此视频编码设备10中，视频编码电路12使用运动补偿、DCT(离散余弦变换)、和量化来对输入视频信号进行视频编码，并将编码数据输出到分层电路14。分层电路14将从视频编码电路12输入的编码数据划分为在DCT中使用的N×N个像素的决单元中的M个区域(其中，N和M均为自然数)，并将M个编码数据输出到分组缓冲器16。在分层电路14进行数据划分时，测量在丢弃M个区域中的特定区域时出现的图像质量下降，并且控制该区域的大小，使得这一下降变成等于事先设置的允许值。对于从分层电路14输入的划分后的编码数据，分组缓冲器16在高优先权信道上发送包含低频成分的区域。
这样，在视频编码设备10中，通过对DCT系数进行区域划分，并在高优先权信道上发送低频成分，由于丢弃了低优先权信道中的编码数据，因此即使在出现网络拥塞时，也可以接收图像质量与比特率一致的视频。
然而，利用上述传统技术，尽管有可能接收图像质量与发送比特率一致的视频，但是多个终端不能单独地自由选择将被给予优先权的质量的类型(例如如上所述的图像质量、运动的平滑性、错误恢复能力、空间分辨率、或处理复杂性)。
例如，在有限的发送比特率内，即使运动不平滑，具有大显示屏幕的终端也最好接收优先权被给予连续图像的高图像质量的视频，而不是具有平滑的运动但图像质量低的视频。相反，在具有小显示屏幕的终端的情况中，优选的是，接收低图像质量但具有平滑运动的视频，而不是高图像质量但缺乏平滑运动的视频。此外，在处于网络上有高错误率的无线电环境中的终端的情况中，优选的是，接收具有高错误恢复能力的可在出现错误的条件下重放的视频，而不是具有低错误恢复能力的只能在无错误条件下重放的视频。
这样，当特性(终端性能或者接收比特率)不同的多个终端同时接收视频时，终端能够自由选择视频质量的类型和级别、并且能够根据终端的特性和条件来接收适当质量的视频被认为是必要的。
发明内容
本发明的目的是提供一种视频发送***，由此，当特性不同的多个终端同时接收视频时，每个终端可以接收具有适于该终端的质量的视频。
根据本发明的一个方面，在借以将分层编码数据从视频发送设备通过网络发送到视频接收设备的视频发送***中，该视频发送设备具有：划分部件，其利用质量或利用质量和比特率而将分层编码数据划分为独立的信道；第一发送部件，其在相互独立的信道上发送划分后的分层编码数据；计算部件，其利用质量将信道分组，并计算组列表；和第二发送部件，其发送所计算的组列表，而该视频接收设备具有：第一接收部件，其接收从视频发送设备发送的组列表；确定部件，其使用所接收的组列表来确定接收信道；和第二接收部件，其接收从视频发送设备发送的划分后的分层编码数据中的所确定的接收信道的数据。
根据本发明的另一方面，一种视频发送设备具有：划分部件，其利用质量或利用质量和比特率而将分层编码数据划分为独立的信道；第一发送部件，其在相互独立的信道上发送划分后的分层编码数据；计算部件，其利用质量将信道分组，并计算组列表；和第二发送部件，其发送所计算的组列表。
根据本发明的另一方面，一种借以将分层编码数据从视频发送设备通过网络发送到视频接收设备的视频发送方法，具有以下步骤：视频发送设备利用质量或利用质量和比特率而将分层编码数据划分为独立信道的步骤、视频发送设备在相互独立的信道上发送划分后的分层编码数据的步骤、视频发送设备利用质量将信道分组并计算组列表的步骤、视频发送设备发送所计算的组列表的步骤、视频接收设备接收从视频发送设备发送的组列表的步骤、视频接收设备使用所接收的组列表来确定接收信道的步骤、和视频接收设备接收从视频发送设备发送的划分后的分层编码数据中的所确定的接收信道的数据的步骤。
附图说明
图1是示出发送视频编码设备的结构示例的图；
图2是示出根据本发明的实施例1的视频发送***的结构的图；
图3是示出当使用MPEG-4FGS编码时编码数据的结构示例的图；
图4是示出对图3中的编码数据的信道划分结果的示例的图；
图5是示出对应于实施例1的视频发送设备的操作的流程图；
图6A是用于解释优先权分配和分组的图；
图6B是用于解释在运动加强(emphasize)的情况中的优先权分配的图；
图6C是用于解释在图像质量加强的情况中的优先权分配的图；
图7A是示出在运动加强的情况中的优先权图的图；
图7B是示出在图像质量加强的情况中的优先权图的图；
图8A是示出优先权图的示例的图；
图8B是示出基于上面的优先权图的优先权分配之后的信道的图；
图9A是示出组列表中的运动优先组的图；
图9B是示出组列表中的图像质量优先组的图；
图9C是示出组列表中的完全质量组的图；
图10是示出对应于实施例1的视频接收设备的操作的流程图；
图11是示出对应于实施例1的视频发送***中的主要信息交换的次序图；
图12是示出实施例1的视频发送***的应用示例的图；
图13是示出根据本发明的实施例2的视频发送***的结构的图；
图14是示出对应于实施例2的视频发送设备的操作的流程图；
图15是示出根据本发明的实施例3的视频发送***的结构的图；
图16是示出对应于实施例3的视频发送设备的操作的流程图；
图17A是示出信道优先权图的示例的图；
图17B是示出基于上面的信道优先权图的优先权分配之后的一些信道的图；
图17C是示出分组划分和分组优先权的示例的图；
图18是示出根据本发明的实施例4的视频发送***的结构的图；和
图19是示出对应于实施例4的视频接收设备的操作的流程图。
具体实施方式
本发明的要点是，在发送分层编码视频流的***中，通过利用质量或利用质量和比特率来划分分层编码视频流，并在独立的信道上发送该结果，并且还利用质量将信道分组并发送其列表，多个终端选择它们各自的视频的接收质量，并接收具有适当质量的视频是可能的。
此外，通过在此时利用根据被给予优先权的质量而分配给信道的优先权来进行发送(此时，网络节点根据优先权来进行分组发送)，在有限的比特率下，接收终端选择一组被给予了优先权的质量，并自动接收最高质量的视频是可能的。
现在参考附图，将在下面详细解释本发明的实施例。
(实施例1)
在此实施例中，描述了视频发送设备，由此，通过利用质量和比特率来进行分层编码数据的信道划分，并在添加使用终端信息计算的优先权之后在独立的信道上发送数据，并且还发送其中利用质量而将信道分组的组列表，接收终端可以选择将被给予优先权的质量，并且可以根据网络条件来接收具有适于终端特性的质量的视频。
图2是示出根据本发明的实施例1的视频发送***的结构的图。
此视频发送***具有发送视频的视频发送设备(以下称为“发送终端”)100、接收视频的视频接收设备(以下也称为“接收终端”)150、和将从视频发送设备100发送的视频转发到视频接收设备150的网络180。也就是说，将从视频发送设备100发送的视频通过网络180发送到视频接收设备150。
视频发送设备100具有视频输入部件102、视频编码部件104、信道划分部件106、视频发送部件108、终端信息接收部件110、优先权计算部件112、组列表计算部件114、和组列表发送部件116。
视频输入部件102在逐个帧的基础上将组成从外部提供或由相关设备100生成的视频的图像输出到视频编码部件104。
视频编码部件104利用从视频输入部件102输出的图像作为输入图像来进行分层编码，并将所获得的编码数据输出到信道划分部件106。
在图3中示出了当使用MPEG-4FGS编码作为分层编码时的编码数据的结构示例。也就是说，对于输入图像，视频编码部件104生成由基本层(BL)、提高图像质量的增强层1(EL1)、和增强层2(EL2)、增强层3(EL3)、以及提高运动平滑性的增强层4(EL4)组成的编码数据，并将此编码数据输出到信道划分部件106。
在此情况中，可以通过将增强层1添加到基本层上来提高图像质量，并且，通过以增强层2、增强层3、增强层4的顺序将数据添加到基本层上，运动可以变得平滑得多。此外，对于增强层，可以从较低的层(视频流的开始)将数据划分为多个，并且，可以通过控制添加到基本层上的数据量来控制所提高的质量的程度。
信道划分部件106将从视频编码部件104输出的编码数据划分为多个，将独立的信道分配给划分后的数据的每一个，并添加从优先权计算部件112输出的优先权，并且将划分后的数据输出到视频发送部件108。信道划分部件106还生成划分列表，其为划分后的数据和所分配的信道的列表，并且，信道划分部件106将此划分列表输出到组列表计算部件114。图4中示出了信道划分结果的示例。稍后将在此给出处理的细节。
视频发送部件108将从信道划分部件106输出的划分后的数据在对应的独立信道上发送到网络180。具体地说，例如，将划分后的并被分配给独立信道的编码数据在具有添加到报头的指定优先权的独立信道上组播发送到网络180。例如，可以将优先权写入IP(因特网协议)报头。例如，假设信道由组播地址指示。在这里，组播发送是借以将数据从一个发送终端同时发送到多个终端，并且只进行到作为发送数据信道的地址的组播地址的指定用于接收的终端的数据传输的方法。因为即使在多个接收终端同时进行接收时，在相同发送路径中发送的数据中也没有重复，所以组播发送提供良好的发送效率。
当然，该视频流发送方法不限于组播发送。
终端信息接收部件110接收从接收终端(视频接收设备150)发送的终端信息，并将此信息输出到优先权计算部件112。在这里，只要终端信息是与接收终端有关的信息，并且可以指示将被给予优先权的质量，那么它可以是任意种类。可被用作终端信息的项目包括由接收终端使用的显示装置的屏幕尺寸、终端处理能力、或者与该终端所连接的网络的错误率。
优先权计算部件112使用从终端信息接收部件110输出的终端信息来计算每个信道的优先权，并将所计算的优先权输出到信道划分部件106。稍后将在此给出处理的细节。
使用从信道划分部件106输出的划分列表，组列表计算部件114生成组列表，并将此组列表输出到组列表发送部件116，其中，所述组列表是优先质量和将被接收的信道的列表。稍后将在此给出处理的细节。
组列表发送部件116将从组列表计算部件114输出的组列表发送到网络180。具体地说，例如，将组列表通过网络180发送到所有接收终端。
在此实施例中，以总是进行组列表发送的情况作为示例来给出描述，但这不是限制。例如，为了避免发送路径拥塞，以固定的间隔发送也是可能的。
网络180具有节点(网络节点)(未示出)。网络节点根据添加到信道上的优先权来进行数据发送(分组发送)。具体地说，当网络拥塞时，从低优先权信道丢弃数据，并保证高优先权信道数据发送。此外，只将由视频接收设备150从视频发送设备100发送的所述多个信道中选择的信道的数据传输到该接收终端150。例如，网络节点可以是路由器。
视频接收设备150具有终端信息发送部件152、优先质量输入部件154、组列表接收部件156、接收信道确定部件158、视频接收部件160、视频解码部件162、和视频显示部件164。
终端信息发送部件152将相关的视频接收设备150的终端信息发送给视频发送设备100。例如，可以将显示屏幕尺寸作为终端信息来发送。如上所述，只要终端信息是与接收终端有关的信息，并且可以指示将被给予优先权的质量，那么它可以是任意种类。
在此实施例中，以每次接收视频数据时发送终端信息的情况作为示例来给出描述，但这不是限制。例如，为了避免发送路径拥塞，以固定间隔发送也是可能的。
优先质量输入部件154将要给予由用户指定的优先权(例如图像质量优先权或运动优先权)的质量输出到接收信道确定部件158。如果没有用户的指定，则不进行优先质量输出。
组列表接收部件156接收从发送终端(视频发送设备100)发送的组列表(如上所述，示出质量和信道的列表)，并将此组列表输出到接收信道确定部件158。
使用从优先质量输入部件154输出的优先质量和从组列表接收部件156输出的组列表，接收信道确定部件158确定将被接收的信道。具体地说，接收信道确定部件158确定将被接收的信道的号码，并将所确定的信道号码输出到视频接收部件160。如果没有来自优先质量输入部件154或者组列表接收部件156的输出，则将先前确定的信道号码输出到视频接收部件160。稍后将在此给出处理的细节。
视频接收部件160接收对应于从接收信道确定部件158输出的信道号码的编码数据，并将所接收的编码数据输出到视频解码部件162。
视频解码部件162对从视频接收部件160输出的编码数据进行解码，并将通过解码获得的视频输出到视频显示部件164。
视频显示部件164将从视频解码部件162输出的视频显示在屏幕上。视频显示部件164包括显示装置。
现在将使用图5中示出的流程图来描述具有上述结构的视频发送设备100的操作。图5中示出的流程图作为控制程序存储在该图中未示出的视频发送设备100的存储装置(例如ROM或闪存)中，并由CPU(也未示出)执行。
首先，在步骤S1000中，视频输入部件102在逐个帧的基础上将组成视频的图像输出到视频编码部件104。
然后，在步骤S1100中，视频编码部件104对从视频输入部件102输出的图像进行分层编码，并将所获得的编码数据输出到信道划分部件106。例如，当使用MPEG-4 FGS编码作为分层编码时，编码数据由基本层(BL)和多个增强层(EL)组成。在这里，作为示例，描述了编码数据由一个基本层(BL)和四个增强层(EL1到EL4)组成的情况。
在步骤S1200中，其间，终端信息接收部件110接收从多个视频接收设备150发送的终端信息，并将此终端信息输出到优先权计算部件112。在这里，作为示例，假设终端信息是由视频接收设备150使用的显示装置的屏幕尺寸(D英寸)。
然而，如上所述，终端信息不限于屏幕尺寸，而可以使用能够指示将根据用户的偏好等被给予优先权的质量(运动优先、图像质量优先)的任意信息。
然后，在步骤S1300中，优先权计算部件112使用从终端信息接收部件110输出的终端信息来确定每个信道的优先权，并将所确定的优先权输出到信道划分部件106。也就是说，当接收到终端信息时，使用所接收的终端信息来确定优先权，并将所确定的优先权输出到信道划分部件106。另一方面，如果未接收到终端信息，则将先前的优先权输出到信道划分部件106。
具体地说，使用多个终端信息D_n(其中，n是终端号码)来确定将被加强的质量，并基于这个将被加强的质量来确定每个信道的优先权。该过程如下。
1)平均屏幕尺寸计算
使用多个终端信息D_n，通过下式(1)来计算平均屏幕尺寸D_AVR。
D _ AVR = 1 N Σ n = 1 N D _ n ...式(1)
在这里，N是终端的总数量。
2)确定将被加强的质量
将平均屏幕尺寸D_AVR与阈值TH相比较，并且确定将被加强的质量。在这里，由于希望的逐帧图像质量越高，终端显示屏幕尺寸就越大，因此加强了图像质量。具体的说，例如，当平均屏幕尺寸D_AVR超过阈值TH(D_AVR＞TH)时，图像质量被加强，而当不是这种情况时—即，当平均屏幕尺寸D_AVR小于或等于阈值TH(D_AVR≤TH)时—运动被加强。
3)优先权确定
基于将被加强的质量确定每个信道的优先权。具体地说，在运动加强的情况中，沿运动改善(时间可缩放性)的方向增大信道优先权(参见图6A和图6B)，而在图像质量加强的情况中，沿图像质量提高(图像质量可缩放性)的方向增大信道优先权(参见图6A和图6C)
为了使用图7中的优先权图(示出信道和优先权的图)来对此进行解释，在运动加强的情况中，沿优先权图的X方向增大优先权，并且，相反，在图像质量加强的情况中，沿优先权图的Y方向增大优先权。例如，在运动加强的情况中，如图7A所示来设置优先权，而在图像质量加强的情况中，如图7B所示来设置优先权。稍后将在此进一步解释优先权图。用于优先权图的方法不限于图7中示出的方法。在图7中，数字越低，所代表的优先权越高。
通过以此方式来确定与终端信息一致的优先权，有可能以任意比特率、以适于终端特性的质量类型的高优先权来发送。
然后，在步骤S1400中，信道划分部件106将从视频编码部件104输出的编码数据划分为多个，将独立的信道分配给各个划分后的数据，并且还添加从优先权计算部件112输出的优先权，并将该数据输出到视频发送部件108。
具体地说，以具有图3中示出的结构的编码数据为例，首先，基本层(BL)形成一个信道，并且增强层(EL)1到4基于预定的数据量来划分，并形成独立的信道。
例如，在划分为4的情况中，增强层1被划分为EL1_1到EL1_3，增强层2被划分为EL2_0到EL2_3，增强层3被划分为EL3_0到EL3_3，而增强层4被划分为EL4_0到EL4_3，全部划分为4×N(参见图4中的信道划分示例；在此情况中，N＝4)，使得信道的比特率变为组(set)比特率B_BL、B_EL1、B_EL2、和B_EL3。当然，划分的数量不限于4。
接下来，将从优先权计算部件112输出的优先权分配给信道。例如，图8A示出了优先权图，并且此优先权图包括4×4矩阵。在此优先权图中，左下方的(X，Y)＝(0，0)指示基本层BL的优先权，增强层EL2_0到EL4_0的优先权以沿X方向远离基本层BL移动的顺序来指示，而增强层EL1_1到EL1_3的优先权以沿Y方向远离基本层BL移动的顺序来指示。总的来说，(X，Y)＝(I，J)指示EL(I+1)_J的优先权。通过将图4中的信道划分结果施加到图8A中的优先权图上而获得的优先权分配之后的信道如图8B所示。
然后，在步骤S1500中，使用从信道划分部件106输出的划分列表，组列表计算部件114生成利用将被给予优先权的质量来分类的示出将被接收的信道的组列表，并将此组列表输出到组列表发送部件116。
图9示出了组列表示例。在这些示例中，示出了计算3个组(运动优先、图像质量优先、和完全质量)的情况。当然，组列表不限于3。只要组是一个信道或者两个或更多信道的组合，那么任何种类的组都是可能的。例如，可以为相同类型的质量提供多个不同等级的组(例如，参见图6A中的运动优先组1和2、以及图像质量优先组1和2)。也就是说，可以任意设置不同类型的质量和等级的组。
在图9的示例中，(X，Y)＝(0，0)对应基本层BL，(X，Y)＝(I，J)对应EL(I+1)_J，并且以圆圈(o)标记的信道指示那个组中应被接收的信道。也就是说，在运动优先组的情况中，生成借以优先接收改善运动的增强层的信道的列表，在图像质量优先组的情况中，生成借以优先接收改善图像质量的增强层的信道的列表，而在完全质量组的情况中，生成借以接收所有信道的列表。通过以这样的方式来生成组列表，接收终端有可能接收与被给予优先权的质量一致的信道，并以所选择的质量来接收最佳图像。
然后，在步骤S1600中，组列表发送部件116将从组列表计算部件114输出的组列表发送到网络180。具体地说，将组列表通过网络180发送到所有接收终端。在此实施例中，假设总是进行组列表发送，但这不是限制，而是，如上所述，例如为了避免发送路径拥塞，以固定间隔来发送也是可能的。
接下来，在步骤S1700中，视频发送部件108将从信道划分部件106输出的划分后的数据在各个对应信道上发送给网络180。具体地说，例如，如上所述，将划分后的并被分配给独立信道的编码数据在具有添加到报头的指定优先权的独立信道上组播发送到网络180。此时，例如，信道由组播地址指示。
下面将使用图10中示出的流程图来描述具有上述结构的视频接收设备150的操作。图10中示出的流程图作为控制程序存储在该图中未示出的视频接收设备150内的存储装置(例如ROM或闪存)中，并由CPU(也未示出)执行。
首先，在步骤S2000中，优先质量输入部件154把将被给予由用户指定的优先权的质量输出到接收信道确定部件158。在这里，例如，假设选择了三种类型—运动优先、图像质量优先、或完全质量—的一个(参见图9)。如上所述，如果没有用户的指定，则不进行优先质量输出。
在步骤S2100中，其间，组列表接收部件156接收从视频发送设备100发送的组列表，并将此组列表输出到接收信道确定部件158。
在步骤S2200中，使用从优先质量输入部件154输出的优先质量和从组列表接收部件156输出的组列表，接收信道确定部件158确定将被接收的信道。
例如，考虑接收图9中的组列表的情况。在此情况中，当优先质量是运动优先时，确定将接收图9A中示出的用圆圈(o)标记的信道；当优先质量是图像质量优先时，确定将接收图9B中示出的用圆圈(o)标记的信道；而当优先质量是完全质量时，确定将接收图9C中示出的用圆圈(o)标记的信道。
如果没有来自优先质量输入部件154或组列表接收部件156的输出，则将先前确定的信道号码输出到视频接收部件160。
然后，在步骤S2300中，视频接收部件160对于从接收信道确定部件158输出的信道号码进行编码数据接收，并将所接收的编码数据输出到视频解码部件162。
在步骤S2400中，视频解码部件162对从视频接收部件160输出的编码数据进行解码，并将所获得的视频输出到视频显示部件164。
在步骤S2500中，视频显示部件164将从视频解码部件162输出的视频显示在屏幕上。
然后，在步骤S2600中，终端信息发送部件152将相关的视频接收设备150的终端信息发送给视频发送设备100。例如，如上所述，可以将显示装置的屏幕尺寸(D英寸)作为终端信息发送。在此实施例中，假设每次接收视频数据时发送终端信息，但这不是限制，而是，例如，如上所述，为了避免发送路径拥塞，以固定间隔来发送也是可能的。
现在将使用图11中的序列图来描述具有上述结构的视频发送***中的主要信息交换。
首先，视频接收设备150将终端信息(例如，显示屏幕尺寸)通过网络180发送给视频发送设备100((1))。
当从视频接收设备150接收到终端信息时，视频发送设备100使用所接收的终端信息来进行信道优先权计算((2))，然后计算组列表，并将所计算的组列表通过网络180发送给视频接收设备150((3))。
当从视频发送设备100接收到组列表时，视频接收设备150使用所接收的视频列表来进行接收信道确定((4))。
然后，发送终端100在逐个帧的基础上对输入视频进行视频编码和信道划分(包括优先权分配)，并在划分和优先权分配之后将编码数据通过网络180在独立的信道上发送给接收终端150((5))。此时，网络180根据优先权进行数据发送(分组发送)。
然后，接收终端150接收以上接收信道上的来自发送终端100的编码视频数据，将该数据解码，并将其显示在屏幕上((6))。
图12是示出此实施例的视频发送***的应用示例的图。在图12中，提供视频服务器100作为视频发送设备，并且提供大屏幕终端150a、小屏幕终端150b、和低比特率终端150c作为视频接收设备。视频服务器100和终端150a到150c通过网络180互连。网络180包括LAN 182、因特网184、和移动网络186，LAN 182和因特网184通过路由器188互连，而LAN 182和移动网络186通过路由器190互连。也就是说，视频服务器100和大屏幕终端150a通过LAN 182连接，视频服务器100和小屏幕终端150b通过LAN 182、路由器188、和因特网184连接，而视频服务器100和低比特率终端150c通过LAN 182、路由器190、和移动网络186连接。
在此情况中，大屏幕终端150a可以接收图像质量被给予了优先权的视频，小屏幕终端150b可以接收动作被给予了优先权的视频，而低比特率终端150c可以接收错误恢复能力被给予了优先权的视频。
这样，根据此实施例，利用质量和比特率将分层编码数据划分为独立的信道，并且发送利用质量分类的组列表，使得多个接收终端能够分别自由选择将被给予优先权的质量，并相应地接收视频。
此外，由于基于终端信息来计算每个信道的优先权，并且利用附加的优先权、以终端可用的发送比特率来进行发送，因此每个终端可以选择和接收一组将被给予优先权的质量，并自动接收适于那个终端的特性的最佳质量的视频。此外，有可能实现与终端特性一致的质量的视频发送。
(实施例2)
在此实施例中，描述了一种视频发送***，由此，通过利用质量和比特率来进行分层编码数据的信道划分，并在添加使用输入视频信息计算的优先权之后在独立的信道上发送数据，并且还发送利用质量分类的组列表，接收终端可以选择将被给予优先权的质量，并且可以接收具有与网络条件一致且适于终端特性的质量的视频。
图13是示出根据本发明的实施例2的视频发送***的结构的图。此视频发送***中的视频发送设备200和视频接收设备250具有与分别在图2中示出的视频发送***中的视频发送设备100和视频接收设备150的那些基本结构类似的基本结构，因此，给同样的结构组件分配与图2中相同的代码，并且省略对其的描述。
此实施例的特征是，尽管在实施例1中，基于终端信息来计算信道优先权，但在这里，基于视频特性来计算信道优先权。出于此原因，视频发送设备200具有视频编码部件104a、视频特性计算部件202、和优先权计算部件204，而视频接收设备250不具有图2中示出的终端信息发送部件152。
按照与图2中的视频编码部件104相同的方式，视频编码部件104a利用从视频输入部件102输出的图像作为输入图像来进行分层编码，并将所获得编码数据输出到信道划分部件106。例如，当使用MPEG-4FGS编码作为分层编码时，对于输入图像，视频编码部件104a生成并输出由基本层(BL)、提高图像质量的增强层1(EL1)、和增强层2(EL2)、增强层3(EL3)、以及提高运动平滑性的增强层4(EL4)组成的编码数据(参见图3)。然而，在此实施例中，视频编码部件104a还将基本层(BL)输出到视频特性计算部件202。
视频特性计算部件202从视频编码部件104a输出的基本层(BL)中提取运动向量，并计算输入视频的视频特性，并且，将所获得的视频特性值输出到优先权计算部件204。稍后将在此给出处理的细节。
优先权计算部件203使用从视频特性计算部件202输出的视频特性值来计算每个信道的优先权，并将所计算的优先权输出到信道划分部件106。
现在将使用图14中示出的流程图来描述具有上述结构的视频发送设备200的操作。图14中示出的流程图作为控制程序存储在该图中未示出的视频发送设备200的存储装置(例如ROM或闪存)中，并由CPU(也未示出)执行。
在此实施例中，如图14所示，将步骤S1250***图5中示出的流程图中，并从其中删除步骤S1200。
步骤S1000和步骤S1100与图5示出的流程图中的对应步骤相同，因此省略对其的描述。然而，在此实施例中，在进行步骤S1100中的视频编码处理的时候，视频编码部件104a将基本层(BL)编码数据输出到视频特性计算部件202。
然后，在步骤S1250中，视频特性计算部件202从视频编码部件104a输出的基本层(BL)提取运动向量，并计算输入视频的视频特性，并且，将所获得的视频特性值输出到优先权计算部件204。具体地说，例如，使用从视频编码部件104a输出的基本层编码数据来提取运动向量，计算所提取的运动向量的绝对值和，并将所计算的绝对值和作为视频特性值M。
在这里，M的值越大，视频的运动越大，相反，M的值越小，视频的运动越小。
在此实施例中，视频特性值是运动向量的绝对值和，但这不是限制，而是可以使用使得能够指示视频运动的幅度的任何物。
然后，在步骤S1300中，优先权计算部件204使用从视频特性计算部件202输出的视频特性值来确定每个信道的优先权，并将优先权图输出到信道划分部件106。
具体地说，首先使用视频特性来确定将被加强的质量，并基于这个将被加强的质量来确定每个信道的优先权。该过程如下。
1)确定将被加强的质量
将视频特性值M与阈值TH相比较，并且确定将被加强的质量。在这里，由于所希望的运动平滑性越大，视频特性值就越大—即，图像的运动越大—因此，运动被加强。具体地说，例如，当视频特性值M超过阈值TH(M＞TH)时，运动质量被加强，而当不是这种情况时—即，当视频特性值M小于或等于阈值TH(M≤TH)时—图像质量被加强。
2)优先权确定
基于将被加强的质量来确定每个信道的优先权。具体地说，如上面所解释的，在运动加强的情况中，沿优先权图的X方向增大优先权，并且，相反，在图像质量加强的情况中，沿优先权图的Y方向增大优先权(参见图7A和图7B)。通过以此方式确定与视频特性一致的优先权，有可能适于视频特性并以任意比特率以用于保持高主观图像质量的质量的高优先权进行发送。
步骤S1400到步骤S1700与图5示出的流程图中的对应步骤相同，因此省略对其的描述。
这样，根据此实施例，利用质量和比特率来将分层编码数据划分为独立的信道，并发送利用质量分类的组列表，使得多个接收终端能够分别自由选择将被给予优先权的质量，并相应地接收视频。
此外，由于基于视频特性来计算每个信道的优先权，并且利用附加的优先权、以每个终端均可用的发送比特率来进行发送，因此对于输入视频，有可能利用给予对主观图像质量有很大影响的质量的优先权来进行接收。也就是说，有可能实现加强与视频特性一致的适当质量的视频发送。
(实施例3)
在此实施例中，描述了一种视频发送***，由此，通过利用质量和比特率来划分分层编码数据，并在每个信道中添加在逐个分组的基础上计算的优先权之后在独立的信道上发送数据，并且还发送利用质量分类的组列表，接收终端可以选择将被给予优先权的质量，并且可以接收具有以更精细的精度与网络条件一致且适于终端特性和视频特性的质量的视频。
图15是示出根据本发明的实施例3的视频发送***的结构的图。此视频发送***中的视频发送设备300具有与图2中示出的视频发送***中的视频发送设备100的基本结构类似的基本结构，因此给同样的结构组件分配与图2中相同的代码，并省略对其的描述。此外，视频接收设备150与图2中示出的完全相同，因此省略对其的描述。
此实施例的特征是，尽管在实施例1(和实施例2)中，给信道分配了优先权，但在这里，以分配给信道中的分组的更精细的优先权来进行发送。出于此原因，视频发送设备300具有信道划分部件302。
信道划分部件302将从视频编码部件104输出的编码数据划分为多个，将独立的信道分配给划分后的数据的每一个，并添加从优先权计算部件112输出的优先权，此外，在逐个信道的基础上进行分组划分，计算分组优先权，并将优先权附加到分组上，将划分后的数据输出到视频发送部件108，并且还将划分列表输出到视频编码部件104。稍后将在此给出处理的细节。
现在将使用图16中示出的流程图来描述具有上述结构的视频发送设备300的操作。图16中示出的流程图作为控制程序存储在该图中未示出的视频发送设备300的存储装置(例如ROM或闪存)中，并由CPU(也未示出)执行。
在此实施例中，如图16所示，将步骤S1420和步骤S1440***图5中示出的流程图，并从其中删除步骤S1400。
步骤S1000到步骤S1300与图5示出的流程图中的对应步骤相同，并因此省略对其的描述。
然后，在步骤S1420中，信道划分部件302以与实施例1中相同的方式进行编码数据划分。例如，基本层(BL)形成一个信道，而增强层(EL)1到4基于预定的数据量进行划分，并形成独立的信道(参见图4)。然后，将从优先权计算部件112输出的优先权(参见图gA)分配给所述信道(参见图8B)。
接下来，在步骤S1440中，信道划分部件302还计算组成信道的分组的优先权。在这里，分组是数据发送的最小单位，并且表示例如IP分组。实际处理过程如下。
1)分组划分
将信道中的分组划分为k个分组组，其中k是事先设置的划分的数量。例如，图17C图示了k＝4并且将信道EL1_1划分为4个相等的部分的情况。分组划分方法不限于划分为相等的部分。
2)分组优先权计算
计算每个分组的优先权。图17示出了分组优先权计算的示例。图17A示出了信道优先权图，图17B示出了增强层1(EL1)的信道优先权，而图17C示出了由信道EL1_1的划分产生的分组组的分组优先权的示例。在图17中，数字越低，所指示的优先权就越高。
在图17C中的示例中，使用信道优先权P，利用下式(2)来从属于低级别的分组计算高优先权。
P i = P + 1 K ( i - 1 ) ...式(2)
在这里，i是分组位于的分组组的号码，Pi是分组组的优先权，而K是信道优先权。分组优先权计算方法不限于使用上面的式(2)。
将以此方式计算的分组优先权分配给每个分组的报头。将附加了分组优先权的编码数据输出到视频发送部件108。
步骤S1500到步骤S1700与图5示出的流程图中的对应步骤相同，因此省略对其的描述。
这样，根据此实施例，利用质量和比特率来将分层编码数据划分为独立的信道，并利用基于终端信息分配的信道优先权和进一步分配给信道中的分组的精细优先权、以每个终端均可用的发送比特率来进行发送，使得优先接收以更精细的精度自动适合于终端特性的质量的编码数据是可能的。
在此实施例中，以与实施例1相同的方式说明了将终端信息用作信道优先权计算方法的情况，但这不是限制，并且也可能以与实施例2中相同的方式来使用视频特性。
(实施例4)
在此实施例中，描述了一种视频发送***，由此，通过利用质量和比特率来划分分层编码数据，并在独立的信道上发送数据，并且还根据接收终端的接收状态来控制将被给予优先权的质量的类型，而有可能接收高主观图像质量的视频。
图18是示出根据本发明的实施例4的视频发送***的结构的图。此视频发送***中的视频接收设备450具有与图2中示出的视频发送***中的视频接收设备150的基本结构类似的基本结构，因此给同样的结构组件分配与图2中相同的代码，并省略对其的描述。此外，视频发送设备100与图2中示出的完全相同，因此省略对其的描述。
此实施例的特征是，根据接收终端的接收状态(例如，数据丢失率或分组丢失率)来控制将被给予优先权的质量的类型。出于此原因，视频接收设备450具有接收状态计算部件452、接收信道确定部件454、和视频接收部件160a。
按照与图2中的视频接收设备150相同的方式，视频接收部件160a接收对应于从接收信道确定部件454输出的信道号码的编码数据，并将所接收的编码数据输出到视频解码部件162。然而，在此实施例中，视频接收部件160a还将接收信道的总数量和可以正常接收其数据的信道的总数量输出到接收状态计算部件452。
接收状态计算部件452使用从视频接收部件160a输出的信息来计算接收状态。具体地说，接收状态计算部件452使用从视频接收部件160a输出的接收信道的总数量和可被正常接收的信道的总数量，来计算数据丢失率L，并将所计算的数据丢失率L输出到接收信道确定部件454。稍后将在此给出处理的细节。
接收信道确定部件454使用从接收状态计算部件452输出的数据丢失率L来确定优先质量，使用所确定的优先质量和从组列表接收部件156输出的组列表来确定用于接收的信道号码，并将所接收的信道号码输出到视频接收部件160a。如果没有来自接收状态计算部件452或组列表接收部件156的输出，则将先前确定的信道号码输出到视频接收部件160a。稍后将在此给出处理的细节。
现在将使用图19中示出的流程图来描述具有上述结构的视频接收设备450的操作。图19中示出的流程图作为控制程序存储在该图中未示出的视频接收设备450中的存储装置(例如ROM或闪存)中，并由CPU(也未示出)执行。
在此实施例中，如图19所示，将步骤S2050***图10中示出的流程图，并从其中删除步骤S2000。
在步骤S2050中，接收状态计算部件452使用从视频接收部件160a输出的信息(接收信道的总数量和正常接收的信道的总数量)来计算数据丢失率L，并将所计算的数据丢失率L输出到接收信道确定部件454。在这里，例如，利用下式(3)来计算数据丢失率L。
L = ( C n - T n ) C n ...式(3)
Cn是接收信道的总数量，而Tn是可被正常接收的信道的数量。
计算数据丢失率L的方法不限于上面的示例。
步骤S2100到步骤S2600与图10中示出的流程图中的对应步骤相同，因此省略对其的描述。然而，在此实施例中，在进行步骤S2200中的接收信道确定处理的时候执行下面的处理。
也就是说，在步骤S2200，接收信道确定部件454使用从接收状态计算部件452输出的数据丢失率L来确定优先质量，此外，使用所确定的优先质量和从组列表接收部件156输出的组列表来确定用于接收的信道号码，并将所确定的信道号码输出到视频接收部件160a。
例如，在这里使用的实际的优先质量确定方法可以是如下的方法。将数据丢失率L与预定的阈值TH相比较，并确定优先质量。当数据丢失率L高，并且超过阈值TH(L＞TH)时，选择数据丢失对其的影响小的运动优先(在运动优先的情况中，帧速率高，并且分组错误对主观图像质量的影响小)，而当数据丢失率L低，并且小于或等于阈值TH(L≤TH)时，选择数据丢失对其的影响强烈的图像质量优先(在图像质量优先的情况中，帧速率低，并且分组错误使主观图像质量显著降低)。
这样，根据此实施例，在利用质量和比特率将分层编码数据划分为独立的信道，并使用附加的优先权来发送该数据的视频发送***中，使用接收终端的接收状态来计算数据丢失率，并且当数据丢失率高时，选择帧速率高并且数据丢失对主观图像质量的影响小的运动优先，否则，选择图像质量优先，使得不管接收状态如何，都有可能接收高主观图像质量的视频。也就是说，可以提高接收质量以适合于接收状态。
如上所述，根据本发明，当多个特性不同的终端同时接收视频时，每个终端可以接收具有适于那个终端的质量的视频。
本申请基于2003年2月28日提交的日本专利申请第2003-053780号，通过引用而将其全部内容清楚地合并于此。
产业上的可利用性
本发明具有这样的效果：当多个特性不同的终端同时接收视频时，允许每个终端接收适于那个终端的质量的视频，并且，本发明可应用到通过网络来发送视频的视频发送***上。
权利要求书
(按照条约第19条的修改)
1.一种借以将分层编码数据从视频发送设备通过网络发送到视频接收设备的视频发送***，其中：
所述视频发送设备包括：
划分部件，用于利用质量或利用质量和比特率而将分层编码数据划分为独立的信道；
第一发送部件，用于在相互独立的信道上发送划分后的分层编码数据；
计算部件，用于利用质量将信道分组，并计算组列表；和
第二发送部件，用于发送所计算的组列表，
并且所述视频接收设备包括：
第一接收部件，用于接收从所述视频发送设备发送的组列表；
确定部件，用于使用所接收的组列表来确定接收信道；和
第二接收部件，用于接收从所述视频发送设备发送的划分后的分层编码数据中的所确定的接收信道的数据。
2.根据权利要求1的视频发送***，其中，所述质量是图像质量、帧速率、错误恢复能力、空间分辨率、和延迟中的一个或者两个或更多的组合。
3.一种视频发送设备，包括：
划分部件，用于利用质量或利用质量和比特率来将分层编码数据划分为独立的信道；
第一发送部件，用于在相互独立的信道上发送划分后的分层编码数据；
计算部件，用于利用质量将信道分组，并计算组列表；和
第二发送部件，用于发送所计算的组列表。
4.根据权利要求3的视频发送设备，还包括计算每个信道的优先权的第二计算部件，其中：
所述划分部件利用质量或利用质量和比特率来将分层编码数据划分为独立的信道，并且还将所计算的信道优先权分配给每个信道；以及
所述第一发送部件在已被分配了信道优先权的相互独立的信道上发送划分后的分层编码数据。
5.根据权利要求4的视频发送设备，其中，所述第二计算部件基于接收终端信息来计算每个信道的优先权。
6.根据权利要求5的视频发送设备，其中，所述接收终端信息是视频接收设备的显示装置的屏幕尺寸。
7.根据权利要求5的视频发送设备，其中，所述接收终端信息是视频接收设备的信道接收状态。
8.根据权利要求4的视频发送设备，其中，所述第二计算部件基于视频特性来计算每个信道的优先权。
9.一种视频接收设备，包括：
第一接收部件，用于接收从根据权利要求3的视频发送设备发送的组列表；
确定部件，用于使用所接收的组列表来确定接收信道；以及
第二接收部件，用于接收从所述视频发送设备发送的划分后的分层编码数据中的所确定的接收信道的数据。
10.根据权利要求9的视频接收设备，还包括计算接收状态的第三计算部件，其中，所述确定部件使用所接收的组列表和所计算的接收状态来确定接收信道。
11.一种借以将分层编码数据从视频发送设备通过网络发送到视频接收设备的视频发送方法，所述视频发送方法包括：
所述视频发送设备利用质量或利用质量和比特率来将分层编码数据划分为独立信道的步骤；
所述视频发送设备在相互独立的信道上发送划分后的分层编码数据的步骤；
所述视频发送设备利用质量来将信道分组，并计算组列表的步骤；
所述视频发送设备发送所计算的组列表的步骤；
所述视频接收设备接收从所述视频发送设备发送的组列表的步骤；
所述视频接收设备使用所接收的组列表来确定接收信道的步骤；和所述视频接收设备接收从所述视频发送设备发送的划分后的分层编码数据中的所确定的接收信道上的数据的步骤。
12.根据权利要求6的视频发送设备，其中，当所述屏幕尺寸大于预定的阈值时，所述第二计算部件为提高空间分辨率的信道设置高信道优先权，而当所述平均屏幕小于所述预定的阈值时，所述第二计算部件为提高帧速率的信道设置高信道优先权。
13.根据权利要求7的视频发送设备，其中，当所述信道接收状态优于预定的阈值时，所述第二计算部件为改善图像质量或空间分辨率的信道设置高信道优先权，而当所述信道接收状态比所述预定的阈值差时，所述第二计算部件为改善帧速率或错误恢复能力质量的信道设置高信道优先权。
14.根据权利要求8的视频发送设备，其中，当视频运动比预定的阈值大时，所述第二计算部件为改善帧速率的信道设置高信道优先权，而当所述视频运动小于所述预定的阈值时，所述第二计算部件为改善图像质量或空间分辨率的信道设置高信道优先权。

Claims (12)

1.一种借以将分层编码数据从视频发送设备通过网络发送到视频接收设备的视频发送***，其中：
所述视频发送设备包括：
划分部件，用于利用质量或利用质量和比特率而将分层编码数据划分为独立的信道；
第一发送部件，用于在相互独立的信道上发送划分后的分层编码数据；
计算部件，用于利用质量将信道分组，并计算组列表；和
第二发送部件，用于发送所计算的组列表，并且所述视频接收设备包括：
第一接收部件，用于接收从所述视频发送设备发送的组列表；
确定部件，用于使用所接收的组列表来确定接收信道；和
第二接收部件，用于接收从所述视频发送设备发送的划分后的分层编码数据中的所确定的接收信道的数据。
2.根据权利要求1的视频发送***，其中，所述质量是图像质量、帧速率、错误恢复能力、空间分辨率、和延迟中的一个或者两个或更多的组合。
3.一种视频发送设备，包括：
划分部件，用于利用质量或利用质量和比特率来将分层编码数据划分为独立的信道；
第一发送部件，用于在相互独立的信道上发送划分后的分层编码数据；
计算部件，用于利用质量将信道分组，并计算组列表；和
第二发送部件，用于发送所计算的组列表。
4.根据权利要求3的视频发送设备，还包括计算每个信道的优先权的第二计算部件，其中：
所述划分部件利用质量或利用质量和比特率来将分层编码数据划分为独立的信道，并且还将所计算的信道优先权分配给每个信道；以及
所述第一发送部件在已被分配了信道优先权的相互独立的信道上发送划分后的分层编码数据。
5.根据权利要求4的视频发送设备，其中，所述第二计算部件基于接收终端信息来计算每个信道的优先权。
6.根据权利要求5的视频发送设备，其中，所述接收终端信息是视频接收设备的显示装置的屏幕尺寸。
7.根据权利要求5的视频发送设备，其中，所述接收终端信息是视频接收设备的信道接收状态。
8.根据权利要求4的视频发送设备，其中，所述第二计算部件基于视频特性来计算每个信道的优先权。
9.根据权利要求4的视频发送设备，其中：
所述划分部件利用质量或者利用质量和比特率来将分层编码数据划分为独立的信道，并将所计算的信道优先权分配给每个信道，并且还计算每个信道中的分组的优先权，并将所计算的分组优先权分配给每个分组；以及
所述第一发送部件在已经被分配了分组优先权的相互独立的信道上发送划分后的分层编码数据。
10.一种视频接收设备，包括：
第一接收部件，用于接收从根据权利要求3的视频发送设备发送的组列表；
确定部件，用于使用所接收的组列表来确定接收信道；以及
第二接收部件，用于接收从所述视频发送设备发送的划分后的分层编码数据中的所确定的接收信道的数据。
11.根据权利要求10的视频接收设备，还包括计算接收状态的第三计算部件，其中，所述确定部件使用所接收的组列表和所计算的接收状态来确定接收信道。
12.一种借以将分层编码数据从视频发送设备通过网络发送到视频接收设备的视频发送方法，所述视频发送方法包括：
所述视频发送设备利用质量或利用质量和比特率来将分层编码数据划分为独立信道的步骤；
所述视频发送设备在相互独立的信道上发送划分后的分层编码数据的步骤；
所述视频发送设备利用质量来将信道分组，并计算组列表的步骤；
所述视频发送设备发送所计算的组列表的步骤；
所述视频接收设备接收从所述视频发送设备发送的组列表的步骤；
所述视频接收设备使用所接收的组列表来确定接收信道的步骤；和
所述视频接收设备接收从所述视频发送设备发送的划分后的分层编码数据中的所确定的接收信道上的数据的步骤。
CNA2004800002779A 2003-02-28 2004-02-20 视频发送***、视频发送装置、视频接收装置和视频发送方法 Pending CN1736107A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP053780/2003 2003-02-28
JP2003053780A JP2004266503A (ja) 2003-02-28 2003-02-28 映像伝送システム

Publications (1)

Publication Number Publication Date
CN1736107A true CN1736107A (zh) 2006-02-15

Family

ID=32923445

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2004800002779A Pending CN1736107A (zh) 2003-02-28 2004-02-20 视频发送***、视频发送装置、视频接收装置和视频发送方法

Country Status (4)

Country Link
US (1) US7382729B2 (zh)
JP (1) JP2004266503A (zh)
CN (1) CN1736107A (zh)
WO (1) WO2004077831A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101616362A (zh) * 2008-06-26 2009-12-30 汤姆逊许可公司 报告状态信息的方法和装置
CN101365125B (zh) * 2008-09-27 2012-03-21 腾讯科技（深圳）有限公司 多路视频通信方法与***
CN101998265B (zh) * 2009-08-17 2014-06-04 华为技术有限公司 数据传输方法、基站、多播协调实体和用户设备
WO2018006771A1 (en) * 2016-07-05 2018-01-11 Vishare Technology Limited Methods and systems for video streaming

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6263503B1 (en) 1999-05-26 2001-07-17 Neal Margulis Method for effectively implementing a wireless television system
US9998802B2 (en) 2004-06-07 2018-06-12 Sling Media LLC Systems and methods for creating variable length clips from a media stream
US7769756B2 (en) 2004-06-07 2010-08-03 Sling Media, Inc. Selection and presentation of context-relevant supplemental content and advertising
US7975062B2 (en) 2004-06-07 2011-07-05 Sling Media, Inc. Capturing and sharing media content
JP2008504793A (ja) 2004-06-07 2008-02-14 スリング メディア，インク． パーソナルメディア放送システム
US7917932B2 (en) 2005-06-07 2011-03-29 Sling Media, Inc. Personal video recorder functionality for placeshifting systems
CN1753493A (zh) * 2004-09-24 2006-03-29 松下电器产业株式会社 无线多媒体通信***的跨层联合方法
EP1650973A1 (en) * 2004-10-25 2006-04-26 Alcatel USA Sourcing, L.P. Method for encoding a multimedia content
DE102005032080A1 (de) * 2005-07-08 2007-01-11 Siemens Ag Verfahren zum Senden eines Mediadatenstroms und Verfahren zum Empfangen und Erstellen eines rekonstruierten Mediadatenstroms, sowie dazugehörige Sendevorrichtung und Empfangsvorrichtung
KR100712532B1 (ko) * 2005-09-10 2007-04-30 삼성전자주식회사 단일표현과 다중표현 전환을 이용한 동영상 변환부호화장치 및 방법
GB0525527D0 (en) * 2005-12-15 2006-01-25 Levett David L Optimization of remote content delivery and presentation by composition and conversion on the remote device
US8392595B2 (en) 2006-09-15 2013-03-05 France Telecom Method and device for adapting a scalable data stream, corresponding computer program product and network element
US8576858B2 (en) * 2006-12-13 2013-11-05 Viasat, Inc. Multiple transmission paths for hierarchical layers
US8411571B2 (en) 2006-12-13 2013-04-02 Viasat, Inc. Video and data network load balancing with video drop
US8395993B2 (en) * 2006-12-13 2013-03-12 Viasat, Inc. Video and data network load balancing with video placeholder
US8358690B2 (en) * 2006-12-13 2013-01-22 Viasat, Inc. Predictive adaptive coding and modulation
US8456986B2 (en) * 2006-12-13 2013-06-04 Viasat, Inc. Video and data network load balancing
US20090041100A1 (en) 2006-12-13 2009-02-12 Viasat, Inc. Link aware mobile data network
US20080144713A1 (en) * 2006-12-13 2008-06-19 Viasat, Inc. Acm aware encoding systems and methods
US7961665B2 (en) 2006-12-13 2011-06-14 Viasat, Inc. Terminal aware multicasting
US8411572B2 (en) * 2006-12-13 2013-04-02 Viasat, Inc. ACM and fixed coding and modulation of hierarchical layers
US7944872B2 (en) * 2006-12-13 2011-05-17 Viasat, Inc. Adaptive coding and modulation aware network load balancing
US20080187291A1 (en) * 2007-02-05 2008-08-07 Microsoft Corporation Prioritization for video acquisition
US9019830B2 (en) * 2007-05-15 2015-04-28 Imagine Communications Corp. Content-based routing of information content
US8180029B2 (en) 2007-06-28 2012-05-15 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US11095583B2 (en) 2007-06-28 2021-08-17 Voxer Ip Llc Real-time messaging method and apparatus
WO2009025189A1 (ja) * 2007-08-23 2009-02-26 Sharp Kabushiki Kaisha 再生装置、再生方法
EP2051525A1 (en) 2007-10-15 2009-04-22 Mitsubishi Electric Information Technology Centre Europe B.V. Bandwidth and content dependent transmission of scalable video layers
US8645458B2 (en) * 2007-11-20 2014-02-04 General Electric Company Systems and methods for delivering media content and improving diagnostic reading efficiency
US9078024B2 (en) * 2007-12-18 2015-07-07 Broadcom Corporation Video processing system with user customized graphics for use with layered video coding and methods for use therewith
US8130823B2 (en) * 2007-12-19 2012-03-06 Broadcom Corporation Channel adaptive video transmission system for use with layered video coding and methods for use therewith
US8594191B2 (en) * 2008-01-03 2013-11-26 Broadcom Corporation Video processing system and transcoder for use with layered video coding and methods for use therewith
US20090217338A1 (en) * 2008-02-25 2009-08-27 Broadcom Corporation Reception verification/non-reception verification of base/enhancement video layers
JP4911075B2 (ja) * 2008-02-28 2012-04-04 ソニー株式会社 データ送信装置、データ送信方法、データ受信装置、データ受信方法およびデータ伝送システム
US8179983B2 (en) * 2008-05-20 2012-05-15 Broadcom Corporation Video processing system with layered video coding for fast channel change and methods for use therewith
US20100017530A1 (en) * 2008-06-23 2010-01-21 Hitachi, Ltd. Priority-Based Physical Layer Transmission Rate Control For Video Streaming Over Wireless Networks
EP2200220A1 (en) * 2008-12-22 2010-06-23 Thomson Licensing Method and apparatus for reliable multicast streaming
US20100250764A1 (en) * 2009-03-31 2010-09-30 Nokia Corporation Method and Apparatus for Signaling Layer Information of Scalable Media Data
US8745186B2 (en) * 2009-03-31 2014-06-03 Canon Kabushiki Kaisha Network streaming of a video media from a media server to a media client
KR101531689B1 (ko) * 2009-08-11 2015-06-25 에스케이텔레콤 주식회사 데이터 전송 시스템의 채널 결합 장치 및 방법
FR2954036B1 (fr) 2009-12-11 2012-01-13 Thales Sa Procede et systeme pour la determination de parametres de codage sur des flux a resolution variable
JP2012095053A (ja) 2010-10-26 2012-05-17 Toshiba Corp ストリーム伝送システム、送信装置、受信装置、ストリーム伝送方法及びプログラム
FR2969892B1 (fr) * 2010-12-23 2015-05-29 Thales Sa Procede et dispositif d'adaptation de debit d'un flux video compresse transmis dans un environnement contraint
US9591361B2 (en) 2011-09-07 2017-03-07 Qualcomm Incorporated Streaming of multimedia data from multiple sources
US20130318251A1 (en) * 2012-05-22 2013-11-28 Alimuddin Mohammad Adaptive multipath content streaming
EP3445045A1 (en) * 2017-08-18 2019-02-20 NXP USA, Inc. Video device and method for embedded data capture on a virtual channel
US10945029B2 (en) * 2019-05-31 2021-03-09 Qualcomm Incorporated Video frame rendering criteria for video telephony service

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2189366B (en) * 1986-04-17 1989-12-28 British Broadcasting Corp Method and apparatus for conveying information signals
JPH088685B2 (ja) * 1986-09-16 1996-01-29 日本電信電話株式会社 階層化バ−スト通信方式
JPH0817492B2 (ja) 1990-08-20 1996-02-21 松下電器産業株式会社 可変レート動画像符号化装置
US5148272A (en) * 1991-02-27 1992-09-15 Rca Thomson Licensing Corporation Apparatus for recombining prioritized video data
US5231384A (en) * 1991-08-26 1993-07-27 General Electric Company Apparatus for splitting video signal between two channels
US5502571A (en) * 1992-11-18 1996-03-26 U.S. Philips Corporation Device for processing digital signals first coded by means of variable length coding and device for inversely processing signals thus processed
US6148005A (en) * 1997-10-09 2000-11-14 Lucent Technologies Inc Layered video multicast transmission system with retransmission-based error recovery
JPH11313301A (ja) * 1998-02-27 1999-11-09 Hitachi Ltd 番組配信システム、番組配信装置、番組品質変換装置、及び番組受信装置
US20020072966A1 (en) * 2000-08-31 2002-06-13 Eldering Charles A. System for providing targeted advertisements using advertiser-specific target groups
US6996097B1 (en) * 1999-05-21 2006-02-07 Microsoft Corporation Receiver-driven layered error correction multicast over heterogeneous packet networks
US7245663B2 (en) * 1999-07-06 2007-07-17 Koninklijke Philips Electronis N.V. Method and apparatus for improved efficiency in transmission of fine granular scalable selective enhanced images
JP2001045436A (ja) * 1999-07-27 2001-02-16 Nec Corp デジタル放送受信機及びデータ伝送装置
US7093028B1 (en) * 1999-12-15 2006-08-15 Microsoft Corporation User and content aware object-based data stream transmission methods and arrangements
JP3662473B2 (ja) * 2000-05-12 2005-06-22 株式会社エヌ・ティ・ティ・ドコモ マルチキャストサービス提供方法及び情報配信装置
WO2003084208A1 (en) * 2002-03-28 2003-10-09 Mitsubishi Denki Kabushiki Kaisha Digital broadcast transmission device and method thereof, digital broadcast reception device and method thereof
JP2003333594A (ja) * 2002-05-14 2003-11-21 Canon Inc 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム
JP2005142654A (ja) * 2003-11-04 2005-06-02 Matsushita Electric Ind Co Ltd 映像送信装置および映像受信装置
JP2005229188A (ja) * 2004-02-10 2005-08-25 Matsushita Electric Ind Co Ltd 映像通信装置および映像通信方法
JP4779435B2 (ja) * 2005-05-17 2011-09-28 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101616362A (zh) * 2008-06-26 2009-12-30 汤姆逊许可公司 报告状态信息的方法和装置
CN101616362B (zh) * 2008-06-26 2015-03-11 汤姆逊许可公司 报告状态信息的方法和装置
CN101365125B (zh) * 2008-09-27 2012-03-21 腾讯科技（深圳）有限公司 多路视频通信方法与***
US8908757B2 (en) 2008-09-27 2014-12-09 Tencent Technology (Shenzhen) Company Limited Multi-channel video communication method and system
CN101998265B (zh) * 2009-08-17 2014-06-04 华为技术有限公司 数据传输方法、基站、多播协调实体和用户设备
WO2018006771A1 (en) * 2016-07-05 2018-01-11 Vishare Technology Limited Methods and systems for video streaming
CN109937578A (zh) * 2016-07-05 2019-06-25 高讯科技有限公司 用于视频流的方法和***
US10951954B2 (en) 2016-07-05 2021-03-16 Vishare Technology Limited Methods and systems for video streaming
CN109937578B (zh) * 2016-07-05 2022-01-21 高讯科技有限公司 用于视频流的方法和***

Also Published As

Publication number Publication date
US7382729B2 (en) 2008-06-03
WO2004077831A1 (ja) 2004-09-10
US20050175084A1 (en) 2005-08-11
JP2004266503A (ja) 2004-09-24

Similar Documents

Publication Publication Date Title
CN1736107A (zh) 视频发送***、视频发送装置、视频接收装置和视频发送方法
CN1203676C (zh) 能够进行简易的多窗口显示的活动图象解码装置以及活动图象解码方法
CN101077010A (zh) 用于通过无线网络的数字视频传输的方法和***
CN1264333C (zh) 视频编码方法及设备、视频译码方法及设备
CN1315118A (zh) 压缩与未经压缩的数字视频信号的统计式多路转接的动态位分配
CN1685734A (zh) 控制视频序列速率的方法和装置及视频编码装置
CN101076122A (zh) 通信装置和方法、通信发送接收装置和方法
CN101044763A (zh) 编码器辅助式自适应视频帧内插
CN1557072A (zh) 使用缓冲器大小计算用于拥塞控制的传输速率的数据通信方法和***
CN1781315A (zh) 用于编码图像序列的方法
CN1319996A (zh) 图像编码和解码设备及其方法、图像记录和图像传送设备
CN1435055A (zh) 使用空间可调性及同时传送编码的多投射环境的视讯压缩
CN1205154A (zh) 图像声音解码装置和图像声音编码装置以及信息传输***
CN1659580A (zh) 基于空间预测的帧内编码
CN1357200A (zh) 使用多个可编程处理器的多信道mpeg视频代码转换器
CN1692653A (zh) 活动图像编码/解码方法和设备
CN1255022A (zh) 预先不了解画面类型情况下mpeg代码转换器的比率控制***
CN1806447A (zh) 图像编码装置、图像解码装置、图像编码方法、图像解码方法、图像编码程序、图像解码程序、记录图像编码程序的记录媒体、记录图像解码程序的记录媒体
CN1596528A (zh) 比特率控制方法及装置
CN1199990A (zh) 对多个运动图象编码的运动图象编码装置和方法
CN101043621A (zh) 一种自适应插值处理方法及编解码模块
CN1270541C (zh) 编码设备和方法
CN1788496A (zh) 图像处理设备和方法、信息处理设备和方法、信息记录设备和方法、信息再现设备和方法、信息存储介质、以及程序
CN1216495C (zh) 视频图像亚像素插值的方法和装置
CN1489868A (zh) 编码图像信息的方法和设备及解码图像信息的方法和设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication