CN107852519A - 用于在通信***中提供视频服务的方法和设备 - Google Patents

用于在通信***中提供视频服务的方法和设备 Download PDF

Info

Publication number
CN107852519A
CN107852519A CN201680040307.1A CN201680040307A CN107852519A CN 107852519 A CN107852519 A CN 107852519A CN 201680040307 A CN201680040307 A CN 201680040307A CN 107852519 A CN107852519 A CN 107852519A
Authority
CN
China
Prior art keywords
video data
bandwidth
terminal
video
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680040307.1A
Other languages
English (en)
Other versions
CN107852519B (zh
Inventor
权奇锡
林娴娜
李知彻
吴贤娥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN107852519A publication Critical patent/CN107852519A/zh
Application granted granted Critical
Publication of CN107852519B publication Critical patent/CN107852519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/401—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/752—Media network packet handling adapting media to network capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0896—Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5041—Network service management, e.g. ensuring proper service fulfilment according to agreements characterised by the time relationship between creation and deployment of a service
    • H04L41/5054—Automatic deployment of services triggered by the service manager, e.g. service implementation by automatic configuration of network components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/508—Network service management, e.g. ensuring proper service fulfilment according to agreements based on type of value added network service under agreement
    • H04L41/509—Network service management, e.g. ensuring proper service fulfilment according to agreements based on type of value added network service under agreement wherein the managed service relates to media content delivery, e.g. audio, video or TV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10—Architectures or entities
    • H04L65/1045—Proxies, e.g. for session initiation protocol [SIP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10—Architectures or entities
    • H04L65/1059—End-user terminal functionalities specially adapted for real-time communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1083—In-session procedures
    • H04L65/1089—In-session procedures by adding media; by removing media
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]

Abstract

提供了一种用于在通信***中提供视频服务的终端的方法。该方法包含请求服务器以最大可用带宽发送第一视频数据；从服务器以最大可用带宽接收第一数据；当检测到请求第二视频数据的事件时，在最大可用带宽内确定用于第一视频数据的第一带宽和用于第二视频数据的第二带宽，使得第一视频数据和第二视频数据具有不同的图像质量；请求服务器以第一带宽发送第一视频数据，并且以第二带宽发送第二视频数据；并且从服务器以第一带宽接收第一视频数据并且以第二带宽接收第二视频数据。

Description

用于在通信***中提供视频服务的方法和设备
技术领域
本公开涉及用于在通信***中提供视频服务的方法和设备。更具体地，本公开涉及用于提供支持各种级别的图像质量的视频服务的方法和设备。
背景技术
为了满足在***(4G)通信***商业化之后对无线数据业务(traffic)的不断增长的需求，已经致力于开发第五代(fifth-generation，5G)通信***或者前5G(pre-5G)通信***。其是为何5G通信***或前5G通信***被称为超越4G(beyond 4G)网络通信***或后长期演进(LTE)***的一个原因。
为了实现高的数据传输速率，正在开发在超高频带(毫米波，例如，60-GHz带)中实现的5G通信***。为了减少在超高频带中的杂散无线电波的发生，并且为了在5G通信***中增加无线电波的传输距离，正在讨论例如波束形成、大规模多输入和多输出(大规模MIMO)、全维MIMO(FD-MIMO)、阵列天线和模拟波束形成大规模天线的技术。
另外，为了改善***网络，对于5G通信***，已经开发了例如演进小型小区、先进小型小区(advanced small cell)、云无线电接入网络(cloud radio access network，云RAN)、超密集网络、装置到装置通信(D2D)、无线回传、移动网络、协作通信、协调多点(CoMP)、干扰消除等技术。
此外，对于5G通信***，已经开发了例如先进编码调制(advanced codingmodulation，ACM)(诸如混合频移键控(FSK)和正交幅值调制(QAM)(FQAM)和滑动窗口叠加编码(sliding window superposition coding，SWSC))和先进接入方案(诸如滤波器组多载波(FBMC)、非正交多址接入(NOMA)和稀疏码多址接入(SCMA))。
用于通信***的终端包含可穿戴形式的电子终端。这样的电子终端通常称为可穿戴装置，并且正在开发各种形式的可穿戴装置。例如，可穿戴装置可以以可附着于人体或衣服的各种形式提供，比如头戴(眼镜)型、腕戴(腕表或腕带)型、隐形眼镜型、环型、鞋型、衣服型等。可穿戴装置使得电子终端能够像衣服或眼镜一样穿戴在身体上，从而增加便携性和可接入性。
在各种形式的可穿戴电子终端中，正在大力开发例如头戴式可穿戴装置(诸如头戴式显示器(HMD))。HMD可以以提供增强现实(augmented reality，AR)的透视(see-through)形式和提供虚拟现实(VR)的封闭视觉(see-closed)形式，来提供视频服务。
透视形式使用半透明(transflective)反射镜的特性，来构成虚拟主体或物体或者将虚拟主体或物体与真实世界组合，以提供信息的增强的额外片段，该额外片段难以仅利用现实世界获得。封闭视觉形式是放置在用户眼睛前的两个显示器的形式，其允许用户欣赏经由外部输入、单独地在分开的屏幕上所提供的内容(游戏、电影、流体、广播等)，从而提供极佳的沉浸感受。
以上信息仅作为背景信息呈现以帮助理解本公开。关于以上的任何一个是否可以应用为关于本公开的现有技术，未做出确定，也未做出断言。
发明内容
【技术问题】
本公开的多个方面至少解决上述的问题和/或缺点，并且至少提供下面描述的优点。相应地，本公开的方面在于提供用于提供视频服务的方法和设备，以便在通信***中支持各种级别的图像质量。
本公开的另一方面在于提供用于提供视频服务的方法和设备，该视频服务能够在通信***中的单个屏幕上输出多个视频数据。
本公开的另一方面在于提供用于提供视频服务的方法和设备，该视频服务能够通过通信***中的单个屏幕基于选项信息(option information)输出的多个视频数据。
【解决方案】
根据本公开的方面，提供了用于在通信***中提供视频服务的终端的方法。该方法包含请求服务器以最大可用带宽发送第一视频数据；以最大可用带宽从服务器接收第一视频数据；当检测到请求第二视频数据的事件时，在最大可用带宽内确定用于第一视频数据的第一带宽和用于第二视频数据的第二带宽，使得第一视频数据和第二视频数据具有不同的图像质量；请求服务器以第一带宽发送第一视频数据，并且以第二带宽发送第二视频数据；以及从服务器以第一带宽接收第一视频数据并且以第二带宽接收第二视频数据。根据本公开的另一方面，提供了用于在通信***中提供视频服务的代理服务器。该方法包含与终端建立用于发送和接收第一视频数据的第一传输控制协议(TCP)会话；当在包含提供视频服务的域地址的域地址列表中包含提供第一视频数据的域地址时，从终端接收请求建立第二TCP会话的请求消息；以及验证请求消息并且向终端发送识别第二TCP会话建立的响应消息。
根据本公开的另一方面，提供了用于在通信***中提供视频服务的视频服务器的方法。该方法包含从终端接收请求以最大可用带宽接收第一视频数据的请求消息；以最大可用带宽向终端发送第一视频数据；从终端接收请求以最大可用带宽内的第一带宽接收第一视频数据的请求消息，以及请求以第二带宽接收第二视频数据的请求消息；以及以第一带宽发送第一视频数据、以第二带宽发送第二视频数据，其中确定第一带宽和第二带宽以提供不同的图像质量。
根据本公开的另一方面，提供用于在通信***中提供视频服务的终端的设备。该设备包含处理器以及收发器。该处理器配置为：请求服务器以最大可用带宽发送第一视频数据；当检测到请求第二视频数据的事件时，在最大可用带宽内确定用于第一视频数据的第一带宽和用于第二视频数据的第二带宽，使得第一视频数据和第二视频数据具有不同的图像质量；并且请求服务器以第一带宽发送第一视频数据和以第二带宽发送第二视频数据。该收发器配置为从服务器以最大可以用带宽接收第一视频数据，以第一带宽接收第一视频数据，并且从服务器以第二带宽接收第二视频数据。
根据本公开的另一方面，提供了用于在通信***中提供视频服务的代理服务器的设备。该设备包含处理器、接收器以及发送器，该处理器配置为与终端建立用于发送和接收第一视频数据的TCP会话，该接收器配置为当包含提供视频服务的域地址的域地址列表中包含提供第一视频数据的域地址时，从终端接收请求建立第二TCP会话的请求消息，该发送器配置为向终端发送指示第二TCP会话建立的响应消息。
根据本公开的另一方面，提供用于提供在通信***中提供视频服务的视频服务器的设备。该设备包含接收器以及发送器。该接收器配置为从终端接收请求以最大可用带宽接收第一视频数据、请求以最大可用带宽内的第一带宽接收第一视频数据的请求消息、和请求以第二带宽接收第二视频数据的请求消息。该发送器配置为向终端以最大可用带宽发送第一视频数据，以第一带宽发送第一视频数据，以及以第二带宽发送第二视频数据，其中确定第一带宽和第二带宽以提供不同的图像质量。
从以下与附图相结合以公开本公开的各种实施例的详细描述中，本公开的其它方面、优点和显著特征对本领域的技术人员将变得是显而易见的。
附图说明
从以下与附图相结合的描述中，本公开的某些实施例的上面的和其它的方面、特点和优势将变得更加显而易见，其中：
图1、2、3示出了根据本公开的各个实施例的虚拟显示(VR)旅游服务的示例。
图4示出了根据本公开的实施例的VR通知服务的示例；
图5示出了当没有应用本公开的实施例时提供的视频服务；
图6示出了根据本公开的实施例的终端在屏幕上输出主视频数据的示例；
图7示出了根据本公开的实施例的终端在屏幕上输出主视频数据的方法；
图8示出了根据本公开的实施例的在正在显示主视频数据的屏幕上输出子视频数据的终端；
图9示出了根据本公开的实施例的终端在正在显示主视频数据的屏幕上输出子视频数据的方法；
图10示出了根据本公开实施例的情况，其中内容兴趣(content interest)特性从子视频数据改变到主视频数据；
图11示出了根据本公开的实施例的用于在终端上输入视频质量的优先级的屏幕；
图12示出了根据本公开的实施例的终端在正在显示主视频数据的屏幕上输出子视频数据的方法；
图13示出了根据本公开的实施例的终端通过单个屏幕输出多个视频数据的方法；
图14示出了根据本公开的实施例的提供视频的通信***的示例；
图15示出了根据本公开的实施例的通信***的终端建立传输控制协议(TCP)会话的方法；
图16示出了根据本公开的实施例的由终端管理的结合域(binding domain)列表的示例；
图17示出了根据本公开的实施例的用于通信***的代理服务器的建立TCP会话的方法；
图18和19示出了根据本公开的各种实施例的由代理服务器管理的结合域列表的示例；
图20示出了根据本公开的实施例的通过单个屏幕输出多个视频数据的终端的详细配置；以及
图21示出了根据本公开的实施例的建立TCP会话的通信***的代理服务器的详细配置。
贯穿附图，相同的附图标记将理解为指代相同的零件、部件和结构。
具体实施方式
提供参考附图的以下描述，以帮助全面理解由权利要求和其等同限定的本公开的各种实施例。其包含各种特定细节，以帮助该理解，但是这些细节仅被认为是示例性的。相应地，本领域的普通技术人员应当认识到，在不脱离本公开的范围和精神的情况下，可以对本文所描述的各种实施例做各种改变和修改。此外，为了清楚和简明，可以省略已知功能和结构的描述。
下面的描述和权利要求中使用的术语和词汇不限制为字面含义，而是仅由发明人使用以能够清楚和一致地理解本公开。相应地，对本领域人员显而易见的是，提供本公开的各种实施例的以下描述仅出于说明的目的，而不出于限制由所附的权利要求和其等同所限定的本公开的目的。
应当理解的是，除非下文另有明确规定，单数的形式“一”、“该”、“所述”包含复数的指示对象。因此，例如，对“一个部件表面”的引用包含对这样的表面中的一个或多个的引用。
本公开的实施例涉及提供用于提供视频服务的方法和设备，该视频服务能够通过通信***中的单个屏幕基于选项信息输出多个视频数据。使通信***的终端能够通过单个屏幕输出多个视频数据的视频服务可以是，例如虚拟现实(VR)旅游服务或VR通知服务。
VR旅游服务是当选择特定的旅游景点(tourist spot)时，允许终端以360度视频数据的形式输出关于所选择的旅游景点的旅游信息的服务。
图1到3示出了根据本公开的实施例的VR旅游服务的示例。
具体而言，图1示出了当穿戴提供运行VR旅游服务的终端的用户运行VR旅游服务时，在终端上输出的视频数据。
参考图1，终端上输出的视频数据上的圆圈图标示出了VR旅游服务可以提供的国家的位置。终端可以接收从输出视频数据中选择的特定区域(例如，台湾)上的用户选项信息。在此，用户不仅可以使用声音，还可以使用动作、头部轨迹、以及包含VR轮的输入工具来选择特定区域。
图2示出了在用户所选择的特定区域上输出360度视频数据的示例。
参考图2，当用户选择例如台湾时，终端在屏幕上输出关于台湾的360度视频数据。在此，可以以至少一个预先确定的标记，在终端上输出的视频数据上显示提供部分201、203以及205的附加信息。例如，终端可以在视频数据中以红色图标或文本显示提供部分201、203以及205的附加信息。如图3所示，当用户在终端输出关于台湾的360度视频数据的同时选择了参考标记201时，终端可以在单个屏幕上将关于台湾的360度视频数据(以下为“主视频数据”)与关于参考标记201的视频数据(以下为“子视频数据”)同时输出。然后，如图3所示出，用户可以在相同的屏幕上，在观看主视频数据的同时观看子视频数据。
作为另一个示例，VR通知服务是当检测到特定事件(请求提供子视频数据)时，允许终端在输出用户期望的视频数据的同时输出关于特定事件的视频数据。
图4示出了根据本公开的实施例的VR通知服务的示例。
参考图4，在用户预先将用户的儿子来到操场(schoolyard)的情境设置为通知事件的情况下，当终端在提供了用户期望的视频数据(例如，360度电影视频数据、主视频数据)的同时辨认出该儿子在放学后来到操场时，终端在显示主视频数据的屏幕上输出关于操场的视频数据(换言之，子视频数据)。在此，终端可以经由安全摄像头或由学校提供的类似物来实时接收关于操场的视频数据。
如图3和图4所示，来自终端的视频数据可以划分为主视频数据和子视频数据。主视频数据是由终端输出在整个屏幕上的数据，例如三维(3D)或360度数据流(streamingdata)。子视频数据是在显示主视频数据的屏幕上的部分上输出的数据，例如二维(2D)或3D数据流。
通过终端和提供视频数据的视频服务器之间的传输控制协议(TCP)流，向终端提供2D、3D或360度视频数据。TCP流通常使终端和视频服务器之间的连接能够保持长时间，用于数据的传输和接收，并且使能传输和接收高容量数据。换言之，TCP流呈现了长且丰满(fat)的流的特性。因此，在本公开的各个实施例中，需要一种方法，用于根据用户选项，终端使用TCP流的数据发送和接收特性来有效地提供主视频数据或子视频数据。
目前，大部分视频数据是通过超文本传输协议(HTTP)自适应视频流(adaptivevideo streaming method)方法从终端提供的。HTTP自适应视频流方法是其中终端确定视频数据的编码速率的方法，该编码速率根据从视频服务器请求视频数据的可用带宽进行变化。根据本公开的实施例的终端还使用HTTP自适应视频流方法来提供视频数据。在此，终端可以使用最大可用带宽来提供主视频数据。然而，终端可用的最大可用带宽是受限制的。换言之，当终端在输出主视频数据的同时检测到被请求提供子视频数据的事件，由于最大可用带宽已经用于主视频数据，终端在输出子视频数据时具有子视频数据的延迟和缓冲。另外，当视频服务器被请求提供来自终端的子视频数据时，对高容量数据的这种突然请求(sudden request)可能导致拥塞(congestion)。相应地，视频服务器发送主视频数据的发送速率被影响，而导致在主视频数据的图像质量上的恶化。
因此，在本公开的各种实施例中，需要一种方法，用于提供能够在终端可用的最大可用带宽内有效地输出主视频数据或子视频数据的视频服务。
如上所述，当终端在使用通用技术来显示主视频数据的屏幕上输出子视频数据时，可以提供图5中示出的视频服务来替代图3中的视频服务。
图5示出了当没有应用本公开的实施例时所提供的视频服务。
参考图5，当终端使用通用技术在单个屏幕上输出多个视频数据时，可能发生主视频数据的图像质量上的恶化501和子视频数据的缓冲503。
为了解决在终端发生的主视频数据的图像质量上的恶化和子视频数据的缓冲，本公开的实施例建议了在终端可用的带宽内有效地提供主视频数据和子视频数据的图像质量的方法。另外，本公开的实施例建议了用于在不改变视频服务器和装置的操作的情况下终端提供满足用户体验质量(quality of experience，QoE)的方法。
为此，以下参考附图来详细描述根据本公开的各个实施例的用于提供视频服务的方法和设备，该视频服务使终端能够输出主视频数据和子视频数据。本公开的以下实施例不仅可以应用于VR旅游服务或VR通知服务，还可以应用于在单个屏幕上输出多个视频数据(换言之，至少两个或更多个视频数据)的终端的任何服务。
首先参考图6和图7，描述了根据本公开的实施例的用于终端输出主视频数据的方法，并且然后参考图8到12，描述了用于终端输出子视频数据的方法。
图6示出了根据本公开的实施例的示例，其中终端在屏幕上输出主视频数据。
参考图6，当终端检测到VR服务在运行时，终端可以在屏幕上输出高质量的主视频数据。可以通过图7中示出的信号流实现用于终端在屏幕上输出高质量主视频的方法。
图7示出了根据本公开的实施例的用于终端在屏幕上输出主视频数据的方法。
参考图7，在操作701处，终端100和视频服务器200建立用于主视频数据的TCP会话。在操作703处，当终端100接收被请求提供主视频数据的事件，终端100将关于主视频数据的变化的(variant)播放列表请求消息发送到视频服务器200。变化的播放列表请求消息可以包含指示用户请求主视频数据的信息。
在操作705处，响应于变化的播放列表请求消息，终端100从视频服务器200接收包含关于主视频数据的图像质量信息的变化的播放列表响应消息。变化的播放列表响应消息可以包括，包含可用于发送和接收主视频数据的带宽和编码速率的多个图像质量等级(grade)、以及用于识别多个图像质量等级中的每一个的识别信息，作为关于主视频数据的图像质量信息。
换言之，例如，图像质量信息可以如以下的表1形成。尽管图1示出了包含例如四个图像质量等级的图像质量信息，包含在图像质量信息中的图像质量等级的数量可以根据视频服务器200的决定进行改变。
表1
在操作707处，终端100储存了包含在变化的播放列表响应消息中的图像质量信息。
随后，在操作709处，终端100向视频服务器200发送请求块信息(chunkinformation)的第一播放列表请求消息，该块信息用于以图像质量信息中的图像质量的最低级别(例如，表1中的图像质量等级#1)提供主视频数据。在操作711处，响应于第一播放列表请求消息，终端100接收包含块信息#1的第一播放列表响应消息。在此，包含在播放列表响应消息中的块信息#1可以，例如，如在表2中所示。
表2
在操作713处，终端100储存了包含在第一播放列表响应消息中的块信息#1。
在操作715处，终端100向视频服务器200发送关于主视频数据的第一块请求消息，该第一块请求消息包含了在终端100和视频服务器200之间的带宽，换言之，块消息#1测量了在下载中终端当前可用的最高视频质量。在操作717处，终端100从视频服务器200接收块#1，并且检验用于在终端100和视频服务器200之间的通信的图像质量是否是阈值的通信图像质量。随后，在操作719到729处，终端100以与在操作709和711中相同的方式，向视频服务器200发送关于其它图像质量等级的播放列表请求消息。接下来，在操作731处，终端100可以在内部储存单元中储存块信息#2到#4的片(piece)。
相应地，如在表3中，终端100可以在内部储存单元中储存块信息#1到#4的片。
表3
随后，在操作733处，终端100使用储存的块信息来确定用于主视频数据的带宽和编码速率。例如，终端100可以对应于储存的块信息的最大可用带宽来选择带宽和编码速率，以便输出高质量的主视频数据。在此，在操作735，当块信息#4具有与最大可用带宽相对应的带宽和编码速率时，终端100向视频服务器200发送块请求消息，该块请求消息请求块#4。在操作737处，终端100从视频服务器200接收包含块#4的块响应消息，并且提供具有对应于块#4的图像质量的主视频数据。在操作739处，终端100继续追踪可用于提供主视频数据的最大可用带宽。
随后，当终端100在屏幕上输出高质量的主视频数据的同时接收请求子视频数据的用户输入时，终端100需要确定用于所请求的子视频数据的带宽和编码速率，并且根据所确定的用于子视频数据的带宽和编码速率，在屏幕上输出子视频数据。在本公开的实施例中，存在两个用于确定用于子视频数据的带宽和编码速率的方法的实施例。本公开的第一实施例涉及用于确定用于子视频数据的带宽和编码速率的方法，使得主视频数据和子视频数据基于内容兴趣(content interest)而具有不同的图像质量。本公开的第二个实施例涉及用于确定子视频数据的带宽和编码速率的方法，该子视频数据具有对主视频数据的图像质量具有尽可能可忽略的影响的图像质量。
首先，下面描述了根据本公开的第一实施例的用于终端在单个屏幕上以不同的图像质量输出主视频数据和子视频数据的方法。例如，根据本公开的第一实施例的终端100不在单个屏幕上以相同的图像质量输出360度主视频数据和2D子视频数据，而根据用户选项信息以不同的图像质量输出主视频数据和子视频数据。在此，可以由包含在终端100的输入单元中的多个传感器基于用户正在望向(用户的视角)的点(例如，头部点击点)来确定用户选项信息。对应于用户选项信息的子视频数据可以由终端100确定为具有内容兴趣特性的视频。换言之，在本公开的第一实施例中，具有内容兴趣特性的视频是指用户在某一时刻关注的视频，该视频在该用户在该时刻在服务内允许观看的多个视频之中。以下，为了描述方便，将VR旅游服务示出为根据本公开的第一实施例的服务的示例，但是本公开的第一实施例还可以应用于其它的VR服务。
当终端100提供VR旅游服务时，可以根据下面的场景(scenario)向用户提供来自终端100的视频服务。首先，用户请求关于主视频数据的附加信息，并且集中在观看子视频数据上，而子视频数据对应于正在输出的附加信息。当子视频数据结束，用户回到集中在观看主视频数据上。另外，在终端100上播放子视频数据时，用户可以将用户的头转到集中在观看主视频数据上。以由终端100所提供的内容兴趣特性呈现该用户场景，当终端100检测到被请求提供子视频数据的事件时，终端100继续输出子视频数据，并且子视频是内容兴趣。当完成子视频数据的输出时，主视频再次是终端100上的内容兴趣。当终端100在输出子视频数据时辨认出用户的头部移动时，终端100根据用户的头部移动将主视频或者子视频确定为内容兴趣。
在此，终端100需要根据内容兴趣特性在最大可用带宽内确定用于在相同的屏幕上的主视频数据和子视频数据的带宽和编码速率。
为此，图8和图9示出了根据本公开的实施例的情况，在该情况中终端100根据用户选项信息输出子视频数据。另外，图10示出了根据本公开的实施例的情况，在该情况中，在终端100输出子视频数据的同时改变用户选项信息。
图8示出了根据本公开的第一实施例的终端在显示主视频数据的屏幕上输出子视频数据的示例。
参考图8，当终端100在输出主视频数据的同时检测到被请求提供子视频数据的事件，终端100可以在最大可用带宽内以高质量提供子视频数据，并且可以将主视频数据的质量改变为低图像质量。换言之，终端100可以根据用户的内容兴趣特性将主视频数据和子视频数据配置为具有不同的图像质量。相应地，本公开的第一实施例可以用终端100的受限的带宽来满足用户QoE。
图9示出了根据本公开的第一实施例的终端在显示主视频数据的屏幕上输出子视频数据的方法。在对图9的以下描述中，假设，如图7所述，终端100输出具有对应于块#4(换言之，带宽4)的高质量的主视频数据。
参考图9，在操作901处，终端100输出具有对应于块#4的高质量的主视频数据，并且在操作903处，持续地追踪可用于输出主视频数据的最大可用带宽。
在操作905处，终端100与视频服务器200建立用于子视频数据的TCP会话。在此，在终端100输出具有高质量的主视频数据的同时并且在它被请求输出子视频数据之前，建立在终端100和视频服务器200之间的TCP会话，这将参考根据本公开的实施例的TCP会话的建立方法在之前进行详细描述。
接下来，在操作907处，当终端100接收到请求子视频数据的用户输入时，终端100向视频服务器200发送用于请求关于子视频数据的图像质量信息的变化的播放列表请求消息。在操作909处，响应于变化的播放列表请求消息，终端100从视频服务器200接收变化的播放列表响应消息，该变化的播放列表响应消息包含关于子视频数据的图像质量信息。在此，变化的播放列表响应消息可以包含如关于子视频数据的图像质量信息、包含可用于子视频数据的发送与接收的带宽和编码速率的多个图像质量等级、以及用于识别多个图像质量等级中的每一个的识别信息。在操作911处，终端100可以在内部储存单元中储存包含在变化的播放列表响应消息中的关于子视频数据的图像质量信息。在操作913处，终端100发送关于包含在图像质量信息中的相应的图像质量等级的多个播放列表请求消息，并且在操作915处，接收包含关于图像质量等级中的每一个的块信息的多个播放列表响应消息。由终端100进行的操作913和915类似于图7的操作709到729，并且因此省略其详细的描述。
在操作917处，终端100在内部储存单元储存包含在播放列表响应消息中的每一个中的块信息。例如，当存在用于子视频数据的三个图像质量等级(#5到#7)时，终端100可以储存表4中的块信息#5到#7，作为关于子视频数据的块信息。
表4
在操作919处，终端100使用所储存的关于子视频数据的块信息在最大可用带宽内确定用于子视频数据的带宽和编码速率，并且调整用于主视频数据的带宽和编码速率。例如，终端100可以从所储存的关于子视频数据的块信息中选择用于提供具有最高图像质量的子视频数据的带宽和编码速率，以便提供高质量的子视频数据。在此，当块信息#7具有用于输出具有最高图像质量的子视频数据的带宽和编码速率时，终端100选择对应于块信息#7的带宽和编码速率。终端100基于最大可用带宽(换言之，对应于块信息#4的带宽)和由终端100选择的带宽(换言之，对应于块信息#7的带宽)之间的差值，调整用于主视频数据的带宽。另外，终端100从所储存的关于主视频数据的块信息中选择与等于或小于用于主视频数据的调整的带宽的带宽(例如，#2)相对应的带宽和编码速率。
在操作921处，终端100向视频服务器200发送请求与子视频数据相关的块#7的请求消息。在操作923处，终端100从视频服务器200接收包含块#7的块响应消息，并且输出具有对应于块#7的高图像质量的子视频数据。另外，在操作925处，终端100向视频服务器200发送请求与主视频数据相关的块#2的块请求消息。在操作927处，终端100从视频服务器200接收包含块#2的块响应消息，并且输出具有对应于块#2的低图像质量的主视频数据。在操作929处，终端100继续追踪可用于提供主视频数据和子视频数据的最大可用带宽。
另外，如图10所示，当用户的内容兴趣特性在输出子视频数据的同时改变为主视频数据，终端100可以以高质量输出主视频数据，并且可以根据与图9中的进程相似的进程来降低子视频数据的图像质量。
图10示出了根据本公开的第一实施例的情况的示例，其中内容兴趣特性从子视频数据改变到主视频数据。
参考图10，例如，当终端100检测到在输出高质量子视频数据的同时用户将用户的头降低到显示主视频数据的部分时，如图10中所示，终端100可以以高图像质量输出主视频数据，并且以降低的低图像质量输出子视频数据。相应地，终端100可以用受限的带宽满足用户QoE。
同时，本公开的第二实施例涉及确定子视频数据的图像质量的方法，该方法对主视频数据的图像质量具有尽可能微小的影响。为此，在本公开的第二实施例中，终端100为主视频数据设定优先级，从而在提供VR服务的同时保持主视频数据的图像质量。例如，当开始实现VR服务时，根据本公开的第二实施例的终端100可以如图11地设定用于视频质量的优先级。
图11示出了根据本公开的实施例的用于在终端上输入视频质量的优先级的屏幕的示例，在该屏幕上例如为在全屏中所显示的视频数据(换言之，主视频数据)设定优先级。
参考图11，终端100可以在内部储存单元中储存由用户选择的优先级。另外，当为由用户选择为在终端100上的屏幕的部分中进行显示的视频数据(换言之，子视频数据)设定优先级时，以及当优先级根据网络情况进行变化时，还可以相似地应用本公开的第二实施例。
图12示出了根据本公开的实施例的用于终端在显示主视频数据的屏幕上输出子视频数据的方法。在下面对图12的描述中，假设如图7所述，终端100输出具有对应于块#4(换言之，带宽4)的高质量的主视频数据。
参考图12，在操作101处，终端100输出具有对应于块#4的高质量的主视频数据，并且在操作1203处，继续追踪可用于提供主视频数据的最大可用带宽。
接下来，在操作1205处，终端100识别是否发生被请求提供子视频数据的事件。在此，终端100可以通过来自特定视频服务器的推送消息(push message)来识别该事件是否发生，或者识别该事件(例如，用户选项)是否发生在终端100自身。
在操作1207处，终端100与视频服务器200建立用于发送和接收子视频数据的第二TCP会话。在此，在终端100提供具有高质量的主视频数据的同时以及在它被请求输出子视频数据之前，建立在终端100和视频服务器200之间的第二TCP会话，这将在下面参考根据本公开的实施例的TCP会话的建立方法进行详细描述。
在操作1209处，当通过该事件请求终端输出子视频数据时，终端100向视频服务器200发送用于请求关于子视频数据的图像质量信息的变化的播放列表请求消息。在操作1211处，响应于变化的播放列表请求消息，终端100从视频服务器200接收变化的播放列表响应消息，该变化的播放列表响应消息包含关于子视频数据的图像质量信息。在此，变化的播放列表响应消息可以包含如关于子视频数据的图像质量信息、包含可用于子视频数据的发送与接收的带宽和编码速率的多个图像质量等级、以及用于识别多个图像质量等级中的每一个的识别信息。在操作1213处，终端100可以在内部储存单元中储存包含在变化的播放列表响应消息中的关于子视频数据的图像质量信息。在操作1215处，终端100发送关于包含在图像质量信息中的相应的图像质量等级的多个播放列表请求消息，并且在操作1217处，接收包含关于图像质量等级中的每一个的块信息的多个播放列表响应消息。由终端100进行的操作1215和1217类似于图7的操作709到729，并且因此省略其详细的描述。
在操作1219处，终端100在内部储存单元储存包含在播放列表响应消息中的每一个中的块信息。例如，终端100可以在内部储存单元中储存表4中的块信息#5到#7，作为关于子视频数据的块信息。
在操作1221处，终端100使用所储存的关于子视频数据的块信息在最大可用带宽内确定用于子视频数据的带宽和编码速率，并且调整用于主视频数据的带宽和编码速率。在此，终端100可以从所储存的用于关于子视频数据的块信息中选择用于发送和接收具有最低图像质量的子视频数据的带宽和编码速率，以便不影响主视频数据的图像质量。例如，当块信息#5具有用于发送或接收具有最低图像质量的子视频数据的带宽和编码速率时，终端100从所储存的块信息中选择对应于块信息#5的的带宽和编码速率。终端100基于最大可用带宽(换言之，对应于块信息#4的带宽)和由终端100选择的带宽(换言之，对应于块信息#5的带宽)之间的差值，调整用于主视频数据的带宽。另外，终端100从所储存的关于主视频数据的块信息中选择对应于与用于主视频数据的调整的带宽相等的带宽(例如，#3)的带宽和编码速率。
在操作1223处，终端100向视频服务器200发送请求与子视频数据相关的块#5的请求消息。在操作1225处，终端100从视频服务器200接收包含块#5的块响应消息，并且在屏幕上输出具有对应于块#5的图像质量的子视频数据。另外，在操作1227处，终端100向视频服务器200发送请求与主视频数据相关的块#3的块请求消息。在操作1229处，终端100从视频服务器200接收包含块#3的块响应消息，并且在屏幕上输出具有对应于块#3的图像质量的主视频数据。在操作1231处，终端100继续追踪可用于发送和接收主视频数据和子视频数据的最大可用带宽。
图13示出了根据本公开的实施例的用于终端通过单个屏幕输出多个视频数据的方法。
参考图13，在操作1301处，当检测到VR服务时，终端100运行检测到的VR服务。在操作1303处，终端100以最大可用带宽提供主视频数据。相应地，终端100可以以高质量提供主视频数据。
在操作1305处，终端100从用户或视频服务器200接收被请求提供子视频数据的消息。在操作1307处，终端100根据用户设定，确定用于子视频数据的带宽。例如，当用户设定是内容兴趣特性时，终端100可以根据用户的内容兴趣特性来确定用于子视频数据的带宽和编码速率。作为另一个示例，当用户设定是涉及视频质量的优先级并且优先级设定为子视频数据时，终端100可以从关于子视频数据的图像质量信息中选择用于以高质量输出子视频数据的带宽和编码速率。作为又另一个示例，当用户设定是涉及视频质量的优先级并且优先级设定为主视频数据时，终端100可以从关于子视频数据的图像质量信息中选择用于以低质量输出子视频数据的带宽和编码速率。作为又另一个示例，当用户设定是涉及视频质量的优先级并且优先级设定为根据网络情况进行变化时，终端100可以根据当前的网络情况选择用于子视频数据的带宽和编码速率。
接下来，在操作1309处，终端100根据所确定的用于子视频数据的带宽来调整用于主视频数据的带宽，以便在最大可用带宽内同时地提供子视频数据和主视频数据。换言之，终端100基于最大可用带宽和所确定的用于子视频数据的带宽之间的差值调整用于主视频的带宽。
在操作1311处，终端100以用于子视频数据的带宽输出子视频数据，并且在操作1313处，以用于主视频数据的调整的带宽输出主视频数据。
相应地，根据本公开的实施例，可以向终端100的用户提供能够在单个屏幕上以用户期望的图像质量同时地输出主视频数据和子视频数据的视频服务。
如图9和图11所示，终端100需要建立用于子视频数据的新的第二TCP会话，以便在提供主视频数据的同时提供子视频数据。在此，为了通过TCP会话建立时间和在终端100中发生的慢启动来最小化初始延时，本公开的实施例建议了用于终端100产生和管理用于提供子视频数据的第二TCP会话的方法。
具体地，TCP是连接导向的协议(connection-oriented protocol)，其中在三次握手信令(three-way handshake signaling)之后在终端100和视频服务器200之间建立会话。在根据本公开的实施例的能够输出子视频数据的视频服务的情况中，存在很大的可能建立多个第二TCP会话。在这种情况下，如果终端不在请求子视频数据时，而是在输出主视频数据的同时建立第二TCP会话，则可以使归因于TCP会话建立时间的延迟最小化。相应地，本公开的实施例建议了用于在输出主视频的同时和在被请求输出子视频数据前终端100产生与视频服务器200的第二TCP会话的方法。
另外，当请求终端100向包含视频服务器200的网络输出子视频数据时，如果网络辨认出可用于终端100的最大可用带宽，则网络可以将初始窗口设定为为子视频数据请求的带宽，以降低由慢启动所造成的初始延迟。然而，视频服务器200的初始窗口具有由视频服务器200设定的随机值，并且可以不被终端100改变。相应地，本公开的实施例建议了用于网络中的代理服务器设定初始窗口值以控制发送速率的方法。
首先，图14示出了根据本公开的实施例的提供视频的通信***的示例。
参考图14，根据本公开的实施例的通信***包含终端100、提供视频的视频服务器200、代理服务器300、基站400和网关500。在此，视频服务器200和代理服务器300包含在因特网中，并且基站400和网关500包含在服务提供者网络中。网关500进行连接服务提供者网络和因特网的操作，并且基站400将从终端100接收的信号和消息发送到网关500，并且将从网关接收到的信号和消息发送到终端100。
特别地，当实现能够输出多个视频数据的视频服务时，根据本公开的实施例的终端100在输出主视频数据的同时和在被请求输出子视频数据之前，与代理服务器300建立用于子视频数据的TCP会话。
代理服务器300连接服务提供者网络和视频服务器200，并且特别地，分离终端100与视频服务器200之间的TCP会话，以调整初始窗口值。相应地，代理服务器300可以控制向终端100提供的主视频数据和子视频数据的发送速率。
具体而言，根据本公开的实施例，终端100和代理服务器300可以如图15和图17中进行操作。在下面的描述中，假设用于主视频数据的第一TCP会话已经在终端100和服务器200之间建立，并且建立第一TCP会话的过程可以根据通用的TCP会话建立过程进行。
图15示出了根据本公开的实施例的用于通信***的终端100建立TCP会话的方法。
参考15，在操作1501处，终端100通过代理服务器300与服务器200建立用于主视频数据的第一TCP会话。接下来，在操作1503处，终端100确定主视频数据是否包含在结合域列表中。在此，结合域列表是用于识别提供多个视频数据的服务的列表，该结合域列表包含从提供多个视频数据的服务中所提供的视频数据中的每一个的域地址。结合域列表是预先在终端100和代理服务器300之间共享的信息，并且可以由终端100和代理服务器300中的每一个更新。例如，终端100可以储存如图16所示的结合域列表。
图16示出了根据本公开的实施例的由终端管理的结合域列表的示例；
在操作1505处，如果结合域列表中包含提供主视频数据的域地址，则终端100向代理服务器300发送第二TCP会话产生请求消息，以便请求建立用于子视频数据的TCP会话。在此，第二TCP会话产生请求消息包含识别产生第二TCP会话的请求的标记。例如，该标记可以包含在对应于第二TCP会话产生请求消息的TCP SYN信息包(packet)的选项字段(field)中。
在操作1507处，终端100接收第二TCP会话产生响应消息，并且建立在终端100和服务器200之间产生的第二TCP会话，该第二TCP会话产生响应消息包含对与第二会话产生请求消息相响应的第二TCP会话的产生的正常响应。如果第二TCP会话产生响应消息包含对第二TCP会话的产生的不正常响应，则终端100回到操作1505，以再次请求产生第二TCP会话。
图17示出了根据本公开的实施例的用于通信***的代理服务器建立TCP会话的方法。
参考图17，在操作1701处，代理服务器300与终端100建立用于主视频数据的第一TCP会话。接下来，在操作1703处，代理服务器300从终端100接收包含请求产生第二TCP会话的标记的第二TCP会话产生请求消息。在操作1705处，代理服务器300基于先前储存的结合域列表确定是否存在已经为相同域建立的与终端100的第一TCP会话，该终端100与已经发送第二TCP会话产生请求消息的终端100相同。在此，代理服务器300可以使用终端100的网络协议(IP)地址确定终端100的相同性，并且可以使用域地址确定是否存在用于相同域的第一TCP会话。当与相同的终端100存在为相同域已经建立的第一TCP会话时，在操作1707处，代理服务器300结合第一TCP会话和第二TCP会话。当完成第一TCP会话和第二TCP会话的结合时，在操作1709处，代理服务器300发送包含对第二TCP会话的正常响应的第二TCP会话产生响应消息。
在此，第一TCP会话和第二TCP会话的结合是为了管理用于第一TCP会话和第二TCP会话的TCP会话的信息，以提供关于第一TCP会话和第二TCP会话的相同的服务和发送速率信息。换言之，如图18所示，代理服务器300储存并管理结合域列表。
图18和图19示出了根据本公开的实施例的由代理服务器管理的结合域列表的示例。
在此，图18所示的结合域列表是在产生但还未使用第二TCP会话的情况中的列表，在终端100请求子视频数据之前，该列表由代理服务器300储存和管理。另外，结合域列表在第一TCP会话信息中储存用于发送和接收的主视频数据的最大可用带宽和编码速率。
接下来，当代理服务器300从终端100接收关于子视频数据的变化的播放列表请求消息时，代理服务器300基于结合域列表中用于发送和接收主视频数据的最大可用带宽和编码速率，确定用于发送和接收子视频数据的第二TCP会话的初始窗口值。代理服务器300调整主视频数据(换言之，第一TCP会话)的发送速率，以便基于确定的初始窗口值来确保子视频数据的发送。例如，代理服务器300基于用于主视频数据的可用带宽，将第二TCP会话的初始窗口值确定为用于所请求的子视频数据的带宽，并且如果在第一TCP会话中发送主视频数据块，则使第一TPC会话的发送速率降低了用于子视频数据的带宽。相应地，代理服务器300可以管理并且储存如图19所示的结合域列表。换言之，当终端100以与子视频数据相关的带宽/编码速率2向代理服务器300发送块请求消息时，如图19所示的结合域列表包含储存在代理服务器300中的结合会话信息的示例。
图20示出了根据本公开的各种实施例的通过单个屏幕输出多个视频数据的终端的详细配置。
参考图20，终端100包含发送单元2011、接收单元2013、控制单元2030、输入单元2051、输出单元2053、储存单元2070，以通过单个屏幕输出多个视频数据，从而提供视频服务。在此，发送单元2011和接收单元2013可以配置为单个收发器单元2010，并且输入单元2051和输出单元2053还可以配置为单个输入/输出单元2050。
首先，在本发明的实施例中，输入单元2051包含多个传感器，以检测用户选项。例如，输入单元2501可以包含多个陀螺仪传感器以检测用户头部追踪。
控制单元2030控制终端100的所有操作，并且特别地，控制与终端100相关的操作(根据本公开的实施例，同时输出主视频数据和子视频数据)。与终端100的操作相关的操作(根据本公开的实施例，同时输出主视频数据和子视频数据)与图6到13中示出的操作相同，并且因此在本中省略其详细的描述。
发送单元2011根据控制单元2030的控制，向视频服务器200发送各种类的信号和各种类的消息。在此，由发送单元2011发送的各种类的信号和各种类的消息与图6到13中示出的信号和消息相同，并且因此在本文中省略其详细的描述。
接收单元2013根据控制单元2030的控制，从视频服务器200接收各种类的信号和各种类的消息。在此，由接收单元2013接收的各种类的信号和各种类的消息与图6到13中示出的信号和消息相同，并且因此在本文中省略其详细的描述。
储存单元2070可以包括第一储存单元701，该第一储存单元701储存程序和与终端100的操作相关的各种类的消息，该终端100根据本公开的实施例、根据控制单元2030的控制提供视频服务。另外，储存单元2070可以包括第二储存单元2073，该第二储存单元2073储存由接收单元2013从视频服务器200接收的各种类的信号和各种类的消息。
输出单元2053输出与终端100的操作相关的各种类的信号和各种类的消息，该终端100根据本公开的实施例、根据控制单元2030的控制提供视频服务。在此，由输出单元2053输出的各种类的信号和各种类的消息与图6到13中示出的信号和消息相同，并且因此在本文中省略其详细的描述。
尽管图20示出了终端100配置为以分开的单元包含收发单元2010、控制单元2030、输入/输出单元2050、以及储存单元2070，终端100还可以配置为集成收发单元2010、控制单元2030、输入/输出单元2050、以及储存单元2070中的至少两个。另外，终端100还可以配置为单个处理器。
图21示出了根据本公开的实施例的建立TCP会话的通信***的代理服务器的详细配置。
参考图21，代理服务器300包含控制单元2011、储存单元2130、发送单元2151、以及接收单元2153，以便与终端100建立用于提供多个视频数据的TCP会话。在此，发送单元2151和接收单元2153可以配置为单个收发器单元2150。
控制单元2110控制代理服务器300的所有操作，并且特别地，控制与代理服务器300的操作相关的操作(根据本公开的实施例，与终端100建立TCP会话，用于提供多个视频数据的服务)。与代理服务器300的操作相关的操作(根据本公开的实施例，建立TCP会话)与图14到19中示出的操作相同，并且因此在本文中省略其详细的描述。
发送单元2151根据控制单元2010的控制，向终端100或视频服务器200发送各种类的信号和各种类的消息。在此，由发送单元2151发送的各种类的信号和各种类的消息与图14到19中示出的信号和消息相同，并且因此在本文中省略其详细的描述。
另外，接收单元2153根据控制单元2110的控制，从终端100或视频服务器200接收各种的信号和各种类的消息。在此，由接收单元2153接收的各种类的信号和各种类的消息与图14到19中示出的信号和消息相同，并且因此在本文省略其详细的描述。
储存单元2130储存与代理服务器300的操作相关的程序和各种类的消息(根据本公开的实施例，根据控制单元2110的控制与终端100建立TCP会话)。另外，储存单元2130储存由接收单元2153从终端100和视频服务器200接收的各种类的信号和各种类的消息。
尽管图21示出了代理服务器配置为以分开的单元包含收发器单元2150、控制单元2110、以及储存单元2130，但是代理服务器还可以配置为收发器单元2150、控制单元2110、以及储存单元2130中的至少两个的集成。另外，代理服务器还可以配置为单个处理器。
虽然已经参考本公开的各种实施例示出和描述了本公开，但是本领域技术人员将理解，在不脱离如所附权利要求和其等同所限定的本公开的精神和范围的情况下，可以在其中进行形式和细节上的各种改变。

Claims (15)

1.一种用于在通信***中提供视频服务的终端的方法，所述方法包括：
请求服务器以最大可用带宽发送第一视频数据；
从所述服务器以所述最大可用带宽接收所述第一视频数据；
当检测到请求所述第二视频数据的事件时，在所述最大可用带宽内确定用于所述第一视频数据的第一带宽和用于第二视频数据的第二带宽，使得所述第一视频数据和所述第二视频数据具有不同的图像质量；
请求所述服务器以所述第一带宽发送所述第一视频数据，并且以所述第二带宽发送所述第二视频数据；以及
从所述服务器以所述第一带宽接收所述第一视频数据，并且以所述第二带宽接收所述第二视频数据。
2.如权利要求1所述的方法，其中通过第一传输控制协议(TCP)会话从所述服务器接收所述第一视频数据，并且
其中当所述服务器是视频服务器时，所述方法还包括在检测到所述请求第二视频数据的事件之前，与所述视频服务器建立用于接收所述第二视频数据的第二传输控制协议(TCP)会话。
3.如权利要求1所述的方法，
其中当所述服务器是代理服务器时，所述方法还包括，在检测到所述请求第二视频数据的事件之前：
当提供所述第一视频数据的域地址包括在包含提供所述视频服务的域地址的域地址列表中时，向所述代理服务器发送请求消息，所述请求消息请求第二传输控制协议(TCP)会话的建立；以及
从所述代理服务器接收响应消息，所述响应消息指示所述第二TCP会话已建立；并且
其中所述代理服务器连接到视频服务器。
4.如权利要求1所述的方法，其中所述确定包括：
从所述服务器接收关于用于发送和接收所述第二视频数据的至少一个可用带宽的带宽信息；
基于预设信息确定所述至少一个带宽的第二带宽；以及
在所述最大可用带宽内基于所述第二带宽确定所述第一带宽，
其中根据用于第二传输控制协议(TCP)会话的初始窗口值确定所述至少一个带宽，所述初始窗口值基于所述最大可用带宽确定，并且
其中所述预设信息是指示所述第一视频数据的图像质量比所述第二视频数据的图像质量具有更高的优先级的信息、指示所述第二视频数据的图像质量比所述第一视频数据的图像质量具有更高的优先级的信息、以及网络状况信息中的一个。
5.一种用于在通信***中提供视频服务的代理服务器的方法，所述方法包括：
与终端建立用于发送和接收第一视频数据的第一传输控制协议(TCP)会话；
当提供所述第一视频数据的域地址包括在包含提供所述视频服务的域地址的域地址列表中时，从所述终端接收请求建立第二TCP会话的请求消息；以及
验证所述请求消息，并且向所述终端发送响应消息，所述响应消息指示所述第二TCP会话已建立。
6.如权利要求5所述的方法，其中所述响应消息的发送包括：当所述终端请求建立所述第一TCP会话的标识符与所述终端请求建立所述第二TCP会话的标识符相同，并且提供所述第一视频数据的域地址与提供所述第二视频数据的域地址相同时，向所述终端发送所述响应消息。
7.如权利要求6所述的方法，还包括：
结合所述第一TCP会话和所述第二TCP会话；
基于用于发送和接收所述第一视频数据的最大可用带宽确定所述第二TCP会话的初始窗口值；以及
当从所述终端接收到请求关于用于发送和接收所述第二视频数据的至少一个可用带宽的带宽信息的消息时，基于所述确定的初始窗口值向所述终端发送带宽信息。
8.一种用于在通信***中提供视频服务的视频服务器的方法，所述方法包括：
从终端接收请求消息，所述请求消息请求以最大可用带宽接收第一视频数据；
以所述最大可用带宽向所述终端发送所述第一视频数据；
从所述终端接收请求消息，所述请求消息请求以所述最大可用带宽内的第一带宽接收所述第一视频数据的请求消息并且请求以第二带宽接收第二视频数据；以及
以所述第一带宽发送所述第一视频数据，并且以所述第二带宽发送所述第二视频数据，
其中确定所述第一带宽和所述第二带宽以提供不同的图像质量。
9.如权利要求8所述的方法，还包括：
在接收到所述请求消息之前，所述请求消息请求以所述第二带宽接收所述第二视频数据，与所述终端建立用于发送和接收所述第二视频数据的第二传输控制协议(TCP)会话，
其中所述第一视频数据通过第一TCP会话发送到所述终端。
10.一种用于在通信***中提供视频服务的终端的设备，所述设备包括：
处理器，所述处理器配置为：
请求服务器以最大可用带宽发送第一视频数据，
当检测到请求第二视频数据的事件时，在所述最大可用带宽内确定用于所述第一视频数据的第一带宽和用于所述第二视频数据的第二带宽，使得所述第一视频数据和所述第二视频数据具有不同的图像质量，并且
请求所述服务器以所述第一带宽发送所述第一视频数据，并且以所述第二带宽发送所述第二视频数据；以及
收发器，所述收发器配置为：
从所述服务器以所述最大可用带宽接收所述第一视频数据，
以所述第一带宽接收第一视频数据，并且
从所述服务器以所述第二带宽接收所述第二视频数据。
11.如权利要求10所述的设备，其中所述设备适应于进行权利要求2-权利要求4中的一个所描述的方法的步骤。
12.一种用于在通信***中提供视频服务的代理服务器的设备，所述设备包括：
处理器，所述处理器配置为与终端建立用于发送和接收第一视频数据的第一传输控制协议(TCP)会话；
接收器，所述接收器配置为当提供所述第一视频数据的域地址被包括在包含提供所述视频服务的域地址的域地址列表中时，从所述终端接收请求建立第二TCP会话的请求消息；以及
发送器，所述发送器配置为向所述终端发送指示所述第二TCP会话已建立的响应消息。
13.如权利要求12所述的设备，其中所述设备适应于进行权利要求6-权利要求7中的一个所描述的方法的步骤。
14.一种用于在通信***中提供视频服务的视频服务器的设备，所述设备包括：
接收器，所述接收器配置为从终端接收请求以最大可用带宽接收第一视频数据的请求消息、以所述最大可用带宽内的第一带宽接收所述第一视频数据的请求消息、和请求以第二带宽接收第二视频数据的请求消息；以及
发送器，所述发送器配置为：
向所述终端以所述最大可用带宽发送所述第一视频数据，
以所述第一带宽发送所述第一视频数据，并且
以所述第二带宽发送所述第二视频数据，
其中确定所述第一带宽和所述第二带宽以提供不同的图像质量。
15.如权利要求14所述的设备，还包括：
处理器，所述处理器配置在接收到所述请求消息之前，所述请求消息请求以所述第二带宽接收所述第二视频数据，与所述终端建立用于发送和接收所述第二视频数据的第二传输控制协议(TCP)会话，
其中所述第一视频数据通过第一TCP会话发送到所述终端，
其中所述视频服务器包含在因特网上，并且
其中所述处理器还配置为经由服务提供者网络的网关，与所述终端建立所述第一TCP会话和所述第二TCP会话。
CN201680040307.1A 2015-07-07 2016-07-07 用于在通信***中提供视频服务的方法和设备 Active CN107852519B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020150096656A KR102343331B1 (ko) 2015-07-07 2015-07-07 통신 시스템에서 비디오 서비스를 제공하는 방법 및 장치
KR10-2015-0096656 2015-07-07
PCT/KR2016/007385 WO2017007264A1 (en) 2015-07-07 2016-07-07 Method and apparatus for providing video service in communication system

Publications (2)

Publication Number Publication Date
CN107852519A true CN107852519A (zh) 2018-03-27
CN107852519B CN107852519B (zh) 2020-12-01

Family

ID=57685822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680040307.1A Active CN107852519B (zh) 2015-07-07 2016-07-07 用于在通信***中提供视频服务的方法和设备

Country Status (5)

Country Link
US (1) US10440070B2 (zh)
EP (1) EP3320687B1 (zh)
KR (1) KR102343331B1 (zh)
CN (1) CN107852519B (zh)
WO (1) WO2017007264A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109361603A (zh) * 2018-11-26 2019-02-19 浪潮思科网络科技有限公司 基于可编程交换芯片动态调整等价路径流量的方法及***

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10270834B2 (en) * 2015-08-20 2019-04-23 Huawei Technologies Co., Ltd. System and method for online multimedia streaming services
US11012719B2 (en) * 2016-03-08 2021-05-18 DISH Technologies L.L.C. Apparatus, systems and methods for control of sporting event presentation based on viewer engagement
US20180310066A1 (en) * 2016-08-09 2018-10-25 Paronym Inc. Moving image reproduction device, moving image reproduction method, moving image distribution system, storage medium with moving image reproduction program stored therein
WO2018035133A1 (en) 2016-08-17 2018-02-22 Vid Scale, Inc. Secondary content insertion in 360-degree video
US20190253743A1 (en) * 2016-10-26 2019-08-15 Sony Corporation Information processing device, information processing system, and information processing method, and computer program
CN108124167A (zh) * 2016-11-30 2018-06-05 阿里巴巴集团控股有限公司 一种播放处理方法、装置和设备
EP3703223B1 (en) * 2017-10-26 2021-09-01 Panasonic Intellectual Property Corporation of America Communication system and communication method
JP6463826B1 (ja) * 2017-11-27 2019-02-06 株式会社ドワンゴ 動画配信サーバ、動画配信方法及び動画配信プログラム
US20190253751A1 (en) * 2018-02-13 2019-08-15 Perfect Corp. Systems and Methods for Providing Product Information During a Live Broadcast
CN109451293B (zh) * 2018-08-09 2021-11-26 北京邮电大学 一种自适应立体视频传输***和方法
FR3101503A1 (fr) * 2019-09-27 2021-04-02 Orange Gestion du téléchargement progressif adaptatif d’un contenu numérique sur réseau mobile avec sélection d’un débit d’encodage maximum autorisé en fonction d’un godet de données
US11425042B2 (en) 2019-09-27 2022-08-23 Amazon Technologies, Inc. Managing data throughput in a distributed endpoint network
US11552898B2 (en) * 2019-09-27 2023-01-10 Amazon Technologies, Inc. Managing data throughput in a distributed endpoint network
CN110611831B (zh) * 2019-10-14 2022-02-08 浙江大华技术股份有限公司 一种视频传输方法及装置
US11394636B1 (en) 2020-12-10 2022-07-19 Amazon Technologies, Inc. Network connection path obfuscation using global access points
US20230019723A1 (en) * 2021-07-14 2023-01-19 Rovi Guides, Inc. Interactive supplemental content system
US20230156300A1 (en) * 2021-11-15 2023-05-18 Comcast Cable Communications, Llc Methods and systems for modifying content

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080117836A1 (en) * 2006-11-20 2008-05-22 Raghvendra Gurudath Savoor Methods and apparatus to manage bandwidth in a wireless network
US20120131627A1 (en) * 2010-11-22 2012-05-24 Sling Media Pvt Ltd Systems, methods and devices to reduce change latency in placeshifted media streams using predictive secondary streaming
WO2012162275A2 (en) * 2011-05-20 2012-11-29 Cloudflare Inc. Improved loading of web resources
US20120314763A1 (en) * 2005-03-31 2012-12-13 At&T Intellectual Property I, L.P. Via Transfer From Bellsouth Intellectual Property Corporation Methods And Systems For Providing Bandwidth Adjustment
US8438605B2 (en) * 2007-01-26 2013-05-07 Nec Corporation Video distribution system and video distribution method
CN103281509A (zh) * 2013-05-29 2013-09-04 华为技术有限公司 一种视频会议中优化显示方法和装置
US20140022329A1 (en) * 2012-07-17 2014-01-23 Samsung Electronics Co., Ltd. System and method for providing image
WO2014067566A1 (en) * 2012-10-30 2014-05-08 Telefonaktiebolaget L M Ericsson (Publ) Method and device for streaming video
US20150029861A1 (en) * 2012-02-24 2015-01-29 Hitachi, Ltd. Communication device and communication system
US20150070274A1 (en) * 2013-06-17 2015-03-12 3Divi Company Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100677462B1 (ko) * 2005-06-23 2007-02-02 엘지전자 주식회사 스트리밍서비스를 위한 휴대단말기의 대역폭산정시스템 및방법
JP5036527B2 (ja) * 2007-12-27 2012-09-26 パナソニック株式会社 接続装置および接続方法
US8000347B2 (en) * 2008-10-31 2011-08-16 Cisco Technology, Inc. Executing and supporting a multiple bandwidth reservation request
US9294526B2 (en) 2009-12-28 2016-03-22 Microsoft Technology Licensing, Llc Managing multiple dynamic media streams
US20120013162A1 (en) * 2010-07-16 2012-01-19 Kuo-Chang Chen Chair for a drummer
KR102047846B1 (ko) * 2011-12-23 2020-01-08 삼성전자주식회사 통신 시스템에서 콘텐츠 제공 방법 및 장치
US20130227102A1 (en) 2012-02-29 2013-08-29 Alcatel-Lucent Usa Inc Chunk Request Scheduler for HTTP Adaptive Streaming
KR102034624B1 (ko) * 2013-02-26 2019-10-21 삼성전자 주식회사 대역폭 예측을 통한 휴대 단말기의 스트리밍 컨텐츠 운용 방법 및 장치
KR102342144B1 (ko) * 2014-12-01 2021-12-22 삼성전자주식회사 통신 시스템에서 분리된 ｔｃｐ 연결을 설정하는 방법 및 장치와 이를 위한 핸드 오버 지원 방법 및 장치
US10546424B2 (en) * 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120314763A1 (en) * 2005-03-31 2012-12-13 At&T Intellectual Property I, L.P. Via Transfer From Bellsouth Intellectual Property Corporation Methods And Systems For Providing Bandwidth Adjustment
US20080117836A1 (en) * 2006-11-20 2008-05-22 Raghvendra Gurudath Savoor Methods and apparatus to manage bandwidth in a wireless network
US8438605B2 (en) * 2007-01-26 2013-05-07 Nec Corporation Video distribution system and video distribution method
US20120131627A1 (en) * 2010-11-22 2012-05-24 Sling Media Pvt Ltd Systems, methods and devices to reduce change latency in placeshifted media streams using predictive secondary streaming
WO2012162275A2 (en) * 2011-05-20 2012-11-29 Cloudflare Inc. Improved loading of web resources
US20150029861A1 (en) * 2012-02-24 2015-01-29 Hitachi, Ltd. Communication device and communication system
US20140022329A1 (en) * 2012-07-17 2014-01-23 Samsung Electronics Co., Ltd. System and method for providing image
WO2014067566A1 (en) * 2012-10-30 2014-05-08 Telefonaktiebolaget L M Ericsson (Publ) Method and device for streaming video
CN103281509A (zh) * 2013-05-29 2013-09-04 华为技术有限公司 一种视频会议中优化显示方法和装置
US20150070274A1 (en) * 2013-06-17 2015-03-12 3Divi Company Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109361603A (zh) * 2018-11-26 2019-02-19 浪潮思科网络科技有限公司 基于可编程交换芯片动态调整等价路径流量的方法及***
CN109361603B (zh) * 2018-11-26 2021-03-23 浪潮思科网络科技有限公司 基于可编程交换芯片动态调整等价路径流量的方法及***

Also Published As

Publication number Publication date
US10440070B2 (en) 2019-10-08
US20170013031A1 (en) 2017-01-12
CN107852519B (zh) 2020-12-01
EP3320687B1 (en) 2019-12-18
KR102343331B1 (ko) 2021-12-24
EP3320687A4 (en) 2018-10-10
WO2017007264A1 (en) 2017-01-12
EP3320687A1 (en) 2018-05-16
KR20170006150A (ko) 2017-01-17

Similar Documents

Publication Publication Date Title
CN107852519A (zh) 用于在通信***中提供视频服务的方法和设备
Elbamby et al. Toward low-latency and ultra-reliable virtual reality
EP3494695B1 (en) Single depth tracked accommodation-vergence solutions
US10231014B2 (en) Virtual reality (VR) video distribution using edge resources
Zhao et al. QoE in video transmission: A user experience-driven strategy
US20200112625A1 (en) Adaptive streaming of virtual reality data
CN104067628B (zh) 用于支持对观看条件自适应的视频传输的方法和***
CN106688239B (zh) 视频下载方法、装置及***
KR20190142765A (ko) 360도 적응형 스트리밍에 대한 경험을 개선하기 위한 메트릭 및 메시지
KR20200014355A (ko) 가상 현실(vr) 콘텐츠를 전송하기 위한 방법과 시스템
KR20160125708A (ko) 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
CN105684453B (zh) 用于观看环境中视觉信息的自适应递送的观看条件估计
CN108307197A (zh) 虚拟现实视频数据的传输方法、播放方法及装置和***
CN116867553A (zh) 多会话远程游戏渲染
CN114339928A (zh) 无线路由器及其数据传输方法
CN111381787A (zh) 一种投屏方法以及设备
CN110545430A (zh) 视频传输方法和装置
US11265356B2 (en) Network assistance functions for virtual reality dyanmic streaming
Qvarfordt et al. High quality mobile XR: Requirements and feasibility
CN116264619A (zh) 资源处理方法、装置、服务器、终端、***及存储介质
KR20230085767A (ko) 성능 기반의 스플릿 컴퓨팅 제공 방법 및 장치
US10412360B2 (en) Wireless transmission system, method and device for stereoscopic video
US20140161199A1 (en) Method and apparatus for processing video image
Nguyen et al. Scalable and resilient 360-degree-video adaptive streaming over HTTP/2 against sudden network drops
WO2018027015A1 (en) Single depth tracked accommodation-vergence solutions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant