KR102324990B1 - Adaptive bitrate streaming system and method for efficient transmission of contents - Google Patents

Adaptive bitrate streaming system and method for efficient transmission of contents Download PDF

Info

Publication number
KR102324990B1
KR102324990B1 KR1020200049845A KR20200049845A KR102324990B1 KR 102324990 B1 KR102324990 B1 KR 102324990B1 KR 1020200049845 A KR1020200049845 A KR 1020200049845A KR 20200049845 A KR20200049845 A KR 20200049845A KR 102324990 B1 KR102324990 B1 KR 102324990B1
Authority
KR
South Korea
Prior art keywords
bitrate
eye image
resolution
real
optimal
Prior art date
Application number
KR1020200049845A
Other languages
Korean (ko)
Other versions
KR20210131587A (en
Inventor
임경빈
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020200049845A priority Critical patent/KR102324990B1/en
Publication of KR20210131587A publication Critical patent/KR20210131587A/en
Application granted granted Critical
Publication of KR102324990B1 publication Critical patent/KR102324990B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2385—Channel allocation; Bandwidth allocation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 개시에서는 실시간으로 사용자 네트워크 대역폭에 따라 로직 서버에서 최적 비트레이트를 계산하여 ROI영역과 스케일링 영역의 해상도를 결정하고, 좌우 양안 영상을 분리하여 각각 전송함으로서 고객 체감 품질 수준인 비트레이트 및 딜레이를 줄일 수 있는 시스템 및 방법이 제공된다. 실시간 가변 비트레이트 전송 시스템은 사용통계, 품질통계 및 해상도 정보를 기초로 최적 비트레이트(bitrate)를 계산하는 로직 서버; ROI 영역과 스케일링 영역(Scaling region)으로 구분된 원본 컨텐츠에 대해, 상기 로직 서버에서 계산된 상기 최적 비트레이트에 따라 상기 ROI 영역 및 상기 스케일링 영역 각각에 대해 적용되는 해상도를 결정하는 비트레이트 어댑터(bitrate adapter); 상기 비트레이트 어댑터에서 결정된 상기 해상도에 따라 상기 원본 컨텐츠의 좌안영상 및 우안영상 각각으로 인코딩하는 인코더; 및 인코딩된 상기 좌안영상 및 상기 우안영상 각각을 사용자 단말로 상기 최적 비트레이트로 전송하는 전송부를 포함한다.In the present disclosure, the logic server calculates the optimal bit rate according to the user's network bandwidth in real time, determines the resolution of the ROI area and the scaling area, and transmits the left and right images separately to reduce the bit rate and delay, which is the level of perceived quality of the customer. Systems and methods are provided. The real-time variable bitrate transmission system includes: a logic server that calculates an optimal bitrate based on usage statistics, quality statistics, and resolution information; A bitrate adapter that determines a resolution applied to each of the ROI region and the scaling region according to the optimal bitrate calculated by the logic server for the original content divided into an ROI region and a scaling region adapter); an encoder for encoding each of a left-eye image and a right-eye image of the original content according to the resolution determined by the bitrate adapter; and a transmitter for transmitting each of the encoded left-eye image and the right-eye image to a user terminal at the optimal bit rate.

Description

컨텐츠의 효율적 전송을 위한 적응적 비트레이트 스트리밍 시스템 및 방법{ADAPTIVE BITRATE STREAMING SYSTEM AND METHOD FOR EFFICIENT TRANSMISSION OF CONTENTS}ADAPTIVE BITRATE STREAMING SYSTEM AND METHOD FOR EFFICIENT TRANSMISSION OF CONTENTS

본 개시는 효율적인 스트리밍 데이터 전송을 위한 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 적응적 비트레이트 스트리밍 기술을 이용하여 ROI 영역과 스케일링 영역의 해상도를 결정하고 좌우 양안 영상을 각각 전송하는 시스템 및 그 방법에 관한 것이다.The present disclosure relates to a system and method for efficient streaming data transmission, and more particularly, a system for determining the resolution of an ROI region and a scaling region using an adaptive bitrate streaming technology and transmitting left and right binocular images, respectively, and the same it's about how

최근 세계적으로 엄청난 양의 동영상 컨텐츠가 소비되고 있다. 스트리밍 방식은 다운로드함과 동시에 재생할 수는 없는 다운로드 방식과는 달리, 대용량의 오디오나 동영상을 압축기술을 이용해 여러 개로 분할하여 전송하기 때문에 하드디스크에 저장하지 않고 다운로드함과 동시에 재생하는 것이 가능한 방식이다. 동영상 기술은 점차 고도화되어 네트워크 환경에 따른 최적의 동영상 품질을 스트리밍해 버퍼링 없는 서비스를 제공하기 위해 여러 방법이 모색되고 있다.Recently, a huge amount of video content is being consumed around the world. Unlike the download method, which cannot be played while downloading, the streaming method divides a large amount of audio or video into several pieces using compression technology and transmits it, so it is possible to download and play it at the same time without storing it on the hard disk. . As video technology is gradually advanced, various methods are being sought to provide a service without buffering by streaming the optimal video quality according to the network environment.

일반적으로 사용하는 스트리밍 방식으로는 프로그레시브 다운로드 방식(Progressive download)이 있다. 이는 미디어 소스가 한번 선택되면 해당 컨텐츠를 끝까지 다운로드하면서 재생하는 방식으로, 네트워크 상황이 좋지 않은 경우에는 컨텐츠 재생 중 지속적으로 버퍼링 지연을 겪는다는 문제가 있다.As a streaming method generally used, there is a progressive download method. In this way, once a media source is selected, the corresponding content is downloaded and played to the end. If the network condition is not good, there is a problem of continuously experiencing buffering delay during content playback.

이러한 문제를 해결하기 위해 적응적 비트레이트 스트리밍(adaptive bitrate streaming)을 사용하면, 동영상 컨텐츠를 여러 조각으로 잘게 분할하여 저장해두고 사용자의 네트워크 상황에 따라 해상도를 결정하여 한 조각씩 스트리밍함으로써 사용자 상황에 최적화된 컨텐츠 스트리밍을 제공할 수 있다.To solve this problem, if adaptive bitrate streaming is used, the video content is divided into several pieces and stored, and the resolution is determined according to the user's network condition and streamed piece by piece to optimize the user condition. content streaming can be provided.

공개번호 10-2019-0042568 공개특허에서는 방송이나 인터넷에 의해 분배되는 영상의 ROI 식별자를 시그널링할 수 있도록 하는 분배 장치, 분배 방법, 수신 장치, 수신 방법, 프로그램, 및 콘텐츠 분배 시스템에 관해 개시하며, 인터넷 스트리밍에 있어 가변 비트레이트 전송 방법 중 하나인 DASH(Dynamic Adaptive Streaming over HTTP)를 활용한다.Patent Publication No. 10-2019-0042568 discloses a distribution device, a distribution method, a reception device, a reception method, a program, and a content distribution system that enable signaling of an ROI identifier of an image distributed by broadcasting or the Internet, DASH (Dynamic Adaptive Streaming over HTTP), which is one of the variable bitrate transmission methods in Internet streaming, is used.

본 개시에서는 실시간으로 사용자 네트워크 대역폭을 피드백 받고 이에 따라 로직 서버에서 최적 비트레이트를 계산하여 ROI영역과 스케일링 영역의 해상도를 결정하고, 좌우 양안 영상을 분리하여 각각 전송함으로써 고객 체감 품질 수준인 비트레이트 및 딜레이를 줄일 수 있는 시스템 및 방법이 제공된다.In the present disclosure, the user network bandwidth is fed back in real time, and the logic server calculates the optimal bit rate accordingly to determine the resolution of the ROI area and the scaling area, and separates and transmits the left and right eye images. A system and method for reducing delay are provided.

일실시예에 따른 실시간 가변 비트레이트 전송 시스템은 사용통계, 품질통계 및 해상도 정보 중 적어도 어느 하나를 기초로 최적 비트레이트(bitrate)를 계산하는 로직 서버; ROI 영역과 스케일링 영역(Scaling region)으로 구분된 원본 컨텐츠에 대해, 상기 로직 서버에서 계산된 상기 최적 비트레이트에 따라 상기 ROI 영역 및 상기 스케일링 영역 각각에 대해 적용되는 해상도를 결정하는 비트레이트 어댑터(bitrate adapter); 상기 비트레이트 어댑터에서 결정된 상기 해상도에 따라 인코딩하는 인코더; 및 인코딩된 컨텐츠를 사용자 단말로 상기 최적 비트레이트로 전송하는 전송부를 포함한다.A real-time variable bitrate transmission system according to an embodiment includes a logic server for calculating an optimal bitrate based on at least one of usage statistics, quality statistics, and resolution information; A bitrate adapter that determines a resolution applied to each of the ROI region and the scaling region according to the optimal bitrate calculated by the logic server for the original content divided into an ROI region and a scaling region adapter); an encoder for encoding according to the resolution determined by the bitrate adapter; and a transmitter for transmitting the encoded content to the user terminal at the optimal bit rate.

일실시예에 따른 실시간 가변 비트레이트 전송 방법은 로직 서버에서, 사용통계, 품질통계 및 해상도 정보 중 적어도 어느 하나를 기초로 최적 비트레이트(bitrate)를 계산하는 단계; 비트레이트 어댑터에서, ROI 영역과 스케일링 영역(Scaling region)으로 구분된 원본 컨텐츠에 대해, 상기 로직 서버에서 계산된 상기 최적 비트레이트에 따라 상기 ROI 영역 및 상기 스케일링 영역 각각에 대해 적용되는 해상도를 결정하는 단계; 인코더에서, 상기 비트레이트 어댑터에서 결정된 상기 해상도에 따라 인코딩하는 단계; 전송부에서, 인코딩된 컨텐츠를사용자 단말로 상기 최적 비트레이트로 전송하는 단계를 포함한다.A real-time variable bitrate transmission method according to an embodiment includes, in a logic server, calculating an optimal bitrate based on at least one of usage statistics, quality statistics, and resolution information; In the bitrate adapter, for original content divided into an ROI region and a scaling region, the resolution applied to each of the ROI region and the scaling region is determined according to the optimal bitrate calculated by the logic server step; encoding, in an encoder, according to the resolution determined by the bitrate adapter; and transmitting, in the transmission unit, the encoded content to the user terminal at the optimal bit rate.

일실시예에 따른 사용자 단말은 실시간 가변 비트레이트 전송 시스템으로부터 전송된 컨텐츠를 수신하는 수신부; 상기 컨텐츠를 디코딩하는 디코더; 및 피드백 정보를 상기 실시간 가변 비트레이트 전송 시스템으로 전송하는 전송부를 포함하는 것으로, 상기 컨텐츠는, 상기 실시간 가변 비트레이트 전송 시스템의 로직 서버에서, 사용통계, 품질통계 및 해상도 정보를 기초로 최적 비트레이트(bitrate)를 계산하고, 상기 실시간 가변 비트레이트 전송 시스템의 비트레이트 어댑터에서, ROI 영역과 스케일링 영역(Scaling region)로 구분된 원본 컨텐츠에 대해, 상기 로직 서버에서 계산된 상기 최적 비트레이트에 따라 상기 ROI 영역 및 상기 스케일링 영역 각각에 대해 적용되는 해상도를 결정하며, 상기 실시간 가변 비트레이트 전송 시스템의 인코더에서, 상기 비트레이트 어댑터에서 결정된 상기 해상도에 따라 인코딩하고, 상기 실시간 가변 비트레이트 전송 시스템의 전송부에서, 인코딩된 컨텐츠가 사용자 단말로 상기 최적 비트레이트로 전송된 것이다.A user terminal according to an embodiment includes a receiving unit for receiving content transmitted from a real-time variable bit rate transmission system; a decoder for decoding the content; and a transmission unit for transmitting feedback information to the real-time variable bit rate transmission system, wherein the content is an optimal bit rate based on usage statistics, quality statistics, and resolution information in a logic server of the real-time variable bit rate transmission system. (bitrate), and in the bitrate adapter of the real-time variable bitrate transmission system, for the original content divided into an ROI region and a scaling region, according to the optimal bitrate calculated by the logic server, the A resolution applied to each of the ROI region and the scaling region is determined, and the encoder of the real-time variable bitrate transmission system encodes according to the resolution determined by the bitrate adapter, and a transmission unit of the real-time variable bitrate transmission system , the encoded content is transmitted to the user terminal at the optimal bit rate.

일실시예에 따른 상기 인코더는 상기 원본 컨텐츠의 좌안영상 및 우안영상 각각으로 인코딩하고, 상기 전송부는 상기 좌안영상 및 우안영상 각각을 사용자 단말로 전송한다.The encoder according to an embodiment encodes each of a left-eye image and a right-eye image of the original content, and the transmitter transmits each of the left-eye image and the right-eye image to a user terminal.

일실시예에 따른 상기 로직 서버는 상기 사용 통계, 상기 품질 통계, 및 상기 해상도 정보 중 적어도 어느 하나에 기초한 엔드투엔드(End to End; E2E) 지연(latency) 값을 기초로 상기 최적 비트레이트 값을 계산한다.The logic server according to an embodiment may be configured to configure the optimal bitrate value based on an end-to-end (E2E) latency value based on at least one of the usage statistics, the quality statistics, and the resolution information. to calculate

일실시예에 따른 상기 사용 통계는 사용시간, 사용시각, 스트리밍 위치 정보, 컨텐츠 종류 및 디바이스 종류에 대한 정보 중 적어도 어느 하나를 포함하고, 상기 품질 통계는 네트워크 처리량(Network throughput), 패킷 손실률(Packet loss rate) 및 평균 왕복 딜레이(Average DL RTT)에 대한 정보 중 적어도 어느 하나를 포함한다.The usage statistics according to an embodiment include at least one of usage time, usage time, streaming location information, content type, and device type information, and the quality statistics include network throughput and packet loss. loss rate) and at least one of information on average round trip delay (Average DL RTT).

일실시예에 따른 상기 로직 서버는, 상기 사용자 단말로부터 다운링크 대역폭 정보를 피드백 받는다.The logic server according to an embodiment receives a feedback of downlink bandwidth information from the user terminal.

일실시예에 따른 상기 로직 서버는, 상기 다운링크 대역폭 정보를 상기 최적 비트레이트를 계산하는 데 이용한다.The logic server according to an embodiment uses the downlink bandwidth information to calculate the optimal bit rate.

본 개시를 통해 단순 버퍼링 시간이나 네트워크 다운로드 속도보다 한 단계 위의 고객체감 지표인 비트레이트 및 딜레이를 기반으로 비트레이트를 적용하여 서비스 퀄리티를 높일 수 있으며, 고객 사용 통계 기준으로 컨텐츠별 가변 비트레이트를 적용하여 네트워크를 효율적으로 활용할 수 있게 된다.Through this disclosure, the service quality can be improved by applying the bit rate based on the bit rate and delay, which are indicators of customer experience that are one step higher than the simple buffering time or network download speed, and variable bit rates for each content based on customer usage statistics. This will allow the efficient use of the network.

도 1은 일실시예에 따른 실시간 가변 비트레이트 전송 시스템에 관한 개념도이다.
도 2는 일실시예에 따른 로직 서버에서 사용 통계, 품질 통계, 해상도 정보 중 적어도 어느 하나에 기초해 최적 비트레이트 값을 계산하는 과정에 관한 개념도이다.
도 3은 일실시예에 따른 ROI 영역과 스케일링 영역으로 구분된 원본 컨텐츠에 대해, 로직 서버에서 계산된 상기 최적 비트레이트에 따라 상기 ROI 영역 및 상기 스케일링 영역 각각에 대해 적용되는 해상도를 결정하는 개념도이다.
도 4는 일실시예에 따른 미디어 원본 컨텐츠에 대해 ROI 영역과 스케일링 영역으로 나누어 인코딩 시 원본 대비 축소된 비율을 설명하기 위한 예시를 도시한다.
도 5는 일실시예에 따른 좌우 양안 분리 전송 시 감소하는 딜레이를 도시한다.
도 6은 일실시예에 따른 실시간 가변 비트레이트 전송 방법을 도시하는 흐름도이다.
도 7은 일실시예에 따른 사용자 단말의 구성과 실시간 가변 비트레이트 시스템 간의 관계를 도시한다.1 is a conceptual diagram of a real-time variable bit rate transmission system according to an embodiment.
2 is a conceptual diagram illustrating a process of calculating an optimal bitrate value based on at least one of usage statistics, quality statistics, and resolution information in a logic server according to an exemplary embodiment.
3 is a conceptual diagram of determining a resolution applied to each of the ROI region and the scaling region according to the optimal bit rate calculated by a logic server for original content divided into an ROI region and a scaling region according to an embodiment. .
4 illustrates an example for explaining a reduced ratio compared to the original when encoding media original content by dividing it into an ROI region and a scaling region according to an embodiment.
5 is a diagram illustrating a decrease in delay when transmitting left and right eyes separately according to an exemplary embodiment.
6 is a flowchart illustrating a real-time variable bit rate transmission method according to an embodiment.
7 illustrates a relationship between a configuration of a user terminal and a real-time variable bitrate system according to an embodiment.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. However, since various changes may be made to the embodiments, the scope of the patent application is not limited or limited by these embodiments. It should be understood that all modifications, equivalents and substitutes for the embodiments are included in the scope of the rights.

실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the examples are used for description purposes only, and should not be construed as limiting. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present specification, terms such as “comprise” or “have” are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It should be understood that this does not preclude the existence or addition of numbers, steps, operations, components, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the embodiment belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present application. does not

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description with reference to the accompanying drawings, the same components are given the same reference numerals regardless of the reference numerals, and the overlapping description thereof will be omitted. In the description of the embodiment, if it is determined that a detailed description of a related known technology may unnecessarily obscure the gist of the embodiment, the detailed description thereof will be omitted.

또한, 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다. In addition, in describing the components of the embodiment, terms such as first, second, A, B, (a), (b), etc. may be used. These terms are only for distinguishing the components from other components, and the essence, order, or order of the components are not limited by the terms. When it is described that a component is “connected”, “coupled” or “connected” to another component, the component may be directly connected or connected to the other component, but another component is between each component. It will be understood that may also be "connected", "coupled" or "connected".

어느 하나의 실시 예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시 예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시 예에 기재한 설명은 다른 실시 예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다.Components included in one embodiment and components having a common function will be described using the same names in other embodiments. Unless otherwise stated, a description described in one embodiment may be applied to another embodiment, and a detailed description in the overlapping range will be omitted.

<시스템><system>

도 1은 일실시예에 따른 실시간 가변 비트레이트 전송 시스템에 관한 개념도이다.1 is a conceptual diagram of a real-time variable bit rate transmission system according to an embodiment.

도 1을 참고하면, 실시간 가변 비트레이트 전송 시스템(100)의 구성 요소와 흐름이 도시되어 있다. 실시간 가변 비트레이트 전송 시스템(100)은 로직 서버(120), 비트레이트 어댑터(130), 인코더(140), 전송부(150)를 포함하고, 미디어 소스(110)가 로직 서버(120) 및 비트레이트 어댑터(130)에 제공된다. 로직 서버(120)는 사용통계, 품질통계에 대한 정보를 통계 서버(122)로부터 제공받을 수 있고, 해상도 정보(124)도 제공받을 수 있다. 로직 서버(120)는 이 정보들 중 적어도 어느 하나를 기초로 최적 비트레이트(bitrate)를 계산한다. 비트레이트 어댑터(130)에서는 높은 해상도를 유지하는 관심영역(ROI)(Region Of Interest; ROI)과 해상도가 바뀌는 스케일링 영역(Scaling region)으로 구분된 원본 컨텐츠에 대해, 상기 계산된 최적 비트레이트에 따라 상기 ROI 영역 및 상기 스케일링 영역 각각에 대해 적용되는 해상도를 결정한다. 인코더(140)에서는 상기 비트레이트 어댑터(130)에서 결정된 상기 해상도에 따라 인코딩을 진행한다. 전송부(150)에서는 인코더(140)에서 인코딩된 상기 컨텐츠를 상기 최적 비트레이트로 사용자 단말(160)로 전송한다.Referring to FIG. 1 , the components and flow of the real-time variable bit rate transmission system 100 are illustrated. The real-time variable bit rate transmission system 100 includes a logic server 120 , a bit rate adapter 130 , an encoder 140 , and a transmission unit 150 , and the media source 110 includes a logic server 120 and a bit rate. A rate adapter 130 is provided. The logic server 120 may receive information on usage statistics and quality statistics from the statistics server 122 , and may also receive resolution information 124 . The logic server 120 calculates an optimal bitrate based on at least one of this information. In the bitrate adapter 130 , the original content divided into a region of interest (ROI) maintaining a high resolution and a scaling region in which the resolution is changed is determined according to the calculated optimal bitrate. A resolution applied to each of the ROI region and the scaling region is determined. The encoder 140 performs encoding according to the resolution determined by the bitrate adapter 130 . The transmitter 150 transmits the content encoded by the encoder 140 to the user terminal 160 at the optimal bit rate.

인코더(140)는 인코딩을 진행할 때, 상기 원본 컨텐츠의 좌안영상 및 우안영상 각각으로 인코딩을 진행할 수 있고, 전송부(150)는 인코딩된 컨텐츠의 좌안영상 및 우안영상 각각을 사용자 단말로 상기 최적 비트레이트로 전송할 수 있다. 이는 후술할 도 5와 관련하여 자세히 설명한다.When encoding is performed, the encoder 140 may encode each of the left-eye image and the right-eye image of the original content, and the transmitter 150 transmits each of the left-eye image and the right-eye image of the encoded content to the user terminal with the optimal bit. rate can be transmitted. This will be described in detail with reference to FIG. 5, which will be described later.

사용자 단말(160)은 로직 서버(120)로 다운링크 대역폭 정보를 피드백하고, 로직 서버(120)는 이 정보를 상기 최적 비트레이트를 계산하는 데 이용한다. 사용자 단말(160)에서 특정 주기에 따라 다운링크 대역폭 정보를 체크하여 변화가 감지된 경우에, 이 정보를 로직 서버(120)로 피드백하면 로직 서버(120)는 이에 따라 원본 미디어에 대한 가변 해상도를 적용한다.The user terminal 160 feeds back downlink bandwidth information to the logic server 120 , and the logic server 120 uses this information to calculate the optimal bit rate. When a change is detected by checking downlink bandwidth information according to a specific period in the user terminal 160, this information is fed back to the logic server 120, and the logic server 120 adjusts the variable resolution for the original media accordingly. apply

도 2는 일실시예에 따른 로직 서버에서 사용 통계, 품질 통계, 해상도 정보 중 적어도 어느 하나에 기초해 최적 비트레이트 값을 계산하는 과정에 관한 개념도이다.2 is a conceptual diagram illustrating a process of calculating an optimal bitrate value based on at least one of usage statistics, quality statistics, and resolution information in a logic server according to an embodiment.

로직 서버에서 상기 사용통계, 상기 품질통계의 각 항목(X)의 엔드투엔드 지연(End to End latency: E2E latency) 값(Y)을 저장하고, 상기 각 항목(X)의 컨텐츠 비트레이트 값(contents bitrate value)(Z)를 저장한다. 그리고 상기 각 항목(X)과 상기 각 항목에 따른 상기 E2E latency 값의 상관 관계 지수(correlation)를 계산하여 연관도가 높은 항목(예를 들어, 0.7보다 큰 항목)을 핵심 항목으로 지정하고, 상기 핵심 항목 중 평균값과 상이한 값이 있는 경우 해당 비트레이트에 대한 가중치(A,B,C)를 곱하여 예상 컨텐츠 비트레이트 값(predicted contents bitrate value)(W)을 산출한다. 해상도 정보의 경우에도 가변 해상도 지표의 E2E latency 값(Y)을 저장하고, 그 때의 컨텐츠 비트레이트 값(Z)을 저장한 뒤 이에 따른 가중치를 산정해 곱해서 예상 컨텐츠 비트레이트 값(W)을 산출한다.In the logic server, the end-to-end latency (E2E latency) value (Y) of each item (X) of the usage statistics and the quality statistics is stored, and the content bit rate value of each item (X) ( Store contents bitrate value)(Z). And by calculating the correlation index (correlation) of each item (X) and the E2E latency value according to each item, an item with a high degree of relevance (eg, an item greater than 0.7) is designated as a core item, and the If there is a value different from the average value among the core items, the predicted contents bitrate value (W) is calculated by multiplying the weights (A, B, C) for the corresponding bit rates. In the case of resolution information, the E2E latency value (Y) of the variable resolution index is stored, the content bitrate value (Z) at that time is stored, and the weight is calculated and multiplied to calculate the expected content bitrate value (W) do.

상기 사용 통계는 사용시간, 사용시각, 스트리밍 위치 정보, 컨텐츠 종류 및 디바이스 종류에 대한 정보 중 적어도 어느 하나를 포함하고, 상기 품질 통계는 네트워크 처리량(Network throughput), 패킷 손실률(Packet loss rate) 및 평균 왕복 딜레이(Average DL RTT)에 대한 정보 중 적어도 어느 하나를 포함한다.The usage statistics include at least one of usage time, usage time, streaming location information, content type, and device type information, and the quality statistics include network throughput, packet loss rate, and average At least one of information on round-trip delay (Average DL RTT) is included.

도 3은 일실시예에 따른 ROI 영역과 스케일링 영역으로 구분된 원본 컨텐츠에 대해, 로직 서버에서 계산된 상기 최적 비트레이트에 따라 상기 ROI 영역 및 상기 스케일링 영역 각각에 대해 적용되는 해상도를 결정하는 개념도이다.3 is a conceptual diagram of determining a resolution applied to each of the ROI region and the scaling region according to the optimal bit rate calculated by a logic server for original content divided into an ROI region and a scaling region according to an embodiment. .

도 3에는 ROI 영역과 스케일링 영역을 구분하여 가변 해상도를 적용하는 경우의 해상도 변화가 도시되어 있다. 기존의 적응적 비트레이트 미디어 스트리밍의 경우에는 사용자의 네트워크 사용 상황이 좋지 않아 네트워크 대역폭이 작을 때, 전체 프레임에 낮은 해상도를 적용하여 적응적으로 전송하였다. 하지만 이는 사용자에게 낮은 해상도로 인해 불편함을 초래한다. 본 개시에서는 미디어의 ROI 영역은 상대적으로 고해상도로 유지하고 나머지 스케일링 영역에 대해서 압축률을 조절하여 전송해 품질을 고려할 수 있게 한다.3 illustrates a change in resolution when the variable resolution is applied by dividing the ROI region and the scaling region. In the case of the existing adaptive bitrate media streaming, when the network bandwidth is small due to the user's poor network usage, a low resolution is applied to the entire frame and adaptively transmitted. However, this causes inconvenience to the user due to the low resolution. In the present disclosure, the ROI region of the media is maintained at a relatively high resolution, and the compression ratio is adjusted for the remaining scaling region so that the quality can be considered.

네트워크가 좋은 상황인 경우의 영상(310)은 모든 영역이 높은 해상도로 인코딩되어 사용자 단말로 전송될 수 있다. 전술한 바와 같이 사용자 단말로부터 다운링크 대역폭 정보를 피드백 받았는데 대역폭이 작아진 경우, 영상(330)은 사용자가 주로 관찰하는 중심부의 ROI 영역(331)의 해상도는 높게, 나머지 스케일링 영역(333)의 해상도는 낮게 인코딩하여 사용자 단말로 전송된다. 이 때 각 영역의 해상도는 도 1의 비트레이트 어댑터(130)에서, 도 1의 로직 서버(120)가 도 2의 방법에 따라 계산한 최적 비트레이트에 따라 결정한다. 좌안 우안을 나눈 것은 양안 분리 전송과 관련하여 도 6과 함께 설명된다.In the case of a good network situation, all regions of the image 310 may be encoded with high resolution and transmitted to the user terminal. As described above, when the downlink bandwidth information is fed back from the user terminal and the bandwidth is reduced, the image 330 has a high resolution of the ROI region 331 in the center, which is mainly observed by the user, and the resolution of the remaining scaling region 333 . is low-encoded and transmitted to the user terminal. At this time, the resolution of each region is determined according to the optimal bit rate calculated by the logic server 120 of FIG. 1 in the bit rate adapter 130 of FIG. 1 according to the method of FIG. 2 . The division of the left eye and the right eye is described together with FIG. 6 in relation to binocular separation transmission.

도 4는 일실시예에 따른 미디어 원본 컨텐츠에 대해 ROI 영역과 스케일링 영역으로 나누어 인코딩 시 원본 대비 축소된 비율을 설명하기 위한 예시를 도시한다.4 illustrates an example for explaining a reduced ratio compared to the original when encoding media original content by dividing it into an ROI region and a scaling region according to an embodiment.

도 3에서 ROI 영역과 스케일링 영역의 해상도를 다르게 결정하는 실시예를 도시하였는데, 이와 관련하여 인코딩 전후의 컨텐츠 비트레이트의 차이를 보여주기 위한 예시로서 도 4의 미디어 원본(410)과 인코딩 해상도(430)가 도시된다. 사용자 단말의 시야각(Field of View; FoV)이 100°라고 가정하고 원본 미디어 대비 인코딩 후의 축소된 비율을 구하면 아래와 같다. 좌안과 우안에 동일하게 적용되므로, 좌안을 기준으로만 계산하였다.3 shows an embodiment in which the resolutions of the ROI region and the scaling region are determined differently. In this regard, the media source 410 and the encoding resolution 430 of FIG. ) is shown. Assuming that the field of view (FoV) of the user terminal is 100°, the reduced ratio after encoding compared to the original media is obtained as follows. Since the same applies to the left and right eyes, calculations were made based only on the left eye.

기존 미디어 원본(410)의 해상도는 1600 * 1440 = 2304000(pixel)이었고, 이 중 고정된 해상도인 ROI 영역(412)의 해상도는 (60/100) * (60/100) * 1600 * 1440 = 829440(pixel), 스케일링 영역(414)의 해상도는 2304000-829440 = 1474560(pixel) 이다. 인코딩 후의 해상도(430)를 보면, 인코딩 해상도는 1200 * 1080 = 1296000(pixel)이고, ROI 영역(432)은 해상도가 유지되므로 여전히 미디어 원본의 ROI영역(412)의 해상도와 같은 829440(pixel)이다. 따라서 인코딩 후의 스케일링 영역(434)의 해상도는 1296000-829440 = 466560(pixel)이 된다. 여기서 인코딩 해상도(430)의 pixel수(1200*1080)는 전술한 사용자 단말(160)에서 피드백 받은 대역폭에 따라 유동적일 수 있다.The resolution of the existing media source 410 was 1600 * 1440 = 2304000 (pixel), and the resolution of the ROI region 412, which is a fixed resolution, was (60/100) * (60/100) * 1600 * 1440 = 829440 (pixel), the resolution of the scaling area 414 is 2304000-829440 = 1474560 (pixel). Looking at the resolution 430 after encoding, the encoding resolution is 1200 * 1080 = 1296000 (pixel), and since the resolution of the ROI area 432 is maintained, it is still 829440 (pixel) the same as the resolution of the ROI area 412 of the media source. . Accordingly, the resolution of the scaling region 434 after encoding becomes 1296000-829440 = 466560 (pixel). Here, the number of pixels (1200*1080) of the encoding resolution 430 may be flexible according to the bandwidth fed back from the aforementioned user terminal 160 .

인코딩 후 해상도가 변하는 스케일링 영역의 해상도의 축소된 비율을 계산하면, 466560/1474560 = 0.316, 즉 약 32%로 감소하였음을 알 수 있다. 이에 따라 인코딩 후 컨텐츠 비트레이트를 계산하면, 기존 비트레이트가 50Mbps라고 하면 인코딩 후에는 50M*{(100-32)/100}= 34 Mbps가 된다. If the reduced ratio of the resolution of the scaling region in which the resolution is changed after encoding is calculated, it can be seen that 466560/1474560 = 0.316, that is, it is reduced to about 32%. Accordingly, when the content bitrate is calculated after encoding, if the existing bitrate is 50Mbps, after encoding, 50M*{(100-32)/100}=34 Mbps.

이를 통해 실시간 비트레이트 전송 시스템에서 비트레이트 어댑터에서 ROI 영역과 스케일링 영역 각각에 대해 다른 해상도로 결정하는 경우 비트레이트가 감소되는 것을 확인할 수 있다.Through this, it can be confirmed that the bitrate is reduced when the bitrate adapter determines a different resolution for each of the ROI region and the scaling region in the real-time bitrate transmission system.

도 5는 일실시예에 따른 좌우 양안 분리 전송 시 감소하는 딜레이를 도시한다.5 is a diagram illustrating a decrease in delay when transmitting left and right eyes separately according to an exemplary embodiment.

기존의 좌우 양안을 묶어서 컨테이너(Container) 파일로 전송하는 방식(510)과, 좌우 양안을 분리하여 각각 전송하는 방식(530)이 개시된다. 좌안영상 및 우안영상 모두 실시간 가변 비트레이트 전송 시스템의 인코더에서 인코딩(512, 532) 되고, 전송부에서 전송(514, 534)되며, 사용자 단말의 디코더에서 디코딩(516, 536)되는데, 기존의 묶어서 전송하는 경우보다 좌우 양안을 분리하여 전송하는 경우 패킷 사이즈가 감소하고, 각 프로세스를 병렬로 처리하여 최종적으로 delay의 축소(540)를 달성할 수 있다.The existing method 510 for bundling both left and right eyes and transmitting them as a container file, and a method 530 for transmitting each of the left and right eyes separately are disclosed. Both the left-eye image and the right-eye image are encoded (512, 532) in the encoder of the real-time variable bitrate transmission system, transmitted (514, 534) in the transmitter, and decoded (516, 536) in the decoder of the user terminal, When the left and right eyes are separated and transmitted compared to the case of transmission, the packet size is reduced, and each process is processed in parallel to finally reduce the delay 540 .

<방법><Method>

도 6은 일실시예에 따른 실시간 가변 비트레이트 전송 방법(600)을 도시하는 흐름도이다.6 is a flowchart illustrating a real-time variable bitrate transmission method 600 according to an embodiment.

로직 서버에서 사용통계, 품질통계 및 해상도 정보를 기초로 최적 비트레이트(bitrate)를 계산(602)하고, 비트레이트 어댑터에서 ROI 영역과 스케일링 영역(Scaling region)으로 구분된 원본 컨텐츠에 대해, 상기 로직 서버에서 계산된 상기 최적 비트레이트에 따라 상기 ROI 영역 및 상기 스케일링 영역 각각에 대해 적용되는 해상도를 결정(604)하며, 인코더에서 상기 비트레이트 어댑터에서 결정된 상기 해상도에 따라 인코딩(606)하고, 전송부에서 인코딩된 컨텐츠를 사용자 단말로 상기 최적 비트레이트로 전송(608)한다. 사용자 단말로부터 주기적으로 다운링크 대역폭 정보를 피드백 받고(610), 로직 서버는 이 정보를 이용하여 다시 최적 비트레이트를 계산한다(602).The logic server calculates an optimal bitrate based on usage statistics, quality statistics and resolution information (602), and for the original content divided into an ROI region and a scaling region in the bitrate adapter, the logic A resolution applied to each of the ROI region and the scaling region is determined (604) according to the optimal bitrate calculated by the server, and the encoder encodes (606) according to the resolution determined by the bitrate adapter, and a transmission unit transmits the encoded content to the user terminal at the optimal bit rate (608). The downlink bandwidth information is periodically fed back from the user terminal ( 610 ), and the logic server calculates an optimal bit rate again using this information ( 602 ).

로직 서버가 최적 비트레이트를 계산하는 단계(602)는 도 2와 관련해 전술한 바와 같은 방법으로 사용 통계, 품질 통계, 및 해상도 정보 중 적어도 어느 하나에 기초한 엔드투엔드(End to End; E2E) 지연(latency) 값을 기초로 계산되며, 상기 사용 통계는 사용시간, 사용시각, 스트리밍 위치 정보, 컨텐츠 종류 및 디바이스 종류에 대한 정보 중 적어도 어느 하나를 포함하고 상기 품질 통계는 네트워크 처리량(Network throughput), 패킷 손실률(Packet loss rate) 및 평균 왕복 딜레이(Average DL RTT)에 대한 정보 중 적어도 어느 하나를 포함한다.The step 602 of the logic server calculating the optimal bitrate may include an End to End (E2E) delay based on at least one of usage statistics, quality statistics, and resolution information in the same manner as described above with respect to FIG. 2 . It is calculated based on a (latency) value, and the usage statistics include at least one of usage time, usage time, streaming location information, content type, and device type information, and the quality statistics include network throughput, It includes at least one of information about a packet loss rate and an average round trip delay (Average DL RTT).

도 6에서 비트레이트 어댑터가 ROI 영역과 스케일링 영역으로 구분된 원본 컨텐츠에 대해 로직 서버에서 계산된 최적 비트레이트에 따라 각 영역에 대해 적용되는 해상도를 결정하는 단계(604)는 도 3, 도 4와 관련해 전술한 바와 같은 방법으로 진행된다.In Fig. 6, the step 604 of the bitrate adapter determining the resolution applied to each region according to the optimal bitrate calculated in the logic server for the original content divided into the ROI region and the scaling region is the same as in Figs. It proceeds in the same way as described above.

도 6에서 인코더가 상기 비트레이트 어댑터에서 결정된 상기 해상도에 따라 인코딩하는 단계(606), 전송부가 인코딩된 컨텐츠를 사용자 단말로 상기 최적 비트레이트로 전송하는 단계(608)는 양안 분리 전송과 관련하여 도 5에서 전술한 바와 같이 진행될 수 있다. 인코더가 인코딩을 진행할 때, 상기 원본 컨텐츠의 좌안영상 및 우안영상 각각으로 인코딩을 진행할 수 있고, 전송부는 인코딩된 컨텐츠의 좌안영상 및 우안영상 각각을 사용자 단말로 상기 최적 비트레이트로 전송할 수 있다.In FIG. 6, the encoder encodes according to the resolution determined by the bitrate adapter (606), and the transmitter transmits the encoded content to the user terminal at the optimal bit rate (608) in relation to binocular separation transmission. 5 may proceed as described above. When the encoder performs encoding, the encoding may be performed into each of the left-eye image and the right-eye image of the original content, and the transmitter may transmit each of the left-eye image and the right-eye image of the encoded content to the user terminal at the optimal bit rate.

도 6에서 사용자 단말로부터 다운링크 대역폭 정보를 피드백 받는 단계(610)는 도 1에서 전술한 바와 같이 진행된다.In FIG. 6 , the step 610 of receiving downlink bandwidth information from the user terminal proceeds as described above in FIG. 1 .

<사용자 단말><User terminal>

도 7은 일실시예에 따른 사용자 단말의 구성과 실시간 가변 비트레이트 시스템 간의 관계를 도시한다.7 illustrates a relationship between a configuration of a user terminal and a real-time variable bitrate system according to an embodiment.

도 7의 사용자 단말(160)은 실시간 가변 비트레이트 전송 시스템(100)의 전송부(150)로부터 전송(760)된 컨텐츠를 수신하는 수신부(710), 전송받은 상기 컨텐츠를 각각 디코딩하는 디코더(730), 및 피드백 정보를 실시간 가변 비트레이트 전송 시스템(100)의 로직 서버(120)로 주기적으로 전송(770)하는 전송부(750)로 구성된다.The user terminal 160 of FIG. 7 includes a receiver 710 that receives the content transmitted 760 from the transmitter 150 of the real-time variable bitrate transmission system 100, and a decoder 730 that decodes the received content, respectively. ), and a transmission unit 750 for periodically transmitting 770 feedback information to the logic server 120 of the real-time variable bit rate transmission system 100 .

상기 컨텐츠는 도 2 내지 도 5와 관련하여 전술한 바와 같이, 가변 비트레이트 전송 시스템(100)의 로직 서버(120)에서 사용통계, 품질통계 및 해상도 정보 중 적어도 어느 하나에 기초한 엔드투엔드(End to End; E2E) 지연(latency) 값을 기초로 최적 비트레이트(bitrate)를 계산하고, 상기 실시간 가변 비트레이트 전송 시스템의 비트레이트 어댑터(130)에서, ROI 영역과 스케일링 영역(Scaling region)로 구분된 원본 컨텐츠에 대해, 상기 로직 서버에서 계산된 상기 최적 비트레이트에 따라 상기 ROI 영역 및 상기 스케일링 영역 각각에 대해 적용되는 해상도를 결정하며, 상기 실시간 가변 비트레이트 전송 시스템의 인코더(140)에서, 상기 비트레이트 어댑터에서 결정된 상기 해상도에 따라 인코딩하고, 상기 실시간 가변 비트레이트 전송 시스템의 전송부(150)에서, 인코딩된 컨텐츠가 사용자 단말(160)로 상기 최적 비트레이트로 전송된(760) 것이다.The content is end-to-end based on at least one of usage statistics, quality statistics, and resolution information in the logic server 120 of the variable bit rate transmission system 100, as described above with reference to FIGS. 2 to 5 . to End; E2E) Calculates an optimal bitrate based on a latency value, and divides it into an ROI region and a scaling region in the bitrate adapter 130 of the real-time variable bitrate transmission system For the original content, a resolution applied to each of the ROI region and the scaling region is determined according to the optimal bitrate calculated by the logic server, and in the encoder 140 of the real-time variable bitrate transmission system, the The encoded content is encoded according to the resolution determined by the bitrate adapter, and the encoded content is transmitted (760) to the user terminal 160 at the optimal bitrate in the transmission unit 150 of the real-time variable bitrate transmission system.

로직 서버(120)가 최적 비트레이트를 계산하고, 비트레이트 어댑터(130)가 ROI 영역과 스케일링 영역으로 구분된 원본 컨텐츠에 대해 로직 서버(120)에서 계산된 최적 비트레이트에 따라 각 영역에 대해 적용되는 해상도를 결정하고, 인코더(140)가 상기 비트레이트 어댑터(130)에서 결정된 상기 해상도에 따라 인코딩하고, 전송부(150)가 인코딩된 컨텐츠를 사용자 단말(160)로 상기 최적 비트레이트로 전송하는 과정은 도 2 내지 도 5와 관련하여 전술한 바와 동일하게 진행된다.The logic server 120 calculates the optimal bitrate, and the bitrate adapter 130 applies it to each region according to the optimal bitrate calculated by the logic server 120 for the original content divided into the ROI region and the scaling region. The resolution is determined, the encoder 140 encodes according to the resolution determined by the bitrate adapter 130, and the transmission unit 150 transmits the encoded content to the user terminal 160 at the optimal bit rate. The process proceeds in the same manner as described above with reference to FIGS. 2 to 5 .

전송부(150)가 인코딩된 컨텐츠를 사용자 단말(160)로 상기 최적 비트레이트로 전송하는 것은 구체적으로 사용자 단말(160) 내의 수신부(710)로 전송(760)하는 것이다.The transmitting unit 150 transmits the encoded content to the user terminal 160 at the optimal bit rate is specifically transmitting (760) to the receiving unit 710 in the user terminal 160 .

디코더(720)는 수신부(710)에서 수신한 좌안영상 및 우안영상을 디코딩하는데, 이 때 도 5와 관련한 양안 분리 기술이 적용(536)될 수 있다. The decoder 720 decodes the left-eye image and the right-eye image received by the receiver 710. At this time, the binocular separation technique related to FIG. 5 may be applied (536).

사용자 단말(160)의 전송부(750)는 다운링크 대역폭 정보를 실시간 가변 비트레이트 전송 시스템(100)의 로직 서버(120)로 주기적으로 피드백(770)한다. 로직 서버(120)는 이를 최적 비트레이트를 계산하는데 이용한다.The transmission unit 750 of the user terminal 160 periodically feedbacks 770 the downlink bandwidth information to the logic server 120 of the real-time variable bit rate transmission system 100 . The logic server 120 uses this to calculate the optimal bitrate.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may comprise a computer program, code, instructions, or a combination of one or more of these, which configures a processing device to operate as desired or is independently or collectively processed You can command the device. The software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or device, to be interpreted by or to provide instructions or data to the processing device. , or may be permanently or temporarily embody in a transmitted signal wave. The software may be distributed over networked computer systems, and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with reference to the limited drawings, those skilled in the art may apply various technical modifications and variations based on the above. For example, the described techniques are performed in a different order than the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims (15)

사용통계, 품질통계 및 해상도 정보 중 적어도 어느 하나를 기초로 최적 비트레이트(bitrate)를 계산하는 로직 서버;
네트워크 대역폭이 임계수준 이하로 감소하는 경우, ROI 영역과 스케일링 영역(Scaling region)으로 구분된 원본 컨텐츠에 대해, 상기 로직 서버에서 계산된 상기 최적 비트레이트에 따라 상기 ROI 영역의 해상도는 유지하고, 상기 스케일링 영역의 해상도를 다운 스케일링(down-scaling)하는 비트레이트 어댑터(bitrate adapter);
상기 비트레이트 어댑터에서 결정된 상기 해상도에 따라 상기 원본 컨텐츠를 좌안영상 및 우안영상으로 각각 인코딩하는 인코더; 및
인코딩된 상기 좌안영상 및 우안영상 각각을 사용자 단말로 상기 최적 비트레이트로 전송하여, 상기 원본 컨텐츠가 상기 좌안영상 및 상기 우안영상으로 병렬 처리되는 전송부
를 포함하는, 실시간 가변 비트레이트 전송 시스템.
a logic server for calculating an optimal bitrate based on at least one of usage statistics, quality statistics, and resolution information;
When the network bandwidth decreases below a threshold level, for the original content divided into an ROI region and a scaling region, the resolution of the ROI region is maintained according to the optimal bit rate calculated by the logic server, and the a bitrate adapter for down-scaling the resolution of the scaling area;
an encoder for encoding the original content into a left-eye image and a right-eye image, respectively, according to the resolution determined by the bitrate adapter; and
A transmission unit that transmits each of the encoded left-eye image and right-eye image to a user terminal at the optimal bit rate, so that the original content is parallelly processed into the left-eye image and the right-eye image
Including, real-time variable bitrate transmission system.
 삭제delete 제1항에 있어서,
상기 로직 서버는 상기 사용 통계, 상기 품질 통계 및 상기 해상도 정보 중 적어도 어느 하나에 기초한 엔드투엔드(End to End; E2E) 지연(latency) 값을 기초로 상기 최적 비트레이트 값을 계산하는,
실시간 가변 비트레이트 전송 시스템.
According to claim 1,
The logic server calculates the optimal bitrate value based on an end-to-end (E2E) latency value based on at least one of the usage statistics, the quality statistics, and the resolution information.
Real-time variable bitrate transmission system.
 제3항에 있어서,
상기 사용 통계는 사용시간, 사용시각, 스트리밍 위치 정보, 컨텐츠 종류 및 디바이스 종류에 대한 정보 중 적어도 어느 하나를 포함하고,
상기 품질 통계는 네트워크 처리량(Network throughput), 패킷 손실률(Packet loss rate) 및 평균 왕복 딜레이(Average DL RTT)에 대한 정보 중 적어도 어느 하나를 포함하는,
실시간 가변 비트레이트 전송 시스템.
4. The method of claim 3,
The usage statistics include at least one of usage time, usage time, streaming location information, content type and device type information,
The quality statistics include at least one of information about network throughput, packet loss rate, and average round-trip delay (Average DL RTT),
Real-time variable bitrate transmission system.
 제1항에 있어서,
상기 로직 서버는, 상기 사용자 단말로부터 다운링크 대역폭 정보를 피드백 받는,
실시간 가변 비트레이트 전송 시스템.
According to claim 1,
The logic server receives a feedback of downlink bandwidth information from the user terminal,
Real-time variable bitrate transmission system.
 제5항에 있어서,
상기 로직 서버는, 상기 다운링크 대역폭 정보를 상기 최적 비트레이트를 계산하는데 이용하는,
실시간 가변 비트레이트 전송 시스템.
6. The method of claim 5,
The logic server uses the downlink bandwidth information to calculate the optimal bitrate,
Real-time variable bitrate transmission system.
 로직 서버에서, 사용통계, 품질통계 및 해상도 정보 중 적어도 어느 하나를 기초로 최적 비트레이트(bitrate)를 계산하는 단계;
비트레이트 어댑터에서, 네트워크 대역폭이 임계수준 이하로 감소하는 경우, ROI 영역과 스케일링 영역(Scaling region)으로 구분된 원본 컨텐츠에 대해, 상기 로직 서버에서 계산된 상기 최적 비트레이트에 따라 상기 ROI 영역의 해상도는 유지하고, 상기 스케일링 영역의 해상도를 다운 스케일링(down- scaling)하는 단계;
인코더에서, 상기 비트레이트 어댑터에서 결정된 상기 해상도에 따라 상기 원본 컨텐츠를 좌안영상 및 우안영상으로 각각 인코딩하는 단계; 및
전송부에서, 인코딩된 상기 좌안영상 및 상기 우안영상 각각을 사용자 단말로 상기 최적 비트레이트로 전송하여, 상기 원본 컨텐츠가 상기 좌안영상 및 상기 우안영상으로 병렬 처리되는 단계
를 포함하는, 실시간 가변 비트레이트 전송 방법.
calculating, in the logic server, an optimal bitrate based on at least one of usage statistics, quality statistics, and resolution information;
In the bitrate adapter, when the network bandwidth decreases below a threshold level, for the original content divided into an ROI region and a scaling region, the resolution of the ROI region according to the optimal bitrate calculated by the logic server maintaining and down-scaling the resolution of the scaling area;
encoding, in an encoder, the original content into a left-eye image and a right-eye image, respectively, according to the resolution determined by the bitrate adapter; and
Transmitting, in a transmission unit, each of the encoded left-eye image and the right-eye image to a user terminal at the optimal bit rate, and parallel processing of the original content into the left-eye image and the right-eye image
Including, real-time variable bitrate transmission method.
 삭제delete 제7항에 있어서,
상기 로직 서버는 상기 사용 통계, 상기 품질 통계 및 상기 해상도 정보 중 적어도 어느 하나에 기초한 엔드투엔드(End to End; E2E) 지연(latency) 값을 기초로 상기 최적 비트레이트 값을 계산하는,
실시간 가변 비트레이트 전송 방법.
8. The method of claim 7,
The logic server calculates the optimal bitrate value based on an end-to-end (E2E) latency value based on at least one of the usage statistics, the quality statistics, and the resolution information.
Real-time variable bitrate transmission method.
 제9항에 있어서,
상기 사용 통계는 사용시간, 사용시각, 스트리밍 위치 정보, 컨텐츠 종류 및 디바이스 종류에 대한 정보 중 적어도 어느 하나를 포함하고,
상기 품질 통계는 네트워크 처리량(Network throughput), 패킷 손실률(Packet loss rate) 및 평균 왕복 딜레이(Average DL RTT)에 대한 정보 중 적어도 어느 하나를 포함하는,
실시간 가변 비트레이트 전송 방법.
10. The method of claim 9,
The usage statistics include at least one of usage time, usage time, streaming location information, content type and device type information,
The quality statistics include at least one of information about network throughput, packet loss rate, and average round-trip delay (Average DL RTT),
Real-time variable bitrate transmission method.
 제7항에 있어서,
상기 로직 서버는, 상기 사용자 단말로부터 다운링크 대역폭 정보를 피드백 받는,
실시간 가변 비트레이트 전송 방법.
8. The method of claim 7,
The logic server receives a feedback of downlink bandwidth information from the user terminal,
Real-time variable bitrate transmission method.
 제11항에 있어서,
상기 로직 서버는, 상기 다운링크 대역폭 정보를 상기 최적 비트레이트를 계산하는데 이용하는,
실시간 가변 비트레이트 전송 방법.
12. The method of claim 11,
The logic server uses the downlink bandwidth information to calculate the optimal bitrate,
Real-time variable bitrate transmission method.
 제7항 및 제9항 내지 제12항 중 어느 한 항의 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.
13. A computer-readable recording medium storing a program for performing the method of any one of claims 7 and 9 to 12.
 사용자 단말에 있어서,
실시간 가변 비트레이트 전송 시스템으로부터 전송된 컨텐츠를 수신하는 수신부;
상기 컨텐츠를 디코딩하는 디코더; 및
피드백 정보를 상기 실시간 가변 비트레이트 전송 시스템으로 전송하는 전송부
를 포함하고,
상기 컨텐츠는,
상기 실시간 가변 비트레이트 전송 시스템의 로직 서버에서, 사용통계, 품질통계 및 해상도 정보 중 적어도 어느 하나를 기초로 최적 비트레이트(bitrate)를 계산하고,
상기 실시간 가변 비트레이트 전송 시스템의 비트레이트 어댑터에서, 네트워크 대역폭이 임계수준 이하로 감소하는 경우, ROI 영역과 스케일링 영역(Scaling region)로 구분된 원본 컨텐츠에 대해, 상기 로직 서버에서 계산된 상기 최적 비트레이트에 따라 상기 ROI 영역의 해상도는 유지하고, 상기 스케일링 영역의 해상도를 다운 스케일링(down-scaling)하며,
상기 실시간 가변 비트레이트 전송 시스템의 인코더에서, 상기 비트레이트 어댑터에서 결정된 상기 해상도에 따라 상기 원본 컨텐츠를 좌안영상 및 우안영상으로 각각 인코딩하고,
상기 실시간 가변 비트레이트 전송 시스템의 전송부에서, 인코딩된 상기 좌안영상 및 상기 우안영상 각각이 사용자 단말로 상기 최적 비트레이트로 전송되어 상기 원본 컨텐츠가 상기 좌안영상 및 상기 우안영상으로 병렬 처리된 것인,
사용자 단말.In the user terminal,
a receiver for receiving content transmitted from a real-time variable bit rate transmission system;
a decoder for decoding the content; and
Transmission unit for transmitting feedback information to the real-time variable bit rate transmission system
including,
The content is
In the logic server of the real-time variable bitrate transmission system, calculating an optimal bitrate based on at least one of usage statistics, quality statistics, and resolution information,
In the bitrate adapter of the real-time variable bitrate transmission system, when the network bandwidth decreases below a threshold level, the optimal bit calculated by the logic server for the original content divided into an ROI region and a scaling region Maintaining the resolution of the ROI region according to the rate, down-scaling the resolution of the scaling region,
In the encoder of the real-time variable bitrate transmission system, the original content is encoded into a left-eye image and a right-eye image according to the resolution determined by the bitrate adapter,
In the transmission unit of the real-time variable bitrate transmission system, each of the encoded left-eye image and the right-eye image is transmitted to a user terminal at the optimal bit rate, and the original content is parallel-processed into the left-eye image and the right-eye image. ,
user terminal. 삭제delete
KR1020200049845A 2020-04-24 2020-04-24 Adaptive bitrate streaming system and method for efficient transmission of contents KR102324990B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200049845A KR102324990B1 (en) 2020-04-24 2020-04-24 Adaptive bitrate streaming system and method for efficient transmission of contents

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200049845A KR102324990B1 (en) 2020-04-24 2020-04-24 Adaptive bitrate streaming system and method for efficient transmission of contents

Publications (2)

Publication Number Publication Date
KR20210131587A KR20210131587A (en) 2021-11-03
KR102324990B1 true KR102324990B1 (en) 2021-11-10

Family

ID=78500136

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200049845A KR102324990B1 (en) 2020-04-24 2020-04-24 Adaptive bitrate streaming system and method for efficient transmission of contents

Country Status (1)

Country Link
KR (1) KR102324990B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101879439B1 (en) * 2017-03-27 2018-07-18 (주)판도라티비 Method for video service using adaptive bitrate

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090125556A (en) * 2008-06-02 2009-12-07 에스케이 텔레콤주식회사 Method, apparatus and system for coding video data
US9049464B2 (en) * 2011-06-07 2015-06-02 Qualcomm Incorporated Multiple description coding with plural combined diversity
KR20130088234A (en) * 2012-01-31 2013-08-08 (주)유라클 Apparatus and method for providing adaptive content

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101879439B1 (en) * 2017-03-27 2018-07-18 (주)판도라티비 Method for video service using adaptive bitrate

Also Published As

Publication number Publication date
KR20210131587A (en) 2021-11-03

Similar Documents

Publication Publication Date Title
US10250659B2 (en) Contextually aware client buffer thresholds
EP3338455B1 (en) System and method for managing segment delivery and bandwidth responsive to encoding complexity metrics
US10263875B2 (en) Real-time processing capability based quality adaptation
USRE48360E1 (en) Method and apparatus for providing trick play service
US9866605B2 (en) Streaming manifest quality control
KR101716071B1 (en) Adaptive streaming techniques
US9344721B2 (en) Best quality given a maximum bit rate
US20170055007A1 (en) System and method for managing segment delivery and bandwidth responsive to encoding complexity metrics
US20120314761A1 (en) Adaptive bitrate management on progressive download with indexed media files
EP2360923A1 (en) Method for selectively requesting adaptive streaming content and a device implementing the method
US20170238040A1 (en) Method, computer program product and server for streaming media content from a server to a client
US9124520B2 (en) Reducing buffer bloat while probing for additional bandwidth in an adaptive bitrate network
EP3022884A1 (en) Quality optimization with buffer and horizon constraints in adaptive streaming
KR102012528B1 (en) Method for dynamic adaptation of the reception bitrate and associated receiver
CN111886875A (en) Congestion response for timely media delivery
US11196795B2 (en) Method and apparatus for predicting video decoding time
KR102324990B1 (en) Adaptive bitrate streaming system and method for efficient transmission of contents
KR20190048186A (en) Multipath-based split transmission system and streaming method for adaptive streaming service
KR101249613B1 (en) Network-adaptive variable stream layered method and apparatus for video streaming

Legal Events

Date Code Title Description
GRNT Written decision to grant