KR20100113365A - 채널 적응형 비디오 전송 방법, 이를 이용한 장치 및 이를 제공하는 시스템 - Google Patents

채널 적응형 비디오 전송 방법, 이를 이용한 장치 및 이를 제공하는 시스템 Download PDF

Info

Publication number
KR20100113365A
KR20100113365A KR1020090031903A KR20090031903A KR20100113365A KR 20100113365 A KR20100113365 A KR 20100113365A KR 1020090031903 A KR1020090031903 A KR 1020090031903A KR 20090031903 A KR20090031903 A KR 20090031903A KR 20100113365 A KR20100113365 A KR 20100113365A
Authority
KR
South Korea
Prior art keywords
bit stream
mobile terminal
network
threshold
rtt
Prior art date
Application number
KR1020090031903A
Other languages
English (en)
Other versions
KR101557504B1 (ko
Inventor
김성기
박태성
고성제
남형민
Original Assignee
삼성전자주식회사
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 고려대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020090031903A priority Critical patent/KR101557504B1/ko
Priority to PCT/KR2010/002244 priority patent/WO2010120078A2/en
Priority to US12/759,255 priority patent/US8700794B2/en
Publication of KR20100113365A publication Critical patent/KR20100113365A/ko
Application granted granted Critical
Publication of KR101557504B1 publication Critical patent/KR101557504B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25833—Management of client data involving client hardware characteristics, e.g. manufacturer, processing or storage capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 비디오 전송 방법에 있어서, 비디오 스트림 서비스를 수행하고자 하는 적어도 하나 이상의 이동 단말로부터 무선 망을 통해 상태 정보를 수신하는 과정과, 비디오 스트림 인코딩 시 서로 다른 비트율로 생성된 다수의 공간 계층(spatial layer) 비트 스트림에서 상기 이동 단말의 상태 정보에 근거하여 특정의 공간 계층 비트 스트림을 선택하여 영상의 사이즈(size)를 결정하는 과정과, 상기 이동단말의 상태 정보에 포함된 네트워크 파라미터에 근거하여 영상의 시간 및 화질 계층 비트 스트림의 계층적 위치를 증감시켜 특정의 시간 및 화질 계층 비트 스트림을 선택하는 과정과, 상기 선택된 계층별 특정의 계층 비트 스트림을 추출하여 생성된 비트 스트림을 상기 이동 단말로 전송하는 과정을 포함함을 특징으로 한다.
Figure P1020090031903
스케일러블 비디오 코딩(SVC Video Coding), 버퍼, RTT

Description

채널 적응형 비디오 전송 방법, 이를 이용한 장치 및 이를 제공하는 시스템{METHOD FOR TRANSMITTING ADAPTED CHANNEL CONDITION, APPARATUS USING THE METHOD, AND PROVIDING SYSTEM}
본 발명은 가변적인 무선 환경에서 네트워크의 상태 및 해당 이동 단말의 상태 정보를 이용하여 사용자에게 고화질 디지털 비디오 스트림에 대한 최적의 끊기지 않는 전송을 제공할 수 있는 SVC 인코딩 방식이 적용되는 채널 적응형 비디오 전송 방법 이를 이용한 장치 및 이를 제공하는 시스템에 관한 것이다.
인터넷을 포함한 정보통신 기술이 발달함에 따라 문자, 음성뿐만 아니라 화상통신이 증가하고 있다. 기존의 문자 위주의 통신 방식으로는 소비자와 다양한 욕구를 충족시키기에는 부족하며, 이에 따라 문자, 영상, 음악 등 다양한 형태의 정보를 수용할 수 있는 멀티미디어 서비스가 증가하고 있다. 멀티미디어 데이터는 그 양이 방대하여 대용량의 저장매체를 필요로 하며 전송 시에 넓은 대역폭을 필요로 한다. 따라서 문자, 영상, 오디오를 포함한 멀티미디어 데이터를 전송하기 위해서 는 압축코딩 기법을 사용하는 것이 필수적이다.
H.264의 확장형 부호화 기술인 SVC(Scalable Video Coding)는, MEPG-2, MPEG-4 등에서 시도한 계층 부호화 기반의 확장성(Scalability)이 갖는 단점인 낮은 압축효율, 복합 확장성 지원 불가 및 높은 구현 복잡도의 문제를 한꺼번에 해결하기 위하여 개발된 새로운 확장형 부호화 기법이다.
상기 SVC 비디오 코딩이란, 이미 압축된 비트 스트림(bit-stream)에 대하여 전송 비트율, 전송 에러율, 시스템 자원 등의 주변 조건에 따라 상기 비트 스트림의 일부를 잘라내어 비디오의 해상도, 프레임율 및 SNR(Signal-to-Noise Ratio) 등을 조절할 수 있게 해주는 부호화 방식 즉, 다양한 스케일러빌리티(scalability)를 지원하는 부호화 방식을 의미한다.
상기 SVC는 여러 개의 비디오 계층을 하나의 비트열로 부호화한다. SVC의 계층은 하나의 기본 계층(base layer)과 기본 계층 위에 연속적으로 쌓을 수 있는 확장 계층(Scalable layer)으로 이루어진다. 이때, 각 확장계층은 하위계층 정보를 기반으로 각각에게 주어진 최대의 비트율(scalable layer)으로 이루어진다. 이때, 각 확장계층은 하위 계층 정보를 기반으로 각각에게 주어진 최대의 비트율(bit-rate)과 화면율(frame rate), 그리고 해상도(resolution)를 표현할 수 있다.
상기 SVC에서는 확장계층을 연속적으로 많이 쌓을수록 다양한 비트율, 화면율 및 해상도의 지원이 가능하므로, 이종(heterogeneous) 망 환경에서 발생하는 대역폭의 다양성 문제, 수신 단말기의 성능과 해상도의 다양성 문제, 및 콘텐츠 소비자의 다양한 선호도 문제 등을 복합적으로 해결 가능하다.
도 1은 종래 비디오 전송 서비스를 제공하는 전체 시스템의 개략적인 구성도 이다. 도 1을 참조하면, 무선 망(110)과, 상기 무선 망에 연결되어 데이터 서비스를 수행하는 서버(112)와, 상기 무선 망을 통해 서버(112)와 교신 가능한 다수의 이동 단말(114, 116, 118)을 포함한다.
도 1에 도시된 바와 같이, 무선 망(110)을 통해 한번 네트워크에 연결된 해당 서비스 상기 해당 비트 스트림만을 서비스할 수 있다.
본 발명의 목적은 다양한 확장성을 지닌 계층적 비디오 전송에서 사용자에게 무선 망과의 연결 상태 및 해당 이동 단말의 성능을 능동적으로 반영하여 최적의 비트 스트림을 추출할 수 있도록 최상의 비디오 전송 서비스를 제공하기 위함이다.
상기한 목적을 달성하기 위해서 본 발명의 일 견지에 따르면, 비디오 전송 방법에 있어서, 비디오 스트림 서비스를 수행하고자 하는 적어도 하나 이상의 이동 단말로부터 무선 망을 통해 상태 정보를 수신하는 과정과, 비디오 스트림 인코딩 시 서로 다른 비트율로 생성된 다수의 공간 계층(spatial layer) 비트 스트림에서 상기 이동 단말의 상태 정보에 근거하여 특정의 공간 계층 비트 스트림을 선택하여 영상의 사이즈(size)를 결정하는 과정과, 상기 이동 단말의 상태 정보에 포함된 네트워크 파라미터에 근거하여 영상의 시간 및 화질 계층 비트 스트림의 계층적 위치를 증감시켜 특정의 시간 및 화질 계층 비트 스트림을 선택하는 과정과, 상기 선택된 계층별 특정의 계층 비트 스트림을 추출하여 생성된 비트 스트림을 상기 이동 단말로 전송하는 과정을 포함함을 특징으로 한다.
상기한 목적을 달성하기 위해서 본 발명의 다른 견지에 따르면, 비디오 전송 장치에 있어서, 고화질 디지털 비디오 스트림을 인코딩하는 인코더와, 무선 망을 통해 각 이동 단말의 상태 정보를 수신하는 무선 모듈과, 상기 인코더로부터 출력된 비디오 스트림의 공간 계층 비트 스트림에서 상기 무선 모듈로부터 출력된 이동 단말의 상태 정보에 근거하여 특정의 공간 계층 비트 스트림을 선택하여 영상의 사이즈를 결정하는 영상 크기 결정부와, 상기 영상의 사이즈가 결정된 비디오 스트림을 이동 단말의 상태 정보에 포함된 네트워크 파라미터에 근거하여 영상의 시간 및 화질 계층 비트 스트림의 계층적 위치를 증감시켜 특정의 시간 및 화질 계층 비트 스트림을 선택하고, 상기 선택된 계층별 특정의 계층 비트 스트림을 추출하여 생성된 비트 스트림을 이동 단말로 전송하도록 제어하는 제어부를 포함함을 특징으로 한다.
상기한 목적을 달성하기 위해서 본 발명의 또 다른 견지에 따르면, 비디오 전송 서비스를 제공하는 시스템에 있어서, 무선 망을 통해 다수의 이동 단말로부터 수신된 상태 정보를 이용하여 네트워크 상황 및 각 이동 단말의 성능을 인지한 후, 미리 설정된 임계치와 비교하여 각 계층별 비트 스트림의 계층적 위치를 증감시켜 특정의 계층 비트 스트림을 선택 및 이를 추출하여 상기 이동 단말로 전송하는 서버와, 무선 망을 통해 상기 서버로 자신의 상태 정보를 송신하는 이동 단말을 포함함을 특징으로 한다.
이하 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
먼저, 본 발명의 완전한 이해를 돕기 위해, 본 발명의 기본 원리를 설명하면, 본 발명에서는 네트워크 상에서 스트림을 기반으로 입력된 비디오 영상 서비스 신호를 SVC 비트 스트림으로 인코딩하고, 상기 인코딩된 비트 스트림을 네트워크 상황이나 이동 단말의 환경에 따라 비트 스트림에 포함된 여러 계층의 영상들 중에서 특정 계층의 영상을 추출하여 상기 추출된 특정 계층으로 이루어진 비트 스트림을 전송하는 것이다.
여기서, 상기 SVC 비트 스트림은 시간 영역 확장성(Temporal scalability), 공간 영역 확장성(spatial scalability), 화질 확장성(SNR scalability)에 따른 다양한 비트율을 갖는 계층적인 영상들을 포함하는 하나의 비트 스트림을 의미한다.
또한, 본 발명의 실시 예에서, 무선망은 셀룰러 이동통신 시스템과, IEEE 802.16 기반의 무선 LAN의 장단점을 보완한 무선 광대역 인터넷(WiBro; Wireless Broadband Internet)망이고, 단말기는 복수의 기지국(BS, Base Station)을 구비한 상기 무선 광대역 인터넷 망에 접속하여 IEEE 802.16에 따라 동작하는 이동 단말기(MS, Mobile Station)이다.
본 발명의 실시 예에서의 네트워크는 무선 망 혹은 상기 무선 망에 포함된 기지국일 수 있고, 이동 단말의 성능(예컨대, 디스플레이 화면의 크기 등)에 따라 전송하고자 하는 비디오 스트림의 영상의 크기는 미리 설정되어 있음을 전제로 함 을 밝혀 두는 바이다.
또한 본 발명을 설명하는데 있어서 설명의 편의를 위해 각 계층별 3개의 계층으로 구분하였으나, 이에 한정되지 않음을 이 발명 통상의 지식을 가진 자에게 자명할 것임을 밝혀 두는 바이다.
이하, 후술 되는 설명에서 이동 단말은 이동성을 보장하는 셀룰러 전화기, 개인휴대통신(PDA) 등과 같은 이동성을 보장하는 모든 휴대 단말을 포함하는 의미이며, 이하의 설명에서는 상기 예들의 일반적인 구성을 가진다는 전제 하에 설명할 것이다.
도 2는 본 발명의 일 실시 예에 따른 채널 적응형 비디오 전송 서비스를 제공하는 전체 시스템의 개략적인 구성도이다.
본 발명이 적용된 시스템은, 무선 망(215)과, 상기 무선 망에 연결되어 데이터 서비스를 수행하는 서버(200)와, 상기 무선 망을 통해 서버(200)와 교신 가능한 다수의 이동단말(예컨대, PC, 노트북, 휴대전화 등)을 포함하는 이동 단말 노드(210)를 포함한다.
상기 서버(200)는, 고화질 디지털 비디오 스트림을 인코딩하는 SVC 인코더(202)와, 상기 이동 단말로부터 수신한 각 이동 단말의 상태 정보에 포함된 파라미터 값, 예컨대 버퍼 상태, RTT(Round Trip Time) 와 같은 값을 미리 설정된 값과 비교하는 비교부(204) 및 상기 비교부(204)를 통해 획득한 비교 결과를 근거로 비디오 영상의 계층별 특정 계층 비트 스트림을 추출하여 이로부터 생성된 비트 스트 림을 무선망(215)을 통해 이동 단말 노드(210)로 전송하는 제어부(204)를 포함한다.
여기서, 상기 특정 계층 비트 스트림은 각 계층별 선택된 비트 스트림을 의미하고, 하나의 비디오 비트 스트림은 세 개의 계층 즉, 시간(Temporal) 영역, 공간(Spatial) 영역 및 화질(SNR) 영역으로 이루어진다.
도 2에 도시된 바와 같이, SVC 인코더(202)는, 서로 다른 비트율로 생성된 각 계층별 즉, 시간, 공간 및 화질별 다수의 계층이 인코딩되어 있으며, 상기 제어부(204)는 SVC 인코더(202)에서 각 이동 단말의 상태 정보에 적합한 최적의 계층별 비트 스트림을 추출하여 상기 추출된 비트 스트림으로 이루어진 최적의 비디오 비트 스트림을 무선 망을 통해 해당 이동 단말로 전송한다.
이때, 상기 시간 영역은 1초 동안 보여줄 수 있는 화면의 수 즉, 초당 프레임 수(FPS)를 의미하며 예를 들어 , 15 FPS, 30 FPS, 60 FPS 등으로 표현된다.
상기 공간 영역은 비디오 영상이 화면에 디스플레이될 때, 디스플레이되는 화면의 크기에 관여하는 것으로, 즉 해상도(resolution)를 말한다. 여기서, 해상도란 디스플레이 화면 내에 포함되어 있는 픽셀의 숫자(예컨대, 480*320)를 의미한다. 일반적으로 비디오 영상을 수신하는 소정의 이동 단말에 구비된 화면의 크기에 따라 적응적인 서비스가 필요하다. 예를 들어, 하나의 비디오 영상을 노트북과 소형의 이동 단말에 전송할 경우, 상기 노트북과 이동 단말의 디스플레이 화면의 크기는 각각 상이하므로, 동일한 계층의 공간 영역이 포함된 비디오 비트 스트림을 전송할 경우 적어도 어느 하나의 단말에서는 디스플레이 화면과 부합되지 않는 비 디오 비트 스트림으로 인해 최적의 비디오 품질을 보장받을 수 없게 된다.
상기 화질(SNR) 영역은, 영상의 선명도를 의미한다.상술한 바와 같이, 상기 서버(200)는, SVC 비디오 인코딩 시, 무선 망을 통해 다수의 이동 단말 노드(210)로부터 수신된 상태 정보에 포함된 네트워크 파라미터 값을 이용하여 각 이동 단말이 위치한 네트워크 상황을 파악하고, 또한 상기 상태 정보에 포함된 각 이동 단말의 스펙을 인지하여 미리 설정된 임계치와 비교하는 과정을 통해 각 이동 단말에 적합한 최적의 비디오 스트림의 전송을 수행한다.
이로 인해, 상기 서버(200)는 네트워크 및 상기 네트워크에 연결된 이동 단말의 상태 정보를 이용하여 비디오 스트림 전송 서비스 시 각 계층별 최상의 스케일러비리티 단위로 전송하므로, 사용자 단말의 환경 및 네트워크 환경에 따른 최적의 비트 스트림을 추출할 수 있을 뿐만 아니라, 한정적인 네트워크 자원을 효율적으로 사용할 수 있는 효과가 발생한다.
그리고, 상기 각 이동 단말 노드(210)는, 최적의 비디오 전송 서비스를 수신하기 위해 무선 망을 통해 자신의 네트워크 상태 정보 예컨대 현재 교신 중인 네트워크의 망 상황의 파라 미터를 의미하는 자신의 버퍼 상태와, 네트워크를 통해 소정 패킷의 왕복 시간을 의미하는 RTT(Round Trip Time) 값을 상기 서버(200)로 피드백(feedback) 한다.
이동 단말 노드는, 최적의 비디오 전송 서비스를 수신하기 위해 무선 망을 통해 자신의 네트워크 상태 정보 예컨대 현재 교신 중인 네트워크의 망 상황의 파라 미터를 의미하는 자신의 버퍼 상태와, 네트워크를 통해 소정 패킷의 왕복 시간 을 의미하는 값을 상기 서버로 피드백한다.
또한, 상기 각 이동 단말 노드(210)는, 자신의 성능을 나타내는 스펙(spec) 정보 즉, CPU, 메모리, 디스플레이 화면의 크기 및 해상도(resolution) 등의 정보를 상기 서버(200)로 피드백한다.
이하, 전술한 본 발명의 채널 적응형 비디오 전송 서비스를 제공하는 시스템에서의 서버의 동작을 통해 본 발명의 바람직한 실시 예에 따른 채널 적응형 비디오 전송 방법을 설명하기로 한다.
도 3a, 3b는 본 발명의 일 실시 예에 따른 채널 적응형 비디오 전송 서비스를 수행하는 비디오 전송 시스템에서 서버의 동작을 보인 구성도이다.
먼저, 서버의 초기화 310 과정을 거쳐, 312 과정에서 비디오 스트림 서비스를 수행하고자 하는 다수의 이동 단말로부터 무선 망을 통해 상태 정보를 수신한다.
여기서, 상기 상태 정보는 각 이동 단말 고유의 성능을 의미하며, 예컨대 CPU, 메모리, 디스플레이 화면의 크기 및 해상도 등을 포함하는 정보이다.
무선 망을 통해 이동 단말의 상태 정보를 수신한 후, 314 과정에서는 수신된 이동 단말의 상태 정보를 이용하여 비디오 스트림 서비스를 수행하고자 하는 이동 단말이 현재 위치한 네트워크의 파라미터를 측정한다.
상기 상태 정보는, 각 이동 단말의 네트워크 상태 정보 또한 포함하고 있으며, 이는 이동 단말의 버퍼(buffer) 상태와, 네트워크를 통한 패킷의 왕복 시간을 나타내는 RTT(Round Trip Time) 파라미터이다. 상기 버퍼 상태 및 RTT 값을 통해 현재 자신이 위치한 네트워크의 상황 즉, 상기 네트워크의 트래픽 포화도(traffic congestion)를 파악할 수 있다.
그리고, 316 과정에서는 이동 단말로부터 수신된 상태 정보에서 획득 가능한 디스플레이 화면의 크기를 이용하여 전송하고자 하는 비디오 비트 스트림에서 공간 영역에 해당하는 특정의 공간 계층 비트 스트림을 선택하여 영상의 사이즈를 결정한다.
이때, 상기 영상의 사이즈를 결정하는 과정은 이동 단말별 고유의 성능(예컨대, 디스플레이 화면의 크기 등)에 따라 미리 설정되어 있다.
316 과정에서 소정 이동 단말에 전송할 비디오 비트 스트림에서 영상의 사이즈가 결정되면, 다음으로 이동 단말의 네트워크 상태 정보에서 버퍼의 상태를 체크한다(318 과정).
상기 이동 단말로부터 수신된 현재 해당 이동 단말의 버퍼 상태(B)와 미리 설정되어 있는 임계치(BT)를 비교하여, 버퍼 상태가 임계치보다 작을 경우(B < BT ), A로 이동하고, 버퍼 상태가 임계치보다 클 경우 B로 이동한다(B < BT ).
320 과정에서는, A로 이동한 버퍼 상태가 임계치보다 작은 경우의 상태에서, 네트워크를 통한 패킷의 왕복 시간을 나타내는 RTT 파라미터 값(RTT)을 미리 설정되어 있는 임계치(RTTT)와 비교한다.
상기 비교 결과, RTT 값이 임계치보다 클 경우(RTT > RTTT), 이전 316 과정에서 공간 영역에 해당하는 특정의 공간 계층 비트 스트림을 선택하여 영상의 사이 즈가 이미 확정된 현재의 비디오 비트 스트림에서, 시간 계층에 대해서는 현재의 비트 스트림을 유지한다(322 과정)
이는, 상기 318 과정에 버퍼 상태 비교 결과, 상기 버퍼 상태가 임계치보다 작았기 때문에(B < BT ) 네트워크의 상황이 원활하지 못함을 인지함으로써 또한, 320 과정에서 RTT 값이 임계치보다 클 경우(RTT > RTTT), 전송 딜레이에 대한 상황은 원활함을 인지함으로써 현재 비디오 스트림의 시간 영역 즉, 초당 프레임의 수를 증가 혹은 감소시킬 필요가 없기 때문이다.
324 과정에서 현재 비트 스트림의 화질 계층 비트 스트림의 계층적 위치를 체크한 후, 상기 체크 결과 상기 화질 계층 비트 스트림의 계층적 위치를 더 이상 감소시킬 수 없는 최하위 계층일 경우, 326 과정으로 이동하여, 상기 322 과정에서 유지한 시간 계층 비트 스트림의 계층적 위치를 하위 계층으로 감소시킨다.
또한, 상기 체크 결과 상기 화질 계층 비트 스트림의 계층적 위치가 최하위 계층이 아닐 경우, 328 과정으로 이동하여 현재 화질 계층 비트 스트림의 계층적 위치를 하위 계층으로 감소시킨다.
한편, 상기 320 과정에서 RTT 값 비교 결과, 상기 RTT 값이 임계치보다 작을 경우(RTT < RTTT), 이전 316 과정에서 공간 영역에 해당하는 특정의 공간 계층 비트 스트림을 선택하여 영상의 사이즈가 이미 확정된 현재의 비디오 비트 스트림에서, 현재의 시간 계층의 비트 레이트를 계산하여 프레임 수를 증가시킨다(332 과정).
예를 들어, 현재의 시간 계층의 비트 레이트가 60 FPS 일 경우, 상기 30 FPS 의 비트 레이트를 60 FPS로 변경하여 1초당 화면에 보여지는 프레임의 수를 증가시킨다.
이는, 미리 설정되어 있는 버퍼 상태보다 현재의 버퍼 상태가 작아 네트워크 상황이 원활하지 않을 때((B < BT ), 미리 설정되어 있는 RTTT 값보다 현재의 RTT가 작아 네트워크를 통한 전송 딜레이 또한 원활하지 않기(RTT < RTTT) 때문에 초당 프레임의 수를 증가시켜 이동 단말에 보여지는 영상을 선명하게 함으로써 원활하지 못한 네트워크 상황에 대비하여 끊김 없는 비디오 전송 서비스를 수행하기 위함이다.
상기 332 과정을 수행한 후에, 현재 비트 스트림의 화질 계층 비트 스트림의 계층적 위치를 체크한 후, 상기 체크 결과 상기 화질 계층 비트 스트림의 계층적 위치를 더 이상 감소시킬 수 없는 최하위 계층일 경우, 336 과정으로 이동하여, 상기 332 과정에서 증가시킨 프레임의 수 즉, 시간 계층 비트 스트림의 계층적 위치를 하위 계층으로 감소시킨다.
이는, 상기 318 과정에 버퍼 상태 비교 결과, 상기 버퍼 상태가 임계치보다 작았기 때문에(B < BT ) 네트워크의 상황이 원활하지 못함을 인지함으로써 또한, 320 과정에서 RTT 값이 임계치보다 작을 경우(RTT < RTTT), 전송 딜레이에 대한 상황 또한 원활하지 못함을 인지함으로써 현재 비디오 스트림의 시간 영역 즉, 초당 프레임의 수를 감소시킬 필요가 있기 때문이다.
그리고, 상기 체크 결과 상기 화질 계층 비트 스트림의 계층적 위치가 최하위 계층이 아닐 경우, 338 과정으로 이동하여 미리 설정되어 있는 비트 레이트까지 현재 화질 계층 비트 스트림의 계층적 위치를 하위 계층으로 감소시킨다.
한편, 상기 이동 단말로부터 현재 해당 이동 단말의 버퍼 상태와 미리 설정되어 있는 임계치를 비교하여, 버퍼 상태가 임계치보다 클 경우(B > BT )에서, 340 과정의 수행을 통해 네트워크를 통한 패킷의 왕복 시간을 나타내는 RTT 파라미터 값(RTT)을 미리 설정되어 있는 임계치(RTTT)와 비교한다.
상기 비교 결과, RTT 값이 임계치보다 클 경우(RTT > RTTT), 이전 316 과정에서 공간 영역에 해당하는 특정의 공간 계층 비트 스트림을 선택하여 영상의 사이즈가 이미 확정된 현재의 비디오 비트 스트림에서, 시간 계층 및 화질 계층에 대해서 현재의 비트 스트림을 유지한다(342 과정).
이는, 미리 설정되어 있는 버퍼 상태보다 현재의 버퍼 상태가 커서 네트워크 상황이 원활하고(B > BT ), 미리 설정되어 있는 RTTT 값보다 현재의 RTT가 커서 네트워크를 통한 전송 딜레이 또한 원활하기(RTT > RTTT) 때문에 각 계층별 비트 스트림에 대해서 현재의 비트 스트림을 유지하는 것이다.
그리고, 상기 비교 결과, RTT 값이 임계치보다 작을 경우(RTT < RTTT), 이전 316 과정에서 공간 영역에 해당하는 특정의 공간 계층 비트 스트림을 선택하여 영상의 사이즈가 이미 확정된 현재의 비디오 비트 스트림에서, 화질(SNR) 계층에 대해서 현재의 화질 계층 비트 스트림의 계층적 위치를 상위 계층으로 증가시킨다.
이는, 미리 설정되어 있는 버퍼 상태보다 현재의 버퍼 상태가 커서 네트워크 상황이 원활하고(B > BT ), 미리 설정되어 있는 RTTT 값보다 현재의 RTT가 작아서 네트워크를 통한 전송 딜레이가 원활하지 못하기 때문에(RTT < RTTT), 현재 비트 스트림에서 화질 계층 비트 스트림의 계층적 위치를 상위 계층으로 증가시키는 것이다.
상기와 같은 과정을 통해, 비디오 스트림 서비스를 수행하고자 하는 이동단말이 위치한 네트워크의 상황에 근거하여 비디오 스트림의 각 계층별 계층적 위치를 조절하여 최적의 계층적 위치를 선택하고, 각 계층에서 선택된 계층적 위치에 해당하는 비트 스트림을 추출한다(346 과정).
346 과정에서 추출된 각 계층별 비트 스트림을 하나의 비트 스트림으로 생성하여 이를 이동 단말에 전송한다(348 과정).
도 4는 본 발명의 일 실시 예에 따른 채널 적응형 비디오 전송 장치에 관한 블록 구성도이다.
상기 도 4를 참조하면, 본 발명의 채널 적응형 비디오 전송 장치(40)는, 무선 모듈(410), 영상 크기 결정부(412), SVC 인코더(414) 및 제어부(416) 등을 포함한다.
상기 SVC 인코더(414)는, 고화질 디지털 비디오 스트림을 인코딩한다.
더욱 상세하게는, SVC 인코더(414)는 소정의 비디오 스트림 예를 들어, 서비스하고자 하는 전송 서비스가 영화일 경우, 상기 영화의 영상에 대해 서로 다른 비트율로 생성된 각 계층별 즉, 시간, 공간 및 화질별 다수의 계층이 인코딩되어 있다. 예를 들어, 시간 영역에서는 초당 프레임의 수를 기준으로 60 FPS 계층, 30 FPS 계층, 15 FPS 계층이다.
그리고, 공간 영역에서는 영상의 크기를 기준으로 계층별 우선순위로 배열 즉, 최상위의 영상의 크기에 해당하는 공간 계층, 중간 영상의 크기에 해당하는 공간 계층, 최하위의 영상의 크기에 해당하는 공간 계층으로 존재한다.
또한, 화질 영역에서는 영상의 선명도를 기준으로 계층별 우선순위로 배열 즉, 최상위의 선명도에 해당하는 화질 계층, 중간 선명도에 해당하는 화질 계층, 최하위의 선명도에 해당하는 화질 계층으로 존재한다.
상기 무선 모듈(410)은, 외부의 무선 망과 연결되어 상기 무선 망을 통해 다수의 이동 단말로부터 상태 정보를 수신한다.
상기 상태 정보는 각 이동 단말 고유의 성능을 의미하며, 예컨대 CPU, 메모리, 디스플레이 화면의 크기 및 해상도 등을 포함하고, 각 이동 단말이 위치한 네트워크의 파라미터 값을 포함한다.
그리고, 상기 영상 크기 결정부(412)는, 상기 SVC 인코더(414)로부터 출력된 비디오 스트림의 공간 계층 비트 스트림에서 무선 모듈(410)로부터 출력된 이동단말의 상태 정보에 근거하여 특정의 공간 계층 비트 스트림을 선택하여 영상의 사이즈를 결정한다.
상기 비디오 스트림의 공간 계층 비트 스트림은 소정의 비디오 영상이 화면에 디스플레이될 때, 디스플레이되는 화면의 크기에 관여하는 것이며, 이는 비디오 영상을 수신하는 소정의 이동 단말에 구비된 화면의 크기에 따라 적응적인 서비스를 필요로 한다. 예를 들어, 하나의 비디오 영상을 노트북과 소형의 이동 단말에 전송할 경우, 상기 노트북과 이동 단말의 디스플레이 화면의 크기는 각각 상이하므 로, 동일한 계층의 공간 영역이 포함된 비디오 스트림을 전송할 경우 적어도 어느 하나의 단말에서는 디스플레이 화면과 부합되지 않는 비디오 비트 스트림으로 인해 최적의 비디오 품질을 보장받을 수 없기 때문이다.
그리고, 상기 제어부(416)는, 영상 크기 결정부(412)에서 영상의 사이즈가 결정된 비디오 스트림을 이동단말의 상태 정보에 포함된 네트워크 파라미터에 근거하여 영상의 시간 및 화질 계층 비트 스트림의 계층적 위치를 증가 혹은 감소시켜 특정의 시간 및 화질 계층 비트 스트림을 선택하고, 상기 선택된 계층별 특정의 계층 비트 스트림을 추출하여 생성된 비트 스트림을 이동 단말로 전송하도록 제어한다.
이하, 도 4b를 이용하여 상기 제어부(416)의 동작을 상세히 설명하도록 한다.
도 4b에 도시된 제어부의 상세 블록도를 참조하면, 상기 제어부(416)는, 제 1비교부(418), 제 2비교부(420), 제 3비교부(422) 및 SVC 추출부(424)를 포함한다.
상기 제 1비교부(418)는, 이동 단말의 네트워크 파라미터에 포함된 버퍼 상태와 미리 설정된 버퍼 상태 임계치를 비교하여, 상기 미리 설정된 임계치가 클 경우 상기 제 2비교부(420)로 출력하고, 작을 경우 상기 제 3비교부(422)로 출력한다.
그리고, 상기 제2비교부(420)는, 상기 이동 단말의 네트워크 파라미터에 포함된 RTT 값과 미리 설정된 임계치를 비교하여 RTT 값이 클 경우, 화질 계층 비트 스트림의 계층적 위치를 판별하여 상기 위치에 따라 시간 계층 비트 스트림의 계층 적 위치의 감소 여부를 결정하여 출력하고, RTT 값이 작을 경우, 현재의 비트 레이트를 계산하여 프레임의 수를 증가하고, 화질 계층 비트 스트림의 계층적 위치를 판별하여 상기 위치에 따라 시간 계층 비트 스트림의 계층적 위치의 감소 여부를 결정하여 출력한다.
더욱 상세하게는, 제 2비교부(420)에서는 버퍼 상태가 임계치보다 작은 경우의 상태에서, 네트워크를 통한 패킷의 왕복 시간을 나타내는 RTT 파라미터 값(RTT)을 미리 설정되어 있는 임계치(RTTT)와 비교한다.
이는, 상기 제 1비교부(418)에서 버퍼 상태 비교 결과, 상기 버퍼 상태가 임계치보다 작았기 때문에(B < BT ) 네트워크의 상황이 원활하지 못함을 인지함으로써 또한, RTT 값이 임계치보다 클 경우(RTT > RTTT), 전송 딜레이에 대한 상황은 원활함을 인지함으로써 현재 비디오 스트림의 시간 영역 즉, 초당 프레임의 수를 증가 혹은 감소시킬 필요가 없기 때문이다.
그런데, 상기 제 2비교부(420)에서, 현재 비트 스트림의 화질 계층 비트 스트림의 계층적 위치를 체크한 후, 상기 체크 결과 상기 화질 계층 비트 스트림의 계층적 위치를 더 이상 감소시킬 수 없는 최하위 계층일 경우, 시간 계층 비트 스트림의 계층적 위치를 하위 계층으로 감소시킨다.
또한, 상기 체크 결과 상기 화질 계층 비트 스트림의 계층적 위치가 최하위 계층이 아닐 경우, 현재 화질 계층 비트 스트림의 계층적 위치를 하위 계층으로 감소시킨다.
그리고, 제 2비교부(420)는, 상기 RTT 값이 임계치보다 작을 경우 (RTT < RTTT), 이전 공간 영역에 해당하는 특정의 공간 계층 비트 스트림을 선택하여 영상의 사이즈가 이미 확정된 현재의 비디오 비트 스트림에서, 현재의 시간 계층의 비트 레이트를 계산하여 프레임 수를 증가시킨다. 예를 들어, 현재의 시간 계층의 비트 레이트가 60 FPS 일 경우, 상기 30 FPS의 비트 레이트를 60 FPS로 변경하여 1초당 화면에 보여지는 프레임의 수를 증가시킨다.
이는, 미리 설정되어 있는 버퍼 상태보다 현재의 버퍼 상태가 작아 네트워크 상황이 원활하지 않을 때((B < BT ), 미리 설정되어 있는 RTTT 값보다 현재의 RTT가 작아 네트워크를 통한 전송 딜레이 또한 원활하지 않기(RTT < RTTT) 때문에 초당 프레임의 수를 증가시켜 이동 단말에 보여지는 영상을 선명하게 함으로써 원활하지 못한 네트워크 상황에 대비하여 끊김 없는 비디오 전송 서비스를 수행하기 위함이다.
이어서, 현재 비트 스트림의 화질 계층 비트 스트림의 계층적 위치를 체크한 후, 상기 체크 결과 상기 화질 계층 비트 스트림의 계층적 위치를 더 이상 감소시킬 수 없는 최하위 계층일 경우, 시간 계층 비트 스트림의 계층적 위치를 하위 계층으로 감소시킨다.
이는, 제 1비교부(418)에서 버퍼 상태 비교 결과, 상기 버퍼 상태가 임계치 보다 작았기 때문에(B < BT ) 네트워크의 상황이 원활하지 못함을 인지함으로써 또한, RTT 값이 임계치보다 작을 경우(RTT < RTTT), 전송 딜레이에 대한 상황 또한 원활하지 못함을 인지함으로써 현재 비디오 스트림의 시간 영역 즉, 초당 프레임의 수를 감소시킬 필요가 있기 때문이다.
그리고, 상기 체크 결과 상기 화질 계층 비트 스트림의 계층적 위치가 최하위 계층이 아닐 경우, 미리 설정되어 있는 비트 레이트까지 현재 화질 계층 비트 스트림의 계층적 위치를 하위 계층으로 감소시킨다.
상기 제 3비교부(422)는, 이동 단말의 네트워크 파라미터에 포함된 RTT 값이 미리 설정된 임계치와 비교하여 보다 RTT 값이 클 경우, 현재의 비트 스트림을 유지하고, 작을 경우 화질 계층 비트 스트림이 계층적 위치를 증가하여 출력한다.
더욱 상세하게는, 상기 제3비교부(422)는 이동 단말로부터 현재 해당 이동 단말의 버퍼 상태와 미리 설정되어 있는 임계치를 비교하여, 버퍼 상태가 임계치보다 클 경우(B > BT )에서, RTT 파라미터 값(RTT)을 미리 설정되어 있는 임계치(RTTT)와 비교하고, 비교 결과, RTT 값이 임계치보다 클 경우(RTT > RTTT), 이전 316 과정에서 공간 영역에 해당하는 특정의 공간 계층 비트 스트림을 선택하여 영상의 사이즈가 이미 확정된 현재의 비디오 비트 스트림에서, 시간 계층 및 화질 계층에 대해서 현재의 비트 스트림을 유지한다.
그리고, 상기 비교 결과, RTT 값이 임계치보다 작을 경우(RTT < RTTT), 이전 공간 영역에 해당하는 특정의 공간 계층 비트 스트림을 선택하여 영상의 사이즈가 이미 확정된 현재의 비디오 비트 스트림에서, 화질(SNR) 계층에 대해서 현재의 화질 계층 비트 스트림의 계층적 위치를 상위 계층으로 증가시킨다.
이후, 상기 SVC 추출부(424)는, 제2 비교부(420) 및 제3 비교부(422)에서 출력된 특정의 계층 비트 스트림을 추출하여 하나의 비트 스트림으로 생성한다.
한편, 본 발명의 다른 실시 예에서는, 다양한 형태의 컨텐츠를 포함하는 컨 텐츠 제공자(Contents Provider : CP)가 네트워크의 상황에 따라 상기 컨텐츠를 이동 단말 노드로 제공하는 시스템을 예시한다.
도 5는 본 발명의 다른 실시 예에 따른 채널 적응형 비디오 전송 서비스를 제공하는 전체 시스템을 예시한다. 도 5를 참조하면, 본 발명의 다른 실시 예에 따른 컨텐츠 제공자(50)는 소정의 파일을 다양한 형태로 구분하여 제공한다. 이 경우 다양한 형태의 파일에는 하이 퀄러티(high quality), 로우 퀄러티(low quality), 스몰 사이즈(small size) 및 시간 계층의 파일(503)을 포함한다. 즉, 각각의 컨텐츠(파일)에는 사이즈 정보와 프레임레이트 정보 및 해상도 정보로 구분되어 저장된다.
상기 컨텐츠 제공자(50)제공하고자 하는 각각의 파일은 무선망(510)을 통해 다수의 각 이동 단말 노드(514, 516 및 518)로 전송된다.
이 경우, 상기 컨텐츠 제공자(50)는 전송에 앞서 이동 단말 노드의 상태 정보를 수신하고, 수신된 각 이동 단말의 상태 정보에 적합한 최적의 형태의 파일에 따른 비트 스트림을 추출하여 무선 망을 통해 해당 이동 단말로 전송한다.
이때, 상기 시간 영역은 1초 동안 보여줄 수 있는 화면의 수 즉, 초당 프레임 수(FPS)를 의미하며 예를 들어 , 15 FPS, 30 FPS, 60 FPS 등으로 표현된다.
상기 공간 영역은 비디오 영상이 화면에 디스플레이될 때, 디스플레이되는 화면의 크기에 관여하는 것으로, 즉 해상도(resolution)를 말한다. 여기서, 해상도란 디스플레이 화면 내에 포함되어 있는 픽셀의 숫자(예컨대, 480*320)를 의미한다. 일반적으로 비디오 영상을 수신하는 소정의 이동 단말에 구비된 화면의 크기에 따라 적응적인 서비스가 필요하다. 예를 들어, 하나의 비디오 영상을 노트북과 소형의 이동단말에 전송할 경우, 상기 노트북과 이동 단말의 디스플레이 화면의 크기는 각각 상이하므로, 동일한 계층의 공간 영역이 포함된 비디오 비트 스트림을 전송할 경우 적어도 어느 하나의 단말에서는 디스플레이 화면과 부합되지 않는 비디오 비트 스트림으로 인해 최적의 비디오 품질을 보장받을 수 없게 된다.
이 경우, 상기 컨텐츠 제공자(50)는 전송에 앞서 이동 단말 노드의 상태 정보를 수신하고, 수신된 각 이동 단말의 상태 정보에 적합한 최적의 형태의 파일에 따른 비트 스트림을 추출하여 무선 망을 통해 해당 이동 단말로 전송한다.
이때, 상기 시간 영역은 1초 동안 보여줄 수 있는 화면의 수 즉, 초당 프레임 수(FPS)를 의미하며 예를 들어 , 15 FPS, 30 FPS, 60 FPS 등으로 표현된다.
상기 공간 영역은 비디오 영상이 화면에 디스플레이될 때, 디스플레이되는 화면의 크기에 관여하는 것으로, 즉 해상도(resolution)를 말한다. 여기서, 해상도란 디스플레이 화면 내에 포함되어 있는 픽셀의 숫자(예컨대, 480*320)를 의미한다. 일반적으로 비디오 영상을 수신하는 소정의 이동 단말에 구비된 화면의 크기에 따라 적응적인 서비스가 필요하다. 예를 들어, 하나의 비디오 영상을 노트북과 소형의 이동 단말에 전송할 경우, 상기 노트북과 이동 단말의 디스플레이 화면의 크기는 각각 상이하므로, 동일한 계층의 공간 영역이 포함된 비디오 비트 스트림을 전송할 경우 적어도 어느 하나의 단말에서는 디스플레이 화면과 부합되지 않는 비디오 비트 스트림으로 인해 최적의 비디오 품질을 보장받을 수 없게 된다.
상기 화질(SNR) 영역은, 영상의 선명도를 의미한다.
상술한 바와 같이, 상기 컨텐츠 제공자(50)는, 무선 망을 통해 다수의 이동 단말 노드()들로부터 수신된 상태 정보에 포함된 네트워크 파라미터 값을 이용하여 각 이동 단말이 위치한 네트워크 상황을 파악하고, 또한 상기 상태 정보에 포함된 각 이동 단말의 스펙을 인지하여 미리 설정된 임계치와 비교하는 과정을 통해 각 이동 단말에 적합한 최적의 비디오 스트림의 전송을 수행한다.
이에 따른 전송을 위한 파라미터 값의 판별 및 네트워크 설정 과정은 상기 도 3에서 설명된 바와 같으므로, 본 발명에 따르는 기술 분야의 통상의 지식을 가진 자라면 동일한 형태로 적용이 가능함은 주지의 사실이다.
이하, 전술한 본 발명의 채널 적응형 비디오 전송 서비스를 제공하는 시스템에서의 서버의 동작을 통해 본 발명의 바람직한 실시 예에 따른 채널 적응형 비디오 전송 방법을 설명하기로 한다.
도 6a, b는 본 발명의 일 실시 예에 따른 채널 적응형 비디오 전송 서비스를 수행하는 비디오 전송 시스템에서 서버의 동작을 보인 구성도이다.
먼저, 서버의 초기화 610 과정을 거쳐, 612 과정에서 비디오 스트림 서비스를 수행하고자 하는 다수의 이동 단말로부터 무선 망을 통해 상태 정보를 수신한다.
여기서, 상기 상태 정보는 각 이동 단말 고유의 성능을 의미하며, 예컨대 CPU, 메모리, 디스플레이 화면의 크기 및 해상도 등을 포함하는 정보이다.
무선 망을 통해 이동 단말의 상태 정보를 수신한 후, 614 과정에서는 수신된 이동 단말의 상태 정보를 이용하여 비디오 스트림 서비스를 수행하고자 하는 이동 단말이 현재 위치한 네트워크의 파라미터를 측정한다.
상기 상태 정보는, 각 이동 단말의 네트워크 상태 정보 또한 포함하고 있으며, 이는 이동 단말의 버퍼(buffer) 상태와, 네트워크를 통한 패킷의 왕복 시간을 나타내는 RTT(Round Trip Time) 파라미터이다. 상기 버퍼 상태 및 RTT 값을 통해 현재 자신이 위치한 네트워크의 상황 즉, 상기 네트워크의 트래픽 포화도(traffic congestion)를 파악할 수 있다.
그리고, 616 과정에서는 이동 단말로부터 수신된 상태 정보에서 획득 가능한 디스플레이 화면의 크기를 이용하여 전송하고자 하는 비디오 비트 스트림에서 공간 영역에 해당하는 특정의 공간 정보 비트 스트림을 선택하여 영상의 사이즈를 결정한다.
이때, 상기 영상의 사이즈를 결정하는 과정은 이동 단말별 고유의 성능(예컨대, 디스플레이 화면의 크기 등)에 따라 미리 설정되어 있다.
616 과정에서 소정 이동 단말에 전송할 비디오 비트 스트림에서 영상의 사이즈가 결정되면, 다음으로 이동 단말의 네트워크 상태 정보에서 버퍼의 상태를 체크한다(618 과정).
상기 이동 단말로부터 수신된 현재 해당 이동 단말의 버퍼 상태(B)와 미리 설정되어 있는 임계치(BT)를 비교하여, 버퍼 상태가 임계치보다 작을 경우(B < BT ), A로 이동하고, 버퍼 상태가 임계치보다 클 경우 B로 이동한다(B < BT ).
620 과정에서는, A로 이동한 버퍼 상태가 임계치 보다 작은 경우의 상태에서, 네트워크를 통한 패킷의 왕복 시간을 나타내는 RTT 파라미터 값(RTT)을 미리 설정되어 있는 임계치(RTTT)와 비교한다.
상기 비교 결과, RTT 값이 임계치보다 클 경우(RTT > RTTT), 이전 616 과정에서 공간 영역에 해당하는 특정의 공간 정보 비트 스트림을 선택하여 영상의 사이즈가 이미 확정된 현재의 비디오 비트 스트림에서, 시간 정보에 대해서는 현재의 비트 스트림을 유지한다(622 과정).
이는, 상기 618 과정에 버퍼 상태 비교 결과, 상기 버퍼 상태가 임계치보다 작았기 때문에(B < BT ) 네트워크의 상황이 원활하지 못함을 인지함으로써 또한, 620 과정에서 RTT 값이 임계치보다 클 경우(RTT > RTTT), 전송 딜레이에 대한 상황은 원활함을 인지함으로써 현재 비디오 스트림의 시간 영역 즉, 초당 프레임의 수를 증가 혹은 감소시킬 필요가 없기 때문이다.
624 과정에서 현재 비트 스트림의 화질 정보의 계층적 위치를 체크한 후, 상기 체크 결과 상기 화질 정보의 계층적 위치를 더 이상 감소시킬 수 없는 최하위 계층일 경우, 326 과정으로 이동하여, 상기 622 과정에서 유지한 시간 정보 비트 스트림의 계층적 위치를 하위 계층으로 감소시킨다.
또한, 상기 체크 결과 상기 화질 정보의 계층적 위치가 최하위 계층이 아닐 경우, 628 과정으로 이동하여 현재 화질 계층 비트 스트림의 계층적 위치를 하위 계층으로 감소시킨다.
한편, 상기 620 과정에서 RTT 값 비교 결과, 상기 RTT 값이 임계치보다 작을 경우(RTT < RTTT), 이전 316 과정에서 공간 영역에 해당하는 특정의 공간 정보를 선택하여 영상의 사이즈가 이미 확정된 현재의 비디오 비트 스트림에서, 현재의 시 간 정보의 비트 레이트를 계산하여 프레임 수를 증가시킨다(632 과정).
예를 들어, 현재의 시간 정보의 비트 레이트가 60 FPS 일 경우, 상기 30 FPS의 비트 레이트를 60 FPS로 변경하여 1초당 화면에 보여지는 프레임의 수를 증가시킨다.
이는, 미리 설정되어 있는 버퍼 상태보다 현재의 버퍼 상태가 작아 네트워크 상황이 원활하지 않을 때((B < BT ), 미리 설정되어 있는 RTTT 값보다 현재의 RTT가 작아 네트워크를 통한 전송 딜레이 또한 원활하지 않기(RTT < RTTT) 때문에 초당 프레임의 수를 증가시켜 이동 단말에 보여지는 영상을 선명하게 함으로써 원활하지 못한 네트워크 상황에 대비하여 끊김 없는 비디오 전송 서비스를 수행하기 위함이다.
상기 632 과정을 수행한 후에, 현재 비트 스트림의 화질 정보의 계층적 위치를 체크한 후, 상기 체크 결과 상기 화질 정보의 계층적 위치를 더 이상 감소시킬 수 없는 최하위 계층일 경우, 636 과정으로 이동하여, 상기 632 과정에서 증가시킨 프레임의 수 즉, 시간 정보의 계층적 위치를 하위 계층으로 감소시킨다.
이는, 상기 618 과정에 버퍼 상태 비교 결과, 상기 버퍼 상태가 임계치보다 작았기 때문에(B < BT ) 네트워크의 상황이 원활하지 못함을 인지함으로써 또한, 620 과정에서 RTT 값이 임계치 보다 작을 경우(RTT < RTTT), 전송 딜레이에 대한 상황 또한 원활하지 못함을 인지함으로써 현재 비디오 스트림의 시간 영역 즉, 초당 프레임의 수를 감소시킬 필요가 있기 때문이다.
그리고, 상기 체크 결과 상기 화질 정보의 계층적 위치가 최하위 계층이 아 닐 경우, 638 과정으로 이동하여 미리 설정되어 있는 비트 레이트까지 현재 화질 정보의 계층적 위치를 하위 계층으로 감소시킨다.
한편, 상기 이동 단말로부터 현재 해당 이동 단말의 버퍼 상태와 미리 설정되어 있는 임계치를 비교하여, 버퍼 상태가 임계치보다 클 경우(B > BT )에서, 640 과정의 수행을 통해 네트워크를 통한 패킷의 왕복 시간을 나타내는 RTT 파라미터 값(RTT)을 미리 설정되어 있는 임계치(RTTT)와 비교한다.
상기 비교 결과, RTT 값이 임계치보다 클 경우(RTT > RTTT), 이전 616 과정에서 공간 영역에 해당하는 특정의 공간 정보를 선택하여 영상의 사이즈가 이미 확정된 현재의 비디오 비트 스트림에서, 시간 정보 및 화질 정보에 대해서 현재의 비트 스트림을 유지한다(642 과정).
이는, 미리 설정되어 있는 버퍼 상태보다 현재의 버퍼 상태가 커서 네트워크 상황이 원활하고(B > BT ), 미리 설정되어 있는 RTTT 값보다 현재의 RTT가 커서 네트워크를 통한 전송 딜레이 또한 원활하기(RTT > RTTT) 때문에 각 계층별 비트 스트림에 대해서 현재의 비트 스트림을 유지하는 것이다.
그리고, 상기 비교 결과, RTT 값이 임계치보다 작을 경우(RTT < RTTT), 이전 616 과정에서 공간 영역에 해당하는 특정의 공간 정보 비트 스트림을 선택하여 영상의 사이즈가 이미 확정된 현재의 비디오 비트 스트림에서, 화질(SNR) 정보에 대해서 현재의 화질 계층 비트 스트림의 계층적 위치를 상위 계층으로 증가시킨다.
이는, 미리 설정되어 있는 버퍼 상태보다 현재의 버퍼 상태가 커서 네트워크 상황이 원활하고(B > BT ), 미리 설정되어 있는 RTTT 값보다 현재의 RTT가 작아서 네트워크를 통한 전송 딜레이가 원활하지 못하기 때문에(RTT < RTTT), 현재 비트 스트림에서 화질 정보 비트 스트림의 계층적 위치를 상위 계층으로 증가시키는 것이다.
상기와 같은 과정을 통해, 비디오 스트림 서비스를 수행하고자 하는 이동 단말이 위치한 네트워크의 상황에 근거하여 비디오 스트림의 각 계층별 계층적 위치를 조절하여 최적의 계층적 위치를 선택하고, 각 계층에서 선택된 계층적 위치에 해당하는 비트 스트림을 추출한다(646 과정). 646 과정에서 추출된 각 계층별 비트 스트림을 하나의 비트 스트림으로 생성하여 이를 이동 단말에 전송한다(648 과정).
상기와 같이 본 발명의 일 실시 예에 채널 적응형 비디오 전송 방법 이를 이용하는 장치 및 이를 제공하는 시스템에 관한 동작이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.
도 1은 종래 비디오 전송 서비스를 제공하는 전체 시스템의 개략적인 구성도
도 2는 본 발명의 일 실시 예에 따른 채널 적응형 비디오 전송 서비스를 제공하는 전체 시스템의 개략적인 구성도
도 3a, 3b는 본 발명의 일 실시 예에 따른 채널 적응형 비디오 전송 서비스를 수행하는 비디오 전송 시스템에서 서버의 동작을 보인 구성도
도 4a, 도4b는 본 발명의 일 실시 예에 따른 채널 적응형 비디오 전송 장치에 관한 블록 구성도
도 5는 본 발명의 다른 실시 예에 따른 채널 적응형 비디오 전송 서비스를 제공하는 전체 시스템의 개략적인 구성도
도 6a, 6b는 본 발명의 다른 실시 예에 따른 채널 적응형 비디오 전송 서비스를 수행하는 비디오 전송 시스템에서 서버의 동작을 보인 구성도

Claims (16)

  1. 비디오 전송 방법에 있어서,
    비디오 스트림 서비스를 수행하고자 하는 적어도 하나 이상의 이동 단말로부터 무선 망을 통해 상태 정보를 수신하는 과정과,
    비디오 스트림 인코딩 시 서로 다른 비트율로 생성된 다수의 공간 계층(spatial layer) 비트 스트림에서 상기 이동 단말의 상태 정보에 근거하여 특정의 공간 계층 비트 스트림을 선택하여 영상의 사이즈(size)를 결정하는 과정과,
    상기 이동 단말의 상태 정보에 포함된 네트워크 파라미터에 근거하여 영상의 시간 및 화질 계층 비트 스트림의 계층적 위치를 증감시켜 특정의 시간 및 화질 계층 비트 스트림을 선택하는 과정과,
    상기 선택된 계층별 특정의 계층 비트 스트림을 추출하여 생성된 비트 스트림을 상기 이동 단말로 전송하는 과정을 포함함을 특징으로 하는 채널 적응형 비디오 전송 방법.
  2. 제1항에 있어서, 상기 이동 단말의 상태 정보는,
    이동 단말의 CPU, 메모리, 디스플레이 화면의 크기 및 해상도 등을 포함하는 정보 및 상기 이동 단말의 네트워크 상태 정보로 이루어짐을 특징으로 하는 채널 적응형 비디오 전송 방법.
  3. 제1항에 있어서, 상기 네트워크 상태 정보를 나타내는 파라미터는,
    상기 이동 단말의 버퍼(buffer) 상태 및 네트워크를 통해 패킷의 왕복 시간을 나타내는 RTT(Round Trip Time)임을 특징으로 하는 채널 적응형 비디오 전송 방법.
  4. 제1항에 있어서, 상기 비디오 스트림 인코딩은,
    시간, 공간, 화질의 다차원 스케일러빌리티(scalability)를 지원하는 SVC(Scalable Video Coding) 방식의 비디오 코딩임을 특징으로 하는 채널 적응형 비디오 전송 방법.
  5. 제1항에 있어서, 상기 영상의 시간 및 화질 계층 비트 스트림의 계층적 위치를 증감시키는 과정은,
    상기 이동 단말의 네트워크 파라미터에 포함된 버퍼 상태와 미리 설정된 버퍼 상태 임계치(threshold) 및 RTT 값과 미리 설정된 RTT 임계치와 비교하는 과정과,
    상기 비교 결과, 버퍼 상태가 임계치보다 작을 경우에서 RTT 값이 임계치보다 클 경우, 화질 계층 비트 스트림의 계층적 위치를 판별하여 상기 위치에 따라 시간 계층 비트 스트림의 계층적 위치의 감소 여부를 결정하는 과정과,
    상기 비교 결과, 버퍼 상태가 임계치 보다 작을 경우에서RTT 값이 임계치보다 작을 경우, 현재의 비트 레이트를 계산하여 프레임 수를 증가하고, 화질 계층 비트 스트림의 계층적 위치를 판별하여 상기 위치에 따라 시간 계층 비트 스트림의 계층적 위치의 감소 여부를 결정하는 과정과,
    상기 비교 결과, 버퍼 상태가 임계치보다 클 경우에서RTT 값이 임계치보다 클 경우, 현재의 비트 스트림을 유지하는 과정과,
    상기 비교 결과, 버퍼 상태가 임계치보다 클 경우에서 RTT 값이 임계치보다 작을 경우, 화질 계층 비트 스트림의 계층적 위치를 증가하는 과정을 포함함을 특징으로 하는 채널 적응형 비디오 전송 방법.
  6. 제5항에 있어서,
    상기 버퍼 상태가 임계치보다 작을 경우에서 RTT 값이 임계치보다 크거나 혹은 작을 경우, 화질 계층 비트 스트림의 계층적 위치가 최하위이면 시간 계층 비트 스트림의 계층적 위치를 감소시킴을 특징으로 하는 채널 적응형 비디오 전송 방법.
  7. 비디오 전송 장치에 있어서,
    고화질 디지털 비디오 스트림을 인코딩하는 인코더와,
    무선 망을 통해 각 이동 단말의 상태 정보를 수신하는 무선 모듈과,
    상기 인코더로부터 출력된 비디오 스트림의 공간 계층 비트 스트림에서 상기 무선 모듈로부터 출력된 이동 단말의 상태 정보에 근거하여 특정의 공간 계층 비트 스트림을 선택하여 영상의 사이즈를 결정하는 영상 크기 결정부와,
    상기 영상의 사이즈가 결정된 비디오 스트림을 이동 단말의 상태 정보에 포 함된 네트워크 파라미터에 근거하여 영상의 시간 및 화질 계층 비트 스트림의 계층적 위치를 증감시켜 특정의 시간 및 화질 계층 비트 스트림을 선택하고, 상기 선택된 계층별 특정의 계층 비트 스트림을 추출하여 생성된 비트 스트림을 이동 단말로 전송하도록 제어하는 제어부를 포함함을 특징으로 채널 적응형 비디오 전송 장치.
  8. 제7항에 있어서, 상기 인코더는,
    시간, 공간, 화질의 다차원 스케일러빌리티(scalability)를 지원하는 SVC(Scalable Video Coding) 방식의 비디오 코딩을 수행함을 특징으로 하는 채널 적응형 비디오 전송 장치.
  9. 제7항에 있어서, 상기 제어부는,
    상기 이동 단말의 네트워크 파라미터에 포함된 버퍼 상태와 미리 설정된 버퍼 상태 임계치(threshold)를 비교하여, 상기 미리 설정된 임계치가 클 경우 제 2비교부로 출력하고, 작을 경우 제3비교부로 출력하는 제1비교부와,
    상기 이동 단말의 네트워크 파라미터에 포함된 RTT 값이 미리 설정된 임계치를 비교하여 보다 RTT 값이 클 경우, 화질 계층 비트 스트림의 계층적 위치를 판별하여 상기 위치에 따라 시간 계층 비트 스트림의 계층적 위치의 감소 여부 결정하여 출력하고, RTT 값이 작을 경우, 현재의 비트 레이트를 계산하여 프레임의 수를 증가하고, 화질 계층 비트 스트림의 계층적 위치를 판별하여 상기 위치에 따라 시간 계층 비트 스트림의 계층적 위치의 감소 여부를 결정하여 출력하는 제2비교부 와,
    상기 이동 단말의 네트워크 파라미터에 포함된 RTT 값이 미리 설정된 임계치와 비교하여 보다 RTT 값이 클 경우, 현재의 비트 스트림을 유지하고, 작을 경우 화질 계층 비트 스트림의 계층적 위치를 증가하여 출력하는 제3비교부와,
    상기 제2 및 제3비교부에서 출력된 특정의 계층 비트 스트림을 추출하여 하나의 비트 스트림으로 생성하는 SVC 추출부를 포함함을 특징으로 하는 채널 적응형 비디오 전송 장치.
  10. 제9항에 있어서, 상기 제2비교부에서,
    화질 계층 비트 스트림의 계층적 위치가 최하위이면 시간 계층 비트 스트림의 계층적 위치를 감소시킴을 특징으로 하는 채널 적응형 비디오 전송 장치.
  11. 비디오 전송 서비스를 제공하는 시스템에 있어서,
    무선 망을 통해 다수의 이동 단말로부터 수신된 상태 정보를 이용하여 네트워크 상황 및 각 이동 단말의 성능을 인지한 후, 미리 설정된 임계치와 비교하여 각 계층별 비트 스트림의 계층적 위치를 증감시켜 특정의 계층 비트 스트림을 선택 및 이를 추출하여 상기 이동 단말로 전송하는 서버와,
    무선 망을 통해 상기 서버로 자신의 상태 정보를 송신하는 이동 단말을 포함함을 특징으로 하는 채널 적응형 비디오 전송 서비스를 제공하는 시스템.
  12. 제11항에 있어서, 상기 이동 단말의 상태 정보는,
    이동 단말의 CPU, 메모리, 디스플레이 화면의 크기 및 해상도 등을 포함하는 정보와, 상기 이동 단말의 버퍼 상태 및 RTT값을 포함하는 네트워크 상태 정보로 이루어짐을 특징으로 하는 채널 적응형 비디오 전송 서비스를 제공하는 시스템.
  13. 비디오 전송 방법에 있어서,
    비디오 스트림 서비스를 수행하고자 하는 적어도 하나 이상의 이동 단말로부터 무선 망을 통해 상태 정보를 수신하는 과정과,
    상기 이동 단말의 상태 정보에 근거하여 영상의 사이즈(size) 및 화질이 차별화된 다수의 컨텐츠로부터 최적의 컨텐츠를 선택하는 과정과,
    상기 선택된 컨텐츠로부터 비트 스트림을 추출하여 생성된 비트 스트림을 상기 이동단말로 전송하는 과정을 포함함을 특징으로 하는 채널 적응형 비디오 전송 방법.
  14. 제13항에 있어서, 상기 이동 단말의 상태 정보는,
    이동 단말의 CPU, 메모리, 디스플레이 화면의 크기 및 해상도 등을 포함하는 정보 및 상기 이동 단말의 네트워크 상태 정보로 이루어짐을 특징으로 하는 채널 적응형 비디오 전송 방법.
  15. 제13항에 있어서, 상기 네트워크 상태 정보를 나타내는 파라미터는,
    상기 이동 단말의 버퍼(buffer) 상태 및 네트워크를 통해 패킷의 왕복 시간을 나타내는 RTT(Round Trip Time)임을 특징으로 하는 채널 적응형 비디오 전송 방법.
  16. 제13항에 있어서, 상기 최적의 컨텐츠를 선택하는 과정은,
    상기 이동 단말의 네트워크 파라미터에 포함된 버퍼 상태와 미리 설정된 버퍼 상태 임계치(threshold) 및 RTT 값과 미리 설정된 RTT 임계치와 비교하는 과정과,
    상기 비교 결과, 버퍼 상태가 임계치보다 작을 경우에서 RTT 값이 임계치보다 클 경우, 화질 계층 비트 스트림의 계층적 위치를 판별하여 상기 위치에 따라 시간 정보 비트 스트림의 계층적 위치의 감소 여부를 결정하는 과정과,
    상기 비교 결과, 버퍼 상태가 임계치보다 작을 경우에서RTT 값이 임계치보다 작을 경우, 현재의 비트 레이트를 계산하여 프레임 수를 증가하고, 화질 정보 비트 스트림의 계층적 위치를 판별하여 상기 위치에 따라 시간 계층 비트 스트림의 계층적 위치의 감소 여부를 결정하는 과정과,
    상기 비교 결과, 버퍼 상태가 임계치보다 클 경우에서RTT 값이 임계치보다 클 경우, 현재의 비트 스트림을 유지하는 과정과,
    상기 비교 결과, 버퍼 상태가 임계치보다 클 경우에서 RTT 값이 임계치보다 작을 경우, 화질 정보 비트 스트림의 계층적 위치를 증가하는 과정을 포함함을 특징으로 하는 채널 적응형 비디오 전송 방법.
KR1020090031903A 2009-04-13 2009-04-13 채널 적응형 비디오 전송 방법, 이를 이용한 장치 및 이를 제공하는 시스템 KR101557504B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020090031903A KR101557504B1 (ko) 2009-04-13 2009-04-13 채널 적응형 비디오 전송 방법, 이를 이용한 장치 및 이를 제공하는 시스템
PCT/KR2010/002244 WO2010120078A2 (en) 2009-04-13 2010-04-12 Channel adaptive video transmission method, apparatus using the same, and system providing the same
US12/759,255 US8700794B2 (en) 2009-04-13 2010-04-13 Channel adaptive video transmission method, apparatus using the same, and system providing the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090031903A KR101557504B1 (ko) 2009-04-13 2009-04-13 채널 적응형 비디오 전송 방법, 이를 이용한 장치 및 이를 제공하는 시스템

Publications (2)

Publication Number Publication Date
KR20100113365A true KR20100113365A (ko) 2010-10-21
KR101557504B1 KR101557504B1 (ko) 2015-10-07

Family

ID=42935223

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090031903A KR101557504B1 (ko) 2009-04-13 2009-04-13 채널 적응형 비디오 전송 방법, 이를 이용한 장치 및 이를 제공하는 시스템

Country Status (3)

Country Link
US (1) US8700794B2 (ko)
KR (1) KR101557504B1 (ko)
WO (1) WO2010120078A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101364238B1 (ko) * 2012-06-15 2014-02-14 (주)에어포인트 채널상태에 적응적으로 동작하는 영상 송수신 시스템 및 그 방법
WO2014119917A1 (ko) * 2013-01-30 2014-08-07 재단법인 다차원 스마트 아이티 융합시스템 연구단 비트율 결정 방법 및 그 장치
KR20190059691A (ko) * 2017-11-23 2019-05-31 에스케이브로드밴드주식회사 이동형 셋탑박스 및 그 동작 방법

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101708931B1 (ko) * 2010-04-28 2017-03-08 삼성전자주식회사 다중 안테나 시스템에서 데이터 전송률 할당장치 및 방법
US9693110B2 (en) 2010-06-03 2017-06-27 Cox Communications, Inc Dynamic content stream management
US9407876B1 (en) 2010-09-14 2016-08-02 Pixia Corp. Method and system for encoding and decoding multiple wide-area surveillance area-of-interest video codestreams
TW201212656A (en) * 2010-09-15 2012-03-16 Hon Hai Prec Ind Co Ltd Method for encoding image data and a server implementing the method
US9113141B2 (en) * 2010-12-09 2015-08-18 Intel Corporation Wireless channel aware adaptive video bit rate encoding
US9247312B2 (en) 2011-01-05 2016-01-26 Sonic Ip, Inc. Systems and methods for encoding source media in matroska container files for adaptive bitrate streaming using hypertext transfer protocol
US9866877B2 (en) * 2011-03-08 2018-01-09 Cox Communications, Inc. Transparent scalable video coding
KR20130000334A (ko) * 2011-06-15 2013-01-02 광운대학교 산학협력단 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치
WO2013033458A2 (en) 2011-08-30 2013-03-07 Divx, Llc Systems and methods for encoding and streaming video encoded using a plurality of maximum bitrate levels
US9467708B2 (en) 2011-08-30 2016-10-11 Sonic Ip, Inc. Selection of resolutions for seamless resolution switching of multimedia content
KR20130050149A (ko) * 2011-11-07 2013-05-15 오수미 인터 모드에서의 예측 블록 생성 방법
US9582157B1 (en) * 2012-08-03 2017-02-28 I4VU1, Inc. User interface and program guide for a multi-program video viewing apparatus
US9191457B2 (en) 2012-12-31 2015-11-17 Sonic Ip, Inc. Systems, methods, and media for controlling delivery of content
GB2511730A (en) * 2013-01-28 2014-09-17 Microsoft Corp Spatially adaptive video coding
KR20140103569A (ko) * 2013-02-18 2014-08-27 한국전자통신연구원 적응적 계층 선택을 위한 장치 및 방법, 이를 구비한 서버
US8887217B2 (en) * 2013-03-13 2014-11-11 Futurewei Technologies, Inc. Systems and methods for quality of experience aware joint scheduling of buffered video on demand and best effort flows
US9609336B2 (en) * 2013-04-16 2017-03-28 Fastvdo Llc Adaptive coding, transmission and efficient display of multimedia (acted)
EP3001633B1 (en) * 2014-09-26 2017-08-16 Alcatel Lucent Server, client, method and computer program product for adaptive streaming of media content to a client
WO2016114270A1 (ja) 2015-01-15 2016-07-21 株式会社リコー 制御システム、通信端末、通信システム、制御方法、及びプログラム
JP6536068B2 (ja) * 2015-02-19 2019-07-03 株式会社リコー 制御システム、通信システム、制御方法、及びプログラム
US10757216B1 (en) 2015-02-20 2020-08-25 Amazon Technologies, Inc. Group profiles for group item recommendations
US11363460B1 (en) * 2015-03-03 2022-06-14 Amazon Technologies, Inc. Device-based identification for automated user detection
US9872028B2 (en) * 2015-06-26 2018-01-16 Intel Corporation Wireless display adaptations and optimizations based on unfiltered and regional feedback
US10148989B2 (en) 2016-06-15 2018-12-04 Divx, Llc Systems and methods for encoding video content
CN106131125A (zh) * 2016-06-22 2016-11-16 姜孝顺 一种图片处理***
GB2554680B (en) * 2016-10-03 2020-04-01 Advanced Risc Mach Ltd Selecting encoding options
CN106528758B (zh) * 2016-10-28 2021-07-27 腾讯科技（深圳）有限公司 一种选取图片方法及装置
KR20180051202A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이장치 및 그 제어방법
CN107483949A (zh) * 2017-07-26 2017-12-15 千目聚云数码科技（上海）有限公司 增加svac svc实用性的方法及***
GB2567835B (en) 2017-10-25 2020-11-18 Advanced Risc Mach Ltd Selecting encoding options
CN109922307B (zh) * 2017-12-12 2021-01-15 杭州萤石软件有限公司 一种多媒体数据传输方法及摄像机
EP3687176A1 (en) * 2019-01-22 2020-07-29 InterDigital CE Patent Holdings A client and a method for managing, at the client, a streaming session of a multimedia content

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6434319B1 (en) * 1994-01-19 2002-08-13 Thomson Licensing S.A. Digital video tape recorder for digital HDTV
KR100418141B1 (ko) * 1997-04-01 2004-06-09 소니 가부시끼 가이샤 화상부호화장치,화상부호화방법,화상복호화장치및화상복호화방법
US6057884A (en) * 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
US6650783B2 (en) * 1998-01-14 2003-11-18 Canon Kabushiki Kaisha Image processing apparatus and method for processing images with different scalabilites
JP2000013790A (ja) * 1998-06-19 2000-01-14 Sony Corp 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに提供媒体
US6603883B1 (en) * 1998-09-08 2003-08-05 Canon Kabushiki Kaisha Image processing apparatus including an image data encoder having at least two scalability modes and method therefor
FI113124B (fi) * 1999-04-29 2004-02-27 Nokia Corp Tiedonsiirto
US6639943B1 (en) * 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
US6493387B1 (en) * 2000-04-10 2002-12-10 Samsung Electronics Co., Ltd. Moving picture coding/decoding method and apparatus having spatially scalable architecture and signal-to-noise ratio scalable architecture together
GB2364841B (en) * 2000-07-11 2002-09-11 Motorola Inc Method and apparatus for video encoding
GB2364842A (en) * 2000-07-11 2002-02-06 Motorola Inc Method and system for improving video quality
US7068717B2 (en) * 2000-07-12 2006-06-27 Koninklijke Philips Electronics N.V. Method and apparatus for dynamic allocation of scalable selective enhanced fine granular encoded images
US6999432B2 (en) * 2000-07-13 2006-02-14 Microsoft Corporation Channel and quality of service adaptation for multimedia over wireless networks
US7463683B2 (en) * 2000-10-11 2008-12-09 Koninklijke Philips Electronics N.V. Method and apparatus for decoding spatially scaled fine granular encoded video signals
CN1636394A (zh) * 2000-10-11 2005-07-06 皇家菲利浦电子有限公司 细粒视频编码的空间可缩放性
AU2002218009A1 (en) * 2000-11-01 2002-05-15 Webcast Technologies Inc Encoding and decoding of video signals
US6580759B1 (en) * 2000-11-16 2003-06-17 Koninklijke Philips Electronics N.V. Scalable MPEG-2 video system
US6873655B2 (en) * 2001-01-09 2005-03-29 Thomson Licensing A.A. Codec system and method for spatially scalable video data
US7830969B2 (en) * 2001-05-04 2010-11-09 Hewlett-Packard Development Company, L.P. Encoding devices for scalable data streaming
US7197070B1 (en) * 2001-06-04 2007-03-27 Cisco Technology, Inc. Efficient systems and methods for transmitting compressed video data having different resolutions
US7567575B2 (en) * 2001-09-07 2009-07-28 At&T Corp. Personalized multimedia services using a mobile service platform
US6968091B2 (en) * 2001-09-18 2005-11-22 Emc Corporation Insertion of noise for reduction in the number of bits for variable-length coding of (run, level) pairs
JP2005506815A (ja) * 2001-10-26 2005-03-03 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 空間拡張可能圧縮のための方法及び装置
US6996172B2 (en) * 2001-12-21 2006-02-07 Motorola, Inc. Method and structure for scalability type selection in digital video
JP4150951B2 (ja) * 2002-02-19 2008-09-17 ソニー株式会社 動画配信システム、動画配信装置および方法、並びにプログラム
US7317759B1 (en) * 2002-02-28 2008-01-08 Carnegie Mellon University System and methods for video compression mode decisions
US8244895B2 (en) * 2002-07-15 2012-08-14 Hewlett-Packard Development Company, L.P. Method and apparatus for applying receiving attributes using constraints
US7966642B2 (en) * 2003-09-15 2011-06-21 Nair Ajith N Resource-adaptive management of video storage
US7860161B2 (en) * 2003-12-15 2010-12-28 Microsoft Corporation Enhancement layer transcoding of fine-granular scalable video bitstreams
KR20050077874A (ko) * 2004-01-28 2005-08-04 삼성전자주식회사 스케일러블 비디오 스트림 송신 방법 및 이를 이용한 장치
US20050254575A1 (en) * 2004-05-12 2005-11-17 Nokia Corporation Multiple interoperability points for scalable media coding and transmission
US7889937B2 (en) * 2004-07-13 2011-02-15 Koninklijke Philips Electronics N.V. Method of spatial and SNR picture compression
KR100621581B1 (ko) * 2004-07-15 2006-09-13 삼성전자주식회사 기초 계층을 포함하는 비트스트림을 프리디코딩,디코딩하는 방법, 및 장치
KR100679022B1 (ko) * 2004-10-18 2007-02-05 삼성전자주식회사 계층간 필터링을 이용한 비디오 코딩 및 디코딩방법과,비디오 인코더 및 디코더
WO2006075901A1 (en) * 2005-01-14 2006-07-20 Sungkyunkwan University Methods of and apparatuses for adaptive entropy encoding and adaptive entropy decoding for scalable video encoding
US7617436B2 (en) * 2005-08-02 2009-11-10 Nokia Corporation Method, device, and system for forward channel error recovery in video sequence transmission over packet-based network
JP2009510966A (ja) * 2005-10-07 2009-03-12 韓國電子通信研究院 スケーラブルビデオコーディング技術が適用されたビットストリーム適応変換装置及び方法
WO2007080223A1 (en) * 2006-01-10 2007-07-19 Nokia Corporation Buffering of decoded reference pictures
US8532984B2 (en) * 2006-07-31 2013-09-10 Qualcomm Incorporated Systems, methods, and apparatus for wideband encoding and decoding of active frames
US8773494B2 (en) * 2006-08-29 2014-07-08 Microsoft Corporation Techniques for managing visual compositions for a multimedia conference call
KR100842544B1 (ko) * 2006-09-11 2008-07-01 삼성전자주식회사 스케일러블 영상 코딩을 이용한 전송 방법 및 이를 이용한이동통신 시스템
KR100862359B1 (ko) * 2007-06-27 2008-10-13 와이즈와이어즈(주) 네트워크 상태에 따른 콘텐츠 변환 시스템 및 그를 위한저장매체
US7953882B2 (en) * 2007-07-26 2011-05-31 Realnetworks, Inc. Adaptive variable fidelity media distribution system and method
US8259794B2 (en) * 2008-08-27 2012-09-04 Alexander Bronstein Method and system for encoding order and frame type selection optimization
CN101686383B (zh) * 2008-09-23 2013-05-01 Utc消防和保安美国有限公司 通过网络传输媒体的方法及***
US9009337B2 (en) * 2008-12-22 2015-04-14 Netflix, Inc. On-device multiplexing of streaming media content
US8514931B2 (en) * 2009-03-20 2013-08-20 Ecole Polytechnique Federale De Lausanne (Epfl) Method of providing scalable video coding (SVC) video content with added media content
KR101028956B1 (ko) * 2009-07-31 2011-04-12 포항공과대학교 산학협력단 모바일 ｉｐｔｖ 서비스를 제공하는 방법 및 이를 위한 시스템

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101364238B1 (ko) * 2012-06-15 2014-02-14 (주)에어포인트 채널상태에 적응적으로 동작하는 영상 송수신 시스템 및 그 방법
WO2014119917A1 (ko) * 2013-01-30 2014-08-07 재단법인 다차원 스마트 아이티 융합시스템 연구단 비트율 결정 방법 및 그 장치
US9548078B2 (en) 2013-01-30 2017-01-17 Center For Integrated Smart Sensors Foundation Method for determining bit rate and apparatus therefor
KR20190059691A (ko) * 2017-11-23 2019-05-31 에스케이브로드밴드주식회사 이동형 셋탑박스 및 그 동작 방법

Also Published As

Publication number Publication date
US20100262712A1 (en) 2010-10-14
KR101557504B1 (ko) 2015-10-07
WO2010120078A2 (en) 2010-10-21
WO2010120078A3 (en) 2010-12-23
US8700794B2 (en) 2014-04-15

Similar Documents

Publication Publication Date Title
KR101557504B1 (ko) 채널 적응형 비디오 전송 방법, 이를 이용한 장치 및 이를 제공하는 시스템
TWI590632B (zh) 視訊品質增強
CN102118357B (zh) 一种流媒体处理方法、设备和***
KR102002676B1 (ko) Dash를 위한 클라이언트/서버 시그널링 명령
US20110274180A1 (en) Method and apparatus for transmitting and receiving layered coded video
JP2005515714A (ja) クライアントの帯域又は性能に基づく対象を絞ったスケーラブル映像マルチキャスト
JP2009525705A (ja) マルチメディアコンテンツのリサイズ方法およびシステム
WO2010037310A1 (zh) 多路视频通信方法与***
US11283854B2 (en) Method and system for providing variable quality streaming video services in mobile communication networks
US20140189064A1 (en) Method and system for adaptive video transmission
CN105579998A (zh) 实时流量传送***和方法
KR20150040125A (ko) 마스터 기기, 클라이언트 기기, 및 그에 따른 화면 미러링 방법
CN108540745B (zh) 高清双流视频的传输方法、发送端、接收端及传输***
WO2023202159A1 (zh) 视频播放方法及装置
US8891539B2 (en) Re-searching reference image for motion vector and converting resolution using image generated by applying motion vector to reference image
CN109068151B (zh) 基于毫米波蜂窝网络的虚拟现实视频无线传输方法
JP4227438B2 (ja) 映像伝送システム
JP2020150512A (ja) メディア符号化方法および装置
US20140003490A1 (en) Wireless display source device and sink device
KR102513433B1 (ko) 영상전송을 위한 다중 무선 네트워크 환경에서의 QoS 제어 장치 및 이의 제어방법
Foerster et al. TOWARDS REALIZING VIDEO AWARE WIRELESS NETWORKS.
JP5516409B2 (ja) ゲートウェイ装置と方法とシステム並びに端末
Shwetha Multimedia Transmission Mechanism for Streaming Over Wireless Communication Channel
Park et al. System architecture for IPTV seamless service in mobility
Vandana et al. Quality of service enhancement for multimedia applications using scalable video coding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
FPAY Annual fee payment

Payment date: 20180830

Year of fee payment: 4