KR101124723B1 - 해상도 시그널링을 이용한 스케일러블 비디오 재생 시스템 및 방법 - Google Patents

해상도 시그널링을 이용한 스케일러블 비디오 재생 시스템 및 방법 Download PDF

Info

Publication number
KR101124723B1
KR101124723B1 KR1020090077590A KR20090077590A KR101124723B1 KR 101124723 B1 KR101124723 B1 KR 101124723B1 KR 1020090077590 A KR1020090077590 A KR 1020090077590A KR 20090077590 A KR20090077590 A KR 20090077590A KR 101124723 B1 KR101124723 B1 KR 101124723B1
Authority
KR
South Korea
Prior art keywords
resolution
final
video
scalable video
information
Prior art date
Application number
KR1020090077590A
Other languages
English (en)
Other versions
KR20110019955A (ko
Inventor
배태면
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020090077590A priority Critical patent/KR101124723B1/ko
Publication of KR20110019955A publication Critical patent/KR20110019955A/ko
Application granted granted Critical
Publication of KR101124723B1 publication Critical patent/KR101124723B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 디코더의 최종 해상도와, 재생되는 스케일러블 비디오의 해상도가 다름을 디코더에 알려주기 위해, 인코더 또는 비트스트림 추출기에서 최종 재생 해상도를 나타내는 시그널을 비트스트림에 삽입하여 디코더에 알리고, 디코더가 해당 시그널을 해석하여 최종 재생 해상도에 맞게 스케일러블 비디오를 디코딩하여 출력하도록 된, 해상도 시그널링을 이용한 스케일러블 비디오 재생 시스템 및 방법에 관한 것이다.
본 발명에 따른 스케일러블 비디오 재생 장치는, 송신측으로부터 네트워크를 통해 전송된 스케일러블 비디오로부터 비디오 정보를 파싱하여 최종 재생 해상도 정보를 얻는 시그널 디코딩부; 상기 최종 재생 해상도 정보를 상기 스케일러블 비디오의 비트스트림에 삽입하여 디코딩부에 전달하는 시그널링부; 상기 스케일러블 비디오를 해상도 변경없이 동일한 해상도로 출력하도록 디코딩부에 시그널링하는 부호화부; 상기 시그널링을 근거로 상기 스케일러블 비디오를 해상도 변경없이 상기 최종 해상도 정보에 따라 동일한 해상도로 디코딩하여 최종 비디오 원본 데이터를 출력하는 디코딩부; 및 상기 디코딩된 최종 비디오 원본 데이터의 해상도와 상기 최종 재생 해상도 정보를 비교하여 상기 최종 비디오 원본 데이터를 상기 최종 재생 해상도 정보에 맞게 보간하여 출력하는 비디오 출력부를 포함한다.
본 발명에 의하면, 디코더에 비트스트림의 실제 해상도가 다이나믹(dynamic)하게 변하는 경우에도 재생되는 스케일러블 비디오의 해상도는 변경되지 않고 특정 해상도로 재생하도록 디코더에 알릴 수 있다. 따라서, 디코더가 스케일러블 비디오를 해당 단말기나 장치의 해상도에 맞는 출력할 수 있게 됨에 따라, 사용자는 사용자 환경에 맞게 추출된 스케일러블 비디오를 동일한 해상도로 시청할 수 있다.
SVC, 스케일러블, 비디오, 비트스트림, 추출, 해상도, 시그널, 인코더, 디코더

Description

해상도 시그널링을 이용한 스케일러블 비디오 재생 시스템 및 방법{Scalable video playing system and method using resolution signaling}
본 발명은 스케일러블 비디오 재생 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 디코더의 최종 해상도와, 재생되는 스케일러블 비디오의 해상도가 다름을 디코더에 알려주기 위해, 인코더 또는 비트스트림 추출기에서 최종 재생 해상도를 나타내는 시그널을 비트스트림에 삽입하여 디코더에 알리고, 디코더가 해당 시그널을 해석하여 최종 재생 해상도에 맞게 스케일러블 비디오를 디코딩하여 출력하도록 된, 해상도 시그널링을 이용한 스케일러블 비디오 재생 시스템 및 방법에 관한 것이다.
이동통신 네트워크에서는 PDA, 핸드폰 그리고 노트북에 이르는 다양한 단말에 서비스가 지원되고 있으며, ASDL과 같은 유선 네트워크에서는 PC등이 서비스되고, 머지않아 IP TV와 같은 더욱더 다양한 형태의 단말이 통합되는 네트워크에서 서비스를 지원받게 된다. 멀티미디어 콘텐츠를 다양하고 효율적으로 서비스하기 위 한 MPEG-21 프레임워크에서는 저작권보호와 관련된 DRM(Digital Right Management), 적응변환 DIA(Digital Item Adaptation), 디지털 아이템 기술자 DID(Digital Item Declaration)등의 많은 기능을 통합시켜서 다양한 기능을 지원할 수 있도록 하였다.
이러한 서로 다른 네트워크 환경에서 다양한 단말에 비디오 스트리밍 서비스를 제공하기 위해서는 소비 환경에 맞는 품질의 고려가 필수적이며, 네트워크 대역폭, 단말의 종류 및 소비자의 선호도에 맞는 품질의 콘텐츠를 제공해야만 한다. 보다 효율적으로 다양한 소비환경에 멀티미디어 콘텐츠를 적응시키기 위하여 개발된 스케일러블 비디오 코딩(SVC: Scalable Video Coding) 기술은 비디오를 소비 환경에 적응시키기 위하여 다시 재생산을 수행할 필요 없이 비트스트림에서 직접 적응변환을 수행할 수 있도록 지원한다. 기존의 소비환경에 맞도록 재생산하는 방법에 비하여 더욱 효율적이고 빠르게 네트워크 및 컨텐츠 소비 환경에 맞게 적응변환을 수행할 수 있다.
한편, 대표적인 스케일러블 비디오 코딩(SVC: Scalable Video Coding) 기술인 MPEG-4 AVC/H.264의 Scalable Video Coding(SVC)은 고압축 성능의 MPEG-4 AVC/H.264 비디오 코덱(video codec)에 해상도, 프레임율, 화질에 대한 scalability를 제공할 수 있도록 새로이 표준화된 video coding standard이다. 한 번 encoding된 비디오를 re-encoding이나 transcoding없이 bitstream의 일부를 제거함으로써 해상도, 프레임율, 화질을 변경시킬 수 있어, OSME(One Source Multi-Use)가 가능하고, 네트워크 상황에 맞게 전송하는 adaptive video streaming 기술 에 적용이 가능한 video encoding 기술이다.
SVC는 동적으로 비디오의 해상도를 변경할 수 있다. 이를 위해 EIDR과 같은 동적 해상도 변환과 관련된 부호화 기술이 Nokia에 의해 제안되어 SVC의 표준화 tool로 적용되었으며, 이를 위한 SEI(Supplemental enhancement information) 정보가 표준화되어 있다. 현재 표준화된 SEI는 해상도 변경을 알리는 SEI들이 표준화 되어 있어 decoder에게 해상도가 향상되거나 저하되는 것을 실시간으로 signaling할 수 있다.
현재 SVC는 해상도 변경에 대해 decoder에게 bit stream decoding을 위해 signaling해 주는 SEI를 가지고 있다. Bit stream에서 또는 서버로부터 이러한 SEI를 decoder가 받으면 decoder는 해상도가 변경된 것을 알고 이에 맞게 decoder의 최종 해상도를 결정하여 decoding한다.
이렇게 decoding된 비디오를 재생하여 실시간으로 시청하면, 해상도가 커졌다 작아지는 현상을 볼 수 있어서 사용자가 시청하는 데 방해가 될 수 있다. 또한 최근의 연구 결과는 고해상도에서 저비트율로 부호화하는 것보다 저해상도에서 저비트율로 부호화하고 이를 보간(interpolation)하여 고해상도에 맞추어 보여주는 경우가 더 나은 주관적 화질을 보이는 경우를 보여 주었다. 위의 두 경우, decoder의 최종 해상도와 재생되는 해상도가 다름을 decoder에 알려줄 수 있는 signaling 기술이 필요하다.
전술한 문제점을 해결하기 위한 본 발명의 목적은, 디코더의 최종 해상도와, 재생되는 스케일러블 비디오의 해상도가 다름을 디코더에 알려주기 위해, 인코더 또는 비트스트림 추출기에서 최종 재생 해상도를 나타내는 시그널을 비트스트림에 삽입하여 디코더에 알리고, 디코더가 해당 시그널을 해석하여 최종 재생 해상도에 맞게 스케일러블 비디오를 디코딩하여 출력하도록 된, 스케일러블 비디오 재생 시스템 및 방법, 스케일러블 비디오 재생 장치 및 그의 스케일러블 비디오 재생 방법을 제공함에 있다.
전술한 목적을 달성하기 위한 본 발명에 따른 스케일러블 비디오 재생 시스템은, 최종 재생 해상도 정보가 포함된 스케일러블 비디오를 네트워크를 통해 송출하는 송신 장치; 및 상기 송신 장치로부터 네트워크를 통해 수신된 스케일러블 비디오를 디코딩하여 스케일러블 비디오 원본 데이터를 생성하고, 상기 스케일러블 비디오로부터 상기 최종 재생 해상도 정보를 추출하여 상기 스케일러블 비디오 원본 데이터의 해상도와 상기 최종 재생 해상도 정보를 비교한 후, 상기 스케일러블 비디오 원본 데이터를 상기 최종 재생 해상도 정보에 맞게 보간하여 출력하는 수신 장치를 포함한다.
한편, 전술한 목적을 달성하기 위한 본 발명에 따른 스케일러블 비디오 재생 장치는, 송신측으로부터 네트워크를 통해 전송된 스케일러블 비디오로부터 비디오 정보를 파싱하여 최종 재생 해상도 정보를 얻는 시그널 디코딩부; 상기 최종 재생 해상도 정보를 상기 스케일러블 비디오의 비트스트림에 삽입하여 디코딩부에 전달하는 시그널링부; 상기 스케일러블 비디오를 해상도 변경없이 동일한 해상도로 출력하도록 디코딩부에 시그널링하는 부호화부; 상기 시그널링을 근거로 상기 스케일러블 비디오를 해상도 변경없이 상기 최종 해상도 정보에 따라 동일한 해상도로 디코딩하여 최종 비디오 원본 데이터를 출력하는 디코딩부; 및 상기 디코딩된 최종 비디오 원본 데이터의 해상도와 상기 최종 재생 해상도 정보를 비교하여 상기 최종 비디오 원본 데이터를 상기 최종 재생 해상도 정보에 맞게 보간하여 출력하는 비디오 출력부를 포함한다.
또한, 상기 비디오 정보는, 타깃 해상도 SEI 또는 SPS를 포함한다.
또한, 상기 시그널 디코딩부는, 상기 SPS를 파싱하여 fixed_resolution_flag 값이 1이면 상기 SPS의 해상도 값을 상기 최종 재생 해상도 정보로 결정한다.
그리고, 상기 시그널 디코딩부는, 상기 최종 재생 해상도에 대하여, 상기 타깃 해상도 SEI를 파싱하여 pic_width_minus1+1을 가로 해상도, pic_height_minus1+1을 세로 해상도로 결정한다.
한편, 전술한 목적을 달성하기 위한 본 발명에 따른 스케일러블 비디오 재생 장치는, 송신측으로부터 네트워크를 통해 전송된 스케일러블 비디오로부터 비디오 정보를 파싱하여 최종 재생 해상도 정보를 얻는 시그널 디코딩부; 부호화된 스케일러블 비디오에서 불필요한 계층을 제거하여 해상도에 맞는 비트스트림을 추출하는 비트스트림 추출부; 상기 최종 재생 해상도 정보를 상기 스케일러블 비디오의 비트 스트림에 삽입하여 디코딩부에 전달하는 시그널링부; 상기 시그널링을 근거로 상기 스케일러블 비디오를 해상도 변경없이 상기 최종 해상도 정보에 따라 동일한 해상도로 디코딩하여 최종 비디오 원본 데이터를 출력하는 디코딩부; 및 상기 디코딩된 최종 비디오 원본 데이터의 해상도와 상기 최종 재생 해상도 정보를 비교하여 상기 최종 비디오 원본 데이터를 상기 최종 재생 해상도 정보에 맞게 보간하여 출력하는 비디오 출력부를 포함한다.
또한, 상기 비트스트림 추출부는, 상기 스케일러블 비디오의 계층적 B 픽처 구조에서 프레임율에 맞게 불필요한 B 픽처를 제거하거나, 상기 스케일러블 비디오가 MGS로 부호화된 경우에 타깃 전송율에 맞게 불필요한 계층을 제거하여 비트스트림을 추출한다.
또한, 상기 비디오 정보는, 타깃 해상도 SEI 또는 SPS를 포함한다.
또한, 상기 시그널 디코딩부는, 상기 SPS를 파싱하여 fixed_resolution_flag 값이 1이면 상기 SPS의 해상도 값을 상기 최종 재생 해상도 정보로 결정한다.
그리고, 상기 시그널 디코딩부는, 상기 최종 재생 해상도에 대하여, 상기 타깃 해상도 SEI를 파싱하여 pic_width_minus1+1을 가로 해상도, pic_height_minus1+1을 세로 해상도로 결정한다.
한편, 전술한 목적을 달성하기 위한 본 발명에 따른 비디오 재생 장치의 스케일러블 비디오 재생 방법은, 송신측으로부터 네트워크를 통해 스케일러블 비디오를 수신하는 비디오 재생 장치의 스케일러블 비디오 재생 방법으로서, (a) 상기 스케일러블 비디오로부터 비디오 정보를 파싱(Parsing)하여 최종 재생 해상도 정보를 얻는 단계; (b) 상기 최종 재생 해상도 정보를 상기 스케일러블 비디오의 비트스트림에 삽입하여 디코딩부에 전달하는 단계; (c) 상기 스케일러블 비디오를 해상도 변경없이 동일한 해상도로 출력하도록 디코딩부에 시그널링하는 단계; (d) 상기 시그널링을 근거로 상기 스케일러블 비디오를 해상도 변경없이 상기 최종 해상도 정보에 따라 동일한 해상도로 디코딩하여 최종 비디오 원본 데이터(raw data)를 출력하는 단계; 및 (e) 상기 디코딩된 최종 비디오 원본 데이터의 해상도와 상기 최종 재생 해상도 정보를 비교하여 상기 최종 비디오 원본 데이터를 상기 최종 재생 해상도 정보에 맞게 보간(interpolation)하여 출력하는 단계를 포함한다.
또한, 상기 (a) 단계에서 상기 비디오 정보는, 타깃 해상도 SEI 또는 SPS를 포함한다.
또한, 상기 (a) 단계는 상기 SPS를 파싱하여 fixed_resolution_flag 값이 1이면 상기 SPS의 해상도 값을 상기 최종 재생 해상도 정보로 결정한다.
또한, 상기 (a) 단계는 상기 최종 재생 해상도에 대하여, 상기 타깃 해상도 SEI를 파싱하여 pic_width_minus1+1을 가로 해상도, pic_height_minus1+1을 세로 해상도로 결정한다.
또한, 상기 (b) 단계는 부호화된 스케일러블 비디오에서 불필요한 계층을 제거하여 해상도에 맞는 상기 비트스트림을 추출하고, 상기 최종 재생 해상도 정보를 상기 비트스트림에 삽입하여 디코딩부에 전달한다.
그리고, 상기 (b) 단계는 상기 스케일러블 비디오의 계층적 B 픽처 구조에서 프레임율에 맞게 불필요한 B 픽처를 제거하거나, 상기 스케일러블 비디오가 MGS로 부호화된 경우에 타깃 전송율에 맞게 불필요한 계층을 제거하여 비트스트림을 추출한다.
한편, 본 발명에 따른 비디오 재생 장치의 스케일러블 비디오 재생 방법을 CD나 USB 메모리 등 컴퓨터로 읽을 수 있는 매체에 프로그램으로 기록할 수 있다.
본 발명에 의하면, 디코더에 비트스트림의 실제 해상도가 다이나믹(dynamic)하게 변하는 경우에도 재생되는 스케일러블 비디오의 해상도는 변경되지 않고 특정 해상도로 재생하도록 디코더에 알릴 수 있다.
따라서, 디코더가 스케일러블 비디오를 해당 단말기나 장치의 해상도에 맞는 출력할 수 있게 됨에 따라, 사용자는 사용자 환경에 맞게 추출된 스케일러블 비디오를 동일한 해상도로 시청할 수 있다.
본 발명의 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하 상세한 설명에 의해 보다 명확하게 이해될 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 스케일러블 비디오 재생 시스템의 구성을 개략적으로 나타낸 구성도이다.
도 1을 참조하면, 본 발명에 따른 스케일러블 비디오 재생 시스템(100)은, 송신 장치(110), 통신망(120) 및 수신 장치(130)를 포함한다.
송신 장치(110)는 최종 재생 해상도 정보가 포함된 스케일러블 비디오를 통신망(120)을 통해 송출하는 예컨대, 스트리밍 서버 등이 될 수 있다.
통신망(120)은 송신 장치(110)로부터 송출된 스케일러블 비디오를 수신 장치(130)로 전달하는 네트워크이다. 여기서, 통신망(120)은 수신 장치(130)가 컴퓨터 단말기와 같이 유선 단말기일 경우에 인터넷과 같은 유선 통신망일 수 있고, 수신 장치(130)가 이동 단말기와 같이 무선 단말기일 경우에 이동 통신망과 같은 무선 통신망일 수 있다.
수신 장치(130)는 스케일러블 비디오를 수신하여 재생하는 스케일러블 비디오 재생 장치로써, 예컨대, 컴퓨터 단말기가 될 수 있고, PDA나 휴대폰 등 이동 단말기가 될 수 있다.
수신 장치(130)는 송신 장치(110)로부터 통신망(120)을 통해 수신된 스케일러블 비디오를 디코딩하여 스케일러블 비디오 원본 데이터를 생성하고, 스케일러블 비디오로부터 최종 재생 해상도 정보를 추출하여 스케일러블 비디오 원본 데이터의 해상도와 최종 재생 해상도 정보를 비교한 후, 스케일러블 비디오 원본 데이터를 최종 재생 해상도 정보에 맞게 보간(interpolation)하여 출력한다.
이하, 수신 장치(130)로써의 스케일러블 비디오 재생 장치에 대하여 상세하게 설명한다.
도 2는 본 발명의 실시예에 따른 스케일러블 비디오 재생 장치의 기능 블럭을 나타낸 구성도이다.
도 2에 도시된 스케일러블 비디오 재생 장치는, 스케일러블 비디오의 인코딩시 시그널링하는 장치로써, 부호화부(encoding part)(210), 디코딩부(decoding part)(220), 시그널 디코딩부(signal decoding part)(230), 시그널링부(signaling part)(240) 및 비디오 출력부(video output part)(250)를 포함한다.
부호화부(210)는 스케일러블 비디오를 해상도 변경없이 동일한 해상도로 출력하도록 디코딩부(220)에 시그널링한다.
디코딩부(220)는 시그널링을 근거로 스케일러블 비디오를 해상도 변경없이 최종 해상도 정보에 따라 동일한 해상도로 디코딩하여 최종 비디오 원본 데이터(raw data)를 출력한다.
시그널 디코딩부(230)는 송신 장치(110)부터 통신망(120)을 전송된 스케일러블 비디오로부터 비디오 정보를 파싱(Parsing)하여 최종 재생 해상도 정보를 얻는다. 여기서, 비디오 정보는, 타깃 해상도 SEI(Target Resolution Supplemental Enhancement information) 또는 SPS(Sequence Parameter Set)를 포함한다.
또한, 시그널 디코딩부(230)는 SPS를 파싱하여 fixed_resolution_flag 값이 1이면 SPS의 해상도 값을 최종 재생 해상도 정보로 결정한다.
또한, 시그널 디코딩부(230)는 최종 재생 해상도에 대하여, 타깃 해상도 SEI를 파싱하여 pic_width_minus1+1을 가로 해상도, pic_height_minus1+1을 세로 해상도로 결정한다.
또한, 시그널 디코딩부(230)는 비트스트림 분리기(bitstream parser)의 일부가 된다.
시그널링부(240)는 최종 재생 해상도 정보를 스케일러블 비디오의 비트스트림에 삽입하여 디코딩부(220)에 전달한다.
비디오 출력부(250)는 디코딩된 최종 비디오 원본 데이터의 해상도와 최종 재생 해상도 정보를 비교하여 최종 비디오 원본 데이터를 최종 재생 해상도 정보에 맞게 보간(interpolation)하여 출력한다.
도 3은 본 발명의 다른 실시예에 따른 스케일러블 비디오 재생 장치의 기능 블럭을 나타낸 구성도이다.
도 3에 도시된 스케일러블 비디오 재생 장치는, 비트스트림 추출기를 포함해 시그널링하는 장치로써, 도 2의 부호화부(210)가 비트스트림 추출부(310)로 대체되고 나머지 구성은 도 2에 도시된 구성 요소와 동일하며 동일한 기능을 갖는다. 따라서, 도 3에서 도 2와 동일한 구성 요소에 대해 도 2와 동일한 도면부호를 사용한다.
도 3에서 비트스트림 추출부(bitstream extractor)(310)는 부호화된 스케일러블 비디오에서 불필요한 계층을 제거하여 해상도에 맞는 비트스트림을 추출한다.
즉, 비트스트림 추출부(310)는, 인코딩된 스케일러블 비디오를 해상도에 맞게 공간 계층(spatial layer)을 잘라내어 비트스트림을 추출한다.
또한, 비트스트림 추출부(310)는 스케일러블 비디오의 계층적 B 픽처 구 조(hirarchical B picture structure)에서 프레임율에 맞게 불필요한 B 픽처를 제거하거나, 스케일러블 비디오가 MGS로 부호화된 경우에 타깃 전송율(target bit rate)에 맞게 불필요한 계층을 제거하여 비트스트림을 추출한다.
비트스트림 추출부(310)는 스케일러블 비디오, 즉 SVC 비디오를 다양한 디바이스(device)에 제공하거나 실시간으로 네트워크의 상황에 맞게 전송하는 경우, 디바이스나 네트워크 상황에 맞게 SVC 비디오를 맞추어 준다.
만약, 서비스 제공자가 해상도를 동적으로 변경하면서 SVC 비디오를 제공하지만 실제로 디바이스에서는 동일한 해상도로 재생되기를 원하는 경우, 비트스트림 추출부(310)는 최종 재생 해상도에 대한 시그널을 비트스트림에 삽입하여 디코딩부(220)로 전달한다.
도 4는 본 발명의 실시예에 따른 스케일러블 비디오 재생 장치의 스케일러블 비디오 재생 방법을 설명하기 위한 동작 흐름도이다.
도 4를 참조하면, 본 발명에 따른 스케일러블 비디오 재생 장치는 송신 장치(110)로부터 통신망(120)을 통해 수신된 스케일러블 비디오로부터 비디오 정보를 파싱(Parsing)하여 최종 재생 해상도 정보를 얻는다(S410).
여기서, 비디오 정보는, 타깃 해상도 SEI(Target Resolution Supplemental Enhancement information) 또는 SPS(Sequence Parameter Set)를 포함한다.
이때, 스케일러블 비디오 재생 장치는 시그널 디코딩부(230)를 통해 SPS를 파싱(parsing)하여 도 5에 도시된 바와 같이 fixed_resolution_flag 값이 1이면 SPS의 해상도 값을 최종 재생 해상도 정보로 결정한다. 여기서, 도 5는 본 발명의 실시예에 따라 SPS 정보에 최종 재생 해상도를 시그널링하는 스케일러블 비디오의 비트스트림 신택스(syntax)를 나타낸 도면이다. SPS는 인코딩 시 결정되므로 비트스트림 추출부(310)에서는 그 값을 바꾸는 것이 쉽지 않다.
또한, 스케일러블 비디오 재생 장치는 시그널 디코딩부(230)를 통해 최종 재생 해상도에 대하여, 타깃 해상도 SEI를 파싱하여 도 6에 도시된 바와 같이 pic_width_minus1+1을 가로 해상도, pic_height_minus1+1을 세로 해상도로 결정한다. 여기서, 도 6은 본 발명의 실시예에 따른 스케일러블 비디오의 시그널링을 위한 타깃 해상도 SEI의 신택스(syntax)를 나타낸 도면이다.
이어, 스케일러블 비디오 재생 장치는 이렇게 얻은 최종 재생 해상도 정보를 시그널링부(240)를 통해 스케일러블 비디오의 비트스트림에 삽입하여 디코딩부(220)에 전달한다(S420).
이때, 스케일러블 비디오 재생 장치는 비트스트림 추출부(310)에서 시그널링하는 경우, 부호화된 스케일러블 비디오에서 비트스트림 추출부(310)를 통해 불필요한 계층을 제거하여 해상도에 맞는 비트스트림을 추출하고, 최종 재생 해상도 정보를 비트스트림에 삽입하여 디코딩부(220)에 전달할 수 있다.
또한, 스케일러블 비디오 재생 장치는 비트스트림 추출부(310)를 통해 스케일러블 비디오의 계층적 B 픽처 구조(hirarchical B picture structure)에서 프레임율에 맞게 불필요한 B 픽처를 제거하거나, 스케일러블 비디오가 MGS로 부호화된 경우에 타깃 전송율(target bit rate)에 맞게 불필요한 계층을 제거하여 비트스트 림을 추출할 수 있다.
스케일러블 비디오의 비트스트림은 기본 계층(Basic Layer)과 기본 계층 위에 연속적으로 쌓을 수 있는 하나 이상의 확장 계층(Enhancement Layer)들로 이루어진다. 각 확장 계층은 하위 계층 정보를 기반으로 각각에게 주어진 최대의 비트율(bit rate), 프레임율(frame rate) 및 해상도(resolution)를 표현할 수 있다. SVC에서는 확장 계층을 연속적으로 많이 쌓을수록 다양한 비트율, 화면율, 해상도의 지원이 가능하다.
이처럼, SVC는 각종 방송망과 통신망이 혼재하는 다양한 망 환경에서 발생하는 대역폭의 다양성 문제, 수신 단말기 성능과 해상도의 다양성 문제, 콘텐츠 소비자의 다양한 선호도 문제 등을 복합적으로 해결할 수 있는 부호화 기술이다.
이러한 SVC 비디오 비트스트림은 아래의 예시와 같이, 해상도, 비트율, 프레임율 정보를 제공하는 SEI 데이터를 포함한다. SVC 비디오 데이터를 사용하는 스트리밍 서비스 제공을 위해서는 전체 해상도를 가지는 SVC 비디오 데이터를 분석하여 사용자가 요구하는 사양의 비디오 데이터를 추출하는 비트스트림 추출기가 필요하다.
이어, 스케일러블 비디오 재생 장치는 부호화부(210)를 통해 스케일러블 비디오를 해상도 변경없이 동일한 해상도로 출력하도록 디코딩부(220)에 시그널링한다(S430).
이어, 스케일러블 비디오 재생 장치는 시그널링을 근거로 스케일러블 비디오를 디코딩부(220)를 통해 해상도의 변경없이 최종 해상도 정보에 따라 동일한 해상 도로 디코딩하여 최종 비디오 원본 데이터(raw data)를 출력한다(S440).
그리고, 스케일러블 비디오 재생 장치는 디코딩된 최종 비디오 원본 데이터의 해상도와 최종 재생 해상도 정보를 비교하여 최종 비디오 원본 데이터를 비디오 출력부(250)를 통해 최종 재생 해상도 정보에 맞게 보간(interpolation)하여 출력한다(S450).
전술한 바와 같이 본 발명에 의하면, 디코더의 최종 해상도와, 재생되는 스케일러블 비디오의 해상도가 다름을 디코더에 알려주기 위해, 인코더 또는 비트스트림 추출기에서 최종 재생 해상도를 나타내는 시그널을 비트스트림에 삽입하여 디코더에 알리고, 디코더가 해당 시그널을 해석하여 최종 재생 해상도에 맞게 스케일러블 비디오를 디코딩하여 출력하도록 된, 스케일러블 비디오 재생 시스템 및 방법, 스케일러블 비디오 재생 장치 및 그의 스케일러블 비디오 재생 방법을 실현할 수 있다.
본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 서버나 송신 장치에서 통신망을 통해 수신 장치나 단말기로 스케일러블 비디오를 전송하는 서비스나 시스템에 적용할 수 있다.
또한, 서비스 제공자가 해상도를 동적으로 변경하면서 스케일러블 비디오를 제공하여 수신측에서 해상도를 변경하여 디코딩하는 단말기나 장치에 적용할 수 있다.
그리고, 서버나 송신 장치에서 전송해 준 스케일러블 비디오에 대해 해상도 변경없이 동일한 해상도로 출력할 수 있도록 하는 비디오 재생 서비스나 장치 및 시스템 등에 적용할 수 있다.
도 1은 본 발명의 실시예에 따른 스케일러블 비디오 재생 시스템의 구성을 개략적으로 나타낸 구성도이다.
도 2는 본 발명의 실시예에 따른 스케일러블 비디오 재생 장치의 기능 블럭을 나타낸 구성도이다.
도 3은 본 발명의 다른 실시예에 따른 스케일러블 비디오 재생 장치의 기능 블럭을 나타낸 구성도이다.
도 4는 본 발명의 실시예에 따른 스케일러블 비디오 재생 장치의 스케일러블 비디오 재생 방법을 설명하기 위한 동작 흐름도이다.
도 5는 본 발명의 실시예에 따라 SPS 정보에 최종 재생 해상도를 시그널링하는 스케일러블 비디오의 비트스트림 신택스를 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 스케일러블 비디오의 시그널링을 위한 타깃 해상도 SEI의 신택스를 나타낸 도면이다.
< 도면의 주요 부분에 대한 부호의 설명 >
100 : 스케일러블 비디오 재생 시스템 110 : 송신 장치
120 : 통신망 130 : 수신 장치
210 : 부호화부 220 : 디코딩부
230 : 시그널 디코딩부 240 : 시그널링부
250 : 비디오 출력부 310 : 비트스트림 추출부

Claims (17)

  1. 최종 재생 해상도 정보가 포함된 스케일러블 비디오를 네트워크를 통해 송출하는 송신 장치; 및
    상기 송신 장치로부터 네트워크를 통해 수신된 스케일러블 비디오를 디코딩하여 스케일러블 비디오 원본 데이터를 생성하고, 상기 스케일러블 비디오로부터 상기 최종 재생 해상도 정보를 추출하여 상기 스케일러블 비디오 원본 데이터의 해상도와 상기 최종 재생 해상도 정보를 비교한 후, 상기 스케일러블 비디오 원본 데이터를 상기 최종 재생 해상도 정보에 맞게 보간(Interpolation)하여 출력하는 수신 장치;
    를 포함하는 스케일러블 비디오 재생 시스템.
  2. 송신측으로부터 네트워크를 통해 전송된 스케일러블 비디오로부터 비디오 정보를 파싱(Parsing)하여 최종 재생 해상도 정보를 얻는 시그널 디코딩부;
    상기 최종 재생 해상도 정보를 상기 스케일러블 비디오의 비트스트림에 삽입하여 디코딩부에 전달하는 시그널링부;
    상기 스케일러블 비디오를 해상도 변경없이 동일한 해상도로 출력하도록 디코딩부에 시그널링하는 부호화부;
    상기 시그널링을 근거로 상기 스케일러블 비디오를 해상도 변경없이 상기 최종 해상도 정보에 따라 동일한 해상도로 디코딩하여 최종 비디오 원본 데이터(raw data)를 출력하는 디코딩부; 및
    상기 디코딩된 최종 비디오 원본 데이터의 해상도와 상기 최종 재생 해상도 정보를 비교하여 상기 최종 비디오 원본 데이터를 상기 최종 재생 해상도 정보에 맞게 보간(interpolation)하여 출력하는 비디오 출력부;
    를 포함하는 스케일러블 비디오 재생 장치.
  3. 제 2 항에 있어서,
    상기 비디오 정보는, 타깃 해상도 SEI(Target Resolution Supplemental Enhancement information) 또는 SPS(Sequence Parameter Set)를 포함하는 것을 특징으로 하는 스케일러블 비디오 재생 장치.
  4. 제 3 항에 있어서,
    상기 시그널 디코딩부는, 상기 SPS를 파싱하여 fixed_resolution_flag 값이 1이면 상기 SPS의 해상도 값을 상기 최종 재생 해상도 정보로 결정하는 것을 특징으로 하는 스케일러블 비디오 재생 장치.
  5. 제 3 항에 있어서,
    상기 시그널 디코딩부는, 상기 최종 재생 해상도에 대하여, 상기 타깃 해상도 SEI를 파싱하여 pic_width_minus1+1을 가로 해상도, pic_height_minus1+1을 세로 해상도로 결정하는 것을 특징으로 하는 스케일러블 비디오 재생 장치.
  6. 송신측으로부터 네트워크를 통해 전송된 스케일러블 비디오로부터 비디오 정보를 파싱(Parsing)하여 최종 재생 해상도 정보를 얻는 시그널 디코딩부;
    부호화된 스케일러블 비디오에서 불필요한 계층을 제거하여 해상도에 맞는 비트스트림을 추출하는 비트스트림 추출부;
    상기 최종 재생 해상도 정보를 상기 스케일러블 비디오의 비트스트림에 삽입하여 디코딩부에 전달하는 시그널링부;
    상기 시그널링을 근거로 상기 스케일러블 비디오를 해상도 변경없이 상기 최종 해상도 정보에 따라 동일한 해상도로 디코딩하여 최종 비디오 원본 데이터(raw data)를 출력하는 디코딩부; 및
    상기 디코딩된 최종 비디오 원본 데이터의 해상도와 상기 최종 재생 해상도 정보를 비교하여 상기 최종 비디오 원본 데이터를 상기 최종 재생 해상도 정보에 맞게 보간(interpolation)하여 출력하는 비디오 출력부;
    를 포함하는 스케일러블 비디오 재생 장치.
  7. 제 6 항에 있어서,
    상기 비트스트림 추출부는, 상기 스케일러블 비디오의 계층적 B 픽처 구조(hirarchical B picture structure)에서 프레임율에 맞게 불필요한 B 픽처를 제거하거나, 상기 스케일러블 비디오가 MGS로 부호화된 경우에 타깃 전송율(target bit rate)에 맞게 불필요한 계층을 제거하여 비트스트림을 추출하는 것을 특징으로 하는 스케일러블 비디오 재생 장치.
  8. 제 6 항에 있어서,
    상기 비디오 정보는, 타깃 해상도 SEI(Target Resolution Supplemental Enhancement information) 또는 SPS(Sequence Parameter Set)를 포함하는 것을 특징으로 하는 스케일러블 비디오 재생 장치.
  9. 제 8 항에 있어서,
    상기 시그널 디코딩부는, 상기 SPS를 파싱하여 fixed_resolution_flag 값이 1이면 상기 SPS의 해상도 값을 상기 최종 재생 해상도 정보로 결정하는 것을 특징으로 하는 스케일러블 비디오 재생 장치.
  10. 제 8 항에 있어서,
    상기 시그널 디코딩부는, 상기 최종 재생 해상도에 대하여, 상기 타깃 해상도 SEI를 파싱하여 pic_width_minus1+1을 가로 해상도, pic_height_minus1+1을 세로 해상도로 결정하는 것을 특징으로 하는 스케일러블 비디오 재생 장치.
  11. 송신측으로부터 네트워크를 통해 스케일러블 비디오를 수신하는 비디오 재생 장치의 스케일러블 비디오 재생 방법으로서,
    (a) 상기 스케일러블 비디오로부터 비디오 정보를 파싱(Parsing)하여 최종 재생 해상도 정보를 얻는 단계;
    (b) 상기 최종 재생 해상도 정보를 상기 스케일러블 비디오의 비트스트림에 삽입하여 디코딩부에 전달하는 단계;
    (c) 상기 스케일러블 비디오를 해상도 변경없이 동일한 해상도로 출력하도록 디코딩부에 시그널링하는 단계;
    (d) 상기 시그널링을 근거로 상기 스케일러블 비디오를 해상도 변경없이 상기 최종 해상도 정보에 따라 동일한 해상도로 디코딩하여 최종 비디오 원본 데이터(raw data)를 출력하는 단계; 및
    (e) 상기 디코딩된 최종 비디오 원본 데이터의 해상도와 상기 최종 재생 해상도 정보를 비교하여 상기 최종 비디오 원본 데이터를 상기 최종 재생 해상도 정보에 맞게 보간(interpolation)하여 출력하는 단계;
    를 포함하는 비디오 재생 장치의 스케일러블 비디오 재생 방법.
  12. 제 11 항에 있어서,
    상기 (a) 단계에서 상기 비디오 정보는, 타깃 해상도 SEI(Target Resolution Supplemental Enhancement information) 또는 SPS(Sequence Parameter Set)를 포함하는 것을 특징으로 하는 비디오 재생 장치의 스케일러블 비디오 재생 방법.
  13. 제 12 항에 있어서,
    상기 (a) 단계는 상기 SPS를 파싱하여 fixed_resolution_flag 값이 1이면 상 기 SPS의 해상도 값을 상기 최종 재생 해상도 정보로 결정하는 것을 특징으로 하는 비디오 재생 장치의 스케일러블 비디오 재생 방법.
  14. 제 12 항에 있어서,
    상기 (a) 단계는 상기 최종 재생 해상도에 대하여, 상기 타깃 해상도 SEI를 파싱하여 pic_width_minus1+1을 가로 해상도, pic_height_minus1+1을 세로 해상도로 결정하는 것을 특징으로 하는 비디오 재생 장치의 스케일러블 비디오 재생 방법.
  15. 제 11 항에 있어서,
    상기 (b) 단계는 부호화된 스케일러블 비디오에서 불필요한 계층을 제거하여 해상도에 맞는 상기 비트스트림을 추출하고, 상기 최종 재생 해상도 정보를 상기 비트스트림에 삽입하여 디코딩부에 전달하는 것을 특징으로 하는 비디오 재생 장치의 스케일러블 비디오 재생 방법.
  16. 제 15 항에 있어서,
    상기 (b) 단계는 상기 스케일러블 비디오의 계층적 B 픽처 구조(hirarchical B picture structure)에서 프레임율에 맞게 불필요한 B 픽처를 제거하거나, 상기 스케일러블 비디오가 MGS로 부호화된 경우에 타깃 전송율(target bit rate)에 맞게 불필요한 계층을 제거하여 비트스트림을 추출하는 것을 특징으로 하는 비디오 재생 장치의 스케일러블 비디오 재생 방법.
  17. 송신측으로부터 네트워크를 통해 스케일러블 비디오를 수신하는 비디오 재생 장치의 스케일러블 비디오 재생 방법을 프로그램으로 기록한 매체로서,
    (a) 상기 스케일러블 비디오로부터 비디오 정보를 파싱(Parsing)하여 최종 재생 해상도 정보를 얻는 단계;
    (b) 상기 최종 재생 해상도 정보를 상기 스케일러블 비디오의 비트스트림에 삽입하여 디코딩부에 전달하는 단계;
    (c) 상기 스케일러블 비디오를 해상도 변경없이 동일한 해상도로 출력하도록 디코딩부에 시그널링하는 단계;
    (d) 상기 시그널링을 근거로 상기 스케일러블 비디오를 해상도 변경없이 상기 최종 해상도 정보에 따라 동일한 해상도로 디코딩하여 최종 비디오 원본 데이터(raw data)를 출력하는 단계; 및
    (e) 상기 디코딩된 최종 비디오 원본 데이터의 해상도와 상기 최종 재생 해상도 정보를 비교하여 상기 최종 비디오 원본 데이터를 상기 최종 재생 해상도 정보에 맞게 보간(interpolation)하여 출력하는 단계;
    를 포함하는 비디오 재생 장치의 스케일러블 비디오 재생 방법을 프로그램으로 기록한 컴퓨터로 읽을 수 있는 매체.
KR1020090077590A 2009-08-21 2009-08-21 해상도 시그널링을 이용한 스케일러블 비디오 재생 시스템 및 방법 KR101124723B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090077590A KR101124723B1 (ko) 2009-08-21 2009-08-21 해상도 시그널링을 이용한 스케일러블 비디오 재생 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090077590A KR101124723B1 (ko) 2009-08-21 2009-08-21 해상도 시그널링을 이용한 스케일러블 비디오 재생 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20110019955A KR20110019955A (ko) 2011-03-02
KR101124723B1 true KR101124723B1 (ko) 2012-03-23

Family

ID=43929379

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090077590A KR101124723B1 (ko) 2009-08-21 2009-08-21 해상도 시그널링을 이용한 스케일러블 비디오 재생 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101124723B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130116782A (ko) 2012-04-16 2013-10-24 한국전자통신연구원 계층적 비디오 부호화에서의 계층정보 표현방식
KR102248848B1 (ko) 2013-10-26 2021-05-06 삼성전자주식회사 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
KR101713492B1 (ko) 2016-06-27 2017-03-07 가천대학교 산학협력단 영상 복호화 방법, 영상 부호화 방법, 영상 복호화 장치, 및 영상 부호화 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100825743B1 (ko) 2005-11-15 2008-04-29 한국전자통신연구원 실시간으로 비트스트림의 공간 해상도를 변환할 수 있는스케일러블 비디오 코딩 방법 및 그 방법을 이용한 코덱
KR20090080452A (ko) * 2008-01-21 2009-07-24 삼성전자주식회사 영상 부호화/복호화 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100825743B1 (ko) 2005-11-15 2008-04-29 한국전자통신연구원 실시간으로 비트스트림의 공간 해상도를 변환할 수 있는스케일러블 비디오 코딩 방법 및 그 방법을 이용한 코덱
KR20090080452A (ko) * 2008-01-21 2009-07-24 삼성전자주식회사 영상 부호화/복호화 장치 및 방법

Also Published As

Publication number Publication date
KR20110019955A (ko) 2011-03-02

Similar Documents

Publication Publication Date Title
KR101927016B1 (ko) 멀티미디어 파일 라이브 방송 방법, 시스템 및 서버
AU2007319699B2 (en) Techniques for variable resolution encoding and decoding of digital video
JP6414062B2 (ja) 画像復号装置および方法
JPWO2009128515A1 (ja) ゲートウエイ装置と方法
EP3148200B1 (en) Information processing device and method selecting content files based on encoding parallelism type
CN103069828A (zh) 提供用于串流传输视频数据的序列数据集
EP3493547B1 (en) Video streaming delivery
JP6508206B2 (ja) 情報処理装置および方法
KR101296059B1 (ko) 다중­소스 멀티미디어 프레젠테이션들을 저장하기 위한 방법 및 시스템
KR20170005366A (ko) 고 해상도 영상에서의 영상 추출 장치 및 방법
JP6481206B2 (ja) 情報処理装置、コンテンツ要求方法およびコンピュータプログラム
JP2019110542A (ja) サーバ装置、クライアント装置、コンテンツ配信方法およびコンピュータプログラム
KR101124723B1 (ko) 해상도 시그널링을 이용한 스케일러블 비디오 재생 시스템 및 방법
JP6501127B2 (ja) 情報処理装置および方法
KR20110025367A (ko) 멀티미디어 트랜스코딩 클라이언트 장치 및 방법
US20110150073A1 (en) Scalable video transcoding device
KR20120012089A (ko) 스케일러블 비디오 코딩기법을 활용하는 영상 제공 시스템 및 그 방법
EP4270968A1 (en) Media file generation/reception method and device for signaling subpicture id information, and computer-readable recording medium in which media file is stored
EP4266689A1 (en) Method and device for generating/receiving media file including nal unit information, and method for transmitting media file
JP2012034138A (ja) 信号処理装置及び信号処理方法
KR101684705B1 (ko) 미디어 컨텐츠 재생 장치 및 방법
CN116569557A (zh) 支持以样本为单位的随机访问的媒体文件生成/接收方法和设备及发送媒体文件的方法
KR20120058373A (ko) Ｓｖｃ 서버를 이용한 ｈｔｔｐ 스트리밍 수신 비디오 전송 및 단말 재생 시스템
JP2012170125A (ja) 信号処理装置及び信号処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150128

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160128

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170203

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180202

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190207

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20200204

Year of fee payment: 9