KR20180076720A - 동영상 전송 장치 및 동영상 재생 장치 - Google Patents

동영상 전송 장치 및 동영상 재생 장치 Download PDF

Info

Publication number
KR20180076720A
KR20180076720A KR1020160181191A KR20160181191A KR20180076720A KR 20180076720 A KR20180076720 A KR 20180076720A KR 1020160181191 A KR1020160181191 A KR 1020160181191A KR 20160181191 A KR20160181191 A KR 20160181191A KR 20180076720 A KR20180076720 A KR 20180076720A
Authority
KR
South Korea
Prior art keywords
frame
alpha channel
moving picture
color
unit
Prior art date
Application number
KR1020160181191A
Other languages
English (en)
Inventor
이용범
이주철
정영환
조선영
김원용
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020160181191A priority Critical patent/KR20180076720A/ko
Priority to US15/857,592 priority patent/US10728562B2/en
Publication of KR20180076720A publication Critical patent/KR20180076720A/ko
Priority to KR1020230189732A priority patent/KR20240007097A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/0806—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division the signals being two or more video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/21—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with binary alpha-plane coding for video objects, e.g. context-based arithmetic encoding [CAE]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/76—Circuits for processing colour signals for obtaining special effects for mixing of colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H04N9/78—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase for separating the brightness signal or the chrominance signal from the colour television signal, e.g. using comb filter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/808—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the composite colour video-signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/27—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving both synthetic and natural picture components, e.g. synthetic natural hybrid coding [SNHC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

알파 채널이 포함된 동영상을 전송하는 동영상 전송 장치는 원본 동영상으로부터 객체 포함 영역을 추출하는 객체 영역 추출부, 상기 추출된 객체 포함 영역에 대한 컬러 프레임을 생성하는 컬러 프레임 생성부, 상기 원본 동영상에 포함된 알파 채널(Alpha Channel)로부터 상기 추출된 객체 포함 영역에 대응하는 알파 채널 프레임을 생성하는 알파 채널 프레임 생성부, 상기 생성된 컬러 프레임과 알파 채널 프레임을 합성하여 합성 프레임을 생성하는 합성부, 상기 생성된 합성 프레임을 인코딩하는 인코딩부 및 상기 인코딩된 합성 프레임을 동영상 재생 장치로 전송하는 전송부를 포함한다.

Description

동영상 전송 장치 및 동영상 재생 장치{VIDEO TRANSMITTING DEVICE AND VIDEO PLAYING DEVICE}
본 발명은 동영상 전송 장치 및 동영상 재생 장치에 관한 것이다.
알파 채널(Alpha Channel)이란 이미지의 특정 영역을 가리거나 제어하는 특수한 채널을 말한다. 일반적으로 디스플레이 화면은 3개의 채널로 구성되며, R(red), G(green), B(blue)의 3개의 빛을 합성하여 이미지를 생성한다. 이 3개의 채널 외에 4번째의 채널을 알파 채널이라고 하며, 알파 채널은 흑과 백으로 구성되며, 다른 이미지와 합성되는 채널로 이용된다.
이러한 알파 채널 기술과 관련하여 선행기술인 한국등록특허 제 10-0695133호는 알파채널 영상을 위한 부호화블럭 패턴 생성장치 및 방법과 이를 이용한 알파채널 영상 부호화/복호화 장치 및 방법을 개시하고 있다.
최근에는 알파 채널을 이용하여 가상광고와 같은 AR(Augmented Reality) 관련 서비스를 제공할 수 있게 되었다. 가상광고와 같은 AR 관련 서비스를 제공하기 위해서는 알파 채널을 지원하는 WebM이라는 비디오 형식을 이용해야 한다. WebM은 VP8 및 VP9 코덱 기반 기술로, 댁내 사용자 단말에서 알파 채널을 이용한 가상광고를 제공받기 위해서는 댁내 사용자 단말이 해당 코덱을 지원해야만 한다. 그러나 대부분의 댁내 사용자 단말에서는 H.264 코덱만을 지원하며, VP8 및 VP9 코덱을 지원하지 않는다. 따라서, 가상광고와 같은 AR관련 서비스를 제공받기 위해서는 댁내 사용자 단말을 교체 해야 하는 불편함이 존재한다.
알파 채널과 관련된 코덱을 지원하지 않는 댁내 사용자 단말에서도 알파 채널 프레임을 지원하는 동영상을 재생할 수 있도록 하는 동영상 전송 장치 및 동영상 재생 장치를 제공하고자 한다. 기존의 IPTV의 셋탑박스를 교체하지 않고도 알파 채널 프레임이 적용된 AR 관련 서비스 및 실시간 가상 광고 서비스를 제공할 수 있는 동영상 전송 장치 및 동영상 재생 장치를 제공하고자 한다. 컬러 프레임 및 알파 채널 프레임을 합성하여 합성 프레임을 생성하고, 생성된 합성 프레임을 다양한 서비스에서 응용할 수 있도록 하는 동영상 전송 장치 및 동영상 재생 장치를 제공하고자 한다. 알파 채널 프레임의 추가로 인하여 데이터 전송 트래픽이 증가되지 않도록 하는 알패 채널 프레임의 전송 및 재생이 가능하도록 하는 동영상 전송 장치 및 동영상 재생 장치를 제공하고자 한다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 수단으로서, 원본 동영상으로부터 객체 포함 영역을 추출하는 객체 영역 추출부, 상기 추출된 객체 포함 영역에 대한 컬러 프레임을 생성하는 컬러 프레임 생성부, 상기 원본 동영상에 포함된 알파 채널(Alpha Channel)로부터 상기 추출된 객체 포함 영역에 대응하는 알파 채널 프레임을 생성하는 알파 채널 프레임 생성부, 상기 생성된 컬러 프레임과 알파 채널 프레임을 합성하여 합성 프레임을 생성하는 합성부, 상기 생성된 합성 프레임을 인코딩하는 인코딩부 및 상기 인코딩된 합성 프레임을 동영상 재생 장치로 전송하는 전송부를 포함하는 동영상 전송 장치를 제공할 수 있다.
본 발명의 다른 실시예는, 동영상 전송 장치로부터 합성 프레임을 수신하는 수신부, 상기 합성 프레임을 디코딩하는 디코딩부, 상기 디코딩된 합성 프레임을 컬러 프레임 및 알파 채널 프레임으로 분리하는 프레임 분리부 및 상기 분리된 컬러 프레임 및 알파 채널 프레임을 렌더링하는 렌더링부를 포함하고, 상기 컬러 프레임 및 상기 알파 채널 프레임은, 상기 동영상 전송 장치에 의해 원본 동영상으로부터 추출된 객체 포함 영역에 대해 생성되는 것인 동영상 재생 장치를 제공할 수 있다.
본 발명의 또 다른 실시예는, 원본 동영상으로부터 객체 포함 영역을 추출하는 단계, 상기 추출된 객체 포함 영역에 대한 컬러 프레임을 생성하는 단계, 상기 원본 동영상에 포함된 알파 채널(Alpha Channel)로부터 상기 추출된 객체 포함 영역에 대응하는 알파 채널 프레임을 생성하는 단계 및 상기 생성된 컬러 프레임 및 알파 채널 프레임을 합성하여 합성 프레임을 생성하는 단계를 포함하되, 상기 합성 프레임은 상기 컬러 프레임 및 상기 알파 채널 프레임이 오버랩되지 않게 나란히 배열된 것인 동영상 처리 방법을 제공할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 알파 채널과 관련된 코덱을 지원하지 않는 댁내 사용자 단말에서도 알파 채널 프레임을 지원하는 동영상을 재생할 수 있도록 하는 동영상 전송 장치 및 동영상 재생 장치를 제공할 수 있다. 기존의 IPTV의 셋탑박스를 교체하지 않고도 알파 채널 프레임이 적용된 AR 관련 서비스 및 실시간 가상 광고 서비스를 제공할 수 있는 동영상 전송 장치 및 동영상 재생 장치를 제공할 수 있다. 컬러 프레임 및 알파 채널 프레임을 합성하여 합성 프레임을 생성하고, 생성된 합성 프레임을 다양한 서비스에서 응용할 수 있도록 하는 동영상 전송 장치 및 동영상 재생 장치를 제공할 수 있다. 알파 채널 프레임의 추가로 인하여 데이터 전송 트래픽이 증가되지 않도록 하는 동영상 전송 장치 및 동영상 재생 장치를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 동영상 제공 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 동영상 전송 장치의 구성도이다.
도 3a 내지 도 3d는 본 발명의 일 실시예에 따른 동영상 전송 장치에서 알파 채널이 포함된 동영상을 합성하는 과정을 설명하기 위한 예시적인 도면이다.
도 4a 내지 도 4c는 본 발명의 일 실시예에 따른 동영상 전송 장치에서 알파 채널이 포함된 동영상을 프리 인코딩하는 과정을 설명하기 위한 예시적인 도면이다.
도 5는 본 발명의 일 실시예에 따른 렌더링 정보를 설명하기 위한 예시적인 도면이다.
도 6은 본 발명의 일 실시예에 따른 동영상 전송 장치에서 알파 채널이 포함된 동영상을 처리하는 방법의 순서도이다.
도 7은 본 발명의 일 실시예에 따른 동영상 재생 장치의 구성도이다.
도 8a 내지 도 8d는 본 발명의 일 실시예에 따른 동영상 재생 장치에서 알파 채널이 포함된 동영상을 재생하는 과정을 설명하기 위한 예시적인 도면이다.
도 9는 본 발명의 일 실시예에 따른 동영상 재생 장치에서 컬러 프레임 및 알파 채널 프레임을 배경 영상 위에 렌더링한 예시적인 도면이다.
도 10은 본 발명의 일 실시예에 따른 동영상 재생 장치에서 알파 채널이 포함된 동영상을 재생하는 방법의 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 동영상 제공 시스템의 구성도이다. 도 1을 참조하면, 동영상 제공 시스템(1)은 컨텐츠 제공 서버(110), 동영상 전송 장치(120) 및 동영상 재생 장치(130)를 포함할 수 있다. 컨텐츠 제공 서버(110), 동영상 전송 장치(120) 및 동영상 재생 장치(130)는 동영상 제공 시스템(1)에 의하여 제어될 수 있는 구성요소들을 예시적으로 도시한 것이다.
도 1의 동영상 제공 시스템(1)의 각 구성요소들은 일반적으로 네트워크(network)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 동영상 전송 장치(120)는 컨텐츠 제공 서버(110) 및 동영상 재생 장치(130)와 동시에 또는 시간 간격을 두고 연결될 수 있다.
네트워크는 단말들 및 서버들과 같은 각각의 노드 상호간에 정보교환이 가능한 연결구조를 의미하는 것으로, 이러한 네트워크의 일예는, 3G, 4G, 5G, Wi-Fi, 블루투스(Bluetooth), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network) 등이 포함되나 이에 한정되지는 않는다.
컨텐츠 제공 서버(110)는 알파 채널이 포함된 원본 동영상을 동영상 전송 장치(120)로 전송할 수 있다. 또한, 컨텐츠 제공 서버(110)는 배경 영상을 동영상 전송 장치(120)로 전송할 수 있다. 여기서, 배경 영상은 방송 영상일 수 있다.
동영상 전송 장치(120)는 원본 동영상으로부터 객체 포함 영역을 추출할 수 있다. 잠시 도 3a를 참조하면, 객체 포함 영역은 객체를 포함하는 직사각형의 영역일 수 있다.
다시 도 1로 돌아와서, 동영상 전송 장치(120)는 추출된 객체 포함 영역에 대한 컬러 프레임을 생성할 수 있다. 또한, 동영상 전송 장치(120)는 원본 동영상에 포함된 알파 채널(Alpha Channel)로부터 추출된 객체 포함 영역에 대응하는 알파 채널 프레임을 생성할 수 있다. 이 때, 동영상 전송 장치(120)는 컬러 프레임의 크기 및 알파 채널 프레임의 크기를 원본 동영상의 한 프레임의 절반 크기의 이하가 되도록 생성할 수 있다.
동영상 전송 장치(120)는 컬러 프레임에서 객체를 둘러싼 영역을 단색으로 처리할 수 있다. 예를 들어, 동영상 전송 장치(120)는 합성 프레임의 인코딩을 수행하기 전에 컬러 프레임에서 객체를 둘러싼 영역을 단색으로 처리할 수 있다.
동영상 전송 장치(120)는 생성된 컬러 프레임과 알파 채널 프레임을 합성하여 합성 프레임을 생성하고, 생성된 합성 프레임을 인코딩할 수 있다. 이 때, 동영상 전송 장치(120)는 합성 프레임의 크기가 원본 동영상의 한 프레임의 크기의 이하가 되도록 생성하되, 컬러 프레임 및 알파 채널 프레임을 오버랩되지 않게 나란히 배열하여 합성 프레임을 생성할 수 있다.
동영상 전송 장치(120)는 인코딩된 합성 프레임을 동영상 재생 장치(130)로 전송할 수 있다. 또한, 동영상 전송 장치(120)는 합성 프레임에 대한 배경 영상을 동영상 재생 장치(130)로 전송할 수 있다. 합성 프레임은 동영상 재생 장치(130)에 의해 배경 영상 위에 오버랩되도록 렌더링될 수 있다.
동영상 전송 장치(120)는 합성 프레임이 배경 영상에 렌더링되도록 하는 렌더링 정보를 동영상 재생 장치(130)로 전송할 수 있다. 렌더링 정보는 배경 영상 위에 렌더링되는 위치에 대응하는 객체 포함 영역의 좌표 정보를 포함할 수 있다. 또한, 렌더링 정보는 배경 영상 위에 렌더링되는 시점에 대응하는 객체 포함 영역의 시간 정보를 포함할 수 있다.
동영상 재생 장치(130)는 동영상 전송 장치(120)로부터 합성 프레임을 수신할 수 있다. 또한, 동영상 재생 장치(130)는 동영상 전송 장치(120)로부터 합성 프레임에 대한 배경 영상을 수신할 수 있다.
동영상 재생 장치(130)는 컬러 프레임 및 알파 채널 프레임이 배경 영상 위에 렌더링되도록 하는 렌더링 정보를 동영상 전송 장치(120)로부터 수신할 수 있다. 렌더링 정보는 배경 영상 위에 렌더링 되는 위치에 대응하는 객체 포함 영역의 좌표 정보 및 배경 영상 위에 렌더링되는 시점에 대응하는 객체 포함 영역의 시간 정보를 포함할 수 있다.
동영상 재생 장치(130)는 합성 프레임을 디코딩하고, 디코딩된 합성 프레임을 컬러 프레임 및 알파 채널 프레임으로 분리할 수 있다. 컬러 프레임 및 알파 채널 프레임은 동영상 전송 장치(120)에 의해 원본 동영상으로부터 추출된 객체 포함 영역에 대해 생성되는 것일 수 있다.
동영상 재생 장치(130)는 분리된 컬러 프레임 및 알파 채널 프레임을 렌더링할 수 있다. 이 때, 동영상 재생 장치(120)는 컬러 프레임 및 알파 채널 프레임을 배경 영상 위에 오버랩되도록 렌더링할 수 있다. 예를 들어, 동영상 재생 장치(130)는 좌표 정보 및 시간 정보에 기초하여 배경 영상 위에 컬러 프레임 및 알파 채널 프레임을 렌더링할 수 있다.
이러한 동영상 재생 장치(130)는 알파 채널을 지원하지 않는 환경에서 동작하는 것으로, 동영상 재생 장치(130)의 일 예는, IPTV(Internet Protocol Television), 셋톱박스(Set-top Box), 스트리밍 어댑터, 스트리밍 동글, 스마트 TV(Smart TV) 및 커넥티드 TV(Connected TV) 중 어느 하나일 수 있다.
도 2는 본 발명의 일 실시예에 따른 동영상 전송 장치의 구성도이다. 도 2를 참조하면, 동영상 전송 장치(130)는 객체 영역 추출부(210), 컬러 프레임 생성부(220), 알파 채널 프레임 생성부(230), 합성부(240), 프리 인코딩부(250), 인코딩부(260) 및 전송부(270)를 포함할 수 있다.
객체 영역 추출부(210)는 원본 동영상으로부터 객체 포함 영역을 추출할 수 있다. 객체 포함 영역은 객체를 포함하는 직사각형의 영역일 수 있다.
컬러 프레임 생성부(220)는 추출된 객체 포함 영역에 대한 컬러 프레임을 생성할 수 있다. 이 때, 컬러 프레임 생성부(220)는 컬러 프레임의 크기가 원본 동영상의 한 프레임의 절반 크기의 이하가 되도록 생성할 수 있다. 컬러 프레임은 예를 들어, YUV 프레임일 수 있다.
알파 채널 프레임 생성부(230)는 원본 동영상에 포함된 알파 채널(Alpha Channel)로부터 추출된 객체 포함 영역에 대응하는 알파 채널 프레임을 생성할 수 있다. 이 때, 알파 채널 프레임 생성부(230)는 알파 채널 프레임의 크기가 원본 동영상의 한 프레임의 절반 크기의 이하가 되도록 생성할 수 있다.
합성부(240)는 생성된 컬러 프레임과 알파 채널 프레임을 합성하여 합성 프레임을 합성할 수 있다. 이 때, 합성부(240)는 컬러 프레임 및 알파 채널 프레임을 오버랩되지 않게 나란히 배열하여 합성 프레임을 생성할 수 있다. 합성 프레임은 컬러 프레임인 YUV 프레임과 알파 채널 (Alpha Channel) 프레임이 합성된 것으로, 예를 들어, AYUV 프레임일 수 있다.
합성부(240)는 합성 프레임의 크기가 원본 동영상의 한 프레임의 크기의 이하가 되도록 생성할 수 있다. 합성 프레임의 크기가 원본 동영상의 한 프레임의 크기의 이하가 되도록 생성됨으로써, Webm 방식에서 발생되는 데이터 전송 트래픽 문제를 개선시킬 수 있다.
프리 인코딩부(250)는 컬러 프레임에서 객체를 둘러싼 영역을 단색으로 처리할 수 있다. 이 때, 프리 인코딩부(250)는 합성 프레임의 인코딩을 수행하기 전에 컬러 프레임에서 객체를 둘러싼 영역을 단색으로 처리할 수 있다. 프리 인코딩부(250)에서 인코딩을 수행하기 전에 컬러 프레임의 객체를 둘러싼 영역을 단색으로 처리함으로써, 인코딩부(260)에서 합성 프레임의 인코딩시 효율을 높일 수 있도록 할 수 있다.
인코딩부(260)는 생성된 합성 프레임을 인코딩할 수 있다. 예를 들어, 인코딩부(260)는 H.264 코덱을 이용하여 합성 프레임을 인코딩할 수 있다.
전송부(270)는 인코딩된 합성 프레임을 동영상 재생 장치(140)로 전송할 수 있다. 또한, 전송부(270)는 합성 프레임에 대한 배경 영상을 동영상 재생 장치(130)로 전송할 수 있다. 합성 프레임은 동영상 재생 장치(130)에 의해 배경 영상 위에 오버랩되도록 렌더링될 수 있다.
전송부(270)는 합성 프레임이 배경 영상 위에 렌더링되도록 하는 렌더링 정보를 동영상 재생 장치(130)로 전송할 수 있다. 렌더링 정보는 배경 영상 위에 렌더링되는 위치에 대응하는 객체 포함 영역의 좌표 정보를 포함할 수 있다. 렌더링 정보는 배경 영상 위에 렌더링되는 시점에 대응하는 객체 포함 영역의 시간 정보를 포함할 수 있다.
도 3a 내지 도 3c는 본 발명의 일 실시예에 따른 동영상 전송 장치에서 알파 채널이 포함된 동영상을 합성하는 과정을 설명하기 위한 예시적인 도면이다.
도 3a는 본 발명의 일 실시예에 따른 컬러 프레임을 생성하는 과정을 설명하기 위한 예시적인 도면이다. 도 3a를 참조하면, 동영상 전송 장치(120)는 원본 동영상으로부터 객체 포함 영역을 추출할 수 있다. 예를 들어, 동영상 전송 장치(120)는 원본 동영상으로부터 골프 선수인 객체를 포함하는 객체 포함 영역을 추출할 수 있다.
동영상 전송 장치(120)는 추출된 객체 포함 영역에 대한 컬러 프레임(300)을 생성할 수 있다. 예를 들어, 동영상 전송 장치(120)는 골프 선수를 포함하는 객체 포함 영역에 대해 YUV 컬러 프레임(300)을 생성할 수 있다. 이 때, 동영상 전송 장치(120)는 컬러 프레임(300)의 크기가 원본 동영상의 한 프레임의 절반 크기의 이하가 되도록 생성할 수 있다.
도 3b는 본 발명의 일 실시예에 따른 알파 채널 프레임을 생성하는 과정을 설명하기 위한 예시적인 도면이다. 도 3b를 참조하면, 동영상 전송 장치(120)는 원본 동영상에 포함된 알파 채널로부터 추출된 객체 포함 영역에 대응하는 알파 채널 프레임(310)을 생성할 수 있다. 예를 들어, 동영상 전송 장치(120)는 골프 선수를 포함하는 객체 포함 영역을 백색으로, 그 외 영역을 흑색으로 투명하게 처리한 알파 채널 프레임(310)을 생성할 수 있다. 이 때, 동영상 전송 장치(120)는 알파 채널 프레임(310)의 크기가 원본 동영상의 한 프레임의 절반 크기의 이하가 되도록 생성할 수 있다.
도 3c는 본 발명의 일 실시예에 따른 합성 프레임을 생성하는 과정을 설명하기 위한 예시적인 도면이다. 도 3a 내지 도 3c를 참조하면, 동영상 전송 장치(120)는 생성된 컬러 프레임(300)과 알파 채널 프레임(310)을 합성하여 합성 프레임(320)을 생성할 수 있다. 예를 들어, 동영상 전송 장치(120)는 원본 동영상의 한 프레임의 크기와 같도록, 한 프레임의 반은 컬러 프레임(300)으로, 한 프레임의 반은 알파 채널 프레임(310)으로 합성 프레임(320)을 생성할 수 있다.
도 4a 내지 도 4c는 본 발명의 일 실시예에 따른 동영상 전송 장치에서 알파 채널이 포함된 동영상을 프리 인코딩하는 과정을 설명하기 위한 예시적인 도면이다.
도 4a는 본 발명의 일 실시예에 따른 원본 동영상을 도시한 예시적인 도면이다. 도 4a를 참조하면, 원본 동영상은 객체 포함 영역(400) 및 배경 영역(410)을 포함할 수 있다. 예를 들어, 원본 컨텐츠는 골프 선수를 포함하는 객체 영역(400) 및 필드를 배경으로 하는 배경 영역(410)을 포함할 수 있다.
도 4b는 본 발명의 일 실시예에 따른 프리 인코딩하는 과정을 설명하기 위한 예시적인 도면이다. 도 4b를 참조하면, 동영상 전송 장치(120)는 합성 프레임의 인코딩을 수행하기 전에 컬러 프레임에서 객체 영역(410)을 둘러싼 영역(420)을 단색으로 처리할 수 있다. 예를 들어, 객체를 둘러싼 영역의 픽셀이 각각 '0x00983423', '0x00438533'인 경우, 동영상 전송 장치(120)는 해당 픽셀을 '0x00000000'로 처리할 수 있다.
도 4c는 본 발명의 일 실시예에 따른 인코딩하는 과정을 설명하기 위한 예시적인 도면이다. 도 4c를 참조하면, 동영상 전송 장치(120)는 객체 영역(400)을 포함하는 프리 인코딩된 컬러 프레임(430)을 알파 채널 프레임과 합성하여 합성 프레임을 생성하고 생성된 합성 프레임을 H.264 코덱을 이용하여 인코딩할 수 있다.
도 5는 본 발명의 일 실시예에 따른 렌더링 정보를 설명하기 위한 예시적인 도면이다. 도 5를 참조하면, 렌더링 정보(500)는 동영상 재생 장치(130)에서 배경 영상 위에 렌더링되기 위한 다양한 정보를 포함할 수 있다.
예를 들어, 렌더링 정보(500)는 time(510), visible(520), start_x(530), start_y(540), width(550), heigh (560) 등을 포함할 수 있다.
time(510)은 배경 영상의 시작으로부터 합성 프레임이 표시될 시간을 의미한다. 즉, 배경 영상 위에 렌더링되는 시점에 대응하는 객체 포함 영역의 시간 정보를 나타내며, 예를 들어, '0.333'으로 설정할 수 있다.
visible(520)은 설정된 시간(510)에 따라 알파 채널 프레임이 포함된 합성 프레임의 활성화 여부를 'true' 또는 'false'로 설정할 수 있다.
Start_x(530)는 객체 포함 영역의 절대 좌표에 대한 x좌표의 시작점을 나타내는 것으로, 예를 들어, start_x(530)는 '200'으로 설정될 수 있다.
Start_y(540)는 객체 포함 영역의 절대 좌표에 대한 y좌표의 시작점을 나타내는 것으로, 예를 들어, start_y(540)는 '300'으로 설정될 수 있다.
width(550)는 객체 포함 영역이 표시될 너비 정보를 나타내는 것으로, 예를 들어, '270'으로 설정될 수 있다.
heigth(560)는 객체 포함 영역이 표시될 높이 정보를 나타내는 것으로, 예를 들어, '360'으로 설정될 수 있다.
여기서, 설정된 width(550)와 heigth(560) 정보를 통해 배경 영상 위에 표시될객체 포함 영역의 크기가 결정될 수 있다.
도 6은 본 발명의 일 실시예에 따른 동영상 전송 장치에서 알파 채널이 포함된 동영상을 처리하는 방법의 순서도이다. 도 6에 도시된 실시예에 따른 동영상 전송 장치(120)에 의해 수행되는 알파 채널이 포함된 동영상을 처리하는 방법은 도 1 내지 도 5에 도시된 실시예에 따른 동영상 제공 시스템(1)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 5에 도시된 실시예에 따른 동영상 전송 장치(120)에 의해 수행되는 동영상을 제공하는 방법에도 적용된다.
단계 S610에서 동영상 전송 장치(120)는 원본 동영상으로부터 객체 포함 영역을 추출할 수 있다.
단계 S620에서 동영상 전송 장치(120)는 추출된 객체 포함 영역에 대한 컬러 프레임을 생성할 수 있다.
단계 S630에서 동영상 전송 장치(120)는 원본 동영상에 포함된 알파 채널(Alpha Channel)로부터 추출된 객체 포함 영역에 대응하는 알파 채널 프레임을 생성할 수 있다.
단계 S640에서 동영상 전송 장치(120)는 생성된 컬러 프레임 및 알파 채널 프레임을 합성하여 합성 프레임을 생성할 수 있다.
상술한 설명에서, 단계 S610 내지 S640은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.
도 7은 본 발명의 일 실시예에 따른 동영상 재생 장치의 구성도이다. 도 7을 참조하면, 수신부(710), 디코딩부(720), 프레임 분리부(730) 및 렌더링부(740)를 포함할 수 있다. 동영상 재생 장치(130)는 알파 채널을 지원하지 않는 환경에서 동작하는 것으로, 예를 들어, VP8 및 VP9 코덱을 지원하지 않고, H.264 코덱은 지원하는 디바이스일 수 있다.
수신부(710)는 동영상 전송 장치(120)로부터 합성 프레임을 수신할 수 있다. 합성 프레임은 컬러 프레임 및 알파 채널 프레임이 합성된 것으로, 예를 들어, 'AYUV' 프레임일 수 있다.
수신부(710)는 동영상 전송 장치(120)로부터 합성 프레임에 대한 배경 영상을 수신할 수 있다. 여기서, 배경 영상은 객체 포함 영역이 표시될 방송 영상일 수 있다.
수신부(710)는 컬러 프레임 및 알파 채널 프레임이 배경 영상 위에 렌더링되도록 하는 렌더링 정보를 동영상 전송 장치(120)로부터 수신할 수 있다. 렌더링 정보는 배경 영상 위에 렌더링되는 위치에 대응하는 객체 포함 영역의 좌표 정보 및 배경 영상 위에 렌더링되는 시점에 대응하는 객체 포함 영역의 시간 정보를 포함할 수 있다.
디코딩부(720)는 합성 프레임을 디코딩할 수 있다. 예를 들어, 디코딩부(720)는 H.264 코덱을 이용하여 합성 프레임을 디코딩할 수 있다.
프레임 분리부(730)는 디코딩된 합성 프레임을 컬러 프레임 및 알파 채널 프레임으로 분리할 수 있다. 컬러 프레임 및 알파 채널 프레임은 동영상 전송 장치(120)에 의해 원본 동영상으로부터 추출된 객체 포함 영역에 대해 생성된 것일 수 있다. 예를 들어, 프레임 분리부(730)는 디코딩된 'AYUV 프레임'을 컬러 프레임인 'YUV 프레임'과 '알파 채널(Alpha Channel) 프레임'으로 분리할 수 있다.
렌더링부(740)는 분리된 컬러 프레임 및 알파 채널 프레임을 렌더링할 수 있다. 이 때, 렌더링부(740)는 컬러 프레임 및 알파 채널 프레임을 배경 영상 위에 오버랩되도록 렌더링할 수 있다.
렌더링부(740)는 렌더링 정보에 기초하여 컬러 프레임 및 알파 채널 프레임을 렌더링할 수 있다. 예를 들어, 좌표 정보에 기초하여 배경 영상 위에 컬러 프레임 및 알파 채널 프레임을 렌더링하고, 시간 정보에 기초하여 배경 영상 위에 컬러 프레임 및 알파 채널 프레임을 렌더링할 수 있다.
도 8a 내지 도 8d는 본 발명의 일 실시예에 따른 동영상 재생 장치에서 알파 채널이 포함된 동영상을 재생하는 과정을 설명하기 위한 예시적인 도면이다.
도 8a는 본 발명의 일 실시예에 따른 동영상 재생 장치에서 수신한 합성 프레임을 도시한 예시적인 도면이다. 도 8a를 참조하면, 동영상 재생 장치(130)는 동영상 전송 장치(120)로부터 합성 프레임(800)을 수신할 수 있다. 합성 프레임은 컬러 프레임 및 알파 채널 프레임이 합성된 것일 수 있다.
도 8b는 본 발명의 일 실시예에 따른 합성 프레임으로부터 분리된 컬러 프레임을 도시한 예시적인 도면이다. 도 8a 및 도 8b를 참조하면, 동영상 재생 장치(120)는 합성 프레임(800)으로부터 컬러 프레임(810)을 분리할 수 있다. 컬러 프레임(810)은 예를 들어, 'YUV 프레임'일 수 있다.
도 8c는 본 발명의 일 실시예에 따른 합성 프레임으로부터 분리된 알파 채널 프레임을 도시한 예시적인 도면이다. 도 8a 및 도 8c를 참조하면, 동영상 재생 장치(130)는 합성 프레임(800)으로부터 알파 채널 프레임(820)을 분리할 수 있다.
도 8d는 본 발명의 일 실시예에 따른 합성 프레임으로부터 분리된 컬러 프레임 및 알파 채널 프레임이 배경 영상 위에 렌더링된 화면을 도시한 예시적인 도면이다. 도 8d를 참조하면, 동영상 재생 장치(130)는 배경 영상(830) 위에 컬러 프레임 및 알파 채널 프레임을 렌더링할 수 있다. 예를 들어, 동영상 재생 장치(130)는 합성 프레임으로부터 분리된 컬러 프레임인 'YUV 프레임'과 '알파 채널 프레임'이 디스플레이 장치에서 색을 통해 표시될 수 있도록 'ARGB 프레임'으로 합성 및 변환할 수 있다. 동영상 재생 장치(130)는 'ARGB 프레임'을 통해 객체(840)를 배경 영상 위에 렌더링할 수 있다.
도 9는 본 발명의 일 실시예에 따른 동영상 재생 장치에서 컬러 프레임 및 알파 채널 프레임을 배경 영상 위에 렌더링한 예시적인 도면이다. 도 9를 참조하면, 동영상 재생 장치(130)는 렌더링 정보에 기초하여 배경 영상(900) 위에 컬러 프레임 및 알파 채널 프레임을 렌더링할 수 있다. 렌더링 정보는 예를 들어, 배경 영상(900) 위에 렌더링 되는 위치에 대응하는 객체 포함 영역(920)의 좌표 정보를 포함할 수 있다. 예를 들어, 객체 포함 영역(920)은 객체를 포함하는 직사각형의 영역으로, 동영상 재생 장치(130)는 배경 영상(900) 위에 렌더링되는 시점에 배경 영상(900) 위에 객체 포함 영역(920)이 표시될 시작점(921)에 해당하는 (start_x, start_y) 및 객체 포함 영역이 표시될 끝점(922)에 해당하는 (end_x, end_y)에 기초하여 객체(910)를 표시할 수 있다.
도 10은 본 발명의 일 실시예에 따른 동영상 재생 장치에서 알파 채널이 포함된 동영상을 재생하는 방법의 순서도이다. 도 10에 도시된 실시예에 따른 동영상 재생 장치(130)에 의해 수행되는 알파 채널이 포함된 동영상을 재생하는 방법은 도 1 내지 도 9에 도시된 실시예에 따른 동영상 제공 시스템(1)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 9에 도시된 실시예에 따른 동영상 재생 장치(130)에 의해 수행되는 알파 채널이 포함된 동영상을 재생하는 방법에도 적용된다.
단계 S1010에서 동영상 재생 장치(130)는 동영상 전송 장치(120)로부터 합성 프레임을 수신할 수 있다.
단계 S1020에서 동영상 재생 장치(130)는 합성 프레임을 디코딩할 수 있다.
단계 S1030에서 동영상 재생 장치(130)는 디코딩된 합성 프레임을 컬러 프레임 및 알파 채널 프레임으로 분리할 수 있다.
단계 S1040에서 동영상 재생 장치(130)는 분리된 컬러 프레임 및 알파 채널 프레임을 렌더링할 수 있다.
상술한 설명에서, 단계 S1010 내지 S1040은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.
1 내지 도 10을 통해 설명된 동영상 전송 장치에서 알파 채널을 포함하는 동영상을 처리하는 방법 및 동영상 재생 장치에서 알파 채널을 포함하는 동영상을 재생하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 또한, 도 1 내지 도 10을 통해 설명된 동영상 전송 장치에서 알파 채널을 포함하는 동영상을 처리하는 방법 및 동영상 재생 장치에서 알파 채널을 포함하는 동영상을 재생하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
110: 컨텐츠 제공 서버
120: 동영상 전송 장치
130: 동영상 재생 장치
210: 객체 영역 추출부
220: 컬러 프레임 생성부
230: 알파 채널 프레임 생성부
240: 합성부
250: 프리 인코딩부
260: 인코딩부
270: 전송부
710: 수신부
720: 디코딩부
730: 프레임 분리부
740: 렌더링부

Claims (19)

  1. 알파 채널이 포함된 동영상을 전송하는 동영상 전송 장치에 있어서,
    원본 동영상으로부터 객체 포함 영역을 추출하는 객체 영역 추출부;
    상기 추출된 객체 포함 영역에 대한 컬러 프레임을 생성하는 컬러 프레임 생성부;
    상기 원본 동영상에 포함된 알파 채널(Alpha Channel)로부터 상기 추출된 객체 포함 영역에 대응하는 알파 채널 프레임을 생성하는 알파 채널 프레임 생성부;
    상기 생성된 컬러 프레임과 알파 채널 프레임을 합성하여 합성 프레임을 생성하는 합성부;
    상기 생성된 합성 프레임을 인코딩하는 인코딩부; 및
    상기 인코딩된 합성 프레임을 동영상 재생 장치로 전송하는 전송부를 포함하는, 동영상 전송 장치.
  2. 제 1 항에 있어서,
    상기 객체 포함 영역은 객체를 포함하는 직사각형의 영역인 것인, 동영상 전송 장치.
  3. 제 1 항에 있어서,
    상기 컬러 프레임 생성부는 상기 컬러 프레임의 크기가 상기 원본 동영상의 한 프레임의 절반 크기의 이하가 되도록 생성하고,
    상기 알파 채널 프레임 생성부는 상기 알파 채널 프레임의 크기가 상기 원본 동영상의 한 프레임의 절반 크기의 이하가 되도록 생성하는 것인, 동영상 전송 장치.
  4. 제 3 항에 있어서,
    상기 합성부는 상기 합성 프레임의 크기가 상기 원본 동영상의 한 프레임의 크기의 이하가 되도록 생성하는 것인, 동영상 전송 장치.
  5. 제 1 항에 있어서,
    상기 합성부는 상기 컬러 프레임 및 상기 알파 채널 프레임을 오버랩되지 않게 나란히 배열하여 상기 합성 프레임을 생성하는 것인, 동영상 전송 장치.
  6. 제 1 항에 있어서,
    상기 전송부는 상기 합성 프레임에 대한 배경 영상을 상기 동영상 재생 장치로 더 전송하고,
    상기 합성 프레임은 상기 동영상 재생 장치에 의해 상기 배경 영상 위에 오버랩되도록 렌더링되는 것인, 동영상 전송 장치.
  7. 제 6 항에 있어서,
    상기 전송부는 상기 합성 프레임이 상기 배경 영상에 렌더링되도록 하는 렌더링 정보를 상기 동영상 재생 장치로 더 전송하는 것인, 동영상 전송 장치.
  8. 제 7 항에 있어서,
    상기 렌더링 정보는 상기 배경 영상 위에 렌더링되는 위치에 대응하는 상기 객체 포함 영역의 좌표 정보를 포함하는 것인, 동영상 전송 장치.
  9. 제 8 항에 있어서,
    상기 렌더링 정보는 상기 배경 영상 위에 렌더링되는 시점에 대응하는 상기 객체 포함 영역의 시간 정보를 더 포함하는 것인, 동영상 전송 장치.
  10. 제 1 항에 있어서,
    상기 동영상 재생 장치는 상기 알파 채널을 지원하지 않는 환경에서 동작하는 것인, 동영상 전송 장치.
  11. 제 1 항에 있어서,
    상기 컬러 프레임에서 객체를 둘러싼 영역을 단색으로 처리하는 프리 인코딩부
    를 더 포함하는 것인, 동영상 전송 장치.
  12. 제 11 항에 있어서,
    상기 프리 인코딩부는 상기 합성 프레임의 인코딩을 수행하기 전에 상기 컬러 프레임에서 객체를 둘러싼 영역을 단색으로 처리하는 것인, 동영상 전송 장치.
  13. 알파 채널이 포함된 동영상을 재생하는 동영상 재생 장치에 있어서,
    동영상 전송 장치로부터 합성 프레임을 수신하는 수신부;
    상기 합성 프레임을 디코딩하는 디코딩부;
    상기 디코딩된 합성 프레임을 컬러 프레임 및 알파 채널 프레임으로 분리하는 프레임 분리부; 및
    상기 분리된 컬러 프레임 및 알파 채널 프레임을 렌더링하는 렌더링부를 포함하고,
    상기 컬러 프레임 및 상기 알파 채널 프레임은, 상기 동영상 전송 장치에 의해 원본 동영상으로부터 추출된 객체 포함 영역에 대해 생성되는 것인, 동영상 재생 장치.
  14. 제 13 항에 있어서,
    상기 수신부는 상기 동영상 전송 장치로부터 상기 합성 프레임에 대한 배경 영상을 더 수신하고,
    상기 렌더링부는 상기 컬러 프레임 및 상기 알파 채널 프레임을 상기 배경 영상 위에 오버랩되도록 렌더링하는 것인, 동영상 재생 장치.
  15. 제 14 항에 있어서,
    상기 수신부는 상기 컬러 프레임 및 상기 알파 채널 프레임이 상기 배경 영상 위에 렌더링되도록 하는 렌더링 정보를 상기 동영상 전송 장치로부터 더 수신하는 것인, 동영상 재생 장치.
  16. 제 15 항에 있어서,
    상기 렌더링 정보는 상기 배경 영상 위에 렌더링되는 위치에 대응하는 상기 객체 포함 영역의 좌표 정보를 포함하고,
    상기 렌더링부는 상기 좌표 정보에 기초하여 상기 배경 영상 위에 상기 컬러 프레임 및 알파 채널 프레임을 렌더링하는 것인, 동영상 재생 장치.
  17. 제 16 항에 있어서,
    상기 렌더링 정보는 상기 배경 영상 위에 렌더링되는 시점에 대응하는 상기 객체 포함 영역의 시간 정보를 더 포함하고,
    상기 렌더링부는 상기 시간 정보에 기초하여 상기 배경 영상 위에 상기 컬러 프레임 및 알파 채널 프레임을 렌더링하는 것인, 동영상 재생 장치.
  18. 제 13 항에 있어서,
    상기 컬러 프레임은 상기 동영상 전송 장치에 의해 상기 합성 프레임의 인코딩이 수행되기 전에 상기 객체 포함 영역에서 객체를 둘러싼 영역이 단색으로 처리된 것인, 동영상 재생 장치.
  19. 알파 채널이 포함된 동영상을 처리하는 방법에 있어서,
    원본 동영상으로부터 객체 포함 영역을 추출하는 단계;
    상기 추출된 객체 포함 영역에 대한 컬러 프레임을 생성하는 단계;
    상기 원본 동영상에 포함된 알파 채널(Alpha Channel)로부터 상기 추출된 객체 포함 영역에 대응하는 알파 채널 프레임을 생성하는 단계 및
    상기 생성된 컬러 프레임 및 알파 채널 프레임을 합성하여 합성 프레임을 생성하는 단계
    를 포함하되,
    상기 합성 프레임은 상기 컬러 프레임 및 상기 알파 채널 프레임이 오버랩되지 않게 나란히 배열된 것인, 동영상 처리 방법.
KR1020160181191A 2016-12-28 2016-12-28 동영상 전송 장치 및 동영상 재생 장치 KR20180076720A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020160181191A KR20180076720A (ko) 2016-12-28 2016-12-28 동영상 전송 장치 및 동영상 재생 장치
US15/857,592 US10728562B2 (en) 2016-12-28 2017-12-28 Video transmitting device and video playing device
KR1020230189732A KR20240007097A (ko) 2016-12-28 2023-12-22 동영상 전송 장치 및 동영상 재생 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160181191A KR20180076720A (ko) 2016-12-28 2016-12-28 동영상 전송 장치 및 동영상 재생 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020230189732A Division KR20240007097A (ko) 2016-12-28 2023-12-22 동영상 전송 장치 및 동영상 재생 장치

Publications (1)

Publication Number Publication Date
KR20180076720A true KR20180076720A (ko) 2018-07-06

Family

ID=62921443

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020160181191A KR20180076720A (ko) 2016-12-28 2016-12-28 동영상 전송 장치 및 동영상 재생 장치
KR1020230189732A KR20240007097A (ko) 2016-12-28 2023-12-22 동영상 전송 장치 및 동영상 재생 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020230189732A KR20240007097A (ko) 2016-12-28 2023-12-22 동영상 전송 장치 및 동영상 재생 장치

Country Status (2)

Country Link
US (1) US10728562B2 (ko)
KR (2) KR20180076720A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112399196A (zh) * 2019-08-16 2021-02-23 阿里巴巴集团控股有限公司 图像处理方法及装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112385219B (zh) 2018-05-10 2024-04-19 三星电子株式会社 用于图像编码的方法和装置以及用于图像解码的方法和装置
US11348252B1 (en) * 2018-07-12 2022-05-31 Nevermind Capital Llc Method and apparatus for supporting augmented and/or virtual reality playback using tracked objects
CN112070867A (zh) * 2019-06-11 2020-12-11 腾讯科技（深圳）有限公司 动画文件处理方法、装置、计算机可读存储介质和计算机设备
CN110662103B (zh) * 2019-09-26 2021-09-24 北京达佳互联信息技术有限公司 多媒体对象重构方法及装置、电子设备、可读存储介质
US11967345B2 (en) * 2021-04-16 2024-04-23 Grass Valley Limited System and method for rendering key and fill video streams for video processing
DE112022002186T5 (de) * 2021-04-16 2024-04-25 Grass Valley Limited System und verfahren zur darstellung von schlüssel- und füllvideoströmen für die videoverarbeitung
CN115103228A (zh) * 2022-06-16 2022-09-23 深圳市欢太科技有限公司 视频流传输方法、装置、电子设备、存储介质及产品

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602004017689D1 (de) 2003-11-21 2008-12-24 Samsung Electronics Co Ltd Vorrichtung und Methode zur Erzeugung von kodierten Blockanordnungen für ein Alpha-Kanalbild sowie Alpha-Kanalkodierungs und -dekodierungsvorrichtung und -methode.
KR100631610B1 (ko) * 2004-11-26 2006-10-09 엘지전자 주식회사 휴대단말기의 영상신호 합성장치 및 방법
US20140215508A1 (en) * 2013-01-25 2014-07-31 Youtoo Technologies Llc Distributing Graphic Content Over a Public Network for Inclusion in a Linear Television Broadcast
CN104753989B (zh) 2013-12-27 2018-09-14 阿里巴巴集团控股有限公司 基于Web-based OS运行环境的屏幕影像传输播放方法及装置
KR101663085B1 (ko) 2014-05-09 2016-10-07 주식회사 싱크수트 휴대형 스마트기기에서의 동영상 기반의 알파채널 영상합성을 이용한 비디오 카드 제작 시스템 및 그 방법
KR20160026005A (ko) 2014-08-29 2016-03-09 (주) 디아이지 커뮤니케이션 알파 채널을 포함하는 증강 현실 동영상의 압축 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112399196A (zh) * 2019-08-16 2021-02-23 阿里巴巴集团控股有限公司 图像处理方法及装置
CN112399196B (zh) * 2019-08-16 2022-09-02 阿里巴巴集团控股有限公司 图像处理方法及装置

Also Published As

Publication number Publication date
KR20240007097A (ko) 2024-01-16
US10728562B2 (en) 2020-07-28
US20180255308A1 (en) 2018-09-06

Similar Documents

Publication Publication Date Title
KR20180076720A (ko) 동영상 전송 장치 및 동영상 재생 장치
US11516521B2 (en) Generating composite video stream for display in VR
US10623816B2 (en) Method and apparatus for extracting video from high resolution video
JP6040932B2 (ja) 立体視に対応したビデオストリームを生成、再構築する方法、および関連する符号化および復号化デバイス
KR102214085B1 (ko) 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
JPWO2016199608A1 (ja) 情報処理装置および情報処理方法
US20160057488A1 (en) Method and System for Providing and Displaying Optional Overlays
US20200084516A1 (en) Device and method for processing high-definition 360-degree vr image
US9357200B2 (en) Video processing device and video processing method
US11936936B2 (en) Method and system for providing and displaying optional overlays
JPWO2016199607A1 (ja) 情報処理装置および情報処理方法
Podborski et al. Virtual reality and DASH
US11457053B2 (en) Method and system for transmitting video
KR100580841B1 (ko) 이동단말과 헤드 마운티드 디스플레이 장치간의 정합 장치및 방법
JP2013518458A (ja) デジタルビデオストリーム内の情報及び／又はアプリケーションデータを転送する方法、及び、ビデオストリームを生成及び再生するための関連装置
Podborski et al. 360-degree video streaming with MPEG-DASH
KR102499900B1 (ko) 고해상도 영상의 스트리밍을 위한 영상 전송 장치와 영상 재생 장치 및 그 동작 방법
KR20220155823A (ko) 영상을 제공하는 장치, 방법 및 미디어 재생 장치
CN111200580B (zh) 一种播放器及播放方法
Oyman et al. VRIF Guidelines on Live VR Services
CN115022713A (zh) 视频数据处理方法及装置、存储介质及电子设备
KR101441867B1 (ko) 컨텐츠를 미디어 디바이스에 제공하기 위한 게이트웨이 장치 및 그 방법
WO2015155893A1 (ja) 映像出力装置、映像受信装置、および映像出力方法
JP2012050097A (ja) 復号化装置、復号方法およびディスク型記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X601 Decision of rejection after re-examination