KR102200820B1 - 알파맵(Alpha Map) 분석을 통한 양방향 서비스를 제공하는 사용자 단말, 셋톱 박스 및 방법 - Google Patents
알파맵(Alpha Map) 분석을 통한 양방향 서비스를 제공하는 사용자 단말, 셋톱 박스 및 방법 Download PDFInfo
- Publication number
- KR102200820B1 KR102200820B1 KR1020160121361A KR20160121361A KR102200820B1 KR 102200820 B1 KR102200820 B1 KR 102200820B1 KR 1020160121361 A KR1020160121361 A KR 1020160121361A KR 20160121361 A KR20160121361 A KR 20160121361A KR 102200820 B1 KR102200820 B1 KR 102200820B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- control
- alpha
- alpha map
- value
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
- H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
알파맵(Alpha Map) 분석을 통한 양방향 서비스를 제공하는 사용자 단말은 레퍼런스 영상과 실시간 영상을 획득하는 영상 획득부, 레퍼런스 영상과 실시간 영상을 비교하여 실시간 영상의 각 프레임의 알파맵을 생성하는 알파맵 생성부, 알파맵의 알파값을 분석하여 컨트롤 오브젝트를 판단하고, 컨트롤 오브젝트의 알파값을 분석하여 제어 대상 장치에 대한 제어 신호를 생성하는 알파맵 분석부 및 제어 신호를 제어 대상 장치로 전송하는 제어 신호 전송부를 포함할 수 있다.
Description
본 발명은 알파맵 분석을 통한 양방향 서비스를 제공하는 사용자 단말, 셋톱 박스 및 방법에 관한 것이다.
디지털 영상을 의미 있게 해석하기 위하여 객체 별로 분류하거나 관심 있는 영역으로 나누는 작업을 영상 분류라고 한다. 영상 분류 방법에는 프레임간 비교를 통하여 화소 단위로 가우시안 혼합 모델(Mixture of Gaussian Model)을 생성하여 배경을 분리하는 방법, 베이시안 결정 모델(Bayesian decision Model), 커널 밀도 모델(Kernel density Model) 및 적외선 카메라를 이용하여 객체의 깊이값을 구하고, 이를 통해 객체와 배경을 분리하는 방법 등이 있다.
한편, 일반적인 영상인식 방법은 영상의 명암 변화에 기초하여 영상으로부터 객체의 외곽선을 검출하고, 외곽선으로부터 객체의 특징을 추출하고, 추출된 특징 간의 관계를 파악하여 객체를 인식한다. 하지만, 이러한 영상 인식 방법은 배경의 복잡도에 따라 객체를 추출하기 어렵다는 문제점이 있다.
이와 관련하여, 한국공개특허 제2012-0071286호에는 주 카메라에 의해 촬영된 대상체의 주영상과 복수의 부 카메라에 의해 촬영된 부영상들을 획득하고, 주영상과 부영상들을 이용하여 주 카메라와 대상체 사이의 거리에 해당하는 깊이값을 추정하고, 추정된 깊이값을 이용하여 주영상의 알파맵을 추정하고, 추정된 알파맵을 이용하여 주영상에서 전경영역을 추출하고, 추출된 전경영역을 이용하여 영상 매팅을 수행하는 구성이 개시되어 있다.
본 발명은 레퍼런스 영상과 실시간 영상을 비교하여 실시간 영상의 각 프레임의 알파맵을 생성하고, 알파맵을 이용하여 실시간 영상의 각 프레임에 대응하는 이미지를 생성하여 이를 셋톱 박스와 같은 제어 대상 장치로 전송하고자 한다. 또한, 알파맵의 알파값 분석을 통해 컨트롤 오브젝트를 판단하고, 컨트롤 오브젝트의 알파값 분석을 통해 셋톱 박스에 대한 제어 신호를 생성하여 이를 셋톱 박스와 같은 제어 대상 장치로 전송하고자 한다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 알파맵(Alpha Map) 분석을 통한 양방향 서비스를 제공하는 사용자 단말은 레퍼런스 영상과 실시간 영상을 획득하는 영상 획득부; 상기 레퍼런스 영상과 상기 실시간 영상을 비교하여 상기 실시간 영상의 각 프레임의 알파맵을 생성하는 알파맵 생성부; 상기 알파맵의 알파값을 분석하여 컨트롤 오브젝트를 판단하고, 상기 컨트롤 오브젝트의 알파값을 분석하여 제어 대상 장치에 대한 제어 신호를 생성하는 알파맵 분석부; 및 상기 제어 신호를 상기 제어 대상 장치로 전송하는 제어 신호 전송부를 포함할 수 있다. 상기 제어 대상 장치는 셋톱 박스이고, 상기 제어 신호는 채널 변경 신호 및 볼륨 변경 신호를 포함할 수 있다.
일예에 있어서, 상기 각 프레임의 알파맵과 원본 이미지를 이미지 처리 서버로 전송하는 알파맵 전송부를 더 포함할 수 있다. 상기 각 프레임의 알파맵과 원본 이미지로부터 생성된 이미지가 상기 제어 대상 장치를 통해 출력 중인 영상 위에 오버레이될 수 있다.
일예에 있어서, 상기 알파맵 분석부는 상기 알파맵을 각 픽셀의 알파값이 제 1 값인 제 1 오브젝트 및 각 픽셀의 알파값이 제 2 값인 제 2 오브젝트로 분류하는 알파맵 분류부를 포함할 수 있다. 상기 알파맵 분류부는 상기 제 1 오브젝트 및 상기 제 2 오브젝트의 위치, 모양 및 크기 중 적어도 하나에 기초하여 상기 제 1 오브젝트 및 상기 제 2 오브젝트 중 하나를 상기 컨트롤 오브젝트로 결정하는 컨트롤 오브젝트 판단부를 더 포함할 수 있다.
일예에 있어서, 상기 컨트롤 오브젝트 판단부는 상기 제 1 오브젝트가 상기 제 2 오브젝트의 내부에 위치하는 경우 상기 제 1 오브젝트를 상기 적어도 하나의 컨트롤 오브젝트로 결정할 수 있다. 상기 컨트롤 오브젝트 판단부는 상기 제 1 오브젝트 및 상기 제 2 오브젝트 중 기설정된 범위의 크기에 해당하는 오브젝트를 상기 컨트롤 오브젝트로 결정할 수 있다.
일예에 있어서, 상기 알파맵 분석부는 상기 컨트롤 오브젝트의 크기가 기설정된 비율만큼 변한 경우 상기 제어 대상 장치의 제어 신호를 생성할 수 있다. 상기 알파맵 분석부는 상기 컨트롤 오브젝트가 기설정된 영역에 위치하는 경우 상기 제어 대상 장치의 제어 신호를 생성할 수 있다.
본 발명의 제 2 측면에 따른 알파맵(Alpha Map)을 통한 양방향 서비스를 제공하는 셋톱 박스는 미디어 서버로부터 컨텐츠 영상을 수신하는 컨텐츠 수신부; 사용자 단말을 통해 촬영된 실시간 영상의 각 프레임의 알파맵(Alpha Map)에 대응하는 이미지를 이미지 처리 서버로부터 수신하는 이미지 수신부; 상기 수신한 이미지를 웹뷰(web view) 브라우져에 디스플레이하고, 상기 웹뷰 브라우져를 상기 컨텐츠 영상이 재생되는 플레이어에 오버레이하는 이미지 출력부; 상기 사용자 단말로부터 제어 신호를 수신하는 제어 신호 수신부; 및 상기 제어 신호에 따라 명령을 수행하는 제어부를 포함하고, 상기 제어 신호는 상기 사용자 단말에 의해 상기 알파맵의 알파값이 분석되어 컨트롤 오브젝트가 판단되고, 상기 컨트롤 오브젝트의 알파값이 분석되어 생성될 수 있다.
일예에 있어서, 상기 이미지 출력부는 상기 이미지가 상기 컨텐츠 영상에 투영되도록 상기 웹뷰 브라우져의 투명도를 제어할 수 있다.
일예에 있어서, 상기 이미지 수신부는 상기 이미지 처리 서버로부터 객체의 좌표값을 더 수신할 수 있다.
일예에 있어서, 상기 이미지는 상기 각 프레임의 알파맵에 기초하여 상기 객체와 배경이 분리되고, 상기 좌표값은 상기 분리된 객체의 좌표값일 수 있다.
일예에 있어서, 상기 좌표값에 기초하여 이벤트를 생성하는 이벤트 생성부를 더 포함하고, 상기 웹뷰 브라우져의 각 영역은 기설정된 이벤트가 매핑되어 있고, 상기 이벤트 생성부는 상기 객체가 위치하는 영역에 해당하는 이벤트를 생성할 수 있다.
본 발명의 제 3 측면에 따른 사용자 단말에서 수행되는 양방향 서비스를 제공하는 방법은 레퍼런스 영상과 실시간 영상을 획득하는 단계; 상기 레퍼런스 영상과 상기 실시간 영상을 비교하여 상기 실시간 영상의 각 프레임의 알파맵을 생성하는 단계; 상기 알파맵의 알파값을 분석하여 컨트롤 오브젝트를 판단하고, 상기 컨트롤 오브젝트의 알파값을 분석하여 제어 대상 장치에 대한 제어 신호를 생성하는 단계; 및 상기 제어 신호를 상기 제어 대상 장치로 전송하는 단계를 포함할 수 있다.
일예에 있어서, 상기 각 프레임의 알파맵을 생성하는 단계는 상기 알파맵을 각 픽셀의 알파값이 제 1 값인 제 1 오브젝트 및 각 픽셀의 알파값이 제 2 값인 제 2 오브젝트로 분류하는 단계를 포함할 수 있다.
일예에 있어서, 상기 분류하는 단계는 상기 제 1 오브젝트 및 상기 제 2 오브젝트의 위치, 모양 및 크기 중 적어도 하나에 기초하여 상기 제 1 오브젝트 및 상기 제 2 오브젝트 중 하나를 상기 컨트롤 오브젝트로 결정하는 단계를 포함할 수 있다.
일예에 있어서, 상기 제어 신호를 생성하는 단계는 상기 컨트롤 오브젝트의 크기가 기설정된 비율만큼 변한 경우 상기 제어 대상 장치의 제어 신호를 생성하는 단계를 포함할 수 있다. 상기 제어 신호를 생성하는 단계는 상기 컨트롤 오브젝트가 기설정된 영역에 위치하는 경우 상기 제어 대상 장치의 제어 신호를 생성하는 단계를 포함할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 레퍼런스 영상과 실시간 영상을 비교하여 실시간 영상의 각 프레임의 알파맵을 생성하고, 알파맵을 이용하여 실시간 영상의 각 프레임에 대응하는 이미지를 생성하여 이를 셋톱 박스와 같은 제어 대상 장치로 전송할 수 있다. 또한, 알파맵의 알파값 분석을 통해 컨트롤 오브젝트를 판단하고, 컨트롤 오브젝트의 알파값 분석을 통해 셋톱 박스에 대한 제어 신호를 생성하여 이를 셋톱 박스와 같은 제어 대상 장치로 전송할 수 있다. 또한, 사용자가 별도의 컨트롤러 장치를 이용하지 않고도 알파맵을 이용하여 사용자의 동작을 인식하고, 사용자의 동작에 대한 제어 신호를 생성하여 이를 셋톱 박스와 같은 제어 대상 장치로 전송할 수 있다.
도 1은 본 발명의 일 실시예에 따른, 양방향 서비스 제공 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른, 도 1에 도시된 사용자 단말의 블록도이다.
도 3은 본 발명의 일 실시예에 따른, 사용자 단말에서 수행되는 양방향 서비스를 제공하는 방법을 나타낸 동작 흐름도이다.
도 4는 본 발명의 일 실시예에 따른, 도 1에 도시된 셋톱 박스의 블록도이다.
도 5는 본 발명의 일 실시예에 따른, 셋톱 박스에서 수행되는 양방향 서비스를 제공하는 방법을 나타낸 동작 흐름도이다.
도 6은 본 발명의 일 실시예에 따른, 알파맵을 이용하여 추출된 객체를 나타낸 도면이다.
도 7a 및 7b는 본 발명의 일 실시예에 따른, 알파맵의 알파값을 분석하는 방법을 설명하기 위한 도면이다.
도 8a 및 8b는 본 발명의 일 실시예에 따른, 알파맵 분석을 통한 셋톱 박스에 대한 제어 신호를 생성하는 방법을 설명하기 위한 도면이다.
도 9a 및 9b는 본 발명의 일 실시예에 따른, 객체의 좌표값에 기초하여 이벤트를 생성하는 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른, 알파맵 분석을 통한 양방향 서비스를 제공하는 방법을 나타낸 동작 흐름도이다.
도 11은 본 발명의 다른 실시예에 따른, 알파맵 분석을 통한 양방향 서비스를 제공하는 방법을 나타낸 동작 흐름도이다.
도 2는 본 발명의 일 실시예에 따른, 도 1에 도시된 사용자 단말의 블록도이다.
도 3은 본 발명의 일 실시예에 따른, 사용자 단말에서 수행되는 양방향 서비스를 제공하는 방법을 나타낸 동작 흐름도이다.
도 4는 본 발명의 일 실시예에 따른, 도 1에 도시된 셋톱 박스의 블록도이다.
도 5는 본 발명의 일 실시예에 따른, 셋톱 박스에서 수행되는 양방향 서비스를 제공하는 방법을 나타낸 동작 흐름도이다.
도 6은 본 발명의 일 실시예에 따른, 알파맵을 이용하여 추출된 객체를 나타낸 도면이다.
도 7a 및 7b는 본 발명의 일 실시예에 따른, 알파맵의 알파값을 분석하는 방법을 설명하기 위한 도면이다.
도 8a 및 8b는 본 발명의 일 실시예에 따른, 알파맵 분석을 통한 셋톱 박스에 대한 제어 신호를 생성하는 방법을 설명하기 위한 도면이다.
도 9a 및 9b는 본 발명의 일 실시예에 따른, 객체의 좌표값에 기초하여 이벤트를 생성하는 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른, 알파맵 분석을 통한 양방향 서비스를 제공하는 방법을 나타낸 동작 흐름도이다.
도 11은 본 발명의 다른 실시예에 따른, 알파맵 분석을 통한 양방향 서비스를 제공하는 방법을 나타낸 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하, 첨부된 구성도 또는 처리 흐름도를 참고하여, 본 발명의 실시를 위한 구체적인 내용을 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른, 양방향 서비스 제공 시스템의 구성도이다.
도 1을 참조하면, 양방향 서비스 제공 시스템은 사용자 단말(100), 제어 대상 장치(110), 미디어 서버(120) 및 이미지 처리 서버(130)를 포함할 수 있다. 다만, 이러한 도 1의 양방향 서비스 제공 시스템은 본 발명의 일 실시예에 불과하므로 도 1을 통해 본 발명이 한정 해석되는 것은 아니며, 본 발명의 다양한 실시예들에 따라 도 1과 다르게 구성될 수도 있다.
일반적으로, 도 1의 양방향 서비스 제공 시스템의 각 구성요소들은 네트워크(150)를 통해 연결된다. 네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(network)의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi) 등이 포함되나 이에 한정되지는 않는다.
사용자 단말(100)은 사용자 단말(100)에 구비된 카메라를 통해 영상을 촬영할 수 있다. 예를 들어, 사용자 단말(100)은 레퍼런스 영상과 실시간 영상을 획득할 수 있다. 사용자 단말(100)은 레퍼런스 영상과 실시간 영상을 비교하여 실시간 영상에 대한 알파맵(Alpha Map)을 생성할 수 있다.
사용자 단말(100)은 실시간 영상에 대한 알파맵의 알파값을 분석하여 제어 대상 장치(110)에 대한 제어 신호를 생성할 수 있다. 제어 대상 장치(110)가 셋톱 박스인 경우, 제어 신호는 예를 들면, 채널 변경 신호 및 볼륨 변경 신호를 포함할 수 있다. 이하에서는 설명의 편의상 제어 대상 장치(110)를 셋톱 박스로 가정하여 설명하기로 한다. 하지만 본 발명의 적용 대상이 셋톱 박스에 한정되는 것은 아니며, 게임 플레이어, 영상 표시 장치, 미디어 플레이어, 그 밖의 원격 제어가 필요한 각종 컴퓨팅 장치에 폭 넓게 적용될 수 있다.
사용자 단말(100)은 실시간 영상에 대한 알파맵과 원본 이미지를 이미지 처리 서버(130)에게 전송할 수 있다.
이미지 처리 서버(130)는 사용자 단말(100)로부터 실시간 영상에 대한 알파맵과 원본 이미지를 수신하고, 원본 이미지와 알파맵에 기초하여 원본 이미지로부터 객체를 제외한 배경 이미지가 투명하게 조절된 이미지를 셋톱 박스(110)에게 전송할 수 있다.
셋톱 박스(110)는 미디어 서버(120)로부터 컨텐츠 영상을 수신할 수 있다. 예를 들면, 컨텐츠는 실시간 채널, VOD(Video On Demand) 등의 모든 IPTV 서비스를 포함할 수 있다.
셋톱 박스(110)는 사용자 단말(100)을 통해 촬영된 실시간 영상의 각 프레임의 알파맵에 대응하는 이미지를 이미지 처리 서버(130)로부터 수신할 수 있다. 여기서, 이미지는 실시간 영상의 각 프레임의 알파맵에 기초하여 객체와 배경이 분리된 것일 수 있다. 이미지는 PNG(Portable Network Graphics) 포맷일 수 있고, 배경 이미지가 투명하게 조절된 이미지일 수 있다.
셋톱 박스(110)는 수신한 이미지를 셋톱 박스(110)와 연결된 디스플레이 장치(140)에서 재생 중인 컨텐츠 영상 위에 오버레이할 수 있다.
셋톱 박스(110)는 사용자 단말(100)로부터 제어 신호를 수신하고, 제어 신호에 따라 명령을 수행할 수 있다.
사용자 단말(100)은 무선 통신이 가능한 모바일 단말을 포함할 수 있고, 본 발명의 다양한 실시예들에 따르면, 사용자 단말(100)은 다양한 형태의 디바이스일 수 있다. 예를 들어, 사용자 단말(100)은 네트워크를 통해 원격지의 서버에 접속할 수 있는 휴대용 단말일 수 있다. 여기서, 휴대용 단말의 일 예에는 휴대성과 이동성이 보장되는 무선 통신 장치로서, 스마트폰(smartphone), 태블릿 PC, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치가 포함될 수 있다. 다만, 사용자 단말(100)은 도 1에 도시된 형태 또는 앞서 예시된 것들로 한정 해석되는 것은 아니다.
이하에서는 도 1의 양방향 서비스 제공 시스템의 각 구성요소의 동작에 대해 보다 구체적으로 설명한다.
도 2는 본 발명의 일 실시예에 따른, 도 1에 도시된 사용자 단말(100)의 블록도이다. 도 2를 참조하면, 사용자 단말(100)은 영상 획득부(200), 알파맵 생성부(210), 알파맵 분석부(220), 제어 신호 전송부(230) 및 알파맵 전송부(240)를 포함할 수 있다. 여기서, 알파맵 분석부(220)는 알파맵 분류부(222) 및 컨트롤 오브젝트 판단부(224)를 포함할 수 있다. 다만, 도 2에 도시된 사용자 단말(100)은 본 발명의 하나의 구현 예에 불과하며, 도 2에 도시된 구성요소들을 기초로 하여 여러 가지 변형이 가능하다.
영상 획득부(200)는 사용자 단말(100)에 구비된 카메라를 통해 촬영된 영상으로부터 레퍼런스 영상과 실시간 영상을 획득할 수 있다. 예를 들면, 레퍼런스 영상은 배경 영상이고, 실시간 영상은 레퍼런스 영상이 촬영된 이후, 동일한 공간에서 특정 객체의 움직임을 실시간으로 촬영한 영상일 수 있다.
알파맵 생성부(210)는 레퍼런스 영상과 실시간 영상을 비교하여 실시간 영상의 각 프레임의 알파맵을 생성할 수 있다. 예를 들면, 알파맵 생성부(210)는 실시간 영상의 각 프레임에 대응하는 이미지의 알파 값을 추출하고, 알파 값에 기초하여 실시간 영상에서 객체 및 배경을 분리할 수 있다. 잠시, 도 6을 참조하면, 알파맵 생성부(210)는 실시간 영상과 레퍼런스 영상을 비교하여, 객체(600)와 배경(610)을 분리하고, 분리된 객체(600)와 배경(610)에 기초하여 알파맵을 생성할 수 있다. 예를 들어, 분리된 객체(600)의 알파값은 '1'이고, 분리된 배경(610)의 알파값은 '0'일 수 있다. 이와 같이, 알파맵을 통해 배경의 복잡도에 관계없이 객체를 추출할 수 있으므로 영상에 대한 해석이 용이하며, 알고리즘 구현이 간단한 장점이 있다.
알파맵 분석부(220)는 알파맵의 알파값을 분석하여 컨트롤 오브젝트를 판단하고, 컨트롤 오브젝트의 알파값을 분석하여 셋톱 박스(110)에 대한 제어 신호를 생성할 수 있다. 잠시, 도 7a를 참조하면, 알파맵 분석부(220)는 제 1 형태의 객체(710)에 대한 알파값을 분석하여 제 1 형태의 객체(710)에서 홀(hole; 730)을 컨트롤 오브젝트로서 판단할 수 있다. 이 때, 홀(730)은 셋톱 박스(110)에 연결된 디스플레이 장치(140)의 화면에서 마우스 커서로서 사용될 수 있으며, 제 1 형태의 객체(710)에서 홀(730)이 사라질 때 마우스의 클릭 신호(셋톱 박스(110)에 대한 제어 신호)가 셋톱 박스(110)로 전송될 수 있다. 홀(730)이 사라지는 경우는 홀(730)의 크기가 점점 작아지다가 사라지는 경우만을 의미하며, 홀(730)이 위치 이동을 하다가 화면 밖으로 사라지는 경우는 제외할 수 있다.
알파맵 분류부(222)는 알파맵을 각 픽셀의 알파값이 제 1 값인 제 1 오브젝트 및 각 픽셀의 알파값이 제 2 값인 제 2 오브젝트로 분류할 수 있다.
잠시, 도 7b를 참조하면, 제 1 형태의 객체(710)의 알파 값은 '1'로 구성되고, 제 1 형태의 객체(710) 외의 이미지의 알파 값은 '0'으로 구성되었다고 가정할 때, 알파맵 분류부(222)는 이미지의 제 1 픽셀(750)로부터 순차적으로 알파값이 '0'인 픽셀을 탐색하고, 알파 값이 '0'인 픽셀을 제 1 오브젝트로 분류할 수 있다. 예를 들어, 알파맵 분류부(222)는 알파 값이 '0'인 픽셀이 탐지되면 그 픽셀을 기준으로 최인접 픽셀의 알파값을 탐지하는 것을 반복할 수 있다.
알파맵 분류부(222)는 위와 같은 방법으로 알파 값이 '1'인 픽셀(제 1 형태의 객체(710)에 포함된 픽셀에 해당)을 알파값이 '1'인 픽셀로 구성된 제 2 오브젝트로 분류할 수 있다. 제 1 형태의 객체(710)의 내부에 위치하는 홀(730)에 대응하는 각 픽셀의 알파 값은 '0'이므로, 홀(730)의 각 픽셀은 제 1 오브젝트로 분류될 수 있다.
컨트롤 오브젝트 판단부(224)는 제 1 오브젝트 및 제 2 오브젝트의 위치, 모양 및 크기 중 적어도 하나에 기초하여 제 1 오브젝트 및 제 2 오브젝트 중 하나를 컨트롤 오브젝트로 결정할 수 있다. 예를 들면, 컨트롤 오브젝트 판단부(224)는 주먹 쥔 손 안에 포함된 홀(730)을 가상 마우스로서의 제 1 오브젝트로 결정할 수 있다. 예를 들어, 사용자가 주먹을 쥐게 되면(홀이 사라진 경우) 가상 마우스의 왼쪽이 클릭된 것으로 판단될 수 있다. 다른 예를 들어, 사용자가 손을 펼치게 되면 가상 마우스의 오른쪽이 클릭된 것으로 판단될 수 있다.
컨트롤 오브젝트 판단부(224)는 제 1 오브젝트가 제 2 오브젝트의 내부에 위치하는 경우 제 1 오브젝트를 적어도 하나의 컨트롤 오브젝트로 결정할 수 있다. 예를 들면, 도 7b를 참조하면, 홀(730)에 대응하는 제 1 오브젝트가 제 1 형태의 객체(710)에 대응하는 제 2 오브젝트의 내부에 위치하게 되면, 컨트롤 오브젝트 판단부(224)는 홀(730)을 컨트롤 오브젝트로 결정할 수 있다.
컨트롤 오브젝트 판단부(224)는 제 1 오브젝트 및 제 2 오브젝트 중 기설정된 범위의 크기에 해당하는 오브젝트를 컨트롤 오브젝트로 결정할 수 있다. 또한, 컨트롤 오브젝트 판단부(224)는 복수의 제 1 오브젝트 및 복수의 제 2 오브젝트의 위치에 기초하여 컨트롤 오브젝트를 결정할 수 있다. 예를 들어, 컨트롤 오브젝트 판단부(224)는 복수의 제 1 오브젝트 중 가장 자리에 위치하지 않는 오브젝트를 홀(730)을 포함하는 컨트롤 오브젝트로 결정할 수 있다.
알파맵 분석부(220)는 컨트롤 오브젝트의 크기가 기설정된 비율만큼 변한 경우 셋톱 박스(110)의 제어 신호를 생성할 수 있다. 예를 들면, 손 제스쳐의 형태가 변경된 경우(예컨대, 한 손이 그립(grip)한 제스쳐에서 펼쳐진 제스쳐로 바뀐 경우 또는 그 반대의 경우), 알파맵 분석부(220)는 변경된 손 제스쳐에 기초하여 셋톱 박스(110)의 제어 신호를 생성할 수 있다.
알파맵 분석부(220)는 컨트롤 오브젝트가 기설정된 영역에 위치하는 경우 셋톱 박스(110)의 제어 신호를 생성할 수 있다. 예를 들면, 도 8a를 참조하면, 알파맵 분석부(220)는 화면의 기설정된 복수의 영역(801 내지 811)마다 가상 키보드의 문자 버튼(예컨대, 화면의 제 1 영역(801)에 문자 'A'를 매핑)을 매핑할 수 있다. 알파맵 분석부(220)는 컨트롤 오브젝트가 화면의 제 2 영역(803)에 위치하게 되면, 문자 'B'를 출력하도록 하는 제어 신호를 생성할 수 있다.
다른 예로, 도 8b를 참조하면, 알파맵 분석부(220)는 화면의 기설정된 복수의 영역(815 내지 819)마다 셋톱 박스(110)를 제어하는 제어 신호를 매핑할 수 있다. 알파맵 분석부(220)는 컨트롤 오브젝트로 결정된 사용자(813)의 손이 제 3 영역(815)에 위치하면, 채널을 변경하는 제어 신호를 생성하고, 사용자(813)의 손이 제 4 영역(817)에 위치하면, 볼륨을 다운하는 제어 신호를 생성하고, 사용자(813)의 손이 제 5 영역(819)에 위치하면, 볼륨을 업하는 제어 신호를 생성할 수 있다.
제어 신호 전송부(230)는 제어 신호를 셋톱 박스(110)에게 전송할 수 있다.
알파맵 전송부(240)는 각 프레임의 알파맵과 원본 이미지를 이미지 처리 서버(130)에게 전송할 수 있다. 이 때, 각 프레임의 알파맵과 원본 이미지로부터 생성된 이미지는 셋톱 박스(110)를 통해 출력 중인 영상 위에 오버레이될 수 있다.
한편, 당업자라면, 영상 획득부(200), 알파맵 생성부(210), 알파맵 분석부(220), 알파맵 분류부(222), 컨트롤 오브젝트 판단부(224), 제어 신호 전송부(230) 및 알파맵 전송부(240) 각각이 분리되어 구현되거나, 이 중 하나 이상이 통합되어 구현될 수 있음을 충분히 이해할 것이다.
도 3은 본 발명의 일 실시예에 따른, 사용자 단말(100)에서 수행되는 양방향 서비스를 제공하는 방법을 나타낸 동작 흐름도이다.
도 3에 도시된 실시예에 따른 양방향 서비스 제공 방법은 도 1 내지 도 2에 도시된 실시예에 따른 사용자 단말(100), 셋톱 박스(110), 미디어 서버(120) 및 이미지 처리 서버(130)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 2의 사용자 단말(100), 셋톱 박스(110), 미디어 서버(120) 및 이미지 처리 서버(130)에 관하여 기술된 내용은 도 3에 도시된 실시예에 따른 양방향 서비스 제공 방법에도 적용될 수 있다.
도 3을 참조하면, 단계 S301에서 사용자 단말(100)은 레퍼런스 영상과 실시간 영상을 획득할 수 있다.
단계 S303에서 사용자 단말(100)은 레퍼런스 영상과 실시간 영상을 비교하여 실시간 영상의 각 프레임의 알파맵을 생성할 수 있다.
단계 S305에서 사용자 단말(100)은 알파맵의 알파값을 분석하여 컨트롤 오브젝트를 판단하고, 컨트롤 오브젝트의 알파값을 분석하여 셋톱 박스(110)에 대한 제어 신호를 생성할 수 있다.
단계 S307에서 사용자 단말(100)은 제어 신호를 셋톱 박스(110)에게 전송할 수 있다.
상술한 설명에서, 단계 S301 내지 S307은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
도 4는 본 발명의 일 실시예에 따른, 도 1에 도시된 셋톱 박스(110)의 블록도이다. 도 4를 참조하면, 셋톱 박스(110)는 컨텐츠 수신부(400), 이미지 수신부(410), 이미지 출력부(420), 제어 신호 수신부(430), 제어부(440) 및 이벤트 생성부(450)를 포함할 수 있다. 다만, 도 4에 도시된 셋톱 박스(110)는 본 발명의 하나의 구현 예에 불과하며, 도 4에 도시된 구성요소들을 기초로 하여 여러 가지 변형이 가능하다.
컨텐츠 수신부(400)는 미디어 서버(120)로부터 컨텐츠 영상을 수신할 수 있다.
이미지 수신부(410)는 사용자 단말(100)을 통해 촬영된 실시간 영상의 각 프레임의 알파맵에 대응하는 이미지를 이미지 처리 서버(130)로부터 수신할 수 있다. 예를 들면, 이미지는 이미지 처리 서버(130)로부터 기설정된 FPS(frame per sec)으로 전송될 수 있다. 이미지는 실시간 영상의 각 프레임의 알파맵에 기초하여 객체와 배경이 분리된 것일 수 있다. 이미지는 사용자 단말(100)로부터의 이미지의 수신 시각 정보를 포함할 수 있다.
이미지 수신부(410)는 이미지 처리 서버(130)로부터 객체의 좌표값을 더 수신할 수 있다. 여기서, 객체의 좌표값은 분리된 객체의 좌표값으로 객체의 이동 방향에 따라 변경될 수 있다.
이미지 출력부(420)는 수신한 이미지를 웹뷰(web view) 브라우져에 디스플레이하고, 웹뷰 브라우져를 컨텐츠 영상이 재생되는 플레이어에 오버레이할 수 있다. 여기서 이미지는 컨텐츠 영상에 투영된 자신의 모습에 해당하는 이미지일 수 있다.
이미지 출력부(420)는 이미지가 컨텐츠 영상에 투영되도록 웹뷰 브라우져의 투명도를 제어할 수 있다. 예를 들면, 이미지 출력부(420)는 웹뷰 브라우져를 투명하게 제어할 수 있다. 웹뷰 브라우져를 투명하게 제어함으로써 웹뷰 브라우져에 디스플레이된 이미지만이 플레이어에 투영될 수 있다. 웹뷰 브라우져를 컨텐츠 영상이 재생되는 플레이어에 오버레이시키고 이미지를 일정한 주기로 리프레쉬(Refresh)하면 영상을 직접 합성하지 않고도 자연스럽게 두 영상이 믹스(Mix)된 효과를 얻을 수 있다. 또한, 배경이 투명한 이미지를 이용함으로써 배경이 제거된 객체만이 컨텐츠 영상에 합성된 것과 같은 효과를 얻을 수 있다.
제어 신호 수신부(430)는 사용자 단말(100)로부터 제어 신호를 수신할 수 있다. 여기서, 제어 신호는 사용자 단말(100)에 의해 알파맵의 알파값이 분석되어 컨트롤 오브젝트가 판단되고, 컨트롤 오브젝트의 알파값이 분석되어 생성될 수 있다.
제어부(440)는 제어 신호(예를 들면, 채널 변경 신호 및 볼륨 변경 신호 등)에 따라 명령을 수행할 수 있다.
이벤트 생성부(450)는 분리된 객체의 좌표값에 기초하여 이벤트를 생성할 수 있다. 이벤트 생성부(450)는 객체가 위치하는 영역에 해당하는 이벤트를 생성하고, 웹뷰 브라우저의 각 영역에 기설정된 이벤트를 매핑할 수 있다.
이와 관련하여, 잠시 도 9a를 참조하면, 셋톱 박스(110)는 게임 컨텐츠 영상의 화면을 수직으로 복수의 영역(902 내지 918)으로 분할하고, 복수의 영역 별로 이벤트를 다르게 설정할 수 있다. 예를 들면, 'E' 영역(910)에 객체(900)가 위치한 경우, 셋톱 박스(110)는 'E' 영역(910)에 해당하는 제 1 이벤트를 생성할 수 있다. 또는, 객체(900)가 'E' 영역(910)에서 'G' 영역(914)으로 위치를 변경한 경우, 셋톱 박스(110)는 'G' 영역(914)에 해당하는 제 2 이벤트를 생성할 수 있다.
도 9b를 참조하면, 셋톱 박스(110)는 이미지 처리 서버(130)로부터 수신된 객체(900)의 좌표값에 기초하여 객체(900)의 이동 경로를 파악할 수 있다. 여기서, 이미지 처리 서버(130)로부터 수신된 객체(900)의 좌표값은 게임 컨텐츠 영상에 포함된 캐릭터의 좌표값에 매핑되고, 게임 컨텐츠 영상에는 캐릭터 대신 객체(900)가 오버레이되어 출력된다. 셋톱 박스(110)는 객체(900)가 위치하는 영역에 기초하여 게임 아이템을 제공할 수도 있다.
한편, 당업자라면, 컨텐츠 수신부(400), 이미지 수신부(410), 이미지 출력부(420), 제어 신호 수신부(430), 제어부(440) 및 이벤트 생성부(450) 각각이 분리되어 구현되거나, 이 중 하나 이상이 통합되어 구현될 수 있음을 충분히 이해할 것이다.
도 5는 본 발명의 일 실시예에 따른, 셋톱 박스(110)에서 수행되는 양방향 서비스를 제공하는 방법을 나타낸 동작 흐름도이다.
도 5에 도시된 실시예에 따른 양방향 서비스 제공 방법은 도 1 내지 도 4에 도시된 실시예에 따른 사용자 단말(100), 셋톱 박스(110), 미디어 서버(120) 및 이미지 처리 서버(130)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 4의 사용자 단말(100), 셋톱 박스(110), 미디어 서버(120) 및 이미지 처리 서버(130)에 관하여 기술된 내용은 도 5에 도시된 실시예에 따른 양방향 서비스 제공 방법에도 적용될 수 있다.
도 5를 참조하면, 단계 S501에서 셋톱 박스(110)는 미디어 서버(120)로부터 컨텐츠 영상을 수신할 수 있다.
단계 S503에서 셋톱 박스(110)는 사용자 단말(100)을 통해 촬영된 실시간 영상의 각 프레임의 알파맵에 대응하는 이미지를 이미지 처리 서버(130)로부터 수신할 수 있다.
단계 S505에서 셋톱 박스(110)는 수신한 이미지를 웹뷰 브라우져에 디스플레이하고, 웹뷰 브라우져를 컨텐츠 영상이 재생되는 플레이어에 오버레이할 수 있다.
단계 S507에서 셋톱 박스(110)는 사용자 단말(100)로부터 제어 신호를 수신할 수 있다. 여기서, 제어 신호는 사용자 단말(100)에 의해 알파맵의 알파값이 분석되어 컨트롤 오브젝트가 판단되고, 컨트롤 오브젝트의 알파값이 분석되어 생성될 수 있다.
단계 S509에서 셋톱 박스(110)는 제어 신호에 따라 명령을 수행할 수 있다.
상술한 설명에서, 단계 S501 내지 S509는 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
도 10은 본 발명의 일 실시예에 따른, 알파맵 분석을 통한 양방향 서비스를 제공하는 방법을 나타낸 동작 흐름도이다.
도 10에 도시된 실시예에 따른 양방향 서비스 제공 방법은 도 1 내지 도 9b에 도시된 실시예에 따른 사용자 단말(100), 셋톱 박스(110), 미디어 서버(120) 및 이미지 처리 서버(130)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 9b의 사용자 단말(100), 셋톱 박스(110), 미디어 서버(120) 및 이미지 처리 서버(130)에 관하여 기술된 내용은 도 10에 도시된 실시예에 따른 양방향 서비스 제공 방법에도 적용될 수 있다.
도 10을 참조하면, 단계 S1001에서 사용자 단말(100)은 사용자 단말(100)에 구비된 카메라를 통해 레퍼런스 영상과 실시간 영상을 획득할 수 있다.단계 S1003에서 사용자 단말(100)은 레퍼런스 영상과 실시간 영상을 비교하여 실시간 영상의 각 프레임의 알파맵을 생성할 수 있다.
단계 S1005에서 사용자 단말(100)은 실시간 영상의 각 프레임에 대응하는 원본 이미지 및 알파맵을 이미지 처리 서버(130)에게 전송할 수 있다.
단계 S1007에서 이미지 처리 서버(130)는 실시간 영상의 각 프레임의 알파맵에 대응하는 이미지를 셋톱 박스(110)로 전송할 수 있다.
단계 S1009에서 셋톱 박스(110)는 이미지 처리 서버(130)로부터 수신된 이미지를 플레이어에서 재생 중인 컨텐츠 영상에 오버레이하여 출력할 수 있다.
단계 S1011에서 사용자 단말(100)은 알파맵의 알파값을 분석하여 컨트롤 오브젝트를 판단하고, 컨트롤 오브젝트의 알파값을 분석하여 셋톱 박스(110)에 대한 제어 신호를 생성할 수 있다.
단계 S1013에서 사용자 단말(100)은 생성된 제어 신호를 셋톱 박스(110)에게 전송할 수 있다.
단계 S1015에서 셋톱 박스(110)는 사용자 단말(100)로부터 수신된 제어 신호에 따라 명령을 수행할 수 있다.
상술한 설명에서, 단계 S1001 내지 S1015는 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
도 11은 본 발명의 다른 실시예에 따른, 알파맵 분석을 통한 양방향 서비스를 제공하는 방법을 나타낸 동작 흐름도이다.
도 11에 도시된 실시예에 따른 양방향 서비스 제공 방법은 도 1 내지 도 10에 도시된 실시예에 따른 사용자 단말(100), 셋톱 박스(110), 미디어 서버(120) 및 이미지 처리 서버(130)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 10의 사용자 단말(100), 셋톱 박스(110), 미디어 서버(120) 및 이미지 처리 서버(130)에 관하여 기술된 내용은 도 11에 도시된 실시예에 따른 양방향 서비스 제공 방법에도 적용될 수 있다.
도 11을 참조하면, 단계 S1101에서 사용자 단말(100)은 사용자 단말(100)의 카메라를 통해 촬영된 레퍼런스 영상과 실시간 영상을 비교하여 실시간 영상의 각 프레임의 알파맵을 생성하고, 실시간 영상의 각 프레임에 대응하는 원본 이미지, 알파맵 및 실시간 영상에 포함된 객체의 좌표값을 이미지 처리 서버(130)에게 전송할 수 있다.
단계 S1103에서 이미지 처리 서버(130)는 실시간 영상의 각 프레임의 알파맵에 대응하는 이미지 및 객체의 좌표값을 셋톱 박스(110)에게 전송할 수 있다.
단계 S1105에서 셋톱 박스(110)는 이미지 처리 서버(130)로부터 수신된 이미지를 플레이어에서 재생 중인 컨텐츠 영상에 오버레이하여 출력할 수 있다.
단계 S1107에서 셋톱 박스(110)는 객체의 좌표값에 기초하여 객체를 추적하고, 객체가 위치하는 영역에 해당하는 이벤트를 생성할 수 있다.
상술한 설명에서, 단계 S1101 내지 S1107은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 사용자 단말
110: 셋톱 박스
120: 미디어 서버
130: 이미지 처리 서버
140: 디스플레이 장치
200: 영상 획득부
210: 알파맵 생성부
220: 알파맵 분석부
222: 알파맵 분류부
224: 컨트롤 오브젝트 판단부
230: 제어 신호 전송부
240: 알파맵 전송부
400: 컨텐츠 수신부
410: 이미지 수신부
420: 이미지 출력부
430: 제어 신호 수신부
440: 제어부
450: 이벤트 생성부
110: 셋톱 박스
120: 미디어 서버
130: 이미지 처리 서버
140: 디스플레이 장치
200: 영상 획득부
210: 알파맵 생성부
220: 알파맵 분석부
222: 알파맵 분류부
224: 컨트롤 오브젝트 판단부
230: 제어 신호 전송부
240: 알파맵 전송부
400: 컨텐츠 수신부
410: 이미지 수신부
420: 이미지 출력부
430: 제어 신호 수신부
440: 제어부
450: 이벤트 생성부
Claims (20)
- 알파맵(Alpha Map) 분석을 통한 양방향 서비스를 제공하는 사용자 단말에 있어서,
레퍼런스 영상과 실시간 영상을 획득하는 영상 획득부;
상기 레퍼런스 영상과 상기 실시간 영상을 비교하여 상기 실시간 영상의 각 프레임의 알파맵을 생성하는 알파맵 생성부;
상기 알파맵의 알파값을 분석하여 컨트롤 오브젝트를 판단하고, 상기 컨트롤 오브젝트의 알파값을 분석하여 제어 대상 장치에 대한 제어 신호를 생성하는 알파맵 분석부; 및
상기 제어 신호를 상기 제어 대상 장치로 전송하는 제어 신호 전송부
를 포함하고,
상기 알파맵 분석부는 상기 알파맵을 각 픽셀의 알파값이 제 1 값인 제 1 오브젝트 및 각 픽셀의 알파값이 제 2 값인 제 2 오브젝트로 분류하는 알파맵 분류부;
상기 알파맵 분류부는 상기 제 1 오브젝트 및 상기 제 2 오브젝트의 위치, 모양 및 크기 중 적어도 하나에 기초하여 상기 제 1 오브젝트 및 상기 제 2 오브젝트 중 하나를 상기 컨트롤 오브젝트로 결정하는 컨트롤 오브젝트 판단부
를 더 포함하는 것인, 사용자 단말.
- 제 1 항에 있어서,
상기 각 프레임의 알파맵과 원본 이미지를 이미지 처리 서버로 전송하는 알파맵 전송부
를 더 포함하는 것인, 사용자 단말.
- 삭제
- 삭제
- 제 1 항에 있어서,
상기 컨트롤 오브젝트 판단부는 상기 제 1 오브젝트가 상기 제 2 오브젝트의 내부에 위치하는 경우 상기 제 1 오브젝트를 상기 컨트롤 오브젝트로 결정하는 것인, 사용자 단말.
- 제 1 항에 있어서,
상기 컨트롤 오브젝트 판단부는 상기 제 1 오브젝트 및 상기 제 2 오브젝트 중 기설정된 범위의 크기에 해당하는 오브젝트를 상기 컨트롤 오브젝트로 결정하는 것인, 사용자 단말.
- 제 1 항에 있어서,
상기 알파맵 분석부는 상기 컨트롤 오브젝트의 크기가 기설정된 비율만큼 변한 경우 상기 제어 대상 장치의 제어 신호를 생성하는 것인, 사용자 단말.
- 제 1 항에 있어서,
상기 알파맵 분석부는 상기 컨트롤 오브젝트가 기설정된 영역에 위치하는 경우 상기 제어 대상 장치의 제어 신호를 생성하는 것인, 사용자 단말.
- 제 7 항 또는 제 8 항에 있어서,
상기 제어 대상 장치는 셋톱 박스이고,
상기 제어 신호는 채널 변경 신호 및 볼륨 변경 신호를 포함하는 것인, 사용자 단말.
- 제 2 항에 있어서,
상기 각 프레임의 알파맵과 원본 이미지로부터 생성된 이미지가 상기 제어 대상 장치를 통해 출력 중인 영상 위에 오버레이되는 것인, 사용자 단말.
- 알파맵(Alpha Map)을 통한 양방향 서비스를 제공하는 셋톱 박스에 있어서,
미디어 서버로부터 컨텐츠 영상을 수신하는 컨텐츠 수신부;
사용자 단말을 통해 촬영된 실시간 영상의 각 프레임의 알파맵(Alpha Map)에 대응하는 이미지를 이미지 처리 서버로부터 수신하는 이미지 수신부;
상기 수신한 이미지를 웹뷰(web view) 브라우져에 디스플레이하고, 상기 웹뷰 브라우져를 상기 컨텐츠 영상이 재생되는 플레이어에 오버레이하는 이미지 출력부;
상기 사용자 단말로부터 제어 신호를 수신하는 제어 신호 수신부; 및
상기 제어 신호에 따라 명령을 수행하는 제어부
를 포함하고,
상기 제어 신호는 상기 사용자 단말에 의해 상기 알파맵의 알파값이 분석되어 컨트롤 오브젝트가 판단되고, 상기 컨트롤 오브젝트의 알파값이 분석되어 생성되고,
상기 알파맵은 각 픽셀의 알파값이 제 1 값인 제 1 오브젝트 및 각 픽셀의 알파값이 제 2 값인 제 2 오브젝트로 분류되고,
상기 컨트롤 오브젝트는 상기 제 1 오브젝트 및 상기 제 2 오브젝트의 위치, 모양 및 크기 중 적어도 하나에 기초하여 상기 제 1 오브젝트 및 상기 제 2 오브젝트 중 하나로 결정되는 것인, 셋톱 박스
- 제 11 항에 있어서,
상기 이미지 출력부는 상기 이미지가 상기 컨텐츠 영상에 투영되도록 상기 웹뷰 브라우져의 투명도를 제어하는 것인, 셋톱 박스.
- 제 11 항에 있어서,
상기 이미지 수신부는 상기 이미지 처리 서버로부터 객체의 좌표값을 더 수신하는 것인, 셋톱 박스.
- 제 13 항에 있어서,
상기 이미지는 상기 각 프레임의 알파맵에 기초하여 상기 객체와 배경이 분리되고,
상기 좌표값은 상기 분리된 객체의 좌표값인 것인, 셋톱 박스.
- 제 13 항에 있어서,
상기 좌표값에 기초하여 이벤트를 생성하는 이벤트 생성부
를 더 포함하고,
상기 웹뷰 브라우져의 각 영역은 기설정된 이벤트가 매핑되어 있고,
상기 이벤트 생성부는 상기 객체가 위치하는 영역에 해당하는 이벤트를 생성하는 것인, 셋톱 박스.
- 사용자 단말에서 수행되는 양방향 서비스를 제공하는 방법에 있어서,
레퍼런스 영상과 실시간 영상을 획득하는 단계;
상기 레퍼런스 영상과 상기 실시간 영상을 비교하여 상기 실시간 영상의 각 프레임의 알파맵을 생성하는 단계;
상기 알파맵의 알파값을 분석하여 컨트롤 오브젝트를 판단하고, 상기 컨트롤 오브젝트의 알파값을 분석하여 제어 대상 장치에 대한 제어 신호를 생성하는 단계; 및
상기 제어 신호를 상기 제어 대상 장치로 전송하는 단계
를 포함하고,
상기 각 프레임의 알파맵을 생성하는 단계는
상기 알파맵을 각 픽셀의 알파값이 제 1 값인 제 1 오브젝트 및 각 픽셀의 알파값이 제 2 값인 제 2 오브젝트로 분류하는 단계를 포함하고,
상기 분류하는 단계는
상기 제 1 오브젝트 및 상기 제 2 오브젝트의 위치, 모양 및 크기 중 적어도 하나에 기초하여 상기 제 1 오브젝트 및 상기 제 2 오브젝트 중 하나를 상기 컨트롤 오브젝트로 결정하는 단계를 포함하는 것인, 양방향 서비스 제공 방법.
- 삭제
- 삭제
- 제 16 항에 있어서,
상기 제어 신호를 생성하는 단계는
상기 컨트롤 오브젝트의 크기가 기설정된 비율만큼 변한 경우 상기 제어 대상 장치의 제어 신호를 생성하는 단계를 포함하는 것인, 양방향 서비스 제공 방법.
- 제 16 항에 있어서,
상기 제어 신호를 생성하는 단계는
상기 컨트롤 오브젝트가 기설정된 영역에 위치하는 경우 상기 제어 대상 장치의 제어 신호를 생성하는 단계를 포함하는 것인, 양방향 서비스 제공 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160121361A KR102200820B1 (ko) | 2016-09-22 | 2016-09-22 | 알파맵(Alpha Map) 분석을 통한 양방향 서비스를 제공하는 사용자 단말, 셋톱 박스 및 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160121361A KR102200820B1 (ko) | 2016-09-22 | 2016-09-22 | 알파맵(Alpha Map) 분석을 통한 양방향 서비스를 제공하는 사용자 단말, 셋톱 박스 및 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20180032320A KR20180032320A (ko) | 2018-03-30 |
KR102200820B1 true KR102200820B1 (ko) | 2021-01-11 |
Family
ID=61900239
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160121361A KR102200820B1 (ko) | 2016-09-22 | 2016-09-22 | 알파맵(Alpha Map) 분석을 통한 양방향 서비스를 제공하는 사용자 단말, 셋톱 박스 및 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102200820B1 (ko) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010515170A (ja) * | 2006-12-29 | 2010-05-06 | ジェスチャー テック,インコーポレイテッド | 機能強化したインタラクティブシステムを用いた仮想オブジェクトの操作 |
JP2011085966A (ja) * | 2009-10-13 | 2011-04-28 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101781158B1 (ko) * | 2010-12-22 | 2017-09-25 | 한국전자통신연구원 | 다중 카메라를 이용한 영상 매팅 장치 및 알파맵 생성 방법 |
-
2016
- 2016-09-22 KR KR1020160121361A patent/KR102200820B1/ko active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010515170A (ja) * | 2006-12-29 | 2010-05-06 | ジェスチャー テック,インコーポレイテッド | 機能強化したインタラクティブシステムを用いた仮想オブジェクトの操作 |
JP2011085966A (ja) * | 2009-10-13 | 2011-04-28 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
KR20180032320A (ko) | 2018-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10168794B2 (en) | Motion-assisted visual language for human computer interfaces | |
WO2021115181A1 (zh) | 手势识别方法、手势控制方法、装置、介质与终端设备 | |
US9710068B2 (en) | Apparatus and method for controlling interface | |
US9104242B2 (en) | Palm gesture recognition method and device as well as human-machine interaction method and apparatus | |
EP3467707A1 (en) | System and method for deep learning based hand gesture recognition in first person view | |
CN105190644B (zh) | 用于使用触摸控制的基于图像的搜索的技术 | |
KR20220144890A (ko) | 다중 사용자 환경에서 손 제스처를 사용하여 디바이스를 제어하기 위한 방법 및 시스템 | |
EP2453342A2 (en) | Method for providing display image in multimedia device and device thereof | |
US10990226B2 (en) | Inputting information using a virtual canvas | |
US10452777B2 (en) | Display apparatus and character correcting method thereof | |
CN102737238A (zh) | 基于手势动作的字符识别***、方法、及其应用 | |
US20150169085A1 (en) | Information processing apparatus, program, information processing method, and information processing system | |
CN115298638A (zh) | 用于基于手势控制设备的方法和*** | |
EP2798576A2 (en) | Method and system for video composition | |
US10401947B2 (en) | Method for simulating and controlling virtual sphere in a mobile device | |
CN112633313B (zh) | 一种网络终端的不良信息识别方法及局域网终端设备 | |
US20150244984A1 (en) | Information processing method and device | |
CN113778217B (zh) | 显示设备及显示设备控制方法 | |
KR20190117838A (ko) | 객체 인식 시스템 및 그 방법 | |
CN202093528U (zh) | 基于手势动作的字符识别***及翻译*** | |
CN112165635A (zh) | 视频转换方法、装置、***及存储介质 | |
US20230368338A1 (en) | Image display method and apparatus, and electronic device | |
KR102200820B1 (ko) | 알파맵(Alpha Map) 분석을 통한 양방향 서비스를 제공하는 사용자 단말, 셋톱 박스 및 방법 | |
KR102212588B1 (ko) | 셋톱 박스에서 수행되는 영상 처리 방법, 셋톱 박스 및 영상 처리 시스템 | |
EP4184424A1 (en) | Method and device for improving video quality |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |