KR101415186B1 - 그래픽 데이터 전송을 통한 단말기 간 그래픽 영상 공유 장치 및 방법 - Google Patents

그래픽 데이터 전송을 통한 단말기 간 그래픽 영상 공유 장치 및 방법 Download PDF

Info

Publication number
KR101415186B1
KR101415186B1 KR1020120115586A KR20120115586A KR101415186B1 KR 101415186 B1 KR101415186 B1 KR 101415186B1 KR 1020120115586 A KR1020120115586 A KR 1020120115586A KR 20120115586 A KR20120115586 A KR 20120115586A KR 101415186 B1 KR101415186 B1 KR 101415186B1
Authority
KR
South Korea
Prior art keywords
terminal
graphic
graphic data
collected
sub
Prior art date
Application number
KR1020120115586A
Other languages
English (en)
Other versions
KR20140049388A (ko
Inventor
김성재
이동철
박범진
Original Assignee
주식회사 넥서스칩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 넥서스칩스 filed Critical 주식회사 넥서스칩스
Priority to KR1020120115586A priority Critical patent/KR101415186B1/ko
Publication of KR20140049388A publication Critical patent/KR20140049388A/ko
Application granted granted Critical
Publication of KR101415186B1 publication Critical patent/KR101415186B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

그래픽 데이터 전송을 통하여 단말기 간에 그래픽 영상을 공유하는 장치 및 방법에 관한 것으로, 일 실시예에 따른 단말기 간 그래픽 영상 공유 장치는 그래픽 처리 장치(GPU)가 장착된 제1단말이 그 그래픽 처리 장치를 이용하여 화면에 그래픽 영상을 출력하는지를 감지하는 감지부, 감지부에 의해 그래픽 영상의 출력이 감지되면 그 그래픽 영상을 출력하기 위해 그래픽 처리 장치에 전달되는 그래픽 데이터를 실시간으로 수집하는 수집부 및 수집부에 의해 수집된 그래픽 데이터를 유무선 통신망을 이용하여 소정 주기 단위로 제2단말에 전송하는 통신부를 포함할 수 있다. 제2단말에서는 제1단말로부터 그래픽 데이터를 전송받아 제2단말의 GPU를 통해 그래픽 영상을 출력하는 동시에 제2단말에서 수집되는 제어 명령을 제1단말로 전송하여 제1단말에서 해당 애플리케이션이 제어될 수 있도록 할 수 있다.

Description

그래픽 데이터 전송을 통한 단말기 간 그래픽 영상 공유 장치 및 방법{APPARATUS AND METHOD FOR SHARING GRAPHIC IMAGE BETWEEN TERMINALS BY TRANSMITTING GRAPHIC DATA}
그래픽 데이터 전송을 통해 단말기 간 그래픽 영상 공유 장치 및 방법에 관한 것으로, 보다 상세하게는 제1 단말의 그래픽 데이터를 제2 단말에 전송하여 그래픽 영상을 공유하는 기술에 관한 것이다.
최근 스마트폰, 스마트 TV, 스마트 박스 등의 기술이 발전하면서 사용자들은 스마트폰, 스마트 TV 등을 이용하여 TV 시청, 동영상 감상, 인터넷 검색 등의 각종 작업을 하고 있다. 스마트폰 등의 모바일 단말이 급속히 보급되면서 사용자들은 스마트폰의 터치패널을 통해 각종 입력 작업을 수행하는데 익숙해져 있다. 이에 반해, 대부분 가정에 설치되는 스마트 TV 등은 사용자와 일정 거리 떨어져 있기 때문에 사용자들은 주로 리모콘이나 마우스 등을 이용하여 스마트 TV의 각종 동작을 제어하고 있다. 그 결과, 스마트폰 등의 터치패널을 통한 터치 입력에 익숙해져 있는 사용자들은 리모콘이나 마우스를 통한 스마트 TV 제어에 어려움을 겪고 있다. 대한민국 공개특허 제10-2011-0069985호는 단말기 간에 일반적인 최종 영상의 공유 방법에 대해 개시하고 있다.
스마트 TV 등의 화면에 그래픽 영상을 출력하기 위해 그래픽 처리 장치(GPU)에서 처리하는 그래픽 데이터를 스마트폰 등의 단말에 전송하고, 그 단말에서 그래픽 처리 장치(GPU)를 통해 그래픽 데이터를 처리하여 그래픽 영상을 출력하는 장치 및 방법이 제시된다.
일 양상에 따르면, 단말기 간 그래픽 영상 공유 장치는 그래픽 처리 장치(GPU)가 장착된 제1단말에서 그래픽 처리 장치를 통해 화면에 그래픽 영상을 출력하는 애플리케이션의 실행을 감지하는 감지부, 애플리케이션의 실행이 감지되면 그 애플리케이션이 그래픽 처리 장치에 전달하는 그래픽 데이터를 실시간으로 수집하는 수집부 및 수집된 그래픽 데이터를 유무선 통신망을 이용하여 제2단말에 전송하는 통신부를 포함할 수 있다.
다른 양상에 따르면, 단말기 간 그래픽 영상 공유 장치는 그래픽 처리 장치(GPU)가 장착된 제1단말에서 상기 그래픽 처리 장치를 통해 주화면과 가상의 부화면에 각각 그래픽 영상을 출력하는 애플리케이션의 실행을 감지하는 감지부, 애플리케이션의 실행이 감지되면 그 애플리케이션이 가상의 부화면에 그래픽 영상을 출력하기 위해 그래픽 처리 장치에 전달하는 그래픽 데이터를 실시간으로 수집하는 수집부 및 수집된 그래픽 데이터를 유무선 통신망을 이용하여 제2단말에 전송하는 통신부를 포함할 수 있다.
통신부는 부 화면 영역이 둘 이상인 경우 수집부에 의해 수집되는 각 부 화면 영역에 대한 그래픽 데이터를 대응되는 제2단말에 전송할 수 있다.
이때, 제2단말에 전송되는 그래픽 데이터는 제1단말의 각종 동작을 제어하기 위한 사용자의 입력을 수신하는 사용자 인터페이스에 대한 그래픽 데이터일 수 있고, 통신부는 사용자가 제2단말에서 출력된 사용자 인터페이스의 조작을 통해 수집된 제1단말을 위한 제어 명령을 제2단말로부터 수신하여 제1단말의 제어부에 전송할 수 있다.
통신부는 상기 수집된 그래픽 데이터를 네트워크 또는 상기 각 단말의 성능을 기초로 미리 설정된 일정 주기마다 제2단말에 전송할 수 있다.
또한, 그래픽 데이터는 OpenGL, OpenGL ES, Direct3D 및 Direct3D Mobile 중의 하나 이상을 포함하는 그래픽 라이브러리 API에서 사용되는 형식의 데이터일 수 있다.
일 양상에 따르면, 단말기 간 그래픽 영상 공유 방법은 그래픽 처리 장치(GPU)가 장착된 제1단말에서 그래픽 처리 장치를 통해 화면에 그래픽 영상을 출력하는 애플리케이션의 실행을 감지하는 단계, 애플리케이션의 실행이 감지되면 그 애플리케이션이 그래픽 처리 장치에 전달하는 그래픽 데이터를 실시간으로 수집하는 단계 및 수집된 그래픽 데이터를 유무선 통신망을 이용하여 제2단말에 전송하는 단계를 포함할 수 있다.
다른 양상에 따르면, 단말기 간 그래픽 영상 공유 방법은 그래픽 처리 장치(GPU)가 장착된 제1단말에서 그래픽 처리 장치를 통해 주화면과 가상의 부화면에 각각 그래픽 영상을 출력하는 애플리케이션의 실행을 감지하는 단계, 애플리케이션의 실행이 감지되면 그 애플리케이션이 가상의 부화면에 그래픽 영상을 출력하기 위해 그래픽 처리 장치에 전달하는 그래픽 데이터를 실시간으로 수집하는 단계 및 수집된 그래픽 데이터를 유무선 통신망을 이용하여 제2단말에 전송하는 단계를 포함할 수 있다.
추가적인 양상에 따르면, 제2단말에 전송되는 그래픽 데이터는 제1단말의 각종 동작을 제어하기 위한 사용자의 입력을 수신하는 사용자 인터페이스에 대한 그래픽 데이터일 수 있고, 단말기 간 그래픽 영상 공유 방법은 사용자가 제2단말에서 출력된 사용자 인터페이스의 조작을 통해 수집된 제1단말을 위한 제어 명령을 제2단말로부터 수신하여 제1단말의 제어부에 전송하는 단계를 더 포함할 수 있다.
이때, 제2단말에 전송하는 단계는 상기 수집된 그래픽 데이터를 네트워크 또는 상기 각 단말의 성능을 기초로 미리 설정된 일정 주기마다 제2단말에 전송할 수 있다.
스마트 TV 등의 화면에 그래픽 영상을 출력하기 위해 그래픽 처리 장치(GPU)에서 처리하는 그래픽 데이터를 스마트폰 등의 단말에 전송하고, 그 단말에서 그래픽 처리 장치(GPU)를 통해 그래픽 데이터를 처리하여 그래픽 영상을 출력함으로써 스마트폰 등을 이용하여 스마트 TV 제어, 스마트 TV의 그래픽 영상 감상, 스마트 TV에 출력중인 그래픽 화면에 대한 부가 정보 확인 등을 손쉽게 할 수 있다.
또한, 최종 그래픽 영상을 실시간 압축(encoding)하고 전송하며, 그래픽 영상을 수신한 단말에서 그래픽 영상을 해제(decoding)하여 화면에 출력하는 방식에 비해 데이터량이 적어 상대적으로 낮은 대역폭의 네트워크에 적용될 수 있다.
도 1은 일 실시예에 따라 제1단말에 적용 가능한 그래픽 영상 공유 장치의 블록도이다.
도 2는 도 1의 그래픽 영상 공유 장치의 일 실시예이다.
도 3은 도 1의 그래픽 영상 공유 장치의 다른 실시예이다.
도 4는 일 실시예에 따라 제2단말에 적용 가능한 그래픽 영상 공유 장치의 블록도이다.
도 5는 일 실시예에 따라 제1단말에 적용 가능한 그래픽 영상 공유 방법의 흐름도이다.
도 6은 일 실시예에 따라 제2단말에 적용 가능한 그래픽 영상 공유 방법의 흐름도이다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다. 기재된 기술의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하,그래픽 데이터 전송을 통한 단말기 간 그래픽 영상 공유 장치 및 방법의 실시예들을 도면들을 참고하여 자세히 설명하도록 한다.
도 1은 일 실시예에 따라 제1단말에 적용 가능한 그래픽 데이터 공유 장치의 블록도이다. 여기서, 제1 단말은 스마트 TV가 될 수 있으나, 이는 하나의 예시로서, 스마트박스가 연결된 TV, 스마트폰, 태블릿 PC 등의 모바일 단말 및 각종 그래픽 처리 장치(GPU)를 이용하여 그래픽 영상을 출력하는 모든 장치가 될 수 있다.
도 1을 참조하면, 일 실시예에 따른 그래픽 영상 공유 장치(100)는 감지부(110), 수집부(120), 통신부(130) 및 제어부(140)를 포함한다.
감지부(110)는 그래픽 처리 장치(GPU)가 장착된 제1 단말에서 그래픽 처리 장치를 통해 화면에 그래픽 영상을 출력하는 애플리케이션의 실행을 감지할 수 있다. 일반적으로, 사용자 인터페이스, 게임, 웹 브라우저 등의 애플리케이션들은 각종 그래픽 영상을 그래픽 처리 장치(GPU)를 통해 화면상에 출력하고 있다. 대부분의 그래픽 처리 장치는 OpenGL, OpenGL ES, Direct3D 및 Direct3D Mobile 스펙 등과 같이 미리 정의된 형식의 데이터를 입력으로 하여 그래픽 영상을 생성한다. 일 예에 따르면, 감지부(110)는 애플리케이션에서 제1 단말의 그래픽 처리 장치에 미리 정의된 형식의 그래픽 데이터가 전달되기 시작하면 이를 감지하여 화면에 그래픽 영상의 출력을 감지할 수 있다.
수집부(120)는 감지부(110)에 의해 그래픽 영상을 출력하는 애플리케이션이 실행되는 것이 감지되면 그 애플리케이션이 그래픽 영상을 화면에 출력하기 위해 그래픽 처리 장치에 전달하는 그래픽 데이터를 수집할 수 있다. 이때, 수집되는 그래픽 데이터는 그래픽 처리 장치에서 처리되는 그래픽 라이브러리 함수와 그 라이브러리 함수의 파라미터 값일 수 있다. 수집부(120)는 애플리케이션의 그래픽 데이터들이 그래픽 처리 장치에 입력될 때마다 실시간으로 수집할 수 있다.
통신부(130)는 수집된 그래픽 데이터를 유무선 통신망을 이용하여 제2단말에 전송할 수 있다. 이때, 수집된 그래픽 데이터는 일정 주기 또는 일정 단위로 전송될 수 있는데, 일정 주기 또는 일정 단위는 네트워크 상태, 제1단말 및 제2단말의 컴퓨팅 능력 등을 기반으로 미리 설정되고 조정될 수 있다. 예를 들어, 그래픽 영상의 한 프레임 단위로 그래픽 데이터를 전송할 수 있다. 한 프레임의 그래픽 영상을 생성하기 위해서는 수백 개 또는 수천 개 이상의 그래픽 데이터가 필요할 수 있다. 이러한 그래픽 데이터를 너무 자주 전송하는 경우 네트워크에 부하가 발생할 수 있으므로 제2 단말에서 그래픽 영상을 출력하는데 필요한 최적의 크기 단위로 보냄으로써 네트워크 부하를 줄일 수 있다.
또한, 통신부(130)는 제2 단말로부터 제1단말을 위한 제어 명령을 수신하고, 그 수신된 제어 명령을 제1 단말의 제어부(140)에 전송할 수 있다. 즉, 사용자가 제2단말을 이용하여 제2단말에 출력된 사용자 인터페이스를 조작함으로써 제1단말의 제어를 위한 제어 명령을 입력하면, 그 제어 명령을 제2단말로부터 수신하여 제1단말의 제어부(140)에 전송할 수 있다. 이때, 제어 명령은 제2단말의 사용자에 의한 터치 좌표 및 시간, 센서 동작 값 등을 포함할 수 있다.
제어부(140)는 통신부(130)로부터 전달받은 제어 명령을 해당 애플리케이션에 전달하여 애플리케이션에서 대응되는 동작을 수행하도록 할 수 있다.
도 2는 도 1의 그래픽 영상 공유 장치(100)의 일 실시예로서, 스마트 TV(10)의 주 화면(MD)에 출력중인 그래픽 영상이 그대로 스마트폰 등의 모바일 단말(20)에 출력되는 것을 예시한 것이다. 도 2에 도시된 스마트 TV는 스마트 TV 자체뿐만 아니라 도시되지는 않았지만 스마트 박스가 연결된 일반 TV의 형태도 포함될 수 있으며 이 경우 스마트 박스가 제1 단말(10)이 될 수 있다.
이때, 스마트 TV(10)에 출력되는 그래픽 영상은 그 종류에 상관없이 모두 모바일 단말(20)에 출력되는 것이 가능하다. 즉, 도 2에 도시된 바와 같이 사용자 입력을 수신하는 사용자 메뉴 등의 인터페이스 외에도 게임, 동영상 등이 모바일 단말(20)에 출력될 수 있다.
일 예에 따르면, 스마트 TV(10)의 화면에 스마트 TV(10)의 각종 동작을 제어하기 위한 메뉴 인터페이스 화면이 출력될 수 있다. 이 경우, 일반적으로 사용자는 스마트 TV(10)의 화면(MD)에 메뉴 조작 인터페이스 화면이 출력되면 리모콘이나 마우스를 사용하여 어느 하나의 메뉴를 선택하고 실행함으로써 대응하는 동작을 수행시킨다. 그러나, 스마트폰 등의 터치패널의 조작에 익숙해진 사용자는 리모콘 등의 사용이 불편할 수 있다. 이때, 도 2에 예시된 바와 같이 스마트 TV(10)의 주 화면(MD)에 출력되는 사용자 인터페이스를 사용자가 휴대하고 있는 모바일 단말(20)에 출력시켜 모바일 단말(20)의 터치 조작을 통해 스마트 TV(10)를 제어하도록 함으로써 사용자 편의성을 증대시킬 수 있다. 여기서, 메뉴 인터페이스는 게임 등의 일반적인 모든 애플리케이션의 메뉴 인터페이스가 해당될 수 있다.
사용자가 모바일 단말(20)에 출력된 인터페이스에서 터치나 센서 조작을 통해 어느 하나의 메뉴를 선택하면, 모바일 단말(20)은 그 메뉴에 해당하는 제어 명령을 스마트 TV(10)에 전송한다. 통신부(130)는 모바일 단말(20)로부터 제어 명령을 수신하고, 그 수신된 제어 명령을 스마트 TV(10)의 제어부(140)에 전송하여 해당하는 동작을 수행하도록 할 수 있다.
본 실시예에 따르면, 상대적으로 큰 화면을 갖는 제1 단말(10)에 게임 영상을 출력하고 동시에 그 게임 영상을 제2 단말(20)에 전송하여 사용자가 제2 단말(20)을 사용하여 실제 게임을 수행하지만 그 게임 수행 결과가 제1 단말(10)에도 바로 반영되도록 함으로써 여러 사용자가 제1 단말(10)에서 출력되는 화면을 보면서 게임을 즐기는 것도 가능하다. 여기서, 본 실시예가 적용될 수 있는 애플리케이션으로 게임을 예시하였지만, 이는 하나의 예시에 불과한 것으로 게임 이외의 영화, 동영상 등 모든 애플리케이션도 동일하게 적용될 수 있다.
한편, 애플리케이션 제작자는 멀티 화면을 위한 그래픽 영상 즉, 그래픽 처리 장치가 장착된 제1 단말(10)을 주화면과 하나 이상의 가상의 부화면으로 이루어진 것으로 가정하고 각 화면에 그래픽 영상이 출력되도록 애플리케이션을 제작할 수 있다.
이 경우, 감지부(110)는 제1 단말(10)의 주화면과 가상의 부화면에 각각 그래픽 영상을 출력하는 애플리케이션이 실행되는지를 감지할 수 있다. 수집부(120)는 감지부(110)에 의해 애플리케이션의 실행이 감지되면 그 애플리케이션이 가상의 부화면에 그래픽 영상을 출력하기 위해 그래픽 처리 장치에 전달하는 그래픽 데이터를 실시간 수집할 수 있다. 통신부(130)는 수집된 그래픽 데이터를 유무선 통신망을 이용하여 제2단말에 전송하며, 이때, 가상의 부화면이 둘 이상인 경우 수집부에 의해 수집되는 각 부화면에 대한 그래픽 데이터를 대응되는 제2단말(20)에 전송할 수 있다.
도 3은 도 1의 그래픽 영상 공유 장치(100)의 다른 실시예를 나타낸 것으로서, 도 3을 참조하면, 실제로는 하나의 주 화면(MD)를 갖는 스마트 TV(10)에 하나 이상의 가상의 부 화면(SD1, SD2, SD3)이 있다고 가정하고 각 화면(MD, SD1, SD2, SD3)에 그래픽 영상을 출력하도록 애플리케이션이 제작된 경우 스마트 TV(10)의 부 화면(SD1, SD2, SD3)에 출력되는 그래픽 영상을 각각 대응되는 모바일 단말(21, 22, 23)에 출력되도록 할 수 있다.
수집부(120)는 스마트 TV의 주 화면(MD)와 부 화면(SD1, SD2, SD3)에 각각 그래픽 영상이 출력되면, 부 화면에 출력되는 그래픽 영상의 그래픽 데이터를 수집할 수 있다. 통신부(130)는 수집된 그래픽 데이터를 모바일 단말(20)에 전송하되 복수의 부 화면에 대한 그래픽 데이터가 존재하는 경우 각각 대응되는 모바일 단말(20)에 그래픽 데이터를 전송할 수 있다. 한편, 모바일 단말(21,22,23)에서의 사용자 제어 명령은 스마트 TV(10)의 부 화면(SD1, SD2, SD3) 각각의 제어 명령으로 전달될 수 있다.
개시된 실시예에 따르면, 스마트 단말용 애플리케이션을 제작하는 제작자들에게 멀티 스크린은 지원하는 스마트 단말 전용 애플리케이션 개발 환경을 제공할 수 있다. 즉, 애플리케이션 제작자는 제1 단말(10)의 주 화면(10)에 출력되는 주 영상에 대한 부가 정보를 보여주고자 하는 경우 그 주 영상의 크기를 일정 부분 줄여 부가 정보를 출력하거나, 그 주 영상이 일부 가려지도록 겹쳐서 부가 정보를 출력할 필요가 없고, 사용자는 그러한 부가 정보를 별도의 제2 단말(20)로 확인함으로써 제1 단말(10)의 주 화면에 출력된 주 영상의 사이즈가 변하는 등의 불편이 사라지게 된다.
도 4는 일 실시예에 따라 제2 단말(20)에 적용 가능한 그래픽 영상 공유 장치의 블록도이다. 일 실시예에 따른 그래픽 영상 공유 장치(200)는 제2 단말에 적용될 수 있다.
도 2 및 도 4를 참조하면, 제2 단말(20)에 적용 가능한 그래픽 영상 공유 장치(200)는 통신부(210), 그래픽영상출력부(220) 및 사용자입력수신부(230)를 포함할 수 있다.
통신부(210)는 제1 단말(10)로부터 그래픽 데이터를 수신할 수 있다. 이때, 수신되는 그래픽 데이터는 제2 단말(20)에 탑재된 그래픽 처리 장치(GPU)에서 처리 가능한 형식의 데이터일 수 있다. 예를 들어, 수신되는 그래픽 데이터는 OpenGL, OpenGL ES, Direct3D 및 Direct3D Mobile 스펙 중의 어느 하나의 형식을 따르는 데이터일 수 있다.
추가적인 양상에 따르면, 그래픽 영상 공유 장치(200)는 형식변환부(미도시)를 더 포함할 수 있다. 형식변환부(미도시)는 수신되는 그래픽 데이터의 형식이 제2 단말(20)에 탑재된 그래픽 처리 장치에서 처리될 수 있는 그래픽 데이터 형식과 다른 경우 이를 제2 단말(20)의 그래픽 처리 장치에서 처리될 수 있는 데이터 형식으로 변환할 수 있다.
그래픽영상출력부(220)는 통신부(210)에 의해 수신되거나, 형식변환부(미도시)에 의해 변환된 그래픽 데이터를 제2 단말(20)의 그래픽 처리 장치에 전달하여 그래픽 처리 장치를 통해 제2 단말(20)의 화면에 그래픽 영상을 출력할 수 있다.
사용자입력수신부(230)는 제2 단말(20)의 화면에 그래픽 영상이 출력되고 사용자가 터치/센서 조작 등의 UI 조작을 통해 각종 제어 명령을 입력하면 이를 수신하여 통신부(210)로 하여금 제1 단말(10)에 전송하도록 할 수 있다. 전술한 바와 같이, 제2 단말(20)의 화면에 출력되는 그래픽 영상은 사용자 인터페이스일 수 있다. 사용자가 인터페이스에서 어느 하나의 메뉴를 선택하는 경우 그 메뉴에 해당하는 제어 명령을 제1 단말(10)에 전송할 수 있다. 이때, 제1 단말(10)에 전송되는 제어 명령은 터치 좌표, 터치 시간 및 센서 동작 값 등을 포함할 수 있다.
도 5는 일 실시예에 따라 제1단말에 적용 가능한 그래픽 영상 공유 방법의 흐름도이다. 도 5를 참조하여, 도 1의 실시예에 따른 그래픽 영상 공유 장치(100)를 이용한 그래픽 영상 공유 방법을 설명한다.
먼저, 그래픽 영상 공유 장치(100)는 그래픽 처리 장치가 장착된 제1 단말에서 그래픽 처리 장치를 통해 화면에 그래픽 영상을 출력하는 애플리케이션의 실행을 감지할 수 있다(단계 310). 일반적으로, 대부분의 그래픽 처리 장치는 OpenGL, OpenGL ES, Direct3D 및 Direct3D Mobile 스펙 등과 같이 미리 정의된 형식의 데이터를 입력으로 하여 그래픽 영상을 생성하는데, 애플리케이션에서 제1 단말의 그래픽 처리 장치에 미리 정의된 형식의 그래픽 데이터를 전달하기 시작하면 이를 감지하여 화면에 그래픽 영상이 출력되는 감지할 수 있다.
이때, 애플리케이션 제작자가 멀티 화면을 위한 그래픽 영상 즉, 그래픽 처리 장치가 장착된 제1 단말(10)을 주화면과 하나 이상의 가상의 부화면으로 이루어진 것으로 가정하고 각 화면에 그래픽 영상이 출력되도록 애플리케이션을 제작한 경우, 제1 단말(10)의 주화면과 가상의 부화면에 각각 그래픽 영상을 출력하는 애플리케이션이 실행되는지를 감지할 수 있다.
그 다음, 그래픽 영상을 출력하는 애플리케이션의 실행이 감지되면 그 애플리케이션이 그래픽 영상을 화면에 출력하기 위해 그래픽 처리 장치에 전달하는 그래픽 데이터를 수집할 수 있다(단계 320). 전술한 바와 같이, 일 예에 따르면 수집되는 그래픽 데이터는 그래픽 처리 장치에서 처리되는 그래픽 라이브러리 함수와 그 라이브러리 함수의 파라미터 값으로서, 일반적인 오디오나 비디오 데이터는 수집되지 않는다. 그래픽 데이터들은 그래픽 처리 장치에 입력될 때마다 실시간으로 수집할 수 있다.
만약, 주화면과 가상의 부화면에 각각 그래픽 영상을 출력하는 애플리케이션이 감지되면, 가상의 부화면에 그래픽 영상을 출력하기 위해 그래픽 처리 장치에 전달하는 그래픽 데이터를 실시간 수집할 수 있다.
그 다음, 수집된 그래픽 데이터를 유무선 통신망을 이용하여 제2 단말에 전송할 수 있다(330). 이때, 수집된 그래픽 데이터는 일정 주기 또는 일정 단위(예: 그래픽 영상의 한 프레임 단위 등)로 전송될 수 있다. 일정 주기는 제1 단말, 제2 단말의 성능 및 네트워크 부하 등을 고려하여 다양하게 설정 및 조정될 수 있다. 이때, 가상의 부화면이 둘 이상인 경우 수집되는 각 부화면에 대한 그래픽 데이터는 각각 대응되는 제2단말에 전송할 수 있다.
그 다음, 제2 단말로부터 각종 제어 명령이 수신되면 이를 수신하여 제1 단말의 제어부에 전송하여 해당하는 동작을 수행하도록 할 수 있다(단계 340). 도 2 및 도 3을 참조하여 설명한 바와 같이, 제2 단말에 전송되는 그래픽 데이터는 사용자 인터페이스에 대한 그래픽 데이터일 수 있다. 이 경우 사용자가 제2 단말에 출력된 사용자 인터페이스에서 특정 메뉴를 선택하면 선택된 메뉴에 대한 제어 명령을 제2단말로부터 수신하고 제1 단말의 제어부에 전송하여 그 메뉴에 대응되는 동작이 수행되도록 할 수 있다.
도 6은 일 실시예에 따라 제2단말에 적용 가능한 그래픽 영상 공유 방법의 흐름도이다. 도 6을 참조하여, 도 4의 실시예에 따른 그래픽 영상 공유 장치(200)를 이용한 그래픽 영상 공유 방법을 설명한다.
먼저, 그래픽 영상 공유 장치(200)는 제1 단말로부터 그래픽 데이터를 수신한다(단계 410). 이때, 수신되는 그래픽 데이터는 OpenGL, OpenGL ES, Direct3D 및 Direct3D Mobile 중의 어느 하나의 형식을 따르는 데이터로서 제2 단말(20)에 탑재된 그래픽 처리 장치(GPU)에서 처리 가능한 데이터일 수 있다.
추가적인 양상에 따르면, 그래픽 영상 공유 장치(200)는 수신되는 그래픽 데이터의 형식이 제2 단말에 탑재된 그래픽 처리 장치에서 처리될 수 있는 그래픽 데이터 형식과 다른 경우 이를 제2 단말의 그래픽 처리 장치에서 처리될 수 있는 데이터 형식으로 변환할 수 있다.
그 다음, 수신되거나 변환된 그래픽 데이터를 제2 단말의 그래픽 처리 장치에 전달하여 그래픽 처리 장치를 통해 그래픽 영상을 생성하고(단계 420), 생성된 그래픽 영상을 제2 단말의 화면에 출력할 수 있다(단계 430).
그 다음, 사용자가 제2 단말(20)의 화면에서 터치/센서 조작 등의 UI 조작을 통해 각종 제어 명령을 입력하면 이를 수신하여 제1 단말에 전송할 수 있다(단계 440).
한편, 본 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 Flash Memory, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 실시예들이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
본 실시예들이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100: 그래픽 영상 공유 장치 110: 감지부
120: 수집부 130: 통신부
140: 제어부 200: 그래픽 영상 공유 장치
210: 통신부 220: 그래픽영상출력부
230: 사용자입력수신부

Claims (10)

  1. 삭제
  2. 그래픽 처리 장치(GPU)가 장착된 제1단말에서 상기 그래픽 처리 장치를 통해 주 영상을 주 화면에 출력하고 하나 이상의 가상의 부 화면에 주 영상에 대한 부가정보를 보여주는 부 영상을 출력하는 애플리케이션의 실행을 감지하는 감지부;
    상기 애플리케이션의 실행이 감지되면 그 애플리케이션이 하나 이상의 가상의 부 화면에 부 영상을 출력하기 위해 그래픽 처리 장치에 전달하는 그래픽 데이터를 실시간으로 수집하는 수집부; 및
    수집된 그래픽 데이터를 유무선 통신망을 이용하여 제2단말에 전송하는 통신부;를 포함하는 단말기 간 그래픽 영상 공유 장치.
  3. 제2항에 있어서, 상기 통신부는
    상기 부 화면이 둘 이상인 경우 수집부에 의해 수집되는 각 부 화면에 대한 그래픽 데이터를 대응되는 제2단말에 전송하는 단말기 간 그래픽 영상 공유 장치.
  4. 제2항에 있어서,
    상기 제2단말에 전송되는 그래픽 데이터는 제1단말의 각종 동작을 제어하기 위한 사용자의 입력을 수신하는 사용자 인터페이스에 대한 그래픽 데이터이고,
    상기 통신부는
    사용자가 제2단말에서 출력된 사용자 인터페이스의 조작을 통해 수집된 제1단말을 위한 제어 명령을 제2단말로부터 수신하여 제1단말의 제어부에 전송하는 단말기 간 그래픽 영상 공유 장치.
  5. 제2항에 있어서, 상기 통신부는,
    상기 수집된 그래픽 데이터를 네트워크 또는 상기 각 단말의 성능을 기초로 미리 설정된 일정 주기 또는 일정 단위마다 제2단말에 전송하는 단말기 간 그래픽 영상 공유 장치.
  6. 제2항에 있어서, 상기 그래픽 데이터는
    OpenGL, OpenGL ES, Direct3D 및 Direct3D Mobile 중의 하나 이상을 포함하는 그래픽 라이브러리 API에서 사용되는 형식의 데이터인 단말기 간 그래픽 영상 공유 장치.
  7. 삭제
  8. 그래픽 처리 장치(GPU)가 장착된 제1단말에서 상기 그래픽 처리 장치를 통해 주 영상을 주 화면에 출력하고 하나 이상의 가상의 부 화면에 주 영상에 대한 부가정보를 보여주는 부 영상을 출력하는 애플리케이션의 실행을 감지하는 단계;
    상기 애플리케이션의 실행이 감지되면 그 애플리케이션이 하나 이상의 가상의 부 화면에 부 영상을 출력하기 위해 그래픽 처리 장치에 전달하는 그래픽 데이터를 실시간으로 수집하는 단계; 및
    수집된 그래픽 데이터를 유무선 통신망을 이용하여 제2단말에 전송하는 단계;를 포함하는 단말기 간 그래픽 영상 공유 방법.
  9. 제8항에 있어서,
    상기 제2단말에 전송되는 그래픽 데이터는 제1단말의 각종 동작을 제어하기 위한 사용자의 입력을 수신하는 사용자 인터페이스에 대한 그래픽 데이터이고,
    사용자가 제2단말에서 출력된 사용자 인터페이스의 조작을 통해 수집된 제1단말을 위한 제어 명령을 제2단말로부터 수신하여 제1단말의 제어부에 전송하는 단계;를 더 포함하는 단말기 간 그래픽 영상 공유 방법.
  10. 제8항에 있어서, 상기 제2단말에 전송하는 단계는
    상기 수집된 그래픽 데이터를 네트워크 또는 상기 각 단말의 성능을 기초로 미리 설정된 일정 주기 또는 일정 단위마다 제2단말에 전송하는 단말기 간 그래픽 영상 공유 방법.
KR1020120115586A 2012-10-17 2012-10-17 그래픽 데이터 전송을 통한 단말기 간 그래픽 영상 공유 장치 및 방법 KR101415186B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120115586A KR101415186B1 (ko) 2012-10-17 2012-10-17 그래픽 데이터 전송을 통한 단말기 간 그래픽 영상 공유 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120115586A KR101415186B1 (ko) 2012-10-17 2012-10-17 그래픽 데이터 전송을 통한 단말기 간 그래픽 영상 공유 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140049388A KR20140049388A (ko) 2014-04-25
KR101415186B1 true KR101415186B1 (ko) 2014-07-04

Family

ID=50655008

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120115586A KR101415186B1 (ko) 2012-10-17 2012-10-17 그래픽 데이터 전송을 통한 단말기 간 그래픽 영상 공유 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101415186B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030049174A (ko) * 2001-12-14 2003-06-25 삼성전자주식회사 디지털 텔레비전 수신 시스템에서 원격 제어 방법 및 그장치
KR20070096334A (ko) * 2006-03-23 2007-10-02 삼성전자주식회사 디스플레이장치, 이를 제어하는 리모콘 및 이들의메뉴설정방법
JP2011139361A (ja) * 2009-12-28 2011-07-14 Canon Inc 画像処理装置、画像処理方法及びプログラム
KR20120081574A (ko) * 2011-01-11 2012-07-19 애플 인크. 외부 디스플레이에 대한 그래픽 컨텐츠 미러링

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030049174A (ko) * 2001-12-14 2003-06-25 삼성전자주식회사 디지털 텔레비전 수신 시스템에서 원격 제어 방법 및 그장치
KR20070096334A (ko) * 2006-03-23 2007-10-02 삼성전자주식회사 디스플레이장치, 이를 제어하는 리모콘 및 이들의메뉴설정방법
JP2011139361A (ja) * 2009-12-28 2011-07-14 Canon Inc 画像処理装置、画像処理方法及びプログラム
KR20120081574A (ko) * 2011-01-11 2012-07-19 애플 인크. 외부 디스플레이에 대한 그래픽 컨텐츠 미러링

Also Published As

Publication number Publication date
KR20140049388A (ko) 2014-04-25

Similar Documents

Publication Publication Date Title
CN109618206B (zh) 呈现用户界面的方法和显示设备
KR102403338B1 (ko) 이동 단말기
KR102575230B1 (ko) 원격제어장치 및 그 동작방법
EP2671148B1 (en) Apparatus, systems and methods for presenting displayed image information of a mobile media device on a large display and control of the mobile media device therefrom
AU2013360531A1 (en) Display apparatus, remote control apparatus, and method for providing user interface using the same
KR102459590B1 (ko) 영상표시장치
EP3024220A2 (en) Display apparatus and display method
US9363570B2 (en) Broadcast receiving apparatus for receiving a shared home screen
CN113259741A (zh) 一种剧集经典看点的展示方法及显示设备
CN111176603A (zh) 一种用于显示设备的图像显示方法及显示设备
KR20140083545A (ko) 영상표시장치, 및 그 동작방법
KR101864276B1 (ko) 휴대 단말기의 동작 방법
EP3038374A1 (en) Display device and display method
KR20160098842A (ko) 디스플레이 장치 및 디스플레이 방법
CN114430492B (zh) 显示设备、移动终端及图片同步缩放方法
KR102104438B1 (ko) 영상표시장치, 및 그 동작방법
CN111078926A (zh) 一种人像缩略图像的确定方法及显示设备
KR101847616B1 (ko) 영상표시장치, 서버 및 그 동작방법
KR102056165B1 (ko) 방송수신장치, 및 그 동작방법
KR101415186B1 (ko) 그래픽 데이터 전송을 통한 단말기 간 그래픽 영상 공유 장치 및 방법
EP3032393B1 (en) Display apparatus and display method
KR20160018097A (ko) 영상제공장치, 서버, 및 이를 포함하는 영상 제공 시스템
CN111259639B (zh) 一种表格的自适应调节方法及显示设备
KR102110532B1 (ko) 영상표시장치, 및 그 동작방법
KR101873753B1 (ko) 리모트 컨트롤러 및 멀티미디어 디바이스의 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170627

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180627

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200309

Year of fee payment: 6

R401 Registration of restoration