KR101830324B1 - 단말 장치, 그의 사용자 인터페이스 전송 방법, 및 이를 실행하기 위한 프로그램을 기록한 기록 매체 - Google Patents

단말 장치, 그의 사용자 인터페이스 전송 방법, 및 이를 실행하기 위한 프로그램을 기록한 기록 매체 Download PDF

Info

Publication number
KR101830324B1
KR101830324B1 KR1020160127026A KR20160127026A KR101830324B1 KR 101830324 B1 KR101830324 B1 KR 101830324B1 KR 1020160127026 A KR1020160127026 A KR 1020160127026A KR 20160127026 A KR20160127026 A KR 20160127026A KR 101830324 B1 KR101830324 B1 KR 101830324B1
Authority
KR
South Korea
Prior art keywords
user interface
terminal device
interface screen
screen
compression rate
Prior art date
Application number
KR1020160127026A
Other languages
English (en)
Other versions
KR20160119431A (ko
Inventor
백주연
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020160127026A priority Critical patent/KR101830324B1/ko
Publication of KR20160119431A publication Critical patent/KR20160119431A/ko
Application granted granted Critical
Publication of KR101830324B1 publication Critical patent/KR101830324B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/60—General implementation details not specific to a particular type of compression
    • H03M7/6064—Selection of Compressor
    • H03M7/6082—Selection strategies

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Telephone Function (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 단말 장치의 사용자 인터페이스(UI: User Interface) 화면을 동종 또는 이종의 다른 단말 장치로 전송하여 재현하는데 있어서, 무선 네트워크의 환경뿐만 아니라, 모바일 단말 장치의 UI 특성을 고려하여, 원활한 전송을 가능하게 하는 단말 장치, 그의 사용자 인터페이스 전송 방법, 및 이를 실행하기 위한 프로그램을 기록한 기록매체에 관한 것으로서, 사용자 인터페이스 화면을 캡처하면서, 상기 사용자 인터페이스 화면의 처리 및 전송 환경에 대한 정보(통신 속도, 프로세싱 성능, UI 이벤트)를 검출하고, 검출한 사용자 인터페이스 화면의 처리 및 전송 환경에 따라서 압축율을 가변하여, 상기 사용자 인터페이스 화면을 인코딩하고, 인코딩한 사용자 인터페이스 화면을 다른 단말 장치로 전송하도록 구현된다.

Description

단말 장치, 그의 사용자 인터페이스 전송 방법, 및 이를 실행하기 위한 프로그램을 기록한 기록 매체{Terminal Device, method for streaming UI, and storage medium thereof}
본 발명은 단말 장치의 사용자 인터페이스(UI: User Interface) 화면을 동종 또는 이종의 다른 단말 장치로 전송하여 재현하는데 있어서, 무선 네트워크의 환경뿐만 아니라, 모바일 단말 장치의 UI 특성을 고려하여, 원활한 전송을 가능하게 하는 단말 장치, 그의 사용자 인터페이스 전송 방법, 및 이를 실행하기 위한 프로그램을 기록한 기록매체에 관한 것이다.
단말 장치의 동작 상태를 원격지에서 실시간으로 확인하고 제어할 수 있도록 하기 위하여, 해당 단말 장치의 사용자 인터페이스 화면을 실시간으로 캡처하여 동종 또는 이종의 다른 단말 장치로 전송하는 기술이 사용된다.
이와 관련하여 종래의 PC 환경에서는, 해당 PC의 디스플레이 장치를 통해 출력되는 화면을 실시간으로 캡처하고, 캡처한 화면을 복수의 영역으로 분할한 후, 분할된 각 영역 중에서 이전에 캡처한 화면과 비교하여 변화된 영역만을 인코딩하여 전송하도록 되어 있다. 즉, 종래의 PC 환경에서는 전송할 데이터 량을 줄이기 위하여, 이전 캡처 화면과 현재의 캡처 화면을 비교하여 변화된 부분만을 압축하여 전송토록 하고 있다.
그런데, 이러한 종래의 UI 전송 기술은, PC 환경을 기반하여 이루어지는 것으로서, 네트워크 환경이나 UI 특성이나 단말 사양 등에서 차이를 갖는 모바일 단말 장치에 그대로 적용하기에는 어려움이 있다.
구체적으로 예를 들면, 모바일 단말 장치의 경우, 터치 스크린의 사용에 따라서 화면 변화가 빈번하게 발생하고 다양한 UI 효과가 사용되기 때문에, PC 환경에서와 같이 화면 캡처 후 변화된 부분만을 인코딩하면, 다른 단말 장치에서 사용자 인터페이스 화면의 재현 시에 심한 끊김 현상이나 물결 현상이 발생할 수 있다.
또한, 모바일 단말 장치의 경우, 전체 화면이 변경되는 경우가 많기 때문에, 종래와 같이 변한 부분만을 검출하여 인코딩하는 과정에 의해 과부하가 발생하고, 이러한 과부하는 시스템의 속도를 저하하는 요소로 작용할 수 있다.
또한, 변화가 심한 무선 네트워크 환경의 경우, 종래와 같이 사용자의 초기 선택에 따라서 캡처한 화면의 압축 품질을 고정하면, 무선 네트워크 환경의 변화에 따라서 끊김 현상이 빈번하게 발생할 수 있다.
한국공개특허 제10-2005-0021145호, 2005년 03월 14일 공개 (명칭: 네트워크를 통한 객체 갱신 시스템)
이에 본 발명은 단말 장치의 사용자 인터페이스 화면을 동종 또는 이종의 다른 단말 장치로 전송하여 재현하는데 있어서, 무선 네트워크의 환경뿐만 아니라, 모바일 단말 장치의 UI 특성을 고려하여, 원활한 재현을 가능하게 하는 단말 장치, 그의 사용자 인터페이스 전송 방법, 및 이를 실행하기 위한 프로그램을 기록한 기록매체를 제공하고자 한다.
상기 과제를 해결하기 위한 수단으로서, 본 발명은 다른 단말 장치와 데이터를 송수신하는 통신부; 사용자 입력 신호를 발생하는 입력부; 사용자 인터페이스(UI: User Interface) 화면을 출력하는 출력부; 및 출력부로 출력되는 사용자 인터페이스 화면을 캡처하고, 사용자 인터페이스 화면의 처리 및 전송 환경을 검출하고, 사용자 인터페이스 화면의 처리 및 전송 환경에 따라서 다른 압축율로 캡처한 사용자 인터페이스 화면을 인코딩하여 다른 단말 장치로 전송하는 제어부를 포함하는 것을 특징으로 하는 단말 장치를 제공한다.
본 발명에 따른 단말 장치에 있어서, 제어부는 출력부로 출력되는 사용자 인터페이스 화면을 캡처하는 캡처 모듈; 캡처한 사용자 인터페이스 화면을 하나 이상의 압축 알고리즘을 이용하여 하나 이상의 압축율로 인코딩하기 위한 인코딩 모듈; 및 사용자 인터페이스 화면의 처리 및 전송 환경 정보를 검출하여 캡처한 사용자 인터페이스 화면에 대한 압축율을 설정하는 환경 검출 모듈을 포함하여 이루어질 수 있다.
본 발명에 의한 단말 장치에 있어서, 환경 검출 모듈은 다른 단말 장치로 데이터를 전송하는데 소요되는 시간을 확인하여, 단말 장치와 다른 단말 장치 간의 데이터 전송 속도를 검출하는 통신 속도 검출기; 사용자 인터페이스 화면을 처리하는데 이용할 수 있는 제어부의 프로세싱 능력을 검출하는 프로세싱 성능 검출기: 및 사용자 인터페이스 화면의 변화와 관련된 UI 이벤트를 검출하는 UI 이벤트 검출기 중에서 하나 이상을 포함할 수 있다.
본 발명에 의한 단말 장치에 있어서, 환경 검출 모듈은 전송 속도, 프로세싱 능력, UI 이벤트 중 하나 이상에 따라서 사용자 인터페이스 화면에 대한 압축율을 설정하는 것을 특징으로 한다.
본 발명에 의한 단말 장치에 있어서, 환경 검출 모듈은 UI 이벤트가 발생하면, 인코딩된 사용자 인터페이스 화면의 화질이 낮아지도록 압축율을 높이고, UI 이벤트가 완료되면, 압축율을 낮추어, 인코딩된 사용자 인터페이스 화면의 화질이 높아지도록 한다.
본 발명에 의한 단말 장치에 있어서, 환경 검출 모듈은 전송 속도가 느려지면, 전송할 데이터량이 줄도록 사용자 인터페이스 화면의 압축율을 높이고, 전송 속도가 빨라지면 사용자 인터페이스 화면의 압축율을 낮추는 것을 특징으로 한다.
본 발명에 의한 단말 장치에 있어서, 환경 검출 모듈은 프로세싱 능력이 기준치 이하로 낮아지면, 사용자 인터페이스 화면의 인코딩 시간이 줄도록, 사용자 인터페이스 화면의 압축율을 높이고, 프로세싱 능력이 높아지면 사용자 인터페이스 화면의 압축율을 낮추는 것을 특징으로 한다.
본 발명에 의한 단말 장치에 있어서, 프로세싱 성능 검출기는 제어부를 구현하는 CPU(Central Processing Unit)의 점유율을 검출하고, CPU 점유율을 토대로 현재의 프로세싱 능력을 검출하는 것을 특징으로 한다.
본 발명에 의한 단말 장치에 있어서, 제어부는 입력부를 통해 발생되는 사용자 입력 신호를 확인하여 사용자 인터페이스 화면 전환과 관련된 UI 이벤트를 발생시키는 UI 제어 모듈; 인코딩 모듈에서 인코딩한 데이터를 다른 단말 장치로 전송하는 전송 제어 모듈 중에서 하나 이상을 더 포함할 수 있다.
본 발명에 의한 단말 장치에 있어서, 전송 제어 모듈은 인코딩된 데이터를 스트리밍 기술을 이용하여 전송한다.
또한, 본 발명은 상술한 과제를 해결하기 위한 다른 수단으로서, 단말 장치에서 발생하는 사용자 인터페이스 화면을 캡처하는 단계; 사용자 인터페이스 화면의 처리 및 전송 환경에 대한 정보를 검출하는 단계; 사용자 인터페이스 화면의 처리 및 전송 환경에 따라서, 사용자 인터페이스 화면의 압축율을 설정하는 단계; 설정된 압축율로 사용자 인터페이스 화면을 인코딩하는 단계; 및 인코딩한 사용자 인터페이스 화면을 다른 단말 장치로 전송하는 단계를 포함하는 것을 특징으로 하는 단말 장치의 사용자 인터페이스 전송 방법을 제공한다.
본 발명에 의한 단말 장치의 사용자 인터페이스 전송 방법에 있어서, 사용자 인터페이스 화면의 처리 및 전송 환경에 대한 정보를 검출하는 단계는, 단말 장치와 다른 단말 장치 간의 데이터 전송 속도를 검출하는 단계; 사용자 인터페이스 화면을 처리하는데 이용할 수 있는 프로세싱 능력을 검출하는 단계; 및 사용자 인터페이스 화면의 변화와 관련된 UI 이벤트를 검출하는 단계 중에서 하나 이상을 포함할 수 있다.
본 발명에 의한 단말 장치의 사용자 인터페이스 전송 방법에 있어서, 사용자 인터페이스 화면의 압축율을 설정하는 단계는, UI 이벤트가 발생하면, 인코딩된 사용자 인터페이스 화면의 화질이 낮아지도록 압축율을 높이고, UI 이벤트가 완료되면, 압축율을 낮추는 단계; 전송 속도가 느려지면, 사용자 인터페이스 화면의 압축율을 높이고, 전송 속도가 빨라지면 사용자 인터페이스 화면의 압축율을 낮추는 단계; 및 프로세싱 능력이 낮아지면 사용자 인터페이스 화면의 압축율을 높이고, 프로세싱 능력이 높아지면 사용자 인터페이스 화면의 압축율을 낮추는 단계 중에서 하나 이상을 포함할 수 있다.
또한, 본 발명은 상술한 과제를 해결하기 위한 또 다른 수단으로서, 사용자 인터페이스 화면을 캡처하는 단계; 사용자 인터페이스 화면의 처리 및 전송 환경에 대한 정보를 검출하는 단계; 사용자 인터페이스 화면의 처리 및 전송 환경에 따라서, 사용자 인터페이스 화면의 압축율을 설정하는 단계; 설정된 압축율로 사용자 인터페이스 화면을 인코딩하는 단계; 및 인코딩한 사용자 인터페이스 화면을 다른 단말 장치로 전송하는 단계를 실행하도록 구현된 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체를 제공한다.
본 발명은 단말 장치에서 다른 단말 장치로 사용자 인터페이스 화면을 실시간으로 캡처하여 전송하는데 있어서, 사용자 인터페이스 화면의 처리 및 전송 환경에 대한 정보를 검출하고, 검출한 사용자 인터페이스 화면의 처리 및 전송 환경에 따라서 다른 압축율로 캡처한 사용자 인터페이스 화면을 인코딩하여 전송함으로써, 보다 효율적인 처리가 가능하게 된다.
특히, 본 발명은 사용자 인터페이스 화면의 전환과 관련되는 UI 이벤트가 발생하면, 인코딩된 사용자 인터페이스 화면의 화질이 낮아지도록 압축율을 높임으로써, UI 이벤트가 발생하는 동안 좀더 부드러운 화면 처리가 이루어질 수 있도록 하면서, 전송 속도가 느려지면, 사용자 인터페이스 화면의 압축율을 높임으로써, 데이터 전송량을 줄일 수 있으며, 프로세싱 능력이 낮아지면 사용자 인터페이스 화면의 압축율을 높여 인코딩 처리 부담 및 소요 시간을 줄이고, 프로세싱 능력이 높아지면 다시 사용자 인터페이스 화면의 압축율을 낮춤으로써 높은 화질을 제공할 수 있다.
도 1은 본 발명에 따른 사용자 인터페이스 전송 방법이 적용되는 시스템 구조를 나타낸 블럭도이다.
도 2는 본 발명에 따른 단말 장치의 기본 구성을 나타낸 블럭도이다.
도 3은 본 발명에 따른 단말 장치에 있어서, 제어부의 상세 구성을 나타낸 블럭도이다.
도 4는 본 발명에 따른 사용자 인터페이스 전송 방법을 나타낸 순서도이다.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
도 1은 본 발명에 따른 사용자 인터페이스 전송 방법이 적용되는 시스템 구조를 나타낸 블럭도이다.
도 1에 있어서, 부호 100은 사용자 인터페이스 화면을 캡처하여 전송하는 측의 단말 장치(이하, 제1 단말 장치라 함), 부호 200은 캡처된 사용자 인터페이스 화면을 수신하여 재현하는 단말 장치(이하, 제2 단말 장치라 함)이다.
예를 들어, 단말 장치를 원격지에서 실시간으로 감시하거나 제어하기 위한 시스템의 구현 시, 상기 제1 단말 장치(100)는 실시간 감시 또는 제어 대상이 되며, 상기 제2 단말 장치(200)는 상기 제1 단말 장치(100)를 감시하거나 제어하는 원격지의 장치가 된다.
이러한 제1 단말 장치(100)) 및 제2 단말 장치(200)는 예를 들어, PC(Personal Computer), 노트북 컴퓨터, 휴대폰(mobile phone), 태블릿 PC, 내비게이션(navigation), 스마트폰(smart phone), PDA(Personal Digital Assistants), PMP(Portable Multimedia Player) 또는 DVB(Digital Video Broadcasting)와 같은 디지털방송 수신기를 포함할 수 있다. 특히, 제1 단말 장치(100)가 스마트폰, 휴대폰, 태블릿 PC와 같이 터치 스크린을 사용하고 무선 네트워크를 통해서 데이터를 전송하는 휴대형 단말 장치인 경우, 더 좋은 효과를 얻을 수 있다.
상기에서, 제1 단말 장치(100)는 제1 사용자의 조작에 따라서 변화하는 사용자 인터페이스 화면을 실시간으로 캡처하여 제2 단말 장치(200)로 전송하며, 제2 단말 장치(200)는 수신된 제1 단말 장치(100)의 사용자 인터페이스 화면을 제2 사용자에게 제공한다.
이때, 제1 단말 장치(100)는 상기 사용자 인터페이스 화면의 처리 및 전송 환경에 따라서, 상기 사용자 인터페이스 화면의 압축율을 다르게 한다. 더 구체적으로 설명하면, 통신 속도, 프로세싱 성능, UI 이벤트 중에서 하나 이상을 고려하여 상기 캡처한 사용자 인터페이스에 대한 압축율을 선택하고, 선택한 압축율에 따라서 상기 캡처한 사용자 인터페이스 화면을 인코딩한다. 따라서, 제1 단말 장치(100)는 상기 캡처한 사용자 인터페이스를 제2 단말 장치(200)로 전송하는데 있어서, 해당 화면에 적용된 압축율 정보를 함께 전송할 수 있다. 이때, 제2 단말 장치(200)는 수신한 압축율 정보에 따라서 수신한 인코딩 데이터를 디코딩함으로써, 상기 제1 단말 장치(100)의 사용자 인터페이스 화면을 복원하여 출력하게 된다.
여기서, 상기 제1 단말 장치(100)에서 제2 단말 장치(200)로의 사용자 인터페이스 화면의 전송은, 스트리밍 방식으로 이루어질 수 있다.
즉, 제1 단말 장치(100)에서 사용자 인터페이스 화면을 실시간으로 캡처하여 제2 단말 장치(200)로 스트리밍하고, 제2 단말 장치(200)는 수신된 데이터를 순차적으로 디코딩하여 재현함으로써, 제2 단말 장치(200)에서 제1 단말 장치(100)의 사용자 인터페이스 화면을 실시간으로 확인할 수 있게 된다.
이하, 본 발명의 실시간 사용자 인터페이스 전송을 위한 구체적인 구성 및 방법을 도 2 내지 도 4를 참조하여 설명한다.
도 2는 본 발명에 따른 단말 장치의 기본 구성을 나타낸 블럭도로서, 도 1에 보인 시스템에 있어서, 제1 단말 장치(100)의 상세 구성을 나타낸 것이다.
도 2를 참조하면, 상기 제1 단말 장치(100)는, 통신부(110)와, 입력부(120)와, 출력부(130)와, 오디오 처리부(140)와, 저장부(150)와, 제어부(160)을 포함하여 이루어진다.
통신부(110)는 제1 단말 장치(100)가 외부의 다른 장치, 구체적으로는 제2 단말 장치(200)와 데이터를 송수신하기 위한 수단으로서, 이때, 그 통신 방식에는 제한을 두지 않는다. 예를 들면, 통신부(110)는 WLAN(Wireless LAN), 와이 파이(Wi-Fi), 와이브로(Wireless Broadband, Wibro), 와이맥스(World Interoperability for Microwave Access, Wimax), HSDPA(High Speed Downlink Packet Access), LTE 등에 따른 유선 및/또는 무선 통신망을 통해서 제2 단말 장치(200)와 데이터를 송수신하거나, 블루투스(Bluetooth), Zigbee, RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband) 등과 같은 근거리 통신 기술을 통해서 제2 단말 장치(200)와 직접 데이터를 송수신할 수 있다.
입력부(120)는 사용자의 조작에 따라서 제1 단말 장치(100)를 제어하거나 동작하기 위한 사용자 입력 신호를 발생하는 수단으로서, 다양한 방식의 입력 수단으로 구현될 수 있다. 예를 들어, 입력부(110)는 키 입력 수단, 터치 입력 수단, 제스처 입력 수단, 음성 입력 수단 중에서 하나 이상을 포함할 수 있다. 키 입력 수단은, 키 조작에 따라서 해당 키에 대응하는 신호를 발생시키는 것으로서, 키패드, 키보드가 해당된다. 터치 입력 수단은, 사용자가 특정 부분을 터치하는 동작을 감지하여 입력 동작을 인식하는 것으로서, 터치 패드, 터치 스크린, 터치 센서를 들 수 있다. 제스처 입력 수단은, 사용자의 동작, 예를 들어, 단말 장치를 흔들거나 움직이는 동작, 단말 장치에 접근하는 동작, 눈을 깜빡이는 동작 등 지정된 특정 동작을 특정 입력 신호로 인식하는 것으로서, 지자기 센서, 가속도 센서, 카메라, 고도계, 자이로 센서, 근접 센서 중에서 하나 이상을 포함하여 이루어질 수 있다.
출력부(130)는 제1 단말 장치(100)의 동작 상태 및 동작 결과를 표시하는 출력 수단으로서, 본 발명에 있어서, 제어부(160)의 제어에 따라서 제1 단말 장치(100)의 동작 상태 혹은 동작 결과를 나타내는 사용자 인터페이스 화면을 출력한다. 이러한 출력부(120)는 디스플레이 수단으로 구현될 수 있으며, 예를 들면, 출력부(120)는 LCD((Liquid Crystal Display), TFT-LCD(Thin Film Transistor-Liquid Crystal Display), LED(Light Emitting Diodes), OLED(Organic Light Emitting Diodes), AMOLED(Active Matrix Organic Light Emitting Diodes), 플렉시블 디스플레이(flexible display), 3차원 디스플레이 중에서 어느 하나로 구현될 수 있다.
특히, 본 발명에 따른 제1 단말 장치(100)의 경우, 상기 입력부(120)와 출력부(130)는 입력 및 출력이 동시에 처리되는 터치 스크린으로 구현될 수 있다.
오디오 처리부(140)는 마이크(MIC)를 통해 수집한 가청음을 전기 신호 혹은 데이터로 변환하거나, 전기 신호 혹은 데이터를 스피커(SPK)를 통해서 가청음으로 출력하기 위한 것으로서, 제1 단말 장치(100)의 동작에 있어서, 제어부(160)의 제어에 따라서, 음성, 음악, 배경음 및 효과음을 포함하는 다양한 오디오 신호를 가청음으로 출력하거나, 사용자의 음성을 입력받기 위해 이용된다. 특히, 제1 단말 장치(100)가 휴대폰이나 스마트폰과 같이 음성 통신 기능을 갖는 경우, 상기 오디오 처리부(140)는 통화 상대방에게 전달할 사용자의 음성을 입력받아 처리하고, 수신된 통화 상대방의 음성을 가청음으로 변환하여 사용자에게 출력하는데 이용된다.
저장부(150)는 제1 단말 장치(100)의 동작, 특히, 제어부(160)의 동작에 필요한 프로그램 및 데이터를 저장하는 수단으로서, 기본적으로 OS 프로그램을 저장하고, 더불어 하나 이상의 응용 프로그램을 저장할 수 있다. 더하여, 본 발명에 따른 사용자 인터페이스 화면의 캡처, 압축, 전송 과정에 있어서 처리되는 데이터를 저장할 수 있다. 이러한 저장부(150)는, 램(RAM, Read Access Memory), 롬(ROM, Read Only Memory), 하드디스크(HDD, Hard Disk Drive), 플래시 메모리, CD-ROM, DVD와 같은 모든 종류의 저장 매체를 포함하는 개념으로 이해될 수 있다.
제어부(160)는 제1 단말 장치(100)의 동작 전반을 제어하는 수단으로서, 기본적으로 상기 저장부(150)에 저장한 운영 프로그램을 기반으로 동작하여 제1 단말 장치(100)의 기본적인 플랫폼 환경을 구축하고, 입력부(120)를 통해 이루어지는 사용자 입력 신호 또는 기 설정된 제어 수순에 따라서 응용 프로그램을 실행한다. 이러한 동작 과정에서 다양한 사용자 인터페이스가 제공되며, 이는 상기 출력부(130)를 통해서 화면으로 출력된다.
따라서, 사용자는 상기 출력부(130)를 통해 출력된 사용자 인터페이스 화면을 통해서 제1 단말 장치(100)의 상태를 확인하고, 원하는 기능을 실행하게 된다.
이때, 상기 제어부(160)는 원격지에 위치한 제2 단말 장치(200)를 통해서 제1 단말 장치(100)를 실시간 감시하고 제어할 수 있도록 하기 위하여, 상기 출력부(130)를 통해서 출력되는 사용자 인터페이스 화면을 실시간으로 캡처하고, 동시에 사용자 인터페이스 처리 및 전송 환경에 따라서 압축율을 설정한 후, 설정된 압축율로 상기 캡처한 화면을 압축하여 제2 단말 장치(200)로 전송한다. 이때, 상기 압축된 캡처 화면의 전송 시에, 해당 화면의 압축율 정보를 함께 전송할 수 있다.
도 3은 본 발명에 따른 단말 장치에 있어서, 제어부(160)의 상세 구성을 나타낸 블럭도로서, 이를 참조하여, 본 발명에 따른 사용자 인터페이스 전송을 위한 구성 및 동작을 더 구체적으로 설명하기로 한다.
도 3를 참조하면, 상기 제어부(160)는, 사용자 인터페이스 전송을 위하여, 캡처 모듈(161)과, UI 제어 모듈(162)와, 인코딩 모듈(163)과, 환경 검출 모듈(164)과, 전송 제어 모듈(165)을 포함한다.
캡처 모듈(161)은 제1 단말 장치(100)의 출력부(130)을 통해서 디스플레이 되는 사용자 인터페이스 화면을 캡처한다. 더 구체적으로 캡처 모듈(161)은 출력부(130)로 출력되는 화면의 영상 데이터를 프레임 단위로 저장하는 프레임 버퍼(Frame Buffer)로부터 프레임 단위로 영상 데이터를 캡처한다. 여기서, 상기 캡처 모듈(161)의 화면 캡처는 거의 실시간으로 이루어지는 것으로서, 예를 들면, 동영상에서의 초당 프레임 수(Frame Per Second)를 감안하여, 상기 캡처 모듈(161)에서의 화면 캡처 주기를 설정하고, 상기 설정 주기마다 화면 캡처가 이루어지도록 한다.
UI 제어 모듈(162)은 제1 단말 장치(100)의 동작과 관련한 사용자 인터페이스를 제어하는 수단으로서, 상기 입력부(120)를 통해 전달된 사용자 입력 신호를 확인하고, 상기 사용자 입력 신호에 대응하는 UI 이벤트를 발생시킨다. 상기 UI 이벤트에 따라서, 대응하는 기능이 동작이 실행될 수 있다.
인코딩 모듈(163)은 상기 캡처 모듈(161)에 의해 캡처된 화면의 전체 데이터를 압축하는 것으로서, 특히, 상기 인코딩 모듈(163)은 둘 이상의 서로 다른 압축 알고리즘을 이용하여, 다양한 압축율로 상기 캡처한 화면을 인코딩할 수 있다. 상기 인코딩 모듈(163)은 보편적으로 사용되거나 향후 사용될 수 있는 하나 이상의 서로 다른 이미지 압축 포맷으로 캡처한 화면을 압축할 수 있다. 현재 일반적으로 사용되는 이미지 압축 포맷으로는, BMP, JPEG, GIF, PNG, TIFF, PDF, RAW, SVG, SVGZ 등을 예로 들 수 있다. 이러한 다양한 이미지 압축 포맷들은 서로 압축율이 상이할 수 있다. 따라서, 상기 인코딩 모듈(163)은 이러한 일반적으로 사용되거나 향후 사용 가능한 이미지 압축 포맷 중에서 서로 다른 압축율을 갖는 둘 이상의 이미지 압축 포맷으로 상기 캡처한 화면을 압축하게 된다. 이때, 상기 인코딩 모듈(163)에서 현재 캡처한 화면에 적용할 압축율(혹은 이미지 압축 포맷)은 환경 검출 모듈(164)에 의해 선택된다.
예를 들어, 상기 인코딩 모듈(163)에서 인코딩 가능한 이미지 압축 포맷이 RAW, TIF, JPG이라고 하고, RAW, TIF, JPG 순으로 압축율이 낮아, 해상도가 우수하며 압축된 이미지 파일의 용량이 크다고 한다. 이때, 환경 검출 모듈(164)에서 압축율이 '상'으로 선택되면, 상기 인코딩 모듈(163)은 RAW 포맷으로 캡처한 이미지를 압축하며, 환경 검출 모듈(164)로부터 압축율이 '중'으로 선택되면, 상기 인코딩 모듈(163)은 TIF 포맷으로 상기 캡처한 화면을 압축하며, 환경 검출 모듈(164)로부터 압축율이 '하'로 선택되면, 상기 인코딩 모듈(163)은 JPG 포맷으로 상기 캡처한 화면을 압축하게 된다.
환경 검출 모듈(164)은 제1 단말 장치(100)에서 제2 단말 장치(200)로 사용자 인터페이스 화면을 처리 및 전송하는데 영향을 미치지는 환경 요소를 검출하는 수단으로서, 데이터 전송 속도를 검출하는 통신 속도 검출기(164a)와, 제1 단말 장치(100)에서의 프로세싱 성능을 검출하는 프로세싱 성능 검출기(164b)와, 사용자 인터페이스 화면의 변환과 관련되는 UI 이벤트 발생을 검출하는 UI 이벤트 검출기(164c) 중에서 하나 이상을 포함하여 이루어질 수 있다.
상기 통신 속도 검출기(164a)는 다양한 요소(예를 들어, AP(Access Point)의 상황, 데이터 전송량 등)에 따라서 변화될 수 있는 데이터 전송 속도를 검출하기 위한 것으로서, 전송 제어 모듈(165)을 통해서 데이터 전송에 소요되는 시간을 확인하고, 이를 기반으로 데이터 전송 속도를 검출한다.
상기 프로세싱 성능 검출기(164b)는 제1 단말 장치(100)에서 상기 캡처한 사용자 인터페이스 화면의 인코딩을 수행 능력을 확인하기 위한 것으로서, 제1 단말 장치(100)의 동작에 따라서 변화되는 제어부(160)을 구현하는 CPU(Central Processing Unit)의 점유율을 검출하고, 이에 따라서 상기 사용자 인터페이스 화면을 처리하는데 이용할 수 있는 프로세싱 능력을 검출한다. 예를 들어 설명하면, 제1 단말 장치(100)에서 프로세싱 능력이 많이 요구되는 프로그램(예를 들어, 게임이나 동영상)을 실행시키는 경우, CPU의 점유율은 높아지고, 이에 따라서 사용자 인터페이스 화면의 처리에 이용 가능한 프로세싱 성능은 감소된다.
상기 UI 이벤트 검출기(164c)는 제1 단말 장치(100)에 적용된 다양한 UI 이벤트, 더 구체적으로 화면 전환이 발생하는 UI 이벤트를 검출한다. 예를 들면, 플릭킹, 슬라이딩과 같은 터치 입력에 따라서 다양한 기법으로 이루어지는 UI 이벤트를 검출할 수 있다.
상기 환경 검출 모듈(164)는 상기 통신 속도 검출기(164a)와, 프로세싱 성능 검출기(164b)와, UI 이벤트 검출기(164c) 중 하나 이상을 통해서 검출된 결과를 통해서 사용자 인터페이스 화면의 처리 및 전송에 영향을 미치지는 환경 정보를 검출하고, 이에 따라서 최적의 압축율을 설정하여 상기 인코딩 모듈(163)로 제공한다. 이에, 상기 인코딩 모듈(163)은 환경 검출 모듈(164)을 통해 설정된 압축율로 상기 캡처한 사용자 인터페이스 화면을 인코딩한다.
예를 들어, 상기 환경 검출 모듈(164)은 검출된 환경 정보에 따라서 압축율을 "상', "중", "하" 세 단계로 설정할 수 있다. 더 구체적으로, 통신 속도가 기준 속도 이하, CPU의 점유율이 기준값 이상, 터치 이벤트 발생 중에서 어떠한 환경도 검출되지 않으면, 압축율을 "상"으로 설정하고, 통신 속도가 기준 속도 이하, CPU의 점유율이 기준값 이상, 터치 이벤트 발생 중에서 하나가 검출되면, 압축율을 "중"으로 설정하고, 통신 속도가 기준 속도 이하, CPU의 점유율이 기준값 이상, 터치 이벤트 발생 중에서 둘 이상의 상태가 동시에 검출될 경우, 압축율을 "하"로 설정할 수 있다. 그러나, 상술한 실시 예는 예시에 불과하며, 상기 환경 검출 모듈(164)에서 설정하는 압축율의 단계 및 그 조건은 더 다양하게 설정될 수 있다.
마지막으로 전송 제어 모듈(165)은 상기 인코딩 모듈(163)에서 인코딩된 데이터, 즉, 압축된 사용자 인터페이스 화면을 제2 단말 장치(200)로 전송한다. 이때, 상기 압축된 사용자 인터페이스 화면은 스트리밍 방식으로 전송되어, 제2 단말 장치(200)에서 실시간으로 재현되게 할 수 있다.
이어서, 상술한 구성을 기반으로 이루어지는 사용자 인터페이스 전송 과정을 설명한다.
도 4는 본 발명에 따른 사용자 인터페이스 전송 방법을 나타낸 순서도이다.
도 4를 참조하면, 제1 단말 장치(100)는 제어부(160)의 캡처 모듈(161)을 통해서 출력부(130)를 통해서 출력되는 사용자 인터페이스 화면을 실시간으로 캡처한다(S110). 상기 사용자 인터페이스 화면의 캡처는 출력부(130)에 연결되는 프레임버퍼에 저장된 영상 데이터를 기 설정된 주기마다 복사함에 의해 이루어질 수 있다.
그리고, 제1 단말 장치(100)는 환경 검출 모듈(164)을 통해서, 상기 사용자 인터페이스 화면의 처리 및 전송 환경에 대한 정보를 검출하는데, 구체적으로, 제1 단말 장치(100)와 다른 단말 장치(제2 단말 장치(200) 간의 데이터 전송 속도를 검출할 수 있다(S120). 이는 상기 환경 검출 모듈(164)의 통신 속도 검출기(164)가 전송 제어 모듈(165)을 통해서 전송되는 데이터(패킷)의 전송 소요 시간을 계산함에 의해 이루어질 수 있다.
또한, 제1 단말 장치(100)의 제어부(160)는 프로세싱 성능 검출기(164b)를 통해서 상기 사용자 인터페이스 화면을 처리하는데 이용할 수 있는 프로세싱 능력을 검출할 수 있다(S130). 더 구체적으로 설명하면, 프로세싱 성능 검출기(164b)는 제어부(160)를 구현하는 CPU의 현재 점유율을 확인하고, 현재 CPU 점유율을 기반으로 사용자 인터페이스 화면의 처리(인코딩)에 가용한 CPU 성능을 검출할 수 있다.
또한, 제1 단말 장치(100)의 제어부(160)는 UI 이벤트 검출기(164c)를 통해서 사용자 인터페이스 화면의 변화와 관련된 UI 이벤트를 검출한다(S140). 더 구체적으로는, UI 제어 모듈(162)을 통해서 화면 전환과 관련된 UI 이벤트 발생 여부 및 해당 UI 이벤트를 종료를 검출한다.
상기 단계들 S120, S130, S140은 필요에 따라서 선택적으로 이루어질 수 있다.
그리고, 제1 단말 장치(100)는 검출된 사용자 인터페이스 화면의 처리 및 전송 환경(통신 속도, 프로세싱 성능, UI 이벤트)에 따라서, 상기 사용자 인터페이스 화면의 압축율을 설정한다(S150).
구체적으로 설명하면, 화면 전환과 관련된 UI 이벤트가 발생하면, 인코딩된 사용자 인터페이스 화면의 화질이 낮아지도록 상기 압축율을 높인다. 이에 의해 압축율이 높아질 경우, 인코딩된 사용자 인터페이스 화면의 화질이 저하되면서, 제2 단말 장치(200) 측에서 사용자 인터페이스 화면을 재현하는데 있어서, 끊어짐이나 물결 현상을 해소할 수 있으며, 화면 재현을 좀더 부드럽게 구현할 수 있다. 더하여, 상기 UI 이벤트가 종료되면, 상기 압축율을 다시 낮춤으로써, 높은 화질을 보장할 수 있다.
또한, 데이터 전송 속도가 느려진 경우, 상기 사용자 인터페이스 화면의 압축율을 높임으로써, 인코딩된 사용자 인터페이스 화면의 데이터량을 감소시켜, 사용자 인터페이스 화면의 전송 지연 문제 및 그에 따른 끊김 현상을 해소시킬 수 있다. 반면에, 통신 환경이 좋아져 데이터 전송 속도가 빨라지면, 상기 사용자 인터페이스 화면의 압축율을 다시 낮춤으로써, 제2 단말 장치(200) 측에서의 재현되는 화면의 화질을 높일 수 있다.
또한, 제1 단말 장치(100)의 프로세싱 능력이 낮은 경우, 상기 사용자 인터페이스 화면의 압축율을 높여, 제어부(160)의 처리 부하를 감소시키고, 그에 따른 인코딩이 늦어지는 문제를 해결하고, 보다 빨리 인코딩 처리가 이루어질 수 있도록 한다. 그리고 프로세싱 능력이 높아지면, 사용자 인터페이스 화면의 압축율을 낮추어, 제어부(160)의 처리 능력 내에서 최대한의 화질을 보장할 수 있도록 한다.
상술한 바와 같이, 사용자 인터페이스의 처리 및 전송 환경에 따라서 압축율이 설정되면, 제1 단말 장치(100)는 제어부(160)의 인코딩 모듈(163)을 통해서 상기 설정된 압축율로 캡처한 사용자 인터페이스 화면을 인코딩한다(S160).
이렇게 인코딩된 사용자 인터페이스 화면은 전송 제어 모듈(165)의 제어에 따라서 통신부(110)를 통해서 제2 단말 장치(200)로 전송된다(S170).
상술한 단계 S110 내지 S170은 사용자 인터페이스 전송 기능이 종료될 때까지 반복적으로 실행되어(S180), 제1 단말 장치(100)의 사용자 인터페이스 화면을 제2 단말 장치(200)로 실시간 전송한다.
본 발명에 따른 사용자 인터페이스 전송 방법은 다양한 컴퓨터 수단을 통하여 판독 가능한 소프트웨어 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM, Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시 예에 대하여 개시하였으나, 여기에 개시된 실시 예외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. 또한, 본 명세서와 도면에서 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다.
본 발명은 단말 장치에서 다른 단말 장치로 사용자 인터페이스 화면을 실시간으로 캡처하여 전송하는데 있어서, 사용자 인터페이스 화면의 처리 및 전송 환경에 대한 정보를 검출하고, 검출한 사용자 인터페이스 화면의 처리 및 전송 환경에 따라서 다른 압축율로 캡처한 사용자 인터페이스 화면을 인코딩하여 전송함으로써, 보다 효율적인 처리가 가능하게 된다.
특히, 본 발명은 사용자 인터페이스 화면의 전환과 관련되는 UI 이벤트가 발생하면, 인코딩된 사용자 인터페이스 화면의 화질이 낮아지도록 압축율을 높임으로써, UI 이벤트가 발생하는 동안 좀더 부드러운 화면 처리가 이루어질 수 있도록 하면서, 전송 속도가 느려지면, 사용자 인터페이스 화면의 압축율을 높임으로써, 데이터 전송량을 줄일 수 있으며, 프로세싱 능력이 낮아지면 사용자 인터페이스 화면의 압축율을 높여 인코딩 처리 부담 및 소요 시간을 줄이고, 프로세싱 능력이 높아지면 다시 사용자 인터페이스 화면의 압축율을 낮춤으로써 높은 화질을 제공할 수 있다.
100: 제1 단말 장치 110: 통신부 120: 입력부
130: 출력부 140: 오디오 처리부 150: 저장부
160: 제어부 161: 캡처 모듈 162: UI 제어 모듈
163: 인코딩 모듈 164: 환경 검출 모듈 165: 전송 제어 모듈

Claims (15)

  1. 사용자 인터페이스 화면의 변화와 관련된 UI 이벤트를 검출하고, 상기 UI 이벤트에 따라 압축율을 설정하는 환경 검출 모듈;
    상기 사용자 인터페이스 화면을 캡처하는 캡처 모듈; 및
    상기 캡처 모듈을 통해 캡처한 상기 사용자 인터페이스 화면을 상기 환경 검출 모듈을 통해 설정된 압축율에 따라 인코딩하는 인코딩 모듈;
    을 포함하는 것을 특징으로 하는 단말 장치.
  2. [청구항 2은(는) 설정등록료 납부시 포기되었습니다.]
    제1항에 있어서,
    상기 환경 검출 모듈은
    상기 UI 이벤트가 발생하면, 인코딩된 사용자 인터페이스 화면의 화질이 낮아지도록 상기 압축율을 높게 설정하고, 상기 UI 이벤트가 완료되면, 상기 압축율을 낮게 설정하여, 인코딩된 사용자 인터페이스 화질이 높아지도록 하는 것을 특징으로 하는 단말 장치.
  3. [청구항 3은(는) 설정등록료 납부시 포기되었습니다.]
    제1항에 있어서,
    상기 환경 검출 모듈은
    다른 단말 장치로 데이터를 전송하는데 소요되는 시간을 확인하여, 상기 단말 장치와 다른 단말 장치 간의 데이터 전송 속도를 검출하며, 상기 검출된 전송 속도를 통해 압축율을 설정하는 통신 속도 검출기; 및
    상기 사용자 인터페이스 화면을 처리하는데 이용할 수 있는 제어부의 프로세싱 능력을 검출하는 프로세싱 성능 검출기:
    을 더 포함하는 것을 특징으로 하는 단말 장치.
  4. [청구항 4은(는) 설정등록료 납부시 포기되었습니다.]
    제3항에 있어서,
    상기 통신 속도 검출기는
    상기 전송 속도가 느려지면, 전송할 데이터량이 줄도록 상기 사용자 인터페이스 화면의 압축율을 높게 설정하고, 상기 전송 속도가 빨라지면 상기 사용자 인터페이스 화면의 압축율을 낮게 설정하는 것을 특징으로 하는 단말 장치.
  5. [청구항 5은(는) 설정등록료 납부시 포기되었습니다.]
    제3항에 있어서,
    상기 프로세싱 성능 검출기는
    상기 프로세싱 능력이 낮아지면, 상기 사용자 인터페이스 화면의 인코딩 시간이 줄도록, 상기 사용자 인터페이스 화면의 압축율을 높게 설정하고, 상기 프로세싱 능력이 높아지면 상기 사용자 인터페이스 화면의 압축율을 낮게 설정하는 것을 특징으로 하는 단말 장치.
  6. [청구항 6은(는) 설정등록료 납부시 포기되었습니다.]
    제3항에 있어서,
    상기 프로세싱 성능 검출기는
    상기 제어부를 구현하는 CPU(Central Processing Unit)의 점유율을 검출하고, 상기 CPU 점유율을 토대로 상기 프로세싱 능력을 검출하는 것을 특징으로 하는 단말 장치.
  7. [청구항 7은(는) 설정등록료 납부시 포기되었습니다.]
    제3항에 있어서,
    상기 환경 검출 모듈은
    상기 UI 이벤트, 상기 데이터 전송 속도 및 상기 프로세싱 능력을 고려하여 상중하의 단계로 압축율을 설정하는 것을 특징으로 하는 단말 장치.
  8. [청구항 8은(는) 설정등록료 납부시 포기되었습니다.]
    제1항에 있어서,
    사용자 입력 신호를 확인하여 상기 사용자 인터페이스 화면 전환과 관련된 UI 이벤트를 발생시키는 UI 제어 모듈; 및
    상기 인코딩 모듈에서 인코딩한 데이터를 다른 단말 장치로 전송하는 전송 제어 모듈;
    중에서 하나 이상을 더 포함하는 것을 특징으로 하는 단말 장치.
  9. [청구항 9은(는) 설정등록료 납부시 포기되었습니다.]
    제8항에 있어서,
    상기 전송 제어 모듈은
    상기 인코딩된 데이터를 스트리밍 기술을 이용하여 전송하는 것을 특징으로 하는 단말 장치.
  10. 단말 장치에서 출력되는 사용자 인터페이스 화면을 캡처하는 단계;
    상기 사용자 인터페이스 화면의 변화와 관련된 UI 이벤트를 검출하고, 상기 UI 이벤트에 따라 압축율을 설정하는 단계;
    상기 설정된 압축율로 상기 사용자 인터페이스 화면을 인코딩하는 단계; 및
    인코딩한 사용자 인터페이스 화면을 다른 단말 장치로 전송하는 단계;
    를 포함하는 것을 특징으로 하는 단말 장치의 사용자 인터페이스 전송 방법.
  11. [청구항 11은(는) 설정등록료 납부시 포기되었습니다.]
    제10항에 있어서,
    상기 압축율을 설정하는 단계는
    상기 사용자 인터페이스 화면의 처리와 관련된 프로세싱 능력을 검출하고, 상기 단말 장치와 상기 다른 단말 장치 간의 데이터 전송 속도를 검출하여, 상기 검출된 UI 이벤트, 상기 프로세싱 능력 및 상기 데이터 전송 속도를 고려하여 상중하의 단계로 압축율을 설정하는 것을 특징으로 하는 단말 장치의 사용자 인터페이스 전송 방법.
  12. [청구항 12은(는) 설정등록료 납부시 포기되었습니다.]
    제10항에 있어서,
    상기 압축율을 설정하는 단계는
    상기 UI 이벤트가 발생하면, 인코딩된 사용자 인터페이스 화면의 화질이 낮아지도록 상기 압축율을 높게 설정하고, 상기 UI 이벤트가 완료되면, 상기 압축율을 낮게 설정하는 것을 특징으로 하는 단말 장치의 사용자 인터페이스 전송 방법.
  13. [청구항 13은(는) 설정등록료 납부시 포기되었습니다.]
    단말 장치에서 출력되는 사용자 인터페이스 화면을 캡처하는 단계;
    상기 사용자 인터페이스 화면의 변화와 관련된 UI 이벤트를 검출하고, 상기 UI 이벤트에 따라 압축율을 설정하는 단계;
    상기 설정된 압축율로 상기 사용자 인터페이스 화면을 인코딩하는 단계; 및
    인코딩한 사용자 인터페이스 화면을 다른 단말 장치로 전송하는 단계;
    를 실행하도록 구현된 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.

  14. 삭제
  15. 삭제
KR1020160127026A 2016-09-30 2016-09-30 단말 장치, 그의 사용자 인터페이스 전송 방법, 및 이를 실행하기 위한 프로그램을 기록한 기록 매체 KR101830324B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160127026A KR101830324B1 (ko) 2016-09-30 2016-09-30 단말 장치, 그의 사용자 인터페이스 전송 방법, 및 이를 실행하기 위한 프로그램을 기록한 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160127026A KR101830324B1 (ko) 2016-09-30 2016-09-30 단말 장치, 그의 사용자 인터페이스 전송 방법, 및 이를 실행하기 위한 프로그램을 기록한 기록 매체

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020110061957A Division KR101830323B1 (ko) 2011-06-24 2011-06-24 단말 장치, 그의 사용자 인터페이스 전송 방법, 및 이를 실행하기 위한 프로그램을 기록한 기록 매체

Publications (2)

Publication Number Publication Date
KR20160119431A KR20160119431A (ko) 2016-10-13
KR101830324B1 true KR101830324B1 (ko) 2018-03-30

Family

ID=57174006

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160127026A KR101830324B1 (ko) 2016-09-30 2016-09-30 단말 장치, 그의 사용자 인터페이스 전송 방법, 및 이를 실행하기 위한 프로그램을 기록한 기록 매체

Country Status (1)

Country Link
KR (1) KR101830324B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114640853B (zh) * 2022-05-18 2022-07-29 滨州市人防工程与指挥保障中心 一种无人机巡航图像处理***

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009110431A (ja) 2007-10-31 2009-05-21 Sky Kk キャプチャ画像記録装置とキャプチャ画像記録プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050021145A (ko) 2003-08-26 2005-03-07 유종만 솔잎 및 양파를 주성분으로 하는 고혈압/고지혈증 예방용액상추출액 제조방법 및 상기 방법으로 제조된 액상추출액

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009110431A (ja) 2007-10-31 2009-05-21 Sky Kk キャプチャ画像記録装置とキャプチャ画像記録プログラム

Also Published As

Publication number Publication date
KR20160119431A (ko) 2016-10-13

Similar Documents

Publication Publication Date Title
AU2021204255B2 (en) Adaptive transfer function for video encoding and decoding
US9413820B2 (en) Terminal and controlling method thereof
US10986332B2 (en) Prediction mode selection method, video encoding device, and storage medium
CN112394895B (zh) 画面跨设备显示方法与装置、电子设备
US20130222629A1 (en) Methods, apparatuses, and computer program products for facilitating concurrent video recording and still image capture
KR102133531B1 (ko) 컨텐츠 재생 방법 및 그에 따른 단말, 그에 따른 시스템
US20230418428A1 (en) Display Method and Electronic Device
WO2018036352A1 (zh) 视频数据的编解码方法、装置、***及存储介质
CN103929576B (zh) 压缩相机收集的图像数据的方法及支持该方法的电子装置
CN113556588B (zh) 反向控制方法、装置、计算机设备和存储介质
US11297328B2 (en) Video coding method, device, device and storage medium
KR20140088924A (ko) 이미지 데이터 표시장치 및 방법
KR101955285B1 (ko) 데이터 송수신 구간 설정 방법 및 장치
KR101830323B1 (ko) 단말 장치, 그의 사용자 인터페이스 전송 방법, 및 이를 실행하기 위한 프로그램을 기록한 기록 매체
KR101830324B1 (ko) 단말 장치, 그의 사용자 인터페이스 전송 방법, 및 이를 실행하기 위한 프로그램을 기록한 기록 매체
US11095939B2 (en) Image display device and system thereof
KR20150044225A (ko) 파일 관리 방법 및 그 전자 장치
CN114363318A (zh) 数据处理方法、智能终端及存储介质
WO2018223793A1 (zh) 一种传输网页图片的方法、装置和***
CN115604589A (zh) 图像处理方法、智能终端及存储介质
JP6229315B2 (ja) 情報通信装置及びデータ連携プログラム
CN114979451A (zh) 图像预览方法及装置、存储介质
KR20170122571A (ko) 디스플레이 장치 및 그를 포함하는 디스플레이 시스템
KR20120004148A (ko) 적응적 화질 개선이 가능한 화상 통화 송수신 방법 및 이를 이용하는 화상 통화 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant