KR101274619B1 - 미러링을 이용한 대화형 리모컨 및 그 제어방법 - Google Patents

미러링을 이용한 대화형 리모컨 및 그 제어방법 Download PDF

Info

Publication number
KR101274619B1
KR101274619B1 KR1020130036360A KR20130036360A KR101274619B1 KR 101274619 B1 KR101274619 B1 KR 101274619B1 KR 1020130036360 A KR1020130036360 A KR 1020130036360A KR 20130036360 A KR20130036360 A KR 20130036360A KR 101274619 B1 KR101274619 B1 KR 101274619B1
Authority
KR
South Korea
Prior art keywords
mirroring
remote control
control signal
unit
smart device
Prior art date
Application number
KR1020130036360A
Other languages
English (en)
Inventor
곽병진
Original Assignee
리모트솔루션주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 리모트솔루션주식회사 filed Critical 리모트솔루션주식회사
Priority to KR1020130036360A priority Critical patent/KR101274619B1/ko
Application granted granted Critical
Publication of KR101274619B1 publication Critical patent/KR101274619B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4227—Providing Remote input by a user located remotely from the client device, e.g. at work
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/40—Arrangements in telecontrol or telemetry systems using a wireless architecture

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 스마트 기기의 화면을 미러링(Mirroring)하여 대화형으로 사용자 인터페이스를 제공할 수 있는 미러링(Mirroring)을 이용한 대화형 리모컨 및 그 제어방법에 관한 것이다. 본 발명의 장치는 앱이 제공하는 영상을 디스플레이하기 위한 프레임 버퍼를 구비하는 스마트 기기; 상기 스마트 기기의 프레임 버퍼로부터 비디오 데이터를 가져와 압축 및 스케일링 변환하여 미러 영상을 리모컨 단말로 전송하고, 리모컨 단말의 제어신호를 수신받아 상기 스마트 기기의 해당 앱으로 전달하는 미러링 송수신부; 및 상기 미러링 송수신부로부터 수신된 미러 영상을 디스플레이하고, 사용자의 조작을 입력받아 해당 앱의 사용자 인터페이스를 위한 제어신호를 상기 미러링 송수신부로 전송하는 리모컨 단말로 구성된다. 본 발명에 따르면, 안드로이드 기반의 스마트 기기에서 프레임 버퍼를 이용하여 미러링을 용이하게 구현할 수 있어 스마트 기기의 화면을 직접 터치하지 않고서도 리모컨의 미러화면을 통해 용이하게 스마트 기기를 제어할 수 있는 효과가 있다. 또한 본 발명에 따르면, 스케일링 변환을 통해 다양한 리모컨의 디스플레이 규격을 충족시킬 수 있어 대형의 스마트 기기 화면도 리모컨으로 용이하게 컨트롤할 수 있다.

Description

미러링을 이용한 대화형 리모컨 및 그 제어방법{INTERACTIVE REMOCON AND REMOCON CONTROL METHOD OF USING MIRRORING}
본 발명은 스마트 기기를 원격 제어하기 위한 리모컨에 관한 것으로, 더욱 상세하게는 스마트 기기의 화면을 미러링(Mirroring)하여 대화형으로 사용자 인터페이스를 제공할 수 있는 미러링(Mirroring)을 이용한 대화형 리모컨 및 그 제어방법에 관한 것이다.
가정이나 사무실에서 텔레비전, DVD 플레이어, 에어컨, 전등스위치와 같은 각종의 전기전자 기기를 원격제어장치(리모컨)로 제어하는 기술이 종래로부터 널리 사용되어 왔다. 이러한 원격제어장치에는 미리 설정된 기능에 따른 각종 버튼이 배치되어 있으며, 이들 버튼의 종류와 개수는 그 원격제어장치가 제어하려는 장치에 따라 정해진다.
최근에 TV가 인터넷을 비롯한 다양한 기능을 탑재한 스마트 TV로 진화하고 있고, 이러한 스마트 TV에는 인터넷 브라우저, 유튜브, 구글 지도, 날씨/뉴스 등의 위젯(widget), 동영상 재생 등을 비롯하여 각종의 기능이 추가된다. 다양한 기능이 스마트 TV가 출현하면서 리모컨으로 대변되는 TV 입력장치가 TV 성능을 차별화하는 한 요소로 주목을 받고 있고, 그로 인해 TV 업체들은 TV 사용자 특성을 고려해 최소한 입력으로 최대 효율을 낼 수 있는 입력장치 개발에 주력하고 있다.
한국공개특허 제2003-0077513호는 스마트 리모컨 및 이를 이용한 홈 네트워킹 시스템 및 방법에 관한 것으로서, 소정의 디바이스와 적외선 통신을 수행하는 적외선 통신부, 제어 정보가 내장된 RFID 태그가 각각 부착된 복수의 디바이스로부터 상기 RFID 태그에 내장된 상기 제어 정보를 읽어 들이는 RFID 리더/라이터, 상기 RFID 리더/라이터로부터 읽어 들인 상기 제어 정보를 저장하는 메모리부, 상기 제어 정보에 기초하여 상기 복수의 디바이스들의 동작을 제어할 수 있는 사용자 그래픽 인터페이스를 표시하는 디스플레이부, 및 스마트 리모컨의 전체 동작을 제어하는 제어부를 포함하여 구성된다.
한국공개특허 제2009-0125910호는 양방향 텔레비전 시스템 및 그를 위한 리모컨에 관한 것으로서, 전원을 공급하는 전원공급부, TV 세트를 제어하기 위한 제어신호를 입력받는 키입력부, 상기 입력된 제어신호를 상기 TV 세트로 전달하는 원격제어부, 사용자의 고유정보를 입력받는 인증부, 상기 사용자에 따른 결제 수단 정보를 입력받는 결제부, 상기 사용자 고유정보 및 상기 결제 수단 정보를 상기 TV 세트로 전송하기 위해 데이터 패킷으로 변환하는 인터페이스부 및 상기 변환된 데이터 패킷을 TV 세트로 전송하는 무선통신부를 포함하여 구성된다.
이와 같이, 기존의 디지털 양방향 TV에서 게임과 같은 양방향 콘텐츠를 이용하기 위해서는 리모컨을 이용하고 있지만, 리모컨은 양방향 콘텐츠의 제어를 위해 각종 버튼을 누르는 방식을 이용함으로써, 요즈음 널리 보급된 스마트폰 등의 터치 방식, 화면 위를 손가락으로 가볍게 쓸 듯이 사용하는 슬라이딩 방식 등에 익숙한 사용자들에게는 매우 낡은 방식이라는 느낌을 주어 왔다. 특히 최신의 게임 등을 즐기는 사용자들에게는 일반 TV 리모컨으로는 게임에 필요한 다양한 제어방식을 사용할 수 없어 양방향 TV를 통한 게임이 매우 시대에 뒤떨어진 느낌을 주어, 게임 이용에서도 흥미를 잃게 하는 요소가 되고 있다.
예를 들어, IPTV에 있어서, 기존 리모컨 신호의 경우 IPTV를 수신하는 수신기(셋톱박스, STB)에 의해 처리되는데, 그 특성상 응용 콘텐츠가 리모컨 신호를 수신하기 위해서는 시스템의 계층적인 모듈의 처리절차에 의해 처리된 후 최종적으로 응용 콘텐츠에 전달되게 된다. 즉, 리모컨 신호는 STB 하드웨어의 IR Receiver가 수신하고, STB의 운영체제(RTOS)는 디바이스 드라이버를 통해 그 신호를 수신한다. 이에 따라 양방향 콘텐츠는 리모컨 신호를 미들웨어(M/W)를 통해 수신하여 사용자의 요청을 처리할 수 있게 된다.
이러한 계층적 처리구조는 리모컨 제어에 의한 응답 시간을 길게 함으로써, 사용자로 하여금 빠른 응답시간이 요구되는 양방향 콘텐츠 사용에 있어서 불편을 느끼게 하는 요소가 되고 있다.
KR 2003-0077513 A KR 2009-125910 A
본 발명은 상기와 같은 문제점을 해소하기 위해 제안된 것으로, 본 발명의 목적은 안드로이드 플랫폼을 이용하여 구현된 스마트 기기에서 프레임 버퍼를 이용하여 미러링을 용이하게 구현하여 스마트 기기를 터치나 음성으로 제어할 있는 미러링(Mirroring)을 이용한 대화형 리모컨 및 그 제어방법을 제공하는 것이다.
상기와 같은 목적을 달성하기 위하여 본 발명의 장치는 앱이 제공하는 영상을 디스플레이하기 위한 프레임 버퍼를 구비하는 스마트 기기; 상기 스마트 기기의 프레임 버퍼로부터 비디오 데이터를 가져와 압축 및 스케일링 변환하여 미러 영상을 리모컨 단말로 전송하고, 리모컨 단말의 제어신호를 수신받아 상기 스마트 기기의 해당 앱으로 전달하는 미러링 송수신부; 및 상기 미러링 송수신부로부터 수신된 미러 영상을 디스플레이하고, 사용자의 조작을 입력받아 해당 앱의 사용자 인터페이스를 위한 제어신호를 상기 미러링 송수신부로 전송하는 리모컨 단말을 포함하는 것을 특징으로 한다.
상기 미러링 송수신부는 상기 스마트 기기의 프레임 버퍼로부터 가져온 데이터를 저장하기 위한 리모컨 버퍼와, 상기 리모컨 버퍼의 비디오 데이터를 압축하는 압축부와, 압축된 비디오 데이터를 리모컨의 디스플레이 화면에 맞게 스케일링하는 스케일링 변환부와, 스케일링 변환된 미러 영상 데이터를 리모컨 단말측으로 무선 송신하는 송신부와, 상기 리모컨 단말의 원격 제어신호를 수신하는 수신부와, 수신된 원격제어신호를 파싱하여 상기 스마트 기기의 해당 응용으로 전송하는 파싱부로 구성된다.
상기 리모컨 단말은 상기 미러링 송수신부의 송신 데이터를 수신하는 수신부와, 수신된 데이터의 압축을 푸는 압축 해제부와, 미러 영상을 표시하고 사용자의 터치를 입력받기 위한 터치 스크린과, 마이크와, 상기 마이크로부터 입력된 사용자의 음성을 인식하기 위한 음성인식부와, 제어신호를 상기 미러링 송수신부로 송신하기 위한 송신부와, 상기 압축해제부로부터 수신된 미러 영상을 상기 터치 스크린에 표시하고 사용자의 터치입력이나 상기 음성인식부로부터 음성명령을 수신하면 상기 스마트 기기를 제어하기 위한 제어신호를 생성하여 상기 송신부로 전송하는 제어부로 구성된다.
상기 리모컨 단말은 사용자의 조작을 입력받기 위한 버튼부와, 상기 버튼부의 조작에 따라 상기 스마트 기기를 RF 방식으로 직접 제어하기 위한 RF 제어부를 더 구비할 수 있다.
상기와 같은 목적을 달성하기 위하여 본 발명의 방법은 앱이 제공하는 디스플레이 화면 데이터가 저장된 프레임 버퍼의 데이터를 리모컨 버퍼로 복사하는 단계; 상기 리모컨 버퍼에 복사된 미러 영상을 압축하는 단계; 압축된 미러 영상을 리모컨 단말의 디스플레이에 맞게 스케일링 변환하는 단계; 미러 영상을 무선방식으로 리모컨 단말로 전송하는 단계; 상기 리모컨 단말에서 미러 영상을 표시하는 단계; 사용자의 조작을 입력받는 단계; 사용자의 조작이 터치이면, 터치입력에 따른 제어신호를 생성하는 단계; 사용자의 조작이 음성입력이면, 마이크를 통해 입력된 음성을 인식하고, 음성인식 명령에 따른 제어신호를 생성하는 단계; 제어신호를 무선방식으로 미러링 송수신부로 전송하는 단계; 및 제어신호를 해당 스마트 기기의 앱으로 전송하는 단계로 구성된 것을 특징으로 한다.
본 발명에 따르면, 안드로이드 기반의 스마트 기기에서 프레임 버퍼를 이용하여 미러링을 용이하게 구현할 수 있어 스마트 기기의 화면을 직접 터치하지 않고서도 리모컨의 미러화면을 통해 용이하게 스마트 기기를 제어할 수 있는 효과가 있다.
또한 본 발명에 따르면, 스케일링 변환을 통해 다양한 리모컨의 디스플레이 규격을 충족시킬 수 있어 대형의 스마트 기기 화면도 리모컨으로 용이하게 컨트롤할 수 있다.
도 1은 본 발명에 따른 미러링을 이용한 대화형 리모컨을 스마트 TV에 적용한 예의 개략도,
도 2는 본 발명에 따른 리모컨으로 스마트 TV를 제어하는 개략적인 절차를 도시한 순서도,
도 3은 본 발명에 따른 미러링을 이용한 대화형 리모컨을 스마트 TV에 적용한 예의 구성 블럭도,
도 4는 본 발명에 따른 미러링을 이용한 대화형 리모컨 단말의 구성을 도시한 블럭도,
도 5는 본 발명에 따라 리모컨 단말에 미러링 화면을 표시하는 절차를 도시한 순서도,
도 6은 본 발명에 따라 리모컨 단말의 제어신호를 스마트 TV로 전달하는 절차를 도시한 순서도이다.
본 발명과 본 발명의 실시에 의해 달성되는 기술적 과제는 다음에서 설명하는 본 발명의 바람직한 실시예들에 의하여 보다 명확해질 것이다. 다음의 실시예들은 단지 본 발명을 설명하기 위하여 예시된 것에 불과하며, 본 발명의 범위를 제한하기 위한 것은 아니다.
먼저, 본 발명에서 스마트 기기는 스마트폰, 스마트 패드, IPTV, 스마트TV, PC, 태블릿PC, 디지털 케이블 박스(Digital Cable Box), 위성 박스(Satellite Box) 등 다양한 멀티미디어 정보기기들 중 어느 하나가 될 수 있으나 본 발명의 바람직한 실시예에서는 스마트 TV를 예로 들어 설명한다.
도 1은 본 발명에 따른 미러링을 이용한 대화형 리모컨을 스마트 TV에 적용한 예의 개략도이고, 도 2는 본 발명에 따른 리모컨으로 스마트 TV를 제어하는 개략적인 절차를 도시한 순서도이다.
본 발명이 적용된 스마트 TV(100)는 도 1에 도시된 바와 같이, 운영체제(OS)와 중앙처리장치(CPU)를 탑재한 통상의 스마트 TV(100)에 본 발명에 따른 미러링 리모컨 기능을 구현하기 위하여 프레임 버퍼의 비디오 데이터를 스케일링 변환하여 리모컨 단말(300)로 전송하고 리모컨 단말(300)로부터 제어신호를 수신하여 스마트 TV(100)의 앱으로 전송하는 미러링 송수신부(200)가 구비되어 있다.
도 1을 참조하면, 스마트 TV(100)는 예컨대, 안드로이드 OS와 인텔의 CPU를 장착해 안드로이드 마켓에서 각종 애플리케이션(응용 프로그램)을 이용할 수 있으며, 시청자들은 TV를 쌍방향 콘텐츠 정보 단말기로 활용할 수 있다. 이러한 스마트 TV(100)는 LCD TV 화면(102)에 TV 영상이나 응용 영상을 표시하며, LCD와 시스템이 하나로 된 일체형이나 통상의 LCD TV에 연결되는 셋톱박스(STB)형으로 구현될 수 있다.
본 발명에 따른 미러링 송수신부(200)는 스마트 기기(100)에 하드웨어 칩이나 소프트웨어로 구현될 수 있으며, 스마트 TV의 화면(102)을 리모컨 단말의 화면(302)에 맞게 스케일링 변환하여 미러 영상을 리모컨 단말(300)로 송신하고, 리모컨 단말(300)로부터 스마트 TV(100)를 원격제어하기 위한 제어신호를 수신하여 스마트 TV의 해당 앱측으로 전달한다.
본 발명에 따른 리모컨 단말(300)은 미러링 송수신부(200)와 WiFi(10)나 블루투스 등 무선으로 통신하여 미러링 송수신부(200)가 송신한 미러 영상을 LCD에 디스플레이하고 사용자의 터치입력이나 음성입력을 인식하여 제어신호를 무선신호로 변환하여 미러링 송수신부(200)를 통해 스마트 TV(100)로 전송하여 스마트 TV에 대한 사용자 인타페이스를 제공한다. 또한 도면에는 도시하지 않았으나 종래와 같이 적외선 리모컨 기능도 구비하여 스마트 기기의 전원 온/오프와 같은 일방향성의 단순 기능은 별도의 적외선 리모컨 방식으로 제어할 수도 있다.
이러한 본 발명에 따른 미러링을 이용한 대화형 리모컨은 도 2에 도시된 바와 같이 리모컨의 제어에 따라 스마트 기기의 전원이 온되면 스마트 기기는 정상동작하게 되고, 본 발명에 따른 미러링 송수신부(200)는 스마트 TV의 프레임 버퍼에서 미러 영상을 가져와 스케일링 변환한 후 무선방식으로 리모컨 단말(300)로 전송한다(S101~S106).
이에 따라 리모컨 단말(300)은 수신된 미러 비디오 데이터를 압축해제하여 리모컨 단말(300)의 LCD에 미러 영상을 디스플레이하고, 이에 따라 사용자는 미러 영상을 보면서 제어방식을 선택하여 터치방식이나 음성인식 방식으로 스마트 기기를 제어하기 위한 조작을 입력한다(S107.S108). 그리고 리모컨 단말(300)은 사용자의 조작에 대응하는 제어신호를 생성하여 무선신호(WiFi)로 변조한 후 미러링 송수신부(200)로 전송하고, 미러링 송수신부(200)는 이를 수신하여 파싱(parsing) 후 스마트 TV(100)로 제어신호를 전달한다(S109~S110). 이에 따라 스마트 TV(100)는 사용자의 조작에 반응하는 동작을 수행하고, 다시 미러 화면은 미러링 송수신부(200)를 통해 리모컨 단말(300)로 전달되며 이러한 동작이 반복된다(S111~S115).
도 3은 본 발명에 따른 미러링을 이용한 대화형 리모컨을 스마트 TV에 적용한 예의 구성 블럭도이고, 도 4는 본 발명에 따른 미러링을 이용한 대화형 리모컨 단말의 구성 블럭도이다.
본 발명이 적용된 스마트 TV(100)는 도 3에 도시된 바와 같이, 안드로이드 기반의 시스템 앱(112)과 응용 앱(114), 시스템 앱이나 응용 앱이 제공하는 서페이스1(Surface1;116-1) 내지 서페이스 N(Surface N;116-N)을 합성하여 하나의 화면을 구성하는 합성부(118)와, 합성부(118)가 제공하는 방송 이외의 LCD에 디스플레이할 프레임의 데이터를 저장하고 있는 프레임 버퍼(120)와, LCD에 디스플레이되는 모든 화면의 데이터를 저장하고 있는 LCD 버퍼(122)와, LCD 디스플레이(124)와, TV방송을 수신하기 위한 튜너(126)와, 튜너의 비디오 데이터를 처리하여 LCD 버퍼(122)에 저장하기 위한 방송화면처리부(128)로 구성된다. 프레임 버퍼(120)는 방송화면을 제외한 시스템 앱(112)이나 응용 앱(114), 사용자 인터페이스(UI) 화면 등 안드로이드 기기의 화면에 출력되는 모든 정보를 가지고 있다. 따라서 본 발명에서는 프레임 버퍼(1200의 데이터를 별도의 리모컨 버퍼(220)로 카피하여 안드로이드 화면을 캡춰함과 아울러 압축기(222)로 압축한 후 스케일(Scale) 변환해서 무선으로 송신하고, 이 신호를 리모컨 단말(300)이 수신하여 압축을 풀어 복원한 후 미러 영상을 디스플레이하는 것이다. 그리고 리모컨 단말(300)에서 터치 이벤트나 음성인식으로 사용자 조작이 입력되면, 이를 미러링 송수신부(200)를 통해 스마트 기기의 해당 앱으로 전송해서 상호 연동에 의한 미러링을 구현할 수 있다.
이러한 스마트 TV(300)는 하드웨어와 소프트웨어의 복합 시스템으로 구현되며, 인터넷을 통해 연결됨과 아울러 무선으로 방송신호를 수신할 수 있는 통상의 스마트 기기로서 다양한 방식으로 구현될 수 있다. 특히 본 발명에 적용되는 스마트 TV(300)는 프레임 버퍼(120)를 이중(핑퐁 버퍼)으로 구성하여 하나의 프레임 버퍼가 디스플레이에 사용될 때 다른 하나의 프레임 버퍼는 데이터를 저장함으로써 화면의 지연없이 영상을 처리할 수 있다.
본 발명에 따른 미러링 송수신부(200)는 스마트 기기에 하드웨어나 소프트웨어로 구현되어 도 3에 도시된 바와 같이, 프레임 버퍼(120)로부터 TV 화면(102)에 출력되는 영상과 동일한 미러 영상을 위한 데이터를 가져와 저장하고 있는 리모컨 버퍼(220)와, 리모컨 버퍼(220)의 미러 영상 데이터를 압축하기 위한 압축기(222)와, 압축된 미러 영상 데이터를 리모컨 단말(300)의 LCD 화면 크기에 맞게 해상도를 조정하는 스케일링 변환부(224)와, 스케일링 변환된 영상을 무선신호로 변조하여 WiFi나 블루투스 등의 방식으로 송신하는 송신부(226)와, 리모컨 단말(300)로부터 제어신호를 수신하는 수신부(210)와, 수신된 제어 데이터의 형식을 파싱(parsing)하여 스마트 TV의 시스템(122)으로 전송하는 파싱부(212)로 구성된다.
본 발명에 따른 리모컨 단말(300)은 도 4에 도시된 바와 같이, 미러링 송수신부(200)로부터 미러 영상 데이터를 수신하는 수신부(310)와, 수신된 데이터의 압축을 해제하는 압축해제부(312)와, 미러 영상(302)을 표시하고 사용자의 터치를 입력받기 위한 터치 스크린(322)과, 사용자의 조작을 입력받기 위한 버튼부(314)와, 마이크(316)와, 마이크(316)로부터 입력된 사용자의 음성을 인식하기 위한 음성인식부(318)와, 제어신호를 미러링 송수신부(200)로 송신하기 위한 송신부(324)와, 압축해제부(312)로부터 수신된 미러 영상을 터치스크린(322)에 표시하고 사용자의 터치입력이나 음성인식부(318)로부터 음성명령을 수신하면 스마트 기기를 제어하기 위한 제어신호를 생성하여 송신부(324)로 전송하는 제어부(320)로 구성된다.
이어서, 상기와 같이 구성되는 본 발명에 따른 미러링을 이용한 대화형 리모컨의 동작을 설명하면 다음과 같다.
도 5는 본 발명에 따라 리모컨 단말에 미러링 화면을 표시하는 절차를 도시한 순서도이고, 도 6은 본 발명에 따라 리모컨 단말의 제어신호를 스마트 TV로 전달하는 절차를 도시한 순서도이다.
본 발명에 따라 리모컨 단말에 미러링 화면을 표시하는 절차는 도 5에 도시된 바와 같이, 시스템 앱이 제공하는 디스플레이 화면 데이터가 저장된 프레임 버퍼(120)의 데이터를 리모컨 버퍼(220)로 복사하는 단계(S201,S202)와, 리모컨 버퍼(220)에 복사된 미러 영상을 압축하는 단계(S203)와, 압축된 미러 화면을 리모컨 단말의 디스플레이에 맞게 스케일링 변환하는 단계(S204)와, 미러 영상을 무선방식으로 리모컨 단말(300)로 전송하는 단계(S205)와, 리모컨 단말(300)에서 미러 영상을 표시하는 단계(S206)로 구성된다.
그리고 본 발명에 따라 리모컨 단말의 제어신호를 스마트 TV로 전송하는 절차 도 6에 도시된 바와 같이, 미러 영상(302)을 리모컨 단말의 터치 스크린(322)에 표시하는 단계(S301)와, 사용자의 조작을 입력받는 단계(S302)와, 사용자의 조작이 터치이면 터치입력에 따른 제어신호를 생성하는 단계(S303,S304)와, 사용자의 조작이 음성입력이면 마이크를 통해 입력된 음성을 인식하는 단계(S305,S306)와, 음성인식 명령에 따른 제어신호를 생성하는 단계(S307)와, 제어신호를 무선방식으로 미러링 송수신부(200)로 전송하는 단계(S308)와, 수신된 제어신호를 파싱하는 단계(S309)와, 제어신호를 스마트 기기의 해당 앱으로 전송하는 단계(S310)로 구성된다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 스마트 TV 200: 미러링 송수신부
210: 수신부 212: 파싱부
220: 리모컨 버퍼 222: 압축기
224: 스케일링 변환부 226: 송신부
300: 리모컨 단말 302: 미러 화면
310: 수신부 312: 압축해제부
314: 버튼 316: 마이크
318: 음성인식부 320: 제어부
322: 터치스크린 324: 송신부

Claims (5)

  1. 앱이 제공하는 영상을 디스플레이하기 위한 프레임 버퍼를 구비하는 스마트 기기;
    상기 스마트 기기의 프레임 버퍼로부터 비디오 데이터를 가져와 압축 및 스케일링 변환하여 미러 영상을 리모컨 단말로 전송하고, 리모컨 단말의 제어신호를 수신받아 상기 스마트 기기의 해당 앱으로 전달하는 미러링 송수신부; 및
    상기 미러링 송수신부로부터 수신된 미러 영상을 디스플레이하고, 사용자의 조작을 입력받아 해당 앱의 사용자 인터페이스를 위한 제어신호를 상기 미러링 송수신부로 전송하는 리모컨 단말을 포함하고,
    상기 미러링 송수신부는
    상기 스마트 기기의 프레임 버퍼로부터 가져온 데이터를 저장하기 위한 리모컨 버퍼와,
    상기 리모컨 버퍼의 비디오 데이터를 압축하는 압축부와,
    압축된 비디오 데이터를 리모컨의 디스플레이 화면에 맞게 스케일링하는 스케일링 변환부와,
    스케일링 변환된 미러 영상 데이터를 리모컨 단말측으로 무선 송신하는 송신부와,
    상기 리모컨 단말의 원격 제어신호를 수신하는 수신부와,
    수신된 원격제어신호를 파싱하여 상기 스마트 기기의 해당 앱으로 전송하는 파싱부로 구성된 것을 특징으로 하는 미러링(mirroring)을 이용한 대화형 리모컨.
  2. 삭제
  3. 제1항에 있어서, 상기 리모컨 단말은
    상기 미러링 송수신부의 송신 데이터를 수신하는 수신부와,
    수신된 데이터의 압축을 푸는 압축 해제부와,
    미러 영상을 표시하고 사용자의 터치를 입력받기 위한 터치 스크린과,
    마이크와,
    상기 마이크로부터 입력된 사용자의 음성을 인식하기 위한 음성인식부와,
    제어신호를 상기 미러링 송수신부로 송신하기 위한 송신부와,
    상기 압축해제부로부터 수신된 미러 영상을 상기 터치 스크린에 표시하고 사용자의 터치입력이나 상기 음성인식부로부터 음성명령을 수신하면 상기 스마트 기기를 제어하기 위한 제어신호를 생성하여 상기 송신부로 전송하는 제어부로 구성된 것을 특징으로 하는 미러링(mirroring)을 이용한 대화형 리모컨.
  4. 제3항에 있어서, 상기 리모컨 단말은
    사용자의 조작을 입력받기 위한 버튼부와, 상기 버튼부의 조작에 따라 상기 스마트 기기를 RF 방식으로 직접 제어하기 위한 RF 제어부를 더 구비한 것을 특징으로 하는 미러링(mirroring)을 이용한 대화형 리모컨.
  5. 앱이 제공하는 디스플레이 화면 데이터가 저장된 프레임 버퍼의 데이터를 리모컨 버퍼로 복사하는 단계;
    상기 리모컨 버퍼에 복사된 미러 영상을 압축하는 단계;
    압축된 미러 영상을 리모컨 단말의 디스플레이에 맞게 스케일링 변환하는 단계;
    미러 영상을 무선방식으로 리모컨 단말로 전송하는 단계;
    상기 리모컨 단말에서 미러 영상을 표시하는 단계;
    사용자의 조작을 입력받는 단계;
    사용자의 조작이 터치이면, 터치입력에 따른 제어신호를 생성하는 단계;
    사용자의 조작이 음성입력이면, 마이크를 통해 입력된 음성을 인식하고, 음성인식 명령에 따른 제어신호를 생성하는 단계;
    제어신호를 무선방식으로 미러링 송수신부로 전송하는 단계;
    제어신호를 해당 스마트 기기의 앱으로 전송하는 단계로 구성된 것을 특징으로 하는 미러링을 이용한 대화형 리모컨 제어 방법.
KR1020130036360A 2013-04-03 2013-04-03 미러링을 이용한 대화형 리모컨 및 그 제어방법 KR101274619B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130036360A KR101274619B1 (ko) 2013-04-03 2013-04-03 미러링을 이용한 대화형 리모컨 및 그 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130036360A KR101274619B1 (ko) 2013-04-03 2013-04-03 미러링을 이용한 대화형 리모컨 및 그 제어방법

Publications (1)

Publication Number Publication Date
KR101274619B1 true KR101274619B1 (ko) 2013-06-13

Family

ID=48866965

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130036360A KR101274619B1 (ko) 2013-04-03 2013-04-03 미러링을 이용한 대화형 리모컨 및 그 제어방법

Country Status (1)

Country Link
KR (1) KR101274619B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015076608A1 (ko) * 2013-11-21 2015-05-28 엘지전자 주식회사 비디오 처리 방법 및 비디오 처리 장치
KR101581138B1 (ko) * 2014-12-05 2015-12-30 박남태 음성제어 영상표시 리듬게임 장치 및 방법
WO2020158997A1 (ko) * 2019-01-30 2020-08-06 주식회사 오투오 Usb-c dmp 디바이스 및 그 재생 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020021829A (ko) * 2000-09-18 2002-03-23 표주찬 음성인식에 의한 검색 기능을 구비한 가요반주기용원격제어장치 및 그 원격제어방법
JP3172006U (ja) 2011-07-14 2011-12-01 川仕 呉 スマートフォン・ディスプレイの画面転送コントロール装置
JP2012034401A (ja) * 2005-07-19 2012-02-16 Marvell World Trade Ltd 双方向遠隔制御
KR20130037330A (ko) * 2011-10-06 2013-04-16 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020021829A (ko) * 2000-09-18 2002-03-23 표주찬 음성인식에 의한 검색 기능을 구비한 가요반주기용원격제어장치 및 그 원격제어방법
JP2012034401A (ja) * 2005-07-19 2012-02-16 Marvell World Trade Ltd 双方向遠隔制御
JP3172006U (ja) 2011-07-14 2011-12-01 川仕 呉 スマートフォン・ディスプレイの画面転送コントロール装置
KR20130037330A (ko) * 2011-10-06 2013-04-16 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015076608A1 (ko) * 2013-11-21 2015-05-28 엘지전자 주식회사 비디오 처리 방법 및 비디오 처리 장치
US9936236B2 (en) 2013-11-21 2018-04-03 Lg Electronics Inc. Video processing method and video processing apparatus
KR101581138B1 (ko) * 2014-12-05 2015-12-30 박남태 음성제어 영상표시 리듬게임 장치 및 방법
WO2020158997A1 (ko) * 2019-01-30 2020-08-06 주식회사 오투오 Usb-c dmp 디바이스 및 그 재생 방법
KR20200094501A (ko) * 2019-01-30 2020-08-07 주식회사 오투오 Usb-c dmp 디바이스
KR102196628B1 (ko) * 2019-01-30 2020-12-30 주식회사 오투오 Usb-c dmp 디바이스
US11399205B2 (en) 2019-01-30 2022-07-26 O2O Co., Ltd. USB-C DMP device and playback method for same

Similar Documents

Publication Publication Date Title
CN107147769B (zh) 基于移动终端的设备控制方法、装置和移动终端
WO2020244266A1 (zh) 智能电视的远程控制方法、移动终端和智能电视
US8751973B2 (en) Display method and system for portable device using external display device
CN111447498A (zh) 显示设备的唤醒方法及显示设备
WO2021109418A1 (zh) 视频资源的显示方法、移动终端及服务器
CN111405338B (zh) 一种智能画质的切换方法及显示设备
KR20080082288A (ko) 원격제어가 가능한 휴대단말기 및 그 제어 방법
CN112543359B (zh) 一种显示设备及自动配置视频参数的方法
CN111479145A (zh) 显示设备及电视节目的推送方法
US8601527B2 (en) Wireless communication device, information processing device, wireless communication method, and information processing system
CN111385621B (zh) 一种显示设备及蓝牙音频传输方法
CN111542031B (zh) 显示设备及蓝牙设备配对方法
CN111654743B (zh) 音频播放方法及显示设备
KR101274619B1 (ko) 미러링을 이용한 대화형 리모컨 및 그 제어방법
US20140111699A1 (en) Broadcast receiving apparatus, method of controlling the same, user terminal device, and method of providing screen thereof
CN111417027A (zh) 网页视频全屏播放切换小窗口播放的方法及显示设备
CN111083538A (zh) 一种背景图像的显示方法及设备
CN111857363A (zh) 一种输入法交互方法及显示设备
KR101239177B1 (ko) Ｍｉｒｒｏｒｉｎｇ 시스템을 이용한 스마트 기기 제어용 입력 장치
CN114501158B (zh) 显示设备、外接音响设备及外接音响设备音频输出的方法
CN202677355U (zh) 一种操作可遥控式的电子白板
CN113329246A (zh) 一种显示设备及关机方法
CN112004127A (zh) 一种信号状态显示方法及显示设备
CN202721747U (zh) 一种实现电视换台的***及电视机
US20230120103A1 (en) Device switching method for display apparatus and display apparatus

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160705

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170425

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180409

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190328

Year of fee payment: 7