KR100901482B1 - Remote control system and method by using virtual menu map - Google Patents

Remote control system and method by using virtual menu map Download PDF

Info

Publication number
KR100901482B1
KR100901482B1 KR1020070097221A KR20070097221A KR100901482B1 KR 100901482 B1 KR100901482 B1 KR 100901482B1 KR 1020070097221 A KR1020070097221 A KR 1020070097221A KR 20070097221 A KR20070097221 A KR 20070097221A KR 100901482 B1 KR100901482 B1 KR 100901482B1
Authority
KR
South Korea
Prior art keywords
remote control
menu map
biosignal
map
virtual menu
Prior art date
Application number
KR1020070097221A
Other languages
Korean (ko)
Other versions
KR20090032208A (en
Inventor
유진호
김가규
김배선
김지은
선우존
이동우
임정묵
손용기
정현태
안희중
오명환
조일연
한동원
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020070097221A priority Critical patent/KR100901482B1/en
Publication of KR20090032208A publication Critical patent/KR20090032208A/en
Application granted granted Critical
Publication of KR100901482B1 publication Critical patent/KR100901482B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 가상 메뉴 맵을 이용한 원격 제어 시스템 및 방법에 관한 것으로, 전자기기의 제어 콘솔에 대응하는 가상 메뉴 맵을 인터페이스로 활용하여 전자기기를 원격 제어할 수 있도록 함으로써, 실재 제어 콘솔의 버튼이나 다이얼 등을 조작하는 것과 같은 자연스러운 동작을 통해 대상 기기를 원격으로 제어할 수 있도록 하여, 사용자가 리모컨을 사용함에 있어 버튼 기능을 숙지하기 위한 훈련을 최소화하고, 여러 종류의 리모컨을 운영할 필요가 없게 되어 인지 능력이 떨어지는 아동이나 노인, 장애인이 생활 속 가전 및 전자기기를 제어하는 어려움을 해소할 수 있으며, 또한 집중도가 다소 낮은 상태에서 대상 기기를 제어할 수 있도록 하는 이점이 있다.The present invention relates to a remote control system and method using a virtual menu map, by using a virtual menu map corresponding to the control console of the electronic device as an interface to remotely control the electronic device, buttons or dials of the actual control console By controlling the target device remotely through natural operation such as manipulating the light, the user can minimize the training to be familiar with the button function in using the remote control and do not need to operate various types of remote control. Children, the elderly, disabled people with low cognitive abilities can solve the difficulty of controlling home appliances and electronic devices in the living, and also has the advantage to control the target device in a somewhat low concentration.

원격 제어, 가상 메뉴 맵, 생체 신호 Remote control, virtual menu map, vital signs

Description

가상 메뉴 맵을 이용한 원격 제어 시스템 및 방법{REMOTE CONTROL SYSTEM AND METHOD BY USING VIRTUAL MENU MAP}REMOTE CONTROL SYSTEM AND METHOD BY USING VIRTUAL MENU MAP}

본 발명은 가상 메뉴 맵을 이용한 원격 제어에 관한 것으로, 실재하지 않는 메뉴 맵을 인터페이스로 활용하여 전자기기를 원격 제어할 수 있도록 한 가상 메뉴 맵을 이용한 원격 제어 시스템 및 방법에 관한 것이다.The present invention relates to a remote control using a virtual menu map, and to a remote control system and method using a virtual menu map to remotely control electronic devices by using a non-existent menu map as an interface.

본 발명은 정보통신부의 IT신성장동력핵심기술개발 사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2005-S-065-03, 과제명: 웨어러블 퍼스널 스테이션 개발].The present invention is derived from a study conducted as part of the IT New Growth Engine Core Technology Development Project of the Ministry of Information and Communication [Task Management Number: 2005-S-065-03, Task Name: Wearable Personal Station Development].

일반적으로 가전 기기에 적용된 가장 대표적인 원격 제어기술은 적외선 송신기를 내장한 리모컨의 미리 정의된(볼륨 업/다운, 채널 업/다운, 전원 온/오프 등등) 버튼을 이용하여 약속된 적외선 신호를 송신하고 이를 적외선 수신기를 내장한 가전기기가 수신하여 처리하는 방식으로 구현된다. 그런데 이 방법은 가전기기 종류에 따라서 여러 개의 리모컨을 사용해야 하는 번거로움을 가지고 있다.In general, the most representative remote control technology applied to home appliances transmits the promised infrared signal by using predefined buttons (volume up / down, channel up / down, power on / off, etc.) of a remote controller with an infrared transmitter. This is implemented in a manner that a home appliance having an infrared receiver is received and processed. However, this method has the trouble of using several remote controllers according to the type of home appliances.

최근 번거로운 리모컨을 대체하여 사람의 직관적이고 자연스러운 손 제스처 를 이용하여 가전 기기를 원격 제어하는 기술들이 많이 소개되고 있다.Recently, many technologies for remotely controlling home appliances using intuitive and natural hand gestures have been introduced in place of cumbersome remote controllers.

이러한 최근의 원격 제어 기술들의 몇 가지 실시예를 살펴보면 아래와 같다.Some embodiments of these recent remote control technologies are described below.

먼저, 종래의 제 1 실시예로서 카메라와 사람의 손 제스처(사물 지시, 제어 동작)를 이용하는 방법이 있다.First, there is a method using a camera and a human hand gesture (object instruction, control operation) as a first embodiment.

종래의 제 2 실시예로서 가속도 및 적외선 송신기를 반지 형태 구성하고 손가락의 제스처를 인식하여 제어하는 방법이 있다.As a second conventional embodiment, there is a method of configuring an acceleration and an infrared transmitter in the form of a ring and recognizing and controlling a gesture of a finger.

종래의 제 3 실시예로서 지자기 센서, 나침반, 위치 기반 서버 등의 시스템을 이용하여 실내 공간에 제어하고자 하는 목표 장치를 정확히 식별하고, 사용자의 제스처를 통해 원격 제어하는 방법이 있다. 이 방법은 식별된 목표 장치가 수신하는 리모컨의 적외선 신호를 메인 컴퓨터가 미리 저장하고 있어서 사용자가 조준장치를 쥐고 손 제스처를 취하게 되면 인식된 손 제스처 명령이 메인 컴퓨터를 통해 해당 목표 장치의 리모컨 신호로 변환되어 목표 장치로 전달된다.As a third exemplary embodiment, there is a method of accurately identifying a target device to be controlled in an indoor space by using a system such as a geomagnetic sensor, a compass, a location-based server, and remotely controlling the user through a gesture of a user. In this method, the main computer pre-stores the infrared signal of the remote control received by the identified target device, and if the user takes a hand gesture while holding the aiming device, the recognized hand gesture command is transmitted to the remote device signal of the target device through the main computer. Is converted to and delivered to the target device.

앞서 예시한 종래 기술 중에서 제 1 실시예는 복수 개의 카메라를 통해 얻어진 영상으로부터 손 제스처를 인식하기 위해 높은 수준의 컴퓨팅 파워가 요구되는 문제점이 있었다.Among the prior arts exemplified above, the first embodiment has a problem that a high level of computing power is required in order to recognize hand gestures from images obtained through a plurality of cameras.

종래의 제 2 실시예는 사용자가 미리 정의된 제스처 패턴을 숙지해야 하는 문제점이 있었다.The second embodiment of the related art has a problem that a user needs to know a predefined gesture pattern.

종래의 제 3 실시예는 목표 장치의 식별을 위해 고비용의 복잡한 위치기반 서비스 시스템이 요구되고, 다수의 목표장치 리모컨 버튼에 대응하는 손 제스처를 사전에 숙지해야 하는 불편한 문제점을 가지고 있다.The conventional third embodiment has an inconvenient problem of requiring a complicated and expensive location-based service system for identification of a target device, and acquiring a hand gesture corresponding to a plurality of target device remote control buttons in advance.

본 발명은 실재하지 않는 메뉴 맵을 인터페이스로 활용하여 전자기기를 원격 제어할 수 있도록 한 것으로서, 생활 속 가전 및 전자 기기를 공간상에서 신체 부위를 이용하여 선택하고, 선택된 기기의 제어 콘솔에 대응하는 가상 메뉴 맵을 이용하여 실재 제어 콘솔의 버튼이나 다이얼 등을 조작하는 것과 같은 자연스러운 동작을 통해 대상 기기를 원격으로 제어할 수 있도록 한다.The present invention provides a remote control of electronic devices by using a non-existent menu map as an interface, and selects home appliances and electronic devices in a living space using body parts and corresponds to a control console of the selected device. The menu map allows the remote control of the target device through natural operations such as manipulating buttons or dials on the actual control console.

본 발명의 제 1 관점으로서 가상 메뉴 맵을 이용한 원격 제어 시스템은, 전자기기의 각종 동작을 제어할 수 있는 가상 메뉴 맵이 가상으로 배치된 공간상에서 발생하는 사용자의 생체 신호에 따라 원격 제어 명령을 송신하는 생체 신호 장치 와, 상기 생체 신호 장치로부터 수신한 상기 원격 제어 명령을 상기 전자기기에게 전달하는 메뉴 맵 장치를 포함한다.As a first aspect of the present invention, a remote control system using a virtual menu map transmits a remote control command in accordance with a user's bio-signal generated in a space where a virtual menu map capable of controlling various operations of an electronic device is virtually arranged. And a menu map device for transmitting the remote control command received from the biosignal device to the electronic device.

본 발명의 제 2 관점으로서 가상 메뉴 맵을 이용한 원격 제어 방법은, 공간상에 가상으로 배치된 가상 메뉴 맵을 이용하는 사용자의 생체 신호를 검출하는 생체 신호 수단과, 상기 생체 신호에 대응하는 원격 제어 명령을 전자기기에게 전달하는 신호 전달 수단을 이용하여 상기 전자기기를 원격 제어하는 방법으로서, (a) 상기 공간상에서 발생하는 상기 생체 신호를 상기 생체 신호 수단을 통해 검출하는 단계와, (b) 상기 생체 신호 수단이 상기 (a) 단계에서 검출한 상기 생체 신호에 대응하는 상기 원격 제어 명령을 상기 신호 전달 수단에게 송신하는 단계와, (c) 상기 신호 전달 수단이 상기 (b) 단계에서 전송되는 상기 원격 제어 명령을 수신하여 상기 전자기기에게 전달하는 단계를 포함한다.As a second aspect of the present invention, there is provided a remote control method using a virtual menu map, comprising: biosignal means for detecting a biosignal of a user using a virtual menu map virtually arranged in a space, and a remote control command corresponding to the biosignal A method of remotely controlling an electronic device by using a signal transmission means for transmitting a signal to an electronic device, the method comprising: (a) detecting the biological signal generated in the space through the biological signal means; The signal means transmitting the remote control command corresponding to the biological signal detected in the step (a) to the signal transmission means, and (c) the remote signal transmitted by the signal transmission means in step (b). Receiving and transmitting a control command to the electronic device.

본 발명에서는 전자기기의 제어 콘솔에 대응하는 가상 메뉴 맵을 인터페이스로 활용하여 전자기기를 원격 제어할 수 있도록 함으로써, 실재 제어 콘솔의 버튼이나 다이얼 등을 조작하는 것과 같은 자연스러운 동작을 통해 대상 기기를 원격으로 제어할 수 있도록 하여, 사용자가 리모컨을 사용함에 있어 버튼 기능을 숙지하기 위한 훈련을 최소화하고, 여러 종류의 리모컨을 운영할 필요가 없게 되어 인지 능력이 떨어지는 아동이나 노인, 장애인이 생활 속 가전 및 전자기기를 제어하는 어려움을 해소할 수 있으며, 또한 집중도가 다소 낮은 상태에서 대상 기기를 제어할 수 있도록 하는 효과가 있다. 특히 본 발명은 제어 대상 기기가 갈수록 증가하고 있는 홈 오토메이션 구현 등에 적용할 경우에 그 효과를 극대화할 수 있다.In the present invention, by using a virtual menu map corresponding to the control console of the electronic device as an interface to remotely control the electronic device, the target device is remotely controlled through a natural operation such as operating a button or dial of the actual control console. Control the user to minimize the training for the user to familiarize with the button function in the use of the remote control, and do not need to operate a variety of remote control to reduce the cognitive ability of children, the elderly, disabled people It is possible to solve the difficulty of controlling the electronic device, and also has the effect of controlling the target device in a somewhat low concentration. In particular, the present invention can maximize the effect when applied to the home automation implementation, such as the control device is increasing.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 아울러 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In addition, in describing the present invention, when it is determined that the detailed description of the related known configuration or function may obscure the gist of the present invention, the detailed description thereof will be omitted.

도 1은 본 발명의 일 실시예에 따른 가상 메뉴 맵을 이용한 원격 제어 시스템의 구성도이며, 도 2는 도 1에 도시된 생체 신호 장치의 구성도이다.1 is a configuration diagram of a remote control system using a virtual menu map according to an embodiment of the present invention, and FIG. 2 is a configuration diagram of a biosignal device shown in FIG. 1.

도 1에 나타낸 바와 같이 본 발명의 원격 제어 시스템은 메뉴 맵 장치(100)와 생체 신호 장치(200)를 포함한다.As shown in FIG. 1, the remote control system of the present invention includes a menu map device 100 and a biosignal device 200.

메뉴 맵 장치(100)는 전자기기(10)에 탑재되며, 전자기기(10)의 각종 동작을 제어할 수 있는 가상 메뉴 맵(20)을 운용하여 생체 신호 장치(200)를 이용하여 가상 메뉴 맵(20)을 통해 입력한 원격 제어 명령을 전자기기(10)에게 전달한다. 여기서 본 실시예에서는 메뉴 맵 장치(100)를 별도의 구성으로 설계하여 전자기기(10)에 탑재하였으나 메뉴 맵 장치(100)와 전자기기(10)를 일체로 설계할 수도 있다. 아울러 메뉴 맵 장치(100)는 생체 신호 장치(200)에서 송신되는 원격 제어 명령을 전자기기(10)로 전달하는 역할을 수행하므로 신호 전달 수단이라 칭할 수도 있다.The menu map device 100 is mounted on the electronic device 10 and operates a virtual menu map 20 that can control various operations of the electronic device 10 and uses the biosignal device 200 to operate the virtual menu map. The remote control command input through 20 is transmitted to the electronic device 10. In this embodiment, the menu map device 100 is designed in a separate configuration and mounted on the electronic device 10, but the menu map device 100 and the electronic device 10 may be integrally designed. In addition, the menu map device 100 may be referred to as a signal transmission means because it serves to transmit a remote control command transmitted from the biosignal device 200 to the electronic device 10.

생체 신호 장치(200)는 메뉴 맵 장치(100)로부터 제공되는 가상 메뉴 맵(20)의 정보에 의거하여 가상 메뉴 맵(20)을 공간상에 가상으로 배치한 후에 공간상에 서 발생한 사용자(30)의 생체 신호에 대응하는 메뉴를 분석하여 분석 결과에 따라 원격 제어 명령을 메뉴 맵 장치(100)에게 전달한다. 사용자(30)는 생체 신호 장치(200)를 손목 등과 같은 신체에 장착하며, 생체 신호 장치(200)는 생체 신호를 검출하는 역할을 수행하므로 생체 신호 수단이라 칭할 수도 있다.The biosignal device 200 generates a virtual menu map 20 in the space based on the information of the virtual menu map 20 provided from the menu map device 100, and then generates a user 30 in the space. Analyze the menu corresponding to the biological signal of the) and transmit the remote control command to the menu map device 100 according to the analysis result. The user 30 mounts the biosignal device 200 on a body such as a wrist and the like, and the biosignal device 200 may be referred to as a biosignal means because the biosignal device 200 detects the biosignal.

도 1에 나타낸 바와 같이 본 발명의 메뉴 맵 장치(100)는 송수신부(110)와 제어용 메뉴 맵 저장부(120) 및 메뉴 맵 운용부(130)를 포함한다.As shown in FIG. 1, the menu map apparatus 100 of the present invention includes a transceiver 110, a control menu map storage unit 120, and a menu map operation unit 130.

송수신부(110)는 생체 신호 장치(200)와의 신호 송수신을 담당하며, 제어용 메뉴 맵 저장부(120)는 가상 메뉴 맵(20)의 정보가 저장된다. 송수신부(110)는 적외선 송수신기, 초음파 송수신기, 레이저 송수신기 등으로 구현할 수 있다.The transceiver 110 is responsible for transmitting and receiving a signal with the biosignal apparatus 200, and the control menu map storage unit 120 stores information of the virtual menu map 20. The transceiver 110 may be implemented as an infrared transceiver, an ultrasonic transceiver, a laser transceiver, or the like.

메뉴 맵 운용부(130)는 제어용 메뉴 맵 저장부(120)에 저장된 가상 메뉴 맵(20)의 정보를 송수신부(110)를 통해 생체 신호 장치(200)에게 송신한 후에 생체 신호 장치(200)로부터 송수신부(110)를 통해 수신된 원격 제어 명령을 전자기기(10)에게 전달한다.The menu map operation unit 130 transmits the information of the virtual menu map 20 stored in the control menu map storage unit 120 to the biosignal device 200 through the transceiver 110 and then the biosignal device 200. The remote control command received from the transceiver 110 through the electronic device 10 is transmitted.

도 2에 나타낸 바와 같이 본 발명의 생체 신호 장치(200)는 송수신부(210), 진동 검출부(220), 모션 검출부(230), 키입력부(240), 중앙 처리부(250), 메뉴 맵 전달부(260), 메뉴 맵 정보 저장부(270)를 포함한다.As shown in FIG. 2, the biosignal apparatus 200 according to the present invention includes a transceiver 210, a vibration detector 220, a motion detector 230, a key inputter 240, a central processor 250, and a menu map transmitter. 260, a menu map information storage unit 270.

송수신부(210)는 메뉴 맵 장치(100)와의 신호 송수신을 담당하며, 진동 검출부(220)는 사용자의 인체 진동을 통해 전달되는 진동음을 검출하며, 모션 검출부(230)는 사용자의 동작에 따른 움직임을 검출한다. 송수신부(210)는 적외선 송수신기, 초음파 송수신기, 레이저 송수신기 등으로 구현할 수 있으며, 진동 검출 부(220)는 피에조-마이크로폰(piezo-microphone) 등으로 구현할 수 있고, 모션 검출부(230)는 가속도/자이로 센서 등으로 구현할 수 있다.The transceiver 210 is responsible for transmitting and receiving the signal with the menu map device 100, the vibration detector 220 detects the vibration sound transmitted through the human body vibration of the user, the motion detector 230 moves according to the user's motion Is detected. The transceiver 210 may be implemented as an infrared transceiver, an ultrasonic transceiver, a laser transceiver, or the like. The vibration detector 220 may be implemented as a piezo-microphone, and the motion detector 230 may be an acceleration / gyro. It can be implemented as a sensor.

키입력부(240)는 사용자가 원격 제어 명령을 입력할 수 있는 인터페이스이며, 메뉴 맵 정보 저장부(270)는 메뉴 맵 장치(100)로부터 제공되는 가상 메뉴 맵(20)의 정보를 저장한다.The key input unit 240 is an interface through which a user can input a remote control command, and the menu map information storage unit 270 stores information of the virtual menu map 20 provided from the menu map device 100.

중앙 처리부(250)는 메뉴 맵 장치(100)로부터 송수신부(210)를 통해 수신되는 가상 메뉴 맵(20)의 정보에 의거하여 가상 메뉴 맵(20)을 공간상에 가상으로 배치한 후에 진동 검출부(220) 및 모션 검출부(230)로부터 각각 전달되는 진동음 검출 신호와 움직임 검출 신호를 생체 신호로 인식하며, 메뉴 맵 정보 저장부(270)에 저장된 가상 메뉴 맵(20)의 정보에 의거하여 생체 신호에 대응하는 메뉴를 분석한 후에 이 분석 결과를 따라 판독된 원격 제어 명령을 송수신부(210)를 통해 메뉴 맵 장치(100)에게 송신한다.The central processing unit 250 virtually arranges the virtual menu map 20 in the space based on the information of the virtual menu map 20 received from the menu map apparatus 100 through the transceiver 210, and then detects the vibration. The vibration sound detection signal and the motion detection signal transmitted from the 220 and the motion detector 230 are respectively recognized as a bio signal, and the bio signal is based on the information of the virtual menu map 20 stored in the menu map information storage unit 270. After analyzing the menu corresponding to, the remote control command read according to the analysis result is transmitted to the menu map apparatus 100 through the transceiver 210.

메뉴 맵 전달부(260)는 중앙 처리부(250)의 분석 결과에 따라 판독된 원격 제어 명령을 사용자(30)가 시각적으로 확인할 수 있도록 전달하는 시각 전달기(261), 중앙 처리부(250)의 분석 결과에 따라 판독된 원격 제어 명령을 사용자(30)가 청각적으로 확인할 수 있도록 전달하는 청각 전달기(262), 중앙 처리부(250)의 분석 결과에 따라 판독된 원격 제어 명령을 사용자(30)가 촉각적으로 확인할 수 있도록 전달하는 촉각 전달기(263)를 포함한다. 시각 전달기(261)는 평면표시장치(예로서, LCD 등) 등으로 구현할 수 있으며, 청각 전달기(262)는 스피커 등으로 구현할 수 있고, 촉각 전달기(263)는 진동 모터 등으로 구현할 수 있다.The menu map transfer unit 260 analyzes the visual transmitter 261 and the central processing unit 250 so that the user 30 visually checks the remote control command read according to the analysis result of the central processing unit 250. According to a result of analysis of the audio transmitter 262 and the central processing unit 250, the user 30 transmits the remote control command that is read according to the result so that the user 30 can confirm audibly. And a tactile transmitter 263 which delivers tactile confirmation. The visual transmitter 261 may be implemented as a flat panel display (eg, LCD). The auditory transmitter 262 may be implemented as a speaker, and the tactile transmitter 263 may be implemented as a vibration motor. have.

송수신부(110, 210)는 생체 신호 장치가(200)가 원격 제어하고자 하는 전자기기(10)를 지칭할 때에 신호를 송수신하는 지향성 통신 수단과 데이터의 전송이나 필요 정보를 송수신하는 비지향성 통신 수단을 모두 포함한다.Transceivers 110 and 210 are directional communication means for transmitting and receiving signals and non-directional communication means for transmitting and receiving data when the biological signal device 200 refers to the electronic device 10 to be controlled remotely. Includes all of them.

이와 같은 본 발명의 일 실시예에 따른 원격 제어 시스템에서 가상 메뉴 맵을 이용하여 전자기기를 원격 제어하는 과정을 도 1 내지 도 3을 참조하여 살펴보기로 한다.A process of remotely controlling an electronic device using a virtual menu map in a remote control system according to an embodiment of the present invention will be described with reference to FIGS. 1 to 3.

먼저, 사용자는 생체 신호 장치(200)를 손목 등과 같은 신체에 착용하며, 제어하고자 하는 전자기기(10)를 선택하기 위해 전자기기(10)가 설치된 방향을 향한 상태에서 손가락에 의한 접촉음을 발생시킨다. 예로서 검지와 엄지를 접촉시키면 손가락 접촉음(전달진동)이 손을 통해 생체 신호 장치(200)로 전달된다.First, the user wears the biosignal device 200 on a body such as a wrist and generates a touch sound by a finger in a state in which the electronic device 10 is installed in order to select the electronic device 10 to be controlled. Let's do it. For example, when the index finger and the thumb are contacted, a finger touch sound (transmission vibration) is transmitted to the biosignal device 200 through the hand.

생체 신호 장치(200)의 진동 검출부(220)는 인체 진동을 통해 전달되는 진동음을 검출하여 중앙 처리부(250)로 전달하며, 중앙 처리부(250)는 사용자가 전자기기(10)를 선택하였음을 인지한다.The vibration detector 220 of the biosignal apparatus 200 detects and transmits the vibration sound transmitted through the human body vibration to the central processing unit 250, and the central processing unit 250 recognizes that the user has selected the electronic device 10. do.

중앙 처리부(250)는 송수신부(210)를 제어하여 메뉴 맵 장치(100)에게 기기 선택 신호를 송신하며, 메뉴 맵 장치(100)의 송수신부(110)는 생체 신호 장치(200)로부터 전송된 기기 선택 신호를 메뉴 맵 운용부(130)로 전달한다(S301).The central processor 250 controls the transceiver 210 to transmit a device selection signal to the menu map device 100, and the transceiver 110 of the menu map device 100 is transmitted from the biosignal device 200. The device selection signal is transmitted to the menu map operation unit 130 (S301).

한편, 지금까지의 전자기기 선택 과정은 본 발명에 의한 가상 메뉴 맵(20)을 통해 제어하고자 하는 전자기기가 여러 대일 경우에 수행하는 것으로서, 만약 가상 메뉴 맵(20)을 이용하여 단일의 전자기기를 제어하고자 할 때에는 생략될 수도 있 다.Meanwhile, the electronic device selection process so far is performed when there are several electronic devices to be controlled through the virtual menu map 20 according to the present invention, and if a single electronic device is used using the virtual menu map 20. It may be omitted when you want to control.

다음으로, 메뉴 맵 운용부(130)는 기기 선택 신호에 의거하여 제어용 메뉴 맵 저장부(120)에 저장되어 있는 가상 메뉴 맵(20)의 정보를 읽어들여서 송수신부(110)를 통해 생체 신호 장치(200)에게 송신한다(S303).Next, the menu map operation unit 130 reads the information of the virtual menu map 20 stored in the control menu map storage unit 120 based on the device selection signal and transmits and receives the biosignal device through the transmission and reception unit 110. It transmits to 200 (S303).

생체 신호 장치(200)의 송수신부(210)는 메뉴 맵 장치(100)로부터 전송된 가상 메뉴 맵(20)의 정보를 중앙 처리부(250)로 전달하며, 중앙 처리부(250)는 가상 메뉴 맵(20)의 정보를 메뉴 맵 정보 저장부(270)에 저장함과 아울러 가상 메뉴 맵(20)을 실행하여 공간상에 가상으로 배치한다. 여기서 가상 메뉴 맵(20)은 전자기기(10)의 제어 콘솔 등과 동일 또는 유사한 형태로 배치하면 사용자에 의한 이용상의 편의성을 높일 수 있다(S305).The transmitter / receiver 210 of the biosignal apparatus 200 transmits the information of the virtual menu map 20 transmitted from the menu map apparatus 100 to the central processing unit 250, and the central processing unit 250 transmits the virtual menu map ( The information of 20) is stored in the menu map information storage unit 270, and the virtual menu map 20 is executed to virtually arrange the space in the space. In this case, when the virtual menu map 20 is disposed in the same or similar form as the control console of the electronic device 10, the user may increase convenience of use by the user (S305).

생체 신호 장치(200)를 신체에 장착한 사용자는 전자기기(10)의 설치 방향을 향한 상태에서 공간상의 가상면을 더듬거나 손으로 쓰다듬는 것과 같은 스캔 동작을 취하며, 모션 검출부(230)는 이러한 사용자의 동작에 따른 움직임을 검출하여 중앙 처리부(250)로 전달한다(S307).A user wearing the biosignal device 200 on the body performs a scan operation such as stroking or stroking a virtual surface in space while facing the installation direction of the electronic device 10, and the motion detection unit 230 performs such a scan. The movement according to the user's motion is detected and transmitted to the central processing unit 250 (S307).

중앙 처리부(250)는 모션 검출부(230)에 의한 움직임 검출 결과에 의거하여 사용자에 의한 스캔 동작을 인지하며, 메뉴 맵 정보 저장부(270)에 저장된 가상 메뉴 맵(20)의 정보와 비교하여 현재 사용자에 의한 스캔 위치에 대응하는 메뉴를 분석한다(S309).The central processing unit 250 recognizes the scan operation by the user based on the motion detection result by the motion detector 230, and compares the information with the virtual menu map 20 stored in the menu map information storage unit 270. The menu corresponding to the scan position by the user is analyzed (S309).

그리고, 중앙 처리부(250)는 대응하는 메뉴가 분석되면 이를 사용자에게 피드백하여 사용자가 해당 메뉴의 위치를 인식할 수 있도록 하기 위해 메뉴 맵 전달 부(260)를 통해 인식된 메뉴 위치에 대응하는 원격 제어 명령을 사용자에게 알려준다.When the corresponding menu is analyzed, the central processing unit 250 feeds it back to the user so that the user can recognize the position of the corresponding menu, and the remote control corresponding to the recognized menu position through the menu map transfer unit 260. Inform the user of the command.

예로서, 가상 메뉴 맵(20) 상에서 플레이 버튼(21)이 위치하는 곳에서 사용자가 스캔 동작을 취한 경우라면 메뉴 맵 전달부(260)의 시각 전달기(261)는 표시장치 등을 통해 "플레이"라는 원격 제어 명령을 시각적으로 표시하여 사용자에게 피드백하며, 청각 전달기(262)는 스피커 등을 통해 "플레이"라는 원격 제어 명령을 청각적으로 표시, 예로서 음성을 송출하여 사용자에게 피드백하며, 촉각 전달기(263)는 진동 모터 등을 통해 진동음을 촉각적으로 표시하여 사용자가 현재 스캔 동작을 취하는 위치가 메뉴 영역임을 알 수 있도록 한다.For example, when the user performs a scan operation on the virtual menu map 20 where the play button 21 is located, the visual transmitter 261 of the menu map transfer unit 260 may display the " play " And visually display a remote control command "to" to the user, and the audio transmitter 262 audibly displays the remote control command "Play" to the user through a speaker or the like, for example, sends a voice to the user, The tactile transmitter 263 tactilely displays the vibration sound through the vibration motor, so that the user can know that the position where the current scan operation is performed is the menu area.

이와 같은 스캔 동작이 특정 메뉴 위치에서 설정 시간이상 지속되거나 앞서 설명한 바와 같은 손가락에 의한 접촉음의 발생이 감지되면 중앙 처리부(250)는 분석된 메뉴에 대응하는 원격 제어 명령을 송수신부(210)를 통해 메뉴 맵 장치(100)에게 전달한다. 즉 메뉴 맵 정보 저장부(270)에 저장된 가상 메뉴 맵(20)의 정보에 의거하여 해당 메뉴에 대응하는 코드를 송신하는 것이다(S311).When such a scan operation continues for a predetermined time at a specific menu position or the generation of a touch sound by a finger as described above, the central processing unit 250 sends a remote control command corresponding to the analyzed menu to the transceiver 210. The menu map device 100 passes through the menu map device 100. That is, the code corresponding to the menu is transmitted based on the information of the virtual menu map 20 stored in the menu map information storage unit 270 (S311).

메뉴 맵 장치(100)의 송수신부(110)는 생체 신호 장치(200)로부터 전송된 원격 제어 명령을 메뉴 맵 운용부(130)로 전달하며, 메뉴 맵 운용부(130)는 해당 원격 제어 명령을 전자기기(10)에게 전달한다. 예로서 전자기기(10)의 중앙 처리장치와 메뉴 맵 장치(100)의 메뉴 맵 운용부(130)는 시리얼 포트 등의 인터페이스를 통해 연결되며, 메뉴 맵 운용부(130)로부터 원격 제어 명령을 전달받은 전자기기(10)의 중앙 처리장치는 해당 원격 제어 명령에 따라 동작한다(S313).The transceiver 110 of the menu map device 100 transmits a remote control command transmitted from the biosignal device 200 to the menu map operator 130, and the menu map operator 130 transmits the remote control command. Transfer to the electronic device (10). For example, the central processing unit of the electronic device 10 and the menu map operation unit 130 of the menu map device 100 are connected through an interface such as a serial port, and transmit a remote control command from the menu map operation unit 130. The central processing unit of the received electronic device 10 operates according to the corresponding remote control command (S313).

지금까지 본 발명의 일 실시예에 국한하여 설명하였으나 본 발명의 기술이 당업자에 의하여 용이하게 변형 실시될 가능성이 자명하다. 이러한 변형된 실시 예들은 본 발명의 특허청구범위에 기재된 기술사상에 포함된다고 하여야 할 것이다.It has been described so far limited to one embodiment of the present invention, it is obvious that the technology of the present invention can be easily modified by those skilled in the art. Such modified embodiments should be included in the technical spirit described in the claims of the present invention.

도 1은 본 발명의 일 실시예에 따른 가상 메뉴 맵을 이용한 원격 제어 시스템의 구성도,1 is a block diagram of a remote control system using a virtual menu map according to an embodiment of the present invention;

도 2는 도 1에 도시된 생체 신호 장치의 구성도,FIG. 2 is a configuration diagram of the biosignal device shown in FIG. 1;

도 3은 본 발명의 일 실시예에 따른 가상 메뉴 맵을 이용한 원격 제어 방법을 설명하기 위한 흐름도.3 is a flowchart illustrating a remote control method using a virtual menu map according to an embodiment of the present invention.

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>

10 : 전자기기 20 : 가상 메뉴 맵10: electronic device 20: virtual menu map

30 : 사용자 100 : 메뉴 맵 장치30: user 100: menu map device

110 : 메뉴 맵 장치의 송수신부 120 : 제어용 메뉴 맵 저장부110: transceiver of the menu map device 120: control menu map storage unit

130 : 메뉴 맵 운용부 200 : 생체 신호 장치130: menu map operation unit 200: biological signal device

210 : 생체 신호 장치의 송수신부 220 : 진동 검출부210: transceiver of the biosignal device 220: vibration detection unit

230 : 모션 검출부 240 : 키입력부230: motion detection unit 240: key input unit

250 : 중앙 처리부 260 : 메뉴 맵 전달부250: Central processing unit 260: Menu map delivery unit

Claims (15)

삭제delete 전자기기의 각종 동작을 제어할 수 있는 가상 메뉴 맵이 가상으로 배치된 공간상에서 발생하는 사용자의 생체 신호에 따라 원격 제어 명령을 송신하는 생체 신호 장치와,A biosignal device which transmits a remote control command according to a biosignal of a user generated in a space in which a virtual menu map for controlling various operations of an electronic device is virtually arranged; 상기 생체 신호 장치로부터 수신한 상기 원격 제어 명령을 상기 전자기기에게 전달하는 메뉴 맵 장치A menu map device for transmitting the remote control command received from the biosignal device to the electronic device 를 포함하고,Including, 상기 메뉴 맵 장치는, 상기 가상 메뉴 맵의 정보를 상기 생체 신호 장치로 송신하며,The menu map device transmits information of the virtual menu map to the biosignal device, 상기 생체 신호 장치는, 상기 가상 메뉴 맵의 정보에 의거하여 상기 가상 메뉴 맵을 상기 공간상에 가상으로 배치하는The biosignal device virtually arranges the virtual menu map on the space based on the information of the virtual menu map. 가상 메뉴 맵을 이용한 원격 제어 시스템.Remote control system using virtual menu map. 제 2 항에 있어서,The method of claim 2, 상기 생체 신호 장치는, 상기 가상 메뉴 맵의 정보에 의거하여 상기 생체 신호에 대응하는 메뉴를 분석한 후 분석된 메뉴에 해당하는 코드를 상기 원격 제어 명령으로 송신하는The biosignal apparatus analyzes a menu corresponding to the biosignal based on the information of the virtual menu map, and then transmits a code corresponding to the analyzed menu to the remote control command. 가상 메뉴 맵을 이용한 원격 제어 시스템.Remote control system using virtual menu map. 제 2 항에 있어서,The method of claim 2, 상기 생체 신호 장치는,The biosignal device, 상기 원격 제어 명령을 상기 사용자가 확인할 수 있도록 시각, 청각, 촉각 중 적어도 어느 하나의 감각으로 전달하는 메뉴 맵 전달부Menu map transmission unit for transmitting the remote control command to at least one of the sense of sight, hearing, tactile sense so that the user can check 를 더 포함하는 가상 메뉴 맵을 이용한 원격 제어 시스템.Remote control system using a virtual menu map further comprising. 제 4 항에 있어서,The method of claim 4, wherein 상기 메뉴 맵 전달부는,The menu map transfer unit, 상기 원격 제어 명령을 상기 사용자가 시각적으로 확인할 수 있도록 전달하는 시각 전달기, 상기 원격 제어 명령을 상기 사용자가 청각적으로 확인할 수 있도록 전달하는 청각 전달기 및 상기 원격 제어 명령을 상기 사용자가 촉각적으로 확인할 수 있도록 전달하는 촉각 전달기A visual transmitter for transmitting the remote control command to the user for visual confirmation, an auditory transmitter for transmitting the remote control command to the user for audible confirmation, and the user to tactilely transmit the remote control command Tactile transmitter to deliver for confirmation 를 포함하는 가상 메뉴 맵을 이용한 원격 제어 시스템.Remote control system using a virtual menu map comprising a. 제 2 항에 있어서,The method of claim 2, 상기 생체 신호 장치는,The biosignal device, 상기 메뉴 맵 장치와의 신호 송수신을 위한 송수신부와,A transceiver for transmitting and receiving a signal to and from the menu map device; 상기 사용자의 인체 진동을 통해 전달되는 진동음을 검출하는 진동 검출부 와,Vibration detection unit for detecting the vibration sound transmitted through the human body vibration of the user; 상기 사용자의 동작에 따른 움직임을 검출하는 모션 검출부와,A motion detector for detecting a motion according to the user's motion; 상기 메뉴 맵 장치로부터 제공되는 상기 가상 메뉴 맵의 정보를 저장하는 메뉴 맵 정보 저장부와,A menu map information storage unit for storing information of the virtual menu map provided from the menu map device; 상기 진동 검출부 및 상기 모션 검출부로부터 각각 전달되는 진동음 검출 신호와 움직임 검출 신호를 상기 생체 신호로 인식하며, 상기 가상 메뉴 맵의 정보에 의거하여 상기 생체 신호에 대응하는 메뉴를 분석한 후에 이 분석 결과에 따라 판독된 상기 원격 제어 명령을 상기 송수신부를 통해 상기 메뉴 맵 장치에게 송신하는 중앙 처리부The vibration sound detection signal and the motion detection signal transmitted from the vibration detection unit and the motion detection unit are respectively recognized as the bio signals, and the menu corresponding to the bio signals is analyzed based on the information of the virtual menu map. A central processor for transmitting the remote control command read according to the menu map device through the transceiver; 를 포함하는 가상 메뉴 맵을 이용한 원격 제어 시스템.Remote control system using a virtual menu map comprising a. 제 6 항에 있어서,The method of claim 6, 상기 생체 신호 장치는,The biosignal device, 상기 사용자가 상기 원격 제어 명령을 입력할 수 있는 키입력부A key input unit through which the user can input the remote control command 를 더 포함하는 가상 메뉴 맵을 이용한 원격 제어 시스템.Remote control system using a virtual menu map further comprising. 제 2 항에 있어서,The method of claim 2, 상기 메뉴 맵 장치는,The menu map device, 상기 생체 신호 장치와의 신호 송수신을 위한 송수신부와,A transceiver for transmitting and receiving a signal to and from the biosignal device; 상기 가상 메뉴 맵의 정보가 저장된 제어용 메뉴 맵 저장부와,A control menu map storage unit for storing the information of the virtual menu map; 상기 제어용 메뉴 맵 저장부에 저장된 상기 가상 메뉴 맵의 정보를 상기 송수신부를 통해 상기 생체 신호 장치에게 송신한 후에 상기 생체 신호 장치로부터 상기 송수신부를 통해 수신된 상기 원격 제어 명령을 상기 전자기기에게 전달하는 메뉴 맵 운용부A menu for transmitting the information of the virtual menu map stored in the control menu map storage unit to the biosignal device through the transceiver and then transmitting the remote control command received from the biosignal device through the transceiver to the electronic device; Map Operator 를 포함하는 가상 메뉴 맵을 이용한 원격 제어 시스템.Remote control system using a virtual menu map comprising a. 삭제delete 공간상에 가상으로 배치된 가상 메뉴 맵을 이용하는 사용자의 생체 신호를 검출하는 생체 신호 수단과, 상기 생체 신호에 대응하는 원격 제어 명령을 전자기기에게 전달하는 신호 전달 수단을 이용하여 상기 전자기기를 원격 제어하는 방법으로서,The electronic device is remoted by using a biosignal means for detecting a biosignal of a user using a virtual menu map virtually arranged in a space and a signal transmitting means for transmitting a remote control command corresponding to the biosignal to the electronic device. As a control method, (a) 상기 공간상에서 발생하는 상기 생체 신호를 상기 생체 신호 수단을 통해 검출하는 단계와,(a) detecting the bio-signal generated in the space through the bio-signal means; (b) 상기 생체 신호 수단이 상기 (a) 단계에서 검출한 상기 생체 신호에 대응하는 상기 원격 제어 명령을 상기 신호 전달 수단에게 송신하는 단계와,(b) the biosignal means transmitting the remote control command corresponding to the biosignal detected in step (a) to the signal transfer means; (c) 상기 신호 전달 수단이 상기 (b) 단계에서 전송되는 상기 원격 제어 명령을 수신하여 상기 전자기기에게 전달하는 단계(c) the signal transmitting means receiving and transmitting the remote control command transmitted in the step (b) to the electronic device; 를 포함하고,Including, 상기 (a) 단계는,In step (a), (a1) 상기 신호 전달 수단이 상기 가상 메뉴 맵의 정보를 상기 생체 신호 수단에게 전송하는 단계와,(a1) the signal transmitting means transmitting the information of the virtual menu map to the biosignal means; (a2) 상기 생체 신호 수단이 상기 가상 메뉴 맵의 정보에 의거하여 상기 가상 메뉴 맵을 공간상에 가상으로 배치하는 단계와,(a2) the bio-signal means virtually disposing the virtual menu map in space based on the information of the virtual menu map; (a3) 상기 생체 신호 수단이 상기 공간상에서 발생하는 상기 생체 신호를 검출하는 단계(a3) the biosignal means detecting the biosignal generated in the space 를 포함하는 가상 메뉴 맵을 이용한 원격 제어 방법.Remote control method using a virtual menu map comprising a. 제 10 항에 있어서,The method of claim 10, 상기 (b) 단계는, 상기 생체 신호 수단이 상기 가상 메뉴 맵의 정보에 의거하여 상기 생체 신호에 대응하는 메뉴를 분석한 후 분석된 메뉴에 해당하는 코드를 상기 원격 제어 명령으로 송신하는In the step (b), the biosignal means analyzes a menu corresponding to the biosignal based on the information of the virtual menu map, and then transmits a code corresponding to the analyzed menu to the remote control command. 가상 메뉴 맵을 이용한 원격 제어 방법.Remote control method using virtual menu map. 제 10 항에 있어서,The method of claim 10, 상기 원격 제어 방법은,The remote control method, (d) 상기 생체 신호 수단이 상기 원격 제어 명령을 사용자가 확인할 수 있도록 시각, 청각, 촉각 중 적어도 어느 하나의 감각으로 전달하는 단계(d) the biosignal means transmitting the remote control command to at least one of visual, auditory, and tactile senses so that a user can identify the remote control command; 를 더 포함하는 가상 메뉴 맵을 이용한 원격 제어 방법.Remote control method using a virtual menu map further comprising. 제 10 항에 있어서,The method of claim 10, 상기 (a) 단계는, 상기 사용자의 인체 진동을 통해 전달되는 진동음을 검출함과 아울러 상기 사용자의 동작에 따른 움직임을 검출하여 상기 생체 신호를 인식하는In the step (a), the vibration signal transmitted through the human body vibration of the user is detected and the movement signal according to the user's motion is detected to recognize the biosignal. 가상 메뉴 맵을 이용한 원격 제어 방법.Remote control method using virtual menu map. 제 11 항에 있어서,The method of claim 11, 상기 (b) 단계는, 상기 가상 메뉴 맵을 가상으로 배치한 공간상에서 상기 사용자의 손에 의한 스캔 동작이 상기 생체 신호로 인식되면 상기 분석된 메뉴를 찾는 동작으로 인식하는In the step (b), if the scanning operation by the user's hand is recognized as the bio-signal in the space where the virtual menu map is virtually arranged, the step of recognizing the analyzed menu is performed. 가상 메뉴 맵을 이용한 원격 제어 방법.Remote control method using virtual menu map. 제 11 항에 있어서,The method of claim 11, 상기 (b) 단계는, 상기 사용자의 손가락에 의한 접촉음이 상기 생체 신호로 인식되면 상기 분석된 메뉴를 선택하는 동작으로 인식하는In the step (b), if the touch sound by the user's finger is recognized as the bio-signal, the operation is performed by selecting the analyzed menu. 가상 메뉴 맵을 이용한 원격 제어 방법.Remote control method using virtual menu map.
KR1020070097221A 2007-09-27 2007-09-27 Remote control system and method by using virtual menu map KR100901482B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070097221A KR100901482B1 (en) 2007-09-27 2007-09-27 Remote control system and method by using virtual menu map

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070097221A KR100901482B1 (en) 2007-09-27 2007-09-27 Remote control system and method by using virtual menu map

Publications (2)

Publication Number Publication Date
KR20090032208A KR20090032208A (en) 2009-04-01
KR100901482B1 true KR100901482B1 (en) 2009-06-08

Family

ID=40759074

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070097221A KR100901482B1 (en) 2007-09-27 2007-09-27 Remote control system and method by using virtual menu map

Country Status (1)

Country Link
KR (1) KR100901482B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010041840A1 (en) * 2008-10-07 2010-04-15 Electronics And Telecommunications Research Institute Remote control apparatus using menu markup language

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101023043B1 (en) 2009-10-30 2011-03-24 한국과학기술연구원 Dialing apparatus with haptic function and remote controller for the same
KR102131358B1 (en) 2013-06-17 2020-07-07 삼성전자주식회사 User interface device and method of operation of user interface device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060029401A (en) * 2004-10-01 2006-04-06 엘지전자 주식회사 Electirc home appliances with virtual input unit
KR20060069985A (en) * 2004-12-20 2006-06-23 한국전자통신연구원 System for wearable general-purpose 3-dimensional input

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060029401A (en) * 2004-10-01 2006-04-06 엘지전자 주식회사 Electirc home appliances with virtual input unit
KR20060069985A (en) * 2004-12-20 2006-06-23 한국전자통신연구원 System for wearable general-purpose 3-dimensional input

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010041840A1 (en) * 2008-10-07 2010-04-15 Electronics And Telecommunications Research Institute Remote control apparatus using menu markup language

Also Published As

Publication number Publication date
KR20090032208A (en) 2009-04-01

Similar Documents

Publication Publication Date Title
US10802598B2 (en) User interface control of responsive devices
EP3037946B1 (en) Remote controller, information processing method and system
CN106210252B (en) System comprising wearable device and mobile terminal
KR102185564B1 (en) Mobile terminal and control method for the mobile terminal
EP2981052A1 (en) Ring-type mobile terminal
EP2987244B1 (en) Mobile terminal and control method for the mobile terminal
US20110199292A1 (en) Wrist-Mounted Gesture Device
KR20160118803A (en) Mobile terminal and method for controlling the same
KR20150088599A (en) Mobile terminal and method for controlling the same
KR20190017280A (en) Mobile terminal and method for controlling of the same
KR20160113906A (en) Mobile terminal and control method thereof
KR20160142128A (en) Watch type mobile terminal and method for controlling the same
EP2202610A2 (en) Information processing apparatus
KR20160147555A (en) Mobile terminal and method for controlling the same
KR20160036921A (en) Mobile terminal and method for controlling the same
KR20070051271A (en) Method for control of a device
KR20160004130A (en) Mobile terminal and method for controlling the same
KR100901482B1 (en) Remote control system and method by using virtual menu map
WO2017165023A1 (en) Under-wrist mounted gesturing
KR20170096499A (en) Mobile terminal and method for controlling the same
KR20160086159A (en) Mobile terminal and method for controlling the same
KR20160024272A (en) Mobile terminal and control method thereof
KR100762967B1 (en) Apparatus and method for controlling using local wireless communication module in portable terminal
KR100790818B1 (en) Apparatus and method for controlling electronic appliances based on hand gesture recognition
KR20150146297A (en) Mobile terminal and method for controlling the same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130527

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140529

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150527

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160527

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170529

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190410

Year of fee payment: 11